題目: Graph Embedding Techniques, Applications, and Performance: A Survey
摘要: 圖形,如社交網絡、單詞共現網絡和通信網絡,自然地出現在各種實際應用中。通過對它們的分析,可以深入了解社會結構、語言和不同的交流模式。已經提出了許多方法來進行分析。近年來,在向量空間中使用圖節點表示的方法受到了研究界的廣泛關注。在這項調查中,我們對文獻中提出的各種圖嵌入技術進行了全面和結構化的分析。我們首先介紹了嵌入任務及其面臨的挑戰,如可伸縮性、維度的選擇、要保留的特性以及可能的解決方案。然后,我們提出了基于因子分解法、隨機游動和深度學習的三類方法,并舉例說明了每類算法的代表性,分析了它們在不同任務中的性能。我們在一些常見的數據集上評估這些最新的方法,并將它們的性能進行比較。我們的分析最后提出了一些潛在的應用和未來的方向。
作者簡介: Palash Goyal,南加州大學計算機系博士。
Emilio Ferrara,南加州大學計算機科學系助理研究教授和應用數據科學副主任,南加州大學信息科學研究所機器智能和數據科學(MINDS)小組的研究組長和首席研究員。
題目: Representation Learning on Graphs: Methods and Applications
摘要:
圖機器學習是一項重要且普遍存在的任務,其應用范圍從藥物設計到社交網絡中的友情推薦。這個領域的主要挑戰是找到一種表示或編碼圖形結構的方法,以便機器學習模型能夠輕松地利用它。傳統上,機器學習方法依賴于用戶定義的啟發法來提取對圖的結構信息進行編碼的特征(例如,度統計或內核函數)。然而,近年來,使用基于深度學習和非線性降維的技術,自動學習將圖結構編碼為低維嵌入的方法激增。在這里,我們提供了一個概念上的回顧,在這一領域的關鍵進展,圖表示學習,包括基于矩陣分解的方法,隨機漫步的算法和圖神經網絡。我們回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。在此過程中,我們開發了一個統一的框架來描述這些最近的方法,并強調了一些重要的應用程序和未來工作的方向。
作者簡介:
William L. Hamilton是麥吉爾大學計算機科學的助理教授,也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton開發的機器學習模型可以對這個復雜的、相互聯系的世界進行推理。研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域,目前的重點是快速發展的圖表示學習和圖神經網絡。
Rex Ying是斯坦福大學計算機科學二年級的博士生,研究主要集中在開發應用于圖形結構數據的機器學習算法。曾致力于開發可擴展到網絡規模數據集的廣義圖卷積網絡,應用于推薦系統、異常檢測和生物學。
題目: Attention Models in Graphs: A Survey
摘要: 圖結構數據自然地出現在許多不同的應用領域。通過將數據表示為圖形,我們可以捕獲實體(即節點)以及它們之間的關系(即邊)。許多有用的見解可以從圖形結構的數據中得到,這一點已被越來越多的關注于圖形挖掘的工作所證明。然而,在現實世界中,圖可以是大的-有許多復雜的模式-和噪聲,這可能會給有效的圖挖掘帶來問題。解決這一問題的一個有效方法是將“注意力”融入到圖挖掘解決方案中。注意機制允許一個方法關注圖中與任務相關的部分,幫助它做出更好的決策。在這項工作中,我們對圖形注意模型這一新興領域的文獻進行了全面而集中的調查。我們介紹了三個直觀的分類組現有的工作。它們基于問題設置(輸入和輸出類型)、使用的注意機制類型和任務(例如,圖形分類、鏈接預測等)。我們通過詳細的例子來激勵我們的分類法,并使用每種方法從一個獨特的角度來調查競爭方法。最后,我們強調了該領域的幾個挑戰,并討論了未來工作的前景。
作者簡介: Ryan A. Rossi,目前在Adobe Research工作,研究領域是機器學習;涉及社會和物理現象中的大型復雜關系(網絡/圖形)數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。
Nesreen K. Ahmed,英特爾實驗室的高級研究員。她在普渡大學計算機科學系獲得博士學位,在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘,涵蓋了大規模圖挖掘、統計機器學習的理論和算法,以及它們在社會和信息網絡中的應用。
題目: Network Representation Learning: A Survey
摘要:
隨著信息技術的廣泛應用,信息網絡越來越受到人們的歡迎,它可以捕獲各種學科之間的復雜關系,如社交網絡、引用網絡、電信網絡和生物網絡。對這些網絡的分析揭示了社會生活的不同方面,如社會結構、信息傳播和交流模式。然而,在現實中,大規模的信息網絡往往使網絡分析任務計算昂貴或難以處理。網絡表示學習是近年來提出的一種新的學習范式,通過保留網絡拓撲結構、頂點內容和其它邊信息,將網絡頂點嵌入到低維向量空間中。這有助于在新的向量空間中方便地處理原始網絡,以便進行進一步的分析。在這項調查中,我們全面回顧了目前在數據挖掘和機器學習領域的網絡表示學習的文獻。我們提出了新的分類法來分類和總結最先進的網絡表示學習技術,根據潛在的學習機制、要保留的網絡信息、以及算法設計和方法。我們總結了用于驗證網絡表示學習的評估協議,包括已發布的基準數據集、評估方法和開源算法。我們還進行了實證研究,以比較代表性的算法對常見數據集的性能,并分析其計算復雜性。最后,我們提出有希望的研究方向,以促進未來的研究。
作者簡介:
Xingquan Zhu是佛羅里達大西洋大學計算機與電氣工程和計算機科學系的教授,在中國上海復旦大學獲得了計算機科學博士學位。曾在多家研究機構和大學工作過,包括微軟亞洲研究院(實習)、普渡大學、佛蒙特大學和悉尼科技大學。主要研究方向:數據挖掘、機器學習、多媒體系統、生物信息學。
題目: A Survey on Network Embedding
摘要: 網絡嵌入將網絡中的節點分配給低維表示,有效地保持了網絡結構。近年來,這一新興的網絡分析范式取得了很大的進展。本文首先對網絡嵌入方法進行了分類,然后回顧了網絡嵌入方法的發展現狀,并指出了其未來的研究方向。我們首先總結了網絡嵌入的動機。討論了經典的圖嵌入算法及其與網絡嵌入的關系。隨后,我們對大量的網絡嵌入方法進行了系統的綜述,包括結構和屬性保持的網絡嵌入方法、帶邊信息的網絡嵌入方法和先進的信息保持的網絡嵌入方法。此外,還綜述了幾種網絡嵌入的評價方法和一些有用的在線資源,包括網絡數據集和軟件。最后,我們討論了利用這些網絡嵌入方法構建有效系統的框架,并指出了一些潛在的未來方向。
作者簡介: Peng Cui,清華大學計算機科學與技術系媒體與網絡實驗室副教授。
Jian Pei,現任加拿大大數據科學研究主席(Tier 1)和西蒙弗雷澤大學(Simon Fraser University)計算科學學院教授。他還是統計與精算科學系、科學院和健康科學院的副院士。他是數據科學、大數據、數據挖掘和數據庫系統等領域的知名首席研究員。他的專長是為新的數據密集型應用開發高效的數據分析技術。他被公認為計算機械協會(ACM)的研究員,他為數據挖掘的基礎、方法和應用做出貢獻,并作為電氣與電子工程師協會(IEEE)的研究員,為他的數據挖掘和知識發現做出貢獻。
題目: Graph Summarization Methods and Applications: A Survey
摘要:
雖然計算資源的進步使處理大量數據成為可能,但人類識別這些數據模式的能力并沒有相應提高。因此,壓縮和簡化數據的高效計算方法對于提取可操作的見解變得至關重要。特別是,雖然對數據摘要技術進行了廣泛的研究,但直到最近才開始流行對相互關聯的數據或圖進行匯總。這項調查是一個結構化的,全面的概述了最先進的方法,以總結圖形數據。我們首先討論了圖形摘要背后的動機和挑戰。然后,我們根據作為輸入的圖形類型對摘要方法進行分類,并根據核心方法進一步組織每個類別。最后,我們討論了總結在真實世界圖上的應用,并通過描述該領域的一些開放問題進行了總結。
作者簡介:
Yike Liu是密西根大學物理系五年級的博士生,也是計算機科學與工程系的一名碩士研究生。我是葉杰平教授的顧問。主要研究方向是深度學習和強化學習,尤其是在交通數據上的應用。在此之前,從事過基于圖形的機器學習和數據挖掘,特別是圖形總結和圖形聚類,在這些工作中,開發了圖形挖掘算法,幫助更好地理解底層的圖形組織并理解它。
Tara Safavi是密西根大學博士研究生,研究重點是知識表示及其在以人為中心的任務中的使用、評估和解釋,還對更廣泛的AI+社會問題感興趣,比如隱私、偏見和環境可持續性。研究目前得到了美國國家科學基金會(NSF)研究生獎學金和谷歌女性科技創造者獎學金的支持。
題目: A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications 摘要: 圖形是一種重要的數據表示形式,它出現在現實世界的各種場景中。有效的圖形分析可以讓用戶更深入地了解數據背后的內容,從而有利于節點分類、節點推薦、鏈路預測等許多有用的應用。然而,大多數圖形分析方法都存在計算量大、空間開銷大的問題。圖嵌入是解決圖分析問題的有效途徑。它將圖形數據轉換為一個低維空間,其中圖形結構信息和圖形屬性被最大程度地保留。在這項調查中,我們對圖嵌入的文獻進行了全面的回顧。本文首先介紹了圖嵌入的形式化定義及相關概念。之后,我們提出了兩個分類的圖形嵌入,對應于什么挑戰存在于不同的圖形嵌入問題設置,以及現有的工作如何解決這些挑戰,在他們的解決方案。最后,我們總結了圖形嵌入在計算效率、問題設置、技術和應用場景等方面的應用,并提出了四個有前途的研究方向。
作者簡介: Hongyun Cai,經驗豐富的研究人員,有在研究行業工作的經驗。精通計算機科學,C++,數據庫,Java和機器學習。昆士蘭大學計算機科學專業研究生,哲學博士。
Vincent W. Zheng,新加坡先進數字科學中心(ADSC)的研究科學家,也是伊利諾伊大學香檳分校協調科學實驗室的研究附屬機構。他目前領導著ADSC的大型社交項目。該項目旨在利用目前在我們的數字社會(即社交媒體)中普遍存在的巨大“人類傳感器”,并實現對此類數據的社會分析,從而建立一個以人為中心的網絡系統。他還對圖形表示學習、深度學習、自然語言處理、移動計算等領域感興趣,并在社交挖掘、文本挖掘、實際位置和活動識別、用戶分析、移動推薦、增強現實等方面有應用。
Kevin Chen-Chuan Chang是伊利諾伊大學香檳分校計算機科學教授,他領導了數據搜索、集成和挖掘的前沿數據實驗室。他在國立臺灣大學獲得理學學士學位,在斯坦福大學獲得電機工程博士學位。他的研究涉及大規模信息訪問,用于搜索、挖掘和跨結構化和非結構化大數據的集成,目前的重點是“以實體為中心”的Web搜索/挖掘和社交媒體分析。他在VLDB 2000年和2013年獲得了兩項最佳論文獎,2002年獲得了NSF職業獎,2003年獲得了NCSA院士獎,2004年和2005年獲得了IBM院士獎,2008年獲得了創業領導力學院院士獎,并在2001年、2004年、2005年、2006年、2010年和2011年獲得了伊利諾伊大學不完整的優秀教師名單。他熱衷于將研究成果帶到現實世界中,并與學生共同創辦了伊利諾伊大學(University of Illinois)的初創公司Cazoodle,致力于在網絡上深化垂直的“數據感知”搜索。
題目: Graph Neural Networks: A Review of Methods and Applications
摘要: 許多學習任務都需要處理包含元素間豐富關系信息的圖形數據。建模物理系統、學習分子指紋、預測蛋白質界面和疾病分類需要一個模型從圖形輸入中學習。在文本、圖像等非結構化數據的學習等領域,對句子的依存樹、圖像的場景圖等提取的結構進行推理是一個重要的研究課題,同時也需要建立圖形推理模型。圖神經網絡(GNNs)是通過圖節點之間的信息傳遞來獲取圖的依賴性的連接模型。與標準神經網絡不同,圖神經網絡保留了一種狀態,這種狀態可以以任意深度表示來自其鄰域的信息。雖然原始GNNs已經被發現很難訓練到固定的點,但是最近在網絡結構、優化技術和并行計算方面的進展已經使它能夠成功地學習。近年來,基于圖形卷積網絡(GCN)、圖形注意網絡(GAT)、門控圖形神經網絡(GGNN)等圖形神經網絡變體的系統在上述許多任務上都表現出了突破性的性能。在這項調查中,我們提供了一個詳細的檢討現有的圖形神經網絡模型,系統分類的應用,并提出了四個開放的問題,為今后的研究。
作者簡介: Jie Zhou,CS的研究生,從事系統研究,主要研究計算機安全。他畢業于廈門大學,在羅切斯特大學獲得碩士學位及博士學位。
Zhiyuan Liu,清華大學計算機系NLP實驗室副教授。
題目: Graph Neural Networks:A Review of Methods and Applications
簡介: 許多學習任務需要處理圖形數據,該圖形數據包含元素之間的關系信息。對物理系統進行建模,學習分子指紋,預測蛋白質界面以及對疾病進行分類,都需要從圖輸入中學習模型。在諸如從文本和圖像之類的非結構數據中學習的其他領域中,對提取結構的推理,例如句子的依存關系樹和圖像的場景圖,是一個重要的研究課題,它也需要圖推理模型。圖神經網絡(GNN)是連接器模型,可通過在圖的節點之間傳遞消息來捕獲圖的依賴性。與標準神經網絡不同,圖神經網絡保留一種狀態,該狀態可以表示來自其鄰域的任意深度的信息。盡管已經發現難以訓練原始圖神經網絡來固定點,但是網絡體系結構,優化技術和并行計算的最新進展已使他們能夠成功學習。近年來,基于圖卷積網絡(GCN)和門控圖神經網絡(GGNN)的系統已經在上述許多任務上展示了突破性的性能。在本綜述中,我們對現有的圖神經網絡模型進行了詳細的回顧,對應用程序進行了系統分類,并提出了四個未解決的問題,供以后研究。
作者簡介: 周杰,教授,清華大學自動化系黨委書記,教授,博士生導師。