報告簡介: 圖形領域的機器學習是一項重要而普遍的任務,其應用范圍從藥物設計到社交網絡中的友情推薦。該領域的主要挑戰是找到一種表示或編碼圖形結構的方法,以便機器學習模型可以很方便地利用它。 報告中介紹了深度學習的技術,自動學習將圖形結構編碼為低維嵌入。以及表示學習的關鍵進展,包括圖形卷積網絡及其表示能力,探討了它在Web級推薦系統、醫療保健、知識表示和推理方面的應用。
嘉賓介紹: 領域的大牛Jure Leskovec,是斯坦福大學計算機學院的副教授,也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模,它們的演化,信息的傳播以及對它們的影響。 Jure Leskovec主頁
【導讀】圖神經網絡依然是研究焦點之一。最近在WWW2020的DL4G@WWW2020論壇,斯坦福大學Jure Leskovec副教授介紹了圖神經網絡研究最新進展,包括GNN表現力、預訓練和公開圖神經網絡基準等。值得關注。
近年來,深度學習領域關于圖神經網絡(Graph Neural Networks,GNN)的研究熱情日益高漲,圖網絡已經成為各大深度學習頂會的研究熱點。GNN 處理非結構化數據時的出色能力使其在網絡數據分析、推薦系統、物理建模、自然語言處理和圖上的組合優化問題方面都取得了新的突破。但是,大部分的圖網絡框架的建立都是基于研究者的先驗或啟發性知識,缺少清晰的理論支撐。
Jure Leskovec
圖網絡領域的大牛Jure Leskovec,是斯坦福大學計算機學院的副教授,也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。在谷歌學術搜索(Google Scholar)上,Jure擁有接近4.5萬的論文引用數量,H指數為84。
下載鏈接: 鏈接: 提取碼: mtth
題目: Representation Learning on Graphs: Methods and Applications
摘要:
圖機器學習是一項重要且普遍存在的任務,其應用范圍從藥物設計到社交網絡中的友情推薦。這個領域的主要挑戰是找到一種表示或編碼圖形結構的方法,以便機器學習模型能夠輕松地利用它。傳統上,機器學習方法依賴于用戶定義的啟發法來提取對圖的結構信息進行編碼的特征(例如,度統計或內核函數)。然而,近年來,使用基于深度學習和非線性降維的技術,自動學習將圖結構編碼為低維嵌入的方法激增。在這里,我們提供了一個概念上的回顧,在這一領域的關鍵進展,圖表示學習,包括基于矩陣分解的方法,隨機漫步的算法和圖神經網絡。我們回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。在此過程中,我們開發了一個統一的框架來描述這些最近的方法,并強調了一些重要的應用程序和未來工作的方向。
作者簡介:
William L. Hamilton是麥吉爾大學計算機科學的助理教授,也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton開發的機器學習模型可以對這個復雜的、相互聯系的世界進行推理。研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域,目前的重點是快速發展的圖表示學習和圖神經網絡。
Rex Ying是斯坦福大學計算機科學二年級的博士生,研究主要集中在開發應用于圖形結構數據的機器學習算法。曾致力于開發可擴展到網絡規模數據集的廣義圖卷積網絡,應用于推薦系統、異常檢測和生物學。
課程名稱: CS224W: Machine Learning with Graphs
課程簡介:
網絡是對復雜的社會、技術和生物系統建模的基本工具。結合在線社交網絡的出現和生物科學中大規模數據的可用性,本課程重點分析提供了幾個計算、算法和建模挑戰的大規模網絡。學生將學習機器學習技術和數據挖掘工具,通過研究其潛在的網絡結構和相互聯系,揭示對社會、技術和自然世界的洞察。
在本課程中,我們將介紹圖機器學習技術,包括以下主題:
課程部分大綱:
講師介紹:
Jurij Leskovec是斯坦福大學計算機科學副教授,研究側重于分析和建模大型社區和信息網絡,作為跨社區、技術和自然世界現象的研究。他側重于網絡結構的統計建模、網絡演化、信息傳播、網絡影響和病毒。他所研究的問題是由大規模數據、網絡和其他在線媒體引發的,同樣從事文本挖掘和機器學習的應用。個人官網:
下載索引:鏈接:
課程介紹: 最近,圖神經網絡 (GNN) 在各個領域越來越受到歡迎,包括社交網絡、知識圖譜、推薦系統,甚至生命科學。GNN 在對圖形中節點間的依賴關系進行建模方面能力強大,使得圖分析相關的研究領域取得了突破性進展。本次課程對比傳統的卷積神經網絡以及圖譜圖卷積與空間圖卷積,從理論知識入手,并結合相關論文進行詳細講解。
主講人: Xavier Bresson,人工智能/深度學習方面的頂級研究員,培訓師和顧問。在“圖深度學習”上的NeurIPS'17和CVPR'17(2019年頂級人工智能會議排名)上的演講者,在劍橋,加州大學洛杉磯分校,布朗,清華,龐加萊,海德堡等地進行了30多次國際演講。
課程大綱:
題目: GNNExplainer: Generating Explanations for Graph Neural Networks
簡介: 圖神經網絡(GNN)通過沿輸入圖的邊緣遞歸傳遞神經消息,將節點特征信息與圖結構結合在一起。但是同時包含圖結構和特征信息會導致模型復雜,并且解釋GNN所做的預測仍未解決。在這里,我們提出GNNExplainer,這是第一種通用的,與模型無關的方法,可為任何基于GNN的模型的預測提供可解釋性。給定一個實例,GNNExplainer會確定緊湊的子圖結構和節點特征的一小部分,這些特征對GNN的預測至關重要。此外,GNNExplainer可以為整個實例類生成一致而簡潔的解釋。我們將GNNExplainer公式化為優化任務,該優化任務可最大化GNN的預測與可能的子圖結構的分布之間的相互信息。在合成圖和真實世界圖上進行的實驗表明,我們的方法可以識別重要的圖結構以及節點特征,并且比基準性能高出17.1%。 GNNExplainer提供了各種好處,從可視化語義相關結構的能力到可解釋性,再到洞悉有缺陷的GNN的錯誤。
作者簡介: 領域的大牛Jure Leskovec,是斯坦福大學計算機學院的副教授,也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模,它們的演化,信息的傳播以及對它們的影響。 調查的問題是由大規模數據,網絡和在線媒體引起的。 Jure Leskovec主頁
代碼鏈接: