圖神經網絡教程 Graph Convolutional Networks Graph Sampling Methods Application and PyTorch Implementation
圖神經網絡(GNNs)是針對圖信號的信息處理體系結構。它們已經被開發出來,并在本課程中作為卷積神經網絡(CNNs)的推廣來介紹,它被用來在時間和空間上處理信號。這句話聽起來可能有些奇怪,這取決于你對神經網絡(NNs)和深度學習的了解程度。CNN不就是NN的特例嗎?GNN不也是這樣嗎?從嚴格意義上說,它們是存在的,但我們這門課的重點是涉及高維信號的大規模問題。在這些設置中,神經網絡無法伸縮。CNN為信號在時間和空間上提供可擴展的學習。GNNS支持圖信號的可擴展學習。
在本課程中,我們將在學習單特征和多特征GNN之前,介紹圖卷積濾波器和圖濾波器組。我們還將介紹相關的架構,如經常性的GNN。特別的重點將放在研究GNN的排列的等方差和圖變形的穩定性。這些特性提供了一個解釋的措施,可以觀察到的良好性能的GNNs經驗。我們還將在大量節點的極限范圍內研究GNN,以解釋不同節點數量的網絡間GNN的可遷移性。
Lecture 1: Machine Learning on Graphs 圖機器學習
圖神經網絡(GNNs)是一種具有廣泛適用性和非常有趣的特性的工具。可以用它們做很多事情,也有很多東西需要學習。在第一節課中,我們將回顧本課程的目標并解釋為什么我們應該關注GNN。我們還提供了未來的預覽。我們討論了在可擴展學習中利用結構的重要性,以及卷積是如何在歐幾里得空間中實現這一點的。我們進一步解釋如何將卷積推廣到圖,以及隨后將卷積神經網絡推廣到圖(卷積)神經網絡。
1.1 – Graph Neural Networks 圖神經網絡
在這門課程中,我希望我們能夠共同完成兩個目標。您將學習如何在實際應用程序中使用GNNs。也就是說,您將開發使用圖神經網絡在圖上表述機器學習問題的能力。你將學會訓練他們。你將學會評估它們。但你也會學到,你不能盲目地使用它們。你將學習到解釋他們良好的實證表現的基本原理。這些知識將允許您確定GNN適用或不適用的情況。
1.2 Machine Learning on Graphs: The Why 圖機器學習
我們關心GNN是因為它們使機器能夠在圖上學習。但我們為什么要關注圖機器學習呢?我們在這里詳述圖機器學習的原因。它為什么有趣?我們為什么要關心這個?我們關心的原因很簡單:因為圖表在信息處理中無處不在。
1.3 – Machine Learning on Graphs: The How
在討論了原因之后,我們來處理如何做。我們如何在圖上進行機器學習?這個問題的答案很簡單:我們應該使用神經網絡。我們應該這樣做,因為我們有豐富的經驗和理論證據證明神經網絡的價值。理解這些證據是本課程的目標之一。但在我們準備這么做之前,有一個潛在的阻礙因素:神經網絡必須利用結構來實現可擴展。
從社交網絡到分子,許多真實數據都是以非網格對象的形式出現的,比如圖。最近,從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注,這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程,而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。
在本教程中,我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎,重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說,我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后,我們將介紹DGL在各個領域的應用,包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。
//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html
目錄:
來自DeepMind研究人員Feryal Behbahani, Matt Hoffman 和 Bobak Shahriari講解的強化學習教程。
VIKRAM VOLETI的神經常微分方程教程,50頁ppt
【導讀】圖卷積網絡(Graph Convolutional Networks)作為最近幾年興起的一種基于圖結構的廣義神經網絡,因為其獨特的計算能力,受到了學術界和工業界的關注與研究。傳統深度學習模型如 LSTM 和 CNN在歐式空間中表現不俗,卻無法直接應用在非歐式數據上。為此,研究者們通過引入圖論中抽象意義上的“圖”來表示非歐式空間中的結構化數據,并通過圖卷積網絡來提取(graph)的拓撲結構,以挖掘蘊藏在圖結構數據中的深層次信息。本文結合公式推導詳細介紹了圖卷積網絡(GCN)的前世今生,有助于大家深入了解GCN。
系列教程《GNN-algorithms》
本文為系列教程《GNN-algorithms》的內容,該系列教程不僅會深入介紹GNN的理論基礎,還結合了TensorFlow GNN框架tf_geometric對各種GNN模型(GCN、GAT、GIN、SAGPool等)的實現進行了詳細地介紹。本系列教程作者王有澤(//github.com/wangyouze)也是tf_geometric框架的貢獻者之一。
系列教程《GNN-algorithms》Github鏈接:
TensorFlow GNN框架tf_geometric的Github鏈接:
參考文獻:
【導讀】來自Jordi Pons一份循環神經網絡RNNs簡明教程,37頁ppt
【導讀】WWW2020的DL4G論壇,William L. Hamilton做了關于元學習與圖上邏輯規則推導的報告,55頁ppt。