【導讀】 基于譜域的圖卷積網絡用多項式近似卷積核的方式來避免計算的高復雜度，但這會導致模型的性能損失。TAGCN是基于空域方法的圖卷積模型，通過多個固定尺寸的卷積核來學習圖的拓撲結構特征。TAGCN本質上和CNN中的卷積是一致的。本教程將結合TAGCN原理，教你手把手構建基于Tensorflow的TAGCN模型，在Cora數據集上進行節點分類任務。

系列教程《GNN-algorithms》

---

本文為系列教程《GNN-algorithms》中的內容，該系列教程不僅會深入介紹GNN的理論基礎，還結合了TensorFlow GNN框架tf_geometric對各種GNN模型（GCN、GAT、GIN、SAGPool等）的實現進行了詳細地介紹。本系列教程作者王有澤（//github.com/wangyouze）也是tf_geometric框架的貢獻者之一。

系列教程《GNN-algorithms》Github鏈接： *

TensorFlow GNN框架tf_geometric的Github鏈接： *

前序講解：

前言

---

在教程第二節介紹了GCN的變體SGC，這一屆我們繼續介紹GCN的另外一個變體TAGCN模型。本教程將教你如何使用Tensorflow構建GCN的變體TAGCN模型進行節點分類任務。完整代碼可在Github中下載:

TAGCN模型簡介

---

TAGCN是GCN的變體之一，全稱TOPOLOGY ADAPTIVE GRAPH CONVOLUTIONAL NETWORKS（TAGCN)。相比于GCN對卷積核進行Chebyshev多項式近似后取k=1，TAGCN用k個圖卷積核來提取不同尺寸的局部特征，并且將k保留下來作為超參數。其中的K個卷積核的感受野分別為1到K，類似于GoogleNet中每一個卷積層都有大小不同的卷積核提取特征。 TAGCN的卷積過程如下：

添加自環，對鄰接矩陣進行歸一化處理：

是K個圖卷積核， 是每個圖卷積核的系數，相比GCN，TAGCN保留了超參數K:

3. k個卷積核在圖結構數據上提取特征，進行線性組合：

4. 仿照CNN結構，添加非線性操作：

下圖展示了TAGCN在k=3時的卷積過程，類似于CNN中的每一個卷積層由多個卷積核提取feature map后形成多個channel：

將3個卷積核提取的特征進行線性組合：

總結：

TAGCN仿照CNN在每一層使用K個圖卷積核分別提取不同尺寸的局部特征，避免了之前對卷積核進行近似而不能完整，充分的提取圖信息的缺陷，提高了模型的表達能力。 1. TAGCN可以用于無向圖和有向圖，由于只需計算鄰接矩陣的系數，降低了計算復雜度。

教程完整代碼鏈接： * 論文地址：

教程目錄

---

開發環境 * TAGCN的實現 * 模型構建 * TAGCN訓練 * TAGCN評估

開發環境

---

操作系統: Windows / Linux / Mac OS

Python 版本: >= 3.5 * 依賴包: * tf_geometric（一個基于Tensorflow的GNN庫） 根據你的環境（是否已安裝TensorFlow、是否需要GPU）從下面選擇一條安裝命令即可一鍵安裝所有Python依賴:

        pip install -U tf_geometric # 這會使用你自帶的TensorFlow，注意你需要tensorflow/tensorflow-gpu >= 1.14.0 or >= 2.0.0b1

 pip install -U tf_geometric[tf1-cpu] # 這會自動安裝TensorFlow 1.x CPU版

 pip install -U tf_geometric[tf1-gpu] # 這會自動安裝TensorFlow 1.x GPU版

 pip install -U tf_geometric[tf2-cpu] # 這會自動安裝TensorFlow 2.x CPU版

 pip install -U tf_geometric[tf2-gpu] # 這會自動安裝TensorFlow 2.x GPU版

教程使用的核心庫是tf_geometric，一個基于TensorFlow的GNN庫。tf_geometric的詳細教程可以在其Github主頁上查詢： *

TAGCN的實現

---

首先我們對圖的鄰接矩陣添加自環，進行歸一化處理：

其中xs用來存儲k個多項式卷積核提取的feature map。``` xs = [x] updated_edge_index, normed_edge_weight = gcn_norm_edge(edge_index, x.shape[0], edge_weight, renorm, improved, cache)

分別計算每個圖卷積核提取圖中節點的鄰域信息，即計算k階多項式，并以此將結果存儲到xs中：

for k in range(K): h = aggregate_neighbors( xs[-1], updated_edge_index, normed_edge_weight, gcn_mapper, sum_reducer, identity_updater )

xs.append(h)

將K個圖卷積核提取的feature_map拼接，然后線性變換輸出結果：```
h = tf.concat(xs, axis=-1)

 out = h @ kernel
 if bias is not None:
 out += bias

 if activation is not None:
 out = activation(out)

 return out

模型構建

---

導入相關庫 本教程使用的核心庫是tf_geometric，我們用它來進行圖數據導入、圖數據預處理及圖神經網絡構建。SGC的具體實現已經在上面詳細介紹，另外我們后面會使用keras.metrics.Accuracy評估模型性能。```

coding=utf-8

import os

os.environ["CUDA_VISIBLE_DEVICES"] = "0" import tensorflow as tf import numpy as np from tensorflow import keras from tf_geometric.layers.conv.tagcn import TAGCN from tf_geometric.datasets.cora import CoraDataset

* 
使用**tf_geometric**自帶的圖結構數據接口加載Cora數據集：```
graph, (train_index, valid_index, test_index) = CoraDataset().load_data()

定義模型，引入keras.layers中的Dropout層隨機關閉神經元緩解過擬合。由于Dropout層在訓練和預測階段的狀態不同，為此，我們通過參數training來決定是否需要Dropout發揮作用。``` tagcn0 = TAGCN(16) tagcn1 = TAGCN(num_classes) dropout = keras.layers.Dropout(0.3)

def forward(graph, training=False): h = tagcn0([graph.x, graph.edge_index, graph.edge_weight], cache=graph.cache) h = dropout(h, training=training) h = tagcn1([h, graph.edge_index, graph.edge_weight], cache=graph.cache)

return h

**TAGCN訓練**

***


模型的訓練與其他基于Tensorflow框架的模型訓練基本一致，主要步驟有定義優化器，計算誤差與梯度，反向傳播等。TAGCN論文用模型在第100輪訓練后的表現來評估模型，因此這里我們設置epoches=100。```
optimizer = tf.keras.optimizers.Adam(learning_rate=0.01)

best_test_acc = tmp_valid_acc = 0
for step in range(1, 101):
 with tf.GradientTape() as tape:
 logits = forward(graph, training=True)
 loss = compute_loss(logits, train_index, tape.watched_variables())

 vars = tape.watched_variables()
 grads = tape.gradient(loss, vars)
 optimizer.apply_gradients(zip(grads, vars))

 valid_acc = evaluate(valid_index)
 test_acc = evaluate(test_index)
 if test_acc > best_test_acc:
 best_test_acc = test_acc
 tmp_valid_acc = valid_acc
 print("step = {}\tloss = {}\tvalid_acc = {}\tbest_test_acc = {}".format(step, loss, tmp_valid_acc, best_test_acc))

用交叉熵損失函數計算模型損失。注意在加載Cora數據集的時候，返回值是整個圖數據以及相應的train_mask,valid_mask,test_mask。TAGCN在訓練的時候的輸入時整個Graph，在計算損失的時候通過train_mask來計算模型在訓練集上的迭代損失。因此，此時傳入的mask_index是train_index。由于是多分類任務，需要將節點的標簽轉換為one-hot向量以便于模型輸出的結果維度對應。由于圖神經模型在小數據集上很容易就會瘋狂擬合數據，所以這里用L2正則化緩解過擬合。``` def compute_loss(logits, mask_index, vars): masked_logits = tf.gather(logits, mask_index) masked_labels = tf.gather(graph.y, mask_index) losses = tf.nn.softmax_cross_entropy_with_logits( logits=masked_logits, labels=tf.one_hot(masked_labels, depth=num_classes) )

kernel_vals = [var for var in vars if "kernel" in var.name] l2_losses = [tf.nn.l2_loss(kernel_var) for kernel_var in kernel_vals]

return tf.reduce_mean(losses) + tf.add_n(l2_losses) * 5e-4

**TAGCN評估**

***


在評估模型性能的時候我們只需傳入valid_mask或者test_mask，通過tf.gather函數就可以拿出驗證集或測試集在模型上的預測結果與真實標簽，用keras自帶的keras.metrics.Accuracy計算準確率。

def evaluate(mask): logits = forward(graph) logits = tf.nn.log_softmax(logits, axis=-1) masked_logits = tf.gather(logits, mask) masked_labels = tf.gather(graph.y, mask)

y_pred = tf.argmax(masked_logits, axis=-1, output_type=tf.int32)

accuracy_m = keras.metrics.Accuracy() accuracy_m.update_state(masked_labels, y_pred) return accuracy_m.result().numpy()

**運行結果**

***


****

    step = 1 loss = 1.9557496309280396 valid_acc = 0.3240000009536743 best_test_acc = 0.3700000047683716

step = 2 loss = 1.69263 valid_acc = 0.45869 best_test_acc = 0.54885 step = 3 loss = 1.3922057151794434 valid_acc = 0.5220000147819519 best_test_acc = 0.5849999785423279 step = 4 loss = 1.8711 valid_acc = 0.6539999842643738 best_test_acc = 0.73694 ... step = 96 loss = 0.03752553462982178 valid_acc = 0.7960000038146973 best_test_acc = 0.8209999799728394 step = 97 loss = 0.03963441401720047 valid_acc = 0.7960000038146973 best_test_acc = 0.8209999799728394 step = 98 loss = 0.048121 valid_acc = 0.7960000038146973 best_test_acc = 0.8209999799728394 step = 99 loss = 0.03467567265033722 valid_acc = 0.7960000038146973 best_test_acc = 0.8209999799728394 step = 100 loss = 0.035629 valid_acc = 0.7960000038146973 best_test_acc = 0.8209999799728394

**完整代碼**


教程中的完整代碼鏈接：
* 
demo_tagcn.py：//github.com/CrawlScript/tf_geometric/blob/master/demo/demo_tagcn.py

**

**

本教程（屬于系列教程**《GNN-algorithms》**）Github鏈接：
* 
//github.com/wangyouze/GNN-algorithms

印尼機器學習暑期學校(MLSS- indo)是MLSS系列(MLSS .cc)的一部分，該系列于2002年在德國圖賓根的馬普智能系統研究所啟動。這是一個為期7天的活動，參與者有機會學習更多的基礎知識和當前的藝術在機器學習和深度學習，包括相關應用的數據科學，計算機視覺，和自然語言處理。

//mlss.telkomuniversity.ac.id/

內容目錄：

• 深度學習
• 梯度消失問題
• 學習理論
• 神經架構

機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自DeepMind Doina Precup博士講述《深度強化學習》，165頁ppt系統性講述了深度強化學習基礎知識和最新進展，非常干貨。

地址： //mlss.tuebingen.mpg.de/2020/schedule.html

作者介紹：

Doina Precup，McGill University計算機系副教授。

貝葉斯推斷

視頻地址：

機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自牛津大學Yee Whye Teh教授講述《元學習》，165頁ppt系統性講述了元學習基礎知識和最新進展，非常干貨。

地址： //mlss.tuebingen.mpg.de/2020/schedule.html

作者介紹

Yee Whye Teh是牛津大學統計學系的統計機器學習教授，也是DeepMind研究人工智能的科學家。他在多倫多大學(Geoffrey E. Hinton教授)獲得博士學位，并在加州大學伯克利分校(Michael I. Jordan教授)和新加坡國立大學(Lee Kuan Yew博士后研究員)從事博士后工作。在進入牛津大學和DeepMind之前，他是一名講師，后來在倫敦大學學院(UCL)蓋茨比計算神經科學單元(Gatsby computing Neuroscience Unit)擔任讀者。他計劃聯合主席(Michael Titterington教授)人工智能國際會議和統計(AISTATS) 2010年,項目主持國際會議(Precup試圖教授)在2017年機器學習(ICML),和am /貝葉斯分析的副主編,IEEE模式分析與機器智能,機器學習日報,統計科學,英國皇家統計學會期刊B輯和機器學習研究期刊。他曾多次擔任NIPS、ICML和AISTATS的區域主席。他的研究興趣橫跨機器學習和計算統計學，包括概率方法、貝葉斯非參數學和深度學習。他開發了新穎的模型以及高效的推理和學習算法。

在過去幾年里，注意力和記憶已經成為深度學習的兩個重要的新組成部分。本講座由DeepMind研究科學家Alex Graves講授現在廣泛使用的注意力機制，包括任何深度網絡中的內隱注意力，以及離散和可區分的變體的顯性注意力。然后討論了具有外部記憶的網絡，并解釋了注意力是如何為他們提供選擇性回憶的。它簡要地回顧了Transformer，一種特別成功的注意力網絡類型，最后看可變計算時間，這可以被視為一種形式的“注意力集中”。

地址：

//ua-cam.com/video/AIiwuClvH6k/deepmind-x-ucl-deep-learning-lectures-8-12-attention-and-memory-in-deep-learning.html

Alex Graves在愛丁堡大學(University of Edinburgh)完成了理論物理學的理學學士學位，在劍橋大學(University of Cambridge)完成了數學的第三部分，在IDSIA與尤爾根·施米德胡貝爾(Jurgen Schmidhuber)一起完成了人工智能博士學位，之后在慕尼黑工業大學(technology University of Munich)和杰夫·辛頓(Geoff Hinton)一起完成了博士后學位。他現在是DeepMind的一名研究科學家。他的貢獻包括用于序列標簽的連接主義時態分類算法，隨機梯度變分推理，神經圖靈機/可微分神經計算機架構，以及用于強化學習的A2C算法。

關于講座系列：

深度學習講座系列是DeepMind與UCL人工智能中心之間的合作。在過去的十年中，深度學習已發展成為領先的人工智能范例，使我們能夠以前所未有的準確性和規模從原始數據中學習復雜的功能。深度學習已應用于對象識別，語音識別，語音合成，預測，科學計算，控制等問題。由此產生的應用程序觸及我們在醫療保健和醫學研究，人機交互，通信，運輸，保護，制造以及人類努力的許多其他領域中的所有生活。認識到這一巨大影響，深度學習的先驅獲得了2019年圖靈獎，這是計算機領域的最高榮譽。

在本系列講座中，來自領先的AI研究實驗室DeepMind的研究科學家針對深度學習中的一系列令人興奮的主題進行了12次講座，內容涵蓋了通過圍繞記憶，注意力和生成建模的先進思想來訓練神經網絡的基礎知識，以及重要的 負責任的創新主題。

深度學習注意力與記憶機制

【導讀】南洋理工大學 Xavier Bresson 博士在ICLR2020上做了關于圖神經網絡與圖像處理，微分方程的報告 ，目標是利用圖像處理中的非線性DEs來定義一個圖神經網絡架構。

來自密歇根州立大學的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu與 Tengfei Ma在AAAI2020做了關于圖神經網絡的Tutorial報告，總共305頁ppt，涵蓋使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用，非常值得學習。

摘要

圖結構數據如社交網絡和分子圖在現實世界中無處不在。設計先進的圖數據表示學習算法以方便后續任務的實現，具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據，為從節點層或圖層有效學習圖結構數據的表示開辟了新的途徑。由于其強大的表示學習能力，GNNs在從推薦、自然語言處理到醫療保健的各種應用中都具有實際意義。它已經成為一個熱門的研究課題，近年來越來越受到機器學習和數據挖掘界的關注。這篇關于GNNs的教程對于AAAI 2020來說是非常及時的，涵蓋了相關的和有趣的主題，包括使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用。

目錄：

1. 引言 Introduction

• 圖與圖結構數據 Graphs and Graph Structured Data
• 圖結構數據任務 Tasks on Graph Structured Data
• 圖神經網絡 Graph neural networks

2. 基礎理論Foundations

• Basic Graph Theory
• Graph Fourier Transform

3. 模型 Models

• Spectral-based GNN layers
• Spatial-based GNN layers
• Pooling Schemes for Graph-level Representation Learning
• Graph Neural Networks Based Encoder-Decoder models
• Scalable Learning for Graph Neural Networks
• Attacks and Robustness of Graph Neural Networks

4. 應用 Applications

• Natural Language Processing
• Recommendation
• Healthcare

百度網盤直接下載： 鏈接: //pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取碼: xrkz

講者介紹

Yao Ma是密歇根州立大學計算機科學與工程專業的博士生。他還在數據科學與工程實驗室(DSE實驗室)擔任研究助理，該實驗室由Tang Jiliang博士領導。他的研究興趣包括網絡嵌入和圖神經網絡在圖結構數據上的表示學習。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等頂級會議上發表創新工作。在加入密歇根州立大學之前，他在Eindhoven理工大學獲得碩士學位，在浙江大學獲得學士學位。

Wei Jin是密歇根州立大學計算機科學與工程專業的一年級博士生，導師是Tang Jiliang博士。他的興趣在于圖表示學習。現從事圖神經網絡的理論基礎、模型魯棒性和應用研究。

Jiliang Tang 自2016年秋季以來一直是密歇根州立大學計算機科學與工程系的助理教授。在此之前，他是雅虎研究院的一名研究科學家，2015年在亞利桑那州立大學獲得博士學位。他的研究興趣包括社會計算、數據挖掘和機器學習，以及它們在教育中的應用。他是2019年NSF Career獎、2015年KDD最佳論文亞軍和6個最佳論文獎(或亞軍)的獲得者，包括WSDM2018和KDD2016。他擔任會議組織者(如KDD、WSDM和SDM)和期刊編輯(如TKDD)。他在高排名的期刊和頂級會議上發表多項研究成果，獲得了成千上萬的引用和廣泛的媒體報道。

Lingfei Wu是IBM AI foundation Labs的研究人員，IBM T. J. Watson研究中心的推理小組。

Tengfei Ma現任美國紐約IBM沃森研究中心研究員。