亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者：Dexiong Chen, Laurent Jacob, Julien Mairal

摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。

網址：

代碼鏈接：

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt

摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。

網址：

3. Haar Graph Pooling

作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址：

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon

摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址：

代碼鏈接：

【導讀】Graph Neural Network（GNN）由于具有分析圖結構數據的能力而受到了廣泛的關注。本文對Graph Neural Network進行了簡要介紹。它涵蓋了一些圖論，以便于理解圖和分析圖時遇到的問題。然后介紹了不同形式的Graph神經網絡及其原理。它還涵蓋了GNN可以做什么以及GNN的一些應用。

圖論

首先，我們需要知道什么是圖。圖是一種由兩個部分組成的數據結構：頂點和edge。它用作分析目標和實體之間成對關系的數學結構。通常，將圖定義為G =（V，E），其中V是一組節點，E是它們之間的邊。

圖通常由鄰接矩陣A表示。如果圖具有N個節點，則A的維數為（N x N）。人們有時會提供另一個特征矩陣來描述圖中的節點。如果每個節點都有F個特征，則特征矩陣X的維數為（N x F）。

為什么圖難以分析？

首先，在歐幾里得空間中不存在圖，這意味著它無法用我們熟悉的任何坐標系表示。與其他類型的數據（例如波，圖像或時間序列信號）相比，這使得圖數據的解釋更加困難（“文本”也可以視為時間序列），可以輕松地將其映射為2-D或3-D歐幾里德空間。

其次，圖沒有固定的形式。為什么？看下面的例子。圖（A）和圖（B）具有完全不同的結構和外觀。但是，當我們將其轉換為鄰接矩陣表示形式時，兩個圖具有相同的鄰接矩陣（如果不考慮邊的權重）。那么我們應該考慮這兩個圖是相同還是不同？

最后，一般來說，圖很難直觀地顯示出來以供人類解釋。我不是在談論像上面的例子這樣的小圖。我說的是涉及數百或數千個節點的巨型圖。它的維數很高，節點密集地分組在一起，甚至使人難以理解圖。因此，為該任務訓練機器是具有挑戰性的。以下示例顯示了對集成電路中邏輯門進行建模的圖。

Example of a giant graph: circuit netlist. Figure from J. Baehr et. al. “Machine Learning and Structural Characteristics of Reverse Engineering”

為什么要使用圖？

人們選擇使用圖的原因可以歸納為以下幾點：

1. 圖提供了一種更好的方式來處理諸如關系和交互之類的抽象概念。它們還提供了直觀的視覺方式來思考這些概念。圖也構成了在社會環境中分析關系的自然基礎。
2. 圖可以通過將問題簡化為更簡單的表示形式來解決更復雜的問題，或者從不同的角度將問題轉換為表示形式。
3. 圖論和概念用于研究和建模社交網絡，欺詐模式，功耗模式，病毒性以及在社交媒體中的影響力。社交網絡分析（SNA）可能是圖論在數據科學中最著名的應用。

傳統圖分析方法

傳統方法主要基于算法，例如：

1. 搜索算法，例如BFS，DFS
2. 最短路徑算法，例如Dijkstra算法，最近鄰居
3. 生成樹算法，例如Prim算法
4. 聚類方法，例如高度連接的組件，k均值 這種算法的局限性在于，在應用該算法之前，我們需要以一定的置信度獲得圖的先驗知識。換句話說，它對我們研究圖本身沒有任何意義。最重要的是，沒有辦法執行圖級別分類。

圖神經網絡

所謂的圖神經網絡是一種可以直接應用于圖的神經網絡。它為節點級別，邊緣級別和圖級別的預測任務提供了一種方便的方法。

文獻中主要有三種類型的圖神經網絡：

1. 遞歸圖神經網絡
2. 空間卷積網絡
3. 譜卷積網絡

GNN的直覺是，節點自然是由其鄰居和連接定義的。為了理解這一點，我們可以簡單地想象一下，如果刪除節點周圍的鄰居和連接，則該節點將丟失其所有信息。因此，節點的鄰居和與鄰居的連接定義了節點的概念。

考慮到這一點，我們然后給每個節點一個狀態（x）來表示其概念。我們可以使用節點狀態（x）產生輸出（o），即有關概念的決策。節點的最終狀態（x_n）通常稱為“節點嵌入”。所有GNN的任務是通過查看其相鄰節點上的信息來確定每個節點的“節點嵌入”。 我們將從圖神經網絡，循環圖神經網絡或RecGNN的經典版本開始。

遞歸圖神經網絡

正如原始GNN論文中介紹的那樣，RecGNN是基于Banach不動點定理的假設而構建的。Banach不動點定理指出：（X，d）是一個完整的度量空間，而（T：X→X）是一個壓縮映射。然后，T具有唯一的不動點（x ?），對于任何x∈X，n→∞的序列T_n（x）收斂到（x ?）。這意味著，如果我申請的映射T上X為?倍，X ^ K在幾乎等于x ^（K-1），即：

RecGNN定義了一個參數化函數f_w：

其中L_N，l_co，x_ne，l_ne 表示當前節點的特征[n]，節點的邊緣[n]，相鄰節點的狀態，與相鄰節點的功能。（在原始論文中，作者將節點特征稱為節點標簽。這可能會造成一些混亂。）

An illustration of node state update based on the information in its neighbors. Figure from “The Graph Neural Network Model” 最終，在經過k次迭代之后，最終的節點狀態將用于生成輸出，以決定每個節點。輸出函數定義為：

空間卷積網絡

空間卷積網絡的直覺類似于著名的CNN，后者主導著圖像分類和分割任務的文獻。要了解圖像上的CNN，您可以查看這篇文章，其中詳細說明了CNN。

簡而言之，在圖像上進行卷積的想法是對中心像素周圍的相鄰像素求和，該像素由參數化大小和可學習權重的濾波器指定。空間卷積網絡通過將相鄰節點的特征聚合到中心節點中采用了相同的思想。

Left: Convolution on a regular graph such as an image. Right: Convolution on the arbitrary graph structure. Figure from “A Comprehensive Survey on Graph Neural Networks”

譜卷積網絡

與其他類型的GNN相比，這種類型的圖卷積網絡具有非常強大的數學基礎。譜卷積網絡建立在圖信號處理理論的基礎上。并通過簡化和逼近圖卷積。 通過Chebyshev多項式逼近 （Hammond et al。2011），圖卷積可以簡化為以下形式：

進一步簡化后，GCN論文提出了一種2層神經網絡結構，可以用以下等式描述：

其中A_head是原始圖鄰接矩陣A的預處理拉普拉斯算子。（有關數學的詳細信息，請參見GCN論文。將需要大量的精力來進行充分說明。）

如果您有一些機器學習經驗，則此公式看起來非常熟悉。這不過是常用的兩個完全連接的層結構。但是在這種情況下，它確實可以用作圖卷積。我將在下面說明為什么它可以執行圖卷積。

Example of a graph with a feature assigned to each node. Figured by author

讓我們考慮一下，我們有一個包含4個節點的簡單圖。如上圖所示，為這些節點中的每個節點分配了一個特征矩陣。圖鄰接矩陣和特征矩陣很容易得出，如下所示：

Example of the adjacency matrix and feature matrix. Figure by author

注意，鄰接矩陣的對角線故意更改為“ 1”，以為每個節點添加一個自環。當我們執行特征聚合時，這將包括每個節點本身的特征。 然后，我們執行A x X（為簡單起見，我們先忽略A的拉普拉斯算子和權重矩陣W。）

Example of graph convolution by matrix multiplication. Figure by author

矩陣乘法的結果顯示在最右邊的矩陣中。讓我們以第一個節點的結果功能為例。不難發現結果是[節點1]的所有特征之和，包括[節點1]本身的特征，并且[節點4]中的特征不包括在內，因為它不是[節點1]的鄰居。。在數學上，僅當存在邊時，圖的鄰接矩陣才具有值“ 1”，否則具有“ 0”。這使得矩陣乘法成為連接到參考節點的節點的特征之和。 因此，頻譜卷積網絡和空間卷積網絡盡管是在不同的基礎上開始的，但是它們共享相同的傳播規則。 當前可用的所有卷積圖神經網絡共享相同的格式。他們都嘗試學習通過該消息傳遞過程傳遞節點信息并更新節點狀態的功能。 任何圖神經網絡可被表達為與消息傳遞神經網絡（J. Gilmer et al. , 2017）的消息傳遞功能，節點更新功能和讀出功能。

GNN可以做什么？

GNN解決的問題可以大致分為三類：

1. 節點分類
2. 鏈接預測
3. 圖分類 在節點分類中，任務是預測圖中每個節點的節點嵌入。通常以半監督的方式訓練此類問題，其中僅對部分圖進行標記。節點分類的典型應用包括引文網絡，Reddit帖子，Youtube視頻和Facebook朋友關系。 在鏈接預測中，任務是了解圖中實體之間的關系，并預測兩個實體之間是否存在連接。例如，推薦系統可被視為鏈接預測問題，其中模型被賦予一組用戶對不同產品的評論，任務是預測用戶的偏好并調整推薦系統以根據用戶推送更多相關感興趣的產品。 在圖分類中，任務是將整個圖分類為不同的類別。它類似于圖像分類，但是目標變為圖域。有許多工業問題可以應用圖分類，例如在化學，生物醫學，物理學中，模型被賦予分子結構并被要求將目標分類為有意義的類別。它加快了對原子，分子或任何其他結構化數據類型的分析。

一些實際的應用

在了解了GNN可以執行哪種類型的分析之后，您一定想知道我可以對圖進行哪些實際應用。好了，本節將為您提供有關GNN實際應用的更多見解。

自然語言處理中的GNN

GNN被廣泛使用在自然語言處理（NLP）中。實際上，這也是GNN最初開始的地方。如果您中的某些人具有NLP經驗，則必須考慮到文本應該是一種序列或時間數據，則可以由RNN或LTSM最好地描述。然而，GNN則從完全不同的角度解決了這個問題。GNN利用單詞或文檔的內部關系來預測類別。例如，引文網絡嘗試根據論文引文關系和其他論文中引用的詞來預測網絡中每篇論文的標簽。它也可以通過查看句子的不同部分而不是像RNN或LTSM中那樣的純粹序列來構建語法模型。

計算機視覺中的GNN

許多基于CNN的方法已經在圖像中的目標檢測中達到了最新的性能，但是我們還不知道目標之間的關系。GNN在CV中的一種成功應用是使用圖來建模基于CNN的檢測器檢測到的物體之間的關系。從圖像中檢測到目標后，將它們輸入到GNN推理中以進行關系預測。GNN推斷的結果是生成的圖，該圖對不同目標之間的關系進行建模。

Scene Graph Generation. Figure from D. Xu, Y. Zhu, C. B. Choy, and L. Fei-Fei, “Scene graph generation by iterative message passing,” in Proc. of CVPR, 2017

CV中另一個有趣的應用是根據圖描述生成圖像。這可以解釋為幾乎與上述應用相反。圖像生成的傳統方式是使用GAN或自動編碼器生成文本到圖像。從圖到圖像的生成不是使用文本來描述圖像，而是提供了有關圖像語義結構的更多信息。

Image generated from scene graphs. Figure from J. Johnson, A. Gupta, and L. Fei-Fei, “Image generation from scene graphs,” in Proc. of CVPR, 2018 我想分享的最有趣的應用是零樣本學習（ZSL）。您可以找到這篇文章，以全面了解ZSL。總之，ZSL是想學給定的一類分類NO（目標類別的）訓練樣本。這是非常具有挑戰性的，因為如果沒有給出訓練樣本，我們需要讓模型在邏輯上“思考”以識別目標。例如，如果給了我們三張圖像（如下圖所示），并告訴我們在其中找到“ okapi”。我們以前可能沒有看過“okapi”。但是，如果我們還得到信息，“okapi”是一種有四只腿，斑馬紋皮膚的鹿面動物，那么我們就不難確定哪個是“okapii”。典型的方法是通過將檢測到的特征轉換為文本來模擬這種“思考過程”。但是，文本編碼彼此獨立。很難對文本描述之間的關系進行建模。換句話說，圖表示很好地模擬了這些關系。

Figure from X. Wang, Y. Ye, and A. Gupta, “Zero-shot recognition via semantic embeddings and knowledge graphs,” in CVPR 2018

其他領域的GNN

GNN的更多實際應用包括人類行為檢測，交通控制，分子結構研究，推薦系統，程序驗證，邏輯推理，社會影響預測以及對抗攻擊。下面顯示了對社交網絡中人際關系建模的圖表。GNN可用于將人們分為不同的社區群體。

結論

我們在本文中介紹了一些圖論，并強調了分析圖的重要性。人們總是將機器學習算法視為“ 黑匣子 ”。大多數機器學習算法僅從訓練數據的特征中學習，但沒有實際的邏輯可以執行。使用形，我們也許能夠將一些“邏輯”傳遞給機器，并使其更自然地“思考”。

GNN仍然是一個相對較新的領域，值得更多的研究關注。它是分析圖數據的強大工具。但是，它不僅限于圖中的問題。它可以很容易地推廣到任何可以通過圖建模的研究中。圖建模是分析問題的自然方法。

參考鏈接：

//medium.com/datadriveninvestor/an-introduction-to-graph-neural-network-gnn-for-analysing-structured-data-afce79f4cfdc

1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing（MixHop: 通過稀疏鄰域混合實現的高階圖卷積結構）

作者：Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan

摘要：現有的基于圖神經網絡的半監督學習方法(如圖卷積網絡)不能學習一般的鄰域混合關系。為了解決這個缺點，我們提出了一個新的模型，MixHop，它可以通過在不同距離重復混合鄰居的特征表示來學習這些關系，包括不同的操作符。MixHop不需要額外的內存或計算復雜度，并且在一些具有挑戰性的baseline上性能更好。此外，我們建議使用稀疏正則化，使我們能夠可視化網絡如何跨不同的圖數據集對鄰居信息進行優先級排序。我們對所學體系結構的分析表明，每個數據集的鄰域混合是不同的。

網址：//proceedings.mlr.press/v97/abu-el-haija19a.html

代碼鏈接：

2、Compositional Fairness Constraints for Graph Embeddings（圖嵌入的組合公平性約束）

作者：Avishek Bose, William Hamilton

摘要：學習高質量的節點嵌入是基于圖數據(如社交網絡和推薦系統)的機器學習模型的關鍵步驟。然而，現有的圖嵌入技術無法處理公平約束，例如，確保所學習的表示與某些屬性(如年齡或性別)不相關。在這里，我們引入一個對抗框架來對圖嵌入實施公平性約束。我們的方法是組合的，這意味著它可以靈活地適應推理過程中公平約束的不同組合。例如，在社會推薦的上下文中，我們的框架允許一個用戶要求他們的推薦對他們的年齡和性別都是不變的，同時也允許另一個用戶只對他們的年齡要求不變。在標準知識圖和推薦系統基準測試上的實驗突出了我們提出的框架的實用性。

網址：

代碼鏈接：

3、Learning Discrete Structures for Graph Neural Networks（學習圖神經網絡的離散結構）

作者：Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He

摘要：圖神經網絡(GNNs)是一種流行的機器學習模型，已成功地應用于一系列問題。它們的主要優勢在于能夠顯式地合并數據點之間的稀疏和離散依賴結構。不幸的是，只有在這種圖結構可用時才能使用GNN。然而，在實踐中，真實世界中的圖常常是嘈雜的、不完整的，或者根本就不可用。在此基礎上，我們提出通過近似求解一個學習圖邊緣離散概率分布的雙層程序來共同學習圖卷積網絡(GCNs)的圖結構和參數。這不僅允許在給定圖不完整或損壞的場景中應用GCNs，還允許在圖不可用的場景中應用GCNs。我們進行了一系列的實驗，分析了該方法的行為，并證明了它比相關的方法有顯著的優勢。

網址：

代碼鏈接：

4、Graph U-Nets

作者：Hongyang Gao, Shuiwang Ji

摘要：我們研究了圖數據的表示學習問題。卷積神經網絡可以很自然地對圖像進行操作，但在處理圖數據方面存在很大的挑戰。由于圖像是二維網格上節點圖的特殊情況，圖的嵌入任務與圖像的分割等像素級預測任務具有天然的對應關系。雖然像U-Nets這樣的編解碼器結構已經成功地應用于許多圖像的像素級預測任務，但是類似的方法在圖數據上還是很缺乏。這是由于池化操作和上采樣操作對圖數據不是自然的。為了解決這些挑戰，我們提出了新的圖池化(gPool)和反池化(gUnpool)操作。gPool層根據節點在可訓練投影向量上的標量投影值，自適應地選擇節點，形成較小的圖。我們進一步提出了gUnpool層作為gPool層的逆操作。gUnpool層使用在相應gPool層中選擇的節點位置信息將圖恢復到其原始結構。基于我們提出的gPool和gUnpool層，我們開發了一個基于圖的編解碼器模型，稱為Graph U-Nets。我們在節點分類和圖分類任務上的實驗結果表明，我們的方法比以前的模型具有更好的性能。

網址：

代碼鏈接：

5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance（圖神經網絡用于樂譜數據和鋼琴演奏表現力的建模）

作者：Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam

摘要：樂譜通常被處理為一維序列數據。與文本文檔中的單詞不同，樂譜中的音符可以由復調性質同時演奏，并且每個音符都有自己的持續時間。在本文中，我們使用圖神經網絡表示樂譜的獨特形式，并將其應用于從樂譜中渲染表現力的鋼琴演奏。具體地，我們設計了使用note-level門控圖神經網絡和采用迭代反饋方法的雙向LSTM測量級層次注意網絡的模型。此外，為了對給定輸入分數的不同性能風格建模，我們使用了一個變分自編碼器。聽力測試結果表明，與baseline模型和層次注意網絡模型相比，我們提出的模型生成了更多的類人性能，而層次注意網絡模型將音樂得分處理為類詞序列。

網址：

代碼鏈接：

6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects（用于學習圖結構物體相似性的圖匹配網絡）

作者：Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli

摘要：本文針對圖結構物體的檢索與匹配這一具有挑戰性的問題，做了兩個關鍵的貢獻。首先，我們演示了如何訓練圖神經網絡(GNN)在向量空間中嵌入圖，從而實現高效的相似性推理。其次，提出了一種新的圖匹配網絡模型，該模型以一對圖作為輸入，通過一種新的基于注意力的交叉圖匹配機制，對圖對進行聯合推理，計算出圖對之間的相似度評分。我們證明了我們的模型在不同領域的有效性，包括具有挑戰性的基于控制流圖的功能相似性搜索問題，該問題在軟件系統漏洞檢測中發揮著重要作用。實驗分析表明，我們的模型不僅能夠在相似性學習的背景下利用結構，而且它們還比那些為這些問題精心手工設計的領域特定baseline系統表現得更好。

網址：

7、Disentangled Graph Convolutional Networks（Disentangled圖卷積網絡）

作者：Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu

摘要：真實世界圖形的形成通常來自于許多潛在因素之間高度復雜的交互作用。現有的基于圖結構數據的深度學習方法忽略了潛在因素的糾纏，使得學習表示不魯棒，難以解釋。然而，在圖神經網絡的研究中，如何將潛在因素分解出來的學習表示方法面臨著巨大的挑戰，并且在很大程度上還沒有得到探索。本文引入解糾纏（Disentangled）圖卷積網絡(DisenGCN)來學習disentangled節點表示。特別地，我們提出了一種新的鄰域路由機制，它能夠動態地識別可能導致節點與其相鄰節點之間產生邊的潛在因素，并相應地將相鄰節點分配到一個提取和卷積特定于該因素的特性的信道。從理論上證明了該路由機制的收斂性。實驗結果表明，我們提出的模型可以獲得顯著的性能提升，特別是當數據表明存在許多糾纏因素時。

網址：

8、GMNN: Graph Markov Neural Networks（GMNN: 圖馬爾可夫神經網絡）

作者：Meng Qu, Yoshua Bengio, Jian Tang

摘要：本文研究關系數據中的半監督對象分類問題，這是關系數據建模中的一個基本問題。在統計關系學習(如關系馬爾可夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中，這一問題得到了廣泛的研究。統計關系學習方法可以通過條件隨機場對對象標簽的依賴關系進行有效的建模，用于集體分類，而圖神經網絡則通過端到端訓練學習有效的對象表示來分類。在本文中，我們提出了一種集兩種方法優點于一體的Graph Markov Neural Networks (GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模，利用變分EM算法對其進行有效訓練。在E-step中，一個圖神經網絡學習有效的對象表示，逼近對象標簽的后驗分布。在M-step中，利用另一個圖神經網絡對局部標簽依賴關系進行建模。在對象分類、鏈路分類和無監督節點表示學習等方面的實驗表明，GMNN取得了較好的效果。

網址：

代碼鏈接：

9、Simplifying Graph Convolutional Networks（簡化圖卷積網絡）

作者：Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger

摘要：圖卷積網絡(GCNs)及其變體得到了廣泛的關注，已成為學習圖表示的實際方法。GCNs的靈感主要來自最近的深度學習方法，因此可能會繼承不必要的復雜性和冗余計算。在本文中，我們通過連續消除非線性和折疊連續層之間的權重矩陣來減少這種額外的復雜性。我們從理論上分析了得到的線性模型，結果表明它對應于一個固定的低通濾波器，然后是一個線性分類器。值得注意的是，我們的實驗評估表明，這些簡化不會對許多下游應用程序的準確性產生負面影響。此外，生成的模型可以擴展到更大的數據集，這是自然可解釋的，并且比FastGCN的速度提高了兩個數量級。

網址：

代碼鏈接：

10、Position-aware Graph Neural Networks（位置感知圖神經網絡）

作者：Jiaxuan You, Rex Ying, Jure Leskovec

摘要：學習節點嵌入，捕捉節點在更廣泛的圖結構中的位置，對于圖上的許多預測任務是至關重要的。然而，現有的圖神經網絡(GNN)結構在獲取給定節點相對于圖中所有其他節點的position/location方面的能力有限。本文提出了一種計算位置感知節點嵌入的新型神經網絡—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先對錨節點集進行采樣，計算給定目標節點到每個錨集的距離，然后學習錨集上的非線性距離加權聚集方案。通過這種方式，P-GNNs可以捕獲節點相對于錨節點的位置。P-GNN有幾個優點: 它們具有歸納性，可擴展性，并且可以包含節點特征信息。我們將P-GNNs應用于多個預測任務，包括鏈路預測和社區檢測。我們顯示，P-GNNs始終優于最先進的GNNs, 在ROC AUC分數方面提高了66％。

網址：

代碼鏈接：

論文下載

百度云鏈接：

提取碼：vcc3

1、 Adversarial Graph Embedding for Ensemble Clustering

作者：Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要：Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區（consensus partition）中，但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2）獲得具有可學習圖表示的共識分區（consensus partition）仍未得到充分研究。在本文中，我們提出了一種新穎的對抗圖自動編碼器（AGAE）模型，將集成聚類結合到深度圖嵌入過程中。具體地，采用圖卷積網絡作為概率編碼器，將特征內容信息與共識圖信息進行聯合集成，并使用簡單的內積層作為解碼器，利用編碼的潛變量（即嵌入表示）重建圖。此外，我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗，證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。

網址：//www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者：Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要：Attributed Graph聚類是一項具有挑戰性的工作，它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明，圖卷積能夠有效地將結構信息和內容信息結合起來，近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而，對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能，人們的了解有限。現有的方法本質上是利用固定低階的圖卷積，只考慮每個節點幾跳內的鄰居，沒有充分利用節點關系，忽略了圖的多樣性。本文提出了一種自適應圖卷積方法，利用高階圖卷積捕獲全局聚類結構，并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗，驗證了該方法的有效性。實驗結果表明，該方法與現有的方法相比具有較好的優越性。

網址：

3、Dynamic Hypergraph Neural Networks

作者：Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要：近年來，基于圖/超圖（graph/hypergraph）的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而，隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題，我們提出了一個動態超圖神經網絡框架（DHGNN），它由兩個模塊的堆疊層組成：動態超圖構造（DHG）和超圖卷積（HGC）。考慮到最初構造的超圖可能不適合表示數據，DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積，它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。

網址：

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者：Hogun Park and Jennifer Neville;

摘要：節點分類是關系機器學習中的一個重要問題。然而，在圖邊表示實體間交互的場景中(例如，隨著時間的推移)，大多數當前方法要么將交互信息匯總為鏈接權重，要么聚合鏈接以生成靜態圖。在本文中，我們提出了一種神經網絡結構，它可以同時捕獲時間和靜態交互模式，我們稱之為Temporal-Static-Graph-Net（TSGNet）。我們的主要觀點是，利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式)，可以提高節點分類的性能。在我們對節點分類任務的實驗中，與最先進的方法相比，TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比，TSGNet的分類錯誤減少了24%，平均減少了10%。

網址：

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者：Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要：事件在現實世界中實時發生，可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而，由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構，挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯，并構建了一個基于事件的異構信息網絡(HIN)，該網絡融合了外部知識庫中的信息，提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例，并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗，比較各種社會事件檢測和聚類任務。實驗結果表明，我們提出的框架優于其他可選的社會事件分類技術。

網址：

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者：Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要：基于會話的推薦旨在預測用戶基于匿名會話的下一步行動，是許多在線服務（比如電子商務，媒體流）中的關鍵任務。近年來，在不使用遞歸網絡和卷積網絡的情況下，自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而，SAN缺乏存在于相鄰商品上的本地依賴關系，并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN)，用于基于會話的推薦。在GC-SAN中，我們動態地為會話序列構造一個圖結構，并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后，每個會話通過應用自注意力機制學習長期依賴關系。最后，每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明，GC-SAN始終優于最先進的方法。

網址：

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者：Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要：基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而，彌補模態差異，進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法，該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成：語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程，即學生模塊，用于語義信息的挖掘。此外，利用GCN研究數據點之間的內在相似性結構，有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明，所提出的GCH方法優于最先進的方法。

網址：

題目： Graph Neural Networks:A Review of Methods and Applications

簡介： 許多學習任務需要處理圖形數據，該圖形數據包含元素之間的關系信息。對物理系統進行建模，學習分子指紋，預測蛋白質界面以及對疾病進行分類，都需要從圖輸入中學習模型。在諸如從文本和圖像之類的非結構數據中學習的其他領域中，對提取結構的推理，例如句子的依存關系樹和圖像的場景圖，是一個重要的研究課題，它也需要圖推理模型。圖神經網絡（GNN）是連接器模型，可通過在圖的節點之間傳遞消息來捕獲圖的依賴性。與標準神經網絡不同，圖神經網絡保留一種狀態，該狀態可以表示來自其鄰域的任意深度的信息。盡管已經發現難以訓練原始圖神經網絡來固定點，但是網絡體系結構，優化技術和并行計算的最新進展已使他們能夠成功學習。近年來，基于圖卷積網絡（GCN）和門控圖神經網絡（GGNN）的系統已經在上述許多任務上展示了突破性的性能。在本綜述中，我們對現有的圖神經網絡模型進行了詳細的回顧，對應用程序進行了系統分類，并提出了四個未解決的問題，供以后研究。

作者簡介： 周杰，教授,清華大學自動化系黨委書記，教授，博士生導師。