亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是，構造了結構圖，特征圖(feature graph)，以及兩者的組合來提取特定的和通用的嵌入，并使用注意機制來學習嵌入的自適應重要性權重。實驗發現，AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息，對應不同的參數取值。 //arxiv.org/abs/2007.02265

摘要：圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而，最近的一些研究提出了一個問題，即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中，我們首先提出一個實驗研究。令人驚訝的是，我們的實驗結果清楚地表明，當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的，甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息，這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷，設計出一種新型的GCNs，既能保留現有GCNs的優勢，又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題，我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入，并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明，AM-GCN從節點特征和拓撲結構中提取了最多的相關信息，顯著提高了分類精度。

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

最近的研究表明，預訓練文本表示能夠顯著提高許多自然語言處理任務的性能。訓練的中心目標是學習對后續任務有用的文本表示形式。然而，現有的方法是通過最小化代理目標(如語言建模的負日志可能性)來優化的。在這項工作中，我們介紹了一個學習算法，它直接優化模型學習文本表示的能力，以有效地學習下游任務。我們證明了多任務預訓練和模型不可知的元學習之間有著內在的聯系。BERT中采用的標準多任務學習目標是元訓練深度為零的學習算法的一個特例。我們在兩種情況下研究了這個問題:無監督的預訓練和有監督的預訓練，不同的預訓練對象驗證了我們的方法的通用性。實驗結果表明，我們的算法對各種下游任務進行了改進，獲得了更好的初始化。

題目： Training Binary Neural Networks with Real-to-Binary Convolutions

摘要：

本文展示了如何將二進制網絡訓練到與完全精確網絡相當的幾個百分點(～3?5%)之內。我們首先展示如何建立一個強大的基線，該基線通過結合最近提出的進展和仔細調整優化過程已經達到了最先進的精度。其次，我們證明了通過最小化二進制信號的輸出和相應的實值卷積之間的差異，可以獲得額外顯著的精度增益。我們以兩種互補的方式實現了這個想法:

• (1)具有損失函數，在訓練過程中，通過對二值卷積和實值卷積輸出的空間注意圖進行匹配；
• (2)以數據驅動的方式，利用二值化過程之前的推理過程中可用的實值激活，在二進制卷積之后重新縮放激活。

最后，我們證明，當我們把所有的改進放在一起，當使用ResNet-18架構時，該模型在ImageNet上的top-1精度超過當前水平的5%，并將其與CIFAR-100和ImageNet上的real-value精度的差距分別降低到不足3%和5%。

最近，數據挖掘領域國際最高級別會議KDD 2019 于 2019 年 8 月 4 日- 8 日在美國阿拉斯加州安克雷奇市舉行。今年的 KDD 包括兩個track：Research Track和 Applied Data Science track。據了解，Research Track 共收到約 1200 篇投稿，其中約 110 篇 接收為oral 論文，60 篇 接收為poster 論文，接收率僅為 14%。專知小編發現關于圖神經網絡的相關論文在今年的KDD上非常多，所以今天小編專門整理最新12篇圖神經網絡（GNN）相關論文——聚類-GCN、條件隨機場-GCN、Degree-GNN、GCN-MF、GCN-Pooling、GRN、異構GNN、強化學習-GNN、對抗攻擊-GCN。

1. Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks

作者：Wei-Lin Chiang; Xuanqing Liu; Si Si; Yang Li; Samy Bengio; Cho-Jui Hsieh;

摘要：圖卷積網絡(GCN)已成功地應用于許多基于圖的應用中; 然而，訓練一個大規模的GCN仍然是具有挑戰性的。現有的基于SGD的算法要么計算成本高，且隨著GCN層數的增加呈指數級增長，要么需要很大的空間來保存整個圖以及在內存中嵌入每個節點。本文利用圖的聚類結構，提出了一種新的適合于基于SGD的訓練的GCN算法Cluster-GCN。Cluster-GCN的工作原理如下: 在每一步中，它對與圖聚類算法標識的密集子圖相關聯的節點塊進行采樣，并限制在該子圖中進行鄰域搜索。這種簡單而有效的策略能夠顯著提高內存和計算效率，同時能夠達到與以前算法相當的測試精度。為了測試算法的可擴展性，我們創建了一個新的Amazon2M數據集，包含200萬個節點和6100萬條邊，比之前最大的公共可用數據集(Reddit)大5倍以上。對于在此數據集上訓練3層GCN, Cluster-GCN比之前最先進的VR-GCN(1523秒vs. 1961秒)更快，并且使用更少的內存(2.2GB vs. 11.2GB)。此外，對于該數據集的4層GCN的訓練，我們的算法可以在36分鐘左右完成，而現有的GCN訓練算法都因為內存不足而無法訓練。此外，Cluster-GCN允許我們在不需要太多時間和內存開銷的情況下訓練更深層的GCN，從而提高了預測精度——使用5層Cluster-GCN，我們在PPI數據集上實現了最先進的測試結果，F1 score為99.36，而之前最好的結果是98.71。

網址：

//www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol

2. Conditional Random Field Enhanced Graph Convolutional Neural Networks

作者：Hongchang Gao; Jian Pei; Heng Huang;

摘要：圖卷積神經網絡近年來受到越來越多的關注。與標準卷積神經網絡不同，圖卷積神經網絡對圖數據進行卷積運算。與一般數據相比，圖數據具有不同節點間的相似性信息。因此，在圖卷積神經網絡的隱層中保存這種相似性信息是非常重要的。然而，現有的工作沒有做到這一點。另一方面，為了保持相似關系，對隱藏層的增強是一個挑戰。為了解決這一問題，我們提出了一種新的CRF層用于圖卷積神經網絡，以使得相似節點具有相似的隱藏特征。這樣，可以顯式地保存相似性信息。此外，我們提出的CRF層易于計算和優化。因此，它可以很容易地插入到現有的圖卷積神經網絡中，提高其性能。最后，大量的實驗結果驗證了我們提出的CRF層的有效性。

網址：

3. DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification

作者：Jun Wu; Jingrui He; Jiejun Xu;

摘要：圖數據廣泛存在于許多具有高影響力的應用中。受網格結構數據深度學習成功的啟發，研究者提出了一種學習強大的節點級或圖級表示的圖神經網絡模型。然而，現有的圖神經網絡大多存在以下局限性：(1)對圖卷積的seed-oriented、degree-aware、order-free等特性的分析比較有限; (2) 在區分結構感知節點鄰域時，沒有將節點的degree-specific圖結構顯式表示為圖卷積; (3)圖級pooling機制的理論解釋尚不明確。為了解決這些問題，我們提出了一種基于Weisfeiler- Lehman圖同構測試的通用degree-specific圖神經網絡DEMO-Net。為了顯式地捕獲與節點屬性集成的圖的拓撲結構，我們認為圖卷積應該具有三個屬性：seed-oriented, degree-aware 和order-free。為此，我們提出了多任務圖卷積，其中每個任務表示具有specific degree value的節點的節點表示學習，從而保持了degree-specific的圖結構。特別地，我們設計了兩種多任務學習方法：degree-specific權重法和圖卷積的哈希函數法。此外，我們還提出了一種新的圖級pooling/readout方案，用于學習圖形表示，可證明位于degree-specific的Hilbert kernel空間中。在多個節點和圖分類基準數據集上的實驗結果表明，我們提出的DEMO-Net相對于最先進的圖神經網絡模型的有效性和高效性。

網址：

4. GCN-MF: Disease-Gene Association Identification By Graph Convolutional Networks and Matrix Factorization

作者：Peng Han; Peng Yang; Peilin Zhao; Shuo Shang; Yong Liu; Jiayu Zhou; Xin Gao; Panos Kalnis;

摘要：發現疾病基因關聯是一項基礎性和關鍵性的生物醫學任務，它有助于生物學家和醫生發現癥候的致病機制。基于網絡的半監督學習(NSSL)是這些研究中常用的一種方法，它利用各種臨床生物標志物來測量基因和疾病表型之間的相似性，來解決這個類平衡的大規模數據問題。然而，大多數現有的NSSL方法都是基于線性模型的，存在兩個主要限制:1)它們隱式地考慮每個候選對象的局部結構表示; 2)他們無法捕捉疾病和基因之間的非線性聯系。本文將圖卷積網絡(GCN)和矩陣因子分解相結合，提出了一種新的疾病基因關聯任務框架GCN-MF。在GCN的幫助下，我們可以捕獲非線性相互作用，并利用測量到的相似性。此外，我們定義了一個邊際控制損失函數，以減少稀疏性的影響。實驗結果表明，所提出的深度學習算法在大多數指標上都優于其他最先進的方法。

網址：

5. Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks

作者：Namyong Park; Andrey Kan; Xin Luna Dong; Tong Zhao; Christos Faloutsos;

摘要：如何估計知識圖譜(KG)中節點的重要性? KG是一個多關系圖，它被證明對于許多任務(包括問題回答和語義搜索)都很有價值。在本文中，我們提出了GENI，一種解決KG中節點重要性估計問題的方法，該方法支持商品推薦和資源分配等多種下游應用。雖然已經有了一些方法來解決一般圖的這個問題，但是它們沒有充分利用KG中可用的信息，或者缺乏建模實體與其重要性之間復雜關系所需的靈活性。為了解決這些限制，我們探索了有監督的機器學習算法。特別是，基于圖神經網絡（GNN）的最新進展，我們開發了GENI，這是一種基于GNN的方法，旨在應對預測KG中節點重要性所涉及的獨特挑戰。我們的方法通過predicate-aware注意力機制和靈活的中心性調整來執行重要性分數的聚合，而不是聚合節點嵌入。在我們對GENI和現有方法的評估中，GENI在預測具有不同特征的真實KG中節點重要性方面比現有方法高出5-17%。

網址：

6. Graph Convolutional Networks with EigenPooling

作者：Yao Ma; Suhang Wang; Charu Aggarwal; Jiliang Tang;

摘要：圖神經網絡將深度神經網絡模型推廣到圖結構數據中，近年來受到越來越多的關注。它們通常通過轉換、傳播和聚合節點特征來學習節點表示，并被證明可以提高許多與圖相關的任務的性能，如節點分類和鏈接預測。將圖神經網絡應用于圖分類任務，需要從節點表示生成圖表示的方法。一種常見的方法是全局組合節點表示。然而，豐富的結構信息被忽略了。因此，在圖表示學習過程中，需要一個層次的pooling過程來保持圖的結構。最近有一些關于層次學習圖表示的工作類似于傳統卷積神經網絡（CNN）中的pooling步驟。然而，在匯聚過程中，局部結構信息在很大程度上仍然被忽略。本文介紹了一種基于圖的傅里葉變換的pooling操作EigenPooling，它可以利用pooling過程中的節點特征和局部結構。然后基于pooling算子設計pooling層，并與傳統的GCN卷積層進一步結合，形成一個用于圖分類的圖神經網絡框架EigenGCN。從局部和全局的角度對EigenGCN進行了理論分析。圖分類任務在6個常用benchmark上的實驗結果表明了該框架的有效性。

網址：

7. Graph Recurrent Networks with Attributed Random Walks

作者：Xiao Huang; Qingquan Song; Yuening Li; Xia Hu;

摘要：隨機游走被廣泛應用于從網絡嵌入到標簽傳播的各種網絡分析任務中。它可以捕獲并將幾何結構轉換為結構化序列，同時解決了稀疏性和維數的災難性問題。雖然對純網絡上的隨機游走進行了深入的研究，但在實際系統中，節點往往不是純頂點，而是具有不同的特征，并由與之相關的豐富數據集來描述。這些節點屬性包含豐富的信息，這些信息通常是網絡的補充，并為基于隨機游走的分析帶來了機會。然而，目前還不清楚如何為attributed網絡開發隨機游走來實現有效的聯合信息提取。節點屬性使得節點之間的交互更加復雜，拓撲結構也更加異構。

為了彌補這一不足，我們研究了在attributed網絡上進行聯合隨機游動，并利用它們來提高深度節點表示學習。提出的框架GraphRNA由兩個主要組件組成，即，一種協作游走機制—AttriWalk，以及一種為隨機游走量身定制的深度嵌入體系結構，稱為圖遞歸網絡(graph recurrent networks ，GRN)。AttriWalk將節點屬性看作是一個二分網絡，并利用它來促進節點間的離散化，減少節點間向高中心匯聚的趨勢。AttriWalk使我們能夠將突出的深度網絡嵌入模型-圖卷積網絡推向一個更有效的架構——GRN。GRN賦予節點表示以與原始attributed網絡中的節點交互相同的方式進行交互。在真實數據集上的實驗結果表明，與目前最先進的嵌入算法相比，GraphRNA算法很有效。

網址：

8. HetGNN: Heterogeneous Graph Neural Network

作者：Chuxu Zhang; Dongjin Song; Chao Huang; Ananthram Swami; Nitesh V. Chawla;

摘要：異構圖表示學習的目的是為每個節點尋求一個有意義的向量表示，以便于后續應用，如鏈接預測、個性化推薦、節點分類等。然而，該任務具有挑戰性，不僅因為需要合并異構由多種類型的節點和邊組成的結構（圖）信息，但也需要考慮與每個節點相關聯的異構屬性或內容（例如，文本或圖像）。盡管在同構(或異構)圖嵌入、屬性圖嵌入以及圖神經網絡等方面都做了大量的工作，但很少有圖神經網絡能夠有效地聯合考慮圖的異構結構(圖)信息以及各節點的異構內容信息。為此，我們提出了一種異構圖神經網絡模型HetGNN。具體來說，我們首先引入一個具有重啟策略的隨機游走，為每個節點抽取一個固定大小的強相關異構鄰居，并根據節點類型對它們進行分組。接下來，我們設計了一個包含兩個模塊的神經網絡結構來聚合這些采樣的相鄰節點的特征信息。第一個模塊對異構內容的“深度”特性交互進行編碼，并為每個節點生成內容嵌入。第二個模塊聚合不同鄰近組(類型)的內容(屬性)嵌入，并通過考慮不同組的影響來進一步組合它們，以獲得最終的節點嵌入。最后，我們利用圖context loss和一個mini-batch梯度下降過程以端到端方式訓練模型。在多個數據集上的大量實驗表明，HetGNN在各種圖挖掘任務（比如鏈路預測、推薦、節點分類聚類、歸納節點分類聚類）中都能超越最先進的baseline。

網址：

9. Learning Dynamic Context Graphs for Predicting Social Events

作者：Songgaojun Deng; Huzefa Rangwala; Yue Ning;

摘要：以建模上下文信息為目標的事件預測是自動分析生成和資源分配等應用程序的一項重要任務。為感興趣的事件捕獲上下文信息可以幫助分析人員理解與該事件相關的因素。然而，由于以下幾個因素，在事件預測中獲取上下文信息是具有挑戰性的: (i)上下文結構和形成的不確定性，(ii)高維特征，以及(iii)特征隨時間的適應性。最近，圖表示學習在交通預測、社會影響預測和可視化問題回答系統等應用中取得了成功。在本文中，我們研究了社會事件建模中的圖表示，以識別事件上下文的動態屬性作為social indicators。

受圖神經網絡的啟發，我們提出了一種新的圖卷積網絡來預測未來的事件(例如，國內動亂運動)。我們從歷史/以前的事件文檔中提取和學習圖表示。該模型利用隱藏的單詞圖特征預測未來事件的發生，并將動態圖序列識別為事件上下文。在多個真實數據集上的實驗結果表明，該方法與各種先進的社會事件預測方法相比具有較強的競爭力。

網址：

10. Automating Feature Subspace Exploration via Multi-Agent Reinforcement Learning

作者：Kunpeng Liu; Yanjie Fu; Pengfei Wang; Le Wu; Rui Bo; Xiaolin Li;

摘要：特征選擇是機器學習的預處理步驟，它試圖為后續的預測任務選擇最相關的特征。有效的特征選擇可以降低維數，提高預測精度，提高結果的可理解性。從子集空間中尋找最優特征子集是一個非常具有挑戰性的問題，因為子集空間可能非常大。在已有研究的基礎上，增強學習為搜索策略的全局化提供了新的視角。針對特征選擇問題，提出了一種多智能體增強學習框架。具體來說，我們首先用一個增強學習框架來重新制定特征選擇，將每個特征視為一個智能體。然后，通過三種方法得到環境狀態，即為了使算法更好地理解學習過程，本文采用了統計描述、自動編碼器和圖卷積網絡(GCN)。我們展示了如何以一種基于圖的方式學習狀態表示，這種方法不僅可以處理邊的變化，還可以處理節點逐步變化的情況。此外，我們還研究了如何通過更合理的獎勵方案來改善不同特征之間的協調。該方法具有全局搜索特征子集的能力，并且由于增強學習的性質，可以很容易地適應實時情況(實時特征選擇)。此外，我們還提出了一種有效的加速多智能體強化學習收斂的策略。最后，大量的實驗結果表明，該方法比傳統方法有顯著的改進。

網址：

11. Robust Graph Convolutional Networks Against Adversarial Attacks

作者：Dingyuan Zhu; Ziwei Zhang; Peng Cui; Wenwu Zhu;

摘要：圖卷積網絡(GCNs)是一種新興的基于圖的神經網絡模型，在節點分類任務中取得了最先進的性能。然而，近年來的研究表明，GCN容易受到惡意攻擊，即在圖結構和節點屬性上的小擾動，這給GCN網絡在實際應用中帶來了很大的挑戰。如何提高GCN的魯棒性仍然是一個關鍵的開放性問題。

為了解決這一問題，我們提出了Robust GCN (RGCN)，這是一種新的模型，它“加強”了GCN的對抗攻擊能力。具體來說，我們的方法不是將節點表示為向量，而是采用高斯分布作為每個卷積層中節點的隱藏表示。這樣，當圖受到攻擊時，我們的模型可以自動吸收高斯分布方差變化的不利影響。此外，為了彌補對抗性攻擊在GCN中的傳播，我們提出了一種基于方差的注意力機制，即在執行卷積時根據節點鄰域的方差分配不同的權值。大量的實驗結果表明，我們提出的方法可以有效地提高GCN的魯棒性。在三個基準圖上，與最先進的GCN方法相比，我們的RGCN在各種對抗攻擊策略下的節點分類精度有了顯著提高。

網址：

12. Stability and Generalization of Graph Convolutional Neural Networks

作者：Saurabh Verma; Zhi-Li Zhang;

摘要：圖卷積神經網絡(GCNNs)是受卷積神經網絡在一維和二維數據上的啟發而發展起來的一種用于各種圖數據學習任務的神經網絡，在實際數據集上表現出了良好的性能。盡管GCNN模型取得了一定的成功，但是對于GCNN模型的泛化性質等理論探索卻十分缺乏。本文通過分析單層GCNN模型的穩定性，推導出其在半監督圖學習環境下的泛化保證，為深入理解GCNN模型邁出了第一步。特別地，我們證明了GCNN模型的算法穩定性依賴于其圖卷積濾波器的最大絕對特征值。此外，為了確保提供強泛化保證所需的均勻穩定性，最大絕對特征值必須與圖的大小無關。我們的結果為設計新的和改進的具有算法穩定性的圖卷積濾波器提供了新的見解。我們對各種真實世界圖數據集的泛華差距和穩定性進行了評價，實證結果確實支持了我們的理論發現。據我們所知，我們是第一個在半監督設置下研究圖學習的穩定性邊界，并推導出GCNN模型的泛化邊界。

網址：

下載鏈接： 提取碼：zbkg

題目： Graph Neural Networks: A Review of Methods and Applications

摘要： 許多學習任務都需要處理包含元素間豐富關系信息的圖形數據。建模物理系統、學習分子指紋、預測蛋白質界面和疾病分類需要一個模型從圖形輸入中學習。在文本、圖像等非結構化數據的學習等領域，對句子的依存樹、圖像的場景圖等提取的結構進行推理是一個重要的研究課題，同時也需要建立圖形推理模型。圖神經網絡（GNNs）是通過圖節點之間的信息傳遞來獲取圖的依賴性的連接模型。與標準神經網絡不同，圖神經網絡保留了一種狀態，這種狀態可以以任意深度表示來自其鄰域的信息。雖然原始GNNs已經被發現很難訓練到固定的點，但是最近在網絡結構、優化技術和并行計算方面的進展已經使它能夠成功地學習。近年來，基于圖形卷積網絡（GCN）、圖形注意網絡（GAT）、門控圖形神經網絡（GGNN）等圖形神經網絡變體的系統在上述許多任務上都表現出了突破性的性能。在這項調查中，我們提供了一個詳細的檢討現有的圖形神經網絡模型，系統分類的應用，并提出了四個開放的問題，為今后的研究。

作者簡介： Jie Zhou，CS的研究生，從事系統研究，主要研究計算機安全。他畢業于廈門大學，在羅切斯特大學獲得碩士學位及博士學位。

Zhiyuan Liu，清華大學計算機系NLP實驗室副教授。

題目： GNNExplainer: Generating Explanations for Graph Neural Networks

簡介： 圖神經網絡（GNN）通過沿輸入圖的邊緣遞歸傳遞神經消息，將節點特征信息與圖結構結合在一起。但是同時包含圖結構和特征信息會導致模型復雜，并且解釋GNN所做的預測仍未解決。在這里，我們提出GNNExplainer，這是第一種通用的，與模型無關的方法，可為任何基于GNN的模型的預測提供可解釋性。給定一個實例，GNNExplainer會確定緊湊的子圖結構和節點特征的一小部分，這些特征對GNN的預測至關重要。此外，GNNExplainer可以為整個實例類生成一致而簡潔的解釋。我們將GNNExplainer公式化為優化任務，該優化任務可最大化GNN的預測與可能的子圖結構的分布之間的相互信息。在合成圖和真實世界圖上進行的實驗表明，我們的方法可以識別重要的圖結構以及節點特征，并且比基準性能高出17.1％。 GNNExplainer提供了各種好處，從可視化語義相關結構的能力到可解釋性，再到洞悉有缺陷的GNN的錯誤。

作者簡介： 領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 調查的問題是由大規模數據，網絡和在線媒體引起的。 Jure Leskovec主頁

代碼鏈接：

【導讀】ICLR 2020大會共收到近2600篇投稿，相比ICLR 2019的1580篇論文投稿，今年增幅約為62.5%, 競爭尤其激烈。 圖神經網絡（GNN）相關的論文依然很火爆，為此，專知小編提前為大家篩選了五篇Open代碼的GNN相關論文供參考和學習！后續小編還會整理ICLR 2020的相關論文和最新信息，盡請期待。

1、Unsupervised Learning of Graph Hierarchical Abstractions with Differentiable Coarsening and Optimal Transport

摘要：層次抽象是解決各種學科中大規模圖數據問題的一種方法。Coarsening就是這樣一種方法:它生成一個金字塔形的圖，其中下一層圖是上一層圖的結構總結。科學計算歷史悠久，許多Coarsening策略是基于數學驅動的啟發式算法發展起來的。近年來，人們對通過可微參數化設計可學習的層次方法的研究又有了新的興趣。這些方法與下游任務配對以進行監督學習。在這項工作中，我們提出了一種無監督的方法，稱為OTCoarsening，使用最優transport。OTCoarsening矩陣和transport成本矩陣都是參數化的，這樣就可以學習最優coarsening策略并針對給定的一組圖進行裁剪。結果表明，與監督方法相比，該方法能生成有意義的coarse圖，且具有較好的分類性能。

網址： //www.zhuanzhi.ai/paper/88cab6f00b90d041a7c39

代碼：

2、Fractional Graph Convolutional Networks (FGCN) for Semi-Supervised Learning

摘要：由于在許多應用程序(從社交網絡到區塊鏈到電網)中的高實用性，對非歐幾里德對象(如圖和流形)的深入學習繼續獲得越來越多的興趣。目前大多數可用的技術都是基于這樣的思想，即在spectral域中使用適當選擇的非線性可訓練濾波器進行卷積運算，然后使用有限階多項式逼近濾波器。然而，這種多項式逼近方法往往對圖結構的變化不具有魯棒性，而且主要用于捕獲全局圖拓撲。在本文中,我們提出一種新的Fractional Generalized Graph Convolutional Networks (FGCN)方法，該方法將L'evy Fights投射到圖上的隨機游走中，因此,可以更準確地解釋內在圖拓撲和大幅度提高分類性能,尤其是對異構圖形。

網址：

代碼：

3、Transfer Active Learning For Graph Neural Networks

摘要：圖神經網絡在節點分類等多種圖數據預測任務中已被證明是非常有效的。一般來說，訓練這些網絡需要大量的標記數據。然而，在現實中，在大型圖數據中獲取大量標記數據的成本可能非常高。本文研究了圖神經網絡的主動學習（active learning）問題。，即如何有效地標記圖上的節點來訓練圖神經網絡。我們將該問題描述為一個連續的決策過程，該過程對信息節點進行了連續的標記，并訓練了一個策略網絡來最大化圖神經網絡在特定任務中的性能。此外，我們還研究了如何學習一個通用的策略，用多個訓練圖在圖上標記節點，然后將學習到的策略遷移到不可見的圖上。在單一圖和多重訓練圖(遷移學習設置)的實驗結果證明了我們提出的方法在許多競爭性baseline上的有效性。

網址：

代碼：

4、Chordal-GCN: Exploiting sparsity in training large-scale graph convolutional networks

摘要：盡管圖卷積網絡(GCNs)在眾多應用中取得了令人矚目的成功，但大規模稀疏網絡的訓練仍然具有挑戰性。當前的算法需要大量的內存空間來存儲GCN輸出以及所有的中間嵌入。此外，這些算法大多涉及隨機抽樣或鄰接矩陣的近似，這可能會很不幸地丟失重要的結構信息。在這篇論文中，我們建議使用Chordal-GCN來進行半監督節點分類。該模型利用了精確的圖結構(即不需要采樣或近似)，而與原來的GCN相比，需要有限的內存資源。此外，它還利用了圖的稀疏模式和集群結構。該模型首先將一個大規模的稀疏網絡分解成幾個小的稠密子圖(稱為cliques)，然后構造一個clique樹。通過遍歷樹，GCN訓練是按clique進行的，并通過樹層次結構利用clique之間的連接。此外，我們在大規模數據集上實現了Chordal-GCN，并展示了優越的性能。

網址：

代碼：

5、Graph Neural Networks for Soft Semi-Supervised Learning on Hypergraphs

摘要：基于圖的半監督學習(SSL)將標簽分配給圖中最初未標記的頂點。圖神經網絡(GNNs)，特別是圖卷積網絡(GCNs)，啟發了當前基于圖的SSL問題的最新模型。GCN本質上假定目標標簽是數值或類別變量。然而，在許多實際應用中，如coauthorship網絡、推薦網絡等，頂點標簽可以很自然地用概率分布或直方圖來表示。此外，真實世界的網絡數據集具有復雜的關系，超出了兩兩關聯的范疇。這些關系可以通過超圖自然而靈活地建模。在本文中，我們探討了基于圖的直方圖SSL的GNN。受現實網絡中復雜關系(超越兩兩關系)的啟發，我們提出了一種新的有向超圖方法。我們的工作基于現有的graph-based SSL 直方圖，源自optimal transportation理論。本文的一個重要貢獻是在算法穩定性的框架下建立了單層GNN的泛化誤差邊界。我們還通過對真實數據的詳細實驗，證明了我們提出的方法的有效性。我們已經提供了代碼。

網址：

代碼：