亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者：Dexiong Chen, Laurent Jacob, Julien Mairal

摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。

網址：

代碼鏈接：

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt

摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。

網址：

3. Haar Graph Pooling

作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址：

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon

摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址：

代碼鏈接：

【導讀】計算語言學協會（the Association for Computational Linguistics, ACL）年度會議作為頂級的國際會議，在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年，第58屆計算語言學協會（the Association for Computational Linguistics, ACL）年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響，ACL 2020將全部改為線上舉行。為此，專知小編提前為大家整理了ACL 2020圖神經網絡（GNN）相關論文，讓大家先睹為快——事實驗證、法律文書、謠言檢測、自動摘要、情感分析。

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Fine-grained Fact Verification with Kernel Graph Attention Network

作者：Zhenghao Liu, Chenyan Xiong, Maosong Sun, Zhiyuan Liu

摘要：事實驗證（Fact V erification）需要細粒度的自然語言推理能力來找到微妙的線索去識別句法和語義上正確但沒有強有力支持的聲明（well-supported claims）。本文提出了基于核方法的圖注意力網絡(KGAT)，該網絡使用基于核的注意力進行更細粒度的事實驗證。給定一個聲明和一組形成證據圖潛在證據的句子，KGAT在圖注意力網絡中引入了可以更好地衡量證據節點重要性的節點核，以及可以在圖中進行細粒度證據傳播的邊緣核，以實現更準確的事實驗證。KGAT達到了70.38%的FEVER得分，在FEVER上大大超過了現有的事實驗證模型（FEVER是事實驗證的大規模基準）。我們的分析表明，與點積注意力相比，基于核的注意力更多地集中在證據圖中的相關證據句子和有意義的線索上，這是KGAT有效性的主要來源。

網址：//arxiv.org/pdf/1910.09796.pdf

2. Distinguish Confusing Law Articles for Legal Judgment Prediction

作者：Nuo Xu, Pinghui Wang, Long Chen, Li Pan, Xiaoyan Wang, Junzhou Zhao

摘要：法律審判預測（LJP）是在給出案件事實描述文本的情況下，自動預測案件判決結果的任務，其在司法協助系統中具有良好的應用前景，為公眾提供方便的服務。實際上，由于適用于類似法律條款的法律案件很容易被誤判，經常會產生混淆的指控。在本文中，我們提出了一個端到端的模型--LADAN來解決LJP的任務。為了解決這一問題，現有的方法嚴重依賴領域專家，這阻礙了它在不同法律制度中的應用。為了區分混淆的指控，我們提出了一種新的圖神經網絡來自動學習混淆法律文章之間的細微差別，并設計了一種新的注意力機制，該機制充分利用學習到的差別從事實描述中提取令人信服的鑒別特征。在真實數據集上進行的實驗證明了我們的LADAN算法的優越性。

網址：

3. GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media

作者：Yi-Ju Lu, Cheng-Te Li

摘要：本文解決了在更現實的社交媒體場景下的假新聞檢測問題。給定源短文本推文和相應的沒有文本評論的轉發用戶序列，我們的目的是預測源推文是否是假的，并通過突出可疑轉發者的證據和他們關注的詞語來產生解釋。為了實現這一目標，我們提出了一種新的基于神經網絡的模型--圖感知協同注意網絡(GCAN)。在真實推文數據集上進行的廣泛實驗表明，GCAN的平均準確率比最先進的方法高出16%。此外，案例研究還表明，GCAN可以給出合理的解釋。

網址：

4. Heterogeneous Graph Neural Networks for Extractive Document Summarization

作者：Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, Xuanjing Huang

摘要：作為提取文檔摘要的關鍵步驟，跨句關系學習已經有了大量的研究方法。一種直觀的方法是將它們放入基于圖的神經網絡中，該網絡具有更復雜的結構來捕獲句間關系。本文提出了一種基于圖的異構神經網絡抽取摘要算法(HeterSUMGraph)，該算法除句子外，還包含不同粒度的語義節點。這些額外的結點起到句子之間的中介作用，豐富了句子之間的關系。此外，通過引入文檔節點，我們的圖結構可以靈活地從單文檔設置自然擴展到多文檔設置。據我們所知，我們是第一個將不同類型的節點引入到基于圖的神經網絡中進行提取文檔摘要的，我們還進行了全面的定性分析，以考察它們的好處。

網址：

代碼鏈接：

5. Relational Graph Attention Network for Aspect-based Sentiment Analysis

作者：Kai Wang, Weizhou Shen, Yunyi Yang, Xiaojun Quan, Rui Wang

摘要：Aspect級的情感分析旨在確定在線評論中對某一特定方面的情感極性。最近的大多數努力采用了基于注意力的神經網絡模型來隱式地將aspect與觀點詞聯系起來。然而，由于語言的復雜性和單句中多個aspect的存在，這些模型往往混淆了它們之間的聯系。在本文中，我們通過對語法信息進行有效的編碼來解決這個問題。首先，我們通過重塑和修剪常規依賴關系樹，定義了一個以目標方面為根的統一的面向aspect的依賴樹結構。然后，我們提出了一種關系圖注意力網絡(R-GAT)來編碼新的樹結構用于情感預測。我們在SemEval 2014和Twitter數據集上進行了廣泛的實驗，實驗結果證實，該方法可以更好地建立aspect和觀點詞之間的聯系，從而顯著提高了圖注意網絡(GAT)的性能。

網址：

【導讀】以圖神經網絡為代表的圖機器學習在近兩年成為研究熱點之一。近日，圖機器學習專家 Sergei Ivanov 為我們解讀了他總結出來的 2020 年圖機器學習的四大熱門趨勢，包括

Sergei Ivanov在這個領域已經工作了幾年，很高興看到這個領域發展很快，經常有非常有趣的想法出現。在這篇綜述中，我分析了提交給ICLR 2020的150篇論文，ICLR 2020是機器學習的主要會議之一。我讀了大部分的論文，試圖了解什么會對這一領域的發展產生重大影響。趨勢列表是我自己的，但是我很想知道你是否知道我最近錯過的有趣的論文，所以請在下面評論。

2020年才剛剛開始，我們已經可以在最新的研究論文中看到圖機器學習(GML)的發展趨勢。以下是我對2020年GML的重要內容的看法以及對這些論文的討論。

概述

本文寫作目的并非介紹圖機器學習的基本概念，如圖神經網絡（Graph Neural Network，GNN），而是揭示我們可以在頂級學術會議上看到的前沿研究。首先，我把在圖機器學習的研究成果的論文提交到 ICLR 2020闡述了GNN的論文情況

49篇ICLR2020高分「圖機器學習GML」接受論文及代碼

有 150 篇論文涉及圖機器學習，其中三分之一的論文已被接受。這大約相當于所有被接受論文的 10%。

在閱讀了大部分關于圖機器學習的論文之后，我整理出了 2020 年圖機器學習的趨勢，如下所列：

• 1. 對圖神經網絡將有更深入的理論理解；
• 2. 圖神經網絡將會有更酷的應用；
• 3. 知識圖譜將會變得更為流行；
• 4. 新的圖嵌入框架將出現。

讓我們來看看這些趨勢。

1. 圖神經網絡的理論理解

從目前發展趨勢看，圖機器學習的領域在進展迅速，但是圖神經網絡還有很多工作要做。但關于圖神經網絡的工作原理，已經有了一些重要的研究結果！ 洛桑聯邦理工學院 Andreas Loukas 的這篇論文《What graph neural networks cannot learn: depth vs width》，無論在影響力、簡潔性還是對理論理解的深度上，無疑是論文中的代表作。

論文表明，如果我們希望圖神經網絡能夠計算一個流行的圖問題（如循環檢測、直徑估計、頂點覆蓋等等），那么節點嵌入的維數（網絡寬度 w）乘以層數（網絡深度 d) 應與圖 n 的大小成正比，即 dw=O(n)。 但現實是當前的GNN的許多實現都無法達到此條件，因為層數和嵌入的尺寸與圖的大小相比還不夠大。另一方面，較大的網絡在實際操作中不合適的，這會引發有關如何設計有效的GNN的問題，當然這個問題也是研究人員未來工作的重點。需要說明的是，這篇論文還從80年代的分布式計算模型中汲取了靈感，證明了GNN本質上是在做同樣的事情。

與此類似，Oono 與 Suzuki、Barcelo 等人的另外兩篇論文也研究了圖神經網絡的威力。在第一篇論文《圖神經網絡在節點分類的表達能力呈指數級下降》（Graph Neual Networks Exponentially Lose Expressive Power for Node Classification）中，論文指出：

在一定的權重條件下，當層數增加時，GCN 只能學習節點度和連通分量（由拉普拉斯譜（the spectra of the Laplacian）確定），除此之外什么也學不到。

這個結果推廣了馬爾科夫過程（Markov Processes）收斂到唯一平衡點的著名性質，其中收斂速度由轉移矩陣的特征值決定。

在第二篇論文《圖神經網絡的邏輯表達》（The Logical Expressiveness of Graph Neural Network）中，作者展示了圖神經網絡和它們可以捕獲的節點分類器類型之間的聯系。我們已經知道，一些圖神經網絡和圖同構的威斯費勒 - 萊曼（Weisfeiler-Leman，WL）算法一樣強大，也就是說，當且僅當兩個節點被圖神經網絡分類為相同時，威斯費勒 - 萊曼算法才會將它們著色為相同的顏色。但是，圖神經網絡可以捕獲其他分類函數嗎？例如，假設一個布爾函數，當且僅當一個圖有一個孤立的頂點時，該函數才會將 ture 賦值給所有的節點。圖神經網絡能捕捉到這一邏輯嗎？從直觀上來看是不能，因為圖神經網絡是一種消息傳遞機制，如果圖的一部分和另一部分（兩個連接的組件）之間沒有鏈接，那么這兩者之間將不會傳遞消息。因此，一個建議的簡單解決方案是在鄰域聚合之后添加一個讀出操作，這樣當每個節點更新所有特性時，它就擁有了關于圖中所有其他節點的信息。

理論方面的其他工作包括 Hou 等人的圖神經網絡測量圖信息的使用，以及 Srinivasan 與 Ribeiro 提出的基于角色和基于距離的節點嵌入的等價性。

2. 圖神經網絡的更多應用

在過去的一年中，GNN已經在一些實際任務中進行了應用。包括修復 JavaScript 中的 Bug、玩游戲、回答類似 IQ 的測試、優化 TensorFlow 計算圖、分子生成以及對話系統中的問題生成。

在論文中，作者其提出了一種在Javascript代碼中同時檢測和修復錯誤的方法（HOPPITY: LEARNING GRAPH TRANSFORMATIONS TO DETECT AND FIX BUGS IN PROGRAMS）。具體操作是將代碼轉換為抽象語法樹，然后讓GNN進行預處理以便獲得代碼嵌入，再通過多輪圖形編輯運算符（添加或刪除節點，替換節點值或類型）對其進行修改。為了理解圖形的哪些節點應該修改，論文作者使用了一個指針網絡（Pointer network），該網絡采用了圖形嵌入來選擇節點，以便使用LSTM網絡進行修復。當然，LSTM網絡也接受圖形嵌入和上下文編輯。 類似的應用還體現在上面這篇論文中《LambdaNet: Probabilistic Type Inference using Graph Neural Networks》。來自得克薩斯大學奧斯汀分校的作者研究了如何推斷像Python或TypeScript此類語言的變量類型。更為具體的，作者給出了一個類型依賴超圖（type dependency hypergraph），包含了程序作為節點的變量以及它們之間的關系，如邏輯關系、上下文約束等；然后訓練一個GNN模型來為圖和可能的類型變量產生嵌入，并結合似然率進行預測。 在智商測試類的應用中，上面這篇論文《Abstract Diagrammatic Reasoning with Multiplex Graph Networks》展示了GNN如何進行IQ類測試，例如瑞文測驗（RPM）和圖三段論（DS）。具體的在RPM任務中，矩陣的每一行組成一個圖形，通過前饋模型為其獲取邊緣嵌入，然后進行圖形匯總。由于最后一行有8個可能的答案，因此將創建8個不同的圖，并將每個圖與前兩行連接起來，以通過ResNet模型預測IQ得分。如下圖所示：

DeepMind 的一篇論文《用于優化計算圖的增強遺傳算法學習》（Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs）提出了 一種強化學習算法，可以優化 TensorFlow 計算圖的成本。這些圖是通過標準的消息傳遞圖神經網絡來處理的，圖神經網絡生成與圖中每個節點的調度優先級相對應的離散化嵌入。這些嵌入被輸入到一個遺傳算法 BRKGA 中，該算法決定每個節點的設備放置和調度。通過對該模型進行訓練，優化得到的 TensorFlow 圖的實際計算成本。

類似的炫酷應用還有Chence Shi的分子結構生成《Graph Convolutional Reinforcement Learning》和Jiechuan Jiang玩游戲以及Yu Chen的玩游戲等等《Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation》。

3. 知識圖譜將會變得更為流行

在ICLR2020會議上，有很多關于知識圖譜推理的論文。從本質上講，知識圖譜是一種表示事實的結構化方法。與一般的圖不同，知識圖譜中的節點和邊實際上具有某種意義，例如，演員的名字或在電影中的表演（見下圖）。知識圖譜的一個常見問題是回答一些復雜的查詢，例如“在 2000 年前，Steven Spielberg 的哪些電影獲得了奧斯卡獎？”可以將其轉換成邏輯查詢 ∨ {Win(Oscar, V) ∧ Directed(Spielberg, V) ∧ ProducedBefore(2000, V) }。

知識圖譜例子

在 斯坦福大學Ren 等人的論文《Query2box：基于框嵌入的向量空間中知識圖譜的推理》（Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings）中，作者建議 將查詢嵌入到潛在空間中作為矩形框形式，而不是作為單點形式。這種方法允許執行自然的相交操作，即合取 ∧，因為它會產生新的矩形框。但是，對聯合（即析取 ∨）進行建模并不是那么簡單，因為它可能會導致不重疊的區域。此外，為了精確建模任何帶有嵌入的查詢，用 VC 維（Vapnik-Chervonenkis Dimension）度量的嵌入之間的距離函數的復雜度應與圖中實體的數量成正比。取而代之的一個很好的技巧是，將一個析取式查詢替換為 DNF 形式，其中只有在計算圖的末尾才會出現聯合，這可以有效地減少對每個子查詢的簡單舉例計算。

Query2Box 推理框架

在類似的主題中，Wang 等人在題為《知識圖譜中數字規則的可微學習》（Differentiable Learning of Numerical Rules in Knowledge Graphs）中，提出了一種使用處理數值實體和規則的方法。例如，對于引用知識圖譜，可以有一個規則 influences(Y,X) ← colleagueOf(Z,Y) ∧ supervisorOf(Z,X) ∧ hasCitation>(Y,Z)，它指出，學生 X 通常會受到他們的導師 Z 的同事 Y 的影響，后者被引用的次數更多。這個規則右邊的每個關系都可以表示為一個矩陣，尋找缺失鏈接的過程可以通過實體向量的連續矩陣乘法，這一過程稱為規則學習（Rule Learning）。由于矩陣的構造方式，神經方法只能在諸如 colleagueOf(z,y) 這樣的分類規則下工作。該論文作者的貢獻在于，他們提出了一種新穎的方法，通過顯示實際上無需顯式地物化這樣的矩陣，顯著地減少了運行時間，從而有效地利用 hasCitation(y,z) 和否定運算符等數值規則。

引用知識圖譜（Citation KG）示例

在今年的圖神經網絡（或者說機器學習）中經常出現的一個研究方向是：對現有模型的重新評估，以及在一個公平環境中進行測評。

上面這篇文章即是其中一個，他們的研究表明，新模型的性能往往取決于試驗訓練中的“次要”細節，例如損失函數的形式、正則器、采樣的方案等。在他們進行的大型消融研究中，作者觀察到將舊的方法（例如RESCAL模型）的超參數進行適當調整就可以獲得SOTA性能。

當然在這個領域還有許多其他有趣的工作，Allen et al. 基于對詞嵌入的最新研究，進一步探究了關系與實體的學習表示的隱空間。Asai et al. 則展示了模型如何在回答給定query的Wikipedia圖譜上檢索推理路徑。Tabacof 和 Costabello 討論了圖嵌入模型的概率標定中的一個重要問題，他們指出，目前流行的嵌入模型TransE 和ComplEx（通過將logit函數轉換成sigmoid函數來獲得概率）均存在誤校，即對事實的存在預測不足或預測過度。

4. 新的圖嵌入框架將出現

圖嵌入是圖機器學習的一個長期的研究主題，今年有一些關于我們應該如何學習圖表示的新觀點出現。

康奈爾的Chenhui Deng等人的《GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding》提出了一種改善運行時間和準確率的方法，可以應用到任何無監督嵌入方法的節點分類問題。

這篇文章的總體思路是，首先將原始圖簡化為更小的圖，這樣可以快速計算節點嵌入，然后再回復原始圖的嵌入。

最初，根據屬性相似度，對原始圖進行額外的邊擴充，這些便對應于節點的k近鄰之間的鏈接。隨后對圖進行粗化：通過局部譜方法將每個節點投影到低維空間中，并聚合成簇。任何無監督的圖嵌入方法（例如DeepWalk、Deep Graph Infomax）都可以在小圖上獲得節點嵌入。在最后一步，得到的節點嵌入（本質上表示簇的嵌入）用平滑操作符迭代地進行廣播，從而防止不同節點具有相同的嵌入。在實驗中，GraphZoom框架相比node2vec和DeepWalk，實現了驚人的 40 倍的加速，準確率也提高了 10%。 已有多篇論文對圖分類問題的研究成果進行了詳細的分析。比薩大學的Federico Errica 等人提出《A Fair Comparison of Graph Neural Networks for Graph Classification 》在圖分類問題上，對GNN模型進行了重新評估。

他們的研究表明，一個不利用圖的拓撲結構（僅適用聚合節點特征）的簡單基線能獲得與SOTA GNN差不多的性能。事實上，這個讓人驚訝的發現，Orlova等人在2015年就已經發表了，但沒有引起大家的廣泛關注。 Skolkovo 科學技術研究院的Ivanov Sergey等人在《Understanding Isomorphism Bias in Graph Data Sets》研究中發現，在MUTAG和IMDB等常用數據集中，即使考慮節點屬性，很多圖也都會具有同構副本。而且，在這些同構圖中，很多都有不同的target標簽，這自然會給分類器引入標簽噪聲。這表明，利用網絡中所有可用的元信息（如節點或邊屬性）來提高模型性能是非常重要的。 另外還有一項工作是UCLA孫怡舟團隊的工作《Are Powerful Graph Neural Nets Necessary? A Dissection on Graph Classification 》。這項工作顯示如果用一個線性近鄰聚合函數取代原有的非線性近鄰聚合函數，模型的性能并不會下降。這與之前大家普遍認為“圖數據集對分類的影響并不大”的觀點是相反的。同時這項工作也引發一個問題，即如何為此類任務找到一個合適的驗證框架。

結論

隨著頂會的論文提交量的增長，我們可以預計，2020 年圖機器學習領域將會涌現許多有趣的成果。我們已經目睹這一領域的轉變，從圖的深度學習的啟發式應用，到更合理的方法和關于圖波形范圍的基本問題。圖神經網絡找到了它的位置，作為一個有效的解決許多實際問題的方法，這些問題可以用圖來表達，但我認為，總體而言，圖機器學習只不過是觸及了我們可以實現的圖論和機器學習的交叉點上所能取得的成果的皮毛，我們應該繼續關注即將到來的結果。

參考鏈接：

1. //towardsdatascience.com/top-trends-of-graph-machine-learning-in-a3

2. AI前線：2020 年圖機器學習的熱門趨勢

3. AI科技評論 火爆的圖機器學習，2020年將有哪些研究趨勢？

人工智能頂級會議 AAAI 2020 將于 2 月 7 日-2 月 12 日在美國紐約舉辦，不久之前，AAAI 2020 公布論文介紹結果：今年最終收到 8800 篇提交論文，評審了 7737 篇，接收 1591 篇。最近大會公布了所有接受論文列表,已被接受的AAAI-20主會議的論文

地址：

//aaai.org/Conferences/AAAI-20/

最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】，CVPR視覺目標跟蹤，CVPR視覺問答，醫學圖像分割，圖神經網絡的推薦，CVPR域自適應， ICML圖神經網絡，ICML元學習相關論文，反響熱烈。最近，ACL 2019最新接受文章出爐，大會共收到2905 篇論文投稿，其中660 篇被接收（接收率為22.7%）。小編發現，今年接受的文章結合GNN的工作有二三十篇，看來，圖神經網絡已經攻占NLP領域，希望其他領域的同學多多學習，看能否結合，期待好的工作！今天小編專門整理最新十篇ACL長文，圖神經網絡（GNN）+NLP—注意力機制引導圖神經網絡、Graph-to-Sequence、動態融合圖網絡、實體和關系抽取、Multi-hop閱讀理解、多模態上下文圖理解等。

1、Attention Guided Graph Convolutional Networks for Relation Extraction （注意力機制引導圖神經網絡的關系抽取）

ACL ’19

作者：Zhijiang Guo*, Yan Zhang* and Wei Lu

摘要：Dependency trees傳遞豐富的結構信息，這些信息對于提取文本中實體之間的關系非常有用。然而，如何有效利用相關信息而忽略Dependency trees中的無關信息仍然是一個具有挑戰性的研究問題。現有的方法使用基于規則的hard-pruning策略來選擇相關的部分依賴結構，可能并不總是產生最佳結果。本文提出了一種直接以全依賴樹為輸入的Attention Guided圖卷積網絡(AGGCNs)模型。我們的模型可以理解為一種soft-pruning方法，它自動學習如何有選擇地關注對關系提取任務有用的相關子結構。在包括跨句n元關系提取和大規模句級關系提取在內的各種任務上的大量結果表明，我們的模型能夠更好地利用全依賴樹的結構信息，其結果顯著優于之前的方法。

網址： //www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html

代碼鏈接：

2、Cognitive Graph for Multi-Hop Reading Comprehension at Scale（大規模認知圖的Multi-Hop閱讀理解）

ACL ’19

作者：Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang

摘要：我們提出了一種新的基于CogQA的web級文檔multi-hop問答框架。該框架以認知科學的對偶過程理論為基礎，通過協調隱式抽取模塊(System 1)和顯式推理模塊(System 2)，在迭代過程中逐步構建認知圖，在給出準確答案的同時，進一步提供了可解釋的推理路徑。具體來說，我們基于BERT和graph neural network (GNN)的實現有效地處理了HotpotQA fullwiki數據集中數百萬個multi-hop推理問題的文檔，在排行榜上獲得了34.9的F1 score，而最佳競爭對手的得分為23.6。

網址：

代碼鏈接：

3、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model（使用Graph-to-Sequence模型為中文文章生成連貫的評論）

ACL ’19

作者：Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu sun

摘要：自動文章評論有助于鼓勵用戶參與和在線新聞平臺上的互動。然而，對于傳統的基于encoder-decoder的模型來說，新聞文檔通常太長，這往往會導致一般性和不相關的評論。在本文中，我們提出使用一個Graph-to-Sequence的模型來生成評論，該模型將輸入的新聞建模為一個主題交互圖。通過將文章組織成圖結構，我們的模型可以更好地理解文章的內部結構和主題之間的聯系，這使得它能夠更好地理解故事。我們從中國流行的在線新聞平臺Tencent Kuaibao上收集并發布了一個大規模的新聞評論語料庫。廣泛的實驗結果表明，與幾個強大的baseline模型相比，我們的模型可以產生更多的連貫性和信息豐富性的評論。

網址：

代碼鏈接：

4、Dynamically Fused Graph Network for Multi-hop Reasoning（基于動態融合圖網絡的Multi-hop Reasoning）

ACL ’19

作者：Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu

摘要：近年來，基于文本的問答(TBQA)得到了廣泛的研究。大多數現有的方法側重于在一段話內找到問題的答案。然而，許多有難度的問題需要來自兩個或多個文檔的分散文本的支持證據。本文提出了動態融合圖網絡(Dynamically Fused Graph Network ，DFGN)，這是一種解決需要多個分散證據和推理的問題的新方法。受人類逐步推理行為的啟發，DFGN包含一個動態融合層，從給定查詢中提到的實體開始，沿著文本動態構建的實體圖進行探索，并逐步從給定文檔中找到相關的支持實體。我們在需要multi-hop reasoning的公共TBQA數據集HotpotQA上評估了DFGN。DFGN在公共數據集上取得了有競爭力的成績。此外，我們的分析表明，DFGN可以產生可解釋的推理鏈。

網址：

5、 Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media（利用圖卷積網絡對Social Information進行編碼，用于新聞媒體中的政治傾向性檢測）

ACL ’19

作者：Chang Li, Dan Goldwasser

摘要：確定新聞事件在媒體中討論方式的政治視角是一項重要而富有挑戰性的任務。在這篇文章中，我們強調了將社交網絡置于情景化的重要性，捕捉這些信息如何在社交網絡中傳播。我們使用最近提出的一種表示關系信息的神經網絡結構——圖卷積網絡（Graph Convolutional Network）來捕獲這些信息，并證明即使在很少的social information分類中也可以得到顯著改進。

網址：

6、Graph Neural Networks with Generated Parameters for Relation Extraction（用于關系抽取的具有生成參數的圖神經網絡）

ACL ’19

作者：Hao Zhu, Yankai Lin, Zhiyuan Liu, Jie Fu, Tat-seng Chua, Maosong Sun

摘要：近年來，在改進機器學習領域的關系推理方面取得了一些進展。在現有的模型中，圖神經網絡(GNNs)是最有效的multi-hop關系推理方法之一。事實上，在關系抽取等自然語言處理任務中，multi-hop關系推理是必不可少的。本文提出了一種基于自然語言語句生成圖神經網絡(GP-GNNs)參數的方法，使神經網絡能夠對非結構化文本輸入進行關系推理。我們驗證了從文本中提取關系的GPGNN。 實驗結果表明，與baseline相比，我們的模型取得了顯著的改進。我們還進行了定性分析，證明我們的模型可以通過multi-hop關系推理發現更精確的關系。

網址：

7、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks（使用圖卷積網絡在詞嵌入中結合句法和語義信息）

ACL ’19

作者：Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar

摘要：詞嵌入已被廣泛應用于多種NLP應用程序中。現有的詞嵌入方法大多利用詞的sequential context來學習詞的嵌入。雖然有一些嘗試利用詞的syntactic context，但這種方法會導致詞表數的爆炸。在本文中，我們通過提出SynGCN來解決這個問題，SynGCN是一種靈活的基于圖卷積的學習詞嵌入的方法。SynGCN在不增加詞表大小的情況下利用單詞的dependency context。SynGCN學習的詞嵌入在各種內部和外部任務上都優于現有方法，在與ELMo一起使用時提供優勢。我們還提出了SemGCN，這是一個有效的框架，用于整合不同的語義知識，以進一步增強所學習的單詞表示。我們提供了兩個模型的源代碼，以鼓勵可重復的研究。

網址：

代碼鏈接：

8、 GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction（GraphRel: 將文本建模為關系圖，用于實體和關系抽取）

ACL ’19

作者：Tsu-Jui Fu, Peng-Hsuan Li, Wei-Yun Ma

摘要：本文提出了一種利用圖卷積網絡(GCNs)聯合學習命名實體和關系的端到端關系抽取模型GraphRel。與之前的baseline相比，我們通過關系加權GCN來考慮命名實體和關系之間的交互，從而更好地提取關系。線性結構和依賴結構都用于提取文本的序列特征和區域特征，并利用完整的詞圖進一步提取文本所有詞對之間的隱式特征。基于圖的方法大大提高了對重疊關系的預測能力。我們在兩個公共數據集NYT和webnlg上評估了GraphRel。結果表明，GraphRel在大幅度提高recall的同時，保持了較高的precision。GraphRel的性能也比之前的工作好3.2%和5.8% (F1 score)，實現了關系抽取的最先進的方法。

網址：

代碼鏈接：

9、Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs（通過對異構圖進行推理，實現跨多個文檔的Multi-hop閱讀理解）

ACL ’19

作者：Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, Bowen Zhou

摘要：跨文檔的Multi-hop閱讀理解(RC)對單文本RC提出了新的挑戰，因為它需要對多個文檔進行推理才能得到最終答案。在本文中，我們提出了一個新的模型來解決multi-hop RC問題。我們引入了具有不同類型的節點和邊的異構圖，稱為異構文檔-實體（HDE）圖。HDE圖的優點是它包含不同粒度級別的信息，包括特定文檔上下文中的候選信息、文檔和實體。我們提出的模型可以對HDE圖進行推理，節點表示由基于co-attention 和 self-attention的上下文編碼器初始化。我們使用基于圖神經網絡(GNN)的消息傳遞算法，在提出的HDE圖上累積evidence。通過對Qangaroo WIKIHOP數據集的blind測試集的評估，我們的基于HDE圖的單模型給出了具有競爭力的結果，并且集成模型達到了最先進的性能。

網址：

10、Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension（多模態上下文圖理解和自監督開放集理解的Textbook問答）

ACL ’19

作者：Daesik Kim, Seonhoon Kim, Nojun Kwak

摘要：在本文中，我們介紹了一種解決教科書問答(TQA)任務的新算法。在分析TQA數據集時，我們主要關注兩個相關問題。首先，解決TQA問題需要理解復雜輸入數據中的多模態上下文。為了解決從長文本中提取知識特征并與視覺特征相結合的問題，我們從文本和圖像中建立了上下文圖，并提出了一種基于圖卷積網絡(GCN)的f-GCN模塊。其次，科學術語不會分散在各個章節中，而且主題在TQA數據集中是分開的。為了克服這個所謂的“領域外”問題，在學習QA問題之前，我們引入了一種新的沒有任何標注的自監督開放集學習過程。實驗結果表明，我們的模型明顯優于現有的最先進的方法。此外，消融研究證實，將f-GCN用于從多模態上下文中提取知識的方法和我們新提出的自監督學習過程對于TQA問題都是有效的。

網址：

下載鏈接： 提取碼：rr1c

1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing（MixHop: 通過稀疏鄰域混合實現的高階圖卷積結構）

作者：Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan

摘要：現有的基于圖神經網絡的半監督學習方法(如圖卷積網絡)不能學習一般的鄰域混合關系。為了解決這個缺點，我們提出了一個新的模型，MixHop，它可以通過在不同距離重復混合鄰居的特征表示來學習這些關系，包括不同的操作符。MixHop不需要額外的內存或計算復雜度，并且在一些具有挑戰性的baseline上性能更好。此外，我們建議使用稀疏正則化，使我們能夠可視化網絡如何跨不同的圖數據集對鄰居信息進行優先級排序。我們對所學體系結構的分析表明，每個數據集的鄰域混合是不同的。

網址：//proceedings.mlr.press/v97/abu-el-haija19a.html

代碼鏈接：

2、Compositional Fairness Constraints for Graph Embeddings（圖嵌入的組合公平性約束）

作者：Avishek Bose, William Hamilton

摘要：學習高質量的節點嵌入是基于圖數據(如社交網絡和推薦系統)的機器學習模型的關鍵步驟。然而，現有的圖嵌入技術無法處理公平約束，例如，確保所學習的表示與某些屬性(如年齡或性別)不相關。在這里，我們引入一個對抗框架來對圖嵌入實施公平性約束。我們的方法是組合的，這意味著它可以靈活地適應推理過程中公平約束的不同組合。例如，在社會推薦的上下文中，我們的框架允許一個用戶要求他們的推薦對他們的年齡和性別都是不變的，同時也允許另一個用戶只對他們的年齡要求不變。在標準知識圖和推薦系統基準測試上的實驗突出了我們提出的框架的實用性。

網址：

代碼鏈接：

3、Learning Discrete Structures for Graph Neural Networks（學習圖神經網絡的離散結構）

作者：Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He

摘要：圖神經網絡(GNNs)是一種流行的機器學習模型，已成功地應用于一系列問題。它們的主要優勢在于能夠顯式地合并數據點之間的稀疏和離散依賴結構。不幸的是，只有在這種圖結構可用時才能使用GNN。然而，在實踐中，真實世界中的圖常常是嘈雜的、不完整的，或者根本就不可用。在此基礎上，我們提出通過近似求解一個學習圖邊緣離散概率分布的雙層程序來共同學習圖卷積網絡(GCNs)的圖結構和參數。這不僅允許在給定圖不完整或損壞的場景中應用GCNs，還允許在圖不可用的場景中應用GCNs。我們進行了一系列的實驗，分析了該方法的行為，并證明了它比相關的方法有顯著的優勢。

網址：

代碼鏈接：

4、Graph U-Nets

作者：Hongyang Gao, Shuiwang Ji

摘要：我們研究了圖數據的表示學習問題。卷積神經網絡可以很自然地對圖像進行操作，但在處理圖數據方面存在很大的挑戰。由于圖像是二維網格上節點圖的特殊情況，圖的嵌入任務與圖像的分割等像素級預測任務具有天然的對應關系。雖然像U-Nets這樣的編解碼器結構已經成功地應用于許多圖像的像素級預測任務，但是類似的方法在圖數據上還是很缺乏。這是由于池化操作和上采樣操作對圖數據不是自然的。為了解決這些挑戰，我們提出了新的圖池化(gPool)和反池化(gUnpool)操作。gPool層根據節點在可訓練投影向量上的標量投影值，自適應地選擇節點，形成較小的圖。我們進一步提出了gUnpool層作為gPool層的逆操作。gUnpool層使用在相應gPool層中選擇的節點位置信息將圖恢復到其原始結構。基于我們提出的gPool和gUnpool層，我們開發了一個基于圖的編解碼器模型，稱為Graph U-Nets。我們在節點分類和圖分類任務上的實驗結果表明，我們的方法比以前的模型具有更好的性能。

網址：

代碼鏈接：

5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance（圖神經網絡用于樂譜數據和鋼琴演奏表現力的建模）

作者：Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam

摘要：樂譜通常被處理為一維序列數據。與文本文檔中的單詞不同，樂譜中的音符可以由復調性質同時演奏，并且每個音符都有自己的持續時間。在本文中，我們使用圖神經網絡表示樂譜的獨特形式，并將其應用于從樂譜中渲染表現力的鋼琴演奏。具體地，我們設計了使用note-level門控圖神經網絡和采用迭代反饋方法的雙向LSTM測量級層次注意網絡的模型。此外，為了對給定輸入分數的不同性能風格建模，我們使用了一個變分自編碼器。聽力測試結果表明，與baseline模型和層次注意網絡模型相比，我們提出的模型生成了更多的類人性能，而層次注意網絡模型將音樂得分處理為類詞序列。

網址：

代碼鏈接：

6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects（用于學習圖結構物體相似性的圖匹配網絡）

作者：Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli

摘要：本文針對圖結構物體的檢索與匹配這一具有挑戰性的問題，做了兩個關鍵的貢獻。首先，我們演示了如何訓練圖神經網絡(GNN)在向量空間中嵌入圖，從而實現高效的相似性推理。其次，提出了一種新的圖匹配網絡模型，該模型以一對圖作為輸入，通過一種新的基于注意力的交叉圖匹配機制，對圖對進行聯合推理，計算出圖對之間的相似度評分。我們證明了我們的模型在不同領域的有效性，包括具有挑戰性的基于控制流圖的功能相似性搜索問題，該問題在軟件系統漏洞檢測中發揮著重要作用。實驗分析表明，我們的模型不僅能夠在相似性學習的背景下利用結構，而且它們還比那些為這些問題精心手工設計的領域特定baseline系統表現得更好。

網址：

7、Disentangled Graph Convolutional Networks（Disentangled圖卷積網絡）

作者：Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu

摘要：真實世界圖形的形成通常來自于許多潛在因素之間高度復雜的交互作用。現有的基于圖結構數據的深度學習方法忽略了潛在因素的糾纏，使得學習表示不魯棒，難以解釋。然而，在圖神經網絡的研究中，如何將潛在因素分解出來的學習表示方法面臨著巨大的挑戰，并且在很大程度上還沒有得到探索。本文引入解糾纏（Disentangled）圖卷積網絡(DisenGCN)來學習disentangled節點表示。特別地，我們提出了一種新的鄰域路由機制，它能夠動態地識別可能導致節點與其相鄰節點之間產生邊的潛在因素，并相應地將相鄰節點分配到一個提取和卷積特定于該因素的特性的信道。從理論上證明了該路由機制的收斂性。實驗結果表明，我們提出的模型可以獲得顯著的性能提升，特別是當數據表明存在許多糾纏因素時。

網址：

8、GMNN: Graph Markov Neural Networks（GMNN: 圖馬爾可夫神經網絡）

作者：Meng Qu, Yoshua Bengio, Jian Tang

摘要：本文研究關系數據中的半監督對象分類問題，這是關系數據建模中的一個基本問題。在統計關系學習(如關系馬爾可夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中，這一問題得到了廣泛的研究。統計關系學習方法可以通過條件隨機場對對象標簽的依賴關系進行有效的建模，用于集體分類，而圖神經網絡則通過端到端訓練學習有效的對象表示來分類。在本文中，我們提出了一種集兩種方法優點于一體的Graph Markov Neural Networks (GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模，利用變分EM算法對其進行有效訓練。在E-step中，一個圖神經網絡學習有效的對象表示，逼近對象標簽的后驗分布。在M-step中，利用另一個圖神經網絡對局部標簽依賴關系進行建模。在對象分類、鏈路分類和無監督節點表示學習等方面的實驗表明，GMNN取得了較好的效果。

網址：

代碼鏈接：

9、Simplifying Graph Convolutional Networks（簡化圖卷積網絡）

作者：Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger

摘要：圖卷積網絡(GCNs)及其變體得到了廣泛的關注，已成為學習圖表示的實際方法。GCNs的靈感主要來自最近的深度學習方法，因此可能會繼承不必要的復雜性和冗余計算。在本文中，我們通過連續消除非線性和折疊連續層之間的權重矩陣來減少這種額外的復雜性。我們從理論上分析了得到的線性模型，結果表明它對應于一個固定的低通濾波器，然后是一個線性分類器。值得注意的是，我們的實驗評估表明，這些簡化不會對許多下游應用程序的準確性產生負面影響。此外，生成的模型可以擴展到更大的數據集，這是自然可解釋的，并且比FastGCN的速度提高了兩個數量級。

網址：

代碼鏈接：

10、Position-aware Graph Neural Networks（位置感知圖神經網絡）

作者：Jiaxuan You, Rex Ying, Jure Leskovec

摘要：學習節點嵌入，捕捉節點在更廣泛的圖結構中的位置，對于圖上的許多預測任務是至關重要的。然而，現有的圖神經網絡(GNN)結構在獲取給定節點相對于圖中所有其他節點的position/location方面的能力有限。本文提出了一種計算位置感知節點嵌入的新型神經網絡—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先對錨節點集進行采樣，計算給定目標節點到每個錨集的距離，然后學習錨集上的非線性距離加權聚集方案。通過這種方式，P-GNNs可以捕獲節點相對于錨節點的位置。P-GNN有幾個優點: 它們具有歸納性，可擴展性，并且可以包含節點特征信息。我們將P-GNNs應用于多個預測任務，包括鏈路預測和社區檢測。我們顯示，P-GNNs始終優于最先進的GNNs, 在ROC AUC分數方面提高了66％。

網址：

代碼鏈接：

論文下載

百度云鏈接：

提取碼：vcc3

【導讀】ICLR 2020大會共收到近2600篇投稿，相比ICLR 2019的1580篇論文投稿，今年增幅約為62.5%, 競爭尤其激烈。 圖神經網絡（GNN）相關的論文依然很火爆，為此，專知小編提前為大家篩選了五篇Open代碼的GNN相關論文供參考和學習！后續小編還會整理ICLR 2020的相關論文和最新信息，盡請期待。

1、Unsupervised Learning of Graph Hierarchical Abstractions with Differentiable Coarsening and Optimal Transport

摘要：層次抽象是解決各種學科中大規模圖數據問題的一種方法。Coarsening就是這樣一種方法:它生成一個金字塔形的圖，其中下一層圖是上一層圖的結構總結。科學計算歷史悠久，許多Coarsening策略是基于數學驅動的啟發式算法發展起來的。近年來，人們對通過可微參數化設計可學習的層次方法的研究又有了新的興趣。這些方法與下游任務配對以進行監督學習。在這項工作中，我們提出了一種無監督的方法，稱為OTCoarsening，使用最優transport。OTCoarsening矩陣和transport成本矩陣都是參數化的，這樣就可以學習最優coarsening策略并針對給定的一組圖進行裁剪。結果表明，與監督方法相比，該方法能生成有意義的coarse圖，且具有較好的分類性能。

網址： //www.zhuanzhi.ai/paper/88cab6f00b90d041a7c39

代碼：

2、Fractional Graph Convolutional Networks (FGCN) for Semi-Supervised Learning

摘要：由于在許多應用程序(從社交網絡到區塊鏈到電網)中的高實用性，對非歐幾里德對象(如圖和流形)的深入學習繼續獲得越來越多的興趣。目前大多數可用的技術都是基于這樣的思想，即在spectral域中使用適當選擇的非線性可訓練濾波器進行卷積運算，然后使用有限階多項式逼近濾波器。然而，這種多項式逼近方法往往對圖結構的變化不具有魯棒性，而且主要用于捕獲全局圖拓撲。在本文中,我們提出一種新的Fractional Generalized Graph Convolutional Networks (FGCN)方法，該方法將L'evy Fights投射到圖上的隨機游走中，因此,可以更準確地解釋內在圖拓撲和大幅度提高分類性能,尤其是對異構圖形。

網址：

代碼：

3、Transfer Active Learning For Graph Neural Networks

摘要：圖神經網絡在節點分類等多種圖數據預測任務中已被證明是非常有效的。一般來說，訓練這些網絡需要大量的標記數據。然而，在現實中，在大型圖數據中獲取大量標記數據的成本可能非常高。本文研究了圖神經網絡的主動學習（active learning）問題。，即如何有效地標記圖上的節點來訓練圖神經網絡。我們將該問題描述為一個連續的決策過程，該過程對信息節點進行了連續的標記，并訓練了一個策略網絡來最大化圖神經網絡在特定任務中的性能。此外，我們還研究了如何學習一個通用的策略，用多個訓練圖在圖上標記節點，然后將學習到的策略遷移到不可見的圖上。在單一圖和多重訓練圖(遷移學習設置)的實驗結果證明了我們提出的方法在許多競爭性baseline上的有效性。

網址：

代碼：

4、Chordal-GCN: Exploiting sparsity in training large-scale graph convolutional networks

摘要：盡管圖卷積網絡(GCNs)在眾多應用中取得了令人矚目的成功，但大規模稀疏網絡的訓練仍然具有挑戰性。當前的算法需要大量的內存空間來存儲GCN輸出以及所有的中間嵌入。此外，這些算法大多涉及隨機抽樣或鄰接矩陣的近似，這可能會很不幸地丟失重要的結構信息。在這篇論文中，我們建議使用Chordal-GCN來進行半監督節點分類。該模型利用了精確的圖結構(即不需要采樣或近似)，而與原來的GCN相比，需要有限的內存資源。此外，它還利用了圖的稀疏模式和集群結構。該模型首先將一個大規模的稀疏網絡分解成幾個小的稠密子圖(稱為cliques)，然后構造一個clique樹。通過遍歷樹，GCN訓練是按clique進行的，并通過樹層次結構利用clique之間的連接。此外，我們在大規模數據集上實現了Chordal-GCN，并展示了優越的性能。

網址：

代碼：

5、Graph Neural Networks for Soft Semi-Supervised Learning on Hypergraphs

摘要：基于圖的半監督學習(SSL)將標簽分配給圖中最初未標記的頂點。圖神經網絡(GNNs)，特別是圖卷積網絡(GCNs)，啟發了當前基于圖的SSL問題的最新模型。GCN本質上假定目標標簽是數值或類別變量。然而，在許多實際應用中，如coauthorship網絡、推薦網絡等，頂點標簽可以很自然地用概率分布或直方圖來表示。此外，真實世界的網絡數據集具有復雜的關系，超出了兩兩關聯的范疇。這些關系可以通過超圖自然而靈活地建模。在本文中，我們探討了基于圖的直方圖SSL的GNN。受現實網絡中復雜關系(超越兩兩關系)的啟發，我們提出了一種新的有向超圖方法。我們的工作基于現有的graph-based SSL 直方圖，源自optimal transportation理論。本文的一個重要貢獻是在算法穩定性的框架下建立了單層GNN的泛化誤差邊界。我們還通過對真實數據的詳細實驗，證明了我們提出的方法的有效性。我們已經提供了代碼。

網址：

代碼：