作者：北郵GAMMA Lab碩士生 于越 本文旨在簡要總結近期的圖對抗攻擊中的黑盒攻擊方法，帶領讀者了解圖黑盒攻擊的基本定義和最新進展。

1 簡介

圖神經網絡（GNN）廣泛應用于圖數據挖掘，例如社交網絡、電商數據、金融數據等等。常見的圖神經網絡有GCN、GAT、APPNP等。然而，現有的GNN易受到對抗攻擊的影響，導致性能的大幅下降。對抗攻擊是指攻擊者通過修改少量數據的方式使神經網絡性能明顯下降。而人類通常不會被這類擾動所影響，因為人類的判斷是比較魯棒的。因此，對抗攻擊及防御是如今可信AI的研究熱門。圖對抗攻擊中，攻擊者通過修改節點屬性或拓撲結構來使圖模型的性能下降。d對于最常見的拓撲攻擊，形式化表述為其中為攻擊損失函數，是參數為的GNN，為圖的鄰接矩陣，為擾動后的鄰接矩陣，為特征矩陣，為擾動代價（budget），含義是擾動邊數量的最大值。圖攻擊也可以看作一種基于目標函數的優化過程。對抗攻擊有多種設定，如下圖所示。白盒攻擊中，攻擊者可以獲取輸入數據，模型預測（最終預測的置信度向量）和模型的結構信息，并且可以獲取反向傳播的梯度信息；黑盒攻擊中，攻擊者只能獲取輸入數據和預測結果，根據預測結果是置信度還是one-hot向量又分為軟標簽和硬標簽攻擊。圖黑盒攻擊中，攻擊者可以獲取以及預測矩陣。黑盒攻擊由于其設定更接近實際場景，因此近期受到的關注逐漸增多。

2 方法介紹

2.1 Towards More Practical Adversarial Attacks on Graph Neural Networks (NeurIPS 2020)

原文：//arxiv.org/abs/2006.05057本文在黑盒的基礎上采取了更加現實的設定：攻擊節點的度和數量都有所限制（對于社交網絡，不能攻擊名人節點），而且無法獲取模型預測。本文主要關注攻擊節點的選取。白盒攻擊常采取的目標函數Carlini-Wagner Loss為其中為最后一層節點表示，即預測矩陣。該損失函數含義為，每個節點預測的最大置信度與真實標簽對應的置信度之差的和。損失函數越大，說明模型的預測中，錯誤結果與真實結果相去甚遠，因此攻擊效果越好。作者證明了使用該損失函數時，某個節點的擾動帶來的損失函數變化的一階近似期望與圖隨機游走矩陣該列之和相關。因此，可以選取隨機游走矩陣列求和最大的幾個節點進行攻擊，即RWCS方法。實驗結果表明，隨著擾動強度的增加，損失函數線性增大，但是分類正確率在擾動強度達到一定值之后不再減小。這說明Loss和ACC之間存在不匹配的關系。這種不匹配關系暗示了攻擊的冗余特性。

因此，本文提出了修正的方法GC-RWCS：

其中為二值化的隨機游走矩陣為評分函數，，對的列求和。這個算法做了如下幾個改進：第6行每次迭代去掉選中節點跳鄰居，因為攻擊具有同配性（鄰居節點對攻擊的貢獻與節點本身類似）；第7至10行，更新某些特定行的值，因為代表攻擊很可能會讓分類錯誤，因此更新矩陣第行為0，讓不再對攻擊節點選取有貢獻。

2.2 A Hard Label Black-box Adversarial Attack Against Graph Neural Networks (CCS 2021)

原文：

本文是硬標簽的設定，即攻擊者只知道模型預測的one-hot結果而非置信度。并且，作者發現圖攻擊的復雜度會隨著節點數量的增加而指數級增加，因此首先將鄰接矩陣連續化（這也是很多基于優化的圖攻擊的做法）。其中為擾動函數，為擾動矩陣。由于本文是圖分類攻擊模型，因此優化問題可以表示為定義圖結構沿著擾動到分類邊界的距離為，因此我們需要的最小的擾動的個數為。我們的目標就是選取讓最小的，為了優化，實際中使用1范數替代0范數。算法如下

其中梯度的估計方式如下同時，本文提出了粗粒度到細粒度的擾動搜索策略，將圖根據聚類結果抽象為超點和超邊，按照超點-超邊-全圖的順序搜索擾動，能夠提高效率。

2.3 Graph Structural Attack by Perturbing Spectral Distance (KDD 2022)

原文：

因此，作者認為在譜域對圖進行攻擊是更有效率的。具體算法如下

作者認為，頻譜的距離，即特征值之差的2范數代表了攻擊的效果，因此Loss如第8行所示。為了減少特征值分解的開銷，每m步中，有m-1步使用近似算法，即第10行。

3 總結

黑盒攻擊具體的定義并不完全明確，而且具體問題的設置又有一些細微差別。因此，研究黑盒攻擊首先需要定義問題。根據問題定義，就會導出這個設置下解決問題的關鍵。黑盒攻擊無法獲取模型梯度，因此定義損失函數和梯度估計方法是兩個比較重要、需要考慮的點。 本期責任編輯：楊成本期編輯：劉佳瑋

Transformer架構最近在圖表示學習中獲得了越來越多的關注，因為它通過避免圖神經網絡(GNN)的嚴格結構歸納偏差，而只通過位置編碼對圖結構進行編碼，從而自然地克服了圖神經網絡(GNN)的一些限制。在這里，我們展示了使用位置編碼的Transformer生成的節點表示不一定捕獲它們之間的結構相似性。為了解決這個問題，我們提出了結構感知Transformer (Structure-Aware Transformer)，這是一類建立在一種新的自注意力機制上的簡單而靈活的圖Transformer。這種新的自注意在計算自注意之前，通過提取基于每個節點的子圖表示，將結構信息融入到原始自注意中。我們提出了幾種自動生成子圖表示的方法，并從理論上表明，生成的表示至少與子圖表示一樣具有表現力。從經驗上講，我們的方法在5個圖預測基準上達到了最先進的性能。我們的結構感知框架可以利用任何現有的GNN來提取子圖表示，我們表明，相對于基本GNN模型，它系統地提高了性能，成功地結合了GNN和transformer的優勢。我們的代碼可以在這個 https: //github.com/BorgwardtLab/SAT. 中找到。

【導讀】IJCAI（國際人工智能聯合會議，International Joint Conferences on Artificial Intelligence）作為人工智能領域最頂級的國際學術會議之一，IJCAI 的舉辦自然備受矚目。第29屆國際人工智能聯合會議和第17屆環太平洋國際人工智能會議原定于2020年7月11日在日本橫濱召開，但由于疫情影響，將延期半年，至 2021年1月召開。近期，IJCAI 2020 論文集已經放出來。在 4717 份有效投稿中，最終僅有 592 篇被接收，接收率為 12.6%，這也是 IJCAI 史上最低的接收率。我們發現在今年的IJCAI 2020會議上圖神經網絡相關的論文非常多，今天小編專門整理最新6篇圖神經網絡（GNN）應用在自然語言處理上的相關論文——AMR-to-text生成、Path GCN、圖互注意力網絡、常識知識、有向超圖GCN

IJCAI 2020 Accepted Paper: //www.ijcai.org/Proceedings/2020/

IJCAI2020GNN_Part1、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、

1、Better AMR-To-Text Generation with Graph Structure Reconstruction 作者：Tianming Wang, Xiaojun Wan, Shaowei Yao

摘要：AMR-to-text 生成是一項艱巨的任務，它需要從基于圖的語義表示中生成文本。最近的研究將這一任務看作是圖到序列的學習問題，并使用各種圖神經網絡來建模圖結構。在本文中，我們提出了一種新的方法，在重構輸入圖結構的同時，從AMR圖中生成文本。我們的模型使用圖注意力機制來聚合信息以對輸入進行編碼。此外，通過優化兩個簡單而有效的輔助重構目標：鏈接預測目標(需要預測節點之間的語義關系)和距離預測目標(需要預測節點之間的距離)，能夠學習到更好的節點表示。在兩個基準數據集上的實驗結果表明，我們提出的模型在強基線上有很大的改善，并達到了新的技術水平。

網址：

2、Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network

作者：Zeyun Tang, Y ongliang Shen, Xinyin Ma, Wei Xu, Jiale Yu, Weiming Lu

摘要：跨多個文檔的多跳（Multi-hop ）閱讀理解近年來備受關注。在本文中，我們提出了一種新的方法來解決這個多跳閱讀理解問題。受人類推理過程的啟發，我們從支持文檔（supporting documents）中構造了一個基于路徑的推理圖。該推理圖結合了基于圖的方法和基于路徑的方法的思想，更適合于多跳推理。同時，我們提出了GATED-RGCN在基于路徑的推理圖上積累證據，GATED-RGCN包含了一種新的問題感知門控機制，以規范跨文檔傳播信息的有用性，并在推理過程中添加問題信息。我們在WikiHop數據集上對我們的方法進行了評估，與以前發布的方法相比，我們的方法達到了最先進的準確性。特別值得一提的是，我們的集成模型比人類的表現高出4.2%。

網址：

3、The Graph-based Mutual Attentive Network for Automatic Diagnosis

作者：Quan Yuan, Jun Chen, Chao Lu, Haifeng Huang 摘要：自動診斷一直存在缺乏可靠語料庫來訓練可信預測模型的問題。此外，以往的基于深度學習的診斷模型大多采用序列學習技術(CNN或RNN)，難以提取關鍵醫療實體之間的復雜結構信息（如圖結構）。本文提出基于真實醫院的高標準電子病歷文檔建立的診斷模型，以提高模型的準確性和可信度。同時，我們將圖卷積網絡引入到該模型中，緩解了稀疏特征的問題，便于提取用于診斷的結構信息。此外，我們還提出了mutual注意網絡來增強輸入的表示，以獲得更好的模型性能。我們在真實電子病歷文檔（ EMR documents）上進行實驗，結果表明與以往基于序列學習的診斷模型相比，該模型具有更高的準確性。我們提出的模型已被集成到中國數百家初級衛生保健機構的信息系統中，以協助醫生進行診斷。

網址：

4、TransOMCS: From Linguistic Graphs to Commonsense Knowledge

作者：Hongming Zhang, Daniel Khashabi, Yangqiu Song, Dan Roth

摘要：常識知識獲取是人工智能的關鍵問題。傳統獲取常識知識的方法通常需要昂貴的人工注釋并且費力，在大范圍內是不可行的。本文探索了一種從語言圖中挖掘常識知識的實用方法，目的是將從語言模式中獲得的廉價知識轉化為昂貴的常識知識。其結果是將大規模的選擇偏好知識資源ASER[Zhang et al., 2020]轉換為TransOMCS，其表示與ConceptNet[Liu and Singh，2004]相同，但比ConceptNet大兩個數量級。實驗結果表明，語言知識可以轉化為常識知識，并且該方法在數量、新穎性和質量方面都是有效的。

代碼：

網址：

5、Two-Phase Hypergraph Based Reasoning with Dynamic Relations for Multi-Hop KBQA

作者：Jiale Han, Bo Cheng, Xu Wang

摘要：多跳知識庫問答(KBQA)旨在通過跨多個三元組的推理來尋找事實問題的答案。值得注意的是，當人類執行多跳推理時，傾向于在不同的跳中集中于特定的關系，并精確定位由該關系連接的一組實體。與利用成對連接來模擬人類執行多跳推理不同，超圖卷積網絡(HGCN)可以通過利用超邊連接兩個以上的節點。然而，HGCN是針對無向圖的，沒有考慮信息傳遞的方向。為了適應具有方向性的知識圖，我們引入了有向HGCN(Directed-HGCN, DHGCN)。受人類逐跳推理的啟發，我們提出了一種基于DHGCN的可解釋KBQA模型，即基于動態關系的兩階段超圖推理，該模型顯式更新關系信息，動態關注不同跳點的不同關系。此外，該模型逐跳預測關系以生成中間關系路徑。我們在兩個廣泛使用的多跳KBQA數據集上進行了大量的實驗，以證明該模型的有效性。

網址：

最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】，CVPR視覺目標跟蹤，CVPR視覺問答，醫學圖像分割，圖神經網絡的推薦，CVPR域自適應， ICML圖神經網絡，ICML元學習相關論文，反響熱烈。最近，ACL 2019最新接受文章出爐，大會共收到2905 篇論文投稿，其中660 篇被接收（接收率為22.7%）。小編發現，今年接受的文章結合GNN的工作有二三十篇，看來，圖神經網絡已經攻占NLP領域，希望其他領域的同學多多學習，看能否結合，期待好的工作！今天小編專門整理最新十篇ACL長文，圖神經網絡（GNN）+NLP—注意力機制引導圖神經網絡、Graph-to-Sequence、動態融合圖網絡、實體和關系抽取、Multi-hop閱讀理解、多模態上下文圖理解等。

1、Attention Guided Graph Convolutional Networks for Relation Extraction （注意力機制引導圖神經網絡的關系抽取）

ACL ’19

作者：Zhijiang Guo*, Yan Zhang* and Wei Lu

摘要：Dependency trees傳遞豐富的結構信息，這些信息對于提取文本中實體之間的關系非常有用。然而，如何有效利用相關信息而忽略Dependency trees中的無關信息仍然是一個具有挑戰性的研究問題。現有的方法使用基于規則的hard-pruning策略來選擇相關的部分依賴結構，可能并不總是產生最佳結果。本文提出了一種直接以全依賴樹為輸入的Attention Guided圖卷積網絡(AGGCNs)模型。我們的模型可以理解為一種soft-pruning方法，它自動學習如何有選擇地關注對關系提取任務有用的相關子結構。在包括跨句n元關系提取和大規模句級關系提取在內的各種任務上的大量結果表明，我們的模型能夠更好地利用全依賴樹的結構信息，其結果顯著優于之前的方法。

網址： //www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html

代碼鏈接：

2、Cognitive Graph for Multi-Hop Reading Comprehension at Scale（大規模認知圖的Multi-Hop閱讀理解）

ACL ’19

作者：Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang

摘要：我們提出了一種新的基于CogQA的web級文檔multi-hop問答框架。該框架以認知科學的對偶過程理論為基礎，通過協調隱式抽取模塊(System 1)和顯式推理模塊(System 2)，在迭代過程中逐步構建認知圖，在給出準確答案的同時，進一步提供了可解釋的推理路徑。具體來說，我們基于BERT和graph neural network (GNN)的實現有效地處理了HotpotQA fullwiki數據集中數百萬個multi-hop推理問題的文檔，在排行榜上獲得了34.9的F1 score，而最佳競爭對手的得分為23.6。

網址：

代碼鏈接：

3、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model（使用Graph-to-Sequence模型為中文文章生成連貫的評論）

ACL ’19

作者：Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu sun

摘要：自動文章評論有助于鼓勵用戶參與和在線新聞平臺上的互動。然而，對于傳統的基于encoder-decoder的模型來說，新聞文檔通常太長，這往往會導致一般性和不相關的評論。在本文中，我們提出使用一個Graph-to-Sequence的模型來生成評論，該模型將輸入的新聞建模為一個主題交互圖。通過將文章組織成圖結構，我們的模型可以更好地理解文章的內部結構和主題之間的聯系，這使得它能夠更好地理解故事。我們從中國流行的在線新聞平臺Tencent Kuaibao上收集并發布了一個大規模的新聞評論語料庫。廣泛的實驗結果表明，與幾個強大的baseline模型相比，我們的模型可以產生更多的連貫性和信息豐富性的評論。

網址：

代碼鏈接：

4、Dynamically Fused Graph Network for Multi-hop Reasoning（基于動態融合圖網絡的Multi-hop Reasoning）

ACL ’19

作者：Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu

摘要：近年來，基于文本的問答(TBQA)得到了廣泛的研究。大多數現有的方法側重于在一段話內找到問題的答案。然而，許多有難度的問題需要來自兩個或多個文檔的分散文本的支持證據。本文提出了動態融合圖網絡(Dynamically Fused Graph Network ，DFGN)，這是一種解決需要多個分散證據和推理的問題的新方法。受人類逐步推理行為的啟發，DFGN包含一個動態融合層，從給定查詢中提到的實體開始，沿著文本動態構建的實體圖進行探索，并逐步從給定文檔中找到相關的支持實體。我們在需要multi-hop reasoning的公共TBQA數據集HotpotQA上評估了DFGN。DFGN在公共數據集上取得了有競爭力的成績。此外，我們的分析表明，DFGN可以產生可解釋的推理鏈。

網址：

5、 Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media（利用圖卷積網絡對Social Information進行編碼，用于新聞媒體中的政治傾向性檢測）

ACL ’19

作者：Chang Li, Dan Goldwasser

摘要：確定新聞事件在媒體中討論方式的政治視角是一項重要而富有挑戰性的任務。在這篇文章中，我們強調了將社交網絡置于情景化的重要性，捕捉這些信息如何在社交網絡中傳播。我們使用最近提出的一種表示關系信息的神經網絡結構——圖卷積網絡（Graph Convolutional Network）來捕獲這些信息，并證明即使在很少的social information分類中也可以得到顯著改進。

網址：

6、Graph Neural Networks with Generated Parameters for Relation Extraction（用于關系抽取的具有生成參數的圖神經網絡）

ACL ’19

作者：Hao Zhu, Yankai Lin, Zhiyuan Liu, Jie Fu, Tat-seng Chua, Maosong Sun

摘要：近年來，在改進機器學習領域的關系推理方面取得了一些進展。在現有的模型中，圖神經網絡(GNNs)是最有效的multi-hop關系推理方法之一。事實上，在關系抽取等自然語言處理任務中，multi-hop關系推理是必不可少的。本文提出了一種基于自然語言語句生成圖神經網絡(GP-GNNs)參數的方法，使神經網絡能夠對非結構化文本輸入進行關系推理。我們驗證了從文本中提取關系的GPGNN。 實驗結果表明，與baseline相比，我們的模型取得了顯著的改進。我們還進行了定性分析，證明我們的模型可以通過multi-hop關系推理發現更精確的關系。

網址：

7、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks（使用圖卷積網絡在詞嵌入中結合句法和語義信息）

ACL ’19

作者：Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar

摘要：詞嵌入已被廣泛應用于多種NLP應用程序中。現有的詞嵌入方法大多利用詞的sequential context來學習詞的嵌入。雖然有一些嘗試利用詞的syntactic context，但這種方法會導致詞表數的爆炸。在本文中，我們通過提出SynGCN來解決這個問題，SynGCN是一種靈活的基于圖卷積的學習詞嵌入的方法。SynGCN在不增加詞表大小的情況下利用單詞的dependency context。SynGCN學習的詞嵌入在各種內部和外部任務上都優于現有方法，在與ELMo一起使用時提供優勢。我們還提出了SemGCN，這是一個有效的框架，用于整合不同的語義知識，以進一步增強所學習的單詞表示。我們提供了兩個模型的源代碼，以鼓勵可重復的研究。

網址：

代碼鏈接：

8、 GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction（GraphRel: 將文本建模為關系圖，用于實體和關系抽取）

ACL ’19

作者：Tsu-Jui Fu, Peng-Hsuan Li, Wei-Yun Ma

摘要：本文提出了一種利用圖卷積網絡(GCNs)聯合學習命名實體和關系的端到端關系抽取模型GraphRel。與之前的baseline相比，我們通過關系加權GCN來考慮命名實體和關系之間的交互，從而更好地提取關系。線性結構和依賴結構都用于提取文本的序列特征和區域特征，并利用完整的詞圖進一步提取文本所有詞對之間的隱式特征。基于圖的方法大大提高了對重疊關系的預測能力。我們在兩個公共數據集NYT和webnlg上評估了GraphRel。結果表明，GraphRel在大幅度提高recall的同時，保持了較高的precision。GraphRel的性能也比之前的工作好3.2%和5.8% (F1 score)，實現了關系抽取的最先進的方法。

網址：

代碼鏈接：

9、Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs（通過對異構圖進行推理，實現跨多個文檔的Multi-hop閱讀理解）

ACL ’19

作者：Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, Bowen Zhou

摘要：跨文檔的Multi-hop閱讀理解(RC)對單文本RC提出了新的挑戰，因為它需要對多個文檔進行推理才能得到最終答案。在本文中，我們提出了一個新的模型來解決multi-hop RC問題。我們引入了具有不同類型的節點和邊的異構圖，稱為異構文檔-實體（HDE）圖。HDE圖的優點是它包含不同粒度級別的信息，包括特定文檔上下文中的候選信息、文檔和實體。我們提出的模型可以對HDE圖進行推理，節點表示由基于co-attention 和 self-attention的上下文編碼器初始化。我們使用基于圖神經網絡(GNN)的消息傳遞算法，在提出的HDE圖上累積evidence。通過對Qangaroo WIKIHOP數據集的blind測試集的評估，我們的基于HDE圖的單模型給出了具有競爭力的結果，并且集成模型達到了最先進的性能。

網址：

10、Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension（多模態上下文圖理解和自監督開放集理解的Textbook問答）

ACL ’19

作者：Daesik Kim, Seonhoon Kim, Nojun Kwak

摘要：在本文中，我們介紹了一種解決教科書問答(TQA)任務的新算法。在分析TQA數據集時，我們主要關注兩個相關問題。首先，解決TQA問題需要理解復雜輸入數據中的多模態上下文。為了解決從長文本中提取知識特征并與視覺特征相結合的問題，我們從文本和圖像中建立了上下文圖，并提出了一種基于圖卷積網絡(GCN)的f-GCN模塊。其次，科學術語不會分散在各個章節中，而且主題在TQA數據集中是分開的。為了克服這個所謂的“領域外”問題，在學習QA問題之前，我們引入了一種新的沒有任何標注的自監督開放集學習過程。實驗結果表明，我們的模型明顯優于現有的最先進的方法。此外，消融研究證實，將f-GCN用于從多模態上下文中提取知識的方法和我們新提出的自監督學習過程對于TQA問題都是有效的。

網址：

下載鏈接： 提取碼：rr1c

1、Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning

作者：Bingbing Xu , Huawei Shen , Qi Cao , Keting Cen and Xueqi Cheng;

摘要：圖卷積網絡在圖結構數據的半監督學習中取得了顯著的成功。基于圖的半監督學習的關鍵是捕捉由圖結構施加于節點上的標簽或特征的平滑性。以往的方法，包括spectral方法和spatial方法，都致力于將圖卷積定義為相鄰節點上的加權平均，然后學習圖卷積核，利用平滑度來提高基于圖的半監督學習的性能。一個開放的挑戰是如何確定合適的鄰域來反映圖結構中表現出來的平滑相關信息。在本文中，我們提出了GraphHeat，利用heat kernel來增強低頻濾波器，并在圖上的信號變化中增強平滑性。GraphHeat利用熱擴散下目標節點的局部結構靈活地確定其相鄰節點，而不受先前方法所受的順序約束。GraphHeat在三個基準數據集(Cora、Citeseer和Pubmed)上實現了基于圖的半監督分類，并取得了最先進的結果。

網址：//www.ijcai.org/proceedings/2019/0267.pdf

2、Graph WaveNet for Deep Spatial-Temporal Graph Modeling

作者：Zonghan Wu , Shirui Pan , Guodong Long, Jing Jiang, Chengqi Zhang;

摘要：時空圖（Spatial-temporal graph）建模是分析系統中各組成部分的空間關系和時間趨勢的一項重要工作。假設實體之間的底層關系是預先確定的，現有的方法主要捕獲固定圖結構上的空間依賴關系。但是，顯式圖形結構（關系）不一定反映真實的依賴關系，并且由于數據中的不完整連接可能會丟失真正的關系。此外，現有的方法無法捕捉時間趨勢，因為這些方法中使用的RNNs或CNNs不能捕捉long-range的時間序列。為了克服這些局限性，本文提出了一種新的圖神經網絡結構—Graph WaveNet，用于時空圖的建模。通過開發一種新的自適應依賴矩陣，并通過節點嵌入學習，該模型可以精確地捕捉數據中隱藏的空間依賴關系。利用stacked dilated一維卷積分量，其接收域隨著層數的增加呈指數增長，Graph WaveNet能夠處理非常長的序列。這兩個組件無縫集成在一個統一的框架中，整個框架以端到端方式學習。在METR-LA和PEMS-BAY這兩個公共交通網絡數據集上的實驗結果表明，該算法具有優越的性能。

網址：

3、Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification

作者：Fenyu Hu, Yanqiao Zhu, Shu Wu, Liang Wang and Tieniu Tan;

摘要：圖卷積網絡(GCNs)已成功地應用于網絡挖掘的節點分類任務中。然而，這些基于鄰域聚合的模型大多比較淺顯，缺乏“graph pooling”機制，無法獲得足夠的全局信息。為了增加感受野，我們提出了一種新的深度層次圖卷積網絡（H-GCN）用于半監督節點分類。H-GCN首先重復地將結構相似的節點聚合到超節點，然后將粗糙的圖細化為原始圖，以恢復每個節點的表示形式。該粗糙化方法不只是簡單地聚合一個或兩個hop的鄰域信息，而是擴展了每個節點的接受域，從而獲得更多的全局信息。提出的H-GCN模型在各種公共基準圖數據集上表現出較強的經驗性能，性能優于目前最先進的方法，在精度方面獲得了高達5.9%的性能提升。此外，當只提供少量帶標簽的樣本時，我們的模型得到了實質性的改進。

網址：

4、AddGraph: Anomaly Detection in Dynamic Graph Using Attention-based Temporal GCN

作者：Li Zheng, Zhenpeng Li, Jian Li, Zhao Li and Jun Gao;

摘要：動態圖中的異常檢測在許多不同的應用場景中都是非常關鍵的，例如推薦系統，但由于異常的高靈活性和缺乏足夠的標記數據，也帶來了巨大的挑戰。在學習異常模式時，最好考慮所有可能的提示，包括結構、內容和時間特征，而不是對部分特征使用啟發式規則。在本文中，我們提出了AddGraph，一個使用extended temporal GCN（Graph Convolutional Network，圖卷積網絡）和注意力模型的端到端異常邊緣檢測框架，它可以同時捕獲動態圖中的長期模式和短期模式。為了解決顯式標注數據不足的問題，我們采用了選擇性負采樣和邊際損失的方法，對AddGraph進行半監督訓練。我們在實際數據集上進行了大量的實驗，并證明了AddGraph在異常檢測方面可以明顯優于最先進的方法。

網址：

5、Dual Self-Paced Graph Convolutional Network: Towards Reducing Attribute Distortions Induced by Topology

作者：Liang Yang, Zhiyang Chen, Junhua Gu and Yuanfang Guo;

摘要：基于圖卷積神經網絡(GCNNs)的半監督節點分類的成功，歸功于其拓撲上的特征平滑(傳播)。然而，利用拓撲信息可能會干擾特征。這種失真將導致節點的一定量的錯誤分類，這可以僅用特征正確地預測。通過分析邊緣在特征傳播中的影響，連接具有相似特征的兩個節點的簡單邊緣應該在訓練過程中優先于根據curriculum learning的復雜邊緣。為了在充分挖掘屬性信息潛力的同時減少拓撲結構引起的失真，我們提出了Dual Self-Paced圖卷積網絡(DSP-GCN)。具體來說，在節點級self-paced learning中，將具有可信預測標簽的無標簽節點逐步添加到訓練集中，而在邊緣級self-paced learning中，在訓練過程中，將邊緣從簡單的邊緣逐漸添加到復雜的邊緣到圖中。這兩種學習策略通過對邊緣和無標簽節點的選擇進行耦合，實現了相互增強。在多個實際網絡上進行了transductive半監督節點分類的實驗結果表明，我們提出的DSP-GCN在僅使用一個圖卷積層的情況下，成功地減少了拓撲引起的特征失真，同時具有較好的性能。

網址：

6、Masked Graph Convolutional Network

作者：Liang Yang, Fan Wu, Yingkui Wang, Junhua Gu and Yuanfang Guo;

摘要：半監督分類是機器學習領域中處理結構化和非結構化數據的一項基本技術。傳統的基于特征圖的半監督分類方法在通常由數據特征構造的圖上傳播標簽，而圖卷積神經網絡在真實圖拓撲上平滑節點屬性，即傳播特征。本文從傳播的角度對其進行了解釋，并將其分為基于對稱傳播和基于非對稱傳播的方法。從傳播的角度看，傳統的方法和基于網絡的方法都是在圖上傳播特定的對象。然而，與標簽傳播不同的是，直覺上“連接的數據樣本在特征方面趨于相似”，在特征傳播中僅部分有效。因此，提出了一種masked圖卷積網絡（Masked GCN），它只是根據一個masking indicator將一部分特征傳播給鄰居，這是通過聯合考慮局部鄰域中的特征分布和對對分類結果的影響而為每個節點學習的。在傳transductive和inductive節點分類任務上的大量實驗證明了該方法的優越性。

網址：

7、Learning Image-Specific Attributes by Hyperbolic Neighborhood Graph Propagation

作者：Xiaofeng Xu, Ivor W. Tsang, Xiaofeng Cao, Ruiheng Zhang and Chuancai Liu;

摘要：特征作為視覺目標描述的一種語義表示，在各種計算機視覺任務中得到了廣泛的應用。在現有的基于特征的研究中，通常采用類特定特征(class-specific attributes, CSA)，這是類級別的標注，由于其對每個類的標注成本較低，而不是對每個單獨的圖像進行標注。然而，由于標注錯誤和單個圖像的多樣性，class-specific的特征通常是有噪聲的。因此，我們希望從原始的class-specific特征中獲得特定于圖像的特征(image-specific，ISA)，即image level標注。在本文中，我們提出了通過基于圖的特征傳播來學習image-specific的特征。考慮到雙曲幾何的內在屬性，其距離呈指數擴展，構造雙曲線鄰域圖（HNG）來表征樣本之間的關系。基于HNG，我們定義了每個樣本的鄰域一致性，以識別不一致的樣本。然后，根據HNG中不一致的樣本的鄰居對其進行細化。在5個基準數據集上的大量實驗表明，在zero-shot目標分類任務中，學習的image-specific的特征明顯優于原始的class-specific的特征。

網址：