【導讀】IJCAI(國際人工智能聯合會議,International Joint Conferences on Artificial Intelligence)作為人工智能領域最頂級的國際學術會議之一,IJCAI 的舉辦自然備受矚目。第29屆國際人工智能聯合會議和第17屆環太平洋國際人工智能會議原定于2020年7月11日在日本橫濱召開,但由于疫情影響,將延期半年,至 2021年1月召開。近期,IJCAI 2020 論文集已經放出來。在 4717 份有效投稿中,最終僅有 592 篇被接收,接收率為 12.6%,這也是 IJCAI 史上最低的接收率。我們發現在今年的IJCAI 2020會議上圖神經網絡相關的論文非常多,今天小編專門整理最新6篇圖神經網絡(GNN)應用在數據挖掘上的相關論文——多通道GNN、自適應時空圖卷積、會話流GNN、雙重注意力GNN、域自適應HIN、雙線性GNN
IJCAI 2020 Accepted Paper: //www.ijcai.org/Proceedings/2020/
IJCAI2020GNN_Part1、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、
1、Multi-Channel Graph Neural Networks
作者:Kaixiong Zhou, Qingquan Song, Xiao Huang, Daochen Zha, Na Zou, Xia Hu
摘要:在許多學科中,圖結構數據的分類已變得越來越重要。已經觀察到,現實世界圖中的隱式或顯式分層社區結構可能對下游分類應用有用。利用層次結構的一種直接方法是利用池化算法將節點聚類為固定簇(cluster),然后逐層縮小輸入圖以學習池化圖。但是,池化縮小( pool shrinking)會舍棄圖的詳細信息,從而難以區分兩個非同構圖,并且固定簇忽略了節點固有的多重特征。為了補償縮小損失并了解各個節點的特性,我們提出了多通道圖神經網絡(MuchGNN)。受卷積神經網絡中提出的底層機制的啟發,我們定義了定制的圖卷積,以學習每一層的一系列圖通道,并按層次縮小圖以對合并的結構進行編碼。真實數據集上的實驗結果證明了MuchGNN優于最新方法。
網址:
2、GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification
作者:Ziyu Jia, Youfang Lin, Jing Wang, Ronghao Zhou, Xiaojun Ning, Yuanlai He, Yaoshuai Zhao
摘要:睡眠階段分類對于睡眠評估和疾病診斷至關重要。但是,如何有效利用大腦的空間特征和睡眠階段之間的轉換信息仍然是一個挑戰。特別地,由于對人腦的了解有限,為睡眠階段分類預定義合適的空間腦連接結構仍然是一個懸而未決的問題。在本文中,我們提出了一種新穎的深度圖神經網絡,名為GraphSleepNet,用于自動睡眠階段分類。GraphSleepNet的主要優點是可以自適應地學習以鄰接矩陣表示的不同腦電圖(EEG)通道之間的內在聯系,從而為時空圖卷積網絡(ST-GCN)提供服務,以進行睡眠階段分類。同時,ST-GCN由用于提取空間特征的圖形卷積和用于捕獲睡眠階段之間的轉換規則的時間卷積組成。蒙特利爾睡眠研究檔案(MASS)數據集上的實驗表明GraphSleepNet優于最新的基線。
網址:
3、GraphFlow: Exploiting Conversation Flow with Graph Neural Networks for Conversational Machine Comprehension
作者:Yu Chen, Lingfei Wu, Mohammed J. Zaki
摘要:事實證明,與傳統MC相比,會話機器理解(MC)更具挑戰性,因為它需要更好地利用會話歷史記錄。但是,大多數現有方法無法有效地捕獲會話歷史記錄,因此難以處理涉及的指代或省略號的問題。此外,在對段落文本進行推理時,大多數人只是將其視為單詞序列,而沒有探索單詞之間豐富的語義關系。在本文中,我們首先提出一種簡單而有效的圖結構學習技術,以在每次對話轉折時動態構造一個具有問題和會話歷史意識的上下文圖。然后,我們提出了一種新穎的遞歸圖神經網絡,并在此基礎上,引入了一種flow機制來對一系列上下文圖中的時間依賴性進行建模。與現有的CoQA,QuAC和DoQA基準的最新技術相比,我們所提出的GRAPHFLOW模型可以有效地捕獲會話中的對話流,并顯示出可競爭的性能。此外,可視化實驗表明,我們提出的模型可以為推理過程提供良好的可解釋性。
網址:
4、GoGNN: Graph of Graphs Neural Network for Predicting Structured Entity Interactions
作者:Hanchen Wang, Defu Lian, Ying Zhang, Lu Qin, Xuemin Lin
摘要:實體交互預測在許多重要應用中至關重要,例如化學,生物學,材料科學和醫學。當每個實體由復雜結構(即結構化實體)表示時,該問題變得非常具有挑戰性,因為涉及兩種類型的圖:結構化實體的局部圖和捕獲結構化實體之間的交互的全局圖。我們注意到,現在有關結構化實體交互預測的工作無法正確利用圖模型的唯一圖。在本文中,我們提出了一種圖神經網絡圖(Graph of Graphs Neural Network,GoGNN),它以分層的方式提取結構化實體圖和實體交互圖中的特征。我們還提出了雙重注意機制,該機制使模型能夠在圖的兩個級別中保留鄰居的重要性。在現實世界的數據集上進行的大量實驗表明,GoGNN在兩個代表性的結構化實體交互預測任務上勝過了最新技術:化學-化學交互預測和藥物-藥物交互預測。
代碼:
網址:
5、Domain Adaptive Classification on Heterogeneous Information Networks
作者:Shuwen Yang, Guojie Song, Yilun Jin, Lun Du
摘要:異構信息網絡(HIN)是無處不在的結構,因為它們可以描述復雜的關系數據。由于這些數據的復雜性,很難在HIN上獲得足夠的標記數據,從而妨礙了HIN的分類。雖然領域適應(DA)技術已在圖像和文本中得到廣泛利用,但是異構性和復雜的語義對HIN上的領域自適應分類提出了特定的挑戰。一方面,HIN涉及多個級別的語義,這要求在它們之間進行域對齊。另一方面,由于域不變性特征是同質的并且對分類沒有信息,因此必須精心選擇域相似性和可區分性之間的權衡。在本文中,我們提出了多空間域自適應分類(MuSDAC)來解決HIN上的DA問題。具體來說,我們利用多通道共享權重GCN,將HIN中的節點投影到執行成對對齊的多個空間。此外,我們提出了一種啟發式采樣算法,該算法可以有效地選擇具有可區分性的通道組合,并采用移動平均加權投票(moving averaged weighted voting)方案來融合所選通道,從而最大程度地減少傳輸和分類損失。在成對數據集上進行的大量實驗證明了我們模型在HIN領域自適應分類和各個組成部分的貢獻方面的表現。
網址:
6、Bilinear Graph Neural Network with Neighbor Interactions
作者:Hongmin Zhu, Fuli Feng, Xiangnan He, Xiang Wang, Yan Li, Kai Zheng, Yongdong Zhang
摘要:圖神經網絡(GNN)是一個功能強大的模型,可用于學習表示形式并對圖形數據進行預測。對GNN的現有工作已將圖卷積定義為所連接節點的特征的加權和,以形成目標節點的表示形式。然而,加權和的運算假設相鄰節點彼此獨立,并且忽略它們之間可能的交互。當存在這樣的交互時,例如兩個鄰居節點的同時出現是目標節點特征的強烈信號,現有的GNN模型可能無法捕獲該信號。在這項工作中,我們認為在GNN中對相鄰節點之間的交互進行建模是十分重要的。我們提出了一種新的圖卷積算子,該算子通過鄰居節點表示的成對交互來增加加權和。我們將此框架稱為雙線性圖神經網絡( Bilinear Graph Neural Network ,BGNN),該框架可通過相鄰節點間的雙線性交互雙線性來提高GNN表示能力。特別是,我們分別基于著名的GCN和GAT指定了兩個名為BGCN和BGAT的BGNN模型。關于三個半監督節點分類的公開基準的實證結果證明了BGNN的有效性-BGCN(BGAT)在分類準確度方面比GCN(GAT)高1.6%(1.5%)。
代碼:
網址:
【導讀】IJCAI(國際人工智能聯合會議,International Joint Conferences on Artificial Intelligence)作為人工智能領域最頂級的國際學術會議之一,IJCAI 的舉辦自然備受矚目。第29屆國際人工智能聯合會議和第17屆環太平洋國際人工智能會議原定于2020年7月11日在日本橫濱召開,但由于疫情影響,將延期半年,至 2021年1月召開。近期,IJCAI 2020 論文集已經放出來。在 4717 份有效投稿中,最終僅有 592 篇被接收,接收率為 12.6%,這也是 IJCAI 史上最低的接收率。我們發現在今年的IJCAI 2020會議上圖神經網絡相關的論文非常多,今天小編專門整理最新6篇圖神經網絡(GNN)應用在自然語言處理上的相關論文——AMR-to-text生成、Path GCN、圖互注意力網絡、常識知識、有向超圖GCN
IJCAI 2020 Accepted Paper: //www.ijcai.org/Proceedings/2020/
IJCAI2020GNN_Part1、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、
1、Better AMR-To-Text Generation with Graph Structure Reconstruction 作者:Tianming Wang, Xiaojun Wan, Shaowei Yao
摘要:AMR-to-text 生成是一項艱巨的任務,它需要從基于圖的語義表示中生成文本。最近的研究將這一任務看作是圖到序列的學習問題,并使用各種圖神經網絡來建模圖結構。在本文中,我們提出了一種新的方法,在重構輸入圖結構的同時,從AMR圖中生成文本。我們的模型使用圖注意力機制來聚合信息以對輸入進行編碼。此外,通過優化兩個簡單而有效的輔助重構目標:鏈接預測目標(需要預測節點之間的語義關系)和距離預測目標(需要預測節點之間的距離),能夠學習到更好的節點表示。在兩個基準數據集上的實驗結果表明,我們提出的模型在強基線上有很大的改善,并達到了新的技術水平。
網址:
2、Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network
作者:Zeyun Tang, Y ongliang Shen, Xinyin Ma, Wei Xu, Jiale Yu, Weiming Lu
摘要:跨多個文檔的多跳(Multi-hop )閱讀理解近年來備受關注。在本文中,我們提出了一種新的方法來解決這個多跳閱讀理解問題。受人類推理過程的啟發,我們從支持文檔(supporting documents)中構造了一個基于路徑的推理圖。該推理圖結合了基于圖的方法和基于路徑的方法的思想,更適合于多跳推理。同時,我們提出了GATED-RGCN在基于路徑的推理圖上積累證據,GATED-RGCN包含了一種新的問題感知門控機制,以規范跨文檔傳播信息的有用性,并在推理過程中添加問題信息。我們在WikiHop數據集上對我們的方法進行了評估,與以前發布的方法相比,我們的方法達到了最先進的準確性。特別值得一提的是,我們的集成模型比人類的表現高出4.2%。
網址:
3、The Graph-based Mutual Attentive Network for Automatic Diagnosis
作者:Quan Yuan, Jun Chen, Chao Lu, Haifeng Huang 摘要:自動診斷一直存在缺乏可靠語料庫來訓練可信預測模型的問題。此外,以往的基于深度學習的診斷模型大多采用序列學習技術(CNN或RNN),難以提取關鍵醫療實體之間的復雜結構信息(如圖結構)。本文提出基于真實醫院的高標準電子病歷文檔建立的診斷模型,以提高模型的準確性和可信度。同時,我們將圖卷積網絡引入到該模型中,緩解了稀疏特征的問題,便于提取用于診斷的結構信息。此外,我們還提出了mutual注意網絡來增強輸入的表示,以獲得更好的模型性能。我們在真實電子病歷文檔( EMR documents)上進行實驗,結果表明與以往基于序列學習的診斷模型相比,該模型具有更高的準確性。我們提出的模型已被集成到中國數百家初級衛生保健機構的信息系統中,以協助醫生進行診斷。
網址:
4、TransOMCS: From Linguistic Graphs to Commonsense Knowledge
作者:Hongming Zhang, Daniel Khashabi, Yangqiu Song, Dan Roth
摘要:常識知識獲取是人工智能的關鍵問題。傳統獲取常識知識的方法通常需要昂貴的人工注釋并且費力,在大范圍內是不可行的。本文探索了一種從語言圖中挖掘常識知識的實用方法,目的是將從語言模式中獲得的廉價知識轉化為昂貴的常識知識。其結果是將大規模的選擇偏好知識資源ASER[Zhang et al., 2020]轉換為TransOMCS,其表示與ConceptNet[Liu and Singh,2004]相同,但比ConceptNet大兩個數量級。實驗結果表明,語言知識可以轉化為常識知識,并且該方法在數量、新穎性和質量方面都是有效的。
代碼:
網址:
5、Two-Phase Hypergraph Based Reasoning with Dynamic Relations for Multi-Hop KBQA
作者:Jiale Han, Bo Cheng, Xu Wang
摘要:多跳知識庫問答(KBQA)旨在通過跨多個三元組的推理來尋找事實問題的答案。值得注意的是,當人類執行多跳推理時,傾向于在不同的跳中集中于特定的關系,并精確定位由該關系連接的一組實體。與利用成對連接來模擬人類執行多跳推理不同,超圖卷積網絡(HGCN)可以通過利用超邊連接兩個以上的節點。然而,HGCN是針對無向圖的,沒有考慮信息傳遞的方向。為了適應具有方向性的知識圖,我們引入了有向HGCN(Directed-HGCN, DHGCN)。受人類逐跳推理的啟發,我們提出了一種基于DHGCN的可解釋KBQA模型,即基于動態關系的兩階段超圖推理,該模型顯式更新關系信息,動態關注不同跳點的不同關系。此外,該模型逐跳預測關系以生成中間關系路徑。我們在兩個廣泛使用的多跳KBQA數據集上進行了大量的實驗,以證明該模型的有效性。
網址:
【導讀】IJCAI(國際人工智能聯合會議,International Joint Conferences on Artificial Intelligence)作為人工智能領域最頂級的國際學術會議之一,IJCAI 的舉辦自然備受矚目。第29屆國際人工智能聯合會議和第17屆環太平洋國際人工智能會議原定于2020年7月11日在日本橫濱召開,但由于疫情影響,將延期半年,至 2021年1月召開。近期,IJCAI 2020 論文集已經放出來。在 4717 份有效投稿中,最終僅有 592 篇被接收,接收率為 12.6%,這也是 IJCAI 史上最低的接收率。我們發現在今年的IJCAI 2020會議上圖神經網絡相關的論文非常多,所以今天小編專門整理最新6篇圖神經網絡(GNN)應用在計算機視覺上的相關論文——直推式關系傳播網絡、3D姿態估計、跨模態Hash、時空圖序列學習、關系推理網絡、圖交互推理
IJCAI 2020 Accepted Paper: //www.ijcai.org/Proceedings/2020/
ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、
1、Transductive Relation-Propagation Network for Few-shot Learning
作者:Yuqing Ma, Shihao Bai, Shan An, Wei Liu, Aishan Liu, Xiantong Zhen, Xianglong Liu
摘要:少樣本學習(Few-shot learning)是一個有趣且極具挑戰性的問題,其目的是從較少的標注樣本中學習新的概念,具有許多實用的優點。要完成這一任務,應該集中精力揭示支撐-查詢(support-query)對之間的準確關系。我們提出了一個直推式關系(transductive relation)-傳播圖神經網絡(TRPN),以在支撐-查詢對之間顯式建模和傳播這種關系。我們的TRPN將每個支撐-查詢對之間的關系視為一個圖節點,稱為關系節點,并利用支撐樣本之間的已知關系(包括類內共性和類間唯一性)來指導關系在圖中的傳播,生成支撐-查詢對的判別關系嵌入。在此基礎上引入偽關系節點來傳播查詢特征,并設計了一種快速有效的傳導學習策略來充分利用不同查詢之間的關系信息。據我們所知,這是首次在少樣本學習中明確考慮支撐-查詢對之間的關系,為解決少樣本學習問題提供了一條新的途徑。在幾個基準數據集上進行的廣泛實驗表明,我們的方法可以明顯優于各種最先進的小樣本學習方法。
網址:
2、Semi-Dynamic Hypergraph Neural Network for 3D Pose Estimation
作者:Shengyuan Liu, Pei Lv, Yuzhen Zhang, Jie Fu, Junjin Cheng, Wanqing Li, Bing Zhou, Mingliang Xu
摘要:本文提出了一種新穎的半動態超圖神經網絡(SD-HNN),可以從單個圖像估計3D人體姿態。SD-HNN采用超圖來表示人體,以有效利用相鄰關節和非相鄰關節之間的運動學約束。具體而言,SD-HNN中的姿態超圖具有兩個組成部分。一種是根據常規樹體結構構造的靜態超圖。另一個是半動態超圖,表示不同關節之間的動態運動約束。將這兩個超圖組合在一起,以端到端的方式進行訓練。與基于固定樹結構的傳統圖卷積網絡(GCN)不同,SD-HNN可以處理人體姿態估計中的歧義。實驗結果表明,所提方法在Human3.6M和MPI-INF-3DHP數據集上均達到了最先進的性能。
網址:
3、Set and Rebase: Determining the Semantic Graph Connectivity for Unsupervised Cross-Modal Hashing
作者:Weiwei Wang, Yuming Shen, Haofeng Zhang, Yazhou Yao, Li Liu
摘要:無監督的跨模態哈希的無標簽性質阻礙了模型利用精確的語義數據相似性。現有研究通常在原始特征空間中通過啟發式幾何先驗來模擬語義。但是,由于原始特征不能完全代表基礎的多視圖數據關系,因此這會給模型帶來嚴重偏差。為了解決上述問題,在本文中,我們提出了一種新的無監督哈希方法,稱為基于語義的跨模態哈希(SRCH)。我們定義了一種新穎的“Set-and Rebase”過程來初始化和更新訓練數據的跨模態相似度圖。特別是,我們根據模態內特征的幾何基礎設置圖形,然后根據哈希結果交替對其rebase以更新其中的邊。我們開發了一種交替優化,以對圖進行基礎化,并使用封閉形式(closed-form )解決方案訓練哈希自動編碼器從而有效地訓練了整個框架。我們在基準數據集上的實驗結果證明了我們的模型相對于最新算法的優越性。
網址:
4、Hierarchical Attention Based Spatial-Temporal Graph-to-Sequence Learning for Grounded Video Description
作者:Kai Shen, Lingfei Wu, Fangli Xu, Siliang Tang, Jun Xiao, Yueting Zhuang
摘要:Grounded Video Description(GVD)的任務是生成句子,這些對象可以通過視頻幀中的邊界框進行grounded。現有的工作在建模候選區域之間的關系以及參與文本生成時常常無法利用結構信息。為了解決這些問題,我們將GVD任務轉換為時空圖到序列學習問題,其中將視頻幀建模為時空序列圖,以便更好地捕獲隱式結構關系。特別是,我們采用兩種方式來構建一個序列圖,該序列圖捕獲每個幀中不同對象之間的空間時間相關性,并進一步提出一種新穎的圖拓撲細化技術以發現最佳的基礎圖結構。此外,我們還提出了分層注意力機制,以不同分辨率級別(resolution levels)參與序列圖,以更好地生成句子。與最先進的方法相比,我們廣泛的實驗證明了我們提出的方法的有效性。
網址:
5、Action-Guided Attention Mining and Relation Reasoning Network for Human-Object Interaction Detection
作者:Xue Lin, Qi Zou, Xixia Xu
摘要:人與物體之間的交互(HOI)檢測對于理解以人為中心的場景非常重要,并且由于細粒度動作與多個同時發生的交互之間的細微差異,因此具有挑戰性。大多數方法通過考慮多流信息甚至引入額外的知識來解決這些問題,這些問題遭受著巨大的組合空間和非交互式對控制問題。在本文中,我們提出了一種行動導向的注意力挖掘和關系推理(Action-Guided attention mining and Relation Reasoning ,AGRR)網絡來解決該問題。對人-對象對的關系推理是通過利用對之間的上下文兼容一致性來過濾掉非交互式組合而進行的。為了更好地區分細粒度動作之間的細微差別,我們提出了一種基于類激活圖(class activation map )的動作感知注意力,以挖掘最相關的特征來識別HOI。在V-COCO和HICO-DET數據集上進行的大量實驗表明,與最新方法相比該模型十分有效。
網址:
6、A Graph-based Interactive Reasoning for Human-Object Interaction Detection
作者:Dongming Yang, Yuexian Zou
摘要:人與物體交互(HOI)檢測致力于通過推斷三元組(人類,動詞,物體)來學習人類與周圍物體的交互方式。然而,最近的HOI檢測方法主要依賴于附加注釋(例如,人的姿勢),并且忽略了卷積之外的強大的交互推理。在本文中,我們提出了一種新穎的基于圖的交互式推理模型,稱為交互式圖(in-Graph)來推斷HOI,其有效地利用了視覺目標之間的交互語義。所提出的模型包括如下三方面:1)將相關目標從卷積空間映射到基于圖的語義空間的項目函數(project function); 2)在所有節點之間傳播語義的消息傳遞過程; 3)將推理節點轉換回卷積空間的更新函數。此外,我們構建了一個新的框架來組裝用于檢測HOI的In-Graph模型,即In-GraphNet。除了分別使用實例特征來推斷HOI之外,該框架還通過集成兩級in-Graphs(即場景范圍和實例范圍in-Graphs)來動態解析視覺目標之間的成對交互語義。我們的框架是端到端可訓練的,并且沒有像人體姿態這樣的昂貴注釋。大量實驗表明,我們提出的框架在V-COCO和HICO-DET基準上均優于現有的HOI檢測方法,并且相對提高了基準線約9.4%和15%,從而驗證了其檢測HOI的有效性。
網址:
【導讀】ICML(International Conference on Machine Learning),即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一,因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計,ICML 2020共提交4990篇論文,接收論文1088篇,接收率為21.8%。與往年相比,接收率逐年走低。ICML官網公布了接受論文列表,小編發現基于Graph相關的paper依然很多,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上ICML 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——貝葉斯GNN、連續GNN、Faster圖嵌入、深度GCN、圖Pooling、
ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020
ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、
1. Bayesian Graph Neural Networks with Adaptive Connection Sampling
作者:Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian
摘要:我們提出了一個用于圖神經網絡(GNNs)自適應連接采樣(connection sampling)的統一框架,該框架概括了現有的用于訓練GNN的隨機正則化方法。該框架不僅緩解了深層GNNs的過平滑和過擬合趨勢,而且使得GNNs在圖分析任務中的不確定性學習成為可能。與現有的隨機正則化方法那樣使用固定的采樣率或手動調整它們作為模型超參數不同,我們的自適應連接采樣可以與GNN模型參數以全局和局部的方式聯合訓練。具有自適應連接采樣的GNN訓練在數學上等價于訓練貝葉斯GNN的有效近似。在基準數據集上的消融實驗結果驗證了自適應學習采樣率是在半監督節點分類任務中提高GNNs性能的關鍵,使其不容易過平滑和過擬合,具有更穩健的預測能力。
網址:
2.Continuous Graph Neural Networks
作者:Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang
摘要:本文建立在圖神經網絡與傳統動力系統之間的聯系之上。我們提出了連續圖神經網絡(Continuous Graph Neural Networks, CGNN),由于CGNN可以看作是一種特定的離散化方案,它進一步推廣了現有的具有離散動力學的圖神經網絡。其核心思想是如何刻畫節點表示的連續動力學,即節點表示的導數。受現有的基于圖擴散的方法(如社會網絡上的PageRank模型和流行病模型)的啟發,我們將導數定義為當前節點表示、鄰居表示和節點初始值的組合。我們提出并分析了圖上的兩種可能的動力學--包括節點表示的每一維(也稱為特征通道)獨立改變或者彼此交互-這兩者都有理論上的合理性。所提出的連續圖神經網絡對過于過平滑具有較強的魯棒性,因此可以建立更深層次的網絡,從而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在與基線模型競爭上的有效性。
網址:
3.Faster Graph Embeddings via Coarsening
作者:Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang
摘要:圖嵌入是一種普遍適用于機器學習任務的工具,如圖結構數據上的節點分類和連接預測。然而,即使我們只對相關頂點的一小部分感興趣,計算大規模圖嵌入的效率也是很低的。為了解決這個問題,我們提出了一種基于Schur補(Schur complements)的有效圖粗化方法,用于計算相關頂點的嵌入。我們證明了這些嵌入被不相關頂點上通過高斯消去法得到的Schur補圖精確地保存。由于計算Schur補的代價很高,我們給出了一個近似線性的時間算法,該算法在每次迭代中在相關頂點上生成一個粗化圖,該粗化圖在期望上與Schur補相匹配。我們在圖上進行的預測任務實驗表明,計算嵌入到粗化圖上,而不是整個圖上,在不犧牲精度的情況下,可以節省大量的時間。
網址:
4. Simple and Deep Graph Convolutional Networks
作者:Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li
摘要:圖卷積網絡(GCNS)是一種強大的圖結構數據深度學習方法。最近,GCNS及其變體在真實數據集上的各個應用領域都顯示出了優異的性能。盡管取得了成功,但由于過平滑的問題,目前的大多數GCN模型都很淺。本文研究了深圖卷積網絡的設計與分析問題。我們提出了GCNII模型,它是對普通GCN模型的擴展,使用了兩個簡單而有效的技術:初始殘差和恒等映射(Identity mapping)。我們提供了理論和實驗證據,證明這兩種技術有效地緩解了過平滑問題。我們的實驗表明,深度GCNII模型在各種半監督和全監督任務上的性能優于最先進的方法。
網址:
5. Spectral Clustering with Graph Neural Networks for Graph Pooling
作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi
摘要:譜聚類(SC)是發現圖上強連接社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用,以實現聚合屬于同一集群節點的池化操作。然而,Laplacian特征分解的代價很高,而且由于聚類結果是特定于圖的,因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中,我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛(continuous relaxation )公式,并訓練GNN來計算最小化這一目標的聚類分配。我們的基于GNN的實現是可微的,不需要計算譜分解,并且學習了一個聚合函數,可以在樣本外的圖上快速評估。從提出的聚類方法出發,我們設計了一個圖池化算子,它克服了現有圖池化技術的一些重要局限性,并在多個監督和非監督任務中取得了最好的性能。
網址:
【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣
KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers
KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、
1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction
作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial
摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。
網址:
2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang
摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。
網址:
代碼鏈接:
3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases
作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun
摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。
網址:
4. Graph Structural-topic Neural Network
作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin
摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。
網址:
代碼鏈接:
5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi
摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。
網址:
【導讀】ICML(International Conference on Machine Learning),即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一,因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計,ICML 2020共提交4990篇論文,接收論文1088篇,接收率為21.8%。與往年相比,接收率逐年走低。在會議開始前夕,專知小編為大家整理了ICML 2020圖神經網絡(GNN)的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。
ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial
ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Convolutional Kernel Networks for Graph-Structured Data
作者:Dexiong Chen, Laurent Jacob, Julien Mairal
摘要:我們引入了一系列多層圖核,并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據,其中每個節點攜帶關于局部圖子結構的信息。一方面,核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示,這在樣本有限的情況下很有用。另一方面,我們的模型也可以在大規模數據上進行端到端的訓練,從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能,同時提供了簡單的模型解釋。
網址:
代碼鏈接:
2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt
摘要:本文提出了一種新的基于特征線性調制(feature-wise linear modulation,FiLM)的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”,從而沿著圖的邊傳播信息。在GNN-FILE中,邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換,從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現,本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的,產生了一些令人驚訝的結果:基線模型之間的差異比文獻報道的要小。盡管如此,GNN-FILE在分子圖的回歸任務上的表現優于基線方法,在其他任務上的表現也具有競爭性。
網址:
3. Haar Graph Pooling
作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan
摘要:深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中,圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作;它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖;壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式,所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征,并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。
網址:
4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon
摘要:我們提出了Interferometric Graph Transform(IGT),這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標,我們的學習表示既包括可區分的特征,也包括不變的特征。通過實驗可以得到,我們的學習過程利用了譜域的拓撲,這通常是譜方法的一個缺陷,特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法,例如圖像分類(MNIST,CIFAR-10)、社區檢測(Authorship,Facebook graph)和3D骨架視頻中的動作識別(SBU,NTU),在譜圖非監督環境下展示了一種新的技術水平。
網址:
5. Spectral Clustering with Graph Neural Networks for Graph Pooling
作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi
摘要:譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用,以實現聚合屬于同一簇的節點的池化操作。然而,Laplacian的特征分解代價很高,而且由于聚類結果是特定于圖的,因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中,我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式,并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的,不需要計算譜分解,并且學習了一個聚類函數,可以在樣本外的圖上快速評估。從提出的聚類方法出發,我們設計了一個圖池化算子,它克服了現有圖池化技術的一些重要局限性,并在多個監督和非監督任務中取得了最好的性能。
網址:
6. When Does Self-Supervision Help Graph Convolutional Networks?
作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen
摘要:自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs),以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而,自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中,我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制,分析了預訓練&精調和自訓練的局限性,并進而將重點放在多任務學習上。此外,我們還提出了三種新的GCNS自監督學習任務,并進行了理論分析和數值比較。最后,我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明,通過合理設計任務形式和合并機制,自監督有利于GCNS獲得更強的泛化能力和魯棒性。
網址:
代碼鏈接:
1、Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning
作者:Bingbing Xu , Huawei Shen , Qi Cao , Keting Cen and Xueqi Cheng;
摘要:圖卷積網絡在圖結構數據的半監督學習中取得了顯著的成功。基于圖的半監督學習的關鍵是捕捉由圖結構施加于節點上的標簽或特征的平滑性。以往的方法,包括spectral方法和spatial方法,都致力于將圖卷積定義為相鄰節點上的加權平均,然后學習圖卷積核,利用平滑度來提高基于圖的半監督學習的性能。一個開放的挑戰是如何確定合適的鄰域來反映圖結構中表現出來的平滑相關信息。在本文中,我們提出了GraphHeat,利用heat kernel來增強低頻濾波器,并在圖上的信號變化中增強平滑性。GraphHeat利用熱擴散下目標節點的局部結構靈活地確定其相鄰節點,而不受先前方法所受的順序約束。GraphHeat在三個基準數據集(Cora、Citeseer和Pubmed)上實現了基于圖的半監督分類,并取得了最先進的結果。
網址://www.ijcai.org/proceedings/2019/0267.pdf
2、Graph WaveNet for Deep Spatial-Temporal Graph Modeling
作者:Zonghan Wu , Shirui Pan , Guodong Long, Jing Jiang, Chengqi Zhang;
摘要:時空圖(Spatial-temporal graph)建模是分析系統中各組成部分的空間關系和時間趨勢的一項重要工作。假設實體之間的底層關系是預先確定的,現有的方法主要捕獲固定圖結構上的空間依賴關系。但是,顯式圖形結構(關系)不一定反映真實的依賴關系,并且由于數據中的不完整連接可能會丟失真正的關系。此外,現有的方法無法捕捉時間趨勢,因為這些方法中使用的RNNs或CNNs不能捕捉long-range的時間序列。為了克服這些局限性,本文提出了一種新的圖神經網絡結構—Graph WaveNet,用于時空圖的建模。通過開發一種新的自適應依賴矩陣,并通過節點嵌入學習,該模型可以精確地捕捉數據中隱藏的空間依賴關系。利用stacked dilated一維卷積分量,其接收域隨著層數的增加呈指數增長,Graph WaveNet能夠處理非常長的序列。這兩個組件無縫集成在一個統一的框架中,整個框架以端到端方式學習。在METR-LA和PEMS-BAY這兩個公共交通網絡數據集上的實驗結果表明,該算法具有優越的性能。
網址:
3、Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification
作者:Fenyu Hu, Yanqiao Zhu, Shu Wu, Liang Wang and Tieniu Tan;
摘要:圖卷積網絡(GCNs)已成功地應用于網絡挖掘的節點分類任務中。然而,這些基于鄰域聚合的模型大多比較淺顯,缺乏“graph pooling”機制,無法獲得足夠的全局信息。為了增加感受野,我們提出了一種新的深度層次圖卷積網絡(H-GCN)用于半監督節點分類。H-GCN首先重復地將結構相似的節點聚合到超節點,然后將粗糙的圖細化為原始圖,以恢復每個節點的表示形式。該粗糙化方法不只是簡單地聚合一個或兩個hop的鄰域信息,而是擴展了每個節點的接受域,從而獲得更多的全局信息。提出的H-GCN模型在各種公共基準圖數據集上表現出較強的經驗性能,性能優于目前最先進的方法,在精度方面獲得了高達5.9%的性能提升。此外,當只提供少量帶標簽的樣本時,我們的模型得到了實質性的改進。
網址:
4、AddGraph: Anomaly Detection in Dynamic Graph Using Attention-based Temporal GCN
作者:Li Zheng, Zhenpeng Li, Jian Li, Zhao Li and Jun Gao;
摘要:動態圖中的異常檢測在許多不同的應用場景中都是非常關鍵的,例如推薦系統,但由于異常的高靈活性和缺乏足夠的標記數據,也帶來了巨大的挑戰。在學習異常模式時,最好考慮所有可能的提示,包括結構、內容和時間特征,而不是對部分特征使用啟發式規則。在本文中,我們提出了AddGraph,一個使用extended temporal GCN(Graph Convolutional Network,圖卷積網絡)和注意力模型的端到端異常邊緣檢測框架,它可以同時捕獲動態圖中的長期模式和短期模式。為了解決顯式標注數據不足的問題,我們采用了選擇性負采樣和邊際損失的方法,對AddGraph進行半監督訓練。我們在實際數據集上進行了大量的實驗,并證明了AddGraph在異常檢測方面可以明顯優于最先進的方法。
網址:
5、Dual Self-Paced Graph Convolutional Network: Towards Reducing Attribute Distortions Induced by Topology
作者:Liang Yang, Zhiyang Chen, Junhua Gu and Yuanfang Guo;
摘要:基于圖卷積神經網絡(GCNNs)的半監督節點分類的成功,歸功于其拓撲上的特征平滑(傳播)。然而,利用拓撲信息可能會干擾特征。這種失真將導致節點的一定量的錯誤分類,這可以僅用特征正確地預測。通過分析邊緣在特征傳播中的影響,連接具有相似特征的兩個節點的簡單邊緣應該在訓練過程中優先于根據curriculum learning的復雜邊緣。為了在充分挖掘屬性信息潛力的同時減少拓撲結構引起的失真,我們提出了Dual Self-Paced圖卷積網絡(DSP-GCN)。具體來說,在節點級self-paced learning中,將具有可信預測標簽的無標簽節點逐步添加到訓練集中,而在邊緣級self-paced learning中,在訓練過程中,將邊緣從簡單的邊緣逐漸添加到復雜的邊緣到圖中。這兩種學習策略通過對邊緣和無標簽節點的選擇進行耦合,實現了相互增強。在多個實際網絡上進行了transductive半監督節點分類的實驗結果表明,我們提出的DSP-GCN在僅使用一個圖卷積層的情況下,成功地減少了拓撲引起的特征失真,同時具有較好的性能。
網址:
6、Masked Graph Convolutional Network
作者:Liang Yang, Fan Wu, Yingkui Wang, Junhua Gu and Yuanfang Guo;
摘要:半監督分類是機器學習領域中處理結構化和非結構化數據的一項基本技術。傳統的基于特征圖的半監督分類方法在通常由數據特征構造的圖上傳播標簽,而圖卷積神經網絡在真實圖拓撲上平滑節點屬性,即傳播特征。本文從傳播的角度對其進行了解釋,并將其分為基于對稱傳播和基于非對稱傳播的方法。從傳播的角度看,傳統的方法和基于網絡的方法都是在圖上傳播特定的對象。然而,與標簽傳播不同的是,直覺上“連接的數據樣本在特征方面趨于相似”,在特征傳播中僅部分有效。因此,提出了一種masked圖卷積網絡(Masked GCN),它只是根據一個masking indicator將一部分特征傳播給鄰居,這是通過聯合考慮局部鄰域中的特征分布和對對分類結果的影響而為每個節點學習的。在傳transductive和inductive節點分類任務上的大量實驗證明了該方法的優越性。
網址:
7、Learning Image-Specific Attributes by Hyperbolic Neighborhood Graph Propagation
作者:Xiaofeng Xu, Ivor W. Tsang, Xiaofeng Cao, Ruiheng Zhang and Chuancai Liu;
摘要:特征作為視覺目標描述的一種語義表示,在各種計算機視覺任務中得到了廣泛的應用。在現有的基于特征的研究中,通常采用類特定特征(class-specific attributes, CSA),這是類級別的標注,由于其對每個類的標注成本較低,而不是對每個單獨的圖像進行標注。然而,由于標注錯誤和單個圖像的多樣性,class-specific的特征通常是有噪聲的。因此,我們希望從原始的class-specific特征中獲得特定于圖像的特征(image-specific,ISA),即image level標注。在本文中,我們提出了通過基于圖的特征傳播來學習image-specific的特征。考慮到雙曲幾何的內在屬性,其距離呈指數擴展,構造雙曲線鄰域圖(HNG)來表征樣本之間的關系。基于HNG,我們定義了每個樣本的鄰域一致性,以識別不一致的樣本。然后,根據HNG中不一致的樣本的鄰居對其進行細化。在5個基準數據集上的大量實驗表明,在zero-shot目標分類任務中,學習的image-specific的特征明顯優于原始的class-specific的特征。
網址:
1、 Adversarial Graph Embedding for Ensemble Clustering
作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;
摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。
網址://www.ijcai.org/proceedings/2019/0494.pdf
2、Attributed Graph Clustering via Adaptive Graph Convolution
作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;
摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。
網址:
3、Dynamic Hypergraph Neural Networks
作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;
摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。
網址:
4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks
作者:Hogun Park and Jennifer Neville;
摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。
網址:
5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks
作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;
摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。
網址:
6、Graph Contextualized Self-Attention Network for Session-based Recommendation
作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;
摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。
網址:
7、Graph Convolutional Network Hashing for Cross-Modal Retrieval
作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;
摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。
網址: