1、Approximation Ratios of Graph Neural Networks for Combinatorial Problems
作者:Ryoma Sato, Makoto Yamada, Hisashi Kashima;
摘要:本文從理論的角度研究了圖神經網絡(GNNs)在學習組合問題近似算法中的作用。為此,我們首先建立了一個新的GNN類,它可以嚴格地解決比現有GNN更廣泛的問題。然后,我們彌合了GNN理論和分布式局部算法理論之間的差距,從理論上證明了最強大的GNN可以學習最小支配集問題的近似算法和具有一些近似比的最小頂點覆蓋問題比率,并且沒有GNN可以執行比這些比率更好。本文首次闡明了組合問題中GNN的近似比。此外,我們還證明了在每個節點特征上添加著色或弱著色可以提高這些近似比。這表明預處理和特征工程在理論上增強了模型的能力。
網址://www.zhuanzhi.ai/paper/9cad40c81920dfd71fa91e4ddf778616
2、D-VAE: A Variational Autoencoder for Directed Acyclic Graphs
作者:Muhan Zhang, Shali Jiang, Zhicheng Cui, Roman Garnett, Yixin Chen;
摘要:圖結構數據在現實世界中是豐富的。在不同的圖類型中,有向無環圖(DAG)是機器學習研究人員特別感興趣的,因為許多機器學習模型都是通過DAG上的計算來實現的,包括神經網絡和貝葉斯網絡。本文研究了DAG的深度生成模型,提出了一種新的DAG變分自編碼器(D-VAE)。為了將DAG編碼到潛在空間中,我們利用了圖神經網絡。我們提出了一個異步消息傳遞方案,它允許在DAG上編碼計算,而不是使用現有的同步消息傳遞方案來編碼局部圖結構。通過神經結構搜索和貝葉斯網絡結構學習兩項任務驗證了該方法的有效性。實驗表明,該模型不僅生成了新穎有效的DAG,還可以生成平滑的潛在空間,有助于通過貝葉斯優化搜索具有更好性能的DAG。
網址:
3、End to end learning and optimization on graphs
作者:Bryan Wilder, Eric Ewing, Bistra Dilkina, Milind Tambe;
摘要:在實際應用中,圖的學習和優化問題常常結合在一起。例如,我們的目標可能是對圖進行集群,以便檢測有意義的社區(或者解決其他常見的圖優化問題,如facility location、maxcut等)。然而,圖或相關屬性往往只是部分觀察到,引入了一些學習問題,如鏈接預測,必須在優化之前解決。我們提出了一種方法,將用于常見圖優化問題的可微代理集成到用于鏈接預測等任務的機器學習模型的訓練中。這允許模型特別關注下游任務,它的預測將用于該任務。實驗結果表明,我們的端到端系統在實例優化任務上的性能優于將現有的鏈路預測方法與專家設計的圖優化算法相結合的方法。
網址:
4、Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels
作者:Simon S. Du, Kangcheng Hou, Barnabás Póczos, Ruslan Salakhutdinov, Ruosong Wang, Keyulu Xu;
摘要:雖然圖內核(graph kernel,GK)易于訓練并享有可證明的理論保證,但其實際性能受其表達能力的限制,因為內核函數往往依賴于圖的手工組合特性。與圖內核相比,圖神經網絡通常具有更好的實用性能,因為圖神經網絡使用多層結構和非線性激活函數來提取圖的高階信息作為特征。然而,由于訓練過程中存在大量的超參數,且訓練過程具有非凸性,使得GNN的訓練更加困難。GNN的理論保障也沒有得到很好的理解。此外,GNN的表達能力隨參數的數量而變化,在計算資源有限的情況下,很難充分利用GNN的表達能力。本文提出了一類新的圖內核,即圖神經切線核(GNTKs),它對應于通過梯度下降訓練的無限寬的多層GNN。GNTK充分發揮了GNN的表現力,繼承了GK的優勢。從理論上講,我們展示了GNTK可以在圖上學習一類平滑函數。根據經驗,我們在圖分類數據集上測試GNTK并展示它們實現了強大的性能。
網址:
5、HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
作者:Naganand Yadati, Madhav Nimishakavi, Prateek Yadav, Vikram Nitin, Anand Louis, Partha Talukdar;
摘要:在許多真實世界的網絡數據集中,如co-authorship、co-citation、email communication等,關系是復雜的,并且超越了成對關聯。超圖(Hypergraph)提供了一個靈活而自然的建模工具來建模這種復雜的關系。在許多現實世界網絡中,這種復雜關系的明顯存在,自然會激發使用Hypergraph學習的問題。一種流行的學習范式是基于超圖的半監督學習(SSL),其目標是將標簽分配給超圖中最初未標記的頂點。由于圖卷積網絡(GCN)對基于圖的SSL是有效的,我們提出了HyperGCN,這是一種在超圖上訓練用于SSL的GCN的新方法。我們通過對真實世界超圖的詳細實驗證明HyperGCN的有效性,并分析它何時比最先進的baseline更有效。
網址:
6、Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks
作者:Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín, Ian Reid, S. Hamid Rezatofighi, Silvio Savarese;
摘要:從自動駕駛汽車和社交機器人的控制到安全監控,預測場景中多個交互主體的未來軌跡已成為許多不同應用領域中一個日益重要的問題。這個問題由于人類之間的社會互動以及他們與場景的身體互動而變得更加復雜。雖然現有的文獻探索了其中的一些線索,但它們主要忽略了每個人未來軌跡的多模態性質。在本文中,我們提出了一個基于圖的生成式對抗網絡Social-BiGAT,它通過更好地建模場景中行人的社交互來生成真實的多模態軌跡預測。我們的方法是基于一個圖注意力網絡(GAT)學習可靠的特征表示(編碼場景中人類之間的社會交互),以及一個反方向訓練的循環編解碼器體系結構(根據特征預測人類的路徑)。我們明確地解釋了預測問題的多模態性質,通過在每個場景與其潛在噪聲向量之間形成一個可逆的變換,就像在Bicycle-GAN中一樣。我們表明了,與現有軌跡預測基準的幾個baseline的比較中,我們的框架達到了最先進的性能。
網址:
7、Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching
作者:Hongteng Xu, Dixin Luo, Lawrence Carin;
摘要:我們提出了一種可擴展的Gromov-Wasserstein learning (S-GWL) 方法,并建立了一種新的、理論支持的大規模圖分析范式。該方法基于Gromov-Wasserstein discrepancy,是圖上的偽度量。給定兩個圖,與它們的Gromov-Wasserstein discrepancy相關聯的最優傳輸提供了節點之間的對應關系,從而實現了圖的匹配。當其中一個圖具有獨立但自連接的節點時(即,一個斷開連接的圖),最優傳輸表明了其他圖的聚類結構,實現了圖的劃分。利用這一概念,通過學習多觀測圖的Gromov-Wasserstein barycenter圖,將該方法推廣到多圖的劃分與匹配; barycenter圖起到斷開圖的作用,因為它是學習的,所以聚類也是如此。該方法將遞歸K分割機制與正則化近似梯度算法相結合,對于具有V個節點和E條邊的圖,其時間復雜度為O(K(E+V) logk V)。據我們所知,我們的方法是第一次嘗試使Gromov-Wasserstein discrepancy適用于大規模的圖分析,并將圖的劃分和匹配統一到同一個框架中。它優于最先進的圖劃分和匹配方法,實現了精度和效率之間的平衡。
網址:
8、Universal Invariant and Equivariant Graph Neural Networks
作者:Nicolas Keriven, Gabriel Peyré;
摘要:圖神經網絡(GNN)有多種形式,但應該始終是不變的(輸入圖節點的排列不會影響輸出)或等變的(輸入的排列置換輸出)。本文考慮一類特殊的不變和等變網絡,證明了它的一些新的普適性定理。更確切地說,我們考慮具有單個隱藏層的網絡,它是通過應用等變線性算子、點態非線性算子和不變或等變線性算子形成的信道求和而得到的。最近,Maron et al. (2019b)指出,通過允許網絡內部的高階張量化,可以獲得通用不變的GNN。作為第一個貢獻,我們提出了這個結果的另一種證明,它依賴于實值函數代數的Stone-Weierstrass定理。我們的主要貢獻是將這一結果推廣到等變情況,這種情況出現在許多實際應用中,但從理論角度進行的研究較少。證明依賴于一個新的具有獨立意義的廣義等變函數代數Stone-Weierstrass定理。最后,與以往許多考慮固定節點數的設置不同,我們的結果表明,由一組參數定義的GNN可以很好地近似于在不同大小的圖上定義的函數。
網址:
【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣
KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers
KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、
1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction
作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial
摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。
網址:
2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang
摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。
網址:
代碼鏈接:
3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases
作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun
摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。
網址:
4. Graph Structural-topic Neural Network
作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin
摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。
網址:
代碼鏈接:
5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi
摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。
網址:
【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。本次ACL大會共提交了3429篇論文,共有571篇長論文、以及208篇短論文入選。不久之前,專知小編為大家整理了大會的圖神經網絡(GNN)相關論文,這期小編繼續為大家奉上ACL 2020圖神經網絡(GNN)相關論文-Part 2供參考——多文檔摘要、多粒度機器閱讀理解、帖子爭議檢測、GAE。
ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Leveraging Graph to Improve Abstractive Multi-Document Summarization
作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du
摘要:捕捉文本單元之間關系圖對于從多個文檔中檢測顯著信息和生成整體連貫的摘要有很大好處。本文提出了一種神經抽取多文檔摘要(MDS)模型,該模型可以利用文檔的常見圖表示,如相似度圖和話語圖(discourse graph),來更有效地處理多個輸入文檔并生成摘要。我們的模型使用圖對文檔進行編碼,以捕獲跨文檔關系,這對于總結長文檔至關重要。我們的模型還可以利用圖來指導摘要的生成過程,這有利于生成連貫而簡潔的摘要。此外,預訓練的語言模型可以很容易地與我們的模型相結合,進一步提高了摘要的性能。在WikiSum和MultiNews數據集上的實驗結果表明,所提出的體系結構在幾個強大的基線上帶來了實質性的改進。
網址: //arxiv.org/abs/2005.10043
2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu
摘要:“自然問題”是一種具有挑戰性的新的機器閱讀理解基準,其中包含兩個答案:長答案(通常是一個段落)和短答案(長答案中的一個或多個實體)。盡管此基準測試的現有方法很有效,但它們在訓練期間單獨處理這兩個子任務,忽略了它們間的依賴關系。為了解決這個問題,我們提出了一種新穎的多粒度機器閱讀理解框架,該框架專注于對文檔的分層性質進行建模,這些文檔具有不同的粒度級別:文檔、段落、句子和詞。我們利用圖注意力網絡來獲得不同層次的表示,以便它們可以同時學習。長答案和短答案可以分別從段落級表示和詞級表示中提取。通過這種方式,我們可以對兩個粒度的答案之間的依賴關系進行建模,以便為彼此提供證據。我們聯合訓練這兩個子任務,實驗表明,我們的方法在長答案和短答案標準上都明顯優于以前的系統。
網址:
代碼鏈接:
3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection
作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang
摘要:識別社交媒體上有爭議的帖子是挖掘公眾情緒、評估事件影響、緩解兩極分化觀點的基礎任務。然而,現有的方法不能1)有效地融合來自相關帖子內容的語義信息;2)保留回復關系建模的結構信息;3)正確處理與訓練集中主題不同的帖子。為了克服前兩個局限性,我們提出了主題-帖子-評論圖卷積網絡(TPC-GCN),它綜合了來自主題、帖子和評論的圖結構和內容的信息,用于帖子級別的爭議檢測。對于第三個限制,我們將模型擴展到分離的TPC-GCN(DTPC-GCN),將主題相關和主題無關的特征分離出來,然后進行動態融合。在兩個真實數據集上的大量實驗表明,我們的模型優于現有的方法。結果和實例分析表明,該模型能夠將語義信息和結構信息有機地結合在一起,具有較強的通用性。
網址:
4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward
作者:Luyang Huang, Lingfei Wu, Lu Wang
摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已經被廣泛研究,但是生成的摘要通常受到捏造的內容的影響,并且經常被發現是near-extractive的。我們認為,為了解決這些問題,摘要生成器應通過輸入獲取語義解釋,例如通過結構化表示,以允許生成更多信息的摘要。在本文中,我們提出了一種新的抽取摘要框架--Asgard,它具有圖形增強和語義驅動的特點。我們建議使用雙重編碼器-序列文檔編碼器和圖形結構編碼器-來保持實體的全局上下文和局部特征,并且相互補充。我們進一步設計了基于多項選擇完形填空測試的獎勵,以驅動模型更好地捕捉實體交互。結果表明,我們的模型在紐約時報和CNN/每日郵報的數據集上都比沒有知識圖作為輸入的變體產生了更高的Rouge分數。與從大型預訓練的語言模型中優化的系統相比,我們也獲得了更好或可比的性能。評委進一步認為我們的模型輸出信息更豐富,包含的不實錯誤更少。
網址:
5. A Graph Auto-encoder Model of Derivational Morphology
作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty
摘要:關于派生詞的形態良好性(morphological well-formedness, MWF)建模工作在語言學中被認為是一個復雜而困難的問題,并且這方面的研究工作較少。我們提出了一個圖自編碼器學習嵌入以捕捉派生詞中詞綴和詞干的兼容性信息。自編碼器通過將句法和語義信息與來自心理詞典的關聯信息相結合,很好地模擬了英語中的MWF。
網址:
最近,數據挖掘領域國際最高級別會議KDD 2019 于 2019 年 8 月 4 日- 8 日在美國阿拉斯加州安克雷奇市舉行。今年的 KDD 包括兩個track:Research Track和 Applied Data Science track。據了解,Research Track 共收到約 1200 篇投稿,其中約 110 篇 接收為oral 論文,60 篇 接收為poster 論文,接收率僅為 14%。專知小編發現關于圖神經網絡的相關論文在今年的KDD上非常多,所以今天小編專門整理最新12篇圖神經網絡(GNN)相關論文——聚類-GCN、條件隨機場-GCN、Degree-GNN、GCN-MF、GCN-Pooling、GRN、異構GNN、強化學習-GNN、對抗攻擊-GCN。
作者:Wei-Lin Chiang; Xuanqing Liu; Si Si; Yang Li; Samy Bengio; Cho-Jui Hsieh;
摘要:圖卷積網絡(GCN)已成功地應用于許多基于圖的應用中; 然而,訓練一個大規模的GCN仍然是具有挑戰性的。現有的基于SGD的算法要么計算成本高,且隨著GCN層數的增加呈指數級增長,要么需要很大的空間來保存整個圖以及在內存中嵌入每個節點。本文利用圖的聚類結構,提出了一種新的適合于基于SGD的訓練的GCN算法Cluster-GCN。Cluster-GCN的工作原理如下: 在每一步中,它對與圖聚類算法標識的密集子圖相關聯的節點塊進行采樣,并限制在該子圖中進行鄰域搜索。這種簡單而有效的策略能夠顯著提高內存和計算效率,同時能夠達到與以前算法相當的測試精度。為了測試算法的可擴展性,我們創建了一個新的Amazon2M數據集,包含200萬個節點和6100萬條邊,比之前最大的公共可用數據集(Reddit)大5倍以上。對于在此數據集上訓練3層GCN, Cluster-GCN比之前最先進的VR-GCN(1523秒vs. 1961秒)更快,并且使用更少的內存(2.2GB vs. 11.2GB)。此外,對于該數據集的4層GCN的訓練,我們的算法可以在36分鐘左右完成,而現有的GCN訓練算法都因為內存不足而無法訓練。此外,Cluster-GCN允許我們在不需要太多時間和內存開銷的情況下訓練更深層的GCN,從而提高了預測精度——使用5層Cluster-GCN,我們在PPI數據集上實現了最先進的測試結果,F1 score為99.36,而之前最好的結果是98.71。
網址:
作者:Hongchang Gao; Jian Pei; Heng Huang;
摘要:圖卷積神經網絡近年來受到越來越多的關注。與標準卷積神經網絡不同,圖卷積神經網絡對圖數據進行卷積運算。與一般數據相比,圖數據具有不同節點間的相似性信息。因此,在圖卷積神經網絡的隱層中保存這種相似性信息是非常重要的。然而,現有的工作沒有做到這一點。另一方面,為了保持相似關系,對隱藏層的增強是一個挑戰。為了解決這一問題,我們提出了一種新的CRF層用于圖卷積神經網絡,以使得相似節點具有相似的隱藏特征。這樣,可以顯式地保存相似性信息。此外,我們提出的CRF層易于計算和優化。因此,它可以很容易地插入到現有的圖卷積神經網絡中,提高其性能。最后,大量的實驗結果驗證了我們提出的CRF層的有效性。
網址:
作者:Jun Wu; Jingrui He; Jiejun Xu;
摘要:圖數據廣泛存在于許多具有高影響力的應用中。受網格結構數據深度學習成功的啟發,研究者提出了一種學習強大的節點級或圖級表示的圖神經網絡模型。然而,現有的圖神經網絡大多存在以下局限性:(1)對圖卷積的seed-oriented、degree-aware、order-free等特性的分析比較有限; (2) 在區分結構感知節點鄰域時,沒有將節點的degree-specific圖結構顯式表示為圖卷積; (3)圖級pooling機制的理論解釋尚不明確。為了解決這些問題,我們提出了一種基于Weisfeiler- Lehman圖同構測試的通用degree-specific圖神經網絡DEMO-Net。為了顯式地捕獲與節點屬性集成的圖的拓撲結構,我們認為圖卷積應該具有三個屬性:seed-oriented, degree-aware 和order-free。為此,我們提出了多任務圖卷積,其中每個任務表示具有specific degree value的節點的節點表示學習,從而保持了degree-specific的圖結構。特別地,我們設計了兩種多任務學習方法:degree-specific權重法和圖卷積的哈希函數法。此外,我們還提出了一種新的圖級pooling/readout方案,用于學習圖形表示,可證明位于degree-specific的Hilbert kernel空間中。在多個節點和圖分類基準數據集上的實驗結果表明,我們提出的DEMO-Net相對于最先進的圖神經網絡模型的有效性和高效性。
網址:
作者:Peng Han; Peng Yang; Peilin Zhao; Shuo Shang; Yong Liu; Jiayu Zhou; Xin Gao; Panos Kalnis;
摘要:發現疾病基因關聯是一項基礎性和關鍵性的生物醫學任務,它有助于生物學家和醫生發現癥候的致病機制。基于網絡的半監督學習(NSSL)是這些研究中常用的一種方法,它利用各種臨床生物標志物來測量基因和疾病表型之間的相似性,來解決這個類平衡的大規模數據問題。然而,大多數現有的NSSL方法都是基于線性模型的,存在兩個主要限制:1)它們隱式地考慮每個候選對象的局部結構表示; 2)他們無法捕捉疾病和基因之間的非線性聯系。本文將圖卷積網絡(GCN)和矩陣因子分解相結合,提出了一種新的疾病基因關聯任務框架GCN-MF。在GCN的幫助下,我們可以捕獲非線性相互作用,并利用測量到的相似性。此外,我們定義了一個邊際控制損失函數,以減少稀疏性的影響。實驗結果表明,所提出的深度學習算法在大多數指標上都優于其他最先進的方法。
網址:
作者:Namyong Park; Andrey Kan; Xin Luna Dong; Tong Zhao; Christos Faloutsos;
摘要:如何估計知識圖譜(KG)中節點的重要性? KG是一個多關系圖,它被證明對于許多任務(包括問題回答和語義搜索)都很有價值。在本文中,我們提出了GENI,一種解決KG中節點重要性估計問題的方法,該方法支持商品推薦和資源分配等多種下游應用。雖然已經有了一些方法來解決一般圖的這個問題,但是它們沒有充分利用KG中可用的信息,或者缺乏建模實體與其重要性之間復雜關系所需的靈活性。為了解決這些限制,我們探索了有監督的機器學習算法。特別是,基于圖神經網絡(GNN)的最新進展,我們開發了GENI,這是一種基于GNN的方法,旨在應對預測KG中節點重要性所涉及的獨特挑戰。我們的方法通過predicate-aware注意力機制和靈活的中心性調整來執行重要性分數的聚合,而不是聚合節點嵌入。在我們對GENI和現有方法的評估中,GENI在預測具有不同特征的真實KG中節點重要性方面比現有方法高出5-17%。
網址:
作者:Yao Ma; Suhang Wang; Charu Aggarwal; Jiliang Tang;
摘要:圖神經網絡將深度神經網絡模型推廣到圖結構數據中,近年來受到越來越多的關注。它們通常通過轉換、傳播和聚合節點特征來學習節點表示,并被證明可以提高許多與圖相關的任務的性能,如節點分類和鏈接預測。將圖神經網絡應用于圖分類任務,需要從節點表示生成圖表示的方法。一種常見的方法是全局組合節點表示。然而,豐富的結構信息被忽略了。因此,在圖表示學習過程中,需要一個層次的pooling過程來保持圖的結構。最近有一些關于層次學習圖表示的工作類似于傳統卷積神經網絡(CNN)中的pooling步驟。然而,在匯聚過程中,局部結構信息在很大程度上仍然被忽略。本文介紹了一種基于圖的傅里葉變換的pooling操作EigenPooling,它可以利用pooling過程中的節點特征和局部結構。然后基于pooling算子設計pooling層,并與傳統的GCN卷積層進一步結合,形成一個用于圖分類的圖神經網絡框架EigenGCN。從局部和全局的角度對EigenGCN進行了理論分析。圖分類任務在6個常用benchmark上的實驗結果表明了該框架的有效性。
網址:
作者:Xiao Huang; Qingquan Song; Yuening Li; Xia Hu;
摘要:隨機游走被廣泛應用于從網絡嵌入到標簽傳播的各種網絡分析任務中。它可以捕獲并將幾何結構轉換為結構化序列,同時解決了稀疏性和維數的災難性問題。雖然對純網絡上的隨機游走進行了深入的研究,但在實際系統中,節點往往不是純頂點,而是具有不同的特征,并由與之相關的豐富數據集來描述。這些節點屬性包含豐富的信息,這些信息通常是網絡的補充,并為基于隨機游走的分析帶來了機會。然而,目前還不清楚如何為attributed網絡開發隨機游走來實現有效的聯合信息提取。節點屬性使得節點之間的交互更加復雜,拓撲結構也更加異構。
為了彌補這一不足,我們研究了在attributed網絡上進行聯合隨機游動,并利用它們來提高深度節點表示學習。提出的框架GraphRNA由兩個主要組件組成,即,一種協作游走機制—AttriWalk,以及一種為隨機游走量身定制的深度嵌入體系結構,稱為圖遞歸網絡(graph recurrent networks ,GRN)。AttriWalk將節點屬性看作是一個二分網絡,并利用它來促進節點間的離散化,減少節點間向高中心匯聚的趨勢。AttriWalk使我們能夠將突出的深度網絡嵌入模型-圖卷積網絡推向一個更有效的架構——GRN。GRN賦予節點表示以與原始attributed網絡中的節點交互相同的方式進行交互。在真實數據集上的實驗結果表明,與目前最先進的嵌入算法相比,GraphRNA算法很有效。
網址:
作者:Chuxu Zhang; Dongjin Song; Chao Huang; Ananthram Swami; Nitesh V. Chawla;
摘要:異構圖表示學習的目的是為每個節點尋求一個有意義的向量表示,以便于后續應用,如鏈接預測、個性化推薦、節點分類等。然而,該任務具有挑戰性,不僅因為需要合并異構由多種類型的節點和邊組成的結構(圖)信息,但也需要考慮與每個節點相關聯的異構屬性或內容(例如,文本或圖像)。盡管在同構(或異構)圖嵌入、屬性圖嵌入以及圖神經網絡等方面都做了大量的工作,但很少有圖神經網絡能夠有效地聯合考慮圖的異構結構(圖)信息以及各節點的異構內容信息。為此,我們提出了一種異構圖神經網絡模型HetGNN。具體來說,我們首先引入一個具有重啟策略的隨機游走,為每個節點抽取一個固定大小的強相關異構鄰居,并根據節點類型對它們進行分組。接下來,我們設計了一個包含兩個模塊的神經網絡結構來聚合這些采樣的相鄰節點的特征信息。第一個模塊對異構內容的“深度”特性交互進行編碼,并為每個節點生成內容嵌入。第二個模塊聚合不同鄰近組(類型)的內容(屬性)嵌入,并通過考慮不同組的影響來進一步組合它們,以獲得最終的節點嵌入。最后,我們利用圖context loss和一個mini-batch梯度下降過程以端到端方式訓練模型。在多個數據集上的大量實驗表明,HetGNN在各種圖挖掘任務(比如鏈路預測、推薦、節點分類聚類、歸納節點分類聚類)中都能超越最先進的baseline。
網址:
作者:Songgaojun Deng; Huzefa Rangwala; Yue Ning;
摘要:以建模上下文信息為目標的事件預測是自動分析生成和資源分配等應用程序的一項重要任務。為感興趣的事件捕獲上下文信息可以幫助分析人員理解與該事件相關的因素。然而,由于以下幾個因素,在事件預測中獲取上下文信息是具有挑戰性的: (i)上下文結構和形成的不確定性,(ii)高維特征,以及(iii)特征隨時間的適應性。最近,圖表示學習在交通預測、社會影響預測和可視化問題回答系統等應用中取得了成功。在本文中,我們研究了社會事件建模中的圖表示,以識別事件上下文的動態屬性作為social indicators。
受圖神經網絡的啟發,我們提出了一種新的圖卷積網絡來預測未來的事件(例如,國內動亂運動)。我們從歷史/以前的事件文檔中提取和學習圖表示。該模型利用隱藏的單詞圖特征預測未來事件的發生,并將動態圖序列識別為事件上下文。在多個真實數據集上的實驗結果表明,該方法與各種先進的社會事件預測方法相比具有較強的競爭力。
網址:
作者:Kunpeng Liu; Yanjie Fu; Pengfei Wang; Le Wu; Rui Bo; Xiaolin Li;
摘要:特征選擇是機器學習的預處理步驟,它試圖為后續的預測任務選擇最相關的特征。有效的特征選擇可以降低維數,提高預測精度,提高結果的可理解性。從子集空間中尋找最優特征子集是一個非常具有挑戰性的問題,因為子集空間可能非常大。在已有研究的基礎上,增強學習為搜索策略的全局化提供了新的視角。針對特征選擇問題,提出了一種多智能體增強學習框架。具體來說,我們首先用一個增強學習框架來重新制定特征選擇,將每個特征視為一個智能體。然后,通過三種方法得到環境狀態,即為了使算法更好地理解學習過程,本文采用了統計描述、自動編碼器和圖卷積網絡(GCN)。我們展示了如何以一種基于圖的方式學習狀態表示,這種方法不僅可以處理邊的變化,還可以處理節點逐步變化的情況。此外,我們還研究了如何通過更合理的獎勵方案來改善不同特征之間的協調。該方法具有全局搜索特征子集的能力,并且由于增強學習的性質,可以很容易地適應實時情況(實時特征選擇)。此外,我們還提出了一種有效的加速多智能體強化學習收斂的策略。最后,大量的實驗結果表明,該方法比傳統方法有顯著的改進。
網址:
作者:Dingyuan Zhu; Ziwei Zhang; Peng Cui; Wenwu Zhu;
摘要:圖卷積網絡(GCNs)是一種新興的基于圖的神經網絡模型,在節點分類任務中取得了最先進的性能。然而,近年來的研究表明,GCN容易受到惡意攻擊,即在圖結構和節點屬性上的小擾動,這給GCN網絡在實際應用中帶來了很大的挑戰。如何提高GCN的魯棒性仍然是一個關鍵的開放性問題。
為了解決這一問題,我們提出了Robust GCN (RGCN),這是一種新的模型,它“加強”了GCN的對抗攻擊能力。具體來說,我們的方法不是將節點表示為向量,而是采用高斯分布作為每個卷積層中節點的隱藏表示。這樣,當圖受到攻擊時,我們的模型可以自動吸收高斯分布方差變化的不利影響。此外,為了彌補對抗性攻擊在GCN中的傳播,我們提出了一種基于方差的注意力機制,即在執行卷積時根據節點鄰域的方差分配不同的權值。大量的實驗結果表明,我們提出的方法可以有效地提高GCN的魯棒性。在三個基準圖上,與最先進的GCN方法相比,我們的RGCN在各種對抗攻擊策略下的節點分類精度有了顯著提高。
網址:
作者:Saurabh Verma; Zhi-Li Zhang;
摘要:圖卷積神經網絡(GCNNs)是受卷積神經網絡在一維和二維數據上的啟發而發展起來的一種用于各種圖數據學習任務的神經網絡,在實際數據集上表現出了良好的性能。盡管GCNN模型取得了一定的成功,但是對于GCNN模型的泛化性質等理論探索卻十分缺乏。本文通過分析單層GCNN模型的穩定性,推導出其在半監督圖學習環境下的泛化保證,為深入理解GCNN模型邁出了第一步。特別地,我們證明了GCNN模型的算法穩定性依賴于其圖卷積濾波器的最大絕對特征值。此外,為了確保提供強泛化保證所需的均勻穩定性,最大絕對特征值必須與圖的大小無關。我們的結果為設計新的和改進的具有算法穩定性的圖卷積濾波器提供了新的見解。我們對各種真實世界圖數據集的泛華差距和穩定性進行了評價,實證結果確實支持了我們的理論發現。據我們所知,我們是第一個在半監督設置下研究圖學習的穩定性邊界,并推導出GCNN模型的泛化邊界。
網址:
下載鏈接: 提取碼:zbkg
1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing(MixHop: 通過稀疏鄰域混合實現的高階圖卷積結構)
作者:Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan
摘要:現有的基于圖神經網絡的半監督學習方法(如圖卷積網絡)不能學習一般的鄰域混合關系。為了解決這個缺點,我們提出了一個新的模型,MixHop,它可以通過在不同距離重復混合鄰居的特征表示來學習這些關系,包括不同的操作符。MixHop不需要額外的內存或計算復雜度,并且在一些具有挑戰性的baseline上性能更好。此外,我們建議使用稀疏正則化,使我們能夠可視化網絡如何跨不同的圖數據集對鄰居信息進行優先級排序。我們對所學體系結構的分析表明,每個數據集的鄰域混合是不同的。
網址://proceedings.mlr.press/v97/abu-el-haija19a.html
代碼鏈接:
2、Compositional Fairness Constraints for Graph Embeddings(圖嵌入的組合公平性約束)
作者:Avishek Bose, William Hamilton
摘要:學習高質量的節點嵌入是基于圖數據(如社交網絡和推薦系統)的機器學習模型的關鍵步驟。然而,現有的圖嵌入技術無法處理公平約束,例如,確保所學習的表示與某些屬性(如年齡或性別)不相關。在這里,我們引入一個對抗框架來對圖嵌入實施公平性約束。我們的方法是組合的,這意味著它可以靈活地適應推理過程中公平約束的不同組合。例如,在社會推薦的上下文中,我們的框架允許一個用戶要求他們的推薦對他們的年齡和性別都是不變的,同時也允許另一個用戶只對他們的年齡要求不變。在標準知識圖和推薦系統基準測試上的實驗突出了我們提出的框架的實用性。
網址:
代碼鏈接:
3、Learning Discrete Structures for Graph Neural Networks(學習圖神經網絡的離散結構)
作者:Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He
摘要:圖神經網絡(GNNs)是一種流行的機器學習模型,已成功地應用于一系列問題。它們的主要優勢在于能夠顯式地合并數據點之間的稀疏和離散依賴結構。不幸的是,只有在這種圖結構可用時才能使用GNN。然而,在實踐中,真實世界中的圖常常是嘈雜的、不完整的,或者根本就不可用。在此基礎上,我們提出通過近似求解一個學習圖邊緣離散概率分布的雙層程序來共同學習圖卷積網絡(GCNs)的圖結構和參數。這不僅允許在給定圖不完整或損壞的場景中應用GCNs,還允許在圖不可用的場景中應用GCNs。我們進行了一系列的實驗,分析了該方法的行為,并證明了它比相關的方法有顯著的優勢。
網址:
代碼鏈接:
4、Graph U-Nets
作者:Hongyang Gao, Shuiwang Ji
摘要:我們研究了圖數據的表示學習問題。卷積神經網絡可以很自然地對圖像進行操作,但在處理圖數據方面存在很大的挑戰。由于圖像是二維網格上節點圖的特殊情況,圖的嵌入任務與圖像的分割等像素級預測任務具有天然的對應關系。雖然像U-Nets這樣的編解碼器結構已經成功地應用于許多圖像的像素級預測任務,但是類似的方法在圖數據上還是很缺乏。這是由于池化操作和上采樣操作對圖數據不是自然的。為了解決這些挑戰,我們提出了新的圖池化(gPool)和反池化(gUnpool)操作。gPool層根據節點在可訓練投影向量上的標量投影值,自適應地選擇節點,形成較小的圖。我們進一步提出了gUnpool層作為gPool層的逆操作。gUnpool層使用在相應gPool層中選擇的節點位置信息將圖恢復到其原始結構。基于我們提出的gPool和gUnpool層,我們開發了一個基于圖的編解碼器模型,稱為Graph U-Nets。我們在節點分類和圖分類任務上的實驗結果表明,我們的方法比以前的模型具有更好的性能。
網址:
代碼鏈接:
5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance(圖神經網絡用于樂譜數據和鋼琴演奏表現力的建模)
作者:Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam
摘要:樂譜通常被處理為一維序列數據。與文本文檔中的單詞不同,樂譜中的音符可以由復調性質同時演奏,并且每個音符都有自己的持續時間。在本文中,我們使用圖神經網絡表示樂譜的獨特形式,并將其應用于從樂譜中渲染表現力的鋼琴演奏。具體地,我們設計了使用note-level門控圖神經網絡和采用迭代反饋方法的雙向LSTM測量級層次注意網絡的模型。此外,為了對給定輸入分數的不同性能風格建模,我們使用了一個變分自編碼器。聽力測試結果表明,與baseline模型和層次注意網絡模型相比,我們提出的模型生成了更多的類人性能,而層次注意網絡模型將音樂得分處理為類詞序列。
網址:
代碼鏈接:
6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects(用于學習圖結構物體相似性的圖匹配網絡)
作者:Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli
摘要:本文針對圖結構物體的檢索與匹配這一具有挑戰性的問題,做了兩個關鍵的貢獻。首先,我們演示了如何訓練圖神經網絡(GNN)在向量空間中嵌入圖,從而實現高效的相似性推理。其次,提出了一種新的圖匹配網絡模型,該模型以一對圖作為輸入,通過一種新的基于注意力的交叉圖匹配機制,對圖對進行聯合推理,計算出圖對之間的相似度評分。我們證明了我們的模型在不同領域的有效性,包括具有挑戰性的基于控制流圖的功能相似性搜索問題,該問題在軟件系統漏洞檢測中發揮著重要作用。實驗分析表明,我們的模型不僅能夠在相似性學習的背景下利用結構,而且它們還比那些為這些問題精心手工設計的領域特定baseline系統表現得更好。
網址:
7、Disentangled Graph Convolutional Networks(Disentangled圖卷積網絡)
作者:Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu
摘要:真實世界圖形的形成通常來自于許多潛在因素之間高度復雜的交互作用。現有的基于圖結構數據的深度學習方法忽略了潛在因素的糾纏,使得學習表示不魯棒,難以解釋。然而,在圖神經網絡的研究中,如何將潛在因素分解出來的學習表示方法面臨著巨大的挑戰,并且在很大程度上還沒有得到探索。本文引入解糾纏(Disentangled)圖卷積網絡(DisenGCN)來學習disentangled節點表示。特別地,我們提出了一種新的鄰域路由機制,它能夠動態地識別可能導致節點與其相鄰節點之間產生邊的潛在因素,并相應地將相鄰節點分配到一個提取和卷積特定于該因素的特性的信道。從理論上證明了該路由機制的收斂性。實驗結果表明,我們提出的模型可以獲得顯著的性能提升,特別是當數據表明存在許多糾纏因素時。
網址:
8、GMNN: Graph Markov Neural Networks(GMNN: 圖馬爾可夫神經網絡)
作者:Meng Qu, Yoshua Bengio, Jian Tang
摘要:本文研究關系數據中的半監督對象分類問題,這是關系數據建模中的一個基本問題。在統計關系學習(如關系馬爾可夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中,這一問題得到了廣泛的研究。統計關系學習方法可以通過條件隨機場對對象標簽的依賴關系進行有效的建模,用于集體分類,而圖神經網絡則通過端到端訓練學習有效的對象表示來分類。在本文中,我們提出了一種集兩種方法優點于一體的Graph Markov Neural Networks (GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模,利用變分EM算法對其進行有效訓練。在E-step中,一個圖神經網絡學習有效的對象表示,逼近對象標簽的后驗分布。在M-step中,利用另一個圖神經網絡對局部標簽依賴關系進行建模。在對象分類、鏈路分類和無監督節點表示學習等方面的實驗表明,GMNN取得了較好的效果。
網址:
代碼鏈接:
9、Simplifying Graph Convolutional Networks(簡化圖卷積網絡)
作者:Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger
摘要:圖卷積網絡(GCNs)及其變體得到了廣泛的關注,已成為學習圖表示的實際方法。GCNs的靈感主要來自最近的深度學習方法,因此可能會繼承不必要的復雜性和冗余計算。在本文中,我們通過連續消除非線性和折疊連續層之間的權重矩陣來減少這種額外的復雜性。我們從理論上分析了得到的線性模型,結果表明它對應于一個固定的低通濾波器,然后是一個線性分類器。值得注意的是,我們的實驗評估表明,這些簡化不會對許多下游應用程序的準確性產生負面影響。此外,生成的模型可以擴展到更大的數據集,這是自然可解釋的,并且比FastGCN的速度提高了兩個數量級。
網址:
代碼鏈接:
10、Position-aware Graph Neural Networks(位置感知圖神經網絡)
作者:Jiaxuan You, Rex Ying, Jure Leskovec
摘要:學習節點嵌入,捕捉節點在更廣泛的圖結構中的位置,對于圖上的許多預測任務是至關重要的。然而,現有的圖神經網絡(GNN)結構在獲取給定節點相對于圖中所有其他節點的position/location方面的能力有限。本文提出了一種計算位置感知節點嵌入的新型神經網絡—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先對錨節點集進行采樣,計算給定目標節點到每個錨集的距離,然后學習錨集上的非線性距離加權聚集方案。通過這種方式,P-GNNs可以捕獲節點相對于錨節點的位置。P-GNN有幾個優點: 它們具有歸納性,可擴展性,并且可以包含節點特征信息。我們將P-GNNs應用于多個預測任務,包括鏈路預測和社區檢測。我們顯示,P-GNNs始終優于最先進的GNNs, 在ROC AUC分數方面提高了66%。
網址:
代碼鏈接:
論文下載
百度云鏈接:
提取碼:vcc3
1、 Adversarial Graph Embedding for Ensemble Clustering
作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;
摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。
網址://www.ijcai.org/proceedings/2019/0494.pdf
2、Attributed Graph Clustering via Adaptive Graph Convolution
作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;
摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。
網址:
3、Dynamic Hypergraph Neural Networks
作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;
摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。
網址:
4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks
作者:Hogun Park and Jennifer Neville;
摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。
網址:
5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks
作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;
摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。
網址:
6、Graph Contextualized Self-Attention Network for Session-based Recommendation
作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;
摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。
網址:
7、Graph Convolutional Network Hashing for Cross-Modal Retrieval
作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;
摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。
網址: