圖神經網絡在圖表示學習領域取得了顯著的成功。圖卷積執行鄰域聚合,并表示最重要的圖運算之一。然而,這些鄰域聚合方法的一層只考慮近鄰,當進一步啟用更大的接受域時,性能會下降。最近的一些研究將這種性能下降歸因于過度平滑問題,即重復傳播使得不同類的節點表示無法區分。在這項工作中,我們系統地研究這一觀察結果,并對更深的圖神經網絡發展新的見解。本文首先對這一問題進行了系統的分析,認為當前圖卷積運算中表示變換與傳播的糾纏是影響算法性能的關鍵因素。將這兩種操作解耦后,更深層次的圖神經網絡可用于從更大的接受域學習圖節點表示。在建立深度模型時,我們進一步對上述觀察結果進行了理論分析,這可以作為過度平滑問題的嚴格而溫和的描述。在理論和實證分析的基礎上,我們提出了深度自適應圖神經網絡(DAGNN),以自適應地吸收來自大接受域的信息。一組關于引文、合著和共購數據集的實驗證實了我們的分析和見解,并展示了我們提出的方法的優越性。
題目: A Survey on Graph Neural Networks for Knowledge Graph Completion
摘要:
知識圖譜在諸如回答問題和信息檢索之類的各種下游任務中越來越受歡迎。但是,知識圖譜通常不完整,從而導致性能不佳。結果,人們對知識庫補全任務產生了濃厚的興趣。 最近,圖神經網絡已用于捕獲固有存儲在這些知識圖譜中的結構信息,并已顯示出可在各種數據集中實現SOTA性能。 在這項調查中,了解了所提出方法的各種優點和缺點,并嘗試在該領域中發現需要進一步研究的新的令人興奮的研究問題。
題目: Stochastic Graph Neural Networks
簡介:
圖神經網絡(GNN)對圖數據中的非線性表示進行建模,并在分布式智能體協調,控制和規劃等方面進行了應用。當前的GNN架構假設理想情況,并且忽略由于環境,人為因素或外部攻擊而發生的波動。在這些情況下,如果未考慮拓撲隨機性,則GNN無法解決其分布式任務。為了克服這個問題,我們提出了隨機圖神經網絡(SGNN)模型:一種GNN,其中分布式圖卷積模塊解決了隨機網絡的變化。由于隨機性引入了新的學習范式,因此我們對SGNN輸出方差進行統計分析,以識別學習濾波器為實現向擾動場景的魯棒轉移而應滿足的條件,最終揭示隨機鏈路損耗的顯式影響。我們進一步為SGNN開發了基于隨機梯度下降(SGD)的學習過程,并推導了學習速率收斂的條件,在該條件下該學習過程收斂于平穩點。數值結果證實了我們的理論研究,并將SGNN魯棒與傳統GNN的優勢進行了比較,后者在學習過程中忽略了圖形擾動。
題目: Graph Random Neural Networks
摘要:
圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中,在圖形挖掘任務中表現良好。然而,現有的GNN常常遇到具有標記節點的復雜圖結構,并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題,本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同,Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來,減少了過度平滑和過度擬合的風險。此外,隨機傳播是圖數據擴充的一種有效方法。在此基礎上,利用無標記節點在多個擴展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明,Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后,證明了它可以顯著減輕過度平滑和過度擬合的問題,并且它的性能與魯棒性相結合。
領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而,對于具有不同數據可用性的時間序列數據,還沒有考慮到健壯的技術。在本文中,我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS),該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據,我們增加了CoDATS的有用性,從而進一步提高了與以前的單源方法相比的準確性,特別是在域之間具有高度可變性的復雜時間序列數據集上。其次,我們提出了一種新的弱監督域自適應(DA-WS)方法,利用目標域標簽分布形式的弱監督,這可能比其他數據標簽更容易收集。第三,我們對不同的真實數據集進行了綜合實驗,以評估我們的域適應和弱監督方法的有效性。結果表明,用于單源DA的CoDATS比最先進的方法有了顯著的改進,并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。
主題: Graph Neural Networks with Composite Kernels
摘要: 近年來,對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡(GCN)之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中,節點聚合方案通常用于捕獲結構信息:節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是,大多數聚合方案都將圖中的所有連接均等化,而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合,并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后,我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成,以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡(GAT)。實驗結果表明,在一些實際應用中,我們提出的框架具有更好的性能。
主題: TOPOLOGY OF DEEP NEURAL NETWORKS
摘要: 我們研究數據集M=Ma∪Mb?Rd的拓撲結構如何表示二進制分類問題中的兩個類別a和b,如何通過經過良好訓練的神經網絡的層而發生變化,即在訓練集和接近零的泛化誤差(≈0.01%)。目的是揭示深層神經網絡的兩個奧秘:(i)像ReLU這樣的非平滑激活函數要優于像雙曲正切這樣的平滑函數; (ii)成功的神經網絡架構依賴于多層結構,即使淺層網絡可以很好地近似任意函數。我們對大量點云數據集的持久同源性進行了廣泛的實驗,無論是真實的還是模擬的。結果一致地證明了以下幾點:(1)神經網絡通過更改拓撲結構來運行,將拓撲復雜的數據集在穿過各層時轉換為拓撲簡單的數據集。無論M的拓撲多么復雜,當通過訓練有素的神經網絡f:Rd→Rp時,Ma和Mb的貝蒂數都會大大減少;實際上,它們幾乎總是減小到可能的最低值:對于k≥1和β0(f(Mi))= 1,i = a,b,βk(f(Mi))= 0。此外,(2)ReLU激活的Betti數減少比雙曲線切線激活快得多,因為前者定義了改變拓撲的非同胚映射,而后者定義了保留拓撲的同胚映射。最后,(3)淺層和深層網絡以不同的方式轉換數據集-淺層網絡主要通過更改幾何結構并僅在其最終層中更改拓撲來運行,而深層網絡則將拓撲變化更均勻地分布在所有層中。
1、 Adversarial Graph Embedding for Ensemble Clustering
作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;
摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。
網址://www.ijcai.org/proceedings/2019/0494.pdf
2、Attributed Graph Clustering via Adaptive Graph Convolution
作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;
摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。
網址:
3、Dynamic Hypergraph Neural Networks
作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;
摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。
網址:
4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks
作者:Hogun Park and Jennifer Neville;
摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。
網址:
5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks
作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;
摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。
網址:
6、Graph Contextualized Self-Attention Network for Session-based Recommendation
作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;
摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。
網址:
7、Graph Convolutional Network Hashing for Cross-Modal Retrieval
作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;
摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。
網址:
題目: Graph Neural Networks: A Review of Methods and Applications
摘要: 許多學習任務都需要處理包含元素間豐富關系信息的圖形數據。建模物理系統、學習分子指紋、預測蛋白質界面和疾病分類需要一個模型從圖形輸入中學習。在文本、圖像等非結構化數據的學習等領域,對句子的依存樹、圖像的場景圖等提取的結構進行推理是一個重要的研究課題,同時也需要建立圖形推理模型。圖神經網絡(GNNs)是通過圖節點之間的信息傳遞來獲取圖的依賴性的連接模型。與標準神經網絡不同,圖神經網絡保留了一種狀態,這種狀態可以以任意深度表示來自其鄰域的信息。雖然原始GNNs已經被發現很難訓練到固定的點,但是最近在網絡結構、優化技術和并行計算方面的進展已經使它能夠成功地學習。近年來,基于圖形卷積網絡(GCN)、圖形注意網絡(GAT)、門控圖形神經網絡(GGNN)等圖形神經網絡變體的系統在上述許多任務上都表現出了突破性的性能。在這項調查中,我們提供了一個詳細的檢討現有的圖形神經網絡模型,系統分類的應用,并提出了四個開放的問題,為今后的研究。
作者簡介: Jie Zhou,CS的研究生,從事系統研究,主要研究計算機安全。他畢業于廈門大學,在羅切斯特大學獲得碩士學位及博士學位。
Zhiyuan Liu,清華大學計算機系NLP實驗室副教授。