本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是,構造了結構圖,特征圖(feature graph),以及兩者的組合來提取特定的和通用的嵌入,并使用注意機制來學習嵌入的自適應重要性權重。實驗發現,AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息,對應不同的參數取值。 //arxiv.org/abs/2007.02265
摘要:圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而,最近的一些研究提出了一個問題,即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中,我們首先提出一個實驗研究。令人驚訝的是,我們的實驗結果清楚地表明,當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的,甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息,這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷,設計出一種新型的GCNs,既能保留現有GCNs的優勢,又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題,我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入,并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明,AM-GCN從節點特征和拓撲結構中提取了最多的相關信息,顯著提高了分類精度。
圖卷積網絡(Graph Convolutional Networks, GCNs)作為一種學習圖結構數據的神經網絡,在處理圖數據分析問題上表現出了極大的人氣,被用于如節點分類、圖分類、鏈路預測、推薦等任務中。典型的GCN及其變體通常采用消息傳遞方式,其關鍵步驟是特征聚合,即一個節點在每個卷積層中聚合來自其拓撲鄰居的特征信息。這樣,特征信息通過網絡拓撲結構傳播到鄰居節點表示中,然后通過學習所有節點嵌入表示用于下游任務如分類等,該學習過程是由部分節點標簽來監督的。實際上,GCNs能夠取得巨大的成功部分歸功于它提供了一種拓撲結構和節點特征的融合策略來學習節點表示,而這種融合策略的學習訓練過程由一個端到端的模型框架來監督。
這里我們首先思考了一個問題:作為端到端框架的GCNs,從拓撲結構和節點特征中真正學習和融合了什么樣的信息? 在第二小節我們通過實驗設計評估了GCNs融合拓撲結構和節點特征的能力。實驗結果表明,GCNs在融合網絡拓撲結構和節點特征上能力上與最理想的水平相差甚遠。即使在一些簡單的情況下(節點的特性/拓撲與節點標簽的關聯是非常明確的)GCN仍不能自適應地融合節點特性和拓撲結構并提取最相關的信息。而無法自適應學習到拓撲結構、節點特征與最終任務之間最相關的信息,可能會嚴重阻礙GCNs在分類任務中的表現能力,并且由于實際應用中圖數據與任務之間的相關性往往非常復雜且不可知,因此自適應能力也是很重要的。
針對這些問題,我們提出了一種靈活地用于半監督節點分類的自適應多通道圖卷積網絡方案。其核心思想是同時學習基于節點特征、拓撲結構及其組合的節點嵌入,并依據特征與結構之間的相似性對標簽預測的作用往往是互補的這一事實,采用設計的自適應融合機制來獲取對分類任務最有幫助且最深層次的相關信息。
圖神經網絡在圖表示學習領域取得了顯著的成功。圖卷積執行鄰域聚合,并表示最重要的圖運算之一。然而,這些鄰域聚合方法的一層只考慮近鄰,當進一步啟用更大的接受域時,性能會下降。最近的一些研究將這種性能下降歸因于過度平滑問題,即重復傳播使得不同類的節點表示無法區分。在這項工作中,我們系統地研究這一觀察結果,并對更深的圖神經網絡發展新的見解。本文首先對這一問題進行了系統的分析,認為當前圖卷積運算中表示變換與傳播的糾纏是影響算法性能的關鍵因素。將這兩種操作解耦后,更深層次的圖神經網絡可用于從更大的接受域學習圖節點表示。在建立深度模型時,我們進一步對上述觀察結果進行了理論分析,這可以作為過度平滑問題的嚴格而溫和的描述。在理論和實證分析的基礎上,我們提出了深度自適應圖神經網絡(DAGNN),以自適應地吸收來自大接受域的信息。一組關于引文、合著和共購數據集的實驗證實了我們的分析和見解,并展示了我們提出的方法的優越性。
題目: Graph Pooling with Node Proximity for Hierarchical Representation Learning
摘要: 在最近的研究中,圖神經網絡在圖數據表示學習方面受到了廣泛的關注。作為對圖卷積算子的補充,圖池化是提取圖數據層次表示的關鍵。然而,最近的圖池化方法仍然不能有效地利用圖數據的幾何特性。在本文中,我們提出了一種新的圖組合策略,利用節點的鄰近性來提高圖數據的多跳拓撲結構的層次表示學習。節點接近度是通過協調拓撲信息的核表示和節點特征得到的。拓撲信息的隱式結構感知核表示允許高效的圖池化,而不需要顯式的圖的特征組合。利用高斯徑向基函數結合仿射變換和核技巧自適應地評估節點信號的相似性。實驗結果表明,所提出的圖池化策略能夠在公開圖分類基準數據集上取得最先進的性能。
題目: Adaptive Graph Encoder for Attributed Graph Embedding
簡介: 從圖拓撲和節點特征中學習向量表示的屬性圖嵌入是圖分析的一項艱巨任務。近年來,基于圖卷積網絡(GCN)的方法在此任務上取得了很大的進步。但是,現有的基于GCN的方法具有三個主要缺點。首先,我們的實驗表明圖卷積濾波器和權重矩陣的糾纏將損害性能和魯棒性。其次,我們證明了這些方法中的圖卷積濾波器是廣義拉普拉斯平滑濾波器的特例,但它們并未保留最佳的低通特性。最后,現有算法的訓練目標通常是恢復與現實應用并不總是一致的鄰接矩陣或特征矩陣,為了解決這些問題,我們提出了一種新型的屬性圖嵌入框架Adaptive Graph Encoder(AGE)。 AGE由兩個模塊組成:(1)為了更好地減輕節點特征中的高頻噪聲,AGE首先應用了精心設計的拉普拉斯平滑濾波器。 (2)AGE采用了自適應編碼器,該編碼器迭代地增強了濾波后的特征,以實現更好的節點嵌入。我們使用四個公共基準數據集進行實驗,以驗證AGE在節點群集和鏈接預測任務上的作用。實驗結果表明,AGE在這些任務上始終優于最新的圖形嵌入方法。
領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而,對于具有不同數據可用性的時間序列數據,還沒有考慮到健壯的技術。在本文中,我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS),該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據,我們增加了CoDATS的有用性,從而進一步提高了與以前的單源方法相比的準確性,特別是在域之間具有高度可變性的復雜時間序列數據集上。其次,我們提出了一種新的弱監督域自適應(DA-WS)方法,利用目標域標簽分布形式的弱監督,這可能比其他數據標簽更容易收集。第三,我們對不同的真實數據集進行了綜合實驗,以評估我們的域適應和弱監督方法的有效性。結果表明,用于單源DA的CoDATS比最先進的方法有了顯著的改進,并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。
主題: Graph Neural Networks with Composite Kernels
摘要: 近年來,對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡(GCN)之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中,節點聚合方案通常用于捕獲結構信息:節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是,大多數聚合方案都將圖中的所有連接均等化,而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合,并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后,我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成,以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡(GAT)。實驗結果表明,在一些實際應用中,我們提出的框架具有更好的性能。
圖卷積網絡(GCN)在許多應用中越來越受歡迎,但在大型圖數據集上的訓練仍然是出了名的困難。它們需要從它們的鄰居遞歸地計算節點表示。當前的GCN訓練算法要么計算成本高,隨層數呈指數增長,要么加載整個圖和節點嵌入時占用大量內存。提出了一種高效的GCN (L-GCN)分層訓練框架,將訓練過程中的特征集合和特征轉換分離出來,大大降低了訓練的時間復雜度和記憶復雜度。我們在圖同構框架下對L-GCN進行了理論分析,結果表明,在較溫和的條件下,L-GCN與代價較高的傳統訓練算法具有同樣強大的GCNs性能。我們進一步提出了L^2-GCN,它為每一層學習一個控制器,可以自動調整L-GCN中每一層的訓練時間。實驗表明,L-GCN至少比目前的水平快一個數量級,內存使用的一致性不依賴于數據集的大小,同時保持了可比較的預測性能。通過學習控制器,L^2-GCN可以進一步減少一半的訓練時間。我們的代碼在這個https URL中可用。
標簽傳播(LPA)和圖卷積神經網絡(GCN)都是圖上的消息傳遞算法。兩者都解決了節點分類的任務,但是LPA將節點標簽信息傳播到圖的邊緣,而GCN傳播并轉換節點特征信息。然而,雖然概念相似,LPA和GCN之間的理論關系還沒有得到研究。這里我們從兩個方面研究了LPA和GCN之間的關系:(1)特征/標簽平滑,分析一個節點的特征/標簽如何擴散到它的鄰居;(2)一個節點的初始特征/標簽對另一個節點的最終特征/標簽的影響程度。在理論分析的基礎上,提出了一種統一GCN和LPA的節點分類端到端模型。在我們的統一模型中,邊緣權值是可學習的,LPA作為正則化幫助GCN學習合適的邊緣權值,從而提高分類性能。我們的模型也可以看作是基于節點標簽的注意力學習權重,它比現有的基于特征的注意力模型更面向任務。在真實圖數據的大量實驗中,我們的模型在節點分類準確度方面顯示出優于目前最先進的基于gcn的方法。