題目: Composition-Based Multi-Relational Graph Convolutional Networks
摘要: 圖卷積網絡(GCNs)最近被證明在對圖結構數據建模方面是非常成功的。然而,主要的重點是處理簡單的無向圖。多關系圖是一種更為普遍和流行的圖,其中每條邊都有一個與之相關的標簽和方向。現有的大多數處理此類圖的方法都存在參數過多的問題,并且僅限于學習節點的表示形式。在本文中,我們提出了一種新的圖卷積框架COMP-GCN,它將節點和關系共同嵌入到一個關系圖中。COMP-GCN利用知識圖譜嵌入技術中的各種實體關系組合操作,并根據關系的數量進行擴展。它還概括了幾種現有的多關系GCN方法。我們評估了我們提出的方法在多個任務,如節點分類,鏈接預測,和圖分類,并取得了明顯的結果。
題目: Adaptive Graph Encoder for Attributed Graph Embedding
簡介: 從圖拓撲和節點特征中學習向量表示的屬性圖嵌入是圖分析的一項艱巨任務。近年來,基于圖卷積網絡(GCN)的方法在此任務上取得了很大的進步。但是,現有的基于GCN的方法具有三個主要缺點。首先,我們的實驗表明圖卷積濾波器和權重矩陣的糾纏將損害性能和魯棒性。其次,我們證明了這些方法中的圖卷積濾波器是廣義拉普拉斯平滑濾波器的特例,但它們并未保留最佳的低通特性。最后,現有算法的訓練目標通常是恢復與現實應用并不總是一致的鄰接矩陣或特征矩陣,為了解決這些問題,我們提出了一種新型的屬性圖嵌入框架Adaptive Graph Encoder(AGE)。 AGE由兩個模塊組成:(1)為了更好地減輕節點特征中的高頻噪聲,AGE首先應用了精心設計的拉普拉斯平滑濾波器。 (2)AGE采用了自適應編碼器,該編碼器迭代地增強了濾波后的特征,以實現更好的節點嵌入。我們使用四個公共基準數據集進行實驗,以驗證AGE在節點群集和鏈接預測任務上的作用。實驗結果表明,AGE在這些任務上始終優于最新的圖形嵌入方法。
題目: Multi-relational Poincaré Graph Embeddings
摘要: 雙曲嵌入最近在機器學習中獲得了關注,因為它們能夠比歐幾里得類似物更準確和簡潔地表示層次數據。然而,多關系知識圖譜經常顯示多個同時的層次結構,這是目前的雙曲模型沒有捕捉到的。為了解決這個問題,我們提出了一個模型,在雙曲空間的龐加萊球模型中嵌入多關系圖數據。我們的多關系龐加萊模型(MuRP)通過Mobius矩陣向量乘法和Mobius加法學習特定關系參數來轉換實體嵌入。在WN18RR層次知識圖上的實驗表明,我們的龐加萊嵌入方法在鏈路預測任務上優于歐氏嵌入方法和現有的嵌入方法,特別是在低維的情況下。
題目: Relation Adversarial Network for Low Resource Knowledge Graph Completion
摘要: 知識圖譜補全(Knowledge Graph Completion, KGC)是一種通過鏈接預測或關系提取來填充缺少的鏈接來改進知識圖譜的方法。KGC的主要困難之一是資源不足。之前的方法假設有足夠訓練的三元組來學習實體和關系的通用向量,或者假設有足夠數量的標簽句子來訓練一個合格的關系提取模型。然而,在KGs中,少資源關系非常普遍,這些新增加的關系往往沒有很多已知的樣本去進行訓練。在這項工作中,我們的目標是在具有挑戰性的環境下只有有限可用的訓練實例預測新的事實。我們提出了一個加權關系對抗性網絡的通用框架,它利用對抗性過程來幫助將從多資源關系中學習到的知識/特征調整為不同但相關的少資源關系。具體地說,該框架利用了一個關系鑒別器來區分樣本和不同的關系,幫助學習更容易從源關系轉移到目標關系的關系不變量特征。實驗結果表明,該方法在少資源設置下的鏈路預測和關系提取都優于以往的方法。
題目: Graph Random Neural Networks
摘要:
圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中,在圖形挖掘任務中表現良好。然而,現有的GNN常常遇到具有標記節點的復雜圖結構,并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題,本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同,Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來,減少了過度平滑和過度擬合的風險。此外,隨機傳播是圖數據擴充的一種有效方法。在此基礎上,利用無標記節點在多個擴展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明,Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后,證明了它可以顯著減輕過度平滑和過度擬合的問題,并且它的性能與魯棒性相結合。
主題: Graph Neural Networks with Composite Kernels
摘要: 近年來,對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡(GCN)之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中,節點聚合方案通常用于捕獲結構信息:節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是,大多數聚合方案都將圖中的所有連接均等化,而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合,并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后,我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成,以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡(GAT)。實驗結果表明,在一些實際應用中,我們提出的框架具有更好的性能。
題目
張量圖卷積網絡的多關系和魯棒學習,Tensor Graph Convolutional Networks for Multi-relational and Robust Learning
關鍵字
機器視覺,卷積神經網絡,魯棒性,深度學習,人工智能,半監督學習
簡介
“數據泛濫”時代引發了人們對基于圖的學??習方法及其從社會學和生物學到交通運輸和通信的廣泛應用的新興趣。在圖感知方法的背景下,本論文介紹了一種張量圖卷積網絡(TGCN),用于從與張量表示的圖集合相關的數據中進行可擴展的半監督學習(SSL)。新型TGCN架構的關鍵方面是通過可學習的權重來動態適應張量圖中的不同關系,并考慮基于圖的正則化器以促進平滑度并減輕過度參數化。最終目標是設計一種功能強大的學習架構,以實現以下目的: :發現復雜且高度非線性的數據關聯,組合(并選擇)多種類型的關系,隨圖的大小優雅地縮放,并對圖邊緣的擾動保持魯棒性。所提出的架構不僅適用于節點自然涉及不同關系的應用(例如,在社交網絡中捕獲家庭,友誼和工作關系的多關系圖),還適用于健壯的學習設置(其中圖包含一定程度的不確定性),且不同的張量平板對應于標稱圖的不同版本(實現)。數值測試表明,相對于標準GCN,擬議的體系結構實現了顯著改善的性能,可以應對最新的對抗性攻擊,并通過蛋白質對蛋白質的交互網絡實現了卓越的SSL性能。
作者
Vassilis N. Ioannidis,Student Member, IEEE,Antonio G. Marques,Senior Member, IEEE,Georgios B. Giannakis,Fellow, IEEE
題目: Tensor Graph Convolutional Networks for Text Classification
摘要: 文本分類是自然語言處理中一個重要而經典的問題。已有許多研究將卷積神經網絡(如規則網格上的卷積,序列)應用于分類。然而,只有有限數量的研究已經探索了更靈活的圖卷積神經網絡(卷積在非網格上,例如,任意圖)的任務。在這項工作中,我們建議使用圖卷積網絡進行文本分類。基于詞的共現關系和文檔詞之間的關系,我們為一個語料庫建立一個文本圖,然后學習一個文本圖卷積網絡(text GCN)。我們的文本GCN使用word和document的一個熱表示進行初始化,然后在已知文檔類標簽的監督下,共同學習word和document的嵌入。我們在多個基準數據集上的實驗結果表明,沒有任何外部單詞嵌入或知識的普通文本GCN優于最新的文本分類方法。另一方面,文本GCN還學習預測詞和文檔嵌入。此外,實驗結果表明,隨著訓練數據百分比的降低,文本GCN相對于現有比較方法的改進變得更加突出,這表明文本GCN對文本分類中較少的訓練數據具有魯棒性。