題目: Adaptive Graph Encoder for Attributed Graph Embedding
簡介: 從圖拓撲和節點特征中學習向量表示的屬性圖嵌入是圖分析的一項艱巨任務。近年來,基于圖卷積網絡(GCN)的方法在此任務上取得了很大的進步。但是,現有的基于GCN的方法具有三個主要缺點。首先,我們的實驗表明圖卷積濾波器和權重矩陣的糾纏將損害性能和魯棒性。其次,我們證明了這些方法中的圖卷積濾波器是廣義拉普拉斯平滑濾波器的特例,但它們并未保留最佳的低通特性。最后,現有算法的訓練目標通常是恢復與現實應用并不總是一致的鄰接矩陣或特征矩陣,為了解決這些問題,我們提出了一種新型的屬性圖嵌入框架Adaptive Graph Encoder(AGE)。 AGE由兩個模塊組成:(1)為了更好地減輕節點特征中的高頻噪聲,AGE首先應用了精心設計的拉普拉斯平滑濾波器。 (2)AGE采用了自適應編碼器,該編碼器迭代地增強了濾波后的特征,以實現更好的節點嵌入。我們使用四個公共基準數據集進行實驗,以驗證AGE在節點群集和鏈接預測任務上的作用。實驗結果表明,AGE在這些任務上始終優于最新的圖形嵌入方法。
圖神經網絡在圖表示學習領域取得了顯著的成功。圖卷積執行鄰域聚合,并表示最重要的圖運算之一。然而,這些鄰域聚合方法的一層只考慮近鄰,當進一步啟用更大的接受域時,性能會下降。最近的一些研究將這種性能下降歸因于過度平滑問題,即重復傳播使得不同類的節點表示無法區分。在這項工作中,我們系統地研究這一觀察結果,并對更深的圖神經網絡發展新的見解。本文首先對這一問題進行了系統的分析,認為當前圖卷積運算中表示變換與傳播的糾纏是影響算法性能的關鍵因素。將這兩種操作解耦后,更深層次的圖神經網絡可用于從更大的接受域學習圖節點表示。在建立深度模型時,我們進一步對上述觀察結果進行了理論分析,這可以作為過度平滑問題的嚴格而溫和的描述。在理論和實證分析的基礎上,我們提出了深度自適應圖神經網絡(DAGNN),以自適應地吸收來自大接受域的信息。一組關于引文、合著和共購數據集的實驗證實了我們的分析和見解,并展示了我們提出的方法的優越性。
本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是,構造了結構圖,特征圖(feature graph),以及兩者的組合來提取特定的和通用的嵌入,并使用注意機制來學習嵌入的自適應重要性權重。實驗發現,AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息,對應不同的參數取值。 //arxiv.org/abs/2007.02265
摘要:圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而,最近的一些研究提出了一個問題,即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中,我們首先提出一個實驗研究。令人驚訝的是,我們的實驗結果清楚地表明,當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的,甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息,這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷,設計出一種新型的GCNs,既能保留現有GCNs的優勢,又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題,我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入,并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明,AM-GCN從節點特征和拓撲結構中提取了最多的相關信息,顯著提高了分類精度。
題目: Heterogeneous Graph Attention Network
摘要: 圖神經網絡作為一種基于深度學習的功能強大的圖表示技術,表現出了優越的性能,引起了廣泛的研究興趣。然而,對于包含不同節點和鏈接類型的異構圖,圖神經網絡還沒有充分考慮到這一點。異構性和豐富的語義信息給異構圖的圖神經網絡設計帶來了很大的挑戰。最近,深度學習領域最令人興奮的進展之一是注意力機制,其巨大的潛力在各個領域都得到了很好的展示。本文首先提出了一種基于分層關注的異構圖神經網絡,包括節點級關注和語義級關注。具體來說,節點級注意的目的是學習節點與其基于元路徑的鄰居之間的重要性,而語義級注意能夠學習不同元路徑之間的重要性。通過對節點級和語義級注意的學習,可以充分考慮節點和元路徑的重要性。然后將基于元路徑的鄰域的特征分層聚合,生成節點嵌入。在三個真實世界的異構圖上的廣泛實驗結果不僅顯示了我們所提出的模型的優越性能,而且也顯示了它對圖分析的潛在良好的可解釋性。
主題: Joint Item Recommendation and Attribute Inference: An Adaptive Graph Convolutional Network Approach
摘要: 在許多推薦系統中,用戶和項目與屬性相關聯,并且用戶顯示對項目的偏好。屬性信息描述了用戶(項目)的特征,并具有廣泛的應用程序,例如用戶配置文件,項目注釋和功能增強的推薦。由于注釋用戶(項目)屬性是一項勞動密集型任務,因此屬性值通常不完整,缺少許多屬性值。因此,項目推薦和屬性推理已成為這些平臺中的兩個主要任務。研究人員長期以來一直認為用戶(項目)屬性與偏好行為高度相關。一些研究人員提議將一種數據用于剩余任務,并表明可以提高性能。盡管如此,這些模型要么忽略了用戶(項目)屬性的不完整,要么將兩個任務的相關性與簡單模型相結合,導致這兩個任務的性能欠佳。為此,在本文中,我們將這兩個任務歸因于用戶項二部圖,并提出了一種用于聯合項推薦和屬性推斷的自適應圖卷積網絡(AGCN)方法。 AGCN的關鍵思想是迭代執行兩個部分:1)使用先前學習的近似屬性值來學習圖形嵌入參數,以簡化兩個任務; 2)將近似的更新屬性值發送回屬性圖以更好地進行圖嵌入學習。因此,AGCN可以通過合并給定屬性和估計屬性值來自適應地調整圖嵌入學習參數,以提供弱監督信息來細化圖兩個任務。在三個真實數據集上的大量實驗結果清楚地表明了該模型的有效性。
題目: Graph Random Neural Networks
摘要:
圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中,在圖形挖掘任務中表現良好。然而,現有的GNN常常遇到具有標記節點的復雜圖結構,并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題,本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同,Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來,減少了過度平滑和過度擬合的風險。此外,隨機傳播是圖數據擴充的一種有效方法。在此基礎上,利用無標記節點在多個擴展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明,Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后,證明了它可以顯著減輕過度平滑和過度擬合的問題,并且它的性能與魯棒性相結合。
論文題目: MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
摘要: 大量真實世界的圖或網絡本質上是異構的,涉及節點類型和關系類型的多樣性。異構圖嵌入是將異構圖的豐富結構和語義信息嵌入到低維節點表示中。現有的模型通常在異構圖中定義多個元數據來捕獲復合關系并指導鄰居選擇。但是,這些模型要么忽略節點內容特性,要么沿著元路徑丟棄中間節點,要么只考慮一個元路徑。為了解決這三個局限性,我們提出了一種新的集合圖神經網絡模型來提高最終性能。具體來說,MAGNN使用了三個主要組件,即,節點內容轉換封裝輸入節點屬性,元內聚合合并中間語義節點,元間聚合合并來自多個元的消息。在三個真實世界的異構圖數據集上進行了大量的節點分類、節點聚類和鏈路預測實驗,結果表明MAGNN的預測結果比最先進的基線更準確。
1、 Adversarial Graph Embedding for Ensemble Clustering
作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;
摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。
網址://www.ijcai.org/proceedings/2019/0494.pdf
2、Attributed Graph Clustering via Adaptive Graph Convolution
作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;
摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。
網址:
3、Dynamic Hypergraph Neural Networks
作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;
摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。
網址:
4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks
作者:Hogun Park and Jennifer Neville;
摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。
網址:
5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks
作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;
摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。
網址:
6、Graph Contextualized Self-Attention Network for Session-based Recommendation
作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;
摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。
網址:
7、Graph Convolutional Network Hashing for Cross-Modal Retrieval
作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;
摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。
網址:
論文題目: Initialization for Network Embedding: A Graph Partition Approach
論文摘要: 網絡嵌入已經在文獻中得到了深入的研究,并廣泛用于各種應用中,如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制,但常常忽略了學習過程中對初始化策略的討論。在這項工作中,我們解決了這個重要的網絡嵌入初始化問題,它可以顯著地提高算法的有效性和效率。具體來說,我們首先利用graph partition技術將圖劃分為幾個不相交的子集,然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入,得到圖中每個節點的嵌入初始化,abstract graph上的網絡嵌入比輸入圖小得多,然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗,我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能,分別提高了7.76%和8.74%。此外,我們證明了初始化技術至少減少了20%的運行時間。
作者簡介: Wenqing Lin,騰訊高級研究員,新加坡南洋理工大學計算機科學系博士。
論文摘要
多路網絡中的節點通過多種類型的關系進行連接。然而,大多數現有的網絡嵌入方法假定只有節點之間存在單一類型的關系。即使對于考慮網絡復用性的人,他們忽略節點屬性,求助于節點標簽進行訓練,并且無法對圖的全局屬性建模。我們提出了一種簡單而有效的無監督網絡嵌入方法,該方法是基于深部圖的自組織網絡,該方法最大限度地利用圖的局部斑塊之間的互信息,以及整個圖的全局表示。我們設計了一個系統的方法來聯合集成來自多個圖的節點嵌入,方法是:1)使用一致正則化框架來最小化關系類型特定的節點嵌入之間的分歧;2)使用通用鑒別器來區分真正的樣本,而不考慮關系類型。我們還表明,注意機制可以推斷每種關系類型的重要性,因此可以作為預處理步驟用于過濾不必要的關系類型。在各種下游任務上的大量實驗表明,盡管DMGI是完全無監督的,但DMGI仍然優于現有的方法。
論文作者
Chanyoung Park1, Donghyun Kim, Jiawei Han1, Hwanjo Yu,伊利諾伊大學香檳分校計算機科學系,韓國浦項科技大學計算機科學與工程系