圖神經網絡具有很強的圖表示學習能力,在各種實際應用中取得了巨大的成功。GNN通過聚集和轉換節點鄰域內的信息來探索圖的結構和節點特征。但是,通過理論和實證分析,我們發現GNN的聚集過程會破壞原始特征空間中的節點相似性。在許多場景中,節點相似性起著關鍵作用。因此,本文提出的SimP-GCN框架可以在利用圖結構的同時有效地保持節點相似性。具體地說,為了平衡圖結構和節點特征信息,我們提出了一種自適應地集成圖結構和節點特征的特征相似性保持聚合。此外,我們使用自監督學習來顯式地捕捉復雜特征之間的相似性和差異性關系。在包括3個同選型圖和4個異選型圖的7個基準數據集上驗證了SimP-GCN的有效性。結果表明SimP-GCN優于代表性基線。進一步的研究顯示了所提議的框架的各種優點。
屬性網絡嵌入的目的是結合網絡的拓撲結構和節點屬性學習低維節點表示。現有的大多數方法要么通過網絡結構傳播屬性,要么通過編碼-解碼器框架學習節點表示。然而,基于傳播的方法傾向于選擇網絡結構而不是節點屬性,而編碼-解碼器方法傾向于忽略近鄰之外的長連接。為了解決這些限制,同時得到這兩個方面的優點,我們設計了交叉融合層的無監督屬性網絡嵌入。具體來說,我們首先構建兩個獨立的視圖來處理網絡結構和節點屬性,然后設計跨融合層來實現兩視圖之間靈活的信息交換和集成。交叉融合層的關鍵設計目標有三方面:1)允許關鍵信息沿著網絡結構傳播;2)在傳播過程中對每個節點的局部鄰域進行異構編碼;3)加入額外的節點屬性通道,使屬性信息不被結構視圖所掩蓋。在三個數據集和三個下游任務上的大量實驗證明了該方法的有效性。
對Timeseries數據中未來事件的準確和可解釋的預測通常需要捕獲支撐所觀察數據的代表性模式(或稱為狀態)。為此,現有的研究大多側重于狀態的表征和識別,而忽略了狀態之間變化的過渡關系。在本文中,我們提出了演化狀態圖,這是一種動態圖結構,旨在系統地表示狀態(節點)之間沿時間的演化關系(邊)。我們對由時間序列數據構成的動態圖進行分析,發現圖結構的變化(如連接某些狀態節點的邊)可以通知事件的發生(如時間序列波動)。受此啟發,我們提出了一種新的圖神經網絡模型——進化狀態圖網絡(EvoNet),用于編碼進化狀態圖以實現精確和可解釋的時間序列事件預測。具體來說,演化狀態圖網絡對節點級(狀態到狀態)和圖級(段到段)傳播進行建模,并捕獲節點圖(狀態到段)隨時間的交互。基于五個真實數據集的實驗結果表明,與11個基線相比,我們的方法不僅取得了明顯的改進,而且為解釋事件預測的結果提供了更多的見解。
邊緣流通常用于捕獲動態網絡中的交互,如電子郵件、社交或計算機網絡。邊緣流異常或罕見事件的檢測問題有著廣泛的應用。然而,由于缺乏標簽,交互的高度動態特性,以及網絡中時間和結構變化的糾纏,它提出了許多挑戰。目前的方法在解決上述挑戰和有效處理大量交互方面能力有限。在此,我們提出了一種檢測邊緣流異常的新方法- F-FADE,它使用一種新的頻率因子分解技術來有效地模擬節點對間相互作用頻率的時間演化分布。然后,根據觀測到的每一次相互作用頻率的可能性來確定異常。F-FADE能夠在在線流媒體設置中處理時間和結構變化的各種異常,而只需要恒定的內存。我們在一個合成和六個真實世界動態網絡上的實驗表明,F-FADE達到了最先進的性能,可以檢測出以前的方法無法發現的異常。
圖神經網絡(GNN)已被證明是圖分析的強大工具。關鍵思想是沿著給定圖的邊遞歸地傳播和聚合信息。盡管它們取得了成功,但是,現有的GNN通常對輸入圖的質量很敏感。真實世界的圖通常是噪聲和包含任務無關的邊緣,這可能導致在學習的GNN模型中泛化性能次優。本文提出一種參數化拓撲去噪網絡PTDNet,通過學習丟棄任務無關邊來提高GNNs的魯棒性和泛化性能。PTDNet通過使用參數化網絡懲罰稀疏圖中的邊數來刪除與任務無關的邊。考慮到整個圖的拓撲結構,采用核范數正則化對稀疏圖施加低秩約束,以便更好地泛化。PTDNet可以作為GNN模型的關鍵組件,以提高其在各種任務中的性能,如節點分類和鏈路預測。在合成數據集和基準數據集上的實驗研究表明,PTDNet可以顯著提高GNNs的性能,并且對于噪聲較大的數據集性能增益更大。
//personal.psu.edu/dul262/PTDNet/WSDM2021_PTDNet_camera_ready.pdf
圖卷積網絡(Graph Convolutional Networks, GCNs)作為一種學習圖結構數據的神經網絡,在處理圖數據分析問題上表現出了極大的人氣,被用于如節點分類、圖分類、鏈路預測、推薦等任務中。典型的GCN及其變體通常采用消息傳遞方式,其關鍵步驟是特征聚合,即一個節點在每個卷積層中聚合來自其拓撲鄰居的特征信息。這樣,特征信息通過網絡拓撲結構傳播到鄰居節點表示中,然后通過學習所有節點嵌入表示用于下游任務如分類等,該學習過程是由部分節點標簽來監督的。實際上,GCNs能夠取得巨大的成功部分歸功于它提供了一種拓撲結構和節點特征的融合策略來學習節點表示,而這種融合策略的學習訓練過程由一個端到端的模型框架來監督。
這里我們首先思考了一個問題:作為端到端框架的GCNs,從拓撲結構和節點特征中真正學習和融合了什么樣的信息? 在第二小節我們通過實驗設計評估了GCNs融合拓撲結構和節點特征的能力。實驗結果表明,GCNs在融合網絡拓撲結構和節點特征上能力上與最理想的水平相差甚遠。即使在一些簡單的情況下(節點的特性/拓撲與節點標簽的關聯是非常明確的)GCN仍不能自適應地融合節點特性和拓撲結構并提取最相關的信息。而無法自適應學習到拓撲結構、節點特征與最終任務之間最相關的信息,可能會嚴重阻礙GCNs在分類任務中的表現能力,并且由于實際應用中圖數據與任務之間的相關性往往非常復雜且不可知,因此自適應能力也是很重要的。
針對這些問題,我們提出了一種靈活地用于半監督節點分類的自適應多通道圖卷積網絡方案。其核心思想是同時學習基于節點特征、拓撲結構及其組合的節點嵌入,并依據特征與結構之間的相似性對標簽預測的作用往往是互補的這一事實,采用設計的自適應融合機制來獲取對分類任務最有幫助且最深層次的相關信息。
題目: Graph Pooling with Node Proximity for Hierarchical Representation Learning
摘要: 在最近的研究中,圖神經網絡在圖數據表示學習方面受到了廣泛的關注。作為對圖卷積算子的補充,圖池化是提取圖數據層次表示的關鍵。然而,最近的圖池化方法仍然不能有效地利用圖數據的幾何特性。在本文中,我們提出了一種新的圖組合策略,利用節點的鄰近性來提高圖數據的多跳拓撲結構的層次表示學習。節點接近度是通過協調拓撲信息的核表示和節點特征得到的。拓撲信息的隱式結構感知核表示允許高效的圖池化,而不需要顯式的圖的特征組合。利用高斯徑向基函數結合仿射變換和核技巧自適應地評估節點信號的相似性。實驗結果表明,所提出的圖池化策略能夠在公開圖分類基準數據集上取得最先進的性能。
題目: Structural Deep Clustering Network
摘要: 聚類是數據分析的基本任務。近年來,深度聚類技術(deep clustering)得到了廣泛的關注,它的靈感主要來自于深度學習方法。當前的深度聚類方法通常借助深度學習強大的表示能力(如自編碼)來提高聚類結果,這表明學習一種有效的聚類表示是一個關鍵的要求。深度聚類方法的優勢在于從數據本身中提取有用的表示,而不是從數據的結構中提取,這在表示學習中受到的關注較少。基于圖卷積網絡(GCN)在對圖結構進行編碼方面取得的巨大成功,我們提出了一種結構化深度聚類網絡(SDCN),將結構信息集成到深度聚類中。具體來說,我們設計了一個傳遞算子,將自編碼器學習到的表示轉換到相應的GCN層,并設計了雙重自監督機制來統一這兩種不同的深層神經結構,指導整個模型的更新。通過這種方式,從低階到高階的多種數據結構自然地與自動編碼器學習的多種表示相結合。在此基礎上,從理論上分析了傳遞算子。通過使用傳遞操作符,GCN改進了作為高階圖正則化約束的特定于自編碼的表示形式,并且自動編碼器有助于緩解GCN中的過度平滑問題。通過綜合實驗,我們證明我們提出的模型可以持續地比最先進的技術表現得更好。
1、 Adversarial Graph Embedding for Ensemble Clustering
作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;
摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。
網址://www.ijcai.org/proceedings/2019/0494.pdf
2、Attributed Graph Clustering via Adaptive Graph Convolution
作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;
摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。
網址:
3、Dynamic Hypergraph Neural Networks
作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;
摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。
網址:
4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks
作者:Hogun Park and Jennifer Neville;
摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。
網址:
5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks
作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;
摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。
網址:
6、Graph Contextualized Self-Attention Network for Session-based Recommendation
作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;
摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。
網址:
7、Graph Convolutional Network Hashing for Cross-Modal Retrieval
作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;
摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。
網址: