Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。本文提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。
圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能,包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力,但隨著模型的深入,GNN通常會出現嚴重的過擬合和過平滑問題,這限制了模型的可擴展性。在這項工作中,我們提出了一個新的注意力GNN來解決這些挑戰,通過合并三重注意機制,即節點自我注意,鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明,在mini-ImageNet 和Tiered-ImageNet數據集上,通過誘導和直推設置,提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。
【導讀】ICML(International Conference on Machine Learning),即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一,因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計,ICML 2020共提交4990篇論文,接收論文1088篇,接收率為21.8%。與往年相比,接收率逐年走低。ICML官網公布了接受論文列表,小編發現基于Graph相關的paper依然很多,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上ICML 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——貝葉斯GNN、連續GNN、Faster圖嵌入、深度GCN、圖Pooling、
ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020
ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、
1. Bayesian Graph Neural Networks with Adaptive Connection Sampling
作者:Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian
摘要:我們提出了一個用于圖神經網絡(GNNs)自適應連接采樣(connection sampling)的統一框架,該框架概括了現有的用于訓練GNN的隨機正則化方法。該框架不僅緩解了深層GNNs的過平滑和過擬合趨勢,而且使得GNNs在圖分析任務中的不確定性學習成為可能。與現有的隨機正則化方法那樣使用固定的采樣率或手動調整它們作為模型超參數不同,我們的自適應連接采樣可以與GNN模型參數以全局和局部的方式聯合訓練。具有自適應連接采樣的GNN訓練在數學上等價于訓練貝葉斯GNN的有效近似。在基準數據集上的消融實驗結果驗證了自適應學習采樣率是在半監督節點分類任務中提高GNNs性能的關鍵,使其不容易過平滑和過擬合,具有更穩健的預測能力。
網址:
2.Continuous Graph Neural Networks
作者:Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang
摘要:本文建立在圖神經網絡與傳統動力系統之間的聯系之上。我們提出了連續圖神經網絡(Continuous Graph Neural Networks, CGNN),由于CGNN可以看作是一種特定的離散化方案,它進一步推廣了現有的具有離散動力學的圖神經網絡。其核心思想是如何刻畫節點表示的連續動力學,即節點表示的導數。受現有的基于圖擴散的方法(如社會網絡上的PageRank模型和流行病模型)的啟發,我們將導數定義為當前節點表示、鄰居表示和節點初始值的組合。我們提出并分析了圖上的兩種可能的動力學--包括節點表示的每一維(也稱為特征通道)獨立改變或者彼此交互-這兩者都有理論上的合理性。所提出的連續圖神經網絡對過于過平滑具有較強的魯棒性,因此可以建立更深層次的網絡,從而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在與基線模型競爭上的有效性。
網址:
3.Faster Graph Embeddings via Coarsening
作者:Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang
摘要:圖嵌入是一種普遍適用于機器學習任務的工具,如圖結構數據上的節點分類和連接預測。然而,即使我們只對相關頂點的一小部分感興趣,計算大規模圖嵌入的效率也是很低的。為了解決這個問題,我們提出了一種基于Schur補(Schur complements)的有效圖粗化方法,用于計算相關頂點的嵌入。我們證明了這些嵌入被不相關頂點上通過高斯消去法得到的Schur補圖精確地保存。由于計算Schur補的代價很高,我們給出了一個近似線性的時間算法,該算法在每次迭代中在相關頂點上生成一個粗化圖,該粗化圖在期望上與Schur補相匹配。我們在圖上進行的預測任務實驗表明,計算嵌入到粗化圖上,而不是整個圖上,在不犧牲精度的情況下,可以節省大量的時間。
網址:
4. Simple and Deep Graph Convolutional Networks
作者:Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li
摘要:圖卷積網絡(GCNS)是一種強大的圖結構數據深度學習方法。最近,GCNS及其變體在真實數據集上的各個應用領域都顯示出了優異的性能。盡管取得了成功,但由于過平滑的問題,目前的大多數GCN模型都很淺。本文研究了深圖卷積網絡的設計與分析問題。我們提出了GCNII模型,它是對普通GCN模型的擴展,使用了兩個簡單而有效的技術:初始殘差和恒等映射(Identity mapping)。我們提供了理論和實驗證據,證明這兩種技術有效地緩解了過平滑問題。我們的實驗表明,深度GCNII模型在各種半監督和全監督任務上的性能優于最先進的方法。
網址:
5. Spectral Clustering with Graph Neural Networks for Graph Pooling
作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi
摘要:譜聚類(SC)是發現圖上強連接社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用,以實現聚合屬于同一集群節點的池化操作。然而,Laplacian特征分解的代價很高,而且由于聚類結果是特定于圖的,因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中,我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛(continuous relaxation )公式,并訓練GNN來計算最小化這一目標的聚類分配。我們的基于GNN的實現是可微的,不需要計算譜分解,并且學習了一個聚合函數,可以在樣本外的圖上快速評估。從提出的聚類方法出發,我們設計了一個圖池化算子,它克服了現有圖池化技術的一些重要局限性,并在多個監督和非監督任務中取得了最好的性能。
網址:
本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是,構造了結構圖,特征圖(feature graph),以及兩者的組合來提取特定的和通用的嵌入,并使用注意機制來學習嵌入的自適應重要性權重。實驗發現,AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息,對應不同的參數取值。 //arxiv.org/abs/2007.02265
摘要:圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而,最近的一些研究提出了一個問題,即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中,我們首先提出一個實驗研究。令人驚訝的是,我們的實驗結果清楚地表明,當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的,甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息,這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷,設計出一種新型的GCNs,既能保留現有GCNs的優勢,又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題,我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入,并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明,AM-GCN從節點特征和拓撲結構中提取了最多的相關信息,顯著提高了分類精度。
【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期一些Paper放出來了,為此,專知小編提前為大家整理了五篇KDD 2020 圖神經網絡(GNN)相關論文,供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦
CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、
1. Graph Structure Learning for Robust Graph Neural Networks
作者:Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang
摘要:圖神經網絡(GNNs)是圖表示學習的有力工具。但是,最近的研究表明,GNN容易受到精心設計的擾動(稱為對抗攻擊)的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此,開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯,真實世界的圖共享一些內在屬性。例如,許多現實世界的圖都是低秩和稀疏的,兩個相鄰節點的特征往往是相似的。事實上,我們發現對抗攻擊很可能會違背這些圖的性質。因此,在本文中,我們利用這些特性來防御針對圖的對抗攻擊。特別是,我們提出了一個通用框架Pro-GNN,該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明,即使在圖受到嚴重干擾的情況下,我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫,以進行對抗性攻擊和防御。
網址: //arxiv.org/pdf/2005.10203.pdf
代碼鏈接:
2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks
作者:Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang
摘要:多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴,但現有方法未能充分利用變量對之間的潛在空間相關性。同時,近些年來,圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播,這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系,可以方便地集成變量屬性等外部知識。在此基礎上,提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明,我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法,并且在提供額外結構信息的兩個交通數據集上,與其他方法具有同等的性能。
網址:
3. Understanding Negative Sampling in Graph Representation Learning
作者:Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang
摘要:在最近的幾年中,對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入,但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣,而對負向采樣的策略探索不夠。為了彌補這一差距,我們從目標和風險兩個角度系統地分析了負采樣的作用,從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知,我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下,我們提出了MCNS,用自對比度近似法近似正分布,并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法,這些數據集涵蓋了19個實驗設置,涵蓋了廣泛的下游圖學習任務,包括鏈接預測,節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。
網址:
4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems
作者:Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu
摘要:將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合,它們首先構建一個圖,然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注:1)多視圖數據在工業中是豐富而且有用的,并且可能超過單個矢量的容量;2)由于多視圖數據往往來自不同的分布,可能會引入歸納偏置(inductive bias)。在本文中,我們使用一種多視圖表示對齊方法來解決這個問題。特別地,我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖,從多個圖中學習多個單獨的表示,并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外,M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL,并對570億個實例進行了訓練。根據離線指標和在線A/B測試,M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明,利用M2GRL產生的多種表征是有效的,對于不同側重點的各種工業推薦任務來說,M2GRL是一個很有前途的方向。
網址:
5. Controllable Multi-Interest Framework for Recommendation
作者:Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang
摘要:近年來,由于深度學習的快速發展,神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題,目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而,統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架,稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣,可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明,我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。
網址:
代碼鏈接:
圖神經網絡(GNNs)是一種強大的圖表示學習工具。然而,最近的研究表明,GNN很容易受到精心設計的干擾,即所謂的對抗攻擊。對抗攻擊可以很容易地愚弄GNN,使其無法預測后續任務。在對安全性要求很高的應用程序中應用GNN的脆弱性引起了越來越多的關注。因此,開發對抗攻擊的魯棒算法具有重要意義。為對抗攻擊辯護的一個自然的想法是清理受干擾的圖。很明顯,真實世界的圖具有一些內在的特性。例如,許多真實世界的圖是低秩和稀疏的,并且兩個相鄰節點的特征趨于相似。事實上,我們發現,對抗攻擊很可能會破壞這些圖的屬性。因此,在本文中,我們探討這些性質,以防御圖的對抗性攻擊。特別地,我們提出了一個通用的框架Pro-GNN,它可以聯合學習結構圖和魯棒圖神經網絡模型從攝動圖的這些屬性指導。在真實圖上的大量實驗表明,與最先進的防御方法相比,即使在圖受到嚴重干擾的情況下,所提出的框架也能獲得更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫,用于對抗攻擊和防御
//github.com/DSE-MSU/DeepRobust。
復現我們的結果的具體實驗設置可以在
概述
圖是在許多領域中普遍存在的數據結構,例如化學(分子)、金融(交易網絡)和社交媒體(Facebook朋友網絡)。隨著它們的流行,學習有效的圖表示并將其應用于解決后續任務尤為重要。近年來,圖神經網絡(Graph Neural Networks, GNNs)在圖表示學習取得了巨大的成功(Li et al., 2015;Hamilton,2017;Kipf and Welling, 2016a;Veli?kovi?et al ., 2018)。GNNs遵循消息傳遞方案(Gilmer et al., 2017),其中節點嵌入是通過聚合和轉換其鄰居的嵌入來獲得的。由于其良好的性能,GNNs已經應用于各種分析任務,包括節點分類(Kipf和Welling, 2016a)、鏈接預測(Kipf和Welling, 2016b)和推薦系統(Ying et al., 2018)。
雖然已經取得了令人鼓舞的結果,但最近的研究表明,GNNs易受攻擊(Jin et al., 2020;Zugner et al., 2018;Zugner Gunnemann, 2019;Dai et al., 2018;吳等,2019b)。換句話說,在圖中不明顯的擾動下,GNNs的性能會大大降低。這些模型缺乏健壯性,可能會對與安全和隱私相關的關鍵應用造成嚴重后果。例如,在信用卡欺詐檢測中,詐騙者可以創建多個交易,只有少數高信用用戶可以偽裝自己,從而逃避基于GNNs的檢測。因此,開發抗攻擊的穩健的GNN模型具有重要意義。修改圖數據可以擾亂節點特征或圖結構。然而,由于結構信息的復雜性,現有的對圖數據的攻擊主要集中在修改圖數據結構,特別是添加/刪除/重連邊(Xu et al., 2019)。因此,在這項工作中,我們的目標是抵御對圖數據的最常見的攻擊設置,即,對圖結構的毒殺攻擊。在這種情況下,圖結構在訓練GNNs之前已經修改了邊,而節點特征沒有改變,這已經擾亂了圖結構。
設計有效防御算法的一個視角是對擾動圖進行清理,如刪除反向邊和恢復被刪除邊(Zhu et al., 2019;Tang et al., 2019)。從這個角度來看,關鍵的挑戰是我們應該遵循什么標準來清除擾動圖。眾所周知,真實世界的圖通常具有某些特性。首先,許多真實世界的干凈圖是低秩和稀疏的(Zhou et al., 2013)。例如,在社交網絡中,大多數個體只與少數鄰居連接,影響用戶之間連接的因素很少(Zhou et al., 2013; Fortunato, 2010)。其次,干凈圖中連接的節點可能具有相似的特征或屬性(或特征平滑度)(McPherson et al., 2001)。例如,在一個引文網絡中,兩個相連的出版物經常共享相似的主題(Kipf Welling, 2016a)。圖1演示了干凈和中毒圖的這些屬性。具體來說,我們用了最先進的圖數據中毒攻擊metattack (Zugner和Gunnemann, 2019a)來擾亂圖數據,并在mettack之前和之后可視化圖的屬性。如圖(a)a所示,metattack擴大了鄰接矩陣的奇異值,圖(b)b說明metattack可以快速地增加鄰接矩陣的秩。此外,當我們分別從攝動圖中刪除對抗性邊和法線時,我們觀察到刪除對抗性邊比刪除法線更快地降低了秩,如圖(c)c所示。另外,我們在圖(d)d中描述了攻擊圖的連通節點特征差異的密度分布。可以看出,metattack傾向于連接特征差異較大的節點。圖1的觀察結果表明,對抗性攻擊可能破壞這些屬性。因此,這些性質有可能作為清除攝動圖的指導。然而,利用這些性質來建立魯棒圖神經網絡的研究還很有限。
本文旨在探討圖的稀疏性、低秩性和特征平滑性,設計魯棒的圖神經網絡。請注意,還有更多的屬性有待探索,我們希望將其作為未來的工作。從本質上講,我們面臨著兩個挑戰:(1)如何在這些屬性的引導下,從中毒的圖數據中學習干凈的圖結構;(二)如何將魯棒圖神經網絡的參數與凈結構聯合學習。為了解決這兩個問題,我們提出了一個通用的框架屬性GNN (Pro-GNN)來同時從攝動圖和GNN參數中學習干凈的圖結構,以抵御對抗攻擊。在各種真實世界圖形上的大量實驗表明,我們提出的模型能夠有效地防御不同類型的對抗攻擊,并優于最先進的防御方法。
對抗性攻擊會對圖數據產生精心設計的擾動。我們把精心設計的擾動稱為對抗性結構。對抗結構會導致GNNs的性能急劇下降。因此,為了防御競爭攻擊,一種自然的策略是消除精心設計的競爭結構,同時保持固有的圖結構。在本工作中,我們的目標是通過探索低秩、稀疏性和特征平滑性的圖結構特性來實現這一目標。該框架的示意圖如圖2所示,其中黑色的邊為普通邊,紅色的邊為攻擊者為降低節點分類性能而引入的對抗性邊。為了抵御攻擊,Pro-GNN通過保持圖的低秩性、稀疏性和特征平滑性,迭代地重構干凈圖,以減少對抗結構的負面影響。同時,為了保證重構圖能夠幫助節點分類,Pro-GNN通過求解交替模式下的優化問題,同時更新重構圖上的GNN參數。
圖神經網絡很容易被圖對抗攻擊所欺騙。為了防御不同類型的圖對抗攻擊,我們引入了一種新的防御方法Pro-GNN,該方法同時學習圖結構和GNN參數。我們的實驗表明,我們的模型始終優于最先進的基線,并提高了在各種對抗攻擊下的整體魯棒性。在未來,我們的目標是探索更多的屬性,以進一步提高GNNs的魯棒性。
機器學習的許多應用都需要一個模型來對測試樣本做出準確的預測,這些測試樣本在分布上與訓練示例不同,而在訓練期間,特定于任務的標簽很少。應對這一挑戰的有效方法是,在數據豐富的相關任務上對模型進行預訓練,然后在下游任務上對其進行微調。盡管預訓練在許多語言和視覺領域都是有效的,但是如何在圖數據集上有效地使用預訓練仍是一個有待解決的問題。本文提出了一種新的圖神經網絡訓練策略和自監督方法。我們的策略成功的關鍵是在單個節點以及整個圖的層次上預訓練一個具有強表示能力的GNN,以便GNN能夠同時學習有用的局部和全局表示。我們系統地研究了多類圖分類數據集的預處理問題。我們發現,在整個圖或單個節點級別上對GNN進行預訓練的樸素策略改進有限,甚至可能導致許多下游任務的負遷移。相比之下,我們的策略避免了負遷移,顯著提高了下游任務的泛化能力,使得ROC-AUC相對于未經訓練的模型提高了9.4%,實現了分子特性預測和蛋白質功能預測的最好性能。
1、 Adversarial Graph Embedding for Ensemble Clustering
作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;
摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。
網址://www.ijcai.org/proceedings/2019/0494.pdf
2、Attributed Graph Clustering via Adaptive Graph Convolution
作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;
摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。
網址:
3、Dynamic Hypergraph Neural Networks
作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;
摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。
網址:
4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks
作者:Hogun Park and Jennifer Neville;
摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。
網址:
5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks
作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;
摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。
網址:
6、Graph Contextualized Self-Attention Network for Session-based Recommendation
作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;
摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。
網址:
7、Graph Convolutional Network Hashing for Cross-Modal Retrieval
作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;
摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。
網址: