亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing(MixHop: 通過稀疏鄰域混合實現的高階圖卷積結構)

作者:Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan

摘要:現有的基于圖神經網絡的半監督學習方法(如圖卷積網絡)不能學習一般的鄰域混合關系。為了解決這個缺點,我們提出了一個新的模型,MixHop,它可以通過在不同距離重復混合鄰居的特征表示來學習這些關系,包括不同的操作符。MixHop不需要額外的內存或計算復雜度,并且在一些具有挑戰性的baseline上性能更好。此外,我們建議使用稀疏正則化,使我們能夠可視化網絡如何跨不同的圖數據集對鄰居信息進行優先級排序。我們對所學體系結構的分析表明,每個數據集的鄰域混合是不同的。

網址://proceedings.mlr.press/v97/abu-el-haija19a.html

代碼鏈接:

2、Compositional Fairness Constraints for Graph Embeddings(圖嵌入的組合公平性約束)

作者:Avishek Bose, William Hamilton

摘要:學習高質量的節點嵌入是基于圖數據(如社交網絡和推薦系統)的機器學習模型的關鍵步驟。然而,現有的圖嵌入技術無法處理公平約束,例如,確保所學習的表示與某些屬性(如年齡或性別)不相關。在這里,我們引入一個對抗框架來對圖嵌入實施公平性約束。我們的方法是組合的,這意味著它可以靈活地適應推理過程中公平約束的不同組合。例如,在社會推薦的上下文中,我們的框架允許一個用戶要求他們的推薦對他們的年齡和性別都是不變的,同時也允許另一個用戶只對他們的年齡要求不變。在標準知識圖和推薦系統基準測試上的實驗突出了我們提出的框架的實用性。

網址:

代碼鏈接:

3、Learning Discrete Structures for Graph Neural Networks(學習圖神經網絡的離散結構)

作者:Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He

摘要:圖神經網絡(GNNs)是一種流行的機器學習模型,已成功地應用于一系列問題。它們的主要優勢在于能夠顯式地合并數據點之間的稀疏和離散依賴結構。不幸的是,只有在這種圖結構可用時才能使用GNN。然而,在實踐中,真實世界中的圖常常是嘈雜的、不完整的,或者根本就不可用。在此基礎上,我們提出通過近似求解一個學習圖邊緣離散概率分布的雙層程序來共同學習圖卷積網絡(GCNs)的圖結構和參數。這不僅允許在給定圖不完整或損壞的場景中應用GCNs,還允許在圖不可用的場景中應用GCNs。我們進行了一系列的實驗,分析了該方法的行為,并證明了它比相關的方法有顯著的優勢。

網址:

代碼鏈接:

4、Graph U-Nets

作者:Hongyang Gao, Shuiwang Ji

摘要:我們研究了圖數據的表示學習問題。卷積神經網絡可以很自然地對圖像進行操作,但在處理圖數據方面存在很大的挑戰。由于圖像是二維網格上節點圖的特殊情況,圖的嵌入任務與圖像的分割等像素級預測任務具有天然的對應關系。雖然像U-Nets這樣的編解碼器結構已經成功地應用于許多圖像的像素級預測任務,但是類似的方法在圖數據上還是很缺乏。這是由于池化操作和上采樣操作對圖數據不是自然的。為了解決這些挑戰,我們提出了新的圖池化(gPool)和反池化(gUnpool)操作。gPool層根據節點在可訓練投影向量上的標量投影值,自適應地選擇節點,形成較小的圖。我們進一步提出了gUnpool層作為gPool層的逆操作。gUnpool層使用在相應gPool層中選擇的節點位置信息將圖恢復到其原始結構。基于我們提出的gPool和gUnpool層,我們開發了一個基于圖的編解碼器模型,稱為Graph U-Nets。我們在節點分類和圖分類任務上的實驗結果表明,我們的方法比以前的模型具有更好的性能。

網址:

代碼鏈接:

5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance(圖神經網絡用于樂譜數據和鋼琴演奏表現力的建模)

作者:Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam

摘要:樂譜通常被處理為一維序列數據。與文本文檔中的單詞不同,樂譜中的音符可以由復調性質同時演奏,并且每個音符都有自己的持續時間。在本文中,我們使用圖神經網絡表示樂譜的獨特形式,并將其應用于從樂譜中渲染表現力的鋼琴演奏。具體地,我們設計了使用note-level門控圖神經網絡和采用迭代反饋方法的雙向LSTM測量級層次注意網絡的模型。此外,為了對給定輸入分數的不同性能風格建模,我們使用了一個變分自編碼器。聽力測試結果表明,與baseline模型和層次注意網絡模型相比,我們提出的模型生成了更多的類人性能,而層次注意網絡模型將音樂得分處理為類詞序列。

網址:

代碼鏈接:

6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects(用于學習圖結構物體相似性的圖匹配網絡)

作者:Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli

摘要:本文針對圖結構物體的檢索與匹配這一具有挑戰性的問題,做了兩個關鍵的貢獻。首先,我們演示了如何訓練圖神經網絡(GNN)在向量空間中嵌入圖,從而實現高效的相似性推理。其次,提出了一種新的圖匹配網絡模型,該模型以一對圖作為輸入,通過一種新的基于注意力的交叉圖匹配機制,對圖對進行聯合推理,計算出圖對之間的相似度評分。我們證明了我們的模型在不同領域的有效性,包括具有挑戰性的基于控制流圖的功能相似性搜索問題,該問題在軟件系統漏洞檢測中發揮著重要作用。實驗分析表明,我們的模型不僅能夠在相似性學習的背景下利用結構,而且它們還比那些為這些問題精心手工設計的領域特定baseline系統表現得更好。

網址:

7、Disentangled Graph Convolutional Networks(Disentangled圖卷積網絡)

作者:Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu

摘要:真實世界圖形的形成通常來自于許多潛在因素之間高度復雜的交互作用。現有的基于圖結構數據的深度學習方法忽略了潛在因素的糾纏,使得學習表示不魯棒,難以解釋。然而,在圖神經網絡的研究中,如何將潛在因素分解出來的學習表示方法面臨著巨大的挑戰,并且在很大程度上還沒有得到探索。本文引入解糾纏(Disentangled)圖卷積網絡(DisenGCN)來學習disentangled節點表示。特別地,我們提出了一種新的鄰域路由機制,它能夠動態地識別可能導致節點與其相鄰節點之間產生邊的潛在因素,并相應地將相鄰節點分配到一個提取和卷積特定于該因素的特性的信道。從理論上證明了該路由機制的收斂性。實驗結果表明,我們提出的模型可以獲得顯著的性能提升,特別是當數據表明存在許多糾纏因素時。

網址:

8、GMNN: Graph Markov Neural Networks(GMNN: 圖馬爾可夫神經網絡)

作者:Meng Qu, Yoshua Bengio, Jian Tang

摘要:本文研究關系數據中的半監督對象分類問題,這是關系數據建模中的一個基本問題。在統計關系學習(如關系馬爾可夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中,這一問題得到了廣泛的研究。統計關系學習方法可以通過條件隨機場對對象標簽的依賴關系進行有效的建模,用于集體分類,而圖神經網絡則通過端到端訓練學習有效的對象表示來分類。在本文中,我們提出了一種集兩種方法優點于一體的Graph Markov Neural Networks (GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模,利用變分EM算法對其進行有效訓練。在E-step中,一個圖神經網絡學習有效的對象表示,逼近對象標簽的后驗分布。在M-step中,利用另一個圖神經網絡對局部標簽依賴關系進行建模。在對象分類、鏈路分類和無監督節點表示學習等方面的實驗表明,GMNN取得了較好的效果。

網址:

代碼鏈接:

9、Simplifying Graph Convolutional Networks(簡化圖卷積網絡)

作者:Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger

摘要:圖卷積網絡(GCNs)及其變體得到了廣泛的關注,已成為學習圖表示的實際方法。GCNs的靈感主要來自最近的深度學習方法,因此可能會繼承不必要的復雜性和冗余計算。在本文中,我們通過連續消除非線性和折疊連續層之間的權重矩陣來減少這種額外的復雜性。我們從理論上分析了得到的線性模型,結果表明它對應于一個固定的低通濾波器,然后是一個線性分類器。值得注意的是,我們的實驗評估表明,這些簡化不會對許多下游應用程序的準確性產生負面影響。此外,生成的模型可以擴展到更大的數據集,這是自然可解釋的,并且比FastGCN的速度提高了兩個數量級。

網址:

代碼鏈接:

10、Position-aware Graph Neural Networks(位置感知圖神經網絡)

作者:Jiaxuan You, Rex Ying, Jure Leskovec

摘要:學習節點嵌入,捕捉節點在更廣泛的圖結構中的位置,對于圖上的許多預測任務是至關重要的。然而,現有的圖神經網絡(GNN)結構在獲取給定節點相對于圖中所有其他節點的position/location方面的能力有限。本文提出了一種計算位置感知節點嵌入的新型神經網絡—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先對錨節點集進行采樣,計算給定目標節點到每個錨集的距離,然后學習錨集上的非線性距離加權聚集方案。通過這種方式,P-GNNs可以捕獲節點相對于錨節點的位置。P-GNN有幾個優點: 它們具有歸納性,可擴展性,并且可以包含節點特征信息。我們將P-GNNs應用于多個預測任務,包括鏈路預測和社區檢測。我們顯示,P-GNNs始終優于最先進的GNNs, 在ROC AUC分數方面提高了66%。

網址:

代碼鏈接:

論文下載

百度云鏈接:

提取碼:vcc3

付費5元查看完整內容

相關內容

 ICML 是 International Conference on Machine Learning的縮寫,即國際機器學習大會。ICML如今已發展為由國際機器學習學會(IMLS)主辦的年度機器學習國際頂級會議。

【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣

KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers

KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、

1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction

作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial

摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。

網址:

2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang

摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。

網址:

代碼鏈接:

3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun

摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。

網址:

4. Graph Structural-topic Neural Network

作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin

摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。

網址:

代碼鏈接:

5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi

摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。

網址:

付費5元查看完整內容

【導讀】ICML(International Conference on Machine Learning),即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一,因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計,ICML 2020共提交4990篇論文,接收論文1088篇,接收率為21.8%。與往年相比,接收率逐年走低。在會議開始前夕,專知小編為大家整理了ICML 2020圖神經網絡(GNN)的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我們引入了一系列多層圖核,并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據,其中每個節點攜帶關于局部圖子結構的信息。一方面,核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示,這在樣本有限的情況下很有用。另一方面,我們的模型也可以在大規模數據上進行端到端的訓練,從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能,同時提供了簡單的模型解釋。

網址:

代碼鏈接:

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一種新的基于特征線性調制(feature-wise linear modulation,FiLM)的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”,從而沿著圖的邊傳播信息。在GNN-FILE中,邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換,從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現,本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的,產生了一些令人驚訝的結果:基線模型之間的差異比文獻報道的要小。盡管如此,GNN-FILE在分子圖的回歸任務上的表現優于基線方法,在其他任務上的表現也具有競爭性。

網址:

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中,圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作;它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖;壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式,所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征,并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址:

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我們提出了Interferometric Graph Transform(IGT),這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標,我們的學習表示既包括可區分的特征,也包括不變的特征。通過實驗可以得到,我們的學習過程利用了譜域的拓撲,這通常是譜方法的一個缺陷,特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法,例如圖像分類(MNIST,CIFAR-10)、社區檢測(Authorship,Facebook graph)和3D骨架視頻中的動作識別(SBU,NTU),在譜圖非監督環境下展示了一種新的技術水平。

網址:

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用,以實現聚合屬于同一簇的節點的池化操作。然而,Laplacian的特征分解代價很高,而且由于聚類結果是特定于圖的,因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中,我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式,并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的,不需要計算譜分解,并且學習了一個聚類函數,可以在樣本外的圖上快速評估。從提出的聚類方法出發,我們設計了一個圖池化算子,它克服了現有圖池化技術的一些重要局限性,并在多個監督和非監督任務中取得了最好的性能。

網址:

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs),以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而,自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中,我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制,分析了預訓練&精調和自訓練的局限性,并進而將重點放在多任務學習上。此外,我們還提出了三種新的GCNS自監督學習任務,并進行了理論分析和數值比較。最后,我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明,通過合理設計任務形式和合并機制,自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址:

代碼鏈接:

付費5元查看完整內容

最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】,CVPR視覺目標跟蹤,CVPR視覺問答,醫學圖像分割,圖神經網絡的推薦,CVPR域自適應, ICML圖神經網絡,ICML元學習相關論文,反響熱烈。最近,ACL 2019最新接受文章出爐,大會共收到2905 篇論文投稿,其中660 篇被接收(接收率為22.7%)。小編發現,今年接受的文章結合GNN的工作有二三十篇,看來,圖神經網絡已經攻占NLP領域,希望其他領域的同學多多學習,看能否結合,期待好的工作!今天小編專門整理最新十篇ACL長文,圖神經網絡(GNN)+NLP—注意力機制引導圖神經網絡、Graph-to-Sequence、動態融合圖網絡、實體和關系抽取、Multi-hop閱讀理解、多模態上下文圖理解等。

1、Attention Guided Graph Convolutional Networks for Relation Extraction (注意力機制引導圖神經網絡的關系抽取)

ACL ’19

作者:Zhijiang Guo*, Yan Zhang* and Wei Lu

摘要:Dependency trees傳遞豐富的結構信息,這些信息對于提取文本中實體之間的關系非常有用。然而,如何有效利用相關信息而忽略Dependency trees中的無關信息仍然是一個具有挑戰性的研究問題。現有的方法使用基于規則的hard-pruning策略來選擇相關的部分依賴結構,可能并不總是產生最佳結果。本文提出了一種直接以全依賴樹為輸入的Attention Guided圖卷積網絡(AGGCNs)模型。我們的模型可以理解為一種soft-pruning方法,它自動學習如何有選擇地關注對關系提取任務有用的相關子結構。在包括跨句n元關系提取和大規模句級關系提取在內的各種任務上的大量結果表明,我們的模型能夠更好地利用全依賴樹的結構信息,其結果顯著優于之前的方法。

網址: //www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html

代碼鏈接:

2、Cognitive Graph for Multi-Hop Reading Comprehension at Scale(大規模認知圖的Multi-Hop閱讀理解)

ACL ’19

作者:Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang

摘要:我們提出了一種新的基于CogQA的web級文檔multi-hop問答框架。該框架以認知科學的對偶過程理論為基礎,通過協調隱式抽取模塊(System 1)和顯式推理模塊(System 2),在迭代過程中逐步構建認知圖,在給出準確答案的同時,進一步提供了可解釋的推理路徑。具體來說,我們基于BERT和graph neural network (GNN)的實現有效地處理了HotpotQA fullwiki數據集中數百萬個multi-hop推理問題的文檔,在排行榜上獲得了34.9的F1 score,而最佳競爭對手的得分為23.6。

網址:

代碼鏈接:

3、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model(使用Graph-to-Sequence模型為中文文章生成連貫的評論)

ACL ’19

作者:Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu sun

摘要:自動文章評論有助于鼓勵用戶參與和在線新聞平臺上的互動。然而,對于傳統的基于encoder-decoder的模型來說,新聞文檔通常太長,這往往會導致一般性和不相關的評論。在本文中,我們提出使用一個Graph-to-Sequence的模型來生成評論,該模型將輸入的新聞建模為一個主題交互圖。通過將文章組織成圖結構,我們的模型可以更好地理解文章的內部結構和主題之間的聯系,這使得它能夠更好地理解故事。我們從中國流行的在線新聞平臺Tencent Kuaibao上收集并發布了一個大規模的新聞評論語料庫。廣泛的實驗結果表明,與幾個強大的baseline模型相比,我們的模型可以產生更多的連貫性和信息豐富性的評論。

網址:

代碼鏈接:

4、Dynamically Fused Graph Network for Multi-hop Reasoning(基于動態融合圖網絡的Multi-hop Reasoning)

ACL ’19

作者:Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu

摘要:近年來,基于文本的問答(TBQA)得到了廣泛的研究。大多數現有的方法側重于在一段話內找到問題的答案。然而,許多有難度的問題需要來自兩個或多個文檔的分散文本的支持證據。本文提出了動態融合圖網絡(Dynamically Fused Graph Network ,DFGN),這是一種解決需要多個分散證據和推理的問題的新方法。受人類逐步推理行為的啟發,DFGN包含一個動態融合層,從給定查詢中提到的實體開始,沿著文本動態構建的實體圖進行探索,并逐步從給定文檔中找到相關的支持實體。我們在需要multi-hop reasoning的公共TBQA數據集HotpotQA上評估了DFGN。DFGN在公共數據集上取得了有競爭力的成績。此外,我們的分析表明,DFGN可以產生可解釋的推理鏈。

網址:

5、 Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media(利用圖卷積網絡對Social Information進行編碼,用于新聞媒體中的政治傾向性檢測)

ACL ’19

作者:Chang Li, Dan Goldwasser

摘要:確定新聞事件在媒體中討論方式的政治視角是一項重要而富有挑戰性的任務。在這篇文章中,我們強調了將社交網絡置于情景化的重要性,捕捉這些信息如何在社交網絡中傳播。我們使用最近提出的一種表示關系信息的神經網絡結構——圖卷積網絡(Graph Convolutional Network)來捕獲這些信息,并證明即使在很少的social information分類中也可以得到顯著改進。

網址:

6、Graph Neural Networks with Generated Parameters for Relation Extraction(用于關系抽取的具有生成參數的圖神經網絡)

ACL ’19

作者:Hao Zhu, Yankai Lin, Zhiyuan Liu, Jie Fu, Tat-seng Chua, Maosong Sun

摘要:近年來,在改進機器學習領域的關系推理方面取得了一些進展。在現有的模型中,圖神經網絡(GNNs)是最有效的multi-hop關系推理方法之一。事實上,在關系抽取等自然語言處理任務中,multi-hop關系推理是必不可少的。本文提出了一種基于自然語言語句生成圖神經網絡(GP-GNNs)參數的方法,使神經網絡能夠對非結構化文本輸入進行關系推理。我們驗證了從文本中提取關系的GPGNN。 實驗結果表明,與baseline相比,我們的模型取得了顯著的改進。我們還進行了定性分析,證明我們的模型可以通過multi-hop關系推理發現更精確的關系。

網址:

7、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks(使用圖卷積網絡在詞嵌入中結合句法和語義信息)

ACL ’19

作者:Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar

摘要:詞嵌入已被廣泛應用于多種NLP應用程序中。現有的詞嵌入方法大多利用詞的sequential context來學習詞的嵌入。雖然有一些嘗試利用詞的syntactic context,但這種方法會導致詞表數的爆炸。在本文中,我們通過提出SynGCN來解決這個問題,SynGCN是一種靈活的基于圖卷積的學習詞嵌入的方法。SynGCN在不增加詞表大小的情況下利用單詞的dependency context。SynGCN學習的詞嵌入在各種內部和外部任務上都優于現有方法,在與ELMo一起使用時提供優勢。我們還提出了SemGCN,這是一個有效的框架,用于整合不同的語義知識,以進一步增強所學習的單詞表示。我們提供了兩個模型的源代碼,以鼓勵可重復的研究。

網址:

代碼鏈接:

8、 GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction(GraphRel: 將文本建模為關系圖,用于實體和關系抽取)

ACL ’19

作者:Tsu-Jui Fu, Peng-Hsuan Li, Wei-Yun Ma

摘要:本文提出了一種利用圖卷積網絡(GCNs)聯合學習命名實體和關系的端到端關系抽取模型GraphRel。與之前的baseline相比,我們通過關系加權GCN來考慮命名實體和關系之間的交互,從而更好地提取關系。線性結構和依賴結構都用于提取文本的序列特征和區域特征,并利用完整的詞圖進一步提取文本所有詞對之間的隱式特征。基于圖的方法大大提高了對重疊關系的預測能力。我們在兩個公共數據集NYT和webnlg上評估了GraphRel。結果表明,GraphRel在大幅度提高recall的同時,保持了較高的precision。GraphRel的性能也比之前的工作好3.2%和5.8% (F1 score),實現了關系抽取的最先進的方法。

網址:

代碼鏈接:

9、Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs(通過對異構圖進行推理,實現跨多個文檔的Multi-hop閱讀理解)

ACL ’19

作者:Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, Bowen Zhou

摘要:跨文檔的Multi-hop閱讀理解(RC)對單文本RC提出了新的挑戰,因為它需要對多個文檔進行推理才能得到最終答案。在本文中,我們提出了一個新的模型來解決multi-hop RC問題。我們引入了具有不同類型的節點和邊的異構圖,稱為異構文檔-實體(HDE)圖。HDE圖的優點是它包含不同粒度級別的信息,包括特定文檔上下文中的候選信息、文檔和實體。我們提出的模型可以對HDE圖進行推理,節點表示由基于co-attention 和 self-attention的上下文編碼器初始化。我們使用基于圖神經網絡(GNN)的消息傳遞算法,在提出的HDE圖上累積evidence。通過對Qangaroo WIKIHOP數據集的blind測試集的評估,我們的基于HDE圖的單模型給出了具有競爭力的結果,并且集成模型達到了最先進的性能。

網址:

10、Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension(多模態上下文圖理解和自監督開放集理解的Textbook問答)

ACL ’19

作者:Daesik Kim, Seonhoon Kim, Nojun Kwak

摘要:在本文中,我們介紹了一種解決教科書問答(TQA)任務的新算法。在分析TQA數據集時,我們主要關注兩個相關問題。首先,解決TQA問題需要理解復雜輸入數據中的多模態上下文。為了解決從長文本中提取知識特征并與視覺特征相結合的問題,我們從文本和圖像中建立了上下文圖,并提出了一種基于圖卷積網絡(GCN)的f-GCN模塊。其次,科學術語不會分散在各個章節中,而且主題在TQA數據集中是分開的。為了克服這個所謂的“領域外”問題,在學習QA問題之前,我們引入了一種新的沒有任何標注的自監督開放集學習過程。實驗結果表明,我們的模型明顯優于現有的最先進的方法。此外,消融研究證實,將f-GCN用于從多模態上下文中提取知識的方法和我們新提出的自監督學習過程對于TQA問題都是有效的。

網址:

下載鏈接: 提取碼:rr1c

付費5元查看完整內容

1、 Adversarial Graph Embedding for Ensemble Clustering

作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。

網址://www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。

網址:

3、Dynamic Hypergraph Neural Networks

作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。

網址:

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者:Hogun Park and Jennifer Neville;

摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。

網址:

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。

網址:

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。

網址:

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。

網址:

付費5元查看完整內容

1、Approximation Ratios of Graph Neural Networks for Combinatorial Problems

作者:Ryoma Sato, Makoto Yamada, Hisashi Kashima;

摘要:本文從理論的角度研究了圖神經網絡(GNNs)在學習組合問題近似算法中的作用。為此,我們首先建立了一個新的GNN類,它可以嚴格地解決比現有GNN更廣泛的問題。然后,我們彌合了GNN理論和分布式局部算法理論之間的差距,從理論上證明了最強大的GNN可以學習最小支配集問題的近似算法和具有一些近似比的最小頂點覆蓋問題比率,并且沒有GNN可以執行比這些比率更好。本文首次闡明了組合問題中GNN的近似比。此外,我們還證明了在每個節點特征上添加著色或弱著色可以提高這些近似比。這表明預處理和特征工程在理論上增強了模型的能力。

網址://www.zhuanzhi.ai/paper/9cad40c81920dfd71fa91e4ddf778616

2、D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

作者:Muhan Zhang, Shali Jiang, Zhicheng Cui, Roman Garnett, Yixin Chen;

摘要:圖結構數據在現實世界中是豐富的。在不同的圖類型中,有向無環圖(DAG)是機器學習研究人員特別感興趣的,因為許多機器學習模型都是通過DAG上的計算來實現的,包括神經網絡和貝葉斯網絡。本文研究了DAG的深度生成模型,提出了一種新的DAG變分自編碼器(D-VAE)。為了將DAG編碼到潛在空間中,我們利用了圖神經網絡。我們提出了一個異步消息傳遞方案,它允許在DAG上編碼計算,而不是使用現有的同步消息傳遞方案來編碼局部圖結構。通過神經結構搜索和貝葉斯網絡結構學習兩項任務驗證了該方法的有效性。實驗表明,該模型不僅生成了新穎有效的DAG,還可以生成平滑的潛在空間,有助于通過貝葉斯優化搜索具有更好性能的DAG。

網址:

3、End to end learning and optimization on graphs

作者:Bryan Wilder, Eric Ewing, Bistra Dilkina, Milind Tambe;

摘要:在實際應用中,圖的學習和優化問題常常結合在一起。例如,我們的目標可能是對圖進行集群,以便檢測有意義的社區(或者解決其他常見的圖優化問題,如facility location、maxcut等)。然而,圖或相關屬性往往只是部分觀察到,引入了一些學習問題,如鏈接預測,必須在優化之前解決。我們提出了一種方法,將用于常見圖優化問題的可微代理集成到用于鏈接預測等任務的機器學習模型的訓練中。這允許模型特別關注下游任務,它的預測將用于該任務。實驗結果表明,我們的端到端系統在實例優化任務上的性能優于將現有的鏈路預測方法與專家設計的圖優化算法相結合的方法。

網址:

4、Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

作者:Simon S. Du, Kangcheng Hou, Barnabás Póczos, Ruslan Salakhutdinov, Ruosong Wang, Keyulu Xu;

摘要:雖然圖內核(graph kernel,GK)易于訓練并享有可證明的理論保證,但其實際性能受其表達能力的限制,因為內核函數往往依賴于圖的手工組合特性。與圖內核相比,圖神經網絡通常具有更好的實用性能,因為圖神經網絡使用多層結構和非線性激活函數來提取圖的高階信息作為特征。然而,由于訓練過程中存在大量的超參數,且訓練過程具有非凸性,使得GNN的訓練更加困難。GNN的理論保障也沒有得到很好的理解。此外,GNN的表達能力隨參數的數量而變化,在計算資源有限的情況下,很難充分利用GNN的表達能力。本文提出了一類新的圖內核,即圖神經切線核(GNTKs),它對應于通過梯度下降訓練的無限寬的多層GNN。GNTK充分發揮了GNN的表現力,繼承了GK的優勢。從理論上講,我們展示了GNTK可以在圖上學習一類平滑函數。根據經驗,我們在圖分類數據集上測試GNTK并展示它們實現了強大的性能。

網址:

5、HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

作者:Naganand Yadati, Madhav Nimishakavi, Prateek Yadav, Vikram Nitin, Anand Louis, Partha Talukdar;

摘要:在許多真實世界的網絡數據集中,如co-authorship、co-citation、email communication等,關系是復雜的,并且超越了成對關聯。超圖(Hypergraph)提供了一個靈活而自然的建模工具來建模這種復雜的關系。在許多現實世界網絡中,這種復雜關系的明顯存在,自然會激發使用Hypergraph學習的問題。一種流行的學習范式是基于超圖的半監督學習(SSL),其目標是將標簽分配給超圖中最初未標記的頂點。由于圖卷積網絡(GCN)對基于圖的SSL是有效的,我們提出了HyperGCN,這是一種在超圖上訓練用于SSL的GCN的新方法。我們通過對真實世界超圖的詳細實驗證明HyperGCN的有效性,并分析它何時比最先進的baseline更有效。

網址:

6、Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

作者:Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín, Ian Reid, S. Hamid Rezatofighi, Silvio Savarese;

摘要:從自動駕駛汽車和社交機器人的控制到安全監控,預測場景中多個交互主體的未來軌跡已成為許多不同應用領域中一個日益重要的問題。這個問題由于人類之間的社會互動以及他們與場景的身體互動而變得更加復雜。雖然現有的文獻探索了其中的一些線索,但它們主要忽略了每個人未來軌跡的多模態性質。在本文中,我們提出了一個基于圖的生成式對抗網絡Social-BiGAT,它通過更好地建模場景中行人的社交互來生成真實的多模態軌跡預測。我們的方法是基于一個圖注意力網絡(GAT)學習可靠的特征表示(編碼場景中人類之間的社會交互),以及一個反方向訓練的循環編解碼器體系結構(根據特征預測人類的路徑)。我們明確地解釋了預測問題的多模態性質,通過在每個場景與其潛在噪聲向量之間形成一個可逆的變換,就像在Bicycle-GAN中一樣。我們表明了,與現有軌跡預測基準的幾個baseline的比較中,我們的框架達到了最先進的性能。

網址:

7、Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

作者:Hongteng Xu, Dixin Luo, Lawrence Carin;

摘要:我們提出了一種可擴展的Gromov-Wasserstein learning (S-GWL) 方法,并建立了一種新的、理論支持的大規模圖分析范式。該方法基于Gromov-Wasserstein discrepancy,是圖上的偽度量。給定兩個圖,與它們的Gromov-Wasserstein discrepancy相關聯的最優傳輸提供了節點之間的對應關系,從而實現了圖的匹配。當其中一個圖具有獨立但自連接的節點時(即,一個斷開連接的圖),最優傳輸表明了其他圖的聚類結構,實現了圖的劃分。利用這一概念,通過學習多觀測圖的Gromov-Wasserstein barycenter圖,將該方法推廣到多圖的劃分與匹配; barycenter圖起到斷開圖的作用,因為它是學習的,所以聚類也是如此。該方法將遞歸K分割機制與正則化近似梯度算法相結合,對于具有V個節點和E條邊的圖,其時間復雜度為O(K(E+V) logk V)。據我們所知,我們的方法是第一次嘗試使Gromov-Wasserstein discrepancy適用于大規模的圖分析,并將圖的劃分和匹配統一到同一個框架中。它優于最先進的圖劃分和匹配方法,實現了精度和效率之間的平衡。

網址:

8、Universal Invariant and Equivariant Graph Neural Networks

作者:Nicolas Keriven, Gabriel Peyré;

摘要:圖神經網絡(GNN)有多種形式,但應該始終是不變的(輸入圖節點的排列不會影響輸出)或等變的(輸入的排列置換輸出)。本文考慮一類特殊的不變和等變網絡,證明了它的一些新的普適性定理。更確切地說,我們考慮具有單個隱藏層的網絡,它是通過應用等變線性算子、點態非線性算子和不變或等變線性算子形成的信道求和而得到的。最近,Maron et al. (2019b)指出,通過允許網絡內部的高階張量化,可以獲得通用不變的GNN。作為第一個貢獻,我們提出了這個結果的另一種證明,它依賴于實值函數代數的Stone-Weierstrass定理。我們的主要貢獻是將這一結果推廣到等變情況,這種情況出現在許多實際應用中,但從理論角度進行的研究較少。證明依賴于一個新的具有獨立意義的廣義等變函數代數Stone-Weierstrass定理。最后,與以往許多考慮固定節點數的設置不同,我們的結果表明,由一組參數定義的GNN可以很好地近似于在不同大小的圖上定義的函數。

網址:

付費5元查看完整內容
北京阿比特科技有限公司