亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

最近,數據挖掘領域國際最高級別會議KDD 2019 于 2019 年 8 月 4 日- 8 日在美國阿拉斯加州安克雷奇市舉行。今年的 KDD 包括兩個track:Research Track和 Applied Data Science track。據了解,Research Track 共收到約 1200 篇投稿,其中約 110 篇 接收為oral 論文,60 篇 接收為poster 論文,接收率僅為 14%。專知小編發現關于圖神經網絡的相關論文在今年的KDD上非常多,所以今天小編專門整理最新12篇圖神經網絡(GNN)相關論文——聚類-GCN、條件隨機場-GCN、Degree-GNN、GCN-MF、GCN-Pooling、GRN、異構GNN、強化學習-GNN、對抗攻擊-GCN。

  1. Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks

作者:Wei-Lin Chiang; Xuanqing Liu; Si Si; Yang Li; Samy Bengio; Cho-Jui Hsieh;

摘要:圖卷積網絡(GCN)已成功地應用于許多基于圖的應用中; 然而,訓練一個大規模的GCN仍然是具有挑戰性的。現有的基于SGD的算法要么計算成本高,且隨著GCN層數的增加呈指數級增長,要么需要很大的空間來保存整個圖以及在內存中嵌入每個節點。本文利用圖的聚類結構,提出了一種新的適合于基于SGD的訓練的GCN算法Cluster-GCN。Cluster-GCN的工作原理如下: 在每一步中,它對與圖聚類算法標識的密集子圖相關聯的節點塊進行采樣,并限制在該子圖中進行鄰域搜索。這種簡單而有效的策略能夠顯著提高內存和計算效率,同時能夠達到與以前算法相當的測試精度。為了測試算法的可擴展性,我們創建了一個新的Amazon2M數據集,包含200萬個節點和6100萬條邊,比之前最大的公共可用數據集(Reddit)大5倍以上。對于在此數據集上訓練3層GCN, Cluster-GCN比之前最先進的VR-GCN(1523秒vs. 1961秒)更快,并且使用更少的內存(2.2GB vs. 11.2GB)。此外,對于該數據集的4層GCN的訓練,我們的算法可以在36分鐘左右完成,而現有的GCN訓練算法都因為內存不足而無法訓練。此外,Cluster-GCN允許我們在不需要太多時間和內存開銷的情況下訓練更深層的GCN,從而提高了預測精度——使用5層Cluster-GCN,我們在PPI數據集上實現了最先進的測試結果,F1 score為99.36,而之前最好的結果是98.71。

網址:

//www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol

  1. Conditional Random Field Enhanced Graph Convolutional Neural Networks

作者:Hongchang Gao; Jian Pei; Heng Huang;

摘要:圖卷積神經網絡近年來受到越來越多的關注。與標準卷積神經網絡不同,圖卷積神經網絡對圖數據進行卷積運算。與一般數據相比,圖數據具有不同節點間的相似性信息。因此,在圖卷積神經網絡的隱層中保存這種相似性信息是非常重要的。然而,現有的工作沒有做到這一點。另一方面,為了保持相似關系,對隱藏層的增強是一個挑戰。為了解決這一問題,我們提出了一種新的CRF層用于圖卷積神經網絡,以使得相似節點具有相似的隱藏特征。這樣,可以顯式地保存相似性信息。此外,我們提出的CRF層易于計算和優化。因此,它可以很容易地插入到現有的圖卷積神經網絡中,提高其性能。最后,大量的實驗結果驗證了我們提出的CRF層的有效性。

網址:

  1. DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification

作者:Jun Wu; Jingrui He; Jiejun Xu;

摘要:圖數據廣泛存在于許多具有高影響力的應用中。受網格結構數據深度學習成功的啟發,研究者提出了一種學習強大的節點級或圖級表示的圖神經網絡模型。然而,現有的圖神經網絡大多存在以下局限性:(1)對圖卷積的seed-oriented、degree-aware、order-free等特性的分析比較有限; (2) 在區分結構感知節點鄰域時,沒有將節點的degree-specific圖結構顯式表示為圖卷積; (3)圖級pooling機制的理論解釋尚不明確。為了解決這些問題,我們提出了一種基于Weisfeiler- Lehman圖同構測試的通用degree-specific圖神經網絡DEMO-Net。為了顯式地捕獲與節點屬性集成的圖的拓撲結構,我們認為圖卷積應該具有三個屬性:seed-oriented, degree-aware 和order-free。為此,我們提出了多任務圖卷積,其中每個任務表示具有specific degree value的節點的節點表示學習,從而保持了degree-specific的圖結構。特別地,我們設計了兩種多任務學習方法:degree-specific權重法和圖卷積的哈希函數法。此外,我們還提出了一種新的圖級pooling/readout方案,用于學習圖形表示,可證明位于degree-specific的Hilbert kernel空間中。在多個節點和圖分類基準數據集上的實驗結果表明,我們提出的DEMO-Net相對于最先進的圖神經網絡模型的有效性和高效性。

網址:

  1. GCN-MF: Disease-Gene Association Identification By Graph Convolutional Networks and Matrix Factorization

作者:Peng Han; Peng Yang; Peilin Zhao; Shuo Shang; Yong Liu; Jiayu Zhou; Xin Gao; Panos Kalnis;

摘要:發現疾病基因關聯是一項基礎性和關鍵性的生物醫學任務,它有助于生物學家和醫生發現癥候的致病機制。基于網絡的半監督學習(NSSL)是這些研究中常用的一種方法,它利用各種臨床生物標志物來測量基因和疾病表型之間的相似性,來解決這個類平衡的大規模數據問題。然而,大多數現有的NSSL方法都是基于線性模型的,存在兩個主要限制:1)它們隱式地考慮每個候選對象的局部結構表示; 2)他們無法捕捉疾病和基因之間的非線性聯系。本文將圖卷積網絡(GCN)和矩陣因子分解相結合,提出了一種新的疾病基因關聯任務框架GCN-MF。在GCN的幫助下,我們可以捕獲非線性相互作用,并利用測量到的相似性。此外,我們定義了一個邊際控制損失函數,以減少稀疏性的影響。實驗結果表明,所提出的深度學習算法在大多數指標上都優于其他最先進的方法。

網址:

  1. Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks

作者:Namyong Park; Andrey Kan; Xin Luna Dong; Tong Zhao; Christos Faloutsos;

摘要:如何估計知識圖譜(KG)中節點的重要性? KG是一個多關系圖,它被證明對于許多任務(包括問題回答和語義搜索)都很有價值。在本文中,我們提出了GENI,一種解決KG中節點重要性估計問題的方法,該方法支持商品推薦和資源分配等多種下游應用。雖然已經有了一些方法來解決一般圖的這個問題,但是它們沒有充分利用KG中可用的信息,或者缺乏建模實體與其重要性之間復雜關系所需的靈活性。為了解決這些限制,我們探索了有監督的機器學習算法。特別是,基于圖神經網絡(GNN)的最新進展,我們開發了GENI,這是一種基于GNN的方法,旨在應對預測KG中節點重要性所涉及的獨特挑戰。我們的方法通過predicate-aware注意力機制和靈活的中心性調整來執行重要性分數的聚合,而不是聚合節點嵌入。在我們對GENI和現有方法的評估中,GENI在預測具有不同特征的真實KG中節點重要性方面比現有方法高出5-17%。

網址:

  1. Graph Convolutional Networks with EigenPooling

作者:Yao Ma; Suhang Wang; Charu Aggarwal; Jiliang Tang;

摘要:圖神經網絡將深度神經網絡模型推廣到圖結構數據中,近年來受到越來越多的關注。它們通常通過轉換、傳播和聚合節點特征來學習節點表示,并被證明可以提高許多與圖相關的任務的性能,如節點分類和鏈接預測。將圖神經網絡應用于圖分類任務,需要從節點表示生成圖表示的方法。一種常見的方法是全局組合節點表示。然而,豐富的結構信息被忽略了。因此,在圖表示學習過程中,需要一個層次的pooling過程來保持圖的結構。最近有一些關于層次學習圖表示的工作類似于傳統卷積神經網絡(CNN)中的pooling步驟。然而,在匯聚過程中,局部結構信息在很大程度上仍然被忽略。本文介紹了一種基于圖的傅里葉變換的pooling操作EigenPooling,它可以利用pooling過程中的節點特征和局部結構。然后基于pooling算子設計pooling層,并與傳統的GCN卷積層進一步結合,形成一個用于圖分類的圖神經網絡框架EigenGCN。從局部和全局的角度對EigenGCN進行了理論分析。圖分類任務在6個常用benchmark上的實驗結果表明了該框架的有效性。

網址:

  1. Graph Recurrent Networks with Attributed Random Walks

作者:Xiao Huang; Qingquan Song; Yuening Li; Xia Hu;

摘要:隨機游走被廣泛應用于從網絡嵌入到標簽傳播的各種網絡分析任務中。它可以捕獲并將幾何結構轉換為結構化序列,同時解決了稀疏性和維數的災難性問題。雖然對純網絡上的隨機游走進行了深入的研究,但在實際系統中,節點往往不是純頂點,而是具有不同的特征,并由與之相關的豐富數據集來描述。這些節點屬性包含豐富的信息,這些信息通常是網絡的補充,并為基于隨機游走的分析帶來了機會。然而,目前還不清楚如何為attributed網絡開發隨機游走來實現有效的聯合信息提取。節點屬性使得節點之間的交互更加復雜,拓撲結構也更加異構。

為了彌補這一不足,我們研究了在attributed網絡上進行聯合隨機游動,并利用它們來提高深度節點表示學習。提出的框架GraphRNA由兩個主要組件組成,即,一種協作游走機制—AttriWalk,以及一種為隨機游走量身定制的深度嵌入體系結構,稱為圖遞歸網絡(graph recurrent networks ,GRN)。AttriWalk將節點屬性看作是一個二分網絡,并利用它來促進節點間的離散化,減少節點間向高中心匯聚的趨勢。AttriWalk使我們能夠將突出的深度網絡嵌入模型-圖卷積網絡推向一個更有效的架構——GRN。GRN賦予節點表示以與原始attributed網絡中的節點交互相同的方式進行交互。在真實數據集上的實驗結果表明,與目前最先進的嵌入算法相比,GraphRNA算法很有效。

網址:

  1. HetGNN: Heterogeneous Graph Neural Network

作者:Chuxu Zhang; Dongjin Song; Chao Huang; Ananthram Swami; Nitesh V. Chawla;

摘要:異構圖表示學習的目的是為每個節點尋求一個有意義的向量表示,以便于后續應用,如鏈接預測、個性化推薦、節點分類等。然而,該任務具有挑戰性,不僅因為需要合并異構由多種類型的節點和邊組成的結構(圖)信息,但也需要考慮與每個節點相關聯的異構屬性或內容(例如,文本或圖像)。盡管在同構(或異構)圖嵌入、屬性圖嵌入以及圖神經網絡等方面都做了大量的工作,但很少有圖神經網絡能夠有效地聯合考慮圖的異構結構(圖)信息以及各節點的異構內容信息。為此,我們提出了一種異構圖神經網絡模型HetGNN。具體來說,我們首先引入一個具有重啟策略的隨機游走,為每個節點抽取一個固定大小的強相關異構鄰居,并根據節點類型對它們進行分組。接下來,我們設計了一個包含兩個模塊的神經網絡結構來聚合這些采樣的相鄰節點的特征信息。第一個模塊對異構內容的“深度”特性交互進行編碼,并為每個節點生成內容嵌入。第二個模塊聚合不同鄰近組(類型)的內容(屬性)嵌入,并通過考慮不同組的影響來進一步組合它們,以獲得最終的節點嵌入。最后,我們利用圖context loss和一個mini-batch梯度下降過程以端到端方式訓練模型。在多個數據集上的大量實驗表明,HetGNN在各種圖挖掘任務(比如鏈路預測、推薦、節點分類聚類、歸納節點分類聚類)中都能超越最先進的baseline。

網址:

  1. Learning Dynamic Context Graphs for Predicting Social Events

作者:Songgaojun Deng; Huzefa Rangwala; Yue Ning;

摘要:以建模上下文信息為目標的事件預測是自動分析生成和資源分配等應用程序的一項重要任務。為感興趣的事件捕獲上下文信息可以幫助分析人員理解與該事件相關的因素。然而,由于以下幾個因素,在事件預測中獲取上下文信息是具有挑戰性的: (i)上下文結構和形成的不確定性,(ii)高維特征,以及(iii)特征隨時間的適應性。最近,圖表示學習在交通預測、社會影響預測和可視化問題回答系統等應用中取得了成功。在本文中,我們研究了社會事件建模中的圖表示,以識別事件上下文的動態屬性作為social indicators。

受圖神經網絡的啟發,我們提出了一種新的圖卷積網絡來預測未來的事件(例如,國內動亂運動)。我們從歷史/以前的事件文檔中提取和學習圖表示。該模型利用隱藏的單詞圖特征預測未來事件的發生,并將動態圖序列識別為事件上下文。在多個真實數據集上的實驗結果表明,該方法與各種先進的社會事件預測方法相比具有較強的競爭力。

網址:

  1. Automating Feature Subspace Exploration via Multi-Agent Reinforcement Learning

作者:Kunpeng Liu; Yanjie Fu; Pengfei Wang; Le Wu; Rui Bo; Xiaolin Li;

摘要:特征選擇是機器學習的預處理步驟,它試圖為后續的預測任務選擇最相關的特征。有效的特征選擇可以降低維數,提高預測精度,提高結果的可理解性。從子集空間中尋找最優特征子集是一個非常具有挑戰性的問題,因為子集空間可能非常大。在已有研究的基礎上,增強學習為搜索策略的全局化提供了新的視角。針對特征選擇問題,提出了一種多智能體增強學習框架。具體來說,我們首先用一個增強學習框架來重新制定特征選擇,將每個特征視為一個智能體。然后,通過三種方法得到環境狀態,即為了使算法更好地理解學習過程,本文采用了統計描述、自動編碼器和圖卷積網絡(GCN)。我們展示了如何以一種基于圖的方式學習狀態表示,這種方法不僅可以處理邊的變化,還可以處理節點逐步變化的情況。此外,我們還研究了如何通過更合理的獎勵方案來改善不同特征之間的協調。該方法具有全局搜索特征子集的能力,并且由于增強學習的性質,可以很容易地適應實時情況(實時特征選擇)。此外,我們還提出了一種有效的加速多智能體強化學習收斂的策略。最后,大量的實驗結果表明,該方法比傳統方法有顯著的改進。

網址:

  1. Robust Graph Convolutional Networks Against Adversarial Attacks

作者:Dingyuan Zhu; Ziwei Zhang; Peng Cui; Wenwu Zhu;

摘要:圖卷積網絡(GCNs)是一種新興的基于圖的神經網絡模型,在節點分類任務中取得了最先進的性能。然而,近年來的研究表明,GCN容易受到惡意攻擊,即在圖結構和節點屬性上的小擾動,這給GCN網絡在實際應用中帶來了很大的挑戰。如何提高GCN的魯棒性仍然是一個關鍵的開放性問題。

為了解決這一問題,我們提出了Robust GCN (RGCN),這是一種新的模型,它“加強”了GCN的對抗攻擊能力。具體來說,我們的方法不是將節點表示為向量,而是采用高斯分布作為每個卷積層中節點的隱藏表示。這樣,當圖受到攻擊時,我們的模型可以自動吸收高斯分布方差變化的不利影響。此外,為了彌補對抗性攻擊在GCN中的傳播,我們提出了一種基于方差的注意力機制,即在執行卷積時根據節點鄰域的方差分配不同的權值。大量的實驗結果表明,我們提出的方法可以有效地提高GCN的魯棒性。在三個基準圖上,與最先進的GCN方法相比,我們的RGCN在各種對抗攻擊策略下的節點分類精度有了顯著提高。

網址:

  1. Stability and Generalization of Graph Convolutional Neural Networks

作者:Saurabh Verma; Zhi-Li Zhang;

摘要:圖卷積神經網絡(GCNNs)是受卷積神經網絡在一維和二維數據上的啟發而發展起來的一種用于各種圖數據學習任務的神經網絡,在實際數據集上表現出了良好的性能。盡管GCNN模型取得了一定的成功,但是對于GCNN模型的泛化性質等理論探索卻十分缺乏。本文通過分析單層GCNN模型的穩定性,推導出其在半監督圖學習環境下的泛化保證,為深入理解GCNN模型邁出了第一步。特別地,我們證明了GCNN模型的算法穩定性依賴于其圖卷積濾波器的最大絕對特征值。此外,為了確保提供強泛化保證所需的均勻穩定性,最大絕對特征值必須與圖的大小無關。我們的結果為設計新的和改進的具有算法穩定性的圖卷積濾波器提供了新的見解。我們對各種真實世界圖數據集的泛華差距和穩定性進行了評價,實證結果確實支持了我們的理論發現。據我們所知,我們是第一個在半監督設置下研究圖學習的穩定性邊界,并推導出GCNN模型的泛化邊界。

網址:

下載鏈接: 提取碼:zbkg

付費5元查看完整內容

相關內容

【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣

KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers

KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、

1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction

作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial

摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。

網址:

2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang

摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。

網址:

代碼鏈接:

3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun

摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。

網址:

4. Graph Structural-topic Neural Network

作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin

摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。

網址:

代碼鏈接:

5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi

摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。

網址:

付費5元查看完整內容

【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期一些Paper放出來了,為此,專知小編提前為大家整理了五篇KDD 2020 圖神經網絡(GNN)相關論文,供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者:Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要:圖神經網絡(GNNs)是圖表示學習的有力工具。但是,最近的研究表明,GNN容易受到精心設計的擾動(稱為對抗攻擊)的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此,開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯,真實世界的圖共享一些內在屬性。例如,許多現實世界的圖都是低秩和稀疏的,兩個相鄰節點的特征往往是相似的。事實上,我們發現對抗攻擊很可能會違背這些圖的性質。因此,在本文中,我們利用這些特性來防御針對圖的對抗攻擊。特別是,我們提出了一個通用框架Pro-GNN,該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明,即使在圖受到嚴重干擾的情況下,我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫,以進行對抗性攻擊和防御。

網址: //arxiv.org/pdf/2005.10203.pdf

代碼鏈接:

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者:Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要:多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴,但現有方法未能充分利用變量對之間的潛在空間相關性。同時,近些年來,圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播,這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系,可以方便地集成變量屬性等外部知識。在此基礎上,提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明,我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法,并且在提供額外結構信息的兩個交通數據集上,與其他方法具有同等的性能。

網址:

3. Understanding Negative Sampling in Graph Representation Learning

作者:Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要:在最近的幾年中,對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入,但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣,而對負向采樣的策略探索不夠。為了彌補這一差距,我們從目標和風險兩個角度系統地分析了負采樣的作用,從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知,我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下,我們提出了MCNS,用自對比度近似法近似正分布,并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法,這些數據集涵蓋了19個實驗設置,涵蓋了廣泛的下游圖學習任務,包括鏈接預測,節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址:

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者:Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要:將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合,它們首先構建一個圖,然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注:1)多視圖數據在工業中是豐富而且有用的,并且可能超過單個矢量的容量;2)由于多視圖數據往往來自不同的分布,可能會引入歸納偏置(inductive bias)。在本文中,我們使用一種多視圖表示對齊方法來解決這個問題。特別地,我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖,從多個圖中學習多個單獨的表示,并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外,M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL,并對570億個實例進行了訓練。根據離線指標和在線A/B測試,M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明,利用M2GRL產生的多種表征是有效的,對于不同側重點的各種工業推薦任務來說,M2GRL是一個很有前途的方向。

網址:

5. Controllable Multi-Interest Framework for Recommendation

作者:Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要:近年來,由于深度學習的快速發展,神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題,目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而,統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架,稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣,可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明,我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址:

代碼鏈接:

付費5元查看完整內容

【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿,接收1470篇,其接受率在逐年下降,今年接受率僅為22%。近期,一些Paper放出來,專知小編整理了CVPR 2020 圖神經網絡(GNN)相關的比較有意思的值得閱讀的五篇論文,供大家參考—點云分析、視頻描述生成、軌跡預測、場景圖生成、視頻理解等。

1. Grid-GCN for Fast and Scalable Point Cloud Learning

作者:Qiangeng Xu, Xudong Sun, Cho-Ying Wu, Panqu Wang and Ulrich Neumann

摘要:由于點云數據的稀疏性和不規則性,越來越多的方法直接使用點云數據。在所有基于point的模型中,圖卷積網絡(GCN)通過完全保留數據粒度和利用點間的相互關系表現出顯著的性能。然而,基于點的網絡在數據結構化(例如,最遠點采樣(FPS)和鄰接點查詢)上花費了大量的時間,限制了其速度和可擴展性。本文提出了一種快速、可擴展的點云學習方法--Grid-GCN。Grid-GCN采用了一種新穎的數據結構策略--Coverage-Aware Grid Query(CAGQ)。通過利用網格空間的效率,CAGQ在降低理論時間復雜度的同時提高了空間覆蓋率。與最遠的點采樣(FPS)和Ball Query等流行的采樣方法相比,CAGQ的速度提高了50倍。通過網格上下文聚合(GCA)模塊,Grid-GCN在主要點云分類和分割基準上實現了最先進的性能,并且運行時間比以前的方法快得多。值得注意的是,在每個場景81920個點的情況下,Grid-GCN在ScanNet上的推理速度達到了50fps。

網址://arxiv.org/abs/1912.02984

2. Object Relational Graph with Teacher-Recommended Learning for Video Captioning

作者:Ziqi Zhang, Yaya Shi, Chunfeng Yuan, Bing Li, Peijin Wang, Weiming Hu and Zhengjun Zha

摘要:充分利用視覺和語言的信息對于視頻字幕任務至關重要。現有的模型由于忽視了目標之間的交互而缺乏足夠的視覺表示,并且由于長尾(long-tailed)問題而對與內容相關的詞缺乏足夠的訓練。在本文中,我們提出了一個完整的視頻字幕系統,包括一種新的模型和一種有效的訓練策略。具體地說,我們提出了一種基于目標關系圖(ORG)的編碼器,該編碼器捕獲了更詳細的交互特征,以豐富視覺表示。同時,我們設計了一種老師推薦學習(Teacher-Recommended Learning, TRL)的方法,充分利用成功的外部語言模型(ELM)將豐富的語言知識整合到字幕模型中。ELM生成了在語義上更相似的單詞,這些單詞擴展了用于訓練的真實單詞,以解決長尾問題。 對三個基準MSVD,MSR-VTT和VATEX進行的實驗評估表明,所提出的ORG-TRL系統達到了最先進的性能。 廣泛的消去研究和可視化說明了我們系統的有效性。

網址:

3. Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction

作者:Abduallah Mohamed and Kun Qian

摘要:有了更好地了解行人行為的機器可以更快地建模智能體(如:自動駕駛汽車)和人類之間的特征交互。行人的運動軌跡不僅受行人自身的影響,還受與周圍物體相互作用的影響。以前的方法通過使用各種聚合方法(整合了不同的被學習的行人狀態)對這些交互進行建模。我們提出了社交-時空圖卷積神經網絡(Social-STGCNN),它通過將交互建模為圖來代替聚合方法。結果表明,最終位偏誤差(FDE)比現有方法提高了20%,平均偏移誤差(ADE)提高了8.5倍,推理速度提高了48倍。此外,我們的模型是數據高效的,在只有20%的訓練數據上ADE度量超過了以前的技術。我們提出了一個核函數來將行人之間的社會交互嵌入到鄰接矩陣中。通過定性分析,我們的模型繼承了行人軌跡之間可以預期的社會行為。

網址:

代碼鏈接:

4. Unbiased Scene Graph Generation from Biased Training

作者:Kaihua Tang, Yulei Niu, Jianqiang Huang, Jiaxin Shi and Hanwang Zhang

摘要:由于嚴重的訓練偏差,場景圖生成(SGG)的任務仍然不夠實際,例如,將海灘上的各種步行/坐在/躺下的人簡化為海灘上的人。基于這樣的SGG,VQA等下游任務很難推斷出比一系列對象更好的場景結構。然而,SGG中的debiasing 是非常重要的,因為傳統的去偏差方法不能區分好的和不好的偏差,例如,好的上下文先驗(例如,人看書而不是吃東西)和壞的長尾偏差(例如,將在后面/前面簡化為鄰近)。與傳統的傳統的似然推理不同,在本文中,我們提出了一種新的基于因果推理的SGG框架。我們首先為SGG建立因果關系圖,然后用該因果關系圖進行傳統的有偏差訓練。然后,我們提出從訓練好的圖中提取反事實因果關系(counterfactual causality),以推斷應該被去除的不良偏差的影響。我們使用Total Direct Effect作為無偏差SGG的最終分數。我們的框架對任何SGG模型都是不可知的,因此可以在尋求無偏差預測的社區中廣泛應用。通過在SGG基準Visual Genome上使用我們提出的場景圖診斷工具包和幾種流行的模型,與以前的最新方法相比有顯著提升。

網址:

代碼鏈接:

5. Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences

作者:Zhu Zhang, Zhou Zhao, Yang Zhao, Qi Wang, Huasheng Liu and Lianli Gao

摘要:在本文中,我們考慮了一項用于多形式句子(Multi-Form Sentences)的時空Video Grounding(STVG)的任務。 即在給定未剪輯的視頻和描述對象的陳述句/疑問句,STVG旨在定位所查詢目標的時空管道(tube)。STVG有兩個具有挑戰性的設置:(1)我們需要從未剪輯的視頻中定位時空對象管道,但是對象可能只存在于視頻的一小段中;(2)我們需要處理多種形式的句子,包括帶有顯式賓語的陳述句和帶有未知賓語的疑問句。 由于無效的管道預生成和缺乏對象關系建模,現有方法無法解決STVG任務。為此,我們提出了一種新穎的時空圖推理網絡(STGRN)。首先,我們構建時空區域圖來捕捉具有時間對象動力學的區域關系,包括每幀內的隱式、顯式空間子圖和跨幀的時間動態子圖。然后,我們將文本線索加入到圖中,并開發了多步跨模態圖推理。接下來,我們引入了一種具有動態選擇方法的時空定位器,該定位器可以直接檢索時空管道,而不需要預先生成管道。此外,我們在視頻關系數據集Vidor的基礎上構建了一個大規模的video grounding數據集VidSTG。大量的實驗證明了該方法的有效性。

網址:

付費5元查看完整內容

1、 Adversarial Graph Embedding for Ensemble Clustering

作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要:Ensemble Clustering通常通過圖分區方法將基本分區集成到共識分區(consensus partition)中,但這種方法存在兩個局限性: 1) 它忽略了重用原始特征; 2)獲得具有可學習圖表示的共識分區(consensus partition)仍未得到充分研究。在本文中,我們提出了一種新穎的對抗圖自動編碼器(AGAE)模型,將集成聚類結合到深度圖嵌入過程中。具體地,采用圖卷積網絡作為概率編碼器,將特征內容信息與共識圖信息進行聯合集成,并使用簡單的內積層作為解碼器,利用編碼的潛變量(即嵌入表示)重建圖。此外,我們還開發了一個對抗正則化器來指導具有自適應分區依賴先驗的網絡訓練。通過對8個實際數據集的實驗,證明了AGAE在幾種先進的深度嵌入和集成聚類方法上的有效性。

網址://www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要:Attributed Graph聚類是一項具有挑戰性的工作,它要求對圖結構和節點屬性進行聯合建模。圖卷積網絡的研究進展表明,圖卷積能夠有效地將結構信息和內容信息結合起來,近年來基于圖卷積的方法在一些實際屬性網絡上取得了良好的聚類性能。然而,對于圖卷積如何影響聚類性能以及如何正確地使用它來優化不同圖的性能,人們的了解有限。現有的方法本質上是利用固定低階的圖卷積,只考慮每個節點幾跳內的鄰居,沒有充分利用節點關系,忽略了圖的多樣性。本文提出了一種自適應圖卷積方法,利用高階圖卷積捕獲全局聚類結構,并自適應地為不同的圖選擇合適的順序。通過對基準數據集的理論分析和大量實驗,驗證了該方法的有效性。實驗結果表明,該方法與現有的方法相比具有較好的優越性。

網址:

3、Dynamic Hypergraph Neural Networks

作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要:近年來,基于圖/超圖(graph/hypergraph)的深度學習方法引起了研究者的廣泛關注。這些深度學習方法以圖/超圖結構作為模型的先驗知識。然而,隱藏的重要關系并沒有直接表現在內在結構中。為了解決這個問題,我們提出了一個動態超圖神經網絡框架(DHGNN),它由兩個模塊的堆疊層組成:動態超圖構造(DHG)和超圖卷積(HGC)。考慮到最初構造的超圖可能不適合表示數據,DHG模塊在每一層上動態更新超圖結構。然后引入超圖卷積對超圖結構中的高階數據關系進行編碼。HGC模塊包括兩個階段:頂點卷積和超邊界卷積,它們分別用于聚合頂點和超邊界之間的特征。我們已經在標準數據集、Cora引文網絡和微博數據集上評估了我們的方法。我們的方法優于最先進的方法。通過更多的實驗驗證了該方法對不同數據分布的有效性和魯棒性。

網址:

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者:Hogun Park and Jennifer Neville;

摘要:節點分類是關系機器學習中的一個重要問題。然而,在圖邊表示實體間交互的場景中(例如,隨著時間的推移),大多數當前方法要么將交互信息匯總為鏈接權重,要么聚合鏈接以生成靜態圖。在本文中,我們提出了一種神經網絡結構,它可以同時捕獲時間和靜態交互模式,我們稱之為Temporal-Static-Graph-Net(TSGNet)。我們的主要觀點是,利用靜態鄰居編碼器(可以學習聚合鄰居模式)和基于圖神經網絡的遞歸單元(可以捕獲復雜的交互模式),可以提高節點分類的性能。在我們對節點分類任務的實驗中,與最先進的方法相比,TSGNet取得了顯著的進步——與四個真實網絡和一個合成數據集中的最佳競爭模型相比,TSGNet的分類錯誤減少了24%,平均減少了10%。

網址:

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要:事件在現實世界中實時發生,可以是涉及多個人和物體的計劃和組織場合。社交媒體平臺發布了大量包含公共事件和綜合話題的文本消息。然而,由于文本中事件元素的異構性以及顯式和隱式的社交網絡結構,挖掘社會事件是一項具有挑戰性的工作。本文設計了一個事件元模式來表征社會事件的語義關聯,并構建了一個基于事件的異構信息網絡(HIN),該網絡融合了外部知識庫中的信息,提出了一種基于對偶流行度圖卷積網絡(PP-GCN)的細粒度社會事件分類模型。我們提出了一種基于事件間社會事件相似度(KIES)的知識元路徑實例,并建立了一個加權鄰域矩陣作為PP-GCN模型的輸入。通過對真實數據收集的綜合實驗,比較各種社會事件檢測和聚類任務。實驗結果表明,我們提出的框架優于其他可選的社會事件分類技術。

網址:

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要:基于會話的推薦旨在預測用戶基于匿名會話的下一步行動,是許多在線服務(比如電子商務,媒體流)中的關鍵任務。近年來,在不使用遞歸網絡和卷積網絡的情況下,自注意力網絡(SAN)在各種序列建模任務中取得了顯著的成功。然而,SAN缺乏存在于相鄰商品上的本地依賴關系,并且限制了其學習序列中商品的上下文表示的能力。本文提出了一種利用圖神經網絡和自注意力機制的圖上下文自注意力模型(GC-SAN),用于基于會話的推薦。在GC-SAN中,我們動態地為會話序列構造一個圖結構,并通過圖神經網絡(GNN)捕獲豐富的局部依賴關系。然后,每個會話通過應用自注意力機制學習長期依賴關系。最后,每個會話都表示為全局首選項和當前會話興趣的線性組合。對兩個真實數據集的大量實驗表明,GC-SAN始終優于最先進的方法。

網址:

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要:基于深度網絡的跨模態檢索近年來取得了顯著的進展。然而,彌補模態差異,進一步提高檢索精度仍然是一個關鍵的瓶頸。本文提出了一種圖卷積哈希(GCH)方法,該方法通過關聯圖學習模態統一的二進制碼。一個端到端深度體系結構由三個主要組件構成:語義編碼模塊、兩個特征編碼網絡和一個圖卷積網絡(GCN)。我們設計了一個語義編碼器作為教師模塊來指導特征編碼過程,即學生模塊,用于語義信息的挖掘。此外,利用GCN研究數據點之間的內在相似性結構,有助于產生有區別的哈希碼。在三個基準數據集上的大量實驗表明,所提出的GCH方法優于最先進的方法。

網址:

付費5元查看完整內容
北京阿比特科技有限公司