亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

數據挖掘領域的國際會議WSDM將于2020年2月3日-2月7日在美國休斯敦召開,WSDM 2020全稱為第13屆國際互聯網搜索與數據挖掘會議(The 13th International Conference on Web Search and Data Mining, WSDM 2020)。WSDM是CCF推薦的B類國際學術會議,由SIGIR、SIGKDD、SIGMOD和SIGWEB四個專委會協調籌辦,在互聯網搜索、數據挖掘領域享有較高學術聲譽。這次會議共收到來自615篇長文投稿,僅有91篇長文被錄用,錄用率約15%。

為此小編特意整理了近期五篇圖神經網絡(GNN)相關的接收論文,讓大家先睹為快。

1. A Structural Graph Representation Learning Framework

作者:Ryan A. Rossi, Nesreen K. Ahmed, Eunyee Koh, Sungchul Kim, Anup Rao and Yasin Abbasi-Yadkori;

摘要:許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入,而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中,我們闡述了高階網絡表示學習,并提出了一個稱為HONE的通用框架,用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法,該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外,HONE被證明是快速和有效的,最壞情況下的時間復雜度幾乎是線性的。實驗結果表明,該算法能有效地處理大量的網絡日志數據,包括鏈接預測和visitor stitching。

網址//ryanrossi.com/pubs/WSDM20-structural-node-embedding-framework.pdf

2. Initialization for Network Embedding: A Graph Partition Approach

作者:Wenqing Lin, Feng He, Faqiang Zhang, Xu Cheng and Hongyun Cai;

摘要:網絡嵌入已經在文獻中得到了深入的研究,并廣泛用于各種應用中,如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制,但常常忽略了學習過程中對初始化策略的討論。在這項工作中,我們解決了這個重要的網絡嵌入初始化問題,它可以顯著地提高算法的有效性和效率。具體來說,我們首先利用graph partition技術將圖劃分為幾個不相交的子集,然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入,得到圖中每個節點的嵌入初始化,abstract graph上的網絡嵌入比輸入圖小得多,然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗,我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能,分別提高了7.76%和8.74%。此外,我們證明了初始化技術至少減少了20%的運行時間。

網址

3. Dynamic graph representation learning via self-attention networks

作者:Aravind Sankar, Yanhong Wu, Liang Gou, Wei Zhang and Hao Yang;

摘要:學習圖中節點的潛在表示是一項重要且普遍存在的任務,在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上,而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中,我們提出了Dynamic Self-Attention Network (DySAT),這是一種新型的神經架構,它操作在動態圖上,并學習節點表示,以捕捉結構特性和時間演化模式。具體來說,DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗:通信網絡和二分評級網絡。我們的實驗結果表明,DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。

網址

4. Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

作者:Carl Yang, Jieyu Zhang, Haonan Wang, Sha Li, Myungwan Kim, Ma? Walker, Yiou Xiao and Jiawei Han;

摘要:盡管節點語義已在社交網絡中得到了廣泛的探索,但對邊緣語義即社會關系的研究很少受到關注。理想的邊緣語義不僅應該顯示兩個用戶是連接的,而且還應該說明他么為什么彼此認識以及共享什么。然而,由于嘈雜的多模態信號和有限的用戶生成的ground-truth標簽,社交網絡中的關系往往很難分析。

在這項工作中,我們的目標是開發一個統一的且有原則的框架,通過在有噪聲和不完整數據存在的情況下整合多模態信號,將用戶關系描述為社交網絡中的邊緣語義。我們的框架對于半監督或無監督的情況也是靈活的。具體地說,我們假定每個用戶鏈接下的多個關系的潛在分布,并使用多模態圖邊緣變分自動編碼器來學習它們。我們用一個圖卷積網絡對網絡數據進行編碼,用多個重構網絡對任意信號進行解碼。在兩個公開的DBLP author network和兩個internal LinkedIn member network上的大量實驗和案例研究證明了我們提出的模型的優越性和有效性。

網址

5. Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning

作者:Xianfeng Tang, Yandong Li, Yiwei Sun, Huaxiu Yao, Prasenjit Mitra and Suhang Wang;

摘要:圖神經網絡(GNNs)有著廣泛的應用。然而,他們在對抗攻擊的魯棒性方面是不行的。先前的研究表明,對圖拓撲或節點特征使用不明顯的修改會大大降低GNN的性能。設計強大的圖神經網絡以防止poisoning attack是一項非常具有挑戰性的工作。現有工作的目標是僅使用poisoned圖來減少adversarial edge的負面影響,這是次優的,因為它們無法區分adversarial edge和normal edge。另一方面,來自與目標poisoned圖類似領域的clean圖在現實世界中通常是可用的。通過擾動這些clean圖,我們創建了監督知識來訓練檢測adversarial edge的能力,從而提高了GNN的魯棒性。然而,現有的工作忽略了這種clean圖的潛力。為此,我們研究了一個新的問題,通過研究clean圖來提高GNNs對poisoning attack的魯棒性。具體而言,我們提出了PA-GNN,它基于一種懲罰性聚合機制,通過分配較低的注意力系數來直接限制adversarial edge的負面影響。為了優化一個poisoned圖的PA-GNN,我們設計了一種meta-optimization算法,訓練PA-GNN使用clean圖和其adversarial圖懲罰擾動,并將這種能力遷移到poisoned圖上,以提高PA-GNN的魯棒性。在四個真實數據集上的實驗結果證明了PA-GNN對圖數據poisoning attack的魯棒性。

網址

論文鏈接: 提取碼:uzby

付費5元查看完整內容

相關內容

網絡搜索和數據挖掘國際會議(WSDM)是關于Web上的搜索和數據挖掘研究的主要會議之一。WSDM在Web和社會Web上發布與搜索和數據挖掘相關的原始的、高質量的論文,著重于搜索和數據挖掘實用而有原則的新模型、算法設計和分析、經濟影響,以及對準確性和性能的深入實驗分析。 官網地址:

【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣

KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers

KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、

1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction

作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial

摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。

網址:

2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang

摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。

網址:

代碼鏈接:

3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun

摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。

網址:

4. Graph Structural-topic Neural Network

作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin

摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。

網址:

代碼鏈接:

5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi

摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。

網址:

付費5元查看完整內容

【導讀】作為CCF推薦的A類國際學術會議,International ACM SIGIR Conference on Research and Development in Information Retrieval(國際計算機學會信息檢索大會,簡稱 SIGIR)在信息檢索領域享有很高的學術聲譽,每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2020計劃將于 2020年7月25日~30日在中國西安舉行。本次大會共有555篇長文投稿,僅有147篇長文被錄用,錄用率約26%。專知小編提前為大家整理了六篇SIGIR 2020 基于圖神經網絡的推薦(GNN+RS)相關論文,這六篇論文分別出自中科大何向南老師和和昆士蘭大學陰紅志老師團隊,供大家參考——捆綁推薦、Disentangled GCF、服裝推薦、多行為推薦、全局屬性GNN

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Bundle Recommendation with Graph Convolutional Networks

作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin

摘要:捆綁推薦(Bundle recommendation )旨在推薦一組商品供用戶整體消費。現有的解決方案通過共享模型參數或多任務學習的方式將用戶項目交互建模集成到捆綁推薦中,然而,這些方法不能顯式建模項目與捆綁包(bundles)之間的隸屬關系,不能探索用戶選擇捆綁包時的決策。在這項工作中,我們提出了一個用于捆綁推薦的圖神經網絡模型BGCN(Bundle Graph Convolutional Network)。BGCN將用戶-項目交互、用戶-捆綁包交互和捆綁包-項目從屬關系統一到一個異構圖中。以項目節點為橋梁,在用戶節點和捆綁包節點之間進行圖卷積傳播,使學習到的表示能夠捕捉到項目級的語義。通過基于hard-negative采樣器的訓練,可以進一步區分用戶對相似捆綁包的細粒度偏好。在兩個真實數據集上的實驗結果表明,BGCN的性能有很高的提升,其性能比最新的基線高出10.77%到23.18%。

網址: //arxiv.org/abs/2005.03475

2. Disentangled Graph Collaborative Filtering

作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua

摘要:從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入函數利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,這些方法在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了打發時間,為了興趣,或者為其他人(如家庭)購物。這種統一的對用戶興趣建模的方法很容易導致次優表示,不能對不同的關系建模并在表示中分清用戶意圖。在這項工作中,我們特別關注用戶意圖細粒度上的用戶-項目關系。因此,我們設計了一種新的模型- Disentangled圖協同過濾(Disentangled Graph Collaborative Filtering ,DGCF),來理清這些因素并產生disentangled的表示。具體地說,通過在每個用戶-項目交互意圖上的分布建模,我們迭代地細化意圖感知的交互圖和表示。同時,我們鼓勵不同的意圖獨立。這將生成disentangled的表示,有效地提取與每個意圖相關的信息。我們在三個基準數據集上進行了廣泛的實驗,DGCF與NGCF、DisenGCN和MacridV AE這幾個最先進的模型相比取得了顯著的改進。進一步的分析揭示了DGCF在分解用戶意圖和表示的可解釋性方面的優勢。

網址:

代碼鏈接:

.

3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection

作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui

摘要:近年來,推薦系統已經成為所有電子商務平臺中不可缺少的功能。推薦系統的審查評級數據通常來自開放平臺,這可能會吸引一群惡意用戶故意插入虛假反饋,試圖使推薦系統偏向于他們。此類攻擊的存在可能會違反高質量數據始終可用的建模假設,而這些數據確實會影響用戶的興趣和偏好。因此,構建一個即使在攻擊下也能產生穩定推薦的健壯推薦系統具有重要的現實意義。本文提出了一種基于GCN的用戶表示學習框架GraphRf,該框架能夠統一地進行穩健的推薦和欺詐者檢測。在其端到端學習過程中,用戶在欺詐者檢測模塊中被識別為欺詐者的概率自動確定該用戶的評級數據在推薦模塊中的貢獻;而在推薦模塊中輸出的預測誤差作為欺詐者檢測模塊中的重要特征。因此,這兩個組成部分可以相互促進。經過大量的實驗,實驗結果表明我們的GraphRf在魯棒評級預測和欺詐者檢測這兩個任務中具有優勢。此外,所提出的GraphRf被驗證為對現有推薦系統上的各種攻擊具有更強的魯棒性。

網址:

4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua

摘要:服裝推薦越來越受到網購服務商和時尚界的關注。與向用戶推薦單個單品(例如,朋友或圖片)的其他場景(例如,社交網絡或內容共享)不同,服裝推薦預測用戶對一組匹配良好的時尚單品的偏好。因此,進行高質量的個性化服裝推薦應滿足兩個要求:1)時尚單品的良好兼容性;2)與用戶偏好的一致性。然而,目前的研究主要集中在其中一個需求上,只考慮了用戶-全套服裝(outfit)或全套服裝-項目的關系,從而容易導致次優表示,限制了性能。在這項工作中,我們統一了兩個任務,服裝兼容性建模和個性化服裝推薦。為此,我們開發了一個新的框架,層次時尚圖網絡(HFGN),用于同時建模用戶、商品和成套服裝之間的關系。特別地,我們構建了一個基于用戶-全套服裝交互和全套服裝-項目映射的層次結構。然后,我們從最近的圖神經網絡中得到啟發,在這種層次圖上使用嵌入傳播,從而將項目信息聚合到一個服裝表示中,然后通過他/她的歷史服裝來提煉用戶的表示。此外,我們還對這兩個任務進行了聯合訓練,以優化這些表示。為了證明HFGN的有效性,我們在一個基準數據集上進行了廣泛的實驗,HFGN在NGNN和FHN等最先進的兼容性匹配模型基礎上取得了顯著的改進。

網址:

代碼鏈接:

5. Multi-behavior Recommendation with Graph Convolutional Networks

作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li

摘要:傳統的推薦模型通常只使用一種類型的用戶-項目交互,面臨著嚴重的數據稀疏或冷啟動問題。利用多種類型的用戶-項目交互(例如:點擊和收藏)的多行為推薦可以作為一種有效的解決方案。早期的多行為推薦研究未能捕捉到行為對目標行為的不同程度的影響。它們也忽略了多行為數據中隱含的行為語義。這兩個限制都使得數據不能被充分利用來提高對目標行為的推薦性能。在這項工作中,我們創新性地構造了一個統一的圖來表示多行為數據,并提出了一種新的模型--多行為圖卷積網絡(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通過用戶-項目傳播層學習行為強度,通過項目-項目傳播層捕獲行為語義,較好地解決了現有工作的局限性。在兩個真實數據集上的實驗結果驗證了該模型在挖掘多行為數據方面的有效性。我們的模型在兩個數據集上的性能分別比最優基線高25.02%和6.51%。對冷啟動用戶的進一步研究證實了該模型的實用性。

網址:

6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation

作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen

摘要:基于流會話的推薦(Streaming session-based recommendation,SSR)是一項具有挑戰性的任務,它要求推薦器系統在流媒體場景(streaming scenario)中進行基于會話的推薦(SR)。在電子商務和社交媒體的現實應用中,在一定時間內產生的一系列用戶-項目交互被分組為一個會話,這些會話以流的形式連續到達。最近的SR研究大多集中在靜態集合上,即首先獲取訓練數據,然后使用該集合來訓練基于會話的推薦器模型。他們需要對整個數據集進行幾個epoch的訓練,這在流式設置下是不可行的。此外,由于對用戶信息的忽視或簡單使用,它們很難很好地捕捉到用戶的長期興趣。雖然最近已經提出了一些流推薦策略,但它們是針對個人交互流而不是會話流而設計的。本文提出了一種求解SSR問題的帶有Wasserstein 庫的全局屬性圖(GAG)神經網絡模型。一方面,當新的會話到達時,基于當前會話及其關聯用戶構造具有全局屬性的會話圖。因此,GAG可以同時考慮全局屬性和當前會話,以了解會話和用戶的更全面的表示,從而在推薦中產生更好的性能。另一方面,為了適應流會話場景,提出了Wasserstein庫來幫助保存歷史數據的代表性草圖。在兩個真實數據集上進行了擴展實驗,驗證了GAG模型與最新方法相比的優越性。

網址:

付費5元查看完整內容

【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期一些Paper放出來了,為此,專知小編提前為大家整理了五篇KDD 2020 圖神經網絡(GNN)相關論文,供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者:Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要:圖神經網絡(GNNs)是圖表示學習的有力工具。但是,最近的研究表明,GNN容易受到精心設計的擾動(稱為對抗攻擊)的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此,開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯,真實世界的圖共享一些內在屬性。例如,許多現實世界的圖都是低秩和稀疏的,兩個相鄰節點的特征往往是相似的。事實上,我們發現對抗攻擊很可能會違背這些圖的性質。因此,在本文中,我們利用這些特性來防御針對圖的對抗攻擊。特別是,我們提出了一個通用框架Pro-GNN,該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明,即使在圖受到嚴重干擾的情況下,我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫,以進行對抗性攻擊和防御。

網址: //arxiv.org/pdf/2005.10203.pdf

代碼鏈接:

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者:Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要:多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴,但現有方法未能充分利用變量對之間的潛在空間相關性。同時,近些年來,圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播,這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系,可以方便地集成變量屬性等外部知識。在此基礎上,提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明,我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法,并且在提供額外結構信息的兩個交通數據集上,與其他方法具有同等的性能。

網址:

3. Understanding Negative Sampling in Graph Representation Learning

作者:Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要:在最近的幾年中,對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入,但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣,而對負向采樣的策略探索不夠。為了彌補這一差距,我們從目標和風險兩個角度系統地分析了負采樣的作用,從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知,我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下,我們提出了MCNS,用自對比度近似法近似正分布,并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法,這些數據集涵蓋了19個實驗設置,涵蓋了廣泛的下游圖學習任務,包括鏈接預測,節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址:

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者:Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要:將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合,它們首先構建一個圖,然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注:1)多視圖數據在工業中是豐富而且有用的,并且可能超過單個矢量的容量;2)由于多視圖數據往往來自不同的分布,可能會引入歸納偏置(inductive bias)。在本文中,我們使用一種多視圖表示對齊方法來解決這個問題。特別地,我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖,從多個圖中學習多個單獨的表示,并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外,M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL,并對570億個實例進行了訓練。根據離線指標和在線A/B測試,M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明,利用M2GRL產生的多種表征是有效的,對于不同側重點的各種工業推薦任務來說,M2GRL是一個很有前途的方向。

網址:

5. Controllable Multi-Interest Framework for Recommendation

作者:Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要:近年來,由于深度學習的快速發展,神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題,目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而,統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架,稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣,可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明,我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址:

代碼鏈接:

付費5元查看完整內容

【導讀】作為計算機視覺領域的三大國際頂會之一,IEEE國際計算機視覺與模式識別會議 CVPR 每年都會吸引全球領域眾多專業人士參與。由于受COVID-19疫情影響,原定于6月16日至20日在華盛頓州西雅圖舉行的CVPR 2020將全部改為線上舉行。今年的CVPR有6656篇有效投稿,最終有1470篇論文被接收,接收率為22%左右。之前小編為大家整理過CVPR 2020 GNN 相關論文,這周小編繼續為大家整理了五篇CVPR 2020 圖神經網絡(GNN)相關論文,供大家參考——行為識別、少樣本學習、仿射跳躍連接、多層GCN、3D視頻目標檢測。

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition

作者:Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, Wanli Ouyang

摘要:基于骨架的動作識別算法廣泛使用時空圖對人體動作動態進行建模。為了從這些圖中捕獲魯棒的運動模式,長范圍和多尺度的上下文聚合與時空依賴建模是一個強大的特征提取器的關鍵方面。然而,現有的方法在實現(1)多尺度算子下的無偏差長范圍聯合關系建模和(2)用于捕捉復雜時空依賴的通暢的跨時空信息流方面存在局限性。在這項工作中,我們提出了(1)一種簡單的分解(disentangle)多尺度圖卷積的方法和(2)一種統一的時空圖卷積算子G3D。所提出的多尺度聚合方法理清了不同鄰域中節點對于有效的遠程建模的重要性。所提出的G3D模塊利用密集的跨時空邊作為跳過連接(skip connections),用于在時空圖中直接傳播信息。通過耦合上述提議,我們開發了一個名為MS-G3D的強大的特征提取器,在此基礎上,我們的模型在三個大規模數據集NTU RGB+D60,NTU RGB+D120和Kinetics Skeleton 400上的性能優于以前的最先進方法。

網址: //arxiv.org/pdf/2003.14111.pdf

代碼鏈接: github.com/kenziyuliu/ms-g3d

2. DPGN: Distribution Propagation Graph Network for Few-shot Learning

作者:Ling Yang, Liangliang Li, Zilun Zhang, Xinyu Zhou, Erjin Zhou, Yu Liu

摘要:大多數基于圖網絡的元學習方法都是為實例的instance-level關系進行建模。我們進一步擴展了此思想,以1-vs-N的方式將一個實例與所有其他實例的分布級關系明確建模。我們提出了一種新的少樣本學習方法--分布傳播圖網絡(DPGN)。它既表達了每個少樣本學習任務中的分布層次關系,又表達了實例層次關系。為了將所有實例的分布層關系和實例層關系結合起來,我們構造了一個由點圖和分布圖組成的對偶全圖網絡,其中每個節點代表一個實例。DPGN采用雙圖結構,在更新時間內將標簽信息從帶標簽的實例傳播到未帶標簽的實例。在少樣本學習的大量基準實驗中,DPGN在監督設置下以5%~12%和在半監督設置下以7%~13%的優勢大大超過了最新的結果。

網址:

代碼鏈接:

3. Geometrically Principled Connections in Graph Neural Networks

作者:Shunwang Gong, Mehdi Bahri, Michael M. Bronstein, Stefanos Zafeiriou

摘要:圖卷積操作為以前認為遙不可及的各種圖形和網格處理任務帶來了深度學習的優勢。隨著他們的持續成功,人們希望設計更強大的體系結構,這通常是將現有的深度學習技術應用于非歐幾里得數據。在這篇文章中,我們認為幾何應該仍然是幾何深度學習這一新興領域創新的主要驅動力。我們將圖神經網絡與廣泛成功的計算機圖形和數據近似模型(徑向基函數(RBF))相關聯。我們推測,與RBF一樣,圖卷積層將從向功能強大的卷積核中添加簡單函數中受益。我們引入了仿射跳躍連接 (affine skip connections),這是一種通過將全連接層與任意圖卷積算子相結合而形成的一種新的構建塊。通過實驗證明了我們的技術的有效性,并表明性能的提高是參數數量增加的結果。采用仿射跳躍連接的算子在形狀重建、密集形狀對應和圖形分類等每一項任務上的表現都明顯優于它們的基本性能。我們希望我們簡單有效的方法將成為堅實的基準,并有助于簡化圖神經網絡未來的研究。

網址:

4. L^2-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:圖卷積網絡(GCN)在許多應用中越來越受歡迎,但在大型圖形數據集上的訓練仍然是出了名的困難。它們需要遞歸地計算鄰居的節點表示。當前的GCN訓練算法要么存在隨層數呈指數增長的高計算成本,要么存在加載整個圖和節點嵌入的高內存使用率問題。本文提出了一種新的高效的GCN分層訓練框架(L-GCN),該框架將訓練過程中的特征聚合和特征變換分離開來,從而大大降低了時間和存儲復雜度。我們在圖同構框架下給出了L-GCN的理論分析,在溫和的條件下,與代價更高的傳統訓練算法相比L-GCN可以產生同樣強大的GCN。我們進一步提出了L2-GCN,它為每一層學習一個控制器,該控制器可以自動調整L-GCN中每一層的訓練周期。實驗表明,L-GCN比現有技術快至少一個數量級,內存使用量的一致性不依賴于數據集的大小,同時保持了還不錯的預測性能。通過學習控制器,L2-GCN可以將訓練時間進一步減少一半。

網址:

代碼鏈接:

補充材料:

5. LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention

作者:Junbo Yin, Jianbing Shen, Chenye Guan, Dingfu Zhou, Ruigang Yang

摘要:現有的基于LiDAR的3D目標檢測算法通常側重于單幀檢測,而忽略了連續點云幀中的時空信息。本文提出了一種基于點云序列的端到端在線3D視頻對象檢測器。該模型包括空間特征編碼部分和時空特征聚合部分。在前一個組件中,我們提出了一種新的柱狀消息傳遞網絡(Pillar Message Passing Network,PMPNet)來對每個離散點云幀進行編碼。它通過迭代信息傳遞的方式自適應地從相鄰節點收集柱節點的信息,有效地擴大了柱節點特征的感受野。在后一組件中,我們提出了一種注意力時空轉換GRU(AST-GRU)來聚合時空信息,通過注意力記憶門控機制增強了傳統的ConvGRU。AST-GRU包含一個空間Transformer Attention(STA)模塊和一個時間Transformer Attention(TTA)模塊,分別用于強調前景對象和對齊動態對象。實驗結果表明,所提出的3D視頻目標檢測器在大規模的nuScenes基準測試中達到了最先進的性能。

網址:

代碼鏈接:

付費5元查看完整內容

人工智能領域的頂會AAAI 2020將在2020年2月7日-12日在美國紐約舉行。據官方統計消息,AAAI 2020今年共收到的有效論文投稿超過 8800 篇,其中 7737 篇論文進入評審環節,最終收錄數量為 1591 篇,接收率 20.6%。開會在即,專知小編提前整理了AAAI 2020圖神經網絡(GNN)相關的接收論文,讓大家先睹為快——跨模態、部分標簽學習、交通流預測、少樣本學習、貝葉斯圖神經網絡。

  1. Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

作者:Renchun You, Zhiyao Guo, Lei Cui, Xiang Long, Yingze Bao, Shilei Wen

摘要:多標簽圖像和視頻分類是計算機視覺中最基本也是最具挑戰性的任務。主要的挑戰在于捕獲標簽之間的空間或時間依賴關系,以及發現每個類的區別性特征的位置。為了克服這些挑戰,我們提出將語義圖嵌入的跨模態注意力機制用于多標簽分類。基于所構造的標簽圖,我們提出了一種基于鄰接關系的相似圖嵌入方法來學習語義標簽嵌入,該方法顯式地利用了標簽之間的關系。在學習標簽嵌入的指導下,生成我們新穎的跨模態注意力圖。在兩個多標簽圖像分類數據集(MS-COCO和NUS-WIDE)上的實驗表明,我們的方法優于其他現有的方法。此外,我們在一個大的多標簽視頻分類數據集(YouTube-8M Segments)上驗證了我們的方法,評估結果證明了我們的方法的泛化能力。

網址: //arxiv.org/abs/1912.07872

  1. General Partial Label Learning via Dual Bipartite Graph Autoencoder

作者:Brian Chen, Bo Wu, Alireza Zareian, Hanwang Zhang, Shih-Fu Chang

摘要:我們提出了一個實際但有挑戰性的問題: 通用部分標簽學習(General Partial Label Learning,GPLL)。相比傳統的部分標簽學習(Partial Label Learning,PLL)問題, GPLL將監督假設從從實例級別(標簽集部分標記一個實例)放到了組級別: 1)標簽集部分標簽了一組實例, 其中組內 instance-label link annotations 丟失, 2)組間的link是允許的——組中的實例可以部分鏈接到另一個組中的標簽集。這種模糊的組級監督在實際場景中更實用,因為不再需要實例級的附加標注,例如,在視頻中組由一個幀中的人臉組成,并在相應的標題中使用名稱集進行標記,因此不再需要對實例級進行命名。本文提出了一種新的圖卷積網絡(GCN)——Dual Bipartite Graph Autoencoder (DB-GAE)來解決GPLL的標簽模糊問題。首先,我們利用組間的相互關系將實例組表示為dual bipartite圖:組內圖和組間圖,它們相互補充以解決鏈接的歧義。其次,我們設計了一個GCN自動編碼器來對它們進行編碼和解碼,其中的解碼被認為是經過改進的結果。值得注意的是DB-GAE是自監督和轉導的,因為它只使用組級的監督,而沒有單獨的offline訓練階段。對兩個真實數據集的大量實驗表明,DB-GAEG跟最佳baseline相比有著絕對的提升,0.159 的F1 score和24.8%的accuracy。我們還進一步分析了標簽歧義的各個層次。

網址:

  1. GMAN: A Graph Multi-Attention Network for Traffic Prediction

作者:Chuanpan Zheng, Xiaoliang Fan, Cheng Wang, Jianzhong Qi

摘要:由于交通系統的復雜性和影響因素的不斷變化,長期的交通預測具有很大的挑戰性。在本文中,我們以時空因素為研究對象,提出了一種多注意力圖網絡(graph multi-attention network ,GMAN)來預測道路網絡圖中不同位置的時間步長的交通狀況。GMAN采用了一種encoder-decoder結構,其中編碼器和解碼器都由多個時空注意力塊組成,以模擬時空因素對交通條件的影響。編碼器對輸入流量特征進行編碼,解碼器對輸出序列進行預測。在編碼器和解碼器之間,應用轉換注意力層來轉換已編碼的流量特征,以生成未來時間步長的序列表示作為解碼器的輸入。轉換注意力機制模擬了歷史時間步長與未來時間步長之間的直接關系,有助于緩解預測時間步長之間的誤差傳播問題。在兩個現實世界中的交通預測任務(即交通量預測和交通速度預測)上的實驗結果證明了GMAN的優越性。特別地,在提前1個小時的預測中,GMAN的MAE指標提高了4%,優于最新技術。源代碼可在

網址:

  1. Graph Few-shot Learning via Knowledge Transfer

作者:Huaxiu Yao, Chuxu Zhang, Ying Wei, Meng Jiang, SuhangWang, Junzhou Huang, Nitesh V. Chawla, Zhenhui Li

摘要:對于具有挑戰性的半監督節點分類問題,已經進行了廣泛的研究。圖神經網絡(GNNs)作為一個前沿領域,近年來引起了人們極大的興趣。然而,大多數GNN具有較淺的層,接收域有限,并且可能無法獲得令人滿意的性能,特別是在標記節點數量很少的情況下。為了解決這一問題,我們創新性地提出了一種基于輔助圖的先驗知識的graph few-shot learning (GFL)算法,以提高目標圖的分類精度。具體來說,輔助圖與目標之間共享一個可遷移的度量空間,該空間以節點嵌入和特定于圖的原型嵌入函數為特征,便于結構知識的傳遞。對四個真實世界圖數據集的大量實驗和消融研究證明了我們提出的模型的有效性以及每個組件的貢獻。

網址:

  1. Learning Cross-Modal Context Graph for Visual Grounding

作者:Yongfei Liu, Bo Wan, Xiaodan Zhu, Xuming He

摘要:Visual grounding是許多視覺語言任務中普遍存在的一個基本單元,但由于grounding實體的視覺和語言特征的巨大差異、強大的語境效應以及由此產生的語義歧義,visual grounding仍然具有挑戰性。以前的研究主要集中在學習單個短語在有限的語境信息下的表達。針對其局限性,本文提出了一種languageguided graph representation表示方法來捕獲grounding實體的全局上下文及其關系,并針對多短語visual grounding任務開發了一種跨模態圖匹配策略。特別地,我們引入一個模塊化圖神經網絡,通過消息傳播分別計算短語和目標建議的上下文感知表示,然后引入一個基于圖的匹配模塊來生成全局一致的基礎短語定位。我們在兩階段策略中聯合訓練整個圖神經網絡,并在Flickr30K Entities基準上對其進行評估。大量的實驗表明,我們的方法比之前的技術有相當大的優勢,證明了我們的基礎框架的有效性。代碼可以在 找到。

網址:

  1. Learning from the Past: Continual Meta-Learning with Bayesian Graph Neural Networks

作者:Yadan Luo, Zi Huang, Zheng Zhang, Ziwei Wang, Mahsa Baktashmotlagh, Yang Yang

摘要:元學習(Meta-learning)用于few-shot learning,允許機器利用以前獲得的知識作為優先級,從而在只有少量數據的情況下提高新任務的性能。然而,大多數主流模型都存在災難性遺忘和魯棒性不足的問題,因此不能充分保留或利用長期知識,同時容易導致嚴重的錯誤累積。本文提出了一種新的基于貝葉斯圖神經網絡(CML-BGNN)的連續元學習方法。通過將每個任務形成一個圖,可以通過消息傳遞和歷史遷移很好地保存任務內部和任務間的相關性。為了解決圖初始化過程中的拓撲不確定性問題,我們使用了Bayes by Backprop算法,該算法利用amortized推理網絡逼近任務參數的后驗分布,并將其無縫地集成到端到端邊緣學習中。在miniImageNet和tieredImageNet數據集上進行的大量實驗證明了該方法的有效性和效率,與最先進的miniImageNet 5-way 1-shot分類任務相比,性能提高了42:8%。

網址:

  1. Neural Graph Embedding for Neural Architecture Search

作者:Wei Li, Shaogang Gong, Xiatian Zhu

摘要:現有的神經體系結構搜索((NAS))方法往往直接在離散空間或連續空間中進行搜索,忽略了神經網絡的圖形拓撲知識。考慮到神經網絡本質上是有向無環圖(DAG),這會導致搜索性能和效率欠佳。在這項工作中,我們通過引入一種新的神經圖嵌入(NGE)思想來解決這個限制。具體來說,我們用神經DAG表示神經網絡的構建塊(即cell),并利用圖卷積網絡來傳播和建模網絡結構的固有拓撲信息。這導致可與現有的不同NAS框架集成的通用神經網絡表示。大量實驗表明,在圖像分類和語義分割方面,NGE優于最新方法。

網址:

  1. RoadTagger: Robust Road Attribute Inference with Graph Neural Networks

作者:Songtao He, Favyen Bastani, Satvat Jagwani, Edward Park, Sofiane Abbar, Mohammad Alizadeh, Hari Balakrishnan, Sanjay Chawla, Samuel Madden, Mohammad Amin Sadeghi

摘要:從衛星圖像中推斷道路屬性(例如車道數和道路類型)是一項挑戰。通常,由于衛星圖像的遮擋和道路屬性的空間相關性,僅當考慮道路的較遠路段時,道路上某個位置的道路屬性才可能是顯而易見的。因此,為了魯棒地推斷道路屬性,模型必須整合分散的信息,并捕捉道路沿線特征的空間相關性。現有的解決方案依賴于圖像分類器,無法捕獲這種相關性,導致準確性較差。我們發現這種失敗是由于一個基本的限制–圖像分類器的有效接受范圍有限。

為了克服這一局限性,我們提出了一種結合卷積神經網絡(CNNs)和圖神經網絡(GNNs)來推斷道路屬性的端到端體系結構RoadTagger。使用GNN允許信息在路網圖上傳播,消除了圖像分類器的接收域限制。我們在一個覆蓋美國20個城市688平方公里面積的大型真實數據集和一個綜合數據集上對RoadTagger進行了評估。在評估中,與基于CNN圖像分類器的方法相比,RoadTagger提高了推理的準確性。此外,RoadTagger對衛星圖像的中斷具有較強的魯棒性,能夠學習復雜的inductive rule來聚合道路網絡上分散的信息。

網址:

付費5元查看完整內容

最近,數據挖掘領域國際最高級別會議KDD 2019 于 2019 年 8 月 4 日- 8 日在美國阿拉斯加州安克雷奇市舉行。今年的 KDD 包括兩個track:Research Track和 Applied Data Science track。據了解,Research Track 共收到約 1200 篇投稿,其中約 110 篇 接收為oral 論文,60 篇 接收為poster 論文,接收率僅為 14%。專知小編發現關于圖神經網絡的相關論文在今年的KDD上非常多,所以今天小編專門整理最新12篇圖神經網絡(GNN)相關論文——聚類-GCN、條件隨機場-GCN、Degree-GNN、GCN-MF、GCN-Pooling、GRN、異構GNN、強化學習-GNN、對抗攻擊-GCN。

  1. Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks

作者:Wei-Lin Chiang; Xuanqing Liu; Si Si; Yang Li; Samy Bengio; Cho-Jui Hsieh;

摘要:圖卷積網絡(GCN)已成功地應用于許多基于圖的應用中; 然而,訓練一個大規模的GCN仍然是具有挑戰性的。現有的基于SGD的算法要么計算成本高,且隨著GCN層數的增加呈指數級增長,要么需要很大的空間來保存整個圖以及在內存中嵌入每個節點。本文利用圖的聚類結構,提出了一種新的適合于基于SGD的訓練的GCN算法Cluster-GCN。Cluster-GCN的工作原理如下: 在每一步中,它對與圖聚類算法標識的密集子圖相關聯的節點塊進行采樣,并限制在該子圖中進行鄰域搜索。這種簡單而有效的策略能夠顯著提高內存和計算效率,同時能夠達到與以前算法相當的測試精度。為了測試算法的可擴展性,我們創建了一個新的Amazon2M數據集,包含200萬個節點和6100萬條邊,比之前最大的公共可用數據集(Reddit)大5倍以上。對于在此數據集上訓練3層GCN, Cluster-GCN比之前最先進的VR-GCN(1523秒vs. 1961秒)更快,并且使用更少的內存(2.2GB vs. 11.2GB)。此外,對于該數據集的4層GCN的訓練,我們的算法可以在36分鐘左右完成,而現有的GCN訓練算法都因為內存不足而無法訓練。此外,Cluster-GCN允許我們在不需要太多時間和內存開銷的情況下訓練更深層的GCN,從而提高了預測精度——使用5層Cluster-GCN,我們在PPI數據集上實現了最先進的測試結果,F1 score為99.36,而之前最好的結果是98.71。

網址:

//www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol

  1. Conditional Random Field Enhanced Graph Convolutional Neural Networks

作者:Hongchang Gao; Jian Pei; Heng Huang;

摘要:圖卷積神經網絡近年來受到越來越多的關注。與標準卷積神經網絡不同,圖卷積神經網絡對圖數據進行卷積運算。與一般數據相比,圖數據具有不同節點間的相似性信息。因此,在圖卷積神經網絡的隱層中保存這種相似性信息是非常重要的。然而,現有的工作沒有做到這一點。另一方面,為了保持相似關系,對隱藏層的增強是一個挑戰。為了解決這一問題,我們提出了一種新的CRF層用于圖卷積神經網絡,以使得相似節點具有相似的隱藏特征。這樣,可以顯式地保存相似性信息。此外,我們提出的CRF層易于計算和優化。因此,它可以很容易地插入到現有的圖卷積神經網絡中,提高其性能。最后,大量的實驗結果驗證了我們提出的CRF層的有效性。

網址:

  1. DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification

作者:Jun Wu; Jingrui He; Jiejun Xu;

摘要:圖數據廣泛存在于許多具有高影響力的應用中。受網格結構數據深度學習成功的啟發,研究者提出了一種學習強大的節點級或圖級表示的圖神經網絡模型。然而,現有的圖神經網絡大多存在以下局限性:(1)對圖卷積的seed-oriented、degree-aware、order-free等特性的分析比較有限; (2) 在區分結構感知節點鄰域時,沒有將節點的degree-specific圖結構顯式表示為圖卷積; (3)圖級pooling機制的理論解釋尚不明確。為了解決這些問題,我們提出了一種基于Weisfeiler- Lehman圖同構測試的通用degree-specific圖神經網絡DEMO-Net。為了顯式地捕獲與節點屬性集成的圖的拓撲結構,我們認為圖卷積應該具有三個屬性:seed-oriented, degree-aware 和order-free。為此,我們提出了多任務圖卷積,其中每個任務表示具有specific degree value的節點的節點表示學習,從而保持了degree-specific的圖結構。特別地,我們設計了兩種多任務學習方法:degree-specific權重法和圖卷積的哈希函數法。此外,我們還提出了一種新的圖級pooling/readout方案,用于學習圖形表示,可證明位于degree-specific的Hilbert kernel空間中。在多個節點和圖分類基準數據集上的實驗結果表明,我們提出的DEMO-Net相對于最先進的圖神經網絡模型的有效性和高效性。

網址:

  1. GCN-MF: Disease-Gene Association Identification By Graph Convolutional Networks and Matrix Factorization

作者:Peng Han; Peng Yang; Peilin Zhao; Shuo Shang; Yong Liu; Jiayu Zhou; Xin Gao; Panos Kalnis;

摘要:發現疾病基因關聯是一項基礎性和關鍵性的生物醫學任務,它有助于生物學家和醫生發現癥候的致病機制。基于網絡的半監督學習(NSSL)是這些研究中常用的一種方法,它利用各種臨床生物標志物來測量基因和疾病表型之間的相似性,來解決這個類平衡的大規模數據問題。然而,大多數現有的NSSL方法都是基于線性模型的,存在兩個主要限制:1)它們隱式地考慮每個候選對象的局部結構表示; 2)他們無法捕捉疾病和基因之間的非線性聯系。本文將圖卷積網絡(GCN)和矩陣因子分解相結合,提出了一種新的疾病基因關聯任務框架GCN-MF。在GCN的幫助下,我們可以捕獲非線性相互作用,并利用測量到的相似性。此外,我們定義了一個邊際控制損失函數,以減少稀疏性的影響。實驗結果表明,所提出的深度學習算法在大多數指標上都優于其他最先進的方法。

網址:

  1. Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks

作者:Namyong Park; Andrey Kan; Xin Luna Dong; Tong Zhao; Christos Faloutsos;

摘要:如何估計知識圖譜(KG)中節點的重要性? KG是一個多關系圖,它被證明對于許多任務(包括問題回答和語義搜索)都很有價值。在本文中,我們提出了GENI,一種解決KG中節點重要性估計問題的方法,該方法支持商品推薦和資源分配等多種下游應用。雖然已經有了一些方法來解決一般圖的這個問題,但是它們沒有充分利用KG中可用的信息,或者缺乏建模實體與其重要性之間復雜關系所需的靈活性。為了解決這些限制,我們探索了有監督的機器學習算法。特別是,基于圖神經網絡(GNN)的最新進展,我們開發了GENI,這是一種基于GNN的方法,旨在應對預測KG中節點重要性所涉及的獨特挑戰。我們的方法通過predicate-aware注意力機制和靈活的中心性調整來執行重要性分數的聚合,而不是聚合節點嵌入。在我們對GENI和現有方法的評估中,GENI在預測具有不同特征的真實KG中節點重要性方面比現有方法高出5-17%。

網址:

  1. Graph Convolutional Networks with EigenPooling

作者:Yao Ma; Suhang Wang; Charu Aggarwal; Jiliang Tang;

摘要:圖神經網絡將深度神經網絡模型推廣到圖結構數據中,近年來受到越來越多的關注。它們通常通過轉換、傳播和聚合節點特征來學習節點表示,并被證明可以提高許多與圖相關的任務的性能,如節點分類和鏈接預測。將圖神經網絡應用于圖分類任務,需要從節點表示生成圖表示的方法。一種常見的方法是全局組合節點表示。然而,豐富的結構信息被忽略了。因此,在圖表示學習過程中,需要一個層次的pooling過程來保持圖的結構。最近有一些關于層次學習圖表示的工作類似于傳統卷積神經網絡(CNN)中的pooling步驟。然而,在匯聚過程中,局部結構信息在很大程度上仍然被忽略。本文介紹了一種基于圖的傅里葉變換的pooling操作EigenPooling,它可以利用pooling過程中的節點特征和局部結構。然后基于pooling算子設計pooling層,并與傳統的GCN卷積層進一步結合,形成一個用于圖分類的圖神經網絡框架EigenGCN。從局部和全局的角度對EigenGCN進行了理論分析。圖分類任務在6個常用benchmark上的實驗結果表明了該框架的有效性。

網址:

  1. Graph Recurrent Networks with Attributed Random Walks

作者:Xiao Huang; Qingquan Song; Yuening Li; Xia Hu;

摘要:隨機游走被廣泛應用于從網絡嵌入到標簽傳播的各種網絡分析任務中。它可以捕獲并將幾何結構轉換為結構化序列,同時解決了稀疏性和維數的災難性問題。雖然對純網絡上的隨機游走進行了深入的研究,但在實際系統中,節點往往不是純頂點,而是具有不同的特征,并由與之相關的豐富數據集來描述。這些節點屬性包含豐富的信息,這些信息通常是網絡的補充,并為基于隨機游走的分析帶來了機會。然而,目前還不清楚如何為attributed網絡開發隨機游走來實現有效的聯合信息提取。節點屬性使得節點之間的交互更加復雜,拓撲結構也更加異構。

為了彌補這一不足,我們研究了在attributed網絡上進行聯合隨機游動,并利用它們來提高深度節點表示學習。提出的框架GraphRNA由兩個主要組件組成,即,一種協作游走機制—AttriWalk,以及一種為隨機游走量身定制的深度嵌入體系結構,稱為圖遞歸網絡(graph recurrent networks ,GRN)。AttriWalk將節點屬性看作是一個二分網絡,并利用它來促進節點間的離散化,減少節點間向高中心匯聚的趨勢。AttriWalk使我們能夠將突出的深度網絡嵌入模型-圖卷積網絡推向一個更有效的架構——GRN。GRN賦予節點表示以與原始attributed網絡中的節點交互相同的方式進行交互。在真實數據集上的實驗結果表明,與目前最先進的嵌入算法相比,GraphRNA算法很有效。

網址:

  1. HetGNN: Heterogeneous Graph Neural Network

作者:Chuxu Zhang; Dongjin Song; Chao Huang; Ananthram Swami; Nitesh V. Chawla;

摘要:異構圖表示學習的目的是為每個節點尋求一個有意義的向量表示,以便于后續應用,如鏈接預測、個性化推薦、節點分類等。然而,該任務具有挑戰性,不僅因為需要合并異構由多種類型的節點和邊組成的結構(圖)信息,但也需要考慮與每個節點相關聯的異構屬性或內容(例如,文本或圖像)。盡管在同構(或異構)圖嵌入、屬性圖嵌入以及圖神經網絡等方面都做了大量的工作,但很少有圖神經網絡能夠有效地聯合考慮圖的異構結構(圖)信息以及各節點的異構內容信息。為此,我們提出了一種異構圖神經網絡模型HetGNN。具體來說,我們首先引入一個具有重啟策略的隨機游走,為每個節點抽取一個固定大小的強相關異構鄰居,并根據節點類型對它們進行分組。接下來,我們設計了一個包含兩個模塊的神經網絡結構來聚合這些采樣的相鄰節點的特征信息。第一個模塊對異構內容的“深度”特性交互進行編碼,并為每個節點生成內容嵌入。第二個模塊聚合不同鄰近組(類型)的內容(屬性)嵌入,并通過考慮不同組的影響來進一步組合它們,以獲得最終的節點嵌入。最后,我們利用圖context loss和一個mini-batch梯度下降過程以端到端方式訓練模型。在多個數據集上的大量實驗表明,HetGNN在各種圖挖掘任務(比如鏈路預測、推薦、節點分類聚類、歸納節點分類聚類)中都能超越最先進的baseline。

網址:

  1. Learning Dynamic Context Graphs for Predicting Social Events

作者:Songgaojun Deng; Huzefa Rangwala; Yue Ning;

摘要:以建模上下文信息為目標的事件預測是自動分析生成和資源分配等應用程序的一項重要任務。為感興趣的事件捕獲上下文信息可以幫助分析人員理解與該事件相關的因素。然而,由于以下幾個因素,在事件預測中獲取上下文信息是具有挑戰性的: (i)上下文結構和形成的不確定性,(ii)高維特征,以及(iii)特征隨時間的適應性。最近,圖表示學習在交通預測、社會影響預測和可視化問題回答系統等應用中取得了成功。在本文中,我們研究了社會事件建模中的圖表示,以識別事件上下文的動態屬性作為social indicators。

受圖神經網絡的啟發,我們提出了一種新的圖卷積網絡來預測未來的事件(例如,國內動亂運動)。我們從歷史/以前的事件文檔中提取和學習圖表示。該模型利用隱藏的單詞圖特征預測未來事件的發生,并將動態圖序列識別為事件上下文。在多個真實數據集上的實驗結果表明,該方法與各種先進的社會事件預測方法相比具有較強的競爭力。

網址:

  1. Automating Feature Subspace Exploration via Multi-Agent Reinforcement Learning

作者:Kunpeng Liu; Yanjie Fu; Pengfei Wang; Le Wu; Rui Bo; Xiaolin Li;

摘要:特征選擇是機器學習的預處理步驟,它試圖為后續的預測任務選擇最相關的特征。有效的特征選擇可以降低維數,提高預測精度,提高結果的可理解性。從子集空間中尋找最優特征子集是一個非常具有挑戰性的問題,因為子集空間可能非常大。在已有研究的基礎上,增強學習為搜索策略的全局化提供了新的視角。針對特征選擇問題,提出了一種多智能體增強學習框架。具體來說,我們首先用一個增強學習框架來重新制定特征選擇,將每個特征視為一個智能體。然后,通過三種方法得到環境狀態,即為了使算法更好地理解學習過程,本文采用了統計描述、自動編碼器和圖卷積網絡(GCN)。我們展示了如何以一種基于圖的方式學習狀態表示,這種方法不僅可以處理邊的變化,還可以處理節點逐步變化的情況。此外,我們還研究了如何通過更合理的獎勵方案來改善不同特征之間的協調。該方法具有全局搜索特征子集的能力,并且由于增強學習的性質,可以很容易地適應實時情況(實時特征選擇)。此外,我們還提出了一種有效的加速多智能體強化學習收斂的策略。最后,大量的實驗結果表明,該方法比傳統方法有顯著的改進。

網址:

  1. Robust Graph Convolutional Networks Against Adversarial Attacks

作者:Dingyuan Zhu; Ziwei Zhang; Peng Cui; Wenwu Zhu;

摘要:圖卷積網絡(GCNs)是一種新興的基于圖的神經網絡模型,在節點分類任務中取得了最先進的性能。然而,近年來的研究表明,GCN容易受到惡意攻擊,即在圖結構和節點屬性上的小擾動,這給GCN網絡在實際應用中帶來了很大的挑戰。如何提高GCN的魯棒性仍然是一個關鍵的開放性問題。

為了解決這一問題,我們提出了Robust GCN (RGCN),這是一種新的模型,它“加強”了GCN的對抗攻擊能力。具體來說,我們的方法不是將節點表示為向量,而是采用高斯分布作為每個卷積層中節點的隱藏表示。這樣,當圖受到攻擊時,我們的模型可以自動吸收高斯分布方差變化的不利影響。此外,為了彌補對抗性攻擊在GCN中的傳播,我們提出了一種基于方差的注意力機制,即在執行卷積時根據節點鄰域的方差分配不同的權值。大量的實驗結果表明,我們提出的方法可以有效地提高GCN的魯棒性。在三個基準圖上,與最先進的GCN方法相比,我們的RGCN在各種對抗攻擊策略下的節點分類精度有了顯著提高。

網址:

  1. Stability and Generalization of Graph Convolutional Neural Networks

作者:Saurabh Verma; Zhi-Li Zhang;

摘要:圖卷積神經網絡(GCNNs)是受卷積神經網絡在一維和二維數據上的啟發而發展起來的一種用于各種圖數據學習任務的神經網絡,在實際數據集上表現出了良好的性能。盡管GCNN模型取得了一定的成功,但是對于GCNN模型的泛化性質等理論探索卻十分缺乏。本文通過分析單層GCNN模型的穩定性,推導出其在半監督圖學習環境下的泛化保證,為深入理解GCNN模型邁出了第一步。特別地,我們證明了GCNN模型的算法穩定性依賴于其圖卷積濾波器的最大絕對特征值。此外,為了確保提供強泛化保證所需的均勻穩定性,最大絕對特征值必須與圖的大小無關。我們的結果為設計新的和改進的具有算法穩定性的圖卷積濾波器提供了新的見解。我們對各種真實世界圖數據集的泛華差距和穩定性進行了評價,實證結果確實支持了我們的理論發現。據我們所知,我們是第一個在半監督設置下研究圖學習的穩定性邊界,并推導出GCNN模型的泛化邊界。

網址:

下載鏈接: 提取碼:zbkg

付費5元查看完整內容

論文題目: A Structural Graph Representation Learning Framework

論文摘要: 許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入,而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中,我們闡述了高階網絡表示學習,并提出了一個稱為HONE的通用框架,用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法,該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外,HONE被證明是快速和有效的,最壞情況下的時間復雜度幾乎是線性的。實驗結果表明,該算法能有效地處理大量的網絡日志數據,包括鏈接預測和visitor stitching。

作者簡介:

Ryan A. Rossi,目前在Adobe Research工作,研究領域是機器學習;涉及社會和物理現象中的大型復雜關系(網絡/圖形)數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。

Nesreen K. Ahmed,英特爾實驗室的高級研究員。我在普渡大學計算機科學系獲得博士學位,在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘,涵蓋了大規模圖挖掘、統計機器學習的理論和算法,以及它們在社會和信息網絡中的應用。

付費5元查看完整內容
北京阿比特科技有限公司