亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣

KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers

KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、

1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction

作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial

摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。

網址:

2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang

摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。

網址:

代碼鏈接:

3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases

作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun

摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。

網址:

4. Graph Structural-topic Neural Network

作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin

摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。

網址:

代碼鏈接:

5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi

摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。

網址:

付費5元查看完整內容

相關內容

圖神經網絡 (GNN) 是一種連接模型,它通過圖的節點之間的消息傳遞來捕捉圖的依賴關系。與標準神經網絡不同的是,圖神經網絡保留了一種狀態,可以表示來自其鄰域的具有任意深度的信息。近年來,圖神經網絡(GNN)在社交網絡、知識圖、推薦系統、問答系統甚至生命科學等各個領域得到了越來越廣泛的應用。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行(疫情影響,線上舉行)。KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期一些Paper放出來了,為此,專知小編提前為大家整理了五篇KDD 2020 推薦系統(RS)相關論文,供大家參考。——異構圖交互模型、組合嵌入、分解自監督、地理感知序列推薦、交互路徑推理。

KDD2020 Accepted Papers

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1、An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph

作者:Jiarui Jin, Jiarui Qin, Yuchen Fang, Kounianhua Du, Weinan Zhang, Yong Yu, Zheng Zhang, Alexander J. Smola

摘要:近年來,基于異構信息網絡(HIN)的推薦系統大量涌現,因為HIN能夠刻畫復雜的圖形,并且包含豐富的語義。現有的方法雖然取得了性能上的提高,但同時在實用性方面,仍然面臨著以下問題。一方面,大多數現有的基于HIN的方法依賴于顯式路徑可達性來利用用戶和項目之間基于路徑的語義相關性,例如基于元路徑的相似性。但由于路徑連接稀疏或有噪聲,這些方法很難使用和集成,并且通常具有不同的長度。另一方面,其他基于圖的方法旨在通過在預測前將節點及其鄰域信息壓縮成單個嵌入來學習有效的異構網絡表示。這種弱耦合的建模方式忽略了節點之間豐富的交互,這帶來了先前概述的問題。針對上述問題,本文提出了一種端到端基于鄰域的交互推薦模型(NIRec)。具體地說,我們首先分析了學習交互在HINS中的重要性,然后提出了一種新的公式,通過元路徑引導的鄰域來捕捉每對節點之間的交互模式。然后,為了探索元路徑之間的復雜交互和處理大規模網絡上的學習復雜性,我們用卷積的方式表示交互,并使用快速傅立葉變換進行高效的學習。在四種不同類型的異構圖上的大量實驗表明,與現有技術相比,NIRec的性能有所提高。據我們所知,這是在基于HIN的推薦中提供有效的基于鄰域的交互模型的第一項工作。

網址: //arxiv.org/abs/2007.00216

2、Compositional Embeddings Using Complementary Partitions for Memory-Efficient Recommendation Systems

作者:Hao-Jun Michael Shi, Dheevatsa Mudigere, Maxim Naumov, Jiyan Yang

摘要:基于深度學習的推薦系統利用了成百上千個不同的分類特征,每個分類特征都有數百萬個從點擊到發布的不同類別。為了尊重分類數據中的自然多樣性,嵌入將每個類別映射到嵌入空間內的統一表示。由于每個分類特征可以承擔多達數千萬個不同的可能類別,因此嵌入表示在訓練和推理過程中都面臨著存儲瓶頸。我們提出了一種新的方法,通過利用類別集合的互補劃分(complementary partitions)在不需要明確定義的情況下來為每個類別產生唯一的嵌入向量,從而以端到端的方式減少嵌入大小。通過在每個互補分區上存儲多個較小的嵌入表,并結合每個表的嵌入,我們以較小的存儲開銷為每個類別定義了唯一的嵌入。該方法可以被解釋為使用特定的固定碼本(fixed codebook)來確保每個類別表示的唯一性。我們的實驗結果表明,相對于散列技巧,我們的方法在減少模型損失和準確性的同時減小了參數數量,并且有效地減少了嵌入表示的大小。

網址:

3、Disentangled Self-Supervision in Sequential Recommenders

作者:Jianxin Ma, Chang Zhou, Hongxia Yang, Peng Cui, Xin Wang, Wenwu Zhu

摘要:為了學習一個序列推薦器,現有的方法通常采用sequence-to-item(Seq2item)訓練策略,該策略以用戶的下一次行為為標簽,以用戶過去的行為為輸入來監督序列模型。然而,seq2item策略是目光短淺的,通常會產生單一的推薦列表。在本文中,我們著眼于更長遠的未來來研究挖掘額外信號以進行監督的問題。存在如下兩個挑戰:i)重構包含多個行為的未來序列比重構單個下一個行為要困難得多,這可能導致收斂困難;ii)所有未來行為的序列可能涉及多個意圖,并不是所有的意圖都可以從先前行為序列中預測出來。為了應對這些挑戰,我們提出了一種基于潛在自監督和解纏(disentanglement)的Seq2seq訓練策略。具體地說,我們在潛在空間中進行自監督,即作為一個整體重構未來序列的表示,而不是單獨重構未來序列中的項。我們還解開了任何給定行為序列背后的意圖,并僅使用涉及共同意圖的子序列對來構建seq2seq訓練樣本。真實世界基準和合成數據的結果表明,seq2seq訓練帶來了改進。

網址:

4、Geography-Aware Sequential Location Recommendation

作者:Defu Lian, Yongji Wu, Yong Ge, Xing Xie, Enhong Chen

摘要:序列位置推薦在移動性預測、路徑規劃、基于位置廣告等應用中發揮著重要作用。雖然從張量分解發展到基于RNN的神經網絡,但現有方法沒有有效利用地理信息,存在稀疏性問題。為此,我們提出了一種基于自注意力網絡的地理感知序列推薦器(GeoSAN)進行位置推薦。一方面,我們提出了一種新的基于重要性抽樣的損失函數進行優化,通過強調使用信息豐富的負樣本來解決稀疏性問題。另一方面,為了更好地利用地理信息,GeoSAN使用基于自注意力的地理編碼器來表示每個GPS點的分層網格。此外,我們還提出了地理感知的負采樣器來提高負樣本的信息量。我們使用三個真實的LBSN數據集對所提出的算法進行了評估,結果表明GeoSAN的性能比最新的序列位置推薦器高出34.9%。實驗結果進一步驗證了新的損失函數、地理編碼器和地理感知負采樣器的有效性。

網址:

5、Interactive Path Reasoning on Graph for Conversational Recommendation

作者:Wenqiang Lei, Gangyi Zhang, Xiangnan He, Yisong Miao, Xiang Wang, Liang Chen, Tat-Seng Chua

摘要:傳統的推薦系統從過去的交互歷史中估計用戶對項目的偏好,因此受到獲取細粒度和動態用戶偏好的限制。會話推薦系統(CRS)使系統能夠直接向用戶詢問他們對物品的偏好屬性,從而為這些限制帶來了革命性的變化。然而,現有的CRS方法并沒有充分利用這一優勢-它們只以相當隱含的方式使用屬性反饋,例如更新潛在用戶表示。在本文中,我們提出了轉換路徑推理(Conversational Path Reasoning, CPR),這是一個通用的框架,它將會話推薦建模為圖上的交互式路徑推理問題。它通過跟隨用戶反饋遍歷屬性頂點,顯式地利用用戶偏好屬性。通過利用圖結構,CPR能夠刪除許多不相關的候選屬性,從而獲得更好的命中用戶偏好屬性的機會。為了演示CPR的工作原理,我們提出了一個簡單而有效的實例化,命名為SCPR(SimpleCPR)。我們對多輪會話推薦場景進行了實證研究,這是迄今為止最現實的CRS場景,它考慮了多輪詢問屬性和推薦項目。通過在Yelp和LastFM兩個數據集上的大量實驗,我們驗證了我們的SCPR的有效性,它的性能明顯優于最先進的CRS方法EAR和CRM。特別地,屬性越多,我們的方法就能獲得越多的優勢。

網址:

付費5元查看完整內容

【導讀】IJCAI(國際人工智能聯合會議,International Joint Conferences on Artificial Intelligence)作為人工智能領域最頂級的國際學術會議之一,IJCAI 的舉辦自然備受矚目。第29屆國際人工智能聯合會議和第17屆環太平洋國際人工智能會議原定于2020年7月11日在日本橫濱召開,但由于疫情影響,將延期半年,至 2021年1月召開。近期,IJCAI 2020 論文集已經放出來。在 4717 份有效投稿中,最終僅有 592 篇被接收,接收率為 12.6%,這也是 IJCAI 史上最低的接收率。我們發現在今年的IJCAI 2020會議上圖神經網絡相關的論文非常多,今天小編專門整理最新6篇圖神經網絡(GNN)應用在數據挖掘上的相關論文——多通道GNN、自適應時空圖卷積、會話流GNN、雙重注意力GNN、域自適應HIN、雙線性GNN

IJCAI 2020 Accepted Paper: //www.ijcai.org/Proceedings/2020/

IJCAI2020GNN_Part1、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、

1、Multi-Channel Graph Neural Networks

作者:Kaixiong Zhou, Qingquan Song, Xiao Huang, Daochen Zha, Na Zou, Xia Hu

摘要:在許多學科中,圖結構數據的分類已變得越來越重要。已經觀察到,現實世界圖中的隱式或顯式分層社區結構可能對下游分類應用有用。利用層次結構的一種直接方法是利用池化算法將節點聚類為固定簇(cluster),然后逐層縮小輸入圖以學習池化圖。但是,池化縮小( pool shrinking)會舍棄圖的詳細信息,從而難以區分兩個非同構圖,并且固定簇忽略了節點固有的多重特征。為了補償縮小損失并了解各個節點的特性,我們提出了多通道圖神經網絡(MuchGNN)。受卷積神經網絡中提出的底層機制的啟發,我們定義了定制的圖卷積,以學習每一層的一系列圖通道,并按層次縮小圖以對合并的結構進行編碼。真實數據集上的實驗結果證明了MuchGNN優于最新方法。

網址:

2、GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification

作者:Ziyu Jia, Youfang Lin, Jing Wang, Ronghao Zhou, Xiaojun Ning, Yuanlai He, Yaoshuai Zhao

摘要:睡眠階段分類對于睡眠評估和疾病診斷至關重要。但是,如何有效利用大腦的空間特征和睡眠階段之間的轉換信息仍然是一個挑戰。特別地,由于對人腦的了解有限,為睡眠階段分類預定義合適的空間腦連接結構仍然是一個懸而未決的問題。在本文中,我們提出了一種新穎的深度圖神經網絡,名為GraphSleepNet,用于自動睡眠階段分類。GraphSleepNet的主要優點是可以自適應地學習以鄰接矩陣表示的不同腦電圖(EEG)通道之間的內在聯系,從而為時空圖卷積網絡(ST-GCN)提供服務,以進行睡眠階段分類。同時,ST-GCN由用于提取空間特征的圖形卷積和用于捕獲睡眠階段之間的轉換規則的時間卷積組成。蒙特利爾睡眠研究檔案(MASS)數據集上的實驗表明GraphSleepNet優于最新的基線。

網址:

3、GraphFlow: Exploiting Conversation Flow with Graph Neural Networks for Conversational Machine Comprehension

作者:Yu Chen, Lingfei Wu, Mohammed J. Zaki

摘要:事實證明,與傳統MC相比,會話機器理解(MC)更具挑戰性,因為它需要更好地利用會話歷史記錄。但是,大多數現有方法無法有效地捕獲會話歷史記錄,因此難以處理涉及的指代或省略號的問題。此外,在對段落文本進行推理時,大多數人只是將其視為單詞序列,而沒有探索單詞之間豐富的語義關系。在本文中,我們首先提出一種簡單而有效的圖結構學習技術,以在每次對話轉折時動態構造一個具有問題和會話歷史意識的上下文圖。然后,我們提出了一種新穎的遞歸圖神經網絡,并在此基礎上,引入了一種flow機制來對一系列上下文圖中的時間依賴性進行建模。與現有的CoQA,QuAC和DoQA基準的最新技術相比,我們所提出的GRAPHFLOW模型可以有效地捕獲會話中的對話流,并顯示出可競爭的性能。此外,可視化實驗表明,我們提出的模型可以為推理過程提供良好的可解釋性。

網址:

4、GoGNN: Graph of Graphs Neural Network for Predicting Structured Entity Interactions

作者:Hanchen Wang, Defu Lian, Ying Zhang, Lu Qin, Xuemin Lin

摘要:實體交互預測在許多重要應用中至關重要,例如化學,生物學,材料科學和醫學。當每個實體由復雜結構(即結構化實體)表示時,該問題變得非常具有挑戰性,因為涉及兩種類型的圖:結構化實體的局部圖和捕獲結構化實體之間的交互的全局圖。我們注意到,現在有關結構化實體交互預測的工作無法正確利用圖模型的唯一圖。在本文中,我們提出了一種圖神經網絡圖(Graph of Graphs Neural Network,GoGNN),它以分層的方式提取結構化實體圖和實體交互圖中的特征。我們還提出了雙重注意機制,該機制使模型能夠在圖的兩個級別中保留鄰居的重要性。在現實世界的數據集上進行的大量實驗表明,GoGNN在兩個代表性的結構化實體交互預測任務上勝過了最新技術:化學-化學交互預測和藥物-藥物交互預測。

代碼:

網址:

5、Domain Adaptive Classification on Heterogeneous Information Networks

作者:Shuwen Yang, Guojie Song, Yilun Jin, Lun Du

摘要:異構信息網絡(HIN)是無處不在的結構,因為它們可以描述復雜的關系數據。由于這些數據的復雜性,很難在HIN上獲得足夠的標記數據,從而妨礙了HIN的分類。雖然領域適應(DA)技術已在圖像和文本中得到廣泛利用,但是異構性和復雜的語義對HIN上的領域自適應分類提出了特定的挑戰。一方面,HIN涉及多個級別的語義,這要求在它們之間進行域對齊。另一方面,由于域不變性特征是同質的并且對分類沒有信息,因此必須精心選擇域相似性和可區分性之間的權衡。在本文中,我們提出了多空間域自適應分類(MuSDAC)來解決HIN上的DA問題。具體來說,我們利用多通道共享權重GCN,將HIN中的節點投影到執行成對對齊的多個空間。此外,我們提出了一種啟發式采樣算法,該算法可以有效地選擇具有可區分性的通道組合,并采用移動平均加權投票(moving averaged weighted voting)方案來融合所選通道,從而最大程度地減少傳輸和分類損失。在成對數據集上進行的大量實驗證明了我們模型在HIN領域自適應分類和各個組成部分的貢獻方面的表現。

網址:

6、Bilinear Graph Neural Network with Neighbor Interactions

作者:Hongmin Zhu, Fuli Feng, Xiangnan He, Xiang Wang, Yan Li, Kai Zheng, Yongdong Zhang

摘要:圖神經網絡(GNN)是一個功能強大的模型,可用于學習表示形式并對圖形數據進行預測。對GNN的現有工作已將圖卷積定義為所連接節點的特征的加權和,以形成目標節點的表示形式。然而,加權和的運算假設相鄰節點彼此獨立,并且忽略它們之間可能的交互。當存在這樣的交互時,例如兩個鄰居節點的同時出現是目標節點特征的強烈信號,現有的GNN模型可能無法捕獲該信號。在這項工作中,我們認為在GNN中對相鄰節點之間的交互進行建模是十分重要的。我們提出了一種新的圖卷積算子,該算子通過鄰居節點表示的成對交互來增加加權和。我們將此框架稱為雙線性圖神經網絡( Bilinear Graph Neural Network ,BGNN),該框架可通過相鄰節點間的雙線性交互雙線性來提高GNN表示能力。特別是,我們分別基于著名的GCN和GAT指定了兩個名為BGCN和BGAT的BGNN模型。關于三個半監督節點分類的公開基準的實證結果證明了BGNN的有效性-BGCN(BGAT)在分類準確度方面比GCN(GAT)高1.6%(1.5%)。

代碼:

網址:

付費5元查看完整內容

【導讀】ICML(International Conference on Machine Learning),即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一,因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計,ICML 2020共提交4990篇論文,接收論文1088篇,接收率為21.8%。與往年相比,接收率逐年走低。ICML官網公布了接受論文列表,小編發現基于Graph相關的paper依然很多,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上ICML 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——貝葉斯GNN、連續GNN、Faster圖嵌入、深度GCN、圖Pooling、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、

1. Bayesian Graph Neural Networks with Adaptive Connection Sampling

作者:Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian

摘要:我們提出了一個用于圖神經網絡(GNNs)自適應連接采樣(connection sampling)的統一框架,該框架概括了現有的用于訓練GNN的隨機正則化方法。該框架不僅緩解了深層GNNs的過平滑和過擬合趨勢,而且使得GNNs在圖分析任務中的不確定性學習成為可能。與現有的隨機正則化方法那樣使用固定的采樣率或手動調整它們作為模型超參數不同,我們的自適應連接采樣可以與GNN模型參數以全局和局部的方式聯合訓練。具有自適應連接采樣的GNN訓練在數學上等價于訓練貝葉斯GNN的有效近似。在基準數據集上的消融實驗結果驗證了自適應學習采樣率是在半監督節點分類任務中提高GNNs性能的關鍵,使其不容易過平滑和過擬合,具有更穩健的預測能力。

網址:

2.Continuous Graph Neural Networks

作者:Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang

摘要:本文建立在圖神經網絡與傳統動力系統之間的聯系之上。我們提出了連續圖神經網絡(Continuous Graph Neural Networks, CGNN),由于CGNN可以看作是一種特定的離散化方案,它進一步推廣了現有的具有離散動力學的圖神經網絡。其核心思想是如何刻畫節點表示的連續動力學,即節點表示的導數。受現有的基于圖擴散的方法(如社會網絡上的PageRank模型和流行病模型)的啟發,我們將導數定義為當前節點表示、鄰居表示和節點初始值的組合。我們提出并分析了圖上的兩種可能的動力學--包括節點表示的每一維(也稱為特征通道)獨立改變或者彼此交互-這兩者都有理論上的合理性。所提出的連續圖神經網絡對過于過平滑具有較強的魯棒性,因此可以建立更深層次的網絡,從而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在與基線模型競爭上的有效性。

網址:

3.Faster Graph Embeddings via Coarsening

作者:Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang

摘要:圖嵌入是一種普遍適用于機器學習任務的工具,如圖結構數據上的節點分類和連接預測。然而,即使我們只對相關頂點的一小部分感興趣,計算大規模圖嵌入的效率也是很低的。為了解決這個問題,我們提出了一種基于Schur補(Schur complements)的有效圖粗化方法,用于計算相關頂點的嵌入。我們證明了這些嵌入被不相關頂點上通過高斯消去法得到的Schur補圖精確地保存。由于計算Schur補的代價很高,我們給出了一個近似線性的時間算法,該算法在每次迭代中在相關頂點上生成一個粗化圖,該粗化圖在期望上與Schur補相匹配。我們在圖上進行的預測任務實驗表明,計算嵌入到粗化圖上,而不是整個圖上,在不犧牲精度的情況下,可以節省大量的時間。

網址:

4. Simple and Deep Graph Convolutional Networks

作者:Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li

摘要:圖卷積網絡(GCNS)是一種強大的圖結構數據深度學習方法。最近,GCNS及其變體在真實數據集上的各個應用領域都顯示出了優異的性能。盡管取得了成功,但由于過平滑的問題,目前的大多數GCN模型都很淺。本文研究了深圖卷積網絡的設計與分析問題。我們提出了GCNII模型,它是對普通GCN模型的擴展,使用了兩個簡單而有效的技術:初始殘差和恒等映射(Identity mapping)。我們提供了理論和實驗證據,證明這兩種技術有效地緩解了過平滑問題。我們的實驗表明,深度GCNII模型在各種半監督和全監督任務上的性能優于最先進的方法。

網址:

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:譜聚類(SC)是發現圖上強連接社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用,以實現聚合屬于同一集群節點的池化操作。然而,Laplacian特征分解的代價很高,而且由于聚類結果是特定于圖的,因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中,我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛(continuous relaxation )公式,并訓練GNN來計算最小化這一目標的聚類分配。我們的基于GNN的實現是可微的,不需要計算譜分解,并且學習了一個聚合函數,可以在樣本外的圖上快速評估。從提出的聚類方法出發,我們設計了一個圖池化算子,它克服了現有圖池化技術的一些重要局限性,并在多個監督和非監督任務中取得了最好的性能。

網址:

付費5元查看完整內容

【導讀】作為CCF推薦的A類國際學術會議,International ACM SIGIR Conference on Research and Development in Information Retrieval(國際計算機學會信息檢索大會,簡稱 SIGIR)在信息檢索領域享有很高的學術聲譽,每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2020計劃將于 2020年7月25日~30日在中國西安舉行。本次大會共有555篇長文投稿,僅有147篇長文被錄用,錄用率約26%。專知小編提前為大家整理了六篇SIGIR 2020 基于圖神經網絡的推薦(GNN+RS)相關論文,這六篇論文分別出自中科大何向南老師和和昆士蘭大學陰紅志老師團隊,供大家參考——捆綁推薦、Disentangled GCF、服裝推薦、多行為推薦、全局屬性GNN

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN

1. Bundle Recommendation with Graph Convolutional Networks

作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin

摘要:捆綁推薦(Bundle recommendation )旨在推薦一組商品供用戶整體消費。現有的解決方案通過共享模型參數或多任務學習的方式將用戶項目交互建模集成到捆綁推薦中,然而,這些方法不能顯式建模項目與捆綁包(bundles)之間的隸屬關系,不能探索用戶選擇捆綁包時的決策。在這項工作中,我們提出了一個用于捆綁推薦的圖神經網絡模型BGCN(Bundle Graph Convolutional Network)。BGCN將用戶-項目交互、用戶-捆綁包交互和捆綁包-項目從屬關系統一到一個異構圖中。以項目節點為橋梁,在用戶節點和捆綁包節點之間進行圖卷積傳播,使學習到的表示能夠捕捉到項目級的語義。通過基于hard-negative采樣器的訓練,可以進一步區分用戶對相似捆綁包的細粒度偏好。在兩個真實數據集上的實驗結果表明,BGCN的性能有很高的提升,其性能比最新的基線高出10.77%到23.18%。

網址: //arxiv.org/abs/2005.03475

2. Disentangled Graph Collaborative Filtering

作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua

摘要:從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入函數利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,這些方法在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了打發時間,為了興趣,或者為其他人(如家庭)購物。這種統一的對用戶興趣建模的方法很容易導致次優表示,不能對不同的關系建模并在表示中分清用戶意圖。在這項工作中,我們特別關注用戶意圖細粒度上的用戶-項目關系。因此,我們設計了一種新的模型- Disentangled圖協同過濾(Disentangled Graph Collaborative Filtering ,DGCF),來理清這些因素并產生disentangled的表示。具體地說,通過在每個用戶-項目交互意圖上的分布建模,我們迭代地細化意圖感知的交互圖和表示。同時,我們鼓勵不同的意圖獨立。這將生成disentangled的表示,有效地提取與每個意圖相關的信息。我們在三個基準數據集上進行了廣泛的實驗,DGCF與NGCF、DisenGCN和MacridV AE這幾個最先進的模型相比取得了顯著的改進。進一步的分析揭示了DGCF在分解用戶意圖和表示的可解釋性方面的優勢。

網址:

代碼鏈接:

.

3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection

作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui

摘要:近年來,推薦系統已經成為所有電子商務平臺中不可缺少的功能。推薦系統的審查評級數據通常來自開放平臺,這可能會吸引一群惡意用戶故意插入虛假反饋,試圖使推薦系統偏向于他們。此類攻擊的存在可能會違反高質量數據始終可用的建模假設,而這些數據確實會影響用戶的興趣和偏好。因此,構建一個即使在攻擊下也能產生穩定推薦的健壯推薦系統具有重要的現實意義。本文提出了一種基于GCN的用戶表示學習框架GraphRf,該框架能夠統一地進行穩健的推薦和欺詐者檢測。在其端到端學習過程中,用戶在欺詐者檢測模塊中被識別為欺詐者的概率自動確定該用戶的評級數據在推薦模塊中的貢獻;而在推薦模塊中輸出的預測誤差作為欺詐者檢測模塊中的重要特征。因此,這兩個組成部分可以相互促進。經過大量的實驗,實驗結果表明我們的GraphRf在魯棒評級預測和欺詐者檢測這兩個任務中具有優勢。此外,所提出的GraphRf被驗證為對現有推薦系統上的各種攻擊具有更強的魯棒性。

網址:

4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation

作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua

摘要:服裝推薦越來越受到網購服務商和時尚界的關注。與向用戶推薦單個單品(例如,朋友或圖片)的其他場景(例如,社交網絡或內容共享)不同,服裝推薦預測用戶對一組匹配良好的時尚單品的偏好。因此,進行高質量的個性化服裝推薦應滿足兩個要求:1)時尚單品的良好兼容性;2)與用戶偏好的一致性。然而,目前的研究主要集中在其中一個需求上,只考慮了用戶-全套服裝(outfit)或全套服裝-項目的關系,從而容易導致次優表示,限制了性能。在這項工作中,我們統一了兩個任務,服裝兼容性建模和個性化服裝推薦。為此,我們開發了一個新的框架,層次時尚圖網絡(HFGN),用于同時建模用戶、商品和成套服裝之間的關系。特別地,我們構建了一個基于用戶-全套服裝交互和全套服裝-項目映射的層次結構。然后,我們從最近的圖神經網絡中得到啟發,在這種層次圖上使用嵌入傳播,從而將項目信息聚合到一個服裝表示中,然后通過他/她的歷史服裝來提煉用戶的表示。此外,我們還對這兩個任務進行了聯合訓練,以優化這些表示。為了證明HFGN的有效性,我們在一個基準數據集上進行了廣泛的實驗,HFGN在NGNN和FHN等最先進的兼容性匹配模型基礎上取得了顯著的改進。

網址:

代碼鏈接:

5. Multi-behavior Recommendation with Graph Convolutional Networks

作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li

摘要:傳統的推薦模型通常只使用一種類型的用戶-項目交互,面臨著嚴重的數據稀疏或冷啟動問題。利用多種類型的用戶-項目交互(例如:點擊和收藏)的多行為推薦可以作為一種有效的解決方案。早期的多行為推薦研究未能捕捉到行為對目標行為的不同程度的影響。它們也忽略了多行為數據中隱含的行為語義。這兩個限制都使得數據不能被充分利用來提高對目標行為的推薦性能。在這項工作中,我們創新性地構造了一個統一的圖來表示多行為數據,并提出了一種新的模型--多行為圖卷積網絡(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通過用戶-項目傳播層學習行為強度,通過項目-項目傳播層捕獲行為語義,較好地解決了現有工作的局限性。在兩個真實數據集上的實驗結果驗證了該模型在挖掘多行為數據方面的有效性。我們的模型在兩個數據集上的性能分別比最優基線高25.02%和6.51%。對冷啟動用戶的進一步研究證實了該模型的實用性。

網址:

6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation

作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen

摘要:基于流會話的推薦(Streaming session-based recommendation,SSR)是一項具有挑戰性的任務,它要求推薦器系統在流媒體場景(streaming scenario)中進行基于會話的推薦(SR)。在電子商務和社交媒體的現實應用中,在一定時間內產生的一系列用戶-項目交互被分組為一個會話,這些會話以流的形式連續到達。最近的SR研究大多集中在靜態集合上,即首先獲取訓練數據,然后使用該集合來訓練基于會話的推薦器模型。他們需要對整個數據集進行幾個epoch的訓練,這在流式設置下是不可行的。此外,由于對用戶信息的忽視或簡單使用,它們很難很好地捕捉到用戶的長期興趣。雖然最近已經提出了一些流推薦策略,但它們是針對個人交互流而不是會話流而設計的。本文提出了一種求解SSR問題的帶有Wasserstein 庫的全局屬性圖(GAG)神經網絡模型。一方面,當新的會話到達時,基于當前會話及其關聯用戶構造具有全局屬性的會話圖。因此,GAG可以同時考慮全局屬性和當前會話,以了解會話和用戶的更全面的表示,從而在推薦中產生更好的性能。另一方面,為了適應流會話場景,提出了Wasserstein庫來幫助保存歷史數據的代表性草圖。在兩個真實數據集上進行了擴展實驗,驗證了GAG模型與最新方法相比的優越性。

網址:

付費5元查看完整內容

【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期一些Paper放出來了,為此,專知小編提前為大家整理了五篇KDD 2020 圖神經網絡(GNN)相關論文,供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者:Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要:圖神經網絡(GNNs)是圖表示學習的有力工具。但是,最近的研究表明,GNN容易受到精心設計的擾動(稱為對抗攻擊)的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此,開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯,真實世界的圖共享一些內在屬性。例如,許多現實世界的圖都是低秩和稀疏的,兩個相鄰節點的特征往往是相似的。事實上,我們發現對抗攻擊很可能會違背這些圖的性質。因此,在本文中,我們利用這些特性來防御針對圖的對抗攻擊。特別是,我們提出了一個通用框架Pro-GNN,該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明,即使在圖受到嚴重干擾的情況下,我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫,以進行對抗性攻擊和防御。

網址: //arxiv.org/pdf/2005.10203.pdf

代碼鏈接:

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者:Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要:多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴,但現有方法未能充分利用變量對之間的潛在空間相關性。同時,近些年來,圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播,這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系,可以方便地集成變量屬性等外部知識。在此基礎上,提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明,我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法,并且在提供額外結構信息的兩個交通數據集上,與其他方法具有同等的性能。

網址:

3. Understanding Negative Sampling in Graph Representation Learning

作者:Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要:在最近的幾年中,對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入,但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣,而對負向采樣的策略探索不夠。為了彌補這一差距,我們從目標和風險兩個角度系統地分析了負采樣的作用,從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知,我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下,我們提出了MCNS,用自對比度近似法近似正分布,并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法,這些數據集涵蓋了19個實驗設置,涵蓋了廣泛的下游圖學習任務,包括鏈接預測,節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址:

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者:Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要:將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合,它們首先構建一個圖,然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注:1)多視圖數據在工業中是豐富而且有用的,并且可能超過單個矢量的容量;2)由于多視圖數據往往來自不同的分布,可能會引入歸納偏置(inductive bias)。在本文中,我們使用一種多視圖表示對齊方法來解決這個問題。特別地,我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖,從多個圖中學習多個單獨的表示,并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外,M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL,并對570億個實例進行了訓練。根據離線指標和在線A/B測試,M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明,利用M2GRL產生的多種表征是有效的,對于不同側重點的各種工業推薦任務來說,M2GRL是一個很有前途的方向。

網址:

5. Controllable Multi-Interest Framework for Recommendation

作者:Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要:近年來,由于深度學習的快速發展,神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題,目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而,統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架,稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣,可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明,我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址:

代碼鏈接:

付費5元查看完整內容

【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響,這次會議在線上舉行,本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。近期,隨著會議的臨近,有很多paper放出來,小編發現這次WWW 2020被圖神經網絡攻占,占比非常大,可見其火爆程度。這期小編繼續為大家奉上WWW 2020五篇GNN相關論文供參考——圖注意力主題模型、超圖學習、圖神經網絡Hash、多視角圖聚類、Graph Pooling。

WWW2020GNN_Part2、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

  1. Graph Attention Topic Modeling Network

作者:Liang Yang, Fan Wu, Junhua Gu, Chuan Wang, Xiaochun Cao, Di Jin, and Yuanfang Guo

摘要:現有的主題模型(topic modeling)方法存在一些問題,包括概率潛在語義索引模型(Probablistic Latent Semantic Indexing,PLSI)過擬合問題、隱狄利克雷分配(Latent Dirichlet Allocation,LDA)模型不能能捕捉主題間豐富的主題相關性與推理復雜度高等問題。本文提出了一種新的方法來克服pLSI的過擬合問題,用嵌入單詞的平攤推理(amortized inference)作為輸入,代替LDA中的狄利克雷先驗。對于生成性主題模型,大量的自由隱變量是過擬合的根源。為了減少參數個數,平攤推理用一個具有共享(平攤)可學習參數的函數代替了對隱變量的推理。共享參數的數量是固定的,并且與語料庫的規模無關。為了克服平攤推理在獨立同分布(I.I.D)數據中應用的局限性,根據以下兩個觀察結果,我們提出了一種新的圖神經網絡--圖注意力主題網絡(GATON),用于對非I.I.D文檔的主題結構進行建模。首先,pLSI可以解釋為特定二分圖上的隨機塊模型(SBM)。其次,圖注意力網絡(GAT)可以解釋為SBM的半平攤推理(semi-amortized inference),它放寬了I.I.D數據的vanilla 平攤推理假設。GATON提供了一種新穎的基于圖卷積運算的方案,去聚合單詞相似度和單詞共現結構。具體地說,詞袋文檔表示被建模為二分圖拓撲。同時,將捕獲詞相似性的詞嵌入建模為詞節點的屬性,并采用詞頻向量作為文檔節點的屬性。基于加權(注意力)圖卷積操作,詞共現結構和詞相似度模式被無縫地集成在一起進行主題識別。大量實驗表明,GATON在主題識別方面的有效性不僅有利于文檔分類,而且能顯著細化輸入詞的嵌入。

網址://yangliang.github.io/pdf/www20.pdf

  1. How Much and When Do We Need Higher-order Information in Hypergraphs? A Case Study on Hyperedge Prediction

作者:Se-eun Yoon, Hyungseok Song, Kijung Shin, and Yung Yi

摘要:超圖提供了一種自然的表示組群關系的方法,其復雜性促使大量先前的工作采用某種形式抽象和簡化高階交互。然而,以下問題尚未得到解決:在解決超圖任務時,組群間交互的抽象程度需要多大?這些結果在不同的數據集中會有多大的不同?如果這個問題可以回答,將為如何在解決下游任務的復雜性和準確性之間權衡提供有用的工程指南。為此,我們提出了一種使用n投影圖( n-projected graph )的概念遞增表示群組交互的方法,該圖的累積量包含多達n種交互作用的信息,并隨著各種數據集的增長,量化解決任務的準確性。作為下游任務,我們考慮超邊預測,它是連接預測的擴展,是評估圖模型的典型任務。通過在15個真實數據集上的實驗,我們得出了以下信息:(a)收益遞減:較小地n足以獲得與接近完美近似值相當的精度,(b)疑難解答:隨著任務的挑戰性越來越大,n帶來了更多好處,(c)不可約性:當成對抽象化時,其成對交互并不能充分說明高階交互的數據集將失去很多準確性。

網址:

  1. Learning to Hash with Graph Neural Networks for Recommender Systems

作者:Qiaoyu Tan, Ninghao Liu, Xing Zhao, Hongxia Yang, Jingren Zhou, and Xia Hu

摘要:工業推薦系統一般包括兩個階段:召回和排名。召回是指從海量的項目語料庫中高效地識別出數百個用戶可能感興趣的候選項目,而排名的目標是使用復雜的排名模型輸出精確的排名列表。近年來,圖表示學習在支持大規模高質量候選搜索方面受到了廣泛關注。盡管它在用戶-項目交互網絡中學習對象的嵌入向量方面是有效的,但在連續嵌入空間中推斷用戶偏好的計算代價是巨大的。在這項工作中,我們研究了基于圖神經網絡(GNNs)的哈希高質量檢索問題,并提出了一種簡單而有效的離散表示學習框架來聯合學習連續與離散編碼。具體地說,提出了一種基于GNN的深度哈希算法(HashGNN),它由兩部分組成,一個是用于學習節點表示的GNN編碼器,另一個是用于將表示編碼為哈希碼的哈希層。整個框架通過聯合優化以下兩個損失進行端到端的訓練,即通過重建觀察到的連接而產生的重建損失,以及通過保留哈希碼的相對順序產生的排序損失。我們還提出了一種基于直通估計器(straight through estimator ,STE)指導的離散優化策略。其主要思想是在連續嵌入指導下避免STE的反向傳播中的梯度放大,在這種情況下,我們從學習一個更容易模仿連續嵌入的更簡單的網絡開始,并使其在訓練過程中發展直至最終返回STE。在三個公開可用數據集和一個真實的阿里巴巴公司數據集的綜合實驗表明,我們的模型不僅可以達到連續模型的性能,而且在推理過程中運行速度快了好幾倍。

網址:

  1. One2Multi Graph Autoencoder for Multi-view Graph Clustering

作者:Shaohua Fan, Xiao Wang, Chuan Shi, Emiao Lu, Ken Lin, and Bai Wang

摘要:多視圖圖聚類(Multi-view graph clustering)近年來受到了相當大的關注,它是一種尋找具有多個視圖的圖的分割方法,通常提供更全面但更復雜的信息。雖然多視圖圖聚類已經做了一些努力并取得了較好的效果,但大多數都是采用淺層模型來處理多視圖間的復雜關系,這可能會嚴重限制多視圖的圖信息建模能力。本文首次嘗試將深度學習技術應用于屬性多視圖圖聚類,提出了一種新的任務導向的One2Multi圖自編碼器聚類框架。One2Multi圖自編碼器能夠通過使用一個信息豐富的圖形視圖和內容數據來重建多個圖形視圖來學習節點嵌入。因此,可以很好地捕捉多個圖的共享特征表示。在此基礎上,我們還提出了一種自訓練聚類目標,以迭代地改善聚類結果。通過將自訓練和自編碼器重構集成到一個統一的框架中,我們的模型可以聯合優化適用于圖聚類的簇標簽分配和嵌入。在真實屬性多視圖圖數據集上的實驗很好地驗證了該模型的有效性。

網址:

  1. Structure-Feature based Graph Self-adaptive Pooling

作者:Liang Zhang, Xudong Wang, Hongsheng Li, Guangming Zhu, Peiyi Shen, Ping Li, Xiaoyuan Lu, Syed Afaq Ali Shah, and Mohammed Bennamoun

摘要:近年來,人們提出了各種處理圖數據的方法。然而,這些方法大多側重于圖的特征聚合,而不是圖的池化。此外,現有的top-k選擇圖池化方法存在一些問題。首先,在構建池化圖拓撲時,現有的top-k選擇方法只從單一的角度評價節點的重要性,這是簡單化和不客觀的。其次,未選中節點的特征信息在池化過程中直接丟失,必然導致大量的圖特征信息丟失。為了解決上述問題,我們提出了一種新穎的圖自適應池化方法,目標如下:(1)為了構造合理的池化圖拓撲,同時考慮了圖的結構信息和特征信息,增加了節點選擇的準確性和客觀性;(2)為了使池化的節點包含足夠有效的圖信息,在丟棄不重要的節點之前,先聚合節點特征信息;因此,所選擇的節點包含來自鄰居節點的信息,這可以增強未選擇節點的特征的使用。在四個不同的數據集上的實驗結果表明,我們的方法在圖分類中是有效的,并且優于最新的圖池化方法。

網址:

付費5元查看完整內容
北京阿比特科技有限公司