【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。近期,隨著會議的臨近,有很多paper放出來,幾周前專知小編整理了WWW 2020圖神經網絡(GNN)比較有意思的論文,這期小編繼續為大家奉上WWW 2020五篇GNN相關論文供參考——對抗攻擊、Heterogeneous Graph Transformer、圖生成、多關系GNN、知識庫補全。
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
作者:Jia Li, Honglei Zhang, Zhichao Han, Yu Rong, Hong Cheng and Junzhou Huang
摘要:已經證明,添加了不可察覺擾動的對抗圖(adversarial graphs),會導致深層圖模型在節點/圖分類任務中失敗。在本文中,我們將對抗性圖擴展到困難得多的社區發現(community detection)問題上。我們關注黑盒攻擊,致力于隱藏目標個體,使其不被深度圖社區檢測模型檢測到,該模型在現實場景中有很多應用,例如,保護社交網絡中的個人隱私,理解交易網絡中的偽裝模式。我們提出了一個迭代學習框架,輪流更新兩個模塊:一個作為約束圖生成器,另一個作為替代社區發現模型。我們還發現,我們的方法生成的對抗圖可以遷移到其他基于社區發現模型的學習中。
作者:Ziniu Hu, Yuxiao Dong, Kuansan Wang and Yizhou Sun
摘要:近年來,圖神經網絡(GNNs)在結構化數據建模方面取得了突飛猛進的成功。然而,大多數GNN都是為同質圖(所有的節點和邊都屬于相同的類型)設計的,這使得這些GNN不能表示異構結構。在這篇文章中,我們提出了異構圖轉換器(HGT)結構來建模Web規模的異構圖。為了建模異構性,我們設計了與節點和邊類型相關的參數來表征對每條邊的異構關注,使得HGT能夠維護不同類型的節點和邊的專有表示。為了處理動態異構圖,我們將相對時間編碼技術引入到HGT中,能夠捕獲任意持續時間的動態結構依賴關系。為了處理Web規模的圖數據,我們設計了異構小批量圖采樣算法HGSamples,以實現高效和可擴展的訓練。在具有1.79億個節點和20億條邊的開放學術圖上的廣泛實驗表明,本文所提出的HGT模型在各種下游任務上的性能一致地比所有最新的GNN基線高出9%-21%。
網址:
代碼鏈接:
作者:Nikhil Goyal, Harsh Vardhan Jain and Sayan Ranu
摘要:圖生成模型在數據挖掘領域中得到了廣泛的研究。傳統的技術基于預定義分布的生成結構,而最近的技術已轉向直接從數據中學習此分布。雖然基于學習的方法在質量上有了顯著的提高,但仍有一些缺點需要解決。首先,學習圖的分布會帶來額外的計算開銷,這就限制了這些方法對大型圖數據庫的可擴展性。第二,許多方法只學圖結構,并沒有學習節點和邊的標簽(這些標簽編碼重要的語義信息會影響結構自身)。第三,現有技術往往包含領域的特定規則,缺乏通用性。第四,現有方法的實驗部分要么使用了較弱的評估指標,要么主要集中在合成數據或小數據集上,實驗不夠全面上。在這項工作中,我們提出了一種稱為GraphGen的域未知(domain-agnostic)技術來克服所有這些缺點,GraphGen使用最少的DFS代碼將圖轉換為序列。最小DFS碼是規范化的標簽,并且可以精確地捕捉圖結構和標簽信息。本文通過一種新的LSTM結構學習結構標簽和語義標簽之間復雜的聯合分布。在百萬級的真實圖數據集上的廣泛實驗表明,GraphGen的平均速度是最先進方法的4倍,同時在11個不同指標的綜合集合中質量明顯更好。
網址:
代碼鏈接:
作者:Wen Wang, Wei Zhang, Shukai Liu, Bo Zhang, Leyu Lin and Hongyuan Zha
摘要:基于會話的目標行為預測旨在預測要與特定行為類型(例如,點擊)交互的下一項。雖然現有的基于會話的行為預測方法利用強大的表示學習方法來編碼項目在低維空間中的順序相關性,但是它們受到一些限制。首先,之前的方法側重于只利用同一類型的用戶行為進行預測,而忽略了將其他行為數據作為輔助信息的潛力。當目標行為稀疏但很重要(例如,購買或共享物品)時,輔助信息尤為重要。其次,項目到項目的關系是在一個行為序列中單獨和局部建模的,缺乏一種規定的方法來更有效地全局編碼這些關系。為了克服這些局限性,我們提出了一種新的基于會話的多關系圖神經網絡模型(MGNN-SPred)。具體地說,我們基于來自所有會話的所有行為序列(涉及目標行為類型和輔助行為類型)構建多關系項目圖(Multi-Relational Item Graph,MRIG)。在MRIG的基礎上,MGNN-SPred學習全局項目與項目之間的關系,進而獲得用戶偏好分別作為為當前目標行為序列和輔助行為序列。最后,MGNN-SPred利用門控機制自適應地融合用戶表示,以預測與目標行為交互的下一項。在兩個真實數據集上的廣泛實驗證明了MGNN-SPred與最新的基于會話的預測方法相比的優越性,驗證了利用輔助行為和基于MRIG學習項目到項目關系的優點。
網址:
作者:Ermei Cao, Difeng Wang, Jiacheng Huang and Wei Hu
摘要:知識庫(KBS)已經逐漸成為許多人工智能應用的寶貴資產。雖然目前的許多知識庫相當大,但它們被是不完整的,特別是缺乏長尾實體(例如:不太有名的人)。現有的方法主要通過補全缺失連接或補齊缺失值來豐富知識庫。然而,它們只解決了充實知識庫問題的一部分,缺乏對長尾實體的具體考慮。在這篇文章中,我們提出了一種新穎的知識補齊方法,它從開放的Web中預測缺失的屬性并推斷出長尾實體的真實值。利用來自流行實體的先驗知識來改進每個充實步驟。我們在合成數據集和真實數據集上的實驗以及與相關工作的比較表明了該方法的可行性和優越性。
網址:
【導讀】作為世界數據挖掘領域的最高級別的學術會議,ACM SIGKDD(國際數據挖掘與知識發現大會,簡稱 KDD)每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周,KDD 2020官方發布接收論文,共有1279篇論文提交到Research Track,共216篇被接收,接收率16.8%。近期KDD官網公布了接受論文列表,為此,上個月專知小編為大家整理了圖神經網絡相關的論文,這期小編繼續為大家奉上KDD 2020必讀的五篇圖神經網絡(GNN)相關論文-Part 2——多層次GCN、無監督預訓練GCN、圖Hash、GCN主題模型、采樣
KDD 2020 Accepted Paper: //www.kdd.org/kdd2020/accepted-papers
KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、
1. Multi-level Graph Convolutional Networks for Cross-platform Anchor Link Prediction
作者:Hongxu Chen, Hongzhi Yin, Xiangguo Sun, Tong Chen, Bogdan Gabrys, Katarzyna Musial
摘要:跨平臺的賬號匹配在社交網絡分析中發揮著重要作用,并且有利于廣泛的應用。然而,現有的方法要么嚴重依賴于高質量的用戶生成內容(包括用戶興趣模型),要么只關注網絡拓撲結構,存在數據不足的問題,這使得研究這個方向變得很困難。為了解決這一問題,我們提出了一種新的框架,該框架統一考慮了局部網絡結構和超圖結構上的多級圖卷積。該方法克服了現有工作中數據不足的問題,并且不一定依賴于用戶的人口統計信息。此外,為了使所提出的方法能夠處理大規模社交網絡,我們提出了一種兩階段的空間協調機制,在基于網絡分區的并行訓練和跨不同社交網絡的帳戶匹配中對齊嵌入空間。我們在兩個大規模的真實社交網絡上進行了廣泛的實驗。實驗結果表明,該方法的性能比現有的模型有較大幅度的提高。
網址:
2. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
作者:Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang
摘要:圖表示學習已經成為解決現實問題的一種強有力的技術。包括節點分類、相似性搜索、圖分類和鏈接預測在內的各種下游圖學習任務都受益于它的最新發展。然而,關于圖表示學習的現有技術集中于領域特定的問題,并為每個圖訓練專用模型,這通常不可轉移到領域之外的數據。受自然語言處理和計算機視覺在預訓練方面的最新進展的啟發,我們設計了圖對比編碼(Graph Contrastive Coding,GCC)一個無監督的圖表示學習框架來捕捉跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡內部和網絡之間的子圖級別的實例判斷,并利用對比學習來增強模型學習內在的和可遷移的結構表征能力。我們在三個圖學習任務和十個圖數據集上進行了廣泛的實驗。結果表明,GCC在一組不同的數據集上進行預訓練,可以獲得與從頭開始的特定任務訓練的方法相媲美或更好的性能。這表明,預訓練和微調范式對圖表示學習具有巨大的潛力。
網址:
代碼鏈接:
3. GHashing: Semantic Graph Hashing for Approximate Similarity Search in Graph Databases
作者:Zongyue Qin, Yunsheng Bai, Yizhou Sun
摘要:圖相似搜索的目的是根據給定的鄰近度,即圖編輯距離(GED),在圖形數據庫中找到與查詢最相似的圖。這是一個被廣泛研究但仍具有挑戰性的問題。大多數研究都是基于剪枝驗證框架,該框架首先對非看好的圖進行剪枝,然后在較小的候選集上進行驗證。現有的方法能夠管理具有數千或數萬個圖的數據庫,但由于其精確的剪枝策略,無法擴展到更大的數據庫。受到最近基于深度學習的語義哈希(semantic hashing)在圖像和文檔檢索中的成功應用的啟發,我們提出了一種新的基于圖神經網絡(GNN)的語義哈希,即GHash,用于近似剪枝。我們首先用真實的GED結果訓練GNN,以便它學習生成嵌入和哈希碼,以保持圖之間的GED。然后建立哈希索引以實現恒定時間內的圖查找。在回答一個查詢時,我們使用哈希碼和連續嵌入作為兩級剪枝來檢索最有希望的候選對象,并將這些候選對象發送到精確的求解器進行最終驗證。由于我們的圖哈希技術利用了近似剪枝策略,與現有方法相比,我們的方法在保持高召回率的同時,實現了顯著更快的查詢時間。實驗表明,該方法的平均速度是目前唯一適用于百萬級數據庫的基線算法的20倍,這表明GHash算法成功地為解決大規模圖形數據庫的圖搜索問題提供了新的方向。
網址:
4. Graph Structural-topic Neural Network
作者:Qingqing Long, Yilun Jin, Guojie Song, Yi Li, Wei Lin
摘要:圖卷積網絡(GCNS)通過有效地收集節點的局部特征,取得了巨大的成功。然而,GCNS通常更多地關注節點特征,而較少關注鄰域內的圖結構,特別是高階結構模式。然而,這種局部結構模式被顯示為許多領域中的節點屬性。此外,由于網絡很復雜,每個節點的鄰域由各種節點和結構模式的混合組成,不只是單個模式,所有這些模式上的分布都很重要。相應地,在本文中,我們提出了圖結構主題神經網絡,簡稱GraphSTONE,這是一種利用圖的主題模型的GCN模型,使得結構主題廣泛地從概率的角度捕捉指示性的圖結構,而不僅僅是幾個結構。具體地說,我們使用 anonymous walks和Graph Anchor LDA(一種LDA的變體,首先選擇重要的結構模式)在圖上建立主題模型,以降低復雜性并高效地生成結構主題。此外,我們設計了多視圖GCNS來統一節點特征和結構主題特征,并利用結構主題來指導聚合。我們通過定量和定性實驗對我們的模型進行了評估,我們的模型表現出良好的性能、高效率和清晰的可解釋性。
網址:
代碼鏈接:
5. Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
作者:Weilin Cong, Rana Forsati, Mahmut Kandemir, Mehrdad Mahdavi
摘要:抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而,現有的抽樣方法大多基于圖的結構信息,忽略了最優化的動態性,導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯,它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差,指出由于經驗風險的復合結構,任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差,這兩種方差都必須減小,才能獲得較快的收斂速度。我們提出了一種解耦的方差減小策略,利用(近似)梯度信息自適應地對方差最小的節點進行采樣,并顯式地減小了嵌入近似引入的方差。理論和實驗表明,與現有方法相比,該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。
網址:
【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。本次ACL大會共提交了3429篇論文,共有571篇長論文、以及208篇短論文入選。不久之前,專知小編為大家整理了大會的圖神經網絡(GNN)相關論文,這期小編繼續為大家奉上ACL 2020圖神經網絡(GNN)相關論文-Part 2供參考——多文檔摘要、多粒度機器閱讀理解、帖子爭議檢測、GAE。
ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Leveraging Graph to Improve Abstractive Multi-Document Summarization
作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du
摘要:捕捉文本單元之間關系圖對于從多個文檔中檢測顯著信息和生成整體連貫的摘要有很大好處。本文提出了一種神經抽取多文檔摘要(MDS)模型,該模型可以利用文檔的常見圖表示,如相似度圖和話語圖(discourse graph),來更有效地處理多個輸入文檔并生成摘要。我們的模型使用圖對文檔進行編碼,以捕獲跨文檔關系,這對于總結長文檔至關重要。我們的模型還可以利用圖來指導摘要的生成過程,這有利于生成連貫而簡潔的摘要。此外,預訓練的語言模型可以很容易地與我們的模型相結合,進一步提高了摘要的性能。在WikiSum和MultiNews數據集上的實驗結果表明,所提出的體系結構在幾個強大的基線上帶來了實質性的改進。
網址: //arxiv.org/abs/2005.10043
2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu
摘要:“自然問題”是一種具有挑戰性的新的機器閱讀理解基準,其中包含兩個答案:長答案(通常是一個段落)和短答案(長答案中的一個或多個實體)。盡管此基準測試的現有方法很有效,但它們在訓練期間單獨處理這兩個子任務,忽略了它們間的依賴關系。為了解決這個問題,我們提出了一種新穎的多粒度機器閱讀理解框架,該框架專注于對文檔的分層性質進行建模,這些文檔具有不同的粒度級別:文檔、段落、句子和詞。我們利用圖注意力網絡來獲得不同層次的表示,以便它們可以同時學習。長答案和短答案可以分別從段落級表示和詞級表示中提取。通過這種方式,我們可以對兩個粒度的答案之間的依賴關系進行建模,以便為彼此提供證據。我們聯合訓練這兩個子任務,實驗表明,我們的方法在長答案和短答案標準上都明顯優于以前的系統。
網址:
代碼鏈接:
3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection
作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang
摘要:識別社交媒體上有爭議的帖子是挖掘公眾情緒、評估事件影響、緩解兩極分化觀點的基礎任務。然而,現有的方法不能1)有效地融合來自相關帖子內容的語義信息;2)保留回復關系建模的結構信息;3)正確處理與訓練集中主題不同的帖子。為了克服前兩個局限性,我們提出了主題-帖子-評論圖卷積網絡(TPC-GCN),它綜合了來自主題、帖子和評論的圖結構和內容的信息,用于帖子級別的爭議檢測。對于第三個限制,我們將模型擴展到分離的TPC-GCN(DTPC-GCN),將主題相關和主題無關的特征分離出來,然后進行動態融合。在兩個真實數據集上的大量實驗表明,我們的模型優于現有的方法。結果和實例分析表明,該模型能夠將語義信息和結構信息有機地結合在一起,具有較強的通用性。
網址:
4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward
作者:Luyang Huang, Lingfei Wu, Lu Wang
摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已經被廣泛研究,但是生成的摘要通常受到捏造的內容的影響,并且經常被發現是near-extractive的。我們認為,為了解決這些問題,摘要生成器應通過輸入獲取語義解釋,例如通過結構化表示,以允許生成更多信息的摘要。在本文中,我們提出了一種新的抽取摘要框架--Asgard,它具有圖形增強和語義驅動的特點。我們建議使用雙重編碼器-序列文檔編碼器和圖形結構編碼器-來保持實體的全局上下文和局部特征,并且相互補充。我們進一步設計了基于多項選擇完形填空測試的獎勵,以驅動模型更好地捕捉實體交互。結果表明,我們的模型在紐約時報和CNN/每日郵報的數據集上都比沒有知識圖作為輸入的變體產生了更高的Rouge分數。與從大型預訓練的語言模型中優化的系統相比,我們也獲得了更好或可比的性能。評委進一步認為我們的模型輸出信息更豐富,包含的不實錯誤更少。
網址:
5. A Graph Auto-encoder Model of Derivational Morphology
作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty
摘要:關于派生詞的形態良好性(morphological well-formedness, MWF)建模工作在語言學中被認為是一個復雜而困難的問題,并且這方面的研究工作較少。我們提出了一個圖自編碼器學習嵌入以捕捉派生詞中詞綴和詞干的兼容性信息。自編碼器通過將句法和語義信息與來自心理詞典的關聯信息相結合,很好地模擬了英語中的MWF。
網址:
【導讀】作為CCF推薦的A類國際學術會議,International ACM SIGIR Conference on Research and Development in Information Retrieval(國際計算機學會信息檢索大會,簡稱 SIGIR)在信息檢索領域享有很高的學術聲譽,每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2020計劃將于 2020年7月25日~30日在中國西安舉行。本次大會共有555篇長文投稿,僅有147篇長文被錄用,錄用率約26%。專知小編提前為大家整理了六篇SIGIR 2020 基于圖神經網絡的推薦(GNN+RS)相關論文,這六篇論文分別出自中科大何向南老師和和昆士蘭大學陰紅志老師團隊,供大家參考——捆綁推薦、Disentangled GCF、服裝推薦、多行為推薦、全局屬性GNN
CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN
1. Bundle Recommendation with Graph Convolutional Networks
作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin
摘要:捆綁推薦(Bundle recommendation )旨在推薦一組商品供用戶整體消費。現有的解決方案通過共享模型參數或多任務學習的方式將用戶項目交互建模集成到捆綁推薦中,然而,這些方法不能顯式建模項目與捆綁包(bundles)之間的隸屬關系,不能探索用戶選擇捆綁包時的決策。在這項工作中,我們提出了一個用于捆綁推薦的圖神經網絡模型BGCN(Bundle Graph Convolutional Network)。BGCN將用戶-項目交互、用戶-捆綁包交互和捆綁包-項目從屬關系統一到一個異構圖中。以項目節點為橋梁,在用戶節點和捆綁包節點之間進行圖卷積傳播,使學習到的表示能夠捕捉到項目級的語義。通過基于hard-negative采樣器的訓練,可以進一步區分用戶對相似捆綁包的細粒度偏好。在兩個真實數據集上的實驗結果表明,BGCN的性能有很高的提升,其性能比最新的基線高出10.77%到23.18%。
網址: //arxiv.org/abs/2005.03475
2. Disentangled Graph Collaborative Filtering
作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua
摘要:從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入函數利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,這些方法在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了打發時間,為了興趣,或者為其他人(如家庭)購物。這種統一的對用戶興趣建模的方法很容易導致次優表示,不能對不同的關系建模并在表示中分清用戶意圖。在這項工作中,我們特別關注用戶意圖細粒度上的用戶-項目關系。因此,我們設計了一種新的模型- Disentangled圖協同過濾(Disentangled Graph Collaborative Filtering ,DGCF),來理清這些因素并產生disentangled的表示。具體地說,通過在每個用戶-項目交互意圖上的分布建模,我們迭代地細化意圖感知的交互圖和表示。同時,我們鼓勵不同的意圖獨立。這將生成disentangled的表示,有效地提取與每個意圖相關的信息。我們在三個基準數據集上進行了廣泛的實驗,DGCF與NGCF、DisenGCN和MacridV AE這幾個最先進的模型相比取得了顯著的改進。進一步的分析揭示了DGCF在分解用戶意圖和表示的可解釋性方面的優勢。
網址:
代碼鏈接:
.
3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection
作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui
摘要:近年來,推薦系統已經成為所有電子商務平臺中不可缺少的功能。推薦系統的審查評級數據通常來自開放平臺,這可能會吸引一群惡意用戶故意插入虛假反饋,試圖使推薦系統偏向于他們。此類攻擊的存在可能會違反高質量數據始終可用的建模假設,而這些數據確實會影響用戶的興趣和偏好。因此,構建一個即使在攻擊下也能產生穩定推薦的健壯推薦系統具有重要的現實意義。本文提出了一種基于GCN的用戶表示學習框架GraphRf,該框架能夠統一地進行穩健的推薦和欺詐者檢測。在其端到端學習過程中,用戶在欺詐者檢測模塊中被識別為欺詐者的概率自動確定該用戶的評級數據在推薦模塊中的貢獻;而在推薦模塊中輸出的預測誤差作為欺詐者檢測模塊中的重要特征。因此,這兩個組成部分可以相互促進。經過大量的實驗,實驗結果表明我們的GraphRf在魯棒評級預測和欺詐者檢測這兩個任務中具有優勢。此外,所提出的GraphRf被驗證為對現有推薦系統上的各種攻擊具有更強的魯棒性。
網址:
4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation
作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua
摘要:服裝推薦越來越受到網購服務商和時尚界的關注。與向用戶推薦單個單品(例如,朋友或圖片)的其他場景(例如,社交網絡或內容共享)不同,服裝推薦預測用戶對一組匹配良好的時尚單品的偏好。因此,進行高質量的個性化服裝推薦應滿足兩個要求:1)時尚單品的良好兼容性;2)與用戶偏好的一致性。然而,目前的研究主要集中在其中一個需求上,只考慮了用戶-全套服裝(outfit)或全套服裝-項目的關系,從而容易導致次優表示,限制了性能。在這項工作中,我們統一了兩個任務,服裝兼容性建模和個性化服裝推薦。為此,我們開發了一個新的框架,層次時尚圖網絡(HFGN),用于同時建模用戶、商品和成套服裝之間的關系。特別地,我們構建了一個基于用戶-全套服裝交互和全套服裝-項目映射的層次結構。然后,我們從最近的圖神經網絡中得到啟發,在這種層次圖上使用嵌入傳播,從而將項目信息聚合到一個服裝表示中,然后通過他/她的歷史服裝來提煉用戶的表示。此外,我們還對這兩個任務進行了聯合訓練,以優化這些表示。為了證明HFGN的有效性,我們在一個基準數據集上進行了廣泛的實驗,HFGN在NGNN和FHN等最先進的兼容性匹配模型基礎上取得了顯著的改進。
網址:
代碼鏈接:
5. Multi-behavior Recommendation with Graph Convolutional Networks
作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li
摘要:傳統的推薦模型通常只使用一種類型的用戶-項目交互,面臨著嚴重的數據稀疏或冷啟動問題。利用多種類型的用戶-項目交互(例如:點擊和收藏)的多行為推薦可以作為一種有效的解決方案。早期的多行為推薦研究未能捕捉到行為對目標行為的不同程度的影響。它們也忽略了多行為數據中隱含的行為語義。這兩個限制都使得數據不能被充分利用來提高對目標行為的推薦性能。在這項工作中,我們創新性地構造了一個統一的圖來表示多行為數據,并提出了一種新的模型--多行為圖卷積網絡(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通過用戶-項目傳播層學習行為強度,通過項目-項目傳播層捕獲行為語義,較好地解決了現有工作的局限性。在兩個真實數據集上的實驗結果驗證了該模型在挖掘多行為數據方面的有效性。我們的模型在兩個數據集上的性能分別比最優基線高25.02%和6.51%。對冷啟動用戶的進一步研究證實了該模型的實用性。
網址:
6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation
作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen
摘要:基于流會話的推薦(Streaming session-based recommendation,SSR)是一項具有挑戰性的任務,它要求推薦器系統在流媒體場景(streaming scenario)中進行基于會話的推薦(SR)。在電子商務和社交媒體的現實應用中,在一定時間內產生的一系列用戶-項目交互被分組為一個會話,這些會話以流的形式連續到達。最近的SR研究大多集中在靜態集合上,即首先獲取訓練數據,然后使用該集合來訓練基于會話的推薦器模型。他們需要對整個數據集進行幾個epoch的訓練,這在流式設置下是不可行的。此外,由于對用戶信息的忽視或簡單使用,它們很難很好地捕捉到用戶的長期興趣。雖然最近已經提出了一些流推薦策略,但它們是針對個人交互流而不是會話流而設計的。本文提出了一種求解SSR問題的帶有Wasserstein 庫的全局屬性圖(GAG)神經網絡模型。一方面,當新的會話到達時,基于當前會話及其關聯用戶構造具有全局屬性的會話圖。因此,GAG可以同時考慮全局屬性和當前會話,以了解會話和用戶的更全面的表示,從而在推薦中產生更好的性能。另一方面,為了適應流會話場景,提出了Wasserstein庫來幫助保存歷史數據的代表性草圖。在兩個真實數據集上進行了擴展實驗,驗證了GAG模型與最新方法相比的優越性。
網址:
【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。為此,專知小編提前為大家整理了ACL 2020圖神經網絡(GNN)相關論文,讓大家先睹為快——事實驗證、法律文書、謠言檢測、自動摘要、情感分析。
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
1. Fine-grained Fact Verification with Kernel Graph Attention Network
作者:Zhenghao Liu, Chenyan Xiong, Maosong Sun, Zhiyuan Liu
摘要:事實驗證(Fact V erification)需要細粒度的自然語言推理能力來找到微妙的線索去識別句法和語義上正確但沒有強有力支持的聲明(well-supported claims)。本文提出了基于核方法的圖注意力網絡(KGAT),該網絡使用基于核的注意力進行更細粒度的事實驗證。給定一個聲明和一組形成證據圖潛在證據的句子,KGAT在圖注意力網絡中引入了可以更好地衡量證據節點重要性的節點核,以及可以在圖中進行細粒度證據傳播的邊緣核,以實現更準確的事實驗證。KGAT達到了70.38%的FEVER得分,在FEVER上大大超過了現有的事實驗證模型(FEVER是事實驗證的大規模基準)。我們的分析表明,與點積注意力相比,基于核的注意力更多地集中在證據圖中的相關證據句子和有意義的線索上,這是KGAT有效性的主要來源。
網址://arxiv.org/pdf/1910.09796.pdf
2. Distinguish Confusing Law Articles for Legal Judgment Prediction
作者:Nuo Xu, Pinghui Wang, Long Chen, Li Pan, Xiaoyan Wang, Junzhou Zhao
摘要:法律審判預測(LJP)是在給出案件事實描述文本的情況下,自動預測案件判決結果的任務,其在司法協助系統中具有良好的應用前景,為公眾提供方便的服務。實際上,由于適用于類似法律條款的法律案件很容易被誤判,經常會產生混淆的指控。在本文中,我們提出了一個端到端的模型--LADAN來解決LJP的任務。為了解決這一問題,現有的方法嚴重依賴領域專家,這阻礙了它在不同法律制度中的應用。為了區分混淆的指控,我們提出了一種新的圖神經網絡來自動學習混淆法律文章之間的細微差別,并設計了一種新的注意力機制,該機制充分利用學習到的差別從事實描述中提取令人信服的鑒別特征。在真實數據集上進行的實驗證明了我們的LADAN算法的優越性。
網址:
3. GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media
作者:Yi-Ju Lu, Cheng-Te Li
摘要:本文解決了在更現實的社交媒體場景下的假新聞檢測問題。給定源短文本推文和相應的沒有文本評論的轉發用戶序列,我們的目的是預測源推文是否是假的,并通過突出可疑轉發者的證據和他們關注的詞語來產生解釋。為了實現這一目標,我們提出了一種新的基于神經網絡的模型--圖感知協同注意網絡(GCAN)。在真實推文數據集上進行的廣泛實驗表明,GCAN的平均準確率比最先進的方法高出16%。此外,案例研究還表明,GCAN可以給出合理的解釋。
網址:
4. Heterogeneous Graph Neural Networks for Extractive Document Summarization
作者:Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, Xuanjing Huang
摘要:作為提取文檔摘要的關鍵步驟,跨句關系學習已經有了大量的研究方法。一種直觀的方法是將它們放入基于圖的神經網絡中,該網絡具有更復雜的結構來捕獲句間關系。本文提出了一種基于圖的異構神經網絡抽取摘要算法(HeterSUMGraph),該算法除句子外,還包含不同粒度的語義節點。這些額外的結點起到句子之間的中介作用,豐富了句子之間的關系。此外,通過引入文檔節點,我們的圖結構可以靈活地從單文檔設置自然擴展到多文檔設置。據我們所知,我們是第一個將不同類型的節點引入到基于圖的神經網絡中進行提取文檔摘要的,我們還進行了全面的定性分析,以考察它們的好處。
網址:
代碼鏈接:
5. Relational Graph Attention Network for Aspect-based Sentiment Analysis
作者:Kai Wang, Weizhou Shen, Yunyi Yang, Xiaojun Quan, Rui Wang
摘要:Aspect級的情感分析旨在確定在線評論中對某一特定方面的情感極性。最近的大多數努力采用了基于注意力的神經網絡模型來隱式地將aspect與觀點詞聯系起來。然而,由于語言的復雜性和單句中多個aspect的存在,這些模型往往混淆了它們之間的聯系。在本文中,我們通過對語法信息進行有效的編碼來解決這個問題。首先,我們通過重塑和修剪常規依賴關系樹,定義了一個以目標方面為根的統一的面向aspect的依賴樹結構。然后,我們提出了一種關系圖注意力網絡(R-GAT)來編碼新的樹結構用于情感預測。我們在SemEval 2014和Twitter數據集上進行了廣泛的實驗,實驗結果證實,該方法可以更好地建立aspect和觀點詞之間的聯系,從而顯著提高了圖注意網絡(GAT)的性能。
網址:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020已于2020年4月20日至4月24日在中國臺灣臺北舉行。會議論文集已經公開,大家可以自己查看感興趣的論文,專知小編繼續整理WWW 2020 系列論文,這期小編為大家奉上的是WWW 2020六篇遷移學習(Transfer Learning)相關論文,供大家參考!——主動域遷移、多任務域遷移、類別注意力遷移網絡、多模態域遷移、跨域推薦、跨域欺詐檢測。
WWW 2020 會議論文集: //dl.acm.org/doi/proceedings/10.1145/3366423
WWW2020KG+GNN、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
CCF-A類頂會WWW2020最佳論文出爐!OSU最佳論文,北郵斬獲最佳學生論文!
1. Active Domain Transfer on Network Embedding
作者:Lichen Jin, Yizhou Zhang, Guojie Song, Yilun Jin
摘要:最近的工作表明,端到端、監督(半監督)的網絡嵌入模型可以生成令人滿意的向量來表示網絡拓撲,甚至可以通過歸納學習(inductive learning)適用于未知(unseen)的圖。然而,歸納學習的訓練網絡和測試網絡之間的域不匹配,以及缺乏標記數據,會影響這種方法的結果。相應地能夠解決上述問題的遷移學習和主動學習(active learning)技術已經在常規獨立同分布數據上得到了很好的研究,而它們在網絡上的關注相對較少。因此,本文提出了一種網絡上的主動遷移學習方法,稱為主動遷移網絡嵌入(Active-Transfer Network Embedding,ATNE)。在ATNE中,我們從遷移和主動學習兩個角度綜合考慮各個節點對網絡的影響,從而在訓練過程中結合這兩個方面設計新穎有效的影響分值以方便節點的選擇。我們證明了ATNE是有效的,并且與實際使用的模型是解耦的。進一步的實驗表明,ATNE的性能優于最新的主動節點選擇方法,并且在不同的情況下表現出了通用性。
網址:
2. Anchored Model Transfer and Soft Instance Transfer for Cross-Task Cross-Domain Learning: A Study Through Aspect-Level Sentiment Classification
作者:Yaowei Zheng, Richong Zhang, Suyuchen Wang, Samuel Mensah, Yongyi Mao
摘要:監督學習在很大程度上依賴于容易獲得的標記數據來推斷有效的分類函數。然而,在有監督學習下提出的方法面臨領域內標注數據稀缺的問題,且通用性不夠強,不能適用于其他任務。通過允許跨域和跨任務共享知識,遷移學習已被證明是解決這些問題的一個有價值的選擇。通過允許跨域和跨任務共享知識,遷移學習已被證明是解決上述問題的一個有價值的選擇。本文提出了Anchored Model遷移(AMT)和Soft Instance遷移(SIT)兩種遷移學習方法,這兩種學習方法都是基于多任務學習,兼顧了模型遷移和實例遷移,可以結合到一個通用的框架中。我們證明了AMT和SIT對于aspect-level的情感分類的有效性,在基準數據集上我們的模型表現出比基線模型更有競爭力的表現。有趣的是,AMT + SIT的集成可在同一任務上實現最先進的性能。
網址:
作者:Dongbo Xi, Fuzhen Zhuang, Ganbin Zhou, Xiaohu Cheng, Fen Lin, Qing He
摘要:跨域情感分類等領域自適應任務旨在利用源域中已有的已標記數據和目標域中未標記或很少的標記數據,通過減少數據分布之間的偏移來提高目標域的性能。現有的跨領域情感分類方法需要區中心點(pivots)(即領域共享的情感詞)和非中心點(即領域特定的情感詞),才能獲得良好的自適應性能。本文首先設計了一個類別注意網絡(CAN),然后提出了一種將CAN和卷積神經網絡(CNN)相結合的CAN-CNN模型。該模型一方面將中心點和非中心點作為統一的類別屬性詞進行自動捕獲,提高領域自適應性能;另一方面,對遷移后的類別屬性詞進行可解釋性學習的嘗試。具體地說,該模型的優化目標有三個不同的組成部分:1)監督分類損失;2)類別特征權重的分布損失;3)領域不變性損失。最后,在三個輿情分析數據集上對所提出的模型進行了評估,結果表明CAN-CNN的性能優于其他各種基線方法。
網址:
4. Domain Adaptive Multi-Modality Neural Attention Network for Financial Forecasting
作者:Dawei Zhou, Lecheng Zheng, Yada Zhu, Jianbo Li, Jingrui He
摘要:金融時間序列分析在優化投資決策、對沖市場風險方面起著核心作用。這是一項具有挑戰性的任務,因為問題總是伴隨著雙層(即數據級和任務級)的異構性。例如,在股價預測中,一個成功的具有有限風險的投資組合通常由來自不同領域(如公用事業、信息技術、醫療保健等)的大量股票組成,每個領域的股票預測可以視為一個任務;在一個投資組合中,每個股票的特征是從多個模態(例如金融、天氣和新聞)收集的時間數據,這對應于數據層的異構性。此外,金融業遵循高度監管的過程,這就要求預測模型是可解釋的,輸出結果必須滿足合規性。因此,一個自然的研究問題就是如何建立一個模型,既能在解決此類多通道多任務學習問題時取得滿意的性能,又能為最終用戶提供全面的解釋。為了回答這個問題,本文提出了一個通用的時間序列預測框架Dandelion,它利用多模態的一致性,并使用深度神經網絡來探索多個任務的相關性。此外,為了保證框架的可解釋性,我們集成了一種新的三位一體的注意機制,允許最終用戶在三個維度(即任務、通道和時間)上調查變量重要性。廣泛的實證結果表明,Dandelion在過去15年中對來自4個不同領域的396只股票的金融市場預測取得了優異的表現。具體地說,兩個有趣的案例研究顯示了Dandelion在其盈利表現和輸出結果對最終用戶的可解釋性方面的成效。
網址:
5. Exploiting Aesthetic Preference in Deep Cross Networks for Cross-domain Recommendation
作者:Jian Liu, Pengpeng Zhao, Fuzhen Zhuang, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Xiaofang Zhou, Hui Xiong
摘要:產品的視覺美學在購買外觀優先的產品(如服裝)的決策過程中起著重要的作用。用戶的審美偏好作為一種個性特征和基本要求,是與領域無關的,可以作為領域間知識遷移的橋梁。然而,現有的工作很少考慮產品圖像中的審美信息進行跨域推薦。為此,本文提出了一種新的深度審美跨域網絡(ACDN),通過跨網絡共享表征個人審美偏好的參數來實現領域間的知識傳遞。具體地說,我們首先利用審美網絡來提取審美特征。然后,我們將這些特征集成到一個跨域網絡中,以傳遞用戶與領域無關的審美偏好。此外,還引入了網絡交叉連接,以實現跨域的雙重知識轉移。最后,在真實數據集上的實驗結果表明,我們提出的模型ACDN在推薦準確率方面優于基準方法。
網址:
6. Modeling Users’ Behavior Sequences with Hierarchical Explainable Network for Cross-domain Fraud Detection
作者:Yongchun Zhu, Dongbo Xi, Bowen Song, Fuzhen Zhuang, Shuai Chen, Xi Gu, Qing He
摘要:隨著電子商務行業的爆炸式增長,檢測現實應用中的網絡交易欺詐對電子商務平臺的發展變得越來越重要。用戶的連續行為歷史為區分欺詐支付和正常支付提供了有用的信息。最近,已經提出了一些方法來解決這一基于序列的欺詐檢測問題。然而,這些方法通常存在兩個問題:預測結果難以解釋和對行為內部信息的利用不足。針對上述兩個問題,本文提出了一種分層可解釋網絡(HEN)對用戶行為序列進行建模,不僅提高了欺詐檢測的性能,而且使推理過程具有可解釋性。同時,隨著電子商務業務擴展到新的領域,例如,新的國家或新的市場,在欺詐檢測系統中建模用戶行為的一個主要問題是數據收集的限制(例如,可用的數據/標簽非常少)。因此,在本文中,我們進一步提出了一個跨域欺詐檢測問題的遷移框架,該框架的目的是從現有領域(源域)遷移足夠成熟數據的知識,以提高在新領域(目標域)的性能。我們提出的方法是一個通用的遷移框架,它不僅可以應用于HEN,而且可以應用于嵌入&MLP范式中的各種現有模型。利用世界領先的跨境電商平臺的數據,我們在不同國家進行了廣泛的檢測盜卡交易詐騙的實驗,以展示HEN的優越性能。此外,基于90個遷移任務的實驗,證明了我們的遷移框架不僅可以用于HEN的跨域詐騙檢測任務,而且對現有的各種模型都具有通用性和可擴展性。此外,HEN和遷移框架形成了三個級別的注意力,極大地提高了檢測結果的可解釋性。
網址:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開,會議論文集已經公開,大家可以自己查看感興趣的論文,專知小編繼續整理WWW 2020 系列論文,這期小編為大家奉上的是WWW 2020五篇知識圖譜+圖神經網絡(KG+GNN)相關論文,供大家參考!——多關系實體對齊、問答推理、動態圖實體鏈接、序列實體鏈接、知識圖譜補全。
WWW 2020 會議論文集: //dl.acm.org/doi/proceedings/10.1145/3366423
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
作者:Qi Zhu, Hao Wei, Bunyamin Sisman, Da Zheng, Christos Faloutsos, Xin Luna Dong and Jiawei Han
摘要:知識圖(如Freebase、Yago)是表示各類實體之間豐富真實信息的多關系圖。實體對齊是實現多源知識圖集成的關鍵步驟。它旨在識別涉及同一真實世界實體的不同知識圖中的實體。然而,現有的實體對齊系統忽略了不同知識圖的稀疏性,不能通過單一模型對多類型實體進行對齊。在本文中,我們提出了一種用于多類型實體對齊的聯合圖神經網絡(Collective Graph neural network),稱為CG-MuAlign。與以前的工作不同,CG-MuAlign聯合對齊多種類型的實體,共同利用鄰域信息并將其推廣到未標記的實體類型。具體地說,我們提出了一種新的集中聚集函數1)通過交叉圖和自注意力來緩解知識圖的不完全性,2)通過小批量訓練范例和有效的鄰域抽樣策略,有效地提高了可伸縮性。我們在具有數百萬個實體的真實知識圖上進行了實驗,觀察到了比現有方法更優越的性能。此外,我們的方法的運行時間比目前最先進的深度學習方法要少得多。
網址:
作者:Chen Zhao, Chenyan Xiong, Xin Qian and Jordan Boyd-Graber
摘要:我們介紹了Delft,一個事實問答系統,它將知識圖問答方法的細微和深度與更廣泛的free-文本結合在一起。Delft從Wikipedia構建了一個自由文本知識圖,以實體為節點和句子,其中實體同時出現做為邊。對于每個問題,Delft使用文本句子作為邊,找到將問題實體節點鏈接到候選對象的子圖,創建了密集且覆蓋率高的語義圖。一種新穎的圖神經網絡在free-文本圖上進行推理-通過沿邊句子的信息組合節點上的證據-以選擇最終答案。在三個問答數據集上的實驗表明,Delft能夠比基于機器閱讀的模型、基于BERT的答案排序和記憶網絡更好地回答實體豐富的問題。Delft的優勢既來自于其free-文本知識圖譜的高覆蓋率--是DBpedia關系的兩倍多--也來自于新穎的圖神經網絡,它基于豐富而嘈雜的free-文本證據進行推理。
網址:
作者:Junshuang Wu, Richong Zhang, Yongyi Mao, Hongyu Guo, Masoumeh Soflaei and Jinpeng Huai
摘要:實體鏈接將文檔中提及的命名實體映射到給定知識圖中的合適的實體,已被證明能夠從基于圖卷積網絡(GCN)對實體相關性建模中獲得顯著好處。然而,現有的GCN實體鏈接模型沒有考慮到,一組實體的結構化圖不僅依賴于給定文檔的上下文信息,而且在GCN的不同聚合層上自適應地變化,導致在捕捉實體之間的結構信息方面存在不足。在本文中,我們提出了一種動態的GCN體系結構來有效地應對這一挑戰。模型中的圖結構是在訓練過程中動態計算和修改的。通過聚合動態鏈接節點的知識,我們的GCN模型可以集中識別文檔和知識圖之間的實體映射,并有效地捕捉整個文檔中各個實體提及( mentions)之間的主題一致性。在基準實體連接數據集上的實證研究證實了我們提出的策略的優越性能和動態圖結構的好處。
網址:
作者:Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang
摘要:實體鏈接(EL)是將文本中提及的內容映射到知識庫(KB)中相應實體的任務。這項任務通常包括候選生成(CG)和實體消歧(ED)兩個階段。目前基于神經網絡模型的EL系統取得了較好的性能,但仍然面臨著兩個挑戰:(1)以往的研究在評估模型時沒有考慮候選實體之間的差異。事實上,候選集的質量(特別是黃金召回)對EL結果有影響。因此,如何提候選的素質需要引起更多的關注。(Ii)為了利用提及實體之間的主題一致性,提出了許多聚集ED的圖和序列模型。然而,基于圖的模型對所有候選實體一視同仁,這可能會引入大量的噪聲信息。相反,序列模型只能觀察先前引用的實體,而忽略了當前提及的實體與其后續實體之間的相關性。針對第一個問題,我們提出了一種基于多策略的CG方法來生成高召回率的候選集。對于第二個問題,我們設計了一個序列圖注意力網絡(SeqGat),它結合了圖和序列方法的優點。在我們的模型中,提及( mentions)是按順序處理的。在當前提到的情況下,SeqGAT對其先前引用的實體和后續實體進行動態編碼,并為這些實體分配不同的重要性。這樣既充分利用了主題的一致性,又減少了噪聲干擾。我們在不同類型的數據集上進行了實驗,并在開放的評測平臺上與以前的EL系統進行了比較。比較結果表明,與現有的方法相比,我們的模型有了很大的改進。
網址:
作者:Gaole He, Junyi Li, Wayne Xin Zhao, Peiju Liu and Ji-Rong Wen
摘要:知識圖補全(KGC)任務旨在自動推斷知識圖(KG)中缺失的事實信息。在本文中,我們采取了一個新的視角,旨在利用豐富的用戶-項目交互數據(簡稱用戶交互數據)來改進KGC任務。我們的工作靈感來自于觀察到許多KG實體對應于應用系統中的在線項目。然而,這兩種數據源的固有特性有很大的不同,使用簡單的融合策略很可能會損害原有的性能。為了應對這一挑戰,我們提出了一種新的對抗性學習方法,通過利用用戶交互數據來執行KGC任務。我們的生成器是從用戶交互數據中分離出來的,用來提高鑒別器的性能。鑒別器將從用戶交互數據中學習到的有用信息作為輸入,并逐步增強評估能力,以識別生成器生成的假樣本。為了發現用戶的隱含實體偏好,設計了一種基于圖神經網絡的協同學習算法,并與鑒別器進行聯合優化。這種方法有效地緩解了KGC任務的數據異構性和語義復雜性問題。在三個真實世界數據集上的廣泛實驗已經證明了我們在KGC任務上的方法的有效性。
網址:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。由于疫情影響,這次會議在線上舉行,本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。近期,隨著會議的臨近,有很多paper放出來,小編發現這次WWW 2020被圖神經網絡攻占,占比非常大,可見其火爆程度。這期小編繼續為大家奉上WWW 2020五篇GNN相關論文供參考——圖注意力主題模型、超圖學習、圖神經網絡Hash、多視角圖聚類、Graph Pooling。
WWW2020GNN_Part2、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
作者:Liang Yang, Fan Wu, Junhua Gu, Chuan Wang, Xiaochun Cao, Di Jin, and Yuanfang Guo
摘要:現有的主題模型(topic modeling)方法存在一些問題,包括概率潛在語義索引模型(Probablistic Latent Semantic Indexing,PLSI)過擬合問題、隱狄利克雷分配(Latent Dirichlet Allocation,LDA)模型不能能捕捉主題間豐富的主題相關性與推理復雜度高等問題。本文提出了一種新的方法來克服pLSI的過擬合問題,用嵌入單詞的平攤推理(amortized inference)作為輸入,代替LDA中的狄利克雷先驗。對于生成性主題模型,大量的自由隱變量是過擬合的根源。為了減少參數個數,平攤推理用一個具有共享(平攤)可學習參數的函數代替了對隱變量的推理。共享參數的數量是固定的,并且與語料庫的規模無關。為了克服平攤推理在獨立同分布(I.I.D)數據中應用的局限性,根據以下兩個觀察結果,我們提出了一種新的圖神經網絡--圖注意力主題網絡(GATON),用于對非I.I.D文檔的主題結構進行建模。首先,pLSI可以解釋為特定二分圖上的隨機塊模型(SBM)。其次,圖注意力網絡(GAT)可以解釋為SBM的半平攤推理(semi-amortized inference),它放寬了I.I.D數據的vanilla 平攤推理假設。GATON提供了一種新穎的基于圖卷積運算的方案,去聚合單詞相似度和單詞共現結構。具體地說,詞袋文檔表示被建模為二分圖拓撲。同時,將捕獲詞相似性的詞嵌入建模為詞節點的屬性,并采用詞頻向量作為文檔節點的屬性。基于加權(注意力)圖卷積操作,詞共現結構和詞相似度模式被無縫地集成在一起進行主題識別。大量實驗表明,GATON在主題識別方面的有效性不僅有利于文檔分類,而且能顯著細化輸入詞的嵌入。
網址://yangliang.github.io/pdf/www20.pdf
作者:Se-eun Yoon, Hyungseok Song, Kijung Shin, and Yung Yi
摘要:超圖提供了一種自然的表示組群關系的方法,其復雜性促使大量先前的工作采用某種形式抽象和簡化高階交互。然而,以下問題尚未得到解決:在解決超圖任務時,組群間交互的抽象程度需要多大?這些結果在不同的數據集中會有多大的不同?如果這個問題可以回答,將為如何在解決下游任務的復雜性和準確性之間權衡提供有用的工程指南。為此,我們提出了一種使用n投影圖( n-projected graph )的概念遞增表示群組交互的方法,該圖的累積量包含多達n種交互作用的信息,并隨著各種數據集的增長,量化解決任務的準確性。作為下游任務,我們考慮超邊預測,它是連接預測的擴展,是評估圖模型的典型任務。通過在15個真實數據集上的實驗,我們得出了以下信息:(a)收益遞減:較小地n足以獲得與接近完美近似值相當的精度,(b)疑難解答:隨著任務的挑戰性越來越大,n帶來了更多好處,(c)不可約性:當成對抽象化時,其成對交互并不能充分說明高階交互的數據集將失去很多準確性。
網址:
作者:Qiaoyu Tan, Ninghao Liu, Xing Zhao, Hongxia Yang, Jingren Zhou, and Xia Hu
摘要:工業推薦系統一般包括兩個階段:召回和排名。召回是指從海量的項目語料庫中高效地識別出數百個用戶可能感興趣的候選項目,而排名的目標是使用復雜的排名模型輸出精確的排名列表。近年來,圖表示學習在支持大規模高質量候選搜索方面受到了廣泛關注。盡管它在用戶-項目交互網絡中學習對象的嵌入向量方面是有效的,但在連續嵌入空間中推斷用戶偏好的計算代價是巨大的。在這項工作中,我們研究了基于圖神經網絡(GNNs)的哈希高質量檢索問題,并提出了一種簡單而有效的離散表示學習框架來聯合學習連續與離散編碼。具體地說,提出了一種基于GNN的深度哈希算法(HashGNN),它由兩部分組成,一個是用于學習節點表示的GNN編碼器,另一個是用于將表示編碼為哈希碼的哈希層。整個框架通過聯合優化以下兩個損失進行端到端的訓練,即通過重建觀察到的連接而產生的重建損失,以及通過保留哈希碼的相對順序產生的排序損失。我們還提出了一種基于直通估計器(straight through estimator ,STE)指導的離散優化策略。其主要思想是在連續嵌入指導下避免STE的反向傳播中的梯度放大,在這種情況下,我們從學習一個更容易模仿連續嵌入的更簡單的網絡開始,并使其在訓練過程中發展直至最終返回STE。在三個公開可用數據集和一個真實的阿里巴巴公司數據集的綜合實驗表明,我們的模型不僅可以達到連續模型的性能,而且在推理過程中運行速度快了好幾倍。
網址:
作者:Shaohua Fan, Xiao Wang, Chuan Shi, Emiao Lu, Ken Lin, and Bai Wang
摘要:多視圖圖聚類(Multi-view graph clustering)近年來受到了相當大的關注,它是一種尋找具有多個視圖的圖的分割方法,通常提供更全面但更復雜的信息。雖然多視圖圖聚類已經做了一些努力并取得了較好的效果,但大多數都是采用淺層模型來處理多視圖間的復雜關系,這可能會嚴重限制多視圖的圖信息建模能力。本文首次嘗試將深度學習技術應用于屬性多視圖圖聚類,提出了一種新的任務導向的One2Multi圖自編碼器聚類框架。One2Multi圖自編碼器能夠通過使用一個信息豐富的圖形視圖和內容數據來重建多個圖形視圖來學習節點嵌入。因此,可以很好地捕捉多個圖的共享特征表示。在此基礎上,我們還提出了一種自訓練聚類目標,以迭代地改善聚類結果。通過將自訓練和自編碼器重構集成到一個統一的框架中,我們的模型可以聯合優化適用于圖聚類的簇標簽分配和嵌入。在真實屬性多視圖圖數據集上的實驗很好地驗證了該模型的有效性。
網址:
作者:Liang Zhang, Xudong Wang, Hongsheng Li, Guangming Zhu, Peiyi Shen, Ping Li, Xiaoyuan Lu, Syed Afaq Ali Shah, and Mohammed Bennamoun
摘要:近年來,人們提出了各種處理圖數據的方法。然而,這些方法大多側重于圖的特征聚合,而不是圖的池化。此外,現有的top-k選擇圖池化方法存在一些問題。首先,在構建池化圖拓撲時,現有的top-k選擇方法只從單一的角度評價節點的重要性,這是簡單化和不客觀的。其次,未選中節點的特征信息在池化過程中直接丟失,必然導致大量的圖特征信息丟失。為了解決上述問題,我們提出了一種新穎的圖自適應池化方法,目標如下:(1)為了構造合理的池化圖拓撲,同時考慮了圖的結構信息和特征信息,增加了節點選擇的準確性和客觀性;(2)為了使池化的節點包含足夠有效的圖信息,在丟棄不重要的節點之前,先聚合節點特征信息;因此,所選擇的節點包含來自鄰居節點的信息,這可以增強未選擇節點的特征的使用。在四個不同的數據集上的實驗結果表明,我們的方法在圖分類中是有效的,并且優于最新的圖池化方法。
網址:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。近期,隨著會議的臨近,有很多paper放出來,專知小編提前整理了WWW 2020圖神經網絡(GNN)比較有意思的的論文—TaxoExpan,結構深度聚類網絡、MetapathGNN、對抗樣本、圖域自適應。
作者:Jiaming Shen, Zhihong Shen, Chenyan Xiong, Chi Wang, Kuansan Wang, Jiawei Han
摘要:本體結構(Taxonomies)由機器可解釋的語義組成,并為許多Web應用程序提供有價值的知識。例如,在線零售商(亞馬遜和eBay)使用本體結構進行產品推薦,而網絡搜索引擎(Google和Bing)利用本體結構來增強查詢理解。當前我們在人工或半自動地構建本體結構方面已經做出了巨大的努力。然而,隨著網絡內容數量的快速增長,現有的本體結構無法捕捉到新興的知識。因此,在許多應用程序中,十分需要對現有本體結構進行動態擴展。在本文中,我們研究了如何通過添加一組新的概念來擴展現有的本體結構。我們提出了一種新的自監督框架TaxoExpanTM,該框架從已有的本體結構中自動生成一組 ?query concept, anchor concept ? 對作為訓練數據。使用這樣的自監督數據,TaxoExpanTM學習一個模型來預測query concept是否是 anchor concept的直接下義詞。我們在TaxoExspan中提出了兩種創新技術:(1)位置增強型圖形神經網絡,它編碼現有本體結構中anchor concept的局部結構;2)噪聲魯棒性訓練目標,使學習的模型能夠對自監控數據中的標簽噪聲不敏感。在來自不同領域的三個大規模數據集上的廣泛實驗證明了TaxoExspan在分類系統擴展方面的有效性和高效性。
作者:Deyu Bo, Xiao Wang, Chuan Shi, Meiqi Zhu, Emiao Lu, Peng Cui
摘要:聚類是數據分析的基本任務。近年來,深度聚類技術(deep clustering)得到了廣泛的關注,它的靈感主要來自于深度學習方法。當前的深度聚類方法通常借助深度學習強大的表示能力(如自編碼)來提高聚類結果,這表明學習一種有效的聚類表示是一個關鍵的要求。深度聚類方法的優勢在于從數據本身中提取有用的表示,而不是從數據的結構中提取,這在表示學習中受到的關注較少。基于圖卷積網絡(GCN)在對圖結構進行編碼方面取得的巨大成功,我們提出了一種結構化深度聚類網絡(SDCN),將結構信息集成到深度聚類中。具體來說,我們設計了一個傳遞算子,將自編碼器學習到的表示轉換到相應的GCN層,并設計了雙重自監督機制來統一這兩種不同的深層神經結構,指導整個模型的更新。通過這種方式,從低階到高階的多種數據結構自然地與自動編碼器學習的多種表示相結合。在此基礎上,從理論上分析了傳遞算子。通過使用傳遞操作符,GCN改進了作為高階圖正則化約束的特定于自編碼的表示形式,并且自動編碼器有助于緩解GCN中的過度平滑問題。通過綜合實驗,我們證明我們提出的模型可以持續地比最先進的技術表現得更好。
網址:
作者:Xinyu Fu, Jiani Zhang, Ziqiao Meng, Irwin King
摘要:大量真實世界的圖或網絡本質上是異構的,涉及節點類型和關系類型的多樣性。異構圖嵌入是將異構圖的豐富結構和語義信息嵌入到低維節點表示中。現有的模型通常定義多個metapaths在異構圖捕捉復合關系和指導鄰居選擇。但是,這些模型要么忽略節點內容特性,要么沿著元路徑丟棄中間節點,要么只考慮一個元路徑。為了解決這三個局限性,我們提出了一種新的集合圖神經網絡模型來提高最終性能。具體來說,MAGNN使用了三個主要組件,即,節點內容轉換封裝輸入節點屬性,元內聚合合并中間語義節點,元間聚合合并來自多個元的消息。在三個真實世界的異構圖數據集上進行了大量的節點分類、節點聚類和鏈路預測實驗,結果表明MAGNN的預測結果比最先進的基線更準確。
網址:
作者:Jinyuan Jia, Binghui Wang, Xiaoyu Cao, Neil Zhenqiang Gong
摘要:社區發現(Community detection)在理解圖結構中起著關鍵作用。但是,最近的一些研究表明,社區發現很容易受到對抗性結構的干擾。即通過在圖中添加或刪除少量選擇的邊,攻擊者可以控制發現的社區。然而,目前還沒有關于社區發現對這種對抗性結構擾動的魯棒性的研究。為了減少這一差距,在這項工作中,我們開發了第一個經過認證的可以抵御對抗性結構擾動的社區發現的魯棒性保證。在任意給定的社區發現方法的基礎上,通過對圖結構隨機進行擾動,構建了一種新的平滑社區發現方法。在理論上,當攻擊者添加/刪除有限數量的邊時,平滑社區發現方法可以將給定的任意節點集合分到相同的社區(或不同的社區)中。此外, 我們還根據經驗在真實社區的多個現實圖上評估了我們的方法。
網址:
作者:Man Wu, Shirui Pan, Chuan Zhou, Xiaojun Chang, Xingquan Zhu
摘要:圖卷積網絡(GCNS)在許多與圖相關的分析任務中取得了成功。然而,由于圖表示學習和圖結構上的域自適應方面的挑戰,大多數GCN只工作在單個域(圖)中,不能將知識從一個域(圖)傳遞到其他域(圖)中。本文提出了一種新的圖域自適應學習方法--無監督域自適應圖卷積網絡(UDAGCN)。為了實現有效的圖表示學習,我們首先提出了一個對偶圖卷積網絡組件,該組件聯合利用局部一致性和全局一致性來進行特征聚合。注意力機制還用于為不同圖中的每個節點產生統一表示。為了便于圖之間的知識傳遞,我們提出了一個域自適應學習模塊,將源分類器損失、域分類器損失和目標分類器損失這三個不同的損失函數作為一個整體進行優化,從而可以區分源域中的類別標簽、不同領域樣本和目標領域的類別標簽。我們還在節點分類任務的真實數據集上的實驗結果驗證該方法的性能,并與最新的圖神經網絡算法進行了比較。
網址:
作者:Nir Rosenfeld, Aron Szanto, David C. Parkes
摘要:最近,在錯誤信息檢測領域已經使用文本中豐富的信號以及與社交媒體上的內容相關的用戶身份來進行檢測。但由于文本可以被策略性地操縱,賬戶也可以用不同的名字重新創建,以上這些方法本質上是脆弱的。在這項工作中,我們研究了另一種更加自然與健壯的模式:信息傳播的模式。僅根據未經證實的謠言在社交網絡中的傳播模式,就能辨別在線傳播的未經證實的謠言的真實性嗎?
使用圖核(graph kernels )從Twitter中提取復雜的拓撲信息,我們訓練了不考慮語言,用戶身份和時間的準確預測模型,這首次證明了這種“sanitized”的擴散模式具有很高的準確性。 我們的結果表明,通過適當的聚集,即使在傳播的早期階段,人群的集中共享模式也可能會顯示出辨別謠言真假的強有力的信號。
網址: