【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。為此,專知小編提前為大家整理了ACL 2020圖神經網絡(GNN)相關論文,讓大家先睹為快——事實驗證、法律文書、謠言檢測、自動摘要、情感分析。
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
1. Fine-grained Fact Verification with Kernel Graph Attention Network
作者:Zhenghao Liu, Chenyan Xiong, Maosong Sun, Zhiyuan Liu
摘要:事實驗證(Fact V erification)需要細粒度的自然語言推理能力來找到微妙的線索去識別句法和語義上正確但沒有強有力支持的聲明(well-supported claims)。本文提出了基于核方法的圖注意力網絡(KGAT),該網絡使用基于核的注意力進行更細粒度的事實驗證。給定一個聲明和一組形成證據圖潛在證據的句子,KGAT在圖注意力網絡中引入了可以更好地衡量證據節點重要性的節點核,以及可以在圖中進行細粒度證據傳播的邊緣核,以實現更準確的事實驗證。KGAT達到了70.38%的FEVER得分,在FEVER上大大超過了現有的事實驗證模型(FEVER是事實驗證的大規模基準)。我們的分析表明,與點積注意力相比,基于核的注意力更多地集中在證據圖中的相關證據句子和有意義的線索上,這是KGAT有效性的主要來源。
網址://arxiv.org/pdf/1910.09796.pdf
2. Distinguish Confusing Law Articles for Legal Judgment Prediction
作者:Nuo Xu, Pinghui Wang, Long Chen, Li Pan, Xiaoyan Wang, Junzhou Zhao
摘要:法律審判預測(LJP)是在給出案件事實描述文本的情況下,自動預測案件判決結果的任務,其在司法協助系統中具有良好的應用前景,為公眾提供方便的服務。實際上,由于適用于類似法律條款的法律案件很容易被誤判,經常會產生混淆的指控。在本文中,我們提出了一個端到端的模型--LADAN來解決LJP的任務。為了解決這一問題,現有的方法嚴重依賴領域專家,這阻礙了它在不同法律制度中的應用。為了區分混淆的指控,我們提出了一種新的圖神經網絡來自動學習混淆法律文章之間的細微差別,并設計了一種新的注意力機制,該機制充分利用學習到的差別從事實描述中提取令人信服的鑒別特征。在真實數據集上進行的實驗證明了我們的LADAN算法的優越性。
網址:
3. GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media
作者:Yi-Ju Lu, Cheng-Te Li
摘要:本文解決了在更現實的社交媒體場景下的假新聞檢測問題。給定源短文本推文和相應的沒有文本評論的轉發用戶序列,我們的目的是預測源推文是否是假的,并通過突出可疑轉發者的證據和他們關注的詞語來產生解釋。為了實現這一目標,我們提出了一種新的基于神經網絡的模型--圖感知協同注意網絡(GCAN)。在真實推文數據集上進行的廣泛實驗表明,GCAN的平均準確率比最先進的方法高出16%。此外,案例研究還表明,GCAN可以給出合理的解釋。
網址:
4. Heterogeneous Graph Neural Networks for Extractive Document Summarization
作者:Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, Xuanjing Huang
摘要:作為提取文檔摘要的關鍵步驟,跨句關系學習已經有了大量的研究方法。一種直觀的方法是將它們放入基于圖的神經網絡中,該網絡具有更復雜的結構來捕獲句間關系。本文提出了一種基于圖的異構神經網絡抽取摘要算法(HeterSUMGraph),該算法除句子外,還包含不同粒度的語義節點。這些額外的結點起到句子之間的中介作用,豐富了句子之間的關系。此外,通過引入文檔節點,我們的圖結構可以靈活地從單文檔設置自然擴展到多文檔設置。據我們所知,我們是第一個將不同類型的節點引入到基于圖的神經網絡中進行提取文檔摘要的,我們還進行了全面的定性分析,以考察它們的好處。
網址:
代碼鏈接:
5. Relational Graph Attention Network for Aspect-based Sentiment Analysis
作者:Kai Wang, Weizhou Shen, Yunyi Yang, Xiaojun Quan, Rui Wang
摘要:Aspect級的情感分析旨在確定在線評論中對某一特定方面的情感極性。最近的大多數努力采用了基于注意力的神經網絡模型來隱式地將aspect與觀點詞聯系起來。然而,由于語言的復雜性和單句中多個aspect的存在,這些模型往往混淆了它們之間的聯系。在本文中,我們通過對語法信息進行有效的編碼來解決這個問題。首先,我們通過重塑和修剪常規依賴關系樹,定義了一個以目標方面為根的統一的面向aspect的依賴樹結構。然后,我們提出了一種關系圖注意力網絡(R-GAT)來編碼新的樹結構用于情感預測。我們在SemEval 2014和Twitter數據集上進行了廣泛的實驗,實驗結果證實,該方法可以更好地建立aspect和觀點詞之間的聯系,從而顯著提高了圖注意網絡(GAT)的性能。
網址:
【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。本次ACL大會共提交了3429篇論文,共有571篇長論文、以及208篇短論文入選。不久之前,專知小編為大家整理了大會的圖神經網絡(GNN)相關論文,上周,專知小編為大家整理了大會的圖神經網絡(GNN)相關論文,這期小編繼續為大家奉上ACL 2020知識圖譜表示學習(KGR)相關論文供參考——開放域知識圖譜嵌入、Multi-hop QA、雙曲嵌入、圖上下文建模、SEEK ACL2020GNN_Part2、ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Can We Predict New Facts with Open Knowledge Graph Embeddings? A Benchmark for Open Link Prediction
作者:Samuel Broscheit, Kiril Gashteovski, Yanjie Wang, Rainer Gemulla
摘要:開放式信息抽取系統從原始文本中抽取(“主體文本”、“關系文本”、“客體文本”)三元組。有些三元組是事實的文本版本,即對實體和關系的非規范化提及。在這篇文章中,我們調查是否有可以不需要對精選的知識進行任何規范化或監督,直接從開放的知識圖中推斷出新的事實。為此,我們提出了一個open的鏈接預測任務,即通過補全(“主體文本”,“關系文本”,?)來預測測試事實問題。在這樣設置中的評估提出了如下這個問題:正確的預測是由開放域知識圖上的推理所誘導的新事實,還是說可以簡單地解釋。例如,事實可能出現在不同的措辭文本變體中。為此,我們提出了一種評估協議和建立了開放域鏈接預測基準的方法--OLPBENCH。我們使用一個用于開放域鏈接預測的典型知識圖嵌入模型進行了實驗。雖然這項任務非常具有挑戰性,但我們的結果表明,預測真正的新事實是可能的,并且這是不能簡單解釋的。
2. Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings
作者:Apoorv Saxena, Aditay Tripathi, Partha Talukdar
摘要:知識圖(KG)是由實體作為節點,實體之間的關系作為類型邊組成的多關系圖。KGQA任務的目標是回答在KG上提出的自然語言問題。多跳(Multi-hop)KGQA需要在KG的多個邊上進行推理才能得到正確的答案。KG通常是不完整的,有許多缺失的鏈接,這給KGQA帶來了額外的挑戰,特別是對于多跳KGQA。最近關于多跳KGQA的研究試圖使用相關的外部文本來處理KG稀疏性,但這并不總是容易獲得的。在另一項研究中,已經提出了通過執行缺失鏈接預測來降低KG稀疏的KG嵌入方法。這種KG嵌入方法雖然高度相關,但到目前為止還沒有被探索用于多跳KGQA。本文填補了這一空白,提出了EmbedKGQA。EmbedKGQA在稀疏KG上執行多跳KGQA特別有效。EmbedKGQA還放寬了從預先確定的鄰域中選擇答案的要求,這是以前的多跳KGQA方法實施的次優約束。通過在多個基準數據集上的廣泛實驗,我們證明了EmbedKGQA在其他最先進的基線上的有效性。
網址:
代碼鏈接:
3. Low-Dimensional Hyperbolic Knowledge Graph Embeddings
作者:Ines Chami, Adva Wolf, Da-Cheng Juan, Frederic Sala, Sujith Ravi, Christopher Ré
摘要:知識圖(KG)嵌入學習實體和關系的低維表示,用于預測另外實體或者補全關系。KG通常表現出必須保留在嵌入空間中的分層和邏輯模式。對于分層數據,雙曲嵌入(hyperbolic embedding)方法在高保真和簡約表示方面顯示出了希望。然而,現有的雙曲嵌入方法沒有考慮KG中豐富的邏輯模式。在這項工作中,我們引入了一類同時捕捉層次模式和邏輯模式的雙曲KG嵌入模型。我們的方法結合了雙曲線反射和旋轉,并注意建模復雜的關系模式。在標準KG基準上的實驗結果表明,我們的方法在低維的MRR(mean reciprocal rank)上比以前的基于歐幾里得和雙曲的工作提高了6.1%。此外,我們觀察到不同的幾何變換捕獲不同類型的關系,而基于注意力的變換概括為多個關系。在高維方面,我們的方法在WN18RR上的MRR為49.6%,在YAGO3-10上的MRR為57.7%。
網址:
4. Orthogonal Relation Transforms with Graph Context Modeling for Knowledge Graph Embedding
作者:Yun Tang, Jing Huang, Guangtao Wang, Xiaodong He, Bowen Zhou
摘要:基于距離的知識圖嵌入已經在知識圖鏈接預測任務上有了實質性的改進,從TransE到目前最先進的RotatE。然而,諸如 N-to-1, 1-to-N和N-to-N的復雜關系仍然難以預測。在這項工作中,我們提出了一種新的基于距離的知識圖鏈接預測方法。首先,通過對模型關系的正交變換,將RotatE從二維復數域擴展到高維空間。關系的正交變換嵌入保持了對于對稱/反對稱關系、逆關系和復合關系的建模能力,同時具有更好的建模能力。其次,將圖形上下文直接集成到距離評分函數中。具體地說,圖上下文是通過兩個有向上下文表示來顯式建模的。嵌入到知識圖中的每個節點都增加了兩個上下文表示,這兩個上下文表示分別從相鄰的傳出節點/邊和傳入節點/邊計算得到。該方法提高了N-to-1, 1-to-N和N-to-N情況下的預測精度。實驗結果表明,該算法在兩個常用的基準測試FB15k237和WNRR-18上都取得了最好的結果,特別是在節點數較多的FB15k-237上。
網址:
5. SEEK: Segmented Embedding of Knowledge Graphs
作者:Wentao Xu, Shun Zheng, Liang He, Bin Shao, Jian Yin, Tie-Yan Liu
摘要:近年來,知識圖嵌入成為人工智能領域的研究熱點,在推薦、問答等各種下游應用中發揮著越來越重要的作用。然而,現有的知識圖嵌入方法沒有在模型復雜度和模型表現力之間取得適當的折衷,這使得它們仍然遠遠不能令人滿意。為了緩解這一問題,我們提出了一個輕量級的建模框架,它可以在不增加模型復雜度的情況下獲得具有高度競爭力的關系表達能力。我們的框架側重于評分函數的設計,并突出了兩個關鍵特征:1)促進充分的特征交互;2)保持關系的對稱性和反對稱性。值得注意的是,由于評分函數設計的通用性和美觀性,我們的框架可以將現有的許多著名的方法作為特例合并在一起。此外,在公共基準上的大量實驗證明了該框架的有效性。
網址:
代碼鏈接:
【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。本次ACL大會共提交了3429篇論文,共有571篇長論文、以及208篇短論文入選。不久之前,專知小編為大家整理了大會的圖神經網絡(GNN)相關論文,這期小編繼續為大家奉上ACL 2020圖神經網絡(GNN)相關論文-Part 2供參考——多文檔摘要、多粒度機器閱讀理解、帖子爭議檢測、GAE。
ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Leveraging Graph to Improve Abstractive Multi-Document Summarization
作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du
摘要:捕捉文本單元之間關系圖對于從多個文檔中檢測顯著信息和生成整體連貫的摘要有很大好處。本文提出了一種神經抽取多文檔摘要(MDS)模型,該模型可以利用文檔的常見圖表示,如相似度圖和話語圖(discourse graph),來更有效地處理多個輸入文檔并生成摘要。我們的模型使用圖對文檔進行編碼,以捕獲跨文檔關系,這對于總結長文檔至關重要。我們的模型還可以利用圖來指導摘要的生成過程,這有利于生成連貫而簡潔的摘要。此外,預訓練的語言模型可以很容易地與我們的模型相結合,進一步提高了摘要的性能。在WikiSum和MultiNews數據集上的實驗結果表明,所提出的體系結構在幾個強大的基線上帶來了實質性的改進。
網址: //arxiv.org/abs/2005.10043
2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu
摘要:“自然問題”是一種具有挑戰性的新的機器閱讀理解基準,其中包含兩個答案:長答案(通常是一個段落)和短答案(長答案中的一個或多個實體)。盡管此基準測試的現有方法很有效,但它們在訓練期間單獨處理這兩個子任務,忽略了它們間的依賴關系。為了解決這個問題,我們提出了一種新穎的多粒度機器閱讀理解框架,該框架專注于對文檔的分層性質進行建模,這些文檔具有不同的粒度級別:文檔、段落、句子和詞。我們利用圖注意力網絡來獲得不同層次的表示,以便它們可以同時學習。長答案和短答案可以分別從段落級表示和詞級表示中提取。通過這種方式,我們可以對兩個粒度的答案之間的依賴關系進行建模,以便為彼此提供證據。我們聯合訓練這兩個子任務,實驗表明,我們的方法在長答案和短答案標準上都明顯優于以前的系統。
網址:
代碼鏈接:
3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection
作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang
摘要:識別社交媒體上有爭議的帖子是挖掘公眾情緒、評估事件影響、緩解兩極分化觀點的基礎任務。然而,現有的方法不能1)有效地融合來自相關帖子內容的語義信息;2)保留回復關系建模的結構信息;3)正確處理與訓練集中主題不同的帖子。為了克服前兩個局限性,我們提出了主題-帖子-評論圖卷積網絡(TPC-GCN),它綜合了來自主題、帖子和評論的圖結構和內容的信息,用于帖子級別的爭議檢測。對于第三個限制,我們將模型擴展到分離的TPC-GCN(DTPC-GCN),將主題相關和主題無關的特征分離出來,然后進行動態融合。在兩個真實數據集上的大量實驗表明,我們的模型優于現有的方法。結果和實例分析表明,該模型能夠將語義信息和結構信息有機地結合在一起,具有較強的通用性。
網址:
4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward
作者:Luyang Huang, Lingfei Wu, Lu Wang
摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已經被廣泛研究,但是生成的摘要通常受到捏造的內容的影響,并且經常被發現是near-extractive的。我們認為,為了解決這些問題,摘要生成器應通過輸入獲取語義解釋,例如通過結構化表示,以允許生成更多信息的摘要。在本文中,我們提出了一種新的抽取摘要框架--Asgard,它具有圖形增強和語義驅動的特點。我們建議使用雙重編碼器-序列文檔編碼器和圖形結構編碼器-來保持實體的全局上下文和局部特征,并且相互補充。我們進一步設計了基于多項選擇完形填空測試的獎勵,以驅動模型更好地捕捉實體交互。結果表明,我們的模型在紐約時報和CNN/每日郵報的數據集上都比沒有知識圖作為輸入的變體產生了更高的Rouge分數。與從大型預訓練的語言模型中優化的系統相比,我們也獲得了更好或可比的性能。評委進一步認為我們的模型輸出信息更豐富,包含的不實錯誤更少。
網址:
5. A Graph Auto-encoder Model of Derivational Morphology
作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty
摘要:關于派生詞的形態良好性(morphological well-formedness, MWF)建模工作在語言學中被認為是一個復雜而困難的問題,并且這方面的研究工作較少。我們提出了一個圖自編碼器學習嵌入以捕捉派生詞中詞綴和詞干的兼容性信息。自編碼器通過將句法和語義信息與來自心理詞典的關聯信息相結合,很好地模擬了英語中的MWF。
網址:
【導讀】作為CCF推薦的A類國際學術會議,International ACM SIGIR Conference on Research and Development in Information Retrieval(國際計算機學會信息檢索大會,簡稱 SIGIR)在信息檢索領域享有很高的學術聲譽,每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2020計劃將于 2020年7月25日~30日在中國西安舉行。本次大會共有555篇長文投稿,僅有147篇長文被錄用,錄用率約26%。專知小編提前為大家整理了六篇SIGIR 2020 基于圖神經網絡的推薦(GNN+RS)相關論文,這六篇論文分別出自中科大何向南老師和和昆士蘭大學陰紅志老師團隊,供大家參考——捆綁推薦、Disentangled GCF、服裝推薦、多行為推薦、全局屬性GNN
CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN
1. Bundle Recommendation with Graph Convolutional Networks
作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin
摘要:捆綁推薦(Bundle recommendation )旨在推薦一組商品供用戶整體消費。現有的解決方案通過共享模型參數或多任務學習的方式將用戶項目交互建模集成到捆綁推薦中,然而,這些方法不能顯式建模項目與捆綁包(bundles)之間的隸屬關系,不能探索用戶選擇捆綁包時的決策。在這項工作中,我們提出了一個用于捆綁推薦的圖神經網絡模型BGCN(Bundle Graph Convolutional Network)。BGCN將用戶-項目交互、用戶-捆綁包交互和捆綁包-項目從屬關系統一到一個異構圖中。以項目節點為橋梁,在用戶節點和捆綁包節點之間進行圖卷積傳播,使學習到的表示能夠捕捉到項目級的語義。通過基于hard-negative采樣器的訓練,可以進一步區分用戶對相似捆綁包的細粒度偏好。在兩個真實數據集上的實驗結果表明,BGCN的性能有很高的提升,其性能比最新的基線高出10.77%到23.18%。
網址: //arxiv.org/abs/2005.03475
2. Disentangled Graph Collaborative Filtering
作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua
摘要:從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入函數利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,這些方法在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了打發時間,為了興趣,或者為其他人(如家庭)購物。這種統一的對用戶興趣建模的方法很容易導致次優表示,不能對不同的關系建模并在表示中分清用戶意圖。在這項工作中,我們特別關注用戶意圖細粒度上的用戶-項目關系。因此,我們設計了一種新的模型- Disentangled圖協同過濾(Disentangled Graph Collaborative Filtering ,DGCF),來理清這些因素并產生disentangled的表示。具體地說,通過在每個用戶-項目交互意圖上的分布建模,我們迭代地細化意圖感知的交互圖和表示。同時,我們鼓勵不同的意圖獨立。這將生成disentangled的表示,有效地提取與每個意圖相關的信息。我們在三個基準數據集上進行了廣泛的實驗,DGCF與NGCF、DisenGCN和MacridV AE這幾個最先進的模型相比取得了顯著的改進。進一步的分析揭示了DGCF在分解用戶意圖和表示的可解釋性方面的優勢。
網址:
代碼鏈接:
.
3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection
作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui
摘要:近年來,推薦系統已經成為所有電子商務平臺中不可缺少的功能。推薦系統的審查評級數據通常來自開放平臺,這可能會吸引一群惡意用戶故意插入虛假反饋,試圖使推薦系統偏向于他們。此類攻擊的存在可能會違反高質量數據始終可用的建模假設,而這些數據確實會影響用戶的興趣和偏好。因此,構建一個即使在攻擊下也能產生穩定推薦的健壯推薦系統具有重要的現實意義。本文提出了一種基于GCN的用戶表示學習框架GraphRf,該框架能夠統一地進行穩健的推薦和欺詐者檢測。在其端到端學習過程中,用戶在欺詐者檢測模塊中被識別為欺詐者的概率自動確定該用戶的評級數據在推薦模塊中的貢獻;而在推薦模塊中輸出的預測誤差作為欺詐者檢測模塊中的重要特征。因此,這兩個組成部分可以相互促進。經過大量的實驗,實驗結果表明我們的GraphRf在魯棒評級預測和欺詐者檢測這兩個任務中具有優勢。此外,所提出的GraphRf被驗證為對現有推薦系統上的各種攻擊具有更強的魯棒性。
網址:
4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation
作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua
摘要:服裝推薦越來越受到網購服務商和時尚界的關注。與向用戶推薦單個單品(例如,朋友或圖片)的其他場景(例如,社交網絡或內容共享)不同,服裝推薦預測用戶對一組匹配良好的時尚單品的偏好。因此,進行高質量的個性化服裝推薦應滿足兩個要求:1)時尚單品的良好兼容性;2)與用戶偏好的一致性。然而,目前的研究主要集中在其中一個需求上,只考慮了用戶-全套服裝(outfit)或全套服裝-項目的關系,從而容易導致次優表示,限制了性能。在這項工作中,我們統一了兩個任務,服裝兼容性建模和個性化服裝推薦。為此,我們開發了一個新的框架,層次時尚圖網絡(HFGN),用于同時建模用戶、商品和成套服裝之間的關系。特別地,我們構建了一個基于用戶-全套服裝交互和全套服裝-項目映射的層次結構。然后,我們從最近的圖神經網絡中得到啟發,在這種層次圖上使用嵌入傳播,從而將項目信息聚合到一個服裝表示中,然后通過他/她的歷史服裝來提煉用戶的表示。此外,我們還對這兩個任務進行了聯合訓練,以優化這些表示。為了證明HFGN的有效性,我們在一個基準數據集上進行了廣泛的實驗,HFGN在NGNN和FHN等最先進的兼容性匹配模型基礎上取得了顯著的改進。
網址:
代碼鏈接:
5. Multi-behavior Recommendation with Graph Convolutional Networks
作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li
摘要:傳統的推薦模型通常只使用一種類型的用戶-項目交互,面臨著嚴重的數據稀疏或冷啟動問題。利用多種類型的用戶-項目交互(例如:點擊和收藏)的多行為推薦可以作為一種有效的解決方案。早期的多行為推薦研究未能捕捉到行為對目標行為的不同程度的影響。它們也忽略了多行為數據中隱含的行為語義。這兩個限制都使得數據不能被充分利用來提高對目標行為的推薦性能。在這項工作中,我們創新性地構造了一個統一的圖來表示多行為數據,并提出了一種新的模型--多行為圖卷積網絡(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通過用戶-項目傳播層學習行為強度,通過項目-項目傳播層捕獲行為語義,較好地解決了現有工作的局限性。在兩個真實數據集上的實驗結果驗證了該模型在挖掘多行為數據方面的有效性。我們的模型在兩個數據集上的性能分別比最優基線高25.02%和6.51%。對冷啟動用戶的進一步研究證實了該模型的實用性。
網址:
6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation
作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen
摘要:基于流會話的推薦(Streaming session-based recommendation,SSR)是一項具有挑戰性的任務,它要求推薦器系統在流媒體場景(streaming scenario)中進行基于會話的推薦(SR)。在電子商務和社交媒體的現實應用中,在一定時間內產生的一系列用戶-項目交互被分組為一個會話,這些會話以流的形式連續到達。最近的SR研究大多集中在靜態集合上,即首先獲取訓練數據,然后使用該集合來訓練基于會話的推薦器模型。他們需要對整個數據集進行幾個epoch的訓練,這在流式設置下是不可行的。此外,由于對用戶信息的忽視或簡單使用,它們很難很好地捕捉到用戶的長期興趣。雖然最近已經提出了一些流推薦策略,但它們是針對個人交互流而不是會話流而設計的。本文提出了一種求解SSR問題的帶有Wasserstein 庫的全局屬性圖(GAG)神經網絡模型。一方面,當新的會話到達時,基于當前會話及其關聯用戶構造具有全局屬性的會話圖。因此,GAG可以同時考慮全局屬性和當前會話,以了解會話和用戶的更全面的表示,從而在推薦中產生更好的性能。另一方面,為了適應流會話場景,提出了Wasserstein庫來幫助保存歷史數據的代表性草圖。在兩個真實數據集上進行了擴展實驗,驗證了GAG模型與最新方法相比的優越性。
網址:
【導讀】作為計算機視覺領域的三大國際頂會之一,IEEE國際計算機視覺與模式識別會議 CVPR 每年都會吸引全球領域眾多專業人士參與。由于受COVID-19疫情影響,原定于6月16日至20日在華盛頓州西雅圖舉行的CVPR 2020將全部改為線上舉行。今年的CVPR有6656篇有效投稿,最終有1470篇論文被接收,接收率為22%左右。之前小編為大家整理過CVPR 2020 GNN 相關論文,這周小編繼續為大家整理了五篇CVPR 2020 圖神經網絡(GNN)相關論文,供大家參考——行為識別、少樣本學習、仿射跳躍連接、多層GCN、3D視頻目標檢測。
CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN
1. Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition
作者:Ziyu Liu, Hongwen Zhang, Zhenghao Chen, Zhiyong Wang, Wanli Ouyang
摘要:基于骨架的動作識別算法廣泛使用時空圖對人體動作動態進行建模。為了從這些圖中捕獲魯棒的運動模式,長范圍和多尺度的上下文聚合與時空依賴建模是一個強大的特征提取器的關鍵方面。然而,現有的方法在實現(1)多尺度算子下的無偏差長范圍聯合關系建模和(2)用于捕捉復雜時空依賴的通暢的跨時空信息流方面存在局限性。在這項工作中,我們提出了(1)一種簡單的分解(disentangle)多尺度圖卷積的方法和(2)一種統一的時空圖卷積算子G3D。所提出的多尺度聚合方法理清了不同鄰域中節點對于有效的遠程建模的重要性。所提出的G3D模塊利用密集的跨時空邊作為跳過連接(skip connections),用于在時空圖中直接傳播信息。通過耦合上述提議,我們開發了一個名為MS-G3D的強大的特征提取器,在此基礎上,我們的模型在三個大規模數據集NTU RGB+D60,NTU RGB+D120和Kinetics Skeleton 400上的性能優于以前的最先進方法。
網址: //arxiv.org/pdf/2003.14111.pdf
代碼鏈接: github.com/kenziyuliu/ms-g3d
2. DPGN: Distribution Propagation Graph Network for Few-shot Learning
作者:Ling Yang, Liangliang Li, Zilun Zhang, Xinyu Zhou, Erjin Zhou, Yu Liu
摘要:大多數基于圖網絡的元學習方法都是為實例的instance-level關系進行建模。我們進一步擴展了此思想,以1-vs-N的方式將一個實例與所有其他實例的分布級關系明確建模。我們提出了一種新的少樣本學習方法--分布傳播圖網絡(DPGN)。它既表達了每個少樣本學習任務中的分布層次關系,又表達了實例層次關系。為了將所有實例的分布層關系和實例層關系結合起來,我們構造了一個由點圖和分布圖組成的對偶全圖網絡,其中每個節點代表一個實例。DPGN采用雙圖結構,在更新時間內將標簽信息從帶標簽的實例傳播到未帶標簽的實例。在少樣本學習的大量基準實驗中,DPGN在監督設置下以5%~12%和在半監督設置下以7%~13%的優勢大大超過了最新的結果。
網址:
代碼鏈接:
3. Geometrically Principled Connections in Graph Neural Networks
作者:Shunwang Gong, Mehdi Bahri, Michael M. Bronstein, Stefanos Zafeiriou
摘要:圖卷積操作為以前認為遙不可及的各種圖形和網格處理任務帶來了深度學習的優勢。隨著他們的持續成功,人們希望設計更強大的體系結構,這通常是將現有的深度學習技術應用于非歐幾里得數據。在這篇文章中,我們認為幾何應該仍然是幾何深度學習這一新興領域創新的主要驅動力。我們將圖神經網絡與廣泛成功的計算機圖形和數據近似模型(徑向基函數(RBF))相關聯。我們推測,與RBF一樣,圖卷積層將從向功能強大的卷積核中添加簡單函數中受益。我們引入了仿射跳躍連接 (affine skip connections),這是一種通過將全連接層與任意圖卷積算子相結合而形成的一種新的構建塊。通過實驗證明了我們的技術的有效性,并表明性能的提高是參數數量增加的結果。采用仿射跳躍連接的算子在形狀重建、密集形狀對應和圖形分類等每一項任務上的表現都明顯優于它們的基本性能。我們希望我們簡單有效的方法將成為堅實的基準,并有助于簡化圖神經網絡未來的研究。
網址:
4. L^2-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks
作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen
摘要:圖卷積網絡(GCN)在許多應用中越來越受歡迎,但在大型圖形數據集上的訓練仍然是出了名的困難。它們需要遞歸地計算鄰居的節點表示。當前的GCN訓練算法要么存在隨層數呈指數增長的高計算成本,要么存在加載整個圖和節點嵌入的高內存使用率問題。本文提出了一種新的高效的GCN分層訓練框架(L-GCN),該框架將訓練過程中的特征聚合和特征變換分離開來,從而大大降低了時間和存儲復雜度。我們在圖同構框架下給出了L-GCN的理論分析,在溫和的條件下,與代價更高的傳統訓練算法相比L-GCN可以產生同樣強大的GCN。我們進一步提出了L2-GCN,它為每一層學習一個控制器,該控制器可以自動調整L-GCN中每一層的訓練周期。實驗表明,L-GCN比現有技術快至少一個數量級,內存使用量的一致性不依賴于數據集的大小,同時保持了還不錯的預測性能。通過學習控制器,L2-GCN可以將訓練時間進一步減少一半。
網址:
代碼鏈接:
補充材料:
5. LiDAR-based Online 3D Video Object Detection with Graph-based Message Passing and Spatiotemporal Transformer Attention
作者:Junbo Yin, Jianbing Shen, Chenye Guan, Dingfu Zhou, Ruigang Yang
摘要:現有的基于LiDAR的3D目標檢測算法通常側重于單幀檢測,而忽略了連續點云幀中的時空信息。本文提出了一種基于點云序列的端到端在線3D視頻對象檢測器。該模型包括空間特征編碼部分和時空特征聚合部分。在前一個組件中,我們提出了一種新的柱狀消息傳遞網絡(Pillar Message Passing Network,PMPNet)來對每個離散點云幀進行編碼。它通過迭代信息傳遞的方式自適應地從相鄰節點收集柱節點的信息,有效地擴大了柱節點特征的感受野。在后一組件中,我們提出了一種注意力時空轉換GRU(AST-GRU)來聚合時空信息,通過注意力記憶門控機制增強了傳統的ConvGRU。AST-GRU包含一個空間Transformer Attention(STA)模塊和一個時間Transformer Attention(TTA)模塊,分別用于強調前景對象和對齊動態對象。實驗結果表明,所提出的3D視頻目標檢測器在大規模的nuScenes基準測試中達到了最先進的性能。
網址:
代碼鏈接:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開,會議論文集已經公開,大家可以自己查看感興趣的論文,專知小編繼續整理WWW 2020 系列論文,這期小編為大家奉上的是WWW 2020五篇知識圖譜+圖神經網絡(KG+GNN)相關論文,供大家參考!——多關系實體對齊、問答推理、動態圖實體鏈接、序列實體鏈接、知識圖譜補全。
WWW 2020 會議論文集: //dl.acm.org/doi/proceedings/10.1145/3366423
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
作者:Qi Zhu, Hao Wei, Bunyamin Sisman, Da Zheng, Christos Faloutsos, Xin Luna Dong and Jiawei Han
摘要:知識圖(如Freebase、Yago)是表示各類實體之間豐富真實信息的多關系圖。實體對齊是實現多源知識圖集成的關鍵步驟。它旨在識別涉及同一真實世界實體的不同知識圖中的實體。然而,現有的實體對齊系統忽略了不同知識圖的稀疏性,不能通過單一模型對多類型實體進行對齊。在本文中,我們提出了一種用于多類型實體對齊的聯合圖神經網絡(Collective Graph neural network),稱為CG-MuAlign。與以前的工作不同,CG-MuAlign聯合對齊多種類型的實體,共同利用鄰域信息并將其推廣到未標記的實體類型。具體地說,我們提出了一種新的集中聚集函數1)通過交叉圖和自注意力來緩解知識圖的不完全性,2)通過小批量訓練范例和有效的鄰域抽樣策略,有效地提高了可伸縮性。我們在具有數百萬個實體的真實知識圖上進行了實驗,觀察到了比現有方法更優越的性能。此外,我們的方法的運行時間比目前最先進的深度學習方法要少得多。
網址:
作者:Chen Zhao, Chenyan Xiong, Xin Qian and Jordan Boyd-Graber
摘要:我們介紹了Delft,一個事實問答系統,它將知識圖問答方法的細微和深度與更廣泛的free-文本結合在一起。Delft從Wikipedia構建了一個自由文本知識圖,以實體為節點和句子,其中實體同時出現做為邊。對于每個問題,Delft使用文本句子作為邊,找到將問題實體節點鏈接到候選對象的子圖,創建了密集且覆蓋率高的語義圖。一種新穎的圖神經網絡在free-文本圖上進行推理-通過沿邊句子的信息組合節點上的證據-以選擇最終答案。在三個問答數據集上的實驗表明,Delft能夠比基于機器閱讀的模型、基于BERT的答案排序和記憶網絡更好地回答實體豐富的問題。Delft的優勢既來自于其free-文本知識圖譜的高覆蓋率--是DBpedia關系的兩倍多--也來自于新穎的圖神經網絡,它基于豐富而嘈雜的free-文本證據進行推理。
網址:
作者:Junshuang Wu, Richong Zhang, Yongyi Mao, Hongyu Guo, Masoumeh Soflaei and Jinpeng Huai
摘要:實體鏈接將文檔中提及的命名實體映射到給定知識圖中的合適的實體,已被證明能夠從基于圖卷積網絡(GCN)對實體相關性建模中獲得顯著好處。然而,現有的GCN實體鏈接模型沒有考慮到,一組實體的結構化圖不僅依賴于給定文檔的上下文信息,而且在GCN的不同聚合層上自適應地變化,導致在捕捉實體之間的結構信息方面存在不足。在本文中,我們提出了一種動態的GCN體系結構來有效地應對這一挑戰。模型中的圖結構是在訓練過程中動態計算和修改的。通過聚合動態鏈接節點的知識,我們的GCN模型可以集中識別文檔和知識圖之間的實體映射,并有效地捕捉整個文檔中各個實體提及( mentions)之間的主題一致性。在基準實體連接數據集上的實證研究證實了我們提出的策略的優越性能和動態圖結構的好處。
網址:
作者:Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang
摘要:實體鏈接(EL)是將文本中提及的內容映射到知識庫(KB)中相應實體的任務。這項任務通常包括候選生成(CG)和實體消歧(ED)兩個階段。目前基于神經網絡模型的EL系統取得了較好的性能,但仍然面臨著兩個挑戰:(1)以往的研究在評估模型時沒有考慮候選實體之間的差異。事實上,候選集的質量(特別是黃金召回)對EL結果有影響。因此,如何提候選的素質需要引起更多的關注。(Ii)為了利用提及實體之間的主題一致性,提出了許多聚集ED的圖和序列模型。然而,基于圖的模型對所有候選實體一視同仁,這可能會引入大量的噪聲信息。相反,序列模型只能觀察先前引用的實體,而忽略了當前提及的實體與其后續實體之間的相關性。針對第一個問題,我們提出了一種基于多策略的CG方法來生成高召回率的候選集。對于第二個問題,我們設計了一個序列圖注意力網絡(SeqGat),它結合了圖和序列方法的優點。在我們的模型中,提及( mentions)是按順序處理的。在當前提到的情況下,SeqGAT對其先前引用的實體和后續實體進行動態編碼,并為這些實體分配不同的重要性。這樣既充分利用了主題的一致性,又減少了噪聲干擾。我們在不同類型的數據集上進行了實驗,并在開放的評測平臺上與以前的EL系統進行了比較。比較結果表明,與現有的方法相比,我們的模型有了很大的改進。
網址:
作者:Gaole He, Junyi Li, Wayne Xin Zhao, Peiju Liu and Ji-Rong Wen
摘要:知識圖補全(KGC)任務旨在自動推斷知識圖(KG)中缺失的事實信息。在本文中,我們采取了一個新的視角,旨在利用豐富的用戶-項目交互數據(簡稱用戶交互數據)來改進KGC任務。我們的工作靈感來自于觀察到許多KG實體對應于應用系統中的在線項目。然而,這兩種數據源的固有特性有很大的不同,使用簡單的融合策略很可能會損害原有的性能。為了應對這一挑戰,我們提出了一種新的對抗性學習方法,通過利用用戶交互數據來執行KGC任務。我們的生成器是從用戶交互數據中分離出來的,用來提高鑒別器的性能。鑒別器將從用戶交互數據中學習到的有用信息作為輸入,并逐步增強評估能力,以識別生成器生成的假樣本。為了發現用戶的隱含實體偏好,設計了一種基于圖神經網絡的協同學習算法,并與鑒別器進行聯合優化。這種方法有效地緩解了KGC任務的數據異構性和語義復雜性問題。在三個真實世界數據集上的廣泛實驗已經證明了我們在KGC任務上的方法的有效性。
網址:
【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿,接收1470篇,其接受率在逐年下降,今年接受率僅為22%。幾周前專知小編整理了CVPR 2020 圖神經網絡(GNN)相關的比較有意思的值得閱讀的,這期小編繼續為大家奉上CVPR 2020五篇GNN相關論文供參考——視頻文本檢索、人體解析、圖像描述生成、人臉重構、Human-Object Interaction。
CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
作者:Shizhe Chen, Yida Zhao, Qin Jin and Qi Wu
摘要:隨著視頻在網絡上的迅速涌現,視頻和文本之間的跨模態檢索越來越受到人們的關注。目前解決這一問題的主流方法是學習聯合嵌入空間來度量跨模態相似性。然而,簡單的聯合嵌入不足以表示復雜的視覺和文本細節,例如場景、對象、動作及他們的組成。為了提高細粒度的視頻文本檢索,我們提出了一種分層圖推理(HGR)模型,將視頻文本匹配分解為全局到局部層次。具體地說,該模型將文本分解成層次化的語義圖,包括事件、動作、實體這三個層次和這些層次之間的關系。利用基于屬性的圖推理生成層次化的文本嵌入,以指導多樣化、層次化的視頻表示學習。HGR模型聚合來自不同視頻-文本級別的匹配,以捕捉全局和局部細節。在三個視頻文本數據集上的實驗結果表明了該模型的優越性。這種分層分解還可以更好地跨數據集進行泛化,并提高區分細粒度語義差異的能力。
作者:Wenguan Wang, Hailong Zhu, Jifeng Dai, Yanwei Pang, Jianbing Shen and Ling Shao
摘要:人體解析(Human parsing)是為了像素級的人類語義理解。由于人體是具有層次結構的,因此如何對人體結構進行建模是這個任務的中心主題。圍繞這一點,我們試圖同時探索深度圖網絡的表示能力和層次化的人類結構。在本文中,我們有以下兩個貢獻。首先,首次用三個不同的關系網絡完整而精確地描述了分解、組合和依賴這三種部件關系。這與以前的解析方式形成了鮮明的對比,之前的解析器只關注關系的一部分,并采用類型不可知(type-agnostic)的關系建模策略。通過在關系網絡中顯式地施加參數來滿足不同關系的具體特性,可以捕捉到更具表現力的關系信息。其次,以前的解析器在很大程度上忽略了循環的人類層次結構上的近似算法的需求,而我們則通過將具有邊類型的通用信息傳遞網絡與卷積網絡同化來解決迭代推理過程。通過這些努力,我們的解析器為更復雜、更靈活的人際關系推理模式奠定了基礎。在五個數據集上的綜合實驗表明,我們的解析器在每個數據集上都具有最好的表現。
網址:
作者:Shizhe Chen, Qin Jin, Peng Wang and Qi Wu
摘要:人類能夠隨心所欲地用粗略到精細的細節來描述圖像內容。然而,大多數圖像描述生成模型都是忽略意圖(intention-agnostic)的,不能根據不同的用戶意圖主動生成不同的描述。在這項工作中,我們提出了抽象場景圖(ASG)結構來在細粒度層次上表示用戶意圖,并控制生成的描述應該是什么和有多詳細。ASG是一個由三種類型的抽象節點(對象、屬性、關系)組成的有向圖,這些節點來自于圖像,沒有任何具體的語義標簽。因此,啊他們通過手動或自動生成都很容易獲得。在ASG的基礎上,我們提出了一種新穎的ASG2圖像描述生成模型,該模型能夠識別用戶在圖中的意圖和語義,從而根據圖的結構生成想要的字幕。與在VisualGenome和MSCOCO數據集上的其它的基線模型相比,我們的模型在ASG上具有更好的可控性條件。它還通過自動采樣不同的ASG作為控制信號,顯著提高了caption的多樣性。
網址:
作者:Jiangke Lin, Yi Yuan, Tianjia Shao and Kun Zhou
摘要:基于三維形變模型(3DMM)的方法在從單視圖圖像中恢復三維人臉形狀方面取得了很大的成功。然而,用這種方法恢復的面部紋理缺乏像輸入圖像中表現出的逼真度。最近的工作采用生成網絡來恢復高質量的面部紋理,這些網絡是從一個大規模的高分辨率臉部紋理UV圖數據庫中訓練出來的,這些數據庫很難準備的,也不能公開使用。本文介紹了一種在無約束條件下捕獲(in-the-wild)的單視圖像中重建具有高保真紋理的三維人臉形狀的方法,該方法不需要獲取大規模的人臉紋理數據庫。為此,我們提出使用圖卷積網絡來重建網格頂點的細節顏色來代替重建UV地圖。實驗表明,我們的方法可以產生高質量的結果,并且在定性和定量比較方面都優于最先進的方法。
網址:
作者:Oytun Ulutan, A S M Iftekhar and B. S. Manjunath
摘要:全面的視覺理解要求檢測框架能夠在單獨分析物體的同時有效地學習和利用物體交互。這是人類-物體交互(Human-Object Interaction,HOI)任務的主要目標。特別是,物體之間的相對空間推理和結構聯系是分析交互的基本線索,文中提出的視覺-空間-圖網絡(VSGNet)體系結構可以解決這一問題。VSGNet從人類-物體對中提取視覺特征,利用人類-物體對的空間構型對特征進行細化,并通過圖卷積利用人類-物體對之間的結構聯系。我們使用COCO(V-COCO)和HICO-Det數據集中的動詞對VSGNet的性能進行了全面評估。實驗結果表明,VSGNet在V-COCO和HICO-DET中的性能分別比現有解決方案高出8%或4MAP和16%或3MAP。
網址:
代碼鏈接:
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。近期,隨著會議的臨近,有很多paper放出來,幾周前專知小編整理了WWW 2020圖神經網絡(GNN)比較有意思的論文,這期小編繼續為大家奉上WWW 2020五篇GNN相關論文供參考——對抗攻擊、Heterogeneous Graph Transformer、圖生成、多關系GNN、知識庫補全。
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
作者:Jia Li, Honglei Zhang, Zhichao Han, Yu Rong, Hong Cheng and Junzhou Huang
摘要:已經證明,添加了不可察覺擾動的對抗圖(adversarial graphs),會導致深層圖模型在節點/圖分類任務中失敗。在本文中,我們將對抗性圖擴展到困難得多的社區發現(community detection)問題上。我們關注黑盒攻擊,致力于隱藏目標個體,使其不被深度圖社區檢測模型檢測到,該模型在現實場景中有很多應用,例如,保護社交網絡中的個人隱私,理解交易網絡中的偽裝模式。我們提出了一個迭代學習框架,輪流更新兩個模塊:一個作為約束圖生成器,另一個作為替代社區發現模型。我們還發現,我們的方法生成的對抗圖可以遷移到其他基于社區發現模型的學習中。
作者:Ziniu Hu, Yuxiao Dong, Kuansan Wang and Yizhou Sun
摘要:近年來,圖神經網絡(GNNs)在結構化數據建模方面取得了突飛猛進的成功。然而,大多數GNN都是為同質圖(所有的節點和邊都屬于相同的類型)設計的,這使得這些GNN不能表示異構結構。在這篇文章中,我們提出了異構圖轉換器(HGT)結構來建模Web規模的異構圖。為了建模異構性,我們設計了與節點和邊類型相關的參數來表征對每條邊的異構關注,使得HGT能夠維護不同類型的節點和邊的專有表示。為了處理動態異構圖,我們將相對時間編碼技術引入到HGT中,能夠捕獲任意持續時間的動態結構依賴關系。為了處理Web規模的圖數據,我們設計了異構小批量圖采樣算法HGSamples,以實現高效和可擴展的訓練。在具有1.79億個節點和20億條邊的開放學術圖上的廣泛實驗表明,本文所提出的HGT模型在各種下游任務上的性能一致地比所有最新的GNN基線高出9%-21%。
網址:
代碼鏈接:
作者:Nikhil Goyal, Harsh Vardhan Jain and Sayan Ranu
摘要:圖生成模型在數據挖掘領域中得到了廣泛的研究。傳統的技術基于預定義分布的生成結構,而最近的技術已轉向直接從數據中學習此分布。雖然基于學習的方法在質量上有了顯著的提高,但仍有一些缺點需要解決。首先,學習圖的分布會帶來額外的計算開銷,這就限制了這些方法對大型圖數據庫的可擴展性。第二,許多方法只學圖結構,并沒有學習節點和邊的標簽(這些標簽編碼重要的語義信息會影響結構自身)。第三,現有技術往往包含領域的特定規則,缺乏通用性。第四,現有方法的實驗部分要么使用了較弱的評估指標,要么主要集中在合成數據或小數據集上,實驗不夠全面上。在這項工作中,我們提出了一種稱為GraphGen的域未知(domain-agnostic)技術來克服所有這些缺點,GraphGen使用最少的DFS代碼將圖轉換為序列。最小DFS碼是規范化的標簽,并且可以精確地捕捉圖結構和標簽信息。本文通過一種新的LSTM結構學習結構標簽和語義標簽之間復雜的聯合分布。在百萬級的真實圖數據集上的廣泛實驗表明,GraphGen的平均速度是最先進方法的4倍,同時在11個不同指標的綜合集合中質量明顯更好。
網址:
代碼鏈接:
作者:Wen Wang, Wei Zhang, Shukai Liu, Bo Zhang, Leyu Lin and Hongyuan Zha
摘要:基于會話的目標行為預測旨在預測要與特定行為類型(例如,點擊)交互的下一項。雖然現有的基于會話的行為預測方法利用強大的表示學習方法來編碼項目在低維空間中的順序相關性,但是它們受到一些限制。首先,之前的方法側重于只利用同一類型的用戶行為進行預測,而忽略了將其他行為數據作為輔助信息的潛力。當目標行為稀疏但很重要(例如,購買或共享物品)時,輔助信息尤為重要。其次,項目到項目的關系是在一個行為序列中單獨和局部建模的,缺乏一種規定的方法來更有效地全局編碼這些關系。為了克服這些局限性,我們提出了一種新的基于會話的多關系圖神經網絡模型(MGNN-SPred)。具體地說,我們基于來自所有會話的所有行為序列(涉及目標行為類型和輔助行為類型)構建多關系項目圖(Multi-Relational Item Graph,MRIG)。在MRIG的基礎上,MGNN-SPred學習全局項目與項目之間的關系,進而獲得用戶偏好分別作為為當前目標行為序列和輔助行為序列。最后,MGNN-SPred利用門控機制自適應地融合用戶表示,以預測與目標行為交互的下一項。在兩個真實數據集上的廣泛實驗證明了MGNN-SPred與最新的基于會話的預測方法相比的優越性,驗證了利用輔助行為和基于MRIG學習項目到項目關系的優點。
網址:
作者:Ermei Cao, Difeng Wang, Jiacheng Huang and Wei Hu
摘要:知識庫(KBS)已經逐漸成為許多人工智能應用的寶貴資產。雖然目前的許多知識庫相當大,但它們被是不完整的,特別是缺乏長尾實體(例如:不太有名的人)。現有的方法主要通過補全缺失連接或補齊缺失值來豐富知識庫。然而,它們只解決了充實知識庫問題的一部分,缺乏對長尾實體的具體考慮。在這篇文章中,我們提出了一種新穎的知識補齊方法,它從開放的Web中預測缺失的屬性并推斷出長尾實體的真實值。利用來自流行實體的先驗知識來改進每個充實步驟。我們在合成數據集和真實數據集上的實驗以及與相關工作的比較表明了該方法的可行性和優越性。
網址:
最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】,CVPR視覺目標跟蹤,CVPR視覺問答,醫學圖像分割,圖神經網絡的推薦,CVPR域自適應, ICML圖神經網絡,ICML元學習相關論文,反響熱烈。最近,ACL 2019最新接受文章出爐,大會共收到2905 篇論文投稿,其中660 篇被接收(接收率為22.7%)。小編發現,今年接受的文章結合GNN的工作有二三十篇,看來,圖神經網絡已經攻占NLP領域,希望其他領域的同學多多學習,看能否結合,期待好的工作!今天小編專門整理最新十篇ACL長文,圖神經網絡(GNN)+NLP—注意力機制引導圖神經網絡、Graph-to-Sequence、動態融合圖網絡、實體和關系抽取、Multi-hop閱讀理解、多模態上下文圖理解等。
1、Attention Guided Graph Convolutional Networks for Relation Extraction (注意力機制引導圖神經網絡的關系抽取)
ACL ’19
作者:Zhijiang Guo*, Yan Zhang* and Wei Lu
摘要:Dependency trees傳遞豐富的結構信息,這些信息對于提取文本中實體之間的關系非常有用。然而,如何有效利用相關信息而忽略Dependency trees中的無關信息仍然是一個具有挑戰性的研究問題。現有的方法使用基于規則的hard-pruning策略來選擇相關的部分依賴結構,可能并不總是產生最佳結果。本文提出了一種直接以全依賴樹為輸入的Attention Guided圖卷積網絡(AGGCNs)模型。我們的模型可以理解為一種soft-pruning方法,它自動學習如何有選擇地關注對關系提取任務有用的相關子結構。在包括跨句n元關系提取和大規模句級關系提取在內的各種任務上的大量結果表明,我們的模型能夠更好地利用全依賴樹的結構信息,其結果顯著優于之前的方法。
網址: //www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html
代碼鏈接:
2、Cognitive Graph for Multi-Hop Reading Comprehension at Scale(大規模認知圖的Multi-Hop閱讀理解)
ACL ’19
作者:Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang
摘要:我們提出了一種新的基于CogQA的web級文檔multi-hop問答框架。該框架以認知科學的對偶過程理論為基礎,通過協調隱式抽取模塊(System 1)和顯式推理模塊(System 2),在迭代過程中逐步構建認知圖,在給出準確答案的同時,進一步提供了可解釋的推理路徑。具體來說,我們基于BERT和graph neural network (GNN)的實現有效地處理了HotpotQA fullwiki數據集中數百萬個multi-hop推理問題的文檔,在排行榜上獲得了34.9的F1 score,而最佳競爭對手的得分為23.6。
網址:
代碼鏈接:
3、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model(使用Graph-to-Sequence模型為中文文章生成連貫的評論)
ACL ’19
作者:Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu sun
摘要:自動文章評論有助于鼓勵用戶參與和在線新聞平臺上的互動。然而,對于傳統的基于encoder-decoder的模型來說,新聞文檔通常太長,這往往會導致一般性和不相關的評論。在本文中,我們提出使用一個Graph-to-Sequence的模型來生成評論,該模型將輸入的新聞建模為一個主題交互圖。通過將文章組織成圖結構,我們的模型可以更好地理解文章的內部結構和主題之間的聯系,這使得它能夠更好地理解故事。我們從中國流行的在線新聞平臺Tencent Kuaibao上收集并發布了一個大規模的新聞評論語料庫。廣泛的實驗結果表明,與幾個強大的baseline模型相比,我們的模型可以產生更多的連貫性和信息豐富性的評論。
網址:
代碼鏈接:
4、Dynamically Fused Graph Network for Multi-hop Reasoning(基于動態融合圖網絡的Multi-hop Reasoning)
ACL ’19
作者:Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu
摘要:近年來,基于文本的問答(TBQA)得到了廣泛的研究。大多數現有的方法側重于在一段話內找到問題的答案。然而,許多有難度的問題需要來自兩個或多個文檔的分散文本的支持證據。本文提出了動態融合圖網絡(Dynamically Fused Graph Network ,DFGN),這是一種解決需要多個分散證據和推理的問題的新方法。受人類逐步推理行為的啟發,DFGN包含一個動態融合層,從給定查詢中提到的實體開始,沿著文本動態構建的實體圖進行探索,并逐步從給定文檔中找到相關的支持實體。我們在需要multi-hop reasoning的公共TBQA數據集HotpotQA上評估了DFGN。DFGN在公共數據集上取得了有競爭力的成績。此外,我們的分析表明,DFGN可以產生可解釋的推理鏈。
網址:
5、 Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media(利用圖卷積網絡對Social Information進行編碼,用于新聞媒體中的政治傾向性檢測)
ACL ’19
作者:Chang Li, Dan Goldwasser
摘要:確定新聞事件在媒體中討論方式的政治視角是一項重要而富有挑戰性的任務。在這篇文章中,我們強調了將社交網絡置于情景化的重要性,捕捉這些信息如何在社交網絡中傳播。我們使用最近提出的一種表示關系信息的神經網絡結構——圖卷積網絡(Graph Convolutional Network)來捕獲這些信息,并證明即使在很少的social information分類中也可以得到顯著改進。
網址:
6、Graph Neural Networks with Generated Parameters for Relation Extraction(用于關系抽取的具有生成參數的圖神經網絡)
ACL ’19
作者:Hao Zhu, Yankai Lin, Zhiyuan Liu, Jie Fu, Tat-seng Chua, Maosong Sun
摘要:近年來,在改進機器學習領域的關系推理方面取得了一些進展。在現有的模型中,圖神經網絡(GNNs)是最有效的multi-hop關系推理方法之一。事實上,在關系抽取等自然語言處理任務中,multi-hop關系推理是必不可少的。本文提出了一種基于自然語言語句生成圖神經網絡(GP-GNNs)參數的方法,使神經網絡能夠對非結構化文本輸入進行關系推理。我們驗證了從文本中提取關系的GPGNN。 實驗結果表明,與baseline相比,我們的模型取得了顯著的改進。我們還進行了定性分析,證明我們的模型可以通過multi-hop關系推理發現更精確的關系。
網址:
7、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks(使用圖卷積網絡在詞嵌入中結合句法和語義信息)
ACL ’19
作者:Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar
摘要:詞嵌入已被廣泛應用于多種NLP應用程序中。現有的詞嵌入方法大多利用詞的sequential context來學習詞的嵌入。雖然有一些嘗試利用詞的syntactic context,但這種方法會導致詞表數的爆炸。在本文中,我們通過提出SynGCN來解決這個問題,SynGCN是一種靈活的基于圖卷積的學習詞嵌入的方法。SynGCN在不增加詞表大小的情況下利用單詞的dependency context。SynGCN學習的詞嵌入在各種內部和外部任務上都優于現有方法,在與ELMo一起使用時提供優勢。我們還提出了SemGCN,這是一個有效的框架,用于整合不同的語義知識,以進一步增強所學習的單詞表示。我們提供了兩個模型的源代碼,以鼓勵可重復的研究。
網址:
代碼鏈接:
8、 GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction(GraphRel: 將文本建模為關系圖,用于實體和關系抽取)
ACL ’19
作者:Tsu-Jui Fu, Peng-Hsuan Li, Wei-Yun Ma
摘要:本文提出了一種利用圖卷積網絡(GCNs)聯合學習命名實體和關系的端到端關系抽取模型GraphRel。與之前的baseline相比,我們通過關系加權GCN來考慮命名實體和關系之間的交互,從而更好地提取關系。線性結構和依賴結構都用于提取文本的序列特征和區域特征,并利用完整的詞圖進一步提取文本所有詞對之間的隱式特征。基于圖的方法大大提高了對重疊關系的預測能力。我們在兩個公共數據集NYT和webnlg上評估了GraphRel。結果表明,GraphRel在大幅度提高recall的同時,保持了較高的precision。GraphRel的性能也比之前的工作好3.2%和5.8% (F1 score),實現了關系抽取的最先進的方法。
網址:
代碼鏈接:
9、Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs(通過對異構圖進行推理,實現跨多個文檔的Multi-hop閱讀理解)
ACL ’19
作者:Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, Bowen Zhou
摘要:跨文檔的Multi-hop閱讀理解(RC)對單文本RC提出了新的挑戰,因為它需要對多個文檔進行推理才能得到最終答案。在本文中,我們提出了一個新的模型來解決multi-hop RC問題。我們引入了具有不同類型的節點和邊的異構圖,稱為異構文檔-實體(HDE)圖。HDE圖的優點是它包含不同粒度級別的信息,包括特定文檔上下文中的候選信息、文檔和實體。我們提出的模型可以對HDE圖進行推理,節點表示由基于co-attention 和 self-attention的上下文編碼器初始化。我們使用基于圖神經網絡(GNN)的消息傳遞算法,在提出的HDE圖上累積evidence。通過對Qangaroo WIKIHOP數據集的blind測試集的評估,我們的基于HDE圖的單模型給出了具有競爭力的結果,并且集成模型達到了最先進的性能。
網址:
10、Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension(多模態上下文圖理解和自監督開放集理解的Textbook問答)
ACL ’19
作者:Daesik Kim, Seonhoon Kim, Nojun Kwak
摘要:在本文中,我們介紹了一種解決教科書問答(TQA)任務的新算法。在分析TQA數據集時,我們主要關注兩個相關問題。首先,解決TQA問題需要理解復雜輸入數據中的多模態上下文。為了解決從長文本中提取知識特征并與視覺特征相結合的問題,我們從文本和圖像中建立了上下文圖,并提出了一種基于圖卷積網絡(GCN)的f-GCN模塊。其次,科學術語不會分散在各個章節中,而且主題在TQA數據集中是分開的。為了克服這個所謂的“領域外”問題,在學習QA問題之前,我們引入了一種新的沒有任何標注的自監督開放集學習過程。實驗結果表明,我們的模型明顯優于現有的最先進的方法。此外,消融研究證實,將f-GCN用于從多模態上下文中提取知識的方法和我們新提出的自監督學習過程對于TQA問題都是有效的。
網址:
下載鏈接: 提取碼:rr1c