基于注意力的、基于RNN的編解碼器體系結構在對新聞文章進行抽象摘要方面取得了令人矚目的成績。然而,這些方法不能解釋文檔句子中的長期依賴關系。這個問題在多文檔摘要任務中更加嚴重,例如在社區問答(CQA)網站(如Yahoo!答案,Quora。這些線索包含的答案往往相互重疊或相互矛盾。在這項工作中,我們提出了一種基于結構注意力建模這種句子間和文檔間依賴關系的層次編碼器。我們將流行的指針-生成器體系結構及其派生的一些體系結構設置為基線,并說明它們無法在多文檔設置中生成良好的摘要。我們進一步證明,我們提出的模型在單文檔和多文檔摘要設置方面都比基線有了顯著的改進——在前一種設置中,它分別比CNN和CQA數據集上的最佳基線提高了1.31和7.8個ROUGE-1點;在后一種設置中,CQA數據集的性能進一步提高了1.6個ROUGE-1點。
【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。本次ACL大會共提交了3429篇論文,共有571篇長論文、以及208篇短論文入選。不久之前,專知小編為大家整理了大會的圖神經網絡(GNN)相關論文,這期小編繼續為大家奉上ACL 2020圖神經網絡(GNN)相關論文-Part 2供參考——多文檔摘要、多粒度機器閱讀理解、帖子爭議檢測、GAE。
ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Leveraging Graph to Improve Abstractive Multi-Document Summarization
作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du
摘要:捕捉文本單元之間關系圖對于從多個文檔中檢測顯著信息和生成整體連貫的摘要有很大好處。本文提出了一種神經抽取多文檔摘要(MDS)模型,該模型可以利用文檔的常見圖表示,如相似度圖和話語圖(discourse graph),來更有效地處理多個輸入文檔并生成摘要。我們的模型使用圖對文檔進行編碼,以捕獲跨文檔關系,這對于總結長文檔至關重要。我們的模型還可以利用圖來指導摘要的生成過程,這有利于生成連貫而簡潔的摘要。此外,預訓練的語言模型可以很容易地與我們的模型相結合,進一步提高了摘要的性能。在WikiSum和MultiNews數據集上的實驗結果表明,所提出的體系結構在幾個強大的基線上帶來了實質性的改進。
網址: //arxiv.org/abs/2005.10043
2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu
摘要:“自然問題”是一種具有挑戰性的新的機器閱讀理解基準,其中包含兩個答案:長答案(通常是一個段落)和短答案(長答案中的一個或多個實體)。盡管此基準測試的現有方法很有效,但它們在訓練期間單獨處理這兩個子任務,忽略了它們間的依賴關系。為了解決這個問題,我們提出了一種新穎的多粒度機器閱讀理解框架,該框架專注于對文檔的分層性質進行建模,這些文檔具有不同的粒度級別:文檔、段落、句子和詞。我們利用圖注意力網絡來獲得不同層次的表示,以便它們可以同時學習。長答案和短答案可以分別從段落級表示和詞級表示中提取。通過這種方式,我們可以對兩個粒度的答案之間的依賴關系進行建模,以便為彼此提供證據。我們聯合訓練這兩個子任務,實驗表明,我們的方法在長答案和短答案標準上都明顯優于以前的系統。
網址:
代碼鏈接:
3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection
作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang
摘要:識別社交媒體上有爭議的帖子是挖掘公眾情緒、評估事件影響、緩解兩極分化觀點的基礎任務。然而,現有的方法不能1)有效地融合來自相關帖子內容的語義信息;2)保留回復關系建模的結構信息;3)正確處理與訓練集中主題不同的帖子。為了克服前兩個局限性,我們提出了主題-帖子-評論圖卷積網絡(TPC-GCN),它綜合了來自主題、帖子和評論的圖結構和內容的信息,用于帖子級別的爭議檢測。對于第三個限制,我們將模型擴展到分離的TPC-GCN(DTPC-GCN),將主題相關和主題無關的特征分離出來,然后進行動態融合。在兩個真實數據集上的大量實驗表明,我們的模型優于現有的方法。結果和實例分析表明,該模型能夠將語義信息和結構信息有機地結合在一起,具有較強的通用性。
網址:
4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward
作者:Luyang Huang, Lingfei Wu, Lu Wang
摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已經被廣泛研究,但是生成的摘要通常受到捏造的內容的影響,并且經常被發現是near-extractive的。我們認為,為了解決這些問題,摘要生成器應通過輸入獲取語義解釋,例如通過結構化表示,以允許生成更多信息的摘要。在本文中,我們提出了一種新的抽取摘要框架--Asgard,它具有圖形增強和語義驅動的特點。我們建議使用雙重編碼器-序列文檔編碼器和圖形結構編碼器-來保持實體的全局上下文和局部特征,并且相互補充。我們進一步設計了基于多項選擇完形填空測試的獎勵,以驅動模型更好地捕捉實體交互。結果表明,我們的模型在紐約時報和CNN/每日郵報的數據集上都比沒有知識圖作為輸入的變體產生了更高的Rouge分數。與從大型預訓練的語言模型中優化的系統相比,我們也獲得了更好或可比的性能。評委進一步認為我們的模型輸出信息更豐富,包含的不實錯誤更少。
網址:
5. A Graph Auto-encoder Model of Derivational Morphology
作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty
摘要:關于派生詞的形態良好性(morphological well-formedness, MWF)建模工作在語言學中被認為是一個復雜而困難的問題,并且這方面的研究工作較少。我們提出了一個圖自編碼器學習嵌入以捕捉派生詞中詞綴和詞干的兼容性信息。自編碼器通過將句法和語義信息與來自心理詞典的關聯信息相結合,很好地模擬了英語中的MWF。
網址:
實體交互預測在許多重要的應用如化學、生物、材料科學和醫學中是必不可少的。當每個實體由一個復雜的結構(即結構化實體)表示時,這個問題就變得非常具有挑戰性,因為涉及到兩種類型的圖:用于結構化實體的局部圖和用于捕獲結構化實體之間交互的全局圖。我們注意到,現有的結構化實體交互預測工作不能很好地利用圖的唯一圖模型。在本文中,我們提出了一個圖的神經網絡圖,即GoGNN,它以分層的方式提取了結構化實體圖和實體交互圖中的特征。我們還提出了雙重注意力機制,使模型在圖的兩個層次上都能保持相鄰的重要性。在真實數據集上的大量實驗表明,GoGNN在兩個有代表性的結構化實體交互作用預測任務上的表現優于最先進的方法:化學-化學交互作用預測和藥物-藥物交互作用預測。我們的代碼可以在Github上找到。
【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。為此,專知小編提前為大家整理了ACL 2020圖神經網絡(GNN)相關論文,讓大家先睹為快——事實驗證、法律文書、謠言檢測、自動摘要、情感分析。
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
1. Fine-grained Fact Verification with Kernel Graph Attention Network
作者:Zhenghao Liu, Chenyan Xiong, Maosong Sun, Zhiyuan Liu
摘要:事實驗證(Fact V erification)需要細粒度的自然語言推理能力來找到微妙的線索去識別句法和語義上正確但沒有強有力支持的聲明(well-supported claims)。本文提出了基于核方法的圖注意力網絡(KGAT),該網絡使用基于核的注意力進行更細粒度的事實驗證。給定一個聲明和一組形成證據圖潛在證據的句子,KGAT在圖注意力網絡中引入了可以更好地衡量證據節點重要性的節點核,以及可以在圖中進行細粒度證據傳播的邊緣核,以實現更準確的事實驗證。KGAT達到了70.38%的FEVER得分,在FEVER上大大超過了現有的事實驗證模型(FEVER是事實驗證的大規模基準)。我們的分析表明,與點積注意力相比,基于核的注意力更多地集中在證據圖中的相關證據句子和有意義的線索上,這是KGAT有效性的主要來源。
網址://arxiv.org/pdf/1910.09796.pdf
2. Distinguish Confusing Law Articles for Legal Judgment Prediction
作者:Nuo Xu, Pinghui Wang, Long Chen, Li Pan, Xiaoyan Wang, Junzhou Zhao
摘要:法律審判預測(LJP)是在給出案件事實描述文本的情況下,自動預測案件判決結果的任務,其在司法協助系統中具有良好的應用前景,為公眾提供方便的服務。實際上,由于適用于類似法律條款的法律案件很容易被誤判,經常會產生混淆的指控。在本文中,我們提出了一個端到端的模型--LADAN來解決LJP的任務。為了解決這一問題,現有的方法嚴重依賴領域專家,這阻礙了它在不同法律制度中的應用。為了區分混淆的指控,我們提出了一種新的圖神經網絡來自動學習混淆法律文章之間的細微差別,并設計了一種新的注意力機制,該機制充分利用學習到的差別從事實描述中提取令人信服的鑒別特征。在真實數據集上進行的實驗證明了我們的LADAN算法的優越性。
網址:
3. GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media
作者:Yi-Ju Lu, Cheng-Te Li
摘要:本文解決了在更現實的社交媒體場景下的假新聞檢測問題。給定源短文本推文和相應的沒有文本評論的轉發用戶序列,我們的目的是預測源推文是否是假的,并通過突出可疑轉發者的證據和他們關注的詞語來產生解釋。為了實現這一目標,我們提出了一種新的基于神經網絡的模型--圖感知協同注意網絡(GCAN)。在真實推文數據集上進行的廣泛實驗表明,GCAN的平均準確率比最先進的方法高出16%。此外,案例研究還表明,GCAN可以給出合理的解釋。
網址:
4. Heterogeneous Graph Neural Networks for Extractive Document Summarization
作者:Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, Xuanjing Huang
摘要:作為提取文檔摘要的關鍵步驟,跨句關系學習已經有了大量的研究方法。一種直觀的方法是將它們放入基于圖的神經網絡中,該網絡具有更復雜的結構來捕獲句間關系。本文提出了一種基于圖的異構神經網絡抽取摘要算法(HeterSUMGraph),該算法除句子外,還包含不同粒度的語義節點。這些額外的結點起到句子之間的中介作用,豐富了句子之間的關系。此外,通過引入文檔節點,我們的圖結構可以靈活地從單文檔設置自然擴展到多文檔設置。據我們所知,我們是第一個將不同類型的節點引入到基于圖的神經網絡中進行提取文檔摘要的,我們還進行了全面的定性分析,以考察它們的好處。
網址:
代碼鏈接:
5. Relational Graph Attention Network for Aspect-based Sentiment Analysis
作者:Kai Wang, Weizhou Shen, Yunyi Yang, Xiaojun Quan, Rui Wang
摘要:Aspect級的情感分析旨在確定在線評論中對某一特定方面的情感極性。最近的大多數努力采用了基于注意力的神經網絡模型來隱式地將aspect與觀點詞聯系起來。然而,由于語言的復雜性和單句中多個aspect的存在,這些模型往往混淆了它們之間的聯系。在本文中,我們通過對語法信息進行有效的編碼來解決這個問題。首先,我們通過重塑和修剪常規依賴關系樹,定義了一個以目標方面為根的統一的面向aspect的依賴樹結構。然后,我們提出了一種關系圖注意力網絡(R-GAT)來編碼新的樹結構用于情感預測。我們在SemEval 2014和Twitter數據集上進行了廣泛的實驗,實驗結果證實,該方法可以更好地建立aspect和觀點詞之間的聯系,從而顯著提高了圖注意網絡(GAT)的性能。
網址:
題目: Neural Abstractive Summarization with Structural Attention
簡介: 基于RNN的注意力編碼器-解碼器體系結構在新聞文章的抽象摘要方面實現了令人印象深刻的性能。但是,這些方法無法解決文檔句子中的長期依賴性。在多文檔摘要任務中,例如在諸如Yahoo等社區問題解答(CQA)網站中出現的主題中總結流行觀點時,此問題會更加嚴重。這些線索包含的答案通常相互重疊或矛盾。在這項工作中,我們提出了一種基于結構注意力的分層編碼器,以對諸如句子間和文檔間的依存關系進行建模。我們將流行的指針生成器體系結構和從中衍生的某些體系結構設置為基線,并表明它們無法在多文檔設置中生成良好的摘要。我們進一步說明,我們提出的模型在單文檔和多文檔摘要設置中均比基線有了顯著改進–在以前的設置中,它在CNN和CQA數據集上分別比最佳基線低1.31和7.8 ROUGE-1點;在后一種設置中,CQA數據集的性能進一步提高了1.6 ROUGE-1點
論文題目: Neural Reading Comprehension And Beyond
論文摘要: 教機器理解人類語言文件是人工智能中最難以捉摸和長期存在的挑戰之一。本文研究的是閱讀理解問題:如何建立計算機系統來閱讀一篇文章并回答理解問題。一方面,我們認為閱讀理解是評估計算機系統對人類語言理解程度的重要任務。另一方面,如果我們能建立一個高性能的閱讀理解系統,它們將是問答和對話等應用的關鍵技術系統。在這篇論文中,我們關注的是神經閱讀理解:一類建立在深層神經網絡之上的閱讀理解模型。與傳統的稀疏的、手工設計的基于特征的模型相比,這些端到端的神經模型在學習豐富的語言現象和提高現代閱讀理解基準上的性能方面有了很大的提高。在第一部分中,我們將討論神經的本質閱讀理解和目前我們努力建立有效的神經閱讀理解模型,更重要的是,了解神經閱讀理解模型實際上學到了什么,需要解決語言理解的深度是什么當前任務。我們還總結了這一領域的最新進展,并討論了未來的發展方向和有待解決的問題。在本論文的第二部分,我們將探討如何在最近神經閱讀理解的成功基礎上建立實際的應用。特別是我們開創了兩個新的研究方向:1)如何將信息檢索技術與神經閱讀理解相結合,解決大規模的開放領域問題回答;2)如何從現有的單輪、基于廣域的閱讀理解模型構建會話式問題回答系統。我們在DRQA和coqa項目中實現了這些想法,并證明了這些方法的有效性。我們相信他們對未來的語言技術有很大的希望。
下載鏈接: //stacks.stanford.edu/file/druid:gd576xb1833/thesis-augmented.pdf
【導讀】自然語言處理國際頂級會議EMNLP 2019于11月3日至11月7日在中國香港舉行。為了帶大家領略高質量論文,專知小編特意整理了六篇EMNLP 2019GNN相關論文,并附上論文鏈接供參考——命名實體識別、情感分類、對話圖卷積網絡、數據生成文本、短文本分類、Aspect-level情感分類等。
1、A Lexicon-Based Graph Neural Network for Chinese NER
作者:Tao Gui, Yicheng Zou, Qi Zhang;
摘要:遞歸神經網絡(RNN)用于中文命名實體識別(NER)中,能夠對文字信息進行順序跟蹤,取得了很大的成功。然而,由于鏈式結構的特點和缺乏全局語義,基于RNN的模型容易產生歧義。本文試圖通過引入一種全局語義的基于詞典的圖神經網絡來解決這一問題,該網絡利用詞典知識連接字符來捕獲局部成分,而全局中繼節點則可以捕獲全局句子語義和長距離依賴。基于字符、潛在單詞和整個句子語義之間的多重交互,可以有效地解決單詞歧義。在4個NER數據集的實驗表明,該模型與其他基線模型相比有顯著的改進。
網址:
//qizhang.info/paper/emnlp-2019.ner.pdf
2、Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks
作者:Chen Zhang, Qiuchi Li, Dawei Song;
摘要:注意機制和卷積神經網絡(CNNs)由于其固有的方面和上下文詞的語義對齊能力,被廣泛應用于基于方面的情感分類。然而,這些模型缺乏一種機制來解釋相關的句法約束和長距離的詞語依賴,因此可能會錯誤地將句法無關的上下文詞作為判斷方面情緒的線索。為了解決這個問題,我們提出在句子的依存樹上建立一個圖卷積網絡(GCN),以利用句法信息和詞的依存關系。在此基礎上,提出了一種新的面向方面的情感分類框架。在三個基準集合上的實驗表明,我們所提出的模型比一系列最先進的模型更具有相當的有效性,并且進一步證明了圖卷積結構能夠恰當地捕獲語法信息和長距離字的依賴關系。
網址:
3、DialogueGCN A Graph Convolutional Neural Network for Emotion Recognition in Conversation
作者:Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, Alexander Gelbukh;
摘要:會話情感識別(ECC)由于其在醫療、教育、人力資源等多個領域的廣泛應用,近年來受到了研究者的廣泛關注。在本文中,我們提出了對話圖卷積網絡(DialogueGCN),基于圖神經網絡的ERC方法。我們利用對話者的自言和對話人之間的依賴關系來為情緒識別建立會話環境模型。DialogueGCN通過圖形網絡解決了當前基于RNN的方法中存在的上下文傳播問題。我們經驗表明,這種方法緩解了這樣的問題,同時在一些基準的情緒分類數據集上超過了目前的狀態。
網址:
4、Enhancing AMR-to-Text Generation with Dual Graph Representations
作者:Leonardo F. R. Ribeiro, Claire Gardent, Iryna Gurevych;
摘要:基于圖的數據生成文本,如抽象意義表示(AMR),是一個具有挑戰性的任務,因為如何正確地對具有標記邊的圖的結構進行編碼存在固有的困難。為了解決這一難題,我們提出了一種新的圖-序列模型,該模型對AMR圖中包含的結構信息的不同但互補的透視圖進行編碼。該模型學習節點的自頂向下和自下而上的并行表示,以捕獲圖的對比視圖。我們還研究了不同節點消息傳遞策略的使用,使用不同的最先進的圖形編碼器來計算基于傳入和傳出透視圖的節點表示。在我們的實驗中,我們證明了對偶圖表示法可以改進AMR到文本的生成,從而在兩個AMR數據集上取得了最先進的效果。
網址:
5、Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification
作者:Linmei Hu, Tianchi Yang, Chuan Shi, Houye Ji, Xiaoli Li ;
摘要:短文本分類在新聞和推特標記中得到了豐富而重要的應用,以幫助用戶查找相關信息。由于在許多實際用例中缺乏標記的訓練數據,因此迫切需要研究半監督短文本分類。現有的研究大多集中在長文本上,由于標記數據的稀疏性和局限性,在短文本上的表現不盡人意。本文提出了一種新的基于異構圖神經網絡的半監督短文本分類方法,該方法充分利用了標記數據少和未標記數據大的優點,實現了信息在圖上的傳播。特別是,我們提出了一種靈活的HIN(異構信息網絡)框架,用于建模短文本,它可以集成任何類型的附加信息,并捕獲它們之間的關系來解決語義稀疏性。然后,我們提出了基于節點級和類型級注意的雙重注意機制的異構圖注意網絡(HGAT)嵌入HIN進行短文本分類。注意機制可以學習不同相鄰節點的重要性,以及不同節點(信息)類型對當前節點的重要性。大量的實驗結果表明,我們提出的模型在6個基準數據集上的性能顯著優于最先進的方法。
網址:
6、Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
作者:Binxuan Huang, Kathleen M. Carley ;
摘要:Aspect-level情感分類旨在識別向上下文語句給出的aspect表達的情緒。以往的基于神經網絡的方法在很大程度上忽略了句子的句法結構。在本文中,我們提出了一種新的目標依賴圖注意力網絡(TD-GAT)來進行方面層次的情感分類,該網絡明確利用了詞語之間的依賴關系。使用依賴圖,它直接從一個方面目標的語法上下文傳播情感特征。在我們的實驗中,我們證明了我們的方法優于使用GloVe嵌入的多個基線。我們還證明了使用BERT表示可以進一步顯著地提高性能。
網址: