題目: Neural Abstractive Summarization with Structural Attention
簡介: 基于RNN的注意力編碼器-解碼器體系結構在新聞文章的抽象摘要方面實現了令人印象深刻的性能。但是,這些方法無法解決文檔句子中的長期依賴性。在多文檔摘要任務中,例如在諸如Yahoo等社區問題解答(CQA)網站中出現的主題中總結流行觀點時,此問題會更加嚴重。這些線索包含的答案通常相互重疊或矛盾。在這項工作中,我們提出了一種基于結構注意力的分層編碼器,以對諸如句子間和文檔間的依存關系進行建模。我們將流行的指針生成器體系結構和從中衍生的某些體系結構設置為基線,并表明它們無法在多文檔設置中生成良好的摘要。我們進一步說明,我們提出的模型在單文檔和多文檔摘要設置中均比基線有了顯著改進–在以前的設置中,它在CNN和CQA數據集上分別比最佳基線低1.31和7.8 ROUGE-1點;在后一種設置中,CQA數據集的性能進一步提高了1.6 ROUGE-1點
【導讀】計算語言學協會(the Association for Computational Linguistics, ACL)年度會議作為頂級的國際會議,在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年,第58屆計算語言學協會(the Association for Computational Linguistics, ACL)年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響,ACL 2020將全部改為線上舉行。本次ACL大會共提交了3429篇論文,共有571篇長論文、以及208篇短論文入選。不久之前,專知小編為大家整理了大會的圖神經網絡(GNN)相關論文,這期小編繼續為大家奉上ACL 2020圖神經網絡(GNN)相關論文-Part 2供參考——多文檔摘要、多粒度機器閱讀理解、帖子爭議檢測、GAE。
ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Leveraging Graph to Improve Abstractive Multi-Document Summarization
作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du
摘要:捕捉文本單元之間關系圖對于從多個文檔中檢測顯著信息和生成整體連貫的摘要有很大好處。本文提出了一種神經抽取多文檔摘要(MDS)模型,該模型可以利用文檔的常見圖表示,如相似度圖和話語圖(discourse graph),來更有效地處理多個輸入文檔并生成摘要。我們的模型使用圖對文檔進行編碼,以捕獲跨文檔關系,這對于總結長文檔至關重要。我們的模型還可以利用圖來指導摘要的生成過程,這有利于生成連貫而簡潔的摘要。此外,預訓練的語言模型可以很容易地與我們的模型相結合,進一步提高了摘要的性能。在WikiSum和MultiNews數據集上的實驗結果表明,所提出的體系結構在幾個強大的基線上帶來了實質性的改進。
網址: //arxiv.org/abs/2005.10043
2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu
摘要:“自然問題”是一種具有挑戰性的新的機器閱讀理解基準,其中包含兩個答案:長答案(通常是一個段落)和短答案(長答案中的一個或多個實體)。盡管此基準測試的現有方法很有效,但它們在訓練期間單獨處理這兩個子任務,忽略了它們間的依賴關系。為了解決這個問題,我們提出了一種新穎的多粒度機器閱讀理解框架,該框架專注于對文檔的分層性質進行建模,這些文檔具有不同的粒度級別:文檔、段落、句子和詞。我們利用圖注意力網絡來獲得不同層次的表示,以便它們可以同時學習。長答案和短答案可以分別從段落級表示和詞級表示中提取。通過這種方式,我們可以對兩個粒度的答案之間的依賴關系進行建模,以便為彼此提供證據。我們聯合訓練這兩個子任務,實驗表明,我們的方法在長答案和短答案標準上都明顯優于以前的系統。
網址:
代碼鏈接:
3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection
作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang
摘要:識別社交媒體上有爭議的帖子是挖掘公眾情緒、評估事件影響、緩解兩極分化觀點的基礎任務。然而,現有的方法不能1)有效地融合來自相關帖子內容的語義信息;2)保留回復關系建模的結構信息;3)正確處理與訓練集中主題不同的帖子。為了克服前兩個局限性,我們提出了主題-帖子-評論圖卷積網絡(TPC-GCN),它綜合了來自主題、帖子和評論的圖結構和內容的信息,用于帖子級別的爭議檢測。對于第三個限制,我們將模型擴展到分離的TPC-GCN(DTPC-GCN),將主題相關和主題無關的特征分離出來,然后進行動態融合。在兩個真實數據集上的大量實驗表明,我們的模型優于現有的方法。結果和實例分析表明,該模型能夠將語義信息和結構信息有機地結合在一起,具有較強的通用性。
網址:
4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward
作者:Luyang Huang, Lingfei Wu, Lu Wang
摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已經被廣泛研究,但是生成的摘要通常受到捏造的內容的影響,并且經常被發現是near-extractive的。我們認為,為了解決這些問題,摘要生成器應通過輸入獲取語義解釋,例如通過結構化表示,以允許生成更多信息的摘要。在本文中,我們提出了一種新的抽取摘要框架--Asgard,它具有圖形增強和語義驅動的特點。我們建議使用雙重編碼器-序列文檔編碼器和圖形結構編碼器-來保持實體的全局上下文和局部特征,并且相互補充。我們進一步設計了基于多項選擇完形填空測試的獎勵,以驅動模型更好地捕捉實體交互。結果表明,我們的模型在紐約時報和CNN/每日郵報的數據集上都比沒有知識圖作為輸入的變體產生了更高的Rouge分數。與從大型預訓練的語言模型中優化的系統相比,我們也獲得了更好或可比的性能。評委進一步認為我們的模型輸出信息更豐富,包含的不實錯誤更少。
網址:
5. A Graph Auto-encoder Model of Derivational Morphology
作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty
摘要:關于派生詞的形態良好性(morphological well-formedness, MWF)建模工作在語言學中被認為是一個復雜而困難的問題,并且這方面的研究工作較少。我們提出了一個圖自編碼器學習嵌入以捕捉派生詞中詞綴和詞干的兼容性信息。自編碼器通過將句法和語義信息與來自心理詞典的關聯信息相結合,很好地模擬了英語中的MWF。
網址:
主題: A Unified Dual-view Model for Review Summarization and Sentiment Classification with Inconsistency Loss
摘要: 從用戶的評論中獲取準確的摘要和情感是現代電子商務平臺的重要組成部分。評論摘要旨在生成簡潔的摘要,描述評論的主要觀點和觀點,而情感分類旨在預測觀點標簽表示評論的情感態度。為了在評論摘要和情感分類任務中有效利用共享情感信息,我們提出了一種新穎的雙視圖模型,可以共同提高這兩個任務的性能。在我們的模型中,編碼器首先學習評論的上下文表示,然后摘要解碼器逐詞生成評論摘要。然后,源視圖情感分類器使用編碼的上下文表示來預測評論的情感標簽,而摘要視圖情感分類器則使用解碼器的隱藏狀態為生成的摘要預測情感標簽。在訓練過程中,我們引入了不一致的損失來懲罰這兩個分類器之間的分歧。它可以幫助解碼器生成摘要,從而與評論產生一致的情感趨勢,還可以幫助兩個情感分類器相互學習。來自不同領域的四個真實世界數據集的實驗結果證明了我們模型的有效性。
基于注意力的、基于RNN的編解碼器體系結構在對新聞文章進行抽象摘要方面取得了令人矚目的成績。然而,這些方法不能解釋文檔句子中的長期依賴關系。這個問題在多文檔摘要任務中更加嚴重,例如在社區問答(CQA)網站(如Yahoo!答案,Quora。這些線索包含的答案往往相互重疊或相互矛盾。在這項工作中,我們提出了一種基于結構注意力建模這種句子間和文檔間依賴關系的層次編碼器。我們將流行的指針-生成器體系結構及其派生的一些體系結構設置為基線,并說明它們無法在多文檔設置中生成良好的摘要。我們進一步證明,我們提出的模型在單文檔和多文檔摘要設置方面都比基線有了顯著的改進——在前一種設置中,它分別比CNN和CQA數據集上的最佳基線提高了1.31和7.8個ROUGE-1點;在后一種設置中,CQA數據集的性能進一步提高了1.6個ROUGE-1點。
題目: Structural Deep Clustering Network
摘要: 聚類是數據分析的基本任務。近年來,深度聚類技術(deep clustering)得到了廣泛的關注,它的靈感主要來自于深度學習方法。當前的深度聚類方法通常借助深度學習強大的表示能力(如自編碼)來提高聚類結果,這表明學習一種有效的聚類表示是一個關鍵的要求。深度聚類方法的優勢在于從數據本身中提取有用的表示,而不是從數據的結構中提取,這在表示學習中受到的關注較少。基于圖卷積網絡(GCN)在對圖結構進行編碼方面取得的巨大成功,我們提出了一種結構化深度聚類網絡(SDCN),將結構信息集成到深度聚類中。具體來說,我們設計了一個傳遞算子,將自編碼器學習到的表示轉換到相應的GCN層,并設計了雙重自監督機制來統一這兩種不同的深層神經結構,指導整個模型的更新。通過這種方式,從低階到高階的多種數據結構自然地與自動編碼器學習的多種表示相結合。在此基礎上,從理論上分析了傳遞算子。通過使用傳遞操作符,GCN改進了作為高階圖正則化約束的特定于自編碼的表示形式,并且自動編碼器有助于緩解GCN中的過度平滑問題。通過綜合實驗,我們證明我們提出的模型可以持續地比最先進的技術表現得更好。
論文摘要: Multi-paragraph推理對于open-domain問答(OpenQA)是必不可少的,盡管在當前的OpenQA系統中受到的關注較少。在這項工作中,我們提出一個知識增強圖神經網絡(KGNN),使用實體對多個段落進行推理。為了顯式地捕捉到實體的關系,KGNN利用關系事實知識圖譜構建實體圖譜。實驗結果表明,與HotpotQA數據集上的基線方法相比,KGNN在分散注意力和完整的wiki設置方面都有更好的表現。我們進一步的分析表明,KGNN在檢索更多的段落方面是有效和具有魯棒性的。