亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

文本生成是目前自然語言處理（NLP）領域一個非常重要且有挑戰的任務。文本生成任務通常是以文本作為輸入（例如序列，關鍵詞），通過將輸入文本數據處理成語義表示，生成可以理解的自然語言文本。幾個具有代表性的文本生成任務，例如機器翻譯，文件摘要，對話系統。自從2014年Seq2Seq框架提出以來，文本生成迅速成為研究熱點，包括一系列經典而有效的模型，例如循環神經網絡（RNN），卷積神經網絡（CNN），Transformer。基于這些模型，注意力機制（attention）和拷貝機制（copy/pointer-generator）的提出也極大促進了文本生成的研究。但是，研究人員發現，傳統的文本生成任務只依靠輸入文本進行生成，缺乏更加豐富的“知識”信息，因此生成的文本往往非常乏味，缺少有意思的內容。例如在對話系統中，如果只提供一段輸入文本而沒有其他上下文，對話機器人往往會回答“我也是一樣”，“我聽不懂你在說什么”等。相比之下，人類通過從外界獲取、學習和儲存知識，可以迅速理解對話里的內容從而做出合適的回復。所以，“知識”對于文本生成任務而言，可以超越輸入文本中的語義限制，幫助文本生成系統生成更加豐富、有意思的文本。在文本生成任務中，“知識”是對輸入文本和上下文的一種“補充”，可以由不同方法和信息源獲得，包括但不限于關鍵詞，主題，語言學特征，知識庫，知識圖譜等，可以參考下圖1中的 Information Sources。這些“知識”可以通過不同的表示方法學習到有效的知識表示，用于增強文本生成任務的生成效果，這就被稱為知識增強的文本生成（Knowledge-Enhanced Text Generation）。因此，知識增強的文本生成主要有兩個難點：如何獲取有用的知識（圖1 Information Sources），以及如何理解并借助知識促進文本生成（圖1 Methods）。接下來的內容將主要圍繞著這兩個問題進行展開。

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現基于問答（Question Answering，QA）相關的接受paper很多，常識問答、知識問答、對話問答等等一些列前沿的方法和應用受到了很多人的關注，也是當前比較火的topic。

為此，這期小編為大家奉上AAAI 2021必讀的七篇問答相關論文——知識增強的常識問答、零樣本常識問答、對話問答、對偶問答、場景問答

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. Benchmarking Knowledge-Enhanced Commonsense Question Answering via Knowledge-to-Text Transformation

作者：Ning Bian, Xianpei Han, Bo Chen, Le Sun

摘要：人類的一項基本能力是在語言理解和問題解答中利用常識知識。近年來，已經提出了許多知識增強的常識問答（CQA）方法。但是，目前尚不清楚：（1）利用CQA的外部知識能走多遠？（2）當前的CQA模型已開發了多少知識潛能？（3）未來CQA最有希望的方向是什么？為了回答這些問題，我們通過使用簡單有效的知識到文本轉換框架對多個標準CQA數據集進行廣泛的實驗來對知識增強的CQA進行基準測試。實驗表明：（1）我們的知識文本框架是有效的，并且在CQA數據集上達到了最先進的性能，為CQA提供了簡單而強大的知識增強基線；（2）知識的潛力仍遠未在CQA中得到充分利用-從當前模型到具有黃金知識的模型之間存在巨大的性能差距；（3）上下文相關知識選擇，異構知識開發和常識性語言模型是后續CQA的方向。

圖片 網址：

2. Dynamic Neuro-Symbolic Knowledge Graph Construction for Zero-shot Commonsense Question Answering

作者：Antoine Bosselut, Ronan Le Bras, Yejin Choi

摘要：理解故事敘述（Understanding narratives）需要推理有關隱含的世界知識的知識，這些知識與文本中描述情況的原因，結果和狀態有關。這個挑戰的核心是如何按需訪問上下文相關的知識并對其進行推理。在本文中，我們通過將任務轉換為對動態生成的常識知識圖的推理，并提出了對零樣本常識問答的初步研究。與以往依賴于從靜態知識圖中檢索現有知識的知識集成研究相反，我們的研究需要常識性知識集成，而在現有知識庫中通常不存在與上下文相關的知識。因此，我們提出了一種新穎的方法，該方法使用生成的神經常識知識模型按需生成上下文相關的符號知識結構。在兩個數據集上的實驗結果證明了我們的神經符號方法對于動態構建知識圖進行推理有著不錯的效果。另外，我們的方法在預訓練的語言模型和原始知識模型上均取得了顯著的性能提升，同時為預測提供了可解釋的推理路徑。

圖片 網址：

3. Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering

作者：Kaixin Ma, Filip Ilievski, Jonathan Francis, Yonatan Bisk, Eric Nyberg, Alessandro Oltramari

摘要：預訓練神經語言建模的最新發展已使得常識問答基準模型的準確性有了很大的提升。但是，人們越來越擔心在不學習利用外部知識或執行一般語義推理的情況下，模型僅僅適合特定任務。相比之下，零樣本評估可以更可靠地衡量模型的一般推理能力。在本文中，我們針對常識性任務的零樣本問題提出了一種新穎的神經符號框架。在一組假設的指導下，該框架研究如何將各種現有的知識資源轉換成對預訓練模型最有效的形式，另外，我們會改變語言模型，訓練制度，知識來源和數據生成策略的集合，并衡量它們在各項任務中的影響。在先前工作的基礎上，我們設計并比較了四種受約束的干擾采樣策略，使用來自五個外部知識資源的數據提供了五個常識性問答任務的實驗結果。實驗表明，雖然單個知識圖更適合于特定任務，但全局知識圖可為不同任務帶來一致的幫助。此外，我們發現保留任務的結構以及生成公平而翔實的問題都有助于語言模型更有效地學習。

圖片 網址：

4. Reinforced History Backtracking for Conversational Question Answering

作者：Minghui Qiu, Xinjing Huang, Cen Chen, Feng Ji, Chen Qu, Wei Wei, Jun Huang, Yin Zhang

摘要：在多輪對話中建模上下文歷史記錄已成為邁向更好理解問答系統中用戶查詢的關鍵步驟。為了利用上下文歷史信息，大多數現有研究將整個上下文視為輸入，這將不可避免地面臨以下兩個挑戰。首先，對悠久的歷史進行建模可能會很昂貴，因為它需要更多的計算資源。其次，較長的上下文歷史記錄包含許多不相關的信息，這使得很難對與用戶查詢有關的適當信息進行建模。為了緩解這些問題，本文提出了一種基于強化學習的方法來捕獲和回溯相關的對話歷史，以提高模型性能。我們的方法試圖利用模型性能的隱式反饋自動回溯歷史信息，進一步考慮立即和延遲的獎勵，以指導強化的回溯政策。在大型對話式問答數據集上進行的大量實驗表明，所提出的方法可以緩解由較長的上下文歷史引起的問題。同時，實驗表明該方法比其他模型具有更好的性能。

圖片 網址：

5. What the role is vs. What plays the role: Semi-supervised Event Argument Extraction via Dual Question Answering

作者：Yang Zhou, Yubo Chen, Jun Zhao, Yin Wu, Jiexin Xu, Jinlong Li

摘要：事件論點提取（Event argument extraction）是事件提取中的一項基本任務，在資源匱乏的情況下尤其具有挑戰性。我們從兩個方面解決了資源匱乏情況下現有研究中的問題。從模型的角度來看，現有的方法總是擔心參數共享不足，并且沒有考慮角色的語義，這不利于處理稀疏數據。從數據的角度來看，大多數現有方法都專注于數據生成和數據增強。但是，這些方法嚴重依賴于外部資源，這比創建未標記的數據更費力。在本文中，我們提出了一種新穎的框架DualQA，該框架將事件論點提取任務建模為問題回答，以緩解數據稀疏問題，并利用事件論點識別的雙重性（即“起什么作用”）作為事件角色識別，即詢問“角色是什么”，以相互促進。在兩個數據集上的實驗結果證明了我們方法的有效性，特別是在資源極少的情況下。

圖片 網址：

6. TSQA: Tabular Scenario Based Question Answering

作者：Xiao Li, Yawei Sun, Gong Cheng

摘要：基于場景的問題解答（SQA）引起了越來越多的研究興趣。與經過深入研究的機器閱讀理解（MRC）相比，SQA是一項更具挑戰性的任務：一個場景不僅可以包含用于閱讀的文本段落，還可以包含諸如表的結構化數據，即基于表格的場景問答（TSQA）。TSQA的AI應用程序（例如在高中考試中回答多項選擇題）要求綜合多個單元格中的數據，并將表格與文本和領域知識相結合以推斷出答案。為了支持這項任務的研究，我們構建了GeoTSQA。該數據集包含1k個實際問題，這些問題由地理領域中的表格情境所關聯。為了解決該任務，我們使用TTGen（一種新穎的表到文本生成器）擴展了最新的MRC方法。它從各種合成的表格數據生成句子，并向下游MRC方法提供最有用的句子。它的句子排序模型融合了場景，問題和領域知識中的信息。在GeoTSQA上，我們的方法優于各種強大的基線方法。

圖片 網址：

7. Unanswerable Question Correction in Question Answering over Personal Knowledge Base

作者：An-Zi Yen, Hen-Hsen Huang, Hsin-Hsi Chen

摘要：在本文中，我們旨在構建一個問答系統，使人們可以通過個人知識庫查詢過去的經歷。以前有關知識庫問答的工作著重于尋找可回答問題的答案。但是，在現實世界的應用程序中，人們經常混淆事實，并提出那些知識庫無法回答的問題。這項工作提出了一個由問題回答模型和問題產生模型組成的新穎系統。它不僅可以回答可疑問題，還可以在必要時糾正無法解決的問題。我們的問題回答模型可以識別與個人知識庫狀態不符的問題，并提出可以構成可行問題的事實。然后，通過問題生成模型將事實轉換為可回答的問題。為提煉問題，我們提出了一種基于強化學習（RL）和問題編輯機制的問題生成模型。實驗結果表明，我們提出的系統可以有效地糾正個人知識庫問答中無法回答的問題。

圖片 網址：

隨著大規模無監督預訓練技術在文本領域的各個任務上取得了顯著的效果提升，視覺-語言預訓練(Vision-language Pre-training)也受到了越來越多的關注。視覺-語言預訓練的目標是通過對齊語料學習多模態的通用聯合表示，將各個模態之間的語義對齊信號融合到聯合表示中，從而提升下游任務效果。已有的視覺語言預訓練方法在預訓練過程中沒有區分普通詞和語義詞，學到的聯合表示無法刻畫模態間細粒度語義的對齊，如場景中物體(objects)、物體屬性(attributes)、物體間關系(relationships)這些深度理解場景所必備的細粒度語義。

我們提出了知識增強的視覺-語言預訓練技術ERNIE-ViL，將包含細粒度語義信息的場景圖先驗知識融入預訓練過程，創建了物體預測、屬性預測、關系預測三個預訓練任務，在預訓練過程中更加關注細粒度語義的跨模態對齊，從而學習到能夠刻畫更好跨模態語義對齊信息的聯合表示。作為業界首個融入場景圖知識的視覺語言預訓練模型，ERNIE-ViL在視覺問答、視覺常識推理、引用表達式理解、跨模態文本檢索、跨模態圖像檢索5個多模態典型任務上取得了SOTA效果，同時，在視覺常識推理VCR榜單上取得第一。

//www.zhuanzhi.ai/paper/3e78bfda818b0c967f692861d4b05386

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

生成式常識推理是文本生成的一個關鍵瓶頸，它旨在使機器能夠根據一組概念生成具有推理能力的句子。即使是最先進的預訓練語言生成模型也難以完成這一任務，而且常常產生不合邏輯和異常的句子。其中一個原因是，他們很少考慮將知識圖譜整合進來，因為知識圖譜可以在常識概念之間提供豐富的關系信息。為了提高常識性推理生成文本的能力，我們提出了一種新的知識圖譜增強的預訓練語言生成模型KG-BART，該模型通過知識圖譜包含了復雜的概念關系，并生成了更符合邏輯和自然的句子作為輸出。此外，KG-BART可以利用圖上的注意力來聚集豐富的概念語義，從而增強對看不見的概念集的模型泛化。在基準commonen數據集上進行的實驗驗證了本文方法的有效性，并與幾個強的預訓練語言生成模型進行了比較，特別是在BLEU - 3,4方面，KG-BART的性能比BART高出5.80、4.60。此外，我們還表明，通過我們的模型生成的上下文可以作為背景場景，從而有利于下游的常識性QA任務。

//www.zhuanzhi.ai/paper/5478cc149a0d6a523665d68c6d3c170a

自然語言推理（NLI）是自然語言處理的一項基本任務，主要研究兩個文本之間的蘊含關系。流行的NLI數據集是對該任務句子級別的研究。它們可以用來探討語義表示，但并未涉及基于長文本的上下文推理，而這是人類推理過程的自然組成部分。我們提出了ConTRoL數據集來用于研究長文本的上下文推理。ConTRoL由8,325個專家設計的帶有高質量標簽的“上下文-假設”對組成，是一個段落級別的NLI數據集，重點關注復雜的上下文推理類型，例如邏輯推理。它是從競爭性甄選和招聘測試（推理測試）衍生而來的，具有很高的質量。與以前的NLI基準相比，ConTRoL中的材料更具挑戰性，涉及多種推理類型。

實證結果表明，最先進的語言模型在ConTRoL上的性能表現遠不如受過良好教育的人類。我們的數據集還可以用作下游任務（如檢查摘要的事實正確性）的測試集。

從大型文本語料庫(如維基百科)中收集支持證據對開放域問答(QA)來說是一個巨大的挑戰。特別是對于多跳開放域的QA，需要將分散的證據片段聚集在一起，以支持答案抽取。在本文中，我們提出了一種新的檢索目標——hop，用于從維基百科中收集復雜問題回答中隱藏的推理證據。具體來說，本文將hop定義為超鏈接與相應的出站鏈接文檔的組合。超鏈接被編碼為提到嵌入，它對出站鏈接實體在文本上下文中如何被提及的結構化知識進行建模，而相應的出站鏈接文檔被編碼為表示其中非結構化知識的嵌入文檔。因此，我們構建了hopretriver，它可以在Wikipedia上檢索跳躍來回答復雜的問題。在HotpotQA數據集上的實驗表明，hopretriver比以前發布的證據檢索方法有更大的優勢。此外，我們的方法還產生了證據收集過程的可量化解釋。

//www.zhuanzhi.ai/paper/ef7d860704608c5446360ad2a0d8cbce

盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功，但在生成過程中需要對基本常識進行推理的情況下，它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法，只是簡單地通過對單個知識三元組的后訓練來遷移關系知識，而忽略了知識圖譜中豐富的連接。我們認為，利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中，我們提出用多跳推理流(GRF)進行生成，使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明，我們的模型在三個文本生成任務上優于現有的基線，這些任務需要推理而非常識知識。通過模型推導出的推理路徑，證明了動態多跳推理模塊的有效性，為生成過程提供了理論依據。

//arxiv.org/abs/2009.11692

視覺對話是一項具有挑戰性的任務，它需要從視覺(圖像)和文本(對話歷史)上下文中提取隱含信息。經典的方法更多地關注當前問題、視覺知識和文本知識的整合，忽略了跨模態信息之間的異構語義鴻溝。同時，連接操作已成為跨模式信息融合的事實標準，其信息檢索能力有限。本文提出了一種新的知識橋接圖網絡模型，利用圖在細粒度上橋接視覺知識和文本知識之間的跨模式語義關系，并通過自適應的信息選擇模式檢索所需的知識。此外，視覺對話的推理線索可以清晰地從模態內實體和模態間橋梁中提取出來。VisDial v1.0和VisDial- q數據集上的實驗結果表明，我們的模型優于現有的模型，取得了最新的結果。

//www.zhuanzhi.ai/paper/6a3e359d8827752a98f2e5daa7079d2a