亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】一年一度的全球學術大會EMNLP是計算機語言學和自然語言處理領域最受關注的國際學術會議之一，由國際語言學會（ACL）旗下SIGDAT組織。據悉，EMNLP 2020共收到有效投稿3114篇，錄用602篇長文和150篇短文。近期，所有Paper list 放出，也包括（Findings of EMNLP），因果推理及其應用相關的接受Paper很多，在其他領域比如CV、數據挖掘、推薦等也廣受關注。

為此，這期小編為大家奉上EMNLP 2020必讀的六篇反事實推理（Counterfactual Reasoning）相關論文——常識推理、反事實生成器、開放式對話生成、VQA、文本分類

EMNLP 2020 Accepted Papers : //2020.emnlp.org/papers/main

ICLR2020CI、ICML2020CI

1. Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning

作者：Lianhui Qin, Vered Shwartz, Peter West, Chandra Bhagavatula, Jena D. Hwang, Ronan Le Bras, Antoine Bosselut, Yejin Choi

摘要：推理和反事實推理是人類日常認知的核心能力，需要對時間t可能發生的事情進行推理，同時要根據過去和未來的多個背景進行推理。然而，使用生成語言模型(LMS)同時合并過去和未來的上下文可能是具有挑戰性的，因為它們要么被訓練成僅以過去的上下文為條件，要么被訓練成執行范圍狹窄的文本填充。

在本文中，我們提出了一種新的無監督解碼算法DeLorean，它可以在只使用現成的、從左到右的（off-the-shelf, left-to-right）語言模型，并且無監督的情況下，靈活地合并過去和未來的上下文。我們算法的關鍵點是通過反向傳播與未來相結合，在此過程中，我們只更新輸出的內部表示，同時固定模型參數。通過在前向和后向傳播之間交替，DeLorean可以解碼既反映左上下文又反映右上下文的輸出表示。我們證明了我們的方法是通用的，適用于兩個非單調（nonmonotonic）推理任務：推理文本生成和反事實故事修改，在這兩個任務中，DeLorean基于自動和人工評估，優于一系列無監督和一些監督方法。

代碼：

網址：

2. Counterfactual Generator: A Weakly-Supervised Method for Named Entity Recognition

作者：Xiangji Zeng, Yunliang Li, Yuchen Zhai, Yin Zhang

摘要：神經模型的進展已經證明，如果我們有足夠的標簽數據，命名實體識別（named entity recognition）不再是一個問題。然而，收集足夠的數據并對其進行注釋是需要大量勞動、耗時和昂貴的。在本文中，我們將句子分解為實體和上下文兩個部分，并從因果關系的角度重新思考它們與模型性能的關系。在此基礎上，我們提出了反事實生成器，它通過對已有觀測實例的干預來增強原始數據集，從而生成反事實實例。在三個數據集上的實驗表明，我們的方法在有限的觀測樣本下提高了模型的泛化能力。此外，我們還使用一個結構因果模型來研究輸入特征和輸出標簽之間的偽相關性，從而提供了理論基礎。在非增廣和增廣兩種情況下，我們考察了實體或上下文對模型性能的因果影響。有趣的是，我們發現非偽相關性更多地位于實體表示中，而不是上下文表示中。因此，我們的方法消除了上下文表示和輸出標簽之間的部分虛假相關性。

代碼： .

網址：

3. Counterfactual Off-Policy Training for Neural Dialogue Generation

作者：Qingfu Zhu, Wei-Nan Zhang, Ting Liu, William Yang Wang

摘要：由于潛在反應（ potential responses）的巨大規模，開放式對話生成（Open-domain dialogue generation）存在數據不足的問題。在本文中，我們提出通過反事實推理來探索潛在的反應。給出一個觀察到的反應，反事實推理模型會自動推斷出可以采取的替代策略的結果。事后合成的反事實反應比從頭合成的反應質量更高。對抗性學習框架下的反事實反應訓練有助于探索潛在反應空間的高回報領域。在DailyDialog數據集上的實證研究表明，該方法的性能明顯優于HRED模型和傳統的對抗性學習方法。

網址：

4. Learning to Contrast the Counterfactual Samples for Robust Visual Question Answering

作者：Zujie Liang, Weitao Jiang, Haifeng Hu, Jiaying Zhu

摘要：在視覺問答(VQA)任務中，大多數先進的模型往往會在訓練集中學習虛假的相關性，并且在非分布（out-of-distribution）測試數據中表現不佳。為了緩解這一問題，已經提出了一些生成反事實樣本的方法。然而，大多數以前的方法生成的反事實樣本只是簡單地添加到訓練數據中進行擴充，沒有得到充分的利用。因此，我們引入了一種新的自監督對比學習（contrastive learning）機制來學習原始樣本、真實樣本和反事實樣本之間的關系。通過從輔助訓練目標中學習到更好的跨模態聯合嵌入，VQA模型的推理能力和穩健性都得到了顯著的提高。我們通過在VQA-CP數據集（VQA-CP數據集是評估VQA模型穩健性的診斷基準）上超過當前最先進的模型來評估我們方法的有效性。

網址：

5. Less is More:Attention Supervision with Counterfactuals for Text Classification

作者：Seungtaek Choi, Haeju Park, Jinyoung Yeo, Seung-won Hwang

摘要：我們的目標是利用人類和機器的智能來進行注意力監督。具體地說，我們證明了人工標注的代價可以保持在合理的低水平，而標注的質量可以通過機器的自監督來提高。具體地說，為了達到這一目標，我們探索了反事實推理相對于通常用于注意監督的聯想推理的優勢。實驗結果表明，在情感分析和新聞分類等文本分類任務中，這種機器增強的人類注意力監督方法比現有的標注代價更高的方法更有效。

網址：

【導讀】一年一度的全球學術大會EMNLP是計算機語言學和自然語言處理領域最受關注的國際學術會議之一，由國際語言學會（ACL）旗下SIGDAT組織。據悉，EMNLP 2020共收到有效投稿3114篇，錄用602篇長文和150篇短文。近期，所有Paper list 放出，也包括（Findings of EMNLP），知識圖譜表示及其應用相關的接受paper很多，在其他領域比如CV、數據挖掘、推薦等也廣受關注。

為此，這期小編為大家奉上EMNLP 2020必讀的六篇知識圖譜（Knowledge Graph）相關論文——知識圖譜表示、常識、任務型對話、多語種知識庫補全、開放式KG表示、社會常識推理

EMNLP 2020 Accepted Papers : //2020.emnlp.org/papers/main

ICLR2020CI、ICML2020CI

1. AutoETER: Automated Entity Type Representation for Knowledge Graph Embedding

作者：Guanglin Niu, Bo Li, Yongfei Zhang, Shiliang Pu, Jingyang Li

摘要：知識圖譜嵌入(KGE)可以表示連續向量空間中的實體和關系。一些利用附加類型信息的傳統KGE模型可以改善實體的表示，但這些模型完全依賴于顯式類型（explicit types），或者忽略了特定于各種關系的不同類型表示。此外，現有的方法中沒有一種方法能夠同時推斷對稱、反轉、合成的所有關系模式以及1-N、N-1和n-N關系的復雜屬性。為了探索任何KG的類型信息，我們提出了一種新的KGE框架自動實體類型表示（AutoETER），通過將每個關系看作是兩個實體類型之間的轉換（translation）操作來學習每個實體的潛在類型嵌入，并利用關系感知映射機制來學習每個實體的潛在類型嵌入。特別是，我們設計的自動類型表示學習機制是一個可插拔的模塊，可以很容易地與任何KGE模型集成。此外，我們的方法可以對所有的關系模式和復雜關系進行建模和推理。在四個數據集上的實驗表明，該模型在鏈接預測任務上的性能優于最新的基線，類型聚類的可視化清楚地解釋了類型嵌入的原因，驗證了該模型的有效性。

網址：

2. COSMIC: COmmonSense knowledge for eMotion Identification in Conversations

作者：Deepanway Ghosal, Navonil Majumder,

Alexander Gelbukh, Rada Mihalcea, Soujanya Poria

摘要：在本文中，我們利用常識知識解決了會話中語言級別的情感識別問題。我們提出了COSMIC，這是一個新的框架，它融合了不同的常識元素，如心理狀態、事件和因果關系，并在它們的基礎上學習參與對話的對話者之間的互動。目前最先進的方法在上下文傳播、情感轉移檢測和區分相關情感類別方面經常遇到困難。通過學習不同的常識表示，COSMIC解決了這些挑戰，并在四個不同的基準對話數據集上取得了新的情感識別最先進的結果。

代碼： .

網址：

3. Learning Knowledge Bases with Parameters for Task-Oriented Dialogue Systems

作者：Andrea Madotto, Samuel Cahyawijaya,

Genta Indra Winata, Yan Xu, Zihan Liu, Zhaojiang Lin, Pascale Fung

摘要：面向任務的對話系統要么通過單獨的對話狀態跟蹤(DST)和管理步驟實現模塊化，要么是端到端可訓練。在這兩種情況下，知識庫(KB)在滿足用戶請求方面起著至關重要的作用。模塊化系統依賴DST與知識庫交互，這在注釋和推理時間方面是昂貴的。端到端系統直接使用知識庫作為輸入，但當知識庫大于幾百個條目時，它們無法進行擴展。在本文中，我們提出了一種將任意大小的知識庫直接嵌入到模型參數中的方法。所得到的模型不需要任何DST或模板響應，也不需要知識庫作為輸入，并且它可以通過微調來動態更新其知識庫。我們在五個小、中、大的KB的面向任務的對話數據集中對我們的解決方案進行了評估。我們的實驗表明，端到端模型可以有效地將知識庫嵌入到它們的參數中，并在所有被評估的數據集上獲得具有競爭力的性能。

代碼：

網址：

4. Multilingual Knowledge Graph Completion via Ensemble Knowledge Transfer

作者：Xuelu Chen, Muhao Chen, Changjun Fan, Ankith Uppunda, Yizhou Sun, Carlo Zaniolo

摘要：預測知識圖(KG)中的缺失事實是知識庫構建和推理中的一項重要任務，也是近年來利用知識圖嵌入（KG embeddings）進行研究的一個重要課題。雖然現有的KG嵌入方法主要是在單個KG中學習和預測事實，但考慮到不同KG在數據質量和覆蓋范圍方面有各自的優勢和局限性，一個更合理的解決方案是從多個特定語言KG中的知識去嘗試融合。但這是相當具有挑戰性的，因為多個獨立維護的KG之間的知識遷移經常受到比對信息不足和描述事實不一致的障礙。在本文中，我們提出了一種新的框架KENS，用于嵌入學習和跨多個特定語言的KG進行集成知識遷移。KENS將所有KG嵌入到一個共享的嵌入空間中，在那里基于自學習捕獲實體之間的關聯。然后，KENS進行集成推理，合并來自多個特定語言KG嵌入的預測結果，并為此研究了多個集成技術。在五個實際語言特定的KG上的實驗表明，KENS通過有效地識別和利用互補知識，不斷改進KG補全的最新方法。

網址：

5. Out-of-Sample Representation Learning for Knowledge Graphs

作者：Marjan Albooyeh, Rishab Goel, Seyed Mehran Kazemi

摘要：許多重要問題都可以表示為知識圖中的推理。表示學習已經被證明對直推式推理（transductive reasoning）非常有效，在transductive 推理中，一個人需要對已經觀察到的實體做出新的預測，屬性圖(其中每個實體都有初始特征向量)和非屬性圖(其中唯一的初始信息來自與其他實體的已知關系)都是如此。對于樣本外推理（ out-of-sample reasoning），人們需要對訓練時看不到的實體進行預測，許多以前的工作都考慮屬性圖。然而，對于非屬性圖的樣本外推理，并沒有得到充分的研究。在本文中，我們研究了非屬性知識圖的樣本外表示學習問題，為這一任務創建了基準數據集，開發了幾個模型和基線，并對所提出的模型和基線進行了實證分析和比較。

網址：

6. Social Commonsense Reasoning with Multi-Head Knowledge Attention

作者：Debjit Paul, Anette Frank

摘要：社會常識推理需要對文本的理解，對社會事件及其實際含義的了解以及常識推理能力。在這項工作中，我們提出了一種新的多頭知識注意模型，該模型對半結構化常識推理規則進行編碼，并學習將其合并到基于transformer的推理單元中。我們評估了該模型在兩個需要不同推理技能的任務上的性能：作為一項新任務的歸納自然語言推理（Abductive Natural Language Inference）和反事實不變性預測（Counterfactual Invariance Prediction）。我們表明，我們提出的模型在兩個推理任務上都比最先進模型(即Roberta)提高了性能。值得注意的是，據我們所知，我們是第一個證明學習執行反事實推理的模型有助于在溯因推理任務中預測最佳解釋的人。通過對知識的擾動，我們驗證了模型推理能力的健壯性，并對模型的知識融合能力進行了定性分析。

網址：

我們為構建帶有深度學習組件的結構性因果模型(SCMs)制定了一個總體框架。所提出的方法采用了流歸一化和變分推理，以實現對外生噪聲變量的可處理推理——這是反事實推理的關鍵一步，而這正是現有的深度因果學習方法所缺少的。我們的框架在構建在MNIST上的合成數據集以及真實世界的腦核磁共振掃描醫學數據集上得到驗證。我們的實驗結果表明，我們可以成功地訓練深度SCMs，使其具備Pearl因果關系階梯的所有三個層次:關聯、干預和反事實，從而為在成像應用和其他方面回答因果問題提供了一種強大的新方法。

//github.com/biomedia-mira/deepscm.

盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功，但在生成過程中需要對基本常識進行推理的情況下，它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法，只是簡單地通過對單個知識三元組的后訓練來遷移關系知識，而忽略了知識圖譜中豐富的連接。我們認為，利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中，我們提出用多跳推理流(GRF)進行生成，使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明，我們的模型在三個文本生成任務上優于現有的基線，這些任務需要推理而非常識知識。通過模型推導出的推理路徑，證明了動態多跳推理模塊的有效性，為生成過程提供了理論依據。

//arxiv.org/abs/2009.11692

Transformer 模型的自監督預訓練已經徹底改變了NLP的應用。這種語言建模目標的預訓練為參數提供了一個有用的初始化，這些參數可以很好地推廣到新的任務中。然而，微調仍然是數據效率低下的——當有標記的例子很少時，準確性可能會很低。數據效率可以通過優化預訓練;這可以看作是一個元學習問題。然而，標準的元學習技術需要許多訓練任務才能泛化;不幸的是，找到一組不同的這樣的監督任務通常是困難的。本文提出了一種自監督的方法，從無標記文本生成一個龐大的，豐富的元學習任務分布。這是使用closize風格的目標實現的，但是通過從少數詞匯表術語中收集待刪除的標記來創建單獨的多類分類任務。這產生的唯一元訓練任務與詞匯術語子集的數量一樣多。我們使用最近的元學習框架對任務分配的transformer模型進行元訓練。在17個NLP任務中，我們表明，這種元訓練比語言模型前訓練后的精細化能產生更好的少樣本泛化效果。此外，我們還展示了如何將自監督任務與監督任務結合起來進行元學習，從而比之前的監督元學習獲得了更大的準確性。

//arxiv.org/abs/2009.08445

題目： 魯棒的跨語言知識圖譜實體對齊

會議： KDD 2020

論文地址： //dl.acm.org/doi/pdf/10.1145/3394486.3403268

代碼地址：

推薦理由： 這篇論文首次提出了跨語言實體對齊中的噪音問題，并提出了一種基于迭代訓練的除噪算法，從而進行魯棒的跨語言知識圖譜實體對齊。本工作對后續跨語言實體對齊的去噪研究具有重要的開創性意義。

跨語言實體對齊旨在將不同知識圖譜中語義相似的實體進行關聯，它是知識融合和知識圖譜連接必不可少的研究問題，現有方法只在有干凈標簽數據的前提下，采用有監督或半監督的機器學習方法進行了研究。但是，來自人類注釋的標簽通常包含錯誤，這可能在很大程度上影響對齊的效果。因此，本文旨在探索魯棒的實體對齊問題，提出的REA模型由兩個部分組成：噪聲檢測和基于噪聲感知的實體對齊。噪聲檢測是根據對抗訓練原理設計的，基于噪聲感知的實體對齊利用圖神經網絡對知識圖譜進行建模。兩個部分迭代進行訓練，從而讓模型去利用干凈的實體對來進行節點的表示學習。在現實世界的幾個數據集上的實驗結果證明了提出的方法的有效性，并且在涉及噪聲的情況下，此模型始終優于最新方法，并且在準確度方面有顯著提高。

1 引言 現有方法在進行跨語言實體對齊時沒有考慮噪音問題，而這些噪音可能會損害模型的效果。如圖1所示，（a）中的兩個不同語言的知識圖譜存在實體對噪音（虛線表示的實體對1-4），（b）是理想狀況下節點在特征空間中的表示，可以看出不同語言知識圖譜中具有相似語義的實體在特征空間中也相近。（c）是利用含有噪音的訓練數據得到的節點特征表示，由于噪音的存在，節點的表示存在了一定的偏差。我們希望跨語言實體對齊是魯棒性的，即使訓練數據中存在噪音，模型也能盡量減少噪音的消極影響，得到如圖（b）中的表示。為了克服現有的跨語言實體對齊方法在處理帶噪標簽實體對時存在的局限性，本文探討了如何將噪聲檢測與實體對齊模型結合起來，以及如何共同訓練它們以對齊不同語言知識圖譜中的實體。

摘要

基于神經網絡的生成式模型的最新進展重新燃起了計算機系統能夠與人類無縫對話并能夠理解自然語言的希望。神經結構被用于生成文本摘錄，在滿足不同用戶需求的多種上下文和任務中取得了不同程度的成功。值得注意的是，在大規模數據集上訓練的高容量深度學習模型顯示出無與倫比的能力，即使在缺乏明確的監督信號的情況下，也能在數據中學習模式，這為生成現實和連貫的文本提供了大量新的可能性。雖然自然語言生成領域正在迅速發展，但仍有許多開放的挑戰需要解決。在這篇綜述中，我們正式地定義和分類自然語言生成的問題。我們回顧了這些通用公式的實例化的特定應用程序任務，在這些任務中生成自然語言是非常重要的。接下來，我們涵蓋了用于生成不同文本的方法和神經存檔的全面的總結。然而，這些生成式模型產生的文本質量并沒有一個標準的評價方法，這是該領域發展的一個嚴重瓶頸。為此，我們還回顧了當前評估自然語言生成系統的方法。我們希望這篇綜述將提供一個公式，方法，和神經自然語言生成的評估信息概述。

介紹

最近在深層生成式模型和表征學習方面的成功導致了自然語言生成(NLG)方面的重大進展，其動機是越來越需要理解和派生語言的意義。文本生成的研究領域是自然語言處理的基礎，其目標是生成真實可信的文本內容，與人類書寫的文本沒有區別 (Turing, 1950)。從廣義上講，在給定語境下，預測連續詞在句法和語義上的正確順序需要兩個步驟:首先從給定語料庫中估計句子的分布情況，然后從已學習得到的語料中抽取新穎和真實的句子。理想情況下，生成的句子保留了真實世界句子的語義和句法屬性，并且不同于用于估計模型的訓練示例(Zhang et al.， 2017b)。語言生成是一項內在復雜的任務，需要大量的語法、語義、形態、音韻、語用等多層次的語言學和領域知識。此外，文本生成是為了實現一個交流目標(Reiter, 2019)，例如在決策過程中提供支持、總結內容、在語言之間進行翻譯、與人交談、使特定文本更容易理解，以及娛樂用戶或鼓勵他們改變行為。因此，生成的文本應該根據內容和使用的術語的適當性，以及出于公平和透明度的原因(Mayfield et al.， 2019)，針對特定受眾量身定制(Paris, 2015)。長期以來，自然語言生成模型都是基于規則的，或者依賴于在稀疏的高維特征上訓練淺層模型。隨著最近神經網絡的復蘇，基于密集向量表示訓練的文本生成神經網絡模型已經建立了無與倫比的先前表現，重新點燃了機器能夠理解語言并與人類無縫對話的希望。事實上，生成有意義和連貫的文本是許多自然語言處理任務的關鍵。然而，由于文本數據的離散性，設計能夠生成連貫文本并建立長期依賴關系模型的神經網絡一直是自然語言生成的挑戰。除此之外，神經網絡模型理解語言和基礎文本概念的能力，除了從數據中提取淺層的模式，仍然是有限的。最后，自然語言生成模型的評價是一個同樣活躍和具有挑戰性的研究領域，對推動該領域的發展具有重要意義。