亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

基于隱含結構推理網絡的事件因果關系識別

Knowledge-Enriched Event Causality Identification via Latent Structure Induction Networks

傳統的事件關系抽取方法僅利用文本語義推斷事件關系，忽略了背景知識。很多情況下僅僅利用文本語義很難判斷出事件之間的關系。如何在復雜的真實應用場景中，同時利用文本和知識聯合推斷事件關系，是迫切亟待需要解決的問題。

知識圖譜中除了包含事件的描述性知識，還包含事件之間的關聯知識，這類知識對預測事件因果關系非常有幫助。本文采用基于隱含結構歸納網絡和事件關聯知識的事件因果關系抽取。首先，從知識圖譜中獲得事件之間的關聯知識，在知識圖譜中，事件之間的關聯知識一般由一條多跳路徑組成，由于路徑上有很多與因果無關的知識，并且由于知識圖譜的不完備性，很多有用的知識沒有標注出來，因此直接使用多跳路徑進行因果推理并不是最優的。為了降低因果無關知識的影響以及捕獲潛在的有用的知識，我們提出一個隱含結構歸納網絡，能夠基于事件之間的關聯知識自動地學出一個最優的推理結構。基于歸納出的推理結構，我們執行因果關系推理，從而預測出事件的因果關系。

作者：秦禹嘉、林衍凱、高信龍一、劉知遠、李鵬、季姮、黃民烈、孫茂松、周杰

類型：Long Paper

摘要：預訓練語言模型在各種自然語言處理任務上顯示出卓越的性能。但是常規的預訓練語言模型并未學會在文本中建模實體的關系事實（relational facts），而這對于理解文本至關重要。為了解決這個問題，我們提出了一種新穎的對比學習框架ERICA，以幫助預訓練模型深入了解文本中的實體（entity）及其關系（relation）。具體來說，我們定義了兩個新穎的預訓練任務：（1）實體區分（entity discrimination）任務，給定頭部實體和關系，訓練模型推斷出對應尾部實體；（2）關系區分（relation discrimination）任務，區分兩個關系在語義上是否接近，這涉及復雜的關系推理。實驗結果表明，ERICA可以在多種語言理解任務（包括關系抽取，實體類型分辨和問答），尤其是在資源匱乏的環境下，提升預訓練模型的性能。該工作與騰訊微信模式識別中心、伊利諾伊大學厄巴納-香檳分校（UIUC）合作完成。

可學習知識引導的事件因果關系識別數據增強方法

事件因果關系識別（Event Causality Identification, ECI）旨在識別文本中事件之間的因果關系，可以為許多自然語言處理任務提供重要線索，如邏輯推理、問答系統等。ECI任務通常被建模為一個分類問題，即識別一個句子中兩個事件之間是否存在因果關系。

目前大多數ECI方法采用監督學習的范式。雖然這些方法取得了很好的性能，但通常需要大規模的標注訓練數據。然而，現有的事件因果關系識別數據集相對較少。小規模的標注數據集阻礙了高性能事件因果關系識別模型的訓練，無法提供充足的訓練數據支撐模型準確理解文本中的事件關系語義。

本文探索了一個知識融合的數據增強方法，利用大量抽取的因果相關事件生成新訓練數據，解決ECI任務訓練數據缺失問題。該方法包含兩個框架，知識增強的事件因果關系數據自動標注框架和知識引導的事件因果關系數據生成框架。其中，知識引導的事件因果關系數據生成框架（Learnable Data Augmentation framework, LearnDA），利用對偶學習機制，將事件因果關系識別器和數據生成器對偶約束，從識別過程中學習如何生成任務相關的新數據，從生成過程中學習如何更準確地理解因果語義，生成高質量表達事件因果語義的新訓練數據。

論文鏈接：

//arxiv.org/abs/2012.15409

GitHub鏈接：

近年來，預訓練技術在計算機視覺和自然語言處理領域均受到廣泛關注。在視覺領域，基于圖像數據的單模預訓練有效提升了視覺特征的提取能力。在自然語言處理領域，基于自監督的預訓練語言模型則利用大規模的單模文本數據，顯著提升了模型的語言表示能力。為了處理多模場景的任務，多模預訓練模型基于多模圖文對數據進行預訓練，從而有效支持下游的多模任務。然而，受限于圖文對數據量，多模預訓練模型通用性欠佳。

基于深度學習的AI系統能否像人一樣同時學習各類異構模態數據，包括文本、圖像等單模數據，以及圖文對等多模數據呢？如果能夠實現，無疑將進一步拓展深度學習對大規模數據利用的邊界，從而進一步提升AI系統的感知與認知能力以及AI算法的通用性。針對這一問題，本文提出統一模態學習UNIMO，同時利用大規模單模文本、單模圖像以及多模圖文對數據進行聯合學習，通過跨模態對比學習方法，有效地對語言知識與視覺知識進行統一表示和相互增強，從而具備同時處理多種單模態和多模態下游任務的能力。

UNIMO在語言理解與生成、多模理解與生成等四類場景共十多個任務上超越主流的文本預訓練模型和多模預訓練模型，首次驗證了通過非平行的文本與圖像單模數據，能夠讓語言知識與視覺知識相互增強。UNIMO也同時登頂了視覺問答VQA和文本推理aNLI權威榜單。

跨句事件抽取旨在研究如何同時識別篇章內多個事件。我們提出多層雙向網絡MLBiNet（Multi-Layer Bidirectional Network）融合跨句語義和關聯事件信息，從而增強內各事件提及的判別。首先，為建模句子內部事件關系，我們提出雙向解碼器用于同時捕捉前向和后向事件依賴；然后，我們利用信息聚合器匯總句子語義和事件提及信息；最后，通過迭代多個由雙向解碼器和信息聚合器構造的單元，并在每一層傳遞鄰近句子的匯總信息，最終感知到整個文檔的語義和事件提及信息。實驗表明，跨句語義信息和事件依賴關系對事件抽取有效，我們的方法在ACE05數據集上取得最優表現。

本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者，特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示，(ii) 自動提取、概念化和預測事件及其關系的各種方法，(iii) 事件過程和屬性的歸納，和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。

//cogcomp.seas.upenn.edu/page/tutorial.202108/

人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘述預測得益于學習事件的因果關系，從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上，事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系，它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及到它的參與者、粒度、位置和時間。

在本教程中，我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外，我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解，以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰，代表性工具和學習資源，以獲得即用模型，以及相關模型和技術如何使最終使用NLU應用程序受益。

目錄內容：

• 引言
• 事件信息提取
• 事件過程預測
• 事件知識獲取
• 事件摘要
• 事件研究問題

事件檢測旨在從給定的文本中識別事件觸發詞，并將其分類為事件類型。目前事件檢測的大多數方法在很大程度上依賴于訓練實例，而幾乎忽略了事件類型之間的相關性。因此，它們往往會面臨數據匱乏的問題，并且無法處理新的未見過的事件類型。為了解決這些問題，我們將事件檢測重構成事件本體填充的過程：將事件實例鏈接到事件本體中的預定義事件類型，并提出一種新穎的借助本體嵌入進行事件檢測的框架——OntoED。我們通過建立事件類型之間的聯系來豐富事件本體，并進一步推理出更多的事件對之間的關聯。OntoED可以基于事件本體實現事件知識的利用和傳播，特別是從高資源傳播到低資源的事件類型。此外，OntoED可以通過建立未知事件類型與現有事件的鏈接，實現對新的未見事件類型的檢測。

我們發現了在流行的小樣本學習(FSL)方法中一直被忽視的一個缺陷: 預訓練的知識確實是限制性能的一個混雜因素。這一發現源于我們的因果假設: 一個關于預訓練的知識、樣本特征和標簽之間因果關系的結構性因果模型(SCM)。正因為如此，我們提出了一種新的FSL范式:干預少樣本學習(IFSL)。具體來說,我們開發三個有效的IFSL算法,它本質上是一個因果干預SCM學習:目前在因果視圖的上限。值得注意的是，IFSL的貢獻與現有的基于微調和元學習的FSL方法是正交的，因此IFSL可以改進所有這些方法.

題目： Causal Relational Learning

摘要：

因果推理是自然科學和社會科學實證研究的核心，對科學發現和知情決策至關重要。因果推理的黃金標準是進行隨機對照試驗;不幸的是，由于倫理、法律或成本的限制，這些方法并不總是可行的。作為一種替代方法，從觀察數據中進行因果推斷的方法已經在統計研究和社會科學中得到發展。然而，現有的方法嚴重依賴于限制性的假設，例如由同質元素組成的研究總體，這些同質元素可以在一個單平表中表示，其中每一行都被稱為一個單元。相反，在許多實際環境中，研究領域自然地由具有復雜關系結構的異構元素組成，其中數據自然地表示為多個相關表。在本文中，從關系數據中提出了一個正式的因果推理框架。我們提出了一種稱為CaRL的聲明性語言，用于捕獲因果背景知識和假設，并使用簡單的Datalog類規則指定因果查詢。CaRL為在關系領域中推斷復雜干預的影響的因果關系和推理提供了基礎。我們對真實的關系數據進行了廣泛的實驗評估，以說明CaRL理論在社會科學和醫療保健領域的適用性。