基于隱含結構推理網絡的事件因果關系識別
Knowledge-Enriched Event Causality Identification via Latent Structure Induction Networks
傳統的事件關系抽取方法僅利用文本語義推斷事件關系，忽略了背景知識。很多情況下僅僅利用文本語義很難判斷出事件之間的關系。如何在復雜的真實應用場景中，同時利用文本和知識聯合推斷事件關系，是迫切亟待需要解決的問題。
知識圖譜中除了包含事件的描述性知識，還包含事件之間的關聯知識，這類知識對預測事件因果關系非常有幫助。本文采用基于隱含結構歸納網絡和事件關聯知識的事件因果關系抽取。首先，從知識圖譜中獲得事件之間的關聯知識，在知識圖譜中，事件之間的關聯知識一般由一條多跳路徑組成，由于路徑上有很多與因果無關的知識，并且由于知識圖譜的不完備性，很多有用的知識沒有標注出來，因此直接使用多跳路徑進行因果推理并不是最優的。為了降低因果無關知識的影響以及捕獲潛在的有用的知識，我們提出一個隱含結構歸納網絡，能夠基于事件之間的關聯知識自動地學出一個最優的推理結構。基于歸納出的推理結構，我們執行因果關系推理，從而預測出事件的因果關系。
付費5元查看完整內容
相關內容
基于外部因果陳述自監督表示學習的事件因果關系識別
Improving Event Causality Identification via Self-Supervised Representation Learning on External Causal Statement
論文鏈接： //www.zhuanzhi.ai/paper/f2d21791440eef4f7550cb9045d0101d
利用外部大量的因果陳述，提升模型對因果關系語義的理解能力，這些因果陳述可以提供充足的上下文相關因果模式，有助于理解文本中事件的因果關系。然而，與ECI任務的標注數據不同，外部因果陳述中沒有標注事件，模型很難直接從中學習上下文相關的因果模式幫助識別事件因果關系。為了解決這個問題，我們設計了一個基于自監督表示學習的事件因果關系識別模型 (Self-Supervised Representation Learning on External Causal Statement, CauSeRL)，從外部因果陳述中學習強化的因果表示。具體來說，從外部因果陳述中迭代抽樣兩個實例，分別以其中一個因果陳述為目標，學習它們之間的共性。直覺上，通過自監督學習到的不同因果陳述間的共性反映了文本中上下文相關的因果模式，有助于在未見的實例中識別事件的因果關系。
在基準數據集上的實驗結果表明，該方法可以有效增強事件因果關系的表示、提升事件因果關系識別的性能，證明了我們的方法對于ECI任務的有效性。
付費5元查看完整內容
可學習知識引導的事件因果關系識別數據增強方法
事件因果關系識別（Event Causality Identification, ECI）旨在識別文本中事件之間的因果關系，可以為許多自然語言處理任務提供重要線索，如邏輯推理、問答系統等。ECI任務通常被建模為一個分類問題，即識別一個句子中兩個事件之間是否存在因果關系。
目前大多數ECI方法采用監督學習的范式。雖然這些方法取得了很好的性能，但通常需要大規模的標注訓練數據。然而，現有的事件因果關系識別數據集相對較少。小規模的標注數據集阻礙了高性能事件因果關系識別模型的訓練，無法提供充足的訓練數據支撐模型準確理解文本中的事件關系語義。
本文探索了一個知識融合的數據增強方法，利用大量抽取的因果相關事件生成新訓練數據，解決ECI任務訓練數據缺失問題。該方法包含兩個框架，知識增強的事件因果關系數據自動標注框架和知識引導的事件因果關系數據生成框架。其中，知識引導的事件因果關系數據生成框架（Learnable Data Augmentation framework, LearnDA），利用對偶學習機制，將事件因果關系識別器和數據生成器對偶約束，從識別過程中學習如何生成任務相關的新數據，從生成過程中學習如何更準確地理解因果語義，生成高質量表達事件因果語義的新訓練數據。
付費5元查看完整內容
事件檢測旨在從給定的文本中識別事件觸發詞，并將其分類為事件類型。目前事件檢測的大多數方法在很大程度上依賴于訓練實例，而幾乎忽略了事件類型之間的相關性。因此，它們往往會面臨數據匱乏的問題，并且無法處理新的未見過的事件類型。為了解決這些問題，我們將事件檢測重構成事件本體填充的過程：將事件實例鏈接到事件本體中的預定義事件類型，并提出一種新穎的借助本體嵌入進行事件檢測的框架——OntoED。我們通過建立事件類型之間的聯系來豐富事件本體，并進一步推理出更多的事件對之間的關聯。OntoED可以基于事件本體實現事件知識的利用和傳播，特別是從高資源傳播到低資源的事件類型。此外，OntoED可以通過建立未知事件類型與現有事件的鏈接，實現對新的未見事件類型的檢測。
付費5元查看完整內容
現有的GNN解釋方法側重于解釋圖的節點或邊的重要性，但忽略了圖子結構。事實上子結構更直觀且容易被人理解。論文提出了一種通過識別重要的子圖來解釋GNNs 的方法，即 Subgraph X。給定一個經過訓練的GNN模型和一個輸入圖，Subgraph X 通過蒙特卡洛樹搜索有效地探索不同的子圖來解釋其預測。為了使樹搜索更加有效，論文提出使用 Shapley 值作為子圖重要性的衡量標準，這也可以捕捉到不同子圖之間的相互作用。為了加快計算速度，論文提出了高效的近似方案來計算圖數據的 Shapley 值。該論文是通過識別子圖來解釋 GNN 的第一次嘗試，實驗結果表明，Subgraph X 明顯改善了解釋結果，同時將計算量也相對合理。
先說說為啥要關注圖神經網絡的可解釋性？
現有的 GNN 模型大多被視為黑盒子，其預測結果缺乏可解釋性。如果不理解和推理預測背后的關系，這些模型就不能被人們理解信任，阻礙了它們在關鍵領域的應用，因此研究深度圖模型的可解釋性十分必要。
本文的提出的解釋方法的獨特性在于？
很多文獻在研究圖像和文本上的深度模型的解釋技術方面做了工作，這些方法可以通過不同的策略解釋網絡行為和特定輸入的預測結果。然而，GNN 的可解釋性仍未得到充分的探索。與圖像和文本不同，圖數據不是網格狀的數據，它包含重要的結構信息。因此，圖像和文本領域的方法不能直接應用。目前存在的GNN 解釋方法，如 GNNExplainer、PGExplainer 和 PGM-Explainer，但它都是關注節點、邊或節點特征層面的可解釋性，沒有進行子圖層面的可解釋性研究。本文認為子圖層面的解釋更加直觀和有用，因為子圖是復雜圖的簡單構件，與圖的功能高度相關。
付費5元查看完整內容
盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功，但在生成過程中需要對基本常識進行推理的情況下，它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法，只是簡單地通過對單個知識三元組的后訓練來遷移關系知識，而忽略了知識圖譜中豐富的連接。我們認為，利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中，我們提出用多跳推理流(GRF)進行生成，使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明，我們的模型在三個文本生成任務上優于現有的基線，這些任務需要推理而非常識知識。通過模型推導出的推理路徑，證明了動態多跳推理模塊的有效性，為生成過程提供了理論依據。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191