跨句事件抽取旨在研究如何同時識別篇章內多個事件。我們提出多層雙向網絡MLBiNet(Multi-Layer Bidirectional Network)融合跨句語義和關聯事件信息,從而增強內各事件提及的判別。首先,為建模句子內部事件關系,我們提出雙向解碼器用于同時捕捉前向和后向事件依賴;然后,我們利用信息聚合器匯總句子語義和事件提及信息;最后,通過迭代多個由雙向解碼器和信息聚合器構造的單元,并在每一層傳遞鄰近句子的匯總信息,最終感知到整個文檔的語義和事件提及信息。實驗表明,跨句語義信息和事件依賴關系對事件抽取有效,我們的方法在ACE05數據集上取得最優表現。
近年來,虛假新聞檢測,旨在驗證新聞文檔是可信的還是偽造的,已越來越受到重視。大多數現有方法嚴重依賴新聞內容的語言和語義特征,未能有效利用外部知識,而外部知識很可能對確定新聞文檔是否可信非常有幫助。在本文中,我們提出了一種名為 CompareNet 的新型端到端圖神經模型,該模型通過實體將新聞與知識庫 (KB) 進行比較以進行假新聞檢測。考慮到假新聞檢測與話題/主題相關,我們還整合了主題以豐富新聞的表示。具體地,我們首先為每個包含主題和實體的新聞構建一個有向異質文本圖。基于該圖,我們設計了一個異質圖注意力網絡,用于學習主題增強的新聞表示以及編碼了新聞內容語義的基于上下文的實體表示。然后通過精心設計的實體對比網絡(entity comparison network)將基于上下文的實體表示與相應的基于知識庫的實體表示進行對比,以捕獲新聞內容和知識庫之間的一致性。最后,結合了實體對比特征的主題增強的新聞表示被輸入到虛假新聞分類器中。兩個基準數據集的實驗結果表明,CompareNet 顯著優于最先進的方法。
基于圖表示的多元關系鏈接預測
Link Prediction on N-ary Relational Facts: A Graph-based Approach
論文鏈接: //www.zhuanzhi.ai/paper/419d53c9425c9b3061acb446861be7c7
知識圖譜上的鏈接預測是典型的知識推理任務,近年來受到了學術界和工業界的廣泛關注。現有的鏈接預測算法大多針對知識圖譜中的二元關系而設計,無法處理其中普遍存在的多元關系。為此,本文創新性地提出了一種基于異構圖表示的多元關系學習算法(GRAN),能夠針對知識圖譜中的多元關系進行有效的鏈接預測。GRAN首先將多元關系陳述表示為異構圖,同時利用拓撲結構感知的自注意力機制對異構圖進行建模,實現多元關系的學習與推理。實驗表明,GRAN能夠保留多元關系陳述的完整語義,同時有效建模其元素間的豐富交互以增強模型的推理能力,在眾多多元關系鏈接預測標準數據集上全面大幅超越現有方法。
本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者,特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構,以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示,(ii) 自動提取、概念化和預測事件及其關系的各種方法,(iii) 事件過程和屬性的歸納,和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。
//cogcomp.seas.upenn.edu/page/tutorial.202108/
人類語言總是涉及對現實世界事件的描述。因此,對事件的理解在自然語言理解中起著至關重要的作用。例如,敘述預測得益于學習事件的因果關系,從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上,事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞,對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系,它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性,涉及到它的參與者、粒度、位置和時間。
在本教程中,我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式,并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外,我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法,包括事件過程歸納和概念化,以及以事件為中心的語言模型如何有利于敘事預測。此外,我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解,以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰,代表性工具和學習資源,以獲得即用模型,以及相關模型和技術如何使最終使用NLU應用程序受益。
目錄內容:
情感在發現網絡虛假新聞中扮演著重要的角色。在利用情感信號時,現有的方法主要是利用發布者所傳達的新聞內容的情感(即發布者情感)。然而,虛假新聞往往是為了喚起人們的高喚醒或激活人們的情緒,像病毒一樣傳播,因此,新聞評論引起的群眾情緒(即社會情緒)是不可忽視的。此外,還需要探索出版者情緒與社會情緒(即雙重情緒)之間是否存在關系,以及雙重情緒如何在假新聞中出現。在本文中,我們提出了雙重情感特征來挖掘雙重情感及其之間的關系,用于虛假新聞的檢測。我們設計了一個通用的范例,將它插入到任何現有的檢測器作為增強。在三個真實數據集上的實驗結果表明了該特征的有效性。
從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中,我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系,并對每個問答(QA)對進行語義級交互。然而,目前AVI的研究大多集中在如何更好地表示問題和答案上,而忽視了它們之間的依賴信息和相互作用,而這是QA評估的關鍵。在這項工作中,我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說,我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖,我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后,我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。
//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1
由于不同道路間交通流時空分布格局具有復雜的空間相關性和動態趨勢,交通流時空數據預測是一項具有挑戰性的任務。現有框架通常利用給定的空間鄰接圖和復雜的機制為空間和時間相關性建模。然而,具有不完全鄰接連接的給定空間圖結構的有限表示可能會限制模型的有效時空依賴學習。此外,現有的方法在解決復雜的時空數據時也束手無策:它們通常利用獨立的模塊來實現時空關聯,或者只使用獨立的組件捕獲局部或全局的異構依賴關系。為了克服這些局限性,本文提出了一種新的時空融合圖神經網絡(STFGNN)用于交通流預測。首先,提出一種數據驅動的“時序圖”生成方法,以彌補空間圖可能無法反映的幾種現有相關性。SFTGNN通過一種新的時空圖融合操作,對不同的時間段進行并行處理,可以有效地學習隱藏的時空依賴關系。同時,該融合圖模塊與一種新的門控卷積模塊集成到一個統一的層中,SFTGNN可以通過層堆疊學習更多的時空依賴關系來處理長序列。在幾個公共交通數據集上的實驗結果表明,我們的方法達到了最先進的性能比其他基準一致。