亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

基于深度學習的事件抽取研究綜述

事件抽取是從非結構化的自然語言文本中自動抽取用戶感興趣的事件信息,并以結構化的形式表示出來.事件抽取是自然語言處理與理解中的重要方向,在政府公共事務管理、金融業務、生物醫學等不同領域有著很高的應用價值.根據對人工標注數據的依賴程度, 目前基于深度學習的事件抽取方法主要分為兩類：有監督和遠程監督學習方法.本文對當前深度學習中事件抽取技術進行了全面的綜述. 圍繞有監督中CNN、RNN、GAN、GCN與遠程監督等方法,系統地總結了近幾年的研究情況,并對不同的深度學習模型的性能進行了詳細對比與分析.最后,對事件抽取面臨的挑戰進行了分析,針對研究趨勢進行了展望.

引言

隨著云計算與大數據時代的迅速推進,計算機已經是人們平時獲取信息最重要的途徑.從各種數據形式中獲取最有用的、潛在的信息已成為人們關注的重點方向,信息抽取技術應運而生.信息抽取就是從海量的文本、圖片和視頻等數據里面自動抽取用戶需要的結構化信息的過程.事件抽取作為信息抽取技術的主要分支之一, 同時還是該方向最有挑戰性的任務之一.事件抽取一直吸引著許多研究機構和學者,如消息理解會議(MUC,Message Understanding Conference) [1]和自動內容抽取(ACE, Automatic Content Extraction) [2]就把事件抽取作為典型任務.

事件抽取任務研究是從非結構化的自然語言文本中自動抽取用戶感興趣的事件信息并以結構化的形式表示[3],融合了來自計算機科學、語言學、數據挖掘、人工智能和知識建模等多個領域的知識和經驗,對人們了解社會有著深遠的影響.事件抽取在不同領域中具有許多應用,例如結構化事件能夠直接擴充知識庫并進行邏輯推理.事件檢測與監控一直是政府公共事務管理的重點,實時了解社會事件的爆發和演變有助于對其迅速做出反應并采取措施.在金融業務領域,事件抽取可以幫助公司快速發現產品的市場響應并推斷信號以執行風險分析、評估等操作.在生物醫學領域,事件抽取能夠識別生物分子（例如基因或蛋白質）狀態的變化,以及它們之間的相互作用.事件抽取在應用需求的推動下展開,由人工標注數據的依賴情況可以將目前基于深度學習的事件抽取方法主要分為兩類：有監督和遠程監督學習方法.本文首先簡單介紹深度學習中事件抽取的發展,再從事件抽取研究的方法,對其發展狀況和技術推進兩個維度全面闡述事件抽取的工作,然后概述了深度學習中事件抽取的數據集及對評價指標進行分析,最后討論了事件抽取中面臨的挑戰及研究趨勢,并對其進行了總結和展望.

1 事件抽取的發展

20 世紀 80 年代末,事件抽取的研究開始蓬勃發展,其中耶魯大學、MUC、ACE 和文本分析會議(TAC, TextAnalysis Conference) [4]的相關測評都推動著事件抽取技術的快速發展,情況如表1 所示.

MUC 會議每兩年舉辦一次,主要是美國國防高級研究計劃委員會(DARPA,Defense AdvancedResearchProjects Agency) [1]贊助的.它從 1987-1997 年總共舉辦了 7 屆,積極推動了事件抽取研究方向的確定與后續發展的方向. ACE 會議是 MUC 的延伸,在大量的應用需求下,1999 年美國國家標準技術研究院(NIST, National Instituteof Standards and Technology) [2]組織的 ACE 評測會議開始發展起來.ACE 從 2000 年到2007 年共舉辦了8屆, 這是事件抽取領域最有影響力的評測會議. TAC 會議是 NIST 在 2008 年成立的,自 2009 年開始 ACE 就成為 TAC 中的一個子任務.隨著云計算和大數據時代的到來,數據呈爆炸式增長,上述測評會議所發布的依靠人工標注方式獲得的語料庫已經無法滿足需求.2014 年 TAC 增加了知識庫生成 (KBP, Knowledge Base Population) [4]評測任務,同時也增加了事件抽取的任務.如今,事件抽取已成為 TAC-KBP 公開評測的主要任務,可以從大型文本語料庫中自動抽取事件信息,完成對知識庫中不足論元[5]的補充. 傳統基于特征的方法是利用人工構建事件候選觸發詞與論元,這會導致模型的擴展性和移植性較差.而機器學習方法在特征提取過程容易出現誤差傳播問題,極大影響事件抽取模型的性能.隨著深度學習的崛起,研究者們逐漸將深度學習方法引入事件抽取任務中,大量基于有監督的卷積神經網絡(CNN, Convolutional NeuralNetworks) [6]、遞歸神經網絡(RNN, Recurrent Neural Networks) [7]、生成對抗網絡(GAN, Generative Adversarial Networks) [8]、圖卷積網絡 (GCN, Graph Convolutional Networks) [9]與遠程監督方法的事件抽取模型被提出.

2 事件抽取研究的方法

近年來,深度學習技術已廣泛用于復雜結構的建模,并驗證了對許多 NLP 任務都有效,例如機器翻譯[10]、關系抽取[11]和情感分析[12]等.雙向長期短期記憶(Bi-LSTM, Bi-directional Long Short-TermMemory)模型[13]是一種雙向 RNN,可以捕獲前后上下文中每個單詞的信息,同時利用其信息對單詞表示進行建模.CNN是另一種有效的模型,可以提取事件語義表示同時捕獲其結構特征. 事件抽取在應用需求的推動下展開,由人工標注數據的依賴程度可以將目前基于深度學習的事件抽取方法主要分為兩類：有監督和遠程監督學習方法.有監督學習在訓練過程中使用人工標注的數據集,而遠程監督的學習方法通過對齊遠程知識庫自動對語料進行標注來獲取帶標記語料數據,具體比較情況如表2 所示.

2.1 基于深度學習的有監督事件抽取

在有監督中運用深度學習方法進行事件抽取,已經成為這幾年事件抽取的熱門研究方向.表3 整理了深度學習框架下有監督事件抽取的經典模型.其中,模型主要是改進 CNN、RNN 輸入特征或網絡結構,比如添加不同特征、結合多種注意力機制和引入依存樹等挖掘更深層次事件語義信息來提升其性能.下面對相關模型進行深入研究和分析.

**2.2 基于遠程監督的事件抽取 **

遠程監督(DS, Distant Supervision)可以為事件抽取自動生成大規模標注數據[54]. 為了解決數據標注問題,Chen 等人[55]利用遠程監督方法結合 Freebase [56]構建了一個基于維基百科的事件數據集.他們通過 Freebase 找出事件關鍵論元,自動檢測事件和觸發詞,利用 FrameNet [57]過濾噪聲.實驗結果表明,該模型能夠學到合理權重來緩解遠程監督中噪聲問題,同時還充分挖掘有用信息.而Zeng 等人[58]則從維基百科和 Freebase 中自動生成訓練事件抽取的數據,將事件抽取訓練實例從數千個擴展到數十萬個.該模型集成了遠程監督的知識庫,自動從未標記文本中標注事件數據,并開發了一個基于 Bi-LSTM和CRF 的聯合神經網絡模型.實驗結果證明,該模型可以與已有的數據相結合自動抽取事件,還可以進行多類型的事件檢測.Keith等人[59]利用 2016 年全年收集的警察死亡語料庫,提出了一個基于特征邏輯回歸和卷積神經網絡分類器的遠程監督模型.通過實驗結果可以看出,該模型與現有的抽取模型的 F1 值相比有所提高,說明其方法可以更好地進行事件抽取,但是仍存在人工標注導致的錯誤傳播的問題.Rao 等人[60]提出了一種抽象意義表示(AMR)的方法識別生物醫學文本分子事件.他們對事件結構的 AMR 子圖進行假設驗證,在給定 AMR 的情況下利用遠程監督神經網絡模型,識別事件子圖.通過對其在 BioNLP 共享任務的 GENIA 事件抽取子任務[61]上實驗表明,僅以蛋白質為論元的簡單事件下 F1 值達到了 94.74%,而復雜事件下降到了 74.18%,這是由于AMR 存在錯誤解析導致的.

**2.3 對事件抽取中深度學習方法的探索 **

FrameNet(簡稱 FN)中的幀由一個詞法單元和一組幀元素組成,分別扮演與ACE 事件觸發詞和論元相似的角色,緩解了 ACE 數據集事件類型稀疏的問題.Liu 等人[62]提出了一種基于概率軟邏輯的全局推理方法檢測FN事件.他們還構建了 Event-FN 數據集,緩解了數據稀疏的問題.通過實驗證明,該方法可以實現相關事件類型之間的信息共享.Wadden 等人[63]把全局上下文合并到 IE 框架中,提出了一種基于上下文的跨實體、關系和事件抽取框架(DYGIE++).該方法在 ACE 2005 數據集上,事件觸發檢測和論元角色分類的F1 值分別為76.5%和52.5%.他們對其他數據集也進行了驗證,都優于對比的模型.

Yang 等人[64]對事件、實體及篇章內不同事件的依賴關系進行建模,提出了一種完全端到端學習的模型.實驗結果表明,該模型在事件類型分類和論元識別的任務中 F1 值都提高了 1.0%.Han 等人[65]利用端到端的方法, 提出了一種基于共享表示與結構化預測的聯合事件和時間關系抽取模型.他們運用兩階段學習方法,首先允許事件和關系模塊共享相同的上下文嵌入與神經表示,其次利用結構化的推理和學習方法共同分配事件和事件關系標簽,避免了常規管道系統中錯誤傳播的問題.對其進行實驗的 F1 值分別提高了10％和6.8％,說明該模型對于端到端事件和時間關系抽取是有效的. 在事件抽取的過程中,總是有數據不平衡的問題出現,而且訓練數據稀少也會影響模型的訓練效果.針對這些問題, Zhang 等人[66]提出了一種基于遷移學習的神經網絡框架(JointTransition),采用從左到右的遞增閱讀順序捕獲實體和事件提及的依賴結構.在 ACE 2005 數據集上的實驗表明,事件觸發詞分類的任務中F1值達到了73.8%,證明了該方法的有效性.Lu 等人[67]提出了一種基于蒸餾學習和知識泛化的△表示學習方法.實驗結果表明,在 ACE 2005 數據集上 F1 值提高了 0.7%,在 TAC-KBP 2017 數據集上 F1 值提高了1.53%.Deng 等人[68]提出了一種基于動態內存的原型網絡(DMB-PN),包括了事件觸發詞識別和 few-shot 事件分類兩個階段.他們還定義“few-shot 事件檢測”新問題,也創建了新的數據集 FewEvent.實驗結果表明,DMB-PN 不僅比其他基準模型更好地處理數據稀缺的問題,而且在事件類型多樣和數據極少的情況下模型的性能較好.Deng 等人[69]在2021年提出了一種基于本體嵌入的 ED 模型（OntoED）,同時構建了一個新的數據集 OntoEvent.實驗結果表明,在事件角色識別和事件類型分類的任務中 F1 值比 JMEE 模型分別提高了 15.32%和 6.85%,證明了其方法魯棒性較好. 另外,一些工作還通過結合預訓練模型提高事件抽取的性能.Yang 等人[70]針對手工創建的數據費力且數量有限的問題,提出了一種基于語言生成預訓練的事件抽取模型(PLMEE).他們為了解決訓練數據不足的問題,采用原型網絡自動生成標注數據.在 ACE 2005 數據集上的實驗表明,事件類型分類和論元分類的任務中F1值分別為81.1%和58.9%.2020年,Du等人[71]則針對錯誤傳播的問題,提出了一種基于問答任務的事件抽取模型.他們在預訓練 BERT 的基礎上將事件抽取轉換為問答任務,并以此為模型在事件觸發詞識別和論元分類任務上的F1 值分別提高了 0.39%和 0.81%。

Gangal 等人[72]針對 RAMS 數據集在事件論元抽取中準確率存在較大差距的問題,提出了一種基于預訓練BERT 的事件論元抽取方法(BERTering RAMS).實驗結果表明,該方法具有較好的跨句準確性.Zhang等人[73]為了減少候選論元數量的問題,提出了一種兩步隱式事件論元檢測方法,將問題分解為兩個子問題：論元頭詞檢測和頭跨度擴展,其中編碼模塊采用了預訓練 BERT 進行上下文編碼.在 RAMS 數據集上的實驗結果表明,該模型獲比其他對比模型的性能更好. 在生物醫學上識別觸發詞相關聯的嵌套結構化事件時準確率不高,Huang 等人[74]提出了一種基于層次知識圖的生物醫學事件抽取方法(GEANet-SciBERT).該方法在預訓練語言模型 SciBERT [93]的基礎上,加入了一種新的圖神經網絡模型 GEANet 作為補充.在 BioNLP 2011 GENIA 事件抽取任務中,該方法在所有事件和復雜事件上 F1 值分別提高 1.41%和 3.19% .

2.4 對中文事件抽取方法的研究

中文事件抽取不僅存在比英文更加嚴重的數據稀缺問題,而且也存在方法層面和語言特性層面的問題. 中文語言詞語間還沒有顯式間隔,在進行分詞時會出現比英文更加明的錯誤和誤差.中文語言的復雜性和靈活性讓相同語義的詞語、短語和句子有更多表達方式,即同一類型事件觸發詞可以使用更多詞語表達. 根據現有的中文事件抽取相關研究,從文本粒度方面可以將其分為兩類：句子級事件抽取和篇章級事件抽取.其中,句子級事件抽取主要是利用句子內部獲取特征,即識別句子的中文觸發詞,并判斷實體在事件中所扮演的角色.而篇章級事件抽取主要包含了跨句、跨文檔抽取的特征信息.

2.5 數據集

事件抽取中常用的數據集主要包括 ACE 2005、TAC-KBP、BioNLP-ST、GENIA、MLEE 和CEC[86],其中ACE 2005 是應用最廣泛的數據集. ACE 數據集是語言數據聯盟(LDC, Linguistic Data Consortium)發布的,由實體、關系和事件注釋組成的各種類型的數據[2].ACE 2005事件數據集定義了 8 個事件類型和 33個子類型,每個事件子類型對應一組論元角色, 是來自媒體、廣播新聞等不同方面的英文、中文和阿拉伯語事件.表 5 描述了相關的事件類型和其子類型.

TAC-KBP 數據集已在 2015 年 TAC 會議事件檢測評估中發布[5].TAC-KBP 中的事件類型和子類型是根據ACE 語料庫定義的,包括 9 個事件類型和 38 個子類型.TAC-KBP 2015 為英文語料庫,但TAC-KBP2016為所有任務添加了中文和西班牙語數據. 生物醫學領域的事件抽取數據集,常見的是 BioNLP-ST、GENIA、MLEE 和PC 等.BioNLP-ST是從生物醫學領域科學文獻的生物分子事件抽取中獲得的,包括 GE、CG、PC、GRO、GRN 和BB [87]等任務.GENIA事件數據集是為 GENIA 項目編寫并標注的生物醫學文獻集合事件.而 MLEE 數據集是分子到器官系統的多個生物組織水平的事件.PC 數據集則是與生物分子途徑模型有關的反應事件. 除了上述常見的數據集外,還有一些其他領域的數據集,如中文突發事件語料庫CEC(Chinese EmergencyCorpus) [86]是由上海大學語義智能實驗室所構建,選取了地震、火災、交通事故、恐怖襲擊和食物中毒這5類突發事件的新聞報道進行標注,合計有 332 篇.與 ACE 數據集相比,CEC 較小,但它在事件和事件論元的注釋方面更全面.TERQAS研討會建立了一個名為 TimeBANK數據集,主要用于突發新聞事件抽取[88].還有軍事情報領域的 MUC 數據集[89]、丁效等人的音樂領域事件抽取數據集[90] ,以及楊航的中文金融事件抽取數據集[92].

2.6 模型性能及評價

事件抽取常采用準確率（P , Precision）、 召回率（R , Recall） 和 F1 值（F1, F1-Measure）這3項作為基本評價指標.其中,P 是指系統中抽取出的正確個數占抽取出總數的比例,用來衡量抽取準確程度；R是指系統中正確抽取的個數占所有正確總數的比例,用來衡量抽取全面程度；F1 值是P 和R 的加權平均值,作為系統性能的總體評價.

3 事件抽取面臨的挑戰及研究趨勢

事件抽取作為信息抽取中的重要任務之一,能夠檢測句子提到的某些事件,也可以對事件類型進行分類與識別事件論元.它為知識圖譜、推薦系統、信息檢索等任務提供基礎的數據支持,同時,事件抽取在語義分析、篇章理解、自動問答等領域也具有重要意義.然而,人工智能的發展對事件抽取的準確性提出了更高的要求,深度學習雖已成為事件抽取的關鍵技術,但在領域自適應性和召回率方面仍有很大的提升空間.

（1）結合深度學習技術進展的事件抽取研究. 事件抽取是在事件觸發和論元識別的基礎上發展起來的.它在某種程度上取決于事件類型、觸發詞識別和論元檢測的效果,但是這些基礎技術準確率不高.在深度學習技術被大規模使用后,事件抽取的效果得到了很大的提升.2015 年至今,該領域的研究熱點集中于CNN、RNN、GAN、GCN 以及 Attention 機制、少樣本學習、預訓練技術等方法的研究,還有聯合多種網絡來進行事件抽取. 在事件抽取中,如何更有效地結合最新的深度學習技術進行抽取的研究是未來的一個重要趨勢.

**（2）段落級和篇章級事件抽取的研究. **近幾年的事件抽取工作主要聚集在利用深度學習方法進行句子級事件抽取,而實際應用時同一事件經常出現在不同句子中,這時需要通過整個篇章確定事件的具體情況.同時, 還存在抽取的事件信息不完整的問題,在日常應用中,我們經常要了解事件發生的全過程.現有基于深度學習的跨句子級事件抽取模型性能較差,但是段落甚至篇章級的事件抽取要求深度模型具有更復雜的推理能力、更高的準確率以及更好的靈活性,未來利用深度學習技術融合多個句子進行段落和篇章級事件抽取是一個重要的研究方向.

（3）面向特定領域事件抽取系統的設計與研究. 基于特征或傳統機器學習的事件抽取方法,已經覆蓋了多數可能的輸入和特征,而基于深度學習的模型往往依賴網絡的復雜程度帶來對隱含事件信息挖掘性能的提升. 面向特定領域事件抽取系統的領域與深度學習技術更好的融合,進行可擴展性與可移植性的進一步提升是將來的關鍵研究內容.

（4）跨語言、跨領域的事件抽取的研究. 目前,事件抽取的水平還限制在對獨立語言、單一領域的事件文本處理上,跨語言、跨領域的研究尚處于探索階段.例如,在中文事件抽取的相關研究主要集中在生物醫學、微博、新聞、緊急情況等方面,其他領域和跨語言事件抽取技術的研究很少.隨著深度學習技術的進一步完善,跨語言、跨領域的事件抽取必將成為研究熱點.

（5）事件抽取中的深度遷移學習的研究. 在事件抽取中,由于觸發詞特征和數據集注釋的不同,可能無法在其他文本上很好地進行研究.盡管有一些遷移學習技術已應用在事件抽取的研究中,但涉及比較少.針對深度遷移學習技術的進一步研究,有利于我們開發一個健壯的識別器來識別不同領域的事件類型,探索事件抽取任務中的少樣本、零樣本學習,解決領域不匹配和跨域不匹配的問題.

（6）基于遠程監督的事件抽取的深入研究. 為了緩解遠程監督中經常會出現的錯誤標簽問題,研究者們分別結合多示例學習、注意力機制、噪聲建模等方法提出了多種模型,但如何建立更有效的方法緩解遠程監督中錯誤標簽的影響仍是事件抽取中研究的重點問題.

**4 結論及展望 **

在本文中,對深度學習中事件抽取技術進行了全面最新的概述.事件抽取發展至今,在研究內容上逐漸由單一領域向多領域、跨領域發展,事件類型的定義方式表示為由人工預先定義轉變為事件類型自動發現、挖掘；在研究方法上,深度學習的方法在事件抽取任務的性能上表現良好,基于深度學習的框架日益成為主流,在此基礎上結合遠程監督、強化學習、少樣本學習和零資源學習的思想等可以為事件抽取性能的提升提供新思路. 特別是,中文事件抽取的任務復雜,將深度學習的方法應用在其中,是今后需要努力的一個方向.