//cea.ceaj.org/CN/abstract/abstract39198.shtml
近年來,深度學習技術被廣泛應用于各個領域,基于深度學習的預處理模型將自然語言處理帶入一個新時代。預訓練模型的目標是如何使預訓練好的模型處于良好的初始狀態,在下游任務中達到更好的性能表現。對預訓練技術及其發展歷史進行介紹,并按照模型特點劃分為基于概率統計的傳統模型和基于深度學習的新式模型進行綜述;簡要分析傳統預訓練模型的特點及局限性,重點介紹基于深度學習的預訓練模型,并針對它們在下游任務的表現進行對比評估;梳理出具有啟發意義的新式預訓練模型,簡述這些模型的改進機制以及在下游任務中取得的性能提升;總結目前預訓練的模型所面臨的問題,并對后續發展趨勢進行展望。
摘要: Web 2.0時代,消費者在在線購物、學習和娛樂時越來越多地依賴在線評論信息,而虛假的評論會誤導消費者的決策,影響商家的真實信用,因此有效識別虛假評論具有重要意義。文中首先對虛假評論的范圍進行了界定,并從虛假評論識別、形成動機、對消費者的影響以及治理策略4個方面歸納了虛假評論的研究內容,給出了虛假評論研究框架和一般識別方法的工作流程。然后從評論文本內容和評論者及其群組行為兩個角度,對近十年來國內外的相關研究成果進行了綜述,介紹了虛假評論效果評估的相關數據集和評價指標,統計分析了在公開數據集上實現的虛假評論有效識別方法,并從特征選取、模型方法、訓練數據集、評價指標值等方面進行了對比分析。最后對虛假評論識別領域的有標注語料規模限制等未來研究方向進行了探討。
我們生活在一個由大量不同模態內容構建而成的多媒體世界中,不同模態信息之間具有高度的相關性和互補性,多模態表征學習的主要目的就是挖掘出不同模態之間的共性和特性,產生出可以表示多模態信息的隱含向量.該文章主要介紹了目前應用較廣的視覺語言表征的相應研究工作,包括傳統的基于相似性模型的研究方法和目前主流的基于語言模型的預訓練的方法.目前比較好的思路和解決方案是將視覺特征語義化然后與文本特征通過一個強大的特征抽取器產生出表征,其中Transformer[1]作為主要的特征抽取器被應用表征學習的各類任務中.文章分別從研究背景、不同研究方法的劃分、測評方法、未來發展趨勢等幾個不同角度進行闡述.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1
自然語言處理中的預訓練模型
論文:【復旦大學】最新《預訓練語言模型》2020綜述論文大全,50+PTMs分類體系,25頁pdf205篇參考文獻
目前預訓練模型在自然語言處理領域取得了廣泛的成功。本報告的內容主要涵蓋以下4部分內容:1)預訓練模型的原理介紹,包括模型結構、學習準則、發展歷程等;2)預訓練模型的遷移方法:包括如何通過任務轉換、多步遷移、改進精調等方法來進一步提高預訓練模型在下游任務上的性能;3)預訓練模型的改進模型:包括知識嵌入模型、多模態模型、多語言模型、語言特定模型、領域特定模型和模型壓縮等;4)對預訓練模型及其未來發展趨勢進行展望。
自然語言處理中的預訓練模型
論文:【復旦大學】最新《預訓練語言模型》2020綜述論文大全,50+PTMs分類體系,25頁pdf205篇參考文獻
目前預訓練模型在自然語言處理領域取得了廣泛的成功。本報告的內容主要涵蓋以下4部分內容:1)預訓練模型的原理介紹,包括模型結構、學習準則、發展歷程等;2)預訓練模型的遷移方法:包括如何通過任務轉換、多步遷移、改進精調等方法來進一步提高預訓練模型在下游任務上的性能;3)預訓練模型的改進模型:包括知識嵌入模型、多模態模型、多語言模型、語言特定模型、領域特定模型和模型壓縮等;4)對預訓練模型及其未來發展趨勢進行展望。
摘要: 在自然語言處理領域,信息抽取一直以來受到人們的關注.信息抽取主要包括3項子任務:實體抽取、關系抽取和事件抽取,而關系抽取是信息抽取領域的核心任務和重要環節.實體關系抽取的主要目標是從自然語言文本中識別并判定實體對之間存在的特定關系,這為智能檢索、語義分析等提供了基礎支持,有助于提高搜索效率,促進知識庫的自動構建.綜合闡述了實體關系抽取的發展歷史,介紹了常用的中文和英文關系抽取工具和評價體系.主要從4個方面展開介紹了實體關系抽取方法,包括:早期的傳統關系抽取方法、基于傳統機器學習、基于深度學習和基于開放領域的關系抽取方法,總結了在不同歷史階段的主流研究方法以及相應的代表性成果,并對各種實體關系抽取技術進行對比分析.最后,對實體關系抽取的未來重點研究內容和發展趨勢進行了總結和展望.
//crad.ict.ac.cn/CN/10.7544/issn1000-1239.2020.20190358#1
摘要: 近年來,隨著深度學習的快速發展,面向自然語言處理領域的預訓練技術獲得了長足的進步。早期的自然語言處理領域長期使用Word2Vec等詞向量方法對文本進行編碼,這些詞向量方法也可看作靜態的預訓練技術。然而,這種上下文無關的文本表示給其后的自然語言處理任務帶來的提升非常有限,并且無法解決一詞多義問題。ELMo提出了一種上下文相關的文本表示方法,可有效處理多義詞問題。其后,GPT和BERT等預訓練語言模型相繼被提出,其中BERT模型在多個典型下游任務上有了顯著的效果提升,極大地推動了自然語言處理領域的技術發展,自此便進入了動態預訓練技術的時代。此后,基于BERT的改進模型、XLNet等大量預訓練語言模型不斷涌現,預訓練技術已成為自然語言處理領域不可或缺的主流技術。文中首先概述預訓練技術及其發展歷史,并詳細介紹自然語言處理領域的經典預訓練技術,包括早期的靜態預訓練技術和經典的動態預訓練技術;然后簡要梳理一系列新式的有啟發意義的預訓練技術,包括基于BERT的改進模型和XLNet;在此基礎上,分析目前預訓練技術研究所面臨的問題;最后對預訓練技術的未來發展趨勢進行展望。
在過去的幾年里,自然語言處理領域由于深度學習模型的大量使用而得到了發展。這份綜述提供了一個NLP領域的簡要介紹和一個快速的深度學習架構和方法的概述。然后,篩選了大量最近的研究論文,并總結了大量相關的貢獻。NLP研究領域除了計算語言學的一些應用外,還包括幾個核心的語言處理問題。然后討論了目前的技術水平,并對該領域今后的研究提出了建議。