亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

預訓練模型通過自監督學習方法在大規模文本語料庫上學習上下文化的詞表示，該方法經過微調后取得了良好的性能。然而，這些模型的健壯性差，且缺乏可解釋性。帶有知識注入的預訓練模型(knowledge enhanced pre- training model, KEPTMs)具有深刻的理解和邏輯推理能力，并在一定程度上引入了可解釋性。在這個綜述中，我們提供了自然語言處理的KEPTMs的全面概述。首先介紹了預訓練模型和知識表示學習的研究進展。然后我們從三個不同的角度對現有KEPTMs進行了系統的分類。最后，對KEPTMs的未來研究方向進行了展望。

//www.zhuanzhi.ai/paper/2e6a280b91bab87be5075bc650650678

引言

數據和知識是人工智能的核心。深度學習[1]，[2]，[3]借助神經網絡的分布式表示和層次結構泛化，可以充分利用大規模數據。基于深度學習的預訓練模型[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]有了質的飛躍，促進了下游自然語言處理(NLP)的廣泛應用。雖然它們可以從大規模的無監督語料庫中獲取詞匯、句法和淺層語義信息，但它們是統計模型，受重尾數據分布的限制，導致無法深入理解和因果推理和反事實推理。此外，盡管深度學習在學習數據背后的關鍵因素方面很強大，但由于糾纏表示，預先訓練的模型失去了可解釋性。知識為模型提供了全面而豐富的實體特征和關系，克服了數據分布的影響，增強了模型的魯棒性。此外，知識為模型引入了顯式語義的可解釋性。因此，利用不同的知識來實現預先訓練的具有深度理解和邏輯推理的模型是必不可少的。為了更好地集成知識和文本特征，將符號知識投影到一個密集的、低維的語義空間中，并通過分布式向量通過學習[19]的知識表示來表示。在此背景下，研究人員探索了通過注入知識來概括知識驅動和語義理解所需場景的方法來改進預先訓練的模型。

這項綜述的貢獻可以總結如下:

全面綜述。本文對自然語言處理的預訓練模型和知識表示學習進行了綜述。 新分類法。我們提出了一種面向自然語言處理的KEPTMs分類法，根據注入知識的類型將現有KEPTMs分為三組，并根據知識與語料庫的耦合關系和知識注入方法進一步劃分不同組對應的模型。 未來的發展方向。討論分析了現有KEPTMs的局限性，并提出了未來可能的研究方向。

近年來，預訓練模型的逐步發展引起了研究者的廣泛關注。然而，盡管他們在創作上付出了巨大的努力，但卻無法理解文本的深層語義和邏輯推理。此外，從模型中學習到的知識存在于參數中，是無法解釋的。通過注入KGs的實體特征和事實知識，可以極大地緩解魯棒性差和可解釋性不足的問題。本文介紹的預訓練模型大多側重于語言知識和世界知識的利用，這些知識屬于2.2.1節中定義的事實知識或概念知識。這類知識為預訓練模型提供了豐富的實體和關系信息，極大地提高了預訓練模型的深度理解和推理能力。

為了比較和分析現有的KEPTMs，我們首先根據注入知識的類型將其分為三類: 實體增強的預訓練模型、三元組增強的預訓練模型和其他知識增強的預訓練模型。對于實體增強的預訓練模型，所有這些模型都將知識和語言信息存儲在預訓練模型的參數中，屬于基于耦合的KEPTMs。根據實體注入的方法，進一步將其分為實體特征融合模型和知識圖譜監督預訓練模型。對于三聯體增強的訓練前模型，我們根據三聯體與語料是否耦合，將其分為基于耦合和基于解耦的KEPTMs。基于耦合的KEPTMs在訓練前將單詞嵌入和知識嵌入糾纏在一起，無法保持符號知識的可解釋性。根據三聯體輸注方法，將基于耦合的KEPTMs分為三組: 嵌入聯合KEPTMs、數據結構統一KEPTMs和聯合訓練KEPTMs。而基于解耦的KEPTMs則分別保留了知識和語言的嵌入，從而引入了符號知識的可解釋性。我們將其劃分為基于檢索的KEPTMs，因為它通過檢索相關信息來利用知識。其他知識增強模型也可分為基于耦合和基于解耦的KEPTMs。我們進一步將其分為聯合訓練和基于檢索的KEPTMs。

受基于Transformer的預訓練方法在自然語言任務和計算機視覺任務中的成功啟發，研究人員開始將Transformer應用于視頻處理。本研究旨在對基于transformer的視頻語言學習預訓練方法進行全面綜述。首先簡單介紹了transformer的結構作為背景知識，包括注意力機制、位置編碼等。然后從代理任務、下游任務和常用視頻數據集三個方面描述了典型的視頻語言處理預訓練和微調范式。接下來，我們將transformer模型分為單流和多流結構，突出它們的創新并比較它們的性能。最后，分析和討論了當前視頻語言前訓練面臨的挑戰和未來可能的研究方向。

//www.zhuanzhi.ai/paper/f7141b8c767225eb6839b5e7236d3b03

Transformer網絡(Vaswani et al. 2017)在性能上表現出了巨大的優勢，并在深度學習(Deep Learning, DL)中得到了廣泛的應用。與傳統的深度學習網絡如多層感知機(Multi-Layer Perceptrons, MLP)、卷積神經網絡(Convolutional Neural networks, CNNs)和遞歸神經網絡(Recurrent Neural networks, RNNs)相比，Transformer網絡結構容易加深，模型偏差小，更適合進行預訓練和微調。典型的預訓練和微調范式是，首先在大量(通常是自我監督的)訓練數據上對模型進行訓練，然后在較小的(通常是特定任務的)數據集上對下游任務進行微調。訓練前階段幫助模型學習通用表示，這有利于下游任務。

在自然語言處理(NLP)任務中首次提出了基于Transformer 的預訓練方法，并取得了顯著的性能提高。例如，Vaswani等(Vaswani et al. 2017)首先提出了具有自注意力機制的機器翻譯和英語選區解析任務的Transformer 結構。BERT - Bidirectional Encoder representation (Devlin et al. 2018)可以認為是NLP的一個里程碑，它采用Transformer 網絡對未標記文本語料庫進行預訓練，并在11個下游任務上取得了最先進的性能。GPT -生成預訓練Transformer v1-3 (Radford and Narasimhan 2018; Radford et al. 2019; Brown et al. 2020)設計為具有擴展參數的通用語言模型，在擴展訓練數據上進行訓練，其中GPT-3在45TB、1750億參數的壓縮純文本數據上進行訓練。受基于Transformer 的預訓練方法在自然語言處理領域的突破啟發，計算機視覺研究人員近年來也將Transformer 應用于各種任務中。例如，DETR (Carion et al. 2020)消除了基于Transformer 網絡的目標檢測的邊界盒生成階段。Dosovitskiy等人(Dosovitskiy et al. 2021)應用了一種純Transformer ViT，直接處理圖像斑塊序列，證明了其在基于大訓練集的圖像分類中的有效性。

視頻分析和理解更具挑戰性，因為視頻本身就含有多模態信息。對于具有代表性的視頻語言任務，如視頻字幕(Das et al. 2013)和視頻檢索(Xu et al. 2016)，現有的方法主要是基于視頻幀序列和相應字幕學習視頻的語義表示。在本文中，我們重點提供了基于transformer的視頻語言處理前訓練方法的最新進展，包括相應基準的常用指標，現有模型設計的分類，以及一些進一步的討論。我們希望跟蹤這一領域的進展，并為同行研究人員，特別是初學者提供相關工作的介紹性總結。

本文的其余部分組織如下: 第2節介紹了相關的基本概念，包括帶自注意力機制的標準transformer 、預訓練和微調方法的范式以及常用數據集。第三節根據現有的主要方法的模型結構進行了介紹，并指出了它們的優缺點。第四節進一步討論了幾個研究方向和挑戰，第五節總結了綜述結果

摘要：隨著自然語言處理（NLP）領域中預訓練技術的快速發展，將外部知識引入到預訓練語言模型的知識驅動方法在NLP任務中表現優異，知識表示學習和預訓練技術為知識融合的預訓練方法提供了理論依據。概述目前經典預訓練方法的相關研究成果，分析在新興預訓練技術支持下具有代表性的知識感知的預訓練語言模型，分別介紹引入不同外部知識的預訓練語言模型，并結合相關實驗數據評估知識感知的預訓練語言模型在NLP各個下游任務中的性能表現。在此基礎上，分析當前預訓練語言模型發展過程中所面臨的問題和挑戰，并對領域發展前景進行展望。

//www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060823

近年來，深度學習技術得到了快速發展。在自然語言處理（NLP）任務中，隨著文本表征技術從詞級上升到了文檔級，利用大規模語料庫進行無監督預訓練的方式已被證明能夠有效提高模型在下游任務中的性能。首先，根據文本特征提取技術的發展，從詞級和文檔級對典型的模型進行了分析；其次，從預訓練目標任務和下游應用兩個階段，分析了當前預訓練模型的研究現狀，并對代表性的模型特點進行了梳理和歸納；最后，總結了當前預訓練模型發展所面臨的主要挑戰并提出了對未來的展望。

//www.joca.cn/CN/abstract/abstract24426.shtml

對話系統作為人機交互的重要方式，有著廣泛的應用前景。現有的對話系統專注于解決語義一致性和內容豐富性等問題，對于提高人機交互以及產生人機共鳴方向的研究關注度不高。如何讓生成的語句在具有語義相關性的基礎上更自然地與用戶交流是當前對話系統面臨的主要問題之一。首先對對話系統進行了整體情況的概括。接著介紹了情感對話系統中的對話情緒感知和情感對話生成兩大任務，并分別調研歸納了相關方法。對話情緒感知任務大致分為基于上下文和基于用戶信息兩類方法。情感對話生成的方法包括規則匹配算法、指定情感回復的生成模型和不指定情感回復的生成模型，并從情緒數據類別和模型方法等方面進行了對比分析。然后總結整理了兩大任務下數據集的特點和鏈接便于后續的研究，并歸納了當前情感對話系統中不同的評估方法。最后對情感對話系統的工作進行了總結和展望。

//fcst.ceaj.org/CN/abstract/abstract2684.shtml

文本生成是目前自然語言處理（NLP）領域一個非常重要且有挑戰的任務。文本生成任務通常是以文本作為輸入（例如序列，關鍵詞），通過將輸入文本數據處理成語義表示，生成可以理解的自然語言文本。幾個具有代表性的文本生成任務，例如機器翻譯，文件摘要，對話系統。自從2014年Seq2Seq框架提出以來，文本生成迅速成為研究熱點，包括一系列經典而有效的模型，例如循環神經網絡（RNN），卷積神經網絡（CNN），Transformer。基于這些模型，注意力機制（attention）和拷貝機制（copy/pointer-generator）的提出也極大促進了文本生成的研究。但是，研究人員發現，傳統的文本生成任務只依靠輸入文本進行生成，缺乏更加豐富的“知識”信息，因此生成的文本往往非常乏味，缺少有意思的內容。例如在對話系統中，如果只提供一段輸入文本而沒有其他上下文，對話機器人往往會回答“我也是一樣”，“我聽不懂你在說什么”等。相比之下，人類通過從外界獲取、學習和儲存知識，可以迅速理解對話里的內容從而做出合適的回復。所以，“知識”對于文本生成任務而言，可以超越輸入文本中的語義限制，幫助文本生成系統生成更加豐富、有意思的文本。在文本生成任務中，“知識”是對輸入文本和上下文的一種“補充”，可以由不同方法和信息源獲得，包括但不限于關鍵詞，主題，語言學特征，知識庫，知識圖譜等，可以參考下圖1中的 Information Sources。這些“知識”可以通過不同的表示方法學習到有效的知識表示，用于增強文本生成任務的生成效果，這就被稱為知識增強的文本生成（Knowledge-Enhanced Text Generation）。因此，知識增強的文本生成主要有兩個難點：如何獲取有用的知識（圖1 Information Sources），以及如何理解并借助知識促進文本生成（圖1 Methods）。接下來的內容將主要圍繞著這兩個問題進行展開。

//cea.ceaj.org/CN/abstract/abstract39198.shtml

近年來，深度學習技術被廣泛應用于各個領域，基于深度學習的預處理模型將自然語言處理帶入一個新時代。預訓練模型的目標是如何使預訓練好的模型處于良好的初始狀態，在下游任務中達到更好的性能表現。對預訓練技術及其發展歷史進行介紹，并按照模型特點劃分為基于概率統計的傳統模型和基于深度學習的新式模型進行綜述；簡要分析傳統預訓練模型的特點及局限性，重點介紹基于深度學習的預訓練模型，并針對它們在下游任務的表現進行對比評估；梳理出具有啟發意義的新式預訓練模型，簡述這些模型的改進機制以及在下游任務中取得的性能提升；總結目前預訓練的模型所面臨的問題，并對后續發展趨勢進行展望。

我們生活在一個由大量不同模態內容構建而成的多媒體世界中，不同模態信息之間具有高度的相關性和互補性，多模態表征學習的主要目的就是挖掘出不同模態之間的共性和特性，產生出可以表示多模態信息的隱含向量.該文章主要介紹了目前應用較廣的視覺語言表征的相應研究工作，包括傳統的基于相似性模型的研究方法和目前主流的基于語言模型的預訓練的方法.目前比較好的思路和解決方案是將視覺特征語義化然后與文本特征通過一個強大的特征抽取器產生出表征，其中Transformer[1]作為主要的特征抽取器被應用表征學習的各類任務中.文章分別從研究背景、不同研究方法的劃分、測評方法、未來發展趨勢等幾個不同角度進行闡述.

//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1

Transformer 模型的自監督預訓練已經徹底改變了NLP的應用。這種語言建模目標的預訓練為參數提供了一個有用的初始化，這些參數可以很好地推廣到新的任務中。然而，微調仍然是數據效率低下的——當有標記的例子很少時，準確性可能會很低。數據效率可以通過優化預訓練;這可以看作是一個元學習問題。然而，標準的元學習技術需要許多訓練任務才能泛化;不幸的是，找到一組不同的這樣的監督任務通常是困難的。本文提出了一種自監督的方法，從無標記文本生成一個龐大的，豐富的元學習任務分布。這是使用closize風格的目標實現的，但是通過從少數詞匯表術語中收集待刪除的標記來創建單獨的多類分類任務。這產生的唯一元訓練任務與詞匯術語子集的數量一樣多。我們使用最近的元學習框架對任務分配的transformer模型進行元訓練。在17個NLP任務中，我們表明，這種元訓練比語言模型前訓練后的精細化能產生更好的少樣本泛化效果。此外，我們還展示了如何將自監督任務與監督任務結合起來進行元學習，從而比之前的監督元學習獲得了更大的準確性。

//arxiv.org/abs/2009.08445

隨著圖像處理,語音識別等人工智能技術的發展,很多學習方法尤其是采用深度學習框架的方法取得了優異的性能,在精度和速度方面有了很大的提升,但隨之帶來的問題也很明顯,這些學習方法如果要獲得穩定的學習效果,往往需要使用數量龐大的標注數據進行充分訓練,否則就會出現欠擬合的情況而導致學習性能的下降。因此,隨著任務復雜程度和數據規模的增加,對人工標注數據的數量和質量也提出了更高的要求,造成了標注成本和難度的增大。同時,單一任務的獨立學習往往忽略了來自其他任務的經驗信息,致使訓練冗余重復因而導致了學習資源的浪費,也限制了其性能的提升。為了緩解這些問題,屬于遷移學習范疇的多任務學習方法逐漸引起了研究者的重視。與單任務學習只使用單個任務的樣本信息不同,多任務學習假設不同任務數據分布之間存在一定的相似性,在此基礎上通過共同訓練和優化建立任務之間的聯系。這種訓練模式充分促進任務之間的信息交換并達到了相互學習的目的,尤其是在各自任務樣本容量有限的條件下,各個任務可以從其它任務獲得一定的啟發,借助于學習過程中的信息遷移能間接利用其它任務的數據,從而緩解了對大量標注數據的依賴,也達到了提升各自任務學習性能的目的。在此背景之下,本文首先介紹了相關任務的概念,并按照功能的不同對相關任務的類型進行劃分后再對它們的特點進行逐一描述。然后,本文按照數據處理模式和任務關系建模過程的不同將當前的主流算法劃分為兩大類:結構化多任務學習算法和深度多任務學習算法。其中,結構化多任務學習算法采用線性模型,可以直接針對數據進行結構假設并且使用原有標注特征表述任務關系,同時,又可根據學習對象的不同將其細分為基于任務層面和基于特征層面兩種不同結構,每種結構有判別式方法和生成式方法兩種實現手段。與結構化多任務學習算法的建模過程不同,深度多任務學習算法利用經過多層特征抽象后的深層次信息進行任務關系描述,通過處理特定網絡層中的參數達到信息共享的目的。緊接著,以兩大類算法作為主線,本文詳細分析了不同建模方法中對任務關系的結構假設、實現途徑、各自的優缺點以及方法之間的聯系。最后,本文總結了任務之間相似性及其緊密程度的判別依據,并且分析了多任務作用機制的有效性和內在成因,從歸納偏置和動態求解等角度闡述了多任務信息遷移的特點。 //gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019