亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

預訓練模型通過自監督學習方法在大規模文本語料庫上學習上下文化的詞表示，該方法經過微調后取得了良好的性能。然而，這些模型的健壯性差，且缺乏可解釋性。帶有知識注入的預訓練模型(knowledge enhanced pre- training model, KEPTMs)具有深刻的理解和邏輯推理能力，并在一定程度上引入了可解釋性。在這個綜述中，我們提供了自然語言處理的KEPTMs的全面概述。首先介紹了預訓練模型和知識表示學習的研究進展。然后我們從三個不同的角度對現有KEPTMs進行了系統的分類。最后，對KEPTMs的未來研究方向進行了展望。

//www.zhuanzhi.ai/paper/2e6a280b91bab87be5075bc650650678

引言

數據和知識是人工智能的核心。深度學習[1]，[2]，[3]借助神經網絡的分布式表示和層次結構泛化，可以充分利用大規模數據。基于深度學習的預訓練模型[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]有了質的飛躍，促進了下游自然語言處理(NLP)的廣泛應用。雖然它們可以從大規模的無監督語料庫中獲取詞匯、句法和淺層語義信息，但它們是統計模型，受重尾數據分布的限制，導致無法深入理解和因果推理和反事實推理。此外，盡管深度學習在學習數據背后的關鍵因素方面很強大，但由于糾纏表示，預先訓練的模型失去了可解釋性。知識為模型提供了全面而豐富的實體特征和關系，克服了數據分布的影響，增強了模型的魯棒性。此外，知識為模型引入了顯式語義的可解釋性。因此，利用不同的知識來實現預先訓練的具有深度理解和邏輯推理的模型是必不可少的。為了更好地集成知識和文本特征，將符號知識投影到一個密集的、低維的語義空間中，并通過分布式向量通過學習[19]的知識表示來表示。在此背景下，研究人員探索了通過注入知識來概括知識驅動和語義理解所需場景的方法來改進預先訓練的模型。

這項綜述的貢獻可以總結如下:

全面綜述。本文對自然語言處理的預訓練模型和知識表示學習進行了綜述。 新分類法。我們提出了一種面向自然語言處理的KEPTMs分類法，根據注入知識的類型將現有KEPTMs分為三組，并根據知識與語料庫的耦合關系和知識注入方法進一步劃分不同組對應的模型。 未來的發展方向。討論分析了現有KEPTMs的局限性，并提出了未來可能的研究方向。

近年來，預訓練模型的逐步發展引起了研究者的廣泛關注。然而，盡管他們在創作上付出了巨大的努力，但卻無法理解文本的深層語義和邏輯推理。此外，從模型中學習到的知識存在于參數中，是無法解釋的。通過注入KGs的實體特征和事實知識，可以極大地緩解魯棒性差和可解釋性不足的問題。本文介紹的預訓練模型大多側重于語言知識和世界知識的利用，這些知識屬于2.2.1節中定義的事實知識或概念知識。這類知識為預訓練模型提供了豐富的實體和關系信息，極大地提高了預訓練模型的深度理解和推理能力。

為了比較和分析現有的KEPTMs，我們首先根據注入知識的類型將其分為三類: 實體增強的預訓練模型、三元組增強的預訓練模型和其他知識增強的預訓練模型。對于實體增強的預訓練模型，所有這些模型都將知識和語言信息存儲在預訓練模型的參數中，屬于基于耦合的KEPTMs。根據實體注入的方法，進一步將其分為實體特征融合模型和知識圖譜監督預訓練模型。對于三聯體增強的訓練前模型，我們根據三聯體與語料是否耦合，將其分為基于耦合和基于解耦的KEPTMs。基于耦合的KEPTMs在訓練前將單詞嵌入和知識嵌入糾纏在一起，無法保持符號知識的可解釋性。根據三聯體輸注方法，將基于耦合的KEPTMs分為三組: 嵌入聯合KEPTMs、數據結構統一KEPTMs和聯合訓練KEPTMs。而基于解耦的KEPTMs則分別保留了知識和語言的嵌入，從而引入了符號知識的可解釋性。我們將其劃分為基于檢索的KEPTMs，因為它通過檢索相關信息來利用知識。其他知識增強模型也可分為基于耦合和基于解耦的KEPTMs。我們進一步將其分為聯合訓練和基于檢索的KEPTMs。

受基于Transformer的預訓練方法在自然語言任務和計算機視覺任務中的成功啟發，研究人員開始將Transformer應用于視頻處理。本研究旨在對基于transformer的視頻語言學習預訓練方法進行全面綜述。首先簡單介紹了transformer的結構作為背景知識，包括注意力機制、位置編碼等。然后從代理任務、下游任務和常用視頻數據集三個方面描述了典型的視頻語言處理預訓練和微調范式。接下來，我們將transformer模型分為單流和多流結構，突出它們的創新并比較它們的性能。最后，分析和討論了當前視頻語言前訓練面臨的挑戰和未來可能的研究方向。

//www.zhuanzhi.ai/paper/f7141b8c767225eb6839b5e7236d3b03

Transformer網絡(Vaswani et al. 2017)在性能上表現出了巨大的優勢，并在深度學習(Deep Learning, DL)中得到了廣泛的應用。與傳統的深度學習網絡如多層感知機(Multi-Layer Perceptrons, MLP)、卷積神經網絡(Convolutional Neural networks, CNNs)和遞歸神經網絡(Recurrent Neural networks, RNNs)相比，Transformer網絡結構容易加深，模型偏差小，更適合進行預訓練和微調。典型的預訓練和微調范式是，首先在大量(通常是自我監督的)訓練數據上對模型進行訓練，然后在較小的(通常是特定任務的)數據集上對下游任務進行微調。訓練前階段幫助模型學習通用表示，這有利于下游任務。

在自然語言處理(NLP)任務中首次提出了基于Transformer 的預訓練方法，并取得了顯著的性能提高。例如，Vaswani等(Vaswani et al. 2017)首先提出了具有自注意力機制的機器翻譯和英語選區解析任務的Transformer 結構。BERT - Bidirectional Encoder representation (Devlin et al. 2018)可以認為是NLP的一個里程碑，它采用Transformer 網絡對未標記文本語料庫進行預訓練，并在11個下游任務上取得了最先進的性能。GPT -生成預訓練Transformer v1-3 (Radford and Narasimhan 2018; Radford et al. 2019; Brown et al. 2020)設計為具有擴展參數的通用語言模型，在擴展訓練數據上進行訓練，其中GPT-3在45TB、1750億參數的壓縮純文本數據上進行訓練。受基于Transformer 的預訓練方法在自然語言處理領域的突破啟發，計算機視覺研究人員近年來也將Transformer 應用于各種任務中。例如，DETR (Carion et al. 2020)消除了基于Transformer 網絡的目標檢測的邊界盒生成階段。Dosovitskiy等人(Dosovitskiy et al. 2021)應用了一種純Transformer ViT，直接處理圖像斑塊序列，證明了其在基于大訓練集的圖像分類中的有效性。

視頻分析和理解更具挑戰性，因為視頻本身就含有多模態信息。對于具有代表性的視頻語言任務，如視頻字幕(Das et al. 2013)和視頻檢索(Xu et al. 2016)，現有的方法主要是基于視頻幀序列和相應字幕學習視頻的語義表示。在本文中，我們重點提供了基于transformer的視頻語言處理前訓練方法的最新進展，包括相應基準的常用指標，現有模型設計的分類，以及一些進一步的討論。我們希望跟蹤這一領域的進展，并為同行研究人員，特別是初學者提供相關工作的介紹性總結。

本文的其余部分組織如下: 第2節介紹了相關的基本概念，包括帶自注意力機制的標準transformer 、預訓練和微調方法的范式以及常用數據集。第三節根據現有的主要方法的模型結構進行了介紹，并指出了它們的優缺點。第四節進一步討論了幾個研究方向和挑戰，第五節總結了綜述結果

BERT、GPT 等大規模預訓練模型（PTM）最近取得了巨大成功，成為人工智能領域的里程碑。由于復雜的預訓練目標和龐大的模型參數，大規模 PTM 可以有效地從大量標記和未標記的數據中捕獲知識。通過將知識存儲到大量的參數中并對特定任務進行微調，大量參數中隱式編碼的豐富知識可以使各種下游任務受益，這已通過實驗驗證和實證分析得到廣泛證明。現在人工智能社區的共識是采用 PTM 作為下游任務的支柱，而不是從頭開始學習模型。

在本文中，我們深入研究了預訓練的歷史，尤其是它與遷移學習和自監督學習的特殊關系，以揭示 PTM 在 AI 開發領域中的關鍵地位。此外，我們全面回顧了 PTM 的最新突破。這些突破是由計算能力的激增和數據可用性的增加推動的，朝著四個重要方向發展：設計有效的架構、利用豐富的上下文、提高計算效率以及進行解釋和理論分析。最后，我們討論了 PTMs 的一系列開放問題和研究方向，希望我們的觀點能夠啟發和推動 PTMs 的未來研究。

//www.zhuanzhi.ai/paper/ae20bc29350325ac02c0804c693c0cfb

摘要

Transformers 在自然語言處理、計算機視覺和音頻處理等許多人工智能領域都取得了巨大的成功。因此，自然會引起學術界和工業界研究人員的極大興趣。到目前為止，各種各樣的Transformer變種(即X-formers)已經被提出，但是，關于這些Transformer器變種的系統和全面的文獻綜述仍然缺乏。在這項綜述中，我們提供了一個全面的Transformer綜述。我們首先簡單介紹了普通的Transformer，然后提出了一個x-former的新分類。接下來，我們將從三個方面介紹不同的x -former架構修改，預訓練和應用。最后，展望了未來的研究方向。

//www.zhuanzhi.ai/paper/f03a47eb6ddb5d23c07f51662f3220a0

引言

Transformer[136]是一種出色的深度學習模型，被廣泛應用于自然語言處理(NLP)、計算機視覺(CV)和語音處理等各個領域。Transformer最初是作為一種用于機器翻譯的序列到序列模型提出的[129]。后來的工作表明，基于Transformer的預訓練模型(PTMs)[100]可以在各種任務上實現最先進的性能。因此，Transformer已經成為NLP的首選架構，特別是對于PTMs。除了語言相關的應用，Transformer也被應用于CV[13, 33, 94]，音頻處理[15,31,41]，甚至其他學科，如化學[113]和生命科學[109]。

由于成功，各種各樣的Transformer 變種(即x -former)在過去幾年里被提出。這些X-formers從不同的角度改進了vanilla Transformer。

(1) 模型的效率。應用Transformer的一個關鍵挑戰是它在處理長序列時效率低下，這主要是由于自注意力模塊的計算和存儲復雜性。改進方法包括輕量級注意力(例如稀疏注意變體)和分治法(例如循環和分層機制)。

(2) 模型泛化。由于Transformer是一種靈活的體系結構，并且很少對輸入數據的結構偏差進行假設，因此很難對小規模數據進行訓練。改進方法包括引入結構偏差或正則化、對大規模無標記數據進行預處理等。

(3) 模型的適應。該工作旨在使Transformer適應特定的下游任務和應用程序。

在這個綜述中，我們的目的是提供一個Transformer及其變體的全面綜述。雖然我們可以根據上面提到的觀點來組織x-former，但許多現有的x前輩可能會解決一個或幾個問題。例如，稀疏注意變量不僅降低了計算復雜度，而且在輸入數據上引入了結構先驗，緩解了小數據集上的過擬合問題。因此，將現有的各種X-formers進行分類，并根據它們改進Transformer的方式提出新的分類方法會更有條理: 架構修改、預訓練和應用。考慮到本次綜述的受眾可能來自不同的領域，我們主要關注于一般的架構變體，而只是簡單地討論了預訓練和應用的具體變體。

到目前為止，基于普通Transformer的各種模型已經從三個角度被提出:架構修改的類型、預訓練的方法和應用。圖2給出了Transformer變種的分類說明。

盡管“x-formers”已經證明了他們在各種任務上的能力，但挑戰仍然存在。除了目前關注的問題(如效率和泛化)，Transformer的進一步改進可能在以下幾個方向:

(1) 理論分析。Transformer的體系結構已被證明能夠支持具有足夠參數的大規模訓練數據集。許多工作表明，Transformer比CNN和RNN有更大的容量，因此有能力處理大量的訓練數據。當Transformer在足夠的數據上進行訓練時，它通常比CNN或RNN有更好的性能。一個直觀的解釋是，Transformer對數據結構沒有什么預先假設，因此比CNN和RNN更靈活。然而，理論原因尚不明確，我們需要對Transformer能力進行一些理論分析。

(2) 注意力機制之外的全局交互機制更加完善。Transformer的一個主要優點是使用注意力機制來建模輸入數據中節點之間的全局依賴關系。然而，許多研究表明，對大多數節點來說，完全注意力是不必要的。在某種程度上，不可區分地計算所有節點的注意力是低效的。因此，在有效地建模全局交互方面仍有很大的改進空間。一方面，自注意力模塊可以看作是一個具有動態連接權的全連接神經網絡，通過動態路由聚合非局部信息; 因此，其他動態路由機制是值得探索的替代方法。另一方面，全局交互也可以通過其他類型的神經網絡來建模，比如記憶增強模型。

(3) 多模態數據統一框架。在許多應用場景中，集成多模態數據對于提高任務性能是非常有用和必要的。此外，一般的人工智能還需要能夠捕獲跨不同模式的語義關系。由于Transformer在文本、圖像、視頻和音頻方面取得了巨大的成功，我們有機會建立一個統一的框架，更好地捕捉多模態數據之間的內在聯系。但是，在設計中對模式內和模式間的注意還有待改進。

在人類中，注意力是所有感知和認知操作的核心屬性。考慮到我們處理競爭性信息來源的能力有限，注意力機制選擇、調整和關注與行為最相關的信息。

幾十年來，哲學、心理學、神經科學和計算機科學都在研究注意力的概念和功能。在過去的六年中，這一特性在深度神經網絡中得到了廣泛的研究。目前，深度學習的研究進展主要體現在幾個應用領域的神經注意力模型上。

本研究對神經注意力模型的發展進行了全面的概述和分析。我們系統地回顧了該領域的數百個架構，識別并討論了那些注意力顯示出重大影響的架構。我們亦制訂了一套自動化方法體系，并將其公諸于眾，以促進這方面的研究工作。通過批判性地分析650部文獻，我們描述了注意力在卷積、循環網絡和生成模型中的主要用途，識別了使用和應用的共同子組。

此外，我們還描述了注意力在不同應用領域的影響及其對神經網絡可解釋性的影響。最后，我們列出了進一步研究的可能趨勢和機會，希望這篇綜述能夠對該領域的主要注意力模型提供一個簡明的概述，并指導研究者開發未來的方法，以推動進一步的改進。

//cea.ceaj.org/CN/abstract/abstract39198.shtml

近年來，深度學習技術被廣泛應用于各個領域，基于深度學習的預處理模型將自然語言處理帶入一個新時代。預訓練模型的目標是如何使預訓練好的模型處于良好的初始狀態，在下游任務中達到更好的性能表現。對預訓練技術及其發展歷史進行介紹，并按照模型特點劃分為基于概率統計的傳統模型和基于深度學習的新式模型進行綜述；簡要分析傳統預訓練模型的特點及局限性，重點介紹基于深度學習的預訓練模型，并針對它們在下游任務的表現進行對比評估；梳理出具有啟發意義的新式預訓練模型，簡述這些模型的改進機制以及在下游任務中取得的性能提升；總結目前預訓練的模型所面臨的問題，并對后續發展趨勢進行展望。

自監督學習由于能夠避免標注大規模數據集的成本而受到歡迎。它能夠采用自定義的偽標簽作為監督，并將學習到的表示用于幾個下游任務。具體來說，對比學習最近已成為計算機視覺、自然語言處理(NLP)等領域的自主監督學習方法的主要組成部分。它的目的是將同一個樣本的增廣版本嵌入到一起，同時試圖將不同樣本中的嵌入推開。這篇論文提供了一個廣泛的自我監督的方法綜述，遵循對比的方法。本研究解釋了在對比學習設置中常用的借口任務，以及到目前為止提出的不同架構。接下來，我們將對圖像分類、目標檢測和動作識別等多個下游任務的不同方法進行性能比較。最后，我們總結了目前方法的局限性和需要進一步的技術和未來方向取得實質性進展。

//arxiv.org/abs/2011.00362

概述：

隨著深度學習技術的發展，它已成為目前大多數智能系統的核心組件之一。深度神經網絡(DNNs)能夠從現有的大量數據中學習豐富的模式，這使得它在大多數計算機視覺(CV)任務(如圖像分類、目標檢測、圖像分割、動作識別)以及自然語言處理(NLP)任務(如句子分類、語言模型、機器翻譯等)中成為一種引人注目的方法。然而，由于手工標注數百萬個數據樣本的工作量很大，從標記數據中學習特征的監督方法已經幾乎達到了飽和。這是因為大多數現代計算機視覺系統(受監督的)都試圖通過查找大型數據集中數據點及其各自注釋之間的模式來學習某種形式的圖像表示。像GRAD-CAM[1]這樣的工作提出了一種技術，可以為模型所做的決策提供可視化的解釋，從而使決策更加透明和可解釋。

傳統的監督學習方法很大程度上依賴于可用的帶注釋的訓練數據的數量。盡管有大量的可用數據，但缺乏注解促使研究人員尋找替代方法來利用它們。這就是自監督方法在推動深度學習的進程中發揮重要作用的地方，它不需要昂貴的標注，也不需要學習數據本身提供監督的特征表示。

監督學習不僅依賴昂貴的注釋，而且還會遇到泛化錯誤、虛假的相關性和對抗攻擊[2]等問題。最近，自監督學習方法集成了生成和對比方法，這些方法能夠利用未標記的數據來學習潛在的表示。一種流行的方法是提出各種各樣的代理任務，利用偽標簽來幫助學習特征。諸如圖像inpainting、灰度圖像著色、拼圖游戲、超分辨率、視頻幀預測、視聽對應等任務已被證明是學習良好表示的有效方法。

生成式模型在2014年引入生成對抗網絡(GANs)[3]后得到普及。這項工作后來成為許多成功架構的基礎，如CycleGAN[4]、StyleGAN[5]、PixelRNN[6]、Text2Image[7]、DiscoGAN [8]等。這些方法激發了更多的研究人員轉向使用無標簽數據在自監督的設置下訓練深度學習模型。盡管取得了成功，研究人員開始意識到基于GAN的方法的一些并發癥。它們很難訓練，主要有兩個原因: (a)不收斂——模型參數發散很多，很少收斂; (b)鑒別器太過成功，導致生成網絡無法產生類似真實的假信號，導致學習無法繼續。此外，生成器和判別器之間需要適當的同步，以防止判別器收斂和生成器發散。

近年來，預訓練模型(PTMs)的出現將自然語言處理(NLP)帶入了一個新的時代。在這項綜述中，我們提供了一個全面的PTMs調研。首先簡要介紹了語言表示學習及其研究進展。然后，我們根據四種觀點對現有的PTMs進行了系統的分類。接下來，我們將描述如何將PTMs的知識應用于下游任務。最后，我們概述了未來PTMs研究的一些潛在方向。本調查旨在為理解、使用和開發各種NLP任務的PTMs提供實際指導。

1. 概述

隨著深度學習的發展，各種神經網絡被廣泛用于解決自然語言處理(NLP)任務，如卷積神經網絡(convolutional neural networks, CNNs)[75,80,45]、遞歸神經網絡(neural networks, RNNs)[160, 100]、基于圖的神經網絡(graphbased neural network, GNNs)[146, 161, 111]和注意力機制[6,171]等。這些神經模型的優點之一是能夠緩解特征工程問題。非神經NLP方法通常嚴重依賴于離散的手工特征，而神經方法通常使用低維和稠密的向量(又稱分布式表示)隱式地表示語言的語法或語義特征。這些表示是在特定的NLP任務中學習的。因此，神經方法使人們可以很容易地開發各種NLP系統。

盡管神經模型在NLP任務中取得了成功，但與計算機視覺(CV)領域相比，性能改進可能不那么顯著。主要原因是，當前用于大多數監督的NLP任務的數據集相當小(機器翻譯除外)。深度神經網絡通常具有大量的參數，使其對這些小的訓練數據過度擬合，在實際應用中泛化效果不佳。因此，許多NLP任務的早期神經模型相對較淺，通常只包含1 ~ 3個神經層。

最近大量的工作表明，在大型語料庫上的預訓練模型(PTMs)可以學習通用語言表示，這對后續的NLP任務是有益的，可以避免從零開始訓練新模型。隨著計算能力的發展，深層模型(即隨著訓練技能的不斷提高，PTMs的體系結構由淺向深推進。第一代PTM的目標是學習好的詞嵌入。由于下游任務不再需要這些模型本身，它們在計算效率方面通常非常膚淺，如Skip-Gram[116]和GloVe[120]。雖然這些預訓練的嵌入可以捕獲單詞的語義含義，但它們是上下文無關的，不能捕獲文本的高級概念，如語法結構、語義角色、回指等。第二代PTMs主要學習上下文詞嵌入，如CoVe[113]、ELMo[122]、OpenAI GPT[130]、BERT[32]等。這些學習過的編碼器仍然需要在上下文中通過下游任務來表示單詞。此外，還提出了各種預訓練的任務，以學習PTMs的不同目的。

這篇綜述的貢獻可以總結如下:

• 1. 全面調研。我們為NLP提供了PTMs的全面回顧，包括背景知識、模型架構、預訓練任務、各種擴展、適應方法和應用。給出了典型模型的詳細描述，進行了必要的比較，總結了相應的算法。
• 2. 新分類法。我們提出了一種基于自然語言處理的PTMs分類方法，該方法從四個不同的角度對現有的PTMs進行了分類:1)單詞表示的類型;2) PTMs架構;3)培訓前的任務類型;4)特定類型場景或輸入的擴展。

• 3.資源豐富。我們在PTMs上收集了豐富的資源，包括開源系統、論文列表等。

• 4. 未來的發展方向。我們討論并分析了現有PTMs的局限性。并提出未來可能的研究方向。

綜述的其余部分組織如下。第2節概述了PTMs的背景概念和常用符號。第3節簡要概述了PTMs，并澄清了PTMs的分類。第4節提供了PTMs的擴展。第5節討論如何將PTMs的知識遷移到下游任務。第6節給出了PTMs的相關資源，包括開源系統、論文列表等。第7節介紹了跨各種NLP任務的應用程序集合。第8節討論了當前的挑戰并提出了未來的方向。第9節對本文進行了總結。

2. 背景

2.1 語言表示學習

分布式表示的核心思想是用低維實值向量來描述文本的意義。而向量的每一個維度都沒有對應的意義，而整體則代表一個具體的概念。圖1說明了NLP的通用神經體系結構。詞嵌入有兩種:非上下文嵌入和上下文嵌入。它們之間的區別是，一個詞的嵌入是否根據它出現的上下文動態變化。

2.2 神經上下文編碼器

大部分的神經上下文編碼器可以分為三類:卷積模型、序列模型和基于圖的模型。圖2說明了這些模型的體系結構。

(1) 卷積模型。卷積模型采用單詞在輸入句中的嵌入，通過卷積運算將相鄰詞的局部信息聚合起來，從而獲取單詞的意義[80]。卷積模型通常易于訓練，能夠捕獲局部上下文信息。

(2 )序列模型。序列模型通常采用rns(如LSTM[60]和GRU[21])來捕獲單詞的上下文表示。在實踐中，雙向RNNs被用來收集單詞兩邊的信息，但其性能往往受到長期依賴問題的影響。

(3) 基于圖模型。與上述模型不同的是，基于圖的模型以單詞為節點，學習單詞之間具有預定義語言結構的上下文表示，如句法結構[146,161]或語義關系[111]。

2.3 為什么要預訓練？

隨著深度學習的發展，模型參數的數量迅速增加。需要更大的數據集來充分訓練模型參數并防止過度擬合。然而，對于大多數NLP任務來說，構建大規模的標記數據集是一個巨大的挑戰，因為注釋成本非常昂貴，特別是對于語法和語義相關的任務。

相比之下，大規模的未標記語料庫相對容易構建。為了利用巨大的未標記文本數據，我們可以首先從它們那里學習良好的表示，然后將這些表示用于其他任務。最近的研究表明，借助從大型無注釋語料庫的PTMs中提取的表示，許多NLP任務的性能都有顯著提高。

預訓練的好處可以總結如下:

• 在大型文本語料庫上的預訓練可以學習通用語言表示并幫助完成后續任務。
• 預訓練提供了更好的模型初始化，這通常會帶來更好的泛化性能，并加速對目標任務的收斂。
• 預訓練可以看作是一種正則化，以避免小數據[39]的過擬合。

3. 預訓練語言模型分類

為了明確現有PTMs與NLP之間的關系，我們構建了PTMs的分類法，該分類法從不同的角度對現有PTMs進行了分類: (1) PTMs使用的單詞表示類型，(2) PTMs使用的主干網絡，(3) PTMs使用的預訓練任務類型，(4) 為特定類型的場景或輸入設計的PTMs。圖6顯示了分類以及一些相應的代表性PTMs。

此外，表1詳細區分了一些有代表性的PTMs。

4. 預訓練語言模型擴展

4.1 知識增強的PTMs

PTMs通常從通用的大型文本語料庫中學習通用語言表示，但缺乏領域特定的知識。將來自外部知識庫的領域知識整合到PTM中已被證明是有效的。外部知識范圍從語言學[87,78,123,178]，語義[92]，常識[48]，事實[199,123,101,188,182]，到具體領域的知識[54]。

4.2 多模態PTMS 由于PTMs在許多NLP任務上的成功，一些研究集中在獲得PTMs的跨模態版本上。這些模型中的絕大多數是為一般的視覺和語言特征編碼而設計的。這些模型是在一些巨大的跨模態數據語料庫上進行預訓練的，例如帶有口語單詞的視頻或帶有字幕的圖像，結合擴展的預訓練任務來充分利用多模態特征。VideoBERT[152]和CBT[151]是視頻和文本的聯合模型。為了獲得用于預訓練的視覺和語言標記序列，視頻分別由基于cnn的編碼器和現成的語音識別技術進行預處理。在處理后的數據上訓練一個變壓器編碼器，以學習下游任務(如視頻字幕)的視覺語言表示。此外，UniViLM[109]提出引入生成任務來進一步預訓練下游任務中使用的解碼器。

4.3 模型壓縮

5. 下游任務應用

6. PTM資源

7. 應用

應用基準、機器翻譯、問答、情感分析、摘要、命名實體識別

8. 未來方向

(1) PTMs的上界

目前，PTMs還沒有達到其上限。現有的PTMs大多可以通過更多的訓練步驟和更大的語料庫來進一步完善。

通過增加模型的深度可以進一步提高NLP的技術水平，如Megatron-LM144和Turing-NLG(170億個參數，78個隱藏尺寸為4256和28個注意頭的Transformer層)。

通用型PTM一直是我們學習語言固有的通用知識(甚至是世界知識)的追求，但此類PTM通常需要更深入的體系結構、更大的語料庫和更具挑戰性的訓練前任務，這又進一步導致了更高的訓練成本。然而，訓練大模型也是一個具有挑戰性的問題，需要更復雜、更高效的訓練技術，如分布式訓練、混合精度、梯度積累等。因此，更實際的方向是使用現有的硬件和軟件設計更有效的模型架構、自我監督的訓練前任務、優化器和訓練技能。ELECTRA[22]是這個方向的一個很好的解決方案。

(2) 面向任務的預訓練和模型壓縮

在實踐中，不同的下游任務需要不同的PTMs能力。PTMs與下游任務之間的差異通常表現在兩個方面:模型體系結構和數據分布。較大的差異可能導致PTMs的益處可能不明顯。盡管較大的PTM通常可以帶來更好的性能，但一個實際問題是如何在特殊場景(如低容量設備和低延遲應用程序)中利用這些巨大的PTM。因此，我們可以為下游任務精心設計特定的模型架構和預訓練任務，或者從現有的PTMs中提取部分特定于任務的知識。

此外，我們可以通過使用模型壓縮等技術，用通用的現有PTM來教他們，而不是從頭開始訓練面向任務的ptm(參見4.3節)。雖然在CV[17]中，針對CNNs的模型壓縮已經得到了廣泛的研究，但針對NLP的PTMs的模型壓縮才剛剛開始。Transformer 的全連接結構也使模型壓縮更具挑戰性。

(3) PTMs架構

Transformer已被證明是一種有效的預訓練體系結構。然而，Transformer 的主要限制是它的計算復雜度，它是輸入長度的平方。由于GPU內存的限制，目前大多數PTM不能處理512個標記以上的序列。打破這一限制需要改進Transformer的架構，比如Transformer- xl[27]。因此，為PTMs搜索更有效的模型體系結構對于捕獲更長期的上下文信息非常重要。

深度架構的設計具有挑戰性，我們可以從一些自動化方法中尋求幫助，如神經架構搜索(neural architecture search, NAS)[205]。

(4)超越微調的知識遷移

目前，將PTMs的知識傳遞給下游任務的主要方法是微調，但其缺點是參數效率低下:每個下游任務都有自己的微調參數。一種改進的解決方案是對原有PTMs的參數進行修正，并為特定的任務添加小的可調自適應模塊[149,61]。因此，我們可以使用一個共享的PTM來服務多個下游任務。事實上，從PTMs中挖掘知識可以更加靈活，如特征提取、知識提取[195]、數據擴充[185,84]，利用PTMs作為外部知識[125]等。期望有更有效的方法。

(5) PTMs的可解釋性和可靠性

雖然PTM的性能令人印象深刻，但其深層的非線性架構使得決策過程高度不透明。

近年來，可解釋人工智能[4]已經成為人工智能領域的一個研究熱點。與用于圖像的CNN不同，由于Transformer的架構和語言的復雜性，解釋PTMs更加困難。人們做了大量的工作(見3.3節)來分析PTMs中包含的語言和世界知識，這有助于我們以某種程度的透明性理解這些PMTs。然而，許多模型分析工作依賴于注意力機制，注意力對可解釋性的有效性仍存在爭議[66,142]。

此外，隨著PTMs在生產系統中的廣泛應用，PTMs的可靠性也成為一個備受關注的問題。深層神經模型容易受到對抗性樣本的影響，這些例子可能會誤導模型，使其產生一個特定的錯誤預測，而這種預測會受到來自原始輸入的難以察覺的干擾。在CV中，對抗性攻擊和防御被廣泛研究。然而，由于語言的離散性，文本仍然面臨著挑戰。為文本生成對抗性樣本需要具備以下品質:(1)不易被人類法官察覺，但容易被神經模型誤導;(2)語法流利，語義與原輸入一致。Jin等人[71]用對抗性的例子成功地在文本分類和文本蘊涵方面攻擊了經過微調的BERT。Wallace等人[175]定義了通用的對抗觸發器，當將模型連接到任何輸入時，該觸發器可以誘導模型產生特定目的的預測。有些觸發器甚至會導致GPT-2模型生成帶有種族主義色彩的文本。對PTM進行對抗性攻擊的研究有助于我們了解它們的能力，從而充分暴露它們的弱點。Sun等人[155]的研究表明，BERT對拼寫錯誤并不敏感。此外，針對PTMs的對抗防御也很有前途，它提高了PTMs的魯棒性，使其對對抗攻擊免疫。

總的來說，作為許多NLP應用中的關鍵組件，PTMs的可解釋性和可靠性在很多方面還有待進一步的探索，這有助于我們理解PTMs是如何工作的，并為更好的使用和進一步的改進提供指導。

參考文獻：

Akbik et al. [2018] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In COLING, pages 1638–1649, 2018.

Alberti et al. [2019] Chris Alberti, Jeffrey Ling, Michael Collins, and David Reitter. Fusion of detected objects in text for visual question answering. In EMNLP-IJCNLP, pages 2131–2140, 2019.

Alsentzer et al. [2019] Emily Alsentzer, John R. Murphy, Willie Boag, Wei-Hung Weng, Di Jin, Tristan Naumann, and Matthew B. A. McDermott. Publicly available clinical BERT embeddings. arXiv preprint arXiv:1904.03323, 2019.

Arrieta et al. [2020] Alejandro Barredo Arrieta, Natalia Díaz-Rodríguez, Javier Del Ser, Adrien Bennetot, Siham Tabik, Alberto Barbado, Salvador García, Sergio Gil-López, Daniel Molina, Richard Benjamins, et al. Explainable artificial intelligence (xai): Concepts, taxonomies, opportunities and challenges toward responsible ai. Information Fusion, 58:82–115, 2020.

Baevski et al. [2019] Alexei Baevski, Sergey Edunov, Yinhan Liu, Luke Zettlemoyer, and Michael Auli.Cloze-driven pretraining of self-attention networks. In Kentaro Inui, Jing Jiang, Vincent Ng, and Xiaojun Wan, editors, EMNLP-IJCNLP, pages 5359–5368, 2019.