亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】預訓練模型是當下的研究熱點之一。本文對綜述了近年來與T-PTLMs相關的研究工作，涵蓋了基本概念、分類體系。

引言

基于Transformer的預訓練語言模型(T-PTLMs)在幾乎所有的自然語言處理任務中都取得了巨大的成功。這些模型的發展始于GPT和BERT。這些模型建立在Transformer、自監督學習和遷移學習的基礎上。基于轉換的PTLMs通過自監督學習從大量文本數據中學習通用語言表示，并將這些知識轉移到下游任務中。這些模型為下游任務提供了良好的背景知識，避免了對下游模型從頭開始的訓練。在這篇全面的綜述論文中，我們首先對自監督學習做一個簡要的概述。接下來，我們解釋了各種核心概念，如預訓練、預訓練方法、預訓練任務、嵌入和下游適應方法。接下來，我們介紹了 T-PTLMs的一個新分類，然后簡要概述了各種基準測試，包括內在和外在的。我們總結了與 T-PTLMs一起工作的各種有用的庫。最后，提出了進一步完善這些模型的研究方向。我們堅信，這篇全面的綜述論文將為了解 T-PTLMs的核心概念以及了解 T-PTLMs的最新動態提供很好的參考。

摘要

如GPT-1 [1]， BERT [2]， XLNet [3]， RoBERTa [4]， ELECTRA [5]， T5 [6]， ALBERT [7]，BART[8]和PEGAUSUS [9]在NLP中取得了巨大的成功，因為它們能夠從大量未標記的文本數據中學習通用語言表征，然后將這些知識轉移到下游任務中。在早期，NLP系統大多是基于規則的，后來被機器學習模型所取代。機器學習模型需要特征工程，這需要領域專業知識，也是一個耗時的過程。gpu和Word2Vec[10]和Glove[11]等更好的計算機硬件的發展，增加了深度學習模型(如CNN[12]和RNN[13]、[14])用于構建NLP系統的使用。這些深度學習模型的主要缺點是需要從頭開始訓練模型，除了單詞嵌入。從頭開始訓練模型需要大量已標記的實例，生成這些實例的代價是昂貴的。然而，我們希望模型僅使用少數標記實例就能表現良好。遷移學習[15]允許在源任務中學習的知識重用，從而在目標任務中很好地執行。在這里，目標任務應該與源任務類似。基于遷移學習的思想，計算機視覺研究人員使用ImageNet[20]，[21]等大規模標記數據集訓練了大型CNN模型[16]-[19]。這些模型學習在所有任務中都通用的圖像表示。預訓練的大型CNN模型通過包含少量特定任務層來適應下游任務，然后在目標數據集[22]上進行微調。由于預先訓練好的CNN模型為下游模型提供了良好的背景知識，他們在許多CV任務[18]，[23]中獲得了巨大的成功。

像CNN和RNN這樣的深度學習模型在建模長期上下文和學習帶有局部偏差[24]的單詞表示方面存在困難。此外，由于RNN按順序處理輸入，即逐字處理，并行計算機硬件的利用率受到限制。為了克服現有深度學習模型的這些缺陷，Vaswani等人[25]提出了一種完全基于自注意的深度學習模型，稱為Transformer。與RNN相比，自注意允許更多的并行化，并且可以很容易地建模長期上下文，因為每個令牌都關注輸入序列[25]中的所有令牌。Transformer包含編碼器和解碼器層的堆棧。在編碼器和解碼器層的幫助下，Transformer可以學習復雜的語言信息。在NLP域中生成大量標記數據是一個非常昂貴和耗時的過程。但是，很容易獲得大量未標記的文本數據。NLP研究社區對基于CNN的計算機視覺預訓練模型的成功印象深刻，已經開發了結合Transformer和自監督學習的能力的T-PTLMs。自監督學習允許Transformer基于一個或多個預訓練任務提供的偽監督進行學習。

GPT和BERT分別是第一個基于transformer 解碼器和編碼器層開發的T-PTLMs。在GPT和BERT的基礎上，提出了XLNet、RoBERTa、ELECTRA、ALBERT、T5、BART和PEGAUSUS等模型。這里XLNet, RoBERTa, ELECTRA和ALBERT是對BERT模型的改進，而T5, BART和PEGAUSUS是基于編碼器-解碼器的模型。Kaplan等人[26]表明，T-PTLMs的表現可以通過增加模型的大小來提高。這一觀察觸發了大規模T-PTLMs的發展，如GPT-3 (175B)[27]、PANGU- (200B)[28]、GShard (600B)[29]和switch - transformer (1.6T)[30]等包含數十億個參數的T-PTLMs。繼T-PTLMs在通用英語領域的成功之后，T-PTLMs也被開發用于其他領域，如金融[31]，法律[32]，[33]，新聞[34]，編程[35]-[39]，對話[40]，網絡[41]，學術[42]-[44]和生物醫學[45]-[48]。TPTLMs還支持遷移學習，因為這些模型可以通過對目標數據集進行微調或即時調整來適應下游任務。本文綜述了近年來與T-PTLMs相關的研究工作。我們將綜述總結為

• 我們將簡要介紹SSL，它是開發T-PTLMs的支柱(第2節)。

• 我們解釋了與T-PTLMs相關的各種核心概念，如預訓練、預訓練方法、預訓練任務、嵌入和下游適應方法(第3節)。

• 我們提出了一個新的分類方法來分類各種T-PTLMs。這種分類法基于四個視角，即預訓練語料庫、體系結構、SSL類型和擴展(第4節)。

• 我們提出了一種新的分類法來對各種下游適應方法進行分類，并對每一種方法進行詳細解釋(第5節)。

• 我們簡要概述了評估T-PTLMs進展的各種基準，包括內在的和外在的(第6節)。

• 我們簡要概述了各種庫，從Huggingface transformer到Transformer-interpret，這些庫對tptlm的工作很有用(第7節)。

• 我們簡要討論了一些未來的研究方向，這些方向將推動研究團體進一步改進模型(第8節)。

近年來，深度學習技術得到了快速發展。在自然語言處理（NLP）任務中，隨著文本表征技術從詞級上升到了文檔級，利用大規模語料庫進行無監督預訓練的方式已被證明能夠有效提高模型在下游任務中的性能。首先，根據文本特征提取技術的發展，從詞級和文檔級對典型的模型進行了分析；其次，從預訓練目標任務和下游應用兩個階段，分析了當前預訓練模型的研究現狀，并對代表性的模型特點進行了梳理和歸納；最后，總結了當前預訓練模型發展所面臨的主要挑戰并提出了對未來的展望。

//www.joca.cn/CN/abstract/abstract24426.shtml

摘要： 當前,以網絡數據為代表的跨媒體數據呈現爆炸式增長的趨勢,呈現出了跨模態、跨數據源的復雜關聯及動態演化特性,跨媒體分析與推理技術針對多模態信息理解、交互、內容管理等需求,通過構建跨模態、跨平臺的語義貫通與統一表征機制,進一步實現分析和推理以及對復雜認知目標的不斷逼近,建立語義層級的邏輯推理機制,最終實現跨媒體類人智能推理。文中對跨媒體分析推理技術的研究背景和發展歷史進行概述,歸納總結視覺-語言關聯等任務的關鍵技術,并對研究應用進行舉例。基于已有結論,分析目前跨媒體分析領域所面臨的關鍵問題,最后探討未來的發展趨勢。

//www.jsjkx.com/CN/10.11896/jsjkx.210200086

近年來，自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中，我們將回顧這些框架，以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中，即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響，因為它們是最近大多數最先進的架構的基礎。因此，我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例，用于評估最先進的模型的訓練前資源和基準任務/數據集。

//compstat-lmu.github.io/seminar_nlp_ss20/

在過去的幾十年里，人工智能技術的重要性和應用不斷得到關注。在當今時代，它已經與構成人類塑造環境的大部分環境密不可分。因此，商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中，我們將仔細研究自然語言處理(NLP)的現代方法。

這本小冊子詳細介紹了用于自然語言處理的現代方法，如深度學習和遷移學習。此外，本研究亦會研究可用于訓練自然語言處理任務的資源，并會展示一個將自然語言處理應用于自然語言生成的用例。

為了分析和理解人類語言，自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練，因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的，深度神經網絡。為了解決容易的任務，可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性，采用了遞歸和卷積神經網絡。因此，遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型，卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中，將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。

遷移學習是每個任務或領域的學習模型的替代選擇。在這里，可以使用相關任務或領域的現有標記數據來訓練模型，并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練，并且可以節省訓練模型的時間，同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力，它使解碼器能夠注意到整個輸入序列，或自注意，它允許一個Transformer 模型處理所有輸入單詞，并建模一個句子中所有單詞之間的關系，這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合，介紹了BERT模型、GTP2模型和XLNet模型。

為NLP建模，需要資源。為了找到任務的最佳模型，可以使用基準測試。為了在基準實驗中比較不同的模型，需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標，深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA，以及可以找到資源的預訓練模型和數據庫，如“帶代碼的論文”和“大壞的NLP數據庫”。

在小冊子的最后一章中，介紹了生成性NLP處理自然語言生成，從而在人類語言中生成可理解的文本。因此，不同的算法將被描述，聊天機器人和圖像字幕將被展示，以說明應用的可能性。

本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法，并提供了一個更詳細的討論，以及各種示例的潛力和限制。

深度學習是機器學習和人工智能研究的最新趨勢，作為一個十余年來快速發展的嶄新領域，越來越受到研究者的關注。卷積神經網絡（CNN）模型是深度學習模型中最重要的一種經典結構，其性能在近年來深度學習任務上逐步提高。由于可以自動學習樣本數據的特征表示，卷積神經網絡已經廣泛應用于圖像分類、目標檢測、語義分割以及自然語言處理等領域。首先分析了典型卷積神經網絡模型為提高其性能增加網絡深度以及寬度的模型結構，分析了采用注意力機制進一步提升模型性能的網絡結構，然后歸納分析了目前的特殊模型結構，最后總結并討論了卷積神經網絡在相關領域的應用，并對未來的研究方向進行展望。

地址： //fcst.ceaj.org/CN/abstract/abstract2521.shtml

//cea.ceaj.org/CN/abstract/abstract39198.shtml

近年來，深度學習技術被廣泛應用于各個領域，基于深度學習的預處理模型將自然語言處理帶入一個新時代。預訓練模型的目標是如何使預訓練好的模型處于良好的初始狀態，在下游任務中達到更好的性能表現。對預訓練技術及其發展歷史進行介紹，并按照模型特點劃分為基于概率統計的傳統模型和基于深度學習的新式模型進行綜述；簡要分析傳統預訓練模型的特點及局限性，重點介紹基于深度學習的預訓練模型，并針對它們在下游任務的表現進行對比評估；梳理出具有啟發意義的新式預訓練模型，簡述這些模型的改進機制以及在下游任務中取得的性能提升；總結目前預訓練的模型所面臨的問題，并對后續發展趨勢進行展望。

經典的機器學習隱含地假設訓練數據的標簽是從一個干凈的分布中采樣的，這對于真實的場景來說限制太大了。然而，基于統計學習的方法可能不能很好地訓練深度學習模型。因此，迫切需要設計標簽噪聲表示學習(LNRL)方法對帶噪聲標簽的深度模型進行魯棒訓練。為了充分了解LNRL，我們進行了綜述。我們首先從機器學習的角度闡明LNRL的形式化定義。然后，通過學習理論和實證研究的視角，找出了噪聲標簽影響深度模型性能的原因。在此基礎上，我們將不同的LNRL方法分為三個方向。在這個統一的分類法下，我們將全面討論不同類別的優缺點。更重要的是，我們總結了魯棒的LNRL的基本組件，它們可以激勵新的方向。最后，我們提出了LNRL可能的研究方向，如新數據集、實例依賴的LNRL和對抗性LNRL。最后，我們展望了LNRL之外的潛在方向，比如使用特征噪聲、偏好噪聲、領域噪聲、相似性噪聲、圖形噪聲和演示噪聲進行學習。

//arxiv.org/abs/2011.04406

標簽噪聲表示學習在學術界和工業界都非常重要。背后有兩個原因。首先，從學習范式的本質來看，深度監督學習需要大量的有良好標簽的數據，這可能需要太多的成本，尤其是對于許多初創企業來說。然而，深度無監督學習(甚至是自我監督學習)還不夠成熟，無法在復雜的現實場景中很好地發揮作用。因此，作為深度弱監督學習，標簽噪聲表示學習自然受到了廣泛的關注并成為研究的熱點。其次，從數據方面來看，許多真實的場景缺乏純粹干凈的注釋，比如金融數據、web數據和生物醫學數據。這直接激發了研究人員探索標簽噪聲表示學習。

據我們所知，確實有三篇關于標簽噪聲的綜述的工作。Frenay和Verleysen[8]專注于討論標簽噪聲統計學習，而不是標簽噪聲表示學習。盡管Algan等人[9]和Karimi等人[10]。它們都專注于帶噪聲標簽的深度學習，都只考慮圖像(或醫學圖像)的分類任務。此外，他們的調查是從應用的角度寫的，而不是討論方法。為了彌補這些缺陷，我們希望對標簽噪聲表示學習領域做出如下貢獻。

• 從機器學習的角度，我們給出了標簽噪聲表示學習(LNRL)的正式定義。這個定義不僅足夠通用，可以包含所有現有的LNRL，而且也足夠具體，可以闡明LNRL的目標是什么以及我們如何解決它。

• 與[9]、[10]相比，通過學習理論的視角，我們更深入地理解了為什么噪聲標簽會影響深度模型的性能。同時，我們報告了在噪聲標簽下的深度模型的泛化，這與我們的理論發現是一致的。

• 我們進行了大量的文獻綜述，從表示學習開始，并在一個統一的分類，在數據，目標和優化。分析了不同類別的利弊。我們還對每個類別的見解進行了總結。

• 基于上述觀察，我們總結和討論了魯棒標簽噪聲表示學習的基本組成部分。這些可以幫助啟發標簽噪聲表示學習的新方向。

• 除了標簽噪聲表示學習，我們提出了幾個有前途的未來方向，如學習噪聲特征、偏好、領域、相似性、圖和演示。我們希望他們能提供一些見解。

自然語言處理中的預訓練模型

論文：【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻

目前預訓練模型在自然語言處理領域取得了廣泛的成功。本報告的內容主要涵蓋以下4部分內容：1）預訓練模型的原理介紹，包括模型結構、學習準則、發展歷程等；2）預訓練模型的遷移方法：包括如何通過任務轉換、多步遷移、改進精調等方法來進一步提高預訓練模型在下游任務上的性能；3）預訓練模型的改進模型：包括知識嵌入模型、多模態模型、多語言模型、語言特定模型、領域特定模型和模型壓縮等；4）對預訓練模型及其未來發展趨勢進行展望。

視頻： //hub.baai.ac.cn/view/3868

自然語言處理中的預訓練模型

論文：【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻

目前預訓練模型在自然語言處理領域取得了廣泛的成功。本報告的內容主要涵蓋以下4部分內容：1）預訓練模型的原理介紹，包括模型結構、學習準則、發展歷程等；2）預訓練模型的遷移方法：包括如何通過任務轉換、多步遷移、改進精調等方法來進一步提高預訓練模型在下游任務上的性能；3）預訓練模型的改進模型：包括知識嵌入模型、多模態模型、多語言模型、語言特定模型、領域特定模型和模型壓縮等；4）對預訓練模型及其未來發展趨勢進行展望。

當前自然語言處理的一個問題是處理低資源的語言，這些語言缺乏有用的訓練屬性，如受監督的數據、母語使用者或專家的數量等。這篇綜述論文簡明地總結了過去在解決這一問題上取得的突破性成就，并分析了未來研究方向的整體背景下的潛在改進。