亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大型的、預訓練的基于Transformer的語言模型，如BERT，已經極大地改變了自然語言處理(NLP)領域。我們對最近的研究進行了調研，這些研究使用了大型語言模型來解決NLP任務，通過預訓練、微調、提示或文本生成方法。我們還提出了使用預訓練語言模型生成數據的方法，用于訓練增強或其他目的。最后，我們討論了局限性，并提出了未來研究的方向。

引言

近年來，大型預訓練的基于Transformer的語言模型(PLMs)，如BERT (Devlin et al.， 2019)和GPT (Radford et al.， 2018)系列模型席卷了自然語言處理(NLP)，在許多任務中實現了最先進的性能。

這些大型PLM推動了NLP的范式轉變。以分類任務p(y|x)(將文本輸入x分類為標簽y)為例:傳統統計NLP方法通常設計手工特征來表示x，然后應用機器學習模型(如SVM (Cortes and Vapnik, 1995)、邏輯回歸)來學習分類函數。深度學習模型通過深度神經網絡(LeCun et al.， 2015)。注意，每個新的NLP任務都需要重新學習潛在特征表示，而且在許多情況下，訓練數據的大小限制了潛在特征表示的質量。考慮到語言的細微差別對所有NLP任務來說都是共同的，我們可以假設我們可以從一些通用任務中學習一個通用的潛在特征表示，然后在所有NLP任務中共享它。語言建模需要學習如何在給定前一個單詞的情況下預測下一個單詞，這是一項具有大量自然出現的文本的通用任務，可以預訓練這樣一個模型(因此得名預訓練語言模型)。事實上，最新的、正在進行的范式轉換從引入PLMs開始: 對于大量的NLP任務，研究人員現在來利用現有的PLMs通過對感興趣的任務進行微調，提示PLMs執行期望的任務，或者將任務重新構造為文本生成問題，并應用PLMs來解決相應的問題。這三種基于PLM的范式的進步不斷地建立了新的最先進的性能。

本文調研了最近利用PLM進行NLP的工作。我們將這些工作組織成以下三種范式:

• 先進行預訓練，然后進行微調(§2): 先對大量未標記語料庫進行通用預訓練，然后對感興趣的任務進行少量的任務特定微調。

• 基于提示的學習(§3):提示一個PLM，這樣解決NLP任務就會減少到類似于PLM的訓練前任務(如預測一個遺漏的單詞)，或一個更簡單的代理任務(如文本包含)。提示通常可以更有效地利用PLM中編碼的知識，從而產生“少樣本”的方法。

• NLP作為文本生成(§4): 將NLP任務重新定義為文本生成，以充分利用生成語言模型(如GPT-2 (Radford et al.， 2019)和T5 (Raffel et al.， 2020)中編碼的知識。

• 生成式PLMs也可以用于文本生成任務。我們向讀者推薦關于文本生成的優秀調研，如Li et al. (2021b) 和Yu et al. (2021b)。除非另有說明，本文主要關注非生成性任務(如分類、序列標注和結構預測)，這些任務仍然涵蓋廣泛的NLP任務，包括文本的語法或語義解析、信息抽取(IE)、問答(QA)、文本蘊涵(TE)、情感分析、等等。除了這三種范式之外，還有另一種互補的方法:間接使用上述任何一種PLM范式來改善目標NLP任務的結果:

• 數據生成(§5): 運行PLM自動生成NLP任務的數據。生成的數據可以是銀色標記的數據，通常生成的PLM是針對任務進行微調的，或者是一些輔助數據，如反例、澄清、上下文或其他。在第一種情況下，銀色標記數據可以添加到現有的標記數據中。在第二種情況下，輔助數據以某種方式支持目標任務。

論文組織如下: 第2節提供了PLM的背景，并描述了第一種范式，即預訓練然后微調。第三節討論第二種范式，即基于提示的學習。第4節總結了第三種范式，即作為文本生成的NLP。在第5節中，我們將描述通過PLM為廣泛的NLP任務生成數據的方法。我們將在第6節討論局限性并提供未來研究的方向，并在第7節進行總結。

范式1: 先訓練，然后微調

傳統統計NLP的工作重點是在標記數據集上訓練特定任務的模型，而這種模式轉變為在一個共享的、“基本”的預訓練任務上訓練一個大型模型，然后在第二步中將其調整(“微調”)到各種任務。預訓練任務幾乎總是一種語言建模任務，它可以利用大量的未標記數據來學習有利于一系列NLP任務的表示(Rogers et al., 2020)。在本節中，我們首先提供關于預訓練的大型語言模型(PLMs)的入門知識，然后描述使用凍結或微調PLM進行NLP任務的方法。

范式2: 基于提示的學習

我們使用提示指的是在輸入或輸出中添加自然語言文本(通常是短語)的做法，以鼓勵預訓練的模型執行特定任務(Yuan et al.， 2021)。使用提示符有幾個優點。提示，特別是上下文學習(例如Brown et al.， 2020)，可能不需要更新PLM的參數，與微調方法相比，或在2.4.4中描述的基礎上，減少了計算需求。提示還能促使新任務的制定與預訓練的目標更好地結合，從而更好地利用預訓練獲得的知識。更緊密的匹配還支持少樣本方法(Liu et al.， 2021b)，特別是對于具有小訓練數據集的任務;一個好的提示可以值幾百個標簽數據點(Le Scao and Rush, 2021)。最后，提示允許以一種不受監督的方式探索PLM，以評估PLM對特定任務所獲得的知識(如Petroni et al.， 2019)。

下面我們討論三種基于提示的學習方法:從指令和演示中學習、基于模板的學習和從代理任務中學習。圖3顯示了這三種方法的說明。

范式3 NLP即文本生成

基于生成式Transformer的PLMs10(如GPT、BART和T5)的成功，最近激發了人們對利用生成式PLM解決各種非生成式NLP任務的興趣。這些任務包括但不限于傳統的判別任務，如分類和結構預測。例如，圖4說明了Raffel等人(2020)所描述的這種“文本到文本”方法。與傳統的NLP任務判別模型不同，這些任務被重新表述為文本生成問題，從而可以直接用生成式PLM解決。生成的輸出序列通常包括給定任務所需的標簽或其他輔助信息，從而能夠準確地重構預期的類標簽(即避免映射中的歧義)，并促進生成/解碼過程(即為預測提供足夠的上下文)。

總結

在這篇文章中，我們介紹了三種使用預訓練語言模型進行自然語言處理的趨勢。我們對每一種方法都進行了深入的描述，并對其應用前景進行了總結。此外，我們還描述了使用預先訓練過的語言模型來自動生成用于提高NLP任務性能的數據。我們希望這一調研將為讀者提供關鍵的基本概念和對范式轉變的全面看法。

由于其在非歐幾里德數據(如圖或流形)建模方面的強大能力，圖的深度學習技術(即圖神經網絡(GNNs))為解決具有挑戰性的圖相關NLP問題打開了一扇新的大門。將深度學習技術應用于自然語言處理的研究興趣大增，并在許多自然語言處理任務中取得了相當大的成功，包括句子分類、語義角色標注和關系抽取等分類任務，以及機器翻譯、問題生成和摘要等生成任務。盡管取得了這些成功，但面向NLP的圖深度學習仍然面臨許多挑戰，包括自動將原始文本序列數據轉換為高度圖結構的數據，以及有效地建模復雜數據，這些數據涉及基于圖的輸入和其他高度結構的輸出數據(如序列、樹、樹)之間的映射。以及節點和邊中都有多種類型的圖數據。本教程將涵蓋在圖形技術上應用深度學習的相關和有趣的主題，包括用于NLP的自動圖形構建、用于NLP的圖形表示學習、用于NLP的基于高級GNN模型(例如，graph2seq、graph2tree和graph2graph)，以及GNN在各種NLP任務中的應用(例如，機器翻譯、自然語言生成、信息提取和語義解析)。此外，還將包括動手演示會議，以幫助觀眾獲得使用我們最近開發的開源庫Graph4NLP應用gnn解決具有挑戰性的NLP問題的實踐經驗。Graph4NLP是第一個為研究人員和實踐者方便地使用GNN完成各種NLP任務的庫。

//github.com/dlg4nlp/dlg4nlp.github.io

摘要

對話系統是一個流行的自然語言處理(NLP)任務，因為它在現實生活中應用前景廣闊。這也是一個復雜的任務，因為涉及到許多需要研究的自然語言處理任務。因此，關于深度學習的對話系統研究的大量工作開展了。在這個綜述中，我們主要關注基于深度學習的對話系統。我們全面回顧了對話系統的研究成果，并從模型類型和系統類型兩個角度對其進行了分析。具體地，從模型類型的角度，討論了對話系統中廣泛應用的各種模型的原理、特點和應用。這將幫助研究人員了解這些模型，并了解它們如何應用于最先進的框架中，這在設計一個新的對話系統時非常有幫助。從系統類型的角度，討論了任務導向對話系統和開放領域對話系統這兩個研究方向，并對相關的熱點問題進行了深入的探討。此外，我們還對對話系統的評價方法和數據集進行了全面的綜述，為未來的研究鋪平了道路。最后，根據最近的研究成果，確定了一些可能的研究趨勢。據我們所知，這個綜述是目前對話系統和對話相關任務領域中最全面和最新的，廣泛覆蓋了流行的框架、主題和數據集。

//www.zhuanzhi.ai/paper/a34ced4ac06f1af10dea73064600db50

引言

對話系統(或聊天機器人)正在世界上發揮更大的作用。人們可能仍然有一種刻板印象，即聊天機器人是那些給銀行打電話時死板的代理。然而，由于人工智能的復興，現代聊天機器人可以談論豐富的話題，從你的生日派對到拜登的演講，如果你愿意，它們甚至可以為你預訂聚會地點或播放演講視頻。對話系統是目前自然語言處理領域的熱點之一，在工業和日常生活中都有很高的要求。聊天機器人的市場規模預計將從2021年的26億美元增長到2024年的94億美元，復合年增長率(CAGR)為29.7%。預計到2021年底，80%的企業將配備聊天機器人自動化。

對話系統可以與人聊天，也可以作為對話的助手。根據其應用，對話系統通常分為兩類:面向任務的對話系統和開放域對話系統。面向任務的對話系統解決了特定領域的特定問題，如電影票預訂、餐廳餐桌預訂等。傳統的任務導向對話系統采用流水線結構，由四個功能模塊組成: 自然語言理解、對話狀態跟蹤、策略學習和自然語言生成，這將在第三節詳細討論。許多最先進的作品設計端到端面向任務的對話系統，以實現比流水線方法更好的優化。開放域對話系統的目標是在沒有任務和域限制的情況下與用戶聊天，而不是專注于任務完成(Ritter et al.， 2011)，這通常是完全數據驅動的。開放域對話系統一般分為三類: 生成式系統、基于檢索的系統和集成系統。生成系統運用序列到序列模型將用戶消息和對話歷史映射到一個可能不會出現在訓練語料庫中的響應序列。相比之下，基于檢索的系統嘗試從某個回復應集中選擇已存在的回復。集成系統通過兩種方式將生成法和基于檢索的方法相結合: 將檢索到的響應與生成的響應進行比較，從中選擇最優的回復; 生成模型還可以用于提煉檢索到的回復(Zhu et al., 2018; Song et al., 2016; Qiu et al., 2017; Serban et al., 2017b)。生成系統可以產生靈活的、對話的、與上下文相關的回復，但有時它們缺乏連貫性，傾向于做出枯燥的回應。基于檢索的系統從人的回復集中選擇回復，從而能夠獲得更好的表層語言的連貫性。然而，檢索系統受限于響應集的有限性，有時檢索到的回復與對話上下文的相關性較弱(Zhu et al.， 2018)。

對于對話系統，現有的綜述論文(Arora et al., 2013; Wang and Yuan, 2016; Mallios and Bourbakis, 2016; Chen et al., 2017a; Gao et al., 2018)要么過時，要么不全面。這些論文中的一些定義目前已經不再使用，很多新的著作和話題沒有涉及到。此外，它們大多缺乏多角度的分析。因此，在本綜述中，我們全面回顧了近年來基于深度學習方法的高質量研究，并從模型角度和系統角度提供了對最新研究的見解。此外，本綜述根據最新的研究成果更新了定義，并廣泛覆蓋了對話系統中的各種熱點問題。

傳統的對話系統大多是基于有限狀態(Arora et al.， 2013)、基于統計學習和基于機器學習的系統。基于有限狀態的系統易于實現，并且能夠自然地響應，這使得它們在早期的行業產品中很受歡迎。但是，這些系統的對話流是預先確定的，這使對話系統的應用程序保持在特定的場景中。基于統計學習和基于機器學習的系統通常執行模板填充來管理某些任務。與基于有限狀態的系統相比，這些系統更加靈活，因為對話流不是預先確定的。但是，由于模板固定，在模板填寫方面F1分數不高，在應用場景和響應多樣性方面也受到限制。大多數最先進的對話系統都是基于深度學習的系統。深度學習的快速增長提高了對話系統的性能(Chen et al.， 2017a)。深度學習可以被看作是多層神經網絡的表示學習。深度學習體系結構廣泛應用于對話系統及其子任務。第2節討論了各種流行的深度學習架構。

從對話系統出發，NLP也有很多與對話相關的任務，包括但不限于問答、閱讀理解、對話解纏、視覺對話、視覺問答、對話推理、對話語義解析、對話關系提取、對話情感分析、仇恨言語檢測，MISC檢測等。在這個調查中，我們還談到了一些處理這些對話相關任務的工作，因為對話系統的設計可以從這些相關領域的進展中受益。

我們為這篇長文章制作了一個圖，以幫助讀者熟悉整體結構(圖1)。在這個綜述中，第一部分簡要介紹了對話系統和深度學習;第二節討論了現代對話系統中流行的神經模型及其相關工作;第三部分介紹了任務導向對話系統的原理和相關工作，并討論了當前的研究挑戰和熱點問題;第4節簡要介紹了這三種系統，并重點介紹了開放域對話系統的研究熱點;第5節回顧了對話系統的主要評價方法;第6節全面總結了對話系統常用的數據集;最后，第七部分對全文進行了總結，并提出了一些研究趨勢。

知識圖譜補全是一類重要的問題。近年來基于圖神經網絡的知識圖譜表示得到了很多關注。這邊綜述論文總結了圖神經網絡知識圖譜補全的工作，值得查看！

摘要：知識圖譜在諸如回答問題和信息檢索等各種下游任務中越來越流行。然而，知識圖譜往往不完備，從而導致性能不佳。因此，人們對知識庫補全的任務很感興趣。最近，圖神經網絡被用來捕獲固有地存儲在這些知識圖譜中的結構信息，并被證明可以跨各種數據集實現SOTA性能。在這次綜述中，我們了解所提出的方法的各種優勢和弱點，并試圖在這一領域發現新的令人興奮的研究問題，需要進一步的調研。

知識庫是以關系三元組形式的事實信息的集合。每個關系三元組可以表示為(e1,r,e2)，其中e1和e2是知識庫中的實體，r是e1和e2之間的關系。最受歡迎的知識庫表示方式是多關系圖,每個三元組(r e1, e2)是表示為有向邊從e1, e2與標簽r。知識圖譜被用于各種下游任務。

然而，由于知識庫是從文本中自動挖掘來填充的，它們通常是不完整的，因為不可能手動編寫所有事實，而且在提取過程中經常會出現不準確的情況。這種不準確性會導致各種下游任務的性能下降。因此，大量工作開發一種有效的工具來完成知識庫(KBs)方面，它可以在不需要額外知識的情況下自動添加新的事實。這個任務被稱為知識庫補全(或鏈接預測)，其目標是解決諸如(e1,r，?)這樣的查詢。

第一種實現高效知識庫補全的方法是像TransE (Bordes et al.(2013))和TransH (Wang et al.(2014))這樣的加法模型，其中關系被解釋為隱藏實體表示的簡單翻譯。然后觀察到，諸如Distmult (Yang et al.(2015))和Complex (Trouillon et al.(2016))等乘法模型優于這些簡單的相加模型。與平移不同，旋轉(Sun等人(2019a))將關系定義為簡單的旋轉，這樣頭部實體就可以在復雜的嵌入空間中旋轉來匹配尾部實體，這已經被證明滿足了很多有用的語義屬性，比如關系的組合性。最近，引入了表達性更強的基于神經網絡的方法(如ConvE (Dettmers等人(2018))和ConvKB(Nguyen等人(2018))，其中評分函數與模型一起學習。然而，所有這些模型都獨立地處理每個三元組。因此，這些方法不能捕獲語義豐富的鄰域，從而產生低質量的嵌入。

圖已被廣泛用于可視化真實世界的數據。在將ML技術應用于圖像和文本方面已經取得了巨大進展，其中一些已成功應用于圖形(如Kipf和Welling(2017)、Hamilton等人(2017)、Velickovic等人(2018)。基于該方法的啟發，許多基于圖神經網絡的方法被提出用于KBC任務中獲取知識圖的鄰域。在這次調查中，我們的目的是研究這些工作。

命名實體識別(NER)的任務是識別提到命名實體的文本范圍，并將它們分類為預定義的類別，如人員、位置、組織等。NER是各種自然語言應用的基礎，如問題回答、文本摘要和機器翻譯。雖然早期的NER系統能夠成功地產生相當高的識別精度，但它們通常需要大量的人力來精心設計規則或特征。近年來，基于連續實值向量表示和通過非線性處理的語義組合的深度學習被應用到NER系統中，產生了最先進的性能。在這篇論文中，我們對現有的深度學習技術進行了全面的回顧。我們首先介紹NER資源，包括標記的NER語料庫和現成的NER工具。然后，我們根據一個分類法沿著三個軸對現有的作品進行了系統的分類:輸入的分布式表示、上下文編碼器和標記解碼器。接下來，我們調查了最近在新的NER問題設置和應用中應用深度學習技術的最有代表性的方法。最后，我們向讀者介紹NER系統所面臨的挑戰，并概述該領域的未來發展方向。

論文摘要：

圖無處不在，從引文和社交網絡到知識圖譜(KGs)。它們是最富表現力的數據結構之一，已被用于建模各種問題。知識圖譜是圖中事實的結構化表示，其中節點表示實體，邊表示實體之間的關系。最近的研究已經開發出幾種大型知識圖譜;例如DBpedia、YAGO、NELL和Freebase。然而，它們都是稀疏的，每個實體只有很少的事實。例如，每個實體只包含1.34個事實。在論文的第一部分，我們提出了緩解這一問題的三個解決方案:(1)KG規范化，即(2)關聯提取，它涉及到從非結構化文本中提取實體之間的語義關系的自動化過程;(3)鏈接預測，它包括基于KG中的已知事實推斷缺失的事實。KG的規范化,我們建議CESI(規范化使用嵌入和邊信息),一個新穎的方法執行規范化學習嵌入開放KG。KG嵌入的方法擴展了最新進展將相關NP和關系詞信息原則的方式。對于關系提取，我們提出了一種遠程監督神經關系提取方法，該方法利用KGs中的附加邊信息來改進關系提取。最后，對于鏈路預測，我們提出了擴展ConvE的InteractE，這是一種基于卷積神經網絡的鏈路預測方法，通過三個關鍵思想:特征置換、新穎的特征重塑和循環卷積來增加特征交互的次數。通過對多個數據集的大量實驗，驗證了所提方法的有效性。

傳統的神經網絡如卷積網絡和遞歸神經網絡在處理歐幾里得數據時受到限制。然而，在自然語言處理(NLP)中圖形是很突出的。最近，圖卷積網絡(Graph Convolutional Networks, GCNs)被提出來解決這一缺點，并成功地應用于多個問題。在論文的第二部分，我們利用GCNs來解決文檔時間戳問題，它是文檔檢索和摘要等任務的重要組成部分。

為此，我們提出利用GCNs聯合開發文檔語法和時態圖結構的NeuralDater，以獲得該問題的最新性能。提出了一種靈活的基于圖卷積的詞嵌入學習方法——SynGCN，該方法利用詞的依賴上下文而不是線性上下文來學習更有意義的詞嵌入。在論文的第三部分，我們討論了現有GCN模型的兩個局限性，即(1)標準的鄰域聚合方案對影響目標節點表示的節點數量沒有限制。這導致了中心節點的噪聲表示，中心節點在幾個躍點中幾乎覆蓋了整個圖。為了解決這個缺點，我們提出了ConfGCN(基于信任的GCN)，它通過估計信任來確定聚合過程中一個節點對另一個節點的重要性，從而限制其影響鄰居。(2)現有的GCN模型大多局限于處理無向圖。然而，更一般和更普遍的一類圖是關系圖，其中每條邊都有與之關聯的標簽和方向。現有的處理此類圖的方法存在參數過多的問題，并且僅限于學習節點的表示。我們提出了一種新的圖卷積框架CompGCN，它將實體和關系共同嵌入到一個關系圖中。CompGCN是參數有效的，并且可以根據關系的數量進行擴展。它利用了來自KG嵌入技術的各種實體-關系組合操作，并在節點分類、鏈接預測和圖分類任務上取得了明顯的優勢結果。