亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： A Survey on Transfer Learning in Natural Language Processing

摘要：

深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。

摘要

一個綜合的人工智能系統不僅需要用不同的感官(如視覺和聽覺)感知環境，還需要推斷世界的條件(甚至因果)關系和相應的不確定性。在過去的十年里，我們看到了許多感知任務的重大進展，比如視覺對象識別和使用深度學習模型的語音識別。然而，對于更高層次的推理，具有貝葉斯特性的概率圖模型仍然更加強大和靈活。近年來，貝葉斯深度學習作為一種將深度學習與貝葉斯模型緊密結合的統一的概率框架出現了。在這個總體框架中，利用深度學習對文本或圖像的感知可以提高更高層次推理的性能，推理過程的反饋也可以增強文本或圖像的感知。本文對貝葉斯深度學習進行了全面的介紹，并對其在推薦系統、主題模型、控制等方面的最新應用進行了綜述。此外，我們還討論了貝葉斯深度學習與其他相關課題如神經網絡的貝葉斯處理之間的關系和區別。

介紹

在過去的十年中，深度學習在許多流行的感知任務中取得了顯著的成功，包括視覺對象識別、文本理解和語音識別。這些任務對應于人工智能(AI)系統的看、讀、聽能力，它們無疑是人工智能有效感知環境所必不可少的。然而，要建立一個實用的、全面的人工智能系統，僅僅有感知能力是遠遠不夠的。首先，它應該具備思維能力。

一個典型的例子是醫學診斷，它遠遠超出了簡單的感知:除了看到可見的癥狀(或CT上的醫學圖像)和聽到患者的描述，醫生還必須尋找所有癥狀之間的關系，最好推斷出它們的病因。只有在那之后，醫生才能給病人提供醫療建議。在這個例子中，雖然視覺和聽覺的能力讓醫生能夠從病人那里獲得信息，但醫生的思維能力才是關鍵。具體來說，這里的思維能力包括識別條件依賴、因果推理、邏輯演繹、處理不確定性等，顯然超出了傳統深度學習方法的能力。幸運的是，另一種機器學習范式，概率圖形模型(PGM)，在概率或因果推理和處理不確定性方面表現出色。問題在于，PGM在感知任務上不如深度學習模型好，而感知任務通常涉及大規模和高維信號(如圖像和視頻)。為了解決這個問題，將深度學習和PGM統一到一個有原則的概率框架中是一個自然的選擇，在本文中我們稱之為貝葉斯深度學習(BDL)。 在上面的例子中，感知任務包括感知病人的癥狀(例如，通過看到醫學圖像)，而推理任務包括處理條件依賴性、因果推理、邏輯推理和不確定性。通過貝葉斯深度學習中有原則的整合，將感知任務和推理任務視為一個整體，可以相互借鑒。具體來說，能夠看到醫學圖像有助于醫生的診斷和推斷。另一方面，診斷和推斷反過來有助于理解醫學圖像。假設醫生可能不確定醫學圖像中的黑點是什么，但如果她能夠推斷出癥狀和疾病的病因，就可以幫助她更好地判斷黑點是不是腫瘤。 再以推薦系統為例。一個高精度的推薦系統需要(1)深入了解條目內容(如文檔和電影中的內容)，(2)仔細分析用戶檔案/偏好，(3)正確評價用戶之間的相似度。深度學習的能力有效地處理密集的高維數據,如電影內容擅長第一子任務,而PGM專攻建模條件用戶之間的依賴關系,項目和評分(參見圖7為例,u, v,和R是用戶潛在的向量,項目潛在的向量,和評級,分別)擅長其他兩個。因此，將兩者統一在一個統一的概率原則框架中，可以使我們在兩個世界中都得到最好的結果。這種集成還帶來了額外的好處，可以優雅地處理推薦過程中的不確定性。更重要的是，我們還可以推導出具體模型的貝葉斯處理方法，從而得到更具有魯棒性的預測。

作為第三個例子，考慮根據從攝像機接收到的實時視頻流來控制一個復雜的動態系統。該問題可以轉化為迭代執行兩項任務:對原始圖像的感知和基于動態模型的控制。處理原始圖像的感知任務可以通過深度學習來處理，而控制任務通常需要更復雜的模型，如隱馬爾科夫模型和卡爾曼濾波器。由控制模型選擇的動作可以依次影響接收的視頻流，從而完成反饋回路。為了在感知任務和控制任務之間實現有效的迭代過程，我們需要信息在它們之間來回流動。感知組件將是控制組件估計其狀態的基礎，而帶有動態模型的控制組件將能夠預測未來的軌跡(圖像)。因此，貝葉斯深度學習是解決這一問題的合適選擇。值得注意的是，與推薦系統的例子類似，來自原始圖像的噪聲和控制過程中的不確定性都可以在這樣的概率框架下自然地處理。 以上例子說明了BDL作為一種統一深度學習和PGM的原則方式的主要優勢:感知任務與推理任務之間的信息交換、對高維數據的條件依賴以及對不確定性的有效建模。關于不確定性，值得注意的是，當BDL應用于復雜任務時，需要考慮三種參數不確定性：

1. 神經網絡參數的不確定性。
2. 指定任務參數的不確定性。
3. 感知組件和指定任務組件之間信息交換的不確定性。

通過使用分布代替點估計來表示未知參數，BDL提供了一個很有前途的框架，以統一的方式處理這三種不確定性。值得注意的是，第三種不確定性只能在BDL這樣的統一框架下處理;分別訓練感知部分和任務特定部分相當于假設它們之間交換信息時沒有不確定性。注意，神經網絡通常是過參數化的，因此在有效處理如此大的參數空間中的不確定性時提出了額外的挑戰。另一方面，圖形模型往往更簡潔，參數空間更小，提供了更好的可解釋性。

除了上述優點之外，BDL內建的隱式正則化還帶來了另一個好處。通過在隱藏單元、定義神經網絡的參數或指定條件依賴性的模型參數上施加先驗，BDL可以在一定程度上避免過擬合，尤其是在數據不足的情況下。通常，BDL模型由兩個組件組成，一個是感知組件，它是某種類型神經網絡的貝葉斯公式，另一個是任務特定組件，使用PGM描述不同隱藏或觀察變量之間的關系。正則化對它們都很重要。神經網絡通常過度參數化，因此需要適當地正則化。正則化技術如權值衰減和丟失被證明是有效地改善神經網絡的性能，他們都有貝葉斯解釋。在任務特定組件方面，專家知識或先驗信息作為一種正規化，可以在數據缺乏時通過施加先驗來指導模型。 在將BDL應用于實際任務時，也存在一些挑戰。(1)首先，設計一個具有合理時間復雜度的高效的神經網絡貝葉斯公式并非易事。這一行是由[42,72,80]開創的，但是由于缺乏可伸縮性，它沒有被廣泛采用。幸運的是，這個方向的一些最新進展似乎為貝葉斯神經網絡的實際應用提供了一些啟示。(2)第二個挑戰是如何確保感知組件和任務特定組件之間有效的信息交換。理想情況下，一階和二階信息(例如，平均值和方差)應該能夠在兩個組件之間來回流動。一種自然的方法是將感知組件表示為PGM，并將其與特定任務的PGM無縫連接，如[24,118,121]中所做的那樣。 本綜述提供了對BDL的全面概述，以及各種應用程序的具體模型。綜述的其余部分組織如下:在第2節中，我們將回顧一些基本的深度學習模型。第3節介紹PGM的主要概念和技術。這兩部分作為BDL的基礎，下一節第4節將演示統一BDL框架的基本原理，并詳細說明實現其感知組件和特定于任務的組件的各種選擇。第5節回顧了應用于不同領域的BDL模型，如推薦系統、主題模型和控制，分別展示了BDL在監督學習、非監督學習和一般表示學習中的工作方式。第6部分討論了未來的研究問題，并對全文進行了總結。

結論和未來工作

BDL致力于將PGM和NN的優點有機地整合在一個原則概率框架中。在這項綜述中，我們確定了這種趨勢，并回顧了最近的工作。BDL模型由感知組件和任務特定組件組成；因此，我們分別描述了過去幾年開發的兩個組件的不同實例，并詳細討論了不同的變體。為了學習BDL中的參數，人們提出了從塊坐標下降、貝葉斯條件密度濾波、隨機梯度恒溫器到隨機梯度變分貝葉斯等多種類型的算法。 BDL從PGM的成功和最近在深度學習方面有前景的進展中獲得了靈感和人氣。由于許多現實世界的任務既涉及高維信號(如圖像和視頻)的有效感知，又涉及隨機變量的概率推理，因此BDL成為利用神經網絡的感知能力和PGM的(條件和因果)推理能力的自然選擇。在過去的幾年中，BDL在推薦系統、主題模型、隨機最優控制、計算機視覺、自然語言處理、醫療保健等各個領域都有成功的應用。在未來，我們不僅可以對現有的應用進行更深入的研究，還可以對更復雜的任務進行探索。此外，最近在高效BNN (BDL的感知組件)方面的進展也為進一步提高BDL的可擴展性奠定了基礎。

本文綜述了元學習在圖像分類、自然語言處理和機器人技術等領域的應用。與深度學習不同，元學習使用較少的樣本數據集，并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類: 黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合，以提供可行的集成問題解決方案。介紹了元學習方法的性能比較，并討論了今后的研究方向。

主題： Modern Deep Learning Techniques Applied to Natural Language Processing

簡要介紹： 該文章概述了基于深度學習的自然語言處理（NLP）的最新趨勢。 它涵蓋了深度學習模型（例如遞歸神經網絡（RNN），卷積神經網絡（CNN）和強化學習）背后的理論描述和實現細節，用于解決各種NLP任務和應用。 概述還包含NLP任務（例如機器翻譯，問題解答和對話系統）的最新結果摘要。

【簡介】自然語言處理(NLP)能夠幫助智能型機器更好地理解人類的語言，實現基于語言的人機交流。目前隨著計算能力的發展和大量語言數據的出現，推動了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域取得了顯著的進步，數據驅動策略的應用已經非常的普遍。本綜述對NLP領域中所應用的深度學習進行了分類和討論。它涵蓋了NLP的核心任務和應用領域，并對深度學習方法如何推進這些領域的發展進行了細致的描述。最后我們進一步分析和比較了不同的方法和目前最先進的模型。

原文連接：//arxiv.org/abs/2003.01200

介紹

自然語言處理（NLP）是計算機科學的一個分支，能夠為自然語言和計算機之間提高溝通的橋梁。它幫助機器理解、處理和分析人類語言。NLP通過深入地理解數據的上下文，使得數據變得更有意義，這反過來又促進了文本分析和數據挖掘。NLP通過人類的通信結構和通信模式來實現這一點。這篇綜述涵蓋了深度學習在NLP領域中所扮演的新角色以及各種應用。我們的研究主要集中在架構上，很少討論具體的應用程序。另一方面，本文描述了將深度學習應用于NLP問題中時所面臨的挑戰、機遇以及效果評估方式。

章節目錄

section 2: 在理論層面介紹了NLP和人工智能，并將深度學習視為解決現實問題的一種方法。

section 3:討論理解NLP所必需的基本概念，包括各種表示法、模型框架和機器學習中的示例性問題。

section 4:總結了應用在NLP領域中的基準數據集。

section 5:重點介紹一些已經被證明在NLP任務中有顯著效果的深度學習方法。

section 6:進行總結，同時解決了一些開放的問題和有希望改善的領域。

自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。計算能力的最新發展和大量語言數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本調查對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們進一步分析和比較不同的方法和最先進的模型。

簡介： 人們在閱讀文章時，可以識別關鍵思想，作出總結，并建立文章中的聯系以及對其他需要理解的內容等方面都做得很出色。深度學習的最新進展使計算機系統可以實現類似的功能。用于自然語言處理的深度學習可教您將深度學習方法應用于自然語言處理（NLP），以有效地解釋和使用文章。在這本書中，NLP專家Stephan Raaijmakers提煉了他對這個快速發展的領域中最新技術發展的研究。通過詳細的說明和豐富的代碼示例，您將探索最具挑戰性的NLP問題，并學習如何通過深度學習解決它們！

自然語言處理是教計算機解釋和處理人類語言的科學。最近，隨著深度學習的應用，NLP技術已躍升至令人興奮的新水平。這些突破包括模式識別，從上下文中進行推斷以及確定情感語調，從根本上改善了現代日常便利性，例如網絡搜索，以及與語音助手的交互。他們也在改變商業世界！

目錄：

• NLP和深度學習概述
• 文本表示
• 詞嵌入
• 文本相似性模型
• 序列NLP
• 語義角色標簽
• 基于深度記憶的NLP
• 語言結構
• 深度NLP的超參數

1深度NLP學習

• 1.1概述
• 1.2面向NLP的機器學習方法
• 1.2.1感知機
• 1.2.2 支持向量機
• 1.2.3基于記憶的學習
• 1.3深度學習
• 1.4語言的向量表示
• 1.4.1表示向量
• 1.4.2運算向量
• 1.5工具
• 1.5.1哈希技巧
• 1.5.2向量歸一化
• 1.6總結

2 深度學習和語言：基礎知識

• 2.1深度學習的基本構架
• 2.1.1多層感知機
• 2.1.2基本運算符：空間和時間
• 2.2深度學習和NLP
• 2.3總結

3文字嵌入

• 3.1嵌入
• 3.1.1手工嵌入
• 3.1.2學習嵌入
• 3.2word2vec
• 3.3doc2vec
• 3.4總結

4文字相似度

• 4.1問題
• 4.2數據
• 4.2.1作者歸屬和驗證數據
• 4.3數據表示
• 4.3.1分割文件
• 4.3.2字的信息
• 4.3.3子字集信息
• 4.4相似度測量模型
• 4.5.1多層感知機
• 4.5.2CNN
• 4.6總結

5序列NLP和記憶

• 5.1記憶和語言
• 5.1.1問答
• 5.2數據和數據處理
• 5.3序列模型的問答
• 5.3.1用于問答的RNN
• 5.3.2用于問答的LSTM
• 5.3.3問答的端到端存儲網絡
• 5.4總結

6NLP的6種情景記憶

• 6.1序列NLP的記憶網絡
• 6.2數據與數據處理
• 6.2.1PP附件數據
• 6.2.2荷蘭小數據
• 6.2.3西班牙語詞性數據
• 6.3監督存儲網絡
• 6.3.1PP連接
• 6.3.2荷蘭小商品
• 6.3.3西班牙語詞性標記
• 6.4半監督存儲網絡
• 6.5半監督存儲網絡：實驗和結果
• 6.6小結
• 6.7代碼和數據

7注意力機制

• 7.1神經注意力機制
• 7.2數據
• 7.3靜態注意力機制：MLP
• 7.4暫態注意力機制：LSTM
• 7.4.1實驗
• 7.5小結

8多任務學習

• 8.1簡介
• 8.2數據
• 8.3.1數據處理
• 8.3.2硬參數共享
• 8.3.3軟參數共享
• 8.3.4混合參數共享
• 8.4主題分類
• 8.4.1數據處理
• 8.4.2硬參數共享
• 8.4.3軟參數共享
• 8.4.4混合參數共享
• 8.5詞性和命名實體識別數據
• 8.5.1數據處理
• 8.5.2硬參數共享
• 8.5.3軟參數共享
• 8.5.4混合參數共享
• 8.6結論

附錄

附錄A：NLP

附錄B：矩陣代數

附錄C：超參數估計和分類器性能評估

鄧力博士及劉洋博士等人合著的 Deep Learning in Natural Language Processing 一書系統介紹深度學習在 NLP 常見問題中的應用，而且是目前對此方面研究最新、最全面的綜述。 本書還對 NLP 未來發展的研究方向進行了探討，包括神經符號整合框架、基于記憶的模型、先驗知識融合以及深度學習范式（如無監督學習、生成式學習、多模學習、多任務學習和元學習等）。

在過去的幾年里，自然語言處理領域由于深度學習模型的大量使用而得到了發展。這份綜述提供了一個NLP領域的簡要介紹和一個快速的深度學習架構和方法的概述。然后，篩選了大量最近的研究論文，并總結了大量相關的貢獻。NLP研究領域除了計算語言學的一些應用外，還包括幾個核心的語言處理問題。然后討論了目前的技術水平，并對該領域今后的研究提出了建議。