亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： A Survey on Transfer Learning in Natural Language Processing

摘要：

深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。

題目

NLP注意力機制綜述論文翻譯，Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing

關鍵詞

注意力機制，自然語言處理，深度學習，人工智能

簡介

注意力是一種廣泛用于神經體系結構的越來越流行的機制。由于該領域的快速發展，仍然缺少對注意力的系統概述。 在本文中，我們為自然語言處理的注意力體系結構定義了一個統一的模型，重點是旨在與文本數據的矢量表示一起工作的體系結構。 我們討論了提案不同的方面，注意力的可能用途，并繪制了該領域的主要研究活動和公開挑戰。

作者

Andrea Galassi

[email protected]

Department of Computer Science and Engineering (DISI),

University of Bologna, Bologna, Italy ；

Marco Lippi

[email protected]

Department of Sciences and Methods for Engineering (DISMI),

University of Modena and Reggio Emilia, Reggio Emilia, Italy ；

Paolo Torroni

[email protected]

Department of Computer Science and Engineering (DISI),

University of Bologna, Bologna, Italy

題目： Attention Models in Graphs: A Survey

摘要： 圖結構數據自然地出現在許多不同的應用領域。通過將數據表示為圖形，我們可以捕獲實體（即節點）以及它們之間的關系（即邊）。許多有用的見解可以從圖形結構的數據中得到，這一點已被越來越多的關注于圖形挖掘的工作所證明。然而，在現實世界中，圖可以是大的-有許多復雜的模式-和噪聲，這可能會給有效的圖挖掘帶來問題。解決這一問題的一個有效方法是將“注意力”融入到圖挖掘解決方案中。注意機制允許一個方法關注圖中與任務相關的部分，幫助它做出更好的決策。在這項工作中，我們對圖形注意模型這一新興領域的文獻進行了全面而集中的調查。我們介紹了三個直觀的分類組現有的工作。它們基于問題設置（輸入和輸出類型）、使用的注意機制類型和任務（例如，圖形分類、鏈接預測等）。我們通過詳細的例子來激勵我們的分類法，并使用每種方法從一個獨特的角度來調查競爭方法。最后，我們強調了該領域的幾個挑戰，并討論了未來工作的前景。

作者簡介： Ryan A. Rossi，目前在Adobe Research工作，研究領域是機器學習；涉及社會和物理現象中的大型復雜關系（網絡/圖形）數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。

Nesreen K. Ahmed，英特爾實驗室的高級研究員。她在普渡大學計算機科學系獲得博士學位，在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘，涵蓋了大規模圖挖掘、統計機器學習的理論和算法，以及它們在社會和信息網絡中的應用。

鄧力博士及劉洋博士等人合著的 Deep Learning in Natural Language Processing 一書系統介紹深度學習在 NLP 常見問題中的應用，而且是目前對此方面研究最新、最全面的綜述。 本書還對 NLP 未來發展的研究方向進行了探討，包括神經符號整合框架、基于記憶的模型、先驗知識融合以及深度學習范式（如無監督學習、生成式學習、多模學習、多任務學習和元學習等）。

Attention模型目前已經成為神經網絡中的一個重要概念，注意力模型（AM）自機器翻譯任務【Bahdanau et al 2014】首次引入進來，現在已經成為主流的神經網絡概念。這一模型在研究社區中非常受歡迎，適用領域非常廣泛，包括自然語言處理、統計學習、語音和計算機視覺方面的應用。本篇綜述提供了關于注意力模型的全面概述，并且提供了一種將現有注意力模型進行有效分類的分類法，調查了用于不同網絡結構的注意力模型，并顯示了注意力機制如何提高模型的可解釋性，最后，討論了一些受到注意力模型較大影響的應用問題。