題目
NLP注意力機制綜述論文翻譯，Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing
關鍵詞
注意力機制，自然語言處理，深度學習，人工智能
簡介
注意力是一種廣泛用于神經體系結構的越來越流行的機制。由于該領域的快速發展，仍然缺少對注意力的系統概述。 在本文中，我們為自然語言處理的注意力體系結構定義了一個統一的模型，重點是旨在與文本數據的矢量表示一起工作的體系結構。 我們討論了提案不同的方面，注意力的可能用途，并繪制了該領域的主要研究活動和公開挑戰。
作者
Andrea Galassi
Department of Computer Science and Engineering (DISI),
University of Bologna, Bologna, Italy ；
Marco Lippi
Department of Sciences and Methods for Engineering (DISMI),
University of Modena and Reggio Emilia, Reggio Emilia, Italy ；
Paolo Torroni
Department of Computer Science and Engineering (DISI),
University of Bologna, Bologna, Italy
付費5元查看完整內容
相關內容
Attention機制最早是在視覺圖像領域提出來的，但是真正火起來應該算是google mind團隊的這篇論文《Recurrent Models of Visual Attention》[14]，他們在RNN模型上使用了attention機制來進行圖像分類。隨后，Bahdanau等人在論文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用類似attention的機制在機器翻譯任務上將翻譯和對齊同時進行，他們的工作算是是第一個提出attention機制應用到NLP領域中。接著類似的基于attention機制的RNN模型擴展開始應用到各種NLP任務中。最近，如何在CNN中使用attention機制也成為了大家的研究熱點。下圖表示了attention研究進展的大概趨勢。
題目： A Survey of Neural Networks and Formal Languages
摘要：
這篇報告調查了各種最先進的神經網絡結構和形式語言之間的關系，例如喬姆斯基語言層次結構。特別令人感興趣的是神經結構通過學習特定語言的樣本來表示、識別和生成單詞的能力。
付費5元查看完整內容
題目： Attention in Natural Language Processing
摘要：
注意力是一種越來越受歡迎的機制，在廣泛的神經結構中使用。該機制本身以各種格式實現。然而，由于這一領域的快速發展，仍然缺乏對注意力的系統概述。在本文中，我們為自然語言處理中的注意力架構定義了一個統一的模型，重點是那些設計用來處理文本數據的向量表示的模型。根據四個維度提出了注意力模型的分類:輸入的表示、兼容性函數、分布函數和輸入和輸出的多樣性。然后展示了如何在注意力模型中利用先驗信息的例子，并討論了該領域正在進行的研究工作和面臨的挑戰。
付費5元查看完整內容
Recently, the emergence of pre-trained models (PTMs) has brought natural language processing (NLP) to a new era. In this survey, we provide a comprehensive review of PTMs for NLP. We first briefly introduce language representation learning and its research progress. Then we systematically categorize existing PTMs based on a taxonomy with four perspectives. Next, we describe how to adapt the knowledge of PTMs to the downstream tasks. Finally, we outline some potential directions of PTMs for future research. This survey is purposed to be a hands-on guide for understanding, using, and developing PTMs for various NLP tasks.
題目： Natural Language Processing Advancements By Deep Learning: A Survey
摘要： 自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。算力的最新發展和語言大數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。
付費5元查看完整內容
題目： Attention Models in Graphs: A Survey
摘要： 圖結構數據自然地出現在許多不同的應用領域。通過將數據表示為圖形，我們可以捕獲實體（即節點）以及它們之間的關系（即邊）。許多有用的見解可以從圖形結構的數據中得到，這一點已被越來越多的關注于圖形挖掘的工作所證明。然而，在現實世界中，圖可以是大的-有許多復雜的模式-和噪聲，這可能會給有效的圖挖掘帶來問題。解決這一問題的一個有效方法是將“注意力”融入到圖挖掘解決方案中。注意機制允許一個方法關注圖中與任務相關的部分，幫助它做出更好的決策。在這項工作中，我們對圖形注意模型這一新興領域的文獻進行了全面而集中的調查。我們介紹了三個直觀的分類組現有的工作。它們基于問題設置（輸入和輸出類型）、使用的注意機制類型和任務（例如，圖形分類、鏈接預測等）。我們通過詳細的例子來激勵我們的分類法，并使用每種方法從一個獨特的角度來調查競爭方法。最后，我們強調了該領域的幾個挑戰，并討論了未來工作的前景。
作者簡介： Ryan A. Rossi，目前在Adobe Research工作，研究領域是機器學習；涉及社會和物理現象中的大型復雜關系（網絡/圖形）數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。
Nesreen K. Ahmed，英特爾實驗室的高級研究員。她在普渡大學計算機科學系獲得博士學位，在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘，涵蓋了大規模圖挖掘、統計機器學習的理論和算法，以及它們在社會和信息網絡中的應用。
付費5元查看完整內容
題目： Neural Machine Translation: A Review
簡介： 機器翻譯(MT)是將書面文本從一種自然語言自動翻譯成另一種自然語言，近年來，機器翻譯領域經歷了一次重大的范式轉變。統計機器翻譯主要依賴于各種基于計數的模型，在過去幾十年中一直主導機器翻譯的研究，但現在它已在很大程度上被神經機器翻譯(NMT)所取代。在這項工作中，我們將追溯現代NMT架構的起源到詞和句子嵌入和早期的例子的編碼器-解碼器網絡家族。最后，我們將對該領域的最新趨勢進行調查。
付費5元查看完整內容
Over the last several years, the field of natural language processing has been propelled forward by an explosion in the use of deep learning models. This survey provides a brief introduction to the field and a quick overview of deep learning architectures and methods. It then sifts through the plethora of recent studies and summarizes a large assortment of relevant contributions. Analyzed research areas include several core linguistic processing issues in addition to a number of applications of computational linguistics. A discussion of the current state of the art is then provided along with recommendations for future research in the field.
Attention is an increasingly popular mechanism used in a wide range of neural architectures. Because of the fast-paced advances in this domain, a systematic overview of attention is still missing. In this article, we define a unified model for attention architectures for natural language processing, with a focus on architectures designed to work with vector representation of the textual data. We discuss the dimensions along which proposals differ, the possible uses of attention, and chart the major research activities and open challenges in the area.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191