在深度學習中引入注意力機制提高了近年來各種模型的成功，并繼續成為最先進模型中無處不在的組成部分。因此，我們對注意力及其如何實現其有效性的關注是至關重要的。
在這篇文章中，我將介紹注意力背后的主要概念，包括一個從序列到序列的注意力模型的實現，然后介紹注意力在Transformer中的應用，以及如何將注意力用于最新的結果。建議您對遞歸神經網絡(RNNs)及其變體有一定的了解，或者對序列到序列模型如何工作有一定的了解。
付費5元查看完整內容
相關內容
Attention機制最早是在視覺圖像領域提出來的，但是真正火起來應該算是google mind團隊的這篇論文《Recurrent Models of Visual Attention》[14]，他們在RNN模型上使用了attention機制來進行圖像分類。隨后，Bahdanau等人在論文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用類似attention的機制在機器翻譯任務上將翻譯和對齊同時進行，他們的工作算是是第一個提出attention機制應用到NLP領域中。接著類似的基于attention機制的RNN模型擴展開始應用到各種NLP任務中。最近，如何在CNN中使用attention機制也成為了大家的研究熱點。下圖表示了attention研究進展的大概趨勢。
Attention模型目前已經成為神經網絡中的一個重要概念，注意力模型（AM）自機器翻譯任務【Bahdanau et al 2014】首次引入進來，現在已經成為主流的神經網絡概念。這一模型在研究社區中非常受歡迎，適用領域非常廣泛，包括自然語言處理、統計學習、語音和計算機視覺方面的應用。本篇綜述提供了關于注意力模型的全面概述，并且提供了一種將現有注意力模型進行有效分類的分類法，調查了用于不同網絡結構的注意力模型，并顯示了注意力機制如何提高模型的可解釋性，最后，討論了一些受到注意力模型較大影響的應用問題。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191