本文主要基于2020 EMNLP Workshop上的一篇綜述文章，介紹了NLP可解釋領域的重大爭議——注意力機制是否能作為解釋？而什么方法才是真正符合解釋邏輯的？
原論文鏈接：//arxiv.org/abs/2010.05607
The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?
本文目錄 0. 引言：問題描述 1.注意力方法：是否構成可解釋？
- 關于注意力的辯論
- 注意力分析的問題是否合理
- 注意力方法與因果解釋
- 改進注意力以更好地作出解釋
- 顯著性方法
- 基于梯度的方法（gradient-based methods）
- 基于傳播的方法（propagation-based methods）
- 基于遮擋的方法（occlusion-based methods）
- 注意力vs顯著性
- 注意力一無是處？非也
- 注意力研究依然重要
- 注意力可以為其他解釋提供參考
- 顯著性就是終極的解釋方法了嗎？
- 在顯著性之外
- 顯著性方法的局限性
- 結論
付費5元查看完整內容
相關內容
Attention機制最早是在視覺圖像領域提出來的，但是真正火起來應該算是google mind團隊的這篇論文《Recurrent Models of Visual Attention》[14]，他們在RNN模型上使用了attention機制來進行圖像分類。隨后，Bahdanau等人在論文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用類似attention的機制在機器翻譯任務上將翻譯和對齊同時進行，他們的工作算是是第一個提出attention機制應用到NLP領域中。接著類似的基于attention機制的RNN模型擴展開始應用到各種NLP任務中。最近，如何在CNN中使用attention機制也成為了大家的研究熱點。下圖表示了attention研究進展的大概趨勢。
EMNLP（Conference on Empirical Methods in Natural Language Processing）是計算語言學和自然語言處理領域的頂級國際會議，由ACL旗下SIGDAT組織，每年舉辦一次，Google Scholar計算語言學刊物指標中排名第二，是CCF-B類推薦會議。今年EMNLP 2020將于2020年11月16日至20日以在線會議的形式舉辦。本篇為大家帶來EMNLP2020在線Tutorial《Interpreting Predictions of NLP Models》教程，系統性講解了自然語言處理模型可解釋性預測，不可錯過！
雖然神經NLP模型具有高度的表示學習能力和良好性能，但它們也會以違反直覺的方式系統性失敗，并且在決策過程中不透明。本教程將提供可解釋技術的背景知識，即可解釋NLP模型預測的方法。我們將首先將具體實例的解釋置于理解模型的其他方法的上下文中(例如，探測，數據集分析)。接下來，我們將全面研究具體例子的解釋，包括顯著性映射、輸入擾動(例如LIME、輸入減少)、對抗性攻擊和影響函數。除了這些描述之外，我們還將介紹為各種NLP任務創建和可視化解釋的源代碼。最后，我們將討論該領域的開放問題，如評價、擴展和改進解釋方法。
//github.com/Eric-Wallace/interpretability-tutorial-emnlp2020/
付費5元查看完整內容
Attention模型目前已經成為神經網絡中的一個重要概念，注意力模型（AM）自機器翻譯任務【Bahdanau et al 2014】首次引入進來，現在已經成為主流的神經網絡概念。這一模型在研究社區中非常受歡迎，適用領域非常廣泛，包括自然語言處理、統計學習、語音和計算機視覺方面的應用。本篇綜述提供了關于注意力模型的全面概述，并且提供了一種將現有注意力模型進行有效分類的分類法，調查了用于不同網絡結構的注意力模型，并顯示了注意力機制如何提高模型的可解釋性，最后，討論了一些受到注意力模型較大影響的應用問題。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191