題目: Speech and Language Processing
摘要: Speech and Language Processing是一個全面的,對讀者友好的,最新的計算語言學指南,涵蓋統計和符號方法及其應用。它既能吸引那些既不太專業的高年級本科生,也能吸引那些研究人員,他們會發現它對一個快速發展的研究領域的新技術有幫助。
題目: Attention in Natural Language Processing
摘要:
注意力是一種越來越受歡迎的機制,在廣泛的神經結構中使用。該機制本身以各種格式實現。然而,由于這一領域的快速發展,仍然缺乏對注意力的系統概述。在本文中,我們為自然語言處理中的注意力架構定義了一個統一的模型,重點是那些設計用來處理文本數據的向量表示的模型。根據四個維度提出了注意力模型的分類:輸入的表示、兼容性函數、分布函數和輸入和輸出的多樣性。然后展示了如何在注意力模型中利用先驗信息的例子,并討論了該領域正在進行的研究工作和面臨的挑戰。