亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要:文本序列中各單詞的重要程度以及其之間的依賴關系對于識別文本類別有重要影響.膠囊網絡不能選擇性關注文本中重要單詞,并且由于不能編碼遠距離依賴關系,在識別具有語義轉折的文本時有很大局限性.為解決上述問題,該文提出了一種基于多頭注意力的膠囊網絡模型,該模型能編碼單詞間的依賴關系、捕獲文本中重要單詞,并對文本語義編碼,從而有效提高文本分類任務的效果.結果表明:該文模型在文本分類任務中效果明顯優于卷積神經網絡和膠囊網絡,在多標簽文本分類任務上效果更優,能更好地從注意力中獲益。

付費5元查看完整內容

相關內容

文本分類(Text Classification)任務是根據給定文檔的內容或主題,自動分配預先定義的類別標簽。

在多標簽文本分類(MLTC)中,一個樣本可以屬于多個類。可以看出,在大多數MLTC任務中,標簽之間存在依賴關系或相互關系。現有的方法往往忽略了標簽之間的關系。本文提出了一種基于圖的注意力網絡模型來捕獲標簽間的注意依賴結構。圖注意力網絡使用一個特征矩陣和一個相關矩陣來捕獲和探索標簽之間的關鍵依賴關系,并為任務生成分類器。將生成的分類器應用于文本特征提取網絡(BiLSTM)獲得的句子特征向量,實現端到端訓練。注意力允許系統為每個標簽分配不同的權值給相鄰節點,從而允許系統隱式地學習標簽之間的依賴關系。在5個實際的MLTC數據集上驗證了模型的結果。與以往的先進模型相比,該模型具有相似或更好的性能。

付費5元查看完整內容

Attention模型目前已經成為神經網絡中的一個重要概念,注意力模型(AM)自機器翻譯任務【Bahdanau et al 2014】首次引入進來,現在已經成為主流的神經網絡概念。這一模型在研究社區中非常受歡迎,適用領域非常廣泛,包括自然語言處理、統計學習、語音和計算機視覺方面的應用。本篇綜述提供了關于注意力模型的全面概述,并且提供了一種將現有注意力模型進行有效分類的分類法,調查了用于不同網絡結構的注意力模型,并顯示了注意力機制如何提高模型的可解釋性,最后,討論了一些受到注意力模型較大影響的應用問題。

付費5元查看完整內容
北京阿比特科技有限公司