中科院自動化所智能感知與計算研究中心張羽豐、吳書等人，受到圖結構數據易于建立整體關聯關系的啟發，提出一種基于圖神經網絡的歸納式文本分類方法。不再以完全順序化的方式學習文本內容，而是將文本構建為復雜關聯的圖結構進行學習，為上述問題提供了解決思路。相關成果發表于頂級國際會議ACL 2020。
該工作以單詞為節點、單詞間的共現關系為邊，將每個文檔構建為擁有自身結構的圖，將文本分類任務轉化為圖分類任務。通過應用圖神經網絡模型，單詞可聚合學習所有關聯單詞的表示，同時也可捕獲中長距離的上下文關系。最后使用最大池化加平均池化的方法，將所有單詞聚合為該文本的表示，進而得到其分類標簽。
基于圖神經網絡的文本分類模型示意圖
該模型在多個數據集中均取得最好性能，同時適用于歸納式學習，即當文本包含較多新詞的時候，也能取得不錯的效果。
該項研究在自然語言處理、信息組織和管理、內容信息過濾等領域都有著廣泛的應用，例如輿情監測、新聞分類、垃圾郵件過濾、個性化推薦等，也為相關領域的問題提供了新的研究思路。
付費5元查看完整內容
相關內容
圖神經網絡
·
近年來, 隨著海量數據的涌現, 可以表示對象之間復雜關系的圖結構數據越來越受到重視并給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用于諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基于空間方法的圖神經網絡模型、基于譜方法的圖神經網絡模型和基于生成方法的圖神經網絡模型等,并提出可供未來進一步研究的問題.
//engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext
圖是對對象及其相互關系的一種簡潔抽象的直觀數學表達. 具有相互關系的數據—圖結構數據在眾多領域普遍存在, 并得到廣泛應用. 隨著大量數據的涌現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方面有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵復雜特征和 實現對海量數據的快速處理等方面, 例如, 預測化學分子的特性 [1]、文本的關系提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.
圖神經網絡的概念最早于 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用于處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此后, 陸續有關于圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.
目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重于將所述各種方法置于一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 并根據發展歷史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 并將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 并總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.
本文將對圖神經網絡模型的理論及應用進行綜述, 并討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在于, 我們給出新的分類標準, 并且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基于空間方法的圖神經網絡、基于譜方法的圖神經網絡和基于生成方法的圖神經網絡等; 然后介紹模型在節點分類、鏈路預測和圖生成等方面的應用; 最后提出未來的研究方向.
付費5元查看完整內容
摘要：文本序列中各單詞的重要程度以及其之間的依賴關系對于識別文本類別有重要影響.膠囊網絡不能選擇性關注文本中重要單詞,并且由于不能編碼遠距離依賴關系,在識別具有語義轉折的文本時有很大局限性.為解決上述問題,該文提出了一種基于多頭注意力的膠囊網絡模型,該模型能編碼單詞間的依賴關系、捕獲文本中重要單詞,并對文本語義編碼,從而有效提高文本分類任務的效果.結果表明:該文模型在文本分類任務中效果明顯優于卷積神經網絡和膠囊網絡,在多標簽文本分類任務上效果更優,能更好地從注意力中獲益。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191