為了研究像Stack Overflow這樣的社區問答(CQA)平臺，人們提出了各種數據挖掘任務。這些任務之間的相關性通過多任務學習(MTL)為彼此提供了有用的學習信號。然而，由于這些任務的高度異質性，很少有現有的工作能夠在一個統一的框架中共同解決它們。為了解決這一難題，我們開發了一種基于多關系圖的MTL模型——異構多任務圖同構網絡(Heterogeneous Multi-Task graph Isomorphism Network, HMTGIN)，該模型有效地解決了異構CQA任務。在每次訓練前向傳遞中，HMTGIN通過圖同構網絡的擴展和跳躍連接嵌入輸入的CQA論壇圖。嵌入然后在所有特定任務的輸出層共享，以計算各自的損失。此外，利用兩個基于任務關系領域知識的跨任務約束對聯合學習進行正則化。在評估中，嵌入在不同的任務特定的輸出層之間共享，以做出相應的預測。據我們所知，HMTGIN是第一個能夠從多關系圖的角度處理CQA任務的MTL模型。為了評估HMTGIN的有效性，我們從Stack Overflow中構建了一個具有200多萬個節點的大規模多關系圖CQA數據集。大量實驗表明: (1) HMTGIN在5個任務上優于所有基線; (2) 提出的MTL策略和跨任務約束具有顯著優勢。
付費5元查看完整內容
相關內容
知識增強預訓練語言模型(Knowledge enhanced pre- training language model, K-PLMs)已被證明對許多公共任務是有效的，但在實踐中成功應用的卻很少。為了解決這一問題，我們提出了一種系統的方法K-AID，包括一個低成本的獲取領域知識的過程，一個有效的知識注入模塊，以提高模型的性能，以及一個知識蒸餾組件，以減少模型尺寸和部署K-PLMs資源受限的設備(如:CPU)為現實世界的應用。重要的是，我們的方法捕獲的是關系知識，而不是像大多數現有的 K-PLMs那樣捕獲實體知識，這有助于更好地改進句子級別的文本分類和文本匹配任務，這些任務在回答問題(QA)中扮演著關鍵角色。我們對電子商務、政府、影視三個領域的5個文本分類任務和3個文本匹配任務進行了一系列實驗，并在電子商務領域進行了在線A /B測試。實驗結果表明，該方法能夠在句子水平的問題回答任務上取得顯著的提高，在工業環境中帶來有益的商業價值。
付費5元查看完整內容
在多維分類中，輸出空間中存在多個類變量，每個類變量對應一個異構類空間。由于類空間的異質性，在從MDC示例中學習時，考慮類變量之間的依賴關系非常具有挑戰性。本文提出了一種新的多目標預測方法，即SLEM方法，它在編碼的標簽空間中學習預測模型，而不是在異構的標簽空間中學習預測模型。具體來說，SLEM在編碼-訓練-解碼框架中工作。在編碼階段，通過成對分組、一次熱轉換和稀疏線性編碼三種級聯操作，將每個類向量映射為實值向量。在訓練階段，在編碼標簽空間內學習多輸出回歸模型。在解碼階段，通過對學習的多輸出回歸模型的輸出進行正交匹配追蹤，得到預測的類向量。實驗結果清楚地驗證了SLEM相對于最先進的MDC方法的優越性。
付費5元查看完整內容
跨句事件抽取旨在研究如何同時識別篇章內多個事件。我們提出多層雙向網絡MLBiNet（Multi-Layer Bidirectional Network）融合跨句語義和關聯事件信息，從而增強內各事件提及的判別。首先，為建模句子內部事件關系，我們提出雙向解碼器用于同時捕捉前向和后向事件依賴；然后，我們利用信息聚合器匯總句子語義和事件提及信息；最后，通過迭代多個由雙向解碼器和信息聚合器構造的單元，并在每一層傳遞鄰近句子的匯總信息，最終感知到整個文檔的語義和事件提及信息。實驗表明，跨句語義信息和事件依賴關系對事件抽取有效，我們的方法在ACE05數據集上取得最優表現。
付費5元查看完整內容
本文提出了一種基于框架小波變換（framelet transforms）的圖神經網絡。這種方法為結構化的圖數據提供了多尺度表示。我們利用這種變換方式把圖數據特征分解到低通和高通頻率（low-pass and high-pass frequency）空間上，并利用這些頻率信息定義相應的框架小波圖卷積層（graph framelet convolutional layer）。此外，圖上的特征通過框架小波分解，聚合出了低通和高通光譜（spectra）的信息。我們利用這一特征，進一步提出了相應的圖池化（graph pooling）方法。這種池化方法同時考慮了圖數據的特征信息（feature information）和幾何信息（topology information）。
我們在多種節點預測和圖預測任務上對本文提出的框架小波卷積和池化方法的圖神經網絡進行了測試。實驗結果表明，我們的方法在多種應用下都可以達到SOTA的表現。
付費5元查看完整內容
為了擴大知識圖譜中少樣本關系的覆蓋范圍，近年來少樣本知識圖譜補全(FKGC)得到了越來越多的研究興趣。現有的模型利用了一種多跳關系的鄰居信息來增強其語義表示。但是，當鄰域過于稀疏，沒有鄰域來表示少射關系時，噪聲鄰域信息可能會被放大。此外，以往的知識圖譜補全方法對多對多(1-N)、多對一(N-1)、多對多(N-N)等復雜關系進行建模和推斷需要較高的模型復雜度和大量的訓練實例。因此，由于訓練實例有限，FKGC模型很難在少樣本場景下推斷復雜關系。本文提出了一種全局-局部框架下的少樣本關系學習方法來解決上述問題。在全局階段，構建了一種新穎的門控和專注鄰居聚合器，用于精確集成幾個樣本關系的鄰域的語義，這有助于過濾噪聲鄰域，即使一個KG包含非常稀疏的鄰域。對于局部階段，我們設計了一種基于元學習的TransH (MTransH)方法來建模復雜關系，并以少量學習的方式訓練模型。大量實驗表明，我們的模型在常用的基準數據集NELL-One和Wiki-One上的性能優于先進的FKGC方法。與強基線模型MetaR相比，我們的模型通過度量Hits@10在NELL-One上實現了8.0%的5次FKGC性能改進，在Wiki-One上實現了2.8%
付費5元查看完整內容
近年來，圍繞著圖卷積網絡(GCN)這一主題的文獻大量涌現。如何有效地利用復雜圖(如具有異構實體和關系類型的知識圖譜)中豐富的結構信息是該領域面臨的主要挑戰。大多數GCN方法要么局限于具有同質邊類型的圖(例如，僅引用鏈接)，要么只專注于節點的表示學習，而不是針對目標驅動的目標共同傳播和更新節點和邊的嵌入。本文提出了一種新的框架，即基于知識嵌入的圖卷積網絡(KE-GCN)，該框架結合了基于圖的信念傳播中知識嵌入的能力和高級知識嵌入(又稱知識圖嵌入)方法的優勢，從而解決了這些局限性。我們的理論分析表明，KE-GCN作為具體案例提供了幾種著名的GCN方法的優雅統一，并提供了圖卷積的新視角。在基準數據集上的實驗結果表明，與強基線方法相比，KE-GCN方法在知識圖譜對齊和實體分類等任務中具有明顯的優勢。
付費5元查看完整內容
從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中，我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系，并對每個問答(QA)對進行語義級交互。然而，目前AVI的研究大多集中在如何更好地表示問題和答案上，而忽視了它們之間的依賴信息和相互作用，而這是QA評估的關鍵。在這項工作中，我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說，我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖，我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后，我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。
//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1
付費5元查看完整內容
本文提出了一個新的多粒度閱讀理解框架，并且在NQ數據集上驗證了其有效性。我們利用文檔自身的層次結構特性，以四個粒度建模文檔，并且同時考慮NQ中兩個粒度答案的依賴關系。實驗結果表明我們提出的方法是非常有效的，并且相比現有方法有了大幅度的提升。
整體系統架構，所有文檔片段被獨立的輸入到模型中，最后匯總之后得到答案 我們針對這種NQ數據集提出了一個新的框架，整體系統架構如圖3所示，我們將問題以及文檔的每個片段獨立的輸入到模型中，通過BERT編碼器進行編碼，得到問題和文檔片段的初步表示，然后用我們提出的圖編碼器用得到的表示進一步建模，最終得到一系列結構化的表示，匯總到答案選擇模塊得到答案。
付費5元查看完整內容
在多標簽文本分類(MLTC)中，一個樣本可以屬于多個類。可以看出，在大多數MLTC任務中，標簽之間存在依賴關系或相互關系。現有的方法往往忽略了標簽之間的關系。本文提出了一種基于圖的注意力網絡模型來捕獲標簽間的注意依賴結構。圖注意力網絡使用一個特征矩陣和一個相關矩陣來捕獲和探索標簽之間的關鍵依賴關系，并為任務生成分類器。將生成的分類器應用于文本特征提取網絡(BiLSTM)獲得的句子特征向量，實現端到端訓練。注意力允許系統為每個標簽分配不同的權值給相鄰節點，從而允許系統隱式地學習標簽之間的依賴關系。在5個實際的MLTC數據集上驗證了模型的結果。與以往的先進模型相比，該模型具有相似或更好的性能。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191