多元序列學習的本質是如何提取數據中的相關性。這些數據集,如重癥監護病房的每小時醫療記錄和多頻語音時間序列,通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶),而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎,我們采用數據驅動的方法,構建了一種新的循環網絡結構,稱為記憶門控循環網絡(mGRN),門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合,我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。
//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0
在自然語言處理和知識圖構造的信息提取中,三次提取是必不可少的任務。在本文中,我們將重新審視用于序列生成的端到端三重提取任務。由于生成三元組提取可能難以捕獲長期依賴關系并生成不忠實的三元組,因此我們引入了一種新穎的模型,即使用生成Transformer的對比三元組提取。具體來說,我們介紹了一個共享的Transformer模塊,用于基于編碼器-解碼器的生成。為了產生忠實的結果,我們提出了一種新穎的三重態對比訓練對象。此外,我們引入了兩種機制來進一步提高模型性能(即,批量動態注意遮罩和三級校準)。在三個數據集(即NYT,WebNLG和MIE)上的實驗結果表明,我們的方法比基線具有更好的性能。
//www.zhuanzhi.ai/paper/b8ed53721b7162af43614d558adb9c58
圖卷積網絡(GCN)因為具備出色的捕捉站點或區域之間非歐式空間依賴性的能力,已廣泛應用于交通需求預測。然而在大多數現有研究中,圖卷積是在基于先驗知識生成的鄰接矩陣上實現的,這樣的鄰接矩陣既不能準確反映站點的實際空間關系,也不能自適應地捕捉需求的多層級空間依賴性。為解決上述問題,這篇論文提出了一種新穎的圖卷積網絡進行交通需求預測。首先,文章中提出了一種新的圖卷積架構,該圖卷積架構在不同的層具有不同的鄰接矩陣,并且所有的鄰接矩陣在訓練過程中都是可以自學習的。其次,文中提出了一種分層耦合機制,該機制將上層鄰接矩陣與下層鄰接矩陣關聯起來。它還減少了模型中參數的規模。最后,構建了一個端到端的網絡,通過將隱藏的空間狀態與門控循環單元集成在一起,給出最終的預測結果,該單元可以同時捕獲多級空間相關性和時間動態。論文提出的模型在兩個真實世界的數據集NYC Citi Bike和NYC Taxi上進行了實驗,結果證明了該模型的優越性能。
//www.zhuanzhi.ai/paper/3996bc72f87617093a55530269f6fdd8
基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果,并可以通過利用未標記的數據減輕醫生昂貴的標注。然而,現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息,我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化,而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題,我們首次提出了一個新的雙任務一致性半監督框架。具體地說,我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時,我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化,用于標記和未標記數據。在兩個公共數據集上的大量實驗表明,我們的方法可以通過合并未標記數據極大地提高性能。同時,我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。
從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中,我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系,并對每個問答(QA)對進行語義級交互。然而,目前AVI的研究大多集中在如何更好地表示問題和答案上,而忽視了它們之間的依賴信息和相互作用,而這是QA評估的關鍵。在這項工作中,我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說,我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖,我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后,我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。
//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1
擁有良好醫學知識的人類醫生,只需與病人進行幾次有關癥狀的對話,就能診斷出疾病。相比之下,現有的以知識為基礎的對話系統往往需要大量對話實例來學習,因為它們無法捕捉不同疾病之間的相關性,忽視了它們之間共享的診斷經驗。為解決這一問題,我們提出了一種更自然、更實用的范式,即低資源的醫療對話生成,它可以將源疾病的診斷經驗轉移到有少量數據可供適應的目標疾病。它利用常識知識圖譜來表征先前的疾病癥狀關系。此外,我們還開發了一個圖演化元學習(GEML)框架,該框架通過學習進化常識圖譜來推理一種新疾病的疾病癥狀相關性,有效地緩解了大量對話的需求。更重要的是,通過動態演變的疾病癥狀圖,GEML還很好地解決了現實世界的挑戰,即每種疾病的疾病癥狀相關性可能隨著更多診斷病例而變化或演變。在CMDD數據集和我們新收集的Chunyu數據集上的大量實驗結果證明了我們的方法優于最先進的方法。此外,GEML還可以在線生成豐富的對話敏感的知識圖譜,對其他基于知識圖譜的任務有借鑒意義。
//www.zhuanzhi.ai/paper/e378691f4b084a18b1a0238815c63fb6
論文鏈接://www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6
簡介:數據增強已被廣泛用于提高機器學習模型的通用性。但是,相對較少的工作研究圖形的數據擴充。這在很大程度上是由于圖的復雜非歐幾里得結構限制了可能的操縱操作。視覺和語言中常用的增強操作沒有圖形類似物。在改進半監督節點分類的背景下,我們的工作研究了圖神經網絡(GNN)的圖數據擴充。我們討論了圖數據擴充的實踐和理論動機,考慮因素和策略。我們的工作表明,神經邊緣預測器可以有效地編碼類同質結構,以在給定的圖結構中促進類內邊緣和降級類間邊緣,并且我們的主要貢獻是引入了GAug圖數據擴充框架,該框架利用這些見解來提高性能通過邊緣預測的基于GNN的節點分類在多個基準上進行的廣泛實驗表明,通過GAug進行的增強可提高GNN架構和數據集的性能。
知識圖譜的關系預測旨在預測實體之間的缺失關系。盡管歸納關系預測的重要性,大多數以前的工作都局限于一個轉換的設置,不能處理以前看不見的實體。最近提出的基于子圖的關系推理模型提供了從圍繞一個候選三元組的子圖結構中歸納預測鏈接的替代方法。然而,我們觀察到這些方法往往忽略了提取子圖的有向性質,削弱了關系信息在子圖建模中的作用。因此,它們不能有效地處理不對稱/反對稱三聯體,并為目標三聯體產生不足的嵌入。為此,我們引入了一種用于歸納關系推理的傳遞消息的神經網絡CoMPILE,該網絡對局部有向子圖結構進行推理,并對處理實體無關的語義關系具有強烈的歸納傾向。與現有模型相比,CoMPILE加強了邊緣之間的消息交互,并授權通過通信內核,并支持足夠的關系信息流。此外,我們還證明了CoMPILE可以自然地處理非對稱/反對稱關系,而不需要通過提取有向封閉子圖來爆炸式地增加模型參數的數量。廣泛的實驗表明,與最先進的方法相比,在常用的基準數據集上具有不同的歸納設置的實質性性能收益。
圖神經網絡(gnn)的優勢在于對結構化數據的拓撲信息進行顯式建模。然而,現有的gnn在獲取層次圖表示方面的能力有限,而層次圖表示在圖形分類中起著重要的作用。本文創新性地提出了層次圖膠囊網絡(HGCN),該網絡可以聯合學習節點嵌入和提取圖的層次結構。具體地說,解糾纏圖膠囊是通過識別每個節點下的異構因素建立的,這樣它們的實例化參數代表同一實體的不同屬性。為了學習層次表示,HGCN通過顯式地考慮部件之間的結構信息,刻畫了低層膠囊(部分)和高層膠囊(整體)之間的部分-整體關系。實驗研究證明了HGCN算法的有效性和各組成部分的貢獻。
//www.zhuanzhi.ai/paper/c9930a15b45547cafbee90db8c5612aa
簡介:小樣本學習(Few-shot Learning)近年來吸引了大量的關注,但是針對多標簽問題(Multi-label)的研究還相對較少。在本文中,我們以用戶意圖檢測任務為切入口,研究了的小樣本多標簽分類問題。對于多標簽分類的SOTA方法往往會先估計標簽-樣本相關性得分,然后使用閾值來選擇多個關聯的標簽。 為了在只有幾個樣本的Few-shot場景下確定合適的閾值,我們首先在數據豐富的多個領域上學習通用閾值設置經驗,然后采用一種基于非參數學習的校準(Calibration)將閾值適配到Few-shot的領域上。 為了更好地計算標簽-樣本相關性得分,我們將標簽名稱嵌入作為表示(Embedding)空間中的錨點,以優化不同類別的表示,使它們在表示空間中更好的彼此分離。 在兩個數據集上進行的實驗表明,所提出的模型在1-shot和5-shot實驗均明顯優于最強的基線模型(baseline)。
//www.zhuanzhi.ai/paper/caf3b2b72106ee93d00ddbe2416c4e1a
序列分類是在給定一個觀察序列的情況下預測一個類標簽的任務。在醫療保健監視或入侵檢測等許多應用程序中,早期分類對于及時干預至關重要。在這項工作中,我們學習序列分類器,有利于早期分類從一個演進的觀察痕跡。雖然許多先進的序列分類器是神經網絡,特別是LSTMs,我們的分類器采取有限狀態自動機的形式,并通過離散優化學習。在一組目標識別和行為分類數據集上的實驗表明,我們學習的基于自動機的分類器具有與基于LSTM的分類器相當的測試性能,而且具有可解釋性的額外優勢。
//www.zhuanzhi.ai/paper/dcc701a6f9e51a118b583586f16c0eea