學習描述觀測數據因果關系的有向無環圖(DAG)是一項非常具有挑戰性但又非常重要的任務。由于觀測數據的數量和質量有限，以及因果圖的不可識別性，幾乎不可能推斷出單個精確的DAG。一些方法通過馬爾可夫鏈蒙特卡羅(MCMC)逼近DAG的后驗分布來探索DAG空間，但DAG空間具有超指數增長的性質，準確刻畫DAG空間的整體分布是非常棘手的。本文提出了一種基于序圖的因果結構強化學習(RCL-OG)方法，該方法使用序圖代替MCMC來建模不同的DAG拓撲順序，從而減小問題的規模。RCLOG首先用一種新的獎勵機制定義強化學習，以效能的方式近似排序的后驗分布，并使用深度Q學習在節點之間更新和傳遞獎勵。其次，得到順序圖上節點的概率轉移模型，并計算不同順序的后驗概率。這樣我們就可以在這個模型上進行抽樣，得到高概率的排序。在綜合數據集和基準數據集上的實驗表明，RCL-OG提供了精確的后驗概率逼近，并取得了比Baseline因果發現算法更好的結果。
//www.zhuanzhi.ai/paper/c905693a9e8cdefab601a
付費5元查看完整內容
相關內容
圖神經網絡(GNNs)已經成功地用于許多涉及圖結構數據的問題，實現了最先進的性能。GNN通常采用消息傳遞方案，其中每個節點使用置換不變聚合函數從其鄰居聚合信息。經過嚴格檢查的標準選擇(如平均值或和聚合函數)功能有限，因為它們無法捕獲相鄰函數之間的交互。在這項工作中，我們使用一個信息理論框架來形式化這些交互作用，特別是包括協同信息。在此定義的驅動下，我們引入了圖排序注意力層(GOAT)，這是一種新穎的GNN組件，用于捕獲鄰域節點之間的交互。這是通過一種注意力機制來學習局部節點順序，并使用循環神經網絡聚合器處理有序表示來實現的。這種設計允許我們使用一個排列敏感的聚合器，同時保持擬議的GOAT層的排列等效。GOAT模型展示了它在捕獲復雜信息的圖指標(如中間性中心性和節點的有效大小)建模方面提高的性能。在實際用例中，通過在幾個真實的節點分類基準測試中取得的成功，它的卓越建模能力得到了證實。
付費5元查看完整內容
熵因果推斷是一種最新的框架，通過尋找數據的信息-理論上最簡單的結構解釋，即最小熵模型，從觀測數據中學習兩個變量之間的因果圖。在我們的工作中，我們首先推廣了松弛假設下的因果圖可辨識性結果。然后，我們展示了第一個可識別的結果，使用熵的方法學習超過兩個節點的因果圖。該方法利用了一個屬性，即一個源節點和它的后代節點之間的祖先關系可以用二元熵測試來確定。我們提供了一種基于此特性的普通圖的有序剝離算法。我們還提出了一個啟發式算法，小圖顯示了較強的經驗性能。我們嚴格評估我們的算法在各種模型生成的合成數據上的性能，觀察與之前工作相比的改進。最后，我們在真實的數據集上測試我們的算法。
//proceedings.mlr.press/v162/gresele22a.html
付費5元查看完整內容
我們考慮發現K個相關高斯有向無環圖(DAG)的問題，其中涉及的圖結構共享一個一致的因果順序和稀疏的支持聯合。在多任務學習環境下，我們提出一種l1/l2-正則化極大似然估計(MLE)來學習K個線性結構方程模型。我們從理論上證明，通過在相關任務中利用數據，聯合估計器可以獲得比單獨估計更好的恢復因果順序(或拓撲順序)的樣本復雜度。此外，聯合估計器還可以將不可識別的DAG與一些可識別的DAG一起估計，從而恢復不可識別的DAG。最后，我們的分析也顯示了結構的聯合支持恢復的一致性。為了實現，我們設計了一個連續優化問題，它的優化器與聯合估計器相同，可以用迭代算法有效地逼近。通過實驗驗證了理論分析和聯合估計的有效性。
付費5元查看完整內容
在各種機器學習和數據分析任務中，學習一個圖的拓撲以揭示數據實體之間的底層關系扮演著重要的角色。在結構化數據在圖上平滑變化的假設下，問題可以表示為正半定錐上的正則凸優化，并用迭代算法求解。經典的方法需要一個顯式凸函數來反映一般的拓撲先驗，例如為增強稀疏性而使用L1懲罰，這限制了學習豐富拓撲結構的靈活性和表達性。基于學習優化(L2O)的思想，我們提出學習從節點數據到圖結構的映射。具體來說，我們的模型首先展開了一個迭代原對偶分裂算法到神經網絡。關鍵結構的近端投影被一個變分自編碼器取代，該編碼器用增強的拓撲特性來改進估計圖。模型以端到端方式訓練，使用成對的節點數據和圖樣本。在合成和真實數據上的實驗表明，在學習具有特定拓撲性質的圖時，我們的模型比經典的迭代算法更有效。
付費5元查看完整內容
圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。
付費5元查看完整內容
基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。
付費5元查看完整內容
文本匹配是一項研究兩段文本之間的相關關系的任務，在如搜索引擎、文檔挖掘、智能對話等場景有著廣泛應用和重要意義。
在文本匹配任務中，目標文本和候選文本之間的聯系以及文本內部的上下文關聯都是實現準確匹配的關鍵。然而，大多數已有的深度神經網絡模型只關注了前者，忽略了每個文本內部的上下文語義信息，從而面臨著長文本、復雜文本難匹配等問題。
解決方案 為了解決上述問題，中科院自動化所智能感知與計算研究中心團隊提出一種基于文本圖神經網絡架構的匹配方法，用圖（graph）結構表示文本，能夠同時建模兩個文本之間的交互以及每個文本內部的上下文關聯，可以有效緩解現有方法中長文本難匹配的問題，如圖1所示。
對于構建的文本圖，該方法采用“聚合（aggregation）”、“更新（update）”以及“讀出（readout）”三個步驟進行建模學習，如圖2所示。其中，“聚合”步驟將上下文信息進行匯總，“更新”步驟將匯總的信息進行篩選和合并，最后“讀出”步驟將整圖信息輸出為相似度得分。
基于圖神經網絡的文本匹配框架示例
該方法在常見的文本匹配數據集上進行了實驗，取得了與當前主流預訓練模型（BERT）相當的結果，并且在長文本數據集上對基線的提升更顯著，驗證了模型的有效性。
付費5元查看完整內容
//www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4
消息傳遞圖神經網絡(GNNs)為關系數據提供了強大的建模框架。曾經，現有GNN的表達能力上界取決于1- Weisfeiller -Lehman (1-WL)圖同構測試，這意味著gnn無法預測節點聚類系數和最短路徑距離，無法區分不同的d-正則圖。在這里，我們提出了一類傳遞消息的GNN，稱為身份感知圖神經網絡(ID- GNNs)，具有比1-WL測試更強的表達能力。ID-GNN為現有GNN的局限性提供了一個最小但強大的解決方案。ID-GNN通過在消息傳遞過程中歸納地考慮節點的身份來擴展現有的GNN體系結構。為了嵌入一個給定的節點，IDGNN首先提取以該節點為中心的自我網絡，然后進行輪次異構消息傳遞，中心節點與自我網絡中其他周圍節點應用不同的參數集。我們進一步提出了一個簡化但更快的ID-GNN版本，它將節點標識信息作為增強節點特征注入。總之，ID-GNN的兩個版本代表了消息傳遞GNN的一般擴展，其中實驗表明，在具有挑戰性的節點、邊緣和圖屬性預測任務中，將現有的GNN轉換為ID-GNN平均可以提高40%的準確率;結點和圖分類在基準測試上提高3%精度;在實際鏈路預測任務提高15%的ROC AUC。此外，與其他特定于任務的圖網絡相比，ID- GNN表現出了更好的或相當的性能。
付費5元查看完整內容
從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中，我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系，并對每個問答(QA)對進行語義級交互。然而，目前AVI的研究大多集中在如何更好地表示問題和答案上，而忽視了它們之間的依賴信息和相互作用，而這是QA評估的關鍵。在這項工作中，我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說，我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖，我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后，我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。
//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191