熵因果推斷是一種最新的框架，通過尋找數據的信息-理論上最簡單的結構解釋，即最小熵模型，從觀測數據中學習兩個變量之間的因果圖。在我們的工作中，我們首先推廣了松弛假設下的因果圖可辨識性結果。然后，我們展示了第一個可識別的結果，使用熵的方法學習超過兩個節點的因果圖。該方法利用了一個屬性，即一個源節點和它的后代節點之間的祖先關系可以用二元熵測試來確定。我們提供了一種基于此特性的普通圖的有序剝離算法。我們還提出了一個啟發式算法，小圖顯示了較強的經驗性能。我們嚴格評估我們的算法在各種模型生成的合成數據上的性能，觀察與之前工作相比的改進。最后，我們在真實的數據集上測試我們的算法。
//proceedings.mlr.press/v162/gresele22a.html
付費5元查看完整內容
相關內容
常識因果推斷
Causal Inference Principles for Reasoning about Commonsense Causality
本文由騰訊 AI Lab 與賓夕法尼亞大學合作完成，提出了一種全新的基于語言模型的常識因果關系識別框架。
常識因果推斷旨在識別日常生活事件之間的因果關系，雖然這個研究課題對學術和實際應用都有巨大的意義，但我們都一直欠缺一種理論框架。該項工作提出了一種基于co-founding的框架。簡單來說，我們利用語言模型中對于事件之間時序模型的記憶來推導出他們之間的因果關系。整套系統不需要任何訓練，并在測試數據上取得了良好的效果。
//www.zhuanzhi.ai/paper/4d33292dfcd3f4f85e6c6e5c640e4179
付費5元查看完整內容
結構化數據在網絡應用中很好地存在，如社交媒體中的社交網絡、學術網站中的引文網絡、在線論壇中的線程數據。由于拓撲結構的復雜性，這些數據中的豐富信息難以處理和利用。圖神經網絡(GNN)在結構化數據的學習表示方面顯示出極大的優勢。然而，深度學習模型的不透明性使得解釋GNN的預測變得非常重要。同時，GNN解釋的評價也是一個巨大的挑戰，因為在很多情況下，基準真相解釋是不可用的。在本文中，我們從因果推理理論中借鑒反事實和事實推理(CF^2)的觀點，來解決可解釋GNN中的學習和評價問題。為了生成解釋，我們提出了一個模型無關的框架，通過建立一個優化問題的基礎上，這兩個隨意的觀點。這將CF^2與之前只考慮其中一個的可解釋GNN區分開來。這項工作的另一個貢獻是對GNN解釋的評價。為了在不要求基本事實的情況下定量地評估生成的解釋，我們設計了基于反事實和事實推理的度量標準，以評估解釋的必要性和充分性。實驗表明，無論基準真相解釋是否可用，CF^2在真實數據集上都比以前的最先進的方法產生了更好的解釋。此外，統計分析證明了基準真相評估和我們提出的指標之間的相關性。
付費5元查看完整內容
解糾纏方法的重點一直是識別數據中的獨立變異因素。然而，真實世界觀察的因果變量在統計上往往不是獨立的。在這項工作中，我們通過分析大規模實證研究(包括4260個模型)中對相關數據最突出的解糾纏方法的行為，彌合了與現實場景的差距。我們展示并量化了從數據集中系統導出的相關性被學習并反映在潛在表示中，這對解糾纏的下游應用(如公平)有影響。我們還演示了如何解決這些潛在的相關性，要么在訓練期間使用弱監督，要么通過事后糾正帶有少量標簽的預訓練模型。
付費5元查看完整內容
本文將圖上定義的神經網絡轉換為消息傳遞神經網絡(MPNNs)，以研究這類模型的不同分類的區分能力。我們感興趣的是某些架構何時能夠根據作為圖輸入的特征標簽區分頂點。我們考慮了兩種不同的MPNNs: 匿名MPNNs，其消息函數只依賴于所涉及的頂點的標簽; 以及程度感知的MPNNs，其消息函數可以額外使用關于頂點度數的信息。前一類涵蓋了流行的圖神經網絡(GNN)形式，其優異的能力是已知的。后者包括Kipf和Welling提出的圖卷積網絡(GCNs)，其區分能力未知。利用Weisfeiler-Lehman (WL)算法的辨識能力，得到了(匿名和程度感知)多神經網絡辨識能力的上界和下界。我們的主要結果表明: (1) GCNs的分辨能力受到WL算法的限制，但它們可能領先一步; (ii) WL算法不能用普通的GCNs模擬，但通過在頂點和其鄰居的特征之間添加一個權衡參數(Kipf和Welling提出的)可以解決這個問題。
付費5元查看完整內容
在領域泛化工作中，一個常見的目標是在類標簽條件下學習獨立于領域的表示。我們證明這個目標是不充分的: 存在反例，在滿足類條件域不變性后，模型不能泛化到不可見域。我們通過一個結構性因果模型將這個觀察形式化，并展示了類內變量建模對泛化的重要性。具體來說，類包含描述特定因果特征的對象，而域可以被解釋為對這些對象的干預，這些對象改變了非因果特征。我們強調了一個可選條件:如果來自相同對象，那么跨域的輸入應該具有相同的表示。在此基礎上，我們提出了觀測基礎目標時的匹配算法(如通過數據增強)和未觀測目標時的近似算法(MatchDG)。我們簡單的基于匹配的算法在旋轉MNIST、Fashion-MNIST、PACS和胸部x射線數據集的域外精度方面具有很好性能。我們的方法MatchDG也恢復了真實對象匹配:在MNIST和Fashion-MNIST上，MatchDG的前10個匹配與真實匹配有超過50%的重疊。
付費5元查看完整內容
在統一魯棒半監督變分自編碼器(URSVAE)中，通過同時處理噪聲標簽和異常值，提出了一種新的噪聲魯棒半監督深度生成模型。輸入數據的不確定性通常是將不確定性優先于概率密度分布的參數，以確保變分編碼器對異常值的魯棒性。隨后，我們將噪聲轉換模型自然地集成到我們的模型中，以減輕噪聲標簽的有害影響。此外，為了進一步增強魯棒性，采用魯棒散度測度，推導并優化了新的變分下界來推斷網絡參數。通過證明對所提證據下界的影響函數是有界的，證明了所提模型在存在復合噪聲的情況下在分類方面的巨大潛力。通過對圖像分類任務的評價和與現有方法的比較，實驗結果表明了該框架的優越性。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
本文提出了一種基于框架小波變換（framelet transforms）的圖神經網絡。這種方法為結構化的圖數據提供了多尺度表示。我們利用這種變換方式把圖數據特征分解到低通和高通頻率（low-pass and high-pass frequency）空間上，并利用這些頻率信息定義相應的框架小波圖卷積層（graph framelet convolutional layer）。此外，圖上的特征通過框架小波分解，聚合出了低通和高通光譜（spectra）的信息。我們利用這一特征，進一步提出了相應的圖池化（graph pooling）方法。這種池化方法同時考慮了圖數據的特征信息（feature information）和幾何信息（topology information）。
我們在多種節點預測和圖預測任務上對本文提出的框架小波卷積和池化方法的圖神經網絡進行了測試。實驗結果表明，我們的方法在多種應用下都可以達到SOTA的表現。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191