亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

熵因果推斷是一種最新的框架，通過尋找數據的信息-理論上最簡單的結構解釋，即最小熵模型，從觀測數據中學習兩個變量之間的因果圖。在我們的工作中，我們首先推廣了松弛假設下的因果圖可辨識性結果。然后，我們展示了第一個可識別的結果，使用熵的方法學習超過兩個節點的因果圖。該方法利用了一個屬性，即一個源節點和它的后代節點之間的祖先關系可以用二元熵測試來確定。我們提供了一種基于此特性的普通圖的有序剝離算法。我們還提出了一個啟發式算法，小圖顯示了較強的經驗性能。我們嚴格評估我們的算法在各種模型生成的合成數據上的性能，觀察與之前工作相比的改進。最后，我們在真實的數據集上測試我們的算法。

//proceedings.mlr.press/v162/gresele22a.html

根據觀察數據估算反事實結果與許多應用(例如，個性化醫療)相關。然而，最先進的方法建立在簡單的長短期記憶(LSTM)網絡上，因此對復雜的、長期依賴關系的推斷產生了挑戰。在本文中，我們開發了一種新的因果Transformer ，用于隨著時間的推移估計反事實結果。我們的模型是專門設計的，以捕獲復雜的，長期的依賴性，時變混雜。為此，我們將三個Transformer子網絡與時變協變量、以前的處理和以前的結果的單獨輸入組合成一個中間交叉關注的聯合網絡。我們進一步為因果Transformer 開發了一個定制的端到端培訓程序。具體來說，我們提出了一種新的反事實領域混淆損失來解決混淆偏差:其目的是學習對抗性平衡表示，以便它們可以預測下一個結果，但不能預測當前的治療分配。我們基于合成的和真實的數據集評估我們的因果Transformer，在這些數據集中，它實現了優于當前基線的性能。據我們所知，這是第一個提出基于transformer的架構來從縱向數據估計反事實結果的工作。

我們研究離線元強化學習，這是一種實用的強化學習范式，從離線數據中學習以適應新的任務。離線數據的分布由行為策略和任務共同決定。現有的離線元強化學習算法無法區分這些因素，導致任務表示對行為策略的變化不穩定。為了解決這個問題，我們提出了一個任務表示的對比學習框架，該框架對訓練和測試中的行為策略分布不匹配具有魯棒性。我們設計了一個雙層編碼器結構，使用互信息最大化來形式化任務表示學習，導出了一個對比學習目標，并引入了幾種方法來近似負對的真實分布。在各種離線元強化學習基準上的實驗表明，我們的方法比以前的方法更有優勢，特別是在泛化到非分布行為策略上。代碼可以在//github.com/PKU-AI-Edge/CORRO上找到。

一個基本的因果建模任務是在觀察到的協變量X存在的情況下，預測干預(或治療)D= D對結果Y的影響。我們可以通過將條件平均E(Y|X,D)的估計gamma(X,D)除以P(X)，來獲得平均治療效果(ATE: D干預的預期結果)。更復雜的因果問題需要更細致的處理。例如，被治療者的平均治療(ATT)解決了一個反事實:在接受治療的亞群體中，治療d'的結果是什么?在這種情況下，我們必須在條件分布P(X\d)上邊緣化伽瑪，這對連續多變量d來說是一個挑戰。許多附加的因果問題要求我們在條件分布上邊緣化，包括條件ATE、調解分析、動態治療效應、并使用代理變量校正未觀察到的混雜因素。我們使用核方法在非參數設置中解決這些問題，核方法可以應用于非常一般的處理D和協變量X(連續多元，字符串，組，…)。我們通過核嶺回歸學習\gamma，并使用核條件均值嵌入對條件分布進行邊緣化，這可以被認為是兩階段最小二乘的推廣。在一般的平滑假設下，我們提供了強大的統計保證，以及一個簡單而穩健的實現(幾行代碼)。

//informatics.research.ufl.edu/wp-content/uploads/Arthur-Gretton-talk.pdf

結構化數據在網絡應用中很好地存在，如社交媒體中的社交網絡、學術網站中的引文網絡、在線論壇中的線程數據。由于拓撲結構的復雜性，這些數據中的豐富信息難以處理和利用。圖神經網絡(GNN)在結構化數據的學習表示方面顯示出極大的優勢。然而，深度學習模型的不透明性使得解釋GNN的預測變得非常重要。同時，GNN解釋的評價也是一個巨大的挑戰，因為在很多情況下，基準真相解釋是不可用的。在本文中，我們從因果推理理論中借鑒反事實和事實推理(CF^2)的觀點，來解決可解釋GNN中的學習和評價問題。為了生成解釋，我們提出了一個模型無關的框架，通過建立一個優化問題的基礎上，這兩個隨意的觀點。這將CF^2與之前只考慮其中一個的可解釋GNN區分開來。這項工作的另一個貢獻是對GNN解釋的評價。為了在不要求基本事實的情況下定量地評估生成的解釋，我們設計了基于反事實和事實推理的度量標準，以評估解釋的必要性和充分性。實驗表明，無論基準真相解釋是否可用，CF^2在真實數據集上都比以前的最先進的方法產生了更好的解釋。此外，統計分析證明了基準真相評估和我們提出的指標之間的相關性。

//www.zhuanzhi.ai/paper/3b2867aa0d96b5b6a4993c1affa0e534

與傳統的監督學習不同，在許多情況下，只有部分反饋是可用的。我們可能只觀察所選擇的行動的結果，而不是與其他選擇相關的反事實的結果。這些設置包括各種各樣的應用，包括定價、在線營銷和精準醫療。一個關鍵的挑戰是，觀測數據受到系統中部署的歷史策略的影響，從而產生偏倚的數據分布。我們將這一任務視為一個領域適應性問題，并提出了一種自訓練算法，該算法通過偽標記將觀察數據中有限的看不見的行動的分類值的結果來模擬隨機試驗，我們稱之為反事實自訓練(CST)。CST迭代地輸入偽標簽并重新訓練模型。此外，我們還發現輸入一致性損失可以進一步提高CST性能，這在最近的偽標記理論分析中得到了證明。我們證明了所提出的算法在合成和真實數據集的有效性。

//arxiv.org/abs/2112.04461

解糾纏方法的重點一直是識別數據中的獨立變異因素。然而，真實世界觀察的因果變量在統計上往往不是獨立的。在這項工作中，我們通過分析大規模實證研究(包括4260個模型)中對相關數據最突出的解糾纏方法的行為，彌合了與現實場景的差距。我們展示并量化了從數據集中系統導出的相關性被學習并反映在潛在表示中，這對解糾纏的下游應用(如公平)有影響。我們還演示了如何解決這些潛在的相關性，要么在訓練期間使用弱監督，要么通過事后糾正帶有少量標簽的預訓練模型。

//www.zhuanzhi.ai/paper/4c164ade5a0d379632739e73d99900b2

元學習理論的一個關鍵問題是如何理解任務分布對遷移風險的影響，即從未知任務分布中得出的元學習器對新任務的預期錯誤。本文針對高斯噪聲和高斯任務(或參數)分布的固定設計線性回歸問題，給出了任意算法的分布相關的遷移風險下界，同時給出了一種新的，所謂的偏置正則化回歸方法的加權版本能夠將這些下界匹配到一個固定的常數因子。值得注意的是，權重是由高斯任務分布的協方差得到的。總之，我們的結果提供了在這種高斯設置下元學習的困難的精確表征。雖然這個問題設置可能看起來很簡單，但我們證明它足夠豐富，可以統一元學習的“參數共享”和“表示學習”流; 特別地，表示學習是作為任務分布的協方差矩陣未知的特殊情況得到的。在這種情況下，我們提出采用EM方法，這在我們的情況下顯示了有效的更新。本文通過對EM的實證研究完成，實驗結果表明，EM算法可以隨著任務數量的增加而達到下界，同時在表示學習環境中，該算法也能成功地與其他算法相媲美。

//icml.cc/Conferences/2021/Schedule?showEvent=10047

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

當演示專家的潛在獎勵功能在任何時候都不能被觀察到時，我們解決了在連續控制的背景下模仿學習算法的超參數(HPs)調優的問題。關于模仿學習的大量文獻大多認為這種獎勵功能適用于HP選擇，但這并不是一個現實的設置。事實上，如果有這種獎勵功能，就可以直接用于策略訓練，而不需要模仿。為了解決這個幾乎被忽略的問題，我們提出了一些外部獎勵的可能代理。我們對其進行了廣泛的實證研究(跨越9個環境的超過10000個代理商)，并對選擇HP提出了實用的建議。我們的結果表明，雖然模仿學習算法對HP選擇很敏感，但通常可以通過獎勵功能的代理來選擇足夠好的HP。

//www.zhuanzhi.ai/paper/beffdb76305bfa324433d64e6975ec76