亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

熵因果推斷是一種最新的框架，通過尋找數據的信息-理論上最簡單的結構解釋，即最小熵模型，從觀測數據中學習兩個變量之間的因果圖。在我們的工作中，我們首先推廣了松弛假設下的因果圖可辨識性結果。然后，我們展示了第一個可識別的結果，使用熵的方法學習超過兩個節點的因果圖。該方法利用了一個屬性，即一個源節點和它的后代節點之間的祖先關系可以用二元熵測試來確定。我們提供了一種基于此特性的普通圖的有序剝離算法。我們還提出了一個啟發式算法，小圖顯示了較強的經驗性能。我們嚴格評估我們的算法在各種模型生成的合成數據上的性能，觀察與之前工作相比的改進。最后，我們在真實的數據集上測試我們的算法。

//proceedings.mlr.press/v162/gresele22a.html

常識性因果推理(CCR)的目的是在自然語言描述中確定一般人認為合理的合理原因和結果。盡管這一問題具有很大的學術和實踐興趣，但它仍然被缺乏一個合適的理論框架所籠罩;現有的工作通常完全依賴于深度語言模型，并且可能容易混淆共現現象。在經典因果原理的推動下，我們闡明了CCR的核心問題，并將觀察性研究中的人類受試者與自然語言進行比較，從而將CCR引入到潛在結果框架中，這是對常識性任務的首次嘗試。我們提出了一個新的框架ROCK來推理常識K(C)相關性的O(a)，它利用時間信號作為偶然監督，并使用類似于傾向評分的時間傾向來平衡混雜效應。ROCK的實現是模塊化和零樣本的，并展示了良好的CCR能力。

最大似然(Maximum likelihood, ML)是最基本、最通用的統計估計技術之一。受最近分布函數估計進展的啟發，我們提出壓縮最大似然(CML)，它將ML應用于壓縮樣本。然后，我們證明了CML對于離散和連續域上的幾個基本學習任務是樣本有效的，包括具有結構的學習密度、估計概率多集和推斷對稱分布函數。

//proceedings.mlr.press/v139/hao21c.html

【導讀】圖神經網絡與因果推理是當下大家關注的焦點，GNN有強大的圖結構建模表達能力，因果推理旨在探究因果關系結構，如何將兩者聯系起來是一個挑戰性的問題？來自TU&DeepMind的研究人員將這兩者做了研究，建立基于GNN的因果推理。

因果性可以用結構因果模型(SCM)來描述，該模型承載了有關興趣變量及其機械關系的信息。對于大多數感興趣的過程來說，底層的SCM將只是部分可見的，因此因果推理試圖利用任何觀察的信息。圖神經網絡(GNN)作為結構化輸入的通用逼近器，為因果學習提供了一個可行的候選者，建議與SCM更緊密的集成。為此，我們提出了從第一原理出發的理論分析，在GNN和SCM之間建立了新的聯系，同時提供了一般神經因果模型的擴展觀點。然后我們建立了一個新的基于GNN的因果推理模型類，該模型類是因果效應識別的必要和充分條件。我們對模擬和標準基準的實證說明驗證了我們的理論證明。

//www.zhuanzhi.ai/paper/8c09c90940b1603f6d6dbce7335df3fc

引言

理解因果關系是人類認知的核心，因此對科學、工程、商業和法律具有很高的價值(Penn and Povinelli 2007)。發展心理學向我們展示了孩子們是如何像科學家一樣進行探索的，都是通過問“如果……會怎么樣?””和“為什么?這類問題((Gopnik 2012; Buchsbaum et al. 2012; Pearl and Mackenzie 2018)，而人工智能研究夢想將科學家的行為方式自動化(McCarthy 1998; McCarthy and Hayes 1981; Steinruecken et al. 2019)。深度學習帶來了可優化的逼近普適性，這是指對于任何函數都存在一個接近任意精度的神經網絡(Cybenko 1989;Hornik 1991)。這種能力已經在各種應用中獲得了巨大的成功(Krizhevsky, Sutskever, and Hinton 2012;Mnih et al. 2013;Vaswani et al. 2017)。因此，將因果關系與深度學習相結合，對于即將達到人類智能水平的研究具有至關重要的意義。對所謂的神經-因果模型進行緊密整合的初步嘗試(Xia et al. 2021;Pawlowski, Castro, and Glocker 2020)的存在，并顯示出有望實現一個系統的夢想，該系統在其最令人印象深刻的應用中，可以執行與現代神經模塊同樣規模的有效性的因果推理。

雖然因果關系在過去十年中已經被徹底地正式化了(Pearl 2009;Peters, Janzing, and Scholkopf 2017)，“另一方面，深度學習在實際應用中取得了成功，理論突破仍然很少。”Bronstein等人(2017)率先提出了幾何深度學習的概念，從幾何觀點出發并將其推廣到現代架構的一類重要神經網絡是圖神經網絡(GNN) (Velickovi ˇ c et al. 2017; Kipf and Welling 2016a; Gilmer ′ et al. 2017)。與其他專門的神經網絡類似，GNN在藥物發現(Stokes et al. 2020)和谷歌地圖的ETA預測(DerrowPinion et al. 2021)等專門應用中取得了最先進的性能。這些特性，我們稱之為歸納偏差，可以利用其他證明不可能的推論(Gondal et al. 2019)。

顧名思義，GNN在輸入的結構上放置了一個歸納偏差，即，輸入的維度是相關的，這樣它們就形成了一個圖結構。要回到因果關系，其核心是結構因果模型(SCM)，它被認為是負責數據生成的現實模型。SCM在其所建模的變量上暗示了一個圖結構，而由于GNN研究的是圖，對這兩個模型之間的關系進行更仔細的檢查似乎對神經因果人工智能的研究進展是合理的。我們沒有從因果關系的原則中獲得靈感來改進機器學習(Mitrovic等人，2020年)，而是展示了GNN如何用于執行因果計算，即因果關系如何在神經模型中出現。更準確地說，因果推理是指Pearl因果層次(PCH)模型(Bareinboim et al. 2020)。也就是說，我們以(部分)因果圖和/或來自層次結構不同層次的數據的形式獲得了關于SCM的部分知識。

總的來說，我們做出了一些關鍵貢獻: (1) 我們從第一性原理推導出GNN和SCM之間的理論聯系; (2)定義一個更細粒度的NCM; (3) 我們形式化了GNN的干預，并由此建立了一個新的神經因果模型類，利用自動編碼器;(4) 在與現有工作相關的情況下，我們提供了關于這一新的模型類的可行性、表達性和可識別性的理論結果和證明。(5) 我們實證檢驗了我們的理論模型在識別和估計任務中的實際因果推理。

在現實世界中，存在許多難以用數學方法指定的約束條件。然而，對于強化學習(RL)的現實部署來說，RL agent意識到這些約束條件是至關重要的，這樣它們才能安全地行動。在這項工作中，我們考慮了學習約束的問題，從一個遵守約束的行為的示范。我們通過實驗驗證了我們的方法，并證明了我們的框架能夠成功地學習agent所尊重的最有可能的約束。我們進一步證明，這些習得的約束是可轉移到新個體的，這些新個體可能具有不同的形態和/或獎賞功能。在這方面，之前的工作要么主要局限于表格(離散)設置、特定類型的約束，要么假設環境的過渡動力學。相比之下，我們的框架能夠在完全無模型的環境中學習高維中的任意文本{馬爾可夫}約束。代碼可在:\url{//github.com/shehryar-malik/icrl}。

摘要

科學研究的一個基本目標是了解因果關系。然而，盡管因果關系在生命和社會科學中發揮著關鍵作用，但在自然語言處理(NLP)中卻沒有同等的重要性，后者傳統上更重視預測任務。隨著因果推理和語言處理融合的跨學科研究的興起，這種區別正開始消失。然而，關于NLP中因果關系的研究仍然分散在各個領域，沒有統一的定義、基準數據集和對剩余挑戰的清晰表述。在這項綜述中，我們鞏固了跨學術領域的研究，并將其置于更廣闊的NLP景觀中。我們介紹了估計因果效應的統計挑戰，包括文本作為結果、治療或解決混淆的手段的設置。此外，我們還探討了因果推理的潛在用途，以改善NLP模型的性能、魯棒性、公平性和可解釋性。因此，我們為計算語言學界提供了一個統一的因果推理概述。

引言

許多科學領域對將融入文本為數據越來越感興趣(例如，Roberts et al., 2014; Pryzant et al., 2017; Zhang et al., 2020a)。自然語言處理(NLP)研究人員可能不熟悉這些領域的一個關鍵特性，是強調因果推理，通常用于評估策略干預。例如，在推薦一種新的藥物治療之前，臨床醫生想知道這種藥物對疾病進展的因果關系。因果推理涉及到一個通過干預創造的反事實世界的問題:如果我們給病人用藥，他們的疾病進展會如何?正如我們下面所解釋的，在觀察數據中，因果關系并不等同于服用藥物的患者與其觀察到的疾病進展之間的相關性。現在有大量關于使用傳統(非文本)數據集進行有效推理的技術的文獻(例如，Morgan and Winship, 2015)，但將這些技術應用于自然語言數據提出了新的和基本的挑戰。

相反，在經典的NLP應用中，目標只是做出準確的預測:任何統計相關性通常都被認為是可接受的，不管潛在的因果關系是什么。然而，隨著NLP系統越來越多地部署在具有挑戰性和高風險的場景中，我們不能依賴通常的假設，即訓練和測試數據是相同分布的，我們可能不會滿足于無法解釋的黑箱預測器。對于這兩個問題，因果關系提供了一條有希望的前進道路: 數據生成過程中因果結構的領域知識可以提示歸納偏差，導致更魯棒的預測器，而預測器本身的因果視圖可以提供關于其內部工作的新見解。

這篇調查論文的核心主張是，探究因果關系和NLP之間的聯系，有可能推進社會科學和NLP研究者的目標。我們將因果關系和自然語言處理的交集分為兩個不同的領域: 從文本中估計因果效應，以及使用因果形式主義使自然語言處理方法更可靠。我們將用兩個例子來說明這種區別。

NLP幫助因果關系。文本數據的因果推理涉及幾個不同于典型因果推理設置的挑戰:文本是高維的，需要復雜的建模來衡量語義上有意義的因素，如主題，并需要仔細思考，以形式化因果問題對應的干預。從主題模型到上下文嵌入，自然語言處理在建模語言方面的發展為從文本中提取所需信息以估計因果效應提供了有前景的方法。然而，我們需要新的假設，以確保使用NLP方法導致有效的因果推理。我們將在第3節討論從文本中估計因果效應的現有研究，并強調這些挑戰和機遇。

因果關系可以幫助NLP。為了解決NLP方法帶來的穩健性和可解釋性挑戰，我們需要新的標準來學習超越利用相關性的模型。例如，我們希望預測器對于我們對文本所做的某些更改是不變的，例如在保持ground truth標簽不變的情況下更改格式。利用因果關系來發展新的準則，為建立可靠的、可解釋的自然語言處理方法提供服務，這是相當有希望的。與文本因果推理的研究領域相比，因果關系和NLP研究的這一領域較少被理解，盡管最近的經驗成功很好地推動了這一領域的研究。在第4節中，我們涵蓋了現有的研究，并回顧了使用因果關系來改進自然語言處理的挑戰和機遇。

該論文調研了文本數據在因果推理中的作用(Egami et al., 2018; Keith et al., 2020)。在本文中，我們采取了一個更廣泛的視角，將因果關系和自然語言處理的交集分為兩個截然不同的研究線，即估計因果效應和因果驅動的自然語言處理方法。在閱讀了本文之后，我們設想讀者將對以下內容有一個廣泛的理解:

• 使用文本數據和NLP方法所特有的統計和因果挑戰;
• 在評估文本效果和應用因果關系來
• 改進NLP方法方面的開放問題。

高維黑盒優化仍然是一個重要但卻極富挑戰性的問題。盡管貝葉斯優化方法在連續域上取得了成功，但對于分類域，或者混合了連續變量和分類變量的域，仍然具有挑戰性。我們提出了一種新的解決方案——我們將局部優化與定制的內核設計相結合，有效地處理高維分類和混合搜索空間，同時保持樣本效率。我們進一步推導了該方法的收斂性保證。最后，我們通過經驗證明，我們的方法在性能、計算成本或兩者方面都優于當前的各種合成和現實任務基準。

//www.zhuanzhi.ai/paper/caddcda9300c2842d75559e1b57a8304

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現基于因果推理（Causal Inference）相關的投稿paper很多，因果推理，以及反事實等相關理論方法在CV、NLP都開始有相關的應用了，這個前沿的方法受到了很多人的關注。

為此，這期小編為大家奉上AAAI 2021必讀的六篇因果推理相關論文——故事情節生成、反事實公平性、定向因果圖、元因果學習、算法公平性

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

ICLR2020CI、ICML2020CI

1. Automated Storytelling via Causal, Commonsense Plot Ordering

作者：Prithviraj Ammanabrolu, Wesley Cheung, William Broniec, Mark O. Riedl

摘要：故事情節的自動生成是一個生成情節事件連貫序列的任務。人們認為，情節事件之間的因果關系會增加對故事和情節連貫性的認識。在這項工作中，我們引入軟因果關系（soft causal relations）的概念，這是從常識推理中得出的因果關系。我們提出了C2PO，一種敘事生成方法，通過因果關系，常識性情節排序（Commonsense Plot Ordering）來實現此概念。使用人類參與協議（human-participant protocols），我們使用具有不同常識性推理方法和歸納性偏差的基準系統評估我們的系統，以確定軟因果關系在感知故事質量中的作用。通過這些研究，我們還探討了不同敘事類型的常識性規范的變化如何影響故事質量的感知。

代碼：

網址：

2. Counterfactual Fairness with Disentangled Causal Effect Variational Autoencoder

作者：Hyemi Kim, Seungjae Shin, JoonHo Jang, Kyungwoo Song, Weonyoung Joo, Wanmo Kang, Il-Chul Moon

摘要：如果我們提出一種從分類特征中刪除嵌入的敏感信息的方法，則可以緩解公平分類的問題。區分敏感信息的這條研究線是通過因果推理而建立的，因果推理使反事實世代（counterfactual generations）能夠對比相反敏感屬性的假設情況。隨著因果關系的分離，深層潛在因果模型中的一個常見假設定義了一個單個潛在變量來吸收因果圖的整個外生不確定性。但是，這種結構無法從數據中區分出1）干預（intervention）引起的信息（即敏感變量）和2）與干預相關的信息。因此，本文提出了解因果效應變量自編碼器（DCEVAE），通過將外部不確定性分解為兩個潛在變量來解決這一局限性：1）獨立于干預措施或2）與無因果關系的干預措施相關。特別地，我們的解纏方法保留了與生成反事實示例的干預措施相關的潛在變量。我們證明了我們的方法在沒有完整因果圖的情況下估計了總體效果和反事實效果。通過添加公平正則化，DCEVAE可以生成反事實公平數據集，同時減少了原始信息。而且，DCEVAE僅通過翻轉敏感信息即可生成自然的反事實圖像。此外，我們從潛在的糾纏的角度從理論上展示了DCEVAE和先前工作的協方差結構的差異。

網址：

3. Discovering Fully Oriented Causal Networks

作者：Osman Mian, Alexander Marx and Jilles Vreeken

摘要：我們研究了從觀測數據推斷因果圖的問題。我們對發現所有邊緣是定向的圖特別感興趣，這與最新技術發現的部分有向圖相反。為此，我們的方法基于算法馬爾可夫條件。與統計馬爾可夫條件不同，它唯一地標識了真正的因果網絡，因為它是最簡單的聯合分布因式分解（以Kolmogorov復雜性衡量）。盡管Kolmogorov復雜度無法計算，但我們可以通過最小描述長度原理從上方進行近似，這使我們能夠基于非參數多元回歸定義一致且可計算的得分。為了在實踐中有效地發現因果網絡，我們引入了GLOBE算法，該算法貪婪地添加，移除和定向邊緣，以使總損失最小化。通過廣泛的實驗，我們證明了GLOBE在實踐中表現非常出色，略微領先于最新技術。

網址：

4. Meta learning for Causal Direction

作者：Jean-Francois Ton, Dino Sejdinovic, Kenji Fukumizu

摘要：由于許多科學領域的固有局限性，導致無法進行隨機對照試驗一直是因果推理的基本問題。在本文中，我們專注于在有限的觀測數據下，在雙變量環境中區分原因和結果。基于元學習和因果推理的最新發展，我們介紹了一種新穎的生成模型，該模型可以在小數據設置中區分因果關系。使用包含每個數據集分布信息的學習任務變量，我們提出了一種端到端算法，該算法在測試時使用了類似的訓練數據集。我們在各種合成數據和現實數據中展示了我們的方法，并表明它能夠在檢測不同數據集大小的方向時保持高精度。

網址：

5. Equivalent Causal Models

作者：Sander Beckers

摘要：本文的目的是在兩個模型都不由相同變量組成的情況下，提供對等價因果模型的第一個系統性探索和定義。我們的想法是，當兩個模型都可以使用其公共變量表示的所有“基本”因果信息時，它們是等效的。為此，我著眼于因果模型的兩個主要特征，即它們的結構關系和特征關系。特別是，我定義了因果關系的幾個關系和因果充分性的幾個關系，并要求這些關系中最籠統的關系在等效模型中保留。

網址：

6. The Importance of Modeling Data Missingness in Algorithmic Fairness: A Causal Perspective

作者：Naman Goel, Alfonso Amayuelas, Amit Deshpande, Amit Sharma

摘要：用于機器學習的訓練數據集通常具有某種形式的缺失。例如，要學習用于確定向誰貸款的模型，可用的訓練數據包括過去曾獲得貸款的個人，而不是那些沒有得到貸款的個人。如果忽略了這種缺失，那么在部署模型時，訓練過程的任何公平性保證都將無效。我們使用因果圖，描述了不同現實情況下的缺失機制。我們展示了在何種條件下能夠或者不能從訓練數據中恢復流行的公平算法中使用的各種分布。我們的理論結果表明，這些算法中有許多不能保證實踐中的公平。對缺失進行建模還有助于確定公平算法的正確設計原理。例如，在多階段設置中，在多個篩選回合中做出決策，我們使用我們的框架來得出設計公平算法所需的最小分布。我們提出的算法分散了決策過程，并且仍然實現了與需要集中化和不可恢復分布的最優算法相似的性能。

網址：