亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

我們探索機器學習(ML)和因果推理之間的關系。通過相互借鑒，我們專注于改進每一個方面。機器學習已經成功地應用于許多問題，但由于缺乏強有力的理論保證，導致了許多意想不到的失敗。當應用于不同的分布時，在訓練分布上表現良好的模型往往會崩潰;微小的擾動可以“欺騙”訓練好的模型，并極大地改變它的預測;訓練算法中的任意選擇會導致截然不同的模型;等等。另一方面，雖然因果推理方法的發展已經取得了巨大的進步，有很強的理論保證，但現有的方法通常不能應用于實踐，因為它們假設有大量的數據。研究ML和因果推理的交集，我們直接解決了ML中缺乏魯棒性的問題，并提高了因果推理技術的統計效率。

本論文工作背后的動機是改進用于指導決策的預測模型和因果模型的構建方法。自始至終，我們主要關注醫療健康上下文中的決策制定。在ML的因果關系方面，我們使用ML工具和分析技術來開發統計上有效的因果模型，可以指導臨床醫生在兩種治療方法之間選擇。在ML的因果關系方面，我們研究如何使用產生觀測數據的因果機制知識來有效地正則化預測模型，而不引入偏差。在臨床環境中，我們展示了如何使用因果知識來建立穩健和準確的模型來預測傳染性感染的傳播。在非臨床環境中，我們研究了如何使用因果知識來訓練在圖像分類中對分布轉移具有魯棒性的模型。

因果性是現在機器學習關注的焦點之一。倫敦大學學院和牛津大學的學者發布了《因果機器學習》綜述，非常值得關注！

因果機器學習(CausalML)是將數據生成過程形式化為結構因果模型(SCM)的機器學習方法的總稱。這使得人們可以對這一過程的變化的影響(即干預)和事后會發生什么(即反事實)進行推理。根據他們所解決的問題，我們將CausalML中的工作分為五組:(1)因果監督學習，(2) 因果生成模型，(3) 因果解釋，(4) 因果公平，(5) 因果強化學習。對每一類方法進行了系統的比較，并指出了有待解決的問題。此外，我們回顧了特定模式在計算機視覺、自然語言處理和圖形表示學習中的應用。最后，我們提供了因果基準的概述，并對這一新興領域的狀態進行了批判性的討論，包括對未來工作的建議。

引言

機器學習(ML)技術今天擅長在獨立和同分布(i.i.d)數據中尋找關聯。一些基本原則，包括經驗風險最小化、反向傳播和架構設計中的歸納偏差，已經為解決計算機視覺、自然語言處理、圖表示學習和強化學習等領域的問題帶來了巨大的進步。然而，在將這些模型部署到現實環境中時，出現了新的挑戰。這些挑戰包括: (1) 當數據分布轉移[1]時泛化性能大幅下降，(2) 生成模型[2]樣本缺乏細粒度控制，(3) 有偏見的預測強化了某些子種群的不公平歧視[3,4]，(4) 可解釋性[5]的概念過于抽象和問題獨立，(5)強化學習方法對真實世界問題[6]的不穩定轉換。

許多工作認為，這些問題的部分原因在于現代ML系統缺乏因果形式主義[7,8,9,10,11]。隨后，研究社區對因果機器學習(CausalML)的興趣激增，這是利用關于被建模系統的因果知識的方法本調查涵蓋了因果關系如何被用來解決開放式ML問題。簡而言之，因果推理提供了一種語言，通過結構因果模型(SCMs)[12]將關于數據生成過程(DGP)的結構知識形式化。使用SCM，我們可以估計在對數據生成過程進行更改(稱為干預)后，數據會發生什么變化。更進一步，它們還允許我們在事后模擬變化的后果，同時考慮實際發生的情況(稱為反事實)。我們將在第2章中更詳細地介紹這些概念，假設沒有因果關系的先驗知識。

盡管在設計各種類型的CausalML算法方面做了大量的工作，但仍然缺乏對其問題和方法論的明確分類。我們認為，部分原因在于CausalML通常涉及對大部分ML不熟悉的數據的假設，這些假設在不同的問題設置之間聯系起來通常很棘手，這使得很難衡量進展和適用性。這些問題是本次綜述的動機。

**1. 我們對完全獨立的因果關系中的關鍵概念進行了簡單的介紹(第2章)。**我們不假設對因果關系有任何先驗知識。在整個過程中，我們給出了如何應用這些概念來幫助進一步的地面直覺的例子。

2. 我們將現有的CausalML工作分類為因果監督學習(第3章)、因果生成模型(第4章)、因果解釋(第5章)、因果公平(第6章)、因果強化學習(第7章)。對于每個問題類，我們比較現有的方法，并指出未來工作的途徑。

3.我們回顧了特定模式在計算機視覺、自然語言處理和圖表示學習中的應用(第8章)，以及因果基準(第9章)。

4. 我們討論了好的、壞的和丑陋的:我們關于與非因果ML方法相比，因果ML可以給我們帶來哪些好處的觀點(好的)，人們必須為這些方法付出什么代價(壞的)，以及我們警告從業者要防范哪些風險(丑陋的)(第10章)。

結論發現**

• 因果推理(第二章)，與統計或概率推理相反，允許我們對介入和反事實的估計進行推理。
• 因果監督學習(第3章)通過學習不變特征或機制來改進預測泛化，兩者都旨在消除模型對虛假關聯的依賴。未來的工作應該研究學習不變性的目標基準測試、對抗魯棒性的聯系以及元學習，以及額外監督信號的潛在利用。
• 因果生成模型(第4章)支持從介入的或反事實的分布中采樣，自然地分別執行原則可控的生成或樣本編輯任務。所有現有的方法都學習結構作業;一些人還從數據中推斷出因果結構。對于不同的應用程序應該考慮什么層次的抽象，如何將分配學習擴展到更大的圖，以及反事實生成的數據增強何時有效(何時無效)，這些都有待探索。
• 因果解釋(第5章)解釋模型預測，同時解釋模型機制或數據生成過程的因果結構。方法可以分為特征歸因(量化輸入特征的因果影響)和對比解釋(表示獲得期望結果的改變實例)。到目前為止，還不清楚如何最好地統一這兩類方法，擴大解釋范圍，使它們對分布轉移具有魯棒性，對攻擊者安全和私有，以及如何規避不可避免的對追索敏感性的魯棒性權衡。
• 因果公平(第6章)為評估模型的公平性以及減輕潛在數據因果關系的有害差異的標準鋪平了道路。該標準依賴于反事實或介入性分布。未來的工作應該闡明在標準預測設置之外的平等、公平、較弱的可觀察性假設(例如隱藏的混淆)以及對社會類別的干預主義觀點的有效性。
• 因果強化學習(第7章)描述了考慮決策環境的顯性因果結構的RL方法。我們將這些方法分為7類，并觀察到它們比非因果方法的好處包括反發現(導致更好的泛化)、內在獎勵和數據效率。開放的問題表明，一些形式主義可能是統一的，離線數據的反發現在離線RL部分很大程度上沒有解決，而代理根據反事實做出的決定可能會提供進一步的好處。
• 模態-應用:我們回顧了之前介紹的和模態特定原則如何提供機會來改善計算機視覺、自然語言處理和圖形表示學習設置。

本課程的教材是從機器學習的角度寫的，是為那些有必要先決條件并對學習因果關系基礎感興趣的人而開設的。我盡我最大的努力整合來自許多不同領域的見解，利用因果推理，如流行病學、經濟學、政治學、機器學習等。

有幾個主要的主題貫穿全課程。這些主題主要是對兩個不同類別的比較。當你閱讀的時候，很重要的一點是你要明白書的不同部分適合什么類別，不適合什么類別。

統計與因果。即使有無限多的數據，我們有時也無法計算一些因果量。相比之下，很多統計是關于在有限樣本中解決不確定性的。當給定無限數據時，沒有不確定性。然而，關聯，一個統計概念，不是因果關系。在因果推理方面還有更多的工作要做，即使在開始使用無限數據之后也是如此。這是激發因果推理的主要區別。我們在這一章已經做了這樣的區分，并將在整本書中繼續做這樣的區分。

識別與評估。因果效應的識別是因果推論所獨有的。這是一個有待解決的問題，即使我們有無限的數據。然而，因果推理也與傳統統計和機器學習共享估計。我們將主要從識別因果效應(在第2章中,4和6)之前估計因果效應(第7章)。例外是2.5節和節4.6.2,我們進行完整的例子估計給你的整個過程是什么樣子。

介入與觀察。如果我們能進行干預/實驗，因果效應的識別就相對容易了。這很簡單，因為我們可以采取我們想要衡量因果效應的行動，并簡單地衡量我們采取行動后的效果。觀測數據變得更加復雜，因為數據中幾乎總是引入混雜。

假設。將會有一個很大的焦點是我們用什么假設來得到我們得到的結果。每個假設都有自己的框來幫助人們注意到它。清晰的假設應該使我們很容易看到對給定的因果分析或因果模型的批評。他們希望，清晰地提出假設將導致對因果關系的更清晰的討論。

Andrew Gordon Wilson，紐約大學Courant數學科學研究所和數據科學中心助理教授，曾擔任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的區域主席/SPC以及ICML 2019、2020年EXO主席。 個人主頁：//cims.nyu.edu/~andrewgw/

貝葉斯深度學習與概率模型構建

貝葉斯方法的關鍵區別屬性是間隔化，而不是使用單一的權重設置。貝葉斯間隔化尤其可以提高現代深度神經網絡的準確性和標度，這些數據通常不充分指定，并可以代表許多引人注目但不同的解決方案。研究表明，深層的綜合系統提供了一種有效的近似貝葉斯間隔化機制，并提出了一種相關的方法，在沒有顯著開銷的情況下，通過在吸引 basins 內間隔化來進一步改進預測分布。我們還研究了神經網絡權值的模糊分布所隱含的先驗函數，從概率的角度解釋了這些模型的泛化特性。從這個角度出發，我們解釋了一些神秘而又不同于神經網絡泛化的結果，比如用隨機標簽擬合圖像的能力，并表明這些結果可以用高斯過程重新得到。我們還表明貝葉斯平均模型減輕了雙下降，從而提高了靈活性，提高了單調性能。最后，我們提供了一個貝葉斯角度的調溫校正預測分布。

視頻地址：

【導讀】機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自德國人工智能教授 Bernhard Sch?lkopf教授講述《因果性》，177頁ppt系統性講述了機器學習中的因果性，非常干貨。

由Judea Pearl開創的圖因果推理起源于人工智能(AI)的研究，在很長一段時間內與機器學習領域幾乎沒有聯系。本文認為，機器學習和人工智能的硬開放問題本質上與因果關系有關，并解釋了該領域是如何開始理解它們的。

近年來，機器學習社區對因果關系的興趣顯著增加。我對因果關系的理解是由Judea Pearl和許多合作者和同事所啟發的，其中的大部分內容來自與Dominik Janzing和Jonas Peters合著的一本書(Peters et al.， 2017)。我已經在各種場合談論過這個話題，其中一些正在進入機器學習的主流，特別是因果建模可以提升機器學習模型的魯棒性。因果性和機器學習的交叉的發展令人興奮。這篇報告不僅能夠對討論因果思維對AI的重要性有所幫助，而且還可以為機器學習的觀眾介紹一些圖或結構因果模型的相關概念。

盡管最近取得了諸多成功，但如果我們將機器學習的能力與動物的能力進行比較，我們會發現，在一些動物擅長的關鍵技能上，前者相當糟糕。這包括遷移到新問題,任何形式的泛化,不是從一個數據點到下一個從相同的分布(采樣),而是從一個問題到下一個——都被稱為泛化。這個缺點并不是太令人吃驚，因為機器學習經常忽略生物大量使用的信息: 世界干預、領域遷移、時間結構。最后，機器學習也不擅長思考，在康拉德洛倫茨的意義上，即，在想象的空間中行動。我認為，因果性關注建模和推理，可以對理解和解決這些問題做出實質性的貢獻，從而將該領域帶入下一個層次。

視頻： //www.youtube.com/watch?v=btmJtThWmhA&feature=youtu.be

目錄內容：

• 背景介紹
• 結構化因果模型
• 獨立機制與解纏分解
• 做微積分
• 混淆
• 因果發現：兩變量情況
• 因果機器學習
• 時間序列

人類的視覺系統證明，用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說，這種能力來自于看到了數百萬個其他類別，并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系，以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的，所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程，例如，一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸，并保證最終模型的性能。