在一個常見的機器學習問題中,使用對訓練數據集估計的模型,根據觀察到的特征預測未來的結果值。當測試數據和訓練數據來自相同的分布時,許多學習算法被提出并證明是成功的。然而,對于給定的訓練數據分布,性能最好的模型通常會利用特征之間微妙的統計關系,這使得它們在應用于分布與訓練數據不同的測試數據時,可能更容易出現預測錯誤。對于學術研究和實際應用來說,如何開發能夠穩定和穩健地轉換數據的學習模型是至關重要的。
因果推理是指根據效果發生的條件得出因果關系的結論的過程,是一種強大的統計建模工具,用于解釋和穩定學習。本教程側重于因果推理和穩定學習,旨在從觀察數據中探索因果知識,提高機器學習算法的可解釋性和穩定性。首先,我們將介紹因果推論,并介紹一些最近的數據驅動方法,以估計因果效應從觀測數據,特別是在高維設置。為了彌補因果推理和機器學習之間的差距,我們首先給出了穩定性和魯棒性學習算法的定義,然后將介紹一些最近的穩定學習算法來提高預測的穩定性和可解釋性。最后,我們將討論穩定學習的應用和未來的發展方向,并提供穩定學習的基準。
可解釋的機器學習模型和算法是越來越受到研究、應用和管理人員關注的重要課題。許多先進的深度神經網絡(DNNs)經常被認為是黑盒。研究人員希望能夠解釋DNN已經學到的東西,以便識別偏差和失敗模型,并改進模型。在本教程中,我們將全面介紹分析深度神經網絡的方法,并深入了解這些XAI方法如何幫助我們理解時間序列數據。
圖神經網絡在圖表示學習領域取得了顯著的成功。圖卷積執行鄰域聚合,并表示最重要的圖運算之一。然而,這些鄰域聚合方法的一層只考慮近鄰,當進一步啟用更大的接受域時,性能會下降。最近的一些研究將這種性能下降歸因于過度平滑問題,即重復傳播使得不同類的節點表示無法區分。在這項工作中,我們系統地研究這一觀察結果,并對更深的圖神經網絡發展新的見解。本文首先對這一問題進行了系統的分析,認為當前圖卷積運算中表示變換與傳播的糾纏是影響算法性能的關鍵因素。將這兩種操作解耦后,更深層次的圖神經網絡可用于從更大的接受域學習圖節點表示。在建立深度模型時,我們進一步對上述觀察結果進行了理論分析,這可以作為過度平滑問題的嚴格而溫和的描述。在理論和實證分析的基礎上,我們提出了深度自適應圖神經網絡(DAGNN),以自適應地吸收來自大接受域的信息。一組關于引文、合著和共購數據集的實驗證實了我們的分析和見解,并展示了我們提出的方法的優越性。
題目: Causal Relational Learning
摘要:
因果推理是自然科學和社會科學實證研究的核心,對科學發現和知情決策至關重要。因果推理的黃金標準是進行隨機對照試驗;不幸的是,由于倫理、法律或成本的限制,這些方法并不總是可行的。作為一種替代方法,從觀察數據中進行因果推斷的方法已經在統計研究和社會科學中得到發展。然而,現有的方法嚴重依賴于限制性的假設,例如由同質元素組成的研究總體,這些同質元素可以在一個單平表中表示,其中每一行都被稱為一個單元。相反,在許多實際環境中,研究領域自然地由具有復雜關系結構的異構元素組成,其中數據自然地表示為多個相關表。在本文中,從關系數據中提出了一個正式的因果推理框架。我們提出了一種稱為CaRL的聲明性語言,用于捕獲因果背景知識和假設,并使用簡單的Datalog類規則指定因果查詢。CaRL為在關系領域中推斷復雜干預的影響的因果關系和推理提供了基礎。我們對真實的關系數據進行了廣泛的實驗評估,以說明CaRL理論在社會科學和醫療保健領域的適用性。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美國紐約舉辦。近年來,將傳統的處理效果估計方法(如匹配估計器)和先進的表示學習方法(如深度神經網絡)相結合的一個新興的研究方向在廣闊的人工智能領域引起了越來越多的關注。來自Georgia、Buffalo、阿里巴巴與Virginia的學者做了因果推理表示學習報告,在本教程中,介紹用于治療效果估計的傳統和最先進的表示學習算法。關于因果推論,反事實和匹配估計的背景也將被包括。我們還將展示這些方法在不同應用領域的應用前景。
摘要
因果推理在醫療保健、市場營銷、醫療保健、政治科學和在線廣告等許多領域都有大量的實際應用。治療效果估計作為因果推理中的一個基本問題,在統計學上已被廣泛研究了幾十年。然而,傳統的處理效果估計方法不能很好地處理大規模、高維的異構數據。近年來,將傳統的處理效果估計方法(如匹配估計器)和先進的表示學習方法(如深度神經網絡)相結合的一個新興的研究方向在廣闊的人工智能領域引起了越來越多的關注。在本教程中,我們將介紹用于治療效果估計的傳統和最先進的表示學習算法。關于因果推論,反事實和匹配估計的背景也將被包括。我們還將展示這些方法在不同應用領域的應用前景。
數十年來,因果推理是一個跨統計、計算機科學、教育、公共政策和經濟學等多個領域的重要研究課題。目前,與隨機對照試驗相比,利用觀測數據進行因果關系估計已經成為一個有吸引力的研究方向,因為有大量的可用數據和較低的預算要求。隨著機器學習領域的迅速發展,各種針對觀測數據的因果關系估計方法層出不窮。在這項調查中,我們提供了一個全面的綜述因果推理方法下的潛在結果框架,一個眾所周知的因果推理框架。這些方法根據是否需要潛在結果框架的所有三個假設分為兩類。對于每一類,分別對傳統的統計方法和最近的機器學習增強方法進行了討論和比較。并介紹了這些方法的合理應用,包括在廣告、推薦、醫藥等方面的應用。此外,還總結了常用的基準數據集和開放源代碼,便于研究者和實踐者探索、評價和應用因果推理方法。
地址:
簡介:
在這篇文章中,我們解釋了一種貝葉斯方法來推斷干預或行動的影響。我們表明,在標準貝葉斯方法內表示因果關系易處理和不可能查詢之間的邊界,并開辟了潛在的因果推理新方法。這篇文章是我們Arxiv論文的詳細但非正式的介紹:用貝葉斯規則代替do演算,用貝葉斯規則代替因果推論。
因果關系-它是什么以及如何推斷-一直是機器學習和統計學中最具爭議的主題之一。最近出版的《Book of Why》重新引發了關于是否可以在標準貝葉斯建模范式中進行因果推斷或是否需要根本不同方法的爭論,這一爭論由來已久。這場辯論始于90年代的Pearl和Rubin之間,一直持續到今天-尤其是在Andrew Gelman的博客上-參見Gelman和Pearl。在本文中,我們討論了一些旨在彌合這場辯論的近期工作。
下圖將觀察到的因果推論與標準統計進行了對比。 在標準統計問題中,我們具有由某些系統生成的數據,并且我們希望使用該數據來推斷系統的某些屬性。 在觀察性因果推論中,我們要使用一個系統(在某些干預之前的系統)生成的數據來推斷另一系統(在干預之后的系統)的屬性。 這就要求我們對這兩個系統之間的關系做出假設(或等效地,干預如何改變原始系統),并對這些假設進行建模,以確定從系統A采樣的哪些數據可以告訴我們有關系統B的信息。
題目: Causal Inference and Stable Learning
簡介:
在一個常見的機器學習問題中,使用一個根據訓練數據集估計的模型,根據觀察到的特征來預測未來的結果值。當測試數據和訓練數據來自相同的分布時,許多學習算法被提出并證明是成功的。然而,對于給定的訓練數據分布,性能最好的模型通常利用特征之間微妙的統計關系,這使得它們在應用于測試數據時更容易出現預測錯誤,因為測試數據的分布與訓練數據的分布不同。對于學術研究和實際應用來說,如何建立穩定、可靠的學習模型是至關重要的。因果推理是一種強大的統計建模工具,用于解釋和穩定的學習。因果推理是指基于某一效應發生的條件,對某一因果關系做出結論的過程。在本教程中,我們將重點討論因果推理和穩定學習,旨在從觀察數據中探索因果知識,以提高機器學習算法的可解釋性和穩定性。首先,我們將介紹因果推理,并介紹一些最近的數據驅動的方法來估計因果效應的觀測數據,特別是在高維設置。摘要為了彌補因果推理與機器學習在穩定學習上的差距,我們首先給出了學習算法的穩定性和魯棒性的定義,然后介紹了一些最近出現的穩定學習算法,以提高預測的穩定性和可解釋性。最后,我們將討論穩定學習的應用和未來方向,并為穩定學習提供基準。
邀請嘉賓:
張潼,香港科技大學計算機科學與數學教授。此前,他是羅格斯大學(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和騰訊(Tencent)工作。張潼的研究興趣包括機器學習算法和理論、大數據統計方法及其應用。他是ASA和IMS的研究員,曾在主要機器學習期刊的編委會和頂級機器學習會議的項目委員會任職。張潼在康奈爾大學獲得數學和計算機科學學士學位,在斯坦福大學獲得計算機科學博士學位。
崔鵬,清華大學計算機系長聘副教授,博士生導師。2010年于清華大學計算機系獲得博士學位。研究興趣包括社會動力學建模、大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域高水平會議和期刊發表論文60余篇,曾5次獲得頂級國際會議或期刊論文獎,并先后兩次入選數據挖掘領域頂級國際會議KDD最佳論文專刊。目前擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔尖人才,并當選中國科協全國委員會委員。
主題: An Overview of the International Planning Competition
摘要: 本教程介紹了自然語言的深度貝葉斯和序列學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖片標題生成、句子生成、對話控制、情感分類,推薦系統,問答和機器翻譯。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”在模型推理中可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、Chinese restaurant 過程、分層Pitman-Yor過程、Indian buffet過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼,生成對抗網絡,注意機制,記憶增強神經網絡,隨機神經網絡,預測狀態神經網絡,策略梯度和強化學習。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的個案研究,以解決深度貝葉斯學習與理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
邀請嘉賓: Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。