報告主題:Learning Causality and Learning with Causality: A Road to Intelligence
報告摘要:
吸煙會引起癌癥嗎?通過分析兩個變量的觀測值,我們能否找到它們之間的因果關系?在我們的日常生活和科學中,人們經常試圖回答此類因果問題,目的是正確理解和操縱系統。在過去的幾十年中,為了回答這些問題,在機器學習,統計和哲學等領域取得了有趣的進步。此外,我們還經常關注如何在復雜的環境中進行機器學習。例如,我們如何在非平穩環境中做出最佳預測?有趣的是,最近發現因果信息可以促進理解和解決各種機器學習問題,包括遷移學習和半監督學習。這篇演講回顧了因果關系研究中的基本概念,并側重于如何從觀察數據中學習因果關系,以及因果關系為何以及如何幫助機器學習和其他任務。最后,我將討論為什么因果表達很重要以便實現通用人工智能。
邀請嘉賓:美國卡耐基梅隆大學張坤博士
嘉賓簡介
張坤博士是卡內基梅隆大學哲學系的助理教授和機器學習系的副教授,也是德國馬克斯·普朗克智能系統研究所的高級研究科學家。他的研究興趣在于機器學習和人工智能,尤其是因果發現,基于因果關系的學習和通用人工智能。他從因果關系的角度開發了用于自動發現因果關系的方法,從因果關系角度研究學習問題,尤其是轉移學習,概念學習和深度學習,并研究了因果關系和各種機器學習任務的哲學基礎。他曾擔任大型機器學習或人工智能會議的區域主席或高級程序委員會成員,包括NeurIPS,UAI,ICML,AISTATS,AAAI和IJCAI。他組織了各種學術活動,以促進因果關系的跨學科研究。
【導讀】機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自德國人工智能教授 Bernhard Sch?lkopf教授講述《因果性》,177頁ppt系統性講述了機器學習中的因果性,非常干貨。
由Judea Pearl開創的圖因果推理起源于人工智能(AI)的研究,在很長一段時間內與機器學習領域幾乎沒有聯系。本文認為,機器學習和人工智能的硬開放問題本質上與因果關系有關,并解釋了該領域是如何開始理解它們的。
近年來,機器學習社區對因果關系的興趣顯著增加。我對因果關系的理解是由Judea Pearl和許多合作者和同事所啟發的,其中的大部分內容來自與Dominik Janzing和Jonas Peters合著的一本書(Peters et al., 2017)。我已經在各種場合談論過這個話題,其中一些正在進入機器學習的主流,特別是因果建模可以提升機器學習模型的魯棒性。因果性和機器學習的交叉的發展令人興奮。這篇報告不僅能夠對討論因果思維對AI的重要性有所幫助,而且還可以為機器學習的觀眾介紹一些圖或結構因果模型的相關概念。
盡管最近取得了諸多成功,但如果我們將機器學習的能力與動物的能力進行比較,我們會發現,在一些動物擅長的關鍵技能上,前者相當糟糕。這包括遷移到新問題,任何形式的泛化,不是從一個數據點到下一個從相同的分布(采樣),而是從一個問題到下一個——都被稱為泛化。這個缺點并不是太令人吃驚,因為機器學習經常忽略生物大量使用的信息: 世界干預、領域遷移、時間結構。最后,機器學習也不擅長思考,在康拉德洛倫茨的意義上,即,在想象的空間中行動。我認為,因果性關注建模和推理,可以對理解和解決這些問題做出實質性的貢獻,從而將該領域帶入下一個層次。
視頻: //www.youtube.com/watch?v=btmJtThWmhA&feature=youtu.be
目錄內容:
報告主題: From System 1 Deep Learning to System 2 Deep Learning
報告簡介: 早期,深度學習的進展主要集中在對靜態數據集的學習上,主要用于各類感知任務,這些任務大都依靠人類的直覺,可以在無意識的情況下完成,可稱為第一代系統需求。然而,最近幾年,隨著研究方向的轉變和一些新工具的出現諸如soft-attention和深度強化學習領域的進展,它們為深度學習架構和訓練框架的進一步發展,開啟了新的大門,這種深度架構和訓練框架有助于解決第二代系統需求(這種系統任務需要人類有意識的去完成),如在自然語言處理和其他應用當中的推理、規劃、因果關系捕獲和系統歸納等。從第一代系統的深度學習,擴展到第二代系統的任務之中,對于完成之前挖掘高層次抽象特征的目標是非常重要的,因為我們認為第二代系統需求,將會對表征學習提出更高的要求,以發掘出某種人類可以用語言進行巧妙處理的高級內容。我們認為,為了達到這個目標,soft-attention機制是關鍵因素,它每次都關注其中某幾個概念并進行計算,因為意識先驗及其相關的假設中,許多高層次的依賴關系可以被一個稀疏因子圖近似地捕捉到。最后,報告介紹了元學習,這種先驗意識和代理視角下的表征學習,會更加有助于以新穎的方式,支持強大的合成泛化形式。
嘉賓介紹: Yoshua Bengio是蒙特利爾大學計算機科學與運籌學系的教授,Mila和IVADO的科學總監和創始人,2018年圖靈獎獲得者,加拿大統計學習算法研究主席以及加拿大AI CIFAR主席。 他開創了深度學習的先河,并在2018年每天獲得全球所有計算機科學家中最多的引用。 他是加拿大勛章的官員,加拿大皇家學會的成員,并于2017年被授予基拉姆獎,瑪麗·維克多獎和年度無線電加拿大科學家,并且是NeurIPS顧問的成員, ICLR會議的董事會和聯合創始人,以及CIFAR“機器和大腦學習”計劃的程序總監。 他的目標是幫助發現通過學習產生智力的原理,并促進AI的發展以造福所有人。
主題: Causal Confusion in Imitation Learning
簡介: 行為克隆通過訓練判別模型來預測觀察到的專家行為,從而將策略學習轉換為監督學習,這樣的判別模型不是因果關系,因為訓練過程并不了解專家與環境之間相互作用的因果結構。我們認為,由于模仿學習中的分布變化,忽略因果關系尤其有害。特別是,這會導致違反直覺的“因果識別錯誤”現象:訪問更多信息可能會導致性能下降。我們調查了此問題的產生方式,并提出了一種解決方案,可通過有針對性的干預措施(環境互動或專家查詢)來解決,以確定正確的因果模型。
嘉賓介紹: Dinesh Jayaraman,賓夕法尼亞大學的新任助理教授,還是Facebook AI Research的客座研究員,致力于視覺和機器人技術的交叉問題,在此之前,曾是加州大學伯克利分校伯克利人工智能研究實驗室的博士后。
Pim de Haan,高通 AI的助理研究員,研究方向機器學習和數學幾何的交叉。
題目: Causal Inference and Stable Learning
簡介:
在一個常見的機器學習問題中,使用一個根據訓練數據集估計的模型,根據觀察到的特征來預測未來的結果值。當測試數據和訓練數據來自相同的分布時,許多學習算法被提出并證明是成功的。然而,對于給定的訓練數據分布,性能最好的模型通常利用特征之間微妙的統計關系,這使得它們在應用于測試數據時更容易出現預測錯誤,因為測試數據的分布與訓練數據的分布不同。對于學術研究和實際應用來說,如何建立穩定、可靠的學習模型是至關重要的。因果推理是一種強大的統計建模工具,用于解釋和穩定的學習。因果推理是指基于某一效應發生的條件,對某一因果關系做出結論的過程。在本教程中,我們將重點討論因果推理和穩定學習,旨在從觀察數據中探索因果知識,以提高機器學習算法的可解釋性和穩定性。首先,我們將介紹因果推理,并介紹一些最近的數據驅動的方法來估計因果效應的觀測數據,特別是在高維設置。摘要為了彌補因果推理與機器學習在穩定學習上的差距,我們首先給出了學習算法的穩定性和魯棒性的定義,然后介紹了一些最近出現的穩定學習算法,以提高預測的穩定性和可解釋性。最后,我們將討論穩定學習的應用和未來方向,并為穩定學習提供基準。
邀請嘉賓:
張潼,香港科技大學計算機科學與數學教授。此前,他是羅格斯大學(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和騰訊(Tencent)工作。張潼的研究興趣包括機器學習算法和理論、大數據統計方法及其應用。他是ASA和IMS的研究員,曾在主要機器學習期刊的編委會和頂級機器學習會議的項目委員會任職。張潼在康奈爾大學獲得數學和計算機科學學士學位,在斯坦福大學獲得計算機科學博士學位。
崔鵬,清華大學計算機系長聘副教授,博士生導師。2010年于清華大學計算機系獲得博士學位。研究興趣包括社會動力學建模、大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域高水平會議和期刊發表論文60余篇,曾5次獲得頂級國際會議或期刊論文獎,并先后兩次入選數據挖掘領域頂級國際會議KDD最佳論文專刊。目前擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔尖人才,并當選中國科協全國委員會委員。
講座題目
深強化學習及其在交通運輸中的應用:Deep Reinforcement Learning with Applications in Transportation
講座簡介
交通領域,特別是移動共享領域,有許多傳統上具有挑戰性的動態決策問題,這些問題有很長的研究文獻,很容易從人工智能(AI)中受益匪淺。一些核心例子包括在線乘車命令調度,它將可用的駕駛員與在共享平臺上請求乘客的行程實時匹配;路線規劃,它規劃行程的起點和終點之間的最佳路線;交通信號控制,它動態和自適應地調整實現低延遲的區域。所有這些問題都有一個共同的特點,即當我們關注某一特定時間范圍內的一些累積目標時,需要做出一系列的決定。強化學習(RL)是一種機器學習范式,它通過與環境的交互和獲取反饋信號,訓練agent學會在環境中采取最佳行動(以獲得的總累積回報衡量)。因此,它是一類求解序列決策問題的優化方法。
講座嘉賓
Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
題目: Learning Causality and Learning with Causality: A Road to Intelligence
摘要: 吸煙會引起癌癥嗎?通過分析兩個變量的觀測值,我們能否找到它們之間的因果關系?在我們的日常生活和科學中,人們經常試圖回答此類因果問題,目的是正確理解和操縱系統。在過去的幾十年中,為了回答這些問題,在機器學習,統計和哲學等領域取得了有趣的進步。此外,我們還經常關注如何在復雜的環境中進行機器學習。例如,我們如何在非平穩環境中做出最佳預測?有趣的是,最近發現因果信息可以促進理解和解決各種機器學習問題,包括遷移學習和半監督學習。這篇演講回顧了因果關系研究中的基本概念,并側重于如何從觀察數據中學習因果關系,以及因果關系為何以及如何幫助機器學習和其他任務。最后,我將討論為什么因果表達很重要以便實現通用人工智能。
報告人: 張坤 博士 美國卡內基梅隆大學,也是德國馬克斯·普朗克智能系統研究所的高級研究科學家。他的研究興趣在于機器學習和人工智能,尤其是因果發現,基于因果關系的學習和通用人工智能。他從因果關系的角度開發了用于自動發現因果關系的方法,從因果關系角度研究學習問題,尤其是轉移學習,概念學習和深度學習,并研究了因果關系和各種機器學習任務的哲學基礎。他曾擔任大型機器學習或人工智能會議的區域主席或高級程序委員會成員,包括NeurIPS,UAI,ICML,AISTATS,AAAI和IJCAI。他組織了各種學術活動,以促進因果關系的跨學科研究。
題目: Never-Ending Learning
簡介:
今天的機器學習方法與人類終身學習能力之間存在著明顯的差異。人類學習許多不同的功能和技能,從多年來獲得的不同經驗,從一個階段的課程中,他們首先學習更容易的任務,然后更困難的任務,保留所學的知識和技能,在隨后的學習中使用,使它更容易或更有效。此外,人類會對自己不斷進化的技能進行自我反思,隨著時間的推移選擇新的學習任務,相互教導,學習新的表現形式,閱讀書籍,討論相互競爭的假設等等。本教程將重點討論如何設計具有類似功能的機器學習智能體,包括強化學習和其他智能體學習體系結構、遷移和多任務學習、表示學習、平攤學習、自然語言教學和演示學習、實驗學習等主題的研究。
邀請嘉賓:
Tom M. Mitchell是卡內基梅隆大學(Carnegie Mellon University)計算機科學學院(School of Computer Science)臨時院長。Mitchell從事機器學習工作多年,與Jaime Carbonell和Ryszard Michalski共同創辦了ICML會議。最近,他指導了一個名為“永無止境的語言學習”(NELL)的項目,該項目持續運作了8年多,為如何構建學習系統提供了一個案例研究。Mitchell是美國國家工程學院的成員,美國藝術與科學學院的成員以及人工智能發展協會(AAAI)的前會長和研究員。
Partha Talukdar是班加羅爾的印度科學研究所(IISc)計算和數據科學(CDS)系的一名教員。他還是企業知識圖譜公司KENOME的創始人,該公司的使命是幫助企業理解大數據。在此之前,Partha是卡內基梅隆大學機器學習系的博士后,與Tom Mitchell一起參與了NELL項目。Partha在賓夕法尼亞大學獲得CIS博士學位(2010),Partha對機器學習、自然語言處理和認知神經科學有廣泛的興趣,尤其對大規模學習和推理感興趣。Partha是IBM教員獎、谷歌重點研究獎和埃森哲開放創新獎的獲得者。他與人合著了一本由Morgan Claypool出版社出版的關于基于圖形的半監督學習的書。