題目: Probabilistic Reasoning across the Causal Hierarchy?
摘要: 我們將關聯、干預和反事實的三層因果關系形式化為一系列概率邏輯語言,我們的語言具有嚴格的表達能力,第一種語言能夠表達定量概率推理,包括條件獨立和貝葉斯推理第二個是對因果關系的計算推理,第三個是對任意反事實查詢的完全表達式計算。我們給出了在結構因果模型和概率程序上完成的一系列相應的有限公理化,并證明了多項式的SAT可效度和有效性在多項式空間中是決定性的。
作者簡介: Thomas Icard,斯坦福人工智能實驗室附屬學院,哲學和計算機科學助理教授。個人主頁://web.stanford.edu/~icard/
題目: Causal Relational Learning
摘要:
因果推理是自然科學和社會科學實證研究的核心,對科學發現和知情決策至關重要。因果推理的黃金標準是進行隨機對照試驗;不幸的是,由于倫理、法律或成本的限制,這些方法并不總是可行的。作為一種替代方法,從觀察數據中進行因果推斷的方法已經在統計研究和社會科學中得到發展。然而,現有的方法嚴重依賴于限制性的假設,例如由同質元素組成的研究總體,這些同質元素可以在一個單平表中表示,其中每一行都被稱為一個單元。相反,在許多實際環境中,研究領域自然地由具有復雜關系結構的異構元素組成,其中數據自然地表示為多個相關表。在本文中,從關系數據中提出了一個正式的因果推理框架。我們提出了一種稱為CaRL的聲明性語言,用于捕獲因果背景知識和假設,并使用簡單的Datalog類規則指定因果查詢。CaRL為在關系領域中推斷復雜干預的影響的因果關系和推理提供了基礎。我們對真實的關系數據進行了廣泛的實驗評估,以說明CaRL理論在社會科學和醫療保健領域的適用性。
題目: Probabilistic Logic Neural Networks for Reasoning
摘要:
知識圖譜推理的目的是通過對觀測到的事實進行推理來預測缺失的事實,它在許多應用中起著至關重要的作用。傳統的基于邏輯規則的方法和近年來的知識圖譜嵌入方法都對這一問題進行了廣泛的探討。馬爾可夫邏輯網絡(MLN)是一種有原則的基于規則的邏輯方法,它能夠利用一階邏輯的領域知識,同時處理不確定性。然而,由于其復雜的圖形結構,MLNs的推理通常是非常困難的。與MLNs不同的是,知識圖的嵌入方法(如TransE、DistMult)學習有效的實體嵌入和關系嵌入進行推理,這樣更有效、更高效。然而,他們無法利用領域知識。在本文中,我們提出了概率邏輯神經網絡(pLogicNet),它結合了兩種方法的優點。pLogicNet使用一階邏輯的馬爾可夫邏輯網絡定義所有可能的三聯體的聯合分布,該網絡可以通過變分EM算法進行有效優化。采用知識圖譜嵌入模型推斷缺失的三聯體,根據觀測到的三聯體和預測到的三聯體更新邏輯規則權值。在多個知識圖譜的實驗證明了pLogicNet在許多競爭基線上的有效性。
作者:
瞿錳是蒙特利爾學習算法研究所的一年級博士生,之前,在伊利諾伊大學香檳分校獲得了碩士學位,此外,在北京大學獲得了學士學位。主要研究方向為機器學習、貝葉斯深度學習、數據挖掘和自然語言處理。
題目: Logical Expressiveness of Graph Neural Networks
摘要:
圖神經網絡(Graph Neural Networks, GNNs)是近年來在分子分類、知識圖譜補全等結構化數據處理領域中流行起來的一類機器學習體系結構。最近關于GNNs表達能力的研究已經建立了它們對圖中節點進行分類的能力與用于檢查圖同構的WeisfeilerLehman (WL)測試之間的緊密聯系。具體來說,這兩篇論文的作者分別觀察到,WL測試產生的節點分類總是細化了任何GNN產生的分類,而且有GNN可以重現WL測試。這些結果表明,GNNs在節點分類方面與WL測試一樣強大。然而,這并不意味著GNNs可以表達任何通過WL測試改進的分類器。我們的工作旨在回答以下問題:什么是可以用GNNs捕獲的節點分類器?在本文中,我們從邏輯的角度來看待這個問題,將其限制在FOC2中可表達的屬性上,即具有計數能力的一階邏輯的兩變量片段進行研究。
作者:
Pablo Barceló是智利天主教大學工程學院和數學學院數學與計算工程研究所所長,研究領域為數據庫理論、計算機科學中的邏輯、自動機理論。
題目: NGBoost: Natural Gradient Boosting for Probabilistic Prediction
摘要:
本文提出了一種基于概率預測的自然梯度增強算法。預測不確定性估計在醫療保健和天氣預報等許多應用中是至關重要的。概率預測是量化這些不確定性的一種自然方法,它是模型在整個結果空間中輸出全概率分布的方法。梯度增強機在結構化輸入數據的預測任務中已經取得了廣泛的成功,但是對于實值輸出的概率預測,目前還沒有一個簡單的增強方案。NGBoost是一種梯度增強方法,它利用自然梯度來解決現有梯度增強方法難以進行一般概率預測的技術難題。我們的方法是模塊化的基礎學習者的選擇,概率分布和評分規則。我們在幾個回歸數據集上的經驗表明,NGBoost在不確定性估計和傳統度量方面都提供了具有競爭力的預測性能。
作者:
Anand Avati現在是斯坦福大學人工智能實驗室的計算機科學博士研究生。研究方向是人工智能,機器學習,分布式系統。
Andrew Ng是百度的副總裁兼首席科學家,Coursera的聯合主席和聯合創始人,還是斯坦福大學的兼職教授。2011年,他主導了斯坦福大學大型開放式網絡課程主平臺的開發,并教授了一個面向10萬多名學生的在線機器學習課程,這促成了Coursera的成立。
報告題目: Augmenting Human Intelligence: From Search Engines to Intelligent Task Assistants
報告摘要: 人類發明了很多工具來增強人類智能化生活,其中搜索引擎就是增強人類智能的一個工具。但是搜索只是完成任務的一種手段,如何將不完善的技術轉化為完善的產品?本篇報告給出答案。
嘉賓介紹: 翟成祥,美國伊利諾伊大學厄巴納-香檳分校計算機系教授,Willett Faculty Scholar,并在該校的生物信息研究所,信息科學學院,及統計系任兼職教授。于1990年、2002年分別獲得南京大學計算機博士學位和卡耐基梅隆大學語言和信息技術博士學位。
題目: Learning Causality and Learning with Causality: A Road to Intelligence
摘要: 吸煙會引起癌癥嗎?通過分析兩個變量的觀測值,我們能否找到它們之間的因果關系?在我們的日常生活和科學中,人們經常試圖回答此類因果問題,目的是正確理解和操縱系統。在過去的幾十年中,為了回答這些問題,在機器學習,統計和哲學等領域取得了有趣的進步。此外,我們還經常關注如何在復雜的環境中進行機器學習。例如,我們如何在非平穩環境中做出最佳預測?有趣的是,最近發現因果信息可以促進理解和解決各種機器學習問題,包括遷移學習和半監督學習。這篇演講回顧了因果關系研究中的基本概念,并側重于如何從觀察數據中學習因果關系,以及因果關系為何以及如何幫助機器學習和其他任務。最后,我將討論為什么因果表達很重要以便實現通用人工智能。
報告人: 張坤 博士 美國卡內基梅隆大學,也是德國馬克斯·普朗克智能系統研究所的高級研究科學家。他的研究興趣在于機器學習和人工智能,尤其是因果發現,基于因果關系的學習和通用人工智能。他從因果關系的角度開發了用于自動發現因果關系的方法,從因果關系角度研究學習問題,尤其是轉移學習,概念學習和深度學習,并研究了因果關系和各種機器學習任務的哲學基礎。他曾擔任大型機器學習或人工智能會議的區域主席或高級程序委員會成員,包括NeurIPS,UAI,ICML,AISTATS,AAAI和IJCAI。他組織了各種學術活動,以促進因果關系的跨學科研究。
論文題目:
Latent Relation Language Models
論文摘要: 在本文中,我們提出了潛在關系語言模型(LRLM),它是一類語言模型,它通過知識圖的關系參數化文檔中單詞和其中出現的實體的聯合分布。 該模型具有許多吸引人的屬性:它不僅提高了語言建模性能,而且還能夠注釋實體跨度對于關聯文本的后驗概率。 實驗表明,在基于單詞的基準語言模型和結合了知識圖譜信息的先前方法上,經驗性改進。 定性分析進一步證明了該模型在上下文中學習最佳預測適當關系的能力。
題目: A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms
簡介: 我們建議使用一種元學習目標,該目標可以在修改后的分布上最大程度地提高轉移速度,以學習如何模塊化獲取的知識。特別是,我們專注于如何根據因果關系將聯合分布分解為適當的條件。我們假設分布的變化是局部的(例如,由于對變量之一的干預而導致的)處于局部分布的假設,從而解釋了何時可以奏效。我們證明了在因果機制局部變化的這種假設下,正確的因果圖將傾向于僅具有其一些具有非零梯度的參數,即需要進行調整的參數(那些修正變量)。我們爭論并通過實驗觀察到,這將導致更快的適應,并使用此屬性來定義元學習替代評分,該評分除了圖形的連續參數化外,還將傾向于正確的因果圖。最后,受AI智能體的啟發(例如,機器人自動發現其環境),我們考慮將同一目標如何發現因果變量本身,作為觀察到的無因果意義的低級變量的轉換。在兩個變量情況下的實驗驗證了所提出的思想和理論結果。
作者介紹: Yoshua Bengio是蒙特利爾大學計算機科學與運籌學系的教授,Mila和IVADO的科學總監和創始人,2018年圖靈獎獲得者,加拿大統計學習算法研究主席以及加拿大AI CIFAR主席。 他開創了深度學習的先河,并在2018年每天獲得全球所有計算機科學家中最多的引用。 他是加拿大勛章的官員,加拿大皇家學會的成員,并于2017年被授予基拉姆獎,瑪麗·維克多獎和年度無線電加拿大科學家,并且是NeurIPS顧問的成員。 ICLR會議的董事會和聯合創始人,以及CIFAR“機器和大腦學習”計劃的程序總監。 他的目標是幫助發現通過學習產生智力的原理,并促進AI的發展以造福所有人。
In this work, we take a representation learning perspective on hierarchical reinforcement learning, where the problem of learning lower layers in a hierarchy is transformed into the problem of learning trajectory-level generative models. We show that we can learn continuous latent representations of trajectories, which are effective in solving temporally extended and multi-stage problems. Our proposed model, SeCTAR, draws inspiration from variational autoencoders, and learns latent representations of trajectories. A key component of this method is to learn both a latent-conditioned policy and a latent-conditioned model which are consistent with each other. Given the same latent, the policy generates a trajectory which should match the trajectory predicted by the model. This model provides a built-in prediction mechanism, by predicting the outcome of closed loop policy behavior. We propose a novel algorithm for performing hierarchical RL with this model, combining model-based planning in the learned latent space with an unsupervised exploration objective. We show that our model is effective at reasoning over long horizons with sparse rewards for several simulated tasks, outperforming standard reinforcement learning methods and prior methods for hierarchical reasoning, model-based planning, and exploration.