題目: Causal Relational Learning
摘要:
因果推理是自然科學和社會科學實證研究的核心,對科學發現和知情決策至關重要。因果推理的黃金標準是進行隨機對照試驗;不幸的是,由于倫理、法律或成本的限制,這些方法并不總是可行的。作為一種替代方法,從觀察數據中進行因果推斷的方法已經在統計研究和社會科學中得到發展。然而,現有的方法嚴重依賴于限制性的假設,例如由同質元素組成的研究總體,這些同質元素可以在一個單平表中表示,其中每一行都被稱為一個單元。相反,在許多實際環境中,研究領域自然地由具有復雜關系結構的異構元素組成,其中數據自然地表示為多個相關表。在本文中,從關系數據中提出了一個正式的因果推理框架。我們提出了一種稱為CaRL的聲明性語言,用于捕獲因果背景知識和假設,并使用簡單的Datalog類規則指定因果查詢。CaRL為在關系領域中推斷復雜干預的影響的因果關系和推理提供了基礎。我們對真實的關系數據進行了廣泛的實驗評估,以說明CaRL理論在社會科學和醫療保健領域的適用性。
題目: Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
摘要: 近年來隨著知識圖譜(KGs)的大量涌現,加上實體間缺失關系(鏈接)的不完全或部分信息,催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明,基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入,因此在關系預測方面也有很好的表現。然而,我們觀察到這些KG嵌入獨立地處理三元組,因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此,本文提出了一種新的基于注意的特征嵌入方法,該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外,我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解,并且與所有數據集上的最先進的方法相比,有顯著的性能提升。
題目
張量圖卷積網絡的多關系和魯棒學習,Tensor Graph Convolutional Networks for Multi-relational and Robust Learning
關鍵字
機器視覺,卷積神經網絡,魯棒性,深度學習,人工智能,半監督學習
簡介
“數據泛濫”時代引發了人們對基于圖的學??習方法及其從社會學和生物學到交通運輸和通信的廣泛應用的新興趣。在圖感知方法的背景下,本論文介紹了一種張量圖卷積網絡(TGCN),用于從與張量表示的圖集合相關的數據中進行可擴展的半監督學習(SSL)。新型TGCN架構的關鍵方面是通過可學習的權重來動態適應張量圖中的不同關系,并考慮基于圖的正則化器以促進平滑度并減輕過度參數化。最終目標是設計一種功能強大的學習架構,以實現以下目的: :發現復雜且高度非線性的數據關聯,組合(并選擇)多種類型的關系,隨圖的大小優雅地縮放,并對圖邊緣的擾動保持魯棒性。所提出的架構不僅適用于節點自然涉及不同關系的應用(例如,在社交網絡中捕獲家庭,友誼和工作關系的多關系圖),還適用于健壯的學習設置(其中圖包含一定程度的不確定性),且不同的張量平板對應于標稱圖的不同版本(實現)。數值測試表明,相對于標準GCN,擬議的體系結構實現了顯著改善的性能,可以應對最新的對抗性攻擊,并通過蛋白質對蛋白質的交互網絡實現了卓越的SSL性能。
作者
Vassilis N. Ioannidis,Student Member, IEEE,Antonio G. Marques,Senior Member, IEEE,Georgios B. Giannakis,Fellow, IEEE
數十年來,因果推理是一個跨統計、計算機科學、教育、公共政策和經濟學等多個領域的重要研究課題。目前,與隨機對照試驗相比,利用觀測數據進行因果關系估計已經成為一個有吸引力的研究方向,因為有大量的可用數據和較低的預算要求。隨著機器學習領域的迅速發展,各種針對觀測數據的因果關系估計方法層出不窮。在這項調查中,我們提供了一個全面的綜述因果推理方法下的潛在結果框架,一個眾所周知的因果推理框架。這些方法根據是否需要潛在結果框架的所有三個假設分為兩類。對于每一類,分別對傳統的統計方法和最近的機器學習增強方法進行了討論和比較。并介紹了這些方法的合理應用,包括在廣告、推薦、醫藥等方面的應用。此外,還總結了常用的基準數據集和開放源代碼,便于研究者和實踐者探索、評價和應用因果推理方法。
地址:
題目:
Transfer Learning in Visual and Relational Reasoning
簡介:
遷移學習已成為計算機視覺和自然語言處理中的事實上的標準,尤其是在缺少標簽數據的地方。通過使用預先訓練的模型和微調,可以顯著提高準確性。在視覺推理任務(例如圖像問答)中,傳遞學習更加復雜。除了遷移識別視覺特征的功能外,我們還希望遷移系統的推理能力。而且,對于視頻數據,時間推理增加了另一個維度。在這項工作中,我們將遷移學習的這些獨特方面形式化,并提出了一種視覺推理的理論框架,以完善的CLEVR和COGdatasets為例。此外,我們引入了一種新的,端到端的微分遞歸模型(SAMNet),該模型在兩個數據集上的傳輸學習中均顯示了最新的準確性和更好的性能。改進的SAMNet性能源于其將抽象的多步推理與序列的長度解耦的能力及其選擇性的關注能力,使其僅能存儲與問題相關的信息外部存儲器中的對象。
目錄:
題目
知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
簡介
大規模知識圖譜(KGs)在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍,以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式,即零樣本學習,以擺脫這種繁瑣的處理,對于新增加的關系,我們試圖從文本描述中學習它們的語義特征,從而在不見實例的情況下識別出看不見的關系。為此,我們利用生成性對抗網絡(GANs)來建立文本與知識邊緣圖域之間的聯系:生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下,零樣本學習自然轉化為傳統的監督分類任務。從經驗上講,我們的方法是模型不可知的,可以應用于任何版本的KG嵌入,并在NELL和Wikidataset上產生性能改進。
作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang
題目: Causal Inference and Stable Learning
簡介:
在一個常見的機器學習問題中,使用一個根據訓練數據集估計的模型,根據觀察到的特征來預測未來的結果值。當測試數據和訓練數據來自相同的分布時,許多學習算法被提出并證明是成功的。然而,對于給定的訓練數據分布,性能最好的模型通常利用特征之間微妙的統計關系,這使得它們在應用于測試數據時更容易出現預測錯誤,因為測試數據的分布與訓練數據的分布不同。對于學術研究和實際應用來說,如何建立穩定、可靠的學習模型是至關重要的。因果推理是一種強大的統計建模工具,用于解釋和穩定的學習。因果推理是指基于某一效應發生的條件,對某一因果關系做出結論的過程。在本教程中,我們將重點討論因果推理和穩定學習,旨在從觀察數據中探索因果知識,以提高機器學習算法的可解釋性和穩定性。首先,我們將介紹因果推理,并介紹一些最近的數據驅動的方法來估計因果效應的觀測數據,特別是在高維設置。摘要為了彌補因果推理與機器學習在穩定學習上的差距,我們首先給出了學習算法的穩定性和魯棒性的定義,然后介紹了一些最近出現的穩定學習算法,以提高預測的穩定性和可解釋性。最后,我們將討論穩定學習的應用和未來方向,并為穩定學習提供基準。
邀請嘉賓:
張潼,香港科技大學計算機科學與數學教授。此前,他是羅格斯大學(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和騰訊(Tencent)工作。張潼的研究興趣包括機器學習算法和理論、大數據統計方法及其應用。他是ASA和IMS的研究員,曾在主要機器學習期刊的編委會和頂級機器學習會議的項目委員會任職。張潼在康奈爾大學獲得數學和計算機科學學士學位,在斯坦福大學獲得計算機科學博士學位。
崔鵬,清華大學計算機系長聘副教授,博士生導師。2010年于清華大學計算機系獲得博士學位。研究興趣包括社會動力學建模、大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域高水平會議和期刊發表論文60余篇,曾5次獲得頂級國際會議或期刊論文獎,并先后兩次入選數據挖掘領域頂級國際會議KDD最佳論文專刊。目前擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔尖人才,并當選中國科協全國委員會委員。
題目: Learning Causality and Learning with Causality: A Road to Intelligence
摘要: 吸煙會引起癌癥嗎?通過分析兩個變量的觀測值,我們能否找到它們之間的因果關系?在我們的日常生活和科學中,人們經常試圖回答此類因果問題,目的是正確理解和操縱系統。在過去的幾十年中,為了回答這些問題,在機器學習,統計和哲學等領域取得了有趣的進步。此外,我們還經常關注如何在復雜的環境中進行機器學習。例如,我們如何在非平穩環境中做出最佳預測?有趣的是,最近發現因果信息可以促進理解和解決各種機器學習問題,包括遷移學習和半監督學習。這篇演講回顧了因果關系研究中的基本概念,并側重于如何從觀察數據中學習因果關系,以及因果關系為何以及如何幫助機器學習和其他任務。最后,我將討論為什么因果表達很重要以便實現通用人工智能。
報告人: 張坤 博士 美國卡內基梅隆大學,也是德國馬克斯·普朗克智能系統研究所的高級研究科學家。他的研究興趣在于機器學習和人工智能,尤其是因果發現,基于因果關系的學習和通用人工智能。他從因果關系的角度開發了用于自動發現因果關系的方法,從因果關系角度研究學習問題,尤其是轉移學習,概念學習和深度學習,并研究了因果關系和各種機器學習任務的哲學基礎。他曾擔任大型機器學習或人工智能會議的區域主席或高級程序委員會成員,包括NeurIPS,UAI,ICML,AISTATS,AAAI和IJCAI。他組織了各種學術活動,以促進因果關系的跨學科研究。