【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦,時間在 2 月 22 日-3 月 1 日,本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告,來自UIC, Adobe等學者共同做了關于關系數據因果推理的進展報告,非常值得關注!
因果推理的任務——從數據中推斷干預措施和反事實的效果——是大量科學和工業應用的核心。為了捕獲真實世界數據中的噪聲、異構性和復雜關系,習慣上將數據源建模為關系系統,并對它們進行概率推理。數據關系可以通過異構網絡表示,其中節點表示相互依賴的實體,如人、公司、網站和疾病,而邊緣表示這些實體之間的不同關系,如友誼、超鏈接、貢獻和疾病傳播。本教程將介紹網絡數據因果推理的最新研究成果,也稱為干擾因果推理。我們將以現實世界的應用來激發這一領域的研究,例如測量社交網絡和市場實驗的影響力。我們將討論將為獨立和同分布(IID)數據設計的現有因果推理技術應用到關系數據的挑戰、當前存在的一些解決方案以及未來研究的差距和機遇。我們將介紹現有的網絡實驗設計,以測量興趣的不同可能影響。然后,我們將集中于因果推斷從觀察數據,其表示,識別,和估計。我們將以網絡中因果發現的研究作為總結。
【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦,時間在 2 月 22 日-3 月 1 日,本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告,來自Shirin Sohrabi等學者共同做了關于AI規劃理論與實踐的進展報告,非常值得關注!
人工智能規劃是人工智能的一個長期存在的子領域,處理順序決策,是強化學習的姊妹領域。規劃技術在對話系統、網絡安全、交通物流、IT等各個領域都有成熟的工業應用。雖然基于模型的規劃工具可以解決實際規模的問題,但在實踐中應用人工智能規劃研究面臨著幾個挑戰,阻礙了它的廣泛應用。然而,使用無模型方法的替代方法往往被證明對實際尺寸的問題是不可行的。本教程的目的是為觀眾提供必要的理論背景知識,以及實踐經驗,以允許使用規劃工具解決日常挑戰。在本教程中,我們將概述規劃領域,包括該領域的最新進展。然后,我們將深入研究三個挑戰:(1)建模——如何表示、提取和學習知識;(2)理論和工具——計算問題的形式化定義以及如何解決這些問題;(3)實踐-在端到端應用程序中使用人工智能規劃。我們將有一個實踐環節來舉例說明如何使用規劃工具來解決示例應用。我們的目標是為AAAI的與會者提供在他們的應用中使用人工智能規劃工具的必要手段
VLDB會議全稱International Conference on Very Large Date Bases,是數據庫領域的頂級學術會議和另外兩大數據庫會議SIGMOD、ICD共同構成了數據庫領域的三大頂級會議。本教程講述知識圖譜相關主題。
通用知識庫(KBs)是一些數據驅動應用的重要組件。從可用的網絡資源實際構建的這些KBs遠未完成,這在管理和使用方面提出了一系列挑戰。在本教程中,我們將討論如何表示、提取和推斷DBs和KBs中的完整性、召回和否定。我們首先介紹了部分封閉世界語義下知識表示和查詢的邏輯基礎。(ii)我們展示了如何在KBs和文本中識別召回信息,以及(iii)如何通過統計模式估計召回信息。(iv)我們展示了如何識別有趣的否定陳述,以及(v)如何在比較概念中定位召回。
像Wikidata[32]、DBpedia[2]或Yago[30]這樣的網絡規模知識庫(KBs)被用于從問答到個人助理的各種應用中。它們從網絡資源中構建而成,專注于代表積極的知識,即真實的陳述。它們不存儲否定語句。它們也是不完整的,也就是說,它們不包含感興趣領域的所有真實陳述。這意味著,如果一條語句不在知識庫中,我們就不知道它在現實世界中是假的,還是只是不存在。
這給KBs的管理和應用帶來了重大挑戰: 首先,知識庫管理人員可能想知道知識庫在哪里不完整,以便他們可以優先完成工作。這尤其適用于像NELL[4]這樣的KBs,他們想要自動補全。其次,KB應用程序需要知道哪里的數據是不完整的,以便向最終用戶發出質量問題的提示。例如,如果KB中恰好沒有東京,那么查詢“日本最大的城市”可能返回錯誤的答案。類似地,在企業設置中用于問答的知識庫需要知道某個問題何時超出了它的知識[22]。這尤其適用于布爾問題,如“空客制造了這架飛機嗎”,在這種情況下,“不”可能僅僅來自丟失的信息。最后,對于總結關于一個實體的顯著信息的要求,一個全面的回答還應該包含不適用的顯著事實。
傳統上,知識庫的構建和保存主要集中在出處和準確性方面[23,33]。然而,近年來,描述回憶和負面知識的形式主義日趨成熟[1,5,18],估計召回的統計和基于文本的方法也在興起[3,7,12 - 14,17,24,29]和推導負面陳述[1,13]。將這些方法系統化,并使它們能夠被普通數據庫用戶訪問,是本教程的主題。本教程對理論和實踐都有興趣。它將向聽眾介紹完整性評估和否定方面的最新進展,并向他們提供一整套方法,以便更好地代表和評估特定數據集的召回。
本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者,特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構,以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示,(ii) 自動提取、概念化和預測事件及其關系的各種方法,(iii) 事件過程和屬性的歸納,和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。
//cogcomp.seas.upenn.edu/page/tutorial.202108/
人類語言總是涉及對現實世界事件的描述。因此,對事件的理解在自然語言理解中起著至關重要的作用。例如,敘述預測得益于學習事件的因果關系,從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上,事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞,對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系,它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性,涉及到它的參與者、粒度、位置和時間。
在本教程中,我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式,并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外,我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法,包括事件過程歸納和概念化,以及以事件為中心的語言模型如何有利于敘事預測。此外,我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解,以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰,代表性工具和學習資源,以獲得即用模型,以及相關模型和技術如何使最終使用NLU應用程序受益。
目錄內容:
因果學習
因果推理在許多領域都很重要,包括科學、決策制定和公共政策。確定因果關系的金標準方法使用隨機控制擾動實驗。然而,在許多情況下,這樣的實驗是昂貴的、耗時的或不可能的。從觀察數據中獲得因果信息是可替代的一種選擇,也就是說,從通過觀察感興趣系統獲得的數據中獲得而不使其受到干預。在這次演講中,我將討論從觀察數據中進行因果學習的方法,特別關注因果結構學習和變量選擇的結合,目的是估計因果效果。我們將用例子來說明這些概念。
如今,網絡越來越大,越來越復雜,應用越來越廣泛。眾所周知,網絡數據是復雜和具有挑戰性的。要有效地處理圖數據,第一個關鍵的挑戰是網絡數據表示,即如何正確地表示網絡,使模式發現、分析和預測等高級分析任務在時間和空間上都能有效地進行。在這次演講中,我將介紹網絡嵌入和GCN的最新發展趨勢和最新進展,包括解糾纏GCN、抗攻擊GCN以及用于網絡嵌入的自動機器學習。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美國紐約舉辦。近年來,將傳統的處理效果估計方法(如匹配估計器)和先進的表示學習方法(如深度神經網絡)相結合的一個新興的研究方向在廣闊的人工智能領域引起了越來越多的關注。來自Georgia、Buffalo、阿里巴巴與Virginia的學者做了因果推理表示學習報告,在本教程中,介紹用于治療效果估計的傳統和最先進的表示學習算法。關于因果推論,反事實和匹配估計的背景也將被包括。我們還將展示這些方法在不同應用領域的應用前景。
摘要
因果推理在醫療保健、市場營銷、醫療保健、政治科學和在線廣告等許多領域都有大量的實際應用。治療效果估計作為因果推理中的一個基本問題,在統計學上已被廣泛研究了幾十年。然而,傳統的處理效果估計方法不能很好地處理大規模、高維的異構數據。近年來,將傳統的處理效果估計方法(如匹配估計器)和先進的表示學習方法(如深度神經網絡)相結合的一個新興的研究方向在廣闊的人工智能領域引起了越來越多的關注。在本教程中,我們將介紹用于治療效果估計的傳統和最先進的表示學習算法。關于因果推論,反事實和匹配估計的背景也將被包括。我們還將展示這些方法在不同應用領域的應用前景。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美國紐約舉辦。遷移學習近年來受到了非常大的關注,今年AAAI也有很多相關論文,這場Tutorial全面回顧可遷移表示學習方法的最新發展,重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外,還討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示,是一個非常全面的遷移表示學習總結,講者最后也介紹了其未來發展趨勢,值得研究者關注和收藏。
遷移表示學習最新進展
Recent Advances in Transferable Representation Learning
Tutorial 目標
本教程針對有興趣將深度學習技術應用于跨域決策任務的AI研究人員和從業人員。這些任務包括涉及多語言和跨語言自然語言處理,特定領域知識以及不同數據模式的任務。本教程將為聽眾提供以下方面的整體觀點:(i)針對未標記的文本,多關系和多媒體數據的多種表示學習方法;(ii)在有限的監督下跨多種表示對齊和遷移知識的技術;以及(iii)在自然語言理解,知識庫和計算生物學中使用這些技術的大量AI應用程序。我們將通過概述該領域未來的研究方向來結束本教程。觀眾不需要有特定的背景知識。
概述
許多人工智能任務需要跨域決策。例如,許多NLP任務涉及跨多種語言的預測,其中可以將不同的語言視為不同的域;在人工智能輔助的生物醫學研究中,藥物副作用的預測常常與蛋白質和有機體相互作用的建模并行進行。為了支持機器學習模型來解決這種跨域任務,必須提取不同域中數據組件的特征和關系,并在統一的表示方案中捕獲它們之間的關聯。為了滿足這一需求,表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣,跨域的知識遷移可以通過向量搭配或變換來實現。這種可遷移的表現形式在涉及跨域決策的一系列人工智能應用中取得了成功。然而,這一領域的前沿研究面臨兩大挑戰。一是在學習資源很少的情況下如何有效地從特定領域中提取特性。另一個是在最少的監督下精確地對齊和傳遞知識,因為連接不同域的對齊信息常常是不充分和有噪聲的。
在本教程中,我們將全面回顧可遷移表示學習方法的最新發展,重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外,我們還將討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示。我們還將比較域內嵌入算法和跨域對齊算法的改進和聯合學習過程。此外,我們將討論如何利用獲得的可遷移表征來解決低資源和無標簽的學習任務。參會者將了解本主題的最新趨勢和挑戰,了解代表性工具和學習資源以獲取即用型模型,以及相關的模型和技術如何有益于現實世界AI應用程序。
講者介紹
Muhao Chen目前是美國賓夕法尼亞大學研究生院博士后。他于2019年在加州大學洛杉磯分校獲得了計算機科學博士學位。Muhao從事過機器學習和NLP方面的各種課題。他最近的研究也將相關技術應用于計算生物學。更多信息請訪問//muhaochen.github.io。
Kai-Wei Chang是加州大學洛杉磯分校計算機科學系的助理教授。他的研究興趣包括為大型復雜數據設計魯棒的機器學習方法,以及為社會公益應用程序構建語言處理模型。其他信息請訪問
Dan Roth是賓夕法尼亞大學CIS的Eduardo D. Glandt Distinguished Professor,也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然語言理解建模、機器學習和推理方面的重大概念和理論進展而被認可。更多信息可以參考: /.