神經網絡已經成為現代人工智能的重要組成部分。盡管如此,它們通常都是黑盒,它們的行為可能出人意料,并產生出人意料的錯誤結果,比如對抗性的例子。在本教程中,我們將介紹神經網絡驗證問題,其目的是正式保證神經網絡的特性,如魯棒性、安全性和正確性。我們的教程涵蓋了驗證問題的理論基礎和最先進算法的介紹。此外,我們還將為用戶友好的神經網絡驗證工具箱提供實踐編碼教程,允許從業者輕松地將正式的驗證技術應用到他們的定制應用中。
我們的教程包括在谷歌Colab中編碼演示。我們將演示通用的auto_LiRPA庫和獲獎的α,β-CROWN驗證器的使用。
【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦,時間在 2 月 22 日-3 月 1 日,本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告,來自Huan Zhang等學者共同做了關于神經網絡驗證研究進展報告,非常值得關注!
神經網絡已經成為現代人工智能的重要組成部分。然而,它們通常是黑盒,可能會出乎意料地行為,并產生令人驚訝的錯誤結果,例如對抗的例子。在本教程中,我們將介紹神經網絡驗證問題,其目的是保證神經網絡的特性,如魯棒性、安全性和正確性。我們的教程涵蓋了驗證問題的理論基礎和最先進算法的介紹。此外,我們還將為用戶友好的神經網絡驗證工具箱提供實踐編碼教程,允許從業者輕松地將正式的驗證技術應用到他們的定制應用中。我們的教程包括在谷歌Colab中編碼演示。我們將演示通用的auto_LiRPA庫和獲獎的α,β-CROWN驗證器的使用。
目錄內容: Part I: Introduction to Neural Network Verifier Part II: Neural Network Verification Algorithms Part III: Hands-on Tutorial on Using State-of-the-art Verification Tools
地址:
人工智能的未來在于使人類能夠與機器合作解決復雜問題。像任何有效的合作一樣,這需要良好的溝通、信任、清晰和理解。XAI(可解釋人工智能)旨在通過結合符號人工智能和傳統機器學習的最佳效果來應對這些挑戰。這一主題已經被各種不同的AI社區研究了多年,它們有著不同的定義、評估指標、動機和結果。
本教程簡要介紹了XAI迄今為止的工作,并以機器學習和符號AI相關方法為重點,調查了人工智能社區所完成的工作。我們將在現實世界和大規模應用中激發XAI的需求,同時提供最先進的技術和最佳的XAI編碼實踐。在本教程的第一部分,我們將介紹AI的不同解釋方面。然后,我們將重點介紹兩種具體的方法:(i) XAI使用機器學習和(ii) XAI使用基于圖的知識表示和機器學習的結合。對于這兩種情況,我們都將深入研究方法的細節、技術現狀和下一步的研究挑戰。本教程的最后一部分概述了XAI的實際應用程序以及最佳的XAI編碼實踐。
本教程旨在介紹深度學習的對抗魯棒性的基礎知識,對最新技術進行了結構化的回顧,以評估各種類型的深度學習模型對對抗示例的脆弱性。本教程將特別強調對抗對抗攻擊的最新技術和深度神經網絡(DNNs)的魯棒性驗證。我們還將介紹一些有效的對策來提高深度學習模型的魯棒性,特別關注可泛化的對抗訓練。我們的目標是提供關于這一新興方向的全面圖景,并使社區意識到在關鍵安全數據分析應用中設計魯棒的深度學習模型的緊迫性和重要性,最終使最終用戶能夠信任深度學習分類器。我們還將總結關于深度學習的對抗魯棒性的潛在研究方向,以及基于深度學習的可靠和值得信賴的數據分析系統和應用的潛在好處。
本教程的內容如下:
對抗性魯棒性簡介: 這部分將通過展示一些計算機視覺、自然語言處理、惡意軟件檢測、自主系統的例子來介紹對抗性魯棒性的概念。具體來說,我們將演示不同類型的深度學習模型在不同對抗樣例中的漏洞。我們還將強調不同社區對對抗魯棒性的不同研究重點,即攻擊、防御和驗證。
對抗性攻擊: 這部分將詳細介紹一些著名的對抗性攻擊方法,目的是提供一些見解,為什么對抗性例子退出,以及如何有效和高效地產生對抗性擾動。具體來說,我們將展示五部已經成熟的工作,包括FGSM[1]、C&W[2]、DeepFool[3]、JMSA[4]、ZeroAttack[20]。在本部分的最后,我們還將簡要介紹最近出現的一些新的對抗性例子,包括通用對抗性例子[21]、空間變換攻擊[7]、對抗性補丁[22]等
驗證: 這部分將回顧最先進的形式驗證技術,以檢查深度學習模型是否健壯。將要討論的技術包括基于約束求解的技術(MILP, Reluplex[8]),近似技術(MaxSens [23], AI2 [10], DeepSymbol),和基于全局優化的技術(DLV [11], DeepGO [12], DeepGame[17])。
對抗防御: 本部分將概述對抗防御的最先進的魯棒優化技術,重點是可泛化的對抗訓練和正規化方法。特別是,快速梯度法(FGM)的對抗訓練[14]、投影梯度法(PGM)[15]、沃瑟斯坦風險最小化(WRM)[18]將根據泛化保證進行分析,此外,還將討論正則化技術,如光譜標準化[13]和Lipschitz正則化[23],以促進訓練的穩定性和對抗例子的魯棒性。
元學習可以讓機器學習新的算法。這是一個新興且快速發展的機器學習研究領域,對所有人工智能研究都有影響。最近的成功案例包括自動模型發現、少槍學習、多任務學習、元強化學習,以及教機器閱讀、學習和推理。正如人類不會從頭開始學習新任務,而是利用之前所學的知識一樣,元學習是高效和穩健學習的關鍵。本教程將介紹該領域及其應用的重要數學基礎,包括這個領域中當前技術水平的關鍵方法,該領域對眾多AAAI參與者來說越來越重要。
//sites.google.com/mit.edu/aaai2021metalearningtutorial
內容目錄:
社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法,促進下游任務的完成,具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據,為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由于其強大的表示學習能力,GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來,它已成為一個熱門的研究課題,越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題,包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基于GNNs的應用程序。
目錄內容: 引言 Introduction 基礎 Foundations 模型 Models 應用 Applications
不確定性的概念在機器學習中是非常重要的,并且構成了現代機器學習方法論的一個關鍵元素。近年來,由于機器學習與實際應用的相關性越來越大,它的重要性也越來越大,其中許多應用都伴隨著安全要求。在這方面,機器學習學者們發現了新的問題和挑戰,需要新的方法發展。事實上,長期以來,不確定性幾乎被視為標準概率和概率預測的同義詞,而最近的研究已經超越了傳統的方法,也利用了更一般的形式主義和不確定性計算。例如,不確定性的不同來源和類型之間的區別,例如任意不確定性和認知不確定性,在許多機器學習應用中被證明是有用的。講習班將特別注意這方面的最新發展。
綜述論文:
不確定性的概念在機器學習中是非常重要的,并且構成了機器學習方法的一個關鍵元素。按照統計傳統,不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而,由于機器學習與實際應用和安全要求等相關問題的相關性穩步上升,機器學習學者最近發現了新的問題和挑戰,而這些問題可能需要新的方法發展。特別地,這包括區分(至少)兩種不同類型的不確定性的重要性,通常被稱為任意的和認知的。在這篇論文中,我們提供了機器學習中的不確定性主題的介紹,以及到目前為止在處理一般不確定性方面的嘗試的概述,并特別將這種區別形式化。
本教程對基于模型的強化學習(MBRL)領域進行了廣泛的概述,特別強調了深度方法。MBRL方法利用環境模型來進行決策——而不是將環境視為一個黑箱——并且提供了超越無模型RL的獨特機會和挑戰。我們將討論學習過渡和獎勵模式的方法,如何有效地使用這些模式來做出更好的決策,以及規劃和學習之間的關系。我們還強調了在典型的RL設置之外利用世界模型的方式,以及在設計未來的MBRL系統時,從人類認知中可以得到什么啟示。
//sites.google.com/view/mbrl-tutorial
近年來,強化學習領域取得了令人印象深刻的成果,但主要集中在無模型方法上。然而,社區認識到純無模型方法的局限性,從高樣本復雜性、需要對不安全的結果進行抽樣,到穩定性和再現性問題。相比之下,盡管基于模型的方法在機器人、工程、認知和神經科學等領域具有很大的影響力,但在機器學習社區中,這些方法的開發還不夠充分(但發展迅速)。它們提供了一系列獨特的優勢和挑戰,以及互補的數學工具。本教程的目的是使基于模型的方法更被機器學習社區所認可和接受。鑒于最近基于模型的規劃的成功應用,如AlphaGo,我們認為對這一主題的全面理解是非常及時的需求。在教程結束時,觀眾應該獲得:
【導讀】人工智能領域的國際頂級會議 AAAI 2019 即將于 1 月 27 日至 2 月 1 日在美國夏威夷舉行。AAAI2019第一天的關于可解釋人工智能的Tutorial引起了人們極大的關注,這場Tutorial詳細闡述了解釋黑盒機器學習模型的術語概念以及相關方法,是構建可解釋模型的重要指南.
AI系統--我如何信任它們?
在現實生活中,每一個決策,無論是由機器還是低級員工又或是首席執行官做出的,為了達到提高整體的業務水平的目的,都要通過定期的審查,來解釋他們的決定。這就產生了人工智能的新興分支,稱為“可解釋的人工智能”(XAI)。
什么是可解釋的AI(XAI)?
XAI是人工智能的一個新興分支,用于解釋人工智能所做出的每一個決策背后的邏輯。下圖是對一個完整AI決策流程的簡單描述。
AAAI 2019 tutorial: 可解釋AI –從理論到動機,應用和局限性
一、本教程希望為以下問題提供答案:
什么是可解釋的AI (XAI)?
什么是可解釋的AI(簡稱XAI),即人工智能社區的各種流程 (Machine Learning, Logics, Constraint Programming, Diagnostics)的解釋是什么?解釋的度量標準是什么?
我們為什么要在意?
為什么可解釋的人工智能很重要?甚至在某些應用中至關重要?解釋人工智能系統的動機是什么?
它在哪里至關重要?
在現實世界中,哪些應用程序需要解釋如何大規模部署AI系統?
它是如何工作的?
在計算機視覺和自然語言處理中,最前沿的解釋技術是什么?對于哪種數據格式、用例、應用程序、行業,哪些方法效果好,哪些方法效果不好?
我們學到了什么?
部署現有可解釋AI系統的經驗教訓和局限性是什么?在向人類解釋的過程中學到了什么?
接下來的發展是什么?
可解釋AI未來的發展方向是什么?
二、概述
人工智能的未來在于使人們能夠與機器協作解決復雜的問題。與任何有效的協作一樣,這需要良好的溝通,信任,清晰和理解。 可解釋AI(XAI,eXplainable AI)旨在通過將符號人工智能與傳統機器學習的最佳結合來應對這些挑戰。多年來,人工智能的各個不同社區都在研究這一主題,它們有著不同的定義、評估指標、動機和結果。本教程簡要介紹了可解釋AI到目前為止的工作,并調研了人工智能社區在機器學習和符號人工智能相關方法方面所完成的工作。
在本教程的第一部分中,我們將介紹AI解釋的不同方面。然后我們將本教程的重點放在兩個具體的方法上:(i)使用機器學習的可解釋AI和(ii)使用基于圖(graph)的知識表示和機器學習結合的可解釋AI。對于這兩者,我們深入探討了該方法的具體細節,現有技術以及后續步驟的研究挑戰。本教程的最后一部分概述了可解釋AI的實際應用。
三、大綱
【介紹】
人工智能解釋的廣泛介紹。這將包括從理論和應用的角度描述和激發對可解釋AI技術的需求。在這一部分中,我們還總結了先決條件,并介紹了本教程其余部分所采用的不同視角。
【可解釋AI】
人工智能的各個領域(優化,知識表示和推理,機器學習,搜索和約束優化,規劃,自然語言處理,機器人和視覺)的解釋概述,使每個人對解釋的不同定義保持一致。本教程將涵蓋大多數定義,但只會深入以下領域:(i)可解釋的機器學習,(ii)具有知識圖和ML的可解釋AI。
【可解釋機器學習】
在本節中,我們將解決可解釋的機器學習pipeline的廣泛問題。我們描述了機器學習社區中可解釋性的概念,并通過描述一些流行的可解釋性模型來繼續。本節的核心是對不同類別的黑箱問題進行分析,從黑箱模型講解到黑箱結果講解,最后是黑箱檢查。
【用知識圖譜和ML解釋AI】
在本教程的這一部分中,我們將從兩個不同的角度闡述基于圖的知識庫的解釋力:
用語義網和邏輯解釋AI
我們展示了支持語義web的模式豐富的、基于圖的知識表示范式是如何實現有效解釋的。本節還將重點介紹從大型異構知識庫中表示和推斷有效解釋的邏輯和推理方法。
基于知識圖譜的機器學習
在本節中,我們將重點討論知識圖嵌入模型,即將知識圖中的概念編碼為連續低維向量的神經架構。這些模型已經被證明對許多機器學習任務有效,特別是知識庫的完成。我們解釋了這些模型的基本原理和架構,并從它們的不可預測性以及如何增強第三方模型的可解釋性的角度對它們進行了考察。
【應用】
我們展示了應用解釋技術的真實示例。我們關注一些使用案例:i)具有內置解釋功能的可解釋的航班延誤預測系統; ii)基于知識圖的語義推理,預測和解釋企業項目風險層次的大范圍合同管理系統;iii) 500多個城市的大型組織員工異常報銷的識別、解釋和預測的費用體系。
Tutorial的講者
PPT下載鏈接://pan.baidu.com/s/1dyjGJyhqS3-E77DysIkgHQ 提取碼:aq79