我們給出了一個關于調查透明度和可解釋性的前沿教程,因為它們與NLP有關。研究團體和業界都在開發新的技術,以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告,我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后,我們將討論NLP任務的可解釋性,并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究,該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。
自然語言處理中可解釋AI的現狀調研
近年來,最領先的模型在性能上取得了重要的進步,但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述,在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類,以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術,以作為社區中模型開發人員的資源。最后,我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。
【導讀】國際人工智能會議AAAI 2021論文將在全程線上舉辦,時間在 2 月 2 日-2 月 9 日,本屆大會也將是第 35 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告,來自Freddy Lecue, Pasquale Minervini, Fosca Giannotti and Riccardo Guidotti博士共同做了關于可解釋人工智能的進展報告,非常值得關注!
人工智能的未來在于使人類能夠與機器合作解決復雜的問題。就像任何有效的合作一樣,這需要良好的溝通、信任、清晰和理解。可解釋人工智能(XAI)旨在通過結合符號人工智能和傳統機器學習的優點來應對此類挑戰。多年來,各種不同的AI社區都在研究這一主題,他們有著不同的定義、評估指標、動機和結果。
本教程是XAI迄今為止工作的一個概述,并綜述了AI社區所完成的工作,重點是機器學習和符號AI相關方法。我們將闡述XAI在現實世界和大規模應用中的需求,同時提供最先進的技術和最佳的XAI編碼實踐。在教程的第一部分,我們將介紹AI的不同方面的解釋。然后,我們將本教程重點介紹兩種具體方法:(i) XAI使用機器學習,(ii) XAI使用基于圖的知識表示和機器學習的組合。對于這兩種方法,我們都進入了具體的方法,目前的技術水平和下一步的研究挑戰。本教程的最后一部分概述了XAI的實際應用以及最佳XAI編碼實踐。
深度神經網絡在計算機視覺、計算語言學和人工智能等領域的廣泛應用無疑帶來了巨大的成功。然而,DNNs成功的基本原理、DNNs的可信性和DNNs對抗攻擊的恢復能力仍然很大程度上缺乏。在可解釋人工智能的范圍內,對網絡預測解釋可信度的量化和DNN特征可信度的分析成為一個引人注目但又有爭議的話題。相關問題包括: (1)網絡特征可信度的量化; (2)DNNs解釋的客觀性、魯棒性、語義嚴謹性; (3)可解釋神經網絡解釋性的語義嚴謹性等。重新思考現有可解釋機器學習方法的可信性和公平性,對可解釋機器學習的進一步發展具有重要的價值。
本教程旨在將關注人工智能可解釋性、安全性和可靠性的研究人員、工程師以及行業從業人員聚集在一起。本教程介紹了一些關于上述問題的新發現,這些發現來自演講者最近的論文和一些經典研究。對當前可解釋人工智能算法的優點和局限性的批判性討論提供了新的前瞻性研究方向。本教程預計將對醫療診斷、金融和自動駕駛等關鍵工業應用產生深遠影響。
//ijcai20interpretability.github.io/
機器學習的巨大成功導致了AI應用的新浪潮(例如,交通、安全、醫療、金融、國防),這些應用提供了巨大的好處,但無法向人類用戶解釋它們的決定和行動。DARPA的可解釋人工智能(XAI)項目致力于創建人工智能系統,其學習的模型和決策可以被最終用戶理解并適當信任。實現這一目標需要學習更多可解釋的模型、設計有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發團隊正在通過創建ML技術和開發原理、策略和人機交互技術來解決前兩個挑戰,以生成有效的解釋。XAI的另一個團隊正在通過總結、擴展和應用心理解釋理論來解決第三個挑戰,以幫助XAI評估人員定義一個合適的評估框架,開發團隊將使用這個框架來測試他們的系統。XAI團隊于2018年5月完成了第一個為期4年的項目。在一系列正在進行的評估中,開發人員團隊正在評估他們的XAM系統的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務性能。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告,講述了XAI概念、方法以及面臨的挑戰和經驗教訓。
人工智能在我們的日常生活中扮演著越來越重要的角色。此外,隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及,人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見,以及對模型透明性和可解釋性的需求。此外,模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。
因此,人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上,以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性,(ii) 為理解模型行為制定可解釋性任務,并為這些任務開發解決方案,最后 (iii)設計評估模型在可解釋性任務中的性能的措施。
在本教程中,我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后,我們將關注可解釋性技術在工業中的應用,在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針,以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究,涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后,根據我們在工業界的經驗,我們將確定數據挖掘/機器學習社區的開放問題和研究方向。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美國紐約舉辦。AAAI2020關于可解釋人工智能的Tutorial引起了人們極大的關注,這場Tutorial詳細闡述了解釋黑盒機器學習模型的術語概念以及相關方法,涵蓋基礎、工業應用、實際挑戰和經驗教訓,是構建可解釋模型的重要指南.
可解釋AI:基礎、工業應用、實際挑戰和經驗教訓
?
地址: //xaitutorial2020.github.io/
Tutorial 目標 本教程的目的是為以下問題提供答案:
什么是可解釋的AI (XAI)
我們為什么要關心?
哪里是關鍵?
它是如何工作的?
我們學到了什么?
下一個是什么?
概述
人工智能的未來在于讓人們能夠與機器合作解決復雜的問題。與任何有效的協作一樣,這需要良好的溝通、信任、清晰和理解。XAI(可解釋的人工智能)旨在通過結合象征性人工智能和傳統機器學習來解決這些挑戰。多年來,所有不同的AI社區都在研究這個主題,它們有不同的定義、評估指標、動機和結果。
本教程簡要介紹了XAI迄今為止的工作,并調查了AI社區在機器學習和符號化AI相關方法方面所取得的成果。我們將激發XAI在現實世界和大規模應用中的需求,同時展示最先進的技術和最佳實踐。在本教程的第一部分,我們將介紹AI中解釋的不同方面。然后,我們將本教程的重點放在兩個特定的方法上: (i) XAI使用機器學習和 (ii) XAI使用基于圖的知識表示和機器學習的組合。對于這兩種方法,我們將詳細介紹其方法、目前的技術狀態以及下一步的限制和研究挑戰。本教程的最后一部分概述了XAI的實際應用。
Freddy Lecue博士是加拿大蒙特利爾泰勒斯人工智能技術研究中心的首席人工智能科學家。他也是法國索菲亞安提波利斯溫姆斯的INRIA研究所的研究員。在加入泰雷茲新成立的人工智能研發實驗室之前,他曾于2016年至2018年在埃森哲愛爾蘭實驗室擔任人工智能研發主管。在加入埃森哲之前,他是一名研究科學家,2011年至2016年在IBM research擔任大規模推理系統的首席研究員,2008年至2011年在曼徹斯特大學(University of Manchester)擔任研究員,2005年至2008年在Orange Labs擔任研究工程師。
目錄與內容
第一部分: 介紹和動機
人工智能解釋的入門介紹。這將包括從理論和應用的角度描述和激發對可解釋的人工智能技術的需求。在這一部分中,我們還總結了先決條件,并介紹了本教程其余部分所采用的不同角度。
第二部分: 人工智能的解釋(不僅僅是機器學習!)
人工智能各個領域(優化、知識表示和推理、機器學習、搜索和約束優化、規劃、自然語言處理、機器人和視覺)的解釋概述,使每個人對解釋的各種定義保持一致。還將討論可解釋性的評估。本教程將涵蓋大多數定義,但只深入以下領域: (i) 可解釋的機器學習,(ii) 可解釋的AI與知識圖和機器學習。
第三部分: 可解釋的機器學習(從機器學習的角度)
在本節中,我們將處理可解釋的機器學習管道的廣泛問題。我們描述了機器學習社區中解釋的概念,接著我們描述了一些流行的技術,主要是事后解釋能力、設計解釋能力、基于實例的解釋、基于原型的解釋和解釋的評估。本節的核心是分析不同類別的黑盒問題,從黑盒模型解釋到黑盒結果解釋。
第四部分: 可解釋的機器學習(從知識圖譜的角度)
在本教程的這一節中,我們將討論將基于圖形的知識庫與機器學習方法相結合的解釋力。
第五部分: XAI工具的應用、經驗教訓和研究挑戰
我們將回顧一些XAI開源和商業工具在實際應用中的例子。我們關注一些用例:i)解釋自動列車的障礙檢測;ii)具有內置解釋功能的可解釋航班延誤預測系統;(三)基于知識圖譜的語義推理,對企業項目的風險層進行預測和解釋的大范圍合同管理系統;iv)識別、解釋和預測500多個城市大型組織員工異常費用報銷的費用系統;v)搜索推薦系統說明;vi)解釋銷售預測;(七)貸款決策說明;viii)解釋欺詐檢測。
【導讀】人工智能領域的國際頂級會議 AAAI 2019 即將于 1 月 27 日至 2 月 1 日在美國夏威夷舉行。AAAI2019第一天的關于可解釋人工智能的Tutorial引起了人們極大的關注,這場Tutorial詳細闡述了解釋黑盒機器學習模型的術語概念以及相關方法,是構建可解釋模型的重要指南.
AI系統--我如何信任它們?
在現實生活中,每一個決策,無論是由機器還是低級員工又或是首席執行官做出的,為了達到提高整體的業務水平的目的,都要通過定期的審查,來解釋他們的決定。這就產生了人工智能的新興分支,稱為“可解釋的人工智能”(XAI)。
什么是可解釋的AI(XAI)?
XAI是人工智能的一個新興分支,用于解釋人工智能所做出的每一個決策背后的邏輯。下圖是對一個完整AI決策流程的簡單描述。
AAAI 2019 tutorial: 可解釋AI –從理論到動機,應用和局限性
一、本教程希望為以下問題提供答案:
什么是可解釋的AI (XAI)?
什么是可解釋的AI(簡稱XAI),即人工智能社區的各種流程 (Machine Learning, Logics, Constraint Programming, Diagnostics)的解釋是什么?解釋的度量標準是什么?
我們為什么要在意?
為什么可解釋的人工智能很重要?甚至在某些應用中至關重要?解釋人工智能系統的動機是什么?
它在哪里至關重要?
在現實世界中,哪些應用程序需要解釋如何大規模部署AI系統?
它是如何工作的?
在計算機視覺和自然語言處理中,最前沿的解釋技術是什么?對于哪種數據格式、用例、應用程序、行業,哪些方法效果好,哪些方法效果不好?
我們學到了什么?
部署現有可解釋AI系統的經驗教訓和局限性是什么?在向人類解釋的過程中學到了什么?
接下來的發展是什么?
可解釋AI未來的發展方向是什么?
二、概述
人工智能的未來在于使人們能夠與機器協作解決復雜的問題。與任何有效的協作一樣,這需要良好的溝通,信任,清晰和理解。 可解釋AI(XAI,eXplainable AI)旨在通過將符號人工智能與傳統機器學習的最佳結合來應對這些挑戰。多年來,人工智能的各個不同社區都在研究這一主題,它們有著不同的定義、評估指標、動機和結果。本教程簡要介紹了可解釋AI到目前為止的工作,并調研了人工智能社區在機器學習和符號人工智能相關方法方面所完成的工作。
在本教程的第一部分中,我們將介紹AI解釋的不同方面。然后我們將本教程的重點放在兩個具體的方法上:(i)使用機器學習的可解釋AI和(ii)使用基于圖(graph)的知識表示和機器學習結合的可解釋AI。對于這兩者,我們深入探討了該方法的具體細節,現有技術以及后續步驟的研究挑戰。本教程的最后一部分概述了可解釋AI的實際應用。
三、大綱
【介紹】
人工智能解釋的廣泛介紹。這將包括從理論和應用的角度描述和激發對可解釋AI技術的需求。在這一部分中,我們還總結了先決條件,并介紹了本教程其余部分所采用的不同視角。
【可解釋AI】
人工智能的各個領域(優化,知識表示和推理,機器學習,搜索和約束優化,規劃,自然語言處理,機器人和視覺)的解釋概述,使每個人對解釋的不同定義保持一致。本教程將涵蓋大多數定義,但只會深入以下領域:(i)可解釋的機器學習,(ii)具有知識圖和ML的可解釋AI。
【可解釋機器學習】
在本節中,我們將解決可解釋的機器學習pipeline的廣泛問題。我們描述了機器學習社區中可解釋性的概念,并通過描述一些流行的可解釋性模型來繼續。本節的核心是對不同類別的黑箱問題進行分析,從黑箱模型講解到黑箱結果講解,最后是黑箱檢查。
【用知識圖譜和ML解釋AI】
在本教程的這一部分中,我們將從兩個不同的角度闡述基于圖的知識庫的解釋力:
用語義網和邏輯解釋AI
我們展示了支持語義web的模式豐富的、基于圖的知識表示范式是如何實現有效解釋的。本節還將重點介紹從大型異構知識庫中表示和推斷有效解釋的邏輯和推理方法。
基于知識圖譜的機器學習
在本節中,我們將重點討論知識圖嵌入模型,即將知識圖中的概念編碼為連續低維向量的神經架構。這些模型已經被證明對許多機器學習任務有效,特別是知識庫的完成。我們解釋了這些模型的基本原理和架構,并從它們的不可預測性以及如何增強第三方模型的可解釋性的角度對它們進行了考察。
【應用】
我們展示了應用解釋技術的真實示例。我們關注一些使用案例:i)具有內置解釋功能的可解釋的航班延誤預測系統; ii)基于知識圖的語義推理,預測和解釋企業項目風險層次的大范圍合同管理系統;iii) 500多個城市的大型組織員工異常報銷的識別、解釋和預測的費用體系。
Tutorial的講者
PPT下載鏈接://pan.baidu.com/s/1dyjGJyhqS3-E77DysIkgHQ 提取碼:aq79