2021年,CHI將首次來到日本,在東京西南方的橫濱市舉行。ACM (Association for Computing Machinery)CHI(計算系統人類因素會議)是人機交互領域最重要的國際會議。CHI(讀作“kai”)是世界各地研究者和實踐者齊聚一堂,探討交互技術最新進展的地方。CHI被普遍推崇為人機交互領域最具聲望的殿堂,每年吸引數千名國際參會者。
人工智能(AI)技術越來越多地用于在醫療保健、金融和就業等關鍵領域做出決策和執行自主任務。為了改進、競爭、建立適當的信任和更好地與人工智能系統交互,需要了解人工智能,這激發了學術界和公眾對可解釋人工智能(XAI)的極大興趣。一方面,快速增長的XAI技術集合允許在AI系統中合并不同的解釋風格。另一方面,通過人工智能解釋來提供令人滿意的用戶體驗需要以用戶為中心的方法和跨學科研究來連接用戶需求和技術支持。簡而言之,XAI是一個對HCI研究有著日益增長的需求和令人興奮的機會的領域。
本教程面向有志于開發和設計人工智能系統解釋功能的研究人員和實踐者,以及那些希望了解XAI文獻中的趨勢和核心主題的人。該課程將介紹一些可用的工具包,這些工具包有助于輕松地創建ML模型的解釋,包括AIX 360[1],這是一個全面的工具包,提供有關該主題的技術和教育資源,如XAI概念介紹、python代碼庫和教程。
我們也將借鑒我們自己的設計和研究XAI系統的經驗[3-8],以及從工業設計從業者[2]學習,討論機會和挑戰,把最先進的XAI技術融入AI系統,創造好的XAI用戶體驗,包括我們通過研究開發的“問題驅動的XAI設計流程”[9]。
參考文獻:
[1] Arya, V., Bellamy, R. K., Chen, P. Y., Dhurandhar, A., Hind, M., Hoffman, S. C., … & Mourad, S. (2019). One explanation does not fit all: A toolkit and taxonomy of ai explainability techniques.
[2] Liao, Q. V., Gruen, D., & Miller, S. (2020). Questioning the AI: Informing Design Practices for Explainable AI User Experiences. CHI 2020
[3] Dodge, J., Liao, Q. V., Zhang, Y., Bellamy, R. K., & Dugan, C (2019). Explaining models: an empirical study of how explanations impact fairness judgmen. IUI 2019
[4] Zhang, Y., Liao, Q. V., & Bellamy, R. K. (2019). ffect of confidence and explanation on accuracy and trust calibration in ai-assisted decision making. . FAT* 2020
[5] Ghai, B., Liao, Q. V., Zhang, Y., Bellamy, R., & Mueller, K. (2021). Explainable Active Learning (XAL) Toward AI Explanations as Interfaces for Machine Teachers. CSCW 2021
[7] Narkar, S., Zhang, Y., Liao, Q. V., Wang, D., & Weisz, J. D. Model LineUpper: Supporting Interactive Model Comparison at Multiple Levels for AutoML. IUI 2021
[8] Ehsan, U., Liao, Q. V., Muller, M., Riedl, M. O., & Weisz, J. D. (2021). Expanding Explainability: Towards Social Transparency in AI systems. CHI 2021
[9] Liao, Q. V., Pribi?, M., Han, J., Miller, S., & Sow, D. (2021). Question-Driven Design Process for Explainable AI User Experiences. Working Paper
這本書提供了使“機器學習”系統更可解釋的最新概念和可用的技術的全面介紹。本文提出的方法幾乎可以應用于所有當前的“機器學習”模型: 線性和邏輯回歸、深度學習神經網絡、自然語言處理和圖像識別等。
機器學習(Machine Learning)的進展正在增加使用人工代理來執行以前由人類處理的關鍵任務(醫療、法律和金融等)。雖然指導這些代理設計的原則是可以理解的,但目前大多數深度學習模型對人類的理解是“不透明的”。《Python可解釋人工智能》通過從理論和實踐的角度,填補了目前關于這一新興主題的文獻空白,使讀者能夠快速使用可解釋人工智能的工具和代碼。
本書以可解釋AI (XAI)是什么以及為什么在該領域需要它為例開始,詳細介紹了根據特定背景和需要使用XAI的不同方法。然后介紹利用Python的具體示例對可解釋模型的實際操作,展示如何解釋內在的可解釋模型以及如何產生“人類可理解的”解釋。XAI的模型不可知方法可以在不依賴于“不透明”的ML模型內部的情況下產生解釋。使用計算機視覺的例子,作者然后著眼于可解釋的模型的深度學習和未來的展望方法。從實踐的角度,作者演示了如何在科學中有效地使用ML和XAI。最后一章解釋了對抗性機器學習以及如何使用對抗性例子來做XAI。
隨著廣泛的應用,人工智能(AI)催生了一系列與人工智能相關的研究活動。其中一個領域就是可解釋的人工智能。它是值得信賴的人工智能系統的重要組成部分。本文概述了可解釋的人工智能方法,描述了事后人工智能系統(為先前構建的常規人工智能系統提供解釋)和事后人工智能系統(從一開始就配置為提供解釋)。解釋的形式多種多樣:基于特征的解釋、基于說明性訓練樣本的解釋、基于嵌入式表示的解釋、基于熱度圖的解釋。也有結合了神經網絡模型和圖模型的概率解釋。可解釋人工智能與許多人工智能研究前沿領域密切相關,如神經符號人工智能和機器教學
機器學習的巨大成功導致了AI應用的新浪潮(例如,交通、安全、醫療、金融、國防),這些應用提供了巨大的好處,但無法向人類用戶解釋它們的決定和行動。DARPA的可解釋人工智能(XAI)項目致力于創建人工智能系統,其學習的模型和決策可以被最終用戶理解并適當信任。實現這一目標需要學習更多可解釋的模型、設計有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發團隊正在通過創建ML技術和開發原理、策略和人機交互技術來解決前兩個挑戰,以生成有效的解釋。XAI的另一個團隊正在通過總結、擴展和應用心理解釋理論來解決第三個挑戰,以幫助XAI評估人員定義一個合適的評估框架,開發團隊將使用這個框架來測試他們的系統。XAI團隊于2018年5月完成了第一個為期4年的項目。在一系列正在進行的評估中,開發人員團隊正在評估他們的XAM系統的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務性能。
我們給出了一個關于調查透明度和可解釋性的前沿教程,因為它們與NLP有關。研究團體和業界都在開發新的技術,以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告,我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后,我們將討論NLP任務的可解釋性,并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究,該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。
自然語言處理中可解釋AI的現狀調研
近年來,最領先的模型在性能上取得了重要的進步,但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述,在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類,以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術,以作為社區中模型開發人員的資源。最后,我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告,講述了XAI概念、方法以及面臨的挑戰和經驗教訓。
人工智能在我們的日常生活中扮演著越來越重要的角色。此外,隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及,人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見,以及對模型透明性和可解釋性的需求。此外,模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。
因此,人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上,以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性,(ii) 為理解模型行為制定可解釋性任務,并為這些任務開發解決方案,最后 (iii)設計評估模型在可解釋性任務中的性能的措施。
在本教程中,我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后,我們將關注可解釋性技術在工業中的應用,在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針,以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究,涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后,根據我們在工業界的經驗,我們將確定數據挖掘/機器學習社區的開放問題和研究方向。
【導讀】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美國紐約舉辦。AAAI2020關于可解釋人工智能的Tutorial引起了人們極大的關注,這場Tutorial詳細闡述了解釋黑盒機器學習模型的術語概念以及相關方法,涵蓋基礎、工業應用、實際挑戰和經驗教訓,是構建可解釋模型的重要指南.
可解釋AI:基礎、工業應用、實際挑戰和經驗教訓
?
地址: //xaitutorial2020.github.io/
Tutorial 目標 本教程的目的是為以下問題提供答案:
什么是可解釋的AI (XAI)
我們為什么要關心?
哪里是關鍵?
它是如何工作的?
我們學到了什么?
下一個是什么?
概述
人工智能的未來在于讓人們能夠與機器合作解決復雜的問題。與任何有效的協作一樣,這需要良好的溝通、信任、清晰和理解。XAI(可解釋的人工智能)旨在通過結合象征性人工智能和傳統機器學習來解決這些挑戰。多年來,所有不同的AI社區都在研究這個主題,它們有不同的定義、評估指標、動機和結果。
本教程簡要介紹了XAI迄今為止的工作,并調查了AI社區在機器學習和符號化AI相關方法方面所取得的成果。我們將激發XAI在現實世界和大規模應用中的需求,同時展示最先進的技術和最佳實踐。在本教程的第一部分,我們將介紹AI中解釋的不同方面。然后,我們將本教程的重點放在兩個特定的方法上: (i) XAI使用機器學習和 (ii) XAI使用基于圖的知識表示和機器學習的組合。對于這兩種方法,我們將詳細介紹其方法、目前的技術狀態以及下一步的限制和研究挑戰。本教程的最后一部分概述了XAI的實際應用。
Freddy Lecue博士是加拿大蒙特利爾泰勒斯人工智能技術研究中心的首席人工智能科學家。他也是法國索菲亞安提波利斯溫姆斯的INRIA研究所的研究員。在加入泰雷茲新成立的人工智能研發實驗室之前,他曾于2016年至2018年在埃森哲愛爾蘭實驗室擔任人工智能研發主管。在加入埃森哲之前,他是一名研究科學家,2011年至2016年在IBM research擔任大規模推理系統的首席研究員,2008年至2011年在曼徹斯特大學(University of Manchester)擔任研究員,2005年至2008年在Orange Labs擔任研究工程師。
目錄與內容
第一部分: 介紹和動機
人工智能解釋的入門介紹。這將包括從理論和應用的角度描述和激發對可解釋的人工智能技術的需求。在這一部分中,我們還總結了先決條件,并介紹了本教程其余部分所采用的不同角度。
第二部分: 人工智能的解釋(不僅僅是機器學習!)
人工智能各個領域(優化、知識表示和推理、機器學習、搜索和約束優化、規劃、自然語言處理、機器人和視覺)的解釋概述,使每個人對解釋的各種定義保持一致。還將討論可解釋性的評估。本教程將涵蓋大多數定義,但只深入以下領域: (i) 可解釋的機器學習,(ii) 可解釋的AI與知識圖和機器學習。
第三部分: 可解釋的機器學習(從機器學習的角度)
在本節中,我們將處理可解釋的機器學習管道的廣泛問題。我們描述了機器學習社區中解釋的概念,接著我們描述了一些流行的技術,主要是事后解釋能力、設計解釋能力、基于實例的解釋、基于原型的解釋和解釋的評估。本節的核心是分析不同類別的黑盒問題,從黑盒模型解釋到黑盒結果解釋。
第四部分: 可解釋的機器學習(從知識圖譜的角度)
在本教程的這一節中,我們將討論將基于圖形的知識庫與機器學習方法相結合的解釋力。
第五部分: XAI工具的應用、經驗教訓和研究挑戰
我們將回顧一些XAI開源和商業工具在實際應用中的例子。我們關注一些用例:i)解釋自動列車的障礙檢測;ii)具有內置解釋功能的可解釋航班延誤預測系統;(三)基于知識圖譜的語義推理,對企業項目的風險層進行預測和解釋的大范圍合同管理系統;iv)識別、解釋和預測500多個城市大型組織員工異常費用報銷的費用系統;v)搜索推薦系統說明;vi)解釋銷售預測;(七)貸款決策說明;viii)解釋欺詐檢測。
【導讀】最新的一期《Science》機器人雜志刊登了關于XAI—Explainable artificial intelligence專刊,涵蓋可解釋人工智能的簡述論文,論述了XAI對于改善用戶理解、信任與管理AI系統的重要性。并包括5篇專刊論文,值得一看。
BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG
SCIENCE ROBOTICS18 DEC 2019
可解釋性對于用戶有效地理解、信任和管理強大的人工智能應用程序是至關重要的。
//robotics.sciencemag.org/content/4/37/eaay7120
最近在機器學習(ML)方面的成功引發了人工智能(AI)應用的新浪潮,為各種領域提供了廣泛的益處。然而,許多這些系統中不能向人類用戶解釋它們的自主決策和行為。對某些人工智能應用來說,解釋可能不是必要的,一些人工智能研究人員認為,強調解釋是錯誤的,太難實現,而且可能是不必要的。然而,對于國防、醫學、金融和法律的許多關鍵應用,解釋對于用戶理解、信任和有效地管理這些新的人工智能合作伙伴是必不可少的(參見最近的評論(1-3))。
最近人工智能的成功很大程度上歸功于在其內部表示中構造模型的新ML技術。其中包括支持向量機(SVMs)、隨機森林、概率圖形模型、強化學習(RL)和深度學習(DL)神經網絡。盡管這些模型表現出了高性能,但它們在可解釋性方面是不透明的。ML性能(例如,預測準確性)和可解釋性之間可能存在固有的沖突。通常,性能最好的方法(如DL)是最不可解釋的,而最可解釋的方法(如決策樹)是最不準確的。圖1用一些ML技術的性能可解釋性權衡的概念圖說明了這一點。
圖1 ML技術的性能與可解釋性權衡。
(A)學習技巧和解釋能力。(B)可解釋模型:學習更結構化、可解釋或因果模型的ML技術。早期的例子包括貝葉斯規則列表、貝葉斯程序學習、因果關系的學習模型,以及使用隨機語法學習更多可解釋的結構。深度學習:一些設計選擇可能產生更多可解釋的表示(例如,訓練數據選擇、架構層、損失函數、正則化、優化技術和訓練序列)。模型不可知論者:對任意給定的ML模型(如黑箱)進行試驗以推斷出一個近似可解釋的模型的技術。
什么是XAI?
一個可解釋的人工智能(XAI)系統的目的是通過提供解釋使其行為更容易被人類理解。有一些通用原則可以幫助創建有效的、更人性化的人工智能系統:XAI系統應該能夠解釋它的能力和理解;解釋它已經做了什么,現在正在做什么,接下來會發生什么; 披露其所依據的重要信息(4)。
然而,每一個解釋都是根據AI系統用戶的任務、能力和期望而設置的。因此,可解釋性和可解釋性的定義是與域相關的,并且可能不是與域獨立定義的。解釋可以是全面的,也可以是片面的。完全可解釋的模型給出了完整和完全透明的解釋。部分可解釋的模型揭示了其推理過程的重要部分。可解釋模型服從根據域定義的“可解釋性約束”(例如,某些變量和相關變量的單調性服從特定關系),而黑箱或無約束模型不一定服從這些約束。部分解釋可能包括變量重要性度量、局部模型(在特定點近似全局模型)和顯著性圖。
來自用戶的期望
XAI假設向最終用戶提供一個解釋,該用戶依賴于AI系統所產生的決策、建議或操作,然而可能有許多不同類型的用戶,通常在系統開發和使用的不同時間點(5)。例如,一種類型的用戶可能是智能分析師、法官或操作員。但是,需要對系統進行解釋的其他用戶可能是開發人員或測試操作員,他們需要了解哪里可能有改進的地方。然而,另一個用戶可能是政策制定者,他們試圖評估系統的公平性。每個用戶組可能有一個首選的解釋類型,能夠以最有效的方式交流信息。有效的解釋將考慮到系統的目標用戶組,他們的背景知識可能不同,需要解釋什么。
可操作性——評估和測量
一些方法提出了一些評價和衡量解釋有效性的方法;然而,目前還沒有通用的方法來衡量XAI系統是否比非XAI系統更容易被用戶理解。其中一些度量是用戶角度的主觀度量,例如用戶滿意度,可以通過對解釋的清晰度和實用性的主觀評級來度量。解釋有效性的更客觀的衡量標準可能是任務績效; 即,這樣的解釋是否提高了用戶的決策能力?可靠和一致的測量解釋的影響仍然是一個開放的研究問題。XAI系統的評價和測量包括評價框架、共同點[不同的思維和相互理解(6)]、常識和論證[為什么(7)]。
XAI -問題和挑戰
在ML和解釋的交集處仍然存在許多活躍的問題和挑戰。
從電腦開始還是從人開始(8). XAI系統應該針對特定的用戶進行解釋嗎?他們應該考慮用戶缺乏的知識嗎?我們如何利用解釋來幫助交互式和人在循環的學習,包括讓用戶與解釋交互以提供反饋和指導學習?
準確性與可解釋性。XAI解釋研究的一條主線是探索解釋的技術和局限性。可解釋性需要考慮準確性和保真度之間的權衡,并在準確性、可解釋性和可處理性之間取得平衡。
使用抽象來簡化解釋。高級模式是在大步驟中描述大計劃的基礎。對抽象的自動發現一直是一個挑戰,而理解學習和解釋中抽象的發現和共享是當前XAI研究的前沿。
解釋能力與解釋決策。有資格的專家精通的一個標志是他們能夠對新情況進行反思。有必要幫助終端用戶了解人工智能系統的能力,包括一個特定的人工智能系統有哪些能力,如何衡量這些能力,以及人工智能系統是否存在盲點;也就是說,有沒有一類解是永遠找不到的?
從以人為本的研究視角來看,對能力和知識的研究可以使XAI超越解釋特定XAI系統和幫助用戶確定適當信任的角色。未來,XAIs可能最終會扮演重要的社會角色。這些角色不僅包括向個人學習和解釋,而且還包括與其他代理進行協調以連接知識、發展跨學科見解和共同點、合作教授人員和其他代理,以及利用以前發現的知識來加速知識的進一步發現和應用。從這樣一個知識理解和生成的社會視角來看,XAI的未來才剛剛開始。
本期刊論文
Explainable robotics in science fiction
BY ROBIN R. MURPHY
SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS
我們會相信機器人嗎?科幻小說說沒有,但可解釋的機器人可能會找到方法。
A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
最適合促進信任的解釋方法不一定對應于那些有助于最佳任務性能的組件。
A formal methods approach to interpretable reinforcement learning for robotic planning
BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
形式化的強化學習方法能從形式化的語言中獲得回報,并保證了安全性。
An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
參考文獻:
Google Scholar
H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Gü?lütürk, U. Gü?lü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).
O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.
Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).
T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.
H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.
D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.
?
Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).
D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.