可解釋人工智能(XAI)是一個新興的研究領域,為高度復雜和不透明的機器學習(ML)模型帶來了透明度。盡管近年來發展了多種方法來解釋黑盒分類器的決策,但這些工具很少用于可視化目的之外。直到最近,研究人員才開始在實踐中使用解釋來實際改進模型。本文對實際應用XAI以獲得更好的機器學習模型的技術進行了全面的概述,并系統地對這些方法進行了分類,比較了它們各自的優缺點。本文為這些方法提供了一個理論視角,并通過在toy和現實場景上的實驗,實證地展示了解釋如何有助于改善模型泛化能力或推理等屬性。進一步討論這些方法的潛在注意事項和缺點。我們的結論是,雖然基于XAI的模型改進甚至可以對復雜的和不容易量化的模型屬性產生顯著的有益影響,但這些方法需要謹慎應用,因為它們的成功取決于許多因素,例如使用的模型和數據集,或采用的解釋方法。
機器學習正在成為現代世界運行中不可或缺的一部分。隨著數字技術的進步,數據的收集量呈指數級增長,機器學習的力量也在不斷發展。機器學習模型從這些現在可用的巨大數據庫中學習和改進。模型變得越來越強大,在許多情況下,它們執行任務的效率和效率比人類同行更高。隨著越來越多的組織和企業采用機器學習技術,可解釋性變得越來越重要。
模型被用于自動化任務和發現數據中的新趨勢和模式。這些算法直接從數據中學習,而不是由人類開發人員創建。這意味著系統將在沒有直接人類互動的情況下進化和發展。因此,理解模型為什么會做出決策在最初可能是不清楚的,特別是對于沒有數據科學經驗的涉眾來說。對于深度學習等更復雜的機器學習技術來說,這可能尤其困難。深度學習模型的多層神經結構使得決策的透明度變得更加復雜。
與組織中的任何決策工具一樣,一定程度的問責制是必要的。機器學習模型已經被用于自動化資源密集型的管理工作和做出復雜的業務決策。在決策將受到審查的領域,解釋機器學習模型做出決策的原因的能力至關重要。例如,機器學習在金融領域的應用方式多種多樣。算法可以用來自動化和簡化貸款決策,甚至可以根據市場波動自動化股票訓練。在這兩個例子中,可解釋性都是整個過程的組成部分。
本指南探討了機器學習中的可解釋性主題,包括它是什么,為什么它是重要的,以及實現模型可解釋性的不同技術。
葡萄牙貝拉內大學最新《醫學診斷中可解釋深度學習方法》綜述,值得關注!
深度學習的顯著成功引發了人們對其在醫學診斷中的應用的興趣。即使最先進的深度學習模型在對不同類型的醫療數據進行分類時達到了人類水平的準確性,但這些模型在臨床工作流程中很難被采用,主要是因為它們缺乏可解釋性。深度學習模型的黑盒性提出了設計策略來解釋這些模型的決策過程的需要,這導致了可解釋人工智能(XAI)這個話題的產生。在此背景下,我們提供了XAI應用于醫療診斷的全面綜述,包括可視化、文本和基于示例的解釋方法。此外,這項工作回顧了現有的醫學成像數據集和現有的指標,以評估解釋的質量。作為對大多數現有綜述的補充,我們包含了一組基于報告生成方法之間的性能比較。最后,還討論了XAI在醫學影像應用中的主要挑戰。 //www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b
人工智能(AI)領域在過去十年取得的進展,支持了大多數計算機視覺應用的準確性的顯著提高。醫學圖像分析是在對不同類型的醫學數據(如胸部X光片[80]、角膜圖像[147])進行分類時取得人類水平精確度的應用之一。然而,盡管有這些進展,自動化醫學成像在臨床實踐中很少被采用。Zachary Lipton[69]認為,對這一明顯的悖論的解釋很簡單,醫生在不了解決策過程的情況下,永遠不會相信算法的決策。這一事實提出了產生能夠解釋人工智能算法的決策過程的策略的必要性,隨后導致了一個新的研究主題的創建,稱為可解釋人工智能(XAI)。根據DARPA[41]的說法,XAI的目標是“在保持高水平的學習性能(預測精度)的同時,產生更多可解釋的模型;并使人類用戶能夠理解、適當、信任和有效地管理新一代人工智能伙伴”。盡管XAI具有普遍適用性,但它在高風險決策(如臨床工作流程)中尤其重要,在這種情況下,錯誤決策的后果可能導致人類死亡。這也得到了歐盟通用數據保護條例(GDPR)法律的證明,該法律要求解釋算法的決策過程,使其透明,然后才能用于患者護理[37]。
因此,在將深度學習方法應用于臨床實踐之前,投資研究新的策略以提高其可解釋性是至關重要的。近年來,對這一課題的研究主要集中在設計間接分析預建模型決策過程的方法。這些方法要么分析輸入圖像的特定區域對最終預測的影響(基于擾動的方法[77;101]和基于遮擋的方法[151])或檢查網絡激活(顯著性方法[112;153])。這些方法可以應用于任意網絡架構,而不需要對模型進行額外的定制,這一事實支持了它們在XAI早期的流行。然而,最近的研究表明,事后策略在解釋的重要性方面存在一些缺陷[2;105]。因此,研究人員將他們的注意力集中在能夠解釋其決策過程本身的模型/架構的設計上。現有的可解釋模型被認為在醫學成像中特別有用[105],證明了最近集中于這一范式而不是傳統的后特殊策略的醫學成像作品數量的增長是合理的[53;144]。盡管近年來固有可解釋模型的流行,但現有的關于深度學習應用于醫學成像的可解釋性的研究并沒有全面回顧這一新的研究趨勢的進展。此外,專注于解釋應用于醫學成像的深度學習決策過程的著作數量顯著增加,因此有必要對最近一次關于該主題的綜述未涵蓋的最新方法進行更新調研。
**為了解決這些問題,我們全面回顧了可解釋深度學習應用于醫學診斷的最新進展。特別是,這項綜述提供了以下貢獻: **
回顧最近關于醫學成像中可解釋深度學習主題的調研,包括從每個工作中得出的主要結論,以及對我們調研的比較分析。 用于醫學成像的深度學習方法可解釋性研究中常用的數據集的詳盡列表。 全面調研最先進的可解釋醫學成像方法,包括事后模型和固有的可解釋模型。 對基準可解釋性方法常用的度量標準的完整描述,無論是可視化的還是文本的解釋。關于文本解釋質量的可解釋醫學成像方法的基準。 醫學影像中可解釋深度學習的未來研究方向
基于文獻綜述,XAI方法可以根據三個標準進行分類: (i) 模型無關性vs模型具體; (ii)全局可釋性與局部可釋性; (iii)事后對內在。圖1說明了XAI方法的分類法,
正如前面提到的,深度學習模型在部署到現實場景時必須具有透明性和可信賴性。此外,這一要求在臨床實踐中尤其相關,在臨床實踐中,不知情的決定可能會將患者的生命置于危險之中。在綜述的文獻中,已經提出了幾種方法來賦予應用于醫學診斷的深度學習方法解釋性。以下部分總結和分類了應用于醫學診斷的可解釋模型范圍內最相關的工作。此外,我們特別關注內在可解釋的神經網絡及其在醫學成像中的適用性。我們根據解釋方式將這些方法分為:(i)特征歸因解釋,(ii)文本解釋,(iii)實例解釋,(iv)概念解釋,(v)其他解釋;受[86]提出的分類學啟發。根據所使用的算法、圖像形態和數據集分類的綜述方法列表見表4。
隨著機器學習黑盒越來越多地部署在醫療保健和刑事司法等領域,人們越來越重視構建工具和技術,以事后方式解釋這些黑盒。這些解釋正被領域專家用來診斷系統性錯誤和黑盒的潛在偏見。然而,最近的研究揭示了流行的事后解釋技術的弱點。在本教程中,我將簡要概述事后解釋方法,特別強調特征歸因方法,如LIME和SHAP。然后,我將討論最近的研究,這些研究表明,這些方法是脆弱的,不穩定的,并容易受到各種對抗性攻擊。最后,我將提出兩種解決方案,以解決這些方法的一些漏洞:(I)一個基于對抗性訓練的通用框架,旨在使事后解釋更穩定,更魯棒,以應對底層數據的變化,(ii) 貝葉斯框架,捕獲與事后解釋相關的不確定性,從而允許我們生成滿足用戶指定的置信水平的可靠解釋。總的來說,本教程將提供可解釋機器學習這一新興領域的最新技術的概述。
在本教程中,我們將介紹可解釋性的新興方向,我們將其稱為自然- xai。自然- xai旨在建立人工智能模型(1)在訓練時從自然語言中學習地面真實標簽的解釋,(2)在部署時為它們的預測提供這樣的解釋。例如,自動駕駛汽車不僅會在訓練時看到它必須在某個環境中停車,還會被告知為什么會這樣,例如,“因為前面的交通燈是紅色的。”在使用時,自動駕駛汽車也可以為其行為提供這樣自然的語言解釋,從而讓乘客放心。這一方向最近受到越來越多的關注。
近年來,機器學習發展迅速,尤其是深度學習在圖像、聲音、自然語言處理等領域取得卓越成效.機器學習算法的表示能力大幅度提高,但是伴隨著模型復雜度的增加,機器學習算法的可解釋性越差,至今,機器學習的可解釋性依舊是個難題.通過算法訓練出的模型被看作成黑盒子,嚴重阻礙了機器學習在某些特定領域的使用,譬如醫學、金融等領域.目前針對機器學習的可解釋性綜述性的工作極少,因此,將現有的可解釋方法進行歸類描述和分析比較,一方面對可解釋性的定義、度量進行闡述,另一方面針對可解釋對象的不同,從模型的解釋、預測結果的解釋和模仿者模型的解釋3個方面,總結和分析各種機器學習可解釋技術,并討論了機器學習可解釋方法面臨的挑戰和機遇以及未來的可能發展方向。
【導讀】人工智能領域的國際頂級會議 AAAI 2019 即將于 1 月 27 日至 2 月 1 日在美國夏威夷舉行。AAAI2019第一天的關于可解釋人工智能的Tutorial引起了人們極大的關注,這場Tutorial詳細闡述了解釋黑盒機器學習模型的術語概念以及相關方法,是構建可解釋模型的重要指南.
AI系統--我如何信任它們?
在現實生活中,每一個決策,無論是由機器還是低級員工又或是首席執行官做出的,為了達到提高整體的業務水平的目的,都要通過定期的審查,來解釋他們的決定。這就產生了人工智能的新興分支,稱為“可解釋的人工智能”(XAI)。
什么是可解釋的AI(XAI)?
XAI是人工智能的一個新興分支,用于解釋人工智能所做出的每一個決策背后的邏輯。下圖是對一個完整AI決策流程的簡單描述。
AAAI 2019 tutorial: 可解釋AI –從理論到動機,應用和局限性
一、本教程希望為以下問題提供答案:
什么是可解釋的AI (XAI)?
什么是可解釋的AI(簡稱XAI),即人工智能社區的各種流程 (Machine Learning, Logics, Constraint Programming, Diagnostics)的解釋是什么?解釋的度量標準是什么?
我們為什么要在意?
為什么可解釋的人工智能很重要?甚至在某些應用中至關重要?解釋人工智能系統的動機是什么?
它在哪里至關重要?
在現實世界中,哪些應用程序需要解釋如何大規模部署AI系統?
它是如何工作的?
在計算機視覺和自然語言處理中,最前沿的解釋技術是什么?對于哪種數據格式、用例、應用程序、行業,哪些方法效果好,哪些方法效果不好?
我們學到了什么?
部署現有可解釋AI系統的經驗教訓和局限性是什么?在向人類解釋的過程中學到了什么?
接下來的發展是什么?
可解釋AI未來的發展方向是什么?
二、概述
人工智能的未來在于使人們能夠與機器協作解決復雜的問題。與任何有效的協作一樣,這需要良好的溝通,信任,清晰和理解。 可解釋AI(XAI,eXplainable AI)旨在通過將符號人工智能與傳統機器學習的最佳結合來應對這些挑戰。多年來,人工智能的各個不同社區都在研究這一主題,它們有著不同的定義、評估指標、動機和結果。本教程簡要介紹了可解釋AI到目前為止的工作,并調研了人工智能社區在機器學習和符號人工智能相關方法方面所完成的工作。
在本教程的第一部分中,我們將介紹AI解釋的不同方面。然后我們將本教程的重點放在兩個具體的方法上:(i)使用機器學習的可解釋AI和(ii)使用基于圖(graph)的知識表示和機器學習結合的可解釋AI。對于這兩者,我們深入探討了該方法的具體細節,現有技術以及后續步驟的研究挑戰。本教程的最后一部分概述了可解釋AI的實際應用。
三、大綱
【介紹】
人工智能解釋的廣泛介紹。這將包括從理論和應用的角度描述和激發對可解釋AI技術的需求。在這一部分中,我們還總結了先決條件,并介紹了本教程其余部分所采用的不同視角。
【可解釋AI】
人工智能的各個領域(優化,知識表示和推理,機器學習,搜索和約束優化,規劃,自然語言處理,機器人和視覺)的解釋概述,使每個人對解釋的不同定義保持一致。本教程將涵蓋大多數定義,但只會深入以下領域:(i)可解釋的機器學習,(ii)具有知識圖和ML的可解釋AI。
【可解釋機器學習】
在本節中,我們將解決可解釋的機器學習pipeline的廣泛問題。我們描述了機器學習社區中可解釋性的概念,并通過描述一些流行的可解釋性模型來繼續。本節的核心是對不同類別的黑箱問題進行分析,從黑箱模型講解到黑箱結果講解,最后是黑箱檢查。
【用知識圖譜和ML解釋AI】
在本教程的這一部分中,我們將從兩個不同的角度闡述基于圖的知識庫的解釋力:
用語義網和邏輯解釋AI
我們展示了支持語義web的模式豐富的、基于圖的知識表示范式是如何實現有效解釋的。本節還將重點介紹從大型異構知識庫中表示和推斷有效解釋的邏輯和推理方法。
基于知識圖譜的機器學習
在本節中,我們將重點討論知識圖嵌入模型,即將知識圖中的概念編碼為連續低維向量的神經架構。這些模型已經被證明對許多機器學習任務有效,特別是知識庫的完成。我們解釋了這些模型的基本原理和架構,并從它們的不可預測性以及如何增強第三方模型的可解釋性的角度對它們進行了考察。
【應用】
我們展示了應用解釋技術的真實示例。我們關注一些使用案例:i)具有內置解釋功能的可解釋的航班延誤預測系統; ii)基于知識圖的語義推理,預測和解釋企業項目風險層次的大范圍合同管理系統;iii) 500多個城市的大型組織員工異常報銷的識別、解釋和預測的費用體系。
Tutorial的講者
PPT下載鏈接://pan.baidu.com/s/1dyjGJyhqS3-E77DysIkgHQ 提取碼:aq79