亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

目前，深度神經網絡廣泛應用于醫療、自動駕駛汽車、軍事等直接影響人類生活的關鍵任務系統。然而，深度神經網絡的黑箱特性對其在關鍵任務應用中的應用提出了挑戰，引發了道德和司法方面的擔憂，導致信任缺失。可解釋人工智能(XAI)是人工智能(AI)的一個領域，它促進了一套工具、技術和算法，可以生成高質量的可解釋的、直觀的、人類可以理解的人工智能決策解釋。除了在深度學習中提供當前XAI景觀的整體視圖外，本文還提供了開創性工作的數學總結。首先，我們根據XAI技術的解釋范圍、算法背后的方法論以及有助于構建可信、可解釋和自解釋的深度學習模型的解釋級別或用法，提出了一種分類和分類方法。然后，我們描述了在XAI研究中使用的主要原則，并給出了2007年至2020年XAI里程碑式研究的歷史時間表。在詳細解釋了每一類算法和方法之后，我們對8種XAI算法在圖像數據上生成的解釋圖進行了評估，討論了該方法的局限性，并為進一步改進XAI評估提供了潛在的方向。

基于人工智能(AI)的算法，尤其是使用深度神經網絡的算法，正在改變人類完成現實任務的方式。近年來，機器學習(ML)算法在科學、商業和社會工作流的各個方面的自動化應用出現了激增。這種激增的部分原因是ML領域(被稱為深度學習(DL))研究的增加，在深度學習中，數千(甚至數十億)個神經元參數被訓練用于泛化執行特定任務。成功使用DL算法在醫療(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],發育障礙(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主機器人和車輛(You2019、Grigorescu2019 Feng2020],在圖像處理的分類和檢測[Sahba2018 Bendre2020Human], 在語音和音頻處理(Boles2017, Panwar2017),網絡安全(Parra2020Detecting, Chacon2019Deep), 還有更多DL算法在我們日常生活中被成功應用。

深度神經網絡中大量的參數使其理解復雜，不可否認地更難解釋。不管交叉驗證的準確性或其他可能表明良好學習性能的評估參數如何，深度學習(DL)模型可能天生就能從人們認為重要的數據中學習表示，也可能無法從這些數據中學習表示。解釋DNNs所做的決策需要了解DNNs的內部運作，而非人工智能專家和更專注于獲得準確解決方案的最終用戶則缺乏這些知識。因此，解釋人工智能決策的能力往往被認為是次要的，以達到最先進的結果或超越人類水平的準確性。

對XAI的興趣，甚至來自各國政府，特別是歐洲通用數據保護條例(GDPR) [AIHLEG2019]的規定，顯示出AI的倫理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics]， trust [Weld2019, Lui2018, Hengstler2016]， bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要實現，以及對抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺騙分類器決策方面的影響。在[Miller2019]， Miller等人描述了好奇心是人們要求解釋具體決策的主要原因之一。另一個原因可能是為了促進更好的學習——重塑模型設計并產生更好的結果。每種解釋都應該在相似的數據點上保持一致，并且隨著時間的推移對同一數據點產生穩定或相似的解釋[Sokol2020]。解釋應該使人工智能算法表達，以提高人類的理解能力，提高決策的信心，并促進公正和公正的決策。因此，為了在ML決策過程中保持透明度、信任和公平性，ML系統需要一個解釋或可解釋的解決方案。

解釋是一種驗證人工智能代理或算法的輸出決策的方法。對于一個使用顯微圖像的癌癥檢測模型，解釋可能意味著一個輸入像素的地圖，這有助于模型輸出。對于語音識別模型，解釋可能是特定時間內的功率譜信息對當前輸出決策的貢獻較大。解釋也可以基于參數或激活的訓練模型解釋或使用代理，如決策樹或使用梯度或其他方法。在強化學習算法的背景下，一個解釋可能會給出為什么一個代理做了一個特定的決定。然而，可解釋和可解釋的人工智能的定義通常是通用的，可能會引起誤解[Rudin2019]，應該整合某種形式的推理[Doran2018]。

AI模型的集合，比如決策樹和基于規則的模型，本質上是可解釋的。但是，與深度學習模型相比，存在可解釋性與準確性權衡的缺點。本文討論了研究人員解決深度學習算法可解釋性問題的不同方法和觀點。如果模型參數和體系結構是已知的，方法可以被有效地使用。然而，現代基于api的人工智能服務帶來了更多的挑戰，因為該問題的相對“黑箱”(Castelvecchi2016)性質，即終端用戶只掌握提供給深度學習模型的輸入信息，而不是模型本身。

在這個綜述中，我們提供了一個可解釋算法的全面概述，并將重要事件的時間軸和研究出版物劃分為三個定義完好的分類，如圖1所示。不像許多其他的綜述，只分類和總結在一個高水平上發表的研究，我們提供額外的數學概述和算法的重大工作在XAI領域。調查中提出的算法被分成三個定義明確的類別，下面將詳細描述。文獻中提出的各種評價XAI的技術也進行了討論，并討論了這些方法的局限性和未來的發展方向。

我們的貢獻可以概括如下:

• 為了系統地分析深度學習中可解釋和可解釋的算法，我們將XAI分類為三個定義明確的類別，以提高方法的清晰度和可訪問性。

• 我們審查，總結和分類的核心數學模型和算法，最近XAI研究提出的分類，并討論重要工作的時間。

• 我們生成并比較了八種不同XAI算法的解釋圖，概述了這種方法的局限性，并討論了使用深度神經網絡解釋來提高信任、透明度、偏差和公平的未來可能的方向。

主題： Explainable Reinforcement Learning: A Survey

摘要： 可解釋的人工智能（XAI），即更透明和可解釋的AI模型的開發在過去幾年中獲得了越來越多的關注。這是由于這樣一個事實，即AI模型隨著其發展為功能強大且無處不在的工具而表現出一個有害的特征：性能與透明度之間的權衡。這說明了一個事實，即模型的內部工作越復雜，就越難以實現其預測或決策。但是，特別是考慮到系統像機器學習（ML）這樣的方法（強化學習（RL））在系統自動學習的情況下，顯然有必要了解其決策的根本原因。由于據我們所知，目前尚無人提供可解釋性強化學習（XRL）方法的概述的工作，因此本調查試圖解決這一差距。我們對問題進行了簡短的總結，重要術語的定義以及提議當前XRL方法的分類和評估。我們發現a）大多數XRL方法通過模仿和簡化一個復雜的模型而不是設計本質上簡單的模型來起作用，并且b）XRL（和XAI）方法通常忽略了方程的人為方面，而不考慮相關領域的研究像心理學或哲學。因此，需要跨學科的努力來使所生成的解釋適應（非專家）人類用戶，以便有效地在XRL和XAI領域中取得進步。

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 于美國紐約舉辦。AAAI2020關于可解釋人工智能的Tutorial引起了人們極大的關注，這場Tutorial詳細闡述了解釋黑盒機器學習模型的術語概念以及相關方法，涵蓋基礎、工業應用、實際挑戰和經驗教訓，是構建可解釋模型的重要指南.

可解釋AI：基礎、工業應用、實際挑戰和經驗教訓

?

地址： //xaitutorial2020.github.io/

Tutorial 目標 本教程的目的是為以下問題提供答案:

• 什么是可解釋的AI (XAI)

  • 什么是可解釋的AI(簡稱XAI) ?，人工智能社區(機器學習、邏輯學、約束編程、診斷)的各種流有什么解釋?解釋的度量標準是什么?

• 我們為什么要關心?

  • 為什么可解釋的AI很重要?甚至在某些應用中至關重要?闡述人工智能系統的動機是什么?

• 哪里是關鍵?

  • 在大規模部署人工智能系統時，真正需要解釋的實際應用是什么?

• 它是如何工作的?

  • 在計算機視覺和自然語言處理中，最先進的解釋技術是什么?對于哪種數據格式、用例、應用程序、行業，什么有效，什么沒有效?

• 我們學到了什么?

  • 部署現有XAI系統的經驗教訓和局限性是什么?在向人類解釋的過程中?

• 下一個是什么?

  • 未來的發展方向是什么?

概述

人工智能的未來在于讓人們能夠與機器合作解決復雜的問題。與任何有效的協作一樣，這需要良好的溝通、信任、清晰和理解。XAI(可解釋的人工智能)旨在通過結合象征性人工智能和傳統機器學習來解決這些挑戰。多年來，所有不同的AI社區都在研究這個主題，它們有不同的定義、評估指標、動機和結果。

本教程簡要介紹了XAI迄今為止的工作，并調查了AI社區在機器學習和符號化AI相關方法方面所取得的成果。我們將激發XAI在現實世界和大規模應用中的需求，同時展示最先進的技術和最佳實踐。在本教程的第一部分，我們將介紹AI中解釋的不同方面。然后，我們將本教程的重點放在兩個特定的方法上: (i) XAI使用機器學習和 (ii) XAI使用基于圖的知識表示和機器學習的組合。對于這兩種方法，我們將詳細介紹其方法、目前的技術狀態以及下一步的限制和研究挑戰。本教程的最后一部分概述了XAI的實際應用。

Freddy Lecue博士是加拿大蒙特利爾泰勒斯人工智能技術研究中心的首席人工智能科學家。他也是法國索菲亞安提波利斯溫姆斯的INRIA研究所的研究員。在加入泰雷茲新成立的人工智能研發實驗室之前，他曾于2016年至2018年在埃森哲愛爾蘭實驗室擔任人工智能研發主管。在加入埃森哲之前，他是一名研究科學家，2011年至2016年在IBM research擔任大規模推理系統的首席研究員，2008年至2011年在曼徹斯特大學(University of Manchester)擔任研究員，2005年至2008年在Orange Labs擔任研究工程師。

目錄與內容

第一部分: 介紹和動機

人工智能解釋的入門介紹。這將包括從理論和應用的角度描述和激發對可解釋的人工智能技術的需求。在這一部分中，我們還總結了先決條件，并介紹了本教程其余部分所采用的不同角度。

第二部分: 人工智能的解釋(不僅僅是機器學習!)

人工智能各個領域(優化、知識表示和推理、機器學習、搜索和約束優化、規劃、自然語言處理、機器人和視覺)的解釋概述，使每個人對解釋的各種定義保持一致。還將討論可解釋性的評估。本教程將涵蓋大多數定義，但只深入以下領域: (i) 可解釋的機器學習，(ii) 可解釋的AI與知識圖和機器學習。

第三部分: 可解釋的機器學習(從機器學習的角度)

在本節中，我們將處理可解釋的機器學習管道的廣泛問題。我們描述了機器學習社區中解釋的概念，接著我們描述了一些流行的技術，主要是事后解釋能力、設計解釋能力、基于實例的解釋、基于原型的解釋和解釋的評估。本節的核心是分析不同類別的黑盒問題，從黑盒模型解釋到黑盒結果解釋。

第四部分: 可解釋的機器學習(從知識圖譜的角度)

在本教程的這一節中，我們將討論將基于圖形的知識庫與機器學習方法相結合的解釋力。

第五部分: XAI工具的應用、經驗教訓和研究挑戰

我們將回顧一些XAI開源和商業工具在實際應用中的例子。我們關注一些用例:i)解釋自動列車的障礙檢測;ii)具有內置解釋功能的可解釋航班延誤預測系統;(三)基于知識圖譜的語義推理，對企業項目的風險層進行預測和解釋的大范圍合同管理系統;iv)識別、解釋和預測500多個城市大型組織員工異常費用報銷的費用系統;v)搜索推薦系統說明;vi)解釋銷售預測;(七)貸款決策說明;viii)解釋欺詐檢測。

【導讀】可解釋AI是現在正火熱的科研和工程問題。本文介紹Arxiv上的《Explanation in Human-AI Systems》，一篇關于可解釋機器學習的綜述，介紹了可解釋機器學習的多學科觀點、歷史研究、模型、關鍵點等。

可解釋AI是現在正火熱的科研和工程問題。Arxiv上一篇《Explanation in Human-AI Systems: A Literature Meta-Review Synopsis of Key Ideas and Publications and Bibliography for Explainable AI》介紹了可解釋機器學習的多學科觀點、歷史研究、模型、關鍵點等，PDF大概內容組織如下：

• 目的、范圍和本文組織結構
  • 該主題的重要性
  • 本文的組織結構
• 多學科觀點
  • 哲學
    • 邏輯學觀點
    • 機械學觀點
    • 統計學觀點
    • 相對主義者/實用主義者的觀點
  • 心理學
  • 可解釋性與心理學
  • 社會心理學
  • 語言心理學
  • 團隊科學
  • 其他人類因素、認知系統工程和決策輔助
  • 考慮多學科觀點的總結
• 從研究到相關主題的發現
  • 以前的綜述
  • 公平、透明、安全、可靠、道德
  • 信任
  • 因果推理和外展推理
  • 事件和概念的因果和機械推理
  • 類比
  • 理解解釋
  • 理解的失敗和局限性
  • 復雜系統的理解
  • 反事實和對比推理
  • 個體差異與動機
  • 學習和概念形成
  • 心智模型
  • 前瞻推理與規劃
  • 對話式解釋
  • 自解釋
  • 遷移和泛化
• 關鍵論文和它們的貢獻
• AI系統的可解釋性：歷史研究的觀點
• 心理理論、假設和模型
  • 分類學
  • 解釋性與基礎認知過程的關系
  • 好解釋的特性
  • 可解釋推理的局限和缺點
  • 解釋性推理的個體差異
  • 解釋的概念模型
  • 心理模型的總結
• 可解釋性AI關鍵概念的概要
  • 解釋的價值
  • 形式和內容
  • 可解釋性
  • 解釋和證明
  • 候選解釋
  • 心智模型
  • 預期和前瞻
  • 全局和本地解釋
  • 上下文依賴
  • 對比推理
  • 一致
  • 好的和滿意的解釋
  • 糾正的解釋
  • 信任和可靠
  • 自解釋
  • 主動探索作為連續過程
  • 解釋作為協作和共同適應過程
  • 測量和評價
• 可解釋性AI系統的評價：人類參與的性能評價

【導讀】可解釋人工智能（Explainable Artificial Intelligence）旨在于具備可為人類所理解的功能或運作機制，具備透明度， 是當前AI研究的熱點，是構建和諧人機協作世界必要的條件，是構建負責任人工智能的基礎。最近來自法國西班牙等8家機構12位學者共同發表了關于可解釋人工智能XAI最新進展的綜述論文《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》，共67頁pdf調研了402篇文獻，講解了最新可解釋人工智能的進展，集大成者，梳理了XAI的體系，并提出構建負責任人工智能的內涵，非常具有指引性。

在過去的幾年里，人工智能(AI)取得了顯著的發展勢頭，在不同領域的許多應用中它可能會帶來最好的預期。當這種情況發生時，整個社區都面臨可解釋性的障礙，這是人工智能技術的一個內在問題，它是由次象征主義(模型例如集成算法或深層神經網絡)帶來的，而這些在人工智能的最上一次高潮中是不存在的。這個問題背后的范例屬于所謂的可解釋AI (XAI)領域，它被認為是AI模型實際部署的一個關鍵特性。本文綜述了XAI領域的現有文獻，并對未來的研究方向進行了展望。我們總結了在機器學習中定義可解釋性的前期工作，建立了一個新的定義，它涵蓋了先前的概念命題，主要關注可解釋性所關心的受眾。然后，我們提出并討論了與不同機器學習模型的可解釋性相關的最近貢獻的分類，包括那些旨在建立第二種體系的深度學習方法。這篇文獻分析為XAI面臨的一系列挑戰提供了背景，比如數據融合和可解釋性之間的十字路口。我們構建了負責任的人工智能的概念，即一種以公平、模型可解釋性和問責性為核心的在真實組織中大規模實施人工智能方法的方法。最終目標是為XAI的新來者提供參考資料，以促進未來的研究進展，同時也鼓勵其他學科的專家和專業人員在他們的活動領域擁抱AI的好處，而不是因為它缺乏可解釋性而事先有任何偏見。

關鍵詞: 可解釋人工智能，機器學習，深度學習，數據融合，可解釋性，可理解性，透明性，隱私，公平性，可問責性，負責任的人工智能。

目錄

• 1. 引言
• 2. 可解釋性: 是什么，為什么，什么目標，怎么做?
• 3. 透明機器學習模型
• 4. 機器學習模型的后解釋技術:分類法、淺層模型和深度學習
• 5. XAI:機遇、挑戰和研究需求
• 6. 走向負責任的人工智能:人工智能、公平、隱私和數據融合的原則
• 7. 結論和展望

1. 引言

人工智能(AI)是許多采用新信息技術的活動領域的核心。人工智能的起源可以追溯到幾十年前，人們對于智能機器具有學習、推理和適應能力的重要性有著明確的共識。正是憑借這些能力，人工智能方法在學習解決日益復雜的計算任務時達到了前所未有的性能水平，這對人類社會[2]的未來發展至關重要。近來，人工智能系統的復雜程度已經提高到幾乎不需要人為干預來設計和部署它們。當來自這些系統的決策最終影響到人類的生活(例如，醫學、法律或國防)時，就有必要了解這些決策是如何由人工智能方法[3]提供的。

最早的人工智能系統是很容易解釋的，過去的幾年見證了不透明的決策系統的興起，比如深度神經網絡(DNNs)。深度學習(DL)模型(如DNNs)的經驗成功源于高效的學習算法及其巨大的參數空間的結合。后一個空間由數百層和數百萬個參數組成，這使得DNNs被認為是復雜的黑盒模型[4]。black-box-ness的反義詞是透明性，即以尋求對模型工作機理的直接理解。

隨著黑箱機器學習(ML)模型越來越多地被用于在關鍵環境中進行重要的預測，人工智能[6]的各個利益相關者對透明度的要求也越來越高。危險在于做出和使用的決策不合理、不合法，或者不允許對其行為進行詳細的解釋。支持模型輸出的解釋是至關重要的，例如，在精準醫療中，為了支持診斷[8]，專家需要從模型中獲得遠比簡單的二進制預測多得多的信息。其他例子包括交通、安全、金融等領域的自動駕駛汽車。

一般來說，考慮到對合乎道德的人工智能[3]日益增長的需求，人類不愿采用不能直接解釋、處理和信任的[9]技術。習慣上認為，如果只關注性能，系統將變得越來越不透明。從模型的性能和它的透明性[10]之間的權衡來看，這是正確的。然而，對一個系統理解的提高可以導致對其缺陷的修正。在開發ML模型時，將可解釋性考慮為額外的設計驅動程序可以提高其可實現性，原因有三:

可解釋性有助于確保決策的公正性，即檢測并糾正訓練數據集中的偏差。

可解釋性通過強調可能改變預測的潛在對抗性擾動，促進了穩健性的提供。

可解釋性可以作為一種保證，即只有有意義的變量才能推斷出輸出，即，以確保模型推理中存在真實的因果關系。

這意味著，為了考慮實際，系統的解釋應該要么提供對模型機制和預測的理解，要么提供模型識別規則的可視化，要么提供可能擾亂模型[11]的提示。

為了避免限制當前一代人工智能系統的有效性，可解釋人工智能(XAI)[7]建議創建一套ML技術，1) 產生更多可解釋的模型，同時保持高水平的學習性能(如預測準確性)，2) 使人類能夠理解、適當信任和有效管理新一代人工智能伙伴。XAI還借鑒了社會科學的[12]，并考慮了解釋心理學。

圖1: 過去幾年中，標題、摘要和/或關鍵詞涉及XAI領域的出版物總數的變化。通過提交圖中所示的查詢從Scopus R數據庫檢索到的數據(2019年10月14日)。值得注意的是，隨著時間的推移，對可解釋的AI模型的潛在需求(這符合直覺，因為在許多場景中，可解釋性是一種要求)，但直到2017年，解釋AI模型的技術興趣才滲透到整個研究領域。

這篇綜述的其余部分的結構如下:首先，第2節和其中的子節圍繞AI中的可解釋性和可解釋性展開了關于術語和概念的討論，最后得出前面提到的可解釋性的新定義(第2.1和2.2小節)，以及從XAI的角度對ML模型進行分類和分析的一般標準。第3節和第4節回顧了ML模型(分別是透明模型和事后技術)的XAI的最新發現，它們構成了上述分類中的主要部分。同時，我們也回顧了這兩種方法的混合，以達到XAI。在第5節中討論了各種方法之間的協同作用的好處和注意事項，在這里，我們提出了對一般挑戰的展望和需要謹慎對待的一些后果。最后，第6節闡述了負責任的人工智能的概念。第7節總結了調查，目的是讓社區參與到這一充滿活力的研究領域中來，這一領域有可能影響社會，特別是那些逐漸將ML作為其活動核心技術的部門。

2. 可解釋性: 是什么，為什么，怎么做?

在繼續我們的文獻研究之前，我們可以先建立一個共同的觀點來理解在AI的可解釋性這個術語，更具體地說是ML中的含義。這確實是本節的目的，即暫停對這個概念的大量定義(什么?)，討論為什么可解釋性在AI和ML中是一個重要的問題(為什么?目的何在?)，并介紹XAI方法的一般分類，這將推動此后的文獻研究(如何?)。

2.1 術語說明

阻礙建立共同基礎的問題之一是interpretability 和explainability 在文獻中的互換誤用。這些概念之間存在著顯著的差異。首先，interpretability 是指一個模型的被動特性，指的是一個給定的模型對人類觀察者有意義的程度。這個特性也表示為透明性。相比之下，explainability 可以被看作是模型的主動特征，表示模型為了闡明或詳述其內部功能而采取的任何動作或過程。

為了總結最常用的命名法，在本節中，我們將闡明在倫理AI和XAI社區中常用的術語之間的區別和相似性。

• Understandability(或等同地，intelligibility)指的是一個模型的特征，使人理解其功能——模型如何工作——而不需要解釋其內部結構或模型內部處理數據[18]的算法方法。

• Comprehensibility: 在ML模型中，可理解性是指學習算法以人類可理解的方式表示其已學知識的能力[19,20,21]。這種模型可理解性的概念源于Michalski[22]的假設，即“計算機歸納的結果應該是對給定實體的符號描述，在語義和結構上類似于人類專家可能產生的觀察相同實體的結果。”這些描述的組成部分應作為單一的‘信息塊’可理解，可直接用自然語言解釋，并應以綜合方式將定量和定性概念聯系起來”。由于難以量化，可理解性通常與模型復雜度[17]的評估聯系在一起。

• Interpretability可解釋性是指以可理解的語言向人類解釋或提供意義的能力。

• Explainability可解釋性與作為人類和決策者之間的接口的解釋概念相關，同時，這也是決策者的準確代理，也是人類可以理解的[17]。

• Transparency 透明度:如果一個模型本身是可以理解的，那么它就被認為是透明的。由于模型具有不同程度的可理解性，因此第3節中的透明模型分為三類: 可模擬模型、可分解模型和算法透明模型[5]。

2.2 什么?

雖然這可能被認為超出了本文的范圍，但值得注意的是在哲學領域[23]中圍繞一般解釋理論展開的討論。在這方面已經提出了許多建議，建議需要一種普遍的、統一的理論來近似解釋的結構和意圖。然而，在提出這樣一個普遍的理論時，沒有人經得起批評。就目前而言，最一致的想法是將不同的解釋方法從不同的知識學科中融合在一起。在處理人工智能的可解釋性時也發現了類似的問題。從文獻中似乎還沒有一個共同的觀點來理解什么是可解釋性或可解釋性。然而，許多貢獻聲稱是可解釋(interpretable)模型和技術的成就增強了可解釋性(explainability).

為了闡明這種缺乏共識的情況，我們不妨以D. Gunning在[7]中給出的可解釋人工智能(XAI)的定義作為參考起點:

“XAI將創造一套機器學習技術，使人類用戶能夠理解、適當信任并有效管理新一代人工智能合作伙伴。

這個定義結合了兩個需要提前處理的概念(理解和信任)。然而，它忽略了其他目的，如因果關系、可轉移性、信息性、公平性和信心等，從而激發了對可解釋AI模型的需求[5,24,25,26]。

進一步修正，我們給出explainable AI的定義：

給定一個受眾，一個可解釋的人工智能是一個產生細節或理由使其功能清晰或容易理解的人工智能。

這個定義在這里作為當前概述的第一個貢獻，隱含地假設XAI技術針對當前模型的易用性和清晰性在不同的應用目的上有所恢復，比如更好地讓用戶信任模型的輸出。

2.3 為什么?

如引言所述，可解釋性是人工智能在實際應用中面臨的主要障礙之一。無法解釋或完全理解最先進的ML算法表現得如此出色的原因是一個問題，它的根源有兩個不同的原因，如圖2所示。

圖2: 圖中顯示了在ML模型中由不同的用戶配置文件尋找的可解釋性的不同目的。它們有兩個目標:模型理解的需要和法規遵從性。

2.4 什么目標？

到目前為止，圍繞XAI的研究已經揭示出了不同的目標，以便從一個可解釋的模型的實現中得出結論。幾乎沒有一篇被調研的論文在描述一個可解釋的模型所要求的目標上是完全一致的。盡管如此，所有這些不同的目標都可能有助于區分特定的ML可解釋性的目的。不幸的是，很少有人試圖從概念的角度來界定這些目標[5、13、24、30]。我們現在綜合并列舉這些XAI目標的定義，以便為這篇綜述涵蓋的所有論文確定第一個分類標準:

圖3. 可解釋AI不同的度量維度

• 可信賴性Trustworthiness:一些作者同意將可信賴性作為可解釋AI模型的主要目標[31,32]。然而，根據模型誘導信任的能力將模型聲明為可解釋的可能并不完全符合模型可解釋性的要求。可信度可以被認為是一個模型在面對給定問題時是否會按預期行事的信心。雖然它肯定是任何可解釋模型的一個屬性，但它并不意味著每一個值得信任的模型都可以被認為是可解釋的，可信度也不是一個容易量化的屬性。信任可能遠遠不是可解釋模型的唯一目的，因為兩者之間的關系，如果達成一致，并不是相互的。在綜述的論文中，有一部分提到了信任的概念。但是，如表1所示，它們在最近與XAI相關的貢獻中所占的份額并不大。

• 因果關系Causality:可解釋性的另一個常見目標是發現數據變量之間的因果關系。一些作者認為，可解釋的模型可能簡化了尋找關系的任務，如果它們發生，可以進一步測試所涉及的變量之間更強的因果關系[159,160]。從觀測數據推斷因果關系是一個隨著時間的推移已經被廣泛研究的領域[161]。正如從事這一主題的社區所廣泛承認的那樣，因果關系需要一個廣泛的先驗知識框架來證明所觀察到的影響是因果關系。ML模型只發現它所學習的數據之間的相關性，因此可能不足以揭示因果關系。然而，因果關系涉及到相關性，所以一個可解釋的ML模型可以驗證因果推理技術提供的結果，或者在現有數據中提供可能的因果關系的第一直覺。同樣，表1顯示，如果我們關注那些將因果關系明確表述為目標的論文數量，因果關系就不是最重要的目標之一。

• 可轉移性Transferability: 模型總是受到一些約束，這些約束應該考慮到模型的無縫可轉移性。這就是為什么在處理ML問題時使用訓練-測試方法的主要原因[162,163]。可解釋性也是可轉移性的倡導者，因為它可以簡化闡明可能影響模型的邊界的任務，從而更好地理解和實現。類似地，僅僅理解模型中發生的內部關系有助于用戶在另一個問題中重用這些知識。在某些情況下，缺乏對模型的正確理解可能會將用戶推向錯誤的假設和致命的后果[44,164]。可轉移性也應該落在可解釋模型的結果屬性之間，但同樣，不是每個可轉讓性模型都應該被認為是可解釋的。正如在表1中所觀察到的，大量的論文指出，將一個模型描述為可解釋的是為了更好地理解復用它或提高它的性能所需要的概念，這是追求模型可解釋性的第二個最常用的理由。

• 信息性Informativeness: ML模型的最終目的是支持決策[92]。然而，不應該忘記的是，模型所解決的問題并不等于它的人類對手所面臨的問題。因此，為了能夠將用戶的決策與模型給出的解決方案聯系起來，并避免陷入誤解的陷阱，需要大量的信息。為此，可解釋的ML模型應該提供有關正在處理的問題的信息。在文獻綜述中發現的主要原因是為了提取模型內部關系的信息。幾乎所有的規則提取技術都證實了它們在尋找模型內部功能的更簡單理解方面的方法，說明知識(信息)可以用這些更簡單的代理來表示，它們認為這些代理可以解釋先行詞。這是在綜述的論文中發現的最常用的論點，用來支持他們所期望的可解釋模型。

• 置信度Confidence: 作為穩健性和穩定性的概括，置信度的評估應該始終基于一個預期可靠性的模型。在控制下保持信心的方法因模型的不同而不同。正如在[165,166,167]中所述，當從某個模型中提取解釋時，穩定性是必須具備的。可靠的解釋不應該由不穩定的模型產生。因此，一個可解釋的模型應該包含關于其工作機制可信度的信息。

• 公平性Fairness:從社會的角度來看，在ML模型中，可解釋性可以被認為是達到和保證公平性的能力。在一個特定的文獻鏈中，一個可解釋的ML模型建議對影響結果的關系進行清晰的可視化，允許對手頭的模型進行公平或倫理分析[3,100]。同樣，XAI的一個相關目標是強調模型所暴露的數據中的偏差[168,169]。在涉及人類生活的領域，對算法和模型的支持正在迅速增長，因此，可解釋性應被視為避免不公平或不道德地使用算法輸出的橋梁。

• Accessibility可訪問性: 評審貢獻的認為可解釋性是允許最終用戶更多地參與改進和開發某個ML模型的過程的屬性[37,86]。顯然，可解釋的模型將減輕非技術或非專業用戶在處理乍一看似乎不可理解的算法時的負擔。這一概念在被調查的文獻中被認為是第三個最重要的目標。

• 交互性Interactivity: 一些貢獻[50,59]包括模型與用戶交互的能力，這是可解釋的ML模型的目標之一。同樣，這個目標與最終用戶非常重要的領域相關，他們調整模型并與之交互的能力是確保成功的關鍵。

• 隱私意識Privacy awareness: 在回顧的文獻中，幾乎被遺忘的是，ML模型中可解釋性的副產品之一是它評估隱私的能力。ML模型可能具有其所學習模式的復雜表示。無法理解模型[4]捕獲并存儲在其內部表示中的內容可能會導致隱私被破壞。相反，由未經授權的第三方解釋訓練過的模型的內部關系的能力也可能會損害數據來源的差異隱私。由于其在XAI預計將發揮關鍵作用的行業中的重要性，機密性和隱私問題將分別在第5.4和6.3小節中進一步討論。

本小節回顧了所調研論文的廣泛范圍內所涉及的目標。所有這些目標都清楚地隱藏在本節前面介紹的可解釋性概念的表面之下。為了總結之前對可解釋性概念的分析，最后一小節討論了社區為解決ML模型中的可解釋性所采取的不同策略。

2.5 怎么樣？

文獻明確區分了可以通過設計解釋的模型和可以通過外部XAI技術解釋的模型。這種雙重性也可以看作是可解釋模型與模型可解釋技術的區別;更廣泛接受的分類是透明模型和事后可解釋性。同樣的對偶性也出現在[17]的論文中，作者所做的區分是指解決透明盒設計問題的方法，而不是解釋黑盒子問題的方法。這項工作進一步擴展了透明模型之間的區別，包括考慮的不同透明度級別。

在透明性中，考慮了三個層次: 算法透明性、可分解性和可模擬性。在后設技術中，我們可以區分文本解釋、可視化、局部解釋、實例解釋、簡化解釋和特征關聯。在這種情況下，[24] 提出了一個更廣泛的區別: 1）區分不透明的系統，其中從輸入到輸出的映射對用戶來說是不可見的; 2)可解釋系統，用戶可以對映射進行數學分析; 3)可理解的系統，在這個系統中，模型應該輸出符號或規則以及它們的特定輸出，以幫助理解映射背后的基本原理。最后一個分類標準可以被認為包含在前面提出的分類標準中，因此本文將嘗試遵循更具體的分類標準。

圖4. 概念圖舉例透明度的不同層次描述M?毫升模型,與?表示模型的參數集的手:(一)可模擬性;(b)可分解性;(c)算法的透明度。

圖5. 概念圖顯示了不同的因果explainability方法可供M?毫升模型

3. 透明機器學習模型

前一節介紹了透明模型的概念。如果一個模型本身是可以理解的，那么它就被認為是透明的。本節調查的模型是一套透明模型，它可以屬于前面描述的模型透明性的一個或所有級別(即可模擬性、可分解性和算法透明性)。在接下來的部分中，我們提供了該語句的理由，并提供了圖6與圖7中所示支持。

圖6:ML模型可解釋性分類的總體情況

圖7: 本綜述中所考慮的不同ML模型的透明度水平的圖形說明:(a)線性回歸;(b)決策樹;(c)再鄰居;(d)基于規則的學習者;(e)廣義可加模型;(f)貝葉斯模型。

4. 機器學習模型的后解釋技術:分類法、淺層模型和深度學習

當ML模型不滿足宣布它們透明的任何標準時，必須設計一個單獨的方法并應用于模型來解釋它的決策。這就是事后可解釋性技術(也稱為建模后可解釋性)的目的，它的目的是交流關于已經開發的模型如何對任何給定輸入產生預測的可理解信息。在本節中，我們將對不同的算法方法進行分類和回顧，這些算法方法用于事后可解釋性，區別于1) 那些為應用于任何類型的ML模型而設計的算法方法; 2) 那些是為特定的ML模型設計的，因此，不能直接推斷到任何其他學習者。現在，我們詳細闡述了不同ML模型的事后可解釋性方面的趨勢，這些趨勢在圖8中以分層目錄的形式進行了說明，并在下面進行了總結:

用于事后解釋的模型無關技術(4.1小節)，可以無縫地應用于任何ML模型，而不考慮其內部處理或內部表示。

專為解釋某些ML模型而定制或專門設計的事后解釋能力。我們將我們的文獻分析分為兩個主要的分支:淺層ML模型的事后可解釋性的貢獻，這些貢獻統稱為所有不依賴于神經處理單元的分層結構的ML模型(第4.2小節);以及為深度學習模型設計的技術，這些技術相應地表示神經網絡家族和相關變體，如卷積神經網絡、遞歸神經網絡(4.3小節)和包含深度神經網絡和透明模型的混合方案。對于每一個模型，我們都對研究界提出的最新的事后方法進行了徹底的審查，并確定了這些貢獻所遵循的趨勢。

我們以4.4小節結束了我們的文獻分析，在4.4小節中，我們提出了第二種分類法，通過對處理深度學習模型的事后解釋的貢獻進行分類，對圖6中更一般的分類進行了補充。為此，我們將重點關注與這類黑盒ML方法相關的特定方面，并展示它們如何鏈接到第一種分類法中使用的分類標準。

圖8. 綜述文獻的分類和與不同ML模型相關的可解釋性技術的趨勢。用藍色、綠色和紅色框起來的引用分別對應于使用圖像、文本或表格數據的XAI技術。為了建立這種分類法，對文獻進行了深入分析，以區分是否可以將后適應技術無縫地應用于任何ML模型，即使在其標題和/或摘要中明確提到了深度學習。

4.1 用于事后可解釋性的模型不可知技術

用于事后可解釋性的模型無關技術被設計成插入到任何模型，目的是從其預測過程中提取一些信息。有時，使用簡化技術來生成模仿其前身的代理，目的是為了獲得易于處理和降低復雜性的東西。其他時候，意圖集中在直接從模型中提取知識，或者簡單地將它們可視化，以簡化對其行為的解釋。根據第2節中介紹的分類法，與模型無關的技術可能依賴于模型簡化、特征相關性估計和可視化技術。

4.2 淺ML模型的事后解釋能力

Shallow ML覆蓋了多種監督學習模型。在這些模型中，有一些嚴格可解釋的(透明的)方法(如KNN和決策樹，已經在第3節中討論過)。考慮到它們在預測任務中的突出地位和顯著性能，本節將集中討論兩種流行的淺ML模型(樹集成和支持向量機，SVMs)，它們需要采用事后可解釋性技術來解釋它們的決策

4.3 深度學習的可解釋性

事后局部解釋和特征相關技術正日益成為解釋DNNs的主要方法。本節回顧了最常用的DL模型，即多層神經網絡、卷積神經網絡(CNN)和遞歸神經網絡(RNN)的可解釋性研究。

圖9: 混合模型的圖示。一個被認為是黑箱的神經網絡可以通過將其與一個更具解釋性的模型相關聯來解釋，如決策樹[298]、一個(模糊的)基于規則的系統[19]或KNN[259]。

圖10:(a) 可選的深度學習特定分類擴展自[13]的分類;(b)它與圖6中的分類法的聯系。

5. XAI:機遇、挑戰和研究需求

現在，我們利用已完成的文獻回顧，對ML和數據融合模型的可解釋性領域的成就、趨勢和挑戰提出了批評。實際上，我們在討論到目前為止在這一領域取得的進展時，已經預見到了其中的一些挑戰。在本節中，我們將重新審視這些問題，并為XAI探索新的研究機會，找出可能的研究路徑，以便在未來幾年有效地解決這些問題:

在可解釋性和性能之間的權衡

可解釋性與性能的問題是一個隨著時間不斷重復的問題，但就像任何其他大命題一樣，它的周圍充滿了神話和誤解。

圖11: 模型可解釋性和性能之間的權衡，以及XAI技術和工具潛力所在的改進領域的表示

6. 走向負責任的人工智能:人工智能、公平、隱私和數據融合的原則

多年來，許多組織，無論是私人的還是公共的，都發布了指導方針，指出人工智能應該如何開發和使用。這些指導方針通常被稱為人工智能原則，它們處理與個人和整個社會潛在的人工智能威脅相關的問題。本節將介紹一些最重要和被廣泛認可的原則，以便將XAI(通常出現在它自己的原則中)與所有這些原則聯系起來。如果在實踐中尋求一個負責任的AI模型的實現和使用，我們公司聲稱XAI本身是不夠的。其他重要的人工智能原則，如隱私和公平，在實踐中必須謹慎處理。在接下來的章節中，我們將詳細闡述負責任人工智能的概念，以及XAI和數據融合在實現其假設原則中的含義。

6.1 人工智能原則 Principles of Artificial Intelligence

使用人工智能系統后的輸出不應導致在種族、宗教、性別、性取向、殘疾、種族、出身或任何其他個人條件方面對個人或集體產生任何形式的歧視。因此，在優化人工智能系統的結果時要考慮的一個基本標準不僅是它們在錯誤優化方面的輸出，而且是系統如何處理這些狀況。這定義了公平AI的原則。

人們應該知道什么時候與人交流，什么時候與人工智能系統交流。人們還應該知道他們的個人信息是否被人工智能系統使用，以及用于什么目的。確保對人工智能系統的決策有一定程度的理解是至關重要的。這可以通過使用XAI技術來實現。重要的是，生成的解釋要考慮將接收這些解釋的用戶的配置文件(根據小節2.2中給出的定義，所謂的受眾)，以便調整透明度級別，如[45]中所示。這定義了透明和可解釋AI的原則。

人工智能產品和服務應始終與聯合國的可持續發展目標保持一致[375]，并以積極和切實的方式為之做出貢獻。因此，人工智能應該總是為人類和公共利益帶來好處。這定義了以人為中心的人工智能的原則(也稱為社會公益的人工智能[376])。

人工智能系統，尤其是當它們由數據提供信息時，應該在其整個生命周期中始終考慮隱私和安全標準。這一原則并不排斥人工智能系統，因為它與許多其他軟件產品共享。因此，它可以從公司內部已經存在的流程中繼承。這通過設計定義了隱私和安全的原則，這也被認為是負責任的研究和創新范式下智能信息系統面臨的核心倫理和社會挑戰之一(RRI，[377])。RRI指的是一套方法學指南和建議，旨在從實驗室的角度考慮更廣泛的科學研究背景，以應對全球社會挑戰，如可持續性、公眾參與、倫理、科學教育、性別平等、開放獲取和治理。有趣的是，RRI還要求在遵循其原則的項目中確保開放性和透明度，這與前面提到的透明和可解釋的AI原則直接相關。

作者強調，所有這些原則都應該擴展到任何第三方(供應商、顧問、合作伙伴……)

6.2 公平和責任

如前一節所述，除了XAI之外，在過去十年中發布的不同AI原則指導方針中還包括許多關鍵方面。然而，這些方面并不是完全脫離了XAI;事實上，它們是交織在一起的。本節介紹了與人工智能原則指導具有巨大相關性的兩個關鍵組成部分，即公平性和可說明性。這也突出了它們與XAI的聯系。

6.3 隱私與數據融合

如今，幾乎所有領域的活動中都存在著越來越多的信息源，這就要求采用數據融合方法，同時利用這些信息源來解決學習任務。通過合并異構信息，數據融合已被證明可以在許多應用程序中提高ML模型的性能。本節通過數據融合技術的潛力進行推測，以豐富ML模型的可解釋性，并對從中學習ML模型的數據的私密性做出妥協。為此，我們簡要概述了不同的數據融合范式，并從數據隱私的角度進行了分析。我們稍后會講到，盡管XAI與負責任的人工智能相關，但在當前的研究主流中，XAI與數據融合是一個未知的研究領域。

圖12: 顯示可以執行數據融合的不同級別的關系圖:(a)數據級別;(b)模型;(c)知識水平;(d)大數據融合;(e)聯邦學習和(f)多視圖學習。

7. 結論和展望

這篇綜述圍繞著可解釋的人工智能(XAI)展開，它最近被認為是在現實應用中采用ML方法的最大需求。我們的研究首先闡明了模型可解釋性背后的不同概念，并展示了激發人們尋找更多可解釋的ML方法的各種目的。這些概念性的評注已經成為一個堅實的基礎，系統地回顧最近關于可解釋性的文獻，這些文獻從兩個不同的角度進行了探討:1) ML模型具有一定程度的透明性，因此可以在一定程度上自行解釋; 2) 后特設XAI技術的設計，使ML模型更容易解釋。這個文獻分析已經產生了一個由社區報告的不同提案的全球分類，在統一的標準下對它們進行分類。在深入研究深度學習模型可解釋性的貢獻越來越普遍的情況下，我們深入研究了有關這類模型的文獻，提出了一種可選擇的分類方法，可以更緊密地連接深度學習模型可解釋性的具體領域。

我們的討論已經超越了XAI領域目前所取得的成果，轉向了負責任的AI概念，即在實踐中實現AI模型時必須遵循的一系列AI原則，包括公平、透明和隱私。我們還討論了在數據融合的背景下采用XAI技術的含義，揭示了XAI在融合過程中可能會損害受保護數據的隱私。對XAI在公平方面的含義也進行了詳細的討論。

我們對XAI未來的思考，通過在整個論文中進行的討論，一致認為有必要對XAI技術的潛力和警告進行適當的理解。我們的設想是，模型的可解釋性必須與數據隱私、模型保密性、公平性和可靠性相關的需求和約束一起解決。只有聯合研究所有這些人工智能原則，才能保證在全世界的組織和機構中負責任地實施和使用人工智能方法。

參考文獻

1. S. J. Russell, P. Norvig, Artificial intelligence: a modern approach, Malaysia; Pearson Education Limited,, 2016.
2. D. M. West, The future of work: robots, AI, and automation, Brookings Institution Press, 2018.
3. S. J. Russell, P. Norvig, Artificial intelligence: a modern approach,Malaysia; Pearson Education Limited,, 2016.
4. D. M. West,The future of work: robots, AI, and automation, Brookings Institution Press,2018.
5. B. Goodman,S. Flaxman, European union regulations on algorithmic decision-making and aright to explanation, AI Magazine 38 (3) (2017) 50–57.
6. D. Castelvecchi, Can we open the black box of AI?, Nature News 538(7623) (2016) 20.
7. Z. C. Lipton, The mythos of model interpretability, Queue 16 (3)(2018) 30:31–30:57.
8. A. Preece, D. Harborne, D. Braines, R. Tomsett, S. Chakraborty,Stakeholders in Explainable AI (2018). arXiv:1810.00184.
9. D. Gunning, Explainable artificial intelligence (xAI), Tech. rep.,Defense Advanced Research Projects Agency (DARPA) (2017).
10. E. Tjoa, C. Guan, A survey on explainable artificial intelligence(XAI): Towards medical XAI (2019). arXiv:1907.07374.
11. J. Zhu, A. Liapis, S. Risi, R. Bidarra, G. M. Youngblood, ExplainableAI for designers: A humancentered perspective on mixed-initiative co-creation,2018 IEEE Conference on Computational Intelligence and Games (CIG) (2018) 1–8.
12. F. K. Do?silovi′c, M. Br?ci′c, N. Hlupi′c, Explainable artificialintelligence: A survey, in: 41st International Convention onInformation and Communication Technology, Electronics and Microelectronics (MIPRO),2018, pp. 210–215.

【導讀】最新的一期《Science》機器人雜志刊登了關于XAI—Explainable artificial intelligence專刊，涵蓋可解釋人工智能的簡述論文，論述了XAI對于改善用戶理解、信任與管理AI系統的重要性。并包括5篇專刊論文，值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解釋性對于用戶有效地理解、信任和管理強大的人工智能應用程序是至關重要的。

//robotics.sciencemag.org/content/4/37/eaay7120

最近在機器學習(ML)方面的成功引發了人工智能(AI)應用的新浪潮，為各種領域提供了廣泛的益處。然而，許多這些系統中不能向人類用戶解釋它們的自主決策和行為。對某些人工智能應用來說，解釋可能不是必要的，一些人工智能研究人員認為，強調解釋是錯誤的，太難實現，而且可能是不必要的。然而，對于國防、醫學、金融和法律的許多關鍵應用，解釋對于用戶理解、信任和有效地管理這些新的人工智能合作伙伴是必不可少的(參見最近的評論(1-3))。

最近人工智能的成功很大程度上歸功于在其內部表示中構造模型的新ML技術。其中包括支持向量機(SVMs)、隨機森林、概率圖形模型、強化學習(RL)和深度學習(DL)神經網絡。盡管這些模型表現出了高性能，但它們在可解釋性方面是不透明的。ML性能(例如，預測準確性)和可解釋性之間可能存在固有的沖突。通常，性能最好的方法(如DL)是最不可解釋的，而最可解釋的方法(如決策樹)是最不準確的。圖1用一些ML技術的性能可解釋性權衡的概念圖說明了這一點。

圖1 ML技術的性能與可解釋性權衡。

(A)學習技巧和解釋能力。(B)可解釋模型:學習更結構化、可解釋或因果模型的ML技術。早期的例子包括貝葉斯規則列表、貝葉斯程序學習、因果關系的學習模型，以及使用隨機語法學習更多可解釋的結構。深度學習:一些設計選擇可能產生更多可解釋的表示(例如，訓練數據選擇、架構層、損失函數、正則化、優化技術和訓練序列)。模型不可知論者:對任意給定的ML模型(如黑箱)進行試驗以推斷出一個近似可解釋的模型的技術。

什么是XAI?

一個可解釋的人工智能(XAI)系統的目的是通過提供解釋使其行為更容易被人類理解。有一些通用原則可以幫助創建有效的、更人性化的人工智能系統:XAI系統應該能夠解釋它的能力和理解;解釋它已經做了什么，現在正在做什么，接下來會發生什么; 披露其所依據的重要信息(4)。

然而，每一個解釋都是根據AI系統用戶的任務、能力和期望而設置的。因此，可解釋性和可解釋性的定義是與域相關的，并且可能不是與域獨立定義的。解釋可以是全面的，也可以是片面的。完全可解釋的模型給出了完整和完全透明的解釋。部分可解釋的模型揭示了其推理過程的重要部分。可解釋模型服從根據域定義的“可解釋性約束”(例如，某些變量和相關變量的單調性服從特定關系)，而黑箱或無約束模型不一定服從這些約束。部分解釋可能包括變量重要性度量、局部模型(在特定點近似全局模型)和顯著性圖。

來自用戶的期望

XAI假設向最終用戶提供一個解釋，該用戶依賴于AI系統所產生的決策、建議或操作，然而可能有許多不同類型的用戶，通常在系統開發和使用的不同時間點(5)。例如，一種類型的用戶可能是智能分析師、法官或操作員。但是，需要對系統進行解釋的其他用戶可能是開發人員或測試操作員，他們需要了解哪里可能有改進的地方。然而，另一個用戶可能是政策制定者，他們試圖評估系統的公平性。每個用戶組可能有一個首選的解釋類型，能夠以最有效的方式交流信息。有效的解釋將考慮到系統的目標用戶組，他們的背景知識可能不同，需要解釋什么。

可操作性——評估和測量

一些方法提出了一些評價和衡量解釋有效性的方法;然而，目前還沒有通用的方法來衡量XAI系統是否比非XAI系統更容易被用戶理解。其中一些度量是用戶角度的主觀度量，例如用戶滿意度，可以通過對解釋的清晰度和實用性的主觀評級來度量。解釋有效性的更客觀的衡量標準可能是任務績效; 即，這樣的解釋是否提高了用戶的決策能力?可靠和一致的測量解釋的影響仍然是一個開放的研究問題。XAI系統的評價和測量包括評價框架、共同點[不同的思維和相互理解(6)]、常識和論證[為什么(7)]。

XAI -問題和挑戰

在ML和解釋的交集處仍然存在許多活躍的問題和挑戰。

1. 從電腦開始還是從人開始(8). XAI系統應該針對特定的用戶進行解釋嗎?他們應該考慮用戶缺乏的知識嗎?我們如何利用解釋來幫助交互式和人在循環的學習，包括讓用戶與解釋交互以提供反饋和指導學習?

2. 準確性與可解釋性。XAI解釋研究的一條主線是探索解釋的技術和局限性。可解釋性需要考慮準確性和保真度之間的權衡，并在準確性、可解釋性和可處理性之間取得平衡。

3. 使用抽象來簡化解釋。高級模式是在大步驟中描述大計劃的基礎。對抽象的自動發現一直是一個挑戰，而理解學習和解釋中抽象的發現和共享是當前XAI研究的前沿。

4. 解釋能力與解釋決策。有資格的專家精通的一個標志是他們能夠對新情況進行反思。有必要幫助終端用戶了解人工智能系統的能力，包括一個特定的人工智能系統有哪些能力，如何衡量這些能力，以及人工智能系統是否存在盲點;也就是說，有沒有一類解是永遠找不到的?

從以人為本的研究視角來看，對能力和知識的研究可以使XAI超越解釋特定XAI系統和幫助用戶確定適當信任的角色。未來，XAIs可能最終會扮演重要的社會角色。這些角色不僅包括向個人學習和解釋，而且還包括與其他代理進行協調以連接知識、發展跨學科見解和共同點、合作教授人員和其他代理，以及利用以前發現的知識來加速知識的進一步發現和應用。從這樣一個知識理解和生成的社會視角來看，XAI的未來才剛剛開始。

本期刊論文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我們會相信機器人嗎?科幻小說說沒有，但可解釋的機器人可能會找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最適合促進信任的解釋方法不一定對應于那些有助于最佳任務性能的組件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的強化學習方法能從形式化的語言中獲得回報，并保證了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

參考文獻：

1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

2. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Gü?lütürk, U. Gü?lü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

3. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

4. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

5. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

6. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

7. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

?

8. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

9. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.

報告題目： AV+AI - Challenges and Opportunities

報告摘要：

AV與AI相遇會產生怎樣的效果不禁令人期待。人類駕駛汽車與無人駕駛相比，人類司機存在著缺陷，而且目前AV面臨著技術、安全問題、市場接受度和法律等問題，此次報告主要從以下方面講述了AV+AI的挑戰與機遇：

• AV-挑戰
• 當AI遇到AV
• 將人工智能應用于可靠可靠的AV
• AV+AI -挑戰
• 結束語

嘉賓介紹

詹景堯是伯克利DeepDrive副主任，在車輛和基礎設施安全、高速公路網絡運行、車輛自動化、先進駕駛輔助系統、專用短程通信（DSRC）和運輸的蜂窩通信以及交通監控與數據融合方面有很深的造詣。

論文題目：Challenges in Building Intelligent Open-domain Dialog Systems

論文摘要：由于大量的對話數據的可用性和最新的漸進式對話方法AI的興起，人們對開發智能的開放域對話系統產生了濃厚的興趣。與傳統的面向任務的機器人一樣，開放域對話系統旨在通過滿足人類對交流，情感和情感的需求與用戶建立長期聯系。社會歸屬感。本文回顧了有關神經方法的最新工作，該方法致力于解決開發此類系統的三個挑戰：語義，一致性和交互性。語義要求對話系統不僅要了解對話的內容，還要識別對話過程中用戶的情感和社交需求;一致性要求該系統表現出一致的個性以贏得用戶的信任并獲得他們的長期信任。該系統生成人際反應以實現特定社會目標（如娛樂性，順從性和任務完成性）的能力。我們在本次調查中選擇呈現的研究基于我們的獨特觀點，但絕不是完整的。盡管如此，我們希望該討論會激發新的研究，以開發更多的智能到筆域對話系統。