人工智能的空間是巨大的，復雜的，并不斷發展的。隨著計算能力的進步和越來越大的數據集，人工智能算法正在被探索和開發，以用于各種各樣的應用空間，人工智能算法有各種各樣的潛在用戶和相關風險。人工智能界正在追求可解釋性，作為可信人工智能系統的許多理想特征之一。通過與人工智能界的合作，美國國家標準與技術研究院（NIST）已經確定了其他的技術特征來培養人工智能的信任。除了可解釋性（explainability）和可詮釋性（interpretability）之外，為支持系統的可信賴性（trustworthiness）而提出的其他人工智能系統特征包括準確性、隱私性、可靠性、穩健性、安全性、保障性（彈性）、減少有害偏見、透明度、公平性和問責制。可解釋性和其他人工智能系統特征在人工智能生命周期的各個階段相互作用。雖然所有這些都是極其重要的，但這項工作只關注可解釋的人工智能系統的原則。

在本文中，我們介紹了四項原則，我們認為這些原則構成了可解釋人工智能系統的基本屬性。這些可解釋人工智能的原則是通過NIST的公共研討會和公眾評論期與更大的人工智能社區接觸后得出的。我們認識到，并非所有的人工智能系統都需要解釋。然而，對于那些打算或要求可解釋的人工智能系統，我們建議這些系統遵守以下四個原則：

• 解釋性：一個系統為產出和/或過程提供或包含附帶的證據或理由。

• 有意義：一個系統所提供的解釋對目標消費者來說是可以理解的。

• 解釋準確性：解釋正確地反映產生輸出的原因或準確地反映系統的過程。

• 知識局限性：系統僅在其設計條件下以及對其輸出達到足夠置信度時才能運行。

在這項工作中，我們認識到基于過程和基于結果的解釋的重要性，以及解釋目的和風格的重要性。例如，人工智能開發者和設計者的解釋需求可能與政策制定者和終端用戶的解釋需求截然不同。因此，為什么要求解釋以及如何提供解釋可能會因人工智能用戶的不同而不同。考慮到人工智能系統與信息的人類接收者的互動，這四項原則受到很大影響。給定情況的要求、手頭的任務和消費者都會影響被認為適合該情況的解釋的類型。這些情況可以包括，但不限于，監管機構和法律要求，人工智能系統的質量控制，以及客戶關系。我們的可解釋人工智能系統的四項原則旨在捕捉一系列廣泛的動機、理由和觀點。這些原則允許定義解釋所要考慮的背景因素，并為衡量解釋質量鋪平道路。

我們設想，鑒于人工智能領域的復雜性，這些原則將隨著時間的推移從更多的細化和社區投入中受益。我們充分認識到，除了可解釋性之外，還有許多其他社會技術因素影響著人工智能的可信度。這項關于可解釋人工智能系統原則的工作是NIST人工智能組合的一部分，該組合圍繞可信賴的人工智能數據、標準、評估、驗證和核實--所有這些都是人工智能測量所必需的。NIST是一個計量機構，因此，定義可解釋人工智能系統的初始原則是未來測量和評估活動的路線圖。該機構的人工智能目標和活動是根據其法定任務、白宮的指示以及美國工業界、其他聯邦機構和全球人工智能研究界的需求來確定優先次序的。目前的工作只是這個更大空間中的一步，我們認為這項工作將隨著時間的推移繼續發展和進步，就像更大的人工智能領域。

摘要

由于人工智能（AI）、機器學習，特別是深度學習的進步，可解釋人工智能（XAI）研究領域最近受到了很多關注。XAI是一個研究領域，重點是確保人工智能系統的推理和決策可以向人類用戶解釋。在軍事背景下，這種解釋通常是為了確保：

• 人類用戶對他們操作的人工智能系統有適當的心智模型。

• 專家可以從人工智能系統及其隱藏的戰術和戰略行為中獲得洞察力并提取知識。

• 人工智能系統遵守國際和國家法律。

• 開發人員甚至在部署前就能發現人工智能系統的缺陷或漏洞。

本報告的目的是為基于深度學習的人工智能系統提供解釋而開發的XAI技術。這類系統本身就很難解釋，因為它們所模擬的過程往往過于復雜，無法使用可解釋的替代方法來建模。

盡管深度學習XAI領域仍處于起步階段，但科學文獻中已經提出了許多解釋技術。今天的XAI技術主要用于開發目的（即識別錯誤）。需要進行更多的研究來得出結論，這些技術是否也有助于支持用戶為他們所操作的人工智能系統建立適當的心智模型、戰術開發，并確保未來的軍事人工智能系統遵循國家和國際法律。

關鍵詞

人工智能、可解釋人工智能、透明度、機器學習、深度學習、深度神經網絡

1 引言

人工智能（AI）是一個對瑞典[1]和瑞典武裝部隊（SwAF）具有戰略意義的研究領域。當今人工智能成功的主要因素是機器學習（ML）的突破，更確切地說，是深度學習（DL）的突破。DL是一種潛在的顛覆性技術，使我們能夠使用深度神經網絡（DNN）來模擬以前使用傳統技術無法模擬的復雜過程。例如，DL可以用來準確地轉錄（語音到文本）[2，3]，翻譯（文本到文本）[4]，合成語音（文本到語音）[5]，玩實時戰略游戲（視頻到行動）[6，7]，讀取唇語（視頻到文本）[8]，識別人臉（圖像到身份）[9]和控制自動駕駛車輛（視頻到行動）[10，11]。

然而，DL仍然處于起步階段，沒有一個數學框架可以用來保證模型的正確性[12]。因此，在軍事應用中開發、部署、使用和維護DNN模型時，有許多挑戰需要考慮和解決。

從軍事用戶（操作員、數據分析師等）的角度來看，最重要的挑戰也許是可解釋性。根據經驗，當人的生命受到嚴重影響時，對可解釋性的需求更大。在軍事領域是這樣，在醫學、執法和其他民事服務領域也是如此。可解釋性很重要，因為它影響著用戶對系統的信任和依賴。信任關系必須是平衡的；過多的信任可能導致對系統的誤用，而過少的信任則可能導致對系統的完全廢棄[13]。最終，解釋的目的是幫助用戶建立一個適當的系統心智模型，以確保它能被有效使用[14]。

深度學習有可能改善復雜軍事系統的自主性，如戰斗機、潛艇、無人機和衛星監視系統。然而，它也會使這些系統變得更加復雜和難以解釋。主要原因是，DL是一種端到端的機器學習技術，意味著機器學習從輸入數據中提取最重要的特征，以實現高性能。這被稱為表征學習，它與傳統技術不同，傳統技術是用人類的直覺來手動提取這種特征。表征學習往往能帶來高性能，但它也要求模型具有高度的表現力和非線性。因此，使用DL訓練的DNN可能由數百萬甚至數十億的參數組成。這使得它們很難向人類解釋和說明，即使學習算法、模型結構、訓練數據等都是已知的和很好理解的。

美國國防部高級研究計劃局（DARPA）于2016年啟動的可解釋人工智能（XAI）計劃也許是為解決這一挑戰而采取的最全面的軍事舉措。該計劃的目的是：

• "產生更多可解釋的模型，同時保持高水平的學習性能（預測精度）。"

• "使人類用戶能夠理解、適當地信任并有效地管理新一代的人工智能伙伴"。

自XAI計劃開始以來，已經取得了許多技術上的進步。一些XAI技術甚至已經實現并打包在軟件庫中，可用于深入了解、調試和驗證DNN[16, 17, 18]。這是朝正確方向邁出的一步，但從軍事角度來看，關鍵是XAI技術和工具也要為軍事用戶量身定做，因為在這些地方需要高級解釋，以確保信任、使用和性能。

1.1 目的和范圍

本報告的目的是介紹在DL背景下開發的代表性XAI技術。本報告并非詳盡無遺，它并不涵蓋文獻中提出的所有XAI技術。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI、ML和DL技術以用于系統或嵌入系統的軍事人員。

1.3 概要

第2章介紹了智能Agent、機器學習和深度學習的概念。第3章介紹了文獻中提出的各種XAI技術。第4章介紹了可用于評估XAI技術所提供的解釋的方法和技術。第5章介紹了一個案例研究，其中XAI被用來解釋一個深度學習模型的行為。最后，第6章對報告進行了總結，并對未來的工作提出了建議。

2 智能Agent、機器學習和深度學習

本章介紹了一些概念、方法、術語和技術，是本報告的其余部分的基礎。已經對智能Agent、機器學習和深度學習有基本了解的讀者可以跳過本章。

2.1 智能Agent

人工智能是一個廣泛的術語，可以有很多定義。在本報告中，人工智能是指對智能Agent（IA）的研究和設計。一個IA是一個能夠在環境中感知、推理和行動的自主實體。通常情況下，IA與環境中的其他Agent（即多Agent系統）以及人類（如人機合作）進行互動。

當在物理世界中實施時，IAs可以代表從簡單的恒溫器到復雜的自動駕駛車輛、自主機器人、無人機等任何東西。在虛擬環境中，人工智能通常由能夠翻譯、轉錄等的機器人或虛擬助理來代表。在軍事模擬中，IAs通常被稱為非玩家角色（NPCs）或計算機生成部隊（CGFs）。

圖2.1說明了IA的主要組成部分。這些組件通常使用傳統編程和人工智能技術的組合來實現，如專家系統、狀態機、行為樹和機器學習。本報告重點討論完全或部分使用DNN實現的IA的XAI。

圖2.1 - 智能Agent（IA）是一個能夠在環境中感知、推理和行動的自主實體。環境可以是物理的（即現實世界）或虛擬的（如互聯網、虛擬仿真、嚴格游戲）。IA通常與其他Agent、人類互動，分別形成多Agent系統和人機團隊。

2.2 機器學習

ML是人工智能的一個子領域，重點是開發能夠從觀察和經驗中學習的智能系統或IA。在本節中，將介紹ML中使用的主要學習策略。

2.2.1 監督式學習

在監督學習中，IA從已被標記或標注的訓練樣本中學習。學習的目的是使與這些樣本的偏差最小化，同時保持對未見過的輸入的概括能力。實際上，IA將模仿訓練數據中的行為。圖2.2說明了監督學習過程。

在監督學習中，標記過程通常是由人類手動完成的，這就是為什么這種方法在許多應用中可能是昂貴和不實用的。監督學習的主要優點是，一旦數據集建立起來，學習過程是穩定的，而且相對容易監控。

監督學習的主要應用是分類和回歸，其中，離散類標簽和連續值分別代表模型的輸出。分類器可用于檢測代理人視野中感興趣的物體，或識別某一特定情況是否危險。回歸通常用于對Agent的執行器（機器人肢體、方向盤位置等）進行低層次的連續控制。

圖2.2 - 監督式學習。IA從已被標記或標注的樣本中學習。學習過程的目標是創建一個模型，使其與所提供的訓練樣本的偏差最小。淺灰色的方框代表訓練樣本（即輸入和它們的標簽）。

2.2.2 強化學習

在強化學習中，IA通過在一個通常是模擬的環境中執行動作來學習。學習的目的是IA在模擬器中執行動作時使其獎勵最大化。獎勵通常由游戲的結果來表示，因此用于獲勝或失敗的行動分別由學習算法進行正向和負向強化。學習過程如圖2.3所示。

強化學習的一個主要優點是，不再需要手動標注訓練數據。相反，在某種意義上，獎勵函數被用來自動標記數據。然而，為現實世界的問題設計一個獎勵函數是一項非艱巨的任務。它要求隨著時間的推移，適當的獎勵可以被分配給IA的行動[19]。一個設計不良的獎勵函數可能會導致不理想的和意外的行為。

強化學習被用于IA需要學習最佳行動選擇策略的應用中。當應用于實時戰略游戲時，IA可以比大多數人類專家更好地學習選擇行動[6, 7]。因此，我們有理由相信，強化學習最終也能為軍事目的產生替代的甚至是新的戰術和戰略。

圖2.3 - 使用強化學習，IA通過在模擬環境中采取行動來學習。學習過程的目標是使環境提供的獎勵信號最大化。淺灰色的方框代表輸入，在這種情況下是一個模擬器和一個獎勵函數，是這個學習策略所需要的。

2.2.3 無監督學習

在無監督學習中，IA學習識別無標簽數據中的模式和結構，如圖2.4所示。請注意，盡管被稱為無監督學習，但總是由一個預先定義的指標指導。例如，k-means聚類算法使用歐氏距離對數據進行聚類。同樣，自動編碼器（AE）需要存在一個損失或誤差度量函數。

無監督學習的最常見應用包括聚類、可視化、降維和異常檢測。無監督學習在DL中的一個較新的應用是元學習，其中IA被訓練的目標是成為更快的學習者（即學習如何去學習）。

圖2.4 - 在無監督學習中，IA學習在未標記的數據中識別模式和集群。無監督學習由預先定義的指標（例如k-means聚類中的歐幾里得距離）指導，從數據中學習。

2.3 深度學習

深度學習是一種機器學習方法，可用于上述所有的學習策略（即監督式學習、強化式學習和無監督式學習）。

2.3.1 深度神經網絡

在DL中，用于捕捉和學習經驗的模型由DNN來表示。DNN本質上是一個數學表達式，由大量的嵌套和可微分的子函數組成。第 2.3.3 節解釋了 DNN 必須是可微分的原因。

DNN 通常使用圖形進行可視化，其中各層節點用邊相互連接，如圖 2.5 所示。在這種表示方法中，每條邊代表一個可訓練的參數或權重，每個節點代表一個神經元（即一個可區分的子函數），使用權重將輸入轉化為輸出。圖2.6說明了一個神經元所進行的操作。該神經元首先計算其輸入和權重的乘積之和。然后這個值被神經元的非線性激活函數處理，產生一個輸出。然后，該輸出被用作下一層神經元的輸入。

在現實世界的應用中，權重（圖2.5中的邊）的數量通常會增長到數百萬甚至數十億。還要注意的是，除了圖2.5中說明的全連接神經網絡（FCNN），還有不同類型的DNN。卷積神經網絡（CNN）用于數據中存在空間關系的情況，這在圖像中是典型的情況。同樣地，當數據中存在已知的時間關系時（如文本和音頻），經常使用遞歸神經網絡（RNN）。在現實世界的應用中，模型的設計通常是使用精心挑選的CNN、RNN和FCNN的混合。本節的其余部分主要討論FCNN。然而，推理和訓練的原則也同樣適用于CNN和RNNs。

在本報告中，用來表示DNN的數學符號是fθ，其中θ代表DNN的可訓練權重或參數。

圖 2.5 - 一個具有四個輸入、兩個隱藏層和一個輸出的全連接 DNN 的可視化。在這個表示中，每條邊代表一個可訓練的參數或權重，每個節點代表一個神經元（即一個可微分的子函數），使用權重將輸入轉化為輸出。每個神經元計算其輸入和權重的乘積之和。然后，該值由神經元的非線性激活函數處理，產生一個輸出。

圖2.6 - DNN中的神經元的可視化。首先，使用輸入x和權重ω的乘積之和被計算。然后，這個值被送入神經元的非線性激活函數g，以產生一個輸出，可以被送入下一層的神經元。代表一個神經元的數學表達式是。請注意，偏差b，也是一個可訓練的參數，與權重不同，它不與輸入相連。

2.3.2 推斷

推理是一個過程，在這個過程中，輸入被已經訓練好的 DNN 處理，產生一個輸出。在DNN中，處理是通過網絡的各層向前傳遞進行的。計算圖也許是描述推理的最直觀的方式。在計算圖中，DNN被模塊化為原始的子函數，代表網絡中嵌入的操作。作為一個例子，圖2.7中的計算圖表示有一個輸入的神經元。使用這種表示方法，很容易看到輸入是如何在圖中向前移動（從左到右）時被轉化的。

計算圖可以被擴展到具有任意數量的輸入、神經元和輸出的DNN模型。在實踐中，使用代表聚合層的計算圖來設計DNN是很常見的。然后，不同的層可以相互連接，形成最終的 DNN。

圖2.7--計算圖表示一個神經元的操作，fθ(x)=g(x×ω+b)，有一個輸入x和預訓練的參數θ={ω，b}。計算圖可以擴展到包括任意的輸入和輸出。在現實世界的應用中，DNN由代表神經元聚集層的計算圖組成。

2.3.3 訓練

訓練是DNN，fθ，及其可訓練參數或權重θ，被更新的過程。訓練是一個迭代過程，目的是調整θ，使損失函數L(fθ)達到最小。在實踐中，方程2.1中的梯度下降（GD）優化方法或其變體被用來執行更新。

在GD方法中，α代表一個超參數（即一個用于控制學習過程的用戶定義參數），稱為學習率。學習率α，控制著學習過程的速度。重要的是，α被適當地初始化，以確保可訓練的參數能夠收斂到一個最佳的解決方案。一般來說，如果α太大，訓練過程就會變得不穩定，可訓練參數就不會收斂。此外，如果α太小，訓練將是穩定的，盡管它將花費太多的時間來收斂。由于這個原因，使用能在學習過程中動態地改變學習速率的調度器已經成為常見的做法。

方程2.1中的項表示可訓練參數的梯度。梯度決定了更新可訓練參數θ的方向，從而使損失函數增加。請注意，更新的方向與梯度的方向相反，以便使損失最小化。

為了找到這些梯度，我們使用了反向傳播算法。給定一個訓練實例（x, y?），反向傳播算法首先執行一個前向傳遞來計算損失。給定損失后，再進行后向傳遞，使用鏈式規則公式計算梯度。同樣，解釋反向傳播的最直觀的方法是使用計算圖，其中DNN由子函數的集合表示。要進行反向傳播，所需要的就是找到這些子函數的導數。讓我們用一個簡單的例子來說明反向傳播，其中DNN由線性函數fθ(x)=ωx+b表示，只有兩個可訓練參數θ={ω，b}。在這種情況下，損失函數可以定義為fθ(x)和期望輸出y?的平方誤差:

因此，損失衡量了DNN的預測是否接近已知的輸出值，即y。當損失較小時，預測是好的。同樣地，當損失大時，預測就很差。

圖2.8顯示了代表方程2.2中損失函數的計算圖。除了前向傳遞，這個計算圖還包括一個后向傳遞，利用鏈式規則將損失（或誤差）傳播到可訓練參數θ={ω，b}。請注意，訓練中只需要損失相對于可訓練參數的導數（即）。逆向傳播從設置開始。從這里很容易看出鏈式規則是如何將誤差向后傳播的（從右到左），從而找到和。關于本節所述的訓練過程的演示，見附錄A。

即使訓練過程很簡單，可以用計算圖來解釋，也很難理解和解釋模型的行為。下一章將介紹為這些目的而開發的XAI技術。

圖2.8 - 表示平方誤差損失函數的計算圖，。在這個例子中，fθ(x) = ωx + b和θ = {ω, b}分別代表模型和它的可訓練參數，x和y?代表輸入和它的期望輸出（即訓練數據）。

3 可解釋人工智能的技術

可解釋人工智能（XAI）研究的重點是確保人工智能系統的推理和決策能夠被解釋給人類用戶。盡管由于DL的進步，XAI最近受到了很多關注，但XAI的研究領域并不新鮮。它至少在20世紀80年代就已經存在了[20]。對于XAI研究及其歷史的全面回顧，讀者可以參考[21]。

可解釋人工智能是任何用于影響人類生命高風險決策的軍事人工智能系統的關鍵組成部分。戰術層面上的人工智能應用的例子，重點是短期決策，包括無人駕駛車輛的自主控制以及武器和監視系統的目標識別、跟蹤和交戰。此外，XAI在戰爭的戰役和戰略層面同樣重要，甚至可能更重要，因為長期決策和規劃活動可能影響整個團體。在這個層面上，人工智能系統通常用于信息分析，但也可以通過模擬來提出規劃或行動方案（COA）。XAI在軍事應用中的主要目的是：

• 心智建模[14, 22]。XAI可用于支持用戶為其操作的人工智能系統建立適當的心智模型。在任何軍事系統中，無論是否啟用了人工智能，用戶都必須清楚地了解系統的運行邊界，以確保適當和有效的使用。

• 洞察力[23，24]。事實表明，DNN可以用來捕捉知識，并在對復雜過程的觀察中找出人類未知的模式。使用XAI技術，人類有可能解開這些知識并從中學習。使用強化學習的戰術和戰略發展是一個典型的應用，XAI有可能在軍事領域產生更深入的洞察力。

• 法律和法規[25, 26, 27]。XAI有可能被用來確保AI系統遵循國家和國際法律。也許人工智能最具有爭議性的應用是致命的自主武器系統（LAWS）[26]。一些人希望完全禁止這種系統，而另一些人則認為應該允許使用致命性武器系統，因為它們有可能提高精確度并將附帶損害降到最低[27]。盡管如此，作者認為XAI可以在制定政策的過程中發揮重要作用，以規范何時、何地以及是否可以使用LAWS等AI系統。

• 排除故障[23, 28]。在文獻中，有許多XAI被用來識別DNN中的錯誤的案例。當圖像中的版權水印或模擬器和游戲中的未知作弊器等現實世界數據中不存在的人工制品出現在訓練數據中時，通常會出現BUG。第2.3.3節中介紹的訓練過程可以學會利用，或走捷徑，利用這種人工制品。其結果是，當呈現測試數據時，DNN工作得很好，但當呈現真實世界的數據時卻失敗了。如果將XAI技術作為開發過程的一個組成部分，這種問題可以在部署前被發現和解決。

本章介紹了在DL背景下專門開發的幾種XAI技術。DL的XAI是一個重大挑戰，因為DNN可能由數百萬甚至數十億的參數組成，使得它們不透明，難以被人類解釋。請注意，據我們所知，擬議的技術還沒有在軍事背景下進行科學評估。因此，在這種情況下，這些技術能在多大程度上提供有用的解釋還不得而知。第四章介紹了如何進行這種評估。

3.1 全局解釋技術

全局解釋技術提供了對 DNN 及其整體行為的洞察力。在本節中，我們主要關注可用于分析和可視化高維訓練數據集的技術，但也關注如何獲取和解釋用于模型評估的性能測量。

3.1.1 大型高維數據集的可視化技術

在DL中，訓練數據集通常由大量的高維樣本組成。為了直觀地檢查這些數據集，它們必須被降低到人類可以觀察到的維度（即一維、二維或三維空間）。在可視化中總結大型數據集可以提供關于DNN所要學習的任務復雜性的有用見解。它也可以用來識別數據集中可能對DNN的性能產生負面影響的假象[23]。下面是三種無監督的技術，可用于降低維度以達到可視化的目的。

• 主成分分析（PCA）[29]。這項技術確定了數據集的主成分。數據被投射到被認為是最重要的成分或向量上。PCA的主要缺點是它是一種線性技術，因此，它可能無法識別非線性數據的模式。PCA的主要優點是該技術很好理解（即它可以被解釋），而且與其他技術相比，它的計算效率高。

• 可變自動編碼器（VAE）[30]。這是一種DL技術，使用DNNs來降低維度。VAE由兩個DNN組成：編碼器和解碼器。編碼器的目的是將高維的輸入數據壓縮成一個潛在的空間向量（在這種情況下是一維、二維或三維）。解碼器的目的是盡可能準確地使用低維潛空間表示重建高維數據。如第2.3.3節介紹的那樣，使用損失函數對DNN進行訓練，使原始輸入和其重建的誤差最小。一旦訓練完成，只需要編碼器來降低維度。這種技術的主要優點是它能夠學習數據中的非線性因素。缺點是VAE是用不透明的DNN構建的，不容易向人解釋。

• t-分布式隨機近鄰嵌入（t-SNE）[31]。這項技術是專門為可視化目的開發的。與VAE類似，t-SNE使用GD程序來學習如何最佳地降低數據的維度。在這種情況下，目標函數的目標是保持鄰域距離。t-SNE的優點是，它通常會產生更好的可視化效果。缺點是它的計算很復雜。

為了證明上述技術，將使用MNIST數據集[32]。這個數據集包含灰度圖像，包括代表70000個手寫數字的標簽。每個圖像由28×28像素組成，因此，數據的維度為784。圖3.1說明了從數據集中隨機抽取的15個樣本。

圖3.2中的可視化圖（散點圖）是使用從MNIST數據集中隨機抽取的10000張圖像的子集創建的。在這種情況下，使用PCA（圖3.2a）、VAE（圖3.2b）和t-SNE（圖3.2c和圖3.2d）將維數從784降低到2。這些圖是用所有10000個數據點渲染的，每個數據點的標簽都用顏色編碼，這樣人類就可以直觀地檢查出聚類趨勢。在圖3.2d中，數據集首先使用PCA進行預處理，在使用t-SNE之前將維度從784降低到50。這是使用t-SNE時的標準做法，以確保計算效率。圖3.2中的可視化圖提供了對數據集復雜性的洞察力。如果集群可以被直觀地識別，那么DNN也很可能能夠有效地從數據中學習。同樣地，如果集群不能被識別，那么DNN也將更難從數據中學習。在這種情況下，PCA技術無法分離聚類。因此，不能指望線性分類器能有好的表現。

圖3.1 - 從MNIST數據集中隨機抽取的樣本。樣本的標簽在圖的說明中提供。

圖3.2 - 使用主成分分析（PCA）、可變自動編碼器（VAE）和t分布式隨機近鄰嵌入（t-SNE）在二維散點圖中對高維數據進行可視化。在這種情況下，維度從784（代表28×28像素的圖像）減少到2。這些圖是用10000個數據點呈現的，每個數據點用其標簽（0到9）進行顏色編碼，以便人類可以直觀地檢查聚類情況。在圖3.2d中，在使用t-SNE之前，數據集使用PCA進行了預處理，將維度從784降低到50。這是使用t-SNE時的標準做法，以確保計算效率。可視化提供了對數據集復雜性的洞察力。如果集群可以被直觀地識別，那么DNN也很可能能夠有效地從數據中學習。同樣地，如果集群不能被識別，那么DNN也將更難從數據中學習。

3.1.2 模型評估

在訓練機器學習模型時，模型開發者會不斷測量模型在它之前未見過的輸入數據上的表現，以確認模型是否在向有用的行為發展。當開發者對模型的表現感到滿意時，就會停止訓練過程，并使用未見過的測試數據進行最終評估。這個最終的測試衡量了模型在現實世界中應用時的預期性能，在那里它通常會遇到訓練時沒有看到的輸入。測試數據集能在多大程度上被用來測量實際性能，取決于測試集與現實世界數據的對應程度。雖然在模型訓練和調整過程中對性能的持續測量主要是對模型開發者有意義，但從XAI的角度來看，最終的性能測量對用戶也是有價值的。

（1）對分類器的評估

在從圖像中對軍用車輛進行分類的例子中，每一類車輛都有數千張圖像，相當一部分圖像將被用于訓練，另外一組圖像將被分開，用于在訓練期間對模型進行微調和測試，還有一組圖像將被保留用于最終的性能測量。由于分類器在訓練過程中沒有看到測試集中的圖像，因此測量它在這些圖像上的表現可以了解模型在新數據上的表現如何。

在一個分類任務中，最直接的性能測量是計算正確分類的比例。這個衡量標準被稱為準確性：

也就是說，如果車輛分類模型在100張圖片上進行測試，85張圖片被正確分類，則該模型在測試數據上的準確率為85%。如果不同類別的實例出現的頻率相同，也就是說，數據是平衡的，那么準確率就會很高。

在水雷分類的例子中，任務是分析類似雷的聲納圖像，并將該物體分類為雷或其他東西（通常是巖石）。在這種情況下，可能相對缺乏可供訓練的雷圖像，因為關于巖石的數據很容易收集，而關于雷的數據，特別是由敵對勢力部署的雷，則不容易收集。

雷檢測案例是一個不平衡問題的例子，如果測試數據集要反映真實世界的發生情況，那么它將包含比雷圖片更多的巖石圖片。作為一個例子，假設測試數據集中千分之一的例子是雷（其余都是巖石）。一個總是返回負面分類（不是雷）的分類器將在測試集上達到99.9%的準確率，因為999個分類中實際上是正確的。然而，它在尋找雷方面是無用的，因為在提交給它的實際雷中，它沒有檢測到任何雷。它的召回率為0%。

通過使分類器更容易對可疑物體返回正面分類（雷），可以提高召回率。在極端的情況下，一個總是返回正面分類的分類器可以達到100%的召回率，因為它可以捕捉到所有的雷和所有的巖石。然而，同樣，它也是無用的，因為每一千次正面預測中，只有一次是正確的。它的精確度將是0.1%。

顯然，一個好的探雷器，或任何分類器，都需要有合理的高精確度和高召回率的數值。也就是說，必須有可能相信正面的分類結果，足以投入更多的資源（如部署潛水員）。也必須有可能足夠信任負面輸出，以期望它能找到相當比例的實際存在的雷。然而，在現實中，這兩者之間總是有一個權衡，正確的平衡取決于特定的操作要求。例如，如果不遺漏雷是很重要的，那么分類器將被調整為高召回率。然而，要付出的代價是較低的精度，導致更多的時間被用于調查巖石。

通過在測試數據集上運行分類器，計算有多少雷被正確分類（真陽性或TP），有多少巖石被正確分類（真陰性或TN），有多少巖石被誤認為是雷（假陽性或FP），有多少雷被誤認為是巖石（假陰性或FN），可以計算出準確率、精確度和召回率。這就產生了一個混淆矩陣，如表3.1所示。

表3.1--混淆矩陣的結構，將正確的正面分類（TP）、正確的負面分類（TN）、錯誤的正面分類（FP）和錯誤的負面分類（FN）的數量列表。

混淆矩陣是代表模型性能的一種緊湊但豐富的方式，從中可以推導出許多不同的度量。與同一行的其他數值相比，一個高精確度的模型具有較高的TP值（FP），或者更正式地說：

與同列的其他數值相比，一個高召回率的模型具有較高的TP值（FN），或者更正式地說：

與非對角線位置相比，一個高精確度的模型在所有對角線位置都有很高的數值，或者更正式地說：

矩陣中數值的其他組合產生了其他指標，每個指標都揭示了模型性能的某些方面。一般來說，一個具有不平衡數據的案例（這往往是現實中的常態）將需要更多的指標來衡量模型的性能。然而，對于面臨問題，正確的指標集可以提供一個簡明的圖片，說明模型在實際環境的表現是怎樣的。由于所有的指標都是從混淆矩陣中計算出來的，一個訓練較好的分類器很快就能從中提取這些信息。

（2）多類分類器的評估

如果一個車輛分類器要區分坦克、摩托車和運輸車輛，就存在一個多指標或多類分類問題。在這種情況下，混淆矩陣的行和列的數量將與類別的數量相同。圖3.3是一個多類混淆矩陣的例子，任務是將手寫數字的圖像從0到9分類，也就是10個類別。

從混淆矩陣中計算出的度量可以概括為：通過比較對角線和其余部分給出準確度，而通過比較每個特定類別的對角線值與其行的總和（準確度）或其列的總和（召回率）給出準確度和召回率。因此，通過對矩陣進行顏色編碼，就像在數字分類的例子中那樣，僅僅通過檢查就可以收集到很多信息。例如，從這個例子中可以看出，總體準確率非常高（將對角線與其他部分進行比較），但在不同的數字類別中，表現卻有些不同。數字5有時會被誤歸為3或6或其他，反之，5有時會被誤認為3。然而，數字1幾乎不會與其他東西混淆。

圖3.3 - 混淆矩陣說明了使用MNIST數據集識別手寫數字而訓練的DNN的性能。混淆矩陣可以用來深入了解該模型最可能與其他數字混淆的數字。

（3）回歸模型的評估

在回歸任務中，不可能計算正確的分類。相反，有必要將模型產生的連續值與測試集中的正確值進行比較。

作為一個例子，假設一個自主地面車輛（AGV）的避障模型正在被訓練。AGV必須根據安裝的傳感器的輸入產生一個轉向信號。轉向信號表示為-1和1之間的數字，其中-1表示左急轉，1表示右急轉，0表示不轉，而兩者之間的所有數字都是相應方向上的轉彎等級。AGV已經根據人類操作員記錄的數據進行了訓練。它的測試方法是將它對給定的傳感器刺激產生的轉向信號，與記錄的數據進行比較。例如，記錄可能表明，檢測到遠處左側的障礙物應該產生有限的右轉信號（例如0.2），而檢測到近處左側的障礙物應該產生一個急劇的右轉（接近1）。一個在后一種情況下產生急劇左轉信號（-1）的模型，應該被判定為比另一個產生輕微右轉信號（如0.2）的模型B表現更差。將模型的預測值與期望值相比較，顯然，模型A與該值的距離是2，而模型B的距離是0.8。因此，模型B更接近于正確的行為。如果對測試數據集中所有實例的這種誤差進行測量和匯總，例如計算平均誤差，就可以得到模型性能的總體衡量。

回歸的評估技術主要在如何進行匯總方面有所不同。平均絕對誤差（MAE）取的是誤差絕對值的平均值。該指標衡量模型預測與期望值的偏差程度。均方根誤差取的是誤差平均平方根。它對應于誤差的標準偏差，與MAE不同的是，它對大偏差的懲罰更大。R平方（R2）將平均平方誤差與信號本身的方差進行比較。因此，它首先對變化很大的信號容忍較大的誤差。

3.2 局部解釋技術

與全局解釋技術相比，局部解釋是用來解釋對感興趣的特定輸入的預測的。這些輸入可以是真實世界的例子，也可以是訓練或測試數據集中的例子。DNN的輸入基本上是由一串數值構成的，代表了一些現實世界的過程，如圖像中的像素、文本中的字母、科學數據等等。因此，一個有300個像素的灰度圖像在300個維度上表示它的數據，每個維度講述故事的一部分（所有維度一起提供整體）。

本節重點討論局部解釋技術，其中顯著性地圖被用于解釋。顯著性地圖通過對每個輸入維度的相關性或顯著性打分，來解釋一個模型的輸出。也就是說，它顯示了每個維度在產生與該例子相對應的特定輸出方面的重要性。對于一幅圖像來說，這些顯著性分數可以轉化為熱圖，疊加在圖像上，以表明模型在產生其決定時注意到哪些像素。圖3.4提供了一個在模擬自動駕駛汽車的背景下生成的顯著性地圖的例子。

這里介紹的前兩種技術是白盒技術。這些技術依靠訪問DNN的內部表示（子函數、梯度等）來產生解釋。其他技術是黑盒技術，可以通過查詢模型（通常是多次）和選定的輸入來產生解釋。因此，黑盒技術往往需要更多的計算資源來產生其解釋。

圖3.4 - 突出顯示了DNN用來控制模擬自駕車的最重要的輸入像素的Saliency圖。在這種情況下，代表道路右側的像素似乎是最重要的。

3.2.1 梯度顯著性

梯度顯著性（也叫敏感性分析）是最早的局部解釋技術之一，它被用來解釋神經網絡的行為已經有很長時間了[33, 34]。梯度顯著性的想法是通過計算輸入值的變化會在多大程度上改變模型的輸出值來產生解釋。輸入值的變化會對模型輸出值產生最大影響的輸入被認為比其他輸入對模型輸出值更重要。在數學術語中，這被稱為模型輸出對給定輸入（如圖像）的導數。由于DNN訓練使用導數，許多深度學習軟件庫可以直接計算梯度顯著性。

圖2.8中用來解釋DNN訓練過程的計算圖也可以用來理解梯度顯著性的工作原理。梯度顯著性技術不是計算相對于可訓練參數的導數，也就是訓練過程中所做的，而是計算相對于輸入的導數（即）。

梯度顯著性的問題是，它不能區分影響模型輸出的信號和DNN被訓練為過濾掉的干擾物[35]。使用梯度顯著性技術產生的解釋往往是嘈雜的，也會隱藏模型實際使用的特征。解釋哪些特征使輸入的物體類型更多或更少，并不像解釋哪些特征使其成為現實中的物體類型那樣具有信息量[34]。

3.2.2 分層相關性傳播

分層相關性傳播（LRP）發表于2015年，是第一批使用理論框架來指導局部解釋啟發式方法發展的技術之一[36, 34, 37]。該理論框架的主要好處是，它提供了一種方法，可以找到適合于DNN中各層的多種類型的局部解釋啟發式，以及其他類型機器學習模型的局部解釋啟發式。

LRP首先假設為低層對每個輸出值的貢獻分配相關性，應該考慮哪些激活對輸出值是必要的。從輸入中去除這些相關的激活，最好能取消該輸出值。例如，去除被歸類為汽車的圖像中的所有汽車特征，應該意味著該模型的汽車輸出值為零。在數學術語中，這被稱為模型函數的根，而LRP的想法是使用適合搜索這個根的局部解釋啟發式方法。

雖然沒有已知的技術來優化搜索模型函數的根，但有一些對搜索的限制已被證明是足夠的。例如，根的激活應該在輸出值的激活附近，相關的激活應該在可能的輸入空間內，而且只有輸出值的可用相關性應該被用來給激活分配相關性。事實證明，這些約束條件足以找到將相關性從模型輸出傳播回輸入的局部解釋啟發式方法。

LRP假設模型函數可以用數學技術泰勒擴展來近似。泰勒擴展將模型函數分解為簡單的加法項，可以直接映射到神經網絡組件。加法項意味著模型函數可以被分解為作為模型輸出基礎的每個激活的相關性分數。

LRP是一個局部解釋啟發法系列，使用這些技術進行相關性傳播[37]。這些啟發法專門適用于不同類型的神經網絡層和層級。一些啟發式方法還可以將輸出相關性傳播為有助于模型輸出的正向激活和有損于模型輸出的負向激活。這可能有助于識別缺失的特征，使模型輸出的可能性更大。

3.2.3 沙普利加和解釋

沙普利加和解釋（SHAP）發表于2017年[38]，改進以前的一些方法，指出它們之間的數學共性，然后證明它們都可以通過使用一個特定的數學公式進行改進。

該公式由諾貝爾獎得主勞埃德-沙普利于1953年[39]在經濟學的一個分支--博弈論領域提出。它計算出所謂的沙普利值，用于在參與方之間分配一些聯合游戲的收益。該公式旨在根據一組合理性條件公平地分配收益，因此所有的收益都應該被分配；貢獻大的行為者應該獲得更多的收益；沒有貢獻的行為者應該一無所獲；而且應該有可能將不同游戲的收益相加。事實上，沙普利表明，他的公式是唯一可能滿足所有條件的公式。

就解釋而言，第一步是觀察機器學習模型的輸入維度可以被視為參與模型產生輸出預測的游戲的行為者。輸出值可以看作是游戲的總收益，也就是要在玩家之間進行分配。進行公平分配就是在輸入維度之間按其貢獻比例分配輸出值。換句話說，這樣應用沙普利值，就會產生一個突出性掩碼。這個觀察在SHAP方法之前就已經提出了，例如在[40]和[41]。

最初的SHAP工作的貢獻是觀察到一些早期的方法所產生的解釋都可以統一在一個共同的線性形式下，稱為加和特征歸屬，也就是說，它們都有一個共同的屬性，即它們產生的突出度值加起來就是要解釋的模型的輸出值。然后，[38]的作者設定了與上述條件相對應的穩定性條件，并證明沙普利公式是特征歸屬方法滿足所有條件的唯一途徑。由于之前的所有方法都在某種程度上偏離了沙普利公式（通常是通過應用一些沒有太多理論基礎的啟發式方法），作者認為可以通過調整這些方法使其符合該公式來改進。因此，SHAP實際上是一個基于這些調整的方法系列。例如，調整LIME（見第3.2.4節）以符合沙普利公式，可以得到KernelSHAP，即SHAP的一個模型無關的版本。基于特定模型解釋方法的SHAP版本繼承了相同的模型特定性約束。

3.2.4 局部可解釋模型診斷性解釋

局部可解釋模型-診斷性解釋（LIME）在2016年發表時引起了極大的關注[42]，因為它是首批可以作為黑盒應用于任何模型的解釋方法之一。LIME通過對樣本進行擾動并觀察所發生的情況來解釋模型對輸入樣本的預測。

任何機器學習模型都將其輸入和輸出之間的關系表示為某種數學函數，由神經網絡的權重和結構或其他參數來定義。這個函數反過來旨在捕捉一些現實世界的關系，例如，一串聲音和一串單詞之間的關系。一個典型的現代機器學習系統所模擬的功能是復雜的，這就是為什么簡單地檢查神經網絡的權重并不能做很多解釋。LIME不考慮函數的整體性，而是試圖描述函數在要解釋的例子附近的作用。通過以不同的方式擾動輸入，它能夠創建一個線性的，因此更簡單的模型，該模型在與所提供的樣本相似的情況下表現得接近于復雜的模型。這個線性模型的系數構成了對輸入的哪些維度對模型的輸出影響最大的直接測量，或者換句話說，這些系數是LIME版本的顯著性掩碼。由于LIME對模型所要做的就是給它提供不同的輸入擾動并觀察它的輸出，所以對模型的內部工作沒有任何了解。

3.2.5 用于解釋黑盒模型的隨機輸入采樣

用于解釋黑盒模型的隨機輸入采樣（RISE）是一種模型無關的局部解釋技術，于2018年發表[43]。與LIME類似，RISE通過擾動輸入并觀察模型的反應來生成解釋。因此，對于解釋的生成，不需要了解模型的內部工作。

RISE通過隨機生成掩碼來擾亂圖像，掩碼使圖像像素變暗。掩碼是通過將圖像劃分為較大的區域，并隨機選擇哪些區域包括在擾動的圖像中來生成的。模型對擾動圖像的輸出值描述了掩碼覆蓋圖像區域的程度，這些區域對該模型類別的分類很重要。與覆蓋較少重要圖像區域的掩碼相比，覆蓋許多對分類很重要的圖像區域的掩碼會導致更高的模型輸出值。通過隨機生成許多掩碼，RISE計算出每個圖像區域的平均重要性。圖像區域的重要性解釋了模型的分類。

RISE的一個好處是，它使用大小均勻的圖像區域來生成解釋。因此，這些解釋涵蓋了與圖像中的物體相同的圖像區域。另一方面，LIME使用超級像素（類似像素值的連續區域），這可能無法捕捉到正確的圖像區域。

3.3 混合解釋技術

混合解釋技術通過結合全局和局部XAI技術提供洞察力。混合解釋技術不是只在個案的基礎上使用局部XAI技術，而是在大量的案例上自動應用局部XAI技術，通常是整個數據集。然后，混合解釋技術會比較所有的本地XAI結果，以確定模型表現不符合預期的情況。這種異常情況可以為進一步的模型開發提供信息，或者指出使用模型時需要考慮的性能限制。

3.3.1 譜系相關性分析

譜系相關性分析(SpRAy)技術是在[23]中介紹的。SpRAy是一種半自動化的技術，它使用整個數據集的分析方法來尋找模型性能不符合預期的情況。例如，在圖像分類中，一個一般類型的物體，如狗或汽車，可能會出現在許多形式和背景中，但類似的物體形式和背景應該有類似的局部XAI結果。如果某些情況下的本地XAI結果與預期的不一樣，這可能表明模型行為異常。依賴于現實世界中可能不存在的虛假和人為的相關性的決策策略，也被稱為 "聰明的漢斯"行為。SpRAy包括五個步驟來尋找異常的模型行為：

• 用LRP計算相關性圖（見3.2.2節）。

• 對所有的相關性圖進行預處理，使其具有統一的形狀和大小。

• 對相關性圖進行譜聚類。譜聚類是一種成熟的技術，它將相似性矩陣（衡量案例之間的相似性）轉化為增強相似性矩陣的聚類特性的表示方法[44]。然后可以在新的表示法中檢測到集群。相關性地圖之間的相似性是由成對的相關性圖之間的歐氏距離計算出來的最近的鄰居。兩個相關性圖之間的歐氏距離是由每個像素的每個顏色通道的強度差異計算出來的。

• 識別有趣的聚類。譜聚類計算出表明不相交或弱聯系的集群的措施（特征值）。特征值的巨大差距表明集群是不同的。

• 一個可選的步驟是使用例如t-SNE（見第3.1.1節）對聚類進行可視化。

在[23]中，SpRAy被用來證明上一代機器學習技術--支持向量機（SVM）在圖像分類中學習了虛假的相關關系。例如，SpRAy顯示，該分類器使用了四種不同的策略對馬匹的圖像進行分類，檢測馬匹和騎手，在橫向或縱向的圖像中檢測源標簽，以及檢測障礙物和其他環境元素。因此，在沒有源標簽和背景元素的實際應用中，這個分類器是不可靠的。將源標簽添加到其他物體的圖像上，如汽車，他們可以將分類改為馬。

4 評估可解釋人工智能技術

XAI的一個經常被忽視但很重要的方面是評估擬議的XAI技術的能力。第 4.1節從人類因素的角度介紹了評價標準，其中用戶（如操作員或分析師）是衡量XAI加入人工智能系統后的效果的核心。此外，第4.2節介紹了可用于比較本地XAI技術的測試，如第3.2章中介紹的使用啟發式的技術。

4.1 人為因素評價

對XAI技術的人為因素評估測試了解釋是否考慮了所有對用戶充分利用AI系統的重要因素。例如，用戶可能有不同的目標、需求、知識、經驗、任務背景、用例等。和許多類型的系統開發一樣，在人工智能系統的整個開發過程中，從系統規范到最后的用戶測試，都必須考慮這些因素。由于用于DL的XAI技術是一個新興的研究領域，這些技術的最初用戶往往是對評估模型性能感興趣的系統開發者。這些XAI技術是否對軍事用戶也有用，在很大程度上仍然是一個開放的問題。在[22]中，已經提出了六個指標來評價解釋。

• 解釋善意。由一份檢查清單組成，其中包括在開發XAI技術時從用戶角度考慮的重要方面。該清單是基于對現有文獻中關于解釋的全面回顧，包括解釋的七個重要方面，例如，解釋是否有助于用戶理解人工智能系統的工作原理，解釋是否令用戶滿意，以及解釋是否足夠詳細和完整。

• 解釋的滿意度。一個衡量用戶在解釋的好壞方面如何體驗解釋的量表。該量表由八個項目組成，這些項目被表述為聲明（七個好的方面和一個關于解釋對用戶的目標是否有用的項目）。有效性分析表明，該量表是可靠的，可以區分好的和壞的解釋。

• 促進心智模式的發展。好的解釋會加強用戶對人工智能系統如何工作以及為什么會做出特定決定的理解。在認知心理學中，這種表述被稱為用戶對人工智能系統的心理模型。推薦四個任務來測量用戶對人工智能系統的心智模型，例如，一個提示性的回顧任務，要求用戶在用人工智能系統執行任務后描述他們的推理，以及一個預測任務，讓用戶預測人工智能系統會做什么。用戶的心理模型和專家的心理模型之間的比較顯示了用戶心理模型的完整性。

• 促進好奇心。好的解釋會促進用戶的好奇心，以調查和解決心理模型中的知識差距。我們建議通過讓用戶識別促使他們要求解釋的觸發因素來衡量好奇心。一些觸發因素的例子是：人工智能系統行動的理由，為什么其他選項被排除在外，或者人工智能系統的行為不符合預期。

• 對解釋的信任。一個好的心理模型能使用戶適當地信任人工智能系統，并在其操作范圍內使用它。建議使用一個包含八個項目的量表來衡量用戶對人工智能系統的信任。例如，這些項目涉及用戶對使用系統的信心以及系統的可預測性和可靠性。

• 系統性能。與只使用人工智能系統而不使用XAI相比，XAI的最終目標是提高系統的整體性能。性能測量的例子包括主要任務目標的完成，用戶預測人工智能系統反應的能力，以及用戶的接受度。

未來的研究將提供更多關于在評估人工智能系統的XAI技術時如何解釋這些指標的信息。

4.2 評估本地解釋技術

第3.2章中描述的本地XAI技術產生了突出性地圖，以突出每個輸入維度的重要性。根據模型所處理的數據類型，顯著性圖的可視化程度是不同的。例如，在處理圖像時通常使用熱圖，而在處理文本時通常使用彩色編碼的字符和詞。

圖4.1展示了一個使用熱圖可視化的顯著性圖的例子。在這個例子中，熱圖是為數字0（圖4.1a）生成的，使用了梯度顯著性（圖4.1b）和LRP技術（圖4.1c）。重要的維度（即圖像中的像素）由較暖的顏色（如紅色、橙色、黃色等）表示，而非重要的維度則由較冷的顏色（深藍、藍、淺藍等）表示。這兩種技術之間的明顯區別可以從高亮維度的位置上直觀地觀察到。本節的其余部分介紹了可以用來定量比較和評估不同技術所產生的局部解釋的技術。最終，我們的目標是找出哪個解釋是最準確的。

圖4.1 - MNIST圖像及其相應的熱圖，使用梯度顯著性和LRP技術生成。圖像中的重要維度或像素用較暖的顏色（如紅色、橙色、黃色等）表示。

4.2.1 刪減

刪減[43, 34]是一個指標，通過測量模型在輸入逐漸被扭曲或刪減時準確做出預測的能力來計算。請注意，在這種情況下，刪減意味著將輸入的值轉換為中性的東西（例如，圖像的背景）。刪減過程是由XAI技術產生的顯著性圖指導的，因此更重要維度的值會在不太重要的值之前被刪減。這個指標的直覺是，如果在刪減過程中，性能下降很快，而不是很慢，那么解釋會更好。

圖4.2使用圖4.1b中的梯度顯著性圖說明了刪減過程。在圖4.2b中，50個最突出的像素已經被刪減。在這個階段，很容易推斷出該圖像仍然代表一個0。在圖4.2f中，超過一半的像素（400）已經被刪減。在這個階段，要推斷出圖像實際代表數字0要困難得多。

圖4.2 - 由MNIST圖像的刪減過程產生的圖像，其中0、50、100、200、300和400像素被刪除。

4.2.2 插入

插入指標[43]是對刪減的補充方法。圖4.3說明了在刪減例子中使用的同一MNIST圖像的插入過程。從最初的輸入（用黑色圖像表示）開始，隨著越來越多的輸入維度被插入，按照突出度圖的優先順序，測量準確度的增加。這里的直覺是，當更多的信息被插入到輸入中時，模型預測的準確性應該增加。也就是說，當增加的速度快時，與增加的速度慢時相比，解釋會更好。

圖4.3 - 從MNIST圖像的插入過程中產生的圖像，其中0、50、100、200、300和400像素被插入。

4.2.3 評價指標

為了證明刪減和插入的使用，使用梯度顯著性和LRP技術來衡量這些過程。在這種情況下，使用分類器對XAI技術進行了評估，該分類器從MNIST數據集中隨機抽取了100張圖像。

圖4.4和圖4.5分別顯示了刪減和插入過程的結果。曲線下的面積（AUC）是一種測量方法，可以用來定量比較XAI技術。對于刪減，較小的AUC值要比較大的值好。同樣，對于插入，較大的AUC值比較小的值要好。

在圖4.4中可以看到，LRP技術的性能曲線的下降更加尖銳，并在使用刪減過程時收斂到一個較低的平均概率值。這與它的熱圖是一致的，與梯度顯著性的熱圖相比，它突出了較少的特征（圖4.1c和4.1b），表明與梯度顯著性相比，LRP在較少的特征下更快地找到了解釋。同樣的結論可以從使用插入過程的結果中得出（圖4.5）。在這里，只需插入幾十個特征，就能觀察到平均概率的快速增加，在插入大約100個特征后達到高性能。

圖4.4 - 梯度顯著性和LRP的刪減曲線。

圖4.5 - 梯度突出性和LRP的插入曲線。

5 實驗結果：關于解釋自然語言預測的案例研究

在自然語言處理（NLP）領域，一個常見的機器學習任務是讓人工智能系統評估一個文本在多大程度上表達了消極、積極或中性的情緒（即情緒分析）。諸如 "我非常高興和感激！"這樣的句子顯然表達了積極的情緒，而 "我希望他很快見到他的造物主 "顯然是消極的，而 "他昨天到達 "可以被認為是中性的。積極的例子包含了直接標明它是積極的詞語，而消極的例子則需要對語言有更深的理解，才能抓住其明顯的消極含義。因此，一個文本可以在它所表達的情緒的種類和程度方面有所不同，也可以在它如何直接表達方面有所不同。為了理解人工智能系統是如何試圖理解輸入到它的文本中的情感，可以應用第4.2章中用來解釋圖像分類的同類技術。

5.1 情緒分析預測器

情緒分析模型是所謂的SentimentTagger模型的簡化版，該模型主要被內部用來預測推文（即Twitter上的帖子）中的情感。SentimentTagger模型由一個DNN和一個更傳統的NLP模塊組合而成。在這項工作中，只使用了該模型的DNN部分。DNN模型是使用遞歸（即RNN）和全連接（即FCNN）神經網絡層的組合設計的。RNN部分使用一種叫做長短時記憶（LSTM）的技術來實現，該技術專門為一個句子中的單詞或字符之間，甚至是跨句子的遠距離依賴關系建模。例如，在 "我昨天以便宜的價格買的車今天壞了 "這句話中，事件 "壞了 "指的是 "車"，盡管它們被其他文字分開。

在SentimentTagger中使用的特定LSTM是通過將傳入的文本（一條推文）分解成其組成字母來觀察的。更確切地說，它看的是字符，如字母，但也包括標點符號、空白、表情符號等等。然后，該模型提取出一個善于模擬情感的中間表征。這個中間表征然后被送入FCNN以產生最終的情感預測。預測是一個在0和1之間的連續值，其中0是最消極的，1是最積極的。因此，這是一個回歸模型，就解釋而言，這意味著解釋不是對預測一個特定類別的貢獻，而是對該特定輸出值的貢獻。

SentimentTagger的預測過程如圖5.1所示。表5.1中還提供了該模型預測的一些例子。表5.1中前三條推文的預測結果與人類判斷的真實情感值很一致。接下來的三條是低估了積極情緒的例子，而最后三條是低估了消極情緒的例子。對于一些例子，如第六個例子，可以說SentimentTagger比人類標簽者做得更好。在所有情況下，了解SentimentTagger的估計依據是什么，將是有益的。

圖5.1 - SentimentTagger的結構。一條推文被送入LSTMRN，它產生一個中間表征。然后將其送入FCNN，反過來產生最終的情感預測。

表5.1 - SentimentTagger對推文進行情感預測的例子。

5.2 解釋方法

為了對SentimentTagger產生的預測進行解釋，我們采用了模型診斷性的LIME和SHAP技術。SHAP的版本（KernelSHAP）實際上是對LIME的修改（根據[38]中提出的一般公式），這使得比較變得有趣。在這種情況下，選擇與模型無關的方法的原因是，不同類型的神經網絡的串聯使得應用特定模型的方法變得非同尋常。

SentimentTagger分析推文所包含的字符，而不是在詞的層面。顯著性解釋的最直接表述是指出一條推文的每個字符對該推文的情緒預測有多大貢獻。圖5.2a給出了這樣一個解釋的例子，SentimentTagger預測該條推文的情緒為中性（0.47），而人類判斷的數值為輕微的消極（0.31）。那么，是什么推動了這種預測呢？在這里，顏色編碼被用來表示每個字符對增加或減少情感預測的貢獻。藍色表示消極貢獻（即消極情緒），紅色表示積極貢獻（即積極情緒）。接近透明紫色的顏色代表中性情緒。

這個例子似乎表明，"更好 "這個詞中的字符做出了積極的貢獻，而 "壞 "這個詞中的字符做出了消極的貢獻，而其他字符則提供了一個不太清晰的畫面。從單個字符的顯著性歸因中得出結論是很困難的，因為字符本身并不真正意味著什么。因此，雖然可能有理由讓情感預測模型在角色層面上工作，但可能應該在一個綜合的層面上提供解釋，以更好地映射到實際意義。

如果將字符級別的歸因匯總到包含相應字符的每個詞上，結果就會出現圖5.2b中的可視化。出現的畫面更加清晰，不僅可以看到 "更好 "和 "壞 "對預測的推動作用有多大，而且還可以看出 "什么時候"的輕微積極作用和 "某人 "和 "不耐煩"的輕微消極作用。最后，還可以注意到，"紅色 "和 "藍色 "的數量似乎大致相當，這解釋了為什么SentimentTagger決定對情緒進行中性評價。在后面的例子中，到單詞級別的解釋是可視化的。

圖5.2 - 一條推文，根據其對該推文的情感預測的貢獻，對字符和詞進行了顏色編碼。紅色表示對積極情緒的貢獻；藍色表示對消極情緒的貢獻。在這個案例中，模型預測的是中性情緒（0.47），而人類標注者對情緒的判斷是輕微的消極（0.31）。詞級顯著性的可視化似乎更清楚地映射了句子語義的重要性。

5.3 定性結果

表5.2顯示了九個在不同方面都很有趣的推文例子。顏色對應的是由SHAP做出的顯著性歸因（然后如上文所解釋的那樣匯總到詞級）。預測欄列出了由SentimentTagger預測的情感值，而真實值欄則顯示了由人類判斷分配的值。一個詞越紅，說明組成它的字符越多，共同推動了預測值的上升。反之，一個詞越是藍色，它的字符越是把預測值推低。

對于前三條推文，SentimentTagger的預測與人類的情緒判斷（在真值一欄）相當一致。盡管達成了一致，但有趣的是，SentimentTagger看了哪些詞來得出其預測結果。在第一條推文中，"愚蠢的"、"可怕的"、"丑陋的"、"糟糕的 "和 "不 "促使情緒向消極方向發展，但 "父親 "一詞是一個更強大的消極驅動因素。可以詢問SentimentTagger是否發現了消極形容詞與 "父親 "的組合，或者它是否足夠成熟，能夠識別出 "不是他們的父親 "是一個有害的聲明。第三條推文更清晰；"微笑 "做了大部分的積極作用。

第4條和第5條推文是SentimentTagger將消極情緒分配給實際上相當積極的推文例子。諸如 "醫院"、"走了 "和 "眼淚 "等詞被表面上解釋為消極的，而對上下文的正確理解會否定這種判斷。6號推文似乎也顯示了預測和真實情緒之間的差異。然而，可以說，問句形式所表達的不安全感實際上使預測比指定的標簽更接近事實。

在例子7到9中，關系是相反的，即預測嚴重低估了推文中表達的消極程度。一些被遺漏的消極情緒可能源于拼寫錯誤，如 "appauling"（7），缺失空格，如 "worstairline "和 "beyondajoke"（7），以及口語化的縮寫，如 "tf"（9），盡管一個字符級的LSTM預計會比一個單詞級的更好地處理輕微的拼寫錯誤和空格缺失。其他錯誤則更難解釋，如 "令人震驚"、"可怕"、"凄慘"（7）和 "刺激"（9）。例子8似乎表明，SentimentTagger錯過了 "刺激 "和 "高 "之間的聯系。

表5.3顯示了LIME對相同推文產生的顯著性歸因。雖然SHAP的歸因在很大程度上是可理解的，但并不完全符合直覺，LIME的版本則在很大程度上令人困惑。少數與直覺相符，如 "可笑"（1）、"欣賞"（2）和 "樂觀"（6），其中前兩個沒有被SHAP強調。有些直接與直覺相抵觸，例如 "無用"（7）和 "微笑"（3），后者也與SHAP相抵觸。然而，大多數只是顯得很隨意，如 "ajahnae"（1）、"ago"（2）、"will"（5）和 "today"（8）。這些不直觀的解釋是否表明SentimentTagger存在SHAP沒有發現的故障，或者SHAP的更直觀的歸因是否更準確地描述了LSTM實際在做什么？KernelSHAP在理論上是LIME的一個更好的基礎版本，這一事實表明了后者，但這些定性的結果不能提供任何證明。為了更客觀地比較這兩種解釋方法，在下一節將進行定量分析。

表5.2 - 選定的推文，按SHAP的顯著性數值進行著色，這些數值已經匯總到單詞級別。

表5.3 - 選定的推文，按照LIME的顯著性數值進行著色，這些數值已經匯總到單詞級別。

5.4 特征刪減分析

正如第4.2.1節所解釋的，刪減指標通過按照XAI技術賦予特征的顯著性順序來測試解釋方法的性能。一個好的XAI技術應該對那些對預測模型的輸出很重要的特征賦予很高的顯著性，因此按照這個順序刪減特征會使模型的性能急劇下降。在本案例中，按照突出性順序要刪減的特征是字符，在這種情況下，刪減一個特征意味著用一個空字符來代替它，比如一個制表符或一個空格，而預測模型是SentimentTagger。我們在一批500條推文的例子上對SentimentTagger的SHAP解釋和LIME解釋都進行了刪減測試，然后繪制了模型的預測性能如何隨著刪減的特征（字符）數量而下降。此外，作為一個基線，我們用一個隨機掩碼進行刪減，導致特征以隨機順序被刪減。由于SentimentTagger是一個回歸模型，它的性能不能用準確性來衡量。相反，我們使用了R2指標，該指標代表了對訓練好的模型解釋測試數據中的差異的程度的衡量。

圖5.3顯示了SentimentTagger的R2性能作為刪減數量的函數，分別按SHAP、LIME和隨機掩碼排序。很明顯，刪減測試有利于SHAP，因為它的曲線按照突出性歸因的順序迅速下降，而LIME的相應曲線則明顯不那么陡峭。LIME在刪減測試中的表現只比隨機掩碼略好。因此，SHAP似乎在識別少數特征（字符）方面做得更好，沒有這些特征，模型就無法準確預測。這也許并不奇怪，因為Shapley公式的設計就是為了做到這一點，而LIME則依賴于更多技術上的啟發式方法。然而，通過有選擇地將少數幾個字符替換為空白，甚至有可能完全消除SentimentTagger的性能，這一事實可能是關于此類模型的穩健性（或缺乏穩健性）的一個有趣的跡象。

更值得注意的是，在SHAP案例中，R2值在最初的10次左右的刪減后實際上下降到了零以下，然后隨著更多的刪減被執行，又向零移動。這意味著第一組刪減實際上導致模型的表現比忽略其輸入并總是做出相同預測的模型要差。隨著更多的刪減，模型的預測將趨向于中性預測，即對應于一個空推文，這相當于忽略輸入。因此，R2值會收斂到零。

圖5.3 - 對SentimentTagger預測的SHAP和LIME解釋的刪減分析。隨機順序的刪減被用作基線。該圖顯示了對模型性能的影響，如R2指標所衡量的，當特征按突出性順序被連續刪減（即字符被連續刪減）時。SHAP曲線最初的陡峭下降表明，SHAP善于發現哪些特征對模型性能最為關鍵。低于零的跌幅表明，戰略性的刪減會導致模型做出的情感預測與人類標注的真實情感相矛盾。LIME的緩慢下降表明LIME的顯著性值在尋找哪些特征對模型性能最關鍵方面不如SHAP值，只比隨機刪減稍好。

6 結論

深度學習將被用于補充和取代軍事系統的某些功能。事實上，DL技術已經在軍事監控系統中得到了應用，以自動檢測和跟蹤大量圖像數據中感興趣的物體[45]。與傳統的軟件技術相比，DL有幾個優勢。最重要的是，DL可以用來為那些使用傳統軟件技術無法建模的復雜過程建模。它還可以促進主動學習，即人工智能系統與用戶互動，以獲得高質量的數據，這些數據可用于增強運行中系統模型（即部署后）。

不幸的是，這些優勢也帶來了重大挑戰，不僅在技術上，而且在操作上都需要解決。在本報告中，重點是可解釋性的挑戰。DL的一個主要缺點是，即使學習算法、模型結構和訓練數據是已知的，并且被很好地理解，但模型本身的行為卻不是可解釋的。在許多用于音樂推薦和廣告目的民用應用程序中，這通常不是一個問題。然而，在軍事領域，理解和解釋人工智能系統的行為是至關重要的。在這種情況下，人工智能系統提供的決定和建議可能會對人類的生活產生深刻的影響。這在使用自主武器和無人機的戰術層面是有效的，在軍事領導人和政治決策者做出長期決定的作戰和戰略層面也是有效的。

也許有人會說，復雜的軍事系統，如戰斗機、潛艇、坦克和指揮與控制的決策支持工具，也是難以掌握的。雖然這是事實，但用于建立這些系統的技術本質上是可以解釋的。因此，如果出了問題，有可能完整地檢查系統以識別和糾正問題。而在DL中，情況并非如此。主要原因是，在現實世界的應用中，DNN經常由數百萬甚至數十億的參數組成。因此，即使是這些模型的創建者也沒有能力系統地解決模型中可能存在的錯誤。

在這份報告中，探討了為解決可解釋性挑戰而提出的幾種最先進的XAI技術。盡管已經取得了一些進展，但可以得出結論，用于軍事領域DL應用的XAI仍然處于起步階段。最終，即使已經提出了許多XAI技術，它們還沒有在軍事背景下被檢測過。因此，不能保證現有的XAI技術能夠在高風險的軍事AI系統中使用DL。

在為軍事目的開發人工智能系統時，我們建議在采購和開發過程中盡早確定可解釋性和可解釋性要求。最重要的是，這些要求的定義是可行的和可驗證的。也就是說，這些要求必須符合在可解釋性方面實際可能的期望。

在未來的工作中，我們打算開發一個評估框架，可以用來支持軍事人工智能系統中XAI能力的發展。

FOI

FOI，瑞典國防研究局，是瑞典國防部下屬的一個主要任務資助機構。其核心活動是研究、方法和技術開發，以及為瑞典國防和社會安全利益而進行的研究。該組織雇用了約1000名員工，其中約800名是科學家。這使得FOI成為瑞典最大的研究機構。FOI為其客戶提供了大量領域的前沿專業知識，如安全政策研究、國防和安全相關分析、各種類型威脅的評估、危機控制和管理的系統、有害物質的保護和管理、IT安全和新傳感器提供的潛力。

葡萄牙貝拉內大學最新《醫學診斷中可解釋深度學習方法》綜述，值得關注！

深度學習的顯著成功引發了人們對其在醫學診斷中的應用的興趣。即使最先進的深度學習模型在對不同類型的醫療數據進行分類時達到了人類水平的準確性，但這些模型在臨床工作流程中很難被采用，主要是因為它們缺乏可解釋性。深度學習模型的黑盒性提出了設計策略來解釋這些模型的決策過程的需要，這導致了可解釋人工智能(XAI)這個話題的產生。在此背景下，我們提供了XAI應用于醫療診斷的全面綜述，包括可視化、文本和基于示例的解釋方法。此外，這項工作回顧了現有的醫學成像數據集和現有的指標，以評估解釋的質量。作為對大多數現有綜述的補充，我們包含了一組基于報告生成方法之間的性能比較。最后，還討論了XAI在醫學影像應用中的主要挑戰。 //www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b

引言

人工智能(AI)領域在過去十年取得的進展，支持了大多數計算機視覺應用的準確性的顯著提高。醫學圖像分析是在對不同類型的醫學數據(如胸部X光片[80]、角膜圖像[147])進行分類時取得人類水平精確度的應用之一。然而，盡管有這些進展，自動化醫學成像在臨床實踐中很少被采用。Zachary Lipton[69]認為，對這一明顯的悖論的解釋很簡單，醫生在不了解決策過程的情況下，永遠不會相信算法的決策。這一事實提出了產生能夠解釋人工智能算法的決策過程的策略的必要性，隨后導致了一個新的研究主題的創建，稱為可解釋人工智能(XAI)。根據DARPA[41]的說法，XAI的目標是“在保持高水平的學習性能(預測精度)的同時，產生更多可解釋的模型;并使人類用戶能夠理解、適當、信任和有效地管理新一代人工智能伙伴”。盡管XAI具有普遍適用性，但它在高風險決策(如臨床工作流程)中尤其重要，在這種情況下，錯誤決策的后果可能導致人類死亡。這也得到了歐盟通用數據保護條例(GDPR)法律的證明，該法律要求解釋算法的決策過程，使其透明，然后才能用于患者護理[37]。

因此，在將深度學習方法應用于臨床實踐之前，投資研究新的策略以提高其可解釋性是至關重要的。近年來，對這一課題的研究主要集中在設計間接分析預建模型決策過程的方法。這些方法要么分析輸入圖像的特定區域對最終預測的影響(基于擾動的方法[77;101]和基于遮擋的方法[151])或檢查網絡激活(顯著性方法[112;153])。這些方法可以應用于任意網絡架構，而不需要對模型進行額外的定制，這一事實支持了它們在XAI早期的流行。然而，最近的研究表明，事后策略在解釋的重要性方面存在一些缺陷[2;105]。因此，研究人員將他們的注意力集中在能夠解釋其決策過程本身的模型/架構的設計上。現有的可解釋模型被認為在醫學成像中特別有用[105]，證明了最近集中于這一范式而不是傳統的后特殊策略的醫學成像作品數量的增長是合理的[53;144]。盡管近年來固有可解釋模型的流行，但現有的關于深度學習應用于醫學成像的可解釋性的研究并沒有全面回顧這一新的研究趨勢的進展。此外，專注于解釋應用于醫學成像的深度學習決策過程的著作數量顯著增加，因此有必要對最近一次關于該主題的綜述未涵蓋的最新方法進行更新調研。

**為了解決這些問題，我們全面回顧了可解釋深度學習應用于醫學診斷的最新進展。特別是，這項綜述提供了以下貢獻: **

回顧最近關于醫學成像中可解釋深度學習主題的調研，包括從每個工作中得出的主要結論，以及對我們調研的比較分析。 用于醫學成像的深度學習方法可解釋性研究中常用的數據集的詳盡列表。 全面調研最先進的可解釋醫學成像方法，包括事后模型和固有的可解釋模型。 對基準可解釋性方法常用的度量標準的完整描述，無論是可視化的還是文本的解釋。關于文本解釋質量的可解釋醫學成像方法的基準。 醫學影像中可解釋深度學習的未來研究方向

基于文獻綜述，XAI方法可以根據三個標準進行分類: (i) 模型無關性vs模型具體; （ii）全局可釋性與局部可釋性; (iii)事后對內在。圖1說明了XAI方法的分類法，

醫療診斷中的可解釋人工智能方法

正如前面提到的，深度學習模型在部署到現實場景時必須具有透明性和可信賴性。此外，這一要求在臨床實踐中尤其相關，在臨床實踐中，不知情的決定可能會將患者的生命置于危險之中。在綜述的文獻中，已經提出了幾種方法來賦予應用于醫學診斷的深度學習方法解釋性。以下部分總結和分類了應用于醫學診斷的可解釋模型范圍內最相關的工作。此外，我們特別關注內在可解釋的神經網絡及其在醫學成像中的適用性。我們根據解釋方式將這些方法分為:(i)特征歸因解釋，(ii)文本解釋，(iii)實例解釋，(iv)概念解釋，(v)其他解釋;受[86]提出的分類學啟發。根據所使用的算法、圖像形態和數據集分類的綜述方法列表見表4。

機器學習的巨大成功導致了AI應用的新浪潮(例如，交通、安全、醫療、金融、國防)，這些應用提供了巨大的好處，但無法向人類用戶解釋它們的決定和行動。DARPA的可解釋人工智能(XAI)項目致力于創建人工智能系統，其學習的模型和決策可以被最終用戶理解并適當信任。實現這一目標需要學習更多可解釋的模型、設計有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發團隊正在通過創建ML技術和開發原理、策略和人機交互技術來解決前兩個挑戰，以生成有效的解釋。XAI的另一個團隊正在通過總結、擴展和應用心理解釋理論來解決第三個挑戰，以幫助XAI評估人員定義一個合適的評估框架，開發團隊將使用這個框架來測試他們的系統。XAI團隊于2018年5月完成了第一個為期4年的項目。在一系列正在進行的評估中，開發人員團隊正在評估他們的XAM系統的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務性能。

通過人工神經網絡等獲得的預測具有很高的準確性，但人類經常將這些模型視為黑盒子。對于人類來說，關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域，對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義，概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述，回顧過去和最近可解釋的SML方法，并根據介紹的定義對它們進行分類。最后，我們通過一個解釋性的案例研究來說明原則，并討論未來的重要方向。

//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的準確性是顯著的，但準確性并不是最重要的唯一方面。對于高風險的領域，對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出，醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域，深刻理解人工智能的應用是至關重要的，對可解釋人工智能(XAI)的需求是顯而易見的。

可解釋性在許多領域很重要，但不是在所有領域。我們已經提到了可解釋性很重要的領域，例如衛生保健。在其他領域，比如飛機碰撞避免，算法多年來一直在沒有人工交互的情況下運行，也沒有給出解釋。當存在某種程度的不完整時，需要可解釋性。可以肯定的是，不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面，不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如，刑事風險評估工具應該是公正的，它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域，它是主觀的，很難正式化。相比之下，飛機避免碰撞是一個很容易理解的問題，也可以被精確地描述。如果一個系統能夠很好地避免碰撞，就不用再擔心它了。不需要解釋。

本文詳細介紹了可解釋SML的定義，并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義，將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋，區分局部解釋和全局解釋。

綜上所述，本文的貢獻如下:

• 對五種不同的解釋方法進行形式化，并對整個解釋鏈的相應文獻(分類和回歸)進行回顧。
• 可解釋性的原因，審查重要領域和可解釋性的評估
• 這一章僅僅強調了圍繞數據和可解釋性主題的各個方面，比如數據質量和本體
• 支持理解不同解釋方法的連續用例
• 回顧重要的未來方向和討論

【導讀】人工智能領域的國際頂級會議 AAAI 2019 即將于 1 月 27 日至 2 月 1 日在美國夏威夷舉行。AAAI2019第一天的關于可解釋人工智能的Tutorial引起了人們極大的關注，這場Tutorial詳細闡述了解釋黑盒機器學習模型的術語概念以及相關方法，是構建可解釋模型的重要指南.

AI系統--我如何信任它們？

在現實生活中，每一個決策，無論是由機器還是低級員工又或是首席執行官做出的，為了達到提高整體的業務水平的目的，都要通過定期的審查，來解釋他們的決定。這就產生了人工智能的新興分支，稱為“可解釋的人工智能”(XAI)。

什么是可解釋的AI(XAI)?

XAI是人工智能的一個新興分支，用于解釋人工智能所做出的每一個決策背后的邏輯。下圖是對一個完整AI決策流程的簡單描述。

AAAI 2019 tutorial: 可解釋AI –從理論到動機，應用和局限性

一、本教程希望為以下問題提供答案:

1. 什么是可解釋的AI (XAI)?

   什么是可解釋的AI(簡稱XAI)，即人工智能社區的各種流程 (Machine Learning, Logics, Constraint Programming, Diagnostics)的解釋是什么?解釋的度量標準是什么?
   

2. 我們為什么要在意?

   為什么可解釋的人工智能很重要?甚至在某些應用中至關重要?解釋人工智能系統的動機是什么?

3. 它在哪里至關重要？

   在現實世界中，哪些應用程序需要解釋如何大規模部署AI系統?
   

4. 它是如何工作的?

   在計算機視覺和自然語言處理中，最前沿的解釋技術是什么?對于哪種數據格式、用例、應用程序、行業，哪些方法效果好，哪些方法效果不好?

5. 我們學到了什么?

   部署現有可解釋AI系統的經驗教訓和局限性是什么?在向人類解釋的過程中學到了什么?
   

6. 接下來的發展是什么?

   可解釋AI未來的發展方向是什么?

二、概述

人工智能的未來在于使人們能夠與機器協作解決復雜的問題。與任何有效的協作一樣，這需要良好的溝通，信任，清晰和理解。 可解釋AI（XAI，eXplainable AI）旨在通過將符號人工智能與傳統機器學習的最佳結合來應對這些挑戰。多年來，人工智能的各個不同社區都在研究這一主題，它們有著不同的定義、評估指標、動機和結果。本教程簡要介紹了可解釋AI到目前為止的工作，并調研了人工智能社區在機器學習和符號人工智能相關方法方面所完成的工作。

在本教程的第一部分中，我們將介紹AI解釋的不同方面。然后我們將本教程的重點放在兩個具體的方法上：（i）使用機器學習的可解釋AI和（ii）使用基于圖（graph）的知識表示和機器學習結合的可解釋AI。對于這兩者，我們深入探討了該方法的具體細節，現有技術以及后續步驟的研究挑戰。本教程的最后一部分概述了可解釋AI的實際應用。

三、大綱

【介紹】

人工智能解釋的廣泛介紹。這將包括從理論和應用的角度描述和激發對可解釋AI技術的需求。在這一部分中，我們還總結了先決條件，并介紹了本教程其余部分所采用的不同視角。

【可解釋AI】

人工智能的各個領域（優化，知識表示和推理，機器學習，搜索和約束優化，規劃，自然語言處理，機器人和視覺）的解釋概述，使每個人對解釋的不同定義保持一致。本教程將涵蓋大多數定義，但只會深入以下領域:(i)可解釋的機器學習，(ii)具有知識圖和ML的可解釋AI。

【可解釋機器學習】

在本節中，我們將解決可解釋的機器學習pipeline的廣泛問題。我們描述了機器學習社區中可解釋性的概念，并通過描述一些流行的可解釋性模型來繼續。本節的核心是對不同類別的黑箱問題進行分析，從黑箱模型講解到黑箱結果講解，最后是黑箱檢查。

【用知識圖譜和ML解釋AI】

在本教程的這一部分中，我們將從兩個不同的角度闡述基于圖的知識庫的解釋力:

用語義網和邏輯解釋AI

我們展示了支持語義web的模式豐富的、基于圖的知識表示范式是如何實現有效解釋的。本節還將重點介紹從大型異構知識庫中表示和推斷有效解釋的邏輯和推理方法。

基于知識圖譜的機器學習

在本節中，我們將重點討論知識圖嵌入模型，即將知識圖中的概念編碼為連續低維向量的神經架構。這些模型已經被證明對許多機器學習任務有效，特別是知識庫的完成。我們解釋了這些模型的基本原理和架構，并從它們的不可預測性以及如何增強第三方模型的可解釋性的角度對它們進行了考察。

【應用】

我們展示了應用解釋技術的真實示例。我們關注一些使用案例：i)具有內置解釋功能的可解釋的航班延誤預測系統; ii)基于知識圖的語義推理，預測和解釋企業項目風險層次的大范圍合同管理系統;iii) 500多個城市的大型組織員工異常報銷的識別、解釋和預測的費用體系。

Tutorial的講者

PPT下載鏈接：//pan.baidu.com/s/1dyjGJyhqS3-E77DysIkgHQ 提取碼：aq79

【導讀】可解釋人工智能（Explainable Artificial Intelligence）旨在于具備可為人類所理解的功能或運作機制，具備透明度， 是當前AI研究的熱點，是構建和諧人機協作世界必要的條件，是構建負責任人工智能的基礎。最近來自法國西班牙等8家機構12位學者共同發表了關于可解釋人工智能XAI最新進展的綜述論文《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》，共67頁pdf調研了402篇文獻，講解了最新可解釋人工智能的進展，集大成者，梳理了XAI的體系，并提出構建負責任人工智能的內涵，非常具有指引性。

在過去的幾年里，人工智能(AI)取得了顯著的發展勢頭，在不同領域的許多應用中它可能會帶來最好的預期。當這種情況發生時，整個社區都面臨可解釋性的障礙，這是人工智能技術的一個內在問題，它是由次象征主義(模型例如集成算法或深層神經網絡)帶來的，而這些在人工智能的最上一次高潮中是不存在的。這個問題背后的范例屬于所謂的可解釋AI (XAI)領域，它被認為是AI模型實際部署的一個關鍵特性。本文綜述了XAI領域的現有文獻，并對未來的研究方向進行了展望。我們總結了在機器學習中定義可解釋性的前期工作，建立了一個新的定義，它涵蓋了先前的概念命題，主要關注可解釋性所關心的受眾。然后，我們提出并討論了與不同機器學習模型的可解釋性相關的最近貢獻的分類，包括那些旨在建立第二種體系的深度學習方法。這篇文獻分析為XAI面臨的一系列挑戰提供了背景，比如數據融合和可解釋性之間的十字路口。我們構建了負責任的人工智能的概念，即一種以公平、模型可解釋性和問責性為核心的在真實組織中大規模實施人工智能方法的方法。最終目標是為XAI的新來者提供參考資料，以促進未來的研究進展，同時也鼓勵其他學科的專家和專業人員在他們的活動領域擁抱AI的好處，而不是因為它缺乏可解釋性而事先有任何偏見。

關鍵詞: 可解釋人工智能，機器學習，深度學習，數據融合，可解釋性，可理解性，透明性，隱私，公平性，可問責性，負責任的人工智能。

目錄

• 1. 引言
• 2. 可解釋性: 是什么，為什么，什么目標，怎么做?
• 3. 透明機器學習模型
• 4. 機器學習模型的后解釋技術:分類法、淺層模型和深度學習
• 5. XAI:機遇、挑戰和研究需求
• 6. 走向負責任的人工智能:人工智能、公平、隱私和數據融合的原則
• 7. 結論和展望

1. 引言

人工智能(AI)是許多采用新信息技術的活動領域的核心。人工智能的起源可以追溯到幾十年前，人們對于智能機器具有學習、推理和適應能力的重要性有著明確的共識。正是憑借這些能力，人工智能方法在學習解決日益復雜的計算任務時達到了前所未有的性能水平，這對人類社會[2]的未來發展至關重要。近來，人工智能系統的復雜程度已經提高到幾乎不需要人為干預來設計和部署它們。當來自這些系統的決策最終影響到人類的生活(例如，醫學、法律或國防)時，就有必要了解這些決策是如何由人工智能方法[3]提供的。

最早的人工智能系統是很容易解釋的，過去的幾年見證了不透明的決策系統的興起，比如深度神經網絡(DNNs)。深度學習(DL)模型(如DNNs)的經驗成功源于高效的學習算法及其巨大的參數空間的結合。后一個空間由數百層和數百萬個參數組成，這使得DNNs被認為是復雜的黑盒模型[4]。black-box-ness的反義詞是透明性，即以尋求對模型工作機理的直接理解。

隨著黑箱機器學習(ML)模型越來越多地被用于在關鍵環境中進行重要的預測，人工智能[6]的各個利益相關者對透明度的要求也越來越高。危險在于做出和使用的決策不合理、不合法，或者不允許對其行為進行詳細的解釋。支持模型輸出的解釋是至關重要的，例如，在精準醫療中，為了支持診斷[8]，專家需要從模型中獲得遠比簡單的二進制預測多得多的信息。其他例子包括交通、安全、金融等領域的自動駕駛汽車。

一般來說，考慮到對合乎道德的人工智能[3]日益增長的需求，人類不愿采用不能直接解釋、處理和信任的[9]技術。習慣上認為，如果只關注性能，系統將變得越來越不透明。從模型的性能和它的透明性[10]之間的權衡來看，這是正確的。然而，對一個系統理解的提高可以導致對其缺陷的修正。在開發ML模型時，將可解釋性考慮為額外的設計驅動程序可以提高其可實現性，原因有三:

可解釋性有助于確保決策的公正性，即檢測并糾正訓練數據集中的偏差。

可解釋性通過強調可能改變預測的潛在對抗性擾動，促進了穩健性的提供。

可解釋性可以作為一種保證，即只有有意義的變量才能推斷出輸出，即，以確保模型推理中存在真實的因果關系。

這意味著，為了考慮實際，系統的解釋應該要么提供對模型機制和預測的理解，要么提供模型識別規則的可視化，要么提供可能擾亂模型[11]的提示。

為了避免限制當前一代人工智能系統的有效性，可解釋人工智能(XAI)[7]建議創建一套ML技術，1) 產生更多可解釋的模型，同時保持高水平的學習性能(如預測準確性)，2) 使人類能夠理解、適當信任和有效管理新一代人工智能伙伴。XAI還借鑒了社會科學的[12]，并考慮了解釋心理學。

圖1: 過去幾年中，標題、摘要和/或關鍵詞涉及XAI領域的出版物總數的變化。通過提交圖中所示的查詢從Scopus R數據庫檢索到的數據(2019年10月14日)。值得注意的是，隨著時間的推移，對可解釋的AI模型的潛在需求(這符合直覺，因為在許多場景中，可解釋性是一種要求)，但直到2017年，解釋AI模型的技術興趣才滲透到整個研究領域。

這篇綜述的其余部分的結構如下:首先，第2節和其中的子節圍繞AI中的可解釋性和可解釋性展開了關于術語和概念的討論，最后得出前面提到的可解釋性的新定義(第2.1和2.2小節)，以及從XAI的角度對ML模型進行分類和分析的一般標準。第3節和第4節回顧了ML模型(分別是透明模型和事后技術)的XAI的最新發現，它們構成了上述分類中的主要部分。同時，我們也回顧了這兩種方法的混合，以達到XAI。在第5節中討論了各種方法之間的協同作用的好處和注意事項，在這里，我們提出了對一般挑戰的展望和需要謹慎對待的一些后果。最后，第6節闡述了負責任的人工智能的概念。第7節總結了調查，目的是讓社區參與到這一充滿活力的研究領域中來，這一領域有可能影響社會，特別是那些逐漸將ML作為其活動核心技術的部門。

2. 可解釋性: 是什么，為什么，怎么做?

在繼續我們的文獻研究之前，我們可以先建立一個共同的觀點來理解在AI的可解釋性這個術語，更具體地說是ML中的含義。這確實是本節的目的，即暫停對這個概念的大量定義(什么?)，討論為什么可解釋性在AI和ML中是一個重要的問題(為什么?目的何在?)，并介紹XAI方法的一般分類，這將推動此后的文獻研究(如何?)。

2.1 術語說明

阻礙建立共同基礎的問題之一是interpretability 和explainability 在文獻中的互換誤用。這些概念之間存在著顯著的差異。首先，interpretability 是指一個模型的被動特性，指的是一個給定的模型對人類觀察者有意義的程度。這個特性也表示為透明性。相比之下，explainability 可以被看作是模型的主動特征，表示模型為了闡明或詳述其內部功能而采取的任何動作或過程。

為了總結最常用的命名法，在本節中，我們將闡明在倫理AI和XAI社區中常用的術語之間的區別和相似性。

• Understandability(或等同地，intelligibility)指的是一個模型的特征，使人理解其功能——模型如何工作——而不需要解釋其內部結構或模型內部處理數據[18]的算法方法。

• Comprehensibility: 在ML模型中，可理解性是指學習算法以人類可理解的方式表示其已學知識的能力[19,20,21]。這種模型可理解性的概念源于Michalski[22]的假設，即“計算機歸納的結果應該是對給定實體的符號描述，在語義和結構上類似于人類專家可能產生的觀察相同實體的結果。”這些描述的組成部分應作為單一的‘信息塊’可理解，可直接用自然語言解釋，并應以綜合方式將定量和定性概念聯系起來”。由于難以量化，可理解性通常與模型復雜度[17]的評估聯系在一起。

• Interpretability可解釋性是指以可理解的語言向人類解釋或提供意義的能力。

• Explainability可解釋性與作為人類和決策者之間的接口的解釋概念相關，同時，這也是決策者的準確代理，也是人類可以理解的[17]。

• Transparency 透明度:如果一個模型本身是可以理解的，那么它就被認為是透明的。由于模型具有不同程度的可理解性，因此第3節中的透明模型分為三類: 可模擬模型、可分解模型和算法透明模型[5]。

2.2 什么?

雖然這可能被認為超出了本文的范圍，但值得注意的是在哲學領域[23]中圍繞一般解釋理論展開的討論。在這方面已經提出了許多建議，建議需要一種普遍的、統一的理論來近似解釋的結構和意圖。然而，在提出這樣一個普遍的理論時，沒有人經得起批評。就目前而言，最一致的想法是將不同的解釋方法從不同的知識學科中融合在一起。在處理人工智能的可解釋性時也發現了類似的問題。從文獻中似乎還沒有一個共同的觀點來理解什么是可解釋性或可解釋性。然而，許多貢獻聲稱是可解釋(interpretable)模型和技術的成就增強了可解釋性(explainability).

為了闡明這種缺乏共識的情況，我們不妨以D. Gunning在[7]中給出的可解釋人工智能(XAI)的定義作為參考起點:

“XAI將創造一套機器學習技術，使人類用戶能夠理解、適當信任并有效管理新一代人工智能合作伙伴。

這個定義結合了兩個需要提前處理的概念(理解和信任)。然而，它忽略了其他目的，如因果關系、可轉移性、信息性、公平性和信心等，從而激發了對可解釋AI模型的需求[5,24,25,26]。

進一步修正，我們給出explainable AI的定義：

給定一個受眾，一個可解釋的人工智能是一個產生細節或理由使其功能清晰或容易理解的人工智能。

這個定義在這里作為當前概述的第一個貢獻，隱含地假設XAI技術針對當前模型的易用性和清晰性在不同的應用目的上有所恢復，比如更好地讓用戶信任模型的輸出。

2.3 為什么?

如引言所述，可解釋性是人工智能在實際應用中面臨的主要障礙之一。無法解釋或完全理解最先進的ML算法表現得如此出色的原因是一個問題，它的根源有兩個不同的原因，如圖2所示。

圖2: 圖中顯示了在ML模型中由不同的用戶配置文件尋找的可解釋性的不同目的。它們有兩個目標:模型理解的需要和法規遵從性。

2.4 什么目標？

到目前為止，圍繞XAI的研究已經揭示出了不同的目標，以便從一個可解釋的模型的實現中得出結論。幾乎沒有一篇被調研的論文在描述一個可解釋的模型所要求的目標上是完全一致的。盡管如此，所有這些不同的目標都可能有助于區分特定的ML可解釋性的目的。不幸的是，很少有人試圖從概念的角度來界定這些目標[5、13、24、30]。我們現在綜合并列舉這些XAI目標的定義，以便為這篇綜述涵蓋的所有論文確定第一個分類標準:

圖3. 可解釋AI不同的度量維度

• 可信賴性Trustworthiness:一些作者同意將可信賴性作為可解釋AI模型的主要目標[31,32]。然而，根據模型誘導信任的能力將模型聲明為可解釋的可能并不完全符合模型可解釋性的要求。可信度可以被認為是一個模型在面對給定問題時是否會按預期行事的信心。雖然它肯定是任何可解釋模型的一個屬性，但它并不意味著每一個值得信任的模型都可以被認為是可解釋的，可信度也不是一個容易量化的屬性。信任可能遠遠不是可解釋模型的唯一目的，因為兩者之間的關系，如果達成一致，并不是相互的。在綜述的論文中，有一部分提到了信任的概念。但是，如表1所示，它們在最近與XAI相關的貢獻中所占的份額并不大。

• 因果關系Causality:可解釋性的另一個常見目標是發現數據變量之間的因果關系。一些作者認為，可解釋的模型可能簡化了尋找關系的任務，如果它們發生，可以進一步測試所涉及的變量之間更強的因果關系[159,160]。從觀測數據推斷因果關系是一個隨著時間的推移已經被廣泛研究的領域[161]。正如從事這一主題的社區所廣泛承認的那樣，因果關系需要一個廣泛的先驗知識框架來證明所觀察到的影響是因果關系。ML模型只發現它所學習的數據之間的相關性，因此可能不足以揭示因果關系。然而，因果關系涉及到相關性，所以一個可解釋的ML模型可以驗證因果推理技術提供的結果，或者在現有數據中提供可能的因果關系的第一直覺。同樣，表1顯示，如果我們關注那些將因果關系明確表述為目標的論文數量，因果關系就不是最重要的目標之一。

• 可轉移性Transferability: 模型總是受到一些約束，這些約束應該考慮到模型的無縫可轉移性。這就是為什么在處理ML問題時使用訓練-測試方法的主要原因[162,163]。可解釋性也是可轉移性的倡導者，因為它可以簡化闡明可能影響模型的邊界的任務，從而更好地理解和實現。類似地，僅僅理解模型中發生的內部關系有助于用戶在另一個問題中重用這些知識。在某些情況下，缺乏對模型的正確理解可能會將用戶推向錯誤的假設和致命的后果[44,164]。可轉移性也應該落在可解釋模型的結果屬性之間，但同樣，不是每個可轉讓性模型都應該被認為是可解釋的。正如在表1中所觀察到的，大量的論文指出，將一個模型描述為可解釋的是為了更好地理解復用它或提高它的性能所需要的概念，這是追求模型可解釋性的第二個最常用的理由。

• 信息性Informativeness: ML模型的最終目的是支持決策[92]。然而，不應該忘記的是，模型所解決的問題并不等于它的人類對手所面臨的問題。因此，為了能夠將用戶的決策與模型給出的解決方案聯系起來，并避免陷入誤解的陷阱，需要大量的信息。為此，可解釋的ML模型應該提供有關正在處理的問題的信息。在文獻綜述中發現的主要原因是為了提取模型內部關系的信息。幾乎所有的規則提取技術都證實了它們在尋找模型內部功能的更簡單理解方面的方法，說明知識(信息)可以用這些更簡單的代理來表示，它們認為這些代理可以解釋先行詞。這是在綜述的論文中發現的最常用的論點，用來支持他們所期望的可解釋模型。

• 置信度Confidence: 作為穩健性和穩定性的概括，置信度的評估應該始終基于一個預期可靠性的模型。在控制下保持信心的方法因模型的不同而不同。正如在[165,166,167]中所述，當從某個模型中提取解釋時，穩定性是必須具備的。可靠的解釋不應該由不穩定的模型產生。因此，一個可解釋的模型應該包含關于其工作機制可信度的信息。

• 公平性Fairness:從社會的角度來看，在ML模型中，可解釋性可以被認為是達到和保證公平性的能力。在一個特定的文獻鏈中，一個可解釋的ML模型建議對影響結果的關系進行清晰的可視化，允許對手頭的模型進行公平或倫理分析[3,100]。同樣，XAI的一個相關目標是強調模型所暴露的數據中的偏差[168,169]。在涉及人類生活的領域，對算法和模型的支持正在迅速增長，因此，可解釋性應被視為避免不公平或不道德地使用算法輸出的橋梁。

• Accessibility可訪問性: 評審貢獻的認為可解釋性是允許最終用戶更多地參與改進和開發某個ML模型的過程的屬性[37,86]。顯然，可解釋的模型將減輕非技術或非專業用戶在處理乍一看似乎不可理解的算法時的負擔。這一概念在被調查的文獻中被認為是第三個最重要的目標。

• 交互性Interactivity: 一些貢獻[50,59]包括模型與用戶交互的能力，這是可解釋的ML模型的目標之一。同樣，這個目標與最終用戶非常重要的領域相關，他們調整模型并與之交互的能力是確保成功的關鍵。

• 隱私意識Privacy awareness: 在回顧的文獻中，幾乎被遺忘的是，ML模型中可解釋性的副產品之一是它評估隱私的能力。ML模型可能具有其所學習模式的復雜表示。無法理解模型[4]捕獲并存儲在其內部表示中的內容可能會導致隱私被破壞。相反，由未經授權的第三方解釋訓練過的模型的內部關系的能力也可能會損害數據來源的差異隱私。由于其在XAI預計將發揮關鍵作用的行業中的重要性，機密性和隱私問題將分別在第5.4和6.3小節中進一步討論。

本小節回顧了所調研論文的廣泛范圍內所涉及的目標。所有這些目標都清楚地隱藏在本節前面介紹的可解釋性概念的表面之下。為了總結之前對可解釋性概念的分析，最后一小節討論了社區為解決ML模型中的可解釋性所采取的不同策略。

2.5 怎么樣？

文獻明確區分了可以通過設計解釋的模型和可以通過外部XAI技術解釋的模型。這種雙重性也可以看作是可解釋模型與模型可解釋技術的區別;更廣泛接受的分類是透明模型和事后可解釋性。同樣的對偶性也出現在[17]的論文中，作者所做的區分是指解決透明盒設計問題的方法，而不是解釋黑盒子問題的方法。這項工作進一步擴展了透明模型之間的區別，包括考慮的不同透明度級別。

在透明性中，考慮了三個層次: 算法透明性、可分解性和可模擬性。在后設技術中，我們可以區分文本解釋、可視化、局部解釋、實例解釋、簡化解釋和特征關聯。在這種情況下，[24] 提出了一個更廣泛的區別: 1）區分不透明的系統，其中從輸入到輸出的映射對用戶來說是不可見的; 2)可解釋系統，用戶可以對映射進行數學分析; 3)可理解的系統，在這個系統中，模型應該輸出符號或規則以及它們的特定輸出，以幫助理解映射背后的基本原理。最后一個分類標準可以被認為包含在前面提出的分類標準中，因此本文將嘗試遵循更具體的分類標準。

圖4. 概念圖舉例透明度的不同層次描述M?毫升模型,與?表示模型的參數集的手:(一)可模擬性;(b)可分解性;(c)算法的透明度。

圖5. 概念圖顯示了不同的因果explainability方法可供M?毫升模型

3. 透明機器學習模型

前一節介紹了透明模型的概念。如果一個模型本身是可以理解的，那么它就被認為是透明的。本節調查的模型是一套透明模型，它可以屬于前面描述的模型透明性的一個或所有級別(即可模擬性、可分解性和算法透明性)。在接下來的部分中，我們提供了該語句的理由，并提供了圖6與圖7中所示支持。

圖6:ML模型可解釋性分類的總體情況

圖7: 本綜述中所考慮的不同ML模型的透明度水平的圖形說明:(a)線性回歸;(b)決策樹;(c)再鄰居;(d)基于規則的學習者;(e)廣義可加模型;(f)貝葉斯模型。

4. 機器學習模型的后解釋技術:分類法、淺層模型和深度學習

當ML模型不滿足宣布它們透明的任何標準時，必須設計一個單獨的方法并應用于模型來解釋它的決策。這就是事后可解釋性技術(也稱為建模后可解釋性)的目的，它的目的是交流關于已經開發的模型如何對任何給定輸入產生預測的可理解信息。在本節中，我們將對不同的算法方法進行分類和回顧，這些算法方法用于事后可解釋性，區別于1) 那些為應用于任何類型的ML模型而設計的算法方法; 2) 那些是為特定的ML模型設計的，因此，不能直接推斷到任何其他學習者。現在，我們詳細闡述了不同ML模型的事后可解釋性方面的趨勢，這些趨勢在圖8中以分層目錄的形式進行了說明，并在下面進行了總結:

用于事后解釋的模型無關技術(4.1小節)，可以無縫地應用于任何ML模型，而不考慮其內部處理或內部表示。

專為解釋某些ML模型而定制或專門設計的事后解釋能力。我們將我們的文獻分析分為兩個主要的分支:淺層ML模型的事后可解釋性的貢獻，這些貢獻統稱為所有不依賴于神經處理單元的分層結構的ML模型(第4.2小節);以及為深度學習模型設計的技術，這些技術相應地表示神經網絡家族和相關變體，如卷積神經網絡、遞歸神經網絡(4.3小節)和包含深度神經網絡和透明模型的混合方案。對于每一個模型，我們都對研究界提出的最新的事后方法進行了徹底的審查，并確定了這些貢獻所遵循的趨勢。

我們以4.4小節結束了我們的文獻分析，在4.4小節中，我們提出了第二種分類法，通過對處理深度學習模型的事后解釋的貢獻進行分類，對圖6中更一般的分類進行了補充。為此，我們將重點關注與這類黑盒ML方法相關的特定方面，并展示它們如何鏈接到第一種分類法中使用的分類標準。

圖8. 綜述文獻的分類和與不同ML模型相關的可解釋性技術的趨勢。用藍色、綠色和紅色框起來的引用分別對應于使用圖像、文本或表格數據的XAI技術。為了建立這種分類法，對文獻進行了深入分析，以區分是否可以將后適應技術無縫地應用于任何ML模型，即使在其標題和/或摘要中明確提到了深度學習。

4.1 用于事后可解釋性的模型不可知技術

用于事后可解釋性的模型無關技術被設計成插入到任何模型，目的是從其預測過程中提取一些信息。有時，使用簡化技術來生成模仿其前身的代理，目的是為了獲得易于處理和降低復雜性的東西。其他時候，意圖集中在直接從模型中提取知識，或者簡單地將它們可視化，以簡化對其行為的解釋。根據第2節中介紹的分類法，與模型無關的技術可能依賴于模型簡化、特征相關性估計和可視化技術。

4.2 淺ML模型的事后解釋能力

Shallow ML覆蓋了多種監督學習模型。在這些模型中，有一些嚴格可解釋的(透明的)方法(如KNN和決策樹，已經在第3節中討論過)。考慮到它們在預測任務中的突出地位和顯著性能，本節將集中討論兩種流行的淺ML模型(樹集成和支持向量機，SVMs)，它們需要采用事后可解釋性技術來解釋它們的決策

4.3 深度學習的可解釋性

事后局部解釋和特征相關技術正日益成為解釋DNNs的主要方法。本節回顧了最常用的DL模型，即多層神經網絡、卷積神經網絡(CNN)和遞歸神經網絡(RNN)的可解釋性研究。

圖9: 混合模型的圖示。一個被認為是黑箱的神經網絡可以通過將其與一個更具解釋性的模型相關聯來解釋，如決策樹[298]、一個(模糊的)基于規則的系統[19]或KNN[259]。

圖10:(a) 可選的深度學習特定分類擴展自[13]的分類;(b)它與圖6中的分類法的聯系。

5. XAI:機遇、挑戰和研究需求

現在，我們利用已完成的文獻回顧，對ML和數據融合模型的可解釋性領域的成就、趨勢和挑戰提出了批評。實際上，我們在討論到目前為止在這一領域取得的進展時，已經預見到了其中的一些挑戰。在本節中，我們將重新審視這些問題，并為XAI探索新的研究機會，找出可能的研究路徑，以便在未來幾年有效地解決這些問題:

在可解釋性和性能之間的權衡

可解釋性與性能的問題是一個隨著時間不斷重復的問題，但就像任何其他大命題一樣，它的周圍充滿了神話和誤解。

圖11: 模型可解釋性和性能之間的權衡，以及XAI技術和工具潛力所在的改進領域的表示

6. 走向負責任的人工智能:人工智能、公平、隱私和數據融合的原則

多年來，許多組織，無論是私人的還是公共的，都發布了指導方針，指出人工智能應該如何開發和使用。這些指導方針通常被稱為人工智能原則，它們處理與個人和整個社會潛在的人工智能威脅相關的問題。本節將介紹一些最重要和被廣泛認可的原則，以便將XAI(通常出現在它自己的原則中)與所有這些原則聯系起來。如果在實踐中尋求一個負責任的AI模型的實現和使用，我們公司聲稱XAI本身是不夠的。其他重要的人工智能原則，如隱私和公平，在實踐中必須謹慎處理。在接下來的章節中，我們將詳細闡述負責任人工智能的概念，以及XAI和數據融合在實現其假設原則中的含義。

6.1 人工智能原則 Principles of Artificial Intelligence

使用人工智能系統后的輸出不應導致在種族、宗教、性別、性取向、殘疾、種族、出身或任何其他個人條件方面對個人或集體產生任何形式的歧視。因此，在優化人工智能系統的結果時要考慮的一個基本標準不僅是它們在錯誤優化方面的輸出，而且是系統如何處理這些狀況。這定義了公平AI的原則。

人們應該知道什么時候與人交流，什么時候與人工智能系統交流。人們還應該知道他們的個人信息是否被人工智能系統使用，以及用于什么目的。確保對人工智能系統的決策有一定程度的理解是至關重要的。這可以通過使用XAI技術來實現。重要的是，生成的解釋要考慮將接收這些解釋的用戶的配置文件(根據小節2.2中給出的定義，所謂的受眾)，以便調整透明度級別，如[45]中所示。這定義了透明和可解釋AI的原則。

人工智能產品和服務應始終與聯合國的可持續發展目標保持一致[375]，并以積極和切實的方式為之做出貢獻。因此，人工智能應該總是為人類和公共利益帶來好處。這定義了以人為中心的人工智能的原則(也稱為社會公益的人工智能[376])。

人工智能系統，尤其是當它們由數據提供信息時，應該在其整個生命周期中始終考慮隱私和安全標準。這一原則并不排斥人工智能系統，因為它與許多其他軟件產品共享。因此，它可以從公司內部已經存在的流程中繼承。這通過設計定義了隱私和安全的原則，這也被認為是負責任的研究和創新范式下智能信息系統面臨的核心倫理和社會挑戰之一(RRI，[377])。RRI指的是一套方法學指南和建議，旨在從實驗室的角度考慮更廣泛的科學研究背景，以應對全球社會挑戰，如可持續性、公眾參與、倫理、科學教育、性別平等、開放獲取和治理。有趣的是，RRI還要求在遵循其原則的項目中確保開放性和透明度，這與前面提到的透明和可解釋的AI原則直接相關。

作者強調，所有這些原則都應該擴展到任何第三方(供應商、顧問、合作伙伴……)

6.2 公平和責任

如前一節所述，除了XAI之外，在過去十年中發布的不同AI原則指導方針中還包括許多關鍵方面。然而，這些方面并不是完全脫離了XAI;事實上，它們是交織在一起的。本節介紹了與人工智能原則指導具有巨大相關性的兩個關鍵組成部分，即公平性和可說明性。這也突出了它們與XAI的聯系。

6.3 隱私與數據融合

如今，幾乎所有領域的活動中都存在著越來越多的信息源，這就要求采用數據融合方法，同時利用這些信息源來解決學習任務。通過合并異構信息，數據融合已被證明可以在許多應用程序中提高ML模型的性能。本節通過數據融合技術的潛力進行推測，以豐富ML模型的可解釋性，并對從中學習ML模型的數據的私密性做出妥協。為此，我們簡要概述了不同的數據融合范式，并從數據隱私的角度進行了分析。我們稍后會講到，盡管XAI與負責任的人工智能相關，但在當前的研究主流中，XAI與數據融合是一個未知的研究領域。

圖12: 顯示可以執行數據融合的不同級別的關系圖:(a)數據級別;(b)模型;(c)知識水平;(d)大數據融合;(e)聯邦學習和(f)多視圖學習。

7. 結論和展望

這篇綜述圍繞著可解釋的人工智能(XAI)展開，它最近被認為是在現實應用中采用ML方法的最大需求。我們的研究首先闡明了模型可解釋性背后的不同概念，并展示了激發人們尋找更多可解釋的ML方法的各種目的。這些概念性的評注已經成為一個堅實的基礎，系統地回顧最近關于可解釋性的文獻，這些文獻從兩個不同的角度進行了探討:1) ML模型具有一定程度的透明性，因此可以在一定程度上自行解釋; 2) 后特設XAI技術的設計，使ML模型更容易解釋。這個文獻分析已經產生了一個由社區報告的不同提案的全球分類，在統一的標準下對它們進行分類。在深入研究深度學習模型可解釋性的貢獻越來越普遍的情況下，我們深入研究了有關這類模型的文獻，提出了一種可選擇的分類方法，可以更緊密地連接深度學習模型可解釋性的具體領域。

我們的討論已經超越了XAI領域目前所取得的成果，轉向了負責任的AI概念，即在實踐中實現AI模型時必須遵循的一系列AI原則，包括公平、透明和隱私。我們還討論了在數據融合的背景下采用XAI技術的含義，揭示了XAI在融合過程中可能會損害受保護數據的隱私。對XAI在公平方面的含義也進行了詳細的討論。

我們對XAI未來的思考，通過在整個論文中進行的討論，一致認為有必要對XAI技術的潛力和警告進行適當的理解。我們的設想是，模型的可解釋性必須與數據隱私、模型保密性、公平性和可靠性相關的需求和約束一起解決。只有聯合研究所有這些人工智能原則，才能保證在全世界的組織和機構中負責任地實施和使用人工智能方法。

參考文獻

1. S. J. Russell, P. Norvig, Artificial intelligence: a modern approach, Malaysia; Pearson Education Limited,, 2016.
2. D. M. West, The future of work: robots, AI, and automation, Brookings Institution Press, 2018.
3. S. J. Russell, P. Norvig, Artificial intelligence: a modern approach,Malaysia; Pearson Education Limited,, 2016.
4. D. M. West,The future of work: robots, AI, and automation, Brookings Institution Press,2018.
5. B. Goodman,S. Flaxman, European union regulations on algorithmic decision-making and aright to explanation, AI Magazine 38 (3) (2017) 50–57.
6. D. Castelvecchi, Can we open the black box of AI?, Nature News 538(7623) (2016) 20.
7. Z. C. Lipton, The mythos of model interpretability, Queue 16 (3)(2018) 30:31–30:57.
8. A. Preece, D. Harborne, D. Braines, R. Tomsett, S. Chakraborty,Stakeholders in Explainable AI (2018). arXiv:1810.00184.
9. D. Gunning, Explainable artificial intelligence (xAI), Tech. rep.,Defense Advanced Research Projects Agency (DARPA) (2017).
10. E. Tjoa, C. Guan, A survey on explainable artificial intelligence(XAI): Towards medical XAI (2019). arXiv:1907.07374.
11. J. Zhu, A. Liapis, S. Risi, R. Bidarra, G. M. Youngblood, ExplainableAI for designers: A humancentered perspective on mixed-initiative co-creation,2018 IEEE Conference on Computational Intelligence and Games (CIG) (2018) 1–8.
12. F. K. Do?silovi′c, M. Br?ci′c, N. Hlupi′c, Explainable artificialintelligence: A survey, in: 41st International Convention onInformation and Communication Technology, Electronics and Microelectronics (MIPRO),2018, pp. 210–215.