人工智能技術的飛速發展令其成為軍事領域應用的熱門技術之一，人工智能技術為軍事后勤領域提供更好發 展條件的同時，也對其提出更高要求。論文先分析了當前人工智能技術在軍事領域的發展方向，闡述了在軍事后勤領域關 于人工智能技術的運用，提出對智能化后勤進一步發展的啟示，要想在未來戰爭中占據優勢，必須合理地在提高監控、后勤 保障、態勢感知以及網絡作戰等方面將人工智能技術積極多元的運用起來。

1. 引言

人工智能技術在大數據時代的飛速發展，已經 滲透到了醫療保障、物流運輸、教育服務、數據通 信、智能汽車、智能監控及工業應用等各行各業，彰 顯出了人工智能作為新興科技的價值和發展潛 力［1］ 。此外，在軍事領域人工智能技術發揮著不可 替代的作用，例如網絡通信安防、智能文件管理、智 能識別以及情報分析等［2］ 。推動人工技術更新迭 代的重要因素之一是其帶來可觀的經濟效益，人工 智能技術在市場上的發展趨勢一直高居不下，為市 場創造出不可估量的財富，截止2019年底，數據顯 示我國實體經濟產業在人工智能板塊的規模高達 570億元。近年來，人工智能技術的運用在不知不 覺中改變了國民的生活，對于軍事領域來說，更加 需要利用人工智能技術為軍隊提供支撐［3］ 。美國 第 45 任總統特朗普在 2020 年初批準了一項法規， 限制所有關于人工智能類的軟件出口，其中包括各 種無人機、衛星和傳感器以及能夠自動識別軍用、 民用目標的軟件，這一舉措就是為了阻止其他國家 利用美國相關技術，研制出功能更強、水準更高、成 本更低的軍事領域人工智能產品［4］ 。從中不難看出，人工智能技術已是當前各個國家大力發展的對 象，人工智能技術運用的成敗在未來戰爭中將成為 軍隊能否取得制勝先機的關鍵要素之一［5］ 。

2 人工智能技術在軍事領域的應用發展方向

自人工智能問世后，這幾十年的時間中有不少 專家都在研究、分析人工智能可以代替人類工作的 可能性，其中以 CarlB.Frey 和 MichaelOsborne 兩位 學者牽頭的“TheFutureofEmployment”研究最具代 表性，如表 1 所示，羅列了部分軍地部分工種崗位 被人工智能替代的可能性。 表 1 雖然只是對部分和軍事領域類似的工種 進行了預測，但是也不難看出人工智能在軍事領域 的發展方向。人工智能對于指揮、管理的工種替代 可能性較小，對于部分支援、保障類的工作任務可 替代性就比較高一些。人工智能已經是現代戰爭 中和未來戰爭中不可或缺的一部分［7］ ，當前人工智 能在軍事領域的發展方向，可以大致概括為以下幾 個方面。

1）作戰平臺

人工智能在軍事領域的應用一直以來受到各 界關注，各國在陸、空、海以及太空等其他系統中大 量的融入人工智能技術［8］ 。利用人工智能技術可 以開發出更加高效、減少人工操作的智能化戰爭系 統，除此之外在減少人工維護的工作量同時，還提 高了戰爭系統各方面的性能，未來隨著技術的發 展，或許還能夠自動與高速武器開展協同工作。

2）網絡安全

在整個軍事系統里，最容易遭到惡意攻擊的無 疑是網絡系統，一旦受到攻擊，有可能軍事系統會 受到破壞，一些重要、機密的信息也可能會丟失。在網絡安全這一板塊配置人工智能系統不僅可以 保護計算機以及各個程序、數據不被惡意訪問，還 可以利用人工智能技術開發對應的反擊程序來應 對這些非法攻擊。

3）目標識別

目前許多研究人員為了提高在復雜的作戰環 境中對于目標識別的精準度在不斷地朝著開發人 工智能技術。利用這項技術可以讓軍隊在分析文 檔信息、數據或者其他非結構化內容的時候，更加 深層次地理解潛在作戰領域的可能性，同時還可以 提升軍事系統識別目標位置的性能。正在開發人 工智能技術以提高復雜戰斗環境中目標識別的準 確性。這些技術使軍隊能夠通過分析報告、文檔、 新聞提要和其他形式的非結構化信息來深入了解 潛在的作戰領域。此外，目標識別系統中的人工智 能提高了這些系統識別目標位置的能力。支持人 工智能的目標識別系統的能力包括基于概率的敵 人行為預測、天氣和環境條件匯總、潛在供應線瓶 頸或漏洞的預測和標記、任務方法評估以及建議的 緩解策略。例如，DARPA（美國國防部高級研究計劃 局）在 激 烈 競 爭 環 境 中 的 目 標 識 別 和 適 應 （TRACE）計劃使用了機器學習技術在合成孔徑雷 達（SAR）圖像的幫助下自動定位和識別目標。

4）態勢感知和威脅監控

在軍事戰爭中除了要及時收發數據信息以外， 在強對抗環境下還要預處理之前所收集的信息，分 析、整理具有價值的數據，利用信息整合形成情報 優勢。情報信息涵蓋了多方面的數據內容，例如電 子情報、地理空間情報、開源情報、全動態視頻、音 頻、社交媒體等方面。這些情報信息在數據中心進行存儲，可以通過索引搜索出相關的內容，發送這 些數據實現數據共享。人工智能實時對這些數據 進行先進分析，將通知和警告發送到設備上，分析 人員在進行反饋。在向指揮官發送信息時，指揮官 可以根據這些數據，分析態勢、及時判斷敵方的作 戰部署，從而做到真正意義上的知己知彼，感知戰 場動態。以人工智能為基礎的情報收集系統如圖 2所示。

把人工智能技術作用到執行 ISR（情報監控） 任務中可以通過兩個方面進行。一方面是將人工 智能技術運用到無人機、無人駕駛領域［9］ ，這一部 分的運用主要是為了解決在極端、惡劣的天氣、環 境影響下任務執行不會受到影響，從而更好地協同 工作、輔助部署部隊。另一方面是用人工智能來分 析和處理數據信息。在人工智能系統中，可以通過 預設的功能來查找無人機偵察視屏里出現的一些 異常畫面，識別目標。如果讓人類去負責這一部分 的操作，不僅會耗費時間，并且效率也不高，但是利 用人工智能技術就可以在短短的幾小時內完成這 些任務。

5）戰斗模擬與訓練模擬

戰斗模擬與訓練模擬與訓練是一個多學科領 域，它將系統工程、軟件工程和計算機科學結合起 來構建計算機模型，使士兵熟悉在軍事行動中部署 的各種作戰系統。美國正在將越來越多的投資應 用于模擬和培訓。美國海軍和陸軍都在進行戰爭 分析［10］ ，這促成了一批數字孿生傳感器模擬程序的 啟動。美軍目前已經招募 Leidos、SAIC、AECOM和 OrbitalATK等公司來支持其相關研究計劃。圖3展 示了 KWM 公司所研發的一款戰斗模擬方艙，該方 艙具備適用于武器制造商的模擬系統，通過全景仿 真可將載具全組人員完全納入模擬流程，能夠提供 逼真的戰斗體驗，該方艙模擬練習時能提供高達每 練 1000 次 CGF（兵力生成計算），可以實現指揮控 制系統和無線電電路的仿真，能夠通過設備聯網進行營連排三級訓練以及綜合武器射擊模擬。圖 4 展示了該方艙所模擬出的效果。

6）智慧勤務

美國在 2018年的時候就提出要重視利用計算 機技術實現軍事后勤的改變，其中最為重視的就是 數字化手段對于智能化后勤發展的影響。美國在 軍事價值鏈上沿用了傳統的數據（data）、信息（in?formation）、知識（knowledge）、智慧（wisdom）體系， 嘗試把大量的后勤數據轉換成DIKW體系，以此來 完成裝備后勤保障決策，DIKW體系如圖5所示。

智能化后勤在智能化戰爭的環境中可以進一 步和作戰系統進行協作。通過信息化手段更加仔 細、精準地將后勤的物資進行分類管理和統計，其 中，最主要的是可以實時分析戰場情況，捕捉到潛 在的數據信息，將這些內容提供給指揮員，幫助他 們做出決策。如果各種條件允許的情況下，甚至可 以根據當前戰況分析直接給出最佳作戰方案，此時 智能化后勤是作戰系統下的子模塊之一。

4 人工智能技術在軍事后勤的具體應用

4.1 綜合情報感知

綜合情報感知涵蓋了人員信息、物資信息、戰 場信息、武器裝備信息這四個方面［11］ 。人員信息感 知實現了對后勤資源的精準調度，其具備的能力除 了可以收集戰場上士兵的移動軌跡和位置外，還具 備傷員定位搜救和情況遠程回送的功能；物資信息 感知具備支撐物資管理、查詢等功能，實現了軍需 物資從生產到使用的整個過程跟蹤與監控這一目 標，物資信息包含了像槍彈、燃料、藥品等各種軍需 物資在運輸和使用過程中其狀態數據內容的收集 和處理；戰場信息感知實現了對于敵方在戰場上的 部署、行動、武器裝備這類信息的收集和發送，為部 隊在定位敵方目標以及評估敵方戰斗力等方面提 供數據支撐；武器裝備信息可以實現各類武器裝備 位置、武器使用狀態、各個設施的信息收集，可以在 部隊武器裝備、設施方面為部隊提供支持，如圖 6 展現了一種全資產可視系統。

4.2 智能設施控制

人工智能在軍事后勤領域的運用主要體現在 監控板塊，簡單來說，智能設施控制就是可以遠程 監視與控制軍用智能化設施、裝備，像無人機、無人 駕駛、自動化控制系統等軍用智能設施（圖 7）。利 用智能設施中的傳感器系統實現對設施的遠程監 視，利用智能設施的控制器和處理器傳輸的指令和 程序實現對自動化執行任務的遠程控制。目前軍 隊也在這一方面開展相關研究，使用人工智能輕松 檢測軍用艦隊組件異常并快速分析故障原因；使用 無人駕駛汽車按照設定好的地面補給［12］ ，規劃一線 戰場和部隊基地進行物資等資源補給，從而降低后 勤補給部隊人員在戰場上可能面臨的風險，同時減 少運輸成本及優化人力操作的工作，如美國陸軍與 IBM公司合作，使用Watson人工智能平臺來幫助預 先識別Stryker戰車的維護問題等。

4.3 戰傷醫療救護

在現實戰爭現場中，受傷的士兵大部分無法第一時間獲得醫療援助，一是因為傷員的受傷程度遠 遠超出了現場醫護人員的救治能力范圍，二是有可 能因為該片區醫護人員數量配備不足。所以在戰 場上要先對受傷的士兵進行分類，受傷較為嚴重的 士兵應該最先得到醫療救護。因此人工智能技術 為醫療救助開辟了新領域，美國的遠程醫療與先進 技術研究中心與CR（組合變量）分析公司在軍事醫 療領域開展合作，研發自動加固戰斗傷員護理系 統，該系統主要是針對戰場上傷員的診斷和指令， 但是就目前的技術發展限制，該系統還沒有完全獨 立出來成為一個完整的自動醫療救助系統，更像是 一款智能軟件，它能輔助醫護人員診斷傷員的受傷 情況，監測傷員身體情況并且及時為病人提供治療 服務。同時，為了更好地在遠程手術以及人員疏散 活動中給人類士兵提供保障服務，美國特別重視將 人工智能技術與機器人手術系統（RSS）及機器人 地面平臺（RGP）進行集成，在惡劣的環境下，利用 人工智能配置的醫療系統可以分析、整理出軍人的 歷史病例輔助醫生進行治療等。

4.4 信息分析融合

信息分析與融合能力包括多級信息融合與綜 合信息統計分析。在戰場上，將傷員的地理位置、 移動軌跡以及心跳速率等信息進行融合，從而分 析、判斷傷員的受傷情況是否嚴重，利用多類型傳 感器將聲音、光照、電磁、心率等產生的信息進行融 合；戰場上想要更加精準的判別敵方的行動部署等 信息，就要對戰場上敵方士兵、人員或者設備的活 動軌跡以及武器裝置的類型這類信息進行融合、分 析，幫助指揮員更準備判斷當前戰場上的態勢。

5 啟示

5.1 智能化戰爭模式改變后勤保障理念

智能化戰爭將成為未來戰爭中的核心部分，而 后勤保障部分的服務對象也將是各種智能化作戰 裝備所構成。在智能化戰爭中，其以“靈活”為核心 的工作機理也將替代之前戰爭中以“快”為核心的 理念［13］ ，因此給傳統的后勤保障系統帶來了挑戰， 后勤系統要不斷調整各個模塊下的功能需求，以適 應智能武器裝備的快速改變，不斷地推動后勤朝著 智能化的趨勢發展。 當前智能化戰爭要求后勤保障的領域廣、內容 多、方法多、對象多元化以及時效性高等，所以必須 利用新一代計算機技術和智能技術搭建一套完整 的后勤保障體系，滿足資源可視化、可控化，可以自 動生成作戰方案的現實需求。不難想象，在未來戰 爭中或許國家會投放大量的無人機、機器人等智能 化武器到戰場上，因此就會有大量的任務分配給后 勤保障模塊，例如裝卸任務、物資運輸、戰地醫療服 務和裝置維修等等。利用人工智能技術分析、整理 繁雜的后勤保障需求，在進一步分析解刨當前作戰 環境、條件后，可以更加高效地去組織開展智能化 后勤保障的行動。

5.2 智能化后勤需要高新技術支撐賦能

在各國分別頒布了關于人工智能技術、大數據 等國防戰略相關條例后，我國在 2017 年也發布了 《新一代人工智能發展規劃》，該規劃中詳細的向人 們展示了人工智能技術將在醫療保障、物流運輸、 教育服務、智能汽車、智能監控各行各業發光發 熱。智能化后勤裝備在當前戰爭中已經顯露鋒芒， 例如炒菜機器人、無人機運輸、無人值守機房等，從 傳統裝卸、運輸物資等方面延伸到了工程保障和生 化探測等領域，其功能多維度發展。 新一代計算機技術的發展，云計算、物聯網技 術和機器學習等技術作用到軍事領域，可以更加精 準地保障作戰部隊，搭建起多方位保障體系，在無 人操作的環境下實現作戰以及保障任務。雖然目 前技術還需要不斷發展，但是在解決這些技術問題 后，智能機器人醫生、智能運輸配送等技術將真正 走向戰場上，執行各種復雜且難度大的任務。

5.3 后勤智能化建設依賴配套發展途徑

從當前人工智能技術在我國裝備后勤的應用 來看，為了更好建設智能化后勤，適應未來戰爭需 求，可以首先從以下途徑開展： 1）頒布相關條例，統一標準。現有的一些裝備 數據相關條例以及標準大部分都是有戰區等自行 制定的，缺少規范、統一的條例，導致在后勤裝備管 理維修過程中許多數據記錄留檔過于簡單，導致數 據記錄不夠精準，在后面的分析過程中會降低數據 的可靠性。因此需要制定統一的標準，加強頂層設計，給人工智能技術的運用打下基礎。 2）構建、完善信息系統。當前現有的裝備系統 功能不一、種類繁多，每個系統的標準規范都有所 差別，導致信息系統在數據共享、聯通性能方面較 差，致使大部分數據都沒有完全發揮其作用。為了 更好地發揮后勤裝備數據的優勢，推動智能化后勤 裝備系統的建設，必須要搭建、整合統一的信息系 統平臺。 3）加強軍地合作。將后勤系統和人工智能技 術等高新技術結合發揮軍地融合的優勢，解決后勤 管理系統在記錄記錄、傳輸、存儲、分析數據的過程 中出現的各類疑難雜癥，促進智能化后勤裝備體系的構建。

6 結語

隨著計算機技術發展進程的不斷推進，我國也 更加重視計算機技術在軍事領域的運用和研究，物 聯網技術、大數據、云計算以及人工智能技術也將 成為我國軍事研究的重點技術之一。這些技術的 運用可以更好地保障作戰部隊，實現在無人操作的 環境里完成所要執行的任務，豐富、擴展智能化后 勤的保障手段。由此可見，信息化、智能化的戰爭 是未來戰爭的主要核心部分，必須合理地將人工智 能技術運用起來，在提高監視、后勤保障、態勢感知 以及網絡作戰等方面加強人工智能技術的運用與 研究。目前在軍事領域，人工智能技術的運用還需 要我們長時間的研究、分析和總結，所以我們更要 緊抓這場計算機技術的改革，在技術實現和加強戰 略合作兩方面進行研究，為了提高我國的國防實力將人工智能技術更加深入地利用到未來戰爭中。

深度學習作為當前人工智能領域的研究熱點之一，已經受到廣泛關注。借助于強大的特征表示和學習能力，深度學習日益成為軍事領域智能化發展的技術基礎。首先結合深度學習的最新發展，指出深度學習的快速發展得益于理論的突破、計算機運算能力的顯著提高和開源軟件的廣泛流行，著重梳理了目前主要的深度學習硬件平臺和編程框架，并總結了各自的特點和研究進展；然后對深度學習在目標識別、態勢感知、指揮決策等典型軍事領域的應用和存在的不足進行了總結；最后，分析了深度學習軍事應用面臨的挑戰，包括數據獲取困難、處理不確定不完備信息和多域信息能力不足、精確度和實時性較低、可解釋和可理解性不強等，并針對這些問題展望了未來可能的發展方向和趨勢。 深度學習為很多復雜問題的解決提供了新的思路$由于其具有強大的特征表示和學習能力$在以目 標識別與檢測,態勢感知,智能指揮決策等為代表的 軍事領域中取得了一系列應用成果$并日益成為軍事領域智能化發展的技術基礎與研究熱點。

1. 目標識別與檢測

雷達目標識別一直是軍事領域關注的重點，隨 著高分辨雷達技術的發展，目標的高分辨一維距離 像(high resolution range profile, HRRP)、合成孔徑 雷達(synthetic aperture radar,SAR)圖像等已經成 為軍事目標綜合識別的重要數據來源，傳統雷達目 標識別方法主要采用人工設計的特征提取算法提取 目標特征，目標識別的性能依賴于提取特征的好壞， 而采用深度學習方法則能自動學習目標數據的深層 次抽象特征，能夠進行更準確、更穩健的識別，從而受 到廣泛的關注。表1為當前主要的深度學習框架。 在 基 于 H R R P 的 雷 達 目 標 識 別 方 面 ， B ( ) . F 等［⑸提出一種新的矯正自編碼器Corrective AE, 自 動 提 取 H R R P 抽 象 特 征 ， 實 現 了 對 目 標 H R R P 的高效識別。P a n等［⑹采用t . S N E方法解決H R - RP目標識別中的訓練數據不均衡問題，利用判別式深層置信網絡提取訓練數據中與類別無關的全局 特征來提升小樣本條件下的H R R P分類性能。徐 彬等口力考慮HRRP樣本距離單元間的時序相關特 性，提出了采用雙向長短時記憶模型的HRRP目標 識別方法，提高了目標識別性能。文獻口8］ 將5種 彈道中段目標HRRP轉化為0-1二值圖，并構建了 二維CNN對HRRP圖像進行分類，充分利用圖像 中蘊含的目標結構信息提升了分類效果，但將HRRP轉化為圖像增加了計算量。Xiang等［血在一維 CNN中引入通道注意力，同時利用改進的人工蜂群 算法對一維CNN進行剪枝，在保持對彈道中段目 標H R R P的高準確識別率前提下大幅降低了模型 的復雜度。

2 態勢感知

現代戰場態勢具有顯著的大數據特征，傳統方法已不能滿足現代復雜戰場態勢的感知需求，深度學習技術為研究戰場態勢感知提供了智能化技術手段，在對以往實戰數據,實兵對抗數據,靶場試 驗數據,兵棋推演數據等進行態勢標注的基礎上，將 其作為訓練數據，對深度學習模型進行訓練利用訓 練獲得的網絡模型可以實現對戰場態勢的理解。

3 指揮決策以 AlphaGo等為代表的人工智能 應用的成功，表明了深度學習技術在應對實時對抗, 不確定性推理等復雜動態場景問題的優秀能力深 度學習在軍事智能輔助決策領域的應用已經受到廣 泛的關注。

摘要

由于人工智能（AI）、機器學習，特別是深度學習的進步，可解釋人工智能（XAI）研究領域最近受到了很多關注。XAI是一個研究領域，重點是確保人工智能系統的推理和決策可以向人類用戶解釋。在軍事背景下，這種解釋通常是為了確保：

• 人類用戶對他們操作的人工智能系統有適當的心智模型。

• 專家可以從人工智能系統及其隱藏的戰術和戰略行為中獲得洞察力并提取知識。

• 人工智能系統遵守國際和國家法律。

• 開發人員甚至在部署前就能發現人工智能系統的缺陷或漏洞。

本報告的目的是為基于深度學習的人工智能系統提供解釋而開發的XAI技術。這類系統本身就很難解釋，因為它們所模擬的過程往往過于復雜，無法使用可解釋的替代方法來建模。

盡管深度學習XAI領域仍處于起步階段，但科學文獻中已經提出了許多解釋技術。今天的XAI技術主要用于開發目的（即識別錯誤）。需要進行更多的研究來得出結論，這些技術是否也有助于支持用戶為他們所操作的人工智能系統建立適當的心智模型、戰術開發，并確保未來的軍事人工智能系統遵循國家和國際法律。

關鍵詞

人工智能、可解釋人工智能、透明度、機器學習、深度學習、深度神經網絡

1 引言

人工智能（AI）是一個對瑞典[1]和瑞典武裝部隊（SwAF）具有戰略意義的研究領域。當今人工智能成功的主要因素是機器學習（ML）的突破，更確切地說，是深度學習（DL）的突破。DL是一種潛在的顛覆性技術，使我們能夠使用深度神經網絡（DNN）來模擬以前使用傳統技術無法模擬的復雜過程。例如，DL可以用來準確地轉錄（語音到文本）[2，3]，翻譯（文本到文本）[4]，合成語音（文本到語音）[5]，玩實時戰略游戲（視頻到行動）[6，7]，讀取唇語（視頻到文本）[8]，識別人臉（圖像到身份）[9]和控制自動駕駛車輛（視頻到行動）[10，11]。

然而，DL仍然處于起步階段，沒有一個數學框架可以用來保證模型的正確性[12]。因此，在軍事應用中開發、部署、使用和維護DNN模型時，有許多挑戰需要考慮和解決。

從軍事用戶（操作員、數據分析師等）的角度來看，最重要的挑戰也許是可解釋性。根據經驗，當人的生命受到嚴重影響時，對可解釋性的需求更大。在軍事領域是這樣，在醫學、執法和其他民事服務領域也是如此。可解釋性很重要，因為它影響著用戶對系統的信任和依賴。信任關系必須是平衡的；過多的信任可能導致對系統的誤用，而過少的信任則可能導致對系統的完全廢棄[13]。最終，解釋的目的是幫助用戶建立一個適當的系統心智模型，以確保它能被有效使用[14]。

深度學習有可能改善復雜軍事系統的自主性，如戰斗機、潛艇、無人機和衛星監視系統。然而，它也會使這些系統變得更加復雜和難以解釋。主要原因是，DL是一種端到端的機器學習技術，意味著機器學習從輸入數據中提取最重要的特征，以實現高性能。這被稱為表征學習，它與傳統技術不同，傳統技術是用人類的直覺來手動提取這種特征。表征學習往往能帶來高性能，但它也要求模型具有高度的表現力和非線性。因此，使用DL訓練的DNN可能由數百萬甚至數十億的參數組成。這使得它們很難向人類解釋和說明，即使學習算法、模型結構、訓練數據等都是已知的和很好理解的。

美國國防部高級研究計劃局（DARPA）于2016年啟動的可解釋人工智能（XAI）計劃也許是為解決這一挑戰而采取的最全面的軍事舉措。該計劃的目的是：

• "產生更多可解釋的模型，同時保持高水平的學習性能（預測精度）。"

• "使人類用戶能夠理解、適當地信任并有效地管理新一代的人工智能伙伴"。

自XAI計劃開始以來，已經取得了許多技術上的進步。一些XAI技術甚至已經實現并打包在軟件庫中，可用于深入了解、調試和驗證DNN[16, 17, 18]。這是朝正確方向邁出的一步，但從軍事角度來看，關鍵是XAI技術和工具也要為軍事用戶量身定做，因為在這些地方需要高級解釋，以確保信任、使用和性能。

1.1 目的和范圍

本報告的目的是介紹在DL背景下開發的代表性XAI技術。本報告并非詳盡無遺，它并不涵蓋文獻中提出的所有XAI技術。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI、ML和DL技術以用于系統或嵌入系統的軍事人員。

1.3 概要

第2章介紹了智能Agent、機器學習和深度學習的概念。第3章介紹了文獻中提出的各種XAI技術。第4章介紹了可用于評估XAI技術所提供的解釋的方法和技術。第5章介紹了一個案例研究，其中XAI被用來解釋一個深度學習模型的行為。最后，第6章對報告進行了總結，并對未來的工作提出了建議。

2 智能Agent、機器學習和深度學習

本章介紹了一些概念、方法、術語和技術，是本報告的其余部分的基礎。已經對智能Agent、機器學習和深度學習有基本了解的讀者可以跳過本章。

2.1 智能Agent

人工智能是一個廣泛的術語，可以有很多定義。在本報告中，人工智能是指對智能Agent（IA）的研究和設計。一個IA是一個能夠在環境中感知、推理和行動的自主實體。通常情況下，IA與環境中的其他Agent（即多Agent系統）以及人類（如人機合作）進行互動。

當在物理世界中實施時，IAs可以代表從簡單的恒溫器到復雜的自動駕駛車輛、自主機器人、無人機等任何東西。在虛擬環境中，人工智能通常由能夠翻譯、轉錄等的機器人或虛擬助理來代表。在軍事模擬中，IAs通常被稱為非玩家角色（NPCs）或計算機生成部隊（CGFs）。

圖2.1說明了IA的主要組成部分。這些組件通常使用傳統編程和人工智能技術的組合來實現，如專家系統、狀態機、行為樹和機器學習。本報告重點討論完全或部分使用DNN實現的IA的XAI。

圖2.1 - 智能Agent（IA）是一個能夠在環境中感知、推理和行動的自主實體。環境可以是物理的（即現實世界）或虛擬的（如互聯網、虛擬仿真、嚴格游戲）。IA通常與其他Agent、人類互動，分別形成多Agent系統和人機團隊。

2.2 機器學習

ML是人工智能的一個子領域，重點是開發能夠從觀察和經驗中學習的智能系統或IA。在本節中，將介紹ML中使用的主要學習策略。

2.2.1 監督式學習

在監督學習中，IA從已被標記或標注的訓練樣本中學習。學習的目的是使與這些樣本的偏差最小化，同時保持對未見過的輸入的概括能力。實際上，IA將模仿訓練數據中的行為。圖2.2說明了監督學習過程。

在監督學習中，標記過程通常是由人類手動完成的，這就是為什么這種方法在許多應用中可能是昂貴和不實用的。監督學習的主要優點是，一旦數據集建立起來，學習過程是穩定的，而且相對容易監控。

監督學習的主要應用是分類和回歸，其中，離散類標簽和連續值分別代表模型的輸出。分類器可用于檢測代理人視野中感興趣的物體，或識別某一特定情況是否危險。回歸通常用于對Agent的執行器（機器人肢體、方向盤位置等）進行低層次的連續控制。

圖2.2 - 監督式學習。IA從已被標記或標注的樣本中學習。學習過程的目標是創建一個模型，使其與所提供的訓練樣本的偏差最小。淺灰色的方框代表訓練樣本（即輸入和它們的標簽）。

2.2.2 強化學習

在強化學習中，IA通過在一個通常是模擬的環境中執行動作來學習。學習的目的是IA在模擬器中執行動作時使其獎勵最大化。獎勵通常由游戲的結果來表示，因此用于獲勝或失敗的行動分別由學習算法進行正向和負向強化。學習過程如圖2.3所示。

強化學習的一個主要優點是，不再需要手動標注訓練數據。相反，在某種意義上，獎勵函數被用來自動標記數據。然而，為現實世界的問題設計一個獎勵函數是一項非艱巨的任務。它要求隨著時間的推移，適當的獎勵可以被分配給IA的行動[19]。一個設計不良的獎勵函數可能會導致不理想的和意外的行為。

強化學習被用于IA需要學習最佳行動選擇策略的應用中。當應用于實時戰略游戲時，IA可以比大多數人類專家更好地學習選擇行動[6, 7]。因此，我們有理由相信，強化學習最終也能為軍事目的產生替代的甚至是新的戰術和戰略。

圖2.3 - 使用強化學習，IA通過在模擬環境中采取行動來學習。學習過程的目標是使環境提供的獎勵信號最大化。淺灰色的方框代表輸入，在這種情況下是一個模擬器和一個獎勵函數，是這個學習策略所需要的。

2.2.3 無監督學習

在無監督學習中，IA學習識別無標簽數據中的模式和結構，如圖2.4所示。請注意，盡管被稱為無監督學習，但總是由一個預先定義的指標指導。例如，k-means聚類算法使用歐氏距離對數據進行聚類。同樣，自動編碼器（AE）需要存在一個損失或誤差度量函數。

無監督學習的最常見應用包括聚類、可視化、降維和異常檢測。無監督學習在DL中的一個較新的應用是元學習，其中IA被訓練的目標是成為更快的學習者（即學習如何去學習）。

圖2.4 - 在無監督學習中，IA學習在未標記的數據中識別模式和集群。無監督學習由預先定義的指標（例如k-means聚類中的歐幾里得距離）指導，從數據中學習。

2.3 深度學習

深度學習是一種機器學習方法，可用于上述所有的學習策略（即監督式學習、強化式學習和無監督式學習）。

2.3.1 深度神經網絡

在DL中，用于捕捉和學習經驗的模型由DNN來表示。DNN本質上是一個數學表達式，由大量的嵌套和可微分的子函數組成。第 2.3.3 節解釋了 DNN 必須是可微分的原因。

DNN 通常使用圖形進行可視化，其中各層節點用邊相互連接，如圖 2.5 所示。在這種表示方法中，每條邊代表一個可訓練的參數或權重，每個節點代表一個神經元（即一個可區分的子函數），使用權重將輸入轉化為輸出。圖2.6說明了一個神經元所進行的操作。該神經元首先計算其輸入和權重的乘積之和。然后這個值被神經元的非線性激活函數處理，產生一個輸出。然后，該輸出被用作下一層神經元的輸入。

在現實世界的應用中，權重（圖2.5中的邊）的數量通常會增長到數百萬甚至數十億。還要注意的是，除了圖2.5中說明的全連接神經網絡（FCNN），還有不同類型的DNN。卷積神經網絡（CNN）用于數據中存在空間關系的情況，這在圖像中是典型的情況。同樣地，當數據中存在已知的時間關系時（如文本和音頻），經常使用遞歸神經網絡（RNN）。在現實世界的應用中，模型的設計通常是使用精心挑選的CNN、RNN和FCNN的混合。本節的其余部分主要討論FCNN。然而，推理和訓練的原則也同樣適用于CNN和RNNs。

在本報告中，用來表示DNN的數學符號是fθ，其中θ代表DNN的可訓練權重或參數。

圖 2.5 - 一個具有四個輸入、兩個隱藏層和一個輸出的全連接 DNN 的可視化。在這個表示中，每條邊代表一個可訓練的參數或權重，每個節點代表一個神經元（即一個可微分的子函數），使用權重將輸入轉化為輸出。每個神經元計算其輸入和權重的乘積之和。然后，該值由神經元的非線性激活函數處理，產生一個輸出。

圖2.6 - DNN中的神經元的可視化。首先，使用輸入x和權重ω的乘積之和被計算。然后，這個值被送入神經元的非線性激活函數g，以產生一個輸出，可以被送入下一層的神經元。代表一個神經元的數學表達式是。請注意，偏差b，也是一個可訓練的參數，與權重不同，它不與輸入相連。

2.3.2 推斷

推理是一個過程，在這個過程中，輸入被已經訓練好的 DNN 處理，產生一個輸出。在DNN中，處理是通過網絡的各層向前傳遞進行的。計算圖也許是描述推理的最直觀的方式。在計算圖中，DNN被模塊化為原始的子函數，代表網絡中嵌入的操作。作為一個例子，圖2.7中的計算圖表示有一個輸入的神經元。使用這種表示方法，很容易看到輸入是如何在圖中向前移動（從左到右）時被轉化的。

計算圖可以被擴展到具有任意數量的輸入、神經元和輸出的DNN模型。在實踐中，使用代表聚合層的計算圖來設計DNN是很常見的。然后，不同的層可以相互連接，形成最終的 DNN。

圖2.7--計算圖表示一個神經元的操作，fθ(x)=g(x×ω+b)，有一個輸入x和預訓練的參數θ={ω，b}。計算圖可以擴展到包括任意的輸入和輸出。在現實世界的應用中，DNN由代表神經元聚集層的計算圖組成。

2.3.3 訓練

訓練是DNN，fθ，及其可訓練參數或權重θ，被更新的過程。訓練是一個迭代過程，目的是調整θ，使損失函數L(fθ)達到最小。在實踐中，方程2.1中的梯度下降（GD）優化方法或其變體被用來執行更新。

在GD方法中，α代表一個超參數（即一個用于控制學習過程的用戶定義參數），稱為學習率。學習率α，控制著學習過程的速度。重要的是，α被適當地初始化，以確保可訓練的參數能夠收斂到一個最佳的解決方案。一般來說，如果α太大，訓練過程就會變得不穩定，可訓練參數就不會收斂。此外，如果α太小，訓練將是穩定的，盡管它將花費太多的時間來收斂。由于這個原因，使用能在學習過程中動態地改變學習速率的調度器已經成為常見的做法。

方程2.1中的項表示可訓練參數的梯度。梯度決定了更新可訓練參數θ的方向，從而使損失函數增加。請注意，更新的方向與梯度的方向相反，以便使損失最小化。

為了找到這些梯度，我們使用了反向傳播算法。給定一個訓練實例（x, y?），反向傳播算法首先執行一個前向傳遞來計算損失。給定損失后，再進行后向傳遞，使用鏈式規則公式計算梯度。同樣，解釋反向傳播的最直觀的方法是使用計算圖，其中DNN由子函數的集合表示。要進行反向傳播，所需要的就是找到這些子函數的導數。讓我們用一個簡單的例子來說明反向傳播，其中DNN由線性函數fθ(x)=ωx+b表示，只有兩個可訓練參數θ={ω，b}。在這種情況下，損失函數可以定義為fθ(x)和期望輸出y?的平方誤差:

因此，損失衡量了DNN的預測是否接近已知的輸出值，即y。當損失較小時，預測是好的。同樣地，當損失大時，預測就很差。

圖2.8顯示了代表方程2.2中損失函數的計算圖。除了前向傳遞，這個計算圖還包括一個后向傳遞，利用鏈式規則將損失（或誤差）傳播到可訓練參數θ={ω，b}。請注意，訓練中只需要損失相對于可訓練參數的導數（即）。逆向傳播從設置開始。從這里很容易看出鏈式規則是如何將誤差向后傳播的（從右到左），從而找到和。關于本節所述的訓練過程的演示，見附錄A。

即使訓練過程很簡單，可以用計算圖來解釋，也很難理解和解釋模型的行為。下一章將介紹為這些目的而開發的XAI技術。

圖2.8 - 表示平方誤差損失函數的計算圖，。在這個例子中，fθ(x) = ωx + b和θ = {ω, b}分別代表模型和它的可訓練參數，x和y?代表輸入和它的期望輸出（即訓練數據）。

3 可解釋人工智能的技術

可解釋人工智能（XAI）研究的重點是確保人工智能系統的推理和決策能夠被解釋給人類用戶。盡管由于DL的進步，XAI最近受到了很多關注，但XAI的研究領域并不新鮮。它至少在20世紀80年代就已經存在了[20]。對于XAI研究及其歷史的全面回顧，讀者可以參考[21]。

可解釋人工智能是任何用于影響人類生命高風險決策的軍事人工智能系統的關鍵組成部分。戰術層面上的人工智能應用的例子，重點是短期決策，包括無人駕駛車輛的自主控制以及武器和監視系統的目標識別、跟蹤和交戰。此外，XAI在戰爭的戰役和戰略層面同樣重要，甚至可能更重要，因為長期決策和規劃活動可能影響整個團體。在這個層面上，人工智能系統通常用于信息分析，但也可以通過模擬來提出規劃或行動方案（COA）。XAI在軍事應用中的主要目的是：

• 心智建模[14, 22]。XAI可用于支持用戶為其操作的人工智能系統建立適當的心智模型。在任何軍事系統中，無論是否啟用了人工智能，用戶都必須清楚地了解系統的運行邊界，以確保適當和有效的使用。

• 洞察力[23，24]。事實表明，DNN可以用來捕捉知識，并在對復雜過程的觀察中找出人類未知的模式。使用XAI技術，人類有可能解開這些知識并從中學習。使用強化學習的戰術和戰略發展是一個典型的應用，XAI有可能在軍事領域產生更深入的洞察力。

• 法律和法規[25, 26, 27]。XAI有可能被用來確保AI系統遵循國家和國際法律。也許人工智能最具有爭議性的應用是致命的自主武器系統（LAWS）[26]。一些人希望完全禁止這種系統，而另一些人則認為應該允許使用致命性武器系統，因為它們有可能提高精確度并將附帶損害降到最低[27]。盡管如此，作者認為XAI可以在制定政策的過程中發揮重要作用，以規范何時、何地以及是否可以使用LAWS等AI系統。

• 排除故障[23, 28]。在文獻中，有許多XAI被用來識別DNN中的錯誤的案例。當圖像中的版權水印或模擬器和游戲中的未知作弊器等現實世界數據中不存在的人工制品出現在訓練數據中時，通常會出現BUG。第2.3.3節中介紹的訓練過程可以學會利用，或走捷徑，利用這種人工制品。其結果是，當呈現測試數據時，DNN工作得很好，但當呈現真實世界的數據時卻失敗了。如果將XAI技術作為開發過程的一個組成部分，這種問題可以在部署前被發現和解決。

本章介紹了在DL背景下專門開發的幾種XAI技術。DL的XAI是一個重大挑戰，因為DNN可能由數百萬甚至數十億的參數組成，使得它們不透明，難以被人類解釋。請注意，據我們所知，擬議的技術還沒有在軍事背景下進行科學評估。因此，在這種情況下，這些技術能在多大程度上提供有用的解釋還不得而知。第四章介紹了如何進行這種評估。

3.1 全局解釋技術

全局解釋技術提供了對 DNN 及其整體行為的洞察力。在本節中，我們主要關注可用于分析和可視化高維訓練數據集的技術，但也關注如何獲取和解釋用于模型評估的性能測量。

3.1.1 大型高維數據集的可視化技術

在DL中，訓練數據集通常由大量的高維樣本組成。為了直觀地檢查這些數據集，它們必須被降低到人類可以觀察到的維度（即一維、二維或三維空間）。在可視化中總結大型數據集可以提供關于DNN所要學習的任務復雜性的有用見解。它也可以用來識別數據集中可能對DNN的性能產生負面影響的假象[23]。下面是三種無監督的技術，可用于降低維度以達到可視化的目的。

• 主成分分析（PCA）[29]。這項技術確定了數據集的主成分。數據被投射到被認為是最重要的成分或向量上。PCA的主要缺點是它是一種線性技術，因此，它可能無法識別非線性數據的模式。PCA的主要優點是該技術很好理解（即它可以被解釋），而且與其他技術相比，它的計算效率高。

• 可變自動編碼器（VAE）[30]。這是一種DL技術，使用DNNs來降低維度。VAE由兩個DNN組成：編碼器和解碼器。編碼器的目的是將高維的輸入數據壓縮成一個潛在的空間向量（在這種情況下是一維、二維或三維）。解碼器的目的是盡可能準確地使用低維潛空間表示重建高維數據。如第2.3.3節介紹的那樣，使用損失函數對DNN進行訓練，使原始輸入和其重建的誤差最小。一旦訓練完成，只需要編碼器來降低維度。這種技術的主要優點是它能夠學習數據中的非線性因素。缺點是VAE是用不透明的DNN構建的，不容易向人解釋。

• t-分布式隨機近鄰嵌入（t-SNE）[31]。這項技術是專門為可視化目的開發的。與VAE類似，t-SNE使用GD程序來學習如何最佳地降低數據的維度。在這種情況下，目標函數的目標是保持鄰域距離。t-SNE的優點是，它通常會產生更好的可視化效果。缺點是它的計算很復雜。

為了證明上述技術，將使用MNIST數據集[32]。這個數據集包含灰度圖像，包括代表70000個手寫數字的標簽。每個圖像由28×28像素組成，因此，數據的維度為784。圖3.1說明了從數據集中隨機抽取的15個樣本。

圖3.2中的可視化圖（散點圖）是使用從MNIST數據集中隨機抽取的10000張圖像的子集創建的。在這種情況下，使用PCA（圖3.2a）、VAE（圖3.2b）和t-SNE（圖3.2c和圖3.2d）將維數從784降低到2。這些圖是用所有10000個數據點渲染的，每個數據點的標簽都用顏色編碼，這樣人類就可以直觀地檢查出聚類趨勢。在圖3.2d中，數據集首先使用PCA進行預處理，在使用t-SNE之前將維度從784降低到50。這是使用t-SNE時的標準做法，以確保計算效率。圖3.2中的可視化圖提供了對數據集復雜性的洞察力。如果集群可以被直觀地識別，那么DNN也很可能能夠有效地從數據中學習。同樣地，如果集群不能被識別，那么DNN也將更難從數據中學習。在這種情況下，PCA技術無法分離聚類。因此，不能指望線性分類器能有好的表現。

圖3.1 - 從MNIST數據集中隨機抽取的樣本。樣本的標簽在圖的說明中提供。

圖3.2 - 使用主成分分析（PCA）、可變自動編碼器（VAE）和t分布式隨機近鄰嵌入（t-SNE）在二維散點圖中對高維數據進行可視化。在這種情況下，維度從784（代表28×28像素的圖像）減少到2。這些圖是用10000個數據點呈現的，每個數據點用其標簽（0到9）進行顏色編碼，以便人類可以直觀地檢查聚類情況。在圖3.2d中，在使用t-SNE之前，數據集使用PCA進行了預處理，將維度從784降低到50。這是使用t-SNE時的標準做法，以確保計算效率。可視化提供了對數據集復雜性的洞察力。如果集群可以被直觀地識別，那么DNN也很可能能夠有效地從數據中學習。同樣地，如果集群不能被識別，那么DNN也將更難從數據中學習。

3.1.2 模型評估

在訓練機器學習模型時，模型開發者會不斷測量模型在它之前未見過的輸入數據上的表現，以確認模型是否在向有用的行為發展。當開發者對模型的表現感到滿意時，就會停止訓練過程，并使用未見過的測試數據進行最終評估。這個最終的測試衡量了模型在現實世界中應用時的預期性能，在那里它通常會遇到訓練時沒有看到的輸入。測試數據集能在多大程度上被用來測量實際性能，取決于測試集與現實世界數據的對應程度。雖然在模型訓練和調整過程中對性能的持續測量主要是對模型開發者有意義，但從XAI的角度來看，最終的性能測量對用戶也是有價值的。

（1）對分類器的評估

在從圖像中對軍用車輛進行分類的例子中，每一類車輛都有數千張圖像，相當一部分圖像將被用于訓練，另外一組圖像將被分開，用于在訓練期間對模型進行微調和測試，還有一組圖像將被保留用于最終的性能測量。由于分類器在訓練過程中沒有看到測試集中的圖像，因此測量它在這些圖像上的表現可以了解模型在新數據上的表現如何。

在一個分類任務中，最直接的性能測量是計算正確分類的比例。這個衡量標準被稱為準確性：

也就是說，如果車輛分類模型在100張圖片上進行測試，85張圖片被正確分類，則該模型在測試數據上的準確率為85%。如果不同類別的實例出現的頻率相同，也就是說，數據是平衡的，那么準確率就會很高。

在水雷分類的例子中，任務是分析類似雷的聲納圖像，并將該物體分類為雷或其他東西（通常是巖石）。在這種情況下，可能相對缺乏可供訓練的雷圖像，因為關于巖石的數據很容易收集，而關于雷的數據，特別是由敵對勢力部署的雷，則不容易收集。

雷檢測案例是一個不平衡問題的例子，如果測試數據集要反映真實世界的發生情況，那么它將包含比雷圖片更多的巖石圖片。作為一個例子，假設測試數據集中千分之一的例子是雷（其余都是巖石）。一個總是返回負面分類（不是雷）的分類器將在測試集上達到99.9%的準確率，因為999個分類中實際上是正確的。然而，它在尋找雷方面是無用的，因為在提交給它的實際雷中，它沒有檢測到任何雷。它的召回率為0%。

通過使分類器更容易對可疑物體返回正面分類（雷），可以提高召回率。在極端的情況下，一個總是返回正面分類的分類器可以達到100%的召回率，因為它可以捕捉到所有的雷和所有的巖石。然而，同樣，它也是無用的，因為每一千次正面預測中，只有一次是正確的。它的精確度將是0.1%。

顯然，一個好的探雷器，或任何分類器，都需要有合理的高精確度和高召回率的數值。也就是說，必須有可能相信正面的分類結果，足以投入更多的資源（如部署潛水員）。也必須有可能足夠信任負面輸出，以期望它能找到相當比例的實際存在的雷。然而，在現實中，這兩者之間總是有一個權衡，正確的平衡取決于特定的操作要求。例如，如果不遺漏雷是很重要的，那么分類器將被調整為高召回率。然而，要付出的代價是較低的精度，導致更多的時間被用于調查巖石。

通過在測試數據集上運行分類器，計算有多少雷被正確分類（真陽性或TP），有多少巖石被正確分類（真陰性或TN），有多少巖石被誤認為是雷（假陽性或FP），有多少雷被誤認為是巖石（假陰性或FN），可以計算出準確率、精確度和召回率。這就產生了一個混淆矩陣，如表3.1所示。

表3.1--混淆矩陣的結構，將正確的正面分類（TP）、正確的負面分類（TN）、錯誤的正面分類（FP）和錯誤的負面分類（FN）的數量列表。

混淆矩陣是代表模型性能的一種緊湊但豐富的方式，從中可以推導出許多不同的度量。與同一行的其他數值相比，一個高精確度的模型具有較高的TP值（FP），或者更正式地說：

與同列的其他數值相比，一個高召回率的模型具有較高的TP值（FN），或者更正式地說：

與非對角線位置相比，一個高精確度的模型在所有對角線位置都有很高的數值，或者更正式地說：

矩陣中數值的其他組合產生了其他指標，每個指標都揭示了模型性能的某些方面。一般來說，一個具有不平衡數據的案例（這往往是現實中的常態）將需要更多的指標來衡量模型的性能。然而，對于面臨問題，正確的指標集可以提供一個簡明的圖片，說明模型在實際環境的表現是怎樣的。由于所有的指標都是從混淆矩陣中計算出來的，一個訓練較好的分類器很快就能從中提取這些信息。

（2）多類分類器的評估

如果一個車輛分類器要區分坦克、摩托車和運輸車輛，就存在一個多指標或多類分類問題。在這種情況下，混淆矩陣的行和列的數量將與類別的數量相同。圖3.3是一個多類混淆矩陣的例子，任務是將手寫數字的圖像從0到9分類，也就是10個類別。

從混淆矩陣中計算出的度量可以概括為：通過比較對角線和其余部分給出準確度，而通過比較每個特定類別的對角線值與其行的總和（準確度）或其列的總和（召回率）給出準確度和召回率。因此，通過對矩陣進行顏色編碼，就像在數字分類的例子中那樣，僅僅通過檢查就可以收集到很多信息。例如，從這個例子中可以看出，總體準確率非常高（將對角線與其他部分進行比較），但在不同的數字類別中，表現卻有些不同。數字5有時會被誤歸為3或6或其他，反之，5有時會被誤認為3。然而，數字1幾乎不會與其他東西混淆。

圖3.3 - 混淆矩陣說明了使用MNIST數據集識別手寫數字而訓練的DNN的性能。混淆矩陣可以用來深入了解該模型最可能與其他數字混淆的數字。

（3）回歸模型的評估

在回歸任務中，不可能計算正確的分類。相反，有必要將模型產生的連續值與測試集中的正確值進行比較。

作為一個例子，假設一個自主地面車輛（AGV）的避障模型正在被訓練。AGV必須根據安裝的傳感器的輸入產生一個轉向信號。轉向信號表示為-1和1之間的數字，其中-1表示左急轉，1表示右急轉，0表示不轉，而兩者之間的所有數字都是相應方向上的轉彎等級。AGV已經根據人類操作員記錄的數據進行了訓練。它的測試方法是將它對給定的傳感器刺激產生的轉向信號，與記錄的數據進行比較。例如，記錄可能表明，檢測到遠處左側的障礙物應該產生有限的右轉信號（例如0.2），而檢測到近處左側的障礙物應該產生一個急劇的右轉（接近1）。一個在后一種情況下產生急劇左轉信號（-1）的模型，應該被判定為比另一個產生輕微右轉信號（如0.2）的模型B表現更差。將模型的預測值與期望值相比較，顯然，模型A與該值的距離是2，而模型B的距離是0.8。因此，模型B更接近于正確的行為。如果對測試數據集中所有實例的這種誤差進行測量和匯總，例如計算平均誤差，就可以得到模型性能的總體衡量。

回歸的評估技術主要在如何進行匯總方面有所不同。平均絕對誤差（MAE）取的是誤差絕對值的平均值。該指標衡量模型預測與期望值的偏差程度。均方根誤差取的是誤差平均平方根。它對應于誤差的標準偏差，與MAE不同的是，它對大偏差的懲罰更大。R平方（R2）將平均平方誤差與信號本身的方差進行比較。因此，它首先對變化很大的信號容忍較大的誤差。

3.2 局部解釋技術

與全局解釋技術相比，局部解釋是用來解釋對感興趣的特定輸入的預測的。這些輸入可以是真實世界的例子，也可以是訓練或測試數據集中的例子。DNN的輸入基本上是由一串數值構成的，代表了一些現實世界的過程，如圖像中的像素、文本中的字母、科學數據等等。因此，一個有300個像素的灰度圖像在300個維度上表示它的數據，每個維度講述故事的一部分（所有維度一起提供整體）。

本節重點討論局部解釋技術，其中顯著性地圖被用于解釋。顯著性地圖通過對每個輸入維度的相關性或顯著性打分，來解釋一個模型的輸出。也就是說，它顯示了每個維度在產生與該例子相對應的特定輸出方面的重要性。對于一幅圖像來說，這些顯著性分數可以轉化為熱圖，疊加在圖像上，以表明模型在產生其決定時注意到哪些像素。圖3.4提供了一個在模擬自動駕駛汽車的背景下生成的顯著性地圖的例子。

這里介紹的前兩種技術是白盒技術。這些技術依靠訪問DNN的內部表示（子函數、梯度等）來產生解釋。其他技術是黑盒技術，可以通過查詢模型（通常是多次）和選定的輸入來產生解釋。因此，黑盒技術往往需要更多的計算資源來產生其解釋。

圖3.4 - 突出顯示了DNN用來控制模擬自駕車的最重要的輸入像素的Saliency圖。在這種情況下，代表道路右側的像素似乎是最重要的。

3.2.1 梯度顯著性

梯度顯著性（也叫敏感性分析）是最早的局部解釋技術之一，它被用來解釋神經網絡的行為已經有很長時間了[33, 34]。梯度顯著性的想法是通過計算輸入值的變化會在多大程度上改變模型的輸出值來產生解釋。輸入值的變化會對模型輸出值產生最大影響的輸入被認為比其他輸入對模型輸出值更重要。在數學術語中，這被稱為模型輸出對給定輸入（如圖像）的導數。由于DNN訓練使用導數，許多深度學習軟件庫可以直接計算梯度顯著性。

圖2.8中用來解釋DNN訓練過程的計算圖也可以用來理解梯度顯著性的工作原理。梯度顯著性技術不是計算相對于可訓練參數的導數，也就是訓練過程中所做的，而是計算相對于輸入的導數（即）。

梯度顯著性的問題是，它不能區分影響模型輸出的信號和DNN被訓練為過濾掉的干擾物[35]。使用梯度顯著性技術產生的解釋往往是嘈雜的，也會隱藏模型實際使用的特征。解釋哪些特征使輸入的物體類型更多或更少，并不像解釋哪些特征使其成為現實中的物體類型那樣具有信息量[34]。

3.2.2 分層相關性傳播

分層相關性傳播（LRP）發表于2015年，是第一批使用理論框架來指導局部解釋啟發式方法發展的技術之一[36, 34, 37]。該理論框架的主要好處是，它提供了一種方法，可以找到適合于DNN中各層的多種類型的局部解釋啟發式，以及其他類型機器學習模型的局部解釋啟發式。

LRP首先假設為低層對每個輸出值的貢獻分配相關性，應該考慮哪些激活對輸出值是必要的。從輸入中去除這些相關的激活，最好能取消該輸出值。例如，去除被歸類為汽車的圖像中的所有汽車特征，應該意味著該模型的汽車輸出值為零。在數學術語中，這被稱為模型函數的根，而LRP的想法是使用適合搜索這個根的局部解釋啟發式方法。

雖然沒有已知的技術來優化搜索模型函數的根，但有一些對搜索的限制已被證明是足夠的。例如，根的激活應該在輸出值的激活附近，相關的激活應該在可能的輸入空間內，而且只有輸出值的可用相關性應該被用來給激活分配相關性。事實證明，這些約束條件足以找到將相關性從模型輸出傳播回輸入的局部解釋啟發式方法。

LRP假設模型函數可以用數學技術泰勒擴展來近似。泰勒擴展將模型函數分解為簡單的加法項，可以直接映射到神經網絡組件。加法項意味著模型函數可以被分解為作為模型輸出基礎的每個激活的相關性分數。

LRP是一個局部解釋啟發法系列，使用這些技術進行相關性傳播[37]。這些啟發法專門適用于不同類型的神經網絡層和層級。一些啟發式方法還可以將輸出相關性傳播為有助于模型輸出的正向激活和有損于模型輸出的負向激活。這可能有助于識別缺失的特征，使模型輸出的可能性更大。

3.2.3 沙普利加和解釋

沙普利加和解釋（SHAP）發表于2017年[38]，改進以前的一些方法，指出它們之間的數學共性，然后證明它們都可以通過使用一個特定的數學公式進行改進。

該公式由諾貝爾獎得主勞埃德-沙普利于1953年[39]在經濟學的一個分支--博弈論領域提出。它計算出所謂的沙普利值，用于在參與方之間分配一些聯合游戲的收益。該公式旨在根據一組合理性條件公平地分配收益，因此所有的收益都應該被分配；貢獻大的行為者應該獲得更多的收益；沒有貢獻的行為者應該一無所獲；而且應該有可能將不同游戲的收益相加。事實上，沙普利表明，他的公式是唯一可能滿足所有條件的公式。

就解釋而言，第一步是觀察機器學習模型的輸入維度可以被視為參與模型產生輸出預測的游戲的行為者。輸出值可以看作是游戲的總收益，也就是要在玩家之間進行分配。進行公平分配就是在輸入維度之間按其貢獻比例分配輸出值。換句話說，這樣應用沙普利值，就會產生一個突出性掩碼。這個觀察在SHAP方法之前就已經提出了，例如在[40]和[41]。

最初的SHAP工作的貢獻是觀察到一些早期的方法所產生的解釋都可以統一在一個共同的線性形式下，稱為加和特征歸屬，也就是說，它們都有一個共同的屬性，即它們產生的突出度值加起來就是要解釋的模型的輸出值。然后，[38]的作者設定了與上述條件相對應的穩定性條件，并證明沙普利公式是特征歸屬方法滿足所有條件的唯一途徑。由于之前的所有方法都在某種程度上偏離了沙普利公式（通常是通過應用一些沒有太多理論基礎的啟發式方法），作者認為可以通過調整這些方法使其符合該公式來改進。因此，SHAP實際上是一個基于這些調整的方法系列。例如，調整LIME（見第3.2.4節）以符合沙普利公式，可以得到KernelSHAP，即SHAP的一個模型無關的版本。基于特定模型解釋方法的SHAP版本繼承了相同的模型特定性約束。

3.2.4 局部可解釋模型診斷性解釋

局部可解釋模型-診斷性解釋（LIME）在2016年發表時引起了極大的關注[42]，因為它是首批可以作為黑盒應用于任何模型的解釋方法之一。LIME通過對樣本進行擾動并觀察所發生的情況來解釋模型對輸入樣本的預測。

任何機器學習模型都將其輸入和輸出之間的關系表示為某種數學函數，由神經網絡的權重和結構或其他參數來定義。這個函數反過來旨在捕捉一些現實世界的關系，例如，一串聲音和一串單詞之間的關系。一個典型的現代機器學習系統所模擬的功能是復雜的，這就是為什么簡單地檢查神經網絡的權重并不能做很多解釋。LIME不考慮函數的整體性，而是試圖描述函數在要解釋的例子附近的作用。通過以不同的方式擾動輸入，它能夠創建一個線性的，因此更簡單的模型，該模型在與所提供的樣本相似的情況下表現得接近于復雜的模型。這個線性模型的系數構成了對輸入的哪些維度對模型的輸出影響最大的直接測量，或者換句話說，這些系數是LIME版本的顯著性掩碼。由于LIME對模型所要做的就是給它提供不同的輸入擾動并觀察它的輸出，所以對模型的內部工作沒有任何了解。

3.2.5 用于解釋黑盒模型的隨機輸入采樣

用于解釋黑盒模型的隨機輸入采樣（RISE）是一種模型無關的局部解釋技術，于2018年發表[43]。與LIME類似，RISE通過擾動輸入并觀察模型的反應來生成解釋。因此，對于解釋的生成，不需要了解模型的內部工作。

RISE通過隨機生成掩碼來擾亂圖像，掩碼使圖像像素變暗。掩碼是通過將圖像劃分為較大的區域，并隨機選擇哪些區域包括在擾動的圖像中來生成的。模型對擾動圖像的輸出值描述了掩碼覆蓋圖像區域的程度，這些區域對該模型類別的分類很重要。與覆蓋較少重要圖像區域的掩碼相比，覆蓋許多對分類很重要的圖像區域的掩碼會導致更高的模型輸出值。通過隨機生成許多掩碼，RISE計算出每個圖像區域的平均重要性。圖像區域的重要性解釋了模型的分類。

RISE的一個好處是，它使用大小均勻的圖像區域來生成解釋。因此，這些解釋涵蓋了與圖像中的物體相同的圖像區域。另一方面，LIME使用超級像素（類似像素值的連續區域），這可能無法捕捉到正確的圖像區域。

3.3 混合解釋技術

混合解釋技術通過結合全局和局部XAI技術提供洞察力。混合解釋技術不是只在個案的基礎上使用局部XAI技術，而是在大量的案例上自動應用局部XAI技術，通常是整個數據集。然后，混合解釋技術會比較所有的本地XAI結果，以確定模型表現不符合預期的情況。這種異常情況可以為進一步的模型開發提供信息，或者指出使用模型時需要考慮的性能限制。

3.3.1 譜系相關性分析

譜系相關性分析(SpRAy)技術是在[23]中介紹的。SpRAy是一種半自動化的技術，它使用整個數據集的分析方法來尋找模型性能不符合預期的情況。例如，在圖像分類中，一個一般類型的物體，如狗或汽車，可能會出現在許多形式和背景中，但類似的物體形式和背景應該有類似的局部XAI結果。如果某些情況下的本地XAI結果與預期的不一樣，這可能表明模型行為異常。依賴于現實世界中可能不存在的虛假和人為的相關性的決策策略，也被稱為 "聰明的漢斯"行為。SpRAy包括五個步驟來尋找異常的模型行為：

• 用LRP計算相關性圖（見3.2.2節）。

• 對所有的相關性圖進行預處理，使其具有統一的形狀和大小。

• 對相關性圖進行譜聚類。譜聚類是一種成熟的技術，它將相似性矩陣（衡量案例之間的相似性）轉化為增強相似性矩陣的聚類特性的表示方法[44]。然后可以在新的表示法中檢測到集群。相關性地圖之間的相似性是由成對的相關性圖之間的歐氏距離計算出來的最近的鄰居。兩個相關性圖之間的歐氏距離是由每個像素的每個顏色通道的強度差異計算出來的。

• 識別有趣的聚類。譜聚類計算出表明不相交或弱聯系的集群的措施（特征值）。特征值的巨大差距表明集群是不同的。

• 一個可選的步驟是使用例如t-SNE（見第3.1.1節）對聚類進行可視化。

在[23]中，SpRAy被用來證明上一代機器學習技術--支持向量機（SVM）在圖像分類中學習了虛假的相關關系。例如，SpRAy顯示，該分類器使用了四種不同的策略對馬匹的圖像進行分類，檢測馬匹和騎手，在橫向或縱向的圖像中檢測源標簽，以及檢測障礙物和其他環境元素。因此，在沒有源標簽和背景元素的實際應用中，這個分類器是不可靠的。將源標簽添加到其他物體的圖像上，如汽車，他們可以將分類改為馬。

4 評估可解釋人工智能技術

XAI的一個經常被忽視但很重要的方面是評估擬議的XAI技術的能力。第 4.1節從人類因素的角度介紹了評價標準，其中用戶（如操作員或分析師）是衡量XAI加入人工智能系統后的效果的核心。此外，第4.2節介紹了可用于比較本地XAI技術的測試，如第3.2章中介紹的使用啟發式的技術。

4.1 人為因素評價

對XAI技術的人為因素評估測試了解釋是否考慮了所有對用戶充分利用AI系統的重要因素。例如，用戶可能有不同的目標、需求、知識、經驗、任務背景、用例等。和許多類型的系統開發一樣，在人工智能系統的整個開發過程中，從系統規范到最后的用戶測試，都必須考慮這些因素。由于用于DL的XAI技術是一個新興的研究領域，這些技術的最初用戶往往是對評估模型性能感興趣的系統開發者。這些XAI技術是否對軍事用戶也有用，在很大程度上仍然是一個開放的問題。在[22]中，已經提出了六個指標來評價解釋。

• 解釋善意。由一份檢查清單組成，其中包括在開發XAI技術時從用戶角度考慮的重要方面。該清單是基于對現有文獻中關于解釋的全面回顧，包括解釋的七個重要方面，例如，解釋是否有助于用戶理解人工智能系統的工作原理，解釋是否令用戶滿意，以及解釋是否足夠詳細和完整。

• 解釋的滿意度。一個衡量用戶在解釋的好壞方面如何體驗解釋的量表。該量表由八個項目組成，這些項目被表述為聲明（七個好的方面和一個關于解釋對用戶的目標是否有用的項目）。有效性分析表明，該量表是可靠的，可以區分好的和壞的解釋。

• 促進心智模式的發展。好的解釋會加強用戶對人工智能系統如何工作以及為什么會做出特定決定的理解。在認知心理學中，這種表述被稱為用戶對人工智能系統的心理模型。推薦四個任務來測量用戶對人工智能系統的心智模型，例如，一個提示性的回顧任務，要求用戶在用人工智能系統執行任務后描述他們的推理，以及一個預測任務，讓用戶預測人工智能系統會做什么。用戶的心理模型和專家的心理模型之間的比較顯示了用戶心理模型的完整性。

• 促進好奇心。好的解釋會促進用戶的好奇心，以調查和解決心理模型中的知識差距。我們建議通過讓用戶識別促使他們要求解釋的觸發因素來衡量好奇心。一些觸發因素的例子是：人工智能系統行動的理由，為什么其他選項被排除在外，或者人工智能系統的行為不符合預期。

• 對解釋的信任。一個好的心理模型能使用戶適當地信任人工智能系統，并在其操作范圍內使用它。建議使用一個包含八個項目的量表來衡量用戶對人工智能系統的信任。例如，這些項目涉及用戶對使用系統的信心以及系統的可預測性和可靠性。

• 系統性能。與只使用人工智能系統而不使用XAI相比，XAI的最終目標是提高系統的整體性能。性能測量的例子包括主要任務目標的完成，用戶預測人工智能系統反應的能力，以及用戶的接受度。

未來的研究將提供更多關于在評估人工智能系統的XAI技術時如何解釋這些指標的信息。

4.2 評估本地解釋技術

第3.2章中描述的本地XAI技術產生了突出性地圖，以突出每個輸入維度的重要性。根據模型所處理的數據類型，顯著性圖的可視化程度是不同的。例如，在處理圖像時通常使用熱圖，而在處理文本時通常使用彩色編碼的字符和詞。

圖4.1展示了一個使用熱圖可視化的顯著性圖的例子。在這個例子中，熱圖是為數字0（圖4.1a）生成的，使用了梯度顯著性（圖4.1b）和LRP技術（圖4.1c）。重要的維度（即圖像中的像素）由較暖的顏色（如紅色、橙色、黃色等）表示，而非重要的維度則由較冷的顏色（深藍、藍、淺藍等）表示。這兩種技術之間的明顯區別可以從高亮維度的位置上直觀地觀察到。本節的其余部分介紹了可以用來定量比較和評估不同技術所產生的局部解釋的技術。最終，我們的目標是找出哪個解釋是最準確的。

圖4.1 - MNIST圖像及其相應的熱圖，使用梯度顯著性和LRP技術生成。圖像中的重要維度或像素用較暖的顏色（如紅色、橙色、黃色等）表示。

4.2.1 刪減

刪減[43, 34]是一個指標，通過測量模型在輸入逐漸被扭曲或刪減時準確做出預測的能力來計算。請注意，在這種情況下，刪減意味著將輸入的值轉換為中性的東西（例如，圖像的背景）。刪減過程是由XAI技術產生的顯著性圖指導的，因此更重要維度的值會在不太重要的值之前被刪減。這個指標的直覺是，如果在刪減過程中，性能下降很快，而不是很慢，那么解釋會更好。

圖4.2使用圖4.1b中的梯度顯著性圖說明了刪減過程。在圖4.2b中，50個最突出的像素已經被刪減。在這個階段，很容易推斷出該圖像仍然代表一個0。在圖4.2f中，超過一半的像素（400）已經被刪減。在這個階段，要推斷出圖像實際代表數字0要困難得多。

圖4.2 - 由MNIST圖像的刪減過程產生的圖像，其中0、50、100、200、300和400像素被刪除。

4.2.2 插入

插入指標[43]是對刪減的補充方法。圖4.3說明了在刪減例子中使用的同一MNIST圖像的插入過程。從最初的輸入（用黑色圖像表示）開始，隨著越來越多的輸入維度被插入，按照突出度圖的優先順序，測量準確度的增加。這里的直覺是，當更多的信息被插入到輸入中時，模型預測的準確性應該增加。也就是說，當增加的速度快時，與增加的速度慢時相比，解釋會更好。

圖4.3 - 從MNIST圖像的插入過程中產生的圖像，其中0、50、100、200、300和400像素被插入。

4.2.3 評價指標

為了證明刪減和插入的使用，使用梯度顯著性和LRP技術來衡量這些過程。在這種情況下，使用分類器對XAI技術進行了評估，該分類器從MNIST數據集中隨機抽取了100張圖像。

圖4.4和圖4.5分別顯示了刪減和插入過程的結果。曲線下的面積（AUC）是一種測量方法，可以用來定量比較XAI技術。對于刪減，較小的AUC值要比較大的值好。同樣，對于插入，較大的AUC值比較小的值要好。

在圖4.4中可以看到，LRP技術的性能曲線的下降更加尖銳，并在使用刪減過程時收斂到一個較低的平均概率值。這與它的熱圖是一致的，與梯度顯著性的熱圖相比，它突出了較少的特征（圖4.1c和4.1b），表明與梯度顯著性相比，LRP在較少的特征下更快地找到了解釋。同樣的結論可以從使用插入過程的結果中得出（圖4.5）。在這里，只需插入幾十個特征，就能觀察到平均概率的快速增加，在插入大約100個特征后達到高性能。

圖4.4 - 梯度顯著性和LRP的刪減曲線。

圖4.5 - 梯度突出性和LRP的插入曲線。

5 實驗結果：關于解釋自然語言預測的案例研究

在自然語言處理（NLP）領域，一個常見的機器學習任務是讓人工智能系統評估一個文本在多大程度上表達了消極、積極或中性的情緒（即情緒分析）。諸如 "我非常高興和感激！"這樣的句子顯然表達了積極的情緒，而 "我希望他很快見到他的造物主 "顯然是消極的，而 "他昨天到達 "可以被認為是中性的。積極的例子包含了直接標明它是積極的詞語，而消極的例子則需要對語言有更深的理解，才能抓住其明顯的消極含義。因此，一個文本可以在它所表達的情緒的種類和程度方面有所不同，也可以在它如何直接表達方面有所不同。為了理解人工智能系統是如何試圖理解輸入到它的文本中的情感，可以應用第4.2章中用來解釋圖像分類的同類技術。

5.1 情緒分析預測器

情緒分析模型是所謂的SentimentTagger模型的簡化版，該模型主要被內部用來預測推文（即Twitter上的帖子）中的情感。SentimentTagger模型由一個DNN和一個更傳統的NLP模塊組合而成。在這項工作中，只使用了該模型的DNN部分。DNN模型是使用遞歸（即RNN）和全連接（即FCNN）神經網絡層的組合設計的。RNN部分使用一種叫做長短時記憶（LSTM）的技術來實現，該技術專門為一個句子中的單詞或字符之間，甚至是跨句子的遠距離依賴關系建模。例如，在 "我昨天以便宜的價格買的車今天壞了 "這句話中，事件 "壞了 "指的是 "車"，盡管它們被其他文字分開。

在SentimentTagger中使用的特定LSTM是通過將傳入的文本（一條推文）分解成其組成字母來觀察的。更確切地說，它看的是字符，如字母，但也包括標點符號、空白、表情符號等等。然后，該模型提取出一個善于模擬情感的中間表征。這個中間表征然后被送入FCNN以產生最終的情感預測。預測是一個在0和1之間的連續值，其中0是最消極的，1是最積極的。因此，這是一個回歸模型，就解釋而言，這意味著解釋不是對預測一個特定類別的貢獻，而是對該特定輸出值的貢獻。

SentimentTagger的預測過程如圖5.1所示。表5.1中還提供了該模型預測的一些例子。表5.1中前三條推文的預測結果與人類判斷的真實情感值很一致。接下來的三條是低估了積極情緒的例子，而最后三條是低估了消極情緒的例子。對于一些例子，如第六個例子，可以說SentimentTagger比人類標簽者做得更好。在所有情況下，了解SentimentTagger的估計依據是什么，將是有益的。

圖5.1 - SentimentTagger的結構。一條推文被送入LSTMRN，它產生一個中間表征。然后將其送入FCNN，反過來產生最終的情感預測。

表5.1 - SentimentTagger對推文進行情感預測的例子。

5.2 解釋方法

為了對SentimentTagger產生的預測進行解釋，我們采用了模型診斷性的LIME和SHAP技術。SHAP的版本（KernelSHAP）實際上是對LIME的修改（根據[38]中提出的一般公式），這使得比較變得有趣。在這種情況下，選擇與模型無關的方法的原因是，不同類型的神經網絡的串聯使得應用特定模型的方法變得非同尋常。

SentimentTagger分析推文所包含的字符，而不是在詞的層面。顯著性解釋的最直接表述是指出一條推文的每個字符對該推文的情緒預測有多大貢獻。圖5.2a給出了這樣一個解釋的例子，SentimentTagger預測該條推文的情緒為中性（0.47），而人類判斷的數值為輕微的消極（0.31）。那么，是什么推動了這種預測呢？在這里，顏色編碼被用來表示每個字符對增加或減少情感預測的貢獻。藍色表示消極貢獻（即消極情緒），紅色表示積極貢獻（即積極情緒）。接近透明紫色的顏色代表中性情緒。

這個例子似乎表明，"更好 "這個詞中的字符做出了積極的貢獻，而 "壞 "這個詞中的字符做出了消極的貢獻，而其他字符則提供了一個不太清晰的畫面。從單個字符的顯著性歸因中得出結論是很困難的，因為字符本身并不真正意味著什么。因此，雖然可能有理由讓情感預測模型在角色層面上工作，但可能應該在一個綜合的層面上提供解釋，以更好地映射到實際意義。

如果將字符級別的歸因匯總到包含相應字符的每個詞上，結果就會出現圖5.2b中的可視化。出現的畫面更加清晰，不僅可以看到 "更好 "和 "壞 "對預測的推動作用有多大，而且還可以看出 "什么時候"的輕微積極作用和 "某人 "和 "不耐煩"的輕微消極作用。最后，還可以注意到，"紅色 "和 "藍色 "的數量似乎大致相當，這解釋了為什么SentimentTagger決定對情緒進行中性評價。在后面的例子中，到單詞級別的解釋是可視化的。

圖5.2 - 一條推文，根據其對該推文的情感預測的貢獻，對字符和詞進行了顏色編碼。紅色表示對積極情緒的貢獻；藍色表示對消極情緒的貢獻。在這個案例中，模型預測的是中性情緒（0.47），而人類標注者對情緒的判斷是輕微的消極（0.31）。詞級顯著性的可視化似乎更清楚地映射了句子語義的重要性。

5.3 定性結果

表5.2顯示了九個在不同方面都很有趣的推文例子。顏色對應的是由SHAP做出的顯著性歸因（然后如上文所解釋的那樣匯總到詞級）。預測欄列出了由SentimentTagger預測的情感值，而真實值欄則顯示了由人類判斷分配的值。一個詞越紅，說明組成它的字符越多，共同推動了預測值的上升。反之，一個詞越是藍色，它的字符越是把預測值推低。

對于前三條推文，SentimentTagger的預測與人類的情緒判斷（在真值一欄）相當一致。盡管達成了一致，但有趣的是，SentimentTagger看了哪些詞來得出其預測結果。在第一條推文中，"愚蠢的"、"可怕的"、"丑陋的"、"糟糕的 "和 "不 "促使情緒向消極方向發展，但 "父親 "一詞是一個更強大的消極驅動因素。可以詢問SentimentTagger是否發現了消極形容詞與 "父親 "的組合，或者它是否足夠成熟，能夠識別出 "不是他們的父親 "是一個有害的聲明。第三條推文更清晰；"微笑 "做了大部分的積極作用。

第4條和第5條推文是SentimentTagger將消極情緒分配給實際上相當積極的推文例子。諸如 "醫院"、"走了 "和 "眼淚 "等詞被表面上解釋為消極的，而對上下文的正確理解會否定這種判斷。6號推文似乎也顯示了預測和真實情緒之間的差異。然而，可以說，問句形式所表達的不安全感實際上使預測比指定的標簽更接近事實。

在例子7到9中，關系是相反的，即預測嚴重低估了推文中表達的消極程度。一些被遺漏的消極情緒可能源于拼寫錯誤，如 "appauling"（7），缺失空格，如 "worstairline "和 "beyondajoke"（7），以及口語化的縮寫，如 "tf"（9），盡管一個字符級的LSTM預計會比一個單詞級的更好地處理輕微的拼寫錯誤和空格缺失。其他錯誤則更難解釋，如 "令人震驚"、"可怕"、"凄慘"（7）和 "刺激"（9）。例子8似乎表明，SentimentTagger錯過了 "刺激 "和 "高 "之間的聯系。

表5.3顯示了LIME對相同推文產生的顯著性歸因。雖然SHAP的歸因在很大程度上是可理解的，但并不完全符合直覺，LIME的版本則在很大程度上令人困惑。少數與直覺相符，如 "可笑"（1）、"欣賞"（2）和 "樂觀"（6），其中前兩個沒有被SHAP強調。有些直接與直覺相抵觸，例如 "無用"（7）和 "微笑"（3），后者也與SHAP相抵觸。然而，大多數只是顯得很隨意，如 "ajahnae"（1）、"ago"（2）、"will"（5）和 "today"（8）。這些不直觀的解釋是否表明SentimentTagger存在SHAP沒有發現的故障，或者SHAP的更直觀的歸因是否更準確地描述了LSTM實際在做什么？KernelSHAP在理論上是LIME的一個更好的基礎版本，這一事實表明了后者，但這些定性的結果不能提供任何證明。為了更客觀地比較這兩種解釋方法，在下一節將進行定量分析。

表5.2 - 選定的推文，按SHAP的顯著性數值進行著色，這些數值已經匯總到單詞級別。

表5.3 - 選定的推文，按照LIME的顯著性數值進行著色，這些數值已經匯總到單詞級別。

5.4 特征刪減分析

正如第4.2.1節所解釋的，刪減指標通過按照XAI技術賦予特征的顯著性順序來測試解釋方法的性能。一個好的XAI技術應該對那些對預測模型的輸出很重要的特征賦予很高的顯著性，因此按照這個順序刪減特征會使模型的性能急劇下降。在本案例中，按照突出性順序要刪減的特征是字符，在這種情況下，刪減一個特征意味著用一個空字符來代替它，比如一個制表符或一個空格，而預測模型是SentimentTagger。我們在一批500條推文的例子上對SentimentTagger的SHAP解釋和LIME解釋都進行了刪減測試，然后繪制了模型的預測性能如何隨著刪減的特征（字符）數量而下降。此外，作為一個基線，我們用一個隨機掩碼進行刪減，導致特征以隨機順序被刪減。由于SentimentTagger是一個回歸模型，它的性能不能用準確性來衡量。相反，我們使用了R2指標，該指標代表了對訓練好的模型解釋測試數據中的差異的程度的衡量。

圖5.3顯示了SentimentTagger的R2性能作為刪減數量的函數，分別按SHAP、LIME和隨機掩碼排序。很明顯，刪減測試有利于SHAP，因為它的曲線按照突出性歸因的順序迅速下降，而LIME的相應曲線則明顯不那么陡峭。LIME在刪減測試中的表現只比隨機掩碼略好。因此，SHAP似乎在識別少數特征（字符）方面做得更好，沒有這些特征，模型就無法準確預測。這也許并不奇怪，因為Shapley公式的設計就是為了做到這一點，而LIME則依賴于更多技術上的啟發式方法。然而，通過有選擇地將少數幾個字符替換為空白，甚至有可能完全消除SentimentTagger的性能，這一事實可能是關于此類模型的穩健性（或缺乏穩健性）的一個有趣的跡象。

更值得注意的是，在SHAP案例中，R2值在最初的10次左右的刪減后實際上下降到了零以下，然后隨著更多的刪減被執行，又向零移動。這意味著第一組刪減實際上導致模型的表現比忽略其輸入并總是做出相同預測的模型要差。隨著更多的刪減，模型的預測將趨向于中性預測，即對應于一個空推文，這相當于忽略輸入。因此，R2值會收斂到零。

圖5.3 - 對SentimentTagger預測的SHAP和LIME解釋的刪減分析。隨機順序的刪減被用作基線。該圖顯示了對模型性能的影響，如R2指標所衡量的，當特征按突出性順序被連續刪減（即字符被連續刪減）時。SHAP曲線最初的陡峭下降表明，SHAP善于發現哪些特征對模型性能最為關鍵。低于零的跌幅表明，戰略性的刪減會導致模型做出的情感預測與人類標注的真實情感相矛盾。LIME的緩慢下降表明LIME的顯著性值在尋找哪些特征對模型性能最關鍵方面不如SHAP值，只比隨機刪減稍好。

6 結論

深度學習將被用于補充和取代軍事系統的某些功能。事實上，DL技術已經在軍事監控系統中得到了應用，以自動檢測和跟蹤大量圖像數據中感興趣的物體[45]。與傳統的軟件技術相比，DL有幾個優勢。最重要的是，DL可以用來為那些使用傳統軟件技術無法建模的復雜過程建模。它還可以促進主動學習，即人工智能系統與用戶互動，以獲得高質量的數據，這些數據可用于增強運行中系統模型（即部署后）。

不幸的是，這些優勢也帶來了重大挑戰，不僅在技術上，而且在操作上都需要解決。在本報告中，重點是可解釋性的挑戰。DL的一個主要缺點是，即使學習算法、模型結構和訓練數據是已知的，并且被很好地理解，但模型本身的行為卻不是可解釋的。在許多用于音樂推薦和廣告目的民用應用程序中，這通常不是一個問題。然而，在軍事領域，理解和解釋人工智能系統的行為是至關重要的。在這種情況下，人工智能系統提供的決定和建議可能會對人類的生活產生深刻的影響。這在使用自主武器和無人機的戰術層面是有效的，在軍事領導人和政治決策者做出長期決定的作戰和戰略層面也是有效的。

也許有人會說，復雜的軍事系統，如戰斗機、潛艇、坦克和指揮與控制的決策支持工具，也是難以掌握的。雖然這是事實，但用于建立這些系統的技術本質上是可以解釋的。因此，如果出了問題，有可能完整地檢查系統以識別和糾正問題。而在DL中，情況并非如此。主要原因是，在現實世界的應用中，DNN經常由數百萬甚至數十億的參數組成。因此，即使是這些模型的創建者也沒有能力系統地解決模型中可能存在的錯誤。

在這份報告中，探討了為解決可解釋性挑戰而提出的幾種最先進的XAI技術。盡管已經取得了一些進展，但可以得出結論，用于軍事領域DL應用的XAI仍然處于起步階段。最終，即使已經提出了許多XAI技術，它們還沒有在軍事背景下被檢測過。因此，不能保證現有的XAI技術能夠在高風險的軍事AI系統中使用DL。

在為軍事目的開發人工智能系統時，我們建議在采購和開發過程中盡早確定可解釋性和可解釋性要求。最重要的是，這些要求的定義是可行的和可驗證的。也就是說，這些要求必須符合在可解釋性方面實際可能的期望。

在未來的工作中，我們打算開發一個評估框架，可以用來支持軍事人工智能系統中XAI能力的發展。

FOI

FOI，瑞典國防研究局，是瑞典國防部下屬的一個主要任務資助機構。其核心活動是研究、方法和技術開發，以及為瑞典國防和社會安全利益而進行的研究。該組織雇用了約1000名員工，其中約800名是科學家。這使得FOI成為瑞典最大的研究機構。FOI為其客戶提供了大量領域的前沿專業知識，如安全政策研究、國防和安全相關分析、各種類型威脅的評估、危機控制和管理的系統、有害物質的保護和管理、IT安全和新傳感器提供的潛力。

摘要 知識圖譜以語義網絡的形式將客觀世界中概念、實體及其之間的關系進行結構化描述,提高了人類從數據中抽取信息、從信息中提煉知識的能力。該文形式化地描述了知識圖譜的基本概念,提出了知識圖譜的層次化體系架構,詳細分析了信息抽取、知識融合、知識架構、知識管理等核心層次的技術發展現狀,系統梳理了知識圖譜在軍事領域的應用,并對知識圖譜未來發展的挑戰和趨勢進行了總結展望。

摘要： 語音信息處理技術在深度學習的推動下發展迅速,其中語音合成和轉換技術相結合能實現實時高保真的指定對象、內容的語音輸出,在人機交互、泛娛樂等領域具有廣泛的應用前景。文中旨在對基于深度學習的語音合成與轉換技術進行綜述。首先,簡要回顧了語音合成和轉換技術的發展歷程;接著,列舉了在語音合成、轉換領域的常見公開數據集以便研究者開展相關探索;然后,討論了從文本到語音模型,包括在風格、韻律、速度等方面進行改進的經典和前沿的模型、算法,并分別對比評述了其效果與發展潛力;進一步針對語音轉換進行綜述,歸納總結了轉換方法與優化思路;最后,總結了語音合成與轉換的應用與挑戰,并根據其在模型、應用和規范方面所面臨的問題,展望了未來在模型壓縮、少樣本學習和偽造檢測方面的發展方向。

自然語言生成（NLG）技術利用人工智能和語言學的方法來自動地生成可理解的自然語言文本。NLG降低了人類和計算機之間溝通的難度，被廣泛應用于機器新聞寫作、聊天機器人等領域，已經成為人工智能的研究熱點之一。首先，列舉了當前主流的NLG的方法和模型，并詳細對比了這些方法和模型的優缺點；然后，分別針對文本到文本、數據到文本和圖像到文本等三種NLG技術，總結并分析了應用領域、存在的問題和當前的研究進展；進而，闡述了上述生成技術的常用評價方法及其適用范圍；最后，給出了當前NLG技術的發展趨勢和研究難點。

//www.joca.cn/CN/abstract/abstract24496.shtml