DARPA 于 2015 年制定了可解釋人工智能 (XAI) 計劃,旨在使最終用戶能夠更好地理解、信任和有效管理人工智能系統。 2017年,為期四年的XAI研究計劃開始。現在,隨著 XAI 在 2021 年結束,是時候反思什么成功了,什么失敗了,以及學到了什么。本文總結了 XAI計劃的目標、組織和研究進展。
機器學習的巨大成功創造了新的人工智能 (AI) 能力的爆炸式增長。持續的進步有望產生能夠自行感知、學習、決策和行動的自主系統。這些系統提供了巨大的好處,但它們的有效性將受到機器無法向人類用戶解釋其決策和行動的限制。這個問題對美國國防部 (DoD) 尤其重要,它面臨著需要開發更智能、自主和可靠系統的挑戰。可解釋的人工智能對于用戶理解、適當信任和有效管理新一代人工智能合作伙伴至關重要。
可解釋性問題在某種程度上是人工智能成功的結果。在人工智能的早期,主要的推理方法是邏輯和符號。這些早期系統通過對(某種程度上)人類可讀符號執行某種形式的邏輯形式來進行推理。早期系統可以生成其推理步驟的痕跡,然后可以成為解釋的基礎。因此,在如何使這些系統可解釋方面進行了大量工作(Shortliffe & Buchanan, 1975; Swartout, Paris, & Moore, 1991; Johnson, 1994; Lacave & D′?ez, 2002; Van Lent, Fisher, & Mancuso , 2004)。
然而,這些早期的人工智能系統是無效的;事實證明,它們的建造成本太高,而且對于現實世界的復雜性來說太脆弱了。 AI 的成功伴隨著研究人員開發了新的機器學習技術,這些技術可以使用他們自己的內部表示(例如,支持向量、隨機森林、概率模型和神經網絡)來構建世界模型。這些新模型更有效,但必然更不透明且難以解釋。
2015 年是 XAI 需求的轉折點。數據分析和機器學習剛剛經歷了十年的快速發展(Jordan & Mitchell,2015)。在 2012 年突破性的 ImageNet 演示之后,深度學習革命才剛剛開始(Krizhevsky、Sutskever 和 Hinton,2012 年)。大眾媒體對超級智能 (Bostrom, 2014) 和即將到來的 AI 啟示錄(Apocalypse) (Gibbs, 2017, Cellan-Jones, 2014, Marr, 2018) 充滿活力猜測。每個人都想知道如何理解、信任和管理這些神秘的、看似高深莫測的人工智能系統。
2015 年還出現了提供可解釋性的初步想法。一些研究人員正在探索深度學習技術,例如使用反卷積網絡來可視化卷積網絡的層級(Zeiler & Fergus,2014)。其他研究人員正在尋求學習更多可解釋模型的技術,例如貝葉斯規則列表 (Letham, Rudin, McCormick, & Madigan, 2015)。其他人正在開發與模型無關的技術,可以用機器學習模型(作為黑盒)進行試驗,以推斷出近似的、可解釋的模型,例如 LIME(Ribeiro、Singh 和 Guestrin,2016 年)。還有一些人評估可解釋交互的心理和人機交互因素(Kulesza、Burnett、Wong 和 Stumpf,2015 年)。
DARPA 花了一年時間調查研究人員,分析可能的研究策略,并制定計劃的目標和結構。 2016 年 8 月,DARPA 發布 DARPA-BAA-16-53 征集提案。
可解釋人工智能 (XAI) 的既定目標是創建一套新的或改進的機器學習技術,以產生可解釋的模型,當與有效的解釋技術相結合時,使最終用戶能夠理解、適當地信任和有效地管理新一代人工智能系統。
XAI 的目標是最終用戶,他們依賴于 AI 系統產生的決策或建議,或者它采取的行動,因此需要了解系統的基本原理。例如,從大數據分析系統接收建議的情報分析師需要了解它為什么建議某些活動,需要進行進一步調查。同樣,執行自主系統任務的操作員需要了解系統的決策模型,以便在未來的任務中適當地使用它。 XAI 的概念是為用戶提供解釋,使他們能夠了解系統的整體優勢和劣勢;傳達對其在未來/不同情況下的表現的理解;并且可能允許用戶糾正系統的錯誤。
XAI 計劃假設機器學習性能(例如,預測準確性)和可解釋性之間存在固有矛盾關系,這一問題與當時的研究結果一致。通常性能最高的方法(例如深度學習)是最難解釋的,而最可解釋的(例如決策樹)是最不準確的。該計劃希望創建一系列新的機器學習和解釋技術,為未來的從業者提供更廣泛的設計選項,涵蓋性能-可解釋性交易空間。如果應用程序需要更高的性能,XAI 產品組合將包括更可解釋、高性能的深度學習技術。如果應用系統需要更多的可解釋性,XAI 將包括性能更高、可解釋的模型。
該計劃分為三個主要技術領域(technical areas,TAs),如圖 1 所示:(1)開發新的 XAI 機器學習和可解釋技術以產生有效的解釋性;(2)通過總結、延伸和應用可解釋心理學理論,來理解可解釋心理; (3) 在兩個挑戰問題領域評估新的 XAI 技術:數據分析和自主性。
圖1:DARPA的XAI計劃結構,包括技術領域(TAs)和評估框架
最初的計劃時間表包括兩個階段:第一階段,技術演示(18 個月);第 2 階段,比較評估(30 個月)。在第一階段,開發人員被要求針對他們自己的測試問題展示他們的技術。在第 2 階段,最初的計劃是讓開發人員針對政府評估人員定義的兩個常見問題之一(圖 2)測試他們的技術。在第 2 階段結束時,預計開發人員將向開源 XAI 工具包貢獻原型軟件。
圖2:面臨的挑戰問題
2017年5月,XAI計劃開始啟動。選擇了 11 個研究團隊來開發可解釋學習器 (TA1),并選擇了一個團隊來開發可解釋的心理模型。評估由美國海軍研究實驗室提供。以下總結了這些進展以及該計劃結束時這項工作的最終狀態。 Gunning 和 Aha,2019 年給出了 2018 年底 XAI 發展的中期總結。
該計劃預計研究人員將調查訓練過程、模型表示,以及重要的解釋交互。為模型表示設想了三種通用方法。可解釋的模型方法將尋求開發對機器學習專家來說本質上更易于解釋和更內省的 ML 模型。深度解釋方法將利用深度學習或混合深度學習方法來產生除預測之外的解釋。最后,模型歸納技術將從更不透明的黑盒模型創建近似可解釋的模型。解釋交互被認為是 XAI 的一個關鍵元素,將用戶連接到模型,使他們能夠理解決策過程并與之交互。
隨著研究的進展,11 個 XAI 團隊探索了許多機器學習方法,例如易處理的概率模型 (Roy et al. 2021) 和因果模型 (Druce et al. 2021) 以及強化學習算法生成的狀態機等解釋技術(Koul et al. 2019, Danesh et al. 2021), 貝葉斯教學 (Yang et al. 2021), 視覺顯著圖 (Petsiuk 2021, Li et al. 2021, Ray et al. 2021, Alipour et al. 2021, Vasu et al. 2021),以及網絡和 GAN 解剖 (Ferguson et al. 2021)。也許最具挑戰性和最獨特的貢獻來自機器學習和解釋技術的結合,以進行精心設計的心理實驗來評估解釋的有效性。
隨著計劃的推進,我們也對用戶范圍和開發時間線有了更深入的了解(圖 3)。
圖3: XAI用戶和開發時間表
該計劃需要對解釋有扎實的心理學理論支持。選擇了一個團隊來總結當前的解釋的心理學理論,以協助 XAI 開發人員和評估團隊。這項工作始于對解釋心理學的廣泛文獻調查以及之前關于 AI 可解釋性的工作(IHMC 文獻調查的參考資料)。最初,該團隊被要求(1)對當前的解釋理論進行總結,(2)根據這些理論開發一個解釋的計算模型; (3) 根據 XAI 開發人員的評估結果驗證計算模型。開發計算模型被證明是一座太極端的橋梁,但該團隊確實對該領域有深入的了解并成功地制作了描述性模型。這些描述性模型對于支持有效的評估方法至關重要,這些評估方法涉及精心設計的用戶研究,按照美國防部人體研究指南進行。圖4說明了 XAI 解釋過程的頂級描述模型。
圖 4:解釋心理模型。黃色框說明了基本過程。綠色方框說明了測試標準。白框說明了潛在的結果。
最初設想評估基于數據分析和自主性領域內的一組常見問題。然而,很快就很清楚,在廣泛的問題領域中探索各種方法會更有價值。為了評估該計劃最后一年的表現,由美國海軍研究實驗室 (NRL) 領導的評估小組開發了一個解釋評分系統 (ESS)。基于一組領域專家的建議并使用內容有效性比 (CVR) 進行驗證,ESS 提供了一種用于評估 XAI 用戶研究設計的定量機制。 ESS 評估用戶研究的多個要素,包括任務、領域、解釋、解釋交互、用戶、假設、數據收集和分析。 XAI 評價指標如圖 5所示,包括功能性指標、學習績效指標和解釋有效性指標。仔細設計用戶研究以準確評估解釋的有效性至關重要。通常,評估 XAI 算法的性能需要多種類型的度量(參見性能、功能、解釋有效性)。 XAI 用戶研究設計可能很棘手,通常在該計劃中最有效的團隊擁有具有豐富心理學專業知識的人員。
圖5:XAI算法的評估措施
XAI計劃探討了許多方法,如表1所示。
表1: DARPA XAI計劃的技術方法
在該計劃期間進行了三項主要評估:一項在第 1 階段,兩項在第 2 階段。為了評估 XAI 技術的有效性,該計劃的研究人員設計并執行了用戶研究。用戶研究仍然是評估解釋的黃金標準。在 XAI 研究人員進行的用戶研究中,大約有 12,700 名參與者,其中包括大約 1900 名受監督的參與者,其中個人由研究團隊指導(例如親自或在 Zoom 上)和 10800 名無監督的參與者,其中個人自我通過實驗進行指導,并且沒有受到研究團隊(例如 Amazon Mechanical Turk)的積極指導。根據美國國防部 (DoD) 資助的所有人類受試者研究的政策,每個研究方案都由當地機構審查委員會 (IRB) 審查,然后國防部人類研究保護辦公室審查方案和當地 IRB 調查結果。
在這些用戶研究過程中,確定了幾個關鍵要:
與只提供決策的系統相比,用戶更喜歡為決策提供解釋的系統。解釋提供最大價值的任務是用戶需要了解 AI 系統如何做出決策的內部工作原理的任務。 [由跨執行者團隊的 11 項實驗支持]
為了讓解釋提高用戶任務表現,任務必須足夠困難,使得AI 解釋會有所幫助。 [PARC, UT Dallas]
用戶認知負荷會阻礙用戶解讀解釋的表現。結合上一點,需要對解釋和任務難度進行校準,以提高用戶表現。 [UCLA, Oregon State]
當 AI 不正確時,解釋更有幫助,并且對邊緣情況特別有價值。 [UCLA, Rutgers]
解釋有效性的衡量標準會隨著時間而改變。 [Raytheon, BBN]
與單獨的解釋相比,可取性(advisability)可以顯著提高用戶的信任度。 [UC Berkeley]
XAI 可用于測量和調整用戶和 XAI 系統的心智模型。 [Rutgers, SRI]
最后,由于 XAI 的最后一年發生在 COVID-19 大流行時期,我們的執行團隊開發了設計 Web 界面的最佳實踐,以便在難于面對面研究的情況下進行 XAI 用戶研究。 [OSU, UCLA] Dikkala 2021
如前所述,學習表現和可解釋性之間似乎存在一種自然的矛盾關系。然而,在整個計劃過程中,我們發現了可解釋性可以提高性能(Kim et al. 2021, Watkins et al. 2021)。從直觀的角度來看,訓練系統以產生解釋,通過額外的損失函數、訓練數據或其他機制來提供額外的監督,以鼓勵系統學習更有效的世界表征。雖然這可能并非在所有情況下都是正確的,并且在可解釋的技術何時將具有更高性能時仍有大量工作要做,但它提供了希望,未來的 XAI 系統可以在滿足用戶解釋需求的同時比當前系統具有更高的性能。
XAI 目前沒有通用的解決方案。如前所述,不同的用戶類型需要不同類型的解釋。這與我們與其他人互動時所面臨的沒有什么不同。例如,考慮一名醫生需要向其他醫生、患者或醫學審查委員會解釋診斷。或許未來的 XAI 系統將能夠自動校準并向大量用戶類型中的特定用戶傳達解釋,但這仍然遠遠超出了當前的技術水平。
開發 XAI 的挑戰之一是衡量解釋的有效性。 DARPA 的 XAI 計劃幫助開發了該領域的基礎技術,但還需要做更多的工作,包括從人為因素和心理學界中汲取更多信息。需要開發者社區很好地建立、易理解和易實施的解釋有效性衡量標準,才能使有效的解釋成為 ML 系統的核心能力。
加州大學伯克利分校的結果 (Kim et al. 2021) 證明了可取性(AI 系統從用戶那里獲取建議的能力)提高了用戶的信任度,這很有趣。當然,用戶可能更喜歡可以快速糾正系統行為的系統,就像人類可以相互提供反饋一樣。這種可以產生和消費解釋的可取的人工智能系統將是實現人類和人工智能系統之間更緊密合作的關鍵。
為了有效地開發 XAI 技術,需要跨多個學科的密切合作,包括計算機科學、機器學習、人工智能、人為因素和心理學等。這可能特別具有挑戰性,因為研究人員傾向于專注于單個領域,并且經常需要推動跨領域工作。也許將來會在多個當前學科的交叉點上創建一個特定于 XAI 的研究學科。為此,我們致力于創建一個可解釋的 AI 工具包 (XAITK),它將各種程序工件(例如代碼、論文、報告等)和從 DARPA 為期四年的 XAI 計劃中吸取的經驗收集到一個公開的可訪問的位置(Hu et al. 2021,網址//xaitk.org/ )。我們相信,在操作環境中部署 AI 功能并需要在廣泛的現實條件和應用領域中驗證、表征和信任 AI 性能的任何人都會對該工具包產生廣泛的興趣。
與 2015 年相比,今天我們對 AI 的理解更加細致入微、不那么戲劇化,或許也更加準確。我們當然對深度學習的可能性和局限性有了更準確的理解。人工智能的末日已經從迫在眉睫的危險變成了遙遠的好奇。同樣,XAI 計劃對 XAI 產生了更細致入微、不那么戲劇化、或許更準確的理解。該計劃無疑起到了促進 XAI 研究(包括計劃內部和外部)的作用。結果對 XAI 的使用和用戶、XAI 的心理、衡量解釋有效性的挑戰以及產生新的 XAI ML 和 HCI 技術組合有了更細致的理解。當然還有更多工作要做,特別是隨著新的人工智能技術的開發,這些技術將繼續需要解釋。 XAI 將在一段時間內繼續作為一個活躍的研究領域。作者認為,XAI 計劃通過為開展這項工作奠定了基礎,做出了重大貢獻。
如今,隨著技術飛速發展和威脅環境變得更加復雜,在信息爆炸的局面下,作戰人員面臨著具有挑戰性的決策空間。人工智能(AI)和機器學習(ML)可以減輕作戰人員負荷。人工智能系統具有深遠的好處——提高態勢感知能力,檢測威脅,理解對手的能力和意圖;確定和評估可能的戰術行動方針;并提供方法來預測行動決策的結果和影響。人工智能系統是理解和解決高度復雜的戰術情況的關鍵。
人工智能系統為作戰人員提供了優勢,但前提是這些系統被正確設計和實施,并且以減輕作戰人員的認知負荷的方式。為國防應用實施人工智能系統帶來了獨特的挑戰。本文確定了四個獨特的挑戰,并描述了它們如何影響戰術作戰人員、工程設計界和國防。本文通過國防采辦和系統工程計劃,為解決這些獨特的挑戰提供了解決方案。
Bonnie Johnson——在海軍工程研發方面擁有超過 25 年的領導和系統工程經驗。她曾是 SAIC 和諾斯羅普·格魯曼公司的高級系統工程師,研究用于海戰系統和導彈防御能力的自動決策輔助。她于 2011 年加入美國海軍研究生院 (NPS) 系統工程系。她擁有 NPS 系統工程博士學位、約翰霍普金斯大學系統工程碩士學位和弗吉尼亞理工大學物理學學士學位。
人工智能是一個包含許多不同方法的領域,其目標是創造具有智能的機器(Mitchell,2019)。圖 1 顯示了一個簡單的維恩圖,其中機器學習 (ML) 作為 AI 的子集,而 AI 作為更廣泛的自動化類別的子集。自動化系統以最少的人工輸入運行,并且經常根據命令和規則執行重復性任務。人工智能系統執行模仿人類智能的功能。他們將從過去的經驗中學到的知識與收到的新信息結合起來,以做出決策并得出結論。
圖 1. 自動化、人工智能和機器學習的維恩圖
如圖 2 所示,有兩種主要類型的 AI 系統。第一種類型是明確編程的,也稱為手工知識系統。 Allen (2020) 將手工知識系統描述為“使用傳統的、基于規則的軟件,將人類專家的主題知識編碼為一長串編程的‘如果給定 x 輸入,則提供 y 輸出’規則的人工智能”(第3頁)。這些系統使用傳統的或普通的編程語言。第二種類型是從大量數據集訓練而來的機器學習系統。 ML 系統從訓練過的數據集中“學習”,然后在操作上使用“訓練過的”系統在給定新的操作數據的情況下產生預測結果。
圖 2. 兩種類型的人工智能:顯式編程和學習系統
自動化、人工智能和機器學習系統,包括手工知識系統和學習系統,為美國國防部 (DoD) 提供了巨大的潛力,在大多數任務領域具有多種應用。這些智能系統可以擴展國防部理解復雜和不確定情況、制定和權衡選項、預測行動成功和評估后果的能力。它們提供了在戰略、規劃和戰術領域支持國防部的潛力。人工智能系統可以減輕作戰人員的負擔,但前提是這些系統的設計和實施正確,并且以減輕作戰人員認知負擔的方式。這為國防應用實施人工智能系統提出了獨特的挑戰。本文確定了四個獨特的挑戰,并描述了它們如何影響戰術作戰人員、工程設計界和國防。
第一個為國防應用實施人工智能系統的獨特挑戰是戰術戰爭呈現高度復雜的情況。戰術復雜性可能涉及信息超載、需要處理的多個并發任務、具有可怕后果的時間關鍵決策、態勢感知的未知/不準確/不完整,以及因各種分布式戰爭能力所需的互操作性而產生的工程挑戰。將人工智能系統添加到這個已經很復雜的環境中是一項必要但極具挑戰性的工作。
第二個獨特的挑戰是人工智能系統需要大量數據來訓練。所開發的人工智能系統的質量很大程度上取決于訓練數據集的質量和數量。軍事領域的數據尤其難以獲得。軍事數據可能涉及分類問題、網絡漏洞、數據驗證挑戰,并且根據艦隊演習和兵棋推演的需要,收集起來可能非常昂貴且耗時。
第三個獨特的挑戰是人工智能系統為系統工程提出了一個新的前沿。在傳統系統中,行為是固定的,因此是可預測的:給定輸入和條件,系統將產生可預測的輸出。一些人工智能解決方案可能涉及本身就很復雜的系統——適應和學習——因此會產生無法預料的輸出和行為。事實上,一些人工智能系統的目的就是為了做到這一點——與人類決策者合作,承擔一些認知負荷并產生智能建議。需要系統工程方法來設計智能系統,并確保它們對人類操作員來說是可解釋的、可信賴的和安全的。
第四個獨特的挑戰是,對于國防應用,總是需要考慮潛在的對手。在人工智能系統方面,采購界必須注意同行競爭對手國家,他們在人工智能進步方面取得了自己的進步。美國國防系統也必須在這場人工智能競賽中取得進步。網絡攻擊在防御系統中總是有可能發生的。隨著防御能力增加對自動化和人工智能系統的依賴,這可能會造成更多的網絡漏洞。最后,技術正在迅速發展,對抗性威脅空間正在發生變化。國防采購和系統工程界必須確保人工智能系統不斷發展和適應,以應對威脅環境的變化,并以可信賴和安全的方式做到這一點。
第一個獨特的挑戰是許多防御領域呈現出復雜的決策空間。因此,設計和實施適當的人工智能系統來解決這種復雜性將是極具挑戰性的。圖 3 突出顯示了導致戰術領域決策復雜性的許多因素。例如,海軍打擊部隊的行動可以迅速從和平狀態轉變為一種巨大的危險——需要對威脅保持警惕并采取適當的反應行動——所有這些都在高度壓縮的決策時間線上。戰術威脅可能來自水下、水面、空中、陸地、太空,甚至是虛擬的,因此需要處理多個時間緊迫的任務。在船舶、潛艇、飛機、陸地和太空中擁有海軍和國防資產;戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用問題。制定有效的戰術行動方案也必須發生在高度動態的作戰環境中,只有部分和不確定的態勢知識。決策空間還必須考慮指揮權、交戰規則和戰術條令施加的限制。人類作為戰術決策者的角色增加了決策空間的復雜性——面臨信息過載、操作員錯誤、人工智能信任以及人工智能模糊性和可解釋性問題等挑戰。最后,戰術決策及其可能后果的風險可能非常高。
圖 3. 導致戰術決策空間復雜性的因素
解決高度復雜的決策空間是美國國防部面臨的挑戰。人工智能提供了解決這種復雜性的潛在解決方案——通過處理大量數據、處理不確定性、理解復雜情況、開發和評估決策替代方案以及了解風險水平和決策后果。人工智能解決方案可以應用于國防部的戰略、規劃和戰術層面。海軍研究生院 (NPS) 開發了一種工程框架和理論,用于解決高度復雜的問題空間,這些問題空間需要使用智能和分布式 AI 系統來獲得態勢感知并做出適應動態情況的協作行動決策(Johnson, 2019)。模擬了一個復雜的戰術場景,以演示使用 AI 來驗證該方法(Johnson,2020a)。 NPS 已經開發了一種預測分析能力的概念設計,該設計將被實施為一個自動化的實時戰爭游戲系統,該系統探索不同的可能戰術行動方案及其預測效果和紅軍反應(Johnson,2020b)。 NPS 研究已經確定了在戰術行動中描述復雜性水平的必要性,并實施自適應人機協作安排以做出戰術決策,其中自動化水平根據情境復雜性水平進行調整。正在進行的 NPS 研究正在研究這些概念工程方法在各種防御用例應用中的應用,包括防空和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。
復雜的決策空間為 AI 系統嘗試和解決創造了具有挑戰性的問題。表 1 根據決策空間的復雜性比較了不同的 AI 應用領域。該表包含 10 個表征決策空間復雜性的因素:認知不確定性(對情境知識的不確定性數量)、情境動態、決策時間線(做出決策的時間量)、決策的復雜性決策過程中的人機交互、資源復雜性(數量、類型、它們之間的距離以及它們的動態程度)、是否涉及多個任務、對手(競爭對手、黑客或打算摧毀的徹底敵人)的存在,允許誤差的幅度(多少決策錯誤是可以接受的),以及決策后果的嚴重性。
表 1. 不同 AI 應用的決策復雜度比較
人工智能應用程序涉及的決策空間用于廣告(根據特定用戶的購買習慣或互聯網搜索確定將哪些廣告流式傳輸)、貸款批準(根據貸款金額和信用評分確定貸款資格)和醫療(根據診斷確定關于患者癥狀)相對簡單。存在大量訓練數據,決策過程中的計算和人為交互簡單,情況相對穩定。不良廣告的后果是微乎其微的。可以審計不良貸款批準決定。糟糕的醫學診斷可能會產生更嚴重的后果,但通常有足夠的時間在治療前尋求更多的評估和意見。為自動駕駛汽車確定最佳運輸路線和工程 AI 系統是更復雜的工作。這些應用程序是動態變化的,需要更短的時間來做出決策。運輸路線在可能路線的數量上會很復雜——這可能會導致許多可能的選擇。但是,存在運輸錯誤的空間,并且后果通常不會太嚴重。對于自動駕駛汽車來說,決策錯誤的余地非常小。此應用程序中的錯誤決定可能導致嚴重事故。
然而,軍事戰術領域在決策空間的所有領域都呈現出極端的復雜性:不確定性和有限的知識/意識、高度動態的情況、非常有限的時間線、復雜的人機交互、大量和類型的資源、多個任務、昂貴和困難- 獲取訓練數據集、極小的允許誤差范圍以及行動(或不行動)的生死攸關的后果。
第二個獨特的挑戰是 AI/ML 系統需要大量相關且高質量的數據用于訓練和開發,而這些數據在軍事領域可能很難獲得。明確編程的手工知識系統在開發過程中需要數據進行評估和驗證。 ML 系統在開發過程中對數據的依賴性更大。如圖 4 所示,ML 系統從代表操作條件和事件的數據集中“學習”。 ML系統學習的過程也稱為被訓練,開發階段使用的數據稱為訓練數據集。有幾種類型的 ML 學習或訓練——它們是有監督的、無監督的和強化的。所有三種類型的 ML 學習都需要訓練數據集。 ML 系統在部署后或運營階段繼續需要數據。圖 4 顯示,在運營期間,ML 系統或“模型”接收運營實時數據,并通過使用其“訓練過的”算法處理運營數據來確定預測或決策結果。因此,在整個系統工程和采集生命周期中,ML 系統與數據密切相關。 ML 系統從訓練數據集的學習過程中“出現”。機器學習系統是數據質量、充分性和代表性的產物。他們完全依賴于他們的訓練數據集。
圖 4. 開發和實施機器學習系統
隨著許多領域(戰爭、供應鏈、安全、物流等)的更多 AI 開發人員正在了解 AI 解決方案的潛在優勢并開始著手 AI 系統開發,DoD 開始認識到對這些數據集的需求。在某些情況下,數據存在并準備好支持 AI 系統開發。在其他情況下,數據存在但不保存和存儲。最后,在其他情況下,數據不存在,需要模擬或在艦隊演習或戰爭游戲中收集。圖 5 說明了收集、獲取和在某些情況下開發用于開發和訓練 AI 和 ML 系統的數據時需要考慮的過程。
圖 5. 人工智能和機器學習系統訓練數據集的開發
軍事領域對開發訓練數據集提出了一些獨特的挑戰——數據可能被分類,數據可能存在網絡漏洞(它可能被攻擊并被對手故意破壞),如果數據不存在,它可能需要從軍事/艦隊演習或兵棋推演中獲得。數據驗證也是一項具有挑戰性的工作。
NPS 正在為海軍的數據管理系統執行需求分析和概念設計,該系統將收集數據并向海軍內部許多正在開發 AI/ML 系統的不同組織提供數據(French 等人,2021 年)。圖 6 是海軍中央人工智能庫 (CAIL) 的上下文圖,它被設想為一個數據管理系統和流程,用于識別數據集并提供索引、驗證、審計和對 AI 可以使用的數據的安全訪問。從事海軍應用的機器學習開發人員。 CAIL 將不是一個數據存儲庫或數據庫,而是一個中央組織,使 AI/ML 開發人員能夠訪問經過驗證和保護的海軍數據——以幫助識別數據集的存在,啟用授權訪問,并幫助支持開發人員所需的數據尚不存在,需要獲得——可能通過艦隊演習或兵棋推演。
圖 6. 概念性中央人工智能庫
第三個獨特的挑戰是開發人工智能系統為系統工程提出了一個新的前沿。系統工程方法已被開發用于設計可能非常復雜但也具有確定性的傳統系統(Calvano & John,2004)。傳統系統具有可預測的行為:對于給定的輸入和條件,它們將產生可預測的輸出。圖 7 說明了對傳統 SE 方法(如 SE Vee 過程)進行更改的必要性,以便設計復雜且不確定的 AI 系統。特別是,需要新的方法來定義隨時間適應的學習系統的要求,并且系統驗證過程可能需要在操作過程中不斷發展和繼續,以確保安全和期望的行為。對于具有高風險后果的軍事系統,幾乎沒有出錯的余地,因此需要實施一個可以確保 AI 系統安全和預期操作的系統工程流程。
圖7. 人工智能:系統工程的新前沿
國際系統工程師理事會 (INCOSE) 最近的一項倡議已經開始探索需要對系統工程方法進行哪些改變才能有效地開發人工智能系統。圖 8 是作為該計劃的一部分創建的,旨在強調在 SE 過程中需要考慮的 AI 系統的五個方面。除了不確定性和不斷發展的行為之外,人工智能系統可能會出現新類型的故障模式,這些故障模式可能會突然發生,并且可能難以辨別其根本原因。穩健的設計——或確保人工智能系統能夠處理和適應未來的場景——是另一個系統工程設計考慮因素。最后,對于涉及更多人機交互的 AI 系統,必須特別注意設計系統,使其值得信賴、可解釋并最終對人類決策者有用。
圖 8. 人工智能系統工程中的挑戰
NPS 正在研究可以支持復雜、自適應和智能 AI 系統的設計和開發的系統工程方法。已經開發了一個系統工程框架和方法來設計系統解決方案的復雜自適應系統(Johnson,2019)。該方法支持系統系統的開發,通過使用人工智能,可以協作以產生所需的緊急行為。當前的一個研究項目正在研究可以在設計過程中設計到 AI 系統中的安全措施,以確保操作期間的安全(Cruz 等人,2021 年)。 NPS 正在研究一種稱為元認知的設計解決方案,作為 AI 系統識別內部錯誤的一種方法(Johnson,2021 年)。當前的另一個 NPS 論文項目正在研究如何將“信任”設計到 AI 系統中,以確保有效的人機協作安排(Hui,2021)。幾個 NPS 項目研究使用稱為協同設計的 SE 設計方法,來確定人類操作員與 AI 系統之間的相互依賴關系(Blickley 等人,2021;Sanchez,2021)。
第四個獨特的挑戰是對手在防御應用中的存在和作用。國防部必須與對手競爭以提升人工智能能力,人工智能系統必須免受網絡攻擊,人工智能系統必須適應不斷變化的威脅環境演變。圖 9 突出顯示了對手的存在給國防部正在開發的 AI 系統帶來的一系列獨特挑戰。
圖9. 敵手的挑戰
競爭對手國家之間開發人工智能能力的競賽最終是為了進入對手的決策周期,以比對手更快的速度做出決定和采取行動(Rosenberg,2010 年)。人工智能系統提供了提高決策質量和速度的潛力,因此對于獲得決策優勢至關重要。隨著國防部探索人工智能解決方案,同行競爭對手國家也在做同樣的事情。最終,實現將 AI 用于 DoD 的目標不僅僅取決于 AI 研究。它需要適當的數據收集和管理、有效的系統工程和采集方法,以及仔細考慮人類與人工智能系統的交互。國防部必須確保它能夠應對實施人工智能系統所涉及的所有挑戰,才能贏得比賽。NPS 研究計劃正在研究如何應用 AI 和博弈論來進入對手的戰術決策周期(Johnson,2020b)。該項目正在開發一個概念,用于創建戰術態勢模型、對手的位置和能力,以及預測對手對形勢的了解。然后,概念系統將進行實時“兵棋推演”,根據預測的對抗反應和二階和三階效應分析戰術決策選項。這是一個研究未來戰術戰爭可能是什么樣子的一個例子,它為藍軍和紅軍提供了增強的知識和決策輔助。為 AI 競賽準備國防部的其他 NPS 舉措包括研究新的 SE 方法和獲取實踐以開發 AI 能力、研究海軍和國防部的數據管理需求(French 等人,2021 年)以及研究 AI 系統安全風險開發確保安全 AI 能力的工程實踐(Cruz 等人,2021 年;Johnson,2021 年)。
賽博戰是國防部必須成功參與的另一場競賽,以保持領先于黑客攻擊的持續攻擊。隨著國防部實施更多的自動化,它自然會導致更多的網絡漏洞。使用本質上依賴于訓練數據和操作數據的人工智能系統,為黑客在開發階段和操作階段用損壞的數據毒害系統提供了機會。如果對手控制了一個可操作的人工智能系統,他們可能造成的傷害將取決于應用程序領域。對于支持武器控制決策的自動化,后果可能是致命的。在最近一項關于汽車網絡安全的研究中,一家汽車公司在網上發布了一個假汽車電子控制單元,在不到 3 天的時間里,進行了 25,000 次違規嘗試(Taub,2021 年)。國防部必須注意人工智能系統開發過程中出現的特定網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御策略。 NPS 正在研究數據安全要求,以確保 ML 訓練數據集不受黑客攻擊,并且需要安全授權才能訪問(French 等人,2021 年)。 NPS 正在研究使用元認知作為 AI 系統執行自我評估的一種方法,以識別網絡入侵、篡改或任何異常行為(Johnson,2020b)。 NPS 還在研究使用 ML 來識別惡意欺騙和篡改全球定位系統 (GPS; Kennedy, 2020)。
威脅環境的演變是國防部在開發人工智能系統時的第三次對抗性競賽。由于對抗性威脅空間隨著時間的推移而不斷變化,擁有更快、更致命的武器、更多的自主權、更大的監視資產、更先進的對抗措施和更多的隱身性,這對國防部能夠預測和識別新威脅并進行應對提出了挑戰戰場上的未知數。 NPS 研究的重點是在作戰過程中不斷適應和學習的工程系統,以檢測和識別戰場中的未知未知,并通過創新的行動方案快速響應新威脅(Grooms,2019;Jones 等人,2020;Wood,2019 )。 NPS 正在研究通過研究特定區域隨時間變化的數據來識別異常變化的機器學習方法(Zhao et al., 2016)。一個例子是研究商用飛機飛行模式并根據異常飛行模式識別可疑飛機。隨著時間的推移,可以監視地面行動,以識別可能意味著軍事行動的新的和不尋常的建設項目。
人工智能系統為國防部在實現和保持知識和決策優勢方面提供了重大進展。然而,為國防應用實施人工智能系統提出了獨特的挑戰。軍事戰術領域在決策空間的所有領域都呈現出極端的復雜性:不確定性和有限的知識、高度動態的情況、非常有限的時間線、復雜的人機交互、大量和類型的資源、多個任務、昂貴且難以獲得訓練數據集、極小的允許誤差范圍以及行動(或不行動)的生死攸關的后果。 AI 系統,尤其是 ML 系統,需要有代表性、足夠、安全和經過驗證的數據集來進行開發。為國防應用收集合適的數據具有處理分類數據集和確保數據安全和免受網絡攻擊的額外挑戰;這也將是收集代表戰術行動的真實數據的一項重大努力。將需要新的系統工程方法來有效地指定、設計和評估人工智能系統,這些系統通過其不確定性、新型人機協作挑戰以及難以預測和預防的新安全故障模式而呈現出新的復雜性.最后,軍事領域中對手的存在呈現出三種形式的 AI 競賽:與對手一樣快地開發 AI 系統的競賽、保持領先于可能的網絡攻擊的競賽以及訓練能夠應對的 AI/ML 系統的競賽隨著不斷發展的對抗性威脅空間。
NPS 正在通過一系列正在進行的研究計劃來解決四個獨特的挑戰領域。 NPS 研究人員正在研究人工智能系統在海軍戰術作戰領域的實施,對軍事數據集進行需求分析和需求開發,研究開發復雜人工智能系統的系統工程方法,以及開發安全、可信賴的人工智能系統工程方法,并注意潛在對手的作用。 NPS 正在為軍官和平民學生提供人工智能研究和教育機會。 NPS 歡迎與國防部和海軍組織合作,繼續研究用于國防應用的人工智能系統,并繼續探索解決方案戰略和方法,以克服開發和實施人工智能能力的挑戰。
英國國防部下屬的發展、概念和條令中心 (DCDC) 與德國聯邦國防軍國防規劃辦公室合作,了解人類增強 (HA) 的未來影響,為更詳細的國防研究和開發奠定基礎。
該項目結合了德國、瑞典、芬蘭和英國國防專家的研究,以了解基因工程、生物信息學和腦機接口等新興技術如何影響社會、安全和國防的未來。倫理、道德和法律挑戰很復雜,必須徹底考慮,但 HA 可能預示著戰略優勢新時代的到來,可能對整個部隊發展范圍產生影響。
HA 技術為今天和未來提供了廣泛的機遇。今天有成熟的技術可以與可管理的政策考慮相結合,例如個性化營養、可穿戴設備和外骨骼。未來還有其他具有更大潛力的技術,例如基因工程和腦機接口。HA 的倫理、道德和法律影響難以預見,但及早和定期參與這些問題是成功的核心。
HA 將在未來變得越來越重要,因為它是人類和機器獨特技能之間的粘合劑。未來戰爭的贏家不會是那些擁有最先進技術的人,而是那些能夠最有效地融合人與機器獨特技能的人。
人機協作日益增長的重要性已得到廣泛認可,但迄今為止,這已從以技術為中心的角度進行了討論。這個 HA 項目代表了這個難題的缺失部分。
【前 言】
什么是 JADC2?
聯合全域指揮與控制 (JADC2) 是美國國防部 (DOD) 的概念,旨在將來自所有軍事部門(空軍、陸軍、海軍陸戰隊、海軍和太空部隊)的傳感器連接到一個網絡中。傳統上,每個軍種都開發自己的戰術網絡,這與其他軍種不兼容(例如,陸軍網絡無法與海軍或空軍網絡連接)。通過 JADC2,國防部設想創建一個“物聯網”網絡,將眾多傳感器與武器系統連接起來,使用人工智能算法幫助改進決策。
美國國防部 (DOD)聯合全域指揮與控制 (JADC2) 戰略描述了迫切需要集中力量推動部門行動,以增強其的聯合部隊指揮官在所有作戰領域和整個電磁頻譜范圍內指揮聯合部隊所需的能力,以威懾、并在必要時在全球任何時間、任何地點擊敗任何對手。
JADC2 戰略為識別、組織和提供改進的聯合部隊指揮和控制 (C2) 能力提供了愿景和方法,并說明了對手已經關閉了其賴以取得作戰成功的許多能力和方法優勢。作為一種方法,JADC2 支持使用創新技術開發物資和非物資解決方案選項,同時愿意修改現有政策、權力、組織結構和作戰程序,從而為聯合部隊指揮官提供信息和決策優勢。
【總 結】 全球安全環境的迅速變化正在對美國軍隊以及聯合部隊獲取、維持和保護信息和決策優勢的能力提出重大的新挑戰。此外,必須預見未來的軍事行動將在退化和競爭的電磁頻譜環境中進行。這些挑戰需要部門一致和集中的努力,以現代化如何開發、實施和管理 C2 能力,以在所有作戰領域、跨梯隊以及與任務伙伴合作。
JADC2 為塑造未來聯合部隊 C2 能力提供了一種連貫的方法,旨在產生作戰能力,以便在所有領域和合作伙伴的所有戰爭級別和階段感知、理解和行動,在相關的速度。作為一種方法,JADC2 超越了任何單一的能力、平臺或系統。它提供了一個機會,可以加速實施所需的技術進步和聯合部隊進行 C2 的方式的理論變革。 JADC2 將使聯合部隊能夠使用越來越多的數據,采用自動化和人工智能,依靠安全和有彈性的基礎設施,并在對手的決策周期內采取行動。
這一戰略的成功實施需要整個國防部 (DoD) 的集中承諾。為此,JADC2 戰略闡明了“感知”、“理解”和“行動”三個指導 C2 功能,以及額外的五個持久工作 (LOE) 來組織和指導行動以提供物資和非物資JADC2 能力。 LOE 是: (1) 建立 JADC2 數據企業;(2)建立JADC2人類企業; (3)建立JADC2技術企業; (4) 將核 C2 和通信 (NC2/NC3) 與 JADC2 集成; (5) 使任務伙伴信息共享現代化。
該戰略得到 JADC2 戰略實施計劃的支持,該計劃確定了 JADC2 的最終狀態、關鍵目標和任務,并與已建立的部門當局、論壇和流程合作,以同步和簡化工作,以優先考慮、資源、開發、交付和維持JADC2 能力。現有的軍種和機構開發和采購流程通常會產生無法滿足全域 C2 作戰需求的特定域能力。 JADC2 方法將覆蓋這些現有流程,旨在促進從根本上改進的跨域聯合能力的發展。
該戰略提供了六項指導原則,以促進整個部門在提供物資和非物資 JADC2 改進方面的努力的一致性。這些原則是: (1) 在企業層面設計和擴展信息共享能力改進; (2) 聯合部隊 C2 改進采用分層安全功能; (3) JADC2 數據結構由高效、可演進和廣泛適用的通用數據標準和架構組成; (4) 聯合部隊 C2 必須在退化和競爭性電磁環境中具有彈性; (5) 部門開發和實施過程必須統一,以提供更有效的跨領域能力選擇; (6) 部門開發和實施過程必須以更快的速度執行。
JADC2 戰略的結論是,迫切需要使用企業范圍內的整體方法來實施物資和非物資 C2 能力,以確保聯合部隊指揮官在整個競爭過程中獲得和保持對抗全球對手的信息和決策優勢的能力。
機器學習的巨大成功導致了AI應用的新浪潮(例如,交通、安全、醫療、金融、國防),這些應用提供了巨大的好處,但無法向人類用戶解釋它們的決定和行動。DARPA的可解釋人工智能(XAI)項目致力于創建人工智能系統,其學習的模型和決策可以被最終用戶理解并適當信任。實現這一目標需要學習更多可解釋的模型、設計有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發團隊正在通過創建ML技術和開發原理、策略和人機交互技術來解決前兩個挑戰,以生成有效的解釋。XAI的另一個團隊正在通過總結、擴展和應用心理解釋理論來解決第三個挑戰,以幫助XAI評估人員定義一個合適的評估框架,開發團隊將使用這個框架來測試他們的系統。XAI團隊于2018年5月完成了第一個為期4年的項目。在一系列正在進行的評估中,開發人員團隊正在評估他們的XAM系統的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務性能。
深度神經網絡(DNN)是實現人類在許多學習任務上的水平的不可缺少的機器學習工具。然而,由于其黑箱特性,很難理解輸入數據的哪些方面驅動了網絡的決策。在現實世界中,人類需要根據輸出的dna做出可操作的決定。這種決策支持系統可以在關鍵領域找到,如立法、執法等。重要的是,做出高層決策的人員能夠確保DNN決策是由數據特征的組合驅動的,這些數據特征在決策支持系統的部署上下文中是適當的,并且所做的決策在法律上或倫理上是可辯護的。由于DNN技術發展的驚人速度,解釋DNN決策過程的新方法和研究已經發展成為一個活躍的研究領域。在定義什么是能夠解釋深度學習系統的行為和評估系統的“解釋能力”時所存在的普遍困惑,進一步加劇了這種復雜性。為了緩解這一問題,本文提供了一個“領域指南”,為那些在該領域沒有經驗的人提供深度學習解釋能力指南: i)討論了研究人員在可解釋性研究中增強的深度學習系統的特征,ii)將可解釋性放在其他相關的深度學習研究領域的背景下,iii)介紹了定義基礎方法空間的三個簡單維度。
【簡介】近些年來,可解釋的人工智能受到了越來越多的關注。隨著人工智能模型變得越來越復雜和不透明,可解釋性變得越來越重要。最近,研究人員一直在以用戶為中心研究和處理可解釋性,尋找可信任、可理解、明確的來源和上下文感知的可解釋性。在這篇論文中,我們通過調研人工智能和相關領域中有關可解釋性的文獻,并利用過去的相關研究生成了一系列的可解釋類型。我們定義每種類型,并提供一個示例問題,來闡述對這種解釋方式的需求。我們相信,這一系列的解釋類型將有助于未來的系統設計人員獲得可靠的需求和確定各種需求的優先級,并進一步幫助生成能夠更好地符合用戶和情景需求的解釋。
介紹
人工智能(AI)領域已經從單純的基于符號和邏輯的專家系統發展到使用統計和邏輯推理技術的混合系統。可解釋性人工智能的進展與人工智能方法的發展緊密相關,例如我們在早期的論文“可解釋的知識支持系統的基礎”中所涉及的類別,涵蓋了專家系統、語義web方法、認知助手和機器學習方法。我們注意到這些方法主要處理可解釋性的特定方面。例如,由專家系統產生的解釋主要用于提供推理所需的痕跡、來源和理由。這些由認知助理提供的模型能夠調整它們的形式以適應用戶的需求,并且在機器學習和專家系統領域,解釋為模型的功能提供了一種“直覺”。
【導讀】最新的一期《Science》機器人雜志刊登了關于XAI—Explainable artificial intelligence專刊,涵蓋可解釋人工智能的簡述論文,論述了XAI對于改善用戶理解、信任與管理AI系統的重要性。并包括5篇專刊論文,值得一看。
BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG
SCIENCE ROBOTICS18 DEC 2019
可解釋性對于用戶有效地理解、信任和管理強大的人工智能應用程序是至關重要的。
//robotics.sciencemag.org/content/4/37/eaay7120
最近在機器學習(ML)方面的成功引發了人工智能(AI)應用的新浪潮,為各種領域提供了廣泛的益處。然而,許多這些系統中不能向人類用戶解釋它們的自主決策和行為。對某些人工智能應用來說,解釋可能不是必要的,一些人工智能研究人員認為,強調解釋是錯誤的,太難實現,而且可能是不必要的。然而,對于國防、醫學、金融和法律的許多關鍵應用,解釋對于用戶理解、信任和有效地管理這些新的人工智能合作伙伴是必不可少的(參見最近的評論(1-3))。
最近人工智能的成功很大程度上歸功于在其內部表示中構造模型的新ML技術。其中包括支持向量機(SVMs)、隨機森林、概率圖形模型、強化學習(RL)和深度學習(DL)神經網絡。盡管這些模型表現出了高性能,但它們在可解釋性方面是不透明的。ML性能(例如,預測準確性)和可解釋性之間可能存在固有的沖突。通常,性能最好的方法(如DL)是最不可解釋的,而最可解釋的方法(如決策樹)是最不準確的。圖1用一些ML技術的性能可解釋性權衡的概念圖說明了這一點。
圖1 ML技術的性能與可解釋性權衡。
(A)學習技巧和解釋能力。(B)可解釋模型:學習更結構化、可解釋或因果模型的ML技術。早期的例子包括貝葉斯規則列表、貝葉斯程序學習、因果關系的學習模型,以及使用隨機語法學習更多可解釋的結構。深度學習:一些設計選擇可能產生更多可解釋的表示(例如,訓練數據選擇、架構層、損失函數、正則化、優化技術和訓練序列)。模型不可知論者:對任意給定的ML模型(如黑箱)進行試驗以推斷出一個近似可解釋的模型的技術。
什么是XAI?
一個可解釋的人工智能(XAI)系統的目的是通過提供解釋使其行為更容易被人類理解。有一些通用原則可以幫助創建有效的、更人性化的人工智能系統:XAI系統應該能夠解釋它的能力和理解;解釋它已經做了什么,現在正在做什么,接下來會發生什么; 披露其所依據的重要信息(4)。
然而,每一個解釋都是根據AI系統用戶的任務、能力和期望而設置的。因此,可解釋性和可解釋性的定義是與域相關的,并且可能不是與域獨立定義的。解釋可以是全面的,也可以是片面的。完全可解釋的模型給出了完整和完全透明的解釋。部分可解釋的模型揭示了其推理過程的重要部分。可解釋模型服從根據域定義的“可解釋性約束”(例如,某些變量和相關變量的單調性服從特定關系),而黑箱或無約束模型不一定服從這些約束。部分解釋可能包括變量重要性度量、局部模型(在特定點近似全局模型)和顯著性圖。
來自用戶的期望
XAI假設向最終用戶提供一個解釋,該用戶依賴于AI系統所產生的決策、建議或操作,然而可能有許多不同類型的用戶,通常在系統開發和使用的不同時間點(5)。例如,一種類型的用戶可能是智能分析師、法官或操作員。但是,需要對系統進行解釋的其他用戶可能是開發人員或測試操作員,他們需要了解哪里可能有改進的地方。然而,另一個用戶可能是政策制定者,他們試圖評估系統的公平性。每個用戶組可能有一個首選的解釋類型,能夠以最有效的方式交流信息。有效的解釋將考慮到系統的目標用戶組,他們的背景知識可能不同,需要解釋什么。
可操作性——評估和測量
一些方法提出了一些評價和衡量解釋有效性的方法;然而,目前還沒有通用的方法來衡量XAI系統是否比非XAI系統更容易被用戶理解。其中一些度量是用戶角度的主觀度量,例如用戶滿意度,可以通過對解釋的清晰度和實用性的主觀評級來度量。解釋有效性的更客觀的衡量標準可能是任務績效; 即,這樣的解釋是否提高了用戶的決策能力?可靠和一致的測量解釋的影響仍然是一個開放的研究問題。XAI系統的評價和測量包括評價框架、共同點[不同的思維和相互理解(6)]、常識和論證[為什么(7)]。
XAI -問題和挑戰
在ML和解釋的交集處仍然存在許多活躍的問題和挑戰。
從電腦開始還是從人開始(8). XAI系統應該針對特定的用戶進行解釋嗎?他們應該考慮用戶缺乏的知識嗎?我們如何利用解釋來幫助交互式和人在循環的學習,包括讓用戶與解釋交互以提供反饋和指導學習?
準確性與可解釋性。XAI解釋研究的一條主線是探索解釋的技術和局限性。可解釋性需要考慮準確性和保真度之間的權衡,并在準確性、可解釋性和可處理性之間取得平衡。
使用抽象來簡化解釋。高級模式是在大步驟中描述大計劃的基礎。對抽象的自動發現一直是一個挑戰,而理解學習和解釋中抽象的發現和共享是當前XAI研究的前沿。
解釋能力與解釋決策。有資格的專家精通的一個標志是他們能夠對新情況進行反思。有必要幫助終端用戶了解人工智能系統的能力,包括一個特定的人工智能系統有哪些能力,如何衡量這些能力,以及人工智能系統是否存在盲點;也就是說,有沒有一類解是永遠找不到的?
從以人為本的研究視角來看,對能力和知識的研究可以使XAI超越解釋特定XAI系統和幫助用戶確定適當信任的角色。未來,XAIs可能最終會扮演重要的社會角色。這些角色不僅包括向個人學習和解釋,而且還包括與其他代理進行協調以連接知識、發展跨學科見解和共同點、合作教授人員和其他代理,以及利用以前發現的知識來加速知識的進一步發現和應用。從這樣一個知識理解和生成的社會視角來看,XAI的未來才剛剛開始。
本期刊論文
Explainable robotics in science fiction
BY ROBIN R. MURPHY
SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS
我們會相信機器人嗎?科幻小說說沒有,但可解釋的機器人可能會找到方法。
A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
最適合促進信任的解釋方法不一定對應于那些有助于最佳任務性能的組件。
A formal methods approach to interpretable reinforcement learning for robotic planning
BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
形式化的強化學習方法能從形式化的語言中獲得回報,并保證了安全性。
An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA
SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS
參考文獻:
Google Scholar
H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Gü?lütürk, U. Gü?lü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).
O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.
Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).
T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.
H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.
D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.
?
Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).
D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.