在美國國防部，人工智能（AI）/機器學習（ML）的整合目前是以現有項目的升級或新項目的收購形式進行的。怎么知道這些AI/ML支持的系統會按照預期的方式運行？為了做出這個判斷，與其他傳統的軟件開發/采購項目相比，AI/ML產品開發/采購需要一個獨特的評估過程。作為回應，美海軍軍械安全和保障活動（NOSSA）資助了以下研究，以調查獨特的政策、指導方針、工具和技術，以評估AI/ML關鍵功能中的安全問題。在這項工作中，開發了14項關鍵的嚴謹度（LOR）任務，并在五個階段中應用：（1）需求，（2）架構，（3）算法設計，（4）算法代碼，以及（5）測試和評估（T&E）。14項LOR任務涉及最佳實踐討論、定義、測量、論證文件和AI/ML系統特有的危險分析格式。這14項LOR任務還明確了為什么AI/ML軟件開發需要采購界的特別考慮。此外，這項研究有可能影響采購界如何定義需求、創建架構、產生AI/ML算法設計、開發AI/ML算法代碼以及執行T&E。在開發 "采購沙盒"的過程中，跨越五個發展階段的14項LOR任務的需求變得很明顯，該沙盒研究了部署AI/ML自主系統的路線規劃者，以及讓這些系統交付軟件包，重點是評估關鍵功能行為的安全性。該沙盒是使用國防部架構框架（DoDAF）和統一建模語言（UML）圖設計的，其中包含了各種AI/ML技術。當面臨這種程度的復雜性和/或不確定性時，14項LOR任務代表了一組有凝聚力的問題/考慮因素，為應對當前海軍AI/ML的采購問題提供了重點。這些指南還為涉及安全的組織，如NOSSA和適航性，以及包括項目經理和系統工程師在內的采購專業人員提供了一個分步驟的 "如何 "評估方法，以確保創造高質量的人工智能嵌入式產品。

該報告為包含人工智能功能的系統的采購和開發提供了詳細的指導方針。該準則允許用戶在作戰部署的挑戰中對人工智能功能的行為建立不同程度的信心。信心的程度決定了14個LOR任務中的哪一個在五個階段中被應用。每個LOR任務提供了問題和/或考慮因素，使開發人員能夠客觀地評估人工智能/ML功能的安全性和可靠性。當審查每個LOR任務時，LOR任務編號（和相關階段）后面的 "參考編號 "是指用于開發問題和/或考慮因素的文件中的相應標識（ID）。這四份文件的標題分別是：（1）操作視圖（OV），（2）系統視圖（SV），（3）數據集設計，和（4）算法設計。LOR任務 "參考ID "命名法的例子是Ops1、Sys1、Alg1和Dat1。在這些例子中，每個ID與四個文件中的一個有關，其中數字 "1 "表示文件中描述的第一個LOR任務。在每個文件中使用 "Ref ID "支持對研究的可追溯性，包括數學。

北約逐步面臨著動蕩、技術先進和不穩定、不確定、復雜和不明確（VUCA）的作戰環境。基于北約聯盟，成員國和盟國可以通過建立共同的目標和相互承諾，通過合作和分享資源和風險，以及通過激發彼此的創新和創造力來應對未來的作戰挑戰。然而，為了實現這些優勢，北約將需要有能力跨越文化和地理界限的領導者，將他們的組織團結起來。他們將需要高度發達的社會、文化和道德能力，以建立作為一個聯盟成功所需的信任和理解。

本報告為北約領導者開發提出了一個綜合能力框架，界定了有效領導多國軍事行動所需的關鍵技能。它還旨在幫助調整個別國家的領導者開發計劃，這些計劃獨立地培養其未來的領導者。與該框架一起，本報告確定并研究了有效的多國領導者開發的關鍵領域。本報告探討了管理和利用形勢、技術和道德復雜性的挑戰，以及促成包容性和創造性文化、建立有效關系以實現和維持未來持久的北約聯盟所需的技能。

執行摘要

需要北大西洋公約組織（NATO）成員國派遣部隊的多國軍事行動的數量顯著增加。這是對各種危機的回應，從COVID-19大流行病的回應到救災和地區沖突。事實上，21世紀的全球安全環境是一個VUCA（動蕩、不確定、復雜和模糊）環境。領導者需要在多國的、文化多樣的環境中接受挑戰，這些環境在行動實踐、角色、權力和理論方面存在獨特的差異，可能會影響他們作為軍事行動領導者的有效性。因此，有必要確定軍事領導者所需的關鍵能力，以確保在參與多國行動時的信心、有效性和成功。

成立第286研究小組的目的是考慮多國行動中領導力的當前和新出現的挑戰以及對整個北約聯盟正在進行的軍事領導者開發的影響。其主要目標是為未來的領導力發展需求提供指導，并制定一個領導力發展框架，以支持不斷提供的領導力教育、培訓和經驗。RTG-286匯集了整個北約在軍事教育、領導者開發和培訓、文化能力和社會心理學領域的專家。該小組借鑒了成員國關于當前領導者開發計劃的總結報告、學術研究和北約出版物，如《未來聯盟行動框架》（FFAO，2015；2018），以形成對到2035年作戰環境可能面臨的挑戰的深入理解。

本文提出的領導者開發框架包括未來軍事領導者所需的關鍵能力，涉及六個領域：認知、社會、個人、專業、技術和轉型。一系列的領導能力被進一步分解為其組成部分，以便進行詳細的審查，例如未來的領導者將如何建立信任和關系，這是多國軍事行動的關鍵組成部分。與領導者開發框架一起，RTG-286號文件從主題上探討了多國領導者的未來需求。研究了文化能力和關系建設的作用，以及管理復雜性、利用技術、培養創造力和發展道德領袖所需的方法。

本報告建議北約審查其領導者開發實踐，以應對未來的多國行動需求。報告認為，亟需加強對軍事領導者的多國重點教育和經驗，為文化多樣和技術先進的行動做準備。建議在本報告和領導者開發框架的指導下，將教育、基于演習的經驗和培訓相結合。這將提高領導者在一系列領域的知識和能力，包括技術和文化能力、溝通技巧和決策，并為北約多國行動的未來軍事領導者提供經驗和洞察力。

第1章 - 引言

為了保持軍事優勢并在未來的行動中獲勝，北約部隊必須不斷發展、適應和創新，并具有可信性、網絡化、意識、敏捷和彈性。(NATO Act, 2018)

1.1 領導多國軍事行動的挑戰

進入21世紀以來，北大西洋公約組織（NATO）對基于多國聯軍或聯盟的軍事行動的參與程度大幅提高。同時，在非對稱戰爭的擴散、技術進步、新的作戰概念和世界許多地區日益嚴重的政治不穩定等因素的推動下，這些多國軍事行動的復雜性、多樣性和節奏都在增加。

從領導阿富汗的國際安全援助部隊（ISAF）（2003-2014年），到打擊亞丁灣、非洲之角和印度洋周邊海盜的威懾和破壞行動（2008-2016年），北約的行動一直是多樣化的（北約新聞室，2021年8月19日；北約新聞室，2016年12月19日）。2005年，北約對造成超過80,000人死亡的巴基斯坦地震災難作出了反應，空運了近3,500噸急需的物資，并部署了工程師、醫療隊和專業設備，協助救援行動（北約新聞室，2010年10月27日）。最近，在2018年，約有20,000名軍事人員參與了北約在世界各地的復雜行動，包括地面、空中和海上領域以及所有類型的環境。北約一直負責在阿富汗、科索沃和地中海的行動，同時還承擔了大量的培訓任務，以支持伊拉克國防部隊的發展。此外，北約通過執行空中治安任務支持非洲聯盟，并協助應對歐洲的難民和移民危機（北約新聞室，2021年9月10日）。

多國軍事行動，包括人道主義、維和和戰斗任務，是全球安全工作中一個越來越大的特點。它們涉及多個不同文化背景的機構，如北約或聯合國，以及非政府機構，如紅十字會和無國界醫生組織。這種國家和機構之間的聯盟給領導者帶來了復雜的挑戰，影響了決策和任務的有效性。鑒于每一類任務都有獨特的挑戰，無論是地區沖突、城市戰爭、救濟援助還是大流行病，未來的軍事領導者必須以量身定做的方式做好準備，以滿足特定聯盟部隊的需求。

對于每項任務，軍事領導者必須了解每個國家的能力和不足，以及非政府機構如何與有關地區的當地軍隊聯系起來。這是一個巨大的挑戰，需要詳細介紹該地區的關鍵地緣政治和社會文化因素，以及他們將遇到的一系列民間和其他安全及援助組織。這種復雜的信息在接受指揮之前可能并不總是能夠得到。

在組織軍事任務時，與當地國防組織的接觸和協調以及管理區域文化多樣性的復雜性都會發揮作用。如果把與非政府機構打交道的相關問題也考慮在內，這將是一個錯綜復雜的過程。更重要的是，當軍事領導者在外國擔負起領導的重任時，他們是在一個新的、具有挑戰性的環境中進行領導，他們很可能遇到不熟悉的團隊、利益相關者和文化。此外，他們可能沒有完全的指揮權，而是受制于國家的軍事領導，并受制于國家的組織結構、任務目標和規則集。

正如北約職權范圍的多樣性所表明的那樣，領導者需要了解和駕馭他們所參與的行動環境和國家的文化方面，如果他們要最大限度地提高行動效率。此外，相互支持、思想的多樣性、創造性和風險分擔是聯盟成員的許多優勢之一。為了實現這些優勢，北約將需要具有發達的社會技能和建立基于信任、尊重和信心的關系能力的領導者人。他們將需要有能力做出符合道德的決定，并理解他們工作的復雜系統，以便在復雜的作戰環境中促進有彈性的和可信賴的合作關系。

使問題更加復雜的是，未來的領導者將需要了解先進的技術，以及如何最好地實施這些技術和它們產生的信息。隨著支持人工智能和嵌入人工智能的系統在戰斗空間中變得更加普遍，信息管理將在未來成為一個更大的挑戰。信息過載的風險加上這些技術無處不在的傳播，雖然是為了支持領導者，但實際上可能只會增加他們的負擔。此外，對手手中的先進技術將改變和塑造未來的戰斗空間，以及沖突和戰爭的發起和戰斗方式。

網絡空間中這種信息戰的虛無縹緲的性質不是本報告的重點，然而，領導者將需要準備處理信息流，因為它將影響未來的任務指揮。空中空間、衛星和海底空間將越來越多地使用分布式傳感器網絡進行管理，這些網絡是自主監測的。然而，未來的領導者將受制于根據這些系統的輸出作出判斷和決定。因此，他們將需要了解技術的輸出，以及如何對其進行優化，以便為有效決策提供信息。

本報告認為，未來有效的領導者將是具有技術能力、創造性和批判性思維能力的人。他們將了解如何利用技術來實現其決策優勢。未來決策周期的加速和決策精度的提高是決定未來戰爭的最關鍵因素。因為我們知道，我們的對手也在尋求利用這些技術來發揮他們的優勢的方法。我們的優勢是人的因素! 我們的領導者的社會性、創造性和批判性思維能力將意味著決策優勢，并使北約能夠保持信息優勢、總體態勢感知和理解。這一切都與領導者有關，以及他們如何很好地理解他們將在其中運作的環境的細微差別，領導和授權給他們的指揮者。

問題是，鑒于動態和復雜的作戰環境所帶來的挑戰，我們如何使我們的領導者最好地準備好，以便有效地發揮作用？本報告認為，我們有責任確保為我們的領導者做好準備，以應對這些方面的領導問題。沒有簡單的答案，然而，北約可以通過評估和確定他們的需求，并為領導者提供獲得這些需求的機會，來準備教育未來的軍事領導者。

1.2 RTG-286 - 范圍、目標和產出

北約人因與醫學（HFM）研究任務組（RTG）286的基礎是北約HFM-ET-143（2015-2016）對軍事多國行動的領導者開發進行的初步研究。該小組包括來自澳大利亞、捷克共和國和土耳其的代表，確定了探索北約領導者領域現有知識差距的要求。RTG-286進行了合作研究，以評估多國軍事行動中當前和預測的發展（詳見上文）對北約領導者的影響。

RTG-286旨在提高對領導者開發需求的認識，并為提高領導者在多國任務中的表現做出貢獻。RTG-286的目標是：

1）創建一個與北約多國行動相關的當前高級領導者開發主題的摘要。

2）確定未來多國行動中的挑戰以及北約高級領導者取得成功所需的領導能力。

3）確定當前和預期的領導者開發和領導者績效之間的差距，并提出適當的建議；以及

4）為當前和未來的北約多國行動制定一個初步的擬議領導者能力的整體框架。

鑒于多國軍事行動的復雜性，有必要考慮發展領導者的戰略，為這種挑戰做準備。因此，本報告的目的是為多國軍事行動加強每個國家的領導者開發實踐，特別是在作戰指揮層面。本研究考察了有關領導力的學術和軍事學術研究，并審查了當前與北約多國任務中的領導力有關的領導者開發培訓和教育。它還探討了戰略和工具的發展，各國可以利用這些戰略和工具來確定其現有的培訓、教育和發展實踐在多大程度上為其領導者準備了多國任務。

除了提供該研究背景的章節外，RTG-286的顯著成果是為北約多國行動制定了一個領導者開發的綜合框架。北約和伙伴國家可以利用這一框架，為他們專門針對多國行動的領導者開發和培訓活動提供信息。通過一個反復的過程，該框架被開發出來，以包括必要的知識、技能、屬性、經驗和其他因素（包括道德、核心價值觀、身份和對武器職業的承諾）。該框架旨在作為了解和評估北約和伙伴國現有領導者開發活動的參考和資源，并與北約《未來聯盟行動框架》（FFAO）2018年戰略軍事觀點保持一致。

1.3 第286號研究任務組--組建、組成和活動

在完成并提交北約HFM-ET-143報告的結論（包括技術活動建議（TAP）和職權范圍（TORs））后，北約高級小組代表批準了建立北約HFM RTG-286的過渡。北約高級領導層的批準期為2017年6月至2020年6月。RTG-286由來自加拿大、匈牙利、挪威、丹麥、波蘭、瑞典、英國和美國的參與者組成，同時還有來自北約盟軍司令部轉型的代表。美國主席Yvonne Masakowski博士發起了研究計劃，并邀請英國代表Karl Santrian皇家海軍司令擔任該小組的聯合主席，Matt Petersen上校（英國陸軍）于2018年10月接任。

北約STO要求每個RTG在其總部舉行第一次會議，以確保北約的高級領導者能夠參與該小組的初步研究規劃。因此，RTG-286的第一次會議于2017年6月在法國巴黎的NATO STO總部舉行。各國輪流在北美和歐洲主持會議，以確保所有成員都有機會參與。全年通過網絡研討會和電話會議舉行會議，各分組和/或個人參加會議，討論他們的進展和目標。會議在波蘭克拉科夫（2017年12月）、美國洛杉磯（2018年6月）和加拿大渥太華（2018年10月）、英國施萊文漢（2019年3月）和華盛頓特區（2019年6月）舉行。加拿大會議的安排是由于幾個小組成員正在那里參加IMTA會議，它還促進了與倫理和領導力RTG小組的聯合會議。北約HFM RTG-286的最后一次會議于2019年10月在匈牙利布達佩斯舉行，小組參加了北約創新挑戰賽，并商定了最終報告。

1.4 報告的組織

本報告研究了多國軍事行動對領導者開發的要求，涉及六個關鍵領域。對這些領域的分析是與多國領導者開發的新框架同時進行的，這是RTG-286對北約未來領導者開發需求研究的一個重要貢獻。

在這段介紹之后，第2章將首先概述RTG-286在分析未來領導者能力要求方面所采取的方法。它介紹了差距分析的結果和指導這項研究的方法概述，特別是能力框架的設計。

第3章介紹了北約的領導者開發框架。通過這個框架，領導者的能力在五種上層能力下被合理化。專業知識；技術能力；認知能力；變革能力；和社會能力。在RTG-286的研究中，這些能力與其他個人屬性一起被確認為有效的跨國領導力的關鍵要求。他們在該框架中的定義是為了滿足更好地理解這些要求的需要。

在介紹了能力框架之后，第4章將重點討論本報告中考慮的第一個關鍵的行動效率領域，特別是管理和利用復雜性。本章概述了未來北約領導者可能面臨的復雜問題和情景，并研究了一些可用于支持有效的多國指揮的方法和思維技巧。

然后，第5章將探討創造力和創新作為有效領導的關鍵組成部分，強調領導者在為創造力創造條件、解決創新障礙以及促進組織敏捷性和共同復原力方面可以發揮的作用。

第6章探討了最近和未來的技術進步，以及如何利用它們來提高領導者的效率。這將包括研究影響未來行動的先進技術（例如，自主系統、機器人技術）。本章分析了一些可供領導者努力利用技術進步的方法。

然后，第7章從戰略角度闡述了在未來北約多國軍事行動中發展有效伙伴關系所需的領導者能力。本章從內部（建立有凝聚力的聯盟）和外部（非政府組織）的角度，探討了與軍事和非軍事伙伴的關系建設，以及當地的非正式領導和弱勢人群。它試圖確定有效關系的挑戰和基石，以及未來的北約領導者如何建立和維持強大而富有成效的伙伴關系。

跨文化能力是第8章的重點，因為本報告更深入地探討了未來多國行動對北約領導者的社會能力要求。本章認識到北約活動的全球前景，以及國家和非政府組織之間的合作以及與學術界和商界的合作所帶來的軍事優勢。它認為，從制定戰略和戰術到獲得緩和沖突所需的知識，領導者在不同的社會文化環境中理解和有效應對的能力將是所有領域的關鍵。

第9章涵蓋了與未來多國環境相關的新出現的道德挑戰，以及道德推理、身份、氣候和文化的日益重要性。它概述了北約核心價值觀的可操作性的重要性，承認了北約合作伙伴之間可能存在的價值觀趨同和分歧，以及領導者如何管理這些差異。

最后一章綜合了本報告的主要建議，并總結了RTG-286的結論，然后從前面的章節和其他章節中引出一些共同的線索和見解。第十章和本報告的最后，簡要考慮了從RTG-286的結論中引出的進一步研究領域。

美國國防部和空軍領導人認為，人工智能（AI）是一種改變游戲規則的技術，將幫助空軍情報、監視和偵察（ISR）體系克服大國沖突所需的情報分析速度和規模方面的長期挑戰。傳感網格概念（最近更名為傳感器集成）被作為未來框架引入，以整合人工智能和認知建模工具融入空軍ISR，但對于對手的威脅和道德方面的考慮卻很少討論，而這些考慮應該貫穿于系統的設計和功能模塊。為了讓空軍內部的人力和組織做好準備，以整合高度自動化的人工智能情報分析系統，領導人必須倡導以人為本的設計，從歷史上人機協作的成功和失敗中吸取教訓。領導人還必須采取積極主動的方法來培訓空軍的ISR勞動力，以便與革命性的但不完善的人工智能技術進行有效協作。

問題陳述

根據美國空軍作戰集成能力（AFWIC）傳感跨職能小組的說法，空軍情報、監視和偵察（ISR）的現狀是高度專業化、專有化，并且過于依賴人力密集的回傳（reach-back）過程。當規劃人員展望未來的大國沖突時，他們評估目前的硬件和分析過程將不足以建立對同行對手的決策優勢，情報工作在勝利所需的速度和規模方面落后。空軍A2的 "下一代ISR主導地位飛行計劃"對目前的ISR體系也提出了類似的批評，主張擺脫今天的 "工業時代的單一領域方法"，以追求 "架構和基礎設施，以實現機器智能，包括自動化、人機合作，以及最終的人工智能。"雖然為空軍人員提供更快更智能的工具來制作和分享評估是空軍高級領導人的優先事項，但引入更高水平的自動化和機器主導的感知為情報界帶來了一系列新問題。考慮到這些工具可能遇到的篡改和故意提供錯誤信息的威脅，依靠算法走捷徑是否安全？追求由自動化武器系統促成的戰爭到底是否合乎道德？如果是這樣，情報界采用自動化工具以更快的速度產生關鍵的情報評估會帶來什么風險？

人工智能（AI）一詞被美國防部聯合人工智能中心定義為 "機器執行通常需要人類智慧的任務能力--例如，識別模式、從經驗中學習、得出結論、進行預測或采取行動。"參議員們希望AI能夠很快為人類分析師用來進行評估的軟件套件提供動力，并使物理系統在更多的自主應用中發揮作用。機器學習（ML）被國防部高級研究計劃局（DARPA）定義為人工智能中的一個領域，"將統計和概率方法應用于大型數據集"，并可以將衍生模型應用于未來的數據樣本。利用ML好處的一個流行方法是通過深度神經網絡（DNN），它可以使用歷史數據被訓練成執行一系列的分類和預測任務。雖然在AFWIC或A2的出版物中沒有特別提及，但在模擬人類思維過程的應用中使用AI、ML和DNN是計算機科學和心理學的一個混合領域，稱為認知建模。在AFWIC對未來空軍ISR體系的設想中，AI、ML、DNNs和認知建模概念是向數字化、以網絡為中心的情報方法轉變的關鍵部分。

為了給空軍ISR體系的現代化舉措提供一個框架，AFWIC建立了傳感網的概念，定義為 "傳感器、平臺、人員、設備、內容和服務的組合，為決策者提供整體、準確、預測和及時的作戰環境特征。"該概念的設計者設想了一個具有預測分析、自主傳感和響應、融合多個數據源和邊緣處理的系統，所有這些都是通過利用AI、ML、DNN、數據分析和其他認知建模方法來實現的。盡管沒有公布傳感網格的首次亮相日期，但大多數討論表明，優化的系統簇至少還有十年。同時，美國防部領導層非常迫切地要趕上中國和俄羅斯在軍事人工智能應用方面的投資，鼓勵快速原型設計和實驗，以找到解決方案。人工智能在國防論壇上經常被認為是使以數據為中心的情報任務更快、加快戰術決策的答案，但如果所涉及的系統處于工程的初級階段，并且在國家安全領域仍未得到證實，這僅僅是猜想。

雖然AFWIC和空軍A2專注于人工智能傳感器和工具的研發投資，但很少討論使傳感網格安全和有效所需的人機合作動態。為了使傳感網格成為一個有效的系統，為空軍執行ISR和分析的方式帶來價值和進步，領導人應該在技術中倡導以人為本的設計，培訓和準備一線分析員與新系統有效的協作，并根據人工智能的優勢和劣勢調整組織做法。空軍領導人必須承認將更多的分析任務分配給人工智能工具所固有的對抗性威脅和道德問題，這些問題必須告知感知網格的藍圖。這并不是說正在進行的系統軟件開發應該停滯不前，而是說在情報和物資領導人之間必須同時進行對話，討論人類分析員的作用，因為這對減輕越來越多地依賴人工智能的弊端至關重要。空軍領導人還必須推行一項深思熟慮的計劃，將傳感網格組件整合到當前的傳感、識別、歸屬和共享（SIAS）活動中，使一線分析員為 "更高級別的推理和判斷"任務做好準備，同時承認機器應該增強人類任務，而不是完全取代人類。

接下來本文將提供與人工智能系統相關的脆弱性和道德問題的文獻回顧，以深入了解建設和應用傳感網格可能面臨的挑戰。它還將包括討論在完成和應用這個改變游戲規則的系統之前，情報和物資領導人應該考慮哪些因素。本文最后將就如何為空軍ISR戰斗空間準備傳感網格提出進一步的建議，為空軍人員在數字時代的行動提供必要的場景設置。

文獻回顧

最近關于將人工智能應用于認知任務的相關弱點的研究大多強調了對抗性樣本的危險性，這些樣本修改了DNN的輸入，導致它們控制的系統以各種方式發生故障。對抗性輸入可以是物理的或非物理的，可以影響各種數據分類器分類媒體，包括圖像、音頻文件和文本。最常提到的物理欺騙樣本是一個實驗，工程師通過將停車標志調整成不同的角度來愚弄自動駕駛汽車上的光學傳感器，導致車輛錯過停車。物理欺騙在國防應用中不是一個新穎的計劃，但將邊緣處理和自動化納入像傳感網格這樣的系統可能排除了人類分析師第一手識別這些戰術。在非物理領域，訓練算法以類似于人腦的方式來識別模式是一項具有挑戰性的任務。計算機視覺（CV）算法對圖像的分類與人類分析人員非常不同，當只有幾個像素不合適時，很容易對物體進行錯誤分類。在不太直接的情況下，工程師無法解釋模型的錯誤，刺激了DARPA等組織對可解釋人工智能的倡議。 在最好的情況下，對抗性輸入被識別為異常值，并被具有強大訓練樣本的CV模型所忽略；在最壞的情況下，它們可能會破壞現實世界的輸入，并在人類分析師不知情的情況下從樣本中數字化地刪除物體或活動。如果對抗性輸入導致分析師錯過他們通常會在沒有協助的情況下捕捉到的重要活動，就會產生災難性的后果。

如果將AI、ML和DNN應用于情報數據集背后的目標是以更高的速度分析和傳播更多的信息，那么自然語言處理（NLP）也可能是感知網格架構的一部分。NLP模型今天被廣泛用于個人和商業用途，像Siri和亞馬遜Alexa這樣的工具使用語音提示來啟動其他應用程序。NLP模型也可用于大量文本或其他媒體的理解任務，使用衍生數據回答問題。這種技術在融合多種數據源的SIAS任務中可能非常有用，但也可能容易受到干擾。NLP中的對抗性輸入可以引入錯誤的句子或用文本文件中的反義詞替換關鍵詞，導致模型在沒有時間或能力進行人工審查的情況下錯誤描述數據集。

與任何分層模型的方案一樣，CV和NLP模型是否能像預測的那樣有效地協同工作還是個未知數，更不用說檢測像Deepfakes這樣在非保密領域進入DNN的偽造數據了。人類分析員離通常可以檢測錯誤信息的源數據流越遠，SIAS就越容易受到錯誤輸入的影響。盡管有這種擔憂，但空軍A2的指導意見表明，人們對分層模型利用非保密的公開信息（PAI）進行無縫傳感器提示寄予厚望，使ISR體系能夠更有效地找到相關目標。如果沒有一種強大的方法來檢測提示傳感器的PAI樣本中的偽造媒體，這個過程可能難以安全地實現。

技術的復雜性和自動化、人工智能系統對篡改的潛在脆弱性，引發了關于在軍事行動中應用這類技術是否符合道德的討論。雖然傳感網格的設計不是為了直接使用武器，但來自該系統的情報數據很可能為關于多個領域的關鍵決策提供信息。關于AI/ML的倫理學文獻通常對采用自主運作、人類干預窗口有限的系統持批評態度，其邏輯與反對地雷等傳統自動化武器的倫理學論點相似。雖然傳感網格及其前驅系統將具有比壓力板裝置高得多的認知行為屬性，但一些人認為，人類對黑盒系統的控制同樣很少，這些系統在向人類操作者提出選擇或結論之前，會執行層層的算法通信。

幸運的是，人工智能系統可能也能夠在人類容易出現道德失誤的情況下進行補償，因為機器不會經歷像恐懼或驚慌這樣的情緒，而這些情緒可能會引發危險的決定或違反LOAC。盡管利用人類與認知模型合作的這一潛在優勢是謹慎的，但美國防部的指導意見將速度作為人工智能最有用貢獻的具體價值，這引入了更多道德難題。對個人決策的測試表明，人類在復雜環境中的風險評估能力已經很差，而引入人工智能，使人類判斷的價值邊緣化，只會導致更快的、風險更高的結論。當人工智能帶來的錯誤評估或草率決定導致災難性錯誤時，問責也是美國防部領導人必須準備解決的混亂道德問題。

大多數文獻中隱含的減輕對手篡改和道德失誤威脅的解決方案，是在人類控制器和自主的人工智能系統之間進行最佳分工。不足為奇的是，對于這應該是什么樣子，以及它如何適用于像傳感網格這樣的系統，有許多觀點。一些人認為，在國際協議框架中沒有雇用自動武器系統的空間，并將其缺乏責任感與兒童兵相比較。其他人認為，如果像聯合目標定位這樣的程序以同樣的嚴格和參與規則進行，人工智能工具將不會導致不可接受的失控。雖然人們認為迫切需要通過購買現有的商業軟件向聯合情報界提供傳感網格的能力，但如果美國防部領導人希望減少前面討論的風險，工程師、需求所有者和分析師必須致力于仔細討論人工智能應用在ISR體系中最有幫助的地方以及它們有可能造成傷害的地方。

討論結果

當涉及到投資建設由人工智能和認知建模應用驅動的未來ISR體系的項目時，美國防部和空軍除了需要快速投資并與大學和國家實驗室合作外，提供的指導有限。除了系統 "事故風險較低；對黑客和對手的欺騙行為更有彈性和表現出較少的意外行為"之外，對該部門在人工智能投資方面所期望的指導也是有限的。缺乏特殊性可能是人工智能在國防部戰略中首次出現的癥狀，但自滿和滿足于為投資而投資的情況并沒有遠遠超過這種情況。使用該技術的社區有責任決定與認知模型建立哪種類型的協作關系將提供最大的利益，但戰略指導似乎將責任交給了實驗室和行業合作伙伴，責成外部人士確定人工智能將解決的問題和解決方案。如果空軍ISR領導人在討論如何最好地將人類分析員與人工智能工具協作方面不發揮積極作用，他們將如何評估開發人員是否在提供資金的情況下取得足夠的進展？美國防部如何相信由非業務伙伴開發的解決方案能夠充分解決安全和道德問題？在什么時候，人工智能會從一個脆弱的研究項目過渡到改善SIAS的速度和準確性的可行解決方案？

討論人工智能及其在情報工作中的預期功能的一個更有成效的方法是，不要把它當作一個神奇的子彈，因為它的定義太不明確，根本無法研究。雖然將認知模型應用于情報過程可能是新的，但在戰爭中實現自動化的技術已經存在了幾十年。領導人必須考慮現代戰爭中已經存在的人機合作結構，以獲得設計和整合傳感網格的經驗。對于空軍ISR來說，分析當前和歷史上人類分析員、機載傳感器和戰區決策者的團隊合作是一項有益的工作。機載ISR傳感器的性能衡量通常通過傳感器輸出的響應性和準確性等因素來評估，但了解傳感器數據引發的分析和決策過程也很重要。例如，光譜成像傳感器可以被用作異常檢測器，突出不尋常的物體或活動，供人類分析員審查和報告。報告可以傳播給行動領導人，然后他根據情報做出決定，命令對異常活動的來源進行空襲。如果這一連串的事件在行動過程中習慣性地發生，那么傳感器和人類在循環中的互動可能會開始改變，而傳感器被潛意識地重新歸類為威脅探測器。在這種情況下，傳感器的性能規格并沒有改變，但隨著時間的推移，團隊關系中的人類開始對傳感器的輸出應用不同的價值，這可能是外部激勵因素的影響。雖然大多數分析家都知道，假設所有的異常情況都是威脅是不正確的，也是危險的，但人機協作關系演變為扭曲人類判斷的微妙方式是值得關注的。為了確保人機協作以道德方式進行，領導者必須反思協作結構如何在無意中抑制組織的價值觀。對新作戰技術的準確性和穩健性的要求是合理的，但了解技術煽動的組織行為和習慣對有效和道德地使用是最重要的。

除了在ISR體系內應用現有的人機合作經驗外，人工智能感應網格的設計也應以人為本。雖然在建立一個由人類分析員使用的系統時，這似乎是顯而易見的，但在復雜的系統工程項目中，人因工程和人機協作的考慮往往是一個低優先級的問題。這部分是由于傳統的組織障礙，將軟件工程師和人因專家放在不同的部門，尤其是后者專門研究認知心理學、神經科學和機器人學等學科，這些學科在一些項目中可能發揮有限的作用。未能在復雜系統中適當整合人的因素的后果是可怕的，這在波音公司的737 Max飛機上可以看到，該飛機在2018年和2019年發生了兩起致命事故。兩份事故報告都提到高度自動化的機動特性增強系統（MCAS）軟件是導致飛機失事的一個重要因素。 雖然MCAS被設計為使用傳感器輸入來協助飛行安全，但糟糕的人為因素考慮使得該系統在觸發自動程序后，飛行員很難覆蓋。雖然培訓用戶與新系統合作是入職的自然部分，但由于缺乏人為因素工程而導致的陡峭學習曲線是一種風險，可以通過對人類和機器行為進行建模來減輕，因為它們與手頭的任務相關。 在這種情況下，建模將幫助系統架構師確定在特定的團隊合作關系中造成誤解的溝通差距，也許可以提供關于機器如何在緊急情況發生前向人類操作員充分披露其局限性的洞察力。

當我們推測如何最好地促進人機互動，充分解決與人工智能和自動化相關的安全和倫理問題時，尋求視覺分析專家的咨詢可以提供有價值的設計見解。"視覺分析是一個科學領域，它試圖通過交互式可視化增加人機對話來提高自動化、高容量數據處理的透明度。 為分析師提供一個團隊結構，讓他們選擇如何可視化數據集，可以在自動化、機器輔助的數據精簡和人類判斷之間取得有利的平衡。在傳感網格的可視化分析的最佳應用中，分析師將以高度的信心理解數據集的重要性，這得益于調整基礎分析過程的能力。 理想情況下，可視化分析使用戶能夠通過向系統提出關于數據的假設和問題來利用他們的學科專長，使他們能夠通過對話得出結論。視覺分析中的一種被稱為語義互動的方法也可能是有幫助的，創建的模型可以將分析師與視覺數據的對話轉化為模型的調整，推斷和學習人類伙伴執行常規任務的原因，如突出、復制等。考慮到前面詳述的學科有多新，建立明確的測試和評估標準將是準備將這些和其他團隊技術納入SIAS任務的重要步驟。

美國空軍研究實驗室（AFRL）內的各局無疑面臨著許多挑戰，在這個概念正式確定之前，他們一直致力于建立傳感網格的組成部分。將人工智能整合到智能架構和軟件中的工程師和開發人員主要在羅馬實驗室AFRL信息局（AFRL/RI）工作，分為多個核心技術能力（CTC）團隊。特別是處理和開發（PEX）CTC將深入參與開發實現傳感網的DNN，其任務是"為空軍、國防部和情報界提供快速感知，以提高對形勢的認識和對抗的洞察力"。在PEX CTC中，項目按功能分為特征化、極端計算、理解和預測項目，涵蓋了從數據提取到高級感知的一系列步驟。人因工程方面的專業知識來自位于兩個州外的萊特-帕特森空軍基地的飛行員系統（RH），一個跨學科局。下一步，PEX CTC的項目可能會與AFRL的其他部門（如傳感器（RY）或航空航天系統（RQ））的開發項目相結合，將RI的SIAS部分與新的機載收集傳感器和車輛聯系起來。目前，RI的工程師使用來自實際聯合和國家情報來源的樣本數據流，逐步解決在大量非結構化數據中進行分類的計算挑戰。尋找解決方案以保持物理系統的尺寸、重量和功率要求可控，也是一個持續關注的問題，特別是在像Agile Condor這樣尋求在機載系統上提供高水平邊緣處理的項目。

正如前面的文獻調查所示，在DNN中建立穩健性和安全性，以防止ML中的對抗性干擾，是任何網絡開發者都關心的問題，RI內部的團隊也不例外。DNN已經在實驗室環境中以意想不到的方式學習或失敗，引入與人類感知相矛盾的對抗性輸入，可能會使開發有用工具的進展受挫。如果系統繼續隨著新數據集的發展而發展，那么可能很難確定技術成熟度的基準，在這種情況下，AFRL將維持責任轉移給空軍生命周期管理中心（AFLCMC）是合適的。雖然這一點與建立人工智能傳感網格組件的測試和評估標準的重要性有關，但它也應該引發關于復雜系統在開發和維持組織之間的移交是否適合這種技術的討論。理想的情況是，在DNN上擁有最多專業知識的團隊建立模型，并在其整個生命周期內維護它們。一個更有可能和更少破壞性的行動方案是建立具有可升級底盤和外形尺寸的傳感網組件，允許在可用時用替換設備進行簡化升級。考慮到國家實驗室、DARPA、麻省理工學院、卡內基梅隆大學和其他機構的大量人工智能研究投資，空軍領導人應該考慮如何在研究結果公布后，整合部門的投資回報，以改善感知網的設計和功能。

對于美國防部和空軍領導人來說，為未來傳感網的整合創造條件，還有其他獨特的倫理挑戰需要協調。如果 "傳感網格"及其組件能夠提供該概念所承諾的快速和強大的傳感功能，那么期望所有使用該系統的一線分析員都能理解其工作原理是否合理？在發生災難性錯誤的情況下，初級分析員是否需要了解該技術，以便對涉嫌疏忽的錯誤負責？"將邊緣處理納入傳感網設計也是一個有道德爭議的話題。雖然自動數據處理可以節省SIAS的時間，但分析師如何知道邊緣計算程序是否出現故障，或者他們是否被對手欺騙？從傳感器的邊緣去除人類的認知勞動可以更快地提供數據，但結果的準確性可能會有所不同。那些認識到這些問題，但卻因為要比中國或俄羅斯更快地投入技術的壓力而推遲解決的領導人，應該仔細思考這一立場背后的原因。雖然中國和俄羅斯的政府形式與美國根本不同，但事實是，這兩個國家都有等級制度，對國防事務中的錯誤和不精確性的責任也很重視。以類似于核計劃的方式，美國政府應該領導國際社會與競爭對手分享安全、設計良好的人工智能算法的傳統技術，確保沒有國家因為糟糕的態勢感知工具而引發誤解導致的沖突。最好的國際人工智能軍備控制可能來自于對人工智能研究結果的盡可能透明，并倡導負責任地使用該技術。

建議

盡管完整形式的傳感網格還需要幾年時間才能實現，但最終系統的組成部分可能會在未來十年內逐步投入使用。在為下一代人機協作做好技術、人員和組織的準備方面，還有大量的工作要做。美國防部和空軍ISR領導人不應等到正式的系統首次亮相時才開始倡導在傳感網格技術中采用以人為本的設計，將人工智能的培訓目標納入對一線分析員的指導，并為組織接受該技術和與之合作做好準備。當涉及到設計和構建這個復雜的系統時，物資領導人在考慮采購商業的、現成的軟件以獲得更快的數據匯總解決方案時，應該謹慎行事。在沒有為傳感網格及其系統如何運作建立測試、評估和安全標準的情況下，過早地整合多用途商業軟件可能會給傳感網的人工智能互動帶來不確定性和風險。

此外，找到更快解決方案的愿望不應該先于對人的因素的考慮，因為這對安全和富有成效的人機合作至關重要。美國防部領導人還應該認真審視在整個傳感網中整合邊緣處理的計劃，將其作為一個安全和道德問題，并應仔細思考在哪些地方將人類感知與傳感器輸出分離才是真正合適的。雖然培訓人類分析員是ISR體系可以采取的最明顯的措施之一，以減輕來自外部干預和道德失誤的威脅，但物資領導人也必須考慮他們在采購精心設計的、以人為本的技術方面的作用，作為一個同樣重要的保障。

正如美國國防創新委員會的AI原則。雖然年輕的分析員在快速學習數字應用和程序方面表現出很強的能力，但初級人員也傾向于以令人驚訝的方式信任技術。因此，這些分析員必須繼續接受情報分析基礎知識的培訓，使他們善于識別傳感網格中的算法錯誤和遺漏。空軍領導人在2018年為促進AI和ML素養邁出了務實的第一步，啟動了一項試點計劃，以確定具有計算機語言經驗的空軍人員，希望在各種舉措中利用那些具有編碼專長的人。雖然這項措施將有助于區分具有較高數字熟練度的分析員，但教導勞動力如何運作計算機模型可能是一個更有用的技能組合，以準備在傳感網中進行人機合作。"為傳感網就業準備一線分析員的最壞方法是依靠及時培訓來彌補勞動力對技術知識的差距，從而為SIAS活動引入更大的錯誤率。

為了讓組織準備好接收和整合傳感網格，美國防部和空軍領導人必須首先解決人力需求。盡管像傳感網格這樣的系統被設計成模仿人類的認知勞動，但分析人員的勞動對于質量控制和任務管理仍然是至關重要的，更不用說作為識別DNN內潛在篡改或系統故障的保障。現在還不是為預期的技術進步做出任何急劇的力量結構調整的時候，而這種技術進步離投入使用還有好幾年的時間。此外，到目前為止，關于傳感網將如何整合來自聯合部隊的數據，或者是否允許作戰司令部像今天一樣擁有自己獨特的數據戰略和情報資源的討論很少。如果傳感網由于來自一個服務部門或地理作戰司令部的人為縫隙而無法為分析人員提供更多的情報來源，那么該系統是否真正做到了其設計者所宣傳的？這些問題必須在聯合參謀部層面加以解決和調和。最后，利用來自傳感網的情報的組織必須認識到，當他們與機器合作時，他們很容易受到偏見和捷徑的影響。了解外部壓力和交戰規則如何導致對機器輸出的質疑失敗，對于改善人機伙伴關系，真正使SIAS更加有效至關重要。

結論

美國防部和空軍對人工智能在情報中的應用所進行的研究投資，對于確定部隊應如何準備與傳感網格進行人機合作是至關重要的。對領導人和一線分析人員進行培訓，讓他們了解在自動化、人工智能支持的SIAS中存在的道德難題和對手攻擊的可能性，這對保護組織不傳播錯誤信息至關重要。幸運的是，美國防部和空軍ISR領導人主張在傳感網格系統中采用以人為本的設計和培訓模式還為時不晚，因為AFRL的工程師們正在繼續努力為部隊提供一個安全、務實的解決方案。領導人必須認識到以速度換取精確性的組織傾向，并理解精心設計的系統分階段整合將是值得等待的。

摘要

《應用于致命性自主武器系統的任務指揮原則》，Curtis R. Michael少校，56頁。

這部專著研究了任務指揮的七項原則及其在致命性自主武器系統中的應用。像機器人和人工智能這樣的創新技術正在迅速重塑社會規范。只是在過去幾年里，美國軍方才認真考慮自主技術在戰場上的影響。隨著政治和軍事領導人處理這個新的戰爭時代，有關人類和機器在戰爭中的角色的新問題正在呈現。盡管圍繞自主系統的知識和經驗還很有限，但有一個既定的框架，即任務指揮原則，它經過了戰斗的檢驗，非常適合解決模糊性問題。任務指揮原則是使用致命自主武器的明智方法。這七項原則是幫助軍事指揮官應對復雜戰爭穩定的指導性方針。更重要的是，這些原則確保指揮官是最終的決策者，人民和信任是任務指揮的重點。信任在這個新的戰爭時代的重要性是不可低估的。信任確保了軍事行動的凝聚力和統一性。了解自主武器系統中的人機信任關系，對于釋放人機團隊的競爭優勢以及維護美國的國家安全利益至關重要。

簡介

“第一臺超智能機器是人類需要做出的最后一項發明，只要機器足夠溫順，告訴我們如何控制它。奇怪的是，這一點在科幻小說之外很少被提及。有時，認真對待科幻小說是值得的。”歐文-約翰-古德，《第一臺超智能機器》

今天，沖突的復雜特征也許比以往任何時候都更加明顯。混合戰爭、網絡攻擊和非國家行為者正在不斷地使戰斗空間變得更加不確定、動態和模糊。革命性的技術，如高超音速武器、人工智能（AI）和自主系統（AS）進一步增加了這種復雜性。商業和軍事工業對創新技術的空前依賴似乎是戰爭特征變化的催化劑，可能也是戰爭性質的催化劑。前美國國防部長吉姆-馬蒂斯在評論人工智能和戰爭這個話題時說："我當然質疑我原來的前提，即基本性質不會改變。你現在必須質疑這一點。"隨著政治和軍事領導人小心翼翼或不顧一切地跳入這個幾乎沒有先例的戰爭新時代，關于人類和機器在戰爭中的作用的新問題在等待著他們。

2014年，前國防部副部長羅伯特-沃克和他的同事發表了一份報告，解釋了未來的戰爭會是什么樣子。他們認為，未來的戰爭將主要由無人駕駛和自主武器等機器人技術來進行。"這種走向機器人時代的主要驅動力是來自商業公司的創新，而不是由政府研究和開發項目資助的軍工綜合體。"雖然這些新技術使眾多民用行業受益，如醫療保健和金融，但軍隊以及恐怖組織越來越依賴它們。2019年9月對沙特阿拉伯能源基礎設施的襲擊就是一個例子，恐怖分子輕松地改裝了少量的無人機，破壞了該國一半的石油和天然氣生產。此外，在過去十年中，使用軍用無人機的主權國家有九十五個，增加了百分之五十八。

從商業角度來看，機器人技術和自主技術的市場已經大大增長。例如，在過去六年中，工業機器人的銷售量每年都在增加，導致全世界的機器人存量超過240萬臺。此外，2018年有1630萬臺服務機器人用于家庭用途，比前一年增加了59%。另一個說明自主技術增長趨勢的例子是自動駕駛汽車。自動駕駛汽車在商業上和軍事上都有很大的前景。用先進的傳感器套件改裝的車輛有可能消除對人類操作員的需求，或通過提高駕駛員的態勢感知來減少人為錯誤。

美國軍方利用人工智能通過致命和非致命的應用來加強國家安全。人工智能的一個非致命性應用是一個名為Maven項目的軟件套件。Maven是國防部的一個人工智能應用，它研究遙控飛機的圖像和視頻資料，目的是改善無人機的打擊。人工智能的致命應用，也被稱為致命自主武器系統（LAWS），不僅被美國軍隊使用，也被世界各地的軍隊使用。本專著將致命性自主武器系統定義為：一旦啟動，就可以在沒有人類操作員進一步干預的情況下選擇和攻擊目標。

LAWS的例子包括以色列國防軍的HARPY導彈。HARPY是一種旨在有選擇地攻擊敵方防空設施的游蕩彈藥。同樣地，美國空軍最近出動了它的第一枚自主巡航導彈--遠程反艦導彈（LRASM）。LRASM的設計是獨特的，因為它可以根據敵方軍艦的圖像識別、紅外、雷達和其他傳感器的特征，自主地探測和攻擊敵方軍艦。

美國國防部（DoD）將人工智能定義為機器執行通常需要人類智能來執行任務的能力，無論是數字還是作為自主物理系統背后的智能軟件。從本質上講，人工智能是一個處理數據以識別模式、學習、建議作戰方案或指導行動的融合系統。與商業行業一樣，軍方認識到人工智能支持的硬件和軟件的好處。

隨著自主武器的發展和使用變得突出，與它們的道德使用和可信度有關的問題將浮出水面。朱莉婭-麥克唐納和杰奎琳-施耐德進行了一項調查，顯示了目前無人駕駛飛行器的信任障礙。他們的調查顯示，聯合終端攻擊控制人員（JTAC）和聯合火力觀察員（JFO）認為無人機 "比有人駕駛的飛機風險更大，更不值得信任"。此外，他們得出結論，在 "人類與敵人直接接觸的領域，部隊不愿意將決策權交給機器"。然而，他們有限的調查確實顯示，當JTAC和JFO對無人駕駛飛機有更多的經驗時，他們更可能傾向于無人駕駛飛機。這一發現表明，經驗可能有助于解決控制人員對無人駕駛飛機的一些信任問題。

前面的例子說明了國防部的采購和企業在開發致命性自主武器系統時遇到的許多挑戰之一。軍方開發的新武器系統要經過廣泛的測試和政策審查。在某些情況下，這一過程需要多年時間才能完成。然而，這一深思熟慮和務實的過程的總體目標是推出一種有能力和強大的武器，使軍事指揮官能夠在戰場上自信地使用。致命武器系統是獨特的，因為它們挑戰了這種傳統的武器采購和部署模式。使致命性自主武器系統的開發更加復雜的是國防部的3000.09號指令。該指令指出，指揮官和作戰人員必須對武力的使用進行適當的人為判斷。指令中沒有明確界定什么是 "適當的判斷水平"。此外，在當前的作戰環境中，對手正專注于爭奪、拒絕和降低通信系統，對適當控制的理解變得更加不明確。

人工智能技術的普遍性及其在整個民用和軍用部門的廣泛增長表明，戰爭的特征正在發生變化。美國的核心政治和軍事戰略文件，國家安全戰略（NSS）和國防戰略（NDS）承認這些技術的重要性，因為他們指示美國優先考慮并保持在新興技術方面的競爭優勢。在未來的沖突中，這些新興技術將很可能超過人類的理解能力。Robert Latiff寫道，時間將更加寶貴，戰斗的純粹速度將給決策帶來壓力。考慮到未來戰爭的這一背景，軍隊應該預期軍事主動權的鐘擺將逐漸從軍事指揮官手中擺開，轉到自主代理人身上。為了在人工智能主導的戰斗空間中做好準備并取得成功，指揮官將需要把任務指揮的一些原則擴展到致命性自主武器系統。

這篇評論針對人工智能系統提出了 "什么是好的解釋 "的問題。報告概括了計算機科學努力創建解釋和指導系統的歷史，現代人工智能中的可解釋問題和挑戰，以及主要的解釋心理學理論。對XAI系統進行評估的方法指導強調了全局和局部解釋之間的差異，需要評估人機工作系統的性能，以及需要認識到實驗程序默示地將自我解釋的負擔強加給用戶。涉及人與人工智能互動和共同適應的任務，如錯誤或oddball檢測，為XAI評估帶來希望，因為它們也符合 "解釋即探索"和解釋即共同適應的對話過程的概念。涉及預測人工智能的決定的任務，結合實驗后的訪談，為研究XAI背景下的心理模型帶來了希望。

總結

這是一篇綜合評論，討論了 "什么才是好的解釋？"這個問題，并提到了人工智能系統。相關的文獻資料非常多。因此，這篇評論必然是有選擇性的。盡管如此，大部分的關鍵概念和問題都在本報告中有所闡述。該報告概括了計算機科學努力創建解釋和指導系統（智能輔導系統和專家系統）的歷史。報告表達了現代人工智能中的可解釋性問題和挑戰，并提出了解釋的主要心理學理論的囊括觀點。某些文章由于與XAI特別相關而脫穎而出，它們的方法、結果和關鍵點被強調。

建議鼓勵AI/XAI研究人員在他們的研究報告中，以實驗心理學研究報告的方式，更全面地介紹他們的經驗或實驗方法：關于參與者、指示、程序、任務、自變量（措施和度量的操作定義）、獨立變量（條件）和控制條件的細節。

在本報告審查的論文中，人們可以找到評估XAI系統的方法論指導。但報告強調了一些值得注意的考慮。全局解釋和局部解釋之間的差異，需要評估人機工作系統的表現（而不僅僅是人工智能的表現或用戶的表現），需要認識到實驗程序默許了用戶自我解釋的負擔。

糾正性/對比性用戶任務支持自我解釋或解釋即探索。涉及人類與人工智能互動和共同適應的任務，如錯誤或oddball檢測，為XAI評估帶來了希望，因為它們也符合 "解釋-探索 "和解釋是共同適應的對話過程的概念。涉及預測人工智能的決定的任務，結合實驗后的訪談，為研究XAI背景下的心理模型帶來了希望。

序言

本報告是對之前關于DARPA XAI項目的報告的擴展，該報告的標題是 "可解釋人工智能關鍵思想的文獻回顧和整合"，日期是2018年2月。這個新版本整合了已經發現的近200個額外的參考文獻。本報告包括一個新的部分，題為 "對XAI系統的人類評價的審查"。這一節重點介紹了人機人工智能或XAI系統經歷了某種實證評估的項目報告--其中許多是最近的。這個新部分與DARPA XAI項目的經驗和實驗活動特別相關。

本材料基于空軍研究實驗室（AFRL）根據協議號FA8650- 17-2-7711贊助的研究。美國政府被授權為政府目的復制和分發重印本，盡管上面有任何版權說明。

可解釋性是構建可信人工智能系統的必要元素。來自普渡大學等幾位學者在SIGMOD2022《可解釋的人工智能》教程，130+PPT闡述XAI的基礎、應用、機會，非常值得關注！

算法決策系統被成功地應用于各種領域的不同任務。雖然算法決策的潛在好處很多，但信任這些系統的重要性直到最近才引起關注。人們越來越擔心這些系統復雜、不透明、不直觀，因此難以信任。最近，人們對可解釋人工智能(XAI)的興趣重新升溫。XAI旨在通過解釋模型的行為、預測或兩者兼有來減少模型的不透明性，從而使人類能夠仔細檢查并信任模型。近年來，針對模型的可解釋性和透明性問題，出現了一系列的技術進步和解釋方法。在本教程中，我們將介紹這些新穎的解釋方法，描述它們的優勢和局限性，將現有工作與數據庫(DB)社區聯系起來，并列舉在XAI環境下進行數據管理研究的機會。

引言

人工智能(AI)系統越來越多地用于關鍵領域的決策，如醫療保健、刑事司法和金融。然而，這些系統的不透明性和復雜性構成了新的威脅。越來越多的人擔心，這些系統的不透明可能會造成培訓數據[37]中反映的系統性偏見和歧視，從而損害分布在不同社會階層的利益攸關方。這些對透明度的呼吁重新激起了人們對可解釋人工智能(XAI -參見[50]最近的一項調查)的興趣，它旨在為算法決策系統的結果或過程提供人類可以理解的解釋。

XAI方法的發展受到技術、社會和倫理目標的推動[9,14,36,38,44]: (1)通過建立對決策結果的信任，提高社會對基于機器學習(ML)的決策算法的接受程度;(2)為用戶提供可操作的見解，以在未來改變算法的結果;(3)促進識別偏見和歧視等危害來源;(4)通過識別導致不利和意外行為的訓練數據中的錯誤或偏差，提供調試ML算法和模型的能力。政府法規要求企業使用自動化決策系統向最終用戶解釋其決策，進一步加劇了這一問題的緊迫性[1,16]。最近，人們提出了幾種方法來解釋ML模型的行為或預測。這些方法可以大致分為以下幾類:(a)可解釋性是通過設計(內在)還是通過事后系統分析(外在)實現的，(b)方法是否假設訪問系統內部(模型相關)或可以應用于任何黑箱算法系統(模型無關)，以及(c)方法生成的解釋是否迎合對單個實例的預測(局部)，解釋模型的整體行為(全局)或介于這兩個極端之間。

在本教程中，我們將詳細介紹當代XAI技術，并強調它們的優點和局限性。與現有的XAI教程相比，我們將在數據庫社區的背景下討論XAI的范圍，并概述一組利用XAI進展的數據管理研究的挑戰和機會，并為XAI研究的挑戰做出貢獻。本教程的學習結果如下。

• (1) 了解XAI技術的概況。
• (2) XAI技術與數據管理社區現有技術之間的聯系。
• (3) 暴露之前XAI提案的關鍵漏洞，以及數據管理技術如何在許多情況下提供幫助。
• (4) 接觸到一些新的機會，利用基于數據來源和因果推理的技術來解釋模型行為和調試AI管道。

涵蓋范圍

根據現有XAI技術[50]生成的結果，可以根據多個維度來解釋模型及其預測。目前有各種各樣的技術可以解決這些可解釋性的不同維度。例如，一些方法提供了代表用于訓練模型的數據的特征的全面總結，一些返回數據點以使模型可解釋，一些用固有的可解釋模型來近似模型，等等。本教程分為五個主題，涵蓋了這些不同維度的代表性技術。每個專題的內容總結如下。

2.1基于特征的解釋

解釋黑盒模型的一種常見方法是將模型輸出的責任歸因于它的輸入。這種方法類似于提供輸入特征的重要性。例如，在線性回歸的情況下，學習線性方程中的特征的系數可以作為特征重要性的指標。為訓練數據中的所有特征分配一個實數的最終目標可以通過多種方式實現。此外，該數字還可以表示該特征影響的程度和方向。我們將在本教程中介紹以下特征屬性方法。

2.2 基于規則的解釋

基于特征屬性的方法為每個特征值分配一個實值重要性分數。相反，基于規則的解釋生成一組規則作為對模型行為的解釋。輸出規則集滿足一個共同屬性，即只要遵守這些規則，模型就會提供一個特定的結果。理想情況下，這些規則應該簡明扼要，并適用于大量數據點。較長的規則(超過5個從句)是不可理解的，而非常具體的規則是不可概括的。錨[54]是一種試圖生成簡短且廣泛適用的規則的方法。它使用一種基于多武裝匪徒的算法來搜索這些規則。Lakkaraju等人使用可解釋的決策集來獲得一組if-then規則，這些規則可以用來解釋黑盒模型[43]。它們的目標函數旨在平衡和優化這些決策集的準確性和可解釋性。

2.3 基于訓練數據的解釋

與特征歸因方法相比，基于訓練數據的方法將ML算法的輸出歸為訓練數據集[10]的特定實例。基于數據的解釋的核心思想是，訓練數據影響模型，從而間接影響模型預測的結果。為了理解模型的預測，基于數據的解釋可以將模型參數和預測追溯到用于訓練模型的訓練數據。這些方法不是根據數據的特征(例如，年齡，性別等)，而是根據特定的數據點(例如，列舉20個數據點負責特定的模型輸出)來解釋模型的行為。基于數據的解釋有助于調試ML模型，理解和解釋模型行為和模型預測。在本教程中，我們將介紹以下基于訓練數據的方法。

2.4 對非結構化數據的解釋

深度學習已經非常成功，特別是在圖像分類和涉及圖像和文本的語言翻譯等任務中。盡管現有的XAI方法主要關注結構化數據，但在解釋ML模型預測優于非結構化數據方面已經取得了重大進展。例如，對圖像分類模型的解釋可以在各種名稱下找到，如敏感性地圖、顯著性地圖、像素屬性地圖、基于梯度的屬性方法、特征相關性、特征屬性和特征貢獻[50]。這些解釋通常會根據輸入像素對分類結果的重要性突出并排序。然而，單個像素可能對分類器的結果沒有很大的直接影響，但可以通過貢獻神經網絡從原始像素學習到的抽象特征和概念，間接影響其結果。已有研究表明，這些方法的計算成本很高，而且極易引起誤解、脆弱和不可靠[2,22,52]。類似地，可以將LIME[53]應用于文本數據，以識別解釋文本分類模型結果的特定單詞。計算機視覺中另一種流行的解釋類型是反事實解釋，這種解釋是通過改變圖像的最小區域產生的，從而導致分類結果的改變[72]。在本教程中，我們將關注結構化數據，因為它與DB社區更相關。

[1] 2016. Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation). (2016). [2] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian J. Goodfellow, Moritz Hardt, and Been Kim. 2018. Sanity Checks for Saliency Maps. In Advances in NeuralInformation Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada, Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kristen Grauman, Nicolò Cesa-Bianchi, and Roman Garnett (Eds.). 9525–9536. [3] Rakesh Agrawal, Tomasz Imieliński, and Arun Swami. 1993. Mining association rules between sets of items in large databases. In Proceedings of the 1993 ACM SIGMOD international conference on Management of data. 207–216. [4] Rakesh Agrawal, Ramakrishnan Srikant, et al. 1994. Fast algorithms for mining association rules. PVLDB.

盡管人工智能 (AI) 具有許多潛在的好處，但它也被證明在復雜的現實世界環境（如軍事行動）中表現出許多挑戰，包括脆弱性、感知限制、隱藏的偏見和缺乏因果關系模型，這些對于理解和預測未來事件很重要。這些限制意味著，在可預見的未來，人工智能仍不足以在許多復雜和新穎的情況下獨立運行，并且人工智能需要由人類仔細管理才能實現其預期的效用。

本報告“Human-AI Teaming: State-of-the-Art and Research Needs” 檢查了與人類操作相關的 AI 系統的設計和實施相關的因素。本報告概述了人機協作的研究現狀，以確定差距和未來的研究重點，并探討了實現最佳性能的關鍵人機系統集成問題。

報告提綱

• 總結 1
• 1 引言 5
  • 研究背景和向委員會負責, 6
  • 委員會的方法, 7
  • 自動化和人工智能, 7
  • 人工智能的局限性, 8
  • 人工智能對人類表現的影響, 9
  • 報告結構和摘要, 10
• 2 人類與人工智能協作的方法和模式 11
  • 協作編隊, 11
  • 人類與人工智能的協作模式和觀點, 12
  • 人類應該與人工智能合作嗎？
  • 人類與人工智能協作的改進模型, 16
  • 關鍵挑戰和研究差距, 17
  • 研究需求, 17
  • 總結, 18
• 3 人類與人工智能的協作過程和效果 19
  • 人工智能成為隊友意味著什么？
  • 有效的人類-人工智能協作的過程和特征, 20
    • 編隊的異質性, 20
    • 共同的認知, 21
    • 溝通和協調, 22
    • 社會智能, 22
    • 有效協作的其他特征, 23
  • 主要挑戰和研究差距, 23
  • 研究需求, 23
  • 總結, 24
• 4 人類與人工智能協作的態勢感知 25
  • 多域作戰中的態勢感知, 25
    • 關鍵挑戰和研究差距, 27
    • 研究需求, 27
  • 人類與人工智能編隊中的共享SA, 27
    • 關鍵挑戰和研究差距, 29
    • 研究需求, 29
  • 總結, 30
• 5 AI的透明度和可解釋性 31
  • 顯示透明度, 34
    • 關鍵挑戰和研究差距, 35
    • 研究需求, 35
  • 人工智能的可解釋性, 36
    • 關鍵挑戰和研究差距, 37
    • 研究需求, 38
  • 總結, 40
• 6 人類與人工智能編隊的互動 41
  • 自動化水平, 41
    • 關鍵挑戰和研究差距, 44
    • 研究需求, 44
  • 人工智能的動態和時間性, 44
    • 關鍵挑戰和研究差距, 45
    • 研究需求, 45
  • 控制的顆粒度, 46
    • 關鍵挑戰和研究差距，46
    • 研究需求, 46
  • 其他人類與人工智能編隊的互動問題, 47
    • 關鍵挑戰和研究差距, 47
    • 研究需求, 47
  • 總結, 48
• 7 信任人工智能隊友 49
  • 過去和現在的信任框架, 49
  • 復雜工作環境下的人工智能信任, 51
  • 關鍵挑戰和研究差距, 51
  • 研究需求, 52
  • 總結, 55
• 8 識別和減輕人類與人工智能編隊中的偏見 57
  • 人類的偏見, 57
  • 人工智能偏見, 57
  • 人與人工智能編隊的偏見, 59
  • 關鍵挑戰和研究差距, 60
  • 研究需求, 60
  • 總結, 61
• 9 訓練人類與人工智能編隊 63
  • 為人類與人工智能編隊訓練提供參考的人與人編隊訓練, 63
    • 編隊訓練的策略, 64
    • 仿真的使用, 64
    • 訓練內容：任務工作和團隊合作, 65
  • 關鍵挑戰和研究差距, 65
  • 研究需求, 66
  • 總結, 67
• 10 人類與人工智能編隊協作和績效的HSI過程和量化 69
  • 在人-AI編隊的設計和實施中采取HSI視角, 69
    • 關鍵挑戰和研究差距, 70
    • 研究需求, 70
  • 人類與人工智能編隊發展的研究要求, 71
    • 關鍵挑戰和研究差距, 71
    • 研究需求, 71
  • 研究團隊的能力, 72
    • 關鍵挑戰和研究差距, 73
    • 研究需求, 73
  • 人類與人工智能編隊的HSI考慮因素, 73
    • 關鍵挑戰和研究差距, 75
    • 研究需求, 75
  • 人類與人工智能編隊的測試、評估、驗證和確認，75
    • 關鍵挑戰和研究差距, 77
    • 研究需求,77
  • 人類與人工智能編隊研究試驗臺，77
    • 關鍵挑戰和研究差距，78
    • 研究需求, 78
  • 人類與人工智能編隊的措施和衡量標準, 78
    • 關鍵挑戰和研究差距, 80
    • 研究需求, 80
  • 敏捷軟件開發和HSI, 81
    • 關鍵挑戰和研究差距, 82
    • 研究需求, 82
  • 總結, 83
• 11 結論 85
• 參考文獻 91
• 附錄
• A 委員會簡歷 115
• B 人類與人工智能協作研討會議程 119
• C 定義 121

報告總結

美國軍方正加大對人工智能(AI)技術的投資，用于提高數據處理速度、任務規劃自動化，以及創建更快的預測目標和系統維護，該技術也會在多域作戰(MDO)的指揮控制中發揮關鍵作用。實現這一目標就要求人工智能系統具備任務執行的可靠性和健壯性，并且可以作為人類的隊友協同工作。

盡管人工智能技術優勢良多，但是也被證明在復雜的真實世界環境(如軍事行動)中面臨諸多挑戰，包括脆弱性、感知限制、隱藏的偏見以及缺乏預測關系模型等。這就意味著，在可預見的未來，人工智能將仍然不足以在復雜和新環境下獨立運行，人類需要仔細管理人工智能系統才能達到預期效果。

過去30年研究表明，人們作為復雜自動化(包括人工智能系統)的監控者同樣面臨巨大挑戰。人們可能會對系統正在做的事情缺乏了解，在嘗試與人工智能系統交互時工作負載高，在需要干預時缺乏態勢感知，基于系統輸入的決策偏差，以及手工技能的退化。這些眾多的挑戰將繼續在人類方面產生問題，即使是更有能力的基于人工智能的自動化。

因此，需要開發有效的人-智能協同編隊能力，利用人類和AI的獨特能力，克服各自的不足。一個高效的人-人工智能編隊最終會增強人的能力，提高性能，超越任何一個實體。為此，委員會制定了一套相互關聯的研究目標，旨在圍繞人類-人工智能編隊發展，這些目標基于對人類-人工智能編隊(第2章)、編隊流程(第3章)、態勢感知（SA）(第4章)、人工智能透明度和可解釋性(第5章)、人類-人工智能交互方法(第6章)、信任(第7章)、減少人和人工智能偏見(第8章)和培訓(第9章)的模型和度量的改進，并得到了人-系統集成(HSI)流程基金會(第10章)的支持。該報告總結提出人類-人工智能編隊研究目標，包括近期、中期和遠期目標。

人類-人工智能編隊模型

委員會研究發現，將人類和人工智能系統作為一個編隊來考慮具有重要價值。這種編隊結構促使人們認識到需要考慮每個團隊成員相互關聯的角色，并強調團隊互動的價值，包括溝通和協調，以提高綜合效能。在這樣的編隊安排中，研究認為，一般來說，出于倫理和實踐的原因，人類應該對人工智能系統擁有權威。需要改進人類-人工智能編隊的計算模型，考慮相互關聯的、動態發展的、分布式的和自適應的協同任務和條件，這些任務和條件也是MDO的網絡化指揮控制系統所需要的，并且在設計交互空間內是可預測的。需要改進人類-人工智能編隊的度量標準，考慮團隊管理相互依賴和動態角色分配能力，減少不確定性，并提高人工智能系統提供符合作戰人員期望的能力。

雖然假設人類-人工智能編隊將比人類或人工智能系統單獨運行更有效，但研究認為：除非人類能夠理解和預測人工智能系統的行為，否則情況不會如此；與人工智能系統建立適當的信任關系；根據人工智能系統的輸入做出準確的決策；以及時和適當的方式對系統施加控制。

人類-人工智能編隊流程

人類和人工智能系統進行編隊需要一個精心設計的系統，該系統具有任務分配工作和團隊合作的能力。沿著這條路線，需要通過改進團隊組合、目標對齊、溝通、協調、社會智能和開發新的人工智能語言來研究提高長期、分布式和敏捷的人工智能編隊的效率。這項研究可以利用現有人類-人類編隊的工作，但也認識到，需要新的研究來更好地理解和支持人類和人工智能系統之間的編隊流程。此外，研究認為，應該考察人工智能系統通過充當團隊協調員、指揮者或人力資源經理來提高團隊績效的潛力。

態勢感知

人們普遍認為，態勢感知(SA)對于有效的MDO性能至關重要，包括對人工智能系統的監督。在指揮控制作戰中支持個人和團隊SA的方法需要擴展到MDO，并且需要使用AI來支持信息集成、優先排序和跨聯合作戰空間路由的方法，以及提高SA對敵對攻擊的彈性。需要開發改善人工智能系統的人類SA的方法，這些方法考慮不同類型的應用、操作的時間以及與基于機器學習(ML)的人工智能系統能力。此外，旨在在人工智能團隊中創建共享SA的研究值得關注。人工智能系統需要在多大程度上既有自我意識又有對人類隊友的意識，這需要探索，以確定整體團隊表現的好處。最后，未來的人工智能系統將需要擁有綜合的態勢感知模型，以恰當地理解當前的情境，并預測未來情境。動態任務環境的人工智能模型是非常必要的，它可以與人類一起調整或消除目標沖突，并同步情景模型、決策、功能分配、任務優先級和計劃，以實現協調和下達的行動任務。

人工智能的透明度和可解釋性

改進的人工智能系統透明性和可解釋性是實現改進的人類SA和信任的關鍵。實時透明對于支持人工智能系統的理解和可預測性是至關重要的，并且已經被發現可以顯著地補償回路外的性能缺陷。需要研究更好定義信息需求和方法，以實現基于ML的AI系統的透明性，以及定義何時應該提供這樣的信息來滿足SA需求，而不會使人過載。需要進一步探索基于ML的人工智能系統的解釋的改進可視化，以及對機器人物角色的價值。此外，通過研究可以告知改進的多因素模型，解釋如何促進信任和信任影響的決策。需要開發有效的機制來使解釋適應接受者的需求、先驗知識和假設以及認知和情緒狀態。研究建議，應致力于確定對人類推理的解釋是否同樣可以改善人工智能系統和人-人工智能編隊的效能。

人-人工智能編隊互動

人-人工智能編隊中的交互機制和策略對團隊效率至關重要，包括隨著時間的推移支持跨職能靈活分配自動化級別(loa)的能力。需研究確定改進的方法，支持人類和人工智能系統在共享功能方面的合作，支持人類操作員在多個loa下與人工智能系統一起工作，并確定在高loa下與人工智能系統一起工作時保持或恢復SA的方法(在環控制)。還需要研究來確定新的要求，支持人-人工智能編隊之間的動態功能分配，并確定隨著時間的推移支持loa中動態過渡的最佳方法，包括這種過渡應該何時發生，誰應該激活它們，以及它們應該如何發生，以保持最佳的人-人工智能編隊效能。研究建議也對劇本控制方法進行研究，將其擴展到MDO任務和人-人工智能編隊中應用。最后，更好地理解和預測緊急人機交互的研究，以及更好地理解交互設計決策對技能保留、培訓要求、工作滿意度和整體人機團隊彈性影響的研究也是非常有益的。

信任

對人工智能的信任被認為是使用人工智能系統的一個基本因素。這將有利于未來的研究，以更好地記錄團隊環境中涉及的決策背景和目標，促進對更廣泛的社會技術因素如何影響人-人工智能編隊中的信任的理解。超越監督控制的交互結構也將受益于進一步的研究，特別是理解人工智能可指導性對信任關系的影響。需要改進信任措施，利用合作的重要性，將不信任的概念與信任分開。最后，需要信任的動態模型來捕捉信任如何在各種人-人工智能編隊環境中演變和影響效能結果。這項研究將很好地檢驗從二元團隊互動中出現的信任結果，并將這項工作擴展到信任如何在更大的團隊和多層級網絡中的效果。

偏差

人工智能系統中的潛在偏差，通常是隱藏的，會通過算法的開發以及系統偏差等因素造成。此外，人類可能會遇到決策偏差。特別重要的是，人工智能系統的準確性會直接影響人類的決策，從而產生人類-人工智能編隊偏見；因此，人類不能被視為人工智能建議的獨立裁決者。需要進行研究，以更好地理解人類和人工智能決策偏差之間的相互依賴性，這些偏差如何隨著時間的推移而演變，以及用基于ML的人工智能檢測和預防偏差的方法。還需要研究發現和防止利用這些偏見的攻擊行為。

訓練

需要對人-人工智能編隊進行訓練。考慮到各種團隊組成和規模，需要有針對性的研究如何訓練人-人工智能編隊。可以探索現有的訓練方法，看看它們是否適用于人-人工智能編隊。此外，可能需要訓練來更好地校準人類對人工智能隊友的期望，并培養適當的信任水平。開發和測試人-人工智能編隊工作程序需要特定的平臺。

HSI流程和措施

最后，要成功開發一個能像好隊友一樣工作的人工智能系統，需要HSI過程和方法改進。良好的HSI實踐將是新人工智能系統的設計、開發和測試的關鍵，特別是基于敏捷或DevOps實踐的系統開發。有效的人工智能團隊也需要新的HSI設計和測試方法，包括提高確定人工智能團隊要求的能力，特別是那些涉及人工智能的團隊。多學科人工智能開發團隊需要改進的方法，包括人工工程工程師、社會研究人員、系統工程師和計算機科學家。還需要圍繞人工智能生命周期測試和可審計性以及人工智能網絡漏洞的新團隊、方法和工具。需要開發用于測試和驗證進化的AI系統的方法，以檢測AI系統盲點和邊緣情況，并考慮脆弱性。支持這些新團隊研發活動的新人工智能試驗臺也很重要。最后，可能需要改進人機系協同的度量標準，特別是關于信任、心智模型和解釋質量的問題。

研究結論

總共提出了57個研究目標，以解決有效的人-人工智能編隊面臨的許多挑戰。這些研究目標分為近期(1-5年)、中期(6-10年)和遠期(10-15年)優先事項。這一組綜合的研究目標若實現，將在人-人工智能編隊競爭力方面取得重大進展。這些目標是將人工智能安全引入MDO等關鍵行動的基本前提，它們為更好地理解和支持人工智能系統的有效應用提供了參考框架。

摘要

在 2016 年人工智能促進協會 (AI) 發表的講話中，當時的協會主席呼吁 AI 為了魯棒性而犧牲一些最優性 [1]。對于 AI，魯棒性描述了系統在各種情況下保持其性能水平的能力 [5]。通過機器學習開發和驗證高質量模型面臨著特殊的挑戰。一般公認的大多數人工智能需要魯棒的原因包括：

? 訓練和運行數據的不確定性；

? 輸入來自不同訓練集，但在統計上或語義上與訓練群體一致；

? 訓練群體之外的輸入；

? 用有限的數據學習；

? 面對新穎的情況，需要不同于學習策略和分類器的開發方式；

? 對抗性行動。

此外，對于人類 AI 協作團隊，人類必須適當地信任 AI 系統；因此，透明度也可以被視為魯棒性問題。混合戰爭為人工智能的魯棒性帶來了額外的挑戰。決策的不同性質和必要的決策支持擴大了所需模型的范圍。在不同條件下開發的模型組合使用會影響可以對復合系統質量做出的統計聲明。

如果我們需要魯棒性，我們必須考慮它的度量。對與上述條件相關的魯棒性研究的調查，提供了一系列可能的措施。北約聯盟實施的混合戰爭需要了解所使用能力的魯棒性。在本文中，我們從當前文獻中調查了魯棒性度量的前景。在這樣做的過程中，我們有助于了解聯盟內部各種模型和軟件的組合。

1 引言

現代混合戰爭不僅包括傳統戰爭，還包括政治和網絡戰爭（以及其他），其越來越依賴人工智能 (AI) 在日益復雜的環境中執行任務。許多現代 AI 實現都是使用機器學習 (ML) 技術構建的，使用數據旨在來表示預期的情況。這意味著：

? 大多數當前的 AI 構建塊都是為特定目的而構建的，雖然旨在泛化以支持現實世界的輸入，但并不總是能夠處理不熟悉的情況（輸入）。它們是“黑盒”設計，可以實時或近乎實時地執行復雜的決策或環境解釋（分類），但通常只能為已知輸入產生可靠的答案。

? 如果提供以前從未見過的信息或通過人類可能察覺不到的攻擊，人工智能構建塊通常很容易被愚弄和混淆。

從本質上講，我們正在處理的是一個易受影響的問題：現代 ML 解決方案，實際上還有其他 AI 解決方案，本質上很容易被他們不熟悉的數據所欺騙 [2] [3]。例如，這使得依賴于它們的指揮和控制 (C2) 決策樹邏輯容易發生故障。當然，我們想知道如何通過確保利用人工智能的 C2 對故障具有魯棒性來保護自己免受此類漏洞的影響。

總結：

? 許多機器學習方法天生就容易受到環境變化和攻擊的影響；

? 因此，依賴機器學習（主要基于神經網絡（NN））的人工智能系統本質上是脆弱的；

? 因此，必須使依賴人工智能的混合戰爭變得強大。

1.1 魯棒性

ML 方法的訓練和運行都基于以下幾個方面：（1）輸入數據，（2）內部結構，以及（3）學習算法。機器學習的脆弱性可能是由許多因素造成的。出于本文的目的，我們假設網絡內部結構是靜態的、足夠強大且安全的，雖然還有許多其他因素，但我們考慮了兩個主要方面：(a) 訓練數據不佳，(b) 以前未使用的業務數據。因此，我們的重點是 ML 解決方案的輸入數據。

天真地，我們假設 ML 方法（尤其是 NN）是使用高質量（“好”）輸入數據訓練的：在運行期間可能期望 選擇性表示AI 處理的輸入范圍。這個想法是，在運行過程中，人工智能可以為運行數據產生“正確”的決策，這些決策與訓練它的數據相似。換句話說，人工智能必須能夠進行插值，并且在某種程度上還可以推斷其原理。

在最壞的情況下，糟糕的訓練數據會導致訓練出不符合目的的機器學習模型，或者在最好的情況下會導致生成“愚蠢”的模型；也就是說，只能做出具有高度不確定性的模糊決定。然而，在數據質量范圍的另一端也存在危險，因為雖然“好的”訓練數據可能會產生一個可以做出非常準確的決策的模型，但它可能只能使用窄范圍的輸入數據來做到這一點。當然，我們希望機器學習既能滿足其性能要求，又能適應它最初沒有訓練過的新環境；即能夠處理新穎事物場景。

因此，ML 的一個重要目標是構建一種泛化良好的能力。在狹窄的應用程序中，我們希望確保在環境樣本上訓練過的模型能夠像宣傳的那樣在整個環境中工作。最終，我們希望人工智能面向復雜環境的處理能力，可針對所有現實，或者至少是人類感知的所有現實。從某種意義上說，這完全涵蓋了所有情況，沒有新的情況。如果我們觀察牛頓宇宙并且擁有巨大內存量，那么所有情況都可以從當前數據中預測出來。但是，由于我們對宇宙建模的能力受到嚴重限制，因此可能會經常出現新穎情況。在不可能為復雜環境訓練模型的前提下，當這些模型被引入現實世界時，模型應該能應對各種突發情況。

因此，表征模型的魯棒性具有挑戰性，需要考慮模型的不同方面的魯棒性。雖然有許多可用的魯棒性定義，但應區分用于傳統軟件魯棒性的定義，例如 IEEE 24765[4] 的定義，以及與 AI 模型相關的定義。本文中使用 ISO CD22989 [5] 中提供的定義：

魯棒性是“系統在任何情況下保持其性能水平的能力。魯棒性屬性表明系統有能力（或無能力）在新數據上具有與訓練它的數據或典型運行數據相當的性能。”

1.1.1 魯棒性度量

在定義了術語“魯棒性”之后，由于本文的重點是魯棒性度量，我們現在將定義術語“度量”，應用于魯棒性。為了在編寫定義時為我們的思考過程提供信息，確定度量魯棒性可能具有的各種目的以及利益相關者可能是誰，是有用的。由于魯棒性度量的目的和要求將取決于 ML 模型的生命周期階段，因此我們分析了生命周期階段的目的。

盡管許多 ML 模型將基于 NN，但我們的分析擴展到涵蓋 ML 類型和架構的不同變體，并指出 ML 的主要變體是：NN、決策樹和強化學習。

在 ML 模型設計和開發階段，開發人員將試驗模型設計并調整模型的架構和參數，以優化模型的性能。在這個階段，魯棒性度量的目的既可以是提供一種在進行這些更改時度量魯棒性改進的方法，也可以描述模型如何表現魯棒性。此外，不同模型的開發人員之間商定的度量標準將允許在模型設計之間進行可靠的比較。

在系統設計階段，在選擇現成的ML模型納入整個系統時，度量魯棒性將通過提供一種方法來比較一個模型與另一個模型的魯棒性水平和性質，從而為系統設計者提供關于模型選擇的決策信息。

在部署之前，安全從業人員將使用魯棒性度量來為包含 ML 的系統的安全風險評估提供信息。具體來說，該度量將為 ML 模型的漏洞分析提供信息，若該模型具有低魯棒性，則表示攻擊者可以利用漏洞。

最后，在部署階段，從單個 ML 組件的魯棒性度量中得出的整體系統魯棒性度量，將支持最終用戶對系統輸出或行為的信任和信心。

鑒于上述使用范圍和相關利益者，出于本文的目的，我們將有意保留術語“度量”的寬泛定義。我們的定義超出了純粹的測量或量化行為，包括我們如何描述或表征 ML 在任何特定環境中的魯棒性。因此，我們將本文的其余部分基于以下定義：

魯棒性度量是 ML 模型在其生命周期中可能面臨的各種挑戰的魯棒性的度量或表征。特定度量的精確性質將取決于 ML 模型的類型、模型旨在完成的任務、以及模型所處生命周期的階段。

1.2 方法論和論文結構

在考慮魯棒性度量時，我們通過提出“面對……什么的魯棒性？”這個問題開始分析。這生成了一個 ML 模型可能面臨的情況列表，在這些情況下，它們的魯棒性可能會受到挑戰。我們稱這些為“面對”條件。

? 訓練和運行數據的不確定性；

? 不同于訓練集的輸入，但在統計上或語義上與訓練群體一致；

? 訓練群體之外的輸入；

? 用有限的數據學習；

? 新穎的情況，不同于學習策略和分類器的開發方式；

? 對抗性行動；

我們的文獻檢索提供了許多關于魯棒性的先前研究，對于每一項，我們都試圖確定它們適合哪些類別。雖然這并不總是顯而易見的，但它似乎代表了一種構建分析合乎邏輯的方式。因此，在以下段落中，我們嘗試以這種方式對文獻檢索中的單個研究進行分類。

對于每個類別，我們描述了每個魯棒性挑戰的性質和細節，然后是用于度量魯棒性的度量指標類型。盡管本文中對魯棒性的審查不包括混合戰爭示例，但所討論的內容適用于混合戰爭方法。

2 挑戰和度量方法

2.1 訓練和運行數據的不確定性

能夠處理訓練和運行數據中的不確定性對于 AI 來說至關重要，它代表了當前 ML 系統的關鍵組成部分，尤其是那些在軍事領域等危急情況下使用的系統。

2.1.1 挑戰

在 ML 中，目標是在給定的成本函數情況下，學習最適合訓練數據的模型參數。然后，部署該模型以獲取對新數據和未見過數據的預測。作為訓練過程的結果，任何學習模型都帶有不確定性，因為它的泛化能力必然基于歸納過程，即用數據生成過程的一般模型替換特定觀察[6]。盡管研究界做出了許多努力，但沒有任何現有的 ML 模型被證明是正確的，因為任何可能的實驗都嚴重依賴于假設，因此當受到以前未見的輸入數據影響時，每個當前的 ML 模型輸出仍然是不確定的。

不確定性在統計領域有著悠久的歷史，從一開始，它就經常被聯系起來并被視為一個類似于標準概率和概率預測的概念。然而，在最近，由于當前對 ML 的炒作以及如今基于此類解決方案的系統正在控制我們的日常生活，研究界對此類概念的興趣越來越大。這首先是出于安全要求，為此需要新的方法來應對。

在現有文獻中討論 ML 不確定性的不同方法中，可以根據所考慮的不確定性類型對它們進行聚類。當前的大多數作品都解決了偶然或認知不確定性。

2.1.1.1 偶然和認知不確定性

對 ML 中的不確定性進行建模的傳統方法是應用概率論。這種概率建模通常處理單個概率分布，因此忽略了區分偶然不確定性和認知不確定性的重要性 [7] [8]。

偶然不確定性：我們可以將其稱為統計不確定性，它源于實驗結果可變性的隨機性概念。簡而言之，當提到偶然不確定性時，我們隱含地指的是即使存在任何其他信息源也無法減少的不確定性。讓我們通過一個非常基本的例子來描述這一點：假設我們想要模擬拋硬幣的概率結果。我們可以定義一個概率模型，該模型能夠提供頭部或尾部的概率，但不能提供保證的結果。這種不確定性定義了總不確定性的不能復歸的部分。

認知不確定性：也稱為系統不確定性，這是由無知/缺乏知識決定的總不確定性的一部分。這種不確定性是由于機器學習系統的認知狀態造成的，并且可以通過附加信息來減少。例如，假設我們有一個 ML 模型學習一門新語言，并且給它一個新詞，它應該猜測它是指頭還是尾。智能體對正確答案的不確定性與預測拋硬幣時一樣不確定，但是通過在情況中包含額外信息（即提供同義詞或解釋單詞的正確含義），我們可以消除任何不確定性在答案中。因此應該很清楚，與偶然性相反，認知不確定性定義了總不確定性的可還原部分。

既然我們已經定義了偶然不確定性和認知不確定性，我們將考慮有監督的 ML 算法以及這兩種不同類型的不確定性如何在 ML 中表示。

在監督學習環境中，我們可以訪問由 n 個元組 (xi,yi) 組成的訓練集 D = {(x1,y1),…,(xn,yn)}，其中 xi （屬于實例空間 X）是包含特征的第 i 個樣本 (即，測量值），而 yi 是來自可能結果集 Y 的相關目標變量。

在這種情況下，ML 算法具有三個不確定性來源：

? 偶然不確定性：通常，X 和 Y 之間的相關性不是確定性的。因此，對于給定的輸入 xi，我們可以有多個可能的結果。即使存在完整的信息，實際結果 yi 也存在不確定性。

? 模型不確定性：為解決給定問題而選擇的模型可能遠非最適合該任務的模型。這是由于模型的正確性和假設的正確性存在不確定性。

? 近似不確定性：通過優化過程學習的模型參數只是對真實假設的估計。這種估計是由于在學習過程中使用的數據缺乏保真度。

模型和近似不確定性都代表認知不確定性。

應該注意的是，對于 ML 算法，偶然不確定性和認知不確定性在很大程度上取決于環境。例如，通過允許學習過程改變最初定義的場景的可能性，可以減少偶然不確定性以支持認知不確定性；也就是說，原始環境中的偶然不確定性并沒有改變，而是通過改變環境而改變（類似于在擲硬幣的例子中加權硬幣的一側）。相反，如果我們考慮一個固定的初始場景，我們知道認知不確定性（即缺乏 ML 算法知識）取決于學習過程中使用的數據量（多少觀察）。由于訓練樣本的數量趨于無窮大，機器學習系統能夠完全降低逼近不確定性。

2.1.2 表示不確定性的機器學習方法

表示不確定性的不同 ML 方法具有不同的能力，可以根據以下內容進行聚類： (i) 表示不確定性的方式； (ii) 如果處理兩種類型的不確定性（偶然性和認知性）中的兩種或僅一種； (iii) 如果他們提供了任何可用于提供不確定性數量粗略估計的解決方案。

2.1.2.1 高斯過程

高斯過程 (GP) [9] 是一種用于監督學習的通用建模工具。它們可用于泛化多元隨機變量的貝葉斯推理和函數推理。在分類的情況下，GP 具有離散的結果，不確定性定義的困難在于知識的表示，然后將其識別為模型的認知不確定性，就像在貝葉斯方法中一樣。在回歸的情況下，可以將偶然不確定性（即誤差項的方差）與認知不確定性區分開來。

2.1.2.2 最大似然估計和Fisher信息數

在機器學習中，最大似然估計原理起著關鍵作用。事實上，如果一個模型可以“非常接近”似然函數的最大值，這意味著數據的微小變化可能對估計的影響有限。如果似然函數是平滑的，它可能是一個很好的指標，表明估計存在高度的不確定性，這可能是由于許多參數的配置具有相似的似然性。

在 ML 中，我們經常利用 Fisher 矩陣 [10] 來表示認知不確定性的數值 [11]。

2.1.2.3 生成模型

生成模型可用于量化認知不確定性。考慮到這些方法的概率性質，這些方法旨在模擬數據分布的密度，通過確定給定數據是否位于高密度或低密度區域，這些模型隱含地提供有關認知不確定性的信息。這一類別中最相關的工作是基于核密度估計或高斯混合，最近在深度自動編碼器方面取得了一些進展[12]。

密度估計是處理異常和異常值檢測方法的關鍵要素，后者只是一個分類問題，當樣本位于低密度區域時，它被認為是分布之外的問題。這樣的成果反而捕捉了偶然的不確定性。

一般來說，生成模型解決了一個非常具有挑戰性的問題，需要大量數據才能正常工作，并且通常具有很高的不確定性。

2.1.2.4 深度神經網絡

人工深度神經網絡 (DNN) 本質上是一個概率分類器，我們可以將訓練 DNN 的過程定義為執行最大似然推理。這導致模型能夠生成給定輸入數據的概率估計，但不能提供有關其概率置信度的詳細信息：捕獲了偶然的不確定性，而沒有捕獲認知。盡管如此，后者通常被稱為模型參數的不確定性。在文獻中，最近有一些作品 [13] [14] 試圖通過將貝葉斯擴展引入 DNN 來模擬這種認知不確定性。

2.1.2.5 模型集成

模型集成（Model Ensembles ）模型類的常見示例是 bagging 或 boosting。這種方法非常受歡迎，因為它們可以通過產生一組預測而不是單個假設來顯著提高點預測的準確性[15]。可以包含在此類中的最相關的工作是隨機森林模型 [16]。此類別中的方法主要關注整體不確定性的任意部分。

2.1.2.6 Credal 集和分類器

Credal 集（Credal Sets）是一組概率分布，它是貝葉斯推理推廣的基礎，其中每個單一的先驗分布都被一個候選先驗的Credal 集所取代。作品 [17] [18] 研究如何定義Credal 集的不確定性以及相關表示，定義了存在于Credal 集中的兩種類型的不確定性：由于隨機性導致的“沖突”和“非特異性”。這些直接對應于任意和認知的不確定性；通常使用 Hartley 函數 [19] 作為標準不確定性度量； [20] 還定義了一種工具，可用于評估 ML 系統在面對訓練和操作數據的不確定性時的魯棒性。如果我們知道給定隨機變量的未知值在給定的有限集中，Hartley 函數可用于評估不確定性。此外，已經通過類似 Hartley [80] 和廣義 Hartley [81] 措施提出了對無限集的擴展。

2.2 與訓練集不同但在統計上或語義上與訓練群體一致的輸入

在運行期間，分類器為輸入數據的每個樣本分配一個類標簽。考慮到上述魯棒性的定義，類內可變性，即分配到同一類的所有樣本之間的可能變化，隱含地包含在用于學習分類器的訓練數據集中。

2.2.1 對語義數據變體的魯棒性

使用更具建設性的方法來定義魯棒性有助于更好地模擬用戶對分類器性能的期望。為此，如果分類器對于輸入數據的所有有意義的變體是不變的，我們將暫時稱其為魯棒分類器。顯然，所有有意義的變體的集合取決于應用場景，這通常很難描述。然而，對于許多分類問題，這種有意義的變體可以分為兩類：（i）物理修改（例如，噪聲添加、混合失真、裁剪、旋轉、縮放）和(ii) 輸入樣本的語義修改（例如發音的不同方式）。圖 1(1) 說明了手寫數字分類示例的這兩類可能變體。我們考慮書寫數字“9”的不同變體。而（如圖 1 所示）噪聲添加 (a) 和混雜失真 (b) 可被視為屬于第一類，第三類 (c) 在數字“9”上添加一個小弧線是有意義的（句法）變體，特別是不同國家的當地文化，它使符號（“九”）的語義保持不變。

圖 1 (1) 手寫數字 9 的可能數據變體，(2) 使用變分自動編碼器 (VAE) 重建的數字 3、8、9 的空間，該編碼器對來自 MNIST 語料庫的各個數字進行訓練，(3) 對應的潛在空間表示顏色編碼數字類型。

2.2.1.1 物理魯棒性

AI/ML 相對于第一類變體的魯棒性，尚未得到令人滿意的解決，但近年來已在相當程度上得到解決。在許多涉及對第一類變體的魯棒性的出版物中，基礎數據樣本被建模為歐幾里得向量空間中的向量。然后通過將范數有界向量添加到數據樣本來對失真進行建模。這里，通常使用 Lebesguetype 范數（lp norms）（特別是 l1、l2 和 l∞）。在一篇被廣泛引用的論文 [20] 中表明，這種 l2 范數有界的“對抗性攻擊”可用于在基于神經網絡的分類器中導致錯誤分類。隨后，在對抗性攻擊和相應的保護方法領域做了很多工作（本文稍后將進一步詳細討論）。結果表明，在許多情況下，攻擊很難檢測到，并且對于當時最先進的方法，可以繞過檢測 [21]。顯然，在這種情況下的魯棒性需要保護免受對抗性攻擊。在這種對抗性攻擊環境中定義魯棒性的許多方法可以在一個通用框架下捕獲，如 [22] 所示。

2.2.1.2 語義魯棒性

第二類，數據樣本的語義上有意義的變體，導致了迄今為止很大程度上尚未解決的重大挑戰。相應地，在[68]中，對所謂的感知擾動的魯棒性被稱為一個開放的研究問題。盡管現代基于 AI 的分類器，特別是深度神經網絡，在眾所周知的公共分類挑戰上取得了破紀錄的改進，但相比之下，它們的判別性自然不會導致分類結果的易解釋性。近年來，整個研究分支都集中在可解釋的 AI 上，即，研究通過給定分類器對映射到相同類別的樣本集進行形式化甚至語義化的方法。

理解分類器語義的一個重要方法是將成功的判別分類器與生成模型結合起來。生成方法的優點是可以使用這些模型生成來自原始（樣本）空間的示例。一種結合分類器和生成模型的成功方法是生成對抗網絡（GAN）[24]。

也可以適用于分類的生成模型是（變分）自動編碼器（VAE）[25]。自動編碼器的基本思想是通過訓練一個深度神經網絡來學習原始數據的緊湊表示，該網絡在兩端具有全維（相對于原始數據）層，中間有一個稀疏的“瓶頸”層。圖 1 (2) 和 (3) 說明了如何使用 VAE 來“理解”網絡學習的類別：(2) 顯示了一組具有代表性的重構，這些重構是由經過訓練的 VAE 的生成部分獲得的，用于對 MNIST 數據集的數字“3”、“8”和“9”進行分類。因此，在某種意義上，（2）總結了分類器準備識別的內容。在圖 1 的右側，（3）顯示了從 VAE 的分類器分支獲得的輸入樣本（即 MNIST 數字）的潛在空間表示。顏色對三個數字進行編碼。潛在空間點和重構樣本之間的對應關系如箭頭所示。在藍色中，繪制了將 9 的流形與其他數字分開的曲線，以指示學習的分類邊界。考慮到這個例子，我們注意到上述變體 (c) 在重建部分 (2) 中沒有很好地表示 - 考慮到語義庫受到北美書寫數字風格的偏見，這并不奇怪。因此，為了使分類器對變化 (c) 具有魯棒性，必須應用額外的措施，例如增加或添加到訓練數據中。

基于生成模型，Buzhinsky 等人[26] 提出了幾個指標來衡量分類器對“自然”對抗樣本的魯棒性。為此，他們提出了一組在潛在空間中工作的六個性能指標，并隨后顯示了上述經典對抗魯棒性和“潛在對抗魯棒性”之間的聯系，即對潛在空間擾動的魯棒性。后者的有趣之處在于，幾個示例的潛在空間擾動已被證明與原始樣本空間中語義上有意義的變體相對應。

我們注意到經典的對抗魯棒性已經可以用于獲得關于小范數有界擾動的人工智能分類器的“認證”魯棒性。然而，語義魯棒性更難以形式化，并且與正確理解和建模目標類密切相關。為此，生成模型是一個重要的工具。諸如投影信念網絡 (PBN) 等新概念，即基于前饋神經網絡結構的分層生成模型，具有易于處理的似然函數的優勢，在該領域非常有前景 [27]。

最近的一項工作 [75] 涉及一種稱為復雜事件處理的 ML 形式，其中融合了來自多個傳感器的具有空間和時間關系的多模態輸入，以允許深度學習模型推斷特定類型的事件，例如槍聲或爆炸。此類事件被稱為“復雜事件”。因此，魯棒性的概念并不適用于模型本身，而是適用于機器學習功能所包含的整個組件系統。該研究聲稱，（a）人類邏輯在基于模式和序列預定義復雜事件中與（b）來自單個傳感器的深度學習推斷相結合，提高了系統對錯誤分類的魯棒性。

2.3 訓練群體之外的輸入

在 [78]中，Ashmore 等人識別一組關于輸入域及其子集的定義：I 輸入域空間——模型可以接受的輸入集； O，運行域空間——模型在預期運行域中使用時可能預期接收的一組輸入； F，故障域空間——如果系統其他地方出現故障，模型可能接收到的一組輸入； A，對抗域空間——模型在被對手攻擊時可能收到的一組輸入；其中 O、F 和 A 都是 I 的子集。這些定義不僅在考慮訓練群體之外的輸入（可以從 O、F 或 A 中得出）時很有用，而且在推理模型的輸入時更普遍。

小的、像素空間的擾動，人類可能察覺不到，通常使用 lp 范數測量擾動幅度，是評估模型魯棒性的合理方法（將在 2.6 節后面討論）；特別是在對抗性攻擊的可能性更高的混合戰爭領域。然而，在考慮評估模型的魯棒性時，這些小擾動不一定適用于 Ashmore 的攻擊域空間 (A) 之外。最近，獨立的工作 [79] [80] 已經開始研究擾動模型的輸入，使其遠離經常討論和研究的小擾動方法，而不是生成被認為與環境相關且人類可區分的擾動：這些擾動看起來會在輸入上引入純粹、模糊或朦朧等（這可以合理地代表來自 F 或 O 的輸入）。

此外，在 [80] 中，作者建議對語義相關的圖像引入有意義的擾動，但這些擾動可能尚未包含在模型訓練集中；例如，例如，將一群鵝引入一個場景，在這個場景中，模型正在識別停車場中的車輛數量。雖然最后一類有意義的擾動顯然是 Ashmore 的輸入域空間 (I) 的一部分，但可以說，如果訓練數據集不足，這些語義相關的擾動也可以被視為運行域空間 (O) 的一部分。有趣的是，[80] 還發現，當增加系統對小擾動的魯棒性時，模型在處理語義上有意義的擾動時可能變得不那么魯棒，因此考慮評估模型對這兩種擾動類型的魯棒性顯然很重要。

為了評估模型對這種語義上有意義或環境相關的擾動的魯棒程度，[80] 的作者提出了一種用于引入擾動的滴定方法，這樣可以逐步測量在模型的準確性變得可疑之前引入擾動（例如，通過其置信度或已知基礎事實的分類變化）。當考慮模型在預期的運行域空間中的應用時，這提供了一個進一步的度量標準來評估模型的魯棒性。

2.4 用有限的數據學習

眾所周知，使用深度學習需要大量數據來學習復雜的任務。如果訓練數據太小，模型會過擬合，泛化能力很差。不幸的是，獲取高質量的訓練數據既困難又昂貴，因為它通常需要人工標記。例如，細粒度的 Cityscapes 數據集平均需要 1.5 小時來標記每個樣本 [28]。此外，與為學術目的（概念驗證、評估、基準測試等）開發的數據集不同，軍事數據集還必須包含代表在現實世界可能發生但難以觀察甚至預測的大量邊緣情況的數據。如果沒有這樣的訓練數據，在可能最重要的時候，或者在條件因敵對行動而意外改變的時候，軍事模型的實際價值將是有限的。

軍事應用的數據采集挑戰是重大的，但也是必須解決的，以確保模型在現實世界中部署時是強大的。幸運的是，許多轉移學習技術[29][30][31]已經被提出，這些技術利用了深度神經網絡可以學習到可轉移的一般特征，因此，可以被其他類似的任務重新使用[32]。預訓練與微調相結合，通常用于利用少量/有限的數據進行學習，同時避免昂貴的大規模模型（如GPT-3）的再訓練，這些模型可能需要專門的硬件來學習。其主要思想是：

1.將預訓練的源模型的一部分復制到目標模型中；

2.向目標模型添加一個或多個隨機初始化的（未訓練的）層，使最后一層與目標的標簽空間相匹配；

3.使用標記的目標域數據訓練模型。

然而，這些技術不能用于軍事數據來自特殊傳感器（如激光雷達、紅外、合成孔徑雷達和高光譜）的情況，這些傳感器很少有預先訓練好的模型，或者過于敏感，甚至在盟友之間也不能共享。

無監督領域適應是另一種轉移學習技術，雖然它在淺層學習中已經被研究了幾十年，但最近在深度學習中也受到了很多關注[33]。使用這種技術，來自源域的標記訓練數據可以用來訓練一個使用目標域的無監督數據模型。該方法假設源域的標記數據成本低且容易獲得。

從軍事角度來看，這個想法很有吸引力，因為源數據有可能是合成的。也就是說，已經存在的模擬器或其他生成模型有可能被改編為不僅能生成完美標記的源數據，還能生成代表邊緣情況的數據，否則很難甚至不可能獲得這些數據。基于模擬的方法將完全消除人類的標記工作，否則可能會導致不正確、有偏見和不完整的數據集，這些數據集在訓練時也會轉移到模型中。使用無監督領域適應性來彌補 "模擬到真實"的差距（sim2real）正在積極進行[34][35]，使用各種技術，其中許多依賴于使用對抗性方法，如領域損失函數[36][37]和生成性對抗網絡（GANs）[38][39]。

2.5 新情況，不同于學習策略和分類器的開發方式

為了在復雜環境中發揮作用，人工智能必須表現出對新事物的魯棒性。DeepMind[41]的演示表明，ML可以被用來開發策略，從而在僵硬的游戲中實現超人的發揮。圍棋“Go”這個游戲提供了一個復雜的環境，超過了我們對游戲可能狀態的存儲極限，因此提供了前面討論的關于我們對牛頓宇宙建模的極限的情況。然而，如果改變了游戲規則，生成的代理就會變得很脆弱或者完全失敗。在[42]中，這種類型的結果在一個更簡單的環境中被證明，實驗闡明不同的變化如何影響代理的魯棒性。

但新穎性不僅僅是數據點不包含在 ML 訓練集中的情況。為了將新穎性的研究結合起來，[43] 提出了一個描述新穎性的框架。圖 2 說明了人們如何以一種可以同時衡量新穎性和代理反應的方式看待新穎性。這種新穎性觀點的關鍵在于，可以將新穎性考慮到與世界有關的方面以及與代理人的經驗有關的方面。同樣，對代理任務有影響的新穎性，對魯棒性的影響不同于對任務沒有影響的新穎性。這也是 Chao [42] 中證明的一個發現。

圖 2. 考慮新穎性的框架。

2.5.1 DARPA SAIL-ON 計劃

DARPA SAIL-ON 計劃 [40] 中采用的一種基于游戲的新穎性實驗方法。 DARPA SAIL-ON 計劃假設智能體具有以下四個要素：

? 一種性能要素，它使用已知的專業知識通過感知、推理、規劃、控制機制來完成任務并實現目標（例如，尋找和收集具有所需特征的水下物體）;

? 一個監控元素，將觀察結果與期望值進行比較，以檢測環境（例如，聲納不可靠、不熟悉的捕食者）和代理自身行為（例如，車輛向右轉向）中的異常情況；

? 一種診斷要素，可定位專業問題，生成有關原因（例如，非反射表面、橫流、未對準的螺旋槳）、評估備選方案并從中進行選擇；

? 修復被認為是造成性能問題的專業知識并糾正它們的維修要素（例如，更新的聲納方程、電流敏感控制器或新的螺旋槳模型）。

正如上文關于新穎性的介紹部分所述，這項研究的大部分開始于認識到 DeepMind 用于解決圍棋、國際象棋、將棋和星際爭霸游戲的方法對游戲規則的變化并不魯棒。一個例子是南加州大學 (USC) 開發并通過 GitHub 發布的 GNOME 框架。

NIWC Pacific 與 USC 合作開發了一個版本，英國 Dstl 使用 GNOME 框架開發了“Hunting of the Plark”游戲。這將允許對受過訓練以玩該游戲的代理的新穎性影響進行實驗，這是圖靈研究所研究小組的重點。計劃對使用 ML 開發的決策支持工具進行進一步實驗，我們不僅可以處理模擬情況，還可以與美國海軍進行現場實驗。

2.5.2 新穎性檢測

個體在不知道世界形勢發生變化的情況下對新穎事物有很強的抵抗能力。這很可能是由于新穎事物對正在執行的任務并不重要，或者至少是在敏感度較低的領域變化。然而，處理新穎事物的一個策略是至少檢測到一個代理處于一個新穎的情況，即使該代理不知道如何在新穎的環境中工作，除了退出或提醒其他人注意這種情況。

代理的基本問題是：環境是否發生了變化，或者正在分析的數據是否只是在以前分布的一個尾部？目前，對于大部分的ML來說，僅僅認識到數據不在樣本范圍內可能就足夠了。至少能認識到其自身局限性的ML在許多情況下是一個進步。在這方面，經典的對抗性例子演示經常被提起：在這些實驗中，代理往往對他們的錯誤答案非常自信[44]。

在規劃系統中，識別可能基于對任務進度的動態評估。如果規劃無效，一種可能是世界以一種模型未反映的方式發生了變化。早期檢測可能會防止災難性結果，但這并不能保證。事實上，人們可以設想無法恢復的情景（在黑洞的事件視界上轉彎是一個極端的例子）。

2.5.4對新穎性的魯棒響應

[45] 將提供魯棒響應的任務定義如下：

? 假定：使用專業知識在一類環境情況下運行的代理架構；

? 假定：支持此類環境中可接受的代理性能專業知識；

? 假定：在突然的、未通知的更改環境中，經驗有限會導致性能降低；

? 發現：當環境發生變化時，哪些修改后的專業知識將支持可接受的性能。

對新穎事物的響應類型與正在執行的任務類型有關。在分類器中，系統可能需要調整其模型，不僅允許改變其提供的答案，還允許解釋這種變化意味著什么。例如，想象一個感知代理，其可確定機器人是否存在障礙物。相機系統的改變，例如鏡頭上的蒼蠅附著可能會為系統創造一個新局面。如果系統能夠適應并確定不存在障礙，則需要對情況進行解釋以證明答案的合理性。

圖 3. SAIL-ON 新穎性指標假設。注意程序中的 TA2 代理是那些對環境中的新穎事物做出反應的代理。

對于規劃系統，新穎性可能表現為采用新的行動或發現行動的成本與以前不同；目標可能會發生巨大變化。規劃系統可能不得不調整他們的知識，重新計算以前的任務，利用經驗來改變他們的計算。上面圖 3 中的假設說明了測量環境。在環境中出現變化之前，學習和運行可能會進行一段時間。對特定變化還不夠魯棒的代理性能會下降，必須找到一種方法來檢測新事物的發生，確定發生了什么變化并在運行中對其進行解釋。

2.6 對抗性行動

在過去的幾十年里，已經證明基于深度學習技術的機器學習模型可以在各種任務中達到甚至超越人類水平的表現。另一方面，機器學習模型通常容易受到輸入擾動的影響，并且很容易被愚弄以產生不正確的輸出 [53] [54]。這些類型的操作被稱為對抗性攻擊，機器學習模型對抗這些攻擊的性能被測量為對抗魯棒性 [55]。在兩個不同方面研究了對抗魯棒性。第一個方面，研究人員試圖找到一種產生對抗性攻擊的方法，以最大程度地降低模型的魯棒性 [56] [57] [58] [59] [48]。第二方面，研究人員試圖找到更好的訓練或防御方法，使網絡架構對這種對抗性攻擊更加魯棒[60] [61] [62] [63] [64]。在本節中，我們調查了對抗性攻擊和防御方法，并從當前文獻中定義了對抗魯棒性的指標和測量方法。

2.6.1 對抗性攻擊

[54] 中針對機器學習系統 M 和輸入樣本 C（稱為干凈樣本）定義了對抗性攻擊，如下所示：

“假設樣本 C 被機器學習系統正確分類，即 M(C) = y。可以構建一個對抗性樣本 A，它在感知上與 C 無法區分，但分類錯誤，即 M(A) ≠ y。”

基于此定義，對抗性攻擊的目的是修改模型輸入以導致不正確的模型輸出，使其無法被人類觀察者區分。不可區分性標準對可應用于輸入的擾動有一些限制，這在文獻中稱為 lp 范數，即

其中 ? 是最大允許擾動。最常用的范數是 l2 和 l∞。

考慮到這一限制，提出了幾種方法來生成對抗性樣本 [65] [55] [48]。生成對抗樣本主要遵循兩種不同的方法，即黑盒和白盒。在黑盒方法中，用戶不了解模型，只能訪問給定輸入的預測概率或預測類別。另一方面，假設模型及其參數在白盒方法中是完全已知的[47]。

白盒攻擊在欺騙模型方面比黑盒攻擊更有效，并且在文獻 [56] [57] [58] [48] 中使用不同的方法進行了廣泛的研究。白盒攻擊主要是基于梯度的攻擊方法：它們通常構造一個損失函數，可以導致擾動攻擊能力的提高和擾動幅度的降低，然后通過梯度優化損失函數以生成對抗樣本[66]。使用損失函數的梯度來確定對抗性擾動，可以像快速梯度符號法（FGSM）[65]那樣在一個步驟中進行，用于快速生成對抗性樣本。為了提高效果并減少擾動，在基于迭代梯度的攻擊中，不是在梯度方向上采取單一步驟，而是采取多個較小的步驟[54][48]。

對抗性攻擊也可以作為訓練的一部分。最近的一些工作[46]背景是一個對等網絡，其中每個對等體都有一份神經網絡模型的副本，以創建一個分布式的學習環境，這并不依賴于中央協調節點的存在。這樣的機器學習架構非常適用于有多個伙伴的軍事聯盟場景。最初，每個對等體擁有總訓練數據集的一個子集，隨著模型訓練的進行，模型參數在每次訓練迭代時都在對等體之間共享。

本實驗基于 Fashion-MNIST 數據集，并非試圖提高點對點 ML 的魯棒性，而是測量和優化中毒技術在導致對等體錯誤分類方面的有效性。中毒效果的衡量標準是，就訓練迭代次數而言，惡意對等體能夠可靠地毒化良性對等體的速度有多快。然而，我們相信相同的指標可以用來推斷 ML 對這種中毒的魯棒性：實現錯誤分類所需的迭代次數越多，魯棒性就越高。

2.6.2 對抗性防御

已經提出了一些方法來保證在特定條件下對范數有界的對抗性攻擊的魯棒性。例如，Wong 和 Kolter [67] 使用對抗性多面體的概念為基于 ReLU 的分類器提出了可證明的防御措施。此外，[68] 中提出了一種有效且完整的分段線性神經網絡魯棒性驗證器。在該論文中，提出了一種算法，該算法基于最大 (l∞-) 范數在對抗性誤差上產生經過驗證的界限。

獲得強大的深度神經網絡的最成功的方法之一是通過對抗訓練。對抗性訓練的主要動機是將攻擊和防御都納入一個共同的理論框架，自然地封裝了大多數先前關于對抗性樣本的工作 [55]。在這種方法中，不是直接將原始數據集中的樣本輸入到訓練中，而是允許對抗性攻擊首先擾動輸入，然后將擾動的樣本輸入到訓練中。對抗性訓練以不同的方式得到增強，例如改變攻擊過程、損失函數或模型架構 [69] [50]。

對抗性訓練的性能很大程度上取決于生成增強訓練數據集時使用的損失函數和對抗性攻擊方法，并且由于需要生成對抗性樣本，與干凈訓練相比需要更長的時間。在 [73] 中，已經證明，使用具有早期停止的經典對抗訓練可以更容易地提高最先進的對抗訓練方法的性能。這表明我們對對抗性訓練的理解是有限的。在 [74] 中分析了對抗性訓練對魯棒性的影響，他們得出結論，在使用（隨機）梯度下降的干凈訓練過程中，神經網絡將在所有特征中積累一些與任何自然輸入，但極易受到（密集）對抗性擾動的影響。在對抗訓練期間，這種密集的混合物被“純化”以使模型更加魯棒。

2.6.2.1 訓練期間隨機噪聲的隱式生成建模提高了對抗魯棒性

最近開展的工作 [70] 專門研究了上述方法。事實上，這項工作旨在通過將隨機噪聲引入訓練輸入并使用隨機梯度下降 (SGD) 對其進行優化，同時最小化訓練數據的總體成本函數，從而使深度神經網絡對對抗性輸入更加魯棒。效果是在開始時隨機初始化的輸入噪聲在訓練過程中逐漸被學習。結果，噪聲近似地模擬了輸入分布，以有效地最大化給定輸入的類標簽的可能性。

作者 [70] 評估了他們在 MNIST、CIFAR10 和 CIFAR100 等分類任務上的方法，并表明以這種方式訓練的模型更具對抗性。發現噪聲和干凈圖像的組合方式對精度有重大影響，乘法比加法獲得更高的精度。魯棒性的直接度量沒有發展，而是隨著擾動水平的增加，魯棒性被量化為精度函數。

2.6.2.2 基于離散化的對抗性攻擊解決方案

繼對抗性訓練的主題之后，[72] 表明，圖像分類深度神經網絡對對抗性輸入的魯棒性可以通過輸入空間和模型參數空間的離散化來提高，同時精度損失最小。在使用 MNIST、CIFAR10、CIFAR100 和 ImageNet 數據集的實驗中，輸入空間的離散化涉及將像素強度的數量從 256 (28) 減少到 4 (22)，參數空間的離散化涉及使用低精度權重訓練模型以及諸如二元神經網絡 (BNN) 之類的激活。此外，結合這兩種離散化技術極大地提高了模型的魯棒性。與更昂貴的對抗性訓練過程（即使用對抗性示例訓練模型）相比，這種組合方案可以被視為提高魯棒性的另一種方法。在每個實驗中，通過比較分類的準確性來衡量魯棒性，同時對抗性擾動 (ε) 逐漸增加。實際上，這項工作中魯棒性的度量似乎是在保持給定精度的同時可以容忍的擾動程度。

2.6.2.3 減輕神經網絡中的對抗性樣本

在最后一個示例中，進行了一項相對簡單的工作 [71]。對圖像分類器的輸入進行預處理是通過將輸入饋入高斯核來實現的，其效果相當于平滑低通濾波器，其中平滑程度取決于內核的標準偏差參數。該實驗是使用 MNIST 數據集進行的，并測量了平滑和各種對抗性噪聲水平的不同組合的準確度。結果表明，為了優化給定水平的對抗性噪聲的準確性，存在一個最佳的平滑水平。在這種情況下，用于魯棒性的度量是針對給定數量的對抗性噪聲的成功攻擊的百分比。該度量允許直接比較使用和不使用平滑的性能。

2.6.3 測量對抗魯棒性

對抗性魯棒性可以衡量為對抗性攻擊[47]擾動輸入的模型準確性。由于評估取決于應用的對抗性攻擊，因此很難衡量模型的實際對抗魯棒性。

文獻中的大多數作品通過使用在其訓練階段使用的相同或相似的對抗性攻擊方法和損失函數，來展示其方法的對抗性魯棒性。在[48]中已經表明，通過改變損失函數和生成對抗樣本的方法，可以實現比原始論文中報道的更低的對抗魯棒性。實際上，[48] 中指出，在 49 個案例中，有 13 個案例的魯棒性變化大于 10%，在 8 個案例中大于 30%。

在 [49] 中，通過將幾個深度神經網絡的性能與人類觀察者進行不同類型的操作進行比較，進行了類似的評估。在這項工作中，已經表明，只有在訓練階段知道所應用的操作時，深度神經網絡才能達到人類水平的性能。對于未知的操作，深度神經網絡的性能會急劇下降。此外，文獻中提出的許多防御策略都被更強大的對手打破了[48] [50]。因此，應仔細比較在不同方法下獲得的魯棒性，以確保評估盡可能有效[47]。

對抗魯棒性被報告為從擾動集中獲取的最壞情況輸入的模型精度。除了準確性之外，還可以測量兩種類型的性能指標來評估模型的魯棒性。第一個指標是對抗頻率，它衡量模型多久無法保持穩健[51]。第二個是對抗性嚴重性，用于衡量從原始輸入到對抗性樣本的預期最小距離 [51] [52]，即模型被愚弄的難易程度。事實上，引用[51]：

“頻率和嚴重性捕獲了不同的魯棒性行為。神經網絡可能具有高對抗頻率但對抗嚴重程度低，這表明大多數對抗樣本距離原始點有非常小的距離。相反，神經網絡可能具有較低的對抗頻率但較高的對抗嚴重性，這表明它通常是魯棒的，但偶爾會嚴重不魯棒。頻率通常是更重要的指標，因為具有低對抗頻率的神經網絡在大多數情況下都是魯棒的。實際上，對抗性頻率對應于用于衡量魯棒性的對抗性樣本的準確性。嚴重性可用于區分具有相似對抗頻率的神經網絡。”

3 結束語

混合戰爭表明可能有許多系統和許多模型，因此如果假設人工智能將在混合戰爭系統的集合中使用，那么多種錯誤來源具有破壞人工智能在軍事領域應用的巨大潛力。

因此，上述當前技術的標準和調查都與了解將 AI 和 ML 應用于混合軍事領域的潛在弱點相關，因此在涉及與 AI 和 ML 的魯棒性有關的考慮時，顯然需要確保未來進行廣泛的評估。很明顯，有一個重要的考慮領域和可用的度量方法。然而，正如之前在第 2 節中提出的，這些度量方法適用于不同的利益相關者、不同的模型和潛在的不同任務。

因此，當前的問題是如何為特定模型確定和找到正確的度量方法，以獲得混合戰爭系統所需的置信度。 IST-169 打算推進這項初步調查來做到這一點。我們相信，開發各種類型的魯棒性及其適用于不同類型 AI 階段的圖形表示，將有助于全面了解 AI 魯棒性格局。這將加強并采取更嚴格的方法對人工智能應用進行開發。

「美國人仍未認真思考 AI 革命將對社會、經濟和國家安全產生多大影響」，3 月 1 日，美國國家人工智能安全委員會（the National Security Commission on Artificial Intelligence，NSCAI）發布的一份報告，提出了對于總統拜登、國會及企業和機構的數十項建議。

該組織稱，中國是對于美國技術主導地位的首要挑戰，在第二次世界大戰后第一次有國家對美國的經濟和軍事力量產生了如此程度的威脅。該報告的一個結論是，在未來十年內，美國可能會失去對中國的軍事技術優勢。

這個由 15 名成員組成的委員會主張以 400 億美元的投資擴展和民主化 AI 研究的進程，并為「未來技術突破進行投資」，鼓勵決策者們對創新投資持類似態度。該組織最終希望能推動聯邦政府在未來幾年里對于人工智能投資數千億美元。