壓縮的戰術決策周期將是未來快節奏的超級戰爭的支點。人工智能武器系統有望擴展和最大化人類的能力，成為武裝部隊在這種致命作戰環境中的生存能力和殺傷力的關鍵。人工智能不是武器；它是武器系統的組成部分或元素--最可能是一個軍事網絡或 "軍事物聯網"，它將加速火力或效果應用的速度和決策。網絡化部隊將為整個企業的態勢感知和戰斗管理提供信息。部隊不太可能出動 "殺手機器人"--攜帶武器、不受人類指揮做出生死決定的單獨實體。相反，創建和使用自主武器系統（AWS）將需要一個定義明確的作戰環境，并獲得豐富、準確、超大的數據集，如GPS，由分布式傳感器提供，加上改進的機器學習算法和高性能處理器，將人工智能融合到殺傷鏈中。殺傷鏈過程結合了多光譜傳感器，以了解作戰環境，積極地識別、跟蹤和選擇目標，并以最適當的效果與他們交戰。(蘇聯將這一過程稱為 "偵察打擊綜合體"，而在20世紀90年代，美國的約翰-博伊德推廣了 "OODA循環 "一詞，即武裝部隊在對手面前競相觀察、定位、決定和行動）。人工智能旨在促進這種適應性的、多領域的、高速的決策模式，在此過程中，它有望提供決定性的軍事優勢。本研究的第二部分敘述了美國武裝部隊在武裝沖突期間對人工智能的當前和潛在使用。

在第三部分，研究轉向適用于戰爭中使用人工智能的規則。所有的戰爭方法和手段，包括人工智能，都必須符合戰爭法，也稱為武裝沖突法（LOAC）或國際人道主義法律（IHL）。指揮官有責任確保他們所掌握和指揮的方法和手段，包括人工智能，符合武裝沖突法的原則，如區分、相稱性和攻擊中需要預防的規則。

第四部分探討了《特定常規武器公約》（CCW）成員國為制定有助于確保AWS遵守武裝沖突法的標準所做的努力。特定常規武器公約》召集了一個政府專家小組（GGE），考慮對AWS的人類判斷或控制水平進行標準化的定義，以確保人類對機器的行為負責。政府專家小組最關注的是確保在敵對行動中使用致命性武器（LAWS）符合武裝沖突法。這項工作旨在彌補致命性武器系統在法律上暴露的 "漏洞"。然而，無論這一過程中產生了什么標準，都不可能成為確保致命性武器系統的運作符合武裝沖突法的有效和可靠的指導。

此外，一些非政府組織和有關國家認為，讓指揮官對行為不可預測的自主武器系統負責是不公平的，但這正是軍隊運作的方式--賦予軍事指揮部對部隊的全權和責任。特定常規武器公約》政府專家小組的努力不太可能產生詳細的、被廣泛接受的規則，從而有意義地改進這種模式。作戰的軍事指揮官已經對他們在武裝沖突期間使用人工智能武器系統負責，這是第五部分的重點。

第五部分探討了體現在軍事指揮官身上的人類問責制。軍事指揮官對人工智能武器系統的使用以及在他或她的指導下支持戰爭行動的所有努力路線負責。直接的、個人的指揮責任是長期的、完整的。對所有軍事行動--包括武裝沖突中由人工智能發動的攻擊--的相應責任由指揮系統的最高層承擔。這種問責可能是以刑法的形式，但也包括一系列行政和非司法措施。直接問責涵蓋了武裝沖突期間發生的每一件事，包括那些國際刑事法院缺乏管轄權或證據不足的事件，因此它規范了指揮官的行為，即使他們沒有犯罪意圖，事實上，即使他們沒有直接 "過錯"。

第六部分的結論是，指揮官的直接和個人問責的好處是長期存在，被廣泛理解，并被一線軍官和軍事領導人直觀地理解；它是軍事文化的一部分。雖然它可以利用法律程序，包括軍事司法系統，但它并不完全受制于或依賴這些程序。雖然指揮官仍然要為戰爭罪受到刑事處罰，但軍事問責制也包括一系列非司法和行政制裁。指揮官對人工智能武器系統的問責尤其引人注目，因為與常規武器不同，如果出了問題，沒有額外的人（或更少的人）可以負責。

摘要

這項工作探討了使用人工智能（AI）來加強海軍戰術殺傷鏈。海軍行動對水兵提出了很高的要求，要求他們在與艦隊指揮結構協同操作各種作戰系統的同時，保持對態勢的認識，執行任務，并為沖突做好準備。海軍行動由于涉及到武器的使用而變得更加復雜。涉及武器使用的一系列戰術過程和決策被稱為殺傷鏈。一個有效的殺傷鏈需要識別和了解威脅，確定行動方案，執行選定的行動，并評估其效果。殺傷鏈是一個特別緊張的戰術行動類別，因為它們必須在有限和不確定的知識下，在關鍵和苛刻的時限內，依靠各種先進的技術系統，在高度動態和變化的環境中實施，并造成嚴重后果。海軍正在研究人工智能作為一種新興技術，通過減少不確定性、提高決策速度、加強決策評估來改善殺傷鏈行動。本文介紹了對人工智能方法在支持海軍戰術殺傷鏈的特定功能方面的功效評估。

引言

海軍作戰是動態的，在沖突期間，它們變得高度復雜。在海洋環境中與作戰人員團隊一起操作各種先進的技術系統（包括艦艇、飛機、傳感器、通信系統和武器），建立了一個具有挑戰性的行動基線。在沖突或危機情況下，行動的節奏加快，并可能變得非常不穩定；對形勢的認識和對戰斗空間的了解充滿了不確定性；有效的決定對任務的成功至關重要，并會帶來沉重的后果。

一場涉及武器交戰的海軍悲劇是1998年美國海軍 "文森 "號巡洋艦發射的地對空導彈擊落了商用飛機空客A300，機上290名乘客全部死亡（Pasley，2020）（如圖1所示）。這場悲劇涉及到壓力下的時間關鍵性決策（Johnston等人，1998）。

圖1.美國海軍文森號從甲板上發射導彈。

這一事件代表了海軍行動中決策的復雜性，并特別強調了觀察-定向-決定-行動（OODA）循環中的挑戰，這是由約翰-博伊德在1950年代開發的行動活動模型（瓊斯，2020）。人為錯誤、人類認知的局限性和海軍行動固有的決策復雜性導致OODA環路的挑戰，更具體地說，是殺傷鏈過程的挑戰（馮-盧比茨等人，2008，Szeligowski，2018）。殺傷鏈功能是涉及使用武器系統的戰術活動和決策。一個有效的殺傷鏈需要正確設置和使用艦載傳感器，識別和分類未知的接觸，根據運動學和情報分析接觸意圖，認識環境，以及決策分析和戰爭資源選擇（O'Donoughue等人，2021，史密斯，2010，趙等人，2016）。這項研究源于尋找方法來支持水手和作戰人員以及他們在海軍行動中必須做出的經常是復雜的決定。

最近在人工智能和先進數據分析方面的進展導致了海軍的研究，以確定如何利用這些方法來支持廣泛的海軍應用。正在研究人工智能方法在海軍后勤、任務規劃、物理安全、自主系統和網絡安全方面的潛在應用（Heller，2019，Mittu和Lawless 2015）。

在海軍研究使用人工智能方法的過程中，殺傷鏈是另一個備受關注的主要應用。概念性研究提出將人工智能用作認知助手和人機協作（Iversen和DiVita，2019年；Ding等人，2022年；Johnson 2019年；Grooms，2019年；Albarado等人，2022年）。使用人工智能從多個來源的數據融合中提取知識和作戰環境的情況意識的研究正在成熟（Zhao等人，2018）。

這項研究著眼于整個海軍戰術OODA環，以評估使用人工智能來改善每個特定的殺傷鏈功能。圖2顯示了海軍海上戰術領域的概念圖，作為利用人工智能方法和技術的重點。該圖用軍事術語描述了殺傷鏈OODA循環功能的循環性質：發現-修復-追蹤-目標-接觸-評估。該研究探討了使用人工智能來加強這些功能，因為它們被用于海軍藍軍在海洋領域防御紅軍的威脅。

圖2. 概念圖：人工智能賦能海軍戰術殺傷鏈行動。

本文首先回顧了海軍戰術殺傷鏈，描述了戰術戰爭過程模型，并確定了一組28個殺傷鏈功能作為本研究的主題。下一節總結了適用于殺傷鏈的人工智能方法。隨后描述了為本研究開發的評估框架。本文最后介紹了這項研究的結果--人工智能方法與殺傷鏈的映射。

海軍戰術殺傷鏈

分析開始于對海軍作戰相關的戰術操作模型的研究，以便以一種能夠與人工智能方法相一致的形式獲取對殺傷鏈的描述。目標是建立一個海軍戰術殺傷鏈的描述，以： (1)代表海軍戰術領域中與戰斗有關的行動，(2)具有足夠的通用性，以模擬廣泛的戰術決策和行動，(3)被分解到適當的水平，以確定個別和獨特的過程。

殺傷鏈這個術語是指涉及使用武器的攻擊結構。該過程被描述為一個鏈條，以說明用武器攻擊目標需要一套完整的端到端決策和行動，任何階段的中斷都會破壞該過程。Clawson等人（2015）將殺傷鏈描述為 "成功使用特定武器對付特定威脅所需的任務或功能"。殺傷鏈過程包括目標檢測、選擇與目標交戰和選擇武器所涉及的決策，以及攻擊的實際執行。

約翰-博伊德的OODA循環模型是理解戰術行動的基礎，它代表著觀察、定向、決定和行動。圖3展示了OODA循環模型--強調了循環發生的四個階段的行動或過程。在觀察階段，數據和信息被收集。在定向階段，這些信息被處理、融合和分析，以提供對形勢的認識。在決定階段，藍軍決定是否需要采取行動以及這些行動應該是什么。在行動階段，行動被執行，并收集更多信息以確定是否產生了預期的效果。OODA循環對軍事思想有半個多世紀的影響，并幫助塑造了戰爭系統的發展和戰爭理論（Angerman 2004）。OODA循環模型已被用于預測和理解軍事行動反應時間（Hightower 2007）、認知戰術決策（Plehn 2000）、指揮和控制系統及網絡的設計目標（Revay 2017），甚至是高級軍事戰略制定（Hasik 2013）。在現實世界的戰術行動中，許多OODA循環的活動都是動態的、循環的和并發的。

圖3. 殺傷鏈OODA環

OODA循環模型為理解殺傷鏈過程提供了基礎，并導致了對圖4所示的查找-修復-跟蹤-目標-評估（F2T2EA）殺傷鏈過程模型（參謀長聯席會議，2013）的研究。F2T2EA是另一個以軍事術語描述殺傷鏈的過程模型。F2T2EA模型將戰術功能分為六類，并強調戰術行動的周期性。F2T2EA抓住了戰術戰爭功能、決策和行動的細微差別，為人工智能的映射提供了一個更詳細的框架，以激發具體、全面和獨立的殺傷鏈功能。

圖4. F2T2EA殺傷鏈周期。

這項研究開發了一套28個殺傷鏈功能，列于表1。該表顯示了這些功能是如何被歸入OODA和F2T2EA殺傷鏈過程模型的。建立一套具有一定獨立性的不同功能的目的是為了支持特定的人工智能方法與特定的殺傷鏈功能的映射，同時保持它們能夠代表戰術行動中發生的各種海軍決策和行動。

表1. 28個殺傷鏈功能

殺傷鏈的功能是通用的，適用于涉及 "殺傷"行動的各種戰術行動。在這項研究中，殺傷鏈可以支持進攻性打擊和防御性任務；殺傷可以是硬的，也可以是軟的。這允許使用非致命性和反措施行動，以消除對手的資產，完成戰術任務。

在沖突或危機期間，戰術行動的實施涉及殺傷鏈功能的復雜、動態和循環組合。這些功能會重疊、同時發生、重復出現，并且往往需要根據威脅情況進行多次實例化。"尋找 "和 "修復 "將是持續的功能；"跟蹤 "將出現在探測到的每個物體上；"瞄準 "將對被認為有威脅的物體進行；"交戰 "和 "評估 "將對需要殺傷（或解除）行動的威脅實施。

隨著海軍探索殺傷鏈功能的自動化并考慮使用人工智能方法，殺傷鏈功能的特點也開始發揮作用。殺傷鏈與它的威脅情況密切相關。這種作戰環境在許多方面決定了殺傷鏈的時間軸、交戰幾何、局勢動態、不確定性水平和整體復雜性。表2確定并描述了影響人工智能如何被利用來提高自動化和支持戰術決策的殺傷鏈功能的條件。

表2. 殺傷鏈功能特征

表2中列出和描述的特征具有相互依賴性，這些特征源于任務目標、威脅情況的復雜性以及藍軍資產的結構和能力。任務的性質--進攻性或防御性--確定了事件的初始時間線。威脅情況會影響這個時間線，并影響動態、決策風險水平和整體不確定性。藍軍資產的結構和能力影響到可用的決策選擇。殺傷鏈的決策有許多考慮因素，包括傳感器的覆蓋范圍、對對手意圖的評估、交戰策略、交戰規則和要使用的武器。這些復雜和相互依存的特性影響到可接受的決策風險和不確定性水平，并最終影響到整個殺傷鏈過程中可接受的自動化水平。

這項研究檢查和評估了特定人工智能方法的潛力，以加強特定的殺傷鏈功能。其目的是通過提高自動化程度來改善整體戰術任務--不一定要取代人類決策者，但要支持戰術決策--特別是當殺傷鏈決策過程變得高度復雜時。

人工智能

美國國防部（DoD）將人工智能描述為 "機器執行通常需要人類智慧的任務的能力--例如，識別模式、從經驗中學習、得出結論、進行預測或采取行動--無論是以數字方式還是作為自主物理系統背后的小軟件"（艾倫2020）。人工智能是一個包括許多不同方法的領域，目標是創造具有智能的機器（Mitchell 2019）。人工智能領域正在迅速發展，國防部正在積極研究如何將人工智能有效地應用于軍事任務（GAO 2022）。

DARPA的Launchbury（2017）將人工智能的發展描述為三波，如圖5所示。第一次浪潮（約1970年代至1990年代）產生了基于規則的專家系統，可以推理，但沒有學習或歸納的能力。第二波（約2000年至今）產生了先進的統計大數據學習和深度神經網絡，它們可以感知和學習，但推理或概括的能力有限。第三次浪潮，剛剛開始（2020年及以后），將以上下文適應為特征，在推理和概括能力方面取得進展。未來學家預測，第四次浪潮（2030年及以后）將導致人工通用智能，使機器能夠執行人類能夠執行的任何智力任務（Jones 2018）。

圖5. 三次人工智能浪潮

這項研究專注于三次人工智能浪潮中的人工智能方法，這些方法已經在不同的應用領域得到了證明，或者目前正在研究和開發中。該團隊研究了廣泛的人工智能相關主題（在表3中列出并描述），以便為評估提供知識基礎。

表3中描述的主題是方法、學科和支持能力的類別，它們可能直接影響到為殺傷鏈有效部署AI的能力。每種方法的實施方式將決定未來人工智能支持的殺傷鏈的不同方面。人工智能內部工作的可解釋性和人機合作的能力將影響作戰人員與人工智能系統的互動和信任。特征工程、數據管理和實用功能將影響到人工智能系統的內部運作，因此也影響到人工智能系統的輸出和決策建議。博弈論、決策論、模糊邏輯、融合、空間-時間推理、進化和遺傳算法、預測性和規定性分析以及聯邦學習等學科被納入的方式將決定未來人工智能系統的設計和架構。表3中的人工智能相關主題被用于本文下一節解釋的定性評價。

表3. 人工智能相關主題在殺傷鏈研究中的考慮

該團隊選擇了八種具體的人工智能方法（在表4中列出并描述）用于殺傷鏈的映射。這八種人工智能方法是感知、學習、抽象和推理以獲得更好的知識、預測性能、開發和評估決策選項（或戰術行動路線）的不同技術。它們被認為有可能為殺傷鏈過程的不同方面提供價值，同時也代表了一組不同的人工智能方法，以促進對人工智能如何改善殺傷鏈的更全面的評估。

表4. 八種具體的人工智能方法用于殺傷鏈的映射

目前，人工智能方面的許多進展正在進行中。這項研究確定了感興趣的主題和具體方法，顯示出加強戰術殺傷鏈的強大潛力。本文對這些主題和方法進行了總結。關于人工智能主題和方法的更詳細描述載于本研究的頂點報告（Burns等人，2021）。

評估框架

這項研究開發了一個框架，以評估人工智能方法對殺傷鏈特定功能的適用性。該評估包括兩個部分： (1)從殺傷鏈功能的角度進行的定量分析，以及(2)從人工智能主題的角度進行的定性分析。

第一個部分是基于一套決策點問題形式的四個評價標準（列于表5）、一種評分方法（列于表6）以及與四個決策點中的每一個相關的評價過程。該框架的這一部分產生了一個量化的評價，以評分的形式表明特定人工智能方法對支持或實現特定殺傷鏈功能的適用程度。該小組在應用評分標準時進行了主觀判斷。

表5. 評估決策點問題

表6. 評分標準

第一個決定點要求對每個殺傷鏈功能進行評估，以確定需要什么樣的輸出，并對每個人工智能方法進行評估，以確定其產生的輸出類型的特點。表5顯示了每個決策點的輸出類型。定量輸出包含實數值。定性輸出包括分類數據。集群形式的輸出指的是由強烈關聯的質量分組的數據，通常用于在數據集中尋找模式。基于規則的輸出是一系列的if/then因果規則。表7顯示了對28個殺傷鏈功能之一的評分評估的例子，第25條 "確認影響"。對于這個功能，團隊確定可以使用數據集群來協助特征描述過程，還注意到可解釋的輸出是強制性的，而且預測器的數量較少，以便能夠有更高的準確性。顏色方案表明，聚類是最適合的人工智能/ML方法，邏輯回歸和關聯也可能為殺傷鏈功能提供一些支持。

表7. 25號功能（確認影響）的評分示例

第二個決策點需要對殺傷鏈過程進行評估，以確定什么類型的數據可用，什么類型的學習方式適合每個功能。如果一個包含預測因子和響應變量的完全標記的數據集可用于人工智能的訓練和開發，監督學習將是一個合適的方法。如果殺傷鏈過程中的一個步驟在其數據集中包含預測因素，但沒有響應變量，那么無監督學習將是合適的方法。最后，如果一個殺傷鏈過程有部分或無標記的數據集可用，并且還與一套定義明確的一般規則有關，可以為訓練人工智能學習系統提供反饋，那么強化學習將是一個合適的方法。

第三個決策點根據對人工智能方法的內部運作需要多少可解釋性（或透明的洞察力）來評估每個殺傷鏈功能（XAI=可解釋的人工智能）。為了本研究的目的，這三個選項是基于對要求強制性XAI、希望的XAI或不要求XAI的定性評估。

第四個決策點是根據充分代表殺傷鏈過程不同方面所需的預測因子（或特征）的數量來評估特定人工智能方法的功效。表征與每個殺傷鏈功能相關的決策空間的特征可能會根據現實世界的情況而改變。ML模型需要代表這些特征，并使用輸入變量或預測器來實現。ML模型代表現實世界的方式和相關的特征數量將影響適當方法的選擇。本研究根據輸入特征的數量確定了三類預測器： 1-9，10-99，和100+。

評價框架的第二部分是基于對人工智能相關主題和方法的調查，以及對每種方法的好處和局限性或挑戰的定性評估，因為它們可能適用于殺人鏈領域。這部分評價是從人工智能方法及其對殺傷鏈的普遍適用性這一更廣泛的角度進行的。上一節中的表4列出了被評估的人工智能主題和方法。

人工智能到殺傷鏈的映射

這項研究的結果被總結為兩個人工制品：表8中的映射為每個殺傷鏈功能推薦了最合適的人工智能/ML方法，表9中對戰術領域的人工智能相關方法進行了定性評價。

表8. AI/ML方法到殺傷鏈的映射

表9. 對戰術領域的人工智能相關方法進行了定性評價

表8所示的定量圖譜是對28個殺傷鏈功能中的每一個功能進行決策點評估的結果。每個功能的單獨記分卡可以在相關的頂點報告中找到（Burns et al, 2021）。雖然大多數記分卡導致了一個明確的主導AI/ML方法的適用性，但有四個殺傷鏈功能被評估為有一個以上的潛在方法可供選擇。在8種打分的AI/ML方法中，只有4種得分高到可以進入最終映射：聚類、關聯、邏輯回歸和線性回歸。

定性分析的結果是對人工智能相關的方法和主題以及它們與殺雞用牛的相關性的評價。表9包含了定性評價的結果。

結論

總之，這種映射分析從兩個方向進行：（1）從殺傷鏈開始，將人工智能方法映射到各個殺傷鏈的功能；（2）從人工智能方法和相關主題開始，評估它們對殺傷鏈的潛在效用。由該研究小組開發的第一種方法遵循了一種使用四個決策點的量化評分方法。第二種方法是對各種人工智能方法和相關主題進行調查，并對每種方法與未來人工智能殺傷鏈決策輔助工具的潛在關聯性進行定性評估。

定量分析顯示，一小部分人工智能方法將是為殺傷鏈功能提供高級自動化支持的最佳候選方法。這些方法是：聚類、關聯、邏輯回歸和線性回歸。他們被評估的對殺傷鏈的優越效用是基于他們產生的輸出類型，他們使用的機器學習類型，他們對用戶的可解釋能力，以及他們需要的代表性預測器或特征的數量。這種分析性映射方法是 "自下而上 "的，因為它的起點是傳統的殺傷鏈功能集。它假設各個人工智能方法將被分到各個獨立的殺傷鏈功能中。這預設了一個特定的設計方案，并對殺傷鏈決策輔助工具的未來架構做出了限制。

第二個映射分析是定性的和高層次的，它想象了各種人工智能方法和相關主題的未來潛力，以實現和/或支持未來的人工智能輔助殺傷鏈的決策。這種分析方法是 "自上而下 "的，因為它從一種人工智能方法或感興趣的領域開始，并從整體上評估其與殺傷鏈的一般相關性，而不強加一個特定的設計或被分配到一個特定的功能。這項分析確定了13個與人工智能有關的主題，這些主題可能為未來的殺傷鏈提供效用。人工智能正在成為許多軍事應用中的一項技術。海軍將從人工智能在許多行動中的應用中獲益，包括殺傷鏈。對人工智能增強和/或人工智能啟用的殺傷鏈進行有效和適當的設計和工程，對于實現對同行競爭對手的戰術優勢以及確保其用于支持武器系統的安全性和可靠性至關重要。該項目提供了一個分析基礎，作為繼續研究人工智能在殺傷鏈中的應用的起點。該分析將具體的人工智能方法與殺傷鏈的28個功能相聯系，并確定了人工智能方法和相關主題，這些方法和主題顯示了加強和促成未來海軍殺傷鏈的潛力。這項研究建議繼續研究人工智能和ML在戰術殺傷鏈中的應用。

美國戰略家認為，人工智能(AI)有可能實現更好、更快的決策，這在未來的軍事沖突中是決定性的。機器學習應用將越來越多地影響政治和軍事領導人對戰略環境的看法，權衡風險和選擇，并判斷他們的對手。但是，將關鍵的人類決策過程暴露在人工智能系統的中會有什么風險？

要獲得人工智能在決策方面的優勢，首先需要了解其局限性和陷阱。人工智能系統根據數據模式進行預測。總是有一些意外行為或失敗的機會。現有的工具和技術試圖使人工智能對失敗更加穩健，往往會導致性能上的權衡，解決了一個問題，但可能會使另一個問題惡化。人們對人工智能的脆弱性和缺陷的認識不斷提高，但也需要在現實的部署背景下對技術故障的潛在后果進行更深入的分析。

本簡報研究了直接或間接影響決策的人工智能系統故障如何與戰略壓力和人為因素相互作用，從而引發危機或沖突的升級：

• 納入人工智能的進攻行動或干擾對手的人工智能系統可能導致不可預見的系統故障和連帶效應，引發意外的升級。
• 不安全的、訓練不足的或應用于錯誤類型問題的人工智能系統可能為決策過程注入不良信息，導致意外升級。
• 發現人工智能系統被破壞，可能會對關鍵能力的可靠性或生存能力產生不確定性，如果沖突似乎迫在眉睫，會促使決策者故意升級。

這些情景揭示了一個核心困境：決策者希望使用人工智能來減少不確定性，特別是當涉及到他們對戰場的認識，了解對手的意圖和能力，或了解他們自己抵御攻擊的能力。但通過依賴人工智能，他們在人工智能系統技術故障的可能性和后果方面引入了一個新的不確定性來源。

有效利用人工智能需要以一種有謹慎的和有風險的方式來平衡優勢與局限。沒有辦法保證概率性人工智能系統會完全按照預期行為，也沒有辦法保證它能給出正確的答案。然而，軍隊可以設計人工智能系統和依賴它們的決策過程，以減少人工智能失敗的可能性并控制其后果，包括通過：

• 為決策環境中使用的人工智能系統定義一套特定的任務屬性、標準和要求，如信任度量和保障措施，以檢測妥協或突發屬性。
• 規定人工智能在決策中的使用，將人工智能應用于非常適合的狹窄問題，同時保留人類判斷問題，如解釋對手的意圖；并考慮在某些領域完全排除人工智能。
• 盡可能地讓高級決策者參與他們所依賴的系統的開發、測試和評估過程，并讓他們了解人工智能的優勢和缺陷，以便他們能夠識別系統的故障。

美國應繼續帶頭制定負責任地開發和使用人工智能的全球標準，采取步驟展示某些可靠性，并盡可能地鼓勵其他國家采取類似的預防措施：

• 澄清為限制支持決策的人工智能系統的風險而實施的做法和保障措施。
• 開展國際合作，制定互利的技術保障措施和最佳做法，以減少人工智能災難性故障的風險。
• 承諾在使用包含人工智能能力的進攻性行動和針對人工智能系統的行動時保持克制，因為這些行動存在重大升級風險。

人工智能（AI）系統很可能會改變軍事行動。本文探討了人工智能系統如何影響準備和進行軍事行動的主要工具，并受其影響。因此，本文在戰略、理論、計劃、交戰規則和命令的背景下分析和討論了人工智能，以確定機會、挑戰和開放性問題的位置，并提出總體意見。本文采取了一個廣泛的分析角度，能夠根據新的政策和技術發展以及對政治、軍事、法律和道德觀點的考慮，對這一問題進行總體審查。因此，本文提供了一些見解和途徑，以推動對人工智能在軍事行動中的適當整合、管理和使用的進一步思考、研究和決策。

前言

美國陸軍未來與概念中心 未來戰爭部主任 克里斯-羅杰斯上校

歷史上的戰爭包含了大量改變戰爭性質的工具和技術的例子。自最初研究多域作戰（MDO）以來，美國陸軍發現人工智能是一種新興技術，有可能改變戰爭的特點，也許也會改變戰爭的性質。使用人工智能（AI）解決方案來緩解軍事問題是過去兩年未來戰爭研究、檢查和學習的一個反復出現的主題。作為2019年未來研究計劃的一部分，我們與陸軍、聯合、多國、學術和科技組織合作，探索和了解人工智能對多軍種的影響，并為未來的研究和發展制定一個操作框架。

多域作戰的人工智能運作最終報告提供了采用人工智能的組織框架，以幫助陸軍和聯合部隊更好地定義所需的能力以及相關的數據和網絡架構，以實現多域能力部隊。描述聯合部隊如何采用人工智能解決方案，為了解人工智能在時間和空間上對多域作戰的影響提供了一個操作說明。本報告確定并解決了與人工智能相關的好處、機會和挑戰，為進一步分析提供了基礎。諸如人工智能等新興技術使陸軍不僅可以改進當前的戰術、技術和程序，而且可以創造新的運用和融合能力的方法。

該報告支持美國陸軍人工智能任務組，該組織負責制定陸軍的人工智能戰略和政策。本文通過描述部隊如何在整個MDO框架內采用人工智能解決方案和相關技術，啟動了陸軍的人工智能運用工作。這份報告使概念發展團體能夠修改陸軍功能概念和戰場發展計劃。它為能力發展團體提供了作戰視角和部隊在確定所需能力時必須考慮的技術影響。此外，該報告還為作戰概念文件或基于能力的評估提供了開發情景或小插曲的基礎。該文件為科學和技術界提供了行動背景，以便為人工智能研究、開發、建模和模擬提供信息和指導。最后，它支持制定一個在未來使用人工智能的全面愿景，以告知陸軍現代化的努力，這將創造有能力的MDO部隊，準備好與任何對手作戰并取得勝利。

執行摘要

人工智能（AI）是未來聯合部隊實現多域作戰（MDO）全部潛力的基礎。人工智能系統提供了跨越領域、電磁頻譜和信息環境戰勝對手的能力。在競爭中使用這些系統使聯合部隊能夠近乎實時地了解作戰環境，從而更好地運用能力來擊敗旨在破壞區域穩定的威脅行動，阻止暴力升級，并將被拒絕的空間變成有爭議的空間。在從競爭到武裝沖突的過渡中，人工智能的機動、火力以及情報、監視和偵察能力為聯合部隊提供了拒絕敵人奪取優勢地位的能力。改進的維持能力與攻擊敵人的反介入/空中拒止網絡的能力相結合，為美國部隊提供了奪取作戰、戰略和戰術優勢位置的能力。通過由人工智能支持的多領域聯合行動圖（MDCOP）增加了解，使美國部隊有能力協調多領域的效果以創造優勢窗口。

制定人工智能的作戰概念使陸軍能夠更好地理解這些技術對戰爭的性質和特征的潛在影響。描述陸軍如何在未來的作戰環境中使用人工智能，有助于說明其對戰爭的暴力、互動和基本的政治性質的影響，以及戰爭不斷演變的特點。本文提供了一些小插曲（附錄A），說明了人工智能的組織運用，為美國陸軍RAS總體概念、作戰和組織概念、基于編隊的作戰概念以及系統或單個系統的運用概念的潛在發展提供信息。

人工智能的運作影響到未來部隊將如何運作，如何針對對手開展行動，以及指揮官如何利用軍事藝術和科學，運用部隊能力來實現預期效果和目標。在2019年未來研究計劃（FSP19）期間，人工智能工作線（LoE）確定了與實施人工智能支持的多領域解決方案有關的以下問題：

• 數據管理--AI/ML應用程序依賴于對策劃的數據的訪問，以便發揮作用。陸軍必須培養一種以數據為中心的文化，以標準化的格式和協議有效地生成、存儲和訪問數據。人才管理的努力必須側重于發展、培訓和保留一支精通數據的員工隊伍。這可以通過以下方式實現：

  • 在整個部門培養一種以數據為中心的文化

  • 投資于整個員工隊伍的數據科學培訓

  • 簡化數據訪問

  • 設計和實施協議，以確保數據的可發現、可訪問、可共享和可互操作性

• 功能分解--狹義的人工智能本質上是有限的，構建算法的數據科學家需要精確的問題定義，準確確定聯合部隊的要求。

• 可解釋人工智能--人工智能支持的系統需要有能力解釋決策/建議和所采取的行動背后的邏輯。這種解釋 "為什么"的能力是人類對人工智能智能體的信任基礎。

• 邊緣計算/人工智能--未來的作戰環境與有爭議的電磁頻譜預期要求有能力向前處理極其龐大的數據集，以及能夠自主行動的人工智能平臺。

• 利用商業部門--美國防部實驗室繼續在人工智能/ML發展方面取得重大進展，特別是與聯邦資助的研究和發展中心合作。商業部門繼續探索和擴大可能適用于軍事應用的工作。

作為FSP19的一部分，人工智能LoE開發了五個小插曲和一個概念草圖（見附錄A），以協助人工智能和機器學習的運作。這些小插曲說明了聯合部隊如何利用人工智能/ML來解決多領域行動所需的關鍵能力。MDCOP概念將依靠幾個有限內存的人工智能來建立和維護描繪整個戰場的藍、紅、綠活動。一個反應式機器人工智能將為特定的指揮官和總部定制MDCOP。合作傳感、維持、攻擊和瞄準的小插曲依靠反應式機器人工智能來優化傳感器覆蓋、維持吞吐量、攻擊順序和射手選擇。

未來部隊需要人工智能來充分實現多領域作戰的潛力。人工智能支持的系統使未來部隊能夠進行信息收集和分析，以便在時間有限和信息競爭的環境中增加對形勢的了解。這種能力使快速、知情和合理的決策成為可能。人工智能的決策支持代理將減輕作戰人員的認知工作量并提高整體效率。由人工智能支持的無人系統將探測、識別和穿透高風險區域，以提高開展行動和保護部隊、人口和資源的能力。人工智能使MDO在與近似對手的沖突規模下實現了作戰速度的要求。

人工智能（AI）的最新進展為許多經典的AI應用帶來了突破，例如計算機視覺、自然語言處理、機器人和數據挖掘。因此，有很多人努力將這些進展應用于軍事領域，如監視、偵察、威脅評估、水雷戰、網絡安全、情報分析、指揮和控制以及教育和培訓。然而，盡管人工智能在軍事應用上有很多可能性，但也有很多挑戰需要考慮。例如，1）高風險意味著軍事人工智能系統需要透明，以獲得決策者的信任并能進行風險分析；這是一個挑戰，因為許多人工智能技術具有黑盒性質，缺乏足夠的透明度；2）軍用 AI 系統需要穩健可靠；這是一個挑戰，因為已經表明即使對所使用的 AI 技術沒有任何了解，AI 技術也容易受到輸入數據微小變動的影響，并且 3) 許多 AI 技術基于需要大量數據的機器學習訓練；這是一個挑戰，因為在軍事應用中經常缺乏足夠的數據。本文介紹了正在進行的項目成果，以說明軍事應用中人工智能的可能性，以及如何應對這些挑戰。

1 介紹

人工智能（AI），特別是機器學習（ML）和深度學習（DL），在十年內已經從研究機構和大學的原型設計轉向工業和現實世界應用。使用DL技術的現代人工智能已經徹底改變了傳統人工智能應用的性能，如機器翻譯、問答系統和語音識別。這一領域的許多進展也將其優秀的想法變成了卓越的人工智能應用，能夠進行圖像說明、唇語閱讀、語音模仿、視頻合成、連續控制等。這些成果表明，一個能夠自我編程的機器有潛力：1）提高軟件和硬件開發的效率，2）以超越人類的水平完成特定的任務，3）為人類以前沒有考慮過的問題提供創造性的解決方案，4）在人類已知的主觀、偏見、不公平、腐敗等方面提供客觀和公平的決定。

在軍事背景下，人工智能的潛力存在于所有維度的軍事空間中（即陸地、海洋、空中、空間和信息）和所有級別的戰爭內（即政治、戰略、作戰和戰術）。例如，在政治和戰略層面，人工智能可以通過制作和發布大量的虛假信息來破壞對手的穩定狀態。在這種情況下，人工智能很可能也是抵御這種攻擊的最佳人選。在戰術層面，人工智能可以改善無人系統的部分自主控制，以便人類操作員可以更有效地操作無人系統，最終擴大戰場影響力，增強戰場實力。

然而，正如我們將在這項工作中指出的那樣，有幾個關鍵挑戰可能會減緩或限制現代人工智能在軍事應用中的使用：

• ML模型的透明度和可解釋性不足。舉一個例子，使用DL對使用深度神經網絡（DNN）的自動駕駛汽車進行控制建模需要幾十萬個參數。顯然，這樣一個復雜的程序不容易被解釋。即使是使用替代的ML算法生成的模型，其中模型可以被圖形化，如解析樹或決策樹，即使在應用于玩具模型問題時，也很難甚至不可能解釋。一個更重要的挑戰是人工智能系統向決策者或人類操作者解釋其推理的能力，或者在這種情況下是無能為力的。
• 眾所周知，使用ML開發的模型很容易受到對抗性攻擊。例如，基于DL的模型可以很容易地通過操縱輸入信號而被欺騙，即使該模型對攻擊者來說是未知的。舉一個例子，使用最先進的目標檢測的無人駕駛飛行器（UAV）也有可能被地面上精心設計的偽裝圖案所欺騙。
• 任何 ML 應用的原料是機器可以從中學習并最終深入理解的數據。軍事組織通常擅長收集數據用于匯報或重建目的。然而，不能保證同樣的數據可以成功用于ML。因此，軍事組織可能必須調整其數據收集過程，以充分利用現代人工智能技術，如DL。

本文的目的是強調人工智能在軍事應用中的可能性和主要挑戰。第2節簡要介紹了DL，它是本文關注的主要人工智能技術。第3節提供了幾個人工智能在軍事領域中應用的例子。第4節描述了與軍事領域中人工智能的關鍵挑戰，以及部分可用于解決這些挑戰的技術。第5節提出了結論。

2 深度學習

我們所說的DL是指由多個非線性處理單元層組成的機器學習模型。通常情況下，這些模型由人工神經網絡表示。在這種情況下，神經元指的是一個單一的計算單元，其輸出是通過一個（非線性）激活函數的輸入的加權和（例如，一個只有在信號為正時才通過的函數）。DNN指的是具有大量串連神經元層（神經元層由神經元并聯組成）的系統。與DNN相對的是淺層神經網絡，它只有一層平行連接的神經元。

直到大約十年前，DNN的訓練幾乎是不可能的。第一個成功的深度網絡的訓練策略是基于一次訓練一個層。逐層訓練的深度網絡的參數最終使用隨機梯度方法進行微調（同時），以最大限度地提高分類精度。此后，許多研究進展使得直接訓練DNN成為可能，而無需逐層訓練。例如，人們發現，網絡權重的初始化策略與激活函數的選擇相結合是解決問題的關鍵。甚至一些技術，如在訓練階段隨機停用神經元，以及在信號到達激活函數之前對其進行歸一化處理，也已證明對于使用 DNN 獲得良好結果非常重要。

表示學習是DNN高性能的主要原因之一。使用DL和DNN，不再需要手動制作學習特定任務所需的特征。相反，辨別特征是在 DNN 的訓練過程中自動學習的。

支持 DL 應用的技術和工具如今比以往任何時候都更加好用。通過廉價的計算資源、免費的 ML 框架、預訓練模型、開源數據和代碼，僅使用有限的編程/腳本技能即可成功應用和定制高級 DL。

3 軍事人工智能應用

本節介紹了幾個可以應用人工智能來提高軍事能力的例子。

3.1 監視

海上監視是利用固定雷達站、巡邏飛機、船舶，以及近年來使用自動識別系統（AIS）對海上船只進行的電子跟蹤。這些信息源提供了大量的關于船只運動的信息，這些信息可能會揭示船舶非法的、不安全的、有威脅的和異常的行為。然而，大量的船舶運動信息使得手動檢測此類行為變得困難。因此ML-方法被用來從船舶運動數據中生成常態模型。任何偏離常態模型的船舶運動都被認為是異常的，并提交給操作員進行人工檢查。

一種早期的海事異常檢測方法使用模糊 ARTMAP 神經網絡架構根據港口位置對正常船舶速度進行建模。另一種方法是利用運動模式的關聯學習來預測基于其當前位置和行駛方向的船舶運動。其他方法則使用基于高斯混合模型（GMM）和內核密度估計（KDE）的無監督聚類。這些模型能夠檢測出改變方向、穿越海路、向相反方向移動或高速行駛的船只。最近的方法是使用貝葉斯網絡來檢測錯誤的船舶類型，以及不連續的、不可能的和徘徊的船舶運動。海事異常檢測的未來發展還應該考慮周圍的船只和多艘船只之間的互動。

3.2 水下水雷戰

水雷對海上船只構成重大威脅，被用來限制船只行動或阻止船只通過受限水域。因此，反水雷措施（MCM）試圖定位和消除水雷，以實現行動自由。越來越多地使用配備合成孔徑聲納 (SAS) 的自主水下航行器 (AUV) 進行水雷搜索，該水下航行器能提供厘米分辨率的海底聲學圖像。由于AUV收集了大量的SAS圖像，自動目標分類對于區分潛在的水雷與其他物體是很有用的。雖然對水雷的自動目標分類已經研究了很長時間，但DNN在圖像分類方面的高性能表現使人們對如何將這種辦法用于自動地雷探測產生了興趣。

一些研究顯示了DNN在水雷探測方面的潛力。例如，這些研究描述了如何將假水雷的形狀、類似水雷的目標、人造物體和巖石放置在海底的各種地理圖形位置上。然后用AUV和SAS對海底進行測量。結果顯示，與傳統的目標分類器相比，DNN的性能明顯提高，對水雷形狀的檢測概率更高，誤報率更低。同樣，這些研究也描述了如何生成圓柱形物體和各種海底景觀的協同SAS圖像，并這些圖像用來訓練DNN。進一步的研究可能會探究如何從所有類型的雜波物體中分辨出水雷，結合檢測和分類，以及對噪聲、模糊和遮擋的魯棒性等

3.3 網絡安全

入侵檢測是網絡安全的重要組成部分，可在惡意網絡活動危及信息可用性、完整性或機密性之前對其進行檢測。入侵檢測是使用入侵檢測系統（IDS）進行的，該系統將網絡流量分類為正常或入侵。然而，由于正常的網絡流量往往具有與實際攻擊相似的特征，網絡安全分析師對所有入侵警報的情況進行分析，以確定是否存在實際的攻擊。雖然基于簽名的IDS通常擅長檢測已知的攻擊模式，但它們不能檢測以前未見過的攻擊。此外，基于簽名的檢測的開發往往是緩慢和昂貴的，因為它需要大量的專業知識。這限制了系統對快速演變的網絡威脅的適應性。

許多研究使用 ML 和其他 AI 技術來提高已知攻擊的分類準確性、檢測異常網絡流量（因為這可能表明新的攻擊模式偏離了正常網絡流量）以及自動化模型構建。然而，這些系統很少被實際使用。其原因是，入侵檢測給出了具體的挑戰，如缺乏訓練數據、網絡流量變化大、錯誤成本高以及難以進行相關評估。雖然可以收集大量的網絡流量，但這些信息往往是敏感的，只能部分匿名化處理。使用模擬數據是另一種選擇，但它往往不夠真實。然后，必須根據模式是正常還是入侵，或用于確保無攻擊的異常檢測來標記數據以進行監督學習，這通常很難做到。最后，模型需要是透明的，以便研究人員能夠理解檢測限制和特征的含義。

另一項提高網絡安全的措施是在安全審計期間進行滲透測試，以確定潛在的可利用的安全弱點。由于許多網絡的復雜性和其中的大量主機，滲透測試通常是自動化的。一些研究已經調查了如何使用網絡的邏輯模型而不是實際的網絡將 AI 技術用于模擬滲透測試。網絡通常用攻擊圖或樹來表示，描述對手如何利用漏洞闖入系統。描述了模型在表征方式方面的不同之處：1) 攻擊者的不確定性，從抽象的成功和檢測概率到網絡狀態的不確定性，以及 2) 從已知的前后條件到一般感知和觀察的攻擊者行為-結果的服務。此外，通過網絡和主機的正式模型，可以對不同的緩解策略進行假設分析。未來對滲透測試的研究可能會使用攻擊者和防御者之間交互的認知有效模型，例如，深度強化學習來探索可能攻擊的大問題空間。

4 挑戰

正如第3節中的案例所示，在為軍事目的開發和部署的基于人工智能的應用之前，有一些尚未解決的挑戰是很重要的。在本節中，我們將討論我們認為對軍事人工智能最關鍵的挑戰：1）透明度，2）脆弱性，以及3）在有限的訓練數據下的學習。其他重要的，但不太關鍵的，與優化、泛化、架構設計、超參數調整和生產級部署有關的挑戰，在本節中沒有進一步討論。

4.1 透明度

許多應用除了需要高性能外，還需要高透明度、高安全性以及用戶的信任或理解。這種要求在安全關鍵系統、監控系統、自主智能體、醫學和其他類似的應用中很典型。隨著最近人工智能技術的突破，人們對透明度的研究也越來越感興趣，以支持最終用戶在此類應用中的使用與透明度相關的成果。

4.1.1 對透明度的期望

人工智能所需的透明度取決于終端用戶的需求。利普頓描述了透明度可能涉及五種類型的用戶需求：

• 1.信任-在用戶難以質疑系統建議的情況下。然而，可能不清楚用戶的信任是基于系統的性能或穩定性，相對于用戶的體驗，還是用戶對系統推薦的舒適度。
• 2.理解之前未知的因果關系，可以用其他方法測試。
• 3.由于與用戶的能力相比，模型的通用性有限，因此對系統性能的了解受到限制。
• 4.有關系統建議的一些補充信息。
• 5.公平性，以避免可能導致某些情況下的不平等待遇的系統性偏見。例如，對信貸申請的評估不應基于個人屬性，如性別或種族，盡管這種屬性可能在整體統計水平上用來區分人口群體。

原則上，有兩種方法可以使人工智能系統透明。首先，某些類型的模型被認為比其他的更容易解釋，例如線性模型、基于規則的系統或決策樹。檢查這些模型可以理解它們的組成和計算。Lipton描述了可解釋性取決于用戶是否能夠預測系統的建議，理解模型參數，以及理解訓練算法。其次，系統可以解釋其建議。這種解釋可以是文字的，也可以是視覺的。例如，通過指出圖像的哪些方面最有助于其分類。Miller 對社會科學研究中如何使用這些知識來設計 AI 系統的進行了的回顧。通常情況下，人們用他們感知到的信念、欲望和意圖來解釋其他智能體的行為。對于人工智能系統來說，信念對應于系統關于情況的信息，欲望對應于系統的目標，而意圖對應于中間狀態。此外，解釋可能包括行動的異常性、使成本或風險最小化的偏好、對預期規范的偏離、事件的回顧性和行動的可控性。主要的發現是：

• 解釋是針對特定的反事實案例而進行的對比性解釋。因此，解釋的重點是為什么提出特定的建議而不是其他建議。
• 解釋是有選擇的，并且集中在一兩個可能的原因上，而不是建議的所有原因。
• 解釋是一種傳遞知識的社會對話和互動。

4.1.2 可解釋模型的實例

貝葉斯規則列表（BRL）是可解釋模型的一個例子。BRL由一系列的if（條件）then（結果）else（替代）語句組成。Letham等人描述了如何為一個高度準確和可解釋的模型生成BRL來估計中風的風險。條件離散化了影響中風風險的高維多變量特征空間，結果描述了預測的中風風險。BRL在預測中風風險方面具有與其他ML方法類似的性能，并且與其他現有評分系統一樣具有可解釋性，但其準確性較低。

基于詞典的分類器是文本分類的另一個可解釋模型的例子。基于詞典的分類器將術語的頻率與每個類別中出現的術語的概率相乘。得分最高的類別被選為預測對象。Clos等人使用一個門控遞歸網絡對詞典進行建模，該網絡同時學習術語和修飾語，如副詞和連詞。受過訓練的詞典是關于論壇中的帖子是支持還是反對死刑以及對商業作品的看法。詞典的表現比其他ML方法更好，同時也是可解釋的。

4.1.3 特征可視化的實例

盡管DNN在許多應用中提供了很高的性能，但它們的子符號計算可能有數百萬個參數，這使得人們很難準確理解輸入特征對系統推薦的貢獻。由于DNN的高性能對許多應用來說是至關重要的，因此人們對如何使它們更容易解釋產生了濃厚的興趣（見一篇評論）。許多用于解釋DNN的算法將DNN處理轉化為原始輸入空間，以便將辨別特征可視化。通常，有兩種通用方法用于特征的可視化，即激活最大化和DNN解釋。

激活最大化會計算哪些輸入特征將最大限度地激活可能的系統建議。對于圖像分類來說，這代表了理想的圖像，它顯示了每個類別的可區分和可識別的特征。然而，由于各類可能使用同一物體的許多方面，而且圖像中的語義信息往往是分散的，所以圖像往往看起來不自然。激活最大化的方法的一些例子是梯度上升法，更好的正則化方法以增加通用性，以及合成首選圖像法。

DNN的解釋是通過強調區分輸入特征來解釋系統建議。在圖像分類中，這種可視化可能會突出顯示支持或反對某個類別的區域，或者僅顯示包含區分特征的區域。計算鑒別特征的一種方法是使用局部梯度或其他變化度量的敏感性分析。然而，敏感性分析的一個問題是，它可能顯示輸入中不存在的判別特征。例如，在圖像分類中，敏感性分析可能會顯示物體被遮擋的部分，而不是可見部分。逐層相關性傳播通過考慮特征存在和模型反應來避免這個問題。

4.1.4 具體應用解釋的實例

與分類不同的是，人工智能規劃是基于動態的領域模型。Fox等人描述如何使用領域模型來解釋為什么行動被執行或不執行，為什么一些行動不能被執行，使未來行動的因果關系，以及重新規劃的需要。

由于公平性對許多人工智能應用來說非常重要，Tan等人描述了如何利用模型蒸餾來檢測黑箱模型的偏差。模型蒸餾法將更大更復雜的模型進行簡化，而沒有明顯的準確性損失。為了提高透明度，他們使用了基于淺層樹的廣義加性模型，對每個參數和兩個參數之間的相互作用進行建模。他們根據黑盒模型的系統建議訓練一個透明模型，并根據實際結果訓練一個透明模型。對兩個模型的推薦差異的假設檢驗體現了黑盒模型引入偏差的情況，然后可以通過比較兩個透明模型來診斷偏差。該系統在犯罪風險、借貸風險和卷入槍擊事件的個人風險方面進行了評估。結果顯示，一個黑盒模型低估了年輕罪犯和白種人的犯罪風險，而高估了美國本土非洲裔犯罪的風險。

4.2 脆弱性

在本節中，我們討論DNN在兩個不同方面的脆弱性。1）對輸入操縱的脆弱性和2）對模型操縱的脆弱性。我們首先看一下對輸入信號的操縱：

4.2.1 對輸入進行對抗性處理

在提供DNN的情況下，人們發現很容易調整輸入信號，從而使分類系統完全失敗。當輸入信號的維度很大時，例如圖片，通常只需對輸入中的每個元素（即像素）進行不易察覺的微小調整，就足以欺騙系統。用同樣的技術來訓練DNN，通常是采用隨機梯度法，通過觀察梯度的符號，你可以很容易地找到每個元素應該朝哪個方向改變，以使分類器錯誤地選擇目標類別或僅僅是錯誤分類。只需幾行代碼，最好的圖像識別系統就會被欺騙，相信一張車輛的圖片是一只狗。下面的圖 1 顯示了操作前后的圖像以及操作前后類的可能性。

上述方法假設有對DNN的完全訪問權，即所謂的白盒攻擊。人們發現，即使是所謂的黑箱攻擊，即你只觀察到系統的輸入和輸出類型，也是可能的。在其中，作者采用從他們想要攻擊的黑盒系統中稀疏采樣所獲得的數據來訓練一個替代網絡。鑒于替代網絡，你可以使用上述的白盒攻擊方法來制作對抗性輸入。一個學習替代網絡的替代方法被提出來，在這個方法中，遺傳算法被用來創建導致系統錯誤分類的攻擊向量。同一作者甚至表明，通常只需修改圖像中的一個像素，盡管常常是可察覺的，就能實現成功的攻擊。

圖 1：從小型貨車到西伯利亞雪橇犬。 原始圖像和操縱（對抗性制作）圖像之間的絕對差異（放大 20 倍）顯示在右側。 對抗性示例（中心）是使用 Kurakin 的基本迭代方法（BIM）生成的。

4.2.2 利用預訓練 DNN 中的隱藏后門

當設計一個DNN，但只能獲得少量的訓練數據時，通常會使用預訓練的模型來達到良好的性能。這個概念被稱為遷移學習，一個常見的應用是采用在大量數據上訓練過的模型，根據具體問題替換和定制網絡中的最后幾層，然后在最后階段（有時甚至是整個系統）利用可用的訓練數據微調參數。目前已經有大量的預訓練模型可以從互聯網上下載。那么一個相關的問題是："我們怎么知道那些上傳模型的人沒有壞心眼？"。作者在識別美國交通標志的模型中插入后門，就考慮了這種類型的漏洞。例如，一個貼紙被訓練為屬于停止標志以外的類別。然后他們表明，當使用后門（即在交通標志上放置一個貼紙）時，基于美國交通標志網絡的識別瑞典交通標志的系統會有負面的反應（大大損害了瑞典交通標志系統的分類準確性）。

4.2.3 防御方法

減少DNN對輸入信號操縱的脆弱性的一種方法是在模型的訓練過程中明確包括被操縱/對抗的例子。也就是說，除了原始訓練數據外，還產生了對抗性例子，并用于模型的訓練。

另一種方法是使用一個叫做防御蒸餾的概念。簡而言之，該方法試圖降低輸出信號只指出真實類別的要求，并迫使其他類別的概率為零。這分兩步完成。第一步是對DNN進行常規訓練。在第二步，將第一個神經元網絡的輸出（類別概率）用作新的類別標簽，并使用新的（軟）類別標簽訓練一個新的系統（具有相同的架構）。這已被證明可以減少漏洞，因為你沒有把DNN與訓練數據貼得太緊，并保留了一些合理的類間關系。

其他防御方法，例如特征壓縮技術，例如均值或中值濾波或非線性像素表示，例如單熱或溫度計編碼。

不幸的是，所描述的方法都不能完全解決漏洞問題，尤其是如果攻擊者對模型和防御方法有充分的了解的話。

4.3 數據

在軍事背景下開發基于ML的應用是具有挑戰性的，因為軍事組織、訓練設施、平臺、傳感器網絡、武器等的數據收集應用最初不是為ML目的設計的。因此，在這個領域，往往很難找到真實世界的、高質量的、足夠大的數據集，可以用來學習和深入理解的。在本節中，我們將探討即使在有限的訓練數據中也可以用來建立ML應用的技術。

4.3.1 遷移學習

遷移學習（也在第4.2.2節中提到）是一種技術，通常在數據集較小和計算資源有限時使用。這個想法是在開發針對其他類似任務的新模型時，重復使用通常由 DNN 表示的預訓練模型的參數。至少有兩種方法可用于DL應用中的遷移學習：

• 重新學習輸出層：使用這種方法，預先訓練好的模型的最后一層被替換成新的輸出層，與新任務的預期輸出相匹配。在訓練過程中，只有新輸出層的權重被更新，其他的都是固定的。
• 微調整個模型：這種方法類似于第一種方法，但在這種情況下，可能會更新整個 DNN 的權重。 這種方法通常需要更多的訓練數據。

事實證明，遷移學習也可以提高模型的泛化能力。然而，隨著源任務和目標任務之間距離的增加，遷移學習的積極作用往往會減少。

4.3.2 生成性對抗網絡

生成性對抗網絡（GANs）是由Goodfellow等人發明的，是一種生成模型，可用于半監督學習，其中將一小組標記的數據與一大組未標記的數據相結合以提高模型的性能。基本的GAN實現由兩個DNN組成，分別代表一個生成器和一個判別器。生成器被訓練成產生假數據，而判別器被訓練成將數據分辨為真實或虛假。當這兩個網絡同時被訓練時，一個網絡的改進也會導致另一個網絡的改進，直到最后達到一個平衡。在半監督學習中，生成器的主要目標是產生未標記的數據，用于提高最終模型的整體性能。除了半監督學習之外，GANs還被用于：

• 重建：填補部分被遮擋的圖像或對象的空白部分。
• 超分辨率：將圖像從低分辨率轉換為高分辨率。
• 磁帶到圖像的轉換：將圖像從冬天轉換為夏天，從夜晚轉換為白天，等等。這項技術的一個軍事應用是可以將夜視圖像轉換為日光圖像。

4.3.3 建模和仿真

建模和仿真已被軍隊廣泛用于培訓、決策支持和研究等。因此，有很多經過長期驗證的模型，也有可能被用于生成ML應用的合成數據。例如，飛行模擬器可以用來生成置于不同環境中飛機的合成圖像。在這種情況下，標簽是自動的，因為在生成合成圖像之前，飛機的類型是已知的。然而，不足為奇的是，在將模型應用于真實世界的圖像時，使用合成圖像可能會導致性能不佳。目前正在探索的一種方法是采用GANs增強合成圖像，使其具有照片般的真實性。這種方法已經得到成功的應用。

5 結論

人工智能最近的突破正在逐漸達到可以用于軍事應用的地步。 該論文描述了在監視、水下魚雷戰和網絡安全中使用人工智能的一些可能性。 其他潛在應用包括使用半自動駕駛車輛和傳感器系統進行偵察、在具有長時間要求的防空系統中進行威脅評估、新興模式的情報分析、指揮和控制系統以及教育和培訓。 然而，人工智能的軍事應用需要考慮以下方面的挑戰：

• 確保模型性能符合軍事要求的透明度。
• 脆弱性可能會導致系統性能大幅度降低。
• ML的訓練數據不足。

專注于人工智能的透明度、可解釋性和可解釋性問題的研究人員已經取得了許多進展。這些進展中的許多部分也都可能被用于軍事人工智能應用中。然而，需要進行更徹底的需求分析以了解如何利用這些研究成果。軍事需求在風險、數據質量、法律要求等方面與一般情況相比非常不同，有些類型的透明度甚至可能不適用。此外，還需要對如何利用社會科學研究來提高人工智能的可解釋性進行更多研究。未來的研究還應該包括如何充分利用在視覺分析研究領域中開發地豐富的可視化技術。

由于目前還沒有解決脆弱性問題的有效方案，因此在監測這一研究領域不斷尋找有希望的解決方案非常重要。然而，在這種解決方案出現之前，有必要盡量減少外部對模型和防御技術的訪問。否則，對手可能會試圖利用這些漏洞來為自己謀利。

最后，遷移學習使其有可能將預先訓練好的模型應用于訓練數據和計算資源都有限的軍事應用。GAN是另一種有很前途的技術，它能夠采用標記的和未標記的數據進行學習（半監督學習）。GAN也可以與仿真結合使用，以提高合成的訓練數據的真實性。