許多研究實驗室和政府機構對開發機器人系統集群的興趣日益濃厚，這些系統有能力協調它們的行動，為執行一個共同的目標而集體工作。作為一個團體，機器人群可以執行簡單和復雜的任務，這是單個機器人無法做到的。蜂群中的每個機器人單元都可以被視為一個自主成員，根據內部規則和環境狀態做出反應。然而，正是機器人的這種自主決策能力（單獨或作為一個群體），引起了國際社會的關注。

2014年，各國政府在《聯合國特定常規武器公約》（CCW）的主持下，開始就致命性自主武器系統（LAWS）領域的新興技術進行國際討論。在這種情況下，對蜂群進行了討論--盡管是小范圍的。各個國家和民間社會行動者都對蜂群作為（致命的自主）武器進行部署表示關切。在2017年《特定常規武器公約》締約國會議期間，民間社會行為者發布了一個虛構的視頻，說明他們對蜂群的擴散以及惡意行為者可能利用蜂群對個人進行大規模致命攻擊的擔憂。

雖然不清楚各國是否也有這種擔憂，但各國至少認識到，在未來的情況下，進攻性措施不太可能由一個單一的系統組成。相反，它們將由具有互補能力的此類系統群組成。機器人群尚未投入使用，而且技術相當脆弱，但機器人群的前景是非常真實的。蜂群可用于情報、監視和偵察行動；周邊監視和保護；分布式攻擊；壓倒敵人的防空設施；部隊保護；欺騙；搜索和救援行動；反擊蜂群；以及枯燥、骯臟和危險的任務。因此，國際社會正在努力解決關于如何--如果有的話--在未來的沖突中負責任地、合法地和安全地使用機器人群的問題。

與機器人群和致命性自主武器系統有關的一個關鍵問題是圍繞著 "人機互動 "和 "人類控制 "等概念的含義和運行。正如主席在2016年《特定常規武器公約》專家會議的總結中所述，在未來的情況下，"如果致命性自主武器系統群作為武力倍增器發揮作用，如何對武力的使用保持有意義的人類控制將是不清楚的"。隨著《特定常規武器公約》致命性武器系統政府專家組進入關鍵的兩年，除其他活動外，它將審查和制定致命性武器系統領域新興技術的規范和操作框架的各個方面，了解這一領域的研究和發展方向至關重要。

本研究報告通過研究蜂群機器人技術對人機互動的影響來支持和指導這些審議工作。本報告對人類控制蜂群的各種方法進行了分析：（1）通過指令進行人機互動；（2）通過設計和使用特定的控制架構，將人機和機機互動結合起來；以及（3）通過設計和使用特定的蜂群內合作方法，實現機機互動。此外，它將人類控制的概念放在軍事決策的背景下，從而引入了一個指揮和控制的框架，在這個框架內可以進一步討論、分析和發展諸如人機互動和人類控制等概念。這項研究的結果與各種各樣的關鍵利益相關者有關，包括政策制定者、軍事組織、外交界、技術界、學術界、私營部門和民間社會組織。

現有的蜂群--在民用和軍用領域--要么正在開發，要么仍處于測試和演示階段。過去和正在進行的項目主要表明，蜂群能夠執行特定的（狹窄的）任務（形成形狀、編隊飛行、前往和搜索或繪制一個區域、在周邊巡邏、保護一個邊界）。因此，蜂群可以被認為是一種新興技術，因此，可以作為一個有用的案例來討論人類控制的方法。

在軍事背景下操作蜂群的主要挑戰涉及到設計和實施適當的人機和機機互動。研究人員和開發人員已經采取了許多方法將人的參與注入蜂群中。在蜂群的背景下，人的參與或控制通常是指指揮、控制或協調：

指揮：人類發出什么命令？(與人機關系有關。)雖然機器人群被期望在大多數情況下自主運作，但它們不會在真空中或沒有指令的情況下運作。機器人群最終在人類決策者的指導下運作。這些指令可能以各種形式出現，包括預編程的行為集或高級或低級的指令。

控制：哪些控制架構決定了蜂群內的任務分配？ 與機器-機器關系有關）在人類發出指令后，蜂群依靠算法進行編隊、監測、間隔、飛行路徑、任務分配、目標識別等。這些算法，或如它們也被稱為控制架構，決定了蜂群內的任務分配。例如，命令可以下達給作為中央控制器的一個機器人，但它們也可以下達給幾個小隊長或整個蜂群組合。

協調：蜂群如何執行這些任務？(與機器-機器的關系有關）在人類向蜂群（或蜂群中的特定單元）提供了命令，控制架構也確定了命令的分配方式后，蜂群必須協調其集體行為和分配的任務。蜂群如何行動這些分配的任務，部分取決于協調方法。例子包括領導者-追隨者（一個機器人單元是領導者，其他機器人作為追隨者），以及共識算法（單個機器人相互溝通，通過投票或基于拍賣的方法收斂于一個解決方案）。

目前缺乏研究調查人類如何有效地指揮、控制和協調蜂群，如何對蜂群進行有效和負責任的參與仍然是蜂群機器人技術的一個新興研究領域。關于人類控制致命性自主武器系統和蜂群的討論有許多相似之處。然而，由于兩個原因，蜂群可能使討論進一步復雜化。

首先，在致命性自主武器系統領域關于人機互動的辯論主要集中在人類操作員和一個（或至少是有限數量的）致命性自主武器系統之間的關系。當只有一個車輛（或有限數量的車輛）時，傳統的控制形式是可能的。然而，對于機器人群來說，直接控制單個機器人單元是不可能的，而且會適得其反。對于蜂群，有必要依靠算法來進行編隊、監測、間隔、飛行路徑、任務分配、目標識別等等。因此，為了使人類的參與保持有效，必須越來越多地轉移到蜂群整體上。

第二，除了人機互動，蜂群不可避免地要進行機-機互動。單個機器人與蜂群中的其他機器人互動以完成任務，在此過程中，可能出現集體行為。雖然本報告顯示，有不同的方法來設計指揮、控制架構和合作方法，以幫助減輕蜂群帶來的一些挑戰，但似乎沒有一般的方法來解釋個人規則和（期望的）群體行為之間的關系。有些人可能會爭辯說，蜂群中的機器-機器行為不可避免地意味著沒有人類控制。雖然在某些情況下這可能是真的，但這并不是蜂群技術的必然結果。

隨著國際社會在2020年和2021年繼續討論致命性自主武器系統，并將重點放在指導原則的進一步發展和運作上，人類決策的作用無疑仍將是核心問題之一。通過在審議人類控制和人機互動時利用蜂群等近期技術和相關的指揮和控制模式，國際社會可以著手對軍事實踐中如何行使或不行使控制權有一個更全面的了解--現在和未來的行動。

本報告結構

本研究報告的目的是支持目前關于致命性自主武器系統領域的新興技術和相關概念（如人機互動）的討論并為其提供信息。這項研究的結果與各種關鍵利益相關者有關，包括政策制定者、軍事組織、外交界、技術界、學術界、私營部門和民間社會組織。在此背景下，本報告研究了在蜂群機器人領域的指揮、控制和協調方法。

首先在第2章中闡述了包括蜂群在內的武器將被使用以及人類將行使控制權的背景。了解軍事決策中C2的這一背景框架與討論 "有意義的人類控制 "和 "人機互動 "等概念有關，這與致命性自主武器系統和蜂群有關。

第3章從技術角度介紹了蜂群的定義特征，而第4章解釋了在正在進行的蜂群研發中如何考慮和應用指揮、控制和協調。第5章介紹了不同類型的蜂群及其特征之間的權衡概念，其依據是一些技術屬性。

由于蜂群機器人技術仍然是一門相對年輕的學科，而且目前還沒有（軍事）蜂群投入使用，因此第6章闡述了潛在的軍事應用、蜂群投入使用的挑戰和脆弱性。第7章是本報告的結尾，提出了在目前政府專家組關于致命性自主武器系統討論的背景下，對未來發展的相關考慮。

隨著技術的飛速發展和威脅環境變得更加復雜，今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能（AI）的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識，增加對威脅和對手能力和意圖的了解，識別和評估可能的戰術行動方案，并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。

人工智能系統為海戰提供了優勢，但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊，改善作戰情況的不確定性，并提出改善作戰和戰術結果的建議。實施人工智能系統，以滿足海軍應用的這些苛刻需求，給工程設計界帶來了挑戰。本文確定了四個挑戰，并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。

引言

人工智能是一個包括許多不同方法的領域，目的是創造具有智能的機器（Mitchell 2019）。自動化系統的運作只需要最小的人類輸入，并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器，執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中，以做出決定并得出結論。

如表1所述，人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen（2020，3）將專家系統描述為手工制作的知識系統，使用傳統的、基于規則的軟件，將人類專家的主題知識編入一長串編程的 "如果給定x輸入，則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統，從大型數據集中進行訓練。ML系統自動學習并從經驗中改進，而不需要明確地進行編程。一旦ML系統被 "訓練"，它們就被用于操作，以產生新的操作數據輸入的結果。

表1. 兩類人工智能系統

人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力，在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力，以了解復雜和不確定的情況，制定和權衡選擇，預測行動的成功，并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。

本文確定了工程設計界必須解決的四個挑戰，以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括：（1）復雜的海戰應用領域；（2）需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統；（3）人工智能系統工程的一些新挑戰；（4）存在對手的人工智能進展，不斷變化和發展的威脅，以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域，但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。

表2. 為海軍實施人工智能系統的四個挑戰領域

挑戰一：戰爭復雜性

人工智能正被視為一種能力，可應用于廣泛的應用，如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰，人工智能系統必須與之抗衡，才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子，從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素，這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度，對六個應用領域的特征進行了定性評估。顏色代表低貢獻（綠色）、中貢獻（黃色）和高貢獻（紅色）。

表3中最上面一行顯示的特征包括： (1)認識上的不確定性水平（情況知識的不確定性程度），(2)情況的動態性，(3)決策時間表（可用于決策的時間量），(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5）資源的復雜性（數量、類型、它們之間的距離以及它們的動態程度），（6）是否涉及多個任務，（7）所需訓練數據集的復雜性（大小、異質性、有效性、脆弱性、可獲得性等 8）對手的存在（競爭者、黑客或徹頭徹尾的敵人），（9）可允許的錯誤幅度（多少決策錯誤是可以接受的），以及（10）決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義，即基于一組樣本的貢獻因素，不同應用領域的不同復雜程度。

表3. 影響應用復雜性的因素比較

對于所有的應用領域來說，人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時；以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用，如貸款審批、廣告、醫療診斷（在某種程度上）面臨工程挑戰，但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的，做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而，航運錯誤是有空間的，而且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的空間非常小。在這種應用中，決策失誤會導致嚴重的事故。

影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此，戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子，海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是網絡空間，導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中，戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行，并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后，對于戰術決策及其可能的后果來說，風險可能非常大。

表4. 導致戰術決策復雜性的因素

解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案，即處理大量的數據，處理不確定性，理解復雜的情況，開發和評估決策選擇，以及理解風險水平和決策后果。Desclaux和Prestot（2020）提出了一個 "認知三角"，其中人工智能和大數據被應用于支持作戰人員，以實現信息優勢、控制論信心和決策優勢。約翰遜（2019年）開發了一個工程框架和理論，用于解決高度復雜的問題空間，這些問題需要使用智能和分布式人工智能系統來獲得情況意識，并做出適應動態情況的協作行動方案決定。約翰遜（2020a）建立了一個復雜的戰術場景模型，以證明人工智能輔助決策對戰術指揮和控制（C2）決策的好處。約翰遜（2020b）開發了一個預測分析能力的概念設計，作為一個自動化的實時戰爭游戲系統來實施，探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先，人工智能支持的C2系統需要描述戰術行動期間的復雜程度，然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平（人與機器的決策角色）。約翰遜（2021年）正在研究這些概念性工程方法在各種防御用例中的應用，包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來，戰術邊緣遠離指揮中心，通信和計算資源有限，戰場形勢瞬息萬變，這就導致在嚴酷復雜的戰地環境中，網絡拓撲結構連接薄弱，變化迅速"（Yang et. al. 2021）。戰術邊緣網絡也容易斷開連接（Sridharan et. al. 2020）。相比之下，許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲，而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時，必須進行仔細的設計考慮，以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。

在軍事領域使用人工智能必須克服復雜性的挑戰障礙，在某些情況下，人工智能的加入可能會增加復雜性。辛普森等人（2021）認為，將人工智能用于軍事C2可能會導致脆弱性陷阱，在這種情況下，自動化功能增加了戰斗行動的速度，超出了人類的理解能力，最終導致 "災難性的戰略失敗"。Horowitz等人（2020）討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人（2020）指出，人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性；如果人類決策者對產出缺乏信心和理解，他們可能會失去對人工智能系統的信任。

挑戰二：數據需求

實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。

ML系統的學習過程被稱為被訓練，開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法，允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段，ML系統繼續需要數據。

圖1顯示，在運行期間，ML系統或 "模型 "接收運行的實時數據，并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此，在整個系統工程和采購生命周期中，ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。

圖1. 使用數據來訓練機器學習系統

美國海軍開始認識到對這些數據集的需求，因為許多領域（戰爭、供應鏈、安全、后勤等）的更多人工智能開發人員正在了解人工智能解決方案的潛在好處，并開始著手開發人工智能系統。在某些情況下，數據已經存在并準備好支持人工智能系統的開發。在其他情況下，數據存在但沒有被保存和儲存。最后，在其他情況下，數據并不存在，海軍需要制定一個計劃來獲得或模擬數據。

收集數據以滿足海軍領域（以及更廣泛的軍事領域）的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的，在不同的項目和系統中被分隔開來，不容易從遺留系統中獲得，并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據，可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外，和平時期收集的數據并不代表沖突和戰時的操作。海軍（和軍方）還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的（和可能的）戰時行動，并構建足夠的ML訓練數據。

數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說，數據是一種珍貴的商品，并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據，目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。

海軍正在解決這一數據挑戰，開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺，正在管理數據以支持AI/ML的發展和其他類型的海軍應用，這些應用需要與任務相關的數據（Abeyta，2021）。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統，海軍需要在游戲中保持領先，擁有能夠代表各種可能情況的數據集，這些情況跨越了競爭、沖突和危機期間的行動范圍。因此，數據集的開發和管理必須是一項持續的、不斷發展的努力。

挑戰三：工程化人工智能系統

第三個挑戰是，人工智能系統的工程需要改變傳統的系統工程（SE）。在傳統系統中，行為是設定的（確定性的），因此是可預測的：給定一個輸入和條件，系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上，一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議，與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統，并確保它們對人類操作者來說是可解釋的、可信任的和安全的。

SE作為一個多學科領域，在海軍中被廣泛使用，以將技術整合到連貫而有用的系統中，從而完成任務需求（INCOSE 2015）。SE方法已經被開發出來用于傳統系統的工程設計，這些系統可能是高度復雜的，但也是確定性的（Calvano和John 2004）。如表5所述，傳統系統具有可預測的行為：對于一個給定的輸入和條件，它們會產生可預測的輸出。然而，許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人（2021年）解釋說，"SE及其方法的雛形基礎并不是為配備人工智能（即機器學習和深度學習）的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說，出錯的余地很小；因此，SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。

表5. 傳統系統和人工智能系統的比較

在整個系統生命周期中，將需要改變SE方法，以確保人工智能系統安全有效地運行、學習和適應，以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變，以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法，這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性，這些系統的行為不是完全可預測的，其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務，即隨著人工智能系統的發展，在部署期間不斷確保安全和理想的行為。

SE界意識到，需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會（INCOSE）最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為，人工智能系統可能會出現新類型的故障模式，這些故障模式是無法預料的，可能會突然發生，而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后，對于有更多的人機互動的人工智能系統，必須仔細注意設計系統，使它們值得信賴，可以解釋，并最終對人類決策者有用。

表6.人工智能系統工程中的挑戰（改編自：Robinson，2021）。

SE研究人員正在研究人工智能系統工程所涉及的挑戰，并開發新的SE方法和對現有SE方法的必要修改。Johnson（2019）開發了一個SE框架和方法，用于工程復雜的適應性系統（CASoS）解決方案，涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統，通過使用人工智能，可以協作產生所需的突發行為。Johnson（2021）研究了人工智能系統產生的潛在新故障模式，并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知，作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人（2021年）研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui（2021年）研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略，促進人類和機器之間的 "校準 "信任，這是作為適當利用的最佳信任水平，避免過度信任和不信任，并在信任失敗后涉及信任修復行動。Johnson等人（2014）開發了一種SE方法，即協同設計，用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

數據的作用對于人工智能系統的開發和運行來說是不可或缺的，因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人（2021）提出，SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構，用于開發、訓練和評估AI算法。French等人（2021）描述了需要適當的數據策劃來支持人工智能系統的發展，他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據，以及需要識別和消除數據中的固有偏見。

SE界正處于發展突破和進步的早期階段，這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步，以確保海軍持續的技術優勢。

挑戰四：對抗性

海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰：(1)人工智能技術在許多領域迅速發展，海軍必須注意同行競爭國的軍事應用進展，以防止被超越，(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性，以及(3)海軍應用的人工智能系統需要發展和適應，以應對不斷變化的威脅環境。

表7. AI系統的對抗性挑戰

同行競爭國家之間發展人工智能能力的競賽，最終是為了進入對手的決策周期，以便比對手更快地做出決定和采取行動（Schmidt等人，2021年）。人工智能系統提供了提高決策質量和速度的潛力，因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索，同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標，不僅僅取決于人工智能研究。它需要適當的數據收集和管理，有效的SE方法，以及仔細考慮人類與AI系統的互動。海軍必須承認，并采取行動解決實施人工智能系統所涉及的挑戰，以贏得比賽。

網絡戰是海軍必須成功參與的另一場競賽，以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統（Libicki, 2009）。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據，導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制，他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化，其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護，免受網絡攻擊（French等人，2021）。

威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化，武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強，這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統，必須能夠加強海軍感知、探測和識別新威脅的能力，以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境，并在行動中學習，以了解戰斗空間中的未知因素，并通過創新的行動方案快速應對新的威脅（Grooms 2019, Wood 2019, Jones et al 2020）。海軍可以利用人工智能系統，通過研究特定區域或領域的長期數據，識別生活模式的異常（Zhao等人，2016）。最后，海軍可以探索使用人工智能來確定新的和有效的行動方案，使用最佳的戰爭資源來解決棘手的威脅情況。

結論

人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而，人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的，可以學習和適應--特別是在用于更復雜的行動時，如高度動態的、時間關鍵的、不確定的戰術行動環境中，允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域：（1）開發能夠解決戰爭復雜性的人工智能系統，（2）滿足人工智能系統開發和運行的數據需求，（3）設計這些新穎的非確定性系統，以及（4）面對對手帶來的挑戰。

海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統，以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。

1.第一個建議是了解人工智能系統與傳統系統之間的差異，以及伴隨著人工智能系統的開發和實施的新挑戰。

人工智能系統，尤其是那些旨在用于像海戰這樣的復雜行動的系統，其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解，更加不可預測，并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。

2.第二個建議是投資于人工智能系統的研究和開發，包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。

研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面，海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的，并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據，用于人工智能系統開發，并確保數據的相關性、有效性和安全性。

3.第三個建議是承認挑戰，并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。

盡管人工智能系統正在許多領域實施，但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識，即在人工智能系統準備用于戰爭決策輔助工具之前，需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖，彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法，在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。

海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統，戰術決策優勢的重大進步是可能的。此外，海軍必須跟上（或試圖超越）對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解，對研究和開發計劃的投資，以及對人工智能技術進步時限的現實預期，海軍可以在應對這些挑戰方面取得進展。

大約五年前，隨著生成性人工智能模型能夠自動進行魚叉式攻擊和漏洞發現的例子，人工智能支持的網絡攻擊話題浮出水面。從那時起，由人工智能支持的社會工程和冒充攻擊已經發生，造成了數百萬美元的經濟損失1。目前人工智能研究的快速進展，加上它所帶來的眾多新應用，使我們相信人工智能技術將很快被用來支持網絡攻擊中通常使用的更多步驟。這就是為什么人工智能支持的網絡攻擊的想法最近從學術界和工業界獲得了越來越多的關注，以及為什么我們開始看到更多的研究致力于研究如何利用人工智能來加強網絡攻擊的原因。

2019年底的一項研究表明，超過80%的決策者關注人工智能支持的網絡攻擊，并預測這些類型的攻擊可能在不久的將來成為主流2。目前的人工智能技術已經支持典型攻擊鏈的許多早期階段。高級社會工程和信息收集技術就是這樣的例子。由人工智能驅動的網絡攻擊已經是一個組織無法應對的威脅。隨著我們見證人工智能方法論的新進展，以及人工智能的專業知識變得更加廣泛，這種安全威脅只會增加。

本報告旨在通過總結當前關于該主題的知識，調查人工智能支持的網絡攻擊的安全威脅。人工智能技術目前只能夠加強少數攻擊者的戰術，它很可能只被高級威脅者，如民族國家的攻擊者所使用。在不久的將來，快速發展的人工智能將通過自動化、隱蔽性、社會工程或信息收集來增強和創造更大范圍的攻擊技術。因此，我們預測，在未來五年內，人工智能支持的攻擊將在不太熟練的攻擊者中變得更加普遍。隨著傳統的網絡攻擊將變得過時，人工智能技術、技能和工具將變得更容易獲得和負擔得起，激勵著攻擊者利用人工智能支持的網絡攻擊。

網絡安全行業將不得不適應，以應對人工智能網絡攻擊的出現。例如，生物識別認證方法可能會因為人工智能帶來的先進冒充技術而變得過時。新的預防和檢測機制也將需要開發，以應對人工智能的網絡攻擊。更多的自動化和人工智能技術也將需要在防御解決方案中使用，以配合人工智能支持的網絡攻擊的速度、規模和復雜程度。這可能會導致攻擊者不受限制地使用人工智能技術，而防御者則受到即將出臺的人工智能應用法規的限制，從而形成不對稱的斗爭。

圖戰斗系列

2019年1月，美陸軍部長（SECARMY）要求陸軍科學委員會（ASB）研究人工智能（AI）如何改善戰場上的戰役和戰術表現。具體而言，他希望ASB確定陸軍在人工智能實施方面的獨特挑戰，確定陸軍的行業最佳實踐，并審查對手在戰場上對人工智能的潛在使用。

為了進行這項研究，ASB組建了一個研究小組，成員包括建立人工智能系統和指導人員，以及在實驗室、學術界、工業界和軍方有經驗的人員。該團隊還得到了負責人工智能實施的陸軍人工智能任務組以及陸軍研究實驗室（ARL）和陸軍夜視局高級政府聯絡員的協助，他們幫助約束該研究并為陸軍的人工智能實施提供指導。在收集數據的同時，研究小組還會見了來自政府、工業和學術界各組織的130多名人士。

AI在戰場上的前景和挑戰

在工業革命期間，機器開始執行以前需要人類體力勞動的任務。今天，一場認知革命正在發生，機器開始執行以前需要人類認知的任務。例如，我們問智能手機問題，并期望得到合理的答復，我們在網上買東西，并得到類似產品的推薦。

目前還不清楚我們是否了解認知革命的所有影響，但研究小組認為，它將改變戰爭特征，因為它提高了決策到行動的速度、規模和范圍，超過了人類在沒有援助的情況下所能完成的大量任務。人工智能是認知革命的核心，在戰場上優化使用人工智能將需要陸軍采用新的思維方式，包括一個反應靈敏的采購過程。

為了這項研究的目的，研究小組將人工智能定義為計算機系統執行通常需要人類智慧的任務能力。有許多關于人工智能的方法。

美國的對手已經在使用人工智能。俄羅斯和中國定期公布在戰場上進行的自動駕駛車輛實驗。成功實施人工智能的一個關鍵是數據標簽化。中國和俄羅斯的領導層都宣布人工智能是未來，誰能領導認知革命，誰就能在戰場上獲勝。除了僅僅使用人工智能，美國的對手希望實現人工智能的優勢。

目前的美國防部政策劃定了自主和協作，這決定了人工智能如何被用于支持各種作戰任務。因此，需要對人工智能采取多種方法，以確保人工智能系統在戰場上的最佳應用。無論采用哪種方法、作戰使用或政策要求，快速反饋周期將推動對作戰任務的評估，并將采用人工智能來告知如何收集和調節數據、如何運行算法以及如何優化人機界面。換句話說，人工智能最終將被用來衡量人工智能在戰場上的使用情況。這對軍隊來說也是顛覆性的。

同時，美國陸軍有幾種可能的方式在戰場上使用人工智能。下一個垂直升降飛機可以與使用綜合視覺增強系統（IVAS）的下一代戰斗車輛和士兵合作。一旦這些部件被聯網，相對于士兵在獨立系統中所能做到的，人工智能將提供更高的速度、范圍和規模。因此，人工智能將被用于自主機動、輔助目標識別和/或自動目標識別、任務規劃等。

人工智能給戰場帶來的優勢伴隨著風險和挑戰。有效使用有幾個潛在的障礙，如缺乏互操作性，數據饑餓，以及被對手利用。這些都是眾所周知的。但也有圍繞可靠性、信任、道德和可解釋性的問題，所有這些都有助于操作者理解人工智能的決策或建議。不是所有的人工智能系統都能做到這一點。

圖5 陸軍使用人工智能的潛力和挑戰

人工智能在工業中的應用

研究小組訪問了工業界，以了解商業企業如何利用人工智能，減少風險，并克服固有的挑戰。成功應用人工智能的共同主題涉及快速和持續的適應性和改進，可由以下方法促成：

• 使用常見的人工智能平臺

• 整理數據，特別是通過事實標簽

• 用模擬數據增強真實數據

• 創建架構和基礎設施，支持數據流和競爭所需的高性能計算

• 開發與技術共同發展的運行概念，例如，特斯拉的軟件更新方式是根據人們如何使用車輛來發展和展示新功能的。

• 知道在哪里應用人工智能來解決價值最高的問題，帶來最好的投資回報

• 獲取人工智能技能人才，由于競爭激烈，即使是像亞馬遜這樣的公司也面臨挑戰。

競爭也促使行業發展出一套實踐，允許快速變化和升級，特別是在軟件方面，進入正常生產，同時確保高質量。這種實踐--DevOps--結合了開發（Dev）和信息技術運營（Ops），以縮短系統開發的生命周期，并提供持續、高質量的交付（圖1）。

企業在實驗室中創建、整合和測試人工智能，將其發布給消費者，并部署到現場。當它被使用時，它被監測，并根據該系統的運行和使用情況，制定計劃，產生升級。企業重新編碼，重新開始循環以提高性能。DevOps循環需要一個底層數據層來迭代AI。與軟件升級不同，軟件升級可能是按月推送的，而人工智能周期必須是連續的，操作非常迅速，以確保最佳性能。

美國陸軍的進展

在收集數據的過程中，研究小組了解到，陸軍已經開始組織將人工智能帶到戰場上。陸軍成立了人工智能工作組，并與卡內基梅隆大學（CMU）合作成立了陸軍人工智能中心。陸軍也已經開始在陸軍未來和概念中心、訓練和條令司令部（TRADOC）以及其他地方開發人工智能的概念。

也可以說，這些人工智能的工作在很大程度上是不協調的。有許多陸軍項目使用人工智能。但陸軍成功運作的人工智能不能像在工業界觀察到的那樣快速發展。往往沒有共同的基礎設施，所以用于每個系統的計算、網絡和數據都是獨立的。

與工業界相比，陸軍人工智能活動的另一個不足之處是系統分析和建模與仿真（M&S）不足。例如，在x系統中加入人工智能將使任務的有效性提高y量；它將改變殺傷率，或完成任務的時間，或任務成功的概率，等等。就研究小組所能確定的而言，那些能夠顯示人工智能可能帶來什么價值的A-B測試還沒有做。

陸軍面臨的一個潛在挑戰是目前美國防部的采購環境，這使得復制工業界的快速開發周期變得極為困難。陸軍要購買一個可以像谷歌和其他公司那樣每天進行更新的系統是非常困難的。

陸軍可以自行解決的另一個挑戰是缺乏獲得、管理和使用其人工智能能力所需的足夠人才。陸軍有與增長和保留STEM資格人員有關的人才管理問題，而人工智能從業者在這一領域中所占的比例更小。有一些專家，但陸軍并沒有很多。

隨著陸軍繼續組織將人工智能帶入戰場，相當明確的是，最佳應用將出現在哪里（圖2）。有幾十種情況下，人工智能會增強陸軍的作戰功能，以包括一些人類參與可能有限的任務。

圖2 AI在戰場上的潛在應用

這些賦能器中的大多數已經在開發中，它們很少從頭開始。戰場上的使能因素往往可以建立在商業技術之上。

根據人工智能任務組的報告，目前的陸軍人工智能生態系統以CMU的人工智能中心為中心（圖3）。它與各利益相關者保持著聯系，包括實驗室和材料開發商、陸軍訓練中心和作戰社區。通過人工智能任務組，該中心還與美國防部的聯合人工智能中心進行協調。

圖3 當前陸軍AI生態系統

美陸軍人工智能生態系統專注于開發和實戰原型；從定義下一代系統的人工智能要求，到為傳統平臺開發人工智能解決方案。這種在戰場上的人工智能整合將迫使陸軍以新的方式運作。除了解決商業從業者確定的挑戰和減輕潛在對手的攻擊，陸軍必須解決地方性的挑戰，包括以下能力：

• 確定人工智能投資的優先次序，以獲得最大的戰場影響

• 構建一個SoS框架，利用獨立開發的、異質的、支持人工智能的平臺

• 通過繁忙的操作網絡調動數據、模型、算法和反饋

• 測試不斷發展的系統，并驗證其對敵方攻擊的復原力

圖17 SoS企業架構集成

雖然商業從業者可能擁有他們的整個人工智能企業，但軍隊不會。陸軍將從國防工業基地內的不同來源購買技術，它將不得不使它們一起工作。一旦完成這項任務，數據、模型、算法和反饋都必須在一個繁忙的操作網絡上移動。陸軍將不會有使用工業界所享有的那種基礎設施的好處。

陸軍還需要采用類似于DevOps周期的方法，以支持持續改進的方式將原型轉化為記錄項目（POR）。這將需要有能力（對陸軍來說是新的）測試不斷發展的系統并驗證對攻擊的適應性。陸軍將不得不改變其運作方式，以采用DevOps循環。

建議

根據其數據收集、分析和發現，研究小組在六個類別中提出了建議(圖4)。

結論

人工智能將通過提高決策的速度、規模和范圍來改變戰爭的特征，而這是人類所能實現的。如果陸軍對采用MDO是認真的，它就需要認真地采用協作性人工智能。

人工智能對陸軍和其對手都將是顛覆性的，因為：

• 完整的戰場效果將需要不斷地收集和整理數據，而迄今為止雙方都沒有做到這一點
• 每一方都將不得不在異質平臺上發展人工智能之間的合作
• 人工智能DevOps周期的快速執行是成本密集型的，并且厭惡官僚主義

美國陸軍將需要開發一個人才管道，使其成為人工智能能力的聰明買家和聰明用戶。

有說服力的動機：美國的對手已經在做這些事情了。

災難響應期間的態勢感知是至關重要的，因為它使響應團體能夠在災難時間敏感的急性階段迅速和有效地幫助那些有迫切需要的人。新技術可以極大地提高響應行動的效率：用衛星圖像快速繪制颶風的破壞性路徑，用社交媒體追蹤確定需求增加的社區，用計算機建模預測野火的路線以通知疏散。美國政府已經優先在整個聯邦機構實施人工智能（AI）系統，包括那些可能有助于災難響應的技術。在這份報告中，我們提供了一個技術路線圖，用于向響應社區提供近期和更遠期的人工智能技術，這些技術可以在災害期間幫助提高態勢感知。通過探索當前和歷史上的技術趨勢、成功和困難，我們設想了這種新技術可能給災害響應帶來的好處和脆弱性。考慮到與災害和人工智能技術相關的復雜性，有必要采取綜合的發展方法，以確保新技術既是科學驅動的，又是操作上可行的。

似乎戰爭的未來掌握在技術手中：無人機和機器有可能成為明天戰場上的主要角色之一。然而，那些認為人類將被完全剝奪戰爭藝術的人是錯誤的。在未來，人類將不僅僅是來自幕后的角色。人的因素將是決定性的，就像在亞歷山大三世、凱撒大帝和拿破侖-波拿巴的時代那樣。顯然，我們需要一個 "新的軍事人物"，一個能夠以有效和成功的方式結合不同理念的人。本文試圖在兩個基本概念的基礎上勾勒出這個人物。將考慮到蜂群（一種自古以來就使用的戰術，現在主要用于無人機）和人機協作（一種在軍事科學和技術領域正在獲得勢頭的概念）。這里的意圖是要了解這些想法是否能夠產生一個能夠解釋并贏得未來戰爭的新角色。

殺戮機器時代的新（人類）主體

今天，技術在世界范圍內占據了突出的位置。例如，想想工業生產或商業物流。當然，軍事界也沒有遠離進步--事實上，情況恰恰相反。目前，機器正被用于戰爭的各個方面，從偵察到消除目標。正是在這里，人們來到了一個非常重要的問題。這篇文章將討論未來戰爭的一個可能的新主體，但它不會是機器--而是人。由于巨大的技術優勢，這個人將有能力做出偉大的事情，但他們仍然是人。

既然有機器，為什么還要用人？例如，考慮一下無人機。無人駕駛飛行器（UAVs）是可消耗的，在資金和培訓方面都很便宜，而且能做士兵能做的一切，甚至可能更好。這是一些技術和軍事界人士的想法。但情況真的是這樣嗎？前提是，本文無意討論無人機的弱點，目前，無人機戰爭的情況出現了幾個問題。研究表明，遙控飛機（RPA）人員表現出與駕駛飛機的同事一樣的心理問題（例如，創傷后應激障礙，或PTSD）。此外，美國在全球反恐斗爭中使用無人機，不僅激化和煽動了對手，而且帶來的結果在戰略意義上遠非決定性的。當然，使用無人機的成本在經濟和政治方面都比較低（因為對于一個民主國家來說，發射一架無人機比部署少量士兵更容易被接受），但節約并不總是意味著勝利。雖然無人機無疑將繼續向好的方面發展，但世界大國的黑客攻擊能力也將繼續發展。在戰場上保護無人機方面已經發現了一些缺陷；例如，欺騙，即對手發送偽裝成真實的通信信號來劫持無人機，仍然對無人機構成嚴重威脅。只需點擊幾下就能讓一群無人機出現缺陷，這和以往一樣不方便。

但是，如果在未來，正如一些人預見的那樣，無人機逐漸由人工智能（AI）來指揮呢？在這種情況下，人類將遠離戰斗的身體和心理危險，而機器將做出決定。拋開這種選擇所帶來的巨大的道德和人道主義辯論，一些問題仍然存在。至少可以說，"機器理性地、無懈可擊地完成人類的工作 "這一方法是值得懷疑的。人工智能需要持續的最新信息以達到最佳運行狀態，而戰場會呈現出如此多變和非線性的場景，這將挑戰人工智能獲取精確數據的方式，因為這項技術是在有限的信息樣本上進行測試的。但人工智能最缺乏的是人類最主觀和最難計算的特征之一：判斷力。根據Avi Goldfarb和Jon R. Lindsay的說法，在軍事方面，判斷力包含了指揮意圖、交戰規則、行政管理和道德領導。這些功能無法通過狹隘的人工智能技術實現自動化。因此，對人工智能的日益依賴將使人類對軍事力量更加重要，而不是減少。

這是一個關鍵點。技術，無論是通過無人機還是人工智能來表達，都是不可阻擋的。有一天，機器可能會擁有人類的情商，因為人類對進步沒有限制。但由于本文討論的是近期而非遠期，因此有必要思考最現實、最可能的解決方案--可由人與機器之間的互補關系提供的解決方案。畢竟，戰場上沒有可預測的車轍，而是變化非常快的流動物。此外，正如其他軍事事務革命（RMA）的情況一樣，擁有技術從來都不是獲勝的條件。每一項軍事技術的背后都必須有一個能夠判斷其最佳用途的指揮官，并評估其在一場戰役中使用的所有戰術、行動和戰略影響。關于人工智能引導的無人機，也可以做這樣的論證。機器可能是不可阻擋的、自動化的和廉價的，但這并不意味著人們應該對它們有盲目的信任。如果沒有人類準備好打斷它們的運行周期，機器可能而且會在未來犯錯。

在這個意義上，保羅-沙爾談到了 "半人馬作戰"，在這個領域，人和機器都可以發揮自己的優勢，相互補充。然而，有一點特別重要，他指出了這種配對中的一個弱點：速度。循環中的人類降低了人工智能犯錯的可能性，但卻拖慢了人工智能的決策過程--而速度是戰爭的根本。另一個潛在的問題是人和機器之間可能缺乏溝通，這種情況在戰區發生。假設沙爾是泛指各種武器系統，本文作者認為，尤其是蜂群可以緩解這些問題。

蜂群（Swarmer）：人機混合

Swarmer這個詞來自于集群的概念。在進入這個話題的核心之前，有必要為本次討論的目的解釋一下什么意思。蜂群指的是一種軍事配置，涉及自主或半自主單位向敵人的聚合攻擊；它由獨立的小團體組成，可以使用非常高的信息水平和分散的組織。20多年前，約翰-阿基拉和大衛-隆費爾特試圖對這個概念進行定義：

• 蜂群看似無定形，但它是一種有意識的結構化、協調的戰略方式，通過可持續的武力和/或火力脈沖，從各個方向進行近距離以及對峙位置的打擊。如果它主要是圍繞著部署無數的、小型的、分散的、網絡化的機動部隊而設計的，那么它的效果將是最好的--也許只有它才會起作用。

這種配置在軍事史上并不新鮮。在13世紀征服亞洲期間，蒙古人應用蜂群取得了巨大成功。他們掌握了騎馬和使用復合弓的藝術，但這些并不是他們唯一的優勢。蒙古軍隊的各個單位享有極大的自主權和主動權，他們利用這些權利來提高他們在戰斗中的機動性和決定性。這些因素，再加上強大的態勢感知能力，使他們能夠有效地一窩蜂地對付任何對手。蜂群的一個較近的例子可以在第二次世界大戰期間的不列顛之戰中找到。1940年軸心國征服法國后，德國領導人阿道夫-希特勒想入侵他最后的敵人：英國。然而，為了讓他的入侵部隊穿越英吉利海峽，有必要獲得空中優勢。德國空軍的任務是殲滅皇家空軍（RAF）及其支持基地。為了自衛，皇家空軍戰斗機司令部協調自主的戰斗機群，逐漸削弱了德國對英國島嶼的空襲。

近來，蜂群主要被應用于無人機，也就是大家熟知的無人機。無人機群可以在幾個方面發揮有效作用；例如，它們的大量數量可以進行仔細的偵察，它們也可以壓倒現代防空系統，因為這些系統不是為打擊密集的小敵人群而設計的。美國軍方的測試表明，無人機和蜂群在未來將是一個有利可圖的比賽。值得報道的是，美國海軍在2021年進行了一次演習，讓無人機群參與摧毀一個海軍目標。甚至美國的主要競爭對手也在這一領域進行投資。中國正在大力投資無人機群的應用，而俄羅斯正在利用在敘利亞的經驗教訓，俄羅斯軍隊在軍事行動中部署了大量的無人機。

然而，正如本文開篇所述，無人機戰爭帶來的問題，在戰場上可能成為負面意義上的決定性因素。與無人機飛行員相反，掠奪者不會與它的 "技術伙伴 "相隔數千公里，而是真正地將它打扮起來：它將是一個配備了高科技外裝的士兵，因此是一個真正的未來半人馬；通信將是即時的，速度也不會有缺陷，因為兩個核心實際上將合并為一個。

在增強士兵的能力方面，有人談到了基因改造和手術。同樣，這位作者對未來可能發生的事情沒有任何限制，但在這種情況下會出現機器所特有的非人化問題：被占領國家的平民會對這種 "突變體 "感到恐懼；當然，他們不會在同一平面上看待它。因此，"蜂群 "將繼續是完全的人類，由一套能夠在戰場上為他們提供重大優勢的裝備來加強。與機器不同，用美國陸軍中校羅伯特-B-里格的話說，這種新的軍事主體不僅具有破壞性，而且還具有占有性，這意味著它將有能力攻擊以及處理和持有它所征服的東西。通用原子公司的MQ-9 "死神 "無人機可能是致命的，并在戰斗人員和非戰斗人員中引起恐懼，但它永遠不會有以身作則激勵部隊的能力，也不會與當地人產生共鳴，它也不可能擁有團隊精神，或表現出與偉大戰士一樣的戰術-戰略敏銳性。蜂群不會僅僅因為他們擁有高科技套裝而變得特殊，而是因為他們在戰術和戰場領導方面也將擁有高于平均水平的軍事能力。特別是，他們的優勢將在于在群組中進行機動。當然，這種應用在無人機上也是可能的，但正如已經看到的那樣，到目前為止，最全面的解決方案可能是由密切的人機聯系提供的。

那么，我們的目標是將機動和蜂群帶到一個完全不同的水平。世界上每個大國都在研究和實施常規機動戰，無人機群的使用也是如此，機動和蜂群的結合并不新鮮。但是，如果把對這些概念的現代理解應用于增強的人類，會怎么樣呢？為了更好地處理這種組合，有必要澄清前面介紹的人機合作的概念。正如Margarita Konaev和Husanjot Chahal所寫的那樣，人機合作是一種關系--至少由三個同等重要的要素組成：人、機器以及它們之間的相互作用和相互依賴。

歸根結底，今天的主要國際參與者正在以軍事的方式尋求人類和機器之間富有成效的聯系。一方面，機器能夠實現一個目標，而不會出現記憶或注意力不集中的情況，也不會感到恐懼。另一方面，人類比人工智能有更好的能力來感知細微差別，甚至在進展中制定解決方案。人機合作的目的必須是結合雙方的優勢，彌補雙方的不足。

為了在并不遙遠的未來戰場上有所作為，沼澤者將需要很好地利用技術來增強他們的表現。這種增強可以通過外裝來實現，外裝是一種可穿戴的盔甲，與人類操作者協同工作。人體增強是人們一直追求的目標，但近年來出現了與外骨骼有關的新項目，可以幫助進一步提高士兵在戰場上的表現。其中一個項目是戰術突擊輕型操作服（TALOS），這是由美國特種作戰司令部設計的戰斗服。它包括一個全身外骨骼，提供小武器射擊的保護，以及增強態勢感知。雖然該項目在2019年由于該套裝的電源持續存在問題而被取消，但對全身外骨骼的競賽仍在繼續。例如，俄羅斯企業集團Rostoc正在開發第三代裝甲戰斗服 "Sotnik"，并且已經在設計第四代裝甲服，以進一步提高俄羅斯軍事人員的進攻和防御能力。

掠奪者將需要一種高科技外裝，能夠提高他們的態勢感知能力，并提供全身保護，防止小武器射擊。但這還不是全部。將便攜式個人空中移動系統（PPAMS）整合到外衣中也將是有用的，該系統更好地被稱為 "噴氣背包"。同樣，這也是一項尚未充分探索的技術。理查德-布朗寧的重力工業公司和弗蘭基-薩帕塔的薩帕塔工業公司已經在這一領域開展工作，甚至與一些國家的武裝部隊協同提供原型，而美國國防高級研究計劃局已經表明，它正在尋找這一領域的有效解決方案。這些技術今天不會準備好，但它們遠非科幻小說。

蜂群的部署

在不久的將來，蜂群可能成為戰場上的陰險角色。怎么做呢？首先，它們應該被劃分為質量優于數量的單位：小型蜂群應該以極大的自主權行事，與分散的指揮和控制相聯系，不被等級制度所扼殺。他們將被編入由幾個操作員（理想情況下最多七個）組成的蜂群，由擁有重要主動權的戰術指揮官領導。蜂群還應該得到一個功能性的和基本的后勤系統的支持。為此，重要的是，人機協作要盡可能地簡單和直觀；否則，蜂群在軍事行動中只能是一個技術壓艙物。在過去，蜂群后勤與地形有關，有效地限制了這些單位的行動范圍（例如，蒙古人受限于是否有放牧地）。PPAMS的技術可以克服這一歷史局限性，使蜂群有能力在空中加油，翻越地面障礙物到達補給和維護源，或者相互找到對方以交換補給。

一般來說，蜂群必須盡可能地自我維持。在這個意義上，無人機的使用可能是有用的；正如無人系統已經在民用世界中被測試用于運送和醫療目的一樣，戰場上的無人機可以為最后一英里的運送提供可行的解決方案，這是戰爭中最危險的。蜂群還可以提供智能的、具有成本效益的、人類規模的物流，增加其操作的自主性。這里應該很明顯的是，蜂群和無人機并不是競爭的對象，只是因為它們會執行不同的任務。正是因為這個事實，目標是讓雙方緊密地相互聯系和互補。蜂群和無人機之間的協調只有通過強大的網絡能力才能實現。這必須是蜂群單位的標志之一，它們必須高度連接才能協調運作。網絡提供信息，蜂群必須具有優勢，才能擁有態勢感知能力。這種優勢包括擁有干凈的信息流和破壞敵人的信息。與無人機飛行員不同，蜂群可以意識到地面上的情況，而不會因為他們的飛行能力而產生不必要的危險；事實上，蜂群應該站得足夠高，以避免小武器的射擊，并且足夠輕，以避免被標記為地對空或空對空武器的目標。

值得一提的另一個方面是，蜂群應該能夠抵御網絡或電子攻擊。蜂群可能會出現問題，但會繼續使用更傳統的通信手段進行操作；相反，無人機群需要完整和持續的信息流，如果沒有信息流，它就會直接停止運作，甚至更糟。

這樣的準備，蜂群可以在戰術上運作，在準備和獲取目標的過程中保持分散，然后聯合起來，以速度和決策攻擊敵人。與這種難以捉摸和分散的單位作戰，對任何武器系統來說都將是一個挑戰，無論它的殺傷力和破壞力有多大；此外，在空中移動的能力將有助于蜂群在戰場上的無處不在和非系統化的特性。這些單位決不能取代所有其他武器（如步兵、炮兵或裝甲兵），而應與它們協同工作。蜂群可以成為通過沖擊、通過直接或間接的對峙火力、或通過瓦解它或將它推向友好的常規部隊來瓦解敵方部隊的凝聚力的決定性因素。如果蜂群在信息、技術和機動方面具有首要地位，它們肯定能在未來戰爭中發揮作用。

這種新單位的作戰用途肯定會是在常規戰爭中。回到不恰當的無人機與蜂群的比較，前者已經在反叛亂行動中進行了測試，并顯示出不確定的結果。要想贏得戰爭，僅有精確的殺戮是不夠的。但這種觀點需要改變--無人機非常有用，但需要與其他要素相結合。敘利亞的沖突表明，如果把它們放在一個支持更多傳統力量并得到其支持的明確背景下，它們可以產生巨大的結果。蜂群將把它們的技術優勢與強大的軍事能力相結合，特別是在機動領域。有了這些新的解釋者，機動戰可以有新的細微差別。在今天的多維戰場上，空中、陸地、水面和網絡是同一場斗爭的延伸，蜂群的能力可以恢復，例如，包圍的概念。根據肖恩-J-A-愛德華茲（Sean J. A. Edwards）的說法，包圍在目標的頭腦中形成了一種感覺，即戰斗進展不順利。士兵們意識到敵人在他們的后方，就會擔心他們會失去維持生計和生存的手段--食物、水、彈藥，以及明確的逃生路線。對于一個接受過直線作戰訓練的士兵來說，從一個正面、兩個側翼和一個后方的角度來看戰場，后方出現的敵軍具有深刻的心理影響。腓特烈大帝喜歡說，敵人身后的三個人比他身前的五十個人更有價值。所以蜂群的目標始終是最大限度地擴大攻擊方向。

當然，包圍只是蜂群行動的其中一種方式。這些部隊必須被灌輸最大限度地擴大敵人的損失和最大限度地減少自己的損失的思想；是戰場和當時的突發事件決定了每次如何應用這種心態。如上所述，蜂群憑借其機動性和態勢感知，可以在許多不同的情況下行動。他們可以執行偵察任務，就像迦太基將軍漢尼拔在第二次布匿戰爭（公元前218-201年）中的輕騎兵一樣；這支古代世界的特殊騎兵部隊在意大利戰役中成功伏擊了兩名羅馬執政官，并使他們受了重傷。像他們一樣，蜂群可以跟蹤敵人，獲取信息或破壞他的信息流。此外，由于它們的性質，它們可以避免城市環境中的非常規陷阱。對于盤踞在城市廢墟中的部隊來說，如果他們知道自己面對的是一個難以捉摸的敵人，而這個敵人憑借其卓越的技術和態勢感知能力，可以從上面看到他們而不被發現，這在心理上是令人沮喪的。在這種情況下，敵人可能會失去掩護來打擊蜂群，成為其他等待目標的友軍單位所看到的。

除了這些能力（當然，這些能力也可以由無人機群來完成），蜂群可以用他們的實時判斷來處理情況，自己創造循環，而不是監督它或只是作為它的一部分（就像無人機操作員那樣）。它們也可以被指派在側翼或后方攻擊常規部隊，用對峙的火力打擊它。蜂群可以在高度上移動，以打擊例如火力反應范圍之外的坦克群，或者它們可以在機動中與常規部隊協同移動。對于這種類型的戰術，報告一個具體的歷史事件是有用的：在羅馬-塞琉希德戰爭（公元前192-188年）期間，羅馬領導人西庇阿率領軍隊穿越色雷斯（今保加利亞）。與他同行的是一支努米底亞人的騎兵隊，他們發現有多達15000名色雷斯當地人拿著武器阻礙他們通過。努米底亞人只有400人（還有幾頭大象），他們利用自己強大的機動性，從側面和后方攻擊這支龐大的敵人部隊。他們取得了勝利，而羅馬的主力部隊甚至沒有參與到這場戰斗中。今天，蜂群可以發揮同樣的作用；通過利用他們在前面討論的技能方面的優勢，他們可以粉碎比他們強的部隊，在敵人最不期望的地方對其進行打擊。然而，必須記住，與努米底亞騎兵不同，他們最好的防御是在他們的速度上（事實上，他們沒有很好的盔甲），蜂群應該有不同類型的輕武器的保護。此外，這些 "軍事祖先 "之間還有一個區別：制造沖擊的能力。例如，在漢尼拔的軍隊中，突擊部隊是老資格的布匿步兵；相反，蜂群自己可以創造沖擊，利用對峙的火力。

不可否認的是，發展蜂群涉及大量的經濟開支和技術研究。然而，如上所述，戰爭的各個組成部分都在迅速發展。一些國家，最引人注目的是中國，正在向本文討論的領域投入資金。例如，在2020年，中國撥出8500萬美元（USD）用于各種研究，包括人機聯手和蜂群。遲早，歐洲會出現一個霸權國家，它將在這些領域投入大量資源。如果美國想繼續保持軍事上的優勢，它必須超越常規思維。蜂群將使美國在不太遙遠的將來更迅速、更有力地投射其軍事優勢。

結論

無人機肯定會成為未來戰場的主角之一--這一點是毫無疑問的。但它們決不能替代人類。正如已經表明的那樣，人類和無人機在以協同和互補為特征的關系中共同發揮其最佳作用。這對組合的最佳應用可能是由蜂群提供的：擁有巨大的技術和信息優勢的士兵，但仍然是被賦予判斷力和情感智慧的人類。他們的能力將允許速度、沖擊和機動的靈活性，這在未來的戰場上可能被證明是決定性的。當然，談論目前的情況是不現實的。人們已經看到，這個項目的道路并非沒有障礙：TALOS項目的命運必須是一個銘記在心的教訓，也是一個奠定新基礎的基礎。總的來說，必須有勇氣將時間、金錢和研究投入到直到幾年前還被認為只在科幻電影中才可能實現的事情上。畢竟，如果一個人不想落后，那么他必須著眼于未來，但不能忘記過去和自己是誰。僅有機器是不夠的，因為正如安東尼奧-卡爾卡拉等人所斷言的，"高技術武器需要高質量的人員"。

與中國和俄羅斯等大國競爭的出現，深刻地改變了關于美國國防問題的對話，這與后冷戰時代的對話不同。反恐行動和美國在中東的軍事行動--在2001年9月11日的恐怖襲擊后被移到了美國國防問題討論的中心--現在已不再是對話中的主要內容，現在對話的特點是新的或重新強調以下內容，這些內容都與中國和/或俄羅斯有關：

• 大戰略和大國競爭的地緣政治，作為討論美國國防問題的出發點。

• 美國防部內部的組織變化。

• 核武器、核威懾和核軍備控制。

• 美國軍事能力的全球分配和部隊部署。

• 美國和盟國在印度-太平洋地區的軍事能力。

• 美國和北約在歐洲的軍事能力。

• 新的美國軍種作戰概念。

• 進行所謂高端常規戰爭的能力。

• 保持美國在常規武器技術方面的優勢。

• 美國武器系統開發和部署的創新和速度。

• 長時間的大規模沖突的動員能力。

• 供應鏈安全，即意識到并盡量減少美國軍事系統對外國部件、子部件、材料和軟件的依賴；以及

• 打擊所謂的混合戰爭和灰色地帶戰術的能力。

美國會面臨的問題是，美國的國防規劃應如何應對與中國和俄羅斯出現的大國競爭，以及是否批準、拒絕或修改拜登政府為應對大國競爭而提出的國防資金水平、戰略、計劃和方案。國會對這些問題的決定可能對美國的國防能力和資金需求產生重大影響。

人工智能（AI）應用于武器系統是過去10年研究的一個主要趨勢。這些舉措旨在提高武器的準確性，執行非主動的瞄準手段，幫助導航和制導與控制（例如，在全球定位系統被拒絕的情況下），并減少與傳統的基于物理學的方法相比的整體計算資源，以便在更小、更實惠的武器系統上實現智能瞄準。這項研究還包括將作戰人員的戰斗空間擴展到無人駕駛飛行器，并使用蜂群方法與有人和無人平臺進行合作。

我們首先概述了人工智能的描述和歷史，并概述了人工智能在武器系統中的原理、技術和應用。這包括對監督自主系統；制導、導航和控制；行為和路徑規劃；傳感器和信息融合；智能戰略和規劃；兵棋推演建模；以及認知電子戰的研究和計劃的回顧。

然后，對將人工智能應用于武器系統的系統和項目進行了調查。雖然重點是基于美國的系統和項目，但也包括一個關于俄羅斯和中國相關系統的小節。最后，我們對將人工智能用于武器系統的倫理考慮進行了簡要評論。

引言

1.1 問題陳述

機器學習（ML）和人工智能研究的最新進展揭示了人工智能在實現創新、增加機器的效用以及增強人類能力和經驗方面的力量和潛力。人工智能技術的顛覆性和其影響的深度還沒有被廣大公眾完全掌握。考慮到新時代的新興技術威脅，展示關鍵和相關的人工智能研究和最先進的技術是很重要的，這些技術不僅為武器系統提供了比傳統武器系統更多的自主權，而且大大增加了它們的殺傷力和戰斗生存能力。最終，人工智能在開發改變游戲規則的技術方面帶來了巨大的戰略機遇，這將確保國家安全、繁榮和技術領先地位。

1.2 常規武器系統

美國軍方在創造先進的常規武器技術方面取得了巨大的進步，這些技術支持了士兵在戰場上的任務并增強了他們的能力。這些常規武器技術大多是自動化系統，在計劃、執行和完成一項任務或使命時依靠一套預先編程的規則。然而，在中國和俄羅斯等國家新開發的武器的前沿陣地上，人工智能支持的戰爭和高超音速武器給美國武裝部隊帶來了新一代的質量挑戰。下一代戰斗的步伐要求為戰略決策進行時間緊迫和大量的戰斗信息處理，這使得美國的許多常規武器系統只能執行低風險的任務，并在核領域之外處于威懾力減弱的態勢。

必須承認，人是昂貴的訓練資產。在戰場上增加更多的人員并不是推進最先進的戰爭的優雅或廉價的解決方案。相反，用支持人工智能的智能硬件來增強人在回路中的系統，可以在戰區提供更多的眼睛和耳朵，并通過使人工智能系統執行一些簡單和常規的任務來釋放人類的決策。

此外，無人駕駛作戰飛機系統（UCAS）是一種成熟的具有成本效益的系統解決方案，用于執行情報、監視和偵察（ISR）任務和遠程空襲。然而，自動化能力仍然受到人類在環形操作、評估和接觸的限制。雖然在任何可預見的未來都沒有打算消除武器化人工智能系統中的人類元素，但人類的能力仍然構成這些系統協同潛力的上限。但是，一個由人工智能驅動的智能武器系統的新生態系統將迎來新的戰爭形式和戰略。

人工智能國家安全委員會在其2021年的報告中提出，美國國防部（DoD）的軍事企業在整合人工智能技術方面落后于商業部門，并敦促在2025年前為整個國防部廣泛整合人工智能奠定基礎[1]。

1.3 人工智能的簡要歷史

幾個世紀以來，哲學家們一直在考慮以某種形式人工復制人類智能的某個方面的概念。1869年，威廉-杰農創造了第一臺基于布爾邏輯實現邏輯計算的機器。該機器能夠比人類更快地計算布爾代數和維恩圖。隨著這種邏輯計算機器的發展，人們很自然地質疑機器是否可以通過邏輯推理來為人類解決問題并做出決定。圖1-1中的時間軸顯示了人工智能的歷史和演變，并在本節中進行了詳細說明[2]。

在理論計算機科學的一些最早的工作中，英國數學家阿蘭-圖靈（Alan Turing）思考了機器是否能像人類一樣智能地行為和解決問題的問題。他在他的圖靈測試中提出，如果一臺機器能模糊地模仿人類這樣的智能生物，那么這臺機器就是智能的。這一理論測試成為一種指導性的形式主義，在這種形式主義中，當前的機器被測試其模仿人類智能概念的能力或潛力。作為測試的見證，Loebner獎是一個圖靈測試競賽，其任務是根據圖靈提出的基本問題來評估機器智能研究的現狀。

1928年，約翰-馮-諾伊曼證明了Minimax算法的基本定理，該算法旨在提供一種在零和博弈過程中使最大可能損失最小的策略。

圖1-1. AI歷史年表

在第二次世界大戰的高峰期，阿蘭-圖靈和他的團隊開發了一種機器算法，可以破譯德國的英格瑪信息密碼。他的算法的成功，推動了將復雜任務委托給機器的進一步努力，是機器計算的基礎，也是ML發展的先導。

1943年，McCulloch和Pitts開創了神經網絡（NN）的最早概念--McCulloch-Pitts的形式網絡理論--這在1949年馮-紐曼在伊利諾伊大學的四次演講中得到了體現[3]。

大約在同一時間，約翰-麥卡錫，一位計算機科學家，在1955年創造了 "人工智能 "來指代機器智能；計算機科學家艾倫-紐維爾；以及赫伯特-A-西蒙，一位經濟學家和政治學家，開創了第一個旨在自動推理的真正程序（稱為邏輯理論家）。隨著這一突破性的努力，對智能機器的探索開始了，為人工智能作為計算機科學的一個新的學術研究領域鋪平了道路。

1957年，一位名叫弗蘭克-羅森布拉特博士的心理學家開發了一個名為 "感知器 "的簡化數學模型，描述了我們大腦中的神經元如何運作。這一成就被強調為 "Perceptron收斂定理"。

同年，理查德-貝爾曼開發了動態編程，用于解決一類最佳控制問題。他還介紹了離散隨機最優控制問題的馬爾科夫決策過程表述，這為現在所稱的 "強化學習 "奠定了重要基礎。

在這些發展之后，另一位名叫阿瑟-塞繆爾的人工智能先驅利用他早先在ML方面的開創性工作，成功地開發了第一個檢查者算法。他實現了現在被稱為 "Alpha-Beta修剪 "的早期版本，這是一種搜索樹方法，通過Minimax算法減少評估節點的數量。1959年，一位名叫威廉-貝爾森（William Belson）的統計學家開發了一種名為決策樹的非參數、監督學習方法的早期版本。

在20世紀60年代，人工智能研究的重點是解決數學和優化問題。1960年，羅納德-霍華德提出了馬爾科夫決策過程的策略迭代方法，建立了一些與強化學習有關的最早的工作。

到1968年，著名的路徑搜索算法A-star是由計算機科學家尼爾斯-尼爾森提出的。60年代末，機器人建模、控制和機器視覺方面取得了進展，導致在1972年開發了第一個名為WABOT-1的 "智能 "擬人機器人，并整合了肢體操縱、視覺和語音系統。

Harry Klopf的 "適應性系統的異質理論 "的復興對適應性系統的試錯范式的發展有很大影響。1977年，Ian Witten提出了最早的強化學習系統之一，使用了時間差法。理查德-薩頓和安德魯-巴托設計了一種強化學習算法，稱為演員批評法。

由于70年代中期到80年代末計算機的計算能力限制，人工智能研究在有大量數據處理要求的應用中發現了困難，如視覺學習或優化問題。同時，數學研究 "證明 "了（單層）感知器不能學習某些模式。此外，1973年發表的一份Lighthill報告對人工智能的潛力非常悲觀，這導致人工智能研究的資金被削減。結果，資金短缺導致人工智能的研究經歷了一個被稱為 "人工智能冬天 "的時期。

到了80年代中后期，繼1986年多層感知器的發展之后，在NNs方面也做出了重要的理論貢獻。這些貢獻是David Rumelhart在1986年開發的遞歸神經網絡（RNNs），John Denker等人在1987年開發的貝葉斯網絡，以及Yann LeCun在1989年開發的卷積神經網絡（CNNs）。

此外，Chris Watkins在1989年開發了另一種重要的強化學習方法，稱為 "Q-Learning"。1992年，在IBM的Thomas J. Watson研究中心，Gerald Tesauro通過自我強化學習為雙陸棋游戲訓練了TD Gammon程序。1997年，IBM的 "深藍 "計算機使用粗暴的、基于搜索的算法擊敗了國際象棋世界冠軍加里-卡斯帕羅夫，使其成為第一個在國際象棋中戰勝頂級職業選手的程序。

在90年代末和21世紀初，在ML中看到的大部分進展是由計算機處理、存儲和分布式計算方面的指數級進展所推動的。2007年，需要大量計算資源的保證最優玩法在跳棋中得到了解決。在過去的20年里，圖形處理單元用于通用計算的激增導致了今天人工智能應用的進一步進展，特別是在2012年和2014年，不同的NN拓撲結構，如殘差網絡和生成式對抗網絡的發展。

2015年，ImageNet競賽，一個為約400萬張圖像的ImageNet圖像集開發分類器的公開競賽，有一個冠軍，其錯誤率被認為低于一個人。2016年，DeepMind的AlphaGo程序在擊敗當時被認為是最優秀的圍棋選手李世石后，成為最佳AlphaGo選手。繼AlphaGo的學習能力之后，AlphaZero在2017年擴展了AlphaGo，成為國際象棋和Shogi的最佳棋手。

2019年，美國國防部高級研究計劃局（DARPA）推出了AlphaDogfight，這是基于人工智能的空戰算法在模擬的F-16狗斗中與經過頂級訓練的飛行員進行的一系列三輪競賽。第一輪和第二輪比賽中，人工智能程序相互競爭。第三輪將人工智能勝利者的飛行員提煉出來，與美國空軍武器學校的優秀畢業生進行競爭。蒼鷺系統的人工智能飛行員不僅在競爭激烈的人工智能空中戰斗人員中獲勝，而且在與訓練有素的人類F-16飛行員的較量中取得了令人難以置信的五次勝利。

OpenAI在2020年5月推出了一個名為GP3的 "自然語言處理 "模型，它生成的寫作內容與人類無異。其最新版本可以從簡單的描述性語言生成編程語言代碼[4]。人工智能的歷史繼續向前發展，特別是對國防部的武器系統應用。本報告的其余部分將調查與武器系統有關的當代人工智能技術和系統。

1.4 什么是AI？

根據Barr和Feigenbaum的說法，人工智能被定義為 "計算機科學中與設計智能計算機系統有關的部分，即表現出我們與人類行為中的智能有關的特征的系統--理解語言、學習、推理、解決問題等等"[5]。

Stuart Russel和Peter Norvig在他們的《人工智能：一種現代方法》一書中對人工智能的最新定義是："設計和建造能夠從環境中接收感知并采取影響環境的行動的智能體" [6]。

Pei Wang優雅地將智能定義為 "在知識和資源不足的情況下的適應"[7]。雖然該定義沒有說明適應的目的（如目標），但它揭示了為達到這種智能需要完成的工作。

如果要以人類為中心定義人工智能，即執行人類智能水平的任務，那么人工智能需要感知、推理、知識構建、推理、決策和計劃、學習、交流，以及有效移動和操縱環境的能力。

人工智能的科學目標是回答哪些關于知識表示、學習、規則系統、搜索等的想法可以解釋各種類型和水平的真實智能。工程目標是為不同的應用領域開發人工智能技術，以解決現實世界的問題。

在人工智能的科學基礎上，我們發現來自不同科學領域的可識別概念--哲學、邏輯/數學、計算、心理學和認知科學、生物學和神經科學以及進化。在尋求發現和更好地理解人工智能是什么或將是什么的過程中，來自這些不同知識領域的貢獻已經被證明是不可避免和不可或缺的了。許多研究人工智能的領域都在同時構建人類認知如何運作的模型，并在它們之間采用有用的概念。例如，NN，一個源于生物學的概念，試圖在簡化的人工神經元的基礎上建立人工系統，這個概念導致了一個簡單的抽象知識結構的表示，足以解決大型計算問題集。

人工智能大致分為三個主要層級--人工狹義智能（ANI）、人工通用智能（AGI）和人工超級智能（ASI）。圖1-2說明了這三個層級中的各種分組，本節將更多地討論這些分組。

1.4.1 人工狹義智能（ANI）

ANI是對一個執行狹窄或單一任務的人工智能系統的描述。它可以包括各種方法來獲得結果，如傳統的ML（以圖像分類為例）或目標檢測（包括ML和基于規則的系統）。給定一組規則或約束，它的目標是提供一組代表狹義任務的輸出。ANI不會擴展或學習新的認知，也不會自我學習新的操作模式。數據挖掘、大多數專家系統和針對某一應用的預測功能（例如，垃圾郵件檢測和面部識別）都被認為是ANI的形式。ANI還包括 "有限記憶人工智能"--用于自動駕駛汽車的系統類型，使用過去的經驗（訓練），并學習做決定，隨著時間的推移而改進。

1.4.2 人工通用智能（AGI）

AGI是一種更強大的智能形式，因為它被更多類似人類智能的特征所增強，例如自主學習的能力和解釋情緒和語音語調的能力。這使得與AGI相關的智能與人類的智能水平相當。AGI的一些關鍵核心能力如下：

• 推理、解決問題、運用策略和在不確定情況下做出決定的能力。
• 展示知識的能力。
• 計劃的能力。
• 學習的能力。
• 用自然語言交流的能力。
• 將所有上述內容整合為一個共同目標的能力。
• 類似人類的思維與圖靈測試等計算的結合。

1.4.3 人工超級智能（ASI）

ASI是一種超越最聰明的人類頭腦的智能模型。實現ASI的方法仍在概念化中，但將是那些超越AGI并需要某種自我意識的系統。這些系統最好能代表所有人類的認知能力，甚至更多。

1.5 機器學習（ML）

ML是機器從數據中學習的能力，目的是做出準確的預測。它大致分為四類學習，提供了豐富的專用和通用的技術家族。

1.5.1 監督學習

在這種形式的學習中，訓練數據使用包含的輸入和標記的或預定的輸出數據。如果有缺失的輸入或輸出條目，它們會被預處理，以便將一個輸入正確地映射到其真正的對應輸出。通過從正確生成的訓練數據集中學習，系統學會了將不在原始數據集中的輸入與預測的輸出（標簽或值）聯系起來。這種類型的訓練解決的典型問題是回歸和分類[8]。

1.5.2 無監督學習

這種形式的學習中，系統直接從未標記的數據中發現有趣的或隱藏的結構[9]。無監督學習被用于聚類分析、降維或估計可能產生輸入數據的密度[8]。

1.5.3 半監督學習

當數據集包含有標記的和無標記的數據時，這種學習形式的系統利用無標記的數據來更好地捕捉潛在的數據分布，并獲得一個更好的預測，如果它只從標記的數據中訓練的話。這種學習形式適用于訓練數據集中的標注數據遠遠少于未標注數據的情況[8]。

1.5.4 強化學習

在這種學習模式中，系統使用獎勵/懲罰機制進行訓練，這樣它所選擇和執行的行動，當行動可取時，會使系統得到獎勵，當行動不可取時，會受到懲罰。強化學習問題涉及學習如何做（如何將情況映射到行動上）以最大化數字獎勵信號[9]。

03 人工智能在武器系統中的應用

人工智能有可能應用于武器系統生態系統的許多方面。它被用來控制系統，從而實現自主性和提高性能，以在具有挑戰性的環境中選擇指導、導航和控制方面的問題。同樣，人工智能可用于解決任務和路徑規劃中的挑戰性問題，從而實現更高水平的復雜任務目標和操作要求。人工智能也被用于電子戰領域的支持、反制，甚至是反制措施。它還可能被用于來自不同系統層次和領域的信息融合，以泄露抽象的高價值戰場情報，并提供關鍵線索和快節奏的決策，從而在現代戰爭中創造寶貴的戰術優勢。

報告的這一部分將強調最先進的人工智能方法在適用于自主和武器系統的各種人工智能問題領域的使用。它是根據以下問題領域來組織的。

• 自主性

• 感知中的人工智能

• 制導、導航和控制中的人工智能

• 任務和路徑規劃

• 智能戰略

• 對手建模

• 認知型電子戰

提綱

第一章 引言

1.1問題陳述

1.2常規武器系統

1.3 AI簡史

1.4什么是AI？

1.4.1 ANI

1.4.2 AGI

1.4.3 ASI

1.5 ML

1.5.1監督學習

1.5.2無監督學習

1.5.3半監督學習

1.5.4強化學習

第二章 最先進的方法

2.1學習人工智能范例

2.1.1深度學習

2.1.2強化學習

2.2隨機優化和搜索算法

2.2.1隨機優化

2.2.2圖形搜索算法

2.3新興人工智能范例

2.3.1神經符號AI

2.3.2 NE

第三章 人工智能在武器系統中的應用

3.1自主性

3.1.1定義、級別和框架

3.1.2自主系統的功能組件

3.2感知中的人工智能

3.2.1圖像分割

3.2.2目標檢測、分類和場景理解

3.2.3傳感器融合

3.3制導、導航和控制中的人工智能

3.3.1 GN&C系統

3.3.2常規控制理論方法

3.3.3智能控制

3.3.4本地化和導航

3.3.5系統識別

3.4任務和路徑規劃

3.4.1GAs

3.4.2群體智能

3.5智能策略

3.6對手建模和兵棋推演

3.7認知電子戰

3.7.1電子支持措施

3.7.2 ECMs

3 .7.3 ECCMs

第四章 將人工智能應用于武器系統的系統和程序

4.1天線系統

4.1.1下一代空中優勢計劃

4.1.2 Shield AI Hivemind

4.1.3 Shield AI V-Bat

4.1.4 Kratos XQ-58 Valkyrie

4.1.5 MQ-20 Avenger UCAS

4.1.6自主彈藥

4.1.7 Dynetics X-61小精靈

4.2 海軍系統

4.3 陸軍系統

4.3.1 QinetiQ/Pratt Miller的遠征自主模塊化飛行器

4.3.2Textron系統公司的Ripsaw M5

4.3.3 Rheinmetall公司的Lynx KF41

4.4 群系統

4.4.1 DARPA的攻擊性蜂群戰術

4.4.2自主協同小直徑炸彈群

4.4.3 Perdix群

4.4.4 Mako UTAP22

4.4.5 Coyote UAS Block 3

4.4.6機器人代理命令和傳感群的控制架構

4.4.7激流勇進微型無人潛水器

4.5戰斗管理和智能指揮與控制

4.6 ISR和目標系統

4.6.1 SRC的HPEC Pod

4.6.2復仇女神

4.7導航

第五章 未來作戰中的AI

第六章 人工智能和外來威脅

6.1俄羅斯

6.2中國

第七章 倫理考量

第八章 總結

參考文獻

美國海軍和國防部（DOD）正在優先考慮在各戰爭領域迅速采用人工智能（AI），以保持對美國有利的技術優勢。機器學習（ML）是最近人工智能發展的基礎，它存在著一個持續的、沒有得到充分解決的關鍵缺陷：對抗性樣本。自2013年發現以來，在深度神經網絡（DNN）分類器中出現了許多新形式的對抗性樣本攻擊，并提出了許多狹義和特殊的防御措施。這些防御措施都沒有經受住反測試。一些研究人員提出，這種易受攻擊性可能是不可避免的。到目前為止，還沒有發現有效的、可計算的、通用的方法，可以加固DNN，使其免受這種和相關的泛化問題的影響。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以通過將模型分類空間數據密集區之間的數據點稀疏的潛在空間，作為障礙隔離來改進。我們研究了兩種不同的方法來實現這種對基于對抗性樣本的攻擊防御，測試這些防御對最有效的攻擊，并將結果與現有的技術狀態的防御進行比較。

第一章 引言

人工智能（AI）已被提出來作為推進國防部能力的一個關鍵推動因素。人工智能國家安全委員會在其最終報告中寫道："如果我們的武裝部隊不加速采用人工智能，他們的軍事技術競爭優勢可能會在未來十年內喪失"，建議 "美國現在必須采取行動，將人工智能系統投入使用，并在人工智能創新方面投入大量資源，以保護其安全，促進其繁榮，并保障民主的未來" [1]。鑒于人工智能或更具體地說，深度神經網絡（DNN）中的機器學習（ML）最近在科學和工業領域取得了廣泛的突破，這種關注無疑是恰當的。然而，在國防應用中利用ML和其他現代 "深度學習 "方法并非沒有其固有的附加風險。

最近的人工智能主張已經近乎夸大其詞；當然，在與軍事和文職領導層的高層溝通中，也發生了一些夸大其詞的情況。作為這種夸張的例子，參考一下《2019年美國總統經濟報告》是如何向美國領導人介紹機器視覺方面的人工智能狀況的。在第343頁題為 "2010-17年人工智能和人類的圖像分類錯誤率 "的圖表中，它顯示了 "人類分類 "錯誤率與機器分類錯誤率將在2015年超過人類圖像分類能力。對這一說法仔細考慮并對參考研究甚至是當前最先進研究進行檢查，顯示這一特殊的發展仍然是一個遙遠的、尚未達到的里程碑。

1.1 深度學習的突破

即使ML仍然存在挑戰，近年來，機器學習在科學、工業和商業領域的成功應用也在急劇增加。深度神經網絡已經在自然語言處理、天文學、癌癥診斷、蛋白質折疊、語音識別和機器視覺等不同領域取得了巨大的進步[2]-[8]。因此，這類系統的潛在軍事應用同樣比比皆是：分析頻譜上下的聲學和電磁傳感器數據、機器視覺、尋找-修復-跟蹤和瞄準對手的飛機、地下、水面和陸地戰斗人員、人類語言處理、語音識別、自主空中/地面/地下/陸地車輛、信息戰、情報、監視和偵察（ISR）整合、機器人技術、網絡防御、網絡攻擊、戰術決策輔助，等等。

1.2 深度學習的脆弱性

盡管這項技術帶來了巨大進步，但目前的ML分類方法創建的模型在其核心上是有缺陷的，因為它們非常容易受到對抗性樣本攻擊和相關欺騙技術的影響[9]。廣義上講，文獻中定義的這類攻擊有三類：探索性攻擊、逃避性攻擊和中毒性攻擊。在本報告中，我們主要關注防御我們認為最關鍵的需求，即逃避攻擊。為了提供背景，我們簡要地概述了這三種攻擊。探索性攻擊，對手并不試圖實現錯誤分類，而是試圖通過精心設計輸入來獲得模型的知識，這些輸入的結果將提供關于模型內部狀態的信息，其目的是減少模型的不確定性，以支持未來的攻擊。中毒攻擊試圖在訓練期間修改模型，以偷偷地完成模型的一些未被發現的行為變化。最后，在逃避攻擊中，攻擊者不知不覺地修改了人工制定或模型的輸入，以產生分類的變化，從良性的或最初設定的類別到一些其他的、欺騙性的不真實的類別[10]。這最后一類是我們防御的重點，從這一點出發，我們把這些簡單地稱為對抗性樣本攻擊[11]。

自從2013年最初發現DNN分類器中的對抗性攻擊（逃避）以來，已經出現了許多種這樣的攻擊，并且至少提出了同樣多的狹義的特定防御措施作為回應。不幸的是，到目前為止，所提出的防御措施沒有一個能經受住反測試和適應性攻擊[12]。一些研究人員提出，這種易感性可能是空間中問題表述的一個不可避免的特征[13]。目前，還沒有發現一種有效的、計算上可接受的、通用的方法，可以支撐DNN對抗類似的相關的泛化問題[12], [14]。

1.3 國防部（DoD）的影響

在國防部的范圍內，大家都承認欺騙在戰爭中起著核心作用。因此，戰爭系統必須被設計成對欺騙有高度的適應性[15]。馬基雅弗利在“Prince”中寫道："......雖然在任何行動中使用欺騙都是可憎的，但在發動戰爭時，它是值得稱贊的，并能帶來名聲：用欺騙征服敵人與用武力征服敵人一樣受到稱贊。" 對孫子來說，這甚至是更重要的因素，"所有的戰爭都是基于欺騙"。在國防應用中，至關重要的是，不僅系統在戰斗開始時就如設計之處那樣工作，而且它們應該具備有彈性對狡猾的、有同樣資源和動機的對手的潛在計劃。

誠然，ML在民用和科學方面已經取得了巨大的成功。盡管民用工業技術領域與軍事技術需求有很大的內在交集，但應該注意到，后者并不是前者的完美子集。也就是說，戰爭的現實要求其技術必須為虛假信息和故意欺騙的行動、展示和通信做好準備。這兩個領域之間的這些不同假設意味著，在一個領域已經準備好的東西，在另一個領域可能還沒有準備好。在整個國防部，納入這些技術的系統正在被考慮、開發，在某些情況下已經被采用，目的是增強或取代我們一些最關鍵的國家安全能力。在軍事應用中，特別是武器系統和殺傷鏈內的系統，必須消除或至少減少對抗樣本，并對其進行補償，使故障呈現最小的風險。其余的風險必須被明確指出、發現并被作戰人員充分理解。不仔細和充分地解決這個問題是不可想象的，否則我們就有可能采用脆弱性技術，將災難性的漏洞引入我們關鍵戰爭系統。

1.4 增強防御措施

在防御基于機器學習技術的系統不受欺騙的潛在戰略背景下，我們介紹了一種防御措施。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以在模型分類器的分類空間數據密集區之間的數據點稀疏潛在空間中插入一個 "填充 "或 "屏障 "的方法來提高[13], [16]。我們相信，通過統計學插值或采用變分自動編碼器（VAE）[17]或生成對抗網絡（GAN）[18]來插值和投射到這個空間的模型可以創建人工填充類樣本來增加數據集，所產生的模型將能夠成功地區分合法數據點和對抗性樣本，同時保持與最先進分類方法相稱的準確性。