在這項研究中，提出了一種智能兵棋推演方法，以評估軍事行動方案在作戰成功和資產生存能力方面的有效性。擬議的應用是基于經典的軍事決策和規劃（MDMP）工作流程開發的，以便于在現實世界應用中實施。本研究的貢獻有三個方面：a）開發一個智能兵棋推演方法，以加速MDMP中的行動方案（COA）分析步驟，從而為軍事行動創造更多的候選COA；b）產生針對對面部隊的有效戰術，以提高作戰成功率；以及c）為未來的系統開發一個高效的、基于可視化兵棋推演的MDMP框架，這些系統需要一個小型操作團隊來監督一個自動智能體網絡。為了評估系統的能力，執行了幾個交戰場景示例，并給出了結果。此外，研究了自動智能體的兵力組成問題，并提出了具有超參數調整結構的兵力組成算法。

引言

隨著無人系統在復雜任務中的作用越來越突出，包括情報、監視和偵察行動，最近的應用傾向于轉向異構的無人系統組合之間的合作，以執行這些行動并獲得高任務成功率[1]。為了完成復雜的任務，異質智能體之間的合作帶來了對多域作戰能力的需求，其中人工智能（AI）輔助的兵棋推演策略發揮了重要作用[2]。特定的目標，如使用人工智能來發現戰術，這可能會通過現有的軍事能力提高作戰效益，或可能為新的軍事能力提出有效的使用概念。人工智能決策最近集中在開放型游戲，即所有玩家都能看到所有的游戲狀態，或封閉游戲，即存在有限的兵棋靈活性。然而，在戰術和戰略層面上對決策策略進行建模需要有新的算法，這些算法可以在規則變化、不確定性、個人偏見和隨機性的動態環境中運行[3]。

戰術模擬是MDMP的一個重要組成部分，MDMP是軍隊制定作戰計劃、預測敵方部隊的反擊行動和評估擬議作戰計劃有效性的理論方法，因為它提供了一個安全和替代性的與武裝沖突有關的一些情況和決策動態的再現。雖然 "兵棋推演"一詞沒有統一的定義，但普遍接受的定義可以追溯到19世紀初。它被認為是通過任何手段，使用特定的規則、數據、方法和程序來模擬軍事行動[4]。因此，在進行MDMP的定義和重要性之前，必須對兵棋推演做出明確的說明。MDMP始于從上級總部收到的任務。然后，通過利用其他來源的情報進行任務分析。在下一步，處理指揮官的意圖、行動要求和可用資源，以制定行動方案（COA），包括任務組織計劃。在制定行動方案后，通過兵棋推演進行行動方案分析，重點是行動、反應、反擊和裁決過程，以重新確定行動方案和潛在決策點。

圖1 軍事決策過程總結。

在MDMP中，COA分析通常被稱為兵棋推演，它將COA的發展與COA的比較和批準聯系起來[5]。在比較步驟中，每一個COA都根據規定的標準進行評估，如簡單性、機動性、熱能、民用控制和規模性，這些標準在一個決策矩陣中被賦予了評估的權重。此外，從比較步驟中選出的COA應具有最小的風險、最大的安全性和靈活性。然后，根據COA的比較結果完成COA的審批過程，在最后一步，指令生成并與相關單元共享[6]。從總體上看，圖1給出了MDMP的整體流程。

在這項研究中，提出了開發情報、監視和偵察(ISR)和壓制敵人防空(SEAD)作戰計劃，這些計劃由上層人工智能和輔助的、分布式的決策策略支持，以評估生成的COA的成功概率、資產的生存能力和作戰效率。這個過程是在經典的MDMP方案的基礎上發展起來的，以便于在現實世界的應用中實施，它能夠在行動前或行動中提供快速評估和客觀比較COA。這個過程從接收來自MDMP第二步的任務分析結果開始。在COA開發步驟中，最初的任務分配過程是利用CBBA算法進行的，該算法能夠解決具有分布式的通信結構、異質集合和在線重新規劃要求的分配問題。在創建了幾個行動計劃（即COA）后，它們被輸入兵棋推演過程以評估其有效性。之后，這些行動方案在成功概率、生存能力和成本方面被相互比較，最有效的方案被送去審批步驟。圖2給出了重點框架的總體概況。

圖2 COA生成框架。

本研究的貢獻有三個方面：a）開發一種智能兵棋推演方法，以加速MDMP中的行動方案分析步驟，從而為軍事行動創造更多的候選COA；b）產生針對對面部隊的有效戰術，以提高作戰成功率；c）為未來的系統開發一種有效的、可視化的和強大的基于兵棋推演的MDMP框架，這些系統需要一個小型的操作團隊來監督自動智能體網絡。本研究的其余部分結構如下：在第2節，將對文獻中的相關研究進行調查。第3節描述了問題陳述，第4節給出了針對該問題的解決方案所需的背景。在第5節中，將給出在創建這項工作時遵循的方法，第6節展示了模擬研究的結果。最后，第7節是文章結尾。

相關工作

兵棋推演模擬被用作不同領域的決策工具，從商業到軍事[8]，從沖突場景到監視或危機演習，從軍事角度看搜索和救援任務[9] 。在Filho等人[10]中，使用兵棋推演的方法優化了無人機在超視距戰斗中的位置。考慮到兵棋推演中敵人的不確定性，研究了友軍蜂群團隊戰術編隊的有效性。Chen等人[11]提出了一個基于決策樹的城市暴雨情況下的緊急救援兵棋推演模型。在該模型中，雖然敵人的任務僅限于道路積水，但友軍團隊由試圖防止這種積水的應急車輛組成。Su等人提出了基于地理信息系統(GIS)的兵棋推演援助平臺，以防止臺灣地區的蓄水[12]。基于兵棋推演的策略的另一種使用方法是危機演習，Song等人指出，兵棋推演是一種有效的危機演習方式，成本低，方式方便[13]。

一個有效的兵棋推演策略取決于對下屬指揮官完成任務所需資產的準確和最佳分配/配置[7]。許多方法已經被開發出來，使智能體能夠根據已知行動的任務列表在他們之間分配任務。這些方法的主要思想是不僅要提高任務的有效性，而且要降低行動成本和風險。集中式任務分配，需要在智能體和中央服務器之間建立通信聯系，為整個團隊生成一個分配計劃。由于集中式系統能夠減少地面處理要求的負擔，它們能夠有效地使代理人更小、更便宜地建造。此外，據調查，在集中式任務分配系統中使用啟發式方法，如遺傳算法[14-16]和粒子群優化方法[17-19]，在計算時間方面有更好的表現[20]。另一方面，由于集中式任務分配的結構，智能體和行動基地之間應保持持久的通信，以提供合作，這需要發送/接收操作更新。這種對通信系統的要求直接影響到智能體組的能力和穩健性。

與集中式應用相反，可以通過利用分布式方法來提高兵力組合的性能和穩健性，在這種方法中，需要智能體之間的通信來獲得對特定任務集的共識。這種類型的通信拓撲結構在智能體損失、通信損失和任務列表的實時更新（即添加和刪除任務）的情況下增加了兵力組合的穩健性[21]。在這種情況下，文獻中已經研究了消除對中央基地的需要的分布式規劃方法。這些方法中的大多數都假設有完美的通信，并有一定的帶寬，以確保智能體在規劃前有相同的態勢感知。然而，這在現實世界的場景中很容易被違反，包括搜索和救援任務，在這些場景中，智能體的通信范圍有限或通信渠道的帶寬有限[22]。在態勢感知不一致的情況下，分散的任務分配算法可以通過利用基于共識的算法，如基于共識的捆綁算法（CBBA）來增強，以便收斂在一個一致的解決方案上[23-25]。不僅有可以集成到分布式框架中的共識算法，文獻中也有基于部分可觀察馬爾可夫決策過程（POMDP）的方法[26]。盡管共識算法保證了信息的收斂，即達成共識，但這可能需要大量的時間，并且經常需要傳輸大量的數據，這可能導致在低帶寬環境下的高延遲，并增加了為無人系統找到最佳任務分配解決方案的處理時間[27]。也有一些關于中間層次結構的報告，即混合結構，介于集中式和分布式結構之間，用于從兩種方法的優點中獲益[28]。

盡管有許多嘗試試圖解決無人駕駛異構飛行器的任務分配問題，而且前面提到的所有研究都考察了底層自動化（以規劃和控制算法的形式）分配異構無人駕駛飛行器（UxVs）網絡的能力，但在產生COA的MDMP中整合增強/高級人工智能生成的指導和輔助決策支持是至關重要的[29]。一些初步的嘗試，如國防高級研究計劃局（DARPA）的 "拒止環境中的協作行動"（CODE）計劃和 "分布式戰斗空間管理"（DBM）的廣泛機構公告（BAA），被提出來改善人類與自動化的協作和決策，通過執行一系列自動化和自主行動來協助戰斗管理者和飛行員[30]。然而，這種具有不同任務分配方法的框架可能是脆弱的，無法對突發事件做出反應。這樣的系統可以通過人類操作者帶來他們基于知識的推理和經驗來緩解[31]。

因此，很明顯，任務規劃者和平臺內的操作者框架都應該被仔細構建。模擬和分析這種框架的最重要的平臺之一是兵棋推演，它被用來執行關于未來部隊資產、軍事能力的決策，并為許多行動做準備。兵棋推演能夠以許多不同的方式執行，從研討會的兵棋推演，到手工棋盤游戲，再到復雜的計算機輔助兵棋推演[32]，其中由計算機判斷交戰的后果[33]。

關于該主題的初步研究以來，智能兵棋推演對于促進軍事決策是否有價值一直受到質疑[34]。這些系統在決策過程中的作用也在四個主要學科下進行了討論，即傳感、態勢感知、計劃生成和學習[35, 36]。在這些討論之后，隨著人工智能學科的進步和技術的發展，據報道，將人工智能應用于軍隊的MDMP具有很大的潛力，可以支持指揮中心對競爭激烈和更加復雜的戰場進行規劃，因此Schwartz等人在輔助性人工智能架構中用遺傳算法（GA）來解決這個問題[37]。Boron等人將基于人工智能的兵棋推演整合到決策過程中，他們在不同的戰斗場景中使用強化學習（RL）來評估其算法的性能[38]。Xin等人考慮了以往研究中通常被忽略的不確定性，因此他們提出了一個名為混合智能多分支兵棋推演的解決方案，通過融合基于RL的人工智能方法和人類智能來考慮不確定性[39]。最近，Tarraf等人提出了一個兵棋推演框架，其中規則和交戰統計用于商業桌面兵棋推演，以實現遠程操作和完全自主的戰斗智能體和具有AI/ML支持的態勢感知的智能體[40]。Goecks等人討論了過去和現在關于游戲和模擬器以及人工智能算法如何被調整以模擬軍事任務的某些方面的努力，以及它們如何影響未來的戰場。此外，他們研究了虛擬現實（VR）和視覺增強（VA）系統的進展如何為游戲平臺的人機界面及其軍事提供新的前沿[41]。

基于共識的捆綁算法(CBBA)

在MDMP的步驟2中確定了問題、任務要求、假設和評估標準后，重要的是將藍隊的軍事單位分配給合適的紅隊任務。這是通過利用基于共識的捆綁算法（CBBA）[27]來完成的，該算法支持分布式的、異構的任務和動態環境。在本節中，將給出和描述CBBA算法的細節。

CBBA是一個去中心化的基于市場的協議，它為異質智能體網絡上的多智能體多任務分配問題提供了可證明的良好近似解決方案，并通過使用去中心化的通信方法來解決協調異質自主車輛的任務分配問題[27]。這種類型的通信拓撲結構消除了對中央基地的需求，并且在智能體損失、通信損失和任務列表的實時更新（即添加和刪除任務）的情況下，它增加了任務組的穩健性。CBBA是由兩個階段交替進行的迭代組成的：第一階段是捆綁構建階段，其中每個車輛貪婪地生成一個有序的工作捆綁，第二階段是共識階段，其中相鄰的智能體之間通過本地通信找到并解決沖突的任務。圖3展示了CBBA的內部循環。

方法

A 仿真環境

為了創建可支持、可擴展和易修改的模塊化架構，我們決定將智能任務規劃器分成四個子組。引擎模塊包括主要的引擎腳本，它包含了關鍵的方法，如任務分配、尋路、戰略、交戰和其他一些重要的方法，以便在模擬過程中前進。引擎腳本中的任務分配方法使用基于共識的捆綁算法（CBBA），該算法也在引擎模塊中。環境模塊包括腳本中的世界對象，它給出了仿真環境的邊界，也是這個環境的網格表示，并附有任務、地形、敵人存在的費用。模型包含關于模擬過程中使用的代理和任務的必要信息。為了創建異質智能體，UAV、UGV、USV和近距離防空（CAD）智能體對象被單獨創建，團隊對象被創建用于設置敵方團隊并跟蹤團隊所做的動作。視圖模塊負責以視覺角度表示結果。圖4給出了智能任務規劃器的模塊結構概要。

B 生成殺傷力熱圖

在模擬環境中，殺傷力熱圖在空中、地面和海上層生成，以模擬特定區域內敵對力量的火力。這些熱圖是基于內核密度估計（KDE）算法生成的，該算法用于估計地圖上某一點相對于對面部隊位置的危險等級（即對面部隊的有效等級）。在這項研究中，假定軍事單位根據范圍的致命性分布被建模為夸特函數或埃帕尼科夫函數，如公式5所示。

其中d是軍事單位與地圖上指定點（即相關六邊形的中心）之間的距離。對于在d=0時的殺傷力計算，分布的最大值被縮放為1。 圖5中給出了空中、地面和海上層的熱圖生成結果示例。這里給出了a)地面層、b)海軍層和c)空中層的紅隊單位的殺傷力熱圖。在地面層，UAV、UGV、USV和CAD單位都是對藍軍的有效威脅，在給定的自由區域。在海軍層，USV是主要威脅，但UAV、UGV和CAD也是有效的。在空中層，乍一看，似乎對藍隊沒有威脅，因為紅隊的UAV、UGV和USV對藍隊的空軍沒有效果。然而，如果CAD資產存在于該地區，它將是對藍隊的關鍵威脅，結果將是致命的。

圖 5 紅隊在 a) 地面、b) 海軍和 c) 空中層的殺傷力熱圖。

圖 6 示例案例：地面層紅隊的殺傷力熱圖

圖6給出了模擬環境的另一個例子。為了便于可視化，沒有在環境中插入CAD單元。這里給出了地面層的無人機、UGV和USV的殺傷力熱圖。在這種情況下，與地面層的USV相比，UAV和UGV的殺傷力相對較高，因為USV的射程和效率有限。這可以通過利用表1中給出的軍事單位的效率表來直接模擬。該表提供了每種類型的資產對不同層的破壞效率的信息。

表1每種資產的損害效果表。

C 戰斗模型

戰斗模型對戰斗實體、它們的行為、活動和相互關系進行抽象和簡化，以回答與國防有關的研究問題。沒有一個通用的模型可以回答所有的問題，即使可以構建這樣的模型，它也會變得比現實更復雜，因為它不僅包括真實的系統，還包括想象中的系統。戰斗模型可以是隨機的，也可以是決定性的。直觀地說，一個隨機的模型假設關于某種情況的不確定或概率性的輸入，并對結果作出不確定的預測。一個確定性的模型準確地指出將會發生什么，就像沒有不確定性一樣。更正式地說，一個隨機模型需要用概率理論的術語來描述，而一個確定性的模型則不需要。

其中F, HP, L, PH, PD , PT, PW, PL分別是總火力、火力健康度、致命性、命中概率、探測概率、瞄準系統可靠性、武器可靠性和層效率。在這里，建立軍事單位的損傷矩陣也很重要，它決定了它們在交戰中對敵軍的有效性。在模擬環境中，損害矩陣被假定為表1中的內容。通過使用這些定義，每個資產的生存能力被建模為公式7和8中給出的。

其中Fk、Mk是相關團隊在時間k的火力和機動性。Fok是敵對部隊在時間k的火力。

D 評估指標和作戰評估

有效的評估包括定量（基于觀察）和定性（基于意見）指標。人的判斷是評估的組成部分。任何評估的一個關鍵方面是它對人類判斷的依賴程度，以及對直接觀察和數學嚴謹性的依賴程度。嚴密性解決了不可避免的偏見，而人的判斷將嚴密性和過程集中在往往是成功關鍵的無形因素上。口頭定義是直截了當的陳述，但為了以智能方式訓練整個系統，將這些句子表示為數學指標是關鍵。從口頭到數學指標定義的過渡是一個開放式的程序，它可以通過手動選擇的方式來捕捉最佳決策[42]。

為了評估紅隊和藍隊的機動性和火力能力，制定了幾個戰斗力評估指標，如公式9和10所給出。

作戰兵力組成

兵力的組成與CBBA的評分功能密切相關，具體如下。

這個函數給出了一個智能體在時間tj到達任務時從任務j中得到的分數。分數由兩部分組成，第一部分是任務的名義獎勵，Rj(aj)，它是aj的函數，即分配給任務j的智能體指數，第二部分是折扣函數，它是任務j的到達時間的函數，tj。λ是一個折扣系數，用于解釋目標值隨時間的減少。這個系數包含在目標函數中，以更好地代表現實世界中的問題，即訪問目標的價值與訪問的時間成比例地減少[43]。

由于折扣系數改變了任務到達時間的影響，它需要根據世界的大小進行調整。因此，我們提出了以下結構，從圖7中可以看出，以克服選擇最佳折扣系數和兵力配置的問題。

圖7 基于λ搜索算法的兵力編碼器結構

這項研究對攻擊者-防御者的蜂群交戰進行了權衡分析，以比較制約蜂群行為因素的相對效率，即目標算法和單個無人機參數。特別是，我們研究了為 "服務學院蜂群挑戰賽"（SASC）開發的算法，這是一項蜂群對蜂群交戰的實戰演習。我們用動態蜂群模擬進行了分析，允許蜂群組成和行為發生變化。這使我們能夠確認SASC中關于蜂群性能的定性結果。此外，使用比例分析方法進行定量權衡分析，并開發了評估防御性蜂群適應性的函數形式。我們的結果為后續研究更復雜的蜂群行為提供了一個框架。

無人機蜂群是由自主飛行器組成的群體，它們通過協調和溝通來實現目標[1]。無人機蜂群的規模可以根據蜂群的能力和后勤支持而任意擴大。在軍事上，大型蜂群對高價值單位（HVU）（如航空母艦）構成高風險，因為蜂群有能力壓倒現有的HVU點防御[2] 。

1.1 來自無人機蜂群的風險

無人機蜂群的實戰能力在歷史上一直受到計算機處理、無人機與無人機之間的通信以及能量存儲密度的限制[3]。然而，這些領域的發展已經導致了蜂群的發展和可行性的提高。這導致無人機蜂群的風險急劇增加。大型蜂群已變得越來越有可能，中國早在2017年就測試了超過1000架無人機的蜂群[3]。使得無人機蜂群更加實用的技術改進預計將繼續下去。

對高價值單位來說，最大的無人機風險是空中無人機在利用機載炸藥執行自殺式任務。蜂群的目標是，通過數量，使HVU的防御達到飽和，并摧毀或使HVU失效。目前的HVU防御系統，如導彈或近距離武器系統，不足以對付大型無人機蜂群[2]，也不經濟。這些旨在對付飛機和導彈的防御系統沒有能力對付無人機及其威脅狀況。蜂群的低成本和大規模使HVU有可能耗盡其有限的防御彈藥，而只能摧毀蜂群的一小部分[2]。在這種情況下，HVU將很容易受到蜂群殘余物或其他單位利用其疲憊的防御系統的攻擊。

HVU的戰略效用和經濟價值也會導致對手以整個無人機蜂群的代價從HVU的破壞中獲益。有能力的無人機可以以低至每架500,000美元的價格投入使用[2]。這個估計包括無人機、發射器和后勤支持的費用。因此，一個600架無人機蜂群，能夠削弱現有的HVU防御系統，將總共花費3億美元[2]。這與一艘航空母艦120億美元的成本相比更有優勢[4]。這種差距使得蜂群可以被用作力量倍增器，以盡量減少美國目前從昂貴的HVU中獲得的優勢[5]。

1.2 反蜂群技術

擬議的反無人機蜂群的方法包括激光和電磁武器以及無人機反集群。激光和電磁武器在技術上比現有的點狀防御系統更適合于反擊無人機蜂群，因為它們能夠耗費幾乎無限的射擊次數。然而，這兩種武器系統目前都沒有被廣泛使用。事實上，激光和電磁武器都面臨著巨大的技術困難，需要相當大的技術進步來提供可靠的反無人機防御[6]。

無人機反集群包括使用防御性無人機群來打擊進攻性的、敵對的無人機群。與進攻性無人機群相比，這種蜂群反制措施的研究相對較少。然而，與其他反制措施相比，防御性無人機群的優勢在于利用了刺激進攻性無人機群發展的相同技術進步。隨著進攻性無人機群的能力越來越強，防御性無人機群也是如此。事實上，防御性無人機群可能比進攻性無人機群更容易實施，因為防御性無人機群在受控空域的友軍中行動[7]。反蜂群還允許防御者破壞進攻型無人機群最重要的優勢，即其規模。防御性無人機群可以有足夠大的規模來減輕進攻性無人機群飽和防御的能力。

美海軍研究生院的研究人員以前的工作重點是將反集群作為一個最優控制問題進行研究[8]-[12]。此前的工作利用了基于潛力的模型、遠程武器和防御者集群戰略。本論文通過實施不同的蜂群合作規則和應用新的分析技術，在這些先前工作的基礎上進行研究。例如，以前的研究集中在遠程武器上，在這種情況下，攻擊蜂群是作為一個整體參與的。本論文著重于使用短程武器的模擬，其中防御者與單個攻擊者交戰。此外，本論文研究的是權衡分析，而不是優化，但這里描述的工具可以在未來的工作中與優化相結合。

發展防御性無人機群需要回答一系列問題。首先，防御型蜂群的最佳戰術是什么，以最好地對抗攻擊型蜂群？第二，什么樣的平臺規格，如速度或武器范圍，將是最有效的？第三，與這些平臺規格相關的成本或技術限制可能會影響到部署最佳蜂群的可行性？這三個分類問題包括許多其他問題。例如，給定一個算法和一套平臺規格，增加更多的機器人有什么好處？是否有一個點，在這個點上增加更多的無人機不再有好處？平臺規格的改進與增加無人機相比有何不同；例如，是速度翻倍還是無人機的數量更有利？

為了回答這些問題，任務規劃者和設計者必須對無人機群參數進行全面的權衡分析，以確定如何在最小化群組成本的同時最大限度地提高群組能力。對諸如蜂群行為、蜂群規模和單個無人機性能（包括其速度和武器射程）等因素進行徹底的提煉，可以使任務規劃人員能夠派出最能勝任、最經濟的無人機群來反制對手的蜂群。如果沒有這種分析，任務規劃者就有可能制造一個不足以擊敗進攻性蜂群的蜂群，從而使HVU處于危險之中。反之，任務規劃者也可能建立一個無人機群，它可以很好地擊敗進攻性機群，但卻是一種低效的資源分配。目前，適合執行這些規劃任務的分析工具很少。本論文的目標是開始填補這一知識空白。

當特斯拉和SpaceX創始人埃隆-馬斯克在一個滿是美國空軍人員的房間里斷言，自主無人機戰爭是未來，將取代戰斗機，這引發了一場有爭議但關鍵的辯論。9/11之后的十年里，無人機在軍事領域激增。在阿富汗、敘利亞、伊拉克、也門、利比亞和烏克蘭，無人機和無人駕駛飛行器（UAVs）已被廣泛用于禁用常規武器系統。因此，常規戰爭與無人機戰爭的可替代性和破壞性的難題就出現了。無人機是 "技術和信息系統深度融合的產物"。 此外，云計算、大數據、網絡和人工智能的快速發展推動了使用無人機的愿望，因為它們具有卓越的監視和打擊能力。

最近亞美尼亞和阿塞拜疆之間的沖突（2020年7月12日至16日）期間，無人機被用來摧毀坦克，這進一步點燃了關于無人機戰爭未來的長期辯論。無人機將只是軍事武器庫的一部分，還是將取代現有的軍事武器庫？納戈爾諾-卡拉巴赫沖突點燃了對無人駕駛獵殺系統的研究，如Harop和Orbiter 1K蜂群，可以破壞被攻擊國家的防空系統。中國和美國人尤其有多項計劃來開發無人機群技術。 雖然使用無人機的優勢是壓倒性的（減少士兵的風險，減少錯誤，減少平民傷亡），但依靠無人機的局限性也是不容反駁的。在未來的戰爭中，尤其是無人機戰爭中，"人的因素"應該被去除到什么程度，將取決于各國如何制定政策來適應這些新興技術，而不是由這些技術來塑造戰爭的方式。

無人機戰爭歷史

第一架無人機是由英國在1916-17年開發的，并被命名為 "魯斯頓-普羅克特空中目標"。從那時起，無人機已成為偵察和監視的必要工具，并被美國、以色列和俄羅斯廣泛使用。在20世紀60年代的越南戰爭中，瑞安147型偵察無人機被用于密林中，而以色列在20世紀70年代和80年代的各種阿以沖突中擅長使用無人機作為游蕩彈藥作為反雷達解決方案。在20世紀90年代，海灣戰爭改變了戰爭的概念，特別是美國對信息和通信技術的使用，促進了無人機的使用。20世紀90年代，無人機在海灣戰爭、阿富汗戰爭、科索沃戰爭、阿拉伯-以色列戰爭和伊拉克戰爭中得到了使用。無人機最初被用作監視平臺，但其精確打擊的潛力很快就被意識到。例如，通用原子公司的MQ-1 "捕食者 "無人機被設計為偵察平臺，當從其上發射 "地獄火 "導彈時，它被改裝成了打擊型無人機。從那時起，美國軍方一直在使用MQ-1和MQ（其年輕版本）作為監視和攻擊平臺，其計時飛行時間超過了美國空軍所有戰斗機的總和。

在無人機戰爭方面，亞美尼亞-阿塞拜疆沖突迫使戰略界關注無人機蜂群技術的發展空間。美國海軍在2016年測試了130架微型無人機在加利福尼亞的中國湖周圍成群結隊的效果。這次測試展示了發展反無人機能力的迫切需求。美國有兩個研究無人機群技術的計劃--國防高級研究計劃局的Gremlins計劃，"從飛機上發射一些小型無人機，進行協調和分布式行動"；以及海軍研究辦公室的Locust（低成本無人機群技術）計劃，"從船上發射小型無人機群"。俄羅斯和中國也進行了一些蜂群實驗，無人機在戰場上徘徊，自主或通過操作者進行獵殺、指定和瞄準。

非國家行為者對無人機戰爭的可承受性和效力并非一無所知。恐怖分子、武裝分子和叛亂分子等非國家行為者利用無人機制造混亂以實現其政治目的的例子有很多。從1994年到2018年，大約發生了14次非國家無人機襲擊。第一次無人機襲擊，雖然沒有成功，但在1994年，日本的末日邪教組織奧姆真理教使用遙控直升機噴灑化學劑沙林毒氣。2013年，"基地 "組織曾計劃對巴基斯坦進行無人機暖氣襲擊，但被情報機構制止。自2014年以來，ISIS一直在使用 "自制和現成的 "無人機來攻擊伊拉克和敘利亞軍隊。2018年，非國家行為者發生了兩起襲擊事件，一是通過GPS制導的無人機對委內瑞拉總統馬杜羅進行暗殺未果，二是13架無人機對俄羅斯在敘利亞的軍事基地進行了群攻。

在無人機戰爭領域涌現出的另一個討論領域是網絡力量在對抗無人機的擴散和使用方面的作用。除了防空火炮系統，網絡和電子攻擊也被用來阻止無人機攻擊。這方面的第一個例子可能是在2011年，美國RQ-170 "哨兵"無人機在伊朗丟失，可能是由于GPS欺騙。此外，愛德華-斯諾登泄露的數據顯示，英國信號收集裝置在塞浦路斯截獲了以色列無人機的錄像。反擊烏克蘭無人機的最活躍的網絡/電子攻擊是由俄羅斯人完成的。

無人機的優勢

談到安全問題，無人機可以有多種應用。就軍事用途而言，無人機可用于 "情報、監視、偵察（ISR）和目標獲取 "以及 "夜視行動、導航輔助和后勤運輸"，也可用于 "邊境控制、監測、執法、搜索和救援、新聞和運輸 "等民用目的。在安全領域接受無人機的最相關的原因是，它們被認為是 "人道主義技術的一個進步"，似乎很容易適應 "正義戰爭 "的原則，同時又是負擔得起的和安全的。

使用無人機的優勢可以根據它們的三種功能進行分析：監視、致命的武力使用和壓倒敵人的防空系統。說到ISR能力，無人機更容易在國際邊界上移動。它們的閑逛能力提供了持續的情報，而不會使人類面臨風險。此外，無人機可以在不同的氣候和地形下運行，因此是滿足ISR要求的理想選擇。無人機對于需要大量情報投入的反叛亂行動特別有用。

在打擊目標方面，無人機表現出深刻的準確性和空襲性，與其他武器系統相比，這大大減少了附帶和平民傷亡。在戰場上，指揮官獲得常規防空系統的反應時間相對高于他們獲得無人機的能力。這大大節省了戰爭期間采取行動的關鍵時間。

鞏固無人機案例的另一個領域是其壓倒和摧毀敵人防空系統的能力。神風特攻隊式的無人機群是壓倒高度復雜防空系統的關鍵。例如，高科技的俄羅斯防空系統的防御在反擊無人機攻擊方面是徒勞的。土耳其和以色列通過使用攜帶精確制導彈藥的無人機成功地摧毀/防御了 "俄羅斯Pantsir短程防空系統（SHORADS）、S300、S400高空防御系統（HIMADS）、Buk-M1中程地對空導彈（SAM）系統。因此，無人機的模塊化使其適用于各種軍事應用。

無人機的局限性

無人機可以根據其傳感器類型、速度、重量和成本分為三類--一類、二類或三類。但與戰斗機相比，它們的機動性較低，容易被擊落。無人機在有空軍和防空火炮系統的空域生存是很困難的。盡管正在采用無人機群技術來應對這一問題，但目前并非所有國家都具備群集能力。即使擁有空中優勢，無人機也無法到達遮蔽其視野的密集區（植被、基礎設施、人口）。雖然無人機有精確的打擊率，但總是打擊并消滅目標是不謹慎的，因為無人機剝奪了從目標處收集額外情報或從打擊地點收集其他實物證據的機會。

無人機在戰略界受到稱贊的另一個原因是其自主的 "開火和遺忘 "能力。但這些無人機的自主性的真正影響還有待商榷。例如，像RQ-4 "全球鷹 "這樣的自主無人機被美國空軍用于ISR行動，但這些無人機之所以能自主工作，是因為 "它們遵循程序化的任務軌跡，幾乎肯定地安全返回家園"。此外，無人機，無論是否自主，都有多層次的人類存在。例如，涉及MQ-1 "捕食者 "和MQ-9 "收割者 "的無人機行動，在以下方面有大量的人員存在。(1) 發射無人機的基地，(2) 控制它們的地區的遠程基地，(3) 提供戰區信息的線人，以及(4) 整理和確定目標清單的政府人員。因此，盡管飛行員的風險已經減少，但在該地點操作無人機的人員和線人仍有相當大的風險。在2009年美國在阿富汗的查普曼前進基地自殺式爆炸事件中，大約有7名中情局雇員在無人機項目中被殺。

近來，一個與依賴無人機的可持續性有關的新問題已經凸顯出來了。無人機的攻擊正通過使用網絡和電子攻擊而被積極阻止。事實證明，使用網絡技術來瓦解無人機的攻擊比傳統的防空火炮系統更有威力。非國家行為者使用網絡和電子戰入侵或控制平民用于娛樂活動的無人機，會對國家安全造成損害。雖然美國軍方的高保障網絡軍事系統（HACMS）等計劃旨在 "建立網絡彈性"，以保護各種無人機系統，但這種計劃只涉及軍用無人機系統，民用無人機仍然可以被黑客攻擊（烏克蘭東部沖突中就有這種情況）。這種網絡攻擊的主要挑戰是無人機活動的歸屬問題。要確定無人機攻擊的地點是很困難的。

亞美尼亞-阿塞拜疆沖突案例研究：印度的經驗教訓

2020年納戈爾諾-卡拉巴赫沖突和阿塞拜疆使亞美尼亞裝甲部隊和步兵喪失能力的無人機戰略，重新引發了關于常規武器系統與自主武器系統的辯論。阿塞拜疆在土耳其和以色列的幫助下，用三架無人機不僅壓倒了亞美尼亞的防空系統，而且還摧毀了亞美尼亞的幾輛坦克。與MQ-9 "死神 "相同，土耳其的Bayraktar TB2（有趣的是，它采用了加拿大國防公司L3Harris提供的技術，盡管在這次沖突之后，加拿大禁止向土耳其交易這種技術）進行了紅外制導和激光制導反坦克彈藥。以色列的無人機Obiter 1K和Harop提供了神風特攻隊的攻擊和偵察支持。納入這三架無人機的出色戰略使亞美尼亞軍隊陷入癱瘓，并確保了阿塞拜疆的決定性勝利。

這場沖突不僅鞏固了無人機的案例和它們在未來戰爭中的關鍵作用，而且還展示了空軍為陸軍和海軍提供空中掩護的重要性。只關注無人機而忽視戰斗機將是災難性的。無人機應該被看作是軍事武庫的一部分，而不是軍事武庫的替代品。就印度而言，前陸軍參謀長Manoj Mukund Naravane將軍曾表示。首先在伊德利卜，然后在亞美尼亞-阿塞拜疆，對無人機的想象力和進攻性的使用，算法使用，挑戰了傳統的戰爭軍事硬件：坦克、大炮和挖好的步兵。

2021年6月27日恐怖分子對印度空軍查謨基地進行的簡易爆炸裝置（IED）無人機襲擊，以及在印度西部邊境看到的100-150架監視無人機，是印度加快無人機集結和反無人機能力的一個明顯信號。印度已經有了 "蒼鷺"（以色列航空工業公司）、"蒼鷺II"（IAI）、"搜索者"（IAI）、"海洋衛士"（美國通用原子航空系統公司）、Switch無人機（印度IdeaForged技術公司）、四旋翼飛機（DRDO）、"哈比 "和 "哈普"（IAI）等無人機。與其他無人機項目一起，印度目前有 "獵豹項目"，該項目分為兩個獨立的項目--一個是為印度空軍升級 "蒼鷺 "無人機，另一個是為所有三個部門采購30架MQ-9 "死神 "B無人機。

無人機對印度的威脅是一個嚴重的問題。過去幾年中，越來越多的人使用無人機投放毒品、武器和彈藥。在多個場合，邊境安全部隊擊落了這些無人機。國防研究與發展組織（DRDO）正在積極研究無人機溫控和反無人機技術。他們已經開發了無人機的 "探測-摧毀技術"，在共和國日、獨立日和美國總統唐納德-特朗普訪問艾哈邁達巴德的莫特拉體育場期間，總理的講話中都采用了這種技術。這種反無人機系統應得到進一步發展，并迅速納入所有關鍵基礎設施的保護中。盡管印度國防部正在與美國積極合作，在國防技術與貿易倡議（DTTI）下研究空射無人機（ALUAV），并與以色列（獵豹項目）合作，但謹慎的做法是也要積極合作開發反無人機技術，在矩陣中采用反雷達、網絡和炮兵防御系統。

未來

無人機必將成為未來戰爭的一個重要組成部分，但它們有戰術上的限制，因此不能完全取代傳統的武器系統。它們只是整個軍事拼圖的一個部分。基于上述分析，可以得出以下結論。

1.即使有了自主性，也很難從無人機系統中去除人的因素。

2.無人機的使用保障了飛行員的安全，但卻使在戰區操作無人機的人員面臨風險。

3.無人機有能力解散最先進的防空系統。

4.網絡和電子攻擊，如數據鏈攔截和導航欺騙是無人機戰爭的最大威脅。對這些無人機活動的歸屬是一個挑戰。

5.無人機戰爭是一個現實，因此，為了獲得戰略優勢，各國應積極關注反無人機能力。

因此，根據現有的對手參數（武器庫、地形、氣候、戰略等），以組合方式使用無人機的戰術策略應該是掌握無人機戰爭的關鍵。

這篇論文考慮的情況是，一架無人機保衛一個高價值的目標，以抵御一些入境的攻擊無人機。防御性無人機配備了短程武器，必須以最有效的方式摧毀每一架攻擊性無人機。這個問題是應用數學中幾個開放性問題的交匯點，例如在有損耗的情況下的最佳行動規劃，以及解決有移動目標的 "旅行推銷員問題"（TSP）。我們研究的目的是通過將該問題分解為各組成部分的問題，然后提出各組成部分的概念驗證方案來分析該問題。這篇論文的主要成果包括一個建模框架，在這個框架中，可以在不需要約束的情況下進行優化；比較使用不同類型的成本函數進行優化的優勢（例如，最小化高價值單位被摧毀的機會與基于防御者相對于攻擊者的路徑的度量）；以及通過將其映射到標準TSP或使用機器學習來解決某些限制下的移動目標TSP。

1.1 戰斗中的自主系統

自動化系統，特別是無人駕駛飛行器（UAVs）的迅速增加，改變了現代戰場。美國已經率先在整個作戰范圍內開發和實施無人機，從信號情報到無人機精確打擊[1], [2]。然而，我們的對手繼續取得有意義的進展，最近的例子是俄羅斯在烏克蘭使用中國制造的無人機[3]，無人機可能參與了最近對北溪管道的破壞[4]，甚至恐怖組織的小規模、低技術的無人機攻擊[5]。

美國繼續按照無人駕駛航空系統（UAS）路線圖[6], [7]發展其無人機能力，該路線圖規定了無人機平臺的幾個重要任務，包括情報、監視和偵察（ISR）、壓制敵方防空（SEAD）、電子攻擊、網絡節點/通信中繼和空中投遞/補給。然而，這份清單中明顯缺少的是無人機系統的防御。無人機戰爭的一個新的和發展中的方面，即無人機對無人機的交戰，迫在眉睫。有許多無人機防御系統正在開發中，包括地面激光系統，如海軍陸戰隊的緊湊型激光武器系統（CLWS）[8]和導彈系統，如陸軍的KuRFS和Coyote Effectors[9]。然而，新的反無人機系統（C-UAS）無人機正在開發中，如洛克希德-馬丁公司的MORFIUS[10]，它使用高功率微波（HPM）武器系統，使敵方無人機在飛行中失效。

美國軍方和國防部（DOD）總體上對其無人機能力進行了大量投資，這不僅包括人員、設備和武器，還包括對無人機和蜂群的戰術運用的大量研究，而這些研究超出了最近取得巨大成功的ISR和精確打擊能力[11], [12]。在2019年的指揮官規劃指南中，海軍陸戰隊指揮官大衛-H-伯杰將軍要求建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人系統家族"，以及 "大大增加我們在其他領域成熟無人駕駛能力的努力" [13]。正是在這些其他領域，我們必須繼續創新，特別是在我們對抗對手在無人機/無人機系統開發方面的成果的能力方面。

2021年，美國防部發布了其C-UAS戰略，確定了其核心挑戰：小型無人機系統（sUAS）的指數級增長給美國防部帶來了新的風險。技術趨勢正在極大地改變小型無人機系統的合法應用，同時使它們成為國家行為者、非國家行為者和犯罪分子手中日益強大的武器。當被疏忽或魯莽的操作者控制時，小型無人機系統也可能對國防部在空中、陸地和海洋領域的行動構成危害。國防部必須在越來越多的小型無人機系統與國防部飛機共享天空、在國防部設施上空運行以及被我們國家的對手使用的環境中，保護和捍衛人員、設施和資產[14]。

雖然該戰略要求在理論、組織、訓練、物資、領導和教育、人員、設施-政策（DOTMLPF-P）等方面應對這些挑戰，但必須做更多的工作，將研究/開發與戰術層面的使用結合起來，并使之同步。這篇論文的目的就是要彌補這些領域之間的差距。

1.2 目前的工作

為了提高ISR能力，無人機技術早期發展的大部分學術工作都致力于各種學科的最佳路徑控制，但具體的軍事應用包括為ISR任務避免碰撞/雷達[15]。這項工作的成功從美國的無人機精確打擊能力中可見一斑。在海軍研究生院（NPS），Kaminer等人就大型蜂群的動力學和行為開展了大量的工作[16]-[20]。盡管有很長的工作歷史，這些最近的論文提出了高價值單位防御中的一個新的最佳控制問題，開發了具有損耗建模的最佳控制問題的計算框架，并開發了高效的數值框架來解決最佳控制問題中的不確定參數

許多文獻都涉及到減員模型。蘭徹斯特損耗模型使用微分方程來研究敵對部隊的依賴性損耗，自第一次世界大戰（WWI）以來，該模型被有力地運用于戰斗研究[21], [22]。一些工作已經確定了需要并解決了明確結合最優控制和損耗建模的問題[23], [24]。然而，并不存在將這些領域有效地結合在一起的一般框架或理論，當它們被解決時，其結果往往是高度特定的場景。

本論文的大部分內容將關注旅行銷售員問題（TSP）在動態環境中的應用。最佳控制和TSP在物理學和工程科學中經常有交集。例如，一個這樣的問題可能是由航天器以最佳方式訪問木星的所有79顆衛星[25]。Moraes和Freitas通過比較幾種啟發式算法來解決移動目標TSP（MT-TSP），并應用于人群和無人機檢測[26]。

1.3 開放式問題

耦合蘭徹斯特損耗模型、最優控制理論和TSP的問題對于大領域的超級蜂群是難以解決的。然而，無人機防御研究必須關注這三個領域的交叉點，以便適當地解決這一領域現存的軍事戰術和戰略問題。超級蜂群系統的基本特征還沒有得到很好的理解，盡管隨著我們擴大小型蜂群參與戰略和框架的規模，它們的屬性可能會出現。

圖 1.1 一般研究問題的解決框圖

本論文從這個有利的角度來探討這個問題，從小型蜂群開始，開發新的方法來解決更多可解決的系統，然后可以擴大規模。

每一種方法都考慮到sUAS有限的機載計算能力和作戰期間有限的可用時間。如圖1.1和1.2所概述的一般研究問題，首先是估計諸如武器類型、武器效能、無人機群類型等參數。本論文將把所有的參數視為常量、已知量。關于參數的不確定性分析見Walton等人[17]。

圖1.2 研究問題的場景可視化

其次，一群防御性無人機必須決定如何分割即將到來的攻擊者集合，以便以最佳方式與他們交戰，使高價值單位（HVU）的生存概率最大化。本論文將這一場景限制在單一防御無人機上。關于多重TSP（MTSP），見參考文獻[27]-[29]。

1.4 提綱

剩下的幾塊，決定攻擊順序和路徑優化，將在下面幾章討論。第二章假設已經知道或選擇了合理的攻擊順序，并解決相關的科學問題，即如何使HVU的生存率最大化。我們偏離了最優控制的路徑優化，而是致力于建立全新的、無約束的優化框架的可行性，在這里我們討論了各種成本函數的優點和缺點。第三章和第四章分別從TSP和機器學習（ML）的有利角度解決攻擊順序問題。

第三章試圖消除MT-TSP的時間依賴性，以證明動態版本的TSP仍然可以在轉換的空間上采用傳統的TSP算法，第四章為ML的應用建立了一個概念證明。最后，第五章展示了我們開發的圖形用戶界面（GUI）的功能，作為無人機防御任務規劃的輔助工具。

為了面對軍事防御的挑戰，軍隊及其戰術工具的現代化是一個持續的過程。在不久的將來，各種任務將由軍事機器人執行，以實現100%的影響和0%的生命風險。國防機器人工程師和公司有興趣將各種戰略自動化，以獲得更高的效率和更大的影響，因為陸地防御機器人的需求正在穩步增長。在這項研究中，軍事防御系統中使用的陸地機器人是重點，并介紹了各種類型的陸地機器人，重點是技術規格、控制策略、戰斗參與和使用目的。本研究還介紹了陸地機器人技術在世界軍事力量中的最新整合，其必要性，以及各國際防務公司對世界經濟的貢獻，表明其在軍事自動化和經濟穩定中的優勢。本報告還討論了近期發展的局限性和挑戰、機器人倫理和道德影響，以及與機器人安全有關的一些重要觀點和克服近期挑戰的一些建議，以促進未來的發展。

引言

為了加強軍事防御系統，必須大力發展和提高智能自主戰略能力。在大多數第一世界國家，研究國防技術改進是實現軍事防御現代化的優先事項。未來戰爭的特點可以根據不同領域的沖突進行分析，如：海洋、陸地、空中、網絡、太空、電磁和信息。隨著現代智能和機器人技術的改進，跨域（X域）和多域戰略也需要被關注。無人自主X域（多域）系統，簡稱UAxS，現在是研究和發展的重點，以使軍事力量更加強大、有力和智能。圖1展示了多域和X域的戰爭模式。

圖 1：多域和 X 域戰爭模型

現代防御機制可以在四個相互關聯的領域進行研究：先進的戰艦、良好的通信、人工智能和自主武器。這基本上意味著在軍事防御系統中實施機器人技術。在戰場上，一支裝備精良的機械化部隊是指揮官非常重要的資產。在戰爭中，指揮官必須專注于火力、機動性、人機合作、決策、支持裝甲和指揮步兵。在未來，機器人和自動化系統將通過提供支持和減少負擔來幫助解決這些問題，因為這些系統將更加智能、可靠和合作。在最近的軍事活動中，機器人和自主技術被用于偵察、設備供應、監視、掃雷、災難恢復、受傷士兵的檢索等（Dufourda, & Dalgalarrondo, 2006；Akhtaruzzaman, et al., 2020）。

為了確保可靠的使用和獲得最高的技術影響，機器人必須在半自動化、自動化和人機交互工程方面進行良好的設計。無人地面車輛（UGV）很有前途，在國防應用中具有很大的潛力，在這些應用中高度需要更快和可靠的通信鏈接（鏈接預算）和快速獲取信息（RAtI）（Akhtaruzzaman, et al., 2020）。機器人的價值比人的生命還要低。機器人在感知、檢測、測量和分析方面速度更快。機器人沒有任何激情或情感，不會像人類那樣感到疲勞或疲倦，而是在極端和關鍵條件下保持運作。在不久的將來，機器人將成為作戰計劃和參與的核心技術（Abiodun, & Taofeek, 2020）。它們將能夠通過智能傳感器技術與環境溝通，通過建模理解環境，理解人類的行動，定義威脅，服從命令，以更高的處理能力獲取信息，通過信息交換和共享與其他機器人互動，通過先進的控制技術自主適應敵對環境，并通過強大的計算能力與自動生成的程序應用智能進行自我學習（Akhtaruzzaman, & Shafie, 2010a, 2010b; Karabegovi?, & Karabegovi?, 2019）。

在不久的將來，UGV系統將成為軍事行動的關鍵技術，因為它們將確保幾乎零人力風險，不需要將人力直接安置到戰斗中。UGV系統還將能夠開放各種設施，如負載、自動監視、邊境巡邏、風險降低、障礙物清除、力量倍增器、遠程操縱、信號中繼等（Sathiyanarayanan等人，2014）。陸地防衛機器人必須能夠適應各種崎嶇的地形、惡劣的環境和非結構化的區域，同時發揮指定的作用并保持指揮層次。作為軍事部隊的一種程度，陸地機器人不能給團隊帶來任何額外的工作負擔。因此，必須實施有效的人工智能（AI）工程，以實現UGV或陸地機器人與行動部隊之間可靠的人機合作。

今天的智能機器人或自主武器仍然處于狹義人工智能（ANI）的水平（Horowitz，2019年），或者以某種方式處于ANI和通用人工智能（AGI）之間。這反映出它們還沒有準備好在災難或戰爭等敵對情況下完全自主并做出可靠的決定。人類擁有在很大程度上應用感知經驗的智慧，能夠適應環境，并能在關鍵情況下做出適當的決定。如果這些能力能夠被植入機器人的大腦，該系統就可以說是AGI系統。盡管與人類相比，機器人可以抵御枯燥、骯臟和危險的工作，但它們包括一些有限的功能，如航點或目標導向的導航、障礙物檢測、障礙物規避、威脅檢測、人類檢測和識別、定位、地圖構建、通過圖像和聲音處理提取信息，以及與其他機器人的某種合作。因此，如果能確保機器人和人類之間的良好合作，機器人將在人類的監督下自主工作，那么軍用地面機器人將是最有效的。

本研究對軍用陸地機器人系統、最近的技術進步、應用和道德影響進行了回顧。一些發達國家和不發達國家的現狀，以及通過推進和發展軍事武器、自動化武器和智能技術對世界經濟的工業影響，都反映在審查研究中。本文還闡述了參與戰爭的機器人倫理以及該技術對道德國家的影響。該研究主要試圖通過確定最近的差距、局限性和技術進步的倫理影響，來確定地面機器人技術的最新應用和實施情況。

世界各地的軍隊現在正在開發和構想無人機群。蜂群由多個無人駕駛飛行器（UAV）組成，具有一定的自主性，可以導航和感知周圍區域。與 "捕食者 "或 "死神 "相比，它們更聰明、更自主，被設計為自行起飛和降落，自行飛行任務集，自行在空中加油，并自行穿透敵人的防空設施。

在最近和正在進行的敘利亞、也門和納戈爾諾-卡拉巴赫的沖突中，無人機的使用凸顯了大規模應用無人駕駛和自主平臺的意義和效用。這種蜂群也迫使對手消耗彈藥和其他軍事資源，從而以一種能夠進一步精確攻擊或電子反制的方式發出陣地信號。

無人機群的發展和該技術在各國的進一步發展將在后面的段落中介紹。

美國：美國蜂群計劃

為了保持領先地位，美國一直在大力投資于無人機群的研究和開發。美國蜂群計劃中的三項發展特別令人感興趣：Perdix無人機蜂群、低成本無人機蜂群技術（LOCUST）、機器人智能體指揮和傳感的控制架構，即CARACaS系統。

Perdix無人機群。2016年10月，美國戰略能力辦公室（SCO）在加利福尼亞發射了一個由103架Perdix無人機組成的蜂群。這些無人機是從三架F/A-18 "超級大黃蜂 "戰斗機上發射的，表明美國空軍有能力結合其先進的空中優勢和 "尖端創新 "來使用蜂群技術的發展。

Perdix無人機是一種微型無人機，因為它的翼展不到30厘米--使它成為在城市環境中運行的理想選擇。它有兩組機翼，一個小型電池組，以及一個內置攝像頭。這是一個簡單的設計，起源于2011年麻省理工學院的林肯實驗室，后來被SCO拿去做實驗。無人機被裝在一個小盒子里，可以從戰斗機上的照明彈分配器中彈出，這是一個重要的解決方案，因為它意味著這些系統可以輕松地安裝在現有的飛機上。該蜂群展示了先進的行為，"如集體決策、自適應編隊飛行和自我修復"。它被比喻為一個集體有機體，共享一個分布式大腦進行決策，并像自然界中的蜂群一樣相互適應。

Perdix系統相互連接并自行形成蜂群，不需要操作員的微觀管理。即使一些系統死亡，蜂群也能做出反應，重新制定模式或完成任務，這意味著一架Perdix無人機的失敗不會導致其他無人機放棄任務。Perdix微型無人機演示如上所示。

LOCUST計劃。Perdix無人機表明向自主運作的硬件邁進，而LOCUST計劃是指所使用的軟件。LOCUST目前正被用于Coyote（叢林狼）無人機，該無人機從一個平臺上發射--與目前美國海軍艦艇上的反艦導彈發射器一致。被認為是獲得攻擊能力的一種更便宜的方式，LOCUST計劃有可能取代單一的、昂貴的反艦導彈。LOCUST系統在40秒內至少發射30個 "叢林狼 "無人機，然后在飛行過程中進行同步，形成蜂群。30架無人機群的價格約為50萬美元，單機價格僅為1.5萬美元，LOCUST的成本不到目前部署的價值百萬美元的魚叉反艦導彈的一半。LOCUST的具體目的是利用低成本的無人機，如Coyote--無人機是可消耗的，因此如果一個被摧毀，"其他的無人機會自主地改變其行為以完成任務"--進入進攻層面。

CARACaS計劃。最后，美國蜂群計劃的第三個發展可以在CARACaS計劃中找到。CARACaS開發的軟件和硬件都可以安裝在美國海軍的任何船只上，這說明走向自主系統的過程正在多個戰場上發生。CARACaS目前用于小型無人船--但也可用于任何船只--并使用群集技術進行操作，使船只能夠相互溝通。這個項目背后的想法是，昂貴但重要的日常任務，如港口巡邏，可以委托給一個無人監督的系統。海軍的CARACaS系統正在消除 "水手生活中枯燥、骯臟和危險的任務"。

小精靈計劃。美國國防高級研究計劃局（DARPA）也展示了X-61A Gremlin空中發射無人機。DARPA的 "小精靈 "計劃背后的想法是將像C-130這樣的貨運飛機變成母艦，能夠在遠離敵人防線的地方發射和回收成群的小型無人機。小精靈 "飛行器長約14英尺，加滿燃料后重約1,600磅。這比Perdix微型無人機大得多。

最初展示的是回收四個Gremlins，從長遠來看，一個C-130可以回收多達16個這樣的飛行器，這取決于操作要求。從概念上講，"小精靈 "也可以從F-16戰斗機、B-52戰斗機和其他飛機上發射，只需對飛機進行少量改裝。這可以大大改變蜂群中的系統數量。

這將為軍方開辟一個可能性的世界，允許部署小型、廉價、可重復使用的無人機群，其傳感器和有效載荷與傳統的飛機不同。

俄羅斯

俄羅斯軍方正在努力開發空中、地面和海上的機器人系統群，其中一些項目已經接近于現實。

早在2017年，在關于 "俄羅斯武裝部隊機器人化 "的年度會議上，就審議了機器人群的概念。

2018年，俄羅斯國防部MOD的 "ERA軍事創新技術城"與高級研究基金會--一個類似于美國 "國防DARPA "的組織--以及莫斯科物理技術學院的科學家一起主辦了無人機群試驗。

同年，關注無線電電子技術公司，一家國有企業集團，聲稱到2025年，它將開發一種能夠控制無人機群的直升機。

2020年，俄羅斯國防部還用三種不同的無人機類型進行了首次空中蜂群試驗，這些無人機在敘利亞被廣泛使用，使俄羅斯軍隊的分層覆蓋范圍擴大到250公里。

Staya-93計劃。俄羅斯國防部的茹科夫斯基和加加林航空學院的科學研究中心目前正在研究Staya-93提案--Staya在俄語中是 "flock"的意思--專注于領導者和跟隨者無人機之間的連接和通信，特別是當無人機可能受到對手的廣泛反制。

Molniya計劃。Kronshtadt設計局最近提出的另一個名為Molniya的蜂群概念涉及從有人和無人的平臺上發射多個噴氣動力的隱形無人機，進行空中和地面打擊，并提供電子戰和偵察能力。

到2021年底，俄羅斯軍隊將獲得多功能遠程無人機，以提供精確打擊，可與有人駕駛飛機以及地面和海基機器人系統一起群起而攻之。這些無人機包括Okhotnik S-70重型戰斗無人機和Altius無人機。

俄羅斯國防部對軍用無人機開發的優先事項包括將人工智能元素引入無人機控制系統，同時進行無人機群開發。

2021年4月，俄羅斯國防部宣布，它正在進行一個項目，以創建一個專門的無人駕駛飛行器來識別和打擊敵人的潛艇。按照設想，這些無人機將能夠利用人工智能的元素在群中運行。俄羅斯國防部暗示，為了容納必要的設備和武器，可以使用具有大型有效載荷的無人機模型，如S70 Okhotnik或Altius。另一項建議涉及俄羅斯未來的遠程隱形PAK-DA轟炸機發射和指揮無人機群。

高級研究基金會正在開發Marker UGV，作為多種技術的試驗臺，包括地面和空中機器人的人工智能和群集控制。

另一種UGV，即重型Udar，以BMP-3裝甲車底盤為基礎，設想與無人機和UGV編隊協同作戰。

正在接受俄羅斯國防部評估的新Kungas概念涉及一組不同大小的UGV，用于情報、監視和偵察以及戰斗任務。

俄國防部還在設計一個水下微型機器人群，可以在北極條件下連續工作數小時，同時還在為北極探索設計一個巨大的冰山水下概念，將涉及多個有人和無人的平臺。

當談到利用人工智能進行蜂群 "指揮和控制 "時，俄羅斯軍事機構及其專家承認，在開發關鍵算法方面還有很多工作要做。

中國

中國是最接近美國高密度無人機群能力的國家，開發人工智能授權的自主無人機群。最近，中國電子信息研究院（CAEIT）測試了一個由CH-901無人機組成的48×管狀發射無人機群。CAEIT過去曾在2017年展示了一個200個單位的無人機群。中國公司還展示了令人印象深刻的1000多架無人機群，使用四旋翼無人機進行大型公開展示，然而這些無人機是由地面控制的，不具備分布式智能。

中國正在進行現有無人機機群的整合，與軍方進行強有力的協作自主作用。它還有一個忠誠的僚機AVIC 601-S '暗劍'正在開發中，它將與第四代和第五代PLAAF戰斗機平臺一起運行。中國已經保持了一項吉尼斯世界紀錄，即同時飛行3,051架預設程序的無人機。

英國

英國可能在2021年中期擁有世界上第一支可操作的蜂群無人機部隊，以執行包括在敵方防線內執行自殺式任務和壓倒對手防空的任務。皇家空軍的№216中隊已被賦予測試和部署未來無人機群能力的任務。英國還宣布了 "蚊子項目"，這是英國皇家空軍的輕量級廉價新型作戰飛機（LANCA）無人駕駛忠誠僚機計劃的一部分。這旨在到2023年飛出一個聯網的無人駕駛僚機。

英國還測試了一個自主的無人機群，每個無人機都攜帶萊昂納多的BriteCloud消耗性主動誘餌的變種，作為電子戰有效載荷。使用含有電子戰干擾器的BriteClouds，無人機能夠對作為假想敵綜合防空網絡代理的雷達發動模擬的非動能攻擊。

法國

法國空中客車公司首次為未來戰斗航空系統（FCAS）/Systeme de Combat Arien du Futur（SCAF）計劃展示了協作式遠程載具（RC）群和僚機技術。

其他國家

以色列正在開發蜂群技術，關于這種舉措的細節被嚴密保護。有趣的是，IAI提供了一個基于智能手機的蜂群指揮和控制應用程序，在全球范圍內銷售。

土耳其已經通過TB-2等國產平臺在敘利亞和利比亞證明了成熟的MALE無人機能力，它也有各種蜂群無人機計劃。其中最主要的是 "卡爾古（Kargu）"四旋翼飛機，它可以在戰術戰場上發揮動能攻擊作用。在未來的日子里，土耳其正在努力成為一個全球無人機大國。

伊朗是另一個在行動上使用無人機的中東國家。伊朗當局將無人機用于兩個主要目的--監視和攻擊，伊朗有能力在地平線上和大多數天氣條件下執行任務。這些無人機包括有能力投擲炸彈或發射導彈并返回基地的無人機和尋找機會目標的 "神風 "無人機。伊朗當局在后者方面取得了更大的成功，這在2019年沙特油田襲擊事件中可見一斑，據稱當時使用了伊朗制造的無人機和巡航導彈。雖然在車輛群方面可能有基本的協作自主權，但伊朗和土耳其都沒有在其無人機群中展示真正的分布式情報能力。但他們的努力清楚地表明了該技術是如何成熟和擴散的。

印度：無人機群發展

印度陸軍展示了一種成熟的進攻能力，由75架具有分布式智能和邊緣計算的自主無人機群組成，在2021年1月新德里的印度建軍節閱兵期間用神風攻擊摧毀了各種模擬目標。在演示中，偵察無人機調查了目標，然后攻擊和母艦無人機釋放有效載荷和裝有炸藥的神風特攻隊無人機，進行攻擊。西方評論家注意到印度陸軍演示的幾個重要特點，并將其與美國圍繞無人機所做的努力相比較，后者往往強調一個大型同質化的蜂群。有人指出，印度的原創工作，在世界上第一次公開展示了異質蜂群的努力，是這一領域可能的發展方向。一家印度初創公司NewSpace Research & Technologies與印度陸軍的蜂群開發項目有關。

印度斯坦航空有限公司（HAL）已經公布了空中發射靈活資產（ALFA -S）空中發射蜂群無人機系統，作為其下一代戰斗空中編隊系統（CATS）的一部分。這是一個獨特的計劃，它利用空中發射的遠程載體和蜂群單位的網絡來滲透到有爭議的空域。美國空軍的空軍研究實驗室正在與印度就ALFA-S的各個方面進行合作。新空間研究與技術有限公司也是HAL的ALFA計劃的合作伙伴。

HAL的CATS計劃的另一個組成部分是 "勇士 "忠誠翼人資產。這是為防空和進攻性打擊任務準備的，將與印度的Tejas LCA和即將到來的AMCA第五代作戰飛機一起以載人和無人機組隊（MUM-T）的方式使用。值得注意的是，印度被本土研究的力量和政府的 "印度制造 "所推動，以擁抱顛覆性技術，這在某些領域與世界各地發生的類似努力不相上下。HAL在班加羅爾舉行的2021年印度航空展上公布了勇士號的第一個1:1模擬模型。

三家印度初創公司在印度空軍組織的為期三年的蜂群無人機競賽中獲勝。"蜂群架構"獎由前印度空軍軍官Sameer Joshi經營的新空間研究與技術私人有限公司獲得。順便說一下，新空間公司最近從印度陸軍贏得了1500萬美元的蜂群無人機訂單。"通信架構"獎由德里科技大學團隊與阿達尼防御公司合作獲得，"無人機架構"獎由Dhaksha無人系統公司獲得。

IAF構思了2018年10月3日啟動的 "梅哈爾-巴巴蜂群無人機競賽"，以鼓勵開發蜂群無人機，在不同領域中使用。該競賽的名稱是為了紀念已故空軍準將梅哈爾-辛格，他在IAF的同事和崇拜者親切地稱為 "Baba"梅哈爾-辛格。它的概念是為蜂群無人機技術發展專有的設計、開發、制造和生產的 "低成本-高影響 "解決方案。該競賽只對本地人才和本地初創企業開放。

無人機群的特性

美國戰略能力辦公室（SCO）實際上并沒有創造出蜂群；麻省理工學院（MIT）的工程學生采用了 "全商業組件設計"。因此，如果無人機蜂群技術足夠容易獲得，以至于學生可以開發它，全球擴散幾乎是不可避免的。因此，新的無人機技術正在被各個國家迅速部署。

創建任務分配算法。創建無人機群從根本上說是一個規劃問題。無人機可以很容易地在電子商店買到，或者就像伊拉克和敘利亞伊斯蘭國那樣用膠帶和膠合板建造。無人機群的挑戰是讓各個單元一起工作。這意味著開發通信協議，以便它們能夠共享信息，管理無人機之間的沖突，并共同決定哪些無人機應該完成哪些任務。要做到這一點，研究人員必須創建任務分配算法。這些算法允許蜂群將特定的任務分配給特定的無人機。一旦創建了算法，它們就可以隨時共享，只需要在無人機上進行編碼。

人工智能（AI）的利用。國家安全和人工智能方面的專家爭論的是，單一的自主武器是否能夠充分區分民用和軍用目標，更不用說數千或數萬架無人機。據美國的人工智能專家稱，在某些狹窄的環境中，這種武器可能在50年內就能做出這種區分。他們認為，人工智能還不能管理戰場上的復雜情況。

先進的蜂群能力。先進的蜂群能力，如異質性（不同大小的無人機或在不同領域運行的無人機）和靈活性（輕松增減無人機的能力）仍然相當新穎。然而，讓無人機協作并投擲炸彈是可以實現的。

涉及的風險量。無人機群惡化了致命的自主武器所帶來的風險。即使一個精心設計、測試和驗證的自主武器擊中錯誤目標的風險只有0.1%，但如果乘以數千架無人機，仍然意味著巨大的風險。

無人機通信。無人機通信意味著一架無人機的錯誤可能會傳播到整個蜂群。

涌現行為。這是一個術語，指的是由單個單元的行為導致的復雜的集體行為，是蜂群的一個強大的優勢，允許像自我修復這樣的行為，在這種情況下，蜂群會改革以適應無人機的損失。但是，涌現行為也意味著每個無人機共享的不準確信息可能導致集體錯誤。

無人機群未來發展路徑

武裝的、完全自主的無人機群是未來的大規模毀滅性武器。蜂群可以造成與在長崎和廣島使用的核武器同樣程度的破壞、死亡和傷害--即數萬人死亡。這是因為無人機群結合了傳統大規模殺傷性武器特有的兩個特性：大規模傷害和缺乏控制以確保武器不傷害平民。

各國已經在把非常大的無人機群放在一起。美國海軍研究生院也在探索在海上、水下和空中運行的100萬架無人機群的潛力。要達到長崎的潛在傷害水平，無人機群只需要39,000架武裝無人機，如果無人機上有能夠傷害多人的爆炸物，也許會更少。

繼2021年1月在新德里建軍節閱兵式上展示了75架無人機群后，印度已表示有意將無人機群規模擴大到1000架以上。

無人機群也可以作為沒有核武器的國家的戰略威懾武器，以及作為恐怖分子的暗殺武器而發揮作用。

消耗性微型無人機。佩迪克斯微型無人機能夠進行低空情報、監視和偵察以及其他短期任務。它們可以從空中、海上或地面發射，并以小群和大群的方式運行，以執行其任務。

DARPA的Gremlins計劃，如這個藝術家的概念所示，設想從轟炸機、運輸機和戰斗機上發射無人駕駛飛機群，在主機仍在射程之外的時候攻擊目標。

在飛行中改變。DARPA的 "拒止環境中的協作行動"（CODE）計劃將使多個配備CODE的無人駕駛飛機能夠協作地感知、適應和應對意外的威脅和新目標。這些系統可以共享信息，計劃和分配任務目標，做出協調的戰術決策，并在高威脅環境中做出反應。

俄羅斯S-70 Okhotnik忠實僚機與蘇-57戰斗機

2021年建軍節，印度軍隊在新德里展示了75架無人機的異構蜂群

土耳其軍隊已經部署了500多個卡爾古群集無人機系統進行動力攻擊

在高度競爭的空域中，反空防行動對人的生命和稀缺物質資源構成了巨大的風險，因此希望減少人員遭受生命損失的風險。因此，在爭奪空中優勢的過程中，用一群低成本的無人駕駛系統取代人類駕駛的空中平臺是一個備受關注的領域。然而，目前還沒有關于蜂群作戰的理論或戰術的最佳實踐。這篇論文記錄了在認知智能體的控制下，利用強化學習方法，為無人駕駛飛行器發現反空防衛戰術而進行的系統性框架研究。傳統上，反空防衛任務的有效性是通過使用具有高數量、低雷達截面、高速度、低高度和/或電子攻擊組合的武器來實現。在沒有任何這些力量倍增器的情況下，可以利用合作性的蜂群戰術來實現任務的有效性。與其他更有約束性的基于規則的游戲相比，這一領域呈現出高度復雜的狀態-行動空間，在這些游戲中，人工智能agent已經成功地學習了游戲策略。本研究采取的方法是開發高度語義化的觀察和行動功能，將認知agent行為功能與游戲環境對接，通過重復游戲進行訓練。對認知agent的觀察和行動功能的各種設計進行了開發和分析，開發的框架被用來促進agent的強化學習以及評估任務的有效性。所提出的框架被證明能夠產生高效的認知agent，學習支持蜂群的戰術行為，使任務效率最大化，并利用傳統的優化，而非認知agent無法做到這一點。

第1章 導言

本章介紹了空中優勢、防空的概念，并討論了現代空軍用來擊敗現代防空網絡的傳統和現代方法。然后闡述了研究的主要假設，接著討論了本論文其他部分的組織。

1.1.問題陳述

1.1.1. 空中優勢

美國空軍（USAF）的主要任務目標是實現空中優勢，作為所有其他聯合戰斗行動的先導[1]。美國聯合部隊將空中優勢定義為[2] ：

• "......一支部隊對空中的控制程度，允許其在特定的時間和地點開展行動而不受空中和導彈威脅的禁止性干擾"。

在被防衛的空域實現空中優勢所產生的沖突對人員的生命帶來了巨大的風險，以及昂貴的物質資源損失的風險。

1.1.2. 進攻性反空襲

壓制（SEAD）或摧毀（DEAD）敵方防空是進攻性反空作戰，試圖通過破壞性（DEAD）或干擾性（SEAD）手段，使敵方地表防空系統失效、被摧毀或暫時退化，以使聯合部隊能夠無爭議地進入受控空域。除了針對AD的傳感器和武器外，DEAD任務通常還針對高價值的固定地點的地面資產，如[2] 。

1）機場和作戰基地

• a) 飛機

• b) 跑道

• c) 空中交通管制

• d) 機庫

• e) 燃料儲存

• f) 庇護所和人員設施

• g) 維修設施

2. 指揮和控制（C2）系統

• a) 預警（EW）系統

• b) 情報收集系統

• c) 通信基礎設施

3. 武器

• a) 發射設施

• b) 儲存設施

4. 支持性基礎設施

• a) 發電和配電

• b) 鐵路和鐵路終端

• c) 港口和海運碼頭

1.1.3. 防御性反空

敵方的防空系統對試圖在有爭議的空域，對實現空中優勢的空降部隊提出了實質性的挑戰。敵方綜合防空系統（IADS）的防衛性反空任務是摧毀、破壞或抵消空中和導彈攻擊、情報、監視和偵察收集，或其他未經授權的對防衛空域的滲透。現代IADS已經變得越來越復雜，在組織、復雜性和操作程序方面可以有很大的不同。現代地對空導彈（SAM）系統在射程和能力方面都得到了極大的提高，并對美國部隊構成了嚴重的威脅。遠程薩姆導彈通常部署在高價值資產附近，以提供點防御覆蓋，同時也有效地拒絕進入廣泛的空域。

反坦克元素的分布、分層和相互連接的性質允許采取深度防御戰略，允許進行多次交戰以增加成功的概率。許多對手采用集中的AD活動的C2，而其他對手可能采用分散的系統，其中多個節點有必要的冗余來指揮部分或整個IADS。數據基礎設施包括無線電、固定電話（電纜/光纖）、微波、蜂窩電話、衛星和互聯網系統[2]。

圖1.1顯示了一個概念性的IADS布局，其中幾個遠程防空導彈（LRS）站點被部署在兩個高價值的受保護資產（PA）的前方，以形成一個受保護的正面。LRS站點由兩個預警雷達和指揮、控制和通信（C3）站點支持，這些站點提供了對防御空域的綜合態勢感知。此外，每個PA都有一個LRS站點，提供點狀防御。圖中的橙色楔形代表了每個LRS的武器交戰區（WEZ）。

圖1.1: 國際防空系統的概念布局

顯然，本例中的防空系統是為了防御預計來自保護前線東南部某處的攻擊而布置的。

成功壓制敵方的防空系統可以通過多種方式實現。干擾通信系統和傳感器可以提供短期的局部壓制，如果足夠的話，或者作為一種臨時措施來實現所需的高階間接效果。破壞C3或EW資源，或迫使敵方反坦克部隊自主行動，有時可以充分降低對友軍的威脅程度，以獲得所需的空中優勢水平。然而，通常情況下，如果一個反坦克基地的自主行動能力繼續對友軍構成重大威脅，那么它本身就必須成為摧毀目標[3]。

1.2. 無人駕駛飛行器（UAV）蜂群

鑒于IADS的相互聯系和分層性質，DEAD任務需要一個作戰概念（CONOPS），以解決在整個有爭議的空域的不同點上具有不同能力的防御性武器。很少有單一的故障點可供利用。事實上，IADS的設計是隨著AD元件由于破壞、性能下降或彈藥耗盡而被關閉而優雅地退化。事實上，反坦克部隊包含先進的技術武器和為防御性反空襲任務而優化的傳感器，并由各級C2的人類決策來支持，這意味著反空襲任務可以以相當難以預測的方式展開。這些因素，再加上人命的高風險和稀缺的物質資源，使得在實現空中優勢的沖突中，減少友軍人員和高成本空中平臺面臨的損耗風險是可取的。因此，在爭奪空中優勢的競賽中，最好是用低成本的無人系統取代人類操作昂貴的載人空中平臺[4] 。

與傳統的機載打擊包相比，無人機群呈現出一系列獨特的特征，使其能夠以不同的方式執行DEAD任務。首先，如果蜂群是由大量的單位組成，它可以實現更大的幾何多樣性。蜂群的規模也允許戰術上的多樣性。蜂群對損耗也很強大：雖然打擊包中單個有人平臺的損失可能會導致人的生命損失，但它也經常導致嚴重的損害。首先，如果蜂群由大量的單位組成，它可以實現更大的幾何多樣性。蜂群的規模也允許戰術上的多樣性。蜂群對損耗也很強大：雖然打擊包中單個載人平臺的損失可能導致人命損失，但它也經常導致任務結果受到嚴重影響。一個無人機群可以通過替換角色、調整戰術和調整目標來適應單個單位的損失。此外，由于蜂群的性質，由大量單位組成的蜂群更能適應不斷變化的條件：可用于執行行動的單位數量越多，可用于實現有利解決方案的自由變量數量就越多。

然而，由大量無人機組成的蜂群將很難由人類操作員協調和控制，除非每個人都由人類操作員單獨遠程駕駛。即使如此，操作者可用的數據的延遲和質量可能不足以完全實現最佳的合作行為，以支持動態DEAD任務。將人類飛行員與遠程控制的無人機裝置聯系起來，大大增加了該裝置的成本，因此也增加了整個任務的成本。一個（半）自主的蜂群的一大優勢是，生產和運營成本可能遠遠低于遙控無人機蜂群。因此，至少在某種程度上，無人機群將從某種類型的自主行為中大大受益。

蜂群中的每個無人機都有可能根據自己從環境中觀察到的信息以及蜂群中其他成員與它共享的信息，執行自主行動。為無人機群自主性開發行為算法的問題，很自然地被歸入多Agent學習領域，特別是合作多Agent學習。文獻中已經考慮了幾種技術來實現合作式多代理學習：團隊學習、混合團隊學習和并發學習[5]。基于代理的建模（ABM）是一種通過模擬相互作用的代理來理解系統的一般方法。

無人機群應用于DEAD任務問題的復雜、動態性質，肯定會導致多Agent系統中眾所周知的 "涌現的復雜性 "現象。這指的是這樣一個概念：隨著大量的Agent相互作用，特別是沖突雙方的Agent，每個團隊的聯合行為都會令人吃驚[5]。本研究沒有將其視為消極的副作用，而是表明這種現象導致了蜂群Agent行為的新穎性和信息量，特別是由于在DEAD任務領域中還沒有關于無人機蜂群作戰CONOPS的理論或戰術最佳實踐。

1.3.假設

除去隱身、電子攻擊、遠距離武器和嚴重不對稱的數量等昂貴的特征，無人機群能夠用來對付IADS的主要武器是它能夠在整個有爭議的空域中動態地擺出其各種成分，采用的戰術主要是調節攻擊時機、節奏和幾何表現。

本研究的假設是，通過使用ABM，可以通過機器學習（ML）發現無人機群代理行為的新型合作行為，產生一種認知Agent，即

1）在DEAD領域展示任務有效性（ME）。

2）等同于或超過由更多單位組成的 "啞巴"群體的有效性，例如一大排常規巡航導彈的有效性

3）對人類控制的對抗性IADS有效

一旦發現無人機群Agent的行為，顯示出對由算法控制的Agent組成的IADS成功執行DEAD任務，將通過實時戰略游戲（RTSG）對人類控制的IADS測試相同的蜂群Agent。這將允許對潛在的微妙的蜂群Agent策略進行定性，并評估蜂群Agent適應不同和變化的IADS防御策略的能力。

對行為學習的ABM的一個重要批評是，行為的學習是使用不能代表現實世界效果的模擬，也就是說，如果模擬環境走了太多的捷徑或做了簡化或不正確的假設，那么學到的行為就不會有現實世界的意義[6]。本研究的一個目標是在無人機DEAD領域開發適用于現實世界的CONOPS，因此對這一批評意見相當重視。為了克服這一潛在的缺陷，ABM學習的模擬環境將采取RTSG的形式。這為無人機群學習行為的結果提供了一個重要的檢查，原因有幾個。

1）基于物理學的DEAD任務模擬具有很高的保真度

• a）無人機飛行動力學、飛行持久性、對各種目標的殺傷概率

• b）AD傳感器探測、跟蹤、測量分辨率、信息共享

• c）AD導彈攔截器飛行動力學、對無人機的殺傷概率

2. 各種程序化的代理可以控制沖突的任何一方。無人機群或IADS

• a) 這提出了不同的戰術、理論和難度水平

3. 人類玩家可以控制沖突的任何一方：無人機群或IADS

• a) 這為對手提供了創新的、不可預知的行為。

4. 游戲玩法（DEAD場景）是高度可配置的

• a) 這提出了不同級別的場景復雜性

5. 實時戰略格式強制執行人類決策的及時性，這是問題領域的一個關鍵特征。

6. 每個游戲環節都會捕獲非常豐富的狀態數據集

RTSG的性質也帶來了各種挑戰，例如取消了傳統的回合制游戲。這意味著代理人的決策必須實時發生，從一組不斷變化的環境輸入數據中工作。

1.4.本學位論文的組織結構

本論文分為13章和5個附錄。

第2章討論了任務有效性的概念，以及預測空中飛行器對由先進防空網絡防御的一組地面目標進行大規模突襲結果的分析方法。

第3章描述了為進行這項研究而采取的基于agent的模擬方法。

第4章記錄了用于訓練認知群agent的方法，描述了環境、agent和實體的模擬，并討論了有關基于agent的機器學習和游戲方法的現有文獻。

第5章描述了用于在強化學習過程中提供獎勵的目標函數的設計背景和發展。

第6章描述了用于蜂群單元的運動學模型。

第7章描述了用于防空傳感器和武器的物理學模型。

第8章描述了基本的非認知性蜂群agent的設計，這些agent被用來了解針對各種防空agent的基線任務有效性。

第9章描述了基本防空agent邏輯的設計，這些agent是認知蜂群agent在游戲訓練課程中競爭的對手。

第10章記錄了通過蒙特卡洛分析編制的基本非認知型蜂群agent的統計任務有效性。

第11章記錄了本研究中探索的各種實驗性認知蜂群agent的設計。

第12章記錄了對選定的認知蜂群agent學到的高效戰術的分析和評估。

第13章是論文的結論，總結了主要和次要的發現，并提出了繼續這項工作可能關注的領域。

現代綜合防空系統（IADS）所帶來的日益復雜的反介入區域拒止（A2AD）威脅，加上高端隱形平臺所提供的日益強大的優勢，促使美國空軍高級領導人投資于徹底改變2030年及以后的空中力量。這一新設想的一個突出因素是蜂群武器，其目的是通過用大量低成本、可損耗的航空資產來壓倒國際航空運輸系統，并通過自主能力來解決這一挑戰。這項研究提出了一個框架，按照三個獨立的維度對不同級別的自主能力進行分類，即單獨行動的能力、合作能力和適應能力。使用模擬、集成和建模高級框架（AFSIM）構建了一個虛擬作戰模型，模擬以有人駕駛的穿透式轟炸機和自主巡航導彈群為特征的友軍空襲包與以A2AD角色行動的敵軍IADS之間的交戰。通過使用自主性框架作為設計實驗的基礎，評估了不同水平的自主性對攻擊包性能的影響。對實驗結果的分析揭示了哪些方面和什么級別的自主性對促進這一模擬場景的生存能力和殺傷力最有影響。

1. 引言

1.1 動機和背景

戰爭的技術性質正在迅速發展，人們越來越重視對大量數據的收集、處理和決策。隨著指揮與控制（C2）決策空間的復雜性增加，指揮系統根據現有信息采取行動的速度越來越成為一個限制性因素。具有不同程度的人與系統互動的自主系統為緩解這一不足提供了機會。美國2018年國防戰略（NDS）[18]明確要求國防部（DoD）"廣泛投資于自主性的軍事應用"，作為促進大國競爭優勢的一項關鍵能力。

參與大國競爭的一個自然后果是反介入區域拒止（A2AD）環境在聯合沖突的所有方面擴散。從美國空軍（USAF）的角度來看，現代綜合防空系統（IADS）構成了卓越的A2AD威脅，這嚴重抑制了通過常規手段建立空中優勢的前景[2, 20]。這一挑戰促使部隊結構的優先事項發生了變化，因為將能力集中在相對較少的高端系統中的感知風險越來越大。美國空軍科學和技術戰略[26]設想，數量龐大的低成本、易受攻擊的航空資產將很快發揮曾經由數量有限的高價值資產完成的作用。這種大規模的蜂群的任務規劃和空戰管理（ABM）工作的規模可能很快超過人類的認知能力，這使得它成為非常適合自主性研究和開發的應用領域。

1.2 問題陳述

本研究試圖評估幾種自主巡航導彈群的行為對A2AD環境中藍方（友方）空中性能的影響。具體來說，所研究的A2AD場景考慮了紅方（對手）的IADS被藍方聯網的自主巡航導彈群吸引，以促進穿透式轟炸機的后續打擊。在任務規劃時沒有考慮到的突然出現的威脅，可能會進入該場景以增加紅色IADS的力量。蜂群必須在沒有外部反彈道導彈的幫助下，檢測并應對這些突發威脅以及任何其他對抗性任務參數的變化。A2AD場景的建模是使用模擬、集成和建模高級框架（AFSIM）完成的。

1.3 研究問題

為了解決問題陳述，本研究將對以下問題提供答案：

1.具有自主反彈道導彈能力的巡航導彈蜂群能在多大程度上提高藍方空襲包在A2AD環境下的生存能力（即避免被紅方IADS發現和摧毀的能力）？

2.具有自主反彈道導彈能力的巡航導彈群能在多大程度上提高A2AD環境下藍方空襲包的殺傷力（即探測和摧毀紅方IADS元素的能力）？

1.4 論文的組織

本論文的其余部分包含四章，組織如下：第二章對包括自主性、A2AD環境、基于代理的建模和仿真（ABMS）以及實驗設計（DOE）等主題的參考材料進行了回顧。第三章建立了A2AD場景、AFSIM模型實現和實驗設計的結構，作為本研究的框架。第四章介紹了實驗模擬運行的結果和附帶的分析。最后，第五章討論了從這項研究中得出的結論，以及對未來研究方向的建議。

摘要

兵棋模擬是一種決策工具，可以為利益相關者分析的場景提供定量數據。它們被廣泛用于制定軍事方面的戰術和理論。最近，無人駕駛飛行器（UAVs）已經成為這些模擬中的一個相關元素，因為它們在當代沖突、監視任務以及搜索和救援任務中發揮了突出的作用。例如，容許戰術編隊中的飛機損失，有利于一個中隊在特定戰斗場景中勝利。考慮到無人機的分布可能是這種情況下的決定性因素，無人機在超視距（BVR）作戰中的位置優化在文獻中引起了關注。這項工作旨在考慮敵人的不確定性，如射擊距離和位置，使用六種元啟發法和高保真模擬器來優化無人機的戰術編隊。為紅軍蜂群選擇了一種空軍經常采用的戰術編隊，稱為line abreast，作為案例研究。優化的目的是獲得一個藍軍蜂群戰術編隊，以贏得對紅軍蜂群的BVR戰斗。采用了一個確認優化的穩健性程序，將紅軍蜂群的每個無人機的位置從其初始配置上改變到8公里，并使用兵棋方法。進行了戰術分析以確認優化中發現的編隊是否適用。

索引詞：優化方法，計算機模擬，無人駕駛飛行器（UAV），自主智能體，決策支持系統，計算智能。

I. 引言

兵棋是在戰術、作戰或戰略層面上模擬戰爭的分析性游戲，用于分析作戰概念，訓練和準備指揮官和下屬，探索情景，并評估規劃如何影響結果。這些模擬對于制定戰術、戰略和理論解決方案非常有用，為參與者提供了對決策過程和壓力管理的洞察力[1]。

最近，無人駕駛飛行器（UAVs）作為一種新的高科技力量出現了。利用它們來實現空中優勢可能會導致深刻的軍事變革[2]。因此，它們的有效性經常在兵棋中被測試和評估。

由于具有一些性能上的優勢，如增加敏捷性、增加過載耐久性和增加隱身能力，無人機已經逐漸發展起來，并在許多空中任務中取代了有人系統[3]。然而，由于戰斗的動態性質，在視覺范圍之外的空戰中用無人系統取代有人平臺是具有挑戰性的。在空戰中，無人機可以被遠程控制，但由于無人機飛行員對形勢的認識有限，它將在與有人平臺的對抗中處于劣勢。然而，這種限制可以通過自動戰斗機動[4]和戰術編隊的優化來克服。此外，使用無人機可以允許一些戰術編隊和戰略，而這些戰術編隊和戰略在有人駕駛的飛機上是不會被考慮的，例如允許中隊的飛機被擊落，如果它有助于團隊贏得戰斗。文獻中最早的一篇旨在優化超視距（BVR）作戰中的飛機戰術編隊的文章[5]表明，空戰戰術是用遺傳算法（GA）進行優化的候選方案。該實施方案采用分層概念，從小型常規作戰單位建立大型編隊戰術，并從兩架飛機的編隊開始，然后是四架飛機，最后是這些飛機的倍數。在模擬中沒有對導彈發射進行建模。當一架飛機將其對手置于武器交戰區（WEZ）的高殺傷概率（Pkill）區域內一段特定時間，簡化的交戰模擬器就宣布傷亡。事實證明，所提出的方法的應用是有效的，它消除了團隊中所有沒有優化編隊的飛機，并為整個優化編隊的飛機團隊提供了生存空間。

Keshi等人[6]使用了與[5]相同的分層概念，從由兩架飛機組成的元素中構建大型戰術編隊。模擬退火遺傳算法（SAGA）被用來優化編隊，使其能夠克服對局部最優解的收斂。對16架飛機的編隊進行了優化，提出的最優解表明SAGA比基本的GA更有效。最后，為了探索一個穩健的SAGA，對不同的馬爾科夫鏈進行了比較，事實證明自調整馬爾科夫電流更適合所提出的問題。

Junior等人[7]提出使用計算機模擬作為一種解決方案，以確定BVR空戰的最佳戰術，使擊落敵機的概率最大化。在低分辨率下使用通用參數對飛機和導彈進行建模，并改編了名為COMPASS的模擬優化算法，模擬了兩架飛機對一架飛機的BVR戰斗。低分辨率模型假定在水平面的二維空間內有一個均勻的直線運動。使用優化的戰術表明，擊落敵機的平均成功率從16.69%提高到76.85%。 Yang等人[8]提出了一種方法來優化飛機對一組目標的最佳攻擊位置和最佳路徑。該工作考慮到飛機能夠同時為每個目標發射導彈，并將飛機與目標有關的攻擊性和脆弱性因素作為評價攻擊位置的指標。一個高保真模擬被用來模擬每個導彈的飛機、雷達、導彈和WEZ的動態特性。這項工作并沒有解決在BVR戰斗場景中優化一組飛機對另一組飛機的編隊問題。

Li等人[9]提出了一種基于指揮員主觀認識的編隊優化方法，即在空戰中目標設備信息不確定的情況下選擇飛機編隊的問題。首先，計算戰斗機的戰斗力，這是通過指揮員的主觀認識評估目標戰斗力的基礎。戰斗機的戰斗力以能力的形式表現出來，包括攻擊、探測、生存能力、通信、電子戰、預警系統等。因此，通過采用前景理論和綜合模糊評估來優化空戰訓練。最后，一個應用實例證明了該方法在小規模空戰中的可行性。作者聲稱，利用戰斗力評估戰斗情況的能力為優化空戰訓練提供了一種新的方法。

?zpala等人[10]提出了一種在兩個對立小組中使用多個無人駕駛戰斗飛行器（UCAVs）進行空戰的決策方法。首先，確定兩隊中每個智能體的優勢地位。優勢狀態包括角度、距離和速度優勢的加權和。在一個團隊中的每個智能體與對方團隊中的每個智能體進行比較后，每個航空飛行器被分配到一個目標，以獲得其團隊的優勢而不是自己的優勢。為一對對立的團隊實施了一個零和博弈。對許多智能體參與時的混合納什均衡策略提出了一種還原方法。該解決方案基于博弈論方法；因此，該方法在一個數字案例上進行了測試，并證明了其有效性。

Huang等人[11]開發了新的方法來處理UCAV編隊對抗多目標的合作目標分配和路徑規劃（CTAPPP）問題。UCAV的編隊是基于合作決策和控制的。在完成目標偵察后，訓練指揮中心根據戰場環境和作戰任務向每架UCAV快速傳輸任務分配指令。UCAV機動到由其火控系統計算出的最佳位置，發射武器裝備。合作目標分配（CTAP）問題通過增強型粒子群優化（IPSO）、蟻群算法（ACA）和遺傳算法（GA）來解決，并在歸因、精度和搜索速度等方面進行了比較分析。在進化算法的基礎上發展了UCAV多目標編隊的合作路徑規劃（CPPP）問題，其中提供并重新定義了獨特的染色體編碼方法、交叉算子和突變算子，并考慮燃料成本、威脅成本、風險成本和剩余時間成本來規劃合作路徑。

Ma等人[12]開展的工作解決了在BVR作戰場景中優化兩組（R和B）無人機對手之間的優勢地位問題。一個無人機ri∈R對一個無人機bj∈B的優勢是通過ri和bj之間的距離、ri的導彈發射距離的下限和上限、ri的高度和bj的高度之差以及ri的最佳發射高度來估計的。決定性的變量是無人機在兩組中的空間分布和每架飛機在這些組中的目標分配。無人機在三維作戰空間BVR中的可能位置被簡化（離散化），通過立方體的中心位置來表示。每個無人機組都有一組立方體。優化問題被建模為一個零和博弈，并被解決以獲得納什均衡。

Ma等人[12]提出的工作沒有使用高保真模擬來分析無人機空間分布的選擇和分配給它們的目標對BVR作戰的影響。高保真模擬對飛機、雷達、導彈及其導彈的WEZ的動態特性進行建模。這些動態特性也影響到BVR作戰時每架飛機的行動觸發，因此也影響到最終的結果。例如，如果在兩組無人機之間第一次沖突后的時間窗口內考慮高保真BVR作戰模擬，新的沖突可能會發生，直到模擬結束。因此，每個在交戰中幸存的無人機將能夠選擇一個新的目標，這取決于可用目標的優勢值。在[12]中沒有考慮與無人機行為有關的不確定性。有關敵方無人機在戰術編隊中的確切位置及其導彈發射距離的信息是行為不確定性的例子。這兩個信息和上面描述的其他信息在BVR戰斗中是相關的：它們直接影響飛機之間的交戰結果。

在這項研究中，我們試圖解決文獻中發現的一些局限性，如低分辨率模擬、與敵人有關的不確定性的處理以及缺乏對優化解決方案的穩健性的確認，旨在提高兵棋結果的質量。我們的目標是驗證哪些藍色蜂群的戰術編隊可以在BVR戰斗中戰勝紅色蜂群。作為一個案例研究，RED蜂群使用了空軍經常采用的戰術編隊，稱為line abreast[13]。為了評估BLUE蜂群解決方案的穩健性，我們解決了新的問題，改變了RED蜂群每架飛機的位置，目的是估計新的RED蜂群編隊對BLUE蜂群的優化戰術編隊的效率的影響。

我們使用自主智能體和高保真計算機模擬來優化BVR戰斗中的無人機戰術編隊，考慮與敵人相關的不確定性，如戰術編隊中的位置誤差和導彈發射距離。統一行為框架（UBF）被采納為創建自主智能體的基礎。飛機和導彈在三維環境中用六個自由度（DoFs）建模。

該程序將在接下來的章節中進一步討論。