美國戰略陸軍條令強調在多域環境中擊敗反區域介入和空中拒止（A2AD）系統。這些防空系統對友軍構成重大威脅，嚴重限制了聯合任務部隊的空中能力。為此，陸軍試圖了解自主無人機蜂群的組成如何影響聯合特遣部隊縱深打擊任務的成功。目標是通過評估自主無人機蜂群的有效性來加強陸軍的作戰行動。利用虛擬戰斗空間模擬器3（VBS3），模擬了不同無人機蜂群組成的俄羅斯防空資產。我們的分析表明，在我們的備選方案中，動能、干擾和誘餌三種無人機類型比例相等的無人機蜂群組合表現最佳。本文旨在說明我們的方法和相關結果。

引言

美國陸軍越來越重視與同行對手保持技術優勢（國會研究服務，2022年）。美國陸軍未來司令部（AFC）正在進行自主無人機群的研發。為了支持陸軍未來司令部和我們的主要利益相關者--系統增強型小型單位（SESU），我們評估了各種自主無人機群的組成。我們的主要評估指標是無人機群在敵后執行后續縱深打擊任務（兩架F-22）的能力。為此，我們使用Virtual Battlespace 3軟件在現代戰場環境中對敵方防空資產進行了一系列隨機模擬。

方法

在整個項目過程中，我們采用了系統設計流程來完成問題定義、解決方案設計和決策制定（Parnell和Driscoll，2010年）。解決方案實施階段不在本工作范圍之內。

3.1 問題定義

為了解問題的范圍，通過一系列面對面訪談和針對每個利益相關者的調查進行了利益相關者分析。這些利益相關者包括項目發起人（MITRE）和陸軍未來司令部，以及其專注于增強無人機蜂群技術的下屬單位（SESU）。利益相關者分析表明，工作重點應放在不同的蜂群組成上，并評估其擊敗敵方防空資產的有效性--有效性由機會之窗（WOO，即實現后續深度打擊資產）標準來衡量。根據利益相關者調查，將敵方防空資產定義為任何車載防空武器（如俄羅斯的SA-19 "格里森"）。

經利益相關方同意，制定了如下問題陳述和范圍：

問題陳述： 為了提高作戰效率，分析無人機群的組成對打開針對敵方防空系統的機會之窗（WOO）的影響。

問題范圍： 將模擬無人機群執行任務，打擊俄羅斯摩托化步槍旅理論上適當的防空資產。這些任務將利用具有以下能力的無人機群：誘餌、干擾和動能。

3.2 方案射擊

基線替代方案是由120架無人機組成的蜂群，其組成由利益相關方選定。這些無人機分10波發射，每波12架。每個波次由41%的動能無人機、17%的干擾無人機和42%的誘餌無人機組成。除了該基線備選方案外，我們還利用茲威基形態箱開發了另外12種備選方案，其規模（120、60、36）和蜂群組成（動能、誘餌或干擾的比例；或三者的優先級相同）各不相同。

3.3 決策

除了利益相關方制定的任務成功/失敗標準（第2.1節）外，我們還利用利益相關方分析和對利益相關方進行的模擬演習的訪問來制定評估標準。這些評估標準衡量了針對理論上旅級規模的俄羅斯防空部隊的成功任務的有效性（圖2）。為了計算這些標準的權重，我們使用了等級加權法。然后，我們使用指數值建模來制定價值曲線。

人工智能驅動的軟件飛行員有可能實現美國空軍對負擔得起的戰術空中力量能力的追求；然而，對啟用空戰自主算法的數據的基礎性要求并沒有得到充分理解。

本文討論了空軍戰術空中力量數據管理的挑戰，承認反對數據對協同作戰飛機（CCA）實戰的重要性的論點，并確定了四個具體原因，即資助和實施一個深思熟慮的數據管理計劃對加速CCA的成功開發和實戰至關重要。這個米切爾論壇的初稿的目的是提供清晰度，并邀請大家討論訓練CCA算法的戰斗所需的數據集，因為美國空軍尋求履行其 "隨時隨地飛行、戰斗和贏得......空中力量 "的使命。

該論壇介紹了來自美國和全球各地航空航天專家的創新概念和發人深省的見解。

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

隨著作戰區域的日益復雜和對手的不斷推進，開發低成本的無人機系統蜂群可以為美國部隊提供引人注目的能力。因此，研究問題涉及現有小型無人機系統的最佳組合，這些系統提供了平均/標準偏差探測時間和任務成功率的最佳性能指標，同時受限于給定的預算和機群規模。對這些小型無人機系統的要求是，它們屬于美國空軍1-3組無人機系統。研究小組使用Python模擬，在半徑為5海里的隨機目標地點收集不同無人機系統的個人性能數據。然后，這些指標被輸入一個優化程序，該程序在某些硬約束條件下選擇最佳組合。結果表明，在測試的所有三種情況下，6個ALADiN和24個平行螢火蟲的混合物是最佳組合。其綜合成本為160萬美元。利用模擬的洞察力，團隊還能夠建議哪些屬性對成功的任務最重要，在開發過程中節省時間和費用。

無人機蜂群來了！美國、中國和俄羅斯處于無人機群開發和利用的最前沿。然而，無人機的低成本和易得性使非國家行為者能夠以富有想象力和創造力的方式利用無人機，包括蜂群。本專著的目的是要解決以下問題：無人機群為軍隊提供什么效用？無人機群提供了許多優勢，包括持續的情報、監視、偵察和目標定位；對軍事人員和組織的低風險和低成本，以及癱瘓個體和組織決策的潛力。相比之下，無人機群有其脆弱性和挑戰。脆弱性包括從對手的黑客攻擊到反蜂群武器的存在，而一些挑戰包括組織上的抵制和國際法。無人機群就在這里，而且很快就會出現在戰場上，現在是解決如何最好地運用它們的時候了。在概述了無人機群的潛在好處和局限性之后，該專著最后提出了四項建議：需要敘述、建立無人機群理論、了解人機界面以及為無人機群的使用進行組織過渡。

本報告總結了迄今為止在路線偵察領域的本體開發的進展，重點是空間抽象。我們的重點是一個簡單的機器人，一個能夠感知并在其環境中導航的自主系統。該機器人的任務是路線偵察：通過觀察和推理，獲得有關條件、障礙物、關鍵地形特征和指定路線上的敵人的必要信息。路線偵察通常是由一個排的騎兵和非騎兵進行的。這項研究探討了機器人執行部分或全部必要任務的合理性，包括與指揮官進行溝通。

1.1 背景與動機

這是一項具有挑戰性的對抗性任務，即地形穿越加上信息收集和解釋。偵察的解釋方面需要考慮語義學--確定相關的信息和確定它如何相關（即有意義）。語義信息在本質上是定性的：例如，危險是一個定性的概念。為了將危險與某些特定的區域聯系起來，我們需要一種方法來指代該區域。這意味著至少能夠給空間的某些部分附上定性的標簽。

Kuipers在他的空間語義層次的早期工作中指出了空間的定性表示對機器人探索的重要性。例如，層次結構的拓撲層次包含了 "地方、路徑和區域的本體"，歸納產生了對較低層次的因果模式的解釋。

最近，Izmirlioglu和Erdem為定性空間概念在機器人技術中的應用提供了以下理由：

• 各種任務，如導航到一個目的地或描述一個物體的位置，涉及處理物體的空間屬性和關系。......或某些應用（如探索未知環境），由于對環境的不完全了解，可能并不總是有定量的數據。......可理解的相互作用和可接受的解釋往往比高精確度更可取（Kuipers 1983）。對于這些應用，定性的空間關系似乎更適合。

對于負責路線偵察的無人地面車輛（UGV）來說，其架構中的不同模塊將消費和產生語義信息：負責語義感知和目標識別、計劃和執行、自然語言對話等的模塊，加上主要負責維護信息的語義世界模型。例如，在美國陸軍作戰能力發展司令部陸軍研究實驗室的自主架構中，語義/符號世界模型被用來 "實現符號目標（例如，去接近一個特定的物體）"，*其中接近是一個語義概念。

一個關鍵問題是如何在世界模型和其他模塊之間分配維護和處理不同類型語義信息的責任。從語義世界模型的角度來看，這取決于有多少符號推理是合適的。例如，假設要接近的物體位于一個給定區域的某個位置，而不是靠近該區域的外部邊界。一旦機器人靠近物體，就可以推斷出機器人在物體的位置附近，而且也在同一區域內。如果有公制信息，就可以用幾何例程得出這個結論。在沒有公制信息的情況下，是否會出現在純粹的定性空間中推斷有用的情況？

本報告不涉及這個問題。我們的目標是確定什么應該被代表，而把如何代表和在哪里代表留給未來的工作。

1.2 路線偵察

以下片段取自FM7-92中對路線偵察的描述。空間表達是彩色的，周圍有一些文字作為背景。

• 路線偵察的重點是獲得關于一條指定路線和敵人可能影響沿該路線移動的所有地形的信息。路線偵察的方向可以是一條道路、一條狹窄的軸線（如滲透通道），或一個總的攻擊方向......防御陣地。......部隊可以機動的可用空間......所有障礙物的位置和類型以及任何可用的繞道位置。障礙物可包括雷區、障礙物、陡峭的峽谷、沼澤地或核生化污染 ......沿途和鄰近地形的觀察和火力范圍 ......沿途提供良好掩護和隱蔽的地點 ......。橋梁的結構類型、尺寸和分類。著陸區和接駁區。與路線相交或穿越的道路和小徑。. . 如果建議路線的全部或部分是道路，則該排認為該道路是一個危險區域。它使用有掩護和隱蔽的路線與道路平行移動。當需要時，偵察和安全小組靠近道路，以偵察關鍵區域。

路線偵察的結果是一份報告，以圖表的形式，并附有文字說明。FM7-92給出了一個例子，我們可以從中提取一些更必要的概念：

• 網格參考。磁性北方箭頭..道路彎道..陡峭的坡度..道路寬度的限制（橋梁，隧道等）..岔道的位置..隧道..

讓我們把這段關于路線偵察的描述中提到的概念建立一個綜合清單，重點放在空間概念上，并盡可能地保留軍事術語:

1）必須指定環境中的位置、路線、區域和感興趣的物體。稱這些為 "實體"。

2）這些實體之間的空間關系是相關的（例如，一個地點在另一個地點的北邊）。值得注意的是，不同類型的實體之間的關系是被指定的。

a. 物體（例如，障礙物）在位置或區域。

b. 一些地點在空間上與路線有關（例如，沿著路線，毗鄰，或靠近道路）。

c. 地點可能代表更大的區域（例如，雷區的位置）。

d. 道路和小徑可以與路線相關：它們可能相交、重疊（部分疊加），或平行運行。

3. 一些實體對路線具有戰術價值，無論是進攻還是防御（例如，雷區）。

a. 一些地點相對于其他地點或區域有方向性的定位（例如，一個防御性的位置）。

b. 有些區域是由其與另一個區域或地點的關系來定義的，這可能不是一種局部的關系（例如，觀察和火力場是由一個潛在的遠程位置來定義的，該位置有一條通往路線上的一個區域的線路）。

4）路線可能被障礙物阻擋，障礙物可能是明確的物體或更大的區域（例如，一個障礙物與一個雷區）。

5. 路線和地形的三維幾何特性是相關的：道路上的急轉彎，陡峭的坡度，等等。

6）有時，描述物理基礎設施（如道路、橋梁）及其屬性是很重要的。

1.3 路線偵察抽象

路線偵查收集和解釋不同種類和不同來源的信息:

• 背景知識。這包括關于環境特征的類型和預期成為任務一部分的物體的信息，包括道路、障礙物、溝壑、橋梁等等。

• 任務規范。確定偵查的區域和路線，以及當時可獲得的任何信息。

• 環境。通過空間分析（包括幾何學、拓撲學等）、感知、地圖衛星數據的離線圖像處理和其他類型的分析，確定環境的相關特征。

• 任務執行期間的通信。我們假設指揮官或人類操作員在偵察過程中可以向UGV提出詢問或命令，提供新信息或集中注意力。

• 如前所述，一份報告。

原則上，所有這些信息都以某種抽象的形式組合在一個語義世界模型中。我們把環境的物理屬性和特征稱為 "實體"。把我們用來表示這些實體和它們之間關系的抽象概念稱為 "概念"。

不同類型的實體的概念。層次結構在語義表征中很常見，用來捕捉關于世界上遇到的實體類型的一般知識。一個類型就是一個概念，類型被組織在一個層次中：MRZR是一種輕型的、戰術性的、全地形的車輛，它是一種輪式地面車輛，它是一種地面車輛的類型，等等。屬性和關系可以與一個給定的概念相關聯，而下級概念則繼承這些屬性。在路線偵察中，如果有信息說某一地區有一條道路，但沒有更多的細節，仍然可以從道路的概念中推斷出它的預期屬性：它比它的寬度長得多；它在人們感興趣的地點之間通向；在其他條件相同的情況下，它可能比周圍的地形行駛得快。從實用的角度來看，這意味著如果有可能將某物歸類為一個已知的概念，那么語義世界模型就不需要記錄關于該物的每一條相關信息。

用于實體的目的和用途的概念。一個代表道路典型用途的概念可以進一步區分其長度和寬度的語義，這反過來又導致了跨越和沿途、穿越和跟隨等概念之間的區別。這將使UGV能夠以不同的方式對待 "偵察道路對面的區域 "和 "偵察前方的道路 "的命令。前方的道路也是一個語義概念：它取決于對過去去過的地方的了解。

代表部分信息的概念。有時可能會有定性的信息。想象一下，任務規范的一部分是關于雷區在計劃路線上存在的信息，但不知道具體位置，或者知道雷區的位置，但不知道其范圍。這種無知可以很容易地在代表實體的概念中得到體現。

新概念適用于新環境。另一個交流的例子可能是信息性的。想象一下，當一輛UGV穿越一條東西走向的道路時，它與遠程指揮官進行交流，指揮官問道："道路北側是什么？"* 需要識別的物體可能不在道路和地形的邊界上（與 "建筑物的一側 "形成對比），而是在以道路邊緣為界的某個感興趣的區域內，距離UGV的位置向北不遠，向東和向西也有一些距離。這個區域可能沒有事先作為一個概念被劃定；相反，它是在當前的背景下構建或推斷出來的。這是一個有趣的例子，一個概念不是從公制數據中抽象出來的，而是被強加在公制數據上的。

背景中的概念的適應和組合。想象一下，對一張地圖的分析產生了對代表區域、道路等等的概念的分解。這些概念可能直接適用于某些目的。例如，與道路相聯系的概念在推理兩點之間的導航時是有用的。然而，在其他情況下，這些概念可能需要調整或與其他概念相結合。例如，如果一條道路被指定為 "危險區域"，那么這個區域的概念可能會超出道路的邊界，延伸到周圍的地形。

本報告收集了為支持將固有曲面地球模型引入下一代巡航導彈（NGCM）高保真建模與仿真（M&S）工具而進行的分析結果。這些結果用于記錄已實施的算法，預計與其他電子戰應用有關。

我們引入固有曲面地球模型的技術方法的關鍵原則是：1）確定代碼庫中與地球表面有關的計算的位置；2）重構代碼庫，將這些計算遷移到一個新的地球表面軟件對象。在其他方面，這涉及到引入一個關鍵的概念區別：以前，基座標框架和地球表面是混在一起的（地球表面和基座標系統的X-Y平面是一樣的）；我們的改變要求把基座標框架和地球表面作為不同的角色分開。

不同的地球表面對象的實現可以模擬不同的地球表面形狀。對于開發和測試，我們的計劃是按照以下策略推出這些對象：首先是平面地球，以保留傳統的行為；然后是球面地球，最簡單的曲面，以支持暴露和消除整個代碼庫中隱含的平地假設，同時受益于盡可能簡單的幾何算法；最后是扁球體，該類包括WGS84，但其許多算法明顯比球體的算法更復雜。

前沿作戰基地（FOB）防御是一項人力密集型任務，需要占用作戰任務的寶貴資源。雖然能力越來越強的無人駕駛飛行器（UAV）具備執行許多任務的能力，但目前的理論并沒有充分考慮將其納入。特別是，如果操作人員與飛行器的比例為一比一時，并沒有考慮提高無人機的自主性。本論文描述了使用先進機器人系統工程實驗室（ARSENL）蜂群系統開發和測試自主FOB防御能力。開發工作利用了基于任務的蜂群可組合性結構（MASC），以任務為中心、自上而下的方式開發復雜的蜂群行為。這種方法使我們能夠開發出一種基于理論的基地防御戰術，在這種戰術中，固定翼和四旋翼無人機的任意組合能夠自主分配并執行所有必要的FOB防御角色：周邊監視、關鍵區域搜索、接觸調查和威脅響應。該戰術在軟件模擬環境中進行了廣泛的測試，并在現場飛行演習中進行了演示。實驗結果將使用本研究過程中制定的有效性措施和性能措施進行討論。

第1章：導言

1.1 背景和動機

2019年，美國海軍陸戰隊司令大衛-H-伯杰將軍發布了他的規劃指南，作為塑造未來四年的部隊的一種方式。他在其中指出："我們今天做得很好，我們明天將需要做得更好，以保持我們的作戰優勢"[1]。這句話摘自海軍陸戰隊司令大衛-H-伯杰將軍的《2019年司令員規劃指南》（CPG），呼吁采取集中行動，以應對海軍陸戰隊在未來戰爭中預計將面臨的不斷變化的挑戰。在為海軍陸戰隊確定未來四年的優先事項和方向的CPG中的其他指導，呼吁建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人駕駛系統系列"[1]。伯杰將軍進一步呼吁利用新技術來支持遠征前沿基地作戰（EABO）。EABO將需要靈活的系統，既能進行有效的進攻行動，又能進行獨立和可持續的防御行動。簡而言之，實現EABO將需要最大限度地利用每個系統和海軍陸戰隊。

從本質上講，伯杰將軍正在呼吁改變無人駕駛飛行器的使用方式。通過使用大型的合作自主無人飛行器系統，或稱蜂群，將有助于實現這一目標。無人飛行器蜂群提供了在人力需求和后勤負擔增加最少的情況下成倍提高戰場能力的機會。正如伯杰將軍所提到的 "下一個戰場"，海軍陸戰隊將必須利用各種技術，最大限度地利用自主性和每個作戰人員在戰場上的影響。

目前的無人系統使用理論是以很少或沒有自主性的系統為中心。另外，目前的系統依賴于單個飛行器的遠程駕駛；也就是說，每輛飛行器有一個操作員。部隊中缺乏自主系統，這在監視和直接行動的作戰能力方面造成了差距。此外，側重于一對一操作員-飛行器管理的無人系統理論要求操作員的數量與車輛的數量成線性比例。這對于 "下一個戰場 "來說是不夠的。相反，海軍陸戰隊將需要能夠讓操作員擺脫束縛或提高他們同時控制多個飛行器的能力系統[2]。

考慮到這些目標，美國海軍研究生院（NPS）的先進機器人系統工程實驗室（ARSENL）已經開發并演示了一個用于控制大型、自主、多飛行器的系統，該系統利用了分布式計算的優勢，并將駕駛的認知要求降到最低。ARSENL在現場實驗中證明了其系統的功效，在該實驗中，50個自主無人駕駛飛行器（UAV）被成功發射，同時由一個操作員控制，并安全回收[3]。

1.2 研究目標

這項研究的主要目標是證明使用無人機蜂群來支持前沿作戰基地（FOB）的防御。特別是，這需要自主生成、分配和執行有效的、符合理論的基地防御所需的子任務。這部分研究的重點是開發基于狀態的監視、調查和威脅響應任務的描述；實施支持多飛行器任務分配的決策機制；以及任務執行期間的多飛行器控制。

輔助研究目標包括展示基于任務的蜂群可組合性結構（MASC）過程，以自上而下、以任務為中心的方式開發復雜的蜂群行為，探索自主蜂群控制和決策的分布式方法，以及實施一般的蜂群算法，并證明了對廣泛的潛在蜂群戰術有用。總的來說，這些目標是主要目標的一部分，是實現主要目標的手段。

1.3 方法論

基地防御戰術的制定始于對現有基地防御理論的審查。這一審查是確定該行為所要完成的基本任務和子任務的基礎。然后，我們審查了目前海軍陸戰隊使用無人機的理論，以確定這些系統在基地防御任務中的使用情況。

在確定了任務要求的特征后，我們為基地防御的整體任務制定了一個高層次的狀態圖。子任務級別的狀態圖等同于MASC層次結構中的角色。

ARSENL代碼庫中現有的算法和游戲以及在研究過程中開發的新算法和游戲被用來在ARSENL系統中實現子任務級的狀態圖。最后，根據高層次的狀態圖將這些游戲組合起來，完成基地防御戰術的實施。

在游戲和戰術開發之后，設計了基于理論的有效性措施（MOE）和性能措施（MOPs）。通過在循環軟件（SITL）模擬環境中的廣泛實驗，這些措施被用來評估基地防御戰術。在加利福尼亞州羅伯茨營進行的實戰飛行實驗中，也展示了該戰術和游戲。

1.4 結果

最終，本研究成功地實現了其主要目標，并展示了一種包含周邊監視、關鍵區域搜索、接觸調查和威脅響應的基地防御戰術。此外，開發工作在很大程度上依賴于MASC層次結構，以此來制定任務要求，并將這些要求分解成可在ARSENL蜂群系統上實施的可管理任務。這一戰術在實戰飛行和模擬環境中進行了測試，并使用以任務為中心的MOP和MOE進行了評估。最后的結果是令人滿意的，在本研究過程中開發的戰術被評估為有效的概念證明。

1.5 論文組織

本論文共分六章。第1章提供了這項研究的動機，描述了這個概念驗證所要彌補的能力差距，并提供了ARSENL的簡短背景和所追求的研究目標。

第2章討論了海軍陸戰隊和聯合出版物中描述的當前海軍陸戰隊后方作戰的理論。還概述了目前海軍陸戰隊內無人機的使用情況，并描述了目前各種系統所能達到的自主性水平。

第3章概述了以前自主系統基于行為的架構工作，ARSENL多車輛無人駕駛航空系統（UAS）和MASC層次結構。

第4章對基地防御戰術的整體設計以及高層戰術所依賴的游戲進行了基于狀態的描述。本章還詳細介紹了用于創建、測試和評估這一概念驗證的方法。在此過程中，重點是對每一戰術和戰術所針對的MOP和MOE進行評估。

第5章詳細介紹了所進行的實戰飛行和模擬實驗，并討論了與相關MOPs和MOEs有關的測試結果。

最后，第6章介紹了這個概念驗證的結論。本章還提供了與基地防御戰術本身以及更廣泛的自主蜂群能力和控制有關的未來工作建議。

美國缺乏一套專門的人工智能（AI）戰爭的理論。這導致了在戰爭的作戰層面上缺乏對人工智能影響的討論。人工智能的定義通常采用技術視角，不考慮對作戰藝術的影響。提議的作戰藝術的新要素 "抓手（Grip）"解釋了人工智能和人類在兩個方面的基本關系：自主性和角色交換。“抓手”為人工智能戰爭的理論奠定了基礎，除了揭示改變任務指揮理論的必要性外，還提出了作戰的假設。美國空軍陸戰隊的發展以及由此產生的戰爭作戰水平（和作戰藝術）在歷史上有類似的案例，說明關鍵假設如何影響戰場的可視化。去除“人在回路中”的人工智能戰爭的假設，揭示了需要一種新的作戰藝術元素來安排部隊的時間、空間和目的，此外，美國陸軍任務指揮理論需要調整，以使指揮官能夠在各種形式的控制之間移動。

簡介

“機器人和人工智能可以從根本上改變戰爭的性質......誰先到達那里，誰就能主宰戰場。”- 美國陸軍部長馬克-埃斯佩爾博士，2018年

預計人工智能（AI）將極大地改變21世紀的戰爭特征。人工智能的潛在應用只受到想象力和公共政策的限制。人工智能擁有縮短決策周期的潛力，超過了人類的理論極限。人工智能也有望執行人類、機器和混合編隊的指揮和控制功能。人工智能在自主武器系統（AWS）中的潛力同樣是無限的：分布式制造、蜂群和小型化的先進傳感器為未來的指揮官創造了大量的配置變化。與圍繞人工智能的技術、倫理和概念問題相關的無數問題，為如何將這項技術整合到戰爭的戰術層面上蒙上了陰影。現代軍隊幾個世紀以來一直在為正確整合進化（和革命）的技術進步而奮斗。美國內戰期間的鐵路技術對 "鐵路頭 "軍隊和格蘭特將軍在維克斯堡戰役中的勝利都有貢獻。25年后，法國人忽視了普魯士的鐵路試驗，給第三帝國帶來了危險，同時也沒能把握住小口徑步槍的優勢。卡爾-馮-克勞塞維茨在《論戰爭》中指出，每個時代都有自己的戰爭和先入為主的觀念。本專著將探討當前的先入為主的觀念和人工智能在戰爭的操作層面的出現。

對作戰層面的討論側重于作戰藝術，以及指揮官和他們的參謀人員如何通過整合目的、方式和手段，以及在時間、空間和目的上安排部隊來發展戰役。在作戰藝術中缺乏以人工智能為主題的討論，增加了不適當地部署裝備和以不充分的理論進行戰斗的風險；實質上是在邦聯的火車上與追兵作戰。美國的政策文件和技術路線圖主要集中在能力發展和道德影響上，而沒有描述一個有凝聚力的人工智能戰爭的理論。但美國和中國在自主行動方面的實驗趨于一致；這引起了沖突的可能性，其特點是越來越多的被授權的人工智能和AWS沒有得到實際理論框架的支持。這個問題導致了幾個問題。美國軍隊的人工智能戰爭理論是什么？大國競爭者的人工智能戰爭理論是什么？有哪些關于顛覆性技術的歷史案例？理論應該如何改變以解釋顛覆性技術？

本專著旨在回答上述問題。它還提出了兩個概念，以使指揮官能夠在戰場上可視化和運用人工智能；一個被暫時稱為 "抓手"的作戰藝術的新元素和一個任務指揮理論的延伸。該論點將分三個主要部分進行闡述。第一節（理論）將證明人工智能需要一個認知工具來在時間、空間和目的上安排部隊，方法是：綜合美國的人工智能戰爭理論，描述中國的人工智能戰爭理論，以及揭示當前文獻中的“抓手”理論。第二節（歷史）是對1973年為應對技術轉變而從主動防御演變而來的空地戰（ALB）的案例研究。第二節將重點討論戰場維度的思想、任務指揮理論的演變以及相關的作戰藝術的正式出現。第三節（新興理論）提出了作戰藝術的新要素，作為一種認知工具，幫助指揮官和參謀部將21世紀的戰場可視化。第三節將把以前的章節整合成一個有凝聚力的模型，讓指揮官和參謀部在時間、空間和目的方面可視化他們與AI和AWS的關系。第三節還將提供一個任務指揮理論的建議擴展，以說明人機互動的情況。

主要研究成果

人工智能的復雜性導致了正式的戰爭理論的缺乏；然而，在美國的政策和發展文件中存在著一個初步的美國人工智能戰爭理論。人工智能戰爭理論必須解釋人類和人工智能之間的關系，這樣才能完整。通過作戰藝術和任務指揮的視角來看待人工智能，揭示了自主性和角色互換的兩個頻譜，通過不同的組合創造了人工智能戰爭理論的維度。這些維度，或者說掌握的形式，代表了作戰藝術的一個新元素。同樣，需要將任務指揮理論擴展到一個過程-產出模型中，以實現掌握形式之間的移動。

方法論

綜合美國目前的人工智能政策和AWS的發展路線圖，提供了一幅戰略領導人如何看待人工智能的圖景，允許發展一個暫定的戰爭理論。由于缺乏關于武器化人工智能的歷史數據，政策和發展路線圖是必需的，因此本專著中提出的理論是由提煉出來的概念產生的。由于中國的工業和技術基礎的規模，中國被選為對抗模式，預計在10到15年內，中國將超越俄羅斯成為美國最大的戰略競爭對手。

圖文并茂的案例研究方法將被用來分析主動防御和空地戰之間的過渡。該案例研究將整合技術、政策和戰爭理論，以喚起人們對多域作戰（MDO）和人工智能在21世紀戰爭中作用的疑問。第二節的批判性分析側重于理論的發展，而不是其應用。第二節的詳細程度是有限制的，因為它仍然是一個更大（和有限）整體的一部分，因此重點應繼續揭示戰場可視化和認知輔助工具之間的聯系。第三節通過作戰藝術的新元素和任務指揮理論的調整來回答每一節中發現的問題，從而將前幾節連接起來。人工智能缺乏歷史，考慮到人們不能直接分析以前的沖突，以獲得教訓或原則。在這種情況下，任務指揮理論提供了一種間接的方法來理解使人類能夠集中式和分布式指揮和控制功能的機制，以及為什么人工智能缺乏相應的機制會抑制我們感知機會的能力。第三節將把美國現行政策和路線圖中的幾個抓手成分匯總到任務指揮理論提供的框架中。

范圍和限制

本專著存在于美國陸軍多域作戰概念的框架內，其理解是解決方案是聯合性質的，因為 "陸軍不能單獨解決問題，概念發展必須在整個聯合部隊中保持一致，清晰的語言很重要。"本專著不能被理解為對MDO中提出的問題的單一解決方案，而是一種幫助實現戰斗力聚合的方法。

關于人工智能的討論充滿了倫理、法律和道德方面的考慮，本專著不會涉及這些方面。本專論的假設是，人工智能的軍事用途在政治上仍然是可行的，而且 "戰略前提 "允許該技術的軍事應用走向成熟。由于運用的變化幾乎是無限的，人工智能的戰術實施將不會被詳細討論，而重點是在作戰層面上的概念整合。一般能力將被限制在與作戰藝術和作戰過程有關的具體趨勢上。

本報告描述了北約STO RTG IST-149無人地面系統和C2內互操作性能力概念演示器的研究和實驗工作。無人地面車輛（UGVs）在現代戰斗空間中正變得越來越重要。這些系統可以攜帶大量的傳感器套件，從前線提供前所未有的數據流。另一方面，這些系統在大多數情況下仍然需要遠程操作。重要的是要認識到，如果沒有適當的方式在聯盟伙伴之間交換信息和/或將其納入C2系統，ISR數據在很大程度上將是無用的。該小組的主要目的是找到改善這種情況的方法，更具體地說，調查從操作員控制單元（OCU）控制UGV和接收數據的可能標準，并在現實世界的場景中測試它們。

該項目的努力有兩個方面。比利時的貢獻是在歐盟項目ICARUS中所做的工作。這個項目涉及一個用于搜索和救援的輔助性無人駕駛空中、地面和海上車輛團隊。互操作性在幾個不同的實驗中得到了驗證。ICARUS聯盟由幾個國際合作伙伴組成，其中比利時是這個小組的鏈接。第二項工作是該小組的聯合努力，在小組內進行實驗，展示UGV和OCU之間的互操作性。該小組于2018年在挪威的Rena進行了最后的演示。

這兩項工作都使用了無人系統聯合架構（JAUS）和互操作性配置文件（IOP），以成功實現系統間的互操作性。試驗表明，有可能相當容易地擴展系統，并在相對較短的時間內實現與部分標準的兼容。弗勞恩霍夫FKIE和TARDEC都開發了軟件，將信息從IOP域傳遞到機器人操作系統（ROS），并從該系統中獲取信息。ROS是一個廣泛使用的軟件，用于開發UGV和其他類型機器人的自主性，并被該小組的許多合作伙伴所使用。Fraunhofer FKIE和TARDEC提供的軟件對試驗的成功至關重要。

報告還討論了如何在采購前利用IOP標準來定義系統的要求。該標準本身定義了一套屬性，可以在采購新系統時作為要求來指定，可以是強制性要求，也可以是選擇性要求。這使得采購部門更容易定義要求，供應商也更容易符合要求，同時也明確了OCU在連接到系統時，在控制系統和可視化系統中的數據方面需要具備哪些能力。

該小組2018年在挪威瑞納的試驗重點是對UGV進行遠程操作，以及接收UGV的位置和視頻反饋。由于這是一次成功的試驗，下一步將是使用更高層次的控制輸入和反饋來測試互操作性，例如，向UGVs發送航點，并根據系統的感知接收系統周圍環境的地圖。