低成本的無人駕駛飛行器（UAV）團隊已被接受為合作搜索和勘測地形的替代方案。這些無人飛行器由可靠性較低的單元組裝而成，因此可能出現單元故障。由于無人飛行器也是通信節點，因此因故障而失去無人飛行器會降低團隊的覆蓋效率并影響通信。Flying Ad Hoc Network（FANET）就是這種情況，一個通信節點的故障可能會隔離覆蓋多個節點的網絡段。

本研究的主要目標是開發一種彈性模型，使我們能夠分析單個無人機故障對團隊性能的影響，從而提高團隊的彈性。

所提出的解決方案使用基于智能體的建模與仿真技術對無人機團隊進行建模與仿真。無人機被建模為自主智能體，搜索到的地形被建模為二維 MxN 網格。通過智能體之間的通信，可以實時掌握所有單元格過境和占用的準確數據。通過這種通信，無人機智能體可以估算出在網格內移動的最佳選擇，并知道所有智能體訪問單元的確切次數。

每架無人機都被模擬為業余愛好者使用的固定翼飛機，配備一套通用執行器和一個通用控制器。單個無人飛行器的故障按照可靠性故障樹進行模擬。每個受影響的無人飛行器都會被禁用，并從有效單元庫中剔除。每次單元故障后，系統都會生成新的拓撲結構。它會為網格中的每個節點（無人飛行器）生成一組最小距離樹。因此，在節點故障后或節點移動導致拓撲結構發生變化時，新樹將根據需要描繪出重新排列的鏈接。該模型應生成各種參數，如受損節點的數量和位置、故障前后的性能，以及建立團隊恢復能力模型所需的估計恢復時間。

本研究涉及三個研究目標：為無人機場景建模確定適當的工具；開發一個用于評估無人機團隊恢復能力的模型，以克服以往研究的局限性；以及通過多次模擬對模型進行測試。由于以往的研究側重于系統通信中斷（即節點故障），而沒有考慮無人機單元的可靠性，因此本研究填補了這一文獻空白。隨著使用容易發生故障的低成本小型單元的普及，這種考慮變得至關重要。

地面戰斗單位應利用和加強機動作戰的作戰理念，將人機協作和人機結合概念化，以實現和利用更快的節奏、更多的機動選擇和對海軍陸戰隊的保護。

半人馬機動作戰的目的是探索海軍陸戰隊下一代地面作戰單元（GCE）如何利用人機協作（HM-C）和有人無人協同作戰（MUM-T）來實現機器人和自主系統的協同效益，從而提高海軍陸戰隊在戰場上的戰斗力。在古典希臘神話中，半人馬代表著 "一種擁有人的頭部、手臂和軀干，馬的身體和腿的生物"。與這種神話生物如何利用邊緣存在的好處類似，HM-C 和 MUM-T 反映了半人馬的各種表現形式。在這一構想中，新興的戰斗網絡通過利用自主性和狹義人工智能方面的商業進步，將人類的精華與機器的精華結合在一起，以實現相對于對手的比較優勢。由此產生的 "第五代地面作戰單元半人馬"（Centaurs for the Fifth-Generation Ground Combat Element）概念涉及海軍陸戰隊作戰概念中的軍種方向、海軍陸戰隊司令部提出的為 21 世紀重振機動作戰思維的任務，以及為 GCE 提供第五代能力的任務。探索這些方向的方法包括：對戰爭中的 "人馬 "進行文獻綜述；對 "UE CITY "行動進行歷史案例研究，以檢查 GCE 所特有的問題集；以及通過作戰決策游戲對最初的概念假設進行測試。這些工作為最終概念的形成提供了依據。

第五代地面作戰單元 "半人馬 "利用、加強并充當了重振機動作戰這一作戰理念的工具。最近的技術進步為取得相對優勢所提供的價值在于人機協同作戰，以提高人類作戰人員的效能，而不是取代他們。HM-C 加強了 GCE 創造時間優勢的能力，利用速度和時間作為武器。與作戰網絡連接的高性能計算、自主性和狹義人工智能有助于過濾大量數據中的噪音，以發現作戰環境中的相關線索、異常值和異常現象。這種機器輔助功能可幫助指揮官及其參謀人員確定敵方的方向，從而更快地做出與敵方或與作戰環境相關的競爭因素有關的正確決策。MUM-T 加強了全球指揮和控制中心創造空間優勢、利用敵方空隙和弱點的能力。無人系統可作為有人編隊的先頭部隊和側翼屏障，發現、固定和擾亂敵方編隊，而主力部隊則以速度、出其不意和集中果斷的行動來利用這些塑造行動。利用無人系統提供的戰術阻隔，可加強對配對有人編隊的保護。MUM-T 加強了 GCE 創造心理優勢的能力，將欺騙作為一種武器加以利用。多領域無人系統擴大了欺騙和誤導能力，以破壞敵方決策的速度和準確性。第五代地面作戰單元的 "半人馬 "并不會降低對陸戰隊空中地面特遣部隊（MAGTF）航空作戰單元或后勤作戰單元的需求或取代其價值。地面半人馬編隊是對 MAGTF 構建的補充，是聯合武器小組的擴展，旨在使敵方失去平衡，陷入無法取勝的困境。作為 "唯一能奪取和占領地形的 MAGTF 要素"，第五代地面作戰要素應成為發展 21 世紀 MAGTF 聯合武器小組屬性的主要工作方向。

美國海軍、工業界和其他服務項目正在迅速提供 MUM-T 的大部分使能技術。OPNAV N98 提供美國海軍空域 MUM-T 的計劃應執行三項工作：

• LOE 1：實現使能技術的成熟化、海軍化和集成化。
• LOE 2：解決關鍵的（非物資）DOTmLPF-P*問題。
• LOE 3：倡導實施屬于其他組織職責范圍內的MUM-T使能工作。

無人機（UAVs）在軍事領域的應用已經非常成熟，在現代戰爭中具有巨大優勢。使用無人機蜂群的概念已經討論了二十多年，但現在以色列國防兵力首次使用了真正意義上的無人機蜂群系統。無人機蜂群沒有確切的定義，但有人提出它應滿足以下三個要求。蜂群的人為控制應該是有限的，蜂群中的代理數量至少應該是三個，其合作執行共同的任務。控制多架自主無人機的復雜性帶來了如何利用作戰員的認知和戰術能力來控制蜂群以有效執行軍事偵察任務的問題。使用行為樹作為控制結構的方法源自之前在蜂群系統方面的研究。行為樹是一種組織自主系統行動并對其進行優先排序的結構化方法。行為樹類似于有限狀態機（FSM），具有模塊化、反應靈敏、可讀性強等優點。在游戲引擎 Unity 中創建并模擬了三種不同的行為樹，其復雜程度不斷增加。我們還創建了第四棵更為真實的行為樹，并以此為基礎討論了使用行為樹與之前工作的優缺點。使用行為樹作為創建蜂群的統一結構，將操作員的戰術能力與自主蜂群的力量整合在一起，似乎大有可為。我建議將所提出的使用行為樹的方法用作討論蜂群所需的功能的平臺，并為作戰員和工程師創建蜂群應如何運作的共同愿景。

圖 A.2. 用于邏輯模擬的第三行為樹和預期目標的圖形表示。

引言

無人駕駛飛行器的熱度空前高漲。歷史上，這些飛行器只能用于軍事領域，如今，它們在公共領域有了新的用途。隨著技術的不斷成熟和普及，無人機的應用范圍也在不斷擴大。"蜂群 "和 "蜂群機器人 "的概念并不新鮮，但直到現在，支持這一概念的技術還沒有出現。關于什么是機器人蜂群，目前還沒有確切的定義，但 R. Arnold 等人[1]提出，機器人蜂群需要滿足三個要求。一個蜂群應受到有限的人為控制，蜂群中的機器人數量至少應為三個，蜂群中的機器人應合作執行共同的任務。

支持無人機群的硬件已經具備，但如何控制無人機群還有許多問題有待解決。本碩士論文旨在研究如何利用操作員的認知和戰術能力來控制蜂群，從而有效地執行軍事偵察任務。這項工作著眼于如何將人類操作員與自主蜂群整合在一起，以及如何對如何做到這一點進行高層次的描述。

使用所謂的行為樹來控制蜂群的方法是一種有趣的方法，我們對此進行了研究，并創建了三個模擬來進行測試。此外，還對照以前的工作對行為樹方法進行了評估，以突出其優缺點。此外，還就如何在創建蜂群控制器時使用行為樹提出了建議。

本論文的第一章包括引言，介紹了該領域的前人工作，并進一步描述了問題。第二章和第三章介紹了行為樹和執行偵察任務背后的理論。第四章研究了使用行為樹控制無人機群的方法。第五章總結了這項工作，并介紹了可能有意義的未來工作。

ATP 3-01.81 規定了陸軍如何防止有威脅的無人機系統 (UAS) 影響陸軍行動。受威脅的無人機系統是現代戰場的一種狀況，每個梯隊的領導和士兵都必須對此負責。反無人機系統不是一項獨立的工作，也不是任何作戰職能或部門的唯一責任。反無人機系統（C-UAS）是地方安全和反偵察任務的一部分，是每個士兵和部隊的責任。反無人駕駛航空器系統不僅僅是在無人駕駛飛行器飛行時，而且還發生在 "發射后"，是情報部門進行威脅分析時預測分析的一部分，并被納入目標選擇過程。

每個梯隊都通過建立分層防御來提高士兵的生存能力。這種分層防御是主動和被動措施的結合，可防止威脅無人機系統探測、瞄準或摧毀其預定目標。在每個梯隊采取的每項行動都會增加威脅無人機系統的風險和飛行距離，使其更難完成任務。

敵人的無人機系統并不是一種獨特的威脅。士兵對抗無人機系統的行動與對抗敵方直升機或飛機等其他空中威脅的行動并無太大區別。雖然師級及以上級別有許多系統專門用于應對敵方空中威脅，但每個梯隊都致力于確保每名士兵，無論他們身處戰場何處，都有必要的信息和能力來探測、識別、決定并在必要時與任何空中威脅交戰。

ATP 3-01.81 包含三章和兩個附錄：

第 1 章概述了具有威脅的無人駕駛航空系統。

第 2 章介紹了旅及旅以下單位的 C-UAS 規劃注意事項。

第 3 章提供了部隊應采取的防御措施。

第 4 章為部隊提供進攻措施。

附錄 A 提供了可在駐地使用的 C-UAS 培訓資源。

附錄 B 介紹了當前的反無人機系統裝備。

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

• 自1993年以來，ISI一直從事國防領域的工作，并為陸上、空中和海上應用提供交鑰匙的高質量操作和培訓系統。

• 專門從事以下方面的規范、設計、開發、集成、安裝、測試和后續支持。

• 戰術數據鏈接（北約和美國，即鏈接11 A/B，鏈接16，IJMS，JREAP，ATDL-1，鏈接22）。

  • 國家和定制的戰術數據鏈路解決方案

  • 戰術數據鏈規劃和設計工具

  • 任務和戰術C2/C3系統

  • C2/C3系統的培訓、測試和模擬

  • 監視和偵查應用

• 開發過程和質量保證已通過ISO 9001:2008認證

• 按照符合美國防部MIL-STD-498和IEEE12207標準的程序開發和整合硬件和軟件。

• 系統基于最新的COTS組件，符合苛刻的軍事、工業和環境標準。

COGLE（COmmon Ground Learning and Explanation）是一個可解釋人工智能（XAI）系統，自主無人機向山區的野外部隊運送物資。任務風險隨地形、飛行決定和任務目標而變化。這些任務由人類加人工智能團隊參與，用戶決定兩架人工智能控制的無人機中哪一架更適合執行任務。這篇文章報告了該項目的技術方法和發現，并反思了復雜的組合問題對用戶、機器學習、用戶研究和XAI系統的使用環境所帶來的挑戰。COGLE創建了多種模式的解釋。敘述性的 "What"解釋比較了每架無人機在任務中的表現，以及基于使用反事實實驗確定無人機能力的 "Why"。可視化的 "Where"解釋突出了地圖上的風險，以幫助用戶解釋飛行計劃。研究的一個分支是研究這些解釋是否有助于用戶預測無人機的性能。在這個分支中，一個模型歸納的用戶研究顯示，決策后的解釋在教用戶自己確定哪架無人機更適合執行任務方面只有很小的作用。隨后的思考表明，用決策前的解釋來支持人類加人工智能的決策是一個更好的背景，可以從組合任務的解釋中受益。

引言

COGLE（COmmon Ground Learning and Explanation）是一個可解釋的人工智能（XAI）系統，用于自主無人機向山區的野戰部隊運送物資。COGLE中的任務是在一個模擬的世界中進行的，其中有山區和森林環境、水體和結構。圖1顯示了一個任務地圖和人工智能控制的無人機的飛行計劃。黃色的棒狀圖顯示了徒步旅行者的位置。彎曲的箭頭顯示了無人機的飛行計劃。地圖下面的時間線顯示了無人機沿其飛行計劃的高度。地圖上的符號表示物體。尖尖的符號是太高的山，無法飛過。曲線頂的符號是低矮和高大的山麓。綠色區域是草地。樹木形狀的符號代表森林。

最初，我們使用ArduPilot SITL1，它可以高保真地模擬低空飛行器的動作。ArduPilot的詳細模擬所需的計算資源被證明是不方便的，對于任務的戰略規劃來說是不必要的。低空飛行控制在商業自動駕駛飛機和業余無人機中被廣泛實施。為了專注于任務規劃，我們開發了一個精度較低的模擬模型（"ArduPilot Light"），在一個回合制的網格世界中，有五級高度和八個獨特方向。我們在ArduPilot SITL的API上模擬了ArduPilot Light的兼容編程接口（API）。圖2說明了COGLE的模擬網格世界的粗粒度，用于任務規劃。

圖 1 共同地面學習和解釋 (COgLE) 域中任務的示例地圖

圖 2 來自 COGLE 飛行學校的插圖展示了具有五個離散高度的模型以及當包裹從不同高度墜落時墜落區的擴大范圍

當無人機與處于同一高度或更高的障礙物飛得太近時，它們就會有墜毀的危險。如果無人機在森林、高山麓或水面上釋放其包裹，那么其包裹可能被損壞。包裹可能無法降落在河流、樹木或高山腳下。無人機飛得越高，其包裹在傘降過程中可能漂移得越遠。一個人工智能飛行員可能會在任務的開始、中間或結束時承擔風險。飛行員在任務中的早期決定會以微妙的方式與后來的決定產生互動。例如，在飛行計劃的早期，關于如何避開障礙物的選擇可能會導致在很晚的時候無法安全地接近選定的地點來投放包裹。

使用COGLE的早期版本，我們對用戶進行了自我解釋的研究，正如Gary Klein, Robert Hoffman, 和Shane Mueller等人所描述的。這樣的研究可以為參與者提供一個關于他們自己想要和使用的解釋種類的視角。用于無人機的人工智能飛行員是基于我們早期的深度強化學習者（RL）。他們在非常簡單的任務中表現出奇怪和次優的循環行為。研究參與者引用了無人機行為的觀察模式，指的是推斷的目標、效用和無人機的偏好。

在研究過程中，當被要求做出預測時，參與者經常的回答是 "我不知道"。研究參與者在自我解釋方面很有創意（"它怕水！"），但他們沒有可靠的依據來確定他們的解釋是否正確。事實證明，我們早期的人工智能控制的無人機的奇怪行為是由于他們有限的訓練造成的。

前沿作戰基地（FOB）防御是一項人力密集型任務，需要占用作戰任務的寶貴資源。雖然能力越來越強的無人駕駛飛行器（UAV）具備執行許多任務的能力，但目前的理論并沒有充分考慮將其納入。特別是，如果操作人員與飛行器的比例為一比一時，并沒有考慮提高無人機的自主性。本論文描述了使用先進機器人系統工程實驗室（ARSENL）蜂群系統開發和測試自主FOB防御能力。開發工作利用了基于任務的蜂群可組合性結構（MASC），以任務為中心、自上而下的方式開發復雜的蜂群行為。這種方法使我們能夠開發出一種基于理論的基地防御戰術，在這種戰術中，固定翼和四旋翼無人機的任意組合能夠自主分配并執行所有必要的FOB防御角色：周邊監視、關鍵區域搜索、接觸調查和威脅響應。該戰術在軟件模擬環境中進行了廣泛的測試，并在現場飛行演習中進行了演示。實驗結果將使用本研究過程中制定的有效性措施和性能措施進行討論。

第1章：導言

1.1 背景和動機

2019年，美國海軍陸戰隊司令大衛-H-伯杰將軍發布了他的規劃指南，作為塑造未來四年的部隊的一種方式。他在其中指出："我們今天做得很好，我們明天將需要做得更好，以保持我們的作戰優勢"[1]。這句話摘自海軍陸戰隊司令大衛-H-伯杰將軍的《2019年司令員規劃指南》（CPG），呼吁采取集中行動，以應對海軍陸戰隊在未來戰爭中預計將面臨的不斷變化的挑戰。在為海軍陸戰隊確定未來四年的優先事項和方向的CPG中的其他指導，呼吁建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人駕駛系統系列"[1]。伯杰將軍進一步呼吁利用新技術來支持遠征前沿基地作戰（EABO）。EABO將需要靈活的系統，既能進行有效的進攻行動，又能進行獨立和可持續的防御行動。簡而言之，實現EABO將需要最大限度地利用每個系統和海軍陸戰隊。

從本質上講，伯杰將軍正在呼吁改變無人駕駛飛行器的使用方式。通過使用大型的合作自主無人飛行器系統，或稱蜂群，將有助于實現這一目標。無人飛行器蜂群提供了在人力需求和后勤負擔增加最少的情況下成倍提高戰場能力的機會。正如伯杰將軍所提到的 "下一個戰場"，海軍陸戰隊將必須利用各種技術，最大限度地利用自主性和每個作戰人員在戰場上的影響。

目前的無人系統使用理論是以很少或沒有自主性的系統為中心。另外，目前的系統依賴于單個飛行器的遠程駕駛；也就是說，每輛飛行器有一個操作員。部隊中缺乏自主系統，這在監視和直接行動的作戰能力方面造成了差距。此外，側重于一對一操作員-飛行器管理的無人系統理論要求操作員的數量與車輛的數量成線性比例。這對于 "下一個戰場 "來說是不夠的。相反，海軍陸戰隊將需要能夠讓操作員擺脫束縛或提高他們同時控制多個飛行器的能力系統[2]。

考慮到這些目標，美國海軍研究生院（NPS）的先進機器人系統工程實驗室（ARSENL）已經開發并演示了一個用于控制大型、自主、多飛行器的系統，該系統利用了分布式計算的優勢，并將駕駛的認知要求降到最低。ARSENL在現場實驗中證明了其系統的功效，在該實驗中，50個自主無人駕駛飛行器（UAV）被成功發射，同時由一個操作員控制，并安全回收[3]。

1.2 研究目標

這項研究的主要目標是證明使用無人機蜂群來支持前沿作戰基地（FOB）的防御。特別是，這需要自主生成、分配和執行有效的、符合理論的基地防御所需的子任務。這部分研究的重點是開發基于狀態的監視、調查和威脅響應任務的描述；實施支持多飛行器任務分配的決策機制；以及任務執行期間的多飛行器控制。

輔助研究目標包括展示基于任務的蜂群可組合性結構（MASC）過程，以自上而下、以任務為中心的方式開發復雜的蜂群行為，探索自主蜂群控制和決策的分布式方法，以及實施一般的蜂群算法，并證明了對廣泛的潛在蜂群戰術有用。總的來說，這些目標是主要目標的一部分，是實現主要目標的手段。

1.3 方法論

基地防御戰術的制定始于對現有基地防御理論的審查。這一審查是確定該行為所要完成的基本任務和子任務的基礎。然后，我們審查了目前海軍陸戰隊使用無人機的理論，以確定這些系統在基地防御任務中的使用情況。

在確定了任務要求的特征后，我們為基地防御的整體任務制定了一個高層次的狀態圖。子任務級別的狀態圖等同于MASC層次結構中的角色。

ARSENL代碼庫中現有的算法和游戲以及在研究過程中開發的新算法和游戲被用來在ARSENL系統中實現子任務級的狀態圖。最后，根據高層次的狀態圖將這些游戲組合起來，完成基地防御戰術的實施。

在游戲和戰術開發之后，設計了基于理論的有效性措施（MOE）和性能措施（MOPs）。通過在循環軟件（SITL）模擬環境中的廣泛實驗，這些措施被用來評估基地防御戰術。在加利福尼亞州羅伯茨營進行的實戰飛行實驗中，也展示了該戰術和游戲。

1.4 結果

最終，本研究成功地實現了其主要目標，并展示了一種包含周邊監視、關鍵區域搜索、接觸調查和威脅響應的基地防御戰術。此外，開發工作在很大程度上依賴于MASC層次結構，以此來制定任務要求，并將這些要求分解成可在ARSENL蜂群系統上實施的可管理任務。這一戰術在實戰飛行和模擬環境中進行了測試，并使用以任務為中心的MOP和MOE進行了評估。最后的結果是令人滿意的，在本研究過程中開發的戰術被評估為有效的概念證明。

1.5 論文組織

本論文共分六章。第1章提供了這項研究的動機，描述了這個概念驗證所要彌補的能力差距，并提供了ARSENL的簡短背景和所追求的研究目標。

第2章討論了海軍陸戰隊和聯合出版物中描述的當前海軍陸戰隊后方作戰的理論。還概述了目前海軍陸戰隊內無人機的使用情況，并描述了目前各種系統所能達到的自主性水平。

第3章概述了以前自主系統基于行為的架構工作，ARSENL多車輛無人駕駛航空系統（UAS）和MASC層次結構。

第4章對基地防御戰術的整體設計以及高層戰術所依賴的游戲進行了基于狀態的描述。本章還詳細介紹了用于創建、測試和評估這一概念驗證的方法。在此過程中，重點是對每一戰術和戰術所針對的MOP和MOE進行評估。

第5章詳細介紹了所進行的實戰飛行和模擬實驗，并討論了與相關MOPs和MOEs有關的測試結果。

最后，第6章介紹了這個概念驗證的結論。本章還提供了與基地防御戰術本身以及更廣泛的自主蜂群能力和控制有關的未來工作建議。

為了支持未來的多域作戰分析，美國DEVCOM分析中心（DAC）正在探索如何在陸軍的作戰模擬中體現天基情報、監視和偵察（ISR）資產的貢獻。DAC正在使用基于能力的戰術分析庫和模擬框架（FRACTALS）作為方法開發的試驗基礎。用于預測衛星軌道路徑簡化一般擾動的4種算法已經被納入FRACTALS。本報告的重點是來自商業衛星群的圖像產品，其分辨率為1米或更低。報告介紹了預測分辨率與傳感器特性、傾斜范圍（包括地球曲率）和觀察角度的關系的方法。還討論了在不同分辨率下可以感知的例子。

在2021年建模與仿真（M&S）論壇期間，空間情報、監視和偵察（ISR）建模被確定為當前/近期的建模差距。美國陸軍作戰能力發展司令部（DEVCOM）分析中心（DAC）提交了一份陸軍M&S企業能力差距白皮書（Harclerode, 2021），描述了幫助填補這一差距的行動方案。陸軍建模和仿真辦公室已經資助DAC開發方法，以代表商業、國家和軍事空間和低地球軌道資產的性能及其對聯合作戰的影響，并在基于能力的戰術分析庫和模擬框架（FRACTALS）內進行測試實施。

FRACTALS是DAC開發的一個仿真框架，它提供了通用的結構 "構件"，用于模擬、仿真和評估ISR系統在戰術級任務和工作中的性能。FRACTALS作為DAC開發的各種ISR性能方法的測試平臺，將文件或數據被納入部隊的模擬中。FRACTALS還作為DAC的一個分析工具，在戰術環境中對ISR系統進行性能分析比較。

這項工作需要在一定程度上體現衛星飛行器（高度、軌跡和運動學）、傳感器有效載荷（光電[EO]、紅外、合成孔徑雷達和信號情報）、網絡、控制系統、地面站（時間線、通信、處理、利用和傳播）、終端用戶以及連接它們的過程和行為。本報告描述了DAC為支持這一工作所做的一些基礎工作，重點是可見光波段相機圖像。