該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

由于自主技術的出現，加上有人飛機的極度昂貴，美國國防部（DoD）對開發廉價的、可消耗的無人駕駛飛行器（UAVs）的興趣增加，以便在馬賽克戰爭中成為噴氣式戰斗機的自主僚機。就像一幅由小塊組成的馬賽克，戰場指揮官可以利用分解的能力，如有人-無人組隊（MUM-T），在有爭議的環境中作戰。在一個飛行員同時控制無人機和有人機的情況下，如果系統設計不利于穩定的工作量水平，那么飛行員管理所有系統可能是一個挑戰。

為了了解MUM-T對飛行員認知工作負荷的潛在影響，本文開發了一個改進的性能研究集成工具（IMPRINT）Pro飛行員工作負荷模型。該模型預測了飛行員在模擬環境中與駕駛艙和多個無人機互動時的認知工作負荷，以深入了解人機互動（HAI）和增加自主控制抽象性對飛行員的認知工作負荷和任務績效的影響。這項研究得出的結論是，在高通信負荷期間，飛行員的工作負荷會達到峰值，在空對空交戰期間，這種通信可能會降低或延遲。盡管如此，通過矢量引導、飛行員定向交戰和戰術戰斗管理的組合，對無人機的自主控制將使飛行員能夠成功地指揮多達3架無人機和自己的飛機對付4個敵方目標，同時在空對空任務場景中保持可接受的飛行員認知工作負荷。

許多研究實驗室和政府機構對開發機器人系統集群的興趣日益濃厚，這些系統有能力協調它們的行動，為執行一個共同的目標而集體工作。作為一個團體，機器人群可以執行簡單和復雜的任務，這是單個機器人無法做到的。蜂群中的每個機器人單元都可以被視為一個自主成員，根據內部規則和環境狀態做出反應。然而，正是機器人的這種自主決策能力（單獨或作為一個群體），引起了國際社會的關注。

2014年，各國政府在《聯合國特定常規武器公約》（CCW）的主持下，開始就致命性自主武器系統（LAWS）領域的新興技術進行國際討論。在這種情況下，對蜂群進行了討論--盡管是小范圍的。各個國家和民間社會行動者都對蜂群作為（致命的自主）武器進行部署表示關切。在2017年《特定常規武器公約》締約國會議期間，民間社會行為者發布了一個虛構的視頻，說明他們對蜂群的擴散以及惡意行為者可能利用蜂群對個人進行大規模致命攻擊的擔憂。

雖然不清楚各國是否也有這種擔憂，但各國至少認識到，在未來的情況下，進攻性措施不太可能由一個單一的系統組成。相反，它們將由具有互補能力的此類系統群組成。機器人群尚未投入使用，而且技術相當脆弱，但機器人群的前景是非常真實的。蜂群可用于情報、監視和偵察行動；周邊監視和保護；分布式攻擊；壓倒敵人的防空設施；部隊保護；欺騙；搜索和救援行動；反擊蜂群；以及枯燥、骯臟和危險的任務。因此，國際社會正在努力解決關于如何--如果有的話--在未來的沖突中負責任地、合法地和安全地使用機器人群的問題。

與機器人群和致命性自主武器系統有關的一個關鍵問題是圍繞著 "人機互動 "和 "人類控制 "等概念的含義和運行。正如主席在2016年《特定常規武器公約》專家會議的總結中所述，在未來的情況下，"如果致命性自主武器系統群作為武力倍增器發揮作用，如何對武力的使用保持有意義的人類控制將是不清楚的"。隨著《特定常規武器公約》致命性武器系統政府專家組進入關鍵的兩年，除其他活動外，它將審查和制定致命性武器系統領域新興技術的規范和操作框架的各個方面，了解這一領域的研究和發展方向至關重要。

本研究報告通過研究蜂群機器人技術對人機互動的影響來支持和指導這些審議工作。本報告對人類控制蜂群的各種方法進行了分析：（1）通過指令進行人機互動；（2）通過設計和使用特定的控制架構，將人機和機機互動結合起來；以及（3）通過設計和使用特定的蜂群內合作方法，實現機機互動。此外，它將人類控制的概念放在軍事決策的背景下，從而引入了一個指揮和控制的框架，在這個框架內可以進一步討論、分析和發展諸如人機互動和人類控制等概念。這項研究的結果與各種各樣的關鍵利益相關者有關，包括政策制定者、軍事組織、外交界、技術界、學術界、私營部門和民間社會組織。

現有的蜂群--在民用和軍用領域--要么正在開發，要么仍處于測試和演示階段。過去和正在進行的項目主要表明，蜂群能夠執行特定的（狹窄的）任務（形成形狀、編隊飛行、前往和搜索或繪制一個區域、在周邊巡邏、保護一個邊界）。因此，蜂群可以被認為是一種新興技術，因此，可以作為一個有用的案例來討論人類控制的方法。

在軍事背景下操作蜂群的主要挑戰涉及到設計和實施適當的人機和機機互動。研究人員和開發人員已經采取了許多方法將人的參與注入蜂群中。在蜂群的背景下，人的參與或控制通常是指指揮、控制或協調：

指揮：人類發出什么命令？(與人機關系有關。)雖然機器人群被期望在大多數情況下自主運作，但它們不會在真空中或沒有指令的情況下運作。機器人群最終在人類決策者的指導下運作。這些指令可能以各種形式出現，包括預編程的行為集或高級或低級的指令。

控制：哪些控制架構決定了蜂群內的任務分配？ 與機器-機器關系有關）在人類發出指令后，蜂群依靠算法進行編隊、監測、間隔、飛行路徑、任務分配、目標識別等。這些算法，或如它們也被稱為控制架構，決定了蜂群內的任務分配。例如，命令可以下達給作為中央控制器的一個機器人，但它們也可以下達給幾個小隊長或整個蜂群組合。

協調：蜂群如何執行這些任務？(與機器-機器的關系有關）在人類向蜂群（或蜂群中的特定單元）提供了命令，控制架構也確定了命令的分配方式后，蜂群必須協調其集體行為和分配的任務。蜂群如何行動這些分配的任務，部分取決于協調方法。例子包括領導者-追隨者（一個機器人單元是領導者，其他機器人作為追隨者），以及共識算法（單個機器人相互溝通，通過投票或基于拍賣的方法收斂于一個解決方案）。

目前缺乏研究調查人類如何有效地指揮、控制和協調蜂群，如何對蜂群進行有效和負責任的參與仍然是蜂群機器人技術的一個新興研究領域。關于人類控制致命性自主武器系統和蜂群的討論有許多相似之處。然而，由于兩個原因，蜂群可能使討論進一步復雜化。

首先，在致命性自主武器系統領域關于人機互動的辯論主要集中在人類操作員和一個（或至少是有限數量的）致命性自主武器系統之間的關系。當只有一個車輛（或有限數量的車輛）時，傳統的控制形式是可能的。然而，對于機器人群來說，直接控制單個機器人單元是不可能的，而且會適得其反。對于蜂群，有必要依靠算法來進行編隊、監測、間隔、飛行路徑、任務分配、目標識別等等。因此，為了使人類的參與保持有效，必須越來越多地轉移到蜂群整體上。

第二，除了人機互動，蜂群不可避免地要進行機-機互動。單個機器人與蜂群中的其他機器人互動以完成任務，在此過程中，可能出現集體行為。雖然本報告顯示，有不同的方法來設計指揮、控制架構和合作方法，以幫助減輕蜂群帶來的一些挑戰，但似乎沒有一般的方法來解釋個人規則和（期望的）群體行為之間的關系。有些人可能會爭辯說，蜂群中的機器-機器行為不可避免地意味著沒有人類控制。雖然在某些情況下這可能是真的，但這并不是蜂群技術的必然結果。

隨著國際社會在2020年和2021年繼續討論致命性自主武器系統，并將重點放在指導原則的進一步發展和運作上，人類決策的作用無疑仍將是核心問題之一。通過在審議人類控制和人機互動時利用蜂群等近期技術和相關的指揮和控制模式，國際社會可以著手對軍事實踐中如何行使或不行使控制權有一個更全面的了解--現在和未來的行動。

本報告結構

本研究報告的目的是支持目前關于致命性自主武器系統領域的新興技術和相關概念（如人機互動）的討論并為其提供信息。這項研究的結果與各種關鍵利益相關者有關，包括政策制定者、軍事組織、外交界、技術界、學術界、私營部門和民間社會組織。在此背景下，本報告研究了在蜂群機器人領域的指揮、控制和協調方法。

首先在第2章中闡述了包括蜂群在內的武器將被使用以及人類將行使控制權的背景。了解軍事決策中C2的這一背景框架與討論 "有意義的人類控制 "和 "人機互動 "等概念有關，這與致命性自主武器系統和蜂群有關。

第3章從技術角度介紹了蜂群的定義特征，而第4章解釋了在正在進行的蜂群研發中如何考慮和應用指揮、控制和協調。第5章介紹了不同類型的蜂群及其特征之間的權衡概念，其依據是一些技術屬性。

由于蜂群機器人技術仍然是一門相對年輕的學科，而且目前還沒有（軍事）蜂群投入使用，因此第6章闡述了潛在的軍事應用、蜂群投入使用的挑戰和脆弱性。第7章是本報告的結尾，提出了在目前政府專家組關于致命性自主武器系統討論的背景下，對未來發展的相關考慮。

隨著無人駕駛飛行器（UAVs），也被稱為無人機，變得容易獲得和負擔得起，這些設備的應用已經大大增加。其中一種應用是使用無人機飛越大面積區域并探測所需實體。例如，一群無人機可以探測海洋表面附近的海洋生物，并向用戶提供發現的動物的位置和類型。然而，即使無人機技術的成本降低，由于使用內置先進功能的定制硬件，這種應用的成本也很高。因此，本論文的重點是編制一個容易定制的、低成本的無人機設計，并配備必要的硬件，以實現自主行為、蜂群協調和機載物體探測能力。此外，本論文概述了必要的網絡結構，以處理無人機群的互連和帶寬要求。

無人機機載系統使用PixHawk 4飛行控制器來處理飛行機械，使用Raspberry Pi 4作為通用計算能力的配套計算機，并使用NVIDIA Jetson Nano開發套件來實時進行物體檢測。實施的網絡遵循802.11s標準，采用HWMP路由協議進行多跳通信。這種拓撲結構允許無人機通過網絡轉發數據包，大大擴展了蜂群的飛行范圍。我們的實驗表明，所選的硬件和實現的網絡可以在高達1000英尺的范圍內提供直接的點對點通信，通過信息轉發可以擴大范圍。該網絡還為帶寬密集型數據（如實時視頻流）提供了足夠的帶寬。預計飛行時間約為17分鐘，擬議的設計為中程空中監視應用提供了低成本的無人機群解決方案。

對蜂群機器人的研究已經產生了一個強大的蜂群行為庫，它們擅長確定的任務，如集群和區域搜索，其中許多有可能應用于廣泛的軍事問題。然而，為了成功地應用于作戰環境，蜂群必須足夠靈活，以實現廣泛的特定目標，并且可以由非專業人員配置和使用。這項研究探索了使用基于任務的蜂群可組合性結構（MASC）來開發特定任務的戰術，作為更普遍的、可重復使用的規則組合，供高級機器人系統工程實驗室（ARSENL）蜂群系統使用。開發了三種戰術，用于對一個地理區域進行自主搜索。這些戰術在現場飛行和虛擬環境實驗中進行了測試，并與預先存在的完成相同任務的單體行為實現進行了比較。對性能的衡量標準進行了定義和觀察，驗證了解決方案的有效性，并確認了組合在可重用性和快速開發日益復雜的行為方面所提供的優勢。

1.1 動機

美國軍方對無人駕駛飛行器（UAV）的研究和利用有很長的歷史，早在第二次世界大戰之前就有了。最近，"捕食者 "無人機的推出，首先作為偵察平臺，后來作為武裝戰斗成員，徹底改變了現代戰爭。使用 "捕食者 "型無人機的優勢很多，而且有據可查，但是這類系統并不能為每一類任務提供通用的解決方案。系統的可用性、便攜性、后勤和維護要求、人力專業化和道德問題只是限制無人機向各級作戰部隊傳播的部分因素。一些人認為，戰爭的下一次革命將來自于蜂群技術：大量低成本的自主系統采用合作行為和分散控制來實現任務目標[1]-[3]。

在過去的十年中，已經進行了大量的工作來擴展無人機群的行為、能力以及指揮和控制（C2）。海軍研究生院先進機器人系統工程實驗室（ARSENL）小組以前的研究推動了以任務為中心的C2方法的發展[4]，并通過分散的動態任務分配實現了蜂群自主[5]。然而，在描述高層行為和目標以及在機器人代理的強大分布式系統中實現這些目標方面，設計蜂群系統仍然存在獨特的挑戰。目前的行為實現往往是單一的，而有效的設計需要專家編程。這項研究探索了在一個面向任務的分層框架內組成原始蜂群行為的方法，以自主實現復雜的任務目標。在面向任務的框架內應用行為組合技術，可以促進簡化行為開發和重用，并有可能加速創建復雜的以任務為重點的蜂群行為，用于軍事應用。

1.1.1 蜂群案例

蜂群飛行器并沒有提供將完全取代目前無人駕駛航空系統（UAS）的好處和能力，但它們確實有可能吞并許多目前的能力。然而，更有趣的是，蜂群有可能迫使戰爭行為的技術轉變。在[1]中，Arquilla提出蜂群是一種建立在高度連接和機動能力的小型單位上的戰爭形式，這些小型單位可以快速分散和聚集在一起。Scharre[2]和Hurst[3]通過分析機器人群的屬性及其對現代戰場的潛在影響，闡述了群戰的概念。與目前的無人機系統相比，蜂群通過飛行器的異質性使自己與眾不同，這種異質性提供了單一無人機所不具備的廣泛能力。特別是，合作行為和分散控制所帶來的決策和執行速度，可能再加上人工智能（AI），使蜂群系統具有潛在的決定性作戰優勢。或者正如[2]中指出的，"擁有最智能的算法可能比擁有最好的硬件更重要"。

美國防部已經認識到蜂群技術的內在可能性，并將蜂群行為列為具有 "推動無人系統的巨大潛力 "的人工智能技術之一[6]。這種認識進一步體現在國防高級研究計劃局（DARPA）的項目中，如進攻型蜂群戰術（OFFSET）[7]。各軍種也在各自探索蜂群技術[8]，成功的概念驗證包括海軍研究辦公室（ONR）的低成本無人機蜂群技術（LOCUST）[9]，海軍航空系統司令部（NAVAIR）的Perdix系統[10]，以及NAVAIR對DARPA的CODE計劃的收購[11]。這些計劃不僅探討了自主協作系統的發展，而且還探討了與這些系統相關的C2和人機界面（HSI）要求。蜂群C2和HSI已被確定為建議研究的核心，以使該技術進入軍事應用范圍[2]、[6]、[8]。

1.1.2 蜂群特征

蜂群機器人的研究源于早期的元胞自動機領域的研究。元胞自動機通常可以被描述為一組細胞的數學模型，其中單個細胞的狀態由其鄰居的狀態隨時間變化的某些函數決定[12]。細胞本身的效用是有限的，但一組細胞可以有效地模擬自然和生物模式，而且一些細胞自動機已被證明能夠模擬任何計算機器[12]。

貝尼[13]的早期工作將自動機的概念應用于機器人學。他和Wang[14]的工作創造了"蜂群智能 "一詞，即 "非智能機器人系統表現出集體的智能行為，表現為在外部環境中不可預測地產生特定的有序物質模式的能力。" 該定義后來被完善，指出智能蜂群是 "一群能夠進行普遍物質計算的非智能機器人" [15]。這種蜂群智能的概念是蜂群的一個基本屬性。對于這項研究來說，這個概念可以簡化為：蜂群是一個無人機的集合，這些無人機單獨只能夠進行簡單的行為，但當它們聚集成一個集體系統時，能夠產生特定的額外和更復雜的行為。

確保蜂群中的集體行為產生最終的預期行為是蜂群工程的一個基礎概念[16]。蜂群行為通常依賴于涌現，被定義為由單個智能體構成集體行為，進而產生全系統行為[17]。雖然涌現是蜂群的一個理想和基本特征，但它并不容易預測。意外的涌現行為會表現出潛在的負面后果，降低對系統的信任度[16], [17]。涌現行為不僅在蜂群智能方面得到了廣泛的研究，而且在多Agent系統的背景下也得到了更廣泛的研究，包括經濟、物流和工程等廣泛的應用。因此，有大量的行為問題的涌現算法解決方案，已經成為該領域的基礎。直接適用于機器人群領域的是基于生物的行為集合，如成群結隊[18]，螞蟻和蜜蜂群優化[19]，以及粒子群優化[20]，[21]。在這些問題中的每一個，單個智能體，即本研究中的單個無人機，根據本地知識和對蜂群其他部分的有限知識決定自己的最佳行動。

分散控制和集體行為使關鍵蜂群屬性成為可能：適應性（靈活性）、穩健性和可擴展性[22]。適用于蜂群機器人和蜂群智能的這些屬性的精確定義在[22]-[24]中提供。一般來說，適應性是突發行為的結果，是蜂群在動態環境中實現一系列任務的能力。穩健性源于分散控制，即無論其他智能體是否失敗，單個蜂群智能體仍然可以做出適當的決定；也就是說，即使單個智能體失敗，蜂群仍然可以集體完成行為。可擴展性與此類似，即蜂群的規模應根據需要進行調整，以便在約束條件下完成特定目標。

1.1.3 機器人群

在過去的十年里，隨著低成本機器人和通信組件的普及，蜂群的實現已經取得了快速進展。像Kilobot[25]這樣的開源機器人很容易獲得，而像海軍研究生院（NPS）ARSENL的Zephyr II固定翼和Mosquito Hawk四旋翼無人機這樣更先進的平臺也很容易制造[26]。仿真環境，如Autonomous Robots Go Swarming（ARGoS）[27]、Open Robotics的Gazebo模擬器[28]和ArduPilot的軟件在環（SITL）環境[29]，可免費用于測試與物理系統相結合的行為，以加快開發速度。

物理機器人群的C2系統并不像模擬器那樣發達，而且很少有管理機器人群的總體框架。值得注意的框架包括用于無人機的Aerostack[30]和ARSENL的基于任務的蜂群可組合性結構（MASC）[4]框架。此外，C2要求與蜂群的HSI研究密切相關。鑒于蜂群的潛在規模和相對于人的認知能力而言的行為復雜性，蜂群對人類互動提出了獨特的挑戰[31]。由于集體行為的突發性質與軍事環境中固有的嚴格的操作控制結構相匹配，HSI對軍事應用具有特別的意義[32]。在進攻性機動中使用無人駕駛車輛已經引起了倫理方面的爭論，而蜂群的自主性質只會使這個問題更加復雜[33]。

1.1.4 技術現狀

目前對多機器人系統和多機器人任務分配（MRTA）的重要研究工作集中在實現機器人群中復雜行為的規劃和執行。多機器人系統通常依靠任務分配技術和高層規劃來確定實現整體蜂群目標所需的單個平臺行動。有任務的機器人可以利用蜂群智能和涌現來實現子任務目標，但也有可能采用更多慎重的方法。Khaldi[23]和Arnold等人[34]對多機器人系統和蜂群機器人技術進行了比較和分析，重點是蜂群智能的應用。

MRTA的進展通過考慮時間和任務優先級限制的綜合能力匹配，使越來越復雜的任務領域成為可能[35], [36]。例如，NPS的ARSENL小組以前的研究推動了分散的、基于市場的任務分配的發展[5],[37]，并在復雜的多域蜂群行動中成功地進行了演示[26]。ARSENL已經成功地采用大型蜂群來合作執行定義明確的復雜任務。對這些系統的有效控制仍然需要操作員的實時監督。

最近的論文如[38]將機器學習和人工智能技術應用于蜂群系統以實現行為發展。在這一領域的工作相對較少，實現先進的蜂群自治的目標，即通過 "提供指揮官的意圖，系統能夠從該指揮官的意圖中找出系統能夠做什么"[11]，仍然是相當遙遠的。

1.2 研究目標

這項研究的目的是實施和評估基于MASC的分層解決方案，將能夠自主搜索和調查任務的不同規則組合成更強大的戰術，在異質蜂群上執行。基于市場的任務分配被調整為向參與戰術的平臺分配行為角色。本論文假設，以這種方式組成的簡單行為可以實現與更多單一行為相媲美的性能特征，并且該方法廣泛適用于創建面向任務的一般戰術。這一目標為實現MASC的目標提供了一個步驟，即促進簡單行為的設計和重用，并為任務應用創建越來越有能力的戰術。

對所開發的解決方案進行分析，以驗證復合任務分配方法的使用，并為未來實施和研究異構多無人機群的性能和C2提供建議的基礎。特別是，本論文討論了以下研究問題。

• 使用組合行為的蜂群與使用單體行為的蜂群相比，其性能是否具有可比性？

• 在有效性和可用性方面，可組合行為比單體行為有哪些好處（如果有的話）？

• 哪些性能指標適合于比較行為的實現？

• 如何將建議的行為開發方法擴展到支持適用于任意任務的行為開發？

• 所開發的方法是否提供了所需的靈活性和接口，以納入更大的任務控制框架中？

這項研究的范圍僅限于利用原始的規則和算法來組成強大的戰術。它沒有探索或開發在單個平臺上執行行為的算法。

1.2.1 方法

開發了三個符合MASC戰術理念的蜂群行為，該戰術由[4]中描述的更原始的規則組成。這些戰術是作為現有ARSENL規則的組合來實現的。每個戰術都由一個搜索規則和一個調查規則組成，前者指導平臺參與協調的區域搜索，后者指導平臺協調調查一個或多個感興趣的聯系體。這兩種戰術都利用以前開發的拍賣算法進行任務分配[37]。戰術動態地將每個平臺分配到其中一個規則中，并且在任何給定的時間，只有被分配的規則被用來控制平臺。

該戰術是為使用由具有獨特特征的平臺組成的異質群而開發的，這些特征影響了它們執行搜索和調查行為的適宜性。該戰術利用基于市場的方法（即拍賣算法）來考慮單個平臺的能力，具體描述如下。

• SearchTacticStatic。一種戰術，在行為初始化時，搜索者和調查者的角色被靜態地分配給特定平臺。分配規定了搜索者的最低數量，并有效地按飛機類型優先分配（例如，更快的固定翼無人機被分配為搜索者）。

• SearchTacticDynamic。采用這種戰術，所有平臺開始時都是搜索角色，但隨著行為的進展，可以在搜索者和調查者角色之間動態切換。當遇到聯系人時，一個單項拍賣被用來重新分配角色。需要改變角色的車輛會推遲執行向新角色的轉換，直到當前分配的任務完成之后。

• SearchTacticImmediate。這個戰術實現了與SearchTacticDynamic戰術相同的分配方法；但是，搜索者和調查者角色之間的轉換會立即發生，而不是在當前分配的任務完成后發生。也就是說，如果平臺需要轉換角色，一個正在進行的搜索單元或調查任務將被中止。

1.3 論文組織

本論文分為五章。第一章討論了空中蜂群系統的現狀，它們與美國防部的相關性，以及這項研究的動機。第二章對相關的蜂群研究領域及其與本研究的關系進行了更詳細的討論。第三章描述了組成行為的實現，并將其與之前實現的單體行為進行了比較。第四章描述了所利用的實驗過程，并討論了所收集的數據，以提供實施的戰術性能和理論上的最佳性能之間的比較。最后，第五章提供了這項工作的結論和對該領域未來工作的建議。

這項研究是由本世紀以來自主系統的增加以及測試和評估其性能的挑戰性所驅動。對當前文獻的回顧顯示，提出了驗證自主系統的方法，但很少有實施。它暴露了當前驗證和確認方法中的一些差距，并提出了填補這些差距的目標。通過使用建模、軟件循環（SITL）和飛行測試，這項研究驗證了無人駕駛航空系統（UAS）的自主蜂群算法，并驗證了測試框架的一個典范。

在兩天的飛行測試中產生的13組三飛行器群數據提供了一個基線算法分析。在這些測試中，飛行器分離距離平均偏離理想狀態5.61米，分離距離違規率<6.39%。蜂群在最佳情況下實現了0.27米的平均偏差和0.43%的違規率。在5赫茲的更新率下，飛行器之間的平均數據包損失為4.94%，最佳通信滯后< 0.04秒。

通過定性和定量分析的搭配所創建的多方位經驗分析提供了對飛行器行為的完整理解。該分析還確定了算法和測試框架的各種改進領域。這項研究的結果形成了一個基線測試連續體，可用于對自主系統的正式驗證的各種后續調查。

在自然界和機器人學中，自主集群（蜂群）由具有有限動力和簡單規則的移動智能體組成，它們合作產生突發的大規模一致性行為。這種一致性是動態的，以自我組織的穩定和適應性時空模式的形式出現。這種機器人群動態的國防應用的例子包括自主雷達干擾、瞄準、跟蹤和監視。自主集群行為取決于許多因素，從通信強度到噪音、延遲、網絡拓撲結構，以及敵對智能體的存在--所有這些都可以用來控制和破壞蜂群的意圖。集群（蜂群）理論的一個核心和開放性問題涉及研究蜂群實現穩定的自組織行為的條件，以及外部和內部力量如何破壞蜂群動力學的穩定。這種力量可能來自通信拓撲結構的變化、吸引和排斥力以及多個相互作用的蜂群，其中一個蜂群可以改變另一個蜂群的行為。

在本報告中，我們考慮了三個主要議題，這些議題涉及突發自組織蜂群的開放問題。首先，我們通過研究其分叉結構，考慮在存在范圍相關的通信網絡的情況下，蜂群的穩定性如何作為系統參數的函數發生變化。然后，我們看了目前的蜂群模式的混合現實實驗來驗證以前的分叉分析。最后，我們展示了一個蜂群如何通過將兩個蜂群碰撞在一起而改變另一個蜂群的行為。

具有距離相關通信時延的大規模蜂群環面分叉

蜂群模型采用了全局耦合的蜂群，并明確放寬了固定延遲的假設，包括基于固定通信半徑的范圍相關延遲。我們表明，當包括與范圍有關的延遲時，就會引入新的頻率，并產生環形的分叉。其結果是一個蜂群，只取決于幾個參數。這里的結果對機器人蜂群很重要，其目標之一是在沒有外部控制的情況下，自主地產生所需的模式。這里預測的模式形成顯示了延遲的信息，無論是來自通信、行動還是兩者，都會影響蜂群狀態的穩定性，如環形和/或旋轉狀態。通過揭示模式不穩定的那些參數區域，我們提供了在存在與范圍有關的延遲的情況下自主可得的蜂群狀態的全面特征。

混合現實實驗中延遲引起的蜂群模式分叉

在這項工作中，我們通過提出一個混合現實的實驗框架來解決工程化蜂群系統的這些實驗挑戰，作為走向全面實驗驗證的第一個重要步驟。混合現實是在模擬和現實世界中同時使用虛擬機器人和真實機器人，它保留了物理機器人的關鍵特征，同時能夠擴展到更多數量的智能體，或更大的工作空間，而不受到資源的物理限制。混合現實帶來的好處包括：能夠與大量的機器人一起工作，并確保人類機器人互動的安全性。由于所需的機器人數量減少，使用混合現實技術的實驗成本較低，同時還能從幾個真實的機器人中引入現實世界的復雜動態。混合現實是向理論研究結果的全面實驗驗證邁出的重要第一步。此外，混合現實框架提供了對理論和改進實驗設計的額外見解的機會。

我們目前的研究使用混合現實作為進一步研究Szwaykowska等人提出的控制器的方式，并在實驗中繪制出物理參數方面的完整分叉圖。除了揭示蜂群動力學的分叉結構外，我們還將重點了解行為之間的轉換和增加防撞的影響。新的實驗使用兩個不同的感興趣的平臺：一個使用無人駕駛飛行器（UAV），另一個使用自主地面車輛（ASV），都在一個混合現實框架內。使用兩個不同的平臺有幾個優點。首先，它測試了不同平臺和巨大的不同時間尺度的延遲耦合群的普遍分叉結構。其次，它允許在實驗過程中安全地測試不同數量的機器人和約束。

碰撞蜂群——用一個蜂群控制另一個蜂群

由于自然蜂群的穩健性、可擴展性和集體解決問題的能力，許多研究都集中在設計和構建具有大量且不斷擴展的平臺以及虛擬和物理交互機制的移動機器人群上。這類系統的應用范圍包括探索、繪圖、資源分配和用于防御的群組。

由于近年來機器人系統的整體成本大幅下降，在現實世界中使用人工群已成為可能。這就引入了讓多個蜂群占據同一物理空間的可能性，從而導致相互之間的互動和對彼此動態的擾動。隨著這種蜂群之間相互作用的可能性增加，對多個蜂群如何碰撞和合并的理解變得很有必要。

盡管人們對具有物理啟發的、非線性相互作用的單個孤立蜂群的行為和穩定性有很多了解，但對多個這樣的蜂群的交叉動力學卻知之甚少，即使在一個蜂群是單個粒子的情況下，如捕食者-獵物模型中。最近的數值研究表明，當兩個蜂群發生碰撞時，所產生的動態通常表現為蜂群合并成一個單一的蜂群，作為一個統一的蜂群進行研磨，或散射成單獨的復合蜂群向不同方向移動。雖然很有趣，但需要對這些行為如何以及何時發生有更詳細的分析了解，特別是在設計機器人實驗和控制其結果時。

為了取得進展，我們考慮了一個在自推進力、摩擦力和成對相互作用力影響下運動的移動智能體的通用系統。在沒有相互作用的情況下，每個個體都傾向于一個固定的速度，這平衡了它的自推進力和摩擦力，但沒有首選方向。

結論

我們考慮了自主蜂群中的三個基本的開放性問題：在存在范圍相關的通信網絡的情況下，蜂群的穩定性如何作為系統參數的函數而變化。目前混合現實實驗的蜂群模式的動態，以驗證以前的分叉分析。最后，我們展示了一個蜂群如何通過兩個蜂群的碰撞來改變另一個蜂群的行為。

具體來說，我們考慮了一個具有延遲耦合通信網絡的蜂群的新模型，其中延遲被認為是與范圍有關的。也就是說，給定一個范圍半徑，如果兩個智能體在半徑之外，延遲就是開，否則就是零。其含義是，如果智能體彼此靠近，小的延遲并不重要。額外的范圍依賴性創造了一套新的分叉，這是以前沒有看到的。對于沒有延遲的一般蜂群，通常的狀態包括成群（平移）或環形/旋轉狀態，智能體以相位傳播。隨著固定延遲的增加，旋轉狀態分叉，所有的智能體都處于相位，一起旋轉。范圍依賴性引入了一個新的旋轉分叉狀態，表現為觀察到的新的混合狀態，結合了環形和旋轉狀態的動力學。半徑參數，被用來量化旋轉混合狀態的分叉。對于小半徑，我們看到整個蜂群的動力學顯示出集群的反旋轉行為，是周期性的。這與平均場描述中的小半徑值一致。隨著半徑的增加，混合的周期性狀態在整個模型中產生了新的頻率，這些頻率在平均場中表現為環形分叉。均值場分析是通過跟蹤以復數對形式穿過虛軸的Floquet乘數來完成的。頻率分析明確地顯示了均值場中的額外頻率。

最后，我們跟蹤了不同半徑值的耦合振幅和延遲的位置，定位了發生環形分叉的參數。結果顯示，隨著延遲半徑的增加，環形分叉在較低的耦合振幅和延遲值上發生。其含義是，如果包括延遲的范圍依賴性，比周期性運動更復雜的行為在理論和實驗中被觀察到的概率更大。

通過操縱通信延遲和耦合強度，我們采取了第一個重要步驟，利用混合現實測試不同的突發蜂群狀態。混合現實框架允許通過使用模擬來增加智能體的數量，同時保持關鍵的現實世界的相互作用，這是很難用物理平臺來建模的，從而對突發的蜂群行為進行研究。由于混合現實可以處理許多不同的抽象層次，我們能夠使用兩個不同的機器人平臺來驗證蜂群行為。我們選擇了行為所需的抽象水平，在我們的案例中，它集中于表現出簡單的動態和使用延遲信息的智能體，就像在現實世界中一樣。ASVs和UAV都測試了所有三種理論上預測的行為，以及預測的蜂群狀態之間的轉換。這強調了所提出的蜂群模型有可能適用于各種平臺，并強調了通信延遲對系統行為的影響。

有一系列的理論支持所提出的模型，所提出的結果是顯示理論有效的重要步驟，同時也證明了有一些感興趣的領域是理論所沒有捕捉到的。理解這個系統的多重穩定性在分析上是很困難的，但是通過使用模擬和混合現實，我們能夠觀察到多重穩定性，以及它在與真實車輛配對時對擬議的理論模型的影響。

這項工作的下一步包括調查增加更多的現實世界的假設如何改變預測的出現模式。例如，由于網絡的限制，我們的全局耦合的通信模型在所有真實的機器人中并不實用。下一步是研究基于范圍的通信的影響。雖然經常對同質智能體進行研究，但也可以考慮異質性的影響，這可能需要使用不同類型的防撞措施來說明不同的硬件限制。最后，存在不同的動態模型，其中可以添加延遲。這就提出了新的潛在模式，可以使用所述的分析形式進行研究。這些變化將繼續增加對我們當前模型的理解，以及對物理世界中這種類型的突發行為的使用。

最后，我們研究了具有非線性相互作用的兩個蜂群的碰撞，并特別側重于預測這種蜂群何時會結合成一個群體。與完整的散射圖不同的是，它取決于一組特定的初始條件是否屬于集群的高維吸引盆地（一般來說是一個困難的問題），我們集中于預測在近乎正面碰撞時維持一個集群所需的最小耦合。通過注意到最終形成碰撞群，最初是圍繞一個密度近似恒定的共同中心旋轉，我們能夠將臨界耦合的問題轉化為確定均值場近似的極限循環狀態的穩定性。我們的分叉分析與許多智能體的模擬結果一致。盡管我們的分析直接涉及到軟核內互動的蜂群，但只要智能體之間的非線性力有一個有限的范圍，基本方法可以很容易地擴展到更廣泛的模型。此外，提高我們分析的準確性的一個直接方法是超越均勻密度假設，用具有一般相互作用的蜂群狀態的精確穩態密度來取代它。除此之外，下一步的改進將是直接包括密度動力學，這可能為控制蜂群碰撞提供進一步的見解，包括在其他設置中，如蜂群。盡管如此，這項工作為理解和分析非線性蜂群碰撞邁出了重要的一步。

完全依靠自主系統的技術在推動海底領域的環境研究方面發揮了重要作用。無人潛水器（UUV），如美海軍研究生院的UUV研究平臺，在推進用于研究目的的自主系統的技術水平方面發揮了作用。使用自主系統進行研究正變得越來越流行，因為自主系統可以將人類從重復性的任務中解脫出來，并減少受傷的風險。此外，UUVs可以以相對較低的成本大量制造。此外，由于計算和電池技術的進步，UUVs可以在沒有人類干預的情況下承擔更多的擴展任務。

UUV的重要部分之一是控制系統。UUV控制系統的配置可能會根據車輛的有效載荷或環境因素（如鹽度）而改變。控制系統負責實現和保持在目標路徑上的穩定飛行。PID控制器在UUV上被廣泛實施，盡管其使用伴隨著調整控制器的巨大成本。由于兩個主要問題，陡峭的成本并不能提供穩健或智能解決方案的好處。

第一個問題是，PID控制器依賴于復雜的動態系統模型來控制UUV。動態系統模型有簡化的假設，使控制問題得到有效解決。當假設不成立時，PID控制器可以提供次優的控制，甚至會出現完全失去控制的情況。第二個問題是，PID控制器并不智能，不能自主學習。PID控制器需要多名工程師和其他人員花數天時間收集和分析數據來調整控制器。調整PID控制器是一項手動任務，會帶來人為錯誤的機會。

在使用深度強化學習方法進行自主車輛控制系統方面，有很多正在進行的研究，并且已經顯示出有希望的結果[1,2]。深度強化學習控制器已被證明優于執行路徑跟蹤任務的UUV的PID控制器[3]。此外，與PID控制器相比，基于深度強化學習的控制器已被證明能夠為無人駕駛飛行器（UAVs）提供卓越的姿態控制[4-5]。雖然這個例子不是專門針對UUV的，但這個來自空中領域的概念可以轉化到海底領域。

一些最流行的深度強化學習算法被用于自主車輛控制系統的開發，包括近似策略優化（PPO）[6]和深度確定策略梯度（DDPG）[7]算法。本研究將重點關注DDPG算法。DDPG算法是一種角色批判型的深度強化學習算法。Actor-Critic算法同時學習策略和價值函數。Actor-Critic算法的概念是：策略函數（演員）根據當前狀態決定系統的行動，而價值函數（批評家）則對行動進行批評。在深度強化學習中，政策和價值函數是由DNNs近似的，在本研究中具體是多層感知器（MLPs）。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

在利用降低精度來提高強化學習的計算效率方面，目前的研究很有限。[11]的作者展示了如何使用量化技術來提高深度強化學習的系統性能。文獻[12]的作者展示了一種具有6種方法的策略，以提高軟行為批評者（SAC）算法低精度訓練的數值穩定性。雖然正在進行的研究集中在基準強化學習問題上，但這一概念在科學應用上相對來說還沒有被開發出來，比如使用深度強化學習代理對UUV進行連續控制。

本研究將證明在混合精度和損失比例的情況下，訓練DDPG代理對UUV的連續控制不會影響控制系統的性能，同時在兩個方面使解決方案的計算效率更高。首先，我們將比較用固定和混合數值精度訓練的DDPG代理的性能與1自由度速度控制問題的PID控制器的性能。我們將研究用固定和混合精度訓練DDPG代理的訓練步驟時間。其次，本研究將研究DNN大小和批量大小的閾值，在此閾值下，用混合精度訓練DDPG代理的好處超過了計算成本。

本文的其余部分結構如下。問題表述部分將提供關于DDPG算法、NPSUUV動力學、PID控制和混合數值精度的簡要背景。實驗分析部分將描述本研究中運行的數值實驗的設置和結果。最后，在結論和未來工作部分將描述整體工作和未來計劃的工作。

現代綜合防空系統（IADS）所帶來的日益復雜的反介入區域拒止（A2AD）威脅，加上高端隱形平臺所提供的日益強大的優勢，促使美國空軍高級領導人投資于徹底改變2030年及以后的空中力量。這一新設想的一個突出因素是蜂群武器，其目的是通過用大量低成本、可損耗的航空資產來壓倒國際航空運輸系統，并通過自主能力來解決這一挑戰。這項研究提出了一個框架，按照三個獨立的維度對不同級別的自主能力進行分類，即單獨行動的能力、合作能力和適應能力。使用模擬、集成和建模高級框架（AFSIM）構建了一個虛擬作戰模型，模擬以有人駕駛的穿透式轟炸機和自主巡航導彈群為特征的友軍空襲包與以A2AD角色行動的敵軍IADS之間的交戰。通過使用自主性框架作為設計實驗的基礎，評估了不同水平的自主性對攻擊包性能的影響。對實驗結果的分析揭示了哪些方面和什么級別的自主性對促進這一模擬場景的生存能力和殺傷力最有影響。

1. 引言

1.1 動機和背景

戰爭的技術性質正在迅速發展，人們越來越重視對大量數據的收集、處理和決策。隨著指揮與控制（C2）決策空間的復雜性增加，指揮系統根據現有信息采取行動的速度越來越成為一個限制性因素。具有不同程度的人與系統互動的自主系統為緩解這一不足提供了機會。美國2018年國防戰略（NDS）[18]明確要求國防部（DoD）"廣泛投資于自主性的軍事應用"，作為促進大國競爭優勢的一項關鍵能力。

參與大國競爭的一個自然后果是反介入區域拒止（A2AD）環境在聯合沖突的所有方面擴散。從美國空軍（USAF）的角度來看，現代綜合防空系統（IADS）構成了卓越的A2AD威脅，這嚴重抑制了通過常規手段建立空中優勢的前景[2, 20]。這一挑戰促使部隊結構的優先事項發生了變化，因為將能力集中在相對較少的高端系統中的感知風險越來越大。美國空軍科學和技術戰略[26]設想，數量龐大的低成本、易受攻擊的航空資產將很快發揮曾經由數量有限的高價值資產完成的作用。這種大規模的蜂群的任務規劃和空戰管理（ABM）工作的規模可能很快超過人類的認知能力，這使得它成為非常適合自主性研究和開發的應用領域。

1.2 問題陳述

本研究試圖評估幾種自主巡航導彈群的行為對A2AD環境中藍方（友方）空中性能的影響。具體來說，所研究的A2AD場景考慮了紅方（對手）的IADS被藍方聯網的自主巡航導彈群吸引，以促進穿透式轟炸機的后續打擊。在任務規劃時沒有考慮到的突然出現的威脅，可能會進入該場景以增加紅色IADS的力量。蜂群必須在沒有外部反彈道導彈的幫助下，檢測并應對這些突發威脅以及任何其他對抗性任務參數的變化。A2AD場景的建模是使用模擬、集成和建模高級框架（AFSIM）完成的。

1.3 研究問題

為了解決問題陳述，本研究將對以下問題提供答案：

1.具有自主反彈道導彈能力的巡航導彈蜂群能在多大程度上提高藍方空襲包在A2AD環境下的生存能力（即避免被紅方IADS發現和摧毀的能力）？

2.具有自主反彈道導彈能力的巡航導彈群能在多大程度上提高A2AD環境下藍方空襲包的殺傷力（即探測和摧毀紅方IADS元素的能力）？

1.4 論文的組織

本論文的其余部分包含四章，組織如下：第二章對包括自主性、A2AD環境、基于代理的建模和仿真（ABMS）以及實驗設計（DOE）等主題的參考材料進行了回顧。第三章建立了A2AD場景、AFSIM模型實現和實驗設計的結構，作為本研究的框架。第四章介紹了實驗模擬運行的結果和附帶的分析。最后，第五章討論了從這項研究中得出的結論，以及對未來研究方向的建議。

在可視范圍內執行空戰，需要飛行員在接近1馬赫的飛行速度下，每秒鐘做出許多相互關聯的決定。戰斗機飛行員在訓練中花費數年時間學習戰術，以便在這些交戰中取得成功。然而，他們決策的速度和質量受到人類生物學的限制。自主無人駕駛戰斗飛行器（AUCAVs）的出現利用了這一限制，改變了空戰的基本原理。然而，最近的研究集中在一對一的交戰上，忽略了空戰的一個基本規則--永遠不要單獨飛行。我們制定了第一個廣義的空戰機動問題（ACMP），稱為MvN ACMP，其中M個友軍AUCAVs與N個敵軍AUCAVs交戰，開發一個馬爾可夫決策過程（MDP）模型來控制M個藍軍AUCAVs的團隊。該MDP模型利用一個5自由度的飛機狀態轉換模型，并制定了一個定向能量武器能力。狀態空間的連續和高維性質阻止了使用經典的動態規劃解決方法來確定最佳策略。相反，采用了近似動態規劃（ADP）方法，其中實施了一個近似策略迭代算法，以獲得相對于高性能基準策略的高質量近似策略。ADP算法利用多層神經網絡作為價值函數的近似回歸機制。構建了一對一和二對一的場景，以測試AUCAV是否能夠超越并摧毀一個優勢的敵方AUCAV。在進攻性、防御性和中立性開始時對性能進行評估，從而得出六個問題實例。在六個問題實例中的四個中，ADP策略的表現優于位置-能量基準策略。結果顯示，ADP方法模仿了某些基本的戰斗機機動和分段戰術。