作為瑞典戰斗機工業薩博航空項目的一部分，進行了這項研究。戰斗機飛行員在敵區空域和空戰的復雜環境中冒險時承受著巨大的壓力。人機交互（HMI）是飛行員和飛機的共同點，它能使任務取得成功，但也有其局限性。自適應人機交互（AHMI）是一種經過改進的人機交互，可以在飛行員所處的環境中為其提供幫助。自適應人機交互有許多任務，但它的優勢在于能夠適應不同的情況，并為飛行員的健康提供幫助。這可以通過信息的適當可視化來實現，也可以通過較少任務的自動化來實現。任務的成功取決于生理參數，如心理工作量和態勢感知，以達到最佳的操作性能。在這篇論文中，我們深入探討了 AHMI 的重要性以及制作和演示 AHMI 所需的要求。將要求映射到模擬器上是推進人工生命監測儀開發的一個重要方面。為了進一步了解該領域并回答研究問題，我們進行了文獻綜述和訪談。受訪者一致認為，映射需求的正確方法取決于需要研究的內容。是圖形組件、原理、功能還是場景？通過文獻對比和訪談主題分析，我們發現需求映射取決于要調查的內容。此外，AHMI 被認為是試點的有效支持系統，自主性在一定程度上是有效的。但是，當自主控制權過大時，飛行員就會失去對態勢的感知能力，從而導致性能下降。在該項目中，受訪者一致認為 AHMI 是推進戰斗機駕駛艙發展的必由之路。

自第二次世界大戰以來，人控機械一直在根據人類的直覺進行改造，并對飛機的人機交互進行了真正的實際試錯（Sears & Jacko, 2016）。在討論操縱作戰飛機的復雜性時，有幾個方面需要加以考慮。無論是在預期情況下，還是在意外情況下，飛行員都承受著巨大的精神和身體壓力。要使飛行員能夠做出最佳決策，從而獲得最佳性能，一種簡便易行的方法就是自適應人機交互（AHMI）。該交互位于駕駛艙內，可提高人與飛機之間的溝通效率和效果。它的設計能夠適應用戶的需求和偏好，使人機交互更加直觀和高效。

飛行員與飛機之間的良好互動現在是、將來也會是在執行任務或使命期間保持最高安全水平的同時實現最高效運行性能的基本支柱（Haider，2022 年）。為提高人機交互的整體適應性而進行的進一步開發具有巨大潛力，可提高飛行員的性能，從而有助于任務期間的安全和效率（Lim 等人，2018 年）。隨著任務的復雜性越來越高，對飛行員的要求也越來越高。因此，設計一個可用且直觀的人機交互（HMI）來傳遞飛行員與機組人員之間的信息以及飛行員與飛機本身之間的信息就顯得尤為重要（Haider，2022 年）。盡管開發出了更先進、更自主的駕駛艙，但事故分析表明，人為錯誤率始終保持在 65%。根據對人為失誤的不同看法，甚至可以說維修人員對飛機進行的錯誤維修也可以算作人為失誤。這就改變了飛行區域內的人為錯誤率，使其達到約 80-90%（蘭德公司，1993 年）。

AHMI 一直是一條顯著而有前途的發展道路。許多財團認為，AHMI 是駕駛艙發展的必由之路。AHMI 可以有不同的外觀和行為，因為對它的解釋方式不同，而且在不同領域也有不同程度的可行性。對于戰斗機來說，它需要直觀并適合使用它的飛行員，以便通過將飛行員和系統更緊密地聯系在一起，盡可能高效地使用系統。另一方面，工業數控機床不需要像駕駛艙那樣快速易用，因為在使用工業機器時，駕駛艙并不那么關鍵或處于復雜的環境中（Haider，2022 年）。

Bradshaw & Boy（2006 年）認為，從人類可靠性的角度來看，設計和使用基于工具或組織的動力有幾個原因。其理念是，軟件和硬件的開發都是為了克服人類的不可靠性，并提供抵抗和容忍人類錯誤的可能性。此外，自動化的使用應與試點工作相輔相成（Bradshaw & Boy, 2006）。這一理念還源于人類飛行員比自動化突擊隊員更有能力做出正確的決定并確定任務訂單鏈的優先次序。如果沒有這種想法，那么就不需要人類飛行員，系統的表現甚至可以與人類飛行員不相上下。

在人工智能概念中，有三個關鍵要素非常突出。它們是：（1）評估系統所處環境狀態的能力；（2）評估駕駛員狀態的能力；（3）人機交互與前兩個要素相關的適應性（Lim 等人，2018 年）。

為了在模擬器中測試、開發和展示 AHMI，那么需求是確定模擬器應確定的內容的可行方法（Davis，2005 年）。在這種情況下，模擬器應被稱為演示器，因為除了上述測試和開發之外，它還展示了模擬的一個特定方面（Moultrie，2015）。

1.1 背景

本論文是瑞典戰斗機工業薩博航空研究的一部分，其目的是為未來戰斗機系統的自適應人機交互提出新概念并進行評估。為此，將使用一個測試環境。本論文旨在以理論為基礎，協助開發這樣一個環境。

1.2 目標與宗旨

本研究的目的是分析文獻中有關 AHMI 和需求工程等方面的理論信息。稍后將進行訪談。這項研究將通過科學家、試飛員和項目中其他人員提供的信息，為需求提供依據。這樣做是為了進行專題分析，我們將在專題中找到感興趣的關鍵點。根據專題分析的結果，我們將把自動人機交互的概念化和需求放在一個示范環境中，在這個環境中可以測試和評估新穎的自動人機交互概念。

1.3 研究問題

本論文將回答以下研究問題：

1.從多行為體的角度出發，可以對演示器提出哪些要求？

2.專家們是否認為人工智能對試點有益，需要克服哪些障礙？

3.在自適應人機交互的自動化方面，不同專家認為哪些因素更為重要？他們為什么這樣認為？

4.飛行員和工程師對演示器提供的結果的期望是否存在差異？

多無人機協同升降系統使用多個無人機共同升降和運輸有效載荷。從可擴展性和便攜性的角度來看，這些系統有可能大大降低空中運輸任務的物流成本。與傳統的單機物流模式不同，通過在多架廉價飛機之間分配起升能力，可以有針對性地運送大量有效載荷。為了以高度自主的方式完成大跨度的任務，合作飛機必須能夠在多個點可靠地與單一有效載荷對接，并在系統參數未知的情況下，以可變幾何配置的方式在飛行途中穩健地穩定下來。本論文提出了一種新穎的自適應飛行控制框架，該框架使用擴展卡爾曼濾波器在控制分配方案中更新相關系統參數。此外，這項研究還對之前開發的模塊化對接系統進行了擴展，該系統支持在不同的復合系統幾何結構中進行自組裝，考慮了多智能體操作，并通過模擬交易研究優化了設計參數。論文介紹了高保真模型和模擬，利用多體反饋線性化約束穩定和基于約束的脈沖接觸模型等技術，以驗證控制策略，并在復雜動力學條件下優化設計。本論文還介紹了無人飛行器合作飛行控制和參數估計的實驗結果。

軍事行動需要具備對復雜的大城市環境進行態勢了解的能力。這通常是在情報、監視和偵察（ISR）任務中制定的。這些任務類型發生在戰斗的不同階段，包括戰斗行動和穩定與支持行動（SASO）。自主移動機器人小組可在已知的動態城市環境中執行巡邏和偵察任務，為士兵提供支持。

本文旨在開發一個名為 "風險地圖 "的概率框架。自主機器人將使用 "風險地圖 "規劃其行動，"風險地圖 "顯示了一個與戰術相關的位置，在該位置的暴露或環境可能使攻擊造成最大傷害（例如，可能的簡易爆炸裝置或狙擊手位置）。

“風險地圖”以決策過程為基礎，針對適應性對手事件分配機器人巡邏。這些技術將利用時間演化來防止對手不可避免地適應這些策略，因為這可能會使這些策略的效果大打折扣。

使用多機器人協調方法進行分散、信息量大且自適應的采樣應用不會出現單點故障。它允許隨時預測，任何機器人在任何時間點都能獲得環境的合理模型。此外，它還能將所需的通信量保持在最低水平。此外，適當的地理信息系統（GIS）技術為軍事指揮官提供了快速整合數據集、評估條件、規劃戰略和評估選項的手段。

圖：UGV和無人機之間的交互作用，進行源搜索和目視目標識別。

未來，人類將與人工智能系統密切合作。智能系統將成為團隊成員，并將起到擴展單個單元的覆蓋范圍和能力的作用，從而實現前所未有的能力。

自主機器人的智能探索和強大的協作監控將成為城市行動的關鍵，使其能夠預防未來的脆弱性和威脅風險。本論文探討了環境的先驗知識和類似場景中的行動歷史如何預測和預防未來的攻擊。在這篇論文中，我們提出了一個概率框架，在這個框架中，可以將一套領域專家規則與空間和語義知識結合起來，使自主智能體能夠收集信息。然后，自主智能體可以利用這個不斷演化的框架，針對不斷變化的信息環境規劃最佳行動，從而以最佳方式完成任務。我們的方法擴展了[Pit+08; ZST15]中描述的技術，用于本論文中介紹的 MAST/ARL 導航模塊所使用的基于信息的探索框架。Pita 等人創建了系統架構： ARMOR。該系統提供的月歷滿足了洛杉磯國際機場官員對檢查站和警犬在洛杉磯國際機場部署的所有關鍵要求。

多機器人團隊為部隊提供支持的一大挑戰是了解環境是如何動態變化的，以便為車隊選擇最明顯或最便捷路線的區域提供安全保障。為了應對這一挑戰，利用有關特定地點的地理信息系統數據和活動日志很有意義。實現這一目標的一種方法是使用基于信息的地圖（風險地圖），該地圖由一組模塊化組件組成，在評估風險的先驗概率時，這些組件代表了敵方戰略知識。此外，風險地圖還有一個時間組件，可逐漸回到先前的地圖狀態，代表戰爭迷霧。

我們考慮的現實場景是，由不同能力的機器人組成的團隊探索未知環境，每個機器人獲取并計算自己的地圖，并與團隊其他成員交換這些信息，同時考慮到通信限制，即機器人只能在特定距離內通信，信息量的交換受帶寬限制。此外，每個機器人都能從探索任務切換到尋找任務源，并能在需要時提供或請求援助。

論點陳述

利用自適應信息采樣的多機器人探索和導航協調策略，使機器人平臺能夠在未知環境中自主執行情報、監視和偵察（ISR）任務，從而防止未來的脆弱性和威脅風險。

貢獻

• 完整的分布式多機器人 SLAM 解決方案，可執行基于特征、基于目標以及基于姿態的圖形 SLAM，并具有概率數據關聯和閉環功能。
• 一種分布式算法，可根據相對姿態測量結果估算多個合作機器人或移動設備的 3D 軌跡。
• 提供高低威脅級別信息的系統框架，該信息將用作運動編隊和巡邏的行動計劃。
• 異構多機器人自適應信息采樣的新型協調策略，具有分散性和魯棒性。

本論文的所有貢獻都通過使用模擬和真實數據的實驗結果得到了驗證。

圖：模擬地圖，用于在舞臺模擬器內的各類環境中測試協調策略。機器人在其初始起始區域顯示為一排紅點，該區域代表一個突破口。導航關鍵點用紅色 "X "標記表示。

低成本的無人駕駛飛行器（UAV）編隊已被接受為合作搜索和勘測地形的替代方案。這些無人飛行器由可靠性較低的單元組裝而成，因此可能出現單元故障。由于無人飛行器也是通信節點，因此因故障而失去無人飛行器會降低編隊的覆蓋效率并影響通信。飛行 Ad Hoc 網絡（FANET）就屬于這種情況，一個通信節點的故障可能會使覆蓋多個節點的網絡部分被隔離。

本研究的主要目標是開發一種彈性模型，使我們能夠分析單個無人機故障對編隊性能的影響，從而提高編隊的彈性。

所提出的解決方案使用基于智能體的建模與仿真技術對無人機編隊進行建模與仿真。無人機被建模為自主智能體，搜索到的地形被建模為二維 MxN 網格。通過智能體之間的通信，可以實時掌握所有單元格過境和占用的準確數據。通過這種通信，無人駕駛飛行器智能體可以估算出在網格內移動的最佳選擇，并知道所有智能體訪問單元格的確切次數。

每架無人機都被模擬為業余愛好者使用的固定翼飛機，配備一套通用執行器和一個通用控制器。單個無人飛行器的故障按照可靠性故障樹進行模擬。每個受影響的無人飛行器都會被禁用，并從有效單元庫中剔除。每次單元故障后，系統都會生成新的拓撲結構。它會為網格中的每個節點（無人飛行器）生成一組最小距離樹。因此，在節點故障后，或在網格發生變化時，新樹將根據需要描繪出重新排列的鏈接。 節點移動導致拓撲結構發生變化。該模型應生成各種參數，如受損節點的數量和位置、故障前后的性能，以及建立編隊恢復能力模型所需的估計恢復時間。本研究涉及三個研究目標：為無人機場景建模確定適當的工具；開發一個用于評估無人機編隊恢復能力的模型，以克服以往研究的局限性；以及通過多次模擬對模型進行測試。

由于以往的研究側重于系統通信中斷（即節點故障），而沒有考慮無人機單元的可靠性，因此本研究填補了這一文獻空白。隨著使用容易發生故障的低成本小型單元的普及，這種考慮變得至關重要。

在許多淺水和沿海水域應用中，視覺制導水下機器人與人類潛水員一起執行合作勘探、檢查和監測任務。這類陪伴機器人最基本的能力是在水下任務的各個階段以視覺解讀周圍環境并協助潛水員。盡管近年來技術不斷進步，但現有的實時視覺感知系統和解決方案在很大程度上受到能見度低、光照變化和突出特征稀少等海洋因素的影響。而水下光傳播的脆弱性（如與波長相關的衰減、吸收和散射）所導致的一系列非線性圖像失真又加劇了這些困難。在本論文中，我們提出了一套新穎的改進型視覺感知解決方案，以應對這些挑戰，從而實現有效的水下人機合作。研究成果包括底層視覺和基于學習的算法的新穎設計和高效實施，以及廣泛的現場實驗驗證和單板部署的實時可行性分析。

論文分為三個部分。第一部分側重于為自動潛航器（AUV）開發實用的解決方案，以便在執行水下任務期間陪伴人類潛水員。其中包括基于視覺的強大模塊，使自動潛航器能夠理解人類的游泳動作、手勢和身體姿勢，以便在保持平穩的時空協調的同時跟隨人類并與之互動。一系列封閉水域和開放水域現場實驗證明了我們提出的感知算法在水下人機合作中的實用性和有效性。我們還確定并量化了這些算法在不利視覺條件下不同操作約束條件下的性能變化。論文的第二部分致力于設計高效的技術，通過恢復水下圖像的感知和統計質量來克服能見度低和光學失真的影響。我們進一步證明了這些技術作為視覺導航自動潛航器自主流水線預處理器的實際可行性。最后，本論文的第三部分開發了高層次決策方法，如為快速視覺搜索建立空間注意力模型，學習識別何時需要圖像增強和超分辨率模塊來實現詳細感知等。我們證明，這些方法可將機載視覺感知模塊的處理速度提高 45%，使自動潛航器能夠做出智能導航和操作決策，尤其是在自主探索任務中。

總之，本論文描述了我們為解決水下人機合作實時機器視覺所面臨的環境和操作挑戰而進行的嘗試。針對各種重要應用，我們開發了穩健、高效的模塊，讓自動潛航器在僅依靠嘈雜的視覺傳感的情況下，通過準確感知周圍環境來跟隨同伴潛水員并與之互動。此外，我們提出的感知解決方案能讓視覺引導機器人在嘈雜條件下看得更清楚，并在有限的計算資源和實時限制條件下做得更好。除了推動最先進技術的發展之外，我們提出的方法和系統還讓我們朝著縮小理論與實踐之間的差距、改善野外人機合作的方向邁進了一步。

無人機（UAVs）在軍事和民用領域發揮著至關重要的作用。本論文的研究有助于智能控制系統（ICS）領域，特別是實現旋轉翼無人飛行器（RUAV）可靠、便捷的自主控制。特別是，本論文解決了如何適應未建模動態和干擾（如在空中改變有效載荷）的難題。

無人機可以攜帶額外的重量，如傳感器、貨物，甚至被稱為有效載荷的懸掛物。已經開發了許多策略來穩定不斷變化的有效載荷，但這些策略都假定有效載荷是剛性的，重心（CoG）是靜態和已知的。有效載荷質量及其類型在飛行過程中的變化會極大地影響無人機的動態性能，這就要求控制器進行調整，以保持令人滿意的閉環性能。此外，還沒有探索過在半空中從一架較大的飛機（如氣象氣球）上發射一組具有隨機姿態的送貨無人機的情況。最后，未建模的動力學和陣風等不確定因素給飛行操作帶來了挑戰，因此綜合控制系統對于處理這些不確定因素至關重要，但對非基于模型的綜合控制系統的設計和開發關注不夠。

受這些研究空白的啟發，本論文探討了如何處理有效載荷在空中的 CoG 變化和姿態獨立發射的控制問題。為解決這些問題并實現理想的軌跡跟蹤控制，本文提出了一種新型非基于模型的綜合控制系統，稱為雙向模糊腦情感學習（BFBEL）控制系統。所提出的控制系統融合了模糊推理、神經網絡和基于強化學習的新型雙向腦情感學習（BBEL）算法。所提出的 BFBEL 控制器能夠從零開始快速適應，可用于控制 RUAV 的所有六自由度 (6DOF)。為擴大擬議控制器的適用性，開發了單輸入-單輸出（SISO）和多輸入-多輸出（MIMO）架構。本研究考慮的兩種無人駕駛飛行器模型是四旋翼無人駕駛飛行器（QUAV）和直升機無人駕駛飛行器（HUAV）。SISO 版本的 BFBEL 控制系統被應用于 QUAV，以解決處理 CoG 和重量不同的外部有效載荷的問題。BFBEL 控制系統的 MIMO 版本應用于 HUAV，以解決在空中獨立發射姿勢的問題。對這兩種系統都進行了模擬評估，并通過實驗驗證了如何處理 CoG 不確定的外部有效載荷問題。最后，在相同的控制情況下，將飛行能力和控制性能與傳統的比例積分微分（PID）控制器方案進行了比較。

無人機（UAVs）在軍事領域的應用已經非常成熟，在現代戰爭中具有巨大優勢。使用無人機蜂群的概念已經討論了二十多年，但現在以色列國防兵力首次使用了真正意義上的無人機蜂群系統。無人機蜂群沒有確切的定義，但有人提出它應滿足以下三個要求。蜂群的人為控制應該是有限的，蜂群中的代理數量至少應該是三個，其合作執行共同的任務。控制多架自主無人機的復雜性帶來了如何利用作戰員的認知和戰術能力來控制蜂群以有效執行軍事偵察任務的問題。使用行為樹作為控制結構的方法源自之前在蜂群系統方面的研究。行為樹是一種組織自主系統行動并對其進行優先排序的結構化方法。行為樹類似于有限狀態機（FSM），具有模塊化、反應靈敏、可讀性強等優點。在游戲引擎 Unity 中創建并模擬了三種不同的行為樹，其復雜程度不斷增加。我們還創建了第四棵更為真實的行為樹，并以此為基礎討論了使用行為樹與之前工作的優缺點。使用行為樹作為創建蜂群的統一結構，將操作員的戰術能力與自主蜂群的力量整合在一起，似乎大有可為。我建議將所提出的使用行為樹的方法用作討論蜂群所需的功能的平臺，并為作戰員和工程師創建蜂群應如何運作的共同愿景。

圖 A.2. 用于邏輯模擬的第三行為樹和預期目標的圖形表示。

引言

無人駕駛飛行器的熱度空前高漲。歷史上，這些飛行器只能用于軍事領域，如今，它們在公共領域有了新的用途。隨著技術的不斷成熟和普及，無人機的應用范圍也在不斷擴大。"蜂群 "和 "蜂群機器人 "的概念并不新鮮，但直到現在，支持這一概念的技術還沒有出現。關于什么是機器人蜂群，目前還沒有確切的定義，但 R. Arnold 等人[1]提出，機器人蜂群需要滿足三個要求。一個蜂群應受到有限的人為控制，蜂群中的機器人數量至少應為三個，蜂群中的機器人應合作執行共同的任務。

支持無人機群的硬件已經具備，但如何控制無人機群還有許多問題有待解決。本碩士論文旨在研究如何利用操作員的認知和戰術能力來控制蜂群，從而有效地執行軍事偵察任務。這項工作著眼于如何將人類操作員與自主蜂群整合在一起，以及如何對如何做到這一點進行高層次的描述。

使用所謂的行為樹來控制蜂群的方法是一種有趣的方法，我們對此進行了研究，并創建了三個模擬來進行測試。此外，還對照以前的工作對行為樹方法進行了評估，以突出其優缺點。此外，還就如何在創建蜂群控制器時使用行為樹提出了建議。

本論文的第一章包括引言，介紹了該領域的前人工作，并進一步描述了問題。第二章和第三章介紹了行為樹和執行偵察任務背后的理論。第四章研究了使用行為樹控制無人機群的方法。第五章總結了這項工作，并介紹了可能有意義的未來工作。

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

對使用無人駕駛飛行器（UAV），即無人機，在不同的應用中，如包裹遞送、交通監測、搜索和救援行動以及軍事戰斗交戰，有越來越多的需求。在所有這些應用中，無人機被用來自主導航環境--沒有人的互動，執行特定的任務和避免障礙。自主的無人機導航通常是通過強化學習（RL）完成的，智能體作為一個領域的專家，在避開障礙物的同時導航環境。了解導航環境和算法限制在選擇適當的RL算法以有效解決導航問題中起著至關重要的作用。因此，本研究首先確定了主要的無人機導航任務并討論了導航框架和仿真軟件。接下來，根據環境、算法特點、能力和在不同無人機導航問題中的應用，對RL算法進行了分類和討論，這將有助于從業人員和研究人員為他們的無人機導航用例選擇合適的RL算法。此外，確定的差距和機會將推動無人機導航研究。

引言

自主系統（AS）是能夠在沒有人類干擾的情況下執行所需任務的系統，如機器人在沒有人類參與的情況下執行任務、自動駕駛汽車和無人機送貨。自主系統正在侵入不同的領域，以使操作更加有效，并減少人為因素產生的成本和風險。

無人駕駛航空器（UAV）是一種沒有人類飛行員的飛機，主要被稱為無人機。自主無人機由于其多樣化的應用而受到越來越多的關注，如向客戶交付包裹、應對交通事故以滿足傷員的醫療需求、追蹤軍事目標、協助搜索和救援行動，以及許多其他應用。

通常情況下，無人機配備有攝像頭和其他傳感器，可以收集周圍環境的信息，使無人機能夠自主地導航該環境。無人機導航訓練通常是在虛擬的三維環境中進行的，因為無人機的計算資源和電源有限，而且由于墜毀而更換無人機部件可能很昂貴。

不同的強化學習（RL）算法被用來訓練無人機自主導航的環境。強化學習可以解決各種問題，在這些問題中，代理人就像該領域的人類專家一樣。代理人通過處理環境的狀態與環境互動，用行動作出回應，并獲得獎勵。無人機相機和傳感器從環境中捕捉信息，用于表示狀態。代理人處理捕捉到的狀態并輸出一個行動，決定無人機的運動方向或控制螺旋槳的推力，如圖1所示。

圖1：使用深度強化智能體的無人機訓練

研究界對不同的無人機導航問題進行了回顧，如視覺無人機導航[1, 2]、無人機植群[3]和路徑規劃[4]。然而，據作者所知，目前還沒有與RL在無人機導航中的應用有關的調查。因此，本文旨在對各種RL算法在不同無人機自主導航問題上的應用進行全面系統的回顧。這項調查有以下貢獻：

• 幫助從業人員和研究人員根據應用領域和環境類型，選擇正確的算法來解決手頭的問題。
• 解釋各種RL算法的主要原理和特點，確定它們之間的關系，并根據環境類型對它們進行分類。
• 根據問題領域，討論和分類不同的RL無人機導航框架。
• 認識用于解決不同無人機自主導航問題的各種技術和用于執行無人機導航任務的不同仿真工具。

本文的其余部分組織如下： 第2節介紹了系統回顧過程，第3節介紹了RL，第4節全面回顧了各種RL算法和技術在無人機自主導航中的應用，第5節討論了無人機導航框架和仿真軟件，第6節對RL算法進行分類并討論了最突出的算法，第7節解釋了RL算法的選擇過程，第8節指出了挑戰和研究機會。最后，第9節對本文進行了總結。

前沿作戰基地（FOB）防御是一項人力密集型任務，需要占用作戰任務的寶貴資源。雖然能力越來越強的無人駕駛飛行器（UAV）具備執行許多任務的能力，但目前的理論并沒有充分考慮將其納入。特別是，如果操作人員與飛行器的比例為一比一時，并沒有考慮提高無人機的自主性。本論文描述了使用先進機器人系統工程實驗室（ARSENL）蜂群系統開發和測試自主FOB防御能力。開發工作利用了基于任務的蜂群可組合性結構（MASC），以任務為中心、自上而下的方式開發復雜的蜂群行為。這種方法使我們能夠開發出一種基于理論的基地防御戰術，在這種戰術中，固定翼和四旋翼無人機的任意組合能夠自主分配并執行所有必要的FOB防御角色：周邊監視、關鍵區域搜索、接觸調查和威脅響應。該戰術在軟件模擬環境中進行了廣泛的測試，并在現場飛行演習中進行了演示。實驗結果將使用本研究過程中制定的有效性措施和性能措施進行討論。

第1章：導言

1.1 背景和動機

2019年，美國海軍陸戰隊司令大衛-H-伯杰將軍發布了他的規劃指南，作為塑造未來四年的部隊的一種方式。他在其中指出："我們今天做得很好，我們明天將需要做得更好，以保持我們的作戰優勢"[1]。這句話摘自海軍陸戰隊司令大衛-H-伯杰將軍的《2019年司令員規劃指南》（CPG），呼吁采取集中行動，以應對海軍陸戰隊在未來戰爭中預計將面臨的不斷變化的挑戰。在為海軍陸戰隊確定未來四年的優先事項和方向的CPG中的其他指導，呼吁建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人駕駛系統系列"[1]。伯杰將軍進一步呼吁利用新技術來支持遠征前沿基地作戰（EABO）。EABO將需要靈活的系統，既能進行有效的進攻行動，又能進行獨立和可持續的防御行動。簡而言之，實現EABO將需要最大限度地利用每個系統和海軍陸戰隊。

從本質上講，伯杰將軍正在呼吁改變無人駕駛飛行器的使用方式。通過使用大型的合作自主無人飛行器系統，或稱蜂群，將有助于實現這一目標。無人飛行器蜂群提供了在人力需求和后勤負擔增加最少的情況下成倍提高戰場能力的機會。正如伯杰將軍所提到的 "下一個戰場"，海軍陸戰隊將必須利用各種技術，最大限度地利用自主性和每個作戰人員在戰場上的影響。

目前的無人系統使用理論是以很少或沒有自主性的系統為中心。另外，目前的系統依賴于單個飛行器的遠程駕駛；也就是說，每輛飛行器有一個操作員。部隊中缺乏自主系統，這在監視和直接行動的作戰能力方面造成了差距。此外，側重于一對一操作員-飛行器管理的無人系統理論要求操作員的數量與車輛的數量成線性比例。這對于 "下一個戰場 "來說是不夠的。相反，海軍陸戰隊將需要能夠讓操作員擺脫束縛或提高他們同時控制多個飛行器的能力系統[2]。

考慮到這些目標，美國海軍研究生院（NPS）的先進機器人系統工程實驗室（ARSENL）已經開發并演示了一個用于控制大型、自主、多飛行器的系統，該系統利用了分布式計算的優勢，并將駕駛的認知要求降到最低。ARSENL在現場實驗中證明了其系統的功效，在該實驗中，50個自主無人駕駛飛行器（UAV）被成功發射，同時由一個操作員控制，并安全回收[3]。

1.2 研究目標

這項研究的主要目標是證明使用無人機蜂群來支持前沿作戰基地（FOB）的防御。特別是，這需要自主生成、分配和執行有效的、符合理論的基地防御所需的子任務。這部分研究的重點是開發基于狀態的監視、調查和威脅響應任務的描述；實施支持多飛行器任務分配的決策機制；以及任務執行期間的多飛行器控制。

輔助研究目標包括展示基于任務的蜂群可組合性結構（MASC）過程，以自上而下、以任務為中心的方式開發復雜的蜂群行為，探索自主蜂群控制和決策的分布式方法，以及實施一般的蜂群算法，并證明了對廣泛的潛在蜂群戰術有用。總的來說，這些目標是主要目標的一部分，是實現主要目標的手段。

1.3 方法論

基地防御戰術的制定始于對現有基地防御理論的審查。這一審查是確定該行為所要完成的基本任務和子任務的基礎。然后，我們審查了目前海軍陸戰隊使用無人機的理論，以確定這些系統在基地防御任務中的使用情況。

在確定了任務要求的特征后，我們為基地防御的整體任務制定了一個高層次的狀態圖。子任務級別的狀態圖等同于MASC層次結構中的角色。

ARSENL代碼庫中現有的算法和游戲以及在研究過程中開發的新算法和游戲被用來在ARSENL系統中實現子任務級的狀態圖。最后，根據高層次的狀態圖將這些游戲組合起來，完成基地防御戰術的實施。

在游戲和戰術開發之后，設計了基于理論的有效性措施（MOE）和性能措施（MOPs）。通過在循環軟件（SITL）模擬環境中的廣泛實驗，這些措施被用來評估基地防御戰術。在加利福尼亞州羅伯茨營進行的實戰飛行實驗中，也展示了該戰術和游戲。

1.4 結果

最終，本研究成功地實現了其主要目標，并展示了一種包含周邊監視、關鍵區域搜索、接觸調查和威脅響應的基地防御戰術。此外，開發工作在很大程度上依賴于MASC層次結構，以此來制定任務要求，并將這些要求分解成可在ARSENL蜂群系統上實施的可管理任務。這一戰術在實戰飛行和模擬環境中進行了測試，并使用以任務為中心的MOP和MOE進行了評估。最后的結果是令人滿意的，在本研究過程中開發的戰術被評估為有效的概念證明。

1.5 論文組織

本論文共分六章。第1章提供了這項研究的動機，描述了這個概念驗證所要彌補的能力差距，并提供了ARSENL的簡短背景和所追求的研究目標。

第2章討論了海軍陸戰隊和聯合出版物中描述的當前海軍陸戰隊后方作戰的理論。還概述了目前海軍陸戰隊內無人機的使用情況，并描述了目前各種系統所能達到的自主性水平。

第3章概述了以前自主系統基于行為的架構工作，ARSENL多車輛無人駕駛航空系統（UAS）和MASC層次結構。

第4章對基地防御戰術的整體設計以及高層戰術所依賴的游戲進行了基于狀態的描述。本章還詳細介紹了用于創建、測試和評估這一概念驗證的方法。在此過程中，重點是對每一戰術和戰術所針對的MOP和MOE進行評估。

第5章詳細介紹了所進行的實戰飛行和模擬實驗，并討論了與相關MOPs和MOEs有關的測試結果。

最后，第6章介紹了這個概念驗證的結論。本章還提供了與基地防御戰術本身以及更廣泛的自主蜂群能力和控制有關的未來工作建議。