美國國防部已經制定了未來垂直升降機計劃，以開發一系列下一代垂直升降機，這些飛機將比目前的旋翼機隊飛得更遠、更快、效率更高。為了實現這些目標，必須考慮超越單一主旋翼/尾槳設計的先進旋翼機配置。目前正在技術演示程序中進行飛行測試的兩種先進配置是帶有推進式螺旋槳和傾轉旋翼機的升力偏置同軸旋翼機。美國陸軍作戰能力發展司令部航空與導彈中心技術發展局開發了這兩種配置的通用、高保真飛行動力學模型，為政府提供獨立的控制系統設計、操控品質分析和仿真研究能力這些類型的飛機支持未來垂直升降計劃。

為了定義先進旋翼機配置的高速操控品質要求，使用多目標優化方法為兩種配置設計了全飛行包絡內環顯式模型跟蹤控制系統，以滿足一套全面的穩定性、操控品質和性能要求。這些要求是從直升機和固定翼飛機的標準中選擇的。在美國宇航局艾姆斯垂直運動模擬器上，通過一系列高速操控性示范動作，對兩種飛機的控制法進行了評估。仿真實驗的結果顯示，這兩架飛機的總體分配的1級操控品質與預測的1級操控品質有很好的相關性，因此支持在設計過程中選擇的操控品質要求。

此外，還為這兩架飛機開發了外環控制法，以努力改善操控品質并減少飛行員的工作量。外環使用了動態反轉控制法結構，并再次使用了一套全面的穩定性、操控品質和性能要求來優化控制法的參數。在賓夕法尼亞州立大學飛行模擬器設施中，使用第一次評估中使用的高速操控性示范動作，對兩架飛機的外環控制法進行了評估。總的來說，外環控制法為斷橋轉彎和高速加減速機動提供了1級操控品質，并比內環控制法有了改進。此外，外環控制法在本項目開發的編隊飛行任務中提高了性能并減少了工作量。然而，在俯仰姿態捕捉和跟蹤任務中，與內環控制法相比，外環控制法降低了操控品質。這是由于外環的俯仰姿態回落行為造成的，盡管它們被調整為滿足回落規范。結果表明，高速旋翼機的允許回落量應該減少，外環功能可以作為一種可選擇的模式提供。

這里提出的用于優化內環和外環控制系統的一套操控品質標準，被作為調整高速旋翼機控制系統以達到1級操控品質的一套要求。

研究背景與動機

自從垂直升降機問世以來，一直存在著將垂直起飛和降落能力與持續高速巡航能力相結合的作戰需求。事實上，努力開發下一代垂直升降飛機，使其比目前的旋翼機隊飛得更遠、更快、更有效，是目前美國陸軍的第三個現代化重點[1]。1986年，在第一架實用直升機飛行近50年后，一架Westland Lynx創造了目前常規單主旋翼直升機的平飛速度記錄，達到216千米。傳統直升機可達到的最大速度不僅受到其安裝的發動機功率的限制，而且還受到諸如旋翼的前進葉片尖端速度和后退葉片動態失速、振動、穩定性和最大傳動扭矩等因素的限制[2]。因此，為了走得更快，打破保持了30多年的速度記錄，必須考慮超越單一主旋翼和尾旋翼設計的先進旋翼機配置。

在這項工作中，"先進旋翼機配置"被廣義地定義為那些采用升力偏置的旋翼（前進的葉片比后退的葉片產生更多的升力）、復合升力（例如，通過使用機翼）、復合推力（例如，通過使用螺旋槳或噴氣發動機）和/或傾斜的機翼或機艙來實現任務總重量下超過200千米的速度。

圖1.1：Piasecki 16H-1A探路者II，復合旋翼機的早期示例

圖1.2：洛克希德AH-56A夏延直升機，早期嘗試的高速攻擊直升機，存在操控品質問題

目前服役直升機

圖1.6：貝爾波音V-22魚鷹，第一種傾轉旋翼飛機

圖 1.7：西科斯基飛機 X2 技術演示器，繼續開發先進葉片概念 (ABC)。

圖 1.8：空中客車直升機（前身為歐洲直升機公司）X3，最快的非噴氣增強型復合直升機。

圖 1.9：貝爾V-280英勇型傾轉旋翼機，兩架聯合多用途技術驗證機之一。

圖1.10：西科斯基波音SB>1先進槳葉概念(ABC)旋翼機，兩架聯合多用途技術演示機之一。

圖 1.11：西科斯基 S-97 Raider，基于先進刀片概念 (ABC) 的高速偵察和攻擊復合直升機。

未來直升機

圖1.12：萊昂納多AW609，旨在成為第一種用于民用的傾轉旋翼機。

圖 1.13：AVX-L3 未來攻擊偵察機 (FARA) 原型提案，是 FARA 計劃正在開發的五個概念之一。

圖 1.14：空中客車 RACER（快速且具有成本效益的旋翼機），作為 Clean Sky 2 快速旋翼機創新飛機演示平臺的一部分，正在開發的兩架飛機之一。

圖 1.15：萊昂納多下一代民用傾轉旋翼機，作為 Clean Sky 2 快速旋翼機創新飛機演示平臺的一部分，正在開發的兩架飛機之一。

圖1.16：空中客車瓦哈納eVTOL飛機，八螺旋槳傾翼演示機。

圖1.17：波音NeXt自動eVTOL原型機。

面臨的挑戰

先進的旋翼機配置，如同軸復合直升機和傾轉機，在飛行控制和操控品質方面帶來了新的、獨特的挑戰和機會。例如，在直升機中傳統上耦合的響應特性的解耦能力（如獨立推力控制），飛行中的重新配置（如移動機艙），以及冗余控制（如旋翼和航空表面）。為這些配置提供良好操控品質的飛行控制系統的設計將取決于三個關鍵領域：

1.在懸停、過渡和向前飛行時，飛行員更喜歡什么樣的反應類型?
2.對評估響應類型和控制系統之間的差異的有用定性操控品質度量指標(即任務任務元素或操控品質演示操作)是什么?
3.控制系統設計時應滿足的定量操控品質度量及其相關邊界是什么?

研究目標與貢獻

已經有大量的研究致力于發展旋翼機的高速操控性能要求和飛行控制系統設計指南。大部分的研究都是基于一種飛機構型（如有翼復合機、傾轉旋翼機等），而且一般是在有限的飛行條件或飛機構型下進行的。

操控性能要求和MTE應該是以任務為中心的（而不是以飛機配置為中心）。然而，這是否適用于先進的旋翼機配置（例如，復合式與傾斜式）仍有待觀察。這就是為什么這里的研究調查了兩種配置。

此外，如上所述，NRTC最近完成了一個開發高速任務要素的項目，以評估先進高速旋翼機在模擬或飛行測試中的操控品質和飛行員的工作量。然而，在這個項目之前，還沒有使用新開發的高速MTE對先進的飛行控制法進行過正式的駕駛操控品質評估。

因此，本報告的目標和貢獻是：

1.通過將從綜合旋翼機仿真代碼HeliUM中提取的每架飛機的線性模型和修整數據合并到縫合的仿真模型中，建立通用升力偏移的帶推桿螺旋槳的同軸復合直升機（同軸-推桿）和通用傾轉機的實時仿真模型。

2.使用加權偽逆來設計內環（力矩需求）控制分配，使用每個配置的冗余控制。

3.使用一個基于操控品質的優化方法，為兩種飛機配置的整個飛行包線設計內環（速率指令）顯式模型跟隨（EMF）控制規律。一個主要的貢獻是選擇了整個飛行包線的適用標準，并為先進的高速旋翼機飛行控制設計匯編了一套全面的穩定性、操控性和性能規范。

4.擴展Thorsen[64]的工作，為兩種構型在整個飛行包線內設計外環（飛行路徑和空速指令）控制法。這包括開發一個控制分配方案，將縱向和垂直加速度指令分配給飛機俯仰姿態、整體、螺旋槳俯仰（同軸推力器）或機艙角（傾轉器）。與參考文獻中的做法一樣，使用了加權的偽逆方法。[64]所做的那樣，在有限的速度范圍內使用，但現在擴展到整個飛行包線。

5.使用新開發的高速任務要素，對兩種配置的內環和外環控制法進行正式的操控性能評估。這樣的評估在以前還沒有對高速旋翼機控制法進行過。

6.最終，這項工作旨在確定在過渡和高速飛行過程中，飛行員更喜歡哪些反應類型，以及哪些旋翼機和固定翼機的操控性能標準適用于不同的反應類型。

報告組織

本報告的結構如下。

第2章概述了綜合旋翼機仿真代碼HeliUM中開發的通用同軸推力和傾斜飛行器的飛行動力學模型。首先，對HeliUM中使用的飛機物理參數進行了詳細描述。隨后討論了從HeliUM中提取的線性模型，包括對修整、關鍵穩定性和控制導數的描述，線性模型中保留的轉子模式，以及線性模型的特征值。隨后，討論了用于實時模擬模型的模型縫合結構。為每架飛機展示了用于向多個控制效應器分配所需時刻的控制分配方法。最后，提供了每架飛機在一系列空速下的主要軸上頻率響應。

第3章描述了為同軸推力飛機和傾斜飛機設計和優化的內環飛行控制系統。首先，提供了控制法結構的描述，包括對框圖中所有主要元素的討論。接下來，給出了用于驅動控制系統優化的飛行控制和操控品質規范。在簡要討論了所使用的優化策略后，以預測操控品質的形式提供了兩架飛機的控制系統優化結果。

第4章討論了對兩架飛機的內環控制規律進行研究的操控品質模擬實驗的結果。在簡要描述了模擬實驗的設置后，首先提供了同軸推力飛機的實驗結果，然后是傾斜飛機的實驗結果。本章最后對結果進行了討論。

第5章描述了為同軸推桿飛機和傾斜飛行器設計的外環控制律。首先，討論了用于外環的設計方法和結構，包括縱向和垂直加速度指令的外環控制分配給俯仰姿態、集體和螺旋槳俯仰/機艙傾斜角。接下來，提供了用于控制法優化的設計規范。控制法的優化結果是針對同軸推力機和傾轉機的，首先是在一個飛行條件下，然后是在跨越各自飛行包線的幾個飛行條件下。最后，對外循環進行了討論。

第6章描述了在賓夕法尼亞州立大學飛行模擬器設施中進行的駕駛操控品質模擬實驗的結果，以測試第5章中描述的外環控制法。對實驗裝置進行了描述，包括對設施和飛行員飛行任務的描述。在討論之后，提供了同軸推桿和傾轉機配置的結果。

第7章描述了駕駛操控性模擬實驗的結果，以測試兩種飛機的內環俯仰軸指令模型響應類型的不同變化。描述了所測試的俯仰軸指令模型的變化。然后，提供了仿真評估的結果。

第8章描述了對兩架飛機的內環和外環控制法進行的魯棒性分析，該分析采用了無中心變換的方法。首先，提供了一個關于裸機身參數擾動的描述。接下來，簡要介紹了無痕變換，然后是一個評估控制系統魯棒性的簡單應用實例。然后顯示了同軸推桿和傾斜飛行器內環和外環控制法的結果，接著是討論。

最后，第9章提供了本研究的結論、先進高速旋翼機的控制系統設計指南以及對未來工作的建議。

本文描述了一個自主制導和飛行控制系統，該系統在一架部分授權的黑鷹直升機上進行了整合和飛行測試。這項工作是退化視覺環境緩解計劃的一部分，該計劃的目標是為美國陸軍旋翼機的操作提供全天候的能力。制導和飛控系統軟件以前曾在一架完全授權的直升機上進行過飛行測試，在這項工作中，被調整為在一架部分授權的直升機上飛行。該系統的主要自主組件包括風險最小化障礙物場導航算法、安全著陸區確定算法和綜合提示環境。這些組件提供了反應性規避指導、著陸點選擇和飛行員對退化視覺環境的情況了解。為了測試該系統，一個LADAR被用作替代設備，以代替同時為該計劃開發的全深L傳感器系統。自主的部分授權飛行控制系統提供了一個完全穩定的路徑跟蹤能力，它由一系列的航點或飛行路徑矢量指令指導。本文描述了該控制系統，其性能，以及如何使其適應目前美國陸軍艦隊直升機的典型的部分授權系統。還介紹了自主軟件和人機界面組件。介紹了完全集成的系統在地形中導航、選擇降落點和自主降落的飛行測試結果。提出了將部分授權結果與以前收集的完全授權結果進行比較的分析。

任務自適應自主(MAA)部分授權系統

圖2中的任務自適應自主性（MAA）系統由三個主要部分組成：任務軟件、自主部分授權的FCS（APAFCS）和飛機硬件。任務軟件提供控制法的指導，而APAFCS提供穩定性和控制，以遵循命令的路徑。飛機硬件是飛行員的操縱桿輸入，調整和SAS伺服，飛機傳感器，LADAR傳感器，以及飛行員顯示器。俯仰、滾轉和偏航方面的固有機械控制和驅動保持不變，因此該飛機是標準的UH-60L，具有美國陸軍機隊典型的部分授權飛行控制系統。然而，在垂直軸上增加了額外的驅動裝置，這些都是機隊可用的部件。本文的后續章節將討論MAA系統的每個部分。

任務軟件包括任務管理器/操作員界面、路徑生成、矢量指令、障礙物場導航（OFN）、安全著陸區確定（SLAD）、MAA地圖/控制以及綜合提示環境（ICE）。

圖2:任務自適應自主(MAA)系統由任務軟件、自主部分授權飛行控制系統和改裝后的UH-60L飛機的硬件組成。

A. 任務管理器/操作員界面

MAA的一項關鍵技術是飛行員能夠以不同程度的自主性進行操作。圖2中的任務管理器/操作者界面代表了所有允許飛行員在執行層面進行互動和監控系統的軟件。例如，任務管理器允許飛行員或系統操作員通過從地圖顯示中選擇一個目標點來控制任務方案。當這樣做時，任務管理器查找目的地信息并命令OFN算法，這反過來又引導自主FCS到達最終目的地。

B. 路徑生成和矢量指令

當OFN到達最終目的地附近時需要精確放置飛行器時，路徑生成算法被任務管理器/操作者界面以及SLAD算法所使用。路徑生成和矢量指令都是開環的、非反應性的引導方法，用于移動飛行器，在系統的集成測試過程中非常有用，因為飛行路徑已知是沒有障礙的。

路徑生成器允許用戶通過輸入一些航點以及宏觀層面的參數，如最大速度、爬升率和加速度限制，來指定一個預定的路徑。當路徑生成器接受原始航點列表時，它將生成一個擴展的、平滑的航點列表，并將其與相關的速度曲線一起發送給航點控制，從而啟動飛行軌跡。

矢量指令過程是指導飛機運動的另一種指導方法。矢量指令過程接收對所需指令速度的離散變化。例如，用戶可以輸入一個速度、滑行坡和航向率的變化，矢量指令產生一個速度、航向和傾斜率形式的連續指令流，發送到APAFCS的航點控制塊。矢量命令使用與接下來描述的OFN算法相同的接口到航點控制塊。

C. 風險最小化障礙物場導航 (RiskMinOFN)

RiskMinOFN算法建立了一個空間變化的風險因素的3維地圖，并找到一條通往目標的最小風險的路徑。該規劃器的主要組成部分如圖3所示，它們由地形模型、風險地圖、導航功能和速度指令控制器組成。

飛行員或自主系統操作員可以在引導飛機的同時修改RiskMinOFN算法的操作參數。威脅地點和受限空域也可以動態更新。有四個參數文件可供飛行員訪問，分別代表OFN模式、巡航、地形、TerrainPlus和進場。新的目的地點可以在任何時候被發送到算法中，允許飛行員通過任務管理器界面改變任務目的地。除了飛往一個特定的目的地點，RiskMinOFN還可以飛行一個一般的目的地航向，它試圖保持該航向，同時仍然尋求與OFN模式相關的理想AGL高度，并同時避開危險物。RiskMinOFN算法可以在任何時候被命令取消并進入懸停狀態。速度限制也可以調整，允許更慢或更高的速度。飛行員還可以對航向和地面跟蹤的積極性進行調整。該算法仍然把避免碰撞作為最高優先級，所以這些飛行員的輸入只影響長期的飛行路徑，不會造成與地形的任何碰撞。

D. 安全著陸區確定 (SLAD)

SLAD算法掃描一個著陸區（LZ），根據表面坡度、粗糙度和與障礙物的接近程度找到合適的著陸點[14]。該算法從點頭的LADAR中獲取線掃描數據，并通過收集高度圖中每個網格單元的統計數據來創建一個高度圖。相鄰單元的高度變化被分為絕對變化和差異變化。絕對高度變化是基于兩個相鄰單元的平均高度之間的差異。差異變化是基于設備的掃描線上的高度變化，這允許感應高度的微小變化。此外，該算法在這些網格單元上使用滑動窗口來確定著陸區的表面粗糙度、坡度和其他窗口統計數據。

用于尋找解決方案和呈現結果的步驟如圖4所示，一架飛機接近圖4a所示的潛在著陸區。當點頭線掃描LADAR進入范圍時，該區域被掃描，點云數據被算法收集（圖4b）。當高度圖中積累了足夠多的點陣掃描通道時，就可以通過使用滑動窗口統計和其他指標找到一個解決方案。然后，該解決方案被顯示為帶有藍色字母編碼標記的彩色編碼疊加圖（圖4c）。藍色字母編碼的標記是解決方案推薦的著陸點A、B、C和L。解決方案的彩色編碼著陸掩碼有綠色區域，代表安全著陸點，其周圍的窗口區域符合坡度、粗糙度和數據空缺的要求，并且沒有任何絕對或差異邊緣的高度變化。黃色區域代表可能的安全著陸點，其窗口區域符合所有的安全著陸要求，但有超過特定閾值的邊緣高度差變化。邊緣高度變化用青色標記，通常是由小石塊、未割的草和灌木叢等物體引起的，這些物體可能是危險的，也可能不是，但還是要按照算法的建議避開。深藍色的絕對邊緣高度變化通常與大型固體物體有關，如樹木或大型結構，必須加以避免。紅色區域是不安全的著陸點，未能達到安全標準。

E. MAA/ICE飛行顯示器和接口

無論是在測試中還是在部署的系統中，飛行員或操作員的態勢感知對安全的自主操作至關重要。對于這個系統，使用了兩個顯示器，即MAA OFN/SLAD地圖和ICE顯示器，它們都顯示在圖5中。這些顯示為飛行員在DVE中飛行任務提供足夠的態勢感知。

MAA OFN/SLAD地圖（圖5a）顯示了一個頂視圖，可以顯示衛星、地形或剖面信息。在地圖中嵌入了當前飛機高度的RiskMinOFN風險量的彩色編碼片，風險范圍從低（淺藍色）到高（紅色）。所需路徑的指示顯示為飛機前方的面包屑圖案。OFN的預期目的地顯示為一個洋紅色的點，預期的目的地航向顯示為羅盤玫瑰上的洋紅色箭頭。當接近目的地時，SLAD著陸掩碼與推薦著陸點一起嵌入OFN風險地圖（圖5b）。如前所述，SLAD的插圖顯示安全區域為綠色，不安全區域為紅色，推薦的著陸點是飛行員可以選擇的。

MAA引導的意圖也用紅色符號顯示在ICE顯示器上，它有兩頁（模式）。這包括在途（圖5c）頁和懸停/接近/起飛（HAT）符號頁（圖5d）。這兩個頁面都疊加在由LADAR傳感器生成的圖像上。白色的符號是飛機的測量狀態，而紅色的符號代表來自導航的指令值。

對蜂群機器人的研究已經產生了一個強大的蜂群行為庫，它們擅長確定的任務，如集群和區域搜索，其中許多有可能應用于廣泛的軍事問題。然而，為了成功地應用于作戰環境，蜂群必須足夠靈活，以實現廣泛的特定目標，并且可以由非專業人員配置和使用。這項研究探索了使用基于任務的蜂群可組合性結構（MASC）來開發特定任務的戰術，作為更普遍的、可重復使用的規則組合，供高級機器人系統工程實驗室（ARSENL）蜂群系統使用。開發了三種戰術，用于對一個地理區域進行自主搜索。這些戰術在現場飛行和虛擬環境實驗中進行了測試，并與預先存在的完成相同任務的單體行為實現進行了比較。對性能的衡量標準進行了定義和觀察，驗證了解決方案的有效性，并確認了組合在可重用性和快速開發日益復雜的行為方面所提供的優勢。

1.1 動機

美國軍方對無人駕駛飛行器（UAV）的研究和利用有很長的歷史，早在第二次世界大戰之前就有了。最近，"捕食者 "無人機的推出，首先作為偵察平臺，后來作為武裝戰斗成員，徹底改變了現代戰爭。使用 "捕食者 "型無人機的優勢很多，而且有據可查，但是這類系統并不能為每一類任務提供通用的解決方案。系統的可用性、便攜性、后勤和維護要求、人力專業化和道德問題只是限制無人機向各級作戰部隊傳播的部分因素。一些人認為，戰爭的下一次革命將來自于蜂群技術：大量低成本的自主系統采用合作行為和分散控制來實現任務目標[1]-[3]。

在過去的十年中，已經進行了大量的工作來擴展無人機群的行為、能力以及指揮和控制（C2）。海軍研究生院先進機器人系統工程實驗室（ARSENL）小組以前的研究推動了以任務為中心的C2方法的發展[4]，并通過分散的動態任務分配實現了蜂群自主[5]。然而，在描述高層行為和目標以及在機器人代理的強大分布式系統中實現這些目標方面，設計蜂群系統仍然存在獨特的挑戰。目前的行為實現往往是單一的，而有效的設計需要專家編程。這項研究探索了在一個面向任務的分層框架內組成原始蜂群行為的方法，以自主實現復雜的任務目標。在面向任務的框架內應用行為組合技術，可以促進簡化行為開發和重用，并有可能加速創建復雜的以任務為重點的蜂群行為，用于軍事應用。

1.1.1 蜂群案例

蜂群飛行器并沒有提供將完全取代目前無人駕駛航空系統（UAS）的好處和能力，但它們確實有可能吞并許多目前的能力。然而，更有趣的是，蜂群有可能迫使戰爭行為的技術轉變。在[1]中，Arquilla提出蜂群是一種建立在高度連接和機動能力的小型單位上的戰爭形式，這些小型單位可以快速分散和聚集在一起。Scharre[2]和Hurst[3]通過分析機器人群的屬性及其對現代戰場的潛在影響，闡述了群戰的概念。與目前的無人機系統相比，蜂群通過飛行器的異質性使自己與眾不同，這種異質性提供了單一無人機所不具備的廣泛能力。特別是，合作行為和分散控制所帶來的決策和執行速度，可能再加上人工智能（AI），使蜂群系統具有潛在的決定性作戰優勢。或者正如[2]中指出的，"擁有最智能的算法可能比擁有最好的硬件更重要"。

美國防部已經認識到蜂群技術的內在可能性，并將蜂群行為列為具有 "推動無人系統的巨大潛力 "的人工智能技術之一[6]。這種認識進一步體現在國防高級研究計劃局（DARPA）的項目中，如進攻型蜂群戰術（OFFSET）[7]。各軍種也在各自探索蜂群技術[8]，成功的概念驗證包括海軍研究辦公室（ONR）的低成本無人機蜂群技術（LOCUST）[9]，海軍航空系統司令部（NAVAIR）的Perdix系統[10]，以及NAVAIR對DARPA的CODE計劃的收購[11]。這些計劃不僅探討了自主協作系統的發展，而且還探討了與這些系統相關的C2和人機界面（HSI）要求。蜂群C2和HSI已被確定為建議研究的核心，以使該技術進入軍事應用范圍[2]、[6]、[8]。

1.1.2 蜂群特征

蜂群機器人的研究源于早期的元胞自動機領域的研究。元胞自動機通常可以被描述為一組細胞的數學模型，其中單個細胞的狀態由其鄰居的狀態隨時間變化的某些函數決定[12]。細胞本身的效用是有限的，但一組細胞可以有效地模擬自然和生物模式，而且一些細胞自動機已被證明能夠模擬任何計算機器[12]。

貝尼[13]的早期工作將自動機的概念應用于機器人學。他和Wang[14]的工作創造了"蜂群智能 "一詞，即 "非智能機器人系統表現出集體的智能行為，表現為在外部環境中不可預測地產生特定的有序物質模式的能力。" 該定義后來被完善，指出智能蜂群是 "一群能夠進行普遍物質計算的非智能機器人" [15]。這種蜂群智能的概念是蜂群的一個基本屬性。對于這項研究來說，這個概念可以簡化為：蜂群是一個無人機的集合，這些無人機單獨只能夠進行簡單的行為，但當它們聚集成一個集體系統時，能夠產生特定的額外和更復雜的行為。

確保蜂群中的集體行為產生最終的預期行為是蜂群工程的一個基礎概念[16]。蜂群行為通常依賴于涌現，被定義為由單個智能體構成集體行為，進而產生全系統行為[17]。雖然涌現是蜂群的一個理想和基本特征，但它并不容易預測。意外的涌現行為會表現出潛在的負面后果，降低對系統的信任度[16], [17]。涌現行為不僅在蜂群智能方面得到了廣泛的研究，而且在多Agent系統的背景下也得到了更廣泛的研究，包括經濟、物流和工程等廣泛的應用。因此，有大量的行為問題的涌現算法解決方案，已經成為該領域的基礎。直接適用于機器人群領域的是基于生物的行為集合，如成群結隊[18]，螞蟻和蜜蜂群優化[19]，以及粒子群優化[20]，[21]。在這些問題中的每一個，單個智能體，即本研究中的單個無人機，根據本地知識和對蜂群其他部分的有限知識決定自己的最佳行動。

分散控制和集體行為使關鍵蜂群屬性成為可能：適應性（靈活性）、穩健性和可擴展性[22]。適用于蜂群機器人和蜂群智能的這些屬性的精確定義在[22]-[24]中提供。一般來說，適應性是突發行為的結果，是蜂群在動態環境中實現一系列任務的能力。穩健性源于分散控制，即無論其他智能體是否失敗，單個蜂群智能體仍然可以做出適當的決定；也就是說，即使單個智能體失敗，蜂群仍然可以集體完成行為。可擴展性與此類似，即蜂群的規模應根據需要進行調整，以便在約束條件下完成特定目標。

1.1.3 機器人群

在過去的十年里，隨著低成本機器人和通信組件的普及，蜂群的實現已經取得了快速進展。像Kilobot[25]這樣的開源機器人很容易獲得，而像海軍研究生院（NPS）ARSENL的Zephyr II固定翼和Mosquito Hawk四旋翼無人機這樣更先進的平臺也很容易制造[26]。仿真環境，如Autonomous Robots Go Swarming（ARGoS）[27]、Open Robotics的Gazebo模擬器[28]和ArduPilot的軟件在環（SITL）環境[29]，可免費用于測試與物理系統相結合的行為，以加快開發速度。

物理機器人群的C2系統并不像模擬器那樣發達，而且很少有管理機器人群的總體框架。值得注意的框架包括用于無人機的Aerostack[30]和ARSENL的基于任務的蜂群可組合性結構（MASC）[4]框架。此外，C2要求與蜂群的HSI研究密切相關。鑒于蜂群的潛在規模和相對于人的認知能力而言的行為復雜性，蜂群對人類互動提出了獨特的挑戰[31]。由于集體行為的突發性質與軍事環境中固有的嚴格的操作控制結構相匹配，HSI對軍事應用具有特別的意義[32]。在進攻性機動中使用無人駕駛車輛已經引起了倫理方面的爭論，而蜂群的自主性質只會使這個問題更加復雜[33]。

1.1.4 技術現狀

目前對多機器人系統和多機器人任務分配（MRTA）的重要研究工作集中在實現機器人群中復雜行為的規劃和執行。多機器人系統通常依靠任務分配技術和高層規劃來確定實現整體蜂群目標所需的單個平臺行動。有任務的機器人可以利用蜂群智能和涌現來實現子任務目標，但也有可能采用更多慎重的方法。Khaldi[23]和Arnold等人[34]對多機器人系統和蜂群機器人技術進行了比較和分析，重點是蜂群智能的應用。

MRTA的進展通過考慮時間和任務優先級限制的綜合能力匹配，使越來越復雜的任務領域成為可能[35], [36]。例如，NPS的ARSENL小組以前的研究推動了分散的、基于市場的任務分配的發展[5],[37]，并在復雜的多域蜂群行動中成功地進行了演示[26]。ARSENL已經成功地采用大型蜂群來合作執行定義明確的復雜任務。對這些系統的有效控制仍然需要操作員的實時監督。

最近的論文如[38]將機器學習和人工智能技術應用于蜂群系統以實現行為發展。在這一領域的工作相對較少，實現先進的蜂群自治的目標，即通過 "提供指揮官的意圖，系統能夠從該指揮官的意圖中找出系統能夠做什么"[11]，仍然是相當遙遠的。

1.2 研究目標

這項研究的目的是實施和評估基于MASC的分層解決方案，將能夠自主搜索和調查任務的不同規則組合成更強大的戰術，在異質蜂群上執行。基于市場的任務分配被調整為向參與戰術的平臺分配行為角色。本論文假設，以這種方式組成的簡單行為可以實現與更多單一行為相媲美的性能特征，并且該方法廣泛適用于創建面向任務的一般戰術。這一目標為實現MASC的目標提供了一個步驟，即促進簡單行為的設計和重用，并為任務應用創建越來越有能力的戰術。

對所開發的解決方案進行分析，以驗證復合任務分配方法的使用，并為未來實施和研究異構多無人機群的性能和C2提供建議的基礎。特別是，本論文討論了以下研究問題。

• 使用組合行為的蜂群與使用單體行為的蜂群相比，其性能是否具有可比性？

• 在有效性和可用性方面，可組合行為比單體行為有哪些好處（如果有的話）？

• 哪些性能指標適合于比較行為的實現？

• 如何將建議的行為開發方法擴展到支持適用于任意任務的行為開發？

• 所開發的方法是否提供了所需的靈活性和接口，以納入更大的任務控制框架中？

這項研究的范圍僅限于利用原始的規則和算法來組成強大的戰術。它沒有探索或開發在單個平臺上執行行為的算法。

1.2.1 方法

開發了三個符合MASC戰術理念的蜂群行為，該戰術由[4]中描述的更原始的規則組成。這些戰術是作為現有ARSENL規則的組合來實現的。每個戰術都由一個搜索規則和一個調查規則組成，前者指導平臺參與協調的區域搜索，后者指導平臺協調調查一個或多個感興趣的聯系體。這兩種戰術都利用以前開發的拍賣算法進行任務分配[37]。戰術動態地將每個平臺分配到其中一個規則中，并且在任何給定的時間，只有被分配的規則被用來控制平臺。

該戰術是為使用由具有獨特特征的平臺組成的異質群而開發的，這些特征影響了它們執行搜索和調查行為的適宜性。該戰術利用基于市場的方法（即拍賣算法）來考慮單個平臺的能力，具體描述如下。

• SearchTacticStatic。一種戰術，在行為初始化時，搜索者和調查者的角色被靜態地分配給特定平臺。分配規定了搜索者的最低數量，并有效地按飛機類型優先分配（例如，更快的固定翼無人機被分配為搜索者）。

• SearchTacticDynamic。采用這種戰術，所有平臺開始時都是搜索角色，但隨著行為的進展，可以在搜索者和調查者角色之間動態切換。當遇到聯系人時，一個單項拍賣被用來重新分配角色。需要改變角色的車輛會推遲執行向新角色的轉換，直到當前分配的任務完成之后。

• SearchTacticImmediate。這個戰術實現了與SearchTacticDynamic戰術相同的分配方法；但是，搜索者和調查者角色之間的轉換會立即發生，而不是在當前分配的任務完成后發生。也就是說，如果平臺需要轉換角色，一個正在進行的搜索單元或調查任務將被中止。

1.3 論文組織

本論文分為五章。第一章討論了空中蜂群系統的現狀，它們與美國防部的相關性，以及這項研究的動機。第二章對相關的蜂群研究領域及其與本研究的關系進行了更詳細的討論。第三章描述了組成行為的實現，并將其與之前實現的單體行為進行了比較。第四章描述了所利用的實驗過程，并討論了所收集的數據，以提供實施的戰術性能和理論上的最佳性能之間的比較。最后，第五章提供了這項工作的結論和對該領域未來工作的建議。

這篇論文考慮的情況是，一架無人機保衛一個高價值的目標，以抵御一些入境的攻擊無人機。防御性無人機配備了短程武器，必須以最有效的方式摧毀每一架攻擊性無人機。這個問題是應用數學中幾個開放性問題的交匯點，例如在有損耗的情況下的最佳行動規劃，以及解決有移動目標的 "旅行推銷員問題"（TSP）。我們研究的目的是通過將該問題分解為各組成部分的問題，然后提出各組成部分的概念驗證方案來分析該問題。這篇論文的主要成果包括一個建模框架，在這個框架中，可以在不需要約束的情況下進行優化；比較使用不同類型的成本函數進行優化的優勢（例如，最小化高價值單位被摧毀的機會與基于防御者相對于攻擊者的路徑的度量）；以及通過將其映射到標準TSP或使用機器學習來解決某些限制下的移動目標TSP。

1.1 戰斗中的自主系統

自動化系統，特別是無人駕駛飛行器（UAVs）的迅速增加，改變了現代戰場。美國已經率先在整個作戰范圍內開發和實施無人機，從信號情報到無人機精確打擊[1], [2]。然而，我們的對手繼續取得有意義的進展，最近的例子是俄羅斯在烏克蘭使用中國制造的無人機[3]，無人機可能參與了最近對北溪管道的破壞[4]，甚至恐怖組織的小規模、低技術的無人機攻擊[5]。

美國繼續按照無人駕駛航空系統（UAS）路線圖[6], [7]發展其無人機能力，該路線圖規定了無人機平臺的幾個重要任務，包括情報、監視和偵察（ISR）、壓制敵方防空（SEAD）、電子攻擊、網絡節點/通信中繼和空中投遞/補給。然而，這份清單中明顯缺少的是無人機系統的防御。無人機戰爭的一個新的和發展中的方面，即無人機對無人機的交戰，迫在眉睫。有許多無人機防御系統正在開發中，包括地面激光系統，如海軍陸戰隊的緊湊型激光武器系統（CLWS）[8]和導彈系統，如陸軍的KuRFS和Coyote Effectors[9]。然而，新的反無人機系統（C-UAS）無人機正在開發中，如洛克希德-馬丁公司的MORFIUS[10]，它使用高功率微波（HPM）武器系統，使敵方無人機在飛行中失效。

美國軍方和國防部（DOD）總體上對其無人機能力進行了大量投資，這不僅包括人員、設備和武器，還包括對無人機和蜂群的戰術運用的大量研究，而這些研究超出了最近取得巨大成功的ISR和精確打擊能力[11], [12]。在2019年的指揮官規劃指南中，海軍陸戰隊指揮官大衛-H-伯杰將軍要求建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人系統家族"，以及 "大大增加我們在其他領域成熟無人駕駛能力的努力" [13]。正是在這些其他領域，我們必須繼續創新，特別是在我們對抗對手在無人機/無人機系統開發方面的成果的能力方面。

2021年，美國防部發布了其C-UAS戰略，確定了其核心挑戰：小型無人機系統（sUAS）的指數級增長給美國防部帶來了新的風險。技術趨勢正在極大地改變小型無人機系統的合法應用，同時使它們成為國家行為者、非國家行為者和犯罪分子手中日益強大的武器。當被疏忽或魯莽的操作者控制時，小型無人機系統也可能對國防部在空中、陸地和海洋領域的行動構成危害。國防部必須在越來越多的小型無人機系統與國防部飛機共享天空、在國防部設施上空運行以及被我們國家的對手使用的環境中，保護和捍衛人員、設施和資產[14]。

雖然該戰略要求在理論、組織、訓練、物資、領導和教育、人員、設施-政策（DOTMLPF-P）等方面應對這些挑戰，但必須做更多的工作，將研究/開發與戰術層面的使用結合起來，并使之同步。這篇論文的目的就是要彌補這些領域之間的差距。

1.2 目前的工作

為了提高ISR能力，無人機技術早期發展的大部分學術工作都致力于各種學科的最佳路徑控制，但具體的軍事應用包括為ISR任務避免碰撞/雷達[15]。這項工作的成功從美國的無人機精確打擊能力中可見一斑。在海軍研究生院（NPS），Kaminer等人就大型蜂群的動力學和行為開展了大量的工作[16]-[20]。盡管有很長的工作歷史，這些最近的論文提出了高價值單位防御中的一個新的最佳控制問題，開發了具有損耗建模的最佳控制問題的計算框架，并開發了高效的數值框架來解決最佳控制問題中的不確定參數

許多文獻都涉及到減員模型。蘭徹斯特損耗模型使用微分方程來研究敵對部隊的依賴性損耗，自第一次世界大戰（WWI）以來，該模型被有力地運用于戰斗研究[21], [22]。一些工作已經確定了需要并解決了明確結合最優控制和損耗建模的問題[23], [24]。然而，并不存在將這些領域有效地結合在一起的一般框架或理論，當它們被解決時，其結果往往是高度特定的場景。

本論文的大部分內容將關注旅行銷售員問題（TSP）在動態環境中的應用。最佳控制和TSP在物理學和工程科學中經常有交集。例如，一個這樣的問題可能是由航天器以最佳方式訪問木星的所有79顆衛星[25]。Moraes和Freitas通過比較幾種啟發式算法來解決移動目標TSP（MT-TSP），并應用于人群和無人機檢測[26]。

1.3 開放式問題

耦合蘭徹斯特損耗模型、最優控制理論和TSP的問題對于大領域的超級蜂群是難以解決的。然而，無人機防御研究必須關注這三個領域的交叉點，以便適當地解決這一領域現存的軍事戰術和戰略問題。超級蜂群系統的基本特征還沒有得到很好的理解，盡管隨著我們擴大小型蜂群參與戰略和框架的規模，它們的屬性可能會出現。

圖 1.1 一般研究問題的解決框圖

本論文從這個有利的角度來探討這個問題，從小型蜂群開始，開發新的方法來解決更多可解決的系統，然后可以擴大規模。

每一種方法都考慮到sUAS有限的機載計算能力和作戰期間有限的可用時間。如圖1.1和1.2所概述的一般研究問題，首先是估計諸如武器類型、武器效能、無人機群類型等參數。本論文將把所有的參數視為常量、已知量。關于參數的不確定性分析見Walton等人[17]。

圖1.2 研究問題的場景可視化

其次，一群防御性無人機必須決定如何分割即將到來的攻擊者集合，以便以最佳方式與他們交戰，使高價值單位（HVU）的生存概率最大化。本論文將這一場景限制在單一防御無人機上。關于多重TSP（MTSP），見參考文獻[27]-[29]。

1.4 提綱

剩下的幾塊，決定攻擊順序和路徑優化，將在下面幾章討論。第二章假設已經知道或選擇了合理的攻擊順序，并解決相關的科學問題，即如何使HVU的生存率最大化。我們偏離了最優控制的路徑優化，而是致力于建立全新的、無約束的優化框架的可行性，在這里我們討論了各種成本函數的優點和缺點。第三章和第四章分別從TSP和機器學習（ML）的有利角度解決攻擊順序問題。

第三章試圖消除MT-TSP的時間依賴性，以證明動態版本的TSP仍然可以在轉換的空間上采用傳統的TSP算法，第四章為ML的應用建立了一個概念證明。最后，第五章展示了我們開發的圖形用戶界面（GUI）的功能，作為無人機防御任務規劃的輔助工具。

COGLE（COmmon Ground Learning and Explanation）是一個可解釋人工智能（XAI）系統，自主無人機向山區的野外部隊運送物資。任務風險隨地形、飛行決定和任務目標而變化。這些任務由人類加人工智能團隊參與，用戶決定兩架人工智能控制的無人機中哪一架更適合執行任務。這篇文章報告了該項目的技術方法和發現，并反思了復雜的組合問題對用戶、機器學習、用戶研究和XAI系統的使用環境所帶來的挑戰。COGLE創建了多種模式的解釋。敘述性的 "What"解釋比較了每架無人機在任務中的表現，以及基于使用反事實實驗確定無人機能力的 "Why"。可視化的 "Where"解釋突出了地圖上的風險，以幫助用戶解釋飛行計劃。研究的一個分支是研究這些解釋是否有助于用戶預測無人機的性能。在這個分支中，一個模型歸納的用戶研究顯示，決策后的解釋在教用戶自己確定哪架無人機更適合執行任務方面只有很小的作用。隨后的思考表明，用決策前的解釋來支持人類加人工智能的決策是一個更好的背景，可以從組合任務的解釋中受益。

引言

COGLE（COmmon Ground Learning and Explanation）是一個可解釋的人工智能（XAI）系統，用于自主無人機向山區的野戰部隊運送物資。COGLE中的任務是在一個模擬的世界中進行的，其中有山區和森林環境、水體和結構。圖1顯示了一個任務地圖和人工智能控制的無人機的飛行計劃。黃色的棒狀圖顯示了徒步旅行者的位置。彎曲的箭頭顯示了無人機的飛行計劃。地圖下面的時間線顯示了無人機沿其飛行計劃的高度。地圖上的符號表示物體。尖尖的符號是太高的山，無法飛過。曲線頂的符號是低矮和高大的山麓。綠色區域是草地。樹木形狀的符號代表森林。

最初，我們使用ArduPilot SITL1，它可以高保真地模擬低空飛行器的動作。ArduPilot的詳細模擬所需的計算資源被證明是不方便的，對于任務的戰略規劃來說是不必要的。低空飛行控制在商業自動駕駛飛機和業余無人機中被廣泛實施。為了專注于任務規劃，我們開發了一個精度較低的模擬模型（"ArduPilot Light"），在一個回合制的網格世界中，有五級高度和八個獨特方向。我們在ArduPilot SITL的API上模擬了ArduPilot Light的兼容編程接口（API）。圖2說明了COGLE的模擬網格世界的粗粒度，用于任務規劃。

圖 1 共同地面學習和解釋 (COgLE) 域中任務的示例地圖

圖 2 來自 COGLE 飛行學校的插圖展示了具有五個離散高度的模型以及當包裹從不同高度墜落時墜落區的擴大范圍

當無人機與處于同一高度或更高的障礙物飛得太近時，它們就會有墜毀的危險。如果無人機在森林、高山麓或水面上釋放其包裹，那么其包裹可能被損壞。包裹可能無法降落在河流、樹木或高山腳下。無人機飛得越高，其包裹在傘降過程中可能漂移得越遠。一個人工智能飛行員可能會在任務的開始、中間或結束時承擔風險。飛行員在任務中的早期決定會以微妙的方式與后來的決定產生互動。例如，在飛行計劃的早期，關于如何避開障礙物的選擇可能會導致在很晚的時候無法安全地接近選定的地點來投放包裹。

使用COGLE的早期版本，我們對用戶進行了自我解釋的研究，正如Gary Klein, Robert Hoffman, 和Shane Mueller等人所描述的。這樣的研究可以為參與者提供一個關于他們自己想要和使用的解釋種類的視角。用于無人機的人工智能飛行員是基于我們早期的深度強化學習者（RL）。他們在非常簡單的任務中表現出奇怪和次優的循環行為。研究參與者引用了無人機行為的觀察模式，指的是推斷的目標、效用和無人機的偏好。

在研究過程中，當被要求做出預測時，參與者經常的回答是 "我不知道"。研究參與者在自我解釋方面很有創意（"它怕水！"），但他們沒有可靠的依據來確定他們的解釋是否正確。事實證明，我們早期的人工智能控制的無人機的奇怪行為是由于他們有限的訓練造成的。

基于機器的態勢感知是與我們所處的復雜世界進行有意識的智能互動的關鍵因素，無論是對單個單位、復雜的動態系統，甚至是復雜的系統簇。為了建立這種意識，需要經常收集準確和實時的情報數據，以確保及時、準確和可操作的信息。無人駕駛飛行器（UAV）和其他半自主的網絡物理系統越來越多地成為評估我們周圍世界狀況和通過監視和偵察任務收集情報所采用的機制和系統。目前，人道主義和軍事行動的技術水平仍然依賴于人類控制的飛行/資產操作，但隨著自主系統的增加，有機會將其卸載到設備本身。在本文中，我們提出了一種原則性的、可擴展的方法，用于評估各種情況下自主設備集體的相對性能。所提出的方法以無人機群為例進行說明，預計將發展成為一種通用工具，為此類集體的部署提供信息，提供從問題規格、已知約束和目標函數推斷關鍵參數值的方法。

完全依靠自主系統的技術在推動海底領域的環境研究方面發揮了重要作用。無人潛水器（UUV），如美海軍研究生院的UUV研究平臺，在推進用于研究目的的自主系統的技術水平方面發揮了作用。使用自主系統進行研究正變得越來越流行，因為自主系統可以將人類從重復性的任務中解脫出來，并減少受傷的風險。此外，UUVs可以以相對較低的成本大量制造。此外，由于計算和電池技術的進步，UUVs可以在沒有人類干預的情況下承擔更多的擴展任務。

UUV的重要部分之一是控制系統。UUV控制系統的配置可能會根據車輛的有效載荷或環境因素（如鹽度）而改變。控制系統負責實現和保持在目標路徑上的穩定飛行。PID控制器在UUV上被廣泛實施，盡管其使用伴隨著調整控制器的巨大成本。由于兩個主要問題，陡峭的成本并不能提供穩健或智能解決方案的好處。

第一個問題是，PID控制器依賴于復雜的動態系統模型來控制UUV。動態系統模型有簡化的假設，使控制問題得到有效解決。當假設不成立時，PID控制器可以提供次優的控制，甚至會出現完全失去控制的情況。第二個問題是，PID控制器并不智能，不能自主學習。PID控制器需要多名工程師和其他人員花數天時間收集和分析數據來調整控制器。調整PID控制器是一項手動任務，會帶來人為錯誤的機會。

在使用深度強化學習方法進行自主車輛控制系統方面，有很多正在進行的研究，并且已經顯示出有希望的結果[1,2]。深度強化學習控制器已被證明優于執行路徑跟蹤任務的UUV的PID控制器[3]。此外，與PID控制器相比，基于深度強化學習的控制器已被證明能夠為無人駕駛飛行器（UAVs）提供卓越的姿態控制[4-5]。雖然這個例子不是專門針對UUV的，但這個來自空中領域的概念可以轉化到海底領域。

一些最流行的深度強化學習算法被用于自主車輛控制系統的開發，包括近似策略優化（PPO）[6]和深度確定策略梯度（DDPG）[7]算法。本研究將重點關注DDPG算法。DDPG算法是一種角色批判型的深度強化學習算法。Actor-Critic算法同時學習策略和價值函數。Actor-Critic算法的概念是：策略函數（演員）根據當前狀態決定系統的行動，而價值函數（批評家）則對行動進行批評。在深度強化學習中，政策和價值函數是由DNNs近似的，在本研究中具體是多層感知器（MLPs）。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

在利用降低精度來提高強化學習的計算效率方面，目前的研究很有限。[11]的作者展示了如何使用量化技術來提高深度強化學習的系統性能。文獻[12]的作者展示了一種具有6種方法的策略，以提高軟行為批評者（SAC）算法低精度訓練的數值穩定性。雖然正在進行的研究集中在基準強化學習問題上，但這一概念在科學應用上相對來說還沒有被開發出來，比如使用深度強化學習代理對UUV進行連續控制。

本研究將證明在混合精度和損失比例的情況下，訓練DDPG代理對UUV的連續控制不會影響控制系統的性能，同時在兩個方面使解決方案的計算效率更高。首先，我們將比較用固定和混合數值精度訓練的DDPG代理的性能與1自由度速度控制問題的PID控制器的性能。我們將研究用固定和混合精度訓練DDPG代理的訓練步驟時間。其次，本研究將研究DNN大小和批量大小的閾值，在此閾值下，用混合精度訓練DDPG代理的好處超過了計算成本。

本文的其余部分結構如下。問題表述部分將提供關于DDPG算法、NPSUUV動力學、PID控制和混合數值精度的簡要背景。實驗分析部分將描述本研究中運行的數值實驗的設置和結果。最后，在結論和未來工作部分將描述整體工作和未來計劃的工作。

美國海軍陸戰隊正在探索使用人機協作來控制前線部署環境中的無人駕駛航空系統（UAS），其任務范圍廣泛，包括情報、監視和偵察（ISR）、電子戰（EW）、通信中繼和動能殺傷。美國海軍陸戰隊設想使用未來的垂直起降平臺（VTOL）來支持混合戰爭任務并實現軍事優勢。對于美國海軍陸戰隊的混合戰爭應用，以實現任務優勢和戰爭主導權，美國海軍陸戰隊需要了解VTOL機組和無人機系統之間錯綜復雜的人機互動和關系，以獲得戰斗空間態勢感知，并有效地計劃和執行針對常規和不對稱威脅的旋轉翼行動。這項研究的重點是美國海軍陸戰隊在海洋環境中的打擊協調和偵察（SCAR）任務，以促進遠征基地先進作戰（EABO）在沿岸地區。有多種復雜的功能必須加以考慮和評估，以支持人機協作互動，提高任務的有效性：任務規劃、移動和滲透、區域偵察、偵察戰斗交接和過渡。

這份頂點報告探討了SCAR任務期間三個系統之間的人機協作：UAS、VTOL和地面控制站（GCS）。該研究從VTOL項目的文獻回顧開始，研究了美國海軍陸戰隊SCAR任務戰術和用于促進EABO的理論概念。此外，它還包括對自主性和自動化、人工智能和機器學習的研究。通過使用合作設計模型來探索這三個系統的人機協作互動和過程，文獻回顧探討了如何使用基于三個因素的相互依賴性分析（IA）框架來確定人類執行者和機器團隊成員之間的相互依賴性：可觀察性、可預測性和可指導性。

通過基于模型的系統工程（MBSE）工具，將SCAR任務的高級功能分解為分層次的任務和子任務，系統分析被用來支持聯合設計方法。根據Johnson（2014）的說法，合作設計方法研究了相互依賴的概念，并使用IA框架作為設計工具。IA框架捕捉了主要執行者和支持團隊成員之間的互動，以發展支持每個主要任務和分層子任務的所需能力，從而產生HMT要求。這份頂點報告分析了兩種選擇。第一個方案認為UAS是主要執行者，VTOL和GCS是輔助團隊成員。第二種方案認為VTOL是主要執行者，UAS和GCS是輔助團隊成員。基于這兩種選擇，IA框架評估了17個主要任務、33個分層子任務和85個執行SCAR任務的所需能力。

此外，研究發現需要一個強大的數字任務規劃系統，如升級后的海軍陸戰隊規劃和行動后系統（MPAAS），通過存儲以前的任務和經驗教訓的數據來促進機器學習。美國海軍陸戰隊將面臨無人機系統的處理能力和信息存儲方面的挑戰。應盡一切努力增加UAS的處理能力。必須實施一個有效的主要、備用、應急和緊急（PACE）通信計劃，以確保UAS、VTOL和GCS之間所有通信平臺的冗余。美國海軍陸戰隊必須實施支持信任、提供快速反饋和簡單操作的接口。

最后，為了準確評估VTOL、UAS和GCS之間的HMT要求，頂點報告促成了一個探索性實驗的發展，該實驗將在海軍研究生院（NPS）建模虛擬環境和模擬（MOVES）實驗室使用，以促進未來的研究。制定了操作要求和測量方法，以確定HMT要求的有效性。

這項頂點研究為在SCAR任務中執行VTOL/UAS混合行動的人機互動復雜性提供了明確的證據。該頂點研究確定了使用系統分析和協同設計作為一種有效的方法，通過IA框架促進人機協作需求的發展。此外，該研究確定了對復雜的自主性和技術準備程度的需求，這可能是目前還沒有的。頂點建議美國海軍陸戰隊繼續研究人機協作，并利用SCAR任務探索性實驗來進一步完善和研究VTOL/UAS的高級系統要求，以支持具有前沿部署的UAS的混合行動，重點是實現4級自主權。

摘要

兵棋模擬是一種決策工具，可以為利益相關者分析的場景提供定量數據。它們被廣泛用于制定軍事方面的戰術和理論。最近，無人駕駛飛行器（UAVs）已經成為這些模擬中的一個相關元素，因為它們在當代沖突、監視任務以及搜索和救援任務中發揮了突出的作用。例如，容許戰術編隊中的飛機損失，有利于一個中隊在特定戰斗場景中勝利。考慮到無人機的分布可能是這種情況下的決定性因素，無人機在超視距（BVR）作戰中的位置優化在文獻中引起了關注。這項工作旨在考慮敵人的不確定性，如射擊距離和位置，使用六種元啟發法和高保真模擬器來優化無人機的戰術編隊。為紅軍蜂群選擇了一種空軍經常采用的戰術編隊，稱為line abreast，作為案例研究。優化的目的是獲得一個藍軍蜂群戰術編隊，以贏得對紅軍蜂群的BVR戰斗。采用了一個確認優化的穩健性程序，將紅軍蜂群的每個無人機的位置從其初始配置上改變到8公里，并使用兵棋方法。進行了戰術分析以確認優化中發現的編隊是否適用。

索引詞：優化方法，計算機模擬，無人駕駛飛行器（UAV），自主智能體，決策支持系統，計算智能。

I. 引言

兵棋是在戰術、作戰或戰略層面上模擬戰爭的分析性游戲，用于分析作戰概念，訓練和準備指揮官和下屬，探索情景，并評估規劃如何影響結果。這些模擬對于制定戰術、戰略和理論解決方案非常有用，為參與者提供了對決策過程和壓力管理的洞察力[1]。

最近，無人駕駛飛行器（UAVs）作為一種新的高科技力量出現了。利用它們來實現空中優勢可能會導致深刻的軍事變革[2]。因此，它們的有效性經常在兵棋中被測試和評估。

由于具有一些性能上的優勢，如增加敏捷性、增加過載耐久性和增加隱身能力，無人機已經逐漸發展起來，并在許多空中任務中取代了有人系統[3]。然而，由于戰斗的動態性質，在視覺范圍之外的空戰中用無人系統取代有人平臺是具有挑戰性的。在空戰中，無人機可以被遠程控制，但由于無人機飛行員對形勢的認識有限，它將在與有人平臺的對抗中處于劣勢。然而，這種限制可以通過自動戰斗機動[4]和戰術編隊的優化來克服。此外，使用無人機可以允許一些戰術編隊和戰略，而這些戰術編隊和戰略在有人駕駛的飛機上是不會被考慮的，例如允許中隊的飛機被擊落，如果它有助于團隊贏得戰斗。文獻中最早的一篇旨在優化超視距（BVR）作戰中的飛機戰術編隊的文章[5]表明，空戰戰術是用遺傳算法（GA）進行優化的候選方案。該實施方案采用分層概念，從小型常規作戰單位建立大型編隊戰術，并從兩架飛機的編隊開始，然后是四架飛機，最后是這些飛機的倍數。在模擬中沒有對導彈發射進行建模。當一架飛機將其對手置于武器交戰區（WEZ）的高殺傷概率（Pkill）區域內一段特定時間，簡化的交戰模擬器就宣布傷亡。事實證明，所提出的方法的應用是有效的，它消除了團隊中所有沒有優化編隊的飛機，并為整個優化編隊的飛機團隊提供了生存空間。

Keshi等人[6]使用了與[5]相同的分層概念，從由兩架飛機組成的元素中構建大型戰術編隊。模擬退火遺傳算法（SAGA）被用來優化編隊，使其能夠克服對局部最優解的收斂。對16架飛機的編隊進行了優化，提出的最優解表明SAGA比基本的GA更有效。最后，為了探索一個穩健的SAGA，對不同的馬爾科夫鏈進行了比較，事實證明自調整馬爾科夫電流更適合所提出的問題。

Junior等人[7]提出使用計算機模擬作為一種解決方案，以確定BVR空戰的最佳戰術，使擊落敵機的概率最大化。在低分辨率下使用通用參數對飛機和導彈進行建模，并改編了名為COMPASS的模擬優化算法，模擬了兩架飛機對一架飛機的BVR戰斗。低分辨率模型假定在水平面的二維空間內有一個均勻的直線運動。使用優化的戰術表明，擊落敵機的平均成功率從16.69%提高到76.85%。 Yang等人[8]提出了一種方法來優化飛機對一組目標的最佳攻擊位置和最佳路徑。該工作考慮到飛機能夠同時為每個目標發射導彈，并將飛機與目標有關的攻擊性和脆弱性因素作為評價攻擊位置的指標。一個高保真模擬被用來模擬每個導彈的飛機、雷達、導彈和WEZ的動態特性。這項工作并沒有解決在BVR戰斗場景中優化一組飛機對另一組飛機的編隊問題。

Li等人[9]提出了一種基于指揮員主觀認識的編隊優化方法，即在空戰中目標設備信息不確定的情況下選擇飛機編隊的問題。首先，計算戰斗機的戰斗力，這是通過指揮員的主觀認識評估目標戰斗力的基礎。戰斗機的戰斗力以能力的形式表現出來，包括攻擊、探測、生存能力、通信、電子戰、預警系統等。因此，通過采用前景理論和綜合模糊評估來優化空戰訓練。最后，一個應用實例證明了該方法在小規模空戰中的可行性。作者聲稱，利用戰斗力評估戰斗情況的能力為優化空戰訓練提供了一種新的方法。

?zpala等人[10]提出了一種在兩個對立小組中使用多個無人駕駛戰斗飛行器（UCAVs）進行空戰的決策方法。首先，確定兩隊中每個智能體的優勢地位。優勢狀態包括角度、距離和速度優勢的加權和。在一個團隊中的每個智能體與對方團隊中的每個智能體進行比較后，每個航空飛行器被分配到一個目標，以獲得其團隊的優勢而不是自己的優勢。為一對對立的團隊實施了一個零和博弈。對許多智能體參與時的混合納什均衡策略提出了一種還原方法。該解決方案基于博弈論方法；因此，該方法在一個數字案例上進行了測試，并證明了其有效性。

Huang等人[11]開發了新的方法來處理UCAV編隊對抗多目標的合作目標分配和路徑規劃（CTAPPP）問題。UCAV的編隊是基于合作決策和控制的。在完成目標偵察后，訓練指揮中心根據戰場環境和作戰任務向每架UCAV快速傳輸任務分配指令。UCAV機動到由其火控系統計算出的最佳位置，發射武器裝備。合作目標分配（CTAP）問題通過增強型粒子群優化（IPSO）、蟻群算法（ACA）和遺傳算法（GA）來解決，并在歸因、精度和搜索速度等方面進行了比較分析。在進化算法的基礎上發展了UCAV多目標編隊的合作路徑規劃（CPPP）問題，其中提供并重新定義了獨特的染色體編碼方法、交叉算子和突變算子，并考慮燃料成本、威脅成本、風險成本和剩余時間成本來規劃合作路徑。

Ma等人[12]開展的工作解決了在BVR作戰場景中優化兩組（R和B）無人機對手之間的優勢地位問題。一個無人機ri∈R對一個無人機bj∈B的優勢是通過ri和bj之間的距離、ri的導彈發射距離的下限和上限、ri的高度和bj的高度之差以及ri的最佳發射高度來估計的。決定性的變量是無人機在兩組中的空間分布和每架飛機在這些組中的目標分配。無人機在三維作戰空間BVR中的可能位置被簡化（離散化），通過立方體的中心位置來表示。每個無人機組都有一組立方體。優化問題被建模為一個零和博弈，并被解決以獲得納什均衡。

Ma等人[12]提出的工作沒有使用高保真模擬來分析無人機空間分布的選擇和分配給它們的目標對BVR作戰的影響。高保真模擬對飛機、雷達、導彈及其導彈的WEZ的動態特性進行建模。這些動態特性也影響到BVR作戰時每架飛機的行動觸發，因此也影響到最終的結果。例如，如果在兩組無人機之間第一次沖突后的時間窗口內考慮高保真BVR作戰模擬，新的沖突可能會發生，直到模擬結束。因此，每個在交戰中幸存的無人機將能夠選擇一個新的目標，這取決于可用目標的優勢值。在[12]中沒有考慮與無人機行為有關的不確定性。有關敵方無人機在戰術編隊中的確切位置及其導彈發射距離的信息是行為不確定性的例子。這兩個信息和上面描述的其他信息在BVR戰斗中是相關的：它們直接影響飛機之間的交戰結果。

在這項研究中，我們試圖解決文獻中發現的一些局限性，如低分辨率模擬、與敵人有關的不確定性的處理以及缺乏對優化解決方案的穩健性的確認，旨在提高兵棋結果的質量。我們的目標是驗證哪些藍色蜂群的戰術編隊可以在BVR戰斗中戰勝紅色蜂群。作為一個案例研究，RED蜂群使用了空軍經常采用的戰術編隊，稱為line abreast[13]。為了評估BLUE蜂群解決方案的穩健性，我們解決了新的問題，改變了RED蜂群每架飛機的位置，目的是估計新的RED蜂群編隊對BLUE蜂群的優化戰術編隊的效率的影響。

我們使用自主智能體和高保真計算機模擬來優化BVR戰斗中的無人機戰術編隊，考慮與敵人相關的不確定性，如戰術編隊中的位置誤差和導彈發射距離。統一行為框架（UBF）被采納為創建自主智能體的基礎。飛機和導彈在三維環境中用六個自由度（DoFs）建模。

該程序將在接下來的章節中進一步討論。

人工智能技術的出現為空戰領域的許多研究鋪平了道路。學術界和許多其他研究人員對一個突出的研究方向進行了研究，即無人機的自主機動決策。形成了大量研究成果，但其中基于強化學習（RL）的決策更有效。已經有許多研究和實驗使agent以最佳方式到達目標，最突出的是遺傳算法（GA），A*，RRT和其他各種優化技術已經被使用。強化學習因其成功而廣為人知。在DARPA阿爾法斗狗試驗（Alpha Dogfight Trials）中，強化學習戰勝了由波音公司培訓的真正的F-16人類老飛行員。這個模型是由Heron系統公司開發的。在這一成就之后，強化學習帶來了巨大的關注。在這項研究中，將無人機作為目標，該無人機有一個杜賓斯車動態特性，在二維空間中使用雙延遲深確定策略梯度（TD3）以最佳路徑移動到目標，并用于經驗回放（HER）。首先，它的目的是讓agent采取最佳路徑到達目標，過程中有障礙物。在每個情節中，我們的agent從一個隨機點開始，我們的目標是穩定的，其位置沒有變化。它以最佳和快速的方式找到自己的路徑。然后，為了測試機制的極限，使我們的agent更難達到目標，并使其執行不同的機動性，我們添加了障礙物。它表現得很好，克服了所有的障礙。現在的研究是讓兩個無人機作為多agent在二維空間進行斗狗。這篇研究論文提出了一種運動規劃的算法，它使用了雙延遲深度確定性策略梯度（TD3），這是一種為具有連續行動的MDP定制的算法，使用強化學習作為基礎。