盡管當代無人系統在各種環境中都有應用，但它們在空域中占據著壓倒性的優勢。它們通常被稱為空中無人機或無人駕駛飛行器（UAV），而支持和控制無人機的系統則被稱為無人機系統（UAS）。空中無人機技術的廣泛應用導致其在戰場上的使用日益增多。因此，尋找有效的反無人機（反無人機系統）武器已成為一項嚴峻的挑戰。這項任務尤為艱巨，因為面對的是種類繁多的無人機系統，而它們的數量卻在以破紀錄的速度增長。目前，還沒有經過充分驗證的反無人機解決方案，大多數現有系統仍處于研究階段或新推出的原型階段。新出現的問題以及與之相關的一系列不確定性成為本出版物討論和介紹這一問題的基本依據。本文從現代戰爭的角度討論了防御無人機系統這一重要課題。作者探討了如何在軍事行動中規劃和實施反無人機防御，以及哪些技術解決方案可用于這一目的。在整個研究過程中，作者采用了各種方法，包括分析、綜合、比較和案例研究，主要是通過研究有關納戈爾諾-卡拉巴赫近期武裝沖突和烏克蘭持續沖突的公開來源信息。這些方法使作者得以驗證他的主要假設：目前尚無有效的無人機反制系統，尤其是針對可自主運行、利用人工智能算法制導和決策或參與大規模攻擊（被稱為 “蜂群”）的無人機。同時，指出應開發哪些新的技術解決方案以實現有效的反制措施，以及應將哪些戰術納入軍事訓練以應對這一威脅。此外，還討論了現有防空系統在多大程度上可用于反無人機防御，以及是否有針對此類威脅的有效部隊保護方法。

從納戈爾諾-卡拉巴赫沖突（Hecht，2022 年）和烏克蘭沖突（Wyrwa?，2022 年）得出結論，無人機在戰場上的廣泛應用已成為現實，無需再做說服工作。無人機不僅能執行觀察和偵察任務，還能執行打擊、運輸、搜索和救援行動等許多其他任務，顯示了其多功能性。目前，看到的無人機既有單個的，也有成群的，還有像可重構模塊智能作戰陣列（SWARM）這樣的機群。此外，大多數無人機的生產成本非常低，但其效能卻足以成功摧毀高價值目標和先進軍事裝備。無人系統的任務和設計多種多樣，因此需要有效的制衡措施，包括反無人機系統和反無人機防御方法。在這方面，研究課題的重點是反無人機防御，即一套旨在探測、識別和制服無人機（無人駕駛航空系統）的措施和作戰能力，以保護自己的部隊、軍事設施和民用物體。

由于現有的無人機設計種類繁多，因此采用了歸納法來確定具有代表性的無人機類型、任務和飛行特征。為此，采用了北約三級分類模型。隨后，可據此估算現有反無人機系統在打擊特定類別無人機方面的潛在效力。為此，對目前運行的反無人機系統進行了分析，同時考慮到其兩個主要功能：監測空域和打擊空中目標。因此，確定了這些系統在打擊無人機方面的能力和局限性。研究再次證實了作者的觀點，即當代反無人機系統能夠在有限的范圍內制服 1 級無人機，即迷你、微型和小型無人機。遺憾的是，這些系統無法同時對付大群無人機及其蜂群。目前，也沒有專門的反無人機系統可以對付 2 級和 3 級無人機。這些任務只能由防空系統來完成，而防空系統的成本巨大，往往高得不成比例。為尋求這一問題的解決方案，作者介紹了未來利用定向能武器（DEW）的反無人機系統的潛力，以及在推出更有效的反無人機系統之前應采用的新軍事戰術。作者還主張，有效的反無人機防御必須是多層次的，涉及可與不同類別無人機互動的各類反無人機系統。只有這些系統達到適當的飽和狀態，才能使軍隊在陸地和海上不間斷地執行任務。他還認為，反無人機防御的發展應被視為一個持續的過程，在這一過程中，應針對環境變化和新技術進步做出動態響應。換句話說，所提出的系統解決方案應具有開放式架構，允許在無人機平臺出現新設計、新技術和新能力的情況下進行調整。

反無人機系統

現代戰爭中使用的無人飛行器設計多種多樣，因此在構建和運行反無人機系統時必須考慮各種因素。其中，應始終考慮無人飛行器的以下特征：推進力、有效雷達截面、制導方式、作戰上限、飛行距離、空中續航時間、預期目的、作戰能力（包括收集情報、攜帶和發射有效載荷的能力）以及電磁干擾對策。

圖 2. C-UAS 參與中考慮的無人機系統特征。

反無人機系統的運作包括以下活動：探測、目標分類（識別）、跟蹤，以及向負責解除其威脅的執行器發出警報和傳送信息。根據目標的類別，這些任務可通過不同的系統、傳感器、探測和交戰技術來完成。目前，反無人機系統可分為兩個基本類別：空域監測系統和反制系統。

空域監測系統

監測系統既可以是主動的，也可以是被動的。在這方面，主要有四種無人機探測方法：

• 用于空域監視的電磁波雷達系統。
• 頻率信號探測器，用于探測無人機控制所使用的無線電信號。
• 聲學傳感器。
• 光學和光電設備，包括紅外熱像儀。

現代無人機大多由復合材料制成，因此雷達截面（RCS）非常低，難以被雷達系統探測到。它們可能被誤認為是鳥類，因為無人機通常沒有配備識別系統，而這種設計是有意為之，因為無人機經常在敵方領土上空作業。因此，雷達信息并不總是完整的，可能導致嚴重的并發癥，特別是當友方和敵方的無人機在同一空域運行時（Holland Michel，2019 年）。此外，無人機（UAV）的飛行高度比飛機或直升機低得多，在地形障礙物的掩護下機動更加自如。無人機能夠從簡易跑道和著陸點進行操作，在附近發射時，它們會突然出現在空域。所有這些因素表明，雷達偵察只能作為探測無人機的可能方法之一。

以識別為基礎的反無人機系統應依靠多種探測器或傳感器，基本上是各種組合和配置。其中一種傳感器是頻率信號探測器，可識別使用無線電波與其操作員通信的無人機。大多數遙控無人機的工作頻率在 2.4 GHz 至 5.8 GHz（Wi-Fi 頻率）范圍內（Gupta、Ghonge、Jawandhiya，2013 年），因此監測這些頻率有助于檢測其活動。一些基于三個傳感器的系統可以檢測到發射設備的 IP 地址并找到操作者。另一種無人機探測方法是跟蹤其視頻傳輸頻率。許多裝有攝像頭的無人機會向操作員傳輸實時視頻。視頻傳輸頻率因無人機類型而異，但常用的頻率范圍包括 2.4 GHz、1.2 GHz 和 5.1 GHz（Aouladhadj、Kpre、Deniau、Kharchouf、Gransart、Gaquière，2023 年）。掃描無線電頻譜是一種相對簡單的方法，不需要大量資金投入，但可能會因其他設備使用相同頻率而導致誤報。頻率信號探測器通常用于對付在可視范圍內控制的小范圍商用無人機。該系統的優點是被動性強，但在無線電信號高度集中的城市環境中進行跟蹤存在局限性，而且無法探測到預先計劃好飛行軌跡的無人機。

使用聲學傳感器也可以實現無人機探測。這些傳感器通常是定向麥克風或麥克風陣列，可以探測到無人機的聲音，并指示無人機接近的方向。與頻率信號探測器類似，使用至少三個麥克風是理想的配置，因為這樣可以提供被探測目標的三維圖像。這種系統的優勢在于它是一種被動探測方法，在視覺和無線電能見度有限的地區特別有用，而且可以與其他探測系統互為補充。由于麥克風設備重量輕，這些探測器通常具有很強的移動性。然而，聲學傳感器的一個重要局限是無法在嘈雜的環境（如城市地區或強風中）中工作，這可能導致探測距離有限，僅為 300-500 米左右（Vashisht，2021 年）。此外，一些無人機可能配備了降噪技術，在使用聲學探測器時應考慮到這一點。因此，應將這些探測器視為輔助系統，而不是獨立的解決方案。

光學傳感器，包括日光攝像機和紅外攝像機，也可用于識別空中無人機。這些設備的優點是可以根據無人機的形狀檢測和識別無人機，并記錄涉及無人機的事件。然而，這些系統的缺點是在惡劣天氣條件下可能會失效，如大霧、暴雨，有時甚至在夜間。此外，這些系統觀測空域的視野有限。

應將不同的傳感器和監測技術結合起來使用，以提高無人機探測的有效性并減少誤報。監測系統可以具有被動（觀察和監聽）和主動（向目標發送信號并分析其反射）兩種特性（Wang、Song、Liu，2021 年）。值得注意的是，與其他傳感器相比，雷達系統提供的數據最多，因為它可以探測到很遠距離的目標，并高精度地確定其位置，而不受天氣條件（霧或云等觀測因素）、白天或夜晚時間的影響。不過，應該記住，雷達系統的探測距離始終取決于無人機的大小及其有效雷達截面。

反制系統

打擊空中無人機有幾種方法。以下系統可用于此目的：

• 無人機飛行干擾系統
• 物理攔截系統
• 失效系統（火力、激光、電磁）。

干擾系統的使用涉及破壞射頻（RF）信號和干擾全球導航衛星系統（GNSS）的衛星導航信號，如全球定位系統（GPS）、格羅納斯（GLONASS）、伽利略（Galileo）或北斗（BeiDou）。射頻干擾需要發射無人機與其操作員之間用于通信的類似頻率的信號。這可能導致操作員失去控制，使無人機無法正常運行，被迫自動降落或返回初始起飛點。無人機通常依靠衛星導航信號來保持飛行方向和穩定性。干擾 GPS 信號可以通過在 GPS 系統使用的頻率范圍內發射強烈的無線電信號來實現。其后果可能是無人機在空域中迷失方向，失去飛行控制。頻率發射器操作的優點是中和無人機的成本低，被稱為 “軟殺傷”，缺點是射程短，可能干擾其他設備，包括自己的無人機。

對付無人機的另一種方法是使用物理攔截系統。在這種情況下，通常會使用地面網狀發射器，以便攔截飛行中的無人機并使其失效。另一種方法是使用其他無人機接近目標無人機，用網捕捉它，然后將其降落到地面。這種解決方案對配備旋轉螺旋槳、運行距離極短的小型無人機尤為有效。地面發射的網在 20 米到 300 米的距離內都有效（Robin Radar，2023 年），而從無人機上布下的網會大大影響無人機的重量、機動性和空中飛行時間。裝有發射器或布設網的無人機的重新裝載和重新發射時間也很長。不過，網基系統的優點是攔截精度高，附帶損害風險低。

最后一種也是最常用的在戰場上打擊無人機的方法是無人機失效，即在飛行過程中摧毀無人機。為此，通常使用機槍、霰彈槍或小口徑速射炮（火炮），它們也可用作高射炮系統。這種火力可以是目視、光學或雷達制導的。此外，就短距離快速摧毀小型空中目標的能力而言，反火箭炮和迫擊炮（C-RAM）系統似乎是理想之選。它們采用半自動作戰模式，由于使用可編程彈藥，擊中目標的概率很高。在火力系統中，還可使用便攜式單兵防空系統（MANPADS）和短程防空導彈系統（Dura，2023 年）。然而，必須注意使用這些系統的成本效益，尤其是在對付裝備旋轉翼的 I 類無人機時。這些無人機的生產成本與向其發射導彈的潛在成本相比低得不成比例。此外，這類無人機的飛行特性，如低速和低空，使其容易成為目標，并容易受到廉價、非專門化火力的攻擊。

在直接使無人機在飛行過程中喪失能力的系統中，最新的解決方案是基于定向能武器（DEW）的武器，這種武器利用光束聚焦能量。其中包括高功率微波（HPM）武器或高能激光（HEL）武器。高功率微波發射器（HPM）能產生強大的電磁脈沖，可摧毀無人機的電子設備或干擾其運行。使用這類武器的優點是非動能破壞。然而，其顯著缺點是需要將大量能量集中在光束中，因此必須使用大型、耗電的發電機，這限制了機動性和作戰能力（美國政府問責局，2023 年）。

高能激光武器（HEL）有多種類型，包括固體激光器（SSL）、化學激光器（CHEL）和自由電子激光器（FEL）。激光武器的工作原理是將電能轉化為光能，然后將光能集中到窄激光束中。與傳統槍械相比，HEL 具有若干優勢。它具有反應時間快、交戰速度快（激光束以光速傳播，可立即使目標喪失作戰能力）、因光束聚焦在較小的表面區域而具有較高的精確度、與傳統彈藥相比成本較低、無活動部件，從而降低了維護成本并提高了可靠性（CRS，2023 年）。

然而，值得注意的是，HEL 武器的開發和利用也伴隨著技術挑戰和限制，如激光系統的有效冷卻、在整個作戰范圍內保持光束穩定、產生足夠強大的光束以打擊遠距離空中目標，以及與 HPM 武器類似，使用機動性有限的大型發電機（D?browski，2017 年）。

說到對抗空中無人機，重要的是要注意沒有 “銀彈 ”方法能提供有效的無人機防御。無人機平臺的多樣化及其執行任務的廣泛性要求反無人機系統進一步專業化，同時利用動能和非動能作戰手段。目前，這些方法的結合以及采用具有不同探測和失效能力的系統的多層次方法可以在一定程度上減輕無人平臺（尤其是最小的無人平臺）帶來的威脅。然而，不幸的現實是，雖然這些系統能有效對付極小型無人機，但卻無法摧毀在高空和遠距離作業的二等和三等無人機。此外，由于缺乏多通道能力，在涉及大群無人機或無人機群的情況下，這些系統可能會失效。即使是最有前途的無人機反制措施，也無法在廣泛的作戰平臺上進行擴展和應用。盡管缺乏明確的解決方案，無人機反制市場仍在快速增長（預計到 2031 年底，市場價值約為 146 億美元）（Alied Marked Reserch，2023 年）。

應對無人機的方法（反無人機戰術）

在考慮應對無人機威脅的可能方法時，有必要討論目前的情況，即很難有經過實戰測試的反無人機系統。在大多數情況下，民用系統是經過改裝的，最初是為了保護機場免受私人用戶未經授權的進入，這些私人用戶通常在機場可視范圍內操作無線電遙控無人機。遺憾的是，如前所述，這些系統由于機動性有限、操作距離短，在作戰環境中通常無法發揮作用。同樣，手持射頻干擾器等便攜式系統也證明無效。其最大干擾范圍為 500-1000 米，電池壽命最長為 30 分鐘。人們很快認識到了這些局限性，因此開始實施在干擾設備射程之外部署無人偵察機的戰術。目前，偵察無人機通常在距離敵方陣地超過 1000 米的地方作業，并采用光學或數字變焦技術進行觀察。此外，烏克蘭沖突中的經驗表明，無人機操作員在野外使用信號增強天線，使干擾工作更加復雜。另一方面，衛星導航（GPS）信號干擾系統只有在選擇性戰術情況下才有效，這意味著它們可以在敵方無人機系統不使用時干擾敵方無人機行動。因此，這些系統更適用于保護城市和關鍵基礎設施，而不是直接用于戰場。同樣，干擾作戰無人機也具有挑戰性，因為無人機飛行高度很低、速度很快，而且利用地形掩護，因此很難將電磁發射器對準它們（Wyrwa?，2022 年）。

戰場上解除無人機威脅的主要手段是火炮和導彈防空系統。但需要注意的是，根據其使用原則，這些系統都部署在軍事行動的后方。因此，前線防線仍然很脆弱，容易受到無人機的攻擊，特別是那些在極低空飛行的最小的 1 類無人機。在這種情況下，對付它們的方法之一是用小口徑單兵火器（小武器、機槍、霰彈槍）與之交戰。然而，由于無人機體積小、速度快、機動性強，這種交戰的效果有限。目前，還可以使用由佩戴護目鏡的操作員控制的第一人稱視角（FPV）無人機，從無人機的視角直接觀察敵方最小的無人機，從而使其失效。FPV 無人機的時速可達 100 公里，可用于直接（自殺式）攻擊敵方無人機。不過，使用這種無人機需要經過嚴格訓練的操作人員，具備在戰場條件下高速操縱這種飛行器的能力。

不過，摧毀 2 級和 3 級無人機的能力仍在專業防空系統的能力范圍之內。遺憾的是，這類措施的成本效益通常不利于防御系統。傳統的中程甚至短程防空導彈非常昂貴，而無人駕駛系統則價格低廉，應用廣泛。相比之下，一枚 “愛國者 ”導彈的成本約為 300 萬美元，一枚用于基輔防御的 NASAMS/AMRAAM 導彈估計為 100 萬美元（Partrige, 2022），而俄方使用的沙赫德-136 “神風 ”無人機的成本（視型號而定）僅為每單元 2 萬至 6 萬美元（Sof, 2022）。

此外，使用無人機群或無人機群的性質要求防空系統達到相當高的飽和度，以保護軍事編隊的優先要素。另一個問題是識別無人機的能力，因為無人機被有意設計為在敵后行動，而且沒有配備敵友（IFF）識別系統。由于這些原因，遵守空域管制規則和執行空域管制措施也具有挑戰性。因此，有必要開發一些系統，如利用人工智能（AI）的系統，可以根據無人機的輪廓、特定偽裝、工作頻率或操作方法識別無人機。

目前，由于缺乏有效的反無人機措施來保護部隊，因此有必要制定反無人機戰術（Michalski & Michalska, 2017）。這些戰術不僅應包括主動措施，如探測、偵察、警戒和制服無人機，還應包括被動防御措施，旨在保持軍事力量的生存能力和存活率。在被動反無人機防御領域，必須規劃隱蔽和偽裝等活動，使用欺騙、人工誘餌、陷阱和誘餌。應盡可能將無線電波輻射、電磁輻射和噪音降至最低。在能見度低或夜間條件下規劃部隊調動和部署至關重要。采用分散兵力和防御網絡有助于攔截在友軍陣地和關鍵作戰系統上方執行神風特攻隊任務的游蕩彈藥和無人機（ATP 3-01.81, 2023）。雖然這些措施可能不是最具創新性的，而且在某種程度上與偽裝和部隊保護的一般原則相一致，但在無人系統威脅很大的情況下，這些措施可能特別有用。

無人駕駛飛行器（UAV）又稱無人機，它的發展給航空業帶來了革命性的變化，并已成為現代戰爭的一部分。無人機最初是為軍隊開發的，用于執行對人類來說 "枯燥、骯臟或危險 "的任務，如今，無人機已被用于支持大量非軍事任務，如治安和監視、航空攝影、包裹遞送、森林火災監測和撲救、農業、基礎設施檢查和科學工作等。無人機的軍事用途始于越南戰爭，但在伊拉克沖突以及后來的阿富汗沖突中都有廣泛使用。最近，在阿塞拜疆與亞美尼亞的沖突中，智能無人機的使用使阿塞拜疆明顯占了上風。土耳其的 TB-2 無人機被烏克蘭非常有效地用于收集情報，以對付強大得多的俄羅斯。顯然，無人駕駛飛機技術現已成為增強戰斗力的手段。

大多數無人機都有一名操控員，他從遠程位置駕駛無人機，通過安全的通信鏈路控制無人機的使用。人工智能（IA）和機器學習（ML）以及高速機載計算的進步使無人機能夠自主運行。在大多數空中任務中，無人機正在迅速取代人類。無人機被用于空中加油，無人駕駛旋翼機在移動的船只上自主著陸，無人機利用太陽能執行長時間飛行任務，還有無人駕駛或可選擇有人駕駛的戰斗機。無人機正在成千上萬地組成完全協調的飛行群。有人機-無人機空中編隊，即一架有人機控制一組無人機。這種編隊將利用兩種類型的優勢。作戰無人機正被用于情報、監視和偵察（ISR）、電子戰、地面打擊任務和空中作戰。大型無人機執行貨運任務的工作已經開始。實際上，有朝一日無人機將執行所有類型的空中任務。

無人機的尺寸和重量多種多樣。無人機的分類還與其最大工作高度和航程有關。無人機可以小到昆蟲，也可以大到客機。飛行高度帶可以與有人駕駛飛機一樣高。如果人類不在平臺上，續航時間甚至可以長達數月。同樣，無人機在進行高 "g "機動時也不再受人類生理機能的限制。無人機可以以超音速飛行，以后甚至可以以高超音速飛行。太空已經被無人系統所占據，因此，航空航天領域未來也會有更多的無人系統。

實際上，世界上所有重要的空軍部隊都擁有無人機。許多國家都在制造無人機和小型無人機。美國、以色列和中國在無人機制造領域處于全球領先地位。土耳其也正在成為一個重要的出口國。數以百萬計的業余無人機在全球各地飛行。四旋翼無人機是業余無線電遙控飛機和玩具廣泛流行的例證。

無人駕駛航空通勤飛行器已經過測試，很快就會出現在空中。這需要國際民用航空組織（ICAO）的規定，包括空中規則。還有適航認證問題。無人機遙控駕駛員需要進行分類，并獲得有效期為 10 年的遙控駕駛員培訓組織（RPTO）認證。必須為市內通勤指定特定的城市空中走廊。空中交通管理將面臨新的動態。無人機銷售也需要通過獨特的識別號碼和許可證進行監管。

戰斗無人機擁有更大的自主權，可以在沒有決策干預的情況下自由攻擊和殺害人類，這涉及倫理和法律問題，需要加以解決。在無人機中，人類仍將以某種形式處于環路中，即使這意味著決定算法并擁有一定的優先權或否決權。設計板上的大多數高端未來飛機仍以飛行員為中心。因此，盡管無人駕駛飛行器取得了進步，但飛行員仍需要一些年才能看到空中的彩虹和高空的日落。

在伊拉克、阿富汗和伊朗等國，無人機曾被用來追蹤和殺害人類。最近，一個配備致命武器的自主殺人機器人在利比亞襲擊人類。無人機正被用于定點清除重要人物。2020 年 1 月 3 日，伊朗少將卡西姆-蘇萊曼尼在巴格達國際機場被美軍無人機擊斃。2022 年 5 月初，911 襲擊的實施者之一艾曼-扎瓦希里（Ayman al-Zawahiri）在喀布爾的一次超視距無人機襲擊行動中喪生，當時他作為塔利班的客人居住在喀布爾。

無人機已被用于走私武器和毒品。恐怖分子可以利用無人機攻擊目標，甚至擊落飛機。攜帶小型手榴彈的無人機群可以神風特攻隊的方式飛入大型集會，制造混亂。

由于無人機已成為一種強大的空中武器平臺，使用反無人駕駛航空系統使其失效就變得非常重要。由于無人機體積小、特征低，探測總是會延遲。先進的雷達和光電探測手段正在不斷發展。可以通過動能手段使用硬殺傷武器擊落無人機，也可以使用電子戰技術使其失效，或發射一張網纏住旋翼。

反無人機系統（C-UAS）技術的興起主要是由于在民用和戰時環境中不斷擴大使用無人機（體積小、價格低的系統）所帶來的新威脅。與探測系統一樣，沒有一種攔截系統是完全有效的。由于無人機技術的擴散，反無人機系統將不可避免地成為未來所有沖突中無處不在的武器。這些反無人機系統必須足夠靈活，能夠探測到各種形狀和大小的無人機并使其失效。

本專著試圖對無人機和反無人機技術在軍事和民用領域的發展進行環境掃描，以及這些技術如何試圖改變現代戰爭的性質，從低強度沖突到全面戰爭。

該專著分為三個部分，首先從歷史角度介紹了無人機作為空中力量的一個要素是如何演變的。

第一部分用六章介紹了無人機技術，涉及無人機的組件、操作、技術進步以及影響其操作的法律問題等各個方面。

第二部分有兩章，涉及與反無人機系統有關的操作和技術方面。

第三部分有兩章，總結了目前使用這些系統的啟示，以及在塑造這兩種系統未來發展方向方面的經驗教訓。最后一章總結了無人機和反無人機的主題。

無人機系統（UAS）的發展及其在作戰行動中的應用代表著戰爭模式的轉變。自 20 世紀末以來，無人機系統一直被用于情報搜集和精確打擊，但傳統武裝部隊一直認為無人機系統不適合大規模作戰行動（LSCO），而且過于脆弱。最近的沖突證明情況恰恰相反。這些沖突還表明，無視戰場上無人機系統威脅的部隊將無可挽回地面臨失敗。通過三個案例研究（納戈爾諾-卡拉巴赫、中東和利比亞），本專著將強調無人機系統威脅對聯合作戰模式的嚴峻挑戰。然而，如果部隊具有凝聚力、訓練有素、組織有序，能夠保護自己免受這種威脅，并采取積極主動的方法應對這種威脅，那么這種作戰方式在無人機環境下仍然適用。此外，最近發生的涉及使用無人機的沖突重新喚起并強調了不同部門之間，甚至部隊不同領域組成部分之間必要的合作精神，并強調了這種方法的重要性。最后，無人機并沒有改變戰爭的性質。相反，無人機加強了戰爭的政治性，因為無人機的使用直接影響到面對無人機的交戰方的決策。

時間是 2040 年。法國陸軍正以一個師的兵力投入到一次大規模、全域、作戰行動（LSCO）中，以應對同行的威脅。這支部隊正在對行動區內威脅法國國家利益的一個地區勢力實施聯合強行進入行動。美國向法國提供了防空能力，以確保部隊的機動自由。在聯合部隊成功突破反進入/區域封鎖（A2AD）保護后，該師的偵察梯隊完全由無人駕駛車輛組成。這個無人駕駛的第一梯隊旅使指揮官能夠在不與滯留在后方的輕步兵部隊交戰的情況下進行偵察。由于無人機在戰場上占據主導地位，裝甲單元被認為過于脆弱，坦克或步兵戰車因被認為過于昂貴而退役，無法在作戰環境中保持相關性。由于敵方強大的 A2AD 網絡，并根據總參謀長的建議，法國總統選擇不部署有人駕駛飛機，因為損失一架飛機在財政成本和公眾輿論方面都將是災難性的。因此，空中部分完全由武裝無人機組成，它們具有強大的持久打擊能力，而無需冒有人駕駛飛機的風險。以前的師系統，包括重型和輕型裝甲旅戰斗隊、一個師偵察營以及完全由人員組成的情報、火力和維持輔助部隊，已經被放棄，因為它太重太脆弱，不夠靈活，無法在大量使用無人資產的作戰環境中取得勝利。現在的新師是由搭載在輕型裝甲車上的輕步兵單元和無人機組合而成。該單元在強大的防空系統保護傘下開展行動，既能防護有人或無人飛機，又能依靠動能和非動能資產。該師擁有輕型車輛，易于部署；擁有無人機，機動性強；擁有強大的防空層，生存能力強。

一種新的作戰方式已經形成，傳統的聯合兵種機動方式已被歷史塵封。無人機取代了傳統的情報和火力資產，將兩者結合在一個平臺上。由于無人機能夠在戰場上的任何地方開展行動，它們證明了裝甲和機械化單元的無用性，因為它們很容易成為無人機的目標。無人機可以飛越敵方領土，瞄準雷達、指揮所或后勤節點。它們在戰場縱深的行動會擾亂敵軍的陣腳，摧毀其戰斗意志。因此，配合無人機行動的唯一部隊是輕步兵，以占領地面并確保持久的勝利。

未來幾十年，聯合作戰是否會朝著這個方向發展？無人機是否代表著戰爭性質的最終改變？無人機能否僅靠自身力量贏得沖突并限制地面部隊的投入？通過對近期沖突的研究，如 2020 年的納戈爾諾-卡拉巴赫戰爭、近期中東地區圣戰組織與常規部隊（美國、俄羅斯或歐洲）之間的沖突以及 2019 年和 2020 年的利比亞戰爭，這些沖突都顯示了無人機的廣泛應用，可能會得出這樣的結論。這些沖突顯示了使用無人機所帶來的潛力，以及從 20 世紀戰爭演變中繼承下來并延續到 21 世紀初的常規聯合武器方法的局限性。使用裝甲和機械化編隊的傳統聯合作戰方法的交戰方在面對無人機攻擊時遇到了困難，因為無人機的攻擊會在戰爭的戰術、作戰或戰略層面上削弱指揮官的能力。無人機為其使用者提供了非對稱優勢：通過使防空系統飽和、永久占據天空、通過攝像頭捕捉可能造成的高傷亡以及在社交網絡上播放宣傳片的影響，無人機代表了一種進入對手決策圈的新方法。

在這里，沖突的性質很重要。正如理查德-哈斯（Richard Haas）在《必要性戰爭，選擇性戰爭》（War of Necessity, War of Choice： 兩次伊拉克戰爭回憶錄》中所下的定義。在比較兩場伊拉克戰爭時，他說："必要的戰爭涉及最重要的國家利益，除了使用武力之外沒有其他有前途的選擇，如果要維持現狀，肯定要付出相當大的代價"。另一方面，"選擇性戰爭往往涉及不那么明顯'重要'的利害關系或利益，以及存在可行的替代政策"。這一區分非常重要，因為它將決定使用手段的范圍，限制或擴大武器的選擇。在一場有選擇的戰爭中，無人機可以提供良好的能力，給對手造成損失，并在不冒生命危險或昂貴的物資損失的情況下達到目標。由于其無人駕駛的性質，無人機為其使用者提供了可擴展和創造性的選擇，而不會受到使用有人駕駛飛機固有的技術、戰術甚至政治限制的阻礙。在迫不得已的戰爭中，它們可以通過瞄準防空網絡、后勤節點、指揮所或機動單元，作為力量倍增器來削弱對手的軍事力量。

20 世紀，交戰國陸軍提出了聯合作戰的概念。一戰結束后，法國開始實施坦克、步兵和炮兵協同作戰。在戰時，這一概念繼續發展，并在第二次世界大戰期間得到所有交戰國空軍的整合。沖突結束后，面對作戰環境的變化、原子武器的威脅或反叛亂戰斗，這一概念得到了完善，但總體上仍具有現實意義。根據美國的條令定義，聯合作戰是 "同步和同時使用各種武器，以達到比單獨或依次使用每種武器更大的效果"。這種方法的優勢在于使不同的作戰功能能夠彌補其他功能的不足。通過這種合作，作戰功能構成了一個強大的作戰系統。

上述每一次沖突都對聯合作戰方法提出了挑戰，迫使領導人修改作戰方法。今天，無人機的威脅是對聯合作戰模式的嚴峻挑戰。然而，在無人機環境下，如果部隊具有凝聚力，訓練有素，組織有序，不僅有能力保護自己免受威脅，還能采取積極主動的方法應對威脅，那么這種作戰方式仍然適用。此外，最近發生的涉及使用無人機的沖突重新喚起并強調了不同部門之間，甚至部隊不同領域組成部分之間必要的合作精神，并強調了這種方法的重要性。最后，無人機并沒有改變戰爭的性質。相反，它們加強了戰爭的政治性質，因為它們的使用直接影響到面對它們的交戰方的決策。

在為潛在的高強度沖突做準備的背景下，這個問題與西歐或美國陸軍等行為體高度相關，因為自冷戰結束以來，這些行為體一直在相對舒適的環境下作戰，擁有無可爭議的空中優勢。在此期間，西方軍隊面對的敵人不具備造成大量傷亡的能力或技能。因此，他們不會像納戈爾諾-卡拉巴赫戰爭中那樣，面臨意味著友軍大量損失而導致決策癱瘓的重大致命僵局。

無人機也被稱為 "無人駕駛航空系統"（UAS），指的是在沒有任何飛行員的情況下自主或遠程操作的任何飛機。無人機系統由三個關鍵部分組成：

• 無人駕駛飛行器（UAV）、
• 遠程控制飛行器的操作員、
• 連接前兩個部分的指揮和控制系統（C2）。

最初，無人機是在不裝備武器的情況下運行的，但最終還是裝備了武器。如今，閑逛彈藥是武裝無人機的最后演變。據無人機研究中心的丹-格廷格和阿瑟-霍蘭-米歇爾稱，"它們的設計目的是用爆炸彈頭攻擊視線以外的地面目標"。懸停彈藥將在戰場上空飛行，跟蹤潛在目標并最終將其擊落。簡而言之，這種彈藥就是自殺式無人機。在本研究中，無人機系統和無人機的表述將不加區分地使用。

本專著將介紹三個案例研究：第一個案例研究將側重于 2020 年的納戈爾諾-卡拉巴赫戰爭，以及亞美尼亞人無力應對無人機威脅所造成的后果：由于阿塞拜疆憑借無人機和閑逛彈藥獲得了空中優勢，亞美尼亞領導層被削弱，被迫承認失敗，同時在戰場上面臨重大損失。第二個案例研究將考慮非國家行為者在伊拉克和敘利亞使用無人機打擊常規對手的情況。盡管戰術成功與否參差不齊，但無人機使用者能夠讓對手懷疑自己的實力，并在敵人的母國制造恐慌。反伊斯蘭國聯盟成員通過加強聯合武器合作和窒息恐怖分子的無人機制造網絡，成功地保護了自己的部隊。最后，第三個案例研究的重點是利比亞的無人機。利比亞被認為是世界上最大的無人機行動區，表明無人機構成了新的廉價版空中力量。然而，在利比亞，無人機并不足以在戰場上強制決策；要贏得長期決策，就必須與地面裝甲和機械化單元合作。僅靠無人機的部隊無法保持戰術優勢，也無法實現戰略目標。從作戰角度看，利比亞案例研究強調，無人機的使用加強而非徹底改變了聯合和聯合武器合作的精神。無人機是戰爭方式范式的轉變。它迫使軍事領導人改變作戰方式和作戰方法。然而，這還不是一場軍事革命。跨領域合作能夠在面對這一威脅時扭轉局勢。

在視距（WVR）內進行空戰需要執行復雜的空中機動和快速的順序決策。如果加入額外的武器能力，這些決策的復雜性還會進一步增加。無人自主飛行器技術和武器能力的發展有助于克服人為限制帶來的障礙。事實證明，自主無人作戰飛行器（AUCAV）和定向能武器（DEW）等先進武器能力在 WVR 空戰中至關重要。這就引出了一個問題--AUCAV 能否擁有適當的人工智能和武器能力，以改進高質量的空戰演習和戰術？為了研究這個問題，我們提出并解決了廣義空戰機動問題（ACMP），在這個問題中，我們建立了一個模型，以控制正在尋求與攻擊敵機交戰的防御型 AUCAV。該模型利用每架飛機的 5 自由度點質量來跟蹤其狀態轉換，同時還跟蹤內部攜帶的火炮和 DEW 能力。由于該問題的維度較高，我們提出了一種近似動態編程（ADP）方法，其中我們開發了一種近似策略迭代算法。這種 ADP 算法通過神經網絡回歸來實現高質量的戰斗機戰術和機動。我們的計算實驗結果表明，在 3 個問題實例中，有 2 個實例的 ADP 策略優于所有 3 個基準策略。ADP 策略學會了同時使用內部攜帶的火炮和 DEW，這促進了 ACMP 中任一武器平臺的態勢效益理念。在 WVR-ACMP 中加入 DEW 功能可以體現前所未有的空戰戰術。

現代戰斗艦艇，如護衛艦和驅逐艦，經常使用海上直升機。眾所周知，在惡劣天氣中降落直升機既困難又危險；此外，如果飛行條件過于惡劣，直升機將無法獲準起飛，艦艇能力的一個重要組成部分也將喪失。艦船上空不穩定的氣流，尤其是飛行甲板附近的氣流，是限制直升機作業范圍的一個重要因素。氣流的特性被稱為艦船氣流，取決于相對于艦船的風速和風向，以及艦船上層建筑的幾何形狀。與雷達橫截面等因素相比，船舶上層建筑的空氣動力學在設計階段并未受到太多關注。本論文介紹了一項利用建模和仿真技術對一艘現代戰艦的空氣動力學設計進行評估和指導的研究。所采用的建模技術包括時間精確計算流體動力學，用于計算全尺寸艦艇上復雜的三維非穩定流場；以及直升機飛行動力學數學模型，用于計算直升機如何對非穩定氣流做出反應。這些建模技術隨后被用于兩個模擬應用中：一個是虛擬 AirDyn，用于評估船舶氣流對直升機造成的不穩定載荷；另一個是在運動基地飛行模擬器中進行駕駛飛行模擬，用于評估氣流對飛行員在甲板上著陸時工作量的影響。這些建模和模擬技術被用于評估船舶上層建筑的不同設計方案。這些技術還用于研究船舶尺寸如何影響氣流和船舶運動，以及這些因素如何影響直升機和飛行員在著陸甲板上操作時的工作量。氣流建模還用于預測船舶的熱發動機廢氣如何與氣流混合，從而導致飛行甲板上方和周圍的溫度波動升高。

研究表明，飛行甲板前方船舶上層建筑幾何形狀的相對微小變化如何影響直升機的空氣動力負荷，這些影響可以被檢測和量化，從而為船舶設計師提供指導。研究還表明，大型船舶會產生更大、更猛烈的氣流，從而干擾直升機，增加飛行員在著陸時的工作量。另一方面，較小的船舶在波濤洶涌的海面上會有更大的動態運動，而且甲板較小，上層建筑較近。模擬顯示了這些不同的影響如何結合在一起，以及船舶大小如何影響甲板著陸時飛行員的工作量。研究還發現，雖然近海石油鉆井平臺直升機運營商對空氣溫度上升的限制有明確的指導方針，但在操作直升機前往船舶時卻沒有這樣的指導方針，而且飛行甲板上可能出現的溫度上升范圍足以影響直升機的性能。

這項研究的一個重要貢獻是為一艘真實艦船的設計提供了參考，從而證明了建模和模擬在直升機作業船舶設計中的潛力。

近年來，未經授權的無人駕駛飛行器（UAV）所造成的危險已大大增加，因此，至少需要采取適當的探測、跟蹤和反制措施來消除這種威脅。除了射頻干擾器、全球定位系統欺騙、高壓激光、電磁脈沖和射彈槍之外，反無人駕駛航空系統（cUAS）也是對付未經授權的小型無人駕駛飛行器的一種非常高效和有效的對策。

本文介紹的 cUAS 是一種全自動、多功能、可移動部署的系統，能夠利用氣壓驅動的網狀發射器攔截市場上幾乎所有的小型無人機。與上述替代方案相比，所開發的 cUAS 不受未經授權的小型無人機操作模式的影響，即手動或自動控制，甚至不受全球導航衛星系統或射頻的影響。我們的多傳感器方法（照相機、激光雷達和雷達傳感器）以及所實施的算法使 cUAS 能夠在各種環境下運行，如開放式機場、軍用場地和城市空間，在這些環境下，許多雷達反射通常會阻礙對小型物體的探測和跟蹤。cUAS 可獨立接近、跟蹤和/或攔截速度高達 20 米/秒的已識別無人機，成功率超過 90%。

本文對 cUAS 原型機的性能進行了演示和評估。對小型無人機的攔截能力和狗斗性能進行了測試和研究。此外，我們還概述了該系統的具體攻擊和防御策略，以及從最初的探測和分類到最終攔截和清除未授權無人機的過程階段特征，并說明了所開發的多傳感器平臺相對于現有單傳感器系統的優勢。

圖 1：地面探測與控制站（左）和攔截無人機系統（右）的硬件組件[產品圖片來自相關制造商]。

圖 3：攔截過程的各個階段及其條件。

本論文開發了一個基于海底特征導航的模擬框架。使用自動潛航器（AUV）在海底定位感興趣的物品是一種對海軍大有裨益的能力。自動潛航器為消除勞動力需求提供了一個途徑，但其購置和維護成本仍然很高。解決這一問題的辦法是使用兩艘 AUV，其中一艘的能力更強，負責用信標尋找和標記海底物品。配備成本效益型傳感器的消耗性 AUV 將對威脅進行定位、識別和消除。利用海底成像技術將海底圖像與先驗圖像馬賽克關聯起來，再加上超短基線（USBL）信標，AUV 可以在沒有傳統導航系統的情況下完成具有挑戰性的任務目標。增量平滑與測繪 2（iSAM2）是一種同步定位與測繪（SLAM）技術，可用于 AUV 的位置定位，是一種適合實時導航操作的技術，具有圖像和 USBL 傳感功能。模擬框架能夠評估 AUV 的性能，同時將實際操作的風險降至最低。該框架由一個軟件架構組成，可使用與實際操作相同的軟件進行測試。本論文展示了這一框架，并對其在基于圖像的 SLAM 中的可用性進行了分析。

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

認知方法在幾乎所有方面可提高現有雷達的性能，這導致了近年來研究的激增，空軍雷達建模和仿真（M&S）工具的一個關鍵差距是缺乏針對分布式全適應雷達（FAR）系統的全面、動態分布式雷達情景生成能力。截至2015年初，所有的研究都是在理論上推進概念，并通過模擬檢驗其性能，或者最多使用預先錄制的數據。沒有關于實驗驗證概念的報告，主要是因為還沒有開發出測試它們的必要硬件。然而，為了確定應用認知處理方法的真正性能潛力，這一步驟是至關重要的。為了解決這個問題，俄亥俄州立大學（OSU）電子科學實驗室（ESL）的認知傳感實驗室（CSL）與Metron公司、空軍研究實驗室（AFRL）和空軍科學研究辦公室（AFOSR）一起，已經開始了一項研究計劃，從分析和實驗上開發和檢驗認知雷達處理概念。

CSL設計并建造了認知雷達工程工作區（CREW），這是世界上第一個專門用來測試完全自適應和認知算法的雷達測試平臺，Metron和OSU開發了一個認知FAR系統的理論框架，在單一傳感器和目標的目標探測和跟蹤范圍內確定了關鍵的系統組件并進行了數學建模。我們一直在開發建模、模擬、分析和實驗能力，以證明FAR系統比傳統的前饋雷達（FFR）系統取得的性能改進。我們從OSU的軟件定義雷達（SDR）系統的模擬場景和預先記錄的數據開始。我們現在有能力利用CREW演示認知雷達跟蹤系統的實時操作。

這個項目的目標是為分布式FAR雷達開發一個基于MATLAB的M&S架構，從而能夠在模擬的、以前收集的和實時的流式數據上進行算法開發和測試。在第一階段，我們開發了一個基線FAR M&S架構，該架構采用面向對象編程（OOP）方法在MATLAB中編碼。它包括一個控制感知-行動（PA）周期運行的FAR引擎和確定下一組傳感參數的軟件對象；從傳感器獲取數據；處理數據以跟蹤目標；存儲和顯示傳感和跟蹤過程的結果。我們開發的模塊實現了模擬和預先錄制的SDR數據實例，以及實時和模擬的CREW數據實例。

第一階段開發的FAR M&S架構允許在模擬和實驗CREW數據源之間，以及在驅動傳感的FAR算法之間進行透明切換。輕松交換傳感和處理對象的能力將允許快速開發和測試認知雷達算法，通過構建M&S功能來避免重復工作和 "單點 "解決方案。它將使工業界、學術界和空軍的研究人員之間的合作成為可能，因為不同研究人員開發的算法可以使用一致的模擬、收集的數據和實驗室條件進行測試和比較。

前沿作戰基地（FOB）防御是一項人力密集型任務，需要占用作戰任務的寶貴資源。雖然能力越來越強的無人駕駛飛行器（UAV）具備執行許多任務的能力，但目前的理論并沒有充分考慮將其納入。特別是，如果操作人員與飛行器的比例為一比一時，并沒有考慮提高無人機的自主性。本論文描述了使用先進機器人系統工程實驗室（ARSENL）蜂群系統開發和測試自主FOB防御能力。開發工作利用了基于任務的蜂群可組合性結構（MASC），以任務為中心、自上而下的方式開發復雜的蜂群行為。這種方法使我們能夠開發出一種基于理論的基地防御戰術，在這種戰術中，固定翼和四旋翼無人機的任意組合能夠自主分配并執行所有必要的FOB防御角色：周邊監視、關鍵區域搜索、接觸調查和威脅響應。該戰術在軟件模擬環境中進行了廣泛的測試，并在現場飛行演習中進行了演示。實驗結果將使用本研究過程中制定的有效性措施和性能措施進行討論。

第1章：導言

1.1 背景和動機

2019年，美國海軍陸戰隊司令大衛-H-伯杰將軍發布了他的規劃指南，作為塑造未來四年的部隊的一種方式。他在其中指出："我們今天做得很好，我們明天將需要做得更好，以保持我們的作戰優勢"[1]。這句話摘自海軍陸戰隊司令大衛-H-伯杰將軍的《2019年司令員規劃指南》（CPG），呼吁采取集中行動，以應對海軍陸戰隊在未來戰爭中預計將面臨的不斷變化的挑戰。在為海軍陸戰隊確定未來四年的優先事項和方向的CPG中的其他指導，呼吁建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人駕駛系統系列"[1]。伯杰將軍進一步呼吁利用新技術來支持遠征前沿基地作戰（EABO）。EABO將需要靈活的系統，既能進行有效的進攻行動，又能進行獨立和可持續的防御行動。簡而言之，實現EABO將需要最大限度地利用每個系統和海軍陸戰隊。

從本質上講，伯杰將軍正在呼吁改變無人駕駛飛行器的使用方式。通過使用大型的合作自主無人飛行器系統，或稱蜂群，將有助于實現這一目標。無人飛行器蜂群提供了在人力需求和后勤負擔增加最少的情況下成倍提高戰場能力的機會。正如伯杰將軍所提到的 "下一個戰場"，海軍陸戰隊將必須利用各種技術，最大限度地利用自主性和每個作戰人員在戰場上的影響。

目前的無人系統使用理論是以很少或沒有自主性的系統為中心。另外，目前的系統依賴于單個飛行器的遠程駕駛；也就是說，每輛飛行器有一個操作員。部隊中缺乏自主系統，這在監視和直接行動的作戰能力方面造成了差距。此外，側重于一對一操作員-飛行器管理的無人系統理論要求操作員的數量與車輛的數量成線性比例。這對于 "下一個戰場 "來說是不夠的。相反，海軍陸戰隊將需要能夠讓操作員擺脫束縛或提高他們同時控制多個飛行器的能力系統[2]。

考慮到這些目標，美國海軍研究生院（NPS）的先進機器人系統工程實驗室（ARSENL）已經開發并演示了一個用于控制大型、自主、多飛行器的系統，該系統利用了分布式計算的優勢，并將駕駛的認知要求降到最低。ARSENL在現場實驗中證明了其系統的功效，在該實驗中，50個自主無人駕駛飛行器（UAV）被成功發射，同時由一個操作員控制，并安全回收[3]。

1.2 研究目標

這項研究的主要目標是證明使用無人機蜂群來支持前沿作戰基地（FOB）的防御。特別是，這需要自主生成、分配和執行有效的、符合理論的基地防御所需的子任務。這部分研究的重點是開發基于狀態的監視、調查和威脅響應任務的描述；實施支持多飛行器任務分配的決策機制；以及任務執行期間的多飛行器控制。

輔助研究目標包括展示基于任務的蜂群可組合性結構（MASC）過程，以自上而下、以任務為中心的方式開發復雜的蜂群行為，探索自主蜂群控制和決策的分布式方法，以及實施一般的蜂群算法，并證明了對廣泛的潛在蜂群戰術有用。總的來說，這些目標是主要目標的一部分，是實現主要目標的手段。

1.3 方法論

基地防御戰術的制定始于對現有基地防御理論的審查。這一審查是確定該行為所要完成的基本任務和子任務的基礎。然后，我們審查了目前海軍陸戰隊使用無人機的理論，以確定這些系統在基地防御任務中的使用情況。

在確定了任務要求的特征后，我們為基地防御的整體任務制定了一個高層次的狀態圖。子任務級別的狀態圖等同于MASC層次結構中的角色。

ARSENL代碼庫中現有的算法和游戲以及在研究過程中開發的新算法和游戲被用來在ARSENL系統中實現子任務級的狀態圖。最后，根據高層次的狀態圖將這些游戲組合起來，完成基地防御戰術的實施。

在游戲和戰術開發之后，設計了基于理論的有效性措施（MOE）和性能措施（MOPs）。通過在循環軟件（SITL）模擬環境中的廣泛實驗，這些措施被用來評估基地防御戰術。在加利福尼亞州羅伯茨營進行的實戰飛行實驗中，也展示了該戰術和游戲。

1.4 結果

最終，本研究成功地實現了其主要目標，并展示了一種包含周邊監視、關鍵區域搜索、接觸調查和威脅響應的基地防御戰術。此外，開發工作在很大程度上依賴于MASC層次結構，以此來制定任務要求，并將這些要求分解成可在ARSENL蜂群系統上實施的可管理任務。這一戰術在實戰飛行和模擬環境中進行了測試，并使用以任務為中心的MOP和MOE進行了評估。最后的結果是令人滿意的，在本研究過程中開發的戰術被評估為有效的概念證明。

1.5 論文組織

本論文共分六章。第1章提供了這項研究的動機，描述了這個概念驗證所要彌補的能力差距，并提供了ARSENL的簡短背景和所追求的研究目標。

第2章討論了海軍陸戰隊和聯合出版物中描述的當前海軍陸戰隊后方作戰的理論。還概述了目前海軍陸戰隊內無人機的使用情況，并描述了目前各種系統所能達到的自主性水平。

第3章概述了以前自主系統基于行為的架構工作，ARSENL多車輛無人駕駛航空系統（UAS）和MASC層次結構。

第4章對基地防御戰術的整體設計以及高層戰術所依賴的游戲進行了基于狀態的描述。本章還詳細介紹了用于創建、測試和評估這一概念驗證的方法。在此過程中，重點是對每一戰術和戰術所針對的MOP和MOE進行評估。

第5章詳細介紹了所進行的實戰飛行和模擬實驗，并討論了與相關MOPs和MOEs有關的測試結果。

最后，第6章介紹了這個概念驗證的結論。本章還提供了與基地防御戰術本身以及更廣泛的自主蜂群能力和控制有關的未來工作建議。