無人機（UAVs）在軍事和民用領域發揮著至關重要的作用。本論文的研究有助于智能控制系統（ICS）領域，特別是實現旋轉翼無人飛行器（RUAV）可靠、便捷的自主控制。特別是，本論文解決了如何適應未建模動態和干擾（如在空中改變有效載荷）的難題。

無人機可以攜帶額外的重量，如傳感器、貨物，甚至被稱為有效載荷的懸掛物。已經開發了許多策略來穩定不斷變化的有效載荷，但這些策略都假定有效載荷是剛性的，重心（CoG）是靜態和已知的。有效載荷質量及其類型在飛行過程中的變化會極大地影響無人機的動態性能，這就要求控制器進行調整，以保持令人滿意的閉環性能。此外，還沒有探索過在半空中從一架較大的飛機（如氣象氣球）上發射一組具有隨機姿態的送貨無人機的情況。最后，未建模的動力學和陣風等不確定因素給飛行操作帶來了挑戰，因此綜合控制系統對于處理這些不確定因素至關重要，但對非基于模型的綜合控制系統的設計和開發關注不夠。

受這些研究空白的啟發，本論文探討了如何處理有效載荷在空中的 CoG 變化和姿態獨立發射的控制問題。為解決這些問題并實現理想的軌跡跟蹤控制，本文提出了一種新型非基于模型的綜合控制系統，稱為雙向模糊腦情感學習（BFBEL）控制系統。所提出的控制系統融合了模糊推理、神經網絡和基于強化學習的新型雙向腦情感學習（BBEL）算法。所提出的 BFBEL 控制器能夠從零開始快速適應，可用于控制 RUAV 的所有六自由度 (6DOF)。為擴大擬議控制器的適用性，開發了單輸入-單輸出（SISO）和多輸入-多輸出（MIMO）架構。本研究考慮的兩種無人駕駛飛行器模型是四旋翼無人駕駛飛行器（QUAV）和直升機無人駕駛飛行器（HUAV）。SISO 版本的 BFBEL 控制系統被應用于 QUAV，以解決處理 CoG 和重量不同的外部有效載荷的問題。BFBEL 控制系統的 MIMO 版本應用于 HUAV，以解決在空中獨立發射姿勢的問題。對這兩種系統都進行了模擬評估，并通過實驗驗證了如何處理 CoG 不確定的外部有效載荷問題。最后，在相同的控制情況下，將飛行能力和控制性能與傳統的比例積分微分（PID）控制器方案進行了比較。

海軍乃至整個軍隊對自主系統的需求日益增長。無論是地面、空中、水面還是水下，無人系統（UxV）在軍事領域的發展正逐步融入并將繼續融入軍事行動。為了保持與對手的競爭力，無人駕駛技術的研發對于保持領先優勢至關重要。

隨著傳感器和處理能力的不斷提高，部署自動駕駛汽車的能力也在不斷增強。網絡的發展使其變得更加強大和安全，電池技術的發展使其能夠行駛得更遠。海軍在討論自主航行器時，最常提及和研究的兩個平臺是無人機（UAV）和無人潛航器（UUV）。無人水面航行器（USV）是研發界日益關注的話題，更具體地說是無人水面航行器群。

USV 是一種在沒有任何船員或工作人員的情況下在水體表面運行的航行器。由于其配備有可定制的有效載荷，因此可提供廣泛的能力和服務。從商業到軍事行動，其應用各不相同。在商業方面，應用包括氣候監測、測深數據收集、近海石油和天然氣管道維護以及水文測量。水文測量從多波束聲納讀數中收集數據，多波束聲納利用聲波和全球定位系統 (GPS) 數據測量海底和其他水道的深度。美國國家海洋和大氣管理局（NOAA）依靠水文測量來繪制和更新海圖。這些航海圖為商業、軍事和休閑航海者提供服務。它們向水手們告知淺海地貌和海岸線等航行危險。

圖 1.1. 佐治亞州國王灣 - 商業拖船為田納西號核動力戰略導彈潛艇（SSBN 734）護航。

在海軍應用方面，USV 可用于高價值資產的護航任務。在潛艇和水面作戰領域，USV 可提供部隊保護或引導船只進出港口。在艦隊中，目前有美國海岸警衛隊人員、水手或商業工人駕駛小型船只執行這項任務（圖 1.1）。在港口附近較淺的水道中，由于受到吃水的限制，船只和潛艇的機動性和速度都受到了限制。如果潛艇在航行途中受到攻擊，那么經過訓練的部隊保護車輛將承受攻擊，以確保潛艇的安全（防止核反應堆受損和暴露）。USV 還可用于執行情報、監視和偵察 (ISR) 以及搜救行動。這些機器人具有機動性和靈活性，可根據手頭的任務輕松更換有效載荷，從而實現廣泛的用途。

圖 1.2. 當美國海軍約翰-斯滕尼斯號航空母艦（CVN 74）駛入華盛頓州埃弗雷特進行預定港口訪問時，拖船為其護航。

使用 USV 船群的優勢在于可以增加所需的搜索區域的廣度。與一艘載人船只相比，多艘小型自動潛航器執行相同的任務集，還能節省時間、成本和能源。使用 USV 的另一個好處是保證船上人員的安全，而不是讓他們冒險執行危險或耗時的任務。大約 80% 的海船事故是由人為錯誤、疲勞和/或分心造成的。通過使用多艘 USV 作為安全保障層，可以降低船只和船員發生碰撞或損壞的風險。與每次只使用一艘船相比，使用多艘 USV 可使操作員擴大范圍、減少錯誤和/或縮短完成任務所需的時間。

為使 USV 能夠執行這些任務，需要有一種程序能夠指揮每艘航行器的速度和方位，同時對環境因素（如水流或風力）保持彈性。此外，與無人機或無人潛航器領域相比，USV 的研究進展并不多。

典型的海軍艦隊由不同的平臺組成：航母、驅逐艦、巡洋艦甚至潛艇。隨著海軍生產更多大型和中型 USV，它們將慢慢融入常規艦隊編隊。隨著中型和大型 USV 等多種型號的采購，對異構 USV 群的需求也將增加。美國國會研究服務部在一份關于海軍大型無人水面和水下航行器的報告中指出：大型 USV 將補充海軍的有人作戰部隊，以較低的采購和維護成本，降低水兵的風險，提高戰備狀態、能力和所需容量。雖然無人水面航行器是艦隊單元的新成員，但 LUSV 將把堅固耐用、久經考驗的商船規格與現有的軍用有效載荷相結合，以快速、經濟的方式擴大水面艦隊的容量和能力。

海軍未來實施的自主平臺增加了與具有不同動態特性的 USV 群協同工作的機會。從一個點到另一個點時，需要一種能保持編隊的穩健算法，各智能體之間的距離要固定。

問題陳述

本研究的目的是評估兩種算法中哪一種能成功引導異構 USV 蜂群（由不同 USV 平臺組成的編隊）并保持理想的分離距離。不同的 USV 采用不同的動態特性和推進/轉向模式。這些不同的特性關系到它們在每種算法下的表現。從本質上講，異質蜂群比同質蜂群具有更低的協調水平。最終目標是修改和評估現有算法，以控制異質蜂群。

圖 1.6. 無人水面航行器控制的分層軟件任務基礎設施。

研究貢獻

目前，有關軍事應用中異構 USV 編隊的工作幾乎沒有。本文包括：

• 未來海軍應用中的異構 USV 群： 隨著海軍不斷生產多種變型 USV，對能夠適應不同智能體動態的編隊需求也在增加。這項研究探索了多種編隊管理算法中的兩種算法在異構蟲群中的性能。

• 并列比較 USV 算法： 目前許多 USV 學術文章都只關注一種算法。本論文對兩種不同類型的算法進行了比較，并將它們置于一個可以相互競爭的場景中。

• 聯合自主工作：列出的算法是美國海軍研究生院和美國海軍學院創建并測試的算法。為了保持在自主研究方面的共同努力，本論文將在這兩所院校之間架起一座橋梁。

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

為了應對一個日益動態的作戰環境的挑戰，必須適應技術發展的快速步伐。無人系統（UxS）在改善美國海岸警衛隊的卓越任務方面發揮著關鍵作用，并擁有巨大的前景。無人系統可以幫助找到遇險的海員。它們可以提高在海上探測非法毒品和移民販運的能力，這樣就可以最有效地分配有限的船只、船舶和飛機。UxS可以成為監測世界各地非法、未報告和無管制（IUU）捕撈活動的有力工具。在不斷變化的北極地區，UxS可以幫助破冰船的導航，跟蹤冰山和增加的船只交通，并監測其他商業活動的增長。未來將在一個可互操作的系統的互聯范圍內采用UxS，并使人工智能得到有效的整合，以便在這樣的情況下和更多的情況下向海岸警衛隊的操作員提供可操作的數據。能夠實現最佳人機協作的UXS為海岸警衛隊提供了改變游戲規則的機會。

海岸警衛隊還將有目的地在復雜的海洋環境中抵御和管理無人系統。將采用適合海岸警衛隊在所有領域的海上安全作用的反無人系統能力，以幫助確保海洋運輸系統（MTS）的安全。此外，自動化、自主化和無人駕駛系統的采用有望改變海運業。

雖然海岸警衛隊成功的關鍵一直是人，但無人駕駛系統提供了提高勞動力的性能和效率的前景，并作為一個真正的力量倍增器。海岸警衛隊將尋求調整要求、采購、收購和資金，以確保UXS能夠以需要的速度交付，并與勞動力和現有資產相結合。擁抱和整合UxS將在復雜和不斷變化的環境中促進海上安全和保障。

無人系統的變化、威脅和機遇

引言

海岸警衛隊的一系列廣泛的任務要求海岸警衛隊的人員和漁船、艦艇、飛機和海岸站都要做到最好。然而，海洋領域繼續迅速變化并提出新的挑戰。"當今世界的變化步伐正在加快。地緣政治戰略競爭、經濟動蕩、氣候變化影響、勞動力期望值的變化、不斷發展的技術和新興的海洋用途正在匯聚在一起，推動服務發生變化。" 非法、無管制和未報告的捕撈活動已取代海盜行為成為最大的全球海事威脅之一。毒品和移民的非法販運正在向更遠的地方轉移，并持續對公眾構成威脅。北極地區的海事活動正在增加。自然災害繼續威脅著海洋上和海洋附近的人們。對海岸警衛隊服務的需求是強烈的，并繼續增長。

在一個不斷變化的海洋領域中保持意識和執行管理，仍然是幾乎所有海岸警衛隊任務的核心。在國內，"海洋環境的新興用途--包括近海能源生產、無人駕駛船只和航空系統的使用以及商業空間活動--正在迅速擴大，對現有的監管和操作框架提出了挑戰。" 更廣泛地說，"國家競爭者、暴力極端分子以及日益強大和有能力的跨國犯罪組織（TCOs）都在繼續試圖利用海上的薄弱治理、岸上的腐敗和海洋領域意識的差距來獲得經濟和政治優勢。" 這些變化給海岸警衛隊的任務執行帶來了威脅和機遇，同時也增加了對海岸警衛隊海上領域意識的需求，以支持美國和全球利益。

技術在不斷進步，提供了新的工具和能力，可以幫助執行海岸警衛隊的任務。"技術的快速發展，對海岸警衛隊服務不斷增長的需求，越來越多的動態操作環境，以及全球戰略競爭，使目前執行任務的方式更加緊張。必須加強競爭優勢，以配合影響海洋領域的變化速度。這是對行動的呼吁"。

UxS創造了機會，以新的方式將人員、資產、系統和數據結合起來，以創造一支更加靈活的部隊。UxS可以填補覆蓋面的空白，提高對形勢的認識。UxS還可以提供新的能力，以增強載人任務。UxS可以將人類從一些任務中經常是骯臟的、偶爾是枯燥的、有潛在危險的工作中解放出來。UxS不能單獨執行任務，但它們可以幫助保持人員準備狀態，直到正好需要海岸警衛隊人員的時刻。

海岸警衛隊已經雇用了一些UXS，但主要是以分離和以平臺為中心的方式進行的。海岸警衛隊已經經歷了一些項目的成功，如國家安全快艇上的中程無人駕駛航空系統（UAS），以及在海岸警衛隊各水上和岸上單位使用的短程UAS。當與其他技術無縫整合時，作為技術生態系統的一部分，無人機系統可以成為一個力量倍增器，將傳感器與作戰決策者通過資產、網絡、數據系統、高級分析和信息共享平臺聯系起來，并具有更高的速度和效率。必須保持靈活和適應性，以追求這一變革性變化。

雖然無人駕駛系統為海岸警衛隊的就業提供了機會，但它們已經被海洋環境中的所有類型的行為者所使用，而且應該預期它們的存在將大幅增長。公民使用無人駕駛系統正在無意中影響著政府和商業船只以及沿海設施的日常運作。商業航天公司正在使用無人駕駛的駁船進行作業，航運公司正在將自主系統甚至完全自主的車輛納入其船隊。麻醉品販子已經建造了小型的自制無人潛水艇，以秘密地在海上邊界非法運輸毒品。應該預料到，無人駕駛系統將在海洋環境中變得無處不在，必須為其影響做好準備。

了解海岸警衛隊任務的變化、機會和風險，使能夠構建一個愿景，為戰略制定方向。

作戰概念：UXS，作戰/戰術ISR

無人駕駛和自主系統正在成為武裝部隊的一個內在組成部分。近來，無人機/無人駕駛飛行器（UAV）一直被廣泛討論，這只是由于其在國防和商業市場空間的內在應用而獲得的動力。然而，一些關于海基無人航行器的最新發展已經引起了人們的興趣。世界各地的海軍對無人海基航行器越來越感興趣，以進行探索和開發，并作為軍事行動的力量倍增器。鑒于地緣政治環境和沿海地區未來沖突的范圍，全球海軍的重點正日益轉向海基無人航行器領域的研究和開發。由于它們的自主性和在網絡中心環境中的作業能力，它們正被越來越多地采用，并且正在加速開發。預計人工智能（AI）、群體計算和量子計算等技術的發展，將促進武器化無人水面航行器（USV）和無人水下航行器（UUV）集群控制能力，這將徹底改變海戰。美國國防部高級研究計劃局（DARPA）的可解釋問題回答系統（EQUAS）專注于可解釋人工智能，它建立了用戶對系統的信任，提供了關于如何做出決策的相關信息，以便用戶能夠理解決策過程和系統建議。DARPA的另一個項目是海基物聯網（Ocean of Things），它收集和分析來自浮動傳感器的信息，以訓練USV和UUV人工智能系統的實時運行。

本文試圖概述這一領域的最新進展，描述技術發展、挑戰和未來趨勢。進一步回顧了海基無人航行器，包括USV和UUV，條令和標準、技術趨勢、應用、挑戰、法律問題、政策考慮和多年來的發展。本文還試圖了解全球海軍面臨的最新技術和挑戰，并迫切地關注主要用于軍事用途和戰場的發展。

無人駕駛飛行器（UAVs）或 "無人機 "在軍事方面的使用在過去20年里急劇增加，任務范圍從監視、偵察和情報到戰斗支持。技術的進步一方面導致了無人機能力和可靠性的提高，另一方面也降低了生產成本。此外，無人機的可用性也急劇增加，曾經是少數國家專屬的設備現在可以被所有國家的武裝部隊獲得，而且，正如最近的攻擊所證明的那樣，非官方部隊也可以獲得。在這種情況下，無人機可以成為任何沖突的一部分，軍事戰略家們必須將對無人機和潛在的無人機群的反應納入其作戰方案。因此，對無人機的防御必須成為任何成熟的軍事戰略的一個組成部分。本分析探討了無人機的大規模出現給軍隊帶來的概念和行動上的變化，包括與訓練和實施具體的反無人機部隊有關的理論和實際挑戰。首先，我們確定了與無人機和無人機群有關的威脅的演變。然后，我們總結了不同的可能反措施。最后，我們提出了部署這些對策的實際解決方案，特別是通過探索發展和部署專門的反無人機部隊的可能性，以及研究與高科技無人機敵人作戰而不是在傳統戰場上與士兵作戰相關的一些挑戰。

1 簡介

無人機--無人駕駛飛行器（UAVs）的俗稱--不再只出現在科幻小說和預測性小說中。事實上，它們正成為現代城市景觀中越來越常見的組成部分。由于它們的多功能性和可及性，民用無人機在用戶數量和用途的多樣性方面都在不斷增長。無人機的使用正被推廣到研究（Coops, Goodbody & Cao 2019）或應急響應（He, Chan & Guizani 2017）等不同領域。

民用無人機的這種能見度不應掩蓋無人機最初由軍方開發、用于軍事目的的事實。無人機的軍事應用很多，從與民用無人機類似的任務（如監視和偵察，但針對軍事或情報目標）到與UCAVs--無人駕駛戰斗飛行器的戰斗情況（Lucas 2014）。在不到二十年的時間里，無人機已經在支持美國在伊拉克和阿富汗的行動中發揮了重要作用（Sharkey 2011）。2019年9月14日對沙特阿拉伯Abqaiq和Khurais的國有石油設施的襲擊，使無人機在戰爭中的使用更進一步（Hubbard, Karasz & Reed 2019）。事實上，與以往無人機的軍事用途相比，這些攻擊并非由官方武裝部隊公開發起。盡管胡塞武裝運動（一個以也門為基地的伊斯蘭武裝運動）聲稱這次襲擊，但美國當局斷言，襲擊源自伊朗（Said, Malsin & Donati 2019）。Abqaiq-Khurais襲擊事件背后的真正主謀問題在這里并不重要；重要的是，最近在沙特阿拉伯發生的事件是一個縮影，即無人機不再是僅由少數國家掌握的獨家技術。無人機現在不僅可以被合法的武裝部隊用于軍事目的，而且還可以被無數其他國家使用，包括恐怖分子或其他非國家行為者。生產成本更低、更容易和更快的無人機的擴散，不僅重塑了設計和執行監視或偵察的方式，而且還提供了困擾或恐嚇潛在對手的新方法。此外，這種廉價和容易的無人駕駛裝置的擴散顯然提高了世界各地的沖突螺旋的風險（Boyle 2015）。無人機自主程度的提高也在質疑國防軍的反應。事實上，無人機可以從非自主性（需要人類飛行員的持續控制）到完全自主性（一旦發射，被編程為執行其任務而無需任何進一步的人類干預）。值得注意的是，在這個連續體的兩端之間可以存在所有可能的中間水平的自主性。此外，自主權可以通過預編程（從而限制了無人機發射后的適應可能性）或通過使用人工智能（AI）模塊來提供，為無人機提供更多的適應性。除了通過獲得專門的無人機機隊來提高自身能力外，開發反制措施對軍隊來說也是至關重要的。因此，在不久的將來，獲得適當的反無人機反應單位可能是軍事領導人的重點之一。

對無人機的防御必須成為任何全面的、長期的軍事動態的一部分。因此，武裝部隊將不得不適應這一新興的現實。應對無人駕駛威脅所需的變化并不純粹是概念性的；它們將必須轉化為行動上的變化。這些變化不僅必須發生在防御無人機的常規部隊（特別是在陸地/海洋界面）和準備反擊無人機的無人機部署部隊層面，而且還必須發生在軍事參謀的指揮和戰略層面。此外，由于無人機防御問題影響到所有軍種，因此陸軍、海軍和空軍參謀部都需要進行反思。從這個角度來看，本文將在分析這個問題的同時牢記三個操作性挑戰：分析背景和確定威脅，實施有效的反措施，并以適當的軍事人員部署這些反措施--特別是通過探索與發展、部署和維護專門的反無人機部隊有關的可能性和挑戰。

2.反制措施

2.1. 被動反制措施：保護和探測

在某種程度上，針對無人機的被動保護可以由物理基礎設施的設計和建造方式或其位置來提供。事實上，無人機是飛機。就像任何空中進攻一樣，無人機的目標需要從上面進入才能到達。地下設施和重度屏蔽的目標，用無人機可以攜帶的彈頭類型來摧毀更具挑戰性。敏感的軍事基礎設施曾經被建在偏遠地區。然而，這種被動的戰略不再那么有意義了。事實上，通過現代天基地球圖像，地球上幾乎沒有一個地方可以真正被認為是 "偏遠"。由于有了衛星圖像，如今相信一個潛在的結構性目標可以不被定位，或者軍事單位的行動可以不被注意，已經是烏托邦了。作為無人駕駛車輛，無人機嚴重依賴地理定位系統從其發射基地導航到其目標。因此，無人機很容易受到技術惡化的GPS信號，特別是GPS欺騙和GPS干擾的影響。然而，純被動的基礎設施保護所能做到的是有限的，而且在大多數情況下，這些限制已經達到了。事實上，像軍用SAASM（選擇性可用性反欺騙模塊）這樣的系統可以減輕美國軍隊產生的GPS欺騙的影響。還可以開發其他系統，使GPS接收機能夠檢測到欺騙或干擾的企圖。一旦檢測到GPS欺騙或干擾，無人機就有可能切換到其他的導航模式。事實上，無人機可以使用其他各種傳感器方法在GPS屏蔽的環境中進行導航，從視覺模式、紅外線、雷達、聲納（用于水下無人機）、電子/電磁探測到任何這些方法的組合。即使僅僅依靠衛星發出的信號，也可以開發出解決方案。事實上，使用非軍事級別的技術和算法的民間研究人員已經能夠獲得完整和動態的地理定位特征，盡管處于軍事GPS的拒絕區域，實際上打敗了美國軍隊的GPS信號改變系統（Voosen 2019）。將類似的方法應用于無人機導航，基本上可以使它們對GPS欺騙和GPS干擾免疫。

探測無人機是一項相當具有挑戰性的任務。由于大多數無人機體積小，無人機的雷達信號與鳥類的雷達信號沒有區別。此外，一些無人機具有隱身特性，要么是隱身配置（如美國制造的Kratos QX-222 Valkyrie），要么是涂層，旨在減少其雷達信號。因此，由于僅僅依靠雷達不是一個可行的選擇，必須設計出替代方法來探測接近的無人機。由于其搭載的系統和對無線或衛星信號的使用，無人機產生特定的、有時是重要的電子信號。然而，法拉第籠可以減少電子噪音。此外，如果無人機切換到其他引導模式，在接近目標時可以關閉無線或衛星通信--特別是對于不需要與人類操作員保持聯系的完全自主的無人機。視覺識別（例如，使用特定任務的人工智能或深度學習策略）可用于識別無人機。然而，它們的特征可以被設計成使模式識別具有挑戰性，特別是因為無人機通常處于運動狀態。

進行空中機動的無人機會產生噪音，它們的聲學特征因此可以暴露出來。目前正在開發各種音頻處理方法來解決無人機的定位問題（Rascon, Ruiz-Espitia & Martinez-Carranza 2019）。然而，幾個重要的問題限制了現實生活中的無人機聲學探測。事實上，無人機產生的噪聲是動態的，因為無人機通常處于運動狀態。此外，無人機產生的噪聲通常具有很低的信噪比。換句話說，在嘈雜的環境中探測無人機是相當困難的。因此，就其他探測策略而言，在聲學方法可以作為無人機探測的可靠來源之前，還必須做更多的研究。就像被動保護一樣，無人機探測也有其局限性。一旦在限制區或潛在目標附近探測到無人機，無人機防御戰略的下一步就是摧毀敵方單位。這就是接下來的章節將探討的內容。

2.2. 主動反制措施：破壞

無人機并非沒有弱點。士兵們可以使用一些策略來禁用或摧毀敵方的無人機。然而，沒有任何解決方案是完美的，而且可以開發出反措施來對付這些反措施。因此，最佳的反無人機戰略應該結合幾種方法，以確保反無人機部隊的最大效率（表1）。

• 直接射擊 直接射擊通常是對UCAV攻擊的主要反應類型。值得注意的是，直接射擊可以由人類射手或通過自動反空防系統進行。不過，這種解決方案有幾個限制。首先，無人機可能相對較小，而目標的大小可能是一個射擊技巧的挑戰。第二，直接射擊可能會受到能見度不足的阻礙（由于日/夜周期，視線中的障礙物，或大氣條件）。第三，直接射擊很容易被無人機群的攻擊所淹沒。

• 狩獵型無人機 防御者可以使用無人機來獵殺敵方的無人機。在這種情況下，防守方在操作無人機時有幾個主要優勢。由于防守方的無人機通常在離發射點很近的地方操作，所以自主性不是問題--與攻擊方的無人機相比，攻擊方的無人機在到達目標之前必須覆蓋更遠的距離。此外，如果配備了適當的武器，防衛型無人機可以用作飛行射擊平臺，它也可以用于 "自殺模式"，旨在通過直接碰撞摧毀攻擊型無人機。最后，防御型無人機對與制導和導航有關的問題的脆弱性大大降低。事實上，一架無人機可以在大約245米的直視范圍內進行視覺操作（Li等人，2019）。這個距離--取決于人的特征而不是無人機的類型--對于對抗配備了相對較小的彈頭的無人機的攻擊仍然是合理的。不過，這種策略仍然有幾個限制。所有與直接射擊有關的限制都適用于狩獵型無人機。此外，獵殺型無人機具有無人機的通常弱點（包括其搭載的電子系統容易被破壞或被劫持）。此外，部署狩獵無人機所需的時間可能使它們在敵方UCAVs的突然襲擊中難以及時使用。

• 導彈 導彈和其他自主彈頭可以用來摧毀無人機。導彈的速度和精度足以摧毀無人機。然而，這簡直就像用錘子打死一只蒼蠅。雖然理論上是可行的，但使用自主導彈來摧毀無人機并不是一個具有成本效益的解決方案。雖然無人機越來越便宜，但與導彈有關的成本仍然很重要。自主導彈是一次性使用的武器這一事實也有助于使這一解決方案過于昂貴，無法現實地大規模部署。

• 激光武器 激光武器是以激光為基礎的定向能量武器，即以窄光束的形式連貫地發射電磁輻射--放大的光的系統。當到達目標時，激光束會向目標傳遞相當大的能量，使其燃燒，或以其他方式引發重大損害（Coffey 2014）。跟蹤目標運動的可能性（"跟蹤 "目標）和光束達到最大強度的聚焦區域使激光武器完全適合于小型移動目標，如無人機。因此，目前全世界正在開發幾種反無人機的激光武器也就不足為奇了。然而，由于激光武器是基于光束，它們對大氣條件和煙幕非常敏感。此外，如果光被反射到遠離目標的地方，激光的影響就會大大降低。因此，在無人機上涂抹燒蝕材料或用鏡子覆蓋可以有效地對抗大多數激光武器，或至少大大降低其效率（Hambling 2016）。

• 微波武器 無人機的運作依賴于大量的搭載系統的工作，從傳感器到自主處理系統。摧毀搭載的電子設備就等于讓無人機失效。微波武器的目的就是要做到這一點。與激光武器一樣，微波武器是定向能量武器。然而，雖然一些激光武器已經投入使用，但微波武器目前仍主要是實驗性的。此外，使用法拉第籠來保護登船的電子系統（這一點已經可以實現，甚至使用3D打印機技術）可能代表了對這種類型的武器的強有力的反制措施。

• 電子和通信系統的弱點 與其試圖使用微波武器等手段破壞搭載的電子系統，另一種反無人機戰略是利用這些系統及其固有的連接性。即使是最自主的無人機也需要訪問外部資源，如用于導航的GPS信號。因此，無人機通過Wi-Fi、GPS、無線電波等連接。- 這些通信渠道中的每一個都是進入其內部系統的潛在入口。即使沒有軍事級別的技術，也很容易利用傳輸協議，然后利用其硬件/軟件的漏洞（Dey等人，2018）。無人機很容易受到GPS欺騙、GPS攻擊、干擾、無人機特定的惡意軟件（"maldrones"）和無線攻擊（Kerns等人，2014）。盡管軍用無人機系統通常比民用無人機受到更多的保護（例如，通過使用加密的GPS信號進行導航），但它們遠不是不受黑客攻擊的。對無人機的電子系統或功能的攻擊可能有各種目的。1）向無人機的導航系統提供錯誤的信息，誘發無人機的 "失明 "和迷失方向，導致改道或墜機，2）入侵無人機系統，破壞硬件/軟件系統或獲取信息或數據，或3）控制無人機。讓無人機墜毀而不是簡單地摧毀它可能有好處，例如恢復與無人機的導航、傳感器或武器系統有關的部件或信息（特別是通過反向工程）。劫持是通過斷開無人機與初始控制器的連接并替換這種連接來實現的。值得注意的是，無人機劫持可以用另一架無人機作為平臺來完成。劫持的無人機將控制附近的無人機，同時在它們之間飛行，形成一個被奴役的無人機艦隊。然而，利用無人機電子系統的弱點來破壞無人機的企圖也可以被反擊。至于基于微波的攻擊，可以通過將無人機的電子部件固定在法拉第籠（旨在阻擋電磁場的結構）中來對抗專注于電子的方法。網絡安全和基于軟件的技術也可以實施，以使無人機系統更難被黑客攻擊，包括使用加密來保護庫文件，使用混淆器來防止反編譯，檢查GPS延遲和子幀數據，保護Wi-Fi和開放端口，或改善無線電通信安全（Dey等人，2018）。

• 防御性無人機群 上面提到的方法都不足以應對無人機群的攻擊。事實上，無論選擇何種系統，防御性能力都會被數量龐大的自主攻擊單元所淹沒。在這里，一個有趣的應對策略可能是部署另一個無人機群，即有大量的無人機準備在攻擊時起飛。防守的無人機不一定需要協調。事實上，雖然不協調的、自主的或半自主的無人機顯然會錯過一些目標，或使兄弟無人機（即屬于同一蜂群的無人機）陷入 "友軍火力"，但蜂群潛在目標數量的增加，加上防御無人機數量的增加，會使相當一部分攻擊無人機被摧毀的概率足夠高，從而導致攻擊蜂群的重大破壞。盡管使用無人機群來對抗另一個無人機群是一個有效的策略，但這不會導致攻擊機群的完全毀滅。因此，這種方法很可能需要與其他方法（通常是直接射擊）相結合，以消除蜂群的殘余。然而，如果進攻的無人機數量最初被防守的蜂群大幅減少，直接開火的效率就會大大增加。也就是說，兩個蜂群的碰撞可能會產生額外的煙幕和某種程度的混亂，這反過來可能會降低射手消滅最后的攻擊者的能力。與單個防衛無人機一樣，為作戰目的部署的防衛無人機群可能面臨無人機部署速度的問題。在決定UCAV儲存區和發射平臺的位置時，應牢記這一點。

3.發展一支特殊的隊伍

從作戰的角度來看，應對軍事戰場上目前和未來無人機的增加，需要發展和部署專門的反無人機部隊。作為這些部隊成員的士兵將面臨與其他士兵不同的現實；與高科技無人駕駛的敵人作戰與在常規戰場上與士兵作戰是不同的。

3.1. 技術專長

即使反無人機部隊在武裝部隊中仍然有限，其成員的培訓也將面臨重要挑戰。事實上，反無人機部隊的成員必須展示大量的技術專長，不僅與無人機有關，而且在操作和維護特定的反無人機設備方面也是如此，這對常規部隊來說是非常規的（例如，激光武器或微波系統）。因此，從訓練的角度來看，反無人機部隊的成員必須同時接受戰斗訓練和技術訓練。雖然作戰專業知識在軍隊和軍事教育和培訓基礎設施中顯然很普遍，但科學和技術的情況并非如此。重要的是要注意到，傳統的戰斗技能和新興技術的專業知識之間的這些問題性互動--以及在這兩個領域培訓人員的相關問題--并不是作戰軍事單位所特有的。這確實是現代安全的一個更具全球性的問題，與建立一支具有生物技術專業知識、能夠應對當前國際威脅的情報和反情報工作隊伍有關的戰略和實際挑戰就是例證（Guitton 2020）。因此，確保士兵能夠獲得特定科學和技術知識的解決方案不一定在單一單位的獨家培訓中找到。相反，從本質上講，該解決方案是多學科的。因此，小型專業單位的培訓可以在不同的軍事專業中共享。就反無人機部隊而言，士兵應該掌握的一些具體技術知識可能與專門從事遠程探測的偵察部隊相似或至少有些相似。對于一個特定的國家來說，找到足夠多的專業部隊進行共享或跨學科的訓練，肯定有助于減少與組建有關的成本，有助于建立更大的人力資源基礎以進行招募，從而為反無人機部隊提供更強大的勞動力。

3.2. 隱身訓練

與任何旨在對抗特定類型敵人的特種部隊一樣，反無人機士兵的訓練需要考慮到其目標的特點。無人機的主要特征之一是其非常高的機動性。由于其小尺寸和自主性，UCAVs可以極快地部署，并在被發現之前深入到先進的防線中。因此，為了消滅UCAVs，反無人機部隊也需要具有極高的機動性。反無人機部隊必須能夠迅速與他們的目標作戰。然而，鑒于無人機的多功能性，他們也需要能夠迅速脫離，從一個戰場轉移到另一個戰場。此外，無人機在所有類型的戰場上都能發揮作用，包括高密度的城市地區，甚至是水陸交接地區。不過，反無人機部隊的機動性不應簡單理解為空間上的機動性，也應理解為概念上的機動性。事實上，反無人機部隊需要能夠從一種戰斗模式切換到另一種模式，這取決于他們所針對的UCAVs的具體阻力。

無人機的另一個特點是它們大量使用各種傳感器。因此，反無人機部隊的機動性應伴隨著一定程度的隱蔽性。反無人機部隊應該能夠快速移動，并且在這樣做的同時盡可能不被注意。這種 "隱蔽性 "也應該延伸到戰場之外。事實上，無人機戰爭是一種嚴重基于信息的戰爭。由于無人機通常是部分自主的，指揮無人機至少需要對敵人的防御系統有一定程度的了解。雖然反無人機部隊的存在可以產生有效的勸阻作用，但這種部隊應該對其確切的設備和部署信息保持盡可能的保密，因為這將使他們更難以反擊--如果面對敵人的UCAVs，這將有助于他們達到最大的效果。值得注意的是，戰場上的隱身和戰場外的謹慎之間的這種關系并不是什么新鮮事。事實上，在歷史上，它已經在信息收集至關重要的沖突中被概念化。例如，Hensōjutsu，將日本封建武士的偽裝技術組合在一起，是Jintonpō的一部分，即 "獲得隱形的方法"。在數字時代，隱身術更進了一步。反無人機部隊的成員在使用虛擬空間時應保持謹慎，避免公開明智的內容或發布可能提供直接或間接信息的項目。如果被發現，反無人機部隊的成員可能會成為外國情報機構操縱的特權目標（Guitton 2019）。

3.3. 心理支持

無人駕駛戰斗的出現為所有接觸無人機的人創造了新形式的戰斗壓力--包括士兵和平民。軍事無人機飛行員已經多次被報道在戰斗事件中經歷了重要的心理壓力（Sharkey 2011）。鑒于反無人機部隊，顧名思義，主要是向無人機而非人類開火，這似乎與防衛無人機的操作者不太相關。然而，通過UCAVs進行打擊的方式是發生心理壓力的一個突出因素（Sharkey 2011），無論目標是否為人類，這使得防衛性無人機飛行員遭受類似結果的風險成為現實。雖然創傷后應激障礙（PTSD）通常被視為無人機飛行員心理健康問題的旗幟，但UCAV操作員報告了廣泛的心理健康問題，包括危險的酒精使用、抑郁癥、中度或嚴重的焦慮，以及亞臨床PTSD癥狀（Chappelle等人，2014；Phillips等人，2019）。雖然在美國空軍UCAV飛行員通常遠程操作無人機，即從美國境內的安全地帶而不是直接在戰場上操作，但這一人群中PTSD的發生率很高，盡管低于從部署中返回的軍事人員（Chappelle等人，2014）。與其他士兵相比，UCAV操作員的心理健康問題風險不一定增加，然而，較高比例的無人機飛行員患有與心理健康有關的重大功能障礙（菲利普斯等人，2019年）。

除了與工作時間和軍事與民用領域之間的困難定位有關的因素外，基于美國空軍經驗的研究--可以說代表了最大的作戰UCAV操作員群體--表明，UCAV操作員感到對旁人的傷害或死亡負有共同責任的戰斗相關事件的數量是發生PTSD癥狀的重要預測因素（Chappelle等人，2019）。特別是在無人機群的背景下，一些無人機可能成功穿越目標的防御。因此，防衛無人機的操作者，或者，專門負責防衛無人機的士兵，很可能會暴露在關于對旁觀者（在這種情況下，他們負責保護無人機攻擊的士兵或平民）的潛在傷害的類似情況下，對他們的心理健康有潛在的類似結果。除了這種增加的風險因素外，其他因素也可能增強反無人機部隊士兵的心理脆弱性。這主要是指高度的壓力，與普通部隊相比，反無人機部隊的壓力更大，這主要是由于對無人機攻擊的反應時間（從發現無人機到做出反應的時間）比大多數常規軍事部隊要短。

最后，在無人機將發揮重要作用的戰斗背景下，反無人機部隊可能很快成為優先目標，從而為其成員帶來更多壓力。因此，希望發展反無人機部隊的軍隊必須考慮到這些因素，并實施強有力的心理健康監測計劃，以確定潛在的脆弱士兵，并在需要時部署強有力的心理和精神醫療支持。

結論

無人機曾經局限于少數國家的武裝部隊，現在已經很普及了。隨著任務范圍的擴大，從監視和情報到戰斗，無人機在城市和非城市環境中的作戰能力，以及它們越來越多的可用性，無人機在作戰領域的存在在不久的將來只會增加。新興技術正在使無人機變得越來越可靠，越來越難以對付。

隨著無人機變得越來越普遍，各國都加大了在該領域的研究力度。這場捉迷藏游戲的馬達是技術。然而，贏得與無人機開發商的軍備競賽是一場永無止境的游戲。事實上，對于我們仍然可以控制的少數元素，技術的發展可能會使目前的防御措施大量過時。然而，反無人機防御不僅僅是技術問題，也是人和組織問題。因此，解決方案不能在純粹的技術方面找到，而必須包括人的層面。反無人機的最佳戰略將依賴于小型的、專業的、在技術和戰斗技能方面具有混合專長的單位，具有高度的機動性，并能快速應對危機。這樣的單位應該能夠快速部署在戰場上。這不僅會提高反應的效率，而且還能實現重大的規模經濟--因為部署一支專門的部隊比動員一個龐大但不專業的營隊更有成本優勢。能夠部署反無人機的多模式反應，并獲得這樣做的人力專長，對任何國家來說都是至關重要的，不論其規模和相對軍事力量如何。較小的國家在這樣做時甚至可能比最大的軍事力量有更多的相對優勢。

我們在過去幾十年中所看到的只是冰山一角。我們正處于技術引起的大規模社會變革的黎明。技術將大規模地改變戰爭。人工智能和戰斗機器人很快就會出現在戰場上。在這種情況下，反無人機部隊可能是我們從作戰角度對未來戰爭的第一瞥。因此，反無人機部隊很可能成為未來戰爭部隊的組織、訓練和實施的模板。

21世紀，沖突地區的上空出現了無人駕駛飛行器（UAVs），也就是眾所周知的無人機。過去二十年來，在武裝沖突地區內外，無人機的部署已變得非常普遍。無論它們是否有武器，無人機都在當代沖突的作戰方式上留下了印記，并為國家和非國家行為者提供了使用致命武力的新方法。無人機為交戰各方提供了 "天空中的眼睛"，是關于敵人行蹤的全天候情報來源。 無人機在沖突地區上空盤旋，借助廣泛的機載傳感器系統和相機，通過執行情報、監視、目標獲取和偵察（ISTAR）來收集戰場信息。這些功能支持了無人機的作用，將其與地面或空中的其他武器系統聯系起來，并利用傳感器數據來確定目標，或者用機載火箭、導彈或炸彈直接攻擊目標。無人機在戰爭中的應用給軍隊帶來了多種優勢，如提高態勢感知能力和消除飛行員的風險，同時也相對便宜。

最初，美國（US）主導了武裝和非武裝無人機的生產和部署，以色列和中國緊隨其后。2001年9月11日恐怖襲擊發生后不久，美國就在阿富汗上空使用無人機追蹤基地組織成員，它很快感到有必要在其 "捕食者 "無人機上加裝導彈，而在此之前，這些無人機都是非武裝的。 武裝無人機是奧巴馬總統領導下的美國秘密定點清除計劃的標志。以色列在2011年之前已經在其定點清除計劃中使用武裝無人機，但直到2022年夏天才公開承認。在過去五年里，土耳其等其他國家在利比亞、敘利亞北部、土耳其南部和伊拉克的行動中大量使用無人機，發揮了主導作用。無人機正在成為反叛亂行動和軍事干預行動的首選武器，利比亞戰爭就是一個例子，它通常被稱為 "世界上最大的無人機戰區"。 在這些地方，人們可以看到各種類型的軍用無人機的廣泛傳播和擴散。

談到無人機的生產和出口，土耳其、伊朗和中國等國家已經加入了無人機生產國的行列，渴望在無人機市場上發揮巨大作用。這些新的無人機大國一直在向一系列以前不是無人機用戶的非西方國家，如埃塞俄比亞、尼日利亞、利比亞和阿塞拜疆出口他們的Bayraktar TB-2s、Mohajer-6s和Orlan-10s，而且還向非國家武裝團體，如真主黨和也門的Ansar Allah（更有名的Houthis）。根據無人機研究中心的數據，2019年有95個國家有活躍的軍事無人機計劃，而2010年有此類計劃的國家為60個，增加了58%。這些國家總共擁有約30,000架無人機。同樣，在這些國家擁有的武裝無人機的數量和類型方面，也有明顯的擴大和多樣化。 技術先進的軍隊不再享有對無人機使用和出口的壟斷；其他幾十個國家也加入了它們的行列，擴大其無人機能力。正如無人機專家丹-格納所解釋的那樣，這一發展不可避免地影響到武裝沖突的未來。

除了使用武裝無人機的國家行為體領域的轉變，擁有和部署無人機的非國家武裝團體（NSAG）也在增加。他們從其盟友那里獲得了無人機技術和培訓；例如，也門的胡塞武裝從伊朗獲得了無人機部件。此外，非國家武裝團體還能獲得商業無人機，對其進行改裝，使其成為可用于戰斗的武器。像伊拉克和敘利亞伊斯蘭國（ISIS）和真主黨這樣的武裝團體已經將其制造具有打擊能力的民用無人機的工作專業化和產業化，徹底改變了非國家武裝團體的無人機能力。他們的無人機制造和使用知識已經轉移到其他NSAG，擴大了軍用無人機的部署領域。這些商用現成（COTS）無人機說明了軍用和民用無人機之間的模糊區別：一架業余無人機只需花幾百歐元甚至幾十歐元就能在網上買到，但只需在上面裝上彈藥，就能輕易變成武器。非國家武裝團體對消費類技術的使用與商業無人機公司的激增相輔相成，使各種國家和非國家行為者都能獲得廉價的技術。非國家武裝團體手中武器化的COTS無人機的發展，加上各種國家生產、出口和使用無人機，導致了重要的法律、倫理和政治問題，例如，出口管制條例、保護平民和降低使用武力的門檻。

不幸的是，國際規則和條例沒有跟上無人機生產、出口和部署的爆炸性國際增長的步伐。盡管在95個擁有積極軍事無人機計劃的國家中，有63個被認為主要擁有外國制造的無人機，但沒有多邊機制來全面監管無人機和無人機技術的出口和后續使用。現有的幾個軍控制度--導彈技術控制制度（MTCR）、瓦森納協議、歐盟關于武器出口的共同立場和國際武器貿易條約（ATT）--提供了一些指導。然而，由于無人機生產商或用戶的參與度有限，對某些類型的無人機關注度狹窄，或者缺乏強有力的、具有法律約束力的規則，這些協議都未能有效地監管無人機出口。專門指導無人機部署和出口的第一次嘗試是美國2015年的一項政策，該政策導致了關于武裝無人機出口和使用的聯合宣言，該宣言由54個國家簽署并在2016年發布。然而，該宣言被各國、專家和民間社會組織批評為非包容性的，因為它是由美國起草的，幾乎沒有其他國家或專家的意見，它的范圍有限，措辭模糊，而且由于宣言的自愿性質，沒有現實意義。基于這一聯合聲明，美國一直在與一小群國家合作制定 "武裝無人駕駛飛行器的出口和后續使用的國際標準"，然而，完整的文件尚未公布。

完全依靠自主系統的技術在推動海底領域的環境研究方面發揮了重要作用。無人潛水器（UUV），如美海軍研究生院的UUV研究平臺，在推進用于研究目的的自主系統的技術水平方面發揮了作用。使用自主系統進行研究正變得越來越流行，因為自主系統可以將人類從重復性的任務中解脫出來，并減少受傷的風險。此外，UUVs可以以相對較低的成本大量制造。此外，由于計算和電池技術的進步，UUVs可以在沒有人類干預的情況下承擔更多的擴展任務。

UUV的重要部分之一是控制系統。UUV控制系統的配置可能會根據車輛的有效載荷或環境因素（如鹽度）而改變。控制系統負責實現和保持在目標路徑上的穩定飛行。PID控制器在UUV上被廣泛實施，盡管其使用伴隨著調整控制器的巨大成本。由于兩個主要問題，陡峭的成本并不能提供穩健或智能解決方案的好處。

第一個問題是，PID控制器依賴于復雜的動態系統模型來控制UUV。動態系統模型有簡化的假設，使控制問題得到有效解決。當假設不成立時，PID控制器可以提供次優的控制，甚至會出現完全失去控制的情況。第二個問題是，PID控制器并不智能，不能自主學習。PID控制器需要多名工程師和其他人員花數天時間收集和分析數據來調整控制器。調整PID控制器是一項手動任務，會帶來人為錯誤的機會。

在使用深度強化學習方法進行自主車輛控制系統方面，有很多正在進行的研究，并且已經顯示出有希望的結果[1,2]。深度強化學習控制器已被證明優于執行路徑跟蹤任務的UUV的PID控制器[3]。此外，與PID控制器相比，基于深度強化學習的控制器已被證明能夠為無人駕駛飛行器（UAVs）提供卓越的姿態控制[4-5]。雖然這個例子不是專門針對UUV的，但這個來自空中領域的概念可以轉化到海底領域。

一些最流行的深度強化學習算法被用于自主車輛控制系統的開發，包括近似策略優化（PPO）[6]和深度確定策略梯度（DDPG）[7]算法。本研究將重點關注DDPG算法。DDPG算法是一種角色批判型的深度強化學習算法。Actor-Critic算法同時學習策略和價值函數。Actor-Critic算法的概念是：策略函數（演員）根據當前狀態決定系統的行動，而價值函數（批評家）則對行動進行批評。在深度強化學習中，政策和價值函數是由DNNs近似的，在本研究中具體是多層感知器（MLPs）。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

在利用降低精度來提高強化學習的計算效率方面，目前的研究很有限。[11]的作者展示了如何使用量化技術來提高深度強化學習的系統性能。文獻[12]的作者展示了一種具有6種方法的策略，以提高軟行為批評者（SAC）算法低精度訓練的數值穩定性。雖然正在進行的研究集中在基準強化學習問題上，但這一概念在科學應用上相對來說還沒有被開發出來，比如使用深度強化學習代理對UUV進行連續控制。

本研究將證明在混合精度和損失比例的情況下，訓練DDPG代理對UUV的連續控制不會影響控制系統的性能，同時在兩個方面使解決方案的計算效率更高。首先，我們將比較用固定和混合數值精度訓練的DDPG代理的性能與1自由度速度控制問題的PID控制器的性能。我們將研究用固定和混合精度訓練DDPG代理的訓練步驟時間。其次，本研究將研究DNN大小和批量大小的閾值，在此閾值下，用混合精度訓練DDPG代理的好處超過了計算成本。

本文的其余部分結構如下。問題表述部分將提供關于DDPG算法、NPSUUV動力學、PID控制和混合數值精度的簡要背景。實驗分析部分將描述本研究中運行的數值實驗的設置和結果。最后，在結論和未來工作部分將描述整體工作和未來計劃的工作。

空中力量已經從一個世紀的技術創新和進步中受益。新技術的出現繼續挑戰著空中力量中經常持有的常識。無人機系統（UAS）就是這樣一種不斷發展的空中力量技術。這項技術為澳大利亞國防軍（ADF）帶來了巨大的機遇。雖然澳大利亞國防軍在特定的角色上取得了一些無人機系統的進展，但澳大利亞皇家空軍（RAAF）還沒有在其所有的空中力量貢獻中采用這種技術來達到軍事效果。

《空中力量手冊》（空天力量中心[ASPC]，2022年）定義了七種空中力量的貢獻：力量生成、空軍基地行動、空中指揮和控制、反空、空中機動、空中情報和ISR（情報、監視和偵察）以及空中打擊。一些先進的盟國已經在空中情報、ISR和空中打擊方面采用了發達的無人系統。這些系統包括美國空軍（USAF）的MQ-1捕食者、MQ-9死神和RQ-4全球鷹。甚至反空--載人空戰--也在發展無人系統的路上；RAAF與波音公司合作開展了 "忠誠的翼人 "項目（戴維斯，2019c），現在正式命名為MQ-28A幽靈蝙蝠（達頓，2022）。

但空中機動性如何？ADF還沒有接受關于未來ADF空中機動性自主性的真正對話。未來自主空中機動性思維停滯不前的一個更可能的原因是，在（到目前為止）有效的空運理論的支持下，載人系統幾十年來取得了高度可靠和經證實的作戰成功。因此，這里有一個克勞塞維茨式的平行關系：戰爭性質的一個持久因素是對機動性的需要，但今天皇家空軍所面臨的是戰爭性質的一個階梯式變化，一個對機動性來說過于重要的技術機會，不容忽視。

本文確定了在澳大利亞國防軍空中機動中采用無人機系統的滯后性，并探討了澳大利亞國防軍在未來使用無人機系統的機會。通過這樣做，本文旨在提高對ADF無人駕駛空中機動性潛力的集體認識，并為ADF部隊結構企業的軍事和商業貢獻者提供一個廣泛的參考來源。本文首先研究了無人機系統適應的驅動因素，或指標。這些驅動因素包括澳大利亞的戰略利益、區域軍事現代化、安全和生存能力、降低成本和技術可用性。然后，本文介紹并分析了三種核心空中機動性活動中每一種的無人機系統發展的具體機會和例子。為此，本文簡要討論了澳大利亞國防軍目前的機隊，然后探討了一些不斷發展的無人駕駛空中機動性技術和概念，澳大利亞國防軍可能會考慮在下一代空中機動性機隊中使用。最后，本文提出了無人機系統空中機動性發展可能面臨的一些挑戰，以幫助未來的研究和探索。

證據表明，需要一個靈活的、跨服務（和跨文化）、跨行業的方法來設計、開發和使用未來的空中機動部隊。傳統的澳大利亞皇家空軍中重載平臺和陸軍輕中載平臺的分叉模式可能會讓位于大型和小型載人和自主系統的混合艦隊。聯合部隊設計者之間的集體方法--跨單一軍種總部的真正合作--對于皇家空軍的固定翼空中機動團體和陸軍的旋轉翼團體之間的合作至關重要。也許更重要的是，在這個領域需要與工業界合作。商業行業在自主車輛領域發揮著相當大的作用，政府和私人研究和開發組織也是如此。現有的和新的伙伴關系的跨服役杠桿對于利用未來自主的ADF空中機動性的機會是至關重要的。

無人機系統（UAS）在美國軍事行動中越來越突出。作為其現代化戰略的一部分，美國防部（DOD）目前正在開發先進的無人機，以及可選的載人飛機。在過去幾十年中，軍隊使用無人機執行各種任務，包括：

• 情報、監視和偵察；
• 近距離空中支援；
• 物資補給；
• 通信中繼。

分析人士和美國防部認為，無人機可以在許多任務中取代載人飛機，包括

• 空中加油；
• 空戰；
• 戰略轟炸；
• 作戰管理和指揮控制（BMC2）；
• 壓制和摧毀敵人的防空系統；
• 電子戰（EW）。

此外，美國防部正在開發一些實驗概念，如飛機系統體系、群集和致命自主武器，以探索使用未來幾代無人機的新方法。在評估潛在新的和未來無人機項目、任務和概念的撥款和授權時，國會可能會考慮以下問題：

• 能夠作為致命自主武器的無人機的擴散及其對全球軍備控制的影響；
• 與載人飛機相比，未來無人機的成本；
• 無人機對人員和技能的影響；
• 作戰和作業概念；
• 無人機技術的普及。