亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

無人駕駛飛行器（UAV）俗稱無人機，目前被廣泛用于邊境監控、空中偵察、交通管制和武裝沖突中的軍事干預等行動。盡管人的因素在編程和控制方面仍起著至關重要的作用，但這些飛行器有望成為可靠、自動、有時甚至自主的機器。無人機在誕生之初，結構復雜，體積龐大，只屬于技術先進的軍事強國的專屬俱樂部。它們往往用于對付技術薄弱的軍事目標定位。現在，無人機在價格、尺寸和先進性方面的發展使幾乎任何人都能購買無人機。這些當代機器通常體積較小，而且隨著人工智能（AI）的使用越來越多，其成本和使用范圍幾乎可以覆蓋所有作戰人員。因此，有必要重新思考使用它們的戰略和戰術。這些 "微型無人機 "很少具備 "傳統 "無人機的復雜性和能力，但它們確實有能力提供大量資產，并不斷增強能力。雖然它們可能不具備大型無人機的起重能力，但它們可以經濟地大規模使用，因此可以產生不同但同樣有效的結果。本文研究了蜂群及其相關能力，它們不僅能壓倒戰斗機，還能通過遍布蜂群的額外傳感器帶來額外功能。因此，復雜的人工智能為無人機群提供了各種類型的功能：例如，假人/曳光無人機、動能和非動能攻擊無人機、監視無人機，以及可配備無線接入點并部署為特設飛行網絡的無人機。本文還探討了無人機/無人駕駛飛機的類別和自主性，以及如何利用自主性和蜂群智能（SI）為各種作戰概念創造效率。

無人機蜂群

目前正在考慮采用各種類型的制空系統，使軍事力量能夠從空中（以及海上、地面和太空）長時間控制一個地區，并阻止敵人的移動和機動。無人作戰飛機按其運行模式可分為兩類：巡飛型和蜂群型。

目前正在考慮的系統是標準的武器化無人機系統或裝有成像傳感器的小型消耗性巡飛武器，如低成本自主攻擊系統（LOCAAS）。低成本自主攻擊系統以 "智能彈藥 "武器群的形式運行，可自主搜索和摧毀關鍵的移動目標，同時瞄準廣闊的作戰區域。除了傳感器的自主性，蜂群無人機還需要具備自我導航和自我定位的能力，以便有效地收集圖像和信號。

正如廣泛記載的那樣，巡飛彈藥是一種武器系統類別，彈藥在目標區域周圍巡飛一段時間，搜索目標，一旦發現目標就發動攻擊。對于短時間內出現的隱蔽或隱藏目標，巡飛彈藥可以實現更快的反應時間，而無需將高價值平臺置于目標區域附近，并且由于可以中止實際攻擊任務，因此可以實現更有選擇性的目標定位。巡飛彈藥介于巡航導彈和無人戰斗飛行器之間，具有兩者的共同特點。它們與巡航導彈的不同之處在于，巡航導彈被設計為在目標區域周圍相對較長時間的巡飛，而巡飛彈藥與無人戰斗飛行器的不同之處在于，巡飛彈藥的目的是在攻擊中使用，并帶有內置彈頭。

無人機在世界各地的廣泛使用是顯而易見的，但如果能夠使用這些系統組成的蜂群協同作戰以實現共同目標，將對國防和安全大有裨益。蜂群技術是指協調使用不同類型、不同 "智能"、不同大小和不同能力的無人機，使其能夠統一行動。使用蜂群技術，將眾多無人機用于一個目的，越來越受到人們的關注。蜂群可以降低運營成本，提高系統效率，并增強許多領域的復原力。

無人機蜂群有額外的通信需求。有效的分布式行動需要一個戰場網絡，用于無人機之間的通信，以分配傳感器目標和優先級，并將飛機定位到需要的位置。雖然操作員需要看到傳感器和飛機群，但必須將對許多在戰斗中作業的無人機的人為監督減少到最低限度，以執行電子戰。自動目標定位將把主動權移交給自主無人機，而一個強大的抗干擾通信網絡可以防止敵方干擾、捕獲和篡改數據，是無人機蜂群作戰的重要推動因素。

美國國防大學的 Kallenborn（2018）將無人機蜂群技術定義為無人機根據共享信息自主決策的能力。這有可能徹底改變沖突的態勢。事實上，無人機蜂群在國家和國土安全的幾乎每個領域都有重要應用。無人機蜂群可以在海洋中搜索敵方潛艇，也可以分散在大片區域，識別并消滅敵方地對空導彈和其他防空系統。無人機群甚至有可能成為新型導彈防御系統，攔截來襲的高超音速導彈。在國土安全方面，配備有化學、生物、輻射和核（CBRN）探測器、面部識別、反無人機武器和其他功能的安全蜂群可抵御一系列威脅。此外，它們還可在攻擊模式下用作其中某些場景的載體。

McMullan（2019）認為，蜂群無人機有不同的形狀和大小。例如，美國國防部高級研究計劃局（DARPA）一直在開展一項名為 "小精靈"（Gremlins）的計劃；這種微型無人機的大小和形狀與導彈相當，可從飛機上投放，在廣闊的區域內執行偵察任務。另一類是較大型的 XQ-58 Valkyrie 無人機（長 8.8 米）。

圣迭戈的一家名為 Kratos Defense & Security Solutions 的公司生產兩種噴氣式自主無人機：UTAP-22 Mako 和 XQ-58 Valkyrie，它們將與有人駕駛戰斗機合作，成為人類飛行員的 "忠實僚機"。它們可以攜帶精確制導炸彈和監視設備。

DARPA 于 2016 年啟動的 OFFSET-計劃（OFFensive Swarm-Enabled Tactics）設想未來的小單元步兵部隊使用由多達 250 個以上的小型無人機系統（UAS）和/或小型無人地面系統（UGS）組成的蜂群，在復雜的城市環境中完成各種任務。通過利用和結合蜂群自主和人-蜂群協同的新興技術，該計劃旨在實現突破性能力的快速開發和部署。OFFSET 的目標是提供快速生成蜂群戰術的工具，評估這些蜂群戰術的有效性，并將最佳蜂群戰術整合到實戰行動中。OFFSET 將開發一個積極的蜂群戰術開發生態系統和支持性開放系統架構，包括

• 先進的人類-蜂群界面，使用戶能夠同時實時監控和指揮數百個無人平臺。

• 支持基于物理的蜂群戰術游戲的實時網絡虛擬環境。

• 社區驅動的蜂群戰術交流。(Chung, 2016）

目前，機載無人機的飛行路線、傳感器有效載荷和武器系統均由地面控制站協調。然而，自主或半自主僚機的概念正以比預期更快的速度出現。未來的戰斗機將能夠為無人機提供任務和目標，管理傳感器有效載荷，并從空中指導飛行路線。

在OFFSET計劃中，通過利用和結合蜂群自主和人機協同的新興技術，該計劃旨在實現突破性能力的快速開發和部署。該計劃包括五個研究和實驗領域：蜂群技術、人-蜂群團隊合作、蜂群感知、蜂群網絡和蜂群物流。圖 1 展示了自主蜂群能力開發 OFFSET 計劃。

圖 1：OFFSET 計劃中的自主蜂群能力開發

2019 年 8 月，DARPA 進行了一次 OFFSET 測試，使用自主無人機蜂群和地面機器人協助執行軍事任務。DARPA 展示了其機器人如何分析兩個城市街區，尋找、包圍并保護一座模擬城市建筑。

芬蘭國防部（2015 年）指出，在某些情況下，無人機可以比有人駕駛飛機更好、更便宜地執行任務。難以探測的微型飛行器（MAV）的廣泛擴散即將給防空帶來極大挑戰。即使是最小的無人機也適用于情報和精確制導彈藥（PGM）目標定位。此外，它們還可以作為武器，甚至在建筑物內使用。最激進的概念側重于取代 "情報-目標定位-發射 "鏈；其目標是通過協調使用蜂群式無人飛行器來實現快速武器效果。這就要求無人機具有足夠的生存能力和成本效益，以便使防御達到飽和。

Haberl 和 Huemer（2019 年）在他們的會議論文中描述了無人機蜂群攻擊。2018 年，俄羅斯國防部宣布，13 架安裝了小型炸彈的無人機成功襲擊了俄羅斯在敘利亞的基地。這種無人機旨在在撞擊時爆炸，需要經過改裝才能攜帶炸藥，不難想象3D打印技術如何在這方面派上用場，尤其是無人機能夠在不需要任何額外基礎設施或設備的情況下躲避導彈預警系統。

在蜂群行動中，相互連接、相互協作的無人機能夠智能地協同工作。蜂群智能是自然或人工的分散、自組織系統的集體行為（Beni& Wang，1993 年）。一般來說，在處理與安全相關的行為時，有兩個主要重點：壓倒性武力和欺騙。 小型無人機的成本不斷降低（Hambling，2015 年），再加上蜂群的內在冗余性，使得使用眾多無人機進行攻擊更具吸引力，因為這往往會壓倒針對它們的任何反制措施，此外，這也會使欺騙變得更加困難，因為一些無人機被禁用后仍會留下其他無人機執行任務。

目前，這些 "蜂群無人機系統 "被用于和考慮用于在水下保護潛艇等貴重資產，在空中保護有人駕駛飛機，以低廉的成本為軍事單位提供監視。最初使用的 "系留 "無人機與 "母艦 "相連，為控制飛行器及其機組人員提供保護，反過來，"母艦 "通過為中央控制功能提供犧牲無人機，提供額外的監視設施、火力和掩護。這一概念發展到自主式無人機，每架無人機都是獨立的，但與其他無人機保持通信，就像鳥群一樣團結一致，這種實現方式賦予了群體更大的力量，除非其要素始終非常簡單，否則更難欺騙。然而，簡單的自組織蜂群可以在不損失太多功能的情況下失去一些成員--欺騙和/或摧毀蜂群要比欺騙個體難得多。不過，由于蜂群需要相互聯系，因此更容易受到惡意軟件的感染，而具有諷刺意味的是，這可能是蜂群的一個弱點。

水下無人機確實存在通信問題，尤其是在沒有與 "母艦"連接的情況下，因為通信信號會被水介質衰減。信號是通過無線電、聲波或光線（迄今為止一直使用藍色）發送的。不過，通過將每架無人機排列成線，并將信號從一架傳到另一架，從而像傳統網絡技術那樣擴大范圍，已經部分克服了這一問題。

無人機蜂群的概念源于尋找非對稱方法來發展恐怖主義和叛亂戰爭的需要。從美國的角度來看，與常規部隊相比，21 世紀初的敵人往往是相對分散的小團體。雖然這些戰術并不新鮮（Arquilla 和 Ronfeldt，2000 年），但似乎確實需要這些戰術來彌補大型、等級森嚴的部隊的不足，因為事實證明這些部隊不如這些小團體靈活、迅速。隨著軍用無人機的發展和不斷進步，技術上有能力生產出更小更靈活的無人機。隨著技術的發展，通信和人工智能技術的提高使這些機器的潛力不斷增加，從而發展出無人機蜂群。網絡理論的擴展使智能蜂群得以發展，從廣義上講，智能蜂群可以是分層的，也可以是網絡化的（在組織意義上）。

無人機蜂群的設計可以使無人機蜂群系統的每個元素都能獨立工作，并在需要時匯聚成群，這樣無人機群就可以隨著所處理問題的不同而擴大或縮小。因此，不同能力、功能和形態的無人機可以根據需要進行協調。這種能力非常強大，需要對手在群體層面開展工作，而不是針對單個無人機（盡管精心選擇的目標定位無人機可能會產生預期的影響，但這取決于網絡的架構）。

結論

蜂群理念從本質上推動了無人機向自主化方向發展。智能無人機群技術可對軍事能力的各個領域產生重大影響，包括加強供應鏈、C5ISR 和投送動能彈藥。能迷惑和壓制防空系統的小型攻擊無人機群很快就會成為現代軍事武器庫的重要組成部分，這將標志著機器人戰爭的重大發展。

計算機能力、處理速度和人工智能的進步正在迅速改變平臺無需人工干預就能執行任務的范圍。目前，控制一架無人機往往需要多人，而提高無人機自主性的新算法可能會大大改變這一比例。

無人機蜂群的各個組成部分可以相互通信，這使得無人機群不同于單個無人機群。智能通信和自主性使蜂群能夠根據實時信息調整行為。裝有攝像頭和其他環境傳感器的無人機（傳感器無人機）可以識別潛在的目標定位、環境危害或防御措施，并將這些信息傳遞給蜂群的其他成員。然后，蜂群可進行機動以避開危險或防御，或者由配備武器的無人機（攻擊無人機）對目標或防御進行攻擊。實時信息收集使無人機群非常適合在軍事或民事行動中在廣闊區域搜索移動或其他難以發現的單元。

雖然單個無人機可能很有用，但無人機群更難被消滅。在復雜的環境中，如城市或覆蓋地形，很難看到長距離，無人機群將會有所幫助。與單個無人機相比，一大群無人機可以提供更好的態勢感知。

根據 Kallenborn（2018 年）的說法，未來的無人機群不需要由相同類型和大小的無人機組成，而是要結合配備不同有效載荷的大型和小型無人機。將不同類型的無人機組合在一起，就能形成一個比單個部分能力更強的整體。單個無人機群甚至可以跨域行動，由海底和水面無人機或地面和空中無人機協調行動。如上文所述，信息主導權是留給有遠見的軍事規劃者的，他們要在戰爭中接受 "系統的系統"（system-of-systems），即有人和無人平臺、武器、傳感器和電子戰系統相互影響的網絡。

除其他弊端外，必須承認蜂群作戰也增加了新的脆弱性。無人機群尤其容易受到電子戰攻擊。由于無人機群依賴于無人機之間的通信，破壞這種信號也會破壞無人機群。隨著無人機群變得越來越復雜，它們也更容易受到網絡攻擊。對手可能會通過向蜂群提供虛假信息、黑客攻擊或產生操縱性環境信號等手段，試圖劫持蜂群。

自 20 世紀 30 年代末以來，國際情報界就一直在關注這一問題。根據洛斯阿拉莫斯實驗室解密的美國情報記錄，這種無人機可能只是在 1944 年德國設計的無人駕駛飛行器（UAV）基礎上進行了修改，目的是散播致命的空中生物活性物質。

如何抵御無人機蜂群攻擊？美國空軍最近為此推出了一種新工具：名為 "戰術高功率微波作戰應答器"（THOR）的高功率微波系統，旨在保護基地免受無人機群的攻擊。據美國空軍稱，該系統可一次性擊毀大量無人機，射程比子彈或網更遠。

無人機技術的最新發展導致了無人駕駛飛行器（UAV）的廣泛使用。特別是，無人飛行器經常用于偵察，以探測大面積區域內的失蹤人員等物體。然而，傳統系統僅使用一架無人飛行器在大面積區域內搜尋失蹤人員。此外，由于探測需要較高的計算能力，因此需要在飛行后或手動進行物體探測。本文提出了一種使用多架無人機的無人機偵察系統。所提議的多無人機偵察系統在每個無人機上執行實時目標檢測。地面控制系統（GCS）接收每架無人機的實時目標檢測結果，并對圖像進行拼接。為了實現單個無人機的實時目標檢測，YOLOv5 模型采用了濾波器剪枝方法，與現有的基線模型相比，該模型使用的參數減少了 40%。輕量級 YOLOv5 模型在使用任務計算機的 Jetson Xaiver NX 上實現了約 11.73 FPS 的速度。此外，所提出的圖像拼接方法可利用無人機生成的附加信息有效匹配特征，從而實現圖像拼接。無人機飛行測試表明，擬議的偵察系統可以在大面積區域內實時監控和檢測目標。

隨著近年來無人機技術的發展，無人機現已被廣泛應用于各種領域，例如人類難以直接搜索和分析的大型危險區域的偵察系統。人工智能的進步極大地提高了物體探測技術，可以發現人或汽車。然而，由于大多數任務都是由單架無人機執行，因此作業范圍和時間都受到限制。此外，由于無人駕駛飛行器（UAV）的性能限制，很難實時探測物體，因此無法立即做出反應。這些限制激發了對使用多架無人機進行蜂群飛行的研究，通過劃分大面積區域來執行任務，并通過為無人機分配不同的任務來實現合作。

蜂群偵察系統需要一個能同時控制和管理多架無人機的蜂群操作系統。在該系統的基礎上，還需要一種圖像拼接算法，將無人機接收到的圖像進行同步處理，并合并成一張匹配的圖像。整合后的圖像可幫助用戶有效了解整體情況并做出決策。然后，需要一種實時物體檢測算法來檢測失蹤人員或入侵者。在物體檢測方面，已經使用了深度學習算法。然而，由于其計算成本較高，處理過程需要在無人機外部進行或作為后處理。

本文提出了一種基于數據分布服務的蜂群偵察無人機系統，如圖 1 所示，該系統使用安全的集成指令同時控制和操作多架無人機。所提出的系統接收來自每架無人機的獨立圖像，并對圖像進行拼接，同時實時檢測無人機內的物體。因此，地面控制系統（GCS）可實時提供全面的態勢感知。通過基于無人機獲取的拼接圖像的目標檢測測試，對所提出的系統進行了驗證。

本文的主要貢獻可歸納如下：

1. 提出了一種基于無人機圖像的實時目標檢測方法。以每秒處理 10 幀（fps）為目標，設計了一個擬議的蜂群偵察無人機系統，用于執行實時目標檢測。為了在無人機使用的 Jetson Xavier NX 系統中達到 10 幀/秒的要求，提出了針對輕量級網絡的濾波器剪枝方法，以實現物體檢測性能。

2. 為蜂群無人機系統提出了實時圖像拼接方法。提出的圖像拼接方法利用無人機產生的附加信息有效地匹配特征。

3. 對無人機進行飛行實驗，以驗證所提方法的可行性。

本文其余部分的結構如下。第二節介紹了無人機群系統和無人機圖像目標檢測的相關研究。第三節介紹了擬議的具有空中圖像拼接和實時目標檢測功能的蜂群偵察無人機系統的總體結構。第四節簡要介紹了實驗裝置和結果。第五節討論本文的結論。

近年來，未經授權的無人駕駛飛行器（UAV）所造成的危險已大大增加，因此，至少需要采取適當的探測、跟蹤和反制措施來消除這種威脅。除了射頻干擾器、全球定位系統欺騙、高壓激光、電磁脈沖和射彈槍之外，反無人駕駛航空系統（cUAS）也是對付未經授權的小型無人駕駛飛行器的一種非常高效和有效的對策。

本文介紹的 cUAS 是一種全自動、多功能、可移動部署的系統，能夠利用氣壓驅動的網狀發射器攔截市場上幾乎所有的小型無人機。與上述替代方案相比，所開發的 cUAS 不受未經授權的小型無人機操作模式的影響，即手動或自動控制，甚至不受全球導航衛星系統或射頻的影響。我們的多傳感器方法（照相機、激光雷達和雷達傳感器）以及所實施的算法使 cUAS 能夠在各種環境下運行，如開放式機場、軍用場地和城市空間，在這些環境下，許多雷達反射通常會阻礙對小型物體的探測和跟蹤。cUAS 可獨立接近、跟蹤和/或攔截速度高達 20 米/秒的已識別無人機，成功率超過 90%。

本文對 cUAS 原型機的性能進行了演示和評估。對小型無人機的攔截能力和狗斗性能進行了測試和研究。此外，我們還概述了該系統的具體攻擊和防御策略，以及從最初的探測和分類到最終攔截和清除未授權無人機的過程階段特征，并說明了所開發的多傳感器平臺相對于現有單傳感器系統的優勢。

圖 1：地面探測與控制站（左）和攔截無人機系統（右）的硬件組件[產品圖片來自相關制造商]。

圖 3：攔截過程的各個階段及其條件。

無人飛行器（UAV）與智能反光面（IRS）相結合，利用無人飛行器的三維移動性和 IRS 的智能無線電功能，是提高無線通信信道容量的尖端技術。這項研究設想了這樣一種場景：一群配備 IRS 的無人機通過 OFDMA 同時向一個基站（BS）傳輸信號，為多個物聯網（IoT）地面節點（GN）提供服務。組成 IRS 的無源元件數量龐大，給任務設計帶來了極大的復雜性。因此，每個 IRS 都被劃分為可同時服務于不同節點的補丁。考慮到一般里氏衰落，推導出了 IRS 輔助無人機輔助網絡的綜合信道模型。然后，設想了一個多目標混合整數非線性編程問題，通過聯合優化軌跡和相移矩陣，使全球導航網的總速率最大化，同時使用戶數據速率差最小化。用調度（即補丁-GN 分配）來重新表述這個非凸問題，在解決上具有挑戰性。因此，該問題被重新編排為馬爾可夫決策過程，并通過深度強化學習獲得了準最優解。我們進行了廣泛的仿真分析，以驗證所提模型的結果和準確性。

快速發展和擴散的無人機技術可以應用于對軍隊和平民構成安全威脅的監視或武器系統。

過去十年中，無人駕駛飛行器（UAV）或無人機能力的快速發展極大地拓展了這些創新型機載設備的商業、軍事和消費應用領域。無人機的特點是固定翼或多旋翼，其價值在于長距離飛行、輕量化設計以及成像和感知能力。傳統的無人機由無線電控制器在專用信道上運行，現代無人機正朝著自主、機器控制的戰術無人機群發展，能夠實現一系列復雜的目的。然而，由于這些設備的體積和相對有限的電池電量，這些功能性工具中嵌入的計算能力和機載軟件仍然極為有限。隨著越來越多的惡意行為者試圖破壞、劫持和誤導無人機的飛行路線，如何確保無人機的安全成為一個重要的學術難題。從無人機劫持到拒絕服務（DoS）再到信號干擾，影響無人機飛行可靠性的常用技術簡單易行、威力強大，而且廣泛為大眾所掌握。本研究分析了無人機風險管理能力與訓練良好的機器學習模型所提供的機會之間的關系。通過將基于 Python 的半監督訓練集應用于多個機器學習解決方案，本研究證明了飛行中數據監控和安全威脅檢測算法在未來機載應用中的可行性。將這些發現進一步擴展到基于蜂群的多無人機指紋識別和飛行監控，展示了網絡威脅識別和安全管理的潛力。最終，這些研究成果提出了一種新型模型，將機載和離線機器學習功能集成到基于防護罩的軟件解決方案中，該解決方案可以檢測和應對飛行異常以及惡意行為者不斷變化的威脅模式。

根據這些核心概念考慮因素，圖 5 形象地展示了無人機操作與安全威脅識別和緩解之間的多維關系。該框架的初始階段確定了無人機身份和運行容限的規范維度，將飛行計劃信息、GPS 數據和基線信號強度等已知矢量整合到威脅評估程序中。下游行為監控和威脅檢測可識別各種威脅載體的風險概況，包括 DoS、劫持、欺騙和信號干擾。雖然可以識別這些威脅，但無法使用標準的無人機數據和控制-無人機通信渠道對其進行主動監測。相反，需要一種先進的機器學習解決方案，利用 Na?ve Bayes、Random Forest、SVM 和線性回歸等四種算法模型中的一種或多種。

對使用無人駕駛飛行器（UAV），即無人機，在不同的應用中，如包裹遞送、交通監測、搜索和救援行動以及軍事戰斗交戰，有越來越多的需求。在所有這些應用中，無人機被用來自主導航環境--沒有人的互動，執行特定的任務和避免障礙。自主的無人機導航通常是通過強化學習（RL）完成的，智能體作為一個領域的專家，在避開障礙物的同時導航環境。了解導航環境和算法限制在選擇適當的RL算法以有效解決導航問題中起著至關重要的作用。因此，本研究首先確定了主要的無人機導航任務并討論了導航框架和仿真軟件。接下來，根據環境、算法特點、能力和在不同無人機導航問題中的應用，對RL算法進行了分類和討論，這將有助于從業人員和研究人員為他們的無人機導航用例選擇合適的RL算法。此外，確定的差距和機會將推動無人機導航研究。

引言

自主系統（AS）是能夠在沒有人類干擾的情況下執行所需任務的系統，如機器人在沒有人類參與的情況下執行任務、自動駕駛汽車和無人機送貨。自主系統正在侵入不同的領域，以使操作更加有效，并減少人為因素產生的成本和風險。

無人駕駛航空器（UAV）是一種沒有人類飛行員的飛機，主要被稱為無人機。自主無人機由于其多樣化的應用而受到越來越多的關注，如向客戶交付包裹、應對交通事故以滿足傷員的醫療需求、追蹤軍事目標、協助搜索和救援行動，以及許多其他應用。

通常情況下，無人機配備有攝像頭和其他傳感器，可以收集周圍環境的信息，使無人機能夠自主地導航該環境。無人機導航訓練通常是在虛擬的三維環境中進行的，因為無人機的計算資源和電源有限，而且由于墜毀而更換無人機部件可能很昂貴。

不同的強化學習（RL）算法被用來訓練無人機自主導航的環境。強化學習可以解決各種問題，在這些問題中，代理人就像該領域的人類專家一樣。代理人通過處理環境的狀態與環境互動，用行動作出回應，并獲得獎勵。無人機相機和傳感器從環境中捕捉信息，用于表示狀態。代理人處理捕捉到的狀態并輸出一個行動，決定無人機的運動方向或控制螺旋槳的推力，如圖1所示。

圖1：使用深度強化智能體的無人機訓練

研究界對不同的無人機導航問題進行了回顧，如視覺無人機導航[1, 2]、無人機植群[3]和路徑規劃[4]。然而，據作者所知，目前還沒有與RL在無人機導航中的應用有關的調查。因此，本文旨在對各種RL算法在不同無人機自主導航問題上的應用進行全面系統的回顧。這項調查有以下貢獻：

• 幫助從業人員和研究人員根據應用領域和環境類型，選擇正確的算法來解決手頭的問題。
• 解釋各種RL算法的主要原理和特點，確定它們之間的關系，并根據環境類型對它們進行分類。
• 根據問題領域，討論和分類不同的RL無人機導航框架。
• 認識用于解決不同無人機自主導航問題的各種技術和用于執行無人機導航任務的不同仿真工具。

本文的其余部分組織如下： 第2節介紹了系統回顧過程，第3節介紹了RL，第4節全面回顧了各種RL算法和技術在無人機自主導航中的應用，第5節討論了無人機導航框架和仿真軟件，第6節對RL算法進行分類并討論了最突出的算法，第7節解釋了RL算法的選擇過程，第8節指出了挑戰和研究機會。最后，第9節對本文進行了總結。

隨著無人駕駛飛行器（UAVs），也被稱為無人機，變得容易獲得和負擔得起，這些設備的應用已經大大增加。其中一種應用是使用無人機飛越大面積區域并探測所需實體。例如，一群無人機可以探測海洋表面附近的海洋生物，并向用戶提供發現的動物的位置和類型。然而，即使無人機技術的成本降低，由于使用內置先進功能的定制硬件，這種應用的成本也很高。因此，本論文的重點是編制一個容易定制的、低成本的無人機設計，并配備必要的硬件，以實現自主行為、蜂群協調和機載物體探測能力。此外，本論文概述了必要的網絡結構，以處理無人機群的互連和帶寬要求。

無人機機載系統使用PixHawk 4飛行控制器來處理飛行機械，使用Raspberry Pi 4作為通用計算能力的配套計算機，并使用NVIDIA Jetson Nano開發套件來實時進行物體檢測。實施的網絡遵循802.11s標準，采用HWMP路由協議進行多跳通信。這種拓撲結構允許無人機通過網絡轉發數據包，大大擴展了蜂群的飛行范圍。我們的實驗表明，所選的硬件和實現的網絡可以在高達1000英尺的范圍內提供直接的點對點通信，通過信息轉發可以擴大范圍。該網絡還為帶寬密集型數據（如實時視頻流）提供了足夠的帶寬。預計飛行時間約為17分鐘，擬議的設計為中程空中監視應用提供了低成本的無人機群解決方案。

完全依靠自主系統的技術在推動海底領域的環境研究方面發揮了重要作用。無人潛水器（UUV），如美海軍研究生院的UUV研究平臺，在推進用于研究目的的自主系統的技術水平方面發揮了作用。使用自主系統進行研究正變得越來越流行，因為自主系統可以將人類從重復性的任務中解脫出來，并減少受傷的風險。此外，UUVs可以以相對較低的成本大量制造。此外，由于計算和電池技術的進步，UUVs可以在沒有人類干預的情況下承擔更多的擴展任務。

UUV的重要部分之一是控制系統。UUV控制系統的配置可能會根據車輛的有效載荷或環境因素（如鹽度）而改變。控制系統負責實現和保持在目標路徑上的穩定飛行。PID控制器在UUV上被廣泛實施，盡管其使用伴隨著調整控制器的巨大成本。由于兩個主要問題，陡峭的成本并不能提供穩健或智能解決方案的好處。

第一個問題是，PID控制器依賴于復雜的動態系統模型來控制UUV。動態系統模型有簡化的假設，使控制問題得到有效解決。當假設不成立時，PID控制器可以提供次優的控制，甚至會出現完全失去控制的情況。第二個問題是，PID控制器并不智能，不能自主學習。PID控制器需要多名工程師和其他人員花數天時間收集和分析數據來調整控制器。調整PID控制器是一項手動任務，會帶來人為錯誤的機會。

在使用深度強化學習方法進行自主車輛控制系統方面，有很多正在進行的研究，并且已經顯示出有希望的結果[1,2]。深度強化學習控制器已被證明優于執行路徑跟蹤任務的UUV的PID控制器[3]。此外，與PID控制器相比，基于深度強化學習的控制器已被證明能夠為無人駕駛飛行器（UAVs）提供卓越的姿態控制[4-5]。雖然這個例子不是專門針對UUV的，但這個來自空中領域的概念可以轉化到海底領域。

一些最流行的深度強化學習算法被用于自主車輛控制系統的開發，包括近似策略優化（PPO）[6]和深度確定策略梯度（DDPG）[7]算法。本研究將重點關注DDPG算法。DDPG算法是一種角色批判型的深度強化學習算法。Actor-Critic算法同時學習策略和價值函數。Actor-Critic算法的概念是：策略函數（演員）根據當前狀態決定系統的行動，而價值函數（批評家）則對行動進行批評。在深度強化學習中，政策和價值函數是由DNNs近似的，在本研究中具體是多層感知器（MLPs）。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

在利用降低精度來提高強化學習的計算效率方面，目前的研究很有限。[11]的作者展示了如何使用量化技術來提高深度強化學習的系統性能。文獻[12]的作者展示了一種具有6種方法的策略，以提高軟行為批評者（SAC）算法低精度訓練的數值穩定性。雖然正在進行的研究集中在基準強化學習問題上，但這一概念在科學應用上相對來說還沒有被開發出來，比如使用深度強化學習代理對UUV進行連續控制。

本研究將證明在混合精度和損失比例的情況下，訓練DDPG代理對UUV的連續控制不會影響控制系統的性能，同時在兩個方面使解決方案的計算效率更高。首先，我們將比較用固定和混合數值精度訓練的DDPG代理的性能與1自由度速度控制問題的PID控制器的性能。我們將研究用固定和混合精度訓練DDPG代理的訓練步驟時間。其次，本研究將研究DNN大小和批量大小的閾值，在此閾值下，用混合精度訓練DDPG代理的好處超過了計算成本。

本文的其余部分結構如下。問題表述部分將提供關于DDPG算法、NPSUUV動力學、PID控制和混合數值精度的簡要背景。實驗分析部分將描述本研究中運行的數值實驗的設置和結果。最后，在結論和未來工作部分將描述整體工作和未來計劃的工作。

無人機系統（UAS）在美國軍事行動中越來越突出。作為其現代化戰略的一部分，美國防部（DOD）目前正在開發先進的無人機，以及可選的載人飛機。在過去幾十年中，軍隊使用無人機執行各種任務，包括：

• 情報、監視和偵察；
• 近距離空中支援；
• 物資補給；
• 通信中繼。

分析人士和美國防部認為，無人機可以在許多任務中取代載人飛機，包括

• 空中加油；
• 空戰；
• 戰略轟炸；
• 作戰管理和指揮控制（BMC2）；
• 壓制和摧毀敵人的防空系統；
• 電子戰（EW）。

此外，美國防部正在開發一些實驗概念，如飛機系統體系、群集和致命自主武器，以探索使用未來幾代無人機的新方法。在評估潛在新的和未來無人機項目、任務和概念的撥款和授權時，國會可能會考慮以下問題：

• 能夠作為致命自主武器的無人機的擴散及其對全球軍備控制的影響；
• 與載人飛機相比，未來無人機的成本；
• 無人機對人員和技能的影響；
• 作戰和作業概念；
• 無人機技術的普及。