亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

空間態勢感知是準確描述和預測空間環境狀態的能力，隨著運行衛星數量的增加，空間態勢感知已成為人們關注的話題。這一趨勢是由大型衛星星座的部署推動的，這些星座在完全部署后可能由數萬顆衛星組成。準確跟蹤空間物體對于預測和防止物體之間的碰撞非常重要，因為碰撞可能會對運行中的衛星造成災難性損害，并產生碎片云，危及其他衛星。然而，跟蹤空間物體非常復雜，部分原因是測量結果的來源不確定，這個問題被稱為數據模糊性。雖然存在多種能夠處理數據模糊性的目標跟蹤算法，但在太空環境中進行跟蹤還面臨其他挑戰。由于相對于可用傳感器資源而言，目標數量眾多，因此每個目標的可用觀測數據數量通常較少，而且由于上述數據模糊問題，許多觀測數據互不相關。最近興起的大型星群帶來了另一個問題，即相關衛星將利用低推力推進系統來保持編隊，這就要求具備機動目標跟蹤能力，以獲得最佳性能。在本論文中，我們將分析兩個問題，這兩個問題代表了運營商在不久的將來將面臨的空間物體跟蹤挑戰。我們將展示如何利用有限集統計開發適用的算法。有限集統計是一種數學框架，允許采用自上而下的方法開發具有所需功能的嚴格貝葉斯最優多目標過濾器。

分析的第一個問題是大型星座跟蹤問題。我們模擬了一個由 4,500 多顆低地球軌道衛星組成的星座，并使用 12 個地面近視傳感器網絡對其進行跟蹤。這些傳感器的任務由一個結合了信息論獎勵的成本函數來完成。我們還利用戰術重要性函數，將基于任務的目標（如有碰撞風險的物體的優先級）納入任務分配邏輯。收集到的數據將通過一個帶標記的多貝努利濾波器進行處理。濾波器產生的狀態目錄估計值用于激勵下一輪傳感器任務分配，從而形成一個用于綜合任務分配和跟蹤的自主閉環系統。經過五天的跟蹤期后，狀態目錄估計值將用于執行會合分析。我們將現有方法結合起來，為衛星間近距離接近的過濾和風險量化提供了一個計算效率高的工作流程。

分析的第二個問題是在存在機動目標時跟蹤多個目標。機動目標以不可預測的方式偏離其自然軌跡，通常需要專門的跟蹤算法才能獲得最佳性能。跟蹤此類目標的常用方法是交互式多模型濾波器，該濾波器可維持一組模型來表示目標的可能動態。未知動態可通過等效噪聲概念表示為白噪聲過程。這樣就能有效地跟蹤機動空間物體，但這種算法缺乏表征機動的能力。利用有限集統計，我們能夠開發出一種廣義標注多貝努利濾波器，允許整合任意動態模型。這樣，我們就能利用數據自適應方法，更具體地模擬未知動態，從而使濾波器除了進行機動目標跟蹤外，還能進行機動特征描述。我們還開發了一種基于考慮的最小二乘機動估計算法，該算法使用單次脈沖速度變化對未知動力學進行建模。這種機動的時間是通過多重假設法估算出來的。這種方法與我們提出的廣義標注多伯努利濾波器相結合，并應用于模擬地球靜止軌道衛星群，其中包括一顆執行未知機動的衛星。

大型星座跟蹤工作的結果表明，綜合任務分配和跟蹤算法能夠保持對所有模擬衛星的監護。在傳感器任務分配邏輯中加入了碰撞風險的衡量標準，從而提高了風險分析的準確性，但改進不大。我們假設，采用更通用的優化算法或不同的傳感器架構，可能會使基于任務目標的任務分配產生更大的影響。我們對機動目標跟蹤問題的研究結果表明，我們能夠以可接受的準確度描述機動動態。與實際機動相比，我們的表征絕對誤差相對較高，但我們能夠保持對所有目標的監護。在整個機動過程中，一致性指標保持穩定，這表明對估計的機動誤差不確定性進行了精確量化。未來的工作還包括將這項工作擴展到更大規模的場景，在這種場景中，由于機動檢測對計算效率的影響，機動檢測將成為一個更大的因素。此外，還需要進一步開展工作，將我們的算法擴展到低地軌道跟蹤場景中經常使用的非高斯狀態表示法。

圖 3.3：整合各種算法，形成自主風險感知衛星跟蹤系統。

如今，許多機器人系統都是遠程操作的，需要不間斷的連接和安全的任務規劃。這類系統常見于軍用無人機、搜救行動、采礦機器人、農業和環境監測等領域。不同的機器人系統可能采用不同的通信方式，如無線電網絡、可見光通信、衛星、紅外線、Wi-Fi 等。然而，在機器人需要相互連接的自主任務中，由于信號超出范圍或不可用，經常會出現通信受限的環境。此外，一些自動化項目（建筑施工、裝配線）無法保證不間斷的通信，因此需要一個安全的項目計劃，以優化碰撞風險、成本和工期。在本論文中，我們提出了四管齊下的方法來緩解上述問題： 1) 通信感知世界地圖；2) 使用視線（LoS）進行通信保護；3) 通信感知安全規劃；以及 4) 用于導航的多目標運動規劃。

首先，重點開發了一種通信感知世界地圖，它將傳統的世界模型與多機器人位置規劃相結合。我們提出的通信地圖可選擇一連串中間中繼車輛的最佳位置，以便最大限度地提高與遠程單元的通信質量。我們還提出了一種算法，當有多個遠程單元需要服務時，可以建立一棵最小阿伯累樹（min-Arborescence tree）。 其次，在通信被剝奪的環境中，我們利用視線（LoS）在移動機器人之間建立通信，控制它們的移動并向其他自主單元轉發信息。我們提出并研究了多機器人中繼網絡定位問題的復雜性，并提出了近似算法，通過重新定位一個或多個機器人來恢復基于可見度的連接。

第三，開發了一個框架，用于量化全自動機器人任務的安全得分，在這種任務中，人與機器人的共存可能會帶來碰撞風險。我們使用運動規劃算法分析了一系列備用任務計劃，以選擇最安全的計劃。

最后，為機器人開發了一種基于多目標優化的高效路徑規劃，以處理若干帕累托最優成本屬性。

圖 2.1：(a) 由三個機器人組成的鏈，它們將操作員的通信轉發給遠程單元；(b) 包含三個中繼器的最小生成樹，優化了操作員與三個單元之間的通信。

過去幾十年來，在安全、監視、情報收集和偵察等許多領域，對目標跟蹤（OT）應用的需求一直在增加。最近，對無人系統新定義的要求提高了人們對 OT 的興趣。機器學習、數據分析和深度學習的進步為識別和跟蹤感興趣的目標提供了便利；然而，持續跟蹤目前是許多研究項目感興趣的問題。本論文提出了一個系統，實現了一種持續跟蹤目標并根據其先前路徑預測其軌跡的方法，即使該目標在一段時間內被部分或完全隱藏。該系統分為兩個階段： 第一階段利用單個固定攝像機系統，第二階段由多個固定攝像機組成的網狀系統。第一階段系統由六個主要子系統組成：圖像處理、檢測算法、圖像減法器、圖像跟蹤、跟蹤預測器和反饋分析器。系統的第二階段增加了兩個主要子系統：協調管理器和相機控制器管理器。這些系統結合在一起，可以在目標隱藏的情況下實現合理的目標跟蹤連續性。

隨著技術的不斷進步和日常對海洋資源的依賴，無人水面航行器（USVs）的作用成倍增加。目前，具有海軍、民用和科學用途的 USV 正在各種復雜的海洋環境中進行廣泛的作業，并對其自主性和適應性提出了更高的要求。USV 自主運行的一個關鍵要求是擁有一個多車輛框架，在此框架下，USV 可以在實際海洋環境中作為一個群體運行，并具有多種優勢，例如可以在更短的時間內勘測更廣闊的區域。從文獻中可以看出，在單體 USV 路徑規劃、制導和控制領域已經開展了大量研究，而在了解多載體方法對 USV 的影響方面卻鮮有研究。本論文整合了高效的最優路徑規劃、穩健的路徑跟蹤制導和合作性集群聚合方法等模塊，旨在開發一種新的混合框架，用于 USV 蟲群的合作導航，以實現海洋環境中的最優自主操作。

首先，設計了一種基于 A* 算法的有效而新穎的最佳路徑規劃方法，其中考慮到了與障礙物的安全距離約束，以避免在移動障礙物和海面洋流的情況下發生碰撞。然后，將這種方法與為 USV 開發的新型虛擬目標路徑跟蹤制導模塊相結合，將路徑規劃器的參考軌跡輸入制導系統。當前工作的新穎之處在于將上述集成路徑跟蹤制導系統與分布式集群聚集行為相結合，通過基于簡單電位的吸引和排斥功能來維持 USV 蟲群的中心點，從而引導 USV 集群進入參考路徑。最后，介紹了一個用于 USV 船隊合作導航和制導的最佳混合框架，該框架可在實際海洋環境中實施，并可在海上有效地實際應用。

基于模型的決策支持系統（MDSS）在航空、應急管理、軍事指揮與控制、醫療保健、核行動、情報分析和海上行動等許多后果嚴重的專業領域都非常突出。MDSS 通常使用任務和操作員的簡化模型，對決策情況進行結構化處理，并向操作員提供對決策任務有用的信息提示。模型是一種簡化，可能會被錯誤定義，并存在誤差。采用和使用這些錯誤的模型會導致用戶的決策貧乏。本文把決策者的這種貧乏狀態稱為 "模型盲"。我們進行了兩個系列實驗，以研究模型盲對人類決策和績效的不利影響，以及如何通過可解釋人工智能（XAI）干預來減輕這些影響。本論文還報告了模擬結果，通過展示模型盲區和模型盲區緩解技術對性能的影響來激發實驗。實驗將模擬路線推薦系統作為具有真實數據生成模型（不可觀測世界模型）的 MDSS 來實施。在實驗 1 中，生成推薦路線的真實模型以及額外的非推薦路線和相關屬性信息被錯誤地指定為不同級別，從而對 MDSS 用戶造成了模型盲區。在實驗 2 中，同樣的路線推薦系統采用了緩解技術，以克服模型失當對決策質量的影響。總體而言，這兩項實驗的結果幾乎都不支持由于模型盲區而導致的性能下降，因為模型盲區是由錯誤的系統造成的。實驗 1 和實驗 2 中捕捉到的行為對參與者所處的不同誤設統計環境的敏感性極低。有確鑿證據表明，在不同條件下，推薦的替代方案以及參與者對這些方案的依賴或偏離都會產生影響。XAI 干預為了解參與者如何調整決策以考慮系統中的偏差以及如何偏離模型推薦的備選方案提供了寶貴的見解。參與者的決策策略表明，他們能夠從反饋或解釋中理解模型的局限性，并相應地調整策略以考慮模型中的錯誤規范。這些結果為評估決策策略在模型盲區匯合模型中的作用提供了有力支持。這些結果有助于確定在 MDSS 的開發、實施和使用階段仔細評估模型盲區的必要性。

圖 3. 為實驗開發的路線推薦系統中使用的模型

在機載預警與控制（AEW&C）系統中，作戰員需要保持警惕，執行多項任務，進行溝通，并在任務期間同時處理不同來源的信息。作戰員的主要目標是接收、解釋和分發 AEW&C 系統提供的信息和數據，以創建識別海空圖像（RASP）。然后利用這些信息來執行戰斗機控制和探測異常情況等任務。指揮與控制（C2）系統能力的增強和環境中新威脅的出現，使作戰員的任務比以往任何時候都更加廣泛、復雜和繁瑣，這有可能損害他們的態勢感知（SA），進而影響他們的決策。這一領域具有高風險，錯誤的決策可能會帶來毀滅性的影響。因此，尋找促進 SA 的新技術的重要性不容忽視。隨著人工智能（AI）應用的快速增長，技術的日益成熟為創建促進 SA 的系統提供了新的可能性。這促使我們開展研究，探索和分析人工智能為 AEW&C 作戰員提供的促進 SA 的機會，特別是戰斗機控制員（FC）和監視作戰員（SO）等關鍵角色。本研究旨在回答何時以及如何實施人工智能以促進 SA 的問題。

在回答這些問題時，采用了通過設計進行研究的方法。在回答 "何時 "的問題時，采用了系統分析、用戶研究、概念開發和評估等方法；在回答 "如何 "的問題時，采用了通過文獻研究和親和圖來制定指導原則，并在概念開發和評估中應用這些指導原則進行測試的方法。該系統分為四個獨立的子系統，分別規定了目標、主體、工具和結果。分別為 FC 和 SO 確定了七類與 SA 相關的挑戰。為每個角色創建了四個旨在改進 SA 的概念，其中談話翻譯工具、隊形識別工具、異常檢測工具和時間軸工具被認為是最有希望進一步開展工作的概念。為人工智能功能開發的三個階段制定了指導方針：規劃、設計和評估。這些指導方針證實了通過研究進行設計的實用性，可用于探索實施人工智能的機會、構思和創建概念，并在 AEW&C 環境中對其進行評估。

圖 5. 與通過研究框架進行設計有關的預研究階段

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

對使用無人駕駛飛行器（UAV），即無人機，在不同的應用中，如包裹遞送、交通監測、搜索和救援行動以及軍事戰斗交戰，有越來越多的需求。在所有這些應用中，無人機被用來自主導航環境--沒有人的互動，執行特定的任務和避免障礙。自主的無人機導航通常是通過強化學習（RL）完成的，智能體作為一個領域的專家，在避開障礙物的同時導航環境。了解導航環境和算法限制在選擇適當的RL算法以有效解決導航問題中起著至關重要的作用。因此，本研究首先確定了主要的無人機導航任務并討論了導航框架和仿真軟件。接下來，根據環境、算法特點、能力和在不同無人機導航問題中的應用，對RL算法進行了分類和討論，這將有助于從業人員和研究人員為他們的無人機導航用例選擇合適的RL算法。此外，確定的差距和機會將推動無人機導航研究。

引言

自主系統（AS）是能夠在沒有人類干擾的情況下執行所需任務的系統，如機器人在沒有人類參與的情況下執行任務、自動駕駛汽車和無人機送貨。自主系統正在侵入不同的領域，以使操作更加有效，并減少人為因素產生的成本和風險。

無人駕駛航空器（UAV）是一種沒有人類飛行員的飛機，主要被稱為無人機。自主無人機由于其多樣化的應用而受到越來越多的關注，如向客戶交付包裹、應對交通事故以滿足傷員的醫療需求、追蹤軍事目標、協助搜索和救援行動，以及許多其他應用。

通常情況下，無人機配備有攝像頭和其他傳感器，可以收集周圍環境的信息，使無人機能夠自主地導航該環境。無人機導航訓練通常是在虛擬的三維環境中進行的，因為無人機的計算資源和電源有限，而且由于墜毀而更換無人機部件可能很昂貴。

不同的強化學習（RL）算法被用來訓練無人機自主導航的環境。強化學習可以解決各種問題，在這些問題中，代理人就像該領域的人類專家一樣。代理人通過處理環境的狀態與環境互動，用行動作出回應，并獲得獎勵。無人機相機和傳感器從環境中捕捉信息，用于表示狀態。代理人處理捕捉到的狀態并輸出一個行動，決定無人機的運動方向或控制螺旋槳的推力，如圖1所示。

圖1：使用深度強化智能體的無人機訓練

研究界對不同的無人機導航問題進行了回顧，如視覺無人機導航[1, 2]、無人機植群[3]和路徑規劃[4]。然而，據作者所知，目前還沒有與RL在無人機導航中的應用有關的調查。因此，本文旨在對各種RL算法在不同無人機自主導航問題上的應用進行全面系統的回顧。這項調查有以下貢獻：

• 幫助從業人員和研究人員根據應用領域和環境類型，選擇正確的算法來解決手頭的問題。
• 解釋各種RL算法的主要原理和特點，確定它們之間的關系，并根據環境類型對它們進行分類。
• 根據問題領域，討論和分類不同的RL無人機導航框架。
• 認識用于解決不同無人機自主導航問題的各種技術和用于執行無人機導航任務的不同仿真工具。

本文的其余部分組織如下： 第2節介紹了系統回顧過程，第3節介紹了RL，第4節全面回顧了各種RL算法和技術在無人機自主導航中的應用，第5節討論了無人機導航框架和仿真軟件，第6節對RL算法進行分類并討論了最突出的算法，第7節解釋了RL算法的選擇過程，第8節指出了挑戰和研究機會。最后，第9節對本文進行了總結。

目前，人工智能（AI）為改造許多軍事行動領域提供了巨大的機會，包括作戰、指揮與控制（C2）、后勤、安全和維護，以提高其整體作戰效率。空中和導彈防御（AMD）是一個特別復雜的任務領域，人工智能的應用至關重要。空中導彈防御任務指的是保衛國土、保護區、地面基地、地面部隊或艦艇免受敵對的空中或導彈威脅。AMD的威脅包括敵對的飛機、無人駕駛飛行器（UAV）或機載導彈。AMD行動的復雜性源于威脅的嚴重性、威脅的意外性、對形勢認識的不確定性以及事件的快速發展，因為作戰人員必須迅速評估形勢，制定適當的行動方案，并最好地利用他們的戰爭資產來應對。美國國防部（U.S. DOD）正在研究使用AI系統（或AI-enabled AMD[AI-AMD]系統）作為AMD作戰人員的自動決策輔助工具，以大大減少他們的認知負荷（Jones等人，2020），使AMD決策更快、更好。

人工智能的一個關鍵方面已經聚集了大量的研究興趣，那就是信任。信任是有效團隊的一個基本原則。它同時適用于人類和人機團隊。信任使團隊成員能夠很好地合作，是有效團隊表現的基礎（Lee and See 2004）。與人工智能系統的成功合作將需要人類對人工智能系統有一個校準的信任和依賴程度（泰勒等人，2016）。

隨著更先進和更快的空中和導彈威脅彈藥的發展和投入使用，操作人員更需要在AMD行動中迅速作出監測。不及時的決策和反應將導致災難性的后果。因此，人工智能是一個可能的解決方案，通過自動決策輔助工具加快和加強決策過程。這些AMD自動戰斗管理輔助工具可以幫助戰術操作人員應對更快的決策周期、大量的數據以及需要觀察的幾個系統或屏幕（Galdorisi 2019）。然而，為了有效地利用人工智能能力的潛力，需要操作員的高度信任。操作員對系統的信任程度低，可能會導致人工智能-AMD系統利用不足，受到不適當的監控，或者根本不使用（Floyd, Drinkwater, and Aha 2016）。這些問題中的任何一個都可能導致操作者的工作量不必要的增加，或者任務失敗的可能性。

論文對信任的定義、人機交互（HMI）的概念、信任因素以及包括AMD殺傷鏈模型、威脅場景、架構、模型和功能在內的概念模型進行了廣泛的回顧。有了這樣的認識，論文提出了人工智能-AMD系統的信任框架，對人機交互和人工智能-AMD系統信任因素的描述。論文最后提出了在人類操作者和AI-AMD系統之間實現校準信任的策略。

信任框架始于對系統背景的分析。圖1顯示了AI-AMD指揮與控制（C2）系統（包括AI-AMD操作員和決策輔助工具）及其他與之互動的子系統的背景圖，這些子系統有助于操作員和AI-AMD決策輔助工具之間信任的發展。背景圖使我們能夠研究各系統之間的相互作用，以及它們對AI-AMD操作員和決策輔助工具之間信任動態的影響。

圖1. AI-AMD系統框架圖。

這篇論文將信任定義為操作者的態度，即AI-AMD決策輔助工具將有助于實現操作者的目標，即在一個以不確定性和脆弱性為特征的作戰環境中迅速摧毀來襲威脅的任務。這種信任的定義表明，它是對操作者相信或感知AI-AMD決策輔助工具的一種情感評估。為了積極地影響信任，操作者必須親自看到并感受到AI-AMD決策輔助行動的優勢。AI-AMD行動涉及很多不確定因素，以及天氣、電磁干擾和地形等環境因素以及不斷變化的威脅的性質所帶來的脆弱性。操作員將預期AI-AMD決策輔助系統按照 "合同 "執行，以處理這些不確定性和脆弱性。這些合同將是人工智能-AMD決策輔助工具應該執行的感知功能或任務，以及執行這些功能或任務的理想表現。

圖2說明了操作員和AI-AMD決策輔助工具之間的信任框架。y軸代表人類對AI-AMD決策輔助系統的信任程度，x軸代表AI-AMD決策輔助系統的能力。綠色的45°虛線表示最佳的信任水平或校準的信任線，其中的信任與AI-AMD的能力相對應，導致正確的利用（Lee and See 2004）。過度信任由最佳信任水平線以上的區域表示，此時的信任超過了系統能力，導致誤用。低于理想信任水平線的區域表示不信任，這時的信任沒有達到系統能力，導致濫用。假設存在一些默認的信任水平（如黃框所示），目標是制定一個策略，以提高AI-AMD輔助決策能力的信任。在使用該系統時，可能會發生違反信任的情況，從而降低操作員的信任。因此，信任修復行動必須被納入，以保持信任在最佳水平。

圖2. 人類操作員和AI-AMD決策輔助工具之間的信任。

基于功能分配的操作員和AI-AMD決策輔助工具之間的人機交互研究表明，操作員和AI-AMD決策輔助工具應該被設計成在大多數殺戮鏈功能中作為一個 "團隊"運作。這引導論文研究了單獨和集體考慮人類和決策輔助的信任因素。對操作員和人工智能-AMD決策之間的人機交互的研究還顯示，操作員的角色已經從手動控制器變成了監督控制器。因此，一個值得信賴的決策輔助工具是很重要的，因為操作者會期望系統的表現符合預期，以幫助操作者更好地履行他的角色。另外，為了進一步幫助減輕操作者的認知工作量，信息的外部表示、決策輔助工具的建議必須易于閱讀和理解。

關于信任因素，本論文提出了一個 "由外而內 "的框架，如圖3所示。論文首先考慮了與操作環境相關的因素，這些因素描述了AMD操作系統的背景。第二，它研究了與組織環境相關的因素，操作人員和人工智能-AMD系統得到了培訓和發展。第三，論文研究了操作人員和人工智能-AMD決策輔助工具之間的交互，以提出與操作人員、人工智能-AMD、單獨和集體相關的因素。

圖3. 建議的信任因素

圖4顯示了擬議的戰略銜接圖，以實現操作者和AI-AMD輔助決策之間的校準信任。對信任定義、人機界面和信任因素的審查表明，該戰略應關注三個關鍵領域：（1）人類對自動化技術和AI-AMD決策輔助系統的集體和個人感知；（2）增強操作員和AI-AMD決策輔助系統的團隊活力；（3）AI-AMD決策輔助系統的可信度，重點是系統開發。該戰略利用DOTMLPF-P框架提出了三個關鍵原則和五個支持原則。首先，軍事作戰人員需要被告知自動化技術的真正能力和局限性，特別是AI-AMD輔助決策。第二，操作員的培訓要求必須增加，以應對新的工作范圍和不斷變化的威脅。第三，必須在人工智能-AMD決策輔助系統的開發中加入新的要求，以提高系統的可感知的可信度。這三個關鍵原則得到了DOTMLPF-P框架其他方面的支持，如組織、領導、人員、設施和政策。

圖4. 實現操作員和人工智能-AMD決策輔助工具之間校準信任的戰略銜接圖

態勢感知是作戰人員的必需能力。一種常見的監視方法是利用傳感器。電子光學/紅外（EOIR）傳感器同時使用可見光和紅外傳感器，使其能夠在光照和黑暗（日/夜）情況下使用。這些系統經常被用來探測無人駕駛飛機系統（UAS）。識別天空中的這些物體需要監測該系統的人員開展大量工作。本報告的目的是研究在紅外數據上使用卷積神經網絡來識別天空中的無人機系統圖像的可行性。本項目使用的數據是由作戰能力發展司令部軍備中心的精確瞄準和集成小組提供的。

該報告考慮了來自紅外傳感器的圖像數據。這些圖像被送入一個前饋卷積神經網絡，該網絡將圖像分類為有無無人機系統。卷積模型被證明是處理這些數據的第一次嘗試。本報告提供了一個未來的方向，以便在未來進行擴展。建議包括微調這個模型，以及在這個數據集上使用其他機器學習方法，如目標檢測和 YOLO算法。