亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

配備先進傳感器的無人平臺的集成有望提高對態勢的感知能力，緩解軍事行動中的 “戰爭迷霧”。然而，管理這些平臺涌入的大量數據給指揮與控制（C2）系統帶來了巨大挑戰。本研究提出了一種新穎的多智能體學習框架來應對這一挑戰。該方法可實現智能體與人類之間自主、安全的通信，進而實時形成可解釋的 “共同作戰圖景”（COP）。每個智能體將其感知和行動編碼為緊湊向量，然后通過傳輸、接收和解碼形成包含戰場上所有智能體（友方和敵方）當前狀態的 COP。利用深度強化學習（DRL），聯合訓練 COP 模型和智能體的行動選擇策略。本文展示了在全球定位系統失效和通信中斷等惡劣條件下的復原能力。在 Starcraft-2 模擬環境中進行了實驗驗證，以評估 COP 的精度和策略的魯棒性。報告顯示，COP 誤差小于 5%，策略可抵御各種對抗條件。總之，本文貢獻包括自主 COP 形成方法、通過分布式預測提高復原力以及聯合訓練 COP 模型和多智能體 RL 策略。這項研究推動了自適應和彈性 C2 的發展，促進了對異構無人平臺的有效控制。

圖 1：（左）虎爪情景中的狀態示例。(右圖）每個智能體的感知（本地觀察）和它們之間的通信聯系。

配備先進傳感器的無人平臺的集成為減輕 “戰爭迷霧 ”和提高態勢感知能力帶來了希望。然而，管理和傳播來自此類平臺的大量數據對中央指揮與控制（C2）節點的信息處理能力構成了巨大挑戰，特別是考慮到隨著平臺數量的增加，數據量也會呈指數級增長。目前的人工處理方法不適合未來涉及無人平臺群的 C2 場景。在本研究中，我們提出了一個利用多智能體學習方法來克服這一障礙的框架。

我們考慮的框架是，智能體以自主方式相互通信（以及與人類通信），并以數據驅動的方式訓練這種通信功能。在每個時間步驟中，每個智能體都可以發送/接收一個實值信息向量。該向量是智能體感知或視場（FoV）的學習編碼。這些向量不易被對手解讀，因此可以實現安全的信息傳輸。

在接收方，必須對信息進行解碼，以恢復發送方的感知和行動。此外，還應將信息整合（隨時間匯總）到 “共同行動圖像”（COP）中。與編碼器一樣，解碼器也是以數據驅動的方式學習的。在本文中，我們將 COP 的定義簡化為戰場上每個友方和敵方智能體的當前狀態（位置、健康狀況、護盾、武器等）。我們認為，COP 對決策智能體至關重要。

近年來，以數據驅動方式進行端到端訓練的人工智能/人工智能方法大有可為。在數據驅動型自主 COP 的背景下，一個優勢是無需對傳感器和執行器中的噪聲、對手的動態等做出建模假設。通過充分的訓練，我們的數據驅動方法將產生高度精確的 COP。

不過，ML 模型可能對訓練數據或訓練場景的偏差很敏感。這與陸軍 C2 場景中通常假設的 DDIL（拒絕、中斷、間歇和有限影響）環境形成了鮮明對比。我們的實驗強調評估對霧增加、全球定位系統失效和通信中斷（如干擾）的適應能力。

我們使用深度神經網絡（DNN）的深度學習實現了編碼器和解碼器的數據驅動端到端訓練。將 DNN 應用于 COP 形成的一個挑戰是通信中缺乏人類可解釋性。人類可解釋性對于人類操作員有效控制蜂群至關重要。例如，通過解釋通信，操作員可以理解蜂群用于（自主）決策的特征。我們的方法具有人機互換性，這意味著人類操作員可以解碼傳入的信息，并將他們的感知編碼，與蜂群進行交流。由此產生的 COP 使人類能夠指揮蜂群。

在實踐中，COP 被大量用于任務執行，例如，確保協調運動。我們假設，將 COP 納入自主決策智能體將產生彈性多智能體策略（例如，對敵方變化的彈性）。我們在實驗中將有 COP 和沒有 COP 的多智能體策略學習與多種最先進的方法進行了比較，并驗證了這一假設。

接下來，我們總結一下我們的方法。我們首先描述了我們的深度學習方案，其中每個智能體將其感知和行動編碼成緊湊向量并進行傳輸。各智能體共享底層嵌入向量空間，以實現對態勢的共同理解。每個智能體都要訓練一個編碼器-解碼器，以生成本地 COP。本地 COP 應與智能體的感知一致，并能預測行動區域內所有單位的狀態（包括位置）。

利用深度強化學習（DRL）技術，在一系列不同的模擬場景、初始部隊配置和對手行動中，對 COP 和智能體策略進行端到端聯合訓練。訓練的輸出是一個編碼器-解碼器神經網絡（NN）和一個跨智能體共享的策略 NN。可通過多種方式對訓練進行配置：最小化帶寬、最大化對干擾（如信道噪聲、數據包丟失、GPS 干擾等）的恢復能力。該方法可用于協調信息收集任務。

實驗在星際爭霸-2（SC2）多代理環境中進行。在 SC2 中模擬的多個藍方與紅方的場景中，我們通過經驗觀察到了該方法的有效性。具體來說，我們在具有挑戰性和現實性的 TigerClaw 情景（圖 1）中測試和評估了我們的方法，該情景由發展司令部陸軍研究實驗室（ARL）和陸軍主題專家（SMEs）在美國佐治亞州摩爾堡的上尉職業課程中開發。

對 COP 的準確性和幻覺進行評估，以揭示有趣的訓練動態。在整個模擬過程中，我們的方法生成的 COP 高度準確，誤差小于 5%（與地面實況相比）。為了測試策略的魯棒性，我們將我們的方法與多種最先進的多智能體 RL 方法和基線進行了比較。結果表明，我們的方法所制定的策略能夠抵御視覺范圍減弱、通信能力減弱、GPS 被拒絕以及場景變化的影響。

總之，這項研究通過數據驅動的 COP 形成，實現了人在環內的異構自主平臺的指揮和控制，并推進了自適應和彈性 C2 領域的發展。其貢獻如下：

• 實時自主形成可解釋的共同行動圖像（COP）的方法，包括預測整個行動區域的敵方位置。
• 由于利用智能體間的通信進行分布式 COP 預測，因此展示了對可視范圍和 GPS 拒絕的更強的應變能力。
• 通過聯合訓練 COP 模型和多智能體 RL 策略，提高整體任務成功率。

圖 3：從學習到的交流中預測 COP 的框架概覽。在決策過程中確定并使用 COP。我們使用 QMIX作為 COP 集成的 MARL 方法示例。

本文探討了人機協同（HMT）和人機自主協同（HAT）在加強歐洲陸軍維持行動方面的變革潛力。文章探討了這些模式如何通過將人類的適應性與自主的精確性和效率相結合，徹底改變后勤、戰場維修和醫療支持。通過探討動態和有爭議的環境中日益增長的需求，本文強調了歐洲軍隊采用這些技術的戰略重要性，以便在未來大規模作戰場景中實現更強的應變能力和作戰效能。

在作戰環境日益復雜的時代，先進機器和自主系統的集成有可能重塑未來戰爭的實施方式。隨著軍事理論轉向多域作戰，以應對多極世界和大規模沖突的回歸，軍隊必須創新其維持戰略，以滿足現代戰爭的復雜需求。這一發展對于增強軍隊的機動性、應變能力以及在有爭議和動態沖突地區支持分散、聯合和技術一體化部隊的能力至關重要。在這方面，人機協同（HMT）和人機自主協同（HAT）這兩個新興范例尤其具有發展前景，它們將人類的適應性與自動化和機器人技術的精確性和效率相融合，在各種軍事后勤和醫療活動中具有變革潛力。雖然這兩個概念涉及維持網絡的不同方面，但它們協同合作，有望更快地為關鍵支持功能提供更強大、更準確的解決方案。

因此，本文探討了這些范例在重新定義歐洲陸軍前方維持行動方面的潛力，強調了它們在軍隊（再）補給、戰場維修/維護和醫療支持服務方面的作用。本文強調，雖然這些創新會帶來挑戰，包括技術限制和行動整合障礙，但歐洲軍隊必須適應并為未來鋪平道路，在未來，人類專長和自主能力將相互促進，以維持任務并確保行動效力。

深度學習是人工智能的一個子類別，在自動識別水下傳感器數據中的各種目標方面具有巨大潛力。這項工作的目標是支持未來使用深度學習的水下戰爭領域目標自動識別系統的發展，首先要展示什么是可能的，其次要讓研究人員深入了解如何通過建議和經驗教訓來構建這種定制系統。目標受眾是水下戰爭領域的研究人員，他們或是深度學習的新手，或是水下傳感器數據的新手。深度學習的基礎知識可以從許多在線課程中獲得。本參考文檔重點介紹如何應用這些工具識別目標，該領域不同于機器視覺和自然語言處理的常規應用。這些水下戰爭自動目標識別系統處理的不是標準圖像或文本，而是來自聲學傳感器的數據。這些小型定制神經網絡不是下載標準的現成網絡，利用充足的計算資源從大型訓練數據集中學習，而是設計用于從相對較小的訓練數據集中學習，而且往往受到硬件的計算限制。這項工作概述了定制神經網絡在各種水下戰爭自動目標識別任務中的應用，包括側視聲納中的類雷物體、寬帶聲納散射數據中的未爆彈藥、被動聲學數據中的水面艦艇以及主動聲納中的水下目標。此外，還分享了關于高效神經網絡設計和使用來自水下傳感器的小型訓練數據集的建議。

先進的自動目標識別系統可以快速自動分析傳入的傳感器數據，并對感興趣的目標進行探測、分類和定位，從而提高水下作戰能力。這有助于減少從獵雷到被動聲學監測、魚雷防御和反潛戰等各種應用中操作員的工作量。深度學習是在遠程和無人平臺上進行水下作戰自動目標識別應用的一種特別有前途的方法。越來越多的研究人員希望獲得相關建議，因此編寫了本文檔，以鼓勵和支持深度學習技術在未來自動目標識別系統開發中的應用，從而提高水下作戰領域的防御能力。

本文探討了機器學習在自主無人戰斗飛行器（AUCAV）控制中的應用。特別是，本研究將深度強化學習方法應用于防御性空戰場景，在該場景中，AUCAV 機群保護軍事高價值資產 (HVA)，該資產要么是靜止的（如在空軍基地防御場景中），要么是快速移動的（如在涉及護送貨運飛機或指揮控制飛機的場景中）。通過采用馬爾可夫決策過程、近似動態規劃算法和用于價值函數近似的深度神經網絡，一系列空戰管理場景、原始模擬環境和一系列設計的計算實驗為高質量決策策略的近似提供了支持。三項連續的研究探索了新型模型和相應的方法論，以提高數學模型的準確性，提高計算效率，或更準確地評估復雜問題的解決方案質量，在這些問題中，最優解決方案的計算難以實現。對政策有效性和特定政策行為的深入分析為戰術、技術和程序的完善提供了信息，并使能力評估更加準確和量化，從而為所有相關系統的需求開發和采購計劃提供支持。

圖 1. 假想的 GABMP 場景，描繪了穿越敵對領土的固定 HVA 任務路徑

第二章至第四章由三項連續研究組成，將防御性空戰管理數學模型作為一個連續決策問題加以制定和擴展。每一章都探討了一種新穎的方法論，以提高數學模型的準確性，提高數據效率，或更準確地評估復雜問題的解決方案質量，因為在復雜問題中，最優解決方案的計算難以進行。

第二章介紹了廣義空戰管理問題（GABMP）。由 AUCAV 組成的艦隊護送 HVA 穿過敵方領土，而敵方的攻擊模式會根據友軍和敵軍的相對位置在來源和強度上發生變化。鑒于大多數現實問題并不存在于靜態環境中，針對非靜態問題的強化學習是一個廣泛研究的課題。要解決這些問題，需要在特征工程方面投入大量精力，為學習算法提供足夠有用的狀態空間信息，以揭示復雜的系統動態。本章提出了上下文分解馬爾可夫決策過程（CDMDP），它是靜態子問題的集合，旨在利用值函數的線性組合來逼近非靜態問題的動態。一組設計好的計算實驗證明了 CDMDP 方法的有效性，表明復雜的非穩態學習問題可以通過一小組靜態子問題得到有效的近似，而且 CDMDP 解決方案與基線方法相比，無需額外的特征工程就能顯著提高解決方案的質量。如果研究人員懷疑復雜且持續變化的環境可以用少量靜態上下文來近似，那么 CDMDP 框架可能會節省大量計算資源，并產生更易于可視化和實施的決策策略。

第三章為強化學習問題中的經驗重放記憶緩沖區介紹了一種新穎的基于相似性的接納控制方法。通過只用足夠不相似的經驗更新緩沖區，可以提高學習算法的效率和速度，尤其是在連續狀態空間的情況下。該方法采用了廣義空戰管理問題的擴展版本，納入了導航航點和基于軌跡的殺傷概率模型，以增強真實感。此外，還設計了一系列計算實驗，研究基于神經網絡的近似策略迭代算法的結構。對比分析表明，使用包含前 50% 最獨特經驗的內存緩沖區，學習算法收斂到穩健決策策略的速度比單獨使用優先級經驗回放快 10%。這些發現凸顯了所提出的方法在復雜、連續的狀態空間中提高強化學習效率的潛力。

第四章研究了信息松弛技術在 GABMP 進一步擴展版本中用于近似求解質量上限的應用。信息松弛指的是放寬順序決策問題中的非預期性約束，這些約束要求決策者僅根據當前可用的信息采取行動。信息松弛采用了時間事件視野，為決策者提供了對問題環境中未來隨機不確定性結果的可調整訪問。以往的研究都是針對在確定性松弛條件下更容易求解的問題進行信息松弛研究，而本方法論則將該方法應用于連續空間中的連續時間問題，即使在確定性條件下也需要求解近似技術。對事件視界和其他問題特征進行多維敏感性分析，有助于量化戰術改變或能力修改對決策政策有效性的潛在改進。這種量化方法應用于現實世界的能力差距評估，客觀地增強了傳統的主觀分析，從而為決策提供指導，并為采購計劃制定更有效的要求。第五章總結了前述各項研究的結果。

此外，第五章還指出了每項研究的假設和局限性，并提出了未來研究的可能途徑。

利用神經網絡進行近似策略迭代

圖 12. 描繪航點和攔截軌跡的 GABMP 假設場景

本文介紹了在戰場數字孿生框架內使用貝葉斯優化（BO）、遺傳算法（GA）和強化學習（RL）等先進技術優化軍事行動的綜合方法。研究重點關注三個關鍵領域：防御作戰中的部隊部署、火力支援規劃和下屬單位的任務規劃。在部隊部署方面，BO 用于根據戰場指標優化營的部署，其中湯普森采樣獲取函數和周期核取得了優異的結果。在火力支援規劃中，采用了 GA 來最小化威脅水平和射擊時間，解決了資源有限條件下的資源受限項目調度問題（RCPSP）。最后，為任務規劃開發了一個 RL 模型，該模型結合了多智能體強化學習 (MARL)、圖注意網絡 (GAT) 和層次強化學習 (HRL)。通過模擬戰場場景，RL 模型展示了其生成戰術演習的有效性。這種方法使軍事決策者能夠在復雜環境中提高行動的適應性和效率。研究結果強調了這些優化技術在支持軍事指揮和控制系統實現戰術優勢方面的潛力。

基于戰場數字孿生的 COA 生成概念

戰場數字孿生是一個數字復制品，代表了真實戰場環境的組成部分和行為特征。它可以通過接收來自實際戰場的實時或接近實時的戰場、敵方和友軍單位信息，并將其動態反映到數字孿生中，從而對數字孿生模型進行評估和調整。換句話說，模型可以根據真實世界的數據不斷更新，以實現更具適應性的分析。這一概念與深綠的自適應執行相一致，后者也依賴于動態更新的信息。通過這種方式，可以向真實戰場系統提供改進的決策反饋，幫助用戶根據數字孿生模型做出更好的決策，而數字孿生模型是根據實際作戰數據更新的。

本節提出了 “基于戰場數字孿生的作戰行動選擇生成與分析 ”概念，通過各種技術方法，利用戰場數字孿生生成作戰行動選擇。然后對這些選項進行評估、效果比較，并推薦最合適的 COA 選項。基于戰場數字孿生的作戰行動選擇生成和分析的基本概念是，利用戰場數字孿生的預測模擬生成作戰行動選擇，同時考慮若干戰術因素（METT+TC：任務、敵人、地形和天氣、可用部隊和支持、可用時間和民用因素）。然后，可在數字孿生環境中對生成的作戰行動方案進行快速評估。圖 2 展示了這一流程的概念圖。生成和分析 COA 的四個關鍵輸入--威脅分析、相對戰斗力分析結果、戰場信息以及指揮官和參謀部的指導--假定來自其他分析軟件模塊和用戶輸入，從而完成智能決策支持系統。有關鏈接分析軟件模塊的更多信息，請參閱 Shim 等人（2023，2024）。

圖 2：基于戰場數字孿生系統的 COA 生成和分析概念。

可以按照圖 1 中概述的戰術規劃流程生成并詳細說明 COA 選項。然而，如前所述，規劃過程中的許多任務都需要人工干預，而人工智能技術的應用仍然有限。因此，我們將重點放在 COA 生成階段，在研究適用技術的同時，找出可以實現自動化和智能化的方面。本研究介紹了在 COA 生成過程中可實現自動化和智能化的三個概念：確定友軍部隊部署、規劃間接火力支援和規劃部隊戰術任務。友軍部隊部署是指部隊到達戰場后如何安排和使用，而部隊部署則是指如何將部隊轉移到指定的大致位置。我們將貝葉斯優化方法應用于友軍部署優化問題，作為 COA 方案生成的一部分。隨著人工智能技術的快速發展，許多研究都探索了基于最先進機器學習算法的全局優化方法。其中，使用高斯過程的貝葉斯優化法作為一種針對實驗成本較高的黑盒函數的全局優化方法受到了廣泛關注（Brochu，2010 年）。對于炮兵作戰，我們將火力支援調度問題歸結為一個項目調度問題，該問題力求在遵守資源限制的同時，最大限度地減少敵方總威脅和發射時間。將項目調度與資源管理相結合的任務被稱為資源約束項目調度問題（RCPSP）。最后，我們利用強化學習（RL）技術為下屬單位規劃戰術任務，以找到最優行動策略。強化學習已經證明，它是在動態和不確定環境中解決復雜決策問題的有效框架。特別是，我們利用多智能體強化學習（MARL）、分層強化學習（HRL）和圖注意網絡（GAT）的原理，為多個單位有效地學習任務及其相應參數，同時從每個智能體的角度考慮其重要性。

在使用所提出的方法生成一系列作戰行動（COA）選項后，將在戰場數字孿生系統中對這些選項進行模擬評估。然后對模擬結果進行評估，以推薦最合適的 COA 選項。在下一章中，將詳細解釋用于實現所建議的 COA 生成概念的技術方法，并提供全面的實驗評估結果，以突出所建議方法的有效性。

圖 8：強化學習的擬議架構。

隨著無人駕駛船只（也稱無人船）及其支持技術的發展，它們將在應對混合威脅（即結合 “公開和隱蔽的軍事和非軍事手段 ”的有害行動）方面發揮越來越大的作用。本文件討論了無人駕駛艦船在混合威脅中的當前和潛在影響。本文首先簡要概述了無人駕駛艦船，重點介紹了無人駕駛艦船在實際環境中的基本運作方式。

接著討論了無人水面艦艇（USV）和無人水下艦艇（UUV）的歷史、當前的發展情況以及這些艦艇的不同等級。然后介紹了在混合威脅中使用這些艦艇的一些方法，并進行了簡要的案例研究。最后，對一些公開披露的無人航行器能力進行了描述，并介紹了應對這些威脅的潛在方法。

無人艦艇的歷史、發展現狀和等級

無人艦艇有著悠久的歷史，包括在軍事行動中的使用。從古代到英國抗擊西班牙無敵艦隊（Spanish Armada），幾千年來，各國海軍一直在使用火船（裝滿可燃物質的舊船，點燃后順著水流漂向敵船）。十九世紀首次開發的移動魚雷可以說是 UUV 的一種形式（以前的 “魚雷 ”指的是現在所說的 “水雷”）。

1898 年，尼古拉-特斯拉（Nikola Tesla）首創了第一種無線遙控船只，即 USV。第二次世界大戰期間，德國軍隊曾短暫使用過裝有炸藥的遙控 USV 來攻擊盟軍的航運目標。自二十世紀中期以來，軍事部隊一直使用 USV 和 UUV 進行測試和訓練。此類系統還在民用領域，特別是近海石油和天然氣工業中得到了廣泛應用。

自二十世紀末以來，USV 和 UUV 技術的發展一直落后于 UAV 技術的發展。這在一定程度上反映了這樣一個事實，即對于無人駕駛艦艇來說，空中的物理環境更為簡單：它缺乏 USV 所處的海面的波動性，同時還能提供 UUV 基本上無法獲得的電磁頻譜。隨著 USV 和 UUV 技術的成熟，以適應其更具挑戰性的環境，它們可能會在一定程度上實現無人機技術在商業、業余愛好者和軍事/政府應用（包括混合威脅行動）中的普遍性。本文稍后將介紹其中的許多應用。

進入千禧年以來，由數十家制造商生產的 USV 和 UUV 種類激增。全球各地的公司和政府機構都在設計、建造和測試這些用于商業、科學和軍事目的的船只。對整個網絡的資料來源進行分析后發現，目前有 250 多艘 USV 和 200 多艘 UUV 正在制造或處于不同的開發階段，其大小范圍跨越了兩個數量級。在過去二十年中，系統尺寸的范圍不斷擴大。在 2000 年代，USV 和 UUV 的實驗和開發主要是在小型系統上進行的，這些系統相對便宜、易于操作，并且在發生碰撞時對基礎設施或其他船只造成的風險有限。隨著該領域的發展，大型船只也在開發中，并與小型船只同時使用。

根據蘭德公司之前的一份報告和美國海軍的一份總體規劃，眾多 USV 中的絕大多數可根據尺寸和具體特征分為七類：

• 環境動力型 USV，長度為幾米，從環境中獲取能量。它們通常具有較長的續航時間，可用于收集數據；可將其視為可自行定位、緩慢移動的傳感器浮標。波音公司的 “波浪滑翔機 ”USV 就是一個例子，它既能獲取太陽能，也能獲取波浪能。
• X 級 USV 的長度只有幾米，沒有環境動力。它們的續航時間、航程、有效載荷和航海能力有限。AEVEX 的 Mako 水上摩托艇就是一個例子。
• 根據設想，潛航 USV 的長度在 7 米到 12 米之間，只有一個浮潛/天線組合突出水面。它們可以提供一些與 UUV 相關的隱形功能，但作為 USV，它們可以使用化石燃料和電磁頻譜。
• 港口 USV 長約 7 米，不是潛航器。它們的速度、續航力、航程和有效載荷通常都高于同等大小的潛航器，但缺乏相同程度的隱形能力。L-3 Calzoni 制造的 U-Ranger MS 就是一例。
• 艦隊 USV 的長度接近 11 米（而且不是潛航器），在續航時間、航程和有效載荷方面都優于港口 USV。德事隆系統公司制造的通用 USV 就是一例，該型 USV 用于執行海軍反水雷等任務。
• 中型 USV 的長度在 12 米到 50 米之間。例如，42 米長的 Sea Hunter 由美國國防部高級研究計劃局 (DARPA) 開發，用于跟蹤潛艇。
• 大型 USV 的長度超過 50 米，例如美國海軍的霸王級（長度在 60 到 90 米之間），由 Austal 公司開發。這些都是完全成熟的艦艇，可以在沒有人員的情況下運行。

同樣，UUV 也可以根據其大小來定性。大小不僅與續航時間、航程和有效載荷有關，還與這些設備的運輸、處理、發射和回收方式有關。以下等級是根據美國海軍向美國國會提交的報告劃分的：

• 小型 UUV，直徑小于 25 厘米，可由一兩個人在岸上或船上輕松攜帶。例如 Hydroid 公司的 REMUS 100，直徑為 19 厘米。
• 中型 UUV 的直徑在 25-50 厘米之間，需要一些搬運設備。它們可以從岸上或船上發射。通用動力公司的 Bluefin-12 就是一個例子，其直徑為 32 厘米。
• 直徑在 50 厘米到 2 米之間的大型 UUV 需要大量起重機。它們可以從岸上或大型船只上發射。洛克希德-馬丁公司的 “馬林 ”Mk II 就是一個例子，其直徑為 1.5 米。
• 直徑超過 2 米的超大型 UUV 需要非常大的起重機。這些無人潛航器一般只能從岸上發射，除非從擁有充足甲板空間的大型商用貨輪上部署。波音公司的 Orca XLUUV 就是一個例子，其直徑為 2.6 米。

本文通過對美國防部相關人員的深入訪談，以及對現有指南、標準和相關文獻的嚴格審查，提出了見解。本文重點關注數字建模、數據利用和數據驅動決策的關鍵方面，主要側重于美國陸軍地面車輛應用，以應對挑戰和機遇。數據驅動決策在很大程度上依賴于精確的數字孿生模型，這對地面車輛在預定環境中的準備工作至關重要，尤其是在北極車輛準備等具有挑戰性的環境中。因此，在現實應用和數字孿生之間建立協同關系至關重要。然而，美國陸軍在從原始設備制造商那里獲取全面的數字數據方面面臨著障礙，特別是對于較老的地面車輛平臺，因此必須通過逆向工程來彌補差距。挑戰源于缺乏標準化的數字數據實踐，這就需要建立一個有凝聚力的數字建模框架。為此，本文提出了一個智能前端框架。該框架優化和整合了國防應用和決策的數據管理。總之，本文強調了采用數字技術、優化和實現數據利用以及應對數據挑戰對提高國防部戰備和效能的重要意義。

圖 1. 系統工程中的迭代循環數字化過程

美國國防部（Department of Defense，DoD）正在進行的數字化轉型有可能徹底改變其從設計、后勤到運營和可持續性等各方面的運作。數字技術的整合有望大幅提高效率和效益。基于對國防部利益相關者的一系列訪談，本研究深入探討了這一數字化轉型過程中的挑戰和復雜性，主要側重于將數字模型匯總并納入更廣泛的系統級能力。雖然數字化工作取得了重大進展，但仍迫切需要一項具有凝聚力的戰略，以確保這些數字模型通過數字化（即數字化轉型）有效促進任務分析和優化。

研究方法圍繞兩個核心要素展開： (1) 與美國防部內的主要利益相關者進行深入討論；(2) 對現有指南、標準和相關文獻進行嚴格審查。對于 (1)，通過與利益相關者的討論，作者利用了積極參與該主題的國防部人員所擁有的豐富知識和專業技能。他們的第一手觀點、經驗和建議為我們的研究奠定了重要基礎。對于 (2)，我們的全面審查過程深入研究了該領域的既定最佳實踐、行業標準和最新進展。這種審查確保了我們的研究具有堅實的基礎和最新的信息，使我們能夠以現有的框架為基準來衡量我們的研究結果。我們的研究方法結合了國防部利益相關者的見解以及對指導方針和標準的審查，體現了一種全面的、數據驅動的方法，旨在提供可靠的、可操作的結果。

本研究探討了無人駕駛飛行器（UAV）與有人駕駛飛機合作進行集中任務規劃的發展情況。我們采用經過近端策略優化（PPO）訓練的單一智能體來模擬敵方防空壓制（SEAD）場景。我們的目標是掌握最佳任務策略。我們的模型在各種環境條件下進行了測試，在 100 次測試中，消除敵方防御的成功率達到 78%。我們的模型所取得的巨大成功強調了它在未來戰爭場景中的應用潛力，代表了空戰和強化學習應用領域的重大進展。

方法

集中式任務規劃架構

集中式任務規劃架構是指一種先進的技術架構，能夠在復雜多變的作戰場景中高效協調和管理無人機。該架構從各種信息來源收集數據，實時評估局勢，并規劃和執行最佳戰略，以最大限度地提高整個任務的成功潛力。

該架構的主要組成部分如下：

1. 戰斗信息管理： 該組件持續監控當前的戰斗態勢并跟蹤信息，以提供實時戰場情報。信息來源多種多樣，包括各種傳感器、傳感器網絡和人工觀察，從而能夠深入了解動態復雜的作戰環境。這相當于強化學習中收集環境信息的過程，為有效的學習過程提供了第一步。

2. 戰斗狀態（觀察）： 在這一階段，戰場信息被提供給智能體。在戰場上收集到的各種信息會被實時處理，并傳遞給強化學習智能體。這樣，智能體就能通過綜合戰場態勢感知了解當前形勢，預測未來的可能性，并決定下一步行動。

3）任務規劃器（智能體）： 作為中心的核心要素，這個基于強化學習的智能體根據傳入的實時作戰態勢數據做出最優行動。這一決策過程由一個預訓練的強化學習模型執行，該模型學習如何在復雜環境中實現任務目標。

4. 指揮官： 最后，智能體的決策將交由指揮官執行。智能體決定的行動將作為指令傳遞給實際的無人機，從而實現移動、目標探測和攻擊等具體任務。

因此，集中任務規劃架構實現了從各種信息源收集和處理數據、規劃和調整無人機行動以適應實時戰場條件的戰略。這就實現了實時戰略決策和快速反應，提高了整體作戰效率和生存能力。

強化學習環境的構建

我們為 MUM-T 問題開發了一個量身定制的強化學習環境。在這個環境中，我們部署了一架戰斗機無人機、一個干擾器和一個防空導彈系統，每個系統都有預定義的攻擊范圍和干擾距離。任務的主要目標是協同參與干擾行動，使目標防空導彈系統失效，隨后通過操縱戰斗機無人機將其消滅。任務的成功完成取決于是否到達指定的目標點。

在無人機任務規劃的背景下，我們為 MUM-T 構建了一個定制的強化學習環境。在 MUM-T 環境中，我們部署了一架戰斗機無人機、一個干擾器和防空導彈系統，每個系統都有明確的攻擊范圍和干擾距離。任務的最終目標是與干擾機進行合作干擾，使防空導彈無法攻擊，隨后通過操縱戰斗機無人機摧毀防空導彈。當無人機到達最終目的地（稱為 "目標點"）時，即成功完成任務。

為了開發環境，我們使用了 Gym 庫，這是一個用于強化學習環境的開源框架。無人飛行器可以移動的空間用二維網格表示。由于無人機的航向和速度等低層次控制方面的問題假定由 AFRL ACL 5 級自主處理，因此集中式任務規劃框架側重于負責規劃任務相關值（即航點和任務點）的高層次控制，這些值基于多架無人機的信息和戰場狀態。為促進學習過程，我們將任務空間離散化為 30x30 的網格，共由 900 個單元組成。

每個無人機的行動空間被定義為離散的多行動空間，使每個智能體能夠獨立選擇行動。戰斗機無人機和干擾機有五種可能的行動：向左、向右、向上、向下和攻擊。行動空間的離散化簡化了學習和控制[圖 5、6]。

在每個時間步長內，智能體根據其選擇的行動在網格環境中移動。我們施加了邊界條件（懲罰），以防止無人機在網格邊界外移動。此外，我們還通過檢測碰撞并分配相應的懲罰來處理戰斗機和干擾機之間的潛在碰撞。為了解決無人飛行器之間的協作問題，我們為智能體之間的特定功能和互動建立了模型。當干擾機進行干擾時，如果薩母不在攻擊范圍內，則會產生懲罰。但是，如果防空導彈在攻擊范圍內，干擾成功則會獲得獎勵，使防空導彈無法使用。戰斗機總共有五次攻擊機會，攻擊失敗（當防空導彈不在攻擊范圍內時）會導致失去一次攻擊機會并受到懲罰。另一方面，如果防空導彈在規定的攻擊范圍內，防空導彈就會失效，并獲得獎勵。重要的是，如果戰斗機沒有進行干擾，則無法攻擊，因為戰斗機的攻擊范圍小于干擾距離。

本文通過機器學習方法提出了一種雷達任務選擇的主動方法，并將其設計在雷達調度流程之前，以提高雷達資源管理過程中的性能和效率。該方法由兩個過程組成：任務選擇過程和任務調度過程，其中任務選擇過程利用強化學習能力來探索和確定每個雷達任務的隱藏重要性。在雷達任務不堪重負的情況下（即雷達調度器超負荷工作），將主動選擇重要性較高的任務，直到任務執行的時間窗口被占滿，剩余的任務將被放棄。這樣就能保證保留潛在的最重要任務，從而有效減少后續調度過程中的總時間消耗，同時使任務調度的全局成本最小化。本文對所提出的方法進行了數值評估，并將任務丟棄率和調度成本分別與單獨使用最早開始時間（EST）、最早截止時間（ED）和隨機偏移開始時間EST（RSST-EST）調度算法進行了比較。結果表明，與EST、ED和RSST-EST相比，本科學報告中提出的方法分別將任務丟棄率降低了7.9%、6.9%和4.2%，還將調度成本降低了7.8倍（EST為7.8倍）、7.5倍（ED為7.5倍）和2.6倍（RSST-EST為2.6倍）。使用我們的計算環境，即使在超負荷的情況下，擬議方法所消耗的時間也小于 25 毫秒。因此，它被認為是提高雷達資源管理性能的一種高效實用的解決方案。

雷達資源管理（RRM）對于優化作為飛機、艦船和陸地平臺主要傳感器的現代相控陣雷達的性能至關重要。報告》討論了雷達資源管理，包括任務選擇和任務調度。該課題對國防科技（S&T）非常重要，因為它與現代相控陣雷達的大多數應用相關。它對當前的海軍雷達項目尤為重要，該項目探索了雷達波束控制的人工智能（AI）/機器學習（ML）方法。所提出的算法有可能升級未來的艦船雷達，從而做出更好的決策并提高性能。

本報告重點討論了如何利用模擬或生成模型創建的合成數據來解決深度學習的數據挑戰。這些技術有很多優點：1）可以為現實世界中難以觀察到的罕見情況創建數據；2）數據可以在沒有錯誤的情況下被自動標記；3）數據的創建可以很少或沒有侵犯隱私和完整性。

合成數據可以通過數據增強等技術整合到深度學習過程中，或者在訓練前將合成數據與真實世界的數據混合。然而，本報告主要關注遷移學習技術的使用，即在解決一個問題時獲得的知識被遷移到更有效地解決另一個相關問題。

除了介紹合成數據的生成和轉移學習技術，本報告還介紹了實驗結果，這些結果對合成數據方法在飛行員行為克隆、車輛檢測和人臉驗證任務中的潛力提供了寶貴的見解。實驗的初步結果表明，軍事模擬器和生成模型可以用來支持深度學習應用。然而，性能往往受限于合成數據和真實世界數據之間的保真度差距。

1 引言

深度學習（DL）是一種技術，它提高了在廣泛的現實世界應用中實現復雜任務自動化的能力。翻譯、轉錄、視頻監控、推薦系統和自動駕駛汽車都是基于DL的解決方案已經被開發和部署用于商業目的的例子。在軍事領域，DL有可能支持人類在所有領域和戰爭級別的決策，其應用包括自動目標識別、預測性維護和無人駕駛車輛的自動控制。

與其他機器學習（ML）技術類似，DL使用算法來從數據中提取知識。在這種情況下，知識被編碼在大容量的深度神經網絡（DNNs）中，這些網絡可能由數千、數百萬甚至數十億的可調整參數組成，這取決于所考慮的任務的復雜性。為了正確調整這些參數，學習算法需要大量的訓練數據。沒有這些數據，DNN將無法泛化，因此，當遇到以前未見過的數據時，它將不會有好的表現。

獲取DL的訓練數據是困難的。這在商業應用中是存在的，而在軍事領域更是如此。瓶頸之一是，學習算法通常需要經過人工標注的數據（即為每個輸入數據點提供一個正確的答案）。因此，即使在獲取大量輸入數據相對低成本的情況下，正確標記所有的數據也往往是高成本和費時的。例如，Cityscapes數據集中的5,000個樣本中，每個樣本平均需要1.5個小時來標注（整個數據集大約需要十個月）[1]。此外，由于標注是由人類來完成的，其結果可能是不正確的、有偏見的甚至是有成見的，這也會反映在訓練過的模型的行為上。

此外，訓練數據往往存在長尾分布的問題。也就是說，對于數量有限的普通案例，訓練數據相對容易獲得，但對于大量重要的邊緣案例，訓練數據本身就很難獲得。例如，考慮一個基于無人機的軍用車輛監視和跟蹤系統。在這種情況下，友好車輛的空中圖像相對容易獲得。車輛數據可以在不同的地點、高度、角度、天氣條件、環境等方面獲得。獲取代表合格敵方車隊的類似現實世界的數據集通常是不可能的，因為這種侵入性的情報行動會導致對手的行動。使用遵循長尾分布的數據集訓練的系統通常實用價值有限，因為它只能在條件理想時使用（即，輸入數據與常見情況相似）。當遇到代表邊緣案例的真實世界的數據時，該系統將不會有好的表現，也不能被依賴。

1.1 目的和范圍

本報告的目的是介紹可用于解決軍事背景下有限訓練數據所帶來的一些挑戰的技術。具體來說，本報告重點討論如何將使用軍事模擬或生成模型創建的合成數據與微調、領域適應、多任務學習和元學習等遷移學習技術結合起來，以加速未來DL在軍事領域應用的開發和部署。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI/ML/DL技術，用于或嵌入軍事系統的人員。

1.3 閱讀說明

本報告假定讀者具有關于ML和DL概念的基本知識，如監督學習、強化學習、損失函數、梯度下降和反向傳播。鼓勵缺乏此類知識的讀者在繼續閱讀本報告之前，先閱讀FOI-報告FOI-R-4849-SE[2]中的第二章。

1.4 提綱

第2章概述了在深度學習中可以用來生成和整合合成訓練數據的技術和方法。第3章概述了轉移學習技術，可以用來促進知識從一個任務到另一個任務的重用。在第4章中，對這些技術的一個子集進行了評估，并提供了深入了解合成數據方法潛力的實驗結果。第5章中提出了結論。

圖2.2: 一幅戰斗機的圖像（2.2a）通過添加噪聲（2.2b）、濾色器（2.2c）和模糊（2.2d），以及通過縮放（2.2e）和縮放后的旋轉（2.2f）得到增強。每幅圖像都附有所有像素的平均RGB值分布的相應圖表。雖然所有圖像在語義上是不變的，但分布的形狀卻有很大的不同。

圖4.7：從我們的訓練數據集中隨機選擇的合成圖像。對于每一對圖像，左邊顯示的是最初生成的臉，右邊顯示的是編輯過的臉。請注意，所有圖像都在臉部周圍進行了裁剪。