導言

信息優勢愿景（ISV）2.0 是要緊急解決任務問題，加速新興技術的發展，更好地開展 IT 業務，使我們的海軍陸戰隊員和海軍陸戰隊員能夠在當今和未來競爭激烈的信息環境中作戰并取得勝利。它保持了 ISV 1.0 所期望的最終狀態，即以安全、經濟的方式將所需信息從任何地方傳遞到任何地方，以最快的速度為作戰人員提供支持，并以 1.0 的 “現代化”、“創新 ”和 “防御 ”等關鍵支柱為基礎。

ISV 2.0 的關鍵支柱是優化、安全和決策。

優化。優先、敏捷、彈性和相關的海軍信息環境。

競爭優勢的基礎是一個經過戰略架構、安全、適應性強且靈活的信息環境，以滿足作戰人員不斷變化的需求。優化后的海軍信息環境本身就是一個具有互操作性和機動性的平臺，能夠為整個海軍部和聯合部隊的所有任務和職能提供支持。優化的主要原則是簡化；一次構建，經常使用；消除不必要的冗余；不斷創新；利用最佳實踐；調整投資并確定優先次序，以最大限度地提高任務成果；以及不斷衡量成效。

安全。可防御、可生存的設計。

確保我們的網絡、平臺、系統和數據從一開始就是安全的，這是我們的集體責任，也是 DON 文化的一部分。我們之所以從 “防御 ”轉向 “安全”，是因為我們意識到需要采取持續行動，在能力生命周期的每一個環節積極主動地保護和確保生存能力。安全 "的核心是一支具有強烈個人網絡責任感的員工隊伍、訓練有素且有能力的操作員和防御員（他們積極保護環境安全）、持續的網絡安全意識、不斷驗證的防御系統以及支持風險知情決策的自動化工具。

決策。可操作的數據驅動決策優勢。

在 ISV 2.0 中，數據是主要的吸引力。值得信賴的安全數據將可在國防部行動的各個階段訪問和使用，以提高作戰人員的殺傷力、提高速度并實現任務成果。將有目的地設計技術解決方案，以實現數據移動、互操作性和發現。決策優勢將由一支熟練的數據隊伍來驅動，他們將生成權威的綜合分析和人工智能產品。

堅持不懈的創新，無論是由 DON 推動的創新還是從其他機構采用的創新，都是在整個信息環境中提供世界級能力的關鍵。我們將積極探索并參與不斷發展的技術生態系統，嘗試我們可以快速有效地過渡到 DON 的飛躍性機遇，以更好地裝備我們的水兵、海軍陸戰隊員和平民，同時保持或提高服務質量和用戶體驗。

一支強大、靈活、有能力的網絡隊伍對于 ISV 2.0 的成功至關重要。我們將尋求一流的人才，創造一個能讓員工充分發揮潛能的環境，以及一個重視并能實現持續專業成長的文化氛圍。

以下是每個支柱的主要舉措，其中藍色部分為 ISV 1.0 以來新增的舉措。

優化

優先、敏捷、彈性和相關的海軍信息環境。

實現海軍部信息環境的現代化。推動和激勵各方齊心協力，建立一個集成、可互操作的信息環境，以優化競爭、危機和沖突期間的能力。利用最具影響力的商業和現有解決方案，加速向這一最終狀態過渡。按照這一方法提供現代云服務，優化 DON 剩余的數據中心，升級網絡并使其多樣化，向戰術邊緣傳輸，并改進技術堆棧的其他元素。

• 加快云的采用。未來的狀態是一個集成的云環境，允許數據以相關的速度從戰術邊緣機動到組織實體。優先考慮向云遷移，提供可確保數據在多云環境中無障礙移動的標準和護欄，并構建云生態系統，以最大限度地減少其占用空間并加強指揮和控制。

• 采用組織實體服務。通過提供或利用可降低復雜性、優化投資和改善客戶體驗的現代核心企業 IT 服務，實現 “一次構建或購買，經常使用”。

• 提供以數據為中心的秘密生態系統。基于零信任原則，實施支持所有分類數據的單一結構。通過加快我們和任務合作伙伴對不同分類數據的訪問速度，提高我們的決策優勢。

• 改善客戶體驗。改善數字化工作環境，使客戶能夠在任何地點、任何設備上安全地訪問他們的數據，并獲得與業界最佳體驗同等的性能。

• 立即采用商業技術。加快采用衛星通信等改變游戲規則的商業技術，為作戰、戰斗支援、生活質量和工作質量解決方案提供無處不在、彈性、低延遲的高速通信。

• 遵循現代軟件開發實踐。通過加快采用 DevSecOps 實踐，并在軟件開發生命周期的每個階段整合安全性和運行彈性，從而快速、大規模地交付彈性軟件。大規模采用現代軟件工具鏈，以實現人工智能和機器學習功能。

將業務任務區（BMA）作為一個組合進行管理。在業務任務區內部采用企業思維，優先考慮組合而非單項工作。通過提供現代化、彈性、集成的技術平臺、服務和分析能力，支持基于最佳實踐的重新設計、通用的端到端流程，從而改善業務運營和決策制定。確保 BMA 能力在有爭議的環境中有效執行。建立 BMA 治理和優先級，確保及時投資和可衡量的成果。

雙管齊下。通過識別、評估和淘汰過時系統，加快剝離技術債務，降低運營風險。通過開展橫向和縱向項目審查來確定剝離機會，并使用標準化、數據驅動的流程對系統進行合理化調整。

確保獲得所需的頻譜。在所有論壇上大力宣傳國防部在頻譜問題上的立場。利用先進的新興技術，與行業和海事利益相關方合作，動態共享所需的頻譜并構建靈活的頻譜系統，從而保護對國防部任務和國家安全至關重要的頻譜。

安全

可防御和可生存的設計。

實現零信任。從網絡開始，在全組織實體范圍內采用并整合零信任能力、技術、解決方案和流程，從而改善 DON 的網絡安全態勢。優先考慮支持零信任的身份識別，并將零信任納入所有新功能。

擴大網絡就緒規模。加快對所有任務功能飛地進行實時網絡防御。通過從合規思維向網絡就緒方法轉變，降低風險并加快能力交付，在網絡就緒方法中，每天都要贏得并管理運營權。實現這一目標的方法包括：持續監控網絡安全；近乎實時地積極糾正漏洞；通過自動、有威脅信息的評估來驗證防御；做出有風險信息的決策；以及將網絡安全完全納入采購流程。

合作確保國防工業基地（DIB）的安全。與國防工業基地（DIB）和國防工業基地（DIB）的利益相關方合作，提高由我們的行業合作伙伴保護的海軍部數據的安全性，并優先采用可提供實時警告、保護、糾正措施和洞察力的創新網絡安全解決方案。

將網絡安全作為共享能力組合進行管理。由于多個平臺可能有共同的網絡安全解決方案，因此應從整體上（人員、流程、技術和政策）對網絡安全管理和運營進行投資，以確保應用程序、系統和平臺在其整個生命周期內得到有效、經濟的保護。

決策

準備就緒、機動靈活的數據驅動決策優勢。

重視數據第一的思維方式。將海軍部轉變為一個現代化、數據流暢的組織，在執行作戰和業務任務時毫不費力地生產和消費數據。要通過權威分析和人工智能產品提供決策優勢，就必須持續不斷地努力，使我們的海軍數據架構更加成熟，采用有利于執行任務的管理和標準，并提高 DON 的數據技能。

• 成熟海軍數據架構。通過以下方式改進數據管理方式，使其能夠以相關的速度提供作戰和業務決策優勢：

  • 將 Jupiter 作為企業服務提供
  • 使數據分析平臺合理化
  • 建立和整合數據中心，作為我們數據網絡的一部分
  • 擴大高層領導的外聯

• 采用標準。制定并采用有針對性的企業標準，用于使用、管理、表示和共享數據，從而在數據無縫、安全地穿越我們的組織實體時消除摩擦。

• 改善管理。執行綜合且相互支持的數據、分析和人工智能治理。

• 塑造文化。通過與艦隊定期接觸，展示共享數據的力量，打破 IT 系統孤島和所有權文化。

推進分析和人工智能。通過以下方式，使 DON 組織、基礎設施和數據做好準備，以支持高級分析和全方位的人工智能模式--速度快、規模大--以支持我們的戰備和業務功能：

• 成熟目錄。通過建立數據目錄，使數據在集成和分析方面更加可見、可得、可信和易懂。通過開發海軍分析和人工智能目錄，加快分析和人工智能能力的交付，減少重復工作。

• 交付分析能力。通過數據突擊隊（Data Strike Teams）開發、測試和支持分析用例的解決方案，加快自助式分析，從而滿足整個組織實體的任務需求。

• 實現人工智能。制定并實施數據標記和數據移動戰略，以便從組織實體到戰術邊緣巧妙地運用分析和人工智能。

美國海軍科技（S&T）戰略是對來自學術界、工業界和政府部門的科學家、工程師、發明家和創新者的全球服務號召，一起解決海軍問題。該戰略以 "北極星 "為指導，旨在為美國作戰人員和盟友提供能力，為海軍和海軍陸戰隊的未來行動提供一系列技術選擇，從而創造持久優勢。

美國海軍部（DON）得益于海軍研究實驗室（NRL）和作戰中心強大的有機、全國性和全球性研究生態系統，以及與學術界、私營部門和其他合作伙伴長期開展的開拓性研究，這些都為海軍的優勢奠定了科技基礎。長遠方法賦予其領域領導、項目官員和研究人員自主權，使他們能夠產生科學知識、能力改進和顛覆性技術，以滿足海軍任務需求。這些需求包括國家海軍的責任，即對海洋有決定性的了解，并確保利用任何進步來提供作戰優勢。

本戰略以這些優勢為基礎，緊急應對戰略競爭的新時代，并重新關注與美國國防部（DoD）科技戰略保持一致，更好地與其盟友、國會、伙伴國和國防部研究界合作。認識到需要改進海軍科技技術和流程，以有效應對不斷變化的國家科學、技術、工程和數學人才隊伍，并解決最有前途的研究領域，以支持海軍部隊獲取能力。

通過整合人工智能輔助指揮系統和無人技術，未來戰爭正在經歷變革，這將對作戰行動和軍事決策周期所需的速度產生重大影響。未來的決策支持系統將協助軍事決策者評估威脅，為部隊制定最佳行動方案，甚至通過自主系統的協作群行為執行行動。要實現這些系統，建模與仿真以及先進的深度強化學習（RL）技術的結合將發揮至關重要的作用。

本文介紹了德國陸軍概念與能力發展中心和空中客車公司開展的幾項研究的結果。這些研究評估了模擬和人工智能技術的調整和利用情況，利用 RL 優化模擬 "ReLeGSim "訓練了一個能夠在陸軍作戰中充當營級指揮員或在 ISR 任務中控制無人機群的AI智能體。AI智能體利用語言模型生成自然語言命令，在 ReLeGSim 中執行行動，加強了人類顧問與人工智能系統之間的交流，同時將目標和條令納入人工智能推理過程。通過軍事條令感知反饋功能，智能體在每個訓練周期內評估并改進其行為。

訓練完成后，AI智能體可應用于真實世界的場景，根據所學的AI智能體策略為營長制定行動方案，或直接在自主系統中執行，以控制無人機蜂群。這項研究為使智能體具備在未來行動中維護軍事條令和規則的能力奠定了基礎。

1.0 引言

近年來，人工智能（AI）取得了長足的進步，而強化學習（RL）則是其中一個突出的范例。強化學習因其在 Dota2 和《星際爭霸》等復雜游戲場景中實現卓越性能，甚至超越人類能力的能力而備受關注。它已成為機器學習領域用于解決復雜任務的最先進的人工智能技術。

當前軍事研究的主要目標是將最初為游戲應用而設計的 RL 技術移植到軍事行動領域。其總體目標是為軍事行動開發基于人工智能的系統，使其在許多使用案例中都能表現出超人水平的性能，例如[16]：

• 戰場決策： 通過使用模擬環境，RL 可用于訓練智能體在復雜的軍事場景中做出決策[1]。人工智能做出的決策可用作向指揮官提出的建議，例如，有效的行動方案。

• 自主系統： RL 可用于訓練智能體在模擬環境中控制軍用車輛（如無人機、坦克）[2]。智能體可以學會在環境中導航車輛并執行各種任務（如偵察、目標捕獲）。經過訓練的智能體可以轉移到真實車輛上，而無需重新訓練人工智能。

• 規劃與優化： 例如，RL 可用于優化軍事模擬中的后勤規劃[3]。智能體可以學習將資源（如部隊、補給）分配到戰場的不同區域，以實現任務目標，同時將損失降到最低。

• 網絡安全： 在軍事模擬中，RL 可用于訓練智能體檢測和應對網絡攻擊 [4]。智能體可以學會識別和減輕對軍事網絡和系統的威脅。

• 培訓與評估： RL 可用于在模擬中培訓和評估軍事人員 [5]。智能體可以模擬不同的場景，并對受訓人員采取的行動提供反饋。

應用于 RL 的技術在不斷變化和改進。變壓器模型[6]等新架構和 SiLU [7]等新激活函數正在進一步改善用 RL 訓練的人工智能體的架構和整體性能。轉換器模型允許使用新的架構，如視覺轉換器（VisionTransformers）[8]，也是所有最新大型語言模型的基礎，如 OpenAI [9] 的 GPT（生成預訓練轉換器）。

在這些發展的推動下，本文研究了如何使用新的語言模型架構來解決軍事行動所需的巨大行動空間問題，并提高智能體的整體性能。

2.0 相關工作

在 RL 中，復雜的決策能力往往伴隨著巨大的行動空間，而緩解行動空間爆炸是一個活躍的研究領域。論文 "不斷增長的行動空間"[10] 強調，隨機探索對于大型空間來說不夠好，課程學習對于學習這些行動空間至關重要。最近的發展使用了以自然語言為特征的動作空間，并成功地利用了其復雜動作生成的靈活性[11]。

自然語言處理領域的最新進展激發了開發人員拓展使用自然語言的可能性。語言模型通常用于問題解答和對話。不過，這些模型也可以通過 RL 訓練與環境互動。在他們的論文 "學習用語言模擬世界"[12]中，介紹了構建智能體的概念，這些智能體可以理解并以多種方式使用不同的語言，包括傳達常識、描述世界狀態和提供反饋。其核心思想是，語言可以幫助智能體預測未來，包括將觀察到什么、世界將如何表現以及哪些行為將得到獎勵。作者介紹的 "Dynalang "是一種學習多模態世界模型的智能體，它能預測未來的文本和圖像表征，并根據模擬模型的推出做出決策。與傳統智能體不同，Dynalang 不僅使用語言進行行動預測，還使用語言預測未來的語言、視頻和獎勵，從而獲得豐富的語言理解能力。此外，Dynalang 還可以在沒有動作或獎勵的語言和視頻數據集上進行預訓練，它能有效地利用語言來提高從網格世界到逼真家庭掃描等各種環境中的任務性能。

RL 的另一個重要方面在于獎勵系統的適應性，即為智能體提供激勵措施以鼓勵所期望行為的概念。獎勵塑造是一種用于系統修改這些獎勵結構的技術。在實踐中，這涉及對獎勵進行微調，以引導智能體實現特定目標。舉例來說，在迷宮導航的背景下，人工智能體可以在探索之前未知區域時獲得遞增獎勵，從而刺激全面探索。另一種策略是元學習或多任務學習，它使人工智能系統能夠同時監督多個可能不同的目標。這種方法類似于同時掌握幾項任務，通過在這些任務之間共享所獲得的知識和技能來實現。然而，在人工智能中動態改變獎勵功能的過程伴隨著內在的挑戰。

如果目標的轉變過于突然，人工智能系統可能難以適應，需要進行資源密集型的再訓練。頻繁改變目標可能會給人工智能帶來困惑。總之，在人工智能中動態調節獎勵機制的做法體現了一種強有力的工具，盡管這種工具需要謹慎管理。首要目標是在人工智能的學習過程中實現適應性和穩定性之間的平衡，確保在適應不斷變化的目標和保持有效的學習動力之間達到和諧的平衡。

最近發表的論文“Designing Rewards for Fast Learning”[13] 探討了獎勵函數設計對 RL 智能體學習速度的影響。它強調了選擇基于狀態的獎勵的重要性，這種獎勵能最大化行動差距，使智能體更容易區分最優行動和次優行動。論文還引入了最小化一種稱為 "主觀折扣 "的度量的概念，以鼓勵智能體在減少前瞻性的情況下做出最優決策。為了解決獎勵設計問題，本文提出了一種線性編程算法。在表格環境中使用 Q-Learning 的實驗結果表明，生成的獎勵能加快學習速度。該研究確定了獎勵設計的三個關鍵原則：1）與獎勵目標相比，懲罰每一步有助于加快學習速度。2) 沿目標軌跡獎勵子目標時，獎勵應隨著目標的接近而逐漸增加。3) 只有經過精心設計，在每個狀態下都不為零的密集獎勵才是有益的。

3.0 Relegs--復雜作戰環境下的強化學習

3.1 模擬環境 "ReLeGSim"

ReLeGSim（強化學習通用人工智能訓練模擬，如圖 1 所示）是一個類似棋盤的模擬環境，用于強化學習，以開發棋手在游戲中的自我優化策略。任意棋手都要通過一系列棋步達到目標，并且可以相互影響。ReLeGSim 可用于模擬各種民用和軍用場景，如 ISR 任務或大營地面作戰場景。ReLeGSim 允許為類似國際象棋游戲的環境定義角色，賦予它們相應的屬性和可能的行動。為此，可以使用 Python 編程語言，通過適當的特定應用仿真模型（如傳感器）對仿真進行擴展。

在 ReLeGs1 研究范圍內，ReLeGSim 被配置為 2 個營的對抗模型，其中每個營的指揮官都必須指揮其指定的連隊和支援單元。它允許玩家（無論是人類還是智能體）在攻擊或防御的戰術場景中生成營的命令。該模擬由論文[1]介紹，使用了用于強化學習的 "Gymnasium "API[14]。

圖 1 ReLeGSim 用戶界面

在模擬游戲中，一名玩家扮演進攻方，旨在從防守方手中奪取一個特定的目標區域，而防守方則必須在整個過程中守住該區域。雙方玩家都可以使用由排和單個單元組成的各種具有獨特能力的連隊。要想取得成功，玩家必須了解對手的觀點，了解自己連隊的能力，并有效地控制地形。

圖 2 人工智能工具鏈 - ReLeGSim

人工智能工具鏈（圖 2）可根據矢量、高程和衛星信息等真實世界數據自動創建三維地形。然后，柵格化地圖將用于 ReLeGSim 中的人工智能訓練，并為不同區域分配特定的實地類型（如森林或道路）。帶有附加工具的模擬旨在提供一個平臺，通過強化學習訓練不同的人工智能模型，同時也支持人類與人工智能的博弈。因此，可以對訓練好的智能體的能力進行基準測試、評估和分析。該工具鏈還包括對訓練好的人工智能體進行自動測試，并根據客戶需求提供各種指標和復雜的分析。

3.2 ReLeGSim 人工智能架構

ReLeGSim 的作者從 DeepMind 的 AlphaStar [15]（復雜 RL 問題的領先模型）中汲取靈感，開發出一種創新架構（圖 3）。受軍事戰術的影響，該設計利用標量數據和可視化地圖進行場景觀察。標量數據包括部隊人數和彈藥，以擴展人工智能的視野。所有輸入參數都經過歸一化處理，以提高訓練效果。標量值采用多頭注意力網絡，而不是全連接層，提高了智能體的質量。為了了解地形，人工智能接收了包含大量地形信息和實體編碼的可視化地圖。為了將這些豐富的數據納入人工智能，我們開發了一個帶有卷積層的空間編碼器。

通過自動編碼器設置對架構進行評估，并將其減少到最低限度，將參數從 200 萬減少到 4.7 萬，并生成一個預訓練模型。可選的語言輸入可將目標或任務考慮在內。在分層設置中，給定任務可由上級智能體定義。來自視覺、任務和標量數據的編碼值被輸入到一個核心網絡（LSTM 組件）中，以處理長期規劃。

行動頭（action head）最初是基于 AlphaStar 實現的多離散行動空間。由于行動空間不斷擴大，行動頭被一個基于最新研究的語言模型所取代，該模型可預測自然語言中的行動指令。

圖 3 ReLeGSim 使用的人工智能架構

3.3 人工智能決策空間

人工智能的復雜決策能力問題伴隨著 RL 中巨大的行動空間而產生，隨著 RL 應用變得越來越復雜和逼真，這也是一個巨大的挑戰。小而固定的行動空間在表現力、探索性和效率方面都有局限性。研究人員正在不斷開發新的技術和算法，以減輕不斷膨脹的行動空間所帶來的影響，如函數近似、離散化和分層 RL。這些方法使智能體能夠處理日益復雜的任務，并更有效地應對大型行動空間的挑戰。隨著 RL 的不斷進步，解決行動空間爆炸的問題仍將是一個重要的研究領域，以便在現實世界中成功應用 RL。

利用自然語言與人工智能建立交流的方法（如文獻[2]所示），以及利用自然語言制定條令的發展（如文獻[16]所強調），為在多方面作戰環境中實現多用途人工智能能力開創了先例。ReLeGSim 在人工智能與模擬中的智能體之間建立了一個自然語言接口，可對給定命令進行復雜的解析和執行。這些命令可以是不同層次的，可以控制各種智能體。

最初的試驗表明，大量未使用的詞匯不利于訓練，而且會導致訓練速度減慢。因此，我們使用了一個小而有效的詞匯表。該詞匯表只包含以下標記：

<colon>標記將輸出文本序列分割為多個動作，而<comma>標記則結束或填充結果。標記的縮減和優化都是手動完成的，并與模擬中執行的結果行為直接對應。為了標記動作，我們使用了單擊編碼，因為這允許我們對給定的動作進行隨機抽樣，并可通過多離散表示法輕松集成到任何給定的 RL 框架中。

4.0 實驗與結果

4.1 "ReLeGs "中的行動方案（COA）決策支持儀表板

ReLeGSim 人工智能模型深度整合了人類對任務優先級排序的干預，通過將任務信息納入觀察空間來實現目標的實時變化（圖 3）。為了訓練這種行為，我們采用了課程學習策略，引入了用自然語言表達的各種優先級，每種優先級都與指導遵守規則的獎勵相關聯。這種方法鼓勵智能體發展廣泛的技能組合，在不同的場景中表現出色，并高效地實現目標。

為了將訓練有素的智能體用于行動方案（COA）決策支持，我們開發了一個行動方案決策支持網絡應用程序。根據給定的戰斗情況和藍軍與紅軍的 ORBAT，決策支持網絡應用程序會生成大量 ReLeGSim 模擬運行，以獲得人工智能體在給定情況下如何行動的統計數據。此外，所有可能的決策因素（如可用的聯合火力打擊數量）都會發生變化，以便讓用戶設置特定的過濾設置，分析由此產生的數據。然后，對人工智能指揮的模擬運行結果進行統計分析，并通過基于網絡的儀表板中的熱圖等方式將其可視化。

圖 4 顯示了一個熱圖可視化示例。它顯示了在相同起始條件下多次模擬運行中所有藍色和紅色單元的移動情況。此外，在此示例中，紅方營指揮官被賦予了兩種不同的攻擊優先級：a) 盡快攻擊 vs. b) 攻擊時盡量減少自身損失。圖 4 說明了人工智能如何根據不同的目標調整自己的行為，例如優先考慮快速進攻還是盡量減少損失。

圖 4 根據給定的優先級（a）和（b）比較營行動

這只是在給定場景中探索不同可能性的一種方法，可幫助操作員生成并驗證行動方案。ReLeGSim 的工具箱中提供了從戰爭游戲、統計分析到紅軍行動方案預測的各種選項。該決策支持工具可自動進行場景測試、戰術優化和人工智能模型評估，促進多樣化探索和適應性決策。

4.2 "KITU "中異質無人機群的自主控制

在德國陸軍總部的 "戰術無人機系統的人工智能（KITU）"研究中，空中客車防務與航天公司與兩家德國初創公司量子系統公司（Quantum-Systems）和Sleenlab正在探索在軍事場景中使用人工智能（AI）控制戰術無人機系統（UAS）。這項研究的重點是演示和分析用于自主無人機群的人工智能組件，重點是與主地面作戰系統（MGCS）和北約東翼監視方案保持一致。重點領域是異源無人機群的協調、目標探測和動態任務執行。使用人工智能對各種自動化任務進行訓練，以了解從傳感器到射手鏈的工作量、有效性和效率。該研究還調查了數據處理位置、恢復能力以及群控制在中斷情況下的穩健性。

采用深度強化學習方法來開發能夠在人類監督下控制無人機群的人工智能。圖 5 顯示了從 RL 訓練、驗證到實際飛行測試的過程。為了訓練對無人機群的控制，對 ReLeGSim 仿真進行了調整，使其能夠提供具有不同飛行特性、電池供電和消耗以及光學傳感器等有效載荷的固定翼和多旋翼無人機的簡化模型。對所謂的無人機群控制器的行動空間進行了調整，以賦予無人機搜索和跟蹤任務，以及在地面降落的可能性，從而以較低的電池消耗從地面觀察目標。一旦訓練成功，行為就會轉移到真正的無人機系統上，在空中客車無人機中心進行飛行測試。首次飛行實驗表明，在 ReLeGSim 仿真環境中訓練的智能體在真實情況下表現良好，通過提高模型保真度和根據實際情況校準模型參數，減少了一些模擬與現實之間的差距。

所獲得的見解旨在為將人工智能學習行為集成到真實無人機系統中提供信息，并評估其與人工控制的相似性。總之，像KITU這樣的項目對歐洲國防計劃（包括無人機群、人工智能和云計算）至關重要，并可能為MGCS和未來戰斗航空系統（FCAS）開發計劃帶來益處。無人機群可實現兵力倍增并提高偵察能力，因此在戰術場景中非常有價值。

圖 5 - 將 ReLeGSim 人工智能體用于控制真實的無人機群

5.0 結論

總之，本文論述了未來戰爭在人工智能輔助指揮系統和無人技術整合的推動下發生的變革。這些變化將對作戰行動產生重大影響，并要求加快軍事決策周期。要實現這些未來的決策支持系統，建模、模擬和先進的深度強化學習技術的整合至關重要。這些系統將協助軍事決策者評估威脅、制定最佳行動方案，甚至通過自主系統的協作蜂群行為來執行行動。

本文介紹的研究展示了如何調整和利用模擬與人工智能技術，利用 RL 優化模擬 "ReLeGSim "訓練能夠擔任營級指揮官或控制無人機群的人工智能體。這些智能體通過自然語言命令進行交流，增強了人與人工智能的互動，同時將目標和條令納入人工智能推理過程。軍事條令感知反饋功能的整合使智能體能夠在訓練周期內自我完善。

雖然 "ReLeGs "和 "KITU "兩項研究的目標都不是完全取代人類決策者，但它們為人工智能在軍事行動中的潛力提供了寶貴的見解。RL 代理的開發雖然具有挑戰性，但已展示出有希望的行為模式，包括智能地形利用和戰略決策。隨著研究的深入，預計還會出現更多的見解和行為模式。這項研究為使智能體具備維護軍事條令和規則的能力奠定了基礎，為人類決策者提供了更有力的支持，并為人工智能在各種軍事場景、訓練和決策支持系統中的應用開辟了道路。人工智能在戰爭中的未來將以協作和增強為標志，人工智能將成為與人類專業技術并駕齊驅的寶貴工具，確保 "人類做出決策，機器提供支持"。

6.0 未來之路

許多國家和國際研究工作都強調，未來各梯隊作戰行動的執行速度必須大大提高。與過去不同的是，過去一個旅的指揮官可以有幾個小時的時間進行決策，而現在要想取得優勢地位，就必須明顯并逐步縮短可用于決策的時間。有幾個因素促成了這種不斷變化的局面。前進的道路上有幾個關鍵的方向，可以進一步推動研究和實際應用：

1.繼續培訓和評估：應完成對 RL 智能體的持續培訓，進一步完善其行為模式。這包括開發更復雜的戰術行為，如目標優先級排序、組建預備隊和反擊策略。此外，應更詳細地探索通過可解釋人工智能（XAI）來解釋 RL 智能體的行為，以增強人類的理解能力。

2.可擴展性和真實世界測試：雖然 ReLeGSim 等模擬環境提供了寶貴的訓練場地，但仍應努力擴大這些智能體的規模，以便在現實世界中進行測試和部署。這包括解決硬件和計算要求，以確保實際適用性。

3.人機一體化：人工智能作為決策支持的整合必須繼續強調人類的控制和干預。為人類指揮官與人工智能體之間的無縫協作開發接口和協議至關重要。

4.人工智能應用的多樣性： 研究重點應超越決策支持，探索人工智能在軍事領域的廣泛應用。這包括訓練自主無人系統、為訓練演習進行模擬，以及評估人工智能模型的性能和戰術。此外，其他仿真模型也應與 ReLeGSim RL 架構一起應用，在 PAXSEM 等高度詳細的戰斗模型中訓練 RL 智能體，這對于模擬密集空戰或防空等場景是必要的。

5.倫理和法律方面的考慮：隨著人工智能在軍事行動中的作用越來越大，必須解決倫理和法律方面的問題。研究應包括有關負責任地使用人工智能、問責制以及遵守國際法和國際公約的討論和解決方案。

6.測試與驗證：人工智能模型的嚴格測試和驗證，尤其是在復雜多變的作戰場景中的測試和驗證，仍應是一個優先事項。這包括評估人工智能在城市戰、非正規戰爭和維和行動等各種情況下的表現。

7.適應不斷發展的技術：鑒于人工智能發展的快節奏，研究應保持適應性和開放性，納入新興技術、架構和最佳實踐，以保持在人工智能輔助軍事決策支持領域的領先地位。大型語言模型（LLM），尤其是多模態 LLM 有可能徹底改變對態勢感知、推理和行動計劃的理解。這項技術具有極大的潛力，可以顯著改進智能體。

總之，前進的道路包括采取全面的戰略，推進人工智能并將其無縫整合到軍事行動中，同時始終遵守道德和法律標準。通過解決這些關鍵問題，本研究可為人工智能決策支持系統的發展及其在復雜軍事環境中的謹慎應用做出貢獻。

美國陸軍作戰能力發展司令部陸軍研究實驗室正在研究行為，建立數據集，并開發異常分類和解釋的技術，其中自主智能體生成自然語言描述和對可能包含異常屬性的環境的解釋。這項技術將支持在不確定條件下的決策，以及士兵和機器人隊友在網絡限制的情況下，在未知或危險的環境中完成探索性的導航任務（例如，自然災害后的搜索和救援）的彈性自主機動。在本報告中詳細介紹了貢獻：借鑒視覺異常檢測的相關工作，設計了一個異常分類法；設計了兩個在虛擬環境中進行的實驗，這些環境被操縱以顯示基于分類法的異常屬性；為異常檢測和解釋任務收集了一個小型人類語音和人類-機器人對話的語料庫；最后，設計了一個新的注釋模式，并將其應用于語料庫的一個子集。

圖1. 帶有實例樣本的類的異常分類法。矩形框包含了類的類型（例如，實體的 "顏色"），橢圓是類屬性的實例或例子（例如，"粉色小貓"）。

引言

美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL），正在研究行為，建立數據集，并開發異常分類和解釋的技術，其中自主代理生成自然語言描述和對可能包含異常屬性的環境的解釋。這項技術將支持在不確定條件下的決策，以及士兵和機器人隊友在網絡受限的情況下，在未知或危險的環境中完成探索性的導航任務（例如，自然災害后的搜索和救援）的有彈性的自主操作。自動生成的自然語言解釋將促進在篩選大量低質量或重復的視覺數據時遇到的信息過載問題，迅速引起對非典型情況的注意。

將異常情況檢測的任務放在士兵由于可能對他們有危險的條件而無法穿越環境的場景中。此外，由于可用帶寬的限制和約束，接收環境的圖像或實時流可能是不可行的。因此，機器人隊友的作用就變成了在空間中導航，并通過簡潔和信息豐富的自然語言陳述或文本報告向士兵傳達信息。這種設想中的異常情況檢測技術的成功部署必須能夠：

• 識別環境中與預期相矛盾的方面；
• 詳細說明為什么這種方面是矛盾的，并提供預期狀態；
• 推斷出至少一種可能導致偏差的合理可能性；以及
• 推斷出至少一種合理的可能性，即由于偏差而可能發生的情況。

由ARL主持并通過國家安全創新網絡X-Force獎學金招募的兩名實習生組成的團隊花了10周時間探索這個問題的空間。在本報告中詳細介紹了貢獻：借鑒視覺異常檢測的相關工作，設計了一個異常分類法（第2和第3節）；設計了兩個在虛擬環境中進行的實驗，根據分類法，這些實驗被操縱以表現出異常屬性（第4節）；為異常檢測和解釋任務收集了一個人類語音和人類-機器人對話的小型語料庫（第5節）；最后，設計了一個新的注釋模式，并將其應用于我們語料庫的一個子集（第6節）。

《2022年國家安全戰略》和《國防戰略》明確指出，美國正處于一個決定性的十年，世界大國之間的地緣政治競爭條件將被確定。美國防部將以三種相互關聯的方式推進其優先事項--通過綜合威懾、戰役和建立持久優勢。加快技術進步和創新是通過這些戰略途徑實現美國防部優先事項的關鍵因素。美國和盟國在技術和創新方面的領先地位長期以來一直是其軍事優勢的一部分。其將采取措施保持領導地位，并對抗競爭對手。為了應對這一挑戰，《國家發展戰略》提出"廣泛而深入地改變生產和管理軍事能力的方式......為軍事優勢構建一個持久的基礎。"

根據國家發展戰略，美國國防科技企業必須 "利用美國的不對稱優勢：創業精神和多樣性和多元化的想法和技術生成系統，推動無與倫比的創造力、創新和適應性。" 通過這些不對稱的優勢，將創造、分析、測試、獲取和保護所需的知識和工具，以滿足國家發展戰略的三個戰略途徑。

在這個科學和技術戰略中，確立了競爭優勢的方式。將專注于聯合任務，以速度和規模創造和發揮能力，并確保研究和開發的基礎。

三個方面的任務：

1.關注聯合任務：投資于信息系統，并建立嚴格的、著眼威脅的分析程序，更好地使國防部在其科學和技術投資中做出明智的選擇。

2.以速度和規模創建和部署能力：培育更具活力的國防創新生態系統，加速新技術向應用領域的過渡，在國防部內外建立有效溝通。

3.確保研發的基礎：招募、保留和培養人才，振興基礎設施，提升數字基礎設施，促進利益相關各方更強有力的合作。

維護美國國家安全的三大類14個關鍵技術領域，分別是：

為了應對一個日益動態的作戰環境的挑戰，必須適應技術發展的快速步伐。無人系統（UxS）在改善美國海岸警衛隊的卓越任務方面發揮著關鍵作用，并擁有巨大的前景。無人系統可以幫助找到遇險的海員。它們可以提高在海上探測非法毒品和移民販運的能力，這樣就可以最有效地分配有限的船只、船舶和飛機。UxS可以成為監測世界各地非法、未報告和無管制（IUU）捕撈活動的有力工具。在不斷變化的北極地區，UxS可以幫助破冰船的導航，跟蹤冰山和增加的船只交通，并監測其他商業活動的增長。未來將在一個可互操作的系統的互聯范圍內采用UxS，并使人工智能得到有效的整合，以便在這樣的情況下和更多的情況下向海岸警衛隊的操作員提供可操作的數據。能夠實現最佳人機協作的UXS為海岸警衛隊提供了改變游戲規則的機會。

海岸警衛隊還將有目的地在復雜的海洋環境中抵御和管理無人系統。將采用適合海岸警衛隊在所有領域的海上安全作用的反無人系統能力，以幫助確保海洋運輸系統（MTS）的安全。此外，自動化、自主化和無人駕駛系統的采用有望改變海運業。

雖然海岸警衛隊成功的關鍵一直是人，但無人駕駛系統提供了提高勞動力的性能和效率的前景，并作為一個真正的力量倍增器。海岸警衛隊將尋求調整要求、采購、收購和資金，以確保UXS能夠以需要的速度交付，并與勞動力和現有資產相結合。擁抱和整合UxS將在復雜和不斷變化的環境中促進海上安全和保障。

無人系統的變化、威脅和機遇

引言

海岸警衛隊的一系列廣泛的任務要求海岸警衛隊的人員和漁船、艦艇、飛機和海岸站都要做到最好。然而，海洋領域繼續迅速變化并提出新的挑戰。"當今世界的變化步伐正在加快。地緣政治戰略競爭、經濟動蕩、氣候變化影響、勞動力期望值的變化、不斷發展的技術和新興的海洋用途正在匯聚在一起，推動服務發生變化。" 非法、無管制和未報告的捕撈活動已取代海盜行為成為最大的全球海事威脅之一。毒品和移民的非法販運正在向更遠的地方轉移，并持續對公眾構成威脅。北極地區的海事活動正在增加。自然災害繼續威脅著海洋上和海洋附近的人們。對海岸警衛隊服務的需求是強烈的，并繼續增長。

在一個不斷變化的海洋領域中保持意識和執行管理，仍然是幾乎所有海岸警衛隊任務的核心。在國內，"海洋環境的新興用途--包括近海能源生產、無人駕駛船只和航空系統的使用以及商業空間活動--正在迅速擴大，對現有的監管和操作框架提出了挑戰。" 更廣泛地說，"國家競爭者、暴力極端分子以及日益強大和有能力的跨國犯罪組織（TCOs）都在繼續試圖利用海上的薄弱治理、岸上的腐敗和海洋領域意識的差距來獲得經濟和政治優勢。" 這些變化給海岸警衛隊的任務執行帶來了威脅和機遇，同時也增加了對海岸警衛隊海上領域意識的需求，以支持美國和全球利益。

技術在不斷進步，提供了新的工具和能力，可以幫助執行海岸警衛隊的任務。"技術的快速發展，對海岸警衛隊服務不斷增長的需求，越來越多的動態操作環境，以及全球戰略競爭，使目前執行任務的方式更加緊張。必須加強競爭優勢，以配合影響海洋領域的變化速度。這是對行動的呼吁"。

UxS創造了機會，以新的方式將人員、資產、系統和數據結合起來，以創造一支更加靈活的部隊。UxS可以填補覆蓋面的空白，提高對形勢的認識。UxS還可以提供新的能力，以增強載人任務。UxS可以將人類從一些任務中經常是骯臟的、偶爾是枯燥的、有潛在危險的工作中解放出來。UxS不能單獨執行任務，但它們可以幫助保持人員準備狀態，直到正好需要海岸警衛隊人員的時刻。

海岸警衛隊已經雇用了一些UXS，但主要是以分離和以平臺為中心的方式進行的。海岸警衛隊已經經歷了一些項目的成功，如國家安全快艇上的中程無人駕駛航空系統（UAS），以及在海岸警衛隊各水上和岸上單位使用的短程UAS。當與其他技術無縫整合時，作為技術生態系統的一部分，無人機系統可以成為一個力量倍增器，將傳感器與作戰決策者通過資產、網絡、數據系統、高級分析和信息共享平臺聯系起來，并具有更高的速度和效率。必須保持靈活和適應性，以追求這一變革性變化。

雖然無人駕駛系統為海岸警衛隊的就業提供了機會，但它們已經被海洋環境中的所有類型的行為者所使用，而且應該預期它們的存在將大幅增長。公民使用無人駕駛系統正在無意中影響著政府和商業船只以及沿海設施的日常運作。商業航天公司正在使用無人駕駛的駁船進行作業，航運公司正在將自主系統甚至完全自主的車輛納入其船隊。麻醉品販子已經建造了小型的自制無人潛水艇，以秘密地在海上邊界非法運輸毒品。應該預料到，無人駕駛系統將在海洋環境中變得無處不在，必須為其影響做好準備。

了解海岸警衛隊任務的變化、機會和風險，使能夠構建一個愿景，為戰略制定方向。

作戰概念：UXS，作戰/戰術ISR

當前和未來的網絡威脅和攻擊促使美國防部需要一個超越傳統周邊防御方法的零信任方法。美國防部打算在27財年之前實施該戰略和相關路線圖中概述的獨特的零信任能力和活動。

該戰略設想的美國防部信息企業由一個全面實施的、整個部門的零信任網絡安全框架來保障，該框架將減少攻擊面，實現風險管理和伙伴關系環境中的有效數據共享，并迅速遏制和補救對手的活動。

該戰略概述了四個高層次的綜合戰略目標，確定了該部為實現其零信任愿景將采取的行動。

• 零信任文化的采用--所有美國防部人員都意識到、理解、接受培訓，并致力于零信任的思維方式和文化，支持零信任的整合。
• 美國防部信息系統的安全和防御--網絡安全實踐在新的和遺留系統中納入零信任，并將其付諸實施。
• 技術加速--技術部署的速度等同于或超過行業的進步。
• 零信任的實現 - 部門和組件級的流程、政策和資金與零信任原則和方法同步。

面對不斷變化的對手威脅和新技術，實施零信任將是一個持續的過程。隨著技術的變化和對手的發展，更多的 "零信任 "增強措施將在隨后幾年被納入。

在美國國防部，人工智能（AI）/機器學習（ML）的整合目前是以現有項目的升級或新項目的收購形式進行的。怎么知道這些AI/ML支持的系統會按照預期的方式運行？為了做出這個判斷，與其他傳統的軟件開發/采購項目相比，AI/ML產品開發/采購需要一個獨特的評估過程。作為回應，美海軍軍械安全和保障活動（NOSSA）資助了以下研究，以調查獨特的政策、指導方針、工具和技術，以評估AI/ML關鍵功能中的安全問題。在這項工作中，開發了14項關鍵的嚴謹度（LOR）任務，并在五個階段中應用：（1）需求，（2）架構，（3）算法設計，（4）算法代碼，以及（5）測試和評估（T&E）。14項LOR任務涉及最佳實踐討論、定義、測量、論證文件和AI/ML系統特有的危險分析格式。這14項LOR任務還明確了為什么AI/ML軟件開發需要采購界的特別考慮。此外，這項研究有可能影響采購界如何定義需求、創建架構、產生AI/ML算法設計、開發AI/ML算法代碼以及執行T&E。在開發 "采購沙盒"的過程中，跨越五個發展階段的14項LOR任務的需求變得很明顯，該沙盒研究了部署AI/ML自主系統的路線規劃者，以及讓這些系統交付軟件包，重點是評估關鍵功能行為的安全性。該沙盒是使用國防部架構框架（DoDAF）和統一建模語言（UML）圖設計的，其中包含了各種AI/ML技術。當面臨這種程度的復雜性和/或不確定性時，14項LOR任務代表了一組有凝聚力的問題/考慮因素，為應對當前海軍AI/ML的采購問題提供了重點。這些指南還為涉及安全的組織，如NOSSA和適航性，以及包括項目經理和系統工程師在內的采購專業人員提供了一個分步驟的 "如何 "評估方法，以確保創造高質量的人工智能嵌入式產品。

該報告為包含人工智能功能的系統的采購和開發提供了詳細的指導方針。該準則允許用戶在作戰部署的挑戰中對人工智能功能的行為建立不同程度的信心。信心的程度決定了14個LOR任務中的哪一個在五個階段中被應用。每個LOR任務提供了問題和/或考慮因素，使開發人員能夠客觀地評估人工智能/ML功能的安全性和可靠性。當審查每個LOR任務時，LOR任務編號（和相關階段）后面的 "參考編號 "是指用于開發問題和/或考慮因素的文件中的相應標識（ID）。這四份文件的標題分別是：（1）操作視圖（OV），（2）系統視圖（SV），（3）數據集設計，和（4）算法設計。LOR任務 "參考ID "命名法的例子是Ops1、Sys1、Alg1和Dat1。在這些例子中，每個ID與四個文件中的一個有關，其中數字 "1 "表示文件中描述的第一個LOR任務。在每個文件中使用 "Ref ID "支持對研究的可追溯性，包括數學。