通過整合人工智能輔助指揮系統和無人技術，未來戰爭正在經歷變革，這將對作戰行動和軍事決策周期所需的速度產生重大影響。未來的決策支持系統將協助軍事決策者評估威脅，為部隊制定最佳行動方案，甚至通過自主系統的協作群行為執行行動。要實現這些系統，建模與仿真以及先進的深度強化學習（RL）技術的結合將發揮至關重要的作用。

本文介紹了德國陸軍概念與能力發展中心和空中客車公司開展的幾項研究的結果。這些研究評估了模擬和人工智能技術的調整和利用情況，利用 RL 優化模擬 "ReLeGSim "訓練了一個能夠在陸軍作戰中充當營級指揮員或在 ISR 任務中控制無人機群的AI智能體。AI智能體利用語言模型生成自然語言命令，在 ReLeGSim 中執行行動，加強了人類顧問與人工智能系統之間的交流，同時將目標和條令納入人工智能推理過程。通過軍事條令感知反饋功能，智能體在每個訓練周期內評估并改進其行為。

訓練完成后，AI智能體可應用于真實世界的場景，根據所學的AI智能體策略為營長制定行動方案，或直接在自主系統中執行，以控制無人機蜂群。這項研究為使智能體具備在未來行動中維護軍事條令和規則的能力奠定了基礎。

1.0 引言

近年來，人工智能（AI）取得了長足的進步，而強化學習（RL）則是其中一個突出的范例。強化學習因其在 Dota2 和《星際爭霸》等復雜游戲場景中實現卓越性能，甚至超越人類能力的能力而備受關注。它已成為機器學習領域用于解決復雜任務的最先進的人工智能技術。

當前軍事研究的主要目標是將最初為游戲應用而設計的 RL 技術移植到軍事行動領域。其總體目標是為軍事行動開發基于人工智能的系統，使其在許多使用案例中都能表現出超人水平的性能，例如[16]：

• 戰場決策： 通過使用模擬環境，RL 可用于訓練智能體在復雜的軍事場景中做出決策[1]。人工智能做出的決策可用作向指揮官提出的建議，例如，有效的行動方案。

• 自主系統： RL 可用于訓練智能體在模擬環境中控制軍用車輛（如無人機、坦克）[2]。智能體可以學會在環境中導航車輛并執行各種任務（如偵察、目標捕獲）。經過訓練的智能體可以轉移到真實車輛上，而無需重新訓練人工智能。

• 規劃與優化： 例如，RL 可用于優化軍事模擬中的后勤規劃[3]。智能體可以學習將資源（如部隊、補給）分配到戰場的不同區域，以實現任務目標，同時將損失降到最低。

• 網絡安全： 在軍事模擬中，RL 可用于訓練智能體檢測和應對網絡攻擊 [4]。智能體可以學會識別和減輕對軍事網絡和系統的威脅。

• 培訓與評估： RL 可用于在模擬中培訓和評估軍事人員 [5]。智能體可以模擬不同的場景，并對受訓人員采取的行動提供反饋。

應用于 RL 的技術在不斷變化和改進。變壓器模型[6]等新架構和 SiLU [7]等新激活函數正在進一步改善用 RL 訓練的人工智能體的架構和整體性能。轉換器模型允許使用新的架構，如視覺轉換器（VisionTransformers）[8]，也是所有最新大型語言模型的基礎，如 OpenAI [9] 的 GPT（生成預訓練轉換器）。

在這些發展的推動下，本文研究了如何使用新的語言模型架構來解決軍事行動所需的巨大行動空間問題，并提高智能體的整體性能。

2.0 相關工作

在 RL 中，復雜的決策能力往往伴隨著巨大的行動空間，而緩解行動空間爆炸是一個活躍的研究領域。論文 "不斷增長的行動空間"[10] 強調，隨機探索對于大型空間來說不夠好，課程學習對于學習這些行動空間至關重要。最近的發展使用了以自然語言為特征的動作空間，并成功地利用了其復雜動作生成的靈活性[11]。

自然語言處理領域的最新進展激發了開發人員拓展使用自然語言的可能性。語言模型通常用于問題解答和對話。不過，這些模型也可以通過 RL 訓練與環境互動。在他們的論文 "學習用語言模擬世界"[12]中，介紹了構建智能體的概念，這些智能體可以理解并以多種方式使用不同的語言，包括傳達常識、描述世界狀態和提供反饋。其核心思想是，語言可以幫助智能體預測未來，包括將觀察到什么、世界將如何表現以及哪些行為將得到獎勵。作者介紹的 "Dynalang "是一種學習多模態世界模型的智能體，它能預測未來的文本和圖像表征，并根據模擬模型的推出做出決策。與傳統智能體不同，Dynalang 不僅使用語言進行行動預測，還使用語言預測未來的語言、視頻和獎勵，從而獲得豐富的語言理解能力。此外，Dynalang 還可以在沒有動作或獎勵的語言和視頻數據集上進行預訓練，它能有效地利用語言來提高從網格世界到逼真家庭掃描等各種環境中的任務性能。

RL 的另一個重要方面在于獎勵系統的適應性，即為智能體提供激勵措施以鼓勵所期望行為的概念。獎勵塑造是一種用于系統修改這些獎勵結構的技術。在實踐中，這涉及對獎勵進行微調，以引導智能體實現特定目標。舉例來說，在迷宮導航的背景下，人工智能體可以在探索之前未知區域時獲得遞增獎勵，從而刺激全面探索。另一種策略是元學習或多任務學習，它使人工智能系統能夠同時監督多個可能不同的目標。這種方法類似于同時掌握幾項任務，通過在這些任務之間共享所獲得的知識和技能來實現。然而，在人工智能中動態改變獎勵功能的過程伴隨著內在的挑戰。

如果目標的轉變過于突然，人工智能系統可能難以適應，需要進行資源密集型的再訓練。頻繁改變目標可能會給人工智能帶來困惑。總之，在人工智能中動態調節獎勵機制的做法體現了一種強有力的工具，盡管這種工具需要謹慎管理。首要目標是在人工智能的學習過程中實現適應性和穩定性之間的平衡，確保在適應不斷變化的目標和保持有效的學習動力之間達到和諧的平衡。

最近發表的論文“Designing Rewards for Fast Learning”[13] 探討了獎勵函數設計對 RL 智能體學習速度的影響。它強調了選擇基于狀態的獎勵的重要性，這種獎勵能最大化行動差距，使智能體更容易區分最優行動和次優行動。論文還引入了最小化一種稱為 "主觀折扣 "的度量的概念，以鼓勵智能體在減少前瞻性的情況下做出最優決策。為了解決獎勵設計問題，本文提出了一種線性編程算法。在表格環境中使用 Q-Learning 的實驗結果表明，生成的獎勵能加快學習速度。該研究確定了獎勵設計的三個關鍵原則：1）與獎勵目標相比，懲罰每一步有助于加快學習速度。2) 沿目標軌跡獎勵子目標時，獎勵應隨著目標的接近而逐漸增加。3) 只有經過精心設計，在每個狀態下都不為零的密集獎勵才是有益的。

3.0 Relegs--復雜作戰環境下的強化學習

3.1 模擬環境 "ReLeGSim"

ReLeGSim（強化學習通用人工智能訓練模擬，如圖 1 所示）是一個類似棋盤的模擬環境，用于強化學習，以開發棋手在游戲中的自我優化策略。任意棋手都要通過一系列棋步達到目標，并且可以相互影響。ReLeGSim 可用于模擬各種民用和軍用場景，如 ISR 任務或大營地面作戰場景。ReLeGSim 允許為類似國際象棋游戲的環境定義角色，賦予它們相應的屬性和可能的行動。為此，可以使用 Python 編程語言，通過適當的特定應用仿真模型（如傳感器）對仿真進行擴展。

在 ReLeGs1 研究范圍內，ReLeGSim 被配置為 2 個營的對抗模型，其中每個營的指揮官都必須指揮其指定的連隊和支援單元。它允許玩家（無論是人類還是智能體）在攻擊或防御的戰術場景中生成營的命令。該模擬由論文[1]介紹，使用了用于強化學習的 "Gymnasium "API[14]。

圖 1 ReLeGSim 用戶界面

在模擬游戲中，一名玩家扮演進攻方，旨在從防守方手中奪取一個特定的目標區域，而防守方則必須在整個過程中守住該區域。雙方玩家都可以使用由排和單個單元組成的各種具有獨特能力的連隊。要想取得成功，玩家必須了解對手的觀點，了解自己連隊的能力，并有效地控制地形。

圖 2 人工智能工具鏈 - ReLeGSim

人工智能工具鏈（圖 2）可根據矢量、高程和衛星信息等真實世界數據自動創建三維地形。然后，柵格化地圖將用于 ReLeGSim 中的人工智能訓練，并為不同區域分配特定的實地類型（如森林或道路）。帶有附加工具的模擬旨在提供一個平臺，通過強化學習訓練不同的人工智能模型，同時也支持人類與人工智能的博弈。因此，可以對訓練好的智能體的能力進行基準測試、評估和分析。該工具鏈還包括對訓練好的人工智能體進行自動測試，并根據客戶需求提供各種指標和復雜的分析。

3.2 ReLeGSim 人工智能架構

ReLeGSim 的作者從 DeepMind 的 AlphaStar [15]（復雜 RL 問題的領先模型）中汲取靈感，開發出一種創新架構（圖 3）。受軍事戰術的影響，該設計利用標量數據和可視化地圖進行場景觀察。標量數據包括部隊人數和彈藥，以擴展人工智能的視野。所有輸入參數都經過歸一化處理，以提高訓練效果。標量值采用多頭注意力網絡，而不是全連接層，提高了智能體的質量。為了了解地形，人工智能接收了包含大量地形信息和實體編碼的可視化地圖。為了將這些豐富的數據納入人工智能，我們開發了一個帶有卷積層的空間編碼器。

通過自動編碼器設置對架構進行評估，并將其減少到最低限度，將參數從 200 萬減少到 4.7 萬，并生成一個預訓練模型。可選的語言輸入可將目標或任務考慮在內。在分層設置中，給定任務可由上級智能體定義。來自視覺、任務和標量數據的編碼值被輸入到一個核心網絡（LSTM 組件）中，以處理長期規劃。

行動頭（action head）最初是基于 AlphaStar 實現的多離散行動空間。由于行動空間不斷擴大，行動頭被一個基于最新研究的語言模型所取代，該模型可預測自然語言中的行動指令。

圖 3 ReLeGSim 使用的人工智能架構

3.3 人工智能決策空間

人工智能的復雜決策能力問題伴隨著 RL 中巨大的行動空間而產生，隨著 RL 應用變得越來越復雜和逼真，這也是一個巨大的挑戰。小而固定的行動空間在表現力、探索性和效率方面都有局限性。研究人員正在不斷開發新的技術和算法，以減輕不斷膨脹的行動空間所帶來的影響，如函數近似、離散化和分層 RL。這些方法使智能體能夠處理日益復雜的任務，并更有效地應對大型行動空間的挑戰。隨著 RL 的不斷進步，解決行動空間爆炸的問題仍將是一個重要的研究領域，以便在現實世界中成功應用 RL。

利用自然語言與人工智能建立交流的方法（如文獻[2]所示），以及利用自然語言制定條令的發展（如文獻[16]所強調），為在多方面作戰環境中實現多用途人工智能能力開創了先例。ReLeGSim 在人工智能與模擬中的智能體之間建立了一個自然語言接口，可對給定命令進行復雜的解析和執行。這些命令可以是不同層次的，可以控制各種智能體。

最初的試驗表明，大量未使用的詞匯不利于訓練，而且會導致訓練速度減慢。因此，我們使用了一個小而有效的詞匯表。該詞匯表只包含以下標記：

<colon>標記將輸出文本序列分割為多個動作，而<comma>標記則結束或填充結果。標記的縮減和優化都是手動完成的，并與模擬中執行的結果行為直接對應。為了標記動作，我們使用了單擊編碼，因為這允許我們對給定的動作進行隨機抽樣，并可通過多離散表示法輕松集成到任何給定的 RL 框架中。

4.0 實驗與結果

4.1 "ReLeGs "中的行動方案（COA）決策支持儀表板

ReLeGSim 人工智能模型深度整合了人類對任務優先級排序的干預，通過將任務信息納入觀察空間來實現目標的實時變化（圖 3）。為了訓練這種行為，我們采用了課程學習策略，引入了用自然語言表達的各種優先級，每種優先級都與指導遵守規則的獎勵相關聯。這種方法鼓勵智能體發展廣泛的技能組合，在不同的場景中表現出色，并高效地實現目標。

為了將訓練有素的智能體用于行動方案（COA）決策支持，我們開發了一個行動方案決策支持網絡應用程序。根據給定的戰斗情況和藍軍與紅軍的 ORBAT，決策支持網絡應用程序會生成大量 ReLeGSim 模擬運行，以獲得人工智能體在給定情況下如何行動的統計數據。此外，所有可能的決策因素（如可用的聯合火力打擊數量）都會發生變化，以便讓用戶設置特定的過濾設置，分析由此產生的數據。然后，對人工智能指揮的模擬運行結果進行統計分析，并通過基于網絡的儀表板中的熱圖等方式將其可視化。

圖 4 顯示了一個熱圖可視化示例。它顯示了在相同起始條件下多次模擬運行中所有藍色和紅色單元的移動情況。此外，在此示例中，紅方營指揮官被賦予了兩種不同的攻擊優先級：a) 盡快攻擊 vs. b) 攻擊時盡量減少自身損失。圖 4 說明了人工智能如何根據不同的目標調整自己的行為，例如優先考慮快速進攻還是盡量減少損失。

圖 4 根據給定的優先級（a）和（b）比較營行動

這只是在給定場景中探索不同可能性的一種方法，可幫助操作員生成并驗證行動方案。ReLeGSim 的工具箱中提供了從戰爭游戲、統計分析到紅軍行動方案預測的各種選項。該決策支持工具可自動進行場景測試、戰術優化和人工智能模型評估，促進多樣化探索和適應性決策。

4.2 "KITU "中異質無人機群的自主控制

在德國陸軍總部的 "戰術無人機系統的人工智能（KITU）"研究中，空中客車防務與航天公司與兩家德國初創公司量子系統公司（Quantum-Systems）和Sleenlab正在探索在軍事場景中使用人工智能（AI）控制戰術無人機系統（UAS）。這項研究的重點是演示和分析用于自主無人機群的人工智能組件，重點是與主地面作戰系統（MGCS）和北約東翼監視方案保持一致。重點領域是異源無人機群的協調、目標探測和動態任務執行。使用人工智能對各種自動化任務進行訓練，以了解從傳感器到射手鏈的工作量、有效性和效率。該研究還調查了數據處理位置、恢復能力以及群控制在中斷情況下的穩健性。

采用深度強化學習方法來開發能夠在人類監督下控制無人機群的人工智能。圖 5 顯示了從 RL 訓練、驗證到實際飛行測試的過程。為了訓練對無人機群的控制，對 ReLeGSim 仿真進行了調整，使其能夠提供具有不同飛行特性、電池供電和消耗以及光學傳感器等有效載荷的固定翼和多旋翼無人機的簡化模型。對所謂的無人機群控制器的行動空間進行了調整，以賦予無人機搜索和跟蹤任務，以及在地面降落的可能性，從而以較低的電池消耗從地面觀察目標。一旦訓練成功，行為就會轉移到真正的無人機系統上，在空中客車無人機中心進行飛行測試。首次飛行實驗表明，在 ReLeGSim 仿真環境中訓練的智能體在真實情況下表現良好，通過提高模型保真度和根據實際情況校準模型參數，減少了一些模擬與現實之間的差距。

所獲得的見解旨在為將人工智能學習行為集成到真實無人機系統中提供信息，并評估其與人工控制的相似性。總之，像KITU這樣的項目對歐洲國防計劃（包括無人機群、人工智能和云計算）至關重要，并可能為MGCS和未來戰斗航空系統（FCAS）開發計劃帶來益處。無人機群可實現兵力倍增并提高偵察能力，因此在戰術場景中非常有價值。

圖 5 - 將 ReLeGSim 人工智能體用于控制真實的無人機群

5.0 結論

總之，本文論述了未來戰爭在人工智能輔助指揮系統和無人技術整合的推動下發生的變革。這些變化將對作戰行動產生重大影響，并要求加快軍事決策周期。要實現這些未來的決策支持系統，建模、模擬和先進的深度強化學習技術的整合至關重要。這些系統將協助軍事決策者評估威脅、制定最佳行動方案，甚至通過自主系統的協作蜂群行為來執行行動。

本文介紹的研究展示了如何調整和利用模擬與人工智能技術，利用 RL 優化模擬 "ReLeGSim "訓練能夠擔任營級指揮官或控制無人機群的人工智能體。這些智能體通過自然語言命令進行交流，增強了人與人工智能的互動，同時將目標和條令納入人工智能推理過程。軍事條令感知反饋功能的整合使智能體能夠在訓練周期內自我完善。

雖然 "ReLeGs "和 "KITU "兩項研究的目標都不是完全取代人類決策者，但它們為人工智能在軍事行動中的潛力提供了寶貴的見解。RL 代理的開發雖然具有挑戰性，但已展示出有希望的行為模式，包括智能地形利用和戰略決策。隨著研究的深入，預計還會出現更多的見解和行為模式。這項研究為使智能體具備維護軍事條令和規則的能力奠定了基礎，為人類決策者提供了更有力的支持，并為人工智能在各種軍事場景、訓練和決策支持系統中的應用開辟了道路。人工智能在戰爭中的未來將以協作和增強為標志，人工智能將成為與人類專業技術并駕齊驅的寶貴工具，確保 "人類做出決策，機器提供支持"。

6.0 未來之路

許多國家和國際研究工作都強調，未來各梯隊作戰行動的執行速度必須大大提高。與過去不同的是，過去一個旅的指揮官可以有幾個小時的時間進行決策，而現在要想取得優勢地位，就必須明顯并逐步縮短可用于決策的時間。有幾個因素促成了這種不斷變化的局面。前進的道路上有幾個關鍵的方向，可以進一步推動研究和實際應用：

1.繼續培訓和評估：應完成對 RL 智能體的持續培訓，進一步完善其行為模式。這包括開發更復雜的戰術行為，如目標優先級排序、組建預備隊和反擊策略。此外，應更詳細地探索通過可解釋人工智能（XAI）來解釋 RL 智能體的行為，以增強人類的理解能力。

2.可擴展性和真實世界測試：雖然 ReLeGSim 等模擬環境提供了寶貴的訓練場地，但仍應努力擴大這些智能體的規模，以便在現實世界中進行測試和部署。這包括解決硬件和計算要求，以確保實際適用性。

3.人機一體化：人工智能作為決策支持的整合必須繼續強調人類的控制和干預。為人類指揮官與人工智能體之間的無縫協作開發接口和協議至關重要。

4.人工智能應用的多樣性： 研究重點應超越決策支持，探索人工智能在軍事領域的廣泛應用。這包括訓練自主無人系統、為訓練演習進行模擬，以及評估人工智能模型的性能和戰術。此外，其他仿真模型也應與 ReLeGSim RL 架構一起應用，在 PAXSEM 等高度詳細的戰斗模型中訓練 RL 智能體，這對于模擬密集空戰或防空等場景是必要的。

5.倫理和法律方面的考慮：隨著人工智能在軍事行動中的作用越來越大，必須解決倫理和法律方面的問題。研究應包括有關負責任地使用人工智能、問責制以及遵守國際法和國際公約的討論和解決方案。

6.測試與驗證：人工智能模型的嚴格測試和驗證，尤其是在復雜多變的作戰場景中的測試和驗證，仍應是一個優先事項。這包括評估人工智能在城市戰、非正規戰爭和維和行動等各種情況下的表現。

7.適應不斷發展的技術：鑒于人工智能發展的快節奏，研究應保持適應性和開放性，納入新興技術、架構和最佳實踐，以保持在人工智能輔助軍事決策支持領域的領先地位。大型語言模型（LLM），尤其是多模態 LLM 有可能徹底改變對態勢感知、推理和行動計劃的理解。這項技術具有極大的潛力，可以顯著改進智能體。

總之，前進的道路包括采取全面的戰略，推進人工智能并將其無縫整合到軍事行動中，同時始終遵守道德和法律標準。通過解決這些關鍵問題，本研究可為人工智能決策支持系統的發展及其在復雜軍事環境中的謹慎應用做出貢獻。

過去十年中，無人駕駛飛行器（UAV）或無人機能力的快速發展極大地拓展了這些創新型機載設備的商業、軍事和消費應用領域。無人機的特點是固定翼或多旋翼，其價值在于長距離飛行、輕量化設計以及成像和感知能力。傳統的無人機由無線電控制器在專用信道上運行，現代無人機正朝著自主、機器控制的戰術無人機群發展，能夠實現一系列復雜的目的。然而，由于這些設備的體積和相對有限的電池電量，這些功能性工具中嵌入的計算能力和機載軟件仍然極為有限。隨著越來越多的惡意行為者試圖破壞、劫持和誤導無人機的飛行路線，如何確保無人機的安全成為一個重要的學術難題。從無人機劫持到拒絕服務（DoS）再到信號干擾，影響無人機飛行可靠性的常用技術簡單易行、威力強大，而且廣泛為大眾所掌握。本研究分析了無人機風險管理能力與訓練良好的機器學習模型所提供的機會之間的關系。通過將基于 Python 的半監督訓練集應用于多個機器學習解決方案，本研究證明了飛行中數據監控和安全威脅檢測算法在未來機載應用中的可行性。將這些發現進一步擴展到基于蜂群的多無人機指紋識別和飛行監控，展示了網絡威脅識別和安全管理的潛力。最終，這些研究成果提出了一種新型模型，將機載和離線機器學習功能集成到基于防護罩的軟件解決方案中，該解決方案可以檢測和應對飛行異常以及惡意行為者不斷變化的威脅模式。

根據這些核心概念考慮因素，圖 5 形象地展示了無人機操作與安全威脅識別和緩解之間的多維關系。該框架的初始階段確定了無人機身份和運行容限的規范維度，將飛行計劃信息、GPS 數據和基線信號強度等已知矢量整合到威脅評估程序中。下游行為監控和威脅檢測可識別各種威脅載體的風險概況，包括 DoS、劫持、欺騙和信號干擾。雖然可以識別這些威脅，但無法使用標準的無人機數據和控制-無人機通信渠道對其進行主動監測。相反，需要一種先進的機器學習解決方案，利用 Na?ve Bayes、Random Forest、SVM 和線性回歸等四種算法模型中的一種或多種。

關鍵點

• 將越來越多的自主無人機與有人駕駛飛機組合在一起，對于發展具有在同行沖突中競爭和獲勝所需的復原力、能力和殺傷力的未來空軍至關重要。
• 國防戰略家、政策制定者和作戰人員對自主性、人工智能及其目前的技術準備水平缺乏深入了解。這可能會滋生對采用這些關鍵技術的不信任和阻力。
• 需要一個框架來幫助美國國防界更好地了解不同的自主功能，然后定義和開發具有MUM-T行動所需的適當自主水平的系統。
• 需要一個由自主性的 "作戰人員觀點 "和 "工程師觀點 "組成的兩部分框架來指導該企業。"作戰人員觀點 "定義了無人機執行功能所需的不同自主水平，然后航空航天工程界--工程師觀--可以用來定義和開發必要的技術和系統。
• 這個框架將幫助空軍和國防部調整規模，加快下一代自主無人機隊友的開發和投入使用，以保持對美國戰略競爭對手的技術優勢。

摘要

在過去十年中，美國空軍發布的幾乎所有愿景、戰略和飛行計劃都將下一代無人駕駛飛機、自主性和人工智能作為確保在未來戰區獲得決定性戰斗優勢的關鍵技術。空軍目前正在開發新的作戰概念，將有人駕駛的戰斗機和轟炸機與自主無人駕駛飛行器（UAV）組成團隊--稱為有人-無人編隊（MUM-T）--以執行打擊、反空、電子戰和其他任務。鑒于作戰人員和工程師之間經常存在的脫節，開發這種能力具有挑戰性。

目前，作戰人員沒有充分理解無人機需要什么樣的自主權和多少自主權來實現預期行為。另一方面，工程師們往往不完全了解如何分解作戰人員的操作性能要求，以使他們能夠快速部署有效的系統。最重要的是，期望的作戰效果和實現這些效果的技術途徑之間的聯系并不明確。因此，與之相關的愿景、戰略、飛行計劃、作戰概念、計劃以及自主飛行器（ATA）的無數研究和開發工作都沒有以一種清晰和一致的方式結合起來。

一個代表作戰人員和工程師觀點的框架將為這兩個群體在創建自主系統時提供一個結構和共同理解。"作戰人員觀點 "代表了作戰人員如何在戰斗空間中組織思維任務，可以整合不同層次的自主性。然后，"工程師觀點 "可以利用這些任務來開發必要的具體算法、技術和系統，以提供滿足作戰人員需求和期望的自主團隊飛機。本文提出了一個框架，以幫助空軍作戰人員、戰略家和政策制定者更好地理解自主技術，并幫助指導企業走向未來人工智能賦能的美國行動。

圖1. 一個由兩部分組成的框架概述，以提高作戰人員對自主性的理解，并將他們的要求傳達給開發和采購部門。

一個擬議的無人駕駛飛機自主性框架

擬議的自主性框架中的 "作戰人員觀點 "有三個主要類別，每個類別又被細分為五個自主性級別。核心類、任務類和團隊類反映了飛行員的認知任務，旨在為作戰人員提供直觀的信息，幫助他們表達對自主系統應如何執行的要求。核心自主性類別包括飛行控制輸入和導航功能，這是飛機在沒有人類直接控制的情況下飛行所必需的。任務類包括完成與任務有關的任務所必需的功能，如管理傳感器操作、向目標釋放武器和執行其他戰術。協作類包括自主無人機與其他飛機（包括有人和無人）進行協作行動所必需的功能和特點。這三大類中的每一類又被細分為五個自主等級。第1級代表在執行任務時幾乎沒有自動化，第5級包括無人機完全自主執行的行動。

該框架的第二部分是工程師觀點。工程師視圖代表了作戰人員視圖的功能分解，將定義的類別和級別分解為功能、技術和數據。這種清晰的重點使工程師能夠將他們的開發工作與所需的車輛屬性和行為進行映射和優先排序。作戰人員關注的是宏觀層面的任務執行、操作行為和人類在行動中的作用，而工程師關注的是建立一個滿足作戰人員需求的自主系統所必需的基本功能、硬件、軟件和數據。換句話說，工程師觀點使航空航天工程師和技術專家能夠將作戰人員的要求解構為基礎技術和基本的自主要素。

這兩種觀點共同充當了作戰人員和工程師之間的連接組織和翻譯。值得注意的是，這個框架并不打算成為一個規范或標準。這類似于SAE的自動駕駛框架，它說該框架的預期目標是 "描述性和信息性，而不是規范性"。本著這一精神，擬議的雙視角自動駕駛框架的主要目的是使作戰人員和航空航天工程師能夠以結構化和一致的方式明確溝通和交流自主無人駕駛飛機的想法和要求。

圖6.作戰人員觀點：自主性類別和等級在作戰人員視圖中一起使用，形成一個描述無人駕駛飛機的操作行為和屬性的評分標準。

圖8. 工程師視圖從作戰人員視圖中獲取每個自主性類別所需的自主性水平，并提供一種結構化的方式，將自主性能力分解為必要的功能、技術和數據。在這個例子中，作戰人員視圖為核心飛行和導航類別分配了4級自主權，同時為任務分配了2級，為團隊分配了1級。

在過去的幾年里，人工智能（AI）系統的能力急劇增加，同時帶來了新的風險和潛在利益。在軍事方面，這些被討論為新一代 "自主"武器系統的助推器以及未來 "超戰爭 "的相關概念。特別是在德國，這些想法在社會和政治中面臨著有爭議的討論。由于人工智能在世界范圍內越來越多地應用于一些敏感領域，如國防領域，因此在這個問題上的國際禁令或具有法律約束力的文書是不現實的。

在決定具體政策之前，必須對這項技術的風險和好處有一個共同的理解，包括重申基本的道德和原則。致命力量的應用必須由人指揮和控制，因為只有人可以負責任。德國聯邦國防軍意識到需要應對這些發展，以便能夠履行其憲法規定的使命，即在未來的所有情況下保衛國家，并對抗采用這種系統的對手，按照其發展計劃行事。因此，迫切需要制定概念和具有法律約束力的法規，以便在獲得利益的同時控制風險。

本立場文件解釋了弗勞恩霍夫VVS對當前技術狀況的看法，探討了利益和風險，并提出了一個可解釋和可控制的人工智能的框架概念。確定并討論了實施所提出的概念所需的部分研究課題，概述了通往可信賴的人工智能和未來負責任地使用這些系統的途徑。遵循參考架構的概念和規定的實施是基于人工智能的武器系統可接受性的關鍵推動因素，是接受的前提條件。

人工智能（AI）領域的不斷進步以及在關鍵部門整合AI系統的工作正在逐步改變社會的各個方面，包括國防部門。盡管人工智能的進步為增強人類能力和改善各種決策提供了前所未有的機會，但它們也帶來了重大的法律、安全、安保和倫理問題。因此，為了確保人工智能系統的開發和使用是合法的、道德的、安全的、有保障的和負責任的，政府和政府間組織正在制定一系列規范性文書。這種方法被廣泛稱為 "負責任的人工智能"，或道德的或值得信賴的人工智能。目前，負責任的人工智能最引人注目的方法是開發和運作負責任或道德的人工智能原則。

聯合國裁研所的 "在國防中實現負責任的人工智能 "項目首先尋求對負責任的人工智能系統的研究、設計、開發、部署和使用的關鍵方面建立共同的理解。然后，它將審查負責任的人工智能在國防部門的運作情況，包括確定和促進良好做法的交流。該項目有三個主要目標。首先，它旨在鼓勵各國采用和實施能夠在開發和使用人工智能系統中實現負責任行為的工具。它還試圖幫助提高透明度，促進國家和其他關鍵人工智能行為者之間的信任。最后，該項目旨在建立對負責任的人工智能關鍵要素的共同理解，以及如何將其付諸實施，這可以為制定國際公認的治理框架提供參考。

本研究簡報概述了該項目的目標。它還概述了項目第一階段的研究方法和初步結果：制定共同的原則分類法和對各國采用的人工智能原則進行比較分析。

無人駕駛飛行器（UAV），即所謂的無人機的使用在過去十年中一直在迅速增長。今天，它們被用于，除其他外，監測任務和檢查人們難以進入的地方。為了有效和穩健地執行這些類型的任務，可以使用無人機群，即一組無人機在一起協調。然而，這對用于控制和導航的解決方案提出了新的要求。無人機群自主導航的兩個重要方面是編隊控制和避免碰撞。

為了管理這些問題，我們提出了四個不同的解決方案算法。其中兩個使用領導者-追隨者控制來保持隊形，使用人工勢場（APF）進行路徑規劃，使用控制障礙函數（CBF）/指數控制障礙函數（ECBF）來保證控制信號的安全性，即無人機保持理想的安全距離。另外兩個解決方案使用運動規劃問題的優化控制問題表述，以產生開環或閉環軌跡，并使用線性二次調節器（LQR）控制器進行軌跡跟蹤。軌跡在時間和隊形保持方面進行了優化。解決方案中使用了兩種不同的控制器。其中一個使用級聯PID控制，另一個使用級聯PID控制和LQR控制的組合。

作為測試我們解決方案的一種方式，我們創建了一個場景，可以顯示所提出的算法的效用。該場景由兩個無人機群組成，它們將在同一環境中執行不同的任務，其中無人機群將處于相互直接碰撞的狀態。實施的解決方案應保持理想的隊形，同時順利避免碰撞和僵局。測試是在真實的無人機上進行的，使用Bitcraze AB的開源飛行開發平臺Crazyflie 2.1。由此產生的軌跡在時間、路徑長度、編隊誤差、平穩性和安全性方面進行了評估。

獲得的結果表明，與使用APF+領導-追隨者+CBF/ECBF相比，從優化控制問題中生成的軌跡更出色。然而，最后提到的算法的一個主要優點是，決策是在每一個時間步驟中完成的，使這些解決方案對環境中的干擾和變化更加穩健。

完全依靠自主系統的技術在推動海底領域的環境研究方面發揮了重要作用。無人潛水器（UUV），如美海軍研究生院的UUV研究平臺，在推進用于研究目的的自主系統的技術水平方面發揮了作用。使用自主系統進行研究正變得越來越流行，因為自主系統可以將人類從重復性的任務中解脫出來，并減少受傷的風險。此外，UUVs可以以相對較低的成本大量制造。此外，由于計算和電池技術的進步，UUVs可以在沒有人類干預的情況下承擔更多的擴展任務。

UUV的重要部分之一是控制系統。UUV控制系統的配置可能會根據車輛的有效載荷或環境因素（如鹽度）而改變。控制系統負責實現和保持在目標路徑上的穩定飛行。PID控制器在UUV上被廣泛實施，盡管其使用伴隨著調整控制器的巨大成本。由于兩個主要問題，陡峭的成本并不能提供穩健或智能解決方案的好處。

第一個問題是，PID控制器依賴于復雜的動態系統模型來控制UUV。動態系統模型有簡化的假設，使控制問題得到有效解決。當假設不成立時，PID控制器可以提供次優的控制，甚至會出現完全失去控制的情況。第二個問題是，PID控制器并不智能，不能自主學習。PID控制器需要多名工程師和其他人員花數天時間收集和分析數據來調整控制器。調整PID控制器是一項手動任務，會帶來人為錯誤的機會。

在使用深度強化學習方法進行自主車輛控制系統方面，有很多正在進行的研究，并且已經顯示出有希望的結果[1,2]。深度強化學習控制器已被證明優于執行路徑跟蹤任務的UUV的PID控制器[3]。此外，與PID控制器相比，基于深度強化學習的控制器已被證明能夠為無人駕駛飛行器（UAVs）提供卓越的姿態控制[4-5]。雖然這個例子不是專門針對UUV的，但這個來自空中領域的概念可以轉化到海底領域。

一些最流行的深度強化學習算法被用于自主車輛控制系統的開發，包括近似策略優化（PPO）[6]和深度確定策略梯度（DDPG）[7]算法。本研究將重點關注DDPG算法。DDPG算法是一種角色批判型的深度強化學習算法。Actor-Critic算法同時學習策略和價值函數。Actor-Critic算法的概念是：策略函數（演員）根據當前狀態決定系統的行動，而價值函數（批評家）則對行動進行批評。在深度強化學習中，政策和價值函數是由DNNs近似的，在本研究中具體是多層感知器（MLPs）。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

在利用降低精度來提高強化學習的計算效率方面，目前的研究很有限。[11]的作者展示了如何使用量化技術來提高深度強化學習的系統性能。文獻[12]的作者展示了一種具有6種方法的策略，以提高軟行為批評者（SAC）算法低精度訓練的數值穩定性。雖然正在進行的研究集中在基準強化學習問題上，但這一概念在科學應用上相對來說還沒有被開發出來，比如使用深度強化學習代理對UUV進行連續控制。

本研究將證明在混合精度和損失比例的情況下，訓練DDPG代理對UUV的連續控制不會影響控制系統的性能，同時在兩個方面使解決方案的計算效率更高。首先，我們將比較用固定和混合數值精度訓練的DDPG代理的性能與1自由度速度控制問題的PID控制器的性能。我們將研究用固定和混合精度訓練DDPG代理的訓練步驟時間。其次，本研究將研究DNN大小和批量大小的閾值，在此閾值下，用混合精度訓練DDPG代理的好處超過了計算成本。

本文的其余部分結構如下。問題表述部分將提供關于DDPG算法、NPSUUV動力學、PID控制和混合數值精度的簡要背景。實驗分析部分將描述本研究中運行的數值實驗的設置和結果。最后，在結論和未來工作部分將描述整體工作和未來計劃的工作。

為了面對軍事防御的挑戰，軍隊及其戰術工具的現代化是一個持續的過程。在不久的將來，各種任務將由軍事機器人執行，以實現100%的影響和0%的生命風險。國防機器人工程師和公司有興趣將各種戰略自動化，以獲得更高的效率和更大的影響，因為陸地防御機器人的需求正在穩步增長。在這項研究中，軍事防御系統中使用的陸地機器人是重點，并介紹了各種類型的陸地機器人，重點是技術規格、控制策略、戰斗參與和使用目的。本研究還介紹了陸地機器人技術在世界軍事力量中的最新整合，其必要性，以及各國際防務公司對世界經濟的貢獻，表明其在軍事自動化和經濟穩定中的優勢。本報告還討論了近期發展的局限性和挑戰、機器人倫理和道德影響，以及與機器人安全有關的一些重要觀點和克服近期挑戰的一些建議，以促進未來的發展。

引言

為了加強軍事防御系統，必須大力發展和提高智能自主戰略能力。在大多數第一世界國家，研究國防技術改進是實現軍事防御現代化的優先事項。未來戰爭的特點可以根據不同領域的沖突進行分析，如：海洋、陸地、空中、網絡、太空、電磁和信息。隨著現代智能和機器人技術的改進，跨域（X域）和多域戰略也需要被關注。無人自主X域（多域）系統，簡稱UAxS，現在是研究和發展的重點，以使軍事力量更加強大、有力和智能。圖1展示了多域和X域的戰爭模式。

圖 1：多域和 X 域戰爭模型

現代防御機制可以在四個相互關聯的領域進行研究：先進的戰艦、良好的通信、人工智能和自主武器。這基本上意味著在軍事防御系統中實施機器人技術。在戰場上，一支裝備精良的機械化部隊是指揮官非常重要的資產。在戰爭中，指揮官必須專注于火力、機動性、人機合作、決策、支持裝甲和指揮步兵。在未來，機器人和自動化系統將通過提供支持和減少負擔來幫助解決這些問題，因為這些系統將更加智能、可靠和合作。在最近的軍事活動中，機器人和自主技術被用于偵察、設備供應、監視、掃雷、災難恢復、受傷士兵的檢索等（Dufourda, & Dalgalarrondo, 2006；Akhtaruzzaman, et al., 2020）。

為了確保可靠的使用和獲得最高的技術影響，機器人必須在半自動化、自動化和人機交互工程方面進行良好的設計。無人地面車輛（UGV）很有前途，在國防應用中具有很大的潛力，在這些應用中高度需要更快和可靠的通信鏈接（鏈接預算）和快速獲取信息（RAtI）（Akhtaruzzaman, et al., 2020）。機器人的價值比人的生命還要低。機器人在感知、檢測、測量和分析方面速度更快。機器人沒有任何激情或情感，不會像人類那樣感到疲勞或疲倦，而是在極端和關鍵條件下保持運作。在不久的將來，機器人將成為作戰計劃和參與的核心技術（Abiodun, & Taofeek, 2020）。它們將能夠通過智能傳感器技術與環境溝通，通過建模理解環境，理解人類的行動，定義威脅，服從命令，以更高的處理能力獲取信息，通過信息交換和共享與其他機器人互動，通過先進的控制技術自主適應敵對環境，并通過強大的計算能力與自動生成的程序應用智能進行自我學習（Akhtaruzzaman, & Shafie, 2010a, 2010b; Karabegovi?, & Karabegovi?, 2019）。

在不久的將來，UGV系統將成為軍事行動的關鍵技術，因為它們將確保幾乎零人力風險，不需要將人力直接安置到戰斗中。UGV系統還將能夠開放各種設施，如負載、自動監視、邊境巡邏、風險降低、障礙物清除、力量倍增器、遠程操縱、信號中繼等（Sathiyanarayanan等人，2014）。陸地防衛機器人必須能夠適應各種崎嶇的地形、惡劣的環境和非結構化的區域，同時發揮指定的作用并保持指揮層次。作為軍事部隊的一種程度，陸地機器人不能給團隊帶來任何額外的工作負擔。因此，必須實施有效的人工智能（AI）工程，以實現UGV或陸地機器人與行動部隊之間可靠的人機合作。

今天的智能機器人或自主武器仍然處于狹義人工智能（ANI）的水平（Horowitz，2019年），或者以某種方式處于ANI和通用人工智能（AGI）之間。這反映出它們還沒有準備好在災難或戰爭等敵對情況下完全自主并做出可靠的決定。人類擁有在很大程度上應用感知經驗的智慧，能夠適應環境，并能在關鍵情況下做出適當的決定。如果這些能力能夠被植入機器人的大腦，該系統就可以說是AGI系統。盡管與人類相比，機器人可以抵御枯燥、骯臟和危險的工作，但它們包括一些有限的功能，如航點或目標導向的導航、障礙物檢測、障礙物規避、威脅檢測、人類檢測和識別、定位、地圖構建、通過圖像和聲音處理提取信息，以及與其他機器人的某種合作。因此，如果能確保機器人和人類之間的良好合作，機器人將在人類的監督下自主工作，那么軍用地面機器人將是最有效的。

本研究對軍用陸地機器人系統、最近的技術進步、應用和道德影響進行了回顧。一些發達國家和不發達國家的現狀，以及通過推進和發展軍事武器、自動化武器和智能技術對世界經濟的工業影響，都反映在審查研究中。本文還闡述了參與戰爭的機器人倫理以及該技術對道德國家的影響。該研究主要試圖通過確定最近的差距、局限性和技術進步的倫理影響，來確定地面機器人技術的最新應用和實施情況。

空中力量已經從一個世紀的技術創新和進步中受益。新技術的出現繼續挑戰著空中力量中經常持有的常識。無人機系統（UAS）就是這樣一種不斷發展的空中力量技術。這項技術為澳大利亞國防軍（ADF）帶來了巨大的機遇。雖然澳大利亞國防軍在特定的角色上取得了一些無人機系統的進展，但澳大利亞皇家空軍（RAAF）還沒有在其所有的空中力量貢獻中采用這種技術來達到軍事效果。

《空中力量手冊》（空天力量中心[ASPC]，2022年）定義了七種空中力量的貢獻：力量生成、空軍基地行動、空中指揮和控制、反空、空中機動、空中情報和ISR（情報、監視和偵察）以及空中打擊。一些先進的盟國已經在空中情報、ISR和空中打擊方面采用了發達的無人系統。這些系統包括美國空軍（USAF）的MQ-1捕食者、MQ-9死神和RQ-4全球鷹。甚至反空--載人空戰--也在發展無人系統的路上；RAAF與波音公司合作開展了 "忠誠的翼人 "項目（戴維斯，2019c），現在正式命名為MQ-28A幽靈蝙蝠（達頓，2022）。

但空中機動性如何？ADF還沒有接受關于未來ADF空中機動性自主性的真正對話。未來自主空中機動性思維停滯不前的一個更可能的原因是，在（到目前為止）有效的空運理論的支持下，載人系統幾十年來取得了高度可靠和經證實的作戰成功。因此，這里有一個克勞塞維茨式的平行關系：戰爭性質的一個持久因素是對機動性的需要，但今天皇家空軍所面臨的是戰爭性質的一個階梯式變化，一個對機動性來說過于重要的技術機會，不容忽視。

本文確定了在澳大利亞國防軍空中機動中采用無人機系統的滯后性，并探討了澳大利亞國防軍在未來使用無人機系統的機會。通過這樣做，本文旨在提高對ADF無人駕駛空中機動性潛力的集體認識，并為ADF部隊結構企業的軍事和商業貢獻者提供一個廣泛的參考來源。本文首先研究了無人機系統適應的驅動因素，或指標。這些驅動因素包括澳大利亞的戰略利益、區域軍事現代化、安全和生存能力、降低成本和技術可用性。然后，本文介紹并分析了三種核心空中機動性活動中每一種的無人機系統發展的具體機會和例子。為此，本文簡要討論了澳大利亞國防軍目前的機隊，然后探討了一些不斷發展的無人駕駛空中機動性技術和概念，澳大利亞國防軍可能會考慮在下一代空中機動性機隊中使用。最后，本文提出了無人機系統空中機動性發展可能面臨的一些挑戰，以幫助未來的研究和探索。

證據表明，需要一個靈活的、跨服務（和跨文化）、跨行業的方法來設計、開發和使用未來的空中機動部隊。傳統的澳大利亞皇家空軍中重載平臺和陸軍輕中載平臺的分叉模式可能會讓位于大型和小型載人和自主系統的混合艦隊。聯合部隊設計者之間的集體方法--跨單一軍種總部的真正合作--對于皇家空軍的固定翼空中機動團體和陸軍的旋轉翼團體之間的合作至關重要。也許更重要的是，在這個領域需要與工業界合作。商業行業在自主車輛領域發揮著相當大的作用，政府和私人研究和開發組織也是如此。現有的和新的伙伴關系的跨服役杠桿對于利用未來自主的ADF空中機動性的機會是至關重要的。

無人機系統（UAS）在美國軍事行動中越來越突出。作為其現代化戰略的一部分，美國防部（DOD）目前正在開發先進的無人機，以及可選的載人飛機。在過去幾十年中，軍隊使用無人機執行各種任務，包括：

• 情報、監視和偵察；
• 近距離空中支援；
• 物資補給；
• 通信中繼。

分析人士和美國防部認為，無人機可以在許多任務中取代載人飛機，包括

• 空中加油；
• 空戰；
• 戰略轟炸；
• 作戰管理和指揮控制（BMC2）；
• 壓制和摧毀敵人的防空系統；
• 電子戰（EW）。

此外，美國防部正在開發一些實驗概念，如飛機系統體系、群集和致命自主武器，以探索使用未來幾代無人機的新方法。在評估潛在新的和未來無人機項目、任務和概念的撥款和授權時，國會可能會考慮以下問題：

• 能夠作為致命自主武器的無人機的擴散及其對全球軍備控制的影響；
• 與載人飛機相比，未來無人機的成本；
• 無人機對人員和技能的影響；
• 作戰和作業概念；
• 無人機技術的普及。