亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

為軍事規劃行動方案（COA）的制定和分析制定備選方案的過程依賴于人類的學科專業知識。分析行動方案需要審查多個因素，了解與行動、反應、擬議反作用力和多種合理結果相關的復雜互動和依賴關系。在 2021 財政年度，美軍系統工程研究所研究團隊完成了一項工作，建立了一個兵棋推演海上框架，該框架能夠在海上場景中利用深度強化學習（DRL）技術訓練人工智能（AI）體，讓人工智能體在游戲中與藍方體進行可信的競爭。然而，使用 DRL 進行智能體訓練的局限性在于人工智能體如何做出決策的透明度。如果領導者要依靠智能體來制定或分析作戰行動，他們就會希望了解這些決策。為了加深理解，研究人員與利益相關者一起確定了可視化要求，并開發了初步原型供利益相關者反饋，以幫助加深對人工智能生成的決策和建議的理解。本報告介紹了為支持任務規劃人員和智能體培訓人員的使用案例而開發的可視化原型。原型包括訓練結果圖表、智能體路徑熱圖可視化、權重矩陣可視化和燒蝕測試圖。

圖 1. AI智能體可視化集成方法。

本報告的其余部分遵循以下大綱。本報告第 2 節簡要概述了與軍事條令相關的兵棋推演以及智能體在 COA 開發和分析中的潛在作用。第 3 節概述了由此產生的可視化原型和消融測試結果。報告的最后是總結和展望。

本文介紹了在戰場數字孿生框架內使用貝葉斯優化（BO）、遺傳算法（GA）和強化學習（RL）等先進技術優化軍事行動的綜合方法。研究重點關注三個關鍵領域：防御作戰中的部隊部署、火力支援規劃和下屬單位的任務規劃。在部隊部署方面，BO 用于根據戰場指標優化營的部署，其中湯普森采樣獲取函數和周期核取得了優異的結果。在火力支援規劃中，采用了 GA 來最小化威脅水平和射擊時間，解決了資源有限條件下的資源受限項目調度問題（RCPSP）。最后，為任務規劃開發了一個 RL 模型，該模型結合了多智能體強化學習 (MARL)、圖注意網絡 (GAT) 和層次強化學習 (HRL)。通過模擬戰場場景，RL 模型展示了其生成戰術演習的有效性。這種方法使軍事決策者能夠在復雜環境中提高行動的適應性和效率。研究結果強調了這些優化技術在支持軍事指揮和控制系統實現戰術優勢方面的潛力。

基于戰場數字孿生的 COA 生成概念

戰場數字孿生是一個數字復制品，代表了真實戰場環境的組成部分和行為特征。它可以通過接收來自實際戰場的實時或接近實時的戰場、敵方和友軍單位信息，并將其動態反映到數字孿生中，從而對數字孿生模型進行評估和調整。換句話說，模型可以根據真實世界的數據不斷更新，以實現更具適應性的分析。這一概念與深綠的自適應執行相一致，后者也依賴于動態更新的信息。通過這種方式，可以向真實戰場系統提供改進的決策反饋，幫助用戶根據數字孿生模型做出更好的決策，而數字孿生模型是根據實際作戰數據更新的。

本節提出了 “基于戰場數字孿生的作戰行動選擇生成與分析 ”概念，通過各種技術方法，利用戰場數字孿生生成作戰行動選擇。然后對這些選項進行評估、效果比較，并推薦最合適的 COA 選項。基于戰場數字孿生的作戰行動選擇生成和分析的基本概念是，利用戰場數字孿生的預測模擬生成作戰行動選擇，同時考慮若干戰術因素（METT+TC：任務、敵人、地形和天氣、可用部隊和支持、可用時間和民用因素）。然后，可在數字孿生環境中對生成的作戰行動方案進行快速評估。圖 2 展示了這一流程的概念圖。生成和分析 COA 的四個關鍵輸入--威脅分析、相對戰斗力分析結果、戰場信息以及指揮官和參謀部的指導--假定來自其他分析軟件模塊和用戶輸入，從而完成智能決策支持系統。有關鏈接分析軟件模塊的更多信息，請參閱 Shim 等人（2023，2024）。

圖 2：基于戰場數字孿生系統的 COA 生成和分析概念。

可以按照圖 1 中概述的戰術規劃流程生成并詳細說明 COA 選項。然而，如前所述，規劃過程中的許多任務都需要人工干預，而人工智能技術的應用仍然有限。因此，我們將重點放在 COA 生成階段，在研究適用技術的同時，找出可以實現自動化和智能化的方面。本研究介紹了在 COA 生成過程中可實現自動化和智能化的三個概念：確定友軍部隊部署、規劃間接火力支援和規劃部隊戰術任務。友軍部隊部署是指部隊到達戰場后如何安排和使用，而部隊部署則是指如何將部隊轉移到指定的大致位置。我們將貝葉斯優化方法應用于友軍部署優化問題，作為 COA 方案生成的一部分。隨著人工智能技術的快速發展，許多研究都探索了基于最先進機器學習算法的全局優化方法。其中，使用高斯過程的貝葉斯優化法作為一種針對實驗成本較高的黑盒函數的全局優化方法受到了廣泛關注（Brochu，2010 年）。對于炮兵作戰，我們將火力支援調度問題歸結為一個項目調度問題，該問題力求在遵守資源限制的同時，最大限度地減少敵方總威脅和發射時間。將項目調度與資源管理相結合的任務被稱為資源約束項目調度問題（RCPSP）。最后，我們利用強化學習（RL）技術為下屬單位規劃戰術任務，以找到最優行動策略。強化學習已經證明，它是在動態和不確定環境中解決復雜決策問題的有效框架。特別是，我們利用多智能體強化學習（MARL）、分層強化學習（HRL）和圖注意網絡（GAT）的原理，為多個單位有效地學習任務及其相應參數，同時從每個智能體的角度考慮其重要性。

在使用所提出的方法生成一系列作戰行動（COA）選項后，將在戰場數字孿生系統中對這些選項進行模擬評估。然后對模擬結果進行評估，以推薦最合適的 COA 選項。在下一章中，將詳細解釋用于實現所建議的 COA 生成概念的技術方法，并提供全面的實驗評估結果，以突出所建議方法的有效性。

圖 8：強化學習的擬議架構。

在這個前所未有的技術驅動轉型時代，比以往任何時候都更需要積極投資開發強大的人工智能（AI），用于兵棋推演以支持決策。通過推進人工智能系統并將其與人類判斷力相結合，將能夠增強全域感知，提高決策周期的速度和質量，為新的行動方案提供建議，并更迅速地反擊對手的行動。因此，必須加快人工智能的發展，以幫助更好地應對目前需要人類智慧才能應對的現代挑戰和困境的復雜性，并在可能的情況下嘗試超越人類智慧--不是取代人類，而是以機器的速度增強人類決策并為其提供更好的信息。盡管深度強化學習在智能體行為開發方面不斷取得令人鼓舞的成果，可用于戰斗建模和模擬中常見的長視距復雜任務，但仍需進一步研究，才能使人工智能的規模擴大到能夠處理兵棋推演中錯綜復雜的廣闊狀態空間，從而進行概念開發、教育或分析。為了幫助應對這一挑戰，在研究中，正在開發和實施一個分層強化學習框架，其中包括多模型方法和維度不變觀測抽象。

利用人工智能進行兵棋推演

鑒于這些令人擔憂的活動以及最近在人工智能變革能力方面取得的突破，顯然必須開始更認真地投資于專門用于兵棋推演的人工智能開發。美國國家人工智能安全委員會（NSCAI）[27]詳細闡述了兩個信念：（1）"計算機系統解決問題和完成原本需要人類智慧才能完成的任務--在某些情況下甚至超過人類的表現--的能力迅速提高，正在改變世界"；（2）"人工智能正在擴大美國已經進入的脆弱窗口"。因此，有鑒于此，NSCAI得出結論："美國必須立即行動起來，將人工智能系統投入實戰，并在人工智能創新方面投入更多的大量資源，以保護美國的安全，促進繁榮，保障民主的未來"[27]。NSCAI [27] 認為，通過推進人工智能系統并將其與人類判斷力相結合，將能夠增強全域意識，提高決策周期的速度和質量，為不同的作戰行動提供建議，并更迅速地反擊對手的行動。

盡管美國在大多數領域都享有軍事優勢，但機器學習（ML）的擴散已開始為競爭對手和其他國家行為者提供無數的破壞機會[28]。因此，現在比以往任何時候都更有必要積極開展研究和實驗，以便對人工智能的優缺點以及如何將其用于規劃和兵棋推演有一個扎實的了解，只有這樣，國防部才能更好地做好準備，以應對戰略突襲和破壞[28]。例如，如今的作戰行動分析主要側重于評估友軍的計劃，而很少強調對手可能會如何根據自身的目標和能力做出反應[26]。盡管不遺余力地試圖了解對手的想法以及他們在沖突中會如何行動，但總是會受到自己想象力的限制。托馬斯-謝林（Thomas Schelling）在他的 "不可能定理"（Impossibility Theorem）中說得最好： "一個人，無論他的分析多么嚴謹，想象力多么豐富，都不可能做的一件事，就是列出一個他不會想到的事情清單"[29]。人工智能支持的兵棋推演甚至有可能克服這一限制，創造出有自己目標的智能體，而這些智能體并不一定受限于思維和計劃方式，因為思維和計劃方式通常是通過幾十年的經驗根深蒂固的。此外，僅從數據中學習新的行為，人工智能就能自動執行原本需要人類智慧才能完成的任務[30]。

雖然在機器學習領域已經開展了大量研究，但兵棋推演和軍事規劃與迄今為止使用人工智能解決的傳統問題--如圖像分類和自然語言處理--有很大不同。任務分析和規劃通常需要人類的直覺和啟發式方法來限制搜索問題的規模 [28]。雖然啟發式方法確實能更容易地找到可接受的解決方案，但這些解決方案的可擴展性或可靠性通常不足以評估可能出現的大量突發情況 [28]。此外，直覺也可能在非常復雜的問題中失效，例如那些涉及到有許多不同參與者的高維空間以及復雜的武器和傳感器交互的問題[28]。不幸的是，這些復雜性正是可能決定未來戰爭的特征[26], [28]。

幸運的是，迄今為止，競技游戲已成為學習如何實施人工智能以支持兵棋推演的良好試驗平臺。早期的成功包括掌握跳棋[32]、五子棋[33]、國際象棋[34]和圍棋[35]。人工智能方法在視頻游戲中也取得了成功，如 Atari 游戲 [36]、超級馬里奧兄弟 [37]、Quake III [38]、Dota 2 [39]、星際爭霸 II [40] 和無上限德州撲克 [41]。然而，競技游戲通常都有一套固定的規則、確定的參數和基于已知變量的可預測結果。雖然這些游戲能為戰略、決策和風險評估提供有價值的見解，但真實世界中的兵棋推演場景往往更加復雜--可能的初始游戲狀態更多，分支系數更大，因此結果更加難以預測。因此，如何將人工智能從這些游戲中獲得的成功轉化為真正的軍事行動是一項挑戰。不過，從這些游戲中獲得的人工智能學習和適應能力方面的進步，為人工智能在作戰模擬中更細致的應用奠定了堅實的基礎。

利用 "半人馬 "概念進行兵棋推演

正如 CeTAS 報告[31]所詳述的那樣，可以采用大量不同的方法來利用人工智能支持兵棋推演；不過，在本文剩余部分的范圍內，將討論人工智能與兵棋推演的關系，即創建能夠在戰斗建模和模擬所特有的龐大而復雜的狀態空間中做出理性決策的智能體。

然而，要證明人工智能能夠贏得游戲或取得超人的表現，只是證明人工智能確實能為兵棋推演者、作戰規劃者和戰場指揮官提供有用見解的第一步[42]。盡管如此，設想這些智能體將成為創建現代決策輔助工具的基礎，與更傳統的工具相比，這些工具能為決策者提供更高的準確性、速度和靈活性[28]--有可能加快決策過程并提供關鍵的洞察力。隨著進一步深入多域作戰[26]，在面對人工智能對手時，忽視這一步會帶來巨大風險。

雖然人機協作的概念最初是由 Licklider 在 1960 年提出的[43]，但前國際象棋世界冠軍加里-卡斯帕羅夫（Gary Kasparov）在 1997 年輸給 IBM 的 "深藍"（Deep Blue）[44]多年后，首次提出了 "半人馬國際象棋"（Centaur Chess）的概念。盡管被人工智能擊敗，卡斯帕羅夫并沒有將人工智能視為一種威脅，而是鼓勵將人工智能視為一種工具，當它與人類的能力相結合時，可以帶來前所未有的成就[44]。卡斯帕羅夫在他的著作《深度思考》（Deep Thinking： 機器智能的終點和人類創造力的起點[44]》一書中，卡斯帕羅夫強調了利用人類和機器互補優勢的必要性。計算機擅長暴力計算，每秒能分析數百萬個局面，同時輕松計算出最佳的近期戰術行動。另一方面，人類對戰略、創造力和考慮特定棋步長期影響的能力有更深刻的理解，而這一切主要靠直覺[44]。卡斯帕羅夫認為，人類的直覺和機器的計算結合在一起，往往能比頂尖特級大師或計算機單獨發揮出更強的棋力。卡斯帕羅夫指出，在許多情況下，即使是排名相對較低的棋手與計算機配對也能勝過頂級特級大師。

有趣的是，卡斯帕羅夫還指出，隨著計算機國際象棋程序變得越來越強大，人類棋手在這種半人馬合作關系中的角色也發生了變化。最初，人類專注于戰略，而計算機則專注于戰術，但隨著國際象棋人工智能的改進，人類越來越多地開始扮演 "質量控制 "的角色，確保計算機推薦的棋步與人類更廣泛的戰略目標相一致[44]。事實上，卡斯帕羅夫經常說，國際象棋的未來可能不是人類與機器的對決，而是人類與機器配對，使用何種界面，能下出最好的棋。這種合作融合了機器的計算能力和人類提供背景、理解和直覺的能力--這種協同作用所產生的棋藝水平超過了任何一方單獨發揮所能達到的水平。

為兵棋推演開發人工智能

雖然有許多不同的人工智能技術和方法可以應用于兵棋推演，如監督學習、無監督學習、遺傳算法、自然語言處理、決策樹、專家系統、博弈論、對抗網絡等，但本文主要關注的是推進強化學習（RL）領域的需求，以支持為兵棋推演開發智能體行為。

說到機器學習，主要有三種類型：監督學習、無監督學習和強化學習。監督學習依賴于標注數據，每一組輸入都有相應的預期輸出。它類似于范例學習，最適合圖像分類、回歸和語音識別等任務。相反，無監督學習不依賴于標記數據。相反，它能發現數據中的模式或結構，比如對數據點進行分組或聚類，最適合異常檢測、降維和數據分割。值得注意的是，還有其他類型的機器學習，如遷移學習、主動學習、自我監督學習等；不過，這些通常是上述兩類學習的擴展或組合。

美空軍作戰能源部（SAF/IEN）與海軍研究生院開設的 "黑客國防"（H4D）合作，正在尋求應對與燃料物流競爭相關的挑戰。空軍目前的兵棋推演能力需要更加靈活，以便進行必要規模的測試，了解燃料供應鏈中斷的影響。為了探索這種影響，使用現成的商業軟件將需要對學生和教員進行培訓和教育，以確定替代行動方案，減輕燃料物流下降的影響，同時提高 "每加侖殺傷力"。該項目將繼續 MN3307 "企業創新設計 "項目的工作。該項目的目的是模擬從國防區石油管理局 (PADD) 3 到國防區石油管理局 1 的殖民地管道和種植園管道，以及從國防區石油管理局 2 到國防區石油管理局 1 的樹葉管道發生燃料供應中斷時的影響。利用 Resilinc 軟件平臺，可以實時、真實地反映從原產地到多個中間點，再到 PADD 1 中選定的空軍基地的燃料流動所受到的外部影響。

通過整合人工智能輔助指揮系統和無人技術，未來戰爭正在經歷變革，這將對作戰行動和軍事決策周期所需的速度產生重大影響。未來的決策支持系統將協助軍事決策者評估威脅，為部隊制定最佳行動方案，甚至通過自主系統的協作群行為執行行動。要實現這些系統，建模與仿真以及先進的深度強化學習（RL）技術的結合將發揮至關重要的作用。

本文介紹了德國陸軍概念與能力發展中心和空中客車公司開展的幾項研究的結果。這些研究評估了模擬和人工智能技術的調整和利用情況，利用 RL 優化模擬 "ReLeGSim "訓練了一個能夠在陸軍作戰中充當營級指揮員或在 ISR 任務中控制無人機群的AI智能體。AI智能體利用語言模型生成自然語言命令，在 ReLeGSim 中執行行動，加強了人類顧問與人工智能系統之間的交流，同時將目標和條令納入人工智能推理過程。通過軍事條令感知反饋功能，智能體在每個訓練周期內評估并改進其行為。

訓練完成后，AI智能體可應用于真實世界的場景，根據所學的AI智能體策略為營長制定行動方案，或直接在自主系統中執行，以控制無人機蜂群。這項研究為使智能體具備在未來行動中維護軍事條令和規則的能力奠定了基礎。

1.0 引言

近年來，人工智能（AI）取得了長足的進步，而強化學習（RL）則是其中一個突出的范例。強化學習因其在 Dota2 和《星際爭霸》等復雜游戲場景中實現卓越性能，甚至超越人類能力的能力而備受關注。它已成為機器學習領域用于解決復雜任務的最先進的人工智能技術。

當前軍事研究的主要目標是將最初為游戲應用而設計的 RL 技術移植到軍事行動領域。其總體目標是為軍事行動開發基于人工智能的系統，使其在許多使用案例中都能表現出超人水平的性能，例如[16]：

• 戰場決策： 通過使用模擬環境，RL 可用于訓練智能體在復雜的軍事場景中做出決策[1]。人工智能做出的決策可用作向指揮官提出的建議，例如，有效的行動方案。

• 自主系統： RL 可用于訓練智能體在模擬環境中控制軍用車輛（如無人機、坦克）[2]。智能體可以學會在環境中導航車輛并執行各種任務（如偵察、目標捕獲）。經過訓練的智能體可以轉移到真實車輛上，而無需重新訓練人工智能。

• 規劃與優化： 例如，RL 可用于優化軍事模擬中的后勤規劃[3]。智能體可以學習將資源（如部隊、補給）分配到戰場的不同區域，以實現任務目標，同時將損失降到最低。

• 網絡安全： 在軍事模擬中，RL 可用于訓練智能體檢測和應對網絡攻擊 [4]。智能體可以學會識別和減輕對軍事網絡和系統的威脅。

• 培訓與評估： RL 可用于在模擬中培訓和評估軍事人員 [5]。智能體可以模擬不同的場景，并對受訓人員采取的行動提供反饋。

應用于 RL 的技術在不斷變化和改進。變壓器模型[6]等新架構和 SiLU [7]等新激活函數正在進一步改善用 RL 訓練的人工智能體的架構和整體性能。轉換器模型允許使用新的架構，如視覺轉換器（VisionTransformers）[8]，也是所有最新大型語言模型的基礎，如 OpenAI [9] 的 GPT（生成預訓練轉換器）。

在這些發展的推動下，本文研究了如何使用新的語言模型架構來解決軍事行動所需的巨大行動空間問題，并提高智能體的整體性能。

2.0 相關工作

在 RL 中，復雜的決策能力往往伴隨著巨大的行動空間，而緩解行動空間爆炸是一個活躍的研究領域。論文 "不斷增長的行動空間"[10] 強調，隨機探索對于大型空間來說不夠好，課程學習對于學習這些行動空間至關重要。最近的發展使用了以自然語言為特征的動作空間，并成功地利用了其復雜動作生成的靈活性[11]。

自然語言處理領域的最新進展激發了開發人員拓展使用自然語言的可能性。語言模型通常用于問題解答和對話。不過，這些模型也可以通過 RL 訓練與環境互動。在他們的論文 "學習用語言模擬世界"[12]中，介紹了構建智能體的概念，這些智能體可以理解并以多種方式使用不同的語言，包括傳達常識、描述世界狀態和提供反饋。其核心思想是，語言可以幫助智能體預測未來，包括將觀察到什么、世界將如何表現以及哪些行為將得到獎勵。作者介紹的 "Dynalang "是一種學習多模態世界模型的智能體，它能預測未來的文本和圖像表征，并根據模擬模型的推出做出決策。與傳統智能體不同，Dynalang 不僅使用語言進行行動預測，還使用語言預測未來的語言、視頻和獎勵，從而獲得豐富的語言理解能力。此外，Dynalang 還可以在沒有動作或獎勵的語言和視頻數據集上進行預訓練，它能有效地利用語言來提高從網格世界到逼真家庭掃描等各種環境中的任務性能。

RL 的另一個重要方面在于獎勵系統的適應性，即為智能體提供激勵措施以鼓勵所期望行為的概念。獎勵塑造是一種用于系統修改這些獎勵結構的技術。在實踐中，這涉及對獎勵進行微調，以引導智能體實現特定目標。舉例來說，在迷宮導航的背景下，人工智能體可以在探索之前未知區域時獲得遞增獎勵，從而刺激全面探索。另一種策略是元學習或多任務學習，它使人工智能系統能夠同時監督多個可能不同的目標。這種方法類似于同時掌握幾項任務，通過在這些任務之間共享所獲得的知識和技能來實現。然而，在人工智能中動態改變獎勵功能的過程伴隨著內在的挑戰。

如果目標的轉變過于突然，人工智能系統可能難以適應，需要進行資源密集型的再訓練。頻繁改變目標可能會給人工智能帶來困惑。總之，在人工智能中動態調節獎勵機制的做法體現了一種強有力的工具，盡管這種工具需要謹慎管理。首要目標是在人工智能的學習過程中實現適應性和穩定性之間的平衡，確保在適應不斷變化的目標和保持有效的學習動力之間達到和諧的平衡。

最近發表的論文“Designing Rewards for Fast Learning”[13] 探討了獎勵函數設計對 RL 智能體學習速度的影響。它強調了選擇基于狀態的獎勵的重要性，這種獎勵能最大化行動差距，使智能體更容易區分最優行動和次優行動。論文還引入了最小化一種稱為 "主觀折扣 "的度量的概念，以鼓勵智能體在減少前瞻性的情況下做出最優決策。為了解決獎勵設計問題，本文提出了一種線性編程算法。在表格環境中使用 Q-Learning 的實驗結果表明，生成的獎勵能加快學習速度。該研究確定了獎勵設計的三個關鍵原則：1）與獎勵目標相比，懲罰每一步有助于加快學習速度。2) 沿目標軌跡獎勵子目標時，獎勵應隨著目標的接近而逐漸增加。3) 只有經過精心設計，在每個狀態下都不為零的密集獎勵才是有益的。

3.0 Relegs--復雜作戰環境下的強化學習

3.1 模擬環境 "ReLeGSim"

ReLeGSim（強化學習通用人工智能訓練模擬，如圖 1 所示）是一個類似棋盤的模擬環境，用于強化學習，以開發棋手在游戲中的自我優化策略。任意棋手都要通過一系列棋步達到目標，并且可以相互影響。ReLeGSim 可用于模擬各種民用和軍用場景，如 ISR 任務或大營地面作戰場景。ReLeGSim 允許為類似國際象棋游戲的環境定義角色，賦予它們相應的屬性和可能的行動。為此，可以使用 Python 編程語言，通過適當的特定應用仿真模型（如傳感器）對仿真進行擴展。

在 ReLeGs1 研究范圍內，ReLeGSim 被配置為 2 個營的對抗模型，其中每個營的指揮官都必須指揮其指定的連隊和支援單元。它允許玩家（無論是人類還是智能體）在攻擊或防御的戰術場景中生成營的命令。該模擬由論文[1]介紹，使用了用于強化學習的 "Gymnasium "API[14]。

圖 1 ReLeGSim 用戶界面

在模擬游戲中，一名玩家扮演進攻方，旨在從防守方手中奪取一個特定的目標區域，而防守方則必須在整個過程中守住該區域。雙方玩家都可以使用由排和單個單元組成的各種具有獨特能力的連隊。要想取得成功，玩家必須了解對手的觀點，了解自己連隊的能力，并有效地控制地形。

圖 2 人工智能工具鏈 - ReLeGSim

人工智能工具鏈（圖 2）可根據矢量、高程和衛星信息等真實世界數據自動創建三維地形。然后，柵格化地圖將用于 ReLeGSim 中的人工智能訓練，并為不同區域分配特定的實地類型（如森林或道路）。帶有附加工具的模擬旨在提供一個平臺，通過強化學習訓練不同的人工智能模型，同時也支持人類與人工智能的博弈。因此，可以對訓練好的智能體的能力進行基準測試、評估和分析。該工具鏈還包括對訓練好的人工智能體進行自動測試，并根據客戶需求提供各種指標和復雜的分析。

3.2 ReLeGSim 人工智能架構

ReLeGSim 的作者從 DeepMind 的 AlphaStar [15]（復雜 RL 問題的領先模型）中汲取靈感，開發出一種創新架構（圖 3）。受軍事戰術的影響，該設計利用標量數據和可視化地圖進行場景觀察。標量數據包括部隊人數和彈藥，以擴展人工智能的視野。所有輸入參數都經過歸一化處理，以提高訓練效果。標量值采用多頭注意力網絡，而不是全連接層，提高了智能體的質量。為了了解地形，人工智能接收了包含大量地形信息和實體編碼的可視化地圖。為了將這些豐富的數據納入人工智能，我們開發了一個帶有卷積層的空間編碼器。

通過自動編碼器設置對架構進行評估，并將其減少到最低限度，將參數從 200 萬減少到 4.7 萬，并生成一個預訓練模型。可選的語言輸入可將目標或任務考慮在內。在分層設置中，給定任務可由上級智能體定義。來自視覺、任務和標量數據的編碼值被輸入到一個核心網絡（LSTM 組件）中，以處理長期規劃。

行動頭（action head）最初是基于 AlphaStar 實現的多離散行動空間。由于行動空間不斷擴大，行動頭被一個基于最新研究的語言模型所取代，該模型可預測自然語言中的行動指令。

圖 3 ReLeGSim 使用的人工智能架構

3.3 人工智能決策空間

人工智能的復雜決策能力問題伴隨著 RL 中巨大的行動空間而產生，隨著 RL 應用變得越來越復雜和逼真，這也是一個巨大的挑戰。小而固定的行動空間在表現力、探索性和效率方面都有局限性。研究人員正在不斷開發新的技術和算法，以減輕不斷膨脹的行動空間所帶來的影響，如函數近似、離散化和分層 RL。這些方法使智能體能夠處理日益復雜的任務，并更有效地應對大型行動空間的挑戰。隨著 RL 的不斷進步，解決行動空間爆炸的問題仍將是一個重要的研究領域，以便在現實世界中成功應用 RL。

利用自然語言與人工智能建立交流的方法（如文獻[2]所示），以及利用自然語言制定條令的發展（如文獻[16]所強調），為在多方面作戰環境中實現多用途人工智能能力開創了先例。ReLeGSim 在人工智能與模擬中的智能體之間建立了一個自然語言接口，可對給定命令進行復雜的解析和執行。這些命令可以是不同層次的，可以控制各種智能體。

最初的試驗表明，大量未使用的詞匯不利于訓練，而且會導致訓練速度減慢。因此，我們使用了一個小而有效的詞匯表。該詞匯表只包含以下標記：

<colon>標記將輸出文本序列分割為多個動作，而<comma>標記則結束或填充結果。標記的縮減和優化都是手動完成的，并與模擬中執行的結果行為直接對應。為了標記動作，我們使用了單擊編碼，因為這允許我們對給定的動作進行隨機抽樣，并可通過多離散表示法輕松集成到任何給定的 RL 框架中。

4.0 實驗與結果

4.1 "ReLeGs "中的行動方案（COA）決策支持儀表板

ReLeGSim 人工智能模型深度整合了人類對任務優先級排序的干預，通過將任務信息納入觀察空間來實現目標的實時變化（圖 3）。為了訓練這種行為，我們采用了課程學習策略，引入了用自然語言表達的各種優先級，每種優先級都與指導遵守規則的獎勵相關聯。這種方法鼓勵智能體發展廣泛的技能組合，在不同的場景中表現出色，并高效地實現目標。

為了將訓練有素的智能體用于行動方案（COA）決策支持，我們開發了一個行動方案決策支持網絡應用程序。根據給定的戰斗情況和藍軍與紅軍的 ORBAT，決策支持網絡應用程序會生成大量 ReLeGSim 模擬運行，以獲得人工智能體在給定情況下如何行動的統計數據。此外，所有可能的決策因素（如可用的聯合火力打擊數量）都會發生變化，以便讓用戶設置特定的過濾設置，分析由此產生的數據。然后，對人工智能指揮的模擬運行結果進行統計分析，并通過基于網絡的儀表板中的熱圖等方式將其可視化。

圖 4 顯示了一個熱圖可視化示例。它顯示了在相同起始條件下多次模擬運行中所有藍色和紅色單元的移動情況。此外，在此示例中，紅方營指揮官被賦予了兩種不同的攻擊優先級：a) 盡快攻擊 vs. b) 攻擊時盡量減少自身損失。圖 4 說明了人工智能如何根據不同的目標調整自己的行為，例如優先考慮快速進攻還是盡量減少損失。

圖 4 根據給定的優先級（a）和（b）比較營行動

這只是在給定場景中探索不同可能性的一種方法，可幫助操作員生成并驗證行動方案。ReLeGSim 的工具箱中提供了從戰爭游戲、統計分析到紅軍行動方案預測的各種選項。該決策支持工具可自動進行場景測試、戰術優化和人工智能模型評估，促進多樣化探索和適應性決策。

4.2 "KITU "中異質無人機群的自主控制

在德國陸軍總部的 "戰術無人機系統的人工智能（KITU）"研究中，空中客車防務與航天公司與兩家德國初創公司量子系統公司（Quantum-Systems）和Sleenlab正在探索在軍事場景中使用人工智能（AI）控制戰術無人機系統（UAS）。這項研究的重點是演示和分析用于自主無人機群的人工智能組件，重點是與主地面作戰系統（MGCS）和北約東翼監視方案保持一致。重點領域是異源無人機群的協調、目標探測和動態任務執行。使用人工智能對各種自動化任務進行訓練，以了解從傳感器到射手鏈的工作量、有效性和效率。該研究還調查了數據處理位置、恢復能力以及群控制在中斷情況下的穩健性。

采用深度強化學習方法來開發能夠在人類監督下控制無人機群的人工智能。圖 5 顯示了從 RL 訓練、驗證到實際飛行測試的過程。為了訓練對無人機群的控制，對 ReLeGSim 仿真進行了調整，使其能夠提供具有不同飛行特性、電池供電和消耗以及光學傳感器等有效載荷的固定翼和多旋翼無人機的簡化模型。對所謂的無人機群控制器的行動空間進行了調整，以賦予無人機搜索和跟蹤任務，以及在地面降落的可能性，從而以較低的電池消耗從地面觀察目標。一旦訓練成功，行為就會轉移到真正的無人機系統上，在空中客車無人機中心進行飛行測試。首次飛行實驗表明，在 ReLeGSim 仿真環境中訓練的智能體在真實情況下表現良好，通過提高模型保真度和根據實際情況校準模型參數，減少了一些模擬與現實之間的差距。

所獲得的見解旨在為將人工智能學習行為集成到真實無人機系統中提供信息，并評估其與人工控制的相似性。總之，像KITU這樣的項目對歐洲國防計劃（包括無人機群、人工智能和云計算）至關重要，并可能為MGCS和未來戰斗航空系統（FCAS）開發計劃帶來益處。無人機群可實現兵力倍增并提高偵察能力，因此在戰術場景中非常有價值。

圖 5 - 將 ReLeGSim 人工智能體用于控制真實的無人機群

5.0 結論

總之，本文論述了未來戰爭在人工智能輔助指揮系統和無人技術整合的推動下發生的變革。這些變化將對作戰行動產生重大影響，并要求加快軍事決策周期。要實現這些未來的決策支持系統，建模、模擬和先進的深度強化學習技術的整合至關重要。這些系統將協助軍事決策者評估威脅、制定最佳行動方案，甚至通過自主系統的協作蜂群行為來執行行動。

本文介紹的研究展示了如何調整和利用模擬與人工智能技術，利用 RL 優化模擬 "ReLeGSim "訓練能夠擔任營級指揮官或控制無人機群的人工智能體。這些智能體通過自然語言命令進行交流，增強了人與人工智能的互動，同時將目標和條令納入人工智能推理過程。軍事條令感知反饋功能的整合使智能體能夠在訓練周期內自我完善。

雖然 "ReLeGs "和 "KITU "兩項研究的目標都不是完全取代人類決策者，但它們為人工智能在軍事行動中的潛力提供了寶貴的見解。RL 代理的開發雖然具有挑戰性，但已展示出有希望的行為模式，包括智能地形利用和戰略決策。隨著研究的深入，預計還會出現更多的見解和行為模式。這項研究為使智能體具備維護軍事條令和規則的能力奠定了基礎，為人類決策者提供了更有力的支持，并為人工智能在各種軍事場景、訓練和決策支持系統中的應用開辟了道路。人工智能在戰爭中的未來將以協作和增強為標志，人工智能將成為與人類專業技術并駕齊驅的寶貴工具，確保 "人類做出決策，機器提供支持"。

6.0 未來之路

許多國家和國際研究工作都強調，未來各梯隊作戰行動的執行速度必須大大提高。與過去不同的是，過去一個旅的指揮官可以有幾個小時的時間進行決策，而現在要想取得優勢地位，就必須明顯并逐步縮短可用于決策的時間。有幾個因素促成了這種不斷變化的局面。前進的道路上有幾個關鍵的方向，可以進一步推動研究和實際應用：

1.繼續培訓和評估：應完成對 RL 智能體的持續培訓，進一步完善其行為模式。這包括開發更復雜的戰術行為，如目標優先級排序、組建預備隊和反擊策略。此外，應更詳細地探索通過可解釋人工智能（XAI）來解釋 RL 智能體的行為，以增強人類的理解能力。

2.可擴展性和真實世界測試：雖然 ReLeGSim 等模擬環境提供了寶貴的訓練場地，但仍應努力擴大這些智能體的規模，以便在現實世界中進行測試和部署。這包括解決硬件和計算要求，以確保實際適用性。

3.人機一體化：人工智能作為決策支持的整合必須繼續強調人類的控制和干預。為人類指揮官與人工智能體之間的無縫協作開發接口和協議至關重要。

4.人工智能應用的多樣性： 研究重點應超越決策支持，探索人工智能在軍事領域的廣泛應用。這包括訓練自主無人系統、為訓練演習進行模擬，以及評估人工智能模型的性能和戰術。此外，其他仿真模型也應與 ReLeGSim RL 架構一起應用，在 PAXSEM 等高度詳細的戰斗模型中訓練 RL 智能體，這對于模擬密集空戰或防空等場景是必要的。

5.倫理和法律方面的考慮：隨著人工智能在軍事行動中的作用越來越大，必須解決倫理和法律方面的問題。研究應包括有關負責任地使用人工智能、問責制以及遵守國際法和國際公約的討論和解決方案。

6.測試與驗證：人工智能模型的嚴格測試和驗證，尤其是在復雜多變的作戰場景中的測試和驗證，仍應是一個優先事項。這包括評估人工智能在城市戰、非正規戰爭和維和行動等各種情況下的表現。

7.適應不斷發展的技術：鑒于人工智能發展的快節奏，研究應保持適應性和開放性，納入新興技術、架構和最佳實踐，以保持在人工智能輔助軍事決策支持領域的領先地位。大型語言模型（LLM），尤其是多模態 LLM 有可能徹底改變對態勢感知、推理和行動計劃的理解。這項技術具有極大的潛力，可以顯著改進智能體。

總之，前進的道路包括采取全面的戰略，推進人工智能并將其無縫整合到軍事行動中，同時始終遵守道德和法律標準。通過解決這些關鍵問題，本研究可為人工智能決策支持系統的發展及其在復雜軍事環境中的謹慎應用做出貢獻。

數字孿生（DT）應用和相關技術有可能提高兵棋推演模擬的準確性，從而提供風險知情的決策支持建議。理論上可以開發作戰環境的 DT，以持續收集來自作戰兵力的數據，并創建計算模型或模擬來測試作戰空間條件。有效實施 DT 可以為指揮官提供及時更新和調整的建議，從而為決策過程提供幫助。如果根據持續運行的模擬結果，先前建議的行動方案不再被認為是最佳方案，那么實時更新將告知指揮官。本論文對將支持 DT 的決策支持系統整合到海軍陸戰隊規劃流程并作為各級指揮領導的有效工具進行了定性評估。研究人員認為，通過將實時數據納入模擬未來沖突，可以增強戰爭博弈過程，從而促進將數據分析納入時效性決策，并有可能改善決策過程中的不確定性管理。提高對資源分配決策的認識和量化協助將使領導者受益。預期的挑戰將是作戰兵力的數字化進程以及讓領導者適應新技術。

圖. 數字孿生賦能在線戰場學習，及在無人作戰中的作戰模式。

引言

美國海軍陸戰隊歷來將兵棋推演作為一種訓練工具，用于培養海軍陸戰隊員的決策技能，并在可控環境中評估領導者的計劃過程，從而提供有用的反饋。兵棋推演還被用于測試不同的作戰概念和發展條令（Bae & Brown，2021 年）。2017 年，海軍陸戰隊司令羅伯特-奈勒將軍建立了海軍陸戰隊戰爭博弈與分析中心。戰爭博弈與分析中心計劃于 2024 年開放，其主要任務是能力開發。該實驗室將設在弗吉尼亞州的匡蒂科，海軍陸戰隊作戰實驗室、海軍陸戰隊大學和海軍陸戰隊系統司令部可利用該實驗室提出有分析支持的建議，以塑造未來的兵力設計和發展活動（岡薩雷斯，2021 年）。

海軍陸戰隊還希望利用大數據分析、人工智能（AI）和機器學習（ML）等新興技術，運行超過 1000 次的模擬，以確定戰斗場景中各種結果的概率（South，2018 年）。這將有助于開發分析決策支持工具，為戰術指揮官提供數據驅動的建議。為使系統能提出可行的建議，模擬必須由準確且最新的數據驅動。創建海軍陸戰隊兵力的數字孿生（DT）以及從物聯網（IOT）中收集的數據，可為海軍陸戰隊提供必要的工具，以建立其希望采用的決策支持設備（Madni 等人，2019 年）。目前，海軍陸戰隊的 DT 計劃主要局限于網絡管理和供應鏈協調。然而，隨著數據傳輸的加快和物聯網的普及，最先進的人工智能/ML 對 DT 的增強可以改善 DT 與指揮、控制、通信、計算機和情報（C4I）各方面的整合，從而推動戰斗空間感知、持續決策支持分析以及在復雜的互聯戰場中保持決策優勢。

A. 問題陳述

只有在數據本身可靠的情況下，利用人工智能和大數據分析進行決策支持才是有益的。例如，當指揮官審查數據并決定行動方案時，為其決策提供支持的建議可能已經過時。基于錯誤或過時數據輸入的錯誤建議可能比沒有數據更具破壞性。即使模擬使用的是準確的最新數據，只要變量保持靜態，系統提供的建議也將一直有效。由于戰術建議需要靈活適應戰場條件的動態性質，因此有必要采用可將實時數據饋送納入決策支持模擬工具的系統。

B. 目的說明

本研究的目的是探索數據傳輸應用和相關技術的潛力，以提高戰棋模擬的準確性，從而為指揮官提供風險知情的決策支持建議。理論上可以開發作戰環境 DT，以持續收集來自作戰兵力的數據，并創建計算模型或模擬來測試作戰空間條件。有效實施 DT 可以為指揮官提供及時更新和調整的建議，幫助決策過程。如果根據持續運行的模擬結果，先前建議的行動方案不再被認為是最佳方案，那么實時更新將告知指揮官。我們將研究私營部門和政府的 DT 計劃，以確定此類系統的潛力。

C. 研究問題

1. 融合 DT 能否使兵棋推演受益？

1.1兵棋推演的哪些應用將受益于 DT？

1.2 DT 如何增強海軍陸戰隊規劃流程和快速反應規劃流程？

1.3 DT 能否增強參與者的知識流程？

2.DT 綜合決策支持系統如何改進指揮官的決策周期？

2.1 決策支持系統能否減少戰場上的不確定性？

2.2 需要哪些數據輸入來開發海軍陸戰隊兵力或作戰環境的綜合 DT？

2.3 決策支持系統能否縮短決策所需的時間？

2.4 何時需要自動決策，何時需要人工決策？

3.決策支持系統應納入哪一級指揮系統？

3.1 在戰爭戰術層面整合決策支持系統有何影響？

3.2 在作戰層面整合決策支持系統有何意義？

3.3 在作戰層面整合決策支持系統有哪些影響？

3.3 在戰爭戰略層面整合決策支持系統有何影響？

D. 論文結構

本論文的其余部分由另外四章組成。第二章是對決策科學、兵棋推演和數字孿生應用及相關技術等主題的現有文獻綜述。第 III 章是對所選研究方法的概述。第 IV 章分析了將數字孿生融入兵棋推演和決策支持的可能性，以協助不同戰爭級別的指揮官。第 V 章介紹了由此得出的結論，包括建議以及對未來研究領域的建議。

加固網絡物理資產既重要又耗費人力。最近，機器學習（ML）和強化學習（RL）在自動化任務方面顯示出巨大的前景，否則這些任務將需要大量的人類洞察力/智能。在RL的情況下，智能體根據其觀察結果采取行動（進攻/紅方智能體或防御/藍方智能體）。這些行動導致狀態發生變化，智能體獲得獎勵（包括正獎勵和負獎勵）。這種方法需要一個訓練環境，在這個環境中，智能體通過試錯學習有希望的行動方案。在這項工作中，我們將微軟的CyberBattleSim作為我們的訓練環境，并增加了訓練藍方智能體的功能。報告描述了我們對CBS的擴展，并介紹了單獨或與紅方智能體聯合訓練藍方智能體時獲得的結果。我們的結果表明，訓練藍方智能體確實可以增強對攻擊的防御能力。特別是，將藍方智能體與紅方智能體聯合訓練可提高藍方智能體挫敗復雜紅方智能體的能力。

問題描述

由于網絡威脅不斷演變，任何網絡安全解決方案都無法保證提供全面保護。因此，我們希望通過機器學習來幫助創建可擴展的解決方案。在強化學習的幫助下，我們可以開發出能夠分析和學習攻擊的解決方案，從而在未來防范類似威脅，而不是像商業網絡安全解決方案那樣簡單地識別威脅。

工程描述

我們的項目名為MARLon，探索將多智能體強化學習（MARL）添加到名為CyberBattleSim的模擬抽象網絡環境中。這種多智能體強化學習將攻擊智能體和可學習防御智能體的擴展版本結合在一起進行訓練。

要在CyberBattleSim中添加MARL，有幾個先決條件。第一個先決條件是了解CyberBattleSim環境是如何運行的，并有能力模擬智能體在做什么。為了實現這一點，該項目的第一個目標是實現一個用戶界面，讓用戶看到環境在一個事件中的樣子。

第二個先決條件是為CyberBattleSim添加MARL算法。目前CyberBattleSim的表Q學習和深Q學習實現在結構上無法處理這個問題。這是因為CyberBattleSim實現的表Q學習和深Q學習不符合適當的OpenAI Gym標準。因此，需要添加新的強化學習算法。

當前的防御者沒有學習能力，這意味著要啟用多智能體學習，防御者需要添加以下功能：添加使用所有可用行動的能力，將這些行動收集到行動空間，實現新的觀察空間，并實現獎勵函數。

最后，為了增加MARL，新創建的攻擊者算法和新的可學習防御者必須在同一環境中組合。這樣，兩個智能體就可以在相互競爭的同時進行訓練。

隨著技術的飛速發展和威脅環境變得更加復雜，今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能（AI）的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識，增加對威脅和對手能力和意圖的了解，識別和評估可能的戰術行動方案，并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。

人工智能系統為海戰提供了優勢，但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊，改善作戰情況的不確定性，并提出改善作戰和戰術結果的建議。實施人工智能系統，以滿足海軍應用的這些苛刻需求，給工程設計界帶來了挑戰。本文確定了四個挑戰，并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。

引言

人工智能是一個包括許多不同方法的領域，目的是創造具有智能的機器（Mitchell 2019）。自動化系統的運作只需要最小的人類輸入，并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器，執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中，以做出決定并得出結論。

如表1所述，人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen（2020，3）將專家系統描述為手工制作的知識系統，使用傳統的、基于規則的軟件，將人類專家的主題知識編入一長串編程的 "如果給定x輸入，則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統，從大型數據集中進行訓練。ML系統自動學習并從經驗中改進，而不需要明確地進行編程。一旦ML系統被 "訓練"，它們就被用于操作，以產生新的操作數據輸入的結果。

表1. 兩類人工智能系統

人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力，在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力，以了解復雜和不確定的情況，制定和權衡選擇，預測行動的成功，并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。

本文確定了工程設計界必須解決的四個挑戰，以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括：（1）復雜的海戰應用領域；（2）需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統；（3）人工智能系統工程的一些新挑戰；（4）存在對手的人工智能進展，不斷變化和發展的威脅，以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域，但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。

表2. 為海軍實施人工智能系統的四個挑戰領域

挑戰一：戰爭復雜性

人工智能正被視為一種能力，可應用于廣泛的應用，如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰，人工智能系統必須與之抗衡，才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子，從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素，這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度，對六個應用領域的特征進行了定性評估。顏色代表低貢獻（綠色）、中貢獻（黃色）和高貢獻（紅色）。

表3中最上面一行顯示的特征包括： (1)認識上的不確定性水平（情況知識的不確定性程度），(2)情況的動態性，(3)決策時間表（可用于決策的時間量），(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5）資源的復雜性（數量、類型、它們之間的距離以及它們的動態程度），（6）是否涉及多個任務，（7）所需訓練數據集的復雜性（大小、異質性、有效性、脆弱性、可獲得性等 8）對手的存在（競爭者、黑客或徹頭徹尾的敵人），（9）可允許的錯誤幅度（多少決策錯誤是可以接受的），以及（10）決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義，即基于一組樣本的貢獻因素，不同應用領域的不同復雜程度。

表3. 影響應用復雜性的因素比較

對于所有的應用領域來說，人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時；以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用，如貸款審批、廣告、醫療診斷（在某種程度上）面臨工程挑戰，但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的，做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而，航運錯誤是有空間的，而且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的空間非常小。在這種應用中，決策失誤會導致嚴重的事故。

影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此，戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子，海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是網絡空間，導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中，戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行，并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后，對于戰術決策及其可能的后果來說，風險可能非常大。

表4. 導致戰術決策復雜性的因素

解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案，即處理大量的數據，處理不確定性，理解復雜的情況，開發和評估決策選擇，以及理解風險水平和決策后果。Desclaux和Prestot（2020）提出了一個 "認知三角"，其中人工智能和大數據被應用于支持作戰人員，以實現信息優勢、控制論信心和決策優勢。約翰遜（2019年）開發了一個工程框架和理論，用于解決高度復雜的問題空間，這些問題需要使用智能和分布式人工智能系統來獲得情況意識，并做出適應動態情況的協作行動方案決定。約翰遜（2020a）建立了一個復雜的戰術場景模型，以證明人工智能輔助決策對戰術指揮和控制（C2）決策的好處。約翰遜（2020b）開發了一個預測分析能力的概念設計，作為一個自動化的實時戰爭游戲系統來實施，探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先，人工智能支持的C2系統需要描述戰術行動期間的復雜程度，然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平（人與機器的決策角色）。約翰遜（2021年）正在研究這些概念性工程方法在各種防御用例中的應用，包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來，戰術邊緣遠離指揮中心，通信和計算資源有限，戰場形勢瞬息萬變，這就導致在嚴酷復雜的戰地環境中，網絡拓撲結構連接薄弱，變化迅速"（Yang et. al. 2021）。戰術邊緣網絡也容易斷開連接（Sridharan et. al. 2020）。相比之下，許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲，而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時，必須進行仔細的設計考慮，以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。

在軍事領域使用人工智能必須克服復雜性的挑戰障礙，在某些情況下，人工智能的加入可能會增加復雜性。辛普森等人（2021）認為，將人工智能用于軍事C2可能會導致脆弱性陷阱，在這種情況下，自動化功能增加了戰斗行動的速度，超出了人類的理解能力，最終導致 "災難性的戰略失敗"。Horowitz等人（2020）討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人（2020）指出，人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性；如果人類決策者對產出缺乏信心和理解，他們可能會失去對人工智能系統的信任。

挑戰二：數據需求

實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。

ML系統的學習過程被稱為被訓練，開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法，允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段，ML系統繼續需要數據。

圖1顯示，在運行期間，ML系統或 "模型 "接收運行的實時數據，并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此，在整個系統工程和采購生命周期中，ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。

圖1. 使用數據來訓練機器學習系統

美國海軍開始認識到對這些數據集的需求，因為許多領域（戰爭、供應鏈、安全、后勤等）的更多人工智能開發人員正在了解人工智能解決方案的潛在好處，并開始著手開發人工智能系統。在某些情況下，數據已經存在并準備好支持人工智能系統的開發。在其他情況下，數據存在但沒有被保存和儲存。最后，在其他情況下，數據并不存在，海軍需要制定一個計劃來獲得或模擬數據。

收集數據以滿足海軍領域（以及更廣泛的軍事領域）的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的，在不同的項目和系統中被分隔開來，不容易從遺留系統中獲得，并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據，可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外，和平時期收集的數據并不代表沖突和戰時的操作。海軍（和軍方）還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的（和可能的）戰時行動，并構建足夠的ML訓練數據。

數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說，數據是一種珍貴的商品，并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據，目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。

海軍正在解決這一數據挑戰，開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺，正在管理數據以支持AI/ML的發展和其他類型的海軍應用，這些應用需要與任務相關的數據（Abeyta，2021）。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統，海軍需要在游戲中保持領先，擁有能夠代表各種可能情況的數據集，這些情況跨越了競爭、沖突和危機期間的行動范圍。因此，數據集的開發和管理必須是一項持續的、不斷發展的努力。

挑戰三：工程化人工智能系統

第三個挑戰是，人工智能系統的工程需要改變傳統的系統工程（SE）。在傳統系統中，行為是設定的（確定性的），因此是可預測的：給定一個輸入和條件，系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上，一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議，與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統，并確保它們對人類操作者來說是可解釋的、可信任的和安全的。

SE作為一個多學科領域，在海軍中被廣泛使用，以將技術整合到連貫而有用的系統中，從而完成任務需求（INCOSE 2015）。SE方法已經被開發出來用于傳統系統的工程設計，這些系統可能是高度復雜的，但也是確定性的（Calvano和John 2004）。如表5所述，傳統系統具有可預測的行為：對于一個給定的輸入和條件，它們會產生可預測的輸出。然而，許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人（2021年）解釋說，"SE及其方法的雛形基礎并不是為配備人工智能（即機器學習和深度學習）的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說，出錯的余地很小；因此，SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。

表5. 傳統系統和人工智能系統的比較

在整個系統生命周期中，將需要改變SE方法，以確保人工智能系統安全有效地運行、學習和適應，以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變，以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法，這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性，這些系統的行為不是完全可預測的，其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務，即隨著人工智能系統的發展，在部署期間不斷確保安全和理想的行為。

SE界意識到，需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會（INCOSE）最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為，人工智能系統可能會出現新類型的故障模式，這些故障模式是無法預料的，可能會突然發生，而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后，對于有更多的人機互動的人工智能系統，必須仔細注意設計系統，使它們值得信賴，可以解釋，并最終對人類決策者有用。

表6.人工智能系統工程中的挑戰（改編自：Robinson，2021）。

SE研究人員正在研究人工智能系統工程所涉及的挑戰，并開發新的SE方法和對現有SE方法的必要修改。Johnson（2019）開發了一個SE框架和方法，用于工程復雜的適應性系統（CASoS）解決方案，涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統，通過使用人工智能，可以協作產生所需的突發行為。Johnson（2021）研究了人工智能系統產生的潛在新故障模式，并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知，作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人（2021年）研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui（2021年）研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略，促進人類和機器之間的 "校準 "信任，這是作為適當利用的最佳信任水平，避免過度信任和不信任，并在信任失敗后涉及信任修復行動。Johnson等人（2014）開發了一種SE方法，即協同設計，用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

數據的作用對于人工智能系統的開發和運行來說是不可或缺的，因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人（2021）提出，SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構，用于開發、訓練和評估AI算法。French等人（2021）描述了需要適當的數據策劃來支持人工智能系統的發展，他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據，以及需要識別和消除數據中的固有偏見。

SE界正處于發展突破和進步的早期階段，這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步，以確保海軍持續的技術優勢。

挑戰四：對抗性

海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰：(1)人工智能技術在許多領域迅速發展，海軍必須注意同行競爭國的軍事應用進展，以防止被超越，(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性，以及(3)海軍應用的人工智能系統需要發展和適應，以應對不斷變化的威脅環境。

表7. AI系統的對抗性挑戰

同行競爭國家之間發展人工智能能力的競賽，最終是為了進入對手的決策周期，以便比對手更快地做出決定和采取行動（Schmidt等人，2021年）。人工智能系統提供了提高決策質量和速度的潛力，因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索，同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標，不僅僅取決于人工智能研究。它需要適當的數據收集和管理，有效的SE方法，以及仔細考慮人類與AI系統的互動。海軍必須承認，并采取行動解決實施人工智能系統所涉及的挑戰，以贏得比賽。

網絡戰是海軍必須成功參與的另一場競賽，以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統（Libicki, 2009）。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據，導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制，他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化，其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護，免受網絡攻擊（French等人，2021）。

威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化，武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強，這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統，必須能夠加強海軍感知、探測和識別新威脅的能力，以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境，并在行動中學習，以了解戰斗空間中的未知因素，并通過創新的行動方案快速應對新的威脅（Grooms 2019, Wood 2019, Jones et al 2020）。海軍可以利用人工智能系統，通過研究特定區域或領域的長期數據，識別生活模式的異常（Zhao等人，2016）。最后，海軍可以探索使用人工智能來確定新的和有效的行動方案，使用最佳的戰爭資源來解決棘手的威脅情況。

結論

人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而，人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的，可以學習和適應--特別是在用于更復雜的行動時，如高度動態的、時間關鍵的、不確定的戰術行動環境中，允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域：（1）開發能夠解決戰爭復雜性的人工智能系統，（2）滿足人工智能系統開發和運行的數據需求，（3）設計這些新穎的非確定性系統，以及（4）面對對手帶來的挑戰。

海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統，以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。

1.第一個建議是了解人工智能系統與傳統系統之間的差異，以及伴隨著人工智能系統的開發和實施的新挑戰。

人工智能系統，尤其是那些旨在用于像海戰這樣的復雜行動的系統，其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解，更加不可預測，并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。

2.第二個建議是投資于人工智能系統的研究和開發，包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。

研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面，海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的，并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據，用于人工智能系統開發，并確保數據的相關性、有效性和安全性。

3.第三個建議是承認挑戰，并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。

盡管人工智能系統正在許多領域實施，但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識，即在人工智能系統準備用于戰爭決策輔助工具之前，需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖，彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法，在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。

海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統，戰術決策優勢的重大進步是可能的。此外，海軍必須跟上（或試圖超越）對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解，對研究和開發計劃的投資，以及對人工智能技術進步時限的現實預期，海軍可以在應對這些挑戰方面取得進展。

在美國國防部，人工智能（AI）/機器學習（ML）的整合目前是以現有項目的升級或新項目的收購形式進行的。怎么知道這些AI/ML支持的系統會按照預期的方式運行？為了做出這個判斷，與其他傳統的軟件開發/采購項目相比，AI/ML產品開發/采購需要一個獨特的評估過程。作為回應，美海軍軍械安全和保障活動（NOSSA）資助了以下研究，以調查獨特的政策、指導方針、工具和技術，以評估AI/ML關鍵功能中的安全問題。在這項工作中，開發了14項關鍵的嚴謹度（LOR）任務，并在五個階段中應用：（1）需求，（2）架構，（3）算法設計，（4）算法代碼，以及（5）測試和評估（T&E）。14項LOR任務涉及最佳實踐討論、定義、測量、論證文件和AI/ML系統特有的危險分析格式。這14項LOR任務還明確了為什么AI/ML軟件開發需要采購界的特別考慮。此外，這項研究有可能影響采購界如何定義需求、創建架構、產生AI/ML算法設計、開發AI/ML算法代碼以及執行T&E。在開發 "采購沙盒"的過程中，跨越五個發展階段的14項LOR任務的需求變得很明顯，該沙盒研究了部署AI/ML自主系統的路線規劃者，以及讓這些系統交付軟件包，重點是評估關鍵功能行為的安全性。該沙盒是使用國防部架構框架（DoDAF）和統一建模語言（UML）圖設計的，其中包含了各種AI/ML技術。當面臨這種程度的復雜性和/或不確定性時，14項LOR任務代表了一組有凝聚力的問題/考慮因素，為應對當前海軍AI/ML的采購問題提供了重點。這些指南還為涉及安全的組織，如NOSSA和適航性，以及包括項目經理和系統工程師在內的采購專業人員提供了一個分步驟的 "如何 "評估方法，以確保創造高質量的人工智能嵌入式產品。

該報告為包含人工智能功能的系統的采購和開發提供了詳細的指導方針。該準則允許用戶在作戰部署的挑戰中對人工智能功能的行為建立不同程度的信心。信心的程度決定了14個LOR任務中的哪一個在五個階段中被應用。每個LOR任務提供了問題和/或考慮因素，使開發人員能夠客觀地評估人工智能/ML功能的安全性和可靠性。當審查每個LOR任務時，LOR任務編號（和相關階段）后面的 "參考編號 "是指用于開發問題和/或考慮因素的文件中的相應標識（ID）。這四份文件的標題分別是：（1）操作視圖（OV），（2）系統視圖（SV），（3）數據集設計，和（4）算法設計。LOR任務 "參考ID "命名法的例子是Ops1、Sys1、Alg1和Dat1。在這些例子中，每個ID與四個文件中的一個有關，其中數字 "1 "表示文件中描述的第一個LOR任務。在每個文件中使用 "Ref ID "支持對研究的可追溯性，包括數學。