認知方法在幾乎所有方面可提高現有雷達的性能，這導致了近年來研究的激增，空軍雷達建模和仿真（M&S）工具的一個關鍵差距是缺乏針對分布式全適應雷達（FAR）系統的全面、動態分布式雷達情景生成能力。截至2015年初，所有的研究都是在理論上推進概念，并通過模擬檢驗其性能，或者最多使用預先錄制的數據。沒有關于實驗驗證概念的報告，主要是因為還沒有開發出測試它們的必要硬件。然而，為了確定應用認知處理方法的真正性能潛力，這一步驟是至關重要的。為了解決這個問題，俄亥俄州立大學（OSU）電子科學實驗室（ESL）的認知傳感實驗室（CSL）與Metron公司、空軍研究實驗室（AFRL）和空軍科學研究辦公室（AFOSR）一起，已經開始了一項研究計劃，從分析和實驗上開發和檢驗認知雷達處理概念。

CSL設計并建造了認知雷達工程工作區（CREW），這是世界上第一個專門用來測試完全自適應和認知算法的雷達測試平臺，Metron和OSU開發了一個認知FAR系統的理論框架，在單一傳感器和目標的目標探測和跟蹤范圍內確定了關鍵的系統組件并進行了數學建模。我們一直在開發建模、模擬、分析和實驗能力，以證明FAR系統比傳統的前饋雷達（FFR）系統取得的性能改進。我們從OSU的軟件定義雷達（SDR）系統的模擬場景和預先記錄的數據開始。我們現在有能力利用CREW演示認知雷達跟蹤系統的實時操作。

這個項目的目標是為分布式FAR雷達開發一個基于MATLAB的M&S架構，從而能夠在模擬的、以前收集的和實時的流式數據上進行算法開發和測試。在第一階段，我們開發了一個基線FAR M&S架構，該架構采用面向對象編程（OOP）方法在MATLAB中編碼。它包括一個控制感知-行動（PA）周期運行的FAR引擎和確定下一組傳感參數的軟件對象；從傳感器獲取數據；處理數據以跟蹤目標；存儲和顯示傳感和跟蹤過程的結果。我們開發的模塊實現了模擬和預先錄制的SDR數據實例，以及實時和模擬的CREW數據實例。

第一階段開發的FAR M&S架構允許在模擬和實驗CREW數據源之間，以及在驅動傳感的FAR算法之間進行透明切換。輕松交換傳感和處理對象的能力將允許快速開發和測試認知雷達算法，通過構建M&S功能來避免重復工作和 "單點 "解決方案。它將使工業界、學術界和空軍的研究人員之間的合作成為可能，因為不同研究人員開發的算法可以使用一致的模擬、收集的數據和實驗室條件進行測試和比較。

本報告著重于2025年混合部隊的任務工程過程。來自OPNAV N9I的最新任務強調了關注使用成本保守的無人系統的必要性。具體來說，重點放在近鄰的競爭對手大國以及在南海的反介入/區域拒止（A2/AD）情況下可能出現的問題。海軍水面作戰中心的任務工程方法被用來確定擬議的替代艦隊架構的具體事件，然后使用作戰模擬和優化模型進行分析。對目前的無人系統，特別是那些正在開發的高技術準備水平無人系統的性能特征和成本的研究進行了匯編。提議的無人系統架構是作為A2/AD問題的解決方案而開發的。然后，無人系統架構通過優化模型運行，以最大限度地提高系統性能，同時最小化成本。然后，架構優化的結果被輸入到建模和仿真中。然后比較每個架構的整體有效性，以找到最有效的解決方案。對結果進行了分析，以顯示預期的任務有效性和利用擬議解決方案的無人架構的擬議成本。最有效的架構包括搜索、反蜂群、運送和攻擊系統。

執行總結

A 引言

系統工程分析31組由美海軍作戰司令部戰爭整合處（OPNAV N9I）負責確定一個解決方案，以彌補與大國在2025年的預期能力差距（Boensel 2021）。該解決方案系統必須具有成本效益并能在2025年之前交付。SEA團隊利用任務工程過程來確定候選的未來艦隊架構來解決問題（工程副主任辦公室2020）。

B 問題陳述

到2025年，如何才能有效地對抗近鄰對手的反介入和區域拒止能力？

C 能力需求

以具有成本效益的方式調整目前的能力，并創建一個未來的架構，以加強美國海軍的作戰能力，包括存在、欺騙、ISR以及在反介入和區域拒止環境中的防御和進攻能力。

D 任務描述

利用任務工程流程，總體情景被設定在2025年的南海。大國已執行了其九段線的領土要求，并建立了一個反介入/區域拒止（A2/AD）區。大國不斷擴大的艦隊、對人造島嶼的使用、遠距離ASCMs以及對無人系統的擴大使用使美國的水面作戰艦艇處于高風險之中。總體任務是美國海軍DDG通過提高其殺傷力和生存能力，在A2/AD區域內進行FONOPS。在整個方案中，有三個小場景被開發出來。OTH ISR、目標選擇和交戰，威脅無人機蜂群，以及提供目標選擇的威脅無人機ISR資產。

E 任務衡量

衡量任務成功與否的總體標準是美國海軍部隊在近乎同行的反介入區域拒止環境中的作戰能力。有助于衡量成功的有效性的措施是DDG的生存能力和殺傷力的提高程度與解決方案系統的成本相結合。

F 分析設計

為了分析擬議的系統解決方案（SoS）是否能達到既定的成功標準，設計了一個價值體系。利用通用的海軍任務列表，項目組確定了擬議的系統解決方案需要完成的三個二級任務，以完成任務（海軍部，2008）。

對三個選定任務下的后續任務進行了評估，以確定擬議系統需要完成的具體功能。通過這次審查，確定了候選無人系統需要完成的四項高級功能。這些功能是交付、搜索、通信中繼和打擊。為每項功能選擇了性能措施，以用于多屬性價值分析。

多屬性價值分析被用來比較完成四個功能中一個或多個功能的候選系統。一個系統的價值是根據每個性能指標對完成一個特定功能的重要性，給每個性能指標分配一個權重而得出的。權重從1到5不等，其中5表示最重要的MOP。計算MOP和權重的乘積，并將每個乘積相加，以獲得系統的價值。

為了確定可行的候選系統，項目組成員各自研究了一個不同的無人系統，并收集了每個候選系統的性能衡量標準。如果一個特定的無人系統的MOP值不知道，則推斷其值與一個類似的系統相同。如果不存在這樣的類似系統，則使用啟發式方法估計該值。對于每項功能，至少有一個系統符合技術成熟度，可考慮用于2025年的混合部隊。

F.1 建議的系統簇

為了實現所有四個功能，候選系統的組合被排列組合成16個系統簇。每個備選方案的系統價值和成本都被計算出來。系統價值的計算方法是將每個備選方案中的每個系統的價值相加。

F.2 優化

為了產生用于比較的替代方案，該團隊使用整數線性規劃生成了架構。這是用Pyomo的優化功能完成的。線性規劃被創建、約束以更好地表示現實，并被解決以生成分別針對性能、預算和替代合約選項進行優化的替代架構。

F.3 使用炮擊作戰模型計算MOE

現代導彈戰可以使用炮擊作戰模型進行評估。這個模型被用來計算每個小場景中的每個SoS備選方案的有效性。結果顯示了超視距ISR平臺的重要性，一個獨立的武器系統來對付敵人的無人機，目前IAMD作戰系統的有限防御能力，以及超視距搜索和瞄準能力。

F.4 基于電子表格的戰斗模擬

“大國”和美國都擁有深入的綜合空中和導彈防御。為了證明這種互動，在微軟Excel中使用反二項式函數對不同的交戰進行了建模。每一個擬議的艦隊架構都被輸入到三個小插曲的戰斗模擬中。為了獲得隨機的結果，試驗的數量被設定為300次，每個概率都有一個可能的值范圍。該模型中的自變量可分為防御性或進攻性變量。防御性變量是每個單位的綜合防空和導彈防御武器的殺傷數量和殺傷概率。PLAN的進攻性變量是YJ-18 ASCM和Harpy無人機的命中數。美國海軍的進攻性變量是海上攻擊戰斧、ASCM和特定攻擊無人機的進攻性命中數量。

模擬的結果顯示了擊中敵方水面平臺或美國海軍水面部隊的數量。通過比較建議的系統與基線的命中率，可以得出變化的百分比。在我們的分析中，進攻和防御的有效性被平均加權，允許將進攻和防御百分比變化的高值相加，以計算出高低變化的總百分比。

F.5 使用基于智能體的建模和仿真進行模型驗證

基于智能體的建模和仿真（ABMS）被用來驗證每個設想的系統架構與所需的MOE。ABMS旨在通過對智能體之間的相互作用進行建模，來捕捉戰爭交戰的隨機性，但又很復雜。進行了蒙特卡洛分析，以收集每個系統性能的個體層面的數據。隨后的統計分析提供了一個途徑，以確定和量化每個擬議的系統架構所實現的改進。為此目的，指揮部：現代行動（CMO），是一個跨領域的現代兵棋推演計算機軟件，旨在模擬戰術到作戰水平的行動，被用作仿真引擎。CMO模擬的是基于規則的智能體，它們相互之間以及與環境之間的互動，包括感興趣的場景中的武器系統（Coyote, YJ-18, Chaff）和平臺（例如PLAN DDG, Luyang）。與多屬性價值分析方法相比，CMO允許對定量的系統MOP進行建模，并在模擬結果中觀察其相對差異。

G 電子表格作戰模擬結果

電子表格戰斗模型模擬的第一個結果是解放軍DDG在三個不同的迭代中對美國海軍DDG的命中率，即只用YJ-18攻擊，只用哈比攻擊，以及YJ-18和哈比同時攻擊。同時使用YJ-18和Harpy的命中率被作為防御性MOE的基線值。接下來，兩種不同的防御性無人機系統被分別加入到作戰模型中。對只有哈比的攻擊和YJ-18與哈比的同時攻擊進行了重復模擬。每個系統的防御性百分比變化是用前面描述的公式計算的。

接下來的結果是美國海軍DDG在三次不同的迭代中擊中PLAN DDG的次數。模擬了僅用MST攻擊、僅用ASUW無人機攻擊以及MST和ASUW同時攻擊的結果。只用MST攻擊的命中率作為進攻性MOE的基線值。接下來，七個不同的運載系統被分別加入到作戰模型中。對僅有ASUW無人機攻擊和同時進行的MST和ASUW無人機攻擊進行了重復模擬。每個投送系統的進攻百分比變化被計算出來。

將同等權重的進攻和防守百分比變化相加，計算出高和低的總變化百分比。根據該模型，期望值是這樣的：在0.95的置信度下，增加SoS將使水面部隊的有效性增加一個介于高值和低值之間的百分比。

H. 基于智能體的建模和仿真結果

總的來說，從ABMS觀察到的性能與從電子表格模型觀察到的性能MOE相關。在所有提議的架構中，都觀察到了防御和進攻MOE的明顯改善。這是預料之中的，因為在DDG上增加任何防御性武器系統應該減少艦隊DDG的直接命中數量。同樣，增加一個具有增強OTH感知能力的進攻性武器系統會增加對目標直接作用的武器數量。

對防御性和進攻性MOE與每一方所消耗的平均武器數量的比率的進一步分析顯示，由于美國海軍DDG上增加了反群武器系統，防御性MOE得到了改善。這種增加被證明是對所有架構的一種有效的廣泛改進。三種提議的架構之間最明顯的差異來自于進攻性MOE（%），其中性能系統優于其他架構。與發射的武器總數相比，預計一個性能更好的系統會向目標發射更少的武器，同時造成更多的命中。

I 結論

這項工作證明了低成本的無人駕駛威脅系統給傳統水面戰艦帶來的危險，這些系統可以在幾乎沒有警告的情況下進行協調和攻擊，并為船員提供很少的反應時間。為了避免強制增加對峙距離以提高生存能力，有必要使用增程傳感器系統和反無人機系統來彌補預期的能力差距并提供進入被拒絕區域的機會。為了使這些系統可行和安全，高帶寬的通信系統將是必需的。

為了滿足這些需求，建議的解決方案系統利用Dive-LD來運送Coyote無人機平臺。搜索和通信中繼將由兩個VBAT無人機平臺提供。這種平臺組合為每一美元的系統成本提供了最高的進攻和防御能力的提高。叢林狼 "無人機也將作為一個蜂群來防御威脅性無人機群和威脅性無人機ISR資產。增加解決方案系統的采購將提高艦隊的生存能力和殺傷力，并允許在其他艦隊優先領域進行額外投資。

建議通過為無人機平臺配備額外的無源傳感器來改進該系統，以利用電磁頻譜的所有部分，從而提高在所有天氣和戰斗條件下探測敵方威脅的能力。此外，擬議的解決方案系統可以擴展到許多其他領域和任務區，如港口防御和反對出口。

美國陸軍未來司令部的士兵致命性（SL）跨職能小組（CFT）正在研究通過頭戴式和武器式能力的組合來增強下馬步兵的新方法。根據SLCFT的指示，美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室的研究人員探索了加強輔助目標識別能力的技術，作為陸軍下一代智能班組武器計劃的一部分。

敵對環境中涉及潛在目標的復雜決策必須由下馬的士兵做出，以保持戰術優勢。這些決定可能是人工智能（AI）技術的強大信息，如AI支持的火力或指揮和控制決策輔助工具。例如，一個士兵發射武器是一個明確的跡象，表明該地區有一個敵對的目標。然而，一個士兵在環境中追蹤一個潛在的目標，然后放下他們的武器，這是一個模糊的、隱含的跡象，表明該目標受到關注，但最終被該士兵認為不是一個直接的威脅。在近距離作戰的環境中，與士兵狀態相關的隱性標記數據（如光電視頻、位置信息或火力行動）可用于輸入決策輔助工具，以得出真實的戰場背景。然而，需要對這些行動進行更徹底的檢查。此外，來自單個士兵的突發非交流行為在整個班級中的匯總可以增強戰術態勢感知。盡管它們有可能產生戰術影響，但這些狀態估計或行為指標往往不能以立即可用的形式獲得。

DEVCOM陸軍研究實驗室（ARL）的研究人員調查了一種通過機會主義感應來進行下馬士兵狀態估計的方法--一種不需要人類明確行動就能收集和推斷關鍵的真實世界數據的方法。在通過正常使用武器追蹤和攻擊移動和靜止目標時，連續獲得數據以解釋士兵的行為。這項工作中使用的士兵-武器行為分類方法主要來自人類活動識別（HAR）研究。然而，在這項工作中，為了提高行為結果的生態有效性，在眼球追蹤文獻中經常使用的實驗范式被反映出來，將眼球運動和認知推理聯系起來。具體來說，眼動跟蹤研究的一個子集的目標是收集和解釋與公開的視覺注意力有關的眼動事件（即固定、囊狀運動和追逐），這可以揭示認知過程和關于環境的客觀內容。在戰斗中，士兵們可能會將他們的目標停留在一個靜態的目標上（固定），當出現新的目標時迅速轉換目標點，有潛在的目標出現（囊狀運動），或者在潛在目標移動時跟蹤他們的目標點（平滑追擊）。

目前，頭戴式眼動跟蹤技術正在開發用于戰斗。然而，與校準誤差有關的凝視數據中的噪聲使其難以有效地使用這些數據。一個更突出的解決方案可能存在于士兵和他們的武器之間的互動中，這項工作使用傳統的HAR技術進行。執行HAR的主要方法是在一個人進行一些身體活動時，使用慣性測量單元收集時間序列數據。然后使用機器學習技術來訓練分類模型，根據數據信號預測行動。這種方法可以擴展到包括在人類與物體互動時對其運動的分類。在這種情況下，當近距離作戰的士兵與潛在的威脅進行互動時，武器的運動特征被伺機獲得，這為這些士兵在這種環境中做出的復雜決定提供了一個窗口。

論文中記錄并發表了對這一評估的全面分析。對來自動態士兵狀態估計的運動數據進行建模和分析以實現對形勢的理解。

本報告描述了2020財年在美國陸軍作戰能力發展司令部陸軍研究實驗室的主任戰略倡議（DSI）項目《人工智能（AI）用于多域作戰（MDO）的指揮和控制（C2）》下進行的工作。多域作戰的速度和復雜性要求在高度活躍的環境中對近似對手進行高速決策和執行，這往往可能超出人類的認知能力。最近，新興的人工智能技術，如深度強化學習（DRL），在復雜的、相對非結構化的、部分信息的戰略游戲（如Dota 2和StarCraft II）中的表現超過了人類世界冠軍。這表明這種人工智能有可能對MDO的C2做出貢獻。然而，關于這種新的人工智能技術的行為和限制的許多問題仍未得到解答。作為DSI的一部分，我們正在研究DRL是否可以支持未來多域部隊的敏捷和適應性C2，這將使指揮官和工作人員能夠迅速有效地利用轉瞬即逝的優勢窗口。在第一年，我們開發了兩個新的C2測試平臺，并在這些測試平臺上進行了基于DRL的學習。本報告包括項目的概述，并展示了初步的研究成果，其中一個“人造指揮官”在模擬的旅級戰斗中執行了一個綜合規劃-執行過程。

1. 引言

同行對手多域作戰（MDO）的速度和復雜性可能會超過人類指揮員在傳統的、主要是人工指揮和控制（C2）過程中的認知能力。同時，人工智能（AI）技術的新成果，如深度強化學習（DRL），開始顯示出有可能支持多域作戰的指揮與控制。過去兩年的發現表明，基于DRL的算法可以在復雜的、相對非結構化的、部分信息的戰略游戲（如Dota 2和StarCraft II）中勝過人類世界冠軍。通過這些突破，強化學習（RL）已經證明了人工智能在復雜游戲中開發和實施多層策略后控制多個智能體的潛力。未來MDO作戰指揮的特點是在非結構化的任務領域內具有高度的復雜性，這與復雜的游戲模擬環境有一些相似之處。因此，將基于人工智能的方法擴展到軍事領域，可能為提高戰斗指揮能力提供了重要的可能性。

本報告中描述項目的長期意圖并不新鮮。在過去的幾十年里，有許多想法和相應的研究，旨在開發自動化或半自動化的工具，以支持規劃和執行軍事行動的決策。以下是過去在這一領域的一些工作，本報告的一些作者親自參與了這些工作。

美國國防部高級研究計劃局（DARPA）的聯合部隊空中部分指揮官（JFACC）項目在20世紀90年代末進行，為聯合空戰的敏捷管理開發了一些概念和原型。當時考慮的大多數方法涉及各種航空資產的路線和活動的持續實時優化和再優化（隨著情況的不斷變化）。同樣在20世紀90年代中后期，陸軍資助了行動方案開發和評估工具（CADET）項目，該項目探討了經典的分層規劃的潛在效用，該計劃適用于對抗性環境，可以將高水平的戰斗草圖轉化為詳細的同步矩陣--這是理論上的軍事決策過程（MDMP）的關鍵產品。在21世紀初，DARPA啟動了實時對抗性情報和決策（RAID）項目，該項目探索了一些預測敵方作戰規劃的技術，以及動態地提出友好的戰術行動。在所探索的技術方法中，博弈求解算法是最成功的。

2000年代末，DARPA的沖突建模、規劃和結果實驗（COMPOEX）計劃探討了多個領域的作用及其非常復雜的相互作用--除了傳統的動能戰斗，還有政治、經濟和社會影響。該計劃研究了相互關聯的模擬子模型的使用，主要是系統動力學模型，以協助高級軍事和文職領導人在復雜的作戰環境中規劃和執行大規模戰役。非傳統作戰領域如網絡領域的重要性已經得到認可，2010年，北約的一個研究小組研究了評估網絡攻擊任務影響的模擬方法，并強調了網絡、人類和傳統物理領域之間相互作用的強大非線性效應。

在前面提到的研究工作中所采取的所有方法，以及許多其他類似的方法，都有主要的和一些共同的弱點。它們往往需要對問題領域進行嚴格、精確的表述。一旦這樣的表述被構建出來，它們往往能產生有效的結果。然而，一旦有新的元素需要被納入到表述中（例如，一種新的軍事資產類型或一種新的戰術），就需要進行困難的、昂貴的、手工的和長期的努力來“重新連接”問題的表述和微調解決方案的機制。而現實世界呈現出無窮無盡的新元素，必須加以考慮。

在20世紀80年代的基于規則的系統中，隨著越來越多的規則（它們之間的相互作用往往是不可預測的）必須被添加以代表現實世界中錯綜復雜的領域，一個系統將變得不可維護。在基于優化的方法中，同樣地，重要變量和各種約束條件之間無窮無盡的關系必須不斷地手動添加（維護的噩夢），以代表現實世界中復雜的領域。在基于游戲的方法中，由于越來越多的領域的現實情況不得不被手動設計并添加到游戲的表述中，管理每個棋子的合法移動和移動效果的規則將逐漸變得無可救藥地復雜。

簡而言之，這種方法在建立和維護表征方面是高成本的。理想情況下，我們希望看到一個系統能夠直接從真實或模擬世界的經驗中 "學習"（即自我規劃）其問題的制定和解決算法，而不需要任何（或很少）人工規劃。機器學習，特別是RL，正是提供了這樣的希望。這是我們項目背后的一個主要動機。

1.1 軍隊的相關性和問題領域

美國陸軍目前還沒有一個基于人工智能的、部分自主的任務指揮工具，在戰術或作戰層面上以高作戰節奏（OPTEMPO）運作。通常情況下，生死攸關的決定是由少數人在時間限制下利用不完善的信息作出的。目前可供規劃者使用的工具（如高級野戰炮兵戰術數據系統[AFATDS]、藍色部隊追蹤器等）通常僅限于分析戰場地形的基本決策輔助工具和記錄決策的自動化工具。指揮官在向下級提供快速OPTEMPO指導時，會遇到信息過載。戰斗損傷評估（BDA）很慢，而且不能與單位運動/傳感器與射手的聯系同步，也不允許利用優勢窗口。行動方案（CoA）分析主要集中在對友軍計劃的評估上，很少強調對手的目標和能力的復雜性。

隨著空間、網絡電磁活動（CEMA）和機器人資產的加入，MDO成倍地增加了C2的復雜性，這可能會使OPTEMPO比過去更高。此外，人類指揮官使用目前可用的決策輔助工具來提供高度詳細的指令將是難以解決的。有可靠的報告稱，美國的同行和近鄰競爭對手，特別是中國，正在大力追求人工智能在軍事上的應用，包括指揮決策和軍事推演（即兵棋推演）。因此，在追求人工智能C2系統的過程中，存在著很大的失敗風險，只有不斷地朝著這個目標前進，不斷地努力實現一個能夠在MDO中執行C2的人工智能系統，才能克服這個風險。

1.2 長期目標

到2035年，我們設想需要開發敏捷和適應性強的人工智能C2系統，用于復雜、高OPTEMPO、超活躍的MDO中的作戰規劃和決策支持。這些系統將不斷整合未來戰爭的幾個領域。設想中的系統將能夠分析敵人的活動；不斷地規劃、準備、執行和評估戰役，通過不斷地感知、識別和快速利用新出現的優勢窗口，使軍隊的能力得到快速反應。這些優勢窗口將在不同梯隊的MDO框架內的行動中出現，但識別和利用它們需要較少地依賴刻意的規劃周期，而更多地依賴持續、綜合的規劃能力。啟用人工智能的C2系統有可能在不同的梯隊、領域和多個同時運作的資產之間快速同步采取多種行動，以利用優勢窗口。部隊將主要由機器人資產（地面、空中）組成，人工智能C2系統將收集和處理來自智能傳感器和平臺的數據，評估作戰環境中的新趨勢，并建議采取減少認知負擔的行動，使人類指揮官能夠快速有效地采取行動。啟用人工智能的流程還將提供定量分析、預測分析和其他可供人類有效使用的突出數據。這最終將使美國陸軍有能力在武裝沖突期間，根據對敵人弱點的理解和詳細的友軍估計，重新分配、重組和使用能力，并將產生具體、詳細的指令來控制自主資產。

DEVCOM陸軍研究實驗室在機器人學、自主性、人工智能和機器學習方面有積極的研究計劃。本報告的作者領導了政府、學術界和工業界合作伙伴之間的大型合作機器人研究工作的研究和整合活動，在場景理解、人類與人工智能的合作、RL、多智能體強化學習和多智能體協作系統方面進行了開拓性的研究。此外，ARL還擁有廣泛的基礎設施來進行上述領域的研究。這包括用于機器人研究的地面和空中平臺；用于場景驅動研究的機器人研究合作園區（R2C2），能夠承載實時的、可擴展的、多領域的實驗；旨在支持人工智能和機器學習應用的新興要求的集裝箱式超級計算機；這只是其中的幾個例子。我們相信，這些專業知識和資源可以被用來建立一個成功的計劃，將人工智能納入C2應用。

1.3 DSI的目標

ARL主任戰略倡議（DSI）計劃是一個跨學科基礎和應用研究的機制，成功的提案可以跨越科學和技術學科的界限。該計劃確定了代表戰略研究機會的主題領域，對陸軍任務具有非常高的潛在回報，以擴大現有的計劃或建立新的核心能力，并在這些領域建立內部的專業知識。

作為20財政年度授予的 "用于MDO C2的人工智能 "DSI項目的一部分，我們探索基于DRL的算法在多大程度上可用于估計紅方部隊的狀態，評估紅方和藍方的戰斗損失（損耗），預測紅方的戰略和即將展開的行動，并根據所有這些信息制定藍方計劃。這種方法有可能為藍方部隊產生新的計劃，利用潛在的機會窗口，其速度比專家規劃者快得多。最近，DRL在非結構化戰略游戲中的成功提供了重要的暗示性證據，表明人工智能方法可能能夠基本上 "從零開始 "發現適當的戰術概念，并以高于人類的速度選擇、應用和執行戰略。

在這個DSI中，我們探索使用DRL在戰斗行動前制定詳細的計劃，并在執行正在進行的行動中生成實時計劃和建議。我們計劃在兩個關鍵領域推動技術水平的發展：1）構思、設計和實施基于DRL的智能體，以生成與專家計劃員生成的計劃一樣好或更好的計劃；2）將人類納入指揮和學習回路，并評估這些人工智能-人類（人在回路中）的解決方案。在為這種人工智能支持的C2開發途徑的同時，需要回答幾個研究問題。在這個DSI中，我們試圖回答三個具體問題：

• DRL C2智能體的訓練和數據要求是什么，以便準確和足夠快地學習？

• 我們如何才能使DRL智能體具有通用性，以便根據人類專家的判斷，特別是在以前未曾見過的細節被引入到一個情況中時，它們能夠合理地執行？

• 在人工智能支持的C2系統中，人類的干預有什么影響？

該項目第一年的重點是開發研究的基本構件，包括：1）通過調整和使用基于《星際爭霸II》和OpSim的環境來開發模擬能力和高級界面；2）開發執行C2功能的初始端到端人工智能；3）通過與高性能計算（HPC）環境整合來開發計算能力；4）初步確定數據量和訓練要求。本報告提供了這些任務中每個任務的細節。

2. 實驗能力

作為該項目的一部分，我們開發了C2模擬和實驗能力，包括與基于DRL的人工智能算法和國防部高性能計算系統上的可擴展RL的接口的模擬戰斗空間（圖1）。我們使用兩種模擬環境來生成C2場景：星際爭霸II學習環境（SC2LE）29和OpSim。虎爪，一個由卓越機動中心（Fort Benning，Georgia）開發的場景，在模擬環境中生成了真實的戰斗環境。最后，我們使用RLlib31，一個為RL提供可擴展軟件基元的庫，在HPC系統上擴展學習。

圖1 C2基礎設施概述

2.1 虎爪行動

虎爪行動（Tiger Claw）是一個預定義的戰斗場景，由紅軍和藍軍組成，由喬治亞州本寧堡的上尉職業課程的軍事主題專家（SME）開發。這個假想場景顯示特遣部隊（1-12 CAV）在區域內進攻，以奪取OBJ Lion，以便將師的決定性行動（DO）向東傳遞。特遣部隊的目標是穿越Thar Thar Wadi，摧毀紅色部隊，并奪取OBJ Lion（圖2）。特遣部隊包括使用M1A2艾布拉姆斯的戰斗裝甲，使用布拉德利的步兵戰車，野戰炮和迫擊炮，使用布拉德利的裝甲偵察騎兵，戰斗航空兵，防空兵和無人駕駛飛機。紅軍由裝備BMP-2M的機械化步兵、裝備T-90坦克的戰斗裝甲、野戰榴彈炮、裝備BMP-2M的裝甲偵察騎兵、戰斗航空兵、反裝甲兵和戰斗步兵組成。虎爪方案還包括由中小型軍事專家制定的藍軍和紅軍的可能計劃。這些計劃是根據作戰命令（OPORD）和相應的威脅戰術，使用理論上的力量部署產生的。虎爪方案已被納入OpSim和《星際爭霸II》，并作為一個基準基線，用于比較不同的神經網絡架構和獎勵驅動屬性。

圖2 TF 1-12 CAV在《虎爪》中的作戰區域（AO）。

2.2 《星際爭霸II》模擬環境

星際爭霸II》是一個復雜的實時戰略游戲，玩家要在高水平的經濟決策和低水平的個人控制可能的數百個單位之間取得平衡，以壓倒和擊敗對手的部隊。星際爭霸II》對人工智能有許多困難的挑戰，使它成為MDO中C2的一個合適的模擬環境。例如，游戲有復雜的狀態和行動空間，可以持續數萬個時間步驟，實時選擇數千個行動，并由于游戲的部分可觀察性或 "戰爭迷霧 "而捕捉到不確定性。此外，該游戲具有可用于MDO模擬的異質資產、固有的C2架構、嵌入式軍事（動能）目標，以及與更強大的模擬（例如，One Semi-Automated Force [OneSAF]）相比，實施/修改的學習曲線較淺。DeepMind的SC2LE框架將暴雪娛樂公司的《星際爭霸II》機器學習應用編程接口暴露為RL環境。這個工具提供了對《星際爭霸II》和相關地圖編輯器的訪問，以及RL智能體與《星際爭霸II》互動的接口，獲得觀察和發送行動。

作為DSI的一部分，一個SC2LE地圖是根據Tiger Claw OPORD和支持文件開發的（圖3）。通過重新繪制圖標以納入2525B軍事符號和與虎爪計劃相關的單位參數（武器、范圍、比例），游戲被軍事化。內部評分系統被重新使用，以計算RL的獎勵函數，其中包括任務目標的收斂（穿越瓦迪），藍色損耗的最小化，以及紅色損耗的最大化。

圖3 《星際爭霸II》中的虎爪地圖

2.2.1 《星際爭霸II》編輯器

虎爪劇情是在《星際爭霸II》中使用其編輯器重新創建的。這個編輯器包含在暴雪娛樂公司免費下載的《星際爭霸II》中，它有許多創建自定義內容的功能。掌握這些功能的一個很好的資源是專門用于編輯器的在線社區論壇。在下面的章節中，將詳細討論使用編輯器開發地圖、單位和獎勵的問題。

2.2.1.1 《星際爭霸II》地圖開發

我們使用《星際爭霸II》編輯器為《虎爪》場景創建了一個新的近戰地圖。地圖的大小是編輯器中最大的（256乘256），使用《星際爭霸II》的坐標系統。荒地瓷磚組被用作地圖的默認表面，因為它在視覺上類似于《虎爪》中AO的沙漠地區（圖4）。

圖4 《星際爭霸II》編輯器中的初始虎爪地圖

在最初的設置之后，我們使用地形工具修改地圖，使其大致接近AO的情況。關鍵的地形特征是無法通行的瓦迪，其交叉點有限。

距離縮放是創建場景的一個重要因素。在最初的地圖中，我們使用已知的地標之間的距離，將《星際爭霸II》的距離，使用其內部坐標系統，轉換為公里數。這種轉換對于在單位修改期間調整武器射程非常重要（圖5）。

圖5 修改后的《星際爭霸II》編輯地圖

最初的實驗使用《星際爭霸II》來可視化模擬復制品。這些回放的游戲感成為一個明顯的干擾因素。為了補救這個問題，我們希望采用其他的可視化方法，特別是ARL開發的混合現實環境Aurora。新的可視化方法使用AO的地理地圖。因此，有必要修改《星際爭霸II》的地圖，以便與AO的經緯度相一致。在修改后的地圖中，距離比例是通過將《星際爭霸II》的坐標轉換為經緯度來確定的。

2.2.1.2 《星際爭霸II》單位修改

為了模擬 "虎爪 "場景，我們選擇了與軍事單位能力相近的《星際爭霸II》單位。我們復制了《星際爭霸II》中的單位，并在編輯器中修改了它們的屬性以支持該場景。

首先，我們修改了這些單位的外觀，并用適當的MIL-STD-2525符號代替（表1）。在《星際爭霸II》中，每個單位都與多個角色相關聯，這些角色控制著該單位在游戲中的外觀。我們能夠將演員與他們的默認效果圖解開，有效地使這些單位不可見。接下來，我們將所需的軍事符號的圖像導入編輯器。最后，我們使用了SCMapster.com上發布的 "rr Sprite Engine"（LGPL 2.1許可）庫，將這些單位與它們的軍事符號聯系起來。

表1 虎爪部隊與《星際爭霸II》部隊的映射關系

為該場景修改的其他屬性包括武器射程、武器傷害、單位速度和單位壽命（它能承受多少傷害）。武器射程是從公開資料中發現的，并根據地圖的尺寸進行縮放。單位速度在《虎爪行動指令》中確定，并固定在該值上。傷害和生命的屬性是估算出來的，其指導原則是保持平衡的沖突。每個《星際爭霸II》單位通常只有一種武器，這使得模擬一個連級單位可用的各種武器具有挑戰性。額外的努力來提高單位修改的準確性，需要戰爭游戲的主題專家。

修改后的部隊被放置在地圖上，以接近虎爪的場景（圖6）。在實驗過程中，藍色部隊將由一個使用PySC2（DeepMind的SC2LE的Python組件）開發的智能學習智能體控制。此外，藍軍部隊被修改為沒有天生的攻擊性。換句話說，他們不會參與進攻或防守，除非有智能體的特別命令。為了控制紅色部隊，我們使用了兩種不同的策略。第一種策略是為紅色部隊的行動加入一個腳本化的CoA，在每次模擬中都會執行。該部隊默認的攻擊性屬性控制它如何與藍方交戰。第二種策略是讓《星際爭霸II》的機器人AI控制紅方部隊執行全面攻擊，或在編輯器中稱為自殺。內置的《星際爭霸II》機器人有幾個難度級別（1-10），這決定了機器人的熟練程度，其中1級是一個相當初級的機器人，可以很容易地被擊敗，10級是一個非常復雜的機器人，使用玩家無法獲得的信息（即一個作弊的機器人）。最后，環境因素，如戰爭迷霧，在不同的實驗中被切換，以調查其影響。

圖6 使用MILSTD2525符號的星際爭霸II

2.2.1.3 星際爭霸II的獎勵實現

獎勵功能是RL的一個重要組成部分，它通過對每種情況給予積極或消極的獎勵來控制智能體人對環境變化的反應。我們在SC2LE中加入了虎爪場景的獎勵功能，我們的實現超越了SC2LE內部的評分系統。原來的計分系統根據玩家的單位和結構的資源價值進行獎勵。我們的新計分系統只關注游戲的軍事方面，即獲得和占領新的領土，以及摧毀敵人。

我們的獎勵功能為藍軍越過瓦迪（河流）提供+10分，為撤退提供-10分。此外，我們還對摧毀紅軍部隊給予+10分，如果藍軍部隊被摧毀則給予-10分。

為了實現獎勵功能，首先需要使用SC2LE編輯器來定義地圖的各個區域和目標。區域是由用戶定義的區域，它被觸發器所利用（圖7）。

圖7 《星際爭霸II》中的區域和目標

觸發器是創建一套指令的模板，允許用戶將與特定事件相關的效果編入模擬中（圖8）。一般來說，一個觸發器由以下部分組成。

• 事件。啟動觸發器（例如，一個單位進入一個區域）。

• 變量。存儲信息。(例如，BlueForceScore，藍軍的得分）。

• 條件。對行動的限制，需要在行動發生時為真。(例如，單位是藍色部隊的成員）。

• 行動。事件的結果或成果（例如，單位獲得積分）。

圖8 《星際爭霸II》中虎爪場景的觸發實例

作為未來工作的一部分，我們計劃根據指揮官在虎爪警告令（WARNORD）中的意圖所定義的具體團隊目標來納入額外的獎勵。獎勵功能將試圖訓練智能體維持單位作為團隊，作為團隊一起參與預定目標，并創造對軍事主題專家來說合理的最佳行為。

2.3 OpSim模擬環境

OpSim是由科爾工程服務公司（CESI）開發的決策支持工具，提供計劃支持、任務執行監控、任務演練、嵌入式訓練以及任務執行監控和重新計劃。OpSim與SitaWare指揮、控制、通信、計算機和情報（C4I）集成，后者是由項目執行辦公室指揮控制通信-戰術（PEOC3T）投入使用的指揮所計算環境（CPCE）的重要組成部分，使各級指揮部門能夠共享態勢感知并協調作戰行動，從而使其成為直接與作戰任務指揮相連的嵌入式模擬。它從根本上被構造成一個基于可擴展的面向服務架構（SOA）的模擬，能夠比目前最先進的模擬環境如OneSAF和MAGTF戰術戰爭模擬器（MTWS）運行得更快。傳統的建設性模擬最多運行1-20次墻鐘時間，而OpSim可以運行30次虎爪的復制--如果實時連續運行，需要240小時。OpSim中模擬計劃的輸出包括根據彈藥支出、傷亡、設備損失、燃料使用等標準對藍軍計劃進行綜合排名。然而，OpSim工具并不是為人工智能應用而設計的，必須通過整合接口來運行基于DRL的算法。開發了一個OpenAI Gym接口，以暴露模擬狀態，并向外部智能體提供模擬控制，能夠為模擬中的選定實體提供改變的行動，以及在回應接口之前的模擬時間。

2.4 使用OpenAI Gym和RLlib接口的深度強化學習

強化學習可以被形式化為一個馬爾科夫決策過程，由一組行動、一個過渡概率函數、一個獎勵信號和一個環境狀態組成。32 在RL中，目標是找到一個最佳行動，使預期的、累積的折現獎勵之和最大化。將深度神經網絡與RL結合起來，DRL將深度神經網絡架構與RL框架結合起來，以接近環境中各狀態的最佳行動。DRL的設計包括以下部分：狀態空間（環境狀態表示）、行動空間（行動集）、獎勵信號和一個深度神經網絡。

對于環境狀態的訪問，RL框架使用類似OpenAI Gym的接口與OpSim和StarCraft II模擬器，為RL提供環境的抽象（圖9）。OpenAI Gym是一個開源的軟件包，為RL的開發和測試提供了一個具有通用接口的環境集合。OpenAI Gym專注于RL環境的抽象化，從而保持智能體開發的靈活性。兩種模擬環境中使用的具體行動、狀態空間和獎勵信號將在后續章節中詳細討論。

圖9 使用OpenAI Gym與OpSim和StarCraft II模擬器的RL框架

DRL需要智能體與環境互動的許多情節來收集經驗，一個標準的方法是通過平行數據收集來擴展。在這個項目中，HPC被用來擴展DRL算法，以支持智能體群體從成千上萬的平行實例中學習，以解決C2的行動空間復雜性。ARL的FOB系統最初用于分布式訓練，然后被移植到國防部超級計算資源中心（DSRC）的最新SCOUT系統。FOB系統是一個由64個節點組成的實驗性異構集群，每個節點有一個英特爾8核至強CPU和64GB的內存。SCOUT是位于ARL DSRC的一個非保密的HPC-in-a-container系統，有22個訓練節點和128個推理節點。SCOUT的每個計算節點都配備了IBM Power9 40核處理器，推理節點有256GB內存，訓練節點有700GB內存。

同時，RLlib，一個由加州大學伯克利分校RISELab開發的可擴展RL框架的開源庫，被用于執行分布式學習。RLlib提供了一個與框架無關的機制，以便在OpSim和StarCraft II上有效地擴展DRL神經網絡架構的訓練。該框架部署在HPC系統上，以展示RLlib算法在系統的多個節點上的擴展性，并提供可定制的神經網絡模型和模擬環境的靈活性。

3. 結果和討論

利用第2節所述的基礎設施，我們為《星際爭霸II》和OpSim環境開發了一個端到端的DRL框架，并進行了初步實驗。在這一節中，我們將描述網絡架構、實現和一些初步的實驗結果。

3.1 使用《星際爭霸》的深度強化學習

我們使用第2.2節中描述的戰術版《星際爭霸II》訓練了一個多輸入和多輸出的深度強化神經網絡。我們使用了異步優勢演員批判（A3C）算法，這是一種由多層卷積網組成的狀態輸入處理方法，長短期記憶（LSTM）遞歸層給網絡增加了記憶。

3.1.1 異步優勢演員批判結構

在《星際爭霸II》中，狀態空間由7個大小為64x64的迷你地圖特征層和13個大小為64x64的屏幕特征層地圖組成，總共有20個64x64的二維圖像（圖9的左側面板）。此外，它還包括13個非空間特征，包含玩家資源和建造隊列等信息。這些游戲特征是用輸入處理管道來處理的，如圖10所示。星際爭霸II》中的動作是函數形式的復合動作，需要參數和關于該動作要在屏幕上發生的位置的說明。例如，像 "攻擊 "這樣的動作被表示為一個函數，需要屏幕上的X-Y攻擊位置。行動空間由行動標識符（即運行哪個行動）和兩個空間行動（x和y）組成，這兩個空間行動被表示為兩個長度為64個實值項的向量，在0和1之間。 表2劃分了觀察空間、行動空間和《星際爭霸II》模擬的獎勵。

圖10提供了星際爭霸II任務中相互嵌入模型和A3C智能體的狀態輸入處理管道的概述。星際爭霸II提供了三個主要的狀態信息流：小地圖層、屏幕層和非空間特征（如資源、可用行動和建造隊列）。小地圖和屏幕特征由相同的兩層卷積神經網絡（CNN）處理（頂部兩行），以便分別提取地圖的全局和局部狀態的視覺特征表示。非空間特征通過一個具有非線性激活的全連接層進行處理。然后，這三個輸出被連接起來，形成智能體的完整狀態空間表示，以及基于狀態的相互嵌入模型的部分。

圖10 《星際爭霸II》的狀態輸入處理

表2 《星際爭霸II》模擬的觀察空間、行動空間和獎勵

A3C是優勢行動者-批評算法的分布式版本，其中創建了行動者的多個平行副本，以同時執行行動和收集經驗。讓多個行為體收集經驗可以提高探索效率，從而改善學習。我們使用的A3C智能體的結構類似于Mnih等人的Atari-net智能體，它是一個從Atari改編的A3C智能體，在SC2LE狀態和行動空間上運行。我們對這個智能體做了一點修改，增加了一個LSTM層，因為Mnih等人的研究表明，增加模型的內存可以提高性能。我們的A3C智能體的結構如圖11所示。

圖11 A3C智能體的結構。這里顯示的是一個完整的RL智能體及其與《星際爭霸II》的連接示意圖。作為典型的政策性智能體，這里的A3C智能體（綠色）從任務環境中獲取狀態和獎勵信息，并使用這些信息來計算下一個時間步驟的行動，以及計算梯度來增加獎勵最大化。

3.1.2 實驗和結果

我們用20個并行的演員學習者來訓練A3C模型，使用了8000個模擬的《星際爭霸II》機器人的戰斗，操作由DeepMind開發的手工制作的規則。如果BLUEFOR穿過瓦迪或OPFOR排被摧毀，則提供+10的正強化，如果BLUEFOR被摧毀則提供-10的負強化。

我們在《星際爭霸II》的 "虎爪 "場景中對訓練好的A3C模型進行了100次的測試。這些模型與具有隨機行動的隨機基線以及人類玩家與《星際爭霸II》機器人進行的10場模擬戰斗進行了比較。圖12中提供了收集到的指標的匯總圖，包括總的情節獎勵和藍軍的傷亡人數。我們看到，與人類玩家相比，人工智能指揮官不僅取得了相當的表現，而且在任務中表現得稍好，同時還減少了藍軍的傷亡。

圖12 與人類和隨機智能體基線相比，訓練有素的人工智能指揮官（A3C智能體）的總獎勵和BLUEFOR傷亡情況。人工智能指揮官能夠實現與人類基線相當（略好）的獎勵，同時減少藍軍的傷亡。

3.2 使用OpSim的深度強化學習

為OpSim模擬環境開發了兩種類型的指揮官。第一種是基于專家設計的規則引擎，由喬治亞州本寧堡的軍事主題專家使用理論規則開發。第二種是DRL訓練的神經網絡，采用A2C算法訓練的多輸入多輸出的LSTM神經網絡。A2C與A3C類似，但沒有異步部分。OpSim的RL界面支持多智能體訓練，每個部隊可以是基于規則的，也可以是人工智能指揮官。

政策網絡首先在FOB的15個節點上進行訓練，75個平行工作者收集了482k次模擬戰斗，耗時36小時。此外，在SCOUT系統上應用和訓練了局部切面位置和無目標獎勵更新。有了更新的觀察和獎勵，39個平行工作者收集了175k次戰斗經驗，花了37小時。

觀察空間由17個特征向量組成，其中觀察空間是基于每個實體的設備傳感器的部分觀察。與S2CLE不同，OpSim目前不使用圖像輸入或屏幕圖像的空間特征。行動空間主要包括簡單的運動和交戰攻擊（表3）。

表3 OpSim模擬的觀察空間、行動空間和獎賞

3.2.1 實驗和結果

訓練好的模型用100個推出的模擬結果進行評估，在檢查站使用凍結政策，BLUFOR的平均獎勵最高。在SCOUT上，4510號檢查站的BLUFOR政策平均獎勵達到了200，OPFOR政策平均獎勵達到了-322的滾動平均值。對100次滾動的分析表明，經過DRL訓練的BLUFOR智能體將損失從4左右降至0.5，而增加了OPFOR的損失（圖13）。這一結果是通過采用僅使用戰斗裝甲連和戰斗步兵連進行交戰的策略達到的。它學會了利用BLUFOR最致命的部隊與Abrams和Bradleys的策略，同時保護脆弱的資產不與OPFOR交戰（圖14）。

圖13 主題專家和人工智能指揮員之間的實體損失比較

圖14 一次推廣的開始和結束的快照

4. 結論

作為DSI的一部分，為C2的DRL開發了兩個新型測試平臺。基于StarCraft II和OpSim。使用這些最先進的測試平臺開發了端到端的DRL方法。該基礎設施被移植到國防部的HPC系統中，以擴大訓練的規模，進行平行數據收集。

初步實驗結果顯示，初步觀察到DRL在沒有預編碼知識的情況下實現了有效和合理的C2，基于DRL的 "人工指揮官 "可以在模擬的旅級戰斗中執行綜合規劃-執行過程。一些結果，特別是在《星際爭霸II》的環境中，表明人工智能采取的策略與有能力的人類玩家的策略相當。它還表明，計算資源并不是人工智能在C2中的障礙；我們看到使用HPC系統學習的速度足夠快，在37小時內就能收斂。總之，DSI的第一年提供了充分的證據，表明基于學習的人工智能有可能被用作未來軍事行動C2的關鍵技術。

• 本研究由美國陸軍研究實驗室贊助，根據合作協議號W911NF-21-2-0227完成。

?在日益復雜的軍事行動環境中，下一代兵棋推演平臺可以減少風險，降低作戰成本，并改善整體結果。基于具有多模態交互和可視化能力軟件平臺的新型人工智能（AI）兵棋推演方法，對于提供滿足當前和新興戰爭現實所需的決策靈活性和適應性至關重要。我們強調了未來作戰人-機器交互的三個發展領域：由人工智能引導的決策指導，高計算力下的決策過程，以及決策空間的真實呈現。這些領域的進展將使有效的人機協作決策得以發展，以滿足當今戰斗空間日益增長的規模和復雜性。

關鍵詞：決策、交互、兵棋推演、人工智能、增強/混合現實、可視化

1 引言

在傳統的兵棋推演中，指揮官利用一個共同的基于地圖的作戰地形，并在軍事決策過程（MDMP，方框1）中模擬各種因素的組合如何產生行動方案（COA）、可能的反擊行動、資源使用估計和預測結果（美國陸軍，1997年，2014年，2015年）。在幾天或幾周的時間里，MDMP過程導致了一套精煉的COAs，它對作戰環境做出了一定的假設，包括地形、天氣以及戰區資產的可用性和能力（即塑造支持主要作戰行動的活動）。

盡管MDMP幫助指揮官了解作戰環境和考慮作戰方法，但這個過程有很多局限性，如時間密集、假設僵化、跨場景訓練的機會有限，以及將人工智能（AI）指導納入決策過程的機會很少。傳統上，一項任務的成功與指揮部執行MDMP的能力直接相關。然而，鑒于當今多域作戰（MDO）的復雜性增加（Feickert，2021年），有大量的任務指揮系統和流程，與行動相關的所有活動的整合和同步變得越來越困難，甚至到了人為無法完成的地步。由于MDMP的缺陷而導致的規劃專業知識的缺乏，可能會導致不同步和不協調的行動，從而最終導致士兵的生命損失。

MDMP中沒有具體描述戰斗空間的可視化能力，但它顯然在決策過程中發揮著重要作用。最近，集成了先進可視化能力的新系統和新技術已經被開發出來，它們可以提高態勢感知，從而增強決策過程。美陸軍的例子包括Nett Warrior（Gilmore，2015），它使下馬戰士能夠直觀地看到附近的友軍和敵軍，同時根據當地的地形協同規劃戰術任務。盡管這項技術將無線電和數字地圖擴展到了下馬戰士，但它缺乏一個底層的人工智能引擎來提供決策幫助。戰斗空間可視化和交互平臺（BVI，前身為增強現實沙盤，ARES）是陸軍技術的另一個例子，它能夠為任務規劃提供分布式協作，具有從任意視角和廣泛選擇設備的共同作戰畫面的二維和三維可視化能力（Su等人，2021）。BVI架構的制定是為了拉入外部計算服務，如分析管道、模型和人工智能引擎。美陸軍研究實驗室正在努力將這些類型的服務納入BVI，包括用于加強決策支持的人工智能。

目前，MDMP并沒有將人工智能指導納入整體任務規劃方法中。美陸軍的自動規劃框架（APF）（Bailey，2017）開始通過將自主技術插入MDMP工作流程來解決人工智能輔助決策問題。指揮人員可以通過APF的數字規劃呈現、規劃創建和規劃監控工具，在任務規劃和COA開發期間獲得背景援助。任務執行和估計能力通過監測任務的規劃和實際進展，為改進決策跟蹤和支持活動提供自動協助。盡管APF為MDMP引入了基本的自動化水平，但它缺乏Nett Warrior和BVI所提供的先進的可視化和用戶互動能力。

提供地面部隊自動化和用戶可視化能力的是美陸軍最知名的兵棋推演平臺--半自動化部隊（OneSAF），為計算機生成的地面部隊提供建模和模擬能力（PEO_STRI, 2022）。OneSAF提供了半自動和全自動的軍事實體（即士兵、坦克、直升機和綜合單位）的建模，在類似真實世界的戰斗空間中以不同的保真度來支持特定的應用和場景。OneSAF主要用于訓練，并與目前的任務指揮系統具有互操作性。它可以使用多分辨率的地形和詳細的實體相關數據庫來模擬廣泛的作戰環境。然而，OneSAF對地形和實體系統的高保真建模的優勢使得它的設置和運行成本很高。它受到老化系統的限制，而且眾所周知，士兵需要大量的培訓來學習如何操作模擬，使用起來很困難（Ballanco，2019）。OneSAF的復雜功能并不適合開發人工智能能力，以實現快速和敏捷的戰士-機器決策。

除了MDMP和上面提到的陸軍平臺外，最近將人工智能納入決策過程的工作包括一些方法（Goecks等人，2021a），在模擬人類決策過程方面取得了一些成功。一般來說，人工智能在決策變量有限的問題上取得了一些成功，如資源分配（Surdu等人，1999）、飛行模擬器（Drubin，2020）和更簡單的場景。正在進行的挑戰包括需要提高人工智能的能力，以解決有多個行為者、不完整和可能沖突的信息、不斷變化的單位行動和環境屬性的復雜決策，以及需要將這些決策的后果在許多空間和時間尺度和領域內可視化。

以下各節描述了對MDMP的潛在改進。"未來軍事決策過程所需的進步"一節概述了支持MDO決策的三個研究領域，并以圖表形式描述了這些研究領域與軍事理論決策方法之間的關系。"未來軍事決策過程所需的進步 "一節中的小節對每個研究領域進行了更深入的討論。"展望推進人-人工智能團隊決策的交互技術 "一節概述了未來的作戰人員-機器接口（WMI）的發展方向，重點是與決策有關的人-人工智能團隊的跨學科研究。

2 未來軍事決策過程所需的進步

軍事決策過程在支持MDO復雜決策方面的局限性，突出了在三個研究領域的改進需要。首先，有必要將人工智能產生的指導和輔助決策支持納入MDMP。這既包括進一步開發和整合人工智能到戰斗空間決策規劃，也包括進一步改善人工智能決策過程的可解釋性和透明度（Chen等人，2018）。第二，有必要在戰略層面以及戰術邊緣，盡可能地將決策分析與高性能計算（HPC）的力量結合起來。這將能夠利用HPC系統的力量來支持建模、分析和計算時間，同時整合和同步來自所有戰區領域的信息。最后，有必要利用先進的可視化技術，如混合現實技術，對決策空間進行更準確和互動表述。不是簡單地在一個固定的時間尺度上顯示地形的二維渲染，而是需要可視化不同領域的決策是如何相互作用的，并利用混合現實技術來提高理解的吞吐量，并產生平面顯示不可能的洞察力。

除了MDMP之外，其他更廣泛適用的支持戰斗性問題解決的軍事理論包括：DOTMLPF[例如，學說、組織、訓練、物資、領導、人員和設施；（美陸軍，2018年）]，這是一個確定差距并為當前和未來作戰要求提出設計解決方案的框架；以及METT-TC[例如，任務、敵人、地形和天氣、部隊、可用時間和民事考慮；（美陸軍，2019年）]，這是一個結構化框架，用于捕捉任務相關因素的狀態，以便在軍事行動期間進行共享評估。這些理論定義了MDO戰場的信息背景，構成了應用于上述三個研究領域的軍事決策的核心基礎。如圖1所示，在為人類和人工智能指揮開發復雜軍事決策空間的新表述時，研究進展和MDO相關理論相互借鑒、相互啟發、相互加強（美陸軍，2010）。

圖1. 新型作戰人員-機器交互（WMIs）和人工智能輔助決策所需的三個研究發展領域，以支持和加強基本的MDO理論[右下圖來源：Lebsack（2021）]。

2.1 人工智能導向的決策指導

需要新的人工智能支持的WMI，以利用人工智能決策方面正在取得的進展，并為復雜的適應性決策的人工智能學習作出貢獻。在簡化的戰斗空間中測試人工智能決策輔助工具是開發過程中重要的第一步，也是將人工智能納入更成熟的戰斗空間平臺（即BVI、OneSAF）的前奏。開發用于決策輔助實驗的人工智能測試平臺可以在MDO中產生能力越來越強的潛在COA建議。圖2顯示了陸軍開發的兩個人工智能測試平臺的例子。

圖2. 兩個ARL人工智能測試平臺的例子。左邊：ARL Battlespace（Hare等人，2021）（ //github.com/USArmyResearchLab/ARL_Battlespace ）。右邊：ARL的Simple Yeho測試平臺。圖片由C. Hung制作。

人工智能測試平臺能夠開發出匯集所有領域信息的AI，并計算出人類和AI智能體的風險和預期回報。圖2的左側顯示了ARL戰斗空間測試平臺（Hare等人，2021年），它是從頭開始開發復雜決策的新型人工智能的理想場所。它對戰斗空間的抽象強調了軍隊相關場景下的核心推理原則，在這種情況下，用蜜罐進行網絡欺騙。較小的網格空間使人工智能的學習和發展能夠集中在不確定性下的復雜推理，有多個友好和敵對的agent。圖2的右側顯示了ARL的Simple Yeho測試平臺，它提供了將人工智能開發與更多真實世界場景中的默契推理結合起來的能力，有多個基于地形的海拔高度、視線范圍、障礙物、樹葉（隱蔽）、道路和城市區域。紅色陰影和黑色線條表示任務的起點和終點、左右邊界以及人工智能建議的路線。這種額外的真實性使其能夠與MDO理論相結合，包括DOTMLPF和METT-TC，并使人工智能與自然的、機會主義的士兵行為共同發展。這兩個人工智能測試平臺都可以擴展為傳統和沉浸式混合現實WMI開發平臺。

使用漸進式和可擴展的人工智能測試平臺，可以調查現有人工智能的幾個基本限制，特別是對于具有不確定性的復雜和適應性決策，以及人類和AI智能體的協作和對抗。對多智能體的協作和對抗性決策進行建模可能特別復雜，因為其遞歸性質，其他智能體是模型的一部分（Goldman，1973；Grüning和Krueger，2021），需要對決策特征、個性化的價值、風險規避、記憶和注意力進行動態和不斷發展的估計。這些具有高度不確定性、復雜性和動態性的情況是人類擅長的領域，適當設計的交互界面和人工智能測試平臺的人機協作可以提供加速和更有效的決策。對于有效的團隊合作，新穎的WMI應該幫助作戰人員篩選復雜的信息，并幫助人工智能發現決策的隱含規則。下面，我們提供了關于人機協作如何有效的案例。

多域兵棋推演中需要的復雜決策是開發有效人工智能決策輔助工具的直接挑戰。最近人工智能在圍棋、國際象棋、Minecraft和大富翁等游戲中的成功（Silver等人，2017；Goecks等人，2021b；Haliem等人，2021）是基于對世界現有狀態有完整了解的游戲（即 "開放 "游戲），而兵棋推演平臺通常包括關于作戰環境的不完整（如星際爭霸）、不確定或欺騙性信息（Vinyals等人，2019）。不確定性也可能來自變化的物理學或其他環境規則，正如在《憤怒的小鳥》中所探索的那樣（Gamage等人，2021）。由于世界狀態、不同行動者的狀態以及所采取的行動不確定性，知識的缺乏使得人工智能agent難以計算未來行動的風險回報情況（Cassenti和Kaplan，2021）。不確定性也限制了人工智能估計其他行為者的風險回報概況的能力，而這是計算有效的博弈論策略所需要的。人工智能被可能的最優和近似最優選擇的廣度所淹沒（Lavine，2019），即由于信息有限而選擇錯誤的選項，這種情況并不罕見，因為人類在制定有效探索隱藏信息的策略時，采用啟發式方法進行有效的選擇和預測（Gardner，2019）。為了幫助發展人工智能的隱性知識和探索能力，新型的WMI需要有效地解釋和展示決策景觀，以使作戰人員能夠快速和自然地瀏覽可能的選擇，同時使人工智能能夠在不施加認知負擔的情況下從人類的決策中機會主義地學習（Lance等人，2020）。這種機會主義學習可以包括：例如，凝視跟蹤，以捕捉吸引人類興趣和意圖的視覺區域和未標記的目標。它們還可以包括建立在自然的士兵選擇行為基礎上的行動者批評方法，以改善人工智能對人類專家在不確定、不完全信息和欺騙的情況下如何優先考慮某些選擇的學習，這取決于任務相關的背景。

開發人工智能的WMI的另一個基本挑戰是如何有效地整合和顯示MDO中所有五個領域的信息，特別是空間和網絡，因為這些領域的信息具有不同的時空尺度（Gil等人，2018）。對于網絡，決策的規模和速度可能比人類處理和理解的能力更快，需要人類的輸入來指導半自動化的決策，以及實施進攻和防御性欺騙策略的人工智能。WMI需要能夠以這樣的方式顯示決策圖景，即可以解釋一小部分最優和接近最優的決策策略（例如，圖3中的決策樹）。這應該包括對關鍵agent在不確定情況下的未來狀態和風險回報情況的估計（Hare等人，2020），以使有效的博弈論決策能夠被共同開發和相互理解。

圖3. 在頂部，是BVI網絡戰術規劃器應用程序中友軍與敵軍戰爭場景的三維視圖。三維視圖提供了一個比二維視圖更真實的決策視角，例如，顯示友軍（藍色）和敵軍（紅色）機載預警系統（AEWs）和周圍地形的海拔。這使得快速審查可能的視線和相對于周圍地形的感應。下面是人工智能的導航決策樹，為人工智能計算的幾個關鍵選擇的風險/回報概況以及它們如何映射到地形上提供透明度。這種抽象的決策空間還可以整合非空間決策，例如網絡欺騙。虛線表示與友方AEW的通信聯系和對敵方AEW的可能干擾。圖片由C. Hung制作。

這些挑戰為有效的WMIs設計提供了參考。也就是說，我們需要有能力從不同的來源（包括從其他國家的決策輔助工具）提取信息，以及一個能夠承載整合這些信息的計算能力的架構，同時還要處理基礎的人工智能計算（用于學習和部署）。我們還需要共同開發一個界面和算法設計，以適時地利用人類和人工智能agent的優勢并減少其局限性。

2.2 高計算能力下的決策過程

在復雜的決策過程中，需要大量的計算能力來處理和記錄所有組件、實體和狀態空間。從積累的動態狀態空間的數據集中建立過去、現在和預測模型，需要利用HPC資源來產生分析性的見解，并在決策背景下創建有用的表述。

實施HPC分析工作流程的一種方法是使用持久性服務框架（PSF）。PSF是一個最近可用的分布式虛擬化解決方案，它可以通過一個基于網絡的前端實現對HPC服務的非傳統訪問，而不像傳統的HPC環境，計算節點在特定的時間段內以批處理模式分配給用戶。此外，PSF提供對數據、數據庫、容器化工具集和其他托管平臺的分布式連續訪問（Su等人，2021）。

在一個PSF方法的例子中，一個模擬引擎連接到PSF，用于記錄人類和人工智能做出的所有決定。這允許分析在任務規劃和COA開發過程中發生的決策行為，以及識別決策模式和戰略，以開發競爭性和現實的兵棋推演場景。一個戰斗空間可視化平臺可以托管在PSF上，并使用消息傳遞協議來更新所有連接的設備接口。來自模擬引擎的狀態信息可用于生成戰斗空間和參與作戰單位的圖形表示。

使用PSF方法并利用HPC資源，可以實施人工智能輔助決策機制，利用大數據攝取和分析，同時可供地理分布的用戶用于協作決策工作和 "永遠在線 "的個性化培訓和紅色團隊。連接到PSF托管服務器的各種混合現實顯示模式可以支持一系列作戰場景，從戰略層面的指揮和控制到作戰邊緣的更多移動戰術使用。

2.3 決策空間的真實呈現

用圖形表示各級行動的軍事決策戰略需要新的可視化方法，這些方法可以應用于以規則變化、認知狀態、不確定性以及個人偏見和啟發式方法為特征的動態環境（Dennison等人，2020；Hung等人，2020；Raglin等人，2020）。戰斗空間的視覺表現應該在技術上盡可能準確和逼真，但又保持在人類可以理解和解釋的認知水平（Kase等人，2020；Larkin等人，2020；Hung等人，2021）。融合了混合現實技術的先進可視化方法有可能更好地表現多領域戰爭的變化特征及其不斷變化的威脅和動態環境。隨著最近混合現實可視化設備的技術進步，成本降低，硬件的可靠性和實用性顯著提高，混合二維和三維可視化方法現在已經成為可能。

由多個二維顯示器組成的混合現實方法增強了更先進的三維可視化能力，可以為指揮人員提供理解復雜的兵棋推演狀態空間所需的洞察力（Su等人，2021）。當需要一個共享的戰斗空間表示時，可以通過在不同的可視化模式上實現多個協調的視圖來實現協作的戰略規劃模式，以根據分布式指揮人員的輸入進行互動更新。

BVI（Garneau等人，2018）平臺表示地理空間地形信息和地圖圖像，允許指揮人員建立和修改戰術任務規劃和COA。作為一個數據服務器，BVI將地形和作戰數據分發給支持多種可視化模式的客戶端應用程序，包括頭戴式顯示器設備、基于網絡的界面、移動安卓平板設備和混合現實設備（例如，HoloLens 2、Oculus Quest）。

例如，圖3（頂部）顯示了位于加利福尼亞州圣貝納迪諾縣歐文堡國家訓練中心的高分辨率地形上的友軍與敵軍的兵棋推演場景（Wikipedia, 2021）。與MDMP期間經常使用的傳統2D地圖顯示相比，戰斗空間的3D視圖可以從多個觀察角度提供更豐富的用戶體驗。三維視圖，在BVI的網絡戰術計劃器（WTP）中，將地形和人工特征的空間信息以及由MIL-STD 2525C符號描繪的單位位置可視化（美國防部，2014）。可以想象，地理空間視角，如BVI提供的視角，支持決策者對動態戰斗空間環境的理解。與可導航的人工智能增強的決策空間（圖3，底部）搭配，組合的視角可以使人們更好地理解視覺空間依賴性、影響和因果關系、估計的風險和價值、不確定性以及復雜決策的欺騙性。將這種以地理空間和決策為中心的視角與人工智能相結合，可以提供必要的廣度，以協調物理行動與網絡和其他非空間領域的行動，跨越多個時間尺度，并具有快速適應變化的任務目標的靈活性。

3 人-人工智能團隊決策的交互技術展望

人工智能和人-人工智能團隊的快速發展需要WMI同步發展。隨著新型人工智能對有價值的COA產生更好的預測，并能更好地處理復雜的決策，它們也必須利用人類的專業知識，學習如何處理具有高度不確定性、欺騙、隱性知識和博弈論的決策。相反，人工智能的推理必須既抽象又能與兵棋推演環境相聯系，以實現透明和信任，同時又不造成過度的認知負擔。基于三維混合現實的WMI可以利用和增強人類固有的三維認知和預測能力（Welchman等人，2005；Kamitani和Tong，2006；Kim等人，2014；Boyce等人，2019；Krokos等人，2019），如果設計得當，其交互將感覺自然，同時擴大顯示多個領域的信息的能力，同時使AI能夠適時地從用戶的決策中學習。

我們強調了三個關鍵的發展領域，即人工智能引導的決策指導，支持這種指導的計算基礎設施，以及決策透明度的混合現實表現的發展。這些領域的進步需要跨越許多不同學科的專業知識。新的人工智能發展需要融合神經科學、心理學和數學的思想，以克服復雜決策中長期存在的問題的瓶頸。這包括跨時間尺度的學習和變化環境下的災難性遺忘，以及更具體的兵棋推演問題，如具有不確定性、欺騙和博弈論的多Agent決策。計算基礎設施也需要發展，因為計算能力和數據框架對于在戰術邊緣產生人-人工智能團隊的共同操作圖來說都是必不可少的。為了有效地開發，應該通過一個共同的框架來抽象出專有的限制和軟件的依賴性，并為使用和故障排除提供清晰的文檔，以使學術界、政府和工業界更好地專注于解決人與人工智能的合作問題。這個通用框架應該包括有效的信息傳遞，同時提供靈活性和適應性，以滿足人工智能開發和人類用戶在訓練和實際使用環境中的需求。最后，交互技術的開發本身需要跨學科的協同專業技術。一個基礎性的問題是如何壓縮信息使之被用戶有效地理解，以及如何最好地利用用戶的互動來進行機會主義學習。人類的大腦并不處理所有的感官信息，而是對世界進行預測和假設，以便在信息不完整的環境下節約計算。一個有效的WMI應該同時預測潛在的決策結果以及個人用戶的期望和假設。此外，人工智能決策輔助工具必須估計用戶的默契，使其能夠提供最相關的信息和最有希望的選擇，這些信息來自整個作戰領域。

結論

信息作戰和指揮與控制（C2）是美國陸軍可以向盟友和伙伴提供的兩種能力。在未來的作戰環境中，不僅要為動能作戰做準備，而且要為混合作戰和以信息為重點的戰爭做準備。這需要在復雜和默契推理的人工智能能力方面取得進展，在能夠提供持續訓練、分布式混合決策和大數據分析系統方面取得進展，以及在人與人工智能協作決策和機會主義學習方面取得進展，以實現人工智能的持續進步和人與人工智能的共同適應。這些進展中的每一項都需要跨學科的計劃性努力，以克服復雜的技術挑戰，創造新的決策原則、理論和理論方法，包括持續開發綜合測試平臺和技術，以實現政府、學術界和工業界的合作和協同發展。