“聯合規劃過程”是一份描述巴西武裝部隊使用準則的文件。軍隊也可以將這些準則用于教育目的，在和平時期培訓參謀人員。巴西國防部打算模擬軍事力量的運用，以加快決策周期，增加行動成功的機會。更好地規劃行動，更好地評估風險。作戰方案（COA）兵棋推演模擬了每個友軍的作戰方案與可能的敵軍作戰方案。然而，理論過程缺乏描述如何進行作戰方案推演的信息。因此，理論上的知識僅限于系統化的分析。COA兵棋推演一直是主觀的，并且依賴于隱性知識。這項工作的目的是提出一種實施COA兵棋推演的方法，以及構建COA兵棋推演的概念模型，以便能夠進一步使用計算機系統來支持其進行。兵棋推演的概念啟發了這個游戲的設計。兵棋推演被定義為合成環境中沖突的建模或模擬，涉及敵對勢力，玩家根據規則、程序和信息做出決策。將COA兵棋推演改進為一個教育性兵棋推演工具，可以模擬軍事計劃，支持玩家建立有效的戰略，支持教官分析玩家的決定和裁判交戰，并建立一個技術框架來收集決策數據，以便將來應用于知識管理和人工智能。

研究方法

設計科學（DS）的認識論范式是這項研究的基礎。DS專注于建立知識的過程，并產生與全球實踐和研究社區相關的結果（Johannesson & Perjons, 2014）。DS包括對設計一個新的人工或改進現有人工制品以解決一個問題或一類問題的項目的研究（Dresch等人，2015）。

設計科學研究（DSR）是我們用來計劃、執行和監督研究的策略。DS建議當目標是開發一個人工制品時，采用DSR來操作研究。基于問題的描述，DSR指導研究設計和評估工件，對一個給定的系統進行改變，并改造情況以實現改進（Dresch等人，2015）。DRS的步驟包括確定問題、定義需求和設計、開發、演示和評估人工制品。

數據收集為人工制品的設計提供了要求。由于單一方法不足以回答研究問題，我們采用了混合方法。文件（Johannesson & Perjons, 2014）是我們的第一個數據來源。我們搜索了其他國家和軍事組織的軍事理論中包含的明確知識。我們在這項工作中研究和引用的所有文件都是不保密的。我們使用的其他方法是觀察和訪談（Johannesson & Perjons, 2014）。我們還搜索了巴西軍官的隱性知識，以了解他們如何進行COA兵棋推演，特別是在教育活動中。

接下來，我們收集并分析了數據，以設計人工制品。我們應用基礎理論（Pandit, 1996）作為定性數據分析的方法。我們設計了一個進行COA兵棋推演的方法和一個概念模型，它描述了COA兵棋推演的結構。數據分析使我們能夠確定關于COA兵棋推演的概念、類別和主張（Pandit, 1996）。建議的人工制品提出了關于跨類別命題的假說。經過幾個周期的數據收集和分析，我們達到了每個工件的目標。在每個周期中，藝術品中提出的假設都由軍事計劃和戰爭游戲的專家進行評估。

以下各小節描述了我們在這項工作中所進行的活動，其中包括審查軍事文件，直接觀察總參謀部軍事學校的兩次訓練演習中的COA戰爭演習，以及采訪參加這些演習的軍官。

圖5:作戰方案兵棋推演概念框架

如今的建設性戰斗模擬不能自動生成現實的戰斗計劃。造成這種情況的一個原因是缺乏一個火力支援規劃算法來支持一個給定的機動計劃。我們提出了一種對火力支援規劃問題進行建模的方法，假定有一個戰術風險的數字定義。解決方案的空間似乎很難窮盡搜索，因此提供了一種火力支援規劃算法，該算法可以在多項式時間內產生一個合理的、盡管是次優的計劃。

問題定義

我們用單元（unit）這個詞來指任何由一個或多個模擬戰斗人員組成的團體，他們作為一個單一的編隊一起移動和戰斗。一個單元的移動是按照路線進行的，而路線是由一系列的航點或三維空間中的位置定義的。單元沿著地表以現實的、已知地形類型的速度向他們的下一個節點直線行進。在這個問題上，有任務的機動部隊的路線是預先確定的和固定的。沒有任務的機動部隊被認為是火力支援部隊。

圖1. 友軍單位1的任務是遵循一條由六個節點組成的路線，用三角形標記。敵方單位1（菱形符號）可以在風險段r2期間損害友方單位1。敵方單位2在r1和r3期間可以損害它。[0,10]標記表示火力支援資源的可用間隔，標有ci的方框是可能的火力支援地點。兩者都將在下文中描述。

• 應用火力支援任務

• 火力支援資源

貪心算法

我們提供以下貪心算法來生成一個火力支援計劃。當然，鑒于上述優化和滿足的解釋，它既不是最優的也不是完整的，但它可以有效地產生一個合理的計劃。

對于每個資源，該算法在其搜索邊界（N和M集）上保持著壓制每個敵人單位的任務。在每次通過主循環時，它選擇N∪M中最能降低總風險的任務。為了限制復雜性，不需要移動的潛在任務（N中的任務）被優先考慮。每當一個任務w被添加到當前計劃W中時，我們就從N和M中刪除w的所有兄弟姐妹，這些兄弟姐妹是由相同的可用任務產生的。然后，我們從γ給出的新的（更短的）可用性任務中為N和M生成新的選項。

當總風險足夠小或沒有任務選擇時，該算法就會終止。如果我們假設火力支援任務有一個最小的有用持續時間，例如發射一發子彈的時間，那么每次選擇任務都會移除一個持續時間為t的資源，并用兩個持續時間之和為t-或更小的資源取代它。由于所有資源持續時間的總和至少在每個循環迭代中減少，我們最終將得到一個小于的總和，這只有在邊界沒有任務，終止執行時才可能是真的。

對美國陸軍戰備來說，基于模擬的訓練提供了一種成本和時間效益高的方式來保持人員對其角色、責任、戰術和行動的充分了解。目前，由模擬支持的演習需要很長的計劃時間和大量的資源。盡管半自動化的軍事模擬提供了基本的行為人工智能來協助完成參與者的角色，但它們仍然需要人類模擬操作員來控制友軍和敵軍。演習支持模擬操作員直接來自預期的訓練對象，分配給士兵的角色扮演職責與他們組織的訓練。單位用他們團隊的一小部分人進行訓練，降低了訓練質量和整體效果。減少開銷和提高模擬支持訓練質量的一個方法是實施全自動和自適應的敵對部隊（OPFOR）。

DeepMind的AlphaStar、AlphaZero和MuZero說明了機器學習研究的進展情況。使用大型數據集或通用算法，這些代理人學會了如何在復雜的戰斗性戰略游戲中發揮并擊敗職業玩家。這些游戲包括延遲和稀疏的獎勵、不完善的信息和大規模的狀態空間，所有這些功績都支持機器學習可能是在建設性的軍事模擬中開發適應性OPFOR的關鍵。

本文調查了關于使用機器學習進行自動OPFOR決策、計劃分類和智能體協調的現有文獻。這一分析是未來研究支持建設性軍事模擬自適應OPFOR的現有能力和局限性的一個起點。

《反擊！》是一種競爭性兵棋推演，旨在訓練炮兵指揮官和參謀人員進行戰術火力指導和美國陸軍炮兵營作戰的可視化。復合炮兵營是一個由兩個 M119A3 連和一個 M777A2 連組成的營，由一個前方支援連和一個司令部連支援。它的任務是為步兵旅戰斗隊提供火力支援。游戲可以由兩個或兩個以上的玩家在兩個團隊中進行。玩家扮演炮兵營指揮官的角色，并決定支持哪些機動行動，同時平衡營的生存和反火力行動。

什么是多域作戰？

以下定義摘自美國陸軍訓練與條令司令部：

多域作戰（MDO）描述了美國陸軍作為聯合部隊[陸軍、海軍、空軍、海軍陸戰隊和太空部隊]的一部分，如何在競爭和武裝沖突中對抗和擊敗能夠在所有領域[空中、陸地、海上、太空和網絡空間]與美國抗衡的近鄰對手。該概念描述了美國地面部隊作為聯合和多國團隊的一部分，如何在2025-2050年的時間框架內威懾對手并擊敗能力強大的近鄰對手。

MDO為指揮官提供了許多選擇，以執行同時和連續的行動，利用出其不意以及快速和持續地整合所有領域的能力，給對手帶來多種困境，以獲得物質和心理上的優勢以及對作戰環境的影響和控制。

多域作戰的關鍵元素

• 滲透敵方的反介入和區域拒止（A2/AD）系統（分層和綜合遠程精確打擊系統、沿岸反艦能力、防空系統、遠程火炮和火箭系統），使美軍能夠進行戰略和作戰機動。

• 破壞--擾亂、降低或摧毀A2/AD系統，使美軍能夠進行作戰和戰術機動。

• 利用由此產生的機動自由，通過擊敗所有領域的敵軍來實現作戰和戰略目標。

• 重新競爭--鞏固各領域的成果，迫使其以對美國和盟國有利的條件恢復競爭。

需要什么樣的軍備解決方案?

• 戰爭的速度和決策的速度可以說從來沒有像今天這樣快過，而且明天可能也會這樣。

• 在陸、海、空、天，甚至網絡領域運作的資產的密切協調，以促進ISR活動和對敵對目標的殺傷鏈，需要精確性，以及在各種平臺上 "蓄勢殺傷 "的能力。

• 系統的通用性可以減少后勤的負擔，簡化培訓和維護，并有助于確保各平臺的性能一致、可靠。

• 基于成熟技術的解決方案能夠迅速投入使用，并為作戰人員增加更多的靈活性和選擇，是一種力量的倍增劑。

美海軍部依靠目前海軍的方式，如簡報、聊天和語音報告來提供艦隊的整體作戰評估。這包括網絡領域，或戰斗空間，描繪了艦船的網絡設備和服務狀態的單一快照。然而，這些信息可能是過時的和不準確的，在決策者了解網絡領域的設備服務和可用性方面造成了混亂。我們研究了持久性增強環境（PAE）和三維可視化的能力，以支持通信和網絡操作、報告和資源管理決策。我們設計和開發了一個PAE原型，并測試了其界面的可用性。我們的研究考察了用戶對多艘艦艇上的海軍網絡戰斗空間的三維可視化理解，并評估了PAE在戰術層面上協助有效任務規劃的能力。結果是非常令人鼓舞的：參與者能夠成功地完成他們的任務。他們發現界面很容易理解和操作，原型被認為是他們目前做法的一個有價值的選擇。我們的研究提供了對新型數據表示形式的可行性和有效性的密切洞察，以及它在不同社區之間復雜的操作技術（OT）環境中支持更快和更好的態勢感知和決策能力。

引言

A.研究領域

持久性增強環境（PAE）是一個系統，它使用共享（多用戶）環境、增強現實（AR）技術和一系列傳感器的概念來創建過程和數據集的可視化表示，這些數據集被持久地（在很長一段時間內）添加、操作、可視化和分析，以支持人類操作員所做的一系列任務[1]。PAE被認為有可能給許多領域和人類任務帶來好處，包括網絡系統的可視化、網絡態勢感知和決策工作領域。

PAE的重要概念包括將實時信息傳遞給人類操作者，并以一種比傳統的信息記錄和傳遞形式更容易理解的格式。后者提高了解決整個海軍領域不同社區的許多用戶的需求的潛力，減少了錯誤的數量，并將大部分時間用于決策過程。

由于用戶數量眾多，社區各異，必須準確及時地解決收集、處理和操作大量數據的需求。此外，網絡領域的復雜性促使人們需要簡化、準確和及時的信息。與AR系統非常相似，PAE允許用戶在現實世界中處理和操縱虛擬物體，并同時看到眾多用戶之間的系統實時自動同步變化。這種虛擬和現實信息的實時無縫整合解決了網絡領域的復雜性，最終在大量用戶和不同社區之間提供了行動的準確性和及時性。

我們設計和開發了一個PAE系統原型，并分析了它如何支持海軍領域的網絡系統可視化和任務規劃操作。我們努力的主要目標是提高單用戶對水面資產上復雜網絡的理解和態勢感知，以及對設備當前網絡狀態的實時表示，從而使海軍部（DON）的任務規劃更加有效。在戰術層面上，這項研究將使我們進一步了解為支持有效的任務規劃而需要建立的技術基礎設施和流程。該系統有可能為美國防部所有部門帶來明顯的好處。

B.研究問題和動機

在美國海軍中，為了完成不同的任務，多個作戰群體依靠網絡群體來顯示網絡和通信狀態，以維持作戰畫面并提供通信。美國水面艦艇上的網絡和作戰系統的整合，在將信息和網絡狀態顯示為二維（2D）物體時，會在作戰人員中造成混亂。特別是當網絡設備發生意外變化時（即失去電力、拒絕服務、失去衛星覆蓋等），情況更是如此。設備的變化不僅影響到船上的通信，而且還影響到領導人的整體態勢感知。利用PAE系統整合三維（3D）數據和立體顯示，有可能通過實時自動顯示系統變化，大大幫助決策者了解復雜的網絡。

1. 網絡對通信至關重要（我們為什么關心）

網絡對于海軍資產之間在作戰層面的通信是至關重要的。如果沒有網絡設備，一艘水面艦艇就失去了與指揮系統（CoC）進行快速和準確溝通的能力。同樣，CoC也不能有效地將他們的信息傳達給各個水面艦艇。現在，我們可以把單艦沒有能力接收任務或發送狀態更新的想法，然后把可用的水面資產數量增加到一個多資產的航母打擊群（CSG）。這導致整個CSG中的五到六艘艦艇沒有能力與CSG指揮官就當前的任務甚至是日常行動進行溝通。即使海軍可以使用傳統的通信方式，如摩爾斯電碼和旗語信號來傳遞簡單的信息，但更復雜的信息必須以容易消化的格式來表示，以便決策者能夠了解當前的行動并迅速作出最佳決策。

通過在地面資產之間利用PAE系統，PAE系統有可能改善對復雜信息的理解，它將從紙質手冊或電子圖書館中獲取的二維信息轉化為三維可視化系統，并不斷更新三維可視化，以反映用戶的互動和該系統接收和生成的數據集的不斷更新。PAE系統也有可能訪問歷史數據，這在分析歷史趨勢或行動后報告（AAR）中可能是至關重要的。歸根結底，網絡領域值得采用新技術并尋找更好的解決方案。

2. 網絡設備狀態

為了了解單位層面的網絡設備狀態，戰略層面的決策者依賴于目前海軍傳統上使用簡報、聊天和語音報告的做法。然而，這些信息可能是過時的和不準確的，最終在需要了解網絡領域的服務和設備可用性的決策者中造成了混亂。網絡領域是一個復雜的領域，需要有效的管理和理解網絡操作，包括海軍艦隊之間的共享態勢感知（SA）。網絡設備在不斷變化，這取決于設備的狀態和水面艦艇的地理位置，這些都會影響連接性。

海軍操作員和領導傳統上使用各種格式的二維網絡拓撲圖和微軟文件來描述網絡系統的運行狀態并維護資源管理。這些二維模型最初是為了協助領導和操作員對網絡進行清晰的可視化；然而，隨著時間的推移，網絡資產的增加，從而增加了二維模型的復雜性，使得理解這些綜合系統變得更加困難。正因為如此，二維網絡圖和拓撲結構的顯示更成為理解新系統集成或系統變化的障礙。理解傳統的、印刷的二維信息（圖1）所花費的時間已經不能滿足操作人員和作戰人員的需要，也不能及時為決策者提供簡明清晰的信息。

3. 從PowerPoint幻燈片（2D信息）到增強現實（3D信息）

當代支持人類操作和決策的技術已經從過去適度的形式上有了飛速的發展。數據的表現形式現在可以采取三維信息的形式，不再是靜態的，而是動態變化的，支持用戶與相同數據集的實時互動。然而，今天大多數水面資產的重要通信包括不同級別的互聯網連接，便于分享PowerPoint簡報和接收在二維空間表示的語音或書面報告。這些傳統的通信途徑是艦艇當前作戰狀態的快照或對即將到來的任務的一系列預期；它們推動了美國海軍 "維持、訓練和裝備能夠贏得戰爭、阻止侵略和維護海洋自由的戰斗準備的海軍部隊 "的能力[3]。正如Timmerman的論文研究[4]中所認識到的，目前的二維可視化將復雜的操作技術（OT）系統顯示為網絡社區所習慣的平面信息技術（IT）圖，從而過度簡化了這些系統。另一種更優越的表示方法是在三維空間中顯示邏輯網絡元素，反映這些網絡的物理和邏輯的復雜性。通過研究數據的三維表示法，海軍可以加快關鍵的時間敏感數據的流動，這些數據原本是在二維空間，變成更容易理解的三維信息。

研究的總體目標是對PAE系統原型進行定量評估，通過可用性研究分析其如何支持海軍領域的網絡系統可視化和任務規劃操作。對復雜網絡及其相應拓撲結構的傳統理解是基于技術手冊中的藍圖的二維圖紙。這種信息的翻譯再由非主題專家（SME）通過PPT簡報（或口頭簡報）進一步稀釋，以告知高層決策者的指揮系統當前在水面資產上的通信狀態。最終，在二維信息、口頭或PowerPoint簡報和向高層決策者提供綜合信息之間會有時間損失。向決策者展示復雜系統的解決方案是通過PAE將二維信息表現為三維信息。

C. 研究問題?

本論文探討了以下問題。

• 什么是有可能為任務規劃提供更有效支持的技術框架？

• 網絡通信能力的三維可視化和PAE系統能否為網絡領域特定的任務規劃要素提供有效支持？

• PAE系統能否有效地協助戰術層面的任務規劃任務，具體到網絡通信的管理？

D. 范圍?

本論文將限于開發一個PAE系統原型，以幫助可視化用戶研究所需的網絡基礎設施。可用性研究有兩個不同的目的：檢查用戶對海軍網絡戰斗空間的三維可視化的理解，跨越多個艦艇的通信和網絡基礎設施，并評估PAE在戰術層面上有效協助任務規劃的能力。雖然海軍領域的PAE的大概念被設想為支持許多作戰任務和訓練情況[1]，并包括與作戰系統的互連性，但為本論文開發的原型系統將有足夠的功能來支持用戶研究。

E. 研究方法

本研究的研究方法包括以下步驟:

1. 進行文獻回顧。在AR、虛擬現實（VR）、SA、潛在多用戶環境、網絡可視化實踐以及應用于AR的持久性系統等領域進行文獻回顧。

2. 執行任務分析。進行任務分析，分析當前網絡操作、決策以及整個艦隊的設備和服務可用性的資源管理的做法。這包括但不限于詳細分析航母上的戰斗值班長（BWC）與巡洋艦或驅逐艦上的作戰指揮官（CRUDES）之間的報告和互動，當前的網絡可視化做法，以及PAE的有效性。我們還將對目前的報告標準和現有的SA任務和實踐進行詳細的任務分析。

3. 確定三維模型。確定一套支持虛擬環境和可用性研究所需的用戶任務的三維模型。

4. 設計和開發一個PAE原型。設計和開發一個支持可用性研究的PAE系統原型。

5. 設計和執行可用性研究。設計一個可用性研究，制定機構審查委員會（IRB）文件，對人類參與者進行研究，并檢查用戶執行所需任務的經驗。可用性研究的設計將針對網絡領域的可視化，側重于用戶更好地理解網絡設備如何與其他系統相互連接的能力，并實時描述網絡戰斗空間。此外，該設計將被定制為展示多艦情況下的決策，并衡量界面在支持任務規劃和資源管理方面的有效性。

6. 分析數據。分析研究中收集的人類性能數據，并檢查PAE原型系統的技術性能。

7. 確定建議和未來工作。收集并確定對未來可能的工作的建議。

F. 論文結構

第一章：導言。本章介紹了研究空間的最關鍵要素：領域、問題、研究問題、范圍和用于解決所有研究問題的方法。

第二章：背景和文獻回顧。本章強調了VR、AR、混合現實（MR）、持久性系統和SA的定義。文中回顧了關注AR和VR技術的研究經驗，并討論了多用戶環境、現有網絡可視化實踐和持久性系統與AR技術結合應用時帶來的潛力。

第三章：任務分析。本章分析了目前整個艦隊的網絡操作、決策以及設備和服務可用性的資源管理的做法。

第四章：系統原型。本章闡述了PAE系統的設計和開發、系統結構和模擬環境。本章還描述了訓練場景和一套支持建立可用性研究所需的虛擬環境的三維模型。

第五章。可用性研究。本章介紹了可用性研究的要素，文中還討論了從可用性研究中收集的數據集中得出的結果。

第六章：結論和未來工作。本章概述了本研究的主要內容，并對未來的工作提出了建議。

軍隊為訓練、規劃和研究目的進行兵棋推演。人工智能（AI）可以通過降低成本、加快決策過程和提供新的見解來改善軍事兵棋推演。以前的研究人員根據強化學習（RL）在其他人類競技游戲中的成功應用，探討了將強化學習（RL）用于兵棋推演。雖然以前的研究已經證明RL智能體可以產生戰斗行為，但這些實驗僅限于小規模的兵棋推演。本論文研究了擴展分層強化學習（HRL）的可行性和可接受性，以支持將人工智能融入大型軍事兵棋推演。此外，本論文還通過探索智能體導致兵棋推演失敗的方式，研究了用智能體取代敵對勢力時可能出現的復雜情況。在越來越復雜的兵棋推演中，對訓練封建多智能體層次結構（FMH）和標準RL智能體所需的資源以及它們的有效性進行了比較。雖然FMH未能證明大型兵棋推演所需的性能，但它為未來的HRL研究提供了啟示。最后，美國防部提出了核查、驗證和認證程序，作為一種方法來確保未來應用于兵棋推演的任何人工智能應用都是合適的。

引言

兵棋推演是成功軍隊的寶貴訓練、規劃和研究工具。自然，美國（U.S.）國防部（DOD）計劃將人工智能（AI）納入兵棋推演。將人工智能融入兵棋推演的一種方式是用智能體取代人類玩家；能夠展示戰斗行為的算法。本論文研究了用智能體取代人類兵棋推演操作員的可行性、可接受性和適宜性。為此，本章解釋了為什么兵棋推演對成功的軍隊至關重要。

A. 軍方為什么要進行兵棋推演

軍隊進行兵棋推演是為了回答關于戰爭的關鍵問題，這些問題必須在實際沖突發生之前被理解。兵棋推演是利用對立的力量模擬實際的戰斗，并由人類的決策來決定[1]。雖然有廣泛的不同類型的兵棋推演，但它們都有一個共同的目標："獲得有效和有用的知識" [2]。這種劃分很重要，因為兵棋推演的不同目的會導致玩家和游戲控制者的行為不同。圖1顯示了兵棋推演從訓練到分析到實驗的廣泛范圍。

1.訓練用的兵棋推演

最直接的兵棋推演類型是用于訓練的兵棋推演。大型參謀部使用建設性的模擬（數字兵棋推演）來鍛煉他們的參謀過程，并驗證他們的軍事準備。小型參謀部使用虛擬模擬器來訓練他們的戰斗演習和船員演習。軍隊進行這些兵棋推演是為了了解戰爭和鍛煉決策能力[3]。所有隊員的行動和決策一般都要符合已知的條令和戰術、技術和程序（TTP）。對于大型的參謀部演習，對手可能會突破TTP的界限來挑戰參謀部（例如，表現得更有侵略性，但仍然依賴相同的TTP）。

2.用于分析的兵棋推演

兵棋推演可用于分析，即 "確定在部隊對抗中會發生什么"[3]。這些是大多數軍事人員所熟悉的兵棋推演類型：作為行動方案（COA）分析的一部分而進行的兵棋推演。這些類型的兵棋推演允許對戰爭計劃、部隊結構或理論進行評估。在這些戰役中，雙方都要采用已知的理論和TTP，但 "在這些戰役中，創新精神可以自由發揮"[4]。

3.實驗性的兵棋推演

在譜的另一端是實驗性兵棋推演。在這些戰役中，雙方都可以使用新的力量、武器和/或戰術來探索潛在的未來戰爭[5]。歸根結底，組織進行實驗性兵棋推演是為了產生 "關于戰爭問題性質的知識"[2]。美國軍方在演習中整合了這些類型的兵棋推演，如美國陸軍未來司令部的聚合項目和聯合作戰人員評估。

4.兵棋推演的好處

盡管兵棋推演既不是預測性的，也不是對現實的完全復制，但它們確實提供了一些沒有實戰就無法獲得的東西：對戰爭中決策的洞察力。當為訓練而進行戰爭演習時，組織正在學習良好的決策是什么樣子的（包括過程和最終結果）。當為分析而進行戰爭演習時，計劃者正在評估他們在計劃期間做出的決定，以及在執行期間需要做出的潛在決定。

這些好處足以讓美國防部副部長羅伯特-沃克在2015年發布了一份備忘錄，呼吁在整個美國防部重新努力開展兵棋推演[6]。沃克副部長認為，兵棋推演有利于創新、風險管理和專業軍事教育。沃克認為，最終，兵棋推演將推動美國防部的規劃、計劃、預算和執行過程，這是告知國防部資源分配的方法。美國和它的西方盟友并不是唯一相信兵棋推演好處的軍隊。中國正在為兵棋推演投入大量資源，包括將人工智能融入兵棋推演[7]。

B.兵棋推演中的人工智能

人工智能提供了一個機會，通過降低成本、加快決策過程和提供新的見解來改善軍事兵棋推演。為兵棋推演中的許多角色雇用人類操作員是昂貴的。組織必須給自己的人員分配任務（使他們脫離正常的職能）或支付外部支持。這種成本可以通過將人工智能整合到兵棋推演中而消除。兵棋推演分析的速度只能和人類操作者一樣快。用智能體代替操作員可以加快兵棋推演的速度，并允許多個兵棋推演同時發生，從而實現更廣泛的分析。最后，智能體因其在游戲中的創造性而受到關注[8]。創造性的智能體可以通過探索人類戰爭者可能沒有考慮的可能性，使戰爭計劃、部隊編隊或戰術得到更好的分析。

美國國內的國家安全組織認識到將人工智能融入兵棋推演的潛力。人工智能國家安全委員會在其最終報告中主張立即將人工智能能力整合到兵棋推演中，以確保美國及其盟友保持與同行的競爭力[9]。美國陸軍未來的模擬訓練系統--合成訓練環境（STE）設想整合人工智能來監測和調整訓練場景的難度[10]。美國陸軍研究實驗室有許多項目在調查人工智能與軍事指揮和控制系統的整合。具體來說，他們正在探索使用人工智能的一個子領域，即強化學習（RL）來進行連續規劃，以開發 "藍色部隊的新計劃"[11]。連續規劃將需要一個能夠評估其計劃的智能體，可能通過兵棋推演。

基于其他RL智能體在人類競技游戲中的成功，如《星際爭霸II》[12]、《古人防御》（DotA）[13]和圍棋[14]，多名研究人員正在研究用于戰爭游戲的RL智能體。像《星際爭霸II》和DotA這樣的實時戰略（RTS）游戲最能代表兵棋推演。與兵棋推演類似，RTS游戲需要在有限的信息環境中進行長期的目標規劃和短期的戰術決策。以前的研究表明，RL智能體可以在兵棋推演中復制理想的戰斗行為[5], [11]。根據Kania和McCaslin的說法，谷歌的AlphaGo成功擊敗了世界上最好的圍棋大師，證明了人工智能可以應用于兵棋推演[7]。

C. 問題陳述

雖然以前的研究已經證明RL智能體可以產生戰斗行為，但實驗僅限于小型交戰。研究人員只要求RL智能體控制三到五個下屬單位。強化學習智能體將需要成功擴展，以滿足涉及幾百個單位的大型兵棋推演的規模要求。

問題是，隨著兵棋推演中單位數量和類型的增加，信息量和可能的動作數量變得難以解決。Newton等人提出可擴展性是一組目標：速度、收斂和性能，同時保持在一組約束條件下：隨著項目規模的增加，成本、計算能力和時間[15] 。分層組織是擴展的一種方法。本論文將研究分層強化學習（HRL）的可擴展性。換句話說，任何可行的、可接受的人工智能集成到戰爭游戲中，隨著戰爭游戲中單位數量的增加，必須仍然顯示出理想的戰斗行為。

除了將人工智能整合到軍事兵棋推演中的可行性和可接受性之外，這種整合還需要是合適的。開發和執行一個失敗的兵棋推演是有可能的，因為從中得出的知識是無效的或沒有用的。Weuve等人[16]解釋了可能導致兵棋推演失敗的不同途徑，他們稱之為兵棋推演病癥。以取代人類操作者為目的的智能體的設計和實施，需要防止兵棋推演的病態，從而確保有效的結果。

這導致了以下的研究問題。HRL是否允許智能體在不損失性能的情況下增加合作單位的數量和有效性？什么框架可以確保智能體的設計和應用正確，以滿足兵棋推演的目的？

D. 研究范圍

本論文延續了[17]和[18]對Atlatl戰斗環境中RL的調查。Atlatl是一個離散的、基于六邊形的兵棋推演，模擬陸地作戰行動。最初的研究使用一個簡單的多層感知器[17]成功地在RL智能體中產生了戰斗行為。隨后的研究使用卷積神經網絡（CNN）架構在復雜的地形和動態的對手中研究RL智能體[18]。

雖然有廣泛的HRL方法，但本研究的重點是封建多智能體層次結構（FMH）。在FMH中，一個單一的R智能體（即經理），將任務分配給一系列被稱為工人的下級RL智能體[19]。本論文比較了在Atlatl中越來越大的場景中采用基于規則的智能體、單一RL智能體和FMH所需的資源和有效性。

兵棋推演是由玩家和裁判員組成的[1]。友軍單位的玩家被稱為藍軍，他們的對手被稱為紅軍，任何一個玩家之外的平民或軍事單位被稱為綠軍。雖然有可能通過使用所有玩家和裁判員的智能體來實現兵棋推演的完全自動化，但本論文只評估了對單個玩家的替換。

本論文還研究了用智能體替換對方部隊（OPFOR）即紅色部隊時可能出現的復雜情況。討論了具體的兵棋推演病癥，并提出了緩解這些病癥的方法。美國防部的驗證、核實和認證（VV&A）框架被應用于通過RL對OPFOR的建模。

E. 研究結果

本論文發現，當FMH智能體以分布式方式進行訓練時，FMH智能體未能比單一RL智能體表現得更好。當經理和工人在同一環境中訓練時，FMH智能體的學習能力有所提高。然而，工人的不一致行動使經理無法制定最佳策略。此外，FMH的訓練要求超過了單個RL智能體的要求，這抑制了FMH擴展到大型軍事兵棋推演的能力。最后，本論文發現，將人工智能整合到軍事兵棋推演中的方法適合于像美國防部的VV&A框架那樣的過程。否則，基于模型的去太原的病癥會使兵棋推演的目標失效，并對美軍產生負面影響。

F. 論文對研究的貢獻

本論文通過進一步研究在建設性模擬中采用完全自主的智能體，對美國政府有直接好處。完全自主的兵棋推演智能體，能夠在多個層次上運作，需要支持兵棋推演的全部范圍。這很容易延伸到軍事規劃期間的決策支持工具，協助規劃者快速評估不同的COA。此外，探索在兵棋推演中使用智能體的適宜性將促進兵棋推演界采用人工智能。

計算思維和數據科學的進步導致了人工智能系統的新時代，這些系統被設計來適應復雜的情況并開發可操作的知識。這些學習系統旨在可靠地理解情況的本質，并構建關鍵的決策建議，以支持自主和人機團隊的運作。

同時，數據的數量、速度、種類、真實性、價值和變異性的不斷增加，使這些新系統的復雜性受到影響--在其開發和實施方面造成了挑戰。對于支持具有較高后果的關鍵決策的人工系統來說，安全已經成為一個重要的問題。需要有方法來避免故障模式，并確保只允許期望的行為。

元認知是一種解決策略，它能促進人工智能系統內部的自我意識，以了解其外部和內部的運行環境，并利用這些知識來識別潛在的故障，實現自我修復和自我管理，以實現安全和理想的行為。

人工智能戰爭決策輔助工具通過增強戰斗空間知識、解決不確定性、推薦戰術行動方案、制定交戰戰略來支持作戰人員決策。

人工智能（AI）的進展，特別是深度強化學習（RL），已經產生了能夠達到或超過專業人類水平的系統。這項研究探索了RL訓練人工智能agent的能力，以實現小型戰術交戰中的最佳進攻行為。agent在一個簡單的、總體級別的軍事建設性模擬中接受了訓練，其行為得到了規模和經濟力量戰術原則的驗證。結果顯示，所應用的戰斗模型和RL算法對訓練性能的影響最大。此外，特定的超參數訓練也有助于行為的質量和類型。未來的工作將尋求在更大和更復雜的戰斗場景中驗證RL的性能。