在不確定的情況下評估和選擇最合適的國防能力組合，一直是軍隊面臨的一個挑戰。這一戰略決策過程面臨著許多挑戰性的困難。它涉及到長期承諾、具有不同目標的多個利益相關者，以及廣泛的相互依賴的替代方案。盡管有現有的實踐，我們仍然缺乏一種能夠在不確定情況下評估和選擇武器系統和軍事人員組合的綜合方法。本科學報告開發了一種新的經濟方法，為戰略組合選擇提供信息。該方法得出了每項國防能力的平均經濟價值和將其納入國防組合的概率。進行了一個組合風險分析，以顯示結果對主要的不確定性來源有多敏感。一個假想的例子被用來說明這個方法。建議的方法在經濟上是合理的，在組合選擇上也是實用的。它將使決策者和國防分析人員能夠評估、優先考慮和選擇最佳的能力組合。

軍事組合決策涉及（1）多個目標，（2）復雜的替代方案，以及（3）許多不確定的變量。盡管有現有的實踐，但仍缺少一種在不確定情況下評估和選擇武器系統和軍事人員組合的綜合方法。為了最大限度地提高國防組合的整體價值并改善部隊結構組成，加拿大國防部（DND）已經開始開發企業成本模型（ECM）。ECM將使用建議的方法來評估候選能力的價值，對其進行優先排序，并確定加拿大武裝部隊可能采用的關鍵能力。至少確定了ECM的三個潛在用戶：助理副部長（財政）（ADM[Fin]）、助理副部長（物資）（ADM[Mat]）和盟國。通過使用ECM，這些社區也將從這項工作中受益。

引言

1.1 背景

選擇項目清單或武器系統組合的過程是一個戰略決策過程。它使軍隊能夠發展使未來部隊在戰略上具有相關性、在行動上具有響應性、在戰術上具有決定性的能力。在這個過程中，最合適的未來部隊選項是由應該實現的目標倒推到需要的目標來設計的。然而，選擇最合適的國防組合面臨著幾個復雜和極具挑戰性的困難（DND，2014）[1]。困難的主要來源包括但不限于：（Kangaspunta等人，2012 [2]；Tate和Thompson, 2017 [3]；Harrison等人，2020 [4]）。

多重目標--這些目標涉及多個利益相關者，他們有不同的偏好和相互沖突的目標。籌資決策不僅影響投資成本，還影響犧牲其他項目的機會成本。隨著關鍵利益相關者立場的不斷變化，通常不容易將這些與環境相關的目標減少到一個單一的維度，并找到一個共識的解決方案。目標和約束條件之間也存在著持續的二元性。決策者可能希望確定實現某一特定能力水平的最低成本，或者相反，在預算約束下確定可能的最高能力水平。

風險和不確定性--組合決策涉及長期承諾，其中許多變量是不確定的。這種不確定性的關鍵驅動因素是成本、進度和運營需求過程的結果。這些驅動因素之間的相互依賴使得風險分析更加困難。例如，一個項目執行中的任何變化都會對成本和進度的不確定性產生直接影響。任何成本的降低或進度的收緊都會增加結果的不確定性。此外，這樣的決定同時將生命、美元和時間置于風險之中，導致了對風險的復雜和不一致的態度。這種不確定性通常與其他幾個不確定性的來源結合在一起，如能力要求、預算和地緣政治局勢。

復雜的替代方案--選擇一個最佳的投資組合以達到預期效果或緩解特定的能力差距，在軍事部門不是一件容易的事。軍事投資組合決策涉及廣泛的相互依賴和重疊的備選方案。它們的影響往往是非線性的，并且取決于環境。它們的相互依賴程度一般很難描述。軍事選擇也是離散的和非二元的，這使得稀缺資源的優化更加困難。這些特點往往與既非線性也非加法的復雜成本函數結合在一起。

到目前為止，還缺少一種評估和選擇國防能力組合的綜合方法。為了在最有效地利用資源的情況下構建最合適的能力組合，首席財務官（CFO）責成加拿大國防研究與發展中心（DRDC）-運營研究與分析國防經濟團隊（DET）開發ECM（Morrisey, 2021）[5]。作為這項工作的一部分，我們進行了兩項研究以支持該項目。在第一個研究中，我們提供了一個評估和選擇能力組合的二元反應模型[6]。第二項研究通過能力組合風險分析[7]補充了最初的工作。這種新的隨機方法將蒙特卡洛模擬技術應用于二元反應模型。

1.2 目的

這項工作的目的是綜合參考文獻[6]和[7]中提出的前兩種能力組合評估和選擇方法。它有兩個相互關聯的主要目標：

• 開發一個完整的方法，該方法在理論上是合理的，并與國防能力組合建設實際相關；以及

• 說明該方法并演示其過程實現。

1.3 方法

建議的方法結合了或然估值法（CVM）的一個變種和投資組合風險分析來選擇能力組合。1963年，CVM在哈佛大學的一篇經濟學博士論文中得到實施。包括美國陸軍工程兵團在內的許多組織都使用了這種方法，并對所采用的方法的發展做出了貢獻（Hanemann, 1984 [8]; Cameron, 1988 [9]; Sokri, 2012 [10]）。我們的方法包括四個主要步驟，如圖1中的流程圖所總結的。首先是選擇能夠比較能力的主題專家（SMEs），最后是對備選方案進行排名并進行組合風險分析。

圖 1：主要方法步驟的示意圖。

1.3.1 選擇主題專家

這種方法成功的關鍵在于選擇有經驗的主題專家。正如過去所做的那樣，他們應該來自整個國防組織，并在分析能力的性質方面擁有廣泛的專業經驗。他們應該能夠比較能力并回答調查問題。這些問題將取決于每套能力（飛機、艦艇等）的性質。它們的范圍可以從戰略防御目標（例如，保衛國家及其盟友）到能力的技術措施（例如，規模、生存能力、范圍、持久性、響應性和互操作性）。

1.3.2 評估備選方案

如附件A所示，每個主題專家要求從每個標準的角度對每個備選方案進行0-100分的評分。每個主題專家還被要求(1)以0-100的尺度對每個備選方案進行總體評價，(2)決定該備選方案是否應被納入防御組合。如果主題專家決定將其納入，該替代方案將被賦予1的數值，否則為0。

1.3.3 估計回歸模型

分析師將從每個標準的角度使用0-100分的比率作為解釋變量。對于因變量，分析者有兩種選擇：（1）他/她可以使用一個非線性回歸模型，其中因變量只能取兩個值（即每個主題專家的決定），（2）他/她可以使用每個備選方案在0-100等級上的總體評價來計算 "提供的幾率"（而不是預測的幾率）。在這種情況下，分析員將估計一個線性回歸，其中因變量是賠率的自然對數（即對數）。

1.3.3.1 對備選方案進行排名

可以使用三種預測措施（產出）之一，對備選方案從最好到最差進行排名。(1) 它們被納入防御組合的概率，(2) 它們的幾率，(3) 它們的量化經濟價值。賠率是列入概率的一個增加函數。它們將提供相同的結果。經濟價值應該與它們呈正相關關系。這些衡量標準是根據專家們的評價進行統計推斷的。

1.3.3.2 進行組合風險分析

為了評價結果的穩健性，可以進行能力組合風險分析。進行這種風險分析可采用三種互補技術：（1）通過評估每個預測因素的邊際效應，（2）通過估計每個結果的三點估計值（樂觀、最可能和悲觀），以及（3）通過使用計算機模擬得出每個備選方案的風險狀況。關于這個方法步驟的更多細節，請讀者參考附件A。

建議的方法為能力組合的評估和選擇提供了更多的機會：

• 嚴謹性（基于合理的理論基礎）。
• 可靠性（以正確的評估為基礎）。
• 可復制性（明確的程序，而不是黑箱）；以及
• 一致性（方法步驟的一致性）。

由此產生的科學報告將為分析人員和決策者提供一個共同的基礎：

• 以一致的方式匯總若干評價標準。
• 用它們的價值來描述替代品。
• 對它們進行排名；和/或
• 將它們歸入預先確定的類別。

本報告分為七個部分。導言之后，第2節概述了能力組合分析領域的最新進展。第3節建立了所采用的二元模型，并指出其數學推導。它還說明了如何對一組候選能力進行估值和排序。第4節介紹并討論了一種新的能力組合風險分析方法。第5節提供了一個說明性的例子，使形式主義更容易被理解。第6節展示了建議的方法與一些傳統方法和投資規劃的聯系。最后一節提出了一些結論性意見。

達爾豪斯大學大數據分析研究所、加拿大國防研究與發展部（DRDC）-大西洋研究中心和加拿大通用動力任務系統公司（GDMS-C）向加拿大自然科學與工程研究委員會（NSERC）成功申請了一項名為海軍信息空間自動監測（AMNIS）的三年期資助項目。AMNIS啟動會議于2020年10月14日舉行，許多教授、國防科學家和GDMS-C技術人員參加了會議。會議為這三個組織確定了許多行動。與DRDC和GDMS-C相關的一項行動是需要與任務相關的場景來幫助指導預期的研究。因此，DRDC率先描述了一個有代表性的海陸場景，使研究人員能夠更好地了解與AMNIS有關的潛在研究途徑。制定的方案涉及加拿大皇家海軍（RCN）和加拿大陸軍（CA）執行的一項加拿大人道主義任務。該任務是向一個最近遭受自然災害的國家分發食品和醫療用品。一支敵對勢力還試圖偷竊這些物資。該情景描述了通過更好的處理技術和決策來改善信息流、共享和使用的必要性。該方案旨在引起進一步的討論，并幫助鞏固AMNIS參與者的研究課題。

1 引言

2015年，加拿大皇家海軍（RCN）的海上信息戰（MIW）概念[1]發布，概述了信息對RCN的影響。MIW的推出使人們非常需要關注信息，它既是皇家海軍使用的一種資源，也是為了更全面地使用和利用優勢而需要理解的一個概念。

該概念文件概述了信息的影響，包括其廣泛的可用性、皇家海軍對信息的依賴性以及信息的使用，特別是在戰爭中和作為戰爭倍增器的跨梯隊的使用。該概念文件還談到需要更好的處理技術來處理MIW功能領域內的數據量，如指揮、控制、通信、計算機、情報、監視和偵察（C4ISR）、指揮和控制（C2）、情報、監視和偵察（ISR）以及態勢感知（SA）。

在MIW概念文件之后，2016年又發布了RCN信息戰戰略文件[2]。這里的重點是發展海戰MIW能力和能力，以支持國內活動（即加拿大的防御）和國際部署。盡管戰略文件指出了信息的更多傳統用途，如收集、利用和傳播，但它也認識到網絡武器領域是一個機動的地方，可以采取防御和進攻的行動。MIW的概念文件涉及物理、虛擬和認知領域，而戰略文件則談到了信息領域，從而表明了信息對于作戰人員的地位和重要性。

在概念和戰略文件之后，加拿大在2017年發布了新的國防政策[3]。該國防政策并沒有明確提到信息領域。然而，該政策確實催生了兩個最近的文件，繼續表明信息對RCN的重要性：2019年的DND數據戰略[4]，以及2020年的RCN數字海軍[5]。

數字海軍[5]支持加拿大國防政策[3]的創新目標，特別是那些涉及適應和利用新技術的能力。數字海軍 "作為一個指南，將數字技術與人結合起來加以利用，以確保未來海軍的成功和可持續。這份文件提出的前進方向涉及自動化、大數據分析、云計算、人工智能（AI）和機器學習（ML）方面的創新，成功是指通過上述手段做出數據驅動的決策的RCN。

數字海軍的概念促進了企業和運營RCN社區在決策中對數據的使用。在操作方面，這是為了將海軍團隊和水兵從日常工作中更平凡的方面解放出來，通過自動化功能，如基于規則的重復性任務。從更廣泛的操作角度來看，使用這種數字技術和技巧是為了更好地進行操作。

上面提到的所有文件都指出，希望將RCN推向一個信息組織，在這個組織中，信息是用來使用的，但也被用作防御和安全的工具。由于其中一些方面對RCN來說是新的，因此顯然需要一個由信息科學、人工智能、ML以及將這些與認知科學相結合的專家組成的強大而明智的科學團體，以開發更好的人類決策模型來支持RCN的目標。

1.1 發展科學專長

通過政府、學術界和工業界合作伙伴的參與，建立了一個強大而知情的科學界。這個群體完全有能力在與現代軍隊相關的科學和技術問題上取得進展，以幫助滿足國內和國外對加拿大武裝部隊（CAF）不斷增長的需求。

為了發展這個社區，在自然科學與工程研究委員會（NSERC）的聯盟計劃下，成立了一個DRDC（大西洋研究中心）、工業界（加拿大通用動力任務系統公司，GDMS-C）和學術界（達爾豪西大學）的伙伴關系。提交并被NSERC接受的提案名為《海軍信息空間自動監測》（AMNIS）。該提案概述了海上和陸地的信息問題，特別是數據整合、事件和警報的ML、信任和對抗性數據，以及信息的可視化和呈現供用戶使用。

為了給學術研究小組提供背景和指導，下面提供了一個大大簡化的行動的基于場景的描述。該方案包括許多問題，表明與AMNIS相關的可能研究途徑。這里的目的是培養研究人員對與DRDC和GDMS-C有關的問題的理解，使研究人員能夠發展自己的思路，幫助他們追求與他們的研究和AMNIS有關的創新方法、技術和發現。

這項工作的動機是基于兩個愿望，即：

1.描述一個現實但簡化的操作，其中存在與AMNIS相關的信息問題，以及。

2.強調在AMNIS項目下DRDC和GDMS-C感興趣的研究領域。

1.2 概要

其余各節將提供一個現實場景的發揮、可視化部分、性能建模、決策和學習的概述。每一節都包含了一系列的問題，這些問題的提出有助于為研究工作提供思考點和指導。

第2節描述了一個聯合行動的場景，陸地和海洋部隊共同支持人道主義任務。通過可能被破壞并有相關安全風險的節點相互連接和共享信息資源來實現這一目的。第3節討論了可視化在該場景中的作用及其對決策的影響。這包括物理環境的可視化表示，以及額外信息源的聚合如何影響主題專家的決策。本節還考慮了與人工智能（AI）和多樣化技術合作的人類表現模型。第4節討論了如何利用數據檔案來開發和學習對抗性注入檢測方法。第5節以總結性意見完成了本文。

第1章 簡介

1.3 背景情況

1.人是任何防御系統的關鍵組成部分--對于無人駕駛飛機系統（UAS）來說也是如此，盡管有 "無人駕駛 "的說法，但為了達到預期的任務效果，還是需要很多人的參與。無人駕駛飛機領域顯然是航空業中一個新興的、高增長的部門。與任何新的創新領域一樣，無人駕駛航空領域最初的焦點集中在推進使能技術和開發其操作程序，以獲得競爭優勢。

2.在過去的十年中，隨著各種組織開發和使用越來越復雜的無人駕駛飛機，人們越來越理解無人駕駛飛機是復雜的、分布式的系統，而不是簡單的飛機--也就是說，意識到有問題的遠不止是飛機。這種認識正式體現在美國無人駕駛飛機系統發展和標準化指南（美國國防部[DoD]，2012年，2016年），以及其他支持性文件。從整體系統的角度來看，我們應該認識到，無人機系統是由無人機、地面組件和其他架構元素組成的，每個元素都有自己的屬性，它們共同互動，表現出對各種系統利益相關者有價值的突發系統級屬性。

3.這一系統觀點中隱含的理解是，包括人類機組成員在內的地面控制站（GCS）在確定無人機系統的整體系統級屬性，包括系統安全方面起著重要作用。在這種系統觀點中，還承認無人機系統的發展需要通過系統工程過程來協調。然而，即使采用了系統工程的方法，其范圍也常常被限制在技術系統上。這種看法是一個重要的問題，因為與流行的觀點相反，無人機系統并沒有從系統中去除人的因素。相反，無人機系統提供了一種選擇，使人不再一定要與系統中的物理動態部件同處一地。同樣，高度自動化的系統允許修改而不是消除人的作用，例如通過減少必要的技能和能力或允許增加控制范圍。

4.與載人系統一樣，人在無人機系統中的基本作用是為系統提供上下文反應的指揮和控制（C2），并對情況進行總體了解。為了完成這些功能，人必須在系統運行的某個時刻與系統互動，并使用某種形式的人機接口（HMI）。因此，對于任務的有效性和安全性來說，從系統構思開始就將人完全融入到無人機系統中是至關重要的。這就要求在開發、獲取和操作無人機系統時，關注人類系統集成（HSI）的所有要素。圖1-1代表了一個綜合系統的HSI的主要元素：人、技術和工作環境。

圖1-1：一個集成系統的主要內容

5.值得在此明確定義什么是HSI，因為許多人把它狹隘地看作是人和機器的接口，是人因工程和傳統駕駛艙設計的同義詞。這種觀點實際上只包含了HSI的一個要素。廣義上講，HSI是基于這樣一種理解，即人是系統內的關鍵要素，采用以人為本和以交互為中心的設計（Hou等人，2014）的系統視角可以提高生產力和安全性，同時降低成本。根據美國國防部采購指南，HSI被定義為 "一個強有力的過程，通過它來設計和開發系統，有效且經濟地整合人類的能力和限制。HSI應該作為武器系統開發和采購的整體系統方法的一個組成部分....，整體系統不僅包括主要的任務設備，還包括操作、維護和支持該系統的人員；訓練和培訓設備；以及操作和支持基礎設施"。

6.HSI涉及識別和權衡可能嚴重影響系統性能的人類相關問題。為了確保所有的問題都得到考慮，這些與人相關的問題被分為五個主要領域，即人力/人事、培訓、人因工程（HFE）、安全和健康以及組織和社會特征。HSI的一個核心原則是那些開發、獲取和操作系統的人必須對這些領域保持一個整體的觀點。沒有一個領域應該被孤立地考慮，相反，它們需要相互關聯。其中一個領域的任何決定幾乎肯定會影響到另一個領域。

7.對于在世界范圍內的空域結構中以非隔離方式運行無人機系統的支持者，如北約聯合能力小組無人機系統（JCGUAS），一個重要的關注領域是系統安全。隨著對無人機系統事故調查和分析的日益重視，人為錯誤（即人的表現失敗）已被證明是導致無人機系統安全相關事件的重要因素。基于上文提出的HSI概念，任何解決UAS系統安全的努力都必須涉及對其他HSI領域的整體考慮，如人為因素工程、人力/人事和培訓。這一論斷并不新鮮，在傳統的載人航空中同樣適用。然而，在載人航空中，人員和培訓是由現有的法規和標準嚴格規定的，因此允許對人機界面的人因工程采取相對規范的方法，以達到預期的系統安全水平。相比之下，目前在人員和培訓方面存在明顯更大的可變性，因為它們適用于UAS，使得對GCS設計的規定性方法遠不可行。相反，人因工程的決策需要根據人因工程、人力/人事和培訓等領域之間存在的整體性能、安全和成本效益交易空間來考慮。因此，明確考慮到這種交易空間的GCS設計的可重復的過程解決方案是最好的，這樣潛在的理想創新就不會受到不必要的限制。

8.為了提供指導，改善對無人機系統中人的因素的考慮，減少與人的表現有關的事故和事件，提高安全性，從而促進無人機系統在非隔離空域的常規飛行，本標準建議（STANREC）由人因專家小組（HFST）為無人機系統在非隔離空域飛行（FINAS）工作組（WG）、JCGUAS編寫。它是FINAS第4685號研究的產物，從英國國防部標準00-250《系統設計者的人為因素》（2008）中提取了適用于設計和采購無人機系統的通用系統工程框架的高級過程相關要素。這份文件代表了HFST成員的辛勤工作和奉獻精神，他們的服務和努力使這項工作成為可能。這些人包括：

Patrick Le Blaye（法國），Daniel Hauret（法國），Piet Hoogeboom（荷蘭），Ming Hou（加拿大），Joe Geeseman（美國），Edgar Reuber（德國），Ian Ross（英國），Roland Runge（德國），Anja Schwab（德國），Anthony Tvaryanas（美國）和 Eric Vorm（美國）。

1.4 目的和范圍

1.本STANREC描述了

• a. HSI對UAS在非隔離空域飛行的重要性。

• b. 有助于確定人類對無人機系統性能和安全的關鍵貢獻可能發生在何處的活動。

• c. 如何將HSI的投入融入到UAS的發展中；以及

• d. 可用于應用HIS的技術。

2.STANREC中規定的過程既是基于目標也是基于風險。在每個UAS項目中必須滿足的總體HSI目標已經確定。只要這些目標得以實現，實現這些目標的手段就可以根據各個無人機系統項目的情況進行調整。因此，HSI活動的范圍和深度應根據與人類相關的考慮因素所帶來的項目風險程度進行調整。通過這種方式，該過程支持開發具有成本效益的無人機系統，使其更加安全，并提高任務的有效性和可靠性，從而滿足整合到非隔離空域的要求。

1.5 目標受眾

本STANREC針對的是需要解決無人機系統的設計、實施、采購、評估和運行中的人為問題/風險并為其提供資源的北約和工業界人員。本STANREC的主要用戶是由所有利益相關者組成的綜合項目組（IPT），包括設計、開發和/或采購UAS的項目經理、設計師和開發人員。本STANREC涉及與人有關的考慮和HSI活動，以使IPT成員了解它們與整個系統工程過程的相關性和重要性。盡管如此，參與無人機系統開發的所有各方，包括無人機系統的終端用戶，都應該發現本STANREC的相關性。

這項工作是由Calian團隊為加拿大國防研究與發展部-多倫多研究中心（DRDC TRC）進行的任務5 "人機協作決策支持系統的初步要求"，是大型人機交互（HAI）任務授權合同（TAC；合同號：W/001/TOR）的一部分。HAI TAC的目標是設計、開發、實施和評估士兵-機器人合作（SRT）的概念、方法和技術，以改善加拿大武裝部隊（CAF）的整體人機系統（HMS）性能。

在本技術說明中，報告了最近對傳感器技術的研究和發展以及未來在有人-無人系統（MUM-T）作業期間在小型無人系統上實現感知和規避（SAA）能力的文獻回顧。

在傳感器技術方面，我們研究了合作和非合作的傳感器，其中非合作的傳感器又分為主動和被動的。我們認為：（1）無源非合作傳感器在尺寸、重量和功率（SWAP）方面比其他傳感器有優勢。被動工作確保了無人平臺在敵對環境中的安全。為了補充單個傳感器能力的約束和限制，我們還認為，關于（2）傳感器和數據融合的趨勢和未來要求是有希望的，以實現動態、不確定環境中的連續和有彈性的測量。（3）此外，我們應關注無人系統領域正在開發的新型傳感器套件。

在檢測和規避方法方面，我們按照SAA流程進行了全面的研究，從檢測沖突、危險或潛在威脅，到跟蹤目標（物體）的運動；評價和評估風險和信心；根據評估的參數對沖突進行優先排序；然后宣布或確認沖突和沖突的程度；確定正確的沖突解決方式；然后是指揮，最后是執行。為了支持這一過程，對各種SAA算法進行了審查，包括探測算法、跟蹤算法和規避策略。我們認為，（4）基于學習的智能算法需要放在未來的SAA要求中，因為它們具有支持任務的適應能力。

最后，我們從各種使用案例中審查了支持MUM-T行動的SAA。我們認為，(5)與蜂群式小型UxV的人-系統接口提供了半自主的SAA能力，而人的參與程度有限。這種綜合的人-機器人互動提供了智能決策支持工具。該系統旨在使單個人類操作員能夠有效地指揮、監測和監督一個UxV系統。基于技術重點的趨勢，我們最終認為，(6)沒有士兵參與的完全自主在現階段的研究和開發進展方面是不成熟的，但我們將積極關注該領域的最新發展。

一個信任模型IMPACTS（意圖、可測量性、性能、適應性、溝通、透明度和安全性）已被概念化，以建立人類對自主系統的信任。一個系統必須表現出這七個關鍵特征，以獲得并保持人類伙伴的信任，形成一個有效的合作團隊，實現共同目標。IMPACTS模型指導設計了一個智能自適應性決策輔助工具，用于人與自主系統互動背景下的動態目標接觸過程。參加控制多個無人資產大規模演習的主題專家的積極反饋表明了該決策輔助工具的有效性。它還證明了IMPACTS模型作為一種設計原則在人機交互團隊之間實現信任的效用。

全球信息網絡架構（GINA）是一個語義建模框架，旨在促進特設傳感器資產和指揮與控制系統的整合，因為它們可以通過被稱為矢量關系數據建模的實施方式提供給戰斗空間中的操作人員。為了評估GINA的互操作性和推理能力，開發了一個概念驗證評估，并在真實世界的傳感器數據上進行測試。

正如美國陸軍的多域作戰（MDO）概念所指出的，美國的對手試圖通過在政治、軍事和經濟領域的分層對峙來實現他們的戰略目標，而不是通過沖突來對抗美國軍隊和聯盟伙伴。此外，MDO概念指出，對手可能采用多層跨域對峙--跨越陸地、海洋、空中、太空和網絡空間，在時間、空間和功能上威脅美國和聯盟部隊。反擊這些戰略的中心思想是快速和持續地整合所有領域的戰爭（即融合），跨越時間、空間和能力，以戰勝敵人。

為了實現MDO的執行，聯合軍種、政府機構和多國伙伴之間的互操作性是一個關鍵要求。戰術行動已經越來越依賴于信息網絡的傳感、通信、協調、情報和指揮與控制（C2）。因此，美國陸軍不斷尋求提高其整合網絡系統的能力，并在不同的作戰節奏水平上實現同步效果。從歷史上看，由于沒有足夠的能力來支持現有的和新興的技術和進程，這種整合在以無處不在的物聯網（IoT）和軍事C2系統為特征的不斷發展的網絡化戰斗空間中帶來了技術挑戰。這種限制因不同系統的孤島而進一步加劇，限制了戰術、技術和程序的跨系統使用，以及支持硬件和軟件組件。這些限制使作戰人員面臨不一致和缺失的關鍵任務數據，促使作戰功能在孤立中運作。例如，行動和情報之間的數據交換是有限的，范圍也受到限制，增加了指揮官決策過程中的風險和延誤。

為了實現陸軍網絡現代化，陸軍未來司令部網絡跨職能小組（N-CFT）正在調查通過創新、整體和適應性的信息技術解決方案來實現網絡互操作性的顛覆性方法，以滿足既定的C2互操作性挑戰。根據NCFT的指示，美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）的研究人員評估了一項名為全球信息網絡架構（GINA）的技術，作為多源傳感器數據融合的系統解決方案，以支持決策。 根據其軟件規格，GINA的目的是減少在互操作和集成方面存在的技術挑戰，并支持及時的共同情報/作戰圖景和決策的情報分析。

目前，語義互操作是一個活躍的研究領域；近十年來，已經開發了一些軍事技術解決方案。語義互操作提供了促進快速整合來自臨時傳感器資產和異質C2系統的信息的手段，因為它們為戰斗空間中的操作人員所了解。這項初步評估表明，GINA能夠整合不同的傳感器系統，并對數據進行同質化和協調，以便在本次評估的實驗場景下提供解釋、分析和推理。在這一評估的基礎上，在與MDO的規模和復雜性相匹配的實地演習或實驗中進行進一步的評估可能是有意義的。具體來說，進一步評估的能力是：1）來自多個部門的傳感器和通信設備之間及時的互操作性；2）連接來自不同結構和標準的盟國、合作伙伴或商業數據流系統；3）豐富、數據分析、推理或增強其他決策支持C2系統；以及4）與其他技術解決方案的比較。

這項評估的綜合分析已經在DEVCOM ARL技術報告ARL-TR-9100中記錄和公布。

本報告描述了2021財年美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）未來風險項目 "決策動力學、欺騙和博弈論"的研究工作。為了提高指揮和控制多域作戰的決策輔助工具的有效性，有必要開發能夠協助復雜決策的人工智能（AI）工具。該項目開發了一個人工智能測試平臺--ARL戰斗空間（ARL Battlespace），用于創建和研究復雜推理的人工智能決策輔助工具。ARL Battlespace是一個由友好和敵對的人類和人工智能Agent組成的多人網絡兵棋推演工具。分層貝葉斯模型的初步結果說明，在具有不確定性、欺騙和博弈論的情況下，具有復雜推理功能的人工智能多學科發展框架具有潛力。該項目還開始開發一個基于與戰場可視化和交互平臺以及高性能計算持久服務框架的潛在集成的人機協作決策框架。這些成果為改善人-人工智能團隊的復雜決策和協作能力開啟了研究的大門。

1. 簡介

作為美國防部人工智能（AI）戰略的一部分，美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）正在開發基于人類系統適應戰略的研究項目和技術，包括開發基于人-AI團隊決策和相互適應的超人能力的目標。這些新能力對于解決陸軍的多域作戰（MDO）戰略是必要的，特別是其滲透和分解階段，在此期間，人工智能輔助決策可以增強指揮官處理高速和大量信息以及地面、海上、空中、太空和網絡領域的復雜動態的能力。一個關鍵的挑戰是，現有的人工智能算法，對于復雜的決策來說是遠遠不夠的，而且對MDO相關場景的概括能力有限。另一個挑戰是，現有的陸軍理論和決策支持程序沒有將人工智能納入軍事決策過程（MDMP），而陸軍的自動規劃框架（APF）剛剛開始解決這一差距。此外，現有的人-人工智能編隊決策理論和技術僅限于簡單的決策，為復雜的深度決策在提供人工智能透明度方面非常有限，在這種情況下，多種依賴性、不確定性以及信息領域和行為者與復雜的人類、物資和環境動態相交。它們與人類專家的隱性推理協同工作的能力也很有限。發展這些能力需要一個綜合的、多學科的研究方法，包括為新的人工智能研究和人類與人工智能的編隊協作開發人工智能試驗基地。

對于兵棋推演，有必要開發能夠模擬包括戰術和戰略層面在內的多個梯隊的決策測試平臺。現有的兵棋推演決策工具，如Opsim、AFSIM和OneSAF，可以在多個規模上對許多因素進行建模和模擬，以預測基于戰略、物資能力和資源的結果，但它們受到老化系統的限制，有經驗的士兵可能難以學習，也不太適合開發人工智能和人類+人工智能編隊協作的能力。最近，人工智能能力的快速上升為開發和納入新型人工智能作為兵棋推演的決策輔助工具打開了研究的大門。最近人工智能推理的改進（例如，基于深度強化學習）是基于環境狀態完全已知的“開放”游戲（例如，跳棋、國際象棋和圍棋），它們是基于有限的合作性或欺騙性。即使在有額外復雜性的情況下，如環境的不確定性（憤怒的小鳥、雅達利），決策的復雜性、靈活性和對多人兵棋推演的可轉移性也是有限的（如撲克、Minecraft、星際爭霸[圖1]）。盡管這些模型可以深入探索決策，但它們只限于選擇結果的潛在價值可以很容易測量和量化的條件。兵棋推演環境給人工智能學習帶來了困難和未解決的挑戰，因為有許多信息不確定性的來源，不僅來自環境，也來自人類和人工智能Agent。人工智能需要適應不斷變化的規則和戰略，迅速減輕出乎意料的敵方能力，并利用新的機會和友好的能力。人工智能還需要與他們的人類隊友相互適應，他們需要有默契的推理能力來與人類專家協同工作，并補償個人的偏見和啟發式方法以及變化的認知狀態。與博弈論等經典方法不同的是，未來狀態的預期效用可以根據合作或不合作的選擇對有限的行動集進行明確的量化，兵棋推演提出了跨環境和社會動態（包括合作性和欺騙性）以及跨多個時空尺度和領域的相互作用的可能性，這使人工智能學習決策如何與未來狀態價值相聯系的能力受到影響。

圖1 ARL在更廣泛的人工智能研究戰略中的Battlespace平臺

解決這一差距需要持續的基礎研究工作，實驗的重點是為決策中的具體問題發現原則和開發新的算法，并有能力將這些原則和算法與MDO的兵棋推演聯系起來。例如，在具有不完善的知識和不確定性的復雜情況下，提供接近最佳解決方案的人工智能可能比提供單一的"最佳"解決方案更有幫助。這種解決問題的方式與人工智能的透明度也需要探討。對近乎最優和不確定性等條件進行實驗，并采用新的作戰人員機器界面（WMIs），可以產生新的算法、通用工具和原則，更好地協同人類和人工智能對復雜決策的探索。

1.1 軍隊的相關性和問題領域

陸軍戰略科技（S&T）計劃的一部分是為 "超人類"的決策和行動開發能力。對于科技計劃中的"人-系統適應"部分，預期的結果是將人類特有的能力和機器的新興能力結合起來，最大限度地提高速度和選擇，以有效應對2035年及以后的社會技術環境的復雜性、智能化和動態性。預計這些研究工作將為人類引導的機器適應、訓練精通技術的士兵、混合人機思維、以及下一代人類系統集成和系統級分析創造新的能力。由于戰爭正在快速變化，包括不斷的技術變化，實現這樣的能力需要制定一個研究計劃，以推進人工智能、人類與人工智能的合作，專門用于復雜的決策。

作為DEVCOM陸軍研究實驗室未來風險投資（DFV）計劃的一部分，這個項目的目標是開發一個跨學科的計劃，以解決人工智能決策的復雜性和人類-人工智能團隊決策中的差距。這包括開發一個人工智能研究測試平臺--ARL戰斗空間，將復雜的兵棋推演決策抽象為關鍵要素，以便人工智能和人類-人工智能團隊的發展可以專門關注復雜的決策過程本身，同時避免物理現實主義和當今材料和理論的計算和概念限制。這也包括為如何發展人類-人工智能協作決策創造新的概念，了解如何塑造信息流以實現人類-人工智能決策的相互透明，以及在人類和人工智能都難以篩選出不確定性和欺騙的條件下實現相互適應性學習。顯性和隱性的決策框架都需要通過這個抽象的兵棋推演測試平臺來實現，以便人工智能可以在多個推理層次上學習和接受挑戰。還需要一個適當的抽象水平，以使多種類型的研究，包括神經科學、人工智能和決策理論交叉的學術研究，以提高人工智能決策的能力和復雜性，并改善其在軍事方面的轉化。

1.2 長期目標

根據設想，在2035年及以后的陸軍中，指揮與控制（C2）決策將由決策輔助系統來激活，該系統利用分布在多個梯隊的人工智能能力，并以復雜和快速的方式攝取所有領域的數據，這將使沒有輔助的士兵感到不知所措。啟用人工智能的決策輔助工具將能夠對戰斗空間進行前沿模擬和分布式訓練；在MDO的滲透和解除整合階段，能夠對條件、友軍和敵軍戰略以及能力變化的可能影響進行調整和前瞻預測；并能夠對關鍵決策進行事后審查。人工智能將為其決策提供透明度，使真實和抽象的決策空間互動可視化，并根據陸軍理論和未來理論的要求，對士兵的個體化和情境進行優化。相反，人工智能將與士兵共同適應，學習如何在信息不足、沖突或欺騙的情況下做出復雜的決定，并為有效的團隊決策重新塑造、完善和展示信息。有了人工智能Agent作為數據有效轉化和行動化以及利用顯性和隱性知識的合作伙伴，預計分布式C2指揮官將能夠在MDO的許多時空尺度和維度上共同制定和協調行動方案，并且戰術和戰略的跨領域互動將被向前模擬，對環境、人和戰略的動態有更強的彈性。除了增加復雜決策的能力外，預計決策過程本身將通過消除繁瑣的計算和其他延遲而加速，從而使計劃和戰略能夠比實時更快適應不斷變化的戰場和外部（如外交、經濟）因素。

為了實現這一未來，為復雜決策開發新型人工智能的計劃的長期目標是利用多個學科的持續進步。用于推理的"核心人工智能"的發展，在為簡單決策迅速取得進展的同時，需要持續的協同創新，以及來自神經科學和心理學等領域的研究，以便在獎勵難以分配給具體事件或行動的條件下（例如，因為不清楚以何種程度的確定性將獎勵的原因歸于誰、什么、何時、何地或為何），為強化學習開發新型理論。需要機械層面的理論（例如，神經膠質網絡如何支持將不同的事件與獎勵聯系起來）和更高層次的理論（例如，社會規則如何塑造學習）來彌補目前核心人工智能的有限能力和C2決策的需求之間的差距。還需要協同創新和研究，將人工智能的發展與士兵的隱性推理過程相結合，以實現元學習和元推理的決策互動。

1.3 DFV項目的目標

ARL DFV項目是一種機制，旨在促進跨學科基礎和應用研究的新方向，解決研究差距，并為軍隊的任務創造新的能力。DEVCOM ARL研究員認為分析科學是一個需要能力的領域，具有高回報的潛力，需要對現有項目進行重新規劃和擴展，并需要新的項目來建立新的核心能力和建立內部的專業知識。

為了創造這些能力，這個DFV項目的主要目標是建立一個新的研究項目，為C2決策輔助工具的復雜推理開發新型人工智能。這包括開發一個人工智能測試平臺：ARL Battlespace，以便靈活地開發專門用于MDO C2決策的復雜推理的新型人工智能。現有的兵棋推演人工智能測試平臺往往局限于較簡單的決策，更注重于戰術性的地面行動。例如，正在進行的人工智能測試平臺開發工作，如ARL Simple Yeho人工智能測試平臺，側重于環境的真實性，有多個地圖層，包括道路、樹葉和海拔高度，向排長推薦決策，如路線規劃和士兵重新分配任務。由于對當地地形環境的關注，在該環境中開發的人工智能推理將集中在精細的社會和生態動態上，對協作和敵對決策動態進行深入訓練的機會比較稀少。這些稀少和復雜的問題（"微小的、骯臟的、動態的和欺騙性的數據"）迷惑了發展人工智能的經典方法，尤其是復雜推理。相反，這個DFV項目的ARL戰斗空間人工智能測試平臺抽象了當地地形的元素，將人工智能的學習和推理更具體地集中在復雜的MDO相關的C2深度推理上（多個決策步驟，包括更頻繁的合作和欺騙的機會）。這使得在C2兵棋推演的背景下，更有針對性地發展人工智能對復雜的多Agent（人、人工智能和人+人工智能團隊）的決策能力。

第二個目標是通過開發一個有效的WMI來研究和開發如何呈現人工智能的理解和預測以及如何利用人類的理解和預測，為復雜決策的有效人類-人工智能團隊合作創造條件。這項工作包括利用和開發高性能計算（HPC）資源進行計算支持，同時開發用于決策的商業二維交互和混合現實交互的定制軟件（例如，基于增強現實沙盤[ARES]平臺的戰斗空間可視化和互動（BVI）平臺）。通過開發多種WMI方法，我們期望這些平臺能夠實現復雜決策的快速原型研究，并能夠將我們的新型AI與更成熟的兵棋推演訓練和模擬框架與團隊進行整合。

我們預計，在新型人工智能開發、HPC計算支持和用于決策空間現實表現的WMI開發方面的這些努力將為人類-人工智能團隊的發展創造一個新的范例，為未來多個陸軍理論（MDMP、DOTMLPF、27 METT-TC28）的進步和現代化鋪平道路（圖2）。

圖2 在更廣泛的人類-Agent團隊決策研究戰略中的新型人工智能開發

這個項目開發了兩個研究框架 。首先，它開發了一個人工智能測試平臺，被稱為ARL戰斗空間，用于創建和調查人工智能的復雜協作和敵對決策。其次，它認識到目前軍事決策過程中的局限性，構思了一個用于人與人工智能協作的復雜決策的WMI，利用軍隊和商業開發的戰斗空間可視化平臺，與非傳統的HPC資源進行潛在的連接，實現人工智能增強的兵棋推演平臺。

2. ARL戰斗空間人工智能測試平臺

這里，我們描述了我們開發ARL Battlespace的方法，這是一個開源的靈活的兵棋推演平臺，將促進開發基于強化學習算法的新決策輔助工具。特別是，我們關注的是有三個或更多合作和敵對玩家的博弈論的理論和算法能力的差距。雖然博弈論的概念，如囚徒困境和Brinksmanship（"吃雞"），對于兩個玩家已經發展得很好，但它們還沒有擴展到三個或更多的玩家，由于鞍點和局部最小值的存在，決策環境可能很復雜，這可能混淆了強化學習的作用。在戰爭中可能出現的情況下，理解和預測三個或更多的合作和敵對玩家的納什均衡，需要一個靈活的兵棋推演平臺，允許跨學科地探索這種決策空間。該兵棋推演平臺還需要能夠開發、理解和發現玩家和人工智能之間的新型互動和協同作用，使人類能夠利用人工智能快速找到最佳和接近最佳的解決方案。這些解決方案將使人工智能能夠從人類的決策模式中學習，以及如何優化其對決策空間的搜索。

2.1 框架

為了實現這些解決方案，我們開發了一個類似于國際象棋的棋盤游戲，由兩支隊伍組成，一支紅色部隊和一支藍色部隊，每支隊伍可以有多個聯盟（玩家）。游戲是在一個共同的戰斗空間上進行的，這個戰斗空間目前被設計為MDO每個領域的一套棋盤。圖3顯示了一組游戲棋盤的例子，我們考慮了一個"空中"和一個"陸地"棋盤。每個棋盤都被劃分為一組單元格，"空中"棋盤被放在"陸地"棋盤上，形成一個共同的戰斗空間。在這個例子中，我們選擇了創建方形網格，并且只考慮兩個領域。然而，在一般情況下，棋盤格可以采取任何形狀，并且可以任意縮小，而棋盤的數量可以靈活處理MDO中的每一個域。例如，"空中"盤可以由多個代表不同海拔高度的板組成。這種提法提供了一個通用的應用編程接口（API），允許在兵棋推演中取得基本的研究進展，因為它可以被定制以適應任何兵棋推演的場景。

圖3 用于復雜決策的ARL戰斗空間AI測試平臺

每個聯盟都被假定有一組部件，我們稱之為單位。目前，我們假設有四個地面單位和一個空中單位。地面單位由士兵、坦克、卡車和旗幟組成，而空中單位是飛機。每個地面單位目前都有相同的能力（即，相同的行動和視圖集）。然而，API的設計是為了使聯盟的每個單位都有定制的能力，從而使設計特定場景變得容易。

目前各單位的規則和行動如下。士兵、坦克和卡車都有一個目標，描述他們的導向。他們的行動包括 "什么都不做（doNothing）"、"轉向（turnH）"、"前進1（advance1）"、"射擊（shoot）"和"沖撞（ram）"。"doNothing"意味著該單位停留在他們的位置，不改變他們的狀態。"turnH"將單位的方向旋轉H度，其中H∈{-135,-90,- 45,45,90,135,180}。"advance1 "使其方向上向前移動一個單元。"shoot"向單位的方向射出一個彈丸，彈丸繼續向前推進一個單元，直到它與另一個單位相撞或在游戲盤外飛行。最后，"ram"行動使單位在其方向上向前推進一格，同時進行攻擊。與 "advance1"行動相比，"ram"行動總是有利的，因為攻擊可以消滅敵方單位。

飛機單位的規則和行動與士兵、坦克和卡車相似。這些行動是"什么都不做（doNothing）"、"轉向（turnH）"、"前進X、Y（advanceX,Y）"、"射擊（shoot）"和 "轟炸（ram）"。“doNothing”、“turnH”和“shoot”的動作與地面單位相同。行動“advanceX,Y”允許該單位沿東西軸線移動X單元，沿南北軸線移動Y單元。飛機也可以 "上升（ascend）"和 "下降（descend）"來起飛和降落。最后，"炸彈（bomb）"行動在飛機的正下方射出一個彈丸到陸地游戲盤上。旗幟單位無法移動，如果被俘，則被清除。

目前游戲玩法的實施很簡單。最初，每個聯盟（玩家）將其單位放在游戲盤的各自區域。當每隊有多個聯盟時，各隊的游戲板部分被平均分配給各聯盟。請注意，每個單位的位置對所有其他聯盟都是未知的。然后，每個單位觀察其可見范圍內是否有其他單位，提供一個戰爭迷霧的場景。我們將每個單位的觀察范圍定義為從該單位的當前位置開始的一個方塊；然而，可視范圍可以根據場景和單位的情況進行定制。一旦每個單位觀察到了，同一團隊的聯盟就會合作確定他們想為每個單位采取的行動集。這允許每個聯盟觀察其隊友的單位位置，并進行溝通以協調他們的計劃。接下來，每個聯盟為每個單位選擇一個行動。請注意，所選擇的行動只有屬于同一團隊的聯盟才知道。在選擇了行動后，游戲決議被應用，根據他們選擇的行動移動單位，并解決是否有任何單位被攻擊或與另一個單位相撞。如果一個單位被攻擊或與另一個單位相撞，它將被從棋盤上移走。這個過程不斷重復，直到游戲結束。

完成游戲取決于游戲的基本規則，這些規則可以根據具體場景進行定制。在這里，我們研究了兩種類型的游戲：（1）奪旗和（2）殲滅。奪旗游戲的目標是操縱地面部隊進入敵方領土以奪取對方的旗幟，旗幟的位置是未知的，必須通過探索才能發現。一旦所有的敵方旗幟被占領，游戲就會終止。殲滅戰的目標是發現并攻擊所有敵人的地面單位。在這里，一旦發現并消滅了所有敵人的地面單位，游戲就終止了。每種游戲的基本規則都是相同的，但實現每個目標的最佳策略是不同的。在這兩種類型的游戲中，由于敵方單位和旗幟的能見度有限，存在著高度的不確定性。

2.2 分層貝葉斯模型的試點實驗

接下來，我們報告了我們在開發基于模仿學習思想的人工智能Agent方面的初步結果，模仿學習使用的是由人類演示構建的分層貝葉斯模型。我們從討論數據收集過程開始，對數據進行分析，最后用啟發式方法使一個簡單的人工智能Agent勝過一個隨機Agent。

2.2.1 實驗設計

為了學習人類的策略，我們讓五個人類受試者組合在一起，針對第2.1節中討論的兩類游戲（即奪旗和殲滅），與兩個隨機Agent進行ARL戰斗空間游戲。在每個回合中，每個隨機Agent根據一個固定的分類分布為每個單位??選擇一個行動，其中采取一個行動的概率是 ， 取決于單位??可以采取的行動數。回顧一下，每個單位的行動在第2.1節中有描述。

每個游戲由一對人類受試者對兩個隨機Agent組成，在每個游戲開始時，人類受試者合作討論他們對該游戲類型的整體策略。這導致了20場游戲的收集，其中奪旗和殲滅戰各10場。一旦所有的游戲都進行了，就對游戲數據進行分析以確定人類的策略。

2.2.2 游戲數據結果和分析

分析游戲數據的第一個方法是研究人類玩家的行動頻率。行動頻率被定義為 ，其中D代表奪旗或殲滅的游戲數據。 是指在所有游戲中，單位??采取的行動次數，而??(??)是所有游戲中的總回合數。

圖4顯示了地面單位（即士兵、坦克和卡車）的行動頻率，圖5顯示了空中單位（即飛機）的行動概率。游戲的總體目標決定了所選擇的行動，使我們能夠確定所玩游戲的類型。如圖4所示，奪旗游戲的地面單位更有可能選擇前進和攻擊的方式，用 "沖撞"的動作來尋找旗子。此外，"什么也不做"的行動也被更頻繁地選擇。這是因為一旦團隊找到旗子，離旗子最近的單位就會采取行動去搶奪旗子，而其余單位則什么都不做。對于空中單位，人類受試者更傾向于選擇 "advance0,-2 "的行動，即把單位推進到敵人的領土上尋找國旗。

圖4 從人類游戲中產生的所有地面單位，以游戲類型為條件的行動概率

圖5 從人類游戲中產生的空中單位，以游戲類型為條件的行動概率

在 "殲滅"游戲中，人類Agent更傾向于選擇攻擊行動來消滅敵人的目標（即對地面單位采取 "射擊"，對空中單位采取 "射擊"和 "轟炸"）。為了進一步驗證這一策略，圖6顯示了每回合平均射彈數量的累積總和。顯然，"殲滅"游戲的射彈數量比"奪旗"游戲要多。

圖6 每一回合中射彈總數的平均累積總和

兩種游戲的另一個區別是，奪旗游戲的總回合數要比殲滅游戲少得多。這是因為人類Agent找到旗子的速度比他們找到敵方單位并消滅它們的速度要快。

基于對人類Agent如何與隨機Agent玩游戲的簡單理解，我們可以按照類似的方法來學習策略，為簡單的人工智能Agent開發啟發式方法。

2.2.3 從人類演示中學習的簡單人工智能Agent的性能

一個簡單的人工智能Agent的算法如下。最初，Agent隨機地將他們的單位放置在棋盤的指定區域。然后，每個Agent確定每個單位的狀態。考慮到狀態和游戲的目標，Agent從預定的概率分布中為每個單位抽取一個行動。

這個過程在每個回合中都會重復，直到游戲結束。預定的概率分布遵循一個分層貝葉斯模型。為了便于表述，我們在附錄中提供了相關理論。對于最簡單的情況，我們認為單位在每個回合中可能處于兩種狀態，或。然后，概率分布根據附錄中的公式A-1定義，與圖4和圖5中的行動頻率類似。然后我們將這個分布實現在兩個簡單的人工智能Agent中，并與兩個隨機Agent進行比賽。作為一個基線性能，我們與兩個隨機Agent進行了比較。在這兩種情況下，都進行了1000場比賽，并計算了獲勝百分比。通過使用雙狀態概率分布，簡單的人工智能Agent能夠在奪旗游戲中贏得84.5%的時間，在殲滅游戲中贏得76.9%的時間。

接下來，我們為每個單位i考慮了一個更大的九態狀態空間，定義為，其中??r0和??r1分別表示一個友好單位是否被i單位觀察。??0和??1分別表示i單位是否觀察到敵方單位；以及??l0和??l1分別為團隊是否看到敵方旗幟。同樣，概率分布然后根據附錄中的公式A-1定義，并落實到兩個簡單的人工智能Agent。在奪旗游戲中，簡單人工智能Agent對兩個隨機Agent的獲勝比例為89.4%，在殲滅游戲中為82.3%。

結果摘要見圖7。有趣的是，在兩種形式的概率分布（即雙狀態分布和九狀態分布）中，奪旗策略都優于殲滅策略。這是因為 "消滅 "游戲中的Agent更有可能選擇 "射擊 "行動，由于隨機的初始位置，這將導致更多的友好射擊。因此，作為一個簡單的人工智能Agent，采取先攻后守的方法更有利。此外，當我們考慮到單位的額外狀態時，獲勝的百分比會增加。未來工作的一個可能方向是開發深度強化學習策略，以學習最大化獲勝比例所需的狀態定義和數量，即使是面對人類Agent，也要為MDO中的C2提供建議。

圖7 簡單AI Agent的獲勝比例

3. 復雜決策的實例場景

ARL戰斗空間測試平臺的關鍵優勢在于其靈活性和適應MDO任務規劃的變化需求。它的抽象性使關鍵的決策過程及其互動和動態被壓縮到一個較小的游戲盤中，并有更多可量化的人與人工智能的互動，用于開發人與人工智能的團隊合作。這使得人工智能的開發能夠集中于復雜決策的獎勵塑造，同時減少由于滋擾因素（如時空縮放）造成的學習障礙，這些因素使決策在時間和空間上變得稀疏，因此，更多的努力（人工智能以及人工智能開發者的部分）可以被用于在各種時空尺度的不確定性和欺騙下的學習。它還將兵棋推演互動中可能不容易被整合到人與人工智能團隊中的特質（例如，人類心理學的某些方面，如個人關系）放在一邊，以利于在人工智能推理發展方面取得更切實的進展。在下面一節中，我們介紹了幾個挑戰和發展人工智能進行復雜推理的例子。這些例子包括博弈論、元推理和網絡欺騙，涉及到現有人工智能算法尚未處理或解決的各種復雜決策。由于人工智能的C2決策輔助工具將有望超過人類水平的決策，不僅在速度上，而且在復雜性上，我們設想這樣的C2決策輔助工具需要能夠解決大多數（如果不是所有）的情景。

3.1 突破情景和重新想象博弈論

我們首先關注博弈論和兵棋推演之間的差距，在一個簡單的突破場景中，這是兵棋推演中經常遇到的一個經典問題（例如，在橋梁交叉口、地雷區和山口[圖8]）。在經典的博弈論概念Brinksmanship（"吃雞"）中，友好的藍色和綠色坦克被激勵著越過缺口到達另一邊。通常情況下，這些坦克會協調他們的行動，但如果藍、綠坦克之間的通信被破壞，一個單位（如藍坦克）的行動可能會因為與另一個單位（綠坦克）的碰撞或友好射擊而導致低回報。如果還包括囚徒困境的元素，那么這個場景就迅速超越了經典的博弈論，因為可能需要綠色和藍色坦克一起穿越，共同攻擊更強大的紅色坦克，這需要仔細協調。額外單位的存在（例如，綠色飛機對敵對單位提供觀察、轟炸或干擾，如黃色士兵提供可能的增援）能夠進一步操縱動態和環境對決策的限制或機會。飛機也可能發現第二個缺口，或者 "墻"可以滲透，以創造缺口（例如，清除地雷或建立額外的橋梁交叉點）。

在粗略尺度（如10×10板）和背景下學到的行為可以通過獎勵塑造逐步推廣到更細的尺度和其他背景下。額外的地圖層也可以被添加到諸如快速地下運輸等領域，以繞過地面層中的墻壁。環境因素，如天氣，也可以包括在內，以改變機動性。因此，即使是一個看似簡單的場景，也可以提供豐富的機會來操縱影響決策動態和結果的因素，并探索不同類型的不確定性之間的相互作用如何改變決策景觀，以創建鞍點和局部最小值，從而混淆強化學習的作用。在戰爭中可能出現的情況下，理解和預測三個或更多的合作和敵對玩家的納什均衡，需要一個靈活的兵棋推演平臺，允許跨學科地探索這種決策空間。兵棋推演平臺還需要能夠開發、理解和發現玩家和人工智能之間的新型互動和協同作用，使人類能夠利用人工智能快速找到最佳和接近最佳的解決方案。這些解決方案將使人工智能能夠從人類的決策模式中學習，以及如何優化其對決策空間的搜索。

圖8 帶有豐富博弈論條件的場景

3.2 元推理場景、任務背景和戰略

在ARL戰斗空間游戲中，每個玩家都有一面彩色的旗幟，游戲可以通過殲滅所有對方的地面單位或奪取對方的所有旗幟來獲得勝利（現實生活中的一個等價物是奪取所有關鍵的橋梁或指揮中心）。根據游戲的狀態，指揮官可以決定改變整體策略（殲滅戰與奪旗戰），以更快地取得勝利。例如，如果一輛坦克已經接近一面旗幟，那么將剩余的單位轉到其他地方尋找剩余的旗幟可能是有利的（圖9）。相反，如果一支敵對部隊守衛著第一面旗幟，那么優先奪取這面旗幟可能會更好，這樣搜索第二面旗幟的效率會更高。這種未闡明的推理，或稱 "默契推理"，往往在自然的人類決策中根深蒂固，這是一種需要開發的人工智能能力，以便人工智能能夠有效地參與人類-人工智能團隊的決策，使人工智能的發展能夠開始有工具來獲得人類決策的創造性。

圖9 帶有隱性推理和任務重新分配的元推理標志方案

對于人工智能的發展，這就需要一個額外的更高級別的推理Agent不斷地監測游戲的狀態，以做出切換策略的選擇，并將此傳達給控制各個單位的Agent。元推理包括監測推理所涉及的步驟，以及平衡影響活動結果的標準。此外，元推理結合了不同信息的不確定性，以產生更有意義的、符合背景的決策建議。納入元推理可以使約束條件和各種決策方法得到權衡，為行動方案提供不同的選擇。例如，基于元推理的替代選擇可以決定是否優先考慮探索與攻擊已知敵方單位與防御，部署哪種機動戰略，或者考慮到敵方部隊的可觀察位置如何重新分配任務。由于ARL戰斗空間環境的網格大小較小，游戲可以快速進行，導致經常有機會使用元推理，并使人工智能有機會學習結合和預測多種類型的元推理方法的相互作用。由于抽象環境增加了人工智能學習戰略如何交互的頻率，這將使人工智能學習更高級的戰略，例如需要平衡不同戰略、能力和任務要求之間的交互，保持選擇的自由，并產生戰略模糊性以迷惑對手。總的來說，這種方法的好處是通過增加控制和監測機制來改善決策，這些機制包括一個平衡行動和環境約束的元推理Agent。

3.3 簡單的欺騙和人工智能的心智理論

對抗性決策的一個關鍵方面，特別是在戰爭中，就是欺騙。欺騙可以發生在多個層面，包括戰略、可觀察的信息、單位能力和位置。在ARL戰斗空間中，單位的可觀察性有限，這自然為欺騙創造了機會，而飛機在敵方空間深處的探索能力也為揭開單位位置的欺騙提供了機會。圖10展示了一個簡單的欺騙場景的例子，在這個場景中，友軍的藍色和綠色部隊試圖穿越到另一邊。左下方的友軍士兵開始通過左邊的缺口發射導彈，因為他們的Agent推斷（通過對方Agent的人工智能心智理論），看到導彈后，敵方Agent會推斷出友軍正準備通過該缺口進行攻擊。這種欺騙，通過將敵方Agent的注意力和計劃集中到左邊的缺口，使他們偏離右邊的缺口，為藍綠坦克從右邊進入創造機會。通過設計有兩個缺口的情景，該情景建立在經典心理學的兩個替代性強迫選擇任務的基礎上，能夠應用敏感的心理學工具進行決策分析，并開發動物模型，從神經生理學和行為學上剖析支配欺騙的情境依賴性學習和決策的基本細胞和分子機制。例如，人們可以引入一些因素，使友好或敵對的決策出現偏差（例如，通過操縱傳感器的噪音或操縱總部的命令），或應用光遺傳學和化學遺傳學工具等方法，了解他人的認知、信念或策略的神經表征（例如，在前扣帶回和眶額皮層中）對決策計算的貢獻（在前額皮層中）。這種調查還可以發現決定一意孤行、啟發式方法和隱性偏見與對其他假設的開放性的因素，這可以幫助確定在特定條件下如何最好地重新分配任務（例如，當一個人對等級指揮結構有偏見時，他可能不太愿意追求與總部的命令相矛盾的傳感器信息）。這種固有的偏見、啟發式方法和默契的推理是人類推理的自然組成部分，在我們與他人的互動中會被預期到；人工智能的心智理論包括這種偏見補償，對優化人類+人工智能的團隊合作可能是有益的。

圖 10 需要人工智能心智理論的簡單欺騙場景

3.4 網絡欺騙、多領域整合和可信度

在人類的決策中，來自不同領域的信息可以結合起來，產生意想不到的效果。心理上的McGurk效應是指口型"ga"和聽覺上的音節"ba"在時間上有很強的同步性，從而產生幻覺"da"。雖然多感官整合似乎沒有在C2決策中得到探索，但MDO中多個領域的匯合，特別是其在穿透和分解整合階段的高容量和高速度，可能會產生意想不到的非線性跨領域的相互作用（這可能有助于"戰爭迷霧"）。圖11說明了一個例子，在這個例子中，實際跡象（導彈）和坦克誘餌（由中間人[MITM]網絡攻擊產生）的組合可以協同作用，迫使敵方單位向左側缺口移動。為網絡欺騙創造趨同的跡象線是一種普遍的策略，然而特定的欺騙模式可能比其他模式更有效。例如，人們認為大腦會將相似或相關的跡象分組，以進行有效的處理（如格式塔分組），這樣就可以克服信息瓶頸（如處理七個以上的名義項目，從而減少單個項目的影響）。如果進行每一次網絡攻擊都會產生一定的成本或風險，那么了解如何將這些成本分配到不同的線索特征中，以便以最小的風險提供最有效的影響可能是有益的（例如，如果MITM攻擊產生導彈誘餌，那么它的效果可能會降低，甚至是反作用）。了解不同的線索組合如何被不同的士兵所感知，也可能是有意義的。具有不同偏見或處于不同角色或梯隊的指揮官可能對相同的跡象組合有不同的感知、解釋或行動（例如，一個誘餌的有效性可能取決于它與目標指揮官的距離以及與他的決策過程的相關性）。更高級的策略可能包括主動防御（例如，通過 "蜜罐 "策略[圖12]），以提高網絡欺騙的有效性。為了給MDO提供超人的能力，人工智能決策輔助工具可能需要根據即時可用的跡象在多個領域協助生成可信的誘餌，以網絡的速度迅速調整這些展示，并保持虛擬和現實世界之間的一致性，以保持幻覺的有效性。

圖11 帶有中間人攻擊的網絡場景

圖12 帶有蜜罐的網絡場景

4. 人與人工智能編隊協作的復雜決策

上一節所述的ARL戰斗空間人工智能測試平臺通過將戰斗空間地形抽象為一個沒有現實表現的網格狀環境，提供了人工智能開發和測試所需的靈活性。例如，圖8顯示了一個類似于墻的障礙物，它被表示為幾個網格塊，與單位互動時應用的環境約束條件有關。人類團隊和AI都在共同的雙級網格化戰斗空間內進行游戲。人類玩家通過在控制臺窗口中輸入基于文本的編碼命令與ARL戰斗空間互動。這種命令行的交互和顯示加速了人工智能算法的開發過程，并為人工智能兵棋推演所需的大規模實時計算建立了與計算資源的潛在聯系。為人工智能兵棋推演測試平臺（如ARL Battlespace）構思一個用戶界面，并建立通往外部計算服務的管道，構成了DFV第二個目標的基本組成部分--開發一個用于復雜決策的WMI。

一個跨梯隊和作戰級別的軍事決策過程模型構成了為人類和人工智能兵棋推演開發一個有效的WMI的基礎。在傳統的兵棋推演中，指揮官利用一個共同的基于地圖的作戰地形，并模擬MDMP中各種因素的組合如何產生行動方案（COAs）、可能的反擊行動、資源使用估計和預測結果。在幾天或幾周內，MDMP過程形成一套精煉的COAs，對作戰環境做出某些假設，包括地形、天氣和設置戰場的單位的可用性和能力（即為支持主要作戰行動而塑造活動）。

盡管MDMP幫助指揮人員了解作戰環境和考慮作戰方法，但這個過程有許多局限性，如時間密集性、假設的僵硬性、跨場景變化的訓練機會有限，以及很少有機會將人工智能指導納入決策過程。傳統上，一項任務的成功與指揮部執行MDMP的能力直接相關。然而，鑒于MDO的復雜性增加，有大量的任務指揮系統和流程，與行動相關的所有活動的整合和同步變得越來越困難，甚至到了人力無法完成的地步。缺少MDMP所導致的規劃專業知識的缺乏會導致行動的不同步和不協調，并最終導致士兵的生命損失。

MDMP中沒有具體描述戰斗空間的可視化能力，但它顯然在決策過程中發揮著重要作用。最近，整合了先進可視化能力的新系統和技術已經被開發出來，這些系統和技術可以提高對局勢的認識，從而加強決策過程。陸軍的例子包括Nett Warrior，它使下馬的戰士能夠直觀地看到附近的友軍和敵軍，同時根據當地的地形協作規劃戰術任務。盡管這項技術將無線電和數字地圖擴展到了下馬戰士，但它缺乏一個提供決策幫助的基礎人工智能引擎。BVI是陸軍技術的另一個例子，它能夠為任務規劃提供分布式協作，具有從任意視角和廣泛選擇的設備對共同作戰圖進行2D和3D可視化的能力。BVI架構可以被制定，以拉入外部計算服務，如分析管道、模型和AI引擎。

目前，MDMP并沒有將人工智能指導納入整體任務規劃方法中。陸軍的APF開始通過將自主技術插入MDMP工作流程來解決人工智能輔助決策的問題。指揮人員可以通過APF的數字規劃顯示、規劃創建者和規劃監控工具，在任務規劃和COA開發過程中獲得背景援助。任務執行和估計能力通過監測任務的規劃和實際進展，為改進決策跟蹤和支持活動提供自動協助。盡管APF在MDMP中引入了基本的自動化水平，但它缺乏Nett Warrior和BVI所提供的高級可視化和用戶交互能力。

除了MDMP之外，最近將人工智能納入決策過程的努力包括了一些方法，在模擬人類決策過程方面取得了一些成功。一般來說，對于決策變量有限的問題，如資源分配、飛行模擬器和較簡單的場景，人工智能取得了一些成功。目前面臨的挑戰包括：需要提高人工智能的能力，以解決有多個行動者、不完整和可能相互沖突或欺騙的信息、不斷變化的單位行動和環境屬性的復雜決策，以及需要將這些決策的后果在許多空間和時間尺度上可視化。

4.1 未來MDMP需要的進步

MDMP在支持MDO復雜決策方面的局限性，突出表明需要在三個方面進行改進。首先，有必要將人工智能生成的指導和輔助決策支持納入MDMP。這包括進一步發展和整合人工智能到戰斗空間決策規劃，以及進一步改善人工智能決策過程的可解釋性和透明度。第二，有必要在可能的情況下，將決策分析與戰略層面以及戰術邊緣的HPC的力量結合起來。這將能夠利用HPC系統的力量來改善建模、分析和計算時間，同時整合和同步來自所有戰區領域的信息。最后，有必要利用先進的可視化技術，如混合現實技術，對決策空間進行更準確和互動的展現。不是簡單地在一個固定的時間尺度上顯示地形的二維渲染，而是需要可視化不同領域的決策是如何互動的，并利用混合現實技術來提高理解的吞吐量和深度，并實現平面顯示不可能的洞察力。

MDMP是陸軍設計方法的核心，用于應用批判性和創造性思維來理解、可視化和描述問題以及解決這些問題的方法。作為解決問題的行之有效的分析過程，必須克服前面描述的MDMP的局限性，以便快速制定一個靈活的、戰術上合理的、完全整合的、同步的規劃，以最小的傷亡增加任務成功的可能性。下面的小節描述了對MDMP的潛在改進，以支持人類與人工智能的合作決策。

4.1.1 人工智能引導的決策指導

需要新的人工智能支持的WMI，以利用人工智能決策的持續進步，并為復雜的適應性決策的人工智能學習做出貢獻。通過匯集所有領域的信息，計算人類和人工智能Agent的風險和預期回報，人工智能決策輔助工具的發展將提供能力越來越強的COA建議。現有的人工智能有幾個局限性，特別是對于有不確定性的復雜和適應性決策，以及人類和人工智能Agent的協作和對抗。對多Agent的協作和對抗性決策進行建模可能特別復雜，因為它的遞歸性質，其他Agent是模型的一部分，需要對決策特征、個性化的價值、風險規避、記憶和注意力進行動態和不斷發展的估計。這些具有高度不確定性、復雜性和動態性的情況是人類擅長的領域，適當設計的人機協作交互可以提供加速和更有效的決策。為了實現有效的團隊合作，新穎的WMI應該幫助作戰人員篩選復雜的信息，幫助人工智能發現決策的隱含規則。在此，我們提供了關于人機協作如何有效的案例。

多域兵棋推演中需要的復雜決策是開發有效的人工智能決策輔助工具的直接挑戰。最近人工智能在圍棋和國際象棋等游戲中的成功是基于對世界現有狀態的完全了解（即 "開放"游戲），而兵棋推演通常包括關于作戰環境的不完整（如星際爭霸）、不確定和/或欺騙性的信息。由于世界狀態、不同行動者的狀態以及所采取的行動影響的不確定性，知識的缺乏使得人工智能Agent難以計算未來行動的風險回報情況。不確定性也限制了人工智能估計其他行為者的風險回報概況的能力，而這是計算有效博弈論策略所需要的。人工智能被可能的最優和近似最優選擇的廣度所淹沒（即由于信息有限而選擇錯誤）的情況并不少見，因為人類在制定有效探索隱藏信息的策略時，會采用啟發式方法來進行有效的選擇和預測。為了幫助發展人工智能的隱性知識和探索能力，新型的WMI需要有效地解釋和展示決策圖，以使作戰人員能夠快速和自然地瀏覽可能的選擇，同時使人工智能能夠適時地從人類的決策中學習，而不施加認知負荷。

開發人工智能的WMI的另一個基本挑戰是如何有效地整合和顯示MDO中所有五個領域的信息，特別是空間和網絡，因為這些領域的信息具有不同的時空尺度。對于網絡，決策的規模和速度可能比人類處理和理解的能力更快，需要人類的輸入來指導半自動的決策，以及一個實施進攻和防御欺騙策略的人工智能。WMI需要能夠以這樣的方式顯示決策圖，即一小部分最優和接近最優的決策策略清單是可以解釋的（例如，通過決策樹）。這應該包括對關鍵Agent在不確定情況下的未來狀態和風險回報情況的估計，以使有效的博弈論決策能夠被共同開發和相互理解。

這些挑戰為有效的WMIs的可能設計提供了參考。也就是說，我們需要有能力從不同的來源（包括從其他國家的決策輔助工具）攝取信息，以及一個能夠承載整合這些信息的計算能力架構，同時還要處理基礎的人工智能計算（包括學習和部署）。我們還需要共同開發一個交互和算法設計，以適時地利用人類和人工智能Agent的優勢并減少其局限性。

4.1.2 高計算能力下的決策過程

在MDO兵棋推演的復雜決策過程中，需要大量的計算能力來處理和記錄所有組件、實體和狀態空間。從動態狀態空間的累積數據集中建立過去、現在和預測模型，需要利用HPC資源來產生分析見解，并創建在復雜決策背景下有用的表示。

實施HPC分析工作流程的一種方法是使用持久性服務框架（PSF）。PSF是一個最近可用的分布式虛擬化解決方案，它可以通過一個基于網絡的前端實現對高性能計算服務的非傳統訪問，而不像傳統的HPC環境那樣，計算節點在特定時期內以批處理模式分配給用戶。此外，PSF可以提供對數據、數據庫、容器化工具集和其他托管平臺的分布式持續訪問。

在一個PSF方法的例子中，一個模擬引擎連接到PSF，用于記錄人類和人工智能做出的所有決策。這允許分析在任務規劃和COA開發過程中發生的決策行為，以及識別決策模式和戰略，以開發競爭和現實的兵棋推演場景。一個戰斗空間可視化平臺可以托管在PSF上，并使用信息傳遞協議來更新所有連接的設備接口。來自模擬引擎的狀態信息可用于生成戰斗空間和參與作戰單位的圖形表示。

使用PSF方法并利用HPC資源，可以實現利用大數據攝取和分析的人工智能輔助決策機制，同時可供地理分布的用戶用于協作決策工作。連接到PSF托管服務器的各種混合現實顯示模式可以支持從戰略層面的C2到作戰邊緣的更多移動戰術使用等一系列作戰場景。

4.1.3 決策空間的逼真呈現

用圖形表示各級行動的軍事決策戰略需要新的可視化方法，這些方法可以應用于以規則變化、認知狀態、不確定性以及個人偏見和啟發式方法為特征的動態環境。

戰斗空間的視覺表現應該在技術上盡可能準確和逼真，但又保持在人類可以理解和解釋的認知水平。融合了混合現實技術的先進可視化方法有可能更好地表現多領域戰爭的變化特征及其不斷變化的威脅和動態環境。隨著最近混合現實可視化設備的技術進步，成本降低，硬件的可靠性和實用性顯著提高，混合二維和三維可視化方法現在已經成為可能。

由多個二維顯示器組成的混合現實方法增強了更先進的三維可視化能力，可以為指揮人員提供了解復雜的戰爭游戲狀態空間所需的洞察力。例如，BVI平臺可以使用多種可視化模式的組合，真實地呈現地理空間的地形。作為一個數據服務器，BVI向支持多種可視化模式的客戶端應用程序分發地形、作戰和Agent行為數據，包括頭戴式顯示器設備、基于網絡的界面、移動安卓平板設備和混合現實設備（例如，HoloLens 2、Oculus Quest）。

圖13（頂部）顯示了位于加利福尼亞州圣貝納迪諾縣歐文堡國家訓練中心的高分辨率地形上的友軍與敵軍的兵棋推演場景。與MDMP期間經常使用的傳統2D地圖顯示相比，戰斗空間的3D視圖可以從多個觀察角度提供更豐富的用戶體驗。三維視圖，在BVI的網絡戰術計劃器（WTP）中，將地形和人工特征的空間信息以及由MIL-STD 2525C符號描繪的單位位置可視化。

可以想象，地理空間視角，如BVI提供的視角，支持決策者對動態戰斗空間環境的理解。與可導航的人工智能增強的決策空間（圖13，底部）搭配，組合的視角可以使人們更好地理解視覺空間依賴性、影響和因果關系、估計的風險和價值、不確定性以及復雜決策的欺騙性。將這種以地理空間和決策為中心的視角與人工智能相結合，可以提供必要的廣度，以協調物理行動與網絡和其他非空間領域的行動，跨越多個時間尺度，并具有快速適應變化的任務目標的靈活性

圖13 BVI網絡戰術規劃器中的兵棋推演場景的三維視圖（上）與人工智能決策樹的概念（下）。

5. 討論

人工智能對人類自然決策行為的機會性學習，以及學習環境的適當結構和順序，使人工智能被訓練過程有效地塑造，是已經建立起來的提高人工智能快速學習困難挑戰能力的框架。要進一步提高人工智能在兵棋推演中的復雜決策能力，需要提高人工智能在具有高度不確定性的MDO背景下處理決策的能力、欺騙性和博弈論，這些都是人工智能發展過程中獎勵分配的挑戰。克服這些挑戰需要利用多學科的進展，從了解大腦的決策、獎勵和計算的神經生物學進展到專業知識、隱性知識、心智理論、博弈論和元推理在復雜決策過程中如何應用的心理學進展。

人工智能如何能夠最好地學習人類的復雜決策仍然是一個開放的問題。盡管對復雜決策進行獎勵塑造的確切機制還沒有被發現，但這個項目已經產生了如何通過一個新的人工智能測試平臺和WMIs來發現這種機制的設想。ARL戰斗空間人工智能測試平臺和場景將人類和人工智能置于與MDO相關的決策環境中，使人工智能能夠學習不同的決策和因素如何相互作用，以及人類如何通過這種復雜的決策樹進行合作和對抗。一個關鍵的進展是，測試平臺和場景提供了一個豐富的環境，通過抽象化那些會使決策要領稀疏化和阻礙學習的因素，有效地開發人工智能心智理論和與MDO相關的元推理，以進行復雜的決策。

另一個進展是開發高性能計算框架，以實現人工智能決策支持的連續分布式訓練。這將使人工智能決策輔助系統能夠托管在ARL的持久性服務框架上，因此，將來士兵可以隨時隨地以人類和人工智能混合團隊的形式，針對人工智能兵棋推演Agent進行單獨或協作訓練。

這個項目的第三個進展是開發了一種可視化人工智能決策過程的方法，以實現人工智能的透明度和信任，以及人類與人工智能團隊的合作決策。人工智能的推理必須既抽象又與兵棋推演環境相關，這樣人類就可以理解人工智能對不同決策結果的評價，并有效地瀏覽人工智能的決策樹，而不會造成過度的認知負擔。我們已經向人工智能增強的WMI邁出了第一步，它基于三維混合現實，利用和增強人類固有的三維認知和預測的能力。隨著進一步的設計，我們設想它的界面將給人以自然的感覺，同時擴大顯示多個領域的信息，并使人工智能能夠適時地從用戶的決策中學習。這種自然的、直觀的人工智能輔助決策系統，是為了支持MDO C2決策而開發的，包括隱性推理，以及協作和對抗推理，對于人類在復雜決策中信任人工智能對COA結果的估計至關重要。

5.1 進一步發展人工智能測試平臺和人工智能Agent的潛力

雖然最近在游戲中對深度強化學習算法的利用顯示出巨大的前景，但這種成功的前提是與一個相對簡單、結構良好的游戲合作。真正的挑戰出現了，因為環境越來越依賴于稀疏的觀察數據、復雜和動態的Agent策略。完全在內部開發平臺與在現有的開放源碼庫上建立平臺相比，有幾個權衡因素--主要是限制因素的最小化和環境開發的純粹工作量。創建一個全新的定制平臺可以完全定制與游戲相關的錯綜復雜的問題，盡管變得非常耗時。相反，在使用現有的庫，如StarCraft2LearningEnvironment（SC2LE）時，會出現各種不可逾越的限制，但投入游戲開發的工作量會減少十倍。我們正在進行的ARL戰斗空間人工智能測試平臺的第二代開發，名為Simple Yeho（圖14），是建立在天平兩端的平衡上的，OpenAI Gym是一個用于開發強化學習算法的工具包，對輸入的Agent和環境結構不做任何假設。顯然必須遵循一個基本的框架，但OpenAI Gym除了提供大量的文件和例子供客戶參考外，還提供了完全的設計自由。從游戲開發的角度來看，并沒有立即需要解決的問題，但它確實需要成為未來一個更優先的事項。

圖14 簡單的Yeho人工智能測試平臺

未來的問題并不局限于游戲環境，因為它們將不可避免地延伸到理論上的強化學習挑戰，如無縫的多Agent通信、任務協調和固定的策略。更多需要關注的實際問題包括算法效率（限制計算密集型任務以及內存分配的心態），一種新穎的去中心化強化學習算法，以及跨多個領域的數據泛化。過度消耗硬件資源是人工智能所有分支中的一個共同瓶頸。從軟件的角度來看，ARL Battlespace AI測試平臺對資源消耗很少，該環境仍然專注于AI發展的研究問題，而不是全面的MDO實施，這就是為什么計算效率還不是一個緊迫的問題。歸納游戲狀態信息的潛在解決方案，特別是在動態環境中，包括時差變異自動編碼器和分布式時差強化學習，因為它們除了在數據點之間提供一個平滑的潛在空間外，還允許對未來的幾個狀態有明確的信念（這在元推理方面起作用）。我們的新型強化學習算法應該解決的其他主要問題是安全/認證、Agent決策透明度和Agent間的實時通信。將區塊鏈整合到DEVCOM ARL框架中，將確保節點之間的安全通信線路，提供一個不可改變的分布式賬本，以揭示Agent的低級決策，并向Agent引入民主投票系統，以促進團體合作，同時仍然保持個人的自私性。

5.2 進一步發展人類-人工智能協作交互的潛力

目前軍事決策過程中的局限性確定了一個多學科的研究方法，用于開發復雜決策的人類和人工智能WMI。作為基礎層的決策空間的現實表示，包括具有地理空間精確性的自然和人工制作的戰斗空間地形。一個先進而直觀的用戶交互允許混合現實視角的戰斗空間，使決策者能夠根據作戰因素探索COA的替代方案。這兩個要求指導了對陸軍和商業開發的戰斗空間交互系統BVI的選擇，作為ARL戰斗空間人工智能測試平臺中實現的人工智能和人類-人工智能團隊發展的潛在過渡媒介。

過渡的第一步是將ARL戰斗空間的網格狀環境疊加到BVI真實世界的作戰地形上，并將現有的BVI多模態用戶交互調整為兵棋推演。圖15顯示了使用BVI的網絡戰術規劃器3D視角在歐文堡地形上疊加的擴展網格的一個部分，其中友軍和敵軍單位位于兵棋推演會話的開始。在瀏覽器窗口中，可以使用戰術規劃工具欄的鼠標、觸控板或觸摸屏互動來放置和操作單位。BVI提供了添加單位的功能；路線點、戰術符號和圖形；以及繪制線條、多邊形和文本框等特征。

圖15 BVI網絡戰術規劃器中帶有網格覆蓋的兵棋推演場景的三維視圖

一個尚未解決的問題是，如何最好地利用BVI的混合現實（XR）可視化功能來進行協作決策（例如，在兵棋推演期間，通過加強決策者對地形的地理空間因素的理解）。加載不同的地形和創建定制的訓練場景可能來自于多維數據，并以各種身臨其境的形式觀看，這超過了陸軍其他系統的可視化能力。根據這些三維地形的廣度和細節，當決策者使用一系列強大的交互方式在大面積的地形上進行操作時，界面如何顯示這些信息可能會造成大量的信息過載或混亂。一個有效的界面需要被設計成不僅要選擇傳達哪些環境和決策空間信息，而且要選擇如何從用戶的有利位置呈現這些信息。

如果不可能有開發時間和精力，BVI的API提供了機會，以標記、標簽和定位在地形之上的場景適應性網格的形式嵌入視覺輔助，作為決策者的空間管理干預措施。例如，圖15中描述的網格的行和列可以被標記或編碼，以快速定位實時事件和人工智能產生的活動。多維網格結構和編碼方案可以將兵棋推演提升到以MDO為特征的復雜水平，同時減輕一些基于地形的空間管理問題。

在空間和時間領域的數據分析中協調戰斗空間的多個視圖，可視化提供了額外的方法，促進兵棋推演期間的復雜決策。當需要一個共享的MDO戰斗空間呈現時，可以通過在不同的可視化模式上實施多個協調視圖來實現協作戰略規劃模式，根據分布式指揮人員的輸入進行互動更新。指揮人員的輸入也可以指導視覺過濾器對協調視圖的應用，從而減少不必要的復雜性，突出場景或任務關鍵的戰斗空間信息。

圖16顯示了SyncVis視覺分析系統，該系統旨在顯示多個協調的數據分析視圖，支持數據探索和理解。SyncVis通過用戶互動將每個視圖中顯示的信息與其他視圖聯系起來，從而產生多種數據可視化。這個例子顯示了SyncVis在四個協調視圖中對COVID分類人群數據分析的二維界面。變量選擇器（選擇六個屬性）、地圖/地形、相互信息圖和每個選定變量的疊加區域圖。

圖16 SyncVis二維界面顯示COVID數據分析的多種協調的可視化效果

SyncVis的可視化功能可以與使用PSF的HPC分析工作流程后端集成。PSF服務器可以向BVI和SyncVis流傳作戰和Agent行為數據，創造一個統一的戰斗空間探索體驗。基于用戶按需輸入和過濾的協調戰斗空間視圖的好處有待研究。

一個靈活的兵棋推演環境似乎是關鍵，因為每個訓練場景、COA和任務計劃都是在MDMP和相關軍事理論的約束下制定的，但又是獨一無二的，并取決于戰斗空間及其操作變量。一個HPC PSF數據分析處理管道為WMI提供動力，士兵或指揮官按需協調戰斗空間的BVI和SyncVis可視化，將徹底改變現有的兵棋推演范式，并觸及MDO固有的復雜程度，以及贏得勝利所需的人類和AI指導的決策水平。

6.結論

我們強調了三個關鍵的發展領域，即人工智能引導的決策指導，支持這種指導的計算基礎設施，以及決策透明度的混合現實表現的發展。這些領域的進步需要跨越許多不同學科的專業知識。新的人工智能發展需要融合神經科學、心理學和數學的思想，以克服復雜決策中長期存在的問題的瓶頸。這包括跨時間尺度的學習和變化環境下的災難性遺忘，以及更具體的兵棋推演問題，如具有不確定性、欺騙和博弈論的多Agent決策。計算基礎設施也需要發展，因為計算能力和數據框架對于在戰術邊緣產生人-人工智能團隊的共同操作圖來說都是必不可少的。為了有效地開發，應該通過一個共同的框架來抽象出專有的限制和軟件的依賴性，并為使用和故障排除提供清晰的文檔，以使學術界、政府和工業界更好地專注于解決人與人工智能的合作問題。這個通用框架應該包括有效的信息傳遞，同時提供靈活性和適應性，以滿足人工智能開發和人類用戶在訓練和實際使用環境中的需求。最后，交互技術的開發本身需要跨學科的協同專業技術。一個基礎性的問題是如何壓縮信息使之被用戶有效地理解，以及如何最好地利用用戶的互動來進行機會主義學習。人類的大腦并不處理所有的感官信息，而是對世界進行預測和假設，以便在信息不完整的環境下節約計算。一個有效的WMI應該同時預測潛在的決策結果以及個人用戶的期望和假設。此外，人工智能決策輔助工具必須估計用戶的默契，使其能夠提供最相關的信息和最有希望的選擇，這些信息來自整個作戰領域。

目前，有大量的全動態視頻（FMV）檔案從未被查看過，而且隨著傳感器數量的增加，情況越來越糟糕。加拿大國防部（DND）、加拿大其他機構和盟友的問題基本相同：不具備分析來自監控的全動態視頻數據的人力。為解決此問題，要求有一種易于擴展的分析能力，這種能力與不斷增長的可用視頻傳感器數量成比例地增長。為了解決這個問題，加拿大國防研究與發展部（DRDC）--瓦爾卡蒂爾研究中心及其贊助者加拿大特種作戰部隊司令部（CANSOFCOM），已經開始了一項探索性的舉措，利用深度學習的最新進展來描述圖像和視頻內容。這種新興的能力可以被用來處理FMV，從而為軍事分析人員提供支持。本科學報告描述了用于實時FMV分析的自動視頻分析（LAVA）概念。它描述了科學家們所面臨的工程、創新和研究問題。報告提供了使用機載軍事傳感器進行的多次真實測試的結果。最后，提出了這項技術的潛在開發途徑。

這份研究文件對如何利用深度學習來分析加拿大武裝部隊和其他加拿大機構所掌握的大量FMV進行了深入的分析。該文件提出了一個在現實作戰條件下使用的概念論證，并提供了結果表現、問題、挑戰和未來的方向。這項技術可用于處理FMV檔案和分析實時FMV反饋，以協助情報分析人員。

自軍事航空業誕生以來，美國軍方一直對遙控飛機感興趣。今天的無人機系統（UAS）通常由一個無人駕駛飛行器（UAV）和一個地面控制站組成。自20世紀90年代，隨著MQ-1 "捕食者 "的推出，無人機系統在美國軍事行動中已變得無處不在。

美國軍方目前采用了幾種不同的大型無人機系統，包括

• 陸軍的MQ-1C灰鷹
• 空軍的MQ-9 "死神"
• 海軍的MQ-25 "黃貂魚"
• 空軍的RQ-4 "全球鷹"
• 海軍的MQ-4C "海獅"
• 空軍的RQ-170 "哨兵"

此外，其他幾個報告的項目計劃要么正在開發，要么目前正在進行試驗。這些計劃包括空軍的B-21突擊機和空軍的RQ-180。

當國會履行其監督和授權職能時，它可能會考慮與無人機系統有關的幾個潛在問題，項目相關的幾個潛在問題，包括

• 有人駕駛飛機與無人駕駛飛機的成本。
• 缺乏公認的后續項目記錄。
• 整個國防部對無人機系統采購的管理。
• 無人機系統與現有部隊結構的相互配合。
• 無人機系統出口管制。

在美國軍方，遙控飛行器(RPV)最常被稱為無人駕駛飛行器(UAV)，被描述為單一的飛行器(帶有相關的監視傳感器)或無人駕駛飛行器系統(UAS，或無人機系統)，通常由一個飛行器與一個地面控制站(飛行員實際坐在那里)和支持設備組成。當與地面控制站和通信數據鏈相結合時，無人機形成了無人機系統或UAS。

美國國防部（DOD）對無人機的定義，并延伸至無人機系統，是指涵蓋下列特征的飛機：

• 不攜帶人類操作員。
• 使用空氣動力提供升力。
• 可以自主飛行或遠程駕駛。
• 可以是消耗性的或可回收的。
• 可以攜帶致命或非致命的有效載荷。

根據國防部的定義，彈道或半彈道載具、巡航導彈和炮彈不被視為無人機系統。

無人機系統的作用和任務已經隨著時間的推移而演變，從收集情報、監視和偵察到執行空對地攻擊任務。此外，一些分析家預測了無人機系統的未來作用，如空對空戰斗和戰斗搜索和救援。然而，對無人機系統的未來概念和任務的詳細討論超出了本報告的范圍。

1 無人機系統（UAS）歷史

無人機系統在第一次世界大戰期間首次進行了測試，盡管美國在那場戰爭中沒有在戰斗中使用它們。美國在越南戰爭期間首次在戰斗中使用了無人機系統，包括AQM-34 Firebee，這一系統體現了無人機系統的多功能性。例如，"火蜂 "最初在20世紀50年代作為空中炮擊靶機飛行，然后在20世紀60年代作為情報收集無人機飛行，并最終在2002年被改裝為有效載荷。

美國軍隊在科索沃（1999年）、伊拉克（2003年至今）和阿富汗（2001年至今）等沖突中使用無人機系統，說明了無人機的優勢和劣勢。(下面討論的MQ-1 "捕食者 "進一步體現了這些優勢和劣勢）。當無人機系統執行歷史上由有人駕駛飛機執行的任務時，它們經常獲得媒體的關注。與有人駕駛飛機相比，它們似乎還具有兩個主要優勢：（1）它們消除了飛行員的生命風險（見關于MQ-4C的討論）；（2）它們的航空能力，如續航能力，不受人類限制的約束，并使用對人類來說可能太危險的固有不穩定設計，改進低可觀察技術。此外，無人機系統可以通過執行不需要飛行員在駕駛艙內的 "枯燥、骯臟或危險 "的任務，潛在地保護飛行員的生命。這些任務的例子包括1999年由B-2轟炸機執行的30小時長航時任務（枯燥的任務）；空軍和海軍的B-17飛機穿過核云收集放射性樣品（骯臟的任務）；以及在存在主動威脅的情況下進行的情報監視和偵察飛行，如便攜式防空系統或綜合防空系統（危險任務）。

此外，無人機系統的采購和操作可能比有人駕駛的飛機更便宜。然而，較低的采購成本可能會與國防部的意見相權衡，即無人駕駛平臺比有人駕駛平臺更有可能發生A類事故，即造成250萬美元的損失、生命損失或飛機毀壞的事故（表1）。當比較事故率時，即以每10萬小時飛行的事故報告，以便對不同類型的飛機進行比較，與有人駕駛的飛機相比，無人駕駛的飛機發生A級事故的可能性要高92%；當MQ-1的事故率從無人駕駛的子類別中刪除時，與有人駕駛的飛機相比，MQ-9和RQ-4發生A級事故的可能性高15%（見表1）。雖然與無人駕駛平臺相比，有人駕駛飛機通常有更多的A類事故，但這一結果可能是由于有人駕駛飛機的數量更多。

表1. 1998至2021財年的軍用飛機失事和毀壞率

國防部通常使用三種模式來操作無人機系統：（1）政府擁有和操作的系統，（2）政府擁有但由承包商操作的系統，以及（3）承包商擁有和操作的系統。當無人機系統首次被引入部隊時，國防部使用了承包商擁有和操作的模式，因為國防部培訓軍事人員來操作這些新型飛機。在培訓了足夠的人員后，國防部過渡到了政府擁有和經營的模式。然而，國防部對分配給承包商運營的飛機（包括政府和承包商擁有的飛機）的任務類型進行了限制，將這些類型的行動限制在情報、監視和偵察的作用。

1.1 MQ-1 "捕食者"與無人機系統的引入

最早進入軍隊服役的無人機系統之一是MQ-1 "捕食者"，當時國防部在1996年選擇了空軍來操作 "捕食者"。根據空軍的說法，"捕食者 "的設計目的是 "向作戰人員提供持久的情報、監視和偵察信息，并結合打擊能力"。20作為國防部高級研究計劃局（DARPA）合同下的先進概念技術示范機，"捕食者 "在1995年仍作為技術示范機進行了首次作戰部署，支持北約對塞爾維亞的空襲。從1999年3月到7月，"捕食者 "在科索沃上空飛行了600多架次，進行實時監視和戰損評估。2001年9月，"捕食者 "被部署到阿富汗，在2001年9月11日的恐怖襲擊之后，為支持 "持久自由行動 "提供長期的情報、監視和偵查。美國軍隊對 "捕食者 "的廣泛使用促進了其他密切相關的無人機系統（如下所述）的發展，這些系統旨在執行各種類型的任務。盡管 "捕食者 "于2018年3月9日正式退役，但美軍目前的大部分無人機系統機隊都是基于相同的技術，包括源自 "捕食者 "的機體。

“捕食者”由加利福尼亞州圣地亞哥的通用原子航空系統公司開發，以其綜合監視有效載荷和武器裝備能力幫助定義了無人機系統的現代作用。捕食者的主要功能是對潛在的地面目標進行偵察和目標獲取。為了完成這一任務，"捕食者 "配備了450磅的監視有效載荷，其中包括兩臺電子光學（EO）相機和一臺用于夜間的紅外（IR）相機。這些攝像機被安置在車頭下的球狀炮塔中。掠奪者 "還配備了一個多光譜瞄準系統（MTS）傳感器球，它在EO/IR有效載荷中增加了一個激光指示器，使掠奪者能夠跟蹤移動目標。此外，"捕食者 "的有效載荷包括一個合成孔徑雷達（SAR），它使無人機系統能夠在惡劣的天氣中 "看到"。捕食者的衛星通信提供了超越（地面）視距無線電的操作。

MQ-1捕食者的物理特征："捕食者"是一種中高度、長壽命的無人機系統。它長27英尺，高7英尺，翼展48英尺，有細長的機翼和一個倒 "V "形的尾翼。"捕食者"通常在10,000到15,000英尺的高度運行，以便從其視頻攝像機獲得最佳圖像，盡管它能夠達到25,000英尺的最大高度。每輛飛行器可以在離其基地500多海里的地方停留24小時，然后返回家園。"捕食者"的飛行員和傳感器操作員從地面控制系統中駕駛飛機。

2001年，作為一項輔助功能，"捕食者 "配備了攜帶兩枚地獄火導彈的能力。以前，"捕食者 "識別目標并將坐標轉發給一架有人駕駛的飛機，然后與目標交戰，但增加反坦克彈藥后，無人機系統能夠對時間敏感的目標發動精確攻擊，并將 "傳感器到射擊 "的時間周期降至最低。因此，空軍將 "捕食者 "的軍事名稱從RQ-1B（偵察型無人機）改為MQ-1（多任務無人機）。

在 "捕食者 "作戰成功后，陸軍和空軍都開發了變種飛機，包括MQ-1C "灰鷹 "和MQ-9 "收割者"（下文討論）。這些飛機使用了原來的 "捕食者 "機身，同時增加了發動機功率和武器裝備。

2 選定的當前無人機系統項目計劃

以下各節概述了國防部目前選定的無人機系統項目。

• 陸軍的MQ-1C “灰鷹”
• 空軍的MQ-9 "死神"
• 海軍的MQ-25 "黃貂魚"
• 空軍的RQ-4 "全球鷹"
• 海軍的MQ-4C "海獅"
• 空軍的RQ-170 "哨兵"

除了RQ-170 "哨兵 "是一個公認的機密無人機系統項目外，這些選定的系統都有國防部發布的選定采購報告，其中提供了詳細的信息和系統特征。表2提供了這些選定的無人機系統的特征摘要。

表2. 選定的無人駕駛飛機的特征摘要

2.1 MQ-1C “灰鷹”

MQ-1C“灰鷹”（圖1）是MQ-1 "捕食者 "的陸軍衍生產品。根據陸軍的說法，MQ-1C“灰鷹”為作戰人員提供了專用的、有保障的、多任務的無人機系統能力，涵蓋所有10個陸軍師，以支持指揮官的作戰行動和陸軍特種部隊及情報和安全指揮部。 陸軍表示，MQ1C灰鷹能夠以150節的最大速度在25,000英尺的高度飛行至少27小時。它可以攜帶四枚地獄火導彈，以及光電傳感器、合成孔徑雷達和通信中繼器。根據2021財年選定的采購報告，陸軍的MQ-1C“灰鷹”在2019財年飛行了超過494,000小時，實現了92%的戰斗行動可用性。

圖1. MQ-1C “灰鷹”

陸軍總共采購了204架飛機，其中11架是訓練飛機，13架是 "戰備浮動飛機"（即備件）。平均采購單位成本（基本上是每架飛機的成本）為1.275億美元。36 陸軍在2018年8月完成了MQ-1C "灰鷹 "的作戰測試和評估，目前在15個陸軍連隊運營該無人機系統。

2.2 MQ-9 "死神"

MQ-9 "死神"（圖2）--以前是 "捕食者B"--是通用原子公司對MQ-1 "捕食者 "的替代。根據空軍的說法，MQ-9 "死神 "是一種中高海拔、長續航時間的無人機系統，能夠進行監視、目標獲取和武裝對抗。盡管MQ-9 "死神 "借鑒了MQ-1 "捕食者 "的整體設計，但MQ-9 "死神 "長13英尺，翼展長16英尺。MQ-9 "死神 "還采用了900馬力的渦輪螺旋槳發動機，比MQ-1 "捕食者 "的115馬力發動機功率大得多。這些升級使MQ-9 "死神 "能夠達到最大50,000英尺的高度，240節的空速，24小時的續航時間，以及1,400海里的航程。然而，MQ-9 "死神 "與其前輩最不同的特點是其軍械能力。MQ1捕食者能夠攜帶兩枚100磅的地獄火導彈，而MQ-9死神可以攜帶多達16枚地獄火導彈，相當于陸軍阿帕奇直升機的有效載荷能力，或者混合500磅的武器和小直徑炸彈。在2018日歷年，MQ9 "死神 "總共飛行了325,000小時--其中91%的小時，即約296,000小時，是為了支持作戰行動而飛行的。

圖2. MQ-9 "死神"

2021年1月，通用原子公司披露了MQ-9 "死神 "的一個新的海上反水面戰變體。據報道，MQ-9B "海上衛士 "配備了聲納浮標投放（投放旨在識別潛艇的傳感器）和遙感能力（很可能是指 "海上衛士 "用于搜索水面艦艇的合成孔徑雷達），目前正在太平洋地區進行測試。

根據2020財年選定的采購報告，空軍已與通用原子公司簽訂合同，在該計劃的有效期內建造366架MQ-9 "死神"。按2008年美元計算，平均采購單位成本為2230萬美元（或按2022財年美元計算約為2800萬美元）。在2022財年，空軍沒有要求采購任何MQ-9 "死神"，但眾議院軍事委員會在其標記中授權額外采購6架飛機。

2.3 MQ-25 "黃貂魚"

由波音公司制造的MQ-25 "黃貂魚"（圖3）旨在為海軍的航母航空隊提供空中加油。根據海軍的說法，MQ-25將率先實現有人和無人操作的整合，展示成熟的復雜的海基C4I[指揮、控制、通信、計算機和情報]無人機系統技術，并為未來多方面的多任務無人機系統鋪平道路，以超越新興威脅。MQ-25的要求是解決基于航母的加油和持久的情報、監視和偵察能力的需要。

MQ-25 "黃貂魚 "由一個飛行器和一個控制系統組成，旨在適合航空母艦。它的首次飛行是在2019年9月進行的。MQ-25 "黃貂魚 "目前正處于采購過程的工程、制造和設計階段，海軍計劃在2023財政年度開始采購。根據2021財年的選定采購報告，海軍打算采購76架飛機，平均采購單位成本為1.21億美元。海軍在確定將加油作為其第一個航母上的無人機系統任務之前，研究了幾個無人戰斗飛行器概念。

圖3. MQ-25 "黃貂魚"

2.4 RQ-4 "全球鷹"

諾斯羅普-格魯曼公司的RQ-4 "全球鷹"（圖4）是美國空軍目前投入使用的最大和最昂貴的無人機系統之一。RQ-4 "全球鷹 "集成了多樣化的監視有效載荷，其性能被廣泛認為可與大多數有人駕駛的間諜飛機相媲美或超越。RQ-4全球鷹長47.6英尺，重32,250磅，與一架中等規模的公司飛機差不多大。根據空軍的說法，RQ-4全球鷹的飛行高度幾乎是商業客機的兩倍，可以在65,000英尺的高空停留超過34小時。它可以飛到5,400海里外的目標區域，在60,000英尺高空徘徊，同時監測一個伊利諾伊州大小的區域（近58,000平方英里）24小時，然后返回。RQ-4 "全球鷹 "最初被設計為一種自主的無人機，能夠根據預先編入飛機飛行計算機的輸入進行起飛、飛行和降落；然而，空軍通常在任務控制飛行員和傳感器操作員的配合下操作這些飛機。

圖4. RQ-4 "全球鷹"

RQ-4全球鷹目前以三種配置部署。Block 20、Block 30和Block 40：

• 20號機被稱為戰場機載通信節點（BACN，發音為 "bacon"），充當地面部隊的通信中繼。目前有四架飛機采用這種配置。

• 30號機使用合成孔徑雷達（SAR）、光電/紅外（EO/IR）傳感器、增強型綜合傳感器套件（EISS）和機載信號情報有效載荷（ASIP）的組合。Block 30的初衷是為了取代U-2間諜飛機。目前有20架Block 30飛機正在服役。

• 40號機整合了具有地面跟蹤能力的多平臺雷達技術（可跟蹤地面部隊的雷達，類似于E-8C JSTARS飛機）。10架Block 40飛機正在服役。

截至2016財年的選定采購報告，RQ-4全球鷹已經飛行了14萬小時（其中10萬小時支持作戰行動）。2014年，79.7%的飛機可用于執行任務。2014財年的平均采購單位成本為1.228億美元（或按2022財年調整后的美元計算為1.411億美元）。總統的2022財年預算請求重申了空軍計劃在2021財年退役所有Block 20飛機，并在2022財年退役所有Block 30飛機。

2.5 MQ-4C "海獅"

海軍的MQ-4C "海神"（圖5）也被稱為廣域海上監視（BAMS）系統，它以 "全球鷹 "Block 20機身為基礎，但使用不同的傳感器，與P-8 "海神 "有人駕駛飛機一起支持海上巡邏行動。根據2020財年選定的采購報告，"安裝在MQ-4C天龍上的任務傳感器提供360度的雷達和光電/紅外覆蓋"。報告稱，海軍打算在2020年10月達到初始作戰能力，并在2021年5月做出全速生產的決定。在2019年的年度報告中，作戰測試和評估主任表示，海軍結束了對該飛機的作戰評估，這支持了早期的實戰決定。MQ-4C "海獅 "的平均采購單位成本在2016財年為1.461億美元（或在2022財年約為1.626億美元）。

圖5. MQ-4C "海獅"

2019年6月，伊朗軍方在阿曼灣擊落了一架MQ-4C "海獅"，國防部稱其為BAMS飛機。根據海軍的新聞簡報，這架飛機當時正在該地區飛行，監測霍爾木茲海峽是否有伊朗對商業航運的威脅。國防部官員表示，"這次襲擊是在最近國際航運和商業自由流動受到威脅之后，試圖破壞我們監測該地區的能力。" 當時，特朗普政府似乎考慮對伊朗摧毀一架美國飛機進行報復性打擊，但據報道，在回應一架無人駕駛飛機的損失時，升級風險是不值得的。

2.6 RQ-170 "哨兵"

盡管RQ-170 "哨兵"（媒體也稱之為 "坎大哈的野獸"）被公開承認存在，但關于它的大部分信息都是保密的。RQ-170 "哨兵 "首次在阿富汗上空被拍到，但據說也曾在韓國作戰，它是一種無尾的 "飛翼"，比美國目前的其他無人機系統更隱蔽。 據報道，一架RQ-170 "哨兵 "在2011年5月1日對奧薩馬-本-拉登的駐地進行了監視和數據中繼。伊朗政府在2011年12月2日聲稱擁有一架完整的RQ-170 "哨兵"，因為它被指控侵入了伊朗領空。

RQ-170 "哨兵 "由洛克希德-馬丁公司制造，翼展約65英尺，長近15英尺，由一臺噴氣式發動機驅動。它的上翼表面似乎有兩個傳感器托架（或衛星天線外殼）。雖然該機具有像B-2隱形轟炸機那樣的固有的低可觀察性混合機翼/機身設計，但RQ-170 "哨兵 "的常規進氣口、排氣口和起落架門表明其設計可能沒有完全針對隱形進行優化。

根據空軍的說法，"RQ-170哨兵是空軍正在開發、測試和投入使用的低可觀察性無人駕駛飛機系統（UAS）"。 沒有進一步的官方狀態。

2.7 其他報告的項目計劃

盡管其他無人機系統項目正在開發中，但它們在很大程度上是保密的，因此有關它們的信息并不公開。這些項目包括B-21 "突襲者"（據說是一種能夠進行遠程駕駛的載人轟炸機）和RQ-180。2021年12月4日，空軍部長弗蘭克-肯德爾透露，空軍打算在2023財政年度啟動兩個新的無人機系統項目，但沒有其他信息。

B-21 "突襲者"

即將推出的B-21 "突襲者 "不是一個純粹的無人機系統；這種遠程轟炸機預計將由遠程或機上人員操作。B-21（圖6）打算在常規和核方面發揮作用，有能力穿透先進的防空環境并在其中生存。預計它將在20世紀20年代中期開始服役，建立一個由100架飛機組成的初始機隊。B-21將駐扎在德克薩斯州的戴斯空軍基地、密蘇里州的懷特曼空軍基地和南卡羅來納州的埃爾斯沃思空軍基地，其中埃爾斯沃思是訓練基地。

圖6. 對B-21的渲染圖

B-21是圍繞三個具體的能力而設計的:

1.一個大而靈活的有效載荷艙，能夠攜帶目前和未來的各種武器裝備。

2.航程（盡管是保密的）。

3.預計每架飛機的平均采購單位成本為5.5億美元（2010財政年度），這是公開宣布的，以鼓勵競爭廠商限制其設計。

盡管空軍已經發布了轟炸機的藝術效果圖，但具體設計仍然是機密。

為了實現5.5億美元的目標，單位成本被指定為采購戰略中的一個關鍵性能參數，這意味著達不到這個價格就會失去投標資格。(該價格是基于采購100架飛機；數量的變化可能會影響實際的單位成本）。在授標公告中，空軍透露，諾斯羅普公司中標的獨立成本估計為每架飛機5.11億美元，相當于2016財年的5.64億美元。空軍表示，截至2021年的平均采購單位成本在2010財政年度為5.5億美元，或在2022年為6.7億美元。

RQ-180

據報道，另一個正在開發的無人機系統項目是RQ-180，據說是一種轟炸機大小的無人機系統。 2014年6月9日，前空軍負責情報、監視和偵察的副參謀長羅伯特-奧托中將說，空軍正在 "研究RQ-180遙控飛機，以使其更好地進入有爭議的空域，在那里，無人駕駛的RQ-4全球鷹和有人駕駛的U-2S平臺是很脆弱的。" 關于RQ-180的其他細節幾乎沒有公開發布，空軍也沒有正式承認該計劃。

3 關于國會潛在的問題

本節討論了國會在考慮國防立法時可能出現的問題，包括與載人系統的成本比較，缺乏后續的記錄項目，組織管理，與現有部隊結構的互操作性，以及出口管制。

3.1 與載人系統的成本比較

在2021年6月的一份報告中，美國國會預算辦公室（CBO）研究了有人和無人的情報、監視和偵察（ISR）飛機之間的成本、可靠性和出動率。值得注意的是，CBO確定RQ-4全球鷹每飛行小時的成本約為18,700美元，或載人P-8海神的62%，后者可執行類似任務，每飛行小時的成本為29,900美元。報告還指出：

• 與P-8相比，RQ-4全球鷹預計每年多飛行356小時

• RQ-4全球鷹的預計壽命為20年，而P-8的預計壽命為50年

• RQ-4全球鷹的采購成本為2.39億美元，而P-8海神的采購成本為3.07億美元（約為該載人平臺采購成本的78%）。

同樣，其他UAS飛機的購置成本和每飛行小時的成本也比有人駕駛飛機低。然而，UAS飛機通常比有人駕駛飛機有更高的事故率。國會在比較飛機系統時可以考慮這種權衡--較低的成本與較高的風險。

3.2 缺少后續項目記錄

在伊拉克和阿富汗沖突期間，美國軍方每年購買數百個無人機系統，主要是MQ-1 "捕食者 "和MQ-9 "死神"，但也有RQ-4 "全球鷹 "和MQ-4 "海獅"。當這些沖突結束后，采購量驟然下降。例如，各部門在2012財政年度采購了1211架中型或大型無人機系統，但到2014年，每年的數量下降到54架無人機系統，而且這個數字還在繼續下降。2022財年的預算報告要求采購6套UAS。

國防部沒有對這一變化進行正式的評論；然而，有幾個因素可能影響了這一下降趨勢。一個是在伊拉克和阿富汗沖突期間獲得的許多無人機系統共享類似的技術，軍方可能沒有設定新的要求來納入新技術。另外，盡管那些第一代和第二代無人機系統在寬松的空中環境（如伊拉克和阿富汗的環境，那里沒有對手的空軍或防空部隊）下運行良好，但在與先進的防空部隊和飛機的近距離沖突中，它們會面臨更大的挑戰，而這些飛機越來越成為美國國防規劃的一部分。國防部也可能在更先進的技術（如噴氣動力無人機系統）成熟時，有意識地在采購方面采取戰略暫停。最后，許多無人機系統的開發被認為在這一時期轉移到了不被承認的機密系統。因此，國防部的采購可能沒有如此急劇下降，而是從非機密或公認的機密項目轉移到公共預算文件中看不到的非公認的機密項目。

3.3 組織管理

盡管大多數美國軍用無人機系統是基于MQ-1 "捕食者 "機身的，但各軍種都有無人機系統項目。在授權和監督方面，國會可以考慮以下問題。誰應該管理國防部無人機系統的開發和采購？這些項目中至少有一部分的管理應該集中起來嗎？如果是這樣，國防部的中央機構應該設在哪里？

前空軍參謀長諾頓-施瓦茨將軍提出："理想情況下，你想做的是讓美國政府以一種能夠讓我們獲得最佳能力的方式。一個例子是BAMS[MQ-4 Triton]和[RQ-4]全球鷹。為什么海軍和空軍要有兩個獨立的倉庫、地面站和訓練管道，來處理本質上是相同的飛機和不同的傳感器？我認為我們雙方有很多機會可以更好地利用資源。" 蘭德公司2013年的一項研究發現，從歷史上看，聯合載人飛機項目并沒有帶來生命周期的成本節約，但通過一個辦公室管理多個項目而不完全合并這些項目可能是可能的。

3.4 與現有部隊結構的互操作性

無人機系統在與有人駕駛飛機執行任務時帶來了潛在的互操作性挑戰，因為飛行員并不直接在飛機上，而是位于機場上，用于起飛和降落，或者位于美國的一個設施。例如，UAS飛行員依靠攝像機或傳感器與編隊中的有人飛機進行視覺接觸。在過去的20年里，陸軍和空軍都展示了將無人機系統整合到其行動中的方法；最近，陸軍在其2021財政年度的項目匯合中試驗了新的概念。然而，海軍和海軍陸戰隊在將無人機系統整合到他們目前的機隊和行動中的經驗有限，特別是在航空母艦和兩棲艦上的大型無人機系統。隨著新的無人機系統的開發，以及使用這些飛機的新概念，有人駕駛的飛機和無人機系統將如何整合仍有待觀察。同樣，目前還不清楚與空域沖突有關的問題在多大程度上會給國防部帶來挑戰。

3.5 出口管制

美國通過多邊出口管制制度和國家出口管制來控制無人機系統的出口。

導彈技術管制制度

導彈技術管制制度（MTCR）"尋求限制 "核生化武器擴散的風險，"通過管制可能有助于此類武器運載系統（除有人駕駛飛機外）的貨物和技術的出口"。1987年由美國和其他六個國家成立的MTCR，每年舉行幾次會議，目前由35個伙伴國組成，是一個非正式的自愿安排，其伙伴國同意對一個包含兩類受控物品的附件適用共同的出口政策準則。伙伴國根據國家立法執行這些準則，并定期交流有關出口許可證問題的信息，包括拒絕技術轉讓。MTCR準則適用于武裝和非武裝無人機系統。

第一類MTCR項目是最敏感的，包括 "能夠在至少300公里范圍內運送至少500公斤有效載荷的完整無人機系統，其主要的完整子系統......以及相關的軟件和技術"，以及為這些無人機系統和子系統 "專門設計的 "生產設施。伙伴國政府應 "強烈推定拒絕 "此類轉讓，無論其目的如何，但可在 "罕見情況下 "轉讓此類項目。 該準則禁止出口第一類物品的生產設施。制度伙伴在授權出口第二類物品方面有更大的靈活性，其中包括不太敏感和兩用的導彈相關部件。這一類別還包括完整的無人機系統，無論有效載荷如何，射程至少為300公里，以及具有某些特征的其他無人機系統。

MTCR準則指出，各國政府在考慮MTCR附件物品的出口請求時應考慮六個因素。(1) 對核生化擴散的關注；(2) 接受國 "導彈和空間計劃的能力和目標"；(3) 轉讓對核生化運載系統的 "潛在發展意義"；(4) "對轉讓的最終用途的評估"，包括下文所述的政府保證；(5) "相關多邊協定的適用性"；以及(6) "受控物品落入恐怖團體和個人手中的風險"。 " 該準則還規定，如果伙伴國政府 "根據所有可用的、有說服力的信息 "判斷該物品 "打算用于 "核生化武器的運載，則強烈推定拒絕轉讓MTCR附件中的任何物品或任何未列入清單的導彈。

此外，MTCR準則指出，如果出口國政府不判斷擬議的第一類無人機系統的轉讓是用于核生化運載，政府將從接受國獲得 "有約束力的政府對政府的承諾"，即 "未經 "出口國政府的同意，"該項目或其復制品或衍生品都不會被再次轉讓。出口國政府還必須承擔 "采取一切必要步驟，確保該物品只用于其既定的最終用途 "的責任。此外，政府只有在得到 "接受國政府的適當保證"，即接受國將只為其既定目的使用這些物品，并在未經出口國政府事先同意的情況下不修改、復制或重新轉讓這些物品的情況下，才可批準轉讓 "可能有助于[核生化]運載系統 "的物品。伙伴國政府的出口管制必須要求在政府通知出口商此類物品 "可能全部或部分用于......載人飛機以外的[核生化]運載系統 "的情況下，授權轉讓未列入清單的物品。這些限制被稱為 "全面 "管制。

其他多邊出口管制制度

其他多邊制度限制可能使無人機系統開發核生化有效載荷的技術的出口。例如，核供應國集團管理與核有關的出口，而瓦森納安排在常規武器和某些兩用貨物和技術方面發揮著類似的作用。澳大利亞集團是與化學和生物武器有關的技術的類似組織。

美國的出口管制

從2017年開始，美國向MTCR合作伙伴提交了一系列建議，以放寬該制度對某些無人機系統的出口準則。 這些政府以協商一致的方式作出決定，但沒有同意采納任何這些建議。2020年7月24日，特朗普政府宣布了一項新的無人機系統出口政策，將 "精心挑選的MTCR第一類無人機系統的子類，其飛行速度不能超過每小時800公里（大約每小時500英里），視為第二類"，從而克服了MTCR對這些系統的 "強烈拒絕推定"。美國已經向法國、意大利、日本、德國、韓國、西班牙和英國出口了MTCR第一類無人機系統。

美國商務部工業與安全局（BIS）2021年1月12日的最終規則實施了對美國兩用許可程序的相關修改。BIS向國會提交的2020財政年度報告指出，取消了所有2020年MTCR會議，并解釋說，美國單方面采取這一政策是因為 "在可預見的未來，MTCR沒有進一步進展的場所"。 國務院的一位官員說，該提案 "仍然是我們在MTCR中的一項優先努力，但這--與其他許多事情一樣--受到了旅行限制的阻礙"，該限制是為了應對COVID-19病毒帶來的風險。MTCR成員在2021年10月舉行了一次全體會議，但沒有通過美國的提案。

美國對無人機系統的出口施加了一些其他限制。美國務院負責管理對軍用無人機系統和其他國防物品的出口管制；這一制度的法定依據是《武器出口管制法》（AECA；P.L. 94-329）。該法第71(a)條要求國務卿保持一份MTCR附件中所有不受美國雙重用途管制的物品清單。美國出口管制法》還限制了原產于美國的國防物品的用途，并禁止未經美國政府許可向第三方轉讓此類物品。2018年出口管制法》（P.L. 115-232，B副標題，第一部分）為總統提供了廣泛而詳細的立法授權，以實施對兩用物品出口的控制，包括兩用無人機系統和相關組件。美國關于兩用物品出口的法規包含對無人機系統的全面控制。

美國政府還實施了一些法規，以確保原產于美國的無人機系統的接收者將這些物品用于其申報的目的。根據2019年5月國務院的一份概況介紹，美國將轉讓軍用無人機系統，"只有采取適當的技術安全措施"。 國務院和商務部都會進行最終監測，以確定接受國是否適當地使用出口物品。概況介紹說，一些軍用無人機系統 "可能要接受強化的最終使用監測"，以及 "額外的安全條件"。根據國務院的概況介紹，美國轉讓MTCR第一類無人機系統也 "應要求與 "美國政府就該系統的使用進行定期磋商。