認知方法在幾乎所有方面可提高現有雷達的性能，這導致了近年來研究的激增，空軍雷達建模和仿真（M&S）工具的一個關鍵差距是缺乏針對分布式全適應雷達（FAR）系統的全面、動態分布式雷達情景生成能力。截至2015年初，所有的研究都是在理論上推進概念，并通過模擬檢驗其性能，或者最多使用預先錄制的數據。沒有關于實驗驗證概念的報告，主要是因為還沒有開發出測試它們的必要硬件。然而，為了確定應用認知處理方法的真正性能潛力，這一步驟是至關重要的。為了解決這個問題，俄亥俄州立大學（OSU）電子科學實驗室（ESL）的認知傳感實驗室（CSL）與Metron公司、空軍研究實驗室（AFRL）和空軍科學研究辦公室（AFOSR）一起，已經開始了一項研究計劃，從分析和實驗上開發和檢驗認知雷達處理概念。

CSL設計并建造了認知雷達工程工作區（CREW），這是世界上第一個專門用來測試完全自適應和認知算法的雷達測試平臺，Metron和OSU開發了一個認知FAR系統的理論框架，在單一傳感器和目標的目標探測和跟蹤范圍內確定了關鍵的系統組件并進行了數學建模。我們一直在開發建模、模擬、分析和實驗能力，以證明FAR系統比傳統的前饋雷達（FFR）系統取得的性能改進。我們從OSU的軟件定義雷達（SDR）系統的模擬場景和預先記錄的數據開始。我們現在有能力利用CREW演示認知雷達跟蹤系統的實時操作。

這個項目的目標是為分布式FAR雷達開發一個基于MATLAB的M&S架構，從而能夠在模擬的、以前收集的和實時的流式數據上進行算法開發和測試。在第一階段，我們開發了一個基線FAR M&S架構，該架構采用面向對象編程（OOP）方法在MATLAB中編碼。它包括一個控制感知-行動（PA）周期運行的FAR引擎和確定下一組傳感參數的軟件對象；從傳感器獲取數據；處理數據以跟蹤目標；存儲和顯示傳感和跟蹤過程的結果。我們開發的模塊實現了模擬和預先錄制的SDR數據實例，以及實時和模擬的CREW數據實例。

第一階段開發的FAR M&S架構允許在模擬和實驗CREW數據源之間，以及在驅動傳感的FAR算法之間進行透明切換。輕松交換傳感和處理對象的能力將允許快速開發和測試認知雷達算法，通過構建M&S功能來避免重復工作和 "單點 "解決方案。它將使工業界、學術界和空軍的研究人員之間的合作成為可能，因為不同研究人員開發的算法可以使用一致的模擬、收集的數據和實驗室條件進行測試和比較。

電子情報（ELINT），是通過電子傳感器獲得的情報。其目的通常是確定目標的能力，如雷達的位置。可以采用主動或被動傳感器來收集數據。對提供的信號進行分析，并與收集到的數據進行對比，以確認信號類型。如果檢測到信號類型，信息可以被儲存起來；如果沒有找到匹配的信號，它可以被歸類為新的信號。ELINT收集和分類數據。在軍事環境中（以及其他采用這種用法的環境，如企業），情報幫助一個組織做出決策，可以使他們在競爭中獲得戰略優勢。術語 "intel "經常被縮短。信號情報（SIGINT）的兩個主要子領域是ELINT和通信情報（COMINT）。美國國防部規定了這些術語，而情報界則使用世界各地的數據審查類別。

引言

電子情報（ELINT）是由電脈沖產生的信息，不包括語言或文字（這被認為是COMINT）。它有幾個主要分支。

技術性ELINT（TechELINT）[2]解釋了信號的結構、其發射特征、其操作方法以及發射器和發射器的武器系統附屬的功能，如制導信息和探測系統。也許一個TechELINT的主要目標是收集可能用于弄清發射器能力的信號特征，并作為更大系統的一部分，如陸地雷達識別飛機、改進的無線電、反擊或反駁裝備已被開發出來。"電子戰"這一短語包含了整個過程，以及反制措施。

另一個關鍵學科是運作型ELINT（OpELINT），其重點是發現特定的ELINT目標和分析系統運行趨勢。"電子戰指令"是對這些成果的命名（EOB）。另一項由OpELINT提供的服務是威脅評估，有時被稱為"戰術ELINT"。在戰場上，OpELINT情報工具幫助軍事任務的計劃者和當地軍隊的將軍。收集、分析和傳播外國遙測信號情報是之前ELINT（TELINT）的第三個關鍵分支。

勘察、分析和評估外來遙測信號產生的技術和間諜信息，被稱為TELINT。遙測情報最初被認為是ELINT的一部分，因為TELINT（后來被稱為FISINT--外國儀器信號情報）行動與TechELINT進程密切相關。當外國火箭2和空間探測器正在建造和測試時，TELINT是性能數據的一個重要部分。TELINT能夠提供大量關于國際衛星和宇宙飛船的操作數據[2]。

雷達系統是電子情報部門關注的中心，同時也是對其特性的分析。觀察、收集、提前探測、TWS、制導系統跟蹤、GCI以及其他類型的作戰系統雷達系統都是威脅。

信號類型包括脈沖、脈沖增量、CW、ICW、采用PC（脈沖和頻率編碼）的現代雷達、頻率和PRI靈活的雷達系統、AM、FM以及其他。

該系統的能力：

• 計算機控制和軟件可編程的系統。

• 在短時間內準確地捕捉信號和處理數據。

• 準確的信號分析和根據操作者選擇的標準呈現發射器的活動，指紋和發射識別（脈沖分析-內部和內部）。

• 數據庫鏈接和管理，有效的雷達定位，以及通過單獨的加密航空數據鏈接近乎實時地上傳記錄數據/處理數據的能力。

• 每1秒對所有記錄的數據進行GPS時間標記的能力。

在戰術上使用時，武器系統的電子支持措施（ESM）包可能包括ELINT設備，它可以進行探測和被動地理定位。

對于更深入的信號研究活動，必須進行技術分析（捕獲和分析材料，以及離線識別）。

• 戰術行動。軍方、海軍陸戰隊和空軍部隊都想知道所有對方的雷達在哪里，以及他們能對這些雷達做什么。雷達的作戰順序就是它的名字（ROB）[3]。

例如，為了確定如何消除敵人的雷達或對其采取合適的反擊，空軍必須首先了解對手雷達的建造方式和位置。

圖1是一個戰術表述的例子。

圖 1：戰術數據 (ROB) 的理論演示，轉載自 [3]

• 技術行動。相反，情報部門試圖從對手的雷達中獲取所有的雷達工作模式和光譜。了解防御系統的功能，檢測新的雷達和操作模式，以及跟蹤新的對手電子進展和設備都是需要的[3]。

圖2是一個技術介紹的例子。

圖2：技術數據的理論表述，轉載自[3]

為了支持以下許多觀點：

• 在確定的感興趣區域（AOI）內定位和識別敵方雷達

• 密切關注整個電頻譜包絡面的情況

• 與敵人的雷達裝置保持安全距離。

• 為了實現這些操作標準，在大多數ELINT系統中，有兩種接收機。

• 全景式接收機（寬頻接收機，WBR）用于監視周圍環境，和

• 選擇性接收器用于測量雷達波形（超級外差式接收器，SHR）。

ELINT技術分析的結果是形成戰斗系統數據庫系統，用于附屬于軍備的雷達（查詢和監測雷達）和火箭要求者，然后將其檢索到戰爭系統的EW自我保護系統的任務數據集中，以幫助探測階段。

準確和強大的自主水下導航（AUV）需要在各種條件下進行位置估計的基本任務。此外，美國海軍更希望擁有不依賴外部信標系統的系統，如全球定位系統（GPS），因為它們會受到干擾和欺騙，并會降低操作效率。目前的方法，如地形輔助導航（TAN），使用外部感知成像傳感器來建立一個本地參考位置估計，當這些傳感器超出范圍時，就沒有用了。現在需要的是多個導航過濾器，每個過濾器都能根據任務條件發揮更大的作用。本論文研究了如何結合多個導航過濾器來提供一個更穩健的AUV位置估計。提出的解決方案是利用基于信息論框架的交互式多模型（IMM）估計方法，混合兩種不同的過濾方法。第一個過濾器是基于模型的擴展卡爾曼過濾器（EKF），在航位推算（DR）條件下有效。第二個是用于主動地形輔助導航（ATAN）的粒子濾波方法，在傳感器范圍內適用。利用在華盛頓州新月湖收集的數據，我們開發了每個導航過濾器的結果，然后我們演示了如何使用IMM信息理論方法來混合方法，以改善位置和方向的估計。

近年來，美國防部已指示加速采用人工智能（AI），并建立一支技術先進、能夠確保美國安全的部隊。未來自主海上行動的一個重要組成部分是無人自主車輛能夠在不使用全球定位系統（GPS）或其他外部信標系統的情況下運行。

在一個快速發展的技術世界中，在拒絕使用GPS的環境中或不使用聲學轉發器等系統，甚至是深海導航定位系統（POSYDON）系統的情況下進行操作從未如此關鍵。領先的解決方案是地形輔助導航（TAN），它利用機載地圖和傳感器系統的組合，以便在已知的地圖內進行相關的測量。這種方法的最大缺點是需要不同的濾波估計方法，而這些方法在設計上可能無法協同工作。

這項研究將分幾個部分介紹。首先是實施一個新的擴展卡爾曼濾波器（EKF），作為海軍研究生院的遠程環境監測單元100（REMUS）車輛上的航位推算（DR）模型，以改善其在速度估計不準確時的估計。其次，這項研究試圖在信息理論的基礎上建立一個用于主動地形輔助導航（ATAN）的粒子過濾器（PF）。最后，也許是最重要的，本研究試圖在PF和EKF之間實現一個新的信息理論聯合過程，以改善所有狀態的估計。

圖 1.1 定位、導航和授時替代層次結構。

圖1.2 可能需要不同過濾技術的情況。狀況1，AUV在水面附近作業，可以利用GPS數據。由于深度原因，AUV無法利用任何其他傳感器，必須使用DR模型。狀態2，太深了，無法快速獲取GPS數據，而且還沒有深到可以使用面向海底的傳感器。制度3可以利用DVL/ADCP和慣性導航系統（INS），可以提供更準確的運動估計。制度4可以利用成像傳感器來進一步提高導航的準確性。

圖5.1 機載水深和成像傳感器提供的測量值與粒子分布相關。該分布的香農熵顯示了粒子分布中的不確定性，高值表明該分布對位置不確定。由于從AUV經歷地形到計算香農熵有一個時間延遲，標量值不會完全一致。然而，它將很好地表明分布具有低水平的不確定性。

論文組織

本論文的組織結構如下。第2章是文獻回顧，包括設備說明、貝葉斯濾波（BF）和信息論的必要背景，以及現場實驗的概述。第3章將介紹位置估計濾波技術和交互式多模型（IMM）的概述。第4章將討論基于模型的擴展卡爾曼濾波器（EKF）的發展。第5章將討論粒子濾波器（PF）的開發和仿真結果。第6章將討論信息理論互動多模型（IT-IMM）的開發和仿真結果。論文將在第7章中總結和討論未來的工作。

論文貢獻

• 介紹一種新的IT-IMM估算方法，通過綜合使用后驗概率分布中的香農熵和預測PF性能的地形適宜性措施，將基于模型的EKF和PF聯合起來。

• 在沒有ADCP/DVL的情況下，基于模型的EKF用于估計前進和側滑速度。

• 一種PF算法，實現了粒子再分配的信息理論框架。

世界各地的軍隊現在正在開發和構想無人機群。蜂群由多個無人駕駛飛行器（UAV）組成，具有一定的自主性，可以導航和感知周圍區域。與 "捕食者 "或 "死神 "相比，它們更聰明、更自主，被設計為自行起飛和降落，自行飛行任務集，自行在空中加油，并自行穿透敵人的防空設施。

在最近和正在進行的敘利亞、也門和納戈爾諾-卡拉巴赫的沖突中，無人機的使用凸顯了大規模應用無人駕駛和自主平臺的意義和效用。這種蜂群也迫使對手消耗彈藥和其他軍事資源，從而以一種能夠進一步精確攻擊或電子反制的方式發出陣地信號。

無人機群的發展和該技術在各國的進一步發展將在后面的段落中介紹。

美國：美國蜂群計劃

為了保持領先地位，美國一直在大力投資于無人機群的研究和開發。美國蜂群計劃中的三項發展特別令人感興趣：Perdix無人機蜂群、低成本無人機蜂群技術（LOCUST）、機器人智能體指揮和傳感的控制架構，即CARACaS系統。

Perdix無人機群。2016年10月，美國戰略能力辦公室（SCO）在加利福尼亞發射了一個由103架Perdix無人機組成的蜂群。這些無人機是從三架F/A-18 "超級大黃蜂 "戰斗機上發射的，表明美國空軍有能力結合其先進的空中優勢和 "尖端創新 "來使用蜂群技術的發展。

Perdix無人機是一種微型無人機，因為它的翼展不到30厘米--使它成為在城市環境中運行的理想選擇。它有兩組機翼，一個小型電池組，以及一個內置攝像頭。這是一個簡單的設計，起源于2011年麻省理工學院的林肯實驗室，后來被SCO拿去做實驗。無人機被裝在一個小盒子里，可以從戰斗機上的照明彈分配器中彈出，這是一個重要的解決方案，因為它意味著這些系統可以輕松地安裝在現有的飛機上。該蜂群展示了先進的行為，"如集體決策、自適應編隊飛行和自我修復"。它被比喻為一個集體有機體，共享一個分布式大腦進行決策，并像自然界中的蜂群一樣相互適應。

Perdix系統相互連接并自行形成蜂群，不需要操作員的微觀管理。即使一些系統死亡，蜂群也能做出反應，重新制定模式或完成任務，這意味著一架Perdix無人機的失敗不會導致其他無人機放棄任務。Perdix微型無人機演示如上所示。

LOCUST計劃。Perdix無人機表明向自主運作的硬件邁進，而LOCUST計劃是指所使用的軟件。LOCUST目前正被用于Coyote（叢林狼）無人機，該無人機從一個平臺上發射--與目前美國海軍艦艇上的反艦導彈發射器一致。被認為是獲得攻擊能力的一種更便宜的方式，LOCUST計劃有可能取代單一的、昂貴的反艦導彈。LOCUST系統在40秒內至少發射30個 "叢林狼 "無人機，然后在飛行過程中進行同步，形成蜂群。30架無人機群的價格約為50萬美元，單機價格僅為1.5萬美元，LOCUST的成本不到目前部署的價值百萬美元的魚叉反艦導彈的一半。LOCUST的具體目的是利用低成本的無人機，如Coyote--無人機是可消耗的，因此如果一個被摧毀，"其他的無人機會自主地改變其行為以完成任務"--進入進攻層面。

CARACaS計劃。最后，美國蜂群計劃的第三個發展可以在CARACaS計劃中找到。CARACaS開發的軟件和硬件都可以安裝在美國海軍的任何船只上，這說明走向自主系統的過程正在多個戰場上發生。CARACaS目前用于小型無人船--但也可用于任何船只--并使用群集技術進行操作，使船只能夠相互溝通。這個項目背后的想法是，昂貴但重要的日常任務，如港口巡邏，可以委托給一個無人監督的系統。海軍的CARACaS系統正在消除 "水手生活中枯燥、骯臟和危險的任務"。

小精靈計劃。美國國防高級研究計劃局（DARPA）也展示了X-61A Gremlin空中發射無人機。DARPA的 "小精靈 "計劃背后的想法是將像C-130這樣的貨運飛機變成母艦，能夠在遠離敵人防線的地方發射和回收成群的小型無人機。小精靈 "飛行器長約14英尺，加滿燃料后重約1,600磅。這比Perdix微型無人機大得多。

最初展示的是回收四個Gremlins，從長遠來看，一個C-130可以回收多達16個這樣的飛行器，這取決于操作要求。從概念上講，"小精靈 "也可以從F-16戰斗機、B-52戰斗機和其他飛機上發射，只需對飛機進行少量改裝。這可以大大改變蜂群中的系統數量。

這將為軍方開辟一個可能性的世界，允許部署小型、廉價、可重復使用的無人機群，其傳感器和有效載荷與傳統的飛機不同。

俄羅斯

俄羅斯軍方正在努力開發空中、地面和海上的機器人系統群，其中一些項目已經接近于現實。

早在2017年，在關于 "俄羅斯武裝部隊機器人化 "的年度會議上，就審議了機器人群的概念。

2018年，俄羅斯國防部MOD的 "ERA軍事創新技術城"與高級研究基金會--一個類似于美國 "國防DARPA "的組織--以及莫斯科物理技術學院的科學家一起主辦了無人機群試驗。

同年，關注無線電電子技術公司，一家國有企業集團，聲稱到2025年，它將開發一種能夠控制無人機群的直升機。

2020年，俄羅斯國防部還用三種不同的無人機類型進行了首次空中蜂群試驗，這些無人機在敘利亞被廣泛使用，使俄羅斯軍隊的分層覆蓋范圍擴大到250公里。

Staya-93計劃。俄羅斯國防部的茹科夫斯基和加加林航空學院的科學研究中心目前正在研究Staya-93提案--Staya在俄語中是 "flock"的意思--專注于領導者和跟隨者無人機之間的連接和通信，特別是當無人機可能受到對手的廣泛反制。

Molniya計劃。Kronshtadt設計局最近提出的另一個名為Molniya的蜂群概念涉及從有人和無人的平臺上發射多個噴氣動力的隱形無人機，進行空中和地面打擊，并提供電子戰和偵察能力。

到2021年底，俄羅斯軍隊將獲得多功能遠程無人機，以提供精確打擊，可與有人駕駛飛機以及地面和海基機器人系統一起群起而攻之。這些無人機包括Okhotnik S-70重型戰斗無人機和Altius無人機。

俄羅斯國防部對軍用無人機開發的優先事項包括將人工智能元素引入無人機控制系統，同時進行無人機群開發。

2021年4月，俄羅斯國防部宣布，它正在進行一個項目，以創建一個專門的無人駕駛飛行器來識別和打擊敵人的潛艇。按照設想，這些無人機將能夠利用人工智能的元素在群中運行。俄羅斯國防部暗示，為了容納必要的設備和武器，可以使用具有大型有效載荷的無人機模型，如S70 Okhotnik或Altius。另一項建議涉及俄羅斯未來的遠程隱形PAK-DA轟炸機發射和指揮無人機群。

高級研究基金會正在開發Marker UGV，作為多種技術的試驗臺，包括地面和空中機器人的人工智能和群集控制。

另一種UGV，即重型Udar，以BMP-3裝甲車底盤為基礎，設想與無人機和UGV編隊協同作戰。

正在接受俄羅斯國防部評估的新Kungas概念涉及一組不同大小的UGV，用于情報、監視和偵察以及戰斗任務。

俄國防部還在設計一個水下微型機器人群，可以在北極條件下連續工作數小時，同時還在為北極探索設計一個巨大的冰山水下概念，將涉及多個有人和無人的平臺。

當談到利用人工智能進行蜂群 "指揮和控制 "時，俄羅斯軍事機構及其專家承認，在開發關鍵算法方面還有很多工作要做。

中國

中國是最接近美國高密度無人機群能力的國家，開發人工智能授權的自主無人機群。最近，中國電子信息研究院（CAEIT）測試了一個由CH-901無人機組成的48×管狀發射無人機群。CAEIT過去曾在2017年展示了一個200個單位的無人機群。中國公司還展示了令人印象深刻的1000多架無人機群，使用四旋翼無人機進行大型公開展示，然而這些無人機是由地面控制的，不具備分布式智能。

中國正在進行現有無人機機群的整合，與軍方進行強有力的協作自主作用。它還有一個忠誠的僚機AVIC 601-S '暗劍'正在開發中，它將與第四代和第五代PLAAF戰斗機平臺一起運行。中國已經保持了一項吉尼斯世界紀錄，即同時飛行3,051架預設程序的無人機。

英國

英國可能在2021年中期擁有世界上第一支可操作的蜂群無人機部隊，以執行包括在敵方防線內執行自殺式任務和壓倒對手防空的任務。皇家空軍的№216中隊已被賦予測試和部署未來無人機群能力的任務。英國還宣布了 "蚊子項目"，這是英國皇家空軍的輕量級廉價新型作戰飛機（LANCA）無人駕駛忠誠僚機計劃的一部分。這旨在到2023年飛出一個聯網的無人駕駛僚機。

英國還測試了一個自主的無人機群，每個無人機都攜帶萊昂納多的BriteCloud消耗性主動誘餌的變種，作為電子戰有效載荷。使用含有電子戰干擾器的BriteClouds，無人機能夠對作為假想敵綜合防空網絡代理的雷達發動模擬的非動能攻擊。

法國

法國空中客車公司首次為未來戰斗航空系統（FCAS）/Systeme de Combat Arien du Futur（SCAF）計劃展示了協作式遠程載具（RC）群和僚機技術。

其他國家

以色列正在開發蜂群技術，關于這種舉措的細節被嚴密保護。有趣的是，IAI提供了一個基于智能手機的蜂群指揮和控制應用程序，在全球范圍內銷售。

土耳其已經通過TB-2等國產平臺在敘利亞和利比亞證明了成熟的MALE無人機能力，它也有各種蜂群無人機計劃。其中最主要的是 "卡爾古（Kargu）"四旋翼飛機，它可以在戰術戰場上發揮動能攻擊作用。在未來的日子里，土耳其正在努力成為一個全球無人機大國。

伊朗是另一個在行動上使用無人機的中東國家。伊朗當局將無人機用于兩個主要目的--監視和攻擊，伊朗有能力在地平線上和大多數天氣條件下執行任務。這些無人機包括有能力投擲炸彈或發射導彈并返回基地的無人機和尋找機會目標的 "神風 "無人機。伊朗當局在后者方面取得了更大的成功，這在2019年沙特油田襲擊事件中可見一斑，據稱當時使用了伊朗制造的無人機和巡航導彈。雖然在車輛群方面可能有基本的協作自主權，但伊朗和土耳其都沒有在其無人機群中展示真正的分布式情報能力。但他們的努力清楚地表明了該技術是如何成熟和擴散的。

印度：無人機群發展

印度陸軍展示了一種成熟的進攻能力，由75架具有分布式智能和邊緣計算的自主無人機群組成，在2021年1月新德里的印度建軍節閱兵期間用神風攻擊摧毀了各種模擬目標。在演示中，偵察無人機調查了目標，然后攻擊和母艦無人機釋放有效載荷和裝有炸藥的神風特攻隊無人機，進行攻擊。西方評論家注意到印度陸軍演示的幾個重要特點，并將其與美國圍繞無人機所做的努力相比較，后者往往強調一個大型同質化的蜂群。有人指出，印度的原創工作，在世界上第一次公開展示了異質蜂群的努力，是這一領域可能的發展方向。一家印度初創公司NewSpace Research & Technologies與印度陸軍的蜂群開發項目有關。

印度斯坦航空有限公司（HAL）已經公布了空中發射靈活資產（ALFA -S）空中發射蜂群無人機系統，作為其下一代戰斗空中編隊系統（CATS）的一部分。這是一個獨特的計劃，它利用空中發射的遠程載體和蜂群單位的網絡來滲透到有爭議的空域。美國空軍的空軍研究實驗室正在與印度就ALFA-S的各個方面進行合作。新空間研究與技術有限公司也是HAL的ALFA計劃的合作伙伴。

HAL的CATS計劃的另一個組成部分是 "勇士 "忠誠翼人資產。這是為防空和進攻性打擊任務準備的，將與印度的Tejas LCA和即將到來的AMCA第五代作戰飛機一起以載人和無人機組隊（MUM-T）的方式使用。值得注意的是，印度被本土研究的力量和政府的 "印度制造 "所推動，以擁抱顛覆性技術，這在某些領域與世界各地發生的類似努力不相上下。HAL在班加羅爾舉行的2021年印度航空展上公布了勇士號的第一個1:1模擬模型。

三家印度初創公司在印度空軍組織的為期三年的蜂群無人機競賽中獲勝。"蜂群架構"獎由前印度空軍軍官Sameer Joshi經營的新空間研究與技術私人有限公司獲得。順便說一下，新空間公司最近從印度陸軍贏得了1500萬美元的蜂群無人機訂單。"通信架構"獎由德里科技大學團隊與阿達尼防御公司合作獲得，"無人機架構"獎由Dhaksha無人系統公司獲得。

IAF構思了2018年10月3日啟動的 "梅哈爾-巴巴蜂群無人機競賽"，以鼓勵開發蜂群無人機，在不同領域中使用。該競賽的名稱是為了紀念已故空軍準將梅哈爾-辛格，他在IAF的同事和崇拜者親切地稱為 "Baba"梅哈爾-辛格。它的概念是為蜂群無人機技術發展專有的設計、開發、制造和生產的 "低成本-高影響 "解決方案。該競賽只對本地人才和本地初創企業開放。

無人機群的特性

美國戰略能力辦公室（SCO）實際上并沒有創造出蜂群；麻省理工學院（MIT）的工程學生采用了 "全商業組件設計"。因此，如果無人機蜂群技術足夠容易獲得，以至于學生可以開發它，全球擴散幾乎是不可避免的。因此，新的無人機技術正在被各個國家迅速部署。

創建任務分配算法。創建無人機群從根本上說是一個規劃問題。無人機可以很容易地在電子商店買到，或者就像伊拉克和敘利亞伊斯蘭國那樣用膠帶和膠合板建造。無人機群的挑戰是讓各個單元一起工作。這意味著開發通信協議，以便它們能夠共享信息，管理無人機之間的沖突，并共同決定哪些無人機應該完成哪些任務。要做到這一點，研究人員必須創建任務分配算法。這些算法允許蜂群將特定的任務分配給特定的無人機。一旦創建了算法，它們就可以隨時共享，只需要在無人機上進行編碼。

人工智能（AI）的利用。國家安全和人工智能方面的專家爭論的是，單一的自主武器是否能夠充分區分民用和軍用目標，更不用說數千或數萬架無人機。據美國的人工智能專家稱，在某些狹窄的環境中，這種武器可能在50年內就能做出這種區分。他們認為，人工智能還不能管理戰場上的復雜情況。

先進的蜂群能力。先進的蜂群能力，如異質性（不同大小的無人機或在不同領域運行的無人機）和靈活性（輕松增減無人機的能力）仍然相當新穎。然而，讓無人機協作并投擲炸彈是可以實現的。

涉及的風險量。無人機群惡化了致命的自主武器所帶來的風險。即使一個精心設計、測試和驗證的自主武器擊中錯誤目標的風險只有0.1%，但如果乘以數千架無人機，仍然意味著巨大的風險。

無人機通信。無人機通信意味著一架無人機的錯誤可能會傳播到整個蜂群。

涌現行為。這是一個術語，指的是由單個單元的行為導致的復雜的集體行為，是蜂群的一個強大的優勢，允許像自我修復這樣的行為，在這種情況下，蜂群會改革以適應無人機的損失。但是，涌現行為也意味著每個無人機共享的不準確信息可能導致集體錯誤。

無人機群未來發展路徑

武裝的、完全自主的無人機群是未來的大規模毀滅性武器。蜂群可以造成與在長崎和廣島使用的核武器同樣程度的破壞、死亡和傷害--即數萬人死亡。這是因為無人機群結合了傳統大規模殺傷性武器特有的兩個特性：大規模傷害和缺乏控制以確保武器不傷害平民。

各國已經在把非常大的無人機群放在一起。美國海軍研究生院也在探索在海上、水下和空中運行的100萬架無人機群的潛力。要達到長崎的潛在傷害水平，無人機群只需要39,000架武裝無人機，如果無人機上有能夠傷害多人的爆炸物，也許會更少。

繼2021年1月在新德里建軍節閱兵式上展示了75架無人機群后，印度已表示有意將無人機群規模擴大到1000架以上。

無人機群也可以作為沒有核武器的國家的戰略威懾武器，以及作為恐怖分子的暗殺武器而發揮作用。

消耗性微型無人機。佩迪克斯微型無人機能夠進行低空情報、監視和偵察以及其他短期任務。它們可以從空中、海上或地面發射，并以小群和大群的方式運行，以執行其任務。

DARPA的Gremlins計劃，如這個藝術家的概念所示，設想從轟炸機、運輸機和戰斗機上發射無人駕駛飛機群，在主機仍在射程之外的時候攻擊目標。

在飛行中改變。DARPA的 "拒止環境中的協作行動"（CODE）計劃將使多個配備CODE的無人駕駛飛機能夠協作地感知、適應和應對意外的威脅和新目標。這些系統可以共享信息，計劃和分配任務目標，做出協調的戰術決策，并在高威脅環境中做出反應。

俄羅斯S-70 Okhotnik忠實僚機與蘇-57戰斗機

2021年建軍節，印度軍隊在新德里展示了75架無人機的異構蜂群

土耳其軍隊已經部署了500多個卡爾古群集無人機系統進行動力攻擊

無人機系統（UAS）在美國軍事行動中越來越突出。作為其現代化戰略的一部分，美國防部（DOD）目前正在開發先進的無人機，以及可選的載人飛機。在過去幾十年中，軍隊使用無人機執行各種任務，包括：

• 情報、監視和偵察；
• 近距離空中支援；
• 物資補給；
• 通信中繼。

分析人士和美國防部認為，無人機可以在許多任務中取代載人飛機，包括

• 空中加油；
• 空戰；
• 戰略轟炸；
• 作戰管理和指揮控制（BMC2）；
• 壓制和摧毀敵人的防空系統；
• 電子戰（EW）。

此外，美國防部正在開發一些實驗概念，如飛機系統體系、群集和致命自主武器，以探索使用未來幾代無人機的新方法。在評估潛在新的和未來無人機項目、任務和概念的撥款和授權時，國會可能會考慮以下問題：

• 能夠作為致命自主武器的無人機的擴散及其對全球軍備控制的影響；
• 與載人飛機相比，未來無人機的成本；
• 無人機對人員和技能的影響；
• 作戰和作業概念；
• 無人機技術的普及。

人工智能（AI）應用于武器系統是過去10年研究的一個主要趨勢。這些舉措旨在提高武器的準確性，執行非主動的瞄準手段，幫助導航和制導與控制（例如，在全球定位系統被拒絕的情況下），并減少與傳統的基于物理學的方法相比的整體計算資源，以便在更小、更實惠的武器系統上實現智能瞄準。這項研究還包括將作戰人員的戰斗空間擴展到無人駕駛飛行器，并使用蜂群方法與有人和無人平臺進行合作。

我們首先概述了人工智能的描述和歷史，并概述了人工智能在武器系統中的原理、技術和應用。這包括對監督自主系統；制導、導航和控制；行為和路徑規劃；傳感器和信息融合；智能戰略和規劃；兵棋推演建模；以及認知電子戰的研究和計劃的回顧。

然后，對將人工智能應用于武器系統的系統和項目進行了調查。雖然重點是基于美國的系統和項目，但也包括一個關于俄羅斯和中國相關系統的小節。最后，我們對將人工智能用于武器系統的倫理考慮進行了簡要評論。

引言

1.1 問題陳述

機器學習（ML）和人工智能研究的最新進展揭示了人工智能在實現創新、增加機器的效用以及增強人類能力和經驗方面的力量和潛力。人工智能技術的顛覆性和其影響的深度還沒有被廣大公眾完全掌握。考慮到新時代的新興技術威脅，展示關鍵和相關的人工智能研究和最先進的技術是很重要的，這些技術不僅為武器系統提供了比傳統武器系統更多的自主權，而且大大增加了它們的殺傷力和戰斗生存能力。最終，人工智能在開發改變游戲規則的技術方面帶來了巨大的戰略機遇，這將確保國家安全、繁榮和技術領先地位。

1.2 常規武器系統

美國軍方在創造先進的常規武器技術方面取得了巨大的進步，這些技術支持了士兵在戰場上的任務并增強了他們的能力。這些常規武器技術大多是自動化系統，在計劃、執行和完成一項任務或使命時依靠一套預先編程的規則。然而，在中國和俄羅斯等國家新開發的武器的前沿陣地上，人工智能支持的戰爭和高超音速武器給美國武裝部隊帶來了新一代的質量挑戰。下一代戰斗的步伐要求為戰略決策進行時間緊迫和大量的戰斗信息處理，這使得美國的許多常規武器系統只能執行低風險的任務，并在核領域之外處于威懾力減弱的態勢。

必須承認，人是昂貴的訓練資產。在戰場上增加更多的人員并不是推進最先進的戰爭的優雅或廉價的解決方案。相反，用支持人工智能的智能硬件來增強人在回路中的系統，可以在戰區提供更多的眼睛和耳朵，并通過使人工智能系統執行一些簡單和常規的任務來釋放人類的決策。

此外，無人駕駛作戰飛機系統（UCAS）是一種成熟的具有成本效益的系統解決方案，用于執行情報、監視和偵察（ISR）任務和遠程空襲。然而，自動化能力仍然受到人類在環形操作、評估和接觸的限制。雖然在任何可預見的未來都沒有打算消除武器化人工智能系統中的人類元素，但人類的能力仍然構成這些系統協同潛力的上限。但是，一個由人工智能驅動的智能武器系統的新生態系統將迎來新的戰爭形式和戰略。

人工智能國家安全委員會在其2021年的報告中提出，美國國防部（DoD）的軍事企業在整合人工智能技術方面落后于商業部門，并敦促在2025年前為整個國防部廣泛整合人工智能奠定基礎[1]。

1.3 人工智能的簡要歷史

幾個世紀以來，哲學家們一直在考慮以某種形式人工復制人類智能的某個方面的概念。1869年，威廉-杰農創造了第一臺基于布爾邏輯實現邏輯計算的機器。該機器能夠比人類更快地計算布爾代數和維恩圖。隨著這種邏輯計算機器的發展，人們很自然地質疑機器是否可以通過邏輯推理來為人類解決問題并做出決定。圖1-1中的時間軸顯示了人工智能的歷史和演變，并在本節中進行了詳細說明[2]。

在理論計算機科學的一些最早的工作中，英國數學家阿蘭-圖靈（Alan Turing）思考了機器是否能像人類一樣智能地行為和解決問題的問題。他在他的圖靈測試中提出，如果一臺機器能模糊地模仿人類這樣的智能生物，那么這臺機器就是智能的。這一理論測試成為一種指導性的形式主義，在這種形式主義中，當前的機器被測試其模仿人類智能概念的能力或潛力。作為測試的見證，Loebner獎是一個圖靈測試競賽，其任務是根據圖靈提出的基本問題來評估機器智能研究的現狀。

1928年，約翰-馮-諾伊曼證明了Minimax算法的基本定理，該算法旨在提供一種在零和博弈過程中使最大可能損失最小的策略。

圖1-1. AI歷史年表

在第二次世界大戰的高峰期，阿蘭-圖靈和他的團隊開發了一種機器算法，可以破譯德國的英格瑪信息密碼。他的算法的成功，推動了將復雜任務委托給機器的進一步努力，是機器計算的基礎，也是ML發展的先導。

1943年，McCulloch和Pitts開創了神經網絡（NN）的最早概念--McCulloch-Pitts的形式網絡理論--這在1949年馮-紐曼在伊利諾伊大學的四次演講中得到了體現[3]。

大約在同一時間，約翰-麥卡錫，一位計算機科學家，在1955年創造了 "人工智能 "來指代機器智能；計算機科學家艾倫-紐維爾；以及赫伯特-A-西蒙，一位經濟學家和政治學家，開創了第一個旨在自動推理的真正程序（稱為邏輯理論家）。隨著這一突破性的努力，對智能機器的探索開始了，為人工智能作為計算機科學的一個新的學術研究領域鋪平了道路。

1957年，一位名叫弗蘭克-羅森布拉特博士的心理學家開發了一個名為 "感知器 "的簡化數學模型，描述了我們大腦中的神經元如何運作。這一成就被強調為 "Perceptron收斂定理"。

同年，理查德-貝爾曼開發了動態編程，用于解決一類最佳控制問題。他還介紹了離散隨機最優控制問題的馬爾科夫決策過程表述，這為現在所稱的 "強化學習 "奠定了重要基礎。

在這些發展之后，另一位名叫阿瑟-塞繆爾的人工智能先驅利用他早先在ML方面的開創性工作，成功地開發了第一個檢查者算法。他實現了現在被稱為 "Alpha-Beta修剪 "的早期版本，這是一種搜索樹方法，通過Minimax算法減少評估節點的數量。1959年，一位名叫威廉-貝爾森（William Belson）的統計學家開發了一種名為決策樹的非參數、監督學習方法的早期版本。

在20世紀60年代，人工智能研究的重點是解決數學和優化問題。1960年，羅納德-霍華德提出了馬爾科夫決策過程的策略迭代方法，建立了一些與強化學習有關的最早的工作。

到1968年，著名的路徑搜索算法A-star是由計算機科學家尼爾斯-尼爾森提出的。60年代末，機器人建模、控制和機器視覺方面取得了進展，導致在1972年開發了第一個名為WABOT-1的 "智能 "擬人機器人，并整合了肢體操縱、視覺和語音系統。

Harry Klopf的 "適應性系統的異質理論 "的復興對適應性系統的試錯范式的發展有很大影響。1977年，Ian Witten提出了最早的強化學習系統之一，使用了時間差法。理查德-薩頓和安德魯-巴托設計了一種強化學習算法，稱為演員批評法。

由于70年代中期到80年代末計算機的計算能力限制，人工智能研究在有大量數據處理要求的應用中發現了困難，如視覺學習或優化問題。同時，數學研究 "證明 "了（單層）感知器不能學習某些模式。此外，1973年發表的一份Lighthill報告對人工智能的潛力非常悲觀，這導致人工智能研究的資金被削減。結果，資金短缺導致人工智能的研究經歷了一個被稱為 "人工智能冬天 "的時期。

到了80年代中后期，繼1986年多層感知器的發展之后，在NNs方面也做出了重要的理論貢獻。這些貢獻是David Rumelhart在1986年開發的遞歸神經網絡（RNNs），John Denker等人在1987年開發的貝葉斯網絡，以及Yann LeCun在1989年開發的卷積神經網絡（CNNs）。

此外，Chris Watkins在1989年開發了另一種重要的強化學習方法，稱為 "Q-Learning"。1992年，在IBM的Thomas J. Watson研究中心，Gerald Tesauro通過自我強化學習為雙陸棋游戲訓練了TD Gammon程序。1997年，IBM的 "深藍 "計算機使用粗暴的、基于搜索的算法擊敗了國際象棋世界冠軍加里-卡斯帕羅夫，使其成為第一個在國際象棋中戰勝頂級職業選手的程序。

在90年代末和21世紀初，在ML中看到的大部分進展是由計算機處理、存儲和分布式計算方面的指數級進展所推動的。2007年，需要大量計算資源的保證最優玩法在跳棋中得到了解決。在過去的20年里，圖形處理單元用于通用計算的激增導致了今天人工智能應用的進一步進展，特別是在2012年和2014年，不同的NN拓撲結構，如殘差網絡和生成式對抗網絡的發展。

2015年，ImageNet競賽，一個為約400萬張圖像的ImageNet圖像集開發分類器的公開競賽，有一個冠軍，其錯誤率被認為低于一個人。2016年，DeepMind的AlphaGo程序在擊敗當時被認為是最優秀的圍棋選手李世石后，成為最佳AlphaGo選手。繼AlphaGo的學習能力之后，AlphaZero在2017年擴展了AlphaGo，成為國際象棋和Shogi的最佳棋手。

2019年，美國國防部高級研究計劃局（DARPA）推出了AlphaDogfight，這是基于人工智能的空戰算法在模擬的F-16狗斗中與經過頂級訓練的飛行員進行的一系列三輪競賽。第一輪和第二輪比賽中，人工智能程序相互競爭。第三輪將人工智能勝利者的飛行員提煉出來，與美國空軍武器學校的優秀畢業生進行競爭。蒼鷺系統的人工智能飛行員不僅在競爭激烈的人工智能空中戰斗人員中獲勝，而且在與訓練有素的人類F-16飛行員的較量中取得了令人難以置信的五次勝利。

OpenAI在2020年5月推出了一個名為GP3的 "自然語言處理 "模型，它生成的寫作內容與人類無異。其最新版本可以從簡單的描述性語言生成編程語言代碼[4]。人工智能的歷史繼續向前發展，特別是對國防部的武器系統應用。本報告的其余部分將調查與武器系統有關的當代人工智能技術和系統。

1.4 什么是AI？

根據Barr和Feigenbaum的說法，人工智能被定義為 "計算機科學中與設計智能計算機系統有關的部分，即表現出我們與人類行為中的智能有關的特征的系統--理解語言、學習、推理、解決問題等等"[5]。

Stuart Russel和Peter Norvig在他們的《人工智能：一種現代方法》一書中對人工智能的最新定義是："設計和建造能夠從環境中接收感知并采取影響環境的行動的智能體" [6]。

Pei Wang優雅地將智能定義為 "在知識和資源不足的情況下的適應"[7]。雖然該定義沒有說明適應的目的（如目標），但它揭示了為達到這種智能需要完成的工作。

如果要以人類為中心定義人工智能，即執行人類智能水平的任務，那么人工智能需要感知、推理、知識構建、推理、決策和計劃、學習、交流，以及有效移動和操縱環境的能力。

人工智能的科學目標是回答哪些關于知識表示、學習、規則系統、搜索等的想法可以解釋各種類型和水平的真實智能。工程目標是為不同的應用領域開發人工智能技術，以解決現實世界的問題。

在人工智能的科學基礎上，我們發現來自不同科學領域的可識別概念--哲學、邏輯/數學、計算、心理學和認知科學、生物學和神經科學以及進化。在尋求發現和更好地理解人工智能是什么或將是什么的過程中，來自這些不同知識領域的貢獻已經被證明是不可避免和不可或缺的了。許多研究人工智能的領域都在同時構建人類認知如何運作的模型，并在它們之間采用有用的概念。例如，NN，一個源于生物學的概念，試圖在簡化的人工神經元的基礎上建立人工系統，這個概念導致了一個簡單的抽象知識結構的表示，足以解決大型計算問題集。

人工智能大致分為三個主要層級--人工狹義智能（ANI）、人工通用智能（AGI）和人工超級智能（ASI）。圖1-2說明了這三個層級中的各種分組，本節將更多地討論這些分組。

1.4.1 人工狹義智能（ANI）

ANI是對一個執行狹窄或單一任務的人工智能系統的描述。它可以包括各種方法來獲得結果，如傳統的ML（以圖像分類為例）或目標檢測（包括ML和基于規則的系統）。給定一組規則或約束，它的目標是提供一組代表狹義任務的輸出。ANI不會擴展或學習新的認知，也不會自我學習新的操作模式。數據挖掘、大多數專家系統和針對某一應用的預測功能（例如，垃圾郵件檢測和面部識別）都被認為是ANI的形式。ANI還包括 "有限記憶人工智能"--用于自動駕駛汽車的系統類型，使用過去的經驗（訓練），并學習做決定，隨著時間的推移而改進。

1.4.2 人工通用智能（AGI）

AGI是一種更強大的智能形式，因為它被更多類似人類智能的特征所增強，例如自主學習的能力和解釋情緒和語音語調的能力。這使得與AGI相關的智能與人類的智能水平相當。AGI的一些關鍵核心能力如下：

• 推理、解決問題、運用策略和在不確定情況下做出決定的能力。
• 展示知識的能力。
• 計劃的能力。
• 學習的能力。
• 用自然語言交流的能力。
• 將所有上述內容整合為一個共同目標的能力。
• 類似人類的思維與圖靈測試等計算的結合。

1.4.3 人工超級智能（ASI）

ASI是一種超越最聰明的人類頭腦的智能模型。實現ASI的方法仍在概念化中，但將是那些超越AGI并需要某種自我意識的系統。這些系統最好能代表所有人類的認知能力，甚至更多。

1.5 機器學習（ML）

ML是機器從數據中學習的能力，目的是做出準確的預測。它大致分為四類學習，提供了豐富的專用和通用的技術家族。

1.5.1 監督學習

在這種形式的學習中，訓練數據使用包含的輸入和標記的或預定的輸出數據。如果有缺失的輸入或輸出條目，它們會被預處理，以便將一個輸入正確地映射到其真正的對應輸出。通過從正確生成的訓練數據集中學習，系統學會了將不在原始數據集中的輸入與預測的輸出（標簽或值）聯系起來。這種類型的訓練解決的典型問題是回歸和分類[8]。

1.5.2 無監督學習

這種形式的學習中，系統直接從未標記的數據中發現有趣的或隱藏的結構[9]。無監督學習被用于聚類分析、降維或估計可能產生輸入數據的密度[8]。

1.5.3 半監督學習

當數據集包含有標記的和無標記的數據時，這種學習形式的系統利用無標記的數據來更好地捕捉潛在的數據分布，并獲得一個更好的預測，如果它只從標記的數據中訓練的話。這種學習形式適用于訓練數據集中的標注數據遠遠少于未標注數據的情況[8]。

1.5.4 強化學習

在這種學習模式中，系統使用獎勵/懲罰機制進行訓練，這樣它所選擇和執行的行動，當行動可取時，會使系統得到獎勵，當行動不可取時，會受到懲罰。強化學習問題涉及學習如何做（如何將情況映射到行動上）以最大化數字獎勵信號[9]。

03 人工智能在武器系統中的應用

人工智能有可能應用于武器系統生態系統的許多方面。它被用來控制系統，從而實現自主性和提高性能，以在具有挑戰性的環境中選擇指導、導航和控制方面的問題。同樣，人工智能可用于解決任務和路徑規劃中的挑戰性問題，從而實現更高水平的復雜任務目標和操作要求。人工智能也被用于電子戰領域的支持、反制，甚至是反制措施。它還可能被用于來自不同系統層次和領域的信息融合，以泄露抽象的高價值戰場情報，并提供關鍵線索和快節奏的決策，從而在現代戰爭中創造寶貴的戰術優勢。

報告的這一部分將強調最先進的人工智能方法在適用于自主和武器系統的各種人工智能問題領域的使用。它是根據以下問題領域來組織的。

• 自主性

• 感知中的人工智能

• 制導、導航和控制中的人工智能

• 任務和路徑規劃

• 智能戰略

• 對手建模

• 認知型電子戰

提綱

第一章 引言

1.1問題陳述

1.2常規武器系統

1.3 AI簡史

1.4什么是AI？

1.4.1 ANI

1.4.2 AGI

1.4.3 ASI

1.5 ML

1.5.1監督學習

1.5.2無監督學習

1.5.3半監督學習

1.5.4強化學習

第二章 最先進的方法

2.1學習人工智能范例

2.1.1深度學習

2.1.2強化學習

2.2隨機優化和搜索算法

2.2.1隨機優化

2.2.2圖形搜索算法

2.3新興人工智能范例

2.3.1神經符號AI

2.3.2 NE

第三章 人工智能在武器系統中的應用

3.1自主性

3.1.1定義、級別和框架

3.1.2自主系統的功能組件

3.2感知中的人工智能

3.2.1圖像分割

3.2.2目標檢測、分類和場景理解

3.2.3傳感器融合

3.3制導、導航和控制中的人工智能

3.3.1 GN&C系統

3.3.2常規控制理論方法

3.3.3智能控制

3.3.4本地化和導航

3.3.5系統識別

3.4任務和路徑規劃

3.4.1GAs

3.4.2群體智能

3.5智能策略

3.6對手建模和兵棋推演

3.7認知電子戰

3.7.1電子支持措施

3.7.2 ECMs

3 .7.3 ECCMs

第四章 將人工智能應用于武器系統的系統和程序

4.1天線系統

4.1.1下一代空中優勢計劃

4.1.2 Shield AI Hivemind

4.1.3 Shield AI V-Bat

4.1.4 Kratos XQ-58 Valkyrie

4.1.5 MQ-20 Avenger UCAS

4.1.6自主彈藥

4.1.7 Dynetics X-61小精靈

4.2 海軍系統

4.3 陸軍系統

4.3.1 QinetiQ/Pratt Miller的遠征自主模塊化飛行器

4.3.2Textron系統公司的Ripsaw M5

4.3.3 Rheinmetall公司的Lynx KF41

4.4 群系統

4.4.1 DARPA的攻擊性蜂群戰術

4.4.2自主協同小直徑炸彈群

4.4.3 Perdix群

4.4.4 Mako UTAP22

4.4.5 Coyote UAS Block 3

4.4.6機器人代理命令和傳感群的控制架構

4.4.7激流勇進微型無人潛水器

4.5戰斗管理和智能指揮與控制

4.6 ISR和目標系統

4.6.1 SRC的HPEC Pod

4.6.2復仇女神

4.7導航

第五章 未來作戰中的AI

第六章 人工智能和外來威脅

6.1俄羅斯

6.2中國

第七章 倫理考量

第八章 總結

參考文獻

現代綜合防空系統（IADS）所帶來的日益復雜的反介入區域拒止（A2AD）威脅，加上高端隱形平臺所提供的日益強大的優勢，促使美國空軍高級領導人投資于徹底改變2030年及以后的空中力量。這一新設想的一個突出因素是蜂群武器，其目的是通過用大量低成本、可損耗的航空資產來壓倒國際航空運輸系統，并通過自主能力來解決這一挑戰。這項研究提出了一個框架，按照三個獨立的維度對不同級別的自主能力進行分類，即單獨行動的能力、合作能力和適應能力。使用模擬、集成和建模高級框架（AFSIM）構建了一個虛擬作戰模型，模擬以有人駕駛的穿透式轟炸機和自主巡航導彈群為特征的友軍空襲包與以A2AD角色行動的敵軍IADS之間的交戰。通過使用自主性框架作為設計實驗的基礎，評估了不同水平的自主性對攻擊包性能的影響。對實驗結果的分析揭示了哪些方面和什么級別的自主性對促進這一模擬場景的生存能力和殺傷力最有影響。

1. 引言

1.1 動機和背景

戰爭的技術性質正在迅速發展，人們越來越重視對大量數據的收集、處理和決策。隨著指揮與控制（C2）決策空間的復雜性增加，指揮系統根據現有信息采取行動的速度越來越成為一個限制性因素。具有不同程度的人與系統互動的自主系統為緩解這一不足提供了機會。美國2018年國防戰略（NDS）[18]明確要求國防部（DoD）"廣泛投資于自主性的軍事應用"，作為促進大國競爭優勢的一項關鍵能力。

參與大國競爭的一個自然后果是反介入區域拒止（A2AD）環境在聯合沖突的所有方面擴散。從美國空軍（USAF）的角度來看，現代綜合防空系統（IADS）構成了卓越的A2AD威脅，這嚴重抑制了通過常規手段建立空中優勢的前景[2, 20]。這一挑戰促使部隊結構的優先事項發生了變化，因為將能力集中在相對較少的高端系統中的感知風險越來越大。美國空軍科學和技術戰略[26]設想，數量龐大的低成本、易受攻擊的航空資產將很快發揮曾經由數量有限的高價值資產完成的作用。這種大規模的蜂群的任務規劃和空戰管理（ABM）工作的規模可能很快超過人類的認知能力，這使得它成為非常適合自主性研究和開發的應用領域。

1.2 問題陳述

本研究試圖評估幾種自主巡航導彈群的行為對A2AD環境中藍方（友方）空中性能的影響。具體來說，所研究的A2AD場景考慮了紅方（對手）的IADS被藍方聯網的自主巡航導彈群吸引，以促進穿透式轟炸機的后續打擊。在任務規劃時沒有考慮到的突然出現的威脅，可能會進入該場景以增加紅色IADS的力量。蜂群必須在沒有外部反彈道導彈的幫助下，檢測并應對這些突發威脅以及任何其他對抗性任務參數的變化。A2AD場景的建模是使用模擬、集成和建模高級框架（AFSIM）完成的。

1.3 研究問題

為了解決問題陳述，本研究將對以下問題提供答案：

1.具有自主反彈道導彈能力的巡航導彈蜂群能在多大程度上提高藍方空襲包在A2AD環境下的生存能力（即避免被紅方IADS發現和摧毀的能力）？

2.具有自主反彈道導彈能力的巡航導彈群能在多大程度上提高A2AD環境下藍方空襲包的殺傷力（即探測和摧毀紅方IADS元素的能力）？

1.4 論文的組織

本論文的其余部分包含四章，組織如下：第二章對包括自主性、A2AD環境、基于代理的建模和仿真（ABMS）以及實驗設計（DOE）等主題的參考材料進行了回顧。第三章建立了A2AD場景、AFSIM模型實現和實驗設計的結構，作為本研究的框架。第四章介紹了實驗模擬運行的結果和附帶的分析。最后，第五章討論了從這項研究中得出的結論，以及對未來研究方向的建議。

本報告描述了2021財年美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）未來風險項目 "決策動力學、欺騙和博弈論"的研究工作。為了提高指揮和控制多域作戰的決策輔助工具的有效性，有必要開發能夠協助復雜決策的人工智能（AI）工具。該項目開發了一個人工智能測試平臺--ARL戰斗空間（ARL Battlespace），用于創建和研究復雜推理的人工智能決策輔助工具。ARL Battlespace是一個由友好和敵對的人類和人工智能Agent組成的多人網絡兵棋推演工具。分層貝葉斯模型的初步結果說明，在具有不確定性、欺騙和博弈論的情況下，具有復雜推理功能的人工智能多學科發展框架具有潛力。該項目還開始開發一個基于與戰場可視化和交互平臺以及高性能計算持久服務框架的潛在集成的人機協作決策框架。這些成果為改善人-人工智能團隊的復雜決策和協作能力開啟了研究的大門。

1. 簡介

作為美國防部人工智能（AI）戰略的一部分，美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）正在開發基于人類系統適應戰略的研究項目和技術，包括開發基于人-AI團隊決策和相互適應的超人能力的目標。這些新能力對于解決陸軍的多域作戰（MDO）戰略是必要的，特別是其滲透和分解階段，在此期間，人工智能輔助決策可以增強指揮官處理高速和大量信息以及地面、海上、空中、太空和網絡領域的復雜動態的能力。一個關鍵的挑戰是，現有的人工智能算法，對于復雜的決策來說是遠遠不夠的，而且對MDO相關場景的概括能力有限。另一個挑戰是，現有的陸軍理論和決策支持程序沒有將人工智能納入軍事決策過程（MDMP），而陸軍的自動規劃框架（APF）剛剛開始解決這一差距。此外，現有的人-人工智能編隊決策理論和技術僅限于簡單的決策，為復雜的深度決策在提供人工智能透明度方面非常有限，在這種情況下，多種依賴性、不確定性以及信息領域和行為者與復雜的人類、物資和環境動態相交。它們與人類專家的隱性推理協同工作的能力也很有限。發展這些能力需要一個綜合的、多學科的研究方法，包括為新的人工智能研究和人類與人工智能的編隊協作開發人工智能試驗基地。

對于兵棋推演，有必要開發能夠模擬包括戰術和戰略層面在內的多個梯隊的決策測試平臺。現有的兵棋推演決策工具，如Opsim、AFSIM和OneSAF，可以在多個規模上對許多因素進行建模和模擬，以預測基于戰略、物資能力和資源的結果，但它們受到老化系統的限制，有經驗的士兵可能難以學習，也不太適合開發人工智能和人類+人工智能編隊協作的能力。最近，人工智能能力的快速上升為開發和納入新型人工智能作為兵棋推演的決策輔助工具打開了研究的大門。最近人工智能推理的改進（例如，基于深度強化學習）是基于環境狀態完全已知的“開放”游戲（例如，跳棋、國際象棋和圍棋），它們是基于有限的合作性或欺騙性。即使在有額外復雜性的情況下，如環境的不確定性（憤怒的小鳥、雅達利），決策的復雜性、靈活性和對多人兵棋推演的可轉移性也是有限的（如撲克、Minecraft、星際爭霸[圖1]）。盡管這些模型可以深入探索決策，但它們只限于選擇結果的潛在價值可以很容易測量和量化的條件。兵棋推演環境給人工智能學習帶來了困難和未解決的挑戰，因為有許多信息不確定性的來源，不僅來自環境，也來自人類和人工智能Agent。人工智能需要適應不斷變化的規則和戰略，迅速減輕出乎意料的敵方能力，并利用新的機會和友好的能力。人工智能還需要與他們的人類隊友相互適應，他們需要有默契的推理能力來與人類專家協同工作，并補償個人的偏見和啟發式方法以及變化的認知狀態。與博弈論等經典方法不同的是，未來狀態的預期效用可以根據合作或不合作的選擇對有限的行動集進行明確的量化，兵棋推演提出了跨環境和社會動態（包括合作性和欺騙性）以及跨多個時空尺度和領域的相互作用的可能性，這使人工智能學習決策如何與未來狀態價值相聯系的能力受到影響。

圖1 ARL在更廣泛的人工智能研究戰略中的Battlespace平臺

解決這一差距需要持續的基礎研究工作，實驗的重點是為決策中的具體問題發現原則和開發新的算法，并有能力將這些原則和算法與MDO的兵棋推演聯系起來。例如，在具有不完善的知識和不確定性的復雜情況下，提供接近最佳解決方案的人工智能可能比提供單一的"最佳"解決方案更有幫助。這種解決問題的方式與人工智能的透明度也需要探討。對近乎最優和不確定性等條件進行實驗，并采用新的作戰人員機器界面（WMIs），可以產生新的算法、通用工具和原則，更好地協同人類和人工智能對復雜決策的探索。

1.1 軍隊的相關性和問題領域

陸軍戰略科技（S&T）計劃的一部分是為 "超人類"的決策和行動開發能力。對于科技計劃中的"人-系統適應"部分，預期的結果是將人類特有的能力和機器的新興能力結合起來，最大限度地提高速度和選擇，以有效應對2035年及以后的社會技術環境的復雜性、智能化和動態性。預計這些研究工作將為人類引導的機器適應、訓練精通技術的士兵、混合人機思維、以及下一代人類系統集成和系統級分析創造新的能力。由于戰爭正在快速變化，包括不斷的技術變化，實現這樣的能力需要制定一個研究計劃，以推進人工智能、人類與人工智能的合作，專門用于復雜的決策。

作為DEVCOM陸軍研究實驗室未來風險投資（DFV）計劃的一部分，這個項目的目標是開發一個跨學科的計劃，以解決人工智能決策的復雜性和人類-人工智能團隊決策中的差距。這包括開發一個人工智能研究測試平臺--ARL戰斗空間，將復雜的兵棋推演決策抽象為關鍵要素，以便人工智能和人類-人工智能團隊的發展可以專門關注復雜的決策過程本身，同時避免物理現實主義和當今材料和理論的計算和概念限制。這也包括為如何發展人類-人工智能協作決策創造新的概念，了解如何塑造信息流以實現人類-人工智能決策的相互透明，以及在人類和人工智能都難以篩選出不確定性和欺騙的條件下實現相互適應性學習。顯性和隱性的決策框架都需要通過這個抽象的兵棋推演測試平臺來實現，以便人工智能可以在多個推理層次上學習和接受挑戰。還需要一個適當的抽象水平，以使多種類型的研究，包括神經科學、人工智能和決策理論交叉的學術研究，以提高人工智能決策的能力和復雜性，并改善其在軍事方面的轉化。

1.2 長期目標

根據設想，在2035年及以后的陸軍中，指揮與控制（C2）決策將由決策輔助系統來激活，該系統利用分布在多個梯隊的人工智能能力，并以復雜和快速的方式攝取所有領域的數據，這將使沒有輔助的士兵感到不知所措。啟用人工智能的決策輔助工具將能夠對戰斗空間進行前沿模擬和分布式訓練；在MDO的滲透和解除整合階段，能夠對條件、友軍和敵軍戰略以及能力變化的可能影響進行調整和前瞻預測；并能夠對關鍵決策進行事后審查。人工智能將為其決策提供透明度，使真實和抽象的決策空間互動可視化，并根據陸軍理論和未來理論的要求，對士兵的個體化和情境進行優化。相反，人工智能將與士兵共同適應，學習如何在信息不足、沖突或欺騙的情況下做出復雜的決定，并為有效的團隊決策重新塑造、完善和展示信息。有了人工智能Agent作為數據有效轉化和行動化以及利用顯性和隱性知識的合作伙伴，預計分布式C2指揮官將能夠在MDO的許多時空尺度和維度上共同制定和協調行動方案，并且戰術和戰略的跨領域互動將被向前模擬，對環境、人和戰略的動態有更強的彈性。除了增加復雜決策的能力外，預計決策過程本身將通過消除繁瑣的計算和其他延遲而加速，從而使計劃和戰略能夠比實時更快適應不斷變化的戰場和外部（如外交、經濟）因素。

為了實現這一未來，為復雜決策開發新型人工智能的計劃的長期目標是利用多個學科的持續進步。用于推理的"核心人工智能"的發展，在為簡單決策迅速取得進展的同時，需要持續的協同創新，以及來自神經科學和心理學等領域的研究，以便在獎勵難以分配給具體事件或行動的條件下（例如，因為不清楚以何種程度的確定性將獎勵的原因歸于誰、什么、何時、何地或為何），為強化學習開發新型理論。需要機械層面的理論（例如，神經膠質網絡如何支持將不同的事件與獎勵聯系起來）和更高層次的理論（例如，社會規則如何塑造學習）來彌補目前核心人工智能的有限能力和C2決策的需求之間的差距。還需要協同創新和研究，將人工智能的發展與士兵的隱性推理過程相結合，以實現元學習和元推理的決策互動。

1.3 DFV項目的目標

ARL DFV項目是一種機制，旨在促進跨學科基礎和應用研究的新方向，解決研究差距，并為軍隊的任務創造新的能力。DEVCOM ARL研究員認為分析科學是一個需要能力的領域，具有高回報的潛力，需要對現有項目進行重新規劃和擴展，并需要新的項目來建立新的核心能力和建立內部的專業知識。

為了創造這些能力，這個DFV項目的主要目標是建立一個新的研究項目，為C2決策輔助工具的復雜推理開發新型人工智能。這包括開發一個人工智能測試平臺：ARL Battlespace，以便靈活地開發專門用于MDO C2決策的復雜推理的新型人工智能。現有的兵棋推演人工智能測試平臺往往局限于較簡單的決策，更注重于戰術性的地面行動。例如，正在進行的人工智能測試平臺開發工作，如ARL Simple Yeho人工智能測試平臺，側重于環境的真實性，有多個地圖層，包括道路、樹葉和海拔高度，向排長推薦決策，如路線規劃和士兵重新分配任務。由于對當地地形環境的關注，在該環境中開發的人工智能推理將集中在精細的社會和生態動態上，對協作和敵對決策動態進行深入訓練的機會比較稀少。這些稀少和復雜的問題（"微小的、骯臟的、動態的和欺騙性的數據"）迷惑了發展人工智能的經典方法，尤其是復雜推理。相反，這個DFV項目的ARL戰斗空間人工智能測試平臺抽象了當地地形的元素，將人工智能的學習和推理更具體地集中在復雜的MDO相關的C2深度推理上（多個決策步驟，包括更頻繁的合作和欺騙的機會）。這使得在C2兵棋推演的背景下，更有針對性地發展人工智能對復雜的多Agent（人、人工智能和人+人工智能團隊）的決策能力。

第二個目標是通過開發一個有效的WMI來研究和開發如何呈現人工智能的理解和預測以及如何利用人類的理解和預測，為復雜決策的有效人類-人工智能團隊合作創造條件。這項工作包括利用和開發高性能計算（HPC）資源進行計算支持，同時開發用于決策的商業二維交互和混合現實交互的定制軟件（例如，基于增強現實沙盤[ARES]平臺的戰斗空間可視化和互動（BVI）平臺）。通過開發多種WMI方法，我們期望這些平臺能夠實現復雜決策的快速原型研究，并能夠將我們的新型AI與更成熟的兵棋推演訓練和模擬框架與團隊進行整合。

我們預計，在新型人工智能開發、HPC計算支持和用于決策空間現實表現的WMI開發方面的這些努力將為人類-人工智能團隊的發展創造一個新的范例，為未來多個陸軍理論（MDMP、DOTMLPF、27 METT-TC28）的進步和現代化鋪平道路（圖2）。

圖2 在更廣泛的人類-Agent團隊決策研究戰略中的新型人工智能開發

這個項目開發了兩個研究框架 。首先，它開發了一個人工智能測試平臺，被稱為ARL戰斗空間，用于創建和調查人工智能的復雜協作和敵對決策。其次，它認識到目前軍事決策過程中的局限性，構思了一個用于人與人工智能協作的復雜決策的WMI，利用軍隊和商業開發的戰斗空間可視化平臺，與非傳統的HPC資源進行潛在的連接，實現人工智能增強的兵棋推演平臺。

2. ARL戰斗空間人工智能測試平臺

這里，我們描述了我們開發ARL Battlespace的方法，這是一個開源的靈活的兵棋推演平臺，將促進開發基于強化學習算法的新決策輔助工具。特別是，我們關注的是有三個或更多合作和敵對玩家的博弈論的理論和算法能力的差距。雖然博弈論的概念，如囚徒困境和Brinksmanship（"吃雞"），對于兩個玩家已經發展得很好，但它們還沒有擴展到三個或更多的玩家，由于鞍點和局部最小值的存在，決策環境可能很復雜，這可能混淆了強化學習的作用。在戰爭中可能出現的情況下，理解和預測三個或更多的合作和敵對玩家的納什均衡，需要一個靈活的兵棋推演平臺，允許跨學科地探索這種決策空間。該兵棋推演平臺還需要能夠開發、理解和發現玩家和人工智能之間的新型互動和協同作用，使人類能夠利用人工智能快速找到最佳和接近最佳的解決方案。這些解決方案將使人工智能能夠從人類的決策模式中學習，以及如何優化其對決策空間的搜索。

2.1 框架

為了實現這些解決方案，我們開發了一個類似于國際象棋的棋盤游戲，由兩支隊伍組成，一支紅色部隊和一支藍色部隊，每支隊伍可以有多個聯盟（玩家）。游戲是在一個共同的戰斗空間上進行的，這個戰斗空間目前被設計為MDO每個領域的一套棋盤。圖3顯示了一組游戲棋盤的例子，我們考慮了一個"空中"和一個"陸地"棋盤。每個棋盤都被劃分為一組單元格，"空中"棋盤被放在"陸地"棋盤上，形成一個共同的戰斗空間。在這個例子中，我們選擇了創建方形網格，并且只考慮兩個領域。然而，在一般情況下，棋盤格可以采取任何形狀，并且可以任意縮小，而棋盤的數量可以靈活處理MDO中的每一個域。例如，"空中"盤可以由多個代表不同海拔高度的板組成。這種提法提供了一個通用的應用編程接口（API），允許在兵棋推演中取得基本的研究進展，因為它可以被定制以適應任何兵棋推演的場景。

圖3 用于復雜決策的ARL戰斗空間AI測試平臺

每個聯盟都被假定有一組部件，我們稱之為單位。目前，我們假設有四個地面單位和一個空中單位。地面單位由士兵、坦克、卡車和旗幟組成，而空中單位是飛機。每個地面單位目前都有相同的能力（即，相同的行動和視圖集）。然而，API的設計是為了使聯盟的每個單位都有定制的能力，從而使設計特定場景變得容易。

目前各單位的規則和行動如下。士兵、坦克和卡車都有一個目標，描述他們的導向。他們的行動包括 "什么都不做（doNothing）"、"轉向（turnH）"、"前進1（advance1）"、"射擊（shoot）"和"沖撞（ram）"。"doNothing"意味著該單位停留在他們的位置，不改變他們的狀態。"turnH"將單位的方向旋轉H度，其中H∈{-135,-90,- 45,45,90,135,180}。"advance1 "使其方向上向前移動一個單元。"shoot"向單位的方向射出一個彈丸，彈丸繼續向前推進一個單元，直到它與另一個單位相撞或在游戲盤外飛行。最后，"ram"行動使單位在其方向上向前推進一格，同時進行攻擊。與 "advance1"行動相比，"ram"行動總是有利的，因為攻擊可以消滅敵方單位。

飛機單位的規則和行動與士兵、坦克和卡車相似。這些行動是"什么都不做（doNothing）"、"轉向（turnH）"、"前進X、Y（advanceX,Y）"、"射擊（shoot）"和 "轟炸（ram）"。“doNothing”、“turnH”和“shoot”的動作與地面單位相同。行動“advanceX,Y”允許該單位沿東西軸線移動X單元，沿南北軸線移動Y單元。飛機也可以 "上升（ascend）"和 "下降（descend）"來起飛和降落。最后，"炸彈（bomb）"行動在飛機的正下方射出一個彈丸到陸地游戲盤上。旗幟單位無法移動，如果被俘，則被清除。

目前游戲玩法的實施很簡單。最初，每個聯盟（玩家）將其單位放在游戲盤的各自區域。當每隊有多個聯盟時，各隊的游戲板部分被平均分配給各聯盟。請注意，每個單位的位置對所有其他聯盟都是未知的。然后，每個單位觀察其可見范圍內是否有其他單位，提供一個戰爭迷霧的場景。我們將每個單位的觀察范圍定義為從該單位的當前位置開始的一個方塊；然而，可視范圍可以根據場景和單位的情況進行定制。一旦每個單位觀察到了，同一團隊的聯盟就會合作確定他們想為每個單位采取的行動集。這允許每個聯盟觀察其隊友的單位位置，并進行溝通以協調他們的計劃。接下來，每個聯盟為每個單位選擇一個行動。請注意，所選擇的行動只有屬于同一團隊的聯盟才知道。在選擇了行動后，游戲決議被應用，根據他們選擇的行動移動單位，并解決是否有任何單位被攻擊或與另一個單位相撞。如果一個單位被攻擊或與另一個單位相撞，它將被從棋盤上移走。這個過程不斷重復，直到游戲結束。

完成游戲取決于游戲的基本規則，這些規則可以根據具體場景進行定制。在這里，我們研究了兩種類型的游戲：（1）奪旗和（2）殲滅。奪旗游戲的目標是操縱地面部隊進入敵方領土以奪取對方的旗幟，旗幟的位置是未知的，必須通過探索才能發現。一旦所有的敵方旗幟被占領，游戲就會終止。殲滅戰的目標是發現并攻擊所有敵人的地面單位。在這里，一旦發現并消滅了所有敵人的地面單位，游戲就終止了。每種游戲的基本規則都是相同的，但實現每個目標的最佳策略是不同的。在這兩種類型的游戲中，由于敵方單位和旗幟的能見度有限，存在著高度的不確定性。

2.2 分層貝葉斯模型的試點實驗

接下來，我們報告了我們在開發基于模仿學習思想的人工智能Agent方面的初步結果，模仿學習使用的是由人類演示構建的分層貝葉斯模型。我們從討論數據收集過程開始，對數據進行分析，最后用啟發式方法使一個簡單的人工智能Agent勝過一個隨機Agent。

2.2.1 實驗設計

為了學習人類的策略，我們讓五個人類受試者組合在一起，針對第2.1節中討論的兩類游戲（即奪旗和殲滅），與兩個隨機Agent進行ARL戰斗空間游戲。在每個回合中，每個隨機Agent根據一個固定的分類分布為每個單位??選擇一個行動，其中采取一個行動的概率是 ， 取決于單位??可以采取的行動數。回顧一下，每個單位的行動在第2.1節中有描述。

每個游戲由一對人類受試者對兩個隨機Agent組成，在每個游戲開始時，人類受試者合作討論他們對該游戲類型的整體策略。這導致了20場游戲的收集，其中奪旗和殲滅戰各10場。一旦所有的游戲都進行了，就對游戲數據進行分析以確定人類的策略。

2.2.2 游戲數據結果和分析

分析游戲數據的第一個方法是研究人類玩家的行動頻率。行動頻率被定義為 ，其中D代表奪旗或殲滅的游戲數據。 是指在所有游戲中，單位??采取的行動次數，而??(??)是所有游戲中的總回合數。

圖4顯示了地面單位（即士兵、坦克和卡車）的行動頻率，圖5顯示了空中單位（即飛機）的行動概率。游戲的總體目標決定了所選擇的行動，使我們能夠確定所玩游戲的類型。如圖4所示，奪旗游戲的地面單位更有可能選擇前進和攻擊的方式，用 "沖撞"的動作來尋找旗子。此外，"什么也不做"的行動也被更頻繁地選擇。這是因為一旦團隊找到旗子，離旗子最近的單位就會采取行動去搶奪旗子，而其余單位則什么都不做。對于空中單位，人類受試者更傾向于選擇 "advance0,-2 "的行動，即把單位推進到敵人的領土上尋找國旗。

圖4 從人類游戲中產生的所有地面單位，以游戲類型為條件的行動概率

圖5 從人類游戲中產生的空中單位，以游戲類型為條件的行動概率

在 "殲滅"游戲中，人類Agent更傾向于選擇攻擊行動來消滅敵人的目標（即對地面單位采取 "射擊"，對空中單位采取 "射擊"和 "轟炸"）。為了進一步驗證這一策略，圖6顯示了每回合平均射彈數量的累積總和。顯然，"殲滅"游戲的射彈數量比"奪旗"游戲要多。

圖6 每一回合中射彈總數的平均累積總和

兩種游戲的另一個區別是，奪旗游戲的總回合數要比殲滅游戲少得多。這是因為人類Agent找到旗子的速度比他們找到敵方單位并消滅它們的速度要快。

基于對人類Agent如何與隨機Agent玩游戲的簡單理解，我們可以按照類似的方法來學習策略，為簡單的人工智能Agent開發啟發式方法。

2.2.3 從人類演示中學習的簡單人工智能Agent的性能

一個簡單的人工智能Agent的算法如下。最初，Agent隨機地將他們的單位放置在棋盤的指定區域。然后，每個Agent確定每個單位的狀態。考慮到狀態和游戲的目標，Agent從預定的概率分布中為每個單位抽取一個行動。

這個過程在每個回合中都會重復，直到游戲結束。預定的概率分布遵循一個分層貝葉斯模型。為了便于表述，我們在附錄中提供了相關理論。對于最簡單的情況，我們認為單位在每個回合中可能處于兩種狀態，或。然后，概率分布根據附錄中的公式A-1定義，與圖4和圖5中的行動頻率類似。然后我們將這個分布實現在兩個簡單的人工智能Agent中，并與兩個隨機Agent進行比賽。作為一個基線性能，我們與兩個隨機Agent進行了比較。在這兩種情況下，都進行了1000場比賽，并計算了獲勝百分比。通過使用雙狀態概率分布，簡單的人工智能Agent能夠在奪旗游戲中贏得84.5%的時間，在殲滅游戲中贏得76.9%的時間。

接下來，我們為每個單位i考慮了一個更大的九態狀態空間，定義為，其中??r0和??r1分別表示一個友好單位是否被i單位觀察。??0和??1分別表示i單位是否觀察到敵方單位；以及??l0和??l1分別為團隊是否看到敵方旗幟。同樣，概率分布然后根據附錄中的公式A-1定義，并落實到兩個簡單的人工智能Agent。在奪旗游戲中，簡單人工智能Agent對兩個隨機Agent的獲勝比例為89.4%，在殲滅游戲中為82.3%。

結果摘要見圖7。有趣的是，在兩種形式的概率分布（即雙狀態分布和九狀態分布）中，奪旗策略都優于殲滅策略。這是因為 "消滅 "游戲中的Agent更有可能選擇 "射擊 "行動，由于隨機的初始位置，這將導致更多的友好射擊。因此，作為一個簡單的人工智能Agent，采取先攻后守的方法更有利。此外，當我們考慮到單位的額外狀態時，獲勝的百分比會增加。未來工作的一個可能方向是開發深度強化學習策略，以學習最大化獲勝比例所需的狀態定義和數量，即使是面對人類Agent，也要為MDO中的C2提供建議。

圖7 簡單AI Agent的獲勝比例

3. 復雜決策的實例場景

ARL戰斗空間測試平臺的關鍵優勢在于其靈活性和適應MDO任務規劃的變化需求。它的抽象性使關鍵的決策過程及其互動和動態被壓縮到一個較小的游戲盤中，并有更多可量化的人與人工智能的互動，用于開發人與人工智能的團隊合作。這使得人工智能的開發能夠集中于復雜決策的獎勵塑造，同時減少由于滋擾因素（如時空縮放）造成的學習障礙，這些因素使決策在時間和空間上變得稀疏，因此，更多的努力（人工智能以及人工智能開發者的部分）可以被用于在各種時空尺度的不確定性和欺騙下的學習。它還將兵棋推演互動中可能不容易被整合到人與人工智能團隊中的特質（例如，人類心理學的某些方面，如個人關系）放在一邊，以利于在人工智能推理發展方面取得更切實的進展。在下面一節中，我們介紹了幾個挑戰和發展人工智能進行復雜推理的例子。這些例子包括博弈論、元推理和網絡欺騙，涉及到現有人工智能算法尚未處理或解決的各種復雜決策。由于人工智能的C2決策輔助工具將有望超過人類水平的決策，不僅在速度上，而且在復雜性上，我們設想這樣的C2決策輔助工具需要能夠解決大多數（如果不是所有）的情景。

3.1 突破情景和重新想象博弈論

我們首先關注博弈論和兵棋推演之間的差距，在一個簡單的突破場景中，這是兵棋推演中經常遇到的一個經典問題（例如，在橋梁交叉口、地雷區和山口[圖8]）。在經典的博弈論概念Brinksmanship（"吃雞"）中，友好的藍色和綠色坦克被激勵著越過缺口到達另一邊。通常情況下，這些坦克會協調他們的行動，但如果藍、綠坦克之間的通信被破壞，一個單位（如藍坦克）的行動可能會因為與另一個單位（綠坦克）的碰撞或友好射擊而導致低回報。如果還包括囚徒困境的元素，那么這個場景就迅速超越了經典的博弈論，因為可能需要綠色和藍色坦克一起穿越，共同攻擊更強大的紅色坦克，這需要仔細協調。額外單位的存在（例如，綠色飛機對敵對單位提供觀察、轟炸或干擾，如黃色士兵提供可能的增援）能夠進一步操縱動態和環境對決策的限制或機會。飛機也可能發現第二個缺口，或者 "墻"可以滲透，以創造缺口（例如，清除地雷或建立額外的橋梁交叉點）。

在粗略尺度（如10×10板）和背景下學到的行為可以通過獎勵塑造逐步推廣到更細的尺度和其他背景下。額外的地圖層也可以被添加到諸如快速地下運輸等領域，以繞過地面層中的墻壁。環境因素，如天氣，也可以包括在內，以改變機動性。因此，即使是一個看似簡單的場景，也可以提供豐富的機會來操縱影響決策動態和結果的因素，并探索不同類型的不確定性之間的相互作用如何改變決策景觀，以創建鞍點和局部最小值，從而混淆強化學習的作用。在戰爭中可能出現的情況下，理解和預測三個或更多的合作和敵對玩家的納什均衡，需要一個靈活的兵棋推演平臺，允許跨學科地探索這種決策空間。兵棋推演平臺還需要能夠開發、理解和發現玩家和人工智能之間的新型互動和協同作用，使人類能夠利用人工智能快速找到最佳和接近最佳的解決方案。這些解決方案將使人工智能能夠從人類的決策模式中學習，以及如何優化其對決策空間的搜索。

圖8 帶有豐富博弈論條件的場景

3.2 元推理場景、任務背景和戰略

在ARL戰斗空間游戲中，每個玩家都有一面彩色的旗幟，游戲可以通過殲滅所有對方的地面單位或奪取對方的所有旗幟來獲得勝利（現實生活中的一個等價物是奪取所有關鍵的橋梁或指揮中心）。根據游戲的狀態，指揮官可以決定改變整體策略（殲滅戰與奪旗戰），以更快地取得勝利。例如，如果一輛坦克已經接近一面旗幟，那么將剩余的單位轉到其他地方尋找剩余的旗幟可能是有利的（圖9）。相反，如果一支敵對部隊守衛著第一面旗幟，那么優先奪取這面旗幟可能會更好，這樣搜索第二面旗幟的效率會更高。這種未闡明的推理，或稱 "默契推理"，往往在自然的人類決策中根深蒂固，這是一種需要開發的人工智能能力，以便人工智能能夠有效地參與人類-人工智能團隊的決策，使人工智能的發展能夠開始有工具來獲得人類決策的創造性。

圖9 帶有隱性推理和任務重新分配的元推理標志方案

對于人工智能的發展，這就需要一個額外的更高級別的推理Agent不斷地監測游戲的狀態，以做出切換策略的選擇，并將此傳達給控制各個單位的Agent。元推理包括監測推理所涉及的步驟，以及平衡影響活動結果的標準。此外，元推理結合了不同信息的不確定性，以產生更有意義的、符合背景的決策建議。納入元推理可以使約束條件和各種決策方法得到權衡，為行動方案提供不同的選擇。例如，基于元推理的替代選擇可以決定是否優先考慮探索與攻擊已知敵方單位與防御，部署哪種機動戰略，或者考慮到敵方部隊的可觀察位置如何重新分配任務。由于ARL戰斗空間環境的網格大小較小，游戲可以快速進行，導致經常有機會使用元推理，并使人工智能有機會學習結合和預測多種類型的元推理方法的相互作用。由于抽象環境增加了人工智能學習戰略如何交互的頻率，這將使人工智能學習更高級的戰略，例如需要平衡不同戰略、能力和任務要求之間的交互，保持選擇的自由，并產生戰略模糊性以迷惑對手。總的來說，這種方法的好處是通過增加控制和監測機制來改善決策，這些機制包括一個平衡行動和環境約束的元推理Agent。

3.3 簡單的欺騙和人工智能的心智理論

對抗性決策的一個關鍵方面，特別是在戰爭中，就是欺騙。欺騙可以發生在多個層面，包括戰略、可觀察的信息、單位能力和位置。在ARL戰斗空間中，單位的可觀察性有限，這自然為欺騙創造了機會，而飛機在敵方空間深處的探索能力也為揭開單位位置的欺騙提供了機會。圖10展示了一個簡單的欺騙場景的例子，在這個場景中，友軍的藍色和綠色部隊試圖穿越到另一邊。左下方的友軍士兵開始通過左邊的缺口發射導彈，因為他們的Agent推斷（通過對方Agent的人工智能心智理論），看到導彈后，敵方Agent會推斷出友軍正準備通過該缺口進行攻擊。這種欺騙，通過將敵方Agent的注意力和計劃集中到左邊的缺口，使他們偏離右邊的缺口，為藍綠坦克從右邊進入創造機會。通過設計有兩個缺口的情景，該情景建立在經典心理學的兩個替代性強迫選擇任務的基礎上，能夠應用敏感的心理學工具進行決策分析，并開發動物模型，從神經生理學和行為學上剖析支配欺騙的情境依賴性學習和決策的基本細胞和分子機制。例如，人們可以引入一些因素，使友好或敵對的決策出現偏差（例如，通過操縱傳感器的噪音或操縱總部的命令），或應用光遺傳學和化學遺傳學工具等方法，了解他人的認知、信念或策略的神經表征（例如，在前扣帶回和眶額皮層中）對決策計算的貢獻（在前額皮層中）。這種調查還可以發現決定一意孤行、啟發式方法和隱性偏見與對其他假設的開放性的因素，這可以幫助確定在特定條件下如何最好地重新分配任務（例如，當一個人對等級指揮結構有偏見時，他可能不太愿意追求與總部的命令相矛盾的傳感器信息）。這種固有的偏見、啟發式方法和默契的推理是人類推理的自然組成部分，在我們與他人的互動中會被預期到；人工智能的心智理論包括這種偏見補償，對優化人類+人工智能的團隊合作可能是有益的。

圖 10 需要人工智能心智理論的簡單欺騙場景

3.4 網絡欺騙、多領域整合和可信度

在人類的決策中，來自不同領域的信息可以結合起來，產生意想不到的效果。心理上的McGurk效應是指口型"ga"和聽覺上的音節"ba"在時間上有很強的同步性，從而產生幻覺"da"。雖然多感官整合似乎沒有在C2決策中得到探索，但MDO中多個領域的匯合，特別是其在穿透和分解整合階段的高容量和高速度，可能會產生意想不到的非線性跨領域的相互作用（這可能有助于"戰爭迷霧"）。圖11說明了一個例子，在這個例子中，實際跡象（導彈）和坦克誘餌（由中間人[MITM]網絡攻擊產生）的組合可以協同作用，迫使敵方單位向左側缺口移動。為網絡欺騙創造趨同的跡象線是一種普遍的策略，然而特定的欺騙模式可能比其他模式更有效。例如，人們認為大腦會將相似或相關的跡象分組，以進行有效的處理（如格式塔分組），這樣就可以克服信息瓶頸（如處理七個以上的名義項目，從而減少單個項目的影響）。如果進行每一次網絡攻擊都會產生一定的成本或風險，那么了解如何將這些成本分配到不同的線索特征中，以便以最小的風險提供最有效的影響可能是有益的（例如，如果MITM攻擊產生導彈誘餌，那么它的效果可能會降低，甚至是反作用）。了解不同的線索組合如何被不同的士兵所感知，也可能是有意義的。具有不同偏見或處于不同角色或梯隊的指揮官可能對相同的跡象組合有不同的感知、解釋或行動（例如，一個誘餌的有效性可能取決于它與目標指揮官的距離以及與他的決策過程的相關性）。更高級的策略可能包括主動防御（例如，通過 "蜜罐 "策略[圖12]），以提高網絡欺騙的有效性。為了給MDO提供超人的能力，人工智能決策輔助工具可能需要根據即時可用的跡象在多個領域協助生成可信的誘餌，以網絡的速度迅速調整這些展示，并保持虛擬和現實世界之間的一致性，以保持幻覺的有效性。

圖11 帶有中間人攻擊的網絡場景

圖12 帶有蜜罐的網絡場景

4. 人與人工智能編隊協作的復雜決策

上一節所述的ARL戰斗空間人工智能測試平臺通過將戰斗空間地形抽象為一個沒有現實表現的網格狀環境，提供了人工智能開發和測試所需的靈活性。例如，圖8顯示了一個類似于墻的障礙物，它被表示為幾個網格塊，與單位互動時應用的環境約束條件有關。人類團隊和AI都在共同的雙級網格化戰斗空間內進行游戲。人類玩家通過在控制臺窗口中輸入基于文本的編碼命令與ARL戰斗空間互動。這種命令行的交互和顯示加速了人工智能算法的開發過程，并為人工智能兵棋推演所需的大規模實時計算建立了與計算資源的潛在聯系。為人工智能兵棋推演測試平臺（如ARL Battlespace）構思一個用戶界面，并建立通往外部計算服務的管道，構成了DFV第二個目標的基本組成部分--開發一個用于復雜決策的WMI。

一個跨梯隊和作戰級別的軍事決策過程模型構成了為人類和人工智能兵棋推演開發一個有效的WMI的基礎。在傳統的兵棋推演中，指揮官利用一個共同的基于地圖的作戰地形，并模擬MDMP中各種因素的組合如何產生行動方案（COAs）、可能的反擊行動、資源使用估計和預測結果。在幾天或幾周內，MDMP過程形成一套精煉的COAs，對作戰環境做出某些假設，包括地形、天氣和設置戰場的單位的可用性和能力（即為支持主要作戰行動而塑造活動）。

盡管MDMP幫助指揮人員了解作戰環境和考慮作戰方法，但這個過程有許多局限性，如時間密集性、假設的僵硬性、跨場景變化的訓練機會有限，以及很少有機會將人工智能指導納入決策過程。傳統上，一項任務的成功與指揮部執行MDMP的能力直接相關。然而，鑒于MDO的復雜性增加，有大量的任務指揮系統和流程，與行動相關的所有活動的整合和同步變得越來越困難，甚至到了人力無法完成的地步。缺少MDMP所導致的規劃專業知識的缺乏會導致行動的不同步和不協調，并最終導致士兵的生命損失。

MDMP中沒有具體描述戰斗空間的可視化能力，但它顯然在決策過程中發揮著重要作用。最近，整合了先進可視化能力的新系統和技術已經被開發出來，這些系統和技術可以提高對局勢的認識，從而加強決策過程。陸軍的例子包括Nett Warrior，它使下馬的戰士能夠直觀地看到附近的友軍和敵軍，同時根據當地的地形協作規劃戰術任務。盡管這項技術將無線電和數字地圖擴展到了下馬戰士，但它缺乏一個提供決策幫助的基礎人工智能引擎。BVI是陸軍技術的另一個例子，它能夠為任務規劃提供分布式協作，具有從任意視角和廣泛選擇的設備對共同作戰圖進行2D和3D可視化的能力。BVI架構可以被制定，以拉入外部計算服務，如分析管道、模型和AI引擎。

目前，MDMP并沒有將人工智能指導納入整體任務規劃方法中。陸軍的APF開始通過將自主技術插入MDMP工作流程來解決人工智能輔助決策的問題。指揮人員可以通過APF的數字規劃顯示、規劃創建者和規劃監控工具，在任務規劃和COA開發過程中獲得背景援助。任務執行和估計能力通過監測任務的規劃和實際進展，為改進決策跟蹤和支持活動提供自動協助。盡管APF在MDMP中引入了基本的自動化水平，但它缺乏Nett Warrior和BVI所提供的高級可視化和用戶交互能力。

除了MDMP之外，最近將人工智能納入決策過程的努力包括了一些方法，在模擬人類決策過程方面取得了一些成功。一般來說，對于決策變量有限的問題，如資源分配、飛行模擬器和較簡單的場景，人工智能取得了一些成功。目前面臨的挑戰包括：需要提高人工智能的能力，以解決有多個行動者、不完整和可能相互沖突或欺騙的信息、不斷變化的單位行動和環境屬性的復雜決策，以及需要將這些決策的后果在許多空間和時間尺度上可視化。

4.1 未來MDMP需要的進步

MDMP在支持MDO復雜決策方面的局限性，突出表明需要在三個方面進行改進。首先，有必要將人工智能生成的指導和輔助決策支持納入MDMP。這包括進一步發展和整合人工智能到戰斗空間決策規劃，以及進一步改善人工智能決策過程的可解釋性和透明度。第二，有必要在可能的情況下，將決策分析與戰略層面以及戰術邊緣的HPC的力量結合起來。這將能夠利用HPC系統的力量來改善建模、分析和計算時間，同時整合和同步來自所有戰區領域的信息。最后，有必要利用先進的可視化技術，如混合現實技術，對決策空間進行更準確和互動的展現。不是簡單地在一個固定的時間尺度上顯示地形的二維渲染，而是需要可視化不同領域的決策是如何互動的，并利用混合現實技術來提高理解的吞吐量和深度，并實現平面顯示不可能的洞察力。

MDMP是陸軍設計方法的核心，用于應用批判性和創造性思維來理解、可視化和描述問題以及解決這些問題的方法。作為解決問題的行之有效的分析過程，必須克服前面描述的MDMP的局限性，以便快速制定一個靈活的、戰術上合理的、完全整合的、同步的規劃，以最小的傷亡增加任務成功的可能性。下面的小節描述了對MDMP的潛在改進，以支持人類與人工智能的合作決策。

4.1.1 人工智能引導的決策指導

需要新的人工智能支持的WMI，以利用人工智能決策的持續進步，并為復雜的適應性決策的人工智能學習做出貢獻。通過匯集所有領域的信息，計算人類和人工智能Agent的風險和預期回報，人工智能決策輔助工具的發展將提供能力越來越強的COA建議。現有的人工智能有幾個局限性，特別是對于有不確定性的復雜和適應性決策，以及人類和人工智能Agent的協作和對抗。對多Agent的協作和對抗性決策進行建模可能特別復雜，因為它的遞歸性質，其他Agent是模型的一部分，需要對決策特征、個性化的價值、風險規避、記憶和注意力進行動態和不斷發展的估計。這些具有高度不確定性、復雜性和動態性的情況是人類擅長的領域，適當設計的人機協作交互可以提供加速和更有效的決策。為了實現有效的團隊合作，新穎的WMI應該幫助作戰人員篩選復雜的信息，幫助人工智能發現決策的隱含規則。在此，我們提供了關于人機協作如何有效的案例。

多域兵棋推演中需要的復雜決策是開發有效的人工智能決策輔助工具的直接挑戰。最近人工智能在圍棋和國際象棋等游戲中的成功是基于對世界現有狀態的完全了解（即 "開放"游戲），而兵棋推演通常包括關于作戰環境的不完整（如星際爭霸）、不確定和/或欺騙性的信息。由于世界狀態、不同行動者的狀態以及所采取的行動影響的不確定性，知識的缺乏使得人工智能Agent難以計算未來行動的風險回報情況。不確定性也限制了人工智能估計其他行為者的風險回報概況的能力，而這是計算有效博弈論策略所需要的。人工智能被可能的最優和近似最優選擇的廣度所淹沒（即由于信息有限而選擇錯誤）的情況并不少見，因為人類在制定有效探索隱藏信息的策略時，會采用啟發式方法來進行有效的選擇和預測。為了幫助發展人工智能的隱性知識和探索能力，新型的WMI需要有效地解釋和展示決策圖，以使作戰人員能夠快速和自然地瀏覽可能的選擇，同時使人工智能能夠適時地從人類的決策中學習，而不施加認知負荷。

開發人工智能的WMI的另一個基本挑戰是如何有效地整合和顯示MDO中所有五個領域的信息，特別是空間和網絡，因為這些領域的信息具有不同的時空尺度。對于網絡，決策的規模和速度可能比人類處理和理解的能力更快，需要人類的輸入來指導半自動的決策，以及一個實施進攻和防御欺騙策略的人工智能。WMI需要能夠以這樣的方式顯示決策圖，即一小部分最優和接近最優的決策策略清單是可以解釋的（例如，通過決策樹）。這應該包括對關鍵Agent在不確定情況下的未來狀態和風險回報情況的估計，以使有效的博弈論決策能夠被共同開發和相互理解。

這些挑戰為有效的WMIs的可能設計提供了參考。也就是說，我們需要有能力從不同的來源（包括從其他國家的決策輔助工具）攝取信息，以及一個能夠承載整合這些信息的計算能力架構，同時還要處理基礎的人工智能計算（包括學習和部署）。我們還需要共同開發一個交互和算法設計，以適時地利用人類和人工智能Agent的優勢并減少其局限性。

4.1.2 高計算能力下的決策過程

在MDO兵棋推演的復雜決策過程中，需要大量的計算能力來處理和記錄所有組件、實體和狀態空間。從動態狀態空間的累積數據集中建立過去、現在和預測模型，需要利用HPC資源來產生分析見解，并創建在復雜決策背景下有用的表示。

實施HPC分析工作流程的一種方法是使用持久性服務框架（PSF）。PSF是一個最近可用的分布式虛擬化解決方案，它可以通過一個基于網絡的前端實現對高性能計算服務的非傳統訪問，而不像傳統的HPC環境那樣，計算節點在特定時期內以批處理模式分配給用戶。此外，PSF可以提供對數據、數據庫、容器化工具集和其他托管平臺的分布式持續訪問。

在一個PSF方法的例子中，一個模擬引擎連接到PSF，用于記錄人類和人工智能做出的所有決策。這允許分析在任務規劃和COA開發過程中發生的決策行為，以及識別決策模式和戰略，以開發競爭和現實的兵棋推演場景。一個戰斗空間可視化平臺可以托管在PSF上，并使用信息傳遞協議來更新所有連接的設備接口。來自模擬引擎的狀態信息可用于生成戰斗空間和參與作戰單位的圖形表示。

使用PSF方法并利用HPC資源，可以實現利用大數據攝取和分析的人工智能輔助決策機制，同時可供地理分布的用戶用于協作決策工作。連接到PSF托管服務器的各種混合現實顯示模式可以支持從戰略層面的C2到作戰邊緣的更多移動戰術使用等一系列作戰場景。

4.1.3 決策空間的逼真呈現

用圖形表示各級行動的軍事決策戰略需要新的可視化方法，這些方法可以應用于以規則變化、認知狀態、不確定性以及個人偏見和啟發式方法為特征的動態環境。

戰斗空間的視覺表現應該在技術上盡可能準確和逼真，但又保持在人類可以理解和解釋的認知水平。融合了混合現實技術的先進可視化方法有可能更好地表現多領域戰爭的變化特征及其不斷變化的威脅和動態環境。隨著最近混合現實可視化設備的技術進步，成本降低，硬件的可靠性和實用性顯著提高，混合二維和三維可視化方法現在已經成為可能。

由多個二維顯示器組成的混合現實方法增強了更先進的三維可視化能力，可以為指揮人員提供了解復雜的戰爭游戲狀態空間所需的洞察力。例如，BVI平臺可以使用多種可視化模式的組合，真實地呈現地理空間的地形。作為一個數據服務器，BVI向支持多種可視化模式的客戶端應用程序分發地形、作戰和Agent行為數據，包括頭戴式顯示器設備、基于網絡的界面、移動安卓平板設備和混合現實設備（例如，HoloLens 2、Oculus Quest）。

圖13（頂部）顯示了位于加利福尼亞州圣貝納迪諾縣歐文堡國家訓練中心的高分辨率地形上的友軍與敵軍的兵棋推演場景。與MDMP期間經常使用的傳統2D地圖顯示相比，戰斗空間的3D視圖可以從多個觀察角度提供更豐富的用戶體驗。三維視圖，在BVI的網絡戰術計劃器（WTP）中，將地形和人工特征的空間信息以及由MIL-STD 2525C符號描繪的單位位置可視化。

可以想象，地理空間視角，如BVI提供的視角，支持決策者對動態戰斗空間環境的理解。與可導航的人工智能增強的決策空間（圖13，底部）搭配，組合的視角可以使人們更好地理解視覺空間依賴性、影響和因果關系、估計的風險和價值、不確定性以及復雜決策的欺騙性。將這種以地理空間和決策為中心的視角與人工智能相結合，可以提供必要的廣度，以協調物理行動與網絡和其他非空間領域的行動，跨越多個時間尺度，并具有快速適應變化的任務目標的靈活性

圖13 BVI網絡戰術規劃器中的兵棋推演場景的三維視圖（上）與人工智能決策樹的概念（下）。

5. 討論

人工智能對人類自然決策行為的機會性學習，以及學習環境的適當結構和順序，使人工智能被訓練過程有效地塑造，是已經建立起來的提高人工智能快速學習困難挑戰能力的框架。要進一步提高人工智能在兵棋推演中的復雜決策能力，需要提高人工智能在具有高度不確定性的MDO背景下處理決策的能力、欺騙性和博弈論，這些都是人工智能發展過程中獎勵分配的挑戰。克服這些挑戰需要利用多學科的進展，從了解大腦的決策、獎勵和計算的神經生物學進展到專業知識、隱性知識、心智理論、博弈論和元推理在復雜決策過程中如何應用的心理學進展。

人工智能如何能夠最好地學習人類的復雜決策仍然是一個開放的問題。盡管對復雜決策進行獎勵塑造的確切機制還沒有被發現，但這個項目已經產生了如何通過一個新的人工智能測試平臺和WMIs來發現這種機制的設想。ARL戰斗空間人工智能測試平臺和場景將人類和人工智能置于與MDO相關的決策環境中，使人工智能能夠學習不同的決策和因素如何相互作用，以及人類如何通過這種復雜的決策樹進行合作和對抗。一個關鍵的進展是，測試平臺和場景提供了一個豐富的環境，通過抽象化那些會使決策要領稀疏化和阻礙學習的因素，有效地開發人工智能心智理論和與MDO相關的元推理，以進行復雜的決策。

另一個進展是開發高性能計算框架，以實現人工智能決策支持的連續分布式訓練。這將使人工智能決策輔助系統能夠托管在ARL的持久性服務框架上，因此，將來士兵可以隨時隨地以人類和人工智能混合團隊的形式，針對人工智能兵棋推演Agent進行單獨或協作訓練。

這個項目的第三個進展是開發了一種可視化人工智能決策過程的方法，以實現人工智能的透明度和信任，以及人類與人工智能團隊的合作決策。人工智能的推理必須既抽象又與兵棋推演環境相關，這樣人類就可以理解人工智能對不同決策結果的評價，并有效地瀏覽人工智能的決策樹，而不會造成過度的認知負擔。我們已經向人工智能增強的WMI邁出了第一步，它基于三維混合現實，利用和增強人類固有的三維認知和預測的能力。隨著進一步的設計，我們設想它的界面將給人以自然的感覺，同時擴大顯示多個領域的信息，并使人工智能能夠適時地從用戶的決策中學習。這種自然的、直觀的人工智能輔助決策系統，是為了支持MDO C2決策而開發的，包括隱性推理，以及協作和對抗推理，對于人類在復雜決策中信任人工智能對COA結果的估計至關重要。

5.1 進一步發展人工智能測試平臺和人工智能Agent的潛力

雖然最近在游戲中對深度強化學習算法的利用顯示出巨大的前景，但這種成功的前提是與一個相對簡單、結構良好的游戲合作。真正的挑戰出現了，因為環境越來越依賴于稀疏的觀察數據、復雜和動態的Agent策略。完全在內部開發平臺與在現有的開放源碼庫上建立平臺相比，有幾個權衡因素--主要是限制因素的最小化和環境開發的純粹工作量。創建一個全新的定制平臺可以完全定制與游戲相關的錯綜復雜的問題，盡管變得非常耗時。相反，在使用現有的庫，如StarCraft2LearningEnvironment（SC2LE）時，會出現各種不可逾越的限制，但投入游戲開發的工作量會減少十倍。我們正在進行的ARL戰斗空間人工智能測試平臺的第二代開發，名為Simple Yeho（圖14），是建立在天平兩端的平衡上的，OpenAI Gym是一個用于開發強化學習算法的工具包，對輸入的Agent和環境結構不做任何假設。顯然必須遵循一個基本的框架，但OpenAI Gym除了提供大量的文件和例子供客戶參考外，還提供了完全的設計自由。從游戲開發的角度來看，并沒有立即需要解決的問題，但它確實需要成為未來一個更優先的事項。

圖14 簡單的Yeho人工智能測試平臺

未來的問題并不局限于游戲環境，因為它們將不可避免地延伸到理論上的強化學習挑戰，如無縫的多Agent通信、任務協調和固定的策略。更多需要關注的實際問題包括算法效率（限制計算密集型任務以及內存分配的心態），一種新穎的去中心化強化學習算法，以及跨多個領域的數據泛化。過度消耗硬件資源是人工智能所有分支中的一個共同瓶頸。從軟件的角度來看，ARL Battlespace AI測試平臺對資源消耗很少，該環境仍然專注于AI發展的研究問題，而不是全面的MDO實施，這就是為什么計算效率還不是一個緊迫的問題。歸納游戲狀態信息的潛在解決方案，特別是在動態環境中，包括時差變異自動編碼器和分布式時差強化學習，因為它們除了在數據點之間提供一個平滑的潛在空間外，還允許對未來的幾個狀態有明確的信念（這在元推理方面起作用）。我們的新型強化學習算法應該解決的其他主要問題是安全/認證、Agent決策透明度和Agent間的實時通信。將區塊鏈整合到DEVCOM ARL框架中，將確保節點之間的安全通信線路，提供一個不可改變的分布式賬本，以揭示Agent的低級決策，并向Agent引入民主投票系統，以促進團體合作，同時仍然保持個人的自私性。

5.2 進一步發展人類-人工智能協作交互的潛力

目前軍事決策過程中的局限性確定了一個多學科的研究方法，用于開發復雜決策的人類和人工智能WMI。作為基礎層的決策空間的現實表示，包括具有地理空間精確性的自然和人工制作的戰斗空間地形。一個先進而直觀的用戶交互允許混合現實視角的戰斗空間，使決策者能夠根據作戰因素探索COA的替代方案。這兩個要求指導了對陸軍和商業開發的戰斗空間交互系統BVI的選擇，作為ARL戰斗空間人工智能測試平臺中實現的人工智能和人類-人工智能團隊發展的潛在過渡媒介。

過渡的第一步是將ARL戰斗空間的網格狀環境疊加到BVI真實世界的作戰地形上，并將現有的BVI多模態用戶交互調整為兵棋推演。圖15顯示了使用BVI的網絡戰術規劃器3D視角在歐文堡地形上疊加的擴展網格的一個部分，其中友軍和敵軍單位位于兵棋推演會話的開始。在瀏覽器窗口中，可以使用戰術規劃工具欄的鼠標、觸控板或觸摸屏互動來放置和操作單位。BVI提供了添加單位的功能；路線點、戰術符號和圖形；以及繪制線條、多邊形和文本框等特征。

圖15 BVI網絡戰術規劃器中帶有網格覆蓋的兵棋推演場景的三維視圖

一個尚未解決的問題是，如何最好地利用BVI的混合現實（XR）可視化功能來進行協作決策（例如，在兵棋推演期間，通過加強決策者對地形的地理空間因素的理解）。加載不同的地形和創建定制的訓練場景可能來自于多維數據，并以各種身臨其境的形式觀看，這超過了陸軍其他系統的可視化能力。根據這些三維地形的廣度和細節，當決策者使用一系列強大的交互方式在大面積的地形上進行操作時，界面如何顯示這些信息可能會造成大量的信息過載或混亂。一個有效的界面需要被設計成不僅要選擇傳達哪些環境和決策空間信息，而且要選擇如何從用戶的有利位置呈現這些信息。

如果不可能有開發時間和精力，BVI的API提供了機會，以標記、標簽和定位在地形之上的場景適應性網格的形式嵌入視覺輔助，作為決策者的空間管理干預措施。例如，圖15中描述的網格的行和列可以被標記或編碼，以快速定位實時事件和人工智能產生的活動。多維網格結構和編碼方案可以將兵棋推演提升到以MDO為特征的復雜水平，同時減輕一些基于地形的空間管理問題。

在空間和時間領域的數據分析中協調戰斗空間的多個視圖，可視化提供了額外的方法，促進兵棋推演期間的復雜決策。當需要一個共享的MDO戰斗空間呈現時，可以通過在不同的可視化模式上實施多個協調視圖來實現協作戰略規劃模式，根據分布式指揮人員的輸入進行互動更新。指揮人員的輸入也可以指導視覺過濾器對協調視圖的應用，從而減少不必要的復雜性，突出場景或任務關鍵的戰斗空間信息。

圖16顯示了SyncVis視覺分析系統，該系統旨在顯示多個協調的數據分析視圖，支持數據探索和理解。SyncVis通過用戶互動將每個視圖中顯示的信息與其他視圖聯系起來，從而產生多種數據可視化。這個例子顯示了SyncVis在四個協調視圖中對COVID分類人群數據分析的二維界面。變量選擇器（選擇六個屬性）、地圖/地形、相互信息圖和每個選定變量的疊加區域圖。

圖16 SyncVis二維界面顯示COVID數據分析的多種協調的可視化效果

SyncVis的可視化功能可以與使用PSF的HPC分析工作流程后端集成。PSF服務器可以向BVI和SyncVis流傳作戰和Agent行為數據，創造一個統一的戰斗空間探索體驗。基于用戶按需輸入和過濾的協調戰斗空間視圖的好處有待研究。

一個靈活的兵棋推演環境似乎是關鍵，因為每個訓練場景、COA和任務計劃都是在MDMP和相關軍事理論的約束下制定的，但又是獨一無二的，并取決于戰斗空間及其操作變量。一個HPC PSF數據分析處理管道為WMI提供動力，士兵或指揮官按需協調戰斗空間的BVI和SyncVis可視化，將徹底改變現有的兵棋推演范式，并觸及MDO固有的復雜程度，以及贏得勝利所需的人類和AI指導的決策水平。

6.結論

我們強調了三個關鍵的發展領域，即人工智能引導的決策指導，支持這種指導的計算基礎設施，以及決策透明度的混合現實表現的發展。這些領域的進步需要跨越許多不同學科的專業知識。新的人工智能發展需要融合神經科學、心理學和數學的思想，以克服復雜決策中長期存在的問題的瓶頸。這包括跨時間尺度的學習和變化環境下的災難性遺忘，以及更具體的兵棋推演問題，如具有不確定性、欺騙和博弈論的多Agent決策。計算基礎設施也需要發展，因為計算能力和數據框架對于在戰術邊緣產生人-人工智能團隊的共同操作圖來說都是必不可少的。為了有效地開發，應該通過一個共同的框架來抽象出專有的限制和軟件的依賴性，并為使用和故障排除提供清晰的文檔，以使學術界、政府和工業界更好地專注于解決人與人工智能的合作問題。這個通用框架應該包括有效的信息傳遞，同時提供靈活性和適應性，以滿足人工智能開發和人類用戶在訓練和實際使用環境中的需求。最后，交互技術的開發本身需要跨學科的協同專業技術。一個基礎性的問題是如何壓縮信息使之被用戶有效地理解，以及如何最好地利用用戶的互動來進行機會主義學習。人類的大腦并不處理所有的感官信息，而是對世界進行預測和假設，以便在信息不完整的環境下節約計算。一個有效的WMI應該同時預測潛在的決策結果以及個人用戶的期望和假設。此外，人工智能決策輔助工具必須估計用戶的默契，使其能夠提供最相關的信息和最有希望的選擇，這些信息來自整個作戰領域。

前言

我們的同行競爭者，利用科學、技術和信息環境的新興趨勢，已經投資于挑戰美國和重塑全球秩序的戰略和能力。他們采用創新的方法來挑戰美國和盟國在所有領域、電磁波譜和信息環境中的利益。他們經常尋求通過在武裝沖突門檻以下采取模糊的行動來實現其目標。在武裝沖突中，武器技術、傳感器、通信和信息處理方面的進步使這些對手能夠形成對峙能力，以在時間、空間和功能上將聯合部隊分開。為了應對這些挑戰，履行美國陸軍在保護國家和確保其重要利益方面的陸軍職責，陸軍正在調整其組織、訓練、教育、人員和裝備的方式，以應對這些圍繞多域作戰（MDO）概念的未來威脅。

陸軍的情報工作本質上是多領域的，因為它從多個領域收集情報，而且可以接觸到合作伙伴，彌補陸軍信息收集能力的不足。在競爭中，陸軍情報能力作為掌握作戰環境和了解威脅能力和脆弱性的一個關鍵因素。在整個競爭過程中，陸軍情報部門為每個梯隊的指揮官和參謀人員提供所需的態勢感知，以便在所有領域、電磁頻譜和信息環境中可視化和指揮戰斗，并在決策空間匯集內外部能力。

這個概念描述了關鍵的挑戰、解決方案和所需的支持能力，以使陸軍情報部門能夠在整個競爭過程中支持MDO，以完成戰役目標并保護美國國家利益。它是陸軍情報部隊、組織和能力現代化活動的基礎。這個概念還確定了對其他支持和輔助功能的影響。它將為其他概念的發展、實驗、能力發展活動和其他未來的部隊現代化努力提供信息，以實現MDO AimPoint部隊。

本文總結

陸軍未來司令部的情報概念為陸軍情報部隊的現代化活動提供了一個規劃，以支持陸軍2035年的MDO AimPoint部隊在整個競爭過程中與同行競爭對手進行多域作戰。它提供了支持2035年以后MDO AimPoint部隊的見解。這個概念是對2017年美國陸軍情報功能概念中概述想法的修改：情報作為一個單位在所有領域的運作，有廣泛的合作伙伴投入。這個概念擴展了這些想法，以解決陸軍在進行大規模作戰行動中的頭號差距：支持遠距離精確射擊的深度傳感。領導陸軍情報現代化的舉措是組織上的變化，以提供旅級戰斗隊以上梯隊的能力，以及支持深層探測問題的四個物資解決方案。

支持MDO AimPoint Force 2035的組織變化使戰區陸軍、軍團和師級指揮官能夠以遠程精確火力和其他效果塑造深度機動和火力區域。在戰區層面，軍事情報旅的能力得到提高，新的多域特遣部隊擁有軍事情報能力。遠征軍的軍事情報旅被重新利用和組織，以支持軍團和師的指揮官，而不是最大限度地向下支持旅級戰斗隊。

支持MDO AimPoint Force 2035的物資變化，即將所有的傳感器、所有的火力、所有的指揮和控制節點與適當的局面融合在一起，對威脅進行近乎實時的瞄準定位。多域傳感系統提供了一個未來的空中情報、監視和偵察系統系列，從非常低的高度到低地球軌道，它支持戰術和作戰層面的目標定位，促進遠距離地對地射擊。地面層系統整合了選定的信號情報、電子戰和網絡空間能力，使指揮官能夠在網絡空間和電磁頻譜中競爭并獲勝。戰術情報定位接入節點利用空間、高空、空中和地面傳感器，直接向火力系統提供目標，并為支持指揮和控制的目標定位和形勢理解提供多學科情報支持。最后，通過分布式共同地面系統，陸軍提高了情報周期的速度、精度和準確性。

伴隨著這些舉措的是士兵培訓和人才管理方法，旨在最大限度地提高對目標定位和決策的情報支持。從2028年MDO AimPoint部隊開始，陸軍情報部門將繼續改進軍事情報隊伍，以支持2035年及以后的MDO AimPoint部隊。

這一概念確定了陸軍情報部門將如何轉型，以支持陸軍和聯合部隊在整個競爭過程中與同行競爭者抗衡。

圖1 邏輯圖

澳大利亞皇家海軍 (RAN) 最近推出了一項開發和使用機器人、自主系統和人工智能 (RAS-AI) 的戰略，該戰略將通過一項運動計劃來實施。蘭德澳大利亞研究團隊正在通過建立證據基礎來支持 RAN 的這項工作，以幫助識別和塑造基礎活動。本報告概述了近期和長期（到 2040 年）海上 RAS-AI 技術的現狀和軌跡，并對近期、中期和長期可能執行的任務進行了高級審查根據相關的技術和非技術推動因素。

本報告并沒有研究人工智能在海上行動中更廣泛的整合，而是關注支撐無人平臺的任務和技術的進步，包括無人空中、水面和水下航行器。除了概述近期和長期 RAS-AI 任務的關鍵技術推動因素外，該報告還指出了在 RAS-AI 能力發展中應考慮的三個關鍵原則：（1）關注多種技術（新系統和“遺留”系統），而不是單一的技術解決方案； (2) 考慮國防和商業 RAS-AI 系統的互補性進展； (3) 監測非技術因素，例如不斷發展的監管、法律、政策和道德框架，這些框架可能會顯著影響未來的技術采用路徑。

研究問題

• RAS-AI 技術和任務在海洋領域的前景如何？
• 到 2040 年，海上領域的 RAS-AI 技術和任務的可能軌跡是什么？
• 哪些可能的技術推動因素會塑造未來海上區域的 RAS-AI 任務？

主要發現

• 快速發展的技術環境使 RAS-AI 任務在海洋領域得以擴展
  • 無人駕駛飛行器 (UAV) 任務的跨度有所增長，特別是因為無人機的覆蓋范圍、適應性和生存能力不斷增加（盡管仍然相對有限）。
  • 由于通信、有效載荷和模塊化的進步，越來越多地使用無人水面航行器（USV）來支持海軍任務已經成為可能，盡管限制包括依賴載人平臺的遠程控制以及與其他車輛的有限集成。
  • 無人水下航行器 (UUV) 任務已經擴大，因為其在更深的深度、更遠的距離以及先進的傳感器和有效載荷下運行的能力越來越強。然而，水下通信、網絡和深水導航的有限耐力和未解決的障礙仍然對 UUV 任務施加了限制。
• 在所有平臺上，海上 RAS-AI 任務可能會在短期內擴大，這得益于幾個關鍵技術領域的進步
  • 在自治、集群、互操作性、安全通信和信息交換、生存能力、推進和能源管理以及先進傳感和多任務平臺開發等領域取得了進展。
• 從長遠來看，技術和非技術障礙可能會限制某些 RAS-AI 任務
  • 長期 RAS-AI 任務可能包括在有爭議的環境中部署以及在進攻性自主和動力應用中的部署，盡管后者可能會受到道德、法律和監管障礙的嚴重限制。
  • 長期任務和技術前景的特點是存在很大的不確定性，可能需要通過后續研究探索更多種類的具有潛在破壞性的未來 RAS-AI 任務、技術和戰術。