美國國防部（DOD）使用漏洞評估工具來確定其許多網絡系統的必要補丁，以減輕網絡空間的威脅和利用。如果一個組織錯過了一個補丁，或者一個補丁不能及時應用，例如，為了最大限度地減少網絡停機時間，那么測量和識別這種未緩解的漏洞的影響就會被卸載到紅色團隊或滲透測試服務。這些服務大多集中在最初的利用上，沒有實現利用后行動的更大安全影響，而且是一種稀缺資源，無法應用于國防部的所有系統。這種開發后服務的差距導致了對進攻性網絡空間行動（OCO）的易感性增加。本論文在最初由海軍研究生院開發的網絡自動化紅色小組工具（CARTT）的自動化初始開發模型的基礎上，為OCO開發和實施自動化后開發。實施后開發自動化減少了紅色小組和滲透測試人員的工作量，提供了對被利用的漏洞的影響的必要洞察力。彌補這些弱點將使國防部網絡空間系統的可用性、保密性和完整性得到提高。

1.第二章：背景

第二章詳細介紹了CO中后開發的重要性，并通過分類法解釋了后開發的影響。它還研究了現有的后開發框架和工具，它們試圖將后開發自動化。本章還強調了其他工具和框架的不足之處，并討論了本研究如何在以前的工作基礎上進行改進。

2.第三章：設計

第三章介紹了CARTT是如何擴展到包括自動后開發的。這項研究利用了CARTT客戶-服務器架構的集中化和模塊化來擴展后開發行動。本章還詳細討論了發現、持續、特權升級和橫向移動等后剝削行動。

3.第四章：實施

第四章介紹了CARTT中實現的代碼、腳本和工作流程，以實現自動化的后剝削。它詳細描述了Metasploit框架（MSF）資源腳本的重要性，以及CARTT服務器、CARTT客戶端界面和CARTT操作員角色之間的通信。

4.第五章。結論和未來工作

第五章對所進行的研究進行了總結，并討論了研究的結論。它還提供了未來工作的建議，以進一步擴大CARTT的可用性和能力。

人工智能（AI）方法能否檢測出軍用全球定位系統（GPS）基礎設施上的欺騙行為？利用人工智能和機器學習（ML）工具，展示了對美國防部高級GPS接收器（DAGR）欺騙行為的成功檢測。利用系統工程原理，對問題空間進行了分析，包括進行文獻審查以確定人工智能的技術水平。這一探索的結果揭示了應用于解決這一問題的新穎解決方案。在早期階段，考慮了各種系統設計，然后確定了一個同時包含實時和模擬的GPS信息流量的系統。將基于模型的系統工程（MBSE）原則整合到設計概念中，以映射系統層次和互動。Humphreys等人（2008）將GPS欺騙威脅定義為三種技術，即簡單攻擊、中級攻擊和復雜攻擊。簡單的攻擊建立在使用商業GPS信號模擬器、放大器和天線向目標GPS接收器廣播信號的概念上。中級欺騙攻擊是利用基于接收機的欺騙器，向目標接收器的天線產生欺騙信號。復雜的欺騙攻擊是三種方法中最復雜的，有能力改變每個天線發射的載波和碼相輸出，同時控制發射天線之間的相對碼/載波相位（Humphreys等人，2008）。由于成功的GPS欺騙攻擊會影響到時間、頻率和空間領域，所開發的系統至少必須考慮這些參數。設計概念采用了識別數據集中非明顯和非瑣碎關系的要求。

該系統的設計采用了雙管齊下的方法；1）開發一個硬件系統，在GPS基礎設施上注入欺騙信號；2）開發一個軟件應用程序，以檢測欺騙的注入。該硬件系統包括一個用于創建欺騙場景的GNSS模擬器、一個便于輸入實時和模擬信息流的射頻（RF）分離器、一個DAGR和各種數據收集工具。系統操作遵循簡單的欺騙攻擊技術來執行公開欺騙攻擊。公開欺騙的一個特點是 "干擾-欺騙 "策略。Chapman（2017，1）將公開欺騙攻擊描述為 "偽造的GPS信號只是以明顯高于真實衛星信號的功率水平進行廣播"。在公開欺騙中，對手增加欺騙信號的功率，以壓倒合法的GPS信號饋送。我們成功地將公開欺騙技術應用于工程系統，并收集數據進行分析。該數據集構成了人工智能開發工具的基礎，包括國家海洋電子協會0183（NMEA 0183）和接口控制文件-GPS 153（ICD GPS153）信息流。雖然NMEA 0183標準定義了用于商業用途的GPS信息，但ICD 153標準是用于設計和實施軍事平臺上使用的信息。在這項研究中，我們同時使用了NMEA 0183和ICD 153信息標準的信息。

在數據集上應用主成分分析（PCA）等數據縮減工具，發現參數的相關性導致數據集的方差約為94%。第一個主成分PC1解釋了這些方差。對人工智能工具的研究確定了無監督和有監督學習工具的適用性。無監督學習對識別數據集內的特征很有效，而有監督學習方法則適用于有已知目標的數據集。使用聚類方法，如k-means，我們清楚地識別了在信號上應用欺騙所形成的聚類。聚類作為一種視覺工具是有效的。無監督學習模型有效地識別了由欺騙情況形成的聚類。欺騙行為對數據結構的影響在與應用欺騙信號前后形成的聚類不同的聚類中顯示出來。我們發現了數據參數中的特殊性和以前未被發現的關聯性，這對研究有啟發性。

利用數據挖掘和數據分析工具，我們再次對數據集進行了處理，以應用標記的參數，并訓練一個監督模型來對欺騙行為進行分類。我們對數據集進行了處理，并使用幾個監督學習模型檢查結果。我們在標記的數據集上執行了這些模型，其中85%的數據用于訓練，15%的數據保留給測試，同時使用交叉驗證。對模型應用交叉驗證，就不需要對數據集進行驗證分割。隨機森林和邏輯回歸模型的結果顯示，在訓練集和測試集上都有100%的真陽性率，進一步證明了人工智能模型可以檢測GPS用戶基礎設施上的欺騙行為。

使用一套通常適用于ML、數據科學和統計問題的性能指標來評估監督學習模型的有效性。模型的訓練呈現出優秀的結果，所有模型的召回率和精確度都很完美。召回率是一個重要的指標，用于評估一個工具在檢測惡意活動方面的效果，如對DAGR的欺騙企圖。這項研究的結果表明，如果有適當的工具和權限，對手可以有效地欺騙軍用GPS設備。我們在整個論文中開發和展示的工具表明，人工智能方法可以檢測到對軍用GPS基礎設施的欺騙性攻擊。

美國防部（DOD）整體態勢感知和決策（HSA-DM）項目辦公室負責確定未來垂直升降機（FVL）的認知工作負荷驅動因素，并開發認知工作負荷管理能力。減少認知工作量的最常見技術之一是將以前由人類飛行員執行的任務自動化。海軍研究生院（NPS）的這項頂點研究通過調查任務難度和自動化的復雜程度如何影響人類在人類自動化團隊（HAT）環境中的行為，為HSA-DM的使命做出了貢獻。研究結果表明，更復雜的自動化水平并不一定像其他因素（如場景難度）那樣降低認知工作量。

研究人員進行了一項 "綠野仙蹤 "類型的研究，有20名參與者和一名同盟者。每個參與者都與同伙一組，被指派在一個名為C3Fire的軟件程序中撲滅一場森林火災。參與者包括陸軍、海軍和海軍陸戰隊的中級軍官（O3-O4）。參與者中沒有人熟悉C3Fire，但他們確實有自動化的經驗。本研究的獨立變量是自動化水平（內部；低、中、高）和排隊（之間；無提示、有提示）。同盟者遵循預先規定的自動化水平，在每次迭代后 "升級"。同盟者遵循指定的自動化水平，對應于Sheridan的自動化水平之一（Sheridan 1978）。因果變量包括傳送的信息數量、移交給同伙的任務數量以及被試報告的主觀認知工作量。被試和同伙在大約70分鐘內完成一個訓練場景和三個（現場）場景。

這項研究的結果表明，自動化水平對認知工作量沒有顯著影響。研究結果確實顯示，參與者通過使用可用的功能向自動化發送更多的任務。參與者通常使用更復雜的自動化水平，將任務捆綁在單一的信息中。在捆綁功能可用之后，參與者將更多的任務交給了自動化。然而，進一步增加捆綁的數量并沒有導致交給自動化的任務數量的顯著增加。雖然參與者將更多的任務交給了自動化代理，但認知工作量在每次迭代中都保持不變。

結果表明，下一代FVL平臺的開發者應該建立自動化功能，允許人類將任務捆綁到一個單一的傳輸中，以使人類能夠向自動化代理發送更多的任務。捆綁是有效的，允許參與者更快地發送更多的任務給自動化。但是，創建允許人類向自動化代理傳送更多任務的功能并不一定能減輕人類操作員的認知工作量。

摘要

兵棋模擬是一種決策工具，可以為利益相關者分析的場景提供定量數據。它們被廣泛用于制定軍事方面的戰術和理論。最近，無人駕駛飛行器（UAVs）已經成為這些模擬中的一個相關元素，因為它們在當代沖突、監視任務以及搜索和救援任務中發揮了突出的作用。例如，容許戰術編隊中的飛機損失，有利于一個中隊在特定戰斗場景中勝利。考慮到無人機的分布可能是這種情況下的決定性因素，無人機在超視距（BVR）作戰中的位置優化在文獻中引起了關注。這項工作旨在考慮敵人的不確定性，如射擊距離和位置，使用六種元啟發法和高保真模擬器來優化無人機的戰術編隊。為紅軍蜂群選擇了一種空軍經常采用的戰術編隊，稱為line abreast，作為案例研究。優化的目的是獲得一個藍軍蜂群戰術編隊，以贏得對紅軍蜂群的BVR戰斗。采用了一個確認優化的穩健性程序，將紅軍蜂群的每個無人機的位置從其初始配置上改變到8公里，并使用兵棋方法。進行了戰術分析以確認優化中發現的編隊是否適用。

索引詞：優化方法，計算機模擬，無人駕駛飛行器（UAV），自主智能體，決策支持系統，計算智能。

I. 引言

兵棋是在戰術、作戰或戰略層面上模擬戰爭的分析性游戲，用于分析作戰概念，訓練和準備指揮官和下屬，探索情景，并評估規劃如何影響結果。這些模擬對于制定戰術、戰略和理論解決方案非常有用，為參與者提供了對決策過程和壓力管理的洞察力[1]。

最近，無人駕駛飛行器（UAVs）作為一種新的高科技力量出現了。利用它們來實現空中優勢可能會導致深刻的軍事變革[2]。因此，它們的有效性經常在兵棋中被測試和評估。

由于具有一些性能上的優勢，如增加敏捷性、增加過載耐久性和增加隱身能力，無人機已經逐漸發展起來，并在許多空中任務中取代了有人系統[3]。然而，由于戰斗的動態性質，在視覺范圍之外的空戰中用無人系統取代有人平臺是具有挑戰性的。在空戰中，無人機可以被遠程控制，但由于無人機飛行員對形勢的認識有限，它將在與有人平臺的對抗中處于劣勢。然而，這種限制可以通過自動戰斗機動[4]和戰術編隊的優化來克服。此外，使用無人機可以允許一些戰術編隊和戰略，而這些戰術編隊和戰略在有人駕駛的飛機上是不會被考慮的，例如允許中隊的飛機被擊落，如果它有助于團隊贏得戰斗。文獻中最早的一篇旨在優化超視距（BVR）作戰中的飛機戰術編隊的文章[5]表明，空戰戰術是用遺傳算法（GA）進行優化的候選方案。該實施方案采用分層概念，從小型常規作戰單位建立大型編隊戰術，并從兩架飛機的編隊開始，然后是四架飛機，最后是這些飛機的倍數。在模擬中沒有對導彈發射進行建模。當一架飛機將其對手置于武器交戰區（WEZ）的高殺傷概率（Pkill）區域內一段特定時間，簡化的交戰模擬器就宣布傷亡。事實證明，所提出的方法的應用是有效的，它消除了團隊中所有沒有優化編隊的飛機，并為整個優化編隊的飛機團隊提供了生存空間。

Keshi等人[6]使用了與[5]相同的分層概念，從由兩架飛機組成的元素中構建大型戰術編隊。模擬退火遺傳算法（SAGA）被用來優化編隊，使其能夠克服對局部最優解的收斂。對16架飛機的編隊進行了優化，提出的最優解表明SAGA比基本的GA更有效。最后，為了探索一個穩健的SAGA，對不同的馬爾科夫鏈進行了比較，事實證明自調整馬爾科夫電流更適合所提出的問題。

Junior等人[7]提出使用計算機模擬作為一種解決方案，以確定BVR空戰的最佳戰術，使擊落敵機的概率最大化。在低分辨率下使用通用參數對飛機和導彈進行建模，并改編了名為COMPASS的模擬優化算法，模擬了兩架飛機對一架飛機的BVR戰斗。低分辨率模型假定在水平面的二維空間內有一個均勻的直線運動。使用優化的戰術表明，擊落敵機的平均成功率從16.69%提高到76.85%。 Yang等人[8]提出了一種方法來優化飛機對一組目標的最佳攻擊位置和最佳路徑。該工作考慮到飛機能夠同時為每個目標發射導彈，并將飛機與目標有關的攻擊性和脆弱性因素作為評價攻擊位置的指標。一個高保真模擬被用來模擬每個導彈的飛機、雷達、導彈和WEZ的動態特性。這項工作并沒有解決在BVR戰斗場景中優化一組飛機對另一組飛機的編隊問題。

Li等人[9]提出了一種基于指揮員主觀認識的編隊優化方法，即在空戰中目標設備信息不確定的情況下選擇飛機編隊的問題。首先，計算戰斗機的戰斗力，這是通過指揮員的主觀認識評估目標戰斗力的基礎。戰斗機的戰斗力以能力的形式表現出來，包括攻擊、探測、生存能力、通信、電子戰、預警系統等。因此，通過采用前景理論和綜合模糊評估來優化空戰訓練。最后，一個應用實例證明了該方法在小規模空戰中的可行性。作者聲稱，利用戰斗力評估戰斗情況的能力為優化空戰訓練提供了一種新的方法。

?zpala等人[10]提出了一種在兩個對立小組中使用多個無人駕駛戰斗飛行器（UCAVs）進行空戰的決策方法。首先，確定兩隊中每個智能體的優勢地位。優勢狀態包括角度、距離和速度優勢的加權和。在一個團隊中的每個智能體與對方團隊中的每個智能體進行比較后，每個航空飛行器被分配到一個目標，以獲得其團隊的優勢而不是自己的優勢。為一對對立的團隊實施了一個零和博弈。對許多智能體參與時的混合納什均衡策略提出了一種還原方法。該解決方案基于博弈論方法；因此，該方法在一個數字案例上進行了測試，并證明了其有效性。

Huang等人[11]開發了新的方法來處理UCAV編隊對抗多目標的合作目標分配和路徑規劃（CTAPPP）問題。UCAV的編隊是基于合作決策和控制的。在完成目標偵察后，訓練指揮中心根據戰場環境和作戰任務向每架UCAV快速傳輸任務分配指令。UCAV機動到由其火控系統計算出的最佳位置，發射武器裝備。合作目標分配（CTAP）問題通過增強型粒子群優化（IPSO）、蟻群算法（ACA）和遺傳算法（GA）來解決，并在歸因、精度和搜索速度等方面進行了比較分析。在進化算法的基礎上發展了UCAV多目標編隊的合作路徑規劃（CPPP）問題，其中提供并重新定義了獨特的染色體編碼方法、交叉算子和突變算子，并考慮燃料成本、威脅成本、風險成本和剩余時間成本來規劃合作路徑。

Ma等人[12]開展的工作解決了在BVR作戰場景中優化兩組（R和B）無人機對手之間的優勢地位問題。一個無人機ri∈R對一個無人機bj∈B的優勢是通過ri和bj之間的距離、ri的導彈發射距離的下限和上限、ri的高度和bj的高度之差以及ri的最佳發射高度來估計的。決定性的變量是無人機在兩組中的空間分布和每架飛機在這些組中的目標分配。無人機在三維作戰空間BVR中的可能位置被簡化（離散化），通過立方體的中心位置來表示。每個無人機組都有一組立方體。優化問題被建模為一個零和博弈，并被解決以獲得納什均衡。

Ma等人[12]提出的工作沒有使用高保真模擬來分析無人機空間分布的選擇和分配給它們的目標對BVR作戰的影響。高保真模擬對飛機、雷達、導彈及其導彈的WEZ的動態特性進行建模。這些動態特性也影響到BVR作戰時每架飛機的行動觸發，因此也影響到最終的結果。例如，如果在兩組無人機之間第一次沖突后的時間窗口內考慮高保真BVR作戰模擬，新的沖突可能會發生，直到模擬結束。因此，每個在交戰中幸存的無人機將能夠選擇一個新的目標，這取決于可用目標的優勢值。在[12]中沒有考慮與無人機行為有關的不確定性。有關敵方無人機在戰術編隊中的確切位置及其導彈發射距離的信息是行為不確定性的例子。這兩個信息和上面描述的其他信息在BVR戰斗中是相關的：它們直接影響飛機之間的交戰結果。

在這項研究中，我們試圖解決文獻中發現的一些局限性，如低分辨率模擬、與敵人有關的不確定性的處理以及缺乏對優化解決方案的穩健性的確認，旨在提高兵棋結果的質量。我們的目標是驗證哪些藍色蜂群的戰術編隊可以在BVR戰斗中戰勝紅色蜂群。作為一個案例研究，RED蜂群使用了空軍經常采用的戰術編隊，稱為line abreast[13]。為了評估BLUE蜂群解決方案的穩健性，我們解決了新的問題，改變了RED蜂群每架飛機的位置，目的是估計新的RED蜂群編隊對BLUE蜂群的優化戰術編隊的效率的影響。

我們使用自主智能體和高保真計算機模擬來優化BVR戰斗中的無人機戰術編隊，考慮與敵人相關的不確定性，如戰術編隊中的位置誤差和導彈發射距離。統一行為框架（UBF）被采納為創建自主智能體的基礎。飛機和導彈在三維環境中用六個自由度（DoFs）建模。

該程序將在接下來的章節中進一步討論。

現代數字雷達在其波形、雷達參數設置和傳輸方案方面提供了前所未有的靈活性，以支持多種雷達系統目標，包括目標探測、跟蹤、分類和其他功能。這種靈活性為提高系統性能提供了潛力，但需要一個閉環感知和響應方法來實現這種潛力。完全自適應雷達（FAR），也被稱為認知雷達，是模仿認知的感知-行動周期（PAC），以這種閉環方式適應雷達傳感器。在這項工作中，我們將FAR概念應用于雷達資源分配（RRA）問題，以決定如何將有限的雷達資源如時間、帶寬和天線波束寬度分配給多個相互競爭的雷達系統任務，并決定每個任務的傳輸參數，使雷達資源得到有效利用，系統性能得到優化。

已經提出了一些感知-行動的RRA方法。這一領域的最新工作被稱為認知雷達資源管理，而較早的相關工作則被稱為簡單的傳感器管理或資源分配。這些算法依賴于兩個基本步驟。首先，它們以概率方式捕獲（感知）監視區域的狀態。其次，他們使用這種概率描述，通過確定哪些行動有望實現效用最大化來選擇未來的傳感行動。

任何RRA算法的一個關鍵挑戰是平衡目標探測、跟蹤、分類和其他雷達任務的多個競爭性目標。這一點通過優化步驟中用于選擇下一步雷達行動的目標函數來解決。目標函數也被稱為收益、標準、價值或成本函數。因此，以適合優化的數學形式闡明系統目標，對完全自適應雷達資源分配（FARRA）系統的運行至關重要。隨著可用于適應的參數數量和雷達系統任務數量的增加，這變得越來越困難。這種優化有兩種基本方法：任務驅動和信息驅動。

在任務驅動的方法中，為每個任務指定性能服務質量（QoS）要求，如探測目標的預期時間或跟蹤的均方根誤差（RMSE），并通過加權各種任務的效用來構建一個綜合目標函數。這樣做的好處是能夠分別控制任務性能，并確定任務的相對重要性。然而，它需要用戶有大量的領域知識和判斷力，以指定任務要求和傳感器成本，并構建成本/效用函數和加權，以結合不同的任務性能指標。

在信息驅動的方法中，一個全局信息測量被優化。常見的信息測量包括熵、相互信息（MI）、Kullback-Leibler分歧（KLD）和Renyi（alpha）分歧。信息指標隱含地平衡了一個雷達可能獲得的不同類型的信息。這具有為所有任務提供共同的衡量標準（信息流）的理想特性，但沒有明確優化諸如RMSE等任務標準。因此，信息理論的衡量標準可能很難被終端用戶理解并歸結為具體的操作目標。此外，如果沒有額外的特別加權，它們不允許單獨控制任務，并可能產生以犧牲其他任務為代價而過度強調某些任務的解決方案，或者選擇在用戶偏好判斷下只提供邊際收益的傳感器行動。

在這項工作中，我們考慮一個雷達系統對多個目標進行同步跟蹤和分類。基于隨機優化的FAR框架[28]，為我們的PAC提供了結構。我們開發并比較了用于分配系統資源和設置雷達傳輸參數的任務和信息驅動的FARRA算法，并在模擬機載雷達場景和俄亥俄州立大學的認知雷達工程工作區（CREW）實驗室測試平臺上說明其性能。這項工作結合并擴展了我們以前在傳感器管理[8-14]和FAR[18, 21, 27, 29-31]的工作。初步版本發表于[32]。結果表明，任務和信息驅動的算法具有相似的性能，但選擇不同的行動來實現其解決方案。我們表明，任務和信息驅動的算法實際上是基于共同的信息理論量，所以它們之間的區別在于所使用的指標的粒度和指標的加權程度。

本章的組織結構如下。在第10.2節中，我們提供了FAR框架的概述，在第10.3節中，我們通過為這個問題指定FAR框架的組成部分來開發多目標多任務FARRA系統模型。在第10.4節中，我們描述了組成FARRA PAC的感知和執行處理器，包括我們采用的任務和基于信息的目標函數。在第10.5節中，我們提供了比較優化方法的機載雷達仿真結果，在第10.6節中，我們展示了CREW測試平臺的結果。最后，第10.7節介紹了這項工作的結論。

完全自適應雷達框架

單個PAC的FAR框架是在[18, 27]中開發的，在此總結一下。圖10.1是一個系統框圖。PAC由感知處理器和執行處理器組成。PAC通過硬件傳感器與外部環境互動，通過感知處理器和執行處理器與雷達系統互動。感知處理器接收來自硬件傳感器的數據，并將其處理為對環境的感知。該感知被傳遞給雷達系統以完成系統目標，并傳遞給執行處理器以決定下一步行動。執行處理器接收來自感知處理器的感知以及來自雷達系統的要求，并解決一個優化問題以決定下一個傳感器的行動。執行處理器通知硬件傳感器下一次觀察的設置，傳感器收集下一組數據，然后循環往復。

圖10.1: 單一PAC FAR框架

• 本研究由美國陸軍研究實驗室贊助，根據合作協議號W911NF-21-2-0227完成。

?在日益復雜的軍事行動環境中，下一代兵棋推演平臺可以減少風險，降低作戰成本，并改善整體結果。基于具有多模態交互和可視化能力軟件平臺的新型人工智能（AI）兵棋推演方法，對于提供滿足當前和新興戰爭現實所需的決策靈活性和適應性至關重要。我們強調了未來作戰人-機器交互的三個發展領域：由人工智能引導的決策指導，高計算力下的決策過程，以及決策空間的真實呈現。這些領域的進展將使有效的人機協作決策得以發展，以滿足當今戰斗空間日益增長的規模和復雜性。

關鍵詞：決策、交互、兵棋推演、人工智能、增強/混合現實、可視化

1 引言

在傳統的兵棋推演中，指揮官利用一個共同的基于地圖的作戰地形，并在軍事決策過程（MDMP，方框1）中模擬各種因素的組合如何產生行動方案（COA）、可能的反擊行動、資源使用估計和預測結果（美國陸軍，1997年，2014年，2015年）。在幾天或幾周的時間里，MDMP過程導致了一套精煉的COAs，它對作戰環境做出了一定的假設，包括地形、天氣以及戰區資產的可用性和能力（即塑造支持主要作戰行動的活動）。

方框1. 軍事決策過程（MDMP）
MDMP是美國陸軍解決問題的理論方法，從接到任務開始，到生成作戰命令結束。MDMP被用作一種工具，幫助指揮人員審查眾多的友軍和敵軍的作戰行動。MDMP的7個步驟在規劃新任務、擴展行動和執行訓練演習所需的決策過程中灌輸徹底、清晰、合理的判斷、邏輯和專業知識（美陸軍，1997年，2015年）。
指揮官在接到任務后啟動了MDMP。在MDMP的第1步中，所有的工作人員和關鍵的任務參與者都被告知任務和待定的規劃要求，包括進行MDMP的可用時間量。確定進行任務分析所需的工具，并收集與任務和作戰區有關的文件。步驟2，執行任務分析，建立對任務的全面理解，包括關鍵的事實和假設，形成擬議的任務說明和任務分析簡報，為制定COA做準備。
MDMP的第3至第6步著重于制定COA以進行分析和比較。這些步驟包括：第3步，制定COA；第4步，COA分析（兵棋推演）；第5步，COA比較；第6步，COA批準。COA是對一個已確定的問題的潛在解決方案。每個COA都要使用篩選標準來檢查其有效性，如在既定的時間框架、空間和資源限制內完成任務。COA的選擇過程通常涉及到兵棋推演，它試圖在考慮到友軍力量和敵人能力的情況下，將行動的順序流程可視化，同時考慮到行動區域內平民的影響和要求（美陸軍，2014）。戰術模擬（兵棋推演）方法的好處是突出了作戰行動的優勢和劣勢。這往往是一個反復的過程，對作戰行動方案進行評估，然后根據需要進行修改，直到出現一個或多個具有最高成功概率的作戰行動方案來完成任務目標。
在一個具體的行動方案得到指揮部的批準后，MDMP的最后一步是制作行動指令，這是一份給下屬和鄰近單位的指令，旨在協調所有參與任務的組織的活動。這一步驟涉及到所有受命令傳播影響的組織之間的積極合作，并建立起對局勢的共同理解。

盡管MDMP幫助指揮官了解作戰環境和考慮作戰方法，但這個過程有很多局限性，如時間密集、假設僵化、跨場景訓練的機會有限，以及將人工智能（AI）指導納入決策過程的機會很少。傳統上，一項任務的成功與指揮部執行MDMP的能力直接相關。然而，鑒于當今多域作戰（MDO）的復雜性增加（Feickert，2021年），有大量的任務指揮系統和流程，與行動相關的所有活動的整合和同步變得越來越困難，甚至到了人為無法完成的地步。由于MDMP的缺陷而導致的規劃專業知識的缺乏，可能會導致不同步和不協調的行動，從而最終導致士兵的生命損失。

MDMP中沒有具體描述戰斗空間的可視化能力，但它顯然在決策過程中發揮著重要作用。最近，集成了先進可視化能力的新系統和新技術已經被開發出來，它們可以提高態勢感知，從而增強決策過程。美陸軍的例子包括Nett Warrior（Gilmore，2015），它使下馬戰士能夠直觀地看到附近的友軍和敵軍，同時根據當地的地形協同規劃戰術任務。盡管這項技術將無線電和數字地圖擴展到了下馬戰士，但它缺乏一個底層的人工智能引擎來提供決策幫助。戰斗空間可視化和交互平臺（BVI，前身為增強現實沙盤，ARES）是陸軍技術的另一個例子，它能夠為任務規劃提供分布式協作，具有從任意視角和廣泛選擇設備的共同作戰畫面的二維和三維可視化能力（Su等人，2021）。BVI架構的制定是為了拉入外部計算服務，如分析管道、模型和人工智能引擎。美陸軍研究實驗室正在努力將這些類型的服務納入BVI，包括用于加強決策支持的人工智能。

目前，MDMP并沒有將人工智能指導納入整體任務規劃方法中。美陸軍的自動規劃框架（APF）（Bailey，2017）開始通過將自主技術插入MDMP工作流程來解決人工智能輔助決策問題。指揮人員可以通過APF的數字規劃呈現、規劃創建和規劃監控工具，在任務規劃和COA開發期間獲得背景援助。任務執行和估計能力通過監測任務的規劃和實際進展，為改進決策跟蹤和支持活動提供自動協助。盡管APF為MDMP引入了基本的自動化水平，但它缺乏Nett Warrior和BVI所提供的先進的可視化和用戶互動能力。

提供地面部隊自動化和用戶可視化能力的是美陸軍最知名的兵棋推演平臺--半自動化部隊（OneSAF），為計算機生成的地面部隊提供建模和模擬能力（PEO_STRI, 2022）。OneSAF提供了半自動和全自動的軍事實體（即士兵、坦克、直升機和綜合單位）的建模，在類似真實世界的戰斗空間中以不同的保真度來支持特定的應用和場景。OneSAF主要用于訓練，并與目前的任務指揮系統具有互操作性。它可以使用多分辨率的地形和詳細的實體相關數據庫來模擬廣泛的作戰環境。然而，OneSAF對地形和實體系統的高保真建模的優勢使得它的設置和運行成本很高。它受到老化系統的限制，而且眾所周知，士兵需要大量的培訓來學習如何操作模擬，使用起來很困難（Ballanco，2019）。OneSAF的復雜功能并不適合開發人工智能能力，以實現快速和敏捷的戰士-機器決策。

除了MDMP和上面提到的陸軍平臺外，最近將人工智能納入決策過程的工作包括一些方法（Goecks等人，2021a），在模擬人類決策過程方面取得了一些成功。一般來說，人工智能在決策變量有限的問題上取得了一些成功，如資源分配（Surdu等人，1999）、飛行模擬器（Drubin，2020）和更簡單的場景。正在進行的挑戰包括需要提高人工智能的能力，以解決有多個行為者、不完整和可能沖突的信息、不斷變化的單位行動和環境屬性的復雜決策，以及需要將這些決策的后果在許多空間和時間尺度和領域內可視化。

以下各節描述了對MDMP的潛在改進。"未來軍事決策過程所需的進步"一節概述了支持MDO決策的三個研究領域，并以圖表形式描述了這些研究領域與軍事理論決策方法之間的關系。"未來軍事決策過程所需的進步 "一節中的小節對每個研究領域進行了更深入的討論。"展望推進人-人工智能團隊決策的交互技術 "一節概述了未來的作戰人員-機器接口（WMI）的發展方向，重點是與決策有關的人-人工智能團隊的跨學科研究。

2 未來軍事決策過程所需的進步

軍事決策過程在支持MDO復雜決策方面的局限性，突出了在三個研究領域的改進需要。首先，有必要將人工智能產生的指導和輔助決策支持納入MDMP。這既包括進一步開發和整合人工智能到戰斗空間決策規劃，也包括進一步改善人工智能決策過程的可解釋性和透明度（Chen等人，2018）。第二，有必要在戰略層面以及戰術邊緣，盡可能地將決策分析與高性能計算（HPC）的力量結合起來。這將能夠利用HPC系統的力量來支持建模、分析和計算時間，同時整合和同步來自所有戰區領域的信息。最后，有必要利用先進的可視化技術，如混合現實技術，對決策空間進行更準確和互動表述。不是簡單地在一個固定的時間尺度上顯示地形的二維渲染，而是需要可視化不同領域的決策是如何相互作用的，并利用混合現實技術來提高理解的吞吐量，并產生平面顯示不可能的洞察力。

除了MDMP之外，其他更廣泛適用的支持戰斗性問題解決的軍事理論包括：DOTMLPF[例如，學說、組織、訓練、物資、領導、人員和設施；（美陸軍，2018年）]，這是一個確定差距并為當前和未來作戰要求提出設計解決方案的框架；以及METT-TC[例如，任務、敵人、地形和天氣、部隊、可用時間和民事考慮；（美陸軍，2019年）]，這是一個結構化框架，用于捕捉任務相關因素的狀態，以便在軍事行動期間進行共享評估。這些理論定義了MDO戰場的信息背景，構成了應用于上述三個研究領域的軍事決策的核心基礎。如圖1所示，在為人類和人工智能指揮開發復雜軍事決策空間的新表述時，研究進展和MDO相關理論相互借鑒、相互啟發、相互加強（美陸軍，2010）。

圖1. 新型作戰人員-機器交互（WMIs）和人工智能輔助決策所需的三個研究發展領域，以支持和加強基本的MDO理論[右下圖來源：Lebsack（2021）]。

2.1 人工智能導向的決策指導

需要新的人工智能支持的WMI，以利用人工智能決策方面正在取得的進展，并為復雜的適應性決策的人工智能學習作出貢獻。在簡化的戰斗空間中測試人工智能決策輔助工具是開發過程中重要的第一步，也是將人工智能納入更成熟的戰斗空間平臺（即BVI、OneSAF）的前奏。開發用于決策輔助實驗的人工智能測試平臺可以在MDO中產生能力越來越強的潛在COA建議。圖2顯示了陸軍開發的兩個人工智能測試平臺的例子。

圖2. 兩個ARL人工智能測試平臺的例子。左邊：ARL Battlespace（Hare等人，2021）（ //github.com/USArmyResearchLab/ARL_Battlespace ）。右邊：ARL的Simple Yeho測試平臺。圖片由C. Hung制作。

人工智能測試平臺能夠開發出匯集所有領域信息的AI，并計算出人類和AI智能體的風險和預期回報。圖2的左側顯示了ARL戰斗空間測試平臺（Hare等人，2021年），它是從頭開始開發復雜決策的新型人工智能的理想場所。它對戰斗空間的抽象強調了軍隊相關場景下的核心推理原則，在這種情況下，用蜜罐進行網絡欺騙。較小的網格空間使人工智能的學習和發展能夠集中在不確定性下的復雜推理，有多個友好和敵對的agent。圖2的右側顯示了ARL的Simple Yeho測試平臺，它提供了將人工智能開發與更多真實世界場景中的默契推理結合起來的能力，有多個基于地形的海拔高度、視線范圍、障礙物、樹葉（隱蔽）、道路和城市區域。紅色陰影和黑色線條表示任務的起點和終點、左右邊界以及人工智能建議的路線。這種額外的真實性使其能夠與MDO理論相結合，包括DOTMLPF和METT-TC，并使人工智能與自然的、機會主義的士兵行為共同發展。這兩個人工智能測試平臺都可以擴展為傳統和沉浸式混合現實WMI開發平臺。

使用漸進式和可擴展的人工智能測試平臺，可以調查現有人工智能的幾個基本限制，特別是對于具有不確定性的復雜和適應性決策，以及人類和AI智能體的協作和對抗。對多智能體的協作和對抗性決策進行建模可能特別復雜，因為其遞歸性質，其他智能體是模型的一部分（Goldman，1973；Grüning和Krueger，2021），需要對決策特征、個性化的價值、風險規避、記憶和注意力進行動態和不斷發展的估計。這些具有高度不確定性、復雜性和動態性的情況是人類擅長的領域，適當設計的交互界面和人工智能測試平臺的人機協作可以提供加速和更有效的決策。對于有效的團隊合作，新穎的WMI應該幫助作戰人員篩選復雜的信息，并幫助人工智能發現決策的隱含規則。下面，我們提供了關于人機協作如何有效的案例。

多域兵棋推演中需要的復雜決策是開發有效人工智能決策輔助工具的直接挑戰。最近人工智能在圍棋、國際象棋、Minecraft和大富翁等游戲中的成功（Silver等人，2017；Goecks等人，2021b；Haliem等人，2021）是基于對世界現有狀態有完整了解的游戲（即 "開放 "游戲），而兵棋推演平臺通常包括關于作戰環境的不完整（如星際爭霸）、不確定或欺騙性信息（Vinyals等人，2019）。不確定性也可能來自變化的物理學或其他環境規則，正如在《憤怒的小鳥》中所探索的那樣（Gamage等人，2021）。由于世界狀態、不同行動者的狀態以及所采取的行動不確定性，知識的缺乏使得人工智能agent難以計算未來行動的風險回報情況（Cassenti和Kaplan，2021）。不確定性也限制了人工智能估計其他行為者的風險回報概況的能力，而這是計算有效的博弈論策略所需要的。人工智能被可能的最優和近似最優選擇的廣度所淹沒（Lavine，2019），即由于信息有限而選擇錯誤的選項，這種情況并不罕見，因為人類在制定有效探索隱藏信息的策略時，采用啟發式方法進行有效的選擇和預測（Gardner，2019）。為了幫助發展人工智能的隱性知識和探索能力，新型的WMI需要有效地解釋和展示決策景觀，以使作戰人員能夠快速和自然地瀏覽可能的選擇，同時使人工智能能夠在不施加認知負擔的情況下從人類的決策中機會主義地學習（Lance等人，2020）。這種機會主義學習可以包括：例如，凝視跟蹤，以捕捉吸引人類興趣和意圖的視覺區域和未標記的目標。它們還可以包括建立在自然的士兵選擇行為基礎上的行動者批評方法，以改善人工智能對人類專家在不確定、不完全信息和欺騙的情況下如何優先考慮某些選擇的學習，這取決于任務相關的背景。

開發人工智能的WMI的另一個基本挑戰是如何有效地整合和顯示MDO中所有五個領域的信息，特別是空間和網絡，因為這些領域的信息具有不同的時空尺度（Gil等人，2018）。對于網絡，決策的規模和速度可能比人類處理和理解的能力更快，需要人類的輸入來指導半自動化的決策，以及實施進攻和防御性欺騙策略的人工智能。WMI需要能夠以這樣的方式顯示決策圖景，即可以解釋一小部分最優和接近最優的決策策略（例如，圖3中的決策樹）。這應該包括對關鍵agent在不確定情況下的未來狀態和風險回報情況的估計（Hare等人，2020），以使有效的博弈論決策能夠被共同開發和相互理解。

圖3. 在頂部，是BVI網絡戰術規劃器應用程序中友軍與敵軍戰爭場景的三維視圖。三維視圖提供了一個比二維視圖更真實的決策視角，例如，顯示友軍（藍色）和敵軍（紅色）機載預警系統（AEWs）和周圍地形的海拔。這使得快速審查可能的視線和相對于周圍地形的感應。下面是人工智能的導航決策樹，為人工智能計算的幾個關鍵選擇的風險/回報概況以及它們如何映射到地形上提供透明度。這種抽象的決策空間還可以整合非空間決策，例如網絡欺騙。虛線表示與友方AEW的通信聯系和對敵方AEW的可能干擾。圖片由C. Hung制作。

這些挑戰為有效的WMIs設計提供了參考。也就是說，我們需要有能力從不同的來源（包括從其他國家的決策輔助工具）提取信息，以及一個能夠承載整合這些信息的計算能力的架構，同時還要處理基礎的人工智能計算（用于學習和部署）。我們還需要共同開發一個界面和算法設計，以適時地利用人類和人工智能agent的優勢并減少其局限性。

2.2 高計算能力下的決策過程

在復雜的決策過程中，需要大量的計算能力來處理和記錄所有組件、實體和狀態空間。從積累的動態狀態空間的數據集中建立過去、現在和預測模型，需要利用HPC資源來產生分析性的見解，并在決策背景下創建有用的表述。

實施HPC分析工作流程的一種方法是使用持久性服務框架（PSF）。PSF是一個最近可用的分布式虛擬化解決方案，它可以通過一個基于網絡的前端實現對HPC服務的非傳統訪問，而不像傳統的HPC環境，計算節點在特定的時間段內以批處理模式分配給用戶。此外，PSF提供對數據、數據庫、容器化工具集和其他托管平臺的分布式連續訪問（Su等人，2021）。

在一個PSF方法的例子中，一個模擬引擎連接到PSF，用于記錄人類和人工智能做出的所有決定。這允許分析在任務規劃和COA開發過程中發生的決策行為，以及識別決策模式和戰略，以開發競爭性和現實的兵棋推演場景。一個戰斗空間可視化平臺可以托管在PSF上，并使用消息傳遞協議來更新所有連接的設備接口。來自模擬引擎的狀態信息可用于生成戰斗空間和參與作戰單位的圖形表示。

使用PSF方法并利用HPC資源，可以實施人工智能輔助決策機制，利用大數據攝取和分析，同時可供地理分布的用戶用于協作決策工作和 "永遠在線 "的個性化培訓和紅色團隊。連接到PSF托管服務器的各種混合現實顯示模式可以支持一系列作戰場景，從戰略層面的指揮和控制到作戰邊緣的更多移動戰術使用。

2.3 決策空間的真實呈現

用圖形表示各級行動的軍事決策戰略需要新的可視化方法，這些方法可以應用于以規則變化、認知狀態、不確定性以及個人偏見和啟發式方法為特征的動態環境（Dennison等人，2020；Hung等人，2020；Raglin等人，2020）。戰斗空間的視覺表現應該在技術上盡可能準確和逼真，但又保持在人類可以理解和解釋的認知水平（Kase等人，2020；Larkin等人，2020；Hung等人，2021）。融合了混合現實技術的先進可視化方法有可能更好地表現多領域戰爭的變化特征及其不斷變化的威脅和動態環境。隨著最近混合現實可視化設備的技術進步，成本降低，硬件的可靠性和實用性顯著提高，混合二維和三維可視化方法現在已經成為可能。

由多個二維顯示器組成的混合現實方法增強了更先進的三維可視化能力，可以為指揮人員提供理解復雜的兵棋推演狀態空間所需的洞察力（Su等人，2021）。當需要一個共享的戰斗空間表示時，可以通過在不同的可視化模式上實現多個協調的視圖來實現協作的戰略規劃模式，以根據分布式指揮人員的輸入進行互動更新。

BVI（Garneau等人，2018）平臺表示地理空間地形信息和地圖圖像，允許指揮人員建立和修改戰術任務規劃和COA。作為一個數據服務器，BVI將地形和作戰數據分發給支持多種可視化模式的客戶端應用程序，包括頭戴式顯示器設備、基于網絡的界面、移動安卓平板設備和混合現實設備（例如，HoloLens 2、Oculus Quest）。

例如，圖3（頂部）顯示了位于加利福尼亞州圣貝納迪諾縣歐文堡國家訓練中心的高分辨率地形上的友軍與敵軍的兵棋推演場景（Wikipedia, 2021）。與MDMP期間經常使用的傳統2D地圖顯示相比，戰斗空間的3D視圖可以從多個觀察角度提供更豐富的用戶體驗。三維視圖，在BVI的網絡戰術計劃器（WTP）中，將地形和人工特征的空間信息以及由MIL-STD 2525C符號描繪的單位位置可視化（美國防部，2014）。可以想象，地理空間視角，如BVI提供的視角，支持決策者對動態戰斗空間環境的理解。與可導航的人工智能增強的決策空間（圖3，底部）搭配，組合的視角可以使人們更好地理解視覺空間依賴性、影響和因果關系、估計的風險和價值、不確定性以及復雜決策的欺騙性。將這種以地理空間和決策為中心的視角與人工智能相結合，可以提供必要的廣度，以協調物理行動與網絡和其他非空間領域的行動，跨越多個時間尺度，并具有快速適應變化的任務目標的靈活性。

3 人-人工智能團隊決策的交互技術展望

人工智能和人-人工智能團隊的快速發展需要WMI同步發展。隨著新型人工智能對有價值的COA產生更好的預測，并能更好地處理復雜的決策，它們也必須利用人類的專業知識，學習如何處理具有高度不確定性、欺騙、隱性知識和博弈論的決策。相反，人工智能的推理必須既抽象又能與兵棋推演環境相聯系，以實現透明和信任，同時又不造成過度的認知負擔。基于三維混合現實的WMI可以利用和增強人類固有的三維認知和預測能力（Welchman等人，2005；Kamitani和Tong，2006；Kim等人，2014；Boyce等人，2019；Krokos等人，2019），如果設計得當，其交互將感覺自然，同時擴大顯示多個領域的信息的能力，同時使AI能夠適時地從用戶的決策中學習。

我們強調了三個關鍵的發展領域，即人工智能引導的決策指導，支持這種指導的計算基礎設施，以及決策透明度的混合現實表現的發展。這些領域的進步需要跨越許多不同學科的專業知識。新的人工智能發展需要融合神經科學、心理學和數學的思想，以克服復雜決策中長期存在的問題的瓶頸。這包括跨時間尺度的學習和變化環境下的災難性遺忘，以及更具體的兵棋推演問題，如具有不確定性、欺騙和博弈論的多Agent決策。計算基礎設施也需要發展，因為計算能力和數據框架對于在戰術邊緣產生人-人工智能團隊的共同操作圖來說都是必不可少的。為了有效地開發，應該通過一個共同的框架來抽象出專有的限制和軟件的依賴性，并為使用和故障排除提供清晰的文檔，以使學術界、政府和工業界更好地專注于解決人與人工智能的合作問題。這個通用框架應該包括有效的信息傳遞，同時提供靈活性和適應性，以滿足人工智能開發和人類用戶在訓練和實際使用環境中的需求。最后，交互技術的開發本身需要跨學科的協同專業技術。一個基礎性的問題是如何壓縮信息使之被用戶有效地理解，以及如何最好地利用用戶的互動來進行機會主義學習。人類的大腦并不處理所有的感官信息，而是對世界進行預測和假設，以便在信息不完整的環境下節約計算。一個有效的WMI應該同時預測潛在的決策結果以及個人用戶的期望和假設。此外，人工智能決策輔助工具必須估計用戶的默契，使其能夠提供最相關的信息和最有希望的選擇，這些信息來自整個作戰領域。

結論

信息作戰和指揮與控制（C2）是美國陸軍可以向盟友和伙伴提供的兩種能力。在未來的作戰環境中，不僅要為動能作戰做準備，而且要為混合作戰和以信息為重點的戰爭做準備。這需要在復雜和默契推理的人工智能能力方面取得進展，在能夠提供持續訓練、分布式混合決策和大數據分析系統方面取得進展，以及在人與人工智能協作決策和機會主義學習方面取得進展，以實現人工智能的持續進步和人與人工智能的共同適應。這些進展中的每一項都需要跨學科的計劃性努力，以克服復雜的技術挑戰，創造新的決策原則、理論和理論方法，包括持續開發綜合測試平臺和技術，以實現政府、學術界和工業界的合作和協同發展。

摘要

在航空航天和機器人手術等領域，復雜的高精度人機系統的效率和安全性與操作員的認知準備、管理工作量的能力和態勢感知密切相關。對心理工作量的準確評估有助于防止操作失誤，并通過預測工作負荷過重或刺激不足可能導致的業績下降，從而進行針對性的干預。基于人體和大腦活動測量的神經工效學方法可以為復雜訓練和工作環境下的人類心理工作量提供敏感和可靠的評估。本文概述了可穿戴腦和身體成像方法通過神經/生理信號評估心理工作量的潛力，并提供了一種利用多模態生物傳感器對多領域認知任務中的工作量進行比較評估的研究設計。這種綜合的神經工效學評估利用神經成像和生理監測，可以為開發下一代神經適應接口和更有效的人機交互和操作技能獲取的訓練方法提供信息。

關鍵詞:認知工作量，fNIRS，腦電圖，眼動跟蹤，神經工效學，移動腦/體成像

引言

人類在任何類型的目標或任務上的表現都與熟練完成這些目標或任務所需的認知工作量有關。每個人都有自己獨特的認知模式，在執行某些類型的任務時更有效率。通過有針對性的培訓，可以在更短的時間內提高操作人員的能力，提高工作效率。

心理負荷在許多復雜的指揮控制系統中起著至關重要的作用。在航空航天和機器人手術等領域，復雜的高精度人機系統的效率和安全性與操作員的認知準備、管理工作量的能力和態勢感知密切相關。主觀操作員報告、生理和行為測量不足以可靠地監測可能導致不良結果的認知負荷。心理負荷這個概念反映了大腦為滿足任務需求而努力工作的程度，它的一個關鍵特征是，它可以與行為表現數據分離。經驗豐富的操作員可以通過增加努力、激勵或改變策略，在較長一段時間內保持所需的性能水平，即使面臨更多的任務挑戰。然而，持續的任務需求最終會導致績效下降，除非心理工作量的上升趨勢可以用來預測隨后的績效崩潰。因此，重要的是在訓練和行動任務期間評估獨立于業績衡量的精神工作量。基于人體和大腦活動測量的神經工效學方法可以為復雜訓練和工作環境下的人類心理工作量[2]提供敏感和可靠的評估。

在軍事行動的背景下，評估和衡量操作員的認知工作量尤其重要，因為在軍事行動中，性能故障可能會導致災難性的損失。對心理工作量的準確評估有助于防止操作失誤，并通過預測工作負荷過重或刺激不足可能導致的業績下降，從而進行針對性的干預。

摘要

在過去的幾年里，人們已經接受了這樣一個觀點:相對于現有的典型認知測試，對個體認知能力的可靠測量需要參與者完成更多的試驗或使用更大的效應量任務。該項目開發了一套認知控制測試，能夠有效和可靠地測量認知控制能力，這對在時間壓力下的高效表現至關重要。測試組是在Unity游戲引擎中實現的，并且只需要使用不安裝的網頁瀏覽器即可在線訪問。游戲機制(如多樣性、反饋、獎勵和排行榜)和整合的故事情節能夠在持續且苛刻的測試過程中維持用戶粘性。該測試組實現了最突出的認知控制措施，包括:1)工作記憶(單一和雙n-back任務)，2)反應抑制(停止信號任務)，3)沖突任務(Simon、Flanker和Stroop任務)，4)多任務，5)任務切換。不同的度量可以靈活地組合在一個連貫的“房間清理”敘述中，并且獨立的教程可以輕松地部署在線測試。沖突任務的新版本被開發出來，以增加效果大小和可靠性，并在一個在線實驗中對它們進行測試。我們開發了一種嚴格的方法來量化測試產生可靠的個體差異測量的能力，并報告將其應用于實驗數據的結果。我們的結論是，這些新的沖突任務產生了比以前實現的更可靠度量。

引言

認知能力在具有挑戰性和壓力的條件下要求優異表現的職業中很重要，例如體育、民事高風險角色和軍事[1,2,3]。這導致人們越來越重視認知準備[4,5,6]，以優化復雜任務和社會技術系統中的團隊表現，這是現代防御設置的一個日益普遍的特征[7]。人們不再強調身體健康[8]，隨之而來的是需要確定支撐被稱為心理或認知健康的關鍵心理構念[9,10]。為了優化選擇，評估新興的認知訓練方法和項目的成功或失敗，可靠地測量支撐認知適應的關鍵結構的個體差異尤為重要[11,12,13]。

這篇論文描述了一組認知測試，在時間限制下測量認知能力至關重要的高性能。被稱為“COGMISSION”的測試是使用Unity游戲引擎(//unity.com)以視頻游戲格式實現的。訪問是通過“PlayUR”()提供的，這是一個管理基于web的Unity實驗的平臺，使COGMISSION能夠使用網頁瀏覽器在線訪問，而不需要安裝。《認知使命》通過游戲機制(游戲邦注:如多樣性、反饋、獎勵和排行榜)和整合的故事情節(游戲邦注:旨在通過延長和苛刻的測試過程保持用戶粘性)而得到增強。自包含的教程支持容易部署的大規模測試。在下一節中，我們將描述在COGMISSION中實現的任務、它們度量的結構，以及它們選擇的基本原理。然后，我們回顧了“可靠性悖論”[14]，它導致了測試認知適應性的核心構念之一——注意控制——的典型方法無法提供足夠的個體差異測量。隨后，我們描述了一種嚴格的新的統計方法來評估注意力控制任務的能力，以提供足夠可靠的個體差異測量[15]。接下來，我們將報告將該方法應用于一個預先注冊的實驗結果()的結果，該實驗通過Amazon Mechanical Turk ()進行，這是一個面向在線員工的眾包市場，評估在COGMISSION中實施的各種注意力控制任務。

摘要

現代戰爭的特點是復雜性越來越高，敵手聰明且技術優良。為了解決現代戰爭的一些復雜性，基于機器學習(ML)的技術最近為戰場上的自動化任務提供了合適的手段。然而，配備了ML技術的聰明敵人不僅在戰場上參與公平競爭，而且還利用欺騙和隱蔽攻擊等策略，制造惡意方法來破壞ML算法，獲得不公平的優勢。為了應對這些威脅，自動化戰場系統上使用的ML技術必須能夠強大地抵御敵方的攻擊。

我們在一種稱為“示范學習”(LfD)的強化學習算法的背景下，分析了競爭場景中的對抗學習問題。在LfD中，學習智能體觀察由專家完成的操作演示，以學習快速有效地執行任務。LfD已成功應用于軍事行動，如使用機器人團隊進行自主搜索和偵察，或自主抓取拆除簡易爆炸裝置。然而，惡意的敵人可以通過植入敵對的專家來利用LfD，這些專家要么給出不正確的演示，要么修改合法的演示，從而使學習智能體在任務中失敗。為了解決這個問題，我們首先分析了在LfD框架內對抗專家可以使用的不同的演示修改策略，根據對手的修改成本和修改學習代理對任務性能的影響。然后，我們提出了一個新的概念，利用對手和學習智能體之間的博弈，學習智能體可以使用LfD從潛在的對手專家演示中戰略性地學習，而不顯著降低其任務性能。在AI-Gym環境中，我們對提出的魯棒學習技術進行了評估，該技術通過對雅達利類游戲“LunarLander”中的專家演示進行對抗性修改。

圖1所示。(左)使用LfD學習自動駕駛設置時敵對軌跡對策略的影響。(右)在我們提出的方法中，干凈(綠色)和對抗(紅色)軌跡首先是等分的。然后，在使用選項(金虛線)接受或拒絕軌跡部分后，對每個分區學習策略，或對未分區的軌跡使用傳統的強化學習(藍虛線)。

對抗性專家演示框架

我們考慮這樣一個場景，學習智能體必須通過從專家給出的任務演示(LfD)中進行強化學習來在環境中執行任務。一些專家可能是敵對的，并修改軌跡演示的意圖，使學習智能體不能正確執行任務，而遵循修改的演示。在本文的其余部分中，為了便于閱讀，我們將對抗性專家稱為專家。LfD框架采用馬爾可夫決策過程(MDP)[12]進行形式化。LfD算法的輸出是一個策略，該策略為執行任務提供狀態到動作映射。RL通過一個叫做訓練的過程學習策略，在這個過程中，它探索環境，觀察在探索過程中收到的狀態-行為-獎勵配對，最后選擇一系列導致更高期望獎勵的狀態-行為-獎勵配對作為它的策略。

專家們的演示以被稱為軌跡的狀態-行動-獎勵元組序列的形式給出。專家軌跡可能是良性的，也可能是敵對的。良性和敵對的專家軌跡分別展示了完成任務的正確和不正確的方式，并幫助或阻礙了學習智能體學習執行任務。專家演示被整合到智能體的學習中，使用名為DAGGER[1]的LfD算法執行任務。DAGGER使用來自專家演示軌跡的監督學習來學習策略，但添加了一個權重參數β，該參數表示學習主體在將軌跡納入其學習策略時的權重或信任度。

算法1。學習器用來接受或拒絕軌跡演示的算法。

算法2。由專家用來修改干凈軌跡的算法。