融合項目（PC）是一項美國陸軍學習活動，旨在整合和推進他們對聯合部隊（陸軍、海軍、空軍和海軍陸戰隊）的貢獻。根據研究和分析中心（TRAC）-蒙特雷的說法，"PC確保陸軍作為聯合戰斗的一部分，能夠快速和持續地整合或'融合'所有領域的效果--空中、陸地、海上、太空和網絡空間，以便在競爭和沖突中戰勝對手"（研究和分析中心[TRAC]2020）。目標是評估在PC21上展示的新的創新系統（SoS）技術是否滿足為聯合部隊提供必要的速度、范圍和融合所需的作戰能力，以產生未來的決策主導權和大國競爭的超能力。然而，鑒于PC期間各種現代技術的注入，TRAC-蒙特雷目前缺乏一種方法來衡量作戰效果以及作為軍隊和聯合部隊的融合是否正在實現。因此，本項目的重點是制定一個概念性的評估框架，以確定在PC21演習中測試的多域作戰（MDO）任務中SoS的作戰有效性。這個框架將集中在那些被證明可以減少傳感器到射手（S2S）時間的技術的行動有效性，以便在聯合MDO任務中消滅一個固定的目標。

該小組確定，對某一特定能力的功能分解，結合用于開發MOE的Langford綜合框架的修改版，將產生描述該特定能力的行動有效性的良好措施。為了將衡量標準轉化為價值分數，團隊使用了構建價值尺度的理想范圍方法，該方法為每個衡量標準建立了一個從最好到最壞的情況，使其具有適應任何能力的靈活性。帕內爾的搖擺加權法被用來量化利益相關者對每個蘭福衍生的MOE的重要性，以確定能力的每個MOE的加權價值分數（WVS）。WVS相加得出總分，這就提供了對運營有效性的最終評估。然后，該團隊產生了一個行動有效性量表，向利益相關者說明他們的能力在這個量表中的得分情況。

該項目最后針對概念評估框架應用了PC21用例，以衡量其在生成與用例中的能力最相關的MOE以及單一行動有效性分數方面的穩健性。該模型的最終驗證將在目前計劃于2021年10月開始的PC21期間進行。

總之，該團隊使用系統工程流程建立了一個概念性評估框架系統，該系統將使TRAC-Monterey有能力評估PC21期間展示的新的創新SoS技術的作戰能力。該團隊開發了一個利益相關者分析，一個由利益相關者衍生的目標層次，一個功能分解，以及一個創建良好措施的過程，將這些措施轉化為價值分數，量化措施的重要性，并將產生的價值匯總為一個單一的、行動有效性分數。該框架將為利益相關者提供信息，使他們能夠就進一步的技術開發做出明智的決定。TRAC-Monterey還可以將本研究中制定的衡量標準作為指南，在整個PC21和未來的PC活動中收集相關信息。

建議 TRAC 在 PC21 期間對照 S2S 用例 1-1 驗證概念性評估框架。還應采用其他用例來測試框架的靈活性和可用性。還建議進一步研究行動效率的認知方面，以及如何利用這些信息來擴大本評估框架的范圍。TRAC和JMC向團隊表示，PC的努力將有助于改寫聯合行動的理論。

前沿作戰基地（FOB）防御是一項人力密集型任務，需要占用作戰任務的寶貴資源。雖然能力越來越強的無人駕駛飛行器（UAV）具備執行許多任務的能力，但目前的理論并沒有充分考慮將其納入。特別是，如果操作人員與飛行器的比例為一比一時，并沒有考慮提高無人機的自主性。本論文描述了使用先進機器人系統工程實驗室（ARSENL）蜂群系統開發和測試自主FOB防御能力。開發工作利用了基于任務的蜂群可組合性結構（MASC），以任務為中心、自上而下的方式開發復雜的蜂群行為。這種方法使我們能夠開發出一種基于理論的基地防御戰術，在這種戰術中，固定翼和四旋翼無人機的任意組合能夠自主分配并執行所有必要的FOB防御角色：周邊監視、關鍵區域搜索、接觸調查和威脅響應。該戰術在軟件模擬環境中進行了廣泛的測試，并在現場飛行演習中進行了演示。實驗結果將使用本研究過程中制定的有效性措施和性能措施進行討論。

第1章：導言

1.1 背景和動機

2019年，美國海軍陸戰隊司令大衛-H-伯杰將軍發布了他的規劃指南，作為塑造未來四年的部隊的一種方式。他在其中指出："我們今天做得很好，我們明天將需要做得更好，以保持我們的作戰優勢"[1]。這句話摘自海軍陸戰隊司令大衛-H-伯杰將軍的《2019年司令員規劃指南》（CPG），呼吁采取集中行動，以應對海軍陸戰隊在未來戰爭中預計將面臨的不斷變化的挑戰。在為海軍陸戰隊確定未來四年的優先事項和方向的CPG中的其他指導，呼吁建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人駕駛系統系列"[1]。伯杰將軍進一步呼吁利用新技術來支持遠征前沿基地作戰（EABO）。EABO將需要靈活的系統，既能進行有效的進攻行動，又能進行獨立和可持續的防御行動。簡而言之，實現EABO將需要最大限度地利用每個系統和海軍陸戰隊。

從本質上講，伯杰將軍正在呼吁改變無人駕駛飛行器的使用方式。通過使用大型的合作自主無人飛行器系統，或稱蜂群，將有助于實現這一目標。無人飛行器蜂群提供了在人力需求和后勤負擔增加最少的情況下成倍提高戰場能力的機會。正如伯杰將軍所提到的 "下一個戰場"，海軍陸戰隊將必須利用各種技術，最大限度地利用自主性和每個作戰人員在戰場上的影響。

目前的無人系統使用理論是以很少或沒有自主性的系統為中心。另外，目前的系統依賴于單個飛行器的遠程駕駛；也就是說，每輛飛行器有一個操作員。部隊中缺乏自主系統，這在監視和直接行動的作戰能力方面造成了差距。此外，側重于一對一操作員-飛行器管理的無人系統理論要求操作員的數量與車輛的數量成線性比例。這對于 "下一個戰場 "來說是不夠的。相反，海軍陸戰隊將需要能夠讓操作員擺脫束縛或提高他們同時控制多個飛行器的能力系統[2]。

考慮到這些目標，美國海軍研究生院（NPS）的先進機器人系統工程實驗室（ARSENL）已經開發并演示了一個用于控制大型、自主、多飛行器的系統，該系統利用了分布式計算的優勢，并將駕駛的認知要求降到最低。ARSENL在現場實驗中證明了其系統的功效，在該實驗中，50個自主無人駕駛飛行器（UAV）被成功發射，同時由一個操作員控制，并安全回收[3]。

1.2 研究目標

這項研究的主要目標是證明使用無人機蜂群來支持前沿作戰基地（FOB）的防御。特別是，這需要自主生成、分配和執行有效的、符合理論的基地防御所需的子任務。這部分研究的重點是開發基于狀態的監視、調查和威脅響應任務的描述；實施支持多飛行器任務分配的決策機制；以及任務執行期間的多飛行器控制。

輔助研究目標包括展示基于任務的蜂群可組合性結構（MASC）過程，以自上而下、以任務為中心的方式開發復雜的蜂群行為，探索自主蜂群控制和決策的分布式方法，以及實施一般的蜂群算法，并證明了對廣泛的潛在蜂群戰術有用。總的來說，這些目標是主要目標的一部分，是實現主要目標的手段。

1.3 方法論

基地防御戰術的制定始于對現有基地防御理論的審查。這一審查是確定該行為所要完成的基本任務和子任務的基礎。然后，我們審查了目前海軍陸戰隊使用無人機的理論，以確定這些系統在基地防御任務中的使用情況。

在確定了任務要求的特征后，我們為基地防御的整體任務制定了一個高層次的狀態圖。子任務級別的狀態圖等同于MASC層次結構中的角色。

ARSENL代碼庫中現有的算法和游戲以及在研究過程中開發的新算法和游戲被用來在ARSENL系統中實現子任務級的狀態圖。最后，根據高層次的狀態圖將這些游戲組合起來，完成基地防御戰術的實施。

在游戲和戰術開發之后，設計了基于理論的有效性措施（MOE）和性能措施（MOPs）。通過在循環軟件（SITL）模擬環境中的廣泛實驗，這些措施被用來評估基地防御戰術。在加利福尼亞州羅伯茨營進行的實戰飛行實驗中，也展示了該戰術和游戲。

1.4 結果

最終，本研究成功地實現了其主要目標，并展示了一種包含周邊監視、關鍵區域搜索、接觸調查和威脅響應的基地防御戰術。此外，開發工作在很大程度上依賴于MASC層次結構，以此來制定任務要求，并將這些要求分解成可在ARSENL蜂群系統上實施的可管理任務。這一戰術在實戰飛行和模擬環境中進行了測試，并使用以任務為中心的MOP和MOE進行了評估。最后的結果是令人滿意的，在本研究過程中開發的戰術被評估為有效的概念證明。

1.5 論文組織

本論文共分六章。第1章提供了這項研究的動機，描述了這個概念驗證所要彌補的能力差距，并提供了ARSENL的簡短背景和所追求的研究目標。

第2章討論了海軍陸戰隊和聯合出版物中描述的當前海軍陸戰隊后方作戰的理論。還概述了目前海軍陸戰隊內無人機的使用情況，并描述了目前各種系統所能達到的自主性水平。

第3章概述了以前自主系統基于行為的架構工作，ARSENL多車輛無人駕駛航空系統（UAS）和MASC層次結構。

第4章對基地防御戰術的整體設計以及高層戰術所依賴的游戲進行了基于狀態的描述。本章還詳細介紹了用于創建、測試和評估這一概念驗證的方法。在此過程中，重點是對每一戰術和戰術所針對的MOP和MOE進行評估。

第5章詳細介紹了所進行的實戰飛行和模擬實驗，并討論了與相關MOPs和MOEs有關的測試結果。

最后，第6章介紹了這個概念驗證的結論。本章還提供了與基地防御戰術本身以及更廣泛的自主蜂群能力和控制有關的未來工作建議。

本報告描述了2021財年美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）未來風險項目 "決策動力學、欺騙和博弈論"的研究工作。為了提高指揮和控制多域作戰的決策輔助工具的有效性，有必要開發能夠協助復雜決策的人工智能（AI）工具。該項目開發了一個人工智能測試平臺--ARL戰斗空間（ARL Battlespace），用于創建和研究復雜推理的人工智能決策輔助工具。ARL Battlespace是一個由友好和敵對的人類和人工智能Agent組成的多人網絡兵棋推演工具。分層貝葉斯模型的初步結果說明，在具有不確定性、欺騙和博弈論的情況下，具有復雜推理功能的人工智能多學科發展框架具有潛力。該項目還開始開發一個基于與戰場可視化和交互平臺以及高性能計算持久服務框架的潛在集成的人機協作決策框架。這些成果為改善人-人工智能團隊的復雜決策和協作能力開啟了研究的大門。

1. 簡介

作為美國防部人工智能（AI）戰略的一部分，美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）正在開發基于人類系統適應戰略的研究項目和技術，包括開發基于人-AI團隊決策和相互適應的超人能力的目標。這些新能力對于解決陸軍的多域作戰（MDO）戰略是必要的，特別是其滲透和分解階段，在此期間，人工智能輔助決策可以增強指揮官處理高速和大量信息以及地面、海上、空中、太空和網絡領域的復雜動態的能力。一個關鍵的挑戰是，現有的人工智能算法，對于復雜的決策來說是遠遠不夠的，而且對MDO相關場景的概括能力有限。另一個挑戰是，現有的陸軍理論和決策支持程序沒有將人工智能納入軍事決策過程（MDMP），而陸軍的自動規劃框架（APF）剛剛開始解決這一差距。此外，現有的人-人工智能編隊決策理論和技術僅限于簡單的決策，為復雜的深度決策在提供人工智能透明度方面非常有限，在這種情況下，多種依賴性、不確定性以及信息領域和行為者與復雜的人類、物資和環境動態相交。它們與人類專家的隱性推理協同工作的能力也很有限。發展這些能力需要一個綜合的、多學科的研究方法，包括為新的人工智能研究和人類與人工智能的編隊協作開發人工智能試驗基地。

對于兵棋推演，有必要開發能夠模擬包括戰術和戰略層面在內的多個梯隊的決策測試平臺。現有的兵棋推演決策工具，如Opsim、AFSIM和OneSAF，可以在多個規模上對許多因素進行建模和模擬，以預測基于戰略、物資能力和資源的結果，但它們受到老化系統的限制，有經驗的士兵可能難以學習，也不太適合開發人工智能和人類+人工智能編隊協作的能力。最近，人工智能能力的快速上升為開發和納入新型人工智能作為兵棋推演的決策輔助工具打開了研究的大門。最近人工智能推理的改進（例如，基于深度強化學習）是基于環境狀態完全已知的“開放”游戲（例如，跳棋、國際象棋和圍棋），它們是基于有限的合作性或欺騙性。即使在有額外復雜性的情況下，如環境的不確定性（憤怒的小鳥、雅達利），決策的復雜性、靈活性和對多人兵棋推演的可轉移性也是有限的（如撲克、Minecraft、星際爭霸[圖1]）。盡管這些模型可以深入探索決策，但它們只限于選擇結果的潛在價值可以很容易測量和量化的條件。兵棋推演環境給人工智能學習帶來了困難和未解決的挑戰，因為有許多信息不確定性的來源，不僅來自環境，也來自人類和人工智能Agent。人工智能需要適應不斷變化的規則和戰略，迅速減輕出乎意料的敵方能力，并利用新的機會和友好的能力。人工智能還需要與他們的人類隊友相互適應，他們需要有默契的推理能力來與人類專家協同工作，并補償個人的偏見和啟發式方法以及變化的認知狀態。與博弈論等經典方法不同的是，未來狀態的預期效用可以根據合作或不合作的選擇對有限的行動集進行明確的量化，兵棋推演提出了跨環境和社會動態（包括合作性和欺騙性）以及跨多個時空尺度和領域的相互作用的可能性，這使人工智能學習決策如何與未來狀態價值相聯系的能力受到影響。

圖1 ARL在更廣泛的人工智能研究戰略中的Battlespace平臺

解決這一差距需要持續的基礎研究工作，實驗的重點是為決策中的具體問題發現原則和開發新的算法，并有能力將這些原則和算法與MDO的兵棋推演聯系起來。例如，在具有不完善的知識和不確定性的復雜情況下，提供接近最佳解決方案的人工智能可能比提供單一的"最佳"解決方案更有幫助。這種解決問題的方式與人工智能的透明度也需要探討。對近乎最優和不確定性等條件進行實驗，并采用新的作戰人員機器界面（WMIs），可以產生新的算法、通用工具和原則，更好地協同人類和人工智能對復雜決策的探索。

1.1 軍隊的相關性和問題領域

陸軍戰略科技（S&T）計劃的一部分是為 "超人類"的決策和行動開發能力。對于科技計劃中的"人-系統適應"部分，預期的結果是將人類特有的能力和機器的新興能力結合起來，最大限度地提高速度和選擇，以有效應對2035年及以后的社會技術環境的復雜性、智能化和動態性。預計這些研究工作將為人類引導的機器適應、訓練精通技術的士兵、混合人機思維、以及下一代人類系統集成和系統級分析創造新的能力。由于戰爭正在快速變化，包括不斷的技術變化，實現這樣的能力需要制定一個研究計劃，以推進人工智能、人類與人工智能的合作，專門用于復雜的決策。

作為DEVCOM陸軍研究實驗室未來風險投資（DFV）計劃的一部分，這個項目的目標是開發一個跨學科的計劃，以解決人工智能決策的復雜性和人類-人工智能團隊決策中的差距。這包括開發一個人工智能研究測試平臺--ARL戰斗空間，將復雜的兵棋推演決策抽象為關鍵要素，以便人工智能和人類-人工智能團隊的發展可以專門關注復雜的決策過程本身，同時避免物理現實主義和當今材料和理論的計算和概念限制。這也包括為如何發展人類-人工智能協作決策創造新的概念，了解如何塑造信息流以實現人類-人工智能決策的相互透明，以及在人類和人工智能都難以篩選出不確定性和欺騙的條件下實現相互適應性學習。顯性和隱性的決策框架都需要通過這個抽象的兵棋推演測試平臺來實現，以便人工智能可以在多個推理層次上學習和接受挑戰。還需要一個適當的抽象水平，以使多種類型的研究，包括神經科學、人工智能和決策理論交叉的學術研究，以提高人工智能決策的能力和復雜性，并改善其在軍事方面的轉化。

1.2 長期目標

根據設想，在2035年及以后的陸軍中，指揮與控制（C2）決策將由決策輔助系統來激活，該系統利用分布在多個梯隊的人工智能能力，并以復雜和快速的方式攝取所有領域的數據，這將使沒有輔助的士兵感到不知所措。啟用人工智能的決策輔助工具將能夠對戰斗空間進行前沿模擬和分布式訓練；在MDO的滲透和解除整合階段，能夠對條件、友軍和敵軍戰略以及能力變化的可能影響進行調整和前瞻預測；并能夠對關鍵決策進行事后審查。人工智能將為其決策提供透明度，使真實和抽象的決策空間互動可視化，并根據陸軍理論和未來理論的要求，對士兵的個體化和情境進行優化。相反，人工智能將與士兵共同適應，學習如何在信息不足、沖突或欺騙的情況下做出復雜的決定，并為有效的團隊決策重新塑造、完善和展示信息。有了人工智能Agent作為數據有效轉化和行動化以及利用顯性和隱性知識的合作伙伴，預計分布式C2指揮官將能夠在MDO的許多時空尺度和維度上共同制定和協調行動方案，并且戰術和戰略的跨領域互動將被向前模擬，對環境、人和戰略的動態有更強的彈性。除了增加復雜決策的能力外，預計決策過程本身將通過消除繁瑣的計算和其他延遲而加速，從而使計劃和戰略能夠比實時更快適應不斷變化的戰場和外部（如外交、經濟）因素。

為了實現這一未來，為復雜決策開發新型人工智能的計劃的長期目標是利用多個學科的持續進步。用于推理的"核心人工智能"的發展，在為簡單決策迅速取得進展的同時，需要持續的協同創新，以及來自神經科學和心理學等領域的研究，以便在獎勵難以分配給具體事件或行動的條件下（例如，因為不清楚以何種程度的確定性將獎勵的原因歸于誰、什么、何時、何地或為何），為強化學習開發新型理論。需要機械層面的理論（例如，神經膠質網絡如何支持將不同的事件與獎勵聯系起來）和更高層次的理論（例如，社會規則如何塑造學習）來彌補目前核心人工智能的有限能力和C2決策的需求之間的差距。還需要協同創新和研究，將人工智能的發展與士兵的隱性推理過程相結合，以實現元學習和元推理的決策互動。

1.3 DFV項目的目標

ARL DFV項目是一種機制，旨在促進跨學科基礎和應用研究的新方向，解決研究差距，并為軍隊的任務創造新的能力。DEVCOM ARL研究員認為分析科學是一個需要能力的領域，具有高回報的潛力，需要對現有項目進行重新規劃和擴展，并需要新的項目來建立新的核心能力和建立內部的專業知識。

為了創造這些能力，這個DFV項目的主要目標是建立一個新的研究項目，為C2決策輔助工具的復雜推理開發新型人工智能。這包括開發一個人工智能測試平臺：ARL Battlespace，以便靈活地開發專門用于MDO C2決策的復雜推理的新型人工智能。現有的兵棋推演人工智能測試平臺往往局限于較簡單的決策，更注重于戰術性的地面行動。例如，正在進行的人工智能測試平臺開發工作，如ARL Simple Yeho人工智能測試平臺，側重于環境的真實性，有多個地圖層，包括道路、樹葉和海拔高度，向排長推薦決策，如路線規劃和士兵重新分配任務。由于對當地地形環境的關注，在該環境中開發的人工智能推理將集中在精細的社會和生態動態上，對協作和敵對決策動態進行深入訓練的機會比較稀少。這些稀少和復雜的問題（"微小的、骯臟的、動態的和欺騙性的數據"）迷惑了發展人工智能的經典方法，尤其是復雜推理。相反，這個DFV項目的ARL戰斗空間人工智能測試平臺抽象了當地地形的元素，將人工智能的學習和推理更具體地集中在復雜的MDO相關的C2深度推理上（多個決策步驟，包括更頻繁的合作和欺騙的機會）。這使得在C2兵棋推演的背景下，更有針對性地發展人工智能對復雜的多Agent（人、人工智能和人+人工智能團隊）的決策能力。

第二個目標是通過開發一個有效的WMI來研究和開發如何呈現人工智能的理解和預測以及如何利用人類的理解和預測，為復雜決策的有效人類-人工智能團隊合作創造條件。這項工作包括利用和開發高性能計算（HPC）資源進行計算支持，同時開發用于決策的商業二維交互和混合現實交互的定制軟件（例如，基于增強現實沙盤[ARES]平臺的戰斗空間可視化和互動（BVI）平臺）。通過開發多種WMI方法，我們期望這些平臺能夠實現復雜決策的快速原型研究，并能夠將我們的新型AI與更成熟的兵棋推演訓練和模擬框架與團隊進行整合。

我們預計，在新型人工智能開發、HPC計算支持和用于決策空間現實表現的WMI開發方面的這些努力將為人類-人工智能團隊的發展創造一個新的范例，為未來多個陸軍理論（MDMP、DOTMLPF、27 METT-TC28）的進步和現代化鋪平道路（圖2）。

圖2 在更廣泛的人類-Agent團隊決策研究戰略中的新型人工智能開發

這個項目開發了兩個研究框架 。首先，它開發了一個人工智能測試平臺，被稱為ARL戰斗空間，用于創建和調查人工智能的復雜協作和敵對決策。其次，它認識到目前軍事決策過程中的局限性，構思了一個用于人與人工智能協作的復雜決策的WMI，利用軍隊和商業開發的戰斗空間可視化平臺，與非傳統的HPC資源進行潛在的連接，實現人工智能增強的兵棋推演平臺。

2. ARL戰斗空間人工智能測試平臺

這里，我們描述了我們開發ARL Battlespace的方法，這是一個開源的靈活的兵棋推演平臺，將促進開發基于強化學習算法的新決策輔助工具。特別是，我們關注的是有三個或更多合作和敵對玩家的博弈論的理論和算法能力的差距。雖然博弈論的概念，如囚徒困境和Brinksmanship（"吃雞"），對于兩個玩家已經發展得很好，但它們還沒有擴展到三個或更多的玩家，由于鞍點和局部最小值的存在，決策環境可能很復雜，這可能混淆了強化學習的作用。在戰爭中可能出現的情況下，理解和預測三個或更多的合作和敵對玩家的納什均衡，需要一個靈活的兵棋推演平臺，允許跨學科地探索這種決策空間。該兵棋推演平臺還需要能夠開發、理解和發現玩家和人工智能之間的新型互動和協同作用，使人類能夠利用人工智能快速找到最佳和接近最佳的解決方案。這些解決方案將使人工智能能夠從人類的決策模式中學習，以及如何優化其對決策空間的搜索。

2.1 框架

為了實現這些解決方案，我們開發了一個類似于國際象棋的棋盤游戲，由兩支隊伍組成，一支紅色部隊和一支藍色部隊，每支隊伍可以有多個聯盟（玩家）。游戲是在一個共同的戰斗空間上進行的，這個戰斗空間目前被設計為MDO每個領域的一套棋盤。圖3顯示了一組游戲棋盤的例子，我們考慮了一個"空中"和一個"陸地"棋盤。每個棋盤都被劃分為一組單元格，"空中"棋盤被放在"陸地"棋盤上，形成一個共同的戰斗空間。在這個例子中，我們選擇了創建方形網格，并且只考慮兩個領域。然而，在一般情況下，棋盤格可以采取任何形狀，并且可以任意縮小，而棋盤的數量可以靈活處理MDO中的每一個域。例如，"空中"盤可以由多個代表不同海拔高度的板組成。這種提法提供了一個通用的應用編程接口（API），允許在兵棋推演中取得基本的研究進展，因為它可以被定制以適應任何兵棋推演的場景。

圖3 用于復雜決策的ARL戰斗空間AI測試平臺

每個聯盟都被假定有一組部件，我們稱之為單位。目前，我們假設有四個地面單位和一個空中單位。地面單位由士兵、坦克、卡車和旗幟組成，而空中單位是飛機。每個地面單位目前都有相同的能力（即，相同的行動和視圖集）。然而，API的設計是為了使聯盟的每個單位都有定制的能力，從而使設計特定場景變得容易。

目前各單位的規則和行動如下。士兵、坦克和卡車都有一個目標，描述他們的導向。他們的行動包括 "什么都不做（doNothing）"、"轉向（turnH）"、"前進1（advance1）"、"射擊（shoot）"和"沖撞（ram）"。"doNothing"意味著該單位停留在他們的位置，不改變他們的狀態。"turnH"將單位的方向旋轉H度，其中H∈{-135,-90,- 45,45,90,135,180}。"advance1 "使其方向上向前移動一個單元。"shoot"向單位的方向射出一個彈丸，彈丸繼續向前推進一個單元，直到它與另一個單位相撞或在游戲盤外飛行。最后，"ram"行動使單位在其方向上向前推進一格，同時進行攻擊。與 "advance1"行動相比，"ram"行動總是有利的，因為攻擊可以消滅敵方單位。

飛機單位的規則和行動與士兵、坦克和卡車相似。這些行動是"什么都不做（doNothing）"、"轉向（turnH）"、"前進X、Y（advanceX,Y）"、"射擊（shoot）"和 "轟炸（ram）"。“doNothing”、“turnH”和“shoot”的動作與地面單位相同。行動“advanceX,Y”允許該單位沿東西軸線移動X單元，沿南北軸線移動Y單元。飛機也可以 "上升（ascend）"和 "下降（descend）"來起飛和降落。最后，"炸彈（bomb）"行動在飛機的正下方射出一個彈丸到陸地游戲盤上。旗幟單位無法移動，如果被俘，則被清除。

目前游戲玩法的實施很簡單。最初，每個聯盟（玩家）將其單位放在游戲盤的各自區域。當每隊有多個聯盟時，各隊的游戲板部分被平均分配給各聯盟。請注意，每個單位的位置對所有其他聯盟都是未知的。然后，每個單位觀察其可見范圍內是否有其他單位，提供一個戰爭迷霧的場景。我們將每個單位的觀察范圍定義為從該單位的當前位置開始的一個方塊；然而，可視范圍可以根據場景和單位的情況進行定制。一旦每個單位觀察到了，同一團隊的聯盟就會合作確定他們想為每個單位采取的行動集。這允許每個聯盟觀察其隊友的單位位置，并進行溝通以協調他們的計劃。接下來，每個聯盟為每個單位選擇一個行動。請注意，所選擇的行動只有屬于同一團隊的聯盟才知道。在選擇了行動后，游戲決議被應用，根據他們選擇的行動移動單位，并解決是否有任何單位被攻擊或與另一個單位相撞。如果一個單位被攻擊或與另一個單位相撞，它將被從棋盤上移走。這個過程不斷重復，直到游戲結束。

完成游戲取決于游戲的基本規則，這些規則可以根據具體場景進行定制。在這里，我們研究了兩種類型的游戲：（1）奪旗和（2）殲滅。奪旗游戲的目標是操縱地面部隊進入敵方領土以奪取對方的旗幟，旗幟的位置是未知的，必須通過探索才能發現。一旦所有的敵方旗幟被占領，游戲就會終止。殲滅戰的目標是發現并攻擊所有敵人的地面單位。在這里，一旦發現并消滅了所有敵人的地面單位，游戲就終止了。每種游戲的基本規則都是相同的，但實現每個目標的最佳策略是不同的。在這兩種類型的游戲中，由于敵方單位和旗幟的能見度有限，存在著高度的不確定性。

2.2 分層貝葉斯模型的試點實驗

接下來，我們報告了我們在開發基于模仿學習思想的人工智能Agent方面的初步結果，模仿學習使用的是由人類演示構建的分層貝葉斯模型。我們從討論數據收集過程開始，對數據進行分析，最后用啟發式方法使一個簡單的人工智能Agent勝過一個隨機Agent。

2.2.1 實驗設計

為了學習人類的策略，我們讓五個人類受試者組合在一起，針對第2.1節中討論的兩類游戲（即奪旗和殲滅），與兩個隨機Agent進行ARL戰斗空間游戲。在每個回合中，每個隨機Agent根據一個固定的分類分布為每個單位??選擇一個行動，其中采取一個行動的概率是 ， 取決于單位??可以采取的行動數。回顧一下，每個單位的行動在第2.1節中有描述。

每個游戲由一對人類受試者對兩個隨機Agent組成，在每個游戲開始時，人類受試者合作討論他們對該游戲類型的整體策略。這導致了20場游戲的收集，其中奪旗和殲滅戰各10場。一旦所有的游戲都進行了，就對游戲數據進行分析以確定人類的策略。

2.2.2 游戲數據結果和分析

分析游戲數據的第一個方法是研究人類玩家的行動頻率。行動頻率被定義為 ，其中D代表奪旗或殲滅的游戲數據。 是指在所有游戲中，單位??采取的行動次數，而??(??)是所有游戲中的總回合數。

圖4顯示了地面單位（即士兵、坦克和卡車）的行動頻率，圖5顯示了空中單位（即飛機）的行動概率。游戲的總體目標決定了所選擇的行動，使我們能夠確定所玩游戲的類型。如圖4所示，奪旗游戲的地面單位更有可能選擇前進和攻擊的方式，用 "沖撞"的動作來尋找旗子。此外，"什么也不做"的行動也被更頻繁地選擇。這是因為一旦團隊找到旗子，離旗子最近的單位就會采取行動去搶奪旗子，而其余單位則什么都不做。對于空中單位，人類受試者更傾向于選擇 "advance0,-2 "的行動，即把單位推進到敵人的領土上尋找國旗。

圖4 從人類游戲中產生的所有地面單位，以游戲類型為條件的行動概率

圖5 從人類游戲中產生的空中單位，以游戲類型為條件的行動概率

在 "殲滅"游戲中，人類Agent更傾向于選擇攻擊行動來消滅敵人的目標（即對地面單位采取 "射擊"，對空中單位采取 "射擊"和 "轟炸"）。為了進一步驗證這一策略，圖6顯示了每回合平均射彈數量的累積總和。顯然，"殲滅"游戲的射彈數量比"奪旗"游戲要多。

圖6 每一回合中射彈總數的平均累積總和

兩種游戲的另一個區別是，奪旗游戲的總回合數要比殲滅游戲少得多。這是因為人類Agent找到旗子的速度比他們找到敵方單位并消滅它們的速度要快。

基于對人類Agent如何與隨機Agent玩游戲的簡單理解，我們可以按照類似的方法來學習策略，為簡單的人工智能Agent開發啟發式方法。

2.2.3 從人類演示中學習的簡單人工智能Agent的性能

一個簡單的人工智能Agent的算法如下。最初，Agent隨機地將他們的單位放置在棋盤的指定區域。然后，每個Agent確定每個單位的狀態。考慮到狀態和游戲的目標，Agent從預定的概率分布中為每個單位抽取一個行動。

這個過程在每個回合中都會重復，直到游戲結束。預定的概率分布遵循一個分層貝葉斯模型。為了便于表述，我們在附錄中提供了相關理論。對于最簡單的情況，我們認為單位在每個回合中可能處于兩種狀態，或。然后，概率分布根據附錄中的公式A-1定義，與圖4和圖5中的行動頻率類似。然后我們將這個分布實現在兩個簡單的人工智能Agent中，并與兩個隨機Agent進行比賽。作為一個基線性能，我們與兩個隨機Agent進行了比較。在這兩種情況下，都進行了1000場比賽，并計算了獲勝百分比。通過使用雙狀態概率分布，簡單的人工智能Agent能夠在奪旗游戲中贏得84.5%的時間，在殲滅游戲中贏得76.9%的時間。

接下來，我們為每個單位i考慮了一個更大的九態狀態空間，定義為，其中??r0和??r1分別表示一個友好單位是否被i單位觀察。??0和??1分別表示i單位是否觀察到敵方單位；以及??l0和??l1分別為團隊是否看到敵方旗幟。同樣，概率分布然后根據附錄中的公式A-1定義，并落實到兩個簡單的人工智能Agent。在奪旗游戲中，簡單人工智能Agent對兩個隨機Agent的獲勝比例為89.4%，在殲滅游戲中為82.3%。

結果摘要見圖7。有趣的是，在兩種形式的概率分布（即雙狀態分布和九狀態分布）中，奪旗策略都優于殲滅策略。這是因為 "消滅 "游戲中的Agent更有可能選擇 "射擊 "行動，由于隨機的初始位置，這將導致更多的友好射擊。因此，作為一個簡單的人工智能Agent，采取先攻后守的方法更有利。此外，當我們考慮到單位的額外狀態時，獲勝的百分比會增加。未來工作的一個可能方向是開發深度強化學習策略，以學習最大化獲勝比例所需的狀態定義和數量，即使是面對人類Agent，也要為MDO中的C2提供建議。

圖7 簡單AI Agent的獲勝比例

3. 復雜決策的實例場景

ARL戰斗空間測試平臺的關鍵優勢在于其靈活性和適應MDO任務規劃的變化需求。它的抽象性使關鍵的決策過程及其互動和動態被壓縮到一個較小的游戲盤中，并有更多可量化的人與人工智能的互動，用于開發人與人工智能的團隊合作。這使得人工智能的開發能夠集中于復雜決策的獎勵塑造，同時減少由于滋擾因素（如時空縮放）造成的學習障礙，這些因素使決策在時間和空間上變得稀疏，因此，更多的努力（人工智能以及人工智能開發者的部分）可以被用于在各種時空尺度的不確定性和欺騙下的學習。它還將兵棋推演互動中可能不容易被整合到人與人工智能團隊中的特質（例如，人類心理學的某些方面，如個人關系）放在一邊，以利于在人工智能推理發展方面取得更切實的進展。在下面一節中，我們介紹了幾個挑戰和發展人工智能進行復雜推理的例子。這些例子包括博弈論、元推理和網絡欺騙，涉及到現有人工智能算法尚未處理或解決的各種復雜決策。由于人工智能的C2決策輔助工具將有望超過人類水平的決策，不僅在速度上，而且在復雜性上，我們設想這樣的C2決策輔助工具需要能夠解決大多數（如果不是所有）的情景。

3.1 突破情景和重新想象博弈論

我們首先關注博弈論和兵棋推演之間的差距，在一個簡單的突破場景中，這是兵棋推演中經常遇到的一個經典問題（例如，在橋梁交叉口、地雷區和山口[圖8]）。在經典的博弈論概念Brinksmanship（"吃雞"）中，友好的藍色和綠色坦克被激勵著越過缺口到達另一邊。通常情況下，這些坦克會協調他們的行動，但如果藍、綠坦克之間的通信被破壞，一個單位（如藍坦克）的行動可能會因為與另一個單位（綠坦克）的碰撞或友好射擊而導致低回報。如果還包括囚徒困境的元素，那么這個場景就迅速超越了經典的博弈論，因為可能需要綠色和藍色坦克一起穿越，共同攻擊更強大的紅色坦克，這需要仔細協調。額外單位的存在（例如，綠色飛機對敵對單位提供觀察、轟炸或干擾，如黃色士兵提供可能的增援）能夠進一步操縱動態和環境對決策的限制或機會。飛機也可能發現第二個缺口，或者 "墻"可以滲透，以創造缺口（例如，清除地雷或建立額外的橋梁交叉點）。

在粗略尺度（如10×10板）和背景下學到的行為可以通過獎勵塑造逐步推廣到更細的尺度和其他背景下。額外的地圖層也可以被添加到諸如快速地下運輸等領域，以繞過地面層中的墻壁。環境因素，如天氣，也可以包括在內，以改變機動性。因此，即使是一個看似簡單的場景，也可以提供豐富的機會來操縱影響決策動態和結果的因素，并探索不同類型的不確定性之間的相互作用如何改變決策景觀，以創建鞍點和局部最小值，從而混淆強化學習的作用。在戰爭中可能出現的情況下，理解和預測三個或更多的合作和敵對玩家的納什均衡，需要一個靈活的兵棋推演平臺，允許跨學科地探索這種決策空間。兵棋推演平臺還需要能夠開發、理解和發現玩家和人工智能之間的新型互動和協同作用，使人類能夠利用人工智能快速找到最佳和接近最佳的解決方案。這些解決方案將使人工智能能夠從人類的決策模式中學習，以及如何優化其對決策空間的搜索。

圖8 帶有豐富博弈論條件的場景

3.2 元推理場景、任務背景和戰略

在ARL戰斗空間游戲中，每個玩家都有一面彩色的旗幟，游戲可以通過殲滅所有對方的地面單位或奪取對方的所有旗幟來獲得勝利（現實生活中的一個等價物是奪取所有關鍵的橋梁或指揮中心）。根據游戲的狀態，指揮官可以決定改變整體策略（殲滅戰與奪旗戰），以更快地取得勝利。例如，如果一輛坦克已經接近一面旗幟，那么將剩余的單位轉到其他地方尋找剩余的旗幟可能是有利的（圖9）。相反，如果一支敵對部隊守衛著第一面旗幟，那么優先奪取這面旗幟可能會更好，這樣搜索第二面旗幟的效率會更高。這種未闡明的推理，或稱 "默契推理"，往往在自然的人類決策中根深蒂固，這是一種需要開發的人工智能能力，以便人工智能能夠有效地參與人類-人工智能團隊的決策，使人工智能的發展能夠開始有工具來獲得人類決策的創造性。

圖9 帶有隱性推理和任務重新分配的元推理標志方案

對于人工智能的發展，這就需要一個額外的更高級別的推理Agent不斷地監測游戲的狀態，以做出切換策略的選擇，并將此傳達給控制各個單位的Agent。元推理包括監測推理所涉及的步驟，以及平衡影響活動結果的標準。此外，元推理結合了不同信息的不確定性，以產生更有意義的、符合背景的決策建議。納入元推理可以使約束條件和各種決策方法得到權衡，為行動方案提供不同的選擇。例如，基于元推理的替代選擇可以決定是否優先考慮探索與攻擊已知敵方單位與防御，部署哪種機動戰略，或者考慮到敵方部隊的可觀察位置如何重新分配任務。由于ARL戰斗空間環境的網格大小較小，游戲可以快速進行，導致經常有機會使用元推理，并使人工智能有機會學習結合和預測多種類型的元推理方法的相互作用。由于抽象環境增加了人工智能學習戰略如何交互的頻率，這將使人工智能學習更高級的戰略，例如需要平衡不同戰略、能力和任務要求之間的交互，保持選擇的自由，并產生戰略模糊性以迷惑對手。總的來說，這種方法的好處是通過增加控制和監測機制來改善決策，這些機制包括一個平衡行動和環境約束的元推理Agent。

3.3 簡單的欺騙和人工智能的心智理論

對抗性決策的一個關鍵方面，特別是在戰爭中，就是欺騙。欺騙可以發生在多個層面，包括戰略、可觀察的信息、單位能力和位置。在ARL戰斗空間中，單位的可觀察性有限，這自然為欺騙創造了機會，而飛機在敵方空間深處的探索能力也為揭開單位位置的欺騙提供了機會。圖10展示了一個簡單的欺騙場景的例子，在這個場景中，友軍的藍色和綠色部隊試圖穿越到另一邊。左下方的友軍士兵開始通過左邊的缺口發射導彈，因為他們的Agent推斷（通過對方Agent的人工智能心智理論），看到導彈后，敵方Agent會推斷出友軍正準備通過該缺口進行攻擊。這種欺騙，通過將敵方Agent的注意力和計劃集中到左邊的缺口，使他們偏離右邊的缺口，為藍綠坦克從右邊進入創造機會。通過設計有兩個缺口的情景，該情景建立在經典心理學的兩個替代性強迫選擇任務的基礎上，能夠應用敏感的心理學工具進行決策分析，并開發動物模型，從神經生理學和行為學上剖析支配欺騙的情境依賴性學習和決策的基本細胞和分子機制。例如，人們可以引入一些因素，使友好或敵對的決策出現偏差（例如，通過操縱傳感器的噪音或操縱總部的命令），或應用光遺傳學和化學遺傳學工具等方法，了解他人的認知、信念或策略的神經表征（例如，在前扣帶回和眶額皮層中）對決策計算的貢獻（在前額皮層中）。這種調查還可以發現決定一意孤行、啟發式方法和隱性偏見與對其他假設的開放性的因素，這可以幫助確定在特定條件下如何最好地重新分配任務（例如，當一個人對等級指揮結構有偏見時，他可能不太愿意追求與總部的命令相矛盾的傳感器信息）。這種固有的偏見、啟發式方法和默契的推理是人類推理的自然組成部分，在我們與他人的互動中會被預期到；人工智能的心智理論包括這種偏見補償，對優化人類+人工智能的團隊合作可能是有益的。

圖 10 需要人工智能心智理論的簡單欺騙場景

3.4 網絡欺騙、多領域整合和可信度

在人類的決策中，來自不同領域的信息可以結合起來，產生意想不到的效果。心理上的McGurk效應是指口型"ga"和聽覺上的音節"ba"在時間上有很強的同步性，從而產生幻覺"da"。雖然多感官整合似乎沒有在C2決策中得到探索，但MDO中多個領域的匯合，特別是其在穿透和分解整合階段的高容量和高速度，可能會產生意想不到的非線性跨領域的相互作用（這可能有助于"戰爭迷霧"）。圖11說明了一個例子，在這個例子中，實際跡象（導彈）和坦克誘餌（由中間人[MITM]網絡攻擊產生）的組合可以協同作用，迫使敵方單位向左側缺口移動。為網絡欺騙創造趨同的跡象線是一種普遍的策略，然而特定的欺騙模式可能比其他模式更有效。例如，人們認為大腦會將相似或相關的跡象分組，以進行有效的處理（如格式塔分組），這樣就可以克服信息瓶頸（如處理七個以上的名義項目，從而減少單個項目的影響）。如果進行每一次網絡攻擊都會產生一定的成本或風險，那么了解如何將這些成本分配到不同的線索特征中，以便以最小的風險提供最有效的影響可能是有益的（例如，如果MITM攻擊產生導彈誘餌，那么它的效果可能會降低，甚至是反作用）。了解不同的線索組合如何被不同的士兵所感知，也可能是有意義的。具有不同偏見或處于不同角色或梯隊的指揮官可能對相同的跡象組合有不同的感知、解釋或行動（例如，一個誘餌的有效性可能取決于它與目標指揮官的距離以及與他的決策過程的相關性）。更高級的策略可能包括主動防御（例如，通過 "蜜罐 "策略[圖12]），以提高網絡欺騙的有效性。為了給MDO提供超人的能力，人工智能決策輔助工具可能需要根據即時可用的跡象在多個領域協助生成可信的誘餌，以網絡的速度迅速調整這些展示，并保持虛擬和現實世界之間的一致性，以保持幻覺的有效性。

圖11 帶有中間人攻擊的網絡場景

圖12 帶有蜜罐的網絡場景

4. 人與人工智能編隊協作的復雜決策

上一節所述的ARL戰斗空間人工智能測試平臺通過將戰斗空間地形抽象為一個沒有現實表現的網格狀環境，提供了人工智能開發和測試所需的靈活性。例如，圖8顯示了一個類似于墻的障礙物，它被表示為幾個網格塊，與單位互動時應用的環境約束條件有關。人類團隊和AI都在共同的雙級網格化戰斗空間內進行游戲。人類玩家通過在控制臺窗口中輸入基于文本的編碼命令與ARL戰斗空間互動。這種命令行的交互和顯示加速了人工智能算法的開發過程，并為人工智能兵棋推演所需的大規模實時計算建立了與計算資源的潛在聯系。為人工智能兵棋推演測試平臺（如ARL Battlespace）構思一個用戶界面，并建立通往外部計算服務的管道，構成了DFV第二個目標的基本組成部分--開發一個用于復雜決策的WMI。

一個跨梯隊和作戰級別的軍事決策過程模型構成了為人類和人工智能兵棋推演開發一個有效的WMI的基礎。在傳統的兵棋推演中，指揮官利用一個共同的基于地圖的作戰地形，并模擬MDMP中各種因素的組合如何產生行動方案（COAs）、可能的反擊行動、資源使用估計和預測結果。在幾天或幾周內，MDMP過程形成一套精煉的COAs，對作戰環境做出某些假設，包括地形、天氣和設置戰場的單位的可用性和能力（即為支持主要作戰行動而塑造活動）。

盡管MDMP幫助指揮人員了解作戰環境和考慮作戰方法，但這個過程有許多局限性，如時間密集性、假設的僵硬性、跨場景變化的訓練機會有限，以及很少有機會將人工智能指導納入決策過程。傳統上，一項任務的成功與指揮部執行MDMP的能力直接相關。然而，鑒于MDO的復雜性增加，有大量的任務指揮系統和流程，與行動相關的所有活動的整合和同步變得越來越困難，甚至到了人力無法完成的地步。缺少MDMP所導致的規劃專業知識的缺乏會導致行動的不同步和不協調，并最終導致士兵的生命損失。

MDMP中沒有具體描述戰斗空間的可視化能力，但它顯然在決策過程中發揮著重要作用。最近，整合了先進可視化能力的新系統和技術已經被開發出來，這些系統和技術可以提高對局勢的認識，從而加強決策過程。陸軍的例子包括Nett Warrior，它使下馬的戰士能夠直觀地看到附近的友軍和敵軍，同時根據當地的地形協作規劃戰術任務。盡管這項技術將無線電和數字地圖擴展到了下馬戰士，但它缺乏一個提供決策幫助的基礎人工智能引擎。BVI是陸軍技術的另一個例子，它能夠為任務規劃提供分布式協作，具有從任意視角和廣泛選擇的設備對共同作戰圖進行2D和3D可視化的能力。BVI架構可以被制定，以拉入外部計算服務，如分析管道、模型和AI引擎。

目前，MDMP并沒有將人工智能指導納入整體任務規劃方法中。陸軍的APF開始通過將自主技術插入MDMP工作流程來解決人工智能輔助決策的問題。指揮人員可以通過APF的數字規劃顯示、規劃創建者和規劃監控工具，在任務規劃和COA開發過程中獲得背景援助。任務執行和估計能力通過監測任務的規劃和實際進展，為改進決策跟蹤和支持活動提供自動協助。盡管APF在MDMP中引入了基本的自動化水平，但它缺乏Nett Warrior和BVI所提供的高級可視化和用戶交互能力。

除了MDMP之外，最近將人工智能納入決策過程的努力包括了一些方法，在模擬人類決策過程方面取得了一些成功。一般來說，對于決策變量有限的問題，如資源分配、飛行模擬器和較簡單的場景，人工智能取得了一些成功。目前面臨的挑戰包括：需要提高人工智能的能力，以解決有多個行動者、不完整和可能相互沖突或欺騙的信息、不斷變化的單位行動和環境屬性的復雜決策，以及需要將這些決策的后果在許多空間和時間尺度上可視化。

4.1 未來MDMP需要的進步

MDMP在支持MDO復雜決策方面的局限性，突出表明需要在三個方面進行改進。首先，有必要將人工智能生成的指導和輔助決策支持納入MDMP。這包括進一步發展和整合人工智能到戰斗空間決策規劃，以及進一步改善人工智能決策過程的可解釋性和透明度。第二，有必要在可能的情況下，將決策分析與戰略層面以及戰術邊緣的HPC的力量結合起來。這將能夠利用HPC系統的力量來改善建模、分析和計算時間，同時整合和同步來自所有戰區領域的信息。最后，有必要利用先進的可視化技術，如混合現實技術，對決策空間進行更準確和互動的展現。不是簡單地在一個固定的時間尺度上顯示地形的二維渲染，而是需要可視化不同領域的決策是如何互動的，并利用混合現實技術來提高理解的吞吐量和深度，并實現平面顯示不可能的洞察力。

MDMP是陸軍設計方法的核心，用于應用批判性和創造性思維來理解、可視化和描述問題以及解決這些問題的方法。作為解決問題的行之有效的分析過程，必須克服前面描述的MDMP的局限性，以便快速制定一個靈活的、戰術上合理的、完全整合的、同步的規劃，以最小的傷亡增加任務成功的可能性。下面的小節描述了對MDMP的潛在改進，以支持人類與人工智能的合作決策。

4.1.1 人工智能引導的決策指導

需要新的人工智能支持的WMI，以利用人工智能決策的持續進步，并為復雜的適應性決策的人工智能學習做出貢獻。通過匯集所有領域的信息，計算人類和人工智能Agent的風險和預期回報，人工智能決策輔助工具的發展將提供能力越來越強的COA建議。現有的人工智能有幾個局限性，特別是對于有不確定性的復雜和適應性決策，以及人類和人工智能Agent的協作和對抗。對多Agent的協作和對抗性決策進行建模可能特別復雜，因為它的遞歸性質，其他Agent是模型的一部分，需要對決策特征、個性化的價值、風險規避、記憶和注意力進行動態和不斷發展的估計。這些具有高度不確定性、復雜性和動態性的情況是人類擅長的領域，適當設計的人機協作交互可以提供加速和更有效的決策。為了實現有效的團隊合作，新穎的WMI應該幫助作戰人員篩選復雜的信息，幫助人工智能發現決策的隱含規則。在此，我們提供了關于人機協作如何有效的案例。

多域兵棋推演中需要的復雜決策是開發有效的人工智能決策輔助工具的直接挑戰。最近人工智能在圍棋和國際象棋等游戲中的成功是基于對世界現有狀態的完全了解（即 "開放"游戲），而兵棋推演通常包括關于作戰環境的不完整（如星際爭霸）、不確定和/或欺騙性的信息。由于世界狀態、不同行動者的狀態以及所采取的行動影響的不確定性，知識的缺乏使得人工智能Agent難以計算未來行動的風險回報情況。不確定性也限制了人工智能估計其他行為者的風險回報概況的能力，而這是計算有效博弈論策略所需要的。人工智能被可能的最優和近似最優選擇的廣度所淹沒（即由于信息有限而選擇錯誤）的情況并不少見，因為人類在制定有效探索隱藏信息的策略時，會采用啟發式方法來進行有效的選擇和預測。為了幫助發展人工智能的隱性知識和探索能力，新型的WMI需要有效地解釋和展示決策圖，以使作戰人員能夠快速和自然地瀏覽可能的選擇，同時使人工智能能夠適時地從人類的決策中學習，而不施加認知負荷。

開發人工智能的WMI的另一個基本挑戰是如何有效地整合和顯示MDO中所有五個領域的信息，特別是空間和網絡，因為這些領域的信息具有不同的時空尺度。對于網絡，決策的規模和速度可能比人類處理和理解的能力更快，需要人類的輸入來指導半自動的決策，以及一個實施進攻和防御欺騙策略的人工智能。WMI需要能夠以這樣的方式顯示決策圖，即一小部分最優和接近最優的決策策略清單是可以解釋的（例如，通過決策樹）。這應該包括對關鍵Agent在不確定情況下的未來狀態和風險回報情況的估計，以使有效的博弈論決策能夠被共同開發和相互理解。

這些挑戰為有效的WMIs的可能設計提供了參考。也就是說，我們需要有能力從不同的來源（包括從其他國家的決策輔助工具）攝取信息，以及一個能夠承載整合這些信息的計算能力架構，同時還要處理基礎的人工智能計算（包括學習和部署）。我們還需要共同開發一個交互和算法設計，以適時地利用人類和人工智能Agent的優勢并減少其局限性。

4.1.2 高計算能力下的決策過程

在MDO兵棋推演的復雜決策過程中，需要大量的計算能力來處理和記錄所有組件、實體和狀態空間。從動態狀態空間的累積數據集中建立過去、現在和預測模型，需要利用HPC資源來產生分析見解，并創建在復雜決策背景下有用的表示。

實施HPC分析工作流程的一種方法是使用持久性服務框架（PSF）。PSF是一個最近可用的分布式虛擬化解決方案，它可以通過一個基于網絡的前端實現對高性能計算服務的非傳統訪問，而不像傳統的HPC環境那樣，計算節點在特定時期內以批處理模式分配給用戶。此外，PSF可以提供對數據、數據庫、容器化工具集和其他托管平臺的分布式持續訪問。

在一個PSF方法的例子中，一個模擬引擎連接到PSF，用于記錄人類和人工智能做出的所有決策。這允許分析在任務規劃和COA開發過程中發生的決策行為，以及識別決策模式和戰略，以開發競爭和現實的兵棋推演場景。一個戰斗空間可視化平臺可以托管在PSF上，并使用信息傳遞協議來更新所有連接的設備接口。來自模擬引擎的狀態信息可用于生成戰斗空間和參與作戰單位的圖形表示。

使用PSF方法并利用HPC資源，可以實現利用大數據攝取和分析的人工智能輔助決策機制，同時可供地理分布的用戶用于協作決策工作。連接到PSF托管服務器的各種混合現實顯示模式可以支持從戰略層面的C2到作戰邊緣的更多移動戰術使用等一系列作戰場景。

4.1.3 決策空間的逼真呈現

用圖形表示各級行動的軍事決策戰略需要新的可視化方法，這些方法可以應用于以規則變化、認知狀態、不確定性以及個人偏見和啟發式方法為特征的動態環境。

戰斗空間的視覺表現應該在技術上盡可能準確和逼真，但又保持在人類可以理解和解釋的認知水平。融合了混合現實技術的先進可視化方法有可能更好地表現多領域戰爭的變化特征及其不斷變化的威脅和動態環境。隨著最近混合現實可視化設備的技術進步，成本降低，硬件的可靠性和實用性顯著提高，混合二維和三維可視化方法現在已經成為可能。

由多個二維顯示器組成的混合現實方法增強了更先進的三維可視化能力，可以為指揮人員提供了解復雜的戰爭游戲狀態空間所需的洞察力。例如，BVI平臺可以使用多種可視化模式的組合，真實地呈現地理空間的地形。作為一個數據服務器，BVI向支持多種可視化模式的客戶端應用程序分發地形、作戰和Agent行為數據，包括頭戴式顯示器設備、基于網絡的界面、移動安卓平板設備和混合現實設備（例如，HoloLens 2、Oculus Quest）。

圖13（頂部）顯示了位于加利福尼亞州圣貝納迪諾縣歐文堡國家訓練中心的高分辨率地形上的友軍與敵軍的兵棋推演場景。與MDMP期間經常使用的傳統2D地圖顯示相比，戰斗空間的3D視圖可以從多個觀察角度提供更豐富的用戶體驗。三維視圖，在BVI的網絡戰術計劃器（WTP）中，將地形和人工特征的空間信息以及由MIL-STD 2525C符號描繪的單位位置可視化。

可以想象，地理空間視角，如BVI提供的視角，支持決策者對動態戰斗空間環境的理解。與可導航的人工智能增強的決策空間（圖13，底部）搭配，組合的視角可以使人們更好地理解視覺空間依賴性、影響和因果關系、估計的風險和價值、不確定性以及復雜決策的欺騙性。將這種以地理空間和決策為中心的視角與人工智能相結合，可以提供必要的廣度，以協調物理行動與網絡和其他非空間領域的行動，跨越多個時間尺度，并具有快速適應變化的任務目標的靈活性

圖13 BVI網絡戰術規劃器中的兵棋推演場景的三維視圖（上）與人工智能決策樹的概念（下）。

5. 討論

人工智能對人類自然決策行為的機會性學習，以及學習環境的適當結構和順序，使人工智能被訓練過程有效地塑造，是已經建立起來的提高人工智能快速學習困難挑戰能力的框架。要進一步提高人工智能在兵棋推演中的復雜決策能力，需要提高人工智能在具有高度不確定性的MDO背景下處理決策的能力、欺騙性和博弈論，這些都是人工智能發展過程中獎勵分配的挑戰。克服這些挑戰需要利用多學科的進展，從了解大腦的決策、獎勵和計算的神經生物學進展到專業知識、隱性知識、心智理論、博弈論和元推理在復雜決策過程中如何應用的心理學進展。

人工智能如何能夠最好地學習人類的復雜決策仍然是一個開放的問題。盡管對復雜決策進行獎勵塑造的確切機制還沒有被發現，但這個項目已經產生了如何通過一個新的人工智能測試平臺和WMIs來發現這種機制的設想。ARL戰斗空間人工智能測試平臺和場景將人類和人工智能置于與MDO相關的決策環境中，使人工智能能夠學習不同的決策和因素如何相互作用，以及人類如何通過這種復雜的決策樹進行合作和對抗。一個關鍵的進展是，測試平臺和場景提供了一個豐富的環境，通過抽象化那些會使決策要領稀疏化和阻礙學習的因素，有效地開發人工智能心智理論和與MDO相關的元推理，以進行復雜的決策。

另一個進展是開發高性能計算框架，以實現人工智能決策支持的連續分布式訓練。這將使人工智能決策輔助系統能夠托管在ARL的持久性服務框架上，因此，將來士兵可以隨時隨地以人類和人工智能混合團隊的形式，針對人工智能兵棋推演Agent進行單獨或協作訓練。

這個項目的第三個進展是開發了一種可視化人工智能決策過程的方法，以實現人工智能的透明度和信任，以及人類與人工智能團隊的合作決策。人工智能的推理必須既抽象又與兵棋推演環境相關，這樣人類就可以理解人工智能對不同決策結果的評價，并有效地瀏覽人工智能的決策樹，而不會造成過度的認知負擔。我們已經向人工智能增強的WMI邁出了第一步，它基于三維混合現實，利用和增強人類固有的三維認知和預測的能力。隨著進一步的設計，我們設想它的界面將給人以自然的感覺，同時擴大顯示多個領域的信息，并使人工智能能夠適時地從用戶的決策中學習。這種自然的、直觀的人工智能輔助決策系統，是為了支持MDO C2決策而開發的，包括隱性推理，以及協作和對抗推理，對于人類在復雜決策中信任人工智能對COA結果的估計至關重要。

5.1 進一步發展人工智能測試平臺和人工智能Agent的潛力

雖然最近在游戲中對深度強化學習算法的利用顯示出巨大的前景，但這種成功的前提是與一個相對簡單、結構良好的游戲合作。真正的挑戰出現了，因為環境越來越依賴于稀疏的觀察數據、復雜和動態的Agent策略。完全在內部開發平臺與在現有的開放源碼庫上建立平臺相比，有幾個權衡因素--主要是限制因素的最小化和環境開發的純粹工作量。創建一個全新的定制平臺可以完全定制與游戲相關的錯綜復雜的問題，盡管變得非常耗時。相反，在使用現有的庫，如StarCraft2LearningEnvironment（SC2LE）時，會出現各種不可逾越的限制，但投入游戲開發的工作量會減少十倍。我們正在進行的ARL戰斗空間人工智能測試平臺的第二代開發，名為Simple Yeho（圖14），是建立在天平兩端的平衡上的，OpenAI Gym是一個用于開發強化學習算法的工具包，對輸入的Agent和環境結構不做任何假設。顯然必須遵循一個基本的框架，但OpenAI Gym除了提供大量的文件和例子供客戶參考外，還提供了完全的設計自由。從游戲開發的角度來看，并沒有立即需要解決的問題，但它確實需要成為未來一個更優先的事項。

圖14 簡單的Yeho人工智能測試平臺

未來的問題并不局限于游戲環境，因為它們將不可避免地延伸到理論上的強化學習挑戰，如無縫的多Agent通信、任務協調和固定的策略。更多需要關注的實際問題包括算法效率（限制計算密集型任務以及內存分配的心態），一種新穎的去中心化強化學習算法，以及跨多個領域的數據泛化。過度消耗硬件資源是人工智能所有分支中的一個共同瓶頸。從軟件的角度來看，ARL Battlespace AI測試平臺對資源消耗很少，該環境仍然專注于AI發展的研究問題，而不是全面的MDO實施，這就是為什么計算效率還不是一個緊迫的問題。歸納游戲狀態信息的潛在解決方案，特別是在動態環境中，包括時差變異自動編碼器和分布式時差強化學習，因為它們除了在數據點之間提供一個平滑的潛在空間外，還允許對未來的幾個狀態有明確的信念（這在元推理方面起作用）。我們的新型強化學習算法應該解決的其他主要問題是安全/認證、Agent決策透明度和Agent間的實時通信。將區塊鏈整合到DEVCOM ARL框架中，將確保節點之間的安全通信線路，提供一個不可改變的分布式賬本，以揭示Agent的低級決策，并向Agent引入民主投票系統，以促進團體合作，同時仍然保持個人的自私性。

5.2 進一步發展人類-人工智能協作交互的潛力

目前軍事決策過程中的局限性確定了一個多學科的研究方法，用于開發復雜決策的人類和人工智能WMI。作為基礎層的決策空間的現實表示，包括具有地理空間精確性的自然和人工制作的戰斗空間地形。一個先進而直觀的用戶交互允許混合現實視角的戰斗空間，使決策者能夠根據作戰因素探索COA的替代方案。這兩個要求指導了對陸軍和商業開發的戰斗空間交互系統BVI的選擇，作為ARL戰斗空間人工智能測試平臺中實現的人工智能和人類-人工智能團隊發展的潛在過渡媒介。

過渡的第一步是將ARL戰斗空間的網格狀環境疊加到BVI真實世界的作戰地形上，并將現有的BVI多模態用戶交互調整為兵棋推演。圖15顯示了使用BVI的網絡戰術規劃器3D視角在歐文堡地形上疊加的擴展網格的一個部分，其中友軍和敵軍單位位于兵棋推演會話的開始。在瀏覽器窗口中，可以使用戰術規劃工具欄的鼠標、觸控板或觸摸屏互動來放置和操作單位。BVI提供了添加單位的功能；路線點、戰術符號和圖形；以及繪制線條、多邊形和文本框等特征。

圖15 BVI網絡戰術規劃器中帶有網格覆蓋的兵棋推演場景的三維視圖

一個尚未解決的問題是，如何最好地利用BVI的混合現實（XR）可視化功能來進行協作決策（例如，在兵棋推演期間，通過加強決策者對地形的地理空間因素的理解）。加載不同的地形和創建定制的訓練場景可能來自于多維數據，并以各種身臨其境的形式觀看，這超過了陸軍其他系統的可視化能力。根據這些三維地形的廣度和細節，當決策者使用一系列強大的交互方式在大面積的地形上進行操作時，界面如何顯示這些信息可能會造成大量的信息過載或混亂。一個有效的界面需要被設計成不僅要選擇傳達哪些環境和決策空間信息，而且要選擇如何從用戶的有利位置呈現這些信息。

如果不可能有開發時間和精力，BVI的API提供了機會，以標記、標簽和定位在地形之上的場景適應性網格的形式嵌入視覺輔助，作為決策者的空間管理干預措施。例如，圖15中描述的網格的行和列可以被標記或編碼，以快速定位實時事件和人工智能產生的活動。多維網格結構和編碼方案可以將兵棋推演提升到以MDO為特征的復雜水平，同時減輕一些基于地形的空間管理問題。

在空間和時間領域的數據分析中協調戰斗空間的多個視圖，可視化提供了額外的方法，促進兵棋推演期間的復雜決策。當需要一個共享的MDO戰斗空間呈現時，可以通過在不同的可視化模式上實施多個協調視圖來實現協作戰略規劃模式，根據分布式指揮人員的輸入進行互動更新。指揮人員的輸入也可以指導視覺過濾器對協調視圖的應用，從而減少不必要的復雜性，突出場景或任務關鍵的戰斗空間信息。

圖16顯示了SyncVis視覺分析系統，該系統旨在顯示多個協調的數據分析視圖，支持數據探索和理解。SyncVis通過用戶互動將每個視圖中顯示的信息與其他視圖聯系起來，從而產生多種數據可視化。這個例子顯示了SyncVis在四個協調視圖中對COVID分類人群數據分析的二維界面。變量選擇器（選擇六個屬性）、地圖/地形、相互信息圖和每個選定變量的疊加區域圖。

圖16 SyncVis二維界面顯示COVID數據分析的多種協調的可視化效果

SyncVis的可視化功能可以與使用PSF的HPC分析工作流程后端集成。PSF服務器可以向BVI和SyncVis流傳作戰和Agent行為數據，創造一個統一的戰斗空間探索體驗。基于用戶按需輸入和過濾的協調戰斗空間視圖的好處有待研究。

一個靈活的兵棋推演環境似乎是關鍵，因為每個訓練場景、COA和任務計劃都是在MDMP和相關軍事理論的約束下制定的，但又是獨一無二的，并取決于戰斗空間及其操作變量。一個HPC PSF數據分析處理管道為WMI提供動力，士兵或指揮官按需協調戰斗空間的BVI和SyncVis可視化，將徹底改變現有的兵棋推演范式，并觸及MDO固有的復雜程度，以及贏得勝利所需的人類和AI指導的決策水平。

6.結論

我們強調了三個關鍵的發展領域，即人工智能引導的決策指導，支持這種指導的計算基礎設施，以及決策透明度的混合現實表現的發展。這些領域的進步需要跨越許多不同學科的專業知識。新的人工智能發展需要融合神經科學、心理學和數學的思想，以克服復雜決策中長期存在的問題的瓶頸。這包括跨時間尺度的學習和變化環境下的災難性遺忘，以及更具體的兵棋推演問題，如具有不確定性、欺騙和博弈論的多Agent決策。計算基礎設施也需要發展，因為計算能力和數據框架對于在戰術邊緣產生人-人工智能團隊的共同操作圖來說都是必不可少的。為了有效地開發，應該通過一個共同的框架來抽象出專有的限制和軟件的依賴性，并為使用和故障排除提供清晰的文檔，以使學術界、政府和工業界更好地專注于解決人與人工智能的合作問題。這個通用框架應該包括有效的信息傳遞，同時提供靈活性和適應性，以滿足人工智能開發和人類用戶在訓練和實際使用環境中的需求。最后，交互技術的開發本身需要跨學科的協同專業技術。一個基礎性的問題是如何壓縮信息使之被用戶有效地理解，以及如何最好地利用用戶的互動來進行機會主義學習。人類的大腦并不處理所有的感官信息，而是對世界進行預測和假設，以便在信息不完整的環境下節約計算。一個有效的WMI應該同時預測潛在的決策結果以及個人用戶的期望和假設。此外，人工智能決策輔助工具必須估計用戶的默契，使其能夠提供最相關的信息和最有希望的選擇，這些信息來自整個作戰領域。

摘要

這項工作的目的是深入了解人工智能 (AI) 工具以及如何將它們應用于空中目標威脅評估。人工智能工具是包含人工智能元素的軟件產品。關于人工智能有多種不同的思想流派，并且可以在同一個工具中使用不同的方法。許多現代人工智能方法都涉及機器學習 (ML)。本參考文檔將涵蓋不同類型的 AI 和 ML 以及如何將它們應用于威脅評估。這項工作將介紹所有 ML 模型共有的元素，例如數據收集、數據準備和數據清理。該報告還將討論選擇適合不同問題的最佳人工智能類型。

此外，這項工作將描述處理缺失數據或數據不確定性的方法。將提出實用的解決方案，包括通過數據插補填充缺失數據或修改人工智能工具的架構。

最后，該報告將檢查人工智能工具的輸出與現有基礎設施的集成。將結合威脅評估過程及其可以改進的元素來描述 AI 工具。還將討論 AI 工具系統的通用架構。

國防與安全的意義

威脅評估對于維護國家安全利益和維護各國主權具有重要意義。空中威脅評估對于一個有大片國土需要保護的國家（例如加拿大）很有價值。人工智能和機器學習都可以應用于威脅評估的研究領域。通過學習構建人工智能驅動的工具，加拿大的國防和安全將通過獲得持續的前沿研究得到改善。無論哪個國家開發出最有效和最可靠的威脅評估工具，在決策和威脅反應方面都將獲得優勢。通過利用前面提到的快速擴張的領域，加拿大可以獲得決定性的優勢。

1 簡介

評估所有領域(如空中、網絡、陸地、海洋、太空)的威脅是維護任何國家安全的一個重要方面。威脅分析包括查看敵人過去、現在和預期的行動，以及這些行動對友軍資產或單位的影響。威脅評估還考慮了為減少、避免或消除風險而可能采取的任何防御措施[1]。在防空的背景下，空中目標威脅評估的任務需要識別、確定空中目標和優先排序，并管理任何必要的資源以應對威脅[2,3]。

當前的空中目標威脅評估任務由操作室中的一組高技能和經驗豐富的人員執行[3,4]。該任務涉及考慮先驗信息（例如，情報報告和評估標準）和獲取的信息（例如，從傳感器系統動態收集的運動學信息），以確定目標對某個感興趣點/區域（POI/AOI)。此信息（運動學和非運動學）稱為提示。這些信息的心理整合需要相當水平的戰術專業知識，包括有關威脅類型、軍事條令和基于經驗的評估啟發式的知識[4]。人工智能(AI)將允許根據防空作戰員(ADO)可用的線索以及他們的威脅評估決策[5]或專業知識來創建工具。

本報告全面概述了AI工具及其構建。這些方法是尖端的并且非常有效。本報告將清晰地展示人工智能工具的開發方式。它將展示哪些組件是必要的，如何獲取數據并使其對機器學習(ML)模型有用，以及AI工具如何與更廣泛的威脅評估環境進行交互。

2 人工智能

本節將介紹人工智能的概念和許多現代人工智能算法。它將包含有關AI和ML主要主題的背景知識。它還將描述AI工具中經常出現的組件。

2.1 概述

從一個非常廣泛的角度來看，人工智能是人工系統“執行與智能生物相關的任務”的能力[6]。然而，這是一個非常寬泛的術語，涵蓋了許多系統。例如，它不區分人工智能系統、智能系統和自動化系統。關于什么構成人工智能，文獻和文化中有許多定義。本報告中使用的“人工智能系統”的定義是文獻和文化中各種來源的觀點的結合。

人工智能系統是一種具有以下能力的人工系統：

1.執行“有趣的”[7]任務，這些任務“通常與智能生物相關”[6]

2.“自學成才”[7,8]

早期的AI開發人員研究的問題在智力上對我們來說很困難，但對計算機來說卻相對簡單。這些問題可以用一組形式和數學規則來描述[9]。例如，國際象棋游戲由一組有限且嚴格的規則定義，這些規則可以編程到人工智能中。然而，人工智能很難處理使用人類直覺而不是使用一組正式的規則來處理的任務，例如圖像識別。人工智能的一種方法是基于知識的方法，它涉及嘗試設計形式語言和手工制作的邏輯推理規則，以使機器能夠推理和解決問題。另一種方法是讓計算機從經驗中收集知識，而不是讓人類對程序的行為進行硬編碼。

機器學習是通過從數據中發現模式來獲取知識的能力。因此，這些數據的表示會顯著影響機器學習算法的性能。換句話說，提供給機器的信息（即特征）會影響它解決問題的能力。然而，手工設計的特征受到人類知識的限制。讓機器發現哪種表示最好稱為表示學習。學習到的表示通常比手工設計的表現要好得多。本報告在2.3小節中探討了人工智能的機器學習方法。

2.2 AI 工具的組成部分

AI 工具的最終目標是通過減少操作員的認知和體力工作量來改善操作員的決策過程。為此，人工智能工具通過提供協作環境來補充操作員的角色。人工智能工具處理可用信息，從數據中獲得洞察力，并以有利于操作員體驗的方式呈現信息和洞察力。圖1顯示了AI工具流程的概覽。該模型基于[3]中提出的決策支持系統(DSS)架構。

1.操作員是與工具交互和監控工具、根據工具輸出做出決策并根據這些決策向相關個人報告的人。輸入工具的信息可以是靜態的或動態的。靜態信息（例如配置文件和靜態操作員首選項）在操作期間不會更改。動態信息，例如數據輸入和設備操作，在整個操作過程中不一定保持不變[3]。將操作員與咨詢能力聯系起來的箭頭強調了該工具的協作方面。

2.咨詢能力負責管理操作員和系統之間的交互。這包括管理操作員輸入（即靜態和動態信息），管理環境輸入（例如，約束和環境信息），促進操作員交互（例如，人機交互，人機界面）和顯示信息。要顯示的關鍵信息包括算法的結果和當前的操作限制。

3.領域知識由用于評估的規則和關系組成。例如，領域知識可能包括操作員對信息變化影響的意見。

4.算法組負責處理數據和執行評估或預測任務。可以考慮許多不同的算法和功能來實現算法組。該組將提供應用程序中的大部分AI功能，并且可以選擇或組合不同的AI或ML應用程序。

5.環境為人工智能工具提供操作約束。更具體地說，環境由檢測和測量目標的傳感器系統以及來自更高級別個人的任務概覽和命令組成。

雖然[3]對圖1中的大多數組件進行了詳細解釋，重點是咨詢能力部分，但本報告側重于架構的算法部分。

圖1:操作員、環境和人工智能工具的交互

上面介紹的AI工具被認為是基于第 2.1 節中介紹的定義的AI系統。評估的復雜性和重要性使其成為一項不容易解決的任務。人工智能工具的學習和適應方面可以通過機器學習方法來完成，這將在2.3小節中進行描述。

2.3 AI 中的機器學習

本節將討論機器學習和人工智能的結合。有許多不同類型的AI算法，ML是這些算法的一個子集。本節將描述使用ML從數據中學習的算法類型，以及這對AI工具有何用處。作者還在他們之前的工作中定義了機器學習中的許多基本概念[5]。

2.3.1 概述

根據柯林斯詞典，機器是“使用電力或發動機來完成特定工作的設備”[10]。在機器學習的背景下，機器就是計算機。更具體地說，是計算機中的程序完成了這項工作。正如[11]中所定義的那樣，“如果計算機程序在T中的任務（由P衡量）上的性能隨著經驗E提高，則可以說計算機程序從經驗E中學習某類任務T和性能度量P。”這個定義提出了機器學習問題的三個主要組成部分：任務T、性能度量P和經驗E。

1.任務是要解決的問題。例如，分類任務涉及確定某個輸入屬于哪個類別（例如，對象分類）。其他任務示例是回歸（例如，成本預測）、異常檢測（例如，欺詐檢測）和去噪（例如，信號處理）。

2.性能度量是用于評估ML算法性能的指標。例如，準確度是一種可用于分類任務的性能度量。準確率是模型正確分類的示例的分數。“示例”被定義為特征的集合，通常表示為向量，其中n為特征個數，每個元素為一個特征[9]。數據集是一組例子的集合。

3.經驗是指模型在學習過程中所接受的訓練類型。在無監督學習中，模型所體驗的數據集僅包含特征，并且由模型來學習數據的特征。例如，學習描述數據的概率分布可能很有用。聚類也可以使用無監督學習算法來執行。在監督學習中，模型體驗的數據集不僅包含特征，還包含與每個示例相關聯的標簽。無監督學習模型觀察幾個例子，而監督學習模型觀察幾個例子及其標簽。但是，在某些情況下，有監督和無監督之間沒有明確的區別。例如，半監督學習涉及從包含標記和未標記數據的數據集中學習。在強化學習中，模型不是從固定的數據集中體驗，而是模型與環境交互并從交互中學習。

為了了解模型在處理現實世界中的新數據時的表現如何，通常會分離出一部分數據集，以便僅在完成所有訓練后才能使用。這被稱為測試集，由于模型之前沒有看到測試集中的數據，因此測試集上的性能可以作為模型真實性能的指標。文獻提供了機器學習算法和模型的許多不同分類（例如，[12]提出了機器學習的五種范式：連接主義（例如，神經網絡、象征主義、進化論、貝葉斯和類比）。本報告并不是對機器學習中在空中目標威脅評估領域有用的不同方法的詳盡回顧。本報告重點關注三類特定的方法：監督機器學習、無監督機器學習和強化學習。

2.3.2 監督學習

在監督機器學習中，可以使用一組標記的訓練示例（即訓練集）。該模型的目標是能夠為示例分配正確的標簽，其中正確的標簽是與特定示例對應的標簽。通過基于一組標記的訓練數據最小化某個損失函數來調整模型。具體來說，迭代調整模型的參數，以減少訓練誤差。

1.模型：模型是根據樣本特征輸出標簽的算法。

2.參數：模型的參數根據選擇的模型而有所不同。例如，在神經網絡中，參數包括神經元的權重和偏差。

3.誤差：也稱為損失，誤差用于衡量模型的執行情況。可以針對特定應用設計和修改損失函數。

4.迭代調整：在訓練過程中，采用一定的方案來改變每次迭代的參數。具體來說，迭代調整模型的參數，以減少訓練誤差。一個例子是普通梯度下降法[13]：

其中θ是模型的參數，α是學習率（決定每次迭代調整多少參數的超參數），J(θ) 是模型在整個訓練集上的損失函數， 是相對于θ的梯度。可以使用各種修改來改進普通梯度下降算法，例如動量[13]。這種改進產生的算法包括Adagrad[14]和Adam[15]。

2.3.3 無監督學習

由于機器學習，許多研究和應用領域都取得了許多成功。圖像理解（例如，檢測[16]、分類[17]）和自動化物理系統（例如，自動駕駛汽車[18]）只是成功的兩個例子。這些成功的很大一部分歸功于監督學習和強化學習的使用。然而，這兩種范式都僅限于人類輸入和經驗：監督學習的訓練信號是目標標簽，而在強化學習中，信號是期望行為的獎勵[19]。使用人類設計的標簽和獎勵的一個弱點是由于訓練信號的稀疏性而導致的信息丟失。例如，盡管用于訓練監督學習和強化學習模型的數據通常具有豐富的特征（例如，圖像），但目標和獎勵通常非常稀疏（例如，表示圖片標簽的單個向量）[19]。無監督學習的動機是更好地利用可用數據來更好地理解數據。因此，無監督學習范式“旨在通過獎勵智能體（即計算機程序）來創建自主智能，以學習他們在不考慮特定任務的情況下觀察到的數據。換句話說，智能體“為了學習而學習”[19]。無監督學習算法的強大之處在于它能夠發現標簽無法完全表達的數據的潛在模式和結構。

2.3.4 強化學習

強化學習（RL）的思想是學習采取什么行動來獲得最大的回報。這種范式背后的一個共同動機是智能體與環境之間的交互（圖2）。根據對環境的觀察，智能體執行影響環境的動作。作為響應，會生成新的觀察結果，并且智能體會收到獎勵或懲罰。

圖 2：智能體-環境交互

RL的兩個重要區別特征是試錯搜索和延遲獎勵。與程序員指定輸出應該是什么的監督學習不同，RL智能體必須進行實驗以發現導致最高獎勵的動作。此外，行動可能會產生長期影響。因此，較早采取的行動可能會導致稍后的獎勵或懲罰。

在監督學習中，該模型嘗試從訓練示例中學習以泛化并在新示例上表現良好。雖然功能強大，但在處理涉及交互的問題時，監督學習是不夠的。例如，在未知環境中學習時，獲得包含代表智能體在所有可能情況下應采取的行動方式的示例的訓練集可能是不切實際的。在這些情況下，智能體必須使用自己的經驗和與環境的交互來學習。

RL系統[20]有四個主要組成部分：

1.策略：策略根據智能體的感知狀態定義智能體的行為。換句話說，它決定了當智能體處于當前狀態時要采取什么行動（或行動的什么分布）。

2.獎勵信號：獎勵信號表明智能體在某個時刻的表現如何。獎勵的概念是RL問題的核心概念，因為從長遠來看最大化獎勵數量是智能體的最終目標。獎勵的類型是特定于問題的。例如，在訓練RL智能體玩游戲時，它可能會因獲勝而獲得正獎勵，而因失敗而獲得負獎勵。結果，通過監控獎勵信號來學習策略。例如，如果當前策略給出的某個動作導致了懲罰，那么該策略可能會以某種方式改變，以便在情況再次出現時避免該動作。

3.價值函數：價值函數表示如果遵循當前策略，智能體在未來的預期表現如何。雖然獎勵被視為即時指標，但價值函數是長期指標。例如，在當前狀態下投資獲得負回報可能會導致總回報為正。價值函數引入了延遲獎勵的方面：某個狀態的價值是預期在長期內獲得的總折扣獎勵，其中每個收到的獎勵都根據最近收到的時間進行折扣。

4.環境模型：環境模型存在于基于模型的RL問題中。它指示環境如何根據智能體在特定狀態下的行為做出反應。然而，環境模型并不總是可用的。無模型方法解決了這一挑戰。

正式表示完全可觀察的環境（即智能體的觀察完全描述當前環境狀態的環境）以進行強化學習的流行方法之一是使用馬爾可夫決策過程（MDPs）。馬爾可夫過程是服從馬爾可夫性質的一系列隨機狀態S：在給定當前狀態的情況下，未來狀態獨立于過去狀態。

其中是第時間步的狀態,t是當前時間步，是發生的概率。MDPs是馬爾可夫過程的擴展：除了表征馬爾可夫過程的狀態集S和狀態轉換集P之外，還有可能的動作集A和獎勵集R。

3 空中威脅評估——人工智能工具

本節將把空中威脅評估的任務與人工智能工具的能力聯系起來。 AI 能力將映射到威脅評估的每個階段，并將展示如何將其集成到現有能力中或改進現有能力。

3.1 AI 工具在威脅評估中的優勢

如第 1 節所述，ADOs等操作人員面臨認知和身體挑戰，這些挑戰不利于其做出可靠決策的能力。人工智能工具將通過提供以下兩個主要好處來應對這些挑戰：

1.減少認知和身體負荷量：人工智能工具為操作員提供的支持和顯示將緩解導致操作員總壓力的眾多因素。這種好處是通過使用決策支持系統(DSS)的設計原則來提供的。

2.利用最先進的方法：人工智能的機器學習方法是一個非常受歡迎的研究領域，因此在方法的開發和改進方面做了大量工作。通過使用AI支持空中目標決策，該系統可以使用和利用最先進的方法。

3.2 威脅評估中的 AI 工具組件

如2.2小節所述，通用AI工具中有多個組件可以專門用于評估。威脅評估AI工具中的組件及其專業化如下：

1.操作員（Operator）是評估過程中的ADO。操作員將負責確保提供給AI工具的信息盡可能準確。然后，ADO將與該工具交互，以充分了解威脅情況，并獲得AI生成的威脅評估。

2.咨詢能力（Advisory?Capability）負責與ADO以及各種傳感器和數據庫系統進行交互。這將涉及從雷達和其他傳感器收集數據，以及解釋從情報報告中獲得的數據。咨詢能力還負責確保ADO可以有效地與計算機界面一起工作。更新界面可能涉及一個可以結合機器學習的動態過程。

3.領域知識（Domain Knowledge）將包括ADO的經驗以及他們用來進行準確評估的任何規則。在空中威脅評估中，這可能包括常見的高度、異常的飛行模式或敵軍作戰節奏的變化。

4.算法組（Algorithms）負責目標數據的處理和威脅評估。這將包括處理軌跡數據以獲得提示數據，并使用提示數據和領域知識來評估目標的威脅。可能的評估算法包括基于規則的方法[3、4]、貝葉斯方法[3]和本報告[5]中提供的AI技術。

5.環境（Environment）為人工智能工具提供操作限制和目標數據。更具體地說，環境包括檢測和測量目標的傳感器系統以及來自更高軍事指揮鏈的任務概覽和命令。

3.3 機器學習在威脅評估中的應用

由于機器學習方法的種類和成功率眾多且不斷增加，機器學習在威脅評估中的應用數量僅限于研究人員的知識和經驗。本報告將概述如何將三種主要機器學習范式應用于人工智能工具進行威脅評估的示例。

3.3.1 監督學習

通過一組標記的過去目標示例，其中每個示例包含有關歷史目標及其相應威脅值標簽的信息，監督機器學習可用于將威脅值分配給目標。在[21]中，監督學習被用于構建多標準決策（MCDM）方法（EMCDM）的集成，以根據當時的線索值推斷目標在某個時間點的威脅值。EMCDM技術由各種MCDM方法組成，它們的輸出組合成一個單一的威脅值。MCDM方法的輸出基于作為輸入的提示值。用于訓練EMCDM技術的監督學習技術取決于集成技術的類型。例如，在加權組合EMCDM技術中，MCDM方法是使用監督學習調整的組合權重。在所有的EMCDM訓練中，示例集由標記的目標實例組成，其中目標實例被定義為目標在某個時間點的提示數據。

3.3.2 無監督學習

可以從目標中提取各種信息。因此，對于某個目標，可以為系統提供關于目標的大量線索，作為威脅評估的基礎。無監督學習可用于分析提示數據，以深入了解底層結構和模式。例如，無監督學習的一種用法是降維。通過降低提示數據的維數，系統可以處理更緊湊和簡潔的目標描述。換句話說，目標是以數據可以提供關于目標的大致相同信息但使用較少資源的方式轉換數據（例如，使用10個提示而不是50個提示）。

實現降維的一種方法是主成分分析（PCA）[23]。PCA旨在通過學習最大化新子空間中數據方差的線性變換，來表達低維子空間中的數據。最大化數據方差背后的直覺是假設更高的方差意味著更多的信息量。數據原本會有一定量的方差/信息。PCA嘗試使用低維子空間來近似數據，同時盡可能多地保留原始方差。PCA的結果之一是檢測和去除數據中的冗余，從而在沒有不必要的線索的情況下描述目標。然后可以將這些PCA生成的線索視為要使用的新的各種線索。然而，在應用過程中需要考慮基于PCA的假設（例如，方差足以描述信息量，主成分是正交的）。

自動編碼器[9]是經過訓練以將輸入重新創建為其輸出的神經網絡。自動編碼器通常由兩部分組成：編碼器和解碼器。編碼器網絡生成低維潛在特征。然后將潛在特征輸入到解碼器網絡中，該解碼器網絡嘗試輸出最初輸入到編碼器中的內容。通常存在約束和限制，以防止自動編碼器能夠完美地重新創建輸出（即，它只能提供近似值）。結果，模型被訓練為優先使用最有用的數據特征。因此，與PCA類似，自動編碼器可用于使目標提示數據更加簡潔，并且僅包含足以描述目標的提示數據。自動編碼器的其他用法也存在。例如，自動編碼器可用于去噪[24]應用程序。這在威脅評估中特別有用，因為目標數據（例如，傳感器數據、提示）本質上是含噪的。

除了降維之外，無監督學習的另一個用途是聚類。文獻中有大量關于用于聚類的無監督學習算法的工作，所有這些算法都用于威脅評估。在不關注特定算法的情況下，聚類的一種用途是將感興趣的目標與歷史目標進行聚類。這樣做的目的是發現感興趣的目標是否與歷史目標相似。如果有關于如何處理過去目標的知識，操作員可以在決定對當前感興趣的目標采取何種行動時考慮這些信息。

3.3.3 強化學習

可以將威脅評估過程建模為強化學習問題。例如，咨詢能力可以在操作期間使用RL來了解操作員希望如何顯示信息。這類似于社交網站知道在首頁上顯示哪些項目的方式。例如，如果RL模型有一個獎勵處理速度的策略，它可以測量從ADO開始評估到ADO提交威脅評估所花費的時間。這將允許模型因導致更短的威脅評估過程的行動而獲得獎勵，從而鼓勵更有效的交互選擇。如果某個深度為兩級的菜單項（即，它需要兩次單擊才能訪問）被頻繁使用，則模型可以將該菜單項放置為第一級深度項。如果該項目被非常頻繁地使用，則該項目應該在主屏幕上被賦予一個突出的按鈕位置。在空中威脅評估應用程序界面上工作的強化學習算法將能夠進行這些和其他更改，以檢查威脅評估的時間是否正在減少，在這種情況下，它將獲得獎勵。

有大量研究和許多資源可用于解決MDPs，這使得使用MDPs解決RL問題成為一個不錯的選擇[25]。

3.4 結構與流程

人工智能工具的結構需要考慮多種因素。該工具將在流程管道中運行，從數據收集和準備開始，到模型訓練，然后到模型預測，最后為用戶顯示結果。在AI工作流程中，可以更容易地將結構視為流程工作流[26]。一旦AI工具經過訓練，它就會不斷返回到周期的第一階段，并使用新數據和新見解進行重新訓練。這個過程使人工智能工具非常強大，可以隨著時間的推移保持準確性和有效性。

人工智能工具開發的第一階段是收集高質量數據。這些數據將存放在一個或多個可供AI工具訪問的數據庫中。人工智能工具將首先在數據庫中的現有數據上進行訓練，然后在生產時，它將主動監控任何操作數據庫中的最新數據，以便提供威脅評估。

除了收集數據，還必須確定最有效的機器學習或人工智能模型。該決定需要考慮可用數據的類型、數據的數量及其質量。與最終用戶面談也很重要，以確保所選模型將以對他們有用的格式輸出信息。這可能是一個要求，例如最終威脅評估值必須呈現為分類問題（例如，高、中、低）或回歸問題（例如，1.4、2.9、9.0）。要求也可能更嚴格，例如人工智能工具的推理必須能夠被人類操作員解釋。像這樣的要求可能會使現代機器學習研究的整個分支沒有吸引力，而是需要不同的模型。由于所選AI模型對整個工具的影響很大，因此必須在模型開發之前的早期階段收集最終用戶的需求。

一旦選擇了一個或多個模型類型，就必須對其進行訓練。在這個階段，由于上一步的需求分析，一些AI模型可能已經被淘汰。在此步驟中，將淘汰更多模型。在對數據進行訓練之前，通常很難判斷哪個機器學習平臺最有效。這意味著應該對多個模型進行數據訓練，并使用某種準確度指標進行比較。一旦確定了最準確的模型，該模型將被完全訓練并準備好在生產中使用。

下一階段是將模型部署到生產應用中。ADO獲得了一個功能性AI工具，可以連接到操作數據庫并協助威脅評估過程。輸出到ADO的最終值都將被處理和清理，最終格式將被確定。然后，隨著所有ADO將其威脅評估以及可用的線索提交給訓練數據庫，該工具將得到持續訓練。這將使該工具能夠與新出現的威脅和新情況保持同步。ADO還可以就AI工具提供的評估進行反饋。例如，如果AI工具提供“高”威脅評估，而ADO認為它應該是“中”，則ADO可以提供反饋信號，表明該工具不正確并且威脅等級太高。這將存儲在數據中并用于在線訓練，使其能夠不斷地向經驗豐富的ADO學習，也可以自學成型。

AI工具流程的最后階段是將工具轉移到精度維護。在這個階段，需要對工具進行監控，以確保準確性不會下降。該工具也將在此階段接收反饋并從ADO評估中學習。最后，人工智能工具的開發并沒有停留在這個最后階段；相反，它必須隨著威脅的演變、環境和要求的變化以及新的和更相關的數據變得可用，而相應地更新和改進。

圖3: AI工具中的模塊及其交互

圖 3 提供了AI工具中以下模塊的可視化表示：

1.數據庫組件

• 存儲傳感器數據、操作員情報和來自歷史數據的人為威脅評估。

2.數據訪問和存儲模塊

• 與數據庫交互以不斷地保存和讀取來自傳感器或人工操作員的數據。
• 查詢數據庫以提供關于1個目標的完整信息集，用于預測威脅評估。

3.數據預處理模塊

• 清理數據，處理缺失值，并正確格式化數據以用于訓練或訓練模型的推理。

4.ML 模型組件

• 實現機器學習模型的AI組件。這就是將整個工具定義為AI工具的原因。所有其他組件都用于支持該組件。
• 在訓練管道中，模型仍在開發中，可能會同時測試多個模型。
• 在推理管道中，已經選擇了一個模型，并由數據預處理模塊提供數據，以便它可以進行預測。

5.數據后處理模塊

• 在將推理步驟的結果顯示給用戶之前對其進行清理。
• 可以從零到一之間的預測值映射到更易讀的值或類別評級（例如，低、中、高）。

6.可視化/操作員交互模塊

• 負責所有操作員交互。提供數據的可視化和讀數，并以最佳方式傳達模型對威脅價值的預測。
• 獲取操作員對分配的威脅值的反饋（例如，太高、太低、非常準確）。
• 與數據訪問和存儲模塊通信，將操作員反饋存儲為有用的數據，以供未來訓練使用

3.4.1 人工智能工具集成

將ML組件集成到更大的AI工具中需要兩條不同的管道。第一個管道將是訓練管道，這是進行模型選擇、測試和訓練的地方。一旦確定了合適的ML模型，并且該模型已經針對所有當前可用的數據進行了訓練，它將在稱為推理管道的第二個管道中使用。

圖4顯示了訓練管道的可視化。第一步需要收集歷史威脅評估數據以及ADO威脅標簽（如果所需的ML模型使用監督學習算法）。接下來，這些數據將通過數據預處理模塊合并為格式良好的數據集。然后，這個大型數據集將被分成三個不同的集合：

1.訓練數據集：該數據集將是ML模型在訓練時唯一看到的數據集。它也將是三個數據集中最大的一個。通常在本節中描述的三組之間決定百分比分配。這取決于系統設計者的判斷。常見的比率是80/20或90/10，具體取決于可用訓練點的數量。這些點將用于訓練模型，但重要的是保留一個保留數據集，以確保您的模型不會過度擬合訓練數據（即，無法泛化到新的未見數據點）。

2.驗證數據集：這將在訓練進行時用作測試集。這些數據不會用于訓練模型，而是在訓練的非常時期結束時，將在這個小集合上測試模型。這對于確定模型何時得到充分訓練很有用。即使模型在訓練數據集上的損失可能會繼續減少，但如果驗證集上的損失已經趨于穩定，那么模型可能會過度擬合訓練數據集，應該停止訓練。

3.測試數據集：該數據集將為所有候選 ML 模型提供最終評估指標。它不會用于訓練，并且模型設計者也必須不要檢查此數據集。這將確保模型超參數不會根據此測試數據集進行調整。測試數據集的價值在于發現ML模型是否可以泛化到來自類似于訓練示例分布的看不見的數據點。如果測試數據集的損失遠高于訓練集和驗證集，則模型很可能對其訓練數據進行過擬合。如果有多個候選ML模型，則可以使用測試數據集上的損失和準確率來確定選擇哪個模型。

在模型訓練期間將使用訓練和驗證數據集，在模型評估期間將使用測試數據集。

圖4 ：ML 模型訓練管道

一旦最佳候選ML模型經過訓練和選擇，它將用于AI工具的生產版本。該模型將用于實時提供在線推理/預測。候選模型的訓練和測試可以繼續進行，也可以納入新模型或研究。這將確保AI工具始終使用性能最佳的ML模型。

一旦經過訓練的模型展示了所需水平的能力，就該使用推理管道了。推理管道是ML組件，將在操作中使用的實際AI工具中使用。該管道的示意圖如圖5所示。

圖5：ML 模型推理管道

人工智能工具將被要求不斷監控傳感器和操作員的情報，以獲得最準確的現實畫面。該數據將組合成與每個空中目標相關的提示數據集。一旦一組提示數據可用，它將被提供給ML模型，以便進行預測。然后，該預測將通過本工作前面討論的AI工具的其他組件提供給ADO。一旦投入生產，該模型還將通過運行來自新威脅評估情況的示例和迄今為止ADO對預測的反饋來保持最新狀態。這種訓練可以以在線方式（即連續）完成，也可以通過批量訓練（即以設定的時間間隔一次對所有示例進行訓練）完成。該模型還將對其性能進行監控，以確保準確性和損失不會隨著操作現實的變化而隨著時間的推移而降低。如果檢測到性能下降，則人工干預和糾正可以使系統恢復到以前的性能水平。

3.5 威脅評估和人工智能流程

本小節將解釋威脅評估過程的背景以及傳統上它是如何完成的。它還將標志著傳統流程中的挑戰和通過智能決策支持系統(DSS)改進的機會。還將介紹AI工具及其與傳統DSS威脅評估的關系。

3.5.1 用于威脅評估的因素和結構

有關因素信息和分類的描述，請參見[21]。出于 AI 目的，因素數據應構造為包含m個因素的向量，其中m是觀察中的因素數量，每個條目是一個因素值。每個完整的向量都是一個樣本，如果有足夠大的樣本訓練數據集，就可以進行機器學習。

對于空中威脅評估，已經確定了16個因素來構成關于目標的最有價值的信息[4]。這些見表 1。

表 1：用于目標威脅評估的因素。

3.5.2 挑戰和機遇

威脅評估過程絕非易事。這是一項壓力極大的任務，需要做出復雜的決策。該過程的認知和物理性質是由于各種原因造成的，當它們結合起來時，會對操作員的決策過程產生不利影響。

操作員不僅必須處理來自各種來源的大量和類型的信息，而且還要同時管理多個任務。例如，操作員管理可能來自眾多媒體、顯示器和人員的音頻、口頭和視覺信息[4]。除此之外，他們還必須執行其他任務，例如監控指定監視區域內的空中目標、了解可用資源以及準備情況報告[4]。這種高度的多任務處理和信息過載給威脅評估任務帶來了認知復雜性和身體壓力。

除了大量數據之外，運營商還面臨著信息中固有的不確定性。運營商必須考慮到數據源的不完善性以及人類行為的不可預測性[3]。不確定性量化和感知在威脅評估過程(和戰術軍事行動一般[3]，因為運營商依賴決策過程中的數據來獲取環境(和對手)的感知。

在時間限制下操作人員的工作也造成了相當大的壓力。需要時間來收集信息、處理信息并最大限度地減少不確定性。但是，空中目標正在高速移動，因此必須根據可用的融合做出決策此外，用于信息收集/處理和不確定性最小化的時間越多，制定后續決策和行動的時間就越少，對手收集/處理信息和行動的時間就越多。最后，錯誤決定的后果是嚴重的，甚至可能是災難性的。飛機的錯誤分類1988年造成290名平民死亡的事件[27]就是決策失誤的一個例子。操作員工作的重要性和不正確執行的后果增加了任務的壓力。

運營商在威脅評估過程中面臨的挑戰促使人們研究如何在不影響威脅評估可靠性的情況下減輕認知和物理工作量。更具體地說，有機會開發用于空中目標威脅評估的決策支持系統(DSS)[4]。圍繞DSS的設計原則（即DSS 所包含的內容）有許多著作。

DSS的關鍵要求之一是它不能取代運營商；相反，DSS是對運營商的補充。[3]將此要求描述為DSS充當“決策支持而非決策自動化”。這方面允許在威脅評估過程中操作員和系統之間的協作。讓人參與決策過程是至關重要的:人在環方面確保每個決策都有責任。軍事行動的合法性要求問責是其行動的組成部分，問責包括明確的合法性和道德標準。如果在這個過程中沒有操作者，那么誰應該為錯誤決策的后果負責的模糊性就會帶來法律和道德上的分歧。

除了確保操作員始終參與決策之外，文獻中還介紹了其他設計原則。[2]根據文獻及其實地工作，詳細列出了設計威脅評估系統的規則。顯著的設計特點包括：

1.透明度：DSS應該能夠證明其計算和后續建議的合理性[3,4]。因此，DSS應向操作員提供導致最終值[2]的中間計算以及每個提示對最終威脅值[4]的影響。消除DSS的黑盒特性的重要性在于建立對系統的信心和信任[3]。如果不知道決策/建議是如何生成的，人類不太可能接受自動化系統的決策/建議[29]。理解上的不透明為誤用和錯誤創造了機會[12]。由于使用機器學習方法來構建AI工具，因此這是這項工作的一個重要考慮因素。機器學習方法不限于人類定義的決策規則，因此可以表現出黑盒性質。因此，與傳統DSS相比，AI工具的透明度更為重要。

2.處理不確定性：DSS決策所依據的數據中有許多不確定性來源（例如，傳感器數據、威脅值計算中的參數）[2]。處理不確定性也是DSS的一個重要設計特征，因為它允許運營商調整他們對系統的信任級別。在[2]中，這個設計方面是通過使用提示數據的區間表示來實現的。

3.信息的有效和交互式顯示：使用圖形格式顯示信息很重要，因為威脅是一個模糊的概念[4]。應傳達給操作員的重要信息是威脅等級、威脅歷史、線索列表[4]，以及與建議相關的不確定性[3]。除了顯示信息之外，系統還必須能夠提供操作員可以與之交互的媒介。這可確保操作員留在威脅評估過程中[3]。

本報告中提出的人工智能工具可作為空中目標威脅評估的DSS。人工智能工具的人工智能方面在于系統的運行方式。更具體地說，人工智能工具將把人工智能概念（例如，機器學習、適應）納入其操作中。

3.6 AI 工具

AI工具將能夠集成到空中威脅評估的所有階段。本小節將描述威脅評估的每個階段與AI工具的能力之間的關系。

空中威脅評估的階段如下[4]：

1.掃描并選擇提示。

2.比較、調整適合和適應。

3.計算威脅等級。

4.繼續處理。

關于1（掃描并選擇提示），AI工具將能夠使用所有可用的提示。這與人類操作員不同，后者僅審查18個可用于評估飛機的線索中的6到13個[4]。這些信息將通過各種傳感器從環境中收集，然后通過通常的情報報告或傳感器讀數方式進行報告。這些數據將被編譯到一個數據庫中，供AI工具訪問以從中進行學習和預測。

關于2（比較、調整擬合和適應），AI工具將對數據庫中可用的線索進行計算。該數據可以與ADO專家提供的感知數據（例如預期海拔）進行比較，并檢查實際數據是否一致。如果數據與預期不一致，人工智能工具會將差異與歷史示例進行比較，以提供對差異的解釋或調整。如果數據無法協調，則可能需要調整模型的擬合度，人工智能工具可以選擇將飛機作為不同類型（即軍用、民用）進行處理。

關于3（計算威脅評級），人工智能工具將使用可用的線索，如果它增強預測，可能還會使用這些線索的子集，來預測目標的威脅評級。 Liebhaber、Kobus 和 Smith 在[30]中發現威脅等級獨立于檢查的線索數量。

關于4（繼續處理），如果所有提示數據都可以充分解釋，人工智能工具將完成分析，或者它將繼續搜索和處理新的提示。這個過程將一直持續到模型通過基于解釋的輸出獲得ADO的批準，或者直到所有可用的線索都被處理并且模型擬合得到盡可能好的調整。

3.7 AI 工具在威脅評估中的挑戰

第3.5.2節概述的關于操作員對DSS的信任的關鍵點之一是用于生成威脅評估結果的模型的透明度。操作員很難對沒有提供理由和解釋的機器輔助預測有信心[4]。出于這個原因，已經創建了許多在計算和標準加權方面具有透明度的DSS方法。例如，許多MCDM方法可以為每個單獨屬性的權重以及它們如何對最終威脅評估做出貢獻提供充分的理由。這是MCDM DSS工具的優勢之一。不幸的是，這種透明性可能會導致工具缺乏復雜性和表現力。相反，機器學習工具可以同時基于所有數據點之間的非常深的聯系做出假設，這可能是以人類不會的方式。這種增加的復雜性往往會降低工具的透明度和可解釋性。

某些機器學習方法的結果仍然是透明的，并且以與自學的MCDM方法相似的方式工作。例如，線性回歸模型可以提供每個線索如何影響最終威脅評估評估的完整理由。該模型既受益于透明度，也受益于無需人類專家參與的自學。

其他一些機器學習模型并沒有從透明度中受益。最先進的機器學習模型之一是神經網絡。這是一個擁有大量研究的大領域，也是深度學習分支的新爆炸。這些方法不那么透明。在[31]中發現的2020年文獻調查探索了許多現有的試圖使神經網絡和深度神經網絡推理對最終用戶可解釋的工作，但是，局限性仍然存在。

現實世界的威脅評估變量通常包括決策過程各個級別的不確定性。對威脅評估準確性的最大影響之一來自根本沒有獲取的數據。這種丟失的數據可能是由于無法收集、傳感器故障、傳感器誤報或許多其他原因造成的。當數據完全丟失時，就很難就目標所擁有的威脅做出明智的決定。幸運的是，機器擅長執行計算，可以估計、替換或忽略丟失的數據。

在[22]中，探索了為每個決策結構預先計算不同查找表的選項。這將涉及根據每種可能的信息缺乏狀態訓練許多不同的模型，并將它們與完整狀態相關聯。這假設對于訓練有大量完整的示例可供借鑒。不幸的是，“為所有可能的輸入組合訓練網絡的天真的策略在復雜性上呈爆炸式增長，并且需要為所有相關案例提供足夠的數據”[32]。相反，[32]建議定義一個可以被認為是真實的基礎模型，然后將所有數據與該模型相關聯。

在許多可能的情況下，在訓練時沒有或只有很少的完整示例可用。在這種情況下，必須確定是僅使用完整數據進行訓練，還是以某種方式合并不完整的示例。在[32]中，發現用均值代替缺失輸入會導致比僅基于完整示例訓練網絡更差的性能。因此，尋求改變神經網絡架構或訓練方法的方法，以有效地合并（可能大量）不完整的數據示例。

使用不完整數據進行訓練的最有效方法之一來自[33]。本文證實，在訓練神經網絡中使用原始不完整數據可能是比在學習開始之前填充缺失屬性更好的方法。所采用的方法涉及對神經網絡架構的輕微改變，但應該與大多數現有架構兼容。該方法通過將第一個隱藏層中典型神經元的響應替換為其期望值來工作。高斯混合模型在每個神經元的輸出上進行訓練，以學習概率密度函數和期望值。這消除了通過單個值對任何缺失屬性進行直接插補的需要。 “隱藏層不是計算單個數據點的激活函數（對于完整的數據點），而是計算神經元的預期激活”[33]。該方法還取得了與其他現有方法可比的結果，這些方法可以從不完整的數據中進行預測，但需要完整的數據進行訓練。

另一種方法可以通過提高缺失數據插補的準確性來采取。[34]研究了文獻中許多可能的數據插補解決方案。它還指出，一些無監督學習聚類算法，如分類和回歸樹(CART)和K-means，已適用于缺失數據的問題。缺失數據插補的優點是不需要對實際的機器學習模型或平臺進行任何更改。當前存在或將來構建的任何基于完整數據提供準確預測的方法都將有效地處理通過插補生成的數據。數據插補的目標是以盡可能接近現有真實數據分布的方式填充缺失值。如果成功完成，則可以對新完成的數據使用現有的統計分析和機器學習工具。

4 AI工具的架構

在本節中，將討論AI工具的潛在架構。將涵蓋從面向操作員的界面到AI組件組合的設計。所提出的AI工具的整體架構可以在參考文獻[35]中看到，它需要三個主要組件，如圖6所示。

圖6：AI 工具的概念框架

未來的人工智能工具可能會將舊的基于模型或自上而下的方法與新的數據驅動的自下而上的方法結合起來。這種類型的系統允許人工智能工具擁有一個由數百或數千個專家派生規則以及數百萬條特定領域知識（如歷史傳感器數據）組成的知識庫[36]。一種可以結合領域專業知識和數據驅動學習的人工智能系統是回歸樹。圍繞回歸或分類樹構建用于空中威脅評估的AI工具將是一個不錯的選擇。回歸樹的另一個好處是它們的輸出可以被人類操作員解釋，并且可以解釋它的選擇。整個模型基于一系列決策或規則，這些決策或規則可以在操作員界面中作為理由提供。這使ADOs可以對AI工具提供的評估充滿信心，或者質疑為什么某個值的解釋與他們的解釋不同。

AI工具的前端組件將是所有ADO交互發生的地方。它將顯示可用信息和AI工具獲得的見解。它還將允許ADO與信息交互并形成自己的結論。此前端將需要分析ADO工作流程。在[4]中已經對美國海軍ADOs進行了采訪，并提出了許多不同的圖形顯示建議。前端應顯示計算出的軌道威脅等級，并為該評估提供證據和解釋。還應提供原始數據，以便ADOs可以確認AI工具的假設。盡可能以圖形方式呈現給用戶的概率，因為這會減少冒險行為[37]。前端還將通過使用強化學習來利用AI功能。應制定一項獎勵快速完成ADO活動的政策，例如將資源分配到目標軌道以保護資產。此RL算法將能夠決定用戶界面(UI)元素的放置位置以及UI上顯示的內容。如果將常見動作從菜單移動到主顯示屏增加了RL功能獲得的獎勵，那么ADO完成任務所用的時間將會減少。這確保了前端最終變得最優，并適合實際ADOs的工作流程。

人工智能工具后端的兩個不同元素之間存在區別。在AI中，該工具可以是正在學習的，也可以是經過全面訓練并準備好執行的。首先將檢查學習后端。無論是第一次訓練AI工具還是處于持續學習狀態，它都會利用學習后端。學習后端連接到包含歷史數據的知識數據庫，可用于提供數百萬對自下而上的人工智能技術有用的數據點。這是機器學習和決策樹將特別有效的地方。如果實施決策樹學習算法，它將能夠創建有助于根據歷史數據和決策對新目標進行分類的規則。這些規則還允許AI工具向ADOs解釋其輸出。

當工具準備好用于生產并與前端交互時，將使用正在執行的后端。這種執行就緒狀態將存儲自上而下或基于模型的人工智能的人類專家規則。該組件將是一個由學習后端輔助的專家系統。通過對ADOs的專業知識和對目標線索重要性的看法的采訪中獲得的數千條規則將使其成為AI組件。同時，通過將這些人工規則與通過機器學習在學習后端找到的規則相結合，可以優化值和預測。

一些功能性和非功能性需求可以從目前已知的用于威脅評估的AI工具中指定。更高級的要求應通過與未來ADO 客戶的面談來制定。

4.1 功能需求

1.當傳感器或智能數據更新時，人工智能工具應攝取數據并進行訓練或預測。

2.AI 工具應為 ADO 定義的感興趣區域內的所有目標提供評估預測。

3.界面應提供評估說明并允許 ADO 交互。

4.AI 工具應提供自動模型訓練或新數據的重新訓練。

5.AI 工具應與 ADO 請求時可用的任何數據子集一起使用，并在新數據可用時合并它。

4.2 非功能性要求

1.AI 工具應在數據可用后 100 毫秒內提取數據。

2.AI 工具必須處理每個實例和感興趣區域的數百個目標。

3.AI 工具應在 2 秒內提供 ADO 要求的特定威脅評估。

4.界面必須符合 ADO 偏好，并允許在 3 次點擊內訪問所有常用命令。

5.人工智能工具必須對缺失的數據做出強有力的反應，并繼續進行評估和學習。

4.3 未來步驟

本報告之后的下一步將是開發供ADOs用于空中威脅評估的AI工具。為完成此目標應采取的一系列步驟如下：

1.需求分析：人工智能工具開發人員應在威脅評估過程的每個階段與關鍵決策者坐下來。應采訪ADOs，以確保該工具滿足其工作模式和預期結果的所有要求。還應與流程早期的關鍵人員進行面談，以確保系統兼容性。這將包括傳感器和其他資產經理，他們可以確認系統輸出將如何格式化并提供給AI工具。人工智能工具完成分析后，需要以有用的格式輸出和存儲，因此依賴人工智能工具輸出的系統中的決策者應該分析他們的需求。

2.確定AI工具所需的組件：完成需求分析后，開發人員應決定哪些通用AI工具組件將需要，哪些可以省略（如果有的話）。可能還需要開發某些專門的組件來支持威脅評估和軍事環境所面臨的獨特挑戰。應該開發工具的架構，并為每個組件分配明確的職責。該架構還將受益于每個組件之間的嚴格輸入和輸出合同，以便數據可用于現有系統。

3.AI和ML組件的選擇和評估：架構和需求確定后，應該明確哪些類型的AI和ML適合該問題。每個可能涉及AI或ML的組件都需要提出和訓練多個候選人。然后將比較這些候選者，以確定哪個最有效地解決了獨特的要求。一旦選擇了最佳模型并選擇了正確的AI類型，所有模型將被移入生產環境并準備連接到AI工具中的其他組件。

4.文檔和培訓：一旦開發了最終的AI工具并通過代碼注釋和其他文檔工具正確記錄了文檔，就該開發外部文檔了。該文檔應傳達AI工具的實用性以及如何有效使用它及其功能。審查ADO要求將有助于為受眾塑造文檔。一旦開發了該工具，培訓會和從ADOs收集反饋將很有用。

5.集成到生產系統：人工智能工具將投入生產，以協助ADOs進行空中威脅評估。需要檢查智能管道中較早的系統和管道中較晚的系統之間的所有連接以確認兼容性。

6.監控和維護：隨著時間的推移，隨著新威脅或新情況的發現，人工智能工具將能夠得到更新和改進。無論是通過人工還是自動系統，持續監控AI工具以確保預測質量不會隨著時間的推移而降低，這一點很重要。通過使用新版本更新舊模型，也可以納入AI和ML研究的新改進。

5 結論

人工智能工具是執行通常由人類處理的復雜任務的最先進方法。這為提高人類操作員的效率和有效性提供了許多可能性，例如執行高腦力任務的ADOs。威脅評估就是這樣一項非常適合人工智能協助的任務。重要的是要承認，人工智能工具不會取代操作員做出關鍵決策：相反，它們將為決策者提供更準確的數據，以有效地做出關鍵和及時的決策。

將ML集成到AI工具中可以帶來許多過去只能通過人類設計才能實現的新可能性。ML可以讓AI工具在沒有人類教授或者面對不斷變化的情境要求或敵人能力的情況下，從數據中學習。它可以重新設計AI工具交互，使其對 ADOs盡可能有用。它可以幫助將新目標與歷史示例進行聚類，從而為ADOs提供更好的威脅心理模型。可以自動檢測異常數據或空中目標并向操作員報告。

熟練和經驗豐富的ADOs與AI工具的結合將實現更快、更準確和更強大的空中威脅評估。通過讓人工操作員參與進來，該工具將保持ADO的責任和專業知識，同時提高生產力和效率。結合處理不完整數據狀態的現代方法也將使該工具對數據不準確或不可用具有魯棒性。

因此，該工具應該有助于國防和威脅評估過程。

【報告標題】

Human Factors and ISR Concept Development and Evaluation 人為因素和情報、監視、偵察 (ISR) 概念開發和評估

【報告來源】

北約技術報告

【出版時間】

2022年2月

【研究問題】

情報、監視和偵察 (ISR) 行動是關于收集信息并向操作員提供信息，而操作員又需要就其戰區的各種行動方案做出具體決策。可以肯定的是，ISR 行動是技術密集型的。然而，與此同時，ISR 行動是一個非常以人為本的過程。盡管如此，ISR 概念開發和評估 (CD&E) 過程中幾乎沒有人為因素 (HF) 研究。通過研究新的ISR技術和概念對不同操作環境下操作員性能的影響，研究人員可以提供更科學的建議，為高層政策和決策者提供關于所有ISR環境下未來ISR技術和能力的信息：包括空中、海面、地下和空間。就這一點而言，HF 研究方法應成為任何 ISR CD&E 過程的組成部分，為 ISR 指揮鏈各級的政策和決策者提供信息和建議。

【研究目的】
 北大西洋公約組織 (NATO) 研究和技術組織 (RTO) 人為因素和醫學 (HFM) 小組任務組 (RTG) 276 (NATO RTG HFM-276) 題為“人為因素和 ISR 概念開發和評估”，旨在識別和理解對有效 ISR 操作至關重要的 HF 問題。更準確地說，這項開創性工作的目標是：

1 確定有效 ISR 行動的關鍵 HF 問題（例如，態勢感知、工作量、組織結構、協調和協調機制、可視化、信任、信息共享和管理、領導力以及做決定）;

2 使用行為理論模型來發展我們的研究方法并理解我們的發現；

3 就 ISR CD&E 操作中 HF 研究的使用和實施提出建議。

【結果、意義、影響】
 北約 HFM-276 任務組使用組織有效性模型開發了一組調查，以識別和了解對有效 ISR 行動至關重要的 HF 問題。該模型的核心是由任務、收集、處理、利用和傳播 (TCPED) 組成的 JISR 流程。源自該模型以及其他來源的數據收集計劃著眼于 ISR 行動中的一些 HF 問題的作用：基本 HF 知識、情況評估、工作量、組織結構、信任、信息共享、信息管理、領導力、文化、組織過程、組織靈活性、共享意識和責任、協調和協調機制、決策、能力、情報請求管理（IRM）、通信、元數據和應用系統。所有這些 HF 因素都會影響 ISR 操作概念并影響操作員的績效。此外，該報告總結了一些改進北約和非北約行動的 ISR CD&E 過程的實際影響，重點是開發應包含在 ISR CD&E 過程中的 HF 研究方法。這種 HF 方法將像技術和程序 ISR 概念開發的質量控制組件一樣工作。預計研究結果將有助于為 ISR 指揮鏈各級的政策和決策者提供信息和建議，以增強北約 ISR 規劃、任務執行和能力發展中的信息和決策優勢。它還有望幫助告知 ISR 與其他聯合流程的整合，例如在確定當前與 ISR 相關的 HF 差距以及與其他流程整合方面的聯合目標。