認知與神經人體工程學/神經工效學（CaN）協同技術聯盟（CTA）是一項為期 10 年的神經科學基礎科學研究和技術過渡計劃。該計劃由美國陸軍作戰能力發展司令部陸軍研究實驗室于 2010 年成立，是政府、行業和學術合作伙伴之間的一項合作計劃。在其任期內，CaN CTA 在神經科學、神經技術和相關領域取得了重大進展。CaN CTA 的工作影響了許多利用神經技術增強下一代士兵系統的陸軍項目。本報告對該計劃的愿景、方法和影響進行了高層次的概述，并詳細介紹了成員組織取得的科學進步和技術成果。

報告簡介

認知與神經工效學（CaN）合作技術聯盟（CTA）一直是美國陸軍在神經科學領域的旗艦基礎科學研究和技術過渡計劃。在過去的幾十年里，神經科學的進步極大地推動了我們對大腦功能如何支撐行為的認識，為理解我們如何感知、認知和與世界互動奠定了現代基礎。這些認識已經并將繼續帶來革命性的進步，促進技術解決方案的發展，以滿足軍隊的需求。

CaN CTA 于 2010 年 5 月啟動，匯集了世界一流的研究人員、經驗豐富的行業合作伙伴以及美國陸軍作戰能力發展司令部陸軍研究實驗室最優秀的科學家，以利用全球在神經科學研發方面的巨大投資。CaN CTA 的科學研究和開發計劃旨在推進和加速基于神經科學的方法的成熟，以了解士兵在作戰環境中的表現，并增強下一代自適應士兵系統。

本報告總結并重點介紹了整個聯盟在過去 10 年中取得的成就。更多信息，包括視頻演示和軟件工具，請訪問發展司令部陸軍研究實驗室 CaN CTA 網站。同樣，本報告的第 13 部分還包含了一份具有代表性的清單，其中列出了 CaN CTA 合作研究發表的 50 篇具有重大影響的論文。

1.1 組織

現代神經科學研究是一項真正的多學科研究。在全球領先的研究機構中，神經科學研究由來自不同領域的科學家進行，包括但不限于神經科學和神經生物學、遺傳學、心理學、運動學、統計學、應用數學、物理學、計算機科學和工程學。這些研究工作有賴于作為 ARL CTA 核心的合作關系。CaN CTA 的合作機構從臺灣到德國，真正體現了 CTA 的理念，匯聚了來自全球各地世界級研究機構的頂尖學者。

在行業合作伙伴 DCS 公司（DCS）的領導下，CaN CTA 聯合會的成員包括學術研究界公認的領軍機構。在其 10 年的執行過程中，CaN CTA 聯盟及其合作伙伴包括以下機構： 哥倫比亞大學、卡內基梅隆大學 (CMU)、加州大學圣地亞哥分校 (UCSD)、加州大學圣巴巴拉分校 (UCSB)、德克薩斯大學圣安東尼奧分校 (UTSA)、佛羅里達大學 (UFL)、密歇根大學 (UMI)、馬里蘭大學巴爾的摩郡分校 (UMBC)、 賓夕法尼亞大學 (UPenn)、約翰霍普金斯大學 (JHU)、臺灣國立交通大學 (NCTU)、澳大利亞悉尼科技大學 (UTS)、德國奧斯納布呂克大學 (UOs)、西班牙龐培法布拉大學 (UPF) 和 Syntrogi（現為 Intheon）。

1.2 技術轉移

即使進入該計劃的最后一年，CaN CTA 仍在繼續克服現實世界中神經成像和自然環境中人類表現建模所面臨的各種挑戰，這些挑戰可用于促進廣泛的神經技術。在這些努力中，有些工具和概念已過渡到 CTA 內外的學術、政府和行業合作伙伴。以下是一些例子：

• CTA 合作伙伴開發了新穎的機器學習 (ML) 方法，以前所未有的方式探索和利用神經生理學數據。CTA 合作伙伴展示了人工智能的概念驗證，該人工智能利用在多個不同數據集合中訓練的分類模型，在非結構化環境中檢測任務相關物體的感知，而無需特定用戶校準。

• CTA 合作伙伴已將干電極腦電圖 (EEG) 的創新解決方案原型提供給 ARL、其他學術實驗室和行業。ARL 已對無線干電極系統進行了測試，并將其集成到多個應用研究項目的儀器中。此外，一些商業干電極腦電圖產品也利用了這項研究，并被多個教育機構采用。這些機構包括加州大學圣地亞哥分校、馬來西亞大學、英屬哥倫比亞大學和韓國科學技術院。此外，一些干電極產品和評估方法已過渡到大型和小型行業利益相關者的實驗室，如日產汽車公司（日本）、NeuroRex 公司（美國）、Alchemy 公司（臺灣）、Neurocare 公司（新加坡）、Google X 公司（美國）和英特爾公司（美國）。

• 實驗室流層（LSL）是一種多視角數據采集（DAQ）和同步軟件骨干，目前正被神經行為系統公司采用，以集成到商業刺激演示工具 Presentation 中。此外，LSL 已成為 ARL 多個項目的關鍵集成和同步技術，包括下一代戰車和士兵致命性跨職能團隊支持的大規模研究工作。重要的是，全球越來越多的學術和工業實驗室正在使用 LSL，以創建一個統一的人類傳感生態系統。

• CTA 合作伙伴還開發了一系列其他軟件工具，用于對大腦功能進行無創調查（使用腦電圖和其他模式）。其中許多工具被納入更大的工具套件，如 BCILAB（即腦機接口 [BCI] 平臺）和 EEGLAB。

• CaN CTA 還在政府實驗室內外尋求技術轉讓和集成目標。特別是，我們開展了轉化研究，以實現未來汽車環境中人類自主集成的進步。我們通過在真實道路上對真實汽車進行調查，同時增加真實世界的社會效應，推進了我們的駕駛研究。與此同時，我們還與一個應用研究項目進行了協調，該項目正在調查駕駛員與現代駕駛輔助技術互動時的大腦過程。

• CaN CTA 的努力促成了一項新的應用研究計劃，該計劃將利用上述幾項技術，完善并驗證一個新概念，即通過對多人視覺感知相關信號的機會性感應，提高騎兵和下車士兵的戰術態勢感知能力。除其他計算技術外，該計劃還利用在先前數據集上訓練的深度學習方法來實現免校準操作，以協同改進計算機視覺算法（給定人類標記數據）。這項技術的目標是在不增加士兵認知負擔的情況下，通過人與自主系統的無縫集成來提高部隊效率。

1.3 愿景

認知神經科學的最新進展極大地促進了我們對大腦功能如何影響行為表現的了解。然而，迄今為止，包括認知神經科學在內的絕大多數人類科學研究工作所采用的方法論和分析方法都存在固有的局限性。CaN CTA指出的技術障礙概括了這些局限性，這些局限性導致人們只能了解人腦如何在高度受控的實驗室環境中執行高度受限的任務。反過來，這也意味著以往的系統開發方式和技術進步方法無法充分考慮士兵操作員的神經認知能力和局限性。

技術障礙：

• 實驗設計僅限于高度受控和貧乏的刺激-反應范式和環境。

• 缺乏便攜的、用戶可接受的、微創的、強大的大腦和身體動態監測系統。

• 未能足夠詳細地記錄大腦控制的整個行為，以及影響大腦功能的環境的物理和社會文化影響。

• 缺乏數學建模方法和軟件，無法找到環境、行為和大腦功能瞬間變化之間的統計關系。

• 缺乏足夠的數據檔案和資源，無法系統地研究認知監測所得出的個性化模型與不同任務中個體差異之間的關系。

• 缺乏利用生理信號的實時測量來影響操作者認知狀態或為適應性技術提供信息的原則和方法，從而在不同時間和不同個體之間提高人類系統的性能。

嫻熟的認知和傳感運動性能是有效利用先進技術能力執行任務的基礎，這種性能顯然是在神經系統層面上組織起來的。特別是，傳感器部署、自動化和通信帶寬方面的技術進步將強化對士兵的信息處理要求。任務的成功與否將取決于士兵能否很好地認識到所積累的信息對正在發生的事件的重要意義，以及他們能否將相關信息整合到能夠支持有效決策和行動的態勢感知中。相反，面對日益復雜的信息流，士兵在理解和決策方面的認知障礙將成為有效利用先進戰場技術的關鍵瓶頸。隨著士兵在戰場上與適應性更強的 "智能 "系統互動，這些挑戰只會愈演愈烈。

因此，CaN CTA 的科學愿景認為，要滿足士兵的關鍵需求，陸軍神經科學工作必須能夠提供并利用對人腦在真實世界作戰環境中面對真實任務時如何運作的清晰工作理解。這一愿景源于生態心理學的既定理論基礎以及具身或情景認知的概念，這些概念認為，在脫離個人背景的人工場景中，要理解自然的、有動機的行為實際上是不可能的。

為了實現這一愿景，我們需要新的神經科學探究方法和新的能力，以便在操作相關的環境中開展神經科學研究。CaN CTA 通過以下方式直接解決這六大技術障礙：

• 開發實驗范式，捕捉真實世界環境中經歷的多感官刺激流的展開性質

• 開發和使用新型可穿戴傳感器套件，用于監測自然行為期間的大腦和身體動態，以及用于實現綜合監測能力的軟件系統

• 獲取和處理高維數據集，這些數據集能足夠詳細地描述各種情況下的身體、心理和生理行為及其環境背景

• 發現模型和新方法，用于識別和解釋高維數據集之間的統計關系，這些數據集描述了復雜任務執行過程中環境、行為和大腦功能的動態變化。

• 獲取和分析來自大量參與者樣本的數據，以確定個體間和個體內的差異，從而系統地研究為認知監測而推導的個性化模型與績效、認知能力和個性方面的個體差異之間的關系。

• 概念框架和功能架構，可獲取和解釋多視角數據，以便實時集成到人機系統中

自這一方法推出以來所取得的成功反過來又促成了神經科學在將基礎研究轉化為軍事相關領域方面取得進展所依據的原則的確立，即確立和闡明基本的轉化原則。這些原則指導了技術解決方案的開發，這些解決方案與人類神經系統在其動態、復雜環境中的能力和局限性相協調。

1.4 走向愿景之旅

自計劃開始以來，CaN CTA 始終牢記上述愿景，并努力降低障礙。在計劃實施過程中，CaN CTA 通過以下方式降低了障礙：

• 先進計算方法的獨特發展，以提取現實世界行為的神經信號相關性，以及由此產生的一套促進研究和應用的多樣化軟件工具
• 在各種現實模擬或真實世界環境中，對受到最小限制或不受限制的受試者進行前所未有的多模態數據收集
• 腦電圖非侵入式和移動式傳感器的進步，以及促進傳感器性能評估方法的開發
• 制定和測試概念，利用上述所有功能增強士兵系統的能力

在整個計劃期間，這些成就可以看作是在前一階段基礎上開展的一系列研究階段。在此，我們重點介紹計劃的這些階段。

計劃第 1 年：CTA 致力于制定合作計劃愿景和研究項目，為許多研究想法播下種子，并為未來幾年更雄心勃勃的探索奠定基礎。在這一階段，計劃確定了之前闡明的愿景和科學障礙。如圖 1.2 所示，研究分為三類：神經認知性能、先進計算方法和神經技術。在逼真和逐漸復雜的環境中進行無創神經成像，并配合先進的計算方法來探索數據，是研究的基本主題。

計劃第 2 年：重新評估和調整研究計劃和進度，以提高效率，實現更有效的過渡。此外，CTA 開始詳細制定計劃，在限制較少的實驗范例中開展全 CTA 范圍內的合作神經生理學數據收集工作。為使實驗環境更加逼真，滿足軍隊環境的需要，一些實驗被設計成代表安裝（車內）環境，而另一些實驗則設計成代表下裝、行走環境。與此同時，在整個 CTA 中繼續開展需要較少方法準備的小型實驗和分析。

計劃第 3 年：計算方法的研究凝聚成可供社區使用的工具，整個 CTA 神經生理學數據收集的實驗裝置也已投入使用（圖 1.3）。CTA 開發了多受試者和單受試者車輛操作人員站，每個站都有多模態數據收集（包括高通道腦電圖）和運動模擬。此外，CTA 還采用了單受試者流動儀器，用于在實驗室和戶外收集數據。此外，CTA 還繼續完善數據的收集、組織和管理方法，以及促進探索大量、多樣的多模態神經生理學數據的方法。

計劃第 4 年：獨特的實驗系統和數據收集工具在多個 CTA 站點投入使用，以收集真實或現實環境中的多模態數據（見圖 1.3）。與此同時，在計算方法、真實世界傳感器和采集方法方面繼續取得進展，以促進對數據的探索。

計劃第 5-6 年：為了更直接地實現過渡目標，對前四年為推進整體感知和探索真實世界腦體數據而進行的累積研究進行了重新聚焦。特別是，如圖 1.4 所示，對研究進行了重組，以彌補在實現更強大的腦機交互技術 (BCIT) 方面的差距。隨著剩余的大規模數據收集工作的完成，該計劃將其項目重新調整為三個新的科學領域：高級計算方法（ACA）、腦機交互技術（BCIT）和真實世界神經成像（RWN）。隨著越來越多的多模態、真實行為神經生理學數據可用，組織、管理、探索和利用數據集的方法得到了更多的重視。因此，ACA 領域依然存在，但與其他兩個科學領域的聯系更加直接。此外，考慮到重要的研究工作從開始到結束至少需要兩年的時間，計劃規劃周期被延長為兩年一周期，一些重要的項目被規劃為三年執行一次。

三個新科學領域背后的驅動問題如下：

• ACA： 解碼、跟蹤和融合神經和非神經信息源以推斷狀態的最佳方式是什么？

• RWN：在實驗室的限制之外，大腦在現實世界中是如何運作的？

• BCI：我們如何利用神經信號改善人類與計算機、自主代理、環境甚至其他人的交互？

反過來，這三個領域又通過一個總體目標相互關聯：

• 對復雜任務和真實世界環境中的認知狀態進行持續、穩健的估計

計劃第 7-8 年：這一階段的重點是穩健型 BCIT（圖 1.5）。這項工作在閉環 BCI 系統方面取得了可喜的研究成果，為利用實時神經活動優化人機系統聯合性能奠定了基礎。與此同時，隨著合作者們繼續處理大量不同的 RWN 數據（主要包括腦電圖和其他表面傳感器數據），標記和預處理的方法也得到了標準化，從而為更廣泛的研究社區帶來了益處。

計劃第 9-10 年：聯盟將研究重點放在真實世界實驗（如高速公路駕駛）上，同時使早期的神經成像數據探索和利用方法達到真實世界應用所需的成熟度。特別是，在被動閉環技術背景下，對解讀多模態人體神經和生理數據的 ML 方法進行了改進和測試，以提高士兵的態勢感知能力（上馬或下馬）和操作安全性（圖 1.6）。此外，DAQ 和同步中間件 LSL 獲得了工業界和學術界的廣泛認可，并被整合到陸軍的應用和高級研究項目中，以調查未來行動中的有人-無人編隊協作情況。

為了促進北約指揮機構（NCS）、北約部隊機構（NFS）和其他關鍵組織之間的大范圍數據交換，北約正在不斷修訂支持作戰指揮和控制（C2）的廣域網。在北約通信和信息局（NCIA）的支持下，本十年最重要的任務之一就是重新設計和組織現有的機密網絡域，以支持當前和未來行動的高效 C2。 在這篇文章中，將簡要介紹 NCIA為創建更具彈性的機密域網絡所做工作的歷史背景，以及聯盟內部核心和功能服務的需求，以介紹已經確定的、可行的機密網絡增強解決方案。

引言

北大西洋公約組織（NATO）通用通信和信息系統（CIS）網絡（NGCS）于 1997 年推出，用于支持非機密和機密安全領域的北約指揮結構（NCS）要素（如盟軍最高司令部轉型 SACT、盟軍歐洲最高總部 SHAPE、布魯塞爾聯合部隊司令部 JFCBS、那不勒斯聯合部隊司令部 JFCNP 等）。與此同時，還需要國防網絡（NDN）和北約部隊結構（NFS）單位在上述物理和邏輯領域實現互聯，以便在北約和國家指揮部之間提供盡可能高水平的多重連接。為實現這一共同目標，需要建立一個稱為 NGCS 的全面、總體網絡結構。

北約部隊結構（NFS）單位都有專門負責包括獨聯體在內的所有層面支助工作的有機支助單位；然而，國家指揮系統的主要指揮部可能沒有為此目的的國家專門支助單位。因此，需要建立一個組織，在非機密和機密領域提供最大程度的 CIS 支持，即為 NCS 和 NFS 建立 CIS 網絡的靜態領域。為了完成這些任務，1996 年成立了北約咨詢、指揮和控制機構（NC3A），包括位于荷蘭海牙的 SHAPE 技術中心（STC）和位于比利時布魯塞爾的北約通信和信息系統機構（NACISA）。NC3A 是北約咨詢、指揮和控制組織（NC3O）的一部分，并向北約咨詢、指揮和控制委員會（NC3B）報告。2012 年 7 月，北約通信和信息局（NCIA）重組成立。

新成立的 NC3A（即后來的 NCIA）的主要前提之一是建立北約核心網絡（NCN），將通過網關、路由器和防火墻在物理域連接的 NCS、NFS 和 NDN 要素整合在一起。在這一術語中，NC3A 已開始成為將 NCS 和 NFS CIS 元素納入非機密和機密靜態域中的一個全面、可擴展網絡的組織。

北約網絡化能力（NNEC）倡議推動將北約機密領域作為整個聯盟的行動咨詢、規劃和執行工具，提供從主要指揮部到國家飛地的自上而下的方法；同時，北約在 20 世紀 90 年代末的擴張（匈牙利于 1999 年加入北約）要求在理念和物資方面采用新的網絡擴展方法。連網部隊倡議（CFI）確立了零日連通性的概念，使其成為新加入連網國家的戰略重點。零日連通性使新加入和現有的聯盟成員能夠運行核心 CIS 服務和選定的基本功能服務，以便在任何演習和行動開始之前就為主要 C2 功能提供連貫的基本網絡。

互操作性要求核心企業服務（CES）方面的總體連接，如電話、電子郵件、視頻電話會議和聊天，以及主要由 NCIA 提供的特定利益共同體（CoIs），列在 NCIA 成本服務目錄和服務費率中。

NFS 以及后來的聯合指揮與控制（C2）能力（JC2C）倡議促使各國建立北約戰備部隊（NRFs），并需要與 NGCS 互聯。在北約戰備行動計劃（RAP）出臺后，這一努力轉向與多國總部的大規模連接，通過實現從上到下的有效指揮控制（從戰略到戰術層面），進一步鞏固了北約機密領域，使其成為北約高度戰備部隊的基礎支柱之一。

為了應對這些挑戰，NC3A 和 NCIA 利用比利時的 Mons 和 Evere、意大利的 Lago Patria（那不勒斯）作為北約企業（CES 和 CoIs）服務和數據中心/樞紐，在機密領域建立了網狀網絡。大多數國家只需將 NGCS 向下延伸到國家總部，即可優先滿足其信息交換要求 (IER)。這意味著從上述由 NCIA 運行的數據中心到國家總部（用戶）之間的 "爐灶式 "連接，使信息渠道/通信線路面臨多種多樣的威脅，需要采取可擴展的措施，從整體上保障網絡安全。

另一個相關主題是全聯盟獨聯體在共同供資/單獨（國家）供資方面的資金問題。聯盟成員向北約基金支付預算，但根據調查和經驗，從 21 世紀第一個十年開始，聯盟迅速擴張，這表明 80% 的 NGCS 實際足跡被排除在北約共同資助的能力包之外。這意味著新加入北約的國家并不急于或沒有能力按照北約常用硬件和軟件的NCIA建議更新周期改進其機密的C2-使能CIS。這就導致在網狀網絡中存在大量過時的、與網絡相關的脆弱設備和工具，而這些設備和工具在設計上仍然沒有將這些國家擴展分隔開來。如今，當網絡挑戰成為我們這個相互聯系的世界中最嚴峻的威脅時，這些設備和工具的性能正在減弱，并可能危及整個 NGCS。

值得注意的是，國家管理的機密信息服務域激增，其目的是使其目錄（如文件服務器）和電子郵件（如交換服務器）與NCIA自動信息系統（AIS）域單獨同步，NCIA企業是各組織相互通信不可或缺的樞紐。 因此，目前由NCIA管理的NGCS(至少是靜態機密網絡域)顯然需要修訂和重新設計，這是立即應對21世紀網絡挑戰的一項重要任務。相關的應對措施將很大一部分決定權交給各組織（總部、國家等），由它們在創建自己的網絡和服務時采取有分寸、有針對性但至少是最低限度的適當行動。

在簡短的介紹之后，本文將回顧北約正在進行的程序，以便找到持續發展網絡化需求（信息交換需求 IER）的解決方案，將各國和其他組織作為信息樞紐納入具有嵌入式真實聯網能力的全聯盟網絡。

在這篇文章中，將簡要介紹 NCIA 當前為各國在機密領域創建彈性廣域網而開展的研究/趨勢，并將介紹各國和其他組織為實現這一更高層次的網絡互聯而采取的預期步驟。

可行的解決方案

顯然，聯盟的主要指揮部（NCS 要素）今后也必須得到 NCIA 的支持。利用聯邦任務網絡（FMN spirals）模型作為加入北約機密靜態網絡的模式，可以在 NFS 和其他組織的信息技術（IT）網絡領域實現革命性的變化。這樣做的目的是在這一相關領域創建一種保密互聯網，使各國和各組織有機會通過其專門的東道國和支助單位管理自己的網絡，最初由國家信息和通信管理局提供大力支持。

應對新出現的挑戰的一個可能辦法是由國家信息與通信管理局發起的聯盟聯合服務（AFS）項目。2019年4月，NCIA組織了關于這一主題的啟動/試點會議，會議以聯盟的北極星計劃為基礎。北極星 "是一項現代化倡議，幾乎涵蓋了北約發展的所有領域，目的是在通信領域創建一個以尖端技術為特征的聯盟，在信息技術方面提供具有抵抗力和彈性的 CIS 網絡，使聯盟能夠應對 21 世紀的挑戰。正如北約文件 C-M(2015)0041-REV2（國家/組織行動方案）、PO(2014)0801（CIS 安全）、C-M(2017)0062（北約 C&I 愿景）所述，"北極星 "的重要組成部分之一是由 NCIA 領導的 CIS/IT 現代化。調查和經驗表明，北約傘形網絡內有 600 多個存在點（PoPs），涉及整個保密靜態網絡。12 調查和經驗表明，北約傘狀網絡內有 600 多個存在點，籠罩著整個靜態保密網 絡。為了減少由北約信息中心管理的存在點的數量，讓更多的國家和組織參與其管 理，有必要重新設計、升級/安裝和管理/維護每個實體最多 2 個存在點，由北約(北 約信息中心)和國家/組織共同運行/監督。通過這些PoPs，各實體可以利用NCIA的CES和CoIs，也可以設計、運行和維護自己的服務（聯合服務），還可以向北約其他國家/組織借用或借用這些服務（NCIA企業對企業模式）。NCIA在CES和CoI方面利用民用和私人IT環境中眾所周知的云服務，為NGCS提供遷移服務支持。NGCS 必須轉型為更先進、更現代化的 IT 網絡，并將更名為北約通信基礎設施 (NCI)。

通往最佳的道路

基于 FMN 概念，新的 AFS 模式必須利用以下各層聯盟（根據 C3 分類法）。

• 網絡層
• 核心（事業）服務層
• 網絡安全層
• 信息技術基礎設施庫（ITIL）層
• 協同創新層
• 驗證和確認層

一旦完成了 NNG 的互聯，也就完成了分層，各層的聯合可能就是成功的關鍵。在定義了聯盟層之后，值得深入研究網絡層的各個層面，以便概述和確定國家、組織重新設置其連接性的真正需求和任務。表 1 列出了預先計劃的以網絡層為重點的聯邦計劃。

這項現代化工作的目標是將重點放在 2-3-4 型上，設計新的網絡布局，交換硬件（PoPs），重新設計互聯網協議（IP，目前為 IPv4）地址，開發服務管理（SM），包括服務質量（QoS）措施。

因此，很明顯，加入 AFS 首先必須是聯盟所有成員組織（NCS、NFC）和其他總部、國家分部的全國性努力。同樣顯而易見的是，一旦國家或組織擁有了最先進的、新建的網絡延伸，并有進一步擴大的光明前景，隨著 CES 和 CoIs 與其他聯盟成員組織的重組，國家或組織層面的重組將帶來最高的利潤和利益。

設計原則

正如已經指出的，目前的 NNG（帶有邊界保護服務 BPS 的邊界路由器）將直接連接到組織、國家的邊界路由器。NNG 可由 NCIA 和相關國家共同管理；但國家網關（如邊緣路由器）和 BPS 的管理必須由國家負責。換言之，邊界保護機制（可以是本地的和/或集中的）將由相關國家負責。

此外，邊界保護措施也是每個國家的明確利益所在。圖 1 顯示了從目前的網絡狀況到不久的將來的愿景的可能解決方案。

圖 1 清楚地表明，新網絡使聯盟能夠在整個網絡中運作，如同分類互聯網（IP 路由和域名服務 DNS）一樣，并以各國的努力為基礎。國家網絡可以擁有或接受北約企業提供的服務；但是，高度鼓勵每個國家網絡在核心企業和功能（CoIs）服務方面發展自己的聯盟聯合網絡（AFN）能力，這些服務由北約國家信息和通信管理局（NCIA）直接支持和監督，NCIA 仍負責管理整個北約機密靜態網絡。

NCIA還將支持國家IPv4專用空間的分配，建立NCIA命名和注冊管理局（NRA）。我們認識到，在過去幾十年中，NCIA 和國家/組織對適當的 IP 空間照顧較少，與民用環境一樣，隨著需求的增加，必須將 IPv4 交換到 IPv6，IP 空間的遷移是不可避免的，對于建立一個具有網絡復原力的機密網絡至關重要。

成功之路

NCIA為任何組織設計了將其陳舊網絡重新改造為聯合靜態網絡的步驟。如前所述，這是一項由NCIA主導的倡議，因此，該機構提供了實現全面連接的可行步驟。以下是最重要的、任何國家和組織都必須采取的行動，如表 2 所示。

完成上述步驟后，國家和組織顯然會受益匪淺，因為受尊重的實體可以完全控制和管理其整個保密靜態網絡，并有可能在未來進行擴展，包括擴大當前的保密靜態網絡，以連貫、可擴展、有彈性的方式實施可部署（任務）網絡或要素。這也是靜態和可部署機密網絡（利用符合 FMN 的網絡原則）在層級、CES 和 CoI 方面實現聯合的關鍵點。所有這一切都意味著，這個新形成的云將處于北約企業足跡之外；因此，它可以完全獨立地管理由 NCIA NRA 分配給它的 IP 空間。國家和組織可以創建新的網絡節點、改變網絡拓撲結構（擴展或縮小）、升級網絡設備以及部署新的應用程序和服務。從另一個角度看，這種聯合方法使國家和組織能夠按照自己的意愿，更重要的是根據業務需求和變化，自由地運行自己的保密網絡業務。

總結、結論和未來之路

顯然，由于北約戰略和行動文件規定的具體原因，目前使用的 NGCS 無法再進行管理。需要進行轉型，需要在北約機密和靜態網絡中利用 "調頻網絡 "原則進行緊急網絡升級。NCIA已于2019年啟動了AFS項目，以應對21世紀的挑戰，明確確定需求，然后由NCIA本身、NCS、NFS和其他要素（特別是國家和組織）制定規則、角色和責任，如何重新設計目前被稱為NGCS的過時的分類靜態網絡。

NCIA還提供全面的《聯合成員和退出指示》（JMEI），供整個聯盟的任何實體閱讀、消化、利用并最終采取行動，以做出最大努力。這就是網絡過渡倡議的明顯說明，按照該文件指導的步驟，各國、各組織可以成功、快速地加入這個新定義、新組建的網絡。

匈牙利也已經邁出了這一步，成立了我們分類靜態網絡的核心網絡規劃小組。在現階段，該委員會的主要任務是審查目前匈牙利北約保密網絡（HUN NSN）的布局和節點、PoPs，然后制定一個升級計劃、一個可行的解決方案，并向決策者提供適當的時間表、如何以及何時，最重要的是，根據美國戰地服務局（AFS）的原則，首先對匈牙利保密網絡進行改造，然后與誰進行聯合。

現在就提出了挑戰。堅信，根據美國戰地服務團的原則，HUN NSN 很快就會變成一個新的保密網絡。

制定量化不確定性元數據的軍事標準是解決利用人工智能/機器學習（AI/ML）軍事優勢所固有的問題。通過提供元數據，美國防部可以繼續確定使用人工智能/機器學習的最佳策略，與能力發展同步進行。這種協調將防止在解決與在作戰系統中實施AI/ML有關的困難技術問題時出現延誤。不確定性量化可以使觀察、定向、決定和行動循環的實際數字實施成為可能，解決在戰爭中使用AI/ML的道德問題，并優化研究和開發的投資。

引言

從基礎上講，美國軍隊不需要人工智能/機器學習（AI/ML）。然而，軍隊需要能夠比對手更快、更好地觀察、定位、決定和行動（OODA），以實現軍事優勢。機器有能力以比人類更快的速度進行觀察、定位、決定和行動，從而實現這一優勢。然而，關于允許AI或ML模型 "決定 "最佳軍事行動方案是否合適的問題仍然沒有定論，因為該決定可能導致破壞和死亡。

利用AI/ML的軍事優勢的潛在隱患已經被不厭其煩地提出來。有三個問題仍然是最令人擔憂的：（1）解決賦予AI摧毀事物和人的權力的道德和倫理考慮；（2）平衡發展AI/ML能力的成本和軍事效用；以及（3）確保對機器的適當信任水平，以最佳地利用對能力發展的AI/ML部分的投資。然而，作為元數據納入軍事信息的不確定性量化（UQ）可以解決這三個隱患，同時遵守美國防部的人工智能倫理原則。

美國防部的人工智能戰略將AI/ML技術的成熟作為優先事項并加以激勵。其結果是，試圖快速實施能力的活動紛至沓來，而對能力增長的可持續性或AI/ML使用的高階影響規劃卻少之又少。正如一位國防研究人員所指出的，"當技術變革更多的是由傲慢和意識形態驅動，而不是由科學理解驅動時，傳統上調節這些力量的機構，如民主監督和法治，可能會在追求下一個虛假的黎明時被削弱。"

美國國防高級研究計劃局認為，目前的AI/ML系統 "缺乏必要的數學框架 "來提供使用保證，這阻礙了它們 "廣泛部署和采用關鍵的防御情況或能力。"保證需要信心，而信心需要最小的不確定性。使用AI/ML的系統的這種保證可以幫助解決道德方面的考慮，提供對開發成本與效用的洞察力，并允許其在戰爭中的使用責任由最低層的指揮官和操作員承擔。

通過在AI/ML系統中實施不確定性量化的軍事標準，美國防部可以確保對這些系統非常需要的信任。此外，如果美國防部將不確定性量化作為對開發者的要求，有可行的方法來應用現有的數學方法來確定和傳播不確定性。然而，當軍方將這一標準應用于信息時，它必須牢記不確定性量化的高階效應和挑戰。

AI/ML的不確定性量化

為了解決上述三個陷阱，任何軍事數字系統內部和都應該要求進行不確定性量化。不確定性量化是為系統中的不完美或未知信息分配一些數字的過程，它將允許機器實時表達它的不確定性，為建立對其使用的信任增加關鍵的透明度。美國防部應實施一項軍事標準，規定對數字系統中的每個數據或信息的元數據進行不確定性的量化標記。一旦可用，這些元數據可以通過功能關系傳播到更高層次的信息使用，為AI或ML模型提供所需的信息，以始終表達它對其輸出的信心如何。

理解作為元數據的UQ需要理解計量學的基礎概念--與測量不確定度有關的權重和計量科學。也就是說，一個測量有兩個組成部分： 1）一個數值，它是對被測量量的最佳估計，以及2）一個與該估計值相關的不確定性的測量。

值得注意的是，2008年國際標準化組織（ISO）的《測量不確定性表達指南》定義了測量不確定性和測量誤差之間的區別。這些術語不是同義的："通常在被測物[被測量的量]的報告值后面的±（加或減）符號和這個符號后面的數字量，表示與特定被測物有關的不確定性，而不是誤差。誤差是指測量值與實際值或真實值之間的差異。不確定度是許多誤差的影響"。

在軍事術語中，"測量"是在OODA循環中收集和使用的任何信息。每條信息都是由某種傳感器測量的，并且會有一些不確定性與之相關。作為元數據的不確定性量化將至少采取兩種形式：根據經驗產生的測量不確定性（基于上文概述的計量標準）和統計學上假設的不確定性（通過一些手段確定，其中有很多）。

操作員在使用具有UQ功能的系統時，可以使用系統報告的不確定性來告知他們的戰術決策。指揮官可以利用這種系統在作戰甚至戰略層面上為各種類型的軍事行動設定所需的預定義信任水平，這可以幫助操作人員在使用AI或ML模型時了解他們的權限是什么。這也將有助于采購專業人員為AI/ML能力的發展做出適當的投資決定，因為它將量化效用的各個方面。此外，在使用AI/ML的系統中提供量化的最低限度的確定性要求，可以解決上面討論的三個隱患。

就使用AI的道德和倫理問題而言，對于 "讓AI或ML模型決定將導致破壞和死亡的軍事行動方案，是否符合道德或倫理？"這個問題沒有單一的正確答案。正如所有的道德和倫理辯論一樣，以絕對的方式處理是不可能的。

因此，美國防部應將軍事行動分為三個眾所周知的機器自主性相對程度之一：機器永遠不能自己做的事情，機器有時或部分可以自己做的事情，或機器總是可以自己做的事情。然后，美國防部可以為這些類別中的每一類定義一個最低的確定性水平作為邊界條件，并且/或者可以定義具體行動所需的最低確定性水平。決策或行動的關鍵性將推動UQ邊界的確定。使用不確定性量化包含了在處理使用AI/ML的系統的道德考慮方面的細微差別和模糊性。

當涉及到平衡人工智能/機器學習的成本與使用時，美國防部的受托責任是確保對人工智能/機器學習發展的投資與它的軍事效用成正比。如果人工智能/機器學習政策禁止美國軍隊允許人工智能決定摧毀某物或殺人，那么開發和采購一營完全自主的殺手機器人就沒有任何意義。因此，預先定義的最低不確定性界限將使采購專業人員能夠確定如何最好地使用有限的資源以獲得最大的投資回報。

在能力發展過程中優化對AI/ML的信任，將需要對AI/ML采購中普遍存在的經驗不足以及機器學習中不確定性量化科學的相對稚嫩進行保障。"不確定性是機器學習領域的基礎，但它是對初學者，特別是那些來自開發者背景的人造成最困難的方面之一。" 系統開發的所有方面都應該包括不確定性量化的元數據標簽，無論系統是否打算自主使用。

這些輸出可能會被卷進更高層次的數字能力中，然后需要UQ數據來計算不確定性的傳播。例如，F-16維護者的故障代碼閱讀器應該有不確定性量化元數據標記到每個故障讀數，在源頭提供這種量化。讀碼器本身并不打算納入人工智能或機器學習模型，而且該數據可能不會立即用于人工智能/ML應用，但故障數據可能會與整個艦隊的故障數據進行匯編，并提交給預測倉庫級維護趨勢的外部ML模型。元數據將跟隨這組數字信息通過任何級別的編譯或高階使用。

要求將不確定性量化元數據作為一項軍事標準，實現了美國防部長關于人工智能道德原則的意圖，其中包括五個主要領域：

• 負責任： UQ為判斷提供依據，為開發、部署和使用人工智能能力提供經驗基礎。
• 公平性： 人工智能中的偏見可以用與不確定性相同的方式來衡量，并且是基于許多相同的統計學原理。然后，偏見可以被解決和改善。
• 可追溯性： 要求每個層次的不確定性元數據能夠保證可追溯性。機器的性能問題可以追溯到有問題的部件。
• 可靠性： UQ允許開發人員檢查，并允許有針對性地改進最惡劣的輸入因素。
• 可管理： UQ作為自主性信任等級的邊界條件，可以用來定義實現預期功能和避免意外后果的準則。

采用這些道德原則是為了確保美國防部繼續堅持最高的道德標準，同時接受人工智能這一顛覆性技術的整合。不確定性量化是實現這一目標的實用方法。

在AI/ML中建立信任

蘭德公司的一項研究發現，信任是與人工智能/ML的軍事用途有關的大多數擔憂的根本原因。國防部研究人員指出，"當涉及到組建人類和自主系統的有效團隊時，人類需要及時和準確地了解其機器伙伴的技能、經驗和可靠性，以便在動態環境中信任它們"。對于許多自主系統來說，它們 "缺乏對自身能力的認識，并且無法將其傳達給人類伙伴，從而降低了信任，破壞了團隊的有效性"。

AI/ML模型中的信任從根本上說是基于人類對信息的確定性，無論是簡單的傳感器輸出還是自主武器系統的整體能力。這一點得到了MITRE公司研究的支持： 人工智能采用者經常詢問如何增加對人工智能的信任。解決方案不是讓我們建立人們完全信任的系統，也不是讓用戶只接受從不犯錯的系統。相反，教訓指出了在證據和認知的基礎上形成良好的伙伴關系的重要性。良好的伙伴關系有助于人類理解人工智能的能力和意圖，相信人工智能會像預期的那樣工作，并在適當程度上依賴人工智能。然后，利益相關者可以校準他們的信任，并在授予人工智能適當的權力之前權衡人工智能決定的潛在后果。

通過將機器--數字或物理--視為合作伙伴，軍方可以將其與人類合作伙伴的信任建立技術進行類比。健全的伙伴關系需要有效的雙向溝通和加強合作的系統。"事實上，數字系統輸出中的不確定性措施是沒有用的，除非這種不確定性可以傳達給人類伙伴。一旦機器能夠量化不確定性，并且能夠傳達這種量化，它們也能夠對輸出進行評估并改進系統。

機器對其自身能力的認識的實時反饋，將通過提供每個循環中的不確定性的量化，增加機器的觀察、定位和決定功能的透明度。這種反饋提高了對該特定系統的信任，并通過不確定性的傳播實現了對系統中的系統的信任量化。例如，考慮遙控飛機（RPA）對一個潛在目標的視頻監控。如何確定RPA的傳感器是準確的和經過校準的，視頻流沒有被破壞，和/或操作者已經得到了關于首先將傳感器指向何處的健全的基線情報？

OODA環路的每一個組成部分都有一些相關的不確定性，這些不確定性可以而且應該被量化，從而可以用數學方法傳播到決策層面。在這種情況下，它將導致目標正確性的x%的傳播確定性，使任務指揮官對他們的態勢感知（觀察）充滿信心，并使他們能夠更好地確定方向，更快地決定是否參與。

通過量化不確定性，并將其與各類行動所需的預定信心水平結合起來使用，決策者可以圍繞那些幾乎沒有道德影響的軍事行動以及那些有嚴重道德影響的軍事行動創造邊界條件。國防部高級領導人還可以為開發和應用人工智能/ML能力的投資比例設定門檻，并可以確保投資將被用于實現最佳軍事優勢。這將通過 "量化-評估-改進-溝通 "的循環為使用人工智能/ML的系統提供保證。

不確定性量化允許設置如果-那么關系，以限制機器的可允許行動空間。在另一個簡略的例子中，一個空間領域意識任務可以使用紅外傳感器數據來識別空間飛行器。如果-那么關系可能看起來像這樣： 如果傳感器數據與目標的關聯模型的確定性大于95%，那么該目標識別信息可以在國家空間防御中心目錄中自動更新。如果傳感器數據與目標的關聯模型的確定性大于75%但小于95%，那么機器可以嘗試與確定性大于75%的信號情報（SIGINT）進行匹配，或者可以將信息發送給人類進行驗證。

因此，使用量化的不確定性使指揮官能夠將決策樹根植于人工智能/ML模型可使用的參數中，并指導如何使用這些人工智能/ML模型。在考慮機器自主性的三個相對程度時，指揮官可以預先定義每一類行動的輸入的不確定性水平，作為何時以及在何種情況下讓機器決定是有意義的指導方針，明確界定使用人工智能或ML模型的參與規則。

所有武器系統，無論是否打算納入自主性，都應在其計劃的用戶界面中提供不確定性元數據。了解所有輸入的不確定性對傳統武器系統的用戶和人工智能/ML的應用一樣有利。通過現在提供元數據，國防部高級領導人可以繼續確定使用AI/ML的最佳治理和政策，而不會放慢技術和工程發展。任何這樣的治理都可以在未來通過參考系統內組件級或輸出級的量化不確定性來實施。

數學實現

將不確定性量化和傳播應用于收緊OODA循環，假定功能關系可用于定義軍事情況。函數關系是這種應用的最佳數學方法，因為一般可以證明函數值和輸入變量之間存在因果關系，而不需要具體確定關系的確切數學形式。通過假設這些函數關系的存在，可以使用一個描述不確定性傳播的一般方程式。

一個帶有不確定性條款的通用函數關系看起來像：

其中y是輸出，u(y)是該輸出的不確定性，有n個輸入變量，其相關的不確定性影響該輸出。這表明y取決于n個輸入變量，并且按照 "不精確概率論者 "的風格，y的精確值在y+u(y)到y-u(y)的區間內。

這種旨在改善醫學實驗室研究的想法的直接應用也涉及到軍事決策。"與任何測量相關的不確定性及其通過定義的函數關系的傳播可以通過微分（部分微分）和應用不確定性傳播的一般方程來評估。"這些數學方法將捕捉到在一個非常復雜的系統中許多測量物變化時不確定性的變化。這個不確定性傳播方程可以用標準的統計程序得出，最重要的是，它與函數關系的確切形式無關。

請那些更精通統計學的人將這種方法提交給進一步的案例研究，并確定在需要包括許多輸入變量時，在非常大的系統層面計算傳播的不確定性的可行性。已經表明，"問題越復雜，獲得校準的不確定性估計的成本就越高"。這種方法通過作戰級別的人工智能/ML模型（即涉及一翼或一營的交戰）可能是可行的，但更高層次的戰略不確定性傳播（即包括政治經濟或核因素的戰役級模型）可能需要不可行的計算能力來實時計算。

作為輸入數據集的一部分，通過機器學習模型傳播測量的不確定性比使用統計方法來估計模型內的不確定性要少得多。數據科學家和人工智能研究人員將熟悉大量專注于假設機器學習模型內的不確定性的研究，但許多歷史工作并沒有采取調整認識上的不確定性--ML模型的訓練數據量不足--與訓練數據集中的測量不確定性的方法。

測量的不確定性可以被認為是數據中的噪聲和/或觀察中的變異性。在數字系統中實施不確定性量化時，需要對不確定性的其他方面進行量化，如領域覆蓋的完整性，也就是輸入數據集的代表性，以及軍事問題的不完善建模，這是模型開發過程中不正確的基線假設的結果，最終植根于人類判斷的不完善。

一個更現代的傳播方法，可能計算量較小，可能是使用機器學習來假設不確定性。來自其他學科使用神經網絡的證據顯示，納入已知的輸入數據不確定性，"與不使用它們的情況相比，對做出更好的預測是有利的"。這些研究人員還建議進一步調查在貝葉斯深度學習框架中使用已知的輸入數據不確定性 "作為要得出的不確定性的初始值"，這將是一種與統計學得出的不確定性協同傳播經驗不確定性的方式。

使用數學方法來傳播不確定性，將納入并考慮到不確定性的影響--無法解釋的數據的固有隨機性--以及認識上的不確定性。擬議的軍事標準應將測量不確定性的要求與傳播到高階用途的要求結合起來，如機器學習或更抽象的建模和模擬。用軍事術語來說，通過這種方法使UQ標準化，不僅要考慮基線觀測數據的不確定性，還要考慮與方向和行動有關的數據不確定性。

軍事用途的數學問題

為了繼續與軍事戰略進行類比，功能關系描述了在OODA循環中如何獲得軍事優勢，以及不確定性如何在該過程中傳播。

在這個特意象征性的等式中，觀察和定位是恒定的活動，而決策和行動是時間上的離散事件。所期望的軍事效果的成功概率是基于循環中每個輸入變量的不確定性的傳播：操作者有多大把握(a)他們的觀察抓住了現實，(b)他們以預期的方式定向，(c)他們的決定以預期的方式執行，以及(d)他們的行動沒有被打亂。

這種方法的障礙在于它需要對不確定性的事先了解，這是目前無法獲得的元數據，因為在經驗情況下確定它的成本通常很高，而在統計情況下有許多可接受的方法來生成它。這就回到了建議的解決方案，即征收要求和標準，以提供與每個輸入變量相關的不確定性作為元數據。一旦提供，匯編觀測和定位數據的人工智能/ML系統可以使用元數據進行傳播，并向操作者或指揮官提供情況圖中的總體量化不確定性。當實時使用時，這種方法內在地捕捉了OODA循環的決策和行動步驟的各個方面。

高階效應和挑戰

一項分析表明，將不確定性信息傳達給無人駕駛車輛的操作員并使之可視化，有助于提高人類-AI團隊的績效。但其他人工智能研究人員也表明，"需要更多地研究如何以對用戶有意義的方式，最好地捕捉和呈現開發者的[不確定性量化]"。他們進一步指出，"讓用戶對他們不了解的方面有看似控制的感覺，有可能給人以清晰和知情控制的錯覺，造成額外的自動化偏差，或者干脆讓用戶選擇一個給他們想要的答案的選項。" 這一發現堅實地進入了決策理論和心理學的工作體系。有一些統計方法試圖用算法來定義判斷和決策，使用這些方法有風險。

一項單獨的分析提供了判斷和決策文獻中與決策中使用不確定性估計有關的結論。該研究的結論是，向利益相關者提供不確定性估計可以通過確保信任的形成來提高透明度： "即使是經過良好校準的不確定性估計值，人們也會有不準確的認識，因為(a)他們對概率和統計的理解程度不同，(b)人類對不確定性數量的認識往往受決策啟發式的影響。

作者進一步補充說，"非專業人士和專家都依賴心理捷徑或啟發式方法來解釋不確定性"，這 "可能導致對不確定性的評估出現偏差，即使模型輸出是經過精心校準的"。不出所料，關于這個問題的主要啟示是，所選擇的UQ交流方法應首先與利益相關者進行測試，開發人員應滿足他們的UQ顯示和用戶界面的不同終端用戶類型。例如，向數據科學家介紹不確定性量化應該與向戰時決策的操作員介紹UQ不同。情報界在確定傳達與軍事信息相關的不確定性的最佳方法方面有著悠久的歷史，因此它對 "估計概率詞 "的約定可能是后一類終端用戶的合適出發點。

當考慮在作戰和戰略決策層面使用傳播的不確定性時，有可能使用傳播計算可能使UQ數字變得不相關和不可用，因為在非常復雜的系統中，不確定性接近100%的期望輸出。順便說一句，這是一個有趣的結論，可能指向 "戰爭迷霧 "的數學證明。進一步調查計算非常大的系統級別的傳播的不確定性可能會更好地闡明這個結論。

然而，這種高度傳播的不確定度的潛在缺陷并不足以反駁實施不確定度軍事標準的做法。包括每個級別的元數據標簽，使操作人員能夠檢查哪些因素造成了最大的不確定性，哪些因素是指揮官可以有高度信心的，這仍然是非常有用的信息。當操作員的帶寬在高壓力交戰之外可用時，這些元數據標簽允許操作員檢查功能關系中輸入變量之間的協方差和相關性。這些元數據還可以被采集專業人員用于評估和改進任務，通過識別系統性錯誤并將其消除，以及識別造成隨機錯誤的最嚴重的罪犯。

高度傳播的UQ可能是不相關的，這也強調了發展健全的軍事判斷的永久重要性。正如在任何不確定性非常高的軍事情況下，為實現軍事優勢，將需要具有敏銳性的操作員和指揮官。使用人工智能/ML來觀察、定位、決定和比對手更快地行動，只有在行動優越的情況下才會導致勝利。勝利理論的這一層面與要求、傳播和以標準化的方式交流UQ的論點不同。

最后，AI/ML要求輸入數據是感興趣領域的 "具有適當代表性的隨機觀察樣本"。重要的是，"在所有情況下，我們永遠不會有所有的觀察結果"，而且在感興趣的領域內 "總會有一些未觀察到的情況"。盡管人工智能或ML算法是在一個不充分的數據集上訓練出來的，但試圖在數據抽樣中實現對該領域的全部觀察覆蓋也是不理想的。

當以較高的行動節奏將人工智能/ML應用于OODA循環時，提高領域的覆蓋率并不需要更多的抽樣，而應該通過抽樣中更多的隨機化來實現，重點是確定準確的測量不確定性。上述關于已知輸入數據的研究從理論上和經驗上證明，將數據的不確定性納入一系列機器學習模型的學習過程中，使模型對過擬合問題更有免疫力--當模型與訓練數據集擬合得過于緊密時，就會出現不可接受的ML行為，導致在負責評估未知數據時出現不準確的預測結果。

過度擬合的問題并不是機器學習所獨有的，從根本上說是由輸入數據集的缺陷造成的。"簡單地說，不確定性和相關的無序性可以通過創造一個更高更廣的更一般的概念來代表現實的直接假象來減弱"。這導致了對該領域的最大統計覆蓋，對被觀察系統的侵擾最小。它還最大限度地減少了數據和元數據集的大小，從而在高階使用中提高了UQ傳播方程的計算效率。

結論

實施量化不確定性元數據的軍事標準，并發展傳播、評估、改進和交流該信息的能力，將為繼續追求AI/ML的軍事用途能力提供最大的靈活性。使用人工智能/ML系統的不確定性量化，通過溝通、透明和參與共同經歷來發展這種信任，使人機團隊內部能夠相互信任和團結。使用AI/ML系統實現軍事目標的保證需要量化的不確定性。

與軍事戰略的概念相聯系，這種不確定性量化的整個框架有助于一個成功的組織。通過現在提供UQ元數據，國防部高級領導人可以繼續確定使用人工智能/ML的最佳治理和政策，而不耽誤技術和工程開發。隨著作戰人員使用UQ來發展對AI/ML伙伴的信任，軍隊的觀察、定位、決定和行動的能力將比對手更快，并確保軍事優勢。

FAST項目（基于智能體的系統基礎技術）是一項為期三年的研究和開發工作，與位于紐約州羅馬的空軍研究實驗室簽訂合同。該項目從一開始就由美國海軍贊助，在項目的后期，美國空軍也做出了額外的貢獻。

該項目的主題是探索新的建模方法和基于模型的軟件生產技術，以提高所開發軟件的質量，同時縮短開發時間，提高設計的可重復使用性。在模型驅動的軟件和系統開發，以及海軍的任務工程有很大的相似性。傳統上，這兩個過程都是以自下而上的方式開發，而自上而下的方法則更有針對性和前景。這種自上而下的方法的最初步驟必須是一個概念模型，概述基于一組給定事實達到預期目標所需的所有（概念）決策。對于任務工程來說，這個決策建模器有助于確定所有需要做出的關鍵決策，以及相應的任務，以便規劃和執行一個成功的任務。對于軟件或系統工程師來說，決策建模器概述了設計中的系統的關鍵語義和相應結構。雖然存在對系統工程的建模支持，在某種程度上也存在對軟件工程的建模支持，但沒有任何工具支持將決策建模器作為系統或軟件設計模型的一個完全集成部分來建立。因此，由于其根源在于系統建模語言（SysML），任務工程也缺乏決策建模能力。

我們通過為統一建模語言（UML）建模工具MagicDraw（又名Cameo）開發決策建模器能力，作為一個可加載的插件，與商業上可用的插件，如SysML、UAF等兼容，縮小了這一差距。決策建模器實現了決策模型和符號OMG標準所定義的決策需求圖的增強型變體，但在其他方面偏離了OMG標準，以提供更復雜的決策表達建模、決策仿真能力，以及與SysML（v1.x）的無縫集成能力。為了在更大的仿真場景中進行協作，我們為MagicDraw開發了第二個插件（名為SimCom），允許決策建模器的仿真能力與外部仿真系統（如高級仿真、集成和建模框架（AFSIM））之間進行實時協作。SimCom插件實現了一個受 "高級架構"（HLA）仿真協議啟發的輕量級協議。我們用決策建模器和AFSIM之間的協作場景展示了這種能力。

雖然決策建模器的工作使我們偏離了開發時間和空間（4D）、基于模式建模方法的最初計劃，但我們的深入合作和對SysML v2的貢獻，在很大程度上彌補了這一點，提交給OMG。SysML v2已經達到了與我們最初計劃的相似的4D特征。在SysML v2環境下重建決策建模器將是一項有趣和有益的任務。除了參與SysML v2的工作，該項目還在其他幾個OMG標準的開發中起到了主導作用。

方法、假設和程序

相關標準及技術

許多建模方法包括隱含或嵌入的決策制定。這些建模案例有流程圖、活動圖、業務流程模型等等。決策建模作為一門專門的學科是比較新的。對象管理小組創建了決策建模和符號（DMN）規范，最初是為了使BPMN1業務流程模型中的決策更加明顯，并支持更詳細的決策過程。這段歷史的缺點是，DMN現在與BPMN的關系非常緊密，尤其是在元模型層面。因此，DMN，不能直接與UML或SysML集成。為了使DMN風格的決策建模與UML和SysML模型協作，特別是使現有的UML建模工具能夠進行DMN風格的決策建模，必須創建一個決策建模UML配置文件，與DMN元模型密切相關。

目標建模環境

決策建模器的開發和目標部署平臺是MagicDraw 19.0 SP4版本。MagicDraw（也被稱為Cameo）是一個UML建模工具，由No Magic公司開發和銷售。No Magic最近被Dassault Systèmes收購，Dassault Systèmes將繼續進一步開發和銷售這個工具，可能會用不同的名字。

MagicDraw是一個用Java實現的UML建模工具。它支持并使用一個插件架構來擴展其建模能力，涵蓋其他基于UML的建模語言和方法，如SysML、UAF和其他。一個OpenAPI工具箱可以用來支持自定義插件的開發。

圖 2 - MagicDraw（又名 Cameo）環境中的決策建模器

決策建模器和SimCom通信引擎是由FAST項目為MagicDraw開發的兩個定制插件。SimCom插件沒有任何先決條件，而決策建模器插件的功能需要SysML和Alf插件的存在。由于UAF是基于SysML的，決策建模器也可以用于基于UAF的企業模型。決策建模器和SimCom插件的安裝程序都與MagicDraw資源管理器一致。

標準制定

雖然在整個FAST項目中開發的技術是朝著符合相關標準的方向做出的最大努力，像OMG規范的元對象設施（MOF）、統一建模語言（UML）、系統工程建模語言（SysML）等；或者像世界網絡聯盟（W3C）開發的網絡本體語言（OWL）、資源描述符框架（RDF）或其他，但我們自己也大力參與了新標準的開發，即在對象管理小組內。

雖然標準的制定是繁瑣的工作，但它的回報是許多好處。某一主題的標準化要求它處于該主題發展的第一線。這項工作通常是在研究實驗室或高級開發部門的隱蔽處進行的。然后，標準化要求開發人員開放并與世界各地同行討論該主題，這在所有案例中都是有益的。

在FAST項目期間，我們參與了對象管理小組的幾個標準化任務。所有這些任務都是在FAST項目之前的某個時間開始的，但這些任務的持續工作和討論為FAST項目提供了重要的投入和科學效益。我們所參與的任務是： MOF到RDF的轉換，元模型擴展設施，系統工程建模語言第二版，智能體和事件元模型，以及不確定性建模的精確語義學。另見本文件后面的標準化活動一章，以及項目技術報告（CDRL A010）中的相應章節。

決策模型

決策模型由兩類元素組成：主動和被動元素。

• 主動元素是決策元素，它在模型執行過程中影響模型結果的整體結果（最高目標值）。根據OMG DMN規范，這些主動元素被定義： Decision、DecisionService和BusinessKnowledgeModel。

• 被動元素不包含任何決策邏輯，因此不直接影響模型的結果。它們可能需要協助連續的活躍元素之間的信息流，或者注釋決策模型。OMG DMN規范定義了以下兩個被動元素： InputData和KnowledgeSource。

我們決策模型的所有元素，無論是主動還是被動，都有相同的基本結構：它們將接受一個到多個輸入，稱為 "輸入事實"，并產生一個單一的輸出，稱為 "結果事實"。所有的事實都可以是單值或復值，在這種情況下，它們是單值的結構。

為了跟上美國防部（DOD）人工智能（Al）戰略的步伐，美國陸軍在2018年啟動了人工智能集成中心（Al2C）。他們的任務是--與美國各地的公司和大學的人工智能社區溝通，目的是通過人工智能的整合來改善和提高軍隊的能力。

這個頂點項目盡可能地分析了當前美陸軍部（DA）對人工智能的要求狀況，以及它們對人類系統集成（HSI）的包含。該小組審查了發布在獎勵管理系統（SAM）網站上的人工智能合同機會和適用的文件，包括績效工作聲明、工作聲明或目標聲明。第一步是確定這些合同機會中包含的要求是否符合人工智能的定義，即計算機系統有能力執行通常需要人類智慧的任務。如果需求符合人工智能的這一定義，那么分析工作就會繼續進行，并側重于納入HSI，以確保為人類（即操作員、士兵、用戶等）提供便利。研究小組還采訪了主題專家（SMEs），以深入了解軍隊開發和獲取人工智能需求的過程。

在2003年至2022年期間發布到SAM的機會中，只有16%（238個中的40個）在開發過程中足夠成熟，可以考慮進行評估。在這40個被認為足夠成熟的采購開發過程中，只有16個發布的信息包含了相關的文件，可以根據團隊既定的人工智能和HSI標準進行評估。從那里，只有6個帖子符合AL的定義，4個被寬泛地判斷為包括一些對HSI或人為因素的參考。該小組的綜合評估確定，陸軍的人工智能指導還處于起步階段，需要進一步發展和完善。評價還強調，盡管國防部和陸軍指導將HSI納入所有要求，但仍然缺乏對HSI的納入。

這個頂點項目建議，所提出的結果和結論應被用來進一步制定人工智能需求的采購指南，并特別注重納入HSI。我們還建議，未來的研究應納入機密需求以及由其他交易機構通過財團管理的需求。

人工智能（AI）有可能給軍事行動的所有方面帶來重大破壞。這項研究開發了一個嚴肅游戲（SG）和評估方法，以提供參與破壞性人工智能技術所需的心態教育。該游戲名為 "Obsolescence"，從人工智能和作戰當前和未來狀態的報告匯編中教授向國防部 (DoD) 推薦的戰略級概念。評估過時的教育價值的方法解決了常見的挑戰，如主觀報告、控制組、人口規模和衡量抽象或高水平的學習。游戲提議的教育價值采用前后測試的形式，與人工智能和戰略規劃領域的官方來源和專家建立的基線進行測試。評估包括基于自我報告的學習和測量參與者在游戲后對LO相關問題反應的變化這兩個指標。實驗發現，測量的學習效果和參與者自我報告的學習效果之間有很強的關聯性，這兩個指標都證實了Obsolescence實現了其教育目標。這項研究包括利用評估方法的必要步驟，并為Obsolescence和教育游戲評估領域的未來研究提出了建議。

地理定位精度測試報告介紹了當前戰術優勢網絡指揮與控制(TEC3)系統的地理定位精度研究結果。該文件由加拿大萊茵金屬公司提交給加拿大國防研究與發展，任務TA-04。

萊茵金屬加拿大公司于2018年2月至2021年3月為加拿大國防研究與發展部（DRDC）開發了戰術邊緣網絡指揮與控制（TEC3）技術演示器。TEC3展示了網絡和安全態勢感知以及網絡指揮和控制功能在一個示范性的下馬士兵網絡中的應用。根據核心工作成果，TEC3包括本地組中節點之間的移動特設網絡（MANET）通信，以及估算、地理標簽和顯示目標發射器位置的地理定位功能。

本報告詳細介紹了通過任務授權（TA）實施的進展情況，以測量TEC3系統對無人機系統（UAS）進行地理定位的性能，使用本報告的測試計劃中記錄的特定拓撲結構和距離。這些拓撲結構取決于最大距離參數，該參數本身也是一個實驗測量的對象。最大距離參數是軟件定義無線電（SDR）能夠接收UAS傳輸的最長距離。除了掃描頻譜進行地理定位外，SDR還記錄了地理定位過程中的通信頻段，以便將來分析。

實驗被成功執行，在某些情況下，UAS可以通過三個TEC3節點的不同城域網拓撲結構和距離來進行地理定位。例如，在某些情況下，它可以在直徑為420米（平均）的圓形/橢圓形區域內進行一定精度的地理定位。在其他情況下，橢圓覆蓋了TEC3的部署區域；在這些情況下，準確性差是由于SDR和全向天線輻射模式之間對同一發射器/位置的測量功率不一致。

探測發射器的最大距離估計約為600米。 實驗產生了108份60秒的記錄，將用于未來的分析。

隨著當前海軍戰爭的趨勢轉向自動化作戰武器系統，美國海軍正將其戰略重點放在人工智能（AI）能力上，以減少作戰人員行動時間。這個系統工程（SE）項目使用約翰-博伊德的觀察、定向、決策和行動（OODA）概念和海軍陸戰隊規劃過程（MCPP）（Angerman 2004；美國海軍部2016）來代表人類-人工智能決策過程。空中和導彈防御（AMD）的殺傷鏈是通過簡化聯合目標定位理論“JP 3-60”（參謀長聯席會議2018）來體現的。殺傷鏈過程中提高操作動化水平被證明可以大大減少執行時間，如果進一步發展和實戰化，將為海員和海軍陸戰隊提供防空的戰術優勢。通過使用專家系統和人工智能加速殺傷鏈將大大縮短交戰時間，有效地擴大戰斗空間。

該項目開發了用于防空和導彈防御的人工智能（AI-AMD）架構，該架構旨在通過對威脅進行優先排序并在人類用戶的最小介入下采取行動來改善作戰決策。該項目專注于理解和評估空空導彈防御（AMD）的殺傷鏈，通過確定使用AI-AMD可以更快地執行行動。項目組確定并評估了與應用于殺傷鏈過程中各個步驟的AI-AMD自動化水平相關的風險。該小組進行了建模和模擬（M&S）分析，以比較低水平自動化（"無 "人工智能）的殺傷鏈和高水平自動化（"有 "人工智能）的殺傷鏈，根據節省的時間來評估改進。

該團隊在M&S分析的基礎上開發了高度自動化的AI-AMD決策輔助作戰能力的概念，并確定了有可能應用于未來AI-AMD架構的現有和未來人工智能方法。該團隊按照美國防部的架構框架（DODAF）進行了架構分析，以確定AI-AMD的操作過程。該小組采用基于模型的系統工程（MBSE）方法，使用SE工具Innoslate來開發概念架構。架構分析結合了藍軍（BLUFOR）防空傳感器、武器裝備和聯合網絡，創建了一個OV- 5b/6c行動圖，描述了AI-AMD決策輔助輸出與JP 3-60聯合目標定位程序步驟協同應用，以消除敵人的威脅（參謀長聯席會議2018）。為了完成其任務，BLUFOR系統（SoS）執行36項業務活動：AI-AMD內部的17個決策點和外部系統的19個功能（包括傳感器行動和網絡通信）。該團隊使用實驗設計（DOE）、離散事件和隨機模擬分析了架構分析的結果，發現在目標定位過程中高壓力的AMD場景需要完全自動化水平，而低壓力的AMD場景需要最低水平的自動化。該團隊開發了一個決策風險矩陣，顯示出高壓力情況下的風險可以通過完全的自動化水平來降低。目標定位過程中17個步驟中的每個步驟的風險評估都被分為四類：低、中低、中和高。團隊制定了一個相關的風險值來進行風險評估確定。團隊利用Parasuraman的自動化水平（1-10級）來進行風險評估，將決策風險與目標定位過程中各個步驟的自動化水平聯系起來（Parasuraman, Sheridan, and Wickens 2000）。該小組開發并使用了一條效用曲線來幫助確定每個自動化水平所節省的時間。自動化程度越高，節省的時間就越多。

該項目側重于單一威脅的交戰，以了解殺傷鏈過程中AI-AMD的時機。該小組進行了M&S分析，以證明AI-AMD架構的能力。該小組使用Innoslate MBSE工具和Microsoft Excel進行了離散事件模擬。在大量投資于行動圖之前，團隊使用Excel來評估元模型。仿真的主要重點是建立AI-AMD在不同壓力水平下的時間性能，如低、中、高。次要目標是將該模型發展為可交付的設計工具，在NPS用于未來研究。該小組從公開來源的威脅數據中選擇了三個有代表性的交戰：低壓力情景（時間軸為58.65分鐘），中度壓力情景（時間軸為9.72分鐘），以及高壓力情景（時間軸為1.51分鐘）。該小組的M&S分析結果顯示，在低壓力情景下，僅由人類做出的決策（自動化水平1）導致對飛入時間為58分鐘或以上的敵方威脅的AMD殺傷率達到100%。對于中度威脅情景（代表AI-AMD對每個作戰活動決策節點的不同自動化水平（如6到10）），1000次隨機運行的數據結果顯示所有交戰的平均完成時間為8.08分鐘。當AI-AMD系統被設置為較高的自動化水平時，該系統在中等威脅情況下成功地進行了AMD防御。高壓力場景的分解時間線允許每個作戰活動決策節點有0.09分鐘。該小組將人工智能-AMD系統設置為在高壓力情景下僅由人工智能進行決策（自動化水平10）。高壓力場景的結果表明，在自動化程度為10級的情況下，有可能成功應對敵人的威脅。該小組進行了敏感性分析，以探索替代的基本代表分布（基線、對稱變量擴散和高度傾斜）的影響。雖然分布形狀的變化確實影響了結果，但在每一種情況下，只有在人工智能支持的節約率超過97%的情況下，才會在高壓力場景中取得成功。

該項目研究了人工智能方法如何應用于AMD決策，以提高自動化水平，減少人類-人工智能團隊的執行時間（人工智能輔助決策）。該團隊自上而下地分析了AMD殺傷鏈：從OODA到尋找、固定、跟蹤、目標、參與和評估（F2T2EA）。該小組確定了17個關鍵決策點，在這些決策點上，提高自動化水平可以提高AMD的決策速度。潛在的自動化水平與每個不同步驟相關的風險進行了平衡。該小組使用M&S來評估人工智能-AMD系統在低水平的自動化（"無 "人工智能）到高水平的自動化（"有 "人工智能）下的決策的及時性。由此產生的AI-AMD概念架構的高層次能力被記錄下來，隨著系統技術的成熟，建議利益相關者考慮。該團隊確定了現有和未來的人工智能方法及其在AMD殺傷鏈中的潛在應用。該小組已經確定了未來人工智能-AMD的迭代需求，以研究整個戰場上具有多種威脅和參與的更復雜的情況。

蘭德公司發布《2035年后的新興技術：基于典型場景的未來軍事突發事件技術評估》（Emerging Technology Beyond 2035: Scenario-Based Technology Assessment for Future Military Contingencies）報告，該報告介紹了美國陸軍未來司令部（Army Futures Command）發起的“2035年后新興技術趨勢的影響”（Impact of Emerging Technology Trends Beyond 2035）項目的實施情況。該項目的目標是確定2035年以后潛在的新興技術趨勢，評估將這些新興技術應用于軍事行動的可行性，并描述這些技術在整個競爭連續體中的軍事影響。該報告側重于基于情景的技術評估，并為此詳細制定了5個說明性情景：愛迪生在海外（Edison Abroad）、北極深處之戰（Battle of the Arctic Depths）、戰爭機器之霧（Fog of War Machines）、托馬斯·謝林在朝鮮（Thomas Schelling in the DPRK）、第三次海灣戰爭（Gulf War Ⅲ）。該報告對“北極深處之戰”情景中確定的候選技術進行更詳細的評估，包括潤滑油、量子、太空運輸、飛行器、自主武器系統（AWS）、生物技術等技術領域，并提出美國陸軍應發展關鍵伙伴關系、為未來突發事件做好準備、考慮未來技術評估的預期結果、解決現代化優先事項和需求差距等建議。

未來是高度不確定的，然而，陸軍必須努力預測未來的全球發展和技術變化。這項預測工作的目標是協助美國陸軍為不斷變化的作戰環境做好準備，包括過去不曾面臨的環境，例如氣候變化導致的極端天氣條件。在這些和其他作戰條件下，新興技術可能有助于陸軍在關鍵任務中取得成功，并維護美國的利益。預測還可以幫助陸軍更好地理解和預測其可能面臨的沖突類型，關鍵對手的特征，以及可能面臨的作戰層面挑戰。在資源稀缺、預算緊張的環境下，為未來的突發事件做好準備和規劃尤為重要，軍隊今天已經需要就如何分配資源做出艱難的決定。

本報告介紹了技術路線圖進程的發展和實施，以幫助陸軍了解對2035年至2050年陸軍任務可能很重要的關鍵新興技術的影響。目標是協助陸軍為作戰環境的轉變做好準備，包括過去可能沒有廣泛面對的情況，如面對氣候變化驅動的極端天氣條件的行動。在這些和其他操作條件下，新興技術可能有助于陸軍成功完成關鍵任務并促進美國的利益。

研究成果

這項工作的具體方法側重于基于場景的技術評估

• 未來世界的關鍵驅動因素是那些被認為與調節未來作戰環境和對手最相關的因素，軍隊可能面臨的挑戰類型，具有軍事影響的未來技術種類，以及諸如軍隊現代化的優先事項和關于技術投資和整合的決定等行動。

• 五個說明性的場景被詳細地制定出來。在這五個場景中，北極深度之戰的場景被用來演示技術評估的實施。

• 在這項工作中開發的技術評估過程提供了結構化的步驟，將情景轉化為任務概述和關鍵挑戰，為挑戰確定候選技術，并最終評估軍隊現代化的優先事項與候選技術解決方案和挑戰的一致性。

• 對這些場景進行技術評估，需要考慮具有高度不確定性的技術。

對于北極深度場景，分析了潤滑劑、量子、空間運輸、飛行器、自主武器系統（AWS）和生物技術等技術領域。

• 評估發現，許多陸軍現代化的優先事項與陸軍在該情景中面臨的關鍵挑戰相一致--特別是AWS、生物技術和量子技術。

• 然而，目前陸軍的一些現代化優先事項與北極深度場景中確定的挑戰表現出錯位或不一致--特別是圍繞潤滑油和垂直起飛和降落能力的錯位。

• 對北極深度之戰的評估發現，陸軍的優先事項和點對點的空間運輸的潛在需求之間并不一致。

研究建議

• 美國陸軍應在私營部門（例如，與能源、空間運輸等行業的領導者）和多國伙伴（例如，北約內部的主要盟友）發展關鍵的伙伴關系，以確保其需要的技術的可用性和整合性，特別是通過技術評估確定為關鍵需求的技術。這些伙伴關系可以通過建立和資助卓越中心來支持。

• 在技術發展和陸軍現代化優先事項不一致的地方，領導層應考慮投入資源，更新理論，并實施替代戰略，以利用被確定為關鍵需求的技術。

• 如果需要對基于情景的技術評估進行比較，為了提供一個更平衡的視角，美國陸軍未來司令部應進一步發展這個情景組合，以包括技術進步具有進化性質的情景。這一步將使陸軍利益相關者從技術評估中提供一個更廣泛的視角，跨越技術發展的外生不確定性。

• 美國陸軍應該為未來廣泛的突發事件和世界狀態做好準備，在這些情況下，技術是分散的，而美國并不具有技術優勢。為了支持這一點，陸軍應該進一步發展技術評估活動中考慮的情景組合。

• 美國陸軍應考慮未來技術評估的預期結果，以確保適當的技術概念得到應用。

• 美國陸軍應利用技術評估方法來解決現代化的優先事項和需求差距。

報告目錄

第一章 介紹

第二章 未來世界的不確定性

第三章 未來不確定性的技術評估

第四章 見解和建議

附錄A 優先場景描述

附錄B 樣本評估活動：技術匹配

附錄C 北極深海之戰技術研究

執行摘要

這項工作是在任務9 "關于指揮和控制系統的信息融合、數據分析和決策支持的人為因素問題 "下，由Calian和C3人為因素咨詢公司為加拿大國防研究和發展部（DRDC）進行的，作為更大的人機交互（HAI）任務授權合同（TAC；合同號W/001/TOR）的一部分。HAI TAC的目標是設計、開發、實施和評估人機協作（HAT）概念、方法和技術，以改善加拿大武裝部隊的整體人機系統性能。北美航空航天防御司令部（NORAD）是美國和加拿大的聯合軍事組織，一直在為北美大陸提供航空航天預警、空中主權和保護。自1957年以來，它一直在為整個北美大陸提供航空航天警報、空中主權和保護。現在已經超過60年了，面對新出現的威脅，北美防空司令部及其相關的機場、雷達站和衛星網絡需要進行一次大修。例如，美國和加拿大的對手專門開發了朝鮮彈道導彈、快速發展的巡航導彈技術和高超音速滑翔飛行器，以繞過NORAD主要是冷戰時期的防御系統。

北美防空司令部未來的現代化努力已經確定了 "探路者計劃"，以建立國土防御數據生態系統（HDE）的原型，通過更多地采用自動化、人工智能（Al）和機器學習（ML）技術，提高防御決策的及時性。DRDC是對這一努力做出貢獻的關鍵參與者。如何融合信息，如何通過交互式界面向操作人員展示和解釋人工智能和ML模型所提供的決策，是探路者的關鍵人因（HF）問題。為了確保改進決策，減少操作人員的認知負荷，增加自動化的采用，需要使用HF原則、措施、方法和/或最佳實踐來設計和評估開拓者的技術。

這項工作的目的是審查現有的文獻和資源，并與DRDC中小型企業就指揮和控制（C2）系統的信息融合、數據分析和決策支持方面的高頻問題進行訪談，為NORAD提供初步的高頻建議，并確定可以探索的研究差距，以幫助改善開拓者的整體系統性能和未來行動的有效性。為此，我們對文獻進行了回顧，并與DRDC主題專家（SMEs）進行了訪談，以更好地了解從高頻角度設計、開發和評估信息融合、數據分析和決策支持系統的復雜性、挑戰和最佳實踐。文獻回顧和中小企業訪談集中在以下領域。

1.交互和界面設計。回顧C2系統的信息融合（即原則、措施、方法）的交互和界面設計的最新進展。系統和基于Al和ML的決策支持系統的交互和界面設計的最新進展，特別關注于可解釋的Al決策的設計。

2.人為因素的挑戰。確定信息融合和基于Al/ML的決策支持系統的以人為本的關鍵分析和設計挑戰，這些系統可用于航空航天防御任務的C2系統。

3.培訓系統。回顧在C2系統的信息融合和Al/ML決策輔助的背景下，針對操作者-自主性/操作者-操作者互動的培訓系統（如智能輔導系統）設計的最新進展。

總之，文獻審查包括HF、人機交互和Al領域的總共189篇文章。在這些文章中，134篇文章的子集在本報告的第3節中報告。此外，項目組還采訪了四個DRDC中小企業。

本報告還概述了由多倫多DRDC開發的高頻分析和設計框架--以交互為中心的設計（ICD），該框架已成功應用于智能自適應系統（IASs）的設計。兩個DRDC項目被確定為相關的案例研究，以展示如何將ICD框架應用于支持NORAD的開拓者計劃。具體而言。

1.創新戰斗管理決策支持技術演示項目（INCOMMANDS TDP）由DRDC Valcartier在2006年至2009年期間實施，旨在為加拿大皇家海軍哈利法克斯級護衛艦的指揮團隊開發和演示先進的指揮決策支持能力（CDSC）原型，以提高威脅評估（TE）和戰斗力管理（CPM）的整體決策效率。

2.多倫多DRDC在2014年至2019年期間開發了武器交戰的權威路徑（APWE）決策支持工具，以協助加拿大皇家空軍無人機系統機組人員在使用致命武器攻擊目標時遵循正確的交戰規則和武裝沖突法。

這兩個用例都與開拓者計劃的目標一致，即利用Al/ML技術將人類的參與從處理 "大數據 "轉移到關注高階決策過程。這樣一來，操作人員可以在比對手更清晰的數據基礎上做出更快、更好的決定，從而實現 "決策優勢"。

未來的研究可能會試圖確定INCOMMANDS CDSC和APWE與開拓者計劃的相關性。此外，作為ICD的延伸，人類-自主性信任的意圖、可測量性、可預測性、敏捷性、溝通、透明度和安全性（IMPACTS）模型可用于指導開拓者計劃中IAS設計概念的發展，以幫助運營商和半自主的TE和CPM系統之間建立有效的伙伴關系，實現共同目標。

總之，從文獻綜述和與多倫多DRDC和瓦爾卡蒂爾的中小企業的訪談中收集到的信息，以及本報告中的報告，提供了豐富的信息，DRDC可以在此基礎上為開拓者計劃做出重大貢獻；特別是通過利用他們現有的HAT工作，以及高頻分析和設計框架，如感知控制理論、以交互為中心的設計方法來設計IAS以及HAT信任的IMPACTS模型。