在美國國防部，人工智能（AI）/機器學習（ML）的整合目前是以現有項目的升級或新項目的收購形式進行的。怎么知道這些AI/ML支持的系統會按照預期的方式運行？為了做出這個判斷，與其他傳統的軟件開發/采購項目相比，AI/ML產品開發/采購需要一個獨特的評估過程。作為回應，美海軍軍械安全和保障活動（NOSSA）資助了以下研究，以調查獨特的政策、指導方針、工具和技術，以評估AI/ML關鍵功能中的安全問題。在這項工作中，開發了14項關鍵的嚴謹度（LOR）任務，并在五個階段中應用：（1）需求，（2）架構，（3）算法設計，（4）算法代碼，以及（5）測試和評估（T&E）。14項LOR任務涉及最佳實踐討論、定義、測量、論證文件和AI/ML系統特有的危險分析格式。這14項LOR任務還明確了為什么AI/ML軟件開發需要采購界的特別考慮。此外，這項研究有可能影響采購界如何定義需求、創建架構、產生AI/ML算法設計、開發AI/ML算法代碼以及執行T&E。在開發 "采購沙盒"的過程中，跨越五個發展階段的14項LOR任務的需求變得很明顯，該沙盒研究了部署AI/ML自主系統的路線規劃者，以及讓這些系統交付軟件包，重點是評估關鍵功能行為的安全性。該沙盒是使用國防部架構框架（DoDAF）和統一建模語言（UML）圖設計的，其中包含了各種AI/ML技術。當面臨這種程度的復雜性和/或不確定性時，14項LOR任務代表了一組有凝聚力的問題/考慮因素，為應對當前海軍AI/ML的采購問題提供了重點。這些指南還為涉及安全的組織，如NOSSA和適航性，以及包括項目經理和系統工程師在內的采購專業人員提供了一個分步驟的 "如何 "評估方法，以確保創造高質量的人工智能嵌入式產品。

該報告為包含人工智能功能的系統的采購和開發提供了詳細的指導方針。該準則允許用戶在作戰部署的挑戰中對人工智能功能的行為建立不同程度的信心。信心的程度決定了14個LOR任務中的哪一個在五個階段中被應用。每個LOR任務提供了問題和/或考慮因素，使開發人員能夠客觀地評估人工智能/ML功能的安全性和可靠性。當審查每個LOR任務時，LOR任務編號（和相關階段）后面的 "參考編號 "是指用于開發問題和/或考慮因素的文件中的相應標識（ID）。這四份文件的標題分別是：（1）操作視圖（OV），（2）系統視圖（SV），（3）數據集設計，和（4）算法設計。LOR任務 "參考ID "命名法的例子是Ops1、Sys1、Alg1和Dat1。在這些例子中，每個ID與四個文件中的一個有關，其中數字 "1 "表示文件中描述的第一個LOR任務。在每個文件中使用 "Ref ID "支持對研究的可追溯性，包括數學。

澳大利亞海軍能力主管奎因少將強調了快速交付能力的必要性，以應對澳大利亞海軍在一個動態和不確定的戰略環境中所面臨的挑戰。他還明確指出，海軍需要通過 "常青"過程不斷地尋求優勢。該計劃提出了一個可執行的過程來實現這一目標。

圖1. 工作路線

工作路線（LOE）

RAS-AI 2040戰略提出了四個LOE（人、發掘、開發和交付），作為海軍實現RAS-AI愿景的手段。海軍的RAS-AI戰略計劃確定了一個將發掘活動與交付聯系起來的過程。該計劃中涉及的這些LOE的關鍵方面是：

人（people）：未來的澳大利亞海軍勞動力正在進行大量的工作，以預測對RAS-AI系統的需求，然后由合格和有經驗的人員來操作和維護。此外，澳大利亞海軍將繼續通過第二條工作路線，即 "發掘"，增加我們對人機協作的理解。

發掘（discover）：發掘活動是工業界和學術界與海軍在RAS-AI領域進行合作的絕佳方式。發掘活動與海軍正在尋求解決的差距和機會直接相關。參與這些活動是工業界了解海軍RAS-AI優先事項的一種方式。“自主戰士” 將繼續作為海軍發掘的旗艦項目，并將持續開發。

開發（develop）：隨著海軍繼續開發和使用RAS-AI，它將促進知識體系（BOK）不斷增長，這些知識將被收集起來，形成RAS-AI協作環境（RACE）。RACE由 "發掘"提供信息并支持交付。RACE已經包括了諸如RAS-AI架構的元素，它為海上力量提供了一個客觀的設計，不受具體任務場景的影響。這些架構指導能力開發，同時提供對海軍RAS-AI優先事項的理解。它還包括提供共同控制環境（CCE）的路線圖和海軍開發成熟度模型的概要，以及許多其他仍在開發的資源。盡管RACE包含不同級別的人工制品，但其目的是為交付海軍RAS-AI提供資源。

交付（deliver）：海軍的能力項目發起人將繼續與交付機構一起，通過海事項目和計劃來支持RAS-AI的交付。除了支持現有的IIP項目和計劃外，鑒于技術發展的快速步伐，海軍還可能在IIP下實施專門的RAS-AI計劃。

有目的的創新

海軍是一個負責解決海洋領域中復雜、動態問題的組織。海軍面臨著許多復雜的挑戰，這些挑戰造成了差距和機遇，需要創新。盡管本計劃規定了對差距、風險、問題和機會（GRIO）清單的補充，但 "有目的的創新 "是本計劃的核心所在。因此，它規定了一個過程，以確定RAS-AI可以解決的現有的GRIO；實施發掘活動來解決這些問題；并支持能力開發者和用戶來實施這些活動。

“SEA 1905海上防雷措施和軍事調查”，代表了海軍對RAS-AI能力的重大投資。作為海軍最大和最復雜的RAS-AI項目之一，SEA 1905項目將被用作實施這一活動計劃的典范。支持SEA 1905的GRIO將在創新浪潮的第一次執行中被優先考慮。

合作關系

當海軍總司令發布RAS-AI戰略2040時，他明確表示，這個活動計劃將是非保密的，并可向工業界發布。發掘、開發和交付過程比海軍要大，需要國防、聯盟、工業和學術界的合作。有一些內容，由于它們的分類，將是內部的人工制品。然而，本計劃旨在創造機會，使聯合部隊、聯盟、工業和學術界能夠在一個促進創新的環境中進行合作，同時適當地管理安全和知識產權。重要的是，本計劃還描述了海軍將使用的各種活動，以使合作伙伴更好地了解海軍的優先事項，從而使他們反過來支持海軍實現這些優先事項。

這個戰略計劃構成了海軍準備海軍力量的任務的一個重要組成部分，以使聯合部隊成為可能。例如，戰爭創新性海軍處（WIN）與整個聯合部隊密切協作，并主持澳國防部的RAS-AI圓桌會議，這是一個分享前沿思想和確定聯合活動機會的論壇。海軍創新處還贊助了一個專門的聯盟聯絡功能，以了解伙伴國的計劃，并向盟友通報進展。該計劃的關鍵支柱，特別是CCE、成熟度模型和架構，代表了海軍的思想領導力。它們將成為互操作性的基礎，并將為聯合能力的發展提供信息，同時也為其提供信息。

行動計劃

最后一章 "執行"是一個行動計劃，列出了海軍將用來收集和定義差距和機會的行動節奏，對發掘活動進行優先排序和安排，并將其與海上能力的交付聯系起來。在這一過程中，為不斷增長的RAS-AI知識體系提供信息，并從中獲得信息。這種行動節奏是以 "行動研究"模式為基礎的，并被表述為 "創新浪潮"，它捕捉到了發掘、開發和交付的間斷性但持續重復的性質。

創新浪潮將提供一個有資源的前瞻性工作計劃；整合整個國防、工業、學術界和聯合聯盟伙伴；與海軍的優先事項保持一致；最重要的是，直接告知并加速RAS-AI能力。

海軍將繼續發展這一行動計劃，這包括開發支持性的程序和產品，其中一些將是保密的，包括：

1.RAS-AI路線圖，確定具體的聯系和依賴性（由CASG提供）。

2.RAS-AI的聯合工作

3.有資源的前瞻性工作計劃

4.分類級的RAS-AI架構

5.海軍RAS-AI成熟度評估

6.以SEA1905-1為例，實施戰略計劃。

私營部門不斷收集和整理關鍵數據及其來源，以通過利用數據密集型的人工智能機器學習（AI/ML）技術來確保支持和發展新的業務。大部分行業數據都是有價值的共享資源，而海軍到目前為止還沒有實現這種做法。本頂點研究通過研究、訪談和個人專業知識，探討了海軍在創造數據可用性和質量方面的挑戰性任務。研究側重于過程、技術和管理，采用了詳細需求評估、利益相關者分析、功能設計。其研究結果是一個集中式人工智能庫（CAIL）的概念框架，旨在匹配行業對數據作為關鍵商品的堅定關注。美國海軍需要持久和動態的數字化準備，因此這個擁有70多年美國海軍數據專業知識的頂點團隊建議 OVERMATCH 考慮這些發現并生成一個確保海軍數據可用性和質量的系統。

執行摘要

美國海軍部（DON）對研究和開發人工智能和機器學習（AI/ML）系統的興趣源于這些創新能力對海軍任務和對作戰人員的直接支持所帶來的深遠和改變游戲規則的影響。人工智能/機器學習系統可以被用來改善任務規劃，減少人員配置，改善戰術決策，簡化系統維護和支持，提高安全性，在某些情況下，還可以將作戰人員從危險中移除。戰士日常活動的許多方面將發生變化，從常規和勞動密集型工作的自動化到支持復雜和時間緊迫的戰斗空間決策。

只有當美國國防部首先釋放數據的力量，才能實現AI/ML系統的這些進步。目前，在獲取或"釋放"DON的數據以開發未來的AI/ML系統方面存在許多障礙。整個海軍的數據主要停留在"筒倉"或難以訪問的數據庫中，每個"筒倉"都在其領域內受到保護。在DON的數據領域內，定位、請求、獲取和策劃數據的過程并不正式。米勒（2021）說："數據的所有者是美國人民。海軍只是管理人和監護人"。這句話包含了將數據從孤島中 "解放"出來的需要，以使海軍真正成為一個以數據為中心的企業，并實現海軍的數字化準備。

這個頂點項目開始了一項研究，以了解美國防部內AI/ML開發人員的數據需求，并制定一個概念性的解決方案來解決數據需求。其他目標是：

• 研究AI/ML方法如何在DON任務中應用。

• 了解數據需求是否在DON任務中普遍是標準的，或者數據需求是否在DON任務中有所不同。

• 制定一套 DON AI/ML利益相關者的要求。

• 為一個支持DON AI/ML數據需求的系統制定一個概念性設計。

• 研究實施概念性解決方案系統的潛在成本和進度效益。

時區團隊（Team Time Zone）應用系統工程分析方法研究DON AI/ML開發人員的數據需求，并開發和評估一個概念性的系統解決方案，以解決這一數據挑戰，并最終支持DON未來的數字準備，以解決復雜的任務。該團隊通過采訪三個不同的海軍任務領域的主題專家（SME）來進行利益相關者的需求分析：系統維護、物理安全和戰備。這三個任務被認為是 "數據提供者"的代表。此外，該團隊還采訪了數據研究人員和AI/ML科學家，以了解他們的數據需求。訪談為團隊提供了基于獨特和不同領域和經驗的關注、挫折、經驗教訓和挑戰的洞察力。從數據提供者的角度來看，反復出現的主題包括所有權的劃分、信息保障的需要、數據未被收集或存儲的情況以及對可訪問性的擔憂。從數據用戶的角度來看，明顯的軼事包括尋找數據的耗時，承諾的數據并不總是能夠實現，以及即使在獲得數據后，理解數據的背景也是至關重要的。該小組根據利益相關者的訪談和信息收集工作，為DON AI/ML制定了一套數據要求。DON AI/ML的數據需求是：

• 數據必須能夠被外部組織訪問。

• 數據必須被翻譯成與其領域應用兼容的標準格式。

• 數據必須有確定的所有者。

• 數據必須伴隨著描述性的元數據。

• 數據必須有標準化的管理。

• 數據必須以其 "最低標準"的形式被訪問。

• 數據必須具有保護和適當共享的安全性。

• 數據必須具有混淆性，以保護個人身份信息（PII）。

• 數據必須伴有背景信息。

為了解決DON數據研究人員和AI/ML科學家確定的數據需求，Team Time Zone開發了一個中央AI庫（CAIL）系統的概念設計，作為解決方案。CAIL系統的目的是簡化 DON內部的數據訪問和管理，以支持AI/ML系統的開發。CAIL系統旨在減少訪問數據的時間（和相關費用），騰出更多時間用于AI/ML系統的實際開發、培訓和評估。該團隊提出，為了滿足未來計劃的訪問和整合要求，CAIL需要成為一個 "數據云"。圖1是CAIL的OV-1；它描述了為AI/ML開發簡化DON數據訪問和管理的擬議過程。

圖1. CAIL OV-1

該團隊根據六個主要類別制定了CAIL系統要求：數據準備、數據偏差、數據整理、數據分類、數據治理和數據安全。每一個類別都是針對利益相關者分析過程中發現的需求。CAIL系統將主要與外部聯合數據、數據庫、文件和權威數據生產商/供應商的內容對接。它將像 "谷歌 "一樣為DON用戶尋找數據。數據將是結構化的，并將伴隨著元數據（關于數據的描述性信息），使數據可以被搜索。一個管理數據的社區將提供規則來管理對數據的安全訪問和授權。

在利益相關者的分析中，很明顯，在訪問數據之前需要進行一些重要的活動。AI/ML開發人員解釋了了解數據收集方式、數據來源以及其他有關數據的特定領域的背景方面的重要性。Team Time Zone將這些過程指定為 "預CAIL活動"，并將其作為整個CAIL過程的一部分。

Team Time Zone進行了成本分析，以估計為DON實施CAIL系統的成本。該團隊使用了兩種方法來估計成本：傳統的成本估計和基于模型的系統工程（MBSE）方法。該小組估計CAIL系統的成本（基于傳統的成本估算）為3380萬美元，持續時間為5年，每年的重復維持成本為400萬美元。團隊估算的CAIL系統成本（基于MBSE方法），在運行了一萬次蒙特卡洛模擬后，平均為3290萬美元，持續時間為5年。運營和維護模型的平均成本為每年440萬美元。表1顯示了CAIL開發和維護成本的摘要。

表1. CAIL系統成本匯總

為了使DON的AI/ML項目蓬勃發展，并在未來幾十年內實現AI/ML的進步，DON必須確保數據的管理，并使AI/ML的發展能夠被訪問。Team Time Zone提出的CAIL系統解決方案將為AI/ML項目提供一個單一來源的綜合數據環境，以訪問存儲在整個DON各種數據庫中的數據庫目錄。Team Time Zone建議海軍實施CAIL系統，通過確保AI/ML開發者訪問持久和動態的數字數據來支持數字準備。CAIL系統支持DON項目和開發人員的協調方法，以安全訪問數據。該小組建議超配項目（Project Overmatch）考慮這些發現并實施CAIL系統和流程，以確保海軍的數據可用性和質量。該小組開發了一個CAIL標志（見圖2），表明CAIL系統是海軍的一個重要基礎。

圖2：CAIL標志。改編自美國海軍標志。

I. 簡介

A. 背景情況

技術的進步給軍事領域帶來了新的威脅類型和現有威脅的改進版本。對抗性威脅的進步要求海軍改進現有的能力并開發新的能力，以提高防御能力并應對這些威脅。能力的增強需要提高速度、隱身性、機動性、反措施、擴大范圍、更早發現和更大的殺傷力。這些增強的能力使我們能夠在不確定的、復雜的和時間緊迫的條件下做出關鍵決定。現代戰術作戰人員面臨著越來越復雜的決策空間。他們需要獲得對動態戰斗空間的態勢感知，并確定有效的行動方案（COA）以滿足任務需求。圖1強調了造成這種戰術復雜決策空間的因素。決策的復雜性來自于威脅環境，來自于知識的不確定性，來自于戰爭和信息系統本身，來自于作戰人員與自動化系統和信息系統的互動和使用所產生的挑戰，以及任務決策的重要性或后果的嚴重性。

圖1：戰士的復雜決策空間。資料來源：Johnson (2021).

美國國防部（DOD）和海軍部（DON）正在研究使用人工智能（AI）來解決復雜的戰術決策空間，通過改善態勢感知和提供自動決策輔助來支持戰術作戰人員。利用人工智能方法的先進算法可以通過減少信息過載、改善態勢感知、提高決策速度和加強一般的戰術決策來減輕作戰人員的認知負荷。預測分析（PA）可以支持對系統可靠性和故障概率的預測，這為物流提供了廣泛的改進（Zhao和Mata 2020）。諸如PA等技術可以通過開發 "what-if "和 "if-then "情景來加強戰術決策，通過預測決策選擇的長期影響來改善戰士的COA決策（Johnson 2020）。人工智能方法可以通過檢測異常情況和從大量的安全攝像機數據中識別可能的威脅來改善海軍基地的物理安全。

米切爾（2019）將人工智能定義為一個包括許多不同方法的領域，以創造具有智能的機器。圖2顯示，人工智能存在于一套廣泛的自動化方法中，使機器能夠根據命令和規則執行任務。人工智能是使系統能夠執行模仿人類智能的功能的一套方法。機器學習（ML）方法是人工智能方法的一個子集。ML方法允許系統從被訓練的大型數據集上學習。ML系統從訓練的數據集中學習。然后，這些 "訓練有素 "的ML系統在操作上被用來識別模式，并在新的操作數據下產生預測的結果（Johnson 2021）。

圖2：什么是人工智能？資料來源：Johnson (2021)。

人工智能算法是編碼的計算機程序，用于對數據進行分類、分析和得出預測。監控、交通預測和虛擬個人助理是實施ML算法的應用實例。

開發人工智能系統，特別是ML系統，是一項具有挑戰性的工作。ML算法的初始訓練是一個數據密集型的演變。人工智能/ML系統對數據要求很高，其準確性在很大程度上取決于數據訓練集的質量和數量（Godbole 2020）。作為一個參考點，訓練DeepMind的AlphaGo Zero系統學習下圍棋花了大約40天，包括2900萬場比賽（Feldman, Dant, and Massey 2019）。想象一下人工智能/ML武器系統算法所涉及的額外復雜性，它需要考慮戰爭背景（戰爭游戲、冷戰、和平時期）、朋友或敵人、道德和合法性等概念（Feldman, Dant, and Massey 2019）。

隨著美國防部開始開發人工智能和ML方法，出現了獨特的數據挑戰。開發人員需要大量的驗證數據來訓練他們的算法；這些數據需要準確、安全和完整，以確保算法不會被破壞或有偏見。這些數據集必須代表適當的操作環境。對于海軍的應用，訓練數據必須代表眾多的任務，包括海上、空中、太空、水下、沿岸、網絡和陸基領域的任務。盡管許多海軍司令部和實驗室正在研究和開發基于人工智能/ML系統的未來能力，但沒有協調的程序來獲取他們所需的海軍數據。在許多情況下，數據是存在的，但要確定國防部的數據來源并獲得數據是一項耗時和昂貴的工作。

這個頂點項目采用了系統工程分析方法來研究DON AI/ML開發者的數據需求，并確定和評估一個概念性的系統解決方案來解決這個數據挑戰，并最終支持未來DON的數字準備來解決復雜的任務。

B. 問題陳述

DON對研究和開發AI/ML系統的興趣為各種應用帶來了數據挑戰。盡管DON的許多指揮部和實驗室正在研究和開發基于AI/ML系統的未來能力，但沒有一個協調的程序來訪問他們所需的DON數據。AI/ML系統需要大量的驗證數據來支持他們的發展和訓練算法。在許多情況下，數據是存在的，但要確定美國防部的數據來源并獲得數據是一項耗時和昂貴的工作。這個頂點研究了這個問題，并進行了需求分析，以確定DON AI/ML開發人員的數據需求，并開發和評估了解決DON數字準備這方面的解決方案概念。

C. 項目目標

這個頂點項目的主要目標是分析 DON AI/ML 開發的數據需求，并開發一個概念性的解決方案來解決數據需求。其他目標是

• 研究AI/ML方法如何在DON任務中應用。

• 了解數據需求在DON任務中是否有普遍的標準，或者數據需求在DON任務中是否有差異。

• 制定一套 DON AI/ML利益相關者的要求。

• 為一個支持DON AI/ML數據需求的系統制定一個概念性設計。

• 研究實施概念解決方案系統的潛在成本和進度效益。

D. 項目團隊和組織

時區團隊由五個具有不同學術和專業經驗的NPS系統工程學生組成。該團隊由以下人員組成。

• Robert French于2016年畢業于Old Dominion大學，獲得了計算機工程和電子工程的學士學位。他目前是位于弗吉尼亞州弗吉尼亞海灘的海軍水面作戰中心Dahlgren分部-Dam Neck附件的特殊傳感器技術部門的R.F.工程師。羅伯特也是美國艦隊司令部海上作戰中心N6（信息系統）的高級入伍領導（USNR）。他曾在現役中擔任電子技術員超過14年，并成為現役預備役軍人達9年之久。

• Wallace Fukumae前擁有夏威夷大學的電子工程學位。他目前居住在夏威夷，為海軍太平洋信息戰中心工作，擔任印度-太平洋部門主管。他的經驗包括指揮和控制（C2）系統的開發和交付以及操作。

• Kheng Hun目前居住在日本，擁有華盛頓大學的電子工程學位。他目前在海軍信息戰中心（NIWC）太平洋分部工作，擔任位于日本橫須賀的夏威夷西太平洋（HWP）分部的項目工程師。他的專業背景包括設計和安裝各種C4I系統，如電子安全系統（ESS）和網絡系統以及MILCON項目的C4I系統規劃。

• Obed Matuga擁有馬里蘭州巴爾的摩市摩根州立大學的工業工程學位，在華盛頓特區的海軍海洋系統司令部工作。與宙斯盾和艦船自衛系統一起工作，目前居住在馬里蘭州。

• Caitlyn O’Shaughnessy于2015年畢業于馬薩諸塞大學達特茅斯分校，獲得計算機科學學士學位。她目前是羅德島紐波特的海軍海底作戰中心的CANES（S.S.）項目的首席工程師。

圖3描述了時區團隊（Team Time Zone）的組織結構和每個團隊成員的主要職責。圖中還顯示了NPS的項目顧問，Bonnie Johnson博士（系統工程系）和美國海軍上尉Scot Miller（退役）（信息科學系）。

圖3：團隊時區組織圖

E. 項目方法

時區團隊采用了系統工程的方法來進行這個項目。圖4說明了該團隊的過程。團隊從需求分析開始，以了解問題并為DON AI/ML開發者定義數據要求。在這個階段，團隊確定了三個DON任務領域作為AI/ML應用的代表性領域。接下來，團隊在功能分析和系統綜合的基礎上，制定了一個名為中央人工智能庫（CAIL）系統的解決方案戰略的概念設計。該小組對CAIL系統進行了建模，并利用DON的三個任務領域來分析實施CAIL系統的效用和潛在的成本/進度效益。該團隊的分析過程涉及幾種分析方法，包括定性調查、定量調查、建模和模擬、數據結構和格式分析、需求分析和操作概念評估。

圖4：頂點項目的方法

首先，該團隊通過進行需求分析和為海軍AI/ML開發人員制定一套數據要求來確定需求的定義。該團隊確定了利益相關者，并與來自不同海軍任務領域的AI/ML開發者會面，以了解他們的數據需求。該小組進行了文獻回顧，以收集背景信息并了解當前的人工智能/ML方法。團隊對來自利益相關者會議和文獻審查的信息進行了匯編，以了解與支持海軍AI/ML應用有關的要求和限制、數據所有者、數據源、數據系統、數據元素和數據屬性。

該小組研究并確定了利益相關者和三個海軍任務主線的獨特數據要求：系統維護、實體安全和戰斗群準備。該小組確定并采訪了任務領域的主題專家（SMEs），以了解獲得AI/ML實施數據的過程，并關注需要從DON系統和組織中收集和存儲哪些數據。圖5說明了海軍的三個任務主線，以及數據、架構、基礎設施和互操作性能力在支持這些作戰人員任務領域方面的直接潛在重要性。

圖5：美國防部任務領域

接下來，團隊根據需求分析結果，制定了一個概念設計方案，以解決海軍對人工智能/ML發展的數據需求。該團隊綜合了CAIL系統，并生成了CAIL操作概念（CONOPS）和CAIL功能模型。基于國防部建筑框架（DODAF）和系統建模語言（SysML），該團隊開發了概念模型，詳細說明了CAIL的系統特征、功能和操作概念。

頂點項目的最后階段是團隊對CAIL解決方案方法的評估和分析。該團隊使用Innoslate（一種基于模型的系統工程工具）開發了一個模型，以表示CAIL系統在三個海軍任務主線中的使用情況。該小組評估了CAIL系統的能力，以簡化和改善收集、格式化、策劃、驗證和確保安全訪問海軍任務數據集的過程，以支持在三個海上任務線領域工作的AI/ML開發人員。對該模型進行了評估，以估計海軍實施CAIL系統的潛在成本和調度效益。CAIL系統模型被用來驗證和確認需求。

F. 頂點報告概述

第一章提供了項目的介紹和動機，描述了問題陳述、項目目標，以及團隊的組織和完成項目的方法。

第二章總結了團隊的文獻回顧，為需求分析提供了基礎，強調了訓練AI和ML算法所需的數據。文獻回顧包括對數據科學、統計學習、深度學習、分類學以及支持AI和ML系統的企業信息技術解決方案的信息探索。

第三章包含了團隊的需求分析結果。

第四章包含了對團隊的概念性解決方案--CAIL系統的描述。

第五章介紹了團隊對CAIL系統的分析和評估結果，該系統是解決海軍在支持AI/ML發展方面的數據挑戰的解決方案。

最后，第六章討論了擁有CAIL系統的影響和結論以及對后續研究和工作的建議。

隨著當前海軍戰爭的趨勢轉向自動化作戰武器系統，美國海軍正將其戰略重點放在人工智能（AI）能力上，以減少作戰人員行動時間。這個系統工程（SE）項目使用約翰-博伊德的觀察、定向、決策和行動（OODA）概念和海軍陸戰隊規劃過程（MCPP）（Angerman 2004；美國海軍部2016）來代表人類-人工智能決策過程。空中和導彈防御（AMD）的殺傷鏈是通過簡化聯合目標定位理論“JP 3-60”（參謀長聯席會議2018）來體現的。殺傷鏈過程中提高操作動化水平被證明可以大大減少執行時間，如果進一步發展和實戰化，將為海員和海軍陸戰隊提供防空的戰術優勢。通過使用專家系統和人工智能加速殺傷鏈將大大縮短交戰時間，有效地擴大戰斗空間。

該項目開發了用于防空和導彈防御的人工智能（AI-AMD）架構，該架構旨在通過對威脅進行優先排序并在人類用戶的最小介入下采取行動來改善作戰決策。該項目專注于理解和評估空空導彈防御（AMD）的殺傷鏈，通過確定使用AI-AMD可以更快地執行行動。項目組確定并評估了與應用于殺傷鏈過程中各個步驟的AI-AMD自動化水平相關的風險。該小組進行了建模和模擬（M&S）分析，以比較低水平自動化（"無 "人工智能）的殺傷鏈和高水平自動化（"有 "人工智能）的殺傷鏈，根據節省的時間來評估改進。

該團隊在M&S分析的基礎上開發了高度自動化的AI-AMD決策輔助作戰能力的概念，并確定了有可能應用于未來AI-AMD架構的現有和未來人工智能方法。該團隊按照美國防部的架構框架（DODAF）進行了架構分析，以確定AI-AMD的操作過程。該小組采用基于模型的系統工程（MBSE）方法，使用SE工具Innoslate來開發概念架構。架構分析結合了藍軍（BLUFOR）防空傳感器、武器裝備和聯合網絡，創建了一個OV- 5b/6c行動圖，描述了AI-AMD決策輔助輸出與JP 3-60聯合目標定位程序步驟協同應用，以消除敵人的威脅（參謀長聯席會議2018）。為了完成其任務，BLUFOR系統（SoS）執行36項業務活動：AI-AMD內部的17個決策點和外部系統的19個功能（包括傳感器行動和網絡通信）。該團隊使用實驗設計（DOE）、離散事件和隨機模擬分析了架構分析的結果，發現在目標定位過程中高壓力的AMD場景需要完全自動化水平，而低壓力的AMD場景需要最低水平的自動化。該團隊開發了一個決策風險矩陣，顯示出高壓力情況下的風險可以通過完全的自動化水平來降低。目標定位過程中17個步驟中的每個步驟的風險評估都被分為四類：低、中低、中和高。團隊制定了一個相關的風險值來進行風險評估確定。團隊利用Parasuraman的自動化水平（1-10級）來進行風險評估，將決策風險與目標定位過程中各個步驟的自動化水平聯系起來（Parasuraman, Sheridan, and Wickens 2000）。該小組開發并使用了一條效用曲線來幫助確定每個自動化水平所節省的時間。自動化程度越高，節省的時間就越多。

該項目側重于單一威脅的交戰，以了解殺傷鏈過程中AI-AMD的時機。該小組進行了M&S分析，以證明AI-AMD架構的能力。該小組使用Innoslate MBSE工具和Microsoft Excel進行了離散事件模擬。在大量投資于行動圖之前，團隊使用Excel來評估元模型。仿真的主要重點是建立AI-AMD在不同壓力水平下的時間性能，如低、中、高。次要目標是將該模型發展為可交付的設計工具，在NPS用于未來研究。該小組從公開來源的威脅數據中選擇了三個有代表性的交戰：低壓力情景（時間軸為58.65分鐘），中度壓力情景（時間軸為9.72分鐘），以及高壓力情景（時間軸為1.51分鐘）。該小組的M&S分析結果顯示，在低壓力情景下，僅由人類做出的決策（自動化水平1）導致對飛入時間為58分鐘或以上的敵方威脅的AMD殺傷率達到100%。對于中度威脅情景（代表AI-AMD對每個作戰活動決策節點的不同自動化水平（如6到10）），1000次隨機運行的數據結果顯示所有交戰的平均完成時間為8.08分鐘。當AI-AMD系統被設置為較高的自動化水平時，該系統在中等威脅情況下成功地進行了AMD防御。高壓力場景的分解時間線允許每個作戰活動決策節點有0.09分鐘。該小組將人工智能-AMD系統設置為在高壓力情景下僅由人工智能進行決策（自動化水平10）。高壓力場景的結果表明，在自動化程度為10級的情況下，有可能成功應對敵人的威脅。該小組進行了敏感性分析，以探索替代的基本代表分布（基線、對稱變量擴散和高度傾斜）的影響。雖然分布形狀的變化確實影響了結果，但在每一種情況下，只有在人工智能支持的節約率超過97%的情況下，才會在高壓力場景中取得成功。

該項目研究了人工智能方法如何應用于AMD決策，以提高自動化水平，減少人類-人工智能團隊的執行時間（人工智能輔助決策）。該團隊自上而下地分析了AMD殺傷鏈：從OODA到尋找、固定、跟蹤、目標、參與和評估（F2T2EA）。該小組確定了17個關鍵決策點，在這些決策點上，提高自動化水平可以提高AMD的決策速度。潛在的自動化水平與每個不同步驟相關的風險進行了平衡。該小組使用M&S來評估人工智能-AMD系統在低水平的自動化（"無 "人工智能）到高水平的自動化（"有 "人工智能）下的決策的及時性。由此產生的AI-AMD概念架構的高層次能力被記錄下來，隨著系統技術的成熟，建議利益相關者考慮。該團隊確定了現有和未來的人工智能方法及其在AMD殺傷鏈中的潛在應用。該小組已經確定了未來人工智能-AMD的迭代需求，以研究整個戰場上具有多種威脅和參與的更復雜的情況。

人工智能的空間是巨大的，復雜的，并不斷發展的。隨著計算能力的進步和越來越大的數據集，人工智能算法正在被探索和開發，以用于各種各樣的應用空間，人工智能算法有各種各樣的潛在用戶和相關風險。人工智能界正在追求可解釋性，作為可信人工智能系統的許多理想特征之一。通過與人工智能界的合作，美國國家標準與技術研究院（NIST）已經確定了其他的技術特征來培養人工智能的信任。除了可解釋性（explainability）和可詮釋性（interpretability）之外，為支持系統的可信賴性（trustworthiness）而提出的其他人工智能系統特征包括準確性、隱私性、可靠性、穩健性、安全性、保障性（彈性）、減少有害偏見、透明度、公平性和問責制。可解釋性和其他人工智能系統特征在人工智能生命周期的各個階段相互作用。雖然所有這些都是極其重要的，但這項工作只關注可解釋的人工智能系統的原則。

在本文中，我們介紹了四項原則，我們認為這些原則構成了可解釋人工智能系統的基本屬性。這些可解釋人工智能的原則是通過NIST的公共研討會和公眾評論期與更大的人工智能社區接觸后得出的。我們認識到，并非所有的人工智能系統都需要解釋。然而，對于那些打算或要求可解釋的人工智能系統，我們建議這些系統遵守以下四個原則：

• 解釋性：一個系統為產出和/或過程提供或包含附帶的證據或理由。

• 有意義：一個系統所提供的解釋對目標消費者來說是可以理解的。

• 解釋準確性：解釋正確地反映產生輸出的原因或準確地反映系統的過程。

• 知識局限性：系統僅在其設計條件下以及對其輸出達到足夠置信度時才能運行。

在這項工作中，我們認識到基于過程和基于結果的解釋的重要性，以及解釋目的和風格的重要性。例如，人工智能開發者和設計者的解釋需求可能與政策制定者和終端用戶的解釋需求截然不同。因此，為什么要求解釋以及如何提供解釋可能會因人工智能用戶的不同而不同。考慮到人工智能系統與信息的人類接收者的互動，這四項原則受到很大影響。給定情況的要求、手頭的任務和消費者都會影響被認為適合該情況的解釋的類型。這些情況可以包括，但不限于，監管機構和法律要求，人工智能系統的質量控制，以及客戶關系。我們的可解釋人工智能系統的四項原則旨在捕捉一系列廣泛的動機、理由和觀點。這些原則允許定義解釋所要考慮的背景因素，并為衡量解釋質量鋪平道路。

我們設想，鑒于人工智能領域的復雜性，這些原則將隨著時間的推移從更多的細化和社區投入中受益。我們充分認識到，除了可解釋性之外，還有許多其他社會技術因素影響著人工智能的可信度。這項關于可解釋人工智能系統原則的工作是NIST人工智能組合的一部分，該組合圍繞可信賴的人工智能數據、標準、評估、驗證和核實--所有這些都是人工智能測量所必需的。NIST是一個計量機構，因此，定義可解釋人工智能系統的初始原則是未來測量和評估活動的路線圖。該機構的人工智能目標和活動是根據其法定任務、白宮的指示以及美國工業界、其他聯邦機構和全球人工智能研究界的需求來確定優先次序的。目前的工作只是這個更大空間中的一步，我們認為這項工作將隨著時間的推移繼續發展和進步，就像更大的人工智能領域。

報告探討了美國空軍在戰役層實施聯合全域指揮控制（JADC2）面臨的挑戰，分析了未來多域作戰中運用人工智能的機會，梳理了建設JADC2人工智能生態系統的最佳商業實踐。報告最后指出，指揮控制構造、指揮控制所需的數據和數據基礎設施以及利用數據來指揮控制所有領域部隊需要的工具、應用程序和算法必須調整以支持未來的多域作戰。JADC2應該以一種內聚、漸進、交互式的方式發展，美國空軍作戰集成中心應確保JADC2的指揮控制結構、數據管理以及工具、應用程序和算法開發的發展遵循統一的戰略。

作者研究并推薦了將人工智能（AI）以及更廣泛的自動化應用于美國空軍全域聯合指揮與控制（JADC2）。作者發現，為了支持未來的多域作戰，必須對三個主要的使能類別進行調整：（1）指揮和控制（C2）結構或部隊如何組織，當局在哪里，以及他們如何訓練和配備人員，（2）利用數據進行C2所需的數據和數據基礎設施，以及（3）利用數據進行C2全域部隊的工具、應用程序和算法，包括人工智能算法。轉向現代化的JADC2需要各利益相關者合作制定政策、指導、戰術、技術、程序、訓練和演習、基礎設施和工具，很可能利用人工智能，以實現概念。

研究問題

• 多域指揮與控制（目前為JADC2）定義的共同要素是什么？
• 實現JADC2的挑戰是什么？
• 需要哪些技術和能力來實現JADC2？

主要研究結果

• 美國空軍空中作戰中心（AOC）制定的72小時空中任務周期，已經無法滿足當前數字世界的要求。在未來有計劃規劃與動態規劃之間的平衡點會發生變化，動態規劃的比重會加大。全域聯合指揮控制工具和流程要具備為這種變化提供支持的能力。

• 將空軍作戰中心結構體系遷移到現代數字環境中面臨許多挑戰，包括對以人為中心的主題專家會議和委員會的依賴，“空氣隔離”系統中的數據分為多個保密級別；對商業服務產品的嚴重依賴等。

• 其他限制多域作戰速度和范圍的因素包括：權力和指揮關系，跨域同步戰斗節奏，各域使用的程序不同，不同戰區和地區使用不同的指揮控制結構，靈活健全的通信系統和程序。

• 要支持多域行動應協調一下三個范疇的內容：全域聯合指揮控制的指揮控制結構的確定，可用于多域作戰的數據源和計算基礎結構，以及實現多域決策者“在圈中”且支持機器對機器過程的算法開發。

• 目前有多個未來多域作戰概念，需求也因戰役而異。未來的指揮控制結構應具有靈活性，能夠適應各種變化。

研究建議

• 美國空軍綜合作戰中心（AFWIC）應與美國空軍太平洋司令部、歐洲司令部、非洲司令部合作，通過兵棋推演和桌面演練進行假設并繼續研究多域作戰概念，為國防戰略提供支持。同時他們應該將最終確定的多域作戰概念告知空軍以外部門，以便與其他軍種和美國國防部進行合作。

• 美國空軍首席數據官應制定適用于整個作戰中心的數據管理政策，確保數據得到保存和適當標記方便之后使用，同時要保證有足夠的數據儲存能力。

• 美國空軍綜合作戰中心應該與美國空軍作戰司令部（ACC）合作，評估各種能夠實現多域作戰的指揮控制結構。同時還要另外開展兵棋推演以及研討會來對比和比較各種替代方案。美國空軍作戰司令部后續應該進行的工作，還包括制定開發、組織、培訓和裝備方案。

• 全域聯合指揮控制流程應該體現凝聚、漸進和交互原則。指揮結構、數據管理以及工具，應用程序和算法的開發都應根據總體戰略進行。

• 美國空軍綜合作戰中心應確保戰略的實施，并向空軍參謀長報告相關情況。

本報告從技術角度關注人工智能（AI）系統在協助空軍C2方面的潛力。作者提出了一個分析框架，用于評估給定的人工智能系統對給定C2問題的適用性。該框架的目的是確定可滿足不同 C2 問題的不同需求的人工智能系統，并確定仍然存在的技術差距。盡管作者專注于 C2，但分析框架也適用于其它作戰功能和軍兵種。

C2 的目標是通過在時間和目的上規劃、同步和整合兵力來實現作戰上的可能性。作者首先提出了問題特征的分類方法，并將它們應用于眾多推演和 C2 流程。人工智能系統最近的商業應用強調人工智能提供了現實世界的價值，并且可以成功地作為更大的人-機團隊的組成部分。作者概述了解決方案能力的分類方法并將其應用于眾多的人工智能系統。

雖然主要側重于確定人工智能系統和 C2 流程之間的一致性，但本報告對 C2 流程的分析也為國防部人工智能系統所需的普遍技術能力提供了有關信息。最后，作者開發了基于性能、有效性和適用性的度量標準，一旦實施，可用于評估人工智能系統，并展示和社會化它們的效用。

研究問題

• 在學術和商業背景下開發和部署的人工智能系統在軍事背景下是否有價值？

• 能否開發一個分析框架來理解不同人工智能系統對不同C2問題的適用性，并確定普遍存在的技術差距？

• 能否開發出足夠的衡量標準來評價人工智能系統在C2問題上的性能、有效性和適用性？

主要發現

• C2 流程與用于開發和演示人工智能系統的許多推演和環境有很大不同

  • 推演算法利用規律性來實現超人的表現，但大自然和對手的干預可以打破軍事任務中這種簡化的假設。
  • 表征和開發具有代表性的問題和環境，將使人工智能系統能夠在具有代表性的國防部問題集的條件下進行研究、開發、測試和評估，從而提高對作戰環境的可遷移性。

• C2 流程的獨特性質需要不同于推演優化所需的人工智能系統

  • 了解現有人工智能系統的能力和局限性，將使空軍能夠確定適用于不同 C2 流程的系統。
  • 在問題一開始選擇正確的方法，可以顯著縮短應用程序開發時間、提高解決方案質量并降低與轉換解決方案相關的風險。

• 需要新的指南、基礎設施和指標體系來評估人工智能在 C2 中的應用

  • 建立和實施綜合性能評價指標體系將能夠評估和比較潛在的人工智能系統。
  • 此外，綜合性能評價指標體系為交流人工智能賦能的 C2 的投資回報提供了一種方法。

• 需要混合方法來處理 C2 流程中存在的眾多問題特征

  • 鑒于分析框架的普遍性和聯合全域 C2 的出現，所有這些結論和建議都延伸到了國防部對人工智能的追求。

建議

• 使用本報告描述的結構化方法系統地分析推演、問題和 C2 流程的特征，以確定現有人工智能測試平臺在哪些方面具有和不具有 C2 任務的代表性。

• 開發在種類和強度上代表C2 任務的問題特征的新人工智能測試平臺。

• 使用本報告描述的結構化方法來識別和投資高優先級解決方案能力，這些能力在廣泛的 C2 流程中需要，但目前不可用（例如，穩健性和可靠性）。

• 使用本報告描述的結構化方法來評估潛在人工智能系統特征與特定 C2 流程之間的一致性，以確定要開發的系統的優先級。

• 為人工智能解決方案制定指標體系，評估算法完整性和最優性之外的能力（例如，穩健性和可解釋性）。

• 使用本報告描述的結構化方法來確定給定 C2 流程的性能、有效性和適用性的關鍵度量。

• 根據確定的綜合性能評價指標體系，對給定 C2 流程的人工智能系統進行全面評估。

• 識別、重用和組合賦予關鍵人工智能系統能力的算法解決方案。

目錄

第一章 導言和項目概述

第二章 問題特征分類法

第三章 解決方案能力的分類法

第四章 將問題特征映射到解決方案能力上

第五章 評估人工智能解決方案的指標

第六章 結論和建議

圖S.1 人工智能系統能力圖和指揮與控制過程評估

高超音速武器正在為戰爭的步伐增添一個新的維度，并將以極快的速度推動戰場上的交戰。這將要求軍事指揮官比對手可用的先進武器和自動化流程更快地采取行動。在這種作戰環境中獲得決策優勢必須從支撐所有軍事行動的情報活動開始。

及時準確的情報提供了支持決策周期的信息優勢。將自動化應用于情報周期的各個方面，并在這些過程中建立信任，將使傳感器到射手的結構成為攔截先進武器和滿足日益增長的及時性作戰需求所必不可少的。不能滿足對及時情報的需求將導致戰場上的決策優勢喪失，隨后喪失戰斗中的作戰主動權，并可能導致戰斗。

基于人工智能 (AI) 的解決方案將在戰場和整個情報周期中提供各種優勢。當與彈性情報、監視和偵察 (ISR) 以及高級分析相結合時，它將為作戰部隊提供前所未有的能力。然而，僅靠人工智能并不能完全解決這一挑戰。我們必須為消費者和整個情報社區 (IC) 建立對源自 AI 流程的情報的信任。信任是啟用它們的關鍵，因此我們有能力從自動化中獲得全部好處。

可擴展AI的定義是算法、數據、模型和基礎設施的能力，以執行任務所需的規模、速度和復雜性。