未來的系統開發包括指揮和控制（C2）技術，以支持空戰管理人員（ABM）和戰斗機飛行員，因為他們支持在一個更大的系統系統中使用自主無人機系統（UAS）的復雜任務。在復雜的、不斷發展的和動態的環境中，人類作戰員有效地觀察、定位、決定和行動的能力是必不可少的。然而，在ABM和飛行員之間的UAS監管變化過程中，作戰者的表現可能會下降，這大大增加了作戰者的認知工作量，超過了以往任務中通常看到的工作量。不幸的是，C2技術的發展往往把重點放在自動化和硬件上，使人類作戰員的參與度不足，不利于人與自動化的互動。目前，數字工程和基于模型的系統工程（MBSE）工具正在迅速被系統開發、整合和管理所采用，以支持整合這些系統所需的復雜開發工作。目前的研究在MBSE工具中整合了人的考慮，以分析開發過程中人與自動化的合作。該方法支持在建模的任務模擬中用一對專門的活動圖表示自動化輔助和人類作戰者，稱為任務行為者圖和OODA2活動圖，允許分析作戰過程中的錯誤和瓶頸。這種方法說明有可能減少作戰員的認知工作量，改善作戰員的決策，提高系統性能，同時減少系統重新設計的時間。

這項研究的目的是開發一種基于模型的競爭性技術情報方法，以預測競爭對手的系統。這種分析目前是由撰寫長篇敘述性報告來驅動的，這些報告的維護和更新都很費力，同時也幾乎沒有明確說明預測是如何形成的。為了做到這一點，從系統工程的技術過程中得出了一個對立面過程的框架，或稱反過程。然后將其與競爭性技術情報領域的分析技術相結合，建立一個SysML參考模型，然后將其應用于一個小型案例研究，以加強和完善該模型。反過程為在所探討的特定階段對競爭者的系統進行框架和分析提供了堅實的基礎。SysML參考模型的分層方法提供了可追溯性和解構每個反過程的分析過程的手段。最后，貝葉斯推理技術的參數模型，主觀邏輯，使一個可動態更新的模型能夠計算每個反過程中的預測的可能性和不確定性。最終，反過程框架和SysML參考模型為競爭對手系統的情報預測提供了一個嚴格的、基于模型的方法。

研究集成人類推理、機器學習和因果學習的重要性

• 專注于人類推理的可視化和因果推理方面
• 提供可信賴和安全的自動化和人工智能工具
• 為人類操作員提供可解釋和可操作的信息
  • AI/ML模型和仿真模型：
    • 一致
    • 可解釋，沒有黑盒性
    • 在廣泛的應用中為一系列用戶測試理論，如
      • 戰役/任務規劃
      • 未來作戰概念的設計和模擬
      • 戰士培訓等，允許提出不同的問題很容易
• 與ML/AI的發展，以及圖靈測試相聯系
  • 對研究人工智能、認知和元認知的重要性
  • 人工通用智能（AGI）：一個知識系統總是和我們在一起，自我學習并幫助我們學習

基于模型的系統工程（MBSE）是 "正式應用建模來支持系統需求、設計、分析、驗證和確認活動，從概念設計階段開始，一直持續到開發和后期的生命周期階段"。(INCOSE 2007)

"多范式建模（MPM）提供了一個基礎框架，將幾個學科以一致的方式粘在一起。MPM提供的流程和工具可以結合、耦合和整合構成系統的每一個觀點。"

摘要

現代戰場比以往任何時候都要復雜，武器的技術進步也在不斷加快。為了贏得下一場戰斗，對對手的行動作出更快的反應時間是至關重要的。人工智能（AI）有可能使作戰人員超過敵人的決策周期，減少信息過載，從而克服 "戰爭迷霧"。在開發作戰系統時，可靠性可能是生與死的區別。因此，最重要的是，這些武器系統（尤其是像人工智能這樣的新型系統）在被引入戰斗空間并被委托保護作戰人員之前，就已經以最高標準的可靠性和安全性進行開發。該項目利用系統工程方法來確定與人工智能及其在戰斗空間中的作用有關的潛在危險和風險。使用一個既定的風險管理框架（RMF），該團隊提供了一些緩解策略，開發人員在培養這項技術以用于未來的美國武器系統和程序時必須考慮。

執行摘要

現代戰場比以往任何時候都更加復雜，武器的技術進步也在加速。為了贏得下一場戰斗，對對手的行動有更快的反應時間至關重要。人工智能（AI）有可能使作戰人員超越敵人的決策周期，減少信息過載，從而克服 "戰爭迷霧"。人工智能可能的用途的一些例子包括幫助操作者決策的綜合戰斗管理輔助工具（BMAs），預測未來交戰結果的算法，以及識別朋友或敵人。

為了有效地運用人工智能，開發者必須了解與創造能夠像人類一樣 "思考 "的戰爭機器相關的好處和風險。這種風險并不局限于技術，還可能包括人類層面，例如當作戰人員不信任計算機為他們做決定時。另一個潛在風險的例子是，"訓練 "人工智能的數據可能是錯誤的，陳舊的，或沒有意義的，使其無效。此外，人工智能可能會 "失敗"，在面臨另一個人工智能實體或BMA不同意的情況下，錯誤地選擇行動，導致威脅影響到友好目標。

在開發作戰系統時，可靠性可能是生與死的區別。因此，最重要的是，這些武器系統（特別是像人工智能這樣的新型系統）在被引入戰斗空間并被委托保護作戰人員之前，就已經以最高標準的可靠性和安全性進行開發。該項目利用系統工程方法來確定與人工智能及其在戰斗空間中的作用有關的潛在危險和風險。使用一個既定的風險管理框架（RMF），該團隊提供了一些緩解策略，開發人員在培育這項技術以用于未來的美國武器系統和流程時必須考慮。

該團隊還采用了系統工程來進行項目分析。首先，他們以問題為導向，確定需求。為了實現這一目標，團隊通過對該主題的前期工作進行廣泛的文獻回顧，了解了人工智能和機器學習（ML）到底是什么。這使該團隊能夠開發系統架構圖，以了解潛在的系統結構和層次。然后，該小組利用其成員的個人知識（如兩名在導彈防御局工作的成員和一名現役海軍陸戰隊軍官），為人工智能在戰斗空間的潛在應用開發用例場景。使用Innoslate開發人工制品，該團隊然后從這些用例中進行安全分析，以確定危險和故障模式。使用美國國家標準和技術研究所特別出版物800-37修訂版中的RMF對這些危險和失效模式進行了分析。這使團隊能夠為確定的危險制定緩解策略。

如上所述，團隊開發了三個用例：（1）彈道導彈防御場景；（2）一艘受到無人駕駛飛行器群攻擊的船只；（3）戰區級和戰略級人工智能系統產生相互矛盾的建議的場景。該團隊選擇這些情景的依據是它們可能對國家造成的影響程度（如配備核彈頭的彈道導彈）、它們的可能性（如大型海軍艦艇這樣的高回報目標），以及未來戰爭轉向遠征性質（如前沿作戰基地（FOB）和遠征先進基地）。每種情況下都有廣泛的故障模式和緩解策略（以及計算機資產的常見系統危險）。通過確定這些故障模式和緩解策略，該小組為未來針對其他可能性和情景的規劃提供了一個基線。

情景1的彈道導彈防御情況突出了作戰人員的不信任。在這種情況下，作戰人員根據自己的作戰概念，而不是人工智能的建議，對來襲的彈道導彈作出反應。與這種不信任相關的危害包括無效的反應時間、無效的反制措施、不正確的致命物體選擇以及反制措施將影響的不正確位置/時間。情景2的艦艇自衛情況側重于人工智能發展的訓練數據。該小組確定了諸如錯誤識別和無效反應等危險，以及與之相關的故障模式。情景3的主要危害來自于敵方成功攻擊友方FOB的主要事故。導致這種意外發生的危險是敵方的威脅沒有被解除，以及是否根本沒有參與。

該小組為每一種情況制定了緩解策略。情景1的首要策略是建立人工智能在決策過程中要遵守的時間標準，以及用戶的行動概念（CONOPS）要定期更新，并在部署前階段進行。對于情景2，在部署前采用適當的編程技術，定期（每月）更新訓練數據，并利用備份數據，可以防止誤認和無效的反應。情景3的危險可以通過在部署前階段的適當編程和聯合部隊的投入來減輕。

最后，小組建議進一步研究如何在戰術和行動層面實施AI/ML，AI/ML被用來收集新的或現有威脅的性能數據，國防部指導如何管理將使用AI/ML的系統的驗證和確認，并對AI/ML BMA進行服務水平和國防部水平的可靠性研究。在本報告結束時，讀者應該更好地了解AI/ML如何使作戰人員受益，以及必須采取哪些預防措施以確保其盡可能安全地發展。

I. 簡介

A. 背景

自動化和人工智能的概念已經存在很多年了。Gregory Allen (2020)說，"盡管許多人工智能技術是舊的，但在過去的十年里，有一些合法的技術突破，大大增加了人工智能實用、強大和有用的應用的多樣性。" 機器學習（ML）是人工智能領域的一個子集，是最近許多研究工作的重點。圖3說明了自動化、人工智能和ML之間的聯系。

圖3. 自動化、AI和ML的維恩圖。

人工智能/機器學習有可能提高作戰人員對戰斗空間的態勢感知，改善時間緊迫和復雜威脅情況下的戰術決策過程和速度。在實施人工智能和ML的過程中，這些好處不會沒有潛在的安全風險。圖4描述了與在戰斗管理輔助工具中使用人工智能和ML有關的一些安全風險。自動系統容易受到網絡攻擊，操作人員可能會遇到信任或互動問題，特別是ML系統，很容易提供歪曲或有偏見的結果。

圖4. AI/ML系統的失敗模式實例。

人工智能作為一種具有廣泛用途的能力，對美國防部的吸引力越來越大。根據2018年國防部關于人工智能的戰略，"不實施這一戰略的代價是明確的。不采用人工智能將導致與我們的人民的防御無關的遺留系統，侵蝕盟友和合作伙伴之間的凝聚力，減少進入市場的機會，這將導致我們的繁榮和生活水平下降，以及對建立在個人自由基礎上的社會的日益挑戰"（國防部2018年）。特別是，鑒于彈道導彈防御、巡航導彈防御、高超音速導彈防御和防空的復雜性，空中和導彈防御（AAMD）任務領域特別值得關注。存在多種防御系統，以擊敗由人類作戰人員控制的各個飛行階段的威脅。在某些情況下，當決策空間因時間限制、信息挑戰（太多、太少或太差）或威脅挑戰（多種和/或不同的AAMD威脅）而變得復雜時，這些人類作戰人員變得不知所措。包括一個自動決策輔助工具來協助作戰人員，甚至承擔決策者的角色，是國防部許多地方正在探索的領域空間（國防部2018）。

以下兩個作戰視圖（OVs）描述了在戰略層面（圖5）和區域層面（圖6）使用帶有AI/ML的作戰管理輔助工具，以及嵌入的風險圖表，確定一些需要調查的安全風險。

圖5. 戰略層面OV-1-自動作戰管理輔助工具的安全性

圖6. 區域級OV-1-自動作戰管理輔助工具的安全性

鑒于人工智能和ML很有可能被整合到指揮和控制、作戰管理輔助工具和武器系統本身，這個頂點項目探討了為AAMD任務引入人工智能和ML能力作為自動戰斗管理輔助工具（BMA）的潛在危險。

B. 問題陳述

技術的進步提高了戰爭的速度，需要更快的反應時間和人類決策。美國防部（2017）已經承認有必要獲得戰術決策輔助工具，以減輕指揮官和作戰人員的戰場決策壓力。在BMAs中使用自動化方法，包括AI和ML，可以幫助滿足多樣化的任務需求，以及協助從計劃到執行的過渡（美國防部2017）。然而，由于人工智能系統的非確定性和不斷發展的性質、復雜的人機互動以及與學習系統的開發和運行有關的挑戰，在未來的BMA中使用人工智能和ML會引入安全風險和新的故障模式。

C. 項目目標

該頂點項目的目標是研究與未來利用人工智能和ML為AAMD任務開發和實施BMAs有關的安全風險。具體來說，這項研究涉及以下問題。

• 與支持未來自動戰術決策和任務規劃輔助工具的人工智能系統的部署有關的安全風險是什么？

• 在戰術決策中使用的人工智能系統的安全相關問題可能會產生什么后果？

D. 利益相關者

該小組確定了關鍵的利益相關者，并評估了他們的需求，如表1所示。利益相關者包括將從這項研究中受益的組織和終端用戶。特別是終端用戶（作戰人員），將從利用人工智能和ML能力的成功和安全的BMA的實施中受益。項目經理和工程師可以將本研究的結果納入為AAMD任務提供的安全AI/ML BMA的系統要求和設計中。

表1. 關鍵利益相關者

E. 團隊組織

頂點團隊由以下NPS系統工程學生組成。Angela Hoopes, Luis Cruz, Ryane Pappa, Savanna Shilt, 和Samuel Wuornos。表2介紹了該團隊的角色和他們各自的組織。

表2. 項目團隊成員

團隊成員	角色	組織機構
安吉拉-胡普	團隊負責人	系統評估小組首席工程師NH-04 0801，導彈防御局-宙斯盾BMD項目辦公室-工程局
路易斯-克魯茲	開發和集成負責人	導彈防御局以色列合作項目辦公室測試主任
瑞恩-帕帕	工程負責人	美國陸軍作戰能力和發展指揮部軍備中心（DEVCOM-AC）系統工程局DB-03 0801總工程師團隊負責人
薩瓦娜-希爾特	首席分析師	美國陸軍信息系統工程指揮部（USAISEC），計算機科學家NH-03 1550
塞繆爾-烏爾諾斯少校	首席編輯	美國海軍陸戰隊第3航空聯隊海軍陸戰隊重型直升機466中隊飛機維修員和飛行員

圖7中的團隊組織結構圖描述了A.ctual I.ntelligence團隊的高層組織結構，包括頂點顧問、團隊領導、第二讀者、建模領導、工程領導、首席編輯和首席分析師等角色。

圖7. 團隊組織

組織結構圖中每個角色的職責是根據整個頂點項目過程中要完成的關鍵研究和活動來確定的。表3列出了每個團隊成員以及他們的角色和責任。

表3. 項目團隊成員

F. 項目方法

該團隊利用系統工程的方法來進行本項目的分析。首先，他們以問題為導向，確定需求。為了實現這一目標，團隊專注于學習人工智能和ML到底是什么，對該主題的先前工作進行廣泛的文獻回顧。這使團隊能夠開發系統架構圖，以幫助他們了解潛在的系統結構和層次。然后，該團隊利用其成員的個人知識（如兩名在導彈防御局工作的成員和一名現役海軍陸戰隊軍官），為人工智能在戰斗空間的潛在應用開發用例場景。使用Innoslate開發人工制品，該團隊然后從這些用例中進行安全分析，以確定危險和故障模式。然后使用國家標準和技術研究所特別出版物800-37修訂版中的風險管理框架（RMF）對這些危險和失敗模式進行分析。這使該小組能夠為所確定的危險制定緩解策略。

G. 頂點報告概述

第一章提供了項目的介紹和背景。它介紹了問題陳述、項目目標、利益相關者描述、團隊組織和項目方法。

第二章提供了團隊研究的以往作品的回顧。這些作品提供了關于機器學習、人工智能和作戰人員決策的關鍵背景信息。本章介紹了為什么這些作品與本項目有關。

第三章涵蓋了對導彈防御中涉及人工智能/ML的三個用例場景的關鍵分析。這些用例包括彈道導彈防御、海軍軍艦自我防御和戰略與戰區偏見。該章詳細討論了已確定的故障模式和危害，為風險評估提供了一個基線。

第四章以第三章的分析為基礎，對每個用例已確定的故障模式和危害進行了深入的風險分析。團隊利用這一風險分析，提供緩解策略，供未來的開發者考慮。

第五章討論了前幾章得出的結論，并討論了在導彈防御和未來作戰系統和進程方面，人工智能/ML的發展/采購的潛在途徑。

美國海軍陸戰隊正在探索使用人機協作來控制前線部署環境中的無人駕駛航空系統（UAS），其任務范圍廣泛，包括情報、監視和偵察（ISR）、電子戰（EW）、通信中繼和動能殺傷。美國海軍陸戰隊設想使用未來的垂直起降平臺（VTOL）來支持混合戰爭任務并實現軍事優勢。對于美國海軍陸戰隊的混合戰爭應用，以實現任務優勢和戰爭主導權，美國海軍陸戰隊需要了解VTOL機組和無人機系統之間錯綜復雜的人機互動和關系，以獲得戰斗空間態勢感知，并有效地計劃和執行針對常規和不對稱威脅的旋轉翼行動。這項研究的重點是美國海軍陸戰隊在海洋環境中的打擊協調和偵察（SCAR）任務，以促進遠征基地先進作戰（EABO）在沿岸地區。有多種復雜的功能必須加以考慮和評估，以支持人機協作互動，提高任務的有效性：任務規劃、移動和滲透、區域偵察、偵察戰斗交接和過渡。

這份頂點報告探討了SCAR任務期間三個系統之間的人機協作：UAS、VTOL和地面控制站（GCS）。該研究從VTOL項目的文獻回顧開始，研究了美國海軍陸戰隊SCAR任務戰術和用于促進EABO的理論概念。此外，它還包括對自主性和自動化、人工智能和機器學習的研究。通過使用合作設計模型來探索這三個系統的人機協作互動和過程，文獻回顧探討了如何使用基于三個因素的相互依賴性分析（IA）框架來確定人類執行者和機器團隊成員之間的相互依賴性：可觀察性、可預測性和可指導性。

通過基于模型的系統工程（MBSE）工具，將SCAR任務的高級功能分解為分層次的任務和子任務，系統分析被用來支持聯合設計方法。根據Johnson（2014）的說法，合作設計方法研究了相互依賴的概念，并使用IA框架作為設計工具。IA框架捕捉了主要執行者和支持團隊成員之間的互動，以發展支持每個主要任務和分層子任務的所需能力，從而產生HMT要求。這份頂點報告分析了兩種選擇。第一個方案認為UAS是主要執行者，VTOL和GCS是輔助團隊成員。第二種方案認為VTOL是主要執行者，UAS和GCS是輔助團隊成員。基于這兩種選擇，IA框架評估了17個主要任務、33個分層子任務和85個執行SCAR任務的所需能力。

此外，研究發現需要一個強大的數字任務規劃系統，如升級后的海軍陸戰隊規劃和行動后系統（MPAAS），通過存儲以前的任務和經驗教訓的數據來促進機器學習。美國海軍陸戰隊將面臨無人機系統的處理能力和信息存儲方面的挑戰。應盡一切努力增加UAS的處理能力。必須實施一個有效的主要、備用、應急和緊急（PACE）通信計劃，以確保UAS、VTOL和GCS之間所有通信平臺的冗余。美國海軍陸戰隊必須實施支持信任、提供快速反饋和簡單操作的接口。

最后，為了準確評估VTOL、UAS和GCS之間的HMT要求，頂點報告促成了一個探索性實驗的發展，該實驗將在海軍研究生院（NPS）建模虛擬環境和模擬（MOVES）實驗室使用，以促進未來的研究。制定了操作要求和測量方法，以確定HMT要求的有效性。

這項頂點研究為在SCAR任務中執行VTOL/UAS混合行動的人機互動復雜性提供了明確的證據。該頂點研究確定了使用系統分析和協同設計作為一種有效的方法，通過IA框架促進人機協作需求的發展。此外，該研究確定了對復雜的自主性和技術準備程度的需求，這可能是目前還沒有的。頂點建議美國海軍陸戰隊繼續研究人機協作，并利用SCAR任務探索性實驗來進一步完善和研究VTOL/UAS的高級系統要求，以支持具有前沿部署的UAS的混合行動，重點是實現4級自主權。