軍事決策過程（MDMP）包括分析地形以確保任務成功的關鍵任務。然而，傳統的地形分析方法，如二維（2D）模擬地圖、PowerPoint 演示文稿和任務式指揮系統，資源密集、耗時長，而且會使決策者無所適從。因此，本研究側重于使用移動頭戴式增強現實（AR）顯示技術進行三維（3D）地形可視化，以應對這些挑戰。AR 技術可讓用戶觀察到疊加在物理環境上的虛擬物體，從而增強身臨其境的體驗。該工具允許用戶查看和操作三維地形，添加軍事資源的表示，檢查由此產生的配置，并參與 MDMP。可用性研究評估了界面的有效性、效率和用戶滿意度，重點是三維可視化任務、衍生地形信息提取以及在有爭議的潮濕空隙穿越場景中的部隊部署。結果表明，AR 地形可視化原型為決策者提供了更全面、更準確的信息，使任務規劃和執行取得了成功。這項研究凸顯了三維地形可視化和 AR 技術在改進 MDMP、讓決策者更好地了解環境并做出更明智決策方面的潛力。

A. 研究領域

本研究側重于利用增強現實（AR）技術來支持軍事決策過程（MDMP），這是任務規劃的一個重要方面。該工具可使用戶與描述地形的本地三維（3D）數據集進行交互，并允許使用一套 3D工具。因此，該工具具有增強決策過程和提高 MDMP 會議效率的潛力。

傳統上，美國陸軍在規劃任務時依賴于二維（2D）圖形信息。然而，獲取更詳細的地形信息需要大量的時間和資源，例如創建額外的二維圖形表示法。相比之下，如果地形已被捕獲并表示為三維數據集，工作人員就能獲得所有必要信息，從而參與 MDMP 并做出更明智的決策。

論文研究包括設計和開發一種增強現實（AR）可視化工具，該工具可與三維虛擬地形一起操作，并支持 MDMP，尤其強調濕間隙穿越（WGC）的任務規劃。本論文旨在通過提供虛擬地形的精確數據、允許使用三維工具和更好地做出決策，改善 MDMP 期間的人員協作。此外，這項研究還有助于理解在 MDMP 中促進小團隊合作所需的技術前提條件。

B. 問題與動機

技術進步往往會超越其采用和融入現有系統和流程的速度，這是一種常見現象。例如，在軍事任務中使用 AR 和虛擬現實（VR）技術進行信息共享，可以顯著改善復雜多變行動的規劃和執行。然而，將這些技術納入現有的任務式指揮系統和程序可能具有挑戰性且耗時較長，這主要是由于軍事行動對安全性和可靠性的要求。此外，用戶可能會抵制引入他們不熟悉的新解決方案和技術。因此，盡管信息共享技術進展迅速，但其融入軍事部門的速度卻慢得多。因此，復雜多變的軍事行動仍在使用過時的協議進行規劃和執行，任務式指揮系統長期以來也只是略有改進。

美國陸軍在 MDMP 期間使用各種方法提取信息和分析地形。主要是陸軍的每個作戰職能部門使用二維地圖提取地形信息；參謀部門通過情報地形科請求獲得更詳細的信息。然后，參謀部門將從二維地圖上收集的信息和情報科提供的信息制作成 PowerPoint 演示文稿。指揮官利用這套演示文稿做出最終決定。然而，由于二維地圖的固有局限性及其表現形式（在 PowerPoint 幻燈片中展示靜態二維地圖），參謀部無法始終從地形中提取衍生信息，從而做出明智的決策。如果能以本地三維數據格式顯示地形，并使用一系列合適的三維工具，工作人員就能從地形中提取衍生信息，加強協作，并更好地理解共同行動圖（COP）。

增強現實技術在軍事領域并不新鮮，但在 MDMP 期間尚未得到廣泛應用。通過在 MDMP 期間使用 AR 可視化工具，工作人員可以獲得以前無法用于工作和協作的系統功能。通過 AR 顯示三維虛擬地形并與之互動，每個 WWF 都可以使用簡單的手勢在地形周圍導航，操作這些數據集，操縱和放大縮小地形，并提取決策所需的衍生信息。因此，WWF 可以通過對地形具體情況的透徹了解來證實他們的決策，并更好地闡明他們向指揮官推薦特定行動方案的原因。此外，因誤解二維數據集而可能產生的錯誤也會減少，甚至消除。

關注 WGC 是部署 AR 技術和使用 3D 數據表示的沃土，這是有充分理由的。對于美國陸軍人員來說，WGC 是最具挑戰性的聯合武器任務之一；由于需要投入大量資源和人力資本，這類任務的規劃非常復雜（美國陸軍聯合武器中心，2019 年）。美國陸軍中的六個 WFF 必須緊密配合，以確保 WGC 的安全進行。在 MDMP 開始時，美國陸軍的每個 WFF 都要聽取情報部門關于地形分析的簡報；這一階段稱為戰場情報準備（IPB）。IPB 代表了對部隊行動區（AO）內地形的高層次審視，并提供了有關地形預期的歷史數據（陸軍部總部，2019 年）；他們的大部分決策都是基于二維地圖做出的。進行 IPB 后，WFF 根據情報科提供的信息制定行動方案 (COA)。然而，依賴二維地圖有許多固有的局限性。例如，無法從任何給定點查看地形（數據集沒有三維記錄），因此缺少富有成效的 MDMP 所需的豐富地形信息。因此，使用卓越的數據表示，最大限度地減少出錯的可能性，并投入時間有效地研究替代方案和決策，有可能為此類復雜的軍事行動帶來急需的改進和戰略優勢。

C. 研究問題

本論文探討以下研究問題：

1.有可能為聯合武器 MDMP 提供最有效支持的技術框架是什么？

2.AR 支持的 MDMP 工具能否通過提供有關地形分析的衍生信息來增強作戰職能部門對地形的理解？

3.AR 支持的 MDMP 工具能否有效協助資源管理？

4.AR 支持的 MDMP 工具能否有效協助軍事參謀人員在聯合作戰場景中開展協作？

D. 研究范圍

本論文僅限于開發一種 AR 可視化工具和虛擬環境，以支持 "濕間隙穿越 "和提取 MDMP 期間每個 WWF 所需的地形衍生信息。此外，同一工具還可實現軍事參謀部門之間的人員協作和信息交流。

E. 研究方法

用于解決所有研究問題的方法包括以下步驟：

1.文獻綜述：進行文獻綜述，提供論文中使用的基本構造的背景信息。

2.任務分析：對當前開展 MDMP 的實踐進行分析，以跨越濕間隙。這包括但不限于詳細分析行動方案制定過程中不同作戰功能之間的報告和互動、當前地形可視化實踐以及團隊協作。

3.設計 AR 可視化工具： 為工具和用戶界面設計支持系統架構。此外，選擇一套支持用戶任務所需的三維對象和地形。

4.可用性研究：開展可用性研究，重點關注支持 AR 的 MDMP 工具的功能和性能。

5.數據分析：分析在可用性研究中收集的綜合數據集。

6.得出結論并提出未來工作建議。

F. 論文結構

第一章：導言。本章介紹研究空間的最關鍵要素：領域、問題、研究問題、范圍以及用于解決所有研究問題的方法。

第二章：背景和文獻綜述。本章討論美國陸軍如何開展 ADM 和 MDMP 以規劃軍事行動。本章還討論了 VR 和 AR 過去和當前的使用情況，以及在 MDMP 過程中軍事人員合作時 AR 的潛在用途。

第三章：任務分析： 當前 MDMP 實踐。本章分析了當前陸軍參謀人員在 MDMP 期間分析地形時使用的方法和工具，以及如何向指揮官推薦 COA。此外，本章還討論了向指揮官提供 2D 信息時存在的知識差距。

第四章：原型系統設計與實施。本章討論了 AR 可視化工具、系統架構、用戶界面和模擬環境的設計與開發。文中還描述了 WGC 場景和為可用性研究所需的虛擬環境而構建的 3D 模型。

第五章： 可用性研究。本章討論了使用 AR 可視化工具進行可用性研究的方法，包括制定完整的機構審查委員會文件。此外，文中還討論了虛擬環境、技術要求以及在可用性研究中收集的客觀和主觀數據集。最后，本章分析了可用性研究的結果。

第六章：結論和未來工作。本章概述了研究的要點，并對今后的工作提出了建議。

制定量化不確定性元數據的軍事標準是解決利用人工智能/機器學習（AI/ML）軍事優勢所固有的問題。通過提供元數據，美國防部可以繼續確定使用人工智能/機器學習的最佳策略，與能力發展同步進行。這種協調將防止在解決與在作戰系統中實施AI/ML有關的困難技術問題時出現延誤。不確定性量化可以使觀察、定向、決定和行動循環的實際數字實施成為可能，解決在戰爭中使用AI/ML的道德問題，并優化研究和開發的投資。

引言

從基礎上講，美國軍隊不需要人工智能/機器學習（AI/ML）。然而，軍隊需要能夠比對手更快、更好地觀察、定位、決定和行動（OODA），以實現軍事優勢。機器有能力以比人類更快的速度進行觀察、定位、決定和行動，從而實現這一優勢。然而，關于允許AI或ML模型 "決定 "最佳軍事行動方案是否合適的問題仍然沒有定論，因為該決定可能導致破壞和死亡。

利用AI/ML的軍事優勢的潛在隱患已經被不厭其煩地提出來。有三個問題仍然是最令人擔憂的：（1）解決賦予AI摧毀事物和人的權力的道德和倫理考慮；（2）平衡發展AI/ML能力的成本和軍事效用；以及（3）確保對機器的適當信任水平，以最佳地利用對能力發展的AI/ML部分的投資。然而，作為元數據納入軍事信息的不確定性量化（UQ）可以解決這三個隱患，同時遵守美國防部的人工智能倫理原則。

美國防部的人工智能戰略將AI/ML技術的成熟作為優先事項并加以激勵。其結果是，試圖快速實施能力的活動紛至沓來，而對能力增長的可持續性或AI/ML使用的高階影響規劃卻少之又少。正如一位國防研究人員所指出的，"當技術變革更多的是由傲慢和意識形態驅動，而不是由科學理解驅動時，傳統上調節這些力量的機構，如民主監督和法治，可能會在追求下一個虛假的黎明時被削弱。"

美國國防高級研究計劃局認為，目前的AI/ML系統 "缺乏必要的數學框架 "來提供使用保證，這阻礙了它們 "廣泛部署和采用關鍵的防御情況或能力。"保證需要信心，而信心需要最小的不確定性。使用AI/ML的系統的這種保證可以幫助解決道德方面的考慮，提供對開發成本與效用的洞察力，并允許其在戰爭中的使用責任由最低層的指揮官和操作員承擔。

通過在AI/ML系統中實施不確定性量化的軍事標準，美國防部可以確保對這些系統非常需要的信任。此外，如果美國防部將不確定性量化作為對開發者的要求，有可行的方法來應用現有的數學方法來確定和傳播不確定性。然而，當軍方將這一標準應用于信息時，它必須牢記不確定性量化的高階效應和挑戰。

AI/ML的不確定性量化

為了解決上述三個陷阱，任何軍事數字系統內部和都應該要求進行不確定性量化。不確定性量化是為系統中的不完美或未知信息分配一些數字的過程，它將允許機器實時表達它的不確定性，為建立對其使用的信任增加關鍵的透明度。美國防部應實施一項軍事標準，規定對數字系統中的每個數據或信息的元數據進行不確定性的量化標記。一旦可用，這些元數據可以通過功能關系傳播到更高層次的信息使用，為AI或ML模型提供所需的信息，以始終表達它對其輸出的信心如何。

理解作為元數據的UQ需要理解計量學的基礎概念--與測量不確定度有關的權重和計量科學。也就是說，一個測量有兩個組成部分： 1）一個數值，它是對被測量量的最佳估計，以及2）一個與該估計值相關的不確定性的測量。

值得注意的是，2008年國際標準化組織（ISO）的《測量不確定性表達指南》定義了測量不確定性和測量誤差之間的區別。這些術語不是同義的："通常在被測物[被測量的量]的報告值后面的±（加或減）符號和這個符號后面的數字量，表示與特定被測物有關的不確定性，而不是誤差。誤差是指測量值與實際值或真實值之間的差異。不確定度是許多誤差的影響"。

在軍事術語中，"測量"是在OODA循環中收集和使用的任何信息。每條信息都是由某種傳感器測量的，并且會有一些不確定性與之相關。作為元數據的不確定性量化將至少采取兩種形式：根據經驗產生的測量不確定性（基于上文概述的計量標準）和統計學上假設的不確定性（通過一些手段確定，其中有很多）。

操作員在使用具有UQ功能的系統時，可以使用系統報告的不確定性來告知他們的戰術決策。指揮官可以利用這種系統在作戰甚至戰略層面上為各種類型的軍事行動設定所需的預定義信任水平，這可以幫助操作人員在使用AI或ML模型時了解他們的權限是什么。這也將有助于采購專業人員為AI/ML能力的發展做出適當的投資決定，因為它將量化效用的各個方面。此外，在使用AI/ML的系統中提供量化的最低限度的確定性要求，可以解決上面討論的三個隱患。

就使用AI的道德和倫理問題而言，對于 "讓AI或ML模型決定將導致破壞和死亡的軍事行動方案，是否符合道德或倫理？"這個問題沒有單一的正確答案。正如所有的道德和倫理辯論一樣，以絕對的方式處理是不可能的。

因此，美國防部應將軍事行動分為三個眾所周知的機器自主性相對程度之一：機器永遠不能自己做的事情，機器有時或部分可以自己做的事情，或機器總是可以自己做的事情。然后，美國防部可以為這些類別中的每一類定義一個最低的確定性水平作為邊界條件，并且/或者可以定義具體行動所需的最低確定性水平。決策或行動的關鍵性將推動UQ邊界的確定。使用不確定性量化包含了在處理使用AI/ML的系統的道德考慮方面的細微差別和模糊性。

當涉及到平衡人工智能/機器學習的成本與使用時，美國防部的受托責任是確保對人工智能/機器學習發展的投資與它的軍事效用成正比。如果人工智能/機器學習政策禁止美國軍隊允許人工智能決定摧毀某物或殺人，那么開發和采購一營完全自主的殺手機器人就沒有任何意義。因此，預先定義的最低不確定性界限將使采購專業人員能夠確定如何最好地使用有限的資源以獲得最大的投資回報。

在能力發展過程中優化對AI/ML的信任，將需要對AI/ML采購中普遍存在的經驗不足以及機器學習中不確定性量化科學的相對稚嫩進行保障。"不確定性是機器學習領域的基礎，但它是對初學者，特別是那些來自開發者背景的人造成最困難的方面之一。" 系統開發的所有方面都應該包括不確定性量化的元數據標簽，無論系統是否打算自主使用。

這些輸出可能會被卷進更高層次的數字能力中，然后需要UQ數據來計算不確定性的傳播。例如，F-16維護者的故障代碼閱讀器應該有不確定性量化元數據標記到每個故障讀數，在源頭提供這種量化。讀碼器本身并不打算納入人工智能或機器學習模型，而且該數據可能不會立即用于人工智能/ML應用，但故障數據可能會與整個艦隊的故障數據進行匯編，并提交給預測倉庫級維護趨勢的外部ML模型。元數據將跟隨這組數字信息通過任何級別的編譯或高階使用。

要求將不確定性量化元數據作為一項軍事標準，實現了美國防部長關于人工智能道德原則的意圖，其中包括五個主要領域：

• 負責任： UQ為判斷提供依據，為開發、部署和使用人工智能能力提供經驗基礎。
• 公平性： 人工智能中的偏見可以用與不確定性相同的方式來衡量，并且是基于許多相同的統計學原理。然后，偏見可以被解決和改善。
• 可追溯性： 要求每個層次的不確定性元數據能夠保證可追溯性。機器的性能問題可以追溯到有問題的部件。
• 可靠性： UQ允許開發人員檢查，并允許有針對性地改進最惡劣的輸入因素。
• 可管理： UQ作為自主性信任等級的邊界條件，可以用來定義實現預期功能和避免意外后果的準則。

采用這些道德原則是為了確保美國防部繼續堅持最高的道德標準，同時接受人工智能這一顛覆性技術的整合。不確定性量化是實現這一目標的實用方法。

在AI/ML中建立信任

蘭德公司的一項研究發現，信任是與人工智能/ML的軍事用途有關的大多數擔憂的根本原因。國防部研究人員指出，"當涉及到組建人類和自主系統的有效團隊時，人類需要及時和準確地了解其機器伙伴的技能、經驗和可靠性，以便在動態環境中信任它們"。對于許多自主系統來說，它們 "缺乏對自身能力的認識，并且無法將其傳達給人類伙伴，從而降低了信任，破壞了團隊的有效性"。

AI/ML模型中的信任從根本上說是基于人類對信息的確定性，無論是簡單的傳感器輸出還是自主武器系統的整體能力。這一點得到了MITRE公司研究的支持： 人工智能采用者經常詢問如何增加對人工智能的信任。解決方案不是讓我們建立人們完全信任的系統，也不是讓用戶只接受從不犯錯的系統。相反，教訓指出了在證據和認知的基礎上形成良好的伙伴關系的重要性。良好的伙伴關系有助于人類理解人工智能的能力和意圖，相信人工智能會像預期的那樣工作，并在適當程度上依賴人工智能。然后，利益相關者可以校準他們的信任，并在授予人工智能適當的權力之前權衡人工智能決定的潛在后果。

通過將機器--數字或物理--視為合作伙伴，軍方可以將其與人類合作伙伴的信任建立技術進行類比。健全的伙伴關系需要有效的雙向溝通和加強合作的系統。"事實上，數字系統輸出中的不確定性措施是沒有用的，除非這種不確定性可以傳達給人類伙伴。一旦機器能夠量化不確定性，并且能夠傳達這種量化，它們也能夠對輸出進行評估并改進系統。

機器對其自身能力的認識的實時反饋，將通過提供每個循環中的不確定性的量化，增加機器的觀察、定位和決定功能的透明度。這種反饋提高了對該特定系統的信任，并通過不確定性的傳播實現了對系統中的系統的信任量化。例如，考慮遙控飛機（RPA）對一個潛在目標的視頻監控。如何確定RPA的傳感器是準確的和經過校準的，視頻流沒有被破壞，和/或操作者已經得到了關于首先將傳感器指向何處的健全的基線情報？

OODA環路的每一個組成部分都有一些相關的不確定性，這些不確定性可以而且應該被量化，從而可以用數學方法傳播到決策層面。在這種情況下，它將導致目標正確性的x%的傳播確定性，使任務指揮官對他們的態勢感知（觀察）充滿信心，并使他們能夠更好地確定方向，更快地決定是否參與。

通過量化不確定性，并將其與各類行動所需的預定信心水平結合起來使用，決策者可以圍繞那些幾乎沒有道德影響的軍事行動以及那些有嚴重道德影響的軍事行動創造邊界條件。國防部高級領導人還可以為開發和應用人工智能/ML能力的投資比例設定門檻，并可以確保投資將被用于實現最佳軍事優勢。這將通過 "量化-評估-改進-溝通 "的循環為使用人工智能/ML的系統提供保證。

不確定性量化允許設置如果-那么關系，以限制機器的可允許行動空間。在另一個簡略的例子中，一個空間領域意識任務可以使用紅外傳感器數據來識別空間飛行器。如果-那么關系可能看起來像這樣： 如果傳感器數據與目標的關聯模型的確定性大于95%，那么該目標識別信息可以在國家空間防御中心目錄中自動更新。如果傳感器數據與目標的關聯模型的確定性大于75%但小于95%，那么機器可以嘗試與確定性大于75%的信號情報（SIGINT）進行匹配，或者可以將信息發送給人類進行驗證。

因此，使用量化的不確定性使指揮官能夠將決策樹根植于人工智能/ML模型可使用的參數中，并指導如何使用這些人工智能/ML模型。在考慮機器自主性的三個相對程度時，指揮官可以預先定義每一類行動的輸入的不確定性水平，作為何時以及在何種情況下讓機器決定是有意義的指導方針，明確界定使用人工智能或ML模型的參與規則。

所有武器系統，無論是否打算納入自主性，都應在其計劃的用戶界面中提供不確定性元數據。了解所有輸入的不確定性對傳統武器系統的用戶和人工智能/ML的應用一樣有利。通過現在提供元數據，國防部高級領導人可以繼續確定使用AI/ML的最佳治理和政策，而不會放慢技術和工程發展。任何這樣的治理都可以在未來通過參考系統內組件級或輸出級的量化不確定性來實施。

數學實現

將不確定性量化和傳播應用于收緊OODA循環，假定功能關系可用于定義軍事情況。函數關系是這種應用的最佳數學方法，因為一般可以證明函數值和輸入變量之間存在因果關系，而不需要具體確定關系的確切數學形式。通過假設這些函數關系的存在，可以使用一個描述不確定性傳播的一般方程式。

一個帶有不確定性條款的通用函數關系看起來像：

其中y是輸出，u(y)是該輸出的不確定性，有n個輸入變量，其相關的不確定性影響該輸出。這表明y取決于n個輸入變量，并且按照 "不精確概率論者 "的風格，y的精確值在y+u(y)到y-u(y)的區間內。

這種旨在改善醫學實驗室研究的想法的直接應用也涉及到軍事決策。"與任何測量相關的不確定性及其通過定義的函數關系的傳播可以通過微分（部分微分）和應用不確定性傳播的一般方程來評估。"這些數學方法將捕捉到在一個非常復雜的系統中許多測量物變化時不確定性的變化。這個不確定性傳播方程可以用標準的統計程序得出，最重要的是，它與函數關系的確切形式無關。

請那些更精通統計學的人將這種方法提交給進一步的案例研究，并確定在需要包括許多輸入變量時，在非常大的系統層面計算傳播的不確定性的可行性。已經表明，"問題越復雜，獲得校準的不確定性估計的成本就越高"。這種方法通過作戰級別的人工智能/ML模型（即涉及一翼或一營的交戰）可能是可行的，但更高層次的戰略不確定性傳播（即包括政治經濟或核因素的戰役級模型）可能需要不可行的計算能力來實時計算。

作為輸入數據集的一部分，通過機器學習模型傳播測量的不確定性比使用統計方法來估計模型內的不確定性要少得多。數據科學家和人工智能研究人員將熟悉大量專注于假設機器學習模型內的不確定性的研究，但許多歷史工作并沒有采取調整認識上的不確定性--ML模型的訓練數據量不足--與訓練數據集中的測量不確定性的方法。

測量的不確定性可以被認為是數據中的噪聲和/或觀察中的變異性。在數字系統中實施不確定性量化時，需要對不確定性的其他方面進行量化，如領域覆蓋的完整性，也就是輸入數據集的代表性，以及軍事問題的不完善建模，這是模型開發過程中不正確的基線假設的結果，最終植根于人類判斷的不完善。

一個更現代的傳播方法，可能計算量較小，可能是使用機器學習來假設不確定性。來自其他學科使用神經網絡的證據顯示，納入已知的輸入數據不確定性，"與不使用它們的情況相比，對做出更好的預測是有利的"。這些研究人員還建議進一步調查在貝葉斯深度學習框架中使用已知的輸入數據不確定性 "作為要得出的不確定性的初始值"，這將是一種與統計學得出的不確定性協同傳播經驗不確定性的方式。

使用數學方法來傳播不確定性，將納入并考慮到不確定性的影響--無法解釋的數據的固有隨機性--以及認識上的不確定性。擬議的軍事標準應將測量不確定性的要求與傳播到高階用途的要求結合起來，如機器學習或更抽象的建模和模擬。用軍事術語來說，通過這種方法使UQ標準化，不僅要考慮基線觀測數據的不確定性，還要考慮與方向和行動有關的數據不確定性。

軍事用途的數學問題

為了繼續與軍事戰略進行類比，功能關系描述了在OODA循環中如何獲得軍事優勢，以及不確定性如何在該過程中傳播。

在這個特意象征性的等式中，觀察和定位是恒定的活動，而決策和行動是時間上的離散事件。所期望的軍事效果的成功概率是基于循環中每個輸入變量的不確定性的傳播：操作者有多大把握(a)他們的觀察抓住了現實，(b)他們以預期的方式定向，(c)他們的決定以預期的方式執行，以及(d)他們的行動沒有被打亂。

這種方法的障礙在于它需要對不確定性的事先了解，這是目前無法獲得的元數據，因為在經驗情況下確定它的成本通常很高，而在統計情況下有許多可接受的方法來生成它。這就回到了建議的解決方案，即征收要求和標準，以提供與每個輸入變量相關的不確定性作為元數據。一旦提供，匯編觀測和定位數據的人工智能/ML系統可以使用元數據進行傳播，并向操作者或指揮官提供情況圖中的總體量化不確定性。當實時使用時，這種方法內在地捕捉了OODA循環的決策和行動步驟的各個方面。

高階效應和挑戰

一項分析表明，將不確定性信息傳達給無人駕駛車輛的操作員并使之可視化，有助于提高人類-AI團隊的績效。但其他人工智能研究人員也表明，"需要更多地研究如何以對用戶有意義的方式，最好地捕捉和呈現開發者的[不確定性量化]"。他們進一步指出，"讓用戶對他們不了解的方面有看似控制的感覺，有可能給人以清晰和知情控制的錯覺，造成額外的自動化偏差，或者干脆讓用戶選擇一個給他們想要的答案的選項。" 這一發現堅實地進入了決策理論和心理學的工作體系。有一些統計方法試圖用算法來定義判斷和決策，使用這些方法有風險。

一項單獨的分析提供了判斷和決策文獻中與決策中使用不確定性估計有關的結論。該研究的結論是，向利益相關者提供不確定性估計可以通過確保信任的形成來提高透明度： "即使是經過良好校準的不確定性估計值，人們也會有不準確的認識，因為(a)他們對概率和統計的理解程度不同，(b)人類對不確定性數量的認識往往受決策啟發式的影響。

作者進一步補充說，"非專業人士和專家都依賴心理捷徑或啟發式方法來解釋不確定性"，這 "可能導致對不確定性的評估出現偏差，即使模型輸出是經過精心校準的"。不出所料，關于這個問題的主要啟示是，所選擇的UQ交流方法應首先與利益相關者進行測試，開發人員應滿足他們的UQ顯示和用戶界面的不同終端用戶類型。例如，向數據科學家介紹不確定性量化應該與向戰時決策的操作員介紹UQ不同。情報界在確定傳達與軍事信息相關的不確定性的最佳方法方面有著悠久的歷史，因此它對 "估計概率詞 "的約定可能是后一類終端用戶的合適出發點。

當考慮在作戰和戰略決策層面使用傳播的不確定性時，有可能使用傳播計算可能使UQ數字變得不相關和不可用，因為在非常復雜的系統中，不確定性接近100%的期望輸出。順便說一句，這是一個有趣的結論，可能指向 "戰爭迷霧 "的數學證明。進一步調查計算非常大的系統級別的傳播的不確定性可能會更好地闡明這個結論。

然而，這種高度傳播的不確定度的潛在缺陷并不足以反駁實施不確定度軍事標準的做法。包括每個級別的元數據標簽，使操作人員能夠檢查哪些因素造成了最大的不確定性，哪些因素是指揮官可以有高度信心的，這仍然是非常有用的信息。當操作員的帶寬在高壓力交戰之外可用時，這些元數據標簽允許操作員檢查功能關系中輸入變量之間的協方差和相關性。這些元數據還可以被采集專業人員用于評估和改進任務，通過識別系統性錯誤并將其消除，以及識別造成隨機錯誤的最嚴重的罪犯。

高度傳播的UQ可能是不相關的，這也強調了發展健全的軍事判斷的永久重要性。正如在任何不確定性非常高的軍事情況下，為實現軍事優勢，將需要具有敏銳性的操作員和指揮官。使用人工智能/ML來觀察、定位、決定和比對手更快地行動，只有在行動優越的情況下才會導致勝利。勝利理論的這一層面與要求、傳播和以標準化的方式交流UQ的論點不同。

最后，AI/ML要求輸入數據是感興趣領域的 "具有適當代表性的隨機觀察樣本"。重要的是，"在所有情況下，我們永遠不會有所有的觀察結果"，而且在感興趣的領域內 "總會有一些未觀察到的情況"。盡管人工智能或ML算法是在一個不充分的數據集上訓練出來的，但試圖在數據抽樣中實現對該領域的全部觀察覆蓋也是不理想的。

當以較高的行動節奏將人工智能/ML應用于OODA循環時，提高領域的覆蓋率并不需要更多的抽樣，而應該通過抽樣中更多的隨機化來實現，重點是確定準確的測量不確定性。上述關于已知輸入數據的研究從理論上和經驗上證明，將數據的不確定性納入一系列機器學習模型的學習過程中，使模型對過擬合問題更有免疫力--當模型與訓練數據集擬合得過于緊密時，就會出現不可接受的ML行為，導致在負責評估未知數據時出現不準確的預測結果。

過度擬合的問題并不是機器學習所獨有的，從根本上說是由輸入數據集的缺陷造成的。"簡單地說，不確定性和相關的無序性可以通過創造一個更高更廣的更一般的概念來代表現實的直接假象來減弱"。這導致了對該領域的最大統計覆蓋，對被觀察系統的侵擾最小。它還最大限度地減少了數據和元數據集的大小，從而在高階使用中提高了UQ傳播方程的計算效率。

結論

實施量化不確定性元數據的軍事標準，并發展傳播、評估、改進和交流該信息的能力，將為繼續追求AI/ML的軍事用途能力提供最大的靈活性。使用人工智能/ML系統的不確定性量化，通過溝通、透明和參與共同經歷來發展這種信任，使人機團隊內部能夠相互信任和團結。使用AI/ML系統實現軍事目標的保證需要量化的不確定性。

與軍事戰略的概念相聯系，這種不確定性量化的整個框架有助于一個成功的組織。通過現在提供UQ元數據，國防部高級領導人可以繼續確定使用人工智能/ML的最佳治理和政策，而不耽誤技術和工程開發。隨著作戰人員使用UQ來發展對AI/ML伙伴的信任，軍隊的觀察、定位、決定和行動的能力將比對手更快，并確保軍事優勢。

隨著技術的飛速發展和威脅環境變得更加復雜，今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能（AI）的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識，增加對威脅和對手能力和意圖的了解，識別和評估可能的戰術行動方案，并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。

人工智能系統為海戰提供了優勢，但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊，改善作戰情況的不確定性，并提出改善作戰和戰術結果的建議。實施人工智能系統，以滿足海軍應用的這些苛刻需求，給工程設計界帶來了挑戰。本文確定了四個挑戰，并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。

引言

人工智能是一個包括許多不同方法的領域，目的是創造具有智能的機器（Mitchell 2019）。自動化系統的運作只需要最小的人類輸入，并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器，執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中，以做出決定并得出結論。

如表1所述，人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen（2020，3）將專家系統描述為手工制作的知識系統，使用傳統的、基于規則的軟件，將人類專家的主題知識編入一長串編程的 "如果給定x輸入，則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統，從大型數據集中進行訓練。ML系統自動學習并從經驗中改進，而不需要明確地進行編程。一旦ML系統被 "訓練"，它們就被用于操作，以產生新的操作數據輸入的結果。

表1. 兩類人工智能系統

人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力，在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力，以了解復雜和不確定的情況，制定和權衡選擇，預測行動的成功，并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。

本文確定了工程設計界必須解決的四個挑戰，以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括：（1）復雜的海戰應用領域；（2）需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統；（3）人工智能系統工程的一些新挑戰；（4）存在對手的人工智能進展，不斷變化和發展的威脅，以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域，但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。

表2. 為海軍實施人工智能系統的四個挑戰領域

挑戰一：戰爭復雜性

人工智能正被視為一種能力，可應用于廣泛的應用，如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰，人工智能系統必須與之抗衡，才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子，從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素，這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度，對六個應用領域的特征進行了定性評估。顏色代表低貢獻（綠色）、中貢獻（黃色）和高貢獻（紅色）。

表3中最上面一行顯示的特征包括： (1)認識上的不確定性水平（情況知識的不確定性程度），(2)情況的動態性，(3)決策時間表（可用于決策的時間量），(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5）資源的復雜性（數量、類型、它們之間的距離以及它們的動態程度），（6）是否涉及多個任務，（7）所需訓練數據集的復雜性（大小、異質性、有效性、脆弱性、可獲得性等 8）對手的存在（競爭者、黑客或徹頭徹尾的敵人），（9）可允許的錯誤幅度（多少決策錯誤是可以接受的），以及（10）決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義，即基于一組樣本的貢獻因素，不同應用領域的不同復雜程度。

表3. 影響應用復雜性的因素比較

對于所有的應用領域來說，人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時；以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用，如貸款審批、廣告、醫療診斷（在某種程度上）面臨工程挑戰，但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的，做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而，航運錯誤是有空間的，而且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的空間非常小。在這種應用中，決策失誤會導致嚴重的事故。

影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此，戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子，海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是網絡空間，導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中，戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行，并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后，對于戰術決策及其可能的后果來說，風險可能非常大。

表4. 導致戰術決策復雜性的因素

解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案，即處理大量的數據，處理不確定性，理解復雜的情況，開發和評估決策選擇，以及理解風險水平和決策后果。Desclaux和Prestot（2020）提出了一個 "認知三角"，其中人工智能和大數據被應用于支持作戰人員，以實現信息優勢、控制論信心和決策優勢。約翰遜（2019年）開發了一個工程框架和理論，用于解決高度復雜的問題空間，這些問題需要使用智能和分布式人工智能系統來獲得情況意識，并做出適應動態情況的協作行動方案決定。約翰遜（2020a）建立了一個復雜的戰術場景模型，以證明人工智能輔助決策對戰術指揮和控制（C2）決策的好處。約翰遜（2020b）開發了一個預測分析能力的概念設計，作為一個自動化的實時戰爭游戲系統來實施，探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先，人工智能支持的C2系統需要描述戰術行動期間的復雜程度，然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平（人與機器的決策角色）。約翰遜（2021年）正在研究這些概念性工程方法在各種防御用例中的應用，包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來，戰術邊緣遠離指揮中心，通信和計算資源有限，戰場形勢瞬息萬變，這就導致在嚴酷復雜的戰地環境中，網絡拓撲結構連接薄弱，變化迅速"（Yang et. al. 2021）。戰術邊緣網絡也容易斷開連接（Sridharan et. al. 2020）。相比之下，許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲，而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時，必須進行仔細的設計考慮，以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。

在軍事領域使用人工智能必須克服復雜性的挑戰障礙，在某些情況下，人工智能的加入可能會增加復雜性。辛普森等人（2021）認為，將人工智能用于軍事C2可能會導致脆弱性陷阱，在這種情況下，自動化功能增加了戰斗行動的速度，超出了人類的理解能力，最終導致 "災難性的戰略失敗"。Horowitz等人（2020）討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人（2020）指出，人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性；如果人類決策者對產出缺乏信心和理解，他們可能會失去對人工智能系統的信任。

挑戰二：數據需求

實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。

ML系統的學習過程被稱為被訓練，開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法，允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段，ML系統繼續需要數據。

圖1顯示，在運行期間，ML系統或 "模型 "接收運行的實時數據，并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此，在整個系統工程和采購生命周期中，ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。

圖1. 使用數據來訓練機器學習系統

美國海軍開始認識到對這些數據集的需求，因為許多領域（戰爭、供應鏈、安全、后勤等）的更多人工智能開發人員正在了解人工智能解決方案的潛在好處，并開始著手開發人工智能系統。在某些情況下，數據已經存在并準備好支持人工智能系統的開發。在其他情況下，數據存在但沒有被保存和儲存。最后，在其他情況下，數據并不存在，海軍需要制定一個計劃來獲得或模擬數據。

收集數據以滿足海軍領域（以及更廣泛的軍事領域）的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的，在不同的項目和系統中被分隔開來，不容易從遺留系統中獲得，并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據，可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外，和平時期收集的數據并不代表沖突和戰時的操作。海軍（和軍方）還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的（和可能的）戰時行動，并構建足夠的ML訓練數據。

數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說，數據是一種珍貴的商品，并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據，目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。

海軍正在解決這一數據挑戰，開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺，正在管理數據以支持AI/ML的發展和其他類型的海軍應用，這些應用需要與任務相關的數據（Abeyta，2021）。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統，海軍需要在游戲中保持領先，擁有能夠代表各種可能情況的數據集，這些情況跨越了競爭、沖突和危機期間的行動范圍。因此，數據集的開發和管理必須是一項持續的、不斷發展的努力。

挑戰三：工程化人工智能系統

第三個挑戰是，人工智能系統的工程需要改變傳統的系統工程（SE）。在傳統系統中，行為是設定的（確定性的），因此是可預測的：給定一個輸入和條件，系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上，一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議，與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統，并確保它們對人類操作者來說是可解釋的、可信任的和安全的。

SE作為一個多學科領域，在海軍中被廣泛使用，以將技術整合到連貫而有用的系統中，從而完成任務需求（INCOSE 2015）。SE方法已經被開發出來用于傳統系統的工程設計，這些系統可能是高度復雜的，但也是確定性的（Calvano和John 2004）。如表5所述，傳統系統具有可預測的行為：對于一個給定的輸入和條件，它們會產生可預測的輸出。然而，許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人（2021年）解釋說，"SE及其方法的雛形基礎并不是為配備人工智能（即機器學習和深度學習）的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說，出錯的余地很小；因此，SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。

表5. 傳統系統和人工智能系統的比較

在整個系統生命周期中，將需要改變SE方法，以確保人工智能系統安全有效地運行、學習和適應，以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變，以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法，這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性，這些系統的行為不是完全可預測的，其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務，即隨著人工智能系統的發展，在部署期間不斷確保安全和理想的行為。

SE界意識到，需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會（INCOSE）最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為，人工智能系統可能會出現新類型的故障模式，這些故障模式是無法預料的，可能會突然發生，而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后，對于有更多的人機互動的人工智能系統，必須仔細注意設計系統，使它們值得信賴，可以解釋，并最終對人類決策者有用。

表6.人工智能系統工程中的挑戰（改編自：Robinson，2021）。

SE研究人員正在研究人工智能系統工程所涉及的挑戰，并開發新的SE方法和對現有SE方法的必要修改。Johnson（2019）開發了一個SE框架和方法，用于工程復雜的適應性系統（CASoS）解決方案，涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統，通過使用人工智能，可以協作產生所需的突發行為。Johnson（2021）研究了人工智能系統產生的潛在新故障模式，并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知，作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人（2021年）研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui（2021年）研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略，促進人類和機器之間的 "校準 "信任，這是作為適當利用的最佳信任水平，避免過度信任和不信任，并在信任失敗后涉及信任修復行動。Johnson等人（2014）開發了一種SE方法，即協同設計，用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

數據的作用對于人工智能系統的開發和運行來說是不可或缺的，因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人（2021）提出，SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構，用于開發、訓練和評估AI算法。French等人（2021）描述了需要適當的數據策劃來支持人工智能系統的發展，他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據，以及需要識別和消除數據中的固有偏見。

SE界正處于發展突破和進步的早期階段，這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步，以確保海軍持續的技術優勢。

挑戰四：對抗性

海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰：(1)人工智能技術在許多領域迅速發展，海軍必須注意同行競爭國的軍事應用進展，以防止被超越，(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性，以及(3)海軍應用的人工智能系統需要發展和適應，以應對不斷變化的威脅環境。

表7. AI系統的對抗性挑戰

同行競爭國家之間發展人工智能能力的競賽，最終是為了進入對手的決策周期，以便比對手更快地做出決定和采取行動（Schmidt等人，2021年）。人工智能系統提供了提高決策質量和速度的潛力，因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索，同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標，不僅僅取決于人工智能研究。它需要適當的數據收集和管理，有效的SE方法，以及仔細考慮人類與AI系統的互動。海軍必須承認，并采取行動解決實施人工智能系統所涉及的挑戰，以贏得比賽。

網絡戰是海軍必須成功參與的另一場競賽，以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統（Libicki, 2009）。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據，導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制，他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化，其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護，免受網絡攻擊（French等人，2021）。

威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化，武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強，這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統，必須能夠加強海軍感知、探測和識別新威脅的能力，以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境，并在行動中學習，以了解戰斗空間中的未知因素，并通過創新的行動方案快速應對新的威脅（Grooms 2019, Wood 2019, Jones et al 2020）。海軍可以利用人工智能系統，通過研究特定區域或領域的長期數據，識別生活模式的異常（Zhao等人，2016）。最后，海軍可以探索使用人工智能來確定新的和有效的行動方案，使用最佳的戰爭資源來解決棘手的威脅情況。

結論

人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而，人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的，可以學習和適應--特別是在用于更復雜的行動時，如高度動態的、時間關鍵的、不確定的戰術行動環境中，允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域：（1）開發能夠解決戰爭復雜性的人工智能系統，（2）滿足人工智能系統開發和運行的數據需求，（3）設計這些新穎的非確定性系統，以及（4）面對對手帶來的挑戰。

海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統，以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。

1.第一個建議是了解人工智能系統與傳統系統之間的差異，以及伴隨著人工智能系統的開發和實施的新挑戰。

人工智能系統，尤其是那些旨在用于像海戰這樣的復雜行動的系統，其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解，更加不可預測，并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。

2.第二個建議是投資于人工智能系統的研究和開發，包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。

研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面，海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的，并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據，用于人工智能系統開發，并確保數據的相關性、有效性和安全性。

3.第三個建議是承認挑戰，并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。

盡管人工智能系統正在許多領域實施，但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識，即在人工智能系統準備用于戰爭決策輔助工具之前，需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖，彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法，在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。

海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統，戰術決策優勢的重大進步是可能的。此外，海軍必須跟上（或試圖超越）對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解，對研究和開發計劃的投資，以及對人工智能技術進步時限的現實預期，海軍可以在應對這些挑戰方面取得進展。

合成孔徑雷達（SAR）圖像中基于人類的目標檢測是復雜的、技術性的、費力的、緩慢的，但時間很關鍵，是機器學習（ML）的完美應用。訓練一個用于目標檢測的ML網絡需要非常大的圖像數據集，這些數據集中嵌入了準確和精確標記的目標。不幸的是，不存在這樣的SAR數據集。因此，本文提出一種方法，通過結合兩個現有的數據集來合成寬視場（FOV）SAR圖像： SAMPLE，由真實和合成的單物體芯片組成，以及MSTAR雜波，由真實的寬視場SAR圖像組成。合成目標使用基于閾值的分割從SAMPLE中提取，然后再與MSTAR雜波中的斑塊進行α-混合。為了驗證新的合成方法，使用一個簡單的卷積神經網絡（CNN）創建了單個物體芯片并進行了分類；針對測量的SAMPLE子集進行測試。還開發了一種新穎的技術來研究深層的訓練活動。擬議的數據增強技術使測量的SAR圖像分類的準確性增加了17%。這一改進表明，來自分割和混合的任何殘余偽影都不會對ML產生負面影響，這對于未來在廣域SAR合成中的使用是很有希望的。

"在MSTAR數據收集期間拍攝的M1的EO圖像（a，c）和同一車輛的真實CAD模型（b，d）從兩個角度進行了比較。請注意，即使是小的細節，如火炮的位置、艙門和車輛側面的電纜，在兩張圖像之間也很一致。提供CAD模型的顏色是為了識別零件組裝，并不表示任何影響電磁模擬的具體屬性" [10]。

"SAMPLE數據集中每個飛行器的一個圖像的例子。測量的MSTAR圖像在最上面一行，相應的合成圖像在最下面一行....，我們看到諸如陰影、方向和相對回波幅度等細節都很一致"[10]。

人工智能（AI）的最新進展預示著一個信息周期加速和技術擴散加劇的未來。隨著人工智能的應用變得越來越普遍和復雜，特種作戰部隊（SOF）面臨著辨別哪些工具能最有效地滿足作戰需要并在信息環境中產生優勢的挑戰。然而，SOF目前缺乏一個以終端用戶為中心的評估框架，它可以幫助信息從業者確定人工智能工具的操作價值。本論文提出了一個從業人員的評估框架（PEF），以解決SOF應該如何評估人工智能技術以在信息環境中開展行動（OIE）的問題。PEF通過信息從業者的角度來評估人工智能技術，他們熟悉任務、行動要求和OIE過程，但對人工智能的技術知識有限甚至沒有。PEF包括一個四階段的方法--準備、設計、執行、推薦--評估九個評價領域：任務的一致性；數據；系統/模型性能；用戶體驗；可持續性；可擴展性；可負擔性；道德、法律和政策考慮；以及供應商評估。通過一個更加結構化、方法化的方法來評估人工智能，PEF使SOF能夠識別、評估和優先考慮OIE的人工智能工具。

人工智能（AI）的最新進展預示著一個加速信息周期和加強技術傳播的未來。特種作戰部隊（SOF）目前缺乏一個以終端用戶為中心的評估框架，該框架可以幫助信息從業者確定人工智能工具的操作價值。這篇論文提出了一個從業人員的評估框架（PEF），以解決SOF應該如何評估人工智能技術以在信息環境中開展行動的問題（OIE）。

PEF通過信息從業者的角度來評估人工智能技術，他們熟悉任務、操作要求和OIE過程，但對人工智能的技術知識有限甚至沒有。該框架包括一個簡單的四階段方法--準備、設計、執行、建議--評估九個評價領域，如圖1所示。

根據現有文獻和對美國政府、工業界和學術界的人工智能和世界動物衛生組織專家的采訪，PEF是通過對四個主要研究領域的分析制定的。

1.OIE的潛在AI應用。論文發現，人工智能可以幫助從業者解決OIE中的四個傳統挑戰：分析信息環境，實現內部產品開發，提高信息傳播的及時性和規模，以及提高衡量有效性的能力。

2.人機合作（HMT）的主要原則和考慮。研究強調了 "合理的信任 "對有效的HMT的重要性。 由于OIE的認知性、以人為本的性質，信息部隊在HMT中面臨著額外的復雜性，這就需要人工智能系統進一步透明和可解釋。

3.技術接受和采用理論。理論分析揭示了相對優勢、兼容性和復雜性在技術采用中的突出作用。對技術的信任和用戶可用的時間也影響到人工智能在OIE的采用潛力。組織層面的因素，如準備情況、管理支持和政府政策也是重要的考慮因素。

4.正在進行的增加人工智能透明度的倡議。對現有框架的分析--國防創新股的負責任的人工智能（RAI）指南、模型卡、數據表、概況表和系統卡--揭示了考慮透明度和評估人工智能有效性的關鍵因素。這些要素包括對預期用途、數據出處、模型性能、模型的局限性和道德考慮有一個清晰的認識。

為了測試擬議框架的可行性，PEF被用來評估Pulse，這是一個目前由美國陸軍特種作戰內部的OIE單位使用的數據收集和參與平臺。評估發現，PEF使從業者在使用人工智能工具時，能夠劃分出優勢以及需要額外考慮的領域。特別是，對系統/模型性能和用戶體驗的評估突出了兩個關鍵點。首先，與系統相關的復雜程度需要重點了解誰是目標用戶。第二，為了正確地評估人工智能，模型的性能指標--這些指標在傳統上沒有被傳達給終端用戶--應該被從業者所接受并可以解釋。

這篇論文建議美國特種作戰部利用PEF作為從業人員對人工智能技術進行初步評估的準則。通過一個更加結構化、有條不紊的方法來評估人工智能，這個框架使SOF能夠識別、評估和優先考慮人工智能支持的工具，這些工具能夠有效地解決行動需求，并在信息環境中產生優勢。PEF還確保從業人員考慮納入美國防部RAI戰略的評價標準。

本論文包括六個主要部分（第二章至第七章）。第二章建立了基礎，首先解釋了人工智能和OIE的關鍵概念和定義。該章還討論了從業者在計劃、執行和評估OIE時面臨的挑戰，并確定了可以解決其中一些挑戰的人工智能技術。第三章闡述了信任在人機協作中的關鍵作用，它影響了人工智能在軍事行動中的有效使用。第四章深入研究了技術接受和采用理論，以確定影響OIE單位內人工智能技術采用性的重要因素。第五章評估了現有的框架，這些框架有助于提高人工智能系統的透明度，并可由SOF利用這些框架來評估技術。進行了定性分析，以確定通過開源研究發現的50個模型卡的共同主題。第四章和第五章的發現被用來建立第六章提出的從業人員評價框架（PEF）。在第七章中，該框架被用來評估Pulse--一個目前被OIE單位采用的人工智能工具。第八章最后提出了對未來研究的總體建議和意見。

最近小型無人駕駛飛行器（UAV）技術的進步重新激發了對民用和軍用廣域搜索（WAS）算法的額外研究需求。但由于無人機環境和設計的差異性極大，利用數字工程（DE）來減少推進這項技術所需的時間、成本和精力。數字工程還允許快速設計和評估利用和支持WAS算法的自主系統。現代WAS算法可以大致分為基于決策的算法、統計算法和人工智能（AI）/機器學習（ML）算法。這項研究繼續了Hatzinger和Gertsman的工作，創建了一個基于決策的算法，該算法將搜索區域細分為被稱為單元的子區域，決定一個最佳的下一個單元進行搜索，并將搜索結果分配給其他合作搜索資產。每個合作搜索資產將存儲以下四個關鍵數組，以決定搜索哪個單元：每個單元的當前估計目標密度；一個單元中的當前資產數量；每個合作資產的下一個搜索單元；以及任何資產在一個單元中的總時間。一個基于軟件的模擬環境，即模擬、集成和建模高級框架（AFSIM），被用來完成驗證過程，創建測試環境和被測系統（SUT）。此外，該算法針對各種分布的威脅進行了測試，以模擬目標的集群。最后，從人工智能和ML中引入了新的有效性措施（MOEs），包括精確度、召回率和F分數。使用方差分析（ANOVA）和協方差矩陣對Hatzinger和Gertsman的新的和原始的MOEs進行了分析。這項研究的結果顯示，該算法對原始MOEs或新MOEs沒有明顯的影響，這可能是由于與Hatzinger和Gertsman相比，網絡化協作自主彈藥（NCAM）的傳播情況相似。該結果與目標分布標準差的減少即目標聚類呈負相關。這第二個結果更令人驚訝，因為更緊密的目標分布可能會導致更少的搜索區域，但NCAM繼續分布它們的位置，而不管確定的集群。

在信息時代，對信息優勢的尋求往往轉向了公開來源的情報。在過去的15年里，社交媒體的重要性不斷增加，現在在獲得和保持決策優勢所需的態勢感知方面發揮著關鍵作用。由于社交媒體（SM）越來越多地被北約的對手用于影響和造謠運動，這一領域的研究繼續擴大。利用人工智能（AI）/機器學習（ML）的研究人員正在引入更先進和復雜的社交媒體分析技術，如神經網絡，可以攝取和處理大量的社交媒體數據，產生相關工件的集群，并幫助實現語義敘述搜索。然而，對于采用這些技術的分析人員來說，一個關鍵的挑戰在于檢測、監測和搜索敘事，這些敘事通常不是由任何一個內容捕獲的，而是分布在一個由消息、備忘錄、博客、"新聞報道"、視頻等組成的敘事連接集合中。分析師的其他關鍵挑戰在于理解和解釋不透明的人工智能/ML支持的分析的輸出決定或建議，并利用它們為敏捷的軍事決策提供信息，同時保證其可信度和可追溯性。本文報告了ML引擎的一個特定實例，并概述了檢查和驗證其輸出的方法。該ML引擎將社交媒體內容表示為矢量嵌入，并應用聚類分析從消息矢量空間中識別主題集群。在開發聚類分析驗證技術時，我們將確定一套在評估分析輸出和驗證算法時需要考慮的特征，包括聚類之間的明顯關系，以及分析為分析師提供敘述性背景和理解的能力。這樣的分析保證對于產生有效和可靠的情報報告是必要的。

計算機視覺中的一項挑戰性任務是尋找技術來提高用于處理移動空中平臺所獲圖像的機器學習（ML）模型的目標檢測和分類能力。目標的檢測和分類通常是通過應用有監督的ML技術完成的，這需要標記的訓練數據集。為這些訓練數據集收集圖像是昂貴而低效的。由于一般不可能從所有可能的仰角、太陽角、距離等方面收集圖像，這就導致了具有最小圖像多樣性的小型訓練數據集。為了提高在這些數據集上訓練的監督性ML模型的準確性，可以采用各種數據增強技術來增加其規模和多樣性。傳統的數據增強技術，如圖像的旋轉和變暗，在修改后的數據集中沒有提供新的實例或多樣性。生成對抗網絡（GAN）是一種ML數據增強技術，它可以從數據集中學習樣本的分布，并產生合成的復制，被稱為 "深度偽造"。這項研究探討了GAN增強的無人駕駛飛行器（UAV）訓練集是否能提高在所述數據上訓練的檢測模型的可推廣性。為了回答這個問題，我們用描述農村環境的航空圖像訓練集來訓練"你只看一次"（YOLOv4-Tiny）目標檢測模型。使用各種GAN架構重新創建幀中的突出目標，并將其放回原始幀中，然后將增強的幀附加到原始訓練集上。對航空圖像訓練集的GAN增強導致YOLOv4-微小目標檢測模型的平均平均精度（mAP）平均增加6.75%，最佳情況下增加15.76%。同樣，在交叉聯合（IoU）率方面，平均增加了4.13%，最佳情況下增加了9.60%。最后，產生了100.00%的真陽性（TP）、4.70%的假陽性（FP）和零的假陰性（FN）檢測率，為支持目標檢測模型訓練集的GAN增強提供了進一步證據。

引言

對從移動平臺上獲得的數據進行圖像和視頻分類技術的調查，目前是計算機視覺領域中一個越來越受關注的領域。由空中飛行器收集的圖像對于收集信息和獲得對環境的洞察力非常重要，否則在地面上的評估是無法實現的。對于訓練目標檢測模型來說，用于創建這些模型的訓練集的一個重要特征是這些訓練集必須在其圖像中包含廣泛的細節多樣性。過去的數據增強技術，例如旋轉、添加噪音和翻轉圖像，被用來增加訓練集的多樣性，但由于它們無法向數據集添加任何新的圖像，所以是弱的方法。研究新的圖像增強和分類方法，其中包括機器學習（ML）技術，有助于提高用于航空圖像分類的模型的性能。

1.1 背景與問題陳述

1.1.1 背景

最近，使用ML算法對圖像進行分類或預測的情況越來越多。雖然ML已經被使用了幾十年，但在圖像上，我們看到合理的進展是在過去的20年里。隨著信息收集和存儲的技術進步及其可及性的擴大，可用于分析的數據量正以指數級的速度增長。計算機的隨機存取存儲器（RAM）和硬件存儲的增加迎合了擁有巨大的數據集來訓練、測試和驗證ML模型以實現較低的偏差和變異的需要。技術上的其他進步來自于計算機圖形處理單元（GPU）的改進，它允許以更快的速度處理大量的數據，這是實時圖像處理的兩個重要能力[2]。

人工神經網絡（ANNs）是ML的一個子集，其靈感來自于大腦中神經元的生物結構，旨在解決復雜的分類和回歸問題[3]。深度學習是ANNs的一個子集，它創建了多個相互連接的層，以努力提供更多的計算優勢[3]。卷積神經網絡（CNN）是ANN的一個子集，它允許自動提取特征并進行統一分類。一般來說，CNN和ANN需要有代表性的數據，以滿足操作上的需要，因此，由于現實世界中的變化，它們往往需要大量的數據。雖然在過去的十年中收集了大量的數據，但微不足道和不平衡的訓練數據集的問題仍然阻礙著ML模型的訓練，導致糟糕的、有偏見的分類和分析。相對較小的數據集導致了ML模型訓練中的過擬合或欠擬合。過度擬合的模型在訓練數據上顯示出良好的性能，但在模型訓練完成后，卻無法推廣到相關的真實世界數據。通過提供更大、更多樣化的訓練數據集，以及降低模型的復雜性和引入正則化，可以避免模型過擬合[4]。

過度擬合的模型不能學習訓練集的特征和模式，并對類似的真實世界數據做出不準確的預測。增加模型的復雜性可以減少欠擬合的影響。另一個克服模型欠擬合的方法是減少施加在模型上的約束數量[4]。有很多原因可以說明為什么大型、多樣的圖像集對訓練模型以檢測視頻幀中捕獲的目標很有用。當視頻取自移動平臺，如無人機或汽車時，存在Bang等人[5]所描述的進一步問題。首先，一天中拍攝圖像的時間以及天氣狀況都會影響亮度和陰影。其次，移動平臺收集的圖像有時會模糊和失真，這是因為所使用的相機類型以及它如何被移動平臺的推進系統投射的物理振動所影響。移動平臺的高度、太陽角度、觀察角度、云層和距離，以及目標的顏色/形狀等，都會進一步導致相機采集的樣本出現扭曲的影響。研究人員忽視這些參數的傾向性會導致模型在面對不同的操作數據時容易崩潰。這些因素使得我們有必要收集大量包含各種特征、圖像不規則性和扭曲的視頻幀，以復制在真實世界的圖像收集中發現的那些特征，從而訓練一個強大的目標檢測和分類模型。

為了增加圖像的多樣性，希望提高在數據上訓練的分類模型的結果準確性，可以使用數據增強技術來扭曲由無人駕駛飛行器（UAV）收集的圖像。目前的一些數據增強技術包括翻轉、旋轉或扭曲圖像的顏色。雖然這些增強技術可以在數據集中引入更多的多樣性，但它們無法為模型的訓練提供全新的框架實例。

生成性對抗網絡（GAN）是一種ML技術，它從數據集的概率分布和特征中學習，以生成數據集的新的合成實例，稱為 "深度假象"。GAN的實現是一種更強大的數據增強技術，因為它為訓練集增加了新的、從未見過的實例，這些實例仍然是可信的，并能代表原生群體。為ML模型提供這種新的訓練實例，可以使模型在實際操作環境中用于檢測時更加強大。

1.1.2 問題說明

圖像采集面臨的一個普遍問題是沒有收集足夠大和多樣化的訓練和測試數據集來產生高效的ML模型。這些微不足道的訓練集所顯示的多樣性的缺乏，使模型在用于實時檢測時表現很差。找到增加這些數據集的方法，無論是通過額外的數據收集還是其他方法，對于創建一個強大的、可歸納的模型都很重要。

計算機視覺中的第二個問題是傳統的數據增強技術所產生的圖像多樣性增加不足。通過旋轉、翻轉或調暗每一個收集到的視頻幀來增強數據集，不能為訓練集增加任何額外的實例，這與上面提到的第一個問題相矛盾。需要找到一種新的數據增強技術，在不需要收集更多數據的情況下提供新的實例，這對于快速訓練檢測模型以便在快速變化的操作環境中部署非常重要。

1.2 研究問題

本研究試圖回答以下問題：

1.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高卷積神經網絡（CNN）目標檢測模型的分類精度和可推廣性？

2.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高CNN目標檢測模型的定位和通用性？

3.從未增強的數據集和增強的數據集中可以得出什么推論，顯示它們的相似性和不相似性？

提供支持第一和第二個問題的證據可以改變數據科學家進行數據收集的方式，并將他們的努力轉向使用GAN的增強技術來創建用于ML研究的數據集。該模型不僅要能夠對目標進行分類，而且要訓練一個強大的目標檢測模型，使其能夠在圖像中找到感興趣的目標，并具有較高的交叉聯合（IoU）值，這就驗證了該模型能夠找到移動的目標，這些目標在捕獲的幀中的位置各不相同。一個模型的泛化是指該模型對網絡從未見過的輸入進行準確預測和分類的能力[6]。增強的數據集必須在質量和數量上與原始數據集相似，以證明模型泛化能力增強的斷言。

對最后一個問題的回答提供了理由，即來自GAN的增強對象在性質上是否與原始樣本相似，并且是對現實世界環境中發現的東西的合理復制。同類目標之間的高相似率可能會使GAN增強變得脆弱，需要進一步研究以用于實際應用。

1.3 研究的局限性

本研究的最大限制之一是能否獲得適當的硬件和軟件來實現不同的ML算法。雖然ML模型可以在中央處理器（CPU）上執行，但本論文中的模型在單個CPU上運行需要幾天，甚至幾周的時間。在運行深度學習模型時，GPU的效率要高得多，尤其是那些為圖像探索設計的模型。在整個研究過程中，GPU的使用非常有限，這給CNN和GAN模型的復雜性增加了限制，也增加了每個模型完成訓練迭代的時間。模型不可能同時運行，大大增加了本論文的完成時間。

另一個限制是本研究過程中可用的內存和硬盤內存的數量。內存不足進一步導致了模型復雜性的下降，以及模型在研究的訓練和測試過程中某一時刻可以利用的數據量的下降。這兩個模型組成部分的減少會導致次優模型。在這項研究中，我們采取了一些措施來減輕這些影響，包括選擇參數較少但性能與較復雜的模型相同的高水平的模型。此外，在訓練和測試過程中，將數據集劃分為多個批次，有助于緩解RAM和硬盤內存問題。

1.4 論文組織

本章討論了本論文將集中研究的ML的一般領域，以及概述了ML研究中出現的好處和限制。第2章提供了一個文獻回顧，研究了CNNs和GANs的理論。此外，它還提供了使用CNNs、GANs和從無人機收集的圖像幀進行的相關研究。第3章詳細介紹了數據集增強前后的CNN檢測模型的訓練過程。第4章提供了用于增強訓練集的合成目標的細節。第5章介紹了在原始和增強的訓練集上訓練的最佳模型的評估結果。第6章概述了在原始測試集訓練結束后進行的三個不同實驗的方法。第7章回顧了這三個不同實驗的結果。最后，第8章討論了從結果中得出的結論，以及對使用生成性對抗網絡（GANs）對移動平臺獲取的圖像進行數據增強領域的未來研究建議。

研究集成人類推理、機器學習和因果學習的重要性

• 專注于人類推理的可視化和因果推理方面
• 提供可信賴和安全的自動化和人工智能工具
• 為人類操作員提供可解釋和可操作的信息
  • AI/ML模型和仿真模型：
    • 一致
    • 可解釋，沒有黑盒性
    • 在廣泛的應用中為一系列用戶測試理論，如
      • 戰役/任務規劃
      • 未來作戰概念的設計和模擬
      • 戰士培訓等，允許提出不同的問題很容易
• 與ML/AI的發展，以及圖靈測試相聯系
  • 對研究人工智能、認知和元認知的重要性
  • 人工通用智能（AGI）：一個知識系統總是和我們在一起，自我學習并幫助我們學習

在聯合全域指揮與控制（C2）傳感器網絡和美海軍的 "超配項目"中，無人系統（UxS）是一種共享能力，它擴展了軍事力量的范圍和能力，以加強在有爭議空間的戰術。這增加了對可互操作的網絡框架的研究，以安全和有效地控制分布式無人系統部隊。迄今為止，陳舊的技術、分離和專有的商業慣例限制或掩蓋了對新興產業技術的追求，這些技術提供了當今現代化部隊所需的安全功能，留下了更多的問題而不是事實。此外，UxS的功率和處理限制以及受限的操作環境禁止使用現有的現代通信協議。然而，消息層安全（MLS）的發展，一種安全和高效的團體通信協議，可能是UxS團隊的理想選擇。這篇論文記錄了從一項定性研究中收集到的結果，發現MLS是UxS小組安全和效率的最佳選擇。它還記錄了MLS與ScanEagle無人機（UAV）和海軍信息戰太平洋CASSMIR無人水面艇（USV）的整合。該實施方案提供了一個作戰概念，以證明使用MLS在多域特設網絡配置中為無人機和USV之間提供安全和高效的C2和數據交換。所進行的實驗是在一個虛擬環境和物理UxS中進行的。

引言

對聯合全域指揮與控制（JADC2）架構至關重要的是多樣化的無人系統（UxS）和傳感器。這些不同的設備將使以人機協作為中心的未來海上力量相互連接。

例如，考慮一個聯合全域用例，即無人系統提供針對近距離對手的能力。UxS的指揮和控制（C2）依賴于通信鏈路--其安全性和設計決定了在對手攻擊的情況下的速度、互操作性和傷害能力。相反，在相同的C2通信鏈路中的不足或使用傳統的架構會轉化為戰術和戰略上的劣勢，有可能將傳統的作戰部隊置于危險境地。我們的研究旨在確定和實施一個可行的C2鏈路安全方案，該方案有可能為分布式多域環境中的UxS提供一個安全、可擴展和可互操作的解決方案。

目前，美國防部（DOD）和美海軍部（DON）正在取得重大進展，以利用整個企業的獨特任務和機會[1]。這些新的可能性包括增加對無人系統和傳感器的使用，使之超越目前的使用案例平臺。在實現無人平臺和系統的數據共享時，網絡安全必須被視為眾多核心技術中的重中之重。這些努力必須考慮確保關鍵的推動因素，如網絡、基礎設施和C2，以及強大的安全協議和認證方法。這些考慮將變得至關重要，因為JADC2企業試圖從分離轉向更統一的數據環境，在對手已經開發出高度復雜的反介入和區域拒止（A2/AD）能力的情況下，所有的人都可以訪問[2] 。

在今天的現代戰爭中，作為分布式力量倍增器的UxS將取決于安全和高效的C2。隨著UxS發展的成熟，對互操作性的需求將增加。這項研究分析了當前和新興的安全協議，并將其與JADC2和 "超配項目"的要求相匹配，以評估和確定支持這些要求的最佳屬性和協議。然后，這項工作根據所需的安全排列選擇消息層安全（MLS）協議，以便在UxS平臺上實現可行性，特別是記錄程序ScanEagle無人駕駛飛行器（UAV）。

近鄰的對手繼續追求A2/AD能力，以擊敗傳統的美國軍事力量。假設UxS的網絡和物理安全屬性沒有得到解決或設計得不好。那么其他的核心技術，如定位、導航和定時、可靠性、互操作性、通信以及平臺的感知和決定能力都會退化或受到損害。從目前孤立和陳舊的認證過程遷移到一個有效的集成開發、安全和操作環境，對于成功地將用戶體驗平臺和傳感器納入JADC2環境是至關重要的。這種遷移也受到了挑戰，因為需要從傳統的技術和開發框架迅速發展到快速出現的技術，這些技術更有能力在近距離威脅的進展中保持相關性[3]。解決這一挑戰將需要將技術障礙與文化、財政、程序和政治上的孤島融合起來[4]。一旦美國防部解決了這一挑戰，它將有能力實現無縫整合、同步和安全，這對無人機成為多領域作戰的力量倍增器是必要的。

1.1 問題陳述

在一個技術競爭迅速的時代，JADC2基礎設施依賴于20世紀90年代構思的技術（如IPSec[互聯網協議安全]和TLS[傳輸層安全]），同時被限制在美國家安全局（NSA）制定的通用協議和標準下進行安全通信[5]。這些網絡安全協議是點對點的，每增加一個新的網絡設備，都需要與每一個現有的網絡設備建立單獨的信道，這就是指令概述。盡管在成立之初是最前沿的，但值得注意的是，幾十年后的今天，我們仍然依賴這種點對點的安全連接，在動態自治設備網狀網絡之上強行建立一個高延遲和過時的安全覆蓋層。整合改進不僅需要評估適當的現代替代方案，還需要一個能夠及時有效地用新興的行業解決方案解決UXS安全挑戰的操作授權（ATO）程序。

為了解決這些問題，我們提出了以下研究問題：

• JADC2和Overmatch項目的C2協議安全要求是什么？

• 根據在JADC2相關領域工作的國防部主題專家，現代C2安全協議需要哪些功能來滿足JADC2環境的需要？

• 哪種安全協議能最好地滿足所有這些需求，以及UxS C2鏈接的使用可行性是什么？

1.2 范圍

這項研究支持整個美國防部和美海軍部關于當前規范的討論，不充分的網絡安全做法和認證程序決不能阻礙無人駕駛系統的通信安全的未來狀態。這些方法必須不斷發展，以充分解決我們的傳感器和無人駕駛資產在高度技術性的同行競爭威脅中對速度和安全的日益增長的需求。

這項研究支持整個美國防部和美海軍部關于當前規范的討論，不充分的網絡安全做法和認證程序不得阻礙未來的無人機通信安全狀態。這些方法必須不斷發展，以充分解決我們的傳感器和無人駕駛資產在高度技術性的同行對手威脅中對速度和安全的日益增長的需求。

基于研究結果，一個選定的協議在受控的實驗室環境中被實施、測試并進行虛擬基準測試。在成功完成受控的虛擬測試后，虛擬實施過渡到在NPS自主飛行器研究中心（CAVR）ScanEagle無人駕駛飛行器（UAV）和海軍信息戰中心-太平洋（NIWC-PAC）合作自主系統對峙海上檢查和響應（CASSMIR）無人地面飛行器（USV）上的實際應用。

在本論文中，無人系統和無人車之間沒有任何區別，不分領域，即空中和水面；都被稱為UxS。

然而，在實驗過程中，測試將發生在無人機和USV上。這項研究的目的是解決對不依賴平臺的C2鏈路安全協議解決方案的需求。

通過混合方法（定性和定量）的研究工作，實現以下主要目標是本論文的貢獻：

• 進行定性研究，確定JADC2和Overmatch項目的UxS安全協議需求。

• 將定性研究結果與對當前軍事和工業安全協議選項的評估結合起來。

• 為多域作戰（MDO）UxS用例選擇一個可行的安全協議選項。

• 在最佳網絡條件下實施和評估選定的安全協議，用于UxS模擬。

• 在ScanEagle和CASSMIR上實施和評估所選擇的安全協議。

1.3 相關研究

UxS的研究空間是巨大和不斷發展的。正如本節所討論的，UxS安全的主題已經在各個研究領域得到了研究和記錄。然而，將不同的協議與軍事要求進行比較，以制定C2協議標準，提高安全性、效率和互操作性的研究有限。盡管如此，選定的先前研究提供了與我們的研究有關或支持我們研究的見解。

來自俄勒岡大學、南佛羅里達大學、海軍研究生院和凱斯西儲大學的研究人員，專注于建立基于性能和安全之間平衡的最有效的密碼文本算法或密碼框架[6]-[8]。這些論文解釋說，我們目前最常用的密碼套件對于小型UxS來說，計算量和功率都太大，例如Craziefile 2.0，它使用ARM Cortex M-4架構，工作頻率為168 MHz。其他研究則是研究用于開發UxS的軟件的安全基元，如機器人操作系統（ROS），并解釋了安全漏洞和緩解措施，以實現無人系統的安全、可靠部署[9]。最后一項研究揭示了這些基礎技術的脆弱性和保護它們的必要性。

從相關的研究來看，重點是尋找最佳的拓撲結構、路由協議或數據信息傳遞，以支持越來越多的無人駕駛系統和傳感器一起工作和運行[10], [11]。這些工作大多旨在通過將傳輸的開銷成本降到最低，找到維持C2的最有效方法[10], [11]。其他的UxS研究課題側重于網絡安全的最佳實踐，強調在無人系統中發現的漏洞到可能的新攻擊載體和可能的緩解技術之間的范圍[12]。

有過多的指導和研究概述了要求和解決方案；然而，沒有一個真正量化了國防部和海軍內部無人系統平臺和傳感器的C2鏈接安全的重要性。更少的指導和研究將協議和算法與這種需求相匹配。相關研究表明，這些觀點并沒有直接涵蓋選擇和使用標準化協議的整體性，以提高UxS C2鏈路安全、效率和互操作性。這些方法考慮了密碼器的內部性能、ROS軟件的安全服務和能力、UxS的脆弱性和整體網絡性能。本論文旨在研究一個標準化安全協議的實施，該協議可以作為應用層的安全軟件，與設備和互聯網協議網絡無關。

有大量的指導和研究概述了UxS的安全需求；然而，沒有一個真正量化了這些軍事用途的安全需求。從美國防部和海軍部的UxS平臺和傳感器的C2鏈路安全的重要性的現實世界經驗。

1.4 論文組織

本論文的其余部分組織如下。

第2章概述了JADC2和Project Overmatch倡議，以了解這些倡議的安全協議要求。本章還討論了美國國家標準與技術研究所（NIST）和美國國家安全局在加密協議的標準化和選擇方面發揮的作用。它回顧了安全通信協議的工業和軍事安全方法、相關性能以及通過使用專有和基于標準的安全協議解決的安全問題。

第3章提供了一個定性研究，包括面向網絡安全的訪談問題。研究的對象是在安全、自主設備和傳感器網絡、獲取或重疊方面有經驗的軍事、民事和承包商人員。從訪談中收集到的數據為國防部和國防部深入了解UxS的通信安全現狀以及相關的網絡安全和認證程序提供了更深的理解。

第4章根據第3章和第2章的結果進行交叉分析，提供了協議的比較和選擇。它討論了專有的和標準化的安全協議，這些協議是第2章中討論的網絡和倡議的關鍵網絡安全組成部分。它還將美國防部和美海軍部的UxS安全要求與定性研究的結果以及所討論的當前和新興的安全協議相匹配，以選擇UxS平臺的C2所需的最有能力的安全協議。

第5章概述了MLS在MDO UxS情況下的方法和實施。它描述了MLS和ROS的結構。它概述了協議功能概述，代碼開發階段，以及為支持實施而創建的核心功能。它還涵蓋了用于創建MLS指揮和控制（C2）應用程序（MLS C2）與ROS接口的分步方法概述。

第6章討論了在5中開發的各種MLS應用程序的實驗，并分析了其對研究用例的影響。這一章包括對測試過程的描述和對結果的描述。

第7章提供了一個結論，涵蓋了本論文研究的意義，對研究進行了總結，并推薦了繼續工作和替代方法的選項。