在談論網絡系統時，研究人員和決策者都廣泛使用 "可防御性（defensibility）"一詞，但沒有一個普遍的定義，也沒有觀察和衡量它的方法。本研究探討了在防御性網絡戰背景下如何定義可防御性，哪些關鍵因素構成了可防御性，以及如何衡量這些因素。為此，首先研究了學說和研究，為可防御性建立了一個意義框架。其次，該研究提出了防御者在防御性網絡戰中需要具備的七種基本能力，以及一套影響這些能力的系統屬性。最后，提出了一套對這些屬性的測量方法，以使可防御性得到觀察和測量。這項研究的結果是對防御性網絡戰背景下的防御性的定義，構成其防御性的系統屬性列表，以及對這些屬性的一套相關測量。利用這些，可以分析一個系統的可防御性，以表明防御者在系統中進行操作時可能有哪些限制，以及系統需要改進的地方。這項工作是將可防御性建設成一個有用的工具的第一步，它強調了在系統中進行動態防御行動的防御者的需求，而不是實施靜態措施以提高網絡安全的行為者的需求。

引言

根據美國陸軍理論，成功的防御行動的特點是 "破壞、靈活、機動、大規模和集中、深度作戰、準備和安全"（Department of the Army, 2019a, p. 4-1）。這些原則也可以適用于防御性網絡行動，但其在實踐中的應用還沒有得到廣泛研究。在討論信息技術（IT）系統和網絡能力時，可防御系統和可防御網絡這兩個術語經常被高級管理層用作戰略目標或要求（Cyber Operations，2015；Gorminsky，2014；Shachtman，2012；U.S. Strategic Command，2015；King & Gallagher，2020）。一個系統的可防御性通常包括的部分是與網絡安全領域相關的靜態措施，這個領域獲得了大量的研究。然而，第二部分則不太發達，是由與戰斗空間的準備有關的因素組成的，以實現或支持一個積極的網絡防御者。

本文作者作為一名網絡防御者已經度過了7年，在這期間，作者參與了與技術人員、系統利益相關者和高級管理層關于網絡防御性要求的一系列討論，在這些討論中，理論和研究都明顯缺乏對該術語的明確操作定義。只關注根據網絡安全的原則使系統安全，可能不利于成功利用網絡防御者的能力。流量加密是一個例子，它可以增加系統的安全性，同時也使防御者更難。在這個例子中，如果不采取措施讓防御者以可控的方式破解加密，他們檢查和修改網絡流量的能力就會受到限制，降低了他們的操作效率，使系統更難防御。

建立一個普遍的網絡可防御性定義，并將其操作化，以確定在藍色網絡空間開展行動時，哪些系統特征和相關變量對主動防御者有價值，這對于給防御者和系統利益相關者一個更好的機會來共同完成可防御的系統，從而提高防御行動的有效性并降低風險是非常重要的。例如，當被賦予防御系統的任務時，防御者可以使用這個定義來評估該系統在那里可能采用的能力，并將此傳達給利益相關者和決策者。如果系統的任何屬性阻礙了防御者的能力，這些都可以被指出并傳達。

A 問題與目的

問題是，在防御性網絡行動的背景下，網絡可防御性一詞定義不清，特別是在描述可防御的網絡或系統的特征時。這個詞經常在戰略層面上被用來表示意圖，但網絡防御者對指定系統的要求是什么的知識主要是默示的。此外，網絡防御者本身也缺乏一個共同和既定的詞匯來溝通和衡量這些要求。

這是一個問題，因為如果沒有明確的定義，可防御性就成了網絡安全的同義詞，這最終會阻礙積極網絡防御的全部潛力的實現。如果沒有一個公認的通用詞匯來表達進行防御行動所需的能力，就有可能在防御者在理想條件下的能力與特定指定系統中可能實現的能力之間出現差距。這可能會導致系統無法得到充分的防御，領導層和利益相關者對網絡和系統的狀況產生誤解，以及網絡防御者的利用不足和挫敗感。

本研究的目的是開發一個框架，用于分析和測量網絡領域的系統防御性。這包括定義和操作關鍵因素，因為它們適用于為主動防御者準備戰斗空間。

B 影響

這項研究的主要好處是，它將為網絡防御性提供一個共同的定義，使領導層、網絡防御者和系統利益相關者之間能夠更好地溝通。隨著關鍵能力的操作化，它也提供了一個可觀察變量的框架，在評估網絡或溝通優先級時開始衡量防御性。

這項研究的其他好處包括：促進對網絡防御者的能力和他們在特定的指定系統中實際能夠實現的能力之間存在的差距的理解；創建一個標準的詞匯，以改善網絡防御者和IT系統利益相關者之間的溝通；給網絡防御者提供一個模型，以便在評估系統和向決策者報告防御狀態時使用；為決策者提供防御性的不同方面和因素的明確操作化定義，使其能夠更清晰地與系統利益相關者溝通意圖和優先事項。

C 研究的問題

• 如何在防御性網絡行動的背景下定義網絡防御性？

• 在一個分析框架內，哪些關鍵因素和相關變量構成了防御性網絡行動背景下的系統防御性？

D 定義

網絡空間："信息環境中的一個全球領域，由信息技術基礎設施和駐地數據的相互依賴的網絡組成，包括互聯網、電信網絡、計算機系統以及嵌入式處理器和控制器"（參謀長聯席會議，2021年，第55頁）。

藍色網絡空間："網絡空間中由美國、其任務伙伴保護的區域，以及國防部可能被命令保護的其他區域"（Joint Chiefs of Staff, 2018a, p. I-4）。請注意，雖然本研究是基于美國的理論和定義，但目的是為了讓更多人能夠使用該定義。在本研究中，藍色網絡空間將被用來表示要防御的整個空間，主要是在討論一般概念和廣泛能力時。指定系統將被用來討論藍色網絡空間中的單個系統，在特定情況下要進行防御。

美國國防部（DOD）參謀長聯席會議（2018a）在聯合出版物3-12：網絡空間行動（JP 3-12）中定義了不同類型的網絡任務和活動，這將被用來為本研究提供行動背景。防御性網絡空間行動（DCO），分為內部防御措施（DCO-IDM）和響應行動（DCO-RA）（參謀長聯席會議，2018a）。本論文的重點是DCO-IDM，它被定義為 "授權的防御行動發生在被防御的網絡或網絡空間的一部分 "的任務（Joint Chiefs of Staff, 2018a, p. II-4）。在JP 3-12中，參謀長聯席會議（2018a）也斷言了防御和安全之間的區別。

• 聯合理論使用 "網絡空間安全 "一詞來區分這種戰術層面的網絡空間行動與國防部（DOD）和美國政府（USG）政策中使用的政策和計劃術語 "網絡安全"。為了能夠有效地規劃、執行和評估，理論區分了網絡空間安全和網絡空間防御行動，這是國防部和美國政府的網絡安全政策中沒有的區別，因為網絡安全一詞包括安全和防御的概念。(第II-6頁)

E 局限性

由于全球定義需要廣泛傳播才能產生效果，本研究將保持在非保密級別。這限制了在操作網絡防御性時可以解決的深度，因為它必須關注廣泛的能力而不是具體的技術要求。這樣做的原因是，網絡防御者的具體技術要求將勾勒出他們的能力。

這項研究的重點是網絡防御者和主動防御，而忽略了僅以靜態網絡保護為目的的方面。兩者都是全面防御所需要的，主動防御措施往往建立在健全的靜態保護之上（Fanelli，2016）。

現代戰術戰爭越來越復雜，需要更快和更有效的決策。為了支持這些快速決策，有人提出使用自動決策輔助工具作為解決方案（Johnson 2019, 63）。鑒于現代戰場的復雜性質，決策輔助工具需要大量的數據。為了支持決策輔助工具的發展，機器學習代表了一種支持有效決策輔助工具的潛在方法。這項研究的目標是進行實驗，探索應用機器學習來幫助作戰人員進行復雜的激光武器系統與無人機群的交戰決策。為了實現這一目標，研究了激光武器系統和無人機威脅，并選擇了一個仿真程序來生成可用于訓練機器學習算法的交戰數據。

這篇論文研究了威脅交戰方法，確定了有效操作激光武器系統必須考慮的決策因素，以及人工智能和機器學習在支持決策方面的應用。對無人駕駛飛行器或無人機的威脅進行了基礎研究，以確定風險并支持交戰方法的發展。該基礎研究支持選擇場景并將其編入兵棋和仿真軟件Swarm Commander Tactics，該軟件用于模擬戰斗。這項研究進行了一項實驗，通過建模和仿真交戰場景來開發機器學習算法的概念驗證，以收集訓練數據并使用這些數據來訓練機器學習算法。訓練算法的目的是為了確定使用模擬艦載激光武器時的生存能力和成功的交戰方法。在生成模擬交戰數據后，使用模擬交戰測試了多種機器學習技術，以確定機器學習預測是否能夠支持基于模擬數據的自動決策輔助。這項研究研究了機器學習的算法方法以及開發和訓練機器學習系統的過程。

總的來說，對多種機器學習技術進行了評估，以支持在模擬交戰中預測成功的無人機交戰方法，發現最適合的是樹狀分類技術。實驗證明了機器學習在這個問題領域的應用，通過建模和模擬，機器學習算法訓練是成功的。最終機器學習算法預測的結果，在預測基于敵人類型、數量和激光武器系統攻擊方法的交戰結果時，總體準確率為96%；假陽性預測，即算法預測的勝利是失敗的，為2.1%。這些結果表明，一個復雜的戰斗空間模擬軟件可以用來準確地訓練預測性機器學習算法。

這項研究表明，將兵棋模擬與機器學習算法相結合，為支持復雜的決策和交戰提供了一種機制，由激光武器系統來對付敵人的無人機群。通過實施訓練有素的機器學習算法，可以分析具有異質無人機群的復雜戰斗空間，從而選擇適當的交戰技術，從而優化目標交戰的生存能力和有效性。這篇論文的主要研究目標是探索機器學習方法在識別和支持模擬艦載激光武器系統的有效目標選擇和交戰方法方面的功效。這項研究是生成決策輔助工具的一個組成部分，以支持無人機群與激光武器系統的交戰。現代戰斗空間的復雜性質需要決策輔助工具來減少作戰人員的認知負擔。

摘要

隨著戰斗空間迅速轉移到網絡領域，為無人系統制定安全、強大的路由協議至關重要。此外，納米無人機的發展正在獲得牽引力，為海上或陸地上的操作員提供了新的隱蔽能力。在戰場上部署納米無人機的飛行特設網絡（FANET）會帶來具體的性能和安全問題。本論文提供了一種新的方法來解決FANET路由協議所面臨的性能和安全問題，在我們的案例中，專門為改進Ad Hoc 按需距離矢量（AODV）路由協議而定制。擬議的路由協議，即輕量級安全的Ad Hoc按需距離矢量（LS-AODV），使用輕量級流密碼Trivium來加密路由控制包，提供保密性。該方案還使用基于Chaskey-12的消息認證碼（MAC）來保證控制包的真實性和完整性。我們使用網絡模擬器NS-3，將LS-AODV與兩個基準路由協議AODV和優化鏈路狀態路由（OLSR）協議進行比較，以衡量網絡性能和安全優勢。仿真結果表明，當FANET沒有受到黑洞節點的攻擊時，LS-AODV的性能普遍優于OLSR，但比AODV的性能略差。另一方面，當FANET受到黑洞攻擊時，LS-AODV成為了首選協議。

第1章 簡介

飛行特設網絡（FANET）由飛行節點組成，如無人駕駛飛行器（UAV），在沒有有線連接的情況下進行通信并合作完成復雜的任務。這些飛行節點需要一個分散的通信架構來在快節奏的動態條件下運行。與移動特設網絡（MANET）或車輛特設網絡（VANET）相比，FANET有幾個突出的特點。FANET和類似的ad hoc網絡之間的區別包括。

• 三維空間移動（與主要在固定道路上運行的VANETS相比）。

• 更高的節點密度（與在城市或農村環境中運行的VANETS相比）。

• 更高的速度范圍，30至460公里/小時（與10至120公里/小時的駕駛速度范圍相比）。

• 較低的能量儲存能力。[1]

1.1 飛行Ad Hoc網絡的應用

在許多軍事和民用領域，FANET的部署正獲得越來越多的關注。由于不需要有線基礎設施，FANETs能夠從戰區外快速部署，因此對地面人員來說是非常寶貴的。因此，這些專門的網絡非常適用于災難響應、搜索和救援行動以及軍事任務。

1.1.1 軍事應用

2009年，美國國防部（DOD）表示，無人機在支持關鍵任務方面飛行了45萬小時以上，包括 "持久自由行動 "和 "伊拉克自由行動"[2]。無人機在人類生命受到威脅的沖突地區特別有用。一個多無人機系統可以在大型戰區提供實時監測和信號分析，并將該信息傳遞給地面的操作人員。然而，許多問題，特別是安全通信領域的問題，需要在多無人機系統能夠完全執行其任務之前得到解決，同時部署在擁有無線拒絕能力的敵人面前。在2020年的一次無人駕駛飛行器系統會議上，負責作戰要求和能力的海軍作戰部副部長吉姆-基爾比海軍中將（OPNAV N9）提出了海軍在部署多無人機系統時面臨的基本問題。基爾比指出。

• 所有這些無人駕駛飛行器的聯網和控制、C2的能力是重大而重要的。考慮到對網絡的這種需求的聚集，并理解到確保我們的網絡足夠強大，能夠在許多不同類型的環境中處理我們所有的車輛[3]。

現代軍隊需要可靠和安全的通信網絡，使部隊指揮官能夠進行大量的戰爭行動，如監視或武器部署。

1.1.2 民間應用

隨著信息時代的發展，越來越多的民用應用開始依賴網絡連接。FANET提供了一種在自然災害期間恢復網絡連接的替代方法。從事偵察或搜索和救援的緊急移動單位可以通過利用FANET架構大大增加其覆蓋范圍。典型的VANET在自然災害期間可能會受到限制，因為通過道路和水路的可及性有限，而FANET可以在高海拔地區運行，沒有移動性障礙[1]。

FANET在民用領域的其他作用包括作物監測、環境監測（污染程度、風、濕度、溫度）和警察監視。它們還為其他特設網絡提供支持[1]。例如，最近在《智能和機器人系統》雜志上的一項研究[4]展示了一個FANET在VANETs中監督和調節交通。

1.2 研究動機

海軍陸戰隊目前部署了PD-100 "黑蜂 "納米無人機，這是一種1.16盎司的微型無人機，能夠進行偵察和監視行動[5], [6]。本論文設想了一個由這些納米無人機組成的蜂群網絡，部署在城市戰區上空，合作處理并向地面部隊傳遞實時信息。軍事FANET中的納米無人機必須減輕頻繁的鏈路斷開、不斷的網絡拓撲變化和能量存儲限制的影響，同時在擁有無線拒絕能力的敵人的地區運行。

輕量級但安全的Ad Hoc On-Demand Distance Vector（AODV）路由協議[7]是克服軍事級納米無人機的FANET所面臨的路由和安全挑戰的首要候選方案。AODV是ad hoc網絡中最廣泛使用的反應式協議之一。它以最小的開銷和最小的路由建立延遲在高度移動的節點之間提供通信[8]。限制FANET路由協議的加密安全足跡，可以將關鍵能量用于有效載荷、續航能力和增強操作能力。開發一個高效的安全機制，還可以使多無人機系統通過最大限度地提高吞吐量，確保一致的數據包交付率（PDR），并最大限度地減少網絡抖動和延遲的影響，從而對即將到來的威脅做出快速反應，無論是軍事還是民用。

1.3 研究貢獻

本論文為海軍研究辦公室（ONR）的資助研究做出了貢獻，以加強網絡物理系統的網絡安全分析。本論文提供了一種新的方法來解決FANET路由協議所面臨的安全問題，并專門為改進AODV路由協議而定制。提出的方案使用輕量級流密碼Trivium[9]來加密路由控制數據包，從而提供保密性。其次，該方案使用基于Chaskey-12的消息認證碼（MAC）來保證控制包的真實性和完整性。

本論文的目的是在FANET架構中設計和評估新型的輕量級安全Ad Hoc按需距離矢量路由協議（LS-AODV）的性能。這篇論文提供了將Trivium流密碼和Chaskey-12 MACs整合到網絡路由協議中的首次公開嘗試。在各種性能指標方面，LS-AODV與幾個流行的ad hoc路由協議進行了比較，特別是優化鏈路狀態路由（OLSR）和AODV。本論文中的工作是基礎性的，有助于重振整個國防部對網絡系統中輕量級流密碼應用的討論。實現以下四個主要目標是本論文的貢獻。

• 設計一個路由協議安全機制，使用輕量級同步流密碼Trivium和輕量級基于交換的MAC算法Chaskey-12。

• 將新的基于Trivium和Chaskey-12的安全機制整合到AODV路由協議中。

• 評估在有和沒有輕量級安全的最佳網絡條件下的吞吐量、延遲、抖動、丟包和路由開銷性能。

• 評估黑洞攻擊條件下的吞吐量、延遲、抖動、丟包和路由開銷性能，并確定最佳網絡配置以減輕對手的拒絕能力。

1.4 論文組織

本論文的其余部分組織如下。第二章概述了網絡模擬器NS-3，比較FANET路由協議，以及必須解決的性能和安全問題。第三章討論了通過使用輕量級同步流密碼Trivium和基于Chaskey-12的MAC，使AODV路由協議適應軍事FANET場景的擬議方法。第四章描述了仿真設置和參數選擇。第五章介紹并分析了仿真結果。第六章對研究進行了總結，并對未來的工作提出了建議。

在高度競爭的空域中，反空防行動對人的生命和稀缺物質資源構成了巨大的風險，因此希望減少人員遭受生命損失的風險。因此，在爭奪空中優勢的過程中，用一群低成本的無人駕駛系統取代人類駕駛的空中平臺是一個備受關注的領域。然而，目前還沒有關于蜂群作戰的理論或戰術的最佳實踐。這篇論文記錄了在認知智能體的控制下，利用強化學習方法，為無人駕駛飛行器發現反空防衛戰術而進行的系統性框架研究。傳統上，反空防衛任務的有效性是通過使用具有高數量、低雷達截面、高速度、低高度和/或電子攻擊組合的武器來實現。在沒有任何這些力量倍增器的情況下，可以利用合作性的蜂群戰術來實現任務的有效性。與其他更有約束性的基于規則的游戲相比，這一領域呈現出高度復雜的狀態-行動空間，在這些游戲中，人工智能agent已經成功地學習了游戲策略。本研究采取的方法是開發高度語義化的觀察和行動功能，將認知agent行為功能與游戲環境對接，通過重復游戲進行訓練。對認知agent的觀察和行動功能的各種設計進行了開發和分析，開發的框架被用來促進agent的強化學習以及評估任務的有效性。所提出的框架被證明能夠產生高效的認知agent，學習支持蜂群的戰術行為，使任務效率最大化，并利用傳統的優化，而非認知agent無法做到這一點。

第1章 導言

本章介紹了空中優勢、防空的概念，并討論了現代空軍用來擊敗現代防空網絡的傳統和現代方法。然后闡述了研究的主要假設，接著討論了本論文其他部分的組織。

1.1.問題陳述

1.1.1. 空中優勢

美國空軍（USAF）的主要任務目標是實現空中優勢，作為所有其他聯合戰斗行動的先導[1]。美國聯合部隊將空中優勢定義為[2] ：

• "......一支部隊對空中的控制程度，允許其在特定的時間和地點開展行動而不受空中和導彈威脅的禁止性干擾"。

在被防衛的空域實現空中優勢所產生的沖突對人員的生命帶來了巨大的風險，以及昂貴的物質資源損失的風險。

1.1.2. 進攻性反空襲

壓制（SEAD）或摧毀（DEAD）敵方防空是進攻性反空作戰，試圖通過破壞性（DEAD）或干擾性（SEAD）手段，使敵方地表防空系統失效、被摧毀或暫時退化，以使聯合部隊能夠無爭議地進入受控空域。除了針對AD的傳感器和武器外，DEAD任務通常還針對高價值的固定地點的地面資產，如[2] 。

1）機場和作戰基地

• a) 飛機

• b) 跑道

• c) 空中交通管制

• d) 機庫

• e) 燃料儲存

• f) 庇護所和人員設施

• g) 維修設施

2. 指揮和控制（C2）系統

• a) 預警（EW）系統

• b) 情報收集系統

• c) 通信基礎設施

3. 武器

• a) 發射設施

• b) 儲存設施

4. 支持性基礎設施

• a) 發電和配電

• b) 鐵路和鐵路終端

• c) 港口和海運碼頭

1.1.3. 防御性反空

敵方的防空系統對試圖在有爭議的空域，對實現空中優勢的空降部隊提出了實質性的挑戰。敵方綜合防空系統（IADS）的防衛性反空任務是摧毀、破壞或抵消空中和導彈攻擊、情報、監視和偵察收集，或其他未經授權的對防衛空域的滲透。現代IADS已經變得越來越復雜，在組織、復雜性和操作程序方面可以有很大的不同。現代地對空導彈（SAM）系統在射程和能力方面都得到了極大的提高，并對美國部隊構成了嚴重的威脅。遠程薩姆導彈通常部署在高價值資產附近，以提供點防御覆蓋，同時也有效地拒絕進入廣泛的空域。

反坦克元素的分布、分層和相互連接的性質允許采取深度防御戰略，允許進行多次交戰以增加成功的概率。許多對手采用集中的AD活動的C2，而其他對手可能采用分散的系統，其中多個節點有必要的冗余來指揮部分或整個IADS。數據基礎設施包括無線電、固定電話（電纜/光纖）、微波、蜂窩電話、衛星和互聯網系統[2]。

圖1.1顯示了一個概念性的IADS布局，其中幾個遠程防空導彈（LRS）站點被部署在兩個高價值的受保護資產（PA）的前方，以形成一個受保護的正面。LRS站點由兩個預警雷達和指揮、控制和通信（C3）站點支持，這些站點提供了對防御空域的綜合態勢感知。此外，每個PA都有一個LRS站點，提供點狀防御。圖中的橙色楔形代表了每個LRS的武器交戰區（WEZ）。

圖1.1: 國際防空系統的概念布局

顯然，本例中的防空系統是為了防御預計來自保護前線東南部某處的攻擊而布置的。

成功壓制敵方的防空系統可以通過多種方式實現。干擾通信系統和傳感器可以提供短期的局部壓制，如果足夠的話，或者作為一種臨時措施來實現所需的高階間接效果。破壞C3或EW資源，或迫使敵方反坦克部隊自主行動，有時可以充分降低對友軍的威脅程度，以獲得所需的空中優勢水平。然而，通常情況下，如果一個反坦克基地的自主行動能力繼續對友軍構成重大威脅，那么它本身就必須成為摧毀目標[3]。

1.2. 無人駕駛飛行器（UAV）蜂群

鑒于IADS的相互聯系和分層性質，DEAD任務需要一個作戰概念（CONOPS），以解決在整個有爭議的空域的不同點上具有不同能力的防御性武器。很少有單一的故障點可供利用。事實上，IADS的設計是隨著AD元件由于破壞、性能下降或彈藥耗盡而被關閉而優雅地退化。事實上，反坦克部隊包含先進的技術武器和為防御性反空襲任務而優化的傳感器，并由各級C2的人類決策來支持，這意味著反空襲任務可以以相當難以預測的方式展開。這些因素，再加上人命的高風險和稀缺的物質資源，使得在實現空中優勢的沖突中，減少友軍人員和高成本空中平臺面臨的損耗風險是可取的。因此，在爭奪空中優勢的競賽中，最好是用低成本的無人系統取代人類操作昂貴的載人空中平臺[4] 。

與傳統的機載打擊包相比，無人機群呈現出一系列獨特的特征，使其能夠以不同的方式執行DEAD任務。首先，如果蜂群是由大量的單位組成，它可以實現更大的幾何多樣性。蜂群的規模也允許戰術上的多樣性。蜂群對損耗也很強大：雖然打擊包中單個有人平臺的損失可能會導致人的生命損失，但它也經常導致嚴重的損害。首先，如果蜂群由大量的單位組成，它可以實現更大的幾何多樣性。蜂群的規模也允許戰術上的多樣性。蜂群對損耗也很強大：雖然打擊包中單個載人平臺的損失可能導致人命損失，但它也經常導致任務結果受到嚴重影響。一個無人機群可以通過替換角色、調整戰術和調整目標來適應單個單位的損失。此外，由于蜂群的性質，由大量單位組成的蜂群更能適應不斷變化的條件：可用于執行行動的單位數量越多，可用于實現有利解決方案的自由變量數量就越多。

然而，由大量無人機組成的蜂群將很難由人類操作員協調和控制，除非每個人都由人類操作員單獨遠程駕駛。即使如此，操作者可用的數據的延遲和質量可能不足以完全實現最佳的合作行為，以支持動態DEAD任務。將人類飛行員與遠程控制的無人機裝置聯系起來，大大增加了該裝置的成本，因此也增加了整個任務的成本。一個（半）自主的蜂群的一大優勢是，生產和運營成本可能遠遠低于遙控無人機蜂群。因此，至少在某種程度上，無人機群將從某種類型的自主行為中大大受益。

蜂群中的每個無人機都有可能根據自己從環境中觀察到的信息以及蜂群中其他成員與它共享的信息，執行自主行動。為無人機群自主性開發行為算法的問題，很自然地被歸入多Agent學習領域，特別是合作多Agent學習。文獻中已經考慮了幾種技術來實現合作式多代理學習：團隊學習、混合團隊學習和并發學習[5]。基于代理的建模（ABM）是一種通過模擬相互作用的代理來理解系統的一般方法。

無人機群應用于DEAD任務問題的復雜、動態性質，肯定會導致多Agent系統中眾所周知的 "涌現的復雜性 "現象。這指的是這樣一個概念：隨著大量的Agent相互作用，特別是沖突雙方的Agent，每個團隊的聯合行為都會令人吃驚[5]。本研究沒有將其視為消極的副作用，而是表明這種現象導致了蜂群Agent行為的新穎性和信息量，特別是由于在DEAD任務領域中還沒有關于無人機蜂群作戰CONOPS的理論或戰術最佳實踐。

1.3.假設

除去隱身、電子攻擊、遠距離武器和嚴重不對稱的數量等昂貴的特征，無人機群能夠用來對付IADS的主要武器是它能夠在整個有爭議的空域中動態地擺出其各種成分，采用的戰術主要是調節攻擊時機、節奏和幾何表現。

本研究的假設是，通過使用ABM，可以通過機器學習（ML）發現無人機群代理行為的新型合作行為，產生一種認知Agent，即

1）在DEAD領域展示任務有效性（ME）。

2）等同于或超過由更多單位組成的 "啞巴"群體的有效性，例如一大排常規巡航導彈的有效性

3）對人類控制的對抗性IADS有效

一旦發現無人機群Agent的行為，顯示出對由算法控制的Agent組成的IADS成功執行DEAD任務，將通過實時戰略游戲（RTSG）對人類控制的IADS測試相同的蜂群Agent。這將允許對潛在的微妙的蜂群Agent策略進行定性，并評估蜂群Agent適應不同和變化的IADS防御策略的能力。

對行為學習的ABM的一個重要批評是，行為的學習是使用不能代表現實世界效果的模擬，也就是說，如果模擬環境走了太多的捷徑或做了簡化或不正確的假設，那么學到的行為就不會有現實世界的意義[6]。本研究的一個目標是在無人機DEAD領域開發適用于現實世界的CONOPS，因此對這一批評意見相當重視。為了克服這一潛在的缺陷，ABM學習的模擬環境將采取RTSG的形式。這為無人機群學習行為的結果提供了一個重要的檢查，原因有幾個。

1）基于物理學的DEAD任務模擬具有很高的保真度

• a）無人機飛行動力學、飛行持久性、對各種目標的殺傷概率

• b）AD傳感器探測、跟蹤、測量分辨率、信息共享

• c）AD導彈攔截器飛行動力學、對無人機的殺傷概率

2. 各種程序化的代理可以控制沖突的任何一方。無人機群或IADS

• a) 這提出了不同的戰術、理論和難度水平

3. 人類玩家可以控制沖突的任何一方：無人機群或IADS

• a) 這為對手提供了創新的、不可預知的行為。

4. 游戲玩法（DEAD場景）是高度可配置的

• a) 這提出了不同級別的場景復雜性

5. 實時戰略格式強制執行人類決策的及時性，這是問題領域的一個關鍵特征。

6. 每個游戲環節都會捕獲非常豐富的狀態數據集

RTSG的性質也帶來了各種挑戰，例如取消了傳統的回合制游戲。這意味著代理人的決策必須實時發生，從一組不斷變化的環境輸入數據中工作。

1.4.本學位論文的組織結構

本論文分為13章和5個附錄。

第2章討論了任務有效性的概念，以及預測空中飛行器對由先進防空網絡防御的一組地面目標進行大規模突襲結果的分析方法。

第3章描述了為進行這項研究而采取的基于agent的模擬方法。

第4章記錄了用于訓練認知群agent的方法，描述了環境、agent和實體的模擬，并討論了有關基于agent的機器學習和游戲方法的現有文獻。

第5章描述了用于在強化學習過程中提供獎勵的目標函數的設計背景和發展。

第6章描述了用于蜂群單元的運動學模型。

第7章描述了用于防空傳感器和武器的物理學模型。

第8章描述了基本的非認知性蜂群agent的設計，這些agent被用來了解針對各種防空agent的基線任務有效性。

第9章描述了基本防空agent邏輯的設計，這些agent是認知蜂群agent在游戲訓練課程中競爭的對手。

第10章記錄了通過蒙特卡洛分析編制的基本非認知型蜂群agent的統計任務有效性。

第11章記錄了本研究中探索的各種實驗性認知蜂群agent的設計。

第12章記錄了對選定的認知蜂群agent學到的高效戰術的分析和評估。

第13章是論文的結論，總結了主要和次要的發現，并提出了繼續這項工作可能關注的領域。

前沿作戰基地（FOB）防御是一項人力密集型任務，需要占用作戰任務的寶貴資源。雖然能力越來越強的無人駕駛飛行器（UAV）具備執行許多任務的能力，但目前的理論并沒有充分考慮將其納入。特別是，如果操作人員與飛行器的比例為一比一時，并沒有考慮提高無人機的自主性。本論文描述了使用先進機器人系統工程實驗室（ARSENL）蜂群系統開發和測試自主FOB防御能力。開發工作利用了基于任務的蜂群可組合性結構（MASC），以任務為中心、自上而下的方式開發復雜的蜂群行為。這種方法使我們能夠開發出一種基于理論的基地防御戰術，在這種戰術中，固定翼和四旋翼無人機的任意組合能夠自主分配并執行所有必要的FOB防御角色：周邊監視、關鍵區域搜索、接觸調查和威脅響應。該戰術在軟件模擬環境中進行了廣泛的測試，并在現場飛行演習中進行了演示。實驗結果將使用本研究過程中制定的有效性措施和性能措施進行討論。

第1章：導言

1.1 背景和動機

2019年，美國海軍陸戰隊司令大衛-H-伯杰將軍發布了他的規劃指南，作為塑造未來四年的部隊的一種方式。他在其中指出："我們今天做得很好，我們明天將需要做得更好，以保持我們的作戰優勢"[1]。這句話摘自海軍陸戰隊司令大衛-H-伯杰將軍的《2019年司令員規劃指南》（CPG），呼吁采取集中行動，以應對海軍陸戰隊在未來戰爭中預計將面臨的不斷變化的挑戰。在為海軍陸戰隊確定未來四年的優先事項和方向的CPG中的其他指導，呼吁建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人駕駛系統系列"[1]。伯杰將軍進一步呼吁利用新技術來支持遠征前沿基地作戰（EABO）。EABO將需要靈活的系統，既能進行有效的進攻行動，又能進行獨立和可持續的防御行動。簡而言之，實現EABO將需要最大限度地利用每個系統和海軍陸戰隊。

從本質上講，伯杰將軍正在呼吁改變無人駕駛飛行器的使用方式。通過使用大型的合作自主無人飛行器系統，或稱蜂群，將有助于實現這一目標。無人飛行器蜂群提供了在人力需求和后勤負擔增加最少的情況下成倍提高戰場能力的機會。正如伯杰將軍所提到的 "下一個戰場"，海軍陸戰隊將必須利用各種技術，最大限度地利用自主性和每個作戰人員在戰場上的影響。

目前的無人系統使用理論是以很少或沒有自主性的系統為中心。另外，目前的系統依賴于單個飛行器的遠程駕駛；也就是說，每輛飛行器有一個操作員。部隊中缺乏自主系統，這在監視和直接行動的作戰能力方面造成了差距。此外，側重于一對一操作員-飛行器管理的無人系統理論要求操作員的數量與車輛的數量成線性比例。這對于 "下一個戰場 "來說是不夠的。相反，海軍陸戰隊將需要能夠讓操作員擺脫束縛或提高他們同時控制多個飛行器的能力系統[2]。

考慮到這些目標，美國海軍研究生院（NPS）的先進機器人系統工程實驗室（ARSENL）已經開發并演示了一個用于控制大型、自主、多飛行器的系統，該系統利用了分布式計算的優勢，并將駕駛的認知要求降到最低。ARSENL在現場實驗中證明了其系統的功效，在該實驗中，50個自主無人駕駛飛行器（UAV）被成功發射，同時由一個操作員控制，并安全回收[3]。

1.2 研究目標

這項研究的主要目標是證明使用無人機蜂群來支持前沿作戰基地（FOB）的防御。特別是，這需要自主生成、分配和執行有效的、符合理論的基地防御所需的子任務。這部分研究的重點是開發基于狀態的監視、調查和威脅響應任務的描述；實施支持多飛行器任務分配的決策機制；以及任務執行期間的多飛行器控制。

輔助研究目標包括展示基于任務的蜂群可組合性結構（MASC）過程，以自上而下、以任務為中心的方式開發復雜的蜂群行為，探索自主蜂群控制和決策的分布式方法，以及實施一般的蜂群算法，并證明了對廣泛的潛在蜂群戰術有用。總的來說，這些目標是主要目標的一部分，是實現主要目標的手段。

1.3 方法論

基地防御戰術的制定始于對現有基地防御理論的審查。這一審查是確定該行為所要完成的基本任務和子任務的基礎。然后，我們審查了目前海軍陸戰隊使用無人機的理論，以確定這些系統在基地防御任務中的使用情況。

在確定了任務要求的特征后，我們為基地防御的整體任務制定了一個高層次的狀態圖。子任務級別的狀態圖等同于MASC層次結構中的角色。

ARSENL代碼庫中現有的算法和游戲以及在研究過程中開發的新算法和游戲被用來在ARSENL系統中實現子任務級的狀態圖。最后，根據高層次的狀態圖將這些游戲組合起來，完成基地防御戰術的實施。

在游戲和戰術開發之后，設計了基于理論的有效性措施（MOE）和性能措施（MOPs）。通過在循環軟件（SITL）模擬環境中的廣泛實驗，這些措施被用來評估基地防御戰術。在加利福尼亞州羅伯茨營進行的實戰飛行實驗中，也展示了該戰術和游戲。

1.4 結果

最終，本研究成功地實現了其主要目標，并展示了一種包含周邊監視、關鍵區域搜索、接觸調查和威脅響應的基地防御戰術。此外，開發工作在很大程度上依賴于MASC層次結構，以此來制定任務要求，并將這些要求分解成可在ARSENL蜂群系統上實施的可管理任務。這一戰術在實戰飛行和模擬環境中進行了測試，并使用以任務為中心的MOP和MOE進行了評估。最后的結果是令人滿意的，在本研究過程中開發的戰術被評估為有效的概念證明。

1.5 論文組織

本論文共分六章。第1章提供了這項研究的動機，描述了這個概念驗證所要彌補的能力差距，并提供了ARSENL的簡短背景和所追求的研究目標。

第2章討論了海軍陸戰隊和聯合出版物中描述的當前海軍陸戰隊后方作戰的理論。還概述了目前海軍陸戰隊內無人機的使用情況，并描述了目前各種系統所能達到的自主性水平。

第3章概述了以前自主系統基于行為的架構工作，ARSENL多車輛無人駕駛航空系統（UAS）和MASC層次結構。

第4章對基地防御戰術的整體設計以及高層戰術所依賴的游戲進行了基于狀態的描述。本章還詳細介紹了用于創建、測試和評估這一概念驗證的方法。在此過程中，重點是對每一戰術和戰術所針對的MOP和MOE進行評估。

第5章詳細介紹了所進行的實戰飛行和模擬實驗，并討論了與相關MOPs和MOEs有關的測試結果。

最后，第6章介紹了這個概念驗證的結論。本章還提供了與基地防御戰術本身以及更廣泛的自主蜂群能力和控制有關的未來工作建議。

現代綜合防空系統（IADS）所帶來的日益復雜的反介入區域拒止（A2AD）威脅，加上高端隱形平臺所提供的日益強大的優勢，促使美國空軍高級領導人投資于徹底改變2030年及以后的空中力量。這一新設想的一個突出因素是蜂群武器，其目的是通過用大量低成本、可損耗的航空資產來壓倒國際航空運輸系統，并通過自主能力來解決這一挑戰。這項研究提出了一個框架，按照三個獨立的維度對不同級別的自主能力進行分類，即單獨行動的能力、合作能力和適應能力。使用模擬、集成和建模高級框架（AFSIM）構建了一個虛擬作戰模型，模擬以有人駕駛的穿透式轟炸機和自主巡航導彈群為特征的友軍空襲包與以A2AD角色行動的敵軍IADS之間的交戰。通過使用自主性框架作為設計實驗的基礎，評估了不同水平的自主性對攻擊包性能的影響。對實驗結果的分析揭示了哪些方面和什么級別的自主性對促進這一模擬場景的生存能力和殺傷力最有影響。

1. 引言

1.1 動機和背景

戰爭的技術性質正在迅速發展，人們越來越重視對大量數據的收集、處理和決策。隨著指揮與控制（C2）決策空間的復雜性增加，指揮系統根據現有信息采取行動的速度越來越成為一個限制性因素。具有不同程度的人與系統互動的自主系統為緩解這一不足提供了機會。美國2018年國防戰略（NDS）[18]明確要求國防部（DoD）"廣泛投資于自主性的軍事應用"，作為促進大國競爭優勢的一項關鍵能力。

參與大國競爭的一個自然后果是反介入區域拒止（A2AD）環境在聯合沖突的所有方面擴散。從美國空軍（USAF）的角度來看，現代綜合防空系統（IADS）構成了卓越的A2AD威脅，這嚴重抑制了通過常規手段建立空中優勢的前景[2, 20]。這一挑戰促使部隊結構的優先事項發生了變化，因為將能力集中在相對較少的高端系統中的感知風險越來越大。美國空軍科學和技術戰略[26]設想，數量龐大的低成本、易受攻擊的航空資產將很快發揮曾經由數量有限的高價值資產完成的作用。這種大規模的蜂群的任務規劃和空戰管理（ABM）工作的規模可能很快超過人類的認知能力，這使得它成為非常適合自主性研究和開發的應用領域。

1.2 問題陳述

本研究試圖評估幾種自主巡航導彈群的行為對A2AD環境中藍方（友方）空中性能的影響。具體來說，所研究的A2AD場景考慮了紅方（對手）的IADS被藍方聯網的自主巡航導彈群吸引，以促進穿透式轟炸機的后續打擊。在任務規劃時沒有考慮到的突然出現的威脅，可能會進入該場景以增加紅色IADS的力量。蜂群必須在沒有外部反彈道導彈的幫助下，檢測并應對這些突發威脅以及任何其他對抗性任務參數的變化。A2AD場景的建模是使用模擬、集成和建模高級框架（AFSIM）完成的。

1.3 研究問題

為了解決問題陳述，本研究將對以下問題提供答案：

1.具有自主反彈道導彈能力的巡航導彈蜂群能在多大程度上提高藍方空襲包在A2AD環境下的生存能力（即避免被紅方IADS發現和摧毀的能力）？

2.具有自主反彈道導彈能力的巡航導彈群能在多大程度上提高A2AD環境下藍方空襲包的殺傷力（即探測和摧毀紅方IADS元素的能力）？

1.4 論文的組織

本論文的其余部分包含四章，組織如下：第二章對包括自主性、A2AD環境、基于代理的建模和仿真（ABMS）以及實驗設計（DOE）等主題的參考材料進行了回顧。第三章建立了A2AD場景、AFSIM模型實現和實驗設計的結構，作為本研究的框架。第四章介紹了實驗模擬運行的結果和附帶的分析。最后，第五章討論了從這項研究中得出的結論，以及對未來研究方向的建議。

摘要

兵棋模擬是一種決策工具，可以為利益相關者分析的場景提供定量數據。它們被廣泛用于制定軍事方面的戰術和理論。最近，無人駕駛飛行器（UAVs）已經成為這些模擬中的一個相關元素，因為它們在當代沖突、監視任務以及搜索和救援任務中發揮了突出的作用。例如，容許戰術編隊中的飛機損失，有利于一個中隊在特定戰斗場景中勝利。考慮到無人機的分布可能是這種情況下的決定性因素，無人機在超視距（BVR）作戰中的位置優化在文獻中引起了關注。這項工作旨在考慮敵人的不確定性，如射擊距離和位置，使用六種元啟發法和高保真模擬器來優化無人機的戰術編隊。為紅軍蜂群選擇了一種空軍經常采用的戰術編隊，稱為line abreast，作為案例研究。優化的目的是獲得一個藍軍蜂群戰術編隊，以贏得對紅軍蜂群的BVR戰斗。采用了一個確認優化的穩健性程序，將紅軍蜂群的每個無人機的位置從其初始配置上改變到8公里，并使用兵棋方法。進行了戰術分析以確認優化中發現的編隊是否適用。

索引詞：優化方法，計算機模擬，無人駕駛飛行器（UAV），自主智能體，決策支持系統，計算智能。

I. 引言

兵棋是在戰術、作戰或戰略層面上模擬戰爭的分析性游戲，用于分析作戰概念，訓練和準備指揮官和下屬，探索情景，并評估規劃如何影響結果。這些模擬對于制定戰術、戰略和理論解決方案非常有用，為參與者提供了對決策過程和壓力管理的洞察力[1]。

最近，無人駕駛飛行器（UAVs）作為一種新的高科技力量出現了。利用它們來實現空中優勢可能會導致深刻的軍事變革[2]。因此，它們的有效性經常在兵棋中被測試和評估。

由于具有一些性能上的優勢，如增加敏捷性、增加過載耐久性和增加隱身能力，無人機已經逐漸發展起來，并在許多空中任務中取代了有人系統[3]。然而，由于戰斗的動態性質，在視覺范圍之外的空戰中用無人系統取代有人平臺是具有挑戰性的。在空戰中，無人機可以被遠程控制，但由于無人機飛行員對形勢的認識有限，它將在與有人平臺的對抗中處于劣勢。然而，這種限制可以通過自動戰斗機動[4]和戰術編隊的優化來克服。此外，使用無人機可以允許一些戰術編隊和戰略，而這些戰術編隊和戰略在有人駕駛的飛機上是不會被考慮的，例如允許中隊的飛機被擊落，如果它有助于團隊贏得戰斗。文獻中最早的一篇旨在優化超視距（BVR）作戰中的飛機戰術編隊的文章[5]表明，空戰戰術是用遺傳算法（GA）進行優化的候選方案。該實施方案采用分層概念，從小型常規作戰單位建立大型編隊戰術，并從兩架飛機的編隊開始，然后是四架飛機，最后是這些飛機的倍數。在模擬中沒有對導彈發射進行建模。當一架飛機將其對手置于武器交戰區（WEZ）的高殺傷概率（Pkill）區域內一段特定時間，簡化的交戰模擬器就宣布傷亡。事實證明，所提出的方法的應用是有效的，它消除了團隊中所有沒有優化編隊的飛機，并為整個優化編隊的飛機團隊提供了生存空間。

Keshi等人[6]使用了與[5]相同的分層概念，從由兩架飛機組成的元素中構建大型戰術編隊。模擬退火遺傳算法（SAGA）被用來優化編隊，使其能夠克服對局部最優解的收斂。對16架飛機的編隊進行了優化，提出的最優解表明SAGA比基本的GA更有效。最后，為了探索一個穩健的SAGA，對不同的馬爾科夫鏈進行了比較，事實證明自調整馬爾科夫電流更適合所提出的問題。

Junior等人[7]提出使用計算機模擬作為一種解決方案，以確定BVR空戰的最佳戰術，使擊落敵機的概率最大化。在低分辨率下使用通用參數對飛機和導彈進行建模，并改編了名為COMPASS的模擬優化算法，模擬了兩架飛機對一架飛機的BVR戰斗。低分辨率模型假定在水平面的二維空間內有一個均勻的直線運動。使用優化的戰術表明，擊落敵機的平均成功率從16.69%提高到76.85%。 Yang等人[8]提出了一種方法來優化飛機對一組目標的最佳攻擊位置和最佳路徑。該工作考慮到飛機能夠同時為每個目標發射導彈，并將飛機與目標有關的攻擊性和脆弱性因素作為評價攻擊位置的指標。一個高保真模擬被用來模擬每個導彈的飛機、雷達、導彈和WEZ的動態特性。這項工作并沒有解決在BVR戰斗場景中優化一組飛機對另一組飛機的編隊問題。

Li等人[9]提出了一種基于指揮員主觀認識的編隊優化方法，即在空戰中目標設備信息不確定的情況下選擇飛機編隊的問題。首先，計算戰斗機的戰斗力，這是通過指揮員的主觀認識評估目標戰斗力的基礎。戰斗機的戰斗力以能力的形式表現出來，包括攻擊、探測、生存能力、通信、電子戰、預警系統等。因此，通過采用前景理論和綜合模糊評估來優化空戰訓練。最后，一個應用實例證明了該方法在小規模空戰中的可行性。作者聲稱，利用戰斗力評估戰斗情況的能力為優化空戰訓練提供了一種新的方法。

?zpala等人[10]提出了一種在兩個對立小組中使用多個無人駕駛戰斗飛行器（UCAVs）進行空戰的決策方法。首先，確定兩隊中每個智能體的優勢地位。優勢狀態包括角度、距離和速度優勢的加權和。在一個團隊中的每個智能體與對方團隊中的每個智能體進行比較后，每個航空飛行器被分配到一個目標，以獲得其團隊的優勢而不是自己的優勢。為一對對立的團隊實施了一個零和博弈。對許多智能體參與時的混合納什均衡策略提出了一種還原方法。該解決方案基于博弈論方法；因此，該方法在一個數字案例上進行了測試，并證明了其有效性。

Huang等人[11]開發了新的方法來處理UCAV編隊對抗多目標的合作目標分配和路徑規劃（CTAPPP）問題。UCAV的編隊是基于合作決策和控制的。在完成目標偵察后，訓練指揮中心根據戰場環境和作戰任務向每架UCAV快速傳輸任務分配指令。UCAV機動到由其火控系統計算出的最佳位置，發射武器裝備。合作目標分配（CTAP）問題通過增強型粒子群優化（IPSO）、蟻群算法（ACA）和遺傳算法（GA）來解決，并在歸因、精度和搜索速度等方面進行了比較分析。在進化算法的基礎上發展了UCAV多目標編隊的合作路徑規劃（CPPP）問題，其中提供并重新定義了獨特的染色體編碼方法、交叉算子和突變算子，并考慮燃料成本、威脅成本、風險成本和剩余時間成本來規劃合作路徑。

Ma等人[12]開展的工作解決了在BVR作戰場景中優化兩組（R和B）無人機對手之間的優勢地位問題。一個無人機ri∈R對一個無人機bj∈B的優勢是通過ri和bj之間的距離、ri的導彈發射距離的下限和上限、ri的高度和bj的高度之差以及ri的最佳發射高度來估計的。決定性的變量是無人機在兩組中的空間分布和每架飛機在這些組中的目標分配。無人機在三維作戰空間BVR中的可能位置被簡化（離散化），通過立方體的中心位置來表示。每個無人機組都有一組立方體。優化問題被建模為一個零和博弈，并被解決以獲得納什均衡。

Ma等人[12]提出的工作沒有使用高保真模擬來分析無人機空間分布的選擇和分配給它們的目標對BVR作戰的影響。高保真模擬對飛機、雷達、導彈及其導彈的WEZ的動態特性進行建模。這些動態特性也影響到BVR作戰時每架飛機的行動觸發，因此也影響到最終的結果。例如，如果在兩組無人機之間第一次沖突后的時間窗口內考慮高保真BVR作戰模擬，新的沖突可能會發生，直到模擬結束。因此，每個在交戰中幸存的無人機將能夠選擇一個新的目標，這取決于可用目標的優勢值。在[12]中沒有考慮與無人機行為有關的不確定性。有關敵方無人機在戰術編隊中的確切位置及其導彈發射距離的信息是行為不確定性的例子。這兩個信息和上面描述的其他信息在BVR戰斗中是相關的：它們直接影響飛機之間的交戰結果。

在這項研究中，我們試圖解決文獻中發現的一些局限性，如低分辨率模擬、與敵人有關的不確定性的處理以及缺乏對優化解決方案的穩健性的確認，旨在提高兵棋結果的質量。我們的目標是驗證哪些藍色蜂群的戰術編隊可以在BVR戰斗中戰勝紅色蜂群。作為一個案例研究，RED蜂群使用了空軍經常采用的戰術編隊，稱為line abreast[13]。為了評估BLUE蜂群解決方案的穩健性，我們解決了新的問題，改變了RED蜂群每架飛機的位置，目的是估計新的RED蜂群編隊對BLUE蜂群的優化戰術編隊的效率的影響。

我們使用自主智能體和高保真計算機模擬來優化BVR戰斗中的無人機戰術編隊，考慮與敵人相關的不確定性，如戰術編隊中的位置誤差和導彈發射距離。統一行為框架（UBF）被采納為創建自主智能體的基礎。飛機和導彈在三維環境中用六個自由度（DoFs）建模。

該程序將在接下來的章節中進一步討論。

當前的海軍作戰要求水手們根據動態作戰環境中的不確定態勢信息做出時間緊迫和高風險的決策。最近的悲慘事件導致了不必要的傷亡，海軍行動中涉及決策復雜性，并特別突出了 OODA 循環（觀察、定向、決策和評估）中的挑戰。涉及使用武器系統的殺傷鏈決策是 OODA 循環中一個特別緊張的類別——具有難以確定的意外威脅、縮短的決策反應時間和致命的后果。有效的殺傷鏈需要正確設置和使用船上傳感器；未知接觸者的識別和分類；基于運動學和智能的接觸意圖分析；環境意識；以及決策分析和資源選擇。

該項目探索了使用自動化和人工智能 (AI) 來改進海軍殺傷鏈決策。該團隊研究了海軍殺傷鏈功能，并為每個功能制定了特定的評估標準，以確定特定 AI 方法的功效。該團隊確定并研究了 AI 方法，并應用評估標準將特定的 AI 方法映射到特定的殺傷鏈功能。

圖：利用人工智能改進海軍殺傷鏈的作戰概念

總結

當前的海軍行動通常是快節奏的、關鍵的，并且需要做出高風險的決策，這些決策有時基于非常動態的戰區中的不確定信息。許多例子強調了提高決策效率的必要性以及減輕觀察團隊負擔的必要性。缺乏上述情況的例子包括 2017 年的菲茨杰拉德號航空母艦 (DDG 62) 和 MV ACX Crystal相撞，以及 2009 年皇家港口號航空母艦 (CG 73) 的擱淺。一些根本原因是相關人員缺乏經驗、疲勞和壓力.

上述事故展示了軍事行動的難度，并展示了 OODA（觀察、定向、決策和評估）循環中的挑戰（Jones 等人，2020 年）。人為錯誤、人的認知限制和海軍作戰固有的決策復雜性導致了 OODA 循環中的挑戰，更具體地說，是殺傷鏈過程中的挑戰。

現代戰斗空間由來自常規陸地、空中和海洋等多個領域以及來自太空和網絡空間的大量數據組成。決策者需要考慮許多因素，包括交戰規則 (ROE)、要使用的武器、傳感器和意圖評估。發現、修復、跟蹤、瞄準、參與、評估 (F2T2EA) 殺傷鏈模型緩解了該過程的一些困難（參謀長聯席會議，2013 年）。人工智能 (AI) 和機器學習 (ML) 可以通過分析備選方案和使用評估標準將 AI 方法映射到殺傷鏈功能，從而幫助海軍在戰術領域做出殺傷鏈決策。這是在本報告的五個章節中分三個階段完成的。

本報告利用了數百個資源，主要利用了美海軍研究生院 AI-OODA 團隊在其 Capstone 報告（2020 年）中進行的先前研究，“利用人工智能 (AI) 進行空中和導彈防御 (AMD)：以結果為導向的決策援助。”他們將他們的工作與 John Boyd 的觀察、定向、決定和行動決策框架相結合。作為他們分析的初步步驟，AI-OODA 團隊將特定的 OODA 功能明確且緊密地耦合到特定的 F2T2EA 功能。然而，本報告斷言 OODA 循環是一個決策循環，它嵌套在殺傷鏈的每個功能中，而不是在高壓力或低壓力情況下專門映射到一個或多個殺傷鏈功能。團隊基于 F2T2EA 模型開發了一組 28 個殺傷鏈功能。

在制定將 AI 方法映射到殺傷鏈的評估標準時，很難確定一個好的決策，這對于決策評估至關重要。在評估決策時，必須考慮選擇行動時的知識意識狀態以及解釋能力。使用了幾種對決策進行評分的方法，從定義和優先考慮感興趣的“武器-目標”到制定評分標準和報告評估結果，以供其他人審查。

目前，人工智能的狀態非常廣泛，必須對其進行解釋，以了解人工智能對殺傷鏈中功能的適用性。本報告討論了所選 AI 方法的高級概述，并突出顯示了部分最流行的方法。首先，沒有普遍接受的定義，這很難定義人工智能。其次，人工智能與機器學習 (ML) 存在差異。 ML 允許在準確性和可預測性方面取得增量收益； AI 接收數據并通過算法提供輸出。人工智能的歷史從 1940 年代艾倫·圖靈 (Alan Turing) 的加密機器到 1980 年代美國政府在戰略計算計劃中的使用，再到今天在聯合人工智能中心 (JAIC) 中的人工智能戰略五個支柱，從領先的人工智能人力到安全和倫理。美國國防高級研究計劃局 (DARPA) 在 3-wave 框架中描述了 AI 的發展方向，分為手工知識 (Wave 1)、統計學習 (Wave 2) 和上下文推理 (Wave 3) 在 1-4 個維度內情報參數的屬性（Launchbury 2017）。這些屬性包括感知、推理、抽象和學習。

人工智能涉及可以根據輸入值預測結果的監督學習。有幾種使用監督學習進行學習的技術。包括線性回歸和分類。此外，許多數值方法可以分析發生的學習有效性，例如 F-score 和 Accuracy score。人工智能還可以使用無監督學習，它使用算法來發現未標記數據集中的數據模式或分組。在分析未知（y）響應以揭示標記（x）數據中的模式時，無監督學習是有益的。數據分析界的一個著名例子是鳶尾花（Iris flower）數據集。僅使用標記的數據，可以看到響應聚集在一起，并且可以確定響應中存在模式（花的種類）。無監督學習的方法包括聚類和 K-means，但還有其他方法。強化學習有一個代理能夠接收來自環境的反饋并理解基本目標。此外，正如 Sutton 和 Barto 在（2018 年）中解釋的那樣，探索和開發之間存在權衡。最后，生成對抗網絡 (GAN) 利用無監督學習和強化學習，通常用于神經網絡 (NN)。神經網絡是機器學習算法的極好來源，它有大量的輸入，而這些輸入又會產生大量的計算。 NN 非常適合用于模擬、自然語言處理、博弈論和計算機視覺。 NN 只是一種將輸入映射到輸出的簡單方法，可以在此過程中進行學習。然而，NN 可以被描述為一種“黑盒”學習技術，因為很難解釋正在發生的事情，并且通常需要一種可解釋的 AI (XAI) 技術。 XAI 的三個主要組成部分是可解釋模型、解釋界面和解釋心理學（Gunning 2019）。數據安全必須與“大數據”一起考慮，“大數據”是指非結構化、復雜和大型數據集，具有五個 v 特征：數量、速度（數據量隨時間變化的增加）、多樣性、真實性和價值。其他理論包括決策理論、模糊邏輯和效用函數

使用上述文獻綜述，該團隊開發了一個框架，用于將 AI/ML 映射到 AMD（空中導彈防御）殺傷鏈。采取了四個步驟：1) 建立模型框架，2) 確定決策點，3) 應用 AI/ML 方法，以及 4) 分析結果。該團隊確定了以下用于殺傷鏈映射分析的 AI/ML 方法：線性回歸、邏輯回歸、聚類、關聯、隨機森林、神經網絡、GAN 和樸素貝葉斯。評估標準被稱為“決策點”并提出四個問題：（1）所需輸出的類型是什么，（2）所需的學習類型是什么，（3）可解釋性（XAI）是什么水平需要，以及 (4) 需要多少個預測變量？該團隊通過基于一組決策點和評分過程評估每個殺傷鏈功能的每種方法來執行映射。對于被認為非常適合某項任務的方法，得分為+1，如果該方法適合但次優，則為0，如果該方法不適合該任務，則為–1。

該團隊進行了映射分析，根據與殺傷鏈的 28 個功能中的每一個功能相關的評估標準（決策點）分析 AI 方法。該團隊使用評分方法來確定每個殺傷鏈功能的最佳整體 AI/ML 分數。團隊的映射顯示為 0。

該團隊的 AI/ML 映射到殺傷鏈功能為國防部和海軍提供了兩個關鍵好處。首先，映射本身是設計和開發支持殺傷鏈決策的人工智能戰術決策輔助工具的重要起點和基礎。其次，該團隊將 AI 方法映射到殺傷鏈的分析過程可用于了解 AI 在許多其他軍事和非軍事領域的應用。識別適當的人工智能方法、制定評估標準和評分過程以及制定過程功能以進行分析映射的過程對于支持許多不同人工智能系統的工程具有深遠的潛力。

表1：AI/ML方法到殺傷鏈的映射

在決定是否減輕或接受網絡攻擊對武器系統的風險時，最重要的考慮因素是它如何影響作戰任務——也稱為任務影響。然而，對整個空軍的每個系統和所有任務進行全面評估是不切實際的，因為每個系統都很復雜，有大量潛在的漏洞需要檢查，每個漏洞都有自己復雜的威脅環境。

進入網絡任務線程分析框架。為了分析任務影響，作者提出了這種旨在同時實現幾個目標的新方法：足夠全面，可以在美國空軍的每個任務的規模上執行，但信息量足以指導決定接受或接受減輕特定風險。此外，該方法非常簡單，可以在不超過幾個月的時間內執行，并且可以根據需要進行更新。

該框架遵循自上而下的方法，從捕獲所有關鍵任務元素的整個任務的“線程”（映射）開始，然后是支持其執行的系統。雖然作者并未將網絡安全風險評估問題簡化為交鑰匙解決方案，但他們提出了有用的方法來分類與任務成功最相關的領域，同時將對漏洞和威脅的詳細調查限制在最關鍵的領域。他們的框架旨在大規模完成，適用于各種場景，并明確其工作方式。

00 報告研究的問題

• 評估整個空軍的任務影響或網絡安全風險有哪些挑戰？
• 網絡攻擊的風險與其他任務風險有何不同？
• 從任務影響的角度來看，網絡問題的哪些方面提出了必須解決的獨特挑戰？

01 主要發現

1.1 在合理的資源支出下分析大規模的任務影響是一個主要的挑戰

• 即使是狹義的任務也需要大量的系統，而且每個系統都可能相當復雜。
• 在美國空軍的每項任務中增加一項任務的復雜性，要評估的系統數量變得不可行。

1.2 隨著新系統的引入、舊系統的修改以及戰術、技術和程序的發展，執行任務的方式發生了變化

• 對系統的更改會導致系統漏洞的更改，同時威脅也會演變。
• 隨著任務、漏洞和威脅的變化，必須重新檢查風險評估。

1.3 網絡空間的特點之一是冗余無效

• 冗余并不能提供抵御網絡攻擊的穩健性。
• 冗余組件具有共同的網絡攻擊漏洞。

1.4 失去指揮和控制可能會在沒有任何系統或組件故障的情況下損害任務

• 對手操縱指揮和控制的脆弱性是另一種特殊的網絡效應。
• 這種類型的網絡效應通常不會在系統工程中用于安全的技術中捕獲。

1.5 當決策者不了解分析的工作原理時，他們通常會恢復直覺和判斷

• 分析工具越不透明，就越被視為“黑匣子”，越不可信。
• 這種反應提出了透明的動機，以便可以信任該方法來指導決策。

02 建議

• 要大規模執行任務影響評估并節省工作量，請使用系統工程熟悉的方法和可用于分類的任務關鍵性標準組合。

• 定義任務時，不要包含任何系統。在分析的后期介紹特定系統的作用。

• 將隨著時間推移相對穩定的工作與需要在系統生命周期中更新的分析分開。

• 盡可能使用現有的和經過驗證的技術以保持透明，以便決策者了解分析的工作原理及其局限性，并信任它來指導決策。

• 應用網絡分離的概念來解決冗余問題。

• 在任務和系統級別合并功能流程圖，以解決對手指揮和控制分析問題。

• 為了全面驗證和驗證網絡任務線程分析框架，空軍應該在各種不同的任務中應用和測試它。

03 報告目錄

第一章

評估武器系統網絡安全風險的一些注意事項

第二章

評估任務影響的原型框架

第三章

框架的討論