背景

在與美陸軍分析小組及其研究促進實驗室進行CRADA的過程中，Entanglement, Inc.（EI）已經展示了比任何已知技術更快、更準確的網絡安全異常檢測能力--假陽性現象少得多。

全球大多數網絡安全報告（包括2022年Sonicwall報告）認為，2021年幾乎所有類型的網絡攻擊都大幅上升，包括zeroday和勒索軟件攻擊。所有這些攻擊都有一個共同點：網絡異常。網絡安全中的異常檢測是指識別罕見的發生、項目或事件，由于其特征與大多數處理的數據不同而引起關注，這使得組織能夠跟蹤安全錯誤、結構缺陷甚至欺詐。異常檢測的三種主要形式是：無監督的、有監督的和半監督的。安全運營中心（SOC）分析師在網絡安全應用中使用這些方法中的每一種，都有不同程度的有效性。局限于監督式機器學習的系統往往會標出許多潛在的異常現象，以至于分析員不得不與無休止地增長的假陽性警報作斗爭，遭受認知過載。

過多的登錄，兩點之間的流量高峰，以及異常大量的遠程登錄是異常的幾個例子。正如我們在2020年的大流行病應對中所了解到的，后一種 "異常 "對于許多組織來說是必要的，以便在工人被困在家里時保持業務運轉。鑒于COVID-19大流行期間遠程工作的規模所帶來的挑戰，以及2021年網絡威脅的增加，美國陸軍轉向私營部門，探索一系列可能的解決方案。

2021年5月，拜登發布了一項行政命令，授權所有聯邦機構采用零信任安全。2021年第三季度，提出了一種新的網絡安全方法，以解決最近授權的零信任安全架構的持續監測部分。如果成功的話，這種能力可以應用于軍隊和其他聯邦機構運營的更大的網絡，并幫助提供實時態勢感知。這部分是基于對深度神經網絡的研究，其目標是：（a）加速自動編碼器（AE）功能；（b）加速生成對抗網絡（GAN）功能；以及（c）整合一種叫做支持向量機（SVM）的量子啟發優化算法。該方法包括二次無約束二元優化（QUBO）在網絡安全異常和離群點檢測方面的新應用，是由美國政府委托的。在業務轉型辦公室的指導下，陸軍分析小組（AAG）立即開始與可能被用于擊敗網絡異常威脅的新興技術的廣泛潛在來源合作。2021年6月，AAG的主任丹-詹森先生了解到Entanglement公司的無償援助提議，該公司選擇了其戰略伙伴和團隊參與者美國半導體公司Groq公司，為陸軍提供新穎、突破性的專利技術以及計算服務。

Entanglement團隊提供服務，協助陸軍在12個月內確定一個最佳的網絡安全異常檢測能力。2021年6月，AAG和Entanglement延長了題為 "COVID-19資源分配優化 "的現有合作研究與開發協議（CRADA）。Entanglement團隊在接下來的幾周內與Clay Stanek博士領導的AAG研究促進實驗室一起工作，并在2021年10月展示了顯著的性能改進和可行性。

主要發現、影響和建議

CRADA下的工作最終驗證了解決網絡安全異常檢測的能力，比傳統方法更快，并具有更好的性能，正如關鍵性能參數（KPP）所衡量。關鍵性能參數涵蓋了與每秒總推斷量、檢測到的威脅百分比、準確性、召回率、精確度、其他基于混淆矩陣的指標以及曲線下面積（AUC）有關的指標。

對于額外的變量或更大的數據集，Entanglement/Groq能力提供了比傳統方法更高的效率，可以大規模地解決原本難以解決的問題。核心技術是一種專有的專用數字電路設計，具有高度的并行性，用于解決可表示為深度神經網絡模型和二次無約束二元優化（QUBO）問題的各類問題。AAG以前的努力顯示了每秒檢測12萬個推斷的能力。這是用QUBO模型作為基準和標準所能達到的指標。基準是基于一個解決方案集，它將算法解決方案與專有的量子啟發芯片結合起來。芯片解決方案可以擴展到卡、節點，甚至更多。此外，為CRADA的可行性而設定基準的現有解決方案已經在開發下一代的更新，這將提高模塊化程度并減少熱信號。

在六個月內，Entanglement能夠實現每秒72,000,000次推斷的異常檢測率，并展示了在廣泛的數據處理系統領域實現每秒120,000,000次推斷的潛力。

驗證案例由KDD Cup 1999（KDD99）數據集和CICIDS2017數據集構建。如模型性能部分所述，AE和GAN解決方案的計算輸出在確定異常情況方面非常有效。QUBO SVM是以量子化形式建立的，在異常檢測方面也很有效，最后能夠在大約250毫秒內完成整個數據集的計算。

現代硬件系統依靠狀態估計器（如卡爾曼濾波器）來監測關鍵變量以進行反饋和性能監測。硬件系統的性能可以用卡方故障檢測測試來監測。以前的工作表明，卡爾曼濾波器很容易受到虛假數據注入攻擊。在虛假數據注入攻擊中，故意在傳感器測量數據中加入噪聲和/或偏差，以誤導卡爾曼濾波器，而這種誤導方式不會被卡方測試所發現。本論文提出了一種欺騙卡爾曼濾波器的方法，其中攻擊數據是用強化學習產生的。研究表明，強化學習可以用來訓練一個智能體，通過注入虛假數據來操縱卡爾曼濾波的輸出，而不被卡方檢驗所發現。這一結果表明，機器學習可以被用來成功地進行網絡物理攻擊，而行為者不需要對支配目標系統運行的數學有深入的了解和認識。這一結果對現實世界有重大影響，因為現代智能電網、飛機、汽車和航天器控制系統都是網絡物理系統，它們依靠可信的傳感器數據來安全和可靠地運行。針對這些系統中的任何一個的機器學習衍生的虛假數據注入攻擊都可能導致未被發現的、可能是災難性的故障。

提綱

第1章概述了所進行的研究，描述了卡爾曼濾波、chi-squared測試和網絡物理系統之間的關系。第2章提供了關于卡爾曼濾波器chi-squared故障檢測和本研究中使用的RL方法的支持信息。第3章描述了用于建立CPS模型的方法，詳細描述了RL算法，并涵蓋了對算法功能的測試和驗證。第4章介紹了研究的結果。第5章詳細介紹了結論和未來的研究領域和適用性。

美國海軍陸戰隊正在探索使用人機協作來控制前線部署環境中的無人駕駛航空系統（UAS），其任務范圍廣泛，包括情報、監視和偵察（ISR）、電子戰（EW）、通信中繼和動能殺傷。美國海軍陸戰隊設想使用未來的垂直起降平臺（VTOL）來支持混合戰爭任務并實現軍事優勢。對于美國海軍陸戰隊的混合戰爭應用，以實現任務優勢和戰爭主導權，美國海軍陸戰隊需要了解VTOL機組和無人機系統之間錯綜復雜的人機互動和關系，以獲得戰斗空間態勢感知，并有效地計劃和執行針對常規和不對稱威脅的旋轉翼行動。這項研究的重點是美國海軍陸戰隊在海洋環境中的打擊協調和偵察（SCAR）任務，以促進遠征基地先進作戰（EABO）在沿岸地區。有多種復雜的功能必須加以考慮和評估，以支持人機協作互動，提高任務的有效性：任務規劃、移動和滲透、區域偵察、偵察戰斗交接和過渡。

這份頂點報告探討了SCAR任務期間三個系統之間的人機協作：UAS、VTOL和地面控制站（GCS）。該研究從VTOL項目的文獻回顧開始，研究了美國海軍陸戰隊SCAR任務戰術和用于促進EABO的理論概念。此外，它還包括對自主性和自動化、人工智能和機器學習的研究。通過使用合作設計模型來探索這三個系統的人機協作互動和過程，文獻回顧探討了如何使用基于三個因素的相互依賴性分析（IA）框架來確定人類執行者和機器團隊成員之間的相互依賴性：可觀察性、可預測性和可指導性。

通過基于模型的系統工程（MBSE）工具，將SCAR任務的高級功能分解為分層次的任務和子任務，系統分析被用來支持聯合設計方法。根據Johnson（2014）的說法，合作設計方法研究了相互依賴的概念，并使用IA框架作為設計工具。IA框架捕捉了主要執行者和支持團隊成員之間的互動，以發展支持每個主要任務和分層子任務的所需能力，從而產生HMT要求。這份頂點報告分析了兩種選擇。第一個方案認為UAS是主要執行者，VTOL和GCS是輔助團隊成員。第二種方案認為VTOL是主要執行者，UAS和GCS是輔助團隊成員。基于這兩種選擇，IA框架評估了17個主要任務、33個分層子任務和85個執行SCAR任務的所需能力。

此外，研究發現需要一個強大的數字任務規劃系統，如升級后的海軍陸戰隊規劃和行動后系統（MPAAS），通過存儲以前的任務和經驗教訓的數據來促進機器學習。美國海軍陸戰隊將面臨無人機系統的處理能力和信息存儲方面的挑戰。應盡一切努力增加UAS的處理能力。必須實施一個有效的主要、備用、應急和緊急（PACE）通信計劃，以確保UAS、VTOL和GCS之間所有通信平臺的冗余。美國海軍陸戰隊必須實施支持信任、提供快速反饋和簡單操作的接口。

最后，為了準確評估VTOL、UAS和GCS之間的HMT要求，頂點報告促成了一個探索性實驗的發展，該實驗將在海軍研究生院（NPS）建模虛擬環境和模擬（MOVES）實驗室使用，以促進未來的研究。制定了操作要求和測量方法，以確定HMT要求的有效性。

這項頂點研究為在SCAR任務中執行VTOL/UAS混合行動的人機互動復雜性提供了明確的證據。該頂點研究確定了使用系統分析和協同設計作為一種有效的方法，通過IA框架促進人機協作需求的發展。此外，該研究確定了對復雜的自主性和技術準備程度的需求，這可能是目前還沒有的。頂點建議美國海軍陸戰隊繼續研究人機協作，并利用SCAR任務探索性實驗來進一步完善和研究VTOL/UAS的高級系統要求，以支持具有前沿部署的UAS的混合行動，重點是實現4級自主權。

多Agent系統，尤其是無人駕駛系統，是解決很多現實問題的關鍵部分，因此必須改進任務分配技術。在這篇綜述中，我們介紹了用于任務分配算法的主要技術，并根據所使用的技術對其進行了分類，主要側重于最近的工作。我們還分析了這些方法，主要集中在它們的復雜性、優化性和可擴展性上。我們還提到了任務分配方法中使用的常見通信方案，以及任務分配中不確定性的作用。最后，我們根據上述標準對它們進行了比較，試圖找到文獻中的差距，并提出最有希望的方法。

關鍵詞：任務分配、MAS、優化、學習、博弈論、元啟發式方法

I. 簡介

眾所周知，自然界中的大多數系統都是復雜的分布式系統。這樣的系統主要需要溝通和合作，以實現一個共同的目標，如改善群體內每個人的表現，旨在實現最佳的整體表現[1]。因此，由于受到自然界的啟發，許多復雜的工程系統也采用了同樣的原則。特別是在過去的15年里，很多研究工作都集中在多智能體系統上，這些系統可以更好地完成很多單一智能體有時無法完成的任務。智能體可以是一個物理實體，如UAVs、UGVs或UUVs，一般類型的機器人，但甚至是計算機資源，如處理器，或一個計算機程序[2]。

科學界將注意力集中在MAS上的原因有很多。一些任務，特別是分布式任務，由于其復雜性和前提條件，可能無法由單個智能體來完成。此外，多個智能體的存在提高了執行任務的性能和可信度，因為更多的智能體可以合作更快地完成相同的任務，而且系統對智能體的損失或故障更加強大。另外，成本可能會降低，因為可以使用許多便宜的、有時是一次性的智能體，而不是一個昂貴的智能體[3]。

但是，在使用多智能體系統完成多項任務時，出現了分工的問題，即哪項任務將被分配給哪個智能體，智能體將有什么類型的通信，一般來說，每個智能體的行為將被定義，以便有一個最佳和強大的性能[3], [4]。所有這些問題的答案就是任務分配技術。為MAS中的任務分配問題找到一個最優或接近最優的解決方案是一個相當困難的過程，在一般情況下已被證明是NP困難的[5], [6]。任務分配的一些主要目標，除了實現整體最優的系統性能外，還可以是任務執行時間的最小化，一些智能體保持不活動的時間最小化，在特定的時間內完成的任務數量最大化，任務分配程序的可靠性最大化，即任務的成功完成，等等。[7]. 由于最佳整體性能是一個模糊的概念，難以量化，而且可能取決于每個智能體的感知，因此使用了效用的概念，即對任務分配程序對系統性能的價值或成本進行估計[4]。

任務分配的第一步是靜態的，但由于現實環境是動態環境，動態任務分配領域在過去幾年中已經成為一個很大的研究領域。在動態任務分配中，系統可以處理任務或環境的在線變化，具有更強大的性能[8]。使用的算法可以是集中式的，也可以是分散式的，取決于智能體的通信結構，也可以使用同質或異質的智能體。在任務分配技術的最初應用中，主要是假設同質智能體，因為相應算法的計算負擔較小。但是，在現實世界的應用中，經常需要異質的智能體。例如，在機器人系統中可能存在不同類型的傳感器，或者同一問題的不同任務可能需要不同類型的機器人。盡管異質性增加了計算成本，但它在許多應用中的必要性，促使研究人員為異質MAS開發了大量的任務分配算法[9], [10]。

用于解決MAS中任務分配問題的主要技術是基于拍賣（或市場）的方法、基于博弈論的方法、基于優化的方法（啟發式算法、元啟發式算法等），以及機器學習技術。根據所使用的技術，可以找到一個最佳的，或者幾乎總是一個近似的解決方案，而且問題的可擴展性、復雜性和適應性也會存在不同程度。MAS中的任務或任務分配的應用包括搜索和救援任務（SAR）[11]-[14]，軍事行動，如攻擊或監視[15]-[18]，物理災害管理[11]，[12]，[19]-[22]，其中主要使用無人駕駛系統，也包括眾包平臺的使用，云計算[23]-[28]，智能電網，制造業的資源分配[29]-[32]和其他。

II. 任務分配技術的不同通信方案

解決任務分配問題的算法主要有兩大類，即集中式算法和分布式算法。

A. 集中式任務分配

集中式算法是過去研究較多的一類算法。其主要概念是，有一個中央協調者智能體，它與所有其他智能體有通信渠道。這個智能體管理其他智能體的談判，并決定分配給其他智能體的任務。在這些情況下，大多數時候，會考慮全局效用函數[14]，[33]，[3]，[34]。

圖1. 一個集中式系統，智能體A7是中央協調人

這些方法的優點是使用較少的系統資源，可能有較低的實施成本，但由于計算成本高，它們只能用于少量的智能體，而且它們不能適應動態環境，因此它們主要用于靜態任務分配。任務集中分配的事實避免了任務分配的沖突，因此不需要共識階段，也可以找到分配問題的最優解。它們也缺乏穩健性，因為它們很容易受到智能體，特別是中央智能體的損失，導致整體性能的惡化。此外，所有的智能體與中央智能體進行通信的事實，限制了它們的可擴展性[17]，[35]。

B. 分布式任務分配

分布式算法克服了集中式算法的一些缺點，因此它們在過去幾年中吸引了研究人員的注意。在這種類型的算法中，沒有中央協調者，智能體對環境有一個局部的感知，并可能相互協商。因此，任務分配的決定是以分布式方式在局部做出的。每個智能體也可能有自己的效用函數，總體效用函數可能是近似的[14]、[33]、[3]、[34]。

圖2. 一個分布式系統

這些方法的優點是它們具有穩健性，因為智能體的失敗對整體性能的影響很小，而且由于智能體之間的通信水平較低，所以也是可擴展的。此外，它們的計算成本比集中式方法小，使它們成為大規模系統的理想選擇，即使通信帶寬很小。權衡之下，它們找到了任務分配問題的次優（近似）解決方案，而且可能需要一種共識算法，因為局部任務分配可能導致任務之間發生沖突[17]，[35]。

III. MAS任務分配中的不同算法

在MAS中，有很多用于任務分配的技術。下面對所使用的方法進行分類介紹（見圖3）。

A. 基于拍賣的算法

在MAS中用于任務分配的一大類算法是基于拍賣的算法。這類算法以經濟學為基礎，智能體使用談判協議，根據他們對環境的局部感知，在拍賣中為任務投標。這就是為什么有時這些方法也被稱為基于市場的原因。智能體根據他們計算的效用或成本出價，他們的目標是為分配的任務完成最高的效用或最低的成本。基于智能體的效用函數，一個全局目標函數被優化。拍賣者可能是一個中央智能體，也可能由系統的智能體以分布式方式進行拍賣，拍賣可能需要幾輪，可以考慮一個或幾個任務[10], [14], [36], [37]。

基于拍賣的算法有很多優點，例如，即使找到了次優的解決方案，也有很高的解決效率，因為它們同時使用了集中式和分布式的方法及穩健性。它們也是可擴展的，因為它們有適度的計算成本或通信負擔，不是完全集中式的算法，它們對動態任務分配很好，因為它們可以從拍賣程序中增加或刪除新任務[3]。

圖3. 任務分配技術分類

a) 基于CBBA的算法：基于共識的捆綁算法（CBBA）是一種分布式的算法，它為多目標優化問題提供解決方案，與智能體態勢感知的不一致無關，其成本函數是每個智能體對執行捆綁任務所感知的效用。在第一階段，該算法使用帶有貪婪啟發式的拍賣來選擇任務，在第二階段，該算法應用基于共識的程序來解開任何重疊的任務。該算法被證明可以為單機器人單任務的任務分配問題提供次優解（完整的分類法見[4]），并且具有高度的可擴展性，使其適用于動態任務分配應用，因為它具有多項式時間競標[38] [39]。

最近發現的方法包括PI（性能影響）算法的改進，如PI-MaxAss[14]和[35]。此外，其他技術是CBBA算法的改進，如修改的CCBBA[38]，G-CBBA[40]和[41]。

b) 基于CNP的技術：Smith[42]開發的合約網協議（CNP）是第一個用于任務分配問題的談判平臺，構成了眾多任務分配算法的基礎。它是一個標準化的協議，可以將任務分配給最合適的智能體，同時它能夠在需要時進行任務重新分配[43]。另一方面，CNP有信息擁塞的問題，有時會使智能體之間的談判程序變得不方便。與其他方法不同，如基于信息素的方法，CNP在很大程度上依賴于智能體之間的信息通信，這些信息的計算成本可能非常高，從而降低了通信效率和系統性能[44]。

最近一些基于CNP的方法包括[45]、[46]、[11]、[27]、[44]。此外，一種不屬于上述類別的基于拍賣的方法是（FMC TA）[47]。

B. 基于博弈論的方法

在基于博弈論的方法中，假定智能體是采取特定行動的玩家，任務分配方案是他們應該遵循的策略。在博弈結束時，玩家根據他們的行動所獲得的回報被稱為報酬。當玩家選擇了最佳策略，那么他們就不會希望改變他們的策略，因為這是他們能夠完成的最佳結果，達到納什均衡[48]。

博弈可以分為兩大類，合作博弈和非合作博弈。在合作博弈中，智能體在采取具體行動之前進行合作或形成聯盟，影響他們的一般戰略和效用。合作博弈的一個例子是聯盟形成博弈。在非合作博弈中，智能體單獨選擇他們的行動和策略，這意味著智能體是自私的，希望達到最高的回報。一些例子包括貝葉斯博弈、非合作性差分博弈、子模態博弈等。[49].

最近一些基于博弈論的方法包括[50]、[20]、[51]、[52]、[53]、[54]、[55]。

C. 基于優化的技術

優化是應用數學的一個領域，旨在從一組可能的解決方案中找到一個特定問題的解決方案，使某一成本或目標函數的成本最小或利潤最大。這個成本函數根據一些約束條件進行優化，決定了系統的目標。有很多優化技術可以是確定性的或隨機性的[3], [56]。確定性方法不考慮隨機性，也就是說，如果使用相同的起點，通往解決方案的路徑將是相同的。確定性方法包括諸如圖形方法、基于圖形的方法、順序規劃、線性規劃、混合整數線性規劃（MILP）等技術。隨機方法或元啟發式方法是指在計算過程中包含隨機性的方法。元啟發法包括進化算法、蜂群智能、模擬退火等。此外，啟發式算法是用來尋找快速和高質量的解決方案的算法，以解決確定性方法會有難以承受的計算成本的困難優化問題。這些方法雖然提供了近似的解決方案[57]。

a) 基于確定性的優化：一個經常被用作開發新任務分配算法的基礎的優化算法是匈牙利算法[58]。匈牙利算法將任務分配問題視為一個組合優化問題，使用圖論并在多項式時間內解決該問題。該算法計算每個智能體效用的估計值，從而使整體效用最大化。但這在計算上是很昂貴的，而且當系統存在高不確定性時，有時價值較低，因此對該算法提出了很多改進[59]。最近的一些方法包括[60]、[61]和[62]。

b) 元啟發式算法：元啟發式算法包括幾種方法，如蜂群智能、遺傳算法、模擬退火和其他。蜂群智能已被廣泛用于MAS的任務分配，它是一類受生物啟發的算法，主要來自具有社會行為的動物，如昆蟲群、魚群、鳥群等[63]。 這些動物表現出高效的分工，由于團隊成員的專業化，導致了群體的高效率[64]。即使智能體可能相當簡單，但由于他們的合作，他們可以作為一個整體完成復雜的任務，導致強大、高效和低成本的解決方案[65]。另一方面，這些算法有時會給智能體分配不必要的任務，導致沖突，并對環境變化有緩慢的整體反應[63]。主要使用的方法分為基于閾值和概率的方法。

在基于閾值的方法中，如響應閾值法[66]，智能體決定其關于任務的行動，取決于一些監測量的值和閾值的值。閾值可以是固定的，也可以是可變的，智能體可能只有關于該數量的局部或整體信息。在概率方法中，智能體根據環境觀察或歷史數據計算出的概率，隨機地改變任務。另外，可能會使用一個刺激物，當刺激物對特定的任務來說是高的時候，可能會選擇一個任務[67]。

最近一些基于元啟發式的任務分配方法包括改進的分布式蜜蜂算法[63]、動態蟻群的分工[17]、分布式免疫多Agent算法[68]、改進的QPSO[69]、分層任務分配和路徑尋找方法[70]、多目標多類人機器人任務分配[71]和其他技術如[72]、[73]、[15]。

c) 啟發式方法：最近基于啟發式的方法包括Lazy max-sum算法[19]、平均Hamilton分區--多個旅行推銷員算法[74]、One-To-Many Bipartite Matching[75]、基于最近鄰的聚類和路由方法[76]和[77]。

D. 基于學習的方法

要預測一個智能體必須處理的未來干擾是非常困難的，特別是在沒有具體的數學模型來描述環境行為的情況下，這對實際應用來說是動態的。因此，一個解決方案是智能體學習如何面對這種干擾，考慮到他們過去的行動和其他智能體的行動，從而提高系統效率[78], [79], [80]。

一個典型的機器學習技術是強化學習，其中智能體使用他們的經驗來學習如何在環境的不同狀態下采取行動。環境通常是以馬爾科夫決策過程（MDP）的形式形成的，智能體優化成本或獎勵函數，以便從環境中學習。經常使用的RL方法是Q-learning，它是一種無模型的RL方法，幫助智能體找到MDP的最優解。[78], [79]. RL有很多優點，包括處理環境中的不確定性、實時實施（對于訓練有素的網絡）和處理不同的任務[16]。另一方面，特別是在大規模的復雜系統中，大多數RL算法需要高計算能力[81]。

已發現的基于學習的方法包括[82]中的分布式自組織地圖方法、[12]中的隨機強化學習算法、基于圖的多智能體強化學習方法[83]、帶有增強爬坡搜索方法的MARL[84]、基于Q-學習的快速任務分配算法[16]、使用合作深度強化學習策略的任務分配過程[79]和基于MARL軟Q-學習方法[85]。

E. 混合方法

除了上述解決任務分配問題的方法外，還有一些結合了上述一些方法的其他方法，它們被稱為混合方法。

在[86]中，優化和基于拍賣的方法被結合起來，而在[87]中，基于市場的方法與基于博弈論的方法被結合起來。此外，[88]、[89]和[13]是基于市場和元啟發式的結合，[90]是基于市場和學習的結合。在[91]中，進化算法與貪婪算法相結合，而在[92]中，基于博弈論的方法與學習算法相結合。

IV. 任務分配程序的關鍵因素

評價MAS中的任務分配程序的一些基本標準是所使用的算法的計算復雜性、解決方案的最優性和所使用方法的可擴展性。此外，算法處理不確定性的能力，以及通信程序的有效性，對整個系統的性能起著重要作用。

A. 復雜性、最優性和可擴展性

影響任務分配計算成本的因素是所使用的算法的復雜性，這些算法的使用頻率，以及智能體之間需要的通信方法的計算成本（智能體為實現成功的任務分配需要交換的信息比特）[93], [94]。

另一個關鍵因素是找到的解決方案的最優性。當我們提到任務分配程序的最優性時，我們的意思是所找到的解決方案具有可能的最高總體效用，受到系統特性的限制，如提供給智能體的信息的噪聲、不確定性和不準確性。為了找到動態而非靜態的解決方案而執行算法的頻率，以及可以重新分配的任務的比例，都會影響解決方案的質量[4]。此外，隨著越來越多的復雜任務和更多的智能體被用于任務分配方案，算法的可擴展性對其有效性至關重要。

表一 一些有代表性的任務分配算法的復雜性

a) 基于CBBA的方法：所提出的基于CBBA的方法，是CBBA和PI算法的改進，比基線CBBA方法有更好的效率和可擴展性，但缺點是計算成本較高。具體來說，PI-MaxAss[14]算法的計算復雜性相當于 ，其中 是任務數。此外，改進的CCBBA算法[38]的復雜度為 ，其中Θ是收斂前需要的最大迭代次數， 是每個任務的最大傳感器數量， 是智能體數量， 是任務數量，M是規劃范圍。

b) 基于CNP的方法：一般來說，基于CNP的技術在重新分配任務方面非常好，但高度依賴于智能體之間的通信程序，通常造成高計算成本。此外，CNP的另一個問題是觀察到的信息擁堵。所提出的改進的CNP算法，比基線CNP有更高的效率和更小的計算成本。但是，即使有一些方法試圖解決消息擁塞的問題，例如[44]，這仍然是一個開放的研究領域。

c) 基于博弈論的方法：所提出的博弈論方法，比基線方法更有效，有更好的次優（近優）解決方案。此外，一些博弈論的算法比基于市場的方法有更好的效率。至于復雜度，基于Apollonius圈的主動追擊者檢查（AAPC）[52]，其復雜度為 其中 為追擊者的數量。基于匿名享樂博弈[50]的GRAPE算法的復雜度由 約束，盡管在大多數情況下要小得多，其中 是網絡的圖徑， 是任務數， 是智能體的數量。至于每個智能體的通信復雜度是 ，其中 是智能體i所通信的智能體數量。

d) 啟發式方法:有很多解決DCOP問題的技術。提供最優解決方案的技術通常具有指數級的協調負擔，而基于啟發式的技術具有較低的協調成本，但提供次優的解決方案。一些提議的技術顯示了比一些基于遺傳和市場的方法更高的效率和更小的計算成本[19]。懶惰的最大和方法[19]的信息傳遞復雜性為 但如果我們考慮所有智能體對所有任務的分配，復雜度會上升到 對于找到次優解的AHP-mTSP算法[74]（平均哈密爾頓分區，多個旅行銷售人員問題），對于 個智能體和 個任務，每個迭代的復雜度為 平均運行時間為 。此外，集中式啟發式基于最近鄰的聚類和路由（ncar）方法[76]的計算成本為 ，其中 是智能體的數量。OTMaM技術[75]適用于大規模的系統，其時間復雜度為 ，其中 是智能體的數量， 是任務的數量。

e) 元啟發法：元啟發式技術成本低、穩健、高效，但有時會造成任務間的沖突，為智能體分配不必要的任務，對環境變化的反應也很慢。與基線算法相比，所提出的算法具有較低的復雜性和更好的可擴展性。但是，其中一些算法是次優的，或者假設通信程序沒有故障。此外，其中一些算法比一些貪婪的和基于市場的（如CNP）方法具有更高的可擴展性和更好的性能。對于MOMHTA算法[71]，總體最壞情況下的復雜度是 ，其中 是任務的數量，H是超平面上參考點的數量，L是目標的數量，K是創建集群的數量。

f) 基于學習的方法：基于學習的方法，特別是強化學習的方法，通常具有很高的效率，可以在線實施，并對環境干擾有很好的表現。我們注意到，很多技術比基線模擬退火、爬坡和貪婪算法有更好的性能。此外，我們還注意到比基于邊界的方法和匈牙利方法的效率更高。盡管一些方法的計算成本比基于拍賣的方法小，但計算成本和維度的增加仍然是其他強化學習方法的一個問題。

表二 一些有代表性的任務分配算法的通信類型

g) 混合方法：使用混合方法是一個非常好的解決方案，因為兩種技術可以結合起來，利用它們的優勢，實現比基線方法或只使用一種方法更高的效率或更小的計算成本。在[86]中，使用了簡化的MILP程序和多智能體投標的迭代調度算法，迭代調度器的計算復雜度為 ，其中 是智能體的子集。此外，在這個調度器的低級階段，使用了GSTP算法，增加了整體的復雜性。在[89]中，基于CBBA的方法與蟻群系統（ACS）算法相結合，并且在CBBA的包含階段使用了基于貪婪的策略，最壞情況下的計算復雜性是 ，其中 是幸存者（任務）的數量。

表一中列出了上述算法的復雜度摘要。我們可以看到大多數方法都有多項式的時間復雜度。計算成本較高的是基于CBBA的算法，以及一些混合方法。另一方面，基于啟發式的方法和基于博弈論的方法的復雜性較低。

B. 通信

智能體之間的通信是其協調性能的一個非常重要的因素。目標是智能體使用最小的可用帶寬，在不使通信網絡過載的情況下，交換有關其狀態以及周圍環境的重要信息[12]。智能體的通信可以是明確的或隱含的。顯性或直接通信，是指智能體之間使用通信網絡和專用網絡協議交換信息。大多數現有的協調方法都使用這種類型的通信。隱式方法是指通過環境，使用智能體配備的傳感器，獲得關于多智能體系統中其他智能體的信息。如果智能體利用其他智能體在環境中留下的信息進行交流，那么隱式交流是主動的（生物學啟發技術），如果智能體使用他們的傳感器來感知環境發生的變化，那么隱式交流是被動的[96]。

顯式通信方式通常比隱式情況有更高的準確性，缺點是通信負荷較高，特別是對于大規模的系統。隱式的情況下，即使缺乏準確性，也有更好的穩定性和更強的容錯性。因此，混合使用這些方法是一個非常好的主意，可以利用它們的優勢，導致更好的整體系統性能[96]。在表二中列出了一些任務分配的特征算法的通信技術。我們看到，一些經常使用的技術是社會網絡技術、黑板計劃、信息素圖和一般基于圖的技術。

表三 主要任務分配方法的比較

C. 不確定性

考慮到不確定性的任務分配技術，對于在現實生活中實現高效和穩健的任務分配非常有用。到目前為止，大多數技術，特別是分布式技術，比集中式技術更難融入不確定性。不確定性可以考慮到傳感器的不準確性、智能體的失敗、環境干擾等[97] [98]。根據以前的研究，應該把可靠性作為優先考慮的因素，因為如果忽略了失敗的可能性，性能就會下降（次優性能）[99]。例如，在[100]中，作者發現在通信程序不確定的環境中使用基于異步共識的捆綁算法（ACBBA）（現實的有損網絡環境），會產生低效的任務分配，特別是對于大量的智能體。因此，該算法的性能與理論上的預期性能相比是不同的。

在[99]中，使用啟發式方法和非馬爾科夫狀態，研究了多智能體系統中的不確定性問題（通常是任務分配程序中的元素失效）。他們的結論是，做出簡化的假設，如馬爾科夫狀態，會導致結果不能公平地反映系統的性能。此外，他們證明了在某些類別的問題中，使用更復雜的啟發式方法，更好地描述物理環境和發生的不確定性，導致了性能的提高。在[97]中，作者通過處理不確定的環境，開發了性能影響（PI）算法的改進版本，提高了魯棒性。提出了三種穩健的PI變體，使用蒙特卡洛抽樣從高斯分布中抽取不確定的變量。與基線CBBA和PI相比，所提出的方法降低了不確定情況下的故障率和未分配任務的數量，但增加了計算的復雜性，使得它們對時間關鍵型應用不可靠。

因此，納入不確定性在很多應用中是非常有用的，可以帶來更好的性能。但是，總是存在著計算復雜度較高的危險，因此在效率、穩健性和收斂時間之間應該有一個平衡，這取決于可用的計算能力和每個應用的具體需求。

V. 結論

表三是主要任務分配技術的一些主要性能特征的總結，從1（低值）到4（非常高的值）進行了分類。我們看到，基于CBBA和CNP的技術通常具有較高的計算成本，使它們不適合大規模的系統。此外，確定性優化技術也有極高的成本和低可擴展性，使得它們也不適合于中到大規模的系統，盡管它們有非常好的效率。另一方面，啟發式和博弈論方法具有非常低的成本，使它們成為提供具有中等和良好效率的快速解決方案的理想選擇。這些方法也可以用于大規模的系統，因為它們具有非常好的可擴展性。元啟發式方法和學習方法具有適度的成本、良好的效率和可擴展性，可用于中等規模，有時也可用于大規模環境，這取決于具體問題。特別是學習技術在動態任務分配和動態環境中非常好。

隨著MAS系統技術的發展和計算能力的逐年提高，在實際環境中實施改進的任務分配算法的需求勢在必行。這樣的環境有很高的不確定性，復雜的任務，并且可能需要實時實現所用的算法。由于對這種環境的適應性，RL方法是一個很有前途的任務分配研究領域，在過去的幾年里被科學界廣泛研究。此外，博弈論和元啟發式方法對這類系統也很有前途。如[101]所述，基于RL和博弈論的技術的結合改善了多Agent情況下的RL（MARL），因此基于博弈論和RL的技術的結合對于任務分配方法來說也是非常有前途的。

摘要

本報告涵蓋了與設計評估人類和智能軟件Agent之間通信有關的問題，這些通信是實現協作關系所必需的。為了使人與Agent之間的互動在動態的現實世界中保持穩定，軟件Agent和人類都必須能夠在任務目標方面溝通他們的整體意圖。由于推理過程、能力和知識庫的不同，人類和Agent并不是人類團隊的模擬。我們討論了有效通信所涉及的技術問題，包括相互透明的模型、自然語言處理（NLP）、人工智能（AI）和可解釋的AI。由于缺乏使人類能夠洞察其隊友心理過程的心智理論，Agent很難預測人類的信息需求和未來行動。涉及多個Agent的協作計劃研究和合成共享心智模型的研究被作為嘗試將人類和Agent整合成一個協同單位典范。然而，我們的結論是，在人類和Agent在復雜的、不確定的任務中像人類團隊一樣通信之前，NLP、可解釋人工智能和人類科學的進展將是必要的。

1. 引言

自主系統的前景和問題都將改變未來系統的動態，這不僅體現在自主系統對社會的影響上，也體現在它們與人類的互動上（《經濟學人》2016；Schaefer等人，2017）。人類和自主系統之間的伙伴關系涉及到將人工和人類融合成一個有凝聚力的系統，這種結合意味著所有的優勢和限制（Bradshaw等人，2009；Chen和Barnes，2014）。自主系統的范圍可以從那些獨立的、只由人類偶爾監控的系統到由人類指導的、受到密切監督的系統（Barnes等人，2017）。能夠自主行動并根據新信息更新行動以實現其目標的軟件系統被確定為智能Agent（IA）；Russell和Norvig 2009）。在人類與IA的合作關系中，人類和IA共享決策空間的混合倡議能力，但人類擁有最終的權力，在危險的時間有限的情況下，允許靈活性，同時保持人類的責任（Chen和Barnes 2015；Barnes等人2017）。在大多數情況下，不可能先驗地將每個人分配到動態環境中的特定角色，因為他們的角色可以隨著情況的變化而改變。例如，自適應Agent可以在高工作負荷的任務段中掌握決策主動權，而不需要等待操作者的許可，但在正常的操作中會將決策主動權還給操作者（Chen和Barnes 2014）。一些與任務分配有關的規定性規則可以根據任務的優先級預先設定。其他規則可能會根據情況的緊急程度而改變（例如，在時間期限過后自主擊落來襲導彈[Barnes等人，2017；Parasuraman等人，2007]）。然而，在動態環境中，溝通、對意圖的理解和共同的態勢感知（SA）是有效協作的必要條件（Barnes等人，2017；Evans等人，2017；Holder，2018；Chen等人，2018）。

隨著IA復雜性的增加，有效通信的必要性也隨之增加。Cooke（2015）認為，高效的團隊合作關系更多的是取決于有效的互動，而不是擁有廣泛的共享知識庫。除了有一個共同的語言框架，每個團隊成員都必須知道什么時候向他們的伙伴推送信息，什么時候要求提供信息。因此，人類和IA不僅要有任務環境的SA，而且要有彼此角色的SA，以便在沒有公開交流的情況下回應伙伴的要求（Scherri等人，2003；Chen等人，2018）。我們討論三個主要的主題。第一個主題是對人-Agent架構的描述，以及為什么它與人-人團隊不同，強調相互透明度的重要性。接下來，我們討論了人類與人工智能（AI）系統通信所涉及的技術問題，包括多模態交互、語言限制、AI的類型以及可解釋AI（XAI）的重要性，以確保相互理解。最后，我們討論了共享意圖的重要性，以促進操作者和人工智能之間信息交互的自然節奏。

前沿作戰基地（FOB）防御是一項人力密集型任務，需要占用作戰任務的寶貴資源。雖然能力越來越強的無人駕駛飛行器（UAV）具備執行許多任務的能力，但目前的理論并沒有充分考慮將其納入。特別是，如果操作人員與飛行器的比例為一比一時，并沒有考慮提高無人機的自主性。本論文描述了使用先進機器人系統工程實驗室（ARSENL）蜂群系統開發和測試自主FOB防御能力。開發工作利用了基于任務的蜂群可組合性結構（MASC），以任務為中心、自上而下的方式開發復雜的蜂群行為。這種方法使我們能夠開發出一種基于理論的基地防御戰術，在這種戰術中，固定翼和四旋翼無人機的任意組合能夠自主分配并執行所有必要的FOB防御角色：周邊監視、關鍵區域搜索、接觸調查和威脅響應。該戰術在軟件模擬環境中進行了廣泛的測試，并在現場飛行演習中進行了演示。實驗結果將使用本研究過程中制定的有效性措施和性能措施進行討論。

第1章：導言

1.1 背景和動機

2019年，美國海軍陸戰隊司令大衛-H-伯杰將軍發布了他的規劃指南，作為塑造未來四年的部隊的一種方式。他在其中指出："我們今天做得很好，我們明天將需要做得更好，以保持我們的作戰優勢"[1]。這句話摘自海軍陸戰隊司令大衛-H-伯杰將軍的《2019年司令員規劃指南》（CPG），呼吁采取集中行動，以應對海軍陸戰隊在未來戰爭中預計將面臨的不斷變化的挑戰。在為海軍陸戰隊確定未來四年的優先事項和方向的CPG中的其他指導，呼吁建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人駕駛系統系列"[1]。伯杰將軍進一步呼吁利用新技術來支持遠征前沿基地作戰（EABO）。EABO將需要靈活的系統，既能進行有效的進攻行動，又能進行獨立和可持續的防御行動。簡而言之，實現EABO將需要最大限度地利用每個系統和海軍陸戰隊。

從本質上講，伯杰將軍正在呼吁改變無人駕駛飛行器的使用方式。通過使用大型的合作自主無人飛行器系統，或稱蜂群，將有助于實現這一目標。無人飛行器蜂群提供了在人力需求和后勤負擔增加最少的情況下成倍提高戰場能力的機會。正如伯杰將軍所提到的 "下一個戰場"，海軍陸戰隊將必須利用各種技術，最大限度地利用自主性和每個作戰人員在戰場上的影響。

目前的無人系統使用理論是以很少或沒有自主性的系統為中心。另外，目前的系統依賴于單個飛行器的遠程駕駛；也就是說，每輛飛行器有一個操作員。部隊中缺乏自主系統，這在監視和直接行動的作戰能力方面造成了差距。此外，側重于一對一操作員-飛行器管理的無人系統理論要求操作員的數量與車輛的數量成線性比例。這對于 "下一個戰場 "來說是不夠的。相反，海軍陸戰隊將需要能夠讓操作員擺脫束縛或提高他們同時控制多個飛行器的能力系統[2]。

考慮到這些目標，美國海軍研究生院（NPS）的先進機器人系統工程實驗室（ARSENL）已經開發并演示了一個用于控制大型、自主、多飛行器的系統，該系統利用了分布式計算的優勢，并將駕駛的認知要求降到最低。ARSENL在現場實驗中證明了其系統的功效，在該實驗中，50個自主無人駕駛飛行器（UAV）被成功發射，同時由一個操作員控制，并安全回收[3]。

1.2 研究目標

這項研究的主要目標是證明使用無人機蜂群來支持前沿作戰基地（FOB）的防御。特別是，這需要自主生成、分配和執行有效的、符合理論的基地防御所需的子任務。這部分研究的重點是開發基于狀態的監視、調查和威脅響應任務的描述；實施支持多飛行器任務分配的決策機制；以及任務執行期間的多飛行器控制。

輔助研究目標包括展示基于任務的蜂群可組合性結構（MASC）過程，以自上而下、以任務為中心的方式開發復雜的蜂群行為，探索自主蜂群控制和決策的分布式方法，以及實施一般的蜂群算法，并證明了對廣泛的潛在蜂群戰術有用。總的來說，這些目標是主要目標的一部分，是實現主要目標的手段。

1.3 方法論

基地防御戰術的制定始于對現有基地防御理論的審查。這一審查是確定該行為所要完成的基本任務和子任務的基礎。然后，我們審查了目前海軍陸戰隊使用無人機的理論，以確定這些系統在基地防御任務中的使用情況。

在確定了任務要求的特征后，我們為基地防御的整體任務制定了一個高層次的狀態圖。子任務級別的狀態圖等同于MASC層次結構中的角色。

ARSENL代碼庫中現有的算法和游戲以及在研究過程中開發的新算法和游戲被用來在ARSENL系統中實現子任務級的狀態圖。最后，根據高層次的狀態圖將這些游戲組合起來，完成基地防御戰術的實施。

在游戲和戰術開發之后，設計了基于理論的有效性措施（MOE）和性能措施（MOPs）。通過在循環軟件（SITL）模擬環境中的廣泛實驗，這些措施被用來評估基地防御戰術。在加利福尼亞州羅伯茨營進行的實戰飛行實驗中，也展示了該戰術和游戲。

1.4 結果

最終，本研究成功地實現了其主要目標，并展示了一種包含周邊監視、關鍵區域搜索、接觸調查和威脅響應的基地防御戰術。此外，開發工作在很大程度上依賴于MASC層次結構，以此來制定任務要求，并將這些要求分解成可在ARSENL蜂群系統上實施的可管理任務。這一戰術在實戰飛行和模擬環境中進行了測試，并使用以任務為中心的MOP和MOE進行了評估。最后的結果是令人滿意的，在本研究過程中開發的戰術被評估為有效的概念證明。

1.5 論文組織

本論文共分六章。第1章提供了這項研究的動機，描述了這個概念驗證所要彌補的能力差距，并提供了ARSENL的簡短背景和所追求的研究目標。

第2章討論了海軍陸戰隊和聯合出版物中描述的當前海軍陸戰隊后方作戰的理論。還概述了目前海軍陸戰隊內無人機的使用情況，并描述了目前各種系統所能達到的自主性水平。

第3章概述了以前自主系統基于行為的架構工作，ARSENL多車輛無人駕駛航空系統（UAS）和MASC層次結構。

第4章對基地防御戰術的整體設計以及高層戰術所依賴的游戲進行了基于狀態的描述。本章還詳細介紹了用于創建、測試和評估這一概念驗證的方法。在此過程中，重點是對每一戰術和戰術所針對的MOP和MOE進行評估。

第5章詳細介紹了所進行的實戰飛行和模擬實驗，并討論了與相關MOPs和MOEs有關的測試結果。

最后，第6章介紹了這個概念驗證的結論。本章還提供了與基地防御戰術本身以及更廣泛的自主蜂群能力和控制有關的未來工作建議。

小型無人駕駛飛機系統（sUAS）的指數式增長為美國防部帶來了新的風險。技術趨勢正極大地改變著小型無人機系統的合法應用，同時也使它們成為國家行為者、非國家行為者和犯罪分子手中日益強大的武器。如果被疏忽或魯莽的操作者控制，小型無人機系統也可能對美國防部在空中、陸地和海洋領域的行動構成危害。越來越多的 sUAS 將與美國防部飛機共享天空，此外美國對手可能在美國防部設施上空運行，在此環境下美國防部必須保護和保衛人員、設施和資產。

為了應對這一挑戰，美國防部最初強調部署和使用政府和商業建造的物資，以解決無人機系統帶來的直接風險；然而，這導致了許多非整合的、多余的解決方案。雖然最初的方法解決了近期的需求，但它也帶來了挑戰，使美國防部跟上不斷變化問題的能力變得復雜。為了應對這些挑戰，美國防部需要一個全局性的戰略來應對無人機系統的危害和威脅。

2019年11月，美國防部長指定陸軍部長（SECARMY）為國防部反小型無人機系統（C-sUAS，無人機1、2、3組）的執行機構（EA）。作為執行機構，SECARMY建立了C-sUAS聯合辦公室（JCO），該辦公室將領導、同步和指導C-sUAS活動，以促進整個部門的統一努力。

美國防部的C-sUAS戰略提供了一個框架，以解決國土、東道國和應急地點的sUAS從危險到威脅的全過程。國防部的利益相關者將合作實現三個戰略目標：（1）通過創新和合作加強聯合部隊，以保護國土、東道國和應急地點的國防部人員、資產和設施；（2）開發物資和非物資解決方案，以促進國防部任務的安全和可靠執行，并剝奪對手阻礙實現目標的能力；以及（3）建立和擴大美國與盟友和合作伙伴的關系，保護其在國內外的利益。

美國防部將通過重點關注三個方面的工作來實現這些目標：準備好部隊；保衛部隊；和建立團隊。為了準備好部隊，國防部將最大限度地提高現有的C-sUAS能力，并使用基于風險的方法來指導高效和快速地開發一套物質和非物質解決方案，以滿足新的需求。為了保衛部隊，國防部將協調以DOTMLPF-P考慮為基礎的聯合能力的交付，并同步發展作戰概念和理論。最后，作為全球首選的軍事伙伴，國防部將通過利用其現有的關系來建設團隊，建立新的伙伴關系，并擴大信息共享，以應對新的挑戰。

通過實施這一戰略，美國防部將成功地應對在美國本土、東道國和應急地點出現的無人機系統威脅所帶來的挑戰。在這些不同操作環境中的指揮官將擁有他們需要的解決方案，以保護國防部人員、設施、資產和任務免受當前和未來的無人機系統威脅。

這項工作的目的是開發能夠成功處理復雜動態環境中順序決策的深度終身學習方法，重點是多Agent情報、監視和偵察（ISR）場景。我們為深度卷積神經網絡開發了一個新的架構，支持通過去卷積因子化的終身學習（DF-CNN），探索了通過Distral和Sobolev訓練的策略提煉的組合，并開發了一個混合控制器，將深度學習應用于ISR智能體。我們的方法在標準基準深度學習數據集、DOOM環境和ATE3模擬環境中的ISR場景中進行了評估。

我們的主要貢獻是反卷積因子卷積神經網絡（DFCNN）。DF-CNN框架調整了標準卷積神經網絡（CNN）框架，以實現任務之間的轉移。它在每個CNN層維護一個共享知識庫，并通過這個共享知識促進不同任務的CNN之間的轉移。每個具體任務的CNN模型的各個過濾層都是由這個共享知識庫重建的，隨著網絡在多個任務中的訓練，這個知識庫會隨著時間的推移而調整。DF-CNN代表了ELLA終身學習框架對深度網絡的概括。

實驗表明，DF-CNN在終身中的基準識別任務上的表現優于其他方法（包括單任務學習、低層的硬參數共享和漸進式神經網絡）。此外，該框架能夠抵抗災難性遺忘，同時仍然允許從未來的學習中反向轉移到以前學習的模型。

對于深度強化學習，我們研究了將Sobolev訓練整合到Distral多任務框架中，以努力改善轉移和訓練，探索了DF-CNN在深度RL中的應用，并開發了一個混合控制器，將本地學習的深度RL策略結合在一起，在ATE3仿真環境中完成ISR場景。

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。

在決定是否減輕或接受網絡攻擊對武器系統的風險時，最重要的考慮因素是它如何影響作戰任務——也稱為任務影響。然而，對整個空軍的每個系統和所有任務進行全面評估是不切實際的，因為每個系統都很復雜，有大量潛在的漏洞需要檢查，每個漏洞都有自己復雜的威脅環境。

進入網絡任務線程分析框架。為了分析任務影響，作者提出了這種旨在同時實現幾個目標的新方法：足夠全面，可以在美國空軍的每個任務的規模上執行，但信息量足以指導決定接受或接受減輕特定風險。此外，該方法非常簡單，可以在不超過幾個月的時間內執行，并且可以根據需要進行更新。

該框架遵循自上而下的方法，從捕獲所有關鍵任務元素的整個任務的“線程”（映射）開始，然后是支持其執行的系統。雖然作者并未將網絡安全風險評估問題簡化為交鑰匙解決方案，但他們提出了有用的方法來分類與任務成功最相關的領域，同時將對漏洞和威脅的詳細調查限制在最關鍵的領域。他們的框架旨在大規模完成，適用于各種場景，并明確其工作方式。

00 報告研究的問題

• 評估整個空軍的任務影響或網絡安全風險有哪些挑戰？
• 網絡攻擊的風險與其他任務風險有何不同？
• 從任務影響的角度來看，網絡問題的哪些方面提出了必須解決的獨特挑戰？

01 主要發現

1.1 在合理的資源支出下分析大規模的任務影響是一個主要的挑戰

• 即使是狹義的任務也需要大量的系統，而且每個系統都可能相當復雜。
• 在美國空軍的每項任務中增加一項任務的復雜性，要評估的系統數量變得不可行。

1.2 隨著新系統的引入、舊系統的修改以及戰術、技術和程序的發展，執行任務的方式發生了變化

• 對系統的更改會導致系統漏洞的更改，同時威脅也會演變。
• 隨著任務、漏洞和威脅的變化，必須重新檢查風險評估。

1.3 網絡空間的特點之一是冗余無效

• 冗余并不能提供抵御網絡攻擊的穩健性。
• 冗余組件具有共同的網絡攻擊漏洞。

1.4 失去指揮和控制可能會在沒有任何系統或組件故障的情況下損害任務

• 對手操縱指揮和控制的脆弱性是另一種特殊的網絡效應。
• 這種類型的網絡效應通常不會在系統工程中用于安全的技術中捕獲。

1.5 當決策者不了解分析的工作原理時，他們通常會恢復直覺和判斷

• 分析工具越不透明，就越被視為“黑匣子”，越不可信。
• 這種反應提出了透明的動機，以便可以信任該方法來指導決策。

02 建議

• 要大規模執行任務影響評估并節省工作量，請使用系統工程熟悉的方法和可用于分類的任務關鍵性標準組合。

• 定義任務時，不要包含任何系統。在分析的后期介紹特定系統的作用。

• 將隨著時間推移相對穩定的工作與需要在系統生命周期中更新的分析分開。

• 盡可能使用現有的和經過驗證的技術以保持透明，以便決策者了解分析的工作原理及其局限性，并信任它來指導決策。

• 應用網絡分離的概念來解決冗余問題。

• 在任務和系統級別合并功能流程圖，以解決對手指揮和控制分析問題。

• 為了全面驗證和驗證網絡任務線程分析框架，空軍應該在各種不同的任務中應用和測試它。

03 報告目錄

第一章

評估武器系統網絡安全風險的一些注意事項

第二章

評估任務影響的原型框架

第三章

框架的討論