多Agent系統，尤其是無人駕駛系統，是解決很多現實問題的關鍵部分，因此必須改進任務分配技術。在這篇綜述中，我們介紹了用于任務分配算法的主要技術，并根據所使用的技術對其進行了分類，主要側重于最近的工作。我們還分析了這些方法，主要集中在它們的復雜性、優化性和可擴展性上。我們還提到了任務分配方法中使用的常見通信方案，以及任務分配中不確定性的作用。最后，我們根據上述標準對它們進行了比較，試圖找到文獻中的差距，并提出最有希望的方法。

關鍵詞：任務分配、MAS、優化、學習、博弈論、元啟發式方法

I. 簡介

眾所周知，自然界中的大多數系統都是復雜的分布式系統。這樣的系統主要需要溝通和合作，以實現一個共同的目標，如改善群體內每個人的表現，旨在實現最佳的整體表現[1]。因此，由于受到自然界的啟發，許多復雜的工程系統也采用了同樣的原則。特別是在過去的15年里，很多研究工作都集中在多智能體系統上，這些系統可以更好地完成很多單一智能體有時無法完成的任務。智能體可以是一個物理實體，如UAVs、UGVs或UUVs，一般類型的機器人，但甚至是計算機資源，如處理器，或一個計算機程序[2]。

科學界將注意力集中在MAS上的原因有很多。一些任務，特別是分布式任務，由于其復雜性和前提條件，可能無法由單個智能體來完成。此外，多個智能體的存在提高了執行任務的性能和可信度，因為更多的智能體可以合作更快地完成相同的任務，而且系統對智能體的損失或故障更加強大。另外，成本可能會降低，因為可以使用許多便宜的、有時是一次性的智能體，而不是一個昂貴的智能體[3]。

但是，在使用多智能體系統完成多項任務時，出現了分工的問題，即哪項任務將被分配給哪個智能體，智能體將有什么類型的通信，一般來說，每個智能體的行為將被定義，以便有一個最佳和強大的性能[3], [4]。所有這些問題的答案就是任務分配技術。為MAS中的任務分配問題找到一個最優或接近最優的解決方案是一個相當困難的過程，在一般情況下已被證明是NP困難的[5], [6]。任務分配的一些主要目標，除了實現整體最優的系統性能外，還可以是任務執行時間的最小化，一些智能體保持不活動的時間最小化，在特定的時間內完成的任務數量最大化，任務分配程序的可靠性最大化，即任務的成功完成，等等。[7]. 由于最佳整體性能是一個模糊的概念，難以量化，而且可能取決于每個智能體的感知，因此使用了效用的概念，即對任務分配程序對系統性能的價值或成本進行估計[4]。

任務分配的第一步是靜態的，但由于現實環境是動態環境，動態任務分配領域在過去幾年中已經成為一個很大的研究領域。在動態任務分配中，系統可以處理任務或環境的在線變化，具有更強大的性能[8]。使用的算法可以是集中式的，也可以是分散式的，取決于智能體的通信結構，也可以使用同質或異質的智能體。在任務分配技術的最初應用中，主要是假設同質智能體，因為相應算法的計算負擔較小。但是，在現實世界的應用中，經常需要異質的智能體。例如，在機器人系統中可能存在不同類型的傳感器，或者同一問題的不同任務可能需要不同類型的機器人。盡管異質性增加了計算成本，但它在許多應用中的必要性，促使研究人員為異質MAS開發了大量的任務分配算法[9], [10]。

用于解決MAS中任務分配問題的主要技術是基于拍賣（或市場）的方法、基于博弈論的方法、基于優化的方法（啟發式算法、元啟發式算法等），以及機器學習技術。根據所使用的技術，可以找到一個最佳的，或者幾乎總是一個近似的解決方案，而且問題的可擴展性、復雜性和適應性也會存在不同程度。MAS中的任務或任務分配的應用包括搜索和救援任務（SAR）[11]-[14]，軍事行動，如攻擊或監視[15]-[18]，物理災害管理[11]，[12]，[19]-[22]，其中主要使用無人駕駛系統，也包括眾包平臺的使用，云計算[23]-[28]，智能電網，制造業的資源分配[29]-[32]和其他。

II. 任務分配技術的不同通信方案

解決任務分配問題的算法主要有兩大類，即集中式算法和分布式算法。

A. 集中式任務分配

集中式算法是過去研究較多的一類算法。其主要概念是，有一個中央協調者智能體，它與所有其他智能體有通信渠道。這個智能體管理其他智能體的談判，并決定分配給其他智能體的任務。在這些情況下，大多數時候，會考慮全局效用函數[14]，[33]，[3]，[34]。

圖1. 一個集中式系統，智能體A7是中央協調人

這些方法的優點是使用較少的系統資源，可能有較低的實施成本，但由于計算成本高，它們只能用于少量的智能體，而且它們不能適應動態環境，因此它們主要用于靜態任務分配。任務集中分配的事實避免了任務分配的沖突，因此不需要共識階段，也可以找到分配問題的最優解。它們也缺乏穩健性，因為它們很容易受到智能體，特別是中央智能體的損失，導致整體性能的惡化。此外，所有的智能體與中央智能體進行通信的事實，限制了它們的可擴展性[17]，[35]。

B. 分布式任務分配

分布式算法克服了集中式算法的一些缺點，因此它們在過去幾年中吸引了研究人員的注意。在這種類型的算法中，沒有中央協調者，智能體對環境有一個局部的感知，并可能相互協商。因此，任務分配的決定是以分布式方式在局部做出的。每個智能體也可能有自己的效用函數，總體效用函數可能是近似的[14]、[33]、[3]、[34]。

圖2. 一個分布式系統

這些方法的優點是它們具有穩健性，因為智能體的失敗對整體性能的影響很小，而且由于智能體之間的通信水平較低，所以也是可擴展的。此外，它們的計算成本比集中式方法小，使它們成為大規模系統的理想選擇，即使通信帶寬很小。權衡之下，它們找到了任務分配問題的次優（近似）解決方案，而且可能需要一種共識算法，因為局部任務分配可能導致任務之間發生沖突[17]，[35]。

III. MAS任務分配中的不同算法

在MAS中，有很多用于任務分配的技術。下面對所使用的方法進行分類介紹（見圖3）。

A. 基于拍賣的算法

在MAS中用于任務分配的一大類算法是基于拍賣的算法。這類算法以經濟學為基礎，智能體使用談判協議，根據他們對環境的局部感知，在拍賣中為任務投標。這就是為什么有時這些方法也被稱為基于市場的原因。智能體根據他們計算的效用或成本出價，他們的目標是為分配的任務完成最高的效用或最低的成本。基于智能體的效用函數，一個全局目標函數被優化。拍賣者可能是一個中央智能體，也可能由系統的智能體以分布式方式進行拍賣，拍賣可能需要幾輪，可以考慮一個或幾個任務[10], [14], [36], [37]。

基于拍賣的算法有很多優點，例如，即使找到了次優的解決方案，也有很高的解決效率，因為它們同時使用了集中式和分布式的方法及穩健性。它們也是可擴展的，因為它們有適度的計算成本或通信負擔，不是完全集中式的算法，它們對動態任務分配很好，因為它們可以從拍賣程序中增加或刪除新任務[3]。

圖3. 任務分配技術分類

a) 基于CBBA的算法：基于共識的捆綁算法（CBBA）是一種分布式的算法，它為多目標優化問題提供解決方案，與智能體態勢感知的不一致無關，其成本函數是每個智能體對執行捆綁任務所感知的效用。在第一階段，該算法使用帶有貪婪啟發式的拍賣來選擇任務，在第二階段，該算法應用基于共識的程序來解開任何重疊的任務。該算法被證明可以為單機器人單任務的任務分配問題提供次優解（完整的分類法見[4]），并且具有高度的可擴展性，使其適用于動態任務分配應用，因為它具有多項式時間競標[38] [39]。

最近發現的方法包括PI（性能影響）算法的改進，如PI-MaxAss[14]和[35]。此外，其他技術是CBBA算法的改進，如修改的CCBBA[38]，G-CBBA[40]和[41]。

b) 基于CNP的技術：Smith[42]開發的合約網協議（CNP）是第一個用于任務分配問題的談判平臺，構成了眾多任務分配算法的基礎。它是一個標準化的協議，可以將任務分配給最合適的智能體，同時它能夠在需要時進行任務重新分配[43]。另一方面，CNP有信息擁塞的問題，有時會使智能體之間的談判程序變得不方便。與其他方法不同，如基于信息素的方法，CNP在很大程度上依賴于智能體之間的信息通信，這些信息的計算成本可能非常高，從而降低了通信效率和系統性能[44]。

最近一些基于CNP的方法包括[45]、[46]、[11]、[27]、[44]。此外，一種不屬于上述類別的基于拍賣的方法是（FMC TA）[47]。

B. 基于博弈論的方法

在基于博弈論的方法中，假定智能體是采取特定行動的玩家，任務分配方案是他們應該遵循的策略。在博弈結束時，玩家根據他們的行動所獲得的回報被稱為報酬。當玩家選擇了最佳策略，那么他們就不會希望改變他們的策略，因為這是他們能夠完成的最佳結果，達到納什均衡[48]。

博弈可以分為兩大類，合作博弈和非合作博弈。在合作博弈中，智能體在采取具體行動之前進行合作或形成聯盟，影響他們的一般戰略和效用。合作博弈的一個例子是聯盟形成博弈。在非合作博弈中，智能體單獨選擇他們的行動和策略，這意味著智能體是自私的，希望達到最高的回報。一些例子包括貝葉斯博弈、非合作性差分博弈、子模態博弈等。[49].

最近一些基于博弈論的方法包括[50]、[20]、[51]、[52]、[53]、[54]、[55]。

C. 基于優化的技術

優化是應用數學的一個領域，旨在從一組可能的解決方案中找到一個特定問題的解決方案，使某一成本或目標函數的成本最小或利潤最大。這個成本函數根據一些約束條件進行優化，決定了系統的目標。有很多優化技術可以是確定性的或隨機性的[3], [56]。確定性方法不考慮隨機性，也就是說，如果使用相同的起點，通往解決方案的路徑將是相同的。確定性方法包括諸如圖形方法、基于圖形的方法、順序規劃、線性規劃、混合整數線性規劃（MILP）等技術。隨機方法或元啟發式方法是指在計算過程中包含隨機性的方法。元啟發法包括進化算法、蜂群智能、模擬退火等。此外，啟發式算法是用來尋找快速和高質量的解決方案的算法，以解決確定性方法會有難以承受的計算成本的困難優化問題。這些方法雖然提供了近似的解決方案[57]。

a) 基于確定性的優化：一個經常被用作開發新任務分配算法的基礎的優化算法是匈牙利算法[58]。匈牙利算法將任務分配問題視為一個組合優化問題，使用圖論并在多項式時間內解決該問題。該算法計算每個智能體效用的估計值，從而使整體效用最大化。但這在計算上是很昂貴的，而且當系統存在高不確定性時，有時價值較低，因此對該算法提出了很多改進[59]。最近的一些方法包括[60]、[61]和[62]。

b) 元啟發式算法：元啟發式算法包括幾種方法，如蜂群智能、遺傳算法、模擬退火和其他。蜂群智能已被廣泛用于MAS的任務分配，它是一類受生物啟發的算法，主要來自具有社會行為的動物，如昆蟲群、魚群、鳥群等[63]。 這些動物表現出高效的分工，由于團隊成員的專業化，導致了群體的高效率[64]。即使智能體可能相當簡單，但由于他們的合作，他們可以作為一個整體完成復雜的任務，導致強大、高效和低成本的解決方案[65]。另一方面，這些算法有時會給智能體分配不必要的任務，導致沖突，并對環境變化有緩慢的整體反應[63]。主要使用的方法分為基于閾值和概率的方法。

在基于閾值的方法中，如響應閾值法[66]，智能體決定其關于任務的行動，取決于一些監測量的值和閾值的值。閾值可以是固定的，也可以是可變的，智能體可能只有關于該數量的局部或整體信息。在概率方法中，智能體根據環境觀察或歷史數據計算出的概率，隨機地改變任務。另外，可能會使用一個刺激物，當刺激物對特定的任務來說是高的時候，可能會選擇一個任務[67]。

最近一些基于元啟發式的任務分配方法包括改進的分布式蜜蜂算法[63]、動態蟻群的分工[17]、分布式免疫多Agent算法[68]、改進的QPSO[69]、分層任務分配和路徑尋找方法[70]、多目標多類人機器人任務分配[71]和其他技術如[72]、[73]、[15]。

c) 啟發式方法：最近基于啟發式的方法包括Lazy max-sum算法[19]、平均Hamilton分區--多個旅行推銷員算法[74]、One-To-Many Bipartite Matching[75]、基于最近鄰的聚類和路由方法[76]和[77]。

D. 基于學習的方法

要預測一個智能體必須處理的未來干擾是非常困難的，特別是在沒有具體的數學模型來描述環境行為的情況下，這對實際應用來說是動態的。因此，一個解決方案是智能體學習如何面對這種干擾，考慮到他們過去的行動和其他智能體的行動，從而提高系統效率[78], [79], [80]。

一個典型的機器學習技術是強化學習，其中智能體使用他們的經驗來學習如何在環境的不同狀態下采取行動。環境通常是以馬爾科夫決策過程（MDP）的形式形成的，智能體優化成本或獎勵函數，以便從環境中學習。經常使用的RL方法是Q-learning，它是一種無模型的RL方法，幫助智能體找到MDP的最優解。[78], [79]. RL有很多優點，包括處理環境中的不確定性、實時實施（對于訓練有素的網絡）和處理不同的任務[16]。另一方面，特別是在大規模的復雜系統中，大多數RL算法需要高計算能力[81]。

已發現的基于學習的方法包括[82]中的分布式自組織地圖方法、[12]中的隨機強化學習算法、基于圖的多智能體強化學習方法[83]、帶有增強爬坡搜索方法的MARL[84]、基于Q-學習的快速任務分配算法[16]、使用合作深度強化學習策略的任務分配過程[79]和基于MARL軟Q-學習方法[85]。

E. 混合方法

除了上述解決任務分配問題的方法外，還有一些結合了上述一些方法的其他方法，它們被稱為混合方法。

在[86]中，優化和基于拍賣的方法被結合起來，而在[87]中，基于市場的方法與基于博弈論的方法被結合起來。此外，[88]、[89]和[13]是基于市場和元啟發式的結合，[90]是基于市場和學習的結合。在[91]中，進化算法與貪婪算法相結合，而在[92]中，基于博弈論的方法與學習算法相結合。

IV. 任務分配程序的關鍵因素

評價MAS中的任務分配程序的一些基本標準是所使用的算法的計算復雜性、解決方案的最優性和所使用方法的可擴展性。此外，算法處理不確定性的能力，以及通信程序的有效性，對整個系統的性能起著重要作用。

A. 復雜性、最優性和可擴展性

影響任務分配計算成本的因素是所使用的算法的復雜性，這些算法的使用頻率，以及智能體之間需要的通信方法的計算成本（智能體為實現成功的任務分配需要交換的信息比特）[93], [94]。

另一個關鍵因素是找到的解決方案的最優性。當我們提到任務分配程序的最優性時，我們的意思是所找到的解決方案具有可能的最高總體效用，受到系統特性的限制，如提供給智能體的信息的噪聲、不確定性和不準確性。為了找到動態而非靜態的解決方案而執行算法的頻率，以及可以重新分配的任務的比例，都會影響解決方案的質量[4]。此外，隨著越來越多的復雜任務和更多的智能體被用于任務分配方案，算法的可擴展性對其有效性至關重要。

表一 一些有代表性的任務分配算法的復雜性

a) 基于CBBA的方法：所提出的基于CBBA的方法，是CBBA和PI算法的改進，比基線CBBA方法有更好的效率和可擴展性，但缺點是計算成本較高。具體來說，PI-MaxAss[14]算法的計算復雜性相當于 ，其中 是任務數。此外，改進的CCBBA算法[38]的復雜度為 ，其中Θ是收斂前需要的最大迭代次數， 是每個任務的最大傳感器數量， 是智能體數量， 是任務數量，M是規劃范圍。

b) 基于CNP的方法：一般來說，基于CNP的技術在重新分配任務方面非常好，但高度依賴于智能體之間的通信程序，通常造成高計算成本。此外，CNP的另一個問題是觀察到的信息擁堵。所提出的改進的CNP算法，比基線CNP有更高的效率和更小的計算成本。但是，即使有一些方法試圖解決消息擁塞的問題，例如[44]，這仍然是一個開放的研究領域。

c) 基于博弈論的方法：所提出的博弈論方法，比基線方法更有效，有更好的次優（近優）解決方案。此外，一些博弈論的算法比基于市場的方法有更好的效率。至于復雜度，基于Apollonius圈的主動追擊者檢查（AAPC）[52]，其復雜度為 其中 為追擊者的數量。基于匿名享樂博弈[50]的GRAPE算法的復雜度由 約束，盡管在大多數情況下要小得多，其中 是網絡的圖徑， 是任務數， 是智能體的數量。至于每個智能體的通信復雜度是 ，其中 是智能體i所通信的智能體數量。

d) 啟發式方法:有很多解決DCOP問題的技術。提供最優解決方案的技術通常具有指數級的協調負擔，而基于啟發式的技術具有較低的協調成本，但提供次優的解決方案。一些提議的技術顯示了比一些基于遺傳和市場的方法更高的效率和更小的計算成本[19]。懶惰的最大和方法[19]的信息傳遞復雜性為 但如果我們考慮所有智能體對所有任務的分配，復雜度會上升到 對于找到次優解的AHP-mTSP算法[74]（平均哈密爾頓分區，多個旅行銷售人員問題），對于 個智能體和 個任務，每個迭代的復雜度為 平均運行時間為 。此外，集中式啟發式基于最近鄰的聚類和路由（ncar）方法[76]的計算成本為 ，其中 是智能體的數量。OTMaM技術[75]適用于大規模的系統，其時間復雜度為 ，其中 是智能體的數量， 是任務的數量。

e) 元啟發法：元啟發式技術成本低、穩健、高效，但有時會造成任務間的沖突，為智能體分配不必要的任務，對環境變化的反應也很慢。與基線算法相比，所提出的算法具有較低的復雜性和更好的可擴展性。但是，其中一些算法是次優的，或者假設通信程序沒有故障。此外，其中一些算法比一些貪婪的和基于市場的（如CNP）方法具有更高的可擴展性和更好的性能。對于MOMHTA算法[71]，總體最壞情況下的復雜度是 ，其中 是任務的數量，H是超平面上參考點的數量，L是目標的數量，K是創建集群的數量。

f) 基于學習的方法：基于學習的方法，特別是強化學習的方法，通常具有很高的效率，可以在線實施，并對環境干擾有很好的表現。我們注意到，很多技術比基線模擬退火、爬坡和貪婪算法有更好的性能。此外，我們還注意到比基于邊界的方法和匈牙利方法的效率更高。盡管一些方法的計算成本比基于拍賣的方法小，但計算成本和維度的增加仍然是其他強化學習方法的一個問題。

表二 一些有代表性的任務分配算法的通信類型

g) 混合方法：使用混合方法是一個非常好的解決方案，因為兩種技術可以結合起來，利用它們的優勢，實現比基線方法或只使用一種方法更高的效率或更小的計算成本。在[86]中，使用了簡化的MILP程序和多智能體投標的迭代調度算法，迭代調度器的計算復雜度為 ，其中 是智能體的子集。此外，在這個調度器的低級階段，使用了GSTP算法，增加了整體的復雜性。在[89]中，基于CBBA的方法與蟻群系統（ACS）算法相結合，并且在CBBA的包含階段使用了基于貪婪的策略，最壞情況下的計算復雜性是 ，其中 是幸存者（任務）的數量。

表一中列出了上述算法的復雜度摘要。我們可以看到大多數方法都有多項式的時間復雜度。計算成本較高的是基于CBBA的算法，以及一些混合方法。另一方面，基于啟發式的方法和基于博弈論的方法的復雜性較低。

B. 通信

智能體之間的通信是其協調性能的一個非常重要的因素。目標是智能體使用最小的可用帶寬，在不使通信網絡過載的情況下，交換有關其狀態以及周圍環境的重要信息[12]。智能體的通信可以是明確的或隱含的。顯性或直接通信，是指智能體之間使用通信網絡和專用網絡協議交換信息。大多數現有的協調方法都使用這種類型的通信。隱式方法是指通過環境，使用智能體配備的傳感器，獲得關于多智能體系統中其他智能體的信息。如果智能體利用其他智能體在環境中留下的信息進行交流，那么隱式交流是主動的（生物學啟發技術），如果智能體使用他們的傳感器來感知環境發生的變化，那么隱式交流是被動的[96]。

顯式通信方式通常比隱式情況有更高的準確性，缺點是通信負荷較高，特別是對于大規模的系統。隱式的情況下，即使缺乏準確性，也有更好的穩定性和更強的容錯性。因此，混合使用這些方法是一個非常好的主意，可以利用它們的優勢，導致更好的整體系統性能[96]。在表二中列出了一些任務分配的特征算法的通信技術。我們看到，一些經常使用的技術是社會網絡技術、黑板計劃、信息素圖和一般基于圖的技術。

表三 主要任務分配方法的比較

C. 不確定性

考慮到不確定性的任務分配技術，對于在現實生活中實現高效和穩健的任務分配非常有用。到目前為止，大多數技術，特別是分布式技術，比集中式技術更難融入不確定性。不確定性可以考慮到傳感器的不準確性、智能體的失敗、環境干擾等[97] [98]。根據以前的研究，應該把可靠性作為優先考慮的因素，因為如果忽略了失敗的可能性，性能就會下降（次優性能）[99]。例如，在[100]中，作者發現在通信程序不確定的環境中使用基于異步共識的捆綁算法（ACBBA）（現實的有損網絡環境），會產生低效的任務分配，特別是對于大量的智能體。因此，該算法的性能與理論上的預期性能相比是不同的。

在[99]中，使用啟發式方法和非馬爾科夫狀態，研究了多智能體系統中的不確定性問題（通常是任務分配程序中的元素失效）。他們的結論是，做出簡化的假設，如馬爾科夫狀態，會導致結果不能公平地反映系統的性能。此外，他們證明了在某些類別的問題中，使用更復雜的啟發式方法，更好地描述物理環境和發生的不確定性，導致了性能的提高。在[97]中，作者通過處理不確定的環境，開發了性能影響（PI）算法的改進版本，提高了魯棒性。提出了三種穩健的PI變體，使用蒙特卡洛抽樣從高斯分布中抽取不確定的變量。與基線CBBA和PI相比，所提出的方法降低了不確定情況下的故障率和未分配任務的數量，但增加了計算的復雜性，使得它們對時間關鍵型應用不可靠。

因此，納入不確定性在很多應用中是非常有用的，可以帶來更好的性能。但是，總是存在著計算復雜度較高的危險，因此在效率、穩健性和收斂時間之間應該有一個平衡，這取決于可用的計算能力和每個應用的具體需求。

V. 結論

表三是主要任務分配技術的一些主要性能特征的總結，從1（低值）到4（非常高的值）進行了分類。我們看到，基于CBBA和CNP的技術通常具有較高的計算成本，使它們不適合大規模的系統。此外，確定性優化技術也有極高的成本和低可擴展性，使得它們也不適合于中到大規模的系統，盡管它們有非常好的效率。另一方面，啟發式和博弈論方法具有非常低的成本，使它們成為提供具有中等和良好效率的快速解決方案的理想選擇。這些方法也可以用于大規模的系統，因為它們具有非常好的可擴展性。元啟發式方法和學習方法具有適度的成本、良好的效率和可擴展性，可用于中等規模，有時也可用于大規模環境，這取決于具體問題。特別是學習技術在動態任務分配和動態環境中非常好。

隨著MAS系統技術的發展和計算能力的逐年提高，在實際環境中實施改進的任務分配算法的需求勢在必行。這樣的環境有很高的不確定性，復雜的任務，并且可能需要實時實現所用的算法。由于對這種環境的適應性，RL方法是一個很有前途的任務分配研究領域，在過去的幾年里被科學界廣泛研究。此外，博弈論和元啟發式方法對這類系統也很有前途。如[101]所述，基于RL和博弈論的技術的結合改善了多Agent情況下的RL（MARL），因此基于博弈論和RL的技術的結合對于任務分配方法來說也是非常有前途的。

這本書回答了你可能從未想過要問的問題，比如說：

• 羅納德-里根和博比-肯尼迪有什么共同點？（他們都參加了最高機密的兵棋活動。）
• 珍珠港在周日早上被空襲過幾次？(至少三次；第一次是在1932年，由美國海軍在一次實戰演習中進行，然后在1941年10月由日本帝國海軍在一次作戰規劃兵棋中進行，最后在1941年12月7日由 "日本帝國的海軍和空軍"進行。）
• 文明和兵棋推演哪個先來？ (一個詭異的問題：文明和兵棋推演似乎在同一時間和地點開始。)

這篇序言回答了關于本書的三個重要問題：為什么要閱讀它，為什么寫它，以及它是如何創建的。

1 為什么要閱讀本書？

如果你只是想讀一些既有娛樂性又能 "節省時間 "的書，那就有足夠的理由去讀這本書。一路上，你將了解到H.G.威爾斯最不準確（或者，我們希望是最不成熟）的預測。你會遇到軍事上的特立獨行者，并了解你可能認為自己已經知道的歷史事件的其余部分。

如果你在軍隊中服役，并希望以較低的時間和財富成本履行你的職責，你應該閱讀這本書。如果你是一名新兵，一名高級將領，或一名政治任命者，你會在這本書中找到與你的水平相關的見解。

如果你是一位家長，關注電子游戲中暴力程度和你的孩子所處的競爭日益激烈的世界，這本書是為你準備的。我描述了父母如何利用兵棋推演來幫助他們的孩子發展戰略思維和有效競爭的能力。

如果你是一名選民，希望對國防有更好的了解，這本書告訴你許多關鍵決定是如何做出的。

如果你的業務是商業，這本書描述了類似兵棋的技術在這個世界上越來越廣泛的使用。當企業不僅要與街邊的公司競爭，還要與遠在地球另一端的政府擁有的公司競爭時，商人們需要他們能得到的一切優勢。本書中描述的技術可以提供一個重要的優勢。

如果你有興趣幫助建立一個更繁榮、更和平的世界，你會在我的結論中發現一個論斷：雖然兵棋長期以來被用來使勝利更有可能，但它們也有可能幫助使和平更持久。

2 為什么寫本書？

我開始寫這本書是出于一個功利性的原因：1997年，我需要一本空軍指揮和參謀學院選修課的兵棋推演教材。出于不同的原因，我一直在寫這本書。隨著我對兵棋推演歷史的研究，我越來越相信，兵棋是一個非常強大的工具。兵棋對我們今天所處的世界形態產生了巨大的影響，有好有壞。不幸的是，那些對兵棋推演本身產生重大影響的人不僅不為大眾所知，而且在很大程度上也不為今天的軍隊所知。這讓我覺得既不公正又危險。我還觀察到，兵棋推演的藝術、科學和應用并不總是能傳給下一代。歷史似乎表明，當有效使用時，兵棋推演提供了強大的優勢，而關于棋的健忘癥則造成了更大的傷亡。

這導致了另一個認識——僅僅講述兵棋推演的故事是不夠的。即使這個故事說服了讀者進行兵棋推演，游戲本身也不能確保成功。從我的研究中可以看出，兵棋已經成為全球性的，我們的對手幾乎不可避免地也會進行兵棋推演。我需要寫一本書，幫助我方從兵棋推演中獲得比對手更多的價值。

在我努力完成這本書的過程中，我產生了一個最終的動機。我開始相信，兵棋——或者更廣泛地說，模擬游戲技術--可以成為實現其他目的的寶貴工具。類似兵棋技術可以幫助我們在經濟上更有效地競爭，使我們能夠承擔更有效的防御。最終，兵棋還可以幫助培養致力于一個更加和平和繁榮的世界的戰略家。

3 如何創建本書？

如果成功有一千個父親，這本書應該是非常成功的。1990年，我在 "起源 "兵棋推演會議上首次發表了關于兵棋推演歷史的演講。我經常從我的聽眾那里獲得線索。

此外，從1997年到2005年，我在空軍指揮和參謀學院教授兵棋推演選修課。我的教員、客座講師和學生提供了許多杰出的見解，這些見解塑造了我目前對兵棋推演潛力和一般游戲技術的想法。

然而，我從兵棋推演社區的年度聚會"聯結"的參與者那里得到了最寶貴的見解和鼓勵。自1993年以來，"聯結"將來自美國和世界各地的學術和娛樂性兵棋推演從業者以及各軍種的軍事人員聚集在一起。最后，我在美國和盟國軍隊中的同事，特別是美國空軍總部、空軍物資司令部和空軍研究實驗室，教會了我很多關于兵棋推演及其應用的知識。這本書確實是兵棋推演界的作品。

4 本書內容

導言以描述一個近期的兵棋開始，這個游戲塑造了我們今天所處的世界。接下來是對"兵棋推演101"描述，以便對原則和詞匯有一個基本了解。最后是基于案例總結了系統的使用歷史。

第一部分，"兵棋推演的歷史"，占據了本書的大部分內容，是本書的核心。它追溯了兵棋推演對歷史的影響，從最早的文明到現在的寫作時間。介紹了對兵棋推演有影響的人，以及反過來影響歷史的兵棋推演。

第二部分是收益，如何從兵棋推演中獲得最大價值。它解釋了為什么兵棋推演是有效的，以及領導者、實踐者和參與者如何能夠提高這種有效性。最后，它描述了人們，從父母到總統，如何使用兵棋推演來支持他們的特定需求。

結論以簡短的回顧開始，然后問道：我們希望兵棋在未來如何發展？然后，提出了一種兵棋發展方式，即從幫助贏得戰爭的工具發展到幫助首先避免戰爭的工具。該書最后說明了兵棋推演的作為避免戰爭工具的用途，以幫助實現最高形式的勝利--公正和持久的和平。

摘要

攻擊和防御工業對國家安全至關重要，通過提供最重要的信任度并穩定地滿足軍事需求。這項研究探討了人工智能、機器學習和電子信息在國防工業發展中的意義。隨著人工智能在國防工業中的出現和發展，本文回顧了目前國防工業生產什么產品，做什么研究，以及優勢/劣勢。國防工業和其他所有部門都受到人工智能、機器學習、機器人、大數據、數據科學、深度學習、模擬、模糊邏輯、5G和電子學的影響，這些都將成為下一代軍事技術。在這項研究中，還強調了混合戰爭，其與國防工業中發展的人工智能技術已變得相當“熟悉”。利用人工智能技術對大規模數據的處理，可能會產生巨大的軍事優勢，獨特的智能能力，以及各種業務的可觀改善。跟上人工智能的持續發展節奏，保持有效的防御將是至關重要的。

關鍵詞：人工智能，大數據，國防，國防工業，國防領域，深度學習，數據科學，電子，模糊邏輯，混合戰爭，機器學習，機器人，5G，物聯網。

1 引言

隨著人工智能（AI）快速發展，其為各個領域帶來益處，在國防工業領域也取得了巨大的成功。擴大國防工業產品的生產并達到該領域的最高水平是許多國家的主要戰略之一。由于這些融合了機器學習、機器人和人工智能的新技術發展，一個問題無疑會出現在我們的頭腦中：混合戰爭是否即將到來？

當然，這個問題是隨著自主車輛、無人駕駛飛行器（UAV）、武裝無人駕駛陸地車輛和無人駕駛戰機的研制而誕生的。雖然一開始看起來不可思議，但它為人工智能技術的形成做出了卓越的貢獻，它將通過把幾種算法結合到其結構中來促進高水平的發展。人工智能是旨在在機器人中模擬人類思維的技術集合，它需要多學科的研究。今天，人工智能技術在收集、處理和解釋數據方面發揮著關鍵作用，使目前不可行的解決方案和技術成為可能。如果沒有人工智能工具，不可能對使用現有技術獲取的數據進行處理分析。

另一方面，機器學習是人工智能的一個子領域，它做的是有監督-無監督的輔助學習，而不是代碼密集型解決方案。我們可以利用機器學習從豐富、復雜的數據中提取有效的推論。在談論國防工業生產的戰爭技術時，我們說它是用大量的數據創造的。最準確處理這些數據的方式是人工智能、機器學習和深度學習。有了這三樣，就不可能不看到數據科學在世界的普及。深度學習通常被認為是機器學習的一個子領域。它包括通過數據驅動的學習產生人工智能的策略。通過評估虛擬環境中真實飛行員在飛行模擬器中的瞬時決策和環境信息，人工智能飛行員可以在不寫程序的情況下制定規則集，并在包含高度復雜數據的環境中做出現實的飛行決策。混合戰爭的形成與過去使用的戰爭技術和現在使用的戰爭技術之間有許多變化。從現實意義上講，國防領域如此大的發展，其最大的關鍵是人工智能。

2 什么是國防工業中的混合戰爭？

隨著國防工業中通信和戰爭技術的發展，戰爭在總體上已經發生了變化。因為每個國家都想發展和變得更強大，所以很難預測我們在戰場上遇到的情況。在戰爭中，信心和動力一樣必要。只有一點點的安全感是令人欣慰的，它也會導致戰場上更健康的思維和戰略行為。

混合戰爭是一種戰爭概念，它以國際關系學科和安全戰略的多樣化以及發展中的技術所創造的新防御和攻擊載體來取代常規戰爭。由陸、空、海三層組成的常規戰爭被包括電磁波譜、空間、網絡和信息層，以及這三層的混合戰爭所取代。混合戰爭可以看成是如圖1所示。

圖1 混合戰爭。

在混合戰爭中，其目的是在不需要武裝沖突的情況下實現打破對手的聯盟、伙伴關系和決心。為此，首選外交和經濟行動、信息戰等方法，必要時還可使用常規部隊作為威懾威脅。在國家和聯盟內部制造不穩定；通過制造政治分離，減緩友好的解決方案、決策和反應的速度，最終導致戰略不確定性，從而達到目的。

在混合戰爭期間，國家開始為這些計劃中最有效的計劃做準備，制定各種戰略計劃（戰術、行動），以保護自己不受對方影響，獲得優勢和權力。混合戰爭最顯著的優勢是人工智能技術，它可以提供許多選擇，并確保先進能力的完整性，通過迷惑對手頭腦獲得優勢。

因此，混合戰爭對國防工業中正在發展的人工智能技術越來越“熟悉”，這場戰爭的范圍也隨著這些技術的發展而擴大。為了發展人工智能技術，我們必須收集數據，并適當地使用這些數據，以便我們能夠向目標邁出堅定的步伐。特別是在這個領域所做的技術，即使是最輕微的錯誤被忽視，也會對所有的研究產生不利的影響。在人工智能領域進行的研究中，每個國家都知道其重要性，有必要揭示出我們與其他國家不同的特點。例如，我們應該能夠在幾秒鐘內做出決定，而不是幾分鐘，并在99.9%的時間內發現并消滅敵人。首先通過在模擬中測試該領域的研究，然后將其應用到實際，我們可以及早發現不足之處，并采取必要的預防措施。

3 仿真技術在國防工業中的應用

仿真工具通過鼓勵可持續的生產環境來增強與生產有關的任務。自我配置是用于創建生產系統的數字工具的一個特點。因此，它顯示了一個實際研究的路線圖。國防工業中使用的模擬仿真器提供了關于將要完成的工作或已經完成的工作的信息，允許它被整合到計劃的戰略中。模擬器的數據允許制定（戰術、行動和戰略）規劃。仿真技術在國防工業中是必不可少的。因為在這個環境中，它能提供幾乎準確的數據，這促進了許多項目和新技術產品的出現。在圖2中，我們可以看到Havelsan的仿真技術。

圖2 仿真技術。

4 大數據

大數據處于不斷更新的科學和商業世界中。由此產生的數據來自于模擬器、視頻、音頻、圖像、帖子、社交網絡互動、科學數據、傳感器和手機以及所有其他連接設備和技術。

• 重要問題

大數據要求從傳統的數據分析中獲得革命性的飛躍，如圖3所示。大數據由其三個主要部分定義：種類、速度和數量。

圖3 大數據的三個特征。

多樣性將大數據帶入一個超大的格式。有三種類型的大數據來自于許多來源。它們是結構化、半結構化和非結構化。結構化數據增加了一個預先標記和快速排序的數據倉庫，但非結構化數據是隨機的，不容易分析。半結構化數據包含標簽，以分離數據項。

目前，數據的體積或數量超過了TB和PB。大規模的數據增長和擴展超過了標準的存儲和處理技術。因此，數據量在我們的生活中無處不在，而且產生的速度非常快。

在整個過程中，速度是一個重要的因素。這就是數據產生的速度。今天，由于數字和社會媒體的發展（發送、網絡互動、圖像、視頻），大數據迅速產生。在數字世界中，每天都有成千上萬GB的數據實時產生。

這個組件的數據流必須得到驗證，以便在國防工業中產生基于人工智能的技術。數據必須是安全的，因為獲取和驗證大數據是很困難的。在完成所有這些過程后，也就是處理數據將為將要生產的技術提供一個很好的優勢。這將使國防工業的強大技術得以生產。

5 數據科學

數據科學的最一般的定義可以表示為從數據中獲取信息的科學和藝術。利用數據科學，我們可以獲得數據，從這些數據中提取信息，并將這些信息用于塑造未來的研究。所進行的大多數新研究都會將從過去提取的數據與當前的數據進行比較，并向我們展示我們更喜歡哪一個步驟來實現我們的未來。數據科學包括組織和分析，可視化，以及報告數據。

總之，數據科學通過研究現狀為決策者提供意識，并通過預測當前和未來的研究增加決策的正確性。

5.1 數據分析

通過機器學習和深度學習提供的方式，可以獲取人工無法獲得的數據。為了了解所獲信息的質量，可以通過詳細調查分析，檢查方法步驟，探索數據的大小、速度和變化來了解。為了獲得最佳的解決方案，針對現有問題而選擇的機器學習算法應該能被分布式數據使用。

5.2 數據可視化

我們發現的數據有時會很復雜，所以它對我們來說變得有些難以理解。如果我們將這些數據可視化，就可以讓我們更好地理解它，其在腦海中的位置也會更加固定。此外，數據的速度和規模越大，數據就越接近實際。數據中的聯系將不容易看到，而且我們也很難理解它們。在這方面，數據的可視化是至關重要的。

6 人工智能在國防工業中的研究

隨著人工智能使用的增加，研究的數量也在增加。在這方面，國防工業已經進行了并將繼續進行突破性的研究。所產生的大部分技術仍處于設計、測試或評估階段。當然，目的是為了在戰場上取得優勢。

這些技術有望產生戰術偵察和監視，用炸彈或導彈進行空襲，為間接火力、特種作戰和心理作戰進行前方監視，邊境控制和保護，地雷搜索和銷毀，反走私，化學、生物和放射性掃描，海上和遏制中的船舶識別，戰斗搜索和救援，空中無線電鏈接和中繼任務，以及天氣數據收集。因此，國防工業的重點是人工智能。

研制的一些技術產品：

I）Baykar Bayraktar Akinci

這是一種高空長航時（HALE）級別的武裝無人駕駛飛行器，由土耳其國防工業公司Baykar Defense開發。它們在2021年8月29日首次進入土耳其武裝部隊。

Akinci的最大起飛重量為5500多公斤，配備兩個渦輪螺旋槳發動機。其中1350多公斤由有效載荷組成。它也被稱為突擊型無人駕駛飛行器（T?HA），因為它可以進行空對空作戰。Akinci配備了電子支持和反制系統、雙衛星通信系統、空對空雷達、防撞雷達和國產合成范圍的雷達。

圖4 Bayraktar Akinci。

II）HAVELSAN Barkan

世界上的安全威脅已經增加，特別是對陸軍來說。自主的無人駕駛陸地車輛將現代技術融入軍事單位，通過遠程管理和使用傳感器系統來感知環境，并在數字戰場的要求下無人執行偵察、監視和彈藥運輸等基本任務。

HAVELSAN公司設計和生產了HAVELSAN BARKAN，以滿足現代軍事領域的需求。BARKAN在許多方面是野戰人員的重要助手，特別是在提高行動的成功率、防止損失和降低行動成本方面。此外，BARKAN還被開發用于攜帶或牽引貨物、提供近身保護和武裝偵察等任務。

圖5 BARKAN。

7 國防工業中的5G技術

隨著人工智能工作的日漸深入，新產品將不斷涌現，因此，國防工業中生產的技術的多樣性也將增加。

全球智能設備數量的增加，技術的發展，以及對容量和覆蓋質量的要求提高等因素影響著通信領域新技術的發展。由于連接到互聯網的設備數量不斷增加，機器學習，物聯網，以及速度和容量需求的增加，已經開始研究5G的出現。通過5G技術，旨在更好地同時滿足這種多樣性的需求和要求。

第5代通信技術，不僅在通信領域，而且在許多領域都能創造和使用產品，它允許新的工作領域和經營方式；它將通過加速人工智能、機器學習、大數據和物聯網等創新應用的發展，在可持續發展目標中發揮重要作用。因此，5G進入我們的生活，其重要性可見一斑。

7.1 物聯網（IOT）的任務

對于國防工業中的物聯網，到目前為止，指揮、控制、通信、計算機、情報、監視和偵察都集中在火控系統的應用上。普遍的看法是，傳感器主要作為數據收集和共享工具，從而加強指揮和控制。物聯網使指揮官能夠根據合并無人駕駛傳感器和現場報告的數據所產生的實時分析結果做出選擇。

• I）監視和偵察。許多傳感器被用來在防御中獲得優勢。雷達、視頻、紅外或無源射頻探測數據、監視衛星、空中平臺、無人駕駛飛行器、地面站和現場士兵從這些傳感器獲取數據。這些數據被傳遞到一個整合平臺，該平臺分析并向指揮鏈的上層和下層分發信息。

• II）后勤。在這個地區部署了多個低級別的防御性傳感器。例如，RFID標簽已被用于跟蹤貨物和管理中央物流中心之間的供應。

• III) 士兵健康。士兵可以被通知有異常情況，如脫水、睡眠不足、高心率或低血糖。如果需要，可以通知主醫院的醫療反應小組。

• IV）監控。將先進的圖像分析和模式識別軟件與安全攝像機和傳感器相結合，有利于遠程監控設施的安全風險。將許多傳感器納入飛機、無人駕駛飛行器、衛星和船舶的就業是海洋和沿海監控的一個例子。如果我們把5G將給國防領域帶來的創新總結如下；戰場上的單位將能夠通過連接戰爭網絡獲得支持，關鍵任務控制將更有效地進行，可以快速決策，并在電子戰和導彈攻擊中采取行動。各國將能夠即時監控其武裝部隊。

圖6 5G技術。

8 在戰爭中使用模糊邏輯

隨著戰場的復雜化，人工智能技術在軍隊中逐漸普及。但從研究的情況來看，基于人工智能的技術在軍事領域還是不夠的，模糊邏輯也得到了應用。

在戰爭中，它是需要考慮的領域之一，因為空中是敵人攻擊最多的地方。因此，在行動前應確定防空因素以最好地支持各種計劃。應該選擇要得到防空支持的單位的防空優先程度。

在戰爭中，士兵們必須在短時間內做出正確的決定。然而，所做的決定并不總是100%的確定。有些時候或情況下，做決定的人必須選擇其他選項。在這種情況下，腦電路分析就是應用模糊邏輯。模糊邏輯是一種識別和解決真正的不確定和不確定問題的有效方法。模糊邏輯是一種多變量理論，它采用 "中"、"高"、"低 "等均值，而不是 "是"-"否"、"真"-"假"等傳統變量。

8.1 模糊邏輯處理

為了在模糊邏輯中創建一個更好的解決方案，要進行比較，以便通過成對的比較來決定哪個是 "好"、"更好 "或 "壞"。

作為一個例子，我們將研究BAHP方法，因為這種方法以人類的思維方式處理不確定性，并有效解決多標準決策問題。這種方法應該在戰爭環境中應用。其步驟如下：

• 步驟1：目標的模糊值；

• 步驟2：在計算出模糊值后，對這些值進行比較，得到選項和標準的可能性值V。

• 步驟3：比??模糊數更重要的凸模糊數的概率度定義為如下：

• 步驟4：通過歸一化得到歸一化的權重向量W，其中W不是模糊數。歸一化過程是通過將每個值除以總和得到的。

9 人工智能在國防工業中的優勢

國防工業生產的產品不僅在戰爭活動中至關重要，而且對國家的發展也有貢獻。人工智能、增強現實、機器學習、深度學習和機器人技術是所有這些的結合，由于新一代的戰爭技術，通過快速獲取戰場上的信息，提高了士兵在戰爭環境中的態勢感知，在不需要任何顯示器或面板的情況下，以理想的速度提供信息的獲取。國防工業生產的技術優勢：邊界監視，對手工制造的爆炸物進行干預，地雷探測和中和，用于搜索和救援行動，快速耐用和分析，許多功能將使我們的士兵受益。隨著國防技術中人工智能的增加，它應該有望在軍事領域獲得優勢。

10 人工智能在國防工業中的劣勢

在人工智能的工作下，許多新的戰爭技術已經產生。雖然這些技術受到大家的喜愛，讓人眼前一亮，但也有看不見的錯誤面。由于不容易發現這些生產出來的技術在生產過程中出現的錯誤，所以可能會被忽略掉。大多數技術和應用仍處于設計、測試或評估階段。當然，模擬器在發現這些錯誤方面有重要作用。

自主系統在任何情況下都會給我們帶來好處，因為它們會做出并執行自己的決定，但它們是否應該自己做決定仍是一個爭論的問題。在每一種情況下，他是否應該自己選擇，或者在必要時應該征求人類的同意？

出于這個原因，應該確定在哪些關鍵情況下，基于人工智能生產的國防技術需要人類的批準。

11 結論

因此，如果用于生產國防領域新技術的數據通過適當的算法進行處理，那么用人工智能建立、開發和使用的技術將在國防部門的發展中發揮重要作用，在軍事領域提供戰略、戰術和行動的好處。此外，這些技術將通過在戰爭期間做出適當的指導，給予目標導向。由于在這個由人工智能創造的新形勢下產生的每一項技術都將為自己正名，它將通過直接影響現在和未來而成為國防工業不可缺少的一部分。這些技術，在所有研究中需要的獨特功能中提供監測、監視和數據收集，大大影響了國防。盡管如此，他們還是配備了足夠的設備來化解對方，并預測每一步。為了從人工智能的重要性和力量中獲得更多好處，在這一領域不落后是至關重要的。即使看一下已經產生的技術，我們也能看到我們未來的國防領域將是多么強大。

本報告記錄了美國海軍卡勒研究金（Karle’s Fellowship）研究項目的第一年，調查機器學習在增強航天器運行方面的應用。研究金的第一年主要包括研究范圍的確定、文獻回顧、數據收集以及算法選擇和開發。近年來，美國國防部（DoD）越來越重視自主能力的發展，這在美國海軍的研究和發展戰略中也得到了響應。機器學習技術代表了一個近期的機會，通過增強現有技術來逐步提高自主能力。從長遠來看，這是對新技術的投資機會，可能會極大地提高國防部系統能力。在更復雜的技術成為現實之前，解決自主性問題的實際方法必須側重于消除自主性的最重要障礙。在空間系統運行的背景下，健康監測和故障管理已被政府和商業實體確定為空間系統自主性的最大障礙之一。空間系統日益增長的規模和復雜性，以及衛星群的快速采用，使傳統的地面人類監測迅速變得不切實際，難以持續。這項工作主要研究在衛星遙測中使用機器學習進行自動異常檢測。異常檢測是自主健康監測的基本職責之一，因為對非正常狀態的檢測通常是運行故障檢測和補救過程中的第一步。近期的自動異常檢測可以通過對大量的遙測數據進行分類并只標記需要調查的數據來幫助人類操作員。從長遠來看，它可能被用作綜合自主健康監測系統的一部分。異常檢測的機器學習領域一直是廣泛研究的主題，因此，該技術已經足夠成熟，可應用于當前的健康監測系統。此外，異常檢測在海軍的其他方面也有一些潛在的應用，包括海洋領域感知（MDA）和指揮、控制、通信、計算機、情報、監視和偵察（C4ISR）工作。研究金的第二年將著重于進行實驗，建立概念驗證，并將該技術整合到現有的空間系統中。

1. 引言

本報告記錄了一個為期兩年的卡勒研究金研究項目的第一年，該項目是關于機器學習（ML）用于增強航天器運行的主題。它旨在全面回顧迄今為止的所有研究，包括美國國防部（DoD）和海軍的需求、研究范圍的確定、背景領域知識、文獻回顧、數據收集、算法選擇和開發、實驗設計以及其他發現。此外，它應作為最后一年研究和后續項目的動力和基礎。

1.1 杰羅姆和伊莎貝拉-卡勒研究金計劃

美國海軍研究實驗室（NRL）設立了Jerome和Isabella Karle杰出學者研究金計劃，以紀念Jerome和Isabella Karle博士，他們在化學領域的杰出貢獻為他們贏得了美國和國際上的認可，Jerome Karle博士獲得的諾貝爾獎。該計劃為研究人員提供了進行為期12至24個月的獨立研究項目的機會，這些項目由NRL內部資助。NRL的海軍空間技術中心（NCST）接受了一項卡勒研究金，從2020年7月開始，到2022年7月結束，題為 "機器學習促進增強航天器運行"。該研究金的主要重點是識別、調整和應用有前途的ML算法到航天器運行中，并創建一個概念驗證，以評估ML如何改善空間系統的性能。為這個概念驗證提供的規定如下。

1.一個ML算法

2.一個用于訓練該算法的數據集

3.用于評估該算法的航天器模擬測試平臺

4.量化任何性能變化的分析結果

ML有許多潛在的應用于空間任務，為運行和任務性能的改進提供了可能性[1]。為了使這項研究與美國海軍的需求保持一致，并為概念驗證保持一個可操作的范圍，該項目開始調查海軍在空間領域的需求和目標。隨后是對一般航天器運行和現有技術差距的審查，以確定ML有希望的應用領域。剩下的介紹性內容和背景概述了研究范圍和方向的細化。

1.2 美國海軍對增強空間系統自主性的需求

美國海軍在空間領域進行許多活動，包括海洋領域感知（MDA）、定位導航和定時（PNT），以及指揮、控制、通信、計算機、情報、監視和偵察（C4ISR）[2]。這些活動為關鍵決策信息的收集、分析和分布提供了基礎設施。這些系統的重要性體現在國防部的投資戰略中。例如，2018年國防戰略（NDS）和海軍研究與發展框架都將具有彈性和持久性的C4ISR作為投資重點[2，3]。隨著提供這些能力的系統在規模和復雜性上繼續增加，以應對日益增長的作戰需求，有必要整合更多的自主功能，以保持系統性能的最大可能水平。國防部已經認識到這一需求，因此，2018年國家發展戰略和其他一些戰略文件明確列出了自主能力的進步是一項關鍵的技術投資[2-5]。因此，美國海軍有必要繼續發展自主技術，以使關鍵系統能夠隨著部隊的需要而擴展。

在美國海軍空間系統中發展自主能力將有助于提高可操作信息的數量、質量和及時性。自主性可以應用于空間系統的多個方面，包括航天器運行和任務性能。從純粹的運行角度來看，更大的自主性允許空間系統在不壓倒人類操作員的情況下擴大規模。例如，當決策的時間尺度或信息處理的規模排除了人工控制時，自主性就變得有必要[6]。隨著分布式多衛星任務變得越來越普遍，這種情況也變得越來越普遍。此外，自主性提供了以更低的成本獲得更高的系統性能的機會，因為它的運行更加穩健和高效[7]。從任務的角度來看，自主性的提高可以采取改進數據收集、處理、分析和傳輸的形式，提高任務的效率和效果。運行和任務執行的改進都會減少對環形系統的壓力，在某些情況下可能完全不需要人，使操作人員能夠承擔更高級別的任務[5，8]。

盡管從長遠來看，海軍應繼續投資于各種自主能力，但近期的努力必須集中在消除自主性的最重要障礙上。多個權威機構已經確定航天器故障管理（FM）是最大的空間系統自主性障礙之一，包括國防科學委員會（DSB）和美國國家航空和航天局（NASA）[4, 9-11]。一般來說，FM是自主系統的一項有利技術，因為它允許系統在非正常情況下繼續運行[12]。對于海軍來說，自主FM，以及更廣泛的健康監測，提供了幾個好處，包括增加彈性和可靠性。有能力預測、預防、隔離和恢復故障的系統在本質上更有可能在關鍵時期保持運行。此外，自主健康監測可以幫助緩解評估空間系統健康狀態的困難，因為空間系統正變得越來越大和復雜。

1.3 研究問題

美國海軍顯然需要對自主空間系統能力進行持續投資。由于這個原因，目前的工作范圍涉及到確定ML如何可能被應用于空間系統的自主性。特別考慮到航天器FM系統，因為它們作為自主性使能器所帶來的重大挑戰和機會。這項研究試圖獲得以下問題的答案:

1.ML在自主空間系統運行中最有希望的應用是什么？

2.如何將ML納入航天器FM系統？

3.哪些FM任務適合于ML？

2. 背景情況

為了激勵和提供后續章節的背景，本章包括關于自主性和自動化、ML基礎、空間系統運行和航天器FM的信息。每一節都旨在為每個相關主題提供足夠的背景信息，以便在本報告的大背景下理解其作用。

2.1 自動化、自主性和人工智能

自動化、自主性和人工智能（AI）是三個不同的概念，由于其概念上的相似性，常常被混為一談。當創建一個至少部分不受人類控制的系統時，必須注意考慮應該采用這些概念中的哪一個。例如，一個必須是嚴格的可重復性和確定性的過程是比自主性或人工智能更適合自動化的候選者。相反，一個必須能夠適應不可預見的情況并做出決定的系統必須采用某種程度的自主性。這些概念也可以被利用來一起工作；例如，一個自主系統可以依靠自動化組件來執行重復的功能，而基于人工智能的組件來協助決策任務。重要的是要強調，一個特定的系統可以采用這些概念中的一個或多個，同時仍然利用某種形式的人在回路中的控制。為了提供一個清晰的劃分，本報告采用了[6]的以下定義。

自動化是自動控制的設備、過程或系統的運行，它取代了人類的勞動。盡管自動化過程可能很復雜，但它們是嚴格的確定性的，系統采取的所有行動都是通過預先確定的決策標準選擇的。換句話說，自動化過程通過遵循明確的指令運作，不能在這些指令之外運作。

自主性是指一個系統在獨立于外部控制運作時實現目標的能力。自主系統的兩個關鍵特征是自我指導和自給自足。請注意，運行邊界--對系統可以和不可以做什么的限制--可以而且應該由系統設計者來實現。此外，具體的自主能力可以存在于一個在人類控制下運行的更大系統中。關于這個話題的更深入的處理，請看[4]。

人工智能是計算機系統執行通常需要人類智能的任務的能力。一個使用人工智能的系統可以用它來幫助一些不同層次的自主決策，并且可以在明確的運行范圍內與人類操作員一起工作。雖然人工智能是具有某種程度自主性的系統的一個常見組成部分，但重要的是要注意，自主系統不一定需要人工智能組件。

2.2 機器學習的基本概念

機器學習可以被定義為人工智能的一個子集，在這個子集中，計算機算法在反復接觸數據的情況下，會自動改進給定任務。利用大型人工神經網絡的現代深度學習技術是最普遍的ML方法之一。圖1顯示了人工智能、ML和深度學習之間的關系。本報告使用機器學習一詞是指當今采用對目標任務效果最好的算法；這被稱為 "弱人工智能"，或執行單一任務的人工智能，其范圍很窄。這方面的常見應用包括分類和回歸任務。相比之下，人工通用智能、"強人工智能 "和相關術語廣泛指的是人類擁有的認知智能類型。盡管這一領域的研究正在進行，但這種類型的人工智能不太可能在短期內適用，因此將不再進一步討論。

圖1-人工智能領域的常見歐拉圖[13］

雖然ML模型在架構上可能有很大的不同，但大多數采用相同的基本實現模式。一般來說，一個ML模型將一些輸入數據映射到一個相應的輸出。訓練數據在模型優化過程中被用來確定最佳模型參數。因此，用于訓練ML模型的數據必須盡可能全面地代表問題。數據中的任何偏見、缺失的模式或其他問題的代表錯誤都會導致模型給出有偏見的預測，或者只是表現不佳。此外，用于優化和評估模型的指標必須被仔細選擇，以便它們能夠準確地描述模型的性能。無論一個給定的算法是單獨工作還是作為一個更大的綜合系統的一部分，這都是正確的。無論學習范式如何，這也是真實的。

本報告將學習范式廣泛定義為調整ML模型參數的方式。圖2顯示了三種主要范式：監督學習、無監督學習和強化學習。這些基本范式可以作為其他衍生范式（如半監督學習）的構成要素。監督學習是研究得最多的，也是實踐中最常使用的。在這個范式中，每個訓練數據樣本都是有標簽的：它包括模型的輸入數據以及相應的地面真相，或目標輸出。通過調整模型參數來優化模型，使一些任意的損失函數的值最小化，該函數將模型輸出與地面實況進行比較。相比之下，無監督學習算法在輸入數據中搜索模式和結構，而不需要利用來自標記的地面真實數據的明確反饋。最后，強化學習使用反饋系統來訓練智能Agent在其環境中采取的行動，這些行動使根據Agent的預期性能定制的獎勵方案最大化[14]。

圖2-三種基本的機器學習范式[15]。

2.3 空間系統的解剖和運行

發射后，由無人駕駛航天器組成的衛星系統通常由三個主要運行部分組成：空間部分、地面部分和用戶部分。典型的空間系統部分和它們在系統中的作用顯示在圖3中。本節的重點是空間和地面部分，因為它們是用戶部分的基礎結構，而用戶部分又為終端用戶提供衛星系統的產品。

2.3.1 空間部分

空間部分包括衛星系統中的所有航天器；這可能包括一個單一的航天器或一個由許多航天器組成的星座。衛星在其具體結構上可能有很大的不同，但典型的衛星可以分解成兩個主要部分：總線和有效載荷。雖然有效載荷服務于特定的任務，但任何航天器總線的主要目標是通過提供必要的基礎設施來支持有效載荷，從而促進在空部分任務。雖然具體子系統的存在和重要性可能因任務而異，但本討論包括地球軌道衛星的典型子系統，如圖4所示。

為了簡潔起見，這些子系統將不會被詳細討論。然而，重要的是要注意，每一個都在航天器的基礎設施中發揮著特定的作用。因此，通常從這些子系統中的每一個收集遙測數據，以評估航天器的健康狀態，通常在多個層次上，如組件、子系統和系統層面。一個航天器記錄的遙測通道的數量可能從幾十個到幾千個不等。通常，收集的遙測數據的類型和數量是由主題專家決定的，他們決定什么級別的信息對支持一個特定的任務是必要的。

圖3-典型的空間系統部分[16]。在運行上（即發射后），三個相關部分是地面、空間和用戶部分。

圖4-一個衛星通常由一個總線和有效載荷組成，前者為任務提供基礎設施，后者執行任務。圖中是典型的總線子系統。

2.3.2 地面部分

地面段的主要責任是與空間段對接，并在整個系統的其他部分分發各種類型的數據。一個典型的地面部分由幾個元素組成，包括任務控制中心或任務運行中心、地面站、地面網絡和遠程基礎設施。圖5給出了典型的地面部分組件的概述。地面部分與空間和發射部分接口，并在發射后從發射控制中心接管對任務的控制。表1[17]中給出了各部分的主要功能。地面部分的主要運行作用是促進與空間部分的通信，允許數據與航天器上行連接和下行連接。任何沒有在航天器上實現的空間段功能必須由地面段通過指揮和控制通信進行監測和執行。傳輸到地面的數據類型包括任務數據、遙測或內務數據，以及跟蹤數據。通常情況下，傳輸到航天器的數據是指揮和控制數據。遙測和跟蹤數據被任務操作員用來執行各種內務活動，如軌道計算和維護、任務規劃和航天器健康評估[17]。

表1-地面段功能

2.4 航天器故障管理

航天器故障管理仍然是一門成熟的學科。盡管FM實踐與航天飛行本身一樣久遠，但FM仍然普遍是在臨時的、逐個任務的基礎上實施的。然而，在過去十年中，航天工業的多個成員已經認識到標準化的需要，并已開始將FM組織成一個正式的系統工程學科[18]。因此，在FM活動的正式化以及最佳做法和從以前的任務中吸取的教訓的匯總方面，已經取得了重大進展。這一努力的一部分包括對FM術語的定義。關于FM實踐，本報告采用了NASA故障管理手冊[19]中的定義。一些重要的定義在此重復。

異常 - 預期功能的意外表現。

失敗 - 預期功能的不可接受的表現。

故障 - 一個物理或邏輯的原因，它解釋了一個故障。

故障診斷 - 確定故障的可能位置和/或原因。

故障管理 - 包括實踐的工程學科，使運行系統能夠遏制、預防、檢測、隔離、診斷、響應和恢復可能干擾額定任務運行的條件。

標稱 - 一個預期的、可接受的狀態或行為。

非標稱 - 超出可能的預期狀態或行為界限的狀態或行為。有三種非正常狀態：異常、退化和失敗。

預測 - 對未來狀態或行為的預測。

圖5-地面部分組件及其與空間和發射部分的接口的簡化概述[20]。

2.4.1 基本要求和責任

與其他學科一樣，對一個特定的FM系統的具體要求來自基本的任務目標。必須特別考慮到任務的目標、重要性和風險容忍度，這有助于確定任務的風險態勢。要求以類似于其他學科的方式從任務層面流向系統、子系統和組件層面。一旦建立了整體的FM要求，工程團隊的工作就是確定如何滿足這些要求，同時遵守任務的資源限制。自下而上和自上而下的分析都要進行，以獲得對系統最完整的看法。常見的分析包括故障模式和影響分析（FMEA）、成功樹分析、故障樹分析和事件排序。與其他空間系統任務類似，任何不存在于航天器上的FM功能必須在地面實現。一個具體的FM功能可能被分配給空間段、地面段或兩者的混合[21]。

NASA的FM手冊將FM策略細分為兩種方法：預防和容忍[19]。預防策略是為了完全避免故障，而容忍策略則是為了在出現故障的情況下使任務能夠繼續。預防可以進一步分為設計時預防和運行時預防。設計時的預防是指將故障發生的可能性最小化的工程實踐。運行時預防的工作方式是首先對運行系統進行預測，然后采取預防措施，避免任何預期的故障。容忍策略可分為掩蔽、恢復和目標改變方法。掩蔽方法試圖通過防止故障在系統功能中進一步傳播來最小化故障的影響。掩蔽的例子包括冗余和糾錯，它們允許故障發生，但通過在故障傳播之前對其進行修正，將其 "隱藏 "在系統的其他部分。恢復方法尋求診斷故障的根本原因和位置，并隨后采取行動恢復系統的正常運行。這個過程通常被稱為故障檢測、隔離（定位）和恢復/響應（FDIR）。最后，目標改變方法通過修改任務目標來應對故障，以適應故障造成的系統能力的任何變化。

圖6-根據NASA的FM手冊[19]，五個主要的FM策略的組織結構

一般來說，一個任務的FM系統的具體能力取決于來自任務目標、復雜性和整體可靠性期望的要求。在實踐中，一個特定的任務在建立FM系統和戰略時，通常會采用圖6所示的一些方法的組合。對于關鍵任務，可能會采用大部分或所有列出的戰略，以最大限度地提高任務成功的可能性。

2.4.2 目前的運行方法

一旦系統開始運行，有一些基本任務是FM系統必須執行的。圖7給出了運行中的FM過程的概述。雖然沒有畫出來，但預測也是該過程中的一個常見步驟。空間和地面部分之間的功能分配取決于幾個因素，包括任務的關鍵性、預算、資源和運行限制。然而，無論系統配置如何，同樣的基本任務都適用。傳統上，FM任務一直偏向于地面部分，因為它提供了更多的分析能力[22]。雖然現代航天器運行通常在地面和空間部分都使用一些功能，但唯一的機載FM功能仍然是那些由于時間或通信限制而實際上不能在地面上執行的功能：當必須采取時間關鍵的行動以確保航天器的安全時，機載系統必須能夠獨立于外部援助采取適當的行動。此外，由于感知到的風險，歷史上一直存在著對廣泛使用航天器飛行軟件的文化偏見[4，23]。

圖7-運行中的FM過程概述（圖中沒有預示）[19] 。

遙測監測和分析是進行預知和FDIR等運行調控工作的主要方法。遙測被用來預測、診斷和隔離故障，以及幫助確定適當的響應行動。在預期的或實際的非正常情況下，響應行動采取指令序列的形式，目的是保持或恢復正常的運行狀態。如果對特定故障的響應已經預先確定，這些指令序列可能會自動生成，或者在發生新的或未知的故障時，它們可能由工程師手動構建。監測通常在地面上通過下行鏈路遙測數據進行，也可以通過一些硬件和軟件的組合在機上進行。集成在硬件中的機載FM的一些例子包括看門狗定時器和內置測試，以及各種特定的子系統措施，如電氣系統中的過壓/欠壓監視器。在軟件中，最常見的機載FM故障響應是安全模式程序，它暫停所有非必要的功能，直到任務工程師能夠指揮航天器恢復到名義狀態[21]。

超限（OOL）方法也許是最簡單和最常見的遙測監控方法[23]。這種方法依靠的是假設和期望，每個遙測通道都有明確定義的額定和非額定范圍。這些范圍通常是由具有主題專業知識的航天器工程師確定或在他們的協助下確定的。此外，OOL方法通常采用分層系統，其中建立了多個限制，每一個連續的限制標志著過渡到一個更嚴重的非正常狀態。分層的OOL系統由于其易于實施、使用和解釋而一直非常受歡迎。限值本身是由專家確定的，該系統易于實施，而且結果可以直接解釋。此外，通過使用遙測趨勢分析，建立的極限可以用來幫助預后。極限檢查是地面和太空中最常見的遙測監測方法，并經常作為更先進方法的基礎[24]。

目前大多數包含某種程度的自動化FM系統都依賴于監測-反應范式中的基于規則的方法[12]。基于規則的方法的基本前提是直截了當的：對于每個規則，一個或多個條件被持續監測，如果所有條件都滿足，則執行預定的響應。規則可以是簡單的，也可以是復雜的，就條件的數量和它們的復雜性而言都是如此。同樣，響應可以是簡單的，也可以是由擴展的指令序列組成的。一個有效的響應也可能是在系統無法解決的非正常情況下提醒人類操作員。當故障條件和適當的響應是已知的，基于規則的系統提供了強大的自動化。然而，它們通常不適合處理未知的故障，除非包括推理部分，如形式專家系統[25]。

2.4.3 挑戰和機遇

傳統的FM方法有許多缺點，FM界已經強調了這些缺點。這既包括運行的基本概念，也包括具體方法。在文化上，由于缺乏標準化和對FM作為一項正式工程任務的認可，使得幾乎不可能將任務與任務之間的做法落實到位。此外，很少有有效的工具或資源的再利用[18]。從系統工程的角度來看，FM是一項具有挑戰性的任務，因為它不可能事先模擬或預測一個復雜系統的每個可能的故障模式。無論多么徹底，像FMEA這樣的分析都不能預測所有可能的故障。這種大的故障空間 "使全面的測試變得不可行"，對可靠的核查和驗證（V&V）構成重大挑戰[26]。雖然分析和測試仍然是任何FM方法的關鍵步驟，但人們已經認識到，從V&V的角度來看，它們不能被認為是完全詳盡的。

還有運行上的挑戰，特別是對于高可靠性的任務。值得注意的是，目前的監測-響應范式有幾個缺點。地面部分在執行FM的能力方面受到固有的限制，因為它不能實際接觸到航天器。此外，并非所有由航天器收集的遙測數據都能被下連和監測，使地面FDIR工作復雜化。隨著星座變得越來越普遍，這種現象已經開始變得復雜。安全模式，最常見的自動FM功能，在操作人員診斷和恢復航天器時，可能會導致長時間的任務停機。失敗的航天器恢復嘗試可能導致 "恢復循環"，其中誘發了其他故障并必須加以解決[22]。大多數極限檢查系統是相當僵硬的，隨著時間的推移，航天器功能的自然退化，極限必須被手動改變。基于規則的系統可以提供復雜的自動化，但通常是基于傳統的FM分析，因此在故障空間方面受到同樣的限制。此外，隨著規則的數量和復雜性的增加，基于規則的系統在驗證和確認方面變得越來越復雜[12]。

對有效的航天器FM的現有挑戰導致了FM實踐界的若干反應。工程方面的改進涉及到需求開發和分配、成本驅動因素、風險評估以及整個產品開發生命周期的V&V。在運行上，感興趣的主要話題是創建可擴展的FM實踐，以滿足空間任務日益增長的需求[27]。與航天器運行的其他方面一樣，隨著航天器數量和復雜性的增加，人在環的做法正變得越來越不可持續。在NRL，這導致了海王星地面系統軟件中自動化功能的發展[28]。更廣泛地說，它促使人們對基于模型的系統工程（MBSE）和綜合系統健康管理（ISHM）等領域的興趣增加[29] 。

3 方法

航天器FM是一門廣泛的學科，它的一些組成任務并不適合自主或ML。從根本上說，除非能從數量上證明ML組件不構成降低系統性能的風險，否則ML增強的系統永遠找不到實際用途，而這對航天器的運行來說將證明是特別真實的。在短期內，某些FM任務對于目前的技術來說可能過于復雜。對于某些任務，增加ML可能永遠不會比簡單的方法提供合法的好處，事實上應該有意避免。這可以在FDIR過程的恢復部分中得到證明；如果對一個特定的故障或故障模式的響應策略是已知的，那么自動化就是唯一必要的工具。在這種情況下，用非決定性的ML代替決定性的自動化可能會給系統帶來更多的風險，而不是消除風險。在這種情況下，更適合ML的任務可能是在發生未知故障時提出恢復指令。因此，最有希望的ML應用是那些從未將系統帶入更壞狀態的應用，在某種可量化的確定性措施內。

將ML應用于系統健康監測的努力正在多個領域進行，包括結構和工業健康監測以及網絡和物聯網系統的重要研究[30, 31]。將ML應用于航天器FM和健康監測也是一個活躍的研究領域，可以追溯到幾十年前[32]。一些自主FM的最初嘗試是基于規則的ML專家系統[11, 25]。歷史上，遙測中的異常檢測一直是ML在航天器健康監測中最常見的應用之一[7, 24, 33, 34]。已經使用了各種異常檢測技術，包括聚類和基于距離的方法、神經網絡、支持向量機和譜技術等等[23]。最近，現代深度學習技術已經成為一個流行的研究領域[30, 35]。一般來說，絕大部分的研究只集中在運行FM周期的預測和檢測部分，因為它們是最直接的應用。然而，將這些方法整合到一個完整的FM系統中存在著大量的機會。

異常檢測是自主健康監測的一個基礎構件，因為非正常狀態檢測往往是預知和FDIR過程的第一步。一個自動遙測異常檢測系統為當今的空間系統運行以及未來的空間自主健康監測提供了好處。在這兩種情況下，最大的好處將通過整合到一個運行系統中來實現。在近期，自動異常檢測提供了機會，在故障發生之前提醒操作者注意異常行為。此外，一個自動化系統可以將大量的遙測數據提煉成少數需要人工調查的事件，極大地提高了效率[7]。近期的系統可以被集成到地面站以及高度優先任務的航天器上。作為綜合自主FM系統的一部分，對異常行為的檢測可以傳遞給更高層次的推理器，該推理器可以根據環境執行下一個FM任務。

一般的異常檢測問題可以大致分為純粹的數據驅動和綜合模型方法。數據驅動的方法依賴于模型的輸入數據來提供解決問題所需的所有信息。即使沒有明確納入領域知識，成功的異常檢測系統仍然是以這種方式創建的。此外，當創建其他類型的模型不可能或不現實時，數據驅動的方法可能是唯一可行的方法。然而，試圖通過純粹的數據驅動方法來描述一個復雜系統的名義行為，存在著固有的缺點。這對于航天器來說尤其如此，因為其遙測值取決于各種各樣的內部和外部因素，如航天器運行模式、指令序列、環境條件和物理現象。在實踐中，即使是極高容量的模型也不可能捕捉到所有的這種背景。因此，文獻中的許多方法為每個單獨的遙測通道構建一個新的模型[23]。這在系統層面上是不切實際的，因為系統可能需要幾十個通道來監測。

與其他領域一樣，可以利用領域知識來創建一個更有針對性的任務來解決。在航天器異常檢測的背景下，名義性能的概念通常在系統設計期間通過建模和仿真來獲取。正如這些工具被用來幫助告知極限檢查和基于規則的方法，它們也可以被用來進一步告知ML方法。綜合模型方法試圖通過應用領域知識來提高算法的能力。這可以通過各種方式實現，但在空間系統的背景下，最常見的方法通常是通過物理或程序模型，這些模型描述了系統的預期行為。作為一個激勵性的例子，考慮圖8中的信號分解；通過對信號的趨勢和周期部分建模，有可能以殘差的形式提取任何未建模的影響。通過這種方式，殘差提供了對偏離預期行為的直接測量。因此，將異常檢測技術應用于殘差而不是整個信號是一個更有針對性的問題，因為它直接描述了與模擬的名義行為的偏差。一般來說，"黑匣"（即純粹的數據驅動）ML方法必須學習更復雜的函數映射，因為它們未能明確地納入關于系統的任何種類的領域知識。通過使用一個給定系統的非ML模型來說明容易表征的名義行為，有可能構建一個可能更容易解決的ML問題。

3.1 實際考慮

由于目前的研究是在概念驗證的技術準備水平（TRL）上進行的，所以對概念化系統的許多實際實施考慮還沒有深入探討。尺寸、重量、功率和成本（SWaP-C）方面的問題在本研究中沒有得到解決，計算方面的限制也沒有得到解決，如計算成本、復雜性或內存。雖然這些限制對于地面FM系統來說可能不那么嚴重，但對于在空間實施任何ML系統來說，它們是關鍵的考慮因素。所需的硬件往往是大型的、大規模的和功率密集型的，而且算法消耗大量的計算資源。此外，ML硬件在空間環境中的行為還沒有得到很好的理解，在廣泛使用之前需要進一步研究[37]。航天器是資源受限的系統，在苛刻的環境中運行；因此，一旦建立了概念證明，就必須對系統的實施實用性以及資源使用和系統性能之間的妥協進行評估。該評估將有助于確定一個可用于太空的產品所面臨的工程挑戰。

圖8-單變量信號的時間序列分解[36]。

3.2 數據收集、匯總和準備

雖然有大量的開源異常檢測數據集，但遙測數據集相對較少。為了在特定領域的數據上建立模型，數據收集工作包括開放源碼數據、NRL提供的數據以及與政府和行業的聯系。這產生了多個遙測數據集，其大小、復雜性、格式和異常類型各不相同。政府和行業的數據收集工作正在進行中。根據最佳做法，所有的測試數據都保留給最終評估，不以任何方式用于或查看培訓目的。無論用于訓練的學習范式是什么，所有的測試數據必須包含地面真實信息，以便對結果進行定量評估。

3.2.1 開源數據

開源數據搜索的最有希望的結果是NASA的一個異常檢測庫。作為調查ML在遙測異常檢測中使用的項目的一部分，NASA噴氣推進實驗室（JPL）的一個研究小組已經發布了一個數據集，其中包含來自土壤水分主動被動（SMAP）和火星科學實驗室（MSL）任務的總共82個遙測通道[23]。這些數據包含了點狀異常和背景異常。每個遙測通道都包含每個時間步驟的遙測值以及指令信息。圖9顯示了來自SMAP航天器的訓練遙測通道的例子。訓練數據中沒有提供地面真相標簽，這意味著監督學習方法不能用來直接預測異常情況。測試數據被貼上了地面真相信息的標簽，提供了該通道遙測值中存在的任何異常的指數。除了數據本身，開發的算法也同時發布，可以作為基線性能基準。應該指出的是，通道A-3被任意選擇作為一個純粹的開發性數據集；也就是說，訓練和測試集都被用來協助開發模型、測試線束和實驗。從這個數據集中選擇了一個通道，因為它以前被清理、規范化和格式化，作為NASA研究的副產品，供模型攝取。因為這個通道的測試數據已經被多次使用，所以這個通道不能用于評估。相反，將對其余的通道進行評估。

圖 9-SMAP A-3 遙測通道訓練數據

3.2.2 NRL提供的數據

WindSat有效載荷是 "第一個完全極化的空間微波輻射計"[38]。2003年作為科里奧利任務的一部分發射，該有效載荷提供天基海洋風速和風向測量。雖然該任務不再活躍，但該衛星已經遠遠超過了最初的三年任務壽命，仍在運行。該航天器目前由NRL的Blossom Point Tracking Facility（BPTF）運行，該設施記錄并將科里奧利遙測數據儲存在一個記錄數據庫中。WindSat遙測數據庫包含了多年的運行遙測數據的記錄。這為在真實世界的數據集上評估算法提供了極好的機會，與大多數異常檢測問題一樣，該數據集包含作為極端少數類的異常現象。在評估過程中，可以使用已知的故障記錄作為基礎事實，但不會用于訓練任何算法。對這個數據集的最終評估可以由BPTF的運營工程師證實。除了WindSat之外，NRL還在進行其他一些數據收集工作。作為各種開發項目的一部分，NCST已經開發了能夠生成遙測數據的工具。這些工具可以用來模擬航天器的運行并注入合成故障數據；重要的是，這提供了快速創建具有可變類型和數量的故障和異常情況的大規模數據集的機會。此外，這些工具可以直接用于生成相應的地面真實數據。

3.3 機器學習異常檢測方法

[39]提供的異常檢測的一般定義是檢測 "不符合預期正常行為 "的模式。這是一個不斷發展的廣泛領域，在很大程度上是由物聯網大數據挖掘工作推動的。異常檢測的機器學習方法已經成為一個非常受歡迎的研究課題，因為它們被應用于金融欺詐檢測、網絡入侵檢測、醫療診斷和工業健康監測等任務[40]。所有這些領域的共同點是需要自動數據處理技術來協助檢測不斷增加的數據量中的非正常模式。在某些情況下，異常檢測也可以被稱為離群點檢測或新奇點檢測，盡管這些術語的語義略有不同[41]。其他相關問題包括概念漂移和變化檢測，它們泛指檢測數據中出現的或變化的行為。概念漂移和變化檢測都給異常檢測帶來了挑戰。概念漂移的可能性要求有效的算法不斷地更新其名義行為的概念，而數據中的變化可能代表著異常或僅僅是一個新的名義模式的開始[42]。

圖10-不同類型數據中的異常現象[43］

文獻通常規定了三種基本的異常類型：點、集體和背景。點狀異常是最簡單的，指的是相對于其他數據而言，單一的數據點是異常的。集體異常指的是一組數據點，這些數據點在一起是異常的，但可能不是孤立的。背景異常是指那些在不了解某些空間或時間背景的情況下無法識別的異常。如果某種形式的背景被用來識別，那么點狀和集體狀的異常現象也可以被歸類為背景性異常現象[39]。圖10說明了一些異常現象的例子。左上圖和右上圖都顯示了點狀異常，左下圖和右下圖都顯示了集體異常。請注意，這兩個集體異常現象也可以被認為是上下文異常現象，因為它們在周圍數據的背景下是異常的。

異常檢測面臨許多挑戰，特別是對于具有大型多變量數據空間的應用。創建一個包含系統所有可能的標稱和非標稱行為的模型是很困難的，尤其是在使用包含噪聲并經常隨時間變化的真實世界數據時。在ML模型的背景下，由于標記的名義和非名義數據的可用性有限，采購訓練數據集往往是困難的或令人望而卻步[39]。這些挑戰導致了各領域的各種方法。本文詳細介紹了作為文獻回顧的一部分被檢查的異常檢測算法的類型。具體的算法不會被詳細討論；相反，算法的類別將被討論，以達到激勵的目的，并突出潛在的優勢和劣勢。由于本研究的范圍限制以及該領域的快速發展，本評論不應視為詳盡無遺。關于異常檢測技術和挑戰的更全面的處理，見[39-41, 44, 45]。

3.3.1 監督方法

異常檢測的監督方法與其他ML任務的工作方式基本相同。如果標記的數據是可用的，包含名義的和異常的樣本，一個任意的模型可以被建立和訓練來對新的輸入樣本進行預測。一般來說，大多數異常檢測問題都存在著嚴重的類不平衡，其中名義數據遠遠超過非名義數據。由于這個原因，完全監督的方法是不常見的，因為典型的類不平衡禁止收集全面的訓練數據集。在某些情況下，有可能合成一個包含名義和非名義樣本的數據集，盡管一般來說很難合成一個能準確代表所有可能的名義和非名義行為的數據集[39]。部分監督學習在支持主動或交互式學習方案中可能是有用的，該方案利用人類在環路中的反饋來幫助以半監督的方式訓練系統[46]。參見[47, 48]對主動和互動學習的深入評論。

3.3.2 半監督方法

半監督學習的經典解釋是監督和非監督學習的結合，其中有限的標記數據和大量的未標記數據被用來創建一個模型，該模型比其純粹的監督或非監督的等價物具有更好的預測能力[49]。在ML異常檢測的背景下，半監督學習通常是指以監督的方式對單一類別--名義或非名義--進行模型訓練，然后使用該模型來區分訓練類別和相反類別的做法[40, 50]。這通常是通過在名義數據上訓練模型來進行的，因為名義數據的可用性更高，而且很難創建一個包含所有可能的異常行為的異常數據集。

3.3.3 自我監督的方法

在自監督學習中，創建一個模型來解決一個 "前臺"任務，該任務可以被表述為使用未標記數據的監督學習問題。通過這種方式，訓練有素的模型學習了數據本身的表征，然后可以在 "下游"任務中使用[49]。在異常檢測的背景下，"前臺"任務通常是學習名義行為的表示，然后可以用來執行區分名義和非名義樣本的下游任務。這經常被用于創建單類（即名義或非名義）分類器。

預測

基于預測的異常檢測技術是一種自我監督的學習形式，根據輸入數據的性質，也可能是半監督的。預測任務使用一個預測模型來預測未來的數據點。通過表征模型和現實之間的誤差--通常稱為殘差--可以使用下游技術，通過比較名義殘差和樣本的殘差來識別異常的樣本。如果模型沒有明確地在純名義數據上進行訓練，通常會假設非名義類足夠罕見，不會影響模型學習名義行為的能力[39]。圖11顯示了一個基于回歸的異常檢測的例子。前提任務是根據建模的名義系統行為生成 "預期 "曲線，下游任務是對名義殘差進行定性，以確定何種程度的差異是異常的[51] 。基于回歸的異常檢測最適合于殘差對標稱和非標稱樣本表現出明顯不同特征的問題。直觀地說，該方法不適合于不能可靠地建模的系統，如高度隨機或其他不可預測的系統的情況。

圖11-基于預測的異常檢測：預測和實際行為之間的巨大差異表明存在異常[51] 。

重構

重構模型試圖通過強迫模型從潛在的表征中重建輸入數據來學習一種表征[52]。最常見的版本是不完全重構，其中模型必須從一個壓縮的、低維度的潛在表征中重建輸入。這與過度完整模型相反，后者的空間比輸入大。在異常檢測的背景下，重建技術通常使用不完全模型。這是基于這樣的觀察：為了從有限的潛表征中形成最好的重構，模型必須只學習數據最相關的屬性，忽略不相關或錯誤的信息。通過這種方式，它學習了一個名義行為的表征。當應用于異常檢測時，該方法基于這樣的假設：如果訓練學習行為的名義表征，該模型在名義數據上的重建誤差較低，而在非名義數據上的誤差較高。然后，以類似于其他半監督方法的方式，一些下游技術可以被用來識別異常情況。現代重構模型最常以神經網絡的形式實現，在文獻中被稱為自動編碼器，因為它們可以被視為一般編碼器-解碼器網絡結構的一個特例。圖12顯示了一個不完全自動編碼器的一般表示方法。文獻中對復制器網絡進行了廣泛的研究，并且通常是各種復雜的異常檢測技術的基礎，如對抗性自動編碼器和生成對抗網絡（GANs）[53, 54]。

圖12-一個不完全的自動編碼器，其中x?是輸入x的重構[55] 。

3.3.4 無監督的方法

統計學

雖然許多統計異常檢測技術嚴格來說不屬于ML領域，但它們在異常檢測任務中的普遍性值得一提。在多步驟的異常檢測管道中，它們經常被用作最后的處理步驟之一。統計測試可用于確定異常分數本身，也可用于確定對這些分數的信心估計。統計學異常檢測依賴于這樣的假設：名義數據和非名義數據分別存在于隨機模型的高概率和低概率區域。方法的類型可以分為參數技術和非參數技術，前者對數據的分布做了假設，后者對基礎分布不做假設。一個流行的參數方法是假設數據的高斯分布，這樣就可以使用各種技術--如圖13中的Z-score--來獲得數據樣本的異常得分。由于經驗上的成功，即使正態性假設在現實中不成立，也常常會做出這種假設。統計技術最大的優勢和劣勢是假設數據符合一個任意分布。如果假設成立，那么結果在統計學上是合理的，而且容易解釋；但是，如果不成立，該技術可能產生無效或錯誤的結果。關于統計學異常檢測和正式的統計學離群點檢測的評論，見[39，56]。

圖13-Z-score可以用來尋找高斯分布數據中的離群點[57] 。

聚類和基于鄰域的檢測

盡管它們是不同類別的技術，但用于異常檢測的聚類和鄰域方法都是基于這樣一個前提：異常數據可以通過某種距離指標來識別，從而將其與名義數據區分開來。聚類方法假定名義數據和非名義數據空間可以被分成若干個定義明確的聚類。鄰域方法通過計算它們與本地鄰域的相對距離或密度來檢測異常情況。雖然學習本身通常是以無監督的方式進行的，但整個方法通常可以被認為是半監督的，因為隱含的假設是實際上所有的訓練數據都是名義的。另外，一些方法還試圖為異常情況形成明確的聚類。由于這些方法的借口任務通常是對預先存在的無監督技術的直接應用，因此存在大量的基于聚類、鄰域和密度的異常檢測算法。有關概述，見[39]。

基于隔離的檢測

許多異常檢測方法首先對名義行為進行剖析，然后使用該剖析來區分名義和非名義樣本，而基于隔離的異常檢測方法采取了一種根本不同的方法，明確地試圖將異常現象從數據的其余部分中分離出來。直觀地講，這種方法可以通過觀察來解釋，即異常點應該比名義數據點更容易從其他數據中分離出來。最初的基于ML隔離的異常檢測器是隔離森林（IF或iForest）算法，它是相關方法的激勵基礎，如擴展隔離森林（EIF）和半空間樹（HS-Tree）[58-60]。IF算法的工作原理是建立一個隨機決策樹的集合。每棵樹對數據進行隨機分割，直到每個數據點都被隔離（即與其他數據分離）。平均路徑長度--隔離數據點所需的分割數量，在所有樹中的平均值--被用作確定異常得分的基礎。根據經驗，異常點的路徑長度明顯較短。EIF算法消除了原始IF算法中存在的固有偏見。半空間樹（HS-Trees）采取與IF類似的分區方法，可以應用于流式數據。圖14顯示了隔離森林的代表。

圖14-隔離森林使用隔離路徑長度作為異常檢測的基礎 [61] 。

3.3.5 其他方法

已經提出了各種其他的異常檢測技術。信息理論技術是基于這樣的假設：通過測量異常現象對數據集的信息復雜性的貢獻，可以識別異常現象。譜技術試圖通過將數據投射到一個不同維度的子空間來尋找異常，在這個子空間中，異常現象更容易被發現。一些版本的復制器和對抗性模型在數據壓縮階段隱含地進行這種類型的數據投影。最近對該領域的貢獻包括將深度強化學習應用于主動半監督的異常檢測方法[62]。

3.3.6 組合方法

應該指出的是，各種算法可以作為集合方法或多步驟算法的組成部分。例如，經典的集合方法可以應用于異常檢測，將一些不同模型的預測結合起來，努力創造一個比其任何成分都要好的綜合預測。此外，一些技術適合創建一個算法的管道，其中一個特定步驟的輸出被用作另一個步驟的輸入。例如，一個ML模型可用于執行表征學習，如特征提取或降維，模型的輸出可用于進一步處理或確定異常分數的后續步驟。這是一種常見的處理技術，適用于處理復雜的高維數據的方法和利用ML作為整個檢測管道的預處理步驟的方法。

3.3.7 對航天器的考慮

航天器遙測異常檢測問題的性質對可能使用的算法施加了某些限制。遙測是典型的時間序列數據，意味著在確定異常時，時間背景很重要。直觀地說，在某個時間點上正常的遙測值在另一個時間點上可能是異常的。因此，沒有納入時間信息的算法可能處于不利地位。一些方法將時間信息作為所用模型的副產品，如基于長短期記憶（LSTM）的方法。其他方法試圖通過在整個序列中應用滑動窗口來擴展非時間性的算法。此外，遙測數據通常是高維和多變量的。例如，一個熱控系統可能由其他多個子系統的若干遙測通道組成。為了形成一個全面的系統視圖，需要某種程度的系統層次和抽象化。因此，僅限于單變量數據的算法在其適用性上比多變量的算法更有限。

學習范式也是一個主要考慮因素，特別是對于航天器遙測。對于大多數異常檢測問題，名義行為的例子遠遠超過非名義的例子。這對航天器來說尤其如此。因為航天器的故障和異常通常是相當罕見的，所以使用監督學習來直接訓練一個模型通常是不可靠的。到目前為止，以半監督或無監督的方式操作的方法，在沒有大量標記數據的任務中，經驗顯示出更好的性能。雖然半監督和自我監督的方法更為普遍，但它們通常不能通過使用關于特定檢測是否正確的明確反饋來逐漸提高檢測能力。從長遠來看，主動學習和其他相關范式可能允許這些方法通過少量的專家標記的例子來逐步改進。

3.4 評價原則

對一個綜合系統的評價要求能夠量化系統的整體性能以及每個組成元素的單獨貢獻。這對FM系統來說是一項困難的任務，這在很大程度上是由于在該領域已經存在的V&V挑戰。一般來說，預測一個復雜系統的所有可能的故障模式是不可行的，因此，所有的分析和測試本質上是不詳盡的[26]。在遙測監測和異常檢測這一較窄的范圍內，有可能通過與已經在實踐中使用的其他基線遙測監測方法進行比較來簡化評估問題。在最簡單的情況下，一個基線方法可以直接與一個或多個ML方法進行比較。然而，如果ML組件被整合到一個更大的系統中，就有必要證明它對整個系統的具體貢獻。

3.4.1 異常檢測算法的評估

對于每個輸入樣本，異常檢測算法的最終輸出通常有兩種形式：一種是衡量樣本的異常程度的異常分數，另一種是將樣本歸入名義類或非名義類的二進制標簽。一般來說，分數被認為是一種更靈活和信息量更大的方法，因為它們允許異常水平的連續光譜，而不是兩個離散的狀態。分數也可以在任何時候通過應用一個閾值轉換為二進制標簽。然而，在實踐中，直接比較使用不同評分方法的算法變得很困難，因為分數本身往往是從根本上不同的概念和假設得出的。此外，選擇一個將分數轉換為標簽的閾值可能具有挑戰性，而且往往依賴于關于數據的特定領域假設[39]。這些挑戰使得建立明確的評價標準并明確說明可能影響結果的任何假設變得至關重要。

為了確保完整和客觀的評估，需要謹慎地選擇指標。異常檢測問題所固有的典型的類不平衡意味著許多傳統的衡量標準，如準確度、F-Measure、平均精度（AVPR）和接收運行特征曲線下面積（AUROC）可能會人為地夸大性能[63]。這方面的一個例子是二進制準確度；一個二進制分類器如果天真地將給定數據集中的每一個樣本都歸入名義類，那么由于類的不平衡度很高，它的得分可能會相對較高[64]。使用二元的真-假-正-負（TFPN）指標--真陽性（TP）、真陰性（TN）、假陽性（FP）和假陰性（FN）--作為評價的基礎是很常見的，因為它們可以用來計算眾多的其他衍生指標。混淆矩陣是使用TFPN指標來描述整體性能的一種常見方式，既直觀又數字。異常檢測混淆矩陣的布局示例如圖15所示。給定評估數據集中的每個樣本都被分配到四個象限中的一個，每個象限的總數被用來確定性能。文獻中的普遍共識是，雖然一些數值如Matthews相關系數比其他數值更客觀，但沒有一個從TFPN指標中得出的單一數量能夠完整和客觀地描述。在比較可能具有不同統計質量的數據集的結果時，必須要有額外的考慮。一般來說，只有在可以明確量化并在分析中指出其偏差的情況下，才可以使用具有已知偏差的指標。關于兩類分類指標及其相關優缺點的深入討論，見[63-66]。

時間序列數據中的異常檢測因數據樣本之間的時間依賴性而進一步復雜化。值得注意的是，經典的混淆矩陣并不考慮時間維度，所以雖然它可以提供一個全局的性能視圖，但它沒有提供對一個給定算法在時間上的局部表現的洞察力[67]。這是一個固有的缺點，因為時間序列數據通常是高度非平穩的，因此，一個模型的性能可能因時間背景的不同而有很大的差異。此外，跨越多個時間點的上下文和集體異常的存在導致了對每個TFPN指標來說什么是 "擊中 "的模糊性。文獻中提出了許多方法；例如，與集體異常窗口部分重疊的預測檢測可能被評為真陽性、假陰性或兩者的某種組合[23]。一般來說，應根據檢測問題的優先級創建特定應用的TFPN指標定義[65, 67]。

3.5 軟件產品

目前正在開發一些有助于ML和異常檢測研究的軟件包。選擇Python作為主要的開發語言是由于它的開源許可、易于開發、靈活性以及預先存在的對ML和數據科學的支持和基礎設施。雖然它是為支持這項研究而開發的，但我們已經做出了一切合理的努力來創建高度模塊化的軟件，并支持記錄完備的應用編程接口（API），以便它可以很容易地擴展到其他類似或相關的問題。

圖15-異常檢測混淆矩陣

3.5.1 通用軟件工具

為了支持這項研究，已經創建了幾個工具，這些工具可能在異常檢測或ML領域之外廣泛適用。在開發過程中發現的這些工具已經被轉移到單獨的存儲庫中，在那里它們可以被開發、測試，并作為獨立的產品在NRL社區或作為開源軟件發布。已經建立了一個Python工具庫，其中存放了各種常見的便利和實用功能。對于更大規模的工具，已經建立了專門的存儲庫。目前，兩個主要的工具是一個集合生成器和一個統計分析庫。

合并構建器

合并ML方法通過合并多個單獨模型的預測結果形成一個復合模型。這樣做的目的是為了產生優于任何組成模型的綜合預測。作為該代碼庫一部分開發的集合生成器與API無關，可以結合任意數量和類型的模型的預測，允許跨庫組合。對于大型模型或數據集，支持批量處理。它還支持模型停用功能，這樣就可以很容易地確定任何給定模型對整個組合的貢獻。雖然大多數常見的預測組合方案都是預先實現的，并且是現成的，但如果有必要，也可以實現自定義的組合策略。

統計學工具

探索性數據分析是許多ML項目中常見的初始步驟。為了幫助EDA過程的自動化，創建了幾個工具，包括數據集統計的計算和繪圖，以及統計報告的生成。報告工具還可以比較多組數據的統計數據；這可以用來檢測單一數據流中的概念漂移，或比較不同數據集的特征。在異常檢測方面，許多算法假設數據的高斯分布，以證明關于特定數據集中異常的性質和數量的統計結論是正確的。為了測試這個假設的有效性，開發了一個工具，對數據樣本進行Kolmogorov-Smirnov測試，以確定正態性假設是否有效。因為該檢驗可以支持任何連續分布，所以該工具被擴展到Scipy軟件包中的所有連續分布[68]。該工具可以用來快速擬合100多個候選統計分布，以確定哪些分布（如果有的話）是對數據的合理擬合。

3.5.2 異常檢測代碼庫

主要的軟件開發工作包括創建一個異常檢測代碼庫，作為大量異常檢測算法以及實驗和評估工具的主機。在可能的情況下，利用算法的開源實現來減少開發時間。否則，算法將根據需要手動實施。某些類型的模型，如神經網絡，可以進行廣泛的定制和架構調整；對于這些模型，我們創建了模型構建工具，以便快速創建和測試模型。目前，代碼庫支持50多個異常檢測模型，包括來自PyOD[69]和PySAD[70]庫的開源模型、單獨發布的開源算法和自定義模型。定制實現的模型包括傳統的和基于LSTM架構的變異自動編碼器。模型和算法將繼續根據需要被添加到資源庫中。

諸如TensorFlow、Keras和Scikit-Learn等軟件包都擁有一套廣泛的指標，通過使用API-agnostic接口[71-73]，可以在異常檢測代碼庫中互換使用。對于簡單的評估，可以使用無狀態度量。對于較大的數據集，代碼庫支持可以分批更新的有狀態指標。自定義指標可以從這些指標中衍生出來，或者根據評估的需要來實現。除了指標之外，還創建了一個評估和排名工具，能夠自動比較任意數量的算法在給定問題上的性能。該評估過程類似于AutoML，并受其啟發，AutoML能夠自動調整一些模型，使其在訓練數據上達到最佳性能，隨后在測試數據上對其進行評估[74]。

在Plotly庫的基礎上，還開發了一套繪圖工具，與其他代碼庫同步進行[75]。繪圖模塊為開發、演示和部署提供了許多功能。首先，它通過提供數據可視化幫助探索性數據分析（EDA）以及算法開發和調試。第二，它允許對檢測結果進行展示和分析。第三，它的目的是允許在應用環境中進行實時數據和算法監測。一個正在進行的努力是創建一個近乎實時的儀表板，顯示流數據以及任何異常的檢測。這個儀表板可用于基于人的反饋的學習、運行監控和技術演示。

4. 結論

圖16-突出SMAP A-3通道測試異常的異常繪圖儀

自主能力的發展仍然是國防部和美國海軍的一個投資重點。健康監測和FM是阻礙海軍空間系統更有彈性、更可靠、更自主的一些最重要的挑戰，而自動異常檢測代表了實現這一目標的一個步驟。第一年的研究確定，ML方法提供了一個快速改善現有航天器異常檢測工作的機會，并有可能被應用于系統健康監測的其他領域。第二年的研究將著重于通過繼續開發異常檢測代碼庫和完成對遙測數據的各種算法進行評估的實驗來證明這一概念。此外，綜合模型方法將被進一步研究，并與數據驅動的方法進行比較。健康監測代表了ML在美國海軍空間系統運行中最有希望的應用之一。這種類型的技術已經足夠成熟，可以擴展到現有的系統，并能使近期海軍的地面基礎設施和未來海軍的機載衛星系統受益。

附錄A

異常檢測的其他應用

第一年的研究暴露了異常檢測在航天器運行中的一些應用，這些應用超出了航天器FM的范圍。盡管到目前為止還沒有深入探討，但海軍可以從多個領域的自動異常檢測中受益；其中一個應用是檢測名義和非名義行為，作為海軍C4ISR工作的一部分。隨著數據處理需求的不斷擴大，自動化方法的應用變得越來越重要。在短期內，自動異常檢測可以作為C4ISR數據處理管道的一個初步步驟，通過將大量的數據提煉成只需要進一步調查的數據來協助人類操作員。這可能適用于通信、態勢感知工作和環境監測中的利益信號檢測。所有這些應用將有助于縮短收集原始數據和提供可運行信息之間的延遲。

圖A1-全球AIS數據

作為一個激勵性的例子，考慮到異常檢測算法可以通過模擬正常的船舶行為和標記異常行為來協助基于ML的MDA工作，以便進一步分析。鑒于美國海軍必須對數以百萬計的船只進行核算，存在著異常檢測的巨大機會，以大幅減少必須由人類檢查的數據量。圖A1顯示了全球自動識別系統（AIS）數據的一個例子，它可以作為訓練模型的基礎。在短期內，諸如來自NRL的Sea-Link高級分析（S2A）系統的船舶軌跡數據可以用來模擬正常的船舶行為，并幫助減少人類操作員的處理負荷。從長遠來看，這些模型可以與人類一起工作，并通過學習模式識別提供先進的決策洞察力。

先進作戰管理系統（ABMS）是美國空軍創建下一代指揮和控制（C2）系統的最新計劃項目。ABMS建議使用云環境和新的通信方法，使空軍和太空部隊系統能夠使用人工智能無縫共享數據，以實現更快的決策。空軍將ABMS描述為其創建物聯網的努力，這將使傳感器和C2系統相互分解（與空軍傳統上執行C2的方式相反）。該計劃是空軍對國防部全域聯合指揮與控制（JADC2）工作的貢獻，重點是使國防部的作戰決策過程現代化。

ABMS最初的設想是取代目前指揮空戰行動的E-3機載預警和控制系統（AWACS）（圖1），但后來有了更廣泛的范圍。前空軍負責采購的助理部長威爾-羅珀指示，該計劃應減少對指揮中心和飛機的關注，而是創造數字技術，如安全云環境，在多個武器系統之間共享數據。羅珀博士表示，2018年國防戰略所設想的有爭議的環境迫使空軍重組ABMS項目。2021年5月，空軍副參謀長大衛-奧爾文將軍在DefenseOne的一篇文章中說："ABMS究竟是什么？它是軟件嗎？硬件？基礎設施？策略？答案是都是"。換句話說，空軍將ABMS設想為一個采購項目，它既要采購東西，又要實施其他非開發性的工作，該部門認為這些工作同樣重要：指揮和控制空軍的新技術。

自ABMS成立以來，國會已經對下一代C2系統的發展表示了興趣。空軍表示，ABMS是一個非傳統的采購項目。因此，國會對空軍替換老舊系統的方法和試驗新興技術的方法提出了質疑。

ABMS的開發工作

迄今為止，空軍已經進行了五次活動，以展示其希望最終投入使用的新C2能力。2019年12月，空軍在其第一次ABMS "on-ramp"（空軍用來表示演示的術語）中，展示了從陸軍雷達和海軍驅逐艦向F-22和F-35戰斗機傳輸數據的能力。這次活動還展示了空軍的統一數據庫（UDL），這是一個結合天基和地基傳感器追蹤衛星的云環境。

2020年9月，ABMS進行了第二次"on-ramp"。這第二次上線演示了通過使用超高速武器作為防御手段，探測和擊敗一個飛向美國的模擬巡航導彈。此外，ABMS還展示了 "探測和擊敗破壞美國太空行動的手段"的能力。根據空軍的新聞稿，"70個工業團隊和65個政府團隊 "參加了這次活動。

空軍在2020年9月下旬舉行了第三次"on-ramp"，以支持珍珠港-希卡姆聯合基地的 "勇敢之盾 "演習。在這次活動中，空軍展示了使用KC-46加油機通過將數據從較老的第四代戰斗機轉發到較新的第五代飛機，如F-22，來執行戰術C2。2021年5月，空軍表示，為KC-46采購通信吊艙將是ABMS項目的第一個能力發布。空軍說："在戰斗中，無論如何，郵機將需要在作戰附近飛行，支持戰斗機，因此將它們作為指揮和控制系統，無論是作為主要的還是彈性的備份，都是有意義的。"

2021年2月在歐洲舉行了第四次"on-ramp"。根據新聞稿，空軍由于預算限制而減少了這次活動規模。這第四次將包括荷蘭、波蘭和英國在內的盟國聯系起來，進行聯合空中作戰。據美國駐歐洲空軍司令哈里根將軍說，這第四次活動測試了美國和盟國用F-15E飛機發射AGM-158聯合空對地對峙導彈（JASSM）執行遠程打擊任務的能力（見圖2），同時利用美國和盟國的F-35飛機執行空軍基地防御任務。

本預計2021年春季進行第五次"on-ramp"在太平洋地區，但由于預算限制，取消了這次活動。

GAO的報告建議

2019財年國防授權法案（NDAA）指示政府問責局（GAO）評估ABMS計劃。在2020年4月的一份報告中，GAO向空軍總設計師建議采取四項行動來提高項目績效。

1.制定一個計劃，在ABMS開發領域需要時獲得成熟技術。

2.制作一個定期更新的成本估算，反映ABMS的實際成本，每季度向國會匯報一次。

3.準備一份可購性分析，并定期更新。

4.正式確定并記錄參與ABMS的空軍辦公室的采購權力和決策責任。

空軍助理部長同意了所有的建議。前空軍參謀長David Goldfein將軍不同意這些建議，他指出GAO的分析沒有反映機密信息。美國政府問責局表示，它可以接觸到機密信息，這些額外的信息并不影響其分析和建議。

ABMS的管理結構

根據GAO關于ABMS的同一份報告，空軍最初確定由空軍總設計師（普雷斯頓-鄧拉普），來協調空軍每個項目執行辦公室的ABMS相關工作。GAO對這種管理結構可能導致ABMS缺乏決策權表示擔憂。然而，在2020年11月，羅珀博士選擇空軍快速能力辦公室作為ABMS項目執行辦公室。首席架構師辦公室繼續開發全軍的架構（即軟件和無線電如何能夠相互連接），以支持ABMS。

國會就AMBS采取的行動

國會已經對ABMS系統的發展表示了興趣。下面的清單總結了國會在前三個NDAA中的行動：

• 2019財政年度NDAA（P.L. 115-232）：

  • 第147節：限制E-8 JSTARS飛機退役的資金可用性

• 2020年國防部（P.L. 116-92）：

  • 第236節：與先進戰斗管理系統有關的文件

• FY2021 NDA (P.L. 116-283) ：

  • 第146節：移動目標指示器要求和先進戰斗管理系統能力的分析
  • 第221節：與先進戰斗管理系統有關的問責措施

2021財年國防撥款法案（P.L. 116-260 C分部）將ABMS的資金從要求的3.02億美元減少到1.585億美元，理由是 "不合理的增長和預先融資"。

在ABMS的整個發展過程中，國會對在確定合適的替代物之前退役舊的C2系統如JSTARS和AWACS表示關注。國會還指示空軍制定傳統的采購理由，如成本估算和需求文件，以確保國會和軍方都了解要采購的東西。這些行動反映了美國政府問責局的建議。

關于國會的潛在問題

• 使用ABMS方法分解指揮和控制的風險是什么？

• 空軍應如何平衡創新、實驗與采購成熟技術？

• ABMS提供了哪些傳統指揮與控制系統無法提供的機會？

• 利用6.8軟件和數字技術試點計劃預算活動代碼中的新預算授權靈活性，ABMS是否會受益？

引言

未來同等力量競爭者之間的軍事行動將以多域作戰（MDO）方法為特征，其特點是空中、海上、陸地、網絡空間和太空的綜合和并行使用。在整個軍事行動范圍內，從低節奏的維和任務和安全部隊援助到高強度、高節奏的作戰行動，軍方將利用所有的作戰領域，特別是太空領域。隨著作戰速度和節奏的加快，太空領域對于現代軍事活動變得至關重要，并使得指揮控制 (C2) 和戰術層面的決策時間周期縮短。

此外，鑒于民間社會行動者對公共領域開源信息的訪問加速和擴大，目前的軍事活動受到了更嚴格的審查。這樣做的一個后果是更加需要更快速更準確的情報來為軍事行動中的決策提供信息。不斷擴大來源和信息已成為決策的方式和手段，空間在軍事規劃和行動的演變中占據中心地位，而這一演變涉及到軍事人員要經常執行的一系列任務。

太空領域是當今確保持續的跨境情報和態勢感知并促進重要通信的唯一途徑。這一現實需要更加關注空間資產的安全性和未來空間應用的能力規劃。就目前而言，太空領域仍然沒有得到足夠的全球戰略關注。然而，軍方對太空的利用不僅會在未來幾年保留在國防組織和軍事能力規劃者的議程上，而且會變得越來越重要。

地球、太空的地緣政治和不斷擴大的威脅范圍

可以說，早在二戰期間，當德國向英國發射帶有彈道軌道的 V2 火箭時，就在戰爭中見證了太空的使用。在更近的時代，空間領域發揮關鍵作用的第一次軍事行動發生在1991年的第一次海灣戰爭期間。如果沒有使用由衛星支持的全球定位系統，為武器提供精確的導航和目標，并對沖突地區進行天基觀測以了解情況，美國及其聯盟伙伴可能不會在沙漠風暴行動中取得同樣的結果。

自第一次海灣戰爭結束以來，西方軍隊逐漸擴大其在太空領域的使用和嘗試，以此作為引入作戰優勢的一種方式。然而，這種對太空領域日益增長的依賴也為軍事行動創造并擴大了新類型的弱點，而對手越來越有能力利用這些弱點。在這種新出現的背景下，軍隊開始重新關注他們對空間的使用，以規劃和發展與新威脅和戰略弱點相關的空間能力，這一點至關重要。

這是一個需要應對的挑戰，因為很少有人會懷疑大國競爭又回到了全球舞臺上。隨著全球動態的變化，美國一直在重新平衡其全球態勢，將重心轉向亞洲。美國對中東的能源依賴度下降，也引發了關于其長期區域作用的討論。對歐洲來說，未來來自其東部和南部邊界的任何動蕩和不穩定都可能導致難民和流離失所者帶來前所未有的挑戰。在管理這種風險的安全影響方面，歐洲軍隊很可能面臨一個新的現實，即不能把對美國空間資產的依賴或可用性視為理所當然。

太空戰保障(SOA)

與此同時，歐洲自身對戰略自主和主權的決心可能會增強，并延伸到其未來的太空戰略。地緣政治因素和較低的進入壁壘可能會繼續引入新的參與者，追求空間的戰略和戰術使用，開發作戰衛星和地面基礎設施。雖然太空不能分為民用和軍用太空，但“軍事太空”領域將以美國、俄羅斯和中國的傳統大國為特色，但也會看到歐盟（EU）、印度、阿聯酋等其他國家加入。

隨著太空參與者數量的增加，使用和依賴太空進行軍事行動的風險正在迅速增加。空間擁堵是太空中的一個嚴重威脅，尤其是在低地球軌道（LEO）——在地球上空跨越 400-1500 公里的高度——衛星有被摧毀的風險。 LEO 不僅面臨軍事用戶飽和，而且越來越多的商業運營商生產和發射大量小型衛星，以服務于快速發展的商業航天工業。

日益增長的空間擁堵風險是真實存在的——自從2009年2月銥-33與Kosmos 2251的碰撞被廣泛研究以來，在2021年3月，云海1-02與1996年9月發射的俄羅斯天頂2號火箭的碎片的碰撞，加強了衛星作戰的風險。這些最近的碰撞很可能是意外，但最近觀察到衛星對其他衛星的近距離機動，這種近距離接觸可能是攻擊性意圖的結果，旨在使衛星不可靠、不值得信賴甚至完全無法使用。

通過光通信、密碼學、跳頻或精確無線電傳輸來保護數據和信息流將需要作為一個至關重要的能力設計參數。

最近觀察到的近距離接觸和行動似乎沒有造成任何明顯的損害，但這些事件已引發太空軍事行動者重新考慮他們的姿態并考慮加強對其資產的保護機制——包括可能通過武器化。 2019 年 12 月，北約明確承認太空是軍事作戰領域。眾所周知，反衛星（ASAT）武器已被廣泛試驗，并可能更容易被開發，作為將威懾和拒絕的邏輯引入空間領域的一種方式，以對付可能尋求利用傳統空間系統漏洞的對手。

這種軌跡會產生重大影響，因為這種發展會在最低水平上產生意想不到的后果和次要影響，僅僅是通過空間碎片散布到大片空間的風險。太空中的對手還將尋求瞄準衛星與支持地面基礎設施或指揮中心之間的關鍵通信中繼。技術欠發達的對手可以攻擊或破壞支持太空作戰的地面基礎設施，例如通過簡單地拒絕物理訪問、切斷電源線甚至物理攻擊和破壞。

太空中不斷擴大的威脅范圍并非包羅萬象——目前，這些威脅主要與 LEO 中的太空資產有關。在這里，軍事規劃人員可以提供一系列針對 LEO 環境的防御性反應——例如，強化支持和啟用地面基礎設施、地對空（反之亦然）通信渠道以及天基資產本身。此外，軍事規劃人員將需要創造新的方法和手段來提高太空態勢感知、太空交通管理、太空機動性、響應能力和有效載荷適應性，以及至關重要的國際合作和成就，以建立基于規則的太空秩序。

地面、通信和衛星強化

對手瞄準支持軍事作戰的太空能力的最簡單方法是專注于地面支持和使能基礎設施。幸運的是，這些太空能力要素是最容易防御的，必要時可以維修或更換。雖然這在減少軍事太空作戰的弱點方面可能最初看起來不太復雜且成本較低，但重要的是不要讓未來太空力量和能力規劃的這一要素脫離戰略設計和規劃過程。

GEO, MEO和LEO衛星

太空中不斷擴大的威脅范圍并非包羅萬象——目前，這些威脅主要與 LEO 中的太空資產有關。

隨著信息空間遇到太空，引入了雙重漏洞，特別是對于軍事通信。地面和天基資產之間的指揮與控制 (C2) 和信息通道對欺騙、干擾、阻塞和其他形式的干預高度敏感。通過光通信、密碼學、跳頻或精確無線電傳輸來保護數據和信息流將需要作為重要的能力設計參數。

衛星本身也越來越有可能成為攻擊性機動和作戰的對象，從而使其變得不那么有用甚至無用。太空中的軍事行動者必須開始考慮并解決如何保護天基資產免受物理攻擊、暴露于高能輻射、電磁篡改和一系列來自地球的新威脅。需要開發和實施用于檢測篡改和增強防御和適當對策的特殊防護層、傳感器。

改善空間態勢感知 (SSA)、空間交通管理和機動性

SSA為空間領域提供了精確的實時圖像，并使洞察意外或不尋常的事件成為可能。有了SSA，衛星運營商可以更好地監測和控制其資產接近潛在威脅和碰撞風險，特別是適用于低軌道空間碎片導航。必要的傳感器配置和數據處理技術將能夠對可能的衛星安全入侵提供早期預警。在新出現的情況下，由于準確的歸因成為可能，進攻性演習和行動的可否認性將不再是問題，從邏輯上講，可以實施更有力的威懾模式。

通過更準確地了解空間和鄰近度計算，可以更及時地確定要考慮和采取的適當行動，并有效地開發空間交通管理系統。改進的 SSA 將導致減少衛星安全風險，反過來這將減少規避機動的傾向，同時提供更安全的方式來實現和保持太空中的安全導航和機動性。通過啟用空間交通管理，將增強天基系統的安全性，延長衛星壽命，并支持更好地規劃更換、升級和新插入。

改進的SSA將導致減少衛星的安全泡，因為它是構成的，反過來，這將減少規避機動的傾向，同時提供更安全的方式來實現和保持空間的安全導航和流動性。通過實現空間交通管理，天基系統的安全性將得到加強，延長衛星的壽命，并支持更好地規劃替換、升級。

增強衛星的機動性是增強其防護能力和生存能力的一項勢在必行的防御措施。機動性的好處同樣適用于地面單元，機動性加強了保護，但需要解決一系列更復雜的挑戰，如燃料、駐扎時間和戰術、技術和程序（TTP）。

設計、響應能力和有效載荷適應性

如果由于對手的進攻行動或自然環境甚至意外而丟失??衛星，關鍵是要在盡可能短的時間內用同類或改進的系統取代任何失去的能力。事實上，衛星的未來在于微型或納米衛星，與傳統空間系統相比，這些衛星的建造和發射成本更低。當出現對新功能和要求的需求時，新的空間技術將創造新的方式來以更具響應性的方式提供這些功能。設計、制造、測試、程序和發射方面的響應能力需要成為空間能力規劃的關鍵標準，并且需要與工業和知識合作伙伴密切和持續的合作來支持。

在新衛星和空間系統的設計中，可能需要擴展新應用的開發，以便更快、更經濟地建造和發射衛星。通過開發計劃實施新的和不斷發展的需求是不合理的，軍隊必須更好地推動這些需求走向未來的迭代。對空間開發計劃的不斷變化和修改會增加巨大的成本和時間延遲。相反，重點必須放在使衛星更加模塊化或適應性更強，以便可以在不增加成本或復雜性的情況下修改其功能。如果將高度模塊化和適應性構建到當前正在開發的這一代衛星中，它們的可用性和壽命將大大提高。

地緣政治因素和較低的進入壁壘可能會繼續引入新的參與者，追求空間的戰略和戰術使用，運營衛星和開發基于地面的使能基礎設施。

國際合作和基于規則的太空秩序

對于較小規模的軍隊，特別是在共同安全保護下合作的軍隊，通過職責和能力分工來分擔負擔具有戰略意義。資產和能力的集中和共享使用將是發展太空能力的一個關鍵特征，這將依賴于國際合作的成果。在缺乏行為規則的情況下，有關空間利用的國際合作還需要解決目前存在于空間中的任何行為者的廣泛自由。到目前為止，擁有先進太空能力的國家數量有限，似乎一直不愿在彼此之間建立更具體的框架和制定長期規則，以避免妨礙未來的戰略可能性。然而，隨著低地球軌道越來越擁擠，太空中新的軍事行動者的出現以及它作為一個有爭議的作戰領域的演變，在沒有最低限度的規則和可接受的風險的情況下，不應再進入和利用太空。

結論

日益擴大的威脅范圍——本質上越來越多地跨域——以及鑒于產生或可用的數據大量增加而需要加速軍事決策，這加劇了作戰人員未來面臨的挑戰。混合戰爭和軍事競爭將需要能夠為軍事規劃者和作戰人員提供預警、卓越的態勢感知和迅速決策的系統。在保證完整性的情況下快速訪問信息對于戰略成功至關重要。在所有這些戰略要務中，太空領域將發揮至關重要的作用。

進入太空領域本身就有足夠的挑戰，但在太空軍事用途的背景下，必須考慮更多。盡管如此，對太空領域的依賴和使用是不可避免的，其能力規劃必須考慮，以提供產生新的戰略和作戰優勢的技術解決方案，并通過推進國際合作來不引人注目地使用太空。不過，最終，軍方不應忘記如何就失去關鍵太空基礎設施的使用權進行談判。在人們認為進入太空是理所當然的時代，地圖和指南針閱讀、野外定向、導航和無通信操作等軍事藝術可能需要保留更長時間。

作者介紹

荷蘭皇家空軍中校（退休）帕特里克·博爾德（Patrick Bolder）專門研究規劃、政策和戰略思維。他曾被借調到海牙戰略研究中心 (HCSS)，在那里他從事武裝部隊和國防部委托的項目。他在無人系統、人工智能和太空領域的軍事方面發表了多篇著作。他在無人和空間系統的軍事應用方面具備深厚的知識能力。

摘要

拒絕和欺騙（D&D）技術利用錯誤信息和對手的認知偏差，長期以來一直是混合作戰的一部分。這種戰術給傳統上由人類分析員制作的情報、監視和偵察（ISR）產品帶來了不確定性和懷疑。在一個由人工智能（AI）擴散主導的未來戰斗空間中，算法生成的ISR產品數量可能會增加。因此，D&D戰術將越來越多地被顛覆人類而非機器推理的需要所驅動。對抗性機器學習（AML）的發展，即對欺騙性人工智能的研究，對未來混合作戰空間中的實踐狀態有重大影響。**本文回顧了對抗性機器學習技術之間的關鍵區別，以及它們對敵方對作戰人工智能的了解和訪問做出的假設。然后，我們總結了我們團隊最近與混合作戰有關的幾個對抗機器學習研究方向：對成像系統的物理對抗性攻擊，數據中毒攻擊，以及AML與設計強大的人工智能系統的相關性。

引言

混合戰爭指的是使用顛覆性的、非軍事的手段來推進民族國家的利益，特別是俄羅斯近年來采用的技術，在不訴諸公開的、常規的軍事行動的情況下占領領土并影響各國的政治和政策[1]。所采用的混合戰術包括網絡攻擊、動員智能體團體采取行動、施加經濟影響以及其他秘密措施。由于混合作戰存在于常規軍事沖突和平民生活之間的 "灰色地帶"，因此戰術上采用了拒絕和欺騙（D&D），通過利用民眾或敵對勢力的認知偏差來迷惑、威懾或影響理想的行為。D&D戰術在常規戰場上的歷史使用是有據可查的[3]。有效的D&D技術通過對依賴人類專家分析的軍事情報、監視和偵察（ISR）產品產生懷疑而獲得成功。在混合軍事行動中，情況不一定如此，在混合軍事行動中，D&D也可能試圖影響平民的看法。此外，隨著人工智能（AI）成為國家軍事投資戰略的重點（如[4]和[5]），以及商業信息技術部門越來越多地采用人工智能[6]，人工智能在未來的 "灰色地帶 "可能會無處不在。因此，我們必須考慮在未來由人工智能的使用主導的混合戰斗空間中可能存在的D&D威脅。

當前的人工智能能力是由機器學習的進步所帶來的，特別是在深度學習這個子領域，在過去的10年里。機器學習（ML）涉及將系統的輸入映射到預測結果的問題，例如，將車輛的圖像映射到一個類別的標簽。通常情況下，這是在大型數據集中通過統計模式識別實現的。深度學習具體涉及到多層神經網絡的使用，它是具有數百萬自由參數的高度非線性回歸模型，作為模式識別的統計模型。雖然深度網絡在各種任務上的表現優于人類（最著名的是圖像分類[7]），但在諸如[8]和[9]等作品中觀察到它們容易被愚弄之后，對抗性機器學習（AML）領域作為一個活躍的研究領域出現了。許多作者指出，ML算法所犯的錯誤可能會在民用領域產生嚴重后果[10]-[15]。我們也認為必須提出類似的擔憂，即軍事人工智能系統在常規戰場和混合戰斗空間中的脆弱性。

本文的其余部分組織如下：第2.0節將提供關于對抗性機器學習的進一步背景介紹，以及我們認為目前在解決其與混合軍事行動的相關性方面存在的差距。在第3.0節中，我們描述了約翰霍普金斯大學應用物理實驗室（JHU/APL）目前正在進行的三項研究工作，以解決這些知識差距。最后，我們在第4.0節中做了總結性發言，并總結了我們到目前為止的發現。

圖1. 使用深度學習模型將貓的圖像識別為 "鴕鳥 "的對抗性實例的例子

圖 6. AI 開發周期（圓形流程圖）和采用機器學習的典型算法步驟（橙色大框）。

美國的空中優勢是美國威懾力的基石，正受到競爭對手的挑戰。機器學習 (ML) 的普及只會加劇這種威脅。應對這一挑戰的一種潛在方法是更有效地使用自動化來實現任務規劃的新方法。

本報告展示了概念驗證人工智能 (AI) 系統的原型，以幫助開發和評估空中領域的新作戰概念。該原型平臺集成了開源深度學習框架、當代算法以及用于模擬、集成和建模的高級框架——美國國防部標準的戰斗模擬工具。目標是利用人工智能系統通過大規模回放學習、從經驗中概括和改進重復的能力，以加速和豐富作戰概念的發展。

在本報告中，作者討論了人工智能智能體在高度簡化的壓制敵方防空任務版本中精心策劃的協作行為。初步研究結果突出了強化學習 (RL) 解決復雜、協作的空中任務規劃問題的潛力，以及這種方法面臨的一些重大挑戰。

研究問題

• 當代 ML 智能體能否被訓練以有效地展示智能任務規劃行為，而不需要數十億可能情況組合的訓練數據？
• 機器智能體能否學習使用攻擊機、干擾機和誘餌飛機的組合來對抗地對空導彈 (SAM) 的策略？干擾機需要離地空導彈足夠近才能影響它們，但又要保持足夠遠，以免它們被擊落。誘餌需要在正確的時間分散 SAM 對前鋒的注意力。
• 是否可以建立足夠泛化的表示來捕捉規劃問題的豐富性？吸取的經驗教訓能否概括威脅位置、類型和數量的變化？

主要發現

RL 可以解決復雜的規劃問題，但仍有局限性，而且這種方法仍然存在挑戰

• 純 RL 算法效率低下，容易出現學習崩潰。
• 近端策略優化是最近朝著解決學習崩潰問題的正確方向邁出的一步：它具有內置約束，可防止網絡參數在每次迭代中發生太大變化。
• 機器學習智能體能夠學習合作策略。在模擬中，攻擊機與 SAM 上的干擾或誘餌效應協同作用。
• 經過訓練的算法應該能夠相當容易地處理任務參數（資產的數量和位置）的變化。
• 很少有關于成功和不成功任務的真實數據。與用于訓練當代 ML 系統的大量數據相比，很少有真正的任務是針對防空飛行的，而且幾乎所有任務都取得了成功。
• 對于涉及使用大型模擬代替大型數據集的分析，所需的計算負擔將繼續是一個重大挑戰。針對現實威脅（數十個 SAM）訓練現實能力集（數十個平臺）所需的計算能力和時間的擴展仍不清楚。
• 建立對人工智能算法的信任將需要更詳盡的測試以及算法可驗證性、安全性和邊界保證方面的根本性進步。

建議

• 未來關于自動化任務規劃的工作應該集中在開發強大的多智能體算法上。RL 問題中的獎勵函數可以以意想不到的方式徹底改變 AI 行為。在設計此類功能時必須小心謹慎，以準確捕捉風險和意圖。
• 盡管模擬環境在數據稀缺問題中至關重要，但應調整模擬以平衡速度（較低的計算要求）與準確性（現實世界的可轉移性）。

摘要

DARPA 于 2015 年制定了可解釋人工智能 (XAI) 計劃，旨在使最終用戶能夠更好地理解、信任和有效管理人工智能系統。 2017年，為期四年的XAI研究計劃開始。現在，隨著 XAI 在 2021 年結束，是時候反思什么成功了，什么失敗了，以及學到了什么。本文總結了 XAI計劃的目標、組織和研究進展。

1 XAI計劃創建背景

機器學習的巨大成功創造了新的人工智能 (AI) 能力的爆炸式增長。持續的進步有望產生能夠自行感知、學習、決策和行動的自主系統。這些系統提供了巨大的好處，但它們的有效性將受到機器無法向人類用戶解釋其決策和行動的限制。這個問題對美國國防部 (DoD) 尤其重要，它面臨著需要開發更智能、自主和可靠系統的挑戰。可解釋的人工智能對于用戶理解、適當信任和有效管理新一代人工智能合作伙伴至關重要。

可解釋性問題在某種程度上是人工智能成功的結果。在人工智能的早期，主要的推理方法是邏輯和符號。這些早期系統通過對（某種程度上）人類可讀符號執行某種形式的邏輯形式來進行推理。早期系統可以生成其推理步驟的痕跡，然后可以成為解釋的基礎。因此，在如何使這些系統可解釋方面進行了大量工作（Shortliffe & Buchanan, 1975; Swartout, Paris, & Moore, 1991; Johnson, 1994; Lacave & D′?ez, 2002; Van Lent, Fisher, & Mancuso , 2004)。

然而，這些早期的人工智能系統是無效的；事實證明，它們的建造成本太高，而且對于現實世界的復雜性來說太脆弱了。 AI 的成功伴隨著研究人員開發了新的機器學習技術，這些技術可以使用他們自己的內部表示（例如，支持向量、隨機森林、概率模型和神經網絡）來構建世界模型。這些新模型更有效，但必然更不透明且難以解釋。

2015 年是 XAI 需求的轉折點。數據分析和機器學習剛剛經歷了十年的快速發展（Jordan & Mitchell，2015）。在 2012 年突破性的 ImageNet 演示之后，深度學習革命才剛剛開始（Krizhevsky、Sutskever 和 Hinton，2012 年）。大眾媒體對超級智能 (Bostrom, 2014) 和即將到來的 AI 啟示錄（Apocalypse） (Gibbs, 2017, Cellan-Jones, 2014, Marr, 2018) 充滿活力猜測。每個人都想知道如何理解、信任和管理這些神秘的、看似高深莫測的人工智能系統。

2015 年還出現了提供可解釋性的初步想法。一些研究人員正在探索深度學習技術，例如使用反卷積網絡來可視化卷積網絡的層級（Zeiler & Fergus，2014）。其他研究人員正在尋求學習更多可解釋模型的技術，例如貝葉斯規則列表 (Letham, Rudin, McCormick, & Madigan, 2015)。其他人正在開發與模型無關的技術，可以用機器學習模型（作為黑盒）進行試驗，以推斷出近似的、可解釋的模型，例如 LIME（Ribeiro、Singh 和 Guestrin，2016 年）。還有一些人評估可解釋交互的心理和人機交互因素（Kulesza、Burnett、Wong 和 Stumpf，2015 年）。

DARPA 花了一年時間調查研究人員，分析可能的研究策略，并制定計劃的目標和結構。 2016 年 8 月，DARPA 發布 DARPA-BAA-16-53 征集提案。

2 XAI計劃目標

可解釋人工智能 (XAI) 的既定目標是創建一套新的或改進的機器學習技術，以產生可解釋的模型，當與有效的解釋技術相結合時，使最終用戶能夠理解、適當地信任和有效地管理新一代人工智能系統。

XAI 的目標是最終用戶，他們依賴于 AI 系統產生的決策或建議，或者它采取的行動，因此需要了解系統的基本原理。例如，從大數據分析系統接收建議的情報分析師需要了解它為什么建議某些活動，需要進行進一步調查。同樣，執行自主系統任務的操作員需要了解系統的決策模型，以便在未來的任務中適當地使用它。 XAI 的概念是為用戶提供解釋，使他們能夠了解系統的整體優勢和劣勢；傳達對其在未來/不同情況下的表現的理解；并且可能允許用戶糾正系統的錯誤。

XAI 計劃假設機器學習性能（例如，預測準確性）和可解釋性之間存在固有矛盾關系，這一問題與當時的研究結果一致。通常性能最高的方法（例如深度學習）是最難解釋的，而最可解釋的（例如決策樹）是最不準確的。該計劃希望創建一系列新的機器學習和解釋技術，為未來的從業者提供更廣泛的設計選項，涵蓋性能-可解釋性交易空間。如果應用程序需要更高的性能，XAI 產品組合將包括更可解釋、高性能的深度學習技術。如果應用系統需要更多的可解釋性，XAI 將包括性能更高、可解釋的模型。

3 XAI計劃結構體系

該計劃分為三個主要技術領域（technical areas，TAs），如圖 1 所示：（1）開發新的 XAI 機器學習和可解釋技術以產生有效的解釋性；（2）通過總結、延伸和應用可解釋心理學理論，來理解可解釋心理； (3) 在兩個挑戰問題領域評估新的 XAI 技術：數據分析和自主性。

圖1：DARPA的XAI計劃結構，包括技術領域(TAs)和評估框架

最初的計劃時間表包括兩個階段：第一階段，技術演示（18 個月）；第 2 階段，比較評估（30 個月）。在第一階段，開發人員被要求針對他們自己的測試問題展示他們的技術。在第 2 階段，最初的計劃是讓開發人員針對政府評估人員定義的兩個常見問題之一（圖 2）測試他們的技術。在第 2 階段結束時，預計開發人員將向開源 XAI 工具包貢獻原型軟件。

圖2:面臨的挑戰問題

4 XAI計劃開發

2017年5月，XAI計劃開始啟動。選擇了 11 個研究團隊來開發可解釋學習器 (TA1)，并選擇了一個團隊來開發可解釋的心理模型。評估由美國海軍研究實驗室提供。以下總結了這些進展以及該計劃結束時這項工作的最終狀態。 Gunning 和 Aha，2019 年給出了 2018 年底 XAI 發展的中期總結。

4.1 XAI可解釋的學習方法（XAI Explainable Learner Approaches）

該計劃預計研究人員將調查訓練過程、模型表示，以及重要的解釋交互。為模型表示設想了三種通用方法。可解釋的模型方法將尋求開發對機器學習專家來說本質上更易于解釋和更內省的 ML 模型。深度解釋方法將利用深度學習或混合深度學習方法來產生除預測之外的解釋。最后，模型歸納技術將從更不透明的黑盒模型創建近似可解釋的模型。解釋交互被認為是 XAI 的一個關鍵元素，將用戶連接到模型，使他們能夠理解決策過程并與之交互。

隨著研究的進展，11 個 XAI 團隊探索了許多機器學習方法，例如易處理的概率模型 (Roy et al. 2021) 和因果模型 (Druce et al. 2021) 以及強化學習算法生成的狀態機等解釋技術(Koul et al. 2019, Danesh et al. 2021), 貝葉斯教學 (Yang et al. 2021), 視覺顯著圖 (Petsiuk 2021, Li et al. 2021, Ray et al. 2021, Alipour et al. 2021, Vasu et al. 2021)，以及網絡和 GAN 解剖 (Ferguson et al. 2021)。也許最具挑戰性和最獨特的貢獻來自機器學習和解釋技術的結合，以進行精心設計的心理實驗來評估解釋的有效性。

隨著計劃的推進，我們也對用戶范圍和開發時間線有了更深入的了解（圖 3）。

圖3: XAI用戶和開發時間表

4.2 解釋的心理學模型（Psychological Models of Explanation）

該計劃需要對解釋有扎實的心理學理論支持。選擇了一個團隊來總結當前的解釋的心理學理論，以協助 XAI 開發人員和評估團隊。這項工作始于對解釋心理學的廣泛文獻調查以及之前關于 AI 可解釋性的工作（IHMC 文獻調查的參考資料）。最初，該團隊被要求（1）對當前的解釋理論進行總結，（2）根據這些理論開發一個解釋的計算模型； (3) 根據 XAI 開發人員的評估結果驗證計算模型。開發計算模型被證明是一座太極端的橋梁，但該團隊確實對該領域有深入的了解并成功地制作了描述性模型。這些描述性模型對于支持有效的評估方法至關重要，這些評估方法涉及精心設計的用戶研究，按照美國防部人體研究指南進行。圖4說明了 XAI 解釋過程的頂級描述模型。

圖 4：解釋心理模型。黃色框說明了基本過程。綠色方框說明了測試標準。白框說明了潛在的結果。

4.3 評估

最初設想評估基于數據分析和自主性領域內的一組常見問題。然而，很快就很清楚，在廣泛的問題領域中探索各種方法會更有價值。為了評估該計劃最后一年的表現，由美國海軍研究實驗室 (NRL) 領導的評估小組開發了一個解釋評分系統 (ESS)。基于一組領域專家的建議并使用內容有效性比 (CVR) 進行驗證，ESS 提供了一種用于評估 XAI 用戶研究設計的定量機制。 ESS 評估用戶研究的多個要素，包括任務、領域、解釋、解釋交互、用戶、假設、數據收集和分析。 XAI 評價指標如圖 5所示，包括功能性指標、學習績效指標和解釋有效性指標。仔細設計用戶研究以準確評估解釋的有效性至關重要。通常，評估 XAI 算法的性能需要多種類型的度量（參見性能、功能、解釋有效性）。 XAI 用戶研究設計可能很棘手，通常在該計劃中最有效的團隊擁有具有豐富心理學專業知識的人員。

圖5:XAI算法的評估措施

5 XAI計劃開發方法

XAI計劃探討了許多方法，如表1所示。

表1: DARPA XAI計劃的技術方法

6 XAI結果與經驗教訓

在該計劃期間進行了三項主要評估：一項在第 1 階段，兩項在第 2 階段。為了評估 XAI 技術的有效性，該計劃的研究人員設計并執行了用戶研究。用戶研究仍然是評估解釋的黃金標準。在 XAI 研究人員進行的用戶研究中，大約有 12,700 名參與者，其中包括大約 1900 名受監督的參與者，其中個人由研究團隊指導（例如親自或在 Zoom 上）和 10800 名無監督的參與者，其中個人自我通過實驗進行指導，并且沒有受到研究團隊（例如 Amazon Mechanical Turk）的積極指導。根據美國國防部 (DoD) 資助的所有人類受試者研究的政策，每個研究方案都由當地機構審查委員會 (IRB) 審查，然后國防部人類研究保護辦公室審查方案和當地 IRB 調查結果。

在這些用戶研究過程中，確定了幾個關鍵要：

• 與只提供決策的系統相比，用戶更喜歡為決策提供解釋的系統。解釋提供最大價值的任務是用戶需要了解 AI 系統如何做出決策的內部工作原理的任務。 [由跨執行者團隊的 11 項實驗支持]

• 為了讓解釋提高用戶任務表現，任務必須足夠困難，使得AI 解釋會有所幫助。 [PARC, UT Dallas]

• 用戶認知負荷會阻礙用戶解讀解釋的表現。結合上一點，需要對解釋和任務難度進行校準，以提高用戶表現。 [UCLA, Oregon State]

• 當 AI 不正確時，解釋更有幫助，并且對邊緣情況特別有價值。 [UCLA, Rutgers]

• 解釋有效性的衡量標準會隨著時間而改變。 [Raytheon, BBN]

• 與單獨的解釋相比，可取性（advisability）可以顯著提高用戶的信任度。 [UC Berkeley]

• XAI 可用于測量和調整用戶和 XAI 系統的心智模型。 [Rutgers, SRI]

• 最后，由于 XAI 的最后一年發生在 COVID-19 大流行時期，我們的執行團隊開發了設計 Web 界面的最佳實踐，以便在難于面對面研究的情況下進行 XAI 用戶研究。 [OSU, UCLA] Dikkala 2021

如前所述，學習表現和可解釋性之間似乎存在一種自然的矛盾關系。然而，在整個計劃過程中，我們發現了可解釋性可以提高性能（Kim et al. 2021, Watkins et al. 2021）。從直觀的角度來看，訓練系統以產生解釋，通過額外的損失函數、訓練數據或其他機制來提供額外的監督，以鼓勵系統學習更有效的世界表征。雖然這可能并非在所有情況下都是正確的，并且在可解釋的技術何時將具有更高性能時仍有大量工作要做，但它提供了希望，未來的 XAI 系統可以在滿足用戶解釋需求的同時比當前系統具有更高的性能。

7 2021 年 DARPA 計劃之后的世界狀況、AI和 XAI

XAI 目前沒有通用的解決方案。如前所述，不同的用戶類型需要不同類型的解釋。這與我們與其他人互動時所面臨的沒有什么不同。例如，考慮一名醫生需要向其他醫生、患者或醫學審查委員會解釋診斷。或許未來的 XAI 系統將能夠自動校準并向大量用戶類型中的特定用戶傳達解釋，但這仍然遠遠超出了當前的技術水平。

開發 XAI 的挑戰之一是衡量解釋的有效性。 DARPA 的 XAI 計劃幫助開發了該領域的基礎技術，但還需要做更多的工作，包括從人為因素和心理學界中汲取更多信息。需要開發者社區很好地建立、易理解和易實施的解釋有效性衡量標準，才能使有效的解釋成為 ML 系統的核心能力。

加州大學伯克利分校的結果 (Kim et al. 2021) 證明了可取性（AI 系統從用戶那里獲取建議的能力）提高了用戶的信任度，這很有趣。當然，用戶可能更喜歡可以快速糾正系統行為的系統，就像人類可以相互提供反饋一樣。這種可以產生和消費解釋的可取的人工智能系統將是實現人類和人工智能系統之間更緊密合作的關鍵。

為了有效地開發 XAI 技術，需要跨多個學科的密切合作，包括計算機科學、機器學習、人工智能、人為因素和心理學等。這可能特別具有挑戰性，因為研究人員傾向于專注于單個領域，并且經常需要推動跨領域工作。也許將來會在多個當前學科的交叉點上創建一個特定于 XAI 的研究學科。為此，我們致力于創建一個可解釋的 AI 工具包 (XAITK)，它將各種程序工件（例如代碼、論文、報告等）和從 DARPA 為期四年的 XAI 計劃中吸取的經驗收集到一個公開的可訪問的位置（Hu et al. 2021，網址//xaitk.org/ ）。我們相信，在操作環境中部署 AI 功能并需要在廣泛的現實條件和應用領域中驗證、表征和信任 AI 性能的任何人都會對該工具包產生廣泛的興趣。

與 2015 年相比，今天我們對 AI 的理解更加細致入微、不那么戲劇化，或許也更加準確。我們當然對深度學習的可能性和局限性有了更準確的理解。人工智能的末日已經從迫在眉睫的危險變成了遙遠的好奇。同樣，XAI 計劃對 XAI 產生了更細致入微、不那么戲劇化、或許更準確的理解。該計劃無疑起到了促進 XAI 研究（包括計劃內部和外部）的作用。結果對 XAI 的使用和用戶、XAI 的心理、衡量解釋有效性的挑戰以及產生新的 XAI ML 和 HCI 技術組合有了更細致的理解。當然還有更多工作要做，特別是隨著新的人工智能技術的開發，這些技術將繼續需要解釋。 XAI 將在一段時間內繼續作為一個活躍的研究領域。作者認為，XAI 計劃通過為開展這項工作奠定了基礎，做出了重大貢獻。