美國陸軍工程研究與發展中心（ERDC）的研究實驗室目前正在開發仿真工具，以協助開發可選擇的載人、遠程操作和完全自主的車輛，重點是地形與車輛的交互，特別是在冬季地形條件下。其他ERDC實驗室與地面車輛系統司令部（GVSC）一起，重點研究保證位置、時間和導航，該司令部正在進行開發可選擇的載人和自主平臺的研究，主要集中在車輛內部的硬件和軟件，很少強調外部安裝的地形傳感器或冬季操作環境。美國陸軍寒冷地區研究和工程實驗室（CRREL）在冬季和極端環境下進行車輛機動性研究，這在模擬和開發可選的載人和自主車輛方面是需要的。這項工作的范圍是調查人工智能和機器學習對冬季條件下運行的軍用車輛的適用性。本文描述了實現這一目標的初步努力。

自主車輛在民用方面的應用正在成為現實。在智能駕駛輔助方面，第三級車輛自主性（智能巡航控制、行人識別、自動剎車、盲區傳感器、罕見的交叉交通警報、避免碰撞等）已在商業和私人車輛上使用多年。第四和第五級自主性（有監督的自主性和完全無監督的自主性）目前正在試驗中。盡管在民用領域取得了重大進展，但軍用車輛的自主性仍然是一項相當具有挑戰性的任務。軍用自主車輛的主要區別是：非公路運行、未知地形的運行，以及在開放空間完全重新規劃路線的可能性。這種環境要求智能自主控制算法和環境感知與工業界的民用應用不同。具體來說，需要解決先進的和當前的地形感知、檢測無法通行的路線、確定可通行的替代路線和車輛在空地上的改道，以及針對特定地形條件和車輛的最佳車輛控制等任務。提交的工作描述了在解決其中一些挑戰方面的最新進展。結果表明，其中一些挑戰可以通過機器學習和人工智能算法成功解決，從而為軍用車輛的人工駕駛提供實質性幫助。

研究方法

絕大多數關于自主車輛的文獻都是在城市條件下的駕駛。非公路車輛沒有道路指引其軌跡，也沒有一致的駕駛地面，還必須考慮不平坦的三維地形、三維方向。這主張使用更復雜的人工智能方法，如PilotNet卷積神經網絡，最近通過攝像機記錄72小時在不同城市條件下的成功駕駛，并使用這些數據作為訓練集，來教車輛自我轉向（Bojarski等人，2017）。另一方面，在不使用神經網絡的情況下，收集了大量關于傳統自動車輛控制的知識。例如，DARPA 2005年挑戰團隊的獲勝者沒有使用神經網絡，而是依靠更傳統的自動控制算法來自動控制他們的機器人斯坦利（Thrun等人，2006）。為了利用這些知識，同時又與越野作業的挑戰性要求相關，我們建議實施一種混合方法，將人工智能和經典控制方法結合起來。

具體來說，我們建議使用神經網絡來持續確定和更新車輛行駛的地形類型，以及車輛的 "臨界值"，即車輛沿途必須遵守的行動限制，如允許的最大速度、最大的加速和減速率，以及車輛的范圍和最大的轉向率。將使用兩種人工智能算法。一個用于自動地形分類，另一個用于預測由第一個算法確定的地形類型的關鍵控制值。通過使用神經網絡來預測臨界值，車載自主控制系統不需要專門考慮所有的地形類型和方向，而是適當地定制，以便根據當前的駕駛條件實時調整。圖3概述了模型的結構。當前的地形估計、地形類型和條件、期望的軌跡和車輛狀態將被用來預測速度、最大加速/減速率和轉向的關鍵約束。這些值將作為傳統的剎車/油門的比例積分衍生（PID）控制器和轉向的模型預測控制（MPC）控制器的目標值。然后，實際的車輛狀態將被評估，地形、臨界值和路線將被相應地更新，直到車輛到達預期的目的地。

圖3. 擬議的混合自主控制方法的結構：使用神經網絡預測給定地形類型、車輛方向、地形和表面條件的臨界值，并設置為自適應MPC或PID控制器的目標。

在作戰系統的框架,指揮和控制系統(C2)允許指揮官及其團隊在接近實時的管理:(i)電子系統,(2)傳感器,(3)電子戰(iv)效應器,為了生成態勢感知(SA)和確保戰術控制區域。

人工智能(AI)并不是什么新事物，但最近深度學習(Deep Learning)方面的進展已經引發了該領域的極大興奮。研究目標是開發基于人工智能和候選解決方案的新方法，以減少信息過載，提高態勢感知和支持決策過程。為了實現這一目標,重要的是在使用人工智能識別約束和目標,確定角色和人工智能更適合的問題,定義流程和開發實驗所需的工具,為績效評價定義度量,和描述適用的驗證和確認過程。

因此，必須開始進行分析和試驗，以核實所有有關問題都從操作、技術和工業的角度得到適當處理。其中一些分析/實驗必然需要終端用戶的支持，因為任何解決方案如果不符合用戶的概念和期望，就注定會失敗。此外，這些創新方法強烈依賴于真實數據的可用性，這對AI算法的適當訓練至關重要。

美國海軍和國防部（DOD）正在優先考慮在各戰爭領域迅速采用人工智能（AI），以保持對美國有利的技術優勢。機器學習（ML）是最近人工智能發展的基礎，它存在著一個持續的、沒有得到充分解決的關鍵缺陷：對抗性樣本。自2013年發現以來，在深度神經網絡（DNN）分類器中出現了許多新形式的對抗性樣本攻擊，并提出了許多狹義和特殊的防御措施。這些防御措施都沒有經受住反測試。一些研究人員提出，這種易受攻擊性可能是不可避免的。到目前為止，還沒有發現有效的、可計算的、通用的方法，可以加固DNN，使其免受這種和相關的泛化問題的影響。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以通過將模型分類空間數據密集區之間的數據點稀疏的潛在空間，作為障礙隔離來改進。我們研究了兩種不同的方法來實現這種對基于對抗性樣本的攻擊防御，測試這些防御對最有效的攻擊，并將結果與現有的技術狀態的防御進行比較。

第一章 引言

人工智能（AI）已被提出來作為推進國防部能力的一個關鍵推動因素。人工智能國家安全委員會在其最終報告中寫道："如果我們的武裝部隊不加速采用人工智能，他們的軍事技術競爭優勢可能會在未來十年內喪失"，建議 "美國現在必須采取行動，將人工智能系統投入使用，并在人工智能創新方面投入大量資源，以保護其安全，促進其繁榮，并保障民主的未來" [1]。鑒于人工智能或更具體地說，深度神經網絡（DNN）中的機器學習（ML）最近在科學和工業領域取得了廣泛的突破，這種關注無疑是恰當的。然而，在國防應用中利用ML和其他現代 "深度學習 "方法并非沒有其固有的附加風險。

最近的人工智能主張已經近乎夸大其詞；當然，在與軍事和文職領導層的高層溝通中，也發生了一些夸大其詞的情況。作為這種夸張的例子，參考一下《2019年美國總統經濟報告》是如何向美國領導人介紹機器視覺方面的人工智能狀況的。在第343頁題為 "2010-17年人工智能和人類的圖像分類錯誤率 "的圖表中，它顯示了 "人類分類 "錯誤率與機器分類錯誤率將在2015年超過人類圖像分類能力。對這一說法仔細考慮并對參考研究甚至是當前最先進研究進行檢查，顯示這一特殊的發展仍然是一個遙遠的、尚未達到的里程碑。

1.1 深度學習的突破

即使ML仍然存在挑戰，近年來，機器學習在科學、工業和商業領域的成功應用也在急劇增加。深度神經網絡已經在自然語言處理、天文學、癌癥診斷、蛋白質折疊、語音識別和機器視覺等不同領域取得了巨大的進步[2]-[8]。因此，這類系統的潛在軍事應用同樣比比皆是：分析頻譜上下的聲學和電磁傳感器數據、機器視覺、尋找-修復-跟蹤和瞄準對手的飛機、地下、水面和陸地戰斗人員、人類語言處理、語音識別、自主空中/地面/地下/陸地車輛、信息戰、情報、監視和偵察（ISR）整合、機器人技術、網絡防御、網絡攻擊、戰術決策輔助，等等。

1.2 深度學習的脆弱性

盡管這項技術帶來了巨大進步，但目前的ML分類方法創建的模型在其核心上是有缺陷的，因為它們非常容易受到對抗性樣本攻擊和相關欺騙技術的影響[9]。廣義上講，文獻中定義的這類攻擊有三類：探索性攻擊、逃避性攻擊和中毒性攻擊。在本報告中，我們主要關注防御我們認為最關鍵的需求，即逃避攻擊。為了提供背景，我們簡要地概述了這三種攻擊。探索性攻擊，對手并不試圖實現錯誤分類，而是試圖通過精心設計輸入來獲得模型的知識，這些輸入的結果將提供關于模型內部狀態的信息，其目的是減少模型的不確定性，以支持未來的攻擊。中毒攻擊試圖在訓練期間修改模型，以偷偷地完成模型的一些未被發現的行為變化。最后，在逃避攻擊中，攻擊者不知不覺地修改了人工制定或模型的輸入，以產生分類的變化，從良性的或最初設定的類別到一些其他的、欺騙性的不真實的類別[10]。這最后一類是我們防御的重點，從這一點出發，我們把這些簡單地稱為對抗性樣本攻擊[11]。

自從2013年最初發現DNN分類器中的對抗性攻擊（逃避）以來，已經出現了許多種這樣的攻擊，并且至少提出了同樣多的狹義的特定防御措施作為回應。不幸的是，到目前為止，所提出的防御措施沒有一個能經受住反測試和適應性攻擊[12]。一些研究人員提出，這種易感性可能是空間中問題表述的一個不可避免的特征[13]。目前，還沒有發現一種有效的、計算上可接受的、通用的方法，可以支撐DNN對抗類似的相關的泛化問題[12], [14]。

1.3 國防部（DoD）的影響

在國防部的范圍內，大家都承認欺騙在戰爭中起著核心作用。因此，戰爭系統必須被設計成對欺騙有高度的適應性[15]。馬基雅弗利在“Prince”中寫道："......雖然在任何行動中使用欺騙都是可憎的，但在發動戰爭時，它是值得稱贊的，并能帶來名聲：用欺騙征服敵人與用武力征服敵人一樣受到稱贊。" 對孫子來說，這甚至是更重要的因素，"所有的戰爭都是基于欺騙"。在國防應用中，至關重要的是，不僅系統在戰斗開始時就如設計之處那樣工作，而且它們應該具備有彈性對狡猾的、有同樣資源和動機的對手的潛在計劃。

誠然，ML在民用和科學方面已經取得了巨大的成功。盡管民用工業技術領域與軍事技術需求有很大的內在交集，但應該注意到，后者并不是前者的完美子集。也就是說，戰爭的現實要求其技術必須為虛假信息和故意欺騙的行動、展示和通信做好準備。這兩個領域之間的這些不同假設意味著，在一個領域已經準備好的東西，在另一個領域可能還沒有準備好。在整個國防部，納入這些技術的系統正在被考慮、開發，在某些情況下已經被采用，目的是增強或取代我們一些最關鍵的國家安全能力。在軍事應用中，特別是武器系統和殺傷鏈內的系統，必須消除或至少減少對抗樣本，并對其進行補償，使故障呈現最小的風險。其余的風險必須被明確指出、發現并被作戰人員充分理解。不仔細和充分地解決這個問題是不可想象的，否則我們就有可能采用脆弱性技術，將災難性的漏洞引入我們關鍵戰爭系統。

1.4 增強防御措施

在防御基于機器學習技術的系統不受欺騙的潛在戰略背景下，我們介紹了一種防御措施。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以在模型分類器的分類空間數據密集區之間的數據點稀疏潛在空間中插入一個 "填充 "或 "屏障 "的方法來提高[13], [16]。我們相信，通過統計學插值或采用變分自動編碼器（VAE）[17]或生成對抗網絡（GAN）[18]來插值和投射到這個空間的模型可以創建人工填充類樣本來增加數據集，所產生的模型將能夠成功地區分合法數據點和對抗性樣本，同時保持與最先進分類方法相稱的準確性。

摘要

在 2016 年人工智能促進協會 (AI) 發表的講話中，當時的協會主席呼吁 AI 為了魯棒性而犧牲一些最優性 [1]。對于 AI，魯棒性描述了系統在各種情況下保持其性能水平的能力 [5]。通過機器學習開發和驗證高質量模型面臨著特殊的挑戰。一般公認的大多數人工智能需要魯棒的原因包括：

? 訓練和運行數據的不確定性；

? 輸入來自不同訓練集，但在統計上或語義上與訓練群體一致；

? 訓練群體之外的輸入；

? 用有限的數據學習；

? 面對新穎的情況，需要不同于學習策略和分類器的開發方式；

? 對抗性行動。

此外，對于人類 AI 協作團隊，人類必須適當地信任 AI 系統；因此，透明度也可以被視為魯棒性問題。混合戰爭為人工智能的魯棒性帶來了額外的挑戰。決策的不同性質和必要的決策支持擴大了所需模型的范圍。在不同條件下開發的模型組合使用會影響可以對復合系統質量做出的統計聲明。

如果我們需要魯棒性，我們必須考慮它的度量。對與上述條件相關的魯棒性研究的調查，提供了一系列可能的措施。北約聯盟實施的混合戰爭需要了解所使用能力的魯棒性。在本文中，我們從當前文獻中調查了魯棒性度量的前景。在這樣做的過程中，我們有助于了解聯盟內部各種模型和軟件的組合。

1 引言

現代混合戰爭不僅包括傳統戰爭，還包括政治和網絡戰爭（以及其他），其越來越依賴人工智能 (AI) 在日益復雜的環境中執行任務。許多現代 AI 實現都是使用機器學習 (ML) 技術構建的，使用數據旨在來表示預期的情況。這意味著：

? 大多數當前的 AI 構建塊都是為特定目的而構建的，雖然旨在泛化以支持現實世界的輸入，但并不總是能夠處理不熟悉的情況（輸入）。它們是“黑盒”設計，可以實時或近乎實時地執行復雜的決策或環境解釋（分類），但通常只能為已知輸入產生可靠的答案。

? 如果提供以前從未見過的信息或通過人類可能察覺不到的攻擊，人工智能構建塊通常很容易被愚弄和混淆。

從本質上講，我們正在處理的是一個易受影響的問題：現代 ML 解決方案，實際上還有其他 AI 解決方案，本質上很容易被他們不熟悉的數據所欺騙 [2] [3]。例如，這使得依賴于它們的指揮和控制 (C2) 決策樹邏輯容易發生故障。當然，我們想知道如何通過確保利用人工智能的 C2 對故障具有魯棒性來保護自己免受此類漏洞的影響。

總結：

? 許多機器學習方法天生就容易受到環境變化和攻擊的影響；

? 因此，依賴機器學習（主要基于神經網絡（NN））的人工智能系統本質上是脆弱的；

? 因此，必須使依賴人工智能的混合戰爭變得強大。

1.1 魯棒性

ML 方法的訓練和運行都基于以下幾個方面：（1）輸入數據，（2）內部結構，以及（3）學習算法。機器學習的脆弱性可能是由許多因素造成的。出于本文的目的，我們假設網絡內部結構是靜態的、足夠強大且安全的，雖然還有許多其他因素，但我們考慮了兩個主要方面：(a) 訓練數據不佳，(b) 以前未使用的業務數據。因此，我們的重點是 ML 解決方案的輸入數據。

天真地，我們假設 ML 方法（尤其是 NN）是使用高質量（“好”）輸入數據訓練的：在運行期間可能期望 選擇性表示AI 處理的輸入范圍。這個想法是，在運行過程中，人工智能可以為運行數據產生“正確”的決策，這些決策與訓練它的數據相似。換句話說，人工智能必須能夠進行插值，并且在某種程度上還可以推斷其原理。

在最壞的情況下，糟糕的訓練數據會導致訓練出不符合目的的機器學習模型，或者在最好的情況下會導致生成“愚蠢”的模型；也就是說，只能做出具有高度不確定性的模糊決定。然而，在數據質量范圍的另一端也存在危險，因為雖然“好的”訓練數據可能會產生一個可以做出非常準確的決策的模型，但它可能只能使用窄范圍的輸入數據來做到這一點。當然，我們希望機器學習既能滿足其性能要求，又能適應它最初沒有訓練過的新環境；即能夠處理新穎事物場景。

因此，ML 的一個重要目標是構建一種泛化良好的能力。在狹窄的應用程序中，我們希望確保在環境樣本上訓練過的模型能夠像宣傳的那樣在整個環境中工作。最終，我們希望人工智能面向復雜環境的處理能力，可針對所有現實，或者至少是人類感知的所有現實。從某種意義上說，這完全涵蓋了所有情況，沒有新的情況。如果我們觀察牛頓宇宙并且擁有巨大內存量，那么所有情況都可以從當前數據中預測出來。但是，由于我們對宇宙建模的能力受到嚴重限制，因此可能會經常出現新穎情況。在不可能為復雜環境訓練模型的前提下，當這些模型被引入現實世界時，模型應該能應對各種突發情況。

因此，表征模型的魯棒性具有挑戰性，需要考慮模型的不同方面的魯棒性。雖然有許多可用的魯棒性定義，但應區分用于傳統軟件魯棒性的定義，例如 IEEE 24765[4] 的定義，以及與 AI 模型相關的定義。本文中使用 ISO CD22989 [5] 中提供的定義：

魯棒性是“系統在任何情況下保持其性能水平的能力。魯棒性屬性表明系統有能力（或無能力）在新數據上具有與訓練它的數據或典型運行數據相當的性能。”

1.1.1 魯棒性度量

在定義了術語“魯棒性”之后，由于本文的重點是魯棒性度量，我們現在將定義術語“度量”，應用于魯棒性。為了在編寫定義時為我們的思考過程提供信息，確定度量魯棒性可能具有的各種目的以及利益相關者可能是誰，是有用的。由于魯棒性度量的目的和要求將取決于 ML 模型的生命周期階段，因此我們分析了生命周期階段的目的。

盡管許多 ML 模型將基于 NN，但我們的分析擴展到涵蓋 ML 類型和架構的不同變體，并指出 ML 的主要變體是：NN、決策樹和強化學習。

在 ML 模型設計和開發階段，開發人員將試驗模型設計并調整模型的架構和參數，以優化模型的性能。在這個階段，魯棒性度量的目的既可以是提供一種在進行這些更改時度量魯棒性改進的方法，也可以描述模型如何表現魯棒性。此外，不同模型的開發人員之間商定的度量標準將允許在模型設計之間進行可靠的比較。

在系統設計階段，在選擇現成的ML模型納入整個系統時，度量魯棒性將通過提供一種方法來比較一個模型與另一個模型的魯棒性水平和性質，從而為系統設計者提供關于模型選擇的決策信息。

在部署之前，安全從業人員將使用魯棒性度量來為包含 ML 的系統的安全風險評估提供信息。具體來說，該度量將為 ML 模型的漏洞分析提供信息，若該模型具有低魯棒性，則表示攻擊者可以利用漏洞。

最后，在部署階段，從單個 ML 組件的魯棒性度量中得出的整體系統魯棒性度量，將支持最終用戶對系統輸出或行為的信任和信心。

鑒于上述使用范圍和相關利益者，出于本文的目的，我們將有意保留術語“度量”的寬泛定義。我們的定義超出了純粹的測量或量化行為，包括我們如何描述或表征 ML 在任何特定環境中的魯棒性。因此，我們將本文的其余部分基于以下定義：

魯棒性度量是 ML 模型在其生命周期中可能面臨的各種挑戰的魯棒性的度量或表征。特定度量的精確性質將取決于 ML 模型的類型、模型旨在完成的任務、以及模型所處生命周期的階段。

1.2 方法論和論文結構

在考慮魯棒性度量時，我們通過提出“面對……什么的魯棒性？”這個問題開始分析。這生成了一個 ML 模型可能面臨的情況列表，在這些情況下，它們的魯棒性可能會受到挑戰。我們稱這些為“面對”條件。

? 訓練和運行數據的不確定性；

? 不同于訓練集的輸入，但在統計上或語義上與訓練群體一致；

? 訓練群體之外的輸入；

? 用有限的數據學習；

? 新穎的情況，不同于學習策略和分類器的開發方式；

? 對抗性行動；

我們的文獻檢索提供了許多關于魯棒性的先前研究，對于每一項，我們都試圖確定它們適合哪些類別。雖然這并不總是顯而易見的，但它似乎代表了一種構建分析合乎邏輯的方式。因此，在以下段落中，我們嘗試以這種方式對文獻檢索中的單個研究進行分類。

對于每個類別，我們描述了每個魯棒性挑戰的性質和細節，然后是用于度量魯棒性的度量指標類型。盡管本文中對魯棒性的審查不包括混合戰爭示例，但所討論的內容適用于混合戰爭方法。

2 挑戰和度量方法

2.1 訓練和運行數據的不確定性

能夠處理訓練和運行數據中的不確定性對于 AI 來說至關重要，它代表了當前 ML 系統的關鍵組成部分，尤其是那些在軍事領域等危急情況下使用的系統。

2.1.1 挑戰

在 ML 中，目標是在給定的成本函數情況下，學習最適合訓練數據的模型參數。然后，部署該模型以獲取對新數據和未見過數據的預測。作為訓練過程的結果，任何學習模型都帶有不確定性，因為它的泛化能力必然基于歸納過程，即用數據生成過程的一般模型替換特定觀察[6]。盡管研究界做出了許多努力，但沒有任何現有的 ML 模型被證明是正確的，因為任何可能的實驗都嚴重依賴于假設，因此當受到以前未見的輸入數據影響時，每個當前的 ML 模型輸出仍然是不確定的。

不確定性在統計領域有著悠久的歷史，從一開始，它就經常被聯系起來并被視為一個類似于標準概率和概率預測的概念。然而，在最近，由于當前對 ML 的炒作以及如今基于此類解決方案的系統正在控制我們的日常生活，研究界對此類概念的興趣越來越大。這首先是出于安全要求，為此需要新的方法來應對。

在現有文獻中討論 ML 不確定性的不同方法中，可以根據所考慮的不確定性類型對它們進行聚類。當前的大多數作品都解決了偶然或認知不確定性。

2.1.1.1 偶然和認知不確定性

對 ML 中的不確定性進行建模的傳統方法是應用概率論。這種概率建模通常處理單個概率分布，因此忽略了區分偶然不確定性和認知不確定性的重要性 [7] [8]。

偶然不確定性：我們可以將其稱為統計不確定性，它源于實驗結果可變性的隨機性概念。簡而言之，當提到偶然不確定性時，我們隱含地指的是即使存在任何其他信息源也無法減少的不確定性。讓我們通過一個非常基本的例子來描述這一點：假設我們想要模擬拋硬幣的概率結果。我們可以定義一個概率模型，該模型能夠提供頭部或尾部的概率，但不能提供保證的結果。這種不確定性定義了總不確定性的不能復歸的部分。

認知不確定性：也稱為系統不確定性，這是由無知/缺乏知識決定的總不確定性的一部分。這種不確定性是由于機器學習系統的認知狀態造成的，并且可以通過附加信息來減少。例如，假設我們有一個 ML 模型學習一門新語言，并且給它一個新詞，它應該猜測它是指頭還是尾。智能體對正確答案的不確定性與預測拋硬幣時一樣不確定，但是通過在情況中包含額外信息（即提供同義詞或解釋單詞的正確含義），我們可以消除任何不確定性在答案中。因此應該很清楚，與偶然性相反，認知不確定性定義了總不確定性的可還原部分。

既然我們已經定義了偶然不確定性和認知不確定性，我們將考慮有監督的 ML 算法以及這兩種不同類型的不確定性如何在 ML 中表示。

在監督學習環境中，我們可以訪問由 n 個元組 (xi,yi) 組成的訓練集 D = {(x1,y1),…,(xn,yn)}，其中 xi （屬于實例空間 X）是包含特征的第 i 個樣本 (即，測量值），而 yi 是來自可能結果集 Y 的相關目標變量。

在這種情況下，ML 算法具有三個不確定性來源：

? 偶然不確定性：通常，X 和 Y 之間的相關性不是確定性的。因此，對于給定的輸入 xi，我們可以有多個可能的結果。即使存在完整的信息，實際結果 yi 也存在不確定性。

? 模型不確定性：為解決給定問題而選擇的模型可能遠非最適合該任務的模型。這是由于模型的正確性和假設的正確性存在不確定性。

? 近似不確定性：通過優化過程學習的模型參數只是對真實假設的估計。這種估計是由于在學習過程中使用的數據缺乏保真度。

模型和近似不確定性都代表認知不確定性。

應該注意的是，對于 ML 算法，偶然不確定性和認知不確定性在很大程度上取決于環境。例如，通過允許學習過程改變最初定義的場景的可能性，可以減少偶然不確定性以支持認知不確定性；也就是說，原始環境中的偶然不確定性并沒有改變，而是通過改變環境而改變（類似于在擲硬幣的例子中加權硬幣的一側）。相反，如果我們考慮一個固定的初始場景，我們知道認知不確定性（即缺乏 ML 算法知識）取決于學習過程中使用的數據量（多少觀察）。由于訓練樣本的數量趨于無窮大，機器學習系統能夠完全降低逼近不確定性。

2.1.2 表示不確定性的機器學習方法

表示不確定性的不同 ML 方法具有不同的能力，可以根據以下內容進行聚類： (i) 表示不確定性的方式； (ii) 如果處理兩種類型的不確定性（偶然性和認知性）中的兩種或僅一種； (iii) 如果他們提供了任何可用于提供不確定性數量粗略估計的解決方案。

2.1.2.1 高斯過程

高斯過程 (GP) [9] 是一種用于監督學習的通用建模工具。它們可用于泛化多元隨機變量的貝葉斯推理和函數推理。在分類的情況下，GP 具有離散的結果，不確定性定義的困難在于知識的表示，然后將其識別為模型的認知不確定性，就像在貝葉斯方法中一樣。在回歸的情況下，可以將偶然不確定性（即誤差項的方差）與認知不確定性區分開來。

2.1.2.2 最大似然估計和Fisher信息數

在機器學習中，最大似然估計原理起著關鍵作用。事實上，如果一個模型可以“非常接近”似然函數的最大值，這意味著數據的微小變化可能對估計的影響有限。如果似然函數是平滑的，它可能是一個很好的指標，表明估計存在高度的不確定性，這可能是由于許多參數的配置具有相似的似然性。

在 ML 中，我們經常利用 Fisher 矩陣 [10] 來表示認知不確定性的數值 [11]。

2.1.2.3 生成模型

生成模型可用于量化認知不確定性。考慮到這些方法的概率性質，這些方法旨在模擬數據分布的密度，通過確定給定數據是否位于高密度或低密度區域，這些模型隱含地提供有關認知不確定性的信息。這一類別中最相關的工作是基于核密度估計或高斯混合，最近在深度自動編碼器方面取得了一些進展[12]。

密度估計是處理異常和異常值檢測方法的關鍵要素，后者只是一個分類問題，當樣本位于低密度區域時，它被認為是分布之外的問題。這樣的成果反而捕捉了偶然的不確定性。

一般來說，生成模型解決了一個非常具有挑戰性的問題，需要大量數據才能正常工作，并且通常具有很高的不確定性。

2.1.2.4 深度神經網絡

人工深度神經網絡 (DNN) 本質上是一個概率分類器，我們可以將訓練 DNN 的過程定義為執行最大似然推理。這導致模型能夠生成給定輸入數據的概率估計，但不能提供有關其概率置信度的詳細信息：捕獲了偶然的不確定性，而沒有捕獲認知。盡管如此，后者通常被稱為模型參數的不確定性。在文獻中，最近有一些作品 [13] [14] 試圖通過將貝葉斯擴展引入 DNN 來模擬這種認知不確定性。

2.1.2.5 模型集成

模型集成（Model Ensembles ）模型類的常見示例是 bagging 或 boosting。這種方法非常受歡迎，因為它們可以通過產生一組預測而不是單個假設來顯著提高點預測的準確性[15]。可以包含在此類中的最相關的工作是隨機森林模型 [16]。此類別中的方法主要關注整體不確定性的任意部分。

2.1.2.6 Credal 集和分類器

Credal 集（Credal Sets）是一組概率分布，它是貝葉斯推理推廣的基礎，其中每個單一的先驗分布都被一個候選先驗的Credal 集所取代。作品 [17] [18] 研究如何定義Credal 集的不確定性以及相關表示，定義了存在于Credal 集中的兩種類型的不確定性：由于隨機性導致的“沖突”和“非特異性”。這些直接對應于任意和認知的不確定性；通常使用 Hartley 函數 [19] 作為標準不確定性度量； [20] 還定義了一種工具，可用于評估 ML 系統在面對訓練和操作數據的不確定性時的魯棒性。如果我們知道給定隨機變量的未知值在給定的有限集中，Hartley 函數可用于評估不確定性。此外，已經通過類似 Hartley [80] 和廣義 Hartley [81] 措施提出了對無限集的擴展。

2.2 與訓練集不同但在統計上或語義上與訓練群體一致的輸入

在運行期間，分類器為輸入數據的每個樣本分配一個類標簽。考慮到上述魯棒性的定義，類內可變性，即分配到同一類的所有樣本之間的可能變化，隱含地包含在用于學習分類器的訓練數據集中。

2.2.1 對語義數據變體的魯棒性

使用更具建設性的方法來定義魯棒性有助于更好地模擬用戶對分類器性能的期望。為此，如果分類器對于輸入數據的所有有意義的變體是不變的，我們將暫時稱其為魯棒分類器。顯然，所有有意義的變體的集合取決于應用場景，這通常很難描述。然而，對于許多分類問題，這種有意義的變體可以分為兩類：（i）物理修改（例如，噪聲添加、混合失真、裁剪、旋轉、縮放）和(ii) 輸入樣本的語義修改（例如發音的不同方式）。圖 1(1) 說明了手寫數字分類示例的這兩類可能變體。我們考慮書寫數字“9”的不同變體。而（如圖 1 所示）噪聲添加 (a) 和混雜失真 (b) 可被視為屬于第一類，第三類 (c) 在數字“9”上添加一個小弧線是有意義的（句法）變體，特別是不同國家的當地文化，它使符號（“九”）的語義保持不變。

圖 1 (1) 手寫數字 9 的可能數據變體，(2) 使用變分自動編碼器 (VAE) 重建的數字 3、8、9 的空間，該編碼器對來自 MNIST 語料庫的各個數字進行訓練，(3) 對應的潛在空間表示顏色編碼數字類型。

2.2.1.1 物理魯棒性

AI/ML 相對于第一類變體的魯棒性，尚未得到令人滿意的解決，但近年來已在相當程度上得到解決。在許多涉及對第一類變體的魯棒性的出版物中，基礎數據樣本被建模為歐幾里得向量空間中的向量。然后通過將范數有界向量添加到數據樣本來對失真進行建模。這里，通常使用 Lebesguetype 范數（lp norms）（特別是 l1、l2 和 l∞）。在一篇被廣泛引用的論文 [20] 中表明，這種 l2 范數有界的“對抗性攻擊”可用于在基于神經網絡的分類器中導致錯誤分類。隨后，在對抗性攻擊和相應的保護方法領域做了很多工作（本文稍后將進一步詳細討論）。結果表明，在許多情況下，攻擊很難檢測到，并且對于當時最先進的方法，可以繞過檢測 [21]。顯然，在這種情況下的魯棒性需要保護免受對抗性攻擊。在這種對抗性攻擊環境中定義魯棒性的許多方法可以在一個通用框架下捕獲，如 [22] 所示。

2.2.1.2 語義魯棒性

第二類，數據樣本的語義上有意義的變體，導致了迄今為止很大程度上尚未解決的重大挑戰。相應地，在[68]中，對所謂的感知擾動的魯棒性被稱為一個開放的研究問題。盡管現代基于 AI 的分類器，特別是深度神經網絡，在眾所周知的公共分類挑戰上取得了破紀錄的改進，但相比之下，它們的判別性自然不會導致分類結果的易解釋性。近年來，整個研究分支都集中在可解釋的 AI 上，即，研究通過給定分類器對映射到相同類別的樣本集進行形式化甚至語義化的方法。

理解分類器語義的一個重要方法是將成功的判別分類器與生成模型結合起來。生成方法的優點是可以使用這些模型生成來自原始（樣本）空間的示例。一種結合分類器和生成模型的成功方法是生成對抗網絡（GAN）[24]。

也可以適用于分類的生成模型是（變分）自動編碼器（VAE）[25]。自動編碼器的基本思想是通過訓練一個深度神經網絡來學習原始數據的緊湊表示，該網絡在兩端具有全維（相對于原始數據）層，中間有一個稀疏的“瓶頸”層。圖 1 (2) 和 (3) 說明了如何使用 VAE 來“理解”網絡學習的類別：(2) 顯示了一組具有代表性的重構，這些重構是由經過訓練的 VAE 的生成部分獲得的，用于對 MNIST 數據集的數字“3”、“8”和“9”進行分類。因此，在某種意義上，（2）總結了分類器準備識別的內容。在圖 1 的右側，（3）顯示了從 VAE 的分類器分支獲得的輸入樣本（即 MNIST 數字）的潛在空間表示。顏色對三個數字進行編碼。潛在空間點和重構樣本之間的對應關系如箭頭所示。在藍色中，繪制了將 9 的流形與其他數字分開的曲線，以指示學習的分類邊界。考慮到這個例子，我們注意到上述變體 (c) 在重建部分 (2) 中沒有很好地表示 - 考慮到語義庫受到北美書寫數字風格的偏見，這并不奇怪。因此，為了使分類器對變化 (c) 具有魯棒性，必須應用額外的措施，例如增加或添加到訓練數據中。

基于生成模型，Buzhinsky 等人[26] 提出了幾個指標來衡量分類器對“自然”對抗樣本的魯棒性。為此，他們提出了一組在潛在空間中工作的六個性能指標，并隨后顯示了上述經典對抗魯棒性和“潛在對抗魯棒性”之間的聯系，即對潛在空間擾動的魯棒性。后者的有趣之處在于，幾個示例的潛在空間擾動已被證明與原始樣本空間中語義上有意義的變體相對應。

我們注意到經典的對抗魯棒性已經可以用于獲得關于小范數有界擾動的人工智能分類器的“認證”魯棒性。然而，語義魯棒性更難以形式化，并且與正確理解和建模目標類密切相關。為此，生成模型是一個重要的工具。諸如投影信念網絡 (PBN) 等新概念，即基于前饋神經網絡結構的分層生成模型，具有易于處理的似然函數的優勢，在該領域非常有前景 [27]。

最近的一項工作 [75] 涉及一種稱為復雜事件處理的 ML 形式，其中融合了來自多個傳感器的具有空間和時間關系的多模態輸入，以允許深度學習模型推斷特定類型的事件，例如槍聲或爆炸。此類事件被稱為“復雜事件”。因此，魯棒性的概念并不適用于模型本身，而是適用于機器學習功能所包含的整個組件系統。該研究聲稱，（a）人類邏輯在基于模式和序列預定義復雜事件中與（b）來自單個傳感器的深度學習推斷相結合，提高了系統對錯誤分類的魯棒性。

2.3 訓練群體之外的輸入

在 [78]中，Ashmore 等人識別一組關于輸入域及其子集的定義：I 輸入域空間——模型可以接受的輸入集； O，運行域空間——模型在預期運行域中使用時可能預期接收的一組輸入； F，故障域空間——如果系統其他地方出現故障，模型可能接收到的一組輸入； A，對抗域空間——模型在被對手攻擊時可能收到的一組輸入；其中 O、F 和 A 都是 I 的子集。這些定義不僅在考慮訓練群體之外的輸入（可以從 O、F 或 A 中得出）時很有用，而且在推理模型的輸入時更普遍。

小的、像素空間的擾動，人類可能察覺不到，通常使用 lp 范數測量擾動幅度，是評估模型魯棒性的合理方法（將在 2.6 節后面討論）；特別是在對抗性攻擊的可能性更高的混合戰爭領域。然而，在考慮評估模型的魯棒性時，這些小擾動不一定適用于 Ashmore 的攻擊域空間 (A) 之外。最近，獨立的工作 [79] [80] 已經開始研究擾動模型的輸入，使其遠離經常討論和研究的小擾動方法，而不是生成被認為與環境相關且人類可區分的擾動：這些擾動看起來會在輸入上引入純粹、模糊或朦朧等（這可以合理地代表來自 F 或 O 的輸入）。

此外，在 [80] 中，作者建議對語義相關的圖像引入有意義的擾動，但這些擾動可能尚未包含在模型訓練集中；例如，例如，將一群鵝引入一個場景，在這個場景中，模型正在識別停車場中的車輛數量。雖然最后一類有意義的擾動顯然是 Ashmore 的輸入域空間 (I) 的一部分，但可以說，如果訓練數據集不足，這些語義相關的擾動也可以被視為運行域空間 (O) 的一部分。有趣的是，[80] 還發現，當增加系統對小擾動的魯棒性時，模型在處理語義上有意義的擾動時可能變得不那么魯棒，因此考慮評估模型對這兩種擾動類型的魯棒性顯然很重要。

為了評估模型對這種語義上有意義或環境相關的擾動的魯棒程度，[80] 的作者提出了一種用于引入擾動的滴定方法，這樣可以逐步測量在模型的準確性變得可疑之前引入擾動（例如，通過其置信度或已知基礎事實的分類變化）。當考慮模型在預期的運行域空間中的應用時，這提供了一個進一步的度量標準來評估模型的魯棒性。

2.4 用有限的數據學習

眾所周知，使用深度學習需要大量數據來學習復雜的任務。如果訓練數據太小，模型會過擬合，泛化能力很差。不幸的是，獲取高質量的訓練數據既困難又昂貴，因為它通常需要人工標記。例如，細粒度的 Cityscapes 數據集平均需要 1.5 小時來標記每個樣本 [28]。此外，與為學術目的（概念驗證、評估、基準測試等）開發的數據集不同，軍事數據集還必須包含代表在現實世界可能發生但難以觀察甚至預測的大量邊緣情況的數據。如果沒有這樣的訓練數據，在可能最重要的時候，或者在條件因敵對行動而意外改變的時候，軍事模型的實際價值將是有限的。

軍事應用的數據采集挑戰是重大的，但也是必須解決的，以確保模型在現實世界中部署時是強大的。幸運的是，許多轉移學習技術[29][30][31]已經被提出，這些技術利用了深度神經網絡可以學習到可轉移的一般特征，因此，可以被其他類似的任務重新使用[32]。預訓練與微調相結合，通常用于利用少量/有限的數據進行學習，同時避免昂貴的大規模模型（如GPT-3）的再訓練，這些模型可能需要專門的硬件來學習。其主要思想是：

1.將預訓練的源模型的一部分復制到目標模型中；

2.向目標模型添加一個或多個隨機初始化的（未訓練的）層，使最后一層與目標的標簽空間相匹配；

3.使用標記的目標域數據訓練模型。

然而，這些技術不能用于軍事數據來自特殊傳感器（如激光雷達、紅外、合成孔徑雷達和高光譜）的情況，這些傳感器很少有預先訓練好的模型，或者過于敏感，甚至在盟友之間也不能共享。

無監督領域適應是另一種轉移學習技術，雖然它在淺層學習中已經被研究了幾十年，但最近在深度學習中也受到了很多關注[33]。使用這種技術，來自源域的標記訓練數據可以用來訓練一個使用目標域的無監督數據模型。該方法假設源域的標記數據成本低且容易獲得。

從軍事角度來看，這個想法很有吸引力，因為源數據有可能是合成的。也就是說，已經存在的模擬器或其他生成模型有可能被改編為不僅能生成完美標記的源數據，還能生成代表邊緣情況的數據，否則很難甚至不可能獲得這些數據。基于模擬的方法將完全消除人類的標記工作，否則可能會導致不正確、有偏見和不完整的數據集，這些數據集在訓練時也會轉移到模型中。使用無監督領域適應性來彌補 "模擬到真實"的差距（sim2real）正在積極進行[34][35]，使用各種技術，其中許多依賴于使用對抗性方法，如領域損失函數[36][37]和生成性對抗網絡（GANs）[38][39]。

2.5 新情況，不同于學習策略和分類器的開發方式

為了在復雜環境中發揮作用，人工智能必須表現出對新事物的魯棒性。DeepMind[41]的演示表明，ML可以被用來開發策略，從而在僵硬的游戲中實現超人的發揮。圍棋“Go”這個游戲提供了一個復雜的環境，超過了我們對游戲可能狀態的存儲極限，因此提供了前面討論的關于我們對牛頓宇宙建模的極限的情況。然而，如果改變了游戲規則，生成的代理就會變得很脆弱或者完全失敗。在[42]中，這種類型的結果在一個更簡單的環境中被證明，實驗闡明不同的變化如何影響代理的魯棒性。

但新穎性不僅僅是數據點不包含在 ML 訓練集中的情況。為了將新穎性的研究結合起來，[43] 提出了一個描述新穎性的框架。圖 2 說明了人們如何以一種可以同時衡量新穎性和代理反應的方式看待新穎性。這種新穎性觀點的關鍵在于，可以將新穎性考慮到與世界有關的方面以及與代理人的經驗有關的方面。同樣，對代理任務有影響的新穎性，對魯棒性的影響不同于對任務沒有影響的新穎性。這也是 Chao [42] 中證明的一個發現。

圖 2. 考慮新穎性的框架。

2.5.1 DARPA SAIL-ON 計劃

DARPA SAIL-ON 計劃 [40] 中采用的一種基于游戲的新穎性實驗方法。 DARPA SAIL-ON 計劃假設智能體具有以下四個要素：

? 一種性能要素，它使用已知的專業知識通過感知、推理、規劃、控制機制來完成任務并實現目標（例如，尋找和收集具有所需特征的水下物體）;

? 一個監控元素，將觀察結果與期望值進行比較，以檢測環境（例如，聲納不可靠、不熟悉的捕食者）和代理自身行為（例如，車輛向右轉向）中的異常情況；

? 一種診斷要素，可定位專業問題，生成有關原因（例如，非反射表面、橫流、未對準的螺旋槳）、評估備選方案并從中進行選擇；

? 修復被認為是造成性能問題的專業知識并糾正它們的維修要素（例如，更新的聲納方程、電流敏感控制器或新的螺旋槳模型）。

正如上文關于新穎性的介紹部分所述，這項研究的大部分開始于認識到 DeepMind 用于解決圍棋、國際象棋、將棋和星際爭霸游戲的方法對游戲規則的變化并不魯棒。一個例子是南加州大學 (USC) 開發并通過 GitHub 發布的 GNOME 框架。

NIWC Pacific 與 USC 合作開發了一個版本，英國 Dstl 使用 GNOME 框架開發了“Hunting of the Plark”游戲。這將允許對受過訓練以玩該游戲的代理的新穎性影響進行實驗，這是圖靈研究所研究小組的重點。計劃對使用 ML 開發的決策支持工具進行進一步實驗，我們不僅可以處理模擬情況，還可以與美國海軍進行現場實驗。

2.5.2 新穎性檢測

個體在不知道世界形勢發生變化的情況下對新穎事物有很強的抵抗能力。這很可能是由于新穎事物對正在執行的任務并不重要，或者至少是在敏感度較低的領域變化。然而，處理新穎事物的一個策略是至少檢測到一個代理處于一個新穎的情況，即使該代理不知道如何在新穎的環境中工作，除了退出或提醒其他人注意這種情況。

代理的基本問題是：環境是否發生了變化，或者正在分析的數據是否只是在以前分布的一個尾部？目前，對于大部分的ML來說，僅僅認識到數據不在樣本范圍內可能就足夠了。至少能認識到其自身局限性的ML在許多情況下是一個進步。在這方面，經典的對抗性例子演示經常被提起：在這些實驗中，代理往往對他們的錯誤答案非常自信[44]。

在規劃系統中，識別可能基于對任務進度的動態評估。如果規劃無效，一種可能是世界以一種模型未反映的方式發生了變化。早期檢測可能會防止災難性結果，但這并不能保證。事實上，人們可以設想無法恢復的情景（在黑洞的事件視界上轉彎是一個極端的例子）。

2.5.4對新穎性的魯棒響應

[45] 將提供魯棒響應的任務定義如下：

? 假定：使用專業知識在一類環境情況下運行的代理架構；

? 假定：支持此類環境中可接受的代理性能專業知識；

? 假定：在突然的、未通知的更改環境中，經驗有限會導致性能降低；

? 發現：當環境發生變化時，哪些修改后的專業知識將支持可接受的性能。

對新穎事物的響應類型與正在執行的任務類型有關。在分類器中，系統可能需要調整其模型，不僅允許改變其提供的答案，還允許解釋這種變化意味著什么。例如，想象一個感知代理，其可確定機器人是否存在障礙物。相機系統的改變，例如鏡頭上的蒼蠅附著可能會為系統創造一個新局面。如果系統能夠適應并確定不存在障礙，則需要對情況進行解釋以證明答案的合理性。

圖 3. SAIL-ON 新穎性指標假設。注意程序中的 TA2 代理是那些對環境中的新穎事物做出反應的代理。

對于規劃系統，新穎性可能表現為采用新的行動或發現行動的成本與以前不同；目標可能會發生巨大變化。規劃系統可能不得不調整他們的知識，重新計算以前的任務，利用經驗來改變他們的計算。上面圖 3 中的假設說明了測量環境。在環境中出現變化之前，學習和運行可能會進行一段時間。對特定變化還不夠魯棒的代理性能會下降，必須找到一種方法來檢測新事物的發生，確定發生了什么變化并在運行中對其進行解釋。

2.6 對抗性行動

在過去的幾十年里，已經證明基于深度學習技術的機器學習模型可以在各種任務中達到甚至超越人類水平的表現。另一方面，機器學習模型通常容易受到輸入擾動的影響，并且很容易被愚弄以產生不正確的輸出 [53] [54]。這些類型的操作被稱為對抗性攻擊，機器學習模型對抗這些攻擊的性能被測量為對抗魯棒性 [55]。在兩個不同方面研究了對抗魯棒性。第一個方面，研究人員試圖找到一種產生對抗性攻擊的方法，以最大程度地降低模型的魯棒性 [56] [57] [58] [59] [48]。第二方面，研究人員試圖找到更好的訓練或防御方法，使網絡架構對這種對抗性攻擊更加魯棒[60] [61] [62] [63] [64]。在本節中，我們調查了對抗性攻擊和防御方法，并從當前文獻中定義了對抗魯棒性的指標和測量方法。

2.6.1 對抗性攻擊

[54] 中針對機器學習系統 M 和輸入樣本 C（稱為干凈樣本）定義了對抗性攻擊，如下所示：

“假設樣本 C 被機器學習系統正確分類，即 M(C) = y。可以構建一個對抗性樣本 A，它在感知上與 C 無法區分，但分類錯誤，即 M(A) ≠ y。”

基于此定義，對抗性攻擊的目的是修改模型輸入以導致不正確的模型輸出，使其無法被人類觀察者區分。不可區分性標準對可應用于輸入的擾動有一些限制，這在文獻中稱為 lp 范數，即

其中 ? 是最大允許擾動。最常用的范數是 l2 和 l∞。

考慮到這一限制，提出了幾種方法來生成對抗性樣本 [65] [55] [48]。生成對抗樣本主要遵循兩種不同的方法，即黑盒和白盒。在黑盒方法中，用戶不了解模型，只能訪問給定輸入的預測概率或預測類別。另一方面，假設模型及其參數在白盒方法中是完全已知的[47]。

白盒攻擊在欺騙模型方面比黑盒攻擊更有效，并且在文獻 [56] [57] [58] [48] 中使用不同的方法進行了廣泛的研究。白盒攻擊主要是基于梯度的攻擊方法：它們通常構造一個損失函數，可以導致擾動攻擊能力的提高和擾動幅度的降低，然后通過梯度優化損失函數以生成對抗樣本[66]。使用損失函數的梯度來確定對抗性擾動，可以像快速梯度符號法（FGSM）[65]那樣在一個步驟中進行，用于快速生成對抗性樣本。為了提高效果并減少擾動，在基于迭代梯度的攻擊中，不是在梯度方向上采取單一步驟，而是采取多個較小的步驟[54][48]。

對抗性攻擊也可以作為訓練的一部分。最近的一些工作[46]背景是一個對等網絡，其中每個對等體都有一份神經網絡模型的副本，以創建一個分布式的學習環境，這并不依賴于中央協調節點的存在。這樣的機器學習架構非常適用于有多個伙伴的軍事聯盟場景。最初，每個對等體擁有總訓練數據集的一個子集，隨著模型訓練的進行，模型參數在每次訓練迭代時都在對等體之間共享。

本實驗基于 Fashion-MNIST 數據集，并非試圖提高點對點 ML 的魯棒性，而是測量和優化中毒技術在導致對等體錯誤分類方面的有效性。中毒效果的衡量標準是，就訓練迭代次數而言，惡意對等體能夠可靠地毒化良性對等體的速度有多快。然而，我們相信相同的指標可以用來推斷 ML 對這種中毒的魯棒性：實現錯誤分類所需的迭代次數越多，魯棒性就越高。

2.6.2 對抗性防御

已經提出了一些方法來保證在特定條件下對范數有界的對抗性攻擊的魯棒性。例如，Wong 和 Kolter [67] 使用對抗性多面體的概念為基于 ReLU 的分類器提出了可證明的防御措施。此外，[68] 中提出了一種有效且完整的分段線性神經網絡魯棒性驗證器。在該論文中，提出了一種算法，該算法基于最大 (l∞-) 范數在對抗性誤差上產生經過驗證的界限。

獲得強大的深度神經網絡的最成功的方法之一是通過對抗訓練。對抗性訓練的主要動機是將攻擊和防御都納入一個共同的理論框架，自然地封裝了大多數先前關于對抗性樣本的工作 [55]。在這種方法中，不是直接將原始數據集中的樣本輸入到訓練中，而是允許對抗性攻擊首先擾動輸入，然后將擾動的樣本輸入到訓練中。對抗性訓練以不同的方式得到增強，例如改變攻擊過程、損失函數或模型架構 [69] [50]。

對抗性訓練的性能很大程度上取決于生成增強訓練數據集時使用的損失函數和對抗性攻擊方法，并且由于需要生成對抗性樣本，與干凈訓練相比需要更長的時間。在 [73] 中，已經證明，使用具有早期停止的經典對抗訓練可以更容易地提高最先進的對抗訓練方法的性能。這表明我們對對抗性訓練的理解是有限的。在 [74] 中分析了對抗性訓練對魯棒性的影響，他們得出結論，在使用（隨機）梯度下降的干凈訓練過程中，神經網絡將在所有特征中積累一些與任何自然輸入，但極易受到（密集）對抗性擾動的影響。在對抗訓練期間，這種密集的混合物被“純化”以使模型更加魯棒。

2.6.2.1 訓練期間隨機噪聲的隱式生成建模提高了對抗魯棒性

最近開展的工作 [70] 專門研究了上述方法。事實上，這項工作旨在通過將隨機噪聲引入訓練輸入并使用隨機梯度下降 (SGD) 對其進行優化，同時最小化訓練數據的總體成本函數，從而使深度神經網絡對對抗性輸入更加魯棒。效果是在開始時隨機初始化的輸入噪聲在訓練過程中逐漸被學習。結果，噪聲近似地模擬了輸入分布，以有效地最大化給定輸入的類標簽的可能性。

作者 [70] 評估了他們在 MNIST、CIFAR10 和 CIFAR100 等分類任務上的方法，并表明以這種方式訓練的模型更具對抗性。發現噪聲和干凈圖像的組合方式對精度有重大影響，乘法比加法獲得更高的精度。魯棒性的直接度量沒有發展，而是隨著擾動水平的增加，魯棒性被量化為精度函數。

2.6.2.2 基于離散化的對抗性攻擊解決方案

繼對抗性訓練的主題之后，[72] 表明，圖像分類深度神經網絡對對抗性輸入的魯棒性可以通過輸入空間和模型參數空間的離散化來提高，同時精度損失最小。在使用 MNIST、CIFAR10、CIFAR100 和 ImageNet 數據集的實驗中，輸入空間的離散化涉及將像素強度的數量從 256 (28) 減少到 4 (22)，參數空間的離散化涉及使用低精度權重訓練模型以及諸如二元神經網絡 (BNN) 之類的激活。此外，結合這兩種離散化技術極大地提高了模型的魯棒性。與更昂貴的對抗性訓練過程（即使用對抗性示例訓練模型）相比，這種組合方案可以被視為提高魯棒性的另一種方法。在每個實驗中，通過比較分類的準確性來衡量魯棒性，同時對抗性擾動 (ε) 逐漸增加。實際上，這項工作中魯棒性的度量似乎是在保持給定精度的同時可以容忍的擾動程度。

2.6.2.3 減輕神經網絡中的對抗性樣本

在最后一個示例中，進行了一項相對簡單的工作 [71]。對圖像分類器的輸入進行預處理是通過將輸入饋入高斯核來實現的，其效果相當于平滑低通濾波器，其中平滑程度取決于內核的標準偏差參數。該實驗是使用 MNIST 數據集進行的，并測量了平滑和各種對抗性噪聲水平的不同組合的準確度。結果表明，為了優化給定水平的對抗性噪聲的準確性，存在一個最佳的平滑水平。在這種情況下，用于魯棒性的度量是針對給定數量的對抗性噪聲的成功攻擊的百分比。該度量允許直接比較使用和不使用平滑的性能。

2.6.3 測量對抗魯棒性

對抗性魯棒性可以衡量為對抗性攻擊[47]擾動輸入的模型準確性。由于評估取決于應用的對抗性攻擊，因此很難衡量模型的實際對抗魯棒性。

文獻中的大多數作品通過使用在其訓練階段使用的相同或相似的對抗性攻擊方法和損失函數，來展示其方法的對抗性魯棒性。在[48]中已經表明，通過改變損失函數和生成對抗樣本的方法，可以實現比原始論文中報道的更低的對抗魯棒性。實際上，[48] 中指出，在 49 個案例中，有 13 個案例的魯棒性變化大于 10%，在 8 個案例中大于 30%。

在 [49] 中，通過將幾個深度神經網絡的性能與人類觀察者進行不同類型的操作進行比較，進行了類似的評估。在這項工作中，已經表明，只有在訓練階段知道所應用的操作時，深度神經網絡才能達到人類水平的性能。對于未知的操作，深度神經網絡的性能會急劇下降。此外，文獻中提出的許多防御策略都被更強大的對手打破了[48] [50]。因此，應仔細比較在不同方法下獲得的魯棒性，以確保評估盡可能有效[47]。

對抗魯棒性被報告為從擾動集中獲取的最壞情況輸入的模型精度。除了準確性之外，還可以測量兩種類型的性能指標來評估模型的魯棒性。第一個指標是對抗頻率，它衡量模型多久無法保持穩健[51]。第二個是對抗性嚴重性，用于衡量從原始輸入到對抗性樣本的預期最小距離 [51] [52]，即模型被愚弄的難易程度。事實上，引用[51]：

“頻率和嚴重性捕獲了不同的魯棒性行為。神經網絡可能具有高對抗頻率但對抗嚴重程度低，這表明大多數對抗樣本距離原始點有非常小的距離。相反，神經網絡可能具有較低的對抗頻率但較高的對抗嚴重性，這表明它通常是魯棒的，但偶爾會嚴重不魯棒。頻率通常是更重要的指標，因為具有低對抗頻率的神經網絡在大多數情況下都是魯棒的。實際上，對抗性頻率對應于用于衡量魯棒性的對抗性樣本的準確性。嚴重性可用于區分具有相似對抗頻率的神經網絡。”

3 結束語

混合戰爭表明可能有許多系統和許多模型，因此如果假設人工智能將在混合戰爭系統的集合中使用，那么多種錯誤來源具有破壞人工智能在軍事領域應用的巨大潛力。

因此，上述當前技術的標準和調查都與了解將 AI 和 ML 應用于混合軍事領域的潛在弱點相關，因此在涉及與 AI 和 ML 的魯棒性有關的考慮時，顯然需要確保未來進行廣泛的評估。很明顯，有一個重要的考慮領域和可用的度量方法。然而，正如之前在第 2 節中提出的，這些度量方法適用于不同的利益相關者、不同的模型和潛在的不同任務。

因此，當前的問題是如何為特定模型確定和找到正確的度量方法，以獲得混合戰爭系統所需的置信度。 IST-169 打算推進這項初步調查來做到這一點。我們相信，開發各種類型的魯棒性及其適用于不同類型 AI 階段的圖形表示，將有助于全面了解 AI 魯棒性格局。這將加強并采取更嚴格的方法對人工智能應用進行開發。

摘要

如今，隨著技術飛速發展和威脅環境變得更加復雜，在信息爆炸的局面下，作戰人員面臨著具有挑戰性的決策空間。人工智能(AI)和機器學習(ML)可以減輕作戰人員負荷。人工智能系統具有深遠的好處——提高態勢感知能力，檢測威脅，理解對手的能力和意圖;確定和評估可能的戰術行動方針;并提供方法來預測行動決策的結果和影響。人工智能系統是理解和解決高度復雜的戰術情況的關鍵。

人工智能系統為作戰人員提供了優勢，但前提是這些系統被正確設計和實施，并且以減輕作戰人員的認知負荷的方式。為國防應用實施人工智能系統帶來了獨特的挑戰。本文確定了四個獨特的挑戰，并描述了它們如何影響戰術作戰人員、工程設計界和國防。本文通過國防采辦和系統工程計劃，為解決這些獨特的挑戰提供了解決方案。

作者簡介：

Bonnie Johnson——在海軍工程研發方面擁有超過 25 年的領導和系統工程經驗。她曾是 SAIC 和諾斯羅普·格魯曼公司的高級系統工程師，研究用于海戰系統和導彈防御能力的自動決策輔助。她于 2011 年加入美國海軍研究生院 (NPS) 系統工程系。她擁有 NPS 系統工程博士學位、約翰霍普金斯大學系統工程碩士學位和弗吉尼亞理工大學物理學學士學位。

引言

人工智能是一個包含許多不同方法的領域，其目標是創造具有智能的機器（Mitchell，2019）。圖 1 顯示了一個簡單的維恩圖，其中機器學習 (ML) 作為 AI 的子集，而 AI 作為更廣泛的自動化類別的子集。自動化系統以最少的人工輸入運行，并且經常根據命令和規則執行重復性任務。人工智能系統執行模仿人類智能的功能。他們將從過去的經驗中學到的知識與收到的新信息結合起來，以做出決策并得出結論。

圖 1. 自動化、人工智能和機器學習的維恩圖

如圖 2 所示，有兩種主要類型的 AI 系統。第一種類型是明確編程的，也稱為手工知識系統。 Allen (2020) 將手工知識系統描述為“使用傳統的、基于規則的軟件，將人類專家的主題知識編碼為一長串編程的‘如果給定 x 輸入，則提供 y 輸出’規則的人工智能”（第3頁）。這些系統使用傳統的或普通的編程語言。第二種類型是從大量數據集訓練而來的機器學習系統。 ML 系統從訓練過的數據集中“學習”，然后在操作上使用“訓練過的”系統在給定新的操作數據的情況下產生預測結果。

圖 2. 兩種類型的人工智能：顯式編程和學習系統

自動化、人工智能和機器學習系統，包括手工知識系統和學習系統，為美國國防部 (DoD) 提供了巨大的潛力，在大多數任務領域具有多種應用。這些智能系統可以擴展國防部理解復雜和不確定情況、制定和權衡選項、預測行動成功和評估后果的能力。它們提供了在戰略、規劃和戰術領域支持國防部的潛力。人工智能系統可以減輕作戰人員的負擔，但前提是這些系統的設計和實施正確，并且以減輕作戰人員認知負擔的方式。這為國防應用實施人工智能系統提出了獨特的挑戰。本文確定了四個獨特的挑戰，并描述了它們如何影響戰術作戰人員、工程設計界和國防。

第一個為國防應用實施人工智能系統的獨特挑戰是戰術戰爭呈現高度復雜的情況。戰術復雜性可能涉及信息超載、需要處理的多個并發任務、具有可怕后果的時間關鍵決策、態勢感知的未知/不準確/不完整，以及因各種分布式戰爭能力所需的互操作性而產生的工程挑戰。將人工智能系統添加到這個已經很復雜的環境中是一項必要但極具挑戰性的工作。

第二個獨特的挑戰是人工智能系統需要大量數據來訓練。所開發的人工智能系統的質量很大程度上取決于訓練數據集的質量和數量。軍事領域的數據尤其難以獲得。軍事數據可能涉及分類問題、網絡漏洞、數據驗證挑戰，并且根據艦隊演習和兵棋推演的需要，收集起來可能非常昂貴且耗時。

第三個獨特的挑戰是人工智能系統為系統工程提出了一個新的前沿。在傳統系統中，行為是固定的，因此是可預測的：給定輸入和條件，系統將產生可預測的輸出。一些人工智能解決方案可能涉及本身就很復雜的系統——適應和學習——因此會產生無法預料的輸出和行為。事實上，一些人工智能系統的目的就是為了做到這一點——與人類決策者合作，承擔一些認知負荷并產生智能建議。需要系統工程方法來設計智能系統，并確保它們對人類操作員來說是可解釋的、可信賴的和安全的。

第四個獨特的挑戰是，對于國防應用，總是需要考慮潛在的對手。在人工智能系統方面，采購界必須注意同行競爭對手國家，他們在人工智能進步方面取得了自己的進步。美國國防系統也必須在這場人工智能競賽中取得進步。網絡攻擊在防御系統中總是有可能發生的。隨著防御能力增加對自動化和人工智能系統的依賴，這可能會造成更多的網絡漏洞。最后，技術正在迅速發展，對抗性威脅空間正在發生變化。國防采購和系統工程界必須確保人工智能系統不斷發展和適應，以應對威脅環境的變化，并以可信賴和安全的方式做到這一點。

挑戰一:復雜的決策空間

第一個獨特的挑戰是許多防御領域呈現出復雜的決策空間。因此，設計和實施適當的人工智能系統來解決這種復雜性將是極具挑戰性的。圖 3 突出顯示了導致戰術領域決策復雜性的許多因素。例如，海軍打擊部隊的行動可以迅速從和平狀態轉變為一種巨大的危險——需要對威脅保持警惕并采取適當的反應行動——所有這些都在高度壓縮的決策時間線上。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是虛擬的，因此需要處理多個時間緊迫的任務。在船舶、潛艇、飛機、陸地和太空中擁有海軍和國防資產；戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用問題。制定有效的戰術行動方案也必須發生在高度動態的作戰環境中，只有部分和不確定的態勢知識。決策空間還必須考慮指揮權、交戰規則和戰術條令施加的限制。人類作為戰術決策者的角色增加了決策空間的復雜性——面臨信息過載、操作員錯誤、人工智能信任以及人工智能模糊性和可解釋性問題等挑戰。最后，戰術決策及其可能后果的風險可能非常高。

圖 3. 導致戰術決策空間復雜性的因素

解決高度復雜的決策空間是美國國防部面臨的挑戰。人工智能提供了解決這種復雜性的潛在解決方案——通過處理大量數據、處理不確定性、理解復雜情況、開發和評估決策替代方案以及了解風險水平和決策后果。人工智能解決方案可以應用于國防部的戰略、規劃和戰術層面。海軍研究生院 (NPS) 開發了一種工程框架和理論，用于解決高度復雜的問題空間，這些問題空間需要使用智能和分布式 AI 系統來獲得態勢感知并做出適應動態情況的協作行動決策（Johnson， 2019）。模擬了一個復雜的戰術場景，以演示使用 AI 來驗證該方法（Johnson，2020a）。 NPS 已經開發了一種預測分析能力的概念設計，該設計將被實施為一個自動化的實時戰爭游戲系統，該系統探索不同的可能戰術行動方案及其預測效果和紅軍反應（Johnson，2020b）。 NPS 研究已經確定了在戰術行動中描述復雜性水平的必要性，并實施自適應人機協作安排以做出戰術決策，其中自動化水平根據情境復雜性水平進行調整。正在進行的 NPS 研究正在研究這些概念工程方法在各種防御用例應用中的應用，包括防空和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

復雜的決策空間為 AI 系統嘗試和解決創造了具有挑戰性的問題。表 1 根據決策空間的復雜性比較了不同的 AI 應用領域。該表包含 10 個表征決策空間復雜性的因素：認知不確定性（對情境知識的不確定性數量）、情境動態、決策時間線（做出決策的時間量）、決策的復雜性決策過程中的人機交互、資源復雜性（數量、類型、它們之間的距離以及它們的動態程度）、是否涉及多個任務、對手（競爭對手、黑客或打算摧毀的徹底敵人）的存在，允許誤差的幅度（多少決策錯誤是可以接受的），以及決策后果的嚴重性。

表 1. 不同 AI 應用的決策復雜度比較

人工智能應用程序涉及的決策空間用于廣告（根據特定用戶的購買習慣或互聯網搜索確定將哪些廣告流式傳輸）、貸款批準（根據貸款金額和信用評分確定貸款資格）和醫療（根據診斷確定關于患者癥狀）相對簡單。存在大量訓練數據，決策過程中的計算和人為交互簡單，情況相對穩定。不良廣告的后果是微乎其微的。可以審計不良貸款批準決定。糟糕的醫學診斷可能會產生更嚴重的后果，但通常有足夠的時間在治療前尋求更多的評估和意見。為自動駕駛汽車確定最佳運輸路線和工程 AI 系統是更復雜的工作。這些應用程序是動態變化的，需要更短的時間來做出決策。運輸路線在可能路線的數量上會很復雜——這可能會導致許多可能的選擇。但是，存在運輸錯誤的空間，并且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的余地非常小。此應用程序中的錯誤決定可能導致嚴重事故。

然而，軍事戰術領域在決策空間的所有領域都呈現出極端的復雜性：不確定性和有限的知識/意識、高度動態的情況、非常有限的時間線、復雜的人機交互、大量和類型的資源、多個任務、昂貴和困難- 獲取訓練數據集、極小的允許誤差范圍以及行動（或不行動）的生死攸關的后果。

挑戰二: 數據很難獲取

第二個獨特的挑戰是 AI/ML 系統需要大量相關且高質量的數據用于訓練和開發，而這些數據在軍事領域可能很難獲得。明確編程的手工知識系統在開發過程中需要數據進行評估和驗證。 ML 系統在開發過程中對數據的依賴性更大。如圖 4 所示，ML 系統從代表操作條件和事件的數據集中“學習”。 ML系統學習的過程也稱為被訓練，開發階段使用的數據稱為訓練數據集。有幾種類型的 ML 學習或訓練——它們是有監督的、無監督的和強化的。所有三種類型的 ML 學習都需要訓練數據集。 ML 系統在部署后或運營階段繼續需要數據。圖 4 顯示，在運營期間，ML 系統或“模型”接收運營實時數據，并通過使用其“訓練過的”算法處理運營數據來確定預測或決策結果。因此，在整個系統工程和采集生命周期中，ML 系統與數據密切相關。 ML 系統從訓練數據集的學習過程中“出現”。機器學習系統是數據質量、充分性和代表性的產物。他們完全依賴于他們的訓練數據集。

圖 4. 開發和實施機器學習系統

隨著許多領域（戰爭、供應鏈、安全、物流等）的更多 AI 開發人員正在了解 AI 解決方案的潛在優勢并開始著手 AI 系統開發，DoD 開始認識到對這些數據集的需求。在某些情況下，數據存在并準備好支持 AI 系統開發。在其他情況下，數據存在但不保存和存儲。最后，在其他情況下，數據不存在，需要模擬或在艦隊演習或戰爭游戲中收集。圖 5 說明了收集、獲取和在某些情況下開發用于開發和訓練 AI 和 ML 系統的數據時需要考慮的過程。

圖 5. 人工智能和機器學習系統訓練數據集的開發

軍事領域對開發訓練數據集提出了一些獨特的挑戰——數據可能被分類，數據可能存在網絡漏洞（它可能被攻擊并被對手故意破壞），如果數據不存在，它可能需要從軍事/艦隊演習或兵棋推演中獲得。數據驗證也是一項具有挑戰性的工作。

NPS 正在為海軍的數據管理系統執行需求分析和概念設計，該系統將收集數據并向海軍內部許多正在開發 AI/ML 系統的不同組織提供數據（French 等人，2021 年）。圖 6 是海軍中央人工智能庫 (CAIL) 的上下文圖，它被設想為一個數據管理系統和流程，用于識別數據集并提供索引、驗證、審計和對 AI 可以使用的數據的安全訪問。從事海軍應用的機器學習開發人員。 CAIL 將不是一個數據存儲庫或數據庫，而是一個中央組織，使 AI/ML 開發人員能夠訪問經過驗證和保護的海軍數據——以幫助識別數據集的存在，啟用授權訪問，并幫助支持開發人員所需的數據尚不存在，需要獲得——可能通過艦隊演習或兵棋推演。

圖 6. 概念性中央人工智能庫

挑戰三:人工智能為系統工程開辟了新領域

第三個獨特的挑戰是開發人工智能系統為系統工程提出了一個新的前沿。系統工程方法已被開發用于設計可能非常復雜但也具有確定性的傳統系統（Calvano & John，2004）。傳統系統具有可預測的行為：對于給定的輸入和條件，它們將產生可預測的輸出。圖 7 說明了對傳統 SE 方法（如 SE Vee 過程）進行更改的必要性，以便設計復雜且不確定的 AI 系統。特別是，需要新的方法來定義隨時間適應的學習系統的要求，并且系統驗證過程可能需要在操作過程中不斷發展和繼續，以確保安全和期望的行為。對于具有高風險后果的軍事系統，幾乎沒有出錯的余地，因此需要實施一個可以確保 AI 系統安全和預期操作的系統工程流程。

圖7. 人工智能:系統工程的新前沿

國際系統工程師理事會 (INCOSE) 最近的一項倡議已經開始探索需要對系統工程方法進行哪些改變才能有效地開發人工智能系統。圖 8 是作為該計劃的一部分創建的，旨在強調在 SE 過程中需要考慮的 AI 系統的五個方面。除了不確定性和不斷發展的行為之外，人工智能系統可能會出現新類型的故障模式，這些故障模式可能會突然發生，并且可能難以辨別其根本原因。穩健的設計——或確保人工智能系統能夠處理和適應未來的場景——是另一個系統工程設計考慮因素。最后，對于涉及更多人機交互的 AI 系統，必須特別注意設計系統，使其值得信賴、可解釋并最終對人類決策者有用。

圖 8. 人工智能系統工程中的挑戰

NPS 正在研究可以支持復雜、自適應和智能 AI 系統的設計和開發的系統工程方法。已經開發了一個系統工程框架和方法來設計系統解決方案的復雜自適應系統（Johnson，2019）。該方法支持系統系統的開發，通過使用人工智能，可以協作以產生所需的緊急行為。當前的一個研究項目正在研究可以在設計過程中設計到 AI 系統中的安全措施，以確保操作期間的安全（Cruz 等人，2021 年）。 NPS 正在研究一種稱為元認知的設計解決方案，作為 AI 系統識別內部錯誤的一種方法（Johnson，2021 年）。當前的另一個 NPS 論文項目正在研究如何將“信任”設計到 AI 系統中，以確保有效的人機協作安排（Hui，2021）。幾個 NPS 項目研究使用稱為協同設計的 SE 設計方法，來確定人類操作員與 AI 系統之間的相互依賴關系（Blickley 等人，2021；Sanchez，2021）。

挑戰四: 敵手

第四個獨特的挑戰是對手在防御應用中的存在和作用。國防部必須與對手競爭以提升人工智能能力，人工智能系統必須免受網絡攻擊，人工智能系統必須適應不斷變化的威脅環境演變。圖 9 突出顯示了對手的存在給國防部正在開發的 AI 系統帶來的一系列獨特挑戰。

圖9. 敵手的挑戰

競爭對手國家之間開發人工智能能力的競賽最終是為了進入對手的決策周期，以比對手更快的速度做出決定和采取行動（Rosenberg，2010 年）。人工智能系統提供了提高決策質量和速度的潛力，因此對于獲得決策優勢至關重要。隨著國防部探索人工智能解決方案，同行競爭對手國家也在做同樣的事情。最終，實現將 AI 用于 DoD 的目標不僅僅取決于 AI 研究。它需要適當的數據收集和管理、有效的系統工程和采集方法，以及仔細考慮人類與人工智能系統的交互。國防部必須確保它能夠應對實施人工智能系統所涉及的所有挑戰，才能贏得比賽。NPS 研究計劃正在研究如何應用 AI 和博弈論來進入對手的戰術決策周期（Johnson，2020b）。該項目正在開發一個概念，用于創建戰術態勢模型、對手的位置和能力，以及預測對手對形勢的了解。然后，概念系統將進行實時“兵棋推演”，根據預測的對抗反應和二階和三階效應分析戰術決策選項。這是一個研究未來戰術戰爭可能是什么樣子的一個例子，它為藍軍和紅軍提供了增強的知識和決策輔助。為 AI 競賽準備國防部的其他 NPS 舉措包括研究新的 SE 方法和獲取實踐以開發 AI 能力、研究海軍和國防部的數據管理需求（French 等人，2021 年）以及研究 AI 系統安全風險開發確保安全 AI 能力的工程實踐（Cruz 等人，2021 年；Johnson，2021 年）。

賽博戰是國防部必須成功參與的另一場競賽，以保持領先于黑客攻擊的持續攻擊。隨著國防部實施更多的自動化，它自然會導致更多的網絡漏洞。使用本質上依賴于訓練數據和操作數據的人工智能系統，為黑客在開發階段和操作階段用損壞的數據毒害系統提供了機會。如果對手控制了一個可操作的人工智能系統，他們可能造成的傷害將取決于應用程序領域。對于支持武器控制決策的自動化，后果可能是致命的。在最近一項關于汽車網絡安全的研究中，一家汽車公司在網上發布了一個假汽車電子控制單元，在不到 3 天的時間里，進行了 25,000 次違規嘗試（Taub，2021 年）。國防部必須注意人工智能系統開發過程中出現的特定網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御策略。 NPS 正在研究數據安全要求，以確保 ML 訓練數據集不受黑客攻擊，并且需要安全授權才能訪問（French 等人，2021 年）。 NPS 正在研究使用元認知作為 AI 系統執行自我評估的一種方法，以識別網絡入侵、篡改或任何異常行為（Johnson，2020b）。 NPS 還在研究使用 ML 來識別惡意欺騙和篡改全球定位系統 (GPS; Kennedy, 2020)。

威脅環境的演變是國防部在開發人工智能系統時的第三次對抗性競賽。由于對抗性威脅空間隨著時間的推移而不斷變化，擁有更快、更致命的武器、更多的自主權、更大的監視資產、更先進的對抗措施和更多的隱身性，這對國防部能夠預測和識別新威脅并進行應對提出了挑戰戰場上的未知數。 NPS 研究的重點是在作戰過程中不斷適應和學習的工程系統，以檢測和識別戰場中的未知未知，并通過創新的行動方案快速響應新威脅（Grooms，2019；Jones 等人，2020；Wood，2019 ）。 NPS 正在研究通過研究特定區域隨時間變化的數據來識別異常變化的機器學習方法（Zhao et al., 2016）。一個例子是研究商用飛機飛行模式并根據異常飛行模式識別可疑飛機。隨著時間的推移，可以監視地面行動，以識別可能意味著軍事行動的新的和不尋常的建設項目。

結論

人工智能系統為國防部在實現和保持知識和決策優勢方面提供了重大進展。然而，為國防應用實施人工智能系統提出了獨特的挑戰。軍事戰術領域在決策空間的所有領域都呈現出極端的復雜性：不確定性和有限的知識、高度動態的情況、非常有限的時間線、復雜的人機交互、大量和類型的資源、多個任務、昂貴且難以獲得訓練數據集、極小的允許誤差范圍以及行動（或不行動）的生死攸關的后果。 AI 系統，尤其是 ML 系統，需要有代表性、足夠、安全和經過驗證的數據集來進行開發。為國防應用收集合適的數據具有處理分類數據集和確保數據安全和免受網絡攻擊的額外挑戰；這也將是收集代表戰術行動的真實數據的一項重大努力。將需要新的系統工程方法來有效地指定、設計和評估人工智能系統，這些系統通過其不確定性、新型人機協作挑戰以及難以預測和預防的新安全故障模式而呈現出新的復雜性.最后，軍事領域中對手的存在呈現出三種形式的 AI 競賽：與對手一樣快地開發 AI 系統的競賽、保持領先于可能的網絡攻擊的競賽以及訓練能夠應對的 AI/ML 系統的競賽隨著不斷發展的對抗性威脅空間。

NPS 正在通過一系列正在進行的研究計劃來解決四個獨特的挑戰領域。 NPS 研究人員正在研究人工智能系統在海軍戰術作戰領域的實施，對軍事數據集進行需求分析和需求開發，研究開發復雜人工智能系統的系統工程方法，以及開發安全、可信賴的人工智能系統工程方法，并注意潛在對手的作用。 NPS 正在為軍官和平民學生提供人工智能研究和教育機會。 NPS 歡迎與國防部和海軍組織合作，繼續研究用于國防應用的人工智能系統，并繼續探索解決方案戰略和方法，以克服開發和實施人工智能能力的挑戰。

附解讀PPT：（點擊下載）

2018年國防部人工智能戰略將人工智能定義為機器執行通常需要人類智能的任務的能力。戰略和相關計劃包括了全面戰略的一些特點，但不是全部。例如，國防部的9個與人工智能相關的戰略和計劃并不包括與采用人工智能技術相關的資源、投資和風險的完整描述(見圖)。在未來與人工智能相關的戰略中，發布包括綜合戰略的所有特征的指導，可以幫助國防部更好地定位，幫助管理者確保對人工智能的問責和負責任的使用。

國防部已經開始識別并報告其人工智能活動，但其人工智能基線庫存存在局限性，如排除分類活動。國防部官員表示，這些限制將在AI庫存識別過程的后續階段得到解決。然而，國防部還沒有開發一個高層次的計劃或路線圖來捕獲所有的需求和里程碑。該計劃將為國防部提供一個高層次的、端到端對所有必要特征的視圖，以實現該計劃的目標，為國會和國防部決策者提供一個完整、準確的人工智能活動清單。

國防部組織在人工智能活動上進行合作，但可以更充分地納入領先的合作實踐。國防部使用了各種正式和非正式的合作機制，GAO之前的工作已經確定，如跨機構小組。國防部已經部分納入了領先的協作實踐，例如識別領導能力。然而，國防部官員告訴我們，他們正在制定指導方針和協議，明確定義參與人工智能活動的國防部組件的角色和職責。通過最終確定和發布這樣的指南，國防部可以幫助確保所有參與者對整個部門的AI工作的責任和決策達成一致。

使用軟件會暴露容易受到攻擊并造成嚴重后果的漏洞。雖然存在許多不同的漏洞，但其后果分為少數幾類。本文解釋了攻擊機器學習 (ML) 漏洞的后果如何歸入這些相同類別。然后將這些后果與特定于 ML 的攻擊、它們發生的上下文以及已建立的緩解它們的方法保持一致。這些防御性對策可以支持系統 ML 元素的安全性，并更大程度地保證使用 ML 的系統將按計劃運行。

本文提供了一種系統方法來解決使用 ML 的系統的攻擊、后果和緩解措施。它解釋了 ML 技術生命周期中的每一個問題，清楚地解釋了要擔心什么、何時擔心以及如何減輕它，同時假設對 ML 細節了解很少。

描述了軟件系統通常面臨的損害類型，并將它們與采用機器學習的系統所特有的公認后果類別聯系起來。然后，我們解釋導致這些后果的攻擊向量。然后，我們在最廣泛的類別中描述 ML 本身，包括從開始到部署和執行的生命周期。然后，我們確定生命周期中存在哪些漏洞，這些漏洞允許威脅對系統發起針對 ML 的攻擊。然后，我們通過不同的示例對 ML 漏洞、攻擊和緩解措施進行更深入的檢查。

了解 ML 系統的生命周期（其中漏洞存在于生命周期中）以及攻擊利用這些漏洞可能造成的損害，可以對采用 ML 所產生的風險進行明智的評估。我們對 ML 漏洞、攻擊和緩解措施的討論利用了 NISTIR 8269 文件中中開發的分類法。主要出發點在于將這些概念映射到我們在第 6 節中闡述的 ML 生命周期以及我們對 ML 安全性的系統方法的討論。