本報告調查了對抗性機器學習 (AML)，即研究基于機器學習 (ML) 的人工智能系統弱點的研究方法。近年來，機器學習，尤其是深度學習 (DL)，在圖像分類、自然語言處理和自主代理等多個領域取得了快速進展。因此，深度學習在軍事環境中也很受關注。然而，隨著進步，人們對 AML 方法的興趣不斷增加，新的攻擊變體不斷發布。實際上，所有 DL 系統在某種程度上都容易受到影響，無論是混淆它們、避免被它們檢測到，還是提取它們可能持有的秘密信息。從軍事角度來看，重要的是要意識到這種利用的可能性，無論是針對自己的人工智能系統還是針對對手使用的系統。

該報告概述了AML研究，然后展示了針對不同類型人工智能系統的一系列攻擊方法：

• 圖像分類系統中毒，使軍用車輛避免被發現；
• 可以從大型生成模型中檢索秘密信息的提取攻擊；
• 對抗性策略攻擊，其中對手的行為方式使自主智能體感到困惑。

每個案例都描述和討論了攻擊并評估了實施。本報告的重點是攻擊。雖然在適用的情況下簡要討論了針對 AML方法的防御，但后續報告的主題是對AML防御的更深入研究。

關鍵詞：人工智能、機器學習、深度學習、深度神經網絡、欺騙、網絡攻擊、攻擊向量、漏洞、對抗樣本、數據中毒、數據提取、對抗策略

引言

深度學習 (DL) 的出現將智能計算機軟件的性能和能力帶入了新的性能水平。將基于 DL 的軟件嵌入軍事指揮、控制、通信、計算機、情報、監視和偵察 (C4ISR) 系統中，有可能徹底改變創建準確及時的共同作戰圖 (COP) 的能力，從而使軍事決策過程可以比以往任何時候都更快、更精確地執行。從長遠來看，深度學習還可以用于在遠遠超出人類能力范圍的復雜戰爭環境中制定軍事計劃。

然而，由深度神經網絡 (DNN) 實施的基于 DL 的軟件容易受到各種威脅或網絡攻擊。這些是在對抗性機器學習 (AML) 研究領域研究和開發的。這些攻擊可能被用來欺騙決策者、降低系統性能、降低最終用戶信任度，甚至從系統中提取（即逆向工程）敏感的軍事數據。圖 1.1 展示了一個典型的 AML 攻擊示例，其中目標是用于對圖像內容進行分類的 DNN。在這種情況下，DNN 能夠正確地識別出圖 1.1a 中的原始圖像包含一架戰斗機，幾乎是絕對確定的。圖 1.1b 中的惡意圖像是通過在原始圖像上應用 AML 技術創建的，能夠欺騙相同的 DNN 將輸入分類為西伯利亞雪橇犬而不是戰斗機。在這種情況下，攻擊是有效的，盡管人眼無法察覺。

圖 1.1 – 使用 AML 的樣本攻擊。在這種情況下，目標是由 DNN 表示的圖像分類系統。圖 1.1a 顯示 DNN 能夠以近乎完美的確定性將良性（非操縱）輸入正確分類為戰斗機。圖 1.1b 顯示了使用 AML 技術創建的經過處理的圖像。被操縱的圖像成功地欺騙了 DNN，將輸入分類為西伯利亞雪橇犬而不是戰斗機。

據我們所知，AML 尚未被對手或高級持續威脅 (APT) 參與者用來瞄準和攻擊嵌入在現實世界軍事系統中的基于 DL 的軟件。然而，研究團隊和安全專家不斷證明，針對依賴 DL 來實現尖端性能廣泛應用程序的攻擊是可能的 [1]。例如，小心地替換句子中的單詞可能會導致語言模型對情緒進行錯誤分類 [2]。自動駕駛汽車使用的交通標志和車道檢測系統可以通過分別在標志和道路上貼上標簽來攻擊 [3, 4]。轉錄服務可能會被注入精心設計的噪聲所誤導，迫使系統將語音轉換為任意文本 [5、6]。因此，假設基于 DL 的軟件將在未來的 C4ISR 支持系統中普遍使用，預計對手和 APT 最終將利用這些漏洞來欺騙、拒絕訪問或收集情報。

1.1 目標與范圍

本報告的目標是：(1) 概述迄今為止 AML 研究領域中已確定的攻擊向量，(2) 根據經驗估計這些攻擊的子集在軍事環境中的有效性，以及最后 (3) 提供見解并討論 AML 在何種程度上是深度學習在現實世界軍事應用中的現實和嚴重威脅。

盡管 AML 適用于任何基于 ML 的系統和算法，但本報告重點關注基于 DL 的 ML 系統。此外，本報告將重點關注攻擊。在 AML 研究領域提出和開發的防御機制將在未來的工作中涵蓋。最后，我們將范圍限制在與指揮和控制 (C2)、情報、監視和偵察相關的 DL 應用。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發軍事系統的人員，這些系統使用或嵌入了 AI、ML 和 DL 技術。

1.3 閱讀說明

本報告假定讀者具有有關 ML 和 DL 概念的基本知識，例如監督學習、強化學習、損失函數、梯度下降和反向傳播。

1.4 提綱

第 2 章介紹了 AML，并介紹了用于對本報告中的攻擊進行分類和比較的分類法。第 3 章介紹了從軍事角度來看可能具有相關性的已知攻擊方法的三個案例研究。實施和評估這些方法。第 4 章總結了報告，討論了 AML 在現實世界中的適用性，包括在軍事領域。

案例研究

本章提供了三個案例研究，探討了針對基于ML的系統的不同類型攻擊。在每種情況下，從AML文獻中選擇一種攻擊方法，并從軍事角度實現或測試。評估了攻擊的有效性，然后討論了實際考慮因素。選擇這三個案例研究是因為它們與軍事領域的潛在相關性，涵蓋了廣泛的攻擊，并說明了各種ML應用和方法。

第一章以欺騙深度神經網絡將戰斗機圖像誤認為是狗的例子開始。雖然將軍事裝備隱藏在顯眼的地方有明顯的吸引力，但介紹性的例子是高度理想化的。實際應用面臨的一個障礙是，攻擊僅限于數字領域:操作是在數字圖像本身上進行的，也就是說，在戰斗機被拍攝后的一個階段。如果圖像是由對手創建的(例如，飛機是由監視攝像機拍攝的)，那么操縱圖像將需要深入訪問敵人的系統。這是不太可能的(如果是，更簡單和更健壯的攻擊變得可行，例如消除圖像或阻止其記錄)。此外，雖然關于目標深度神經網絡的黑盒知識足以計算所需的圖像修改(例如，觀察分類標簽結果[18])，但在實踐中，即使是這種知識也無法預期。

因此，第3.1節中的第一個案例研究調查了數據中毒。這種攻擊的目的與前面的示例相同:通過欺騙敵人的DNN，使其對車輛進行錯誤分類，從而使軍用車輛(在本例中為坦克)逃避檢測。盡管方法也很相似，但是中毒攻擊解決了介紹性示例的實際缺點。

圖3.2 -僅使用正確標記的訓練圖像和直到測試時間才顯示的隱藏觸發器的數據中毒攻擊。在這個圖中，所有打補丁的坦克圖像都用紅色標出，而所有中毒的汽車圖像都用黃色標出。

第3.2節將范圍擴展到通過數據提取對語言模型的攻擊。語言模型是在廣泛的文本語料庫(通常是數十億個單詞)上訓練的非常大的dnn，在某種意義上能夠“理解”(書面)語言。它們引起了自然語言處理的范式變化，在許多任務中設定了新的基準[26]，并因其生成文本的能力而獲得了媒體的廣泛關注[27]。事實上，即使在編寫本報告期間，也取得了顯著的進展，例如，ChatGPT系統的提出。語言模型正在不斷接近人類的自然語言處理水平，它們對社會幾乎所有方面的潛在影響和后果，包括軍事應用，目前很難預測。除了機會之外，它們也帶來了風險，例如，它們可能會將敏感信息暴露給對手。第3.2節中的案例研究調查了這種形式的對抗性提取攻擊的可行性。

圖3.5 -兩種語言模型的微調過程，展示了數據和最終的微調模型之間的細微差異(左為FTorig，右為FTpatch)。請注意，Dpatch的補丁文章約占CC新聞數據集總數的24%，即剩余的76%與未修改的數據集相同。

第3.3節研究了對通過強化學習訓練的模型的攻擊。這種模型通常用于無人駕駛車輛、機器人、游戲等領域的自主智能體。它們不是在一組固定的例子上以監督的方式訓練的。相反，智能體用一個獎勵函數來評估它的情況，并選擇一個獎勵最大化的行動過程。雖然這種操作模式為智能體提供了處理現實世界的靈活性和彈性，但它們仍然容易受到攻擊和欺騙，正如本案例研究將在基于強化學習的各種系統上展示的那樣。

圖3.10 -來自[51]的四個零和模擬機器人博弈的示例，用于評估對抗性策略[49]。

圖3.11 -“你不能通過”的博弈序列，敵對的對手(紅色)應該阻礙受害者(藍色)到達終點線。上面的四個數字顯示了一個普通的智能體是如何鏟斷對手的。下面的四個圖形顯示了敵對的對手如何使受害者在沒有任何接觸的情況下摔倒在地[49]。

本研究結論

對抗性機器學習在科學界引起了越來越大的興趣，每天都有關于新的攻擊變體的論文發表。幾乎任何形式的機器學習都容易受到某種類型的AML的影響，正如本報告通過攻擊方法的示例所證明的那樣。隨著越來越多的應用程序采用深度學習，攻擊的機會和潛在的回報也在增加。例如，圖像識別模型正以某種形式用于與敵方相關的情況，無論是民用還是軍用:機場和體育場開始采用人臉識別以各種原因拒絕個人進入[58]，為上述個人應用AML來逃避系統提供了動機。軍用車輛在衛星圖像上的自動探測已經研究了幾十年，避免敵方衛星的這種探測顯然是任何軍隊都感興趣的。

然而，這些攻擊在很大程度上仍停留在學術界的實驗階段。已知很少有針對實際部署的深度學習系統的真正攻擊發生，也就是說，沒有得到深度學習系統操作員的同意，并且目標不僅僅是測試攻擊方法的可行性。可能的原因有很多:這種攻擊可能很少見，因為它們很難執行，或者潛在的目標還不多。攻擊可能很難被注意到(可以說逃避攻擊的主要目的是不被注意到)。攻擊者不太可能公布成功的攻擊，甚至受害者也可能認為保持沉默而不是進一步暴露自己的弱點是明智的。

盡管如此，一些攻擊已經傳播到公眾。Stable Diffusion[59]、DALL·e2[60]和Midjourney等生成圖像模型可以基于文本提示創建圖形。這使得他們在社交媒體上很受歡迎，但也引發了藝術家們的批評，他們懷疑他們的作品被用作訓練數據。2023年2月，媒體公司Getty Images對Stability AI提起訴訟，指控其未經許可使用Getty目錄中的受版權保護的庫存圖像訓練其Stable Diffusion模型。通過對Stable Diffusion的提取方法獲取證據，發現AI系統生成的圖像與Getty擁有的圖像具有很高的相似性，包括該公司的水印[61]。

針對語言模型的快速攻擊是一種更有趣的攻擊，仍然受到媒體的廣泛關注。這種類型的攻擊是一種簡單的提取變體，其目標不是訓練數據，而是隱藏的輸入指令。對于像ChatGPT這樣的大型語言模型，操作人員可能希望在沒有任何微調階段的情況下快速調整模型以適應某些應用程序。相反，對話只是在語言模型的文本指令之前，這些指令會影響它在與用戶對話過程中的行為，例如模型應該使用什么名稱，以及要展示什么樣的個性。這些指令通常不會顯示給語言模型的用戶，但好奇的用戶已經能夠讓模型暴露它們，例如通過告訴模型“忽略之前的指令”，從而覆蓋任何隱藏的指令，而不顯示隱藏的指令，然后問“上面文檔開頭寫了什么?”“[62]

這種由人群發起的攻擊雖然相對溫和，但表明評估人工智能系統對“AML”方法的穩健性很困難，更不用說實際防御它們了。這兩個挑戰都將成為該項目的未來報告的主題。

然而，從攻擊者的角度來看，情況可能至少同樣困難。很少有人工智能系統像上面的模型一樣具有公共接口，可以進行實驗。在防御環境中，攻擊者通常只有有限的機會研究目標系統，而傳統障礙(網絡安全和物理安全)可能構成與各種AML方法固有困難一樣多的挑戰。3.1節中描述的投毒攻擊是一種旨在繞過安全措施的方法，利用訓練數據的稀缺性誘使對手自己投毒他們的系統。未來的攻擊也有可能將AML與更傳統的方法(例如社會工程)結合起來。

隨著人工智能的日益普及，對攻擊方法的研究必然會增加。隨著人工智能使用的增加，對這一新領域的持續警惕和研究對于識別新出現的機會至關重要，但也要意識到自身的脆弱性。

強化學習（RL）的成功，如《星際爭霸》和《DOTA 2》等視頻游戲達到了高于人類的性能水平，這就提出了關于該技術在軍事建設性模擬中的未來作用的問題。本研究的目的是使用卷積神經網絡（CNN）來開發人工智能（AI）Agent，能夠在具有多個單位和地形類型的簡單場景中學習最佳行為。這篇論文試圖納入一個可用于軍事建設性模擬領域的多Agent訓練方案。八個不同的場景，都有不同的復雜程度，被用來訓練能夠表現出多種類型戰斗行為的Agent。總的來說，結果表明，人工智能Agent可以學習在每個場景中實現最佳或接近最佳性能所需的強大戰術行為。研究結果還表明，對多Agent訓練有了更好的理解。最終，CNN與RL技術的結合被證明是一種高效可行的方法，可以在軍事建設性模擬中訓練智能Agent，其應用有可能在執行實戰演習和任務時節省人力資源。建議未來的工作應研究如何最好地將類似的深度RL方法納入現有的軍事記錄構建性模擬項目中。

引言

A. 戰斗建模和戰爭

正確預測對手在戰爭中的戰略或戰術行為的愿望與人類進行這些戰爭的能力一樣古老[1]。在中國古代，像魏黑和圍棋這樣的游戲最初被用作加強軍事和政治領導人的戰略思維能力的方法。后來，羅馬人利用沙盤在戰役或戰斗前討論自己和敵人的可能行動。然而，直到19世紀初，普魯士人用他們的兵棋推演（Kriegsspiel）才開始利用具有嚴格規則的游戲來預測軍事交戰的可能結果。雖然這些兵棋推演在接下來的幾十年里在世界各地的許多武裝部隊中越來越受歡迎，但進行必要計算的能力有限，總是限制了這些基于棋盤的兵棋推演所能達到的復雜程度。此外，棋盤游戲的物理限制限制了設計者簡化行為和游戲元素，而不是努力追求真實。然而，計算能力的提高和用戶友好的圖形界面使設計者在20世紀末能夠以更高的復雜性來模擬兵棋推演的規則和游戲中的組件數量。此外，計算機的使用允許實施基于計算機的對手，在基于硬編碼規則的人工智能軟件的基礎上成功地與人類玩家進行比賽。

今天，基于計算機的兵棋推演，也被稱為建設性模擬[2]，已經成為整個國防部（DOD）的一個有用工具。它們使軍事領導人能夠進一步學習和發展他們在那些通常被認為成本太高或太危險而無法定期演練的領域的行動程序。領導人有能力在實際執行前針對多種紅色力量設計使用他們的部隊，使他們有機會在不承擔任何額外風險的情況下驗證他們的機動方案。在戰略層面上，大型單位的工作人員經常使用建設性的模擬作為訓練方法[3]，領導人可以在模擬環境中進行投入，但他們不參與確定場景的結果[2]。

B. 范圍和問題陳述

在基于計算機的兵棋推演中用來表現對抗行為的方法，需要由場景設計者通過腳本直接編碼，或者使用真人玩家進行所有紅軍的決策。這兩種方法都能提供足夠的分辨率來表現對抗性行為，但每種方法都有其缺點[4]。對于低級別的場景來說，直接對特定行為進行編碼可能是可行的，但隨著場景的擴大，單位的數量和可能的行動對于腳本的控制來說變得太有挑戰性，往往會導致不現實的行為[4]。對于大型場景，使用人類玩家作為紅色力量可能會提供更真實的結果，但額外的人力資源會造成后勤方面的壓力，而且整體的生產力也受限于單個玩家的知識和能力。

解決這個問題的一個可能的方法可能在于利用人工神經網絡。在計算機游戲領域，這種方法最近已被證明是相當成功的。例如，對于實時戰略游戲《星際爭霸II》，一個人工神經網絡被開發出來，打敗了99.8%經常參加在線比賽的玩家[5]。雖然在計算機游戲領域，人工神經網絡的利用最近取得了巨大的進展，但在軍事用途的兵棋推演領域，研究才剛剛開始。在最近的研究中，Boron[6]和Sun等人[7].已經表明，人工神經網絡適合解決簡單軍事兵棋推演場景中的挑戰。基于以前的工作，特別是Boron[6]的工作，本論文旨在提高所使用的軍事場景的復雜性。雖然Boron使用了簡單的多層感知器（MLP）神經網絡，但在處理己方和敵方單位的動態起始位置以及敵人的動態行為時，這種結構被證明是不合適的。此外，所使用的場景被限制在戰場上最多五個單位[6]。在本論文中，將建立一個支持卷積神經網絡（CNN）架構的訓練模擬，包括多個單位和地形類型以克服這些限制。此外，將在一個確定的場景中應用多智能體訓練，以測試這種方法是否可以成功地用于軍事建設性模擬領域。

神經網絡（NNs）很容易受到對抗性樣本的影響，大量的研究旨在對其檢測。然而，檢測對抗性樣本并不容易，即使在網絡中構建了新的損失函數。在這項研究中，我們引入了對抗性混合（AdvMix）網絡，這是一個在現有類別基礎上增加一個非上述（NOTA）類別的神經網絡，以隔離存在對抗性樣本的空間。我們研究了AdvMix在提高在深度神經網絡上訓練的模型的魯棒性方面的有效性，通過檢測它們來對抗對抗性攻擊。我們實驗了各種數據增強技術，并訓練了九個不同的模型。我們的研究結果表明，使用AdvMix網絡可以顯著提高模型對抗各種攻擊的性能，同時在良性樣本上取得更好的準確性。我們能夠將香草模型的準確性從91%提高到95%，并提高模型的魯棒性。在許多情況下，我們能夠消除模型對一些流行和有效的攻擊的脆弱性。

人工智能在軍事領域的前景之一是其廣泛的適用性，這似乎可以保證其被采用。在軍事方面，人工智能的潛力存在于所有作戰領域（即陸地、海洋、空中、太空和網絡空間）和所有戰爭級別（即政治、戰略、戰役和戰術）。然而，盡管有潛力，需求和人工智能技術進步之間的銜接仍然不是最佳狀態，特別是在軍事應用的監督機器學習方面。訓練監督機器學習模型需要大量的最新數據，而這些數據往往是一個組織無法提供或難以產生的。應對這一挑戰的絕佳方式是通過協作設計數據管道的聯邦學習。這種機制的基礎是為所有用戶實施一個單一的通用模型，使用分布式數據進行訓練。此外，這種聯邦模式確保了每個實體所管理的敏感信息的隱私和保護。然而，這個過程對通用聯邦模型的有效性和通用性提出了嚴重的反對意見。通常情況下，每個機器學習算法在管理現有數據和揭示復雜關系的特點方面表現出敏感性，所以預測有一些嚴重的偏差。本文提出了一種整體的聯邦學習方法來解決上述問題。它是一個聯邦自動集成學習（FAMEL）框架。FAMEL，對于聯邦的每個用戶來說，自動創建最合適的算法，其最優的超參數適用于其擁有的現有數據。每個聯邦用戶的最優模型被用來創建一個集成學習模型。因此，每個用戶都有一個最新的、高度準確的模型，而不會在聯邦中暴露個人數據。實驗證明，這種集成模型具有更好的可預測性和穩定性。它的整體行為平滑了噪音，同時減少了因抽樣不足而導致的錯誤選擇風險。

關鍵詞：聯邦學習；元學習；集成學習；軍事行動；網絡防御

1 引言

隨著步伐的加快，人工智能（AI）正在成為現代戰爭的重要組成部分，因為它為大規模基礎設施的完全自動化和眾多防御或網絡防御系統的優化提供了新的機會[1]。人工智能在軍事領域[2]的前景之一，似乎保證了它的采用，即它的廣泛適用性。在軍事方面，人工智能的潛力存在于所有作戰領域（即陸地、海洋、空中、太空和網絡空間）和所有級別的戰爭（即政治、戰略、戰役和戰術）[3]。但與此同時，隨著參與連續互聯和不間斷信息交換服務的互聯系統數量的實時擴大，其復雜性仍在成倍增長[4]。從概括的角度來看，可以說人工智能將對以下任務產生重大影響：

1.太快的任務，反應時間為幾秒鐘或更少，在高復雜度（數據、背景、任務類型）下執行。

2.操作時間超過人類耐力的任務，或意味著長期的高操作（人員）成本。

3.涉及巨大的復雜性的任務，需要靈活地適應環境和目標的變化。

4.具有挑戰性的行動環境，意味著對作戰人員的嚴重風險。

支持上述任務的實時監測事件的應用程序正在接收一個持續的、無限的、相互聯系的觀察流。這些數據表現出高度的可變性，因為它們的特征隨著時間的推移而發生巨大的、意想不到的變化，改變了它們典型的、預期的行為。在典型情況下，最新的數據是最重要的，因為老化是基于它們的時間。

利用數據的軍事人工智能系統可以將軍事指揮官和操作員的知識和經驗轉化為最佳的有效和及時的決策[3,4]。然而，缺乏與使用復雜的機器學習架構相關的詳細知識和專業知識會影響智能模型的性能，阻止對一些關鍵的超參數進行定期調整，并最終降低算法的可靠性和這些系統應有的概括性。這些缺點正在阻礙國防的利益相關者，在指揮鏈的各個層級，信任并有效和系統地使用機器學習系統。在這種情況下，鑒于傳統決策系統無法適應不斷變化的環境，采用智能解決方案勢在必行。

此外，加強國防領域對機器學習系統不信任的一個普遍困難是，采用單一數據倉庫對智能模型進行整體訓練的前景[1]，由于需要建立一個潛在的單點故障和對手的潛在戰略/主要目標[6]，這可能造成嚴重的技術挑戰和隱私[5]、邏輯和物理安全等嚴重問題。相應地，可以使更完整的智能分類器泛化的數據交換也給敏感數據的安全和隱私帶來了風險，而軍事指揮官和操作人員并不希望冒這個風險[7]。

為了克服上述雙重挑戰，這項工作提出了FAMEL。它是一個整體系統，可以自動選擇和使用最合適的算法超參數，以最佳方式解決所考慮的問題，將其作為一個尋找算法解決方案的模型，其中通過輸入和輸出數據之間的映射來解決。擬議的框架使用元學習來識別過去積累的類似知識，以加快這一過程[8]。這些知識使用啟發式技術進行組合，實現一個單一的、不斷更新的智能框架。數據保持在操作者的本地環境中，只有模型的參數通過安全流程進行交換，從而使潛在的對手更難干預系統[9,10]。

2 提出的框架

在提議的FAMEL框架中，每個用戶在水平聯邦學習方法中使用一個自動元學習系統（水平聯邦學習在所有設備上使用具有相同特征空間的數據集。垂直聯邦學習使用不同特征空間的不同數據集來共同訓練一個全局模型）。以完全自動化的方式選擇具有最佳超參數的最合適的算法，該算法可以最佳地解決給定的問題。該實施基于實體的可用數據，不需要在遠程存儲庫中處置或與第三方共享[11]。

整個過程在圖1中描述。

圖1.FAMEL框架。

具體來說就是：

步驟1--微調最佳局部模型。微調過程將有助于提高每個機器學習模型的準確性，通過整合現有數據集的數據并將其作為初始化點，使訓練過程具有時間和資源效率。

步驟2--將本地模型上傳至聯邦服務器。

步驟3--由聯邦服務器對模型進行組合。這種集成方法使用多種學習算法，以獲得比單獨使用任何一種組成的學習算法都要好的預測性能。

步驟4--將集成模型分配給本地設備。

從這個過程中產生的最佳模型（贏家算法）被輸送到一個聯邦服務器，在那里通過啟發式機制創建一個集成學習模型。這個集成模型基本上包含了本地最佳模型所代表的知識，如前所述，這些知識來自用戶持有的本地數據[12]。因此，總的來說，集成模型提供了高概括性、更好的預測性和穩定性。它的一般行為平滑了噪音，同時降低了在處理本地數據的場景中由于建模或偏見而做出錯誤選擇的總體危險[13,14]。

結論

將機器學習應用于現實世界的問題仍然特別具有挑戰性[44]。這是因為需要訓練有素的工程師和擁有豐富經驗和信息的軍事專家來協調各自算法的眾多參數，將它們與具體問題關聯起來，并使用目前可用的數據集。這是一項漫長的、費力的、昂貴的工作。然而，算法的超參數特征和理想參數的設計選擇可以被看作是優化問題，因為機器學習可以被認為是一個搜索問題，它試圖接近輸入和輸出數據之間的一個未知的潛在映射函數。

利用上述觀點，在目前的工作中，提出了FAMEL，擴展了制定自動機器學習的一般框架的想法，該框架具有有效的通用優化，在聯邦層面上運作。它使用自動機器學習在每個聯邦用戶持有的數據中找到最佳的本地模型，然后，進行廣泛的元學習，創建一個集成模型，正如實驗所顯示的那樣，它可以泛化，提供高度可靠的結果。這樣，聯邦機構就有了一個專門的、高度概括的模型，其訓練不需要接觸他們所擁有的數據的聯合體。在這方面，FAMEL可以應用于一些軍事應用，在這些應用中，持續學習和環境適應對支持的行動至關重要，而且由于安全原因，信息交流可能很難或不可能。例如，在實時優化有關任務和情況的信息共享方面就是這種情況。在部署了物聯網傳感器網格的擁擠環境中，FAMEL的應用將具有特別的意義，需要滿足許多安全限制。同樣，它也可以應用于網絡空間行動，在雜亂的信息環境和復雜的物理場景中實時發現和識別潛在的敵對活動，包括對抗負面的數字影響[45,46]。必須指出的是，在不減少目前所描述的要點的情況下，所提出的技術可以擴展到更廣泛的科學領域。它是一種通用的技術，可以發展和產生一種開放性的整體聯邦學習方法。

盡管總的來說，聯邦學習技術的方法論、集成模型以及最近的元學習方法已經強烈地占據了研究界，并提出了相關的工作，提升了相關的研究領域，但這是第一次在國際文獻中提出這樣一個綜合框架。本文提供的方法是一種先進的學習形式。計算過程并不局限于解決一個問題，而是通過一種富有成效的方法來搜索解決方案的空間，并以元啟發式的方式選擇最優的解決方案[47,48]。

另一方面，聯邦學習模型應該對合作訓練數據集應用平均聚合方法。這引起了人們對這種普遍方法的有效性的嚴重關注，因此也引起了人們對一般聯邦架構的有效性的關注。一般來說，它將單個用戶的獨特需求扁平化，而不考慮要管理的本地事件。如何創建解決上述局限性的個性化智能模型，是目前一個突出的研究問題。例如，研究[49]是基于每個用戶必須以聯邦的形式解決的需求和事件。解釋是可解釋系統的各種特征，在指定的插圖的情況下，這些特征有助于得出結論，并在局部和全局層面提供模型的功能。建議只對那些變化程度被認為對其功能的演變相當重要的特征進行再訓練。

可以擴大擬議框架研究領域的基本課題涉及元集成學習過程，特別是如何解決創建樹和它們的深度的問題，從而使這個過程自動完全簡化。還應確定一個自動程序，以最佳的分離方式修剪每棵樹，以避免負收益。最后，探索將優化修剪的樹的版本添加到模型中的程序，以最大限度地提高框架效率、準確性和速度。

（完整內容請閱讀原文）

這項工作包括在征求研究、設計和開發用于人工智能（AI）系統對抗性測試和評估的反人工智能工具的初步建議和結論。該報告包括對相關人工智能概念的文獻回顧和對抗性人工智能領域的廣泛研究。一項密集的利益相關者分析，包括從20多個政府和非政府組織中征集需求，協助確定哪些功能需求應包括在反人工智能工具的系統設計中。隨后的系統架構圖接受用戶輸入，測試各種類型的對抗性人工智能攻擊，并輸出人工智能模型的脆弱性。在這個工具投入使用之前，伙伴組織將進行迭代實驗，這是開發和部署這個反人工智能工具的下一個步驟。

美國國防部（DoD）對使用人工智能（AI）技術來提高軍事任務能力和日常工作越來越感興趣。美國防部將人工智能定義為 "旨在像人一樣思考或行動的人工系統，包括認知架構和神經網絡"（Sayler, 2020）。它將對抗性人工智能定義為 "對手可能針對人工智能系統部署的反措施，以及保障性能所需的評估步驟和防御措施"（美國防部，2018）。美國防部承諾研究新的理論、技術和工具，使人工智能系統更有彈性，表現出更少的意外行為。美國防部的戰略概述包括提供解決關鍵任務的人工智能能力，通過共同的基礎擴大人工智能在整個國防部的影響，培養領先的人工智能勞動力，與各種合作伙伴合作，并在軍事道德和人工智能安全方面引領世界（美國防部，2018）。

然而，隨著人工智能系統實施和采用的增加，對手已經威脅要攻擊和操縱這些系統；目前，沒有現成的工具來幫助對人工智能系統進行對抗性測試和評估（T&E），以便在其投入使用之前評估漏洞和失敗模型。在任務使用情況下，美國防部不應該在沒有事先評估安全或反人工智能措施的有效性的情況下部署這些人工智能系統。設計和建立有彈性的人工智能系統對人工智能防御至關重要，因為這些系統更容易解釋，更值得信賴，并能確保其免受各種已確定的對抗性攻擊方法的影響。

因此，美國防部旨在確保部署的人工智能系統更加安全，以防止對手的操縱。對手將基于三種訪問范式攻擊人工智能：白盒、黑盒、灰盒。白盒攻擊給予攻擊者最高的能力，這發生在對手可以訪問所有模型組件時（Kurakin，2018）。在黑箱攻擊中，對手對模型沒有完全透明的看法，但能夠探測模型以推斷其結構和組件（Kurakin，2018）。攻擊者能力的最后一個順序是灰盒（或隱盒）攻擊，這是指對手不能直接訪問模型，只能對模型的結構進行假設（Kurakin，2018）。

對人工智能系統的潛在威脅包括各種攻擊模式，如中毒、規避和模型反轉。中毒攻擊是指污染訓練數據以歪曲模型行為的攻擊，例如將用戶輸入的數據錯誤地分類到AI系統中（Bae，2021）。逃避攻擊并不直接影響訓練數據，但有效地掩蓋了它所提供的內容，使攻擊對人類觀察者、人工智能系統識別和分類都不可見（Bae，2021）。模型反轉（偷竊）攻擊發生在對手探測人工智能系統以提取有關模型配置或訓練數據的信息，從而有效地重建模型（Bae，2021）。所有這三種對抗性攻擊對已部署的人工智能系統構成了不同的后果，最明顯的是與用戶隱私和數據安全有關。

鑒于感知到的威脅和缺乏充分評估對抗性人工智能漏洞的工具，我們的工作旨在了解如何設計、開發和利用反人工智能工具，以幫助保護人工智能系統免受這些新發現的對抗性威脅載體。具體來說，我們的工作有助于并支持研究、設計和開發用于人工智能系統的對抗性T&E的反人工智能工具，供人工智能紅隊成員使用，以提高人工智能系統的復原力。

網絡威脅變得越來越普遍。最近備受矚目的入侵事件表明，秘密的的網絡空間效應如何能夠挑戰21世紀的國際安全戰略格局。每個經濟部門和人類生活的各個方面對數字技術的日益依賴強烈地表明，這一趨勢將繼續下去。北約盟國正以日益強大的網絡安全和防御來應對，特別是當它與軍事系統、平臺和任務相交時。

對提高復原力和穩健性的要求加速了對人工智能技術的探索和采用，即使計算機能夠模仿人類智能的技術，用于網絡防御。深度機器學習（DML）就是這樣一種最先進的技術，它在網絡安全以及許多其他應用領域都表現出了相當大的潛力。深度機器學習可以增強網絡彈性，其防御措施隨著時間的推移隨著威脅的變化而變化，并減少人類專家手動數據分析的總體負擔。深度機器學習可以促進更快的響應，特別是在充分和足夠的訓練下。一些可能的考慮包括在建立或生成數據模型開發中的對抗性樣本。

本技術報告在整合北約范圍內深度機器學習（DML）的網絡防御應用知識方面采取了初步措施。它進一步確定了目前的解決方案和軍事需求之間的差距，并相應地構建了DML在軍事領域有前途的網絡防御應用的追求。研究小組以技術報告的體現為核心，從惡意軟件檢測、事件管理、信息管理、漏洞管理、軟件保障、資產管理、許可證管理、網絡管理和配置管理的角度審查國家標準和技術研究所的安全準則。

該報告研究了DML的復雜效用、實際實施以及公開的挑戰。研究工作組由數據科學、機器學習、網絡防御、建模與仿真和系統工程等領域的專家組成。研究人員和從業人員考慮了數據的聚集、數據的特征、共享數據的需要以及數據模型的共享，或其生成者。這些因素，包括如何處理、訓練、訪問數據，以及相關的技術，如遷移或聯邦學習，也被考慮在內。

第1章 背景

網絡威脅越來越先進，對手更具戰略性，可以從世界任何地方表現出威脅。今天的對手擁有資源和時間，只要有時間和資源，就可以輕松地發動破壞性攻擊。

不同格式的數據的可用性和豐富性也有助于為對手創造一種靈活性，如果沒有數據的涌入，這種靈活性是不存在的[1]。由于對手很容易獲得工具和技術，所有形式的大數據的可用性，網絡攻擊達到了前所未有的高度，北約國家必須通過緩解工具和技術來增強其戰略地位，以減輕對軍事系統、平臺和任務的網絡威脅[2]。

緩解技術將包括最新和最偉大的技術，以創造彈性，及時發現和應對攻擊，并在平臺發生任何損害或損害之前恢復。

世界正在變得更加數字化[3]，軍隊也不例外。隨著先進工具的出現和技術的數字化，研究人員必須做好準備，研究防御性技術，以防止軍事系統和平臺的破壞和退化。

RTG計劃探索深度機器學習（DML）的應用，以實施和加強軍事戰略網絡地位，并創建一個防御，不僅要解決今天的威脅，還要解決未來可能出現的威脅，如增加的處理能力，先進的工具和數據操作技術。

擬議的 "IST 163 - 網絡防御深度機器學習"活動的主要目標是鞏固全北約在DML和網絡防御領域的知識，確定民用解決方案和軍事需求之間的差距，并與其他北約國家合作，使用數據處理，共享數據和模型，并追求將最有前途的技術和應用轉移到軍事領域，同時堅持標準，確保數據與所選技術相匹配。

RTG致力于發現北約各國的DML技術，揭示數據是如何處理和適合神經網絡的，并確定各國在這些技術中的差距，以比較最佳的解決方案，這些解決方案有可能被其他可能沒有潛力或技術不先進的國家采用。

這項研究為各國創造了一個機會，以全面審視DML在網絡防御方面的能力和差距，并研究以最先進的DML方法加強網絡防御的手段。

在為DML創建數據時，來自不同背景的研究人員將共同支持反映數據效用和模型的最佳情況的用例，并努力確保數據最適合于研究。考慮到來自多種背景的擬議數據的動態，對數據的整理和消毒以適應模型，將創造一個機會，看到不同類型的數據對DML模型的各方面作用。

將特別關注術語與北約其他倡議中的相關活動的一致性。因此，它將面向來自人工智能、機器學習、建模和模擬以及系統工程等領域的多學科受眾。

工作組的工作將集中在機器學習上，包括深度學習方面。

第2章 軍事關系

網絡防御影響軍事行動的所有領域，包括通信、行動和后勤。隨著威脅的復雜化和對手變得更加創新，傳統的基于簽名的檢測威脅的方法很容易被規避。現有的防御措施無法跟上新的漏洞、漏洞和攻擊載體出現的規模。顯然，有必要開發自動和數據驅動的防御系統，其模型適合于軍事系統和聯盟操作環境。

減少數據分析的負擔和擴展到多樣化和聯合環境的網絡防御技術，現在和將來都對軍事行動相當重要。在這一類別中，一個有前途的領域是機器學習（ML）的應用，即研究和開發沒有預編程指令的模式識別方法來解釋數據。Theobold[1]明確闡述了機器學習的效用：

• 幾十年來，機器都是靠響應用戶的直接命令來運作的。換句話說，計算機被設計成響應預先編程的命令來執行既定任務。現在，計算機嚴格來說不需要接收輸入命令來執行任務，而是需要輸入數據。具體來說，機器根據數據中捕捉到的以往經驗創建一個預測模型。從輸入的數據中，機器就能制定出如何、在何處、何時執行某種行動的決定。[1]

在20世紀上半葉的20年里，美國的武裝部隊是數字計算機發展的唯一最重要的驅動力[2]。隨著商業計算機行業開始形成，武裝部隊和國防工業成為其主要市場。在其發展過程中，人類對所有的軟件進行編程，并作為計算和算法進步的主要驅動力。面向對象的編程使軟件可以重復使用，并擴大了其規模。后來，互聯網使軟件民主化。隨著深度機器學習（DML）的出現，這一格局正準備再次發生根本性的轉變，這是ML的一個子集。DML技術通過訓練描述輸入和輸出之間關系的模型，使計算機能夠 "編寫 "自己的軟件。這一突破已經在加速每個行業的進步。研究表明，深度學習將在未來20年內使全球股票市場增加近50%[3]。

網絡防御也不例外，這是個趨勢。20世紀后半葉，社會和軍事應用中越來越多地采用數字技術，而21世紀頭幾十年的常規數據泄露事件，說明了一個有彈性的網絡空間的重要性。人工智能（AI）的應用，包括用于網絡防御的ML和DML，已經在國防研究論壇上獲得了相當多的曝光[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]。這些應用具有相當大的軍事前景，特別是涉及到漏洞發現、威脅識別、態勢感知和彈性系統。

2.1 北約視角

網絡防御是北約合作安全核心任務的組成部分[12]。2002年，盟國領導人首次公開承認需要加強防御網絡攻擊的能力[13]。此后不久，在2003年，他們建立了北約計算機事件響應能力（NCIRC），這是一個由 "第一響應者 "組成的團隊，負責預防、檢測和響應網絡事件。從那時起，網絡領域的重要性和關注度都在不斷增加。2008年，北約建立了合作網絡防御卓越中心，目前由25個贊助國組成，其任務是加強北約盟國和合作伙伴的能力、合作和信息共享[14]。2014年，盟國領導人宣布，網絡攻擊可能導致援引北約創始條約中的集體防御條款。2016年，盟國承認網絡空間是軍事行動的一個領域。盟國領導人進一步承諾，將加強其國家網絡和基礎設施的復原力作為優先事項，并申明國際法適用于網絡空間[15]。雖然北約的主要重點是保護聯盟擁有和運營的通信和信息系統，但它規定了簡化的網絡防御治理，協助盟國應對網絡攻擊，并將網絡防御納入作戰計劃，包括民事應急計劃。北約清楚地認識到，其盟國和合作伙伴受益于一個可預測和安全的網絡空間。

對北約安全的網絡威脅越來越頻繁，越來越復雜，越來越具有破壞性和脅迫性。聯盟必須準備好保衛其網絡和行動，以應對它所面臨的日益復雜的網絡威脅。因此，盟軍的理論指出，網絡防御是影響未來軍事力量平衡的六個關鍵因素之一[16]。北約的政策進一步將網絡防御的追求定格在六個關鍵目標上[17]。

• 將網絡防御的考慮納入北約的結構和規劃過程，以執行北約的集體防御和危機管理的核心任務。- 重點關注北約及其盟國的關鍵網絡資產的預防、恢復和防御。

• 發展強大的網絡防御能力，集中保護北約自己的網絡。

• 為對北約核心任務至關重要的國家網絡的網絡防御制定最低要求。

• 提供援助，以實現最低水平的網絡防御，減少國家關鍵基礎設施的脆弱性。

• 與合作伙伴、國際組織、私營部門和學術界接觸。

最近的研究闡述了這些目標是如何實現的[18]。盡管其成員負責保護自己的網絡空間部分，但北約在促進互動、保持態勢感知以及隨著危機或沖突的發展將資產從一個盟友或戰術情況轉移到另一個盟友方面發揮著關鍵作用。它進一步倡導多國部隊之間的高度互操作性，包括聯合收集、決策和執行盟國在網絡空間的行動要素[19]。2013年，北約防御規劃進程開始向其盟國分配一些集體的最低能力，以確保一個共同的基線，包括國家網絡應急小組（CERT）、加密、教育、培訓和信息共享。在網絡空間以及其他領域，北約在建立國際規范和行為準則方面發揮了不可或缺的作用，促進了對不可接受的行為、譴責、制裁和起訴的明確性。

2.2 美國視角

美國國家網絡戰略[20]宣稱有責任捍衛美國利益免受網絡攻擊，并威懾任何試圖損害國家利益的對手。它進一步確認了為實現這一目標而開發的網絡空間行動能力。美國軍事理論將網絡行動定義為一系列行動，以防止未經授權的訪問，擊敗特定的威脅，并拒絕對手的影響[21]。在本報告的背景下，有兩個關鍵功能非常突出。

• 網絡空間安全（Cybersecurity），是指在受保護的網絡空間內采取的行動，以防止未經授權訪問、利用或破壞計算機、電子通信系統和其他信息技術，包括平臺信息技術，以及其中包含的信息，以確保其可用性、完整性、認證、保密性和不可抵賴性。

• 而網絡空間防御（Cyber Defence）則是指在受保護的網絡空間內采取的行動，以擊敗已經違反或有可能違反網絡空間安全措施的特定威脅，包括檢測、定性、反擊和減輕威脅的行動，包括惡意軟件或用戶的未經授權的活動，并將系統恢復到安全配置。

盡管有區別，但網絡安全和網絡防御都需要對系統和安全控制進行廣泛的持續監測。聯合軍事理論進一步承認了整合能力的挑戰，其中包括。

• 民族國家的威脅，可以獲得其他行為者無法獲得的資源、人員或時間。一些國家可能利用網絡空間能力來攻擊或進行針對美國及其盟友的間諜活動。這些行為者包括傳統的對手；敵人；甚至可能是傳統的盟友，并可能外包給第三方，包括幌子公司、愛國的黑客或其他代理人，以實現其目標。

• 非國家威脅包括不受國家邊界約束的組織，包括合法的非政府組織（NGO）、犯罪組織和暴力極端主義組織。非國家威脅利用網絡空間籌集資金，與目標受眾和對方溝通，招募人員，計劃行動，破壞對政府的信任，進行間諜活動，并在網絡空間內直接開展恐怖行動。他們也可能被民族國家用作代理人，通過網絡空間進行攻擊或間諜活動。

• 個人或小團體的威脅是由可獲得的惡意軟件和攻擊能力促成的。這些小規模的威脅包括各種各樣的團體或個人，可以被更復雜的威脅所利用，如犯罪組織或民族國家，往往在他們不知情的情況下，對目標實施行動，同時掩蓋威脅/贊助者的身份，也創造了合理的推諉性。

• 事故和自然災害可以擾亂網絡空間的物理基礎設施。例子包括操作失誤、工業事故和自然災害。從這些事件中恢復可能會因為需要大量的外部協調和對臨時備份措施的依賴而變得復雜。

• 匿名性和歸屬性。為了啟動適當的防御反應，網絡空間威脅的歸屬對于被防御的網絡空間以外的任何行動都是至關重要的，而不是授權的自衛。

• 地域。防御性反應的累積效應可能超出最初的威脅。由于跨區域的考慮，一些防御行動被協調、整合和同步化，在遠離被支持的指揮官的地方集中執行。

• 技術挑戰。使用依賴利用目標中的技術漏洞的網絡空間能力可能會暴露其功能，并損害該能力對未來任務的有效性。這意味著，一旦被發現，這些能力將被對手廣泛使用，在某些情況下，在安全措施能夠被更新以考慮到新的威脅之前。

• 私營企業和公共基礎設施。國防部的許多關鍵功能和行動都依賴于簽約的商業資產，包括互聯網服務提供商（ISP）和全球供應鏈，國防部及其部隊對這些資產沒有直接的權力。

• 全球化。國防部的全球業務與其對網絡空間和相關技術的依賴相結合，意味著國防部經常從外國供應商那里采購任務所需的信息技術產品和服務。

• 緩解措施。國防部與國防工業基地(DIB)合作，以加強駐扎在DIB非機密網絡上或通過DIB非機密網絡的國防部項目信息的安全性。

2018年國防戰略[22]對美國軍隊在各個領域--空中、陸地、海上、太空和網絡空間--都表示嚴重關切。它進一步承認，當前的國際安全格局受到快速技術進步和戰爭性質變化的影響。為了應對這一挑戰，美國國防部確定了現代化的優先事項，其中包括人工智能/ML、自主性和網絡。網絡是一個獨特的作戰領域，對需要加強指揮、控制和態勢感知以及自主行動的軍事行動來說，具有重大挑戰和潛在的飛躍能力。

2019年聯邦網絡安全研究與發展戰略計劃[23]闡明了用人工智能（AI）模型、算法以及其他領域的人與AI互動來增強網絡安全研究與發展（R&D）的必要性。將人工智能技術納入網絡自主和半自主系統，將有助于人類分析員在自動監測、分析和應對對手攻擊方面以更快的速度和規模運作。這方面的應用包括部署智能自主代理，在日益復雜的網絡戰斗空間中檢測、響應和恢復對手的攻擊。預期成果包括預測固件、軟件和硬件中前所未有的安全漏洞；根據學習到的互動歷史和預期行為，從攻擊場景中持續學習和建模；利用通信模式、應用邏輯或授權框架，防御針對人工智能系統本身的攻擊；半/完全自主的系統減少了人類在網絡操作中的作用。

2020年，美國人工智能國家安全委員會[24]強調了人工智能技術對經濟、國家安全和人類福祉的潛在影響。它指出，美國的軍事對手正在整合人工智能概念和平臺，以挑戰美國幾十年來的技術優勢。人工智能加深了網絡攻擊和虛假信息運動帶來的威脅，我們的對手可以利用這些威脅來滲透社會，竊取數據，并干擾民主。它明確宣稱，美國政府應該利用人工智能的網絡防御措施，以防止人工智能的網絡攻擊，盡管它們本身并不能保衛本質上脆弱的數字基礎設施。

2.3 網絡戰爭事件的簡史

根據北約合作網絡防御卓越中心的數據，至少有83個國家已經起草了國家網絡安全戰略[25]。此外，所有30個北約成員國都發布了一份或多份治理文件，反映了保衛網絡環境的戰略重要性。這種堅定的姿態源于過去20年里發生的越來越普遍和有影響的網絡攻擊。在本節中，我們研究了影響北約盟國的高調入侵的簡短歷史，培養了當前的氣氛，并強調了對更好的網絡保護、威懾、檢測和反應技術的需求。

2003年，一系列協調攻擊破壞了美國的計算機系統。這些攻擊被美國政府命名為 "泰坦雨"，持續了三年，導致政府機構、國家實驗室和美國國防承包商的非機密信息被盜。隨后的公開指控和否認，源于準確檢測和歸因于網絡攻擊的困難，成為網絡空間中新出現的國際不信任的特征。

2007年，愛沙尼亞成為一場持續二十二天的政治性網絡攻擊活動的受害者。分布式拒絕服務攻擊導致許多商業和政府服務器的服務暫時下降和喪失。大多數的攻擊是針對非關鍵性服務，即公共網站和電子郵件。然而，有一小部分集中在更重要的目標，如網上銀行和域名系統（DNS）。這些攻擊引發了一些軍事組織重新考慮網絡安全對現代軍事理論的重要性，并導致了北約合作網絡防御卓越中心（CCDCOE）的建立，該中心在愛沙尼亞的塔林運作。

2008年，一系列的網絡攻擊使格魯吉亞組織的網站失效。這些攻擊是在一場槍戰開始前三周發起的，被認為是一次與主要作戰行動同步的協調的網絡空間攻擊。

2015年，俄羅斯計算機黑客將目標鎖定在屬于美國民主黨全國委員會的系統上。這次攻擊導致了數據泄露，被確定為間諜行為。除了強調需要加強網絡復原力外，對這一事件的反應突出了采取行動打擊虛假信息和宣傳行動的必要性。

2017年，WannaCry勒索軟件感染了150個國家的20多萬臺電腦。這種不分青紅皂白的攻擊，由利用微軟視窗操作系統漏洞的勒索軟件促成，鎖定數據并要求以比特幣支付。在幸運地發現了一個殺毒開關后，該惡意軟件被阻止了，但在它導致工廠停止運營和醫院轉移病人之前。

2018年，挪威軍方和盟國官員證實，俄羅斯在歐洲高北地區舉行的三叉戟接點演習中，持續干擾GPS信號，擾亂了北約的演習[26]。"使用天基系統并將其拒絕給對手的能力是現代戰爭的核心"[27]。在過去幾十年里，軍事行動對天基資產的依賴性越來越大，天基資產越來越成為網絡攻擊的理想目標。俄羅斯等國都將電子戰、網絡攻擊和電磁戰斗空間內的優勢作為在未來任務中取得勝利的戰略的一部分。這些國家的現有理論突出了一個重點，即防止對手的衛星通信系統影響其作戰效率。衛星依賴于網絡技術，包括軟件、硬件和其他數字組件。空間系統對于在空中、陸地、海上、甚至網絡領域進行的行動中提供數據和服務是至關重要的。對衛星控制系統或帶寬的威脅對國家資產和目標構成了直接挑戰，并促進了對緩解措施的需求，以實現這些系統的彈性。

2020年，來自亞美尼亞和阿塞拜疆的黑客在納加諾-卡拉巴赫戰爭期間以網站為目標。錯誤信息和舊事件的視頻被當作與戰爭有關的新的和不同的事件來分享。新的社交媒體賬戶創建后，關于亞美尼亞和阿塞拜疆的帖子激增，其中許多來自真實用戶，但也發現了許多不真實的賬戶。這一事件強調了社會網絡安全作為一個新興研究領域的出現[28]。

2020年，一場重大的網絡攻擊通過破壞流行的網絡監控工具Solarwinds的軟件供應鏈滲透到全球數千家機構。據報道，由于目標的敏感性和高知名度，以及黑客進入的時間之長，隨后發生的破壞程度是美國所遭受的最嚴重的網絡間諜事件之一。在被發現的幾天內，全世界至少有200個組織被報告受到了攻擊。

2.4 網絡空間的大趨勢

越來越多的趨勢是網絡空間發展的特點。網絡技術在我們生活的各個方面發揮著越來越大的作用。這一趨勢也延伸到了軍事沖突。對網絡技術的日益依賴將帶來新的脆弱性，并侵蝕傳統網絡防御的界限。隨著基礎技術組件和界面的成熟，網絡空間和其他領域，包括關鍵基礎設施、軍事武器系統和綜合生物、物理和量子系統之間的交叉將越來越重要。在本節中，我們確定了將影響網絡空間演變的技術和非技術趨勢，以及ML在其防御應用中的基本效用。

2.4.1 技術趨勢

硬件、軟件和協議的可編程性和復雜性日益增加。可編程性的增加帶來了快速的開發和交付窗口，但每一個新的代碼庫都會進一步引入新的漏洞。復雜性的增加導致了未使用的代碼路徑，即軟件臃腫，從而維持了不良的攻擊路徑。第三方和開源硬件和軟件的存在越來越多，這使得快速的原型設計成為可能，但也容易受到不透明的供應鏈和來源損失的影響。

自主性的應用和加速的決策循環是網絡沖突的方向和速度的特征。人類將在機器智能中依賴大數據、增加的計算能力和新型計算算法的匯合。日益增長的網絡速度需要更多地依賴預防妥協、復原力以及與人類專家的最佳人機合作。同時，網絡空間越來越不可信，新興的安全架構規定，需要根據資產和信息對任務背景的重要性來保護它們[29]。

網絡空間的應用范圍越來越多樣化。隨著邊緣設備保持通電和可訪問性，以及低尺寸、低重量和電源設備連接的應用增長，無處不在的連接將增加軍事上對網絡空間的依賴。與網絡物理系統（即物聯網）一樣，新興的生物、物理和量子應用將需要與網絡空間的新接口。這些接口將為網絡防御創造新的機會和挑戰，如儀器和傳感、側信道攻擊和形式驗證。

機器學習（ML）將繼續發展其與網絡空間技術和網絡防御應用的多層面關系。一方面，ML可以增強幾乎所有的網絡技術及其應用（即微電子、網絡、計算架構等的設計、開發和測試）。另一方面，網絡技術的進步（如張量處理單元、量子計算機）可以增強ML能力。鑒于在大量數據中進行模式識別的基本挑戰，ML可以大大改善網絡空間的能力和彈性。

2.4.2 非技術趨勢

互聯網用戶的數量囊括了世界一半以上的人口[30]。盡管有跡象表明，由智能手機出貨量下降和2020年全球大流行引起的近期增長放緩，但創新繼續推動產品改進。收集的數字數據的迅速崛起是那些增長最快的公司成功的關鍵，通常是通過數據挖掘和豐富的上下文增強，幫助個性化的產品和服務。這導致了對濫用數據、用戶隱私和準備推動市場變化或監管的問題內容的擔憂。隨著數字系統變得越來越復雜，數據越來越豐富，任務也越來越重要，利用的機會和意愿也越來越大。越來越多地，新興技術的網絡安全影響被納入國際外交和國防考慮。最近的例子包括脆弱性平等進程[31]、網絡空間信任與安全巴黎呼吁[32]和算法權利法案[33]。

戰略性的全球需求信號，包括氣候變化和資源短缺，可能會產生新的領土野心和聯盟，導致政治格局急劇變化。例如，由天基太陽能技術產生的電力可能被傳送到地面，這就需要新的關鍵基礎設施和網絡空間的全球存在點。同樣，由自然資源短缺引起的人口變化可能會改變政治和國家安全格局。這些變化將引入新的關鍵基礎設施，并對網絡空間產生依賴性。

軍事行動已經嚴重依賴網絡空間。這種依賴性是一個可以被利用來獲得不對稱優勢的弱點[34]。數字地形的丟失、退化、損壞、未經授權的訪問或利用為對手提供了巨大的優勢，并對軍事目標構成了威脅。近鄰的行為者將繼續試圖破壞網絡空間或反擊進攻性網絡行動。進攻性網絡能力的民主化和擴散將進一步為非近鄰的競爭對手提供具體的優勢。越來越多地，一個國家的能力和影響力可以通過其將消費電子產品武器化的能力來衡量，特別是當這些商業開發的系統將成為軍事應用的基礎。因此，網絡攻擊的范圍、頻率和影響都將增長。

同時，全球化將促使對軍事行動的標準和責任的審查增加。政治和公眾對問責制的要求將因戰爭的日益不透明而受到挑戰。例如，在物理領域開展的威懾行動需要精心策劃的敘述和信息傳遞，與24小時的新聞周期保持一致。然而，進攻性的網絡行動準備實現更加隱蔽的效果，不容易被觀察到或歸因。網絡戰工具已將網絡空間轉化為一個灰色地帶的戰場，在這里，沖突低于公開的戰爭門檻，但高于和平時期。

作戰將越來越多地將網絡與傳統領域（如陸地、海洋、空中、太空）結合起來。戰爭學說、國際條約和一般法律將隨著力量平衡、現有技術和區域沖突的變化而反應性地發展。進攻性網絡工具的民主化將對抗動能領域作戰的傳統優勢。前所未有的連通性和日益增長的民族主義將推動網絡空間繼續被用于不對稱的優勢。世界范圍內的社會動蕩所助長的虛假信息和影響運動將可能蔓延到網絡空間。盡量減少外部影響、執行數據隱私和管理數字內容的愿望增強，可能會推動互聯網的巴爾干化。

這在俄羅斯宣布將其國家部分從全球互聯網中關閉并成為 "數字主權"，同時在網絡空間中追求決定性的軍事優勢中已經得到證明。在這個目標中，包括為人工智能系統建立信息安全標準。這樣的新技術應用很可能會影響俄羅斯選擇的實現其目標的方式。例如，Kukkola等人[35]斷言，人工智能可能為俄羅斯提供一個機會，以靈活的方式定義其數字邊界，反映普遍的意見和忠誠度，而不是地理位置。俄羅斯領導層進一步斷言，領導人工智能的國家將是 "世界的統治者"，表明這種進步將是變革性的，其影響尚未被完全理解。

第4章 深度機器學習在網絡防御中的應用

傳統的網絡安全和網絡防御方法依賴于人工數據分析來支持風險管理活動和決策。盡管這些活動的某些方面可以自動化，但由于其簡單性和對問題領域的有限理解，自動化往往是不足的。在這一章中，我們將調查DML應用的文獻，這些應用可以幫助信息安全的持續監控，用于美國國家標準研究所定義的一組安全自動化領域[1]。我們這樣做是為了對最先進的研究現狀、實際實施、開放的挑戰和未來的愿景建立一個結構化的理解。通過這些見解，我們指出了DML在整個網絡安全領域應用的一系列挑戰，并總結了我們的發現。

在不同的安全自動化領域中，我們已經確定了主題和建議未來研究的領域。其中一個反復出現的主題似乎是缺乏實際的實現，也就是說，缺乏高技術準備水平（TRL）。我們懷疑這可能是由于許多不同的原因，例如，未滿足性能預期、數據不足、不合格的深度學習架構、對促進可擴展的DML應用的通用數據存儲和分析解決方案缺乏共識，或研究的初級階段。通過我們的初步調查，我們強調了未來的研究方向和/或阻礙每個安全自動化領域的進一步進展的問題。

• 惡意軟件檢測。DML應用需要處理惡意軟件如何隨著時間的推移改變其統計屬性，例如，由于對抗性方法（概念漂移）。還有一個問題是關于數據共享，以適應不太可能被釋放到野外的高級惡意軟件，以及一般的數據訪問。此外，還需要研究如何定義能夠代表軟件的新特征，以便進行檢測和歸屬。

• 事件管理。DML與現有安全控制的整合不足，限制了DML應用的開發程度。在操作化、管理和例行程序方面，以促進標記數據的收集和深度學習模型的開發。

• 信息管理。DLP系統可以與網絡和終端系統緊密相連，需要對系統有一個深刻而廣泛的了解。在當前的IT安全趨勢下，加強數據保密性，這樣的系統正面臨著數據可訪問性的降低。這絕不是這個領域特有的問題，但卻使DML應用的開發變得復雜。因此，研究機會是存在的，例如，通過與底層操作系統更深入的整合來恢復數據的可訪問性。然而，也有一些課題需要研究描述任何給定數據是否包含敏感信息的條件，以及相同數據的變化如何被識別，而不考慮例如編碼方案。以及當所需的數據在沒有額外分析的情況下無法直接獲得時，如何表示模糊或開放的規則并驗證其合規性。

• 脆弱性管理。缺乏共識和對公共和足夠大的數據集的訪問，已經被認為是漏洞發現領域的一個挑戰。然而，有一些嘗試可以減少這種依賴性，通過部署預先訓練好的語言模型，例如，對軟件掃描進行模糊測試，以檢測漏洞并協助修補漏洞。我們預見了兩個可以進一步研究的方向：改進深度學習架構或改進數據集及其特征表示。

• 軟件保證。盡管支持DML應用的技術存在于相關領域，如惡意軟件檢測和漏洞管理。我們還沒有發現在這個領域內研究問題的努力，但當多個DML應用能夠協同工作時，我們期待這種發展。

• 資產管理。隨著即將到來的資產新浪潮，被稱為 "工業4.0"。其中包括制造業的自動化和數據交換的趨勢，以及移動設備、物聯網平臺、定位設備技術、3D打印、智能傳感器、增強現實、可穿戴計算和聯網的機器人和機器。我們認為，DML的應用可以并將有助于這種未來資產管理的某些方面，然而，哪些方面仍然是一個開放的研究問題，開放的文獻表明，需要探索行業特定的使用案例。

• 許可證管理。考慮到軟件資產管理（SAM）考慮到許可問題，這里也適用與資產管理相同的未來研究方向。- 網絡管理。移動目標防御（MTD）是一個新興的研究領域，將大大受益于人工智能驅動的方法。

• 配置管理。我們希望與MTD研究相關的技術可以使配置管理能力受益。

• 補丁管理。我們已經確定了解決某些問題的研究，如：以風險意識的方式動態調度補丁，自動漏洞修復分析，以及在軟件補丁尚未可用的情況下定位漏洞緩解信息。然而，沒有人試圖將這些納入一個單一的模型，從而創建一個完整的管道。這可能是未來研究中需要探索的一個領域。

最后，我們沒有發現任何證據表明，任何安全領域在DML應用方面的研究都已經完成。所有的領域都有尚未探索的研究領域，這些領域在未來可以并且有望經歷重大的研究。

4.1 惡意軟件檢測

惡意軟件是指在所有者不知情或不同意的情況下，故意設計成滲入、修改或破壞計算機系統的任何惡意軟件。惡意軟件具有多種形式的數字內容，包括可執行代碼、腳本和嵌入互動文件中的活動對象。下面列舉了常見的惡意軟件類型及其特點。

• 利用漏洞。
• 廣告軟件劫持瀏覽以獲取經濟利益。
• 間諜軟件竊取敏感信息。
• 贖金軟件為勒索而加密文件。
• 木馬病毒偽裝成良性軟件。
• Rootkits提供持久的、隱蔽的特權訪問。
• 病毒在其他計算機程序上自我復制。
• 蠕蟲在其他計算機上復制自己。
• 機器人遠程執行命令。
• 后門提供非法訪問。
• 密碼劫持者開采加密貨幣。
• 下載器下載和安裝更多不需要的軟件。
• 恐嚇軟件誘使用戶安裝不必要的軟件。

安全分析師和惡意軟件開發者之間的斗爭是一場持續的戰斗。最早記錄在案的病毒出現在1970年代。今天，惡意軟件的復雜性變化很快，利用不斷增加的創新。最近的研究強調了惡意軟件在促進網絡安全漏洞方面的作用，注意到惡意軟件的趨勢是以經濟利益為動機的目標有效載荷，并提供證據斷言互聯網連接設備的擴散將促進惡意軟件交易[2]，[3]。

惡意軟件檢測是指識別終端設備上是否存在惡意軟件，以及區分特定程序是否表現出惡意或良性特征的過程。傳統的基于簽名的方法來識別和描述惡意軟件越來越不利，因為微不足道的改變使惡意軟件可以逃避普通的檢測方法[4], [5]。基于簽名的方法本質上是基于正則表達式的模式匹配，從觀察到的惡意軟件的經驗知識中獲得。從已知的惡意軟件樣本中提取的獨特字節串建立了一個簽名數據庫，通常由終端保護供應商的訂閱服務提供。當反惡意軟件程序收到要測試的文件時，它將文件的字節內容與數據庫中的簽名進行比較。只要惡意軟件不采用規避措施，這種方法是有效的，而且計算效率高（即類型1錯誤低）。然而，隨著簽名的數量和采用棘手的規避措施的增加，模式匹配的計算成本變得很高，而且越來越無效。啟發式方法在一定程度上通過規則解決了這一挑戰，但同時也增加了假陽性率。簽名和啟發式方法的脆弱性是一個長期公認的問題，它促進了對替代和補充技術的研究。

這些補充技術通常是一個艱巨的過程，需要詳盡地結合軟件逆向工程、源代碼調試、運行時執行分析以及網絡和內存取證。靜態分析技術可以識別表面特征，如加密哈希值、大小、類型、標題、嵌入內容和軟件打包器的存在。靜態分析工具包括源代碼和字節碼分析器、數字簽名驗證工具和配置檢查器。動態分析技術可以識別運行時的特征，如對文件系統、操作系統、進程列表、互斥因子和網絡接觸點的改變。動態技術需要大量的專業工具，包括解包器、調試器、反匯編器、解碼器、模糊器和沙箱，通過這些工具可以安全地執行、檢測和觀察可疑文件的行為。許多擁有強大信息安全計劃的軍事組織采用了一種混合方法，通過一系列的技術和工具對可疑的未知文件進行分流和檢查[6]。

盡管采取了全面的方法，但許多工具都有局限性，沒有一種技術可以自信地保證軟件的出處和衛生。例如，軟件打包器的存在和其他混淆文件內容的伎倆阻礙了靜態分析方法。同樣地，通過沙盒進行動態分析的實施成本很高，往往缺乏取證的可追溯性，而且很容易被虛擬的殺戮開關所顛覆，這些開關會對執行環境進行檢測。惡意軟件發現的ML應用可以追溯到20年前。早期的方法依賴于特征向量，如ASCII字符串、指令、n-grams、頭域、熵和動態鏈接庫的導入，這些都是從可執行文件中提取的。這些方法產生了不同的結果。雖然提供了巨大成功的跡象和顯著的準確性，但它們最終缺乏可擴展性，未能跟上不斷變化的威脅，因此必須繼續使用傳統的、精確的簽名。惡意軟件創建和發現的對抗性確保了對手一旦意識到用于識別其代碼的特征就會采用新技術。因此，由于缺乏暗示惡意的明顯或自然特征，這些技術被證明具有局限性。

4.2 事件管理

事件管理包括監測工具和技術，并在必要時對網絡或系統中觀察到的事件作出反應。如果這些事件表明存在惡意或有問題的活動，則可稱為 "警報 "或 "警告"。它們通常被記錄在記錄一個組織的周邊事件的日志中。有大量的工具可以被認為是這個領域的一部分，但我們特別考慮兩個。安全信息和事件管理（SIEM）系統和入侵檢測系統（IDS）。前者致力于通過聚集來自多個安全控制的日志來實現分析。后者部署在戰略位置，分析本地系統或網絡的日志。

4.3 信息管理

數據的分類是軍事領域的一個標準要求。傳統上，紙質文件被標記為 "非機密 "或 "機密 "等標簽，用戶必須遵循嚴格的規定以確保所需的保密性。這種基于紙張的系統的一個特性是文件和其分類之間的直接聯系，因為它是文件的一部分。文件分類的元信息不能與文件本身分開。這在數字環境中不能以同樣的方式實現，因為通常很容易將分類數據與其元數據分開，從而將其分類分開。一些系統試圖保證這種不可分割的聯系。然而，它們只限于邊緣情況。在實踐中，數據被儲存在無數的系統中，被轉移、改變、轉換，并使用難以計數的格式。一些例子是。

• 以PDF、Office Open XML或純文本等辦公格式存儲的文本文件。

• 以簡單格式存儲的圖像，如BMP（位圖圖像文件格式）或JPEG；以及

• 以WAVE或MP3格式存儲的音頻數據。

這些格式中有些提供受保護的元數據，有些則是除了信息之外沒有任何東西的普通格式。

本節重點討論一種通常被稱為數據丟失預防/數據泄漏預防（DLP）的一般方法，它可以處理任意數據。這樣的DLP系統會分析應用于數據的用戶行為（例如，通過電子郵件發送文件或打印文件）是否被給定的規則集所允許。元數據，如分類，可以緩解這一過程，但（在理論上）不是必需的。我們可以把這樣的DLP形式化為一個決策任務，我們要決定一個給定的行動a是否可以按照規則r應用于一個文件d。在白名單方法中，我們把對數據的操作限制在允許的規則中。其他的都是禁止的。黑名單方法則與此相反。除非明確禁止，否則一切都被允許。這兩種方法在網絡安全中都很常見。

我們可以區分兩個主要的系統設計。端點解決方案的工作方式類似于防病毒（AV）。它們監測特定設備上的活動。端點解決方案可以在訪問時以未加密的形式訪問數據（也稱為 "使用中的數據"）或主動搜索系統中的數據（也稱為 "靜態數據"），這樣，主要的挑戰是對給定的數據進行分類并應用政策，例如，阻止分類文件被打印或通過不安全的渠道或不受信任的目的地傳輸。網絡解決方案監測數據交換，也被稱為 "運動中的數據"。因此，它們不能在特定的主機上執行規則，而是限制信息交流。網絡解決方案面臨的一個共同問題是，越來越多的網絡流量被端對端加密，因此監測系統無法讀取。介于上述兩種解決方案之間的第三類是基于云的解決方案，其中DLP是對存儲在基于云的系統中的數據進行強制執行。基于云的解決方案似乎非常特別，但它們與端點解決方案相似，因為它們可以在其云中的 "本地 "數據上操作，并與網絡解決方案相似，因為它們可以監測流量。然而，終端可能會在云中存儲加密的數據，這樣云系統可能會受到對未加密數據的較少訪問。

DLP系統面臨以下挑戰：

1）數據獲取。DLP必須訪問數據本身，以分析是否允許某個行動。這對基于網絡的解決方案來說變得越來越復雜。

2. 分析數據。DLP系統必須 "理解 "并對內容進行分類。這意味著，他們必須支持廣泛的不同文件類型。

3. 表示規則。規則是決定是否可以對給定的數據采取某種行動所必需的。對于一些規則，如 "不允許轉移標記為機密的文件"，規則的表示是直接的。然而，"模糊 "規則要難得多。例如，"不允許轉讓軍事地點的圖片"，因為沒有明確的定義，一張圖片是否包含軍事地點。

DML可以應用于所有挑戰，但分析數據是最明顯的挑戰，將在 "當前研究 "中簡要討論。

4.4 漏洞管理

美國家安全系統委員會（CNSS）詞匯表第4009號將漏洞定義為信息系統、系統安全程序、內部控制或實施中的弱點，可被威脅源利用或觸發[41]。軟件漏洞是指在軟件代碼中發現的可被攻擊者利用的安全缺陷、小故障或弱點[42]。

漏洞管理是識別、分類、補救和緩解漏洞的循環做法[43]。美國國家標準與技術研究所（NIST）將漏洞管理能力定義為一種信息安全持續監控（ISCM）能力，它可以識別設備上的漏洞，這些漏洞很可能被攻擊者用來破壞設備，并將其作為一個平臺，將破壞延伸到網絡上[44]。漏洞管理的目的是確保軟件和固件漏洞被識別和修補，以防止攻擊者破壞一個系統或設備，而這又可能被用來破壞其他系統或設備。

4.5 軟件保障

美國家安全系統委員會[59]將軟件保證定義為：軟件按預期功能運行，并且在整個生命周期內沒有故意或無意設計或插入的漏洞的信心水平[59]。NASA技術標準8739.8A中的定義使用了類似的措辭[60]。

軟件保證領域與其他領域相聯系，特別是與漏洞管理領域相聯系，涉及到漏洞掃描和發現，但也涉及到惡意軟件檢測。

4.6 資產管理

網絡安全的最佳實踐需要對構成信息環境的數字資產進行說明[1], [64], [65]。資產管理是指組織維護硬件、軟件和信息資源清單的做法，長期以來被認為是強大的網絡安全態勢的一個組成部分[66]。雖然傳統上是通過配置管理、網絡管理和許可管理的一些工具組合來完成的，但云計算和面向服務的技術的擴散已經導致了更新的解決方案。例如，信息技術資產管理（ITAM）、信息技術服務管理（ITSM）和軟件資產管理（SAM）工具，提供了對技術投資的商業價值核算和最大化的洞察力[67], [68]。

這些解決方案的需求和效用可以通過其需求來描述。獨立評估顯示，ITAM、ITSM和SAM工具的全球市場價值每年在10億至50億美元之間，并列舉了二十多家提供軟件工具或管理服務的技術供應商[69], [70], [71]。這些解決方案對設備、軟件，或者在云服務的情況下，對云服務提供商的接口進行檢測。他們進一步提供工作流程，將資產分配給業務角色和功能。盡管可用的儀器和工作流程功能具有可擴展性，但這些工具的共同特點是能夠感知、查詢和解釋它們所監測的資產的本地數據。更明顯的是，它們作為一種手段，支持最終由人類強加的手工業務流程。

正是通過這一視角，深度學習對資產管理的破壞可以得到最好的實現。現有的工具為監督業務功能的操作員提供信息。雖然它們的實施和有效使用可以幫助減輕安全風險，但它們要求其操作者指定一套配置參數。例如，SAM工具要求其操作者配置如何解釋軟件許可條款和產品使用權。這些工具通過商業智能儀表盤和工作流程建議提供了一定程度的自動化，但由于需要調整，這可能會增加整個解決方案的復雜性，這與直覺相反。

4.7 許可證管理

許可證管理工具可以控制軟件產品的運行地點和方式。它們在代碼中捕獲許可協議條款，自動收集軟件使用情況，并計算出成本影響，幫助優化軟件支出。當被軟件供應商采用并集成到他們的產品中時，它們有助于遏制軟件盜版，并提供量身定制的許可功能（例如，產品激活、試用許可、訂閱許可、浮動許可）。當被最終用戶組織采用時，它們有助于遵守軟件許可協議。許可證管理功能經常出現在SAM工具中。

4.8 網絡管理

網絡管理工具包括主機發現、庫存、變更控制、性能監控和其他設備管理功能。網絡管理工具通常與資產和配置管理工具的能力相重疊，并增加了便于設備監控和配置的功能。網絡管理同樣包括組織邊界內的那些系統，但為了管理云服務，可能會超出其傳統的范圍。事實上，軟件、網絡和虛擬化技術的爆炸性增長和采用已經推動了多個市場提供一系列屬于網絡管理的工具。

• 客戶端管理工具使終端管理任務自動化，包括操作系統和軟件部署、庫存、分發、補丁管理和配置管理。
• 云訪問安全經紀商和云工作負載保護平臺為駐留在云環境中的數據和工作流提供可見性和執行力。
• 云管理平臺提供對公共、私人、混合和多云資源和部署的管理。
• 持續配置自動化工具能夠描述配置狀態、定制設置、軟件和報告。
• 超融合或集成基礎設施工具提供集中的功能來管理虛擬計算、存儲和網絡系統。
• 網絡防火墻、網絡應用防火墻和安全網絡網關提供關鍵的網絡安全控制，以檢查和過濾網絡流量。
• 網絡訪問控制工具實施策略，以控制終端和設備對基礎設施的訪問，并基于身份、位置或配置。
• 網絡自動化和協調工具可以自動維護端點設備的配置。
• 網絡性能監控和診斷工具提供歷史和現場視圖，以了解網絡的可用性和性能以及在其上運行的應用流量。
• 軟件定義網絡（SDN）工具提供網絡設備和資源的程序化配置。
• 廣域網（WAN）優化工具監測在廣域網上運行的應用程序的性能，以及這些應用程序帶來的服務費用。
• 統一端點管理工具提供配置、管理或監控不同設備的機制。

4.9 配置管理

配置管理工具允許管理員配置設置，監控設置的變化，收集設置狀態，并根據需要恢復設置。配置管理跟蹤提供服務的組件之間的關系，而不是資產或網絡本身。管理信息系統和網絡組件之間發現的配置是一項艱巨的任務。系統配置掃描工具提供了一種自動化的能力來審計目標系統，并評估與安全基線配置的一致性。身份和賬戶配置管理工具使一個組織能夠管理身份憑證、訪問控制、授權和權限。身份管理系統還可以實現和監控基于身份憑證的物理訪問控制。軟件配置管理工具跟蹤和控制源代碼和軟件構建之間的變化。與其他安全自動化領域類似，深度學習的應用趨勢表明，正在從人類管理軟件系統向計算機管理軟件系統本身轉變。

4.10 補丁管理

補丁管理是指識別、定位和應用補丁到一套管理的軟件的過程，通常是在一個企業環境中。補丁通常以安全為導向，旨在修復軟件或固件的漏洞。由于新的軟件漏洞不斷被發現，補丁管理可能會成為一項困難和艱巨的任務，特別是對于擁有數百臺主機和復雜的軟件庫存的組織。因此，一個強大的補丁管理過程是必要的，以保持一個組織免受惡意活動的傷害。補丁管理因各種挑戰而變得復雜。首先，一個組織必須考慮一個修補機制，以確保眾多主機的安全，包括在家工作的設備、非標準設備、移動設備、以及具有各種操作系統和虛擬設備的設備。此外，補丁可以使用幾種不同的機制來交付，如手動安裝補丁、指導軟件自行打補丁、自動、計劃更新或補丁管理工具（第三方工具或操作系統提供的工具）。由于它既是一個耗時的過程，又對安全至關重要，任何自動化補丁管理的方法都將是非常有益的。

第5章 深度學習面臨的挑戰

5.1 對抗攻擊

(本節中使用的分類法和術語是根據NIST報告[1]，并從Shafee和Awaad的論文[2]中稍作擴展而采用的)。

機器學習的數據驅動方法在ML操作的訓練和測試（推理）階段帶來了一些漏洞。這些漏洞包括對手操縱訓練數據的可能性，以及對手利用模型對性能產生不利影響的可能性。有一個研究領域被稱為對抗性機器學習（AML），它關注的是能夠經受住安全挑戰的ML算法的設計，對攻擊者能力的研究，以及對攻擊后果的理解。AML也對針對深度學習模型的攻擊感興趣。

ML管道中的各個階段定義了這些對抗性攻擊的目標，如輸入傳感器或輸出行動的物理域，用于預處理的數字表示，以及ML模型。AML的大多數研究都集中在ML模型上，特別是監督學習系統。

用于對先前所述目標進行攻擊的對抗性技術可能適用于ML操作的訓練或測試（推理）階段。

5.2 可解釋的人工智能

人工智能（AI）已經被使用了很多次，因為它們在學習解決日益復雜的計算任務時具有前所未有的性能。由于它也被普遍用于影響人類生活的決策，如醫學、法律或國防，因此需要解釋或說明為什么這種人工智能系統會得出這樣的結論。

傳統的模型，如決策樹、線性和邏輯回歸，通過對特征權重的分析，允許一定程度的可解釋性；而深度神經網絡是不透明的，仍然是一個黑盒子。此外，如圖5-1所示，機器學習算法的性能與解釋訓練過的模型的難易程度之間似乎存在一種反比關系。

2017年，DARPA啟動了可解釋人工智能（XAI）計劃，以解決數據分析（針對情報分析員）以及未來利用強化學習的自主系統的可解釋性問題。在DARPA的報告中，提出了一套創建這種ML技術的方案，在保持高水平的學習性能（如預測精度）的同時，產生更多的可解釋模型，并使人類能夠理解、信任和管理新興的人工智能系統[13]。

文獻對可通過設計解釋的模型和可通過外部技術解釋的模型進行了區分。DL模型不能通過設計來解釋；因此，研究集中在外部XAI技術和混合方法上。Arrieta等人解釋了適用于不同類型的DL模型的技術和混合方法的所有細節。此外，他們解決了一些關于可解釋性和準確性之間的權衡、解釋的客觀性和不明確性以及傳達需要非技術專長的解釋的問題[14]。

5.3 超參數調優

超參數是控制學習過程行為的屬性，它們應該在訓練模型之前配置好，而不是在訓練過程中學習的模型參數，例如權重和偏差。它們很重要，因為它們會對正在訓練的模型的性能產生重大影響。

5.4 互操作性挑戰

語法（框架）的互操作性。2017年，Open Neural Network eXchange（ONNX）格式被創建為社區驅動的開源標準，用于表示深度學習和傳統機器學習模型。ONNX協助克服了人工智能模型中的硬件依賴問題，并允許將相同的人工智能模型部署到多個HW加速目標。許多框架的模型，如TensorFlow、PyTorch、MATLAB等，都可以導出或轉換為標準的ONNX格式。然后，ONNX格式的模型可以在各種平臺和設備上運行（圖5-2）。

語義互操作性。當數據來自于含義不相同的混合來源時，就不可能了解趨勢、預測或異常情況。語義互用性是指計算機系統交換具有明確意義的信息的能力。為此，無論數據是從單一來源還是異質來源匯總而來，都需要高質量的人類注釋數據集來準確地訓練機器學習模型。

實現語義互操作性的最佳實踐之一是使用原型。原型是一種數據格式規范，它應該盡可能地提供最可用的完整細節。它提供了數據的共享意義。人工智能系統的語義互操作性要求原型是高質量的、基于證據的、結構化的，并由領域專家設計[20]。

5.5 數據相關性

與傳統的機器學習方法相比，深度學習在很大程度上依賴于大量的訓練數據，因為它需要大量的數據來理解數據的潛在模式。然而，在某些領域，訓練數據不足是不可避免的。數據收集是復雜而昂貴的，這使得建立一個大規模、高質量的注釋數據集變得異常困難。轉移學習是一個重要的工具，可以用來解決訓練數據不足的問題。它試圖將知識從源域（訓練數據）轉移到目標域（測試數據），方法是放寬訓練數據和測試數據必須是獨立和相同分布的假設，即樣本是相互獨立的，并且來自相同的概率分布。這樣一來，目標域的模型就不需要從頭開始訓練。

深度遷移學習研究如何通過深度神經網絡有效地遷移知識。根據使用的技術，Tan等人[21]將深度遷移學習分為四類：基于實例、基于映射、基于網絡和基于對抗。

1）基于實例的深度遷移學習。源域中與目標域不同的實例被過濾掉并重新加權，以形成接近目標域的分布。用源域中重新加權的實例和目標域中的原生實例來訓練模型。

2）基于映射的深度遷移學習。來自源域和目標域的實例被映射到一個新的數據空間。然后，新數據空間中的所有實例被用作訓練集。

3）基于網絡的深度遷移學習。一般來說，網絡中最后一個全連接層之前的各層被視為特征提取器，最后一個全連接層被視為分類器/標簽預測器。網絡在源域用大規模訓練數據集進行訓練。然后，預訓練網絡的結構和特征提取器的權重將被轉移到將在目標領域使用的網絡中。

4）基于對抗的深度遷移學習。這組技術的靈感來自生成對抗網（GAN）（圖5-3）。一個被稱為領域分類器的額外鑒別器網絡從源領域和目標領域提取特征，并試圖鑒別特征的來源。所有的源和目標數據都被送入特征提取器。特征提取器的目的是欺騙域分類器，同時滿足分類器的要求。

5.6 數據質量

有了低質量的數據，無論機器學習和/或深度學習模型有多強，它都無法做到預期的效果。影響數據質量的過程分為三組：將數據帶入數據庫的過程，在數據庫內操作數據的過程，以及導致準確的數據隨著時間的推移而變得不準確的過程。關于降低數據質量的過程的細節可以在參考文獻中找到。[22].

在使用、導入或以其他方式處理數據之前，確保其準確性和一致性的過程，被稱為數據驗證。現在，數據存儲在不同的地方，包括關系型數據庫和分布式文件系統，并且有多種格式。這些數據源中有許多缺乏準確性約束和數據質量檢查。此外，今天的大多數ML模型定期使用新的可用數據進行重新訓練，以保持性能并跟上現實世界數據的變化。因此，由于任何參與數據處理的團隊和系統都必須以某種方式處理數據驗證，這就成為一項繁瑣和重復的任務。對數據驗證自動化的需求正與日俱增。

一種方法是由Amazon Research提出的單元測試方法[23]。該系統為用戶提供了一個聲明性的API，允許用戶對他們的數據集指定約束和檢查。當驗證失敗時，這些檢查在執行時產生錯誤或警告。有一些預定義的約束供用戶使用，用于檢查數據的完整性、一致性和統計量等方面。在約束條件被定義后，系統將它們轉化為實際的可計算的度量。然后，系統計算指標并評估結果，隨后，報告哪些約束成功了，哪些失敗了，包括哪個指標的約束失敗了，哪個值導致失敗。由于新的數據不斷涌現，該方法采用了遞歸計算方法，只考慮自上一個時間步驟以來的新數據，以增量方式更新度量。此外，該系統自動為數據集提出約束條件。這是通過應用啟發式方法和機器學習模型實現的。

另一種方法是基于數據模式的方法，由谷歌研究院提出[24]。對正確數據的要求被編入數據模式中。所提議的系統采取攝取的數據，通過數據驗證，并將數據發送到訓練算法中。數據驗證系統由三個主要部分組成。一個數據分析器，計算預先定義的足以用于數據驗證的數據統計數據；一個數據驗證器，檢查通過模式指定的數據屬性；以及一個模型單元測試器，使用通過模式生成的合成數據檢查訓練代碼中的錯誤。該系統可以檢測單批數據中的異常情況（單批驗證），檢測訓練數據和服務數據之間或連續幾批訓練數據之間的顯著變化（批間驗證），并發現訓練代碼中未反映在數據中的假設（模型測試）。

5.7 上下文感知

盡管深度學習通過使用神經網絡中的多層來逐步分解特征以識別某些特征，但它對數據來源的背景理解較淺，其中背景提供了使某一事件產生的環境或元素，并能為其解釋傳達有用的信息。因此，一個模型最終可能被專門用于訓練數據中記錄的一種或多種情況。因此，這個模型可能對類似的情況有偏見，從而只在這種情況下表現合理。該模型能夠推翻從訓練中學到的經驗，以適應不斷變化的環境。然而，這種能力是受限制的。研究能夠捕捉上下文的模型的動機，通過更強大的、有彈性的、可適應的深度學習來提高任務的有效性。這使得深度學習的使用更具成本效益。

彌補偏見問題的最初努力，始于Bottou和Vapnik[25]提出的局部學習的建議。它涉及到將輸入空間分離成子集并為每個子集建立模型。這個概念本身并不新穎，但由于處理大數據集的應用的復雜性，已經獲得了一些可信度[26]。相反，Mezouar等人[27]沒有發現局部模型比全局模型更值得投資用于預測軟件缺陷。多任務學習（MTL）[28]是機器學習的另一個子領域，可以利用。它將輸入空間分離成多個任務，并利用共享信息，同時考慮到它們的差異。其目的是通過聯合學習和獲取共享表征來提高多個分類任務的性能。Suresh等人[29]試圖在死亡率預測的背景下比較這三種類型的模型。他們的工作表明，多任務模型在整體和每組性能指標上都能勝過全局模型和在單獨的數據子集上訓練的局部模型。不幸的是，似乎還沒有就最合適的模型來捕捉上下文達成最終共識。由于在特定任務的模型之間進行信息共享的技術研究，調整本地/全局模型以適應新的環境，或如何將本地和全局模型結合起來，仍然是活躍的[30]，[31]。

5.8 北約范圍內的“網絡安全深度學習”應用面臨的挑戰

在上面提到的所有挑戰中，這個RTG的成員最關心的是分享知識的可能方式。本章討論的問題有兩種可能的方式：分享訓練數據或分享模型：

1）訓練數據共享。從北約演習中收集的數據是有價值的。能夠利用它們將是非常好的。對于數據共享，最可能的是，應該構建一個數據庫。當各盟國的數據庫被加入時，可能會出現語義互操作性的問題（見第6.4節，語義互操作性）。為了保持數據庫的完整性，所有的盟友都應該圍繞一個標準化重新形成他們的訓練數據，并以這種方式向數據庫提供數據。這既費時又容易出錯。此外，數據的質量是至關重要的，在向數據庫提供數據之前應該進行審查（見6.6節）。此外，這種方法是危險的，因為如果對手到達這個數據庫，他們可以在數據中下毒。(關于可能的訓練數據目標攻擊和針對它們的對策技術，見第6.1節，訓練階段攻擊)。

2）模型共享。在句法互操作性工具的幫助下，現在可以共享DL模型了。(見第6.4節，句法互操作性）。使用基于網絡的遷移學習，在北約盟友之間分享特征提取器似乎更有幫助，這樣任何盟友都可以在他們的測試數據上應用他們希望的任何任務的衍生知識（關于遷移學習的細節，見6.5節）。然而，問題是，誰來訓練這個模型，他將使用哪些數據？如果在數據庫中存儲數據是有問題的，那么為了訓練將被共享的模型，授予一個人/實體對所有北約練習數據的訪問權也可能是麻煩的。通常情況下，不存在這樣的平臺，允許每個人使用自己的數據來訓練相同的DL模型。然而，在這種情況下，一種叫做 "聯合學習 "的分散方法似乎是可行的。它是一種分布式的機器學習方法，在這種方法中，一些被稱為客戶的參與者一起工作，在多次迭代中訓練某個機器學習模型。聯合學習最早是在[32]中提出的，它是由一組移動設備執行的分布式訓練模型，這些設備與中央服務器交換本地模型的變化，中央服務器的功能是將這些更新集合起來形成一個全球機器學習模型。一個聯合學習場景由一個中央服務器和一組N個客戶組成，每個客戶都有自己的本地數據集。最初選擇一個客戶端的子集來獲得模型權重方面的共享模型的全局狀態。然后，基于共享參數，每個客戶在自己的數據集上進行本地計算。然后，客戶提交模型更新（即基于客戶本地數據集的本地學習的權重）給服務器，服務器將這些更新應用于其當前的全局模型，生成一個新的模型。然后，服務器再次與客戶共享全局狀態，這個過程要進行多次，直到服務器確定了一個特定的準確度。因此，客戶不需要分享他們的原始數據來為全局模型做貢獻，只要有足夠的CPU或能源資源來處理它所擁有的訓練數據就足夠了。

第7章 軍事應用

軍事行動植根于對工業時代危機的實際反應，并由關于規模、殺傷力和覆蓋范圍的假設形成[1]。然而，當代沖突跨越了區域邊界和地理領域。威脅的數量和行為者的范圍在數量和多樣性上都在增長，這與需要與之協調應對的行為者的數量相呼應。利用網絡空間的敵人可以挑戰盟國能夠或愿意作出反應的門檻。對網絡領域的依賴增加了在敵方網絡空間實現支持軍事目標的效果的重要性。最終，軍事行動變得更加動態和復雜。

深度機器學習（DML）已經成為人工智能領域的主要技術來源。可以預見的是，DML對網絡防御之外的軍事應用的影響將是廣泛的，因為它提供了在軍事行動環境中獲得信息和決策優勢的機會。在本章中，我們將研究那些有可能受益并因此重塑網絡防御的軍事應用，超越傳統的保護、威懾、檢測和響應概念。

7.1 指揮與控制

軍事學說將指揮與控制（C2）定義為 "由適當指定的指揮官在完成任務的過程中對指定的和附屬的部隊行使權力和指導"[2]。指揮與控制是通過指揮官在完成任務時對人員、設備、通信、設施和程序的安排來實現的，以規劃、指揮、協調和控制部隊和行動。傳統的C2結構包括作戰指揮權、作戰控制、戰術控制和行政控制[3], [4]。這些結構植根于物理領域中開展的活動，以聯合行動區為界限，對網絡領域來說，其不足之處越來越多。

軍事理論進一步將[1]網絡行動定義為包括防止未經授權的訪問的網絡安全行動，為擊敗特定威脅而采取的防御行動，為創造拒絕效果而采取的攻擊行動，以及為獲得情報而采取的開發行動[5]。如同在傳統作戰領域（如陸地、空中、海上、太空）中執行的任務一樣，網絡行動也要遵守某些C2結構。然而，與其他領域不同，網絡部隊可能同時在全球、區域和聯合行動區執行任務。因此，網絡行動依賴于集中的規劃和分散的執行，需要對傳統的C2結構進行調整，以實現軍事單位和當局之間的詳細協調。這種結構要求進行規劃、執行和評估的所有各方了解網絡行動的基本行動和程序。聯合部隊執行的物理和邏輯邊界，以及對其使用的優先權和限制，必須進一步在軍事梯隊、國家部隊和聯盟伙伴之間的協調和同步中集中確定。

網絡行動的C2在很大程度上是由傳統的網絡安全技術形成的，比如那些對硬件、軟件、數據和用戶的安全控制進行持續監控的技術[6], [7], [8]。盡管C2現在和將來都是對人的挑戰[9]，但新興技術中的共同主題將影響其發展，無論是在網絡領域還是傳統作戰領域。信息技術、傳感器、材料（如電池）、武器的進步，以及越來越多地采用無人駕駛和自主平臺，將推動C2的進化變化。計算機將越來越多地與其他設備連接，并收集或分享數據，而無需人類的干預或意識。在較小規模的設備上增加計算、存儲和帶寬能力將使新的分析技術能夠以更快的節奏提取更多的理解，并更接近觀察點。軍事單位可能進一步需要與一系列行為者互動，并聯合工作以實現共同的理想結果，而沒有任何權力來指導這些臨時伙伴或與他們的信息系統互操作。根據沖突的性質，戰術決策可能需要在不同的層面上進行。甚至完全消除某些網絡空間任務中的地理內涵也是可取的[10]。

總的來說，這些因素表明，分散化和敏捷性是C2架構中非常理想的原則。任何新的架構都可以而且應該支持傳統的等級制度、等級制度內的適應性團隊以及其他分布式環境，同時保持對戰斗空間的情況了解。這些問題包括缺乏網絡社區以外的專業知識，無常的性質、時間和圍繞網絡漏洞的平等，以及任務規劃的集中化[11]。新興的倡議，如美國國防部新興的聯合全域指揮和控制倡議[12]，反映了這一概念，即動能、電磁、網絡和信息行動之間的協調相互作用。

分散和保護數據的新興技術可以進一步實現去中心化。分布式賬本技術，即區塊鏈，是記錄資產交易的數字系統，其中交易及其細節同時記錄在多個地方。DML最近提出了一種整合，通過它來克服區塊鏈實施中發現的實際挑戰[13]。同樣，保護使用中的數據，而不是靜止或傳輸中的數據的技術（例如，安全的多方計算、同態加密、功能加密、遺忘RAM、差分隱私）允許對其他方持有的數據進行有用的計算，而不泄露關于數據內容或結構的敏感信息。這樣的技術可以允許不受信任的各方安全地進行DML處理，或者允許多方共同計算有用的結果而不披露基礎輸入。值得注意的是，對抗性的惡意軟件可能會采用這些技術來更好地混淆其操作。雖然這些技術在學術界被廣泛研究，有良好的理論基礎，但特別需要更多的工作來適應軍事用例和可擴展性，以及DML可以提高應用程序的效用的具體實例[14]。

DML應用的進展將提供機會，為規劃和執行任務提供更有能力的決策支持輔助[15]。新穎的人/機界面、混合現實合成環境和遠程存在能力將進一步改變作戰人員之間、自動代理、機器和機器人之間的互動方式。這些技術發展共同提供了在復雜作戰環境中加速觀察、定位、決策和行動的潛力。DML將可能改善決策，并通過人機合作促進自主行動。

7.2 態勢感知和任務保證

網絡空間依賴于空氣、陸地、海洋和空間等物理領域。它包括執行虛擬功能的節點和鏈接，反過來又能促進物理領域的效果。網絡空間通常由三個相互依存的層來描述[5]。物理層由提供存儲、運輸和處理信息的設備和基礎設施組成。邏輯層由那些以從物理網絡中抽象出來的方式相互關聯的網絡元素組成，基于驅動其組件的編程。最后，網絡角色層是通過對邏輯層的數據進行抽象而創建的視圖，以開發在網絡空間中運作的行為者或實體的數字代表。

在這些層中的操縱是復雜的，而且通常是不可觀察的。準確和及時的網絡空間態勢感知（SA）對于在一個日益復雜的戰場上取得成功至關重要。這在戰術環境中尤其如此，因為那里有獨特的信息處理和操作限制。政府和工業界正在進行的大量研究和投資旨在提供工具，從網絡數據中開發基本的SA，但在關鍵指標方面沒有提供所需的數量級改進，如成功的入侵檢測概率、誤報率、檢測時間、反應速度、效果的精確性和可預測性、戰斗損失評估的準確性和及時性，以及人類操作員的認知負荷。防御性反應的累積效應可能會超出最初的威脅，這就需要跨區域的考慮以及防御性反應的協調或同步。這些考慮，特別是對戰術戰場而言，需要在連續處理和更接近源頭的行動方面進行突破性創新，對來自多個異質網絡、情報收集、社交媒體和其他多模式來源的信息進行自主融合。

DML可能有助于開發一些方法，在對手利用這些漏洞之前加速發現這些漏洞。同樣，輕量級的入侵檢測系統可以在戰術邊緣的限制下運行，減輕對帶寬和延遲的限制。其他應用包括自動融合來自許多異質網絡的數據，這些網絡具有高度分布、聯合或分層的特性；自動識別來自不同來源（如網絡和系統、情報、社交媒體）以及不同時間尺度和安全敏感性的模式；網絡和任務本體，以促進操作狀態和任務影響之間的映射；以及建模和模擬解決方案，允許自動生成現實的數據集，以促進實驗。

任務保障是一個成熟的概念，在許多工程領域中進行探索，包括高可用性系統、故障分析以及軟件和系統工程[16]。美國防部政策將任務保證定義為：

• 一個保護或確保能力和資產--包括人員、設備、設施、網絡、信息和信息系統、基礎設施和供應鏈--的持續功能和彈性的過程，對于在任何操作環境或條件下執行國防部的任務必要功能至關重要[17]。

• 任務保障的根本是洞察那些成功實現目標所需的資源和行動。任務映射是確定一個任務與其基本資源和程序之間的依賴關系的過程。在網絡空間的背景下，這包括信息系統、業務流程和人員角色。網絡空間是一個復雜的、適應性強的、有爭議的系統，其結構隨時間變化。復雜的因素包括。

• 事故和自然災害會擾亂網絡空間的物理基礎設施。例子包括操作錯誤、工業事故和自然災害。由于需要大量的外部協調和對臨時備份措施的依賴，從這些事件中恢復可能會很復雜。

• 美國防部的許多關鍵功能和操作都依賴于簽約的商業資產，包括互聯網服務提供商（ISP）和全球供應鏈，國防部及其部隊對這些資產沒有直接的權力。

• 美國防部的全球業務與對網絡空間和相關技術的依賴相結合，意味著國防部經常從外國供應商那里采購任務所需的信息技術產品和服務。

確保依賴網絡基礎設施的任務的一個關鍵挑戰是難以理解和模擬動態、復雜和難以直接感知的方面。這包括確定哪些任務在任何時候都是活躍的，了解這些任務依賴哪些網絡資產，這些依賴的性質，以及損失或損害對任務的影響。對網絡地形的理解必須考慮到依賴性是如何隨著時間和各種任務的背景而變化的。它需要確定任務和網絡基礎設施之間的依賴程度和復雜性；考慮到相互競爭的優先事項和動態目標。這種洞察力可以確保必要資源的可用性，并幫助評估在有爭議的條件下的替代行動方案。

此外，作戰人員可能面臨復雜的情況，這些情況不利于傳統的網絡防御行動，而有利于保證任務。例如，當計算機系統被破壞時，目前的做法是將被破壞的系統隔離起來。然后，該系統通常被重建或從一個可信的備份中恢復。業務連續性計劃試圖解決在退化條件下的運作問題，而災難恢復計劃則解決最壞的情況。這些方法優先考慮最小的利潤損失，并不迎合作戰人員可能面臨的復雜決策類型，即要求保持一個完整的系統在線，以確保一個關鍵應用程序的可用性，而對手則利用它作為一個杠桿點來獲得進一步的訪問或滲出機密信息。在這樣的條件下，作戰人員需要清楚地了解每個選擇之間的權衡，以及所選路徑的結果對任務和目標的潛在影響。此外，與受到網絡攻擊的企業不同，作戰人員必須考慮到網絡攻擊是更廣泛的綜合效應應用的一部分，必須考慮對手協調使用網絡、電子戰和動能效應的因素。最后，災難恢復計劃可以說是戰爭失敗后的一個計劃。因此，作戰人員需要有效的理論和決策支持系統，要求在被拒絕的、退化的和有爭議的環境中保持任務的連續性。

目前的任務繪圖方法主要分為兩類。首先，流程驅動的分析是一種自上而下的方法，主題專家確定任務空間和支持該任務空間的網絡關鍵地形。這種方法通過主題專家的業務流程建模產生可解釋的結果，盡管這些結果往往是靜態的。其次，人工制品驅動的分析是一種自下而上的方法，來自主機和網絡傳感器的日志和數據被用來推斷網絡資產的使用。這種方法通過數據挖掘、紅色團隊和取證發現產生高保真的分解，盡管其結果沒有提供對執行任務的替代機制的洞察力。目前存在一系列的工具和方法來完成要素任務映射[18]。

人工智能（AI）已經在軍事任務的決策中出現了許多應用，并將繼續加速這一問題領域的能力。潛在的解決方案可以尋求對特定的業務流程進行建模，并使其成為機器可描述的，從而使用戶生成的邏輯可以對這些流程進行 "推理"，并協助管理大量的信息或多個費力、復雜、甚至競爭的任務和解決方案集。DML，加上自然語言處理方面的進展[19]，提供了特別的前景，因為C2渠道之間的傳統信息交換手段包括通過軍事信息流頒布的人類生成的任務命令。

7.3 網絡空間防御作戰

防御性網絡空間行動(DCO)包括旨在通過擊敗或迫近網絡空間的敵對活動來維護軍事網絡的保密性、完整性和可用性的任務。這就將DCO任務與傳統的網絡安全區分開來，前者是擊敗已經繞過或有可能繞過現有安全措施的具體威脅，后者是在任何具體的敵對威脅活動之前確保網絡空間不受任何威脅。DCO任務是針對具體的攻擊威脅、利用或惡意網絡空間活動的其他影響而進行的，并根據需要利用來自情報收集、反情報、執法和公共領域的信息。DCO的目標是擊敗特定對手的威脅，并將被破壞的網絡恢復到安全、正常的狀態。活動包括事件管理、事件管理和惡意軟件檢測的任務。它還包括情報活動，以幫助理解新聞媒體、開放源碼信息和其他信號，從而評估敵方威脅的可能性和影響。因此，傳統上植根于情報收集活動的DML應用對防御性網絡空間行動具有同等的效用。

數據泄露的頻率越來越高，預示著安全自動化概念和能力的加速采用[20]。只有通過自動分析、響應和補救威脅，組織才有可能大規模地復制經驗豐富的網絡專家的專業知識和推理，并確保更大程度的保護。有兩個特別的技術類別脫穎而出。安全信息和事件管理，以及安全協調、自動化和響應。

安全信息和事件管理（SIEM）技術聚集事件數據，包括安全設備、網絡基礎設施、系統和應用程序產生的日志和網絡遙測。數據通常被規范化，從而使事件遵循一個共同的結構，并通過有關用戶、資產、威脅和漏洞的上下文信息來加強。SIEM平臺有助于網絡安全監控、數據泄露檢測、用戶活動監控、法規遵從報告、法證發現和歷史趨勢分析。

安全協調、自動化和響應（SOAR）技術能夠將工作流程應用于SIEM平臺收集的網絡事件數據。這些工作流程，有時被稱為 "游戲手冊"，可自動采取符合組織流程和程序的響應行動。SOAR平臺利用與補充系統的整合來實現預期的結果，如威脅響應、事件管理，以及在廣泛的網絡管理、資產管理和配置管理工具中增加自動化。

總體而言，SIEM和SOAR技術實現了安全過程的兩個關鍵階段的自動化：信息收集和分析，以及響應的執行。新興研究研究了人工智能技術在事件檢測和自動行動方案建議方面的應用，這兩種技術都適用[21], [22], [23], [24], [25]。

隨著互聯系統的規模和范圍的增長，超越自動化的自主性應用對于可擴展的網絡防御是必要的。重要性較低的互聯系統可以由網絡安全傳感器、系統和安全操作中心監控，而關鍵系統，如部署在有爭議的環境中的系統，可能需要自主智能響應能力[15]。

許多任務環境帶來了不利的條件，其中適應性的、分散的規劃和執行是非常可取的。盡管已經探討了聯合網絡行動的好處和挑戰[26]，但市場力量繼續推動軟件即服務解決方案，這些解決方案依賴于云計算基礎設施，在國防部預期的操作環境中可能無法使用。云計算的普遍性和對傳統網絡邊界的侵蝕，助長了對外部和越來越不可信的基礎設施的依賴。同時，這種方法往往提供了最佳的規模經濟和能力。

零信任是一種安全模式和一套設計原則，承認傳統網絡邊界內外威脅的存在。零信任的根本目的是了解和控制用戶、流程和設備如何與數據打交道。零信任框架提出了一個適用于企業網絡的安全愿景，包括云服務和移動設備。同時，零信任仍然是一種愿景和戰略，更多的規范性方法仍在出現[27]。其中包括云安全聯盟的軟件定義周邊框架[28]，谷歌的BeyondCorp安全模型[29]，Gartner的自適應風險和信任評估方法[30]，以及Forrester的零信任擴展生態系統[31]。在探索這些設計原則的應用或它們在保證DML應用方面可能發揮的作用方面，人們做得很少。

隨著網絡安全產品和解決方案的生態系統日益多樣化，實現互操作性以協調機器速度的反應將變得至關重要。新興的規范，如OpenC2[32]，將使網絡防御系統的指揮和控制不受底層平臺或實現方式的影響。OpenC2提供了標準化網絡防御系統接口的方法，允許執行網絡防御功能的解耦塊之間的整合、通信和操作。這套規范包括一種語義語言，它能夠為指揮和控制網絡防御組件的目的進行機器對機器的通信；執行器配置文件，它規定了OpenC2語言的子集，并可以在特定的網絡防御功能的背景下對其進行擴展；以及轉移規范，它利用現有的協議和標準在特定環境中實施OpenC2。這一舉措和類似舉措的成功將取決于工業界對它的采用。目前沒有類似的方法用于進攻性網絡空間行動，這主要是因為所使用的工具的定制性質。

7.4 社交網絡安全

社會網絡安全是國家安全的一個新興子領域，它將影響到未來所有級別的戰爭，包括常規和非常規的戰爭，并產生戰略后果。它的重點是科學地描述、理解和預測以網絡為媒介的人類行為、社會、文化和政治結果的變化，并建立社會所需的網絡基礎設施，以便在不斷變化的條件下，在以網絡為媒介的信息環境中堅持其基本特征，實際或即將發生的社會網絡威脅"。[33].

技術使國家和非國家行為者能夠以網絡速度操縱全球的信仰和思想市場，從而改變各級戰爭的戰場。例如，在DML的推動下，"深度造假 "技術出乎意料地迅速發展，這有可能改變人們對現實的認知、作為信息來源的新聞、人們之間的信任、人民與政府之間的信任以及政府之間的信任。

網絡防御將越來越多地納入反措施，以阻止與網絡領域不可分割的影響力運動。這將需要對部隊甚至社會進行教育，讓他們了解現代信息環境的分散性，存在的風險，以及審查我們消化并允許形成我們世界觀的事實的方法和多學科手段。消除軍隊和他們誓死捍衛的社會之間的任何不信任概念，對全球安全至關重要。

7.5 網絡欺騙

傳統的網絡安全和網絡防御方法是在網絡殺傷鏈的后期階段與對手接觸，而網絡欺騙是一個新興的研究領域，探索在早期與對手接觸的效用，特別是欺騙他們[34]。幾十年前，隨著蜜罐的出現，欺騙性方法在研究界獲得了新的興趣，并被視為推翻網絡防御固有的不對稱性的可行方法而得到重振。欺騙性方法有可能通過給對手帶來不確定性來改變不對稱的局面。同時，欺騙能力可能會帶來更多的復雜性。

網絡欺騙，有時被描述為移動目標防御的一種形式，包含了多個系統領域的技術：網絡、平臺、運行環境、軟件和數據。移動目標技術的設計是為了對付現代系統的同質性，即系統和應用程序之間足夠相似，以至于一個單一的漏洞可以使數千或數百萬（或更多）的設備同時受到攻擊。技術尋求在系統設置之間引入多樣性，使系統的關鍵組件隨機化，從而使攻擊者無法利用相同的特征，并隨著時間的推移改變系統組件，從而使相同的漏洞無法重復發揮作用。許多網絡攻擊是 "脆弱的"，因為它們需要精確的配置才能成功，而移動目標技術就是利用這種脆弱性。盡管如此，仍然需要研究網絡指標和有效性措施，以判斷網絡欺騙和其他移動目標技術的成功，以及它們對不同威脅模式的應用。

美國海軍和國防部（DOD）正在優先考慮在各戰爭領域迅速采用人工智能（AI），以保持對美國有利的技術優勢。機器學習（ML）是最近人工智能發展的基礎，它存在著一個持續的、沒有得到充分解決的關鍵缺陷：對抗性樣本。自2013年發現以來，在深度神經網絡（DNN）分類器中出現了許多新形式的對抗性樣本攻擊，并提出了許多狹義和特殊的防御措施。這些防御措施都沒有經受住反測試。一些研究人員提出，這種易受攻擊性可能是不可避免的。到目前為止，還沒有發現有效的、可計算的、通用的方法，可以加固DNN，使其免受這種和相關的泛化問題的影響。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以通過將模型分類空間數據密集區之間的數據點稀疏的潛在空間，作為障礙隔離來改進。我們研究了兩種不同的方法來實現這種對基于對抗性樣本的攻擊防御，測試這些防御對最有效的攻擊，并將結果與現有的技術狀態的防御進行比較。

第一章 引言

人工智能（AI）已被提出來作為推進國防部能力的一個關鍵推動因素。人工智能國家安全委員會在其最終報告中寫道："如果我們的武裝部隊不加速采用人工智能，他們的軍事技術競爭優勢可能會在未來十年內喪失"，建議 "美國現在必須采取行動，將人工智能系統投入使用，并在人工智能創新方面投入大量資源，以保護其安全，促進其繁榮，并保障民主的未來" [1]。鑒于人工智能或更具體地說，深度神經網絡（DNN）中的機器學習（ML）最近在科學和工業領域取得了廣泛的突破，這種關注無疑是恰當的。然而，在國防應用中利用ML和其他現代 "深度學習 "方法并非沒有其固有的附加風險。

最近的人工智能主張已經近乎夸大其詞；當然，在與軍事和文職領導層的高層溝通中，也發生了一些夸大其詞的情況。作為這種夸張的例子，參考一下《2019年美國總統經濟報告》是如何向美國領導人介紹機器視覺方面的人工智能狀況的。在第343頁題為 "2010-17年人工智能和人類的圖像分類錯誤率 "的圖表中，它顯示了 "人類分類 "錯誤率與機器分類錯誤率將在2015年超過人類圖像分類能力。對這一說法仔細考慮并對參考研究甚至是當前最先進研究進行檢查，顯示這一特殊的發展仍然是一個遙遠的、尚未達到的里程碑。

1.1 深度學習的突破

即使ML仍然存在挑戰，近年來，機器學習在科學、工業和商業領域的成功應用也在急劇增加。深度神經網絡已經在自然語言處理、天文學、癌癥診斷、蛋白質折疊、語音識別和機器視覺等不同領域取得了巨大的進步[2]-[8]。因此，這類系統的潛在軍事應用同樣比比皆是：分析頻譜上下的聲學和電磁傳感器數據、機器視覺、尋找-修復-跟蹤和瞄準對手的飛機、地下、水面和陸地戰斗人員、人類語言處理、語音識別、自主空中/地面/地下/陸地車輛、信息戰、情報、監視和偵察（ISR）整合、機器人技術、網絡防御、網絡攻擊、戰術決策輔助，等等。

1.2 深度學習的脆弱性

盡管這項技術帶來了巨大進步，但目前的ML分類方法創建的模型在其核心上是有缺陷的，因為它們非常容易受到對抗性樣本攻擊和相關欺騙技術的影響[9]。廣義上講，文獻中定義的這類攻擊有三類：探索性攻擊、逃避性攻擊和中毒性攻擊。在本報告中，我們主要關注防御我們認為最關鍵的需求，即逃避攻擊。為了提供背景，我們簡要地概述了這三種攻擊。探索性攻擊，對手并不試圖實現錯誤分類，而是試圖通過精心設計輸入來獲得模型的知識，這些輸入的結果將提供關于模型內部狀態的信息，其目的是減少模型的不確定性，以支持未來的攻擊。中毒攻擊試圖在訓練期間修改模型，以偷偷地完成模型的一些未被發現的行為變化。最后，在逃避攻擊中，攻擊者不知不覺地修改了人工制定或模型的輸入，以產生分類的變化，從良性的或最初設定的類別到一些其他的、欺騙性的不真實的類別[10]。這最后一類是我們防御的重點，從這一點出發，我們把這些簡單地稱為對抗性樣本攻擊[11]。

自從2013年最初發現DNN分類器中的對抗性攻擊（逃避）以來，已經出現了許多種這樣的攻擊，并且至少提出了同樣多的狹義的特定防御措施作為回應。不幸的是，到目前為止，所提出的防御措施沒有一個能經受住反測試和適應性攻擊[12]。一些研究人員提出，這種易感性可能是空間中問題表述的一個不可避免的特征[13]。目前，還沒有發現一種有效的、計算上可接受的、通用的方法，可以支撐DNN對抗類似的相關的泛化問題[12], [14]。

1.3 國防部（DoD）的影響

在國防部的范圍內，大家都承認欺騙在戰爭中起著核心作用。因此，戰爭系統必須被設計成對欺騙有高度的適應性[15]。馬基雅弗利在“Prince”中寫道："......雖然在任何行動中使用欺騙都是可憎的，但在發動戰爭時，它是值得稱贊的，并能帶來名聲：用欺騙征服敵人與用武力征服敵人一樣受到稱贊。" 對孫子來說，這甚至是更重要的因素，"所有的戰爭都是基于欺騙"。在國防應用中，至關重要的是，不僅系統在戰斗開始時就如設計之處那樣工作，而且它們應該具備有彈性對狡猾的、有同樣資源和動機的對手的潛在計劃。

誠然，ML在民用和科學方面已經取得了巨大的成功。盡管民用工業技術領域與軍事技術需求有很大的內在交集，但應該注意到，后者并不是前者的完美子集。也就是說，戰爭的現實要求其技術必須為虛假信息和故意欺騙的行動、展示和通信做好準備。這兩個領域之間的這些不同假設意味著，在一個領域已經準備好的東西，在另一個領域可能還沒有準備好。在整個國防部，納入這些技術的系統正在被考慮、開發，在某些情況下已經被采用，目的是增強或取代我們一些最關鍵的國家安全能力。在軍事應用中，特別是武器系統和殺傷鏈內的系統，必須消除或至少減少對抗樣本，并對其進行補償，使故障呈現最小的風險。其余的風險必須被明確指出、發現并被作戰人員充分理解。不仔細和充分地解決這個問題是不可想象的，否則我們就有可能采用脆弱性技術，將災難性的漏洞引入我們關鍵戰爭系統。

1.4 增強防御措施

在防御基于機器學習技術的系統不受欺騙的潛在戰略背景下，我們介紹了一種防御措施。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以在模型分類器的分類空間數據密集區之間的數據點稀疏潛在空間中插入一個 "填充 "或 "屏障 "的方法來提高[13], [16]。我們相信，通過統計學插值或采用變分自動編碼器（VAE）[17]或生成對抗網絡（GAN）[18]來插值和投射到這個空間的模型可以創建人工填充類樣本來增加數據集，所產生的模型將能夠成功地區分合法數據點和對抗性樣本，同時保持與最先進分類方法相稱的準確性。

摘要

最近，我們見證了對抗性機器學習技術的快速發展，它破壞了底層機器學習模型的安全性，并導致了有利于對抗者的故障。最常見的對抗性機器學習攻擊包括故意修改機器學習模型的輸入，其方式是人類無法察覺的，但足以導致模型失敗。對抗性例子最初是為圖像設計的，也可以應用于自然語言處理（NLP）和文本分類。這項工作提出了一個研究和實施對抗性例子--以及防御機制--來對抗基于BERT的NLP分類器。用于測試擬議方法的數據集包括北約文件，現在已經解密，這些文件最初擁有不同的保密級別，由文件中嵌入的標簽指定。BERT模型被用來根據這些文件的初始敏感性對其進行自動分類。雖然攻擊者的目的是改變分類級別，但防御方致力于阻止這些企圖。實驗表明，對抗性文本實例可以誤導模型，導致拒絕服務，當文件被識別為具有比實際更高的敏感性時，或者導致數據泄漏，當文件被解釋為具有比實際更低的敏感性時。通過采取適當的防御措施，有可能抵制特定類型的對抗性攻擊，但代價是降低模型的整體準確性。

引言

機器學習系統的廣泛使用和成功使其成為攻擊者越來越頻繁的目標，他們的目標是濫用這些系統為自己謀利。這種現象導致了對抗性機器學習的發展[1]，這是一個結合了機器學習和網絡安全的領域，涉及到對智能系統可能的攻擊以及對策的研究。因此，盡管機器學習在一般情況下能快速提供結果，而且準確性很高，但它并非沒有風險，如果在沒有充分的安全分析的情況下實施，后果可能是災難性的。例如，特斯拉Model S 75自動駕駛系統可以通過隱藏高速公路標志或添加人類駕駛忽略的標記來進行操縱，從而導致，例如，轉向錯誤的車道[2]。

圖1描述了機器學習系統的各個組成部分可能受到的攻擊類型，按有意和無意的故障分組。機器學習的最大威脅之一是數據的完整性，表現為數據中毒。作為訓練集一部分的數據，如果被破壞，會改變模型的學習能力，從而影響其性能。訓練樣本通常不涵蓋所有可能的角落案例。一些沒有被考慮的樣本可能被模型錯誤分類，導致不正確的預測。提供其預訓練模型的第三方服務通常只想提供查詢訪問，而不提供額外的信息。任何針對模型保密性的安全漏洞都會泄露敏感信息，可能會揭示和暴露出模型結構。一般來說，機器學習服務提供者希望對用作訓練集的數據相關信息進行保密。成員推理攻擊的目的是通過泄露訓練集的一部分來損害數據隱私。

圖1 針對機器學習系統的安全威脅實例

摘要

深度學習(Deep Learning, DL)是當前計算機視覺領域應用最廣泛的工具。它精確解決復雜問題的能力被用于視覺研究，以學習各種任務的深度神經模型，包括安全關鍵應用。然而，現在我們知道，DL很容易受到對抗性攻擊，這些攻擊可以通過在圖像和視頻中引入視覺上難以察覺的擾動來操縱它的預測。自2013年~[1]發現這一現象以來，引起了機器智能多個子領域研究人員的極大關注。在[2]中，我們回顧了計算機視覺社區在深度學習的對抗性攻擊(及其防御)方面所做的貢獻，直到2018年到來。這些貢獻中有許多啟發了這一領域的新方向，自見證了第一代方法以來，這一領域已顯著成熟。因此，作為[2]的后續成果，本文獻綜述主要關注自2018年以來該領域的進展。為了確保文章的真實性，我們主要考慮計算機視覺和機器學習研究的權威文獻。除了全面的文獻綜述外，本文還為非專家提供了該領域技術術語的簡明定義。最后，本文在文獻綜述和[2]的基礎上，討論了該方向面臨的挑戰和未來的展望。

//www.zhuanzhi.ai/paper/884c8b91ceec8cdcd9d3d0cc7bd2cf85

引言

深度學習(DL)[3]是一種數據驅動技術，可以在大數據集上精確建模復雜的數學函數。它最近為科學家在機器智能應用方面提供了許多突破。從DNA[4]的突變分析到腦回路[5]的重建和細胞數據[6]的探索; 目前，深度學習方法正在推進我們對許多前沿科學問題的知識。因此，機器智能的多個當代子領域迅速采用這種技術作為“工具”來解決長期存在的問題也就不足為奇了。隨著語音識別[7]和自然語言處理[8]，計算機視覺是目前嚴重依賴深度學習的子領域之一。

計算機視覺中深度學習的興起是由Krizhevsky等人在2012年的開創性工作觸發的，他們報告了使用卷積神經網絡(CNN)[11]在硬圖像識別任務[10]上的記錄性能改善。自[9]以來，計算機視覺社區對深度學習研究做出了重大貢獻，這導致了越來越強大的神經網絡[12]、[13]、[14]，可以在其架構中處理大量層——建立了“深度”學習的本質。計算機視覺領域的進步也使深度學習能夠解決人工智能(AI)的復雜問題。例如，現代人工智能的一個最高成就，即tabula-rasa learning[15]，很大程度上要歸功于源于計算機視覺領域的殘差學習[12]。

由于深度學習[15]的(明顯)超人類能力，基于計算機視覺的人工智能被認為已經達到部署在安全和安保關鍵系統所需的成熟度。汽車自動駕駛[18]，ATM的面部識別[19]和移動設備的面部識別技術[20]都是一些早期的真實世界的例子，描繪了現代社會對計算機視覺解決方案的發展信念。隨著高度活躍的基于深度學習的視覺研究，自動駕駛汽車[21]，人臉識別[22]，[23]，機器人[24]和監控系統[25]等，我們可以預見，深度學習在關鍵安全計算機視覺應用中的無處不在。然而，由于深度學習[1]的對抗漏洞的意外發現，人們對這種前景產生了嚴重的擔憂。

Szegedy等人[1]發現，深度神經網絡預測可以在極低量級輸入擾動下被操縱。對于圖像而言，這些擾動可以限制在人類視覺系統的不可感知范圍內，但它們可以完全改變深度視覺模型的輸出預測(見圖1)。最初，這些操縱信號是在圖像分類任務[1]中發現的。然而，它們的存在現在已被公認為各種主流計算機視覺問題，如語義分割[27]，[28];目標檢測[29]，[30];目標跟蹤[31]，[32]。文獻強調了對抗式干擾的許多特征，這使它們對作為實用技術的深度學習構成了真正的威脅。例如，可以反復觀察到，受攻擊的模型通常對操縱圖像[2]，[17]的錯誤預測具有很高的置信度。同樣的微擾常常可以欺騙多個模型[33]，[34]。文獻也見證了預先計算的擾動，稱為普遍擾動，可以添加到“任何”圖像，以高概率[35]，[36]欺騙給定模型。這些事實對關鍵安全應用有著深遠的影響，特別是當人們普遍認為深度學習解決方案具有超越人類能力[15]，[37]的預測能力時。

由于其重要性，對抗性攻擊(及其防御)的話題在過去五年中受到了研究團體的相當大的關注。在[2]中，我們調研了這個方向的貢獻，直到2018年到來。這些工作中的大多數可以被視為第一代技術，探索核心算法和技術，以欺騙深度學習或防御它的對抗性攻擊。其中一些算法激發了后續方法的靈感，進一步改進和適應核心攻擊和防御技術。這些第二代方法也被發現更多地關注其他視覺任務，而不僅僅是分類問題，這是這一方向早期貢獻的主要興趣主題。

自2018年以來，該研究方向的論文發表數量不斷增加(見圖2-a,b)。當然，這些出版物也包括文獻綜述的實例，如[38]，[39]，[40]，[41]，[42]。我們在這里提供的文獻綜述在許多方面不同于現有的綜述。這篇文章的獨特之處在于它是2的繼承。隨后的調研，如[41]，通常緊跟[2];或者針對特定問題在[2]上建立[42]。近年來，這一方向在計算機視覺領域已經顯著成熟。通過構建[2]和后續文獻的見解，我們能夠為這一快速發展的研究方向提供更精確的技術術語定義。這也導致了本文所回顧的文獻的更連貫的結構，為此我們提供了基于研究團體當前對術語的理解的簡明討論。此外，我們關注出現在著名的計算機視覺和機器學習研究出版刊物的論文。專注于領先的貢獻使我們能夠為計算機視覺和機器學習研究人員提供一個更清晰的方向展望。更不用說，本文回顧了這個快速發展領域的最新貢獻，以提供迄今為止在這個方向上最全面的回顧。

本文的其余部分組織如下。在第二節中，我們提供了本文其余部分中使用的技術術語的定義。在第三節中，我們闡述了對抗性攻擊這一更廣泛的問題。第一代攻擊將在第四節中討論，接下來是第五節中關注分類問題的最近的攻擊。我們在第六節中關注分類問題之外的最近的攻擊，在第七節中關注針對物理世界的量身定制的攻擊。更多側重于存在對抗性例子的理論方面的貢獻將在第九節中討論。最近的防御方法是第十部分的主題。文章對第十一部分的文獻趨勢進行了反思，并對這一研究方向的前景和未來方向進行了討論。最后，我們在第十二節結束。