2022年7月，喬治城大學的安全與新興技術中心(CSET)與斯坦福大學網絡政策中心的地緣政治、技術與治理項目共同召集了一次專家研討會，以研究人工智能系統中的漏洞與傳統軟件漏洞之間的關系。討論的主題包括AI漏洞在多大程度上可以在標準的網絡安全流程下處理，目前阻止準確分享AI漏洞信息的障礙，針對AI系統的對抗性攻擊相關的法律問題，以及政府支持可能改進AI漏洞管理和緩解的潛在領域。 參加研討會的人員包括網絡安全和AI紅隊角色的行業代表；有進行對抗性機器學習研究經驗的學者；網絡安全法規、AI責任和計算機相關刑事法的法律專家；以及有重大AI監督責任的政府代表。 這份報告的目的是兩個。首先，它提供了對AI漏洞的高級別討論，包括它們與其他類型的漏洞的不相似之處，以及關于AI漏洞的信息共享和法律監管的當前狀態。其次，它試圖表述研討會上大多數參與者支持的廣泛建議。這些建議按四個高級別主題分類，如下：

主題：擴展傳統網絡安全以應對AI漏洞

1.1. 建議：構建或部署AI模型的組織應使用一個風險管理框架，涵蓋AI系統生命周期中的安全性。1.2. 建議：對抗性機器學習研究者、網絡安全實踐者和AI組織應積極嘗試擴展現有的網絡安全流程以涵蓋AI漏洞。1.3. 建議：對抗性機器學習領域的研究者和實踐者應與處理AI偏見和魯棒性的人員，以及其他具有相關專業知識的社區進行協商。 1. 主題：改善信息共享和組織安全思維

2.1. 建議：部署AI系統的組織應尋求信息共享安排，以促進對威脅的理解。2.2. 建議：AI部署者應強調在產品生命周期的每個階段都將安全文化融入AI開發中。2.3. 建議：高風險AI系統的開發

隨著技術的飛速發展和威脅環境變得更加復雜，今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能（AI）的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識，增加對威脅和對手能力和意圖的了解，識別和評估可能的戰術行動方案，并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。

人工智能系統為海戰提供了優勢，但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊，改善作戰情況的不確定性，并提出改善作戰和戰術結果的建議。實施人工智能系統，以滿足海軍應用的這些苛刻需求，給工程設計界帶來了挑戰。本文確定了四個挑戰，并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。

引言

人工智能是一個包括許多不同方法的領域，目的是創造具有智能的機器（Mitchell 2019）。自動化系統的運作只需要最小的人類輸入，并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器，執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中，以做出決定并得出結論。

如表1所述，人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen（2020，3）將專家系統描述為手工制作的知識系統，使用傳統的、基于規則的軟件，將人類專家的主題知識編入一長串編程的 "如果給定x輸入，則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統，從大型數據集中進行訓練。ML系統自動學習并從經驗中改進，而不需要明確地進行編程。一旦ML系統被 "訓練"，它們就被用于操作，以產生新的操作數據輸入的結果。

表1. 兩類人工智能系統

人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力，在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力，以了解復雜和不確定的情況，制定和權衡選擇，預測行動的成功，并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。

本文確定了工程設計界必須解決的四個挑戰，以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括：（1）復雜的海戰應用領域；（2）需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統；（3）人工智能系統工程的一些新挑戰；（4）存在對手的人工智能進展，不斷變化和發展的威脅，以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域，但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。

表2. 為海軍實施人工智能系統的四個挑戰領域

挑戰一：戰爭復雜性

人工智能正被視為一種能力，可應用于廣泛的應用，如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰，人工智能系統必須與之抗衡，才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子，從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素，這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度，對六個應用領域的特征進行了定性評估。顏色代表低貢獻（綠色）、中貢獻（黃色）和高貢獻（紅色）。

表3中最上面一行顯示的特征包括： (1)認識上的不確定性水平（情況知識的不確定性程度），(2)情況的動態性，(3)決策時間表（可用于決策的時間量），(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5）資源的復雜性（數量、類型、它們之間的距離以及它們的動態程度），（6）是否涉及多個任務，（7）所需訓練數據集的復雜性（大小、異質性、有效性、脆弱性、可獲得性等 8）對手的存在（競爭者、黑客或徹頭徹尾的敵人），（9）可允許的錯誤幅度（多少決策錯誤是可以接受的），以及（10）決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義，即基于一組樣本的貢獻因素，不同應用領域的不同復雜程度。

表3. 影響應用復雜性的因素比較

對于所有的應用領域來說，人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時；以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用，如貸款審批、廣告、醫療診斷（在某種程度上）面臨工程挑戰，但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的，做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而，航運錯誤是有空間的，而且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的空間非常小。在這種應用中，決策失誤會導致嚴重的事故。

影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此，戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子，海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是網絡空間，導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中，戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行，并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后，對于戰術決策及其可能的后果來說，風險可能非常大。

表4. 導致戰術決策復雜性的因素

解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案，即處理大量的數據，處理不確定性，理解復雜的情況，開發和評估決策選擇，以及理解風險水平和決策后果。Desclaux和Prestot（2020）提出了一個 "認知三角"，其中人工智能和大數據被應用于支持作戰人員，以實現信息優勢、控制論信心和決策優勢。約翰遜（2019年）開發了一個工程框架和理論，用于解決高度復雜的問題空間，這些問題需要使用智能和分布式人工智能系統來獲得情況意識，并做出適應動態情況的協作行動方案決定。約翰遜（2020a）建立了一個復雜的戰術場景模型，以證明人工智能輔助決策對戰術指揮和控制（C2）決策的好處。約翰遜（2020b）開發了一個預測分析能力的概念設計，作為一個自動化的實時戰爭游戲系統來實施，探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先，人工智能支持的C2系統需要描述戰術行動期間的復雜程度，然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平（人與機器的決策角色）。約翰遜（2021年）正在研究這些概念性工程方法在各種防御用例中的應用，包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來，戰術邊緣遠離指揮中心，通信和計算資源有限，戰場形勢瞬息萬變，這就導致在嚴酷復雜的戰地環境中，網絡拓撲結構連接薄弱，變化迅速"（Yang et. al. 2021）。戰術邊緣網絡也容易斷開連接（Sridharan et. al. 2020）。相比之下，許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲，而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時，必須進行仔細的設計考慮，以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。

在軍事領域使用人工智能必須克服復雜性的挑戰障礙，在某些情況下，人工智能的加入可能會增加復雜性。辛普森等人（2021）認為，將人工智能用于軍事C2可能會導致脆弱性陷阱，在這種情況下，自動化功能增加了戰斗行動的速度，超出了人類的理解能力，最終導致 "災難性的戰略失敗"。Horowitz等人（2020）討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人（2020）指出，人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性；如果人類決策者對產出缺乏信心和理解，他們可能會失去對人工智能系統的信任。

挑戰二：數據需求

實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。

ML系統的學習過程被稱為被訓練，開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法，允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段，ML系統繼續需要數據。

圖1顯示，在運行期間，ML系統或 "模型 "接收運行的實時數據，并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此，在整個系統工程和采購生命周期中，ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。

圖1. 使用數據來訓練機器學習系統

美國海軍開始認識到對這些數據集的需求，因為許多領域（戰爭、供應鏈、安全、后勤等）的更多人工智能開發人員正在了解人工智能解決方案的潛在好處，并開始著手開發人工智能系統。在某些情況下，數據已經存在并準備好支持人工智能系統的開發。在其他情況下，數據存在但沒有被保存和儲存。最后，在其他情況下，數據并不存在，海軍需要制定一個計劃來獲得或模擬數據。

收集數據以滿足海軍領域（以及更廣泛的軍事領域）的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的，在不同的項目和系統中被分隔開來，不容易從遺留系統中獲得，并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據，可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外，和平時期收集的數據并不代表沖突和戰時的操作。海軍（和軍方）還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的（和可能的）戰時行動，并構建足夠的ML訓練數據。

數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說，數據是一種珍貴的商品，并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據，目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。

海軍正在解決這一數據挑戰，開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺，正在管理數據以支持AI/ML的發展和其他類型的海軍應用，這些應用需要與任務相關的數據（Abeyta，2021）。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統，海軍需要在游戲中保持領先，擁有能夠代表各種可能情況的數據集，這些情況跨越了競爭、沖突和危機期間的行動范圍。因此，數據集的開發和管理必須是一項持續的、不斷發展的努力。

挑戰三：工程化人工智能系統

第三個挑戰是，人工智能系統的工程需要改變傳統的系統工程（SE）。在傳統系統中，行為是設定的（確定性的），因此是可預測的：給定一個輸入和條件，系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上，一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議，與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統，并確保它們對人類操作者來說是可解釋的、可信任的和安全的。

SE作為一個多學科領域，在海軍中被廣泛使用，以將技術整合到連貫而有用的系統中，從而完成任務需求（INCOSE 2015）。SE方法已經被開發出來用于傳統系統的工程設計，這些系統可能是高度復雜的，但也是確定性的（Calvano和John 2004）。如表5所述，傳統系統具有可預測的行為：對于一個給定的輸入和條件，它們會產生可預測的輸出。然而，許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人（2021年）解釋說，"SE及其方法的雛形基礎并不是為配備人工智能（即機器學習和深度學習）的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說，出錯的余地很小；因此，SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。

表5. 傳統系統和人工智能系統的比較

在整個系統生命周期中，將需要改變SE方法，以確保人工智能系統安全有效地運行、學習和適應，以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變，以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法，這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性，這些系統的行為不是完全可預測的，其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務，即隨著人工智能系統的發展，在部署期間不斷確保安全和理想的行為。

SE界意識到，需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會（INCOSE）最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為，人工智能系統可能會出現新類型的故障模式，這些故障模式是無法預料的，可能會突然發生，而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后，對于有更多的人機互動的人工智能系統，必須仔細注意設計系統，使它們值得信賴，可以解釋，并最終對人類決策者有用。

表6.人工智能系統工程中的挑戰（改編自：Robinson，2021）。

SE研究人員正在研究人工智能系統工程所涉及的挑戰，并開發新的SE方法和對現有SE方法的必要修改。Johnson（2019）開發了一個SE框架和方法，用于工程復雜的適應性系統（CASoS）解決方案，涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統，通過使用人工智能，可以協作產生所需的突發行為。Johnson（2021）研究了人工智能系統產生的潛在新故障模式，并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知，作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人（2021年）研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui（2021年）研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略，促進人類和機器之間的 "校準 "信任，這是作為適當利用的最佳信任水平，避免過度信任和不信任，并在信任失敗后涉及信任修復行動。Johnson等人（2014）開發了一種SE方法，即協同設計，用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

數據的作用對于人工智能系統的開發和運行來說是不可或缺的，因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人（2021）提出，SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構，用于開發、訓練和評估AI算法。French等人（2021）描述了需要適當的數據策劃來支持人工智能系統的發展，他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據，以及需要識別和消除數據中的固有偏見。

SE界正處于發展突破和進步的早期階段，這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步，以確保海軍持續的技術優勢。

挑戰四：對抗性

海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰：(1)人工智能技術在許多領域迅速發展，海軍必須注意同行競爭國的軍事應用進展，以防止被超越，(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性，以及(3)海軍應用的人工智能系統需要發展和適應，以應對不斷變化的威脅環境。

表7. AI系統的對抗性挑戰

同行競爭國家之間發展人工智能能力的競賽，最終是為了進入對手的決策周期，以便比對手更快地做出決定和采取行動（Schmidt等人，2021年）。人工智能系統提供了提高決策質量和速度的潛力，因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索，同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標，不僅僅取決于人工智能研究。它需要適當的數據收集和管理，有效的SE方法，以及仔細考慮人類與AI系統的互動。海軍必須承認，并采取行動解決實施人工智能系統所涉及的挑戰，以贏得比賽。

網絡戰是海軍必須成功參與的另一場競賽，以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統（Libicki, 2009）。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據，導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制，他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化，其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護，免受網絡攻擊（French等人，2021）。

威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化，武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強，這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統，必須能夠加強海軍感知、探測和識別新威脅的能力，以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境，并在行動中學習，以了解戰斗空間中的未知因素，并通過創新的行動方案快速應對新的威脅（Grooms 2019, Wood 2019, Jones et al 2020）。海軍可以利用人工智能系統，通過研究特定區域或領域的長期數據，識別生活模式的異常（Zhao等人，2016）。最后，海軍可以探索使用人工智能來確定新的和有效的行動方案，使用最佳的戰爭資源來解決棘手的威脅情況。

結論

人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而，人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的，可以學習和適應--特別是在用于更復雜的行動時，如高度動態的、時間關鍵的、不確定的戰術行動環境中，允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域：（1）開發能夠解決戰爭復雜性的人工智能系統，（2）滿足人工智能系統開發和運行的數據需求，（3）設計這些新穎的非確定性系統，以及（4）面對對手帶來的挑戰。

海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統，以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。

1.第一個建議是了解人工智能系統與傳統系統之間的差異，以及伴隨著人工智能系統的開發和實施的新挑戰。

人工智能系統，尤其是那些旨在用于像海戰這樣的復雜行動的系統，其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解，更加不可預測，并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。

2.第二個建議是投資于人工智能系統的研究和開發，包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。

研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面，海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的，并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據，用于人工智能系統開發，并確保數據的相關性、有效性和安全性。

3.第三個建議是承認挑戰，并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。

盡管人工智能系統正在許多領域實施，但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識，即在人工智能系統準備用于戰爭決策輔助工具之前，需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖，彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法，在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。

海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統，戰術決策優勢的重大進步是可能的。此外，海軍必須跟上（或試圖超越）對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解，對研究和開發計劃的投資，以及對人工智能技術進步時限的現實預期，海軍可以在應對這些挑戰方面取得進展。

這份美國國家標準技術研究所的“NIST AI”報告旨在成為開發對抗性機器學習（AML）的分類學和術語的一個步驟，這反過來可能有助于確保人工智能（AI）的應用安全，防止AI系統受到對抗性操縱。人工智能系統的組成部分至少包括數據、模型、訓練、測試和部署機器學習（ML）模型的過程以及使用它們所需的基礎設施。除了大多數操作系統所面臨的經典安全和隱私威脅外，ML的數據驅動方法在ML操作的不同階段引入了額外的安全和隱私挑戰。這些安全和隱私挑戰包括對訓練數據進行惡意操縱的可能性，對模型漏洞進行惡意利用以對ML分類和回歸的性能產生不利影響，甚至惡意操縱、修改或僅僅與模型進行互動以滲出數據中代表的人或模型本身的敏感信息。這種攻擊已經在現實世界的條件下被證明，其復雜性和潛在的影響一直在穩步增加。AML關注的是研究攻擊者的能力和他們的目標，以及在ML生命周期的開發、培訓和部署階段利用ML的漏洞的攻擊方法的設計。AML還關注設計能夠抵御這些安全和隱私挑戰的ML算法。當攻擊是出于惡意的時候，ML的穩健性指的是旨在管理這種攻擊的后果的緩解措施。

本報告采用了NIST人工智能風險管理框架[170]中關于ML系統的安全性、復原力和穩健性的概念。安全性、復原力和穩健性是通過風險來衡量的，風險是衡量一個實體（如系統）受到潛在情況或事件（如攻擊）威脅的程度，以及一旦發生這種事件的結果的嚴重程度。然而，本報告并沒有對風險容忍度（組織或社會可接受的風險水平）提出建議，因為它是高度背景性的，并且是針對具體應用/案例的。這種一般的風險概念為評估和管理人工智能系統組件的安全性、復原力和穩健性提供了一種有用的方法。對這些可能性的量化超出了本文的范圍。相應地，AML的分類法是針對AML風險評估的以下四個方面來定義的：（i）學習方法和發動攻擊時的ML生命周期過程的階段，（ii）攻擊者的目標和目的，（iii）攻擊者的能力，（iv）和攻擊者對學習過程及其他的知識。

針對ML的有效攻擊范圍很廣，發展迅速，涵蓋了ML生命周期的所有階段--從設計和實施到培訓、測試，最后到在現實世界的部署。這些攻擊的性質和力量是不同的，不僅可以利用ML模型的漏洞，還可以利用部署AI系統的基礎設施的弱點。盡管人工智能系統組件也可能受到各種非故意因素的不利影響，如設計和實施缺陷以及數據或算法偏差，但這些因素不是故意攻擊。即使這些因素可能被對手利用，但它們不屬于對抗性機器學習文獻或本報告的范圍。

本文件定義了攻擊的分類法，并介紹了對抗性機器學習領域的術語。該分類法建立在對對抗性機器學習文獻的調查基礎上，并按概念層次排列，包括關鍵類型的ML方法和攻擊的生命周期階段，攻擊者的目標和目的，以及攻擊者的能力和學習過程的知識。報告還提供了相應的緩解和管理攻擊后果的方法，并指出了在人工智能系統的生命周期中需要考慮的相關公開挑戰。報告中使用的術語與對抗性機器學習方面的文獻一致，并輔以詞匯表，定義了與人工智能系統安全相關的關鍵術語，以幫助非專業的讀者。綜上所述，分類法和術語旨在為評估和管理人工智能系統安全的其他標準和未來實踐指南提供參考，為快速發展的對抗性機器學習領域建立共同語言和理解。與分類法一樣，術語和定義并不打算詳盡無遺，而是為了幫助理解對抗性機器學習文獻中出現的關鍵概念。

本文件的主要讀者包括負責設計、開發、部署、評估和管理AI系統的個人和團體。

關鍵詞：人工智能；機器學習；攻擊分類法；規避；數據中毒；隱私泄露；攻擊緩解；數據模式；木馬攻擊，后門攻擊；聊天機器人。

圖1：對人工智能系統的攻擊分類。

美國國家人工智能（AI）研究資源（NAIRR）工作組近日發布題為《加強和民主化美國人工智能創新生態系統：國家AI研究資源實施計劃》最終報告。該報告是建立國家研究基礎設施的路線圖，該基礎設施將擴大對AI研發必不可少的資源的訪問。報告由引言，民主化和加速AI研發的國家網絡基礎設施，NAIRR組織、管理和治理，NAIRR架構和對資源要素的技術要求，NAIRR組織和資源的分階段擴建，以及結論六部分，另有12個附錄構成。主要內容如下：

人工智能(AI)是推動科學發現和經濟增長的創新引擎。它正日益成為解決方案不可或缺的一部分，這些解決方案將影響從日常工作到社會層面挑戰的方方面面，最終服務于公共利益。同時，也有人擔心AI會帶來負面的社會環境影響后果。為了實現AI的積極和變革潛力，當務之急是利用美國所有的聰明才智來推進這一領域的發展社會挑戰，為所有美國人工作，維護美國的民主價值觀。

然而，AI當前前沿的進展往往與獲取大量計算能力和數據有關。今天，這種機會往往僅限于資源豐富的組織。這一巨大且不斷擴大的資源鴻溝有可能限制和不利地扭曲AI研究生態系統。這種不平衡威脅到美國培養AI研究的能力社區和勞動力反映了美國豐富的多樣性和駕馭AI的能力推進公共利益。

一個廣泛可用的AI研究網絡基礎設施資源、數據、試驗臺、算法、軟件、服務、網絡和專業知識，如這份報告中所述，在美國將有助于為了所有人的利益去民主化AI研發態勢。這將有助于創造途徑來擴大從事AI的研究人員，致力于AI方法和應用的發展和多樣化。網絡基礎設施也有助于為所有科學領域和學科的進步，包括AI審計、測試和評估等關鍵領域，可信人工智能、偏差緩解和AI安全開辟新的機會和多樣化的視角，反過來可以導致新的想法，否則不會實現，并設置條件開發設計包容的AI系統。

作為2020年國家AI倡議法案的一部分，國會建立了國家AI研究資源(NAIRR)工作組研究發展“NAIRR”作為國家AI研究的可行性和可取性網絡基礎設施，并“提出一個路線圖，詳細說明應該如何建立NAIRR”持續有效。最近的2022年芯片和科學法案強調了通過投資實現國家人工智能研究網絡基礎設施的民主化，從下一代圖形處理器（GPU），加速高級計算的開發到高密度內存芯片——以及積極吸引廣泛多樣的美國人才的措施在前沿科學和工程領域，包括人工智能。

建立NAIRR時應考慮四個可衡量的目標，即(1)刺激創新，(2)增加人才的多樣性，(3)提高能力，以及(4)推進可信的AI。NAIRR應通過支持研究人員的需求來實現這些目標，并來自不同背景的學生，他們追求基礎、使用激勵和轉化AI研究。這些用戶應位于美國或隸屬于美國組織，包括學術機構、非營利組織以及創業公司或小企業。

NAIRR應該包括來自各種提供商資源的一組聯合的計算、數據、測試床和軟件，以及技術支持和培訓，以滿足需求這個目標用戶群。NAIRR的具體設計、實施和評估應以四個關鍵目標為中心，并應支持收集數據以評估實現這些目標過程中的系統性能和成功的關鍵指標。

NAIRR的管理和治理應遵循合作管理原則，作為NAIRR一個單一的聯邦機構行政總部運營和指導委員會，由來自聯邦機構的負責人組成AI研究實體推動著NAIRR的戰略方向。項目管理行政總部機構內的辦公室應為管理NAIRR日常運營的獨立運營實體。由國家AI倡議辦公室(NAIIO)共同主持的指導委員會將在全國AI倡議辦公室的治理中納入來自各聯邦機構的利益和觀點。這些機構還應該直接支持資源提供者，如果聯合起來，他們的資源將構成NAIRR。應挖掘不同的觀點和專業知識，為NAIRR的運營通過用戶委員會、科學顧問委員會、技術顧問委員會和道德咨詢委員會向運營實體提供建議。

NAIRR應該提供對計算和數據的聯合訪問資源、測試平臺、軟件和測試工具以及用戶支持服務門戶網站。計算資源應包括傳統服務器、計算集群、高性能計算和云計算，并應支持對邊緣計算的訪問AI研發的資源和測試平臺。開放和受保護的數據應在分層訪問協議并與計算資源共處一地。經營實體應當它本身并不操作構成NAIRR的全部計算機硬件；相反，計算以及數據、測試和培訓資源應通過聯邦機構或多機構資助機會選擇的合作資源提供商作為服務交付。當完全實施時，NAIRR應解決容量(支持大型用戶數量)和AI的能力(訓練資源密集型AI模型的能力)需求研究社區。

NAIRR必須能夠被廣泛的用戶訪問，并提供一個平臺可用于教育和社區建設活動，以降低參與AI研究生態系統的障礙，增加AI研究人員的多樣性。NAIRR訪問門戶和公共網站應提供目錄、搜索和發現 有助于訪問數據、測試平臺、教育和培訓資源的工具經驗水平。

NAIRR應該為負責任的AI研究制定標準實施其治理流程。NAIRR必須積極主動地通過集成適當的技術控制、政策和治理機制解決。運營實體應遵循其職業道德咨詢委員會制定評估擬議研究的標準和機制從隱私、公民權利和公民自由的角度看NAIRR中包含的資源。應要求定期培訓，以建立NAIRR用戶對權利、責任，以及AI研究中與隱私、公民權利和公民自由相關的最佳實踐.白宮科學與技術辦公室2022年10月公布了AI權利法案的藍圖技術政策。

提綱

• 戰術無人機營--一個場景
• 背景和框架
  • 未來戰斗行動的開展
  • 人工智能
  • 政治和法律框架
• 目標
  • G1：提高日常工作的效率
  • G2: 提高行動能力
  • G3: 解決潛在的能力差距
• 驅動力
  • DF1: 潛在對手的人工智能能力
  • DF2：作戰行動的動態性不斷增強
  • DF3: 更少的合格人員
  • DF4: 資源短缺
  • DF5: 信息的數量和密度
  • DF6：信息技術和人工智能發展的動態性
• 陸軍發展的行動領域(FoA)
  • FoA1：現有系統的進一步發展
  • FoA2：新的武器系統和武器裝備
  • FoA3：人員/物資的人工智能能力管理
  • FoA4：在培訓中使用人工智能
• 組織結構的行動領域
  • 招聘人工智能專家
  • 軍隊、研究和工業之間的合作
  • 國際合作
  • 使用測試和實驗結構
  • AI數據基礎設施和組織
• 總結
• 附件：德國陸軍概念和能力發展中的實施措施

在軍事上有許多行動領域使用人工智能。除了對正在使用的系統進行持續的進一步開發和人工智能鑒定，特別是具有新特性的未來系統將能夠從人工智能的應用中受益。日常工作中的人員和物資管理，以及培訓，也提供了主要的潛在行動領域。

一個精心定義的政治和法律框架是必不可少的，特別是對于軍事力量的使用。因此，目前和將來使用自動化和自主系統必須符合FMoD的政治和法律要求。除了政治和法律方面，從軍事角度來看，使用致命性自主武器系統也是一種不可取的、非預期的選擇。

人工智能是一種高技術，需要大量的專業知識和開發努力。為了實現這一目標，德國陸軍正在尋求與歐洲工業和研究的密切合作。在德國陸軍發展的背景下已經建立的技術與能力（TmC）模式正被用作進一步活動的起點。

為了能夠充分應對未來所有與人工智能相關的挑戰，德國陸軍必須擁有合格的人工智能人才。在這方面，聯邦國防軍面臨著來自民用部門的強烈競爭。為了滿足短期內的需求，軍隊正在依靠現有的OR/M&S人員。

目前所有的數據表明，利用人工智能的方法和程序可以大幅提高陸軍的效率和效力。為了能夠適當地應對即將到來的挑戰，必須采取與組織程序和結構有關的措施。因此，"陸軍中的人工智能 "立場文件建議為陸軍設立人工智能工作臺，為陸軍設立人工智能開發中心，為陸軍設立人工智能數據中心。只有這樣才能全面覆蓋人工智能領域的創新、人工智能系統的培訓和數據的提供。

下文將在附件中詳細介紹使早期實現成為可能所需的所有措施。

德國陸軍概念和能力發展中的實施措施

2018/2019年，在德國陸軍概念和能力發展中心開展了關于人工智能（AI）主題的 "技術與能力 "形式。在一系列研討會的過程中，根據北約綜合作戰計劃指令（COPD），確定了人工智能在陸軍所有能力領域以及武器和服務中的應用，并按行動路線進行分類。下面詳細列出了五個應用領域，每個領域都有不同的行動路線。

根據內容和發展的成熟度，這些措施和行動方針的實施是通過CD&E和R&T活動進行的，或者在CPM的范圍內通過適當的舉措進行。與聯邦國防軍的能力概況相匹配是至關重要的。陸軍概念和能力發展中心負責實施。

• 1 圖像分析

這個領域匯集了基于人工智能的目標識別和分類系統領域的所有活動。這些項目正在逐步建立起一種功能，以模塊化的方式擴展陸軍的各種保護和效果組件，包括從ISR到基于效果的自動系統。一個重點是將現有的民用方法用于軍事目的。

• 2 戰術無人機

這一領域匯集了與不同幾何形狀的小型無人機系統有關的所有活動。這些活動包括從偵察到障礙物，再到進攻性武器系統。不管是什么活動，重點都是在防御和部署自己的TaUAS的能力。一個重要的挑戰是，特別是創造出足夠堅硬和強大的TaUAS，使其能夠使用被動傳感器系統，在非常有限的通信和沒有GPS的情況下，在白天和晚上半自主地行動。

• 3 下一代戰斗管理系統（NGBMS）

這一領域匯集了所有側重于指揮和控制的活動。它既包括實現單一的功能，在適用的情況下，也可以在已經進行的活動中進行改裝，也包括將可能用于超戰爭情況的系統和方法概念化。沒有任何跡象表明有任何明顯的雙重用途。挑戰在于對指揮和控制過程的相關部分進行建模，以創建超戰可行的指揮和控制組件。理想情況下，指揮和控制過程的一部分可以按照博弈論的思路被描述為一個游戲，這樣人工智能就可以在決策支持或指揮和控制的自動手段的意義上使用。MUM-T是這方面的一個關鍵挑戰。

• 4 材料和基礎設施

這一領域匯集了后勤、維護和IT管理領域的所有活動。該行動路線包含了各種可以相對快速實施的措施，并有助于更好地應對當前在支持方面的挑戰。許多力爭實現的功能正在民用部門以非常類似的形式使用或開發。

• 5 分析方法

這個領域匯集了各種單獨的解決方案，其中人工智能和大數據可以為有關數據分析和優化的經典問題提供支持。數字化和人工智能提供了一個新的質量機會，因為某些問題（識別，......）可以實時和提前解決（也適用于車輛）或技術設備（如防火墻）。

大量的學術文獻描述了無數的攻擊載體，并表明美國國防部（DoD）的大多數人工智能（AI）系統一直處于危險之中。然而，蘭德公司的研究人員調查了旨在隱藏對象（導致算法假陰性）的對抗性攻擊，發現許多攻擊在操作上是不可行的，因為知識要求高，攻擊載體不實用，所以設計和部署不可行。正如研究人員在本報告中所討論的那樣，有一些屢試不爽的非對抗性技術，其成本更低，更實用，而且往往更有效。因此，針對人工智能的對抗性攻擊對國防部應用構成的風險比學術研究目前所暗示的要小。然而，精心設計的人工智能系統以及緩解策略，可以進一步削弱這種攻擊的風險。

關鍵發現

• 旨在從人工智能中隱藏物體的對抗性攻擊對國防部應用構成的風險比學術研究目前所暗示的要小。
• 在現實世界中，由于高知識要求和不可行的攻擊載體，這種對抗性攻擊很難設計和部署；通常有成本更低、更實用、更有效的非對抗性技術可用。
• 融合不同傳感器模式、信號采樣率和圖像分辨率的數據和預測，可以進一步減輕針對人工智能的對抗性攻擊的風險。

建議

• 美國防部應通過考慮對手如何可行地影響模型來評估其人工智能模型在對抗性攻擊方面的風險。它還應該評估有關模型的知識泄露如何影響攻擊的有效性，并估計與對手行動相關的成本。
• 美國防部應保持對學術界最先進的技術的了解，以在現實世界的場景中攻擊人工智能，并了解這些技術如何可行地影響自己和對手的操作概念。
• 美國防部應開發強大的人工智能模型、預處理技術和適當的數據融合系統，以大大增加對手實施攻擊的資源成本。
• 美國防部應投資于人工智能系統的響應性支持團隊，以快速檢測、識別和回應對手的威脅。

網絡威脅變得越來越普遍。最近備受矚目的入侵事件表明，秘密的的網絡空間效應如何能夠挑戰21世紀的國際安全戰略格局。每個經濟部門和人類生活的各個方面對數字技術的日益依賴強烈地表明，這一趨勢將繼續下去。北約盟國正以日益強大的網絡安全和防御來應對，特別是當它與軍事系統、平臺和任務相交時。

對提高復原力和穩健性的要求加速了對人工智能技術的探索和采用，即使計算機能夠模仿人類智能的技術，用于網絡防御。深度機器學習（DML）就是這樣一種最先進的技術，它在網絡安全以及許多其他應用領域都表現出了相當大的潛力。深度機器學習可以增強網絡彈性，其防御措施隨著時間的推移隨著威脅的變化而變化，并減少人類專家手動數據分析的總體負擔。深度機器學習可以促進更快的響應，特別是在充分和足夠的訓練下。一些可能的考慮包括在建立或生成數據模型開發中的對抗性樣本。

本技術報告在整合北約范圍內深度機器學習（DML）的網絡防御應用知識方面采取了初步措施。它進一步確定了目前的解決方案和軍事需求之間的差距，并相應地構建了DML在軍事領域有前途的網絡防御應用的追求。研究小組以技術報告的體現為核心，從惡意軟件檢測、事件管理、信息管理、漏洞管理、軟件保障、資產管理、許可證管理、網絡管理和配置管理的角度審查國家標準和技術研究所的安全準則。

該報告研究了DML的復雜效用、實際實施以及公開的挑戰。研究工作組由數據科學、機器學習、網絡防御、建模與仿真和系統工程等領域的專家組成。研究人員和從業人員考慮了數據的聚集、數據的特征、共享數據的需要以及數據模型的共享，或其生成者。這些因素，包括如何處理、訓練、訪問數據，以及相關的技術，如遷移或聯邦學習，也被考慮在內。

第1章 背景

網絡威脅越來越先進，對手更具戰略性，可以從世界任何地方表現出威脅。今天的對手擁有資源和時間，只要有時間和資源，就可以輕松地發動破壞性攻擊。

不同格式的數據的可用性和豐富性也有助于為對手創造一種靈活性，如果沒有數據的涌入，這種靈活性是不存在的[1]。由于對手很容易獲得工具和技術，所有形式的大數據的可用性，網絡攻擊達到了前所未有的高度，北約國家必須通過緩解工具和技術來增強其戰略地位，以減輕對軍事系統、平臺和任務的網絡威脅[2]。

緩解技術將包括最新和最偉大的技術，以創造彈性，及時發現和應對攻擊，并在平臺發生任何損害或損害之前恢復。

世界正在變得更加數字化[3]，軍隊也不例外。隨著先進工具的出現和技術的數字化，研究人員必須做好準備，研究防御性技術，以防止軍事系統和平臺的破壞和退化。

RTG計劃探索深度機器學習（DML）的應用，以實施和加強軍事戰略網絡地位，并創建一個防御，不僅要解決今天的威脅，還要解決未來可能出現的威脅，如增加的處理能力，先進的工具和數據操作技術。

擬議的 "IST 163 - 網絡防御深度機器學習"活動的主要目標是鞏固全北約在DML和網絡防御領域的知識，確定民用解決方案和軍事需求之間的差距，并與其他北約國家合作，使用數據處理，共享數據和模型，并追求將最有前途的技術和應用轉移到軍事領域，同時堅持標準，確保數據與所選技術相匹配。

RTG致力于發現北約各國的DML技術，揭示數據是如何處理和適合神經網絡的，并確定各國在這些技術中的差距，以比較最佳的解決方案，這些解決方案有可能被其他可能沒有潛力或技術不先進的國家采用。

這項研究為各國創造了一個機會，以全面審視DML在網絡防御方面的能力和差距，并研究以最先進的DML方法加強網絡防御的手段。

在為DML創建數據時，來自不同背景的研究人員將共同支持反映數據效用和模型的最佳情況的用例，并努力確保數據最適合于研究。考慮到來自多種背景的擬議數據的動態，對數據的整理和消毒以適應模型，將創造一個機會，看到不同類型的數據對DML模型的各方面作用。

將特別關注術語與北約其他倡議中的相關活動的一致性。因此，它將面向來自人工智能、機器學習、建模和模擬以及系統工程等領域的多學科受眾。

工作組的工作將集中在機器學習上，包括深度學習方面。

第2章 軍事關系

網絡防御影響軍事行動的所有領域，包括通信、行動和后勤。隨著威脅的復雜化和對手變得更加創新，傳統的基于簽名的檢測威脅的方法很容易被規避。現有的防御措施無法跟上新的漏洞、漏洞和攻擊載體出現的規模。顯然，有必要開發自動和數據驅動的防御系統，其模型適合于軍事系統和聯盟操作環境。

減少數據分析的負擔和擴展到多樣化和聯合環境的網絡防御技術，現在和將來都對軍事行動相當重要。在這一類別中，一個有前途的領域是機器學習（ML）的應用，即研究和開發沒有預編程指令的模式識別方法來解釋數據。Theobold[1]明確闡述了機器學習的效用：

• 幾十年來，機器都是靠響應用戶的直接命令來運作的。換句話說，計算機被設計成響應預先編程的命令來執行既定任務。現在，計算機嚴格來說不需要接收輸入命令來執行任務，而是需要輸入數據。具體來說，機器根據數據中捕捉到的以往經驗創建一個預測模型。從輸入的數據中，機器就能制定出如何、在何處、何時執行某種行動的決定。[1]

在20世紀上半葉的20年里，美國的武裝部隊是數字計算機發展的唯一最重要的驅動力[2]。隨著商業計算機行業開始形成，武裝部隊和國防工業成為其主要市場。在其發展過程中，人類對所有的軟件進行編程，并作為計算和算法進步的主要驅動力。面向對象的編程使軟件可以重復使用，并擴大了其規模。后來，互聯網使軟件民主化。隨著深度機器學習（DML）的出現，這一格局正準備再次發生根本性的轉變，這是ML的一個子集。DML技術通過訓練描述輸入和輸出之間關系的模型，使計算機能夠 "編寫 "自己的軟件。這一突破已經在加速每個行業的進步。研究表明，深度學習將在未來20年內使全球股票市場增加近50%[3]。

網絡防御也不例外，這是個趨勢。20世紀后半葉，社會和軍事應用中越來越多地采用數字技術，而21世紀頭幾十年的常規數據泄露事件，說明了一個有彈性的網絡空間的重要性。人工智能（AI）的應用，包括用于網絡防御的ML和DML，已經在國防研究論壇上獲得了相當多的曝光[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]。這些應用具有相當大的軍事前景，特別是涉及到漏洞發現、威脅識別、態勢感知和彈性系統。

2.1 北約視角

網絡防御是北約合作安全核心任務的組成部分[12]。2002年，盟國領導人首次公開承認需要加強防御網絡攻擊的能力[13]。此后不久，在2003年，他們建立了北約計算機事件響應能力（NCIRC），這是一個由 "第一響應者 "組成的團隊，負責預防、檢測和響應網絡事件。從那時起，網絡領域的重要性和關注度都在不斷增加。2008年，北約建立了合作網絡防御卓越中心，目前由25個贊助國組成，其任務是加強北約盟國和合作伙伴的能力、合作和信息共享[14]。2014年，盟國領導人宣布，網絡攻擊可能導致援引北約創始條約中的集體防御條款。2016年，盟國承認網絡空間是軍事行動的一個領域。盟國領導人進一步承諾，將加強其國家網絡和基礎設施的復原力作為優先事項，并申明國際法適用于網絡空間[15]。雖然北約的主要重點是保護聯盟擁有和運營的通信和信息系統，但它規定了簡化的網絡防御治理，協助盟國應對網絡攻擊，并將網絡防御納入作戰計劃，包括民事應急計劃。北約清楚地認識到，其盟國和合作伙伴受益于一個可預測和安全的網絡空間。

對北約安全的網絡威脅越來越頻繁，越來越復雜，越來越具有破壞性和脅迫性。聯盟必須準備好保衛其網絡和行動，以應對它所面臨的日益復雜的網絡威脅。因此，盟軍的理論指出，網絡防御是影響未來軍事力量平衡的六個關鍵因素之一[16]。北約的政策進一步將網絡防御的追求定格在六個關鍵目標上[17]。

• 將網絡防御的考慮納入北約的結構和規劃過程，以執行北約的集體防御和危機管理的核心任務。- 重點關注北約及其盟國的關鍵網絡資產的預防、恢復和防御。

• 發展強大的網絡防御能力，集中保護北約自己的網絡。

• 為對北約核心任務至關重要的國家網絡的網絡防御制定最低要求。

• 提供援助，以實現最低水平的網絡防御，減少國家關鍵基礎設施的脆弱性。

• 與合作伙伴、國際組織、私營部門和學術界接觸。

最近的研究闡述了這些目標是如何實現的[18]。盡管其成員負責保護自己的網絡空間部分，但北約在促進互動、保持態勢感知以及隨著危機或沖突的發展將資產從一個盟友或戰術情況轉移到另一個盟友方面發揮著關鍵作用。它進一步倡導多國部隊之間的高度互操作性，包括聯合收集、決策和執行盟國在網絡空間的行動要素[19]。2013年，北約防御規劃進程開始向其盟國分配一些集體的最低能力，以確保一個共同的基線，包括國家網絡應急小組（CERT）、加密、教育、培訓和信息共享。在網絡空間以及其他領域，北約在建立國際規范和行為準則方面發揮了不可或缺的作用，促進了對不可接受的行為、譴責、制裁和起訴的明確性。

2.2 美國視角

美國國家網絡戰略[20]宣稱有責任捍衛美國利益免受網絡攻擊，并威懾任何試圖損害國家利益的對手。它進一步確認了為實現這一目標而開發的網絡空間行動能力。美國軍事理論將網絡行動定義為一系列行動，以防止未經授權的訪問，擊敗特定的威脅，并拒絕對手的影響[21]。在本報告的背景下，有兩個關鍵功能非常突出。

• 網絡空間安全（Cybersecurity），是指在受保護的網絡空間內采取的行動，以防止未經授權訪問、利用或破壞計算機、電子通信系統和其他信息技術，包括平臺信息技術，以及其中包含的信息，以確保其可用性、完整性、認證、保密性和不可抵賴性。

• 而網絡空間防御（Cyber Defence）則是指在受保護的網絡空間內采取的行動，以擊敗已經違反或有可能違反網絡空間安全措施的特定威脅，包括檢測、定性、反擊和減輕威脅的行動，包括惡意軟件或用戶的未經授權的活動，并將系統恢復到安全配置。

盡管有區別，但網絡安全和網絡防御都需要對系統和安全控制進行廣泛的持續監測。聯合軍事理論進一步承認了整合能力的挑戰，其中包括。

• 民族國家的威脅，可以獲得其他行為者無法獲得的資源、人員或時間。一些國家可能利用網絡空間能力來攻擊或進行針對美國及其盟友的間諜活動。這些行為者包括傳統的對手；敵人；甚至可能是傳統的盟友，并可能外包給第三方，包括幌子公司、愛國的黑客或其他代理人，以實現其目標。

• 非國家威脅包括不受國家邊界約束的組織，包括合法的非政府組織（NGO）、犯罪組織和暴力極端主義組織。非國家威脅利用網絡空間籌集資金，與目標受眾和對方溝通，招募人員，計劃行動，破壞對政府的信任，進行間諜活動，并在網絡空間內直接開展恐怖行動。他們也可能被民族國家用作代理人，通過網絡空間進行攻擊或間諜活動。

• 個人或小團體的威脅是由可獲得的惡意軟件和攻擊能力促成的。這些小規模的威脅包括各種各樣的團體或個人，可以被更復雜的威脅所利用，如犯罪組織或民族國家，往往在他們不知情的情況下，對目標實施行動，同時掩蓋威脅/贊助者的身份，也創造了合理的推諉性。

• 事故和自然災害可以擾亂網絡空間的物理基礎設施。例子包括操作失誤、工業事故和自然災害。從這些事件中恢復可能會因為需要大量的外部協調和對臨時備份措施的依賴而變得復雜。

• 匿名性和歸屬性。為了啟動適當的防御反應，網絡空間威脅的歸屬對于被防御的網絡空間以外的任何行動都是至關重要的，而不是授權的自衛。

• 地域。防御性反應的累積效應可能超出最初的威脅。由于跨區域的考慮，一些防御行動被協調、整合和同步化，在遠離被支持的指揮官的地方集中執行。

• 技術挑戰。使用依賴利用目標中的技術漏洞的網絡空間能力可能會暴露其功能，并損害該能力對未來任務的有效性。這意味著，一旦被發現，這些能力將被對手廣泛使用，在某些情況下，在安全措施能夠被更新以考慮到新的威脅之前。

• 私營企業和公共基礎設施。國防部的許多關鍵功能和行動都依賴于簽約的商業資產，包括互聯網服務提供商（ISP）和全球供應鏈，國防部及其部隊對這些資產沒有直接的權力。

• 全球化。國防部的全球業務與其對網絡空間和相關技術的依賴相結合，意味著國防部經常從外國供應商那里采購任務所需的信息技術產品和服務。

• 緩解措施。國防部與國防工業基地(DIB)合作，以加強駐扎在DIB非機密網絡上或通過DIB非機密網絡的國防部項目信息的安全性。

2018年國防戰略[22]對美國軍隊在各個領域--空中、陸地、海上、太空和網絡空間--都表示嚴重關切。它進一步承認，當前的國際安全格局受到快速技術進步和戰爭性質變化的影響。為了應對這一挑戰，美國國防部確定了現代化的優先事項，其中包括人工智能/ML、自主性和網絡。網絡是一個獨特的作戰領域，對需要加強指揮、控制和態勢感知以及自主行動的軍事行動來說，具有重大挑戰和潛在的飛躍能力。

2019年聯邦網絡安全研究與發展戰略計劃[23]闡明了用人工智能（AI）模型、算法以及其他領域的人與AI互動來增強網絡安全研究與發展（R&D）的必要性。將人工智能技術納入網絡自主和半自主系統，將有助于人類分析員在自動監測、分析和應對對手攻擊方面以更快的速度和規模運作。這方面的應用包括部署智能自主代理，在日益復雜的網絡戰斗空間中檢測、響應和恢復對手的攻擊。預期成果包括預測固件、軟件和硬件中前所未有的安全漏洞；根據學習到的互動歷史和預期行為，從攻擊場景中持續學習和建模；利用通信模式、應用邏輯或授權框架，防御針對人工智能系統本身的攻擊；半/完全自主的系統減少了人類在網絡操作中的作用。

2020年，美國人工智能國家安全委員會[24]強調了人工智能技術對經濟、國家安全和人類福祉的潛在影響。它指出，美國的軍事對手正在整合人工智能概念和平臺，以挑戰美國幾十年來的技術優勢。人工智能加深了網絡攻擊和虛假信息運動帶來的威脅，我們的對手可以利用這些威脅來滲透社會，竊取數據，并干擾民主。它明確宣稱，美國政府應該利用人工智能的網絡防御措施，以防止人工智能的網絡攻擊，盡管它們本身并不能保衛本質上脆弱的數字基礎設施。

2.3 網絡戰爭事件的簡史

根據北約合作網絡防御卓越中心的數據，至少有83個國家已經起草了國家網絡安全戰略[25]。此外，所有30個北約成員國都發布了一份或多份治理文件，反映了保衛網絡環境的戰略重要性。這種堅定的姿態源于過去20年里發生的越來越普遍和有影響的網絡攻擊。在本節中，我們研究了影響北約盟國的高調入侵的簡短歷史，培養了當前的氣氛，并強調了對更好的網絡保護、威懾、檢測和反應技術的需求。

2003年，一系列協調攻擊破壞了美國的計算機系統。這些攻擊被美國政府命名為 "泰坦雨"，持續了三年，導致政府機構、國家實驗室和美國國防承包商的非機密信息被盜。隨后的公開指控和否認，源于準確檢測和歸因于網絡攻擊的困難，成為網絡空間中新出現的國際不信任的特征。

2007年，愛沙尼亞成為一場持續二十二天的政治性網絡攻擊活動的受害者。分布式拒絕服務攻擊導致許多商業和政府服務器的服務暫時下降和喪失。大多數的攻擊是針對非關鍵性服務，即公共網站和電子郵件。然而，有一小部分集中在更重要的目標，如網上銀行和域名系統（DNS）。這些攻擊引發了一些軍事組織重新考慮網絡安全對現代軍事理論的重要性，并導致了北約合作網絡防御卓越中心（CCDCOE）的建立，該中心在愛沙尼亞的塔林運作。

2008年，一系列的網絡攻擊使格魯吉亞組織的網站失效。這些攻擊是在一場槍戰開始前三周發起的，被認為是一次與主要作戰行動同步的協調的網絡空間攻擊。

2015年，俄羅斯計算機黑客將目標鎖定在屬于美國民主黨全國委員會的系統上。這次攻擊導致了數據泄露，被確定為間諜行為。除了強調需要加強網絡復原力外，對這一事件的反應突出了采取行動打擊虛假信息和宣傳行動的必要性。

2017年，WannaCry勒索軟件感染了150個國家的20多萬臺電腦。這種不分青紅皂白的攻擊，由利用微軟視窗操作系統漏洞的勒索軟件促成，鎖定數據并要求以比特幣支付。在幸運地發現了一個殺毒開關后，該惡意軟件被阻止了，但在它導致工廠停止運營和醫院轉移病人之前。

2018年，挪威軍方和盟國官員證實，俄羅斯在歐洲高北地區舉行的三叉戟接點演習中，持續干擾GPS信號，擾亂了北約的演習[26]。"使用天基系統并將其拒絕給對手的能力是現代戰爭的核心"[27]。在過去幾十年里，軍事行動對天基資產的依賴性越來越大，天基資產越來越成為網絡攻擊的理想目標。俄羅斯等國都將電子戰、網絡攻擊和電磁戰斗空間內的優勢作為在未來任務中取得勝利的戰略的一部分。這些國家的現有理論突出了一個重點，即防止對手的衛星通信系統影響其作戰效率。衛星依賴于網絡技術，包括軟件、硬件和其他數字組件。空間系統對于在空中、陸地、海上、甚至網絡領域進行的行動中提供數據和服務是至關重要的。對衛星控制系統或帶寬的威脅對國家資產和目標構成了直接挑戰，并促進了對緩解措施的需求，以實現這些系統的彈性。

2020年，來自亞美尼亞和阿塞拜疆的黑客在納加諾-卡拉巴赫戰爭期間以網站為目標。錯誤信息和舊事件的視頻被當作與戰爭有關的新的和不同的事件來分享。新的社交媒體賬戶創建后，關于亞美尼亞和阿塞拜疆的帖子激增，其中許多來自真實用戶，但也發現了許多不真實的賬戶。這一事件強調了社會網絡安全作為一個新興研究領域的出現[28]。

2020年，一場重大的網絡攻擊通過破壞流行的網絡監控工具Solarwinds的軟件供應鏈滲透到全球數千家機構。據報道，由于目標的敏感性和高知名度，以及黑客進入的時間之長，隨后發生的破壞程度是美國所遭受的最嚴重的網絡間諜事件之一。在被發現的幾天內，全世界至少有200個組織被報告受到了攻擊。

2.4 網絡空間的大趨勢

越來越多的趨勢是網絡空間發展的特點。網絡技術在我們生活的各個方面發揮著越來越大的作用。這一趨勢也延伸到了軍事沖突。對網絡技術的日益依賴將帶來新的脆弱性，并侵蝕傳統網絡防御的界限。隨著基礎技術組件和界面的成熟，網絡空間和其他領域，包括關鍵基礎設施、軍事武器系統和綜合生物、物理和量子系統之間的交叉將越來越重要。在本節中，我們確定了將影響網絡空間演變的技術和非技術趨勢，以及ML在其防御應用中的基本效用。

2.4.1 技術趨勢

硬件、軟件和協議的可編程性和復雜性日益增加。可編程性的增加帶來了快速的開發和交付窗口，但每一個新的代碼庫都會進一步引入新的漏洞。復雜性的增加導致了未使用的代碼路徑，即軟件臃腫，從而維持了不良的攻擊路徑。第三方和開源硬件和軟件的存在越來越多，這使得快速的原型設計成為可能，但也容易受到不透明的供應鏈和來源損失的影響。

自主性的應用和加速的決策循環是網絡沖突的方向和速度的特征。人類將在機器智能中依賴大數據、增加的計算能力和新型計算算法的匯合。日益增長的網絡速度需要更多地依賴預防妥協、復原力以及與人類專家的最佳人機合作。同時，網絡空間越來越不可信，新興的安全架構規定，需要根據資產和信息對任務背景的重要性來保護它們[29]。

網絡空間的應用范圍越來越多樣化。隨著邊緣設備保持通電和可訪問性，以及低尺寸、低重量和電源設備連接的應用增長，無處不在的連接將增加軍事上對網絡空間的依賴。與網絡物理系統（即物聯網）一樣，新興的生物、物理和量子應用將需要與網絡空間的新接口。這些接口將為網絡防御創造新的機會和挑戰，如儀器和傳感、側信道攻擊和形式驗證。

機器學習（ML）將繼續發展其與網絡空間技術和網絡防御應用的多層面關系。一方面，ML可以增強幾乎所有的網絡技術及其應用（即微電子、網絡、計算架構等的設計、開發和測試）。另一方面，網絡技術的進步（如張量處理單元、量子計算機）可以增強ML能力。鑒于在大量數據中進行模式識別的基本挑戰，ML可以大大改善網絡空間的能力和彈性。

2.4.2 非技術趨勢

互聯網用戶的數量囊括了世界一半以上的人口[30]。盡管有跡象表明，由智能手機出貨量下降和2020年全球大流行引起的近期增長放緩，但創新繼續推動產品改進。收集的數字數據的迅速崛起是那些增長最快的公司成功的關鍵，通常是通過數據挖掘和豐富的上下文增強，幫助個性化的產品和服務。這導致了對濫用數據、用戶隱私和準備推動市場變化或監管的問題內容的擔憂。隨著數字系統變得越來越復雜，數據越來越豐富，任務也越來越重要，利用的機會和意愿也越來越大。越來越多地，新興技術的網絡安全影響被納入國際外交和國防考慮。最近的例子包括脆弱性平等進程[31]、網絡空間信任與安全巴黎呼吁[32]和算法權利法案[33]。

戰略性的全球需求信號，包括氣候變化和資源短缺，可能會產生新的領土野心和聯盟，導致政治格局急劇變化。例如，由天基太陽能技術產生的電力可能被傳送到地面，這就需要新的關鍵基礎設施和網絡空間的全球存在點。同樣，由自然資源短缺引起的人口變化可能會改變政治和國家安全格局。這些變化將引入新的關鍵基礎設施，并對網絡空間產生依賴性。

軍事行動已經嚴重依賴網絡空間。這種依賴性是一個可以被利用來獲得不對稱優勢的弱點[34]。數字地形的丟失、退化、損壞、未經授權的訪問或利用為對手提供了巨大的優勢，并對軍事目標構成了威脅。近鄰的行為者將繼續試圖破壞網絡空間或反擊進攻性網絡行動。進攻性網絡能力的民主化和擴散將進一步為非近鄰的競爭對手提供具體的優勢。越來越多地，一個國家的能力和影響力可以通過其將消費電子產品武器化的能力來衡量，特別是當這些商業開發的系統將成為軍事應用的基礎。因此，網絡攻擊的范圍、頻率和影響都將增長。

同時，全球化將促使對軍事行動的標準和責任的審查增加。政治和公眾對問責制的要求將因戰爭的日益不透明而受到挑戰。例如，在物理領域開展的威懾行動需要精心策劃的敘述和信息傳遞，與24小時的新聞周期保持一致。然而，進攻性的網絡行動準備實現更加隱蔽的效果，不容易被觀察到或歸因。網絡戰工具已將網絡空間轉化為一個灰色地帶的戰場，在這里，沖突低于公開的戰爭門檻，但高于和平時期。

作戰將越來越多地將網絡與傳統領域（如陸地、海洋、空中、太空）結合起來。戰爭學說、國際條約和一般法律將隨著力量平衡、現有技術和區域沖突的變化而反應性地發展。進攻性網絡工具的民主化將對抗動能領域作戰的傳統優勢。前所未有的連通性和日益增長的民族主義將推動網絡空間繼續被用于不對稱的優勢。世界范圍內的社會動蕩所助長的虛假信息和影響運動將可能蔓延到網絡空間。盡量減少外部影響、執行數據隱私和管理數字內容的愿望增強，可能會推動互聯網的巴爾干化。

這在俄羅斯宣布將其國家部分從全球互聯網中關閉并成為 "數字主權"，同時在網絡空間中追求決定性的軍事優勢中已經得到證明。在這個目標中，包括為人工智能系統建立信息安全標準。這樣的新技術應用很可能會影響俄羅斯選擇的實現其目標的方式。例如，Kukkola等人[35]斷言，人工智能可能為俄羅斯提供一個機會，以靈活的方式定義其數字邊界，反映普遍的意見和忠誠度，而不是地理位置。俄羅斯領導層進一步斷言，領導人工智能的國家將是 "世界的統治者"，表明這種進步將是變革性的，其影響尚未被完全理解。

第4章 深度機器學習在網絡防御中的應用

傳統的網絡安全和網絡防御方法依賴于人工數據分析來支持風險管理活動和決策。盡管這些活動的某些方面可以自動化，但由于其簡單性和對問題領域的有限理解，自動化往往是不足的。在這一章中，我們將調查DML應用的文獻，這些應用可以幫助信息安全的持續監控，用于美國國家標準研究所定義的一組安全自動化領域[1]。我們這樣做是為了對最先進的研究現狀、實際實施、開放的挑戰和未來的愿景建立一個結構化的理解。通過這些見解，我們指出了DML在整個網絡安全領域應用的一系列挑戰，并總結了我們的發現。

在不同的安全自動化領域中，我們已經確定了主題和建議未來研究的領域。其中一個反復出現的主題似乎是缺乏實際的實現，也就是說，缺乏高技術準備水平（TRL）。我們懷疑這可能是由于許多不同的原因，例如，未滿足性能預期、數據不足、不合格的深度學習架構、對促進可擴展的DML應用的通用數據存儲和分析解決方案缺乏共識，或研究的初級階段。通過我們的初步調查，我們強調了未來的研究方向和/或阻礙每個安全自動化領域的進一步進展的問題。

• 惡意軟件檢測。DML應用需要處理惡意軟件如何隨著時間的推移改變其統計屬性，例如，由于對抗性方法（概念漂移）。還有一個問題是關于數據共享，以適應不太可能被釋放到野外的高級惡意軟件，以及一般的數據訪問。此外，還需要研究如何定義能夠代表軟件的新特征，以便進行檢測和歸屬。

• 事件管理。DML與現有安全控制的整合不足，限制了DML應用的開發程度。在操作化、管理和例行程序方面，以促進標記數據的收集和深度學習模型的開發。

• 信息管理。DLP系統可以與網絡和終端系統緊密相連，需要對系統有一個深刻而廣泛的了解。在當前的IT安全趨勢下，加強數據保密性，這樣的系統正面臨著數據可訪問性的降低。這絕不是這個領域特有的問題，但卻使DML應用的開發變得復雜。因此，研究機會是存在的，例如，通過與底層操作系統更深入的整合來恢復數據的可訪問性。然而，也有一些課題需要研究描述任何給定數據是否包含敏感信息的條件，以及相同數據的變化如何被識別，而不考慮例如編碼方案。以及當所需的數據在沒有額外分析的情況下無法直接獲得時，如何表示模糊或開放的規則并驗證其合規性。

• 脆弱性管理。缺乏共識和對公共和足夠大的數據集的訪問，已經被認為是漏洞發現領域的一個挑戰。然而，有一些嘗試可以減少這種依賴性，通過部署預先訓練好的語言模型，例如，對軟件掃描進行模糊測試，以檢測漏洞并協助修補漏洞。我們預見了兩個可以進一步研究的方向：改進深度學習架構或改進數據集及其特征表示。

• 軟件保證。盡管支持DML應用的技術存在于相關領域，如惡意軟件檢測和漏洞管理。我們還沒有發現在這個領域內研究問題的努力，但當多個DML應用能夠協同工作時，我們期待這種發展。

• 資產管理。隨著即將到來的資產新浪潮，被稱為 "工業4.0"。其中包括制造業的自動化和數據交換的趨勢，以及移動設備、物聯網平臺、定位設備技術、3D打印、智能傳感器、增強現實、可穿戴計算和聯網的機器人和機器。我們認為，DML的應用可以并將有助于這種未來資產管理的某些方面，然而，哪些方面仍然是一個開放的研究問題，開放的文獻表明，需要探索行業特定的使用案例。

• 許可證管理。考慮到軟件資產管理（SAM）考慮到許可問題，這里也適用與資產管理相同的未來研究方向。- 網絡管理。移動目標防御（MTD）是一個新興的研究領域，將大大受益于人工智能驅動的方法。

• 配置管理。我們希望與MTD研究相關的技術可以使配置管理能力受益。

• 補丁管理。我們已經確定了解決某些問題的研究，如：以風險意識的方式動態調度補丁，自動漏洞修復分析，以及在軟件補丁尚未可用的情況下定位漏洞緩解信息。然而，沒有人試圖將這些納入一個單一的模型，從而創建一個完整的管道。這可能是未來研究中需要探索的一個領域。

最后，我們沒有發現任何證據表明，任何安全領域在DML應用方面的研究都已經完成。所有的領域都有尚未探索的研究領域，這些領域在未來可以并且有望經歷重大的研究。

4.1 惡意軟件檢測

惡意軟件是指在所有者不知情或不同意的情況下，故意設計成滲入、修改或破壞計算機系統的任何惡意軟件。惡意軟件具有多種形式的數字內容，包括可執行代碼、腳本和嵌入互動文件中的活動對象。下面列舉了常見的惡意軟件類型及其特點。

• 利用漏洞。
• 廣告軟件劫持瀏覽以獲取經濟利益。
• 間諜軟件竊取敏感信息。
• 贖金軟件為勒索而加密文件。
• 木馬病毒偽裝成良性軟件。
• Rootkits提供持久的、隱蔽的特權訪問。
• 病毒在其他計算機程序上自我復制。
• 蠕蟲在其他計算機上復制自己。
• 機器人遠程執行命令。
• 后門提供非法訪問。
• 密碼劫持者開采加密貨幣。
• 下載器下載和安裝更多不需要的軟件。
• 恐嚇軟件誘使用戶安裝不必要的軟件。

安全分析師和惡意軟件開發者之間的斗爭是一場持續的戰斗。最早記錄在案的病毒出現在1970年代。今天，惡意軟件的復雜性變化很快，利用不斷增加的創新。最近的研究強調了惡意軟件在促進網絡安全漏洞方面的作用，注意到惡意軟件的趨勢是以經濟利益為動機的目標有效載荷，并提供證據斷言互聯網連接設備的擴散將促進惡意軟件交易[2]，[3]。

惡意軟件檢測是指識別終端設備上是否存在惡意軟件，以及區分特定程序是否表現出惡意或良性特征的過程。傳統的基于簽名的方法來識別和描述惡意軟件越來越不利，因為微不足道的改變使惡意軟件可以逃避普通的檢測方法[4], [5]。基于簽名的方法本質上是基于正則表達式的模式匹配，從觀察到的惡意軟件的經驗知識中獲得。從已知的惡意軟件樣本中提取的獨特字節串建立了一個簽名數據庫，通常由終端保護供應商的訂閱服務提供。當反惡意軟件程序收到要測試的文件時，它將文件的字節內容與數據庫中的簽名進行比較。只要惡意軟件不采用規避措施，這種方法是有效的，而且計算效率高（即類型1錯誤低）。然而，隨著簽名的數量和采用棘手的規避措施的增加，模式匹配的計算成本變得很高，而且越來越無效。啟發式方法在一定程度上通過規則解決了這一挑戰，但同時也增加了假陽性率。簽名和啟發式方法的脆弱性是一個長期公認的問題，它促進了對替代和補充技術的研究。

這些補充技術通常是一個艱巨的過程，需要詳盡地結合軟件逆向工程、源代碼調試、運行時執行分析以及網絡和內存取證。靜態分析技術可以識別表面特征，如加密哈希值、大小、類型、標題、嵌入內容和軟件打包器的存在。靜態分析工具包括源代碼和字節碼分析器、數字簽名驗證工具和配置檢查器。動態分析技術可以識別運行時的特征，如對文件系統、操作系統、進程列表、互斥因子和網絡接觸點的改變。動態技術需要大量的專業工具，包括解包器、調試器、反匯編器、解碼器、模糊器和沙箱，通過這些工具可以安全地執行、檢測和觀察可疑文件的行為。許多擁有強大信息安全計劃的軍事組織采用了一種混合方法，通過一系列的技術和工具對可疑的未知文件進行分流和檢查[6]。

盡管采取了全面的方法，但許多工具都有局限性，沒有一種技術可以自信地保證軟件的出處和衛生。例如，軟件打包器的存在和其他混淆文件內容的伎倆阻礙了靜態分析方法。同樣地，通過沙盒進行動態分析的實施成本很高，往往缺乏取證的可追溯性，而且很容易被虛擬的殺戮開關所顛覆，這些開關會對執行環境進行檢測。惡意軟件發現的ML應用可以追溯到20年前。早期的方法依賴于特征向量，如ASCII字符串、指令、n-grams、頭域、熵和動態鏈接庫的導入，這些都是從可執行文件中提取的。這些方法產生了不同的結果。雖然提供了巨大成功的跡象和顯著的準確性，但它們最終缺乏可擴展性，未能跟上不斷變化的威脅，因此必須繼續使用傳統的、精確的簽名。惡意軟件創建和發現的對抗性確保了對手一旦意識到用于識別其代碼的特征就會采用新技術。因此，由于缺乏暗示惡意的明顯或自然特征，這些技術被證明具有局限性。

4.2 事件管理

事件管理包括監測工具和技術，并在必要時對網絡或系統中觀察到的事件作出反應。如果這些事件表明存在惡意或有問題的活動，則可稱為 "警報 "或 "警告"。它們通常被記錄在記錄一個組織的周邊事件的日志中。有大量的工具可以被認為是這個領域的一部分，但我們特別考慮兩個。安全信息和事件管理（SIEM）系統和入侵檢測系統（IDS）。前者致力于通過聚集來自多個安全控制的日志來實現分析。后者部署在戰略位置，分析本地系統或網絡的日志。

4.3 信息管理

數據的分類是軍事領域的一個標準要求。傳統上，紙質文件被標記為 "非機密 "或 "機密 "等標簽，用戶必須遵循嚴格的規定以確保所需的保密性。這種基于紙張的系統的一個特性是文件和其分類之間的直接聯系，因為它是文件的一部分。文件分類的元信息不能與文件本身分開。這在數字環境中不能以同樣的方式實現，因為通常很容易將分類數據與其元數據分開，從而將其分類分開。一些系統試圖保證這種不可分割的聯系。然而，它們只限于邊緣情況。在實踐中，數據被儲存在無數的系統中，被轉移、改變、轉換，并使用難以計數的格式。一些例子是。

• 以PDF、Office Open XML或純文本等辦公格式存儲的文本文件。

• 以簡單格式存儲的圖像，如BMP（位圖圖像文件格式）或JPEG；以及

• 以WAVE或MP3格式存儲的音頻數據。

這些格式中有些提供受保護的元數據，有些則是除了信息之外沒有任何東西的普通格式。

本節重點討論一種通常被稱為數據丟失預防/數據泄漏預防（DLP）的一般方法，它可以處理任意數據。這樣的DLP系統會分析應用于數據的用戶行為（例如，通過電子郵件發送文件或打印文件）是否被給定的規則集所允許。元數據，如分類，可以緩解這一過程，但（在理論上）不是必需的。我們可以把這樣的DLP形式化為一個決策任務，我們要決定一個給定的行動a是否可以按照規則r應用于一個文件d。在白名單方法中，我們把對數據的操作限制在允許的規則中。其他的都是禁止的。黑名單方法則與此相反。除非明確禁止，否則一切都被允許。這兩種方法在網絡安全中都很常見。

我們可以區分兩個主要的系統設計。端點解決方案的工作方式類似于防病毒（AV）。它們監測特定設備上的活動。端點解決方案可以在訪問時以未加密的形式訪問數據（也稱為 "使用中的數據"）或主動搜索系統中的數據（也稱為 "靜態數據"），這樣，主要的挑戰是對給定的數據進行分類并應用政策，例如，阻止分類文件被打印或通過不安全的渠道或不受信任的目的地傳輸。網絡解決方案監測數據交換，也被稱為 "運動中的數據"。因此，它們不能在特定的主機上執行規則，而是限制信息交流。網絡解決方案面臨的一個共同問題是，越來越多的網絡流量被端對端加密，因此監測系統無法讀取。介于上述兩種解決方案之間的第三類是基于云的解決方案，其中DLP是對存儲在基于云的系統中的數據進行強制執行。基于云的解決方案似乎非常特別，但它們與端點解決方案相似，因為它們可以在其云中的 "本地 "數據上操作，并與網絡解決方案相似，因為它們可以監測流量。然而，終端可能會在云中存儲加密的數據，這樣云系統可能會受到對未加密數據的較少訪問。

DLP系統面臨以下挑戰：

1）數據獲取。DLP必須訪問數據本身，以分析是否允許某個行動。這對基于網絡的解決方案來說變得越來越復雜。

2. 分析數據。DLP系統必須 "理解 "并對內容進行分類。這意味著，他們必須支持廣泛的不同文件類型。

3. 表示規則。規則是決定是否可以對給定的數據采取某種行動所必需的。對于一些規則，如 "不允許轉移標記為機密的文件"，規則的表示是直接的。然而，"模糊 "規則要難得多。例如，"不允許轉讓軍事地點的圖片"，因為沒有明確的定義，一張圖片是否包含軍事地點。

DML可以應用于所有挑戰，但分析數據是最明顯的挑戰，將在 "當前研究 "中簡要討論。

4.4 漏洞管理

美國家安全系統委員會（CNSS）詞匯表第4009號將漏洞定義為信息系統、系統安全程序、內部控制或實施中的弱點，可被威脅源利用或觸發[41]。軟件漏洞是指在軟件代碼中發現的可被攻擊者利用的安全缺陷、小故障或弱點[42]。

漏洞管理是識別、分類、補救和緩解漏洞的循環做法[43]。美國國家標準與技術研究所（NIST）將漏洞管理能力定義為一種信息安全持續監控（ISCM）能力，它可以識別設備上的漏洞，這些漏洞很可能被攻擊者用來破壞設備，并將其作為一個平臺，將破壞延伸到網絡上[44]。漏洞管理的目的是確保軟件和固件漏洞被識別和修補，以防止攻擊者破壞一個系統或設備，而這又可能被用來破壞其他系統或設備。

4.5 軟件保障

美國家安全系統委員會[59]將軟件保證定義為：軟件按預期功能運行，并且在整個生命周期內沒有故意或無意設計或插入的漏洞的信心水平[59]。NASA技術標準8739.8A中的定義使用了類似的措辭[60]。

軟件保證領域與其他領域相聯系，特別是與漏洞管理領域相聯系，涉及到漏洞掃描和發現，但也涉及到惡意軟件檢測。

4.6 資產管理

網絡安全的最佳實踐需要對構成信息環境的數字資產進行說明[1], [64], [65]。資產管理是指組織維護硬件、軟件和信息資源清單的做法，長期以來被認為是強大的網絡安全態勢的一個組成部分[66]。雖然傳統上是通過配置管理、網絡管理和許可管理的一些工具組合來完成的，但云計算和面向服務的技術的擴散已經導致了更新的解決方案。例如，信息技術資產管理（ITAM）、信息技術服務管理（ITSM）和軟件資產管理（SAM）工具，提供了對技術投資的商業價值核算和最大化的洞察力[67], [68]。

這些解決方案的需求和效用可以通過其需求來描述。獨立評估顯示，ITAM、ITSM和SAM工具的全球市場價值每年在10億至50億美元之間，并列舉了二十多家提供軟件工具或管理服務的技術供應商[69], [70], [71]。這些解決方案對設備、軟件，或者在云服務的情況下，對云服務提供商的接口進行檢測。他們進一步提供工作流程，將資產分配給業務角色和功能。盡管可用的儀器和工作流程功能具有可擴展性，但這些工具的共同特點是能夠感知、查詢和解釋它們所監測的資產的本地數據。更明顯的是，它們作為一種手段，支持最終由人類強加的手工業務流程。

正是通過這一視角，深度學習對資產管理的破壞可以得到最好的實現。現有的工具為監督業務功能的操作員提供信息。雖然它們的實施和有效使用可以幫助減輕安全風險，但它們要求其操作者指定一套配置參數。例如，SAM工具要求其操作者配置如何解釋軟件許可條款和產品使用權。這些工具通過商業智能儀表盤和工作流程建議提供了一定程度的自動化，但由于需要調整，這可能會增加整個解決方案的復雜性，這與直覺相反。

4.7 許可證管理

許可證管理工具可以控制軟件產品的運行地點和方式。它們在代碼中捕獲許可協議條款，自動收集軟件使用情況，并計算出成本影響，幫助優化軟件支出。當被軟件供應商采用并集成到他們的產品中時，它們有助于遏制軟件盜版，并提供量身定制的許可功能（例如，產品激活、試用許可、訂閱許可、浮動許可）。當被最終用戶組織采用時，它們有助于遵守軟件許可協議。許可證管理功能經常出現在SAM工具中。

4.8 網絡管理

網絡管理工具包括主機發現、庫存、變更控制、性能監控和其他設備管理功能。網絡管理工具通常與資產和配置管理工具的能力相重疊，并增加了便于設備監控和配置的功能。網絡管理同樣包括組織邊界內的那些系統，但為了管理云服務，可能會超出其傳統的范圍。事實上，軟件、網絡和虛擬化技術的爆炸性增長和采用已經推動了多個市場提供一系列屬于網絡管理的工具。

• 客戶端管理工具使終端管理任務自動化，包括操作系統和軟件部署、庫存、分發、補丁管理和配置管理。
• 云訪問安全經紀商和云工作負載保護平臺為駐留在云環境中的數據和工作流提供可見性和執行力。
• 云管理平臺提供對公共、私人、混合和多云資源和部署的管理。
• 持續配置自動化工具能夠描述配置狀態、定制設置、軟件和報告。
• 超融合或集成基礎設施工具提供集中的功能來管理虛擬計算、存儲和網絡系統。
• 網絡防火墻、網絡應用防火墻和安全網絡網關提供關鍵的網絡安全控制，以檢查和過濾網絡流量。
• 網絡訪問控制工具實施策略，以控制終端和設備對基礎設施的訪問，并基于身份、位置或配置。
• 網絡自動化和協調工具可以自動維護端點設備的配置。
• 網絡性能監控和診斷工具提供歷史和現場視圖，以了解網絡的可用性和性能以及在其上運行的應用流量。
• 軟件定義網絡（SDN）工具提供網絡設備和資源的程序化配置。
• 廣域網（WAN）優化工具監測在廣域網上運行的應用程序的性能，以及這些應用程序帶來的服務費用。
• 統一端點管理工具提供配置、管理或監控不同設備的機制。

4.9 配置管理

配置管理工具允許管理員配置設置，監控設置的變化，收集設置狀態，并根據需要恢復設置。配置管理跟蹤提供服務的組件之間的關系，而不是資產或網絡本身。管理信息系統和網絡組件之間發現的配置是一項艱巨的任務。系統配置掃描工具提供了一種自動化的能力來審計目標系統，并評估與安全基線配置的一致性。身份和賬戶配置管理工具使一個組織能夠管理身份憑證、訪問控制、授權和權限。身份管理系統還可以實現和監控基于身份憑證的物理訪問控制。軟件配置管理工具跟蹤和控制源代碼和軟件構建之間的變化。與其他安全自動化領域類似，深度學習的應用趨勢表明，正在從人類管理軟件系統向計算機管理軟件系統本身轉變。

4.10 補丁管理

補丁管理是指識別、定位和應用補丁到一套管理的軟件的過程，通常是在一個企業環境中。補丁通常以安全為導向，旨在修復軟件或固件的漏洞。由于新的軟件漏洞不斷被發現，補丁管理可能會成為一項困難和艱巨的任務，特別是對于擁有數百臺主機和復雜的軟件庫存的組織。因此，一個強大的補丁管理過程是必要的，以保持一個組織免受惡意活動的傷害。補丁管理因各種挑戰而變得復雜。首先，一個組織必須考慮一個修補機制，以確保眾多主機的安全，包括在家工作的設備、非標準設備、移動設備、以及具有各種操作系統和虛擬設備的設備。此外，補丁可以使用幾種不同的機制來交付，如手動安裝補丁、指導軟件自行打補丁、自動、計劃更新或補丁管理工具（第三方工具或操作系統提供的工具）。由于它既是一個耗時的過程，又對安全至關重要，任何自動化補丁管理的方法都將是非常有益的。

第5章 深度學習面臨的挑戰

5.1 對抗攻擊

(本節中使用的分類法和術語是根據NIST報告[1]，并從Shafee和Awaad的論文[2]中稍作擴展而采用的)。

機器學習的數據驅動方法在ML操作的訓練和測試（推理）階段帶來了一些漏洞。這些漏洞包括對手操縱訓練數據的可能性，以及對手利用模型對性能產生不利影響的可能性。有一個研究領域被稱為對抗性機器學習（AML），它關注的是能夠經受住安全挑戰的ML算法的設計，對攻擊者能力的研究，以及對攻擊后果的理解。AML也對針對深度學習模型的攻擊感興趣。

ML管道中的各個階段定義了這些對抗性攻擊的目標，如輸入傳感器或輸出行動的物理域，用于預處理的數字表示，以及ML模型。AML的大多數研究都集中在ML模型上，特別是監督學習系統。

用于對先前所述目標進行攻擊的對抗性技術可能適用于ML操作的訓練或測試（推理）階段。

5.2 可解釋的人工智能

人工智能（AI）已經被使用了很多次，因為它們在學習解決日益復雜的計算任務時具有前所未有的性能。由于它也被普遍用于影響人類生活的決策，如醫學、法律或國防，因此需要解釋或說明為什么這種人工智能系統會得出這樣的結論。

傳統的模型，如決策樹、線性和邏輯回歸，通過對特征權重的分析，允許一定程度的可解釋性；而深度神經網絡是不透明的，仍然是一個黑盒子。此外，如圖5-1所示，機器學習算法的性能與解釋訓練過的模型的難易程度之間似乎存在一種反比關系。

2017年，DARPA啟動了可解釋人工智能（XAI）計劃，以解決數據分析（針對情報分析員）以及未來利用強化學習的自主系統的可解釋性問題。在DARPA的報告中，提出了一套創建這種ML技術的方案，在保持高水平的學習性能（如預測精度）的同時，產生更多的可解釋模型，并使人類能夠理解、信任和管理新興的人工智能系統[13]。

文獻對可通過設計解釋的模型和可通過外部技術解釋的模型進行了區分。DL模型不能通過設計來解釋；因此，研究集中在外部XAI技術和混合方法上。Arrieta等人解釋了適用于不同類型的DL模型的技術和混合方法的所有細節。此外，他們解決了一些關于可解釋性和準確性之間的權衡、解釋的客觀性和不明確性以及傳達需要非技術專長的解釋的問題[14]。

5.3 超參數調優

超參數是控制學習過程行為的屬性，它們應該在訓練模型之前配置好，而不是在訓練過程中學習的模型參數，例如權重和偏差。它們很重要，因為它們會對正在訓練的模型的性能產生重大影響。

5.4 互操作性挑戰

語法（框架）的互操作性。2017年，Open Neural Network eXchange（ONNX）格式被創建為社區驅動的開源標準，用于表示深度學習和傳統機器學習模型。ONNX協助克服了人工智能模型中的硬件依賴問題，并允許將相同的人工智能模型部署到多個HW加速目標。許多框架的模型，如TensorFlow、PyTorch、MATLAB等，都可以導出或轉換為標準的ONNX格式。然后，ONNX格式的模型可以在各種平臺和設備上運行（圖5-2）。

語義互操作性。當數據來自于含義不相同的混合來源時，就不可能了解趨勢、預測或異常情況。語義互用性是指計算機系統交換具有明確意義的信息的能力。為此，無論數據是從單一來源還是異質來源匯總而來，都需要高質量的人類注釋數據集來準確地訓練機器學習模型。

實現語義互操作性的最佳實踐之一是使用原型。原型是一種數據格式規范，它應該盡可能地提供最可用的完整細節。它提供了數據的共享意義。人工智能系統的語義互操作性要求原型是高質量的、基于證據的、結構化的，并由領域專家設計[20]。

5.5 數據相關性

與傳統的機器學習方法相比，深度學習在很大程度上依賴于大量的訓練數據，因為它需要大量的數據來理解數據的潛在模式。然而，在某些領域，訓練數據不足是不可避免的。數據收集是復雜而昂貴的，這使得建立一個大規模、高質量的注釋數據集變得異常困難。轉移學習是一個重要的工具，可以用來解決訓練數據不足的問題。它試圖將知識從源域（訓練數據）轉移到目標域（測試數據），方法是放寬訓練數據和測試數據必須是獨立和相同分布的假設，即樣本是相互獨立的，并且來自相同的概率分布。這樣一來，目標域的模型就不需要從頭開始訓練。

深度遷移學習研究如何通過深度神經網絡有效地遷移知識。根據使用的技術，Tan等人[21]將深度遷移學習分為四類：基于實例、基于映射、基于網絡和基于對抗。

1）基于實例的深度遷移學習。源域中與目標域不同的實例被過濾掉并重新加權，以形成接近目標域的分布。用源域中重新加權的實例和目標域中的原生實例來訓練模型。

2）基于映射的深度遷移學習。來自源域和目標域的實例被映射到一個新的數據空間。然后，新數據空間中的所有實例被用作訓練集。

3）基于網絡的深度遷移學習。一般來說，網絡中最后一個全連接層之前的各層被視為特征提取器，最后一個全連接層被視為分類器/標簽預測器。網絡在源域用大規模訓練數據集進行訓練。然后，預訓練網絡的結構和特征提取器的權重將被轉移到將在目標領域使用的網絡中。

4）基于對抗的深度遷移學習。這組技術的靈感來自生成對抗網（GAN）（圖5-3）。一個被稱為領域分類器的額外鑒別器網絡從源領域和目標領域提取特征，并試圖鑒別特征的來源。所有的源和目標數據都被送入特征提取器。特征提取器的目的是欺騙域分類器，同時滿足分類器的要求。

5.6 數據質量

有了低質量的數據，無論機器學習和/或深度學習模型有多強，它都無法做到預期的效果。影響數據質量的過程分為三組：將數據帶入數據庫的過程，在數據庫內操作數據的過程，以及導致準確的數據隨著時間的推移而變得不準確的過程。關于降低數據質量的過程的細節可以在參考文獻中找到。[22].

在使用、導入或以其他方式處理數據之前，確保其準確性和一致性的過程，被稱為數據驗證。現在，數據存儲在不同的地方，包括關系型數據庫和分布式文件系統，并且有多種格式。這些數據源中有許多缺乏準確性約束和數據質量檢查。此外，今天的大多數ML模型定期使用新的可用數據進行重新訓練，以保持性能并跟上現實世界數據的變化。因此，由于任何參與數據處理的團隊和系統都必須以某種方式處理數據驗證，這就成為一項繁瑣和重復的任務。對數據驗證自動化的需求正與日俱增。

一種方法是由Amazon Research提出的單元測試方法[23]。該系統為用戶提供了一個聲明性的API，允許用戶對他們的數據集指定約束和檢查。當驗證失敗時，這些檢查在執行時產生錯誤或警告。有一些預定義的約束供用戶使用，用于檢查數據的完整性、一致性和統計量等方面。在約束條件被定義后，系統將它們轉化為實際的可計算的度量。然后，系統計算指標并評估結果，隨后，報告哪些約束成功了，哪些失敗了，包括哪個指標的約束失敗了，哪個值導致失敗。由于新的數據不斷涌現，該方法采用了遞歸計算方法，只考慮自上一個時間步驟以來的新數據，以增量方式更新度量。此外，該系統自動為數據集提出約束條件。這是通過應用啟發式方法和機器學習模型實現的。

另一種方法是基于數據模式的方法，由谷歌研究院提出[24]。對正確數據的要求被編入數據模式中。所提議的系統采取攝取的數據，通過數據驗證，并將數據發送到訓練算法中。數據驗證系統由三個主要部分組成。一個數據分析器，計算預先定義的足以用于數據驗證的數據統計數據；一個數據驗證器，檢查通過模式指定的數據屬性；以及一個模型單元測試器，使用通過模式生成的合成數據檢查訓練代碼中的錯誤。該系統可以檢測單批數據中的異常情況（單批驗證），檢測訓練數據和服務數據之間或連續幾批訓練數據之間的顯著變化（批間驗證），并發現訓練代碼中未反映在數據中的假設（模型測試）。

5.7 上下文感知

盡管深度學習通過使用神經網絡中的多層來逐步分解特征以識別某些特征，但它對數據來源的背景理解較淺，其中背景提供了使某一事件產生的環境或元素，并能為其解釋傳達有用的信息。因此，一個模型最終可能被專門用于訓練數據中記錄的一種或多種情況。因此，這個模型可能對類似的情況有偏見，從而只在這種情況下表現合理。該模型能夠推翻從訓練中學到的經驗，以適應不斷變化的環境。然而，這種能力是受限制的。研究能夠捕捉上下文的模型的動機，通過更強大的、有彈性的、可適應的深度學習來提高任務的有效性。這使得深度學習的使用更具成本效益。

彌補偏見問題的最初努力，始于Bottou和Vapnik[25]提出的局部學習的建議。它涉及到將輸入空間分離成子集并為每個子集建立模型。這個概念本身并不新穎，但由于處理大數據集的應用的復雜性，已經獲得了一些可信度[26]。相反，Mezouar等人[27]沒有發現局部模型比全局模型更值得投資用于預測軟件缺陷。多任務學習（MTL）[28]是機器學習的另一個子領域，可以利用。它將輸入空間分離成多個任務，并利用共享信息，同時考慮到它們的差異。其目的是通過聯合學習和獲取共享表征來提高多個分類任務的性能。Suresh等人[29]試圖在死亡率預測的背景下比較這三種類型的模型。他們的工作表明，多任務模型在整體和每組性能指標上都能勝過全局模型和在單獨的數據子集上訓練的局部模型。不幸的是，似乎還沒有就最合適的模型來捕捉上下文達成最終共識。由于在特定任務的模型之間進行信息共享的技術研究，調整本地/全局模型以適應新的環境，或如何將本地和全局模型結合起來，仍然是活躍的[30]，[31]。

5.8 北約范圍內的“網絡安全深度學習”應用面臨的挑戰

在上面提到的所有挑戰中，這個RTG的成員最關心的是分享知識的可能方式。本章討論的問題有兩種可能的方式：分享訓練數據或分享模型：

1）訓練數據共享。從北約演習中收集的數據是有價值的。能夠利用它們將是非常好的。對于數據共享，最可能的是，應該構建一個數據庫。當各盟國的數據庫被加入時，可能會出現語義互操作性的問題（見第6.4節，語義互操作性）。為了保持數據庫的完整性，所有的盟友都應該圍繞一個標準化重新形成他們的訓練數據，并以這種方式向數據庫提供數據。這既費時又容易出錯。此外，數據的質量是至關重要的，在向數據庫提供數據之前應該進行審查（見6.6節）。此外，這種方法是危險的，因為如果對手到達這個數據庫，他們可以在數據中下毒。(關于可能的訓練數據目標攻擊和針對它們的對策技術，見第6.1節，訓練階段攻擊)。

2）模型共享。在句法互操作性工具的幫助下，現在可以共享DL模型了。(見第6.4節，句法互操作性）。使用基于網絡的遷移學習，在北約盟友之間分享特征提取器似乎更有幫助，這樣任何盟友都可以在他們的測試數據上應用他們希望的任何任務的衍生知識（關于遷移學習的細節，見6.5節）。然而，問題是，誰來訓練這個模型，他將使用哪些數據？如果在數據庫中存儲數據是有問題的，那么為了訓練將被共享的模型，授予一個人/實體對所有北約練習數據的訪問權也可能是麻煩的。通常情況下，不存在這樣的平臺，允許每個人使用自己的數據來訓練相同的DL模型。然而，在這種情況下，一種叫做 "聯合學習 "的分散方法似乎是可行的。它是一種分布式的機器學習方法，在這種方法中，一些被稱為客戶的參與者一起工作，在多次迭代中訓練某個機器學習模型。聯合學習最早是在[32]中提出的，它是由一組移動設備執行的分布式訓練模型，這些設備與中央服務器交換本地模型的變化，中央服務器的功能是將這些更新集合起來形成一個全球機器學習模型。一個聯合學習場景由一個中央服務器和一組N個客戶組成，每個客戶都有自己的本地數據集。最初選擇一個客戶端的子集來獲得模型權重方面的共享模型的全局狀態。然后，基于共享參數，每個客戶在自己的數據集上進行本地計算。然后，客戶提交模型更新（即基于客戶本地數據集的本地學習的權重）給服務器，服務器將這些更新應用于其當前的全局模型，生成一個新的模型。然后，服務器再次與客戶共享全局狀態，這個過程要進行多次，直到服務器確定了一個特定的準確度。因此，客戶不需要分享他們的原始數據來為全局模型做貢獻，只要有足夠的CPU或能源資源來處理它所擁有的訓練數據就足夠了。

第7章 軍事應用

軍事行動植根于對工業時代危機的實際反應，并由關于規模、殺傷力和覆蓋范圍的假設形成[1]。然而，當代沖突跨越了區域邊界和地理領域。威脅的數量和行為者的范圍在數量和多樣性上都在增長，這與需要與之協調應對的行為者的數量相呼應。利用網絡空間的敵人可以挑戰盟國能夠或愿意作出反應的門檻。對網絡領域的依賴增加了在敵方網絡空間實現支持軍事目標的效果的重要性。最終，軍事行動變得更加動態和復雜。

深度機器學習（DML）已經成為人工智能領域的主要技術來源。可以預見的是，DML對網絡防御之外的軍事應用的影響將是廣泛的，因為它提供了在軍事行動環境中獲得信息和決策優勢的機會。在本章中，我們將研究那些有可能受益并因此重塑網絡防御的軍事應用，超越傳統的保護、威懾、檢測和響應概念。

7.1 指揮與控制

軍事學說將指揮與控制（C2）定義為 "由適當指定的指揮官在完成任務的過程中對指定的和附屬的部隊行使權力和指導"[2]。指揮與控制是通過指揮官在完成任務時對人員、設備、通信、設施和程序的安排來實現的，以規劃、指揮、協調和控制部隊和行動。傳統的C2結構包括作戰指揮權、作戰控制、戰術控制和行政控制[3], [4]。這些結構植根于物理領域中開展的活動，以聯合行動區為界限，對網絡領域來說，其不足之處越來越多。

軍事理論進一步將[1]網絡行動定義為包括防止未經授權的訪問的網絡安全行動，為擊敗特定威脅而采取的防御行動，為創造拒絕效果而采取的攻擊行動，以及為獲得情報而采取的開發行動[5]。如同在傳統作戰領域（如陸地、空中、海上、太空）中執行的任務一樣，網絡行動也要遵守某些C2結構。然而，與其他領域不同，網絡部隊可能同時在全球、區域和聯合行動區執行任務。因此，網絡行動依賴于集中的規劃和分散的執行，需要對傳統的C2結構進行調整，以實現軍事單位和當局之間的詳細協調。這種結構要求進行規劃、執行和評估的所有各方了解網絡行動的基本行動和程序。聯合部隊執行的物理和邏輯邊界，以及對其使用的優先權和限制，必須進一步在軍事梯隊、國家部隊和聯盟伙伴之間的協調和同步中集中確定。

網絡行動的C2在很大程度上是由傳統的網絡安全技術形成的，比如那些對硬件、軟件、數據和用戶的安全控制進行持續監控的技術[6], [7], [8]。盡管C2現在和將來都是對人的挑戰[9]，但新興技術中的共同主題將影響其發展，無論是在網絡領域還是傳統作戰領域。信息技術、傳感器、材料（如電池）、武器的進步，以及越來越多地采用無人駕駛和自主平臺，將推動C2的進化變化。計算機將越來越多地與其他設備連接，并收集或分享數據，而無需人類的干預或意識。在較小規模的設備上增加計算、存儲和帶寬能力將使新的分析技術能夠以更快的節奏提取更多的理解，并更接近觀察點。軍事單位可能進一步需要與一系列行為者互動，并聯合工作以實現共同的理想結果，而沒有任何權力來指導這些臨時伙伴或與他們的信息系統互操作。根據沖突的性質，戰術決策可能需要在不同的層面上進行。甚至完全消除某些網絡空間任務中的地理內涵也是可取的[10]。

總的來說，這些因素表明，分散化和敏捷性是C2架構中非常理想的原則。任何新的架構都可以而且應該支持傳統的等級制度、等級制度內的適應性團隊以及其他分布式環境，同時保持對戰斗空間的情況了解。這些問題包括缺乏網絡社區以外的專業知識，無常的性質、時間和圍繞網絡漏洞的平等，以及任務規劃的集中化[11]。新興的倡議，如美國國防部新興的聯合全域指揮和控制倡議[12]，反映了這一概念，即動能、電磁、網絡和信息行動之間的協調相互作用。

分散和保護數據的新興技術可以進一步實現去中心化。分布式賬本技術，即區塊鏈，是記錄資產交易的數字系統，其中交易及其細節同時記錄在多個地方。DML最近提出了一種整合，通過它來克服區塊鏈實施中發現的實際挑戰[13]。同樣，保護使用中的數據，而不是靜止或傳輸中的數據的技術（例如，安全的多方計算、同態加密、功能加密、遺忘RAM、差分隱私）允許對其他方持有的數據進行有用的計算，而不泄露關于數據內容或結構的敏感信息。這樣的技術可以允許不受信任的各方安全地進行DML處理，或者允許多方共同計算有用的結果而不披露基礎輸入。值得注意的是，對抗性的惡意軟件可能會采用這些技術來更好地混淆其操作。雖然這些技術在學術界被廣泛研究，有良好的理論基礎，但特別需要更多的工作來適應軍事用例和可擴展性，以及DML可以提高應用程序的效用的具體實例[14]。

DML應用的進展將提供機會，為規劃和執行任務提供更有能力的決策支持輔助[15]。新穎的人/機界面、混合現實合成環境和遠程存在能力將進一步改變作戰人員之間、自動代理、機器和機器人之間的互動方式。這些技術發展共同提供了在復雜作戰環境中加速觀察、定位、決策和行動的潛力。DML將可能改善決策，并通過人機合作促進自主行動。

7.2 態勢感知和任務保證

網絡空間依賴于空氣、陸地、海洋和空間等物理領域。它包括執行虛擬功能的節點和鏈接，反過來又能促進物理領域的效果。網絡空間通常由三個相互依存的層來描述[5]。物理層由提供存儲、運輸和處理信息的設備和基礎設施組成。邏輯層由那些以從物理網絡中抽象出來的方式相互關聯的網絡元素組成，基于驅動其組件的編程。最后，網絡角色層是通過對邏輯層的數據進行抽象而創建的視圖，以開發在網絡空間中運作的行為者或實體的數字代表。

在這些層中的操縱是復雜的，而且通常是不可觀察的。準確和及時的網絡空間態勢感知（SA）對于在一個日益復雜的戰場上取得成功至關重要。這在戰術環境中尤其如此，因為那里有獨特的信息處理和操作限制。政府和工業界正在進行的大量研究和投資旨在提供工具，從網絡數據中開發基本的SA，但在關鍵指標方面沒有提供所需的數量級改進，如成功的入侵檢測概率、誤報率、檢測時間、反應速度、效果的精確性和可預測性、戰斗損失評估的準確性和及時性，以及人類操作員的認知負荷。防御性反應的累積效應可能會超出最初的威脅，這就需要跨區域的考慮以及防御性反應的協調或同步。這些考慮，特別是對戰術戰場而言，需要在連續處理和更接近源頭的行動方面進行突破性創新，對來自多個異質網絡、情報收集、社交媒體和其他多模式來源的信息進行自主融合。

DML可能有助于開發一些方法，在對手利用這些漏洞之前加速發現這些漏洞。同樣，輕量級的入侵檢測系統可以在戰術邊緣的限制下運行，減輕對帶寬和延遲的限制。其他應用包括自動融合來自許多異質網絡的數據，這些網絡具有高度分布、聯合或分層的特性；自動識別來自不同來源（如網絡和系統、情報、社交媒體）以及不同時間尺度和安全敏感性的模式；網絡和任務本體，以促進操作狀態和任務影響之間的映射；以及建模和模擬解決方案，允許自動生成現實的數據集，以促進實驗。

任務保障是一個成熟的概念，在許多工程領域中進行探索，包括高可用性系統、故障分析以及軟件和系統工程[16]。美國防部政策將任務保證定義為：

• 一個保護或確保能力和資產--包括人員、設備、設施、網絡、信息和信息系統、基礎設施和供應鏈--的持續功能和彈性的過程，對于在任何操作環境或條件下執行國防部的任務必要功能至關重要[17]。

• 任務保障的根本是洞察那些成功實現目標所需的資源和行動。任務映射是確定一個任務與其基本資源和程序之間的依賴關系的過程。在網絡空間的背景下，這包括信息系統、業務流程和人員角色。網絡空間是一個復雜的、適應性強的、有爭議的系統，其結構隨時間變化。復雜的因素包括。

• 事故和自然災害會擾亂網絡空間的物理基礎設施。例子包括操作錯誤、工業事故和自然災害。由于需要大量的外部協調和對臨時備份措施的依賴，從這些事件中恢復可能會很復雜。

• 美國防部的許多關鍵功能和操作都依賴于簽約的商業資產，包括互聯網服務提供商（ISP）和全球供應鏈，國防部及其部隊對這些資產沒有直接的權力。

• 美國防部的全球業務與對網絡空間和相關技術的依賴相結合，意味著國防部經常從外國供應商那里采購任務所需的信息技術產品和服務。

確保依賴網絡基礎設施的任務的一個關鍵挑戰是難以理解和模擬動態、復雜和難以直接感知的方面。這包括確定哪些任務在任何時候都是活躍的，了解這些任務依賴哪些網絡資產，這些依賴的性質，以及損失或損害對任務的影響。對網絡地形的理解必須考慮到依賴性是如何隨著時間和各種任務的背景而變化的。它需要確定任務和網絡基礎設施之間的依賴程度和復雜性；考慮到相互競爭的優先事項和動態目標。這種洞察力可以確保必要資源的可用性，并幫助評估在有爭議的條件下的替代行動方案。

此外，作戰人員可能面臨復雜的情況，這些情況不利于傳統的網絡防御行動，而有利于保證任務。例如，當計算機系統被破壞時，目前的做法是將被破壞的系統隔離起來。然后，該系統通常被重建或從一個可信的備份中恢復。業務連續性計劃試圖解決在退化條件下的運作問題，而災難恢復計劃則解決最壞的情況。這些方法優先考慮最小的利潤損失，并不迎合作戰人員可能面臨的復雜決策類型，即要求保持一個完整的系統在線，以確保一個關鍵應用程序的可用性，而對手則利用它作為一個杠桿點來獲得進一步的訪問或滲出機密信息。在這樣的條件下，作戰人員需要清楚地了解每個選擇之間的權衡，以及所選路徑的結果對任務和目標的潛在影響。此外，與受到網絡攻擊的企業不同，作戰人員必須考慮到網絡攻擊是更廣泛的綜合效應應用的一部分，必須考慮對手協調使用網絡、電子戰和動能效應的因素。最后，災難恢復計劃可以說是戰爭失敗后的一個計劃。因此，作戰人員需要有效的理論和決策支持系統，要求在被拒絕的、退化的和有爭議的環境中保持任務的連續性。

目前的任務繪圖方法主要分為兩類。首先，流程驅動的分析是一種自上而下的方法，主題專家確定任務空間和支持該任務空間的網絡關鍵地形。這種方法通過主題專家的業務流程建模產生可解釋的結果，盡管這些結果往往是靜態的。其次，人工制品驅動的分析是一種自下而上的方法，來自主機和網絡傳感器的日志和數據被用來推斷網絡資產的使用。這種方法通過數據挖掘、紅色團隊和取證發現產生高保真的分解，盡管其結果沒有提供對執行任務的替代機制的洞察力。目前存在一系列的工具和方法來完成要素任務映射[18]。

人工智能（AI）已經在軍事任務的決策中出現了許多應用，并將繼續加速這一問題領域的能力。潛在的解決方案可以尋求對特定的業務流程進行建模，并使其成為機器可描述的，從而使用戶生成的邏輯可以對這些流程進行 "推理"，并協助管理大量的信息或多個費力、復雜、甚至競爭的任務和解決方案集。DML，加上自然語言處理方面的進展[19]，提供了特別的前景，因為C2渠道之間的傳統信息交換手段包括通過軍事信息流頒布的人類生成的任務命令。

7.3 網絡空間防御作戰

防御性網絡空間行動(DCO)包括旨在通過擊敗或迫近網絡空間的敵對活動來維護軍事網絡的保密性、完整性和可用性的任務。這就將DCO任務與傳統的網絡安全區分開來，前者是擊敗已經繞過或有可能繞過現有安全措施的具體威脅，后者是在任何具體的敵對威脅活動之前確保網絡空間不受任何威脅。DCO任務是針對具體的攻擊威脅、利用或惡意網絡空間活動的其他影響而進行的，并根據需要利用來自情報收集、反情報、執法和公共領域的信息。DCO的目標是擊敗特定對手的威脅，并將被破壞的網絡恢復到安全、正常的狀態。活動包括事件管理、事件管理和惡意軟件檢測的任務。它還包括情報活動，以幫助理解新聞媒體、開放源碼信息和其他信號，從而評估敵方威脅的可能性和影響。因此，傳統上植根于情報收集活動的DML應用對防御性網絡空間行動具有同等的效用。

數據泄露的頻率越來越高，預示著安全自動化概念和能力的加速采用[20]。只有通過自動分析、響應和補救威脅，組織才有可能大規模地復制經驗豐富的網絡專家的專業知識和推理，并確保更大程度的保護。有兩個特別的技術類別脫穎而出。安全信息和事件管理，以及安全協調、自動化和響應。

安全信息和事件管理（SIEM）技術聚集事件數據，包括安全設備、網絡基礎設施、系統和應用程序產生的日志和網絡遙測。數據通常被規范化，從而使事件遵循一個共同的結構，并通過有關用戶、資產、威脅和漏洞的上下文信息來加強。SIEM平臺有助于網絡安全監控、數據泄露檢測、用戶活動監控、法規遵從報告、法證發現和歷史趨勢分析。

安全協調、自動化和響應（SOAR）技術能夠將工作流程應用于SIEM平臺收集的網絡事件數據。這些工作流程，有時被稱為 "游戲手冊"，可自動采取符合組織流程和程序的響應行動。SOAR平臺利用與補充系統的整合來實現預期的結果，如威脅響應、事件管理，以及在廣泛的網絡管理、資產管理和配置管理工具中增加自動化。

總體而言，SIEM和SOAR技術實現了安全過程的兩個關鍵階段的自動化：信息收集和分析，以及響應的執行。新興研究研究了人工智能技術在事件檢測和自動行動方案建議方面的應用，這兩種技術都適用[21], [22], [23], [24], [25]。

隨著互聯系統的規模和范圍的增長，超越自動化的自主性應用對于可擴展的網絡防御是必要的。重要性較低的互聯系統可以由網絡安全傳感器、系統和安全操作中心監控，而關鍵系統，如部署在有爭議的環境中的系統，可能需要自主智能響應能力[15]。

許多任務環境帶來了不利的條件，其中適應性的、分散的規劃和執行是非常可取的。盡管已經探討了聯合網絡行動的好處和挑戰[26]，但市場力量繼續推動軟件即服務解決方案，這些解決方案依賴于云計算基礎設施，在國防部預期的操作環境中可能無法使用。云計算的普遍性和對傳統網絡邊界的侵蝕，助長了對外部和越來越不可信的基礎設施的依賴。同時，這種方法往往提供了最佳的規模經濟和能力。

零信任是一種安全模式和一套設計原則，承認傳統網絡邊界內外威脅的存在。零信任的根本目的是了解和控制用戶、流程和設備如何與數據打交道。零信任框架提出了一個適用于企業網絡的安全愿景，包括云服務和移動設備。同時，零信任仍然是一種愿景和戰略，更多的規范性方法仍在出現[27]。其中包括云安全聯盟的軟件定義周邊框架[28]，谷歌的BeyondCorp安全模型[29]，Gartner的自適應風險和信任評估方法[30]，以及Forrester的零信任擴展生態系統[31]。在探索這些設計原則的應用或它們在保證DML應用方面可能發揮的作用方面，人們做得很少。

隨著網絡安全產品和解決方案的生態系統日益多樣化，實現互操作性以協調機器速度的反應將變得至關重要。新興的規范，如OpenC2[32]，將使網絡防御系統的指揮和控制不受底層平臺或實現方式的影響。OpenC2提供了標準化網絡防御系統接口的方法，允許執行網絡防御功能的解耦塊之間的整合、通信和操作。這套規范包括一種語義語言，它能夠為指揮和控制網絡防御組件的目的進行機器對機器的通信；執行器配置文件，它規定了OpenC2語言的子集，并可以在特定的網絡防御功能的背景下對其進行擴展；以及轉移規范，它利用現有的協議和標準在特定環境中實施OpenC2。這一舉措和類似舉措的成功將取決于工業界對它的采用。目前沒有類似的方法用于進攻性網絡空間行動，這主要是因為所使用的工具的定制性質。

7.4 社交網絡安全

社會網絡安全是國家安全的一個新興子領域，它將影響到未來所有級別的戰爭，包括常規和非常規的戰爭，并產生戰略后果。它的重點是科學地描述、理解和預測以網絡為媒介的人類行為、社會、文化和政治結果的變化，并建立社會所需的網絡基礎設施，以便在不斷變化的條件下，在以網絡為媒介的信息環境中堅持其基本特征，實際或即將發生的社會網絡威脅"。[33].

技術使國家和非國家行為者能夠以網絡速度操縱全球的信仰和思想市場，從而改變各級戰爭的戰場。例如，在DML的推動下，"深度造假 "技術出乎意料地迅速發展，這有可能改變人們對現實的認知、作為信息來源的新聞、人們之間的信任、人民與政府之間的信任以及政府之間的信任。

網絡防御將越來越多地納入反措施，以阻止與網絡領域不可分割的影響力運動。這將需要對部隊甚至社會進行教育，讓他們了解現代信息環境的分散性，存在的風險，以及審查我們消化并允許形成我們世界觀的事實的方法和多學科手段。消除軍隊和他們誓死捍衛的社會之間的任何不信任概念，對全球安全至關重要。

7.5 網絡欺騙

傳統的網絡安全和網絡防御方法是在網絡殺傷鏈的后期階段與對手接觸，而網絡欺騙是一個新興的研究領域，探索在早期與對手接觸的效用，特別是欺騙他們[34]。幾十年前，隨著蜜罐的出現，欺騙性方法在研究界獲得了新的興趣，并被視為推翻網絡防御固有的不對稱性的可行方法而得到重振。欺騙性方法有可能通過給對手帶來不確定性來改變不對稱的局面。同時，欺騙能力可能會帶來更多的復雜性。

網絡欺騙，有時被描述為移動目標防御的一種形式，包含了多個系統領域的技術：網絡、平臺、運行環境、軟件和數據。移動目標技術的設計是為了對付現代系統的同質性，即系統和應用程序之間足夠相似，以至于一個單一的漏洞可以使數千或數百萬（或更多）的設備同時受到攻擊。技術尋求在系統設置之間引入多樣性，使系統的關鍵組件隨機化，從而使攻擊者無法利用相同的特征，并隨著時間的推移改變系統組件，從而使相同的漏洞無法重復發揮作用。許多網絡攻擊是 "脆弱的"，因為它們需要精確的配置才能成功，而移動目標技術就是利用這種脆弱性。盡管如此，仍然需要研究網絡指標和有效性措施，以判斷網絡欺騙和其他移動目標技術的成功，以及它們對不同威脅模式的應用。

2020年，美國和愛沙尼亞指派北約合作網絡防御卓越中心開展為期兩年的5G供應鏈和新一代電信基礎設施相關的網絡安全項目，以解決北約盟國和緊密合作伙伴的戰略、法律和政策問題。該項目的目的是研究電信網絡供應鏈安全的不同方面，支持相關研究并為聯盟勾勒出建議。隨后，CCDCCOE在2021年發表了《軍用5G網絡的供應鏈和網絡安全研究報告》。這第二份報告側重于軍事運動背景下5G網絡的實際問題，是第一份研究報告的后續，采用了智能海港和C-V2X支持的公路運輸兩個案例研究。

新技術的出現為許多行業創造了巨大的利益和潛在的使用案例，同時也是大國競爭領域的一種工具。為此，電信和通信技術已被大小國家用于政治和軍事優勢--有時在規模和相對實力不同的競爭對手之間帶來一定程度的均勢和平衡。5G蜂窩通信的推出是在逐步和持續的基礎上進行的，需要軍隊、情報部門和私營部門不斷調整，以避免任何潛在的不利因素。然而，5G技術也給軍事部門帶來了許多新的解決方案和應用。隨著技術的不斷發展，即使不為軍隊本身開發5G解決方案，也會出現新的風險和威脅。由于民用技術的快速發展和軍隊對民用解決方案的依賴，例如軍事行動，5G將不可避免地到達軍隊并影響日常運作。因此，所有相關各方都需要做好準備，應對5G帶來的機遇和風險。隨著新的風險和威脅的上升，今天需要考慮和解決網絡安全方面的問題，以消除未來的潛在威脅，特別是對北約盟國的軍隊和密切的合作伙伴。因此，網絡機會和風險都需要從技術角度進行評估，以了解在北約國家間移動設備和物資時對軍隊的影響。為了實現北約的功能意識，使用案例將作為向該領域的政策制定者提出建議的基礎。

該報告以智能港口和智能公路為案例，研究了2030年軍事行動場景下與5G連接技術相關的網絡安全挑戰。該報告旨在提高人們對通過公共和私人5G網絡運作如何影響北約和平時期的集體防御的認識，從而為決策者提供與5G網絡相關的可能挑戰的循證信息。

該報告介紹了2030年波羅的海地區軍事行動的未來前景故事情節。然后，它提供了兩個5G用例的描述，即智能海港和智能公路，這兩個用例在2030年可用于為北約的集體防御目的運輸軍事裝備和物資。基于與5G實施相關的風險和威脅分析，報告強調了軍隊使用私人和公共網絡可能面臨的主要網絡安全風險和挑戰。最后，報告制定了一套建議，供盟國和/或北約決策者在發展5G基礎設施和制定網絡相關政策和決策時考慮。

毫無疑問，今天圍繞人工智能（AI）的最復雜的治理挑戰涉及國防和安全。CIGI正在促進戰略制定：人工智能對軍事防御和安全的影響項目將這一領域的主要專家與來自國防部的40多名公務員和加拿大武裝部隊的人員聚集在一起，討論人工智能對國家安全和軍事領域的力量倍增效應。

這一努力依賴于一系列的四次研討會，以產生關于數據驅動技術如何引發巨大的技術重組的前瞻性思考，這將對加拿大的國防規劃產生深遠影響。具體來說，這些研討會集中在數據治理和政策（道德、云計算、數據準備和互操作性）；決策（可信賴性、人機一體化、生物技術和問責制）；模擬工具（培訓、兵棋推演、人機合作、機器人、自主和可信的人工智能）；以及信息時代的加拿大情報（將人工智能用于情報）。CIGI還主辦了一個研究生研討會，以激勵整個加拿大在全球公共政策、計算機科學和安全等領域學習的新興學者。

報告總結

本文探討了在人工智能（AI）和機器學習背景下的軍事特定能力的發展。在加拿大國防政策的基礎上，本文概述了人工智能的軍事應用和管理下一代軍事行動所需的資源，包括多邊參與和技術治理。

維持先進軍事能力的前景現在與人工智能的武器化直接聯系在一起。作為一項通用技術，人工智能代表著一種力量的倍增器，有能力重塑戰爭規則。事實上，在核彈頭仍然是一種單一的技術應用的情況下，人工智能有能力支持許多不同類型的武器和系統。正如北大西洋公約組織（NATO）的指導意見所指出的，人工智能和其他 "智能 "技術現在對加拿大及其盟國的未來安全至關重要。

新技術在改變戰爭的性質方面有著悠久的歷史。從馬匹和盔甲的使用到航空母艦和戰斗機的引進，人工智能和機器人只是代表了軍事技術發展的最新階段。常規武器與人工智能和機器學習的融合，必將重塑決策的性質和軍事戰略轉型中的武力應用。

即使當代人工智能系統的能力被限制在機器學習算法的狹窄范圍內，這種限制可能不會持續太久。與神經科學、量子計算和生物技術相重疊的發現領域正在迅速發展，代表了 "智能機器 "進化的未知領域。在這些新的研究領域中的科學和技術發現給加拿大的國防帶來了巨大的風險，但同時也代表著巨大的機遇。

顯而易見的是，新興技術已經成為高度緊張的地緣政治競爭的基礎，它與一系列商業產業和技術平臺相重疊。中國、俄羅斯、美國和其他國家和非國家行為者正在積極追求人工智能和其他前沿技術的軍事應用。競爭的領域包括云技術、高超音速和新導彈技術、空間應用、量子和生物技術以及人類增強。

盡管技術創新一直塑造著國家間沖突的性質，但新興和顛覆性技術（EDT）的規模和速度是前所未有的。加拿大的國防政策反映了這種擔憂，它呼吁使加拿大武裝部隊（CAF）適應不斷變化的地緣政治環境。加拿大國防規劃已著手擴大和發展加拿大武裝部隊，在新的軍事平臺整合中納入下一代偵察機、遙控系統和天基設施。

基于對不斷變化的技術環境的廣泛評估，加拿大國防部（DND）認識到，這個新時代的特點是全球力量平衡的變化。這包括在快速發展的創新經濟中大國競爭性質的變化。就像石油和鋼鐵為工業時代設定條件一樣，人工智能和機器學習現在也可能為數字時代設定條件。

這種規模的破壞是由技術和制度變化的融合所驅動的，這些變化可以以新的和不可預測的方式觸發復雜的反饋回路。在這個新的環境中，人工智能技術將迫使世界各國軍隊投射力量的能力倍增。確定軍事人工智能發展中的護欄對于避免未來危機至關重要。應用減少風險的措施來識別和減輕軍事人工智能可能帶來的一系列風險將是關鍵。事實上，在這些能力完全嵌入世界上目前和未來的軍隊之前，治理人工智能可能會更容易。

從整體上看，這種轉變預示著從初級機器到數據驅動技術和精密電子的巨大轉變。這種物理、數字和生物技術的加速融合代表了一場巨大技術革命的早期階段。在全球范圍內管理這些新興和顛覆性的技術，對于減少未來沖突的風險至關重要。

1 引言

從人工智能和機器人到電池存儲、分布式賬本技術（DLT）和物聯網（IoT），新興和顛覆性技術（EDT）現在正在激起一個商業創新的新時代。這一巨大的技術變革景觀正在醞釀一場社會和經濟變革，對中央銀行的發展具有巨大影響。正如北約最近的一份報告所指出的（北約新興和顛覆性技術咨詢小組2020），這些技術包括：

→ 人工智能和機器學習。人工智能/機器學習的發展及其對創新的潛在影響。這包括神經形態計算、生成式對抗網絡，以及人工智能從已經收集或尚未收集的數據中揭示出意想不到的見解的能力。

→ 量子技術。正在進行的從量子過程研究中獲得的知識轉化為量子技術的應用，包括量子計算、量子傳感、量子密碼系統，以及在量子尺度上對材料的操縱和開發。

→ 數據安全。用于保障和損害通信、數據交易和數據存儲安全的算法和系統的設計，包括量子證明加密方法、區塊鏈和分布式賬本架構，以及更廣泛的網絡安全領域。

→ 計算功能的硬件。微型化、電力采集和能源儲存方面的進展，包括在全球范圍內提供數字化關鍵基礎設施所需的物理系統（物聯網）和機器人的廣泛使用及其對全球系統和流程的持續影響。

→ 生物和合成材料。從原子/分子層面的材料設計、合成和操作到中觀和宏觀尺度的創新，支持生物工程、化學工程、基因層面的操作、增材制造和AI介導的生成設計。

正如蒸汽機和印刷術激發了工業革命一樣，人工智能和機器人技術現在也在軍事技術的性質和全球力量平衡方面引發了巨大變革。人工智能的興起并非沒有歷史先例，但伴隨著人工智能的變化表明，需要對國防規劃進行更精確的調整，以適應一個數據驅動的時代。

在大國競爭和多極體系的背景下，人工智能已經成為競爭的一個特別焦點。中國、俄羅斯、美國和其他許多國家都在積極追求人工智能能力，并把重點放在國防和安全方面。例如，中國希望到2030年在人工智能方面領先世界，并期望通過利用大量的豐富數據，擴大其在人工智能產業化方面的領先優勢（Lucas和Feng，2017年）。

事實上，數據和數據驅動的技術現在占據了全球經濟的制高點。整個全球數據經濟的競爭已經與大國競爭密不可分（Mearsheimer 2021）。盡管美國和中國的經濟深深地相互依存，但中國在整個歐亞大陸不斷擴大的投資將很快使其成為世界貿易的中心。

技術優勢仍然是北約國家的關鍵支柱，但中國正在迅速趕超。即使美國在人工智能發現方面建立了強大的領先優勢，中國也越來越有可能在人工智能驅動的應用產業化方面占據主導地位。中國不僅有先進的商業能力，而且還有一個連貫的國家戰略。中國的技術部門正在達到專業知識、人才和資本的臨界質量，正在重新調整全球經濟的指揮高度（Lucas and Waters 2018）（見圖1）。

中國產業部署的大部分技術創新都是 "漸進式 "的，而不是 "顛覆式 "的，但現在這種情況正在改變。將新興市場聚集在其軌道上，中國前所未有的經濟擴張現在對世界經濟產生了引力（The Economist 2018）。標志性項目，價值數萬億美元的 "一帶一路 "倡議（世界銀行2018年）為圍繞電動汽車、電信、機器人、半導體、鐵路基礎設施、海洋工程以及最終的人工智能的廣泛戰略轉變提供了一個全球平臺（McBride和Chatzky 2019年）。

毫不奇怪，中國已經是國際專利申請的世界領導者（世界知識產權組織2020）。隨著自主機器（Etzioni和Etzioni 2017）、可再生能源基礎設施、量子通信（?iljak 2020）、增強型腦機接口（Putze等人2020）和天基武器（Etherington 2020）的出現，重新思考加拿大國家安全，特別是加拿大國防的性質的壓力正在增加。鑒于技術創新的步伐不斷加快，以及亞洲作為世界貿易中心的崛起（Huiyao 2019），來自國外的技術的影響可能是巨大的。

圖1：按購買力平價計算的國內生產總值預測（以萬億美元計）

2 AI與軍事防御

2.1 AI定義

人工智能的概念已被廣泛討論，但該術語的精確定義仍然是一個移動的目標。與其說人工智能是一項具體的技術或特定的創新，不如說它是一個材料的集合。事實上，即使人工智能技術已經成為廣泛的主流商業應用的基礎，包括網絡搜索、醫療診斷、算法交易、工廠自動化、共享汽車和自動駕駛汽車，人工智能仍然是一個理想的目標。

盡管人工智能領域的研究始于20世紀40年代，但隨著機器學習和計算機處理能力的改進，過去十年對人工智能興趣的爆炸性增長已經加速。人工智能的持續進步被比喻為在人腦中發現的多尺度學習和推理能力。當與大數據和云計算相結合時，預計人工智能將通過將 "智能 "人工智能和機器學習系統與第五代（5G）電信網絡（即物聯網）上的大量聯網設備連接起來，使數字技術 "認知化"。

作為人工智能的一個子集，機器學習代表了人工智能的最突出的應用（見圖2）。機器學習使用統計技術，使機器能夠在沒有明確指令的情況下 "學習"，推動許多應用和服務，改善一系列分析和物理任務的自動化。通過使用數據自動提高性能，這個過程被稱為 "訓練 "一個 "模型"。使用一種算法來提高特定任務的性能，機器學習系統分析大量的訓練數據集，以便做人類自然而然的事情：通過實例學習。

今天，機器學習的最常見應用是深度學習。作為更廣泛的機器學習家族的一部分，深度學習利用人工神經網絡層來復制人類智能。深度學習架構，如深度神經網絡、遞歸神經網絡和卷積神經網絡，支持一系列廣泛的研究領域，包括計算機視覺、語音識別、機器翻譯、自然語言處理和藥物設計。

圖2：人工智能的層級

2.2 加拿大國防部：將人工智能應用于國家安全

安全人工智能位于新興和顛覆性技術（EDT）星座的中心，包括機器人學、基因組學、電池存儲、區塊鏈、3D打印、量子計算和5G電信。在研究層面，美國仍然是人工智能的全球領導者。目前，國家科學基金會每年在人工智能研究方面的投資超過1億美元（國家科學基金會2018年）。國防高級研究計劃局（DARPA）最近宣布投資20億美元用于一項名為AI Next的計劃，其目標是推進上下文和適應性推理（DARPA 2018）。

與過去的原子武器或隱形飛機的技術發展不同，沒有國家會壟斷軍事人工智能。研究人員和領先的商業企業之間廣泛的全球合作意味著人工智能和機器學習的進步可能會在全球范圍內擴散。事實上，人工智能發展的大多數技術進步是由工業界而不是政府推動的。除了市場主導的技術公司，世界各地廣泛的網絡集群正在孵化新一代的商業創新（Li and Pauwels 2018）。因此，許多未來的軍事應用將可能是為商業產業開發的技術的改編。

幸運的是，加拿大一直是人工智能研究前沿的領導者，并繼續通過2017年推出的泛加拿大人工智能戰略下的幾個項目培育一個強大的人工智能生態系統。加拿大政府積極參與人工智能咨詢委員會和各種國際伙伴關系，包括2020年啟動的全球人工智能伙伴關系；人工智能國防伙伴關系，其第二次對話在2021年舉行；以及重疊人工智能驅動的安全和規劃的多邊協議（五眼，北約）。事實上，加拿大的國防政策，"強大、安全、參與"（SSE），反映了加拿大政府對增加年度國防開支的承諾，重點是技術。

目前的聯邦預算包括對人工智能發展的實質性承諾，承諾在10年內投入4.438億美元（Silcoff 2021）。在政府2021年的預算中，1.85億美元將支持人工智能研究的商業化；1.622億美元將用于在全國范圍內招聘頂尖的學術人才；4800萬美元將用于加拿大高級研究所；五年內4000萬美元將旨在加強埃德蒙頓、多倫多和蒙特利爾的國家人工智能研究所的研究人員的計算能力；五年內860萬美元將幫助推進人工智能相關標準的發展和采用（加拿大政府2021年，148）。

2.3 增強加拿大的情報能力

人工智能是一個影響廣泛的商業和軍事技術的模糊領域。像電力或化石燃料一樣，人工智能的廣泛應用意味著人工智能和其他通用技術有能力重新配置現代軍隊的步伐和組織（Bresnahan和Trajtenberg 1995）。從整體上看，人工智能代表了國家安全性質的結構性轉變。出于這個原因，SSE設想了一個未來的軍事態勢，更加注重開發、獲取和整合先進的變革性技術，包括網絡和自主系統。

即使加拿大在傳統聯盟（北美防空司令部、北約和五眼聯盟）中的持續作用仍然是國家安全的基礎，EDT正在從根本上改變沖突的性質。正如格雷格-菲夫（2021年）所觀察到的，人工智能作為戰爭工具的崛起與升級加拿大國家安全架構，特別是加拿大情報部門的日益增長的需求相重疊。技術變革和信息爆炸的復合周期，新的技能組合和新的數據分析戰略對國防規劃的演變變得至關重要。

在數字時代，戰爭正日益成為基于知識的戰爭。隨著沖突進入信息領域，軍事規劃開始重新聚焦于信息/虛假信息行動、網絡行動、情報行動和政治或經濟影響行動。事實上，這種混合戰爭作為一種戰爭工具由來已久，其目的是利用宣傳、破壞、欺騙和其他非動能軍事行動，從內部破壞對手（Bilal 2021）。

網絡仍然是潛在對手、國家代理人、犯罪組織和非國家行為者的一個關鍵目標。這包括對通信、情報和敏感信息的嵌入式監視和偵察。正如Amy Zegart（2021年）所解釋的那樣，技術正在通過極大地擴展數據和信息的獲取，使情報的性質民主化。事實上，今天驅動戰略情報的大部分信息實際上是開放源碼情報（OSINT）或在公共領域。

現代軍隊正變得嚴重依賴安全、及時和準確的數據。隨著數據的急劇膨脹，消化它變得不可能。這種數據爆炸正在推動對新的分析模式和新型網絡工具的需求。在數字時代，安全和情報人員需要新的平臺、新的工具和跨領域工作的新OSINT機構。在這方面，人工智能可能特別有幫助。

隨著數據的重要性增加，在廣闊的數字領域的對抗性競爭也在增加。人工智能和機器學習可以通過篩選巨大的數據庫來極大地提高加拿大的國家情報能力。人工智能不是銀彈。人工智能系統不能產生意義或提供因果分析。然而，人工智能和機器學習可以極大地增強人類在管理數據和數據驅動的分析方面的情報能力。

2.4 增強加拿大軍力

隨著決策者為數據驅動的世界調整其安全態勢，人工智能有望改變軍事沖突的既定模式。DND/CAF面臨的關鍵挑戰之一是數據驅動的網絡重塑指揮和控制系統的速度（Thatcher 2020）。集中式系統的優勢在于其協調人類活動的效率。在指揮系統中，人員和傳感器推動威脅檢測，將信息向決策堆棧上移，以便決策者可以做出適當的反應。數字技術深刻地加速了這個過程。

人工智能在軍事領域的應用可能被證明對傳統的指揮和控制系統具有挑戰性。例如，在美國，五角大樓的第一位首席軟件官最近辭職，以抗議技術轉型的緩慢步伐。在離開國防部職位后的一次采訪中，尼古拉-沙伊蘭告訴《金融時報》，美國未能對技術變革和其他威脅作出反應，使國家的未來面臨風險（Manson 2021）。

除了變化的速度緩慢，軍事指揮和控制系統的集中性意味著單點故障提供了脆弱的攻擊點。指揮機關和自動或人類控制者往往容易受到利用不良或欺騙性信息的對抗性技術的影響，甚至自上而下的決策在適應復雜的突發挑戰方面也會很緩慢。

神經形態計算、生成式對抗網絡（GANs）、人工智能決策支持、數據分析和情報分析方面的新創新在增強軍事行動的結構和進程方面可能會產生巨大影響。機器學習算法的快速發展已經在商業和軍事領域引發了一波投資熱潮。

超越對損耗和動能攻擊的傳統關注，轉向基于加速和適應的新方法，數據驅動的技術可能是促成國家安全性質徹底轉變的關鍵。人工智能不是一種單一的技術。相反，它是一類可以在一系列軍事和商業應用中整合的技術。這些技術不斷演變的基礎是數據。

數字技術現在由數據推動，并將繼續推動創造越來越多的數據驅動的技術--特別是人工智能。數據是訓練人工智能和先進機器學習算法的基礎。數據既是大規模運行的數字系統產生的 "操作廢氣"，也是機器對數據輸入作出反應的過程，它現在推動了機器的 "自主性"。

數據驅動的技術支撐著現代社會的核心社會和經濟功能，涵蓋了基礎設施、能源、醫療保健、金融、貿易、運輸和國防。隨著5G網絡的全球推廣，預計在高度健全的全球信息網絡中創建、收集、處理和存儲的數據將出現爆炸性增長。根據市場研究公司IDC的數據，目前全球數據正以每年61%的速度增長（Patrizio 2018）。預計到2025年，數據將達到175 zettabytes（一萬億吉字節），改變數字經濟的性質和規模（同上）。

出于這個原因，DND/CAF將數據提升到國家資產的水平是明智的。這對經濟增長和加拿大國防都至關重要。將數據作為國家資產加以保護和利用，將意味著重新思考目前構成當代數據架構的大型集中式數字基礎設施。可以肯定的是，網絡時代的數據安全應該是分散的和聯合的，以避免集中式系統的脆弱性。

3 武器化AI：致命的自治系統

關于技術破壞的傳統預測往往會犯一個錯誤，即假設這種規模的系統變化只是以一對一的方式取代舊技術。在現實中，這種規模的顛覆往往會不成比例地取代舊的系統，使其具有巨大的新的架構、界限和能力（Arbib和Seba 2020）。

正在進行的人工智能武器化正在助長一場全球軍備競賽，有望重塑加拿大國防戰略的輪廓。事實上，世界上許多國家在人員系統自動化、設備維護、監視系統以及無人機和機器人的部署方面已經遠遠領先（斯坦利和平與安全中心、聯合國裁軍事務廳和史汀生中心2019）。從美國到俄羅斯到以色列再到中國，軍事研究人員正在將人工智能嵌入網絡安全舉措和支持遠程手術、戰斗模擬和數據處理的機器人系統。

以先進的物流、半自動車隊、智能供應鏈管理和預測性維護系統的形式將人工智能應用于軍事行動代表了人工智能的近期應用（Perry 2021）。然而，能夠在陸地、海洋、空中、太空和網絡領域針對個人（無論是否需要人類干預）的自主武器的演變代表了軍事沖突的可能未來（見圖3）。事實上，近100個國家的軍隊目前擁有某種程度的武裝或非武裝無人機能力（Gettinger 2019）。

圖3:全球無人機激增

商業無人機技術在采礦、農業和能源領域的縱橫捭闔，正在助長無人機技術的廣泛擴散。正如最近亞美尼亞和阿塞拜疆之間的沖突所表明的那樣，一群相對便宜的自主和半自主無人機可以被利用來壓倒傳統的軍事系統，使一系列當代平臺變得過時（Shaikh和Rumbaugh 2020）。輕型、可重復使用的武裝無人機，如土耳其的Songar（Uyan?k 2021）可以配備一系列有效載荷，包括迫擊炮、手榴彈和輕機槍。最近對沙特阿拉伯的Abqaiq石油加工設施（Rapier 2019）和俄羅斯的Khmeimim空軍基地（Hambling 2018）的攻擊反映了軍事無人機在不同戰場環境中的應用越來越多。

致命自主武器系統（LAWS）被定義為可以在沒有人類授權的情況下選擇和攻擊目標的武器，它被設計為在獨立識別目標之前在指定的行動區域內長期徘徊。多個無人機或機器人可以并行運作，以克服對手的防御或摧毀一個特定目標。開發人員傾向于將致命性武器系統分為三大類，即觀察、定位、決定和行動（OODA）循環（見圖4）。這些類別包括。"循環中的人"、"循環中的人 "和 "循環外的人"。這種區分也被框定為 "半自主"、"受監督的自主 "和 "完全自主 "的技術系統。不幸的是，受監督的致命性自主武器系統和完全自主的致命性自主武器系統之間的區別，可能只是一個軟件補丁或一個監管程序。

圖4：OODA環

隨著致命性自主武器系統和其他數據驅動的技術變得更便宜和更廣泛，它們可能會給廣泛的國家和非國家行為者提供平臺和工具，以新的和破壞性的方式利用人工智能和機器學習。除了收緊OODA循環外，軍事人員將需要了解人工智能在加速OODA循環方面的影響，以確定在特定情況下哪種模式最合適。

3.1 網絡平臺

鑒于EDT的范圍和規模，認為我們可以簡單地保持從上個世紀繼承的系統和做法是錯誤的。正如英國查塔姆研究所2018年的一份報告所警告的那樣，美國、英國和其他核武器系統正變得越來越容易受到網絡攻擊（Unal and Lewis 2018）。這些擔憂是有根據的。人工智能和EDT的擴散一起，幾乎肯定會通過利用人工智能和自主系統的規模效應，為小國和非國家行為者帶來好處。

對于許多北約國家來說，網絡平臺已經成為多領域行動的關鍵--海、空、陸、網絡和空間。大規模的網絡使得在復雜環境中可視化和協調大量資源成為可能。在5G電信和云計算的基礎上，信息系統現在可以有效地收集、傳輸和處理大量的戰場數據，提供實時數據分析。

連接設備正在成為協調空襲、駕駛無人機、消化戰斗空間的實時視頻和管理高度復雜的供應鏈的關鍵。在英國，國防數據框架提供了一個結構，以解決軍事組織與數據驅動的企業需求相一致的挑戰（Ministry of Defence 2021）。從戰略到通信到后勤到情報，數字平臺現在是協調復雜軍事行動的基礎。數據現在是所有作戰領域的命脈。

在一個數字化的戰斗空間中，每個士兵、平臺和資源現在都是一個復雜軍事網絡中的節點。從20世紀90年代以網絡為中心的美國軍事行動開始，數字技術已經成為先進武器、戰術和戰略的基礎。從戰場態勢感知和自主無人機到精確制導彈藥和機器驅動的心理行動，網絡正在使戰爭進入網絡時代。

在集中式機構對工業時代至關重要的地方，平臺和網絡正在成為數字時代的關鍵。人工智能本質上是一種 "自下而上 "的技術，依靠不斷 "喂養 "大量的數據來支持機器學習作為 "學習引擎"。隨著數字生態系統的激增，網絡平臺和它們所依賴的數據管理系統成為管理不斷擴大的資源和人員的關鍵。

與金融部門一樣，DND應該尋求區塊鏈等DLT，以加速加拿大軍隊的數字化轉型。通過在分散的網絡中橫向分配數據，CAF區塊鏈可以幫助減少官僚化系統固有的限制和脆弱性。DLT提供了一個高度分散的驗證系統，可以確保所有的通信和數據傳輸免受對手的攻擊，同時消除集中式節點的潛在故障。

3.2 無人機群和機器人技術

人工智能在軍事規劃中的應用正在迅速推進，許多國家在部署無人機和機器人方面已經取得了很大進展。事實上，無人機技術的全球擴散正在順利進行中。

世界各地的軍隊正在加速開發或采購攻擊型無人機（見圖5）。俄羅斯的 "閃電"（BulgarianMilitary.com 2021）、西班牙的Rapaz8以及英國、9美國10和以色列11的各種無人機項目共同代表了軍事技術新時代的早期階段。與工業時代的軍事技術不同，無人機可以以低成本獲得，并需要相對較少的技術技能。

無人機群技術涉及微型/迷你無人機/無人駕駛飛行器或無人機群，利用基于共享信息的自主決策。事實上，當代軍用無人機已經可以被設計成在沒有人參與的情況下定位、識別和攻擊目標。利用蜂群技術，數以百計的非武裝無人機可以從現場收集信息，同時用各種武器（即火器、火炮和/或彈藥）引導數以千計的無人機。

正如簡短的視頻 "Slaugherbots "所展示的那樣，完全自主的武器將使瞄準和殺死獨特的個人變得非常容易和便宜。在面部識別和決策算法的基礎上，國家和非國家行為者都可以廣泛使用致命性武器。數以千計的相對便宜的無人機配備了爆炸性的彈頭，有可能壓倒防空系統，攻擊基礎設施、城市、軍事基地等等。

圖5：無人機對比

3.3 馬賽克戰爭

無人機群壓倒加拿大軍事設施的威脅，以及對關鍵基礎設施的網絡攻擊或在衛星傳感器檢測到威脅時自動發射的高超音速導彈，代表了一個令人不安但越來越可能的未來。從復雜性科學和對昆蟲的研究中產生的，使用無人機來支持 "集群情報 "代表了一個加速戰爭節奏的新工具集。

為了應對這種不斷變化的環境，DARPA提出了 "馬賽克戰爭"的概念。馬賽克戰爭的中心思想是，模塊化系統可以成為應對高度網絡化環境的廉價、靈活和高度可擴展的工具。就像馬賽克中的瓷片一樣，單個作戰平臺可以被設計成高度可配置的。編隊利用分散的代理在 "殺戮網 "上進行重新配置。殺戮網的目標是避免 "單體系統 "的結構僵化。

與傳統戰爭中需要的復雜棋局不同，馬賽克戰爭利用數字網絡，利用模塊的靈活性和增強的決策（時間壓縮）加快動態響應時間。像自然界中的復雜系統一樣，殺傷性網絡使用算法來消除單點故障，通過模塊化設計加速反應時間。

從主導地位（預測）轉向加速反應（適應），"馬賽克戰爭 "旨在支持混合軍事單位，利用 "決策棧 "上下的橫向網絡。人工智能、無人機、傳感器、數據和人員結合在一起，為地面上的作戰指揮官提供支持，使小型編隊能以更快的速度獲得情報、資源和后勤資產。

像 "馬賽克戰爭 "這樣的模塊化系統表明，未來的戰爭將越來越多地利用現在驅動戰爭游戲和模擬的計算、數據分析和算法。推動高度流動、游戲化和不可預測的環境，未來的人工智能系統可以將戰爭加速到一個隨著結果范圍的擴大而變得極其密集的計算速度和節奏。

DARPA最近的AlphaDogfight（2019-2020年）為這一新現實提供了一個窗口。使用復雜的F-16飛行模擬器讓計算機與有經驗的人類飛行員對決，試驗的目的是為DARPA的空戰進化計劃推進人工智能開發者。毫不奇怪，F-16人工智能代理通過積極和精確的機動性擊敗了人類飛行員，而人類飛行員根本無法與之相提并論，五局為零。

4 對抗性攻擊

人工智能的武器化也在激起對抗人工智能系統的新戰略和方法。正如網絡行動（無論是間諜活動還是攻擊）可以指示計算機網絡或機器以它們不打算的方式運行，對手也可以對人工智能系統使用同樣的策略。這個過程被稱為對抗性機器學習，旨在找出機器學習模型的弱點并加以利用。攻擊可能發生在開發或部署階段，包括通過提供欺騙性輸入（例如，"毒化"數據）或針對模型本身來誤導模型。

這些方法在國家安全環境中特別危險，因為在許多情況下，它們是微妙的，人類無法察覺。此外，具有挑戰性的是，對手不一定需要對目標模型的具體知識或直接訪問其訓練數據來影響它。隨著人工智能系統變得更加普遍，更多的人可以接觸到，對手的吸引力和攻擊機會將增加。

4.1 攻擊數據

攻擊者可能試圖修改訓練數據或測試數據。這是通過創造對抗性樣本來實現的，這些樣本被故意 "擾亂 "或改變并提供給模型，從而導致錯誤。例如，通過改變洗衣機圖像的分辨率，研究人員能夠欺騙一個模型，將機器分類為 "安全 "或 "擴音器"（Kurakin, Goodfellow and Bengio 2017）。對人的眼睛來說，對抗性圖像看起來幾乎是一樣的。

在國家安全方面，對手可能會試圖使用同樣的技術來暗示武器系統實際上是一個社區中心。如果這是在孤立的情況下發生的，那么這個問題很可能被識別和解決。如果對手的樣本被長期大規模使用，這可能成為一個重大的挑戰，并影響對情報收集系統的信任。

此外，一些對手可能并不精確--或有技能--并可能試圖迫使一個模型對整個類別而不是特定類別進行錯誤分類。由于我們在國家安全環境中越來越依賴計算機圖像，并不總是能夠實時或在有爭議的空間進行驗證，因此在這種攻擊中出現誤判的風險是很大的。

高后果的人工智能系統并不是對抗性攻擊的唯一目標。受對抗性樣本影響的人工智能系統可以包括生物識別，其中假的生物特征可以被利用來冒充合法用戶，語音識別中攻擊者添加低量級的噪音來混淆系統（Zelasko等人，2021）和計算機安全（包括在網絡數據包中混淆惡意軟件代碼）。

由于DND/CAF尋求通過部署人工智能系統來提高效率--如軍艦上的語音助手（McLeod 2019）--必須在部署前評估對抗性使用的風險并制定對策。

4.2 攻擊模型

除了改變輸入，另一種攻擊方法可用于逆向工程模型以獲取訓練數據（Heaven 2021）。由于機器學習模型對訓練數據的表現比新的輸入更好，對手可以識別目標模型預測的差異，并與包括個人身份信息在內的已知數據相匹配（Shokri等人，2017）。隨著機器學習即服務變得越來越多--而且在許多情況下，被用作開發更復雜的能力的基礎--DND將需要仔細審查國家安全系統的數據泄漏風險。這甚至適用于看似無害的系統，如語音助手。

人工智能系統的弱點的例子很多（Hadfield-Menell等人，2017）。這些例子包括吸塵器將收集到的灰塵彈回它剛打掃過的地方，以便它能收集更多的灰塵，或者數字游戲中的賽艇在原地循環以收集分數，而不是追求贏得比賽的主要目的。雖然這些例子沒有生命危險，但同樣的技術--被稱為獎勵黑客（當一個模型被指示使其目標函數最大化，但卻以非故意的方式進行）--可以被用于更嚴重的效果。

從旨在用固定的訓練數據解決 "單步決策問題 "的機器學習過渡到解決 "順序決策問題 "和更廣泛的數據集的深度機器學習，將使對抗性攻擊更難發現。這種威脅是如此之大，以至于美國情報高級研究項目活動正在資助一個項目，以檢測木馬人工智能對已完成系統的攻擊。令人擔憂的是，政府可能會在不知情的情況下操作一個產生 "正確 "行為的人工智能系統，直到出現 "觸發 "的情況。例如，在部署過程中，對手可能會攻擊一個系統，并在更晚的時候才導致災難性的故障發生。這些類型的攻擊可能會影響到圖像、文本、音頻和游戲的人工智能系統。

4.3 防御和反制措施

正如對抗性樣本可以用來愚弄人工智能系統一樣，它們可以被納入訓練過程中，以使它們對攻擊更加強大。通過對最重要的國家安全人工智能系統進行清潔和對抗性數據的訓練--要么給它們貼上這樣的標簽，要么指示一個模型將它們分離出來--更大的防御是可能的。但是，復雜的對手很可能會自行躲避這種防御方法，而使用額外的戰術進行深度防御將是必要的。

GANs有各種各樣的用例，從創建深度假說到癌癥預后（Kim, Oh and Ahn 2018）。它們也可用于防御對抗性攻擊（Short, Le Pay and Ghandi 2019），使用一個生成器來創建對抗性樣本，并使用一個判別器來確定它是真的還是假的。一個額外的好處是，使用GANs作為防御，實際上也可能通過規范數據和防止 "過度擬合 "來提高原始模型的性能（IBM云教育2021）。

對抗性攻擊和防御模型進行基準測試--如使用GANs--是一種全面的對策，可以對AI系統進行比較。這種方法為制定和滿足安全標準提供了一個量化的衡量標準，并允許評估人工智能系統的能力和限制。

作為這個測試和評估過程的一部分，博弈論可能有助于建立對手的行為模型，以確定可能的防御策略。由于人工智能系統無法在傳統的信息安全意義上進行 "修補"，因此在部署前應仔細分析針對國家安全人工智能系統的對抗性攻擊的風險，并定期進行審查。此外，訓練有素的模型--特別是那些關于機密數據和最敏感應用的模型--應該得到仔細保護。

5 關于人工智能的全球治理

數據驅動的戰爭的速度和范圍表明，我們正在進入一個新的時代，其中致命性武器系統的潛力--無論是否有人類參與--都可能極大地改變全球力量平衡。從殺手級無人機和人機合作到增強的軍事決策（殺手2020），人工智能技術將使世界各國軍隊投射力量的能力大大增加。正在進行的人工智能武器化也與空間武器化相重疊（《經濟學人》2019年），因為低地球軌道（LEO）日益成為軍事監視、遙感、通信、數據處理（Turner 2021）和彈道武器（Sevastopulo和Hille 2021）的操作環境。

人工智能與低地軌道和致命性自主武器系統的興起，代表了全球安全性質的一個關鍵轉折點。為此，世界各地的學術研究人員、技術企業家和公民都對人工智能的軍事化所帶來的危險表示擔憂。正如他們正確地指出的那樣，在規范負責任地開發和使用人工智能的規范和法律方面缺乏國際共識，有可能造成未來的危機。

5.1 戰爭法則

除了我們在科幻小說中經常看到的對人工智能的夸張描述，重要的是建立適當的制衡機制，以限制人工智能技術可能提供的權力集中。關于管理人工智能和其他數字技術的共同國際規則和條例將塑造未來幾十年的戰爭和沖突的輪廓。在軍事人工智能的發展中制定護欄，對于減少未來沖突的可能性至關重要。

加拿大和其他北約國家積極參與這一討論可能是未來全球和平與安全的關鍵。在發動戰爭的條件（jus ad bellum）和戰爭中的人工智能行為（jus in bello）方面，規范人工智能使用的戰爭法仍有待確定。鑒于美國和中國之間不斷擴大的競爭，需要制定關于致命性自主武器系統的使用及其擴散的條約是再及時不過了。

正如北約所觀察到的，加拿大及其盟國應尋求促進、參與和建立合作機會，以支持開發和應用人工智能和其他EDT的廣泛、全面的架構（北約新興和顛覆性技術咨詢小組2020）。盡管面臨著艱巨的挑戰，全球治理在規范軍事人工智能方面可以發揮重要作用。盡管對人工智能及其武器化有不同的看法，但過去的談判可以作為未來條約的基礎，特別是在定義戰爭規則方面。這包括關于常規武器、核軍備控制、生物和化學武器、地雷、外層空間和平民保護的條約（見圖6）。

到目前為止，《聯合國特定常規武器公約》（CCW）已經監督了一個討論應對自主武器帶來的人道主義和國際安全挑戰的進程。已經提出了一系列監管致命性自主武器系統的潛在方案，包括《特定常規武器公約》下的一項國際條約，一個不具約束力的行為準則，宣布各國承諾負責任地開發和使用致命性自主武器系統。在聯合國之外，2013年發起了 "停止殺手機器人 "運動，目標是完全禁止致命性自主武器系統。

聯合國秘書長安東尼奧-古特雷斯強調了人工智能和其他數字技術的風險和機遇（聯合國2020），并呼吁禁止致命性自主武器系統（古特雷斯2021）。不幸的是，聯合國成員國，特別是聯合國安理會的觀點存在分歧，一些國家認為監管是民族國家的專屬權限，而另一些國家則側重于更多部門的做法。除了人工智能的武器化，在圍繞人權、算法偏見、監控（公共和私人）以及國家支持的或國家支持的網絡攻擊等問題上也存在廣泛的分歧。

對于世界上的主要軍事大國來說，缺乏互信仍然是追求人工智能集體軍備控制協議的一個重大障礙。即使相當多的國家支持提供新的具有法律約束力的條約，禁止開發和使用致命性自主武器，但世界上大多數主要軍事大國都認為人工智能的武器化具有重大價值。鑒于這些分歧，致命性自主武器系統的多邊管理將需要建立信任措施，作為打開政治僵局的軍控進程的手段。

走向平凡的監管 也許制定管理人工智能的政策和監管制度的最具挑戰性的方面是難以準確地確定這些制度應該監管什么。與生物和化學武器不同，人工智能大多是軟件。事實上，人工智能是一個移動的目標：40年前被定義為人工智能的東西，今天只是傳統的軟件。

人工智能是一個模糊的技術領域，影響著廣泛的商業和軍事應用。例如，機器學習算法是搜索引擎（算法排名）、軍用無人機（機器人技術和決策）和網絡安全軟件（算法優化）的成分。但它們也支撐著平凡的行業，甚至兒童玩具（語義分析、視覺分析和機器人技術）、金融軟件和社交媒體網絡（趨勢分析和預測分析）。

與屬于這些平凡的監管領域的產品和流程一樣，人工智能技術不是被設計成最終實體，而是被設計成在廣泛的產品、服務和系統中使用的成分或組件。例如，一個 "殺手機器人 "不是一種特定技術的結果。相反，它是人工智能 "成分 "重新組合的結果，其中許多成分也被用來檢測癌癥或增加駕駛者的安全。

雖然人們傾向于使用一個專門的不擴散鏡頭來監管人工智能，但雙重用途的挑戰仍然存在。與核擴散或轉基因病原體不同，人工智能不是一種特定的技術。相反，它更類似于一個材料或軟件成分的集合。與大多數二元的核不擴散鏡頭相比，可以在食品監管中找到更相關（盡管不那么令人興奮）的監管模式的靈感，特別是食品安全和材料標準（Araya和Nieto-Gómez 2020）。

5.2 治理人工智能

鑒于對人工智能進行全面監管存在重大的概念和政治障礙，治理仍然是一項艱巨的挑戰。一方面，如果我們把人工智能理解為一系列復制人類活動的技術實踐，那么就根本沒有一個單一的領域可以監管。相反，人工智能的治理幾乎重疊了每一種使用計算來執行任務的產品或服務。另一方面，如果我們將人工智能理解為大幅改變人民和國家之間權力平衡的基礎，那么我們就會面臨重大挑戰。

幸運的是，這并不是民族國家第一次面臨影響全球安全的新技術。在第二次世界大戰之后，世界上最強大的國家--美國、英國、蘇聯、中國、法國、德國和日本--對核武器、化學制劑和生物戰的全球治理進行監督。當時和現在一樣，世界必須采取集體行動來治理人工智能。

與冷戰時期一樣，包括定期對話、科學合作和分享學術成果在內的建立信任措施可以幫助減少地緣政治的緊張。為管理軍事人工智能帶來的風險制定一個共同的詞匯，可以為隨著時間的推移制定更有力的人工智能多邊條約提供基礎。

在這方面，經濟合作與發展組織（OECD）已經公布了其關于人工智能的建議，作為一套政府間標準，于2020年2月啟動了人工智能政策觀察站。加拿大和法國政府還與經合組織一起領導了一個全球人工智能伙伴關系（GPAI），旨在成為一個人工智能政策的國際論壇。GPAI的成員專注于以 "人權、包容、多樣性、創新和經濟增長原則 "為基礎的負責任的人工智能發展。

除了GPAI，一些歐洲國家已經呼吁歐盟成員開始一個關于負責任地使用新技術的戰略進程--特別是人工智能。美國已經邀請盟國討論人工智能的道德使用問題（JAIC公共事務2020）。北約已經啟動了一個進程，鼓勵成員國就一系列道德原則和具有軍事用途的電子技術關鍵領域的國際軍備控制議程達成一致（Christie 2020；NATO 2020）。認識到EDT對全球安全的深遠影響，北約于2019年12月推出了EDT路線圖（北約科技組織2020）。

從整體上看，二十一世紀需要進行正式監管。從長遠來看，這很可能包括尋求與禁止生物武器、化學武器和殺傷人員地雷一樣的人工智能條約。然而，鑒于人工智能的創新速度和世界超級大國之間日益擴大的分歧，就人工智能的全球治理進行談判的機會之窗可能正在關閉。

圖6:人工智能的全球治理

6 結論：走向國家創新體系

即使在工業時代即將結束的時候，技術創新也在加速進行（Araya 2020）。自從大約80年前誕生以來，人工智能已經從一個神秘的學術領域發展成為社會和經濟轉型的強大驅動力。人工智能在戰爭中的整合被一些軍事分析家描述為一個不斷發展的 "戰場奇點"（Kania 2017）。在 "技術奇點"（Schulze-Makuch 2020）的概念基礎上，人們越來越多地猜測，人工智能和機器人將超越人類的能力，有效地應對算法驅動的戰爭。

人工智能和其他EDT的演變正在將先進的數據、算法和計算能力匯集起來，以 "認知 "軍事技術。在這種新環境下，現代軍隊正變得嚴重依賴提供安全、及時和準確數據的網絡。數據已經成為數字系統的 "作戰用氣 "和驅動 "智能機器 "的原料。隨著數據重要性的增加，在廣闊的數字領域的對抗性競爭也在增加。事實上，數據的真正價值在于其推動創新的數量和質量。

正如北約關于EDT的年度報告（北約新興和顛覆性技術咨詢小組2020）明確指出，要想跟上技術變革的步伐，就必須在技術的開發、實驗和應用方面保持靈活性和快速迭代。整個CAF的創新能力必須是一個更廣泛的創新生態系統的一部分，該系統有效地整合了公共和私人生態系統的研究和實施。這包括與加拿大工業界合作利用雙重用途的GPT的明確目標，以便利用已經存在的技術。

這種多領域的合作在歷史上被定義為國家創新體系（NSI）（OECD 1997）。事實上，NSI政策和規劃可以采取多種形式，從松散的協調到高度整合的伙伴關系。在美國（Atkinson 2020）、中國（Song 2013）和歐洲（Wirkierman, Ciarli and Savona 2018）應用的各種NSI規劃模式表明，在最大化政府-產業-研究伙伴關系方面可以找到大量的經濟和社會回報。政府應通過稅收優惠、采購和研究資金以及戰略規劃，努力建設加拿大的技術能力。但它不能單獨行動。

國家創新必然取決于機構參與者在一個共享的生態系統中進行合作。出于這個原因，一個協調的加拿大國家統計局將需要在推動長期創新的過程中，人們和機構之間的技術和信息的相互流動。鑒于EDT的許多創新是由工業界主導的，推進公私伙伴關系對加拿大軍隊的發展至關重要。對于國防部/加拿大空軍來說，要推進適合數字時代的軍隊，政府、工業界和學術界將需要以更綜合的方式進行合作。

建立一個強大的加拿大創新生態系統將意味著更廣泛的公私合作和持續的知識和資源的再培訓、培訓和孵化。盡管開發尖端人工智能需要人力資本投資，但大多數人工智能應用現在可以通過開源許可獲得，即使核心學習算法可以在公共平臺和整個學術生態系統中獲得。這種 "開放一切 "環境的影響是對封閉的等級制度和深思熟慮的官方機構的實質性挑戰。

政府程序和規劃將需要適應加速的創新生命周期，以配合EDT積極的淘汰周期。除了與網絡技術相關的巨大的不對稱安全風險外，向數據驅動型軍隊的轉變將需要大量關注數據安全和數據治理。與進行傳統的國家間沖突所需的大量成本和規劃不同，網絡攻擊的破壞性影響可以由僅有一臺個人電腦的小團體對關鍵基礎設施發動。鑒于未來不斷增加的挑戰，大型官僚機構（公司、政府、學術和軍事）的設計變化是不可避免的。

除了對新的和不同的知識、資源和專長的需求，加拿大政府和加拿大軍方將需要平衡硬實力和不斷變化的地緣政治格局的需求。在美國占主導地位的時代之外，二十一世紀正被一個以技術民族主義和后布雷頓森林體系為特征的多極體系所塑造。面對一個快速發展的數字時代，國際合作將是確保和平與安全的關鍵。信息共享、專家會議和多邊對話可以幫助世界各民族國家及其軍隊更好地了解彼此的能力和意圖。作為一個全球中等國家，加拿大可以成為推動這一努力的主要伙伴。

國際治理創新中心（CIGI）

國際治理創新中心（CIGI）是一個獨立的、無黨派的智囊團，其經同行評議的研究和可信的分析影響著政策制定者的創新。其全球多學科研究人員網絡和戰略伙伴關系為數字時代提供政策解決方案，目標只有一個：改善各地人民的生活。CIGI總部設在加拿大滑鐵盧，得到了加拿大政府、安大略省政府和創始人吉姆-巴爾西利的支持。