隨著技術的飛速發展和威脅環境變得更加復雜，今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能（AI）的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識，增加對威脅和對手能力和意圖的了解，識別和評估可能的戰術行動方案，并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。

人工智能系統為海戰提供了優勢，但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊，改善作戰情況的不確定性，并提出改善作戰和戰術結果的建議。實施人工智能系統，以滿足海軍應用的這些苛刻需求，給工程設計界帶來了挑戰。本文確定了四個挑戰，并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。

引言

人工智能是一個包括許多不同方法的領域，目的是創造具有智能的機器（Mitchell 2019）。自動化系統的運作只需要最小的人類輸入，并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器，執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中，以做出決定并得出結論。

如表1所述，人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen（2020，3）將專家系統描述為手工制作的知識系統，使用傳統的、基于規則的軟件，將人類專家的主題知識編入一長串編程的 "如果給定x輸入，則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統，從大型數據集中進行訓練。ML系統自動學習并從經驗中改進，而不需要明確地進行編程。一旦ML系統被 "訓練"，它們就被用于操作，以產生新的操作數據輸入的結果。

表1. 兩類人工智能系統

人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力，在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力，以了解復雜和不確定的情況，制定和權衡選擇，預測行動的成功，并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。

本文確定了工程設計界必須解決的四個挑戰，以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括：（1）復雜的海戰應用領域；（2）需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統；（3）人工智能系統工程的一些新挑戰；（4）存在對手的人工智能進展，不斷變化和發展的威脅，以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域，但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。

表2. 為海軍實施人工智能系統的四個挑戰領域

挑戰一：戰爭復雜性

人工智能正被視為一種能力，可應用于廣泛的應用，如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰，人工智能系統必須與之抗衡，才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子，從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素，這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度，對六個應用領域的特征進行了定性評估。顏色代表低貢獻（綠色）、中貢獻（黃色）和高貢獻（紅色）。

表3中最上面一行顯示的特征包括： (1)認識上的不確定性水平（情況知識的不確定性程度），(2)情況的動態性，(3)決策時間表（可用于決策的時間量），(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5）資源的復雜性（數量、類型、它們之間的距離以及它們的動態程度），（6）是否涉及多個任務，（7）所需訓練數據集的復雜性（大小、異質性、有效性、脆弱性、可獲得性等 8）對手的存在（競爭者、黑客或徹頭徹尾的敵人），（9）可允許的錯誤幅度（多少決策錯誤是可以接受的），以及（10）決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義，即基于一組樣本的貢獻因素，不同應用領域的不同復雜程度。

表3. 影響應用復雜性的因素比較

對于所有的應用領域來說，人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時；以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用，如貸款審批、廣告、醫療診斷（在某種程度上）面臨工程挑戰，但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的，做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而，航運錯誤是有空間的，而且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的空間非常小。在這種應用中，決策失誤會導致嚴重的事故。

影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此，戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子，海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是網絡空間，導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中，戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行，并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后，對于戰術決策及其可能的后果來說，風險可能非常大。

表4. 導致戰術決策復雜性的因素

解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案，即處理大量的數據，處理不確定性，理解復雜的情況，開發和評估決策選擇，以及理解風險水平和決策后果。Desclaux和Prestot（2020）提出了一個 "認知三角"，其中人工智能和大數據被應用于支持作戰人員，以實現信息優勢、控制論信心和決策優勢。約翰遜（2019年）開發了一個工程框架和理論，用于解決高度復雜的問題空間，這些問題需要使用智能和分布式人工智能系統來獲得情況意識，并做出適應動態情況的協作行動方案決定。約翰遜（2020a）建立了一個復雜的戰術場景模型，以證明人工智能輔助決策對戰術指揮和控制（C2）決策的好處。約翰遜（2020b）開發了一個預測分析能力的概念設計，作為一個自動化的實時戰爭游戲系統來實施，探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先，人工智能支持的C2系統需要描述戰術行動期間的復雜程度，然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平（人與機器的決策角色）。約翰遜（2021年）正在研究這些概念性工程方法在各種防御用例中的應用，包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來，戰術邊緣遠離指揮中心，通信和計算資源有限，戰場形勢瞬息萬變，這就導致在嚴酷復雜的戰地環境中，網絡拓撲結構連接薄弱，變化迅速"（Yang et. al. 2021）。戰術邊緣網絡也容易斷開連接（Sridharan et. al. 2020）。相比之下，許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲，而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時，必須進行仔細的設計考慮，以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。

在軍事領域使用人工智能必須克服復雜性的挑戰障礙，在某些情況下，人工智能的加入可能會增加復雜性。辛普森等人（2021）認為，將人工智能用于軍事C2可能會導致脆弱性陷阱，在這種情況下，自動化功能增加了戰斗行動的速度，超出了人類的理解能力，最終導致 "災難性的戰略失敗"。Horowitz等人（2020）討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人（2020）指出，人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性；如果人類決策者對產出缺乏信心和理解，他們可能會失去對人工智能系統的信任。

挑戰二：數據需求

實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。

ML系統的學習過程被稱為被訓練，開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法，允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段，ML系統繼續需要數據。

圖1顯示，在運行期間，ML系統或 "模型 "接收運行的實時數據，并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此，在整個系統工程和采購生命周期中，ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。

圖1. 使用數據來訓練機器學習系統

美國海軍開始認識到對這些數據集的需求，因為許多領域（戰爭、供應鏈、安全、后勤等）的更多人工智能開發人員正在了解人工智能解決方案的潛在好處，并開始著手開發人工智能系統。在某些情況下，數據已經存在并準備好支持人工智能系統的開發。在其他情況下，數據存在但沒有被保存和儲存。最后，在其他情況下，數據并不存在，海軍需要制定一個計劃來獲得或模擬數據。

收集數據以滿足海軍領域（以及更廣泛的軍事領域）的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的，在不同的項目和系統中被分隔開來，不容易從遺留系統中獲得，并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據，可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外，和平時期收集的數據并不代表沖突和戰時的操作。海軍（和軍方）還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的（和可能的）戰時行動，并構建足夠的ML訓練數據。

數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說，數據是一種珍貴的商品，并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據，目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。

海軍正在解決這一數據挑戰，開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺，正在管理數據以支持AI/ML的發展和其他類型的海軍應用，這些應用需要與任務相關的數據（Abeyta，2021）。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統，海軍需要在游戲中保持領先，擁有能夠代表各種可能情況的數據集，這些情況跨越了競爭、沖突和危機期間的行動范圍。因此，數據集的開發和管理必須是一項持續的、不斷發展的努力。

挑戰三：工程化人工智能系統

第三個挑戰是，人工智能系統的工程需要改變傳統的系統工程（SE）。在傳統系統中，行為是設定的（確定性的），因此是可預測的：給定一個輸入和條件，系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上，一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議，與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統，并確保它們對人類操作者來說是可解釋的、可信任的和安全的。

SE作為一個多學科領域，在海軍中被廣泛使用，以將技術整合到連貫而有用的系統中，從而完成任務需求（INCOSE 2015）。SE方法已經被開發出來用于傳統系統的工程設計，這些系統可能是高度復雜的，但也是確定性的（Calvano和John 2004）。如表5所述，傳統系統具有可預測的行為：對于一個給定的輸入和條件，它們會產生可預測的輸出。然而，許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人（2021年）解釋說，"SE及其方法的雛形基礎并不是為配備人工智能（即機器學習和深度學習）的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說，出錯的余地很小；因此，SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。

表5. 傳統系統和人工智能系統的比較

在整個系統生命周期中，將需要改變SE方法，以確保人工智能系統安全有效地運行、學習和適應，以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變，以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法，這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性，這些系統的行為不是完全可預測的，其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務，即隨著人工智能系統的發展，在部署期間不斷確保安全和理想的行為。

SE界意識到，需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會（INCOSE）最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為，人工智能系統可能會出現新類型的故障模式，這些故障模式是無法預料的，可能會突然發生，而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后，對于有更多的人機互動的人工智能系統，必須仔細注意設計系統，使它們值得信賴，可以解釋，并最終對人類決策者有用。

表6.人工智能系統工程中的挑戰（改編自：Robinson，2021）。

SE研究人員正在研究人工智能系統工程所涉及的挑戰，并開發新的SE方法和對現有SE方法的必要修改。Johnson（2019）開發了一個SE框架和方法，用于工程復雜的適應性系統（CASoS）解決方案，涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統，通過使用人工智能，可以協作產生所需的突發行為。Johnson（2021）研究了人工智能系統產生的潛在新故障模式，并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知，作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人（2021年）研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui（2021年）研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略，促進人類和機器之間的 "校準 "信任，這是作為適當利用的最佳信任水平，避免過度信任和不信任，并在信任失敗后涉及信任修復行動。Johnson等人（2014）開發了一種SE方法，即協同設計，用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

數據的作用對于人工智能系統的開發和運行來說是不可或缺的，因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人（2021）提出，SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構，用于開發、訓練和評估AI算法。French等人（2021）描述了需要適當的數據策劃來支持人工智能系統的發展，他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據，以及需要識別和消除數據中的固有偏見。

SE界正處于發展突破和進步的早期階段，這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步，以確保海軍持續的技術優勢。

挑戰四：對抗性

海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰：(1)人工智能技術在許多領域迅速發展，海軍必須注意同行競爭國的軍事應用進展，以防止被超越，(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性，以及(3)海軍應用的人工智能系統需要發展和適應，以應對不斷變化的威脅環境。

表7. AI系統的對抗性挑戰

同行競爭國家之間發展人工智能能力的競賽，最終是為了進入對手的決策周期，以便比對手更快地做出決定和采取行動（Schmidt等人，2021年）。人工智能系統提供了提高決策質量和速度的潛力，因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索，同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標，不僅僅取決于人工智能研究。它需要適當的數據收集和管理，有效的SE方法，以及仔細考慮人類與AI系統的互動。海軍必須承認，并采取行動解決實施人工智能系統所涉及的挑戰，以贏得比賽。

網絡戰是海軍必須成功參與的另一場競賽，以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統（Libicki, 2009）。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據，導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制，他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化，其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護，免受網絡攻擊（French等人，2021）。

威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化，武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強，這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統，必須能夠加強海軍感知、探測和識別新威脅的能力，以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境，并在行動中學習，以了解戰斗空間中的未知因素，并通過創新的行動方案快速應對新的威脅（Grooms 2019, Wood 2019, Jones et al 2020）。海軍可以利用人工智能系統，通過研究特定區域或領域的長期數據，識別生活模式的異常（Zhao等人，2016）。最后，海軍可以探索使用人工智能來確定新的和有效的行動方案，使用最佳的戰爭資源來解決棘手的威脅情況。

結論

人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而，人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的，可以學習和適應--特別是在用于更復雜的行動時，如高度動態的、時間關鍵的、不確定的戰術行動環境中，允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域：（1）開發能夠解決戰爭復雜性的人工智能系統，（2）滿足人工智能系統開發和運行的數據需求，（3）設計這些新穎的非確定性系統，以及（4）面對對手帶來的挑戰。

海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統，以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。

1.第一個建議是了解人工智能系統與傳統系統之間的差異，以及伴隨著人工智能系統的開發和實施的新挑戰。

人工智能系統，尤其是那些旨在用于像海戰這樣的復雜行動的系統，其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解，更加不可預測，并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。

2.第二個建議是投資于人工智能系統的研究和開發，包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。

研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面，海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的，并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據，用于人工智能系統開發，并確保數據的相關性、有效性和安全性。

3.第三個建議是承認挑戰，并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。

盡管人工智能系統正在許多領域實施，但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識，即在人工智能系統準備用于戰爭決策輔助工具之前，需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖，彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法，在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。

海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統，戰術決策優勢的重大進步是可能的。此外，海軍必須跟上（或試圖超越）對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解，對研究和開發計劃的投資，以及對人工智能技術進步時限的現實預期，海軍可以在應對這些挑戰方面取得進展。

在描述未來戰場時，許多軍事從業人員推測人工智能（AI）的影響，還有人甚至要求使用人工智能。本文提供了對戰場AI技術的基本理解。首先，最重要的是，高質量、有標簽、有組織的數據為人工智能系統提供養料。此外，許多人工智能架構在接觸到太少或有污點的數據時被證明是脆弱的，有可能被對手所利用。應用一個健全的應用模式，考慮到人類與人工智能實施的互動，有助于確保軍事交戰不會變成純粹的數據驅動模式。

引言

在描述未來的戰場時，許多軍事工作者推測人工智能（AI）的影響，還有人甚至要求使用人工智能。因為人工智能已經推動了部分經濟的發展，并引導了自動駕駛汽車原型開發。這些商業例子代表了工程師們對使用人工智能的選擇，因為它為特定問題提供了正確的解決方案。這些案例經常使用機器學習（ML），它能極好地完成一個特定的數據特征任務，但并不代表人工通用智能。ML算法可以產生令人印象深刻的結果，但事實證明其高度依賴訓練數據，這使它們很容易受到攻擊。盡管如此，軍事規劃者和領導人目前面臨著在哪里實施以及如何投資AI和ML的決定，如果處理不當將很有可能失去半自主性和決策速度方面的潛在戰場優勢。事實上，美國《2022財政年度國防授權法》第226條要求審查 "人工智能和數字技術在美國防部平臺、流程和業務中的潛在應用"，這使得對人工智能和ML應用的理解變得更加緊迫。此外，通過聯合人工智能中心、美國海軍研究實驗室和美國空軍-馬薩諸塞州技術研究所人工智能加速器等組織，實施的有前途的投資和研究。ML對數據的依賴，以及它的脆弱性，揭示了潛在軍事應用的基本風險和限制。這些有助于為一個基本模型提供信息，軍事規劃人員可以據此決定在哪里以及如何利用一個基于人工智能的系統。這個模型，再加上確保數據干凈和跟蹤人工智能系統的訓練時間，可以幫助確保軍事應用不會落入讓人工智能做出不準確或錯誤決定的陷阱。

背景（ML的基礎）

目前ML實施方式是通過訓練計算機系統來很好地完成一項任務。例如，目前的ML系統可以讀取路標。然而，盡管如此，一個用于圖像處理的ML算法如果應用于其他數據模式，很少會產生相稱的結果。例如，一個為其他目的而設計的系統，無法以同樣的信心使用圖像處理算法來識別人類的語音。即使是面對相同的數據模式，如圖像，一個在識別一種類型的圖像（如路標）時表現良好的ML算法，在訓練識別另一種圖像（如樹木）時也可能表現不佳。美國和中國人工智能創新的領導者李開復認為，實施一個ML系統 "需要大量的相關數據，一個強大的算法，一個狹窄的領域，以及一個具體的目標。如果你缺少其中任何一個，事情就會崩潰。" 因此，圖像、音頻、金融和信號處理之外的應用往往仍然是研究和發展的主題。互聯網提供了收集數以百萬計數據點的手段，這些數據點是開發許多強大人工智能系統原型所需要的。然而，這些數據隨后需要組織和標記，通常是由人類來完成，以便ML系統可以訓練。上面的例子，人類可能會查看、識別和標記ML系統最初學習的每一張停車標志的圖像。用來訓練軍事人工智能應用系統的真實標記數據往往很稀缺。數以千計的鳥類或停車標志圖像已經貼上了標簽，這反映了時間和資源的規模，但這不一定能用來標記訓練軍事人工智能系統所需的獨特傳感器數據。如果沒有找到可以轉化為軍事應用的已標記的數據，就必須實施一個收集和標記新訓練數據的系統。由于這些原因，數據的質量和可用性給任何軍事應用帶來了時間和資源障礙。

當提供優質數據時，人們可以在兩種基本模式下訓練ML程序：有監督的和無監督的。監督訓練需要有真實標簽（即正確答案）的樣本。在對新數據進行分類后，ML模型可以將其輸出與正確的解決方案進行比較。當它收到越來越多的訓練數據時，ML算法就會尋求使其輸出與正確標簽之間的誤差最小化。隨著更多的數據和樣本通過ML的反饋，其反應的準確性可能會增加，但太多類似的樣本會使模型過度擬合，使其在執行時對新數據進行錯誤分類。在無監督學習中，ML模型沒有正確分類的樣本；相反，它把數據分成類似的類別。同樣，訓練數據集影響了這些分組在相似性方面的精確程度。當遇到有標簽的數據并尋求特定的分類能力時，監督學習算法可能被證明更有用，而無監督學習最初可能被證明對一個新的數據集更有用。值得注意的是，兩種方法都存在錯誤。

監督和非監督學習都適用于軍事應用。對于圖像分析，一個ML系統有可能識別出特定類型的飛機或車輛的型號。一個ML系統也可以快速識別觀察到的環境變化。這種識別的變化可以觸發其他傳感器或ML系統進行更仔細的觀察。美國空軍最近表示，它已經實施了人工智能來支持目標定位。中國的軍事思想家認為人工智能和智能武器是未來戰爭中潛在的決定性技術。情報、監視和偵察（ISR）；信息戰；和圖像分析是軍事ML的主要應用。

除了建立大量有組織和可消化的數據用于訓練外，ML系統必須可以獲得新數據和計算能力，以執行ML算法。事實證明，圖形處理單元，也就是驅動現代游戲電腦的硬件，可以提供所需的處理能力。然而，移動和處理ML數據所需的存儲空間和帶寬會使推動ML系統向戰術應用發展成為挑戰。這些限制意味著人們可能很快將導航、傳感器到射手射擊等應用推向戰術邊緣。其他可實現的應用，如復雜的飛機維護，需要大量的數據收集、開發和測試，然后在戰術邊緣進行輕度訓練。

有可能的是，人們可以通過在超級計算機上訓練ML系統，進而采用訓練好的算法來克服這些障礙，這個過程中可能會有專門的云架構幫助。網狀網絡和分布式計算方法也將有助于克服這一挑戰。然而，即使要實施這些解決方案，也需要對目前的戰術數據通信進行大規模的改革。訪問和處理數據的能力將決定AI應用在戰場上的位置。如果沒有在戰術邊緣推拉實時數據的能力，ML戰場應用仍將受到限制。

脆弱性（好數據和壞數據）

除了需要大量的數據來訓練ML系統，數據還必須具有良好的質量。質量意味著數據是在不同的情況下從不同來源獲取的，然后以ML系統可以接受的方式進行標注和展示。更重要的是，ML實施必須確保數據的完整性和標簽的準確性。古老的諺語 "垃圾進，垃圾出 "對ML來說是真實的，如果沒有高質量的訓練數據，假陽性或其他不良的結果會大量出現。一些研究實例已經證明了這一點對ML圖像處理算法的影響。簡單地給照片中的像素添加噪音或色調和亮度的輕微變化，就能迫使其做出錯誤的分類，即使在人眼看來圖像是一樣的。同樣，通過在停車標志上放置貼紙來改變一個物體的物理性質，也會迫使ML系統對該標志進行錯誤分類。(另一方面，人類仍然會感知到停車標志，而忽略貼紙）。同樣，谷歌已經證明，一個簡單的 ""放置在圖像的角落里會阻止正確的ML分類。雖然這些例子集中在ML的圖像應用上，但它們說明了ML系統在訓練中的脆弱性以及任何ML系統中數據完整性的重要性。這些問題對許多商業應用來說是可以容忍的，但在軍事背景下，它們就顯得更加突出。

這種對數據的依賴引入了兩種顛覆ML系統的主要方法。攻擊者可以在系統學習之前對數據下毒，或者向受訓系統提供病態數據。像素操作和圖像修補可以在模型訓練階段（即操作前）提供一種攻擊手段。將貼紙貼在停車標志上或房間里的海報上，可以用來攻擊操作中的訓練有素的ML系統。軍事從業人員可以很容易對數據進行篡改。這些可能性包括對數據庫進行網絡攻擊，以及應用簡單而一致的偽裝手段，以確保訓練中的簽名與行動中的簽名不一致。此外，偏離武器系統的正常使用方式，有可能影響ML系統的分類結果。任何ML的軍事應用都必須通過強調確保數據不被篡改、數據來自可靠來源以及數據被正確標記的重要性來防止此類攻擊。同時，軍事人工智能系統必須有一個維持計劃，以便在新的相關數據源可用時用其更新訓練過的模型。在戰場行動的緊迫時間框架內，這種維護可能很難實現。

為了防止這種可能性并反制對手對ML的應用，數據管理變得至關重要。首先，必須開發一種手段，以一種有標簽和有組織的方式跟蹤友軍的數據暴露。這意味著每一次追蹤友軍能力可能會暴露于對手的ISR或通過間諜活動、黑客攻擊、工業或新聞界不知不覺地泄露情況。同樣重要的是，友軍要保持對攻擊者可能擁有數據的理解。對手可能有機會獲得高質量的監控數據，甚至是國防部門實施的ML模型。有了這個數據集和相關的分析，就有可能進行兵棋推演并考慮到對手可能的ML能力。在兵棋推演之后，人工智能專家可以得出關于偽裝、欺騙、甚至數據攻擊的建議。另外，如果知道對手使用什么ML技術，再加上這些友軍數據，就可以估計友軍的弱點或揭示ML賦能決策中的可預測性。因此，了解對手的人工智能和ML算法應該是一個優先事項。這種數據跟蹤方法有助于確定友軍在戰場上使用前應將哪些物品隱藏起來，并指導其有效應用。

然而，僅僅識別關鍵數據是不夠的。軍事部門還必須提供培訓手段，以便進行技術簽名管理。更容易進入安全設施和無線電頻率（RF）屏蔽機庫，或只在適當的光線和云層條件下進行訓練，都是各單位必須實施的概念。人們無法抹去對手收集的舊數據，但隨著國防部門開始實施新的能力，部隊可以管理他們的數據暴露或改變簽名。簡單地改變飛機上的油漆顏色或略微改變一個射頻形式因素就可以減輕過去的簽名暴露。諸如擴大聯合攻擊戰斗機的部署、高機動性火炮火箭系統或新的戰術編隊（如海軍陸戰隊濱海團）等能力應適用所有這些原則，作為其部署和培訓計劃的一部分。總之，要應用的原則包括確保ML訓練數據的完整性，保護和改變友軍簽名數據，并確保友軍ML實施的保密性。

在哪里應用AI（風險）

風險將推動軍隊應該在哪里實施人工智能以及系統應該有多大的自主性。麻省理工學院（MIT）林肯實驗室提出了一個描述人工智能 "影響領域"的模型，它試圖定義人工智能的現有商業和軍事應用。在這個模型中，低行動后果的應用包括將人工智能用于機器人吸塵器，而高行動后果的應用則將生命置于危險之中，如醫療診斷。這個模型將人工智能投資放在不同級別的可用數據和行動后果的類別中。例如，根據這個模型，最初投資于人工智能來分析ISR圖像的行動后果低于使用人工智能來直接攻擊目標。同樣的數據可以為ISR探測和武器交戰提供信息，但顯然行動的后果隨著交戰而增加。

另一個模型在試圖解釋人工智能在未來可能取代的東西時，更依賴于人的因素。李開復分析了人工智能可能取代的人類角色。他從不同的角度對待人工智能的應用，通過審查人工智能的潛在使用是否取代了社會或非社會角色，同時仍然認識到對高質量數據的要求。作為醫療領域的一個例子，精神病醫生的角色是高度社會化的，而放射科醫生的角色是非社會化的。李認為，當提供大量有標簽和可消化的數據時，人工智能投資可以最容易地取代非社會角色。這個觀點與經濟學家已經預測的有關工作場所的自動化取代 "常規手工和認知技能 "的觀點一致，這些技能不需要大量的創造性思維或個人互動。就軍事目的而言，人工智能發揮的社會作用與戰爭中的人類因素有關，如部隊士氣、政治目的和抵抗意志。在軍事應用中只使用基于社會的模型，意味著人們可以考慮用人工智能來取代人類在確定目標和開火的優先次序方面的某些作用。然而，火力行動的后果將必須要求人類繼續參與其中。

結合社會因素和行動后果，提供了一個初步評估工具的例子，即一項軍事活動是否會從人工智能應用中受益，以及應該保留多少人類監督（圖1）。

圖 1. 來自麻省理工學院林肯實驗室和李開復研究的人工智能軍事應用評估模型

正如李開復和麻省理工學院林肯實驗室所強調的數據重要性，組合模型的第一步需要策劃大量的高質量、有標簽的數據。必要的數據和對現有系統的完整理解只意味著人工智能可能會發揮作用。其他重要的技術考慮因素比比皆是，包括但不限于計算的可操作性、優化描述的精確性，以及學習模型的適用性。除了技術上的考慮，其他的標準也告知人們是否應該使用人工智能。使用的行動后果和社會方面的雙軸分析來評估應該如何使用人工智能，而不是是否可以。對人工智能應用的完整評估需要審查數據的可用性和人工智能的技術適用性，然后評估社會和行動的后果要素。

圖1所示的混合模型表明，初始軍事人工智能應用的最佳位置在于行動后果較低的非社會應用。同樣的左下角象限也為初步實施 "人在回路"（HOTL）模式提供了機會。這意味著人工智能將在遵守交戰規則（法律框架）的情況下提供戰斗管理選項，并有可能由人類進行否決，以確保人工智能的建議符合道德要求。 然而，如果沒有人類的干預，HOTL人工智能系統將執行這些行動。HOTL與 "人在回路 "模式形成鮮明對比，在這種模式下，操作者會向人工智能決策過程提供積極的輸入。越是在高度社會化或高后果行動領域的應用，人類就越是要在決策之前保持在循環中。最后，人們會避免在這個模型的右上角直接應用人工智能，在那里會發生具有高行動后果的高度社會活動。

圖2說明了這種方法在常見的聯合目標定位活動中的應用實例。目標開發和優先排序在很大程度上是技術性和非社會性的，導致了較高的行動后果，需要人類參與其中。相反，戰斗損傷評估的行動后果較低，但在確定火力對對手造成的影響時，具有較高的人類社會作用。武器配對和能力分析本身屬于非社會領域，其行動后果相對較低，只需要人類參與其中。指揮官的決策具有高度的社會性和行動后果，應該保持只由人工智能提供信息。這個簡單的應用作為一個說明，并提供了例子之間的相對評估。雖然這個模型提供了一個可以探索如何應用人工智能的例子，但還存在許多其他例子。使用任何這樣的模型，必須首先對人工智能在任何應用中的技術適用性以及數據的質量進行完整分析。

圖 2. AI 評估模型在常見聯合目標定位活動中的應用

使用AI（可信性）

這種人工智能應用模式本身并沒有回答對人工智能系統的信任這一重要問題。就其本質而言，人工智能產生的結果，用戶（甚至設計者）并不完全知道人工智能為何做出決定。這個 "黑盒"留下了重大的道德和信任漏洞。出于這個原因，提供風險控制和代表不確定性的技術研究在不斷推進。雖然圖1中的模型指向了一個人工智能與人類互動的案例，但這并不意味著軍事從業者會信任人工智能的結果。要獲得信任，首先要確保數據的干凈和完整性，這一點在前面已經討論過了。除此之外，人們必須對系統的性能有信心。 一個軍事人工智能的實施不會總是一個靜態的系統。隨著對手調整其設備或新的傳感器上線，人工智能系統將不斷需要接觸到擴大的和當前的數據，以確保其分類決定保持準確，并以正確的理由進行。

就像軍事飛行員和其他專家必須保持使用其武器系統的資格一樣，人工智能的實施將需要一個持續的培訓和評估計劃。人工智能在性能上的重復驗證將涉及到用更新的數據集進行再訓練。任何人工智能系統都必須進行這種性能上的再驗證，因為目前使用的模型并沒有達到通用智能。重新訓練人類操作員以適應新的或新的數據輸入要容易得多，而人工智能算法在引入新的數據時可能完全無法工作。例如，如果一個人工智能系統要將一張圖片分類為朋友或敵人，那么在循環中的人類會想知道人工智能系統使用的是當前的和經過嚴格測試的模型。此外，任何重新訓練人工智能系統的人也希望將當前的性能與過去的性能指標進行比較，以了解系統是否有改進。性能的退化可能表明數據的退化甚至妥協，需要在采用該系統之前對其進行重新訓練。就像訓練有素的軍事技術人員需要在武器平臺上保持最新的資格一樣，人工智能系統在某項任務上適用性和熟練程度也應保持跟蹤。

這些挑戰導致國防部門建立了人工智能道德的五項原則：負責任、公平、可追蹤、可靠和可管理。最近，美國人工智能安全委員會呼吁國家標準和技術研究所制定措施和 "人工智能可信的工具"。 在適當的領域實施人工智能系統，適當地管理數據，并確保當前的人工智能培訓，都有助于建立對軍事人工智能系統的信任。

結論

隨著人工智能研究界開始向國防部門提供能力，沒有經驗的軍事從業者將正確地尋求了解AI和ML的作戰影響。然而，一些急于實施人工智能技術作為目的的軍事領導人有可能不理解人工智能技術的基本原則。人工智能作為解決一個問題的潛在手段，但不一定是最好的手段。首先，高質量的、有標簽的、有組織的數據為人工智能系統提供支持。在最初的開發中，AI/ML戰斗相關的應用可能會依賴來自圖像和信號處理的數據。此外，目前的ML結構在接觸到太少或有污點的數據時被證明是脆弱的。即使提供了一個健全的人工智能實施方案，現在的軍事應用也有可能被對手所預測。隨著國防部門開始使用新的能力并強調軍事行動中的簽名管理，數據管理將被證明是評估人工智能系統使用的最重要因素。應用一個健全的應用模型，考慮到人類與人工智能實施的互動，將有助于確保軍事交戰不會變成純粹的數據驅動。通過在適當領域應用人工智能，確保數據干凈，遵守道德原則，并跟蹤系統培訓，同時減輕新的攻擊載體，那軍事從業者可以信任人工智能。以錯誤的方式應用人工智能將為對手打開容易攻擊的載體，如果不能認識到戰爭中人因的重要性，導致寶貴的資源浪費，不能產生可預測的反應，那最終將無法創造出預期的戰場優勢。

本出版物是 "北約決策：大數據時代的承諾和危險"會議的成果，由北約盟軍指揮部轉型（ACT）、博洛尼亞大學和羅馬的國際事務研究所（IAI）組織。該會議于2020年11月17日在線舉行，是三個機構之間長期合作的一部分，它代表了ACT學術會議系列的第七次迭代。

執行總結

數字革命大大改變了我們生活的世界，提供了巨大的機會，但也使社會更加脆弱。技術使外部干擾更便宜、更快速、更全面：公民有可能成為信息戰的直接目標，一個社會的所有成員都可能以這種或那種方式成為沖突的一部分。從先進的武器裝備到指揮和控制，大多數與安全有關的領域都在經歷著深刻的變革，因為數據的可用性和傳輸量成倍增加。在這一背景下，本出版物探討了展望聯盟發展的三個相互關聯的方面：大數據和北約的組織挑戰；對盟國決策的混合威脅；人工智能在國防領域的采用和北約的作用。

大數據和北約的組織挑戰。將決策建立在比以前更多的信息基礎上，可能會導致復雜組織決策過程的真正革命，特別是因為這些信息將涉及現實的不同層面，而且會不斷地更新。除了巨大的信息量，大數據的另一個決定性因素是數據產生和處理的高速性。此外，這些數據通常會從不同的來源獲得，其可信度必須被仔細評估。最后，任何數據在決策過程的不同階段都可能具有不同的價值。所有這些特征都對那些旨在利用大數據減少其作戰中的不確定性的組織提出了具體要求。例如，巨大的數據量迫使人們獲得新的數據存儲技術，而高速度要求新的處理工具，可變的可信度和價值迫使組織制定新的分析方法。因此，任何尋求利用大數據的行為者都應該有明確的目標和定義明確的戰略，以劃定和實施其具體目標。

大數據的一個關鍵問題是為決策者提供與他們的目的真正相關的數據，而不僅僅是有趣。首席數據官和與數據相關的高級領導職位將在信息分析和實際決策過程中獲得至關重要的地位，但這些職位需要特殊的人才和工具組合，而這些人才和工具目前在許多大型組織中是稀缺的，尤其是在公共部門，在軍事部門更是如此。

另一個關鍵問題是，在工作中引入大數據分析的組織的決策過程中，正在出現集中化和分散化之間的矛盾。矛盾的是，雖然大數據應該促進廣泛的責任和戰術意識，但目前先進的數字化似乎與大型組織中明顯的向心力有關。這種向心力導致了低層人員的非責任化和選擇實踐的逐漸喪失。因此，在聯盟的決策中整合大數據是明智之舉，有利于分散所有權，并根據組織中不同部門的特點，為其設計不同的工具。此外，建立精心設計的、可靠的評估程序，以衡量組織創新和新決策過程執行的有效性，也會有所幫助。特別是，確定最初的失敗是特別重要的，以便從中吸取教訓，避免結構性問題。

對盟國決策的混合威脅。混合威脅是一個廣泛的類別，包括各種行為者、行動和目標。就行為者而言，由于其實際能力、意圖和最近的記錄，俄羅斯等大國可以被確定為最主要的威脅。

關于行動，信息在幾個方面是關鍵。它指的是大數據和人工智能，因為后者需要使用算法來學習前者，以期利用目標的漏洞。數字連接是用于在信息領域實施混合威脅的基本基礎設施。西方社會依賴虛擬世界的平臺，這些平臺可以成為潛在攻擊者的目標。由于全球網絡藐視邊界并限制國家管轄權，它們更難防御，并允許潛在的攻擊者在檢測和歸因的門檻下采取行動。混合威脅還得益于信息的空前速度和范圍。這在原則上并不新鮮，但它已經達到了改變游戲規則的水平。一方面，對北約及其成員國來說，管理這種大規模的信息流實在是令人望而卻步；另一方面，高速流通轉化為更快的行動節奏。

混合威脅可能針對各種目標，但特別令人擔憂的是可能導致社會分化、精英分歧和對外國行為體的偏見的進攻性行動。這些行動有可能影響不同層面的決策，甚至破壞民主國家的機構。因此，這些混合型威脅可能會破壞盟國的決策過程，反過來也會破壞北約的決策過程。決策者在制定應對混合威脅的措施時，尤其面臨著三個主要問題：

1）如何以非升級性的方式進行回應？由于混合型攻擊利用灰色地帶來制造模糊性，包括通過操縱檢測門檻和給予合理的推諉，決策者面臨著過度反應的風險。

2）如何民主應對？潛在的攻擊者可能會嚴重損害民主制度的決策過程，例如對遵守國內法和國際法施加壓力。

3）如何獲得公眾支持？由于混合型威脅通常被掩蓋或難以歸因，政策制定者還必須說服公眾輿論，使其相信威脅的存在。

人工智能在國防領域的應用和北約的作用。在討論人工智能對盟國軍隊和聯盟意味著什么時，應該解決一個基本問題：人工智能是一場技術革命還是技術演進的實例？不同的證據可以支持這兩種解釋。從政治角度來看，盟國可能很難迅速適應一場快速的技術革命。北約的方法，由于其程序的特點是共識，將不得不更加進化、細化和細微。無論如何，在未來不太可能看到人工智能為北大西洋理事會（NAC）或核規劃小組（NPG）做決定。這其中有心理、文化、組織、政治以及技術方面的原因。通往人工智能的旅程可能是相當麻煩的。例如，敏捷軟件開發能夠開發出優秀的軟件，但同時也需要不同的程序、組織結構和流程，涉及到組織的身份、使命和文化。

另一個熱點問題是關于人工智能的公私伙伴關系。這是美國和中國之間人工智能競賽的關鍵--可能會導致盟國相對于中國的劣勢--以及北約與從事人工智能和大數據的主要民用公司之間的關系。在盟國采用人工智能技術方面，還有一個根本性的需要，即確保在分散的情況下的互操作性。北約在歷史上一直是標準化進程中的一個重要角色，在這種情況下也可以這樣做。在這種情況下，可能需要一些創造性：例如，北約是否應該像提供空域管理或地面監視一樣提供云計算服務，即賦能者？聯盟是否可以像綜合防空和導彈防御那樣，設想對國家擁有的人工智能資產進行整合？這些都是重要的問題，然而，這些問題突出了一個事實，即國防是一個主權問題，大多數決定是由國家政府作出的，而不是由北約本身作出的。

聯盟可以在人工智能領域發揮突出作用。例如，北約可以建立一個人工智能冠軍，幫助盟國理解、采用和整合人工智能。這種冠軍可以從小型項目開始，旨在驗證解決方案的有效性，然后它可以幫助盟國進行培訓。這方面的一個關鍵、相關問題是教育和培訓。同樣，戰爭游戲、模擬和實驗的重要性也會增加，北約在這方面可以發揮作用，因為它是召集盟國軍事和政治機構的獨特途徑。

大量的學術文獻描述了無數的攻擊載體，并表明美國國防部（DoD）的大多數人工智能（AI）系統一直處于危險之中。然而，蘭德公司的研究人員調查了旨在隱藏對象（導致算法假陰性）的對抗性攻擊，發現許多攻擊在操作上是不可行的，因為知識要求高，攻擊載體不實用，所以設計和部署不可行。正如研究人員在本報告中所討論的那樣，有一些屢試不爽的非對抗性技術，其成本更低，更實用，而且往往更有效。因此，針對人工智能的對抗性攻擊對國防部應用構成的風險比學術研究目前所暗示的要小。然而，精心設計的人工智能系統以及緩解策略，可以進一步削弱這種攻擊的風險。

關鍵發現

• 旨在從人工智能中隱藏物體的對抗性攻擊對國防部應用構成的風險比學術研究目前所暗示的要小。
• 在現實世界中，由于高知識要求和不可行的攻擊載體，這種對抗性攻擊很難設計和部署；通常有成本更低、更實用、更有效的非對抗性技術可用。
• 融合不同傳感器模式、信號采樣率和圖像分辨率的數據和預測，可以進一步減輕針對人工智能的對抗性攻擊的風險。

建議

• 美國防部應通過考慮對手如何可行地影響模型來評估其人工智能模型在對抗性攻擊方面的風險。它還應該評估有關模型的知識泄露如何影響攻擊的有效性，并估計與對手行動相關的成本。
• 美國防部應保持對學術界最先進的技術的了解，以在現實世界的場景中攻擊人工智能，并了解這些技術如何可行地影響自己和對手的操作概念。
• 美國防部應開發強大的人工智能模型、預處理技術和適當的數據融合系統，以大大增加對手實施攻擊的資源成本。
• 美國防部應投資于人工智能系統的響應性支持團隊，以快速檢測、識別和回應對手的威脅。

網絡威脅變得越來越普遍。最近備受矚目的入侵事件表明，秘密的的網絡空間效應如何能夠挑戰21世紀的國際安全戰略格局。每個經濟部門和人類生活的各個方面對數字技術的日益依賴強烈地表明，這一趨勢將繼續下去。北約盟國正以日益強大的網絡安全和防御來應對，特別是當它與軍事系統、平臺和任務相交時。

對提高復原力和穩健性的要求加速了對人工智能技術的探索和采用，即使計算機能夠模仿人類智能的技術，用于網絡防御。深度機器學習（DML）就是這樣一種最先進的技術，它在網絡安全以及許多其他應用領域都表現出了相當大的潛力。深度機器學習可以增強網絡彈性，其防御措施隨著時間的推移隨著威脅的變化而變化，并減少人類專家手動數據分析的總體負擔。深度機器學習可以促進更快的響應，特別是在充分和足夠的訓練下。一些可能的考慮包括在建立或生成數據模型開發中的對抗性樣本。

本技術報告在整合北約范圍內深度機器學習（DML）的網絡防御應用知識方面采取了初步措施。它進一步確定了目前的解決方案和軍事需求之間的差距，并相應地構建了DML在軍事領域有前途的網絡防御應用的追求。研究小組以技術報告的體現為核心，從惡意軟件檢測、事件管理、信息管理、漏洞管理、軟件保障、資產管理、許可證管理、網絡管理和配置管理的角度審查國家標準和技術研究所的安全準則。

該報告研究了DML的復雜效用、實際實施以及公開的挑戰。研究工作組由數據科學、機器學習、網絡防御、建模與仿真和系統工程等領域的專家組成。研究人員和從業人員考慮了數據的聚集、數據的特征、共享數據的需要以及數據模型的共享，或其生成者。這些因素，包括如何處理、訓練、訪問數據，以及相關的技術，如遷移或聯邦學習，也被考慮在內。

第1章 背景

網絡威脅越來越先進，對手更具戰略性，可以從世界任何地方表現出威脅。今天的對手擁有資源和時間，只要有時間和資源，就可以輕松地發動破壞性攻擊。

不同格式的數據的可用性和豐富性也有助于為對手創造一種靈活性，如果沒有數據的涌入，這種靈活性是不存在的[1]。由于對手很容易獲得工具和技術，所有形式的大數據的可用性，網絡攻擊達到了前所未有的高度，北約國家必須通過緩解工具和技術來增強其戰略地位，以減輕對軍事系統、平臺和任務的網絡威脅[2]。

緩解技術將包括最新和最偉大的技術，以創造彈性，及時發現和應對攻擊，并在平臺發生任何損害或損害之前恢復。

世界正在變得更加數字化[3]，軍隊也不例外。隨著先進工具的出現和技術的數字化，研究人員必須做好準備，研究防御性技術，以防止軍事系統和平臺的破壞和退化。

RTG計劃探索深度機器學習（DML）的應用，以實施和加強軍事戰略網絡地位，并創建一個防御，不僅要解決今天的威脅，還要解決未來可能出現的威脅，如增加的處理能力，先進的工具和數據操作技術。

擬議的 "IST 163 - 網絡防御深度機器學習"活動的主要目標是鞏固全北約在DML和網絡防御領域的知識，確定民用解決方案和軍事需求之間的差距，并與其他北約國家合作，使用數據處理，共享數據和模型，并追求將最有前途的技術和應用轉移到軍事領域，同時堅持標準，確保數據與所選技術相匹配。

RTG致力于發現北約各國的DML技術，揭示數據是如何處理和適合神經網絡的，并確定各國在這些技術中的差距，以比較最佳的解決方案，這些解決方案有可能被其他可能沒有潛力或技術不先進的國家采用。

這項研究為各國創造了一個機會，以全面審視DML在網絡防御方面的能力和差距，并研究以最先進的DML方法加強網絡防御的手段。

在為DML創建數據時，來自不同背景的研究人員將共同支持反映數據效用和模型的最佳情況的用例，并努力確保數據最適合于研究。考慮到來自多種背景的擬議數據的動態，對數據的整理和消毒以適應模型，將創造一個機會，看到不同類型的數據對DML模型的各方面作用。

將特別關注術語與北約其他倡議中的相關活動的一致性。因此，它將面向來自人工智能、機器學習、建模和模擬以及系統工程等領域的多學科受眾。

工作組的工作將集中在機器學習上，包括深度學習方面。

第2章 軍事關系

網絡防御影響軍事行動的所有領域，包括通信、行動和后勤。隨著威脅的復雜化和對手變得更加創新，傳統的基于簽名的檢測威脅的方法很容易被規避。現有的防御措施無法跟上新的漏洞、漏洞和攻擊載體出現的規模。顯然，有必要開發自動和數據驅動的防御系統，其模型適合于軍事系統和聯盟操作環境。

減少數據分析的負擔和擴展到多樣化和聯合環境的網絡防御技術，現在和將來都對軍事行動相當重要。在這一類別中，一個有前途的領域是機器學習（ML）的應用，即研究和開發沒有預編程指令的模式識別方法來解釋數據。Theobold[1]明確闡述了機器學習的效用：

• 幾十年來，機器都是靠響應用戶的直接命令來運作的。換句話說，計算機被設計成響應預先編程的命令來執行既定任務。現在，計算機嚴格來說不需要接收輸入命令來執行任務，而是需要輸入數據。具體來說，機器根據數據中捕捉到的以往經驗創建一個預測模型。從輸入的數據中，機器就能制定出如何、在何處、何時執行某種行動的決定。[1]

在20世紀上半葉的20年里，美國的武裝部隊是數字計算機發展的唯一最重要的驅動力[2]。隨著商業計算機行業開始形成，武裝部隊和國防工業成為其主要市場。在其發展過程中，人類對所有的軟件進行編程，并作為計算和算法進步的主要驅動力。面向對象的編程使軟件可以重復使用，并擴大了其規模。后來，互聯網使軟件民主化。隨著深度機器學習（DML）的出現，這一格局正準備再次發生根本性的轉變，這是ML的一個子集。DML技術通過訓練描述輸入和輸出之間關系的模型，使計算機能夠 "編寫 "自己的軟件。這一突破已經在加速每個行業的進步。研究表明，深度學習將在未來20年內使全球股票市場增加近50%[3]。

網絡防御也不例外，這是個趨勢。20世紀后半葉，社會和軍事應用中越來越多地采用數字技術，而21世紀頭幾十年的常規數據泄露事件，說明了一個有彈性的網絡空間的重要性。人工智能（AI）的應用，包括用于網絡防御的ML和DML，已經在國防研究論壇上獲得了相當多的曝光[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]。這些應用具有相當大的軍事前景，特別是涉及到漏洞發現、威脅識別、態勢感知和彈性系統。

2.1 北約視角

網絡防御是北約合作安全核心任務的組成部分[12]。2002年，盟國領導人首次公開承認需要加強防御網絡攻擊的能力[13]。此后不久，在2003年，他們建立了北約計算機事件響應能力（NCIRC），這是一個由 "第一響應者 "組成的團隊，負責預防、檢測和響應網絡事件。從那時起，網絡領域的重要性和關注度都在不斷增加。2008年，北約建立了合作網絡防御卓越中心，目前由25個贊助國組成，其任務是加強北約盟國和合作伙伴的能力、合作和信息共享[14]。2014年，盟國領導人宣布，網絡攻擊可能導致援引北約創始條約中的集體防御條款。2016年，盟國承認網絡空間是軍事行動的一個領域。盟國領導人進一步承諾，將加強其國家網絡和基礎設施的復原力作為優先事項，并申明國際法適用于網絡空間[15]。雖然北約的主要重點是保護聯盟擁有和運營的通信和信息系統，但它規定了簡化的網絡防御治理，協助盟國應對網絡攻擊，并將網絡防御納入作戰計劃，包括民事應急計劃。北約清楚地認識到，其盟國和合作伙伴受益于一個可預測和安全的網絡空間。

對北約安全的網絡威脅越來越頻繁，越來越復雜，越來越具有破壞性和脅迫性。聯盟必須準備好保衛其網絡和行動，以應對它所面臨的日益復雜的網絡威脅。因此，盟軍的理論指出，網絡防御是影響未來軍事力量平衡的六個關鍵因素之一[16]。北約的政策進一步將網絡防御的追求定格在六個關鍵目標上[17]。

• 將網絡防御的考慮納入北約的結構和規劃過程，以執行北約的集體防御和危機管理的核心任務。- 重點關注北約及其盟國的關鍵網絡資產的預防、恢復和防御。

• 發展強大的網絡防御能力，集中保護北約自己的網絡。

• 為對北約核心任務至關重要的國家網絡的網絡防御制定最低要求。

• 提供援助，以實現最低水平的網絡防御，減少國家關鍵基礎設施的脆弱性。

• 與合作伙伴、國際組織、私營部門和學術界接觸。

最近的研究闡述了這些目標是如何實現的[18]。盡管其成員負責保護自己的網絡空間部分，但北約在促進互動、保持態勢感知以及隨著危機或沖突的發展將資產從一個盟友或戰術情況轉移到另一個盟友方面發揮著關鍵作用。它進一步倡導多國部隊之間的高度互操作性，包括聯合收集、決策和執行盟國在網絡空間的行動要素[19]。2013年，北約防御規劃進程開始向其盟國分配一些集體的最低能力，以確保一個共同的基線，包括國家網絡應急小組（CERT）、加密、教育、培訓和信息共享。在網絡空間以及其他領域，北約在建立國際規范和行為準則方面發揮了不可或缺的作用，促進了對不可接受的行為、譴責、制裁和起訴的明確性。

2.2 美國視角

美國國家網絡戰略[20]宣稱有責任捍衛美國利益免受網絡攻擊，并威懾任何試圖損害國家利益的對手。它進一步確認了為實現這一目標而開發的網絡空間行動能力。美國軍事理論將網絡行動定義為一系列行動，以防止未經授權的訪問，擊敗特定的威脅，并拒絕對手的影響[21]。在本報告的背景下，有兩個關鍵功能非常突出。

• 網絡空間安全（Cybersecurity），是指在受保護的網絡空間內采取的行動，以防止未經授權訪問、利用或破壞計算機、電子通信系統和其他信息技術，包括平臺信息技術，以及其中包含的信息，以確保其可用性、完整性、認證、保密性和不可抵賴性。

• 而網絡空間防御（Cyber Defence）則是指在受保護的網絡空間內采取的行動，以擊敗已經違反或有可能違反網絡空間安全措施的特定威脅，包括檢測、定性、反擊和減輕威脅的行動，包括惡意軟件或用戶的未經授權的活動，并將系統恢復到安全配置。

盡管有區別，但網絡安全和網絡防御都需要對系統和安全控制進行廣泛的持續監測。聯合軍事理論進一步承認了整合能力的挑戰，其中包括。

• 民族國家的威脅，可以獲得其他行為者無法獲得的資源、人員或時間。一些國家可能利用網絡空間能力來攻擊或進行針對美國及其盟友的間諜活動。這些行為者包括傳統的對手；敵人；甚至可能是傳統的盟友，并可能外包給第三方，包括幌子公司、愛國的黑客或其他代理人，以實現其目標。

• 非國家威脅包括不受國家邊界約束的組織，包括合法的非政府組織（NGO）、犯罪組織和暴力極端主義組織。非國家威脅利用網絡空間籌集資金，與目標受眾和對方溝通，招募人員，計劃行動，破壞對政府的信任，進行間諜活動，并在網絡空間內直接開展恐怖行動。他們也可能被民族國家用作代理人，通過網絡空間進行攻擊或間諜活動。

• 個人或小團體的威脅是由可獲得的惡意軟件和攻擊能力促成的。這些小規模的威脅包括各種各樣的團體或個人，可以被更復雜的威脅所利用，如犯罪組織或民族國家，往往在他們不知情的情況下，對目標實施行動，同時掩蓋威脅/贊助者的身份，也創造了合理的推諉性。

• 事故和自然災害可以擾亂網絡空間的物理基礎設施。例子包括操作失誤、工業事故和自然災害。從這些事件中恢復可能會因為需要大量的外部協調和對臨時備份措施的依賴而變得復雜。

• 匿名性和歸屬性。為了啟動適當的防御反應，網絡空間威脅的歸屬對于被防御的網絡空間以外的任何行動都是至關重要的，而不是授權的自衛。

• 地域。防御性反應的累積效應可能超出最初的威脅。由于跨區域的考慮，一些防御行動被協調、整合和同步化，在遠離被支持的指揮官的地方集中執行。

• 技術挑戰。使用依賴利用目標中的技術漏洞的網絡空間能力可能會暴露其功能，并損害該能力對未來任務的有效性。這意味著，一旦被發現，這些能力將被對手廣泛使用，在某些情況下，在安全措施能夠被更新以考慮到新的威脅之前。

• 私營企業和公共基礎設施。國防部的許多關鍵功能和行動都依賴于簽約的商業資產，包括互聯網服務提供商（ISP）和全球供應鏈，國防部及其部隊對這些資產沒有直接的權力。

• 全球化。國防部的全球業務與其對網絡空間和相關技術的依賴相結合，意味著國防部經常從外國供應商那里采購任務所需的信息技術產品和服務。

• 緩解措施。國防部與國防工業基地(DIB)合作，以加強駐扎在DIB非機密網絡上或通過DIB非機密網絡的國防部項目信息的安全性。

2018年國防戰略[22]對美國軍隊在各個領域--空中、陸地、海上、太空和網絡空間--都表示嚴重關切。它進一步承認，當前的國際安全格局受到快速技術進步和戰爭性質變化的影響。為了應對這一挑戰，美國國防部確定了現代化的優先事項，其中包括人工智能/ML、自主性和網絡。網絡是一個獨特的作戰領域，對需要加強指揮、控制和態勢感知以及自主行動的軍事行動來說，具有重大挑戰和潛在的飛躍能力。

2019年聯邦網絡安全研究與發展戰略計劃[23]闡明了用人工智能（AI）模型、算法以及其他領域的人與AI互動來增強網絡安全研究與發展（R&D）的必要性。將人工智能技術納入網絡自主和半自主系統，將有助于人類分析員在自動監測、分析和應對對手攻擊方面以更快的速度和規模運作。這方面的應用包括部署智能自主代理，在日益復雜的網絡戰斗空間中檢測、響應和恢復對手的攻擊。預期成果包括預測固件、軟件和硬件中前所未有的安全漏洞；根據學習到的互動歷史和預期行為，從攻擊場景中持續學習和建模；利用通信模式、應用邏輯或授權框架，防御針對人工智能系統本身的攻擊；半/完全自主的系統減少了人類在網絡操作中的作用。

2020年，美國人工智能國家安全委員會[24]強調了人工智能技術對經濟、國家安全和人類福祉的潛在影響。它指出，美國的軍事對手正在整合人工智能概念和平臺，以挑戰美國幾十年來的技術優勢。人工智能加深了網絡攻擊和虛假信息運動帶來的威脅，我們的對手可以利用這些威脅來滲透社會，竊取數據，并干擾民主。它明確宣稱，美國政府應該利用人工智能的網絡防御措施，以防止人工智能的網絡攻擊，盡管它們本身并不能保衛本質上脆弱的數字基礎設施。

2.3 網絡戰爭事件的簡史

根據北約合作網絡防御卓越中心的數據，至少有83個國家已經起草了國家網絡安全戰略[25]。此外，所有30個北約成員國都發布了一份或多份治理文件，反映了保衛網絡環境的戰略重要性。這種堅定的姿態源于過去20年里發生的越來越普遍和有影響的網絡攻擊。在本節中，我們研究了影響北約盟國的高調入侵的簡短歷史，培養了當前的氣氛，并強調了對更好的網絡保護、威懾、檢測和反應技術的需求。

2003年，一系列協調攻擊破壞了美國的計算機系統。這些攻擊被美國政府命名為 "泰坦雨"，持續了三年，導致政府機構、國家實驗室和美國國防承包商的非機密信息被盜。隨后的公開指控和否認，源于準確檢測和歸因于網絡攻擊的困難，成為網絡空間中新出現的國際不信任的特征。

2007年，愛沙尼亞成為一場持續二十二天的政治性網絡攻擊活動的受害者。分布式拒絕服務攻擊導致許多商業和政府服務器的服務暫時下降和喪失。大多數的攻擊是針對非關鍵性服務，即公共網站和電子郵件。然而，有一小部分集中在更重要的目標，如網上銀行和域名系統（DNS）。這些攻擊引發了一些軍事組織重新考慮網絡安全對現代軍事理論的重要性，并導致了北約合作網絡防御卓越中心（CCDCOE）的建立，該中心在愛沙尼亞的塔林運作。

2008年，一系列的網絡攻擊使格魯吉亞組織的網站失效。這些攻擊是在一場槍戰開始前三周發起的，被認為是一次與主要作戰行動同步的協調的網絡空間攻擊。

2015年，俄羅斯計算機黑客將目標鎖定在屬于美國民主黨全國委員會的系統上。這次攻擊導致了數據泄露，被確定為間諜行為。除了強調需要加強網絡復原力外，對這一事件的反應突出了采取行動打擊虛假信息和宣傳行動的必要性。

2017年，WannaCry勒索軟件感染了150個國家的20多萬臺電腦。這種不分青紅皂白的攻擊，由利用微軟視窗操作系統漏洞的勒索軟件促成，鎖定數據并要求以比特幣支付。在幸運地發現了一個殺毒開關后，該惡意軟件被阻止了，但在它導致工廠停止運營和醫院轉移病人之前。

2018年，挪威軍方和盟國官員證實，俄羅斯在歐洲高北地區舉行的三叉戟接點演習中，持續干擾GPS信號，擾亂了北約的演習[26]。"使用天基系統并將其拒絕給對手的能力是現代戰爭的核心"[27]。在過去幾十年里，軍事行動對天基資產的依賴性越來越大，天基資產越來越成為網絡攻擊的理想目標。俄羅斯等國都將電子戰、網絡攻擊和電磁戰斗空間內的優勢作為在未來任務中取得勝利的戰略的一部分。這些國家的現有理論突出了一個重點，即防止對手的衛星通信系統影響其作戰效率。衛星依賴于網絡技術，包括軟件、硬件和其他數字組件。空間系統對于在空中、陸地、海上、甚至網絡領域進行的行動中提供數據和服務是至關重要的。對衛星控制系統或帶寬的威脅對國家資產和目標構成了直接挑戰，并促進了對緩解措施的需求，以實現這些系統的彈性。

2020年，來自亞美尼亞和阿塞拜疆的黑客在納加諾-卡拉巴赫戰爭期間以網站為目標。錯誤信息和舊事件的視頻被當作與戰爭有關的新的和不同的事件來分享。新的社交媒體賬戶創建后，關于亞美尼亞和阿塞拜疆的帖子激增，其中許多來自真實用戶，但也發現了許多不真實的賬戶。這一事件強調了社會網絡安全作為一個新興研究領域的出現[28]。

2020年，一場重大的網絡攻擊通過破壞流行的網絡監控工具Solarwinds的軟件供應鏈滲透到全球數千家機構。據報道，由于目標的敏感性和高知名度，以及黑客進入的時間之長，隨后發生的破壞程度是美國所遭受的最嚴重的網絡間諜事件之一。在被發現的幾天內，全世界至少有200個組織被報告受到了攻擊。

2.4 網絡空間的大趨勢

越來越多的趨勢是網絡空間發展的特點。網絡技術在我們生活的各個方面發揮著越來越大的作用。這一趨勢也延伸到了軍事沖突。對網絡技術的日益依賴將帶來新的脆弱性，并侵蝕傳統網絡防御的界限。隨著基礎技術組件和界面的成熟，網絡空間和其他領域，包括關鍵基礎設施、軍事武器系統和綜合生物、物理和量子系統之間的交叉將越來越重要。在本節中，我們確定了將影響網絡空間演變的技術和非技術趨勢，以及ML在其防御應用中的基本效用。

2.4.1 技術趨勢

硬件、軟件和協議的可編程性和復雜性日益增加。可編程性的增加帶來了快速的開發和交付窗口，但每一個新的代碼庫都會進一步引入新的漏洞。復雜性的增加導致了未使用的代碼路徑，即軟件臃腫，從而維持了不良的攻擊路徑。第三方和開源硬件和軟件的存在越來越多，這使得快速的原型設計成為可能，但也容易受到不透明的供應鏈和來源損失的影響。

自主性的應用和加速的決策循環是網絡沖突的方向和速度的特征。人類將在機器智能中依賴大數據、增加的計算能力和新型計算算法的匯合。日益增長的網絡速度需要更多地依賴預防妥協、復原力以及與人類專家的最佳人機合作。同時，網絡空間越來越不可信，新興的安全架構規定，需要根據資產和信息對任務背景的重要性來保護它們[29]。

網絡空間的應用范圍越來越多樣化。隨著邊緣設備保持通電和可訪問性，以及低尺寸、低重量和電源設備連接的應用增長，無處不在的連接將增加軍事上對網絡空間的依賴。與網絡物理系統（即物聯網）一樣，新興的生物、物理和量子應用將需要與網絡空間的新接口。這些接口將為網絡防御創造新的機會和挑戰，如儀器和傳感、側信道攻擊和形式驗證。

機器學習（ML）將繼續發展其與網絡空間技術和網絡防御應用的多層面關系。一方面，ML可以增強幾乎所有的網絡技術及其應用（即微電子、網絡、計算架構等的設計、開發和測試）。另一方面，網絡技術的進步（如張量處理單元、量子計算機）可以增強ML能力。鑒于在大量數據中進行模式識別的基本挑戰，ML可以大大改善網絡空間的能力和彈性。

2.4.2 非技術趨勢

互聯網用戶的數量囊括了世界一半以上的人口[30]。盡管有跡象表明，由智能手機出貨量下降和2020年全球大流行引起的近期增長放緩，但創新繼續推動產品改進。收集的數字數據的迅速崛起是那些增長最快的公司成功的關鍵，通常是通過數據挖掘和豐富的上下文增強，幫助個性化的產品和服務。這導致了對濫用數據、用戶隱私和準備推動市場變化或監管的問題內容的擔憂。隨著數字系統變得越來越復雜，數據越來越豐富，任務也越來越重要，利用的機會和意愿也越來越大。越來越多地，新興技術的網絡安全影響被納入國際外交和國防考慮。最近的例子包括脆弱性平等進程[31]、網絡空間信任與安全巴黎呼吁[32]和算法權利法案[33]。

戰略性的全球需求信號，包括氣候變化和資源短缺，可能會產生新的領土野心和聯盟，導致政治格局急劇變化。例如，由天基太陽能技術產生的電力可能被傳送到地面，這就需要新的關鍵基礎設施和網絡空間的全球存在點。同樣，由自然資源短缺引起的人口變化可能會改變政治和國家安全格局。這些變化將引入新的關鍵基礎設施，并對網絡空間產生依賴性。

軍事行動已經嚴重依賴網絡空間。這種依賴性是一個可以被利用來獲得不對稱優勢的弱點[34]。數字地形的丟失、退化、損壞、未經授權的訪問或利用為對手提供了巨大的優勢，并對軍事目標構成了威脅。近鄰的行為者將繼續試圖破壞網絡空間或反擊進攻性網絡行動。進攻性網絡能力的民主化和擴散將進一步為非近鄰的競爭對手提供具體的優勢。越來越多地，一個國家的能力和影響力可以通過其將消費電子產品武器化的能力來衡量，特別是當這些商業開發的系統將成為軍事應用的基礎。因此，網絡攻擊的范圍、頻率和影響都將增長。

同時，全球化將促使對軍事行動的標準和責任的審查增加。政治和公眾對問責制的要求將因戰爭的日益不透明而受到挑戰。例如，在物理領域開展的威懾行動需要精心策劃的敘述和信息傳遞，與24小時的新聞周期保持一致。然而，進攻性的網絡行動準備實現更加隱蔽的效果，不容易被觀察到或歸因。網絡戰工具已將網絡空間轉化為一個灰色地帶的戰場，在這里，沖突低于公開的戰爭門檻，但高于和平時期。

作戰將越來越多地將網絡與傳統領域（如陸地、海洋、空中、太空）結合起來。戰爭學說、國際條約和一般法律將隨著力量平衡、現有技術和區域沖突的變化而反應性地發展。進攻性網絡工具的民主化將對抗動能領域作戰的傳統優勢。前所未有的連通性和日益增長的民族主義將推動網絡空間繼續被用于不對稱的優勢。世界范圍內的社會動蕩所助長的虛假信息和影響運動將可能蔓延到網絡空間。盡量減少外部影響、執行數據隱私和管理數字內容的愿望增強，可能會推動互聯網的巴爾干化。

這在俄羅斯宣布將其國家部分從全球互聯網中關閉并成為 "數字主權"，同時在網絡空間中追求決定性的軍事優勢中已經得到證明。在這個目標中，包括為人工智能系統建立信息安全標準。這樣的新技術應用很可能會影響俄羅斯選擇的實現其目標的方式。例如，Kukkola等人[35]斷言，人工智能可能為俄羅斯提供一個機會，以靈活的方式定義其數字邊界，反映普遍的意見和忠誠度，而不是地理位置。俄羅斯領導層進一步斷言，領導人工智能的國家將是 "世界的統治者"，表明這種進步將是變革性的，其影響尚未被完全理解。

第4章 深度機器學習在網絡防御中的應用

傳統的網絡安全和網絡防御方法依賴于人工數據分析來支持風險管理活動和決策。盡管這些活動的某些方面可以自動化，但由于其簡單性和對問題領域的有限理解，自動化往往是不足的。在這一章中，我們將調查DML應用的文獻，這些應用可以幫助信息安全的持續監控，用于美國國家標準研究所定義的一組安全自動化領域[1]。我們這樣做是為了對最先進的研究現狀、實際實施、開放的挑戰和未來的愿景建立一個結構化的理解。通過這些見解，我們指出了DML在整個網絡安全領域應用的一系列挑戰，并總結了我們的發現。

在不同的安全自動化領域中，我們已經確定了主題和建議未來研究的領域。其中一個反復出現的主題似乎是缺乏實際的實現，也就是說，缺乏高技術準備水平（TRL）。我們懷疑這可能是由于許多不同的原因，例如，未滿足性能預期、數據不足、不合格的深度學習架構、對促進可擴展的DML應用的通用數據存儲和分析解決方案缺乏共識，或研究的初級階段。通過我們的初步調查，我們強調了未來的研究方向和/或阻礙每個安全自動化領域的進一步進展的問題。

• 惡意軟件檢測。DML應用需要處理惡意軟件如何隨著時間的推移改變其統計屬性，例如，由于對抗性方法（概念漂移）。還有一個問題是關于數據共享，以適應不太可能被釋放到野外的高級惡意軟件，以及一般的數據訪問。此外，還需要研究如何定義能夠代表軟件的新特征，以便進行檢測和歸屬。

• 事件管理。DML與現有安全控制的整合不足，限制了DML應用的開發程度。在操作化、管理和例行程序方面，以促進標記數據的收集和深度學習模型的開發。

• 信息管理。DLP系統可以與網絡和終端系統緊密相連，需要對系統有一個深刻而廣泛的了解。在當前的IT安全趨勢下，加強數據保密性，這樣的系統正面臨著數據可訪問性的降低。這絕不是這個領域特有的問題，但卻使DML應用的開發變得復雜。因此，研究機會是存在的，例如，通過與底層操作系統更深入的整合來恢復數據的可訪問性。然而，也有一些課題需要研究描述任何給定數據是否包含敏感信息的條件，以及相同數據的變化如何被識別，而不考慮例如編碼方案。以及當所需的數據在沒有額外分析的情況下無法直接獲得時，如何表示模糊或開放的規則并驗證其合規性。

• 脆弱性管理。缺乏共識和對公共和足夠大的數據集的訪問，已經被認為是漏洞發現領域的一個挑戰。然而，有一些嘗試可以減少這種依賴性，通過部署預先訓練好的語言模型，例如，對軟件掃描進行模糊測試，以檢測漏洞并協助修補漏洞。我們預見了兩個可以進一步研究的方向：改進深度學習架構或改進數據集及其特征表示。

• 軟件保證。盡管支持DML應用的技術存在于相關領域，如惡意軟件檢測和漏洞管理。我們還沒有發現在這個領域內研究問題的努力，但當多個DML應用能夠協同工作時，我們期待這種發展。

• 資產管理。隨著即將到來的資產新浪潮，被稱為 "工業4.0"。其中包括制造業的自動化和數據交換的趨勢，以及移動設備、物聯網平臺、定位設備技術、3D打印、智能傳感器、增強現實、可穿戴計算和聯網的機器人和機器。我們認為，DML的應用可以并將有助于這種未來資產管理的某些方面，然而，哪些方面仍然是一個開放的研究問題，開放的文獻表明，需要探索行業特定的使用案例。

• 許可證管理。考慮到軟件資產管理（SAM）考慮到許可問題，這里也適用與資產管理相同的未來研究方向。- 網絡管理。移動目標防御（MTD）是一個新興的研究領域，將大大受益于人工智能驅動的方法。

• 配置管理。我們希望與MTD研究相關的技術可以使配置管理能力受益。

• 補丁管理。我們已經確定了解決某些問題的研究，如：以風險意識的方式動態調度補丁，自動漏洞修復分析，以及在軟件補丁尚未可用的情況下定位漏洞緩解信息。然而，沒有人試圖將這些納入一個單一的模型，從而創建一個完整的管道。這可能是未來研究中需要探索的一個領域。

最后，我們沒有發現任何證據表明，任何安全領域在DML應用方面的研究都已經完成。所有的領域都有尚未探索的研究領域，這些領域在未來可以并且有望經歷重大的研究。

4.1 惡意軟件檢測

惡意軟件是指在所有者不知情或不同意的情況下，故意設計成滲入、修改或破壞計算機系統的任何惡意軟件。惡意軟件具有多種形式的數字內容，包括可執行代碼、腳本和嵌入互動文件中的活動對象。下面列舉了常見的惡意軟件類型及其特點。

• 利用漏洞。
• 廣告軟件劫持瀏覽以獲取經濟利益。
• 間諜軟件竊取敏感信息。
• 贖金軟件為勒索而加密文件。
• 木馬病毒偽裝成良性軟件。
• Rootkits提供持久的、隱蔽的特權訪問。
• 病毒在其他計算機程序上自我復制。
• 蠕蟲在其他計算機上復制自己。
• 機器人遠程執行命令。
• 后門提供非法訪問。
• 密碼劫持者開采加密貨幣。
• 下載器下載和安裝更多不需要的軟件。
• 恐嚇軟件誘使用戶安裝不必要的軟件。

安全分析師和惡意軟件開發者之間的斗爭是一場持續的戰斗。最早記錄在案的病毒出現在1970年代。今天，惡意軟件的復雜性變化很快，利用不斷增加的創新。最近的研究強調了惡意軟件在促進網絡安全漏洞方面的作用，注意到惡意軟件的趨勢是以經濟利益為動機的目標有效載荷，并提供證據斷言互聯網連接設備的擴散將促進惡意軟件交易[2]，[3]。

惡意軟件檢測是指識別終端設備上是否存在惡意軟件，以及區分特定程序是否表現出惡意或良性特征的過程。傳統的基于簽名的方法來識別和描述惡意軟件越來越不利，因為微不足道的改變使惡意軟件可以逃避普通的檢測方法[4], [5]。基于簽名的方法本質上是基于正則表達式的模式匹配，從觀察到的惡意軟件的經驗知識中獲得。從已知的惡意軟件樣本中提取的獨特字節串建立了一個簽名數據庫，通常由終端保護供應商的訂閱服務提供。當反惡意軟件程序收到要測試的文件時，它將文件的字節內容與數據庫中的簽名進行比較。只要惡意軟件不采用規避措施，這種方法是有效的，而且計算效率高（即類型1錯誤低）。然而，隨著簽名的數量和采用棘手的規避措施的增加，模式匹配的計算成本變得很高，而且越來越無效。啟發式方法在一定程度上通過規則解決了這一挑戰，但同時也增加了假陽性率。簽名和啟發式方法的脆弱性是一個長期公認的問題，它促進了對替代和補充技術的研究。

這些補充技術通常是一個艱巨的過程，需要詳盡地結合軟件逆向工程、源代碼調試、運行時執行分析以及網絡和內存取證。靜態分析技術可以識別表面特征，如加密哈希值、大小、類型、標題、嵌入內容和軟件打包器的存在。靜態分析工具包括源代碼和字節碼分析器、數字簽名驗證工具和配置檢查器。動態分析技術可以識別運行時的特征，如對文件系統、操作系統、進程列表、互斥因子和網絡接觸點的改變。動態技術需要大量的專業工具，包括解包器、調試器、反匯編器、解碼器、模糊器和沙箱，通過這些工具可以安全地執行、檢測和觀察可疑文件的行為。許多擁有強大信息安全計劃的軍事組織采用了一種混合方法，通過一系列的技術和工具對可疑的未知文件進行分流和檢查[6]。

盡管采取了全面的方法，但許多工具都有局限性，沒有一種技術可以自信地保證軟件的出處和衛生。例如，軟件打包器的存在和其他混淆文件內容的伎倆阻礙了靜態分析方法。同樣地，通過沙盒進行動態分析的實施成本很高，往往缺乏取證的可追溯性，而且很容易被虛擬的殺戮開關所顛覆，這些開關會對執行環境進行檢測。惡意軟件發現的ML應用可以追溯到20年前。早期的方法依賴于特征向量，如ASCII字符串、指令、n-grams、頭域、熵和動態鏈接庫的導入，這些都是從可執行文件中提取的。這些方法產生了不同的結果。雖然提供了巨大成功的跡象和顯著的準確性，但它們最終缺乏可擴展性，未能跟上不斷變化的威脅，因此必須繼續使用傳統的、精確的簽名。惡意軟件創建和發現的對抗性確保了對手一旦意識到用于識別其代碼的特征就會采用新技術。因此，由于缺乏暗示惡意的明顯或自然特征，這些技術被證明具有局限性。

4.2 事件管理

事件管理包括監測工具和技術，并在必要時對網絡或系統中觀察到的事件作出反應。如果這些事件表明存在惡意或有問題的活動，則可稱為 "警報 "或 "警告"。它們通常被記錄在記錄一個組織的周邊事件的日志中。有大量的工具可以被認為是這個領域的一部分，但我們特別考慮兩個。安全信息和事件管理（SIEM）系統和入侵檢測系統（IDS）。前者致力于通過聚集來自多個安全控制的日志來實現分析。后者部署在戰略位置，分析本地系統或網絡的日志。

4.3 信息管理

數據的分類是軍事領域的一個標準要求。傳統上，紙質文件被標記為 "非機密 "或 "機密 "等標簽，用戶必須遵循嚴格的規定以確保所需的保密性。這種基于紙張的系統的一個特性是文件和其分類之間的直接聯系，因為它是文件的一部分。文件分類的元信息不能與文件本身分開。這在數字環境中不能以同樣的方式實現，因為通常很容易將分類數據與其元數據分開，從而將其分類分開。一些系統試圖保證這種不可分割的聯系。然而，它們只限于邊緣情況。在實踐中，數據被儲存在無數的系統中，被轉移、改變、轉換，并使用難以計數的格式。一些例子是。

• 以PDF、Office Open XML或純文本等辦公格式存儲的文本文件。

• 以簡單格式存儲的圖像，如BMP（位圖圖像文件格式）或JPEG；以及

• 以WAVE或MP3格式存儲的音頻數據。

這些格式中有些提供受保護的元數據，有些則是除了信息之外沒有任何東西的普通格式。

本節重點討論一種通常被稱為數據丟失預防/數據泄漏預防（DLP）的一般方法，它可以處理任意數據。這樣的DLP系統會分析應用于數據的用戶行為（例如，通過電子郵件發送文件或打印文件）是否被給定的規則集所允許。元數據，如分類，可以緩解這一過程，但（在理論上）不是必需的。我們可以把這樣的DLP形式化為一個決策任務，我們要決定一個給定的行動a是否可以按照規則r應用于一個文件d。在白名單方法中，我們把對數據的操作限制在允許的規則中。其他的都是禁止的。黑名單方法則與此相反。除非明確禁止，否則一切都被允許。這兩種方法在網絡安全中都很常見。

我們可以區分兩個主要的系統設計。端點解決方案的工作方式類似于防病毒（AV）。它們監測特定設備上的活動。端點解決方案可以在訪問時以未加密的形式訪問數據（也稱為 "使用中的數據"）或主動搜索系統中的數據（也稱為 "靜態數據"），這樣，主要的挑戰是對給定的數據進行分類并應用政策，例如，阻止分類文件被打印或通過不安全的渠道或不受信任的目的地傳輸。網絡解決方案監測數據交換，也被稱為 "運動中的數據"。因此，它們不能在特定的主機上執行規則，而是限制信息交流。網絡解決方案面臨的一個共同問題是，越來越多的網絡流量被端對端加密，因此監測系統無法讀取。介于上述兩種解決方案之間的第三類是基于云的解決方案，其中DLP是對存儲在基于云的系統中的數據進行強制執行。基于云的解決方案似乎非常特別，但它們與端點解決方案相似，因為它們可以在其云中的 "本地 "數據上操作，并與網絡解決方案相似，因為它們可以監測流量。然而，終端可能會在云中存儲加密的數據，這樣云系統可能會受到對未加密數據的較少訪問。

DLP系統面臨以下挑戰：

1）數據獲取。DLP必須訪問數據本身，以分析是否允許某個行動。這對基于網絡的解決方案來說變得越來越復雜。

2. 分析數據。DLP系統必須 "理解 "并對內容進行分類。這意味著，他們必須支持廣泛的不同文件類型。

3. 表示規則。規則是決定是否可以對給定的數據采取某種行動所必需的。對于一些規則，如 "不允許轉移標記為機密的文件"，規則的表示是直接的。然而，"模糊 "規則要難得多。例如，"不允許轉讓軍事地點的圖片"，因為沒有明確的定義，一張圖片是否包含軍事地點。

DML可以應用于所有挑戰，但分析數據是最明顯的挑戰，將在 "當前研究 "中簡要討論。

4.4 漏洞管理

美國家安全系統委員會（CNSS）詞匯表第4009號將漏洞定義為信息系統、系統安全程序、內部控制或實施中的弱點，可被威脅源利用或觸發[41]。軟件漏洞是指在軟件代碼中發現的可被攻擊者利用的安全缺陷、小故障或弱點[42]。

漏洞管理是識別、分類、補救和緩解漏洞的循環做法[43]。美國國家標準與技術研究所（NIST）將漏洞管理能力定義為一種信息安全持續監控（ISCM）能力，它可以識別設備上的漏洞，這些漏洞很可能被攻擊者用來破壞設備，并將其作為一個平臺，將破壞延伸到網絡上[44]。漏洞管理的目的是確保軟件和固件漏洞被識別和修補，以防止攻擊者破壞一個系統或設備，而這又可能被用來破壞其他系統或設備。

4.5 軟件保障

美國家安全系統委員會[59]將軟件保證定義為：軟件按預期功能運行，并且在整個生命周期內沒有故意或無意設計或插入的漏洞的信心水平[59]。NASA技術標準8739.8A中的定義使用了類似的措辭[60]。

軟件保證領域與其他領域相聯系，特別是與漏洞管理領域相聯系，涉及到漏洞掃描和發現，但也涉及到惡意軟件檢測。

4.6 資產管理

網絡安全的最佳實踐需要對構成信息環境的數字資產進行說明[1], [64], [65]。資產管理是指組織維護硬件、軟件和信息資源清單的做法，長期以來被認為是強大的網絡安全態勢的一個組成部分[66]。雖然傳統上是通過配置管理、網絡管理和許可管理的一些工具組合來完成的，但云計算和面向服務的技術的擴散已經導致了更新的解決方案。例如，信息技術資產管理（ITAM）、信息技術服務管理（ITSM）和軟件資產管理（SAM）工具，提供了對技術投資的商業價值核算和最大化的洞察力[67], [68]。

這些解決方案的需求和效用可以通過其需求來描述。獨立評估顯示，ITAM、ITSM和SAM工具的全球市場價值每年在10億至50億美元之間，并列舉了二十多家提供軟件工具或管理服務的技術供應商[69], [70], [71]。這些解決方案對設備、軟件，或者在云服務的情況下，對云服務提供商的接口進行檢測。他們進一步提供工作流程，將資產分配給業務角色和功能。盡管可用的儀器和工作流程功能具有可擴展性，但這些工具的共同特點是能夠感知、查詢和解釋它們所監測的資產的本地數據。更明顯的是，它們作為一種手段，支持最終由人類強加的手工業務流程。

正是通過這一視角，深度學習對資產管理的破壞可以得到最好的實現。現有的工具為監督業務功能的操作員提供信息。雖然它們的實施和有效使用可以幫助減輕安全風險，但它們要求其操作者指定一套配置參數。例如，SAM工具要求其操作者配置如何解釋軟件許可條款和產品使用權。這些工具通過商業智能儀表盤和工作流程建議提供了一定程度的自動化，但由于需要調整，這可能會增加整個解決方案的復雜性，這與直覺相反。

4.7 許可證管理

許可證管理工具可以控制軟件產品的運行地點和方式。它們在代碼中捕獲許可協議條款，自動收集軟件使用情況，并計算出成本影響，幫助優化軟件支出。當被軟件供應商采用并集成到他們的產品中時，它們有助于遏制軟件盜版，并提供量身定制的許可功能（例如，產品激活、試用許可、訂閱許可、浮動許可）。當被最終用戶組織采用時，它們有助于遵守軟件許可協議。許可證管理功能經常出現在SAM工具中。

4.8 網絡管理

網絡管理工具包括主機發現、庫存、變更控制、性能監控和其他設備管理功能。網絡管理工具通常與資產和配置管理工具的能力相重疊，并增加了便于設備監控和配置的功能。網絡管理同樣包括組織邊界內的那些系統，但為了管理云服務，可能會超出其傳統的范圍。事實上，軟件、網絡和虛擬化技術的爆炸性增長和采用已經推動了多個市場提供一系列屬于網絡管理的工具。

• 客戶端管理工具使終端管理任務自動化，包括操作系統和軟件部署、庫存、分發、補丁管理和配置管理。
• 云訪問安全經紀商和云工作負載保護平臺為駐留在云環境中的數據和工作流提供可見性和執行力。
• 云管理平臺提供對公共、私人、混合和多云資源和部署的管理。
• 持續配置自動化工具能夠描述配置狀態、定制設置、軟件和報告。
• 超融合或集成基礎設施工具提供集中的功能來管理虛擬計算、存儲和網絡系統。
• 網絡防火墻、網絡應用防火墻和安全網絡網關提供關鍵的網絡安全控制，以檢查和過濾網絡流量。
• 網絡訪問控制工具實施策略，以控制終端和設備對基礎設施的訪問，并基于身份、位置或配置。
• 網絡自動化和協調工具可以自動維護端點設備的配置。
• 網絡性能監控和診斷工具提供歷史和現場視圖，以了解網絡的可用性和性能以及在其上運行的應用流量。
• 軟件定義網絡（SDN）工具提供網絡設備和資源的程序化配置。
• 廣域網（WAN）優化工具監測在廣域網上運行的應用程序的性能，以及這些應用程序帶來的服務費用。
• 統一端點管理工具提供配置、管理或監控不同設備的機制。

4.9 配置管理

配置管理工具允許管理員配置設置，監控設置的變化，收集設置狀態，并根據需要恢復設置。配置管理跟蹤提供服務的組件之間的關系，而不是資產或網絡本身。管理信息系統和網絡組件之間發現的配置是一項艱巨的任務。系統配置掃描工具提供了一種自動化的能力來審計目標系統，并評估與安全基線配置的一致性。身份和賬戶配置管理工具使一個組織能夠管理身份憑證、訪問控制、授權和權限。身份管理系統還可以實現和監控基于身份憑證的物理訪問控制。軟件配置管理工具跟蹤和控制源代碼和軟件構建之間的變化。與其他安全自動化領域類似，深度學習的應用趨勢表明，正在從人類管理軟件系統向計算機管理軟件系統本身轉變。

4.10 補丁管理

補丁管理是指識別、定位和應用補丁到一套管理的軟件的過程，通常是在一個企業環境中。補丁通常以安全為導向，旨在修復軟件或固件的漏洞。由于新的軟件漏洞不斷被發現，補丁管理可能會成為一項困難和艱巨的任務，特別是對于擁有數百臺主機和復雜的軟件庫存的組織。因此，一個強大的補丁管理過程是必要的，以保持一個組織免受惡意活動的傷害。補丁管理因各種挑戰而變得復雜。首先，一個組織必須考慮一個修補機制，以確保眾多主機的安全，包括在家工作的設備、非標準設備、移動設備、以及具有各種操作系統和虛擬設備的設備。此外，補丁可以使用幾種不同的機制來交付，如手動安裝補丁、指導軟件自行打補丁、自動、計劃更新或補丁管理工具（第三方工具或操作系統提供的工具）。由于它既是一個耗時的過程，又對安全至關重要，任何自動化補丁管理的方法都將是非常有益的。

第5章 深度學習面臨的挑戰

5.1 對抗攻擊

(本節中使用的分類法和術語是根據NIST報告[1]，并從Shafee和Awaad的論文[2]中稍作擴展而采用的)。

機器學習的數據驅動方法在ML操作的訓練和測試（推理）階段帶來了一些漏洞。這些漏洞包括對手操縱訓練數據的可能性，以及對手利用模型對性能產生不利影響的可能性。有一個研究領域被稱為對抗性機器學習（AML），它關注的是能夠經受住安全挑戰的ML算法的設計，對攻擊者能力的研究，以及對攻擊后果的理解。AML也對針對深度學習模型的攻擊感興趣。

ML管道中的各個階段定義了這些對抗性攻擊的目標，如輸入傳感器或輸出行動的物理域，用于預處理的數字表示，以及ML模型。AML的大多數研究都集中在ML模型上，特別是監督學習系統。

用于對先前所述目標進行攻擊的對抗性技術可能適用于ML操作的訓練或測試（推理）階段。

5.2 可解釋的人工智能

人工智能（AI）已經被使用了很多次，因為它們在學習解決日益復雜的計算任務時具有前所未有的性能。由于它也被普遍用于影響人類生活的決策，如醫學、法律或國防，因此需要解釋或說明為什么這種人工智能系統會得出這樣的結論。

傳統的模型，如決策樹、線性和邏輯回歸，通過對特征權重的分析，允許一定程度的可解釋性；而深度神經網絡是不透明的，仍然是一個黑盒子。此外，如圖5-1所示，機器學習算法的性能與解釋訓練過的模型的難易程度之間似乎存在一種反比關系。

2017年，DARPA啟動了可解釋人工智能（XAI）計劃，以解決數據分析（針對情報分析員）以及未來利用強化學習的自主系統的可解釋性問題。在DARPA的報告中，提出了一套創建這種ML技術的方案，在保持高水平的學習性能（如預測精度）的同時，產生更多的可解釋模型，并使人類能夠理解、信任和管理新興的人工智能系統[13]。

文獻對可通過設計解釋的模型和可通過外部技術解釋的模型進行了區分。DL模型不能通過設計來解釋；因此，研究集中在外部XAI技術和混合方法上。Arrieta等人解釋了適用于不同類型的DL模型的技術和混合方法的所有細節。此外，他們解決了一些關于可解釋性和準確性之間的權衡、解釋的客觀性和不明確性以及傳達需要非技術專長的解釋的問題[14]。

5.3 超參數調優

超參數是控制學習過程行為的屬性，它們應該在訓練模型之前配置好，而不是在訓練過程中學習的模型參數，例如權重和偏差。它們很重要，因為它們會對正在訓練的模型的性能產生重大影響。

5.4 互操作性挑戰

語法（框架）的互操作性。2017年，Open Neural Network eXchange（ONNX）格式被創建為社區驅動的開源標準，用于表示深度學習和傳統機器學習模型。ONNX協助克服了人工智能模型中的硬件依賴問題，并允許將相同的人工智能模型部署到多個HW加速目標。許多框架的模型，如TensorFlow、PyTorch、MATLAB等，都可以導出或轉換為標準的ONNX格式。然后，ONNX格式的模型可以在各種平臺和設備上運行（圖5-2）。

語義互操作性。當數據來自于含義不相同的混合來源時，就不可能了解趨勢、預測或異常情況。語義互用性是指計算機系統交換具有明確意義的信息的能力。為此，無論數據是從單一來源還是異質來源匯總而來，都需要高質量的人類注釋數據集來準確地訓練機器學習模型。

實現語義互操作性的最佳實踐之一是使用原型。原型是一種數據格式規范，它應該盡可能地提供最可用的完整細節。它提供了數據的共享意義。人工智能系統的語義互操作性要求原型是高質量的、基于證據的、結構化的，并由領域專家設計[20]。

5.5 數據相關性

與傳統的機器學習方法相比，深度學習在很大程度上依賴于大量的訓練數據，因為它需要大量的數據來理解數據的潛在模式。然而，在某些領域，訓練數據不足是不可避免的。數據收集是復雜而昂貴的，這使得建立一個大規模、高質量的注釋數據集變得異常困難。轉移學習是一個重要的工具，可以用來解決訓練數據不足的問題。它試圖將知識從源域（訓練數據）轉移到目標域（測試數據），方法是放寬訓練數據和測試數據必須是獨立和相同分布的假設，即樣本是相互獨立的，并且來自相同的概率分布。這樣一來，目標域的模型就不需要從頭開始訓練。

深度遷移學習研究如何通過深度神經網絡有效地遷移知識。根據使用的技術，Tan等人[21]將深度遷移學習分為四類：基于實例、基于映射、基于網絡和基于對抗。

1）基于實例的深度遷移學習。源域中與目標域不同的實例被過濾掉并重新加權，以形成接近目標域的分布。用源域中重新加權的實例和目標域中的原生實例來訓練模型。

2）基于映射的深度遷移學習。來自源域和目標域的實例被映射到一個新的數據空間。然后，新數據空間中的所有實例被用作訓練集。

3）基于網絡的深度遷移學習。一般來說，網絡中最后一個全連接層之前的各層被視為特征提取器，最后一個全連接層被視為分類器/標簽預測器。網絡在源域用大規模訓練數據集進行訓練。然后，預訓練網絡的結構和特征提取器的權重將被轉移到將在目標領域使用的網絡中。

4）基于對抗的深度遷移學習。這組技術的靈感來自生成對抗網（GAN）（圖5-3）。一個被稱為領域分類器的額外鑒別器網絡從源領域和目標領域提取特征，并試圖鑒別特征的來源。所有的源和目標數據都被送入特征提取器。特征提取器的目的是欺騙域分類器，同時滿足分類器的要求。

5.6 數據質量

有了低質量的數據，無論機器學習和/或深度學習模型有多強，它都無法做到預期的效果。影響數據質量的過程分為三組：將數據帶入數據庫的過程，在數據庫內操作數據的過程，以及導致準確的數據隨著時間的推移而變得不準確的過程。關于降低數據質量的過程的細節可以在參考文獻中找到。[22].

在使用、導入或以其他方式處理數據之前，確保其準確性和一致性的過程，被稱為數據驗證。現在，數據存儲在不同的地方，包括關系型數據庫和分布式文件系統，并且有多種格式。這些數據源中有許多缺乏準確性約束和數據質量檢查。此外，今天的大多數ML模型定期使用新的可用數據進行重新訓練，以保持性能并跟上現實世界數據的變化。因此，由于任何參與數據處理的團隊和系統都必須以某種方式處理數據驗證，這就成為一項繁瑣和重復的任務。對數據驗證自動化的需求正與日俱增。

一種方法是由Amazon Research提出的單元測試方法[23]。該系統為用戶提供了一個聲明性的API，允許用戶對他們的數據集指定約束和檢查。當驗證失敗時，這些檢查在執行時產生錯誤或警告。有一些預定義的約束供用戶使用，用于檢查數據的完整性、一致性和統計量等方面。在約束條件被定義后，系統將它們轉化為實際的可計算的度量。然后，系統計算指標并評估結果，隨后，報告哪些約束成功了，哪些失敗了，包括哪個指標的約束失敗了，哪個值導致失敗。由于新的數據不斷涌現，該方法采用了遞歸計算方法，只考慮自上一個時間步驟以來的新數據，以增量方式更新度量。此外，該系統自動為數據集提出約束條件。這是通過應用啟發式方法和機器學習模型實現的。

另一種方法是基于數據模式的方法，由谷歌研究院提出[24]。對正確數據的要求被編入數據模式中。所提議的系統采取攝取的數據，通過數據驗證，并將數據發送到訓練算法中。數據驗證系統由三個主要部分組成。一個數據分析器，計算預先定義的足以用于數據驗證的數據統計數據；一個數據驗證器，檢查通過模式指定的數據屬性；以及一個模型單元測試器，使用通過模式生成的合成數據檢查訓練代碼中的錯誤。該系統可以檢測單批數據中的異常情況（單批驗證），檢測訓練數據和服務數據之間或連續幾批訓練數據之間的顯著變化（批間驗證），并發現訓練代碼中未反映在數據中的假設（模型測試）。

5.7 上下文感知

盡管深度學習通過使用神經網絡中的多層來逐步分解特征以識別某些特征，但它對數據來源的背景理解較淺，其中背景提供了使某一事件產生的環境或元素，并能為其解釋傳達有用的信息。因此，一個模型最終可能被專門用于訓練數據中記錄的一種或多種情況。因此，這個模型可能對類似的情況有偏見，從而只在這種情況下表現合理。該模型能夠推翻從訓練中學到的經驗，以適應不斷變化的環境。然而，這種能力是受限制的。研究能夠捕捉上下文的模型的動機，通過更強大的、有彈性的、可適應的深度學習來提高任務的有效性。這使得深度學習的使用更具成本效益。

彌補偏見問題的最初努力，始于Bottou和Vapnik[25]提出的局部學習的建議。它涉及到將輸入空間分離成子集并為每個子集建立模型。這個概念本身并不新穎，但由于處理大數據集的應用的復雜性，已經獲得了一些可信度[26]。相反，Mezouar等人[27]沒有發現局部模型比全局模型更值得投資用于預測軟件缺陷。多任務學習（MTL）[28]是機器學習的另一個子領域，可以利用。它將輸入空間分離成多個任務，并利用共享信息，同時考慮到它們的差異。其目的是通過聯合學習和獲取共享表征來提高多個分類任務的性能。Suresh等人[29]試圖在死亡率預測的背景下比較這三種類型的模型。他們的工作表明，多任務模型在整體和每組性能指標上都能勝過全局模型和在單獨的數據子集上訓練的局部模型。不幸的是，似乎還沒有就最合適的模型來捕捉上下文達成最終共識。由于在特定任務的模型之間進行信息共享的技術研究，調整本地/全局模型以適應新的環境，或如何將本地和全局模型結合起來，仍然是活躍的[30]，[31]。

5.8 北約范圍內的“網絡安全深度學習”應用面臨的挑戰

在上面提到的所有挑戰中，這個RTG的成員最關心的是分享知識的可能方式。本章討論的問題有兩種可能的方式：分享訓練數據或分享模型：

1）訓練數據共享。從北約演習中收集的數據是有價值的。能夠利用它們將是非常好的。對于數據共享，最可能的是，應該構建一個數據庫。當各盟國的數據庫被加入時，可能會出現語義互操作性的問題（見第6.4節，語義互操作性）。為了保持數據庫的完整性，所有的盟友都應該圍繞一個標準化重新形成他們的訓練數據，并以這種方式向數據庫提供數據。這既費時又容易出錯。此外，數據的質量是至關重要的，在向數據庫提供數據之前應該進行審查（見6.6節）。此外，這種方法是危險的，因為如果對手到達這個數據庫，他們可以在數據中下毒。(關于可能的訓練數據目標攻擊和針對它們的對策技術，見第6.1節，訓練階段攻擊)。

2）模型共享。在句法互操作性工具的幫助下，現在可以共享DL模型了。(見第6.4節，句法互操作性）。使用基于網絡的遷移學習，在北約盟友之間分享特征提取器似乎更有幫助，這樣任何盟友都可以在他們的測試數據上應用他們希望的任何任務的衍生知識（關于遷移學習的細節，見6.5節）。然而，問題是，誰來訓練這個模型，他將使用哪些數據？如果在數據庫中存儲數據是有問題的，那么為了訓練將被共享的模型，授予一個人/實體對所有北約練習數據的訪問權也可能是麻煩的。通常情況下，不存在這樣的平臺，允許每個人使用自己的數據來訓練相同的DL模型。然而，在這種情況下，一種叫做 "聯合學習 "的分散方法似乎是可行的。它是一種分布式的機器學習方法，在這種方法中，一些被稱為客戶的參與者一起工作，在多次迭代中訓練某個機器學習模型。聯合學習最早是在[32]中提出的，它是由一組移動設備執行的分布式訓練模型，這些設備與中央服務器交換本地模型的變化，中央服務器的功能是將這些更新集合起來形成一個全球機器學習模型。一個聯合學習場景由一個中央服務器和一組N個客戶組成，每個客戶都有自己的本地數據集。最初選擇一個客戶端的子集來獲得模型權重方面的共享模型的全局狀態。然后，基于共享參數，每個客戶在自己的數據集上進行本地計算。然后，客戶提交模型更新（即基于客戶本地數據集的本地學習的權重）給服務器，服務器將這些更新應用于其當前的全局模型，生成一個新的模型。然后，服務器再次與客戶共享全局狀態，這個過程要進行多次，直到服務器確定了一個特定的準確度。因此，客戶不需要分享他們的原始數據來為全局模型做貢獻，只要有足夠的CPU或能源資源來處理它所擁有的訓練數據就足夠了。

第7章 軍事應用

軍事行動植根于對工業時代危機的實際反應，并由關于規模、殺傷力和覆蓋范圍的假設形成[1]。然而，當代沖突跨越了區域邊界和地理領域。威脅的數量和行為者的范圍在數量和多樣性上都在增長，這與需要與之協調應對的行為者的數量相呼應。利用網絡空間的敵人可以挑戰盟國能夠或愿意作出反應的門檻。對網絡領域的依賴增加了在敵方網絡空間實現支持軍事目標的效果的重要性。最終，軍事行動變得更加動態和復雜。

深度機器學習（DML）已經成為人工智能領域的主要技術來源。可以預見的是，DML對網絡防御之外的軍事應用的影響將是廣泛的，因為它提供了在軍事行動環境中獲得信息和決策優勢的機會。在本章中，我們將研究那些有可能受益并因此重塑網絡防御的軍事應用，超越傳統的保護、威懾、檢測和響應概念。

7.1 指揮與控制

軍事學說將指揮與控制（C2）定義為 "由適當指定的指揮官在完成任務的過程中對指定的和附屬的部隊行使權力和指導"[2]。指揮與控制是通過指揮官在完成任務時對人員、設備、通信、設施和程序的安排來實現的，以規劃、指揮、協調和控制部隊和行動。傳統的C2結構包括作戰指揮權、作戰控制、戰術控制和行政控制[3], [4]。這些結構植根于物理領域中開展的活動，以聯合行動區為界限，對網絡領域來說，其不足之處越來越多。

軍事理論進一步將[1]網絡行動定義為包括防止未經授權的訪問的網絡安全行動，為擊敗特定威脅而采取的防御行動，為創造拒絕效果而采取的攻擊行動，以及為獲得情報而采取的開發行動[5]。如同在傳統作戰領域（如陸地、空中、海上、太空）中執行的任務一樣，網絡行動也要遵守某些C2結構。然而，與其他領域不同，網絡部隊可能同時在全球、區域和聯合行動區執行任務。因此，網絡行動依賴于集中的規劃和分散的執行，需要對傳統的C2結構進行調整，以實現軍事單位和當局之間的詳細協調。這種結構要求進行規劃、執行和評估的所有各方了解網絡行動的基本行動和程序。聯合部隊執行的物理和邏輯邊界，以及對其使用的優先權和限制，必須進一步在軍事梯隊、國家部隊和聯盟伙伴之間的協調和同步中集中確定。

網絡行動的C2在很大程度上是由傳統的網絡安全技術形成的，比如那些對硬件、軟件、數據和用戶的安全控制進行持續監控的技術[6], [7], [8]。盡管C2現在和將來都是對人的挑戰[9]，但新興技術中的共同主題將影響其發展，無論是在網絡領域還是傳統作戰領域。信息技術、傳感器、材料（如電池）、武器的進步，以及越來越多地采用無人駕駛和自主平臺，將推動C2的進化變化。計算機將越來越多地與其他設備連接，并收集或分享數據，而無需人類的干預或意識。在較小規模的設備上增加計算、存儲和帶寬能力將使新的分析技術能夠以更快的節奏提取更多的理解，并更接近觀察點。軍事單位可能進一步需要與一系列行為者互動，并聯合工作以實現共同的理想結果，而沒有任何權力來指導這些臨時伙伴或與他們的信息系統互操作。根據沖突的性質，戰術決策可能需要在不同的層面上進行。甚至完全消除某些網絡空間任務中的地理內涵也是可取的[10]。

總的來說，這些因素表明，分散化和敏捷性是C2架構中非常理想的原則。任何新的架構都可以而且應該支持傳統的等級制度、等級制度內的適應性團隊以及其他分布式環境，同時保持對戰斗空間的情況了解。這些問題包括缺乏網絡社區以外的專業知識，無常的性質、時間和圍繞網絡漏洞的平等，以及任務規劃的集中化[11]。新興的倡議，如美國國防部新興的聯合全域指揮和控制倡議[12]，反映了這一概念，即動能、電磁、網絡和信息行動之間的協調相互作用。

分散和保護數據的新興技術可以進一步實現去中心化。分布式賬本技術，即區塊鏈，是記錄資產交易的數字系統，其中交易及其細節同時記錄在多個地方。DML最近提出了一種整合，通過它來克服區塊鏈實施中發現的實際挑戰[13]。同樣，保護使用中的數據，而不是靜止或傳輸中的數據的技術（例如，安全的多方計算、同態加密、功能加密、遺忘RAM、差分隱私）允許對其他方持有的數據進行有用的計算，而不泄露關于數據內容或結構的敏感信息。這樣的技術可以允許不受信任的各方安全地進行DML處理，或者允許多方共同計算有用的結果而不披露基礎輸入。值得注意的是，對抗性的惡意軟件可能會采用這些技術來更好地混淆其操作。雖然這些技術在學術界被廣泛研究，有良好的理論基礎，但特別需要更多的工作來適應軍事用例和可擴展性，以及DML可以提高應用程序的效用的具體實例[14]。

DML應用的進展將提供機會，為規劃和執行任務提供更有能力的決策支持輔助[15]。新穎的人/機界面、混合現實合成環境和遠程存在能力將進一步改變作戰人員之間、自動代理、機器和機器人之間的互動方式。這些技術發展共同提供了在復雜作戰環境中加速觀察、定位、決策和行動的潛力。DML將可能改善決策，并通過人機合作促進自主行動。

7.2 態勢感知和任務保證

網絡空間依賴于空氣、陸地、海洋和空間等物理領域。它包括執行虛擬功能的節點和鏈接，反過來又能促進物理領域的效果。網絡空間通常由三個相互依存的層來描述[5]。物理層由提供存儲、運輸和處理信息的設備和基礎設施組成。邏輯層由那些以從物理網絡中抽象出來的方式相互關聯的網絡元素組成，基于驅動其組件的編程。最后，網絡角色層是通過對邏輯層的數據進行抽象而創建的視圖，以開發在網絡空間中運作的行為者或實體的數字代表。

在這些層中的操縱是復雜的，而且通常是不可觀察的。準確和及時的網絡空間態勢感知（SA）對于在一個日益復雜的戰場上取得成功至關重要。這在戰術環境中尤其如此，因為那里有獨特的信息處理和操作限制。政府和工業界正在進行的大量研究和投資旨在提供工具，從網絡數據中開發基本的SA，但在關鍵指標方面沒有提供所需的數量級改進，如成功的入侵檢測概率、誤報率、檢測時間、反應速度、效果的精確性和可預測性、戰斗損失評估的準確性和及時性，以及人類操作員的認知負荷。防御性反應的累積效應可能會超出最初的威脅，這就需要跨區域的考慮以及防御性反應的協調或同步。這些考慮，特別是對戰術戰場而言，需要在連續處理和更接近源頭的行動方面進行突破性創新，對來自多個異質網絡、情報收集、社交媒體和其他多模式來源的信息進行自主融合。

DML可能有助于開發一些方法，在對手利用這些漏洞之前加速發現這些漏洞。同樣，輕量級的入侵檢測系統可以在戰術邊緣的限制下運行，減輕對帶寬和延遲的限制。其他應用包括自動融合來自許多異質網絡的數據，這些網絡具有高度分布、聯合或分層的特性；自動識別來自不同來源（如網絡和系統、情報、社交媒體）以及不同時間尺度和安全敏感性的模式；網絡和任務本體，以促進操作狀態和任務影響之間的映射；以及建模和模擬解決方案，允許自動生成現實的數據集，以促進實驗。

任務保障是一個成熟的概念，在許多工程領域中進行探索，包括高可用性系統、故障分析以及軟件和系統工程[16]。美國防部政策將任務保證定義為：

• 一個保護或確保能力和資產--包括人員、設備、設施、網絡、信息和信息系統、基礎設施和供應鏈--的持續功能和彈性的過程，對于在任何操作環境或條件下執行國防部的任務必要功能至關重要[17]。

• 任務保障的根本是洞察那些成功實現目標所需的資源和行動。任務映射是確定一個任務與其基本資源和程序之間的依賴關系的過程。在網絡空間的背景下，這包括信息系統、業務流程和人員角色。網絡空間是一個復雜的、適應性強的、有爭議的系統，其結構隨時間變化。復雜的因素包括。

• 事故和自然災害會擾亂網絡空間的物理基礎設施。例子包括操作錯誤、工業事故和自然災害。由于需要大量的外部協調和對臨時備份措施的依賴，從這些事件中恢復可能會很復雜。

• 美國防部的許多關鍵功能和操作都依賴于簽約的商業資產，包括互聯網服務提供商（ISP）和全球供應鏈，國防部及其部隊對這些資產沒有直接的權力。

• 美國防部的全球業務與對網絡空間和相關技術的依賴相結合，意味著國防部經常從外國供應商那里采購任務所需的信息技術產品和服務。

確保依賴網絡基礎設施的任務的一個關鍵挑戰是難以理解和模擬動態、復雜和難以直接感知的方面。這包括確定哪些任務在任何時候都是活躍的，了解這些任務依賴哪些網絡資產，這些依賴的性質，以及損失或損害對任務的影響。對網絡地形的理解必須考慮到依賴性是如何隨著時間和各種任務的背景而變化的。它需要確定任務和網絡基礎設施之間的依賴程度和復雜性；考慮到相互競爭的優先事項和動態目標。這種洞察力可以確保必要資源的可用性，并幫助評估在有爭議的條件下的替代行動方案。

此外，作戰人員可能面臨復雜的情況，這些情況不利于傳統的網絡防御行動，而有利于保證任務。例如，當計算機系統被破壞時，目前的做法是將被破壞的系統隔離起來。然后，該系統通常被重建或從一個可信的備份中恢復。業務連續性計劃試圖解決在退化條件下的運作問題，而災難恢復計劃則解決最壞的情況。這些方法優先考慮最小的利潤損失，并不迎合作戰人員可能面臨的復雜決策類型，即要求保持一個完整的系統在線，以確保一個關鍵應用程序的可用性，而對手則利用它作為一個杠桿點來獲得進一步的訪問或滲出機密信息。在這樣的條件下，作戰人員需要清楚地了解每個選擇之間的權衡，以及所選路徑的結果對任務和目標的潛在影響。此外，與受到網絡攻擊的企業不同，作戰人員必須考慮到網絡攻擊是更廣泛的綜合效應應用的一部分，必須考慮對手協調使用網絡、電子戰和動能效應的因素。最后，災難恢復計劃可以說是戰爭失敗后的一個計劃。因此，作戰人員需要有效的理論和決策支持系統，要求在被拒絕的、退化的和有爭議的環境中保持任務的連續性。

目前的任務繪圖方法主要分為兩類。首先，流程驅動的分析是一種自上而下的方法，主題專家確定任務空間和支持該任務空間的網絡關鍵地形。這種方法通過主題專家的業務流程建模產生可解釋的結果，盡管這些結果往往是靜態的。其次，人工制品驅動的分析是一種自下而上的方法，來自主機和網絡傳感器的日志和數據被用來推斷網絡資產的使用。這種方法通過數據挖掘、紅色團隊和取證發現產生高保真的分解，盡管其結果沒有提供對執行任務的替代機制的洞察力。目前存在一系列的工具和方法來完成要素任務映射[18]。

人工智能（AI）已經在軍事任務的決策中出現了許多應用，并將繼續加速這一問題領域的能力。潛在的解決方案可以尋求對特定的業務流程進行建模，并使其成為機器可描述的，從而使用戶生成的邏輯可以對這些流程進行 "推理"，并協助管理大量的信息或多個費力、復雜、甚至競爭的任務和解決方案集。DML，加上自然語言處理方面的進展[19]，提供了特別的前景，因為C2渠道之間的傳統信息交換手段包括通過軍事信息流頒布的人類生成的任務命令。

7.3 網絡空間防御作戰

防御性網絡空間行動(DCO)包括旨在通過擊敗或迫近網絡空間的敵對活動來維護軍事網絡的保密性、完整性和可用性的任務。這就將DCO任務與傳統的網絡安全區分開來，前者是擊敗已經繞過或有可能繞過現有安全措施的具體威脅，后者是在任何具體的敵對威脅活動之前確保網絡空間不受任何威脅。DCO任務是針對具體的攻擊威脅、利用或惡意網絡空間活動的其他影響而進行的，并根據需要利用來自情報收集、反情報、執法和公共領域的信息。DCO的目標是擊敗特定對手的威脅，并將被破壞的網絡恢復到安全、正常的狀態。活動包括事件管理、事件管理和惡意軟件檢測的任務。它還包括情報活動，以幫助理解新聞媒體、開放源碼信息和其他信號，從而評估敵方威脅的可能性和影響。因此，傳統上植根于情報收集活動的DML應用對防御性網絡空間行動具有同等的效用。

數據泄露的頻率越來越高，預示著安全自動化概念和能力的加速采用[20]。只有通過自動分析、響應和補救威脅，組織才有可能大規模地復制經驗豐富的網絡專家的專業知識和推理，并確保更大程度的保護。有兩個特別的技術類別脫穎而出。安全信息和事件管理，以及安全協調、自動化和響應。

安全信息和事件管理（SIEM）技術聚集事件數據，包括安全設備、網絡基礎設施、系統和應用程序產生的日志和網絡遙測。數據通常被規范化，從而使事件遵循一個共同的結構，并通過有關用戶、資產、威脅和漏洞的上下文信息來加強。SIEM平臺有助于網絡安全監控、數據泄露檢測、用戶活動監控、法規遵從報告、法證發現和歷史趨勢分析。

安全協調、自動化和響應（SOAR）技術能夠將工作流程應用于SIEM平臺收集的網絡事件數據。這些工作流程，有時被稱為 "游戲手冊"，可自動采取符合組織流程和程序的響應行動。SOAR平臺利用與補充系統的整合來實現預期的結果，如威脅響應、事件管理，以及在廣泛的網絡管理、資產管理和配置管理工具中增加自動化。

總體而言，SIEM和SOAR技術實現了安全過程的兩個關鍵階段的自動化：信息收集和分析，以及響應的執行。新興研究研究了人工智能技術在事件檢測和自動行動方案建議方面的應用，這兩種技術都適用[21], [22], [23], [24], [25]。

隨著互聯系統的規模和范圍的增長，超越自動化的自主性應用對于可擴展的網絡防御是必要的。重要性較低的互聯系統可以由網絡安全傳感器、系統和安全操作中心監控，而關鍵系統，如部署在有爭議的環境中的系統，可能需要自主智能響應能力[15]。

許多任務環境帶來了不利的條件，其中適應性的、分散的規劃和執行是非常可取的。盡管已經探討了聯合網絡行動的好處和挑戰[26]，但市場力量繼續推動軟件即服務解決方案，這些解決方案依賴于云計算基礎設施，在國防部預期的操作環境中可能無法使用。云計算的普遍性和對傳統網絡邊界的侵蝕，助長了對外部和越來越不可信的基礎設施的依賴。同時，這種方法往往提供了最佳的規模經濟和能力。

零信任是一種安全模式和一套設計原則，承認傳統網絡邊界內外威脅的存在。零信任的根本目的是了解和控制用戶、流程和設備如何與數據打交道。零信任框架提出了一個適用于企業網絡的安全愿景，包括云服務和移動設備。同時，零信任仍然是一種愿景和戰略，更多的規范性方法仍在出現[27]。其中包括云安全聯盟的軟件定義周邊框架[28]，谷歌的BeyondCorp安全模型[29]，Gartner的自適應風險和信任評估方法[30]，以及Forrester的零信任擴展生態系統[31]。在探索這些設計原則的應用或它們在保證DML應用方面可能發揮的作用方面，人們做得很少。

隨著網絡安全產品和解決方案的生態系統日益多樣化，實現互操作性以協調機器速度的反應將變得至關重要。新興的規范，如OpenC2[32]，將使網絡防御系統的指揮和控制不受底層平臺或實現方式的影響。OpenC2提供了標準化網絡防御系統接口的方法，允許執行網絡防御功能的解耦塊之間的整合、通信和操作。這套規范包括一種語義語言，它能夠為指揮和控制網絡防御組件的目的進行機器對機器的通信；執行器配置文件，它規定了OpenC2語言的子集，并可以在特定的網絡防御功能的背景下對其進行擴展；以及轉移規范，它利用現有的協議和標準在特定環境中實施OpenC2。這一舉措和類似舉措的成功將取決于工業界對它的采用。目前沒有類似的方法用于進攻性網絡空間行動，這主要是因為所使用的工具的定制性質。

7.4 社交網絡安全

社會網絡安全是國家安全的一個新興子領域，它將影響到未來所有級別的戰爭，包括常規和非常規的戰爭，并產生戰略后果。它的重點是科學地描述、理解和預測以網絡為媒介的人類行為、社會、文化和政治結果的變化，并建立社會所需的網絡基礎設施，以便在不斷變化的條件下，在以網絡為媒介的信息環境中堅持其基本特征，實際或即將發生的社會網絡威脅"。[33].

技術使國家和非國家行為者能夠以網絡速度操縱全球的信仰和思想市場，從而改變各級戰爭的戰場。例如，在DML的推動下，"深度造假 "技術出乎意料地迅速發展，這有可能改變人們對現實的認知、作為信息來源的新聞、人們之間的信任、人民與政府之間的信任以及政府之間的信任。

網絡防御將越來越多地納入反措施，以阻止與網絡領域不可分割的影響力運動。這將需要對部隊甚至社會進行教育，讓他們了解現代信息環境的分散性，存在的風險，以及審查我們消化并允許形成我們世界觀的事實的方法和多學科手段。消除軍隊和他們誓死捍衛的社會之間的任何不信任概念，對全球安全至關重要。

7.5 網絡欺騙

傳統的網絡安全和網絡防御方法是在網絡殺傷鏈的后期階段與對手接觸，而網絡欺騙是一個新興的研究領域，探索在早期與對手接觸的效用，特別是欺騙他們[34]。幾十年前，隨著蜜罐的出現，欺騙性方法在研究界獲得了新的興趣，并被視為推翻網絡防御固有的不對稱性的可行方法而得到重振。欺騙性方法有可能通過給對手帶來不確定性來改變不對稱的局面。同時，欺騙能力可能會帶來更多的復雜性。

網絡欺騙，有時被描述為移動目標防御的一種形式，包含了多個系統領域的技術：網絡、平臺、運行環境、軟件和數據。移動目標技術的設計是為了對付現代系統的同質性，即系統和應用程序之間足夠相似，以至于一個單一的漏洞可以使數千或數百萬（或更多）的設備同時受到攻擊。技術尋求在系統設置之間引入多樣性，使系統的關鍵組件隨機化，從而使攻擊者無法利用相同的特征，并隨著時間的推移改變系統組件，從而使相同的漏洞無法重復發揮作用。許多網絡攻擊是 "脆弱的"，因為它們需要精確的配置才能成功，而移動目標技術就是利用這種脆弱性。盡管如此，仍然需要研究網絡指標和有效性措施，以判斷網絡欺騙和其他移動目標技術的成功，以及它們對不同威脅模式的應用。

引言

軍事和民事情報組織經常被要求為指揮官和決策者提供支持，他們的決定影響著國家和國際安全。除其他特征外，如及時性和相關性，情報組織應做出有嚴格分析支持的評估，準確無誤，并明確傳達給決策者。不確定性對情報的評估和溝通功能都構成了關鍵挑戰。例如，分析員收到的信息的質量往往是不確定的，他們所依賴的概念模型也是如此。簡而言之，大多數分析都是在不確定的條件下做出的人類判斷。決策者可能希望完全消除不確定性，但情報組織必須努力將有關事件（概率）和他們的評估（信心）的揮之不去的不確定性盡可能連貫和清晰地傳達出去，以避免誤傳。

SAS-114研究工作組通過研究(a)在不確定情況下促進情報評估準確性的現有和新方法，以及(b)在這種評估中溝通不確定性的標準來應對這些雙重挑戰。本報告概述了SAS-114所完成的研究和分析，分為以下四個部分。

第一部分（第1-5章）研究了情報生產管理的組織方面。第1章概述了目前由科學知識有限的思想領袖制定的情報培訓如何未能解決不確定性溝通中固有的主觀性或鼓勵分析員的自我批判性認知。第二章根據英國國防情報局的經驗，提出了一個不確定性評估的框架，旨在為決策者創造最大價值，減少情報失敗的風險。第3章介紹了荷蘭國防情報和安全局利用 "魔鬼建議 "來改進分析產品。第四章介紹了關于加拿大情報從業人員認為自己及其組織在多大程度上符合美國情報界第203號指令規定的分析嚴謹性標準的研究。在第五章中，英國分析傳統技術培訓小組的成員討論了學術合作和內部研究如何促進循證傳統技術在其組織中的實施。

本報告的第二部分（第6-9章）重點討論了不確定情況下的信息評估。第6章介紹了一種基于預期信息價值建立情報收集優先級的新方法。第7章批判性地審查了目前評估來源可靠性和信息可信度的標準，并強調了未來研究的途徑。接下來，第8章介紹了 "可靠性游戲"，作為衡量來源因素對人類處境意識影響的一種游戲方法。第九章接著討論了風險游戲，這是一種評估專家如何處理異質信息、考慮信息質量和形成對同時發生的事件的信念的方法。

第三部分（第10-15章）探討了不確定性下的情報和風險評估。第10章討論了系統地監測地緣政治預測技能的重要性，并概述了這樣做的經驗方法。第11章重點討論了信息安全持續監測（ISCM）在防御性網絡行動中的挑戰，并討論了應用ISCM框架來改善情報評估。第12章介紹了關于競爭假設分析的有效性的實驗研究，以及分析后的重新校準和匯總方法，作為提高分析員判斷準確性的手段。第13章介紹了批判現實主義理論，以及批判話語分析和安全化理論的理論組成部分，它們共同為一種新穎的分析方法提供了框架：通過對比敘述進行分析。第14章接著介紹了一種以3值和6值邏輯的真值表形式結合分析判斷的透明方法。第15章的結論是一個分類系統，它有助于將分析技術與具體的情報問題相聯系。

本報告第四部分（第16-20章）根據SAS-114的最初目標，討論了情報制作中不確定性的交流。第16章研究了自然語言中固有的不確定性是如何影響報告質量的，并提出了一種識別、評估和權衡文本信息的證據性的方法。第17章對美國和英國在情報分析中交流概率的政策進行了批判性評論。第18章介紹了由SAS-114的成員和附屬機構收集的估計概率標準的注釋集。同樣，第19章介紹了SAS-114收集的用于評估和溝通分析信心的標準。第20章是報告的結尾，討論了數字時代的交流，特別關注商業開放源代碼情報中的不確定性溝通。

因此，本報告中的二十個章節涵蓋了廣泛的概念領域。SAS-114團隊希望，讀者會發現這套報告既能激發智力，又有實際用途。

內容提要

軍事和民事情報組織經常被要求為指揮官和策略制定者提供支持，他們的決定影響著國家和國際安全。除其他特點外，如及時性和相關性，情報組織應做出有嚴格分析支持的評估，準確無誤，并明確傳達給決策者。不確定性對情報的評估和溝通功能都構成了關鍵挑戰。例如，分析員收到的信息的質量往往是不確定的，他們所依賴的概念模型也是如此。簡而言之，大多數分析都是在不確定的條件下做出的人類判斷。決策者可能希望完全消除不確定性，但情報組織必須努力將有關事件（概率）和他們的評估（信心）的揮之不去的不確定性盡可能連貫和清晰地傳達出去，以避免誤傳。

SAS-114研究任務組通過研究來應對這些雙重挑戰。

a) 在不確定情況下促進情報評估準確性的現有和新方法；以及

b) 溝通此類評估中不確定性的標準。

本報告概述了SAS-114所完成的研究和分析，分為四個部分。

a) 第一部分（第1-5章）探討了情報生產管理的組織方面。

b) 第二部分（第6-9章）研究了不確定性下的信息評估。

c) 第三部分（第10-15章）研究不確定條件下的情報和風險評估；以及

d) 第四部分（第16-20章）研究了目前在情報生產中溝通不確定性的方法。

第一部分的核心主題是，情報組織需要積極主動地利用判斷和決策的科學。第一部分進一步說明了盟國的情報組織正試圖發展一種更加基于證據的分析技術和情報監督的方法。第二部分批判性地審查了目前評估信息有用性和質量的情報方法，并提出了替代方法。第二部分還介紹了測試分析員在不確定環境中如何評估信息質量的研究方法。第三部分描述了監測情報預測的準確性和監測防御性網絡風險的方法。第三部分還對支持情報分析的替代方法給予了極大的關注，包括通過對分析員的支持，以及通過從決策科學中提取的分析后方法。第四部分集中討論了自然語言和情報領域中不確定性的溝通。有幾章對目前向決策者傳達概率和置信度的情報（和其他專業）標準進行了批評分析。

盡管本報告所涉及的主題和調查方法多種多樣，但有幾個章節在一些關鍵結論上是一致的。首先，現有的交流信息質量、事件發生和評估準確性的不確定性的方法在多個方面存在缺陷，應促使北約下的情報界更密切地關注相關科學。具體來說，我們建議情報組織考慮使用數字概率，而不是目前使用的不確定性的模糊的口頭表達。其次，我們建議情報組織在符合科學標準的實驗中測試分析技術方法的有效性，并建議他們考慮在科學理論中具有更強基礎的替代方法。這一點至關重要，因為正如我們的一些研究表明，現有的方法可能不僅不能提高分析的嚴謹性，事實上還可能削弱分析員的評估質量。最后，我們建議情報組織采用積極的自我監測系統，除其他外，跟蹤他們提供給決策者的預測的準確性。

前言

SAS-114小組的前身是SAS-ET-CR探索小組，該小組于2014年12月在北約合作支持辦公室（CSO）召開了一次會議。最初的想法是專注于審查不確定性和風險的溝通標準。根據英國的建議，將范圍擴大，不僅包括不確定性的溝通，還包括在不確定性條件下如何進行評估。一年后，SAS-114研究任務小組（RTG）在CSO啟動，最初的團隊來自加拿大、丹麥、英國、荷蘭和美國，以及北約的海洋研究和實驗中心。隨后，它的成員擴大到包括德國、挪威、西班牙和瑞典。在第一年內，SAS-114也變得很明顯，它主要集中在情報分析領域。對情報的強調在活動中期的重新命名中被正式體現出來。SAS-114從情報界吸收了許多新成員，團隊的組成變得真正多樣化，包括科學家和情報專家的組合。每次會議的結構就像一個小型會議，旨在交流思想和新的發現，并做一些很少做的事情：給科學家和從業人員一個一年兩次的幾天空間來討論情報分析中的挑戰，并聽取可用于改善情報和向決策者傳達的前沿研究。因此，SAS-114也受益于來自科學界和情報界的大量特邀發言人。一個有代表性的例子是在會議記錄中，溝通不確定性，評估信息質量和風險，以及在情報分析中使用結構化技術（doi: 10.14339/STO-MP-SAS-114），其中概述了Arne Biering在哥本哈根Kastellet舉辦的研討會。SAS-114的會議結構與RTG的會議不同，是為了刺激坦率和公開的對話，并為合作的形成和發展提供機會。核心團隊并沒有著手設計所有成員都會參與的實驗。相反，在雙方興趣濃厚且每個參與成員都有貢獻的地方，形成了較小的合作集群。本報告中的許多章節概述了這種合作努力的結果。其中一些團隊的努力仍在進行中，并不是所有的團隊都已經成熟到可以在本報告中總結的地步。如果SAS-114在過去的三年里沒有什么成果，這可能會被理解為 "未完成的工作"，然而根據任何合理的標準，SAS-114已經有了很高的成果，正在進行的合作更適合被理解為團隊持續合作的力量和產生的潛力的明確標志，這將遠遠超過其預定的年份，甚至可能成為北約未來的一個或多個活動。

SAS-114被證明是一個公開對話和自我形成研究合作的實驗，這一點在這份最終報告中得到了很好的體現。在報告中，讀者將發現沒有成員共同簽署的共識文件，而是一個結構化分析、研究結果、專業見解和影響SAS-114關鍵焦點的思想文章的多樣化集合。作為編輯，我偶爾會在實質性問題上對作者提出質疑，但這只是為了進一步突出論點，而不是為了強求一個共同的觀點。本報告中的20個章節分為四個部分：（a）情報生產管理的組織方面，（b）不確定性下的信息評估，（c）不確定性下的情報和風險評估，以及（d）情報生產中的不確定性溝通。最后一部分正視SAS-114的最初目標，追溯到探索小組，而前三部分則強調該活動自早期開始以來的發展。

序文

指揮官和策略制定者需要高質量的信息來做出適當的決定。在處理他們自己的部隊時，在正確的級別和正確的時間獲得正確的信息，雖然不是小事，但可以通過卓越管理來實現。然后，風險可以得到適當的衡量和說明。然而，如果不注入大量的不確定性，再好的管理也無法提供關于一個合格對手的決策質量信息。

大部分的不確定性來自于無法獲得第一手的信息，而不得不從不完整的或智能體的測量結果中進行推斷--這種情況對于其他行業的分析人員來說是很熟悉的，無論是市場研究、運營研究還是財務分析。然而，其中一些不確定性來自于對手使用積極的欺騙手段，試圖讓我們自己的偏見對我們不利，以掩蓋意圖和能力。為了適應我們用來描述對手行動路線的描述詞：如果第一個不確定性的產生者是最有可能的，那么第二個就是最危險的。它們共同為情報分析員提供了兩個不同但相關的挑戰：如何在這些條件下達成適當的評估，以及如何將這種不確定性適當地傳達給決策者。

雖然在大多數情報組織中，促進情報評估的準確性和溝通不確定性的直觀一致的程序已經使用了一段時間，但本報告中的研究表明，有些程序經不起科學方法的檢驗。這組論文中反復出現的主題是，隨著我們繼續在研究人員和從業人員之間不斷加深理解，不斷發展的判斷和決策科學可以幫助發展一種基于證據的情報分析技術。

科學和戰爭之間的共生關系并不新鮮。從最早的洞穴居民嘗試用棍子的大小、形狀和材料來保護家人免受攻擊，到隱形飛機的開發，研究、開發和國防從業人員之間的聯系在 "行動"、"防護 "和 "感知 "的操作功能中一直很緊密。指揮職能，包括其情報子集，已被證明對科學界的幫助有更大的阻力。文化、難以讓科學家獲得適當級別的批準，以及發表機密到無法進行同行評審的研究缺乏吸引力，是造成這種距離的一些因素。

本技術報告收集了豐富的思想文章、專業見解和研究成果，是科學家和從業人員特意聚在一起討論情報分析中的挑戰的產物，這表明我們最終正在打破這一鴻溝。兩個部落都肯定會從這種合作方式中獲益，但最大的贏家無疑是情報的消費者：指揮官、策略制定者和他們所服務的人。

• 克里斯蒂安-盧梭上將（退役）（MGen (Ret'd) Christian Rousseau，加拿大恐怖主義綜合評估中心主任；前加拿大國防情報局局長和加拿大部隊情報指揮部的創始指揮官。

這篇評論針對人工智能系統提出了 "什么是好的解釋 "的問題。報告概括了計算機科學努力創建解釋和指導系統的歷史，現代人工智能中的可解釋問題和挑戰，以及主要的解釋心理學理論。對XAI系統進行評估的方法指導強調了全局和局部解釋之間的差異，需要評估人機工作系統的性能，以及需要認識到實驗程序默示地將自我解釋的負擔強加給用戶。涉及人與人工智能互動和共同適應的任務，如錯誤或oddball檢測，為XAI評估帶來希望，因為它們也符合 "解釋即探索"和解釋即共同適應的對話過程的概念。涉及預測人工智能的決定的任務，結合實驗后的訪談，為研究XAI背景下的心理模型帶來了希望。

總結

這是一篇綜合評論，討論了 "什么才是好的解釋？"這個問題，并提到了人工智能系統。相關的文獻資料非常多。因此，這篇評論必然是有選擇性的。盡管如此，大部分的關鍵概念和問題都在本報告中有所闡述。該報告概括了計算機科學努力創建解釋和指導系統（智能輔導系統和專家系統）的歷史。報告表達了現代人工智能中的可解釋性問題和挑戰，并提出了解釋的主要心理學理論的囊括觀點。某些文章由于與XAI特別相關而脫穎而出，它們的方法、結果和關鍵點被強調。

建議鼓勵AI/XAI研究人員在他們的研究報告中，以實驗心理學研究報告的方式，更全面地介紹他們的經驗或實驗方法：關于參與者、指示、程序、任務、自變量（措施和度量的操作定義）、獨立變量（條件）和控制條件的細節。

在本報告審查的論文中，人們可以找到評估XAI系統的方法論指導。但報告強調了一些值得注意的考慮。全局解釋和局部解釋之間的差異，需要評估人機工作系統的表現（而不僅僅是人工智能的表現或用戶的表現），需要認識到實驗程序默許了用戶自我解釋的負擔。

糾正性/對比性用戶任務支持自我解釋或解釋即探索。涉及人類與人工智能互動和共同適應的任務，如錯誤或oddball檢測，為XAI評估帶來了希望，因為它們也符合 "解釋-探索 "和解釋是共同適應的對話過程的概念。涉及預測人工智能的決定的任務，結合實驗后的訪談，為研究XAI背景下的心理模型帶來了希望。

序言

本報告是對之前關于DARPA XAI項目的報告的擴展，該報告的標題是 "可解釋人工智能關鍵思想的文獻回顧和整合"，日期是2018年2月。這個新版本整合了已經發現的近200個額外的參考文獻。本報告包括一個新的部分，題為 "對XAI系統的人類評價的審查"。這一節重點介紹了人機人工智能或XAI系統經歷了某種實證評估的項目報告--其中許多是最近的。這個新部分與DARPA XAI項目的經驗和實驗活動特別相關。

本材料基于空軍研究實驗室（AFRL）根據協議號FA8650- 17-2-7711贊助的研究。美國政府被授權為政府目的復制和分發重印本，盡管上面有任何版權說明。