人工智能（AI）的最新進展為許多經典的AI應用帶來了突破，例如計算機視覺、自然語言處理、機器人和數據挖掘。因此，有很多人努力將這些進展應用于軍事領域，如監視、偵察、威脅評估、水雷戰、網絡安全、情報分析、指揮和控制以及教育和培訓。然而，盡管人工智能在軍事應用上有很多可能性，但也有很多挑戰需要考慮。例如，1）高風險意味著軍事人工智能系統需要透明，以獲得決策者的信任并能進行風險分析；這是一個挑戰，因為許多人工智能技術具有黑盒性質，缺乏足夠的透明度；2）軍用 AI 系統需要穩健可靠；這是一個挑戰，因為已經表明即使對所使用的 AI 技術沒有任何了解，AI 技術也容易受到輸入數據微小變動的影響，并且 3) 許多 AI 技術基于需要大量數據的機器學習訓練；這是一個挑戰，因為在軍事應用中經常缺乏足夠的數據。本文介紹了正在進行的項目成果，以說明軍事應用中人工智能的可能性，以及如何應對這些挑戰。

1 介紹

人工智能（AI），特別是機器學習（ML）和深度學習（DL），在十年內已經從研究機構和大學的原型設計轉向工業和現實世界應用。使用DL技術的現代人工智能已經徹底改變了傳統人工智能應用的性能，如機器翻譯、問答系統和語音識別。這一領域的許多進展也將其優秀的想法變成了卓越的人工智能應用，能夠進行圖像說明、唇語閱讀、語音模仿、視頻合成、連續控制等。這些成果表明，一個能夠自我編程的機器有潛力：1）提高軟件和硬件開發的效率，2）以超越人類的水平完成特定的任務，3）為人類以前沒有考慮過的問題提供創造性的解決方案，4）在人類已知的主觀、偏見、不公平、腐敗等方面提供客觀和公平的決定。

在軍事背景下，人工智能的潛力存在于所有維度的軍事空間中（即陸地、海洋、空中、空間和信息）和所有級別的戰爭內（即政治、戰略、作戰和戰術）。例如，在政治和戰略層面，人工智能可以通過制作和發布大量的虛假信息來破壞對手的穩定狀態。在這種情況下，人工智能很可能也是抵御這種攻擊的最佳人選。在戰術層面，人工智能可以改善無人系統的部分自主控制，以便人類操作員可以更有效地操作無人系統，最終擴大戰場影響力，增強戰場實力。

然而，正如我們將在這項工作中指出的那樣，有幾個關鍵挑戰可能會減緩或限制現代人工智能在軍事應用中的使用：

• ML模型的透明度和可解釋性不足。舉一個例子，使用DL對使用深度神經網絡（DNN）的自動駕駛汽車進行控制建模需要幾十萬個參數。顯然，這樣一個復雜的程序不容易被解釋。即使是使用替代的ML算法生成的模型，其中模型可以被圖形化，如解析樹或決策樹，即使在應用于玩具模型問題時，也很難甚至不可能解釋。一個更重要的挑戰是人工智能系統向決策者或人類操作者解釋其推理的能力，或者在這種情況下是無能為力的。
• 眾所周知，使用ML開發的模型很容易受到對抗性攻擊。例如，基于DL的模型可以很容易地通過操縱輸入信號而被欺騙，即使該模型對攻擊者來說是未知的。舉一個例子，使用最先進的目標檢測的無人駕駛飛行器（UAV）也有可能被地面上精心設計的偽裝圖案所欺騙。
• 任何 ML 應用的原料是機器可以從中學習并最終深入理解的數據。軍事組織通常擅長收集數據用于匯報或重建目的。然而，不能保證同樣的數據可以成功用于ML。因此，軍事組織可能必須調整其數據收集過程，以充分利用現代人工智能技術，如DL。

本文的目的是強調人工智能在軍事應用中的可能性和主要挑戰。第2節簡要介紹了DL，它是本文關注的主要人工智能技術。第3節提供了幾個人工智能在軍事領域中應用的例子。第4節描述了與軍事領域中人工智能的關鍵挑戰，以及部分可用于解決這些挑戰的技術。第5節提出了結論。

2 深度學習

我們所說的DL是指由多個非線性處理單元層組成的機器學習模型。通常情況下，這些模型由人工神經網絡表示。在這種情況下，神經元指的是一個單一的計算單元，其輸出是通過一個（非線性）激活函數的輸入的加權和（例如，一個只有在信號為正時才通過的函數）。DNN指的是具有大量串連神經元層（神經元層由神經元并聯組成）的系統。與DNN相對的是淺層神經網絡，它只有一層平行連接的神經元。

直到大約十年前，DNN的訓練幾乎是不可能的。第一個成功的深度網絡的訓練策略是基于一次訓練一個層。逐層訓練的深度網絡的參數最終使用隨機梯度方法進行微調（同時），以最大限度地提高分類精度。此后，許多研究進展使得直接訓練DNN成為可能，而無需逐層訓練。例如，人們發現，網絡權重的初始化策略與激活函數的選擇相結合是解決問題的關鍵。甚至一些技術，如在訓練階段隨機停用神經元，以及在信號到達激活函數之前對其進行歸一化處理，也已證明對于使用 DNN 獲得良好結果非常重要。

表示學習是DNN高性能的主要原因之一。使用DL和DNN，不再需要手動制作學習特定任務所需的特征。相反，辨別特征是在 DNN 的訓練過程中自動學習的。

支持 DL 應用的技術和工具如今比以往任何時候都更加好用。通過廉價的計算資源、免費的 ML 框架、預訓練模型、開源數據和代碼，僅使用有限的編程/腳本技能即可成功應用和定制高級 DL。

3 軍事人工智能應用

本節介紹了幾個可以應用人工智能來提高軍事能力的例子。

3.1 監視

海上監視是利用固定雷達站、巡邏飛機、船舶，以及近年來使用自動識別系統（AIS）對海上船只進行的電子跟蹤。這些信息源提供了大量的關于船只運動的信息，這些信息可能會揭示船舶非法的、不安全的、有威脅的和異常的行為。然而，大量的船舶運動信息使得手動檢測此類行為變得困難。因此ML-方法被用來從船舶運動數據中生成常態模型。任何偏離常態模型的船舶運動都被認為是異常的，并提交給操作員進行人工檢查。

一種早期的海事異常檢測方法使用模糊 ARTMAP 神經網絡架構根據港口位置對正常船舶速度進行建模。另一種方法是利用運動模式的關聯學習來預測基于其當前位置和行駛方向的船舶運動。其他方法則使用基于高斯混合模型（GMM）和內核密度估計（KDE）的無監督聚類。這些模型能夠檢測出改變方向、穿越海路、向相反方向移動或高速行駛的船只。最近的方法是使用貝葉斯網絡來檢測錯誤的船舶類型，以及不連續的、不可能的和徘徊的船舶運動。海事異常檢測的未來發展還應該考慮周圍的船只和多艘船只之間的互動。

3.2 水下水雷戰

水雷對海上船只構成重大威脅，被用來限制船只行動或阻止船只通過受限水域。因此，反水雷措施（MCM）試圖定位和消除水雷，以實現行動自由。越來越多地使用配備合成孔徑聲納 (SAS) 的自主水下航行器 (AUV) 進行水雷搜索，該水下航行器能提供厘米分辨率的海底聲學圖像。由于AUV收集了大量的SAS圖像，自動目標分類對于區分潛在的水雷與其他物體是很有用的。雖然對水雷的自動目標分類已經研究了很長時間，但DNN在圖像分類方面的高性能表現使人們對如何將這種辦法用于自動地雷探測產生了興趣。

一些研究顯示了DNN在水雷探測方面的潛力。例如，這些研究描述了如何將假水雷的形狀、類似水雷的目標、人造物體和巖石放置在海底的各種地理圖形位置上。然后用AUV和SAS對海底進行測量。結果顯示，與傳統的目標分類器相比，DNN的性能明顯提高，對水雷形狀的檢測概率更高，誤報率更低。同樣，這些研究也描述了如何生成圓柱形物體和各種海底景觀的協同SAS圖像，并這些圖像用來訓練DNN。進一步的研究可能會探究如何從所有類型的雜波物體中分辨出水雷，結合檢測和分類，以及對噪聲、模糊和遮擋的魯棒性等

3.3 網絡安全

入侵檢測是網絡安全的重要組成部分，可在惡意網絡活動危及信息可用性、完整性或機密性之前對其進行檢測。入侵檢測是使用入侵檢測系統（IDS）進行的，該系統將網絡流量分類為正常或入侵。然而，由于正常的網絡流量往往具有與實際攻擊相似的特征，網絡安全分析師對所有入侵警報的情況進行分析，以確定是否存在實際的攻擊。雖然基于簽名的IDS通常擅長檢測已知的攻擊模式，但它們不能檢測以前未見過的攻擊。此外，基于簽名的檢測的開發往往是緩慢和昂貴的，因為它需要大量的專業知識。這限制了系統對快速演變的網絡威脅的適應性。

許多研究使用 ML 和其他 AI 技術來提高已知攻擊的分類準確性、檢測異常網絡流量（因為這可能表明新的攻擊模式偏離了正常網絡流量）以及自動化模型構建。然而，這些系統很少被實際使用。其原因是，入侵檢測給出了具體的挑戰，如缺乏訓練數據、網絡流量變化大、錯誤成本高以及難以進行相關評估。雖然可以收集大量的網絡流量，但這些信息往往是敏感的，只能部分匿名化處理。使用模擬數據是另一種選擇，但它往往不夠真實。然后，必須根據模式是正常還是入侵，或用于確保無攻擊的異常檢測來標記數據以進行監督學習，這通常很難做到。最后，模型需要是透明的，以便研究人員能夠理解檢測限制和特征的含義。

另一項提高網絡安全的措施是在安全審計期間進行滲透測試，以確定潛在的可利用的安全弱點。由于許多網絡的復雜性和其中的大量主機，滲透測試通常是自動化的。一些研究已經調查了如何使用網絡的邏輯模型而不是實際的網絡將 AI 技術用于模擬滲透測試。網絡通常用攻擊圖或樹來表示，描述對手如何利用漏洞闖入系統。描述了模型在表征方式方面的不同之處：1) 攻擊者的不確定性，從抽象的成功和檢測概率到網絡狀態的不確定性，以及 2) 從已知的前后條件到一般感知和觀察的攻擊者行為-結果的服務。此外，通過網絡和主機的正式模型，可以對不同的緩解策略進行假設分析。未來對滲透測試的研究可能會使用攻擊者和防御者之間交互的認知有效模型，例如，深度強化學習來探索可能攻擊的大問題空間。

4 挑戰

正如第3節中的案例所示，在為軍事目的開發和部署的基于人工智能的應用之前，有一些尚未解決的挑戰是很重要的。在本節中，我們將討論我們認為對軍事人工智能最關鍵的挑戰：1）透明度，2）脆弱性，以及3）在有限的訓練數據下的學習。其他重要的，但不太關鍵的，與優化、泛化、架構設計、超參數調整和生產級部署有關的挑戰，在本節中沒有進一步討論。

4.1 透明度

許多應用除了需要高性能外，還需要高透明度、高安全性以及用戶的信任或理解。這種要求在安全關鍵系統、監控系統、自主智能體、醫學和其他類似的應用中很典型。隨著最近人工智能技術的突破，人們對透明度的研究也越來越感興趣，以支持最終用戶在此類應用中的使用與透明度相關的成果。

4.1.1 對透明度的期望

人工智能所需的透明度取決于終端用戶的需求。利普頓描述了透明度可能涉及五種類型的用戶需求：

• 1.信任-在用戶難以質疑系統建議的情況下。然而，可能不清楚用戶的信任是基于系統的性能或穩定性，相對于用戶的體驗，還是用戶對系統推薦的舒適度。
• 2.理解之前未知的因果關系，可以用其他方法測試。
• 3.由于與用戶的能力相比，模型的通用性有限，因此對系統性能的了解受到限制。
• 4.有關系統建議的一些補充信息。
• 5.公平性，以避免可能導致某些情況下的不平等待遇的系統性偏見。例如，對信貸申請的評估不應基于個人屬性，如性別或種族，盡管這種屬性可能在整體統計水平上用來區分人口群體。

原則上，有兩種方法可以使人工智能系統透明。首先，某些類型的模型被認為比其他的更容易解釋，例如線性模型、基于規則的系統或決策樹。檢查這些模型可以理解它們的組成和計算。Lipton描述了可解釋性取決于用戶是否能夠預測系統的建議，理解模型參數，以及理解訓練算法。其次，系統可以解釋其建議。這種解釋可以是文字的，也可以是視覺的。例如，通過指出圖像的哪些方面最有助于其分類。Miller 對社會科學研究中如何使用這些知識來設計 AI 系統的進行了的回顧。通常情況下，人們用他們感知到的信念、欲望和意圖來解釋其他智能體的行為。對于人工智能系統來說，信念對應于系統關于情況的信息，欲望對應于系統的目標，而意圖對應于中間狀態。此外，解釋可能包括行動的異常性、使成本或風險最小化的偏好、對預期規范的偏離、事件的回顧性和行動的可控性。主要的發現是：

• 解釋是針對特定的反事實案例而進行的對比性解釋。因此，解釋的重點是為什么提出特定的建議而不是其他建議。
• 解釋是有選擇的，并且集中在一兩個可能的原因上，而不是建議的所有原因。
• 解釋是一種傳遞知識的社會對話和互動。

4.1.2 可解釋模型的實例

貝葉斯規則列表（BRL）是可解釋模型的一個例子。BRL由一系列的if（條件）then（結果）else（替代）語句組成。Letham等人描述了如何為一個高度準確和可解釋的模型生成BRL來估計中風的風險。條件離散化了影響中風風險的高維多變量特征空間，結果描述了預測的中風風險。BRL在預測中風風險方面具有與其他ML方法類似的性能，并且與其他現有評分系統一樣具有可解釋性，但其準確性較低。

基于詞典的分類器是文本分類的另一個可解釋模型的例子。基于詞典的分類器將術語的頻率與每個類別中出現的術語的概率相乘。得分最高的類別被選為預測對象。Clos等人使用一個門控遞歸網絡對詞典進行建模，該網絡同時學習術語和修飾語，如副詞和連詞。受過訓練的詞典是關于論壇中的帖子是支持還是反對死刑以及對商業作品的看法。詞典的表現比其他ML方法更好，同時也是可解釋的。

4.1.3 特征可視化的實例

盡管DNN在許多應用中提供了很高的性能，但它們的子符號計算可能有數百萬個參數，這使得人們很難準確理解輸入特征對系統推薦的貢獻。由于DNN的高性能對許多應用來說是至關重要的，因此人們對如何使它們更容易解釋產生了濃厚的興趣（見一篇評論）。許多用于解釋DNN的算法將DNN處理轉化為原始輸入空間，以便將辨別特征可視化。通常，有兩種通用方法用于特征的可視化，即激活最大化和DNN解釋。

激活最大化會計算哪些輸入特征將最大限度地激活可能的系統建議。對于圖像分類來說，這代表了理想的圖像，它顯示了每個類別的可區分和可識別的特征。然而，由于各類可能使用同一物體的許多方面，而且圖像中的語義信息往往是分散的，所以圖像往往看起來不自然。激活最大化的方法的一些例子是梯度上升法，更好的正則化方法以增加通用性，以及合成首選圖像法。

DNN的解釋是通過強調區分輸入特征來解釋系統建議。在圖像分類中，這種可視化可能會突出顯示支持或反對某個類別的區域，或者僅顯示包含區分特征的區域。計算鑒別特征的一種方法是使用局部梯度或其他變化度量的敏感性分析。然而，敏感性分析的一個問題是，它可能顯示輸入中不存在的判別特征。例如，在圖像分類中，敏感性分析可能會顯示物體被遮擋的部分，而不是可見部分。逐層相關性傳播通過考慮特征存在和模型反應來避免這個問題。

4.1.4 具體應用解釋的實例

與分類不同的是，人工智能規劃是基于動態的領域模型。Fox等人描述如何使用領域模型來解釋為什么行動被執行或不執行，為什么一些行動不能被執行，使未來行動的因果關系，以及重新規劃的需要。

由于公平性對許多人工智能應用來說非常重要，Tan等人描述了如何利用模型蒸餾來檢測黑箱模型的偏差。模型蒸餾法將更大更復雜的模型進行簡化，而沒有明顯的準確性損失。為了提高透明度，他們使用了基于淺層樹的廣義加性模型，對每個參數和兩個參數之間的相互作用進行建模。他們根據黑盒模型的系統建議訓練一個透明模型，并根據實際結果訓練一個透明模型。對兩個模型的推薦差異的假設檢驗體現了黑盒模型引入偏差的情況，然后可以通過比較兩個透明模型來診斷偏差。該系統在犯罪風險、借貸風險和卷入槍擊事件的個人風險方面進行了評估。結果顯示，一個黑盒模型低估了年輕罪犯和白種人的犯罪風險，而高估了美國本土非洲裔犯罪的風險。

4.2 脆弱性

在本節中，我們討論DNN在兩個不同方面的脆弱性。1）對輸入操縱的脆弱性和2）對模型操縱的脆弱性。我們首先看一下對輸入信號的操縱：

4.2.1 對輸入進行對抗性處理

在提供DNN的情況下，人們發現很容易調整輸入信號，從而使分類系統完全失敗。當輸入信號的維度很大時，例如圖片，通常只需對輸入中的每個元素（即像素）進行不易察覺的微小調整，就足以欺騙系統。用同樣的技術來訓練DNN，通常是采用隨機梯度法，通過觀察梯度的符號，你可以很容易地找到每個元素應該朝哪個方向改變，以使分類器錯誤地選擇目標類別或僅僅是錯誤分類。只需幾行代碼，最好的圖像識別系統就會被欺騙，相信一張車輛的圖片是一只狗。下面的圖 1 顯示了操作前后的圖像以及操作前后類的可能性。

上述方法假設有對DNN的完全訪問權，即所謂的白盒攻擊。人們發現，即使是所謂的黑箱攻擊，即你只觀察到系統的輸入和輸出類型，也是可能的。在其中，作者采用從他們想要攻擊的黑盒系統中稀疏采樣所獲得的數據來訓練一個替代網絡。鑒于替代網絡，你可以使用上述的白盒攻擊方法來制作對抗性輸入。一個學習替代網絡的替代方法被提出來，在這個方法中，遺傳算法被用來創建導致系統錯誤分類的攻擊向量。同一作者甚至表明，通常只需修改圖像中的一個像素，盡管常常是可察覺的，就能實現成功的攻擊。

圖 1：從小型貨車到西伯利亞雪橇犬。 原始圖像和操縱（對抗性制作）圖像之間的絕對差異（放大 20 倍）顯示在右側。 對抗性示例（中心）是使用 Kurakin 的基本迭代方法（BIM）生成的。

4.2.2 利用預訓練 DNN 中的隱藏后門

當設計一個DNN，但只能獲得少量的訓練數據時，通常會使用預訓練的模型來達到良好的性能。這個概念被稱為遷移學習，一個常見的應用是采用在大量數據上訓練過的模型，根據具體問題替換和定制網絡中的最后幾層，然后在最后階段（有時甚至是整個系統）利用可用的訓練數據微調參數。目前已經有大量的預訓練模型可以從互聯網上下載。那么一個相關的問題是："我們怎么知道那些上傳模型的人沒有壞心眼？"。作者在識別美國交通標志的模型中插入后門，就考慮了這種類型的漏洞。例如，一個貼紙被訓練為屬于停止標志以外的類別。然后他們表明，當使用后門（即在交通標志上放置一個貼紙）時，基于美國交通標志網絡的識別瑞典交通標志的系統會有負面的反應（大大損害了瑞典交通標志系統的分類準確性）。

4.2.3 防御方法

減少DNN對輸入信號操縱的脆弱性的一種方法是在模型的訓練過程中明確包括被操縱/對抗的例子。也就是說，除了原始訓練數據外，還產生了對抗性例子，并用于模型的訓練。

另一種方法是使用一個叫做防御蒸餾的概念。簡而言之，該方法試圖降低輸出信號只指出真實類別的要求，并迫使其他類別的概率為零。這分兩步完成。第一步是對DNN進行常規訓練。在第二步，將第一個神經元網絡的輸出（類別概率）用作新的類別標簽，并使用新的（軟）類別標簽訓練一個新的系統（具有相同的架構）。這已被證明可以減少漏洞，因為你沒有把DNN與訓練數據貼得太緊，并保留了一些合理的類間關系。

其他防御方法，例如特征壓縮技術，例如均值或中值濾波或非線性像素表示，例如單熱或溫度計編碼。

不幸的是，所描述的方法都不能完全解決漏洞問題，尤其是如果攻擊者對模型和防御方法有充分的了解的話。

4.3 數據

在軍事背景下開發基于ML的應用是具有挑戰性的，因為軍事組織、訓練設施、平臺、傳感器網絡、武器等的數據收集應用最初不是為ML目的設計的。因此，在這個領域，往往很難找到真實世界的、高質量的、足夠大的數據集，可以用來學習和深入理解的。在本節中，我們將探討即使在有限的訓練數據中也可以用來建立ML應用的技術。

4.3.1 遷移學習

遷移學習（也在第4.2.2節中提到）是一種技術，通常在數據集較小和計算資源有限時使用。這個想法是在開發針對其他類似任務的新模型時，重復使用通常由 DNN 表示的預訓練模型的參數。至少有兩種方法可用于DL應用中的遷移學習：

• 重新學習輸出層：使用這種方法，預先訓練好的模型的最后一層被替換成新的輸出層，與新任務的預期輸出相匹配。在訓練過程中，只有新輸出層的權重被更新，其他的都是固定的。
• 微調整個模型：這種方法類似于第一種方法，但在這種情況下，可能會更新整個 DNN 的權重。 這種方法通常需要更多的訓練數據。

事實證明，遷移學習也可以提高模型的泛化能力。然而，隨著源任務和目標任務之間距離的增加，遷移學習的積極作用往往會減少。

4.3.2 生成性對抗網絡

生成性對抗網絡（GANs）是由Goodfellow等人發明的，是一種生成模型，可用于半監督學習，其中將一小組標記的數據與一大組未標記的數據相結合以提高模型的性能。基本的GAN實現由兩個DNN組成，分別代表一個生成器和一個判別器。生成器被訓練成產生假數據，而判別器被訓練成將數據分辨為真實或虛假。當這兩個網絡同時被訓練時，一個網絡的改進也會導致另一個網絡的改進，直到最后達到一個平衡。在半監督學習中，生成器的主要目標是產生未標記的數據，用于提高最終模型的整體性能。除了半監督學習之外，GANs還被用于：

• 重建：填補部分被遮擋的圖像或對象的空白部分。
• 超分辨率：將圖像從低分辨率轉換為高分辨率。
• 磁帶到圖像的轉換：將圖像從冬天轉換為夏天，從夜晚轉換為白天，等等。這項技術的一個軍事應用是可以將夜視圖像轉換為日光圖像。

4.3.3 建模和仿真

建模和仿真已被軍隊廣泛用于培訓、決策支持和研究等。因此，有很多經過長期驗證的模型，也有可能被用于生成ML應用的合成數據。例如，飛行模擬器可以用來生成置于不同環境中飛機的合成圖像。在這種情況下，標簽是自動的，因為在生成合成圖像之前，飛機的類型是已知的。然而，不足為奇的是，在將模型應用于真實世界的圖像時，使用合成圖像可能會導致性能不佳。目前正在探索的一種方法是采用GANs增強合成圖像，使其具有照片般的真實性。這種方法已經得到成功的應用。

5 結論

人工智能最近的突破正在逐漸達到可以用于軍事應用的地步。 該論文描述了在監視、水下魚雷戰和網絡安全中使用人工智能的一些可能性。 其他潛在應用包括使用半自動駕駛車輛和傳感器系統進行偵察、在具有長時間要求的防空系統中進行威脅評估、新興模式的情報分析、指揮和控制系統以及教育和培訓。 然而，人工智能的軍事應用需要考慮以下方面的挑戰：

• 確保模型性能符合軍事要求的透明度。
• 脆弱性可能會導致系統性能大幅度降低。
• ML的訓練數據不足。

專注于人工智能的透明度、可解釋性和可解釋性問題的研究人員已經取得了許多進展。這些進展中的許多部分也都可能被用于軍事人工智能應用中。然而，需要進行更徹底的需求分析以了解如何利用這些研究成果。軍事需求在風險、數據質量、法律要求等方面與一般情況相比非常不同，有些類型的透明度甚至可能不適用。此外，還需要對如何利用社會科學研究來提高人工智能的可解釋性進行更多研究。未來的研究還應該包括如何充分利用在視覺分析研究領域中開發地豐富的可視化技術。

由于目前還沒有解決脆弱性問題的有效方案，因此在監測這一研究領域不斷尋找有希望的解決方案非常重要。然而，在這種解決方案出現之前，有必要盡量減少外部對模型和防御技術的訪問。否則，對手可能會試圖利用這些漏洞來為自己謀利。

最后，遷移學習使其有可能將預先訓練好的模型應用于訓練數據和計算資源都有限的軍事應用。GAN是另一種有很前途的技術，它能夠采用標記的和未標記的數據進行學習（半監督學習）。GAN也可以與仿真結合使用，以提高合成的訓練數據的真實性。

摘要

由于人工智能（AI）、機器學習，特別是深度學習的進步，可解釋人工智能（XAI）研究領域最近受到了很多關注。XAI是一個研究領域，重點是確保人工智能系統的推理和決策可以向人類用戶解釋。在軍事背景下，這種解釋通常是為了確保：

• 人類用戶對他們操作的人工智能系統有適當的心智模型。

• 專家可以從人工智能系統及其隱藏的戰術和戰略行為中獲得洞察力并提取知識。

• 人工智能系統遵守國際和國家法律。

• 開發人員甚至在部署前就能發現人工智能系統的缺陷或漏洞。

本報告的目的是為基于深度學習的人工智能系統提供解釋而開發的XAI技術。這類系統本身就很難解釋，因為它們所模擬的過程往往過于復雜，無法使用可解釋的替代方法來建模。

盡管深度學習XAI領域仍處于起步階段，但科學文獻中已經提出了許多解釋技術。今天的XAI技術主要用于開發目的（即識別錯誤）。需要進行更多的研究來得出結論，這些技術是否也有助于支持用戶為他們所操作的人工智能系統建立適當的心智模型、戰術開發，并確保未來的軍事人工智能系統遵循國家和國際法律。

關鍵詞

人工智能、可解釋人工智能、透明度、機器學習、深度學習、深度神經網絡

1 引言

人工智能（AI）是一個對瑞典[1]和瑞典武裝部隊（SwAF）具有戰略意義的研究領域。當今人工智能成功的主要因素是機器學習（ML）的突破，更確切地說，是深度學習（DL）的突破。DL是一種潛在的顛覆性技術，使我們能夠使用深度神經網絡（DNN）來模擬以前使用傳統技術無法模擬的復雜過程。例如，DL可以用來準確地轉錄（語音到文本）[2，3]，翻譯（文本到文本）[4]，合成語音（文本到語音）[5]，玩實時戰略游戲（視頻到行動）[6，7]，讀取唇語（視頻到文本）[8]，識別人臉（圖像到身份）[9]和控制自動駕駛車輛（視頻到行動）[10，11]。

然而，DL仍然處于起步階段，沒有一個數學框架可以用來保證模型的正確性[12]。因此，在軍事應用中開發、部署、使用和維護DNN模型時，有許多挑戰需要考慮和解決。

從軍事用戶（操作員、數據分析師等）的角度來看，最重要的挑戰也許是可解釋性。根據經驗，當人的生命受到嚴重影響時，對可解釋性的需求更大。在軍事領域是這樣，在醫學、執法和其他民事服務領域也是如此。可解釋性很重要，因為它影響著用戶對系統的信任和依賴。信任關系必須是平衡的；過多的信任可能導致對系統的誤用，而過少的信任則可能導致對系統的完全廢棄[13]。最終，解釋的目的是幫助用戶建立一個適當的系統心智模型，以確保它能被有效使用[14]。

深度學習有可能改善復雜軍事系統的自主性，如戰斗機、潛艇、無人機和衛星監視系統。然而，它也會使這些系統變得更加復雜和難以解釋。主要原因是，DL是一種端到端的機器學習技術，意味著機器學習從輸入數據中提取最重要的特征，以實現高性能。這被稱為表征學習，它與傳統技術不同，傳統技術是用人類的直覺來手動提取這種特征。表征學習往往能帶來高性能，但它也要求模型具有高度的表現力和非線性。因此，使用DL訓練的DNN可能由數百萬甚至數十億的參數組成。這使得它們很難向人類解釋和說明，即使學習算法、模型結構、訓練數據等都是已知的和很好理解的。

美國國防部高級研究計劃局（DARPA）于2016年啟動的可解釋人工智能（XAI）計劃也許是為解決這一挑戰而采取的最全面的軍事舉措。該計劃的目的是：

• "產生更多可解釋的模型，同時保持高水平的學習性能（預測精度）。"

• "使人類用戶能夠理解、適當地信任并有效地管理新一代的人工智能伙伴"。

自XAI計劃開始以來，已經取得了許多技術上的進步。一些XAI技術甚至已經實現并打包在軟件庫中，可用于深入了解、調試和驗證DNN[16, 17, 18]。這是朝正確方向邁出的一步，但從軍事角度來看，關鍵是XAI技術和工具也要為軍事用戶量身定做，因為在這些地方需要高級解釋，以確保信任、使用和性能。

1.1 目的和范圍

本報告的目的是介紹在DL背景下開發的代表性XAI技術。本報告并非詳盡無遺，它并不涵蓋文獻中提出的所有XAI技術。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI、ML和DL技術以用于系統或嵌入系統的軍事人員。

1.3 概要

第2章介紹了智能Agent、機器學習和深度學習的概念。第3章介紹了文獻中提出的各種XAI技術。第4章介紹了可用于評估XAI技術所提供的解釋的方法和技術。第5章介紹了一個案例研究，其中XAI被用來解釋一個深度學習模型的行為。最后，第6章對報告進行了總結，并對未來的工作提出了建議。

2 智能Agent、機器學習和深度學習

本章介紹了一些概念、方法、術語和技術，是本報告的其余部分的基礎。已經對智能Agent、機器學習和深度學習有基本了解的讀者可以跳過本章。

2.1 智能Agent

人工智能是一個廣泛的術語，可以有很多定義。在本報告中，人工智能是指對智能Agent（IA）的研究和設計。一個IA是一個能夠在環境中感知、推理和行動的自主實體。通常情況下，IA與環境中的其他Agent（即多Agent系統）以及人類（如人機合作）進行互動。

當在物理世界中實施時，IAs可以代表從簡單的恒溫器到復雜的自動駕駛車輛、自主機器人、無人機等任何東西。在虛擬環境中，人工智能通常由能夠翻譯、轉錄等的機器人或虛擬助理來代表。在軍事模擬中，IAs通常被稱為非玩家角色（NPCs）或計算機生成部隊（CGFs）。

圖2.1說明了IA的主要組成部分。這些組件通常使用傳統編程和人工智能技術的組合來實現，如專家系統、狀態機、行為樹和機器學習。本報告重點討論完全或部分使用DNN實現的IA的XAI。

圖2.1 - 智能Agent（IA）是一個能夠在環境中感知、推理和行動的自主實體。環境可以是物理的（即現實世界）或虛擬的（如互聯網、虛擬仿真、嚴格游戲）。IA通常與其他Agent、人類互動，分別形成多Agent系統和人機團隊。

2.2 機器學習

ML是人工智能的一個子領域，重點是開發能夠從觀察和經驗中學習的智能系統或IA。在本節中，將介紹ML中使用的主要學習策略。

2.2.1 監督式學習

在監督學習中，IA從已被標記或標注的訓練樣本中學習。學習的目的是使與這些樣本的偏差最小化，同時保持對未見過的輸入的概括能力。實際上，IA將模仿訓練數據中的行為。圖2.2說明了監督學習過程。

在監督學習中，標記過程通常是由人類手動完成的，這就是為什么這種方法在許多應用中可能是昂貴和不實用的。監督學習的主要優點是，一旦數據集建立起來，學習過程是穩定的，而且相對容易監控。

監督學習的主要應用是分類和回歸，其中，離散類標簽和連續值分別代表模型的輸出。分類器可用于檢測代理人視野中感興趣的物體，或識別某一特定情況是否危險。回歸通常用于對Agent的執行器（機器人肢體、方向盤位置等）進行低層次的連續控制。

圖2.2 - 監督式學習。IA從已被標記或標注的樣本中學習。學習過程的目標是創建一個模型，使其與所提供的訓練樣本的偏差最小。淺灰色的方框代表訓練樣本（即輸入和它們的標簽）。

2.2.2 強化學習

在強化學習中，IA通過在一個通常是模擬的環境中執行動作來學習。學習的目的是IA在模擬器中執行動作時使其獎勵最大化。獎勵通常由游戲的結果來表示，因此用于獲勝或失敗的行動分別由學習算法進行正向和負向強化。學習過程如圖2.3所示。

強化學習的一個主要優點是，不再需要手動標注訓練數據。相反，在某種意義上，獎勵函數被用來自動標記數據。然而，為現實世界的問題設計一個獎勵函數是一項非艱巨的任務。它要求隨著時間的推移，適當的獎勵可以被分配給IA的行動[19]。一個設計不良的獎勵函數可能會導致不理想的和意外的行為。

強化學習被用于IA需要學習最佳行動選擇策略的應用中。當應用于實時戰略游戲時，IA可以比大多數人類專家更好地學習選擇行動[6, 7]。因此，我們有理由相信，強化學習最終也能為軍事目的產生替代的甚至是新的戰術和戰略。

圖2.3 - 使用強化學習，IA通過在模擬環境中采取行動來學習。學習過程的目標是使環境提供的獎勵信號最大化。淺灰色的方框代表輸入，在這種情況下是一個模擬器和一個獎勵函數，是這個學習策略所需要的。

2.2.3 無監督學習

在無監督學習中，IA學習識別無標簽數據中的模式和結構，如圖2.4所示。請注意，盡管被稱為無監督學習，但總是由一個預先定義的指標指導。例如，k-means聚類算法使用歐氏距離對數據進行聚類。同樣，自動編碼器（AE）需要存在一個損失或誤差度量函數。

無監督學習的最常見應用包括聚類、可視化、降維和異常檢測。無監督學習在DL中的一個較新的應用是元學習，其中IA被訓練的目標是成為更快的學習者（即學習如何去學習）。

圖2.4 - 在無監督學習中，IA學習在未標記的數據中識別模式和集群。無監督學習由預先定義的指標（例如k-means聚類中的歐幾里得距離）指導，從數據中學習。

2.3 深度學習

深度學習是一種機器學習方法，可用于上述所有的學習策略（即監督式學習、強化式學習和無監督式學習）。

2.3.1 深度神經網絡

在DL中，用于捕捉和學習經驗的模型由DNN來表示。DNN本質上是一個數學表達式，由大量的嵌套和可微分的子函數組成。第 2.3.3 節解釋了 DNN 必須是可微分的原因。

DNN 通常使用圖形進行可視化，其中各層節點用邊相互連接，如圖 2.5 所示。在這種表示方法中，每條邊代表一個可訓練的參數或權重，每個節點代表一個神經元（即一個可區分的子函數），使用權重將輸入轉化為輸出。圖2.6說明了一個神經元所進行的操作。該神經元首先計算其輸入和權重的乘積之和。然后這個值被神經元的非線性激活函數處理，產生一個輸出。然后，該輸出被用作下一層神經元的輸入。

在現實世界的應用中，權重（圖2.5中的邊）的數量通常會增長到數百萬甚至數十億。還要注意的是，除了圖2.5中說明的全連接神經網絡（FCNN），還有不同類型的DNN。卷積神經網絡（CNN）用于數據中存在空間關系的情況，這在圖像中是典型的情況。同樣地，當數據中存在已知的時間關系時（如文本和音頻），經常使用遞歸神經網絡（RNN）。在現實世界的應用中，模型的設計通常是使用精心挑選的CNN、RNN和FCNN的混合。本節的其余部分主要討論FCNN。然而，推理和訓練的原則也同樣適用于CNN和RNNs。

在本報告中，用來表示DNN的數學符號是fθ，其中θ代表DNN的可訓練權重或參數。

圖 2.5 - 一個具有四個輸入、兩個隱藏層和一個輸出的全連接 DNN 的可視化。在這個表示中，每條邊代表一個可訓練的參數或權重，每個節點代表一個神經元（即一個可微分的子函數），使用權重將輸入轉化為輸出。每個神經元計算其輸入和權重的乘積之和。然后，該值由神經元的非線性激活函數處理，產生一個輸出。

圖2.6 - DNN中的神經元的可視化。首先，使用輸入x和權重ω的乘積之和被計算。然后，這個值被送入神經元的非線性激活函數g，以產生一個輸出，可以被送入下一層的神經元。代表一個神經元的數學表達式是。請注意，偏差b，也是一個可訓練的參數，與權重不同，它不與輸入相連。

2.3.2 推斷

推理是一個過程，在這個過程中，輸入被已經訓練好的 DNN 處理，產生一個輸出。在DNN中，處理是通過網絡的各層向前傳遞進行的。計算圖也許是描述推理的最直觀的方式。在計算圖中，DNN被模塊化為原始的子函數，代表網絡中嵌入的操作。作為一個例子，圖2.7中的計算圖表示有一個輸入的神經元。使用這種表示方法，很容易看到輸入是如何在圖中向前移動（從左到右）時被轉化的。

計算圖可以被擴展到具有任意數量的輸入、神經元和輸出的DNN模型。在實踐中，使用代表聚合層的計算圖來設計DNN是很常見的。然后，不同的層可以相互連接，形成最終的 DNN。

圖2.7--計算圖表示一個神經元的操作，fθ(x)=g(x×ω+b)，有一個輸入x和預訓練的參數θ={ω，b}。計算圖可以擴展到包括任意的輸入和輸出。在現實世界的應用中，DNN由代表神經元聚集層的計算圖組成。

2.3.3 訓練

訓練是DNN，fθ，及其可訓練參數或權重θ，被更新的過程。訓練是一個迭代過程，目的是調整θ，使損失函數L(fθ)達到最小。在實踐中，方程2.1中的梯度下降（GD）優化方法或其變體被用來執行更新。

在GD方法中，α代表一個超參數（即一個用于控制學習過程的用戶定義參數），稱為學習率。學習率α，控制著學習過程的速度。重要的是，α被適當地初始化，以確保可訓練的參數能夠收斂到一個最佳的解決方案。一般來說，如果α太大，訓練過程就會變得不穩定，可訓練參數就不會收斂。此外，如果α太小，訓練將是穩定的，盡管它將花費太多的時間來收斂。由于這個原因，使用能在學習過程中動態地改變學習速率的調度器已經成為常見的做法。

方程2.1中的項表示可訓練參數的梯度。梯度決定了更新可訓練參數θ的方向，從而使損失函數增加。請注意，更新的方向與梯度的方向相反，以便使損失最小化。

為了找到這些梯度，我們使用了反向傳播算法。給定一個訓練實例（x, y?），反向傳播算法首先執行一個前向傳遞來計算損失。給定損失后，再進行后向傳遞，使用鏈式規則公式計算梯度。同樣，解釋反向傳播的最直觀的方法是使用計算圖，其中DNN由子函數的集合表示。要進行反向傳播，所需要的就是找到這些子函數的導數。讓我們用一個簡單的例子來說明反向傳播，其中DNN由線性函數fθ(x)=ωx+b表示，只有兩個可訓練參數θ={ω，b}。在這種情況下，損失函數可以定義為fθ(x)和期望輸出y?的平方誤差:

因此，損失衡量了DNN的預測是否接近已知的輸出值，即y。當損失較小時，預測是好的。同樣地，當損失大時，預測就很差。

圖2.8顯示了代表方程2.2中損失函數的計算圖。除了前向傳遞，這個計算圖還包括一個后向傳遞，利用鏈式規則將損失（或誤差）傳播到可訓練參數θ={ω，b}。請注意，訓練中只需要損失相對于可訓練參數的導數（即）。逆向傳播從設置開始。從這里很容易看出鏈式規則是如何將誤差向后傳播的（從右到左），從而找到和。關于本節所述的訓練過程的演示，見附錄A。

即使訓練過程很簡單，可以用計算圖來解釋，也很難理解和解釋模型的行為。下一章將介紹為這些目的而開發的XAI技術。

圖2.8 - 表示平方誤差損失函數的計算圖，。在這個例子中，fθ(x) = ωx + b和θ = {ω, b}分別代表模型和它的可訓練參數，x和y?代表輸入和它的期望輸出（即訓練數據）。

3 可解釋人工智能的技術

可解釋人工智能（XAI）研究的重點是確保人工智能系統的推理和決策能夠被解釋給人類用戶。盡管由于DL的進步，XAI最近受到了很多關注，但XAI的研究領域并不新鮮。它至少在20世紀80年代就已經存在了[20]。對于XAI研究及其歷史的全面回顧，讀者可以參考[21]。

可解釋人工智能是任何用于影響人類生命高風險決策的軍事人工智能系統的關鍵組成部分。戰術層面上的人工智能應用的例子，重點是短期決策，包括無人駕駛車輛的自主控制以及武器和監視系統的目標識別、跟蹤和交戰。此外，XAI在戰爭的戰役和戰略層面同樣重要，甚至可能更重要，因為長期決策和規劃活動可能影響整個團體。在這個層面上，人工智能系統通常用于信息分析，但也可以通過模擬來提出規劃或行動方案（COA）。XAI在軍事應用中的主要目的是：

• 心智建模[14, 22]。XAI可用于支持用戶為其操作的人工智能系統建立適當的心智模型。在任何軍事系統中，無論是否啟用了人工智能，用戶都必須清楚地了解系統的運行邊界，以確保適當和有效的使用。

• 洞察力[23，24]。事實表明，DNN可以用來捕捉知識，并在對復雜過程的觀察中找出人類未知的模式。使用XAI技術，人類有可能解開這些知識并從中學習。使用強化學習的戰術和戰略發展是一個典型的應用，XAI有可能在軍事領域產生更深入的洞察力。

• 法律和法規[25, 26, 27]。XAI有可能被用來確保AI系統遵循國家和國際法律。也許人工智能最具有爭議性的應用是致命的自主武器系統（LAWS）[26]。一些人希望完全禁止這種系統，而另一些人則認為應該允許使用致命性武器系統，因為它們有可能提高精確度并將附帶損害降到最低[27]。盡管如此，作者認為XAI可以在制定政策的過程中發揮重要作用，以規范何時、何地以及是否可以使用LAWS等AI系統。

• 排除故障[23, 28]。在文獻中，有許多XAI被用來識別DNN中的錯誤的案例。當圖像中的版權水印或模擬器和游戲中的未知作弊器等現實世界數據中不存在的人工制品出現在訓練數據中時，通常會出現BUG。第2.3.3節中介紹的訓練過程可以學會利用，或走捷徑，利用這種人工制品。其結果是，當呈現測試數據時，DNN工作得很好，但當呈現真實世界的數據時卻失敗了。如果將XAI技術作為開發過程的一個組成部分，這種問題可以在部署前被發現和解決。

本章介紹了在DL背景下專門開發的幾種XAI技術。DL的XAI是一個重大挑戰，因為DNN可能由數百萬甚至數十億的參數組成，使得它們不透明，難以被人類解釋。請注意，據我們所知，擬議的技術還沒有在軍事背景下進行科學評估。因此，在這種情況下，這些技術能在多大程度上提供有用的解釋還不得而知。第四章介紹了如何進行這種評估。

3.1 全局解釋技術

全局解釋技術提供了對 DNN 及其整體行為的洞察力。在本節中，我們主要關注可用于分析和可視化高維訓練數據集的技術，但也關注如何獲取和解釋用于模型評估的性能測量。

3.1.1 大型高維數據集的可視化技術

在DL中，訓練數據集通常由大量的高維樣本組成。為了直觀地檢查這些數據集，它們必須被降低到人類可以觀察到的維度（即一維、二維或三維空間）。在可視化中總結大型數據集可以提供關于DNN所要學習的任務復雜性的有用見解。它也可以用來識別數據集中可能對DNN的性能產生負面影響的假象[23]。下面是三種無監督的技術，可用于降低維度以達到可視化的目的。

• 主成分分析（PCA）[29]。這項技術確定了數據集的主成分。數據被投射到被認為是最重要的成分或向量上。PCA的主要缺點是它是一種線性技術，因此，它可能無法識別非線性數據的模式。PCA的主要優點是該技術很好理解（即它可以被解釋），而且與其他技術相比，它的計算效率高。

• 可變自動編碼器（VAE）[30]。這是一種DL技術，使用DNNs來降低維度。VAE由兩個DNN組成：編碼器和解碼器。編碼器的目的是將高維的輸入數據壓縮成一個潛在的空間向量（在這種情況下是一維、二維或三維）。解碼器的目的是盡可能準確地使用低維潛空間表示重建高維數據。如第2.3.3節介紹的那樣，使用損失函數對DNN進行訓練，使原始輸入和其重建的誤差最小。一旦訓練完成，只需要編碼器來降低維度。這種技術的主要優點是它能夠學習數據中的非線性因素。缺點是VAE是用不透明的DNN構建的，不容易向人解釋。

• t-分布式隨機近鄰嵌入（t-SNE）[31]。這項技術是專門為可視化目的開發的。與VAE類似，t-SNE使用GD程序來學習如何最佳地降低數據的維度。在這種情況下，目標函數的目標是保持鄰域距離。t-SNE的優點是，它通常會產生更好的可視化效果。缺點是它的計算很復雜。

為了證明上述技術，將使用MNIST數據集[32]。這個數據集包含灰度圖像，包括代表70000個手寫數字的標簽。每個圖像由28×28像素組成，因此，數據的維度為784。圖3.1說明了從數據集中隨機抽取的15個樣本。

圖3.2中的可視化圖（散點圖）是使用從MNIST數據集中隨機抽取的10000張圖像的子集創建的。在這種情況下，使用PCA（圖3.2a）、VAE（圖3.2b）和t-SNE（圖3.2c和圖3.2d）將維數從784降低到2。這些圖是用所有10000個數據點渲染的，每個數據點的標簽都用顏色編碼，這樣人類就可以直觀地檢查出聚類趨勢。在圖3.2d中，數據集首先使用PCA進行預處理，在使用t-SNE之前將維度從784降低到50。這是使用t-SNE時的標準做法，以確保計算效率。圖3.2中的可視化圖提供了對數據集復雜性的洞察力。如果集群可以被直觀地識別，那么DNN也很可能能夠有效地從數據中學習。同樣地，如果集群不能被識別，那么DNN也將更難從數據中學習。在這種情況下，PCA技術無法分離聚類。因此，不能指望線性分類器能有好的表現。

圖3.1 - 從MNIST數據集中隨機抽取的樣本。樣本的標簽在圖的說明中提供。

圖3.2 - 使用主成分分析（PCA）、可變自動編碼器（VAE）和t分布式隨機近鄰嵌入（t-SNE）在二維散點圖中對高維數據進行可視化。在這種情況下，維度從784（代表28×28像素的圖像）減少到2。這些圖是用10000個數據點呈現的，每個數據點用其標簽（0到9）進行顏色編碼，以便人類可以直觀地檢查聚類情況。在圖3.2d中，在使用t-SNE之前，數據集使用PCA進行了預處理，將維度從784降低到50。這是使用t-SNE時的標準做法，以確保計算效率。可視化提供了對數據集復雜性的洞察力。如果集群可以被直觀地識別，那么DNN也很可能能夠有效地從數據中學習。同樣地，如果集群不能被識別，那么DNN也將更難從數據中學習。

3.1.2 模型評估

在訓練機器學習模型時，模型開發者會不斷測量模型在它之前未見過的輸入數據上的表現，以確認模型是否在向有用的行為發展。當開發者對模型的表現感到滿意時，就會停止訓練過程，并使用未見過的測試數據進行最終評估。這個最終的測試衡量了模型在現實世界中應用時的預期性能，在那里它通常會遇到訓練時沒有看到的輸入。測試數據集能在多大程度上被用來測量實際性能，取決于測試集與現實世界數據的對應程度。雖然在模型訓練和調整過程中對性能的持續測量主要是對模型開發者有意義，但從XAI的角度來看，最終的性能測量對用戶也是有價值的。

（1）對分類器的評估

在從圖像中對軍用車輛進行分類的例子中，每一類車輛都有數千張圖像，相當一部分圖像將被用于訓練，另外一組圖像將被分開，用于在訓練期間對模型進行微調和測試，還有一組圖像將被保留用于最終的性能測量。由于分類器在訓練過程中沒有看到測試集中的圖像，因此測量它在這些圖像上的表現可以了解模型在新數據上的表現如何。

在一個分類任務中，最直接的性能測量是計算正確分類的比例。這個衡量標準被稱為準確性：

也就是說，如果車輛分類模型在100張圖片上進行測試，85張圖片被正確分類，則該模型在測試數據上的準確率為85%。如果不同類別的實例出現的頻率相同，也就是說，數據是平衡的，那么準確率就會很高。

在水雷分類的例子中，任務是分析類似雷的聲納圖像，并將該物體分類為雷或其他東西（通常是巖石）。在這種情況下，可能相對缺乏可供訓練的雷圖像，因為關于巖石的數據很容易收集，而關于雷的數據，特別是由敵對勢力部署的雷，則不容易收集。

雷檢測案例是一個不平衡問題的例子，如果測試數據集要反映真實世界的發生情況，那么它將包含比雷圖片更多的巖石圖片。作為一個例子，假設測試數據集中千分之一的例子是雷（其余都是巖石）。一個總是返回負面分類（不是雷）的分類器將在測試集上達到99.9%的準確率，因為999個分類中實際上是正確的。然而，它在尋找雷方面是無用的，因為在提交給它的實際雷中，它沒有檢測到任何雷。它的召回率為0%。

通過使分類器更容易對可疑物體返回正面分類（雷），可以提高召回率。在極端的情況下，一個總是返回正面分類的分類器可以達到100%的召回率，因為它可以捕捉到所有的雷和所有的巖石。然而，同樣，它也是無用的，因為每一千次正面預測中，只有一次是正確的。它的精確度將是0.1%。

顯然，一個好的探雷器，或任何分類器，都需要有合理的高精確度和高召回率的數值。也就是說，必須有可能相信正面的分類結果，足以投入更多的資源（如部署潛水員）。也必須有可能足夠信任負面輸出，以期望它能找到相當比例的實際存在的雷。然而，在現實中，這兩者之間總是有一個權衡，正確的平衡取決于特定的操作要求。例如，如果不遺漏雷是很重要的，那么分類器將被調整為高召回率。然而，要付出的代價是較低的精度，導致更多的時間被用于調查巖石。

通過在測試數據集上運行分類器，計算有多少雷被正確分類（真陽性或TP），有多少巖石被正確分類（真陰性或TN），有多少巖石被誤認為是雷（假陽性或FP），有多少雷被誤認為是巖石（假陰性或FN），可以計算出準確率、精確度和召回率。這就產生了一個混淆矩陣，如表3.1所示。

表3.1--混淆矩陣的結構，將正確的正面分類（TP）、正確的負面分類（TN）、錯誤的正面分類（FP）和錯誤的負面分類（FN）的數量列表。

混淆矩陣是代表模型性能的一種緊湊但豐富的方式，從中可以推導出許多不同的度量。與同一行的其他數值相比，一個高精確度的模型具有較高的TP值（FP），或者更正式地說：

與同列的其他數值相比，一個高召回率的模型具有較高的TP值（FN），或者更正式地說：

與非對角線位置相比，一個高精確度的模型在所有對角線位置都有很高的數值，或者更正式地說：

矩陣中數值的其他組合產生了其他指標，每個指標都揭示了模型性能的某些方面。一般來說，一個具有不平衡數據的案例（這往往是現實中的常態）將需要更多的指標來衡量模型的性能。然而，對于面臨問題，正確的指標集可以提供一個簡明的圖片，說明模型在實際環境的表現是怎樣的。由于所有的指標都是從混淆矩陣中計算出來的，一個訓練較好的分類器很快就能從中提取這些信息。

（2）多類分類器的評估

如果一個車輛分類器要區分坦克、摩托車和運輸車輛，就存在一個多指標或多類分類問題。在這種情況下，混淆矩陣的行和列的數量將與類別的數量相同。圖3.3是一個多類混淆矩陣的例子，任務是將手寫數字的圖像從0到9分類，也就是10個類別。

從混淆矩陣中計算出的度量可以概括為：通過比較對角線和其余部分給出準確度，而通過比較每個特定類別的對角線值與其行的總和（準確度）或其列的總和（召回率）給出準確度和召回率。因此，通過對矩陣進行顏色編碼，就像在數字分類的例子中那樣，僅僅通過檢查就可以收集到很多信息。例如，從這個例子中可以看出，總體準確率非常高（將對角線與其他部分進行比較），但在不同的數字類別中，表現卻有些不同。數字5有時會被誤歸為3或6或其他，反之，5有時會被誤認為3。然而，數字1幾乎不會與其他東西混淆。

圖3.3 - 混淆矩陣說明了使用MNIST數據集識別手寫數字而訓練的DNN的性能。混淆矩陣可以用來深入了解該模型最可能與其他數字混淆的數字。

（3）回歸模型的評估

在回歸任務中，不可能計算正確的分類。相反，有必要將模型產生的連續值與測試集中的正確值進行比較。

作為一個例子，假設一個自主地面車輛（AGV）的避障模型正在被訓練。AGV必須根據安裝的傳感器的輸入產生一個轉向信號。轉向信號表示為-1和1之間的數字，其中-1表示左急轉，1表示右急轉，0表示不轉，而兩者之間的所有數字都是相應方向上的轉彎等級。AGV已經根據人類操作員記錄的數據進行了訓練。它的測試方法是將它對給定的傳感器刺激產生的轉向信號，與記錄的數據進行比較。例如，記錄可能表明，檢測到遠處左側的障礙物應該產生有限的右轉信號（例如0.2），而檢測到近處左側的障礙物應該產生一個急劇的右轉（接近1）。一個在后一種情況下產生急劇左轉信號（-1）的模型，應該被判定為比另一個產生輕微右轉信號（如0.2）的模型B表現更差。將模型的預測值與期望值相比較，顯然，模型A與該值的距離是2，而模型B的距離是0.8。因此，模型B更接近于正確的行為。如果對測試數據集中所有實例的這種誤差進行測量和匯總，例如計算平均誤差，就可以得到模型性能的總體衡量。

回歸的評估技術主要在如何進行匯總方面有所不同。平均絕對誤差（MAE）取的是誤差絕對值的平均值。該指標衡量模型預測與期望值的偏差程度。均方根誤差取的是誤差平均平方根。它對應于誤差的標準偏差，與MAE不同的是，它對大偏差的懲罰更大。R平方（R2）將平均平方誤差與信號本身的方差進行比較。因此，它首先對變化很大的信號容忍較大的誤差。

3.2 局部解釋技術

與全局解釋技術相比，局部解釋是用來解釋對感興趣的特定輸入的預測的。這些輸入可以是真實世界的例子，也可以是訓練或測試數據集中的例子。DNN的輸入基本上是由一串數值構成的，代表了一些現實世界的過程，如圖像中的像素、文本中的字母、科學數據等等。因此，一個有300個像素的灰度圖像在300個維度上表示它的數據，每個維度講述故事的一部分（所有維度一起提供整體）。

本節重點討論局部解釋技術，其中顯著性地圖被用于解釋。顯著性地圖通過對每個輸入維度的相關性或顯著性打分，來解釋一個模型的輸出。也就是說，它顯示了每個維度在產生與該例子相對應的特定輸出方面的重要性。對于一幅圖像來說，這些顯著性分數可以轉化為熱圖，疊加在圖像上，以表明模型在產生其決定時注意到哪些像素。圖3.4提供了一個在模擬自動駕駛汽車的背景下生成的顯著性地圖的例子。

這里介紹的前兩種技術是白盒技術。這些技術依靠訪問DNN的內部表示（子函數、梯度等）來產生解釋。其他技術是黑盒技術，可以通過查詢模型（通常是多次）和選定的輸入來產生解釋。因此，黑盒技術往往需要更多的計算資源來產生其解釋。

圖3.4 - 突出顯示了DNN用來控制模擬自駕車的最重要的輸入像素的Saliency圖。在這種情況下，代表道路右側的像素似乎是最重要的。

3.2.1 梯度顯著性

梯度顯著性（也叫敏感性分析）是最早的局部解釋技術之一，它被用來解釋神經網絡的行為已經有很長時間了[33, 34]。梯度顯著性的想法是通過計算輸入值的變化會在多大程度上改變模型的輸出值來產生解釋。輸入值的變化會對模型輸出值產生最大影響的輸入被認為比其他輸入對模型輸出值更重要。在數學術語中，這被稱為模型輸出對給定輸入（如圖像）的導數。由于DNN訓練使用導數，許多深度學習軟件庫可以直接計算梯度顯著性。

圖2.8中用來解釋DNN訓練過程的計算圖也可以用來理解梯度顯著性的工作原理。梯度顯著性技術不是計算相對于可訓練參數的導數，也就是訓練過程中所做的，而是計算相對于輸入的導數（即）。

梯度顯著性的問題是，它不能區分影響模型輸出的信號和DNN被訓練為過濾掉的干擾物[35]。使用梯度顯著性技術產生的解釋往往是嘈雜的，也會隱藏模型實際使用的特征。解釋哪些特征使輸入的物體類型更多或更少，并不像解釋哪些特征使其成為現實中的物體類型那樣具有信息量[34]。

3.2.2 分層相關性傳播

分層相關性傳播（LRP）發表于2015年，是第一批使用理論框架來指導局部解釋啟發式方法發展的技術之一[36, 34, 37]。該理論框架的主要好處是，它提供了一種方法，可以找到適合于DNN中各層的多種類型的局部解釋啟發式，以及其他類型機器學習模型的局部解釋啟發式。

LRP首先假設為低層對每個輸出值的貢獻分配相關性，應該考慮哪些激活對輸出值是必要的。從輸入中去除這些相關的激活，最好能取消該輸出值。例如，去除被歸類為汽車的圖像中的所有汽車特征，應該意味著該模型的汽車輸出值為零。在數學術語中，這被稱為模型函數的根，而LRP的想法是使用適合搜索這個根的局部解釋啟發式方法。

雖然沒有已知的技術來優化搜索模型函數的根，但有一些對搜索的限制已被證明是足夠的。例如，根的激活應該在輸出值的激活附近，相關的激活應該在可能的輸入空間內，而且只有輸出值的可用相關性應該被用來給激活分配相關性。事實證明，這些約束條件足以找到將相關性從模型輸出傳播回輸入的局部解釋啟發式方法。

LRP假設模型函數可以用數學技術泰勒擴展來近似。泰勒擴展將模型函數分解為簡單的加法項，可以直接映射到神經網絡組件。加法項意味著模型函數可以被分解為作為模型輸出基礎的每個激活的相關性分數。

LRP是一個局部解釋啟發法系列，使用這些技術進行相關性傳播[37]。這些啟發法專門適用于不同類型的神經網絡層和層級。一些啟發式方法還可以將輸出相關性傳播為有助于模型輸出的正向激活和有損于模型輸出的負向激活。這可能有助于識別缺失的特征，使模型輸出的可能性更大。

3.2.3 沙普利加和解釋

沙普利加和解釋（SHAP）發表于2017年[38]，改進以前的一些方法，指出它們之間的數學共性，然后證明它們都可以通過使用一個特定的數學公式進行改進。

該公式由諾貝爾獎得主勞埃德-沙普利于1953年[39]在經濟學的一個分支--博弈論領域提出。它計算出所謂的沙普利值，用于在參與方之間分配一些聯合游戲的收益。該公式旨在根據一組合理性條件公平地分配收益，因此所有的收益都應該被分配；貢獻大的行為者應該獲得更多的收益；沒有貢獻的行為者應該一無所獲；而且應該有可能將不同游戲的收益相加。事實上，沙普利表明，他的公式是唯一可能滿足所有條件的公式。

就解釋而言，第一步是觀察機器學習模型的輸入維度可以被視為參與模型產生輸出預測的游戲的行為者。輸出值可以看作是游戲的總收益，也就是要在玩家之間進行分配。進行公平分配就是在輸入維度之間按其貢獻比例分配輸出值。換句話說，這樣應用沙普利值，就會產生一個突出性掩碼。這個觀察在SHAP方法之前就已經提出了，例如在[40]和[41]。

最初的SHAP工作的貢獻是觀察到一些早期的方法所產生的解釋都可以統一在一個共同的線性形式下，稱為加和特征歸屬，也就是說，它們都有一個共同的屬性，即它們產生的突出度值加起來就是要解釋的模型的輸出值。然后，[38]的作者設定了與上述條件相對應的穩定性條件，并證明沙普利公式是特征歸屬方法滿足所有條件的唯一途徑。由于之前的所有方法都在某種程度上偏離了沙普利公式（通常是通過應用一些沒有太多理論基礎的啟發式方法），作者認為可以通過調整這些方法使其符合該公式來改進。因此，SHAP實際上是一個基于這些調整的方法系列。例如，調整LIME（見第3.2.4節）以符合沙普利公式，可以得到KernelSHAP，即SHAP的一個模型無關的版本。基于特定模型解釋方法的SHAP版本繼承了相同的模型特定性約束。

3.2.4 局部可解釋模型診斷性解釋

局部可解釋模型-診斷性解釋（LIME）在2016年發表時引起了極大的關注[42]，因為它是首批可以作為黑盒應用于任何模型的解釋方法之一。LIME通過對樣本進行擾動并觀察所發生的情況來解釋模型對輸入樣本的預測。

任何機器學習模型都將其輸入和輸出之間的關系表示為某種數學函數，由神經網絡的權重和結構或其他參數來定義。這個函數反過來旨在捕捉一些現實世界的關系，例如，一串聲音和一串單詞之間的關系。一個典型的現代機器學習系統所模擬的功能是復雜的，這就是為什么簡單地檢查神經網絡的權重并不能做很多解釋。LIME不考慮函數的整體性，而是試圖描述函數在要解釋的例子附近的作用。通過以不同的方式擾動輸入，它能夠創建一個線性的，因此更簡單的模型，該模型在與所提供的樣本相似的情況下表現得接近于復雜的模型。這個線性模型的系數構成了對輸入的哪些維度對模型的輸出影響最大的直接測量，或者換句話說，這些系數是LIME版本的顯著性掩碼。由于LIME對模型所要做的就是給它提供不同的輸入擾動并觀察它的輸出，所以對模型的內部工作沒有任何了解。

3.2.5 用于解釋黑盒模型的隨機輸入采樣

用于解釋黑盒模型的隨機輸入采樣（RISE）是一種模型無關的局部解釋技術，于2018年發表[43]。與LIME類似，RISE通過擾動輸入并觀察模型的反應來生成解釋。因此，對于解釋的生成，不需要了解模型的內部工作。

RISE通過隨機生成掩碼來擾亂圖像，掩碼使圖像像素變暗。掩碼是通過將圖像劃分為較大的區域，并隨機選擇哪些區域包括在擾動的圖像中來生成的。模型對擾動圖像的輸出值描述了掩碼覆蓋圖像區域的程度，這些區域對該模型類別的分類很重要。與覆蓋較少重要圖像區域的掩碼相比，覆蓋許多對分類很重要的圖像區域的掩碼會導致更高的模型輸出值。通過隨機生成許多掩碼，RISE計算出每個圖像區域的平均重要性。圖像區域的重要性解釋了模型的分類。

RISE的一個好處是，它使用大小均勻的圖像區域來生成解釋。因此，這些解釋涵蓋了與圖像中的物體相同的圖像區域。另一方面，LIME使用超級像素（類似像素值的連續區域），這可能無法捕捉到正確的圖像區域。

3.3 混合解釋技術

混合解釋技術通過結合全局和局部XAI技術提供洞察力。混合解釋技術不是只在個案的基礎上使用局部XAI技術，而是在大量的案例上自動應用局部XAI技術，通常是整個數據集。然后，混合解釋技術會比較所有的本地XAI結果，以確定模型表現不符合預期的情況。這種異常情況可以為進一步的模型開發提供信息，或者指出使用模型時需要考慮的性能限制。

3.3.1 譜系相關性分析

譜系相關性分析(SpRAy)技術是在[23]中介紹的。SpRAy是一種半自動化的技術，它使用整個數據集的分析方法來尋找模型性能不符合預期的情況。例如，在圖像分類中，一個一般類型的物體，如狗或汽車，可能會出現在許多形式和背景中，但類似的物體形式和背景應該有類似的局部XAI結果。如果某些情況下的本地XAI結果與預期的不一樣，這可能表明模型行為異常。依賴于現實世界中可能不存在的虛假和人為的相關性的決策策略，也被稱為 "聰明的漢斯"行為。SpRAy包括五個步驟來尋找異常的模型行為：

• 用LRP計算相關性圖（見3.2.2節）。

• 對所有的相關性圖進行預處理，使其具有統一的形狀和大小。

• 對相關性圖進行譜聚類。譜聚類是一種成熟的技術，它將相似性矩陣（衡量案例之間的相似性）轉化為增強相似性矩陣的聚類特性的表示方法[44]。然后可以在新的表示法中檢測到集群。相關性地圖之間的相似性是由成對的相關性圖之間的歐氏距離計算出來的最近的鄰居。兩個相關性圖之間的歐氏距離是由每個像素的每個顏色通道的強度差異計算出來的。

• 識別有趣的聚類。譜聚類計算出表明不相交或弱聯系的集群的措施（特征值）。特征值的巨大差距表明集群是不同的。

• 一個可選的步驟是使用例如t-SNE（見第3.1.1節）對聚類進行可視化。

在[23]中，SpRAy被用來證明上一代機器學習技術--支持向量機（SVM）在圖像分類中學習了虛假的相關關系。例如，SpRAy顯示，該分類器使用了四種不同的策略對馬匹的圖像進行分類，檢測馬匹和騎手，在橫向或縱向的圖像中檢測源標簽，以及檢測障礙物和其他環境元素。因此，在沒有源標簽和背景元素的實際應用中，這個分類器是不可靠的。將源標簽添加到其他物體的圖像上，如汽車，他們可以將分類改為馬。

4 評估可解釋人工智能技術

XAI的一個經常被忽視但很重要的方面是評估擬議的XAI技術的能力。第 4.1節從人類因素的角度介紹了評價標準，其中用戶（如操作員或分析師）是衡量XAI加入人工智能系統后的效果的核心。此外，第4.2節介紹了可用于比較本地XAI技術的測試，如第3.2章中介紹的使用啟發式的技術。

4.1 人為因素評價

對XAI技術的人為因素評估測試了解釋是否考慮了所有對用戶充分利用AI系統的重要因素。例如，用戶可能有不同的目標、需求、知識、經驗、任務背景、用例等。和許多類型的系統開發一樣，在人工智能系統的整個開發過程中，從系統規范到最后的用戶測試，都必須考慮這些因素。由于用于DL的XAI技術是一個新興的研究領域，這些技術的最初用戶往往是對評估模型性能感興趣的系統開發者。這些XAI技術是否對軍事用戶也有用，在很大程度上仍然是一個開放的問題。在[22]中，已經提出了六個指標來評價解釋。

• 解釋善意。由一份檢查清單組成，其中包括在開發XAI技術時從用戶角度考慮的重要方面。該清單是基于對現有文獻中關于解釋的全面回顧，包括解釋的七個重要方面，例如，解釋是否有助于用戶理解人工智能系統的工作原理，解釋是否令用戶滿意，以及解釋是否足夠詳細和完整。

• 解釋的滿意度。一個衡量用戶在解釋的好壞方面如何體驗解釋的量表。該量表由八個項目組成，這些項目被表述為聲明（七個好的方面和一個關于解釋對用戶的目標是否有用的項目）。有效性分析表明，該量表是可靠的，可以區分好的和壞的解釋。

• 促進心智模式的發展。好的解釋會加強用戶對人工智能系統如何工作以及為什么會做出特定決定的理解。在認知心理學中，這種表述被稱為用戶對人工智能系統的心理模型。推薦四個任務來測量用戶對人工智能系統的心智模型，例如，一個提示性的回顧任務，要求用戶在用人工智能系統執行任務后描述他們的推理，以及一個預測任務，讓用戶預測人工智能系統會做什么。用戶的心理模型和專家的心理模型之間的比較顯示了用戶心理模型的完整性。

• 促進好奇心。好的解釋會促進用戶的好奇心，以調查和解決心理模型中的知識差距。我們建議通過讓用戶識別促使他們要求解釋的觸發因素來衡量好奇心。一些觸發因素的例子是：人工智能系統行動的理由，為什么其他選項被排除在外，或者人工智能系統的行為不符合預期。

• 對解釋的信任。一個好的心理模型能使用戶適當地信任人工智能系統，并在其操作范圍內使用它。建議使用一個包含八個項目的量表來衡量用戶對人工智能系統的信任。例如，這些項目涉及用戶對使用系統的信心以及系統的可預測性和可靠性。

• 系統性能。與只使用人工智能系統而不使用XAI相比，XAI的最終目標是提高系統的整體性能。性能測量的例子包括主要任務目標的完成，用戶預測人工智能系統反應的能力，以及用戶的接受度。

未來的研究將提供更多關于在評估人工智能系統的XAI技術時如何解釋這些指標的信息。

4.2 評估本地解釋技術

第3.2章中描述的本地XAI技術產生了突出性地圖，以突出每個輸入維度的重要性。根據模型所處理的數據類型，顯著性圖的可視化程度是不同的。例如，在處理圖像時通常使用熱圖，而在處理文本時通常使用彩色編碼的字符和詞。

圖4.1展示了一個使用熱圖可視化的顯著性圖的例子。在這個例子中，熱圖是為數字0（圖4.1a）生成的，使用了梯度顯著性（圖4.1b）和LRP技術（圖4.1c）。重要的維度（即圖像中的像素）由較暖的顏色（如紅色、橙色、黃色等）表示，而非重要的維度則由較冷的顏色（深藍、藍、淺藍等）表示。這兩種技術之間的明顯區別可以從高亮維度的位置上直觀地觀察到。本節的其余部分介紹了可以用來定量比較和評估不同技術所產生的局部解釋的技術。最終，我們的目標是找出哪個解釋是最準確的。

圖4.1 - MNIST圖像及其相應的熱圖，使用梯度顯著性和LRP技術生成。圖像中的重要維度或像素用較暖的顏色（如紅色、橙色、黃色等）表示。

4.2.1 刪減

刪減[43, 34]是一個指標，通過測量模型在輸入逐漸被扭曲或刪減時準確做出預測的能力來計算。請注意，在這種情況下，刪減意味著將輸入的值轉換為中性的東西（例如，圖像的背景）。刪減過程是由XAI技術產生的顯著性圖指導的，因此更重要維度的值會在不太重要的值之前被刪減。這個指標的直覺是，如果在刪減過程中，性能下降很快，而不是很慢，那么解釋會更好。

圖4.2使用圖4.1b中的梯度顯著性圖說明了刪減過程。在圖4.2b中，50個最突出的像素已經被刪減。在這個階段，很容易推斷出該圖像仍然代表一個0。在圖4.2f中，超過一半的像素（400）已經被刪減。在這個階段，要推斷出圖像實際代表數字0要困難得多。

圖4.2 - 由MNIST圖像的刪減過程產生的圖像，其中0、50、100、200、300和400像素被刪除。

4.2.2 插入

插入指標[43]是對刪減的補充方法。圖4.3說明了在刪減例子中使用的同一MNIST圖像的插入過程。從最初的輸入（用黑色圖像表示）開始，隨著越來越多的輸入維度被插入，按照突出度圖的優先順序，測量準確度的增加。這里的直覺是，當更多的信息被插入到輸入中時，模型預測的準確性應該增加。也就是說，當增加的速度快時，與增加的速度慢時相比，解釋會更好。

圖4.3 - 從MNIST圖像的插入過程中產生的圖像，其中0、50、100、200、300和400像素被插入。

4.2.3 評價指標

為了證明刪減和插入的使用，使用梯度顯著性和LRP技術來衡量這些過程。在這種情況下，使用分類器對XAI技術進行了評估，該分類器從MNIST數據集中隨機抽取了100張圖像。

圖4.4和圖4.5分別顯示了刪減和插入過程的結果。曲線下的面積（AUC）是一種測量方法，可以用來定量比較XAI技術。對于刪減，較小的AUC值要比較大的值好。同樣，對于插入，較大的AUC值比較小的值要好。

在圖4.4中可以看到，LRP技術的性能曲線的下降更加尖銳，并在使用刪減過程時收斂到一個較低的平均概率值。這與它的熱圖是一致的，與梯度顯著性的熱圖相比，它突出了較少的特征（圖4.1c和4.1b），表明與梯度顯著性相比，LRP在較少的特征下更快地找到了解釋。同樣的結論可以從使用插入過程的結果中得出（圖4.5）。在這里，只需插入幾十個特征，就能觀察到平均概率的快速增加，在插入大約100個特征后達到高性能。

圖4.4 - 梯度顯著性和LRP的刪減曲線。

圖4.5 - 梯度突出性和LRP的插入曲線。

5 實驗結果：關于解釋自然語言預測的案例研究

在自然語言處理（NLP）領域，一個常見的機器學習任務是讓人工智能系統評估一個文本在多大程度上表達了消極、積極或中性的情緒（即情緒分析）。諸如 "我非常高興和感激！"這樣的句子顯然表達了積極的情緒，而 "我希望他很快見到他的造物主 "顯然是消極的，而 "他昨天到達 "可以被認為是中性的。積極的例子包含了直接標明它是積極的詞語，而消極的例子則需要對語言有更深的理解，才能抓住其明顯的消極含義。因此，一個文本可以在它所表達的情緒的種類和程度方面有所不同，也可以在它如何直接表達方面有所不同。為了理解人工智能系統是如何試圖理解輸入到它的文本中的情感，可以應用第4.2章中用來解釋圖像分類的同類技術。

5.1 情緒分析預測器

情緒分析模型是所謂的SentimentTagger模型的簡化版，該模型主要被內部用來預測推文（即Twitter上的帖子）中的情感。SentimentTagger模型由一個DNN和一個更傳統的NLP模塊組合而成。在這項工作中，只使用了該模型的DNN部分。DNN模型是使用遞歸（即RNN）和全連接（即FCNN）神經網絡層的組合設計的。RNN部分使用一種叫做長短時記憶（LSTM）的技術來實現，該技術專門為一個句子中的單詞或字符之間，甚至是跨句子的遠距離依賴關系建模。例如，在 "我昨天以便宜的價格買的車今天壞了 "這句話中，事件 "壞了 "指的是 "車"，盡管它們被其他文字分開。

在SentimentTagger中使用的特定LSTM是通過將傳入的文本（一條推文）分解成其組成字母來觀察的。更確切地說，它看的是字符，如字母，但也包括標點符號、空白、表情符號等等。然后，該模型提取出一個善于模擬情感的中間表征。這個中間表征然后被送入FCNN以產生最終的情感預測。預測是一個在0和1之間的連續值，其中0是最消極的，1是最積極的。因此，這是一個回歸模型，就解釋而言，這意味著解釋不是對預測一個特定類別的貢獻，而是對該特定輸出值的貢獻。

SentimentTagger的預測過程如圖5.1所示。表5.1中還提供了該模型預測的一些例子。表5.1中前三條推文的預測結果與人類判斷的真實情感值很一致。接下來的三條是低估了積極情緒的例子，而最后三條是低估了消極情緒的例子。對于一些例子，如第六個例子，可以說SentimentTagger比人類標簽者做得更好。在所有情況下，了解SentimentTagger的估計依據是什么，將是有益的。

圖5.1 - SentimentTagger的結構。一條推文被送入LSTMRN，它產生一個中間表征。然后將其送入FCNN，反過來產生最終的情感預測。

表5.1 - SentimentTagger對推文進行情感預測的例子。

5.2 解釋方法

為了對SentimentTagger產生的預測進行解釋，我們采用了模型診斷性的LIME和SHAP技術。SHAP的版本（KernelSHAP）實際上是對LIME的修改（根據[38]中提出的一般公式），這使得比較變得有趣。在這種情況下，選擇與模型無關的方法的原因是，不同類型的神經網絡的串聯使得應用特定模型的方法變得非同尋常。

SentimentTagger分析推文所包含的字符，而不是在詞的層面。顯著性解釋的最直接表述是指出一條推文的每個字符對該推文的情緒預測有多大貢獻。圖5.2a給出了這樣一個解釋的例子，SentimentTagger預測該條推文的情緒為中性（0.47），而人類判斷的數值為輕微的消極（0.31）。那么，是什么推動了這種預測呢？在這里，顏色編碼被用來表示每個字符對增加或減少情感預測的貢獻。藍色表示消極貢獻（即消極情緒），紅色表示積極貢獻（即積極情緒）。接近透明紫色的顏色代表中性情緒。

這個例子似乎表明，"更好 "這個詞中的字符做出了積極的貢獻，而 "壞 "這個詞中的字符做出了消極的貢獻，而其他字符則提供了一個不太清晰的畫面。從單個字符的顯著性歸因中得出結論是很困難的，因為字符本身并不真正意味著什么。因此，雖然可能有理由讓情感預測模型在角色層面上工作，但可能應該在一個綜合的層面上提供解釋，以更好地映射到實際意義。

如果將字符級別的歸因匯總到包含相應字符的每個詞上，結果就會出現圖5.2b中的可視化。出現的畫面更加清晰，不僅可以看到 "更好 "和 "壞 "對預測的推動作用有多大，而且還可以看出 "什么時候"的輕微積極作用和 "某人 "和 "不耐煩"的輕微消極作用。最后，還可以注意到，"紅色 "和 "藍色 "的數量似乎大致相當，這解釋了為什么SentimentTagger決定對情緒進行中性評價。在后面的例子中，到單詞級別的解釋是可視化的。

圖5.2 - 一條推文，根據其對該推文的情感預測的貢獻，對字符和詞進行了顏色編碼。紅色表示對積極情緒的貢獻；藍色表示對消極情緒的貢獻。在這個案例中，模型預測的是中性情緒（0.47），而人類標注者對情緒的判斷是輕微的消極（0.31）。詞級顯著性的可視化似乎更清楚地映射了句子語義的重要性。

5.3 定性結果

表5.2顯示了九個在不同方面都很有趣的推文例子。顏色對應的是由SHAP做出的顯著性歸因（然后如上文所解釋的那樣匯總到詞級）。預測欄列出了由SentimentTagger預測的情感值，而真實值欄則顯示了由人類判斷分配的值。一個詞越紅，說明組成它的字符越多，共同推動了預測值的上升。反之，一個詞越是藍色，它的字符越是把預測值推低。

對于前三條推文，SentimentTagger的預測與人類的情緒判斷（在真值一欄）相當一致。盡管達成了一致，但有趣的是，SentimentTagger看了哪些詞來得出其預測結果。在第一條推文中，"愚蠢的"、"可怕的"、"丑陋的"、"糟糕的 "和 "不 "促使情緒向消極方向發展，但 "父親 "一詞是一個更強大的消極驅動因素。可以詢問SentimentTagger是否發現了消極形容詞與 "父親 "的組合，或者它是否足夠成熟，能夠識別出 "不是他們的父親 "是一個有害的聲明。第三條推文更清晰；"微笑 "做了大部分的積極作用。

第4條和第5條推文是SentimentTagger將消極情緒分配給實際上相當積極的推文例子。諸如 "醫院"、"走了 "和 "眼淚 "等詞被表面上解釋為消極的，而對上下文的正確理解會否定這種判斷。6號推文似乎也顯示了預測和真實情緒之間的差異。然而，可以說，問句形式所表達的不安全感實際上使預測比指定的標簽更接近事實。

在例子7到9中，關系是相反的，即預測嚴重低估了推文中表達的消極程度。一些被遺漏的消極情緒可能源于拼寫錯誤，如 "appauling"（7），缺失空格，如 "worstairline "和 "beyondajoke"（7），以及口語化的縮寫，如 "tf"（9），盡管一個字符級的LSTM預計會比一個單詞級的更好地處理輕微的拼寫錯誤和空格缺失。其他錯誤則更難解釋，如 "令人震驚"、"可怕"、"凄慘"（7）和 "刺激"（9）。例子8似乎表明，SentimentTagger錯過了 "刺激 "和 "高 "之間的聯系。

表5.3顯示了LIME對相同推文產生的顯著性歸因。雖然SHAP的歸因在很大程度上是可理解的，但并不完全符合直覺，LIME的版本則在很大程度上令人困惑。少數與直覺相符，如 "可笑"（1）、"欣賞"（2）和 "樂觀"（6），其中前兩個沒有被SHAP強調。有些直接與直覺相抵觸，例如 "無用"（7）和 "微笑"（3），后者也與SHAP相抵觸。然而，大多數只是顯得很隨意，如 "ajahnae"（1）、"ago"（2）、"will"（5）和 "today"（8）。這些不直觀的解釋是否表明SentimentTagger存在SHAP沒有發現的故障，或者SHAP的更直觀的歸因是否更準確地描述了LSTM實際在做什么？KernelSHAP在理論上是LIME的一個更好的基礎版本，這一事實表明了后者，但這些定性的結果不能提供任何證明。為了更客觀地比較這兩種解釋方法，在下一節將進行定量分析。

表5.2 - 選定的推文，按SHAP的顯著性數值進行著色，這些數值已經匯總到單詞級別。

表5.3 - 選定的推文，按照LIME的顯著性數值進行著色，這些數值已經匯總到單詞級別。

5.4 特征刪減分析

正如第4.2.1節所解釋的，刪減指標通過按照XAI技術賦予特征的顯著性順序來測試解釋方法的性能。一個好的XAI技術應該對那些對預測模型的輸出很重要的特征賦予很高的顯著性，因此按照這個順序刪減特征會使模型的性能急劇下降。在本案例中，按照突出性順序要刪減的特征是字符，在這種情況下，刪減一個特征意味著用一個空字符來代替它，比如一個制表符或一個空格，而預測模型是SentimentTagger。我們在一批500條推文的例子上對SentimentTagger的SHAP解釋和LIME解釋都進行了刪減測試，然后繪制了模型的預測性能如何隨著刪減的特征（字符）數量而下降。此外，作為一個基線，我們用一個隨機掩碼進行刪減，導致特征以隨機順序被刪減。由于SentimentTagger是一個回歸模型，它的性能不能用準確性來衡量。相反，我們使用了R2指標，該指標代表了對訓練好的模型解釋測試數據中的差異的程度的衡量。

圖5.3顯示了SentimentTagger的R2性能作為刪減數量的函數，分別按SHAP、LIME和隨機掩碼排序。很明顯，刪減測試有利于SHAP，因為它的曲線按照突出性歸因的順序迅速下降，而LIME的相應曲線則明顯不那么陡峭。LIME在刪減測試中的表現只比隨機掩碼略好。因此，SHAP似乎在識別少數特征（字符）方面做得更好，沒有這些特征，模型就無法準確預測。這也許并不奇怪，因為Shapley公式的設計就是為了做到這一點，而LIME則依賴于更多技術上的啟發式方法。然而，通過有選擇地將少數幾個字符替換為空白，甚至有可能完全消除SentimentTagger的性能，這一事實可能是關于此類模型的穩健性（或缺乏穩健性）的一個有趣的跡象。

更值得注意的是，在SHAP案例中，R2值在最初的10次左右的刪減后實際上下降到了零以下，然后隨著更多的刪減被執行，又向零移動。這意味著第一組刪減實際上導致模型的表現比忽略其輸入并總是做出相同預測的模型要差。隨著更多的刪減，模型的預測將趨向于中性預測，即對應于一個空推文，這相當于忽略輸入。因此，R2值會收斂到零。

圖5.3 - 對SentimentTagger預測的SHAP和LIME解釋的刪減分析。隨機順序的刪減被用作基線。該圖顯示了對模型性能的影響，如R2指標所衡量的，當特征按突出性順序被連續刪減（即字符被連續刪減）時。SHAP曲線最初的陡峭下降表明，SHAP善于發現哪些特征對模型性能最為關鍵。低于零的跌幅表明，戰略性的刪減會導致模型做出的情感預測與人類標注的真實情感相矛盾。LIME的緩慢下降表明LIME的顯著性值在尋找哪些特征對模型性能最關鍵方面不如SHAP值，只比隨機刪減稍好。

6 結論

深度學習將被用于補充和取代軍事系統的某些功能。事實上，DL技術已經在軍事監控系統中得到了應用，以自動檢測和跟蹤大量圖像數據中感興趣的物體[45]。與傳統的軟件技術相比，DL有幾個優勢。最重要的是，DL可以用來為那些使用傳統軟件技術無法建模的復雜過程建模。它還可以促進主動學習，即人工智能系統與用戶互動，以獲得高質量的數據，這些數據可用于增強運行中系統模型（即部署后）。

不幸的是，這些優勢也帶來了重大挑戰，不僅在技術上，而且在操作上都需要解決。在本報告中，重點是可解釋性的挑戰。DL的一個主要缺點是，即使學習算法、模型結構和訓練數據是已知的，并且被很好地理解，但模型本身的行為卻不是可解釋的。在許多用于音樂推薦和廣告目的民用應用程序中，這通常不是一個問題。然而，在軍事領域，理解和解釋人工智能系統的行為是至關重要的。在這種情況下，人工智能系統提供的決定和建議可能會對人類的生活產生深刻的影響。這在使用自主武器和無人機的戰術層面是有效的，在軍事領導人和政治決策者做出長期決定的作戰和戰略層面也是有效的。

也許有人會說，復雜的軍事系統，如戰斗機、潛艇、坦克和指揮與控制的決策支持工具，也是難以掌握的。雖然這是事實，但用于建立這些系統的技術本質上是可以解釋的。因此，如果出了問題，有可能完整地檢查系統以識別和糾正問題。而在DL中，情況并非如此。主要原因是，在現實世界的應用中，DNN經常由數百萬甚至數十億的參數組成。因此，即使是這些模型的創建者也沒有能力系統地解決模型中可能存在的錯誤。

在這份報告中，探討了為解決可解釋性挑戰而提出的幾種最先進的XAI技術。盡管已經取得了一些進展，但可以得出結論，用于軍事領域DL應用的XAI仍然處于起步階段。最終，即使已經提出了許多XAI技術，它們還沒有在軍事背景下被檢測過。因此，不能保證現有的XAI技術能夠在高風險的軍事AI系統中使用DL。

在為軍事目的開發人工智能系統時，我們建議在采購和開發過程中盡早確定可解釋性和可解釋性要求。最重要的是，這些要求的定義是可行的和可驗證的。也就是說，這些要求必須符合在可解釋性方面實際可能的期望。

在未來的工作中，我們打算開發一個評估框架，可以用來支持軍事人工智能系統中XAI能力的發展。

FOI

FOI，瑞典國防研究局，是瑞典國防部下屬的一個主要任務資助機構。其核心活動是研究、方法和技術開發，以及為瑞典國防和社會安全利益而進行的研究。該組織雇用了約1000名員工，其中約800名是科學家。這使得FOI成為瑞典最大的研究機構。FOI為其客戶提供了大量領域的前沿專業知識，如安全政策研究、國防和安全相關分析、各種類型威脅的評估、危機控制和管理的系統、有害物質的保護和管理、IT安全和新傳感器提供的潛力。

將人工智能（AI）用于警務工作是一個熱門話題。這不僅是因為它被寄予了希望，而且還因為它受到了人權活動家、倫理學家和社會科學家的尖銳批評。特別是，所謂的預測性警務技術（PPT）的使用和實施正在被許多實體所不贊成。對這些系統的批評指的是它的一些眾所周知的方面，如缺乏問責制、數據集中有問題的偏見、對個人權利的侵犯和表面性。盡管有這些批評，PPT現在經常被用于整個刑事司法和執法機構。法官、假釋委員會、警察指揮官和巡邏人員根據這些技術進行日常評估、評價和分配。他們堅持認為，自動化數據分析使機構決策更加有效、一致、中立，最重要的是，它使警務工作更加智能。

在這種情況下，"智能警務"一詞是什么意思？雖然大多數定義都集中在所涉及的技術工具上，但警察從業人員Nola Joyce、Charles Ramsey和James Stewart，以及信息科學家Walter Perry等人將 "智能警務 "定義為通過研究人員、從業人員和技術開發人員之間的密切合作，運用分析視角來解決犯罪的根本原因的調查。 根據這些作者的觀點，在這個意義上的 "智能警務"應該是指導創新和改革的目標。智能警務應關注其潛力，也關注其威脅和風險，以及其文化和歷史背景。智能警務也不應依賴排斥、執法和劃界，而是利用技術工具促進競爭群體的相互包容、對政府的信任和對社會的參與。

在這個概念中，使警務工作變得 "聰明"的不僅僅是算法的使用。相反，它是算法的嵌入，它的任務，它的應用，它的實用功能，以及它對個人和社會的（長期）影響，使之與眾不同。我們今天所知的基于人工智能的預測性警務與這種廣義上的 "智能警務"沒有什么關系。目前的PPT沒有設計，更不用說系統地部署，來分析關于犯罪的更復雜基本結構的數據。它們只能夠執行相當簡單的任務，例如指定街道巡邏的區域。它們的目的是預測并幫助預防公開的犯罪行為，如街頭搶劫、入室盜竊、使用和銷售非法藥物或盜竊。但是，根據國際刑警組織的說法，有組織的犯罪仍然是對當代民主國家的最大威脅之一，因為它系統地破壞了小企業并腐蝕了對民主機構的信任，那么有組織的犯罪呢？ 這種形式的犯罪主要是基于腐敗和勾結的策略，并避免一切形式的公開暴力。因此，它不可能被例如街頭巡邏或熱點警務所打擊。模式識別和犯罪系列檢測在這里不是很有用，因為到目前為止，這些方法只針對暴力或報告良好且容易檢測的犯罪行為，而不是像腐敗或洗錢這樣微妙而復雜的犯罪行為。因此，迫切需要其他系統來減輕刑事調查員在理解、揭露和證明有組織犯罪的復雜結構方面的艱巨任務，在這些結構中，資金流動、政治、物流、國際關系、血緣關系和文化傳統動態地交織在一起。

在我們擁有能夠在打擊有組織犯罪的斗爭中取得重大進展的機器之前，還有很長的路要走。然而，最近，機器學習的步伐正在加快。隨著更多數據的出現，異質海量數據的合并工作比以往更加順利。此外，通過將機器語言轉化為可理解的線索來降低復雜性的可視化技術正在使溝通變得更加容易，而且，旨在不僅檢測模式和相關性，而且分析因果關系和結構更復雜的系統發展也即將到來。應用于警察領域，這種從模式到結構、從相關性到因果性的轉變為打擊關系和組織提供了可能。

利用自動化來協助打擊有組織犯罪無疑是一個值得稱贊的項目。然而，我們有理由認為，針對現有PPT提出的許多批評意見也可能適用于這種系統的擴展。這是因為，盡管它們基于不同的邏輯（而不是預測，它們依賴于檢測和理解），但它們使用類似的統計模型，由相同的機構委托和建造，并被部署在相同的后殖民社會中。然而，對以有組織犯罪為導向的技術潛在問題后果進行批判性討論和倫理評估是目前研究領域的一個盲點，它幾乎只關注PPTs。這是因為更復雜的面向有組織犯罪的技術仍然是新生事物；它們還沒有被使用，所以它們的實際影響還不能被經驗性地評估。然而，我們不想等到它們成熟并投入使用后再進行評估--這不僅是因為先建立這些系統，然后再改變它們以符合道德標準是不經濟的，而且還因為歧視性或侵入性的自動化帶來的損害可能很難消除。因此，既然我們有理由相信，用于打擊有組織犯罪的機器學習技術遲早會成熟并投入使用，那么它們已經值得更仔細地審查。這可以通過結合預測性倫理學領域內建議的不同方法來實現。

在這篇文章中，我們朝著這個方向邁出了第一步。在第二部分和第三部分中，我們首先討論了固有的邏輯，也討論了到目前為止對當前預測性警務技術（PPT）提出的批評。在第四部分中，我們繼續深入研究 "正在開發"的技術，這些技術針對的是與打擊有組織犯罪有關的更復雜的任務。在此背景下，我們探討了以下問題。對PPT的批評在多大程度上適用于這些新系統？還有哪些可能影響更深遠的倫理問題？可能會出現哪些新的挑戰，新的方法有哪些潛力？簡而言之，要使基于人工智能的警務工作在全面意義上真正 "智能"，需要什么？

毫無疑問，今天圍繞人工智能（AI）的最復雜的治理挑戰涉及國防和安全。CIGI正在促進戰略制定：人工智能對軍事防御和安全的影響項目將這一領域的主要專家與來自國防部的40多名公務員和加拿大武裝部隊的人員聚集在一起，討論人工智能對國家安全和軍事領域的力量倍增效應。

這一努力依賴于一系列的四次研討會，以產生關于數據驅動技術如何引發巨大的技術重組的前瞻性思考，這將對加拿大的國防規劃產生深遠影響。具體來說，這些研討會集中在數據治理和政策（道德、云計算、數據準備和互操作性）；決策（可信賴性、人機一體化、生物技術和問責制）；模擬工具（培訓、兵棋推演、人機合作、機器人、自主和可信的人工智能）；以及信息時代的加拿大情報（將人工智能用于情報）。CIGI還主辦了一個研究生研討會，以激勵整個加拿大在全球公共政策、計算機科學和安全等領域學習的新興學者。

報告總結

本文探討了在人工智能（AI）和機器學習背景下的軍事特定能力的發展。在加拿大國防政策的基礎上，本文概述了人工智能的軍事應用和管理下一代軍事行動所需的資源，包括多邊參與和技術治理。

維持先進軍事能力的前景現在與人工智能的武器化直接聯系在一起。作為一項通用技術，人工智能代表著一種力量的倍增器，有能力重塑戰爭規則。事實上，在核彈頭仍然是一種單一的技術應用的情況下，人工智能有能力支持許多不同類型的武器和系統。正如北大西洋公約組織（NATO）的指導意見所指出的，人工智能和其他 "智能 "技術現在對加拿大及其盟國的未來安全至關重要。

新技術在改變戰爭的性質方面有著悠久的歷史。從馬匹和盔甲的使用到航空母艦和戰斗機的引進，人工智能和機器人只是代表了軍事技術發展的最新階段。常規武器與人工智能和機器學習的融合，必將重塑決策的性質和軍事戰略轉型中的武力應用。

即使當代人工智能系統的能力被限制在機器學習算法的狹窄范圍內，這種限制可能不會持續太久。與神經科學、量子計算和生物技術相重疊的發現領域正在迅速發展，代表了 "智能機器 "進化的未知領域。在這些新的研究領域中的科學和技術發現給加拿大的國防帶來了巨大的風險，但同時也代表著巨大的機遇。

顯而易見的是，新興技術已經成為高度緊張的地緣政治競爭的基礎，它與一系列商業產業和技術平臺相重疊。中國、俄羅斯、美國和其他國家和非國家行為者正在積極追求人工智能和其他前沿技術的軍事應用。競爭的領域包括云技術、高超音速和新導彈技術、空間應用、量子和生物技術以及人類增強。

盡管技術創新一直塑造著國家間沖突的性質，但新興和顛覆性技術（EDT）的規模和速度是前所未有的。加拿大的國防政策反映了這種擔憂，它呼吁使加拿大武裝部隊（CAF）適應不斷變化的地緣政治環境。加拿大國防規劃已著手擴大和發展加拿大武裝部隊，在新的軍事平臺整合中納入下一代偵察機、遙控系統和天基設施。

基于對不斷變化的技術環境的廣泛評估，加拿大國防部（DND）認識到，這個新時代的特點是全球力量平衡的變化。這包括在快速發展的創新經濟中大國競爭性質的變化。就像石油和鋼鐵為工業時代設定條件一樣，人工智能和機器學習現在也可能為數字時代設定條件。

這種規模的破壞是由技術和制度變化的融合所驅動的，這些變化可以以新的和不可預測的方式觸發復雜的反饋回路。在這個新的環境中，人工智能技術將迫使世界各國軍隊投射力量的能力倍增。確定軍事人工智能發展中的護欄對于避免未來危機至關重要。應用減少風險的措施來識別和減輕軍事人工智能可能帶來的一系列風險將是關鍵。事實上，在這些能力完全嵌入世界上目前和未來的軍隊之前，治理人工智能可能會更容易。

從整體上看，這種轉變預示著從初級機器到數據驅動技術和精密電子的巨大轉變。這種物理、數字和生物技術的加速融合代表了一場巨大技術革命的早期階段。在全球范圍內管理這些新興和顛覆性的技術，對于減少未來沖突的風險至關重要。

1 引言

從人工智能和機器人到電池存儲、分布式賬本技術（DLT）和物聯網（IoT），新興和顛覆性技術（EDT）現在正在激起一個商業創新的新時代。這一巨大的技術變革景觀正在醞釀一場社會和經濟變革，對中央銀行的發展具有巨大影響。正如北約最近的一份報告所指出的（北約新興和顛覆性技術咨詢小組2020），這些技術包括：

→ 人工智能和機器學習。人工智能/機器學習的發展及其對創新的潛在影響。這包括神經形態計算、生成式對抗網絡，以及人工智能從已經收集或尚未收集的數據中揭示出意想不到的見解的能力。

→ 量子技術。正在進行的從量子過程研究中獲得的知識轉化為量子技術的應用，包括量子計算、量子傳感、量子密碼系統，以及在量子尺度上對材料的操縱和開發。

→ 數據安全。用于保障和損害通信、數據交易和數據存儲安全的算法和系統的設計，包括量子證明加密方法、區塊鏈和分布式賬本架構，以及更廣泛的網絡安全領域。

→ 計算功能的硬件。微型化、電力采集和能源儲存方面的進展，包括在全球范圍內提供數字化關鍵基礎設施所需的物理系統（物聯網）和機器人的廣泛使用及其對全球系統和流程的持續影響。

→ 生物和合成材料。從原子/分子層面的材料設計、合成和操作到中觀和宏觀尺度的創新，支持生物工程、化學工程、基因層面的操作、增材制造和AI介導的生成設計。

正如蒸汽機和印刷術激發了工業革命一樣，人工智能和機器人技術現在也在軍事技術的性質和全球力量平衡方面引發了巨大變革。人工智能的興起并非沒有歷史先例，但伴隨著人工智能的變化表明，需要對國防規劃進行更精確的調整，以適應一個數據驅動的時代。

在大國競爭和多極體系的背景下，人工智能已經成為競爭的一個特別焦點。中國、俄羅斯、美國和其他許多國家都在積極追求人工智能能力，并把重點放在國防和安全方面。例如，中國希望到2030年在人工智能方面領先世界，并期望通過利用大量的豐富數據，擴大其在人工智能產業化方面的領先優勢（Lucas和Feng，2017年）。

事實上，數據和數據驅動的技術現在占據了全球經濟的制高點。整個全球數據經濟的競爭已經與大國競爭密不可分（Mearsheimer 2021）。盡管美國和中國的經濟深深地相互依存，但中國在整個歐亞大陸不斷擴大的投資將很快使其成為世界貿易的中心。

技術優勢仍然是北約國家的關鍵支柱，但中國正在迅速趕超。即使美國在人工智能發現方面建立了強大的領先優勢，中國也越來越有可能在人工智能驅動的應用產業化方面占據主導地位。中國不僅有先進的商業能力，而且還有一個連貫的國家戰略。中國的技術部門正在達到專業知識、人才和資本的臨界質量，正在重新調整全球經濟的指揮高度（Lucas and Waters 2018）（見圖1）。

中國產業部署的大部分技術創新都是 "漸進式 "的，而不是 "顛覆式 "的，但現在這種情況正在改變。將新興市場聚集在其軌道上，中國前所未有的經濟擴張現在對世界經濟產生了引力（The Economist 2018）。標志性項目，價值數萬億美元的 "一帶一路 "倡議（世界銀行2018年）為圍繞電動汽車、電信、機器人、半導體、鐵路基礎設施、海洋工程以及最終的人工智能的廣泛戰略轉變提供了一個全球平臺（McBride和Chatzky 2019年）。

毫不奇怪，中國已經是國際專利申請的世界領導者（世界知識產權組織2020）。隨著自主機器（Etzioni和Etzioni 2017）、可再生能源基礎設施、量子通信（?iljak 2020）、增強型腦機接口（Putze等人2020）和天基武器（Etherington 2020）的出現，重新思考加拿大國家安全，特別是加拿大國防的性質的壓力正在增加。鑒于技術創新的步伐不斷加快，以及亞洲作為世界貿易中心的崛起（Huiyao 2019），來自國外的技術的影響可能是巨大的。

圖1：按購買力平價計算的國內生產總值預測（以萬億美元計）

2 AI與軍事防御

2.1 AI定義

人工智能的概念已被廣泛討論，但該術語的精確定義仍然是一個移動的目標。與其說人工智能是一項具體的技術或特定的創新，不如說它是一個材料的集合。事實上，即使人工智能技術已經成為廣泛的主流商業應用的基礎，包括網絡搜索、醫療診斷、算法交易、工廠自動化、共享汽車和自動駕駛汽車，人工智能仍然是一個理想的目標。

盡管人工智能領域的研究始于20世紀40年代，但隨著機器學習和計算機處理能力的改進，過去十年對人工智能興趣的爆炸性增長已經加速。人工智能的持續進步被比喻為在人腦中發現的多尺度學習和推理能力。當與大數據和云計算相結合時，預計人工智能將通過將 "智能 "人工智能和機器學習系統與第五代（5G）電信網絡（即物聯網）上的大量聯網設備連接起來，使數字技術 "認知化"。

作為人工智能的一個子集，機器學習代表了人工智能的最突出的應用（見圖2）。機器學習使用統計技術，使機器能夠在沒有明確指令的情況下 "學習"，推動許多應用和服務，改善一系列分析和物理任務的自動化。通過使用數據自動提高性能，這個過程被稱為 "訓練 "一個 "模型"。使用一種算法來提高特定任務的性能，機器學習系統分析大量的訓練數據集，以便做人類自然而然的事情：通過實例學習。

今天，機器學習的最常見應用是深度學習。作為更廣泛的機器學習家族的一部分，深度學習利用人工神經網絡層來復制人類智能。深度學習架構，如深度神經網絡、遞歸神經網絡和卷積神經網絡，支持一系列廣泛的研究領域，包括計算機視覺、語音識別、機器翻譯、自然語言處理和藥物設計。

圖2：人工智能的層級

2.2 加拿大國防部：將人工智能應用于國家安全

安全人工智能位于新興和顛覆性技術（EDT）星座的中心，包括機器人學、基因組學、電池存儲、區塊鏈、3D打印、量子計算和5G電信。在研究層面，美國仍然是人工智能的全球領導者。目前，國家科學基金會每年在人工智能研究方面的投資超過1億美元（國家科學基金會2018年）。國防高級研究計劃局（DARPA）最近宣布投資20億美元用于一項名為AI Next的計劃，其目標是推進上下文和適應性推理（DARPA 2018）。

與過去的原子武器或隱形飛機的技術發展不同，沒有國家會壟斷軍事人工智能。研究人員和領先的商業企業之間廣泛的全球合作意味著人工智能和機器學習的進步可能會在全球范圍內擴散。事實上，人工智能發展的大多數技術進步是由工業界而不是政府推動的。除了市場主導的技術公司，世界各地廣泛的網絡集群正在孵化新一代的商業創新（Li and Pauwels 2018）。因此，許多未來的軍事應用將可能是為商業產業開發的技術的改編。

幸運的是，加拿大一直是人工智能研究前沿的領導者，并繼續通過2017年推出的泛加拿大人工智能戰略下的幾個項目培育一個強大的人工智能生態系統。加拿大政府積極參與人工智能咨詢委員會和各種國際伙伴關系，包括2020年啟動的全球人工智能伙伴關系；人工智能國防伙伴關系，其第二次對話在2021年舉行；以及重疊人工智能驅動的安全和規劃的多邊協議（五眼，北約）。事實上，加拿大的國防政策，"強大、安全、參與"（SSE），反映了加拿大政府對增加年度國防開支的承諾，重點是技術。

目前的聯邦預算包括對人工智能發展的實質性承諾，承諾在10年內投入4.438億美元（Silcoff 2021）。在政府2021年的預算中，1.85億美元將支持人工智能研究的商業化；1.622億美元將用于在全國范圍內招聘頂尖的學術人才；4800萬美元將用于加拿大高級研究所；五年內4000萬美元將旨在加強埃德蒙頓、多倫多和蒙特利爾的國家人工智能研究所的研究人員的計算能力；五年內860萬美元將幫助推進人工智能相關標準的發展和采用（加拿大政府2021年，148）。

2.3 增強加拿大的情報能力

人工智能是一個影響廣泛的商業和軍事技術的模糊領域。像電力或化石燃料一樣，人工智能的廣泛應用意味著人工智能和其他通用技術有能力重新配置現代軍隊的步伐和組織（Bresnahan和Trajtenberg 1995）。從整體上看，人工智能代表了國家安全性質的結構性轉變。出于這個原因，SSE設想了一個未來的軍事態勢，更加注重開發、獲取和整合先進的變革性技術，包括網絡和自主系統。

即使加拿大在傳統聯盟（北美防空司令部、北約和五眼聯盟）中的持續作用仍然是國家安全的基礎，EDT正在從根本上改變沖突的性質。正如格雷格-菲夫（2021年）所觀察到的，人工智能作為戰爭工具的崛起與升級加拿大國家安全架構，特別是加拿大情報部門的日益增長的需求相重疊。技術變革和信息爆炸的復合周期，新的技能組合和新的數據分析戰略對國防規劃的演變變得至關重要。

在數字時代，戰爭正日益成為基于知識的戰爭。隨著沖突進入信息領域，軍事規劃開始重新聚焦于信息/虛假信息行動、網絡行動、情報行動和政治或經濟影響行動。事實上，這種混合戰爭作為一種戰爭工具由來已久，其目的是利用宣傳、破壞、欺騙和其他非動能軍事行動，從內部破壞對手（Bilal 2021）。

網絡仍然是潛在對手、國家代理人、犯罪組織和非國家行為者的一個關鍵目標。這包括對通信、情報和敏感信息的嵌入式監視和偵察。正如Amy Zegart（2021年）所解釋的那樣，技術正在通過極大地擴展數據和信息的獲取，使情報的性質民主化。事實上，今天驅動戰略情報的大部分信息實際上是開放源碼情報（OSINT）或在公共領域。

現代軍隊正變得嚴重依賴安全、及時和準確的數據。隨著數據的急劇膨脹，消化它變得不可能。這種數據爆炸正在推動對新的分析模式和新型網絡工具的需求。在數字時代，安全和情報人員需要新的平臺、新的工具和跨領域工作的新OSINT機構。在這方面，人工智能可能特別有幫助。

隨著數據的重要性增加，在廣闊的數字領域的對抗性競爭也在增加。人工智能和機器學習可以通過篩選巨大的數據庫來極大地提高加拿大的國家情報能力。人工智能不是銀彈。人工智能系統不能產生意義或提供因果分析。然而，人工智能和機器學習可以極大地增強人類在管理數據和數據驅動的分析方面的情報能力。

2.4 增強加拿大軍力

隨著決策者為數據驅動的世界調整其安全態勢，人工智能有望改變軍事沖突的既定模式。DND/CAF面臨的關鍵挑戰之一是數據驅動的網絡重塑指揮和控制系統的速度（Thatcher 2020）。集中式系統的優勢在于其協調人類活動的效率。在指揮系統中，人員和傳感器推動威脅檢測，將信息向決策堆棧上移，以便決策者可以做出適當的反應。數字技術深刻地加速了這個過程。

人工智能在軍事領域的應用可能被證明對傳統的指揮和控制系統具有挑戰性。例如，在美國，五角大樓的第一位首席軟件官最近辭職，以抗議技術轉型的緩慢步伐。在離開國防部職位后的一次采訪中，尼古拉-沙伊蘭告訴《金融時報》，美國未能對技術變革和其他威脅作出反應，使國家的未來面臨風險（Manson 2021）。

除了變化的速度緩慢，軍事指揮和控制系統的集中性意味著單點故障提供了脆弱的攻擊點。指揮機關和自動或人類控制者往往容易受到利用不良或欺騙性信息的對抗性技術的影響，甚至自上而下的決策在適應復雜的突發挑戰方面也會很緩慢。

神經形態計算、生成式對抗網絡（GANs）、人工智能決策支持、數據分析和情報分析方面的新創新在增強軍事行動的結構和進程方面可能會產生巨大影響。機器學習算法的快速發展已經在商業和軍事領域引發了一波投資熱潮。

超越對損耗和動能攻擊的傳統關注，轉向基于加速和適應的新方法，數據驅動的技術可能是促成國家安全性質徹底轉變的關鍵。人工智能不是一種單一的技術。相反，它是一類可以在一系列軍事和商業應用中整合的技術。這些技術不斷演變的基礎是數據。

數字技術現在由數據推動，并將繼續推動創造越來越多的數據驅動的技術--特別是人工智能。數據是訓練人工智能和先進機器學習算法的基礎。數據既是大規模運行的數字系統產生的 "操作廢氣"，也是機器對數據輸入作出反應的過程，它現在推動了機器的 "自主性"。

數據驅動的技術支撐著現代社會的核心社會和經濟功能，涵蓋了基礎設施、能源、醫療保健、金融、貿易、運輸和國防。隨著5G網絡的全球推廣，預計在高度健全的全球信息網絡中創建、收集、處理和存儲的數據將出現爆炸性增長。根據市場研究公司IDC的數據，目前全球數據正以每年61%的速度增長（Patrizio 2018）。預計到2025年，數據將達到175 zettabytes（一萬億吉字節），改變數字經濟的性質和規模（同上）。

出于這個原因，DND/CAF將數據提升到國家資產的水平是明智的。這對經濟增長和加拿大國防都至關重要。將數據作為國家資產加以保護和利用，將意味著重新思考目前構成當代數據架構的大型集中式數字基礎設施。可以肯定的是，網絡時代的數據安全應該是分散的和聯合的，以避免集中式系統的脆弱性。

3 武器化AI：致命的自治系統

關于技術破壞的傳統預測往往會犯一個錯誤，即假設這種規模的系統變化只是以一對一的方式取代舊技術。在現實中，這種規模的顛覆往往會不成比例地取代舊的系統，使其具有巨大的新的架構、界限和能力（Arbib和Seba 2020）。

正在進行的人工智能武器化正在助長一場全球軍備競賽，有望重塑加拿大國防戰略的輪廓。事實上，世界上許多國家在人員系統自動化、設備維護、監視系統以及無人機和機器人的部署方面已經遠遠領先（斯坦利和平與安全中心、聯合國裁軍事務廳和史汀生中心2019）。從美國到俄羅斯到以色列再到中國，軍事研究人員正在將人工智能嵌入網絡安全舉措和支持遠程手術、戰斗模擬和數據處理的機器人系統。

以先進的物流、半自動車隊、智能供應鏈管理和預測性維護系統的形式將人工智能應用于軍事行動代表了人工智能的近期應用（Perry 2021）。然而，能夠在陸地、海洋、空中、太空和網絡領域針對個人（無論是否需要人類干預）的自主武器的演變代表了軍事沖突的可能未來（見圖3）。事實上，近100個國家的軍隊目前擁有某種程度的武裝或非武裝無人機能力（Gettinger 2019）。

圖3:全球無人機激增

商業無人機技術在采礦、農業和能源領域的縱橫捭闔，正在助長無人機技術的廣泛擴散。正如最近亞美尼亞和阿塞拜疆之間的沖突所表明的那樣，一群相對便宜的自主和半自主無人機可以被利用來壓倒傳統的軍事系統，使一系列當代平臺變得過時（Shaikh和Rumbaugh 2020）。輕型、可重復使用的武裝無人機，如土耳其的Songar（Uyan?k 2021）可以配備一系列有效載荷，包括迫擊炮、手榴彈和輕機槍。最近對沙特阿拉伯的Abqaiq石油加工設施（Rapier 2019）和俄羅斯的Khmeimim空軍基地（Hambling 2018）的攻擊反映了軍事無人機在不同戰場環境中的應用越來越多。

致命自主武器系統（LAWS）被定義為可以在沒有人類授權的情況下選擇和攻擊目標的武器，它被設計為在獨立識別目標之前在指定的行動區域內長期徘徊。多個無人機或機器人可以并行運作，以克服對手的防御或摧毀一個特定目標。開發人員傾向于將致命性武器系統分為三大類，即觀察、定位、決定和行動（OODA）循環（見圖4）。這些類別包括。"循環中的人"、"循環中的人 "和 "循環外的人"。這種區分也被框定為 "半自主"、"受監督的自主 "和 "完全自主 "的技術系統。不幸的是，受監督的致命性自主武器系統和完全自主的致命性自主武器系統之間的區別，可能只是一個軟件補丁或一個監管程序。

圖4：OODA環

隨著致命性自主武器系統和其他數據驅動的技術變得更便宜和更廣泛，它們可能會給廣泛的國家和非國家行為者提供平臺和工具，以新的和破壞性的方式利用人工智能和機器學習。除了收緊OODA循環外，軍事人員將需要了解人工智能在加速OODA循環方面的影響，以確定在特定情況下哪種模式最合適。

3.1 網絡平臺

鑒于EDT的范圍和規模，認為我們可以簡單地保持從上個世紀繼承的系統和做法是錯誤的。正如英國查塔姆研究所2018年的一份報告所警告的那樣，美國、英國和其他核武器系統正變得越來越容易受到網絡攻擊（Unal and Lewis 2018）。這些擔憂是有根據的。人工智能和EDT的擴散一起，幾乎肯定會通過利用人工智能和自主系統的規模效應，為小國和非國家行為者帶來好處。

對于許多北約國家來說，網絡平臺已經成為多領域行動的關鍵--海、空、陸、網絡和空間。大規模的網絡使得在復雜環境中可視化和協調大量資源成為可能。在5G電信和云計算的基礎上，信息系統現在可以有效地收集、傳輸和處理大量的戰場數據，提供實時數據分析。

連接設備正在成為協調空襲、駕駛無人機、消化戰斗空間的實時視頻和管理高度復雜的供應鏈的關鍵。在英國，國防數據框架提供了一個結構，以解決軍事組織與數據驅動的企業需求相一致的挑戰（Ministry of Defence 2021）。從戰略到通信到后勤到情報，數字平臺現在是協調復雜軍事行動的基礎。數據現在是所有作戰領域的命脈。

在一個數字化的戰斗空間中，每個士兵、平臺和資源現在都是一個復雜軍事網絡中的節點。從20世紀90年代以網絡為中心的美國軍事行動開始，數字技術已經成為先進武器、戰術和戰略的基礎。從戰場態勢感知和自主無人機到精確制導彈藥和機器驅動的心理行動，網絡正在使戰爭進入網絡時代。

在集中式機構對工業時代至關重要的地方，平臺和網絡正在成為數字時代的關鍵。人工智能本質上是一種 "自下而上 "的技術，依靠不斷 "喂養 "大量的數據來支持機器學習作為 "學習引擎"。隨著數字生態系統的激增，網絡平臺和它們所依賴的數據管理系統成為管理不斷擴大的資源和人員的關鍵。

與金融部門一樣，DND應該尋求區塊鏈等DLT，以加速加拿大軍隊的數字化轉型。通過在分散的網絡中橫向分配數據，CAF區塊鏈可以幫助減少官僚化系統固有的限制和脆弱性。DLT提供了一個高度分散的驗證系統，可以確保所有的通信和數據傳輸免受對手的攻擊，同時消除集中式節點的潛在故障。

3.2 無人機群和機器人技術

人工智能在軍事規劃中的應用正在迅速推進，許多國家在部署無人機和機器人方面已經取得了很大進展。事實上，無人機技術的全球擴散正在順利進行中。

世界各地的軍隊正在加速開發或采購攻擊型無人機（見圖5）。俄羅斯的 "閃電"（BulgarianMilitary.com 2021）、西班牙的Rapaz8以及英國、9美國10和以色列11的各種無人機項目共同代表了軍事技術新時代的早期階段。與工業時代的軍事技術不同，無人機可以以低成本獲得，并需要相對較少的技術技能。

無人機群技術涉及微型/迷你無人機/無人駕駛飛行器或無人機群，利用基于共享信息的自主決策。事實上，當代軍用無人機已經可以被設計成在沒有人參與的情況下定位、識別和攻擊目標。利用蜂群技術，數以百計的非武裝無人機可以從現場收集信息，同時用各種武器（即火器、火炮和/或彈藥）引導數以千計的無人機。

正如簡短的視頻 "Slaugherbots "所展示的那樣，完全自主的武器將使瞄準和殺死獨特的個人變得非常容易和便宜。在面部識別和決策算法的基礎上，國家和非國家行為者都可以廣泛使用致命性武器。數以千計的相對便宜的無人機配備了爆炸性的彈頭，有可能壓倒防空系統，攻擊基礎設施、城市、軍事基地等等。

圖5：無人機對比

3.3 馬賽克戰爭

無人機群壓倒加拿大軍事設施的威脅，以及對關鍵基礎設施的網絡攻擊或在衛星傳感器檢測到威脅時自動發射的高超音速導彈，代表了一個令人不安但越來越可能的未來。從復雜性科學和對昆蟲的研究中產生的，使用無人機來支持 "集群情報 "代表了一個加速戰爭節奏的新工具集。

為了應對這種不斷變化的環境，DARPA提出了 "馬賽克戰爭"的概念。馬賽克戰爭的中心思想是，模塊化系統可以成為應對高度網絡化環境的廉價、靈活和高度可擴展的工具。就像馬賽克中的瓷片一樣，單個作戰平臺可以被設計成高度可配置的。編隊利用分散的代理在 "殺戮網 "上進行重新配置。殺戮網的目標是避免 "單體系統 "的結構僵化。

與傳統戰爭中需要的復雜棋局不同，馬賽克戰爭利用數字網絡，利用模塊的靈活性和增強的決策（時間壓縮）加快動態響應時間。像自然界中的復雜系統一樣，殺傷性網絡使用算法來消除單點故障，通過模塊化設計加速反應時間。

從主導地位（預測）轉向加速反應（適應），"馬賽克戰爭 "旨在支持混合軍事單位，利用 "決策棧 "上下的橫向網絡。人工智能、無人機、傳感器、數據和人員結合在一起，為地面上的作戰指揮官提供支持，使小型編隊能以更快的速度獲得情報、資源和后勤資產。

像 "馬賽克戰爭 "這樣的模塊化系統表明，未來的戰爭將越來越多地利用現在驅動戰爭游戲和模擬的計算、數據分析和算法。推動高度流動、游戲化和不可預測的環境，未來的人工智能系統可以將戰爭加速到一個隨著結果范圍的擴大而變得極其密集的計算速度和節奏。

DARPA最近的AlphaDogfight（2019-2020年）為這一新現實提供了一個窗口。使用復雜的F-16飛行模擬器讓計算機與有經驗的人類飛行員對決，試驗的目的是為DARPA的空戰進化計劃推進人工智能開發者。毫不奇怪，F-16人工智能代理通過積極和精確的機動性擊敗了人類飛行員，而人類飛行員根本無法與之相提并論，五局為零。

4 對抗性攻擊

人工智能的武器化也在激起對抗人工智能系統的新戰略和方法。正如網絡行動（無論是間諜活動還是攻擊）可以指示計算機網絡或機器以它們不打算的方式運行，對手也可以對人工智能系統使用同樣的策略。這個過程被稱為對抗性機器學習，旨在找出機器學習模型的弱點并加以利用。攻擊可能發生在開發或部署階段，包括通過提供欺騙性輸入（例如，"毒化"數據）或針對模型本身來誤導模型。

這些方法在國家安全環境中特別危險，因為在許多情況下，它們是微妙的，人類無法察覺。此外，具有挑戰性的是，對手不一定需要對目標模型的具體知識或直接訪問其訓練數據來影響它。隨著人工智能系統變得更加普遍，更多的人可以接觸到，對手的吸引力和攻擊機會將增加。

4.1 攻擊數據

攻擊者可能試圖修改訓練數據或測試數據。這是通過創造對抗性樣本來實現的，這些樣本被故意 "擾亂 "或改變并提供給模型，從而導致錯誤。例如，通過改變洗衣機圖像的分辨率，研究人員能夠欺騙一個模型，將機器分類為 "安全 "或 "擴音器"（Kurakin, Goodfellow and Bengio 2017）。對人的眼睛來說，對抗性圖像看起來幾乎是一樣的。

在國家安全方面，對手可能會試圖使用同樣的技術來暗示武器系統實際上是一個社區中心。如果這是在孤立的情況下發生的，那么這個問題很可能被識別和解決。如果對手的樣本被長期大規模使用，這可能成為一個重大的挑戰，并影響對情報收集系統的信任。

此外，一些對手可能并不精確--或有技能--并可能試圖迫使一個模型對整個類別而不是特定類別進行錯誤分類。由于我們在國家安全環境中越來越依賴計算機圖像，并不總是能夠實時或在有爭議的空間進行驗證，因此在這種攻擊中出現誤判的風險是很大的。

高后果的人工智能系統并不是對抗性攻擊的唯一目標。受對抗性樣本影響的人工智能系統可以包括生物識別，其中假的生物特征可以被利用來冒充合法用戶，語音識別中攻擊者添加低量級的噪音來混淆系統（Zelasko等人，2021）和計算機安全（包括在網絡數據包中混淆惡意軟件代碼）。

由于DND/CAF尋求通過部署人工智能系統來提高效率--如軍艦上的語音助手（McLeod 2019）--必須在部署前評估對抗性使用的風險并制定對策。

4.2 攻擊模型

除了改變輸入，另一種攻擊方法可用于逆向工程模型以獲取訓練數據（Heaven 2021）。由于機器學習模型對訓練數據的表現比新的輸入更好，對手可以識別目標模型預測的差異，并與包括個人身份信息在內的已知數據相匹配（Shokri等人，2017）。隨著機器學習即服務變得越來越多--而且在許多情況下，被用作開發更復雜的能力的基礎--DND將需要仔細審查國家安全系統的數據泄漏風險。這甚至適用于看似無害的系統，如語音助手。

人工智能系統的弱點的例子很多（Hadfield-Menell等人，2017）。這些例子包括吸塵器將收集到的灰塵彈回它剛打掃過的地方，以便它能收集更多的灰塵，或者數字游戲中的賽艇在原地循環以收集分數，而不是追求贏得比賽的主要目的。雖然這些例子沒有生命危險，但同樣的技術--被稱為獎勵黑客（當一個模型被指示使其目標函數最大化，但卻以非故意的方式進行）--可以被用于更嚴重的效果。

從旨在用固定的訓練數據解決 "單步決策問題 "的機器學習過渡到解決 "順序決策問題 "和更廣泛的數據集的深度機器學習，將使對抗性攻擊更難發現。這種威脅是如此之大，以至于美國情報高級研究項目活動正在資助一個項目，以檢測木馬人工智能對已完成系統的攻擊。令人擔憂的是，政府可能會在不知情的情況下操作一個產生 "正確 "行為的人工智能系統，直到出現 "觸發 "的情況。例如，在部署過程中，對手可能會攻擊一個系統，并在更晚的時候才導致災難性的故障發生。這些類型的攻擊可能會影響到圖像、文本、音頻和游戲的人工智能系統。

4.3 防御和反制措施

正如對抗性樣本可以用來愚弄人工智能系統一樣，它們可以被納入訓練過程中，以使它們對攻擊更加強大。通過對最重要的國家安全人工智能系統進行清潔和對抗性數據的訓練--要么給它們貼上這樣的標簽，要么指示一個模型將它們分離出來--更大的防御是可能的。但是，復雜的對手很可能會自行躲避這種防御方法，而使用額外的戰術進行深度防御將是必要的。

GANs有各種各樣的用例，從創建深度假說到癌癥預后（Kim, Oh and Ahn 2018）。它們也可用于防御對抗性攻擊（Short, Le Pay and Ghandi 2019），使用一個生成器來創建對抗性樣本，并使用一個判別器來確定它是真的還是假的。一個額外的好處是，使用GANs作為防御，實際上也可能通過規范數據和防止 "過度擬合 "來提高原始模型的性能（IBM云教育2021）。

對抗性攻擊和防御模型進行基準測試--如使用GANs--是一種全面的對策，可以對AI系統進行比較。這種方法為制定和滿足安全標準提供了一個量化的衡量標準，并允許評估人工智能系統的能力和限制。

作為這個測試和評估過程的一部分，博弈論可能有助于建立對手的行為模型，以確定可能的防御策略。由于人工智能系統無法在傳統的信息安全意義上進行 "修補"，因此在部署前應仔細分析針對國家安全人工智能系統的對抗性攻擊的風險，并定期進行審查。此外，訓練有素的模型--特別是那些關于機密數據和最敏感應用的模型--應該得到仔細保護。

5 關于人工智能的全球治理

數據驅動的戰爭的速度和范圍表明，我們正在進入一個新的時代，其中致命性武器系統的潛力--無論是否有人類參與--都可能極大地改變全球力量平衡。從殺手級無人機和人機合作到增強的軍事決策（殺手2020），人工智能技術將使世界各國軍隊投射力量的能力大大增加。正在進行的人工智能武器化也與空間武器化相重疊（《經濟學人》2019年），因為低地球軌道（LEO）日益成為軍事監視、遙感、通信、數據處理（Turner 2021）和彈道武器（Sevastopulo和Hille 2021）的操作環境。

人工智能與低地軌道和致命性自主武器系統的興起，代表了全球安全性質的一個關鍵轉折點。為此，世界各地的學術研究人員、技術企業家和公民都對人工智能的軍事化所帶來的危險表示擔憂。正如他們正確地指出的那樣，在規范負責任地開發和使用人工智能的規范和法律方面缺乏國際共識，有可能造成未來的危機。

5.1 戰爭法則

除了我們在科幻小說中經常看到的對人工智能的夸張描述，重要的是建立適當的制衡機制，以限制人工智能技術可能提供的權力集中。關于管理人工智能和其他數字技術的共同國際規則和條例將塑造未來幾十年的戰爭和沖突的輪廓。在軍事人工智能的發展中制定護欄，對于減少未來沖突的可能性至關重要。

加拿大和其他北約國家積極參與這一討論可能是未來全球和平與安全的關鍵。在發動戰爭的條件（jus ad bellum）和戰爭中的人工智能行為（jus in bello）方面，規范人工智能使用的戰爭法仍有待確定。鑒于美國和中國之間不斷擴大的競爭，需要制定關于致命性自主武器系統的使用及其擴散的條約是再及時不過了。

正如北約所觀察到的，加拿大及其盟國應尋求促進、參與和建立合作機會，以支持開發和應用人工智能和其他EDT的廣泛、全面的架構（北約新興和顛覆性技術咨詢小組2020）。盡管面臨著艱巨的挑戰，全球治理在規范軍事人工智能方面可以發揮重要作用。盡管對人工智能及其武器化有不同的看法，但過去的談判可以作為未來條約的基礎，特別是在定義戰爭規則方面。這包括關于常規武器、核軍備控制、生物和化學武器、地雷、外層空間和平民保護的條約（見圖6）。

到目前為止，《聯合國特定常規武器公約》（CCW）已經監督了一個討論應對自主武器帶來的人道主義和國際安全挑戰的進程。已經提出了一系列監管致命性自主武器系統的潛在方案，包括《特定常規武器公約》下的一項國際條約，一個不具約束力的行為準則，宣布各國承諾負責任地開發和使用致命性自主武器系統。在聯合國之外，2013年發起了 "停止殺手機器人 "運動，目標是完全禁止致命性自主武器系統。

聯合國秘書長安東尼奧-古特雷斯強調了人工智能和其他數字技術的風險和機遇（聯合國2020），并呼吁禁止致命性自主武器系統（古特雷斯2021）。不幸的是，聯合國成員國，特別是聯合國安理會的觀點存在分歧，一些國家認為監管是民族國家的專屬權限，而另一些國家則側重于更多部門的做法。除了人工智能的武器化，在圍繞人權、算法偏見、監控（公共和私人）以及國家支持的或國家支持的網絡攻擊等問題上也存在廣泛的分歧。

對于世界上的主要軍事大國來說，缺乏互信仍然是追求人工智能集體軍備控制協議的一個重大障礙。即使相當多的國家支持提供新的具有法律約束力的條約，禁止開發和使用致命性自主武器，但世界上大多數主要軍事大國都認為人工智能的武器化具有重大價值。鑒于這些分歧，致命性自主武器系統的多邊管理將需要建立信任措施，作為打開政治僵局的軍控進程的手段。

走向平凡的監管 也許制定管理人工智能的政策和監管制度的最具挑戰性的方面是難以準確地確定這些制度應該監管什么。與生物和化學武器不同，人工智能大多是軟件。事實上，人工智能是一個移動的目標：40年前被定義為人工智能的東西，今天只是傳統的軟件。

人工智能是一個模糊的技術領域，影響著廣泛的商業和軍事應用。例如，機器學習算法是搜索引擎（算法排名）、軍用無人機（機器人技術和決策）和網絡安全軟件（算法優化）的成分。但它們也支撐著平凡的行業，甚至兒童玩具（語義分析、視覺分析和機器人技術）、金融軟件和社交媒體網絡（趨勢分析和預測分析）。

與屬于這些平凡的監管領域的產品和流程一樣，人工智能技術不是被設計成最終實體，而是被設計成在廣泛的產品、服務和系統中使用的成分或組件。例如，一個 "殺手機器人 "不是一種特定技術的結果。相反，它是人工智能 "成分 "重新組合的結果，其中許多成分也被用來檢測癌癥或增加駕駛者的安全。

雖然人們傾向于使用一個專門的不擴散鏡頭來監管人工智能，但雙重用途的挑戰仍然存在。與核擴散或轉基因病原體不同，人工智能不是一種特定的技術。相反，它更類似于一個材料或軟件成分的集合。與大多數二元的核不擴散鏡頭相比，可以在食品監管中找到更相關（盡管不那么令人興奮）的監管模式的靈感，特別是食品安全和材料標準（Araya和Nieto-Gómez 2020）。

5.2 治理人工智能

鑒于對人工智能進行全面監管存在重大的概念和政治障礙，治理仍然是一項艱巨的挑戰。一方面，如果我們把人工智能理解為一系列復制人類活動的技術實踐，那么就根本沒有一個單一的領域可以監管。相反，人工智能的治理幾乎重疊了每一種使用計算來執行任務的產品或服務。另一方面，如果我們將人工智能理解為大幅改變人民和國家之間權力平衡的基礎，那么我們就會面臨重大挑戰。

幸運的是，這并不是民族國家第一次面臨影響全球安全的新技術。在第二次世界大戰之后，世界上最強大的國家--美國、英國、蘇聯、中國、法國、德國和日本--對核武器、化學制劑和生物戰的全球治理進行監督。當時和現在一樣，世界必須采取集體行動來治理人工智能。

與冷戰時期一樣，包括定期對話、科學合作和分享學術成果在內的建立信任措施可以幫助減少地緣政治的緊張。為管理軍事人工智能帶來的風險制定一個共同的詞匯，可以為隨著時間的推移制定更有力的人工智能多邊條約提供基礎。

在這方面，經濟合作與發展組織（OECD）已經公布了其關于人工智能的建議，作為一套政府間標準，于2020年2月啟動了人工智能政策觀察站。加拿大和法國政府還與經合組織一起領導了一個全球人工智能伙伴關系（GPAI），旨在成為一個人工智能政策的國際論壇。GPAI的成員專注于以 "人權、包容、多樣性、創新和經濟增長原則 "為基礎的負責任的人工智能發展。

除了GPAI，一些歐洲國家已經呼吁歐盟成員開始一個關于負責任地使用新技術的戰略進程--特別是人工智能。美國已經邀請盟國討論人工智能的道德使用問題（JAIC公共事務2020）。北約已經啟動了一個進程，鼓勵成員國就一系列道德原則和具有軍事用途的電子技術關鍵領域的國際軍備控制議程達成一致（Christie 2020；NATO 2020）。認識到EDT對全球安全的深遠影響，北約于2019年12月推出了EDT路線圖（北約科技組織2020）。

從整體上看，二十一世紀需要進行正式監管。從長遠來看，這很可能包括尋求與禁止生物武器、化學武器和殺傷人員地雷一樣的人工智能條約。然而，鑒于人工智能的創新速度和世界超級大國之間日益擴大的分歧，就人工智能的全球治理進行談判的機會之窗可能正在關閉。

圖6:人工智能的全球治理

6 結論：走向國家創新體系

即使在工業時代即將結束的時候，技術創新也在加速進行（Araya 2020）。自從大約80年前誕生以來，人工智能已經從一個神秘的學術領域發展成為社會和經濟轉型的強大驅動力。人工智能在戰爭中的整合被一些軍事分析家描述為一個不斷發展的 "戰場奇點"（Kania 2017）。在 "技術奇點"（Schulze-Makuch 2020）的概念基礎上，人們越來越多地猜測，人工智能和機器人將超越人類的能力，有效地應對算法驅動的戰爭。

人工智能和其他EDT的演變正在將先進的數據、算法和計算能力匯集起來，以 "認知 "軍事技術。在這種新環境下，現代軍隊正變得嚴重依賴提供安全、及時和準確數據的網絡。數據已經成為數字系統的 "作戰用氣 "和驅動 "智能機器 "的原料。隨著數據重要性的增加，在廣闊的數字領域的對抗性競爭也在增加。事實上，數據的真正價值在于其推動創新的數量和質量。

正如北約關于EDT的年度報告（北約新興和顛覆性技術咨詢小組2020）明確指出，要想跟上技術變革的步伐，就必須在技術的開發、實驗和應用方面保持靈活性和快速迭代。整個CAF的創新能力必須是一個更廣泛的創新生態系統的一部分，該系統有效地整合了公共和私人生態系統的研究和實施。這包括與加拿大工業界合作利用雙重用途的GPT的明確目標，以便利用已經存在的技術。

這種多領域的合作在歷史上被定義為國家創新體系（NSI）（OECD 1997）。事實上，NSI政策和規劃可以采取多種形式，從松散的協調到高度整合的伙伴關系。在美國（Atkinson 2020）、中國（Song 2013）和歐洲（Wirkierman, Ciarli and Savona 2018）應用的各種NSI規劃模式表明，在最大化政府-產業-研究伙伴關系方面可以找到大量的經濟和社會回報。政府應通過稅收優惠、采購和研究資金以及戰略規劃，努力建設加拿大的技術能力。但它不能單獨行動。

國家創新必然取決于機構參與者在一個共享的生態系統中進行合作。出于這個原因，一個協調的加拿大國家統計局將需要在推動長期創新的過程中，人們和機構之間的技術和信息的相互流動。鑒于EDT的許多創新是由工業界主導的，推進公私伙伴關系對加拿大軍隊的發展至關重要。對于國防部/加拿大空軍來說，要推進適合數字時代的軍隊，政府、工業界和學術界將需要以更綜合的方式進行合作。

建立一個強大的加拿大創新生態系統將意味著更廣泛的公私合作和持續的知識和資源的再培訓、培訓和孵化。盡管開發尖端人工智能需要人力資本投資，但大多數人工智能應用現在可以通過開源許可獲得，即使核心學習算法可以在公共平臺和整個學術生態系統中獲得。這種 "開放一切 "環境的影響是對封閉的等級制度和深思熟慮的官方機構的實質性挑戰。

政府程序和規劃將需要適應加速的創新生命周期，以配合EDT積極的淘汰周期。除了與網絡技術相關的巨大的不對稱安全風險外，向數據驅動型軍隊的轉變將需要大量關注數據安全和數據治理。與進行傳統的國家間沖突所需的大量成本和規劃不同，網絡攻擊的破壞性影響可以由僅有一臺個人電腦的小團體對關鍵基礎設施發動。鑒于未來不斷增加的挑戰，大型官僚機構（公司、政府、學術和軍事）的設計變化是不可避免的。

除了對新的和不同的知識、資源和專長的需求，加拿大政府和加拿大軍方將需要平衡硬實力和不斷變化的地緣政治格局的需求。在美國占主導地位的時代之外，二十一世紀正被一個以技術民族主義和后布雷頓森林體系為特征的多極體系所塑造。面對一個快速發展的數字時代，國際合作將是確保和平與安全的關鍵。信息共享、專家會議和多邊對話可以幫助世界各民族國家及其軍隊更好地了解彼此的能力和意圖。作為一個全球中等國家，加拿大可以成為推動這一努力的主要伙伴。

國際治理創新中心（CIGI）

國際治理創新中心（CIGI）是一個獨立的、無黨派的智囊團，其經同行評議的研究和可信的分析影響著政策制定者的創新。其全球多學科研究人員網絡和戰略伙伴關系為數字時代提供政策解決方案，目標只有一個：改善各地人民的生活。CIGI總部設在加拿大滑鐵盧，得到了加拿大政府、安大略省政府和創始人吉姆-巴爾西利的支持。

引言

軍事規劃人員往往只關注個體能力的發展，而不考慮他們如何與國家其他部隊協同工作，更不用說盟軍了。與任何優秀的交響樂團一樣，協調這些能力需要一個世界級的指揮家。指揮和控制（C2）系統及其操作員在軍事上相當于指揮家的角色。直觀地說，改進的C2系統可以提高作戰效率和效力，相當于交響樂團更迅速地演奏，并努力爭取完美的表演。然而，什么才是真正的C2改進，如何評判這種改進？是不是簡單地說，如果在戰略層面的成本/效益比得到改善，同時控制相同的效果交付工具，就可以認為新的C2系統更好，還是改進涉及更多的方面？這種改進的主要因素可能是整體速度的提高和友軍減員的降低。假設兩個相互競爭的系統在戰術層面上一對一的公平決斗的結果是相對統計學上的拋硬幣，這種公平的平衡需要受到從戰術層面到戰略層面所獲得的優勢影響。下面將探討一些選項的好處及弊端。

態勢感知

一種扭曲平衡和改善單個系統交付效果的方法是實現比對立系統更好的態勢感知 (SA)，這應該能夠實現優化和更快的決策。這就要求在每個過程（如計劃、部署、交戰）中都能及時獲得所有必要的信息，以創造優勢。這通常也被稱為信息優勢。北約及其國家可利用來自各個領域的大量主動和被動傳感器（包括技術和人力），產生了大量的數據。接下來的步驟是將數據轉換為信息，然后可能轉換為知識，接著是將其傳播給所需的用戶。假設國家來源的數據和信息的持續共享，需要決定什么可以、將必須被傳遞，以及傳遞給誰。在傳輸之前，知識到信息的轉換需要信任，但也需要在為多個用戶服務時利用較少的帶寬以節省時間。應用于數字內容的信任有時被稱為電子信任。然而，這減少了地方指揮官/操作者進行背景分析的選擇，這反過來又強調了對數據/信息真實性的需求。此外，可用的數據/信息越多，就越需要確定 "什么是相關的 "以創造優勢。實際上，這只能在接近收集點時進行，除非客戶確切知道他實際需要什么。隨著可用材料數量的不斷增加，再加上通過現有網絡分銷的瓶頸，這種可能性變得越來越小。此外，隨著數據量的增加，對計算機化分析支持的實際需求也在增加，這對于檢測、分類、識別和相關數據的分類都是如此。這就是不斷發展的人工智能（AI）、大數據、深度學習和量子計算等領域可以幫助提高速度和效率的地方。

這種增強的效率也有其缺點。我們不僅要思考和處理新類型的錯誤信息，因為它對人工智能的意義與對人類操作者的意義不同，而且還需要對錯誤信息的潛在最終接受者進行相應的培訓。人類的決策過程基于兩種類型的推理：1）更耗時的深思熟慮的推理；2）常規決策的自動推理。研究表明，人類在與自動化系統互動時，傾向于使用更多的自動推理。系統越快，操作者就越不可能慎重推理。關于殺手機器人的辯論圍繞著自動或自主決策展開，在使用致命武力時缺乏有意義的人類控制。這可以通過將這些決定權留在人類手中來避免。然而，如果操作者沒有經過良好的訓練，在某些情況下，結果可能沒有什么區別。

以地基防空和導彈防御（SBAMD）系統為例，外部提示數據允許優化排放控制，因此，輻射檢測較晚，電子對抗措施較少。這也支持優化攔截點和采用先進的火力控制概念，如遠程交戰或發射。然而，在伊拉克自由戰中，SBAMD部隊發生了幾起自相殘殺事件后，美國國防部的一份報告指出有三個不足之處，導致了這些有時是致命的情況。首先，關鍵的識別系統表現不佳；其次，防空系統嚴重缺乏安全保障；第三，SBAMD的作戰概念與實際作戰條件不符，但操作人員卻被訓練成信任該系統。這支持了這樣一種觀點，即技術方案需要與作戰要求同時進行，最重要的是，需要進行充分的培訓。

多域環境中的系統體系

軍事行動的總體效果取決于所使用的能力和其使用的方式。加強其中之一肯定會改善結果。然而，僅僅優化現有的能力和程序以達到必要的效果會有局限性，例如技術上的限制或程序上的不足。這可能需要開發全新的方法或能力。最后，新方法或性能力需要提供預期的效果，同時保持對突發情況的穩健。

一對一或一對多的交戰是每一次軍事對抗中的單個拼圖，然而，總體目的是在使用軍事力量時實現預期的最終戰略狀態。除了單個系統的有效性，軍事行動的藝術是協同使用選定的軍事力量以創造整體優勢。在作戰/戰術層面，目標是盡可能地協同使用各個系統。近幾十年來，顯著增加的態勢感知（SA）使軍事行動從更注重消耗的方法轉向更注重效果的方法。此外，軍事力量網絡化的能力使聯合和合成作戰越來越有活力。在目前的北約作戰中，一個聯合部隊分部領導各個領域的組成部分（如聯合部隊航空分部），這些組成部分在各自的領域提供能力。例如，這就需要聯合部隊對目標和受保護的資產進行強有力的聯合協調，同時仍然采用以領域為中心的方式來關注效果交付本身。在這方面，一個由空中部門領導的SBAMD單位可以為陸地部門要求的資產提供掩護，或者為攻防一體化接受陸地或海軍的支持。盡管進行了聯合協調，但領域規劃仍主要停留在領域分部層面。獲得優勢的一種方法是比對手的規劃周期更快規劃和執行，不讓對手有機會獲得最佳執行。我們所有可用的效果，將有助于把問題空間轉化為我們所期望的最終狀態，可以被視為解決方案空間，整體SA越好，軍事規劃者就越能定義和理解問題空間。當從效果方面考慮時，需要最大限度地提高應用某種方法或能力的預期成功幾率。有兩種方法可以實現這一點：使用新的武器，如高超音速滑翔飛行器，通過利用對手的能力差距來保證高成功概率，或者通過結合一個或多個領域的各種能力來削弱有效的反制措施。每一個交付的效果都會改變我們的問題空間，從而對我們的規劃產生后續影響。目前，空戰和相關的空中任務指令通常以72小時為周期進行規劃和執行，以便適應問題空間的變化。在現有網絡和現代軟件工具的支持下，通過在聯合層面上對問題和解決方案空間的最佳認識，這一過程可以被簡化，以減少規劃周期長度，并包括更有力地利用多個領域能力來實現一個目標的解決方案，而不需要廣泛的協調。

此外，在多效應任務中，支持單位和被支持單位之間的關系應該變得更加靈活，因為所選擇的指揮關系結構可以是臨時的、取決于效應的，而不是以任務為中心的長期關系。這種更加集中的規劃和分布式的執行，將進一步把領域內的組成部分轉變為主要是能力保管者和效果提供者。軍事決策空間將在C2層次中向上移動，最低級別的軍事實體規劃成為強大效果的提供者或貢獻者，而強大必須從多領域的角度來定義。這可能也會影響到哪些國家以及如何向北約作戰派遣部隊，因為臨時的、靈活的部隊規劃可能會受到國家紅牌持有者概念的阻礙。對于戰術層面的執行，變化的程度取決于戰術能力在影響戰斗空間和提供更廣泛效果方面的通用性。高度機動的航空資產，特別是那些擁有各種有效載荷的資產，可以比以前更加靈活和有效地使用。一般來說，SBAMD系統將大大受益于改進的SA，導致優化的射擊和排放控制理論，更好的分層防御的射擊管理和整體上更好地利用防御庫存。然而，單位的機動性水平將對靈活使用決策的附加值產生重大影響。長程SBAMD部隊的機動性相對較低，這將不允許非常快速的長距離重新部署以應對臨時的任務變化。然而，短程SBAMD部隊具有較高的機動性，將能夠以更靈活的方式提供覆蓋。在聯合層面上，隨著SA的大幅增加以及規劃和執行工具的增強（如AI功能），有可能使類似于全域聯合作戰的結構成為現實。反過來，這可以使規劃到執行的周期更快，讓對手陷入多域的困境，并集中精力采用基于效果的方法來實現預期的最終狀態。盡管聽起來很有希望，但這種方法至少有兩個必須考慮的弊端。

弊端：C2依賴技術結構

在新技術成就的基礎上發展新的C2結構并不是一個原創的想法。我們可以假設我們的潛在對手正在研究類似的概念，同時他們也在加快作戰節奏。保持足夠的SA以充分了解問題空間將變得更加復雜。此外，我們的決策周期必須不斷加快，以便能夠向對手的規劃過程注入影響。由于在處理速度方面，使用人類操作員本身就是一個限制因素，新的C2結構必須越來越多地依賴技術解決方案。這可能會導致軍事上的技術奇點、戰場奇點，即人類的認知不再能跟上機器的速度。因此，在計算機、人工智能或深度學習的幫助下開始加速未來戰爭的進程，我們必須意識到對整個進程的后果。此外，我們的倫理和司法框架也必須解決這個難題。暫時讓我們考慮一下，這個挑戰是可以應對的，并創造一個未來戰爭可行的C2結構。人類行為者/操作者，從政治/戰略層面到戰術層面，都需要適應并訓練在這樣的環境中發揮作用。以快節奏、多領域的效果來思考問題，需要專業的、有能力的人員。由于從工程角度來看，針對現有能力的開發比較容易，因此可以假設未來的對手會設計一些方案來中斷或否定這種新環境。例如，對手可以使用量子計算來破譯我們的安全通信，這將大大影響數據/信息的可用性、可信賴和保密性。因此，需要準備、提供和演練一項應急計劃。這個應急計劃不僅需要提供用于規劃、執行和通信的后備技術，而且還需要保持熟練掌握未來和當前C2結構的人員能力。由于軍事設備和可用時間有限，這可能成為資源管理的一個挑戰。目前的一個例子是我們對定位、導航和定時（PNT）系統的依賴，如全球定位系統（GPS）。因此，士兵們需要能夠利用PNT的好處，認識到干擾的可能性，但也要保留在沒有GPS的情況下執行任務的能力。在SBAMD領域，GPS干擾的一個很好的例子是，在沒有PNT服務的情況下，要準確安置傳感器和射手以進行正確的交戰，并提供一個明確的空中畫面。因此，有無GPS的兩種方法都必須不斷地進行實踐。然而，在未來復雜的C2系統中，對技術解決方案的依賴程度越來越高，也有類似的問題。整個系統需要準備好在任何情況下都能發揮作用。未來C2結構的基礎技術越強大，從核心（如情報、監視和偵察平臺或規劃/執行工具）到使能系統（如通信網絡或PNT）都包括在內，我們就越不需要考慮遺留問題；但這將是昂貴和費時的。系統的穩健性被定義為在特殊輸入或壓力條件下的正常運行，只能針對目前可以想象的所有條件和輸入進行測試。因此，穩健性需要不斷地重新評估和不斷地維護，特別是在一個快速發展的環境中。

結論

技術創新一直使軍事戰爭得到改進。然而，若僅僅因為技術上是可行的，這并不意味著它可以被輕松地納入，或沒有副作用。優化的SA和更有能力的工具總是能讓我們更好更快地規劃和執行。然而，這種能力需要在所有預期的情況下盡可能地強大，并有適當的后備方案作為支持。所有人員都必須在這兩個世界中得到充分的教育和訓練，并能夠在兩者之間無縫切換。此外，由于技術支持而提高的軍事行動速度，必須在道德和法律框架內與人的能力保持平衡。系統越是復雜，就越需要強調在不斷發展的環境中保持穩健和彈性。這不是一次性采購C2工具包的問題，而是系統的不斷發展和對各級操作人員進行必要的教育和培訓。給管弦樂隊一些新的樂器或新的指揮，肯定需要微調、持續的排練和真正的表演審查，總是有一個后備選項來復制熟悉的質量標準以滿足聽眾的期望。

然而，在選擇進化我們的C2系統的道路上，沒有真正的選擇，因為潛在的對手也會這樣做，從而有可能獲得決定性的、難以匹敵的優勢。潛在的專制對手在使用新興技術（如人工智能、深度學習）方面的法律和道德約束可能要少得多，因此可以不受限制地發揮這些能力。因此，我們的系統不僅需要跟上這一步伐，還需要有能力用其他手段彌補使用限制，讓我們保持競爭力。

作者：

安德烈亞斯-施密特中校：1993年加入德國空軍。在軍官學校學習后，他在慕尼黑的德國武裝部隊大學學習計算機科學。自1998年以來，他在地基防空，特別是 "愛國者 "武器系統方面建立了廣泛的背景。他開始擔任戰術控制官，隨后在不同的 "愛國者 "部隊中擔任偵察官、炮臺執行官和炮臺指揮官。此外，他在德克薩斯州的布利斯堡有兩個不連續的任務。他第一次任務的主要是為德國PATRIOT辦公室進行戰術層面的武器系統行為的美國和歐盟雙邊研究。在他的第二次任務中，他是德國空軍防空中心的綜合防空和導彈防御的主題專家（SME）。在這之間，他曾在前空軍分部擔任A3C的任務。目前，他是JAPCC的綜合防空和導彈/彈道導彈防御SME。

總結

美國防部（DOD）正在對其指揮軍事力量的方法進行現代化改造。國防部高級領導人已經表示，現有的指揮和控制架構不足以滿足2018年國防戰略（NDS）要求。全域聯合指揮與控制（JADC2）是國防部的概念，將所有軍種--空軍、陸軍、海軍陸戰隊、海軍和太空部隊的傳感器連接到一個網絡中。

DOD指出，用Uber共享服務來比喻其對JADC2的期望最終狀態。Uber結合了兩個不同的應用程序--一個是乘客，另一個是司機。使用各自的位置，Uber算法根據距離、旅行時間和乘客（以及其他變量）來確定最佳匹配。在JADC2的情況下，這種邏輯將找到攻擊特定目標的最佳武器平臺，或應對新出現威脅的最佳單位。為了使JADC2有效工作，DOD正在追求三種新的或新興的技術：自動化和人工智能、云環境和新的通信方法。

DOD的一些機構和組織參與了與JADC2相關的工作。下面的清單突出了與JADC2開發有關的部分組織和項目：

• 國防部首席信息官：第五代（5G）信息通信技術。

• 國防部長辦公室（研究與工程）：全網絡化指揮、控制和通信（FNC3）。

• 國防高級研究計劃局：馬賽克戰爭。

• 空軍：高級戰斗管理系統（ABMS）。

• 陸軍：項目融合（Project Convergence）。

• 海軍：項目超配（Project Overmatch）

隨著國防部開發指揮和控制軍事力量的新方法，國會可能會考慮幾個潛在的問題：

• 國會如何在驗證需求或成本估算之前考慮JADC2的相關活動？

• 在沒有正式的計劃或預算申請的情況下，國防部為JADC2的預算是多少？

• JADC2的支出重點是什么，是否有國防部可能沒有投資的舉措？

• 國防部如何確保每個軍種和盟國的通信系統之間的互操作性？

• 國防部應如何優先考慮其未來網絡中相互競爭的通信需求？

• 人工智能將在未來的指揮和控制決策系統中發揮什么作用？

• 為了滿足JADC2的要求，有哪些潛在的部隊結構變化是必要的？

• 國防部應如何管理與JADC2相關的工作？

1 什么是JADC2

全域聯合指揮與控制（JADC2）是美國國防部（DOD）的概念，即把所有軍種--空軍、陸軍、海軍陸戰隊、海軍和太空部隊的傳感器連接成一個網絡。傳統上，每個軍種都開發了自己的戰術網絡，與其他軍種的網絡不兼容（例如，陸軍網絡無法與海軍或空軍網絡連接）。通過JADC2，國防部設想建立一個 "物聯網"網絡，將眾多傳感器與武器系統連接起來，利用人工智能算法幫助改善決策。

DOD官員認為，未來的沖突可能需要領導人在幾小時、幾分鐘或可能幾秒鐘內做出決定，而目前分析作戰環境和發布命令的過程需要數天時間。國防戰略（NDS）委員會報告的非保密概要指出，目前的C2系統與潛在的同行競爭對手相比已經"惡化"。國會可能對JADC2概念感興趣，因為它正被用來制定許多高調的采購計劃，以及確定美國軍隊對潛在對手的有效性和競爭力。

圖 1. JADC2 的概念愿景

JADC2設想為聯合部隊提供一個類似云的環境，以共享情報、監視和偵察數據，在許多通信網絡中傳輸，從而實現更快的決策（見圖1）。JADC2打算通過收集來自眾多傳感器的數據，利用人工智能算法處理數據以識別目標，然后推薦最佳武器--包括動能和非動能武器（如網絡或電子武器）--來打擊目標，從而幫助指揮官做出更好的決策。

DOD指出，用Uber共享服務作為類比來描述其對JADC2的期望最終狀態。使用各自的位置，Uber算法根據距離、旅行時間和乘客（以及其他變量）來確定最佳匹配。然后，該應用程序為司機提供指示，讓他們按照指示將乘客送到目的地。Uber依靠蜂窩和Wi-Fi網絡來傳輸數據，以匹配乘客并提供駕駛指示。

一些分析家對JADC2采取了更加懷疑的態度。他們對JADC2的技術成熟度和可負擔性提出了疑問，以及是否有可能在一個致命的、充滿電子戰的環境中部署一個能夠安全可靠地連接傳感器和射手并支持指揮和控制的網絡。分析人士還詢問誰將擁有跨領域的決策權，因為傳統上，指揮權是在每個領域內而不是從整體戰役的角度下放的。

什么是指揮與控制？C2的維度和人工智能的影響
人們可以通過五個問題來看待指揮和控制：誰、什么、何時、何地和如何。傳統上，國會通過兩個不同但相關的問題來關注指揮與控制：權力（"誰"）與技術（"如何"）。
國會傳統上關注的第一個問題反映了指揮官執行行動的權力。這一討論的重點是指揮系統，反映了負責組織、訓練和裝備美國部隊的軍種與有權在國外使用部隊的作戰司令部之間的差異。這個問題可以用一個問題來概括："誰指揮部隊？"
第二個問題是使指揮官能夠做出這些決定并將其傳遞給戰場的技術方面。指揮、控制、通信（C3）、C3加計算機（C4）以及情報、監視和偵察（ISR）等術語進入了討論。指揮和控制的這一技術問題著眼于指揮官用于決策的數據（和收集方法）（即ISR是促成決策的數據），將數據轉化為信息的處理能力，以及使指揮官將其決策傳達給地理上分布的部隊系統。這種指揮和控制的技術方法可以概括為："你如何指揮部隊？"
指揮和控制的其他動態回答了其他問題：哪些系統和單位被指揮（什么），時間方面（何時），以及地理方面（何處）。國會在歷史上對這些問題中的每一個都是在具體的，而不是一般的問題上表示了興趣。例如，國會沒有考慮一般用途的部隊，而是關注與核部隊和特種作戰相關的權力問題。與核和網絡戰的快速反應相關的指揮和控制問題，以及在有限的程度上與電磁頻譜戰相關的問題，這些都是及時性問題，引起國會關注的其他領域。
關于 "何時"，國會已表示對與核和網絡戰的快速反應有關的指揮和控制感興趣，并在有限的程度上對電磁頻譜戰感興趣。然而，對 "何時"的最大敏感度似乎更側重于戰術（例如，何時讓飛機進入目標，何時開始對建筑物進行攻擊）；這些決定往往被授權給指揮官。最后，地理因素對指揮美軍提出了獨特的挑戰；只要行政部門和國會繼續支持全球國家安全戰略，地理決策在很大程度上代表了戰術問題，往往被授權給各個指揮官。
圖2. 指揮與控制的維度和人工智能的影響
圖2描述了這些問題是如何通過引入人工智能（AI）來優化各方面的結果。隨著編隊復雜性的增加--特別是為全域聯合作戰設計的編隊，控制這些部隊有可能超越人類的認知能力，并使用算法來幫助管理這些部隊。美國軍方表示，它打算讓人類參與整個決策過程，但隨著美國軍隊將更多的人工智能技術引入其決策機構，各方面的區別開始變得模糊不清。例如，"誰"和 "如何"開始變得相似，特別是當計算機或算法向指揮官提出建議時，他們可能不了解信息或產生建議的過程。
人工智能還可以影響指揮和控制的其他方面，包括 "什么"、"什么時候 "和 "在哪里"。將 "什么 "和 "哪里 "這兩個要素結合起來，可以挑戰對手尋找和與美國部隊交戰的能力；這樣做也可以挑戰指揮官及其參謀部在沒有系統幫助管理復雜情況下保持對部隊的控制能力。從 "何時 "的角度來看，需要快速決策的行動，特別是電磁頻譜戰或網絡戰，可能超過人類的決策能力。這就提出了一個重要的問題，即指揮官能在多大程度上信任人工智能，以及人類作戰員需要理解人工智能系統為什么建議采取特定行動。

2 為什么要改變當前的 C2 結構？

DOD目前使用戰斗空間的不同部分來執行C2--主要是沿著確定的軍事領域：空中、陸地、海上、太空和網絡空間。這種結構的存在是因為傳統的威脅來自單一系統，如飛機和坦克編隊。作為回應，軍方開發了高度復雜（但昂貴）的傳感器來監視戰斗空間，向集中式指揮中心（如空中作戰中心或陸軍指揮所）提供信息。E-3高級預警和指揮系統（AWACS）和E-8聯合監視目標攻擊雷達系統（JSTARS）等系統經過優化，為這些中央前哨的指揮官提供態勢感知，然后他們可以在那里指揮軍事力量。

2018年國防戰略（NDS）、審查它的 NDS 委員會和其他來源闡述的未來作戰環境描述了潛在對手如何發展復雜的反介入/區域拒止 (A2/AD) 能力（見圖 3）。這些能力包括電子戰、網絡武器、遠程導彈和先進的防空系統。 美國競爭對手將 A2/AD 能力作為對抗美國傳統軍事優勢（例如投射力量的能力）的一種手段，并提高他們贏得快速、決定性交戰的能力。

圖 3. A2/AD 環境的可視化

美國防部高級領導人已經表示，在未來的作戰環境中，獲取信息將是至關重要的。此外，這些領導人還表示，為了挑戰潛在的同等對手，需要采取多領域的方法（美國部隊將使用地面、空中、海上、太空和網絡力量來挑戰對手的目標計算）。因此，全領域聯合作戰的概念為指揮官提供了獲取信息的機會，可以利用突襲進行同步和連續的行動，并在所有領域快速和持續地整合能力，從而獲得物質和心理優勢以及對作戰環境的影響和控制。

空中陸戰概念設想將空軍和陸軍的努力結合在一起，在20世紀80年代對抗蘇聯，自該概念提出以來，技術上的進步使美國防部能夠繼續發展全領域聯合作戰的概念。這些技術進步包括增加了攻擊目標的方法（包括電子和網絡手段），相對低成本的傳感器的擴散，以及將這些傳感器的數據轉化為信息的處理能力的提高。維持對所有領域行動的控制所面臨的挑戰是，美國的軍事C2機構并不是為做出這些類型的決定而組織的，26而且正在使用的技術的復雜性和速度可能超過人類的認知能力。

指揮與控制是如何演變的？
美軍傳統的指揮和控制概念源于德軍的 "任務型命令"（auftragstaktik）。認識到軍事行動中的混亂和 "戰爭迷霧 "是不可避免的，下級指揮官被委托半自主地行動以實現其指揮官的意圖（即任務的總體目標），而不是有預先規定的行動。情報來源和偵察的信息需要很長的時間，甚至可能需要幾天才能到達指揮官手中。為了保持對部隊的控制，指揮官們依靠無線電通訊和紙質信件。有限的信息量使得指揮官可以在兩個方面指揮部隊--使用單一的領域來應對對手的行動。
在冷戰的高峰期，蘇軍給軍事力量提出了一個新的問題：如何對抗一支數量上占優勢的坦克部隊。為了應對這一威脅，陸軍和空軍提出了一種新穎的方法，通過開發新技術來確定增援地點，將空中和陸地力量結合起來。這一概念被稱為 "空地戰"。這種三維方法試圖利用情報、監視和偵察方面的優勢，"深入觀察"，將火力集中打擊增援部隊（即 "深入打擊"）。為了支持這種利用深度打擊來防止增援部隊的設想，美軍需要改進指揮所，以提高指揮部隊的決策速度，同時仍然保持遵循指揮官意圖的傳統。這種需要導致了新系統的開發，如JSTARS和ATACMS。這些系統使指揮官能夠更快地了解戰斗空間，并提高對敵軍直接開火的反應時間。
在過去的20年里，中國和俄羅斯觀察了美國的戰爭方法，確定了挑戰美國優勢的不對稱方法。中國的軍事現代化尤其注重防止美國建立大量的戰斗力（限制后勤），增加高價值飛機（油輪、間諜飛機、指揮和控制飛機）的風險，并增加其海軍足跡（限制美國的海軍優勢）。為了應對這些新威脅，國防部最初提出了使用多域作戰的想法（后來過渡到全域作戰一詞）。國防部認為，使用一個或甚至兩個維度來攻擊對手是不夠的，因此挑戰對手的目標計算需要更復雜的編隊（額外維度）。國防部認為，不斷增加的復雜性，加上應對新興技術威脅的時間可能減少，需要新的方法來管理部隊。
圖4. 指揮和控制的復雜性的變化

3 JADC2-賦能技術

在國防部發展JADC2概念的過程中，有三類技術在這種指揮和控制軍事力量的方法中起著不可或缺的作用：自動化、云環境和通信。

3.1 自動化與人工智能

許多DOD高級領導人已經明確表示，JADC2是一個概念（或許是一個愿景），而不是任何具體的計劃。在2021年1月的一篇文章中，聯合人工智能中心主任Michael Groen中將說："JADC2不是一個IT（信息技術）系統，它是一個作戰系統。從歷史上看，你會有一個大型的國防項目，你會花數年時間來完善需求，你會收集大包大包的錢，然后你會去找國防承包商，花更多的時間來建造、測試，然后在多年后最終投入使用"。在這篇文章中，Groen中將描述了人工智能（AI）的作用，以及延伸到數據和數據結構的作用，使這些算法能夠為指揮官提供信息。根據Dennis Crall中將（聯合參謀部指揮、控制、通信和計算機/網絡首席信息官[JS J6]主任）的說法，人工智能和機器學習對于實現JADC2至關重要。Dennis Crall說道："JADC2是關于將所有這些自動化....。它是關于利用傳感器豐富的環境--查看數據標準等事情；確保我們可以將這些信息轉移到一個我們可以正確處理的區域； 帶來了云；帶來了人工智能、預測分析；然后用一個能夠處理這些的網絡來支撐所有領域和合作伙伴。"

3.2 云環境

DOD表示，擁有多分類的云環境對于實現JADC2是必要的。DOD設想，用戶能夠根據他們的需要和信息要求，在不同的分類下訪問信息。在2021年6月的新聞發布會上，克拉爾中將說，"戰術邊緣 "的云能力是用于數據存儲和處理，實現人工智能算法。作為一個例子，空軍討論了其高級戰斗管理系統（ABMS）項目對云環境的需求--空軍部對JADC2的貢獻，這將在下文討論。根據空軍的預算說明，ABSM將需要一套云系統、應用程序（即軟件）和網絡（包括商業和政府擁有的），這將 "了解環境并應用由人工智能和機器學習輔助的先進算法"。

3.3 通信

根據DOD的說法，開發JADC2將需要新的通信方法。DOD目前的通信網絡已經為中東地區的行動進行了優化。因此，DOD使用衛星作為與海外部隊通信的主要方法。這些系統面臨著延遲（時間延遲）問題，并且在設計上不能在有電子戰的情況下有效運行。這些舊的架構依賴于地球同步軌道上的衛星，這些衛星在地球上空大約22200英里（35800公里）處運行。新的應用，如人工智能，將有可能需要額外的數據速率，而目前的通信網絡可能無法支持--特別是當DOD增加傳感器的數量，以提供額外的數據來改進算法。自主系統的引入，如海軍的大型無人水面和海底航行器，以及陸軍對機器人飛行器越來越感興趣而產生的系統，可能需要安全的通信和短時延來維持對這些系統的控制。

4 目前開展的JADC2相關工作

聯合參謀部是負責制定全域聯合指揮與控制概念戰略的國防部組織。此外，還有一些正在進行的研究和努力與JADC2概念有關。每個軍事部門（陸軍、海軍、空軍）以及國防部機構，如國防高級研究計劃局（DARPA）和負責研究和工程的國防部副部長辦公室（OSD[R&E]），都在開發技術和概念。以下各節簡要介紹一些組織的工作。

4.1 聯合參謀部 J6：JADC2 戰略

國防部負責制定JADC2戰略的領導機構是聯合參謀部J6指揮、控制、通信和計算機/網絡局。JADC2戰略最初的設想是改善聯合部隊的互操作性（例如，確保無線電系統能夠相互通信），后來擴大了這一重點，制定了一種信息共享方法，通過為決策提供數據來實現聯合行動。除了制定戰略，J6還組織了一個JADC2跨職能小組，各軍種和國防部機構通過該小組協調他們的實驗和計劃。這與國防部數據戰略和國防部副部長創造數據優勢的努力相一致。該戰略確定了五條工作路線以實現JADC2框架：

1.數據組織

2.人力組織

3.技術組織

4.核指揮、控制和通信（NC3）

5.任務伙伴信息共享

在2021年6月4日的新聞發布會上，克拉爾中將表示國防部長奧斯汀已經批準了JADC2戰略。

4.2 OUSD研究與工程（R&E）：完全網絡化的指揮、控制和通信（FNC3）

根據R&E辦公室的說法，"FNC3確定、啟動和協調指揮、控制和通信關鍵使能技術的研究、開發和降低風險活動。這些活動將包括整個國防企業不同但相互關聯的努力，由FNC3在OUSD（R&E）的工作人員監督和同步進行。" FNC3的主要負責人邁克爾-扎特曼博士描述了FNC3的整體愿景，包括三個層次--物理層、網絡層和應用層--它們為開發指揮、控制和通信系統提供了一種量身定做的方法，與商業部門的最佳實踐相一致。物理層代表無線電和發射器本身，而網絡層則通過開發國防部優化的新興商業軟件定義網絡技術（如網絡切片）來管理應用對物理層的訪問。所有這三層都旨在提高互操作性和彈性（即防止網絡被干擾或中斷的能力），并為每個應用提供適當的服務質量。

根據扎特曼博士的說法，FNC3是JADC2的中長期技術愿景，而每個部門（在以下章節中概述）都有專注于發展近期采購戰略的引人注目的努力。例如，空軍部的先進戰斗管理計劃旨在通過關注成熟技術在未來三年內部署。OUSD R&E利用其投資組合中不太成熟的技術，包括由DARPA、國防創新部門、戰略能力辦公室、各部門和其他部門開發的技術，為實施JADC2提供長期的技術手段。

4.3 DoD CIO：5G技術

國防部提出，5G無線技術的商業進展提供了傳輸更多數據（通常稱為數據吞吐量）和更低延遲的能力。國防部認為，它需要這些能力來處理來自眾多傳感器（如衛星、飛機、船只、地面雷達）的更多數據，并在 "邊緣"（與無線電接收器在同一地點）處理這些信息。5G技術的另一個方面可以實現新的指揮和控制概念，即動態頻譜共享。隨著電磁頻譜變得更加擁擠，聯邦政府已經開始允許多個用戶在同一頻段上運行（稱為頻譜共享）。國防部首席信息官認為，頻譜共享技術允許通信系統在有干擾的情況下傳輸和接收數據。2020年9月，國防部CIO向工業界發出了一個信息請求，即如何對待動態頻譜共享。2021年1月21日，已經公布了67份對信息請求的回應。

4.4 DARPA：馬賽克戰

馬賽克戰爭代表了一系列由DARPA贊助的項目，旨在利用人工智能將傳統上不被設計為互操作的系統和網絡相結合。從概念上講（見圖5），這些項目將能夠利用從衛星上收集的原始情報，并將這些數據轉化為傳遞給 "射手 "的目標信息--在這種情況下，網絡武器、電子干擾器、導彈、飛機或任何其他可能影響預期目標的武器。正如哈德遜研究所的分析家布萊恩-克拉克和丹-帕特所解釋的那樣，"馬賽克戰爭 "試圖將多種重疊的困境強加給敵軍，擾亂他們的行動，從而阻止他們及時到達目標。

圖5：DARPA的馬賽克戰愿景

DARPA的馬賽克計劃之一，稱為異質電子系統的技術集成工具鏈（STITCHES），已被用于空軍和陸軍的實驗。據DARPA稱，STITCHES是一種軟件，旨在通過自主創建允許低延遲和高吞吐量的軟件，快速整合任何領域的通信系統，而無需升級硬件或修改現有的系統軟件。根據空軍的一份新聞稿，該部門已在幾個高級戰斗管理系統的 "上線 "中測試了該技術，并已開始將該計劃從DARPA過渡到空軍部。

4.5 空軍部：高級戰斗管理系統（ABMS）

高級戰斗管理系統最初的設想是取代E-8聯合監視和目標攻擊雷達系統（JSTARS）。空軍在2019年將ABMS項目從開發飛機或雷達之類的東西過渡到 "數字網絡環境，連接所有領域和每個梯隊的作戰能力，以實現全球決策優勢。" 換句話說，空軍從建立一個支持指揮和決策的平臺（如E-8 JSTARS）轉向建立一個安全的、"類似云"的環境，利用人工智能和預測分析為指揮官提供近實時數據。根據空軍的說法，ABMS項目將沿著六條產品線開發能力：傳感器集成、數據、安全處理、連接、應用和效果集成。

空軍已經舉行了三次 "on-ramps"（空軍用來描述演示的術語），以展示其ABMS的方法。2019年12月舉行的第一次on-ramps，展示了該部門從F-22戰斗機使用的安全通信向陸軍和海軍系統傳輸數據的能力。第二次上線使陸軍榴彈炮能夠擊落一枚代用巡航導彈。此外，空軍向美國北方司令部提供了這種 "類似云 "的零信任平板電腦--一種不在設備上存儲敏感數據的安全功能，以協助其在2020年春季應對COVID大流行。

2020年11月，空軍部確定了首席架構師辦公室，負責評估架構上線和整合企業數字架構。同時，空軍確定空軍部快速能力辦公室為ABMS整合項目執行辦公室。快速能力辦公室的工作重點是快速向現場交付項目，它的參與可以被看作是將ABMS從實驗轉向系統開發。

4.6 陸軍部：項目融合（Project Convergence）

根據陸軍的說法，"項目融合是陸軍圍繞一系列連續的、結構化的演示和實驗而組織的新的學習活動"，旨在應對JADC2所帶來的挑戰。

1.確保陸軍擁有合適的人員和人才；

2.將當前的陸軍現代化工作與陸軍未來司令部的跨職能團隊聯系起來，并與陸軍現代化的六個優先事項保持一致；

3.擁有合適的指揮和控制，以應對節奏越來越快的威脅；

4.利用人工智能分析和分類信息，并在陸軍網絡中傳輸；

5.在 "最嚴峻的地形 "中測試能力。

項目融合2020在三個軍事設施中使用了大約750名士兵、平民和承包商，最終在亞利桑那州的尤馬試驗場進行了兩次現場頂點演習。在這次演習中，陸軍展示了幾種技術，包括人工智能、自主性和機器人技術，以測試新的方法來指揮和控制地理上分散的部隊。陸軍計劃將空軍和海軍的系統作為2021年項目融合的一部分，并打算在2022年項目融合中納入外國軍隊。這其中有3370萬美元用于運營和維護，以及7310萬美元用于研究、開發、測試和評估，由陸軍撥款。

4.7 海軍部：項目超配（Project Overmatch）

項目超配是海軍為建立一個 "海軍作戰架構"，將艦艇與陸軍和空軍資產聯系起來而做出的努力。2020年10月1日，海軍作戰部部長吉爾德伊上將責成一名二星上將領導海軍的"項目超配"工作。在他的備忘錄中，吉爾德伊上將指示 "項目超配"采取類似于海軍發展核動力和AEGIS系統的工程和開發方法。其主要目標是 "使海軍能夠在海上形成集群，從近處和遠處、每個軸線和每個領域提供同步的致命和非致命效果。具體來說，你[斯莫爾海軍司令]要開發網絡、基礎設施、數據架構工具和分析。" 在一個平行的努力中，吉爾德伊上將責成基爾比副上將（負責作戰要求和能力的海軍作戰部副部長）制定一項計劃，將無人系統，包括艦艇和飛機，納入海軍作戰架構。根據新聞聲明，海軍打算在2023年達到初始作戰能力（即有能力部署初始系統）。海軍在2022財政年度為 "項目超配 "申請了三個分類項目元素的資金。

在2021年6月舉行的2021年AFCEA西部會議上，吉爾德伊上將討論了項目超配目前的工作。在這次活動中，吉爾德伊表示，自2020年10月項目啟動以來，項目超配已經完成了三個螺旋式發展周期。吉爾德伊進一步解釋說："我們實際上正在試驗一種方式，使我們基本上可以將任何網絡上的任何數據傳遞給作戰人員。這是一個軟件定義的通信系統，使我們能夠以一種前所未有的方式拆開我們所有的網絡"。根據新聞報道，吉爾德表示，他預計在2022年底或2023年初將 "項目超配"的測試規模擴大到一個航母打擊群。

5 國會面臨的潛在問題

以下各節討論了國會的潛在問題，包括需求和成本估算、互操作性挑戰、平衡通信能力、人工智能在決策中的角色，以及實施JADC2所需的潛在部隊結構變化。

5.1 需求和成本估算

美國防部已經為JADC2的相關工作申請了幾個財政年度的資金，特別是在概念的早期發展階段。國防部正在積極制定JADC2戰略，預計將在2021年春季發布。國會中的一些人對國防部沒有像傳統采購項目那樣提供成本估算或驗證需求表示關切。因此，各軍種委員會和撥款委員會已經減少了對這些工作，特別是ABMS和5G研究和開發的要求資金。2021財年國防授權法案（NDAA）要求國防部在2021年4月前為JADC2提出要求。

5.2 國防部對JADC2的潛在資助水平

國防部還沒有正式公布關于JADC2的支出預算數據，該項目在各軍種和國防機構的一些項目中都有資金。根據聯合參謀部J6（JS J6）的說法，JADC2不是一個記錄項目，JS J6也不打算過渡到一個記錄項目。因此，除非國會要求國防部提供JADC2資金的詳細概述，否則國防部可能不太可能這樣做。

一些分析家推測了與JADC2有關的所有項目的年度成本。一位分析家估計，國防部在2022財政年度為與JADC2直接相關的項目編列了大約12億美元的預算。Govini估計，自2017財政年度以來，國防部在JADC2上花費了大約225億美元；這平均每年大約為45億美元。Govini的估計包括其他聯邦機構的資金--如國家航空和航天局（NASA）--以及國防部可能認為與JADC2無關的技術，因此可能高估了JADC2獲得的資金總額。

5.3 JADC2支出優先級

根據JS J6，有五條與JADC2相關的工作線：

• 1.數據組織

• 2.人力組織

• 3.技術組織

• 4.核指揮、控制和通信（NC3）

• 5.任務伙伴信息共享

以數據為中心的方法側重于國防部系統傳輸所需的數據類型和結構，創建一個共同的數據框架，為數據的發送和接收提供一個商定的標準。換句話說，數據的格式化、組織化和結構化的方式影響著數據從傳感器到決策者再到武器的高效和無縫傳輸。另一方面，網絡中心化和互操作性側重于通信標準，如無線電頻率、波形、通信加密等，以確保一個無線電能與另一個無線電通話。通過采用這種方法，JS J6專注于開發軟件應用，以改善指揮和控制。然而，該戰略可能缺少幾個方面，包括：

• 通信系統的硬件和軟件的功能，

• 網絡需要傳輸的數據量，

• 對手的行動對網絡的影響，

• 以及指揮和控制部隊的模塊化。

隨著國防部繼續改革其JADC2概念和要求，其他觀察家也注意到，在JADC2戰略中存在一些沒有被認定的領域，國防部應將其支出主要集中在研究和開發方面。一位觀察家認為，國防部應將其研發支出集中在改善網絡互操作性上。這種方法支持優先升級軍事通信系統，以便在整個聯合部隊中傳輸數據。它建議國防部在軟件和硬件方面投入更多資金，以提高所有類型的數據鏈路和網絡（例如，Link 16、多功能高級數據鏈路、態勢感知數據鏈路以及綜合海上網絡和事業服務）的互操作性。網絡互操作性方法的重點是，創建網絡是困難的；但是，利用軟件定義的網絡和通用電子設備（如類似的芯片架構）可以使每個軍種無縫共享信息。換句話說，這種方法更注重通信網絡的構建方式，而不是在這些網絡內發送數據的組織方式。軟件定義的無線電和網絡使無線電可以很容易地被編程，并因此更容易地相互通信。微電子（即物理硬件）最終定義了無線電的物理和軟件能力。

其他分析家認為，JADC2的支出應更多地集中在改變決策方式上。這一論點強調了通過利用人工智能（AI）實現決策過程自動化的必要性，正如國防高級研究計劃局（DARPA）的馬賽克戰爭概念所設想的。在這種方法中，優先利用人工智能系統的支出（如空軍的STiTCHES計劃），可以建立主要集中在需要傳輸的數據和數據結構的特設網絡。這一論點假設人工智能也可以分析情報、監視和偵察（ISR）數據，以確定人類可能錯過的趨勢，從而向軍事指揮官提出潛在的更好的建議。

其他觀察家認為，優先考慮如何使用和管理電磁波譜的決策對于支持JADC2至關重要。這些觀察家認為，像國防信息系統局的電磁戰管理計劃--旨在利用情報方法評估電磁波譜環境，然后自動決定如何使用頻譜來減輕對手的電子戰影響--對于實現全域指揮和控制是必要的。這些觀察家還認為，對手的電子戰效應將需要近乎即時地被緩解，因此需要一個強大的電磁環境部分（以及自動化），以便在對網絡的潛在攻擊中管理國防部網絡。

5.4 互操作性挑戰

由于國防部設想使用JADC2來同時指揮多個領域的部隊，因此連接不同類型部隊的需求也在增加。國防部擁有并運營著許多通信系統，每個系統都使用不同的無線電頻率、標準和數據鏈，這些系統往往不能相互 "交談"，因此需要一個網關將一種無線電協議 "翻譯 "成另一種協議。盟友和合作伙伴的加入增加了互操作性的挑戰。前國防部副部長邁克爾-格里芬在2020年3月向眾議院軍事委員會情報、新興威脅和能力小組委員會作證時，指出這個問題是繼續為FNC3進行OSD R&E努力的理由。

使國防部能夠共享來自不同部門和單位的信息的挑戰可以通過三種互操作性的方法來解決:

• 網關。通信網關（也許稱為 "翻譯器 "更為恰當）可以接收多種協議、安全級別等，并將這些信息轉播給部隊的其他部門。ABMS計劃已經開發了這種網關（見圖6），以實現通信。這種方法允許信息共享，有可能降低開發成本，因為網關可以是飛機/艦艇/地面系統的一個子系統，有可能能夠相對快速地投入使用。這種方法的挑戰是，這種網關可能沒有使用最先進的，因此也是受保護的波形來轉播給部隊。

圖 6：E-11 戰場機載通信節點 (BACN)

• 新的通信設備。這種方法采用 "自上而下 "的方式（即由OSD或聯合參謀部確定解決方案，然后要求各軍種采用該方案）。使用與聯合戰術無線電系統（JTRS）開發類似的模式，這種方案將購買一個新的通信架構，重點是互操作性。例如，FNC3的努力似乎就是采用這種方法。盡管這種方法可以確保聯合部隊開發的通信系統可以無縫共享信息，而且可能是安全的，但它可能需要大量的投資，并可能遇到時間表的延誤。這種方法的另一個可能的缺點是，隨著系統的投入使用，它們可能對對手的技術不那么有效。

• 開發軟件來創建網絡。第三種方法是使用軟件，使用戶能夠創建自定義網絡。DARPA的 "馬賽克戰爭 "和ABMS計劃的某些方面就是這種方法的例子。與其他互操作性解決方案相比，這種方法更加模塊化，使為特定行動定制的單位和系統能夠相互通信。這種方法的一個主要風險是技術上的不成熟，特別是用于創建這些網絡的軟件。另一個風險涉及到與不同系統共享的信息量和分類，這些系統經過認證，具有不同的保密級別（例如，可釋放的秘密、不可釋放的秘密、最高機密）。

國防部和國會可以選擇這些方法中的一種或多種。一種特定的方法可能提供短期的好處，而國防部則追求一種長期的方法來解決互操作性的挑戰。

5.5 平衡退化環境下的通信能力

國防部為滿足JADC2的要求而開發通信網絡的方法包括三種相互競爭的能力:

• 數據吞吐量（即數據傳輸的速度）

• 延遲（即接收信息/數據的時間延遲）

• 彈性（在自然或故意中斷的情況下保持通信信號的能力）

軍事作戰新技術的興起，如人工智能、戰術數據鏈（如Link 16和多功能先進數據鏈[MADL]）和對手的電子戰能力，為5G和FNC3等未來通信系統平衡這些能力帶來了明顯的挑戰。人工智能和信息戰可能需要大量的數據來實現預測分析，并讓指揮官對戰斗空間有一個準確的了解。與所有可用用戶共享數據的數據鏈并不一定需要高數據速率；然而，數據鏈確實需要低延遲，以確保傳感器能夠證明 "目標級數據"，特別是對于像巡航導彈和飛機這樣快速移動的系統。最后，電子干擾器的擴散需要彈性（或抗干擾性能），以便在被主動干擾時保持通信。圖7說明了在開發新的波形時必須平衡這三個相互競爭的要求（無論該波形是為民用還是軍用而設計）。無線電信號能夠提供每一種能力；然而，優先考慮一種要求意味著其他兩種要求可能會受到影響，這可能會給決策者帶來兩難選擇，即在采購中優先考慮哪些能力。

圖7：平衡通信要求

隨著國防部對其通信系統的現代化改造，它可能會考慮技術特點和限制，以選擇在保護其網絡安全的同時推進任務目標的要求。例如，像5G這樣的技術可以提供高數據容量和低延遲，但目前還不清楚這些信號可能受到對手干擾的影響。另一方面，FNC3的設計似乎是為了提供具有高數據率的彈性；但是，由于它依賴于衛星，延遲將增加。

5.6 人工智能在決策中的角色

人工智能是實現JADC2的一個潛在的關鍵組成部分。隨著人工智能被引入軍事決策中，出現了幾個潛在的問題。首先，人工智能在決策中的作用應該達到什么程度？在使用致命武器時，人類的判斷力需要達到什么適當的水平？

第二，國防部如何確保用于人工智能算法協助決策的數據的安全性？盡管國防部把重點放在了數據結構上，但它沒有討論它計劃如何具體確保JADC2的數據有效性和安全性。錯誤的數據可能導致指揮官選擇損害任務目標的選項（如算法推薦可能浪費高價值彈藥的目標）。與此相關的是，國防部打算如何保護云環境中的這些數據，以防止對手操縱它們？這些安全計劃是否足以防止對手的操縱？

5.7 潛在的部隊結構調整

由于JADC2可能需要不同類型的部隊和武器系統，每個軍種都可能尋求改變其訓練、組織和裝備部隊的方式。例如，海軍陸戰隊在其部隊重新設計中宣布，它將取消它認為不符合國防戰略指導的部隊，并將資金重新投入到其他更適合未來作戰環境的項目中。

現役和預備役部隊的能力平衡是部隊結構調整的另一個方面。例如，陸軍在歷史上決定將后勤能力從現役部門轉移到預備役部門。因此，如果美國要開戰，陸軍大概需要啟動預備役部隊來實現行動。當國防部和各軍種準備迎接JADC2帶來的挑戰時，這些組織將如何選擇平衡現役和預備役部隊的能力和部隊結構？

5.8 對JADC2工作的管理

聯合參謀部J6是國防部JADC2工作的主要協調者，每個軍種和一些國防部機構都在進行各種活動。國會中的一些人過去曾表示有興趣建立國防部范圍內的項目辦公室（如F-35聯合項目辦公室）來集中管理大規模的工作。國防部的研究和開發工作將隨著時間的推移而增加，因此，管理這些工作可能會變得更具挑戰性。國會在未來可能會尋求確定或建立一個負責項目管理、網絡架構開發和財務管理的組織。

附錄-聯合互操作性的歷史實例：聯合戰術無線電系統

聯合戰術無線電系統（JTRS）是一個通信項目，旨在通過在所有軍種中部署無線電設備來提高通信的互操作性。該計劃于20世紀90年代中期開始，最終于2011年被前國防部負責采購、技術和后勤的副部長弗蘭克-肯德爾取消。在他的理由中，肯德爾副部長指出，"由于當時技術不成熟，移動特設網絡和可擴展性的技術挑戰沒有得到很好的理解......從JTRS GMR[地面移動無線電]開發計劃中產生的產品不太可能在經濟上滿足各軍種的要求。" 在15年的開發工作中，國防部花費了大約150億美元，在終止時還需要130億美元。

JTRS計劃旨在用可在大部分無線電頻譜上運行的基于軟件的無線電取代軍隊使用的25至30個系列的無線電系統--其中許多系統不能相互通信。根據設想，JTRS將使各軍種與選定的盟國一起，通過各級指揮部的無線語音、視頻和數據通信，包括直接獲取來自機載和戰場傳感器的近實時信息，以 "無縫 "方式運作。被描述為 "軟件定義的無線電"，JTRS的功能更像一臺計算機，而不是傳統的無線電；例如，它可以通過添加軟件而不是重新設計硬件來升級和修改，以便與其他通信系統一起運行--這是一個更昂貴和費時的過程。國防部聲稱，"在許多情況下，一個具有多種波形的JTRS無線電臺可以取代許多單獨的無線電臺，簡化了維護工作"，而且由于JTRS是 "軟件可編程的，它們也將提供更長的功能壽命"，這兩個特點都提供了潛在的長期成本節約。JTRS計劃最初被分成五個 "集群"，每個集群都有一個特定的服務 "領導"（見表A-1），并由一個聯合項目辦公室管理整個架構。

注：外形尺寸無線電臺基本上是士兵攜帶的小型化無線電臺，以及重量和功率受限的無線電臺。

正如下文所討論的，JTRS在開發過程中遇到了一些困難。這些問題可能與未來的JADC2開發有關。

尺寸和重量的限制和有限的范圍

根據政府問責局(GAO) 2005年的一份報告: 為了實現寬帶網絡波形的全部功能，包括傳輸范圍，Cluster One無線電需要大量的內存和處理能力，這增加了無線電的尺寸、重量和功耗。增加的尺寸和重量是努力確保無線電中的電子部件不會因額外的內存和處理所需的電力而過熱的結果。到目前為止，該計劃還未能開發出符合尺寸、重量和功率要求的無線電，而且目前預計的傳輸范圍只有三公里--遠遠低于寬帶網絡波形所要求的10公里范圍....。Cluster One無線電的尺寸、重量和峰值功率消耗超過直升機平臺要求的80%之多。

由于無法滿足這些基本的設計和性能標準，人們擔心Cluster One可能無法按計劃容納更多的波形（計劃中Cluster One有4到8個存儲波形），而且它可能過于笨重，無法裝入重量和尺寸都受到嚴格限制的未來戰斗系統（FCS）載人地面車輛（MGVs）以及陸軍的直升機機群。一些觀察家擔心，為了滿足這些物理要求，陸軍將大大 "削弱 "第一組的性能規格。然而，根據陸軍的說法，它在減少Cluster One的重量和尺寸以及增加其傳輸范圍方面取得了進展；然而，將所有需要的波形納入Cluster One證明是困難的。據報道，Cluster Five無線電臺也遇到了類似的尺寸、重量和功率方面的困難；這些困難更加明顯，因為有些Cluster Five版本的重量不超過1磅。

安全

JTRS的安全問題成為發展中的一個重要困難。據一位專家說，該計劃最大的問題之一是安全，"即加密，因為JTRS的加密是基于軟件的，因此容易受到黑客攻擊"。 計算機安全專家普遍認為，用于任何目的的軟件都是脆弱的，因為目前沒有一種計算機安全形式能提供絕對的安全或信息保證。據美國政府問責局稱，JTRS要求應用程序在多個安全級別上運行；為了滿足這一要求，開發人員不僅要考慮傳統的無線電安全措施，還要考慮計算機和網絡安全措施。此外，國家安全局（NSA）對JTRS與美國盟友的無線電系統接口的安全擔憂也帶來了發展上的挑戰。

與傳統無線電系統的互操作性

一些分析家表示擔心，使JTRS與傳統無線電 "向后兼容 "的目標在技術上可能是不可行的。據報道，早期的計劃試圖通過交叉頻段來同步不兼容的傳統無線電信號，這被證明過于復雜。目前陸軍的努力集中在使用寬帶網絡波形來連接傳統的無線電頻率。一份報告指出，雖然寬帶網絡波形可以接收來自傳統無線電的信號，但傳統無線電不能接收來自JTRS的信號。為了糾正這種情況，陸軍考慮使用19種不同的波形來促進JTRS向遺留系統的傳輸。在JTRS無線電中加入如此多的不同波形會大大增加內存和處理能力的要求，這反過來又會增加JTRS的尺寸、重量和功率要求。

作者：John R. Hoehn，軍事能力和計劃分析師

Perkins Coie發布**《2022年新興技術趨勢》**，指出技術以及新技術的創新部署，越來越多地塑造著我們生活和與環境互動。本報告研究了10種新興技術的關鍵發展、趨勢和影響，這些技術不僅顛覆了今天的市場，還在影響和塑造明天的市場。

01

人工智能，機器學習和量子計算技術

· 經濟

經濟學家和評論員對人工智能的經濟影響存在分歧。一方面，到2030年，該技術可以為全球經濟增加多達13萬億美元，代表著國內生產總值的一個重要增長來源。

另一方面，部署人工智能的目的通常是為了減少開支，其中包括勞動力成本。正如麥肯錫全球研究所指出的那樣，人工智能減少了雇主對涉及重復性任務的工作的需求，并對工資造成了下行壓力。這種趨勢擴大了國家、公司和員工之間的差距。

· 社會

微軟的研究表明，在全球范圍內，低收入和中等收入國家將更容易受到人工智能的負面影響，如自動化。這可能會增加這些國家的社會不平等和政治不穩定。

另一個問題是通過算法歧視使社會不平等現象長期存在。如上所述，人工智能可以產生偏見，知道如何識別和減輕有害的偏見，以及如何使用合成數據，將產生更公平的結果。

02

云計算和分布式基礎設施技術

· 經濟

云計算服務有望釋放財政和人力資源，將節省下來的資金重新投資于企業。采用云計算技術的主要動力包括降低成本、可擴展性、靈活性、更有效地利用勞動力、數據分析和可訪問性以及災難恢復。它還可以減少勞動力和維護成本，因為系統是在另一個地方安置和運行的。云計算的可擴展性消除了單個企業持有儲備能力的需要。

· 社會

云計算通過使用基于云的技術來推動社會公益，正在改變我們所處的世界。云使服務于社會公益成為可能，例如通過虛擬學習獲得教育，利用數字教育進行創新，以及遠程工作。它還為許多其他系統提供動力，例如利用智能云計算的智能農業以及自動駕駛汽車。

03

數字媒體與娛樂技術

· 社會

人工智能的進步，如合成聲音、克隆聲音、數字"復活"和深度偽造，對藝術家會造成影響。如果沒有立法保護，一些藝術家將從他們的形象、肖像和聲音的使用中獲得較少的利潤份額。

04

綠色科技

**·**經濟

可再生能源發電和儲存方面的進展將加速能源經濟的去碳化，同時也會導致當前能源供應鏈的上下游發生重大轉變。這是因為一些電力生產將更加分散，更接近終端市場，這一轉變將為替代能源生產商和分銷商創造新的機會。

· 社會

根據普華永道的分析，社會對能源生產商和制造商的壓力越來越大，要求提供更多的可持續產品和服務。雖然各種綠色技術的發展有可能改善可持續性，并減少上述關鍵部門的環境影響，但這些發展帶來的收益將需要與相關的社會、經濟和環境問題相平衡。

05

醫療保健和醫療技術

· 經濟

一些醫療技術公司專門幫助醫療服務部門變得更精簡、更有效。同樣，數據分析幫助醫生在疾病變成慢性病之前識別和解決它們。提高醫療系統的效率是一個重要的商業機會，并釋放出公共資源來改善醫療質量。

· 社會

技術可以簡化醫療管理，釋放資源用于一線護理。這在美國尤為重要，因為美國一直遭受著護士短缺的困擾。

06

移動無線技術

· 經濟

新的無線技術將帶來巨大的經濟效益。據波士頓咨詢（BCG）稱，僅5G技術的部署預計將直接為美國國內生產總值（GDP）貢獻4,000億至5，000億美元，并在2030年創造多達100萬個就業崗位，僅占該技術實施總價值潛力的30%。

· 社會

移動無線技術的持續發展具有深遠的社會影響。太赫茲頻率、邊緣計算、衛星和云可能會影響在線教育、遠程工作、精準農業、交通和智能植入。這些發展有助于通過更緊密地整合供應鏈來提高作物產量、管理水資源短缺和減少浪費。

07

隱私與安全技術

· 經濟

從商業角度來看，數據分析和其他形式的大數據已經成為一個相當大的市場，并且預計將繼續增長。無論一家公司是利用其客戶數據來支持其營銷策略，還是改善客戶保留率，它都有可能比那些不利用其數據的公司具有競爭優勢。用戶數據對那些免費的服務也很有價值，因為它可以被出售給其他公司用于營銷目的。

在數據安全方面，隨著更多的商業供應鏈和關鍵基礎設施的要素被數字技術控制，安全故障的經濟后果也越來越重要。

· 社會

當個人信息被用于商業或執法目的時，它對隱私和信任產生了影響。一個人的數據被收集并在第三方之間共享的越多，數據泄露和身份盜竊的風險就越大。此外，客戶和用戶很少有機會了解公司擁有他們的哪些數據，以及這些公司如何使用和分享他們的數據，盡管這些數據具有重要價值。

08

零售和電子商務技術

· 經濟

雖然疫情導致了臨時和永久性的商店關閉，但它也幫助加速了向全渠道購物模式的轉變，為消費者提供了更多的購買選擇，并在經濟開始復蘇時增加了消費者和零售商之間的潛在接觸點。

· 社會

疫情造成的混亂加快了消費者與零售商和相關企業互動方式的變化步伐。最近，電子商務和先進的購物技術的普及使更多的本地零售商和餐館在封鎖期間通過共享送貨服務、點擊取貨模式和加強使用社交商務渠道來經營。從長遠來看，這些變化可能會導致價值的重新優先排序，這可能會成為新的零售模式的催化劑。

09

機器人與自主系統技術

· 經濟

自動駕駛汽車代表了一個重要的新市場，預計到2035年，全球僅對自動駕駛汽車送貨服務的投資就將達到1.1萬億美元。在2025年至2035年期間，美國經濟有可能從包括道路安全和時間節約在內的直接經濟影響中產生4.1萬億美元的總價值。

· 社會

RAS將擾亂就業市場，特別是在那些已經有相當規模的送貨/卡車行業的經濟體，因為這些行業的角色性質正在發生變化。對司機的需求預計會隨著時間的推移而下降，而在編程、系統維護和車隊管理方面會創造新的就業機會。

10

空間技術

· 經濟

空間經濟將推動新的、獨特的市場，并通過引入新的技術和新的材料來源擾亂傳統的地面市場。例如，空間資源的開采，可能為空間棲息地提供水，用于飲用、種植食物和輻射防護。

· 社會

隨著越來越多的國家獲得進入太空和相關技術的發展，目前的空間軍事化情況越來越復雜。戰略與國際研究中心每年編寫一份《太空威脅評估報告》，討論對美國太空系統的威脅，并強調太空的國際競爭。

原文如下：

機器學習是現代戰爭系統的關鍵組成部分。本文探討了人工智能的 7 個關鍵軍事應用。

機器學習已成為現代戰爭的重要組成部分，也是我（Nicholas Abell）作為陸軍退伍軍人和數據科學家的主要興趣點。與傳統系統相比，配備人工智能/機器學習的軍事系統能夠更有效地處理大量數據。此外，人工智能由于其固有的計算和決策能力，提高了作戰系統的自我控制、自我調節和自我驅動能力。

人工智能/機器學習幾乎被部署在所有軍事應用中，軍事研究機構增加研發資金有望進一步推動人工智能驅動系統在軍事領域的應用。

例如，美國國防部 (DoD) 的國防高級研究計劃局 (DARPA) 正在資助一種機器人潛艇系統的開發，該系統預計將用于從探測水下水雷到參與反潛行動的各種應用。此外，美國國防部在 2017 財年在人工智能、大數據和云計算方面的總體支出為 74 億美元。預計到 2025 年，軍事 ML 解決方案的市場規模將達到 190 億美元。

以下是機器學習將在未來幾年證明其重要性的七種主要軍事應用。

1. 作戰平臺

來自全球不同國家的國防軍隊正在將人工智能嵌入陸地、海軍、空中和太空平臺上使用的武器和其他系統中。

在基于這些平臺的系統中使用人工智能，可以開發出更少依賴人工輸入的高效作戰系統。它還增加了協同作用，提高了作戰系統的性能，同時需要更少的維護。人工智能還有望使自主和高速武器能夠進行協作攻擊。

2. 網絡安全

軍事系統通常容易受到網絡攻擊，這可能導致機密軍事信息丟失和軍事系統損壞。然而，配備人工智能的系統可以自主保護網絡、計算機、程序和數據免受任何未經授權的訪問。

此外，支持人工智能的網絡安全系統可以記錄網絡攻擊的模式，并開發反擊工具來應對它們。

3. 物流運輸

人工智能有望在軍事后勤和運輸中發揮關鍵作用。貨物、彈藥、武器和部隊的有效運輸是成功軍事行動的重要組成部分。

將人工智能與軍事運輸相結合可以降低運輸成本并減少人力工作負荷。它還使軍用艦隊能夠輕松檢測異常并快速預測組件故障。最近，美國陸軍與 IBM 合作，使用其 Watson 人工智能平臺來幫助預先識別 Stryker 戰車的維護問題。

4. 目標識別

正在開發人工智能技術以提高復雜戰斗環境中目標識別的準確性。這些技術使國防軍隊能夠通過分析報告、文檔、新聞提要和其他形式的非結構化信息來深入了解潛在的作戰領域。此外，目標識別系統中的人工智能提高了這些系統識別目標位置的能力。

支持人工智能的目標識別系統能力包括基于概率的敵人行為預測、天氣和環境條件匯總、潛在供應線瓶頸或漏洞的預測和標記、任務方法評估以及建議的緩解策略。機器學習還用于從獲得的數據中學習、跟蹤和發現目標。

例如，DARPA 的競爭環境中的目標識別和適應 (TRACE) 計劃使用機器學習技術在合成孔徑雷達 (SAR) 圖像的幫助下自動定位和識別目標。

5. 戰場醫療

在戰區，人工智能可以與機器人手術系統 (RSS) 和機器人地面平臺 (RGP) 集成，以提供遠程手術支持和疏散活動。美國尤其參與了 RSS、RGP 和其他各種用于戰場醫療保健的系統開發。在困難條件下，配備人工智能的系統可以挖掘士兵的病歷并協助進行復雜的診斷。

例如，IBM 的 Watson 研究團隊與美國退伍軍人管理局合作開發了一種稱為電子病歷分析器 (EMRA) 的臨床推理原型。這項初步技術旨在使用機器學習技術來處理患者的電子病歷，并自動識別和排列他們最嚴重的健康問題。

6. 戰斗模擬與訓練

模擬與訓練是一個多學科領域，它將系統工程、軟件工程和計算機科學結合起來構建計算機模型，使士兵熟悉在軍事行動中部署的各種作戰系統。美國正在越來越多地投資于模擬和訓練應用。

美國海軍和陸軍都在進行戰爭分析，啟動了幾個傳感器模擬程序項目。美國海軍已經招募了 Leidos、SAIC、AECOM 和 Orbital ATK 等公司來支持他們的計劃，而美國陸軍的計劃得到了包括 SAIC、CACI、Torch Technologies 和 Millennium Engineering 在內的公司的支持。

7. 威脅監控和態勢感知

威脅監控和態勢感知在很大程度上依賴于情報、監視和偵察 (ISR) 工作。ISR 行動用于獲取和處理信息以支持一系列軍事活動。

用于執行 ISR 任務的無人系統既可以遠程操作，也可以按照預先定義的路線發送。為這些系統配備人工智能有助于防御人員進行威脅監控，從而提高他們的態勢感知能力。

具有集成 AI 的無人駕駛飛行器 (UAV) - 也稱為無人機 - 可以巡邏邊境地區，識別潛在威脅，并將有關這些威脅的信息傳輸給響應團隊。因此，使用無人機可以加強軍事基地的安全，并提高軍事人員在戰斗中或偏遠地區的安全性和效率。

結論

人工智能在軍事技術硬件和軟件的大規模采用，向我們展示了現代戰爭中令人難以置信和可怕的范式轉變。毫不奇怪，世界上最大的軍隊比其他任何事情都更加關注這項技術，而這場技術競賽的獲勝者可能會比美國在研制原子彈后擁有更多的全球影響力。 （作者：Nicholas Abell，美國陸軍退伍軍人）

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。