隨著人工智能（AI）領域的飛速發展，這些技術的變革潛力對國家和國際安全產生了深遠的影響。因此，全世界的政策制定者和監管者越來越認識到，迫切需要超越國界和個人利益的共同理解，尤其是在人工智能應用于安全和國防領域的情況下。

然而，國家和非國家行為者之間在人工智能、安全和防衛方面缺乏既定的全球合作框架，這構成了一項重大挑戰。這種共同治理的缺失導致技術進步不協調和各自為政，給國際和平與安全、穩定和繁榮帶來嚴重后果。然而，各國與非國家行為者合作的愿望日益強烈。各國認識到，這種參與至少可以為治理方法和解決方案提供信息，并確保其制定、采納和實施都有據可依。此外，它還可以確保行業、民間社會組織、研究、技術和科學界以及學術界的認識和支持。

高層也有同感：聯合國秘書長在其《和平新議程》中強調，必須 “確保工業界、學術界、民間社會和其他部門的利益攸關方參與 ”制定 “關于通過多邊進程設計、開發和使用人工智能軍事應用的規范、規則和原則”。因此，迫切需要建立、促進和支持一個獨立、中立和可信賴的平臺，該平臺將促成多方利益攸關方對話，并為軍事領域負責任地開發、獲取、部署、整合和使用人工智能技術孵化治理途徑和解決方案。

• 優先領域 1：建立知識庫

通過跨地區、跨學科和多方利益相關者的投入，在軍事領域建立一個共享的、堅實的人工智能知識庫。

• 優先領域 2：建立信任

建立對技術和他人的信任

• 優先領域 3：人的因素

解讀人工智能系統在軍事領域的開發、測試、部署和使用中的人的因素

• 優先領域 4：數據實踐

了解和解讀軍事領域負責任人工智能的數據實踐

• 優先領域 5：生命周期管理

了解人工智能系統的生命周期影響（包括生命周期的終結），在軍事領域推廣負責任的人工智能

• 優先領域 6：不穩定

了解與人工智能有關的破壞穩定問題的驅動因素、手段、方法和應對措施，包括人工智能系統促成、誘發和倍增的破壞穩定問題

大型語言模型（LLM）被譽為人工智能領域的重大突破。LLMs 處理和生成文本的能力通常與人類認知水平相當，因此對于包括國防在內的所有領域都具有巨大的應用潛力。與此同時，這項新技術在穩健性和可靠性方面也存在許多未決問題，任何希望利用 LLMs 的組織都面臨著巨大的技術挑戰。本報告旨在展示如何訓練 LLM，使其適應國防領域，并評估此類項目是否值得投入。為此，本文創建了一個基于國防領域瑞典語和英語文本的數據集，并用來訓練（微調）兩個最先進的LLM。然后對模型進行定性和定量評估。結果表明， 訓練后的LLM在與國防有關的文本任務中表現出更高的性能。本文詳細描述了訓練過程，可以為有興趣開展類似項目的讀者提供指導。訓練中的障礙主要與資源限制有關，如硬件、數據和時間，這些限制難以克服，但至少人們對它們有了相對充分的了解。對 LLM 的評估卻并非如此：模型具有令人驚訝的能力，但也可能以令人驚訝的方式失敗。報告對 LLM 的不同方面進行測試來評估其能力和失敗原因，但只能觸及表面。總之，大型語言模型已經發展到一個階段，國防利益相關者可以，也應該開始調整和測試該技術。本報告提供了對陷阱、解決方案和經驗教訓的見解，對此有所幫助。與此同時，建議對大型語言模型采取冷靜的態度，因為對此類模型的評估仍應被視為一個未決問題。

關鍵詞：人工智能、大型語言模型、微調、參數高效微調、低階自適應（LoRA）

人工智能（AI）是計算機科學的一個分支，其研究對象是開發能夠解決通常需要人類認知的問題的機器。其中一個挑戰就是處理人類語言，即讓計算機能夠理解文本輸入并做出有說服力的回應。對人類來說，這個簡單得令人難以置信的問題可能顯得微不足道，而且人們最初認為其很容易通過算法解決。20 世紀 50 年代，隨著科學家們開始認識到這項任務的復雜性，早期的機器翻譯嘗試很快就碰壁了。傳統上，計算語言學（CL）試圖通過研究支配人類語言的規則，并以適合計算機的方式將其形式化來解決這一問題。另一方面，自然語言處理（NLP）則采取了更加務實的方法，通常是統計方法，其重點是開發能夠實際執行某些語言任務的系統，即使范圍有限。實際上，幾十年來，這兩個領域之間的區別已經變得相當模糊，但在很長一段時間里，共同的目標仍然難以實現。

然而，近年來，深度學習（DL）的興起加速了人工智能領域許多挑戰難題的突破性進展，包括語言。硬件的增強和數字數據集的不斷擴大，使得在數百萬文本上訓練擁有數十億參數的深度神經網絡成為可能。深度神經網絡可以學習詞語在上下文中出現的概率，從而建立大型自然語言統計模型。大型語言模型（LLM）就能夠處理文本輸入，并生成新的文本，而這些文本似乎可以與人類的理解和書寫相媲美。OpenAI 的 ChatGPT 等功能強大的 LLM 引起了媒體和公眾的廣泛關注，既有贊譽也有擔憂，認為這是人工智能的重大突破，但其后果尚不清楚。然而，在撰寫本文時，LLMs 的應用仍處于探索階段，迄今為止主要以聊天機器人或辦公軟件中的文本助手的形式出現。此外，軍事應用的潛力仍然難以估計。LLM 可以服務于國防和情報的所有領域，例如，作為用戶界面的一部分、信息融合器、文檔輔助工具，以及通過建議和解釋行動方案的系統進行決策。

LLM 可以產生令人印象深刻的結果，但也可能以令人驚訝的方式失敗。人們對 LLM 的能力、局限性和可靠性還不甚了解，而且隨著開發的進展，LLM 也會迅速發生變化。采用 LLM 的另一個障礙是訓練和運行 LLM 所需的成本。最強大的 LLM 是在大型超級計算機上創建的，這對許多國家行為者來說也是遙不可及的。其中一些 LLM 只能以在線服務的形式訪問，在外國領土上的商業服務器上運行，因此當安全問題至關重要時，使用這些 LLM 是值得懷疑的。還有一些可以在本地獲得和運行，也有可能對其進行進一步訓練，使其適應特定任務（微調），但最初的創建仍依賴于少數擁有充足資源的組織。這也意味著，初始訓練語料庫的文本選擇超出了大多數 LLM 用戶的控制范圍，影響了文本在主題和質量方面的平衡，限制了所支持的語言，而且如果 LLM 原始創建者沒有確保其對所有訓練文本的使用都在知識產權范圍內，則有可能產生法律后果。

目前，有關 LLM 的情況既樂觀又不確定。一方面，LLM 可能即將徹底改變無數人類認知被認為是必要條件的過程，無論是在民用領域還是軍事領域。另一方面，LLM的可靠性尚不明確，各組織有可能被突破性技術的熱情所沖昏頭腦，將 LLM強加到它們（尚）不適合的應用中。 本報告介紹了如何謹慎地將 LLM 用于與國防相關的目的。詳細介紹了幾種現代 LLM 的訓練過程。然后對 LLM 的魯棒性和輸出質量進行了評估。國防領域涵蓋了廣泛而多樣的主題，而 LLM 在某一主題上的性能取決于是否準備了大量具有高質量和相關性文本的訓練語料庫。因此，由于資源有限，本報告縮小了訓練領域的范圍，將重點放在旨在為安全政策分析人員提供支持的 LLM 示例上。

1.1 目標和范圍

本報告的重點是旨在為安全政策國防領域內的分析人員提供支持性LLM。LLM需要對文本進行總結，回答與安全政策相關的問題，并根據給定的關鍵短語列表編寫文本。類似的任務在其他領域也同樣適用，因此，僅限于安全政策領域并不意味著按照類似思路訓練的 LLM 可用于其他領域。此外，訓練和實施的基本原則也適用于其他主題和更廣泛的范圍。

本報告的目的是探討在國防背景下部署和運行 LLM 所面臨的技術挑戰，以訓練 LLM 為安全政策分析員提供支持為例進行說明，并評估有效性。具體方法如下：

1.針對國防領域的應用訓練（微調）LLM，包括準備訓練數據、選擇基礎模型、設置訓練環境和訓練過程；

2.評估經過訓練的 LLM 的性能，包括根據不同指標得出的輸出文本的質量、模型對提示變化和其他因素的敏感性，以及微調成本是否被基礎模型的顯著改進所抵消。

本報告的重點是 LLM 技術的核心問題，即模型本身、模型的訓練和模型的能力。因此，本報告將不對特定應用的實現進行研究，例如如何在 RAG 系統（檢索增強生成）中利用 LLM，即從數據庫中檢索外部知識并將其插入提示中，從而使 LLM 能夠解決需要當前信息的查詢問題。雖然這種方法和其他方法是使用 LLM有前途的方法，但它們確實增加了自己的研究問題。此外，任何使用 LLM的方法都得益于對模型的良好訓練和理解，因此超出這些核心基本問題的研究將不在本報告的討論范圍之內。

另一個僅涉及的問題是提示工程。LLM 對提問的措辭很敏感，如果重新表述提問，有時會提供更有用的響應。甚至有人觀察到，通過添加鼓勵性詞語（例如“你是一個聰明的模型，請認真思考下面的問題......”）可以提高性能。這推動了直觀優化提示的大量嘗試。

然而，添加任何直觀提示都會減少適合 LLM 有限輸入窗口的實際提問詞的數量。此外，提示工程的好處并不一致，這些方法有時實際上會降低性能。轉述和修改的組合空間實際上是無限的，而且越來越多的證據表明，最佳提示可能根本不直觀，因此不可能由人類提示工程師來制定。鑒于提示工程目前的不確定狀態，在撰寫本文時還無法提出任何可靠的建議，因此該主題主要歸于未來的工作。

1.2 目標讀者

本報告面向國防部門中希望在軍事或情報應用中調整和部署大型語言模型的人員。這既包括評估大型語言模型是否適合預期應用的決策者，也包括訓練和實施基于大型語言模型的解決方案的技術團隊。

1.3 閱讀說明

一般來說，本報告的寫作水平應該是任何對人工智能和大型語言模型感興趣的讀者都能讀懂的。報告偶爾會深入探討一些細節，但喜歡跳讀的讀者應該不難理解報告的整體內容。如果讀者希望進一步了解使用深度神經網絡進行自然語言處理的理論背景，建議閱讀《使用深度神經網絡進行自然語言處理》（Natural Language Processing Using Deep Neural Networks）報告中的第 3 章。

1.4 提綱

第 2 章介紹了本報告的理論背景。介紹了大型語言模型這一技術最重要的概念和原理。此外，讀者還將了解本報告將使用的具體訓練優化方法，包括其背景。最后，本節介紹了如何評估處理和生成自然語言的系統這一長期挑戰。評估必須被視為一個開放性的研究問題，相關問題在大型語言模型時代仍然具有現實意義，并影響著本報告中的評估嘗試。

第 3 章介紹了第一個目標：創建國防領域大型語言模型。該章分步描述了選擇合適的基礎大型語言模型、準備合適的訓練數據和訓練模型的過程。因此，本章也可為希望開展類似項目的讀者提供指導。 第 4 章是第二個目標：使用各種定量和定性方法和指標對訓練好的大型語言模型進行評估。前面提到的這一領域的挑戰意味著本節只是對解決這一問題的廣泛嘗試的一個介紹，詳盡的大規模評估將留待今后的工作中進行。

第 5 章討論了評估結果，以及在國防背景下使用大型語言模型的更廣泛影響，包括見解和經驗教訓。 最后，第 6 章總結了評估結果，并對今后可能開展的工作進行了簡要展望。

相互依存的人機團隊將是未來西方國家威懾大國戰爭的關鍵組成部分，如果威懾失敗，還能贏得戰爭。英美兩國面臨的競爭對手在質量上可能不相上下，但由于其工業能力和靠近可能的沖突地區，以及專門針對和擊敗西方能力而設計的作戰概念，它們在質量上擁有選擇性優勢。

盡管面臨這些前所未有的挑戰，英美兩國仍擁有相當大的作戰和軍事技術不對稱優勢。兩國都相信自己的軍隊能在最底層進行適應和創新。兩國都有聯合作戰的經驗，包括在遠征環境中的經驗。利用這些特點來塑造英美兩國軍隊開發、部署和使用能力的方式，將使競爭對手難以復制西方國家的表現，即使是使用相同的基礎技術。

作為以這些不對稱性為基礎的更廣泛抵消戰略的一部分，英美兩國軍隊應利用人機協作（HMC）和人機協同（HMT）來：展示降低英美兩國軍事、經濟和政治戰爭成本的潛力，同時增加對手的戰爭成本；實現決策優勢，讓對手進退兩難；在被拒絕的環境中產生意識。考慮到對有限資源的競爭性需求，美英兩國軍隊應在短期內集中力量開發、獲取和部署實現這些目標所必需的一組特定的 HMC 和 HMT 能力和使能手段。這些能力將根據反介入區域拒止泡泡內的使能活動進行選擇。這一具體任務可細分為若干子活動，包括改進感知、分析、規劃和決策，發展成本更低、更具攻擊性的部隊，遠征部隊的無人維持，加強欺騙，以及利用 HMC 進行預測性維護。

不過，也有一些注意事項。首先，與精密革命不同，西方在人工智能、自主、計算和其他與軍事相關的科技領域不會享有明顯而持久的技術優勢。其次，如果要實現新興技術的軍事潛力，就必須克服一些阻礙采用和推廣創新的障礙。

在這份政策指南中，作者認為人機協同技術的進步對于有效抵消對手的優勢至關重要。為了執行抵消戰略，各國軍隊將需要開發技術并投入大量資源，以發展新的作戰概念和方法，將人類判斷力與技術能力的結合視為成功的核心。這將是發揮持久組織優勢的關鍵。

本文旨在為政策制定者提供入門指南和政策指導，概述 HMC 和 HMT 如何利用西方國家的具體方法進行技術變革，以服務于這些國家的不對稱優勢。

加固網絡物理資產既重要又耗費人力。最近，機器學習（ML）和強化學習（RL）在自動化任務方面顯示出巨大的前景，否則這些任務將需要大量的人類洞察力/智能。在RL的情況下，智能體根據其觀察結果采取行動（進攻/紅方智能體或防御/藍方智能體）。這些行動導致狀態發生變化，智能體獲得獎勵（包括正獎勵和負獎勵）。這種方法需要一個訓練環境，在這個環境中，智能體通過試錯學習有希望的行動方案。在這項工作中，我們將微軟的CyberBattleSim作為我們的訓練環境，并增加了訓練藍方智能體的功能。報告描述了我們對CBS的擴展，并介紹了單獨或與紅方智能體聯合訓練藍方智能體時獲得的結果。我們的結果表明，訓練藍方智能體確實可以增強對攻擊的防御能力。特別是，將藍方智能體與紅方智能體聯合訓練可提高藍方智能體挫敗復雜紅方智能體的能力。

問題描述

由于網絡威脅不斷演變，任何網絡安全解決方案都無法保證提供全面保護。因此，我們希望通過機器學習來幫助創建可擴展的解決方案。在強化學習的幫助下，我們可以開發出能夠分析和學習攻擊的解決方案，從而在未來防范類似威脅，而不是像商業網絡安全解決方案那樣簡單地識別威脅。

工程描述

我們的項目名為MARLon，探索將多智能體強化學習（MARL）添加到名為CyberBattleSim的模擬抽象網絡環境中。這種多智能體強化學習將攻擊智能體和可學習防御智能體的擴展版本結合在一起進行訓練。

要在CyberBattleSim中添加MARL，有幾個先決條件。第一個先決條件是了解CyberBattleSim環境是如何運行的，并有能力模擬智能體在做什么。為了實現這一點，該項目的第一個目標是實現一個用戶界面，讓用戶看到環境在一個事件中的樣子。

第二個先決條件是為CyberBattleSim添加MARL算法。目前CyberBattleSim的表Q學習和深Q學習實現在結構上無法處理這個問題。這是因為CyberBattleSim實現的表Q學習和深Q學習不符合適當的OpenAI Gym標準。因此，需要添加新的強化學習算法。

當前的防御者沒有學習能力，這意味著要啟用多智能體學習，防御者需要添加以下功能：添加使用所有可用行動的能力，將這些行動收集到行動空間，實現新的觀察空間，并實現獎勵函數。

最后，為了增加MARL，新創建的攻擊者算法和新的可學習防御者必須在同一環境中組合。這樣，兩個智能體就可以在相互競爭的同時進行訓練。

隨著技術的飛速發展和威脅環境變得更加復雜，今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能（AI）的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識，增加對威脅和對手能力和意圖的了解，識別和評估可能的戰術行動方案，并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。

人工智能系統為海戰提供了優勢，但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊，改善作戰情況的不確定性，并提出改善作戰和戰術結果的建議。實施人工智能系統，以滿足海軍應用的這些苛刻需求，給工程設計界帶來了挑戰。本文確定了四個挑戰，并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。

引言

人工智能是一個包括許多不同方法的領域，目的是創造具有智能的機器（Mitchell 2019）。自動化系統的運作只需要最小的人類輸入，并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器，執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中，以做出決定并得出結論。

如表1所述，人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen（2020，3）將專家系統描述為手工制作的知識系統，使用傳統的、基于規則的軟件，將人類專家的主題知識編入一長串編程的 "如果給定x輸入，則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統，從大型數據集中進行訓練。ML系統自動學習并從經驗中改進，而不需要明確地進行編程。一旦ML系統被 "訓練"，它們就被用于操作，以產生新的操作數據輸入的結果。

表1. 兩類人工智能系統

人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力，在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力，以了解復雜和不確定的情況，制定和權衡選擇，預測行動的成功，并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。

本文確定了工程設計界必須解決的四個挑戰，以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括：（1）復雜的海戰應用領域；（2）需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統；（3）人工智能系統工程的一些新挑戰；（4）存在對手的人工智能進展，不斷變化和發展的威脅，以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域，但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。

表2. 為海軍實施人工智能系統的四個挑戰領域

挑戰一：戰爭復雜性

人工智能正被視為一種能力，可應用于廣泛的應用，如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰，人工智能系統必須與之抗衡，才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子，從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素，這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度，對六個應用領域的特征進行了定性評估。顏色代表低貢獻（綠色）、中貢獻（黃色）和高貢獻（紅色）。

表3中最上面一行顯示的特征包括： (1)認識上的不確定性水平（情況知識的不確定性程度），(2)情況的動態性，(3)決策時間表（可用于決策的時間量），(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5）資源的復雜性（數量、類型、它們之間的距離以及它們的動態程度），（6）是否涉及多個任務，（7）所需訓練數據集的復雜性（大小、異質性、有效性、脆弱性、可獲得性等 8）對手的存在（競爭者、黑客或徹頭徹尾的敵人），（9）可允許的錯誤幅度（多少決策錯誤是可以接受的），以及（10）決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義，即基于一組樣本的貢獻因素，不同應用領域的不同復雜程度。

表3. 影響應用復雜性的因素比較

對于所有的應用領域來說，人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時；以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用，如貸款審批、廣告、醫療診斷（在某種程度上）面臨工程挑戰，但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的，做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而，航運錯誤是有空間的，而且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的空間非常小。在這種應用中，決策失誤會導致嚴重的事故。

影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此，戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子，海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是網絡空間，導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中，戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行，并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后，對于戰術決策及其可能的后果來說，風險可能非常大。

表4. 導致戰術決策復雜性的因素

解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案，即處理大量的數據，處理不確定性，理解復雜的情況，開發和評估決策選擇，以及理解風險水平和決策后果。Desclaux和Prestot（2020）提出了一個 "認知三角"，其中人工智能和大數據被應用于支持作戰人員，以實現信息優勢、控制論信心和決策優勢。約翰遜（2019年）開發了一個工程框架和理論，用于解決高度復雜的問題空間，這些問題需要使用智能和分布式人工智能系統來獲得情況意識，并做出適應動態情況的協作行動方案決定。約翰遜（2020a）建立了一個復雜的戰術場景模型，以證明人工智能輔助決策對戰術指揮和控制（C2）決策的好處。約翰遜（2020b）開發了一個預測分析能力的概念設計，作為一個自動化的實時戰爭游戲系統來實施，探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先，人工智能支持的C2系統需要描述戰術行動期間的復雜程度，然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平（人與機器的決策角色）。約翰遜（2021年）正在研究這些概念性工程方法在各種防御用例中的應用，包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來，戰術邊緣遠離指揮中心，通信和計算資源有限，戰場形勢瞬息萬變，這就導致在嚴酷復雜的戰地環境中，網絡拓撲結構連接薄弱，變化迅速"（Yang et. al. 2021）。戰術邊緣網絡也容易斷開連接（Sridharan et. al. 2020）。相比之下，許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲，而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時，必須進行仔細的設計考慮，以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。

在軍事領域使用人工智能必須克服復雜性的挑戰障礙，在某些情況下，人工智能的加入可能會增加復雜性。辛普森等人（2021）認為，將人工智能用于軍事C2可能會導致脆弱性陷阱，在這種情況下，自動化功能增加了戰斗行動的速度，超出了人類的理解能力，最終導致 "災難性的戰略失敗"。Horowitz等人（2020）討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人（2020）指出，人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性；如果人類決策者對產出缺乏信心和理解，他們可能會失去對人工智能系統的信任。

挑戰二：數據需求

實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。

ML系統的學習過程被稱為被訓練，開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法，允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段，ML系統繼續需要數據。

圖1顯示，在運行期間，ML系統或 "模型 "接收運行的實時數據，并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此，在整個系統工程和采購生命周期中，ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。

圖1. 使用數據來訓練機器學習系統

美國海軍開始認識到對這些數據集的需求，因為許多領域（戰爭、供應鏈、安全、后勤等）的更多人工智能開發人員正在了解人工智能解決方案的潛在好處，并開始著手開發人工智能系統。在某些情況下，數據已經存在并準備好支持人工智能系統的開發。在其他情況下，數據存在但沒有被保存和儲存。最后，在其他情況下，數據并不存在，海軍需要制定一個計劃來獲得或模擬數據。

收集數據以滿足海軍領域（以及更廣泛的軍事領域）的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的，在不同的項目和系統中被分隔開來，不容易從遺留系統中獲得，并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據，可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外，和平時期收集的數據并不代表沖突和戰時的操作。海軍（和軍方）還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的（和可能的）戰時行動，并構建足夠的ML訓練數據。

數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說，數據是一種珍貴的商品，并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據，目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。

海軍正在解決這一數據挑戰，開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺，正在管理數據以支持AI/ML的發展和其他類型的海軍應用，這些應用需要與任務相關的數據（Abeyta，2021）。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統，海軍需要在游戲中保持領先，擁有能夠代表各種可能情況的數據集，這些情況跨越了競爭、沖突和危機期間的行動范圍。因此，數據集的開發和管理必須是一項持續的、不斷發展的努力。

挑戰三：工程化人工智能系統

第三個挑戰是，人工智能系統的工程需要改變傳統的系統工程（SE）。在傳統系統中，行為是設定的（確定性的），因此是可預測的：給定一個輸入和條件，系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上，一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議，與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統，并確保它們對人類操作者來說是可解釋的、可信任的和安全的。

SE作為一個多學科領域，在海軍中被廣泛使用，以將技術整合到連貫而有用的系統中，從而完成任務需求（INCOSE 2015）。SE方法已經被開發出來用于傳統系統的工程設計，這些系統可能是高度復雜的，但也是確定性的（Calvano和John 2004）。如表5所述，傳統系統具有可預測的行為：對于一個給定的輸入和條件，它們會產生可預測的輸出。然而，許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人（2021年）解釋說，"SE及其方法的雛形基礎并不是為配備人工智能（即機器學習和深度學習）的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說，出錯的余地很小；因此，SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。

表5. 傳統系統和人工智能系統的比較

在整個系統生命周期中，將需要改變SE方法，以確保人工智能系統安全有效地運行、學習和適應，以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變，以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法，這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性，這些系統的行為不是完全可預測的，其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務，即隨著人工智能系統的發展，在部署期間不斷確保安全和理想的行為。

SE界意識到，需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會（INCOSE）最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為，人工智能系統可能會出現新類型的故障模式，這些故障模式是無法預料的，可能會突然發生，而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后，對于有更多的人機互動的人工智能系統，必須仔細注意設計系統，使它們值得信賴，可以解釋，并最終對人類決策者有用。

表6.人工智能系統工程中的挑戰（改編自：Robinson，2021）。

SE研究人員正在研究人工智能系統工程所涉及的挑戰，并開發新的SE方法和對現有SE方法的必要修改。Johnson（2019）開發了一個SE框架和方法，用于工程復雜的適應性系統（CASoS）解決方案，涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統，通過使用人工智能，可以協作產生所需的突發行為。Johnson（2021）研究了人工智能系統產生的潛在新故障模式，并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知，作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人（2021年）研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui（2021年）研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略，促進人類和機器之間的 "校準 "信任，這是作為適當利用的最佳信任水平，避免過度信任和不信任，并在信任失敗后涉及信任修復行動。Johnson等人（2014）開發了一種SE方法，即協同設計，用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

數據的作用對于人工智能系統的開發和運行來說是不可或缺的，因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人（2021）提出，SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構，用于開發、訓練和評估AI算法。French等人（2021）描述了需要適當的數據策劃來支持人工智能系統的發展，他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據，以及需要識別和消除數據中的固有偏見。

SE界正處于發展突破和進步的早期階段，這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步，以確保海軍持續的技術優勢。

挑戰四：對抗性

海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰：(1)人工智能技術在許多領域迅速發展，海軍必須注意同行競爭國的軍事應用進展，以防止被超越，(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性，以及(3)海軍應用的人工智能系統需要發展和適應，以應對不斷變化的威脅環境。

表7. AI系統的對抗性挑戰

同行競爭國家之間發展人工智能能力的競賽，最終是為了進入對手的決策周期，以便比對手更快地做出決定和采取行動（Schmidt等人，2021年）。人工智能系統提供了提高決策質量和速度的潛力，因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索，同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標，不僅僅取決于人工智能研究。它需要適當的數據收集和管理，有效的SE方法，以及仔細考慮人類與AI系統的互動。海軍必須承認，并采取行動解決實施人工智能系統所涉及的挑戰，以贏得比賽。

網絡戰是海軍必須成功參與的另一場競賽，以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統（Libicki, 2009）。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據，導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制，他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化，其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護，免受網絡攻擊（French等人，2021）。

威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化，武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強，這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統，必須能夠加強海軍感知、探測和識別新威脅的能力，以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境，并在行動中學習，以了解戰斗空間中的未知因素，并通過創新的行動方案快速應對新的威脅（Grooms 2019, Wood 2019, Jones et al 2020）。海軍可以利用人工智能系統，通過研究特定區域或領域的長期數據，識別生活模式的異常（Zhao等人，2016）。最后，海軍可以探索使用人工智能來確定新的和有效的行動方案，使用最佳的戰爭資源來解決棘手的威脅情況。

結論

人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而，人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的，可以學習和適應--特別是在用于更復雜的行動時，如高度動態的、時間關鍵的、不確定的戰術行動環境中，允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域：（1）開發能夠解決戰爭復雜性的人工智能系統，（2）滿足人工智能系統開發和運行的數據需求，（3）設計這些新穎的非確定性系統，以及（4）面對對手帶來的挑戰。

海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統，以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。

1.第一個建議是了解人工智能系統與傳統系統之間的差異，以及伴隨著人工智能系統的開發和實施的新挑戰。

人工智能系統，尤其是那些旨在用于像海戰這樣的復雜行動的系統，其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解，更加不可預測，并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。

2.第二個建議是投資于人工智能系統的研究和開發，包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。

研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面，海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的，并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據，用于人工智能系統開發，并確保數據的相關性、有效性和安全性。

3.第三個建議是承認挑戰，并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。

盡管人工智能系統正在許多領域實施，但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識，即在人工智能系統準備用于戰爭決策輔助工具之前，需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖，彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法，在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。

海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統，戰術決策優勢的重大進步是可能的。此外，海軍必須跟上（或試圖超越）對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解，對研究和開發計劃的投資，以及對人工智能技術進步時限的現實預期，海軍可以在應對這些挑戰方面取得進展。

近年來，手勢識別（HGR）已經取得了巨大的成功，并在人機交互領域開辟了一個新的趨勢。然而，一些現有的手勢識別系統在實際應用中的部署仍然遇到一些挑戰，如傳感器的可測量范圍有限；由于使用單一的模式，缺乏重要的信息；由于復雜的深度模型的訓練，通信成本高，延遲和隱私負擔。本項目旨在克服這些主要問題，通過開發邊緣智能技術，使用可穿戴多模態傳感器（如加速度計和攝像頭）進行手勢識別，并減少注釋工作。在這個項目中，我們設計了一個可穿戴式多模態原型，能夠捕捉多模態信息，如RGB和運動數據。然后我們設計了一套在人機交互中常用的12種動態手勢。我們使用所設計的原型在不同的環境條件下對50名受試者收集了此類手勢的數據集。據我們所知，這個數據集可以被認為是研究界從腕戴式多模態傳感器識別手勢的第一個基準數據集。我們部署了各種最先進的CNN模型，對使用RGB和運動數據的手勢識別進行了比較研究。實驗結果顯示了該基準的挑戰，以及現有模型的最佳性能和未來的改進空間。此外，在該項目框架內，我們改進了帶有時間信息的手部姿勢估計和連續手勢識別的算法。我們還對用于時間序列預測的混合CNN-LSTM模型中的形狀分析和貝葉斯推理進行了基礎研究。我們引入了一個框架，便于研究聯邦學習。該原型和研究成果已在12個國際會議上發表，并提交給一個IEEE傳感器雜志。

美國仍然是世界上最突出的軍事和技術力量。在過去十年中，美國認識到人工智能作為力量倍增器的潛力，越來越多地將人工智能（AI）的熟練程度視為美國重要利益和保證美國軍事和經濟實力的機制。特別是，在過去十年中，人工智能已成為美國國防的一項關鍵能力，特別是考慮到2022年美國國防戰略對印度-太平洋地區的關注。

因此，美國國防部（DoD）（以及美國政府和國防機構總體上）對人工智能和相關新興技術表現出越來越大的熱情。然而，雖然美國目前在學術界和私營部門的人工智能研究和開發方面取得了巨大進展，但國防部尚未在廣泛范圍內成功地將商業人工智能的發展轉化為真正的軍事能力。

美國政府在利用國防人工智能和人工智能支持的系統方面通常處于有利地位。然而，在過去的幾年里，各種官僚主義、組織和程序上的障礙減緩了國防部在國防人工智能采用和基于技術的創新方面的進展。最關鍵的是，國防部遭受了復雜的收購過程和廣泛的數據、STEM和AI人才和培訓的短缺。從事人工智能和人工智能相關技術和項目的組織往往是孤立的，而且還存在必要的數據和其他資源相互分離。在美國防部內部存在一種傾向于可靠方法和系統的文化，有時趨向于勒德主義。所有這些因素都導致了人工智能采用的速度出奇的緩慢。美國家安全委員會2021年提交給國會的最終報告總結說，"盡管有令人興奮的實驗和一些小型的人工智能項目，但美國政府離人工智能就緒還有很長的路要走"。

因此，盡管人工智能有可能增強美國的國家安全并成為一個優勢領域，而且鑒于美國在軍事、創新和技術領導方面的長期傳統，人工智能有可能成為一個薄弱點，擴大 "美國已經進入的脆弱窗口"。 如果美國不加快創新步伐，達到負責任的速度，并奠定必要的制度基礎，以支持一支精通人工智能的軍隊，人工智能將繼續成為一個不安全點。

去年，美國防部在這些挑戰中的一些方面取得了進展，調整了國防人工智能的方法。2022年6月，美國防部發布了《負責任人工智能戰略和實施途徑》，將更有數據依據的、負責任的、可操作的人工智能工作列為優先事項，此后開始執行。最重要的是，美國防部已經啟動了對其人工智能組織結構的重大改革，創建了一個新的首席數字和人工智能辦公室（CDAO），以整合其不同的人工智能項目和利益相關者，并使其與該部門的數據流更好地協調。值得注意的是，美國國防部目前正在對其國防人工智能的整體方法進行重大變革和振興。然而，這些新的人工智能努力是否足以讓美國彌補失去的時間，還有待觀察。

人工智能（AI）是一項具有廣泛用途的新興技術。《美國防戰略》強調了人工智能對軍事行動的重要性，以使美國保持對其近似競爭對手的優勢。為了充分實現這一優勢，不僅要在戰術層面，而且要在戰爭的作戰層面整合人工智能。人工智能可以最有效地融入作戰計劃的復雜任務，方法是將其細分為其組成部分的作戰功能，這些功能可以由狹義的人工智能來處理。這種組織方式將問題減少到可以由人工智能解析的規模，并保持人類對機器支持的決策的監督。

引言

人工智能是一套新興的、變革性的工具，有可能幫助軍事決策者。美國國家戰略將人工智能（AI）納入戰爭。《2020年國防授權法》11次提到了人工智能。國防戰略強調了利用人工智能和機器學習方面的商業突破的重要性。人工智能的軍事用途是保留國家安全的一個引人注目的方式。創造工具來支持戰術行動，如摧毀敵軍和從一個點導航到另一個點，具有顯著和可見的效果，使他們在資源有限的環境中在政治上可以接受。它們在訓練和測試方面的可重復性，使它們在采購過程中成為人工智能系統的快速贏家。然而，戰術行動的范圍和時間是有限的。僅在戰術層面上整合人工智能，忽視了在作戰層面上發生的決定性影響。

作戰，也就是實踐者將戰術行動轉化為戰略效果的層面，取決于領導者做出正確決策的能力。聯合部隊海事部分指揮官（JFMCC）的艱巨任務是制定計劃，將戰區戰略和聯合部隊指揮官（JFC）的目標結合起來，通過決定性的海軍交戰來塑造環境。在人工智能的快速認知能力的幫助下，JFMCC將能夠制定并更徹底地分析行動方案（COA）。這些品質對于未來的沖突是必要的。

人工智能必須在戰爭的各個層面進行整體集成，以充分實現其優勢。除了局部的、短期的戰斗，它還需要應用于主要的行動和戰役，涉及整個戰區的數月或數年。在戰爭的戰役（作戰）層面上的實施，放大了為實現戰略目標而進行的有序交戰和同步行動之間的協同作用。除了技術發展之外，行動上的整合將刺激政策和理論的建立，以使作戰人員有意愿使用人工智能。隨著使用人工智能的經驗的增加，其采用率也會增加。為協助海軍作戰計劃而實施的特定人工智能技術可能與那些用于計算射擊方案或在被拒絕的淺灘水域規劃路線的技術不同。然而，在作戰層面的接受度將推動戰術上的使用。

在JFMCC層面，人工智能系統網絡將為決策者提供決定性的優勢，將專注于作戰功能的獨立的人工狹義智能（ANI）單位統一起來將實現最顯著的好處。首先，人工智能解決方案比它們的通用人工智能（AGI）同行更適合于軍事問題的解決。其次，戰爭的性質促使有必要在作戰層面上整合人工智能。最后，雖然有許多方法可以整合，但沿著功能線這樣做會帶來最顯著的好處。不僅在技術意義上吸收人工智能，而且描述其在政策、理論和培訓中的使用，將使海軍能夠充分使用它，并在與我們的戰略競爭對手的競爭中獲得優勢。

如何在海戰領域整合人工智能？

目前人工智能在海上行動中的最佳應用是將復雜的海上行動問題分解成子問題，由人工智能來解決，并組合成COA建議。解決小問題的人工智能需要更少的訓練數據，有更直接的邏輯，并且可以連鎖起來解決更重要的問題。麻省理工學院人工智能實驗室前主任羅德尼-布魯克斯（Rodney Brooks）認為，創建動態環境的符號表示是困難的或不可能的。然而，特定任務的智能體可以利用足夠的傳感器數據智能地行動，更重要的是，可以連貫地互動。通過將簡單的活動連鎖起來，失敗的風險很低，更復雜的問題就可以得到解決。多個簡單的行動可以在低認知層平行運行，并將其輸出結合起來，為更高層次的復雜活動提供支持。這種結構的優點是允許軍事工程師開發和訓練人工智能，以首先解決可操作的問題。對人工智能開發者來說更具挑戰性的功能可以保留只由人類決定的方法，直到他們產生解決這些問題的專業知識。與其等待一個完整的系統，部分系統將提供一個臨時的邊際優勢。

鑒于人工智能可以通過將問題分解成更小的決策來最好地解決問題，問題仍然是如何劃分這些問題。重述作戰任務的一個模式是將它們分成作戰功能：指揮和控制（C2）、通信、情報、火力、運動和機動、保護和維持。這些作戰功能為開展有效行動提供了基礎。它們為一個行動提供了采用手段實現其目的的方法。因此，與決定如何實施這些功能以實現目標的決策者一起使用人工智能是很自然的。

如同應用于海上作戰戰爭，最低層的決策支持系統將由感知環境的活動組成：探測艦艇、飛機和潛艇；燃料水平；天氣；以及其他客觀的戰斗空間數據。通過將外部輸入限制在特定的、低層次的任務上，該系統將最大限度地減少對抗性例子或旨在消極操縱自動系統的數據的風險。中間層將把下層的輸出與作戰目標和因素結合起來，如時間、空間和力量的限制，以提供解決問題的方法和作戰功能。由于上層的對抗性數據注入的威脅較小，這些系統可以使用深度學習。深度學習是機器學習的一個子集，它不像其他形式那樣需要高度格式化的數據，但計算成本會更高，而且容易受到欺騙。深度學習將增加這一層的人類互動，并暴露出更復雜的關系。最高層將把C2流程應用于其他六個業務功能，以產生業務建議。中間層的每個功能人工智能將向其他功能人工智能和最高C2層提供建議。中間層的人工智能對復雜的數據和相鄰單位及C2功能的建議進行理解。

如果將中間層人工智能納入規劃和指導、收集、處理、分析和傳播的情報周期，將促進收集資產的更好分配。判斷對有限的收集資產的請求以滿足行動和戰術信息需求是JFMCC關注的一個問題。在收集計劃期間，人工智能可以使用已知的對手軌跡、地點、個人和組織來定義和優先考慮指定的利益區域（NAI）。在執行過程中，人工智能可以根據優先級驅動收集路線，就像企業用它來規劃送貨路線以減少勞動力、燃料和維護成本一樣。采集計劃者可以通過增加對手監視點的位置和范圍來減少反偵查的風險。在C2層面，指揮官和情報官員可以利用收集成果來證明更多的JFMCC收集資產和COA的修改。這種方法適用于其他功能。

人工智能可以在部隊部署不斷變化和對手存在不確定的環境中改善維持能力。相互沖突的要求使如何使用有限的后勤資產來滿足作戰人員的需求的決策變得復雜。后勤單位較低的生存能力促使人們決定是將它們帶入被對手防御系統拒絕的區域，還是將戰斗飛船引離目標。人工智能可以利用軍事和民用運輸的可用性、預先部署的庫存和供應商的響應能力來制定船舶和飛機需求的解決方案。企業利用人工智能準確預測需求，并分辨出影響運輸和倉儲的采購模式。維持型人工智能可以使用這個過程的一個變種，來計劃在高級后勤支持站點（ALSS）或前方后勤站點（FLS）的材料堆放。它可以決定如何以及何時使用穿梭船和站立船來運送到攻擊組。機器學習將使用燃料、食品和武器庫存、威脅環、戰備水平和維修時間來訓練維持人工智能。維持型人工智能可以提供比人類單獨完成的更有效的量化解決方案，并將其反饋給其他功能區和C2高層。

C2層將對來自下層的決定進行仲裁，并提供一個統一的建議。就像一個軍事組織的指揮官一樣，它將把其副手AI的建議合并起來。人工智能過程的早期階段使用傳感器數據和其他客觀信息來確定指揮官的方向；決定行動方案需要建立對戰斗空間的理解，這是一種更高層次的欣賞。戰斗空間的可變性和模糊性將使這一層的人工智能元素最難開發。最終，該系統將作為一個可信的智能體，壓縮指揮官負責的信息量。壓縮的信息減輕了時間有限的決策者工作時的疑慮負擔，使她能夠向下屬單位發出更及時的命令。

圖1說明了基于這些原則的系統的擬議架構。以對手預測為例，許多單一用途的ANI將在最低層結合原始傳感器和單位報告數據。它將評估敵方單位的最可能位置。公司分析評論、社交媒體和論壇發帖的情緒，以確定產品的滿意度。同樣地，這個系統將通過公開的言論和秘密的報告來確定對手的意圖。它將評估當前和歷史天氣模式，以評估氣候對敵人行動的影響。這三個輸入和其他信息將被功能情報ANI用來形成對敵方COA的評估。同樣，火力節點將使用敵人的組成、JFC的優先級和預測的彈藥可用性來產生目標指導。中間層節點將橫向傳遞他們的評估，以完善鄰近的建議，如部隊保護水平。獨立的功能建議也將直接反饋給C2層，以創建整體行動方案。

圖1. 海上人工智能系統的擬議架構

建議

首先，利用聯合人工智能資源的優勢，針對海軍的具體問題修改標準組件。擅長開發軍事人工智能系統的工程師的稀缺性將限制新系統的開發。美國防部的人工智能戰略具體規定了建立通用的工具、框架和標準，以便進行分散的開發和實驗。使用這些現成的組件，為人工智能決策網的所有子系統創建低級別的系統和標準接口。將海軍的資源集中于采購和實施用于海事具體決策的中層和高層系統。避免技術上令人著迷但無效的解決方案，并通過將職能領域的專家與設計團隊相結合來保持解決海事問題的目標。

第二，創建并維護可通過機器學習攝入的作戰數據數據庫，以訓練海軍人工智能。實施能夠在海上作戰中心（MOC）讀取和集中匯總基本作戰數據報告的技術和工藝，如燃料狀態、導彈裝載量。開發記錄和定性評分作戰決策結果的方法，如對手態勢的變化、傷亡修復率和公眾對行動的反應。將輸入與作戰決策和結果聯系起來的數據庫將加速開發符合現實世界標準的系統。

第三，將人工智能的使用納入政策和條令。條令應該編纂人工智能可以被整合到戰爭戰役層面決策中的領域。明確地說，關于情報、行動、火力、后勤、規劃和通信的海軍作戰出版物應說明人工智能在決策過程中產生優勢的地方和方式。描述海上聯合行動的聯合出版物應明確說明如何將JFC的要求解析為JFMCC的AI系統。如果國防部和海軍的政策對指揮官因整合人工智能的決策建議而產生的責任量進行了定性，那么他們在使用人工智能時就可以采取經過計算的風險。讓指揮官和作戰人員掌握使用人工智能的戰術、技術和程序將加速其在艦隊中的應用。

人工智能（AI）的最新進展為許多經典的AI應用帶來了突破，例如計算機視覺、自然語言處理、機器人和數據挖掘。因此，有很多人努力將這些進展應用于軍事領域，如監視、偵察、威脅評估、水雷戰、網絡安全、情報分析、指揮和控制以及教育和培訓。然而，盡管人工智能在軍事應用上有很多可能性，但也有很多挑戰需要考慮。例如，1）高風險意味著軍事人工智能系統需要透明，以獲得決策者的信任并能進行風險分析；這是一個挑戰，因為許多人工智能技術具有黑盒性質，缺乏足夠的透明度；2）軍用 AI 系統需要穩健可靠；這是一個挑戰，因為已經表明即使對所使用的 AI 技術沒有任何了解，AI 技術也容易受到輸入數據微小變動的影響，并且 3) 許多 AI 技術基于需要大量數據的機器學習訓練；這是一個挑戰，因為在軍事應用中經常缺乏足夠的數據。本文介紹了正在進行的項目成果，以說明軍事應用中人工智能的可能性，以及如何應對這些挑戰。

1 介紹

人工智能（AI），特別是機器學習（ML）和深度學習（DL），在十年內已經從研究機構和大學的原型設計轉向工業和現實世界應用。使用DL技術的現代人工智能已經徹底改變了傳統人工智能應用的性能，如機器翻譯、問答系統和語音識別。這一領域的許多進展也將其優秀的想法變成了卓越的人工智能應用，能夠進行圖像說明、唇語閱讀、語音模仿、視頻合成、連續控制等。這些成果表明，一個能夠自我編程的機器有潛力：1）提高軟件和硬件開發的效率，2）以超越人類的水平完成特定的任務，3）為人類以前沒有考慮過的問題提供創造性的解決方案，4）在人類已知的主觀、偏見、不公平、腐敗等方面提供客觀和公平的決定。

在軍事背景下，人工智能的潛力存在于所有維度的軍事空間中（即陸地、海洋、空中、空間和信息）和所有級別的戰爭內（即政治、戰略、作戰和戰術）。例如，在政治和戰略層面，人工智能可以通過制作和發布大量的虛假信息來破壞對手的穩定狀態。在這種情況下，人工智能很可能也是抵御這種攻擊的最佳人選。在戰術層面，人工智能可以改善無人系統的部分自主控制，以便人類操作員可以更有效地操作無人系統，最終擴大戰場影響力，增強戰場實力。

然而，正如我們將在這項工作中指出的那樣，有幾個關鍵挑戰可能會減緩或限制現代人工智能在軍事應用中的使用：

• ML模型的透明度和可解釋性不足。舉一個例子，使用DL對使用深度神經網絡（DNN）的自動駕駛汽車進行控制建模需要幾十萬個參數。顯然，這樣一個復雜的程序不容易被解釋。即使是使用替代的ML算法生成的模型，其中模型可以被圖形化，如解析樹或決策樹，即使在應用于玩具模型問題時，也很難甚至不可能解釋。一個更重要的挑戰是人工智能系統向決策者或人類操作者解釋其推理的能力，或者在這種情況下是無能為力的。
• 眾所周知，使用ML開發的模型很容易受到對抗性攻擊。例如，基于DL的模型可以很容易地通過操縱輸入信號而被欺騙，即使該模型對攻擊者來說是未知的。舉一個例子，使用最先進的目標檢測的無人駕駛飛行器（UAV）也有可能被地面上精心設計的偽裝圖案所欺騙。
• 任何 ML 應用的原料是機器可以從中學習并最終深入理解的數據。軍事組織通常擅長收集數據用于匯報或重建目的。然而，不能保證同樣的數據可以成功用于ML。因此，軍事組織可能必須調整其數據收集過程，以充分利用現代人工智能技術，如DL。

本文的目的是強調人工智能在軍事應用中的可能性和主要挑戰。第2節簡要介紹了DL，它是本文關注的主要人工智能技術。第3節提供了幾個人工智能在軍事領域中應用的例子。第4節描述了與軍事領域中人工智能的關鍵挑戰，以及部分可用于解決這些挑戰的技術。第5節提出了結論。

2 深度學習

我們所說的DL是指由多個非線性處理單元層組成的機器學習模型。通常情況下，這些模型由人工神經網絡表示。在這種情況下，神經元指的是一個單一的計算單元，其輸出是通過一個（非線性）激活函數的輸入的加權和（例如，一個只有在信號為正時才通過的函數）。DNN指的是具有大量串連神經元層（神經元層由神經元并聯組成）的系統。與DNN相對的是淺層神經網絡，它只有一層平行連接的神經元。

直到大約十年前，DNN的訓練幾乎是不可能的。第一個成功的深度網絡的訓練策略是基于一次訓練一個層。逐層訓練的深度網絡的參數最終使用隨機梯度方法進行微調（同時），以最大限度地提高分類精度。此后，許多研究進展使得直接訓練DNN成為可能，而無需逐層訓練。例如，人們發現，網絡權重的初始化策略與激活函數的選擇相結合是解決問題的關鍵。甚至一些技術，如在訓練階段隨機停用神經元，以及在信號到達激活函數之前對其進行歸一化處理，也已證明對于使用 DNN 獲得良好結果非常重要。

表示學習是DNN高性能的主要原因之一。使用DL和DNN，不再需要手動制作學習特定任務所需的特征。相反，辨別特征是在 DNN 的訓練過程中自動學習的。

支持 DL 應用的技術和工具如今比以往任何時候都更加好用。通過廉價的計算資源、免費的 ML 框架、預訓練模型、開源數據和代碼，僅使用有限的編程/腳本技能即可成功應用和定制高級 DL。

3 軍事人工智能應用

本節介紹了幾個可以應用人工智能來提高軍事能力的例子。

3.1 監視

海上監視是利用固定雷達站、巡邏飛機、船舶，以及近年來使用自動識別系統（AIS）對海上船只進行的電子跟蹤。這些信息源提供了大量的關于船只運動的信息，這些信息可能會揭示船舶非法的、不安全的、有威脅的和異常的行為。然而，大量的船舶運動信息使得手動檢測此類行為變得困難。因此ML-方法被用來從船舶運動數據中生成常態模型。任何偏離常態模型的船舶運動都被認為是異常的，并提交給操作員進行人工檢查。

一種早期的海事異常檢測方法使用模糊 ARTMAP 神經網絡架構根據港口位置對正常船舶速度進行建模。另一種方法是利用運動模式的關聯學習來預測基于其當前位置和行駛方向的船舶運動。其他方法則使用基于高斯混合模型（GMM）和內核密度估計（KDE）的無監督聚類。這些模型能夠檢測出改變方向、穿越海路、向相反方向移動或高速行駛的船只。最近的方法是使用貝葉斯網絡來檢測錯誤的船舶類型，以及不連續的、不可能的和徘徊的船舶運動。海事異常檢測的未來發展還應該考慮周圍的船只和多艘船只之間的互動。

3.2 水下水雷戰

水雷對海上船只構成重大威脅，被用來限制船只行動或阻止船只通過受限水域。因此，反水雷措施（MCM）試圖定位和消除水雷，以實現行動自由。越來越多地使用配備合成孔徑聲納 (SAS) 的自主水下航行器 (AUV) 進行水雷搜索，該水下航行器能提供厘米分辨率的海底聲學圖像。由于AUV收集了大量的SAS圖像，自動目標分類對于區分潛在的水雷與其他物體是很有用的。雖然對水雷的自動目標分類已經研究了很長時間，但DNN在圖像分類方面的高性能表現使人們對如何將這種辦法用于自動地雷探測產生了興趣。

一些研究顯示了DNN在水雷探測方面的潛力。例如，這些研究描述了如何將假水雷的形狀、類似水雷的目標、人造物體和巖石放置在海底的各種地理圖形位置上。然后用AUV和SAS對海底進行測量。結果顯示，與傳統的目標分類器相比，DNN的性能明顯提高，對水雷形狀的檢測概率更高，誤報率更低。同樣，這些研究也描述了如何生成圓柱形物體和各種海底景觀的協同SAS圖像，并這些圖像用來訓練DNN。進一步的研究可能會探究如何從所有類型的雜波物體中分辨出水雷，結合檢測和分類，以及對噪聲、模糊和遮擋的魯棒性等

3.3 網絡安全

入侵檢測是網絡安全的重要組成部分，可在惡意網絡活動危及信息可用性、完整性或機密性之前對其進行檢測。入侵檢測是使用入侵檢測系統（IDS）進行的，該系統將網絡流量分類為正常或入侵。然而，由于正常的網絡流量往往具有與實際攻擊相似的特征，網絡安全分析師對所有入侵警報的情況進行分析，以確定是否存在實際的攻擊。雖然基于簽名的IDS通常擅長檢測已知的攻擊模式，但它們不能檢測以前未見過的攻擊。此外，基于簽名的檢測的開發往往是緩慢和昂貴的，因為它需要大量的專業知識。這限制了系統對快速演變的網絡威脅的適應性。

許多研究使用 ML 和其他 AI 技術來提高已知攻擊的分類準確性、檢測異常網絡流量（因為這可能表明新的攻擊模式偏離了正常網絡流量）以及自動化模型構建。然而，這些系統很少被實際使用。其原因是，入侵檢測給出了具體的挑戰，如缺乏訓練數據、網絡流量變化大、錯誤成本高以及難以進行相關評估。雖然可以收集大量的網絡流量，但這些信息往往是敏感的，只能部分匿名化處理。使用模擬數據是另一種選擇，但它往往不夠真實。然后，必須根據模式是正常還是入侵，或用于確保無攻擊的異常檢測來標記數據以進行監督學習，這通常很難做到。最后，模型需要是透明的，以便研究人員能夠理解檢測限制和特征的含義。

另一項提高網絡安全的措施是在安全審計期間進行滲透測試，以確定潛在的可利用的安全弱點。由于許多網絡的復雜性和其中的大量主機，滲透測試通常是自動化的。一些研究已經調查了如何使用網絡的邏輯模型而不是實際的網絡將 AI 技術用于模擬滲透測試。網絡通常用攻擊圖或樹來表示，描述對手如何利用漏洞闖入系統。描述了模型在表征方式方面的不同之處：1) 攻擊者的不確定性，從抽象的成功和檢測概率到網絡狀態的不確定性，以及 2) 從已知的前后條件到一般感知和觀察的攻擊者行為-結果的服務。此外，通過網絡和主機的正式模型，可以對不同的緩解策略進行假設分析。未來對滲透測試的研究可能會使用攻擊者和防御者之間交互的認知有效模型，例如，深度強化學習來探索可能攻擊的大問題空間。

4 挑戰

正如第3節中的案例所示，在為軍事目的開發和部署的基于人工智能的應用之前，有一些尚未解決的挑戰是很重要的。在本節中，我們將討論我們認為對軍事人工智能最關鍵的挑戰：1）透明度，2）脆弱性，以及3）在有限的訓練數據下的學習。其他重要的，但不太關鍵的，與優化、泛化、架構設計、超參數調整和生產級部署有關的挑戰，在本節中沒有進一步討論。

4.1 透明度

許多應用除了需要高性能外，還需要高透明度、高安全性以及用戶的信任或理解。這種要求在安全關鍵系統、監控系統、自主智能體、醫學和其他類似的應用中很典型。隨著最近人工智能技術的突破，人們對透明度的研究也越來越感興趣，以支持最終用戶在此類應用中的使用與透明度相關的成果。

4.1.1 對透明度的期望

人工智能所需的透明度取決于終端用戶的需求。利普頓描述了透明度可能涉及五種類型的用戶需求：

• 1.信任-在用戶難以質疑系統建議的情況下。然而，可能不清楚用戶的信任是基于系統的性能或穩定性，相對于用戶的體驗，還是用戶對系統推薦的舒適度。
• 2.理解之前未知的因果關系，可以用其他方法測試。
• 3.由于與用戶的能力相比，模型的通用性有限，因此對系統性能的了解受到限制。
• 4.有關系統建議的一些補充信息。
• 5.公平性，以避免可能導致某些情況下的不平等待遇的系統性偏見。例如，對信貸申請的評估不應基于個人屬性，如性別或種族，盡管這種屬性可能在整體統計水平上用來區分人口群體。

原則上，有兩種方法可以使人工智能系統透明。首先，某些類型的模型被認為比其他的更容易解釋，例如線性模型、基于規則的系統或決策樹。檢查這些模型可以理解它們的組成和計算。Lipton描述了可解釋性取決于用戶是否能夠預測系統的建議，理解模型參數，以及理解訓練算法。其次，系統可以解釋其建議。這種解釋可以是文字的，也可以是視覺的。例如，通過指出圖像的哪些方面最有助于其分類。Miller 對社會科學研究中如何使用這些知識來設計 AI 系統的進行了的回顧。通常情況下，人們用他們感知到的信念、欲望和意圖來解釋其他智能體的行為。對于人工智能系統來說，信念對應于系統關于情況的信息，欲望對應于系統的目標，而意圖對應于中間狀態。此外，解釋可能包括行動的異常性、使成本或風險最小化的偏好、對預期規范的偏離、事件的回顧性和行動的可控性。主要的發現是：

• 解釋是針對特定的反事實案例而進行的對比性解釋。因此，解釋的重點是為什么提出特定的建議而不是其他建議。
• 解釋是有選擇的，并且集中在一兩個可能的原因上，而不是建議的所有原因。
• 解釋是一種傳遞知識的社會對話和互動。

4.1.2 可解釋模型的實例

貝葉斯規則列表（BRL）是可解釋模型的一個例子。BRL由一系列的if（條件）then（結果）else（替代）語句組成。Letham等人描述了如何為一個高度準確和可解釋的模型生成BRL來估計中風的風險。條件離散化了影響中風風險的高維多變量特征空間，結果描述了預測的中風風險。BRL在預測中風風險方面具有與其他ML方法類似的性能，并且與其他現有評分系統一樣具有可解釋性，但其準確性較低。

基于詞典的分類器是文本分類的另一個可解釋模型的例子。基于詞典的分類器將術語的頻率與每個類別中出現的術語的概率相乘。得分最高的類別被選為預測對象。Clos等人使用一個門控遞歸網絡對詞典進行建模，該網絡同時學習術語和修飾語，如副詞和連詞。受過訓練的詞典是關于論壇中的帖子是支持還是反對死刑以及對商業作品的看法。詞典的表現比其他ML方法更好，同時也是可解釋的。

4.1.3 特征可視化的實例

盡管DNN在許多應用中提供了很高的性能，但它們的子符號計算可能有數百萬個參數，這使得人們很難準確理解輸入特征對系統推薦的貢獻。由于DNN的高性能對許多應用來說是至關重要的，因此人們對如何使它們更容易解釋產生了濃厚的興趣（見一篇評論）。許多用于解釋DNN的算法將DNN處理轉化為原始輸入空間，以便將辨別特征可視化。通常，有兩種通用方法用于特征的可視化，即激活最大化和DNN解釋。

激活最大化會計算哪些輸入特征將最大限度地激活可能的系統建議。對于圖像分類來說，這代表了理想的圖像，它顯示了每個類別的可區分和可識別的特征。然而，由于各類可能使用同一物體的許多方面，而且圖像中的語義信息往往是分散的，所以圖像往往看起來不自然。激活最大化的方法的一些例子是梯度上升法，更好的正則化方法以增加通用性，以及合成首選圖像法。

DNN的解釋是通過強調區分輸入特征來解釋系統建議。在圖像分類中，這種可視化可能會突出顯示支持或反對某個類別的區域，或者僅顯示包含區分特征的區域。計算鑒別特征的一種方法是使用局部梯度或其他變化度量的敏感性分析。然而，敏感性分析的一個問題是，它可能顯示輸入中不存在的判別特征。例如，在圖像分類中，敏感性分析可能會顯示物體被遮擋的部分，而不是可見部分。逐層相關性傳播通過考慮特征存在和模型反應來避免這個問題。

4.1.4 具體應用解釋的實例

與分類不同的是，人工智能規劃是基于動態的領域模型。Fox等人描述如何使用領域模型來解釋為什么行動被執行或不執行，為什么一些行動不能被執行，使未來行動的因果關系，以及重新規劃的需要。

由于公平性對許多人工智能應用來說非常重要，Tan等人描述了如何利用模型蒸餾來檢測黑箱模型的偏差。模型蒸餾法將更大更復雜的模型進行簡化，而沒有明顯的準確性損失。為了提高透明度，他們使用了基于淺層樹的廣義加性模型，對每個參數和兩個參數之間的相互作用進行建模。他們根據黑盒模型的系統建議訓練一個透明模型，并根據實際結果訓練一個透明模型。對兩個模型的推薦差異的假設檢驗體現了黑盒模型引入偏差的情況，然后可以通過比較兩個透明模型來診斷偏差。該系統在犯罪風險、借貸風險和卷入槍擊事件的個人風險方面進行了評估。結果顯示，一個黑盒模型低估了年輕罪犯和白種人的犯罪風險，而高估了美國本土非洲裔犯罪的風險。

4.2 脆弱性

在本節中，我們討論DNN在兩個不同方面的脆弱性。1）對輸入操縱的脆弱性和2）對模型操縱的脆弱性。我們首先看一下對輸入信號的操縱：

4.2.1 對輸入進行對抗性處理

在提供DNN的情況下，人們發現很容易調整輸入信號，從而使分類系統完全失敗。當輸入信號的維度很大時，例如圖片，通常只需對輸入中的每個元素（即像素）進行不易察覺的微小調整，就足以欺騙系統。用同樣的技術來訓練DNN，通常是采用隨機梯度法，通過觀察梯度的符號，你可以很容易地找到每個元素應該朝哪個方向改變，以使分類器錯誤地選擇目標類別或僅僅是錯誤分類。只需幾行代碼，最好的圖像識別系統就會被欺騙，相信一張車輛的圖片是一只狗。下面的圖 1 顯示了操作前后的圖像以及操作前后類的可能性。

上述方法假設有對DNN的完全訪問權，即所謂的白盒攻擊。人們發現，即使是所謂的黑箱攻擊，即你只觀察到系統的輸入和輸出類型，也是可能的。在其中，作者采用從他們想要攻擊的黑盒系統中稀疏采樣所獲得的數據來訓練一個替代網絡。鑒于替代網絡，你可以使用上述的白盒攻擊方法來制作對抗性輸入。一個學習替代網絡的替代方法被提出來，在這個方法中，遺傳算法被用來創建導致系統錯誤分類的攻擊向量。同一作者甚至表明，通常只需修改圖像中的一個像素，盡管常常是可察覺的，就能實現成功的攻擊。

圖 1：從小型貨車到西伯利亞雪橇犬。 原始圖像和操縱（對抗性制作）圖像之間的絕對差異（放大 20 倍）顯示在右側。 對抗性示例（中心）是使用 Kurakin 的基本迭代方法（BIM）生成的。

4.2.2 利用預訓練 DNN 中的隱藏后門

當設計一個DNN，但只能獲得少量的訓練數據時，通常會使用預訓練的模型來達到良好的性能。這個概念被稱為遷移學習，一個常見的應用是采用在大量數據上訓練過的模型，根據具體問題替換和定制網絡中的最后幾層，然后在最后階段（有時甚至是整個系統）利用可用的訓練數據微調參數。目前已經有大量的預訓練模型可以從互聯網上下載。那么一個相關的問題是："我們怎么知道那些上傳模型的人沒有壞心眼？"。作者在識別美國交通標志的模型中插入后門，就考慮了這種類型的漏洞。例如，一個貼紙被訓練為屬于停止標志以外的類別。然后他們表明，當使用后門（即在交通標志上放置一個貼紙）時，基于美國交通標志網絡的識別瑞典交通標志的系統會有負面的反應（大大損害了瑞典交通標志系統的分類準確性）。

4.2.3 防御方法

減少DNN對輸入信號操縱的脆弱性的一種方法是在模型的訓練過程中明確包括被操縱/對抗的例子。也就是說，除了原始訓練數據外，還產生了對抗性例子，并用于模型的訓練。

另一種方法是使用一個叫做防御蒸餾的概念。簡而言之，該方法試圖降低輸出信號只指出真實類別的要求，并迫使其他類別的概率為零。這分兩步完成。第一步是對DNN進行常規訓練。在第二步，將第一個神經元網絡的輸出（類別概率）用作新的類別標簽，并使用新的（軟）類別標簽訓練一個新的系統（具有相同的架構）。這已被證明可以減少漏洞，因為你沒有把DNN與訓練數據貼得太緊，并保留了一些合理的類間關系。

其他防御方法，例如特征壓縮技術，例如均值或中值濾波或非線性像素表示，例如單熱或溫度計編碼。

不幸的是，所描述的方法都不能完全解決漏洞問題，尤其是如果攻擊者對模型和防御方法有充分的了解的話。

4.3 數據

在軍事背景下開發基于ML的應用是具有挑戰性的，因為軍事組織、訓練設施、平臺、傳感器網絡、武器等的數據收集應用最初不是為ML目的設計的。因此，在這個領域，往往很難找到真實世界的、高質量的、足夠大的數據集，可以用來學習和深入理解的。在本節中，我們將探討即使在有限的訓練數據中也可以用來建立ML應用的技術。

4.3.1 遷移學習

遷移學習（也在第4.2.2節中提到）是一種技術，通常在數據集較小和計算資源有限時使用。這個想法是在開發針對其他類似任務的新模型時，重復使用通常由 DNN 表示的預訓練模型的參數。至少有兩種方法可用于DL應用中的遷移學習：

• 重新學習輸出層：使用這種方法，預先訓練好的模型的最后一層被替換成新的輸出層，與新任務的預期輸出相匹配。在訓練過程中，只有新輸出層的權重被更新，其他的都是固定的。
• 微調整個模型：這種方法類似于第一種方法，但在這種情況下，可能會更新整個 DNN 的權重。 這種方法通常需要更多的訓練數據。

事實證明，遷移學習也可以提高模型的泛化能力。然而，隨著源任務和目標任務之間距離的增加，遷移學習的積極作用往往會減少。

4.3.2 生成性對抗網絡

生成性對抗網絡（GANs）是由Goodfellow等人發明的，是一種生成模型，可用于半監督學習，其中將一小組標記的數據與一大組未標記的數據相結合以提高模型的性能。基本的GAN實現由兩個DNN組成，分別代表一個生成器和一個判別器。生成器被訓練成產生假數據，而判別器被訓練成將數據分辨為真實或虛假。當這兩個網絡同時被訓練時，一個網絡的改進也會導致另一個網絡的改進，直到最后達到一個平衡。在半監督學習中，生成器的主要目標是產生未標記的數據，用于提高最終模型的整體性能。除了半監督學習之外，GANs還被用于：

• 重建：填補部分被遮擋的圖像或對象的空白部分。
• 超分辨率：將圖像從低分辨率轉換為高分辨率。
• 磁帶到圖像的轉換：將圖像從冬天轉換為夏天，從夜晚轉換為白天，等等。這項技術的一個軍事應用是可以將夜視圖像轉換為日光圖像。

4.3.3 建模和仿真

建模和仿真已被軍隊廣泛用于培訓、決策支持和研究等。因此，有很多經過長期驗證的模型，也有可能被用于生成ML應用的合成數據。例如，飛行模擬器可以用來生成置于不同環境中飛機的合成圖像。在這種情況下，標簽是自動的，因為在生成合成圖像之前，飛機的類型是已知的。然而，不足為奇的是，在將模型應用于真實世界的圖像時，使用合成圖像可能會導致性能不佳。目前正在探索的一種方法是采用GANs增強合成圖像，使其具有照片般的真實性。這種方法已經得到成功的應用。

5 結論

人工智能最近的突破正在逐漸達到可以用于軍事應用的地步。 該論文描述了在監視、水下魚雷戰和網絡安全中使用人工智能的一些可能性。 其他潛在應用包括使用半自動駕駛車輛和傳感器系統進行偵察、在具有長時間要求的防空系統中進行威脅評估、新興模式的情報分析、指揮和控制系統以及教育和培訓。 然而，人工智能的軍事應用需要考慮以下方面的挑戰：

• 確保模型性能符合軍事要求的透明度。
• 脆弱性可能會導致系統性能大幅度降低。
• ML的訓練數據不足。

專注于人工智能的透明度、可解釋性和可解釋性問題的研究人員已經取得了許多進展。這些進展中的許多部分也都可能被用于軍事人工智能應用中。然而，需要進行更徹底的需求分析以了解如何利用這些研究成果。軍事需求在風險、數據質量、法律要求等方面與一般情況相比非常不同，有些類型的透明度甚至可能不適用。此外，還需要對如何利用社會科學研究來提高人工智能的可解釋性進行更多研究。未來的研究還應該包括如何充分利用在視覺分析研究領域中開發地豐富的可視化技術。

由于目前還沒有解決脆弱性問題的有效方案，因此在監測這一研究領域不斷尋找有希望的解決方案非常重要。然而，在這種解決方案出現之前，有必要盡量減少外部對模型和防御技術的訪問。否則，對手可能會試圖利用這些漏洞來為自己謀利。

最后，遷移學習使其有可能將預先訓練好的模型應用于訓練數據和計算資源都有限的軍事應用。GAN是另一種有很前途的技術，它能夠采用標記的和未標記的數據進行學習（半監督學習）。GAN也可以與仿真結合使用，以提高合成的訓練數據的真實性。

在未來的軍事行動中，通過協調多智能體系統（MAS）來實施戰略機動以獲得對對手的優勢，是一個很重要的途徑。最近探索MAS協作的工作主要集中在識別、分類、驗證、實施，以及通過多智能體強化學習（RL）來研究新興的協作方式。強化學習方法可以通過探索和利用選定行動來響應特定環境中的突發行為，這有可能抑制對抗性協作，反過來又可以為各種情報、監視、目標獲取和偵察任務提供機會窗口。本報告簡要介紹了RL領域的突出工作及其在自主戰略機動協作式MAS中的潛在應用。

1 引言

美國陸軍現代化激增是由對手在多個領域（如陸地、海洋、空中、網絡、電磁和空間）對美國構成的威脅所推動的，這對美國利益的威脅超出了常規戰爭。預計未來的戰斗將在這些復雜的多領域環境中進行，人工智能（AI）將指導與人類士兵一起協同工作的機器人Agent的戰術、技術和過程（TTPs）。這些機器人將聚集在一起，形成智能多Agent團隊，與人類士兵有效協作，完成任務。

美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）的基本研究計劃（ERPs）構建了開發和實施智能多Agent系統（MAS）的具體計劃路徑。此類陸軍計劃為美國國防行動提供了關鍵研究問題的答案，這些問題匯聚在一起，指明陸軍未來司令部的現代化努力方向。人工智能用于自主機動性（AIMM）和新興超限技術（EOT）是ERP的例子，明確側重于使下一代戰車具有自主感知、學習、推理、規劃和機動能力。這些未來的自主系統將與人類智能體合作進行預測和規劃，并通過戰場上的自主機動（AIMM）和保護（EOT）向士兵提供支持。本報告重點關注需要進行的自主協作，以使多智能體系統（即人類、智能體或人類和智能體混合）在未來的軍事行動中取得成功。

集成和協調的MAS將需要技術的進步，重點是超越我們目前的能力，以有效地對付同等裝備的對手（同行或接近同行）的協作戰略機動性。一個直接的挑戰是開發能夠以良好協調方式自主和智能地工作的智能體團隊。這種能力要求智能體在執行關鍵任務時與士兵一起觀察、定位、決定和行動（OODA-Loop）。雖然新的努力促進了對多智能體范式中情報的一般理解，但目前對情報的解釋并不明確。最近的文獻表明，基于強化學習（RL）的方法可能為實現這種技術進步提供了一條可行的途徑，本文介紹的一系列工作就是證明。

在本報告中，介紹了RL領域的貢獻，以及它們在軍事環境中的潛在應用--特別是通過戰略編隊機動來抑制對手的協作，以實現戰場上的超越。最小化、限制或完全抑制對抗性多Agent行為中的協作是探索和執行在模擬情況下通過RL實驗得出戰略機動的一種手段。此外，協作的戰略機動可以通過各種RL方法學習，以告知防御部隊創造機會或優勢窗口的潛在途徑。

為了在模擬環境中通過戰略機動的RL方法實現MAS協作，我們首先介紹了近年來一些最突出的RL研究。最近在RL領域的進展（如alphago）促進了更復雜的多智能體強化學習（MARL）算法在現實世界應用。此外，近年來也有一些框架來實現多智能體協作。這些努力加在一起，可以為開發和實施多機器人協作提供一條道路，以便在為未來戰場設計的多機器人系統中實現戰略機動。

在下面的章節中，對近年來突出的RL方法進行了分類和概述，并表明這些方法與DEVCOM陸軍研究實驗室目前的研究和開發項目相一致。具體來說，本報告的重點是確定戰略機動的特定算法的優勢和劣勢。此外，對選定的RL方法類別進行了分類，以深入了解戰略機動的潛在實施，并考慮到情報、監視、目標獲取和偵察（ISTAR）任務。

2. 多域作戰中多智能體系統的戰略機動

簡單地說，戰略機動可以解釋為一組智能體協調他們的行動，通過戰勝對手來實現一個共同的目標。破壞，是戰略機動的一個特例，可以表示為對對手協作戰略機動的抑制。因此，戰略機動一詞的使用意味著至少存在兩個對立的或敵對的雙方，他們處于動態的斗爭中，通過限制、抑制或以其他方式破壞對手的協調或戰術，并強加自己的協作戰術來獲得對對方的優勢。

在本節中，提供了一個對抗性的交戰場景，其核心是使用選定的遠程資產，這些資產本質上破壞了友好部隊的交戰。圖1顯示了一個圖例，描述了與所述多域作戰（MDO）情景相關的選定資產和部隊的軍事符號學。根據MDO理論，在武裝沖突中，對手的遠程反介入和區域拒止（A2AD）火力系統可以被用來拒絕友軍在戰區的機動自由（見圖1）。這是通過將情報、監視和偵察（ISR）資產與致命性和非致命性火力相結合來實現的，以攻擊戰略和行動支持區的友軍指揮結構、維持能力和部隊編隊。這些地區是近距離地區作戰資產（如部隊和裝備）的傳統集結地（見圖2）。對手有能力在友軍后方深處識別和攻擊目標，導致這些實體在地理上與戰術支持區和近距離區分離，這有效地提高了友軍的損耗率，即所謂的對峙。鑒于前線部隊與戰略和作戰機動支援相分離，敵對勢力可以利用這種友軍孤立無援的情況，將其消滅。

圖1 友軍（BLUEFOR，左）和敵軍（OPFOR，右）部隊的資產和資源。在所描述的MDO情景中，假設BLUEFOR和OPFOR的所有資產都是自主化的編隊。

圖2 敵軍（OPFOR）使用遠程導彈和火箭炮干擾或破壞友軍（BLUEFOR）戰略支援區的維持行動，這使得友軍無法以有利的條件與近距離地區的敵軍機動部隊交戰。為了應對這一戰略，BLUEFOR執行反擊任務，以摧毀位于深火區的OPFOR遠程火力系統（藍色箭頭）。從深層機動區的BLUEFOR SOF發出的三叉箭頭代表了一種 "破壞 "戰術，它打破了對手的隊形和節奏。

圖3 壓制（S）或解除（N）敵方遠程火力系統和ISR資產，使友軍能夠穿透敵方的A2AD保護傘。這使友軍能夠在近距離地區擊敗敵人，并使機動指揮官有能力利用他們的成功，迅速將部隊轉移到深度機動區，摧毀（D）脆弱的敵方資產并追擊撤退的敵軍。F表示 "固定"，可有效減緩敵軍的行動。粗箭頭代表部隊移動的方向。

MDO理論規定了擊敗對手A2AD能力的計劃（即對峙），以便戰略和作戰機動能夠使前沿部署的友軍以有利的條件與對手交戰（即穿透和瓦解A2AD系統以利用機動自由）。在這里，我們只關注友軍（BLUEFOR）野戰軍和軍團與敵方A2AD系統交戰時的滲透和瓦解部分，這可能需要在未來的戰斗中使用自主MAS。此外，據推測，圖1中友軍（BLUEFOR）和敵軍（OPFOR）的所有符號都將包含自主化的編隊（例如，機器人戰車、自動瞄準系統、地面和空中的機器人ISR資產）。圖2和圖3分別顯示了利用這種符號學與自主化編隊進行戰略機動的情景圖。

如圖2所示，敵對的A2AD火力系統通過攻擊戰略和作戰支持區來創造對峙局面。友軍火力和防空部隊從太空和高空監視（未顯示）接收有針對性的情報，在狹窄的時間窗口內打擊高價值目標（即多管火箭系統[MLRS]），以減少對手的位置調整。除了監視之外，還可以采用戰略刺激--打擊來穿透和瓦解對手的遠程火力系統。

在ISTAR任務中，MARL可以通過利用敵軍理論和敵軍行動中的局部觀察，戰略性地照亮和跟蹤敵軍目標的位置。此外，經過MARL訓練的具有自主能力的編隊，結合高度機動和分散的空中和地面火力，可以開始壓倒對手的遠程防空。友軍可以利用經過訓練的MARL方法來利用對手的TTP，進行防空和地面火力的戰略機動。這些具有自主能力的編隊根據從戰略空基刺激收集的監視數據選擇地理位置。隨著對手的遠程火力系統被消滅，戰略和作戰支援部隊能夠向前方的作戰部隊推進（機動）（見圖2）。

敵軍利用ISR資產識別作戰支援區的友軍資產，并從作戰縱深火力區用遠程火力系統（即多管火箭炮）攻擊友軍。這些敵方火力擾亂了友軍在該地區進行傳統支援行動的能力，這反過來又導致這些活動在離部隊前線更遠的地方進行。這通過擴大戰場和緊張的補給線而造成地理上的對峙。此外，這還允許敵方機動部隊以有利于敵方既成事實的條件與近距離地區的友軍作戰。根據MDO的理論，為了消除對峙，友軍的炮兵系統必須在敵軍的火力和ISR資產部署之前識別、交戰并摧毀它們。友軍SOF通過破壞補給和指揮與控制（C2）節點以及為聯合火力提供目標數據來協助這項工作。這在敵人的A2AD保護中創造了缺口，可以被機動指揮官所利用。在這種覆蓋下，友軍機動部隊穿透并利用近距離和深層機動區域的缺口。

在作戰區，近距離和縱深地區的聯合部隊的戰略編隊可能是自主啟用的編隊（即MAS），利用MARL訓練的策略來利用對手的TTP（來自理論）、本地觀察和ISR收集的信息。如圖2所示，聯合部隊將協調其ISR和遠程精確火力的能力，為前沿部署的BLUEFOR部隊提供支持。在戰略和作戰單位的支持下，擁有自主能力的前線部隊可以在近距離和縱深地區進行協調，以分離和擊敗敵方資產。這將促進消滅敵對的前沿機動部隊（OPFOR），使遠程火力系統容易受到地面攻擊（瓦解），如圖2所示。

聯合火力（即友軍或BLUEFOR）壓制或消滅對手的遠程火力系統，使友軍機動部隊能夠進入并擊敗近距離區域的作戰部隊（見圖3）。然后，友軍機動部隊利用這一優勢，在深度機動區（見圖3中的D區）摧毀敵方的助推器。這將導致剩余的敵對機動編隊從近距離區域撤出，并在深層機動區域建立一個新的戰線。這個過程不斷重復，直到達到戰略目標或打敗OPFOR。這些協調活動在理論上可以通過人類士兵和自主多智能體系統之間的合作來實現。此外，鑒于目前正在積極研究開發和部署這種自主系統，預計未來的戰場將需要考慮像這樣的場景來規劃戰略機動。

本節提供了一個可以應用MARL方法訓練自主化編隊的場景；然而，在這種復雜的MDO環境中執行的具體RL方法還沒有經過測試，或者可能還不存在。下一節闡明了與利用RL方法為未來的MDO交戰訓練MAS有關的一些挑戰。

3 挑戰

在這項工作中，我們將重點聚焦到可以指導MAS克服與軍事防御MDO中戰略機動相關挑戰的RL方法。從技術上講，RL是機器學習（ML）的一個分支，它超越了從數據中建立精確的預測，通過在環境中產生行動來展示學習。這種學習的展示可以被認為是一種決策形式，但更準確的描述是通過狀態空間探索進行戰略行動選擇。

RL智能體在獎勵函數的基礎上進行學習（或訓練），最終確定在當前情況下（即該智能體在環境中的狀態），哪一個是智能體要選擇的最佳行動。例如，RL智能體可以與環境互動，產生與獎勵掛鉤的經驗，這將形成學習的策略（即一系列的狀態-行動對）。然而，在后面的章節中強調，目前的RL方法可能還不夠成熟，無法克服與人類類似的適應性相關的挑戰，以便在新情況或環境中進行智能決策。盡管RL算法有其缺點，但它們似乎是在軍事防御MDO中實現協調的MAS執行戰略機動的最有希望的途徑之一。

在多智能體任務中，協作通常是定義不清的，而且經常被用來表示一組智能體在某些合作任務領域中成功地執行了任務。在以前的工作中，開發并采用了各種新方法來測量執行合作任務時智能體行動之間的相互依賴性，以確認這些智能體事實上已經學會了協作。對協作的確認是確定MAS有能力與其伙伴合作的先決條件，而不是簡單地采取導致某種程度的優化行動。雖然在某些情況下，最佳行為可能是可取的，但如果任務以某種不可預見的方式發生了變化，一個簡單的最佳行為的智能體可能會在戰場上導致災難性的損失。因此，未來防御行動的MAS必須具有明確協作的能力。

在本節的其余部分，描述了與開發戰略機動MAS有關的一些挑戰，其中時間尺度、能力和局部目標可能有很大的不同（例如，MDO），但需要某種程度的協作。此外，假設更大程度的靈活協作可以促進任務執行的改進（例如，更快、更少的損失、非直觀的策略、有效處理不斷變化的能力/團隊組成）。

隨著環境在動態戰場上的變化，敵對雙方（至少）可能需要重復規劃和預測，以便1）跟上，或2）領先于對手的規劃和預測。經過RL訓練的MAS能夠學習這種動態的規劃和預測循環。另外，如果學習智能體建立了一個關于對手協作行動的適當模型，然后采取行動破壞這種協作，也可以實現這一目標。

在一個理想的情況下，一個被選來指導MAS行為的算法將學會處理環境、對手戰術和能力、自身能力（獲得新的能力或失去以前的能力）、團隊組成（例如，改變合作者）和局部目標的變化。然而，大多數最先進的（sota）方法受到經驗的限制（正如許多RL方法的情況一樣）。此外，在大多數模擬中，團隊的能力和組成通常是固定的，不能為算法提供足夠的數據來操作和處理任何上述的特征變化。因此，在選擇一種算法來指導旨在產生戰略機動的MAS的行為時，必須考慮新的或動態的事件、行為、資產和實體。

總之，目前的算法方法在復雜的軍事防御MDO環境中沒有達到所需的能力。目前的缺點可以分為三類。1）數據要求，由于情況的新穎性，數據是有限的，數據集不足以產生準確的預測，或者數據以某種方式被污染（例如，嘈雜、臟亂或對手的改變），2）有限的計算資源，以及3）算法不能泛化到訓練期間遇到的情況之外（例如，不同的目標、改變的能力或修改的團隊組成），導致狹隘或脆弱的MAS解決方案。

在下一節中，我們將更詳細地討論RL的缺點，以闡明如何克服這些問題，為軍事防御MDO環境提供解決方案。為此，我們介紹了現有的RL算法的分類法。這一努力應提供對有前途的RL技術更好的洞察力，這可能有助于確定最終應用于美國國防MDO的可行途徑。

4. RL技術和方法

學習算法的可擴展性是MDO中軍事任務的主要關注點之一，特別是因為這種任務可能需要大量的智能體來完成一個目標。此外，軍事任務可能涉及多個子任務，每個子任務都有自己的子目標，從而進一步復雜化了場景。在MDO中，預計一個子目標由無數復雜的戰略演習組成，這需要MAS的快速計算，以及使用最小計算資源（如在戰術邊緣計算）的最佳（或至少足夠）戰略。因此，一個可擴展的RL算法必須考慮到：1）環境和任務的復雜性；2）智能體（伙伴和對手）的數量，以便每個智能體能夠在通過RL學習過程中收集經驗時正確選擇行動。

環境復雜性（即智能體的狀態和行動空間的大小）可以指環境的狀態空間中可用的狀態數量，以及該環境中智能體可用的行動方案數量。RL算法的可擴展性是指在足夠復雜的狀態和行動空間中，在合理的時間和計算能力內計算最優策略的能力。環境的復雜性還包括納入額外的智能體（例如，擴展到MAS），其中狀態空間被放大以考慮到額外的智能體，而行動空間的大小被乘以該之智能體的數量。

通過使用狀態-動作對的表格來解決RL的可擴展性問題是不實際的，因為連續的領域會使表格無法維持，而且在合理的時間內同時更新所有智能體的表格條目是不可行的。即使有足夠大的計算資源（如過多的計算機內存）來包含所有的狀態，在每個狀態-動作對之間的學習也會太慢。與利用表格跟蹤狀態-動作對相反，一個解決方案是使用非參數函數近似器（例如，權重為參數的深度神經網絡）來近似整個狀態空間的值。然而，函數近似器必須是可微分的，這樣就可以計算出一個梯度，以提供參數調整的方向。

有兩種方法來訓練值函數近似器：1）增量方法和2）批量方法。增量方法使用隨機梯度，在梯度方向上調整近似器的參數，使估計值和目標值之間的誤差最小。然而，增量方法的樣本效率不高，因此不具備可擴展性。相比之下，批量處理方法從一組經驗中保存數據，并使用它們來計算函數近似值估計和目標值之間的誤差。批量方法與傳統的監督學習有共同之處，即結果是已知的（例如，數據被標記），計算近似值的估計值和實際結果值之間的誤差。這種類型的批量學習通常被稱為經驗重放。重復這個過程將導致最小平方誤差的解決方案。最近一個成功的經驗重放的例子是用深度Q網絡（DQN）玩雅達利游戲演示的。盡管函數近似法在復雜的環境中顯示出了成功，但如果不考慮額外智能體的加入（即非平穩性或部分可觀察性），單靠這種方法不太可能足以訓練出MDO場景的MAS。

與價值函數近似法相比，策略學習方法依靠策略梯度（PG）的計算來明確優化策略，而不是間接依靠價值函數。與函數近似方法相比，PG具有更好的收斂特性。PG方法比價值近似方法更受歡迎的主要原因是它們能夠在高維和連續的行動空間中有效（即在復雜環境中可擴展）。在蒙特卡洛（MC）策略梯度（例如REINFORCE算法）中，實際回報（選擇行動）與一個分數函數相乘，以計算梯度。該梯度被用于策略調整（通過改變參數值）以找到最大的回報行動。MC策略梯度具有高方差，收斂速度慢，因為它使用智能體的狀態-行動對在不同時間的整個軌跡來獲得一個返回值。另一種可能超越傳統函數近似方法缺點的解決方案是利用 "演員評論"方法。

在演員-評論家方法中，PG方程被修改為使用價值函數的近似值，而不是使用真實的行動-價值函數乘以分數（如REINFORCE算法）。這表明行為者按照評論者所指向的方向調整策略，以便使總的累積獎勵能夠達到最大。評論者的這一策略評估步驟可以通過使用組合值近似方法（即MC、時差-TD（0）和TD（λ））來完成。為了減少策略梯度的差異，可以使用一個優勢函數。優勢函數告訴我們，與一般的狀態值函數相比，一個行動比另一個行動（Q值）好多少。這意味著評論者必須估計Q值。一個有效的方法是使用TD-error，它是優勢函數的無偏樣本，評論者對一組參數進行近似。TD(λ)資格跟蹤也可用于評論者估計不同時間步長的值。有趣的是，MC（高方差）和TD方法可以與行為人一起使用，隨著時間的推移（即收集的經驗）修改策略。

由于MDO涉及軍事任務，RL算法必須有能力與許多其他智能體協調，以實現最佳的戰略機動，因此MAS的算法必須能夠與大量的智能體和異質資產一起擴展。算法的另一個重要能力是處理復雜狀態空間（即許多智能體）和多領域環境的大量觀察能力。在接下來的章節中，我們將討論在MDO中使用不同種類的RL算法對戰略機動的影響。

無模型算法可分為非策略性和策略性算法，其中狀態行動空間可以是連續的或離散的。在這一節中，討論了無模型算法的優勢和劣勢，以及它們如何與戰略機動相一致，從而實現MDO的目標。這一分析的目的是為尋找在MDO環境中實現戰略機動性的潛在算法方法提供方向。

4.1 深度Q網絡（DQN）

深度Q網絡（DQN）是一種單一的RL智能體算法，它被訓練用來玩行動空間離散、狀態空間連續的Atari 2600游戲。DQN使用一個用Q-learning訓練的卷積神經網絡，從高維輸入（連續圖像）中學習。

DQN算法是一種有效的樣本方法，因為它利用所有收集到的經驗來提取盡可能多的信息。DQN足夠強大，可以使用相同的超參數進行訓練，玩六種不同的Atari游戲，其中智能體在其中三個游戲中的表現比人類專家更好。

然而，DQN的一個缺點是，在理論上不能保證訓練好的神經網絡實現穩定的Q值預測（即在不同的獨立模型中，訓練好的策略可能會有很大的差異）。

鑒于DQN本質上是一個單一的RL智能體模型，它應該不足以在MDO中進行戰略機動。在MDO中，多智能體RL算法可能更適合，因為智能體在執行時間內典型的分散化，允許智能體彼此獨立運作。此外，DQN的原始實現只利用了四個觀察序列來學習Q值，這對于MDO中的戰略機動來說是不夠的。多個資產的戰略機動通常不能在如此短的時間間隔內被捕獲。事實上，這是DQN在評估的三個Atari游戲（即Q*bert、Seaquest和Space Invaders）中與人類相比表現不好的主要原因。然而，存在一些DQN的變體來解決這個問題和其他弱點。

Bootstrap DQN就是這樣一個變體，它學習了一個Q網絡的集合，以提高采樣效率，并克服了傳統DQN的不足之處。行動消除是另一種與DQN一起使用的方法，以解決大的行動空間。帶有記憶類型的DQN（即循環神經網絡）也可以用來處理部分可觀察性。如果一個智能體需要為完成任務而導航環境，這種方法就特別有用。另外，分布式DQN返回一個分布信息，可用于評估策略風險和減少最佳解決方案周圍的方差或噪音。

盡管DQN及其修改后的變體在處理比簡單的Atari游戲更復雜的任務方面很有前途，但DQN方法本質上缺乏一個多智能體預測機制來進行協作戰術，而這是MDO中戰略機動的需要。此外，DQN在大多數情況下計算量太大，無法用于軍事相關環境。最后，DQN算法方法對未見過的例子（例如，伙伴的新行為或環境中出現的實體/障礙）缺乏足夠的適應性。

4.2 深度確定性策略梯度（DDPG）

在現實世界中，大多數常規任務涉及連續狀態和行動空間。然而，DQN只考慮離散的狀態空間和低維的行動空間。處理連續狀態和行動空間的DQN的另一種方法是深度確定型策略梯度（DDPG）方法。DDPG通過結合價值函數近似和確定性策略梯度（DPG），推進了DQN方法的進展。DDPG利用行為批判的方法，可以克服連續空間的復雜性。這種無模式、非策略預測和控制算法可以執行物理控制任務（如車桿、靈巧的操縱、腿部運動或汽車駕駛）。

另一種使用深度神經網絡的方法是信任區域策略優化（TRPO）。這種方法直接構建一個隨機策略，而不需要演員-評論者模型（不要與環境模型混淆，這將使其成為一種基于模型的方法）。與TRPO類似，引導式策略搜索（GPS）不需要角色評論模型，而是使用軌跡引導的監督式策略學習以及一些額外的技術（例如，減少視覺特征的維度，在網絡的第一層增加機器人配置動態的信息）。因此，GPS的數據效率很高，如果需要的話，可以改編成DDPG。另一方面，PILCO首先學習一個概率模型，然后找到一個最佳策略。PILCO在某些問題領域具有很高的數據效率；然而，它的計算量很大。此外，D4PG對DDPG算法提出了一些改進：分布式評論者更新、分布式并行演員、N步返回和經驗重放的優先級，以實現對不同類別任務的更穩定和更好的解決方案。

從戰略機動的角度來看，DDPG算法的主要缺點是它被設計成一個完全分散的單一智能體算法（即獨立學習者）。因此，DDPG算法不便于在多智能體場景中進行協作。因此，使用DDPG所產生的戰略機動將不會產生協作的團隊行為。此外，DDPG不具備處理基于角色的多目標任務的能力，而這是軍事行動中戰略機動的要求。

4.3 多智能體深度確定性策略梯度（MADDPG）

RL智能體互動對于戰略機動的人工智能系統至關重要，不同的智能體可能需要組成團隊來抑制對手的戰略合作或抑制對手的協調。Q-Learning和PG方法分別受到非平穩性和高方差的影響。為了克服這些問題，多智能體深度確定性策略梯度（MADDPG）算法擴展了一個演員評論家方法，這使得它可以通過集中智能體訓練而對多智能體系統發揮作用。MADDPG框架采用集中式評論家家進行訓練，并在測試期間部署分散的演員。一個評論者（每個智能體都有一個）接收每個智能體的策略，這允許開發具有潛在不同獎勵功能的依賴性策略（例如，MADDPG允許訓練具有相反獎勵功能的對抗性團隊）。相反，演員（即策略網絡）在訓練和測試期間只擁有本地知識。演員（通過訓練）在與評論者評價一致的方向上反復改進策略。

MADDPG的一個主要弱點是，對Q函數的輸入隨著環境中智能體數量的增加而增加（不可擴展）。這給MDO中的戰略機動性帶來了問題。如果智能體需要被替換、添加、修改或移除，可能需要進行再訓練。在戰略機動中，智能體可能需要定期轉換角色或改變能力，這對MADDPG適應軍事領域構成了重大挑戰。此外，頻繁的再訓練將使快速戰略機動變得不可能。縮短訓練時間將減少邊緣的計算負荷，使快速戰略機動成為可能。MADDPG不能適應這種極端情況。對于軍事應用，希望有一個強大的對手或智能體模型，以便使作戰時間最大化（即有足夠的時間來執行戰略機動）。

為解決其可擴展性問題，對MADDPG的一個潛在修改是形成智能體集群，為集群而不是每個智能體單獨學習一個策略。在發生新事件的情況下，可以推遲重新訓練的需要，因為從理論上講，一個智能體集群將有一套處理動態情況的可變能力。此外，這將避免隨著智能體的修改或新智能體的引入而增加Q函數的輸入空間。然而，問題來了。我們怎樣才能將一個任務分解成部分獨立的子任務，并使最優分組策略的退化程度最小？

雖然MADDPG可以形成一組異質的多智能體策略，能夠完成不同的任務，但這種方法不能很好地擴展到十幾個智能體。隨著智能體數量的增加，策略梯度的方差會呈指數級增長。因此，這種方法不太適合MDO中的戰略機動，在這種情況下，必須考慮到40多個異質智能體的對抗情況。克服這一可擴展性問題的方法是均值場多智能體RL算法，該算法計算鄰近智能體Q值的均值估計，當智能體之間的鄰近互動變得復雜時，可能導致高誤差率。此外，進化種群課程算法的設計是為了通過將遺傳算法方法與RL相結合，使MADDPG具有可擴展性。隨著MADDPG的進步和該方法所顯示的成功，可以想象這些算法的進步會導致在模擬實驗中對MDO內的戰略機動性進行強有力的演示。

與MADDPG不同的是，反事實多智能體（COMA）方法對所有智能體使用一個集中的評論家，但被設計用于離散的行動空間。COMA比MADDPG更具可擴展性，但它可能導致一套同質的策略，在智能體能力充分不同、局部目標不同或獎勵函數不同的情況下可能失敗。與MADDPG類似，Minmax多智能體DDPG（M3DDPG）比MADDPG的原始版本增加了一項改進，允許智能體制定更穩健的策略來對抗對手（即具有對立獎勵結構的競爭游戲）。然而，M3DDPG仍然無法處理異質智能體被引入系統的情況。

在具有連續狀態和行動空間的環境中實施算法，有時需要利用常見的技術來操作輸入或輸出，如離散化狀態和行動空間或將離散的策略輸出轉換為連續輸出。轉換策略輸出的一個例子是OpenAI多智能體粒子環境中MADDPG的實現。在這個例子中，離散的策略組件被用來計算連續的行動。從另一個角度來看，多智能體轉化器軟雙Q學習算法將連續行動空間離散為一組速度和角速度控制，然后可以在運動模型中使用。盡管這些技術允許在連續環境中使用這種算法，但這些算法方法沒有用連續信息進行訓練，這可能會限制它們在物理環境中進行戰略機動的功效。

4.4 價值為本

最近的一個基于價值的MARL算法系列在非常復雜的《星際爭霸2》模擬環境中被證明是相當成功的，其中根據智能體的本地Qa值學習了一個集中的聯合行動值Qtot。然后通過線性argmax算子從Qa中提取一個分散的策略。這種非常簡單而有效的分解方法避免了學習聯合行動值，而聯合行動值的規模并不大。如果增加新的智能體或用新的能力替換智能體，仍需進行再訓練。然而，與MADDPG相比，它更具有可擴展性，因為單個Q值僅從局部觀察中學習，避免了通過學習因子化的Qtot來學習聯合行動值。但是，當有超過40個智能體時，這個系列的算法的可擴展性可能會受到挑戰。為了使其更具可擴展性，已經提出了基于角色的算法RODE，其中智能體的角色是根據他們對環境的影響對他們的行動進行聚類來確定。該算法對于大量的智能體顯示了非常有希望的結果。

對于戰略機動，RODE算法是非常有前途的，因為各組智能體可以被分配到不同的角色，其中角色可以基于他們的行動和對環境的影響或任何其他固定的行為（對于盟友或甚至敵人）。然后，該算法可用于不同群體的戰略角色轉換。由于不同角色的行動空間受到限制，該算法收斂得非常快。這種算法也適合于基于角色的技術的戰略使用，這可能會在未來的工作中進行研究。即使RODE是非常可擴展的，我們也不清楚當新的智能體將被添加到環境中時如何調整它；需要學習一個集中的策略以實現最佳協作。

與RODE算法相比，一種可擴展的多智能體強化學習方法部署了一種熵-規則化的非策略方法來學習隨機價值函數策略，實驗表明它能夠擴展到1000多個智能體。如前所述，可擴展的RL算法關注環境的復雜性--系統或團隊中的智能體越多，狀態空間越大。RODE是有限的，因為它使用一個集中的策略，當更多的智能體被引入到環境中時必須重新訓練。多智能體轉化器軟雙Q學習算法是一種集中訓練的非策略學習算法（即共享一個中央經驗重放緩沖器），其執行是分布式的（即每個智能體根據其本地觀察做出自己的控制決定），而不是來自中央控制器。由于這種分布式的方案，當智能體被添加或從系統中移除時，團隊不受影響，繼續執行他們的策略。

在可擴展性方面，訓練大型MAS（即許多智能體）是很困難的，而且已經表明，即使是最先進的算法也不能為復雜的MARL任務學習到高性能的策略。多智能體變換器軟雙Q學習通過在訓練期間利用啟發式方法緩解了這一可擴展性問題，該方法允許在較小的智能體集合上訓練策略（例如，在目標追蹤場景中，四個智能體追蹤四個目標），并且該策略已被證明可以在執行中與更多的智能體一起工作而不需要任何調整（即用1000個智能體測試和評估）。訓練和執行過程中使用的啟發式方法使算法能夠解決智能體數量的巨大分布變化：它基本上將測試時的大型復雜觀察空間縮減為接近智能體策略最初訓練的內容。從軍事角度看，這種提法是戰略機動的理想選擇，因為現場的智能體可能會在原地丟失或獲得，可能要考慮額外的戰略信息。一個靈活和可擴展的算法提供了MDO中所需要的能力。

5. 洞察力和結論

由于一些因素，包括科技進步，美國的對手正在變得更加先進。在未來的MAS自主戰爭中，協作的戰略機動可以為國防軍帶來某些優勢。在這篇文章中，我們討論了一些最突出的RL算法，以發現訓練MAS的可行候選策略，這些MAS可以有效地進行戰略機動，從而在未來潛在的軍事行動中打開機會之窗。本文描述了RL方法的分類法，并對最突出的RL算法進行了概述。研究發現，由于訓練和測試因素的不同，大多數RL算法缺乏處理與未來潛在沖突相關的復雜性的能力。

DEVCOM ARL ERPs為開發和實施智能MAS提供了一個規劃性的路徑。鑒于陸軍研究項目為美國國防行動提供了關鍵研究問題的答案，AIMM和EOT ERPs特別促成了研究，可以為協作的自主MAS提供一個路徑，可以克服與1）環境，2）對手戰術和能力，3）自身能力（即，獲得新的能力，失去以前的能力，或能力被改變），4）團隊組成（例如，增加、刪除或交換隊友），5）戰略團隊定位、進入、導航（機動）以支持部隊并壓倒對手，以及6）任務目標。最近，AIMM和EOT ERP在這一領域的工作闡明了衡量MAS協調性的方法，并允許開發一個框架來訓練和測試執行各種任務的MAS的協調性，此外還評估了利用一系列集中訓練技術的新算法方法。

此外，還需要進行更多的調查，以闡明有利于在ISTAR任務和其他交戰場景中利用MAS的軍事戰略。在淺顯的情況下，將完全自主的MAS送入高風險情況（即預期因果率高的情況）是可取的；然而，由于目前的技術限制，僅僅期望MAS能夠在沒有人類監督或干預的情況下完成任務是不夠的。因此，在未來的工作中，將進行研究以確定一套強有力的交戰方案。最后，這項工作將導致自主MAS的最終整合，以便在未來的軍事行動中盡可能地協調戰略機動。