60 多年來，美國國防部（DoD）一直在投資人工智能（AI），并將數據和人工智能系統投入實戰。如今，數據、分析和人工智能技術越來越多地應用于美國防部各部門，并為軍隊提供價值。

伴隨著行業的進步，美國防部多年來一直在穩步、迅速地改進其數據基礎和分析能力：通過研發嘗試人工智能，將這些技術整合到業務和作戰功能中，并為其大規模使用奠定基礎。隨著投資、實驗和創新的繼續和加速，現在的任務是推動這些技術在整個事業的推廣。

雖然戰略競爭對手對人工智能有著宏大目標，但美國及其軍隊在人才、作戰經驗、技術可用性和系統集成方面擁有強大的結構性優勢。為作戰人員配備更快做出更好決策的工具和資源，將提高作戰效率，使作戰能力和指揮人員更加有效，并為采用新的作戰概念創造機會。

負責任地迅速實現數據、分析和人工智能的全部承諾并不只是某個組織或項目的工作，而是所有人的責任。例如，將美國防部數據作為企業資源提供，需要更多的共享和協作。尋求一種靈活的戰略方法，以指導整個美國防部的分布式行動，激發學習運動，并利用所有的人員、流程和使能技術。

在整合分析和人工智能應用的過程中，看到了它們的優勢，也吸取了它們局限性的重要教訓。從會議室到戰場，還有更多工作要做，例如提高數據質量和改善網絡基礎設施。本戰略將指導如何加強美國防部部署數據、分析和人工智能能力的組織環境，以獲得持久的決策優勢。

無人飛行器/無人機（UAV）技術的最新進展極大地推動了無人飛行器在軍事、民用和商業領域的應用。然而，為無人機群建立高速通信鏈路、制定靈活的控制策略和開發高效的協同決策算法等方面的挑戰，限制了無人機群的自主性、魯棒性和可靠性。因此，越來越多的人開始關注協作通信，使無人機群能夠自主協調和通信，在短時間內合作完成任務，并提高效率和可靠性。本研究全面回顧了多無人機系統中的協作通信。我們深入探討了智能無人機的特點及其自主協作和協調所需的通信和控制要求。此外，還回顧了各種無人機協作任務，總結了無人機蜂群網絡在密集城市環境中的應用，并介紹了使用案例場景，以突出基于無人機的應用在各個領域的當前發展情況。最后，我們確定了未來需要關注的幾個令人興奮的研究方向，以推進無人機協作研究。

無人飛行器中的協作

起初，單無人機系統用于導航、監視和災難恢復，每個無人機作為一個孤立的節點直接與中央地面站連接。然而，在單無人機系統中，由于無人機在指定區域內獨立運行，因此更容易出現系統和通信故障。此外，無人機在網絡中獨立工作還需要更長的時間和更高的帶寬來完成任務。相比之下，在多無人機系統中，無人機共同工作以實現共同目標。例如，無人機可以協同工作，生成高分辨率圖像和三維地圖，以確定救災過程中的熱點區域。同時，配備嗅探器的無人機可以探測到高濃度的甲烷，從而找到破損的天然氣管道。因此，無人機還可以在不危及救援人員生命的情況下提供水和食物。因此，協調與合作對于在多無人機環境中實現理想性能至關重要。本節將詳細討論協作式無人機的要求和挑戰，如智能、通信、控制和協作。此外，我們還將介紹最先進的協作通信方法，以突出無人機網絡的貢獻和局限性。

A 智能無人機

傳統無人機的主要組成部分包括傳感、通信、控制和計算單元 [25]。傳感單元由集成在無人機上的多個傳感器組成，用于不同的目的，如評估高分辨率物體、溫度估計、光探測和天線配置[36]。同時，通信單元使無人機能夠相互通信并與中央控制站交換信息。強制控制單元通常控制傳統無人機的操作，包括避免碰撞、路徑規劃、目標跟蹤和資源管理。然而，與中央控制單元的頻繁通信以及無人機與無人機之間有限的通信能力限制了無人機獨立完成任務的自主性和協作性。例如，在救災行動中，具有自主功能的多架無人機可以執行協作功能，如一組無人機可以檢查危險區域，而其他無人機可以執行醫療援助補給投放任務，幫助災民。此外，配備高分辨率攝像頭和資源管理算法的無人機可以執行智能決策，將損失降到最低。同時，當無人機對城市環境中的風向模式有了更深入的了解后，它們可以利用這些知識避開亂流，選擇能量最小的路線，而無需頻繁接受控制單元的指令。

同樣，具有協作通信能力的智能無人機可以執行各種分布式操作，并為智慧城市應用做出獨立決策[32]。例如，在城市環境中工作的無人機需要與其他傳感設備、機器、機器人、無人機和人進行高度協調和協作，才能執行某些操作。因此，加強合作和對部署環境的了解有助于無人機與周圍物體進行無縫互動，以處理監測到的數據并做出實時決策，從而提高復雜環境中的安全性和可靠性[37]。同樣，無人機可以通過對城市環境中周圍物體的語義理解來提高物體識別能力，從而更好地理解和設計與周圍環境互動的方法。

然而，由于缺乏高效的智能自主無人機對無人機通信機制，無法實現無人機的獨立飛行、軌跡形成、目標定位和數據操作決策，這阻礙了基于無人機的應用范圍。因此，為了從無人機的天然特性（如高機動性、靈活部署和不同類型傳感器集成）中獲益，有必要更加關注無人機的自主性和智能協作通信能力集成，以提高無人機作為一個團隊了解環境、共享知識和資源以做出智能決策的性能，而無需高度依賴中央控制的系統指令[38]。

B 通信要求

在多無人機系統中，無人機之間以及無人機與中央骨干基礎設施之間都要進行通信，以順利完成各種指定任務。無人機與基礎設施網絡之間的通信一般遵循兩種通信模式，即無人機與基礎設施之間的通信和無人機與無人機之間的通信，以交換數據并確保高水平的連接性，從而實現協作通信。本節將詳細討論這兩種模式的通信要求。

1. 無人機對基礎設施： 如圖 2 所示，無人機對基礎設施通信可實現無人機與基礎設施網絡之間的信息傳輸，使用的平臺包括地面平臺、高空平臺（HAP）和衛星。無人機可充當通信中繼站、用戶或基站，以建立有效的通信。在無法直接聯系的情況下，無人機作為中繼器可在地面站和遠程基礎設施之間提供無線覆蓋。無人機作為中繼器具有許多優勢，如覆蓋范圍大、速度快、通信信道清晰、易于部署、數據轉發模式可靠等 [39]，[40]。無人機還可以作為用戶將任務卸載到邊緣服務器，從而以較低的延遲增強覆蓋范圍 [41]。與此同時，當無人機作為基站工作時，它們能為異構網絡提供更靈活的通信服務解決方案，因為它們能實現更好的 LoS 傳播、可擴展性和更高的運行高度[42]。本節重點介紹使用上述各平臺實現高效無人機群的主要通信要求。

2. 無人機對無人機通信： 除了無人機與基礎設施之間的通信外，有效的無人機對無人機鏈路可使無人機群克服各種基本挑戰，如自主飛行、避免碰撞、分布式處理和聯合行動。最新文獻提出了提供無人機對無人機通信的多種方法，包括衛星通信鏈路、Wi-Fi 鏈路、超高頻（UHF）鏈路、蜂窩通信鏈路、長距離廣域網（LoRAWAN）和自由空間光學（FSO）鏈路。本節將討論這些不同方法對實現穩定可靠的無人機對無人機通信的要求。

C 控制要求

由于無人飛行器體積小、成本低，因此需要一種成本效益高的控制系統，能夠在起飛、著陸、懸停、機動性、高度控制、定位和避免碰撞等方面實現靈活的移動和軌跡跟蹤。下文將討論無人機的主要控制要求：

• 起降：無人機可分為固定翼和旋翼兩種，兩者對起降都有特定要求。固定翼無人機的起飛和降落需要跑道，而旋轉翼無人機可以垂直起飛和降落，從而提高了其在各種民用領域的適用性[69]-[71]。在文獻[72]中，作者提出了一種混合垂直起降 VTOL 解決方案，該方案將固定翼和旋轉翼無人機的功能集成在一個平臺上，從而實現了長續航時間和高飛行效率。VTOL 方法需要一個固定翼位置控制器、旋轉翼位置控制器、過渡控制器和基于氣動特性的 VTOL 混合器，以實現過渡和提高飛行穩定性。在另一項工作[73]中，不同的 PID 控制器用于沒有跑道和發射回收設備的 VTOL，通過控制指令實現平穩運行。此外，在現有文獻[74]-[76]中，還介紹了使用可見光攝像傳感器、全球定位系統和 IMU，利用 PID 控制器進行起降的各種解決方案。

• 受控運動和懸停： 無人飛行器的旋翼使用螺旋槳，可實現滾動、推力控制、俯仰、偏航和六個自由度的旋轉、機動和懸停。無人飛行器的控制算法可調整滾轉、俯仰和偏航，以實現在 X 軸、Y 軸和 Z 軸上的穩定旋轉。現有研究提出了各種控制無人機運動的模型，例如，Thu 等人在文獻[77]中根據 "+"和"×"飛行配置，模擬了著名的四旋翼飛行器控制系統，以實現靈活的運動和機動。在另一項研究[78]中，設計了一個動態模型來控制無人飛行器在一個旋轉軸上的運動。Elkaim 等人在文獻[79]中介紹了一種無人機控制系統，該系統利用位置、速度和高度估計來控制無人機的運動和軌跡形成。另一篇論文[80]介紹了一種自主無人機飛行控制系統，該系統集成了全球定位系統，可生成最佳飛行路徑。此外，現有文獻還對油門運動、狀態信息和機載傳感組件進行了分析和建模，以實現穩定機動和懸停 [81]-[83]。

• 飛行中控制： 無人機的位置和速度等狀態信息用于引導和控制無人機進行著陸或物體跟蹤等精確操作。遙控航空模型自動駕駛儀（RAMA）在文獻[84]中有詳細描述，它利用高度、角速度和位置信息來設計小型無人機的控制系統。此外，PID 控制器也引起了學術界和工業界對無人機自主運行的極大關注 [85]。集成 PID 自動駕駛儀可實現一整套無人機自主導航和實時操作的航空電子設備 [86]。此外，PID 控制器還能提高可靠性，并以最小的誤差和能耗將飛行中的無人機穩定在預定軌跡上。

• 避免碰撞：這是無人機設計中確保無人機自主飛行的基本要求。現有文獻 [80]、[87] 提出了各種方法，如 GPS 導航和不同的防撞傳感器來避免碰撞。此外，根據現有研究[88]、[89]，廉價的商用傳感器（如紅外、壓力和高度傳感器）可以很容易地集成到無人機飛行系統中，以估計與障礙物的距離，從而控制其移動。此外，無人機的精確位置估計和軌跡規劃也是避免碰撞的基本要求[90]。

D 協同執行任務

本節將全面介紹協作通信方面的現有發展。無人機的協同任務允許多架無人機共享信息，以分布式的方式低成本、高效率地執行各種任務，并提高靈活性、魯棒性和容錯性。近年來，人們提出了一些協作通信架構，主要側重于將無人機網絡與 WSN、Ad-hoc 網絡和物聯網范例整合起來，以實現有效監測和數據收集[91]。此外，還提出了一些基于蜂群的方法，用于協作軌跡規劃、路由選擇和目標定位。

1. 基于蜂群的協作通信： 最近有幾項研究利用無人機群在短時間內協作完成任務，具有更好的覆蓋范圍、可靠性和效率。

2. 無人機群網絡的深度強化學習： 在過去幾年中，強化學習技術已被廣泛應用于提高無人機蜂群網絡在復雜環境中的路徑規劃、導航和控制性能[97], [98]。

3. 軌跡形成： 協作軌跡形成可使多個無人機找到從起點到目標點的最佳路徑。這是無人機系統的新興研究領域之一，因為協同路徑規劃可最大限度地降低定位成本、改進機動決策并有助于避免碰撞 [109]-[111]。

4. 合作目標定位： 精確定位可為目標指示、空中拍攝、數據傳感和空對地攻擊帶來顯著優勢[121]。

5. 數據收集： 在過去的幾年中，人們引入了許多協作通信機制，以改善遠程數據收集體驗[128]。

6. 協同決策： 無人機的自主操作需要做出復雜的決策，以實現應用目標，如消除威脅或時間緊迫的救援行動。這些復雜決策受到信息不足、高度不確定性、延遲和任務耦合的影響 [137]。

人們普遍認為，將機器學習融入軍事決策對于美國在 21 世紀保持軍事主導地位至關重要。機器學習的進步有可能通過提高整個國家安全企業級決策的速度、精確度和效率，極大地改變戰爭的特點。美國國防部的領導者們認識到了這一點，并正在做出大量努力，以在戰爭的戰術、作戰、戰略和機構層面有效整合機器學習工具。

本報告將探討機器學習的一種應用，其重點是在競爭和沖突的作戰層面實現軍事決策。展示了機器學習如何與人類合作，作為決策系統的一部分，用于提高軍事行動和活動的有效性。展示了這種方法如何通過分析原本無法獲取的數據源，為指揮官提供有關作戰環境的新見解。將重點放在從大量基于文本的數據（如報紙報道和情況報告）中獲得的洞察力上，這些數據無處不在，但卻很少以任何系統的方式整合到決策中。

在本報告中介紹的方法以人機協作系統的概念為基礎，并證明了現有的機器學習能力需要人在各個階段的參與，才能證明對操作層面的決策有用。因此，機器學習能力的發展與雷達自二戰以來的演變密切相關，而雷達是人機協作用于軍事目的的最早范例之一。如今，與不列顛之戰期間使用的預警系統同樣依賴雷達機器和人類觀察員一樣，機器學習仍然需要人類的參與，以指導這種新傳感器使用正確的數據，正確解釋其輸出結果，并評估其結果對作戰決策的影響。

通過一個基于真實世界數據和真實世界危機的示例研究，將讀者（"您"）置身于一名軍事指揮官的視角，就 2022 年俄羅斯全面入侵烏克蘭之前，美國如何支持烏克蘭兵力應對俄羅斯支持的烏克蘭東部叛亂，展示了這一系統方法的實際應用。在撰寫本案例研究時，把讀者您當成了這位指揮官，因為目標是強調您在未來與機器學習工具的合作中可能扮演的關鍵角色--無論是作為分析師、決策者，甚至是在現實世界的類似背景下應用這些工具的軍事指揮官。

值得注意的是，本案例研究是基于 2014-2020 年間的數據于 2020 年 12 月完成的，僅分析了這一時期與俄羅斯支持的烏克蘭東部叛亂有關的實地情況。本研究尚未更新，以反映自 2022 年 2 月俄羅斯入侵烏克蘭以來所獲得的任何見解。然而，從入侵前的視角來看，機器學習在后來發生的現實世界事件中用于作戰決策的優勢和局限性也就不言而喻了。

在整個案例研究中，將看到為本報告目的而進行的基于機器學習的實際評估結果，該評估分析了來自烏克蘭的 18,000 篇歷史新聞報道，內容涉及從 2014 年沖突起源到 2020 年末的沖突。利用機器學習工具從這些數據中提取相關見解，并與分析結果進行互動，就向烏克蘭兵力提供何種類型的支持以及在俄羅斯入侵前實現美國在該地區的目標做出名義上的決策。在此過程中，人機協作學習的優勢將逐漸顯現，將親眼目睹機器學習工具如何快速、系統地利用以前無法獲取的數據，為復雜問題提供新的見解。但這種方法的局限性也會顯現出來，將親眼目睹機器學習的好壞取決于支持它的可用數據，以及訓練機器學習工具和解釋其結果的人類分析師。

人機協作方法適用于軍事決策者在陸軍和美國防部作戰和機構層面面臨的各種問題集。因此，本研究以具體證據清晰地展示了在軍事決策中使用機器學習所涉及的權衡問題，為機器學習在軍事領域的廣泛應用做出了貢獻。本研究為美國陸軍提出了幾項重要發現和建議。

研究問題

• 指揮官如何利用機器學習進行作戰決策？
• 人類分析師應如何與機器學習工具合作以實現作戰決策？

主要發現

首先，分析展示了機器學習在軍事決策方面的巨大潛力，但只有在與對特定問題背后的背景有詳細了解的人類分析師配對時才能實現。在此提出的機器學習方法不會取代人類分析師。相反，它能使人類分析師更高效、更嚴謹，并能更好地從以前未開發的數據源中提取洞察力。在案例研究中，通過使用機器學習獲得的大多數關鍵見解都需要人類分析師的額外干預。在某些情況下，這需要在模型結果的基礎上有選擇性地疊加額外的數據源。在其他情況下，則需要人工分析師手動審查機器學習工具認為相關和有趣的基礎數據。因此，美國陸軍現有的機器學習能力需要人類在各個階段的參與，才能充分發揮其潛力。

其次，分析表明，通過大幅提高執行重復性任務的效率，人機協作方法可以大規模分析人類分析師無法單獨完成的海量數據集，從而產生以前無法實現的有關作戰環境的新見解。案例研究表明，從分析人員處理大量數據的重復性分析任務所花費的時間來看，機器學習能顯著提高效率，使分析人員更高效、更嚴謹，并能更好地從以前未開發的數據源中提取洞察力。這表明，對于需要大量人工審核相關數據的問題，陸軍領導應優先考慮將機器學習作為一種解決方案。

最后，這項研究揭示了機器學習的系統方法能夠對作戰級總部已有的大量數據進行標準化、客觀和長期的分析，從而增強其支持有效決策的潛力。在許多情況下，這些數據是戰爭中作戰和機構層面決策的最佳信息來源，但如果沒有機器學習，這些數據就只能以臨時和主觀的方式進行分析。

建議

首先，這項研究表明，陸軍應為各級指揮人員提供頻繁接觸機器學習的機會，讓他們熟悉人類如何利用這些能力作為軍事決策系統的一部分。

其次，本研究強調，陸軍應建立多樣化的機器學習團隊，以充分釋放這一能力的潛力。這些團隊應整合熟悉機器學習工具細節的作戰研究系統分析員、對特定作戰環境有第一手知識的操作員、了解可用數據以分析特定問題的分析員，以及能將機器分析轉化為對作戰決策有實際影響的指揮官。

本報告調查了對抗性機器學習 (AML)，即研究基于機器學習 (ML) 的人工智能系統弱點的研究方法。近年來，機器學習，尤其是深度學習 (DL)，在圖像分類、自然語言處理和自主代理等多個領域取得了快速進展。因此，深度學習在軍事環境中也很受關注。然而，隨著進步，人們對 AML 方法的興趣不斷增加，新的攻擊變體不斷發布。實際上，所有 DL 系統在某種程度上都容易受到影響，無論是混淆它們、避免被它們檢測到，還是提取它們可能持有的秘密信息。從軍事角度來看，重要的是要意識到這種利用的可能性，無論是針對自己的人工智能系統還是針對對手使用的系統。

該報告概述了AML研究，然后展示了針對不同類型人工智能系統的一系列攻擊方法：

• 圖像分類系統中毒，使軍用車輛避免被發現；
• 可以從大型生成模型中檢索秘密信息的提取攻擊；
• 對抗性策略攻擊，其中對手的行為方式使自主智能體感到困惑。

每個案例都描述和討論了攻擊并評估了實施。本報告的重點是攻擊。雖然在適用的情況下簡要討論了針對 AML方法的防御，但后續報告的主題是對AML防御的更深入研究。

關鍵詞：人工智能、機器學習、深度學習、深度神經網絡、欺騙、網絡攻擊、攻擊向量、漏洞、對抗樣本、數據中毒、數據提取、對抗策略

引言

深度學習 (DL) 的出現將智能計算機軟件的性能和能力帶入了新的性能水平。將基于 DL 的軟件嵌入軍事指揮、控制、通信、計算機、情報、監視和偵察 (C4ISR) 系統中，有可能徹底改變創建準確及時的共同作戰圖 (COP) 的能力，從而使軍事決策過程可以比以往任何時候都更快、更精確地執行。從長遠來看，深度學習還可以用于在遠遠超出人類能力范圍的復雜戰爭環境中制定軍事計劃。

然而，由深度神經網絡 (DNN) 實施的基于 DL 的軟件容易受到各種威脅或網絡攻擊。這些是在對抗性機器學習 (AML) 研究領域研究和開發的。這些攻擊可能被用來欺騙決策者、降低系統性能、降低最終用戶信任度，甚至從系統中提取（即逆向工程）敏感的軍事數據。圖 1.1 展示了一個典型的 AML 攻擊示例，其中目標是用于對圖像內容進行分類的 DNN。在這種情況下，DNN 能夠正確地識別出圖 1.1a 中的原始圖像包含一架戰斗機，幾乎是絕對確定的。圖 1.1b 中的惡意圖像是通過在原始圖像上應用 AML 技術創建的，能夠欺騙相同的 DNN 將輸入分類為西伯利亞雪橇犬而不是戰斗機。在這種情況下，攻擊是有效的，盡管人眼無法察覺。

圖 1.1 – 使用 AML 的樣本攻擊。在這種情況下，目標是由 DNN 表示的圖像分類系統。圖 1.1a 顯示 DNN 能夠以近乎完美的確定性將良性（非操縱）輸入正確分類為戰斗機。圖 1.1b 顯示了使用 AML 技術創建的經過處理的圖像。被操縱的圖像成功地欺騙了 DNN，將輸入分類為西伯利亞雪橇犬而不是戰斗機。

據我們所知，AML 尚未被對手或高級持續威脅 (APT) 參與者用來瞄準和攻擊嵌入在現實世界軍事系統中的基于 DL 的軟件。然而，研究團隊和安全專家不斷證明，針對依賴 DL 來實現尖端性能廣泛應用程序的攻擊是可能的 [1]。例如，小心地替換句子中的單詞可能會導致語言模型對情緒進行錯誤分類 [2]。自動駕駛汽車使用的交通標志和車道檢測系統可以通過分別在標志和道路上貼上標簽來攻擊 [3, 4]。轉錄服務可能會被注入精心設計的噪聲所誤導，迫使系統將語音轉換為任意文本 [5、6]。因此，假設基于 DL 的軟件將在未來的 C4ISR 支持系統中普遍使用，預計對手和 APT 最終將利用這些漏洞來欺騙、拒絕訪問或收集情報。

1.1 目標與范圍

本報告的目標是：(1) 概述迄今為止 AML 研究領域中已確定的攻擊向量，(2) 根據經驗估計這些攻擊的子集在軍事環境中的有效性，以及最后 (3) 提供見解并討論 AML 在何種程度上是深度學習在現實世界軍事應用中的現實和嚴重威脅。

盡管 AML 適用于任何基于 ML 的系統和算法，但本報告重點關注基于 DL 的 ML 系統。此外，本報告將重點關注攻擊。在 AML 研究領域提出和開發的防御機制將在未來的工作中涵蓋。最后，我們將范圍限制在與指揮和控制 (C2)、情報、監視和偵察相關的 DL 應用。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發軍事系統的人員，這些系統使用或嵌入了 AI、ML 和 DL 技術。

1.3 閱讀說明

本報告假定讀者具有有關 ML 和 DL 概念的基本知識，例如監督學習、強化學習、損失函數、梯度下降和反向傳播。

1.4 提綱

第 2 章介紹了 AML，并介紹了用于對本報告中的攻擊進行分類和比較的分類法。第 3 章介紹了從軍事角度來看可能具有相關性的已知攻擊方法的三個案例研究。實施和評估這些方法。第 4 章總結了報告，討論了 AML 在現實世界中的適用性，包括在軍事領域。

案例研究

本章提供了三個案例研究，探討了針對基于ML的系統的不同類型攻擊。在每種情況下，從AML文獻中選擇一種攻擊方法，并從軍事角度實現或測試。評估了攻擊的有效性，然后討論了實際考慮因素。選擇這三個案例研究是因為它們與軍事領域的潛在相關性，涵蓋了廣泛的攻擊，并說明了各種ML應用和方法。

第一章以欺騙深度神經網絡將戰斗機圖像誤認為是狗的例子開始。雖然將軍事裝備隱藏在顯眼的地方有明顯的吸引力，但介紹性的例子是高度理想化的。實際應用面臨的一個障礙是，攻擊僅限于數字領域:操作是在數字圖像本身上進行的，也就是說，在戰斗機被拍攝后的一個階段。如果圖像是由對手創建的(例如，飛機是由監視攝像機拍攝的)，那么操縱圖像將需要深入訪問敵人的系統。這是不太可能的(如果是，更簡單和更健壯的攻擊變得可行，例如消除圖像或阻止其記錄)。此外，雖然關于目標深度神經網絡的黑盒知識足以計算所需的圖像修改(例如，觀察分類標簽結果[18])，但在實踐中，即使是這種知識也無法預期。

因此，第3.1節中的第一個案例研究調查了數據中毒。這種攻擊的目的與前面的示例相同:通過欺騙敵人的DNN，使其對車輛進行錯誤分類，從而使軍用車輛(在本例中為坦克)逃避檢測。盡管方法也很相似，但是中毒攻擊解決了介紹性示例的實際缺點。

圖3.2 -僅使用正確標記的訓練圖像和直到測試時間才顯示的隱藏觸發器的數據中毒攻擊。在這個圖中，所有打補丁的坦克圖像都用紅色標出，而所有中毒的汽車圖像都用黃色標出。

第3.2節將范圍擴展到通過數據提取對語言模型的攻擊。語言模型是在廣泛的文本語料庫(通常是數十億個單詞)上訓練的非常大的dnn，在某種意義上能夠“理解”(書面)語言。它們引起了自然語言處理的范式變化，在許多任務中設定了新的基準[26]，并因其生成文本的能力而獲得了媒體的廣泛關注[27]。事實上，即使在編寫本報告期間，也取得了顯著的進展，例如，ChatGPT系統的提出。語言模型正在不斷接近人類的自然語言處理水平，它們對社會幾乎所有方面的潛在影響和后果，包括軍事應用，目前很難預測。除了機會之外，它們也帶來了風險，例如，它們可能會將敏感信息暴露給對手。第3.2節中的案例研究調查了這種形式的對抗性提取攻擊的可行性。

圖3.5 -兩種語言模型的微調過程，展示了數據和最終的微調模型之間的細微差異(左為FTorig，右為FTpatch)。請注意，Dpatch的補丁文章約占CC新聞數據集總數的24%，即剩余的76%與未修改的數據集相同。

第3.3節研究了對通過強化學習訓練的模型的攻擊。這種模型通常用于無人駕駛車輛、機器人、游戲等領域的自主智能體。它們不是在一組固定的例子上以監督的方式訓練的。相反，智能體用一個獎勵函數來評估它的情況，并選擇一個獎勵最大化的行動過程。雖然這種操作模式為智能體提供了處理現實世界的靈活性和彈性，但它們仍然容易受到攻擊和欺騙，正如本案例研究將在基于強化學習的各種系統上展示的那樣。

圖3.10 -來自[51]的四個零和模擬機器人博弈的示例，用于評估對抗性策略[49]。

圖3.11 -“你不能通過”的博弈序列，敵對的對手(紅色)應該阻礙受害者(藍色)到達終點線。上面的四個數字顯示了一個普通的智能體是如何鏟斷對手的。下面的四個圖形顯示了敵對的對手如何使受害者在沒有任何接觸的情況下摔倒在地[49]。

本研究結論

對抗性機器學習在科學界引起了越來越大的興趣，每天都有關于新的攻擊變體的論文發表。幾乎任何形式的機器學習都容易受到某種類型的AML的影響，正如本報告通過攻擊方法的示例所證明的那樣。隨著越來越多的應用程序采用深度學習，攻擊的機會和潛在的回報也在增加。例如，圖像識別模型正以某種形式用于與敵方相關的情況，無論是民用還是軍用:機場和體育場開始采用人臉識別以各種原因拒絕個人進入[58]，為上述個人應用AML來逃避系統提供了動機。軍用車輛在衛星圖像上的自動探測已經研究了幾十年，避免敵方衛星的這種探測顯然是任何軍隊都感興趣的。

然而，這些攻擊在很大程度上仍停留在學術界的實驗階段。已知很少有針對實際部署的深度學習系統的真正攻擊發生，也就是說，沒有得到深度學習系統操作員的同意，并且目標不僅僅是測試攻擊方法的可行性。可能的原因有很多:這種攻擊可能很少見，因為它們很難執行，或者潛在的目標還不多。攻擊可能很難被注意到(可以說逃避攻擊的主要目的是不被注意到)。攻擊者不太可能公布成功的攻擊，甚至受害者也可能認為保持沉默而不是進一步暴露自己的弱點是明智的。

盡管如此，一些攻擊已經傳播到公眾。Stable Diffusion[59]、DALL·e2[60]和Midjourney等生成圖像模型可以基于文本提示創建圖形。這使得他們在社交媒體上很受歡迎，但也引發了藝術家們的批評，他們懷疑他們的作品被用作訓練數據。2023年2月，媒體公司Getty Images對Stability AI提起訴訟，指控其未經許可使用Getty目錄中的受版權保護的庫存圖像訓練其Stable Diffusion模型。通過對Stable Diffusion的提取方法獲取證據，發現AI系統生成的圖像與Getty擁有的圖像具有很高的相似性，包括該公司的水印[61]。

針對語言模型的快速攻擊是一種更有趣的攻擊，仍然受到媒體的廣泛關注。這種類型的攻擊是一種簡單的提取變體，其目標不是訓練數據，而是隱藏的輸入指令。對于像ChatGPT這樣的大型語言模型，操作人員可能希望在沒有任何微調階段的情況下快速調整模型以適應某些應用程序。相反，對話只是在語言模型的文本指令之前，這些指令會影響它在與用戶對話過程中的行為，例如模型應該使用什么名稱，以及要展示什么樣的個性。這些指令通常不會顯示給語言模型的用戶，但好奇的用戶已經能夠讓模型暴露它們，例如通過告訴模型“忽略之前的指令”，從而覆蓋任何隱藏的指令，而不顯示隱藏的指令，然后問“上面文檔開頭寫了什么?”“[62]

這種由人群發起的攻擊雖然相對溫和，但表明評估人工智能系統對“AML”方法的穩健性很困難，更不用說實際防御它們了。這兩個挑戰都將成為該項目的未來報告的主題。

然而，從攻擊者的角度來看，情況可能至少同樣困難。很少有人工智能系統像上面的模型一樣具有公共接口，可以進行實驗。在防御環境中，攻擊者通常只有有限的機會研究目標系統，而傳統障礙(網絡安全和物理安全)可能構成與各種AML方法固有困難一樣多的挑戰。3.1節中描述的投毒攻擊是一種旨在繞過安全措施的方法，利用訓練數據的稀缺性誘使對手自己投毒他們的系統。未來的攻擊也有可能將AML與更傳統的方法(例如社會工程)結合起來。

隨著人工智能的日益普及，對攻擊方法的研究必然會增加。隨著人工智能使用的增加，對這一新領域的持續警惕和研究對于識別新出現的機會至關重要，但也要意識到自身的脆弱性。

美國仍然是世界上最突出的軍事和技術力量。在過去十年中，美國認識到人工智能作為力量倍增器的潛力，越來越多地將人工智能（AI）的熟練程度視為美國重要利益和保證美國軍事和經濟實力的機制。特別是，在過去十年中，人工智能已成為美國國防的一項關鍵能力，特別是考慮到2022年美國國防戰略對印度-太平洋地區的關注。

因此，美國國防部（DoD）（以及美國政府和國防機構總體上）對人工智能和相關新興技術表現出越來越大的熱情。然而，雖然美國目前在學術界和私營部門的人工智能研究和開發方面取得了巨大進展，但國防部尚未在廣泛范圍內成功地將商業人工智能的發展轉化為真正的軍事能力。

美國政府在利用國防人工智能和人工智能支持的系統方面通常處于有利地位。然而，在過去的幾年里，各種官僚主義、組織和程序上的障礙減緩了國防部在國防人工智能采用和基于技術的創新方面的進展。最關鍵的是，國防部遭受了復雜的收購過程和廣泛的數據、STEM和AI人才和培訓的短缺。從事人工智能和人工智能相關技術和項目的組織往往是孤立的，而且還存在必要的數據和其他資源相互分離。在美國防部內部存在一種傾向于可靠方法和系統的文化，有時趨向于勒德主義。所有這些因素都導致了人工智能采用的速度出奇的緩慢。美國家安全委員會2021年提交給國會的最終報告總結說，"盡管有令人興奮的實驗和一些小型的人工智能項目，但美國政府離人工智能就緒還有很長的路要走"。

因此，盡管人工智能有可能增強美國的國家安全并成為一個優勢領域，而且鑒于美國在軍事、創新和技術領導方面的長期傳統，人工智能有可能成為一個薄弱點，擴大 "美國已經進入的脆弱窗口"。 如果美國不加快創新步伐，達到負責任的速度，并奠定必要的制度基礎，以支持一支精通人工智能的軍隊，人工智能將繼續成為一個不安全點。

去年，美國防部在這些挑戰中的一些方面取得了進展，調整了國防人工智能的方法。2022年6月，美國防部發布了《負責任人工智能戰略和實施途徑》，將更有數據依據的、負責任的、可操作的人工智能工作列為優先事項，此后開始執行。最重要的是，美國防部已經啟動了對其人工智能組織結構的重大改革，創建了一個新的首席數字和人工智能辦公室（CDAO），以整合其不同的人工智能項目和利益相關者，并使其與該部門的數據流更好地協調。值得注意的是，美國國防部目前正在對其國防人工智能的整體方法進行重大變革和振興。然而，這些新的人工智能努力是否足以讓美國彌補失去的時間，還有待觀察。

自主系統將塑造戰爭的未來。因此，土耳其的國防人工智能（AI）發展主要側重于提高自主系統、傳感器和決策支持系統的能力。提高自主系統的情報收集和作戰能力，以及實現蜂群作戰，是發展國防人工智能的優先事項。雖然土耳其加強了自主系統的能力，但在可預見的未來，人類仍將是決策的關鍵。

人類參與決策過程提出了一個重要問題：如何有效確保人機互動？目前，自主系統的快速發展和部署使人機互動的問題更加惡化。正如土耳其國防工業代表所爭論的那樣，讓機器相互交談比較容易，但將人類加入其中卻非常困難，因為現有的結構并不適合有效的人機互動。此外，人們認為，人工智能對決策系統的增強將有助于人類做出更快的決定，并緩解人機互動。

土耳其發展人工智能的意圖和計劃可以從官方戰略文件以及研發焦點小組報告中找到。突出的文件包括以下內容：

• 第11個發展計劃，其中規定了土耳其的經濟發展目標和關鍵技術投資。

• 《2021-2025年國家人工智能戰略》，它為土耳其的人工智能發展制定了框架。

• 焦點技術網絡（Odak Teknoloji A??，OTA?）報告，為特定的國防技術制定了技術路線圖。這些文件提供了關于土耳其如何對待人工智能、國防人工智能和相關技術的見解。

土耳其特別關注人工智能相關技術，如機器學習、計算機視覺和自然語言處理，其應用重點是自主車輛和機器人技術。自2011年以來，自主系統，主要是無人駕駛飛行器（UAV），仍然是土耳其人工智能發展的重點。此后，這已擴大到包括所有類型的無機組人員的車輛。同時，用人工智能來增強這些車輛的能力也越來越受到重視。人工智能和相關技術的交織發展構成了土耳其人工智能生態系統的核心。

土耳其的人工智能生態系統剛剛起步，但正在成長。截至2022年10月，有254家人工智能初創企業被列入土耳其人工智能倡議（TRAI）數據庫。土耳其旨在通過各種生態系統倡議在其國防和民用產業、學術機構和政府之間創造協同效應。由于許多組織都參與其中，這些倡議導致了重復和冗余。冗余也來自于人工智能技術本身的性質。由于人工智能是一種通用技術，可以應用于不同的環境，各種公司都有用于民用和國防部門的產品；因此相同的公司參與了不同的生態系統倡議。此外，民用公司與國防公司合作，在國防人工智能研究中合作，并提供產品，這是司空見慣的。

土耳其鼓勵國際人工智能在民用領域的合作，但不鼓勵在國防領域的合作。然而，由于技能是可轉移的，國防人工智能間接地從這種合作中受益。

土耳其非常關注自主系統發展中的互操作性問題，特別是那些具有群集能力的系統。除了蜂群，北約盟國的互操作性也是一個重要問題。因此，土耳其認為北約標準在發展自主系統和基礎技術方面至關重要。

土耳其目前對人工智能采取了分布式的組織方式。每個政府機構都設立了自己的人工智能組織，職責重疊。目前，盡管國防工業局（Savunma Sanayi Ba?kanl???，SSB）還沒有建立專門的人工智能組織，但SSB的研發部管理一些人工智能項目，而SSB的無人駕駛和智能系統部管理平臺級項目。目前，根據現有信息，還不清楚這些組織結構如何實現國防創新或組織改革。

土耳其尋求增加其在人工智能方面的研發支出，旨在增加就業和發展生態系統。SSB將在未來授予更多基于人工智能的項目，并愿意購買更多的自主系統，鼓勵研發支出的上升趨勢。然而，盡管土耳其希望增加支出，但金融危機可能會阻礙目前的努力。

培訓和管理一支熟練的勞動力對于建立土耳其正在尋找的本土人工智能開發能力至關重要。這包括兩個部分。首先是培養能夠開發和生產國防人工智能的人力資源。因此，土耳其正在投資于新的大學課程、研究人員培訓、開源平臺和就業，同時支持技術競賽。第二是培訓將使用國防人工智能的軍事人員。國防人工智能也正在慢慢成為土耳其武裝部隊（Türk Silahl? Kuvvetleri，TSK）培訓活動的一部分。目前，關于土耳其打算如何培訓軍事人員使用國防人工智能的公開信息非常少。

人工智能（AI）領域的不斷進步以及在關鍵部門整合AI系統的工作正在逐步改變社會的各個方面，包括國防部門。盡管人工智能的進步為增強人類能力和改善各種決策提供了前所未有的機會，但它們也帶來了重大的法律、安全、安保和倫理問題。因此，為了確保人工智能系統的開發和使用是合法的、道德的、安全的、有保障的和負責任的，政府和政府間組織正在制定一系列規范性文書。這種方法被廣泛稱為 "負責任的人工智能"，或道德的或值得信賴的人工智能。目前，負責任的人工智能最引人注目的方法是開發和運作負責任或道德的人工智能原則。

聯合國裁研所的 "在國防中實現負責任的人工智能 "項目首先尋求對負責任的人工智能系統的研究、設計、開發、部署和使用的關鍵方面建立共同的理解。然后，它將審查負責任的人工智能在國防部門的運作情況，包括確定和促進良好做法的交流。該項目有三個主要目標。首先，它旨在鼓勵各國采用和實施能夠在開發和使用人工智能系統中實現負責任行為的工具。它還試圖幫助提高透明度，促進國家和其他關鍵人工智能行為者之間的信任。最后，該項目旨在建立對負責任的人工智能關鍵要素的共同理解，以及如何將其付諸實施，這可以為制定國際公認的治理框架提供參考。

本研究簡報概述了該項目的目標。它還概述了項目第一階段的研究方法和初步結果：制定共同的原則分類法和對各國采用的人工智能原則進行比較分析。

近年來，情報、監視和偵察（ISR）行動經歷了爆炸性的增長，導致收集的數據成倍增加。然而，盡管有如此豐富的ISR數據，個人、團隊和決策者往往無法開發出他們所需的個人和集體對作戰環境的態勢感知（SA）。增強現實（AR）技術為這種困境提供了一個潛在的解決方案。利用視覺、聽覺和觸覺的線索，AR技術有可能為合作和分析提供新的機會，這將提高個人和集體的安全意識。本文旨在為開發用于ISR行動中協作和分析的AR工具指明道路。它探討了AR技術的現狀，以澄清關鍵的定義、系統的分類和目前對有效使用的研究。它還研究了支撐情景意識的認知和學習理論，以了解AR在發展SA方面可以發揮什么作用（如果有的話）。這些理論被發現支持越來越多地使用AR技術來改善SA和協作，并確定了AR技術為促進SA必須解決的八個設計標準。如果這些設計標準得到尊重，可以預期AR技術會改善學習成績，提高用戶的積極性，并增強用戶的參與/互動和協作。此外，還可以預見在空間理解和長期記憶保持方面的收益。盡管有這樣的潛力，但在AR系統設計中必須適當地管理三個主要風險：引導注意力；系統管理中的分心；以及用戶定制。如果這些風險得到管理，設計標準得到尊重，那么用于ISR行動的協作和分析工具的開發者將能夠開啟AR所提供的光明前景。

人工智能（AI）的最新進展為許多經典的AI應用帶來了突破，例如計算機視覺、自然語言處理、機器人和數據挖掘。因此，有很多人努力將這些進展應用于軍事領域，如監視、偵察、威脅評估、水雷戰、網絡安全、情報分析、指揮和控制以及教育和培訓。然而，盡管人工智能在軍事應用上有很多可能性，但也有很多挑戰需要考慮。例如，1）高風險意味著軍事人工智能系統需要透明，以獲得決策者的信任并能進行風險分析；這是一個挑戰，因為許多人工智能技術具有黑盒性質，缺乏足夠的透明度；2）軍用 AI 系統需要穩健可靠；這是一個挑戰，因為已經表明即使對所使用的 AI 技術沒有任何了解，AI 技術也容易受到輸入數據微小變動的影響，并且 3) 許多 AI 技術基于需要大量數據的機器學習訓練；這是一個挑戰，因為在軍事應用中經常缺乏足夠的數據。本文介紹了正在進行的項目成果，以說明軍事應用中人工智能的可能性，以及如何應對這些挑戰。

1 介紹

人工智能（AI），特別是機器學習（ML）和深度學習（DL），在十年內已經從研究機構和大學的原型設計轉向工業和現實世界應用。使用DL技術的現代人工智能已經徹底改變了傳統人工智能應用的性能，如機器翻譯、問答系統和語音識別。這一領域的許多進展也將其優秀的想法變成了卓越的人工智能應用，能夠進行圖像說明、唇語閱讀、語音模仿、視頻合成、連續控制等。這些成果表明，一個能夠自我編程的機器有潛力：1）提高軟件和硬件開發的效率，2）以超越人類的水平完成特定的任務，3）為人類以前沒有考慮過的問題提供創造性的解決方案，4）在人類已知的主觀、偏見、不公平、腐敗等方面提供客觀和公平的決定。

在軍事背景下，人工智能的潛力存在于所有維度的軍事空間中（即陸地、海洋、空中、空間和信息）和所有級別的戰爭內（即政治、戰略、作戰和戰術）。例如，在政治和戰略層面，人工智能可以通過制作和發布大量的虛假信息來破壞對手的穩定狀態。在這種情況下，人工智能很可能也是抵御這種攻擊的最佳人選。在戰術層面，人工智能可以改善無人系統的部分自主控制，以便人類操作員可以更有效地操作無人系統，最終擴大戰場影響力，增強戰場實力。

然而，正如我們將在這項工作中指出的那樣，有幾個關鍵挑戰可能會減緩或限制現代人工智能在軍事應用中的使用：

• ML模型的透明度和可解釋性不足。舉一個例子，使用DL對使用深度神經網絡（DNN）的自動駕駛汽車進行控制建模需要幾十萬個參數。顯然，這樣一個復雜的程序不容易被解釋。即使是使用替代的ML算法生成的模型，其中模型可以被圖形化，如解析樹或決策樹，即使在應用于玩具模型問題時，也很難甚至不可能解釋。一個更重要的挑戰是人工智能系統向決策者或人類操作者解釋其推理的能力，或者在這種情況下是無能為力的。
• 眾所周知，使用ML開發的模型很容易受到對抗性攻擊。例如，基于DL的模型可以很容易地通過操縱輸入信號而被欺騙，即使該模型對攻擊者來說是未知的。舉一個例子，使用最先進的目標檢測的無人駕駛飛行器（UAV）也有可能被地面上精心設計的偽裝圖案所欺騙。
• 任何 ML 應用的原料是機器可以從中學習并最終深入理解的數據。軍事組織通常擅長收集數據用于匯報或重建目的。然而，不能保證同樣的數據可以成功用于ML。因此，軍事組織可能必須調整其數據收集過程，以充分利用現代人工智能技術，如DL。

本文的目的是強調人工智能在軍事應用中的可能性和主要挑戰。第2節簡要介紹了DL，它是本文關注的主要人工智能技術。第3節提供了幾個人工智能在軍事領域中應用的例子。第4節描述了與軍事領域中人工智能的關鍵挑戰，以及部分可用于解決這些挑戰的技術。第5節提出了結論。

2 深度學習

我們所說的DL是指由多個非線性處理單元層組成的機器學習模型。通常情況下，這些模型由人工神經網絡表示。在這種情況下，神經元指的是一個單一的計算單元，其輸出是通過一個（非線性）激活函數的輸入的加權和（例如，一個只有在信號為正時才通過的函數）。DNN指的是具有大量串連神經元層（神經元層由神經元并聯組成）的系統。與DNN相對的是淺層神經網絡，它只有一層平行連接的神經元。

直到大約十年前，DNN的訓練幾乎是不可能的。第一個成功的深度網絡的訓練策略是基于一次訓練一個層。逐層訓練的深度網絡的參數最終使用隨機梯度方法進行微調（同時），以最大限度地提高分類精度。此后，許多研究進展使得直接訓練DNN成為可能，而無需逐層訓練。例如，人們發現，網絡權重的初始化策略與激活函數的選擇相結合是解決問題的關鍵。甚至一些技術，如在訓練階段隨機停用神經元，以及在信號到達激活函數之前對其進行歸一化處理，也已證明對于使用 DNN 獲得良好結果非常重要。

表示學習是DNN高性能的主要原因之一。使用DL和DNN，不再需要手動制作學習特定任務所需的特征。相反，辨別特征是在 DNN 的訓練過程中自動學習的。

支持 DL 應用的技術和工具如今比以往任何時候都更加好用。通過廉價的計算資源、免費的 ML 框架、預訓練模型、開源數據和代碼，僅使用有限的編程/腳本技能即可成功應用和定制高級 DL。

3 軍事人工智能應用

本節介紹了幾個可以應用人工智能來提高軍事能力的例子。

3.1 監視

海上監視是利用固定雷達站、巡邏飛機、船舶，以及近年來使用自動識別系統（AIS）對海上船只進行的電子跟蹤。這些信息源提供了大量的關于船只運動的信息，這些信息可能會揭示船舶非法的、不安全的、有威脅的和異常的行為。然而，大量的船舶運動信息使得手動檢測此類行為變得困難。因此ML-方法被用來從船舶運動數據中生成常態模型。任何偏離常態模型的船舶運動都被認為是異常的，并提交給操作員進行人工檢查。

一種早期的海事異常檢測方法使用模糊 ARTMAP 神經網絡架構根據港口位置對正常船舶速度進行建模。另一種方法是利用運動模式的關聯學習來預測基于其當前位置和行駛方向的船舶運動。其他方法則使用基于高斯混合模型（GMM）和內核密度估計（KDE）的無監督聚類。這些模型能夠檢測出改變方向、穿越海路、向相反方向移動或高速行駛的船只。最近的方法是使用貝葉斯網絡來檢測錯誤的船舶類型，以及不連續的、不可能的和徘徊的船舶運動。海事異常檢測的未來發展還應該考慮周圍的船只和多艘船只之間的互動。

3.2 水下水雷戰

水雷對海上船只構成重大威脅，被用來限制船只行動或阻止船只通過受限水域。因此，反水雷措施（MCM）試圖定位和消除水雷，以實現行動自由。越來越多地使用配備合成孔徑聲納 (SAS) 的自主水下航行器 (AUV) 進行水雷搜索，該水下航行器能提供厘米分辨率的海底聲學圖像。由于AUV收集了大量的SAS圖像，自動目標分類對于區分潛在的水雷與其他物體是很有用的。雖然對水雷的自動目標分類已經研究了很長時間，但DNN在圖像分類方面的高性能表現使人們對如何將這種辦法用于自動地雷探測產生了興趣。

一些研究顯示了DNN在水雷探測方面的潛力。例如，這些研究描述了如何將假水雷的形狀、類似水雷的目標、人造物體和巖石放置在海底的各種地理圖形位置上。然后用AUV和SAS對海底進行測量。結果顯示，與傳統的目標分類器相比，DNN的性能明顯提高，對水雷形狀的檢測概率更高，誤報率更低。同樣，這些研究也描述了如何生成圓柱形物體和各種海底景觀的協同SAS圖像，并這些圖像用來訓練DNN。進一步的研究可能會探究如何從所有類型的雜波物體中分辨出水雷，結合檢測和分類，以及對噪聲、模糊和遮擋的魯棒性等

3.3 網絡安全

入侵檢測是網絡安全的重要組成部分，可在惡意網絡活動危及信息可用性、完整性或機密性之前對其進行檢測。入侵檢測是使用入侵檢測系統（IDS）進行的，該系統將網絡流量分類為正常或入侵。然而，由于正常的網絡流量往往具有與實際攻擊相似的特征，網絡安全分析師對所有入侵警報的情況進行分析，以確定是否存在實際的攻擊。雖然基于簽名的IDS通常擅長檢測已知的攻擊模式，但它們不能檢測以前未見過的攻擊。此外，基于簽名的檢測的開發往往是緩慢和昂貴的，因為它需要大量的專業知識。這限制了系統對快速演變的網絡威脅的適應性。

許多研究使用 ML 和其他 AI 技術來提高已知攻擊的分類準確性、檢測異常網絡流量（因為這可能表明新的攻擊模式偏離了正常網絡流量）以及自動化模型構建。然而，這些系統很少被實際使用。其原因是，入侵檢測給出了具體的挑戰，如缺乏訓練數據、網絡流量變化大、錯誤成本高以及難以進行相關評估。雖然可以收集大量的網絡流量，但這些信息往往是敏感的，只能部分匿名化處理。使用模擬數據是另一種選擇，但它往往不夠真實。然后，必須根據模式是正常還是入侵，或用于確保無攻擊的異常檢測來標記數據以進行監督學習，這通常很難做到。最后，模型需要是透明的，以便研究人員能夠理解檢測限制和特征的含義。

另一項提高網絡安全的措施是在安全審計期間進行滲透測試，以確定潛在的可利用的安全弱點。由于許多網絡的復雜性和其中的大量主機，滲透測試通常是自動化的。一些研究已經調查了如何使用網絡的邏輯模型而不是實際的網絡將 AI 技術用于模擬滲透測試。網絡通常用攻擊圖或樹來表示，描述對手如何利用漏洞闖入系統。描述了模型在表征方式方面的不同之處：1) 攻擊者的不確定性，從抽象的成功和檢測概率到網絡狀態的不確定性，以及 2) 從已知的前后條件到一般感知和觀察的攻擊者行為-結果的服務。此外，通過網絡和主機的正式模型，可以對不同的緩解策略進行假設分析。未來對滲透測試的研究可能會使用攻擊者和防御者之間交互的認知有效模型，例如，深度強化學習來探索可能攻擊的大問題空間。

4 挑戰

正如第3節中的案例所示，在為軍事目的開發和部署的基于人工智能的應用之前，有一些尚未解決的挑戰是很重要的。在本節中，我們將討論我們認為對軍事人工智能最關鍵的挑戰：1）透明度，2）脆弱性，以及3）在有限的訓練數據下的學習。其他重要的，但不太關鍵的，與優化、泛化、架構設計、超參數調整和生產級部署有關的挑戰，在本節中沒有進一步討論。

4.1 透明度

許多應用除了需要高性能外，還需要高透明度、高安全性以及用戶的信任或理解。這種要求在安全關鍵系統、監控系統、自主智能體、醫學和其他類似的應用中很典型。隨著最近人工智能技術的突破，人們對透明度的研究也越來越感興趣，以支持最終用戶在此類應用中的使用與透明度相關的成果。

4.1.1 對透明度的期望

人工智能所需的透明度取決于終端用戶的需求。利普頓描述了透明度可能涉及五種類型的用戶需求：

• 1.信任-在用戶難以質疑系統建議的情況下。然而，可能不清楚用戶的信任是基于系統的性能或穩定性，相對于用戶的體驗，還是用戶對系統推薦的舒適度。
• 2.理解之前未知的因果關系，可以用其他方法測試。
• 3.由于與用戶的能力相比，模型的通用性有限，因此對系統性能的了解受到限制。
• 4.有關系統建議的一些補充信息。
• 5.公平性，以避免可能導致某些情況下的不平等待遇的系統性偏見。例如，對信貸申請的評估不應基于個人屬性，如性別或種族，盡管這種屬性可能在整體統計水平上用來區分人口群體。

原則上，有兩種方法可以使人工智能系統透明。首先，某些類型的模型被認為比其他的更容易解釋，例如線性模型、基于規則的系統或決策樹。檢查這些模型可以理解它們的組成和計算。Lipton描述了可解釋性取決于用戶是否能夠預測系統的建議，理解模型參數，以及理解訓練算法。其次，系統可以解釋其建議。這種解釋可以是文字的，也可以是視覺的。例如，通過指出圖像的哪些方面最有助于其分類。Miller 對社會科學研究中如何使用這些知識來設計 AI 系統的進行了的回顧。通常情況下，人們用他們感知到的信念、欲望和意圖來解釋其他智能體的行為。對于人工智能系統來說，信念對應于系統關于情況的信息，欲望對應于系統的目標，而意圖對應于中間狀態。此外，解釋可能包括行動的異常性、使成本或風險最小化的偏好、對預期規范的偏離、事件的回顧性和行動的可控性。主要的發現是：

• 解釋是針對特定的反事實案例而進行的對比性解釋。因此，解釋的重點是為什么提出特定的建議而不是其他建議。
• 解釋是有選擇的，并且集中在一兩個可能的原因上，而不是建議的所有原因。
• 解釋是一種傳遞知識的社會對話和互動。

4.1.2 可解釋模型的實例

貝葉斯規則列表（BRL）是可解釋模型的一個例子。BRL由一系列的if（條件）then（結果）else（替代）語句組成。Letham等人描述了如何為一個高度準確和可解釋的模型生成BRL來估計中風的風險。條件離散化了影響中風風險的高維多變量特征空間，結果描述了預測的中風風險。BRL在預測中風風險方面具有與其他ML方法類似的性能，并且與其他現有評分系統一樣具有可解釋性，但其準確性較低。

基于詞典的分類器是文本分類的另一個可解釋模型的例子。基于詞典的分類器將術語的頻率與每個類別中出現的術語的概率相乘。得分最高的類別被選為預測對象。Clos等人使用一個門控遞歸網絡對詞典進行建模，該網絡同時學習術語和修飾語，如副詞和連詞。受過訓練的詞典是關于論壇中的帖子是支持還是反對死刑以及對商業作品的看法。詞典的表現比其他ML方法更好，同時也是可解釋的。

4.1.3 特征可視化的實例

盡管DNN在許多應用中提供了很高的性能，但它們的子符號計算可能有數百萬個參數，這使得人們很難準確理解輸入特征對系統推薦的貢獻。由于DNN的高性能對許多應用來說是至關重要的，因此人們對如何使它們更容易解釋產生了濃厚的興趣（見一篇評論）。許多用于解釋DNN的算法將DNN處理轉化為原始輸入空間，以便將辨別特征可視化。通常，有兩種通用方法用于特征的可視化，即激活最大化和DNN解釋。

激活最大化會計算哪些輸入特征將最大限度地激活可能的系統建議。對于圖像分類來說，這代表了理想的圖像，它顯示了每個類別的可區分和可識別的特征。然而，由于各類可能使用同一物體的許多方面，而且圖像中的語義信息往往是分散的，所以圖像往往看起來不自然。激活最大化的方法的一些例子是梯度上升法，更好的正則化方法以增加通用性，以及合成首選圖像法。

DNN的解釋是通過強調區分輸入特征來解釋系統建議。在圖像分類中，這種可視化可能會突出顯示支持或反對某個類別的區域，或者僅顯示包含區分特征的區域。計算鑒別特征的一種方法是使用局部梯度或其他變化度量的敏感性分析。然而，敏感性分析的一個問題是，它可能顯示輸入中不存在的判別特征。例如，在圖像分類中，敏感性分析可能會顯示物體被遮擋的部分，而不是可見部分。逐層相關性傳播通過考慮特征存在和模型反應來避免這個問題。

4.1.4 具體應用解釋的實例

與分類不同的是，人工智能規劃是基于動態的領域模型。Fox等人描述如何使用領域模型來解釋為什么行動被執行或不執行，為什么一些行動不能被執行，使未來行動的因果關系，以及重新規劃的需要。

由于公平性對許多人工智能應用來說非常重要，Tan等人描述了如何利用模型蒸餾來檢測黑箱模型的偏差。模型蒸餾法將更大更復雜的模型進行簡化，而沒有明顯的準確性損失。為了提高透明度，他們使用了基于淺層樹的廣義加性模型，對每個參數和兩個參數之間的相互作用進行建模。他們根據黑盒模型的系統建議訓練一個透明模型，并根據實際結果訓練一個透明模型。對兩個模型的推薦差異的假設檢驗體現了黑盒模型引入偏差的情況，然后可以通過比較兩個透明模型來診斷偏差。該系統在犯罪風險、借貸風險和卷入槍擊事件的個人風險方面進行了評估。結果顯示，一個黑盒模型低估了年輕罪犯和白種人的犯罪風險，而高估了美國本土非洲裔犯罪的風險。

4.2 脆弱性

在本節中，我們討論DNN在兩個不同方面的脆弱性。1）對輸入操縱的脆弱性和2）對模型操縱的脆弱性。我們首先看一下對輸入信號的操縱：

4.2.1 對輸入進行對抗性處理

在提供DNN的情況下，人們發現很容易調整輸入信號，從而使分類系統完全失敗。當輸入信號的維度很大時，例如圖片，通常只需對輸入中的每個元素（即像素）進行不易察覺的微小調整，就足以欺騙系統。用同樣的技術來訓練DNN，通常是采用隨機梯度法，通過觀察梯度的符號，你可以很容易地找到每個元素應該朝哪個方向改變，以使分類器錯誤地選擇目標類別或僅僅是錯誤分類。只需幾行代碼，最好的圖像識別系統就會被欺騙，相信一張車輛的圖片是一只狗。下面的圖 1 顯示了操作前后的圖像以及操作前后類的可能性。

上述方法假設有對DNN的完全訪問權，即所謂的白盒攻擊。人們發現，即使是所謂的黑箱攻擊，即你只觀察到系統的輸入和輸出類型，也是可能的。在其中，作者采用從他們想要攻擊的黑盒系統中稀疏采樣所獲得的數據來訓練一個替代網絡。鑒于替代網絡，你可以使用上述的白盒攻擊方法來制作對抗性輸入。一個學習替代網絡的替代方法被提出來，在這個方法中，遺傳算法被用來創建導致系統錯誤分類的攻擊向量。同一作者甚至表明，通常只需修改圖像中的一個像素，盡管常常是可察覺的，就能實現成功的攻擊。

圖 1：從小型貨車到西伯利亞雪橇犬。 原始圖像和操縱（對抗性制作）圖像之間的絕對差異（放大 20 倍）顯示在右側。 對抗性示例（中心）是使用 Kurakin 的基本迭代方法（BIM）生成的。

4.2.2 利用預訓練 DNN 中的隱藏后門

當設計一個DNN，但只能獲得少量的訓練數據時，通常會使用預訓練的模型來達到良好的性能。這個概念被稱為遷移學習，一個常見的應用是采用在大量數據上訓練過的模型，根據具體問題替換和定制網絡中的最后幾層，然后在最后階段（有時甚至是整個系統）利用可用的訓練數據微調參數。目前已經有大量的預訓練模型可以從互聯網上下載。那么一個相關的問題是："我們怎么知道那些上傳模型的人沒有壞心眼？"。作者在識別美國交通標志的模型中插入后門，就考慮了這種類型的漏洞。例如，一個貼紙被訓練為屬于停止標志以外的類別。然后他們表明，當使用后門（即在交通標志上放置一個貼紙）時，基于美國交通標志網絡的識別瑞典交通標志的系統會有負面的反應（大大損害了瑞典交通標志系統的分類準確性）。

4.2.3 防御方法

減少DNN對輸入信號操縱的脆弱性的一種方法是在模型的訓練過程中明確包括被操縱/對抗的例子。也就是說，除了原始訓練數據外，還產生了對抗性例子，并用于模型的訓練。

另一種方法是使用一個叫做防御蒸餾的概念。簡而言之，該方法試圖降低輸出信號只指出真實類別的要求，并迫使其他類別的概率為零。這分兩步完成。第一步是對DNN進行常規訓練。在第二步，將第一個神經元網絡的輸出（類別概率）用作新的類別標簽，并使用新的（軟）類別標簽訓練一個新的系統（具有相同的架構）。這已被證明可以減少漏洞，因為你沒有把DNN與訓練數據貼得太緊，并保留了一些合理的類間關系。

其他防御方法，例如特征壓縮技術，例如均值或中值濾波或非線性像素表示，例如單熱或溫度計編碼。

不幸的是，所描述的方法都不能完全解決漏洞問題，尤其是如果攻擊者對模型和防御方法有充分的了解的話。

4.3 數據

在軍事背景下開發基于ML的應用是具有挑戰性的，因為軍事組織、訓練設施、平臺、傳感器網絡、武器等的數據收集應用最初不是為ML目的設計的。因此，在這個領域，往往很難找到真實世界的、高質量的、足夠大的數據集，可以用來學習和深入理解的。在本節中，我們將探討即使在有限的訓練數據中也可以用來建立ML應用的技術。

4.3.1 遷移學習

遷移學習（也在第4.2.2節中提到）是一種技術，通常在數據集較小和計算資源有限時使用。這個想法是在開發針對其他類似任務的新模型時，重復使用通常由 DNN 表示的預訓練模型的參數。至少有兩種方法可用于DL應用中的遷移學習：

• 重新學習輸出層：使用這種方法，預先訓練好的模型的最后一層被替換成新的輸出層，與新任務的預期輸出相匹配。在訓練過程中，只有新輸出層的權重被更新，其他的都是固定的。
• 微調整個模型：這種方法類似于第一種方法，但在這種情況下，可能會更新整個 DNN 的權重。 這種方法通常需要更多的訓練數據。

事實證明，遷移學習也可以提高模型的泛化能力。然而，隨著源任務和目標任務之間距離的增加，遷移學習的積極作用往往會減少。

4.3.2 生成性對抗網絡

生成性對抗網絡（GANs）是由Goodfellow等人發明的，是一種生成模型，可用于半監督學習，其中將一小組標記的數據與一大組未標記的數據相結合以提高模型的性能。基本的GAN實現由兩個DNN組成，分別代表一個生成器和一個判別器。生成器被訓練成產生假數據，而判別器被訓練成將數據分辨為真實或虛假。當這兩個網絡同時被訓練時，一個網絡的改進也會導致另一個網絡的改進，直到最后達到一個平衡。在半監督學習中，生成器的主要目標是產生未標記的數據，用于提高最終模型的整體性能。除了半監督學習之外，GANs還被用于：

• 重建：填補部分被遮擋的圖像或對象的空白部分。
• 超分辨率：將圖像從低分辨率轉換為高分辨率。
• 磁帶到圖像的轉換：將圖像從冬天轉換為夏天，從夜晚轉換為白天，等等。這項技術的一個軍事應用是可以將夜視圖像轉換為日光圖像。

4.3.3 建模和仿真

建模和仿真已被軍隊廣泛用于培訓、決策支持和研究等。因此，有很多經過長期驗證的模型，也有可能被用于生成ML應用的合成數據。例如，飛行模擬器可以用來生成置于不同環境中飛機的合成圖像。在這種情況下，標簽是自動的，因為在生成合成圖像之前，飛機的類型是已知的。然而，不足為奇的是，在將模型應用于真實世界的圖像時，使用合成圖像可能會導致性能不佳。目前正在探索的一種方法是采用GANs增強合成圖像，使其具有照片般的真實性。這種方法已經得到成功的應用。

5 結論

人工智能最近的突破正在逐漸達到可以用于軍事應用的地步。 該論文描述了在監視、水下魚雷戰和網絡安全中使用人工智能的一些可能性。 其他潛在應用包括使用半自動駕駛車輛和傳感器系統進行偵察、在具有長時間要求的防空系統中進行威脅評估、新興模式的情報分析、指揮和控制系統以及教育和培訓。 然而，人工智能的軍事應用需要考慮以下方面的挑戰：

• 確保模型性能符合軍事要求的透明度。
• 脆弱性可能會導致系統性能大幅度降低。
• ML的訓練數據不足。

專注于人工智能的透明度、可解釋性和可解釋性問題的研究人員已經取得了許多進展。這些進展中的許多部分也都可能被用于軍事人工智能應用中。然而，需要進行更徹底的需求分析以了解如何利用這些研究成果。軍事需求在風險、數據質量、法律要求等方面與一般情況相比非常不同，有些類型的透明度甚至可能不適用。此外，還需要對如何利用社會科學研究來提高人工智能的可解釋性進行更多研究。未來的研究還應該包括如何充分利用在視覺分析研究領域中開發地豐富的可視化技術。

由于目前還沒有解決脆弱性問題的有效方案，因此在監測這一研究領域不斷尋找有希望的解決方案非常重要。然而，在這種解決方案出現之前，有必要盡量減少外部對模型和防御技術的訪問。否則，對手可能會試圖利用這些漏洞來為自己謀利。

最后，遷移學習使其有可能將預先訓練好的模型應用于訓練數據和計算資源都有限的軍事應用。GAN是另一種有很前途的技術，它能夠采用標記的和未標記的數據進行學習（半監督學習）。GAN也可以與仿真結合使用，以提高合成的訓練數據的真實性。