亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文探討了在軍事網絡安全方法中應用生成式人工智能（Generative AI）所帶來的倫理和對抗影響。生成式人工智能已在眾多民用應用中展示于威脅模擬和威脅防御領域。盡管如此，其在軍事應用中存在重要的倫理考量，原因在于生成式人工智能可能被濫用。針對軍事系統的網絡威脅正變得比以往更加復雜，我們希望為該領域的研究體系增添數據，以幫助彌合在理解軍事環境中生成式人工智能風險方面所識別的知識差距。目標： 本文旨在探討圍繞生成式人工智能軍事應用的倫理困境，包括責任歸屬、自主性和濫用問題。本文審查了與生成式人工智能相關的對抗性風險，包括敵對行為體的操縱或其他利用。目標是提出考量倫理困境的措施，同時改進防御能力。方法： 方法論將評估倫理風險，如與人工智能系統相關的自主性、武器化和偏見問題。它將通過建議采用對抗性訓練策略、混合人工智能系統以及針對被對抗性操縱的人工智能生成威脅的穩健防御機制來確定對抗性風險。它還將為軍事網絡安全提出倫理框架和責任模型。結果： 本文提供了在傳統網絡環境和智能網絡環境下軍事網絡安全系統的性能比較評估。重要研究結果證明，生成式人工智能有可能提高檢測準確性，尤其是響應時間。但它也引入了新的風險，如對抗性操縱。實驗結果說明了對抗性訓練如何增強模型的魯棒性、減少漏洞，并提供更強的針對對抗性威脅的防御能力。結論： 與傳統方法相比，生成式人工智能在軍事網絡安全中具有相當可觀的益處，特別是在提升檢測性能、響應時間和適應性方面。如圖所示，人工智能增強系統的優勢使惡意軟件檢測準確率提高了15%，從80%上升到95%，釣魚郵件檢測準確率也提升了15%，從78%上升到93%。對新威脅的快速反應能力也很關鍵，響應時間縮短了60%，從5分鐘減至2分鐘，這在軍事環境中至關重要，快速響應將能最大限度減少影響。此外，人工智能系統顯示出將誤報率從10%降低到4%（這非常優秀）以及將漏報率從18%降低到5%的能力（這也很優秀），這很大程度上基于人工智能系統識別真實威脅樣貌的能力以及識別真實威脅的能力。

在過去的幾年中，由于人工智能（AI）和機器學習技術的發展，網絡安全經歷了根本性的轉變。作為人工智能的一個子類別，生成式人工智能，包括生成對抗網絡（GANs）和變分自編碼器（VAEs），正被迅速用于生成網絡威脅模擬以提供更好的防御。盡管這些人工智能模型在民用網絡安全應用中所展現的巨大效用已得到證明，但它們在軍事環境中的使用會產生額外的困境和變數。鑒于軍事領域的風險高得多，甚至在實施生成式人工智能之前，對其能力和風險獲得更深入的理解至關重要。將生成式人工智能用于軍事網絡安全工具存在諸多優勢。最顯著的好處在于，生成式人工智能能夠針對當前系統的極限，提供逼真、復雜且先進的網絡攻擊模擬。盡管在軍事網絡領域提出了無數解決方案（如復雜的關鍵基礎設施和武器系統），軍事網絡仍必須應對日益復雜的網絡攻擊，包括高級持續性威脅（APTs）、零日漏洞利用和定制攻擊。生成式人工智能模型可以生成基于情景的自適應攻擊，包括多態惡意軟件、相關釣魚郵件和自適應入侵模式，這可以匯總應對惡意網絡事件的最佳實踐。生成式人工智能也將允許檢測和/或響應系統的測試。最后，這些用于模擬的先進能力本身也帶來了必須加以考慮的顯著倫理/對抗風險。

生成式人工智能的軍事應用存在著嚴峻的倫理挑戰。首先是自主性問題。監督和管理對于人工智能的能力及其相應的自主決策至關重要。在軍事行動中由自主人工智能系統做出的決策可能產生嚴重后果，無論是沖突升級還是未知的損害。這要求現有系統配備監督機制，以確保對人工智能決策的責任追究或自主性，其決策范圍涵蓋從軍事到民用領域。第二個倫理挑戰是武器化。隨著生成式人工智能模型的改進，對手最終也會利用生成式人工智能來武器化新的網絡攻擊或發動人工智能支持的進攻策略。因此，我們必須確保強大的工具在國際法管轄的范圍內以符合倫理的方式使用。此外，人工智能系統中的偏見不容忽視。包括使用生成式人工智能在內的機器學習模型，都可能易受訓練數據中存在的偏見影響。如果這些偏見未被識別，它們必然會影響或玷污決策過程，導致負面的、武斷的或歧視性的結果，尤其是在風險巨大的軍事應用中。存在偏見的AI系統可能導致基于含有偏見的數據錯誤識別威脅或未能識別威脅行為，這會危及軍事系統的安全。

在軍事網絡應用中，生成式人工智能的應用既帶來對抗性風險，也涉及倫理考量。雖然人工智能提高了對事件的檢測和響應速度，但對手可以利用人工智能中的缺陷。網絡攻擊者可以添加對抗樣本并篡改人工智能的訓練數據，導致人工智能錯誤分類威脅或根本未能識別惡意活動。這是一個嚴重問題，特別是在涉及人員生命且生命損失風險以軍事防御規模來衡量的情況下。對抗性人工智能模型甚至可能能夠通過發動一次產生幻影的攻擊來偽造網絡攻擊，使其響應系統不堪重負，或者操縱軍事網絡安全系統陷入另一種、有效的對抗性系統復雜化。本文針對在軍事網絡安全中使用生成式人工智能所涉及的倫理和對抗性問題進行了論述。最終，本文將在后文探討減輕這些擔憂的方法，例如通過對抗性訓練、混合人工智能系統和責任歸屬機制。這項工作的最終目的是確保在恪守倫理原則、公平性和安全性的前提下，軍事領域對生成式人工智能的利用能夠增強網絡安全態勢。本文還將考慮如何在現實世界軍事行動動態多變的背景下，持續研究和評估這些模型對新興網絡威脅的抵御能力。

在技術革新加速與地緣格局劇變的時代背景下，海戰模式正在經歷深刻變革。傳統大型載人航空母艦曾是全球海軍力量的象征，但高超音速導彈與無人機蜂群等新興威脅暴露出此類平臺的致命弱點。近期沖突（特別是烏克蘭戰事）凸顯無人系統在對抗環境中的戰略價值，促使各國海軍積極探索替代性力量投射方案。在此背景下，土耳其TCG Anadolu兩棲攻擊艦的轉型為無人機母艦概念提供了極具啟示性的研究樣本。該艦經現代化改造后深度整合先進無人機（UAV）系統，大幅拓展海上主權維護與作戰半徑。這一轉變不僅挑戰傳統航母設計理念，更引發關鍵戰略思考：TCG Anadolu的無人機中心化配置究竟代表著海軍戰略的漸進改良，還是一場顛覆性革命？

本文通過系統評估TCG Anadolu作戰能力、對比全球無人機母艦發展態勢、解析此類平臺應用的戰略影響來填補研究空白。研究揭示無人機母艦在低強度任務中展現的靈活性與成本優勢，并進一步探討其在高強度沖突中的局限性。論述首先追溯TCG Anadolu的轉型歷程及驅動因素，繼而對比分析該艦與傳統航母的攻防效能差異。隨后梳理全球海軍無人機中心化建設趨勢及戰略應對，最終展望無人化海戰在日益復雜海洋競爭環境中的發展前景。

無人機母艦的應對策略：差異化發展路徑

基于TCG Anadolu的無人機中心化設計及其揭示的海軍戰略威脅，觀察其他海軍如何應對相同技術戰略壓力具有重要啟示意義。部分國家選擇建造專用無人機母艦，另一些則傾向將無人機整合至現有平臺的混合模式。每種路徑都體現了各國在新威脅環境下對成本效益、生存能力與靈活性三者的權衡。

中國建造專用無人機母艦的動向引發全球關注，可能標志著海軍創新的轉折點。多方信息顯示，076型"四川"級將成為全球首艘專用固定翼無人機母艦（Spirlet, 2024; Thomas, 2024）。該艦配備電磁彈射器與攔阻裝置等先進技術，可實現無人機快速起降，其技術水平與大型航母相當（Spirlet, 2024; Thomas, 2024）。該平臺將顯著擴展中國在南海等水域的"反介入/區域拒止"能力。在臺海沖突場景下，該艦可部署協同無人機蜂群實施防空壓制，從而減少對昂貴有人戰機的依賴，迫使周邊國家重新評估海軍戰略，可能改變區域安全格局（Honrada, 2024; Arteaga, 2025）。

這種戰略考量不僅限于超級大國。中小國家也在積極布局無人機母艦，彰顯該模式的戰略吸引力。典型案例包括伊朗已投入使用的"沙希德·巴蓋里"號，以及意大利正在研發的"薩滿"無人機母艦（Lob & Riehle, 2023; Ares Difesa, 2024）。這些進展凸顯無人機母艦在未來海戰中日益重要的角色。各國尋求在提升力量投射能力的同時，建立相較傳統航母更具成本效益的替代方案，專用無人機母艦為此提供了可行路徑。

美國海軍采取的混合戰略選擇將無人機整合至現有作戰平臺，而非單獨建造專用母艦，展現了另一種無人機中心化海軍發展思路。該模式將空中加油、情報監視偵察（ISR）及精確打擊等關鍵功能分散配置至有人-無人混合編隊，通過協同組網形成更強火力與生存能力（Honrada, 2024）。重要里程碑是"喬治·H·W·布什"號航母配備的專用無人機指揮中心，標志著美軍首次將無人系統正式納入航母艦載機聯隊（Kesteloo, 2024b）。核心項目包括投入1.36億美元研發的MQ-25A"黃貂魚"無人加油機，計劃部署于尼米茲級與福特級航母，配套升級的無人空戰中心將直接指揮無人機作戰（Suciu, 2024）。現行軍事學說預計到2040年無人機構成航母艦載機聯隊40%以上兵力，與有人航空力量形成互補而非替代關系（美國海軍部，2021）。兩種發展路徑的對比揭示各國海軍如何在維持傳統戰力需求與追求成本效益及靈活性之間尋求平衡。選擇專用平臺或現有艦隊整合方案，取決于威脅環境、國防預算及無人機技術成熟度等要素。最終，所有模式都印證無人系統在海權投射與海軍學說中的核心地位日益凸顯。

隨著時間推移，人工智能（AI）與自主技術改變戰爭形態的承諾正逐步成為現實。正如烏克蘭使用基礎自主技術引導無人機，以及以色列據報利用AI執行加沙地帶目標定位所展現的，這項技術將持續擴展未來沖突的節奏、規模與范圍。在美國及其盟友與合作伙伴努力尋求負責任開發與部署這些系統之際，建立嚴格方法以確保其符合技術最佳實踐、美軍政策及未來作戰理念的重要性空前提升。

美國防部（DoD）在戰爭中部署尖端技術方面擁有重要地位，但AI與自主系統仍帶來獨特挑戰——從決策選擇過程的不可解釋性，到對開發所用訓練數據的敏感性。當美國及其對手正以驚人速度推進該技術發展時，聯合部隊需建立基于技術原理的動態框架，以延續國防部安全有效部署技術的傳統。

建議摘要

本研究成果適用于AI與自主系統全生命周期，可分為兩大類別：一是涉及系統設計與工程技術要素的"研究與系統開發"；二是關乎虛擬與實況測試實踐及政策要素的"測試與評估（T&E）"。創造安全有效的AI與自主系統并非采辦或作戰單一部門的職責，而是貫穿系統全生命周期的系統工程。因此，這些發現與建議廣泛適用于從工程設計團隊到測試操作人員等多個關聯領域。

研究與系統開發

國防部門應確立AI與自主系統的共性特征清單，這些特征需新型保障與維護措施。此舉可使采辦部門在開發初期（糾錯成本最低階段）識別相關項目并激活額外資源與監管。相較于依賴寬泛定義或供應商自報告，通過特征識別能更精準把握AI與自主系統特有的開發、測試與維護問題，同時避免將成熟的傳統AI應用納入過度寬泛的監管范疇。

采辦部門應將系統設計技術與工程實踐的信息共享要求納入合同條款。這種強制性信息透明機制需明確系統組件是否涉及新型保障或維護需求的AI技術，從而規避用戶或測試人員可能忽視的"隱藏式AI"系統。

各軍種與采辦部門應支持在項目早期將操作人員嵌入開發團隊。鑒于系統開發后期設計變更成本高昂的共識，這種早期介入可在系統交付終端用戶前發現潛在問題，從而降低成本并提升效率。

系統開發商與項目辦公室應提前強調操作人員對可解釋性的需求。雖然機器學習（ML）系統訓練獲得的新型戰術可能提升性能，但若未兼顧測試人員與操作人員的關切，將阻礙技術后續應用。

測試與評估

負責制定與實施"負責任人工智能（RAI）"政策的部門，應與項目辦公室及工程團隊合作制定明確的合規測試指標指南。此項工作重點在于將"公平性"等抽象原則轉化為可評估的性能參數。雖然具體程序需因應系統類型及所用AI/ML技術調整，但分享測試最佳實踐案例可積累類似有人戰機等傳統系統的機構知識。

國防部門通過采辦與科研工程部門，應為測試評估機構及AI系統承包商提供通用驗證建模與仿真工具，避免重復開發臨時工具。此類資源共享可涵蓋環境模型、友軍或對抗威脅模型。

項目辦公室應與測試及操作人員建立持續對話機制，圍繞系統性能關鍵指標進行迭代優化，確保其既符合底層工程流程，又能適應任務概念的演進。這種指標迭代機制符合AI/ML系統開發的工業最佳實踐，需認識到模塊與系統的技術指標可能與實戰表現非直接相關。

國防部門測試評估體系應擴展測試安全政策，考量AI與自主系統的獨特風險特征以提高測試效率。雖然大型AI與自主系統故障仍可能造成經濟與作戰風險（特別是涉及無人與機器人平臺時），但其對人員生命的威脅程度與傳統載人系統存在本質差異。

隨著人工智能（AI）在軍事領域的應用日益廣泛，民間社會、學術界和政策制定者對其監管的呼聲也越來越高。本文認為，盡管民間社會、學術界和公眾支持對軍事人工智能進行嚴格監管，但這種監管不太可能實現，尤其是通過北約等正式組織來實現。當前烏克蘭俄羅斯戰爭凸顯了三個關鍵原因：與民用領域的界限模糊、民用生活的武器化，以及在自主性方面取得的實質性進展。鑒于這些因素，本文認為，短期內最可行的可能是行為層面的措施。

引言

隨著人工智能（AI）在軍事領域不同應用中的使用日益增多，民間社會和政策制定者對其監管的呼聲也越來越高。正式的討論已在《特定常規武器公約》（CCW）框架內進行，而更非正式的討論則在重大外交會議（如軍事領域負責任人工智能峰會（REAIM））的框架內展開。民間社會則推動對軍事領域人工智能的使用進行監管或徹底禁止，特別是在完全自主武器系統方面。學術界認為，這種禁令是必要的，通常基于自主武器和故障系統可能引發核武器使用的災難性前景。從現有數據來看，公眾輿論也支持為自主武器系統制定監管機制。

在烏克蘭俄羅斯戰爭的背景下，人工智能對戰爭可能產生的影響已為許多人所認識。雖然這不是人工智能首次在戰場上使用，但這場沖突凸顯了人工智能可能應用的規模。烏克蘭戰爭還與北約內部對人工智能潛在益處的日益認識相重疊。2021年10月，北約通過了其人工智能戰略，啟動了北大西洋防御創新加速器（DIANA）——一項旨在支持創新的倡議——并成立了一個新興和顛覆性技術咨詢小組。與北約的活躍形成鮮明對比的是，大多數北約成員國在將人工智能納入其國家戰略和武裝力量方面僅采取了有限的步驟。對大多數北約成員國來說，人工智能仍然是一個遙遠的未來，甚至有些新奇。這導致一些學者認為，在軍事人工智能應用方面，歐洲國家可能成為規則的接受者而非制定者。例如，近幾個月來，幾乎所有歐洲國家都支持美國主導的《負責任軍事使用人工智能和自主性政治宣言》，但并非所有國家都支持類似的歐洲主導的倡議，如REAIM。

然而，北約喜歡將自己描繪成人工智能領域的“負責任”行為者。作為一個負責任的行為者，包括對軍事領域人工智能使用的潛在限制問題。然而，問題在于，是否以及在多大程度上正在考慮這一領域的潛在使用限制、監管甚至軍備控制。由于人工智能的監管和限制在民間社會、專家和公眾中廣受歡迎，是否可能將其轉化為北約的做法仍然是一個相關的問題。

烏克蘭戰爭的教訓是否會使北約國家更傾向于考慮對人工智能（AI）軍事應用進行國際監管（甚至軍備控制）？本文認為，盡管有許多關于監管（甚至禁止）軍事AI使用的呼聲，盡管北約喜歡將自己描繪為AI領域的“負責任”行為者，但這一可能性已經消失。盡管許多北約成員國在紙面上繼續倡導“負責任”地使用軍事AI，但“負責任使用AI”的概念目前過于模糊，無法成為真正的約束。事實上，烏克蘭戰爭的教訓表明，AI對北約來說過于重要，無論是從實際還是組織角度來看，都難以放棄。

雖然不太可能在不久的將來（甚至永遠）看到一個類似“天網”（Skynet）的機器人控制的軍事戰場，但與AI在軍事領域使用相關的許多問題仍然存在，尤其是致命性自主武器系統（LAWS）這一核心問題。基本論點是，對北約而言，烏克蘭戰爭表明，AI（包括自主性）是一種過于重要的工具，無法被限制。這一認識對未來試圖監管和限制AI軍事應用的嘗試具有重要意義。任何對“責任”的呼吁在很大程度上都是象征性的，甚至可能僅適用于將責任視為發展能力的義務。

本文的其余部分結構如下：第二部分概述了當前學術界關于AI軍備控制的可行性（和可取性）的一些思考；第三部分回顧了北約在AI問題上的立場演變、其作為負責任行為者的自我敘述，以及限制和軍備控制的潛在可能性；第四部分概述了烏克蘭戰爭關于AI軍事應用的三個教訓，以及它們對北約的影響，并強調監管和限制不太可能成為未來的方向；第五部分總結了如果傳統的基于條約的軍備控制無法實現，未來AI監管可能會是什么樣子。

北約與人工智能

近年來，北約制定了一系列人工智能（AI）治理框架。2021年10月，北約通過了其AI戰略，目標是“通過增強關鍵AI賦能因素和調整政策，加速AI的采用”。2022年4月，北約外長批準了“北大西洋防御創新加速器”（DIANA）倡議的章程，旨在“增強聯盟的技術優勢”。2022年10月，北約批準成立其數據與人工智能審查委員會，該委員會于2023年2月舉行了首次會議。2024年7月，北約發布了其AI戰略的修訂版，其中擴大了對生成式AI帶來的虛假信息風險的關注。

在采用這些框架時，北約對其大多數成員國來說是先行者。當北約通過其AI戰略時，大多數成員國還沒有任何具體的AI軍事戰略。盡管近年來成員國加速了對軍事領域AI的關注，北約仍在塑造其戰略，就像它在其他軍事活動領域所做的那樣。

正如北約經常強調的那樣，成為“負責任”的行為者是聯盟在AI領域方法的關鍵要素。北約的AI戰略在其對負責任使用原則的強調中明確了這一點：合法性；責任與問責；可解釋性與可追溯性；可靠性；可治理性；以及偏見緩解。重要的是，這些原則并未包括對AI開發和實施的討論或限制。這些文本中討論的唯一法律框架是國際人道法和人權法，以及2019年《特定常規武器公約》（CCW）締約方通過的相關指導原則。在2024年AI戰略修訂版中，北約最遠只承諾“增加對制定國防和安全領域負責任使用AI的規范和標準的貢獻”。同樣，2024年11月，北約議會大會通過了一項決議，指出“在AI領域的領導地位對于保持北約的技術優勢并確保AI在軍事領域的負責任使用至關重要”。

現有關于北約采用AI的學術研究大多討論了在整個北約企業中實施AI的組織、制度和技術障礙。現有研究并未詳細討論可能的限制。在我的非正式討論中，所有受訪者都強調，目前唯一的限制是由國際人道法和人權法提供的。

這顯然可能導致有問題的結果。一個例子是核武器領域，這些限制已被證明是不夠的。核威懾支持者經常聽到的一個論點是，在某些情況下，使用核武器可能是完全合法的。支持者引用的論點是1996年國際法院未宣布使用核武器為非法的裁決。有趣的是，美國當時向法院提出的情景是“在非城市地區對少數軍事目標進行少量精確的低當量武器攻擊”。至少，這種情況可能會排除美國所有的洲際彈道導彈和潛射彈道導彈，以及其戰略轟炸機部隊的很大一部分。然而，國際法學者的廣泛共識是，至少就美國目前的姿態而言，無法想象使用核武器符合國際人道法的情景。

在軍事領域AI開發中，可能會出現類似的問題，即開發的武器可能很難符合現有的國際（人道）法規則。主動監管或決定不開發此類武器可以防止這種情況的發生。

烏克蘭戰爭的教訓

北約在戰爭中應用人工智能的框架是在與俄羅斯的緊張關系加劇的背景下制定的，最終俄羅斯烏克蘭戰爭爆發。人們普遍認為，烏克蘭戰爭為未來戰爭提供了許多經驗教訓，盡管這些經驗教訓尚未完全具體化。談到人工智能的軍備控制，特別是北約在其中扮演的角色，本文指出了三個主要教訓，它們共同說明了為什么戰后出現未來人工智能軍備控制的可能性較小。

• 與民事部門的邊界模糊不清

從烏克蘭戰爭中汲取的第一個--也可能是最主要的--教訓是，軍事部門和民用部門在一定程度上相互關聯，即使不是不可能，也很難進行實際區分。這種相互聯系源于人工智能是一種通用技術，而非獨立的軍事技術，它表現在三個方面。首先，在創新方面，民用部門往往處于主導地位，而軍方往往是消費者。這與軍事采購中的通常情況恰恰相反，在軍事采購中，軍方通常會事先確定其需求，而民用部門則生產與之相匹配的產品。其次，民用工具往往比軍事需求更加匹配，這就不需要特定的軍事發展計劃。第三，民用工具是現成的，隨時可以部署，因此從頭開始開發往往毫無意義。

這一教訓在烏克蘭戰爭中得到了充分體現。小型業余無人機被用于戰場觀察的故事只是新興技術領域總體趨勢的一個例證。不過，這種整合也適用于人工智能。烏克蘭陸軍利用 Palantir（一家民用公司）提供的 MetaConstellation 軟件等技術，監控俄羅斯軍隊的行動、補給和規劃。MetaConstellation 允許烏克蘭指揮部匯總來自民間商業供應商的數據，利用人工智能優化和更接近傳感器的方式為烏克蘭軍隊提供支持。數據由 Maxar、空中客車、ICEYE 和 Capella 等民用公司以及國家科研機構提供。這些公司經常提供衛星圖像，包括光學圖像、合成孔徑圖像和熱圖像，并支持瞄準周期。這些類型的圖像具有合法的民用功能，在許多情況下最初就是為民用目的開發的。例如，ICEYE 是一所大學的分立機構，在市場上主要從事備災工作。為監測云層覆蓋下的野生動物而開發的民用解決方案目前正被用于監測俄羅斯軍隊的動向。這些只是軍方如何利用商業技術獲得軍事優勢的眾多例子中的一部分。

人工智能幫助這些公司處理和分析海量輸入數據，烏克蘭士兵在戰場上可以通過平板電腦訪問這些數據。俄羅斯最近對一些幫助烏克蘭部署人工智能解決方案的私營公司進行了網絡攻擊，這進一步反映了這些技術的戰略重要性。

這些技術不僅無處不在，而且實際上可能更能滿足當前的軍事需求。例如，只有少數北約成員國的衛星能夠生成分辨率高于商業供應商現成圖像的圖像。民用部門也有對這些圖像進行分析的解決方案。因此，從北約成員國的角度來看，限制在軍事部門使用這些系統不僅不可行，也不可取。此外，控制這些系統可能不僅不可能，而且還會誤入歧途。冷戰的教訓表明，衛星的出現使各國不再擔心突然襲擊，從而改善了戰略穩定性。烏克蘭目前也存在類似的動態變化，出其不意的因素難以維持。從長遠來看，這可能會產生穩定作用。

然而，由于數據分析和處理的速度大大提高，人工智能系統（以及這種速度）被視為軍事決策的關鍵。因此，這些商業民用服務所提供的決策速度被視為生死攸關的問題，而避免使用則被視為不負責任。人工智能在規劃、后勤和維護方面的優勢尤其難以抵擋。正如英國戰略司令部司令霍肯霍爾將軍所言，在當前的烏克蘭戰爭中，我們'看到人工智能與商業應用軟件并用，提高了行動速度。它還提高了實用性"。

因此，從烏克蘭戰爭中得到的第一個教訓是，與人工智能相關的軍備控制既難以想象，又可能被視為適得其反。軍事部門與民用部門的相互關聯意味著這一領域的軍備控制前景依然暗淡。

• 萬物武器化

近年來，人類生活各個方面的 “武器化 ”趨勢日益明顯。法雷爾和紐曼談到了相互依存的武器化，而加萊奧蒂則更進一步，談到了 “萬物武器化”。事實上，現代人類生存的幾乎所有方面都可以被用于軍事目的，這一點在烏克蘭戰爭中得到了充分證明。

一個很好的例子是，烏克蘭使用 Clearview AI 人臉識別軟件（該軟件根據從社交媒體上截取的照片進行訓練）來識別俄羅斯士兵（無論死活）并打擊錯誤信息。烏克蘭軟件公司 Primer 修改了其語音轉錄軟件，以處理截獲的俄羅斯士兵電話（他們通常使用普通電信網絡與家人和朋友聯系）。人工智能可以幫助即時處理、選擇和輸出對軍事有用的信息。烏克蘭軍方還開發了可供廣大公眾使用的應用程序，以提醒軍事指揮官俄羅斯軍隊的確切位置。標準化聊天機器人也用于類似目的。與民用傳感器網絡相結合，可以實現情報的眾包，并促進人工智能驅動的處理。不過，烏克蘭并非唯一依賴這些工具的國家；正如媒體報道所示，俄羅斯曾利用欺騙電話誘騙烏克蘭人給武裝部隊中的家庭成員打電話，隨后再將他們作為炮擊目標。

在歐洲，這些人工智能的某些用途是非法的。數據保護法規，尤其是歐盟的《通用數據保護條例》（GDPR），禁止上述某些措施，如從社交媒體上獲取照片和在沒有搜查令的情況下監控通話。但這并不意味著此類策略永遠不能在歐盟領土上使用，在這種情況下，如果歐洲軍隊要遵守《一般數據保護條例》，就會處于不利地位。以權利為導向、以人為本的監管模式遲早會與人工智能系統的 “萬物武器化 ”方法相沖突。

萬物武器化，以及任何手機都能成為輸入人工智能系統的傳感器這一事實，意味著對這些系統的監管即使不是不可能，也將是困難的。大量的數據將使通過人工智能處理這些數據的動力更加強勁。人們可能會認為，這些 “公民傳感器 ”收集的數據用處太大，不值得放棄。同樣，由于這些技術與實際致命行動仍有距離，而且信號情報并不新鮮，因此 “萬物 ”武器化的好處很可能會被認為過于誘人而被放棄。

從烏克蘭戰爭中汲取的前兩個教訓也凸顯出，要想在未來對人工智能采取重大軍備控制措施普遍存在困難。正如最近的理論文獻所指出的，如果民用和軍事應用難以區分，如果軍事企業和民用經濟融為一體，軍備控制的可能性就會降低。這兩種情況都適用于烏克蘭戰爭。這突出表明，不僅人工智能軍備控制總體上很困難，而且北約參與軍備控制的動力可能更加有限。

• 實現完全自主性的步驟

烏克蘭戰爭帶來的第三個教訓與第一個教訓有關。如果利用民用部門的發展，通過壓縮時間提供決定性的決策優勢，這可能會削弱阻止完全自主武器系統（即能夠 “在沒有人類干預的情況下選擇并對目標使用武力 ”的系統）發展趨勢的呼聲。

目前，烏克蘭不僅將人工智能用于分析，還用于預測和處方，包括發現目標和確定優先次序。Kropyva 應用程序可幫助烏克蘭官員篩選數據，一旦選定目標，就會自動優化與之交戰的方式。其中許多步驟都是本著優化決策的精神采取的，目的是 “更快、更準 ”地瞄準敵人。在許多其他領域，結論似乎是，盡管數據質量可能并不完美，但性價比使人工智能的使用物有所值。

不過，烏克蘭防御者已經在嘗試使用人工智能驅動的無人機獵殺系統（如 Fortem 的 DroneHunter F700）來攔截和鎖定敵方派來攻擊烏克蘭能源設施的無人機。在一些行動中，烏克蘭還使用了自主艦艇、水下無人機和無人駕駛飛行器。多位觀察家指出，烏克蘭的軍事系統擁有部署完全自主武器系統所需的組件。在北約的一次軍事演習中，模擬了與烏克蘭類似的無人機攻擊，觀察員注意到 “在反無人機無人機部署之前，士兵就已經被殺死了”。

人工智能系統的速度顯然為進一步發展提供了誘人的動力。目前，這些系統都不是為了殺死人類而設計的，而這正是致命自主武器系統的關鍵定義要求。不過，在這些系統中加入這種能力目前肯定是可行的，而且這樣做的壓力可能會持續存在。人工智能解決方案的提供商都意識到其產品所帶來的優勢。Palantir 公司首席執行官亞歷克斯-卡普（Alex Karp）認為，“現在，先進算法戰爭系統的威力已經大到相當于擁有戰術核武器來對付只有常規武器的對手”。有趣的是，研究數據科學的軍事專家認為，這樣做的好處可能比人們通常認為的要多，而風險則被夸大了。

當然，這也提出了一個問題，即 “有意義的人為控制 ”這一概念究竟意味著什么？烏克蘭的局勢反映了人為控制與人為判斷之間的兩難選擇。根據新聞報道，發現敵人、決定與之交戰并實施打擊的整個過程只發生在短短幾分鐘內。導致做出此類決定的情報--例如從商用無人機或衛星圖像中獲取的情報--不一定總能得到證實。如上所述，許多此類系統在決定如何攻擊目標時往往是指令性的。這突出表明，雖然人類可能參與其中（從而滿足了人類控制的標準），但人類是否做出了判斷可能并不明確。

支持將人工智能用于軍事目的的人主要提出三類論點。首先，他們認為我們永遠不可能擁有完美的信息，而人工智能系統據以做出決策的信息往往比人類情報或其他更傳統的情報來源更好、更完整。第二個論點是，錯誤、失誤和 “附帶損害 ”在任何情況下都會經常發生。最后，他們認為，對人工智能的偏見正在發揮作用，因為機器的標準與人類不同。在某種程度上，這些論點與有關自動駕駛汽車的討論相似。在這項研究中，涉及死亡的事故（在使用自動駕駛時不可避免）也被證明對公眾輿論產生了強烈的負面影響。雖然有關致命性自主武器系統觀點的可比研究有限，但目前的數據表明，在所有條件相同的情況下，隨著武器系統自主性的提高，公眾對致命性自主武器系統的接受度會降低。

烏克蘭戰爭表明，各國軍隊正在采取越來越多的措施實現自主化。例如，旨在保護關鍵基礎設施的系統已經開始使用自主性。借用核軍備控制中的一個術語，我們目前正處于一種 “潛伏 ”狀態，即國家擁有制造武器所需的一切要素，但尚未研制成功。在核領域，“潛伏 ”指的是一個國家擁有研制核武器所需的一切條件，只要它愿意，因為它擁有大部分（如果不是全部）必要元素。在人工智能領域，“潛伏期 ”指的是一個階段，在這一階段，開發真正自主武器系統所需的全部（或幾乎全部）要素都已具備，盡管尚未做出這樣做的決定。

當然，潛伏期并不自動意味著達到潛伏期的國家會選擇獲取武器系統。然而，它確實意味著必須有一個決定不走這條路的積極過程，這個過程可能來自國內專家組，也可能來自國外的壓力。人們可能會問，在更大規模地部署自主權之前，這種壓力是否有可能及時出現。

結論

本文考慮了北約在有關人工智能軍事應用的討論中成為相關行為體的可能性，特別是考慮到烏克蘭戰爭。正如所論證的那樣，北約總是不太可能參與軍備控制--它是一個有強烈的制度和政治理由不參與此類討論的組織。然而，烏克蘭戰爭進一步降低了北約參與這些討論的可能性，原因有三：(i) 戰爭表明民用和軍事部門之間的界限非常狹窄；(ii) 戰爭導致 “萬物武器化”，包括民用生活的許多方面；(iii) 戰爭鼓勵了探索軍事系統自主性的步驟，在一定程度上表明自主性現在更多的是一種選擇而非手段。在當前的戰爭中，人工智能的使用是否為烏克蘭帶來了重大戰略優勢，只有未來的研究才能證明，這些使用清楚地表明，在軍事領域實施人工智能可以帶來切實的戰術軍事優勢。

因此，關于北約將成為人工智能領域 “負責任 ”的行為體的說法必須有所保留。北約不會成為一個推動軍備控制和監管的負責任的行為體，而那些主張限制人工智能在軍事領域應用的人卻傾向于這樣做。相反，北約及其成員正在成為一個將安全可靠地部署人工智能視為己任的行為體。從這個意義上說，北約內部的責任這一結論會讓那些希望北約國家采取更有力的人工智能監管措施的人感到失望，因為這可能需要北約本身的參與。

雖然有關公眾對人工智能武器看法的研究尚處于起步階段，但有關公眾對致命自主武器系統態度的新興研究表明，隨著自主程度的提高，公眾對使用武器持反感態度。同樣，公眾也可能認為使用自主程度較高的武器系統不道德。因此，公眾對人工智能武器的看法相對不那么樂觀。

如果聯盟（及其成員）不想認真考慮人工智能軍備控制問題，但公眾又認為這種措施是可取的，那么各國政府可能會更容易采取象征性調整政策。在核軍備控制領域，象征性調整早在 20 世紀 90 年代就已被描述為政府在不損害核心政策問題的前提下為滿足公眾要求而采取的措施。

其中一種象征性調整可能是采用行為方法進行軍備控制。行為方法最近在核軍備控制中得到了探索，以替代傳統的以條約為基礎的軍備控制，而傳統的軍備控制目前正處于緊張狀態。即使是軍備控制條約的堅定支持者，最近也主張以行為方式進行軍備控制。事實上，歐洲決策者提出行為軍控的想法已有一段時間。

行為軍控的一個關鍵要素是，它限制行為，但不要求核查。它依靠的不是核查，而是行為線索--重要的是政治壓力和權衡。行為軍控過去曾因缺乏執行機制而飽受批評，但現在學者們認識到，社會約束實際上可以提供重要的防護。

近年來，隨著大國在數量和質量上不斷增強其核武庫，以往由美國和俄羅斯主導的兩極核秩序已讓位于更加動蕩的三極核秩序。與此同時，包括軍事應用在內的人工智能（AI）技術領域也取得了重大突破。由于這兩種趨勢，在美中俄地緣政治競爭的背景下理解人工智能與核的關系變得日益迫切。

人工智能在軍事上的用例多種多樣，包括分類模型、分析和預測模型、生成式人工智能和自主性。鑒于其種類繁多，有必要從三大類別來研究人工智能與核的關系：核指揮、控制和通信；核平衡的結構要素；以及人工智能支持的常規系統與核風險的糾纏。雖然這些類別中的每一類都有可能產生風險，但本報告認為，特定情況造成的風險程度取決于三大因素：人類的作用、人工智能系統成為單點故障的程度以及人工智能攻防平衡。

隨著大國日益致力于實現核武庫現代化并將人工智能融入軍隊，政策制定者必須意識到人工智能與核的關系所帶來的風險。在當前的外交和軍事背景下，美國與中國和俄羅斯之間的雙邊關系日益緊張，中俄協調也有所加強，在這種情況下與大國就這一關聯問題深度探討可能會困難。盡管如此，美國決策者仍可采取各種措施來加強在這些問題上的威懾力和穩定性。這些措施包括

• 圍繞人工智能與核的關系問題積累知識和能力；

• 將人工智能納入與核及其他戰略風險相關的外交舉措，反之亦然；

• 建立和促進與核武庫和其他戰略能力有關的人工智能安全使用規范；

• 制定政策和技術標準，準確評估如何以及何時讓人類參與所有核相關進程；

• 將人工智能技術作為監督和審查美國核武庫的一個因素；

• 投資人工智能支持的網絡和空間能力，以加強防御和復原能力，減少攻擊這些領域的動機，并降低糾纏風險；

• 就人工智能將如何影響與核能力和常規能力有關的延伸威懾計算與美國盟國密切磋商；以及

• 建立一套全面的風險降低和危機管理機制，同時認識到取得進展的障礙。

如果不采取這些措施，美國和世界就可能面臨危險，并且沒有準備好抓住人工智能-核關系日益突出所帶來的任何機遇。

隨著人工智能（AI）領域的飛速發展，這些技術的變革潛力對國家和國際安全產生了深遠的影響。因此，全世界的政策制定者和監管者越來越認識到，迫切需要超越國界和個人利益的共同理解，尤其是在人工智能應用于安全和國防領域的情況下。

然而，國家和非國家行為者之間在人工智能、安全和防衛方面缺乏既定的全球合作框架，這構成了一項重大挑戰。這種共同治理的缺失導致技術進步不協調和各自為政，給國際和平與安全、穩定和繁榮帶來嚴重后果。然而，各國與非國家行為者合作的愿望日益強烈。各國認識到，這種參與至少可以為治理方法和解決方案提供信息，并確保其制定、采納和實施都有據可依。此外，它還可以確保行業、民間社會組織、研究、技術和科學界以及學術界的認識和支持。

聯合國秘書長在其《和平新議程》中強調，必須 “確保工業界、學術界、民間社會和其他部門的利益攸關方參與”，“通過多邊進程，圍繞人工智能軍事應用的設計、開發和使用制定規范、規則和原則”。因此，迫切需要建立、促進和支持一個獨立、中立和可信賴的平臺，該平臺將促成多方利益攸關方對話，并為軍事領域負責任地開發、獲取、部署、整合和使用人工智能技術孵化治理途徑和解決方案。

人工智能（AI）有可能在社會、經濟和政策的各個方面帶來變革，包括國防和安全。英國希望成為在民用和商業應用領域推廣人工智能以及負責任地發展國防人工智能的領頭羊。這就要求對與人工智能軍事應用相關的新出現的風險和機遇，以及英國如何與其他國家開展最佳合作以減輕或利用這些風險和機遇，有一個清晰而細致的認識。

2024 年 3 月，英國國防部（MOD）國防人工智能與自主單元（DAU）和外交、聯邦與發展辦公室（FCDO）聯合委托蘭德歐洲公司（RAND Europe）開展一項簡短的范圍界定研究。該研究的目的是初步探討人工智能在軍事上的應用可能在戰略層面產生風險和機遇的方式，因為迄今為止的大部分研究都集中在戰術層面或非軍事主題（如人工智能安全）上。后續工作將更詳細地探討這些問題，為英國在這些問題上的國際參與戰略提供信息。

本技術報告旨在為理解人工智能軍事應用所帶來的戰略風險和機遇設定一個基線。一份獨立的總結報告則側重于為決策者提供高層次的研究結果。

人工智能的出現正在給競爭和沖突帶來深刻變化

人工智能最好被理解為一套雙重用途的通用技術，以硬件為基礎，但以軟件為核心。與傳統軍事技術不同的是，它們高度民主化，擴散速度極快。創新是由商業用途的私營部門驅動的，而不是由政府或國防部門驅動的。對軍事應用和影響的集體認識正在提高，但起點較低。辯論往往優先考慮某些引人注目的問題，如致命自主武器系統（LAWS）或人工智能（AGI），而忽略了其他議題。它只關注戰術，而忽視戰略；只關注風險，而忽視機遇；或只關注軍事人工智能的直接后果，而忽視從長遠來看可能影響最大的二階和三階效應。

為了解決這個問題，國防部和國防和外交、聯邦與發展辦公室（FCDO）委托進行這項研究，以制定一個概念框架，規劃軍事人工智能帶來的戰略風險和機遇。

圖 0.1 框架：人工智能軍事應用的戰略風險與機遇

人工智能對國防和安全構成復雜、重大且未被充分認識的風險

本報告詳細探討了許多風險和機遇，其中最緊迫的包括

• 信息操縱，如人工智能深度偽造，這不僅會引發政治、經濟和社會問題，還會在危機時刻影響軍事決策。

• 賦予非國家行為者挑戰國家軍隊主導地位的不對稱能力，或者在最壞的情況下，賦予他們新的大規模毀滅性工具（如生物武器）。

• 人工智能對對手之間攻防平衡、戰爭升級動態以及核威懾穩定性的相互影響。這些問題在超級大國競爭加劇的情況下，在世界已經在應對其他不安全因素（如烏克蘭、以色列-伊朗\移民、氣候變化等）的情況下，尤其令人擔憂。

• 與未來出現的任何人工智能相關的潛在災難性安全和安保風險。

在英國國內，還需要應對對國內政治和經濟產生破壞性影響的重大問題。這些問題決定了國防的目的和手段。在國外，人工智能同樣會對以規則為基礎的國際秩序的健康產生深遠影響，這取決于各國、工業界和民間社會是否以及如何有效地共同管理其影響。人工智能專家非常擔心，人工智能會在多大程度上使世界許多地方的平衡傾向于壓制性和獨裁的治理模式，同時有可能顛覆民主政治、污染信息環境和破壞社會的戰斗意志。

同樣，在軍事人工智能方面的領導力也可能帶來巨大的利益。

其中許多潛在風險也可能成為戰略優勢的機遇。人工智能的利弊平衡取決于各國如何快速有效地調整武裝部隊等機構，以利用人工智能的優勢。同樣，這也取決于各國政府如何在國際上施加影響，使全球軍事人工智能行為朝著符合本國利益和價值觀的方向發展。這就意味著各國政府要愿意進行重大投資、組織改革和文化變革，以改變國防部門對新技術的態度。

需要采取緊急行動，降低新出現的風險，利用各種機遇

為了應對這些挑戰，各國必須緊急制定一項全面的行動計劃，考慮到人工智能技術進步、圍繞人工智能或通過人工智能進行的地緣政治競爭以及國際體系中圍繞人工智能不斷演變的規范之間復雜的相互作用。這應利用一套影響不同受眾的機制工具包，運用外交、信息、軍事和經濟（DIME）杠桿，匯集一套積極主動的行動方案：

• 努力促進負責任地采用人工智能，最大限度地發揮其對國防的益處。
• 努力限制非國家行為者、恐怖主義行為者或敵對/無賴國家采用軍事人工智能，同時也要讓他們付出代價，以影響他們的行動。
• 努力為軍事人工智能制定全球、小型和雙邊治理安排。

這也應借鑒其他領域的經驗教訓--如本報告所述--以及最近關于人工智能的高級別倡議的勢頭。突出的例子包括布萊切利峰會、軍事領域負責任的人工智能（REAIM）峰會和《軍事人工智能政治宣言》。

表0.2塑造全球國防人工智能發展的機制工具包

工具包類別	優先行動手冊
促進英國國防采用人工智能并從中獲益的機制	加快整個國防領域對人工智能的投資和采用，同時提高抵御惡意或意外濫用人工智能的能力
限制采用人工智能的機制和對手的利益	采取競選方式，限制、減緩或增加對手（國家或非國家）部署軍事人工智能的成本
形成新的軍事人工智能管理安排的機制	在提高對軍事人工智能風險的認識、發現問題和分享學習成果方面發揮領導作用;與主要盟國（如美國）和競爭對手制定透明度和建立信任措施，以降低升級風險;促進采用包容性和參與性方法，就人工智能軍事領域負責任的行為規范達成新的全球共識，為今后達成更強有力的具有約束力的協議做好準備;促進減少核和生物相關的人工智能緊急風險的小型多邊機制的平行發展;研究如何將人工智能納入核查和合規機制，反之亦然;隨著時間的推移，將當前零散的人工智能治理倡議整合為一個更加具體的架構

本報告調查了對抗性機器學習 (AML)，即研究基于機器學習 (ML) 的人工智能系統弱點的研究方法。近年來，機器學習，尤其是深度學習 (DL)，在圖像分類、自然語言處理和自主代理等多個領域取得了快速進展。因此，深度學習在軍事環境中也很受關注。然而，隨著進步，人們對 AML 方法的興趣不斷增加，新的攻擊變體不斷發布。實際上，所有 DL 系統在某種程度上都容易受到影響，無論是混淆它們、避免被它們檢測到，還是提取它們可能持有的秘密信息。從軍事角度來看，重要的是要意識到這種利用的可能性，無論是針對自己的人工智能系統還是針對對手使用的系統。

該報告概述了AML研究，然后展示了針對不同類型人工智能系統的一系列攻擊方法：

• 圖像分類系統中毒，使軍用車輛避免被發現；
• 可以從大型生成模型中檢索秘密信息的提取攻擊；
• 對抗性策略攻擊，其中對手的行為方式使自主智能體感到困惑。

每個案例都描述和討論了攻擊并評估了實施。本報告的重點是攻擊。雖然在適用的情況下簡要討論了針對 AML方法的防御，但后續報告的主題是對AML防御的更深入研究。

關鍵詞：人工智能、機器學習、深度學習、深度神經網絡、欺騙、網絡攻擊、攻擊向量、漏洞、對抗樣本、數據中毒、數據提取、對抗策略

引言

深度學習 (DL) 的出現將智能計算機軟件的性能和能力帶入了新的性能水平。將基于 DL 的軟件嵌入軍事指揮、控制、通信、計算機、情報、監視和偵察 (C4ISR) 系統中，有可能徹底改變創建準確及時的共同作戰圖 (COP) 的能力，從而使軍事決策過程可以比以往任何時候都更快、更精確地執行。從長遠來看，深度學習還可以用于在遠遠超出人類能力范圍的復雜戰爭環境中制定軍事計劃。

然而，由深度神經網絡 (DNN) 實施的基于 DL 的軟件容易受到各種威脅或網絡攻擊。這些是在對抗性機器學習 (AML) 研究領域研究和開發的。這些攻擊可能被用來欺騙決策者、降低系統性能、降低最終用戶信任度，甚至從系統中提取（即逆向工程）敏感的軍事數據。圖 1.1 展示了一個典型的 AML 攻擊示例，其中目標是用于對圖像內容進行分類的 DNN。在這種情況下，DNN 能夠正確地識別出圖 1.1a 中的原始圖像包含一架戰斗機，幾乎是絕對確定的。圖 1.1b 中的惡意圖像是通過在原始圖像上應用 AML 技術創建的，能夠欺騙相同的 DNN 將輸入分類為西伯利亞雪橇犬而不是戰斗機。在這種情況下，攻擊是有效的，盡管人眼無法察覺。

圖 1.1 – 使用 AML 的樣本攻擊。在這種情況下，目標是由 DNN 表示的圖像分類系統。圖 1.1a 顯示 DNN 能夠以近乎完美的確定性將良性（非操縱）輸入正確分類為戰斗機。圖 1.1b 顯示了使用 AML 技術創建的經過處理的圖像。被操縱的圖像成功地欺騙了 DNN，將輸入分類為西伯利亞雪橇犬而不是戰斗機。

據我們所知，AML 尚未被對手或高級持續威脅 (APT) 參與者用來瞄準和攻擊嵌入在現實世界軍事系統中的基于 DL 的軟件。然而，研究團隊和安全專家不斷證明，針對依賴 DL 來實現尖端性能廣泛應用程序的攻擊是可能的 [1]。例如，小心地替換句子中的單詞可能會導致語言模型對情緒進行錯誤分類 [2]。自動駕駛汽車使用的交通標志和車道檢測系統可以通過分別在標志和道路上貼上標簽來攻擊 [3, 4]。轉錄服務可能會被注入精心設計的噪聲所誤導，迫使系統將語音轉換為任意文本 [5、6]。因此，假設基于 DL 的軟件將在未來的 C4ISR 支持系統中普遍使用，預計對手和 APT 最終將利用這些漏洞來欺騙、拒絕訪問或收集情報。

1.1 目標與范圍

本報告的目標是：(1) 概述迄今為止 AML 研究領域中已確定的攻擊向量，(2) 根據經驗估計這些攻擊的子集在軍事環境中的有效性，以及最后 (3) 提供見解并討論 AML 在何種程度上是深度學習在現實世界軍事應用中的現實和嚴重威脅。

盡管 AML 適用于任何基于 ML 的系統和算法，但本報告重點關注基于 DL 的 ML 系統。此外，本報告將重點關注攻擊。在 AML 研究領域提出和開發的防御機制將在未來的工作中涵蓋。最后，我們將范圍限制在與指揮和控制 (C2)、情報、監視和偵察相關的 DL 應用。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發軍事系統的人員，這些系統使用或嵌入了 AI、ML 和 DL 技術。

1.3 閱讀說明

本報告假定讀者具有有關 ML 和 DL 概念的基本知識，例如監督學習、強化學習、損失函數、梯度下降和反向傳播。

1.4 提綱

第 2 章介紹了 AML，并介紹了用于對本報告中的攻擊進行分類和比較的分類法。第 3 章介紹了從軍事角度來看可能具有相關性的已知攻擊方法的三個案例研究。實施和評估這些方法。第 4 章總結了報告，討論了 AML 在現實世界中的適用性，包括在軍事領域。

案例研究

本章提供了三個案例研究，探討了針對基于ML的系統的不同類型攻擊。在每種情況下，從AML文獻中選擇一種攻擊方法，并從軍事角度實現或測試。評估了攻擊的有效性，然后討論了實際考慮因素。選擇這三個案例研究是因為它們與軍事領域的潛在相關性，涵蓋了廣泛的攻擊，并說明了各種ML應用和方法。

第一章以欺騙深度神經網絡將戰斗機圖像誤認為是狗的例子開始。雖然將軍事裝備隱藏在顯眼的地方有明顯的吸引力，但介紹性的例子是高度理想化的。實際應用面臨的一個障礙是，攻擊僅限于數字領域:操作是在數字圖像本身上進行的，也就是說，在戰斗機被拍攝后的一個階段。如果圖像是由對手創建的(例如，飛機是由監視攝像機拍攝的)，那么操縱圖像將需要深入訪問敵人的系統。這是不太可能的(如果是，更簡單和更健壯的攻擊變得可行，例如消除圖像或阻止其記錄)。此外，雖然關于目標深度神經網絡的黑盒知識足以計算所需的圖像修改(例如，觀察分類標簽結果[18])，但在實踐中，即使是這種知識也無法預期。

因此，第3.1節中的第一個案例研究調查了數據中毒。這種攻擊的目的與前面的示例相同:通過欺騙敵人的DNN，使其對車輛進行錯誤分類，從而使軍用車輛(在本例中為坦克)逃避檢測。盡管方法也很相似，但是中毒攻擊解決了介紹性示例的實際缺點。

圖3.2 -僅使用正確標記的訓練圖像和直到測試時間才顯示的隱藏觸發器的數據中毒攻擊。在這個圖中，所有打補丁的坦克圖像都用紅色標出，而所有中毒的汽車圖像都用黃色標出。

第3.2節將范圍擴展到通過數據提取對語言模型的攻擊。語言模型是在廣泛的文本語料庫(通常是數十億個單詞)上訓練的非常大的dnn，在某種意義上能夠“理解”(書面)語言。它們引起了自然語言處理的范式變化，在許多任務中設定了新的基準[26]，并因其生成文本的能力而獲得了媒體的廣泛關注[27]。事實上，即使在編寫本報告期間，也取得了顯著的進展，例如，ChatGPT系統的提出。語言模型正在不斷接近人類的自然語言處理水平，它們對社會幾乎所有方面的潛在影響和后果，包括軍事應用，目前很難預測。除了機會之外，它們也帶來了風險，例如，它們可能會將敏感信息暴露給對手。第3.2節中的案例研究調查了這種形式的對抗性提取攻擊的可行性。

圖3.5 -兩種語言模型的微調過程，展示了數據和最終的微調模型之間的細微差異(左為FTorig，右為FTpatch)。請注意，Dpatch的補丁文章約占CC新聞數據集總數的24%，即剩余的76%與未修改的數據集相同。

第3.3節研究了對通過強化學習訓練的模型的攻擊。這種模型通常用于無人駕駛車輛、機器人、游戲等領域的自主智能體。它們不是在一組固定的例子上以監督的方式訓練的。相反，智能體用一個獎勵函數來評估它的情況，并選擇一個獎勵最大化的行動過程。雖然這種操作模式為智能體提供了處理現實世界的靈活性和彈性，但它們仍然容易受到攻擊和欺騙，正如本案例研究將在基于強化學習的各種系統上展示的那樣。

圖3.10 -來自[51]的四個零和模擬機器人博弈的示例，用于評估對抗性策略[49]。

圖3.11 -“你不能通過”的博弈序列，敵對的對手(紅色)應該阻礙受害者(藍色)到達終點線。上面的四個數字顯示了一個普通的智能體是如何鏟斷對手的。下面的四個圖形顯示了敵對的對手如何使受害者在沒有任何接觸的情況下摔倒在地[49]。

本研究結論

對抗性機器學習在科學界引起了越來越大的興趣，每天都有關于新的攻擊變體的論文發表。幾乎任何形式的機器學習都容易受到某種類型的AML的影響，正如本報告通過攻擊方法的示例所證明的那樣。隨著越來越多的應用程序采用深度學習，攻擊的機會和潛在的回報也在增加。例如，圖像識別模型正以某種形式用于與敵方相關的情況，無論是民用還是軍用:機場和體育場開始采用人臉識別以各種原因拒絕個人進入[58]，為上述個人應用AML來逃避系統提供了動機。軍用車輛在衛星圖像上的自動探測已經研究了幾十年，避免敵方衛星的這種探測顯然是任何軍隊都感興趣的。

然而，這些攻擊在很大程度上仍停留在學術界的實驗階段。已知很少有針對實際部署的深度學習系統的真正攻擊發生，也就是說，沒有得到深度學習系統操作員的同意，并且目標不僅僅是測試攻擊方法的可行性。可能的原因有很多:這種攻擊可能很少見，因為它們很難執行，或者潛在的目標還不多。攻擊可能很難被注意到(可以說逃避攻擊的主要目的是不被注意到)。攻擊者不太可能公布成功的攻擊，甚至受害者也可能認為保持沉默而不是進一步暴露自己的弱點是明智的。

盡管如此，一些攻擊已經傳播到公眾。Stable Diffusion[59]、DALL·e2[60]和Midjourney等生成圖像模型可以基于文本提示創建圖形。這使得他們在社交媒體上很受歡迎，但也引發了藝術家們的批評，他們懷疑他們的作品被用作訓練數據。2023年2月，媒體公司Getty Images對Stability AI提起訴訟，指控其未經許可使用Getty目錄中的受版權保護的庫存圖像訓練其Stable Diffusion模型。通過對Stable Diffusion的提取方法獲取證據，發現AI系統生成的圖像與Getty擁有的圖像具有很高的相似性，包括該公司的水印[61]。

針對語言模型的快速攻擊是一種更有趣的攻擊，仍然受到媒體的廣泛關注。這種類型的攻擊是一種簡單的提取變體，其目標不是訓練數據，而是隱藏的輸入指令。對于像ChatGPT這樣的大型語言模型，操作人員可能希望在沒有任何微調階段的情況下快速調整模型以適應某些應用程序。相反，對話只是在語言模型的文本指令之前，這些指令會影響它在與用戶對話過程中的行為，例如模型應該使用什么名稱，以及要展示什么樣的個性。這些指令通常不會顯示給語言模型的用戶，但好奇的用戶已經能夠讓模型暴露它們，例如通過告訴模型“忽略之前的指令”，從而覆蓋任何隱藏的指令，而不顯示隱藏的指令，然后問“上面文檔開頭寫了什么?”“[62]

這種由人群發起的攻擊雖然相對溫和，但表明評估人工智能系統對“AML”方法的穩健性很困難，更不用說實際防御它們了。這兩個挑戰都將成為該項目的未來報告的主題。

然而，從攻擊者的角度來看，情況可能至少同樣困難。很少有人工智能系統像上面的模型一樣具有公共接口，可以進行實驗。在防御環境中，攻擊者通常只有有限的機會研究目標系統，而傳統障礙(網絡安全和物理安全)可能構成與各種AML方法固有困難一樣多的挑戰。3.1節中描述的投毒攻擊是一種旨在繞過安全措施的方法，利用訓練數據的稀缺性誘使對手自己投毒他們的系統。未來的攻擊也有可能將AML與更傳統的方法(例如社會工程)結合起來。

隨著人工智能的日益普及，對攻擊方法的研究必然會增加。隨著人工智能使用的增加，對這一新領域的持續警惕和研究對于識別新出現的機會至關重要，但也要意識到自身的脆弱性。

自主系統將塑造戰爭的未來。因此，土耳其的國防人工智能（AI）發展主要側重于提高自主系統、傳感器和決策支持系統的能力。提高自主系統的情報收集和作戰能力，以及實現蜂群作戰，是發展國防人工智能的優先事項。雖然土耳其加強了自主系統的能力，但在可預見的未來，人類仍將是決策的關鍵。

人類參與決策過程提出了一個重要問題：如何有效確保人機互動？目前，自主系統的快速發展和部署使人機互動的問題更加惡化。正如土耳其國防工業代表所爭論的那樣，讓機器相互交談比較容易，但將人類加入其中卻非常困難，因為現有的結構并不適合有效的人機互動。此外，人們認為，人工智能對決策系統的增強將有助于人類做出更快的決定，并緩解人機互動。

土耳其發展人工智能的意圖和計劃可以從官方戰略文件以及研發焦點小組報告中找到。突出的文件包括以下內容：

• 第11個發展計劃，其中規定了土耳其的經濟發展目標和關鍵技術投資。

• 《2021-2025年國家人工智能戰略》，它為土耳其的人工智能發展制定了框架。

• 焦點技術網絡（Odak Teknoloji A??，OTA?）報告，為特定的國防技術制定了技術路線圖。這些文件提供了關于土耳其如何對待人工智能、國防人工智能和相關技術的見解。

土耳其特別關注人工智能相關技術，如機器學習、計算機視覺和自然語言處理，其應用重點是自主車輛和機器人技術。自2011年以來，自主系統，主要是無人駕駛飛行器（UAV），仍然是土耳其人工智能發展的重點。此后，這已擴大到包括所有類型的無機組人員的車輛。同時，用人工智能來增強這些車輛的能力也越來越受到重視。人工智能和相關技術的交織發展構成了土耳其人工智能生態系統的核心。

土耳其的人工智能生態系統剛剛起步，但正在成長。截至2022年10月，有254家人工智能初創企業被列入土耳其人工智能倡議（TRAI）數據庫。土耳其旨在通過各種生態系統倡議在其國防和民用產業、學術機構和政府之間創造協同效應。由于許多組織都參與其中，這些倡議導致了重復和冗余。冗余也來自于人工智能技術本身的性質。由于人工智能是一種通用技術，可以應用于不同的環境，各種公司都有用于民用和國防部門的產品；因此相同的公司參與了不同的生態系統倡議。此外，民用公司與國防公司合作，在國防人工智能研究中合作，并提供產品，這是司空見慣的。

土耳其鼓勵國際人工智能在民用領域的合作，但不鼓勵在國防領域的合作。然而，由于技能是可轉移的，國防人工智能間接地從這種合作中受益。

土耳其非常關注自主系統發展中的互操作性問題，特別是那些具有群集能力的系統。除了蜂群，北約盟國的互操作性也是一個重要問題。因此，土耳其認為北約標準在發展自主系統和基礎技術方面至關重要。

土耳其目前對人工智能采取了分布式的組織方式。每個政府機構都設立了自己的人工智能組織，職責重疊。目前，盡管國防工業局（Savunma Sanayi Ba?kanl???，SSB）還沒有建立專門的人工智能組織，但SSB的研發部管理一些人工智能項目，而SSB的無人駕駛和智能系統部管理平臺級項目。目前，根據現有信息，還不清楚這些組織結構如何實現國防創新或組織改革。

土耳其尋求增加其在人工智能方面的研發支出，旨在增加就業和發展生態系統。SSB將在未來授予更多基于人工智能的項目，并愿意購買更多的自主系統，鼓勵研發支出的上升趨勢。然而，盡管土耳其希望增加支出，但金融危機可能會阻礙目前的努力。

培訓和管理一支熟練的勞動力對于建立土耳其正在尋找的本土人工智能開發能力至關重要。這包括兩個部分。首先是培養能夠開發和生產國防人工智能的人力資源。因此，土耳其正在投資于新的大學課程、研究人員培訓、開源平臺和就業，同時支持技術競賽。第二是培訓將使用國防人工智能的軍事人員。國防人工智能也正在慢慢成為土耳其武裝部隊（Türk Silahl? Kuvvetleri，TSK）培訓活動的一部分。目前，關于土耳其打算如何培訓軍事人員使用國防人工智能的公開信息非常少。

近日，美國智庫蘭德發布《用博弈論和人工智能洞悉太空競爭和沖突動態》，講述了通過博弈論和人工智能方法開發對太空競爭和沖突動態進行評估的模型過程。

報告指出

大國競爭經常在太空上演。隨著太空日益軍事化，了解這些國家在太空安全方面的投資以及投資的用途變得具有重要戰略意義。2014年，蘭德公司開始開發一種博弈論模型，以評估美國和競爭對手太空投資所產生的戰略影響。在此后的項目中，蘭德公司的研究人員在傳統博弈論的基礎上，對這些投資如何發揮作用進行了評估。雖然以前使用這一模型探索了投資對阻止地面戰爭升級到太空的影響，但在這里側重于評估太空競爭的動態。他們盡可能描述戰略互動模式；它們產生的條件；以及投資會如何塑造這些條件。但是，多數情況下，還沒有發現這些條件與由此產生的動態和戰略互動模式間的相關性。

為了對太空競爭進行深入評估，研究人員使用復雜的人工智能(AI)方法開發了一個更為復雜的模型。雖然發現這種復雜性增加了評估投資產生的可能情況，但也妨礙了他們隔離不同戰略互動模式條件的能力。這份報告不僅會對太空政策決策者提供參考，也會有助于使用人工智能模型進行探索性研究的人員。

研究問題

• 假設太空領域意識(SDA)提高了一個國家防御動態攻擊的能力，那么這些提高的防御能力能阻止敵人攻擊嗎？它們會改變沖突的結果嗎？

• 對對手進攻能力的誤解是穩定還是不穩定？這些誤解會改變沖突的結果嗎？

• 當太空沖突發生時，各國是否會采取不同的攻擊策略，類似于在國際象棋比賽或其他戰略競賽中觀察到的策略？

研究發現

• 提高對防御能力只是改變對手的戰術，而并非其戰略。如果攻擊太空資產實對手長期戰略意圖，降低他們首選攻擊對象的成功概率僅僅意味著他們將轉向下一個攻擊目標。

• 當對手認為處于不利地位，或處于不利地位的對手被認為是對手時，錯誤認知就一直會延續。

• 決定是否披露或隱藏攻擊能力的投資或實際程度并不容易，特別是考慮到并非所有潛在的空間對手都是同行競爭者。

在競爭中有三種戰略互動模式，在這些模式中，威懾失去作用，但沒有達到全面失效程度。

• 在作戰早期形成階段，攻擊發生在地面沖突之前兩年或更久。

• 在武器消耗戰中，雙方都將攻擊保留到地面戰爭開始之前或同時，雙方的攻擊主要集中在削弱對手的進攻能力。

• 在橫向升級游戲中，攻擊是在地面沖突開始后很久進行的，并且集中于在對手從太空投射力量的能力上制造可利用的缺陷。

研究建議

• 在博弈論模型中更好地理解因果關系，有助于描述構建沖突中起作用的力量。使用類似的博弈論方法可以進行有針對性的檢查，以闡明其中的因果關系。

• 對太空中的戰略互動進行更針對性研究，可以幫助確定有利戰術，即使對手長期戰略保持不變。

• 其他工作可以利用類似但更簡單的游戲模型，以及蘭德和其他人在戰略信息方面的現有工作，來確定感知的不確定性如何影響沖突結果和戰略互動模式。

報告目錄

第一章 介紹

第二章 方法學

第三章 防御性投資的戰略價值和進攻性投資的考慮因素

第四章 表征戰略互動模式

第五章 總結和對未來工作的建議

附錄A 項目階段概述

附錄B 游戲結構和方法