亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文探討了在軍事網絡安全方法中應用生成式人工智能（Generative AI）所帶來的倫理和對抗影響。生成式人工智能已在眾多民用應用中展示于威脅模擬和威脅防御領域。盡管如此，其在軍事應用中存在重要的倫理考量，原因在于生成式人工智能可能被濫用。針對軍事系統的網絡威脅正變得比以往更加復雜，我們希望為該領域的研究體系增添數據，以幫助彌合在理解軍事環境中生成式人工智能風險方面所識別的知識差距。目標： 本文旨在探討圍繞生成式人工智能軍事應用的倫理困境，包括責任歸屬、自主性和濫用問題。本文審查了與生成式人工智能相關的對抗性風險，包括敵對行為體的操縱或其他利用。目標是提出考量倫理困境的措施，同時改進防御能力。方法： 方法論將評估倫理風險，如與人工智能系統相關的自主性、武器化和偏見問題。它將通過建議采用對抗性訓練策略、混合人工智能系統以及針對被對抗性操縱的人工智能生成威脅的穩健防御機制來確定對抗性風險。它還將為軍事網絡安全提出倫理框架和責任模型。結果： 本文提供了在傳統網絡環境和智能網絡環境下軍事網絡安全系統的性能比較評估。重要研究結果證明，生成式人工智能有可能提高檢測準確性，尤其是響應時間。但它也引入了新的風險，如對抗性操縱。實驗結果說明了對抗性訓練如何增強模型的魯棒性、減少漏洞，并提供更強的針對對抗性威脅的防御能力。結論： 與傳統方法相比，生成式人工智能在軍事網絡安全中具有相當可觀的益處，特別是在提升檢測性能、響應時間和適應性方面。如圖所示，人工智能增強系統的優勢使惡意軟件檢測準確率提高了15%，從80%上升到95%，釣魚郵件檢測準確率也提升了15%，從78%上升到93%。對新威脅的快速反應能力也很關鍵，響應時間縮短了60%，從5分鐘減至2分鐘，這在軍事環境中至關重要，快速響應將能最大限度減少影響。此外，人工智能系統顯示出將誤報率從10%降低到4%（這非常優秀）以及將漏報率從18%降低到5%的能力（這也很優秀），這很大程度上基于人工智能系統識別真實威脅樣貌的能力以及識別真實威脅的能力。

在過去的幾年中，由于人工智能（AI）和機器學習技術的發展，網絡安全經歷了根本性的轉變。作為人工智能的一個子類別，生成式人工智能，包括生成對抗網絡（GANs）和變分自編碼器（VAEs），正被迅速用于生成網絡威脅模擬以提供更好的防御。盡管這些人工智能模型在民用網絡安全應用中所展現的巨大效用已得到證明，但它們在軍事環境中的使用會產生額外的困境和變數。鑒于軍事領域的風險高得多，甚至在實施生成式人工智能之前，對其能力和風險獲得更深入的理解至關重要。將生成式人工智能用于軍事網絡安全工具存在諸多優勢。最顯著的好處在于，生成式人工智能能夠針對當前系統的極限，提供逼真、復雜且先進的網絡攻擊模擬。盡管在軍事網絡領域提出了無數解決方案（如復雜的關鍵基礎設施和武器系統），軍事網絡仍必須應對日益復雜的網絡攻擊，包括高級持續性威脅（APTs）、零日漏洞利用和定制攻擊。生成式人工智能模型可以生成基于情景的自適應攻擊，包括多態惡意軟件、相關釣魚郵件和自適應入侵模式，這可以匯總應對惡意網絡事件的最佳實踐。生成式人工智能也將允許檢測和/或響應系統的測試。最后，這些用于模擬的先進能力本身也帶來了必須加以考慮的顯著倫理/對抗風險。

生成式人工智能的軍事應用存在著嚴峻的倫理挑戰。首先是自主性問題。監督和管理對于人工智能的能力及其相應的自主決策至關重要。在軍事行動中由自主人工智能系統做出的決策可能產生嚴重后果，無論是沖突升級還是未知的損害。這要求現有系統配備監督機制，以確保對人工智能決策的責任追究或自主性，其決策范圍涵蓋從軍事到民用領域。第二個倫理挑戰是武器化。隨著生成式人工智能模型的改進，對手最終也會利用生成式人工智能來武器化新的網絡攻擊或發動人工智能支持的進攻策略。因此，我們必須確保強大的工具在國際法管轄的范圍內以符合倫理的方式使用。此外，人工智能系統中的偏見不容忽視。包括使用生成式人工智能在內的機器學習模型，都可能易受訓練數據中存在的偏見影響。如果這些偏見未被識別，它們必然會影響或玷污決策過程，導致負面的、武斷的或歧視性的結果，尤其是在風險巨大的軍事應用中。存在偏見的AI系統可能導致基于含有偏見的數據錯誤識別威脅或未能識別威脅行為，這會危及軍事系統的安全。

在軍事網絡應用中，生成式人工智能的應用既帶來對抗性風險，也涉及倫理考量。雖然人工智能提高了對事件的檢測和響應速度，但對手可以利用人工智能中的缺陷。網絡攻擊者可以添加對抗樣本并篡改人工智能的訓練數據，導致人工智能錯誤分類威脅或根本未能識別惡意活動。這是一個嚴重問題，特別是在涉及人員生命且生命損失風險以軍事防御規模來衡量的情況下。對抗性人工智能模型甚至可能能夠通過發動一次產生幻影的攻擊來偽造網絡攻擊，使其響應系統不堪重負，或者操縱軍事網絡安全系統陷入另一種、有效的對抗性系統復雜化。本文針對在軍事網絡安全中使用生成式人工智能所涉及的倫理和對抗性問題進行了論述。最終，本文將在后文探討減輕這些擔憂的方法，例如通過對抗性訓練、混合人工智能系統和責任歸屬機制。這項工作的最終目的是確保在恪守倫理原則、公平性和安全性的前提下，軍事領域對生成式人工智能的利用能夠增強網絡安全態勢。本文還將考慮如何在現實世界軍事行動動態多變的背景下，持續研究和評估這些模型對新興網絡威脅的抵御能力。

隨著基于大語言模型的商用產品取得顯著進展，人工智能（AI）議題在公共討論中持續升溫。隨著AI能力的發展，人們對其經濟與安全影響的擔憂日益加劇。本報告通過實證預測算法進步的方向、速度與指標，為政策制定提供參考。作者闡釋了AI算法改進的可能路徑，并探討各路徑進展的潛在影響。通過研究數值分析、運籌學與計算機科學領域的算法，界定了新算法引入的實證機制及改進定義方式。

作者指出推動AI系統近期發展的兩大關鍵驅動力：允許廣泛改進的新型合成數據生成方法，以及具備更高數據效率的替代架構。若無此類改進，小型模型可能主導市場。若僅實現單一路徑突破，小型模型或成主流，但大型模型仍有存在價值。若雙路徑均獲進展，大型模型可能提供更具實用價值的能力。

主要發現

算法改進存在兩條潛在高影響力路徑：

1. 通過生成合成數據或修剪現有數據，構建更適配AI訓練的數據集以改進算法。
2. 開發數據效率更高的算法（相比Transformer模型計算成本更低或單次迭代效率更優）。

這些路徑可能催生三種AI發展情景：

• 若數據限制成為瓶頸：當額外數據不可獲取導致模型無法有效擴展時，小型專用AI系統可能主導市場。
• 若算法擴展失敗：當通過合成生成獲取額外數據但新算法無法有效提取性能增益時，大型模型研發或持續，但小型系統仍占主流。
• 若算法持續進步：當數據充裕且算法能高效利用時，更大規模模型將在近期AI研究中占據重要地位。

云計算已成為全球數字經濟的基礎要素，釋放出前所未有的創新和連接水平。為了解這一關鍵使能技術對國際安全的深遠影響，本報告概述了云計算的相關用例、益處和風險，以及其關鍵治理挑戰和對軍備控制的影響。本報告分為兩部分--技術入門和治理入門--提供技術見解和政策分析。

本文對技術進行了通俗易懂的描述，解讀了技術的各個組成部分，同時概述了選定的優勢、風險和相關的國際安全應用。云計算實現了計算資源的可擴展性和靈活性，以及成本效益和實時數據處理與共享。與此同時，云計算也會加劇網絡安全威脅，增加跨境管轄問題，增加對少數大型服務提供商的依賴。

該技術入門指南還將云計算置于更廣泛的人工智能（AI）背景下，強調了云計算在促進和加速人工智能發展方面的作用。隨著國防、關鍵基礎設施和人道主義部門等與國際安全有交集的部門越來越多地采用云計算解決方案，謹慎平衡風險與收益至關重要。

有鑒于此，治理入門概述了與國際安全相關的關鍵治理挑戰。這些挑戰源于技術和商業模式本身的固有因素，以及與云計算交織在一起的地緣政治和國際安全現實相關的更廣泛因素。這些挑戰包括云計算的復雜性、數字主權、市場和地理集中度、與其他技術治理工作的交叉，以及軍事領域使用增加所帶來的治理挑戰。

最后，本報告探討了云計算對軍備控制的影響。它為討論軍備控制討論如何更好地考慮云計算帶來的問題，以及傳統軍備控制機制（如出口控制）如何受到新技術現實的影響提供了一個跳板。

在數字化和戰略競爭日趨激烈的現代，成功與否取決于一個組織是否有能力比競爭對手更好、更快地利用數據和技術。人工智能（AI）技術的飛速發展正在徹底改變公共和私營機構保持領先的方式，影響著傳統的、由人類驅動的分析流程的各個層面。本報告探討了在情報周期中應用人工智能工具的機會，以增強人類分析師的能力，同時減少其局限性，從而推動更加無縫的情報流程。

人類分析師擅長批判性思維和直覺判斷。他們解讀細微信息、理解復雜環境并根據不完整數據集做出明智決策的能力無與倫比。然而，數據超載、認知偏差、需要資源密集型培訓以及有限的時間和精力等限制因素卻阻礙了他們的工作效率。相反，人工智能技術擅長數據處理、客觀性和日常任務自動化。它們能以前所未有的速度分析海量數據、識別模式并執行重復性任務，而不會造成身心疲憊。

因此，人類和機器能力的互補優勢表明，分析流程將發生轉變，分析師-機器團隊將自適應地持續合作，以近乎實時的洞察力應對復雜的威脅。這種新模式將需要敏捷的協作框架、能夠有效使用人工智能工具并解讀人工智能生成的洞察力的熟練分析師、可靠而全面的培訓數據和流程，以及強大的監督機制。

隨著人工智能（AI）領域的飛速發展，這些技術的變革潛力對國家和國際安全產生了深遠的影響。因此，全世界的政策制定者和監管者越來越認識到，迫切需要超越國界和個人利益的共同理解，尤其是在人工智能應用于安全和國防領域的情況下。

然而，國家和非國家行為者之間在人工智能、安全和防衛方面缺乏既定的全球合作框架，這構成了一項重大挑戰。這種共同治理的缺失導致技術進步不協調和各自為政，給國際和平與安全、穩定和繁榮帶來嚴重后果。然而，各國與非國家行為者合作的愿望日益強烈。各國認識到，這種參與至少可以為治理方法和解決方案提供信息，并確保其制定、采納和實施都有據可依。此外，它還可以確保行業、民間社會組織、研究、技術和科學界以及學術界的認識和支持。

聯合國秘書長在其《和平新議程》中強調，必須 “確保工業界、學術界、民間社會和其他部門的利益攸關方參與”，“通過多邊進程，圍繞人工智能軍事應用的設計、開發和使用制定規范、規則和原則”。因此，迫切需要建立、促進和支持一個獨立、中立和可信賴的平臺，該平臺將促成多方利益攸關方對話，并為軍事領域負責任地開發、獲取、部署、整合和使用人工智能技術孵化治理途徑和解決方案。

本報告介紹了美國國防部（Department of Defense，DoD）在應用一種名為強化學習（Reinforcement Learning，RL）的人工智能（AI）技術時可能面臨的一些挑戰。在玩復雜的戰略游戲時，強化學習被認為能使機器的決策能力超越人類。強化學習系統能在這些游戲中擊敗世界級專家，這一事實提出了這樣一個問題：在 DoD的應用中，這種系統能否超越人類。與此尤其相關的是 “廣泛 ”的應用，這些應用具有大型、復雜的流程，有多個步驟，導致軍事指揮官做出很少但卻至關重要的決定。在這種情況下，及時的替代方案可能會帶來決定性的優勢。然而，目前尚不清楚的是，從技術角度來看，這種系統會帶來哪些風險（即技術故障導致任務失敗），或者吸收這種技術會給部隊結構帶來哪些風險。本報告是了解在作戰指揮和控制中采用可回收系統的相關風險的第一步。

主要結論

• DoD在使用和開發資源調動方面可能受到限制，原因是該領域缺乏專業技能組合，而且由于該領域競爭激烈、利潤豐厚，一旦獲得此類技能，就很難留住人才。
• 隨著 RL 應用規模的擴大，對數據的高要求可能會超出國防部培訓范圍較窄的應用的能力。
• RL 的黑箱決策性質以及人類不愿意相信此類系統的非直觀性所帶來的問題，可能會限制應用的規模，使其僅限于目前由人類執行的流程。人類無法合理評估的大型流程可能會面臨信任問題。
• 隨著應用范圍的擴大，RL 還面臨許多額外的挑戰，包括訓練集和模擬模型的增長，以及精確定義 RL 訓練的復雜性。雖然文獻中的許多解決方案都是針對個別挑戰領域的，但在 DoD的廣泛應用中可能存在的所有挑戰都沒有解決方案。

建議

• DoD應探索吸引、培訓和留住具備人工智能所需技能的勞動力的方法。
• DoD應開發獲取和生成與國防部問題相關的高質量數據的方法，這些數據是訓練 RL 算法所必需的。
• 在能夠利用 RL 的優勢之前，DoD應更好地了解 RL 應用的局限性，以及它如何提供優于現有技術的優勢。
• DoD應考慮利用應用于較小問題的狹義人工智能可能帶來的漸進式進步，而不是一開始就追求應用于更復雜問題的廣義人工智能可能帶來的優勢。這種方法可以降低風險，同時為更廣泛的人工智能提供一種引導訓練手段。

人工智能（AI）的快速發展引發了專家、政策制定者和世界領導人對日益先進的人工智能系統可能帶來災難性風險的日益擔憂。雖然許多風險已被單獨詳述，但目前迫切需要對潛在危險進行系統的討論和說明，以便更好地為減輕這些危險提供信息。本文概述了人工智能災難性風險的主要來源，將其分為四類：惡意使用，即個人或團體故意使用人工智能造成傷害；人工智能競賽，即競爭環境迫使行為者部署不安全的人工智能或將控制權讓給人工智能；組織風險，強調人為因素和復雜系統如何增加災難性事故的幾率；流氓人工智能，描述控制遠比人類智能的代理固有的困難。對于每一類風險，我們都描述了具體的危害，介紹了說明性故事，設想了理想場景，并提出了減輕這些危險的實用建議。我們的目標是促進對這些風險的全面了解，并激發集體的積極努力，確保以安全的方式開發和部署人工智能。最終，我們希望這將使我們能夠實現這一強大技術的益處，同時將災難性后果的可能性降至最低。

圖：本文將介紹四類人工智能風險，并討論如何降低這些風險。

近年來，人工智能（AI）突飛猛進，引起了人工智能專家、政策制定者和世界領導人對先進人工智能所帶來的潛在風險的擔憂。與所有強大的技術一樣，人工智能必須以高度的責任感來管理風險，并利用其潛力來改善社會。然而，關于災難性或生存性的人工智能風險可能如何發生或如何應對，可獲得的信息非常有限。雖然有關這一主題的資料很多，但往往分散在各種論文中，而且通常針對的受眾面較窄，或側重于特定的風險。在本文中，我們將概述災難性人工智能風險的主要來源，并將其分為四類：

惡意使用。行為者可能故意利用強大的人工智能造成廣泛傷害。具體風險包括人工智能賦能的生物恐怖主義，它可以幫助人類制造致命的病原體；蓄意傳播不受控制的人工智能制劑；以及利用人工智能能力進行宣傳、審查和監視。為了降低這些風險，我們建議改善生物安全，限制獲取最危險的人工智能模型，并讓人工智能開發者為其人工智能系統造成的損害承擔法律責任。

人工智能競賽。競爭可能會迫使國家和企業匆忙開發人工智能，并將控制權拱手讓給人工智能系統。軍方可能會面臨開發自主武器的壓力，并將人工智能賦能的網絡戰，從而實現一種新的自動化戰爭，在這種戰爭中，事故可能會在人類有機會干預之前就失控。企業也將面臨類似的激勵，促使人類勞動自動化，并將利潤置于安全之上，從而可能導致大規模失業和對人工智能系統的依賴。我們還討論了從長遠來看，進化壓力可能會如何塑造人工智能。人工智能之間的自然選擇可能會導致自私的特性，而人工智能相對于人類的優勢最終可能導致人類被取代。為了降低人工智能競賽帶來的風險，建議對通用人工智能實施安全監管、國際協調和公共控制。

組織風險。組織事故造成的災難包括切爾諾貝利、三里島和挑戰者號航天飛機災難。同樣，開發和部署先進人工智能的組織也可能遭受災難性事故，特別是如果它們沒有強大的安全文化。人工智能可能會意外泄露給公眾或被惡意行為者竊取。各組織可能無法投資于安全研究，不了解如何以比一般人工智能能力更快的速度可靠地提高人工智能的安全性，或者壓制內部對人工智能風險的擔憂。為了降低這些風險，可以建立更好的組織文化和結構，包括內部和外部審計、多層風險防御以及最先進的信息安全。

流氓人工智能。一個普遍而嚴重的擔憂是，隨著人工智能變得比我們更智能，我們可能會失去對人工智能的控制。人工智能可能會在一種被稱為代理博弈的過程中，將有缺陷的目標優化到極致。人工智能在適應不斷變化的環境時，可能會經歷目標漂移，這與人在一生中獲得和失去目標的過程類似。在某些情況下，人工智能變得追求權力可能是工具理性的。我們還研究了人工智能如何以及為何會進行欺騙，在不受控制的情況下表現出受控制的樣子。與前三個風險來源相比，這些問題更具技術性。我們概述了一些建議的研究方向，以促進我們對如何確保人工智能可控的理解。

在每一節中，我們都提供了一些說明性場景，更具體地展示了風險源如何可能導致災難性結果，甚至構成生存威脅。通過提供一個對風險進行適當管理的更安全未來的積極愿景，我們強調，人工智能新出現的風險雖然嚴重，但并非不可克服。通過積極應對這些風險，我們可以努力實現人工智能的益處，同時最大限度地降低災難性后果的可能性。

本報告調查了對抗性機器學習 (AML)，即研究基于機器學習 (ML) 的人工智能系統弱點的研究方法。近年來，機器學習，尤其是深度學習 (DL)，在圖像分類、自然語言處理和自主代理等多個領域取得了快速進展。因此，深度學習在軍事環境中也很受關注。然而，隨著進步，人們對 AML 方法的興趣不斷增加，新的攻擊變體不斷發布。實際上，所有 DL 系統在某種程度上都容易受到影響，無論是混淆它們、避免被它們檢測到，還是提取它們可能持有的秘密信息。從軍事角度來看，重要的是要意識到這種利用的可能性，無論是針對自己的人工智能系統還是針對對手使用的系統。

該報告概述了AML研究，然后展示了針對不同類型人工智能系統的一系列攻擊方法：

• 圖像分類系統中毒，使軍用車輛避免被發現；
• 可以從大型生成模型中檢索秘密信息的提取攻擊；
• 對抗性策略攻擊，其中對手的行為方式使自主智能體感到困惑。

每個案例都描述和討論了攻擊并評估了實施。本報告的重點是攻擊。雖然在適用的情況下簡要討論了針對 AML方法的防御，但后續報告的主題是對AML防御的更深入研究。

關鍵詞：人工智能、機器學習、深度學習、深度神經網絡、欺騙、網絡攻擊、攻擊向量、漏洞、對抗樣本、數據中毒、數據提取、對抗策略

引言

深度學習 (DL) 的出現將智能計算機軟件的性能和能力帶入了新的性能水平。將基于 DL 的軟件嵌入軍事指揮、控制、通信、計算機、情報、監視和偵察 (C4ISR) 系統中，有可能徹底改變創建準確及時的共同作戰圖 (COP) 的能力，從而使軍事決策過程可以比以往任何時候都更快、更精確地執行。從長遠來看，深度學習還可以用于在遠遠超出人類能力范圍的復雜戰爭環境中制定軍事計劃。

然而，由深度神經網絡 (DNN) 實施的基于 DL 的軟件容易受到各種威脅或網絡攻擊。這些是在對抗性機器學習 (AML) 研究領域研究和開發的。這些攻擊可能被用來欺騙決策者、降低系統性能、降低最終用戶信任度，甚至從系統中提取（即逆向工程）敏感的軍事數據。圖 1.1 展示了一個典型的 AML 攻擊示例，其中目標是用于對圖像內容進行分類的 DNN。在這種情況下，DNN 能夠正確地識別出圖 1.1a 中的原始圖像包含一架戰斗機，幾乎是絕對確定的。圖 1.1b 中的惡意圖像是通過在原始圖像上應用 AML 技術創建的，能夠欺騙相同的 DNN 將輸入分類為西伯利亞雪橇犬而不是戰斗機。在這種情況下，攻擊是有效的，盡管人眼無法察覺。

圖 1.1 – 使用 AML 的樣本攻擊。在這種情況下，目標是由 DNN 表示的圖像分類系統。圖 1.1a 顯示 DNN 能夠以近乎完美的確定性將良性（非操縱）輸入正確分類為戰斗機。圖 1.1b 顯示了使用 AML 技術創建的經過處理的圖像。被操縱的圖像成功地欺騙了 DNN，將輸入分類為西伯利亞雪橇犬而不是戰斗機。

據我們所知，AML 尚未被對手或高級持續威脅 (APT) 參與者用來瞄準和攻擊嵌入在現實世界軍事系統中的基于 DL 的軟件。然而，研究團隊和安全專家不斷證明，針對依賴 DL 來實現尖端性能廣泛應用程序的攻擊是可能的 [1]。例如，小心地替換句子中的單詞可能會導致語言模型對情緒進行錯誤分類 [2]。自動駕駛汽車使用的交通標志和車道檢測系統可以通過分別在標志和道路上貼上標簽來攻擊 [3, 4]。轉錄服務可能會被注入精心設計的噪聲所誤導，迫使系統將語音轉換為任意文本 [5、6]。因此，假設基于 DL 的軟件將在未來的 C4ISR 支持系統中普遍使用，預計對手和 APT 最終將利用這些漏洞來欺騙、拒絕訪問或收集情報。

1.1 目標與范圍

本報告的目標是：(1) 概述迄今為止 AML 研究領域中已確定的攻擊向量，(2) 根據經驗估計這些攻擊的子集在軍事環境中的有效性，以及最后 (3) 提供見解并討論 AML 在何種程度上是深度學習在現實世界軍事應用中的現實和嚴重威脅。

盡管 AML 適用于任何基于 ML 的系統和算法，但本報告重點關注基于 DL 的 ML 系統。此外，本報告將重點關注攻擊。在 AML 研究領域提出和開發的防御機制將在未來的工作中涵蓋。最后，我們將范圍限制在與指揮和控制 (C2)、情報、監視和偵察相關的 DL 應用。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發軍事系統的人員，這些系統使用或嵌入了 AI、ML 和 DL 技術。

1.3 閱讀說明

本報告假定讀者具有有關 ML 和 DL 概念的基本知識，例如監督學習、強化學習、損失函數、梯度下降和反向傳播。

1.4 提綱

第 2 章介紹了 AML，并介紹了用于對本報告中的攻擊進行分類和比較的分類法。第 3 章介紹了從軍事角度來看可能具有相關性的已知攻擊方法的三個案例研究。實施和評估這些方法。第 4 章總結了報告，討論了 AML 在現實世界中的適用性，包括在軍事領域。

案例研究

本章提供了三個案例研究，探討了針對基于ML的系統的不同類型攻擊。在每種情況下，從AML文獻中選擇一種攻擊方法，并從軍事角度實現或測試。評估了攻擊的有效性，然后討論了實際考慮因素。選擇這三個案例研究是因為它們與軍事領域的潛在相關性，涵蓋了廣泛的攻擊，并說明了各種ML應用和方法。

第一章以欺騙深度神經網絡將戰斗機圖像誤認為是狗的例子開始。雖然將軍事裝備隱藏在顯眼的地方有明顯的吸引力，但介紹性的例子是高度理想化的。實際應用面臨的一個障礙是，攻擊僅限于數字領域:操作是在數字圖像本身上進行的，也就是說，在戰斗機被拍攝后的一個階段。如果圖像是由對手創建的(例如，飛機是由監視攝像機拍攝的)，那么操縱圖像將需要深入訪問敵人的系統。這是不太可能的(如果是，更簡單和更健壯的攻擊變得可行，例如消除圖像或阻止其記錄)。此外，雖然關于目標深度神經網絡的黑盒知識足以計算所需的圖像修改(例如，觀察分類標簽結果[18])，但在實踐中，即使是這種知識也無法預期。

因此，第3.1節中的第一個案例研究調查了數據中毒。這種攻擊的目的與前面的示例相同:通過欺騙敵人的DNN，使其對車輛進行錯誤分類，從而使軍用車輛(在本例中為坦克)逃避檢測。盡管方法也很相似，但是中毒攻擊解決了介紹性示例的實際缺點。

圖3.2 -僅使用正確標記的訓練圖像和直到測試時間才顯示的隱藏觸發器的數據中毒攻擊。在這個圖中，所有打補丁的坦克圖像都用紅色標出，而所有中毒的汽車圖像都用黃色標出。

第3.2節將范圍擴展到通過數據提取對語言模型的攻擊。語言模型是在廣泛的文本語料庫(通常是數十億個單詞)上訓練的非常大的dnn，在某種意義上能夠“理解”(書面)語言。它們引起了自然語言處理的范式變化，在許多任務中設定了新的基準[26]，并因其生成文本的能力而獲得了媒體的廣泛關注[27]。事實上，即使在編寫本報告期間，也取得了顯著的進展，例如，ChatGPT系統的提出。語言模型正在不斷接近人類的自然語言處理水平，它們對社會幾乎所有方面的潛在影響和后果，包括軍事應用，目前很難預測。除了機會之外，它們也帶來了風險，例如，它們可能會將敏感信息暴露給對手。第3.2節中的案例研究調查了這種形式的對抗性提取攻擊的可行性。

圖3.5 -兩種語言模型的微調過程，展示了數據和最終的微調模型之間的細微差異(左為FTorig，右為FTpatch)。請注意，Dpatch的補丁文章約占CC新聞數據集總數的24%，即剩余的76%與未修改的數據集相同。

第3.3節研究了對通過強化學習訓練的模型的攻擊。這種模型通常用于無人駕駛車輛、機器人、游戲等領域的自主智能體。它們不是在一組固定的例子上以監督的方式訓練的。相反，智能體用一個獎勵函數來評估它的情況，并選擇一個獎勵最大化的行動過程。雖然這種操作模式為智能體提供了處理現實世界的靈活性和彈性，但它們仍然容易受到攻擊和欺騙，正如本案例研究將在基于強化學習的各種系統上展示的那樣。

圖3.10 -來自[51]的四個零和模擬機器人博弈的示例，用于評估對抗性策略[49]。

圖3.11 -“你不能通過”的博弈序列，敵對的對手(紅色)應該阻礙受害者(藍色)到達終點線。上面的四個數字顯示了一個普通的智能體是如何鏟斷對手的。下面的四個圖形顯示了敵對的對手如何使受害者在沒有任何接觸的情況下摔倒在地[49]。

本研究結論

對抗性機器學習在科學界引起了越來越大的興趣，每天都有關于新的攻擊變體的論文發表。幾乎任何形式的機器學習都容易受到某種類型的AML的影響，正如本報告通過攻擊方法的示例所證明的那樣。隨著越來越多的應用程序采用深度學習，攻擊的機會和潛在的回報也在增加。例如，圖像識別模型正以某種形式用于與敵方相關的情況，無論是民用還是軍用:機場和體育場開始采用人臉識別以各種原因拒絕個人進入[58]，為上述個人應用AML來逃避系統提供了動機。軍用車輛在衛星圖像上的自動探測已經研究了幾十年，避免敵方衛星的這種探測顯然是任何軍隊都感興趣的。

然而，這些攻擊在很大程度上仍停留在學術界的實驗階段。已知很少有針對實際部署的深度學習系統的真正攻擊發生，也就是說，沒有得到深度學習系統操作員的同意，并且目標不僅僅是測試攻擊方法的可行性。可能的原因有很多:這種攻擊可能很少見，因為它們很難執行，或者潛在的目標還不多。攻擊可能很難被注意到(可以說逃避攻擊的主要目的是不被注意到)。攻擊者不太可能公布成功的攻擊，甚至受害者也可能認為保持沉默而不是進一步暴露自己的弱點是明智的。

盡管如此，一些攻擊已經傳播到公眾。Stable Diffusion[59]、DALL·e2[60]和Midjourney等生成圖像模型可以基于文本提示創建圖形。這使得他們在社交媒體上很受歡迎，但也引發了藝術家們的批評，他們懷疑他們的作品被用作訓練數據。2023年2月，媒體公司Getty Images對Stability AI提起訴訟，指控其未經許可使用Getty目錄中的受版權保護的庫存圖像訓練其Stable Diffusion模型。通過對Stable Diffusion的提取方法獲取證據，發現AI系統生成的圖像與Getty擁有的圖像具有很高的相似性，包括該公司的水印[61]。

針對語言模型的快速攻擊是一種更有趣的攻擊，仍然受到媒體的廣泛關注。這種類型的攻擊是一種簡單的提取變體，其目標不是訓練數據，而是隱藏的輸入指令。對于像ChatGPT這樣的大型語言模型，操作人員可能希望在沒有任何微調階段的情況下快速調整模型以適應某些應用程序。相反，對話只是在語言模型的文本指令之前，這些指令會影響它在與用戶對話過程中的行為，例如模型應該使用什么名稱，以及要展示什么樣的個性。這些指令通常不會顯示給語言模型的用戶，但好奇的用戶已經能夠讓模型暴露它們，例如通過告訴模型“忽略之前的指令”，從而覆蓋任何隱藏的指令，而不顯示隱藏的指令，然后問“上面文檔開頭寫了什么?”“[62]

這種由人群發起的攻擊雖然相對溫和，但表明評估人工智能系統對“AML”方法的穩健性很困難，更不用說實際防御它們了。這兩個挑戰都將成為該項目的未來報告的主題。

然而，從攻擊者的角度來看，情況可能至少同樣困難。很少有人工智能系統像上面的模型一樣具有公共接口，可以進行實驗。在防御環境中，攻擊者通常只有有限的機會研究目標系統，而傳統障礙(網絡安全和物理安全)可能構成與各種AML方法固有困難一樣多的挑戰。3.1節中描述的投毒攻擊是一種旨在繞過安全措施的方法，利用訓練數據的稀缺性誘使對手自己投毒他們的系統。未來的攻擊也有可能將AML與更傳統的方法(例如社會工程)結合起來。

隨著人工智能的日益普及，對攻擊方法的研究必然會增加。隨著人工智能使用的增加，對這一新領域的持續警惕和研究對于識別新出現的機會至關重要，但也要意識到自身的脆弱性。

本報告重點討論與人工智能系統可能缺乏可預測性而導致的有關風險--被稱為可預測性問題--及其對國家安全領域人工智能系統治理的影響。人工智能系統的可預測性表明人們可以在多大程度上回答這個問題：人工智能系統會做什么？可預測性問題既可以指人工智能系統的正確結果，也可以指不正確的結果，因為問題不在于這些結果是否符合系統工作的邏輯，而是在部署時是否有可能預見到這些結果。

人們越來越擔心，使用不可預測的人工智能系統為高風險決策提供信息可能會導致災難性的后果，這將破壞公眾對部署這些系統的組織的信任，并可能侵蝕政府的聲譽。在國家安全領域，人工智能的使用引入了一個新的不確定性來源，可能會阻礙風險管理程序，并可能使責任鏈變得混亂。在這個領域，可預測性問題的影響可能導致關鍵基礎設施的安全風險、個人權利和福祉的風險、沖突升級或外交影響。

在本報告中，我們首先從技術和社會技術的角度分析了可預測性問題，然后集中討論了英國、歐盟和美國的相關政策，考慮它們是否以及如何解決這個問題。從技術角度來看，我們認為，鑒于人工智能系統的設計、開發和部署的多層面過程，不可能考慮到所有的錯誤來源或可能產生的新行為。此外，即使在理想的情況下，在設計或開發階段沒有錯誤可以假設或檢測，一旦部署了人工智能系統，仍然可能發展出形式上正確的（但不想要的）結果，這在部署時是無法預見的。

我們通過關注人機編隊（HMT-AI）來分析可預測性問題的社會技術影響。人機編隊代表了一種越來越普遍的人工智能系統部署模式。在HMT-AI中，人類咨詢、協調、依賴、發展并與人工智能代理交換任務。由于HMT-AI結合了人類和人工的自主性，它們通過增加人工和人類代理及其環境之間的互動的數量和類型而加劇了可預測性問題。在這種情況下，我們發現可預測性問題的三個主要來源：人機交互、人員培訓和（過度）信任。人機交互可能會助長不可預測的結果，因為它們可以掩蓋、扭曲或過分詳細地描述人工智能系統的工作原理，而培訓計劃可能沒有考慮到人工智能技術的學習能力和HMT-AI的長期慣例建設。同樣，在HMTAI中，人類代理人不加批判地接受AI系統的結果，這種過度信任的動態也可能導致無法預測的結果。

在確定了可預測性問題的一些根本原因之后，我們分析了英國、歐盟和美國的政策，以評估這些原因是否在相關的政策文件中被涵蓋，如果是的話，如何以及在何種程度上被涵蓋。我們確定了四個主要主題和一個缺口。它們是：控制、監督和價值調整；資源提升的方法；可信賴人工智能的發展；以及缺乏對風險管理措施的關注，以遏制可預測性問題的影響。

我們的政策分析包括八個建議，以減輕與可預測性問題有關的風險。關鍵的建議是將治理方法集中在HMTAI上，而不僅僅是AI系統，并將可預測性問題概念化為多維度的，解決方案集中在HMT-AI組成的共同標準和準則上。在這些標準和準則中，可信人工智能的要求是特別相關的，應該與評估人工智能系統的可預測性的標準和認證計劃以及審計HMT-AI的程序結合起來。支持在國家安全中使用HMT-AI的決定的成本效益分析和影響評估應該考慮到可預測性問題及其對人權、民主價值的潛在影響，以及意外后果的風險。為了確保在部署潛在的不可預測的人工智能系統時進行充分的風險管理，我們建議調整ALARP原則--在合理可行的情況下盡量降低--作為制定HMT-AI中可預測性問題的人工智能特定風險評估框架的基礎。

擬議的基于ALARP的框架將提供有用的實際指導，但僅僅是這樣還不足以識別和減輕可預測性問題所帶來的風險。需要額外的政策、指導和培訓來充分考慮人工智能可預測性問題帶來的風險。人工智能系統支持的決策的影響越大，設計、開發和使用該系統的人的謹慎責任就越大，可接受的風險門檻也越低。這些分析和建議應該被理解為可操作的見解和實用的建議，以支持相關的利益相關者在國家安全背景下促進社會可接受的和道德上合理的人工智能的使用。

建議

建議1. 政府應撥出研究經費，發展公私合作，對HMT-AI進行縱向研究。這項研究應側重于HMT-AI中的新舊決策模式，以評估編隊協議建設和培訓對績效和控制措施的影響。重點應放在為HMT-AI的具體動態定義新的培訓協議，以及加快風險管理標準和HMT-AI績效評估的發展。

建議2. 應該建立一個專門的HMT-AI認證計劃，以促進行業對為HMT-AI設計的AI系統的設計要求和評估的共識。任務之間的通用性、有效的溝通、性能的一致性以及對新隊友的適應性都應該包括在這樣一個認證計劃中。在開發不足的ISO標準的基礎上，這個認證計劃還應該擴展到過程的可追溯性和決策的問責制，以及評估HMT-AI信任程度的審計機制。這對于抑制HMT-AI中的過度信任和自滿態度是必要的，這種態度維持或擴大了可預測性問題。

建議3. 對國家安全領域的可預測性問題的政策反應應該側重于管理HMT-AI團隊，而不是單獨的AI系統。

建議4. 國家安全領域的HMT-AI的成本效益分析（CBA）應該包括對AI系統的可預測性以及技術和操作層面的相關道德風險的評估。為了促進各安全機構之間的一致評估，應該定義一個評估人工智能系統可預測性的標準量表，在這個量表上，使用（或不使用）人工智能的選擇應該根據上下文的CBA以及考慮公眾對風險和相關利益的態度來證明。這個尺度的定義應屬于獨立的第三方行為者的職權范圍，即與部署HMT-AI的公共機構不同。

建議5. 與其說是 "更多 "或 "更少 "的可預測性，政策建議應側重于可預測性的權衡，明確具體建議旨在解決可預測性問題的哪個方面，以何種方式解決，以及它們有可能加劇哪些方面，哪些緩解措施將被落實到位。政策應該認識到，可預測性是一個多維度的概念，在一個層面上可預測性的收益可能會以另一個層面的損失為代價。

建議6. 關于國家安全中人工智能可預測性問題的政策應該在正式和操作層面上解決可信度和不可預測性之間的聯系。例如，應該給人工智能系統一個可修正的可預測性分數，這應該包括在對系統的可信任度的評估中。人工智能系統的可信賴性應包括成本效益分析，以評估不想要的行為在不同部署背景下可能帶來的風險。

建議7. 應該為不可預測的人工智能建立風險閾值，這些閾值將圍繞不可預測行為的風險嚴重程度映射到其自身的可預測程度（例如，劃分為已知的已知因素、已知的未知因素等）。這些閾值反過來將為風險管理過程的發展提供信息，允許根據風險的可預測性及其影響對其進行優先排序。

建議8. 應該制定一個基于ALARP的框架，以評估不可預測的人工智能和HMT-AI的風險，并為任何給定的環境確定可接受的最大程度的不可預測性。這個框架應該包括:

• 對特定人工智能系統和HMT-AI的可預測程度的定量評估；
• 對導致部署人工智能系統的設計、開發和/或采購步驟的可追溯性的評估；
• 對部署條件的評估，例如，HMT-AI、操作員（或HMT-AI成員）的培訓水平、交互的透明程度、人類對AI系統的控制水平；
• 對部署該系統的潛在風險和預期收益進行成本效益分析（根據建議4）；
• 對假設情況的分析，以考慮風險暴露或緩解措施的有效性如何隨部署情況而變化；
• 人為推翻系統的協議和補救機制。

近日，美國人工智能國家安全委員會發布最終報告（草案）。本報告共分為兩大部分：第一部分，“在人工智能時代保衛美國”（第1-8章）概述了美國必須做些什么來抵御來自國家和無政府組織的人工智能相關威脅，并建議美國政府如何負責任地使用人工智能技術來保護美國人民和利益。第二部分，“贏得技術競爭”（第9-16章）概述了人工智能在更廣泛的技術競爭中的作用，并建議政府必須采取行動促進人工智能創新，從多個方面提高國家競爭，保護美國的關鍵優勢。

這兩個部分共同代表了白宮領導下的戰略綱要，該戰略旨在調整國家的方向，以應對新興時代的機遇和挑戰。

美國人工智能國家安全委員會于2019年由國會特許成立，旨在探討人工智能對美國國家安全的影響。該報告中包括對白宮、聯邦機構、國會和其他實體的詳盡建議，涉及從勞動力、知識產權到倫理的各個主題，最終報告預計將影響未來幾年拜登政府和國會議員所采取的人工智能政策。

這兩個部分共同代表了白宮領導下的戰略綱要，該戰略旨在調整國家的方向，以應對新興時代的機遇和挑戰。