亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著人工智能（AI）領域的飛速發展，這些技術的變革潛力對國家和國際安全產生了深遠的影響。因此，全世界的政策制定者和監管者越來越認識到，迫切需要超越國界和個人利益的共同理解，尤其是在人工智能應用于安全和國防領域的情況下。

然而，國家和非國家行為者之間在人工智能、安全和防衛方面缺乏既定的全球合作框架，這構成了一項重大挑戰。這種共同治理的缺失導致技術進步不協調和各自為政，給國際和平與安全、穩定和繁榮帶來嚴重后果。然而，各國與非國家行為者合作的愿望日益強烈。各國認識到，這種參與至少可以為治理方法和解決方案提供信息，并確保其制定、采納和實施都有據可依。此外，它還可以確保行業、民間社會組織、研究、技術和科學界以及學術界的認識和支持。

高層也有同感：聯合國秘書長在其《和平新議程》中強調，必須 “確保工業界、學術界、民間社會和其他部門的利益攸關方參與 ”制定 “關于通過多邊進程設計、開發和使用人工智能軍事應用的規范、規則和原則”。因此，迫切需要建立、促進和支持一個獨立、中立和可信賴的平臺，該平臺將促成多方利益攸關方對話，并為軍事領域負責任地開發、獲取、部署、整合和使用人工智能技術孵化治理途徑和解決方案。

• 優先領域 1：建立知識庫

通過跨地區、跨學科和多方利益相關者的投入，在軍事領域建立一個共享的、堅實的人工智能知識庫。

• 優先領域 2：建立信任

建立對技術和他人的信任

• 優先領域 3：人的因素

解讀人工智能系統在軍事領域的開發、測試、部署和使用中的人的因素

• 優先領域 4：數據實踐

了解和解讀軍事領域負責任人工智能的數據實踐

• 優先領域 5：生命周期管理

了解人工智能系統的生命周期影響（包括生命周期的終結），在軍事領域推廣負責任的人工智能

• 優先領域 6：不穩定

了解與人工智能有關的破壞穩定問題的驅動因素、手段、方法和應對措施，包括人工智能系統促成、誘發和倍增的破壞穩定問題

人工智能（AI）有可能在社會、經濟和政策的各個方面帶來變革，包括國防和安全。英國希望成為在民用和商業應用領域推廣人工智能以及負責任地發展國防人工智能的領頭羊。這就要求對與人工智能軍事應用相關的新出現的風險和機遇，以及英國如何與其他國家開展最佳合作以減輕或利用這些風險和機遇，有一個清晰而細致的認識。

2024 年 3 月，英國國防部（MOD）國防人工智能與自主單元（DAU）和外交、聯邦與發展辦公室（FCDO）聯合委托蘭德歐洲公司（RAND Europe）開展一項簡短的范圍界定研究。該研究的目的是初步探討人工智能在軍事上的應用可能在戰略層面產生風險和機遇的方式，因為迄今為止的大部分研究都集中在戰術層面或非軍事主題（如人工智能安全）上。后續工作將更詳細地探討這些問題，為英國在這些問題上的國際參與戰略提供信息。

本技術報告旨在為理解人工智能軍事應用所帶來的戰略風險和機遇設定一個基線。一份獨立的總結報告則側重于為決策者提供高層次的研究結果。

人工智能的出現正在給競爭和沖突帶來深刻變化

人工智能最好被理解為一套雙重用途的通用技術，以硬件為基礎，但以軟件為核心。與傳統軍事技術不同的是，它們高度民主化，擴散速度極快。創新是由商業用途的私營部門驅動的，而不是由政府或國防部門驅動的。對軍事應用和影響的集體認識正在提高，但起點較低。辯論往往優先考慮某些引人注目的問題，如致命自主武器系統（LAWS）或人工智能（AGI），而忽略了其他議題。它只關注戰術，而忽視戰略；只關注風險，而忽視機遇；或只關注軍事人工智能的直接后果，而忽視從長遠來看可能影響最大的二階和三階效應。

為了解決這個問題，國防部和國防和外交、聯邦與發展辦公室（FCDO）委托進行這項研究，以制定一個概念框架，規劃軍事人工智能帶來的戰略風險和機遇。

圖 0.1 框架：人工智能軍事應用的戰略風險與機遇

人工智能對國防和安全構成復雜、重大且未被充分認識的風險

本報告詳細探討了許多風險和機遇，其中最緊迫的包括

• 信息操縱，如人工智能深度偽造，這不僅會引發政治、經濟和社會問題，還會在危機時刻影響軍事決策。

• 賦予非國家行為者挑戰國家軍隊主導地位的不對稱能力，或者在最壞的情況下，賦予他們新的大規模毀滅性工具（如生物武器）。

• 人工智能對對手之間攻防平衡、戰爭升級動態以及核威懾穩定性的相互影響。這些問題在超級大國競爭加劇的情況下，在世界已經在應對其他不安全因素（如烏克蘭、以色列-伊朗\移民、氣候變化等）的情況下，尤其令人擔憂。

• 與未來出現的任何人工智能相關的潛在災難性安全和安保風險。

在英國國內，還需要應對對國內政治和經濟產生破壞性影響的重大問題。這些問題決定了國防的目的和手段。在國外，人工智能同樣會對以規則為基礎的國際秩序的健康產生深遠影響，這取決于各國、工業界和民間社會是否以及如何有效地共同管理其影響。人工智能專家非常擔心，人工智能會在多大程度上使世界許多地方的平衡傾向于壓制性和獨裁的治理模式，同時有可能顛覆民主政治、污染信息環境和破壞社會的戰斗意志。

同樣，在軍事人工智能方面的領導力也可能帶來巨大的利益。

其中許多潛在風險也可能成為戰略優勢的機遇。人工智能的利弊平衡取決于各國如何快速有效地調整武裝部隊等機構，以利用人工智能的優勢。同樣，這也取決于各國政府如何在國際上施加影響，使全球軍事人工智能行為朝著符合本國利益和價值觀的方向發展。這就意味著各國政府要愿意進行重大投資、組織改革和文化變革，以改變國防部門對新技術的態度。

需要采取緊急行動，降低新出現的風險，利用各種機遇

為了應對這些挑戰，各國必須緊急制定一項全面的行動計劃，考慮到人工智能技術進步、圍繞人工智能或通過人工智能進行的地緣政治競爭以及國際體系中圍繞人工智能不斷演變的規范之間復雜的相互作用。這應利用一套影響不同受眾的機制工具包，運用外交、信息、軍事和經濟（DIME）杠桿，匯集一套積極主動的行動方案：

• 努力促進負責任地采用人工智能，最大限度地發揮其對國防的益處。
• 努力限制非國家行為者、恐怖主義行為者或敵對/無賴國家采用軍事人工智能，同時也要讓他們付出代價，以影響他們的行動。
• 努力為軍事人工智能制定全球、小型和雙邊治理安排。

這也應借鑒其他領域的經驗教訓--如本報告所述--以及最近關于人工智能的高級別倡議的勢頭。突出的例子包括布萊切利峰會、軍事領域負責任的人工智能（REAIM）峰會和《軍事人工智能政治宣言》。

表0.2塑造全球國防人工智能發展的機制工具包

人工智能（AI）領域發展迅速。新的人工智能技術不斷被開發出來，有時甚至是突破性的。這些技術越來越多地融入日常生活的方方面面，對商業、經濟和科學發展與創新至關重要。國防部門也在尋求利用人工智能，并將這些新技術引入安全領域，這并不奇怪。正如 Murugesan 所解釋的那樣（2022 年，第 4 頁），除其他外，人工智能可用于 “重復性任務，從而將安保人員解放出來，從事需要人類智慧的項目”。此外，為了證明人工智能的好處，“北約成員國已經開始投資這項技術，并將其納入國防戰略”（Carlo, 2021, 第 269 頁）。

盡管人工智能好處多多，但預計它將給 “交戰雙方的戰略、作戰藝術、戰術和條令帶來巨大變化”（Ploumis, 2022, 第 1 頁）。因此，需要仔細考慮和研究這些變化，以防止它們可能帶來的風險。例如，人工智能技術 “對網絡戰有重大影響，但也可能產生不利影響，并在未來顯著增加網絡攻擊的數量和威脅程度”（Kline et al.）

因此，人工智能系統有望影響 “戰爭的進行，帶來新的能力，并改變力量平衡”（辛格-吉爾，2019 年，第 169 頁）。根據這些假設，本文旨在研究人工智能如何影響沖突的性質。特別是，考慮到技術兼容性和倫理因素，本文試圖更好地理解在軍事聯合行動中將人工智能技術引入安全部門所帶來的益處和風險。人工智能系統在國防領域的發展如何影響軍事合作？將人工智能納入國防部門有哪些好處和風險？

本文結構

在討論了人工智能的定義問題之后，本文將討論將人工智能技術納入國防領域的諸多影響。人工智能軍事應用的利弊是什么？人工智能會帶來哪些安全后果？為了回答這些重要問題，本文分為四個主要部分。

第一部分討論網絡戰問題。它側重于人工智能對網絡安全的影響。在定義了網絡戰的概念并解釋了該主題的相關性之后，將根據其主要目標分析人工智能的兩種主要應用：進攻型人工智能和防御型人工智能。前者旨在改進網絡攻擊，后者旨在增強網絡空間中特定行為者的防御能力。

第二部分側重于人工智能在物理空間的應用。人工智能可以通過監視、偵察和改進組織的形式，為戰場上的軍事行動帶來巨大的戰術效益。人工智能還可應用于無人系統和車輛，也稱為無人機和機器人。然而，這并非沒有風險，因為人工智能系統并非無懈可擊，可能成為網絡攻擊的目標，給軍事行動帶來嚴重后果。

第三部分分析了人工智能的地緣政治影響。這項技術為國家行為體提供了重大戰略優勢。這些優勢吸引他們增加對人工智能的投資，并將其納入國防能力。這有可能引發新一輪軍備競賽，將人工智能技術武器化。將人工智能系統納入國防領域也給軍事合作帶來了挑戰，特別是在技術兼容性方面。最后，最后一節將討論將人工智能納入安全部門的主要倫理考慮因素。

近年來，人工智能（AI）和機器學習領域的進步為增強人類能力和提高各種自主系統的功能創造了前所未有的機遇，包括在國際安全領域。然而，在國防領域，訓練日益復雜的人工智能系統所需的高質量、高度多樣化和相關的真實世界數據集卻十分稀缺。因此，合成數據正逐漸成為開發和訓練人工智能系統的數據工具箱中必不可少的工具。合成數據的特點和潛在優勢，以及該技術在各個領域的成熟應用，使其成為圍繞在國際安全背景下使用人工智能的辯論的一個相關話題。

本入門指南簡要概述了合成數據，包括其特點、生成方式、增加的價值、風險以及在國防組織和軍事行動中的潛在用例。此外，本手冊還概述了現有的數據挑戰和限制，這些挑戰和限制促使合成數據成為開發日益復雜的人工智能系統的重要工具。

迄今為止，合成數據在國際安全領域的應用大多停留在實驗和探索階段。不過，合成數據的特點可對訓練人工智能系統產生有益影響。特別是，合成數據可以生成高度多樣化甚至新穎的數據集，對數據屬性進行精細控制，必要時自動注釋或標記數據，而且成本效益高。這本入門書探討了合成數據的主要特點如何使軍隊和國防組織受益，讓他們能夠在防御性和進攻性自主系統中集成能力更強、更可靠的人工智能系統。

雖然合成數據有利于訓練人工智能系統，并有助于緩解軍隊和國防組織面臨的一些數據問題，但它并不是靈丹妙藥，也伴隨著風險和挑戰。使用合成數據所帶來的好處將取決于各組織是否有能力駕馭這些風險，以便以負責任和安全的方式并按照法律要求和道德價值觀使用根據合成數據訓練的人工智能系統。

圖1所示。真實世界與合成數據

人們普遍認為，將機器學習融入軍事決策對于美國在 21 世紀保持軍事主導地位至關重要。機器學習的進步有可能通過提高整個國家安全企業級決策的速度、精確度和效率，極大地改變戰爭的特點。美國國防部的領導者們認識到了這一點，并正在做出大量努力，以在戰爭的戰術、作戰、戰略和機構層面有效整合機器學習工具。

本報告將探討機器學習的一種應用，其重點是在競爭和沖突的作戰層面實現軍事決策。展示了機器學習如何與人類合作，作為決策系統的一部分，用于提高軍事行動和活動的有效性。展示了這種方法如何通過分析原本無法獲取的數據源，為指揮官提供有關作戰環境的新見解。將重點放在從大量基于文本的數據（如報紙報道和情況報告）中獲得的洞察力上，這些數據無處不在，但卻很少以任何系統的方式整合到決策中。

在本報告中介紹的方法以人機協作系統的概念為基礎，并證明了現有的機器學習能力需要人在各個階段的參與，才能證明對操作層面的決策有用。因此，機器學習能力的發展與雷達自二戰以來的演變密切相關，而雷達是人機協作用于軍事目的的最早范例之一。如今，與不列顛之戰期間使用的預警系統同樣依賴雷達機器和人類觀察員一樣，機器學習仍然需要人類的參與，以指導這種新傳感器使用正確的數據，正確解釋其輸出結果，并評估其結果對作戰決策的影響。

通過一個基于真實世界數據和真實世界危機的示例研究，將讀者（"您"）置身于一名軍事指揮官的視角，就 2022 年俄羅斯全面入侵烏克蘭之前，美國如何支持烏克蘭兵力應對俄羅斯支持的烏克蘭東部叛亂，展示了這一系統方法的實際應用。在撰寫本案例研究時，把讀者您當成了這位指揮官，因為目標是強調您在未來與機器學習工具的合作中可能扮演的關鍵角色--無論是作為分析師、決策者，甚至是在現實世界的類似背景下應用這些工具的軍事指揮官。

值得注意的是，本案例研究是基于 2014-2020 年間的數據于 2020 年 12 月完成的，僅分析了這一時期與俄羅斯支持的烏克蘭東部叛亂有關的實地情況。本研究尚未更新，以反映自 2022 年 2 月俄羅斯入侵烏克蘭以來所獲得的任何見解。然而，從入侵前的視角來看，機器學習在后來發生的現實世界事件中用于作戰決策的優勢和局限性也就不言而喻了。

在整個案例研究中，將看到為本報告目的而進行的基于機器學習的實際評估結果，該評估分析了來自烏克蘭的 18,000 篇歷史新聞報道，內容涉及從 2014 年沖突起源到 2020 年末的沖突。利用機器學習工具從這些數據中提取相關見解，并與分析結果進行互動，就向烏克蘭兵力提供何種類型的支持以及在俄羅斯入侵前實現美國在該地區的目標做出名義上的決策。在此過程中，人機協作學習的優勢將逐漸顯現，將親眼目睹機器學習工具如何快速、系統地利用以前無法獲取的數據，為復雜問題提供新的見解。但這種方法的局限性也會顯現出來，將親眼目睹機器學習的好壞取決于支持它的可用數據，以及訓練機器學習工具和解釋其結果的人類分析師。

人機協作方法適用于軍事決策者在陸軍和美國防部作戰和機構層面面臨的各種問題集。因此，本研究以具體證據清晰地展示了在軍事決策中使用機器學習所涉及的權衡問題，為機器學習在軍事領域的廣泛應用做出了貢獻。本研究為美國陸軍提出了幾項重要發現和建議。

研究問題

• 指揮官如何利用機器學習進行作戰決策？
• 人類分析師應如何與機器學習工具合作以實現作戰決策？

主要發現

首先，分析展示了機器學習在軍事決策方面的巨大潛力，但只有在與對特定問題背后的背景有詳細了解的人類分析師配對時才能實現。在此提出的機器學習方法不會取代人類分析師。相反，它能使人類分析師更高效、更嚴謹，并能更好地從以前未開發的數據源中提取洞察力。在案例研究中，通過使用機器學習獲得的大多數關鍵見解都需要人類分析師的額外干預。在某些情況下，這需要在模型結果的基礎上有選擇性地疊加額外的數據源。在其他情況下，則需要人工分析師手動審查機器學習工具認為相關和有趣的基礎數據。因此，美國陸軍現有的機器學習能力需要人類在各個階段的參與，才能充分發揮其潛力。

其次，分析表明，通過大幅提高執行重復性任務的效率，人機協作方法可以大規模分析人類分析師無法單獨完成的海量數據集，從而產生以前無法實現的有關作戰環境的新見解。案例研究表明，從分析人員處理大量數據的重復性分析任務所花費的時間來看，機器學習能顯著提高效率，使分析人員更高效、更嚴謹，并能更好地從以前未開發的數據源中提取洞察力。這表明，對于需要大量人工審核相關數據的問題，陸軍領導應優先考慮將機器學習作為一種解決方案。

最后，這項研究揭示了機器學習的系統方法能夠對作戰級總部已有的大量數據進行標準化、客觀和長期的分析，從而增強其支持有效決策的潛力。在許多情況下，這些數據是戰爭中作戰和機構層面決策的最佳信息來源，但如果沒有機器學習，這些數據就只能以臨時和主觀的方式進行分析。

建議

首先，這項研究表明，陸軍應為各級指揮人員提供頻繁接觸機器學習的機會，讓他們熟悉人類如何利用這些能力作為軍事決策系統的一部分。

其次，本研究強調，陸軍應建立多樣化的機器學習團隊，以充分釋放這一能力的潛力。這些團隊應整合熟悉機器學習工具細節的作戰研究系統分析員、對特定作戰環境有第一手知識的操作員、了解可用數據以分析特定問題的分析員，以及能將機器分析轉化為對作戰決策有實際影響的指揮官。

美國戰略家認為，人工智能(AI)有可能實現更好、更快的決策，這在未來的軍事沖突中是決定性的。機器學習應用將越來越多地影響政治和軍事領導人對戰略環境的看法，權衡風險和選擇，并判斷他們的對手。但是，將關鍵的人類決策過程暴露在人工智能系統的中會有什么風險？

要獲得人工智能在決策方面的優勢，首先需要了解其局限性和陷阱。人工智能系統根據數據模式進行預測。總是有一些意外行為或失敗的機會。現有的工具和技術試圖使人工智能對失敗更加穩健，往往會導致性能上的權衡，解決了一個問題，但可能會使另一個問題惡化。人們對人工智能的脆弱性和缺陷的認識不斷提高，但也需要在現實的部署背景下對技術故障的潛在后果進行更深入的分析。

本簡報研究了直接或間接影響決策的人工智能系統故障如何與戰略壓力和人為因素相互作用，從而引發危機或沖突的升級：

• 納入人工智能的進攻行動或干擾對手的人工智能系統可能導致不可預見的系統故障和連帶效應，引發意外的升級。
• 不安全的、訓練不足的或應用于錯誤類型問題的人工智能系統可能為決策過程注入不良信息，導致意外升級。
• 發現人工智能系統被破壞，可能會對關鍵能力的可靠性或生存能力產生不確定性，如果沖突似乎迫在眉睫，會促使決策者故意升級。

這些情景揭示了一個核心困境：決策者希望使用人工智能來減少不確定性，特別是當涉及到他們對戰場的認識，了解對手的意圖和能力，或了解他們自己抵御攻擊的能力。但通過依賴人工智能，他們在人工智能系統技術故障的可能性和后果方面引入了一個新的不確定性來源。

有效利用人工智能需要以一種有謹慎的和有風險的方式來平衡優勢與局限。沒有辦法保證概率性人工智能系統會完全按照預期行為，也沒有辦法保證它能給出正確的答案。然而，軍隊可以設計人工智能系統和依賴它們的決策過程，以減少人工智能失敗的可能性并控制其后果，包括通過：

• 為決策環境中使用的人工智能系統定義一套特定的任務屬性、標準和要求，如信任度量和保障措施，以檢測妥協或突發屬性。
• 規定人工智能在決策中的使用，將人工智能應用于非常適合的狹窄問題，同時保留人類判斷問題，如解釋對手的意圖；并考慮在某些領域完全排除人工智能。
• 盡可能地讓高級決策者參與他們所依賴的系統的開發、測試和評估過程，并讓他們了解人工智能的優勢和缺陷，以便他們能夠識別系統的故障。

美國應繼續帶頭制定負責任地開發和使用人工智能的全球標準，采取步驟展示某些可靠性，并盡可能地鼓勵其他國家采取類似的預防措施：

• 澄清為限制支持決策的人工智能系統的風險而實施的做法和保障措施。
• 開展國際合作，制定互利的技術保障措施和最佳做法，以減少人工智能災難性故障的風險。
• 承諾在使用包含人工智能能力的進攻性行動和針對人工智能系統的行動時保持克制，因為這些行動存在重大升級風險。

人工智能為我們提供了自動化任務的能力，從海量數據中提取信息，并合成幾乎與真實事物無異的媒體。然而，積極的工具也可以被用于消極的目的。特別是，網絡對手可以利用人工智能來加強他們的攻擊和擴大他們的活動。雖然攻擊性人工智能在過去已經被討論過，但有必要在組織的背景下分析和理解這種威脅。例如，一個具有人工智能能力的對手是如何影響網絡殺傷鏈的？人工智能是否比防御者更有利于攻擊者？今天組織面臨的最重要的人工智能威脅是什么，它們對未來的影響是什么？在這項研究中，我們探討了攻擊性人工智能對組織的威脅。首先，我們介紹了背景，并討論了人工智能如何改變對手的方法、策略、目標和整體攻擊模式。然后，通過文獻回顧，我們確定了32種攻擊性人工智能能力，對手可以利用這些能力來加強他們的攻擊。最后，通過橫跨工業界、政府和學術界的小組調查，我們對人工智能威脅進行了排名，并提供了對攻擊者的洞察力。

引言

幾十年來，包括政府機構、醫院和金融機構在內的組織一直是網絡攻擊的目標[1, 2, 3]。這些網絡攻擊都是由有經驗的黑客使用人工方法進行的。近年來，人工智能（AI）的發展蓬勃發展，這使得軟件工具的創造有助于實現預測、信息檢索和媒體合成等任務的自動化。在整個這一時期，學術界和工業界的成員在改善網絡防御[4, 5, 6]和威脅分析[7, 8, 9]的情況下利用了人工智能。然而，人工智能是一把雙刃劍，攻擊者可以利用它來改善他們的惡意活動。

因此，我們將攻擊性人工智能定義為：“使用或濫用人工智能來完成惡意的任務”。

對人工智能的攻擊性使用。敵人可以改進他們的戰術，發動以前不可能的攻擊。例如，通過深度學習，人們可以通過冒充其雇主的臉和聲音來進行高效的魚叉式網絡釣魚攻擊[10, 11]。還可以通過使攻擊在沒有人類監督和幫助的情況下進行（使其自動進行）來提高攻擊的隱蔽能力。例如，如果惡意軟件可以自行對網絡中的主機進行漸進式感染（又稱橫向移動），那么這將減少指揮和控制（C&C）通信[12, 13]。其他能力包括使用人工智能尋找軟件中的零日漏洞，自動進行逆向工程，有效地利用側面渠道，建立逼真的假人物，并進行更多的惡意活動，提高功效（更多的例子將在后面第3節中介紹）。

對人工智能的攻擊性濫用。對抗性機器學習是對人工智能的安全漏洞的研究。已經證明，對手可以通過制作訓練樣本來改變模型的功能，例如插入后門[14]，通過操縱測試樣本（例如逃避檢測）來獲得所需的分類[15]，甚至推斷出模型[16]或其訓練數據的機密信息[17]。由于組織使用人工智能來自動管理、維護、操作和防御他們的系統和服務，因此敵方可以通過在這些系統上使用機器學習來完成他們的惡意目標。 我們注意到，有些攻擊是可以不使用或濫用人工智能而實現的。然而，如果攻擊者使用人工智能使其自動或半自動運行，他們可以大大減少執行攻擊所需的工作。通過減少他們在創建有效策略方面的工作，攻擊者可以通過擴大攻擊的強度和數量來最大化他們的回報。此外，通過在攻擊鏈的幾個階段同時行動，攻擊者可以在攻擊的速度和力量上實現協同效應，變得更加危險。另一方面，一些攻擊已經被人工智能實現，例如在復雜的社會工程攻擊中克隆個人的聲音[18]。

1.1 研究綜述

在這項工作中，我們對企業安全背景下的攻擊性人工智能知識進行了研究。本文的目標是幫助行業界（1）更好地了解攻擊性人工智能對組織的當前影響，（2）優先研究和開發防御性解決方案，以及（3）確定在不久的將來可能出現的趨勢。這項工作并不是第一次提高對攻擊性人工智能的認識。在[19]中，作者警告行業界，人工智能可以被用于不道德的和犯罪的目的，并列舉了來自不同領域的例子。在[20]中，舉行了一個研討會，試圖確定人工智能在犯罪學中的潛在首要威脅。然而，這兩項工作都涉及到了人工智能對社會整體的威脅，而不是專門針對組織及其網絡。此外，盡管他們做出了大量工作并取得了初步成果，但這些先前的分析只提供了人工智能如何被用于攻擊的例子以及對其風險的可能排序，而我們的研究通過用于識別針對組織的潛在攻擊策略的標準方法，給出了攻擊性人工智能的結構化觀點，得出了與防御這些威脅有關的戰略見解。

為了實現這些目標，我們進行了一次文獻回顧，以確定具有人工智能能力的對手能力。然后我們進行了一項小組調查，以確定這些能力中哪些代表了實踐中最相關的威脅。有35名調查參與者：16名來自學術界，19名來自工業界。來自工業界的參與者來自廣泛的組織，如MITRE、IBM、微軟、谷歌、空中客車、博世、富士通、日立和華為。

從我們的文獻回顧中，我們發現了32種針對組織的攻擊性人工智能能力。我們的小組調查顯示，最重要的威脅是改善社會工程攻擊的能力（例如，使用深層假象來克隆員工的聲音）。我們還發現，行業成員最關心的是使攻擊者能夠竊取知識產權和檢測其軟件中的漏洞的攻擊。最后，我們還發現，現代攻擊性人工智能主要影響網絡殺傷鏈的初始步驟（偵查、資源開發和初始訪問）。這是因為人工智能技術還不夠成熟，無法創造出能夠在沒有人類監督和幫助下進行攻擊的智能體。我們的研究結果的完整清單可以在第5.1節找到。

1.2 本文貢獻

在這項研究中，我們做出了以下貢獻：

• 概述了人工智能如何被用來攻擊組織及其對網絡殺傷鏈的影響（第2.3節）。
• 根據文獻回顧和當前事件，列舉和描述了32種威脅組織的攻擊性人工智能能力（第3節）。這些能力可分為：（1）自動化，（2）活動彈性，（3）憑證盜竊，（4）漏洞開發，（5）信息收集，（6）社會工程，以及（7）隱身。
• 根據對來自學術界、工業界和政府的成員進行的小組調查，對攻擊性人工智能如何影響組織提出了威脅排名和見解（第4節）。
• 對人工智能威脅的預測以及由此產生的攻擊策略的轉變（第5節）。

1.3 文章結構

本文的結構如下：

• 第2節為讀者提供了關于對理解文獻綜述很重要的主題入門知識。該部分介紹了關于人工智能、攻擊性人工智能的概念，以及攻擊性人工智能如何影響組織的安全。
• 第3節提供了在組織安全背景下的攻擊性人工智能的文獻回顧。
• 第4節介紹了一項小組調查的結果，以幫助確定攻擊性人工智能對組織的最小和最重要的威脅。
• 第5節總結了研究發現，并提供了對問題的看法。

圖 1：文獻綜述中確定的 32 種進攻性 AI 能力 (OAC)。

美國仍然是世界上最突出的軍事和技術力量。在過去十年中，美國認識到人工智能作為力量倍增器的潛力，越來越多地將人工智能（AI）的熟練程度視為美國重要利益和保證美國軍事和經濟實力的機制。特別是，在過去十年中，人工智能已成為美國國防的一項關鍵能力，特別是考慮到2022年美國國防戰略對印度-太平洋地區的關注。

因此，美國國防部（DoD）（以及美國政府和國防機構總體上）對人工智能和相關新興技術表現出越來越大的熱情。然而，雖然美國目前在學術界和私營部門的人工智能研究和開發方面取得了巨大進展，但國防部尚未在廣泛范圍內成功地將商業人工智能的發展轉化為真正的軍事能力。

美國政府在利用國防人工智能和人工智能支持的系統方面通常處于有利地位。然而，在過去的幾年里，各種官僚主義、組織和程序上的障礙減緩了國防部在國防人工智能采用和基于技術的創新方面的進展。最關鍵的是，國防部遭受了復雜的收購過程和廣泛的數據、STEM和AI人才和培訓的短缺。從事人工智能和人工智能相關技術和項目的組織往往是孤立的，而且還存在必要的數據和其他資源相互分離。在美國防部內部存在一種傾向于可靠方法和系統的文化，有時趨向于勒德主義。所有這些因素都導致了人工智能采用的速度出奇的緩慢。美國家安全委員會2021年提交給國會的最終報告總結說，"盡管有令人興奮的實驗和一些小型的人工智能項目，但美國政府離人工智能就緒還有很長的路要走"。

因此，盡管人工智能有可能增強美國的國家安全并成為一個優勢領域，而且鑒于美國在軍事、創新和技術領導方面的長期傳統，人工智能有可能成為一個薄弱點，擴大 "美國已經進入的脆弱窗口"。 如果美國不加快創新步伐，達到負責任的速度，并奠定必要的制度基礎，以支持一支精通人工智能的軍隊，人工智能將繼續成為一個不安全點。

去年，美國防部在這些挑戰中的一些方面取得了進展，調整了國防人工智能的方法。2022年6月，美國防部發布了《負責任人工智能戰略和實施途徑》，將更有數據依據的、負責任的、可操作的人工智能工作列為優先事項，此后開始執行。最重要的是，美國防部已經啟動了對其人工智能組織結構的重大改革，創建了一個新的首席數字和人工智能辦公室（CDAO），以整合其不同的人工智能項目和利益相關者，并使其與該部門的數據流更好地協調。值得注意的是，美國國防部目前正在對其國防人工智能的整體方法進行重大變革和振興。然而，這些新的人工智能努力是否足以讓美國彌補失去的時間，還有待觀察。

自主系統將塑造戰爭的未來。因此，土耳其的國防人工智能（AI）發展主要側重于提高自主系統、傳感器和決策支持系統的能力。提高自主系統的情報收集和作戰能力，以及實現蜂群作戰，是發展國防人工智能的優先事項。雖然土耳其加強了自主系統的能力，但在可預見的未來，人類仍將是決策的關鍵。

人類參與決策過程提出了一個重要問題：如何有效確保人機互動？目前，自主系統的快速發展和部署使人機互動的問題更加惡化。正如土耳其國防工業代表所爭論的那樣，讓機器相互交談比較容易，但將人類加入其中卻非常困難，因為現有的結構并不適合有效的人機互動。此外，人們認為，人工智能對決策系統的增強將有助于人類做出更快的決定，并緩解人機互動。

土耳其發展人工智能的意圖和計劃可以從官方戰略文件以及研發焦點小組報告中找到。突出的文件包括以下內容：

• 第11個發展計劃，其中規定了土耳其的經濟發展目標和關鍵技術投資。

• 《2021-2025年國家人工智能戰略》，它為土耳其的人工智能發展制定了框架。

• 焦點技術網絡（Odak Teknoloji A??，OTA?）報告，為特定的國防技術制定了技術路線圖。這些文件提供了關于土耳其如何對待人工智能、國防人工智能和相關技術的見解。

土耳其特別關注人工智能相關技術，如機器學習、計算機視覺和自然語言處理，其應用重點是自主車輛和機器人技術。自2011年以來，自主系統，主要是無人駕駛飛行器（UAV），仍然是土耳其人工智能發展的重點。此后，這已擴大到包括所有類型的無機組人員的車輛。同時，用人工智能來增強這些車輛的能力也越來越受到重視。人工智能和相關技術的交織發展構成了土耳其人工智能生態系統的核心。

土耳其的人工智能生態系統剛剛起步，但正在成長。截至2022年10月，有254家人工智能初創企業被列入土耳其人工智能倡議（TRAI）數據庫。土耳其旨在通過各種生態系統倡議在其國防和民用產業、學術機構和政府之間創造協同效應。由于許多組織都參與其中，這些倡議導致了重復和冗余。冗余也來自于人工智能技術本身的性質。由于人工智能是一種通用技術，可以應用于不同的環境，各種公司都有用于民用和國防部門的產品；因此相同的公司參與了不同的生態系統倡議。此外，民用公司與國防公司合作，在國防人工智能研究中合作，并提供產品，這是司空見慣的。

土耳其鼓勵國際人工智能在民用領域的合作，但不鼓勵在國防領域的合作。然而，由于技能是可轉移的，國防人工智能間接地從這種合作中受益。

土耳其非常關注自主系統發展中的互操作性問題，特別是那些具有群集能力的系統。除了蜂群，北約盟國的互操作性也是一個重要問題。因此，土耳其認為北約標準在發展自主系統和基礎技術方面至關重要。

土耳其目前對人工智能采取了分布式的組織方式。每個政府機構都設立了自己的人工智能組織，職責重疊。目前，盡管國防工業局（Savunma Sanayi Ba?kanl???，SSB）還沒有建立專門的人工智能組織，但SSB的研發部管理一些人工智能項目，而SSB的無人駕駛和智能系統部管理平臺級項目。目前，根據現有信息，還不清楚這些組織結構如何實現國防創新或組織改革。

土耳其尋求增加其在人工智能方面的研發支出，旨在增加就業和發展生態系統。SSB將在未來授予更多基于人工智能的項目，并愿意購買更多的自主系統，鼓勵研發支出的上升趨勢。然而，盡管土耳其希望增加支出，但金融危機可能會阻礙目前的努力。

培訓和管理一支熟練的勞動力對于建立土耳其正在尋找的本土人工智能開發能力至關重要。這包括兩個部分。首先是培養能夠開發和生產國防人工智能的人力資源。因此，土耳其正在投資于新的大學課程、研究人員培訓、開源平臺和就業，同時支持技術競賽。第二是培訓將使用國防人工智能的軍事人員。國防人工智能也正在慢慢成為土耳其武裝部隊（Türk Silahl? Kuvvetleri，TSK）培訓活動的一部分。目前，關于土耳其打算如何培訓軍事人員使用國防人工智能的公開信息非常少。

人工智能（AI）領域的不斷進步以及在關鍵部門整合AI系統的工作正在逐步改變社會的各個方面，包括國防部門。盡管人工智能的進步為增強人類能力和改善各種決策提供了前所未有的機會，但它們也帶來了重大的法律、安全、安保和倫理問題。因此，為了確保人工智能系統的開發和使用是合法的、道德的、安全的、有保障的和負責任的，政府和政府間組織正在制定一系列規范性文書。這種方法被廣泛稱為 "負責任的人工智能"，或道德的或值得信賴的人工智能。目前，負責任的人工智能最引人注目的方法是開發和運作負責任或道德的人工智能原則。

聯合國裁研所的 "在國防中實現負責任的人工智能 "項目首先尋求對負責任的人工智能系統的研究、設計、開發、部署和使用的關鍵方面建立共同的理解。然后，它將審查負責任的人工智能在國防部門的運作情況，包括確定和促進良好做法的交流。該項目有三個主要目標。首先，它旨在鼓勵各國采用和實施能夠在開發和使用人工智能系統中實現負責任行為的工具。它還試圖幫助提高透明度，促進國家和其他關鍵人工智能行為者之間的信任。最后，該項目旨在建立對負責任的人工智能關鍵要素的共同理解，以及如何將其付諸實施，這可以為制定國際公認的治理框架提供參考。

本研究簡報概述了該項目的目標。它還概述了項目第一階段的研究方法和初步結果：制定共同的原則分類法和對各國采用的人工智能原則進行比較分析。