機器學習將極大地改變未來戰爭的方式。為了充分利用機器學習帶來的固有能力，海軍陸戰隊必須做出重大改變。

機器學習是人工智能的一個分支，是軍事領域的一場革命（RMA）。它將從根本上改變戰爭的方式。從圖像分類到語音識別、機器人和自動駕駛汽車，其可能性是無窮的。然而，這一進步仍面臨著實際障礙。數據采集和格式化是成功的關鍵，而這兩項工作在政府部門本身就很困難。此外，機器學習也不是萬能的。有些問題機器學習能解決，有些問題機器學習不能解決，因此必須明確兩者之間的區別。因此，要利用這些新趨勢，海軍陸戰隊必須了解技術，并能夠和愿意在必要時適應技術。

海軍陸戰隊尚未做好適應當前 RMA 的準備，需要立即做出實質性改變，以扭轉趨勢。海軍陸戰隊應采用當前的 Project Maven 流程，并在信息副指揮官 (DCI) 下設立一個單元。該單元必須開始整理海軍陸戰隊的不同數據，并利用這些數據與行業領導者建立有意義的關系，以此激勵私營公司參與其中。

在未來戰場上，人工合成的決策將出現在人類決策的內部和周圍。事實上，人工智能（AI）將改變人類生活的方方面面。戰爭以及人們對戰爭的看法也不例外。特別是，美國陸軍構想戰爭方式的框架和方法必須進行調整，以便將非情感智力的優勢與人類情感思維的洞察力結合起來。人工智能與人類行動者的組合有可能為軍事決策提供決定性的優勢，并代表了成功軍事行動的新型認知框架和方法。人工智能在軍事領域的應用已經開始擴散，隨之而來的作戰環境復雜性的增加已不可避免。

正如核武器結束了第二次世界大戰，并在二十世紀阻止了大國沖突的再次發生一樣，競爭者預計人工智能將在二十一世紀成為國家力量最重要的方面。這項工作的重點是美國陸軍的文化，但當然也適用于其他企業文化。如果要在未來有效地利用人工智能，而且必須這樣做才能應對競爭對手使用人工智能所帶來的幾乎必然的挑戰，那么成功地融入人工智能工具就需要對現有文化進行分析，并對未來的文化和技術發展進行可視化。美國將致力于在人工智能的軍事應用方面取得并保持主導地位。否則將承擔巨大風險，并將主動權拱手讓給積極尋求相對優勢地位的敵人。

結論

合成有機團隊認知的兩大障礙是美陸軍領導的文化阻力和軍事決策的結構框架。首先，也是最重要的一點是，領導者必須持續觀察人工智能工具并與之互動，建立信心并接受其提高認知能力和改善決策的能力。在引入人工智能工具的同時，幾乎肯定會出現關于機器易犯錯誤或充滿敵意的說法，但必須通過展示人工智能的能力以及與人類團隊的比較，來消除和緩和對其潛在效力的懷疑。將人工智能工具視為靈丹妙藥的健康而合理的懷疑態度有可能會無益地壓倒創新和有效利用這些工具的意愿。克服這一問題需要高層領導的高度重視和下屬的最終認可。其次，這些工具的結構布局很可能會對它們如何快速體現自身價值產生重大影響。開始整合人工智能工具的一個看似自然的場所是在 CTC 環境中，以及在大型總部作戰演習的大型模擬中。最初的工具在營級以下可能用處不大，但如果納入迭代設計、軍事決策過程或聯合規劃過程，則幾乎肯定會增強營級及以上的軍事規劃。雖然在本作品中，對工具的描述主要集中在與指揮官的直接關系上，但在最初的介紹中，與參謀部的某些成員（包括執行軍官或參謀長、作戰軍官和情報軍官）建立直接關系可能會更有用。與所有軍事組織一樣，組織內個人的個性和能力必須推動系統和工具的調整，使其與需求保持平衡。

幾乎可以肯定的是，在將人工智能工具融入軍事組織的初期，一定會出現摩擦、不完善和懷疑。承認這種可能性和任務的挑戰性并不意味著沒有必要這樣做。人類歷史上幾乎所有的創新都面臨著同樣的障礙，尤其是在文化保守的大型官僚機構中進行創新時。面對國際敵對競爭對手的挑戰，美國陸軍目前正在文化和組織變革的許多戰線上奮力前行，在整合人工智能工具的斗爭中放棄陣地無異于在機械化戰爭之初加倍使用馬騎兵。在戰爭中，第二名沒有可取的獎賞，而人工智能在決策方面的潛在優勢，對那些沒有利用這一優勢的行為體來說，是一個重大優勢。現在是通過擁抱人工智能工具和改變戰爭節奏來更好地合作的時候了。

人們普遍認為，將機器學習融入軍事決策對于美國在 21 世紀保持軍事主導地位至關重要。機器學習的進步有可能通過提高整個國家安全企業級決策的速度、精確度和效率，極大地改變戰爭的特點。美國國防部的領導者們認識到了這一點，并正在做出大量努力，以在戰爭的戰術、作戰、戰略和機構層面有效整合機器學習工具。

本報告將探討機器學習的一種應用，其重點是在競爭和沖突的作戰層面實現軍事決策。展示了機器學習如何與人類合作，作為決策系統的一部分，用于提高軍事行動和活動的有效性。展示了這種方法如何通過分析原本無法獲取的數據源，為指揮官提供有關作戰環境的新見解。將重點放在從大量基于文本的數據（如報紙報道和情況報告）中獲得的洞察力上，這些數據無處不在，但卻很少以任何系統的方式整合到決策中。

在本報告中介紹的方法以人機協作系統的概念為基礎，并證明了現有的機器學習能力需要人在各個階段的參與，才能證明對操作層面的決策有用。因此，機器學習能力的發展與雷達自二戰以來的演變密切相關，而雷達是人機協作用于軍事目的的最早范例之一。如今，與不列顛之戰期間使用的預警系統同樣依賴雷達機器和人類觀察員一樣，機器學習仍然需要人類的參與，以指導這種新傳感器使用正確的數據，正確解釋其輸出結果，并評估其結果對作戰決策的影響。

通過一個基于真實世界數據和真實世界危機的示例研究，將讀者（"您"）置身于一名軍事指揮官的視角，就 2022 年俄羅斯全面入侵烏克蘭之前，美國如何支持烏克蘭兵力應對俄羅斯支持的烏克蘭東部叛亂，展示了這一系統方法的實際應用。在撰寫本案例研究時，把讀者您當成了這位指揮官，因為目標是強調您在未來與機器學習工具的合作中可能扮演的關鍵角色--無論是作為分析師、決策者，甚至是在現實世界的類似背景下應用這些工具的軍事指揮官。

值得注意的是，本案例研究是基于 2014-2020 年間的數據于 2020 年 12 月完成的，僅分析了這一時期與俄羅斯支持的烏克蘭東部叛亂有關的實地情況。本研究尚未更新，以反映自 2022 年 2 月俄羅斯入侵烏克蘭以來所獲得的任何見解。然而，從入侵前的視角來看，機器學習在后來發生的現實世界事件中用于作戰決策的優勢和局限性也就不言而喻了。

在整個案例研究中，將看到為本報告目的而進行的基于機器學習的實際評估結果，該評估分析了來自烏克蘭的 18,000 篇歷史新聞報道，內容涉及從 2014 年沖突起源到 2020 年末的沖突。利用機器學習工具從這些數據中提取相關見解，并與分析結果進行互動，就向烏克蘭兵力提供何種類型的支持以及在俄羅斯入侵前實現美國在該地區的目標做出名義上的決策。在此過程中，人機協作學習的優勢將逐漸顯現，將親眼目睹機器學習工具如何快速、系統地利用以前無法獲取的數據，為復雜問題提供新的見解。但這種方法的局限性也會顯現出來，將親眼目睹機器學習的好壞取決于支持它的可用數據，以及訓練機器學習工具和解釋其結果的人類分析師。

人機協作方法適用于軍事決策者在陸軍和美國防部作戰和機構層面面臨的各種問題集。因此，本研究以具體證據清晰地展示了在軍事決策中使用機器學習所涉及的權衡問題，為機器學習在軍事領域的廣泛應用做出了貢獻。本研究為美國陸軍提出了幾項重要發現和建議。

研究問題

• 指揮官如何利用機器學習進行作戰決策？
• 人類分析師應如何與機器學習工具合作以實現作戰決策？

主要發現

首先，分析展示了機器學習在軍事決策方面的巨大潛力，但只有在與對特定問題背后的背景有詳細了解的人類分析師配對時才能實現。在此提出的機器學習方法不會取代人類分析師。相反，它能使人類分析師更高效、更嚴謹，并能更好地從以前未開發的數據源中提取洞察力。在案例研究中，通過使用機器學習獲得的大多數關鍵見解都需要人類分析師的額外干預。在某些情況下，這需要在模型結果的基礎上有選擇性地疊加額外的數據源。在其他情況下，則需要人工分析師手動審查機器學習工具認為相關和有趣的基礎數據。因此，美國陸軍現有的機器學習能力需要人類在各個階段的參與，才能充分發揮其潛力。

其次，分析表明，通過大幅提高執行重復性任務的效率，人機協作方法可以大規模分析人類分析師無法單獨完成的海量數據集，從而產生以前無法實現的有關作戰環境的新見解。案例研究表明，從分析人員處理大量數據的重復性分析任務所花費的時間來看，機器學習能顯著提高效率，使分析人員更高效、更嚴謹，并能更好地從以前未開發的數據源中提取洞察力。這表明，對于需要大量人工審核相關數據的問題，陸軍領導應優先考慮將機器學習作為一種解決方案。

最后，這項研究揭示了機器學習的系統方法能夠對作戰級總部已有的大量數據進行標準化、客觀和長期的分析，從而增強其支持有效決策的潛力。在許多情況下，這些數據是戰爭中作戰和機構層面決策的最佳信息來源，但如果沒有機器學習，這些數據就只能以臨時和主觀的方式進行分析。

建議

首先，這項研究表明，陸軍應為各級指揮人員提供頻繁接觸機器學習的機會，讓他們熟悉人類如何利用這些能力作為軍事決策系統的一部分。

其次，本研究強調，陸軍應建立多樣化的機器學習團隊，以充分釋放這一能力的潛力。這些團隊應整合熟悉機器學習工具細節的作戰研究系統分析員、對特定作戰環境有第一手知識的操作員、了解可用數據以分析特定問題的分析員，以及能將機器分析轉化為對作戰決策有實際影響的指揮官。

本報告調查了對抗性機器學習 (AML)，即研究基于機器學習 (ML) 的人工智能系統弱點的研究方法。近年來，機器學習，尤其是深度學習 (DL)，在圖像分類、自然語言處理和自主代理等多個領域取得了快速進展。因此，深度學習在軍事環境中也很受關注。然而，隨著進步，人們對 AML 方法的興趣不斷增加，新的攻擊變體不斷發布。實際上，所有 DL 系統在某種程度上都容易受到影響，無論是混淆它們、避免被它們檢測到，還是提取它們可能持有的秘密信息。從軍事角度來看，重要的是要意識到這種利用的可能性，無論是針對自己的人工智能系統還是針對對手使用的系統。

該報告概述了AML研究，然后展示了針對不同類型人工智能系統的一系列攻擊方法：

• 圖像分類系統中毒，使軍用車輛避免被發現；
• 可以從大型生成模型中檢索秘密信息的提取攻擊；
• 對抗性策略攻擊，其中對手的行為方式使自主智能體感到困惑。

每個案例都描述和討論了攻擊并評估了實施。本報告的重點是攻擊。雖然在適用的情況下簡要討論了針對 AML方法的防御，但后續報告的主題是對AML防御的更深入研究。

關鍵詞：人工智能、機器學習、深度學習、深度神經網絡、欺騙、網絡攻擊、攻擊向量、漏洞、對抗樣本、數據中毒、數據提取、對抗策略

引言

深度學習 (DL) 的出現將智能計算機軟件的性能和能力帶入了新的性能水平。將基于 DL 的軟件嵌入軍事指揮、控制、通信、計算機、情報、監視和偵察 (C4ISR) 系統中，有可能徹底改變創建準確及時的共同作戰圖 (COP) 的能力，從而使軍事決策過程可以比以往任何時候都更快、更精確地執行。從長遠來看，深度學習還可以用于在遠遠超出人類能力范圍的復雜戰爭環境中制定軍事計劃。

然而，由深度神經網絡 (DNN) 實施的基于 DL 的軟件容易受到各種威脅或網絡攻擊。這些是在對抗性機器學習 (AML) 研究領域研究和開發的。這些攻擊可能被用來欺騙決策者、降低系統性能、降低最終用戶信任度，甚至從系統中提取（即逆向工程）敏感的軍事數據。圖 1.1 展示了一個典型的 AML 攻擊示例，其中目標是用于對圖像內容進行分類的 DNN。在這種情況下，DNN 能夠正確地識別出圖 1.1a 中的原始圖像包含一架戰斗機，幾乎是絕對確定的。圖 1.1b 中的惡意圖像是通過在原始圖像上應用 AML 技術創建的，能夠欺騙相同的 DNN 將輸入分類為西伯利亞雪橇犬而不是戰斗機。在這種情況下，攻擊是有效的，盡管人眼無法察覺。

圖 1.1 – 使用 AML 的樣本攻擊。在這種情況下，目標是由 DNN 表示的圖像分類系統。圖 1.1a 顯示 DNN 能夠以近乎完美的確定性將良性（非操縱）輸入正確分類為戰斗機。圖 1.1b 顯示了使用 AML 技術創建的經過處理的圖像。被操縱的圖像成功地欺騙了 DNN，將輸入分類為西伯利亞雪橇犬而不是戰斗機。

據我們所知，AML 尚未被對手或高級持續威脅 (APT) 參與者用來瞄準和攻擊嵌入在現實世界軍事系統中的基于 DL 的軟件。然而，研究團隊和安全專家不斷證明，針對依賴 DL 來實現尖端性能廣泛應用程序的攻擊是可能的 [1]。例如，小心地替換句子中的單詞可能會導致語言模型對情緒進行錯誤分類 [2]。自動駕駛汽車使用的交通標志和車道檢測系統可以通過分別在標志和道路上貼上標簽來攻擊 [3, 4]。轉錄服務可能會被注入精心設計的噪聲所誤導，迫使系統將語音轉換為任意文本 [5、6]。因此，假設基于 DL 的軟件將在未來的 C4ISR 支持系統中普遍使用，預計對手和 APT 最終將利用這些漏洞來欺騙、拒絕訪問或收集情報。

1.1 目標與范圍

本報告的目標是：(1) 概述迄今為止 AML 研究領域中已確定的攻擊向量，(2) 根據經驗估計這些攻擊的子集在軍事環境中的有效性，以及最后 (3) 提供見解并討論 AML 在何種程度上是深度學習在現實世界軍事應用中的現實和嚴重威脅。

盡管 AML 適用于任何基于 ML 的系統和算法，但本報告重點關注基于 DL 的 ML 系統。此外，本報告將重點關注攻擊。在 AML 研究領域提出和開發的防御機制將在未來的工作中涵蓋。最后，我們將范圍限制在與指揮和控制 (C2)、情報、監視和偵察相關的 DL 應用。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發軍事系統的人員，這些系統使用或嵌入了 AI、ML 和 DL 技術。

1.3 閱讀說明

本報告假定讀者具有有關 ML 和 DL 概念的基本知識，例如監督學習、強化學習、損失函數、梯度下降和反向傳播。

1.4 提綱

第 2 章介紹了 AML，并介紹了用于對本報告中的攻擊進行分類和比較的分類法。第 3 章介紹了從軍事角度來看可能具有相關性的已知攻擊方法的三個案例研究。實施和評估這些方法。第 4 章總結了報告，討論了 AML 在現實世界中的適用性，包括在軍事領域。

案例研究

本章提供了三個案例研究，探討了針對基于ML的系統的不同類型攻擊。在每種情況下，從AML文獻中選擇一種攻擊方法，并從軍事角度實現或測試。評估了攻擊的有效性，然后討論了實際考慮因素。選擇這三個案例研究是因為它們與軍事領域的潛在相關性，涵蓋了廣泛的攻擊，并說明了各種ML應用和方法。

第一章以欺騙深度神經網絡將戰斗機圖像誤認為是狗的例子開始。雖然將軍事裝備隱藏在顯眼的地方有明顯的吸引力，但介紹性的例子是高度理想化的。實際應用面臨的一個障礙是，攻擊僅限于數字領域:操作是在數字圖像本身上進行的，也就是說，在戰斗機被拍攝后的一個階段。如果圖像是由對手創建的(例如，飛機是由監視攝像機拍攝的)，那么操縱圖像將需要深入訪問敵人的系統。這是不太可能的(如果是，更簡單和更健壯的攻擊變得可行，例如消除圖像或阻止其記錄)。此外，雖然關于目標深度神經網絡的黑盒知識足以計算所需的圖像修改(例如，觀察分類標簽結果[18])，但在實踐中，即使是這種知識也無法預期。

因此，第3.1節中的第一個案例研究調查了數據中毒。這種攻擊的目的與前面的示例相同:通過欺騙敵人的DNN，使其對車輛進行錯誤分類，從而使軍用車輛(在本例中為坦克)逃避檢測。盡管方法也很相似，但是中毒攻擊解決了介紹性示例的實際缺點。

圖3.2 -僅使用正確標記的訓練圖像和直到測試時間才顯示的隱藏觸發器的數據中毒攻擊。在這個圖中，所有打補丁的坦克圖像都用紅色標出，而所有中毒的汽車圖像都用黃色標出。

第3.2節將范圍擴展到通過數據提取對語言模型的攻擊。語言模型是在廣泛的文本語料庫(通常是數十億個單詞)上訓練的非常大的dnn，在某種意義上能夠“理解”(書面)語言。它們引起了自然語言處理的范式變化，在許多任務中設定了新的基準[26]，并因其生成文本的能力而獲得了媒體的廣泛關注[27]。事實上，即使在編寫本報告期間，也取得了顯著的進展，例如，ChatGPT系統的提出。語言模型正在不斷接近人類的自然語言處理水平，它們對社會幾乎所有方面的潛在影響和后果，包括軍事應用，目前很難預測。除了機會之外，它們也帶來了風險，例如，它們可能會將敏感信息暴露給對手。第3.2節中的案例研究調查了這種形式的對抗性提取攻擊的可行性。

圖3.5 -兩種語言模型的微調過程，展示了數據和最終的微調模型之間的細微差異(左為FTorig，右為FTpatch)。請注意，Dpatch的補丁文章約占CC新聞數據集總數的24%，即剩余的76%與未修改的數據集相同。

第3.3節研究了對通過強化學習訓練的模型的攻擊。這種模型通常用于無人駕駛車輛、機器人、游戲等領域的自主智能體。它們不是在一組固定的例子上以監督的方式訓練的。相反，智能體用一個獎勵函數來評估它的情況，并選擇一個獎勵最大化的行動過程。雖然這種操作模式為智能體提供了處理現實世界的靈活性和彈性，但它們仍然容易受到攻擊和欺騙，正如本案例研究將在基于強化學習的各種系統上展示的那樣。

圖3.10 -來自[51]的四個零和模擬機器人博弈的示例，用于評估對抗性策略[49]。

圖3.11 -“你不能通過”的博弈序列，敵對的對手(紅色)應該阻礙受害者(藍色)到達終點線。上面的四個數字顯示了一個普通的智能體是如何鏟斷對手的。下面的四個圖形顯示了敵對的對手如何使受害者在沒有任何接觸的情況下摔倒在地[49]。

本研究結論

對抗性機器學習在科學界引起了越來越大的興趣，每天都有關于新的攻擊變體的論文發表。幾乎任何形式的機器學習都容易受到某種類型的AML的影響，正如本報告通過攻擊方法的示例所證明的那樣。隨著越來越多的應用程序采用深度學習，攻擊的機會和潛在的回報也在增加。例如，圖像識別模型正以某種形式用于與敵方相關的情況，無論是民用還是軍用:機場和體育場開始采用人臉識別以各種原因拒絕個人進入[58]，為上述個人應用AML來逃避系統提供了動機。軍用車輛在衛星圖像上的自動探測已經研究了幾十年，避免敵方衛星的這種探測顯然是任何軍隊都感興趣的。

然而，這些攻擊在很大程度上仍停留在學術界的實驗階段。已知很少有針對實際部署的深度學習系統的真正攻擊發生，也就是說，沒有得到深度學習系統操作員的同意，并且目標不僅僅是測試攻擊方法的可行性。可能的原因有很多:這種攻擊可能很少見，因為它們很難執行，或者潛在的目標還不多。攻擊可能很難被注意到(可以說逃避攻擊的主要目的是不被注意到)。攻擊者不太可能公布成功的攻擊，甚至受害者也可能認為保持沉默而不是進一步暴露自己的弱點是明智的。

盡管如此，一些攻擊已經傳播到公眾。Stable Diffusion[59]、DALL·e2[60]和Midjourney等生成圖像模型可以基于文本提示創建圖形。這使得他們在社交媒體上很受歡迎，但也引發了藝術家們的批評，他們懷疑他們的作品被用作訓練數據。2023年2月，媒體公司Getty Images對Stability AI提起訴訟，指控其未經許可使用Getty目錄中的受版權保護的庫存圖像訓練其Stable Diffusion模型。通過對Stable Diffusion的提取方法獲取證據，發現AI系統生成的圖像與Getty擁有的圖像具有很高的相似性，包括該公司的水印[61]。

針對語言模型的快速攻擊是一種更有趣的攻擊，仍然受到媒體的廣泛關注。這種類型的攻擊是一種簡單的提取變體，其目標不是訓練數據，而是隱藏的輸入指令。對于像ChatGPT這樣的大型語言模型，操作人員可能希望在沒有任何微調階段的情況下快速調整模型以適應某些應用程序。相反，對話只是在語言模型的文本指令之前，這些指令會影響它在與用戶對話過程中的行為，例如模型應該使用什么名稱，以及要展示什么樣的個性。這些指令通常不會顯示給語言模型的用戶，但好奇的用戶已經能夠讓模型暴露它們，例如通過告訴模型“忽略之前的指令”，從而覆蓋任何隱藏的指令，而不顯示隱藏的指令，然后問“上面文檔開頭寫了什么?”“[62]

這種由人群發起的攻擊雖然相對溫和，但表明評估人工智能系統對“AML”方法的穩健性很困難，更不用說實際防御它們了。這兩個挑戰都將成為該項目的未來報告的主題。

然而，從攻擊者的角度來看，情況可能至少同樣困難。很少有人工智能系統像上面的模型一樣具有公共接口，可以進行實驗。在防御環境中，攻擊者通常只有有限的機會研究目標系統，而傳統障礙(網絡安全和物理安全)可能構成與各種AML方法固有困難一樣多的挑戰。3.1節中描述的投毒攻擊是一種旨在繞過安全措施的方法，利用訓練數據的稀缺性誘使對手自己投毒他們的系統。未來的攻擊也有可能將AML與更傳統的方法(例如社會工程)結合起來。

隨著人工智能的日益普及，對攻擊方法的研究必然會增加。隨著人工智能使用的增加，對這一新領域的持續警惕和研究對于識別新出現的機會至關重要，但也要意識到自身的脆弱性。

美國戰略家認為，人工智能(AI)有可能實現更好、更快的決策，這在未來的軍事沖突中是決定性的。機器學習應用將越來越多地影響政治和軍事領導人對戰略環境的看法，權衡風險和選擇，并判斷他們的對手。但是，將關鍵的人類決策過程暴露在人工智能系統的中會有什么風險？

要獲得人工智能在決策方面的優勢，首先需要了解其局限性和陷阱。人工智能系統根據數據模式進行預測。總是有一些意外行為或失敗的機會。現有的工具和技術試圖使人工智能對失敗更加穩健，往往會導致性能上的權衡，解決了一個問題，但可能會使另一個問題惡化。人們對人工智能的脆弱性和缺陷的認識不斷提高，但也需要在現實的部署背景下對技術故障的潛在后果進行更深入的分析。

本簡報研究了直接或間接影響決策的人工智能系統故障如何與戰略壓力和人為因素相互作用，從而引發危機或沖突的升級：

• 納入人工智能的進攻行動或干擾對手的人工智能系統可能導致不可預見的系統故障和連帶效應，引發意外的升級。
• 不安全的、訓練不足的或應用于錯誤類型問題的人工智能系統可能為決策過程注入不良信息，導致意外升級。
• 發現人工智能系統被破壞，可能會對關鍵能力的可靠性或生存能力產生不確定性，如果沖突似乎迫在眉睫，會促使決策者故意升級。

這些情景揭示了一個核心困境：決策者希望使用人工智能來減少不確定性，特別是當涉及到他們對戰場的認識，了解對手的意圖和能力，或了解他們自己抵御攻擊的能力。但通過依賴人工智能，他們在人工智能系統技術故障的可能性和后果方面引入了一個新的不確定性來源。

有效利用人工智能需要以一種有謹慎的和有風險的方式來平衡優勢與局限。沒有辦法保證概率性人工智能系統會完全按照預期行為，也沒有辦法保證它能給出正確的答案。然而，軍隊可以設計人工智能系統和依賴它們的決策過程，以減少人工智能失敗的可能性并控制其后果，包括通過：

• 為決策環境中使用的人工智能系統定義一套特定的任務屬性、標準和要求，如信任度量和保障措施，以檢測妥協或突發屬性。
• 規定人工智能在決策中的使用，將人工智能應用于非常適合的狹窄問題，同時保留人類判斷問題，如解釋對手的意圖；并考慮在某些領域完全排除人工智能。
• 盡可能地讓高級決策者參與他們所依賴的系統的開發、測試和評估過程，并讓他們了解人工智能的優勢和缺陷，以便他們能夠識別系統的故障。

美國應繼續帶頭制定負責任地開發和使用人工智能的全球標準，采取步驟展示某些可靠性，并盡可能地鼓勵其他國家采取類似的預防措施：

• 澄清為限制支持決策的人工智能系統的風險而實施的做法和保障措施。
• 開展國際合作，制定互利的技術保障措施和最佳做法，以減少人工智能災難性故障的風險。
• 承諾在使用包含人工智能能力的進攻性行動和針對人工智能系統的行動時保持克制，因為這些行動存在重大升級風險。

人工智能為我們提供了自動化任務的能力，從海量數據中提取信息，并合成幾乎與真實事物無異的媒體。然而，積極的工具也可以被用于消極的目的。特別是，網絡對手可以利用人工智能來加強他們的攻擊和擴大他們的活動。雖然攻擊性人工智能在過去已經被討論過，但有必要在組織的背景下分析和理解這種威脅。例如，一個具有人工智能能力的對手是如何影響網絡殺傷鏈的？人工智能是否比防御者更有利于攻擊者？今天組織面臨的最重要的人工智能威脅是什么，它們對未來的影響是什么？在這項研究中，我們探討了攻擊性人工智能對組織的威脅。首先，我們介紹了背景，并討論了人工智能如何改變對手的方法、策略、目標和整體攻擊模式。然后，通過文獻回顧，我們確定了32種攻擊性人工智能能力，對手可以利用這些能力來加強他們的攻擊。最后，通過橫跨工業界、政府和學術界的小組調查，我們對人工智能威脅進行了排名，并提供了對攻擊者的洞察力。

引言

幾十年來，包括政府機構、醫院和金融機構在內的組織一直是網絡攻擊的目標[1, 2, 3]。這些網絡攻擊都是由有經驗的黑客使用人工方法進行的。近年來，人工智能（AI）的發展蓬勃發展，這使得軟件工具的創造有助于實現預測、信息檢索和媒體合成等任務的自動化。在整個這一時期，學術界和工業界的成員在改善網絡防御[4, 5, 6]和威脅分析[7, 8, 9]的情況下利用了人工智能。然而，人工智能是一把雙刃劍，攻擊者可以利用它來改善他們的惡意活動。

因此，我們將攻擊性人工智能定義為：“使用或濫用人工智能來完成惡意的任務”。

對人工智能的攻擊性使用。敵人可以改進他們的戰術，發動以前不可能的攻擊。例如，通過深度學習，人們可以通過冒充其雇主的臉和聲音來進行高效的魚叉式網絡釣魚攻擊[10, 11]。還可以通過使攻擊在沒有人類監督和幫助的情況下進行（使其自動進行）來提高攻擊的隱蔽能力。例如，如果惡意軟件可以自行對網絡中的主機進行漸進式感染（又稱橫向移動），那么這將減少指揮和控制（C&C）通信[12, 13]。其他能力包括使用人工智能尋找軟件中的零日漏洞，自動進行逆向工程，有效地利用側面渠道，建立逼真的假人物，并進行更多的惡意活動，提高功效（更多的例子將在后面第3節中介紹）。

對人工智能的攻擊性濫用。對抗性機器學習是對人工智能的安全漏洞的研究。已經證明，對手可以通過制作訓練樣本來改變模型的功能，例如插入后門[14]，通過操縱測試樣本（例如逃避檢測）來獲得所需的分類[15]，甚至推斷出模型[16]或其訓練數據的機密信息[17]。由于組織使用人工智能來自動管理、維護、操作和防御他們的系統和服務，因此敵方可以通過在這些系統上使用機器學習來完成他們的惡意目標。 我們注意到，有些攻擊是可以不使用或濫用人工智能而實現的。然而，如果攻擊者使用人工智能使其自動或半自動運行，他們可以大大減少執行攻擊所需的工作。通過減少他們在創建有效策略方面的工作，攻擊者可以通過擴大攻擊的強度和數量來最大化他們的回報。此外，通過在攻擊鏈的幾個階段同時行動，攻擊者可以在攻擊的速度和力量上實現協同效應，變得更加危險。另一方面，一些攻擊已經被人工智能實現，例如在復雜的社會工程攻擊中克隆個人的聲音[18]。

1.1 研究綜述

在這項工作中，我們對企業安全背景下的攻擊性人工智能知識進行了研究。本文的目標是幫助行業界（1）更好地了解攻擊性人工智能對組織的當前影響，（2）優先研究和開發防御性解決方案，以及（3）確定在不久的將來可能出現的趨勢。這項工作并不是第一次提高對攻擊性人工智能的認識。在[19]中，作者警告行業界，人工智能可以被用于不道德的和犯罪的目的，并列舉了來自不同領域的例子。在[20]中，舉行了一個研討會，試圖確定人工智能在犯罪學中的潛在首要威脅。然而，這兩項工作都涉及到了人工智能對社會整體的威脅，而不是專門針對組織及其網絡。此外，盡管他們做出了大量工作并取得了初步成果，但這些先前的分析只提供了人工智能如何被用于攻擊的例子以及對其風險的可能排序，而我們的研究通過用于識別針對組織的潛在攻擊策略的標準方法，給出了攻擊性人工智能的結構化觀點，得出了與防御這些威脅有關的戰略見解。

為了實現這些目標，我們進行了一次文獻回顧，以確定具有人工智能能力的對手能力。然后我們進行了一項小組調查，以確定這些能力中哪些代表了實踐中最相關的威脅。有35名調查參與者：16名來自學術界，19名來自工業界。來自工業界的參與者來自廣泛的組織，如MITRE、IBM、微軟、谷歌、空中客車、博世、富士通、日立和華為。

從我們的文獻回顧中，我們發現了32種針對組織的攻擊性人工智能能力。我們的小組調查顯示，最重要的威脅是改善社會工程攻擊的能力（例如，使用深層假象來克隆員工的聲音）。我們還發現，行業成員最關心的是使攻擊者能夠竊取知識產權和檢測其軟件中的漏洞的攻擊。最后，我們還發現，現代攻擊性人工智能主要影響網絡殺傷鏈的初始步驟（偵查、資源開發和初始訪問）。這是因為人工智能技術還不夠成熟，無法創造出能夠在沒有人類監督和幫助下進行攻擊的智能體。我們的研究結果的完整清單可以在第5.1節找到。

1.2 本文貢獻

在這項研究中，我們做出了以下貢獻：

• 概述了人工智能如何被用來攻擊組織及其對網絡殺傷鏈的影響（第2.3節）。
• 根據文獻回顧和當前事件，列舉和描述了32種威脅組織的攻擊性人工智能能力（第3節）。這些能力可分為：（1）自動化，（2）活動彈性，（3）憑證盜竊，（4）漏洞開發，（5）信息收集，（6）社會工程，以及（7）隱身。
• 根據對來自學術界、工業界和政府的成員進行的小組調查，對攻擊性人工智能如何影響組織提出了威脅排名和見解（第4節）。
• 對人工智能威脅的預測以及由此產生的攻擊策略的轉變（第5節）。

1.3 文章結構

本文的結構如下：

• 第2節為讀者提供了關于對理解文獻綜述很重要的主題入門知識。該部分介紹了關于人工智能、攻擊性人工智能的概念，以及攻擊性人工智能如何影響組織的安全。
• 第3節提供了在組織安全背景下的攻擊性人工智能的文獻回顧。
• 第4節介紹了一項小組調查的結果，以幫助確定攻擊性人工智能對組織的最小和最重要的威脅。
• 第5節總結了研究發現，并提供了對問題的看法。

圖 1：文獻綜述中確定的 32 種進攻性 AI 能力 (OAC)。

美國仍然是世界上最突出的軍事和技術力量。在過去十年中，美國認識到人工智能作為力量倍增器的潛力，越來越多地將人工智能（AI）的熟練程度視為美國重要利益和保證美國軍事和經濟實力的機制。特別是，在過去十年中，人工智能已成為美國國防的一項關鍵能力，特別是考慮到2022年美國國防戰略對印度-太平洋地區的關注。

因此，美國國防部（DoD）（以及美國政府和國防機構總體上）對人工智能和相關新興技術表現出越來越大的熱情。然而，雖然美國目前在學術界和私營部門的人工智能研究和開發方面取得了巨大進展，但國防部尚未在廣泛范圍內成功地將商業人工智能的發展轉化為真正的軍事能力。

美國政府在利用國防人工智能和人工智能支持的系統方面通常處于有利地位。然而，在過去的幾年里，各種官僚主義、組織和程序上的障礙減緩了國防部在國防人工智能采用和基于技術的創新方面的進展。最關鍵的是，國防部遭受了復雜的收購過程和廣泛的數據、STEM和AI人才和培訓的短缺。從事人工智能和人工智能相關技術和項目的組織往往是孤立的，而且還存在必要的數據和其他資源相互分離。在美國防部內部存在一種傾向于可靠方法和系統的文化，有時趨向于勒德主義。所有這些因素都導致了人工智能采用的速度出奇的緩慢。美國家安全委員會2021年提交給國會的最終報告總結說，"盡管有令人興奮的實驗和一些小型的人工智能項目，但美國政府離人工智能就緒還有很長的路要走"。

因此，盡管人工智能有可能增強美國的國家安全并成為一個優勢領域，而且鑒于美國在軍事、創新和技術領導方面的長期傳統，人工智能有可能成為一個薄弱點，擴大 "美國已經進入的脆弱窗口"。 如果美國不加快創新步伐，達到負責任的速度，并奠定必要的制度基礎，以支持一支精通人工智能的軍隊，人工智能將繼續成為一個不安全點。

去年，美國防部在這些挑戰中的一些方面取得了進展，調整了國防人工智能的方法。2022年6月，美國防部發布了《負責任人工智能戰略和實施途徑》，將更有數據依據的、負責任的、可操作的人工智能工作列為優先事項，此后開始執行。最重要的是，美國防部已經啟動了對其人工智能組織結構的重大改革，創建了一個新的首席數字和人工智能辦公室（CDAO），以整合其不同的人工智能項目和利益相關者，并使其與該部門的數據流更好地協調。值得注意的是，美國國防部目前正在對其國防人工智能的整體方法進行重大變革和振興。然而，這些新的人工智能努力是否足以讓美國彌補失去的時間，還有待觀察。

自主系統將塑造戰爭的未來。因此，土耳其的國防人工智能（AI）發展主要側重于提高自主系統、傳感器和決策支持系統的能力。提高自主系統的情報收集和作戰能力，以及實現蜂群作戰，是發展國防人工智能的優先事項。雖然土耳其加強了自主系統的能力，但在可預見的未來，人類仍將是決策的關鍵。

人類參與決策過程提出了一個重要問題：如何有效確保人機互動？目前，自主系統的快速發展和部署使人機互動的問題更加惡化。正如土耳其國防工業代表所爭論的那樣，讓機器相互交談比較容易，但將人類加入其中卻非常困難，因為現有的結構并不適合有效的人機互動。此外，人們認為，人工智能對決策系統的增強將有助于人類做出更快的決定，并緩解人機互動。

土耳其發展人工智能的意圖和計劃可以從官方戰略文件以及研發焦點小組報告中找到。突出的文件包括以下內容：

• 第11個發展計劃，其中規定了土耳其的經濟發展目標和關鍵技術投資。

• 《2021-2025年國家人工智能戰略》，它為土耳其的人工智能發展制定了框架。

• 焦點技術網絡（Odak Teknoloji A??，OTA?）報告，為特定的國防技術制定了技術路線圖。這些文件提供了關于土耳其如何對待人工智能、國防人工智能和相關技術的見解。

土耳其特別關注人工智能相關技術，如機器學習、計算機視覺和自然語言處理，其應用重點是自主車輛和機器人技術。自2011年以來，自主系統，主要是無人駕駛飛行器（UAV），仍然是土耳其人工智能發展的重點。此后，這已擴大到包括所有類型的無機組人員的車輛。同時，用人工智能來增強這些車輛的能力也越來越受到重視。人工智能和相關技術的交織發展構成了土耳其人工智能生態系統的核心。

土耳其的人工智能生態系統剛剛起步，但正在成長。截至2022年10月，有254家人工智能初創企業被列入土耳其人工智能倡議（TRAI）數據庫。土耳其旨在通過各種生態系統倡議在其國防和民用產業、學術機構和政府之間創造協同效應。由于許多組織都參與其中，這些倡議導致了重復和冗余。冗余也來自于人工智能技術本身的性質。由于人工智能是一種通用技術，可以應用于不同的環境，各種公司都有用于民用和國防部門的產品；因此相同的公司參與了不同的生態系統倡議。此外，民用公司與國防公司合作，在國防人工智能研究中合作，并提供產品，這是司空見慣的。

土耳其鼓勵國際人工智能在民用領域的合作，但不鼓勵在國防領域的合作。然而，由于技能是可轉移的，國防人工智能間接地從這種合作中受益。

土耳其非常關注自主系統發展中的互操作性問題，特別是那些具有群集能力的系統。除了蜂群，北約盟國的互操作性也是一個重要問題。因此，土耳其認為北約標準在發展自主系統和基礎技術方面至關重要。

土耳其目前對人工智能采取了分布式的組織方式。每個政府機構都設立了自己的人工智能組織，職責重疊。目前，盡管國防工業局（Savunma Sanayi Ba?kanl???，SSB）還沒有建立專門的人工智能組織，但SSB的研發部管理一些人工智能項目，而SSB的無人駕駛和智能系統部管理平臺級項目。目前，根據現有信息，還不清楚這些組織結構如何實現國防創新或組織改革。

土耳其尋求增加其在人工智能方面的研發支出，旨在增加就業和發展生態系統。SSB將在未來授予更多基于人工智能的項目，并愿意購買更多的自主系統，鼓勵研發支出的上升趨勢。然而，盡管土耳其希望增加支出，但金融危機可能會阻礙目前的努力。

培訓和管理一支熟練的勞動力對于建立土耳其正在尋找的本土人工智能開發能力至關重要。這包括兩個部分。首先是培養能夠開發和生產國防人工智能的人力資源。因此，土耳其正在投資于新的大學課程、研究人員培訓、開源平臺和就業，同時支持技術競賽。第二是培訓將使用國防人工智能的軍事人員。國防人工智能也正在慢慢成為土耳其武裝部隊（Türk Silahl? Kuvvetleri，TSK）培訓活動的一部分。目前，關于土耳其打算如何培訓軍事人員使用國防人工智能的公開信息非常少。

人工智能（AI）領域的不斷進步以及在關鍵部門整合AI系統的工作正在逐步改變社會的各個方面，包括國防部門。盡管人工智能的進步為增強人類能力和改善各種決策提供了前所未有的機會，但它們也帶來了重大的法律、安全、安保和倫理問題。因此，為了確保人工智能系統的開發和使用是合法的、道德的、安全的、有保障的和負責任的，政府和政府間組織正在制定一系列規范性文書。這種方法被廣泛稱為 "負責任的人工智能"，或道德的或值得信賴的人工智能。目前，負責任的人工智能最引人注目的方法是開發和運作負責任或道德的人工智能原則。

聯合國裁研所的 "在國防中實現負責任的人工智能 "項目首先尋求對負責任的人工智能系統的研究、設計、開發、部署和使用的關鍵方面建立共同的理解。然后，它將審查負責任的人工智能在國防部門的運作情況，包括確定和促進良好做法的交流。該項目有三個主要目標。首先，它旨在鼓勵各國采用和實施能夠在開發和使用人工智能系統中實現負責任行為的工具。它還試圖幫助提高透明度，促進國家和其他關鍵人工智能行為者之間的信任。最后，該項目旨在建立對負責任的人工智能關鍵要素的共同理解，以及如何將其付諸實施，這可以為制定國際公認的治理框架提供參考。

本研究簡報概述了該項目的目標。它還概述了項目第一階段的研究方法和初步結果：制定共同的原則分類法和對各國采用的人工智能原則進行比較分析。

人工智能已經使用了幾十年。它已經被部署在有人駕駛的編隊中，并將在未來幾年內繼續被用于軍事。目前的戰略和作戰概念要求在整個國防企業中增加使用人工智能能力，從高級領導人到戰術邊緣。不幸的是，人工智能和它們所支持的戰士不會 "開箱即用"地兼容。簡單地將人工智能植入人類團隊并不能確保成功。美國防部必須仔細注意如何將人工智能與人類一起部署。這在團隊中尤其如此，因為團隊的結構和成員的行為可以決定業績的好壞。由于人類和機器的工作方式不同，團隊的設計應該利用每個伙伴的優勢。團隊設計應該考慮到機器伙伴的固有優勢，并利用它們來彌補人類的弱點。這項研究通過提交新的概念模型，捕捉人類和機器在人機合作結構中運作時的理想團隊行為，對知識體系做出了貢獻。這些模型可以為人機團隊的設計提供信息，從而提高團隊的績效和敏捷性。

圖1 智能自主系統技術框架

圖3 美國人工智能相關戰略

引言

核導彈發射被探測到。那是1960年10月5日，北約正處于最高級別的警戒狀態。以99.9%的準確率，來襲的蘇聯彈道導彈被格陵蘭島的預警系統探測到。值得慶幸的是，北約的報復行動被制止了，操作人員發現，"智能 "系統正在跟蹤上升的月亮（Singer，2009）。自然，這并不是唯一一次世界幾乎在人工智能（AI）引起的核交換中喪生。1983年9月26日，蘇聯的彼得羅夫中校發現自己是莫斯科附近Serpukhov15掩體內的值班人員。在太空中運行的蘇聯Oko預警衛星系統完全肯定地報告說，多枚導彈正在前往莫斯科的路上。問題是，奧科系統把從云頂反射的陽光誤認為是美國的一系列導彈發射（Scharre，2018）。解讀其系統的局限性，并將事件置于背景中，操作人員能夠防止災難的發生。當然，這些極端案例是少見的，對于今天的人工智能，我們沒有那么依賴人類的判斷，對嗎？不幸的是，不盡然。人類和人工智能（AI）的工作方式不同，所以像美國防部（DOD）這樣的組織在將人工智能系統插入操作團隊時，需要非常慎重。

B 研究問題、方法和路徑

1 研究問題

本研究試圖回答以下問題：

• 成為隊友意味著什么？
• 機器如何在團隊中與人類成為伙伴？
• 將機器伙伴融入以前的人與人之間的團隊，如何提高團隊的敏捷性？
• 能否用共享的團隊心理模型或互動的團隊認知方法更好地理解機器伙伴？

2 方法

將對文獻進行詳盡的回顧，并對兩個適用的案例研究進行分析。這項研究的目標是產生一個人機協作的概念模型，并提供有關人機團隊內部溝通的背景性、現實世界的知識。鑒于目前可用的基于實驗室的人機協作實驗數量有限，本研究將檢查數據以確定廣泛的主題和模式。

人類團隊和人類團隊動態的性質已經得到了廣泛的研究。這一領域的文獻有豐富的發現，可以提供關于人與人團隊動態的細節；然而，關于機器融入人與人團隊的文章卻很少。隨著機器伙伴被納入傳統意義上的人類團隊，就需要對人機團隊進行研究。本研究將首先描述人工智能的特點及其對戰爭的預期影響。將提供關于機器-機器團隊的現有文獻分析，然后是人類認知和人-人團隊的更多發展主題。這項研究在描述人機團隊的通信、協調和互動動態之前，將對人機團隊進行特征描述。然后，作者將展示這些動態如何與團隊敏捷性和績效的概念相聯系。

3 研究目的

本研究目的是探索人機團隊中的溝通、協調和互動動態，并闡述它們對團隊敏捷性和績效的潛在影響。隨著人機團隊結構在DON中變得越來越普遍，這種探索對于發展對團隊動態的理解是必要的。這項研究將產生人機團隊的概念模型，可以為未來系統的設計提供參考。這項研究的結果可以幫助美海軍軍部更好地理解將狹義的人工智能能力整合到團隊構建中的影響。這種知識將最終使美國防部能夠應用研究結果來提高人機團隊的敏捷性。

提綱

• 第2章 美海軍部人工智能戰略分析
• 第3章 編隊理論綜述
• 第4章 指揮與控制概念及條令綜述
• 第5章 對人工智能理論、能力和局限性的綜述
• 第6章 人機編隊
• 第7章 方法論
• 第8章 分析
• 第9章 未來工作總結