將人工智能(AI)融入軍事作戰決策過程(MCDMP)已引起眾多國家和國際組織的關注。本論文探討了軍事決策的復雜領域,其特點往往是高風險情況和時間限制,這可能導致認知偏差和啟發式錯誤。在需要做出關鍵決策的流程中添加新技術,需要人類操作員做出某些調整和采取某些方法。鑒于所做決定的人道主義影響,人工智能的整合必須謹慎進行,解決潛在的阻礙因素,以確保負責任地使用這些技術。其中一些因素圍繞著人類與人工智能的合作,特別是對技術的接受程度,這可能會影響技術的使用和發展,正如文獻所指出的那樣。我們的研究將采用多方面的定性方法,結合學術文獻綜述、對具有人工智能知識的軍事科學專家的訪談以及對軍事人員的訪談,全面了解專家和軍事人員對人工智能作為決策支持系統(DSS)的印象。
這項研究提高了人們對認知結構在促進人類與人工智能合作中的重要性的認識,并揭示了軍事作戰決策者目前對使用人工智能技術輔助決策的看法。我們的目標是為正在進行的有關將人工智能作為決策支持系統整合到軍事行動中的挑戰和機遇的討論做出貢獻。我們將提供有助于在高風險環境中更明智、更有效地采用人工智能技術的見解。通過技術接受模型(TAM)和技術框架理論,我們揭示了感知、假設、期望和信任這些影響人工智能作為決策支持系統接受程度的因素。因此,通過負責任地使用人工智能工具,可以提高軍事作戰決策的有效性。
關鍵詞:軍事作戰決策過程(MCDMP)、人工智能(AI)、人-AI 合作、假設、期望、信任、認知、新技術接受、AI 應用中的挑戰、AI 在軍事中、AI 在決策中的應用
隨后的一章建立了理論框架,全面概述了將人工智能納入 MCDMP 的現狀,并討論了人工智能和軍事決策過程等相關概念。它還介紹了重要的技術接受模型、技術框架和TAM,并討論了與模型相關的概念:感知、假設、期望和信任。第三章詳細介紹了研究方法,包括定性方法、選擇標準以及數據收集和分析方法。其中包括半結構式訪談、數據分析技術、有效性和可靠性的衡量標準,以及倫理方面的考慮。第四章對收集到的數據進行分析和討論。我們將揭示和討論來自文獻和訪談的研究結果,從人工智能在 MCDMP 中的整合現狀入手,將研究結果分為以下幾類:(1)感知有用性;(2)感知易用性;(3)期望和假設;(4)信任和可信度。此外,我們還將回答研究問題。最后,第五章將對研究進行反思,總結主要發現、研究貢獻以及對進一步研究和行業行動的建議。
圖 3:軍事戰斗決策過程中人工智能整合程度的簡化模型
人工智能(AI)有可能在社會、經濟和政策的各個方面帶來變革,包括國防和安全。英國希望成為在民用和商業應用領域推廣人工智能以及負責任地發展國防人工智能的領頭羊。這就要求對與人工智能軍事應用相關的新出現的風險和機遇,以及英國如何與其他國家開展最佳合作以減輕或利用這些風險和機遇,有一個清晰而細致的認識。
2024 年 3 月,英國國防部(MOD)國防人工智能與自主單元(DAU)和外交、聯邦與發展辦公室(FCDO)聯合委托蘭德歐洲公司(RAND Europe)開展一項簡短的范圍界定研究。該研究的目的是初步探討人工智能在軍事上的應用可能在戰略層面產生風險和機遇的方式,因為迄今為止的大部分研究都集中在戰術層面或非軍事主題(如人工智能安全)上。后續工作將更詳細地探討這些問題,為英國在這些問題上的國際參與戰略提供信息。
本技術報告旨在為理解人工智能軍事應用所帶來的戰略風險和機遇設定一個基線。一份獨立的總結報告則側重于為決策者提供高層次的研究結果。
人工智能最好被理解為一套雙重用途的通用技術,以硬件為基礎,但以軟件為核心。與傳統軍事技術不同的是,它們高度民主化,擴散速度極快。創新是由商業用途的私營部門驅動的,而不是由政府或國防部門驅動的。對軍事應用和影響的集體認識正在提高,但起點較低。辯論往往優先考慮某些引人注目的問題,如致命自主武器系統(LAWS)或人工智能(AGI),而忽略了其他議題。它只關注戰術,而忽視戰略;只關注風險,而忽視機遇;或只關注軍事人工智能的直接后果,而忽視從長遠來看可能影響最大的二階和三階效應。
為了解決這個問題,國防部和國防和外交、聯邦與發展辦公室(FCDO)委托進行這項研究,以制定一個概念框架,規劃軍事人工智能帶來的戰略風險和機遇。
圖 0.1 框架:人工智能軍事應用的戰略風險與機遇
本報告詳細探討了許多風險和機遇,其中最緊迫的包括
信息操縱,如人工智能深度偽造,這不僅會引發政治、經濟和社會問題,還會在危機時刻影響軍事決策。
賦予非國家行為者挑戰國家軍隊主導地位的不對稱能力,或者在最壞的情況下,賦予他們新的大規模毀滅性工具(如生物武器)。
人工智能對對手之間攻防平衡、戰爭升級動態以及核威懾穩定性的相互影響。這些問題在超級大國競爭加劇的情況下,在世界已經在應對其他不安全因素(如烏克蘭、以色列-伊朗\移民、氣候變化等)的情況下,尤其令人擔憂。
與未來出現的任何人工智能相關的潛在災難性安全和安保風險。
在英國國內,還需要應對對國內政治和經濟產生破壞性影響的重大問題。這些問題決定了國防的目的和手段。在國外,人工智能同樣會對以規則為基礎的國際秩序的健康產生深遠影響,這取決于各國、工業界和民間社會是否以及如何有效地共同管理其影響。人工智能專家非常擔心,人工智能會在多大程度上使世界許多地方的平衡傾向于壓制性和獨裁的治理模式,同時有可能顛覆民主政治、污染信息環境和破壞社會的戰斗意志。
其中許多潛在風險也可能成為戰略優勢的機遇。人工智能的利弊平衡取決于各國如何快速有效地調整武裝部隊等機構,以利用人工智能的優勢。同樣,這也取決于各國政府如何在國際上施加影響,使全球軍事人工智能行為朝著符合本國利益和價值觀的方向發展。這就意味著各國政府要愿意進行重大投資、組織改革和文化變革,以改變國防部門對新技術的態度。
為了應對這些挑戰,各國必須緊急制定一項全面的行動計劃,考慮到人工智能技術進步、圍繞人工智能或通過人工智能進行的地緣政治競爭以及國際體系中圍繞人工智能不斷演變的規范之間復雜的相互作用。這應利用一套影響不同受眾的機制工具包,運用外交、信息、軍事和經濟(DIME)杠桿,匯集一套積極主動的行動方案:
這也應借鑒其他領域的經驗教訓--如本報告所述--以及最近關于人工智能的高級別倡議的勢頭。突出的例子包括布萊切利峰會、軍事領域負責任的人工智能(REAIM)峰會和《軍事人工智能政治宣言》。
表0.2塑造全球國防人工智能發展的機制工具包
工具包類別 | 優先行動手冊 |
---|---|
促進英國國防采用人工智能并從中獲益的機制 | 加快整個國防領域對人工智能的投資和采用,同時提高抵御惡意或意外濫用人工智能的能力 |
限制采用人工智能的機制和對手的利益 | 采取競選方式,限制、減緩或增加對手(國家或非國家)部署軍事人工智能的成本 |
形成新的軍事人工智能管理安排的機制 | 在提高對軍事人工智能風險的認識、發現問題和分享學習成果方面發揮領導作用;與主要盟國(如美國)和競爭對手制定透明度和建立信任措施,以降低升級風險;促進采用包容性和參與性方法,就人工智能軍事領域負責任的行為規范達成新的全球共識,為今后達成更強有力的具有約束力的協議做好準備;促進減少核和生物相關的人工智能緊急風險的小型多邊機制的平行發展;研究如何將人工智能納入核查和合規機制,反之亦然;隨著時間的推移,將當前零散的人工智能治理倡議整合為一個更加具體的架構 |
本論文認為,空軍因作戰原因而產生的網絡風險將造成深遠的戰略后果。通過對現有文獻的全面研究,論文強調了知識中的一個關鍵缺口,即未能繪制空中力量網絡風險的作戰原因與戰略后果之間的聯系圖,而這種風險一旦實現,將威脅到國家的作用,并在極端情況下威脅到國家的生存,從而對現有觀點提出了挑戰。本論文承認風險的突發性和情況的特殊性,即并非所有國家都依賴空中力量,而且風險的大小與嚴重程度成反比,但同時認為這些戰略后果的實現是 "何時 "的問題,而不是 "如果 "的問題。論文以風險管理框架為基礎,輔以文獻綜述和案例研究,提出了意見和建議,并為進一步研究提供了途徑,以降低空中力量的網絡風險。如果采納,學術界和從業人員將有機會協同行動,填補已確定的知識空白,并積極應對風險。反之,如果忽視并不遵循這一途徑,本文了預測,其影響將導致空中力量的網絡風險重塑 21 世紀地緣政治格局的無法緩解的戰略后果。
本論文認為,盡管空軍的網絡風險是由作戰原因造成的,但它將在戰略國家層面上產生失去作用或在極端情況下生存的后果。這一論斷建立在現有大量作戰和戰略層面的文獻基礎之上。然而,在研究這些文獻時,論文對當前的思維提出了挑戰,指出了由于未能描繪作戰和戰略層面之間的因果關系而造成的知識空白。如果學術界不理解并由實踐者管理這一知識空白,就會產生一種風險,即日漸成熟的運營原因將成為已確定的戰略后果的催化劑。
本論文通過詢問空軍網絡風險的作戰原因將如何產生戰略后果來強調這一風險,從而為采取緊急行動提出了明確的理由。論文的結論部分提出了意見和建議,為啟動這一行動、充分解決知識差距和實現實際發展提供了知識跳板。這篇論文的最終目的是激勵后續研究,推動取得進展,從而管理空中力量網絡風險的原因,減輕其后果,使其成為歷史的注腳。如果不能實現這一發展,論文警告說,風險將在知識的陰影下增長,并預測戰略影響將是嚴重的。在這種情況下,當作戰原因不可避免地成為空中力量的網絡風險時,那些依賴空中力量的國家將看到自己的社會角色甚至生存受到威脅。
為確保這些論點能夠深入展開,論文的第一部分首先通過對作戰和戰略文獻的概述介紹了這一主題,從而確認了已確定的知識差距。在此基礎上,第 1 部分通過定義網絡的總體概念和介紹指導研究的國際關系(IR)理論,完成了基礎性討論。
在此基礎上,第 2 部分的論文通過系統地探討以下三個已確定的原因,直面航空力量的網絡風險為何具有戰略性質的問題:具有全球作用或生存威脅的國家對航空力量的依賴、緊迫漏洞的識別以及可行威脅的出現。然后,這些原因造成的戰略后果將通過第 3 部分的一系列案例研究加以闡述,這些案例研究雖然側重于西方國家和結盟國,但被認為具有普遍意義。
論文最后在第 4 部分總結并提出了明確的意見和建議。正是在這些內容中,我們將確認知識上的差距,將知識的跳板具體化,并呼吁采取行動,以保護國家免受戰略后果的影響。
要引導這一討論,并以所需的嚴謹性得出這些結論,就必須采用強有力的方法。本論文的研究和實施都建立在基于風險管理的框架內。
在介紹了總體論點并概述了研究方法之后,論文將在第 1 部分確認知識差距并探討基本概念。在此基礎上,風險管理方法將在第 2 部分和第 3 部分中展開,然后在第 4 部分的結論、意見和建議中提供知識跳板。這一跳板如果得到利用,將彌補知識差距,確保空中力量的網絡風險不會成為 21 世紀的決定性因素。
本研究探討了如何將移動與機動這一在動能環境中行之有效的作戰功能應用到網絡領域。復雜的網絡應對措施,如屬于移動與機動(M&M)戰術的應對措施,可用于防御性網絡作戰(DCO),使網絡更加敏捷、靈活和堅固,以抵御攻擊。然而,由于此類網絡的靜態性質、對特定設備專業知識的需求以及進行網絡更改所需的人員組織協調,傳統能力使 M&M 戰術難以實施。
為解決這一問題,建議使用軟件定義網絡(SDN)來實施網絡移動和機動(網絡 M&M)行動。SDN 具有多種功能,有助于支持各種防御性網絡移動和機動戰術,如防火墻、節流、中間人、重定向和源隱藏。在這項工作中,利用 SDN 設備將數據包移動引導到一個單獨的設備,該設備可提供有針對性的網絡防御響應(機動)。為便于共享網絡 M&M,開發了一種經過修訂的開放式指揮與控制(OpenC2)SDN 方案,該方案特別適合網絡響應的需要。采用標準化模式的動機是以一種與設備無關的方式促進盟友之間的網絡響應通信。這項工作的成果已與技術合作計劃(TTCP)社區分享,作為網絡感知與執行(NWSE)活動的一部分。
圖 5:網絡 M&M 防御架構選項:上圖:直接驅動,中間:間接驅動,下圖:帶代理的間接驅動。
本文是研究指揮與控制(C2)未來表現形式的四篇系列論文中的第一篇。第一篇論文通過探討未來指揮與控制(C2)系統需要在其中運行的未來作戰環境,為后續研究設定了基線。具體來說,本文探討了復雜性的驅動因素、表現形式和影響,而此前的研究表明,復雜性很可能是這一環境的特征。為此,它討論了 C2 和復雜性等關鍵術語的定義;介紹了未來運行環境中復雜性的一些驅動因素,并討論了這些因素如何對 C2 系統和組織造成新的壓力;研究了分析和理解復雜性的可能方法;并概述了 2030 年代及以后可能產生的一些實際考慮因素。由于本文旨在為本系列的后續三篇論文提供資料,因此沒有全面涵蓋未來 C2 思考的所有方面,包括提出具體建議。
C2 沒有直截了當的定義,對于該術語在當代作戰環境中的范圍和相關性也存在爭議。對 C2 傳統定義的批判來自于對 21 世紀有效領導力構成要素的更廣泛質疑。在英國、美國和北約,最近出現了大量與 C2 相關的新術語,并將重點從聯合思維轉向多領域思維。我們的研究將 C2 定義為一個動態的、適應性強的社會技術系統,因此有必要考慮組織、技術和人力要素。
同樣,復雜性也沒有一個公認的定義。學術界對復雜性的研究日益增多,涉及多個科學學科,但缺乏統一的方法或理論框架。一個有用的出發點是區分簡單系統、復雜系統、復雜系統和復雜適應系統。文獻還描述了在這些條件下可能出現的所謂 "棘手"或 "超級棘手問題"。還可以對有限博弈和無限博弈進行重要區分--這是考慮作為復雜適應系統的國家間競爭時的一個有用視角。鑒于這些爭論,我們的研究避開了對復雜性的僵化定義,而是從其關鍵屬性的角度對這一現象進行了 DCDC 式的描述。
未來作戰環境的特征--以及國防 C2 系統和組織預計將執行的任務類型--具有很大的不確定性,因此任何預測都必須謹慎。盡管如此,文獻指出了各種政治、經濟、社會、技術、法律、環境和軍事(PESTLE-M)趨勢,預計這些趨勢將影響國際體系的演變,進而影響 2030 年及以后的國防行動。這些趨勢包括以下宏觀趨勢
最重要的是,沒有一個單一或主要的趨勢推動著變化或復雜性;相反,最令人擔憂的是多種因素的融合及其不可預測的相互作用。這種認識為進一步研究這些趨勢影響國際體系復雜性水平和特征的具體機制提供了基礎,從而為在這一領域開展工作的 C2 帶來了新的挑戰。
上述 PESTLE-M 趨勢為未來組織應對 C2 帶來了一系列困境和壓力,包括但不限于
此外,無論是理論家還是實踐者,在處理包含非線性動態的問題時,都缺乏有力的措施來衡量所做決定或采取的行動的有效性。因此,很難確切地說未來作戰環境中的復雜性是否在客觀上不斷增加(而不是以不同的形式出現),但對軍隊應處理的復雜任務的政治期望與當前 C2 方法的執行能力之間顯然存在巨大差距。當前的學術理論為決定如何在復雜環境中配置 C2 提供了一個方法工具包的初步輪廓和一些指導原則,但并沒有提供靈丹妙藥。該理論強調審議分析方法,即讓不同利益相關者參與共同設計、借鑒多學科和知識體系的見解,并在分析和決策過程中建立靈活性,以便根據反饋意見不斷迭代和改進的方法。
要應對復雜的自適應系統,就必須摒棄當前的線性 C2 流程和等級結構,盡管在處理非復雜任務和問題時,更傳統的方法可能仍然有用。在競爭激烈的世界中,英國既需要培養能夠對他人施加建設性影響的特性和能力(例如,將復雜性強加給對手的 C2),也需要培養能夠增強自身駕馭復雜性能力的特性和能力。
要影響敵對行動者的觀念、決策和行為,首先要深入了解其 C2 結構、流程和文化。根據這種了解,英國國防需要一套動能和非動能杠桿,對敵方的 C2 施加建設性影響,包括施加復雜性。除了敵對行動者,英國國防部還需要進一步了解如何對 PAG、盟友、合作伙伴、工業界、學術界、公民和對 C2 采取截然不同方法的其他人施加建設性影響。
在增強英國自身應對復雜性的能力方面,未來的 C2 系統和組織必須促進靈活性、復原力以及學習和適應能力等特性。整個決策周期都需要變革。例如,傳感器和通信技術的進步為獲取更多深度和廣度的數據提供了機會,包括有關復雜問題的數據。因此,提高認知能力對于理解所有這些數據至關重要,既要利用人類和機器的優勢,又要減少各自的缺點。要改變決策方法,還需要改變領導風格,以培養更善于駕馭復雜適應系統的決策者。在做出決策或計劃后,提高跨部門或跨層級的能力,在實施階段更好地整合活動或匯聚效應,對于抵消英國的局限性(如在質量方面)至關重要。
同樣,整合也不是萬全的;如果國防缺乏足夠深度的力量和能力,無法在充滿敵意的威脅環境中采取可信行動或維持高節奏行動,那么即使是最高效的指揮控制系統也無法在未來取得成功。此外,還需要采取防御措施以及恢復和失效模式,以阻止或減輕敵方破壞 C2 系統和組織的努力所造成的影響。鑒于所面臨的威脅,以及英國國防可能需要解決的不同形式的復雜問題,很可能會同時出現多種并行的 C2 模式,而不是單一的方法。應對復雜性意味著不斷學習、適應、創新和開放求變。因此,必須從一開始就將效果衡量標準、信號和變革機制納入計劃以及 C2 系統和組織,使其能夠隨著時間的推移不斷學習和調整,以應對各種情況。至關重要的是,未來 C2 系統和組織的設計只是挑戰的一部分--它們還必須得到更廣泛的國防企業緊急改革的支持,以確保獲得所需的使能因素(人員、技術等)。從 C2 的角度來看,這本身就是一個挑戰,因為改變這個企業--一個復雜的適應性系統--本身就是一個棘手的問題。
學術理論家和政府、軍事或工業從業人員對復雜性或復雜適應系統的理解并不全面,而這正是未來 C2 運行環境的特點。雖然文獻提供了處理復雜性的有用方法和工具,以及未來 C2 的一些初步設計考慮,但英國 C2(本身就是一個社會技術系統)的現代化和轉型將是一項高度復雜的工作。這意味著要與不斷發展的作戰環境、不斷變化的威脅和技術環境共同適應,從而進行迭代和不斷學習。因此,最緊迫的挑戰或許是,考慮到 C2 系統在未來面對復雜性時取得成功所需的轉型(技術、結構、流程、文化、教育等)的程度和性質,了解如何在一段時間內最好地引導這一過程。
自相矛盾的是,要克服實現以應對復雜性為目標的 C2 系統所面臨的障礙,可能需要英國國防部已經表現出其所尋求建立的系統的許多特征。面對這樣的循環邏輯,英國國防部可能需要某種外部沖擊來迫使其進行創造性的破壞,或者利用(或不顧)更傳統、線性的 C2 方法來啟動自身的激進改革努力,并隨著時間的推移,隨著變化的到來而進行調整。
美國空軍越來越關注人工智能(AI)在增強作戰各方面能力方面的潛力。在這個項目中,空軍要求蘭德公司的研究人員考慮人工智能無法做到的事情,以了解人工智能在作戰應用中的局限性。
研究人員沒有試圖確定人工智能的一般限制,而是選擇并調查了四個具體的作戰應用作為潛在用例:網絡安全、預測性維護、兵棋推演和任務規劃。選擇這些應用是為了代表各種可能的用途,同時突出不同的限制因素。在可以獲得足夠數據的三個案例中進行了人工智能實驗;剩下的兵棋推演案例則廣泛探討了如何應用或不能應用人工智能。
本報告是五卷系列中的第一卷,總結了所有應用案例的研究結果和建議。報告面向政策制定者、采購專業人員以及對將人工智能應用于作戰普遍感興趣的人員。
美國空軍部對人工智能(AI)徹底改變作戰各個方面的潛力越來越感興趣。在這個項目中,美國空軍要求蘭德公司的 "空軍項目"(Project AIR FORCE)廣泛考慮人工智能無法做到的事情,以了解人工智能在作戰應用中的局限性。本報告討論了人工智能系統在執行兩種常見網絡安全任務(檢測網絡入侵和識別惡意軟件)中的應用,以及分布轉移對這些任務的影響,這種現象會極大地限制人工智能的有效性。當人工智能系統在部署后遇到的數據與經過訓練和測試的數據有明顯差異時,就會發生分布偏移。
本報告闡述了分布偏移的重要性,它如何并確實顯著限制了人工智能在檢測網絡入侵和識別惡意軟件方面的有效性,如何測試和量化其影響,以及如何減輕這些影響。這項工作主要針對大型組織,如總部設施,它們有足夠的帶寬和計算能力來實施人工智能網絡安全系統并定期更新系統。
本報告是五卷系列報告中的第二卷,論述了如何利用人工智能在網絡安全、預測性維護、兵棋推演和任務規劃四個不同領域為作戰人員提供幫助。本卷面向技術讀者;整個系列面向對作戰和人工智能應用感興趣的讀者。
本報告調查了對抗性機器學習 (AML),即研究基于機器學習 (ML) 的人工智能系統弱點的研究方法。近年來,機器學習,尤其是深度學習 (DL),在圖像分類、自然語言處理和自主代理等多個領域取得了快速進展。因此,深度學習在軍事環境中也很受關注。然而,隨著進步,人們對 AML 方法的興趣不斷增加,新的攻擊變體不斷發布。實際上,所有 DL 系統在某種程度上都容易受到影響,無論是混淆它們、避免被它們檢測到,還是提取它們可能持有的秘密信息。從軍事角度來看,重要的是要意識到這種利用的可能性,無論是針對自己的人工智能系統還是針對對手使用的系統。
該報告概述了AML研究,然后展示了針對不同類型人工智能系統的一系列攻擊方法:
每個案例都描述和討論了攻擊并評估了實施。本報告的重點是攻擊。雖然在適用的情況下簡要討論了針對 AML方法的防御,但后續報告的主題是對AML防御的更深入研究。
關鍵詞:人工智能、機器學習、深度學習、深度神經網絡、欺騙、網絡攻擊、攻擊向量、漏洞、對抗樣本、數據中毒、數據提取、對抗策略
深度學習 (DL) 的出現將智能計算機軟件的性能和能力帶入了新的性能水平。將基于 DL 的軟件嵌入軍事指揮、控制、通信、計算機、情報、監視和偵察 (C4ISR) 系統中,有可能徹底改變創建準確及時的共同作戰圖 (COP) 的能力,從而使軍事決策過程可以比以往任何時候都更快、更精確地執行。從長遠來看,深度學習還可以用于在遠遠超出人類能力范圍的復雜戰爭環境中制定軍事計劃。
然而,由深度神經網絡 (DNN) 實施的基于 DL 的軟件容易受到各種威脅或網絡攻擊。這些是在對抗性機器學習 (AML) 研究領域研究和開發的。這些攻擊可能被用來欺騙決策者、降低系統性能、降低最終用戶信任度,甚至從系統中提取(即逆向工程)敏感的軍事數據。圖 1.1 展示了一個典型的 AML 攻擊示例,其中目標是用于對圖像內容進行分類的 DNN。在這種情況下,DNN 能夠正確地識別出圖 1.1a 中的原始圖像包含一架戰斗機,幾乎是絕對確定的。圖 1.1b 中的惡意圖像是通過在原始圖像上應用 AML 技術創建的,能夠欺騙相同的 DNN 將輸入分類為西伯利亞雪橇犬而不是戰斗機。在這種情況下,攻擊是有效的,盡管人眼無法察覺。
圖 1.1 – 使用 AML 的樣本攻擊。在這種情況下,目標是由 DNN 表示的圖像分類系統。圖 1.1a 顯示 DNN 能夠以近乎完美的確定性將良性(非操縱)輸入正確分類為戰斗機。圖 1.1b 顯示了使用 AML 技術創建的經過處理的圖像。被操縱的圖像成功地欺騙了 DNN,將輸入分類為西伯利亞雪橇犬而不是戰斗機。
據我們所知,AML 尚未被對手或高級持續威脅 (APT) 參與者用來瞄準和攻擊嵌入在現實世界軍事系統中的基于 DL 的軟件。然而,研究團隊和安全專家不斷證明,針對依賴 DL 來實現尖端性能廣泛應用程序的攻擊是可能的 [1]。例如,小心地替換句子中的單詞可能會導致語言模型對情緒進行錯誤分類 [2]。自動駕駛汽車使用的交通標志和車道檢測系統可以通過分別在標志和道路上貼上標簽來攻擊 [3, 4]。轉錄服務可能會被注入精心設計的噪聲所誤導,迫使系統將語音轉換為任意文本 [5、6]。因此,假設基于 DL 的軟件將在未來的 C4ISR 支持系統中普遍使用,預計對手和 APT 最終將利用這些漏洞來欺騙、拒絕訪問或收集情報。
本報告的目標是:(1) 概述迄今為止 AML 研究領域中已確定的攻擊向量,(2) 根據經驗估計這些攻擊的子集在軍事環境中的有效性,以及最后 (3) 提供見解并討論 AML 在何種程度上是深度學習在現實世界軍事應用中的現實和嚴重威脅。
盡管 AML 適用于任何基于 ML 的系統和算法,但本報告重點關注基于 DL 的 ML 系統。此外,本報告將重點關注攻擊。在 AML 研究領域提出和開發的防御機制將在未來的工作中涵蓋。最后,我們將范圍限制在與指揮和控制 (C2)、情報、監視和偵察相關的 DL 應用。
本報告的目標讀者是操作、獲取或開發軍事系統的人員,這些系統使用或嵌入了 AI、ML 和 DL 技術。
本報告假定讀者具有有關 ML 和 DL 概念的基本知識,例如監督學習、強化學習、損失函數、梯度下降和反向傳播。
第 2 章介紹了 AML,并介紹了用于對本報告中的攻擊進行分類和比較的分類法。第 3 章介紹了從軍事角度來看可能具有相關性的已知攻擊方法的三個案例研究。實施和評估這些方法。第 4 章總結了報告,討論了 AML 在現實世界中的適用性,包括在軍事領域。
本章提供了三個案例研究,探討了針對基于ML的系統的不同類型攻擊。在每種情況下,從AML文獻中選擇一種攻擊方法,并從軍事角度實現或測試。評估了攻擊的有效性,然后討論了實際考慮因素。選擇這三個案例研究是因為它們與軍事領域的潛在相關性,涵蓋了廣泛的攻擊,并說明了各種ML應用和方法。
第一章以欺騙深度神經網絡將戰斗機圖像誤認為是狗的例子開始。雖然將軍事裝備隱藏在顯眼的地方有明顯的吸引力,但介紹性的例子是高度理想化的。實際應用面臨的一個障礙是,攻擊僅限于數字領域:操作是在數字圖像本身上進行的,也就是說,在戰斗機被拍攝后的一個階段。如果圖像是由對手創建的(例如,飛機是由監視攝像機拍攝的),那么操縱圖像將需要深入訪問敵人的系統。這是不太可能的(如果是,更簡單和更健壯的攻擊變得可行,例如消除圖像或阻止其記錄)。此外,雖然關于目標深度神經網絡的黑盒知識足以計算所需的圖像修改(例如,觀察分類標簽結果[18]),但在實踐中,即使是這種知識也無法預期。
因此,第3.1節中的第一個案例研究調查了數據中毒。這種攻擊的目的與前面的示例相同:通過欺騙敵人的DNN,使其對車輛進行錯誤分類,從而使軍用車輛(在本例中為坦克)逃避檢測。盡管方法也很相似,但是中毒攻擊解決了介紹性示例的實際缺點。
圖3.2 -僅使用正確標記的訓練圖像和直到測試時間才顯示的隱藏觸發器的數據中毒攻擊。在這個圖中,所有打補丁的坦克圖像都用紅色標出,而所有中毒的汽車圖像都用黃色標出。
第3.2節將范圍擴展到通過數據提取對語言模型的攻擊。語言模型是在廣泛的文本語料庫(通常是數十億個單詞)上訓練的非常大的dnn,在某種意義上能夠“理解”(書面)語言。它們引起了自然語言處理的范式變化,在許多任務中設定了新的基準[26],并因其生成文本的能力而獲得了媒體的廣泛關注[27]。事實上,即使在編寫本報告期間,也取得了顯著的進展,例如,ChatGPT系統的提出。語言模型正在不斷接近人類的自然語言處理水平,它們對社會幾乎所有方面的潛在影響和后果,包括軍事應用,目前很難預測。除了機會之外,它們也帶來了風險,例如,它們可能會將敏感信息暴露給對手。第3.2節中的案例研究調查了這種形式的對抗性提取攻擊的可行性。
圖3.5 -兩種語言模型的微調過程,展示了數據和最終的微調模型之間的細微差異(左為FTorig,右為FTpatch)。請注意,Dpatch的補丁文章約占CC新聞數據集總數的24%,即剩余的76%與未修改的數據集相同。
第3.3節研究了對通過強化學習訓練的模型的攻擊。這種模型通常用于無人駕駛車輛、機器人、游戲等領域的自主智能體。它們不是在一組固定的例子上以監督的方式訓練的。相反,智能體用一個獎勵函數來評估它的情況,并選擇一個獎勵最大化的行動過程。雖然這種操作模式為智能體提供了處理現實世界的靈活性和彈性,但它們仍然容易受到攻擊和欺騙,正如本案例研究將在基于強化學習的各種系統上展示的那樣。
圖3.10 -來自[51]的四個零和模擬機器人博弈的示例,用于評估對抗性策略[49]。
圖3.11 -“你不能通過”的博弈序列,敵對的對手(紅色)應該阻礙受害者(藍色)到達終點線。上面的四個數字顯示了一個普通的智能體是如何鏟斷對手的。下面的四個圖形顯示了敵對的對手如何使受害者在沒有任何接觸的情況下摔倒在地[49]。
對抗性機器學習在科學界引起了越來越大的興趣,每天都有關于新的攻擊變體的論文發表。幾乎任何形式的機器學習都容易受到某種類型的AML的影響,正如本報告通過攻擊方法的示例所證明的那樣。隨著越來越多的應用程序采用深度學習,攻擊的機會和潛在的回報也在增加。例如,圖像識別模型正以某種形式用于與敵方相關的情況,無論是民用還是軍用:機場和體育場開始采用人臉識別以各種原因拒絕個人進入[58],為上述個人應用AML來逃避系統提供了動機。軍用車輛在衛星圖像上的自動探測已經研究了幾十年,避免敵方衛星的這種探測顯然是任何軍隊都感興趣的。
然而,這些攻擊在很大程度上仍停留在學術界的實驗階段。已知很少有針對實際部署的深度學習系統的真正攻擊發生,也就是說,沒有得到深度學習系統操作員的同意,并且目標不僅僅是測試攻擊方法的可行性。可能的原因有很多:這種攻擊可能很少見,因為它們很難執行,或者潛在的目標還不多。攻擊可能很難被注意到(可以說逃避攻擊的主要目的是不被注意到)。攻擊者不太可能公布成功的攻擊,甚至受害者也可能認為保持沉默而不是進一步暴露自己的弱點是明智的。
盡管如此,一些攻擊已經傳播到公眾。Stable Diffusion[59]、DALL·e2[60]和Midjourney等生成圖像模型可以基于文本提示創建圖形。這使得他們在社交媒體上很受歡迎,但也引發了藝術家們的批評,他們懷疑他們的作品被用作訓練數據。2023年2月,媒體公司Getty Images對Stability AI提起訴訟,指控其未經許可使用Getty目錄中的受版權保護的庫存圖像訓練其Stable Diffusion模型。通過對Stable Diffusion的提取方法獲取證據,發現AI系統生成的圖像與Getty擁有的圖像具有很高的相似性,包括該公司的水印[61]。
針對語言模型的快速攻擊是一種更有趣的攻擊,仍然受到媒體的廣泛關注。這種類型的攻擊是一種簡單的提取變體,其目標不是訓練數據,而是隱藏的輸入指令。對于像ChatGPT這樣的大型語言模型,操作人員可能希望在沒有任何微調階段的情況下快速調整模型以適應某些應用程序。相反,對話只是在語言模型的文本指令之前,這些指令會影響它在與用戶對話過程中的行為,例如模型應該使用什么名稱,以及要展示什么樣的個性。這些指令通常不會顯示給語言模型的用戶,但好奇的用戶已經能夠讓模型暴露它們,例如通過告訴模型“忽略之前的指令”,從而覆蓋任何隱藏的指令,而不顯示隱藏的指令,然后問“上面文檔開頭寫了什么?”“[62]
這種由人群發起的攻擊雖然相對溫和,但表明評估人工智能系統對“AML”方法的穩健性很困難,更不用說實際防御它們了。這兩個挑戰都將成為該項目的未來報告的主題。
然而,從攻擊者的角度來看,情況可能至少同樣困難。很少有人工智能系統像上面的模型一樣具有公共接口,可以進行實驗。在防御環境中,攻擊者通常只有有限的機會研究目標系統,而傳統障礙(網絡安全和物理安全)可能構成與各種AML方法固有困難一樣多的挑戰。3.1節中描述的投毒攻擊是一種旨在繞過安全措施的方法,利用訓練數據的稀缺性誘使對手自己投毒他們的系統。未來的攻擊也有可能將AML與更傳統的方法(例如社會工程)結合起來。
隨著人工智能的日益普及,對攻擊方法的研究必然會增加。隨著人工智能使用的增加,對這一新領域的持續警惕和研究對于識別新出現的機會至關重要,但也要意識到自身的脆弱性。
美國戰略家認為,人工智能(AI)有可能實現更好、更快的決策,這在未來的軍事沖突中是決定性的。機器學習應用將越來越多地影響政治和軍事領導人對戰略環境的看法,權衡風險和選擇,并判斷他們的對手。但是,將關鍵的人類決策過程暴露在人工智能系統的中會有什么風險?
要獲得人工智能在決策方面的優勢,首先需要了解其局限性和陷阱。人工智能系統根據數據模式進行預測。總是有一些意外行為或失敗的機會。現有的工具和技術試圖使人工智能對失敗更加穩健,往往會導致性能上的權衡,解決了一個問題,但可能會使另一個問題惡化。人們對人工智能的脆弱性和缺陷的認識不斷提高,但也需要在現實的部署背景下對技術故障的潛在后果進行更深入的分析。
本簡報研究了直接或間接影響決策的人工智能系統故障如何與戰略壓力和人為因素相互作用,從而引發危機或沖突的升級:
這些情景揭示了一個核心困境:決策者希望使用人工智能來減少不確定性,特別是當涉及到他們對戰場的認識,了解對手的意圖和能力,或了解他們自己抵御攻擊的能力。但通過依賴人工智能,他們在人工智能系統技術故障的可能性和后果方面引入了一個新的不確定性來源。
有效利用人工智能需要以一種有謹慎的和有風險的方式來平衡優勢與局限。沒有辦法保證概率性人工智能系統會完全按照預期行為,也沒有辦法保證它能給出正確的答案。然而,軍隊可以設計人工智能系統和依賴它們的決策過程,以減少人工智能失敗的可能性并控制其后果,包括通過:
美國應繼續帶頭制定負責任地開發和使用人工智能的全球標準,采取步驟展示某些可靠性,并盡可能地鼓勵其他國家采取類似的預防措施:
自主系統將塑造戰爭的未來。因此,土耳其的國防人工智能(AI)發展主要側重于提高自主系統、傳感器和決策支持系統的能力。提高自主系統的情報收集和作戰能力,以及實現蜂群作戰,是發展國防人工智能的優先事項。雖然土耳其加強了自主系統的能力,但在可預見的未來,人類仍將是決策的關鍵。
人類參與決策過程提出了一個重要問題:如何有效確保人機互動?目前,自主系統的快速發展和部署使人機互動的問題更加惡化。正如土耳其國防工業代表所爭論的那樣,讓機器相互交談比較容易,但將人類加入其中卻非常困難,因為現有的結構并不適合有效的人機互動。此外,人們認為,人工智能對決策系統的增強將有助于人類做出更快的決定,并緩解人機互動。
土耳其發展人工智能的意圖和計劃可以從官方戰略文件以及研發焦點小組報告中找到。突出的文件包括以下內容:
第11個發展計劃,其中規定了土耳其的經濟發展目標和關鍵技術投資。
《2021-2025年國家人工智能戰略》,它為土耳其的人工智能發展制定了框架。
焦點技術網絡(Odak Teknoloji A??,OTA?)報告,為特定的國防技術制定了技術路線圖。這些文件提供了關于土耳其如何對待人工智能、國防人工智能和相關技術的見解。
土耳其特別關注人工智能相關技術,如機器學習、計算機視覺和自然語言處理,其應用重點是自主車輛和機器人技術。自2011年以來,自主系統,主要是無人駕駛飛行器(UAV),仍然是土耳其人工智能發展的重點。此后,這已擴大到包括所有類型的無機組人員的車輛。同時,用人工智能來增強這些車輛的能力也越來越受到重視。人工智能和相關技術的交織發展構成了土耳其人工智能生態系統的核心。
土耳其的人工智能生態系統剛剛起步,但正在成長。截至2022年10月,有254家人工智能初創企業被列入土耳其人工智能倡議(TRAI)數據庫。土耳其旨在通過各種生態系統倡議在其國防和民用產業、學術機構和政府之間創造協同效應。由于許多組織都參與其中,這些倡議導致了重復和冗余。冗余也來自于人工智能技術本身的性質。由于人工智能是一種通用技術,可以應用于不同的環境,各種公司都有用于民用和國防部門的產品;因此相同的公司參與了不同的生態系統倡議。此外,民用公司與國防公司合作,在國防人工智能研究中合作,并提供產品,這是司空見慣的。
土耳其鼓勵國際人工智能在民用領域的合作,但不鼓勵在國防領域的合作。然而,由于技能是可轉移的,國防人工智能間接地從這種合作中受益。
土耳其非常關注自主系統發展中的互操作性問題,特別是那些具有群集能力的系統。除了蜂群,北約盟國的互操作性也是一個重要問題。因此,土耳其認為北約標準在發展自主系統和基礎技術方面至關重要。
土耳其目前對人工智能采取了分布式的組織方式。每個政府機構都設立了自己的人工智能組織,職責重疊。目前,盡管國防工業局(Savunma Sanayi Ba?kanl???,SSB)還沒有建立專門的人工智能組織,但SSB的研發部管理一些人工智能項目,而SSB的無人駕駛和智能系統部管理平臺級項目。目前,根據現有信息,還不清楚這些組織結構如何實現國防創新或組織改革。
土耳其尋求增加其在人工智能方面的研發支出,旨在增加就業和發展生態系統。SSB將在未來授予更多基于人工智能的項目,并愿意購買更多的自主系統,鼓勵研發支出的上升趨勢。然而,盡管土耳其希望增加支出,但金融危機可能會阻礙目前的努力。
培訓和管理一支熟練的勞動力對于建立土耳其正在尋找的本土人工智能開發能力至關重要。這包括兩個部分。首先是培養能夠開發和生產國防人工智能的人力資源。因此,土耳其正在投資于新的大學課程、研究人員培訓、開源平臺和就業,同時支持技術競賽。第二是培訓將使用國防人工智能的軍事人員。國防人工智能也正在慢慢成為土耳其武裝部隊(Türk Silahl? Kuvvetleri,TSK)培訓活動的一部分。目前,關于土耳其打算如何培訓軍事人員使用國防人工智能的公開信息非常少。
人工智能(AI)是一個快速發展的領域,世界各地的政府和軍隊越來越多地將其納入其技術,以創造新的能力。人工智能有可能最終超越人類的智力能力,獲得超級智能。這篇論文研究了超級人工智能(ASI)的影響以及美國的對手如何利用它來獲得不對稱的戰略優勢。本文發現,人工智能在中期和可能的近期對未來的行動構成了極大的風險,并就美國防部應如何思考并將人工智能的威脅納入戰略規劃提出了建議。
人類最偉大的力量之一是我們利用工具的能力。縱觀歷史,工具使我們能夠提高執行任務的效率,使我們的知識專業化,并創造機會反復改進和創造更復雜的工具。機器的發明給了人類一套工具,可以完全取代人類的勞動,而不是放大它,并在勞動的速度和質量上遠遠超過人類。現在,人工智能(AI)的發展正在做同樣的思考。人工智能系統已經在前幾代人認為機器永遠無法完成的任務中超越了人類,例如:圖像和目標識別,復雜的棋類游戲,如國際象棋和明顯更復雜的圍棋,需要實時戰略思考的視頻游戲,讀唇語,甚至通過投資股票市場實現盈利。目前,人工智能的所有應用都是狹窄的,這意味著盡管它們在某項任務上可以超過人類的能力,但它們只能做它們被設計的那件特定的事情,而不是其他。然而,這種情況不會一直存在。
1993年,統計學家Vernor Vinge預測,人類將有能力創造出一種超人類的智能。他推測,這種創造將導致智能爆炸,因為超級智能在自身基礎上不斷改進,變得越來越聰明,將人類的能力遠遠甩在后面。這種能力將對人類生活的各個方面產生深遠的影響。正如人工智能和決策理論家Eliezer Yudkowsky所說的那樣。"沒有困難的問題,只有對某一智能水平來說是困難的問題。向上移動最小的一點[智力水平],一些問題會突然從'不可能'變成'明顯'。向上移動一個相當大的程度,所有的問題都會變得明顯。" 因此,超級智能將為世界舞臺上任何能夠開發和控制它的行為者提供不對稱的優勢。
自第二次世界大戰結束以來,美國一直是占主導地位的世界大國,能夠通過國家權力的四個工具:外交、信息、軍事和經濟來擴大其影響力和追求其利益。然而,歷史告訴我們,占主導地位的世界大國會因為軍事革命而非常意外和迅速地失去這種地位。西方歷史經歷了五次這樣的重大革命:現代民族國家的創建、大眾政治與戰爭的融合、工業革命、第一次世界大戰和核武器的出現。這些革命中的每一次都圍繞著為首先采用這些革命的人提供的不對稱優勢,這使得他們能夠獲得突出的地位,即使只是暫時的,直到其他人也出于需要而采用新的模式。超級智能的人工智能的出現有可能創造出下一次軍事革命,并使美國不再是世界上最大的國家。
默里和諾克斯指出,軍事革命就其性質而言是 "不可控的、不可預測的和不可預見的。"但這是一個觀點問題。納西姆-塔勒布將這些類型的事件稱為黑天鵝,并對其有三個標準:它們是罕見的,有極端的影響,并且是可追溯的。然而,他表明,某件事之所以成為黑天鵝,特別是因為沒有認真對待這種可能性,而不是沒有人想到它。舉例來說,如果有人在9-11事件之前就認為恐怖主義是一種合理的威脅,并要求在飛機艙門上加鎖,那么被劫持的飛機成為武器的黑天鵝事件就不會發生。推動這一變革的人甚至可能會因為他們的假設不正確而受到批評。如果沒有這個事件的發生,就沒有證據表明所實施的變革具有防止恐怖主義的預期效果。
對未來的正確預測在被認真對待時一般是不可能被驗證的,因為他們成功地防止了他們預測的結果。因此,被認為不值得適當考慮或規劃的想法成為決定性的。"看到一個事件的發生正是因為它不應該發生,這不是很奇怪嗎?" 如果美國希望在一個正在迅速發展并變得越來越復雜的世界舞臺上保持主導地位,它就必須對可能的和不可能的事情進行思考。正如參議院軍事委員會前參謀長克里斯蒂安-布羅斯在其《殺戮鏈》一書的結論中所說,"問題是想象力的失敗"。
技術正在以指數級的速度發展,并將在某一時刻導致下一次范式轉變和軍事革命。人工超級智能(ASI)有可能在國際行為者揮舞國家權力工具的能力方面創造不對稱優勢,并導致這樣一場軍事革命。從歷史上看,軍事革命的結果往往是,誰最先發揮新革命的不對稱優勢,誰就能推翻當時的世界霸主。下一次革命也會如此,美國可能會發現自己被剝奪了世界主導地位,除非它能預測并為即將到來的事情做好準備。僅僅為今天挑戰美國主導地位的差距尋求解決方案是不夠的,因為今天的問題在下一次范式轉變后將變得無關緊要。因此,如果下一次軍事革命以超級人工智能為中心,美國防部如何確定可能被利用的漏洞?
美國防部在超級智能方面的文獻有一個明顯的空白。這次探索的目的是填補文獻空白,確定這種技術所帶來的風險程度,并確定對手可能利用ASI攻擊美國的潛在漏洞。這將為國防界的決策者提供關于該主題的相關觀點,并告知在規劃和預測中應考慮該技術的程度。通過額外的研究,如果對手率先獲得ASI,可以減輕已確定的漏洞以防止其被利用。最終,本研究的目的是防止ASI軍事革命的出現成為一個黑天鵝事件,使美國失去其世界主導地位。
本論文試圖回答的主要研究問題是:對手如何利用ASI來取代美國作為世界主導力量的地位?為了回答這個問題并達到研究的目的,還需要回答幾個問題。 1.ASI有什么獨特的能力,使它能夠影響國家權力的信息和軍事要素? 2.對美國有敵意的行為者如何利用ASI的能力來實現作戰和戰略效果? 3.在信息和軍事領域有哪些弱點可以被擁有ASI的美國對手所利用?
作為對一項理論技術如何在未來作戰環境中使用的探索,必須對該未來環境的狀態做出若干假設。因為本論文的目的是確定脆弱性和評估風險,所以對該環境的假設是那些被認為有可能造成最大風險的假設。這些關鍵的假設在文獻回顧中都有更深入的闡述。
1.通用人工智能(AGI)將在2035年之前初步開發,并在2040年之前推進到人工智能。
2.美國的一個對手將是第一個開發AGI/ASI的人,并且該技術不會在他們的控制范圍之外被分享或擴散。
3.一個發達的人工智能是可控的,不具備獨立于其控制者的驅動力和動機,并作為其控制者意志的延伸而發揮作用。
4.2040年的作戰環境將如國家情報委員會2040年報告中描述的競爭性共存情景,主要特點是美國和中國之間的競爭。
雖然近年來國防界的成員們在文獻中充斥著關于人工智能的著作,但從國防的角度來看,關于超級智能主題的文獻存在著明顯的空白。雖然人工智能本身有可能在軍事和民用領域產生變革,但本研究將開始填補有關人工智能的未來及其創造軍事革命的潛力的知識空白。此外,這項研究還試圖確定潛在的弱點,這些弱點可能被控制人工智能的對手所利用,以廢止或取代美國作為世界主導力量的地位。這項研究的結果將為預測未來部隊需求的戰略計劃者提供洞察力。識別弱點是緩解的第一步;然而,還需要更多的研究來為識別的弱點找到解決方案。矛盾的是,本研究的真正意義只有在其預測沒有實現的情況下才能實現;也許表明它在防止所設想的負面情況的發生方面發揮了作用。