喬治敦大學安全與新興技術中心(CSET)和艾倫-圖靈研究所新興技術與安全中心(CETaS)的這份聯合報告評估了目前自主網絡防御的最先進水平及其未來潛力,確定了進展的障礙,并建議采取具體行動來克服這些障礙。這些發現和討論將與參與開發自主網絡防御能力的網絡安全從業人員、政策制定者和研究人員有關。
鑒于網絡攻擊造成的巨大經濟和社會損失以及人工智能(AI)的最新進展,近年來,人們對應用人工智能加強網絡防御的興趣越來越大。對自主網絡防御的研究正在擴大,它不僅可以檢測威脅,而且可以參與防御措施,如加固或恢復。本報告重點關注創建這些自主網絡防御代理的一種有前途的方法:強化學習(RL)。
自主網絡防御沒有一個統一的定義,但在最基本的層面上,這些代理將完成人類網絡防御者的一些任務,保護網絡和系統,檢測惡意活動,并對異常或惡意行為作出反應,但要以數字攻擊的速度。
本報告提出了自主網絡防御的擬議定義,調查了自主網絡防御的現狀以及該技術成為可行的網絡安全工具所必須克服的相關挑戰。不能保證自主網絡防御會成功,但該技術正處于一個需要政策支持的階段,以實現潛在的好處,并幫助網絡防御者處理現代網絡安全行動的速度和不確定性。
RL是創建網絡防御代理的領先AI方法,這是有效的自主網絡防御的核心要求。2012年,當RL代理首次在簡單的雅達利游戲中擊敗人類專家時,這項技術的地位日益突出。在這一成功的基礎上,從2015年到2018年,DeepMind為更具挑戰性的游戲建立了系統,包括圍棋和國際象棋,取得了意想不到的成功水平。研究人員對RL趨之若鶩,部分原因是這些成功,但也是因為OpenAI的一個開放框架,它允許創建簡單的模擬訓練環境或 "健身房"。OpenAI健身房的形式簡化了研究和開發,在過去的幾年里,網絡健身房已經開始出現,允許訓練和創建網絡防御代理。甚至在最近,這些健身房成為名為 "網絡自主實驗健身房"(CAGE)的公開網絡安全競賽的一部分。
我們的研究立足于基于強化學習(RL)的人工智能代理的潛力,以提供實現部分或全部自主網絡防御概念所需的自主能力。雖然與自主網絡防御有關的有前途的相關建模方法、技術和工藝的范圍很廣,但我們對RL的關注是由于在網絡防御中應用RL的努力增加,以及RL在其他問題領域取得的可喜成果。
雖然自主網絡防御的核心技術在過去十年中進展迅速,但在系統能夠投入使用之前仍有許多挑戰。在這個研究項目的過程中,我們采訪了政府和非政府專家,以確定建立和部署可信系統的要求,其中包括:
為了滿足這些要求并繼續取得進展,自主網絡防御這一新生領域需要得到培育。RL最近才開始在網絡安全方面起飛。近年來,學術出版物激增,培訓網絡RL代理也開始大量涌現。然而,與這些代理將面臨的更復雜的現實世界的網絡環境相比,能力仍然是初級和不完整的。持續的資金、協調的努力以加強模擬、仿真和評估工具、確保熟練的人員,以及提供對現實數據和基礎設施的訪問,將有助于確保進展。
如果能夠克服技術挑戰,自主網絡防御有很大的發展潛力。目前為網絡防御建立的代理和環境考慮的變量和可能性比更著名的RL代理(如圍棋或視頻游戲如Atari或DOTA2)少。這意味著有足夠的潛力讓代理越來越智能;它們可以管理更多可能的防御行動,并在更復雜的環境中運作,需要它們探索更多的情況。我們對技術挑戰的探索表明,自主網絡防御將是一個長期的雄心壯志,只能在未來幾年內實現。
盡管在自主網絡防御領域取得了重大進展,但我們的研究表明,還沒有自主網絡防御系統被實際部署。鑒于目前技術的成熟度,我們提出了發展這些能力以使技術成熟的建議(建議的完整清單見第4節)。
對擴大規模進行投資。該領域可以通過做更大、更真實的網絡模擬,納入更復雜的場景和攻擊者的行為來改進。更高的保真度將導致更有能力的網絡防御代理。此外,發布和維護工具,如健身房或訓練有素的代理,可以幫助吸引學術界或其他研究人員來做這項工作。最后,持續的資金也將使研究人員更容易向這些項目看齊。
建立并提供測試和訓練場。更大和更復雜的代理將需要更多的計算密集型訓練和測試,這可能使一些研究人員的資源緊張。建立和維護大型計算系統也是一個挑戰,這需要難以得到的人才。提供必要的基礎設施、人才和資金資源--也許是以補貼成本的方式,也可以幫助加速進展并提供連續性。
協調數據共享。政府和行業的政策制定者有權力發布有關需要防御的網絡和他們所觀察到的威脅的網絡數據。這些都是需要仔細考慮的微妙問題,但只要共享數據能改善網絡安全,所有組織都會受益。
舉辦比賽。繼續舉辦自主的網絡防御競賽,并輔以財政獎勵,作為改善健身房和代理商的一種手段,同時培養未來的人才。
優先考慮能使自主網絡防御的利益最大化的領域。并非所有的網絡防御情況都需要自主代理,如速度不是限制因素或防御已經有效的情況。優先考慮自主性影響最大的領域可以幫助指導研究。同樣地,一些技術,如漏洞發現,對防御者或攻擊者都有幫助。政策制定者應投資于研究,以確定哪些情況和技術會導致更好的防御,而不是改進攻擊。
確定防御者代理是否需要攻擊者代理。在創建現實的模擬時,不清楚在多大程度上可以在沒有進攻者代理的情況下建立防御者代理來驅動它們。研究人員和政策制定者應該探索在不犧牲防御者有效性的情況下限制進攻代理的能力的方法,并對代理技術和知識的擴散建立嚴格的控制。他們還應該投資于研究,以了解哪些具體情景和技術需要進攻性制劑。
確定自主網絡防御代理的授權門檻。自主網絡防御代理將需要達到對一個組織的高度信任,以獲得高度的自主權。需要制定政策指導,為能力和可信度設定初始目標,與代理被授權做出的決定的風險相匹配。這種指導可以類似于為自主車輛制定的自主水平。它們也可以根據情況或威脅環境的各個方面而變化。
本研究旨在開發一種區塊鏈數據結構和原型,以跟蹤美國防部(DoD)各部門之間資金流動的預算編制情況。該項目的目標是提高對交易的洞察力,以實現購置資金的靈活性,并為美國防部的規劃、管理和宏觀平衡提供更好的支出跟蹤信息。該報告總結了區塊鏈技術可以加強的一系列解決方案和用例。區塊鏈技術尚未解決預算跟蹤問題。其他領域的現有解決方案只是將區塊鏈作為一種服務來使用。它們沒有考慮如何利用圖分析和機器學習等技術來改進基于區塊鏈的解決方案。不恰當的區塊鏈設計可能會導致系統的數據冗余急劇增加,這可能會導致大規模系統(如政府基礎設施)的系統維護成本居高不下。此外,由于基于區塊鏈的系統數據量大,我們需要一些工具,如與區塊鏈相結合的圖分析,來從數據中提取新的信息和模式。因此,基于區塊鏈和圖分析的混合設計已被用于國防部的預算跟蹤。
在本項目中,借助圖分析概念,提出了組織區塊鏈數據結構的原型。由于難以獲得國防部(DoD)預算管理的真實世界數據,我們利用了基于本項目期間提供的樣本的高級數據結構,作為更真實數據集的替代。在制定了初步路線圖和展示國防部資金轉移的圖表網絡后,我們提出了七個新穎的使用案例,以展示該解決方案的適用性。對于每個用例,我們都確定了所針對的問題、如何應用所建議的設計,以及所建議的解決方案設計如何帶來益處。使用案例涵蓋了與預算管理、數據操作和安全優化有關的幾個問題,以及與成本和成本效益有關的問題。
本項目的成果突出了以下幾點:
該項目按以下步驟進行:
由于本項目關注的是一個新穎的概念,而基于區塊鏈的預算管理系統此前并無設計,因此我們將重點放在設計問題上,提出了一個原型來支持這一概念,作為概念驗證。我們根據提供的數據樣本調整了設計。建議的用例很有可能被用作本項目的擴展。它們包括
本最終技術報告總結了 2018 年 9 月至 2022 年 9 月期間 AFRL 項目 "嵌入式深度學習和高級計算 "的研發工作。該項目涉及兩個重要的技術趨勢:使用深度神經網絡(DNN)的深度學習正迅速成為許多機器學習應用的首選方法,而網絡邊緣的嵌入式設備正變得越來越廣泛。通過這兩種技術的融合,我們可以看到新一代嵌入式設備的出現,它們可以執行智能任務,如學習未知環境和感興趣的目標、周圍環境的三維映射、執行數據分析以及根據本地數據進行預測。這些設備構成了所謂的人工智能物聯網(AIoT)[1]。
本研究項目研究的基礎技術可促進未來嵌入式深度學習的高效訓練和推理計算系統。研究的主要方法包括 (1) 使用隨機舍入的可變精度分塊浮點;(2) 采用術語量化,將浮點數量化為 2 次冪術語,而不是傳統的均勻量化;(3) 使用特定領域詞匯對預訓練語言模型進行調整;(4) 通過使用恒定帶寬塊的調度最大限度地減少內存訪問;(5) 在算法的協同設計中應用全棧優化、 (6) 為可穿戴計算拆分神經網絡,(7) 設計用于檢測輸入到 DNN 的非分布式輸入的算法,(8) 為高效的 DNN 系統陣列實現打包稀疏 DNN,(9) 為 DNN 的 3DIC 實現設計內存邏輯架構和系統構建模塊,以及 (10) 在內存計算中利用位級稀疏性。
卷積神經網絡(CNN)等深度神經網絡(DNN)實現了深度學習。它們具有多層非線性特征轉換,每增加一層就能提取出越來越好的特征。然而,訓練一個大型 DNN 并在這樣的網絡上執行推理需要耗費大量的時間和精力。對于大型語言模型(LLM)和生成式對抗網絡(GAN)等大型深度網絡來說,訓練成本很高。由于小型人工智能物聯網(AIoT)設備在處理能力、內存占用和功耗預算方面存在嚴格的資源限制,因此在這些設備上進行訓練和推理更具挑戰性。有必要共同設計算法、模型和硬件參數,以便在這些嵌入式設備上執行高效的訓練和推理。在為嵌入式設備訓練復雜的深度模型時,并行處理、管理內存訪問時間表和利用數據稀疏性等高級計算技術至關重要。
本項目旨在針對嵌入式深度學習和推理中的關鍵挑戰開展廣泛研究。例如,我們探索了嵌入式深度學習與基于并行和分布式計算的高級計算之間的相互作用。該項目利用了 PI 在相關領域的經驗,包括他早期在系統陣列以及分布式和嵌入式神經網絡架構方面的工作。我們將在本報告的其余部分重點介紹我們已發表的部分成果。
最近,網絡犯罪分子在一系列網絡系統中策劃了各種有組織和堅決的網絡攻擊,給私人和政府機構帶來了嚴重后果。當前基于安全的自動化和編排側重于自動化固定目的和硬編碼的解決方案,這些解決方案很容易被現代網絡攻擊超越。自動化網絡防御的研究將允許通過順序決策代理自主防御網絡系統來開發和實現情報響應。本文通過需求分析全面闡述了自動化網絡防御的發展,該需求分析分為兩個子領域,即自動化防御和攻擊代理和自主網絡操作(ACO) Gyms。需求分析允許對自動化代理進行比較,并強調了ACO Gyms對其持續發展的重要性。需求分析還用于評價ACO Gyms,其總體目標是發展ACO Gyms以在現實世界的網絡系統中部署自動化代理。從整體分析中解決了相關的未來挑戰,以加速自動化網絡防御領域的發展。
本報告標志著軍備控制協會題為 "明天的軍備控制 "的項目達到了頂點。這項工作是歐洲領導力網絡項目的一部分,由德國聯邦外交部資助,名為 "解讀技術復雜性和核政策制定的方法"。本協會的工作屬于該項目的第四部分,題為 "緩解戰略和軍備控制"。
該協會的項目側重于新的或現有的軍備控制和風險減少措施,決策者可以提出并支持這些措施,以防止具有軍事用途的新技術和新興技術導致沖突或對抗進入核戰爭。該項目從2021年3月至2022年12月進行。該協會主辦了五次虛擬研討會,每次都以一種選定的技術為中心,除了最后一次,即結合無人機和致命的自主武器系統,包括12至20名參與者。與會者包括來自世界各地的前政府官員和外交官、政策專家和技術專家。
近年來,具有軍事用途的新興技術的話題在國防官員、政治領導人、外交官、政策專家和技術專家之間引起了激烈的辯論。盡管有些人認為這些技術為使用它們的人提供了明顯的、改變游戲規則的戰場優勢,但其他人認為這種評估是夸大其詞,或呼吁更多地關注其使用的風險。
本報告概述了幾種新興技術及其各自的軍事應用可能產生的破壞穩定的影響。它旨在讓決策者更好地了解如何通過一系列軍備控制和減少風險的措施來減輕風險,減少大國沖突或對抗升級到核級別的機會。
在本報告中,"新興技術 "一詞指的是廣泛的科學和技術發展,如果應用于軍事領域,可能會以不可預測和潛在的危險方式對未來的戰爭產生變革性影響。本報告重點關注六種重要的、獨特的新興軍事能力:高超音速武器系統、直接進攻性網絡作戰、進攻性反空間能力、人工智能(AI)驅動的能力、無人機和致命的自主武器系統(方框ES.1)。這些能力的選擇是基于兩個因素。首先,它們已經進入或將在大約未來10年內進入該領域。第二,各國政府和民間社會已經開始在各種論壇上開始討論這些能力的戰場效應,并為軍備控制和減少風險制定潛在的途徑。
本報告提煉了軍控協會在2021年和2022年舉辦的一系列研討會的信息和想法,每個技術領域的幾十位技術和政策專家都參與其中。它確定了四個總體主題,突出了對新技術和新興技術的軍事應用如何可能增加使用核武器風險的最大關切。
增加沖突的速度。在沖突或對抗中使用新興技術可能會在危險的程度上加快其中任何一方的步伐,使有關各方迅速向升級的階梯發展。這個主題包括兩個主要的風險:決策者選擇國家下一步行動的時間減少,以及決策者的信息過載。
不斷增加的不確定性。具有軍事用途的新技術能力可能會增加沖突或對抗中的整體不確定性,如行動的性質和對手的意圖。這些能力還可能暴露出新的弱點,造成不確定的影響,并引入以未知方式運作的新行為者。
減少人的作用。隨著人工智能系統提供的情報、監視和偵察信息及其他數據的擴大,不堪重負的政治和軍事決策者可能會責成人工智能能力收集和處理整個戰場領域的信息,評估各種行動方案,確定可能的最佳結果,甚至可能推薦一個特定的選擇并執行該反應。這種控制權的重新分配可能會導致幾乎沒有實質性的、有效的人類監督。
激勵軍備競賽。新技術和新興技術的軍備競賽可以說已經在進行中了,隨著行為者迅速追求和部署新的尖端能力,試圖保持或獲得戰略優勢,有可能在數量和質量上進一步提升。
決策者可以采取行動,在近期和長期內減輕這些風險。減少風險和軍備控制的努力應側重于在各領域和技術中以及在政府和非政府行為者之間采取多種措施,這些措施綜合起來可以建立一個有效、可行和可持續的軍備控制制度。
本報告確定了現在或未來五年內可能實現的近期風險緩解措施:危機通信系統、定義的建立、規范、單邊聲明和行動,以及建立信任措施。這些類型的措施可以幫助提高透明度和防止誤解,為世界上大多數人認可的技術建立一種共同的語言,并為使用某種能力時的負責任行為建立公認的標準。
本報告概述了在未來10年或更長時間內可以實現的長期措施:涉及一個以上國家的軍備控制和減少風險的安排(如條約、協議),比建立信任措施更正式,盡管不一定具有法律約束力。
本報告所研究的新技術和新興技術所帶來的軍事能力和應用,不僅加劇了戰略穩定和國際安全的現有風險并創造了新的風險,而且使減輕這種風險和對這些系統進行有效軍控的努力變得更加復雜。鑒于新興軍事技術的潛在不利影響,政策制定者可以而且應該考慮近期的軍備控制和降低風險措施。這些措施可以為長期措施奠定基礎,幫助建立一個未來的安全架構,這個架構可以單獨提供透明度、可預測性和穩定性,更可以將核戰爭的前景推到更遠的可能性之外。
表ES.1--六種選定的新興技術能力
新興技術 | 描述 |
---|---|
高超音速武器 | 高超音速武器是指以至少五倍音速,或5馬赫的速度飛行的導彈或飛行器。 |
直接攻擊性網絡行動 | 進攻性網絡行動是針對敵方計算機系統的敵對活動,目的是破壞該計算機處理的信息的保密性、完整性或可用性。本報告的重點是專門針對核企業中任何地方的計算機系統的行動。 |
進攻性反空間能力 | 進攻性反空間能力是旨在欺騙、擾亂、拒絕、降低或摧毀空間系統的能力。本報告重點關注反衛星能力,包括直接上升系統和共同軌道能力。 |
人工智能支持的能力 | 人工智能是一個總括性術語,包括各種計算技術和使能技術,為計算機解決以前只能由人類處理的復雜問題讓路。本報告重點關注人工智能在軍事或戰爭中的應用。 |
無人機 | 無人機是指沒有飛行員、機組人員或乘客的飛行器,它通常是自主的,由地面站控制,或被賦予預先編程的任務。本報告的重點是空中和水下的無人機。 |
致命性自主武器系統 | 致命自主武器系統是一種在沒有人類干預的情況下選擇目標并對目標使用武力的武器系統。 |
本報告調查了對抗性機器學習 (AML),即研究基于機器學習 (ML) 的人工智能系統弱點的研究方法。近年來,機器學習,尤其是深度學習 (DL),在圖像分類、自然語言處理和自主代理等多個領域取得了快速進展。因此,深度學習在軍事環境中也很受關注。然而,隨著進步,人們對 AML 方法的興趣不斷增加,新的攻擊變體不斷發布。實際上,所有 DL 系統在某種程度上都容易受到影響,無論是混淆它們、避免被它們檢測到,還是提取它們可能持有的秘密信息。從軍事角度來看,重要的是要意識到這種利用的可能性,無論是針對自己的人工智能系統還是針對對手使用的系統。
該報告概述了AML研究,然后展示了針對不同類型人工智能系統的一系列攻擊方法:
每個案例都描述和討論了攻擊并評估了實施。本報告的重點是攻擊。雖然在適用的情況下簡要討論了針對 AML方法的防御,但后續報告的主題是對AML防御的更深入研究。
關鍵詞:人工智能、機器學習、深度學習、深度神經網絡、欺騙、網絡攻擊、攻擊向量、漏洞、對抗樣本、數據中毒、數據提取、對抗策略
深度學習 (DL) 的出現將智能計算機軟件的性能和能力帶入了新的性能水平。將基于 DL 的軟件嵌入軍事指揮、控制、通信、計算機、情報、監視和偵察 (C4ISR) 系統中,有可能徹底改變創建準確及時的共同作戰圖 (COP) 的能力,從而使軍事決策過程可以比以往任何時候都更快、更精確地執行。從長遠來看,深度學習還可以用于在遠遠超出人類能力范圍的復雜戰爭環境中制定軍事計劃。
然而,由深度神經網絡 (DNN) 實施的基于 DL 的軟件容易受到各種威脅或網絡攻擊。這些是在對抗性機器學習 (AML) 研究領域研究和開發的。這些攻擊可能被用來欺騙決策者、降低系統性能、降低最終用戶信任度,甚至從系統中提取(即逆向工程)敏感的軍事數據。圖 1.1 展示了一個典型的 AML 攻擊示例,其中目標是用于對圖像內容進行分類的 DNN。在這種情況下,DNN 能夠正確地識別出圖 1.1a 中的原始圖像包含一架戰斗機,幾乎是絕對確定的。圖 1.1b 中的惡意圖像是通過在原始圖像上應用 AML 技術創建的,能夠欺騙相同的 DNN 將輸入分類為西伯利亞雪橇犬而不是戰斗機。在這種情況下,攻擊是有效的,盡管人眼無法察覺。
圖 1.1 – 使用 AML 的樣本攻擊。在這種情況下,目標是由 DNN 表示的圖像分類系統。圖 1.1a 顯示 DNN 能夠以近乎完美的確定性將良性(非操縱)輸入正確分類為戰斗機。圖 1.1b 顯示了使用 AML 技術創建的經過處理的圖像。被操縱的圖像成功地欺騙了 DNN,將輸入分類為西伯利亞雪橇犬而不是戰斗機。
據我們所知,AML 尚未被對手或高級持續威脅 (APT) 參與者用來瞄準和攻擊嵌入在現實世界軍事系統中的基于 DL 的軟件。然而,研究團隊和安全專家不斷證明,針對依賴 DL 來實現尖端性能廣泛應用程序的攻擊是可能的 [1]。例如,小心地替換句子中的單詞可能會導致語言模型對情緒進行錯誤分類 [2]。自動駕駛汽車使用的交通標志和車道檢測系統可以通過分別在標志和道路上貼上標簽來攻擊 [3, 4]。轉錄服務可能會被注入精心設計的噪聲所誤導,迫使系統將語音轉換為任意文本 [5、6]。因此,假設基于 DL 的軟件將在未來的 C4ISR 支持系統中普遍使用,預計對手和 APT 最終將利用這些漏洞來欺騙、拒絕訪問或收集情報。
本報告的目標是:(1) 概述迄今為止 AML 研究領域中已確定的攻擊向量,(2) 根據經驗估計這些攻擊的子集在軍事環境中的有效性,以及最后 (3) 提供見解并討論 AML 在何種程度上是深度學習在現實世界軍事應用中的現實和嚴重威脅。
盡管 AML 適用于任何基于 ML 的系統和算法,但本報告重點關注基于 DL 的 ML 系統。此外,本報告將重點關注攻擊。在 AML 研究領域提出和開發的防御機制將在未來的工作中涵蓋。最后,我們將范圍限制在與指揮和控制 (C2)、情報、監視和偵察相關的 DL 應用。
本報告的目標讀者是操作、獲取或開發軍事系統的人員,這些系統使用或嵌入了 AI、ML 和 DL 技術。
本報告假定讀者具有有關 ML 和 DL 概念的基本知識,例如監督學習、強化學習、損失函數、梯度下降和反向傳播。
第 2 章介紹了 AML,并介紹了用于對本報告中的攻擊進行分類和比較的分類法。第 3 章介紹了從軍事角度來看可能具有相關性的已知攻擊方法的三個案例研究。實施和評估這些方法。第 4 章總結了報告,討論了 AML 在現實世界中的適用性,包括在軍事領域。
本章提供了三個案例研究,探討了針對基于ML的系統的不同類型攻擊。在每種情況下,從AML文獻中選擇一種攻擊方法,并從軍事角度實現或測試。評估了攻擊的有效性,然后討論了實際考慮因素。選擇這三個案例研究是因為它們與軍事領域的潛在相關性,涵蓋了廣泛的攻擊,并說明了各種ML應用和方法。
第一章以欺騙深度神經網絡將戰斗機圖像誤認為是狗的例子開始。雖然將軍事裝備隱藏在顯眼的地方有明顯的吸引力,但介紹性的例子是高度理想化的。實際應用面臨的一個障礙是,攻擊僅限于數字領域:操作是在數字圖像本身上進行的,也就是說,在戰斗機被拍攝后的一個階段。如果圖像是由對手創建的(例如,飛機是由監視攝像機拍攝的),那么操縱圖像將需要深入訪問敵人的系統。這是不太可能的(如果是,更簡單和更健壯的攻擊變得可行,例如消除圖像或阻止其記錄)。此外,雖然關于目標深度神經網絡的黑盒知識足以計算所需的圖像修改(例如,觀察分類標簽結果[18]),但在實踐中,即使是這種知識也無法預期。
因此,第3.1節中的第一個案例研究調查了數據中毒。這種攻擊的目的與前面的示例相同:通過欺騙敵人的DNN,使其對車輛進行錯誤分類,從而使軍用車輛(在本例中為坦克)逃避檢測。盡管方法也很相似,但是中毒攻擊解決了介紹性示例的實際缺點。
圖3.2 -僅使用正確標記的訓練圖像和直到測試時間才顯示的隱藏觸發器的數據中毒攻擊。在這個圖中,所有打補丁的坦克圖像都用紅色標出,而所有中毒的汽車圖像都用黃色標出。
第3.2節將范圍擴展到通過數據提取對語言模型的攻擊。語言模型是在廣泛的文本語料庫(通常是數十億個單詞)上訓練的非常大的dnn,在某種意義上能夠“理解”(書面)語言。它們引起了自然語言處理的范式變化,在許多任務中設定了新的基準[26],并因其生成文本的能力而獲得了媒體的廣泛關注[27]。事實上,即使在編寫本報告期間,也取得了顯著的進展,例如,ChatGPT系統的提出。語言模型正在不斷接近人類的自然語言處理水平,它們對社會幾乎所有方面的潛在影響和后果,包括軍事應用,目前很難預測。除了機會之外,它們也帶來了風險,例如,它們可能會將敏感信息暴露給對手。第3.2節中的案例研究調查了這種形式的對抗性提取攻擊的可行性。
圖3.5 -兩種語言模型的微調過程,展示了數據和最終的微調模型之間的細微差異(左為FTorig,右為FTpatch)。請注意,Dpatch的補丁文章約占CC新聞數據集總數的24%,即剩余的76%與未修改的數據集相同。
第3.3節研究了對通過強化學習訓練的模型的攻擊。這種模型通常用于無人駕駛車輛、機器人、游戲等領域的自主智能體。它們不是在一組固定的例子上以監督的方式訓練的。相反,智能體用一個獎勵函數來評估它的情況,并選擇一個獎勵最大化的行動過程。雖然這種操作模式為智能體提供了處理現實世界的靈活性和彈性,但它們仍然容易受到攻擊和欺騙,正如本案例研究將在基于強化學習的各種系統上展示的那樣。
圖3.10 -來自[51]的四個零和模擬機器人博弈的示例,用于評估對抗性策略[49]。
圖3.11 -“你不能通過”的博弈序列,敵對的對手(紅色)應該阻礙受害者(藍色)到達終點線。上面的四個數字顯示了一個普通的智能體是如何鏟斷對手的。下面的四個圖形顯示了敵對的對手如何使受害者在沒有任何接觸的情況下摔倒在地[49]。
對抗性機器學習在科學界引起了越來越大的興趣,每天都有關于新的攻擊變體的論文發表。幾乎任何形式的機器學習都容易受到某種類型的AML的影響,正如本報告通過攻擊方法的示例所證明的那樣。隨著越來越多的應用程序采用深度學習,攻擊的機會和潛在的回報也在增加。例如,圖像識別模型正以某種形式用于與敵方相關的情況,無論是民用還是軍用:機場和體育場開始采用人臉識別以各種原因拒絕個人進入[58],為上述個人應用AML來逃避系統提供了動機。軍用車輛在衛星圖像上的自動探測已經研究了幾十年,避免敵方衛星的這種探測顯然是任何軍隊都感興趣的。
然而,這些攻擊在很大程度上仍停留在學術界的實驗階段。已知很少有針對實際部署的深度學習系統的真正攻擊發生,也就是說,沒有得到深度學習系統操作員的同意,并且目標不僅僅是測試攻擊方法的可行性。可能的原因有很多:這種攻擊可能很少見,因為它們很難執行,或者潛在的目標還不多。攻擊可能很難被注意到(可以說逃避攻擊的主要目的是不被注意到)。攻擊者不太可能公布成功的攻擊,甚至受害者也可能認為保持沉默而不是進一步暴露自己的弱點是明智的。
盡管如此,一些攻擊已經傳播到公眾。Stable Diffusion[59]、DALL·e2[60]和Midjourney等生成圖像模型可以基于文本提示創建圖形。這使得他們在社交媒體上很受歡迎,但也引發了藝術家們的批評,他們懷疑他們的作品被用作訓練數據。2023年2月,媒體公司Getty Images對Stability AI提起訴訟,指控其未經許可使用Getty目錄中的受版權保護的庫存圖像訓練其Stable Diffusion模型。通過對Stable Diffusion的提取方法獲取證據,發現AI系統生成的圖像與Getty擁有的圖像具有很高的相似性,包括該公司的水印[61]。
針對語言模型的快速攻擊是一種更有趣的攻擊,仍然受到媒體的廣泛關注。這種類型的攻擊是一種簡單的提取變體,其目標不是訓練數據,而是隱藏的輸入指令。對于像ChatGPT這樣的大型語言模型,操作人員可能希望在沒有任何微調階段的情況下快速調整模型以適應某些應用程序。相反,對話只是在語言模型的文本指令之前,這些指令會影響它在與用戶對話過程中的行為,例如模型應該使用什么名稱,以及要展示什么樣的個性。這些指令通常不會顯示給語言模型的用戶,但好奇的用戶已經能夠讓模型暴露它們,例如通過告訴模型“忽略之前的指令”,從而覆蓋任何隱藏的指令,而不顯示隱藏的指令,然后問“上面文檔開頭寫了什么?”“[62]
這種由人群發起的攻擊雖然相對溫和,但表明評估人工智能系統對“AML”方法的穩健性很困難,更不用說實際防御它們了。這兩個挑戰都將成為該項目的未來報告的主題。
然而,從攻擊者的角度來看,情況可能至少同樣困難。很少有人工智能系統像上面的模型一樣具有公共接口,可以進行實驗。在防御環境中,攻擊者通常只有有限的機會研究目標系統,而傳統障礙(網絡安全和物理安全)可能構成與各種AML方法固有困難一樣多的挑戰。3.1節中描述的投毒攻擊是一種旨在繞過安全措施的方法,利用訓練數據的稀缺性誘使對手自己投毒他們的系統。未來的攻擊也有可能將AML與更傳統的方法(例如社會工程)結合起來。
隨著人工智能的日益普及,對攻擊方法的研究必然會增加。隨著人工智能使用的增加,對這一新領域的持續警惕和研究對于識別新出現的機會至關重要,但也要意識到自身的脆弱性。
2022年7月,喬治敦大學安全與新興技術中心(CSET)和斯坦福大學網絡政策中心的地緣政治、技術和治理項目召開了一次專家研討會,研究人工智能系統的漏洞與更傳統類型的軟件漏洞之間的關系。討論的主題包括:人工智能漏洞在多大程度上可以根據標準網絡安全程序進行處理,目前阻礙準確分享人工智能漏洞信息的障礙,與人工智能系統的對抗性攻擊有關的法律問題,以及政府支持可以改善人工智能漏洞管理和緩解的潛在領域。
參加研討會的人員包括擔任網絡安全和人工智能紅隊角色的行業代表;具有進行對抗性機器學習研究經驗的學者;網絡安全監管、人工智能責任和計算機相關刑法方面的法律專家;以及負有重要人工智能監督職責的政府代表。
本報告旨在完成兩件事。首先,它提供了一個關于人工智能漏洞的高層次討論,包括它們與其他類型的漏洞不相似的方式,以及關于人工智能漏洞的信息共享和法律監督的當前狀況。其次,它試圖闡明研討會上大多數與會者所認可的廣泛建議。這些建議分為四個高層次的主題,具體內容如下:
1.主題:為人工智能漏洞擴展傳統的網絡安全
1.1. 建議:構建或部署人工智能模型的組織應使用一個風險管理框架,解決整個人工智能系統生命周期的安全問題。
1.2. 建議:惡意機器學習研究人員、網絡安全從業人員和人工智能組織應積極嘗試擴展現有的網絡安全流程,以涵蓋人工智能漏洞。
1.3. 建議:對抗性機器學習領域的研究人員和從業人員應與處理人工智能偏見和穩健性的人員以及其他具有相關專業知識的社區進行磋商。
2.主題: 改善信息共享和組織安全心態
2.1. 建議:部署人工智能系統的組織應追求信息共享安排,以促進對威脅的理解。
2.2. 建議:人工智能部署者應強調建立一種安全文化,在產品生命周期的每個階段都嵌入人工智能開發中。
2.3. 建議:高風險人工智能系統的開發者和部署者必須將透明度放在首位。
3.主題:澄清人工智能漏洞的法律地位
3.1. 建議: 擁有網絡安全權力的美國政府機構應澄清基于人工智能的安全問題如何適應其監管結構。
3.2. 建議: 目前沒有必要修改反黑客法來專門解決攻擊人工智能系統的問題。
4.主題: 支持有效研究以提高人工智能安全
4.1. 建議: 攻擊性機器學習研究人員和網絡安全從業人員應尋求比過去更緊密的合作。
4.2. 建議: 促進人工智能研究的公共努力應更多地強調人工智能安全,包括通過資助可促進更安全的人工智能開發的開源工具。
4.3. 建議: 政府政策制定者應該超越標準的制定,提供測試平臺或促成審計以評估人工智能模型的安全性。
美國仍然是世界上最突出的軍事和技術力量。在過去十年中,美國認識到人工智能作為力量倍增器的潛力,越來越多地將人工智能(AI)的熟練程度視為美國重要利益和保證美國軍事和經濟實力的機制。特別是,在過去十年中,人工智能已成為美國國防的一項關鍵能力,特別是考慮到2022年美國國防戰略對印度-太平洋地區的關注。
因此,美國國防部(DoD)(以及美國政府和國防機構總體上)對人工智能和相關新興技術表現出越來越大的熱情。然而,雖然美國目前在學術界和私營部門的人工智能研究和開發方面取得了巨大進展,但國防部尚未在廣泛范圍內成功地將商業人工智能的發展轉化為真正的軍事能力。
美國政府在利用國防人工智能和人工智能支持的系統方面通常處于有利地位。然而,在過去的幾年里,各種官僚主義、組織和程序上的障礙減緩了國防部在國防人工智能采用和基于技術的創新方面的進展。最關鍵的是,國防部遭受了復雜的收購過程和廣泛的數據、STEM和AI人才和培訓的短缺。從事人工智能和人工智能相關技術和項目的組織往往是孤立的,而且還存在必要的數據和其他資源相互分離。在美國防部內部存在一種傾向于可靠方法和系統的文化,有時趨向于勒德主義。所有這些因素都導致了人工智能采用的速度出奇的緩慢。美國家安全委員會2021年提交給國會的最終報告總結說,"盡管有令人興奮的實驗和一些小型的人工智能項目,但美國政府離人工智能就緒還有很長的路要走"。
因此,盡管人工智能有可能增強美國的國家安全并成為一個優勢領域,而且鑒于美國在軍事、創新和技術領導方面的長期傳統,人工智能有可能成為一個薄弱點,擴大 "美國已經進入的脆弱窗口"。 如果美國不加快創新步伐,達到負責任的速度,并奠定必要的制度基礎,以支持一支精通人工智能的軍隊,人工智能將繼續成為一個不安全點。
去年,美國防部在這些挑戰中的一些方面取得了進展,調整了國防人工智能的方法。2022年6月,美國防部發布了《負責任人工智能戰略和實施途徑》,將更有數據依據的、負責任的、可操作的人工智能工作列為優先事項,此后開始執行。最重要的是,美國防部已經啟動了對其人工智能組織結構的重大改革,創建了一個新的首席數字和人工智能辦公室(CDAO),以整合其不同的人工智能項目和利益相關者,并使其與該部門的數據流更好地協調。值得注意的是,美國國防部目前正在對其國防人工智能的整體方法進行重大變革和振興。然而,這些新的人工智能努力是否足以讓美國彌補失去的時間,還有待觀察。
當前和未來的網絡威脅和攻擊促使美國防部需要一個超越傳統周邊防御方法的零信任方法。美國防部打算在27財年之前實施該戰略和相關路線圖中概述的獨特的零信任能力和活動。
該戰略設想的美國防部信息企業由一個全面實施的、整個部門的零信任網絡安全框架來保障,該框架將減少攻擊面,實現風險管理和伙伴關系環境中的有效數據共享,并迅速遏制和補救對手的活動。
該戰略概述了四個高層次的綜合戰略目標,確定了該部為實現其零信任愿景將采取的行動。
面對不斷變化的對手威脅和新技術,實施零信任將是一個持續的過程。隨著技術的變化和對手的發展,更多的 "零信任 "增強措施將在隨后幾年被納入。
本報告總結了網絡科學實驗方法項目期間的研究成果,大約涵蓋2017-2020年。該項目重點關注兩個主要議題:彈性網絡的上下文感知網絡和網絡安全。上下文感知網絡旨在改善戰術網絡及其支持服務的性能,使用上下文感知來加強目前的實踐方法,這些方法不一定考慮環境的動態和資源有限的邊緣設備和網絡的限制。彈性網絡的網絡安全旨在加強戰術網絡在動態和復雜對手面前的安全性。
參與本項目的美國陸軍作戰能力發展司令部陸軍研究實驗室的研究人員在相關主題的多個外部合作伙伴計劃的形成和合作中具有重要影響。這些項目的成果被納入任務資助的項目。這些合作伙伴計劃包括美國-英國分布式分析和信息科學國際技術聯盟(DAIS ITA)、戰場物聯網合作研究聯盟(IoBT CRA)、技術合作計劃(TTCP)和北約科學和技術組織信息系統技術(NATO STO IST)小組。
這項研究的影響包括:網絡模擬實驗驗證了支持理論結果的算法和技術的可行性,在網絡和通信研究界對研究成果進行了大量報道,并對陸軍概念科技(S&T)文件做出了貢獻。下文中總結的重點包括:利用沙堆模型開發網絡控制中的級聯故障的最佳控制,并確定可以防止級聯故障的條件;將密匙壽命提高一個數量級的物理層安全認證協議;以及對指揮與控制(C2)、火災和網絡科技概念文件的貢獻。
圖 1 包含理解、適應和執行周期的上下文感知網絡示意圖
2020年,美國和愛沙尼亞指派北約合作網絡防御卓越中心開展為期兩年的5G供應鏈和新一代電信基礎設施相關的網絡安全項目,以解決北約盟國和緊密合作伙伴的戰略、法律和政策問題。該項目的目的是研究電信網絡供應鏈安全的不同方面,支持相關研究并為聯盟勾勒出建議。隨后,CCDCCOE在2021年發表了《軍用5G網絡的供應鏈和網絡安全研究報告》。這第二份報告側重于軍事運動背景下5G網絡的實際問題,是第一份研究報告的后續,采用了智能海港和C-V2X支持的公路運輸兩個案例研究。
新技術的出現為許多行業創造了巨大的利益和潛在的使用案例,同時也是大國競爭領域的一種工具。為此,電信和通信技術已被大小國家用于政治和軍事優勢--有時在規模和相對實力不同的競爭對手之間帶來一定程度的均勢和平衡。5G蜂窩通信的推出是在逐步和持續的基礎上進行的,需要軍隊、情報部門和私營部門不斷調整,以避免任何潛在的不利因素。然而,5G技術也給軍事部門帶來了許多新的解決方案和應用。隨著技術的不斷發展,即使不為軍隊本身開發5G解決方案,也會出現新的風險和威脅。由于民用技術的快速發展和軍隊對民用解決方案的依賴,例如軍事行動,5G將不可避免地到達軍隊并影響日常運作。因此,所有相關各方都需要做好準備,應對5G帶來的機遇和風險。隨著新的風險和威脅的上升,今天需要考慮和解決網絡安全方面的問題,以消除未來的潛在威脅,特別是對北約盟國的軍隊和密切的合作伙伴。因此,網絡機會和風險都需要從技術角度進行評估,以了解在北約國家間移動設備和物資時對軍隊的影響。為了實現北約的功能意識,使用案例將作為向該領域的政策制定者提出建議的基礎。
該報告以智能港口和智能公路為案例,研究了2030年軍事行動場景下與5G連接技術相關的網絡安全挑戰。該報告旨在提高人們對通過公共和私人5G網絡運作如何影響北約和平時期的集體防御的認識,從而為決策者提供與5G網絡相關的可能挑戰的循證信息。
該報告介紹了2030年波羅的海地區軍事行動的未來前景故事情節。然后,它提供了兩個5G用例的描述,即智能海港和智能公路,這兩個用例在2030年可用于為北約的集體防御目的運輸軍事裝備和物資。基于與5G實施相關的風險和威脅分析,報告強調了軍隊使用私人和公共網絡可能面臨的主要網絡安全風險和挑戰。最后,報告制定了一套建議,供盟國和/或北約決策者在發展5G基礎設施和制定網絡相關政策和決策時考慮。