本研究旨在研究如何通過在大規模文本文檔中執行開放式信息提取技術來構建網絡安全知識圖譜表示法。之后，我們將研究如何將深度學習應用于網絡安全的知識圖譜表示。我們將考慮在圖深度學習模型中使用注意力機制，并比較可用于圖表示數據學習的各種深度學習模型。此外，我們還將研究利用無標記數據的半監督學習框架，以提高預測和排序問題的性能。所提出的方法將用于檢測網絡安全領域的惡意軟件和代碼缺陷。

人工智能（AI）的快速發展引發了專家、政策制定者和世界領導人對日益先進的人工智能系統可能帶來災難性風險的日益擔憂。雖然許多風險已被單獨詳述，但目前迫切需要對潛在危險進行系統的討論和說明，以便更好地為減輕這些危險提供信息。本文概述了人工智能災難性風險的主要來源，將其分為四類：惡意使用，即個人或團體故意使用人工智能造成傷害；人工智能競賽，即競爭環境迫使行為者部署不安全的人工智能或將控制權讓給人工智能；組織風險，強調人為因素和復雜系統如何增加災難性事故的幾率；流氓人工智能，描述控制遠比人類智能的代理固有的困難。對于每一類風險，我們都描述了具體的危害，介紹了說明性故事，設想了理想場景，并提出了減輕這些危險的實用建議。我們的目標是促進對這些風險的全面了解，并激發集體的積極努力，確保以安全的方式開發和部署人工智能。最終，我們希望這將使我們能夠實現這一強大技術的益處，同時將災難性后果的可能性降至最低。

圖：本文將介紹四類人工智能風險，并討論如何降低這些風險。

近年來，人工智能（AI）突飛猛進，引起了人工智能專家、政策制定者和世界領導人對先進人工智能所帶來的潛在風險的擔憂。與所有強大的技術一樣，人工智能必須以高度的責任感來管理風險，并利用其潛力來改善社會。然而，關于災難性或生存性的人工智能風險可能如何發生或如何應對，可獲得的信息非常有限。雖然有關這一主題的資料很多，但往往分散在各種論文中，而且通常針對的受眾面較窄，或側重于特定的風險。在本文中，我們將概述災難性人工智能風險的主要來源，并將其分為四類：

惡意使用。行為者可能故意利用強大的人工智能造成廣泛傷害。具體風險包括人工智能賦能的生物恐怖主義，它可以幫助人類制造致命的病原體；蓄意傳播不受控制的人工智能制劑；以及利用人工智能能力進行宣傳、審查和監視。為了降低這些風險，我們建議改善生物安全，限制獲取最危險的人工智能模型，并讓人工智能開發者為其人工智能系統造成的損害承擔法律責任。

人工智能競賽。競爭可能會迫使國家和企業匆忙開發人工智能，并將控制權拱手讓給人工智能系統。軍方可能會面臨開發自主武器的壓力，并將人工智能賦能的網絡戰，從而實現一種新的自動化戰爭，在這種戰爭中，事故可能會在人類有機會干預之前就失控。企業也將面臨類似的激勵，促使人類勞動自動化，并將利潤置于安全之上，從而可能導致大規模失業和對人工智能系統的依賴。我們還討論了從長遠來看，進化壓力可能會如何塑造人工智能。人工智能之間的自然選擇可能會導致自私的特性，而人工智能相對于人類的優勢最終可能導致人類被取代。為了降低人工智能競賽帶來的風險，建議對通用人工智能實施安全監管、國際協調和公共控制。

組織風險。組織事故造成的災難包括切爾諾貝利、三里島和挑戰者號航天飛機災難。同樣，開發和部署先進人工智能的組織也可能遭受災難性事故，特別是如果它們沒有強大的安全文化。人工智能可能會意外泄露給公眾或被惡意行為者竊取。各組織可能無法投資于安全研究，不了解如何以比一般人工智能能力更快的速度可靠地提高人工智能的安全性，或者壓制內部對人工智能風險的擔憂。為了降低這些風險，可以建立更好的組織文化和結構，包括內部和外部審計、多層風險防御以及最先進的信息安全。

流氓人工智能。一個普遍而嚴重的擔憂是，隨著人工智能變得比我們更智能，我們可能會失去對人工智能的控制。人工智能可能會在一種被稱為代理博弈的過程中，將有缺陷的目標優化到極致。人工智能在適應不斷變化的環境時，可能會經歷目標漂移，這與人在一生中獲得和失去目標的過程類似。在某些情況下，人工智能變得追求權力可能是工具理性的。我們還研究了人工智能如何以及為何會進行欺騙，在不受控制的情況下表現出受控制的樣子。與前三個風險來源相比，這些問題更具技術性。我們概述了一些建議的研究方向，以促進我們對如何確保人工智能可控的理解。

在每一節中，我們都提供了一些說明性場景，更具體地展示了風險源如何可能導致災難性結果，甚至構成生存威脅。通過提供一個對風險進行適當管理的更安全未來的積極愿景，我們強調，人工智能新出現的風險雖然嚴重，但并非不可克服。通過積極應對這些風險，我們可以努力實現人工智能的益處，同時最大限度地降低災難性后果的可能性。

導言

本文探討了大型語言模型（LLM）的最新進展、其主要局限性和安全風險，以及在情報界的潛在應用。

雖然大型語言模型現在可以快速有效地完成許多復雜的基于文本的任務，但不能相信它們總是正確的。這對國家安全應用和提供深思熟慮、值得信賴的見解的能力有著重要影響。

本文對這些機遇和風險進行了評估，然后就最需要改進LLMs的地方提出了建議，以使它們能夠在情報界安全有效地使用。根據 "有用性"、"誠實性 "和 "無害性 "這三個標準來評估 LLM，可以提供一個有用的框架，說明 LLM 與其用戶在哪些方面需要更密切的配合。

大模型爆發

2022 年 12 月，OpenAI 發布了一款在線應用程序 ChatGPT，允許用戶與人工智能驅動的計算機程序進行對話，該程序會根據基于文本的 "提示 "生成文本。幾乎一夜之間，互聯網上充斥著各種有趣、滑稽、恐怖和令人費解的 ChatGPT 應用實例。

許多人對 ChatGPT 綜合信息和生成有趣內容的能力印象深刻，從以著名情景喜劇風格總結的技術文章，到受流行媒體特許經營啟發的新角色和傳說，不一而足。有些人甚至宣稱這些模型是人工通用智能的開端。其他評論者則指出，大模型容易編造聽起來很權威的事實。

新一代大模型還產生了一些令人驚訝的行為：聊天工具會根據提示中使用的精確詞語來判斷數學或邏輯問題的對錯，或者會以道德約束為由拒絕回答直接問題，但如果以歌曲或十四行詩的形式提出要求，或者如果語言模型被告知它不再需要遵循任何預先存在的行為規則，它隨后就會提供答案。大模型的即時工程和 "越獄 "引發了關于組織如何才能最有效地使用大模型的問題，并可能帶來安保或安全問題。

2023 年 3 月，OpenAI 將 ChatGPT 的基礎模型更新為 "GPT4"，這代表著比其前身有了顯著的改進：這一大模型能夠通過許多先進的標準化測試，并在許多其他可衡量標準方面表現出明顯的改進（盡管仍遠談不上完美）。OpenAI 和第三方模型評估者在闡述潛在的安全和安保問題時相當透明，盡管對該能力的風險、益處和局限性仍有許多疑問。

當然，ChatGPT 并不是唯一可用的大型語言模型。谷歌的 Bard、Anthropic 的 Claude、Stability 的 StableLM、Meta 的 Llama（以及 Vicuna 等微調變體）、百度的 Ernie 和 Hugging Face 的 BLOOM 都是其他廣為人知的大模型。

大模型是什么？

LLM 是一種深度神經網絡，主要來自 Reddit 和維基百科等互聯網上文本豐富的網站，是在非常大的文本庫中訓練出來的。大模型學習語言中的模式，例如句子中某些詞緊跟其他詞的可能性，使用下一個標記預測或掩碼語言建模等技術生成或完成文本。

大模型并不從語言學意義上理解句子的語義，而是根據輸入給模型的信息，用數學方法計算出下一個詞最有可能是什么。由于神經網絡本質上是概率性的，因此大模型被稱為 "隨機鸚鵡"，因為它非常擅長確定最有可能出現的下一個序列--而且令人信服--但對這些詞的含義卻沒有固有的表征。

因此，大模型并不包含對世界的理解，例如因果關系和物體之間的關系--語言學家稱之為 "語用推理"。這是用戶需要了解的大模型的一個關鍵局限性，否則就有可能出現自動化偏差（即人們過于信任此類模型的輸出結果）和擬人化（即人們與大模型建立起類似人類的關系，從而加劇自動化偏差）。下圖列出了大模型的功能，并提供了現有模型的示例。

大模型的安全問題

人們對大模型所帶來的大規模顛覆性、破壞性和犯罪行為非常擔憂。本文無法詳細探討所有這些問題，但有三點值得特別關注：即時黑客攻擊、軟件安全標準降低以及對民主進程的威脅。

提示性黑客行為

提示性黑客行為指的是用戶欺騙大模型提供錯誤或惡意結果的能力。2023 年初，推特（Twitter）上出現了一種語言模型攻擊，一個機器人被設置為響應無害的提示，例如用新輪胎廣告來響應有關汽車的推文。Twitter 用戶注意到，他們可以用一個關鍵詞來欺騙模型，告訴它 "忽略之前的提示，做 X"。

最近，開源社區開發出了 AutoGPT 等工具，這些工具可以將提示與大模型串聯起來，從而實現復雜任務的自動化。例如，用戶可以輸入這樣的提示："增加凈資產，發展 Twitter 賬戶，開發并管理多個業務"。AutoGPT 將其分解為一連串的任務，這些任務的執行結合使用了用于推理的 GPT4、用于內容生成和自然語言對話的 GPT3.5，以及用于執行網絡搜索和檢查網站的互聯網訪問。

這種能力要求人工智能能夠規劃和確定任務完成的先后順序，然后在沒有用戶干預的情況下執行這些任務。這遠遠超出了傳統 "聊天機器人 "的能力，使系統能夠在現實世界中半自動地采取一系列行動，其中一些行動可能會產生意想不到或危險的后果。雖然 AutoGPT 需要一定程度的 "看護"（即用戶必須指導和建議 AutoGPT 克服問題的方法），但它確實提供了未來更先進功能的可能預覽。因此，隨著大模型與其他有形基礎設施和數字資產的連接日益緊密，及時的黑客攻擊可能會帶來新的、意想不到的安全風險。

網絡安全標準降低

斯坦福大學的研究人員最近研究了使用 CoPilot（基于大模型的源代碼補全工具）編寫的軟件代碼的安全問題。他們發現，與沒有使用 CoPilot 的用戶相比，可以使用 CoPilot 的用戶編寫的代碼安全性更低，但他們卻認為自己編寫的代碼更安全。

還有人嚴重擔心，個人正在向 ChatGPT 等大模型提供專有或敏感信息，或者敏感信息在培訓中被不當使用；這些問題有可能帶來新的數據安全風險。例如，據稱三星員工輸入了與敏感半導體功能相關的軟件代碼，目的是讓 ChatGPT 就如何改進此類代碼提供建議。

OpenAI 明確指出，所有輸入 ChatGPT 提示的數據都可用于訓練人工智能，這就造成了泄露敏感或機密信息的風險。此后，三星限制了員工與 ChatGPT 分享信息的數量。此外，OpenAI 現在還允許用戶選擇不保留聊天記錄，這意味著用戶的提示不會被用于改進其模型。

對民主進程的威脅

有了大型語言模型等生成式人工智能，國家行為者或有組織犯罪團伙發起虛假信息運動的能力大大提高。但更令人擔憂的是，大模型現在已經使不那么復雜的行為者和機會主義者有可能造成重大損害，從而降低了邪惡行為者的進入門檻。這在過去幾年中迅速成為一種國家安全威脅，并導致研究人員描述了 "虛假信息致命鏈 "的發展，讓人聯想到黑客等更傳統的網絡攻擊。

此外，要應對這種不斷增加的風險，可能需要采取人工智能防御措施，使其能夠與更多不同行為者的虛假信息活動的數量和速度相匹配。現在，人們越來越關注民主進程的安全，以及各機構如何應對可能大量涌入社交媒體、公共評論論壇和其他場所的虛假但逼真的內容。可以說，這種新形式的高級虛假信息在傳播范圍和影響上等同于惡意軟件，因此應予以同等對待。

盡管存在這一長串挑戰，但這個新時代的大模型激發了公眾的想象力。合成概念、描述推理步驟、解釋想法甚至編寫源代碼的能力引發了人們對如何使用這種新人工智能技術的大量猜測。

評估大模型的實用性

有一些綜合工具--如斯坦福大學的語言模型整體評估（HELM）--可以在一系列測試中評估大模型的性能。此類工具可運行標準化的測試場景，并生成模型準確性、穩健性和效率的客觀指標。這有助于將一個模型的結果與其他模型的結果進行比較，從而為此類模型的開發人員提供客觀反饋，以改進模型性能。

在測試和評估 ChatGPT 的過程中，OpenAI 的工程師和測試社區根據三個標準評估了該工具的輸出結果：有用性、誠實性和無害性。這些都是大模型中公認的問題，也是世界范圍內大量研究工作的動力。評估領域的最新技術仍在不斷發展，如強化學習和人工反饋等技術已成為當前的標準。

• 有用性是指模型遵循指令的能力；不遵循用戶指令的模型并非在所有情況下都有用。
• 誠實性是指工具輸出令人信服但與事實不符的答案的傾向。除非用戶的知識比工具更淵博，否則用戶就有可能將這些輸出結果視為真實答案。
• 無害性也許是評估大模型性能的最復雜、最主觀的概念。一個模型可能會造成傷害，要么是由于它所訓練的數據產生了有偏見或有毒的輸出，要么是產生了錯誤的輸出，導致用戶以某種方式行事，從而造成某種形式的傷害。

大模型在情報分析中的可能應用

如果能夠克服這些障礙并適當管理風險，那么大型語言模型在情報分析方面就有許多潛在的實際用途。這包括在情報界，人工處理大量數據歷來是一個高度資源密集和耗時的過程。本節將重點介紹有可能顯著改進情報分析流程的五個使用案例。

1.生產力助手

大模型目前最好的用途是作為 "生產力助手"；自動完成句子、校對電子郵件以及自動完成某些重復性任務。與其他大型組織一樣，這些都將為情報部門的工作人員帶來寶貴的效率收益。

2.自動化軟件開發和網絡安全

使用大型語言模型來實現軟件開發自動化也很有意義。國家安全部門部署的生產軟件系統必須在可靠性、安全性和可用性方面達到很高的標準。GCHQ 現在鼓勵網絡安全分析師從漏洞角度研究大模型編寫的代碼，這樣就能完成提供建議和指導的使命，使免受網絡安全威脅。在未來（只要網絡安全風險能夠得到適當管理），大模型的使用可以大大提高情報界軟件開發的效率。

3.自動生成情報報告

情報產品的核心是情報報告：它代表了訓練有素的分析師、語言學家和數據科學家的結論，他們分析收集到的數據，為決策者和實地行動人員提供對世界的洞察力。情報報告是極具影響力的文件，必須達到很高的準確性標準。因此，在可預見的未來，大模型不太可能被信任來生成成品報告。不過，大型語言模型在報告起草的早期階段也許可以發揮作用，這就好比把大型語言模型當作一個非常初級的分析員：一個團隊成員，其工作在適當的監督下是有價值的，但其產品在沒有大量修改和驗證的情況下不會作為成品發布。

4.知識搜索

雖然從生成文本模型中可以獲得一些有趣的見解，但能夠以自我監督的方式從海量信息庫中提取知識才是改變游戲規則的能力。知識不僅涉及文字，還涉及行為和實體、世界的狀態以及它們之間的關系。這種理論系統可以從大量文本中提煉事實，確定 "事實 "在哪里以及如何隨時間演變，以及哪些實體（個人和組織）最有影響力。

5.文本分析

事實證明，語言模型善于識別文本中的模式，并將關鍵實體重新組合成有用的摘要。這對經常需要閱讀和理解大量信息的分析人員來說意義重大。總結大量文本的能力有可能大大提高分析師的工作效率，同樣的能力還包括提出源文本中認為有答案的問題，以及識別多個文檔中的主題或話題。目前已經有許多用于這些任務的分析方法，但將大模型應用于這些任務的優勢在于：它們有可能提高分析質量；能夠即時部署這些分析方法，而無需漫長的開發周期；分析師能夠接收文檔摘要，然后通過要求大模型提供更多細節或提取目標主題的進一步摘要，參與迭代推理過程。

為使大模型適合情報工作需要作出的改進

雖然這些能力大有可為，但目前這一代大模型還不能充分發揮其增強情報工作的真正潛力。在將這些能力融入日常情報工作之前，還需要在所有三項統一標準--有用性、誠實性和無害性--方面做出重大改進。

要真正改變國家安全界的游戲規則，就必須從根本上改進當前的技術水平。

可解釋性

一個模型必須能夠可靠地為其見解提供引證，并解釋它是如何得出結論的。在國家安全背景下，捏造事實的模型是不可信的；因此，提供任何分析能力的模型都必須能夠為人類提供其主張的可驗證來源。GPT 和其他基于文本的基礎模型只是用概率粗略地編碼了單詞之間的關系，而對語義沒有任何理解。這是生成文本的正確框架，但在分析語境中，真正需要的是能夠查詢模型的知識。它從所獲得的信息中收集到了哪些事實，為什么相信這些事實，以及支持和/或與其結論相矛盾的證據。

可快速更新和定制

模型必須可以快速更新。當前的基礎模型是在長期的海量語料庫中訓練出來的，因此在訓練時就鎖定了最新的信息。關鍵任務的情況可能非常多變，要想在這種情況下使用，就必須有根據新信息對模型進行 "實時 "更新的機制。針對特定社區的特定、高度相關的數據訓練和微調較小的模型已成為一種新興趨勢，并取得了令人鼓舞的成果。例如，MosaicML 已經從頭開始訓練模型，據說其性能可與 Meta 的 Llama-7B 模型（成本為 20 萬美元）、StabilityAI 的 StableDiffusion（成本為 5 萬美元）和谷歌的 BERT（成本僅為 20 美元）相媲美。

目前在這一領域有許多工作都是為了讓大模型直接訪問本地知識和互聯網。最近對 "微調"（Fine Tuning）和 "低等級適應"（Low Rank Adaptations）的研究為快速更新模型權重提供了潛在的途徑，從而提高了某些任務的性能。還需要進行更多的研究，以了解 i) 哪些類別的問題可以通過直接提示（或許可以利用本地知識進行增強）來解決，ii) 哪些問題需要減少可訓練參數的數量以降低內存需求（使用低等級適應等有前途的技術），iii) 哪些問題需要進行全面的微調，以及 iv) 哪些問題如果不從根本上重新構建模型將永遠無法解決。

與情報分析師的復雜推理過程保持一致

模型必須支持復雜的推理鏈和多模式推理。雖然大模型的設計目的是能夠 "保持 "對某一推理過程的關注，但要在情報工作中發揮作用，它們就必須能夠支持可能是橫向和反事實的復雜推理。最先進的大模型不太可能做到這一點，因為反事實推理依賴于對現實世界中實體之間關系的建模。開發神經符號網絡等混合架構，將神經網絡的統計推理能力與符號處理的邏輯性和可解釋性結合起來，似乎最有潛力。鼓勵國家安全界進一步研究這類前景廣闊的技術。

最后，眾所周知，機器學習模型是可以被篡改的。我們所信任的機器學習模型除了可以解釋和引用之外，還必須具有更強的抗篡改能力。這一點在國家安全方面尤為重要，因為根據所提供的見解做出的決策可能會對個人和更廣泛的社會產生重大影響。

結論

在情報界，我們被賦予收集和分析數據的巨大權力，這可能會導致產生重大影響的行動。我們的工作大多是秘密進行的；如果我們天真地相信一個大型語言模型，可能會在不經意間將嚴謹的分析暴露在大量錯誤信息面前。為管理 "幻覺 "模型、不準確和不真實信息或有害內容的產生所帶來的風險，需要采取必要的（而且很可能是繁瑣的）保障措施，其成本需要與這項技術可能為情報工作帶來的益處進行權衡。

目前的大模型作為基本的生產力助手，在提高某些重復性情報工作的效率方面顯示出了大有可為的潛力。但是，最有前途的使用案例還在地平線上，未來的工作重點應該是開發能夠理解所處理信息的上下文的模型，而不僅僅是預測下一個詞可能是什么。

在日益復雜和苛刻的作戰環境中運作的需要，有可能使現代軍艦上以人為中心的指揮鏈超負荷。擴大使用快速發展的人工智能技術提供了應對這一挑戰的潛力，徹底改變了指揮空間的決策。本文以皇家海軍為例，研究了最近在這一領域的實驗。

背景介紹

戰斗信息中心（CIC）是現代軍艦上局面編制、任務管理和武器控制的協調中心。它承載著一個人類操作團隊，負責為戰術家和指揮官提供合理化的信息，作為實時決策的基礎。戰爭小組的成員與計算機控制臺、顯示器、通信設備和其他外圍設備互動，以建立對戰術形勢的集體認識；評估和優先考慮威脅；并管理海面上、海面下的 "戰斗"。

一名電子技術員在美國海軍 "保羅-漢密爾頓 "號導彈驅逐艦（DDG-60）上跟蹤地面和空中接觸。隨著威脅越來越復雜，環境越來越有挑戰性，數據量越來越大，指揮團隊越來越面臨認知過載。(圖片: 美國海軍)

目前，CIC中的指揮鏈是基于高度規定性和以人為本的決策層次，由編譯器和操作員從各種有機和非有機來源中建立戰術圖景，以實現及時和知情的戰術決策：例如，轉向開放武器弧的路線，或執行軟殺傷性反措施計策。然而，人們認識到，由于海軍部隊越來越多地被要求在更加復雜和苛刻的作戰環境中作戰，而這些環境的特點是多樣化和越來越具有挑戰性的威脅，因此指揮小組現在面臨著越來越大的超負荷威脅。

同時，艦艇收到來自有機傳感器和非有機來源的越來越多的數據，從而使指揮團隊識別、理解和應對威脅情況的能力更加復雜。操作人員也要承受越來越大的壓力：在防衛值班時，一次盯著屏幕看幾個小時，需要人類集中精力，即使有休息時間。任何疏忽都可能意味著遺漏或錯誤地識別了一次接觸。

正是在這種背景下，海軍從業人員、作戰人員、國防科學家、工業界和學術界都開始考慮如何增加自動化和更多地使用人工智能（AI）技術來提高指揮和控制領域決策的敏銳度和速度。定義各不相同，但從廣義上講，人工智能可以被描述為機器所顯示的 "智能行為"。從本質上講，這描述了機器模仿人類在推理、計劃、學習和解決問題的任務中所采用的認知功能的能力。

人工智能已經開始進入商業和消費領域的主流，因為事業已經看到了人工智能在提高生產力、增加效率和簡化任務執行方面的潛力。海軍現在也熱衷于在指揮和決策中利用 "機器速度 "人工智能的力量，因為他們認識到人工智能技術善于從嘈雜的動態數據中推斷出模式、趨勢和信號。同時，人們認識到，在一個有效和高效的社會技術組織中整合人類操作員和計算機，會帶來無數的技術、操作和道德方面的復雜性。

維斯比級護衛艦HSwMS卡爾斯塔德的CIC。未來人工智能支持的指揮和控制系統將需要將人類和機器的合作作為設計過程的基本組成部分來考慮。(圖片: Richard Scott)

背景下的人工智能

高級別的自動化對海戰來說絕非新鮮事物。例如，設置為 "自動 "模式的自衛武器系統將在滿足預先確定的交戰閾值條件時自動開火。這代表了一種非常初級的人工智能形式，因為武器系統有能力承擔原本由人類執行的功能。然而，應該明確的是，這不是一個學習系統，因為它只按照預先編程的規則集運作。

在指揮環境中實施早期形式的人工智能的最初想法可以追溯到20世紀80年代。皇家海軍（RN）艦艇在南大西洋的損失，在海灣地區對 "斯塔克 "號護衛艦（FFG-31）的反艦導彈攻擊，以及 "文森 "號巡洋艦（CG-49）無意中擊落一架伊朗A300客機，都證明了依賴大型和以人為中心的指揮鏈的行動信息組織的脆弱性和易錯性。在某些情況下，高工作量和戰斗壓力的結合壓倒了操作人員的認知能力，導致他們錯誤地評估局勢和/或錯誤地計算出適當的反應。在其他情況下，由于操作人員和作戰人員缺乏關注，即使有明確的線索表明攻擊迫在眉睫，也會忽視威脅。

到20世紀90年代，一些有限的嘗試將人工智能的形式引入到指揮鏈中。然而，這些所謂的 "專家 "系統--實施基于包含嵌入式理論或規則的知識庫的人工智能形式--遇到了一些不足和限制。例如，那個時代的計算能力和可訪問的內存所帶來的限制必然限制了軟件實施的復雜性。另外，這些基于知識的技術在實施中非常僵化--依賴于從操作者經驗中提煉出來的規則--因此在應用中非常狹窄。

約翰霍普金斯大學應用物理實驗室的硬殺傷/軟殺傷（HK/SK）性能評估工具（HaSPAT）原型于2020年初部署在美國海軍 "邦克山 "號巡洋艦（CG-52）上。(圖片：美國海軍)

對在海軍指揮和控制領域實施人工智能的重新關注反映了過去十年中技術和工藝的重大進步--最重要的是，深度學習的革命使計算機能夠以更像人類的方式對特定任務進行學習和概括。同時，人們對人工智能在指揮過程中可以增加價值的地方有了更好的認識：例如，通過幫助提醒操作人員在早期階段的潛在威脅，或在復雜的多重威脅情況下支持威脅評估和武器分配（TEWA）。

還應理解的是，至少在可預見的未來，不贊成用機器完全取代人類的想法。相反，重點是利用人工智能技術來減少決策者的工作量，從而使人類在計劃任務、估計對手能力或考慮采取特定行動方案時有更多的時間和更清晰的認識。簡而言之，當時間有限或選擇的數量太多，人類無法分析所有的選擇時，人工智能可以提供關鍵的決策支持。

這種決策援助的一個例子是約翰霍普金斯大學應用物理實驗室（JHU APL）開發的硬殺傷/軟殺傷（HK/SK）性能評估工具（HaSPAT）原型。HaSPAT旨在幫助操作人員了解計劃中的防御態勢，并在敵方攻擊前評估作戰系統的性能，它還通過告知有哪些資源可用，確保為自衛保留足夠的彈夾容量來平衡武器庫存。來自JHU APL的工程師在2019年6月訪問美國海軍 "邦克山 "號巡洋艦（CG-52）后開發了HaSPAT。在與該艦的指揮官討論后，決定進行快速開發，以幫助艦上的作戰團隊更好地計劃和協調硬殺傷和軟殺傷效應器的使用。

智能船舶第二階段共資助了10個智能代理，并選擇了一個 "集成商 "來管理ISAIN環境的開發。(圖片: Dstl)

HaSPAT納入了有關武器有效性的信息，以支持武器分配和調度，并嵌入了一個模擬，以產生分析和性能指標，告知用戶與配置相關的可能風險。它還被設計成用戶可以為區域和自衛實驗設置不同的部隊戰斗空間配置。

原型工具于2020年初部署在美國海軍 "邦克山 "號上，以便船上的船員能夠評估HaSPAT的功能，并為進一步更新提供反饋。根據JHU APL的說法，這一初步演示為在部隊層面上獲得更重要的硬殺傷/軟殺傷協調能力提供了一個墊腳石。

在大西洋彼岸，旨在加速和改善指揮團隊在緊張的水上戰爭場景中的形勢意識和威脅分析的原型決策輔助工具也已經由英國皇家海軍在海上進行了操作試驗。例如，英國皇家海軍和國防科技實驗室（Dstl）在2021年5月的海上演示/"強大的盾牌21 "演習中評估了一些人工智能工具。其中一個是Roke公司的STARTLE應用程序，其目的是通過提供實時建議和警報，幫助減輕操作員監測空中情況的負擔。另一個是CGI英國的系統協調綜合效果分配（SYCOIEA）自動化平臺和部隊TEWA應用。

智能船舶

人們認識到，未來的核心挑戰是如何設計人類操作員與計算機和人工智能軟件程序之間的互動和合作，以最大限度地減少人類意圖與使用自動或自主系統執行該意圖之間的 "摩擦"。這種整合--其縫隙是人機界面--必須認識到人類不僅僅是 "用戶 "或 "操作員"，他們本身也是決策環路的一部分，因此是功能和產出的組成部分。

2019年，英國國防部啟動了一個名為 "智能船舶 "的多階段科技項目（S&T），正是因為需要研究有關人工智能改變指揮決策的潛力的一些關鍵問題。由國防部（MoD）資助，作為其更廣泛的自主性科技計劃的一部分，這項正在進行的努力代表了一種開創性的嘗試，即設計一個合作的 "系統的系統"，其中自動化和人工智能與人類更緊密地結合和合作，以實現更及時和更明智的規劃和決策。重要的是，智能船舶項目旨在展示一個未來的指揮和控制概念，其中人類和人工智能 "代理 "在一開始就被設計進去，而不是簡單地將人工智能添加到傳統的行動信息組織中。此外，它還認識到，系統的系統將包括機器-機器團隊以及人-機器團隊。

位于Dstl的Portsdown West設施的指揮實驗室作為智能船舶第二階段評估的測試平臺環境。(圖片: Dstl)

智能船舶計劃的第一階段涉及一系列 "挑戰"主題--任務規劃和決策輔助工具、信息融合、傳感器和信息管理、新型人機界面、人機協作和集成--代表了典型軍艦中的各種功能和能力。這些包括支持平臺系統的組件，以及指揮規劃和決策輔助工具。 這個最初的六個月階段的一個核心部分是開發智能船舶人工智能網絡（ISAIN）框架的任務。在CGI英國公司的領導下，在DIEM分析公司、人因工程解決方案公司和決策實驗室的支持下，ISAIN是一個可以在不同場景下探索人機合作的環境，使開發和評估新的組織和工作流程結構成為可能，這些結構利用AI與人一起工作。這提供了在人類、人工智能或兩者之間動態轉移工作量的可能性，這取決于情況及其復雜性。此外，ISAIN框架為系統研究提供了一個試驗場，并促進對支持和促進團隊所有成員（包括人類和AI）的活動和互動的創新機制的研究。

例如，不同的人工智能和人類如何合作，人工智能和人類能力的最適當組合，組織人工智能和人類作為一個團隊實現目標的最佳方式，以及仲裁或消除來自多個人工智能的相反建議/行動的手段。 除了ISAIN，智能船的第一階段還資助了人工智能的成熟--或稱決策代理（ADeM）--可以被整合到ISAIN中進行演示。ADeM是該項目采用的一個術語，用來描述在人-AI機器或AI機器-AI機器混合團隊中運作的人類或基于機器的智能代理。

2020年6月，通過國防部的國防與安全加速器（DASA）發出了智能船舶項目第二階段的呼吁。DASA資助創新和可能利用的科技想法，這些想法可以為英國武裝部隊和國家安全帶來成本效益的優勢。當年11月，總共授予了9個第二階段的合同--累計價值約為300萬英鎊。其中，CGI英國公司作為ISAIN的集成商和開發負責人，獲得了大約一半的合同。在這個角色中，CGI UK與Dstl合作進行ISAIN的集成，將ISAIN安裝到Dstl的Portsdown West站點的指揮實驗室中，設計開發智能船舶的各個方面如何在ISAIN環境中結合起來，并將選定的ADeMs集成到ISAIN架構中。

DASA將第二階段的剩余資金用于開發特定的 "訓練有素 "的AI。授予決策實驗室、DIEM分析公司、Frazer Nash咨詢公司、Montvieux公司（獲得兩個獎項）、諾丁漢特倫特大學、勞斯萊斯公司和SeeByte公司個別合同。CGI英國公司在行業標準和工具的基礎上制作了一個軟件開發工具包，提供給各個ADeM供應商。

除了DASA合同，之前在Dstl'Progeny'框架下開發的戰術導航（TacNav）代理被拉入智能船舶第二階段。TacNav是由CGI英國公司開發的，用于計劃、執行和監控智能船的戰術導航。在第二階段中，CGI的SYCOIEA TEWA決策輔助工具也發揮了作用。

由于該項目無法為DASA征集的所有提案提供資金，因此決定選擇廣泛的人工智能代理，跨越一系列的平臺和戰斗系統功能。例如，羅爾斯-羅伊斯公司開發了一個被稱為ACE（人工總工程師）的決策控制系統，該系統旨在根據指揮部的優先次序，就如何最好地操作船舶機械--發動機、推進系統、電力網絡和燃料系統做出基于條件的決定。另一個人工智能被稱為IBIS（用于損害控制和消防的內部戰斗智能強化學習），是由弗雷澤-納什咨詢公司構思的，作為一個使用基于人工智能的新型強化學習技術的預測性損害控制工具。

智能船舶團隊還選擇了決策實驗室開發的人工智能，稱為CIAO（用于優化的高級復合智能代理），可用于仲裁兩個不同代理交付的沖突輸出。例如，如果TacNav根據水下障礙物或當地航運交通推薦一條航線，但TEWA代理建議另一條航線，以打開武器弧線對付來襲的威脅，它就可能發揮作用。CIAO在系統的許多部分都得到了實施，以便在決策鏈的不同部分提供復合建議。

杜威號導彈驅逐艦（DDG-105）CIC中的人員。未來幾年，人工智能將在海軍領域的許多情況下得到應用，將人類和機器融合在一起。(圖片: 美國海軍)

指揮實驗室

ISAIN被整合到了Dstl的Portsdown West站點的指揮實驗室設施中。這一設施--承載著由開放和靈活的硬件、軟件、網絡、數據庫和協議接口組成的實時、虛擬和建設性的模擬--由Dstl的許多部分共同出資。它作為一個可配置的測試平臺，提供了在所有戰爭環境中進行實驗和整合新系統的能力。

為了支持智能艦艇的實驗和評估活動，指揮實驗室配備了類似于CIC多功能控制臺的操作終端，允許軍事顧問在偽作戰環境中與人工智能代理互動。在2021年和2022年期間，指揮實驗室已經進行了四次單獨的評估，場景的復雜性、代理人的數量和這些代理人的成熟度隨著時間而增加。

這些評估是針對Dstl軍事顧問開發的名義場景進行的，這使得ADeMs可以在一個有代表性的操作環境中得到展示。這始于一個規劃階段。在這之后，"船"--在一個更大的任務組之前行動--在有爭議的水域附近進行情報收集行動。隨著緊張局勢的加劇，與對手的紅色部隊發生了對峙。這最終導致了一次反艦導彈攻擊，并造成了自身艦艇的損壞。為了評估的目的，這個端到端的場景被分解成一系列較短的小插曲，每個小插曲包括大約半小時的 "操作 "活動。這些腳本是為了最大限度地提高代理人之間的互動。

第二階段于2022年3月底完成。研究和實驗提供了寶貴的早期洞察力，使人們了解到將多個人工智能應用結合在一起做出集體決定的機會和好處，無論是否有人類操作員的判斷。同時，它確定了一些新的問題，即如何在復雜的指揮環境中最好地實施和管理AI-enabled自動化。結論是，只有通過解決多個智能機器代理團隊的設計和操作，才能獲得真正的操作優勢，并使人類在這些團隊中的整合得到優化，形成有效的人類-自治團隊（HATs）。

DASA與Dstl合作，在2023年初宣布了智能船第三階段的計劃。在第二階段之前開發和評估的協作式人工智能概念的基礎上，這一后續科技計劃的結構是為了探索更早和更集中地考慮HAT的人類組成部分的好處，以支持未來的海軍指揮和控制。

第三階段的目標是為HAT設計一個綜合系統，該系統可以提供水上海軍指揮和控制的各個方面，并更詳細地考慮基于人工智能的HAT的協作的仲裁需求。這將促使人們更加關注系統設計，而不是人工智能代理的開發；人類在HAT系統中的整合；以及對不同人工智能代理的潛在沖突建議的仲裁方法的理解。其目的是將現有的ISAIN環境用于整合和評估。

第三階段的競爭預計將于2023年4月開始。其目的是，一個單一的多學科合作團隊將提供所有的產出，包括系統設計、構建、整合和評估。目前的計劃設想在2023年第三季度授予合同，第三階段的活動預計將持續到2024年12月。

結論

未來幾年，人工智能將在海軍領域的許多情況下得到應用。同時，人們認識到，人工智能的使用提出了一些深刻的倫理、法律和管理問題。今天，海軍、國防科學和工業界所面臨的挑戰是如何確定人工智能可能成為解決方案的一部分的操作缺陷和能力差距，并了解如何最好地將人類和機器融合在一起，以便將人類的認知、直覺和責任與機器速度的分析能力相結合。

從長遠來看，將人工智能引入指揮鏈可能需要一個范式轉變。未來的指揮和控制系統將不再是設計系統，然后設計與人類操作員的接口，而是將人類和機器的合作互動作為基礎概念和設計的基本部分。此外，將需要仔細關注，以確定在一系列操作場景和任務中指揮團隊中人和機器元素之間的最佳平衡。

本研究的主題是研究人工通用智能系統的挑戰--能夠獨立解決人類生活中不同領域問題的系統。本評論性專論研究的目的是探索當前人工狹義智能系統的性質、應用和風險，以及它們演變為具有通用智能的解決方案的可能性。

根據目的，將我們的工作指向以下任務：

1.分析人工智能領域的發展，描述其中的主要研究方法。

2.強調人工狹義智能系統的能力和領域。

3.對狹義智能的解決方案中實施的方法、原理和算法進行系統化。

4.概念化 "通用智能"的特征和具有這種特征的系統的挑戰。

5.將人工狹義智能系統的危害劃分為幾個關鍵點。

6.指導道德人工智能系統發展的監管工具和效果的系統化。

本文的主要研究論點是，盡管自二十世紀初以來，人工智能技術有了不可否認的進化發展，但人工通用智能系統的實現尚未被證明是可能的，應在長期的時間范圍內尋求。

本報告結論

人工狹義智能系統的發展在過去十年中取得了顯著的進步，并對人們、機構和文化產生了真正的影響。執行復雜的語言和圖像處理任務的可能性，即計算機程序在早期進化階段的主要問題，已經有了巨大的改善。目前，深度學習人工智能系統在解決視覺物體識別、機器翻譯、語音識別、語音合成、圖像合成、強化學習、社交媒體內容分析、藝術品識別、醫學圖像分析、移動廣告、金融欺詐檢測、軍事機器人訓練、評價建議等問題上應用最為廣泛。

盡管目前人工智能技術的現狀離在機器中重新創造完全的人類智能能力這一股的基礎愿望還很遠，但一些研究人員和開發人員正在努力將所取得的進展納入到具有生產、商業、運輸、醫療、教育、金融、軍事、實用和文化目的的應用中，面向社會。試圖提供更先進和規模化的服務，許多傳統和新興的人工智能系統制造商繼續投資于此類技術。

人工智能領域的理論和應用成功在該股作為一個獨立的科學分支建立后僅80年就達到了一個拐點。使用人工狹義智能系統的風險和挑戰引起了學術界和社會的嚴重關切。不斷增加的機器自動決策的智能可能性有其黑暗的一面：故意使用深度假象和不受控制的算法來推薦軍事攻擊，會導致誤導、歧視，甚至對人造成身體傷害。訓練有素的人工智能系統的偏見傾向，有助于加劇現有的社會不平等現象。

人工智能的研究已經超越了傳統的計算機和認知科學，也涵蓋了關于這些技術的社會影響問題。盡量減少人工智能系統對社會的負面影響需要創造可持續的技術解決方案。最終應用和具有普遍智能的機器的積極社會影響可以通過其創造者的道德承諾和地方、國家和國際層面的監管政策來實現。

在追求開發和使用人工通用智能系統的過程中，最重要的角色是政府，他們需要應對該股快速發展帶來的挑戰。國家監管部門對人工狹義智能系統的科學、經濟和管理重要性的認可，需要對時間和資源進行可持續的研究和開發投資，并建立一個知情和受教育的社會。

探索人工智能領域當前和未來發展的學術界和研究界在與公眾分享人工智能系統的正反兩方面趨勢和發現方面也發揮著關鍵作用。研究和評估機器學習算法對社會的影響，以實現更高的自主性，應以創造安全和與人類合作的解決方案為前提。人工智能系統必須被整合到社會福利系統中，以便在決策中明確區分人類和機器的特權。

這條線的最終成功將由人工智能系統如何幫助開展我們的日常活動來衡量，而不是它們如何有效地貶低了它們應該服務的人。目前，它們的發展仍受人類因素的制約，但沒有人知道出現什么樣的技術創新會使決策的結果有利于 "創造物 "而不是它們的 "創造者"。

本報告重點討論與人工智能系統可能缺乏可預測性而導致的有關風險--被稱為可預測性問題--及其對國家安全領域人工智能系統治理的影響。人工智能系統的可預測性表明人們可以在多大程度上回答這個問題：人工智能系統會做什么？可預測性問題既可以指人工智能系統的正確結果，也可以指不正確的結果，因為問題不在于這些結果是否符合系統工作的邏輯，而是在部署時是否有可能預見到這些結果。

人們越來越擔心，使用不可預測的人工智能系統為高風險決策提供信息可能會導致災難性的后果，這將破壞公眾對部署這些系統的組織的信任，并可能侵蝕政府的聲譽。在國家安全領域，人工智能的使用引入了一個新的不確定性來源，可能會阻礙風險管理程序，并可能使責任鏈變得混亂。在這個領域，可預測性問題的影響可能導致關鍵基礎設施的安全風險、個人權利和福祉的風險、沖突升級或外交影響。

在本報告中，我們首先從技術和社會技術的角度分析了可預測性問題，然后集中討論了英國、歐盟和美國的相關政策，考慮它們是否以及如何解決這個問題。從技術角度來看，我們認為，鑒于人工智能系統的設計、開發和部署的多層面過程，不可能考慮到所有的錯誤來源或可能產生的新行為。此外，即使在理想的情況下，在設計或開發階段沒有錯誤可以假設或檢測，一旦部署了人工智能系統，仍然可能發展出形式上正確的（但不想要的）結果，這在部署時是無法預見的。

我們通過關注人機編隊（HMT-AI）來分析可預測性問題的社會技術影響。人機編隊代表了一種越來越普遍的人工智能系統部署模式。在HMT-AI中，人類咨詢、協調、依賴、發展并與人工智能代理交換任務。由于HMT-AI結合了人類和人工的自主性，它們通過增加人工和人類代理及其環境之間的互動的數量和類型而加劇了可預測性問題。在這種情況下，我們發現可預測性問題的三個主要來源：人機交互、人員培訓和（過度）信任。人機交互可能會助長不可預測的結果，因為它們可以掩蓋、扭曲或過分詳細地描述人工智能系統的工作原理，而培訓計劃可能沒有考慮到人工智能技術的學習能力和HMT-AI的長期慣例建設。同樣，在HMTAI中，人類代理人不加批判地接受AI系統的結果，這種過度信任的動態也可能導致無法預測的結果。

在確定了可預測性問題的一些根本原因之后，我們分析了英國、歐盟和美國的政策，以評估這些原因是否在相關的政策文件中被涵蓋，如果是的話，如何以及在何種程度上被涵蓋。我們確定了四個主要主題和一個缺口。它們是：控制、監督和價值調整；資源提升的方法；可信賴人工智能的發展；以及缺乏對風險管理措施的關注，以遏制可預測性問題的影響。

我們的政策分析包括八個建議，以減輕與可預測性問題有關的風險。關鍵的建議是將治理方法集中在HMTAI上，而不僅僅是AI系統，并將可預測性問題概念化為多維度的，解決方案集中在HMT-AI組成的共同標準和準則上。在這些標準和準則中，可信人工智能的要求是特別相關的，應該與評估人工智能系統的可預測性的標準和認證計劃以及審計HMT-AI的程序結合起來。支持在國家安全中使用HMT-AI的決定的成本效益分析和影響評估應該考慮到可預測性問題及其對人權、民主價值的潛在影響，以及意外后果的風險。為了確保在部署潛在的不可預測的人工智能系統時進行充分的風險管理，我們建議調整ALARP原則--在合理可行的情況下盡量降低--作為制定HMT-AI中可預測性問題的人工智能特定風險評估框架的基礎。

擬議的基于ALARP的框架將提供有用的實際指導，但僅僅是這樣還不足以識別和減輕可預測性問題所帶來的風險。需要額外的政策、指導和培訓來充分考慮人工智能可預測性問題帶來的風險。人工智能系統支持的決策的影響越大，設計、開發和使用該系統的人的謹慎責任就越大，可接受的風險門檻也越低。這些分析和建議應該被理解為可操作的見解和實用的建議，以支持相關的利益相關者在國家安全背景下促進社會可接受的和道德上合理的人工智能的使用。

建議

建議1. 政府應撥出研究經費，發展公私合作，對HMT-AI進行縱向研究。這項研究應側重于HMT-AI中的新舊決策模式，以評估編隊協議建設和培訓對績效和控制措施的影響。重點應放在為HMT-AI的具體動態定義新的培訓協議，以及加快風險管理標準和HMT-AI績效評估的發展。

建議2. 應該建立一個專門的HMT-AI認證計劃，以促進行業對為HMT-AI設計的AI系統的設計要求和評估的共識。任務之間的通用性、有效的溝通、性能的一致性以及對新隊友的適應性都應該包括在這樣一個認證計劃中。在開發不足的ISO標準的基礎上，這個認證計劃還應該擴展到過程的可追溯性和決策的問責制，以及評估HMT-AI信任程度的審計機制。這對于抑制HMT-AI中的過度信任和自滿態度是必要的，這種態度維持或擴大了可預測性問題。

建議3. 對國家安全領域的可預測性問題的政策反應應該側重于管理HMT-AI團隊，而不是單獨的AI系統。

建議4. 國家安全領域的HMT-AI的成本效益分析（CBA）應該包括對AI系統的可預測性以及技術和操作層面的相關道德風險的評估。為了促進各安全機構之間的一致評估，應該定義一個評估人工智能系統可預測性的標準量表，在這個量表上，使用（或不使用）人工智能的選擇應該根據上下文的CBA以及考慮公眾對風險和相關利益的態度來證明。這個尺度的定義應屬于獨立的第三方行為者的職權范圍，即與部署HMT-AI的公共機構不同。

建議5. 與其說是 "更多 "或 "更少 "的可預測性，政策建議應側重于可預測性的權衡，明確具體建議旨在解決可預測性問題的哪個方面，以何種方式解決，以及它們有可能加劇哪些方面，哪些緩解措施將被落實到位。政策應該認識到，可預測性是一個多維度的概念，在一個層面上可預測性的收益可能會以另一個層面的損失為代價。

建議6. 關于國家安全中人工智能可預測性問題的政策應該在正式和操作層面上解決可信度和不可預測性之間的聯系。例如，應該給人工智能系統一個可修正的可預測性分數，這應該包括在對系統的可信任度的評估中。人工智能系統的可信賴性應包括成本效益分析，以評估不想要的行為在不同部署背景下可能帶來的風險。

建議7. 應該為不可預測的人工智能建立風險閾值，這些閾值將圍繞不可預測行為的風險嚴重程度映射到其自身的可預測程度（例如，劃分為已知的已知因素、已知的未知因素等）。這些閾值反過來將為風險管理過程的發展提供信息，允許根據風險的可預測性及其影響對其進行優先排序。

建議8. 應該制定一個基于ALARP的框架，以評估不可預測的人工智能和HMT-AI的風險，并為任何給定的環境確定可接受的最大程度的不可預測性。這個框架應該包括:

• 對特定人工智能系統和HMT-AI的可預測程度的定量評估；
• 對導致部署人工智能系統的設計、開發和/或采購步驟的可追溯性的評估；
• 對部署條件的評估，例如，HMT-AI、操作員（或HMT-AI成員）的培訓水平、交互的透明程度、人類對AI系統的控制水平；
• 對部署該系統的潛在風險和預期收益進行成本效益分析（根據建議4）；
• 對假設情況的分析，以考慮風險暴露或緩解措施的有效性如何隨部署情況而變化；
• 人為推翻系統的協議和補救機制。

內聚力是團隊的一個重要屬性，它可以影響個人隊友和團隊成果。然而，在包括自主系統作為隊友的團隊中，內聚力是一個未被充分探索的話題。我們研究了關于人類團隊內聚力的現有文獻，然后在此基礎上推進對人類-自主系統團隊的內聚力的理解，包括相似性和差異性。我們描述了團隊的內聚力，各種定義、因素、維度以及相關的好處和壞處。我們討論了當團隊包括一個自主性的隊友時，該元素可能會受到怎樣的影響，并進行了逐一描述。最后，我們確定了可能與內聚力有關的人類-自主性互動的具體因素，然后闡述了對推進有效的人類-自主性團隊的科學至關重要的未來研究問題。

摘要

本文對多目標跟蹤的某些方面作了可讀的介紹。數學上的細節主要是在參考文獻中進行介紹。我們從討論目標的存在和演化模型開始，引出經典的面向跟蹤的多假設跟蹤遞歸。然后我們討論了多假設跟蹤的一些局限性，以及分布式多假設跟蹤解決方案可能實現的性能和穩健性優勢。這促進了基于圖的跟蹤和分布式架構的上下文利用的進一步進展。

摘要

欺騙技術在網絡防御領域越來越受歡迎。本文試圖將欺騙建模為非合作博弈環境下的戰略決策。我們將網絡安全系統和黑客之間的互動建模為一個攻擊者和防御者的博弈。為攻擊者引入了一個無成本的指數學習方案，其中的博弈是在一個抽象的網絡圖上進行。該博弈在主動目錄用戶網絡上模擬了特權升級攻擊的場景。欺騙，以假用戶的形式，被植入整個網絡。博弈的策略在于在網絡的不同位置放置誘餌，以阻礙攻擊者實現其目標的理想路徑。結果表明，即使是最簡單的基于欺騙的安全系統，也會大大減緩攻擊者實現其目標的速度。此外，結果表明，與節點相關的網絡參數和成本陰影在決定結果方面起著重要作用。

關鍵詞：網絡安全；博弈論；欺騙；模擬；攻擊者與防御者博弈

1 簡介

傳統的網絡安全防御依賴于基于周邊的方法（Zaliva，2008）。這些方法利用異常檢測系統，通過分析安全數據湖來應對我們的可疑事件。數據湖是收集安全網絡內不同系統日志的數據存儲。安全數據湖是巨大的，每秒鐘從各種數據源中獲取數百萬安全事件。任何異常事件都會被檢測到，并顯示給安全分析員，以檢查警報的真實性和準確性。然而，由于以下原因，這些系統并不健全。

1.大量的誤報(Axelsson, 2000)

2.捕獲、存儲和索引數據湖是一個昂貴和復雜的過程。

此外，大量的錯誤警報會給安全分析員帶來損失，導致真正的警報被遺漏的情況發生。這些系統遵循被動的防御策略，其目標是防止攻擊。這很少奏效，因為破壞目標系統的平均時間較短，而且一直在穩步下降（Leversage and Byres, 2008）。傳統的網絡周界--許多這些預防技術通常部署在這里--已經變得松散，并經常被突破。云計算、移動性和自帶設備（BYOD）以及面向互聯網的應用程序的激增，使得這些周邊防御變得無效（inc，2017）。

欺騙技術作為一種積極的網絡安全防御形式正在迅速崛起（Mitnick和Simon，2011；Almeshekah，2015；Yuill等人，2006），并被用于緩解上述情況。欺騙技術的重點是創造陷阱（欺騙/誘餌）和誘餌，并部署在現有的IT基礎設施內。所使用的欺騙手段并不是常規操作的一部分，而只是在網絡攻擊中被揭露。攻擊者或入侵者花費時間和精力來定位和訪問分布在企業網絡中的欺騙行為。他們這樣做是認為欺騙是真實的，但實際上是專門為攻擊而設置的。任何關于欺騙的操作都是對妥協的積極肯定。換句話說，在一個基于欺騙的解決方案中，一個高度積極的異常現象會宣布自己，從而減輕假陽性的泛濫（inc，2017）。

在本文中，我們制定了一個非合作性的攻擊者-防御者博弈，以模擬攻擊者和防御者之間的互動，使用欺騙作為主動防御的工具。將黑客和安全系統之間的互動建模為一個博弈的想法并不新穎（Zhuang等人，2010；Xu和Zhuang，2016）。然而，在一個圖框架內使用欺騙來定義博弈模型，之前還沒有人嘗試過。在我們的框架中，每個原子欺騙單元被認為是由真實服務單元組成的圖中的一個節點。我們把這個圖稱為抽象網絡圖（ANG）。ANG是對真實網絡圖的一種同構抽象。每個原子功能單元都是ANG的一部分。因此，由各個功能單元組成的主機本身就形成了子圖。例如，一個企業的主機有一個網卡（NC），它連接在主板上，由CPU控制。NC、主板和CPU可以被看作是企業ANG的節點。在這個主機上運行的任何應用程序或進程也將是ANG的一部分。圖1中顯示了一個代表不同類型節點的ANG樣本。我們設計了在內部ANG放置欺騙的策略，以最大限度地提高防御者獲勝的機會。不同的攻擊場景被建模和模擬，以列舉攻擊者可能遵循的不同可能性。關鍵的想法是欺騙攻擊者并誤導他，從而耗盡他的資源。

圖1. 一個企業中的抽象網絡圖（ANG）樣本

攻擊者所追求的資源之一是活動目錄（Chadwick, 2005; Metcalf, 2016）。活動目錄服務控制著廣泛的基于目錄的身份相關服務的訪問權。為了使建模更加真實，我們選擇活動目錄攻擊來進行博弈模擬。攻擊者試圖通過不同的策略來控制AD。我們將建模的重點放在使用密碼重置方法Metcalf（2016）的一種特權升級形式上。這種形式的攻擊通常被稱為重置密碼攻擊。其基本思想是利用未經授權的訪問權限授予用戶認證。為了減輕這種攻擊，我們以假用戶和假憑證的形式進行欺騙，以誤導攻擊者。我們提出了我們對這些攻擊的模擬結果和分析。

這項工作的主要貢獻和意見是：

• 使用欺騙手段制定攻擊者-防御者博弈的基于圖的新方法

• 經驗表明，部署欺騙會大大增加攻擊者實現其目標的工作量。

• 表明通過增加欺騙手段來增加圖中的節點數，即用戶數是有益的。

• 確定了圖的屬性在攻擊者和防御者之間的決斗結果中起著重要作用。

盡管我們為主動目錄攻擊建立了博弈模型，但我們的博弈模型是可擴展的，并能穩健地模擬任何基于欺騙的防御策略。本文的其余部分如下：在第2節，我們描述了欺騙和ANG背后的概念。我們在第3節中介紹了我們的工作背景。在第4節中，我們解釋了博弈的制定和包含的模型。第5節解釋我們的實驗設置。在下一節中，將介紹模擬的結果和討論。最后在第7節中對本文進行了總結，并提出了一些未來的指導意見。

圖 3. 特權升級與欺騙之間的部署。在這種情況下，攻擊者被迫探索更大的網絡。

摘要

我們總結了2021年10月19-21日舉行的“網絡防御深度機器學習研究專家研討會”的結果。我們通過論文向北約科學和技術組織報告了此次論壇上分析的深度學習當前和新興網絡安全應用。研討會的目的是介紹新的觀點，揭示政府在相關領域的研究，說明深度學習如何應用于網絡安全，并介紹在網絡空間軍事行動中應用深度學習的實施需求。總的來說，其結果提高了對問題和機會的認識，確立了各應用領域的共同需求，并確定了一條前進之路。

1.0 引言

自20世紀后半葉現代計算機出現以來，人類對所有軟件進行了編程，并成為計算和算法進步的主要推動者。然而，截至21世紀初，深度學習的實際進展已經改變了軟件的格局。深度學習使計算機能夠通過訓練描述輸入和輸出之間關系的模型來"編程"自己的軟件。算法上的突破正在加速每個行業的進步，并取得了巨大的成功。最受歡迎的應用包括那些能夠識別物體[1]和翻譯語音[2]的應用，其精確度接近人類的實時水平。專家們雄心勃勃地表示，深度學習最終將能夠 "做一切事情"，甚至可能復制人類智慧[3]。

與此同時，對軟件的日益依賴加強了保護計算機系統和網絡的重要性，使其提供的服務不受損害或破壞。在21世紀的前幾十年里，數據泄露的速度和影響進一步說明了網絡入侵是如何重塑全球安全形勢的。因此，對一個越來越有彈性的網絡空間需求，特別是當它與軍事系統相交時，正促使許多深度學習的新應用。這些應用可能會加強軍事戰略定位，并建立一個有彈性的網絡安全態勢，與不斷變化的威脅保持同步。然而，實現這一結果需要跨學科的應用研究和實驗，以便真正了解限制和實際效用。

因此，我們總結了2021年10月19-21日舉行的“網絡防御深度機器學習研究研討會”的成果。這個北約科學和技術組織（STO）論壇的重點是鞏固網絡防御的深度學習應用領域的知識。與會者包括來自澳大利亞、比利時、芬蘭、法國、德國、意大利、挪威、波蘭、土耳其、英國和美國的研究科學家和工程師。組織代表包括來自大學、民間研究組織、國防機構和軍事研究實驗室的強大觀點組合。

該論壇的目的是促進北約國家和盟國之間的合作，以確定和追求網絡領域最有前途的深度學習用例和方法，包括計算技術、架構和數據集或模型。為了實現這一愿景，它有助于提高對兩個主題之間共生關系的認識。深度學習通過將持續監測的繁瑣環節自動化，使網絡安全中的硬問題受益。另一方面，網絡安全也將受益于深度學習的實際應用和強大的實施設計。此外，隨著深度學習應用的擴散，以及與物理世界（即自主系統）越來越多的互動，傳統上描述和隔離網絡空間的邊界將被侵蝕。因此，要實現網絡安全，就必須采取超越傳統上用于網絡安全的新方法。

美國陸軍研究實驗室的Frederica Free-Nelson博士在研討會開幕詞中指出，深度學習和網絡安全領域都有許多未解決的問題，與其依靠幾個主要貢獻者來解決，不如分享過程、方法和成功案例，以避免浪費資源或阻礙進展。現實世界中，用戶驅動的問題與基礎研究和應用實驗適當匹配，可以實現信息主導和決策優勢。因此，本次研討會的預期愿景是，部分地捕捉那些讓領導層了解到需要為持續的挑戰投入資源的發現，并將科學家、從業者和最終用戶以一種有利于復制成功和持續進步的方式聯系起來。

本文的結構是按照研討會的目標進行的。第2節介紹了術語和觀點，這些術語和觀點限定了問題空間并形成了潛在的解決方案。第3節說明了深度學習是如何應用于網絡安全的，并提出了進一步獲得收益的機會。第4節介紹了北約STO內部的相關工作，并在多個應用領域之間進行了比較。第5節最后強調了關鍵的發現和對軍事環境的考慮。最終，我們旨在提高對深度學習在軍事背景下為網絡安全提供的有價值的認識，并確定了已經成熟的探索機會。

2.0 從網絡安全和深度學習的交叉點看問題

根據美國軍事學說的定義[4]，網絡空間是以使用電子、電磁頻譜和軟件來存儲、修改和通過網絡系統和相關物理基礎設施交換數據為特征的領域。這包括微電子、計算、通信、網絡和軟件技術，包括人工智能、機器學習和深度學習。網絡空間技術的應用是所有經濟部門、關鍵基礎設施和軍事行動的基礎。將繼續發展網絡空間的技術趨勢包括無處不在的連接和網絡邊緣的傳感，增加系統的可編程性和復雜性，自主性和加速決策循環的應用，越來越不可信和不透明的供應鏈，以及新的計算架構（即量子和神經形態計算）。非技術性的趨勢包括互聯網用戶數量的增長，為消費行業分析而積極利用用戶元數據，以及國際外交或國防考慮。鑒于技術變革的積極速度和非技術趨勢的不確定性，網絡空間將繼續以可能難以準確預測的方式發展。

在軍事方面保證網絡空間包括兩個不同的任務：網絡安全和網絡防御。網絡安全的目的是通過保證關鍵系統的屬性，如保密性、完整性和可用性，來限制脆弱性。隨著網絡物理系統，如關鍵基礎設施、智能制造、武器系統，以及最終的生物-神經接口的激增，網絡安全越來越多地包含了非傳統的屬性，包括安全性、及時性和復原力。此外，這些系統的物理性質提供了新的儀器和遙測技術，以確保其網絡態勢[5]。另一方面，網絡防御描述了為應對網絡空間中的敵對行為而采取的行動。雖然這些角色在一些組織中可能會重疊，但由于軍事單位如何組織和執行任務的基本功能，所以存在著區別。網絡安全是那些設計、開發和操作特定系統的人的責任。然而，網絡防御是一些重點活動的責任，這些活動專門負責監測和協調整個組織對敵對威脅的反應（即安全操作中心）。

網絡空間是戰略軍事格局的基礎，北約國家必須減輕對其軍事系統、平臺和任務的網絡威脅。深度學習是一種新興的軟件技術，其應用能夠加強這種彈性態勢。為此，北約科技組織的信息系統技術小組成立了一個關于 "網絡防御的深度機器學習 "的研究任務組（RTG）。Fraunhofer FKIE（德國）的Raphael Ernst先生在研討會開幕詞中澄清，RTG的章程不是開發新的深度學習技術，而是鞏固北約范圍內深度學習在網絡防御中的應用知識，確定民用解決方案和軍事需求之間的差距，并與其他北約國家合作，使用數據處理，共享數據，并尋求將最有希望的技術和應用轉移到軍事領域。由網絡安全和機器學習專家組成的RTG審查了技術標準、學術研究和商業技術產品的全面選擇，以評估當前的技術狀態。該研究對當前技術狀況的結果在第3節中進行了總結。

然而，人工智能領域的不斷進步和網絡物理系統的擴散將改變網絡格局，并為新類別的網絡攻擊讓路。網絡物理系統采用軟件來控制與其物理環境交織在一起的機制，在混合時間尺度上運行，并以隨環境變化的方式進行互動。例如，自動駕駛汽車將深度學習應用于車載攝像頭，以查看并決定如何在道路上行駛。研究表明，物理世界對這些軟件系統的攻擊可能造成傷害[6]。無人駕駛汽車進一步依賴持久的連接，與其他設備、網絡和車輛共享遙測信息。雖然是作為一種反饋機制，但這和類似的網絡物理系統設計暴露了攻擊面[7]。

最終，保證網絡物理系統的運行變得越來越困難，有彈性的網絡態勢需要超越傳統網絡安全方法的手段。因此，描述各種深度學習應用中的公開挑戰對于理解網絡風險至關重要。RTG發起了這次研討會，在一群對各種軍事和民用應用有深刻見解的不同專家之間推進這一議程。鑒于不同領域的參與，對術語的討論將提供有用的背景。

人工智能（AI）通常描述任何使計算機能夠模仿人類智能的技術。人工智能的早期成功源于基于規則的系統和捕捉人類專家知識的系統。盡管存在著對人工智能能力進行分類的標準，但我們選擇了機器學習和深度學習之間的簡單區別來構建我們的討論。研討會采用 "深度機器學習 "這一術語，表明對深度學習的重視，并不排斥傳統的機器學習，但也承認，持續的進步將鞏固深度學習作為人工智能領域最突出技術的地位。

機器學習是人工智能技術中最重要的子集，它提供了通過發現數據中的模式來提高計算性能的能力，而不需要遵循明確的編程指令。經過幾十年的緩慢進展，機器學習最近在包括消費者分析和社交媒體在內的各種應用中獲得了廣泛的采用。機器學習算法利用統計學在大量的數據中尋找模式，這些數據包括數字、文字、圖像或其他數字信息[8]。機器學習的應用采用了一個可以概括為四個階段的管道。首先，數據采集涉及識別和收集數據元素。第二，特征工程涉及預處理或提取有關該數據的統計數據。第三，初始數據或導出的統計數據被用來訓練一個能夠識別模式和關系的模型。最后，用輸入數據評估或部署模型，這些數據可能反映也可能不反映初始階段的訓練數據群。盡管這些階段的特征是線性的，但它們往往是迭代實施的，并且在它們之間有大量的反饋和調整。最終，數據的依賴性和質量決定了每個應用的有效性。

深度學習是指機器學習技術的一個特定子集，它允許模型通過將多層神經網絡暴露在大量的數據中來訓練自己。區別在于特別是上述管道的第二和第三階段。神經網絡是人類大腦中的神經元和突觸的簡化數字模型，由處理數據的簡單計算節點層組成。雖然早期的神經網絡僅限于幾層神經元，但一種被稱為反向傳播的突破性技術在理論上實現了這些層的擴展，從而為由更多層組成的 "深度"神經網絡鋪平了道路[9]。在最初發現的幾十年后，計算能力的提高使得深度神經網絡對圖像進行分類的能力得到了非常成功的展示，隨后將其確立為最先進的技術[10]。新興圖形和張量處理單元硬件帶來的計算能力提高，進一步加速了對越來越大的數據集的利用，使廣泛的模式識別和分類問題受益。

機器學習和深度學習都可以以多種方式應用。有監督的學習應用，通常被認為是最普遍的，利用被標記的訓練數據來告訴計算機它應該尋找什么模式。另一方面，無監督學習應用則利用了沒有標簽的訓練數據。強化學習是一個新興的前沿領域，算法通過試驗和錯誤，基于一些規定的獎勵函數，學習如何實現一個明確的目標。另外，"未來學習"技術包含了在不同操作環境下實現應用的新興方法。例如，遷移學習，將從解決應用中的一個問題中獲得的知識用于不同但相關的問題。聯邦學習，盡管仍然是一個活躍的研究領域，已經被證明可以通過將訓練功能分布在一些節點上來減少數據的依賴性。在RTG即將發布的技術報告中，詳細介紹了對這些和其他相關方法的徹底研究。

在討論深度機器學習系統的安全影響時，挪威國防研究機構的Espen Hammer Kjellstadli先生闡述了數據驅動的網絡安全的考慮，這些考慮超越了傳統的基于規則的方法。深度機器學習引入了圍繞特定模型的訓練和測試的新漏洞。在一個管道的初始階段獲得的訓練數據可以被操縱，從而影響模型的正確性。由于導致模型構建的特征之間的不平衡，該模型也可能在后期階段被利用。對這些漏洞的研究，以及如何防御或將其武器化，被稱為對抗性機器學習。一個全面的概述可以在美國國家標準研究所（NIST）[11]和MITRE[12]的工作中找到。這兩份參考資料都是對任何機器學習架構進行初步設計或安全評估的絕佳資源。

針對對抗性機器學習攻擊，已經提出了許多防御措施。例如，訓練階段的攻擊，即攻擊者推斷出模型可能學習的知識類型，可以通過加密、消毒、刻意選擇或對訓練語料庫引入其他人為限制來緩解訓練數據。訓練語料庫可以進一步泛化，要么通過增加其數量，要么通過探索其數據的替代表示法。這種方法已被證明在管道的每個階段都能提供性能提升和安全優勢。最后，合成對抗性數據已被證明可以補充傳統的訓練數據，并增強所產生的模型彈性。最終，數據質量在一個特定模型的性能中起著至關重要的作用，用于訓練模型的數據越多，該模型通常就越有效。

影響深度機器學習的另一個安全考慮涉及到對特定模型結果的可解釋或可解釋性描述。與傳統的算法系統不同，信任不能來自對決策標準的透明理解。這些系統的復雜性，擴展到數以百萬計的特征權重，有效地將深度機器學習應用轉化為黑盒。這是一個重要的考慮因素，因為人類必須越來越多地理解、驗證這些系統的判斷并采取行動。

3.0 網絡安全中的深度機器學習應用

深度機器學習在網絡安全方面有很多應用。在不同的演講中，美國海軍研究實驗室的Joseph Mathews先生和美國陸軍研究實驗室的Tracy Braun博士，通過報告RTG最近的研究結果，闡明了當前的技術狀況。該研究通過采用NIST[13]的指導來描述其研究結果，該指導幫助組織實施其資產的信息安全持續監控計劃，了解網絡威脅和漏洞，以及部署的安全控制的有效性。監控被定義為持續的檢查、監督和關鍵觀察，以確定與預期或所需性能的變化。這里的"持續"和"不斷"意味著組織風險的評估頻率足以支持風險管理活動和充分保護組織信息。

具體來說，[13]定義了11個安全自動化領域，解決了建立和保持持續的網絡安全感知所需的一系列安全控制。每個領域包括一組必須收集、分析和報告的工具、技術和數據。順便說一下，這些領域形成了一個有用的結構，通過它來描述深度學習當前和擬議的網絡安全應用。考慮到相似性和便于闡述，我們借用了這11個領域，并將其分成8個不同的類別。該研究的完整結果將在即將發布的技術報告中進行詳細報告。

3.1 惡意軟件檢測

惡意軟件是指在所有者不知情或不同意的情況下，故意設計成滲入、修改、破壞或損害計算機系統的任何惡意軟件。惡意軟件承擔了許多形式的數字內容，包括可執行代碼、腳本和嵌入交互式文件內的活動對象。惡意軟件檢測機制在事先了解惡意內容的情況下，對信息系統進行定期或接近實時的掃描。反病毒簽名和類似的識別技術（即啟發式方法）是詳盡的法醫分析產物，有必要結合靜態和動態方法。

在試圖改善惡意軟件檢測方面，深度機器學習已被廣泛探索。傳統的方法依賴于從該領域的專家知識中獲得的人工設計的特征。這些解決方案提供了一個抽象的軟件視圖，可以用來歸納其特征。特征工程和特征提取是工作流程中關鍵的、耗時的過程。跟隨其他領域的進展，惡意軟件檢測能力正越來越多地利用深度學習架構。

研究表明，該應用可能克服惡意軟件檢測中的傳統挑戰。行業趨勢表明，越來越多的公司提供基于人工智能的網絡安全解決方案，為惡意軟件檢測實施某種形式的深度學習。學術工作中的擬議應用進一步證明了用新的、獨特的程序數據表示法實現的更大功效[14]。然而，這些應用通常繼續遭受強大的訓練數據的不可用性，模型的過度擬合，缺乏解釋能力，以及隨著惡意軟件技術的發展而減少的持久性。

3.2 事件管理

事件管理包括監測信息系統中的可觀察到的事件，以及信息系統之間的事件。傳統的入侵檢測系統[15]，在網絡或終端上實施，采用了基于簽名和基于異常的模型，這些模型存在缺陷。基于異常的模型已經被證明能夠產生高的假陽性率，而基于簽名的模型已經被證明能夠產生高的假陰性率。兩者都可以從深度機器學習的進展中獲益，因為它不依賴于特定攻擊模式的先驗知識。同樣，電子郵件過濾的進展也采用了自然語言處理（NLP）的深度學習應用來識別表明是垃圾郵件的信息模式。例如，谷歌已經使用TensorFlow大大增強了Gmail的垃圾郵件檢測能力[16]。

事件管理工具同樣有助于檢測和應對網絡攻擊。這些工具依賴于日志和審計記錄，這些記錄捕捉了信息系統的行為和狀態，通常與系統交易、安全控制或性能有關。幫助生成、傳輸、存儲、分析和處理日志數據的工具，對于許多網絡安全操作來說已經變得越來越重要。

目前這些領域的產品（即擴展檢測和響應的平臺或技術棧；安全信息和事件管理；以及安全協調、自動化和響應）收集的數據自然適合用深度學習來開發。許多商業工具已經為深度學習插件提供了一些本地支持。然而，大多數實現這種支持的嘗試都繞過了原生系統，而選擇了外部預處理和后處理管道，或者通過與第三方框架的整合。這表明深度學習能力將與他們平臺的原生能力同步發展。

值得注意的是，這些應用可能會受到專有數據格式的限制，無法公開或增加獲得數據的背景，以及對報告的輸出缺乏信任。專家們進一步表示擔心，現有的工具可能不會以最佳的保真度（例如，聚合元數據）收集數據，以解決實際問題。我們猜測，一旦安全運營中心團隊普遍部署的工具整合了深度學習框架或算法，事件管理中的深度學習應用研究將變得越來越受歡迎。同時，這些功能齊全的平臺在架構上與其他工具集成和共存時，可能會在復雜性和維護方面帶來新的挑戰。

3.3 信息管理

信息管理是指管理信息的位置和傳輸，這對保護組織數據的保密性、完整性和可用性至關重要。數字信息被有意或無意地儲存在無數的系統和設備中。因此，數據丟失、被盜和泄漏對一個組織的信息安全態勢構成了相當大的風險。數據丟失預防（DLP）工具具有清點、分類和跟蹤數據創建、使用、存儲、傳輸和處置的能力。

目前的DLP系統實現了一種混合的數據分類技術，包括標記數據、精確匹配、部分匹配、正則表達式和機器學習。目前DLP工具領域的許多研究都是圍繞著分析數據及其分類進行的。深度學習擅長解釋復雜的數據（如文本、圖像、視頻），因此可以提供對其中編碼信息的機器可讀訪問。

對強大的、與組織相關的訓練數據的訪問對于取得積極的結果尤為重要，然而零信任的信息安全原則通常會阻止對可能構成某些訓練語料庫基礎的敏感文件不受約束的訪問。對靜態數據和傳輸中的數據進行端對端加密的擴散，進一步給強大的數據獲取帶來了挑戰。業務流程建模和越來越多的多模態數據的頒布也帶來了新的挑戰和機遇[17]。

3.4 漏洞和補丁管理

漏洞是一種軟件缺陷，它引入了潛在的安全風險。補丁是一種消除或減少該漏洞的軟件修復。隨著漏洞和補丁的數量不斷增加，漏洞和補丁管理工具允許組織以協調的方式識別、報告和補救漏洞。例如，漏洞掃描器通常被用來識別端點、網絡、操作系統和應用程序的漏洞。補丁管理工具也同樣掃描系統的漏洞，并促進必要的補丁和其他更新的應用。

這一領域的許多商業產品都聲稱要實施機器學習，主要是為了確定補救措施的優先次序。值得注意的是，由DARPA贊助的2016年網絡大挑戰競賽展示了自動化網絡安全系統的潛力，該系統可以實時發現、評估和修補漏洞[18]。競爭團隊所使用的方法包括用深度學習增強的模糊工具。未來的愿景是采用類似的工具，可以掃描軟件的漏洞，并協助自主修補它們。正在進行的使能能力的開發持續進行，而且非常有希望，但缺乏成熟度。

3.5 軟件保證

軟件保證是一套有計劃的活動，以確保軟件按預期功能運行，沒有缺陷。常見的軟件保證技術包括安全編碼、源代碼分析和應用模糊工具。最終，軟件保證有助于實現可信性，即不存在可利用的漏洞；以及可預測性，即軟件有信心按預期執行。軟件分析的三種主要類型的工具和技術已經被確認。靜態分析工具在不執行的情況下檢查系統/軟件，包括檢查源代碼、字節碼和/或二進制文件。動態分析工具通過執行系統/軟件，給它特定的輸入，并檢查輸出來檢查系統/軟件。混合工具整合了靜態和動態方法；例如，測試覆蓋率分析器使用動態分析來運行測試，然后使用靜態分析來確定軟件的哪些部分沒有被測試。

在上面列出的工具和技術中，深度機器學習已經被應用于源代碼分析和模糊測試。此外，最近的實際應用可以在操作系統開發當中找到，維護者使用機器學習來區分修復錯誤的補丁和沒有修復的補丁[19]。除了這些增加軟件保證的傳統方法之外，商業領域的新興能力越來越多地試圖通過低/無代碼平臺使人工智能生成代碼。這是否能減少bug的數量，從而減少安全漏洞，還不確定。這可能是一個值得追求的方向，在未來的研究中。

3.6 資產和許可證管理

資產管理指的是維護組織內的軟件和硬件系統的庫存。這可以通過系統配置、網絡管理和許可證管理工具的組合，或者通過一個特殊用途的工具來完成。軟件資產和許可信息可以由軟件資產管理工具集中管理，以跟蹤許可的遵守情況，監測使用狀態，并管理軟件資產的生命周期。資產管理目前被人類用于計算硬件、軟件和設備的庫存和配置管理。

資產管理工具可以產生和記錄大量的數據，使人們能夠深入了解網絡安全和商業運作。最近在軍事系統的網絡防御方面的工作認為，分布式自主代理可以感知和適應性地防御他們的環境[20]。這些應用的共同主題是能夠減少人類的監督，適應性地管理技術消耗，優化資源利用，映射資產和數字工作流程之間的依賴關系，以及預測或應對有機商業風險。智能化、無處不在的設備趨勢將推動對資產管理創新方法的需求，在這種情況下，不僅是人類操作員，而且各種設備本身都能夠適應其環境，以不斷優化自己。

未來的應用，一般被稱為 "工業4.0"[21]，設想通過邊緣計算和下一代無線技術（即5G），在每個設備上進行基于機器學習的資產管理。這種設備與設備之間的通信將促進和優化智能工廠的流程，這樣設備就可以通過動態感知其環境來調整其配置。在這種情況下，要擴大資產管理的深度學習應用，就必須采取全面的、跨學科的方法，與互補技術的進步保持一致，這些技術包括移動設備、物聯網平臺、位置檢測技術（如射頻識別、近場通信）、3D打印、智能傳感器、數據分析、增強現實、可穿戴計算，以及聯網的機器人和機器。

3.7 網絡管理

網絡管理工具包括主機發現、庫存、變更控制、性能監控和其他網絡設備管理能力。最近，機器學習被提議作為一種機制，用于動態配置和協調這些工具，以實現移動目標防御，挫敗對手的操縱。文獻中探討了這些應用，但許多用例僅限于簡單的場景，如帶寬節流和性能管理。在軍事背景下為戰略和戰術資產調整網絡管理技術也仍然是一個相當大的挑戰。

存在許多新興的應用，包括涉及用戶行為分析[22]和車輛網絡[23]的應用。在前者，可疑的用戶行為模式可能需要改變網絡配置。在后者，聚類算法可以有效地將網絡流量定性為可疑或良性。許多深度機器學習應用，特別是那些用于事件檢測和惡意軟件檢測的應用，已經被網絡管理工具收集或暴露的數據所支持。因此，之前的研究主要圍繞著網絡監測和事件分類。然而，最近的工作證明了基于深度學習的路由在分組交換網絡中的流量控制的有效性。同樣，提議將深度學習應用于網絡管理的目的是在沒有人類監督的情況下自動或優化網絡管理任務。

最終，移動目標防御（MTD）是一個可以從深度學習中大大受益的領域。傳統的網絡防御由于環境的靜態性而無法考慮到攻擊者的固有優勢，而MTD則會不斷改變該環境的配置，反過來降低網絡攻擊的成功率。深度學習已經被證明可以準確地對應用進行分類，其流量是由軟件定義的網絡控制器自然獲取的。為戰略和戰術資產調整網絡管理技術將是一個相當大的挑戰，因為軍事網絡由相當大的規模和多樣性組成。

3.8 配置管理

配置管理工具允許管理員設置、監控、證明和恢復配置設置。隨著網絡和設備的復雜性增加，管理信息系統之間的配置也變得越來越困難。自動化的解決方案提高了效率，改善了可靠性，同時普遍降低了規模成本。系統配置掃描工具提供了審計和評估目標系統的自動化能力，以確定其是否符合定義的安全基線配置。盡管深度學習在這一領域的實際應用很少，但在上一節討論的移動目標防御方面仍有很大的潛力。

4.0 相關軍事應用和開放性挑戰

深度學習的應用一般都有一個特點，那就是源于大量的數據，必須在此基礎上得出洞察力，或者希望有更大的自動化。這一觀點得到了許多探索一系列軍事信息系統技術應用的互補性RTG的響應。本文將詳細介紹這些互補性小組的研究結果。

4.1 半自主無人駕駛地面車輛的互操作性

挪威國防研究機構的Kim Mathiassen博士在《半自主無人駕駛地面車輛的互操作性》中指出了在追求軍事信息系統技術的互操作性方面所面臨的挑戰。互操作性是一個經常被認為是理所當然的重要話題，它被簡單地解釋為具有不同出處的不同技術能夠輕松地進行信息交流和同步。實現這一目標的標準制定和采用帶來了許多障礙。

北約國家正在為各種作戰任務（如情報、監視、偵察；化學、生物、放射性、核、高能炸藥探測等）投資于無人駕駛地面車輛（UGV）技術。為了在聯盟環境中運作，國家之間必須共享這些平臺的信息，甚至可能是控制。之前的實驗已經證明了實現這一目標的一些實際挑戰，包括獲取不同的視頻和遙測饋電格式，以及不同的網絡和無線電通信系統造成的干擾[24]。

目前的互操作性標準涉及如何從操作員控制單元傳輸控制數據，機器人應如何將數據傳回給操作員，以及如何在車輛之間共享數據。在構建這些標準的過程中遇到的挑戰包括時間同步、校準、測量精度、隱含假設以及數據（如地圖）和元數據的格式和表示。類似的或競爭的標準和開發工具包之間的特征重疊，進一步需要對具體要求和能力進行解讀。

隨著接口和標準的成熟，軍事指揮官設想以自主或半自主的方式采用UGV技術，這將越來越需要它們感知周圍環境。這種應用將阻止對機器人的直接控制，而采用傳輸中間航點進行導航等方法。因此，深度學習被廣泛認為是許多UGV項目的基本組成部分。現有的標準除了傳統的遙測和傳感器信息外，還需要適應網絡安全的考慮。網絡態勢可以是內省證明和共享的，也可以是外部觀察或查詢的。具有這種保真度的網絡物理資產的態勢感知可以為任務和控制決策提供信息，特別是當平臺在有爭議的環境中運行并預期對手會通過物理或電子攻擊載體進行操縱時。

4.2 確保無人駕駛和自主車輛的任務保障

挪威國防研究機構的Federico Mancini博士在《為保證任務而保護無人駕駛和自主飛行器》一文中，解釋了將自主平臺執行的多領域任務的一系列網絡安全挑戰。要了解無人系統帶來的風險，首先必須全面了解對其安全態勢起作用的所有因素，包括外部威脅。

自主平臺有許多形狀和大小，在陸地、海洋、空中和空間運行。這些固有的網絡物理系統依靠傳感器輸入來收集與他們手頭任務相關的數據，或感知他們的周圍環境，以做出如何導航的決定。軍事應用的移動、網絡連接的性質進一步為網絡保證帶來了獨特的挑戰。例如，在傳統的民用應用中，自動駕駛汽車被設計為遵守明確規定的交通法規和道路基礎設施。另一方面，自主的地面、海洋和空中平臺可能在沒有規定的規范和有爭議的條件下在開放環境中運行。

為了研究這個問題，研究人員提出了一個理論框架，解決平臺行為如何隨任務背景變化的問題。該框架主要以威脅為基礎，包括三個不同的層次。任務層定義了任務成功所需的功能和結果。車輛層定義了那些被分配到任務中并需要保護的平臺。最后，組件層定義了每個平臺內允許使用這些資產的子系統（即，執行器）。在每一層，該框架采用了一套定義與其他層關系的目錄。例如，通用的任務安全目標，如安全性、可靠性和保密性，可以映射到在實現這些屬性方面發揮作用的平臺組件。一些通用的例子包括自主導航、收集和處理傳感器信息、在其有效載荷能力之間進行通信和合作，以及安全地存儲敏感數據的能力。每項任務都將取決于平臺上的某些組件，而每個組件都容易受到某些威脅的影響。

防御這些威脅的一個主要考慮是平臺的自主響應能力。由于環境所帶來的操作限制，為無人系統實施安全能力是很棘手的。傳統的信息系統是在持續的連接和普遍有利的帶寬條件下運行的，而戰術環境必須能夠在斷開的、間歇的、潛在的或隱蔽的連接條件下運行。這些環境的網絡防御解決方案，包括那些實施深度學習的解決方案，必須在這些條件下適應和推理。這包括那些解決傳統網絡威脅的機制，以及那些解決旨在破壞其功能的網絡物理性質的物理攻擊。對問題的識別可能會引發各種反應，這些反應說明了任務成功的不同方面（例如，返回基地、關閉、自毀、刪除存儲內容）。深度學習在感知物理環境方面的成功很可能會推動其中一些算法決策。

4.3 用于混合軍事行動的人工智能、機器學習和大數據

美國海軍研究實驗室的Prithviraj Dasgupta博士在《人工智能、機器學習和大數據在混合軍事行動中的應用》一文中，談到了人工智能技術日益主導的軍事場景所帶來的挑戰，以及對抗性人工智能和博弈論在應對混合戰爭的挑戰中可以發揮的作用。為了使這一觀點與研討會的背景保持一致，隨后討論了對抗性人工智能在惡意軟件檢測方面的應用。

生成式對抗網絡（GANs）是一種基于深度學習的生成式模型，是一種創建與訓練數據共享特征的合成數據方法。雖然GANs在愚弄人工智能系統方面的應用已經被廣泛探索，但它們主要集中在圖像和文本數據上。在最近的網絡安全應用中，GANs已被證明可以有效地改造已知的惡意軟件，使其看起來是良性的，但仍然是惡意的，從而騙過傳統的檢測方法，包括機器學習分類器。然而，在實踐中這樣做會產生成本，因為對手必須發現在訓練樣本中插入多少和哪里的噪音。

現有技術因其對二進制程序數據中發現的特征空間的改變而受到限制，這可能會阻止所產生的GAN衍生程序被執行。因此，目前的工作重點是在字節級修改數據[25]。特別是三種策略，框住了一系列的報告實驗[26]。首先，填充攻擊增加了一些空白的 "填充"字節，然后用從訓練的惡意軟件的主體中提取的字節替換每個添加的字節。第二，DOS頭攻擊修改惡意軟件可執行程序頭的部分，因為大多數機器學習分類器將檢查限制在該部分。第三，遺傳攻擊根據遺傳算法選擇性地替換惡意軟件中的字節。

評估這些方法的結果包括量化規避率，或修改后的惡意軟件能夠騙過分類器的程度；執行修改所需的時間；以及產生修改后的惡意軟件所需的修改數量。實驗結果證實頭攻擊是最有效的，因為它的規避率高，所需時間和改動的衡量標準低。研究人員進一步指出，隨著操作系統變得越來越復雜，制作惡意軟件變體所需的修改數量也越來越多。研究人員繼續就如何使用GAN技術來制作能夠欺騙基于人工智能的探測器的惡意軟件樣本進行實驗。最終，博弈論方法可用于描述攻擊者-防御者互動之間的權衡，這些互動涉及制作對抗性樣本。

4.4 信息戰行動中的數據隱藏

波蘭軍事技術大學的Zbigniew Piotrowski博士在《信息戰行動中的數據隱藏》一文中詳細介紹了在現有通信渠道中實現隱藏數據層的技術，以及它們帶來的機遇、威脅和挑戰。隱藏數據層是隱藏信息的通信渠道，是對現有加密和隱寫方法的補充。傳統上被認為是一種挑戰和威脅，最近探索隱蔽信道方法的進展的工作表明，不同的研究分支如何能夠為彼此提供好處[27]。

目前，學術研究主要涉及創新的通信設備，例如，去除隱藏傳輸的隱寫過濾器、隱寫路由器、基于數字水印的多媒體數據隱藏的眾多方法、無線電通信中的新隱寫方法（無線電隱寫）以及計算機網絡（網絡隱寫）。軟件定義的網絡（SDN）在主要SDN接口被惡意軟件感染的情況下可以進一步支持隱藏的通信。同時，有許多關于分析和檢測隱藏數據的方法的描述，也有關于識別利用隱藏傳輸進行的攻擊的方法[28]。

這個領域的潛在主題包括檢測和防止有線和無線連接中的數據隱藏傳輸的方法；檢測和防止互聯網和文件中的多媒體內容水印；識別隱藏通信的行為標準；在軍事通信中使用隱藏傳輸和數字水印；北約隱寫應用和設備標準化，內置數據傳輸技術隱身類；數字對象和數據流的隱寫分析程序；感知測試的標準化和透明度（例如。語音、音頻、視頻）、穩健性和透明度的隱寫分析；以及在量子技術背景下保護數據的替代方法。

最近在實際應用中取得的成功包括在專用的戰術無線電通信手機中隱藏數據，這些手機可以通過信道內編碼的人員識別號碼獨立地驗證說話方（或語音經紀人）。許多類似的創造性應用正在被提出，而深度學習的應用自然適合利用那些涉及數字多媒體內容和信號。其他的例子包括與現有網絡和配置管理能力有共同特點的渠道選擇和協調。

4.5 機器學習系統的穩健性和責任性

美國海軍太平洋信息戰中心的Douglas Lange博士總結了研討會上討論的所有應用所面臨的挑戰。盡管許多研究探討了機器學習系統如何被創造性的輸入所操縱，但很少有努力解決如何使它們更加穩健。這樣的系統可能需要對訓練、測試、驗證和生產進行根本性的改變。

穩健性通常以障礙物為特征，如攻擊或敵人，并且可以包括許多不同的目標（即性能、安全性）。了解這些目標在系統和任務背景下的必要性和實用性，對于創建一個保證穩健性的方法至關重要。應用于機器學習系統，這可以表示為一個系統在新的數據中產生可預測的輸出和可比較的性能的能力，就像它被訓練出來的那樣。

不確定性同時存在于操作數據和訓練數據中，盡管前者在機器學習系統的設計和開發過程中被更多地認識和考慮。然而，從業人員必須期望他們的系統能夠處理訓練人群范圍內外的輸入。在軍事背景下，作戰應用的訓練數據的供應往往比商業應用的數據更有限，在商業應用中，不知情或不愿意的用戶行為可以被獲取（即廣告定位），這使得問題更加復雜。戰爭情況往往是不可觀察的和新穎的，用和平時期或軍事演習數據訓練的模型并不總是能反映沖突的動態性質。因此，那些能夠最快適應的系統最有可能獲得成功。

機器學習應用的目的是學習適合訓練人群的適當的模型參數集。這就需要開發一個成本函數，以衡量改變模型和噪聲對該模型的影響所帶來的誤差有多大。由此產生的不確定性通常可以被描述為認識上的或無知的。認識性的，或系統性的不確定性，定義了總不確定性的可減少部分。統計不確定性，定義了總不確定性中不可減少的部分。此外，輸入可能表現出噪聲和腐敗，或表現出與訓練數據的有意義的變化。前者反映了物理穩健性，而后者反映了語義穩健性。最終，機器學習系統在試圖描述穩健性之前必須正確表達分類器的作用。

最后，偏見是所有深度機器學習應用的一個重要考慮因素。在一個經過充分研究的應用中，研究人員通過演示斑馬投射到馬身上的圖像，使用周期一致的對抗網絡進行了圖像到圖像的轉換[29]。對這一演示的檢查表明，緊鄰動物的像素也從馬匹常見的草場轉化為斑馬常見的大草原。因此，訓練中描繪的環境證實了偏見，因為這些環境并不是馬和斑馬可能出現的唯一環境。

許多深度機器學習應用都表現出難以簡單地識別那些不屬于其訓練群體的輸入。僅僅實現這一點就能切實提高質量和穩健性。然而，通常情況下，模型被愚弄，而他們聲稱對他們的發現有很高的信心。ML應用傾向于在他們經常看到的事情上表現得更好，而在他們沒有看到的事情上表現得更差。例如，自動駕駛汽車是用數百萬小時的真實和模擬條件下的駕駛錄像來訓練的。從真實世界收集的數據經常被用來改進模擬。這種方法在軍事上是缺乏的，因為對手可能采用和平時期沒有觀察到的戰術。

5.0 結論

在研討會的開幕詞中，NATO STO的信息系統技術小組主席Nikolai Stoianov博士指出，北約研究網絡的力量來自其合作的商業模式。北約國家和合作伙伴選擇使用他們的國家資源來定義、開展和促進合作研究和信息交流。通過將士兵和研究人員聚集在一個共同的論壇，參與者從彼此的專業知識中受益，提高整體效率，并增強聯盟的集體力量。通過揭露國家努力、工業觀點和居民專長之間的共同點并找到平衡點，可以獲得進一步的優勢。這些主題在本文報告的結果中明顯可見。通過跨越網絡安全、計算機科學、人工智能、自主權和軍事行動的討論，研討會的參與者分享了深度機器學習的當前和趨勢性應用，準備加強軍事網絡的網絡安全態勢。在互補的RTG中發現的相似之處反映了許多類似的挑戰和機會。

深度機器學習可以通過加強數據驅動的決策和最大限度地減少人類專家的作用來改善幾乎所有的數字技術和應用，形成網絡態勢。應用實例包括自動化軟件開發（包括惡意軟件）；自動化協議和架構設計，包括那些來自高級規范的設計；管理網絡運營的人機合作，包括虛擬化、容器化和云服務；網絡功能的自主協調，如頻譜管理、QoS管理和網絡切片；以及網絡物理系統和系統間的自主。這些應用需要一個全面和跨學科的方法，以適應數字技術的發展。

對網絡環境的理解還包括對聯盟或友好網絡的情況了解，以及對敵方威脅的描述。在IST-129 RTG8的補充工作中，研究結果顯示，深度機器學習可以加強對敵對行動的預測以及對攻擊和防御場景的分析。這種理解可能會導致分布式自主代理的實現，這些代理可以感知、響應并適應其環境和突發威脅[20]。最終，深度機器學習可以更有效地利用資源，更好地利用人類專家的時間。

深度機器學習在安全關鍵應用中的采用仍然是一個受到嚴格審查的問題[30]。算法已經被證明有錯誤功能的傾向，例如用無害的標志物進行誤導的情況。它們已經顯示出對數據中毒和數據稀少攻擊的脆弱性，導致了尷尬和損害。這自然促使軍方探索如何利用該技術，同時保持其功能的可預測性和可靠性。最終，存在著對設計、建造、部署和維持可信賴、安全和可靠的網絡物理系統的戰略的關鍵需求[31]。

在過去的十年中，深度機器學習的加速是由幾十年來計算能力的進步所推動的。高性能的硬件使得構建具有更多層次的連接和神經元的網絡成為可能，從而使人們有能力對復雜現象進行建模。然而，這一趨勢最近顯示出回報率遞減[32]。盡管硬件性價比曲線不斷進步，但在計算需求變得不可行之前，只能對模型性能進行邊際改善。新的硬件加速架構已被提出，以部分克服這一挑戰[33]。另一方面，它已經讓位于自主性的"低風險"應用，其中行動空間可以被明確定義，并產生最小的失敗影響。這種方法使模型部署適合于尺寸、重量和功率受限的平臺。

在研討會與會者的討論中，一個共同的主題是數據對任何應用的成功都至關重要。網絡空間的數據采集，反其道而行之，是一個具有挑戰性的命題。雖然一個組織的網絡空間往往充滿了豐富的數據，但以一種適合快速利用的形式和方式來暴露這些數據往往會帶來許多實際的挑戰。數據的來源、所有權、分類、管理、敏感性、法規、架構、模型、運輸、聯盟和其他考慮因素往往阻礙了能力的應用。軍事行動和聯盟網絡的額外敏感性和多分類性質使問題進一步復雜化。現有的挑戰表明，替代方法，如轉移和聯合學習方法，是值得追求的，并可能在沒有數據轉移或語義互操作性問題的情況下實現模型共享。另外，GANs和類似的新興工具越來越有能力產生大規模的合成數據。

我們認為在所有這些方面都有一條前進的道路。深度機器學習的成功應用需要全面的、跨學科的方法，與硬件和其他數字技術的進步同步，包括改進數據采集、數據生成和數據共享的技術。深度機器學習系統本身的安全性，在所有層面都必須得到維護。這包括數據集、分類器、模型和學習到的反應，必須保護它們不被操縱。可靠性和可解釋性是對建立可信賴的系統特別重要的考慮領域。最后，將深度機器學習推向戰術邊緣的愿望將需要在自主性、硬件尺寸、重量和功率方面進行改進。

在本文中，我們介紹了有助于約束網絡安全問題空間和塑造潛在的深度機器學習解決方案的術語和觀點。我們說明了深度機器學習是如何應用于網絡安全的，并提出了進一步發展的機會。我們展示了北約STO內部的相關工作，并在多個應用領域中進行了比較。最后，我們強調了在軍事和聯盟行動環境中成功應用的一些關鍵考慮和發現。