近年來，針對工業生態系統的高級持續性威脅（APT）的復雜性急劇增加。這使得開發超越傳統解決方案的高級安全服務成為必須，輿論動力學（Opinion Dynamics）就是其中之一。這種新穎的方法提出了一個多智能體協作框架，允許跟蹤APT的整個生命周期。在本文中，我們介紹了TI&TO，這是一個攻擊者和防御者之間的雙人博弈，代表了一個現實的場景，雙方都在爭奪現代工業結構中的資源控制權。通過使用博弈論來驗證這種技術，我們證明，在大多數情況下，輿論動力學包括有效的第一項措施，以阻止和減少APT對基礎設施的影響。為了實現這一目標，攻擊者和防御者的模型都被標準化，并應用了一個公平的評分系統，后者用不同的策略和網絡配置運行了幾個模擬測試案例。

引言

世界各地的公司面對的網絡安全攻擊數量明顯增長，導致了巨大的經濟損失[2]。當涉及到關鍵的基礎設施（即核電站、電網、運輸和制造系統）時，這種情況變得更加嚴重，其工業控制系統必須在所有條件下保持工作。在這里，我們處理的是SCADA（監督控制和數據采集）系統，幾十年來一直在與外部網絡隔離的情況下工作；反過來，如今它們正越來越多地整合新技術，如物聯網（IoT）或云計算，在削減成本的同時外包各種服務。因此，需要做出更大的努力來跟上這種進步，以應對這些系統可能帶來的最新的攻擊載體和可利用的漏洞。

近年來最關鍵的問題之一是高級持續性威脅（APTs），這是一種復雜的攻擊，特別是針對目標基礎設施，由一個資源豐富的組織實施。它們的特點是利用零日漏洞（零時差攻擊），采用隱蔽技術，使威脅在受害者網絡中長期無法被發現。Stuxnet是第一個報道的這種性質的威脅[6]，但許多其他的威脅在之后被發現，通常是在攻擊完全執行后的幾個月[7]。在網絡安全方面，只是提出了一些機制來從整體上解決這個問題，超越了傳統的機制（如防火墻、入侵防御系統（IPS）、入侵檢測系統（IDS）、防病毒），這些機制只代表了在第一階段對APT的準時保護[21]。

在這些新穎的機制中，輿論動力學（Opinion Dynamics）[15]包括一個多智能體協作系統，通過分布式異常關聯，使攻擊的整個生命周期都可以被追蹤。在本文中，我們提出了一個理論但現實的方案，以證明該方法在不同類型的攻擊模式下的有效性，使用結構可控性領域[8]和博弈論[14]支持的概念。為了這個目標，我們開發了TI&TO，這是一個雙人博弈，攻擊者和防御者為控制現代工業結構中的資源而競爭。兩個玩家都有自己的動作和相關的分數，分別根據APT和基于Opinion Dynamics的檢測系統的行為。這個博弈最終在不同的模擬中運行，旨在展示算法的能力，同時也建議將該技術與其他防御方案結合起來進行最佳配置。因此，我們可以把我們的貢獻總結為：

• 正式定義TI&TO博弈，指定游戲板、每個玩家的目標和得分規則。
• 設計一個攻擊者模型，以一組階段的形式，靈活地表示APT的各個階段，以表示攻擊者的行動，這些行動受制于一個確定的分數。
• 設計一個基于使用意見動態和響應技術（即本地檢測、冗余鏈接、蜜罐）的防御者模型，以減少APT在網絡中的影響，這也意味著博弈中的相關得分。
• 進行的實驗驗證了該算法，并推薦了返回最佳結果的防御者的配置。

本文的其余部分組織如下。第2節介紹了 "輿論動力學"的概念，并強調了應用博弈論來檢測網絡攻擊的建議。在第3節中，定義了博弈，包括規則以及攻擊和防御模型。然后，進行了幾次模擬，并在第4節進行了討論。最后，在第5節中提出了結論和未來的工作。

防御性欺騙是一種很有前途的網絡防御方法。通過防御性欺騙，防御者可以預測攻擊者的行動；它可以誤導或引誘攻擊者，或隱藏真正的資源。盡管防御性欺騙在研究界越來越受歡迎，但對其關鍵組成部分、基本原理以及在各種問題設置中的權衡還沒有系統的調查。這篇調查報告的重點是以博弈論和機器學習為中心的防御性欺騙研究，因為這些是在防御性欺騙中廣泛采用的人工智能方法的突出系列。本文提出了先前工作中的見解、教訓和限制。最后，本文概述了一些研究方向，以解決當前防御性欺騙研究中的主要差距。

索引詞--防御性欺騙，機器學習，博弈論

I. 引言

A. 動機

傳統的安全機制，如訪問控制和入侵檢測，有助于處理外部和內部的威脅，但不足以抵御攻擊者顛覆控制或提出新的攻擊。欺騙是一種獨特的防線，旨在挫敗潛在的攻擊者。欺騙的關鍵思想是操縱攻擊者的信念，誤導他們的決策，誘使他們采取次優的行動。自從網絡安全研究界意識到利用防御性欺騙的核心思想的好處后，就有了開發智能防御性欺騙技術的不小努力。

文獻中指出，開發防御性欺騙技術有兩個主要的有前途的方向。首先，攻擊者和防御者的策略通常是基于博弈論方法建模的，其中防御者采取防御性欺騙策略，目的是為攻擊者制造騙局或誤導他們選擇不那么理想或糟糕的策略。其次，基于機器學習（ML）的防御性欺騙技術已經被提出來，以創建誘餌物體或假信息，模仿真實的物體或信息來誤導或引誘攻擊者。

網絡安全文獻[1]已經認識到結合GT和ML的協同優勢，例如使用博弈論防御對抗性機器學習攻擊[2，3]或生成對抗性模型來創造欺騙性對象[1]。然而，很少有工作探索GT和ML之間的協同作用來制定各種網絡安全問題。特別是，由于玩家對對手行為的有效學習對于他們相信對手的類型或下一步行動的準確性至關重要，因此使用ML為玩家形成他們的信念，有助于在特定環境下產生最佳博弈。此外，在開發防御性欺騙技術時，基于ML的方法可以提供更好的攻擊者預測或基于大量的可用數據創建欺騙性對象的高相似度。然而，它們可能無法在不確定的情況下提供有效的戰略解決方案，而這一點在博弈論方法中已經得到了很好的探索。因此，這篇調查報告的動機是為了促進未來的研究，采取混合防御性欺騙方法，可以利用GT和ML。

為了區分我們的論文與現有調查論文的主要貢獻，我們討論了現有的關于防御性欺騙技術的調查論文，并在下一節中闡明了我們的論文與它們之間的差異。

B. 與現有調查的比較

一些研究對防御性欺騙技術進行了調查[4, 5, 6, 7, 8]。

Almeshekah和Spafford[8]介紹了在網絡安全防御領域是如何考慮防御性欺騙的。具體來說，作者討論了考慮防御性欺騙技術的以下三句話：計劃、實施和整合，以及監測和評估。特別是，本文從影響攻擊者的感知方面討論了規劃欺騙的模型，這可以誤導防御者實現系統的安全目標。然而，這篇調查報告對建模和整合防御性欺騙的貢獻是有限的，它只針對一組有限的攻擊者。此外，這項工作沒有考慮到在實施防御性欺騙技術時應該考慮的各種網絡環境。

Rowe和Rrushi[7]將防御性欺騙技術分為冒充、延遲、假貨、偽裝、假借口和社會工程等方面。他們不僅介紹了欺騙技術的背景，還探討了防御性欺騙的可探測性和有效性的計算。然而，他們對博弈論防御性欺騙的調查是有限的，缺乏對最先進技術的討論。

表一 我們的調查報告與現有的防御性欺騙調查的比較

Han等人[6]調查了基于四個標準的防御性欺騙技術，包括欺騙的目標、單元、層和部署。他們調查了用于防御性欺騙技術的理論模型，以及欺騙元素的生成、放置、部署和監控。Han等人討論了各種欺騙技術之間的權衡，這些技術是部署在網絡、系統、應用還是數據層。然而，他們對博弈論欺騙的討論并不全面。

Pawlick等人[5]對已用于網絡安全和隱私的防御性欺騙分類法和博弈論防御性欺騙技術進行了廣泛的調查。作者討論了主要的六種不同類型的欺騙類別：擾亂、移動目標防御、混淆、混合、蜜X和攻擊者參與。他們的論文調查了2008-2018年發表的24篇論文，并定義了相關的分類標準，以發展他們自己的博弈論防御性欺騙技術的分類。這項工作很有意思，將移動目標防御和混淆作為防御性欺騙下的子類別。本文討論了用于開發防御性欺騙技術的常見博弈論方法，如Stackelberg、Nash和信號博弈理論。然而，本文對現有博弈論防御技術的調查和分析僅限于博弈論分析，沒有考慮現實的網絡環境，在這種環境下，基于ML的防御性欺騙技術或這兩者的結合（即博弈論和ML）可能會提供更有用的見解和有前途的研究方向。

最近，Lu等人[4]對由三個階段組成的防御性欺騙過程進行了簡要調查：欺騙的計劃，欺騙的實施和部署，以及欺騙的監測和評估。作者討論了基于信息異化以隱藏真實信息和信息模擬以關注攻擊者的欺騙技術。這項工作簡要地討論了博弈論的防御性欺騙，主要集中在討論當前研究的挑戰和限制。然而，只包括了一小部分文獻的內容。此外，本文沒有討論基于ML的防御性欺騙方法。

一些調查論文主要集中在針對某類攻擊的防御性欺騙技術或特定的欺騙技術。Carroll和Grosu[9]研究了欺騙對計算機網絡的攻擊者和防御者之間的博弈理論互動的影響。他們研究了信令博弈和相關的納什均衡。然而，這項調查只關注蜜罐技術，而對欺騙的博弈論分析僅限于研究信號博弈中攻擊者和防御者之間的相互作用。Virvilis等人[10]調查了可用于緩解高級持續性威脅（APTs）的部分防御性欺騙技術。

在表一中，我們總結了我們的調查論文的主要貢獻，與現有的五篇調查論文[4, 5, 6, 7, 8]相比，基于幾個關鍵標準。

C. 主要貢獻

在本文中，我們做出了以下主要貢獻：

1. 我們提供了一個新的分類方案，從概念性欺騙類別、對象的存在（即物理或虛擬）、應用欺騙后的預期效果、最終目標（即用于資產保護或攻擊檢測）和積極性（即主動或被動或兩者）等方面來描述防御性欺騙技術。這提供了對每種欺騙技術的深入理解，以及對如何應用它來支持系統的安全目標的見解。

2. 我們討論了防御性欺騙技術的關鍵設計原則，包括欺騙什么--攻擊者，何時欺騙，以及如何欺騙。此外，基于防御性欺騙技術的關鍵屬性，我們確定了利用博弈論和ML算法開發防御性欺騙技術時的主要好處和注意事項。

3. 我們討論了基于博弈論和ML的防御性欺騙技術的類型以及優點和缺點。此外，使用我們在第二節介紹的分類方案，我們討論了博弈論和ML算法。

4）我們還調查了現有的博弈論和基于ML的防御性欺騙技術所能處理的攻擊。因此，我們討論了文獻中的防御性欺騙技術或多或少考慮了哪些攻擊。

5）我們調查了防御性欺騙技術主要是如何處理不同網絡環境下的應用領域的挑戰，并討論了所部署的博弈論或基于ML的防御性欺騙技術的優點和缺點。

6）我們研究了在博弈論或基于ML的防御性欺騙技術中或多或少使用了哪些類型的指標和實驗測試平臺來證明其有效性和效率。

7）我們廣泛地討論了從本工作中調查的防御性欺騙技術中獲得的教訓和見解以及觀察到的限制。基于這些見解和局限性，我們為博弈論和基于ML的防御性欺騙研究提出了有希望的未來方向。

請注意，本文的范圍主要集中在調查博弈論（GT）或基于ML的防御性欺騙技術，并討論從這個廣泛的調查中得到的見解、限制或教訓。因此，一些沒有使用博弈論方法或ML的防御性欺騙技術被排除在本調查報告之外。

D. 研究問題

我們在本文中討論了以下研究問題。

RQ 特征：防御性欺騙有哪些關鍵特征將其與其他防御性技術區分開來？

RQ 衡量標準：在衡量現有的基于博弈論或ML的防御性欺騙技術的有效性和效率方面，或多或少地使用了哪些指標？

RQ 原則：哪些關鍵設計原則有助于最大化防御性欺騙技術的有效性和效率？

RQ GT：當使用博弈論（GT）設計防御性欺騙技術時，有哪些關鍵設計特征？

RQ ML：當使用ML開發防御性欺騙技術時，有哪些關鍵的設計特點？

RQ 應用：不同的防御性欺騙技術應該如何應用于不同的應用領域？我們在第九節A中回答了這些問題。

E. 論文的結構

本文的其余部分結構如下。

• 第二節提供了欺騙的概念和與防御性欺騙相關的分類標準。

• 第三節討論了設計防御性欺騙技術的關鍵原則。此外，本節還闡明了與其他實現相同防御目標的防御技術相比，防御性欺騙技術的主要特色。

• 第四節解釋了使用博弈論防御性欺騙的關鍵組成部分，并調查了現有的博弈論防御性欺騙技術，以及對其優點和缺點的討論。

• 第五節討論了利用ML技術來開發防御性欺騙技術的關鍵部分。此外，本節廣泛調查了現有的基于ML的防御性欺騙技術，并討論了它們的優點和缺點。

• 第六節描述了現有博弈論和基于ML的防御性欺騙技術所對抗的攻擊類型。

• 第八節介紹了使用博弈論和ML來衡量現有防御性欺騙技術的有效性和效率的指標。此外，本節還調查了用于驗證本工作中調查的那些現有防御性欺騙技術的評估測試平臺。

• 第七節討論了如何為不同的應用領域開發基于博弈論或ML的防御性欺騙技術，如企業網絡、網絡物理系統（CPS）、基于云的網絡、物聯網（IoT）、軟件定義的網絡（SDN）和無線網絡。

• 第九節總結了通過回答I-D節中提出的關鍵研究問題所獲得的見解和經驗。此外，本節還討論了從這項工作中調查的防御性欺騙技術中發現的局限性，并提出了有希望的未來研究方向。

機器學習模型受益于龐大而多樣的訓練數據集。然而，單個組織很難收集足夠多樣化的數據。此外，數據的敏感性和政府法規(如GDPR、HIPPA和CCPA)限制了組織與其他實體共享數據的方式。這迫使擁有敏感數據集的組織開發只在局部最優的模型。聯邦學習(FL)通過實現在不共享敏感數據的情況下開發全局模型，促進了魯棒的機器學習。然而，部署FL系統有兩個廣泛的挑戰:隱私挑戰和訓練/性能相關的挑戰。隱私方面的挑戰涉及到暴露本地客戶數據敏感信息的攻擊。與訓練/性能相關的挑戰包括高溝通成本，跨客戶的數據異構，以及缺乏個性化技術。為了使FL實用、可擴展和有用，必須解決所有這些問題。在這篇論文中，我討論了我為解決這些挑戰而設計的技術，并描述了我為緩解這些挑戰而開發的兩個系統——PrivacyFL(用于FL的隱私保護模擬器)和DynamoFL(用于FL的易于使用的生產級系統)。

摘要

面對來自外部對手越來越復雜的攻擊，相互依賴的系統所有者必須明智地分配他們（通常是有限的）安全預算，以減少他們的網絡風險。然而，在對人類決策進行建模時，行為經濟學表明，人類始終偏離經典的決策模型。最值得注意的是，卡尼曼和特維斯基獲得2002年諾貝爾經濟學紀念獎的前景理論認為，人類以一種扭曲的方式感知收益、損失和可能性。雖然在經濟學和心理學方面有豐富的前景理論文獻，但現有的研究相互依存系統安全的工作大多沒有考慮到上述的偏見。

在這篇論文中，我們提出了新的數學行為安全博弈模型，用于研究由有向攻擊圖建模的相互依賴系統中的人類決策。我們表明，行為偏差導致了次優的資源分配模式。我們還通過決策和博弈論框架分析了保護具有異質性價值的多個孤立資產的結果，包括同時和序貫博弈。我們表明，與理性維權者相比，行為維權者過度投資于價值較高的資產。然后，我們提出了不同的基于學習的技術，并調整了兩種不同的基于稅收的機制，以引導行為決策者做出最佳的安全投資決策。特別是，我們展示了這種學習和機制在四個現實的相互依存系統中的結果。總的來說，我們的研究建立了嚴格的框架來分析大規模相互依賴的系統和由人類決策者管理的異質孤立的資產的安全，并對在這種情況下出現的安全漏洞提供了新的重要見解。

1. 簡介

1.1 問題和動機

今天的網絡物理系統（CPS）正日益面臨著復雜對手的攻擊。這些系統的運營商必須明智地分配他們的（通常是有限的）安全預算，以減少他們管理的系統的安全風險。由于大規模系統由多個相互依賴的子系統組成，由不同的運營商管理，每個運營商負責保護自己的子系統，因此，這個資源分配問題變得更加復雜。這導致了在理解如何更好地保護這些系統方面的重要研究，戰略和博弈理論模型由于能夠系統地捕捉系統中各實體的決策而受到越來越多的關注[1]-[7]。特別是，在對防御者和攻擊者可用的策略和信息的各種假設下，這些設置已經被探討過了[8]-[10]。

之前的工作已經在決策論和博弈論的背景下考慮了這種安全決策問題[3], [11]。然而，大多數現有的工作都依賴于經典的決策模型，其中所有的防御者和攻擊者都被假設為做出完全理性的風險評估和安全決策[3], [12], [13]。另一方面，行為經濟學表明，人類始終偏離這些經典的決策模型。最值得注意的是，行為經濟學的研究表明，人類對收益、損失和概率的感知是傾斜的、非線性的[14]。特別是，人類通常對低概率的權重過高，對高概率的權重過低，這種權重函數呈反S形，如圖2.2所示。許多實證研究（例如，[14]，[15]）已經為這一類行為模型提供了證據。

這些效應與評估這類系統的安全性有關，在這些系統中，實施安全控制的決定不是純粹由自動算法做出的，而是通過人類的決策，盡管有威脅評估工具的幫助[16]-[18]。在大眾媒體[19]-[21]和學術期刊[22]、[23]中，有許多文章討論了安全決策中人的因素的普遍性，但沒有一篇文章闡明了認知偏差對整個系統安全的影響。

本論文通過研究上述人類行為決策偏差對安全資源分配問題的影響，在兩個主要的不同環境中彌補了上述差距。我們的第一個目標是探索大規模相互依存系統中的這種影響，在這些系統中，對手經常使用踏腳石攻擊，可以通過攻擊圖的概念來捕獲，攻擊圖代表了攻擊者在系統中到達目標的所有可能路徑[24]。第二個目標是利用決策和博弈論的設置，探索不同設置（包括防御者和攻擊者之間的同時和連續互動）中的行為決策，這些孤立的資產對防御者具有異質性的價值。

本論文的關鍵信息是：

通過在決策建模中加入非線性概率加權，我們可以預測行為決策偏差對網絡系統上安全資源分配的影響，并為減輕這種偏差的負面影響提供指導。

論文還提出了在個人層面（使用學習技術）和社會層面（使用機制設計）加強人類安全資源分配的指導技術，我們探討了理性決策者和行為決策者在這些指導技術結果上的差異。

接下來，我們將對上述環境和我們在各種環境中的貢獻進行概述。

1.2 以攻擊圖為模型的相互依賴系統中的行為和博弈論安全投資

在這項工作中，我們考慮了這樣一種情況：在相互依賴的系統的 "攻擊圖 "模型中，每個（人類）防御者對成功攻擊的概率有誤解。我們描述了這種誤解對每個防御者的安全投資的影響，其中每個防御者負責防御一個子網絡（即一組資產）。此外，每個防御者也可以投資于保護其他防御者的資產，這在攻擊者利用網絡路徑到達某些目標節點的相互依賴的系統中可能是有益的。在對每條邊的成功攻擊概率的適當假設下，我們建立了每個防御者的感知預期成本的凸性，并證明了這一類博弈中純策略納什均衡（PNE）的存在。

我們主要研究了具有這種行為偏差的用戶在孤立的情況下以及在博弈論的環境中行動時的安全投資。因此，我們發現了行為決策下安全投資的某些特征，而這些特征在先前工作中考慮的經典決策概念（即預期成本最小化）下是無法預測的[9]。特別是，我們表明，非線性概率加權會導致防御者的投資方式增加他們的資產對攻擊的脆弱性。此外，我們還說明了在系統中擁有混合防衛者（具有不同程度的概率加權偏見）的影響，并表明對概率的認識有偏差的防衛者的存在實際上會使系統中的非行為防衛者受益。然后，我們提出了一個新的指標，即行為無政府狀態的價格（PoBA），以反映行為決策者所做的均衡投資與集中式（非行為式）社會最優解決方案相比的低效率，并為PoBA提供了嚴格的界限。

1.3 在行為概率加權下保護具有異質性估值的孤立資產

1.3.1 決策理論分析

與安全領域的戰略（或經濟）決策有關的開創性工作之一是[25]，它考慮了一個保護單一節點的單一防御者，該節點的脆弱性可以通過對該節點的投資來降低。作者對防御者在這種情況下的投資進行了深入研究。這種關于防御者選擇投資以保護資產免受非戰略攻擊者攻擊的決策理論表述已被廣泛研究（例如見[9]，[26]-[28]及其中的參考文獻）。然而，如上所述，在大多數這些工作中，防御者被建模為完全理性的決策者（也許有某種程度的風險規避[27]），他們選擇他們的行動來最大化他們的預期效用。

在這項工作中，我們將前景理論引入一個決策理論安全框架，該框架涉及一個保護具有異質性價值的多種資產的防御者。具體來說，我們考慮一個由許多資產組成的CPS，并假設防御者誤解了每個資產成功被破壞的概率。我們描述了這種誤解對防御者的安全投資的影響。特別是，我們表明，與正確感知攻擊概率的防御者相比，行為概率加權導致防御者將更多的投資轉向價值更高的資產。特別是，隨著防御者的行為越來越多，擁有正投資的節點數量也會減少。這種投資的轉變導致了行為防御者的（真實）預期損失的增加。

1.3.2 多防御者博弈論分析

在這項工作中，我們考慮的是一個共有資源博弈的環境，其中資源發生故障的概率隨著資源總投資的減少而減少。該博弈中的參與者需要投資（受預算約束）以保護一組給定的節點免遭失敗。每個節點對每個玩家都有一定的價值，同時也有失敗的概率，這是玩家對該節點總投資的函數。在這種情況下，我們考慮行為概率加權（相對于失敗概率）對投資策略的影響；這種概率加權，即人類以非線性的方式對概率進行加權，已被行為經濟學家確認為人類決策的一個共同特征。我們研究了有多個（行為）參與者的博弈論設定，并表明該博弈中存在純策略納什均衡，并表明在所有均衡中每個節點上的總投資是唯一的。此外，我們表明，與玩家正確感知失敗概率的情況相比，反S型行為概率加權（玩家對低概率加權過高，對高概率加權過低）導致玩家將更多的投資轉移到高價值的節點，而對低價值的節點投資不足。特別是，隨著玩家的行為越來越多，擁有正投資的節點數量也會減少。另一方面，我們表明，在S型行為概率加權（玩家對低概率加權過低，對高概率加權過高）的情況下，有積極投資的節點數量增加。最后，我們量化了行為水平的異質性對PNE投資的影響，并比較了提高社會成本的不同可能的培訓政策。我們通過數字模擬來說明我們的理論結論。

1.3.3 順序防御者-攻擊者博弈分析

與考慮非戰略攻擊者的防御者決策理論公式相比，博弈理論模型在防御者和攻擊者可用戰略的各種假設下進行了探索[3], [4], [9]。特別是，在[7]、[29]、[30]中研究了攻擊者對防御者的行動作出戰略反應的情景。對我們這里的工作特別感興趣的是論文[30]，它考慮了一個連續的防御者-攻擊者框架，并顯示了每個參與者的最佳策略。同樣，現有工作的一個共同點是假設防守方和進攻方都是按照完全理性決策的經典模型行事。

在這項工作中，我們將前景理論引入到一個涉及一個防御者和一個攻擊者的連續博弈理論框架中。具體來說，我們考慮的情況是，（人類）防御者對每個地點的成功攻擊概率有誤解。我們描述了這種誤解對防御者的安全投資和攻擊者的決定的影響。與[31]-[33]不同的是，作者考慮了這種概率加權在某些特定類別的沒有戰略對手的相互依賴的安全博弈中的影響，我們考慮的情況是，防御者將她的投資放在最能保護她的站點上，考慮到戰略攻擊者選擇哪個站點被破壞以最大化防御者的預期損失。

我們首先展示了防御者（在行為概率加權下）的（感知的）最佳防御分配的唯一性。然后，我們描述了概率加權對防御者所做的投資決定的影響；特別是，我們表明，對概率的非線性感知會誘使防御者以增加其被攻擊時的損失的方式轉移其最佳投資。最后，我們引入了行為概率加權價格（PoBW）的概念，以量化行為防御者的投資對其真實預期損失的無效率。我們提供了PoBW的界限，并提供數字例子來說明上述現象。

1.3.4 同步攻防博弈分析

一類特殊的涉及攻擊者和防御者的同時移動博弈（玩家必須同時選擇他們的策略，而不先觀察對方做了什么）已經在各種情況下被研究。例如，Colonel Blotto博弈[34]是一個有用的框架，用來模擬攻擊者和防御者之間在不同的潛在目標（即戰場）上分配一定數量的資源。具體來說，[35]提出了一個異質布洛托上校博弈的解決方案，該博弈具有不對稱的參與者（即具有不同的資源）和一些可能具有不同價值的戰場。雖然Colonel Blotto博弈通常涉及確定性的成功函數（在某個節點上投資較高的玩家贏得該節點），但其他工作研究了每個玩家的獲勝概率是每個玩家的投資的概率（和連續）函數的情況[7]。

在這些工作中，按照人類決策的經典博弈理論模型，防御者和攻擊者被認為是完全理性的決策者，他們選擇他們的行動來最大化他們的預期效用。很少有例外的情況，通過決策理論分析關注概率加權對單個防御者決策的影響（沒有戰略攻擊者）[33]，關注多個防御者對網絡的投資（重點是了解網絡結構的作用）[31]，或者關注單一目標環境下雙方的行為決策[36]。與這些工作不同的是，我們考慮的是在有多個目標的環境中，行為決策的影響，這些目標對參與者（即防御者和攻擊者）的價值不同。

在這項工作中，我們將前景理論引入涉及攻擊者和防御者的博弈論框架。具體來說，我們考慮一個由許多資產組成的CPS，并假設防御者誤解了每個資產的成功妥協的概率。我們首先建立了每個參與者（即攻擊者和防御者）的目標函數的凸性，并以此來證明行為多目標安全博弈的純策略納什均衡（PNE）的存在。然后，我們證明了該PNE在我們的博弈中的唯一性。然后，我們描述了（理性）玩家的最佳投資策略的特點。然后我們表明，防御者和攻擊者更多地投資于高價值資產（在適當的條件下）。隨后，我們通過數字模擬表明，對概率的非線性感知可以誘使防御者將更多的投資轉移到更有價值的資產上，從而可能增加他們的（真實）預期損失。

1.4 引導行為決策者在相互依賴的系統中進行更好的安全投資

在前面的表述中，我們已經表明，與非行為決策相比，行為決策會導致次優的資源分配。在這項工作中，我們試圖引導行為決策人進行更好的安全投資。特別是，我們為相互依賴的系統設計了一種推理和安全投資決策技術。我們提出了不同的基于學習的技術，以指導行為決策者在兩種不同的情況下做出最佳的投資決策，每一種情況都代表著防御者是否了解對手的歷史（即在前幾輪選擇的攻擊路徑）。我們提出的技術增強了已實施的安全策略（在通過優化分配有限的安全資源來減少系統被破壞時的總損失方面）。我們的系統有用于單輪和多輪設置的組件。

我們對N = 145名參與者進行了一項人體研究，他們在兩個簡單的攻擊圖中選擇防御分配。然后，我們使用五個合成的攻擊圖來評估我們的系統，這些攻擊圖代表了現實的相互依賴的系統和通過它們的攻擊路徑。這些系統是DER.1[17]，（由NESCOR建模），SCADA工業控制系統，使用ICS的NIST指南建模[12]，IEEE 300總線智能電網[37]，電子商務[13]，和VOIP[13]。我們與之前的兩個帶有攻擊圖的最佳安全控制解決方案[16]、[38]做了一個基準比較，并與我們的評估相比，量化了損失的低估程度，其中防御者是行為的。在進行分析和獲得這些基于行為模型的結果時，我們解決了在相互依賴系統的安全方面的幾個特定領域的挑戰。這些挑戰包括用某些參數來增強攻擊圖，如邊對安全投資的敏感性、基線攻擊概率的估計以及我們公式中的防御機制類型。

1.5 利用機制設計加強相互依賴系統的安全資源分配

確保相互依賴的系統安全的另一個目標是最小化所有保衛此類系統的利益相關者的社會成本。在這項工作中，我們考慮了兩種不同的基于稅收的機制，以引導行為決策者和自私的理性決策者在相互依存的安全博弈中做出最佳投資決定。這種機制使用貨幣支付/獎勵來激勵社會最優（SO）安全行為，即那些最小化所有防御者因安全攻擊而產生的成本總和。兩種基于稅收的機制是 "外部性 "機制[39]和Vickrey-Clark-Groves（"VCG"）機制[40]。這些機制通過激勵防御者分配其有限的安全資源以最小化系統的社會成本來加強已實施的安全政策。我們展示了一個基本結果，即不存在可靠的基于稅收的機制，可以激勵社會最優的投資狀況，同時保持弱平衡的預算（即中央監管機構不支付自費資金），適用于所有相互依賴的安全博弈實例。

我們在第8.7節中展示了我們的結果與安全經濟學文獻[40]、[41]中的先前結果之間的區別。我們的結果表明，與單體系統相比，在相互依賴的安全博弈中設計機制更具挑戰性。我們還展示了在我們的相互依賴的安全博弈框架中，行為偏差對兩個機制的結果的影響。特別是，我們表明，在這種稅收機制下，行為維護者與理性維護者相比會支付更多的稅收。然后，我們使用四個合成的攻擊圖來評估我們的發現，這些攻擊圖代表了現實的相互依賴的系統和通過它們的攻擊路徑。在進行分析時，我們修改了相互依存的安全博弈的機制公式（第8.5節），并將行為偏差納入我們的公式中（第8.2節）。

1.6 總結和概要

本論文在兩個主要環境中證明了行為偏差（來自前景理論）對安全決策的影響。首先，它提出了新的數學行為安全博弈模型，用于研究由有向攻擊圖建模的相互依賴系統中的人類決策，并表明行為偏差會導致攻擊圖邊上的次優資源分配模式。其次，它通過決策和博弈論框架，包括同時和順序博弈，分析了保護具有異質性評價的多個孤立資產的結果。它描述了在這種情況下風險誤解對安全投資的影響，并表明與理性防御者相比，行為防御者會過度投資于價值較高的資產。然后，它提供了不同的基于學習的技術，并調整了兩種不同的基于稅收的機制，以指導行為決策者在上述環境中加強他們的次優安全投資模式，并做出最佳安全投資決策。

1.6.1 論文大綱

本論文的其余部分組織如下。第二章介紹了對相互依賴系統中的行為決策的分析。第三章和第四章分別提供了在風險誤解下保護具有異質性估值的多個孤立資產的決策理論分析和博弈論分析。在第五章中，我們提出了在一個具有多個異質估值目標的CPS上，防御者和攻擊者之間的順序博弈設定。第六章展示了行為決策對同時進行的攻擊者-防御者博弈的影響。在第七章中，我們提出了兩種新的學習算法，以指導行為決策者進行更好的安全投資。在第八章中，我們為我們的相互依賴的安全博弈調整了兩種機制設計，以實現社會最優（使系統的社會成本最小化）。第九章是本論文的結論，并提供了下一步和未來的工作。

學位論文摘要

在這篇論文中，我們研究了博弈論在確定各種基礎設施保護策略的應用。博弈模型是在防御者和對手之間進行的。防御者尋求最小化對基礎設施網絡的損害，而對手的目標則是最大化。本論文分為兩部分。在第一部分，我們考慮資源分配博弈模型，在第二部分，我們研究巡邏和搜索博弈。

在資源分配博弈領域，我們解決了文獻中現有的一些限制。其中一個限制是，這些模型大多假設博弈的參數是確定的，或者遵循一個已知的分布。而在現實中，博弈的某些參數可能是不確定的，沒有已知的分布，或者關于它們的分布信息可能是不可靠的。為此，我們研究了目標估值不確定情況下的一次性安全博弈。我們提出了一個模型，在這個模型中，雙方都使用一種穩健的方法來應對目標估值的不確定性。我們表明這個模型的納什均衡是門檻型的，并開發了封閉式的解決方案來描述均衡點的特征。然后，我們將我們的模型應用于向美國10個城市地區分配安全資金的真實案例。

另一個限制是缺乏解決分層決策的模型。保護基礎設施及其用戶免受蓄意攻擊，需要在組織結構中做出戰略和運行決策。盡管通常是分開分析的，但這些決策是相互影響的。為了解決這個問題，我們開發了一個兩階段的博弈模型。在第一階段，玩家做出投資決策，在第二階段，他們決定保衛/攻擊哪些網站。我們區分了在第二階段出現的兩種類型的博弈。最大損害博弈和滲透/騷擾博弈。我們證明，在預算約束下，這個博弈的解決方案是唯一的。事實上，當第二階段的博弈是滲透/騷擾類型時，投資-防御博弈有一個獨特的閉式解，這是非常直觀的。結果顯示，增加對一個目標地點的防御投資會降低防御和攻擊該目標的概率。然而，攻擊投資的增加會增加防守和攻擊該目標的概率。同樣，防御者（攻擊者）投資效率的提高會導致防御者和攻擊者的投資減少（增加）。我們還將提出的模型應用于一個真實的案例。真實數據的結果表明，攻擊者從失敗的攻擊中得到的懲罰是決定防御者的投資和防御概率的最佳分布的重要因素。防御者的第二階段防御決策是對第一階段投資決策的補充。也就是說，在得到很少或零投資的目標地點中，最重要的一個地點在第二階段以相對高的防御概率被覆蓋。此外，隨著攻擊者預算的增加，防御投資從不太重要的站點轉移到更重要的站點。

我們還研究了資源分配模型中的總體性保護選項。總體保護指的是同時保護多個目標的選項，例如，應急響應、邊境安全和情報。大多數帶有總體保護的防御性資源分配模型都假定只有一個總體保護選項可以保護所有目標。然而，這可能并不現實，例如，應急反應投資可能只覆蓋某個區域。為了解決這個問題，我們開發了一個新的資源分配模型，以適應針對故意攻擊的通用總體保護。該模型還考慮了多種自然災害類型。我們表明，我們提出的模型是一個凸優化問題，因此可以在多項式時間內求解到最佳狀態。此外，整個國家層面的資源分配問題可以被分解成更小的城市層面的子問題，從而產生一個更有效的算法。數字實驗證明了所提方法的性能。

巡邏和搜索博弈通常是在一個圖上進行的，玩家在一個時間范圍內做出決策。在巡邏博弈中，防御者控制一組巡邏者并指揮他們在圖上行走，以盡量減少對手的攻擊損失，而對手則選擇一個目標和攻擊時間。為了成功地摧毀一個目標地點，對手需要一些準備時間而不被巡邏者打斷。大多數巡邏博弈模型都假設站點的價值是相同的，或者說它們不會隨時間變化。然而，這并不是一個現實的假設。特別是在軟目標的情況下，這些值可能對應于一個地點的占用水平，因此，這樣的值可能是不同的，并可能隨時間變化。我們提出了具有隨時間變化的節點值和基于節點的攻擊時間的新模型。我們使用列生成、列和行生成等算法數值地解決這些模型。我們將這些算法應用于美國一個主要城市的城市鐵路網的真實案例。結果顯示了所提出的解決方法的效率。他們還證明了額外的巡邏員的回報率是遞減的。

在搜索博弈中，一個隱藏者將一組物體隱藏在一組潛在的隱藏地點。搜索者控制一組搜索隊，指揮他們在網絡上行走，找到隱藏的物體，使目標函數得到優化。然而，在某些情況下，玩家可能會將藏匿地點相互區分開來，目標是優化加權搜索時間。為了解決這個問題，我們引入了一個新的離散搜索博弈，并考慮到了不同地點的權重。我們表明，在某些條件下，該博弈有一個封閉式的納什均衡。對于一般情況，我們開發了一種基于列和行生成的算法。我們表明搜索者的子問題是NP-hard的，并提出了一個分支和價格算法來解決它。我們還提出了一個用于Hider子問題的多項式時間算法。數值實驗研究了該方法的性能，并揭示了對該博弈特性的洞察力。

第一章 簡介

恐怖襲擊是對國民經濟和生活質量的一個嚴重關切。每年都有成千上萬的人因為這些襲擊而喪生或受傷或被綁架。2015年，全世界共發生11774起恐怖襲擊事件，造成28300多人死亡，35300多人受傷。此外，有超過12,100人被綁架或劫持為人質[22]。恐怖主義的持續威脅帶來的心理影響也是相當大的。這類事件在社會上造成了恐懼、驚慌、焦慮和苦惱。

保護關鍵基礎設施不受恐怖主義侵害是國土安全的首要任務之一[104]。對關鍵基礎設施的物理保護可以防止成功實施高影響力的恐怖襲擊。此外，對針對關鍵基礎設施的恐怖襲擊作出即時反應，可以防止與此類襲擊相關的連帶效應。

這些原因以及在過去幾十年中發生的許多引人注目的恐怖襲擊，突出了此類基礎設施的安全建模和分析是一個主要的研究議程。通過評估與基礎設施內每個站點相關的風險、緩解計劃以及設計保護戰略和響應政策，可以大大減少攻擊的后果。基礎設施安全最近成為研究人員越來越感興趣的主題。人們提出了不同的方法來模擬安全問題中的戰略互動，這些方法包括系統分析[115]、數學建模[51]、概率風險分析[33, 39, 73, 100, 115, 116]，以及對抗性風險分析[123]。然而，由于恐怖分子的攻擊可能是戰略性的，對這種攻擊的博弈論分析會產生更真實的結果。因此，最近的研究集中在開發博弈論模型來捕捉恐怖主義風險，并將結果應用于加強安全措施。其中一個模型ARMOR[112, 113, 114, 118]已被部署在洛杉磯國際機場（LAX）以加強機場的安全。

這項研究的重點是博弈論的應用，為各種基礎設施尋找最佳保護策略，以抵御蓄意攻擊。這項工作可以分為兩部分：資源分配模型，以及巡邏和搜索博弈模型。

為防止蓄意攻擊而進行的資源分配通常是昂貴的，決定如何分配資源以保護關鍵基礎設施是一個困難的問題。許多因素會影響這種分配政策，例如，在實踐中，公平在確定防御分配方面起著重要作用[129]。此外，創造一種平衡以保護不同類型的威脅（例如，生物攻擊與炸彈攻擊，或恐怖主義與非恐怖主義預防活動之間）是另一個因素。其中一些因素已經在靜態安全博弈的文獻中得到了解決。然而，仍然有一些限制。例如，大多數基礎設施安全博弈假設博弈的參數是確定的或遵循一個已知的分布。而在現實中，博弈的一些參數可能是不確定的，沒有已知的分布，或者關于它們的分布信息可能是不可靠的。在這項研究中，我們建立了具有和不具有私人信息的不完全信息基礎設施安全博弈的穩健無分布模型。此外，決策的層次性在文獻中經常被忽略。然而，分配資源以保護關鍵的基礎設施涉及到組織結構中不同層次的決策：戰略和運行決策。這些決策相互影響，需要同時進行研究。在這項研究中，我們開發了兩階段的博弈模型來解決這個問題。此外，大多數現有的帶有總體保護選項的資源分配模型都假定只有一個總體保護選項可以保護所有目標。然而，在現實中，可能有許多總體保護方案，而每個方案可能只覆蓋一個子集的目標。為了解決這個問題，我們開發了一個新的資源分配模型，該模型具有通用的總體保護選項。我們還開發了高效的分解算法來尋找最佳的資源分配。

巡邏和搜索博弈通常是在一個圖形上進行的，玩家在一個時間范圍內做出決定。設計巡邏隊來保護開放的大眾運輸系統和其他軟目標帶來了獨特的挑戰，這些挑戰在巡邏博弈的文獻中還沒有被解決。其中一個挑戰是這些系統內人群規模的動態性質。因為對手的主要目標是造成人員傷亡，所以節點的價值取決于居住在這些節點的人數。這些數字隨著時間的推移而變化，恐怖分子往往根據這些變化來確定他們的攻擊時間[68]。其他挑戰包括處理多個攻擊者，適應人力資源的限制，以及開發有效的方法來設計一般網絡的巡邏。我們通過開發具有動態變化的節點值、基于節點的攻擊時間、多個巡邏員和多個攻擊者的新模型來應對這些挑戰。為了有效地解決這些模型，我們開發了先進的解決算法，如列生成，以及列和行生成。在搜索博弈中，一個隱藏者將一組物體隱藏在一組潛在的隱藏地點。搜索者控制一組搜索隊，指揮他們在網絡上行走，找到隱藏的物體，從而使目標函數得到優化。大多數搜索博弈模型都假定隱藏地點是相同的，玩家的目標是優化搜索時間。然而，在某些情況下，玩家可能會將藏匿地點相互區分開來，目標是優化加權搜索時間。為了解決這個問題，我們引入了一個新的離散搜索博弈，并考慮到了不同地點的權重。

1.1 問題陳述和研究動機

本研究考慮的主要問題是確定針對故意破壞（如恐怖襲擊）的最佳保護策略。因為對手的決策也是有策略的，所以對這些問題的博弈論分析會產生更現實的結果。本研究中考慮的博弈模型是在防御者（她）和對手（他）之間進行的。防御者想要最小化對基礎設施網絡的損害，而對手則想要最大化。這些模型可以分為兩類：資源分配博弈，以及巡邏和搜索博弈。在資源分配模型中，有一個N個目標的集合。每個目標i都有一個Ci的值。防守方決定防守哪個目標，而對抗方決定攻擊哪個目標。如果雙方都選擇相同的目標i，那么以δi的概率，攻擊將被檢測并挫敗。這個概率被稱為檢測概率。以下矩陣的(i, j)部分顯示了如果防御者選擇目標i，而對手選擇目標j的預期損害。注意，這個矩陣對應于對手的報酬矩陣，對手試圖使預期損害最大化。

我們的目標是在各種條件下，如博弈參數的不確定性和私人信息的存在，以閉合形式描述納什均衡（NE）的特征。

我們在這篇論文中討論的另一個問題是決策的層次性。保護基礎設施及其用戶不受破壞，需要在一個組織的層次結構中做出戰略和運行決策（見圖1.1）。戰略決策是具有長期影響的長期決策。例如，對目標站點進行 "加固"[17]以減少攻擊的成功概率的投資決策被歸類為戰略決策。這包括對新技術的投資，以加強網站的安全性。另一方面，運行決策是與日常運作有關的短期決策，如巡邏、分配第一反應者和安排車輛檢查站。請注意，"戰略 "這個詞也可以用來描述參與者。在這種情況下，"戰略玩家 "指的是一個理性的玩家，其目標是最大化回報。因此，在本論文中，"戰略決策 "是指具有長期影響的長期決策，"戰略參與者 "是指以報酬最大化為目標的理性參與者。大多數研究只關注純粹的戰略決策[63, 107]或純粹的運行決策[16, 35, 36, 38]。然而，這些決策是相互影響的。例如，在某一區域安裝閉路電視攝像機可能會使該區域的巡邏變得不必要。或者將金屬探測器和安檢系統分配給目標地點，可能會影響到這些目標中巡邏隊的最佳調度。此外，投資一項新技術以加強某個目標地點的安全，可能會降低其目標的吸引力，影響保衛該目標的最佳概率。因此，在同一個模型中考慮戰略和行動決策會產生一個更全面的分析。

圖1.1: 戰略決策與運行決策

我們研究了在考慮到人為和自然災害的資源分配模型中總體保護方案的影響。總體保護方案是指可以同時保護多個目標的替代方案。例如，對邊境安全和情報工作的投資有望保護多個目標免受恐怖主義的威脅。這一領域現有文獻的局限性在于，大多數現有的模型只考慮了保護所有目標的單一總體性保護方案。然而，這可能不是對現實的準確表述。例如，對邊境安全的投資可以分為不同的入境點，每一個入境點預計都會使離該特定入境點較近的地區受益。為此，一個新的資源分配模型，容納多個保護目標子集的總體保護措施，將導致一個更現實的分析。

本研究中調查的巡邏博弈G是一個由防御者和對手在連接圖Q = (N , E)上進行的零和博弈，節點集為N，邊集為E，時間跨度為T。防御者控制著一組安全人員（巡邏者）S，并指示他們在圖上行走，以盡量減少來自對手的攻擊的損害。而敵方控制著一組攻擊者A，并為每個攻擊者選擇一個節點和一個攻擊時間。為了成功地摧毀一個目標站點，攻擊者需要在目標上有一定數量的時間單位，不被任何巡邏者打斷。巡邏博弈文獻中的大多數論文都假設對手選擇一個目標進行攻擊，目標值在一段時間內是固定的，有些甚至假設所有目標是不可區分的，即它們都有相同的價值。然而，在許多現實情況下，情況并非如此。例如，在一個交通設施中，每個地點的人數、占用水平可以被認為是該地點的價值。此外，占用水平可能隨時間變化，預計在高峰期，占用水平會比正常時間高。因此，一個具有隨時間變化的節點價值、特定節點的攻擊時間、多個巡邏者和多個攻擊者的巡邏博弈模型將導致與現實更加一致的結果。

本研究中考慮的搜索博弈是在搜索者和隱藏者之間進行的。搜索者控制一組S個搜索隊，隱藏者控制一組H個要隱藏的對象。博弈是在一個完整的圖Q = (N , E)上進行的，其中N = {0, 1, 2, . ，N}是圖中節點的集合，E = {(i, j) : i, j∈N, i 6 = j}是邊的集合。文獻中的大多數搜索博弈模型都假設藏身之處是相同的，玩家的目標是優化搜索時間。然而，在某些情況下，玩家可能會將藏身之處相互區分開來，其目標是優化加權搜索時間。例如，在某些攻擊中（生物或化學），傷亡率取決于人口密度、環境條件等因素。因此，不同的地點可能有不同的傷亡率，而整體的損失將與暴露時間和傷亡率成正比。另一個例子是通過通信渠道檢測竊聽者的問題[37]。不同的信道可能有不同的傳輸能力，對網絡的破壞率將與檢測時間和信道的容量成正比。此外，藏匿地點可能分散在大片區域，搜索可能涉及多個搜索小組。為此，一個新的搜索博弈，容納了不同地點的不同權重，將導致一個更現實的分析。

1.2 研究貢獻

在這項研究中，提出了新的博弈論模型，以解決資源分配博弈、巡邏和搜索博弈領域中的一些現有差距。在資源分配博弈領域，主要貢獻是：擴展現有模型以處理分層決策；引入廣義的總體保護方案；用穩健的方法解決參數的不確定性；開發適合于更有效算法的新模型。在巡邏和搜索博弈領域，我們的主要貢獻是：納入了與時間相關的節點值，以及多個巡邏者和多個攻擊點；并引入新的和更有效的算法來解決博弈論模型。

在接下來的章節中，我們將介紹我們的主要貢獻，如下所述。

1.我們開發了一種穩健的方法來應對安全博弈中的參數不確定性，并在第二章提供了閉合形式的NE策略。

2.為了解決防范蓄意攻擊的決策的層次性問題，在第三章中，我們引入了一個兩階段的投資-防御博弈模型，并推導出某些條件下的閉合形式的NE策略。這個模型抓住了戰略投資決策和運行攻擊/防御決策的綜合效應。

3.在第四章中，我們提出了一個新的資源分配模型，用于保護資產免受人為和自然災害的影響，并具有廣義的總體保護。這個模型被證明導致了一個可分解的凸優化問題，因此可以被有效解決。

4.在第五章和第六章中，我們介紹了新的巡邏博弈模型，該模型具有與時間相關的節點值，基于節點的攻擊時間，多個巡邏者和多個攻擊點；并開發了高效的解決方法，基于列生成，以及列和行生成來解決現實的大小問題。

5.我們在第七章中介紹了一個新的搜索博弈模型，該模型具有不同的節點權重、多個搜索隊、多個隱藏對象和分散的隱藏地點；并在第七章中介紹了基于列和行生成的高效求解方法，以解決現實的大小模型。

6.我們在第八章中提出了本研究的結論并討論了未來的研究思路

機器學習(ML)正在經歷一場范式的轉變——機器學習模型越來越多地被作為一種服務來提供，以自動化各種下游決策，而不是由機器學習專家對特定任務進行端到端的訓練和部署。例如，大型科技公司提供的圖片或文本分類API，被廣泛的第三方應用開發者使用，以及通過網站向數百萬用戶提供各種預測(如天氣、COVID、流量等)，以幫助他們進行規劃。盡管這種新的范式通過使ML更廣泛地可訪問而使其民主化，但它引起了對可信性(用戶無法看到他們是如何被訓練的以及他們的失敗模式)和性能(預測模型不再為特定的下游任務量身定做)的擔憂。本文通過以下方法來解決這些問題:

貢獻1。提出了一種新的方法，通過精確的不確定性量化，向下游決策者傳遞信心，后者將對(高風險)決策進行預測。精確的不確定性量化可以通過預測相關結果的真實概率(例如給定癥狀的病人患病的真實概率)來實現。雖然在大多數情況下，準確地輸出這些概率是不可能的，但對于大型決策任務，學習與真實概率難以區分的概率卻是驚人的可能。不可區分性保證了決策者的可靠性，因為在他們的決策任務中，他們不應該能夠區分預測概率和真實概率之間的區別。作為一個應用程序，我開發了一些預測模型，如醫療診斷、航班延誤預測和貧困預測等領域。我展示了通過使用我的方法，決策者可以自信地做出導致良好結果的決策。

貢獻2。發展一種新的信息理論，以嚴格推理和優化ML預測在廣泛的決策任務中的“有用性”。香農信息理論在機器學習中有著廣泛的應用，但在處理復雜的學習和決策任務時存在一些局限性。例如，考慮從對手攔截的安全加密消息數據集。根據信息論，這些加密信息與對手的計劃具有高度的互信息，而任何計算有界的決策者都不能利用這些信息。為了解決這些局限性，我提出了一個新的框架，稱為“效用信息理論”，它概括了香農熵、信息和散度，以解釋知識或建模能力有限的決策者將如何使用信息。作為一個應用，我將新的信息應用于貝葉斯優化問題，并顯示了比使用香農信息的當前方法在樣本效率方面的數量級改進。

在過去的幾年里，人工智能(AI)技術已經被應用到人類生活的幾乎所有垂直領域。然而，人工智能模型產生的結果往往滯后于可解釋性。AI模型經常出現在開發人員無法解釋或追溯特定決策背后的原因的黑箱中。可解釋AI (XAI)是一個快速發展的研究領域，它有助于提取信息，并以最佳的透明度將生成的結果可視化。本研究對XAI在網絡安全中的應用進行了廣泛的綜述。網絡安全能夠保護系統、網絡和程序免受不同類型的攻擊。XAI的使用在預測此類攻擊方面具有巨大的潛力。這篇論文簡要概述了網絡安全和各種形式的攻擊。然后，討論了傳統AI技術的使用及其相關挑戰，這打開了XAI在各種應用中的使用的大門。介紹了XAI在各研究項目和行業中的實施情況。最后，從這些應用中吸取的經驗教訓被強調為未來的研究范圍提供指導。

引言

網絡安全是程序、控制和技術的應用，以保護數據、程序、網絡和系統免受潛在的網絡攻擊。與網絡安全相關的各種工具和技術旨在對抗針對組織內部或外部環境中存在的網絡系統和應用程序的威脅。統計數據顯示，數據泄露造成的平均損失在全球范圍內為386萬美元，在美國上升到864萬美元[2]。這些成本不僅包括違約的直接影響，還包括后續調查，以確定違約的原因、相關的應對措施、收入損失、停機時間，以及最重要的聲譽品牌損害[3]。

考慮到這些成本，大多數組織都采用了基于主流最佳實踐的網絡安全策略。有效的網絡安全策略通常包括分層保護，對網絡攻擊提供防御，以保持網絡資產的機密性、完整性和可用性。這類戰略的實施還旨在防止對用戶或知名組織進行財務勒索，妨礙正常的商業運作。因此，在這方面部署明智、有效和高效的應對措施是絕對必要的。例如，美國國家標準與技術研究所(NIST)開發了一個網絡安全框架，幫助各組織保護它們的計算機系統、網絡和用于實現國家安全、公共衛生、安全和各種其他行政活動的各種其他資產。國際標準組織，即ISO27000系列資訊保安標準，旨在滿足類似的需要。盡管存在這樣的方法和標準，攻擊者仍然在安全框架中發現漏洞，這些漏洞可以繞過極其強大的防御措施。在大流行危機期間，當專業規范從辦公室變為在家工作時，網絡安全威脅還觀察到與遠程訪問工具、云服務和其他遠程工作工具相關的漏洞也發生了變化。[4]。這些不斷發展的威脅包括惡意軟件、勒索軟件、網絡釣魚、內部威脅、分布式拒絕服務(DDOS)威脅、高級持續威脅(APTs)、中間人攻擊和各種其他[5]。

網絡安全框架和相關最佳實踐能夠在不損害用戶隱私和客戶體驗的情況下保護機密信息，從而有效減少網絡漏洞。更具體地說，身份和訪問管理(IAM)，例如，框架用戶角色和訪問權限，建立標準，訪問權限可以被監控。IAM技術包括單點登錄功能，其中用戶訪問網絡時無需多次重新輸入證書。IAM還可以提供多因素認證和特權用戶帳戶，只提供對特定合法用戶的訪問，減少欺騙性訪問的可能性。這些工具增強了終端用戶設備中異常活動的可見性。此外，在出現安全漏洞的情況下，這些工具可確保加速調查、響應、隔離和遏制與安全漏洞相關的所有組件。

有各種綜合的數據安全平臺，包括分類、權限分析、行為分析和合規報告等功能。這些平臺的主要目標包括在混合云和多云環境中保護敏感信息。這些平臺提供自動、實時的可見性、入侵警報和對數據漏洞[6]的監控。例如，安全信息和事件管理(Security information and event management, SIEM)是安全信息管理(Security information management, SIM)和安全事件管理(Security event management, SEM)的結合，對應用程序和網絡硬件產生的安全告警進行自動化實時分析。這些產品包括智能和先進的檢測方法，用戶行為分析和人工智能/機器智能(AI/ML)，以檢測軟件產品和服務領域的異常[7]。

網絡安全風險管理有助于理解安全威脅的各種特征，以及個人和組織層面的相關內部互動。最低合理可行(ALARP)是一個類似的風險管理原則，強調網絡風險。這一原則確保通過將風險與解決相同問題所需的時間和資源進行比較來減少剩余風險。其理念是分析降低風險所涉及的成本，并確保其與所獲得的利益不成比例。網絡/信息安全的所有現代風險管理解決方案都著眼于降低風險影響，從而平衡減少或緩解風險影響的相關成本。

值得一提的是，ISO27000這類國際標準家族的范圍，強調了與網絡安全風險相關的信息安全管理系統文檔的創建和管理。該標準由14個組和35個控制類別的114個控制組成，涵蓋了組織網絡安全的所有方面。為了適用該標準，必須評估現有風險，確定適用的控制措施，評估這些控制措施帶來的緩解效果，評估應用這些控制措施的成本，還必須評估所引入的任何次級風險的緩解效果。控件將被應用于： (1)該風險經評估超過該組織的風險承受能力; (2)成本控制的應用被認為是可以接受的; (3)二次風險不排除應用。

人工智能如何幫助網絡安全

機器學習(ML)算法是在以往經驗的基礎上訓練的，以便做出類似人類行為的決定。此外，ML算法還被用于檢測與安全威脅和[8]漏洞相關的異常和威脅。此外，在過去幾年中，基于機器學習的自動化安全工具已經得到了發展，它們可以自動響應威脅，執行諸如聚類、分類和回歸[9]等任務。聚類是一種將數據根據其特征的相似性進行分組的過程。聚類中的數據對象彼此相似，但又不同于其他聚類中的數據對象。因此，聚類分析可以對沒有預定義類的數據進行無監督分類。另一方面，分類有助于預測給定數據點的類別。分類器使用訓練數據來理解輸入變量是否屬于一個特定的類別，使用無監督學習技術。回歸分析是一種統計技術，它建立因變量和獨立預測變量之間的關系與許多獨立變量之一。

AI和ML也被用于主動的漏洞管理。基于AI/機器學習的用戶和事件行為分析(UEBA)工具分析服務端點和服務器上的用戶交互，以檢測異常行為。這有助于在[10]漏洞報告或修補之前為組織提供提前保護。

反病毒檢測是人工智能技術發揮重要作用的一個領域。最主要的方法是啟發式技術、數據挖掘、代理技術和人工神經網絡[11]。例如，Cylance智能防病毒產品是為了滿足類似的目標，為家庭從合法數據中檢測惡意軟件提供企業級的基于人工智能的安全。該產品完全在執行點消除了威脅，而不需要任何人工干預[12]。有許多傳統的身份驗證系統使用用戶名或電子郵件和密碼作為一種身份驗證方法。人工智能的使用有助于檢測易受攻擊的密碼，并用于基于生物識別的認證系統，提供更強的保護層，黑客難以入侵。生物識別系統主要用于企業和政府組織的安全和訪問控制。生物識別系統可分為物理識別系統和行為識別系統。物理生物識別系統使用人體的物理、可測量和獨特的信息，如DNA、靜脈、指紋、虹膜等，并將這些信息轉換為人工智能系統可以理解的代碼。相反，行為識別系統捕捉獨特的行為特征，如聲音、個人打字節奏、與物體的交互方式，然后將這些編碼信息存儲在數據庫中。在身份驗證和驗證過程[13]期間對該信息進行數字戳記。

AI在網絡安全方面的局限性使XAI成為必要

人工智能在網絡安全領域的應用帶來了許多挑戰。特別是，人工智能應用引入了大量的反指示和次級風險，它們成為惡意行為者發起攻擊的載體。例如，攻擊者可能會成功地避開基于ML的檢測。更具體地說，攻擊者可能會操縱惡意軟件文件，使基于人工智能的檢測框架無法識別任何惡意或異常活動，這就是通常所說的規避攻擊。類似地，基于人工智能的網絡安全應用也存在各種威脅，如圖1所示，涉及通信攔截、服務失敗、事故、災難、法律問題、攻擊、停電和物理損害。

基于人工智能的系統的成功取決于數據的可用性。基于人工智能的系統引發了兩類次級風險。第一種類型包括產生假陰性結果導致不準確決策的風險。第二種包括產生假陽性結果的風險，其中存在不準確的通知或假警報的可能性。[14]。在這種情況下，迫切需要確保采取必要的緩解措施，確保更準確地處理違約或異常事件的情況，從而保持所作決定的可解釋性和合理性。

實時AI系統通常會消耗大量的計算能力、數據和原始內存資源需求。這些系統還需要更高水平的專業知識來構建和維護[16]，因此部署成本非常高。人工智能生物測量系統也面臨著類似的挑戰，與上述問題相關，這些系統也容易受到信息泄露風險的影響。網絡安全公司主要使用人工智能來開發魯棒和安全的系統。相反，這些系統經常被黑客出于不道德的目的而破壞，這些黑客訓練或變異惡意軟件，使其具有AI免疫力，其行為與傳統系統相比異常。人工智能的使用使黑客能夠挫敗安全算法，使數據操作不被發現，從而使組織極其難以糾正輸入基于人工智能的安全系統的數據。因此，當前基于人工智能的系統面臨的挑戰在于，與基于模型的傳統算法[17]相比，它們的決策缺乏合理性和合理性。如果系統不能理解并從網絡安全事件中吸取教訓，那么無論基于人工智能的系統多么強大和準確，網絡安全都將成為一個具有普遍二級風險的黑匣子。

人工智能威脅體系

在深度強化學習的情況下，被確定為某些反應的原因的顯著特征，通常仍然無法解釋。例如，可以考慮貝葉斯推斷的計算，其中產生的結果的準確性往往受到數據不足的問題的影響。這就需要統計AI算法來幫助量化這些不確定性。但是這種統計AI算法的結果往往難以解釋，因此，XAI通過為基于AI的統計模型產生的結果提供可解釋性來發揮其作用，為研究人員和專家提供理解因果推理和原始數據證據[18]的能力。同樣，在醫療保健領域，XAI的實施首先允許機器分析數據并得出結論。其次，它使醫生和其他醫療保健提供者能夠獲得解釋如何做出特定的決策。在制造業中，基于人工智能的自然語言處理(AI-based natural language processing, NLP)幫助分析與設備和維護標準相關的非結構化數據，這些數據與結構化數據相關聯，即工單、傳感器讀數等業務流程數據。這有助于技術人員在他們的工作流相關操作方面做出最佳決策。

XAI能提供什么幫助

人工智能模型已經成功地應用于許多日益復雜的領域，通過其基于復雜數據集的合成能力補充和增強人類的能力。計算能力的提高進一步擴大了通過人工智能提供解決方案的范圍，人工智能應用的增長呈可視化指數增長。因此，在關鍵任務設置中對此類AI應用的需求迅速增長，其中AI被嵌入到眾多硬件智能設備中，從而實現無監督或遠程控制使用。然而，人工智能的應用帶來了相關的重大問題。過擬合，是監督式ML中的一個基本問題，其中統計模型與訓練數據完美匹配，阻礙了其在數據未知情況下的準確分析能力。當它捕捉到數據中的噪聲和不準確的值時，模型的效率和精度會下降(Ying, 2019)。過度擬合模型的使用會導致AI性能下降，在關鍵任務設置中，可能會導致不準確的決策、經濟損失、身體傷害甚至死亡。

通過對模型的機制和推理的理解，可以在一定程度上減輕這些風險。不幸的是，傳統AI系統的黑箱特性成為瓶頸，即使是AI專家也無法提供合理的解決方案[19,20]。因此，透明度是必要的，它將使明智和合理的決策制定成為可能，并有助于為模型的行為提供準確的解釋。例如，在網絡安全系統的情況下，不合理和誤導性的預測可能會使系統非常容易受到攻擊，導致完全不安全的關鍵系統。隨著可解釋人工智能的實施，提供實用的、實時的基于人工智能的解決方案將變得更加容易，因為數據集中的偏見可以完全消除，從而導致公正的決策。解釋性結果使人工智能解決方案更加穩健和可信，確保有意義的變量推理和模型推理的基礎。傳統的基于深度神經網絡的模型(DNN)非常流行，但其可解釋性滯后。例如，對于id，網絡管理員很難理解入侵檢測背后的原因，并將其轉化為黑盒模型。在這種黑盒模型中，涉及決策制定的過程是具有挑戰性的，因為DNN在試錯過程中編輯特征，以生成理想的解決方案。盡管對基于ML的入侵檢測系統進行了大量的研究，但在得出與攻擊分類、異常流量行為識別和模型自動構建相關的結論時，很少對結果的基本推理或解釋進行探討。決策樹(DT)作為一個完美的模型來支持對結果預測的解釋。DT分析的結果不基于任何與數據分布相關的假設，并且有效地處理了特征共線性問題。因此，可解釋AI系統的實現使網絡管理員能夠分析、解釋和洞察IDS系統的安全策略[21,22]。在本文中，我們探討了網絡和人工智能風險的競爭本質，并探討了XAI作為人工智能風險的主要控制手段的潛力。關于XAI在網絡安全中的應用已經進行了大量的研究。本節將討論其中一些研究。[23]的研究提出了一種新穎的黑盒攻擊，該攻擊實現了XAI，損害了相關分類器的隱私和安全性。本研究采用反事實解釋(CF)生成方法實現基于梯度的優化。本研究中使用的CF方法包括潛在CF技術、多元反事實解釋(DiCE)技術和permute攻擊(對反病毒引擎執行端到端規避攻擊)。他們還執行成員推斷攻擊，這有助于鏈接用戶，并從泄露的數據集竊取他們的密碼，從而對同一數據集發起中毒和模型提取攻擊。該研究評估了與每種攻擊有關的安全威脅，并向用戶和攻擊者提供了能夠避免和減輕風險的范圍。[24]的研究提出了一種方法來解釋由面向數據的IDSs產生的不準確的分類。采用對抗性技術來識別輸入屬性中的最小修改，以準確分類錯誤分類的數據集樣本。在[22]中，提出了一個基于深度學習的入侵檢測框架。研究中可解釋的人工智能技術，有助于實現ML模型的每個層次的透明度。

該研究中使用的XAI方法包括SHAP和BRCG，能夠完全理解模型的行為。XAI的SHAP和CHEM技術有助于理解輸入的特征，從而將決策導出為輸出。考慮到分析師的視角，使用Protodash方法來識別訓練數據樣本之間的異同。[25]的作者提出了一種創新的方法來管理網絡安全系統報警系統中的超載問題。本研究考慮實施的系統包括安全資訊及事件管理系統(SIEM)及入侵偵測系統(IDS)。將零樣本學習技術與ML相結合，在框架內計算異常預測的解釋。該框架的獨特方法包括在沒有任何先驗知識的情況下識別攻擊，破譯導致分類的特征，然后使用XAI技術將攻擊分組到特定類別中。XAI的使用有助于識別、量化因素，并了解其對特定網絡攻擊預測的貢獻。[21]的研究提出了一種基于決策樹的XAI模型的IDS增強信任管理系統。研究中使用的決策樹算法幫助IDS在多個子選擇中分割選擇，從而為基準數據集生成規則。與傳統的支持向量機(SVM)系統相比，基于決策樹的XAI方法提高了精度。

雖然有各種綜述文章關注AI在網絡安全中的應用，但目前還沒有對可解釋AI在網絡安全中的應用進行全面的綜述，其中包括明確和廣泛的信息。因此，為了彌補這一差距**，本文著重對XAI在網絡安全領域的研究現狀、現有人工智能實施所面臨的挑戰、XAI的需求及其在各個領域的潛在應用范圍進行了全面的綜述**。表2重點分析了XAI和本論文的現有工作。從用戶的角度來看，使用XAI比使用AI的好處在圖3中得到了強調。

綜上所述，本研究的具體貢獻包括:

• 網絡安全和各種形式的攻擊的基本信息。
• 強調人工智能在網絡安全領域的各種應用，以及在解釋所產生的結果時存在的相關缺陷，是實施XAI的必要性
• 介紹了基于XAI的網絡安全框架在各個行業的應用

• 詳細討論了使用XAI實現網絡安全的各種研究項目和行業項目
• 從這些實施中獲得的經驗教訓將有助于確定該領域研究的未來范圍