本博士論文詳細分析了提高網絡防御態勢感知所需的決策要素，特別強調了網絡安全運營中心（SOC）分析人員的感知和理解。提出了基于數據流網絡流取證（NF3）的兩種不同架構。第一種架構使用集合機器學習技術，第二種則是算法復雜度更高的機器學習變體（λ-NF3），可提供更強大的防御框架來抵御對抗性攻擊。這兩項建議都旨在有效地自動檢測惡意軟件并進行后續的事件管理，在接近所謂的下一代認知計算 SOC（NGC2SOC）方面取得了令人滿意的結果。為保護組織的計算機網絡而進行的事件監督和監測必須輔以可視化技術。在這種情況下，本論文基于任務導向的指標和程序，使用基于模糊邏輯的專家系統，對三維圖片進行了表述。確切地說，在實施網絡防御解決方案時，考慮到一個組織的使命、資源和任務的相關性，以做出更明智的決策，最新技術證明存在嚴重缺陷。這項研究工作最終為改進網絡防御決策提供了兩個關鍵領域：一個是用于評估解決方案參數的可靠、完整的驗證和確認框架，另一個是根據網絡殺傷鏈和 MITRE ATT & CK 標準開發的合成數據集，該數據集可統一參考網絡攻擊的各個階段。

圖1所示。研究活動的周界及其演變順時針方向。

論文目標

本博士論文的研究目標如下： 1.了解和分析網絡防御態勢感知及其研究挑戰； 2.開展研究活動，將計算和數據處理與網絡決策系統的操作方面（業務需求）聯系起來； 3.找出不足之處，闡明未來的研究方向；

上述目標促成了以下研究任務：

• 通過對文獻和研究進展進行深入分析，了解態勢感知的基礎，包括其在網絡空間中的應用；
• 研究針對網絡空間安全的國際倡議；
• 研究和分析人的因素和人的系統整合（HSI）概念；
• 研究網絡防御可視化工具；
• 制定衡量標準，并將模糊邏輯應用于任務規劃和執行的近似推理機制；
• 開展機器學習（ML）算法研究；
• 研究機器學習（ML）算法的適用性，將支持識別 SOC 中網絡威脅的流程自動化；
• 研究如何通過建模和模擬創建合成數據集；
• 設計用于驗證和核實 CySA 及其相應定義的全面技術，以指導實驗；
• 研究智能網絡防御代理，將其作為未來研究的一個突出領域；

信息泄露是行業和政府領導人最關心的問題。物聯網（IoT）是一種快速發展的技術，能夠感知真實世界的事件。物聯網設備缺乏通用的安全標準，通常使用輕量級安全解決方案，從而暴露了它們收集的敏感真實世界數據。從這些設備中滲出數據的一種實用方法是通過隱蔽渠道。

這項研究設計了一種新穎的物聯網隱蔽定時通道（CTC），將數據編碼到已有的網絡信息（即端口或地址）中。在兩種物聯網協議--傳輸控制協議/互聯網協議（TCP/IP）和 ZigBee 之間實現了七種不同的編碼方法。TCP/IP 隱蔽信道是通過模仿 Ring 智能門鈴創建的，并使用亞馬遜網絡服務（AWS）服務器生成流量。ZigBee 通道是通過復制飛利浦 Hue 照明系統建立的，并在局域網 (LAN) 上執行。此外，CTC 可在兩種不同模式下實施： 隱身和帶寬。性能用吞吐量和可探測性來衡量。隱形方法模仿合法流量捕獲，使其難以檢測，而帶寬方法則放棄了這種方法，以獲得最大吞吐量。檢測結果采用了四種基于統計的檢測測試：Kolmogorov-Smirnov（KS）測試、形狀測試、規律性測試和相似性測試。

隱形結果的吞吐量為：TCP/IP 4.61 比特/秒（bps），ZigBee 3.90 比特/秒（bps）。它們還躲過了檢測測試。帶寬法的 TCP/IP 平均吞吐量為 81.7 Kbps，ZigBee 平均吞吐量為 9.76 bps，但在檢測測試中表現明顯。

曾幾何時，在許多人看來，人工智能似乎是終極科幻小說。然而，自 20 世紀 50 年代起，人工智能就開始慢慢受到重視，主要表現為在大型系統中悄然生存的小型專業程序。值得注意的是，在過去的 10 年中，這種緩慢的進步已經變成了閃電般的快速發展。如今，人工智能的應用幾乎遍及我們生活的方方面面，甚至在藝術領域也是如此！

人類的許多互動和交流都已數字化。因此，我們正在接受前所未有的調查。每一次數字互動都會留下痕跡，這些痕跡可以用來為學習算法提供素材。谷歌和 Meta 等公司通過交換服務來換取個人數據。雖然這些公司并不直接出售用戶數據，但它們允許其他公司通過廣告服務與用戶數據互動。政府機構和銀行等其他組織也可以獲取個人數字信息。敏感數據被大規模記錄并用于訓練人工智能算法。在我們生活的世界里，我們的數字行為會對現實世界產生影響。作為人類，我們產生的數據被輸入到算法中，以產生可操作的結果。

1.1 我們需要深度學習的解釋

現代人工智能可應用于現實世界的問題，并產生可操作的結果。本論文重點討論的人工智能類型稱為深度學習（DL），其靈感來源于人類大腦處理信息的方式。深度學習模型從數據集中的模式中學習。深度學習的一般經驗法則是：數據越多越好： 數據越多越好。但并非所有數據都是好數據，因為數據的質量也很重要。我們將在幾章中討論這個話題，并討論偏差如何通過數據集和標簽傳播（第3章），以及數據泄露如何使實驗結果出現偏差（第6章）。深度學習正被應用于各種高風險領域，如軍事[Lundén and Koivunen, 2016]、執法[Goswami et al., 2014]和金融[Chong et al., 2017]等等。在這些領域，深度學習算法必須是可信的 。作為 DNN 從業者和領域專家，我們需要了解算法預測背后的推理。如果每一個深度學習預測都附有關于該預測如何得出的解釋，我們就能更好地判斷深度學習系統的可信度。其原理大致是這樣的： 如果深度學習系統能夠解釋其預測，我們就可以仔細研究該預測，并決定是否要將其納入考慮范圍。如果我們一再決定考慮系統的預測，我們就會越來越信任系統，就像一個人越來越信任另一個人一樣。換句話說，隨著時間的推移，我們會調整對深度學習系統的信任。使深度學習的解釋變得尤為緊迫的是，深度學習帶來了前所未有的能力，而且人們預期深度學習將變得更加強大和廣泛。

試想一下，如果一個關鍵系統（如金融應用程序）決定某些（弱勢）用戶需要支付高得多的費率，但卻不提供任何解釋。無論如何，用戶有權知道他們為什么需要支付更高的費用。當弱勢群體面臨風險時，了解其中的原因就變得更加重要，因為一個錯誤的系統決策可能會決定一個人能否養家糊口。金融機構也有責任向用戶提供解釋。其次，還有一個重大的責任問題。如果出現錯誤，誰該負責，他們又該如何彌補損失？自動預測的結果來自各種因素，包括不正確的因素，如數據中存在偏差的相關性。如果不了解系統的推理過程，就很難糾正可能的錯誤或為特定決策提供正當理由。一旦我們考慮到這些因素，在關鍵應用中對可解釋深度學習的需求就會變得顯而易見。

圖 1.1： 日常行為和互動如何通過信息處理管道傳播，并最終在現實世界中以有形結果的形式反饋給我們的簡化視圖。該圖將模擬管道與數字管道進行了比較。主要區別在于，我們正越來越多地將決策能力交給人工智能算法。圍繞著兩個數字階段的粉色矩形輪廓表明了本論文在這一管道中的位置和重點。

人們通常認為，深度學習在其他領域（如智能手機、廣告、內容推薦）的應用不太值得解釋。一般來說，有兩種觀點支持這種看法。第一種觀點認為，上述應用風險較低，正因為風險較低，所以其決策不值得仔細研究。起初，關鍵算法決策似乎無法與社交媒體算法決策等相提并論。然而，在深度學習決定了數字工具的實用性、我們購買哪些產品、我們消費哪些信息的世界里，深度學習會極大地影響一個人的自我形象以及他與世界的互動方式。因此，如果我們想對自己的生活有任何有意義的控制，了解算法決策背后的原因是至關重要的。所有深度學習的決定都必須經過嚴格審查。

第二個論點將深度學習技術與飛機等其他常用技術進行了比較。它的推論是，由于我們無法百分之百地解釋某些常用技術的確切工作原理，而我們卻能應付自如，因此我們也可以不解釋深度學習。從空氣動力學的角度來看，我們大致知道飛機是如何保持飛行的。然而，在這種相互作用中，有一個關鍵現象我們仍然無法解釋。這種說法是杞人憂天： 無法百分之百地解釋飛機是如何保持上升狀態的，并不意味著我們應該不解釋深度學習。相反，我們應該盡力解釋深度學習模型是如何工作的。

假設讀者您相信深度學習需要解釋，那么可能會問，為什么整個領域都在關注這個話題？為什么我們不能簡單地解釋深度學習呢？與支持向量機、線性回歸或決策樹等其他機器學習（ML）方法不同，DNN 實踐者無法通過查看深度學習模型的內部參數，輕松推斷出 DL 模型決策背后的數學推理。深度學習模型擁有數百萬（如今已達數十億）個參數的情況并不少見。為了解決這個問題，DNN 從業人員正在設計能捕捉模型預測背后推理的方法。該領域要解決的另一個問題是確定向用戶提供解釋的形式。即使 DNN 從業人員能夠理解，也不能保證領域專家能夠以相同的詳細程度解釋解釋。該領域正在努力達成一致的第三個更具哲學意義的問題是，在更廣泛的 ML 范疇內，解釋究竟是什么。這一點非常重要，因為解釋的定義會影響 DNN 實踐者設計的方法。本論文考慮了用于解釋深度學習的方法。

1.2 經解釋校準的信任

本論文主要從校準信任的角度來考慮解釋的必要性。在[van den Brule 等人，2014]一文中，為人機交互構建了校準信任的概念： 機器人外觀所傳達的可信度應與機器人任務表現所產生的信任度保持一致。當兩者不一致時，機器人就會被人類低估或過度信任。這一概念可以推廣到任何人工推理系統中。將這一概念應用到 XAI 中，我們可以指出 人工智能預測的可信度應與人工智能的任務表現和相應解釋所產生的信任度相一致。如果兩者不一致，用戶對人工智能的信任度就會過低或過高。要判斷某個人工智能是否值得信任，我們首先需要獲得必要的信息。也就是說，模型應該是透明的、可訪問的。如果用戶多次收到人工智能的行為符合他們期望的跡象，用戶就可以校準他們對人工智能的信任度[Jacovi 等人，2021 年；Glikson 和 Woolley，2020 年]。用戶應了解人工智能及其決策方式，以校準他們對模型的信任度。對模型決策進行解釋的方法應該是忠實的、通用的，并且具有很強的解釋能力，見第 2 章。如果解釋方法符合這些標準，那么知情者就能充分校準他們對人工智能的信任度。

1.3 不同的解釋方法

細心的讀者很快就會發現，可解釋人工智能（XAI）似乎有不同的方法。就其最一般的形式而言，解釋是任何有助于我們理解模型預測的信息。這些信息可以是輸入的一部分、模型本身的一部分、輸出的一部分、三者的結合以及對模型目的或背景的考慮。根據我們選擇研究的信息類型，我們可以對模型提出不同的問題，得出不同類型的結論，從而從不同的角度研究解釋。本論文并不局限于某一特定類型的解釋，而是首先為讀者提供了一個關于該主題的廣闊視角（第 2 章和第 3 章），然后舉例說明了實驗模型層面的解釋（第 5 章和第 6 章）。迄今為止，XAI有兩種流行的方法：

1.實例層面的解釋： 這種方法也被稱為局部解釋，是這兩種方法中研究最多的一種，它提出的問題是 "既然有這樣的輸入，為什么模型會預測出這樣的輸出？回答了這個問題，我們就找到了輸入中可能影響模型決策的區域。然而，這類解釋只對特定輸入有效。此外，其質量和解釋力（見第 2 章）取決于所使用的 XAI 方法。例如，使用與模型無關的 XAI 方法可為我們指出輸入中的相關區域，但它不會告訴我們預測背后的推理涉及模型邏輯的哪些方面。這類 XAI 方法實質上是將模型視為一個黑盒子。但如果我們使用基于梯度的 XAI 方法，我們就能看到數據在被模型處理時所經歷的一系列轉換。

2.模型層面的解釋： 這種方法也被稱為全局解釋，它提出的問題是："鑒于此數據集，模型是否顯示出任何明顯的（如有偏差的）行為，如果是，這是為什么？這種方法比前一種方法更費力，但可以說更強大，因為它可以泛化到未見過的輸入。采用這種方法的 XAI 方法可讓我們推斷出模型在新輸入時的行為，并讓我們檢測出模型中的偏差。基于樹的 XAI 方法就是提供模型層面解釋的一個例子。

1.5 論文提綱

如果我們要不斷接受調查，如果我們的數據將被復雜的算法用來塑造我們周圍的世界，我們就需要了解數據的哪些方面會導致哪些決策。本論文的主要貢獻是對可解釋的深度學習的現狀進行深度分析，從一個很高的層次出發，確定該領域的主要利益相關者，創建 XAI 方向分類法，并確定相關主題和挑戰。在最后三章中，我們將研究可解釋的 DL 的具體應用案例。

在本論文中，每一章都從不同角度探討了可解釋深度學習這一主題： 第 2 章從用戶角度探討了可解釋性這一主題，并研究了各種利益相關者在這一環境中的作用。第3章介紹了一份全面的現場指南，向該領域的新手介紹了可解釋深度學習這個密集的話題，但這些新手之前已有深度學習方面的經驗。本領域指南概述了可解釋深度學習的所有相關方面，從方法到倫理考慮，并將可解釋性作為校準深度學習預測信任度的框架。第4章介紹了一種新穎、更透明的三維卷積神經網絡變體，后來被稱為3TConv，并介紹了一項研究，該研究表明3TConvs的性能可以與普通的三維卷積相媲美。本章為第五章將要介紹的工作做了鋪墊。第 5 章以第 4 章為基礎，展示了如何利用 3TConvs 深入了解網絡的內部運作。第 6 章介紹了一項研究，我們在其中分析并試圖解釋圖像背景對深度殘差網絡預測明顯個性的影響有多大。

我們想在整篇論文中強調的信息是，深度學習中的解釋是復雜的，需要考慮很多方面。我們不能盲目相信深度學習的預測，相反，對深度學習系統的信任需要校準。除非我們愿意滿足于與模型無關的、對模型內部工作原理知之甚少的解釋，否則目前還沒有實現一刀切解釋的捷徑方法。當前的 XAI 方法本身需要仔細檢查，但遺憾的是，目前還沒有被廣泛接受的衡量標準來確定其保真度和可用性。因此，XAI 仍將是深度學習的核心課題，因為比沒有解釋更糟糕的是錯誤的解釋。

近幾十年來，私營公司和政府機構對網絡安全的需求都在增長。這種增長是由于各組織發動網絡攻擊的能力不斷增強的結果。作為回應，各組織一直在開發網絡防御人工智能（AI），這大大提高了網絡安全能力。這不僅需要開發網絡攻擊、防御和漏洞框架，以模擬現實環境，還需要有訓練人工智能的方法。此外，網絡的數量和種類需要一個框架，可以快速和低成本地訓練人工智能。本文將探討我們的團隊如何努力開發一個高效和全面的框架，在這個框架下，各種人工智能可以被訓練以滿足網絡彈性的需要。

1 引言

網絡安全是現代組織和政府的最大考慮之一。在網絡威脅情報領域公認的領導者Check Point研究公司所做的一項研究中，他們發現在2020年，試圖對企業進行的網絡攻擊數量增加了50%（Mello, 2022）。鑒于網絡攻擊的增加及其復雜性，預計2022年僅美國的組織的網絡安全支出將高達1720億美元，這并不奇怪（Pratt, 2021）。其他國家如烏克蘭，也經歷了類似的攻擊數量和其復雜性的急劇增加。在2020年的一篇文章中，作者發現臺灣自1999年以來一直遭受網絡攻擊，這些攻擊的復雜性足以危及電力系統，并導致大規模停電，就像在烏克蘭前線看到的那樣（Huang，2020）。攻擊和防御成本預計只會增長，幾乎沒有期望網絡安全防御能力超過攻擊能力；這是防御者在當前的網絡空間環境中經歷的固有劣勢的結果。

網絡安全專業人員目前沒有足夠的防御工具來應對網絡攻擊的必要。網絡安全的相對無效性是由于網絡防御所面臨的劣勢造成的。Wendt將防御的劣勢歸功于有利于攻擊者的網絡沖突的性質（Wendt, 2019）。他繼續說，攻擊者識別和利用一個漏洞，而防御者必須識別和緩解每一個漏洞。攻擊者可以選擇何時發起攻擊，而防御者必須首先識別攻擊，然后才能做出反應。攻擊者可以重復使用類似的攻擊來利用類似的漏洞，而防御者必須在許多獨特的系統中進行協調，以確定共同的漏洞并制定緩解措施。攻擊者如果失敗，不會產生巨大的成本，而防御者的網絡如果失敗，則會受到巨大的損害。如果防御者不能識別攻擊并迅速作出反應，攻擊者將有更多的時間深入到系統中。這使得攻擊者可以破壞網絡，并創建后門，用來進一步傷害網絡。為了努力提高防御者的響應時間和有效性，網絡安全專業人員使用網絡兵棋推演的方法進行練習。

網絡兵棋推演是對真實攻擊的模擬，攻擊方試圖破壞網絡，而防守方則試圖阻止這種攻擊。網絡兵棋推演使網絡安全從業者能夠發展他們的能力，改善他們的網絡，并最終更快、更有效地作出反應。然而，歷史上網絡安全支出的增加和網絡兵棋推演本身并沒有被證明是足夠的。雖然它提高了響應時間和有效性，但網絡兵棋推演并不能使網絡安全專業人員對威脅做出足夠快的反應。此外，目前的網絡安全方法是非常昂貴的。白宮報告說，總統為2023財政年度分配了 "109億美元的預算授權，用于民用網絡安全相關活動"。這比2022年增加了 "11%"，顯示了發展網絡安全的強烈需求（白宮，2022）。

網絡防御從業者可以使用強化學習（RL），人工智能的一個子集，來開發滿足高效和近乎即時反應的智能體。強化學習的目標是讓智能體對各種不同的刺激選擇最佳行動，這些刺激是提供強化學習環境刺激。強化學習的功能是使用一組由強化學習環境更新的可能行動。在這組可能的行動中，有最佳行動，這是由環境決定的。智能體通過目標函數的獎勵來學習哪些行動是最優和次優的。智能體試圖找到對環境刺激的正確反應，使目標函數的獎勵最大化。關于人工智能和RL的補充信息可以在Sewak, Sahay, and Rathore (2022)中找到。為了使用RL訓練防御智能體，需要環境刺激來提示防御智能體的反應。通過使用網絡兵棋推演的方法，RL攻擊智能體模擬網絡攻擊，可以提供刺激，以有效的方式訓練防御智能體。

應對許多獨特網絡中壓倒性的和不斷增長的網絡威脅正變得越來越昂貴，而且很難由人類網絡安全從業者來實現。這項研究的重點是開發一個全面的框架，通過它可以訓練許多RL防御智能體。這個框架將利用網絡兵棋推演的方法來模擬攻擊和防御智能體之間的相互作用，允許快速和具有成本效益的網絡防御智能體的訓練。

2 相關工作

雖然已經有很多關于使用人工智能來補充網絡安全的研究，但還沒有重要的文獻從同樣的角度來探討這個問題。我們的問題主要是利用知識庫創建一個通用的RL訓練框架，而其他的研究則主要是利用預先建立的訓練數據創建一個特定的防御或攻擊智能體。在Nguyen和Reddi（2021）中，作者討論了RL智能體在網絡物理系統安全方法中的應用以及在針對網絡攻擊的防御策略的博弈論模擬中的應用。

為了繼續研究RL智能體在網絡物理系統安全中的應用，他們使用了一系列現實世界的例子，并試圖應用一個強大的模型作為解決方案。在這項研究中，發現盡管他們可以構建一個能夠提供有效自主防御的智能體，但有一些攻擊技術導致自主系統失敗。因此，為了提高他們的智能體的魯棒性，他們不得不重組和重新訓練他們的智能體（Nguyen & Reddi, 2021）。這種將RL應用于網絡安全的做法，在防御單個或非常相關的網絡，對抗已知的攻擊者方面是可行的。然而，使用從許多攻擊者那里匯編的不同數據來構建和訓練許多獨立的智能體提出了一個成本-效益問題。能夠使用一個通用的訓練框架來訓練許多智能體，通過行業標準的知識庫，可以為系統提供更大的復原力。

在Nguyen和Reddi（2021）中，作者介紹了一個使用博弈論的RL的網絡安全應用，其中多個防御智能體在模擬中被訓練以應對不同類型的攻擊。在這項研究中，他們討論了訓練智能體來應對干擾攻擊、欺騙攻擊和惡意軟件攻擊。與他們將RL智能體應用于網絡物理系統一樣，通過這種方法訓練的智能體看到了合理的成功。然而，在每種情況下，智能體都需要進行重大的微調，以正確應對它所防御的特定類型的攻擊。此外，當攻擊者的輸入是隨機的，或者在訓練智能體的數據集中沒有很好的記錄時，智能體就會陷入困境（Nguyen & Reddi, 2021）。在現實世界的場景中，攻擊者有許多不同的潛在攻擊可以使用。我們的團隊提出的訓練方法，通過允許快速訓練許多智能體，并使用行業內組織不斷更新的龐大知識庫來解決這一弱點。因此，除非攻擊者使用新的攻擊方法，否則智能體應該有能力做出反應。下一節將討論這個訓練框架是如何開發的。

3 方法

防御是網兵棋推演的一個重要方面，因為它涉及到保護計算機系統和網絡免受對手的攻擊。在網絡戰爭中，防御通常是通過預防措施（如防火墻和訪問控制）與反應措施（如事件響應和恢復）的結合來實現的。在網絡戰爭中，防御的目標是最大限度地減少攻擊的影響，防止對手對系統或網絡造成重大損害。為了實現這一目標，防御者必須了解攻擊者使用的戰術、技術和模式，并制定有效的反措施，以適應不斷變化的威脅環境。通過開發攻擊人工智能，可以模擬許多攻擊場景，從而使防御智能體得到訓練。

3.1. 本體

為了更好地理解攻擊和防御之間的關系，我們開發了一個本體。本體是概念之間的關系的圖形表示，包括直接的和推斷的。因為這個項目的重點是開發一個框架，通過這個框架可以使用來自攻擊智能體的刺激來訓練防御智能體，必須建立兩個智能體如何互動的規則來建立網絡兵棋推演模擬。復雜的關系網絡在本體論中得到了最好的理解，它說明了網絡、攻擊者和防御者之間的關系。這個本體論可以在圖1中看到。網絡漏洞（也被稱為共同弱點列舉，或CWE）是網絡中可以被利用的因素。CWE是被對手的攻擊模式所利用的。每個攻擊模式都被分配了一個編號或共同攻擊模式列舉和分類（CAPEC）。CAPEC是對一種攻擊技術所利用的途徑的分類。攻擊技術實現了一個更普遍和總體的攻擊戰術，以實現攻擊模式和利用漏洞。

用于本框架并由圖1中的本體論告知的概念將保持不變。攻擊智能體選擇一種攻擊技術，使用CAPEC來利用CWE。然后，防御智能體將使用防御技術來抵御攻擊技術。每個行動和反應都會更新環境，并提示其他智能體在回合制模擬中采取行動。然而，網絡攻擊的復雜性是這樣的，在他們的最終形式中，攻擊或防御智能體都可能有成千上萬的可能行動。這個項目的目標是創建一個最小可行的產品，作為一個可以附加的框架。因此，暫時選擇一小部分攻擊技術和相應的防御技術作為概念驗證。所選的攻擊技術子集是默認賬戶、網絡會話Cookies和軟件部署工具。為防御這些攻擊技術而選擇的最佳防御技術分別是賬戶鎖定、入站流量過濾和活動目錄配置。除了這些技術外，還隨機選擇了其他幾種技術，以便智能體必須探索其選項并選擇最佳技術。在確定了智能體在網絡兵棋推演模擬中可以使用的技術后，我們繼續開發智能體之間的互動性。

從圖1中的本體論來看，防御技術是用來防御攻擊技術的。防御智能體對攻擊智能體所采取的行動作出反應，實施防御戰術，打擊攻擊智能體的相應行動。有幾種可能的防御技術，防御智能體可以從中選擇。除了提供每種技術和戰術的屬性外，本體還提供了攻擊和防御智能體之間的直接關系。具體來說，本體論告知防御技術是否是防御每種攻擊技術的正確選擇。防御技術的最佳答案是：默認賬戶的賬戶鎖定，網絡會話Cookies的入站流量過濾，以及軟件部署工具的活動目錄配置。

在其最終形式中，防御智能體將有更多可能的答案可以選擇，并有不同的回報，因為有些選項是次優的。然而，為了建立一個有效的框架，該智能體以最不復雜的方式開發。

這迫使智能體學習這些選項是特定攻擊智能體的最佳答案。通過獎勵防御智能體選擇最佳防御技術，智能體的行為將得到加強，它將訓練自己正確對抗攻擊智能體。然而，網絡兵棋推演的玩法類似于回合制游戲。攻擊智能體必須采取行動，然后防御智能體必須作出反應。我們的團隊幫助開發了互動框架，智能體可以通過這個框架進行兵棋推演，以訓練防御智能體。

圖1：網絡兵棋本體。本體是攻擊技術和防御技術如何通過攻擊模式和漏洞相互作用。這是整個本體的簡化版本。

3.2. 創建場景

在圖1的本體中，防御和攻擊智能體通過防御技術與攻擊技術進行互動。我們的團隊選擇了攻擊智能體使用的攻擊技術，并通過相應的防御技術進行防御。在建立防御智能體時，在現實的復雜性和必要的簡單性之間一直保持著平衡。有數以百計的攻擊技術可以，并最終將被添加到攻擊智能體中。然而，為了保持故障排除的可控性，我們將攻擊技術的數量限制在三種，每種都有相應的防御技術。雖然只有三種可能的攻擊技術是不現實的，但它建立了一個可以擴展的框架。同樣，一個防御智能體通常在任何時候都會有超過150種可能的防御技術，但在原型開發中只提供了10種可能的反應。同樣重要的是要注意，通常情況下，當使用RL訓練一個智能體時，最佳選擇是未知的。然而，為了建立一個概念驗證，我們的團隊根據行業標準選擇了已知的最佳行動（MITRE ATT&CK企業矩陣，n.d.）

選擇的三種攻擊技術分別對應于攻擊的不同階段。第一階段是初始訪問，其中默認賬戶是攻擊智能體利用的攻擊技術。初始訪問是一種由許多攻擊技術組成的攻擊戰術，這些技術的目標是允許攻擊者訪問網絡。具體來說，"默認賬戶 "是一種攻擊技術，其目標是網絡上存在的不受監控的賬戶，以獲得訪問權。相應的防御技術是賬戶鎖定，它阻止用戶以指定的賬戶訪問網絡。攻擊的下一階段是攻擊者如何通過網絡移動以到達目標節點，由橫向移動攻擊技術進行。在這個階段，智能體選擇利用的攻擊技術是Web Session Cookies。網絡會話Cookies技術針對的是網絡瀏覽器上當前激活的cookies。這些cookies允許智能體繞過認證，因為認證在網絡會話上已經激活。相應的防御技術是入站流量過濾，它可以防止網絡會話以這種方式被利用。攻擊的最后階段是在目標節點上運行一個可執行文件，以損害網絡或獲取敏感信息。這個階段的攻擊策略是執行。所選擇的攻擊技術是軟件部署工具，它是在目標節點上運行的可執行文件，可以以多種方式損害網絡。這個文件的執行可以被活動目錄配置防御技術所阻止。在選擇了攻擊和防御技術之后，兩個智能體之間的邏輯關系就建立起來了，可以開發兩者之間的互動。(MITRE D3FEND, n.d.)

3.3. 機器學習環境

攻擊和防御智能體之間的互動框架被捕獲在RL環境中。從圖2中，我們看到程序在環境和RL智能體之間運行一個循環。這個循環從環境開始，為智能體提供網絡信息。環境引用網絡知識庫來檢查每個節點的脆弱性，以便以后在智能體創建行動時使用。給出的信息被編譯成一個矩陣，其中包含網絡訪問狀態、網絡設備訪問狀態和軟件列表。對于列表中的每一部分，網絡訪問狀態被定義為1或0，代表智能體可以訪問網絡（1）或智能體不能訪問（0）。這與網絡設備類似，因為它要么是1，要么是0。 軟件列表表示智能體正在攻擊的特定節點，因為對于特定的攻擊，它需要一個特定的軟件，如果節點沒有這個軟件，攻擊者需要另一種方法來獲得訪問。一旦智能體采取了行動，它將選擇一個攻擊模式和漏洞進行攻擊，以獲得對特定節點的訪問。在智能體選擇行動后，環境將被通知并更新環境，并根據智能體的選擇是否正確給智能體以獎勵。該程序將重復這個循環，直到智能體獲得對目標節點的指揮和控制。對于初始訓練，有一個假設，即每個節點只有一個最佳答案。如果沒有這個假設，智能體就會學會采取我們不希望它學會的行動，如不采取行動或選擇次優行動。

圖2：RL環境。上圖描述了智能體、環境和網絡知識庫之間互動的概況。

圖2只代表一個智能體在環境中的行動。這個循環的目標是讓攻擊和防御智能體以模擬真實網絡網絡攻擊和防御的方式相互響應。攻擊智能體將攻擊網絡，在這個模擬中，它改變了環境。環境會通知防御智能體哪個節點受到攻擊，從而導致防御智能體做出反應。例如，當攻擊智能體試圖訪問網絡時，它將在初始節點上使用默認賬戶。防御智能體將被通知，在被攻擊的節點上，系統內存在異常，并使用他們的反應來嘗試防御技術。防御智能體將不知道具體的攻擊，但會通過本體中的推斷路徑知道該節點上存在哪些CWE，因此可以使用哪些攻擊技術。如果防御智能體使用最佳防御技術，即賬戶鎖定，將攻擊智能體從網絡中驅逐出去，它將獲得成功。如果它選擇不同的防御技術來應對，防御智能體將失敗。當選擇了最佳防御技術后，防御智能體會得到環境的獎勵。這個獎勵是該智能體的目標函數試圖最大化的數字。通過這個循環的多次迭代，防御智能體根據環境給出的信息，探索每個可能的反應的效果。通過獎勵防御智能體選擇賬戶鎖定作為對默認賬戶攻擊技術的反應，這種行為得到了加強。智能體會明白，這種選擇會增加它的獎勵，并會學習適當的反應。環境和智能體之間的反饋回路在網絡戰爭游戲模擬的橫向移動和執行階段的功能類似。通過這個反饋回路，防御智能體可以訓練自己，以有效的方式應對網絡攻擊。

4 結果

該項目建立了一個通用RL網絡智能體訓練框架的概念驗證。使用這個模塊化的框架，一個防御性的RL智能體可以以一種具有成本效益的方式快速訓練，以防御各種不同的網絡。雖然目前的知識庫中只有一小部分可能的攻擊和防御技術，但這個框架可以在保持相同功能的情況下進行擴展。一旦防御智能體在每一種現有的攻擊技術上都得到了訓練，剩下的唯一威脅就是來自智能體和新開發的攻擊技術偶爾出現的錯誤。然而，隨著橫向發展和知識庫的擴大，這個訓練框架可能會徹底改變網絡安全領域。在其他類似的研究中，重點是訓練一個防御智能體來防御一個特定的網絡。然而，通過關注一個通用的訓練方法，可以訓練許多不同的防御智能體。因為這個項目的重點是開發一個最小可行的產品，在這個訓練框架可行之前，還需要進行重大改進。

5 結論和未來工作

強化學習，經過進一步的發展，可以證明是網絡戰爭游戲領域的一個寶貴工具。通過允許智能體根據他們與模擬環境的互動來學習和適應，它為模擬和分析復雜的安全場景提供了一個強大的框架。憑借其處理不確定性和從經驗中學習的能力，強化學習非常適合于對網絡威脅的動態和不斷發展的性質進行建模。我們的研究結果表明，強化學習算法可以有效地學習抵御網絡攻擊，隨著時間的推移，他們獲得更多的經驗而不斷改進。隨著網絡安全領域的不斷發展和演變，我們相信強化學習在幫助組織理解、預測和應對網絡威脅方面將發揮越來越重要的作用。本項目中的一個主要限制是限制了攻擊和防御智能體的選擇。這樣做是為了縮小問題的規模。這個項目的一個限制是防御劑。防御智能體的檢測方面是隨心所欲的，允許智能體自動檢測攻擊者，而不是為模擬創造一個檢測智能體。這是由于這個項目所分配的時間，以及為了使模擬的重點在攻擊智能體和防御智能體之間，而不是依靠偶爾可能沒有檢測到攻擊者的檢測智能體。另一個限制是原始項目的范圍。在決定將防御作為論文的重點后，研究小組不得不根據原來的攻擊智能體縮小項目范圍。攻擊技術是由團隊收到項目時的原始攻擊策略決定的。從那以后，就預先確定了這些技術將從哪些攻擊戰術中選擇。未來可能的工作是在一個更復雜的環境中工作，因為它要求兩個智能體在相互競爭之前學習網絡。然后，攻擊智能體可以學習通往決策節點的不同路線，而不是遵循代碼操作員設定的預先確定的任務計劃。這將導致兩個智能體有更大的學習曲線，創造出更先進的智能體，能夠在網絡中旅行，并能夠在不需要任務計劃的情況下進行防御或攻擊。

現代技術已經擴散到生活的幾乎每個方面，同時提高了生活質量。例如，物聯網技術比傳統系統有了明顯的改進，提供了生活的便利，節省了時間，節省了資金，并在安全方面有所保障。然而，與物聯網技術相關的安全弱點會對人的因素構成重大威脅。例如，智能門鈴可以使家庭生活更輕松，節省時間，節省資金，并提供監控安全。盡管如此，智能門鈴的安全弱點可能會暴露在犯罪分子面前，對家庭的生命和金錢構成威脅。此外，物聯網技術正在不斷進步和擴大，并迅速在現代社會中變得無處不在。在這種情況下，使用量的增加和技術的進步產生了安全弱點，吸引了希望滿足其議程的網絡犯罪分子。

完美的安全解決方案在現實世界中并不存在，因為現代系統在不斷改進，入侵者經常嘗試各種技術來發現安全缺陷并繞過現代系統的現有安全控制。在這種情況下，威脅建模是了解系統的威脅狀況及其弱點的一個重要起點。因此，計算機科學中的威脅建模領域通過實施各種框架來識別威脅和處理威脅以減輕威脅，得到了顯著改善。然而，大多數成熟的威脅建模框架是針對傳統的IT系統實施的，只考慮與軟件相關的弱點，而不涉及物理屬性。這種方法對于物聯網技術可能并不實用，因為它繼承了軟件和物理安全的弱點。然而，學者們在物聯網技術上采用了成熟的威脅建模框架，如STRIDE，因為成熟的框架仍然包括對現代技術有意義的安全概念。因此，成熟的框架不能被忽視，但在解決與現代系統相關的威脅方面并不高效。

作為一個解決方案，本研究旨在提取成熟的威脅建模框架的重要安全概念，并利用它們來實現強大的物聯網威脅建模框架。本研究從研究人員中選擇了15個威脅建模框架和深度防御的安全概念來提取威脅建模技術。隨后，本研究進行了三次獨立審查，以發現有價值的威脅建模概念及其對物聯網技術的有用性。第一項研究推斷，以軟件為中心、以資產為中心、以攻擊者為中心和以數據為中心的威脅建模方法與深度防御的整合是有價值的，并帶來明顯的好處。因此，PASTA和TRIKE展示了基于分類方案的四種威脅建模方法。第二項研究推斷了威脅建模框架的特點，該框架對深入防御安全架構的滿意度很高。根據評價標準，PASTA框架的滿意度最高。最后，第三項研究在最近的研究基礎上推導出物聯網系統威脅建模技術。結果，STRIDE框架被確定為最受歡迎的框架，其他框架也表現出對物聯網技術有價值的有效能力。

本研究介紹了防御感知威脅建模（DATM），這是一個基于威脅建模和深度防御安全概念的物聯網威脅建模框架。DATM框架所涉及的步驟將用數字進一步描述，以便更好地了解情況。隨后，考慮使用DATM框架進行威脅建模的智能門鈴案例研究，以獲得驗證。此外，該案例研究的結果與三項研究的結果進一步評估，并驗證了DATM框架。此外，本論文的成果對希望在物聯網環境中進行威脅建模和設計適合物聯網技術的新型威脅建模框架的研究人員有幫助。

引言

本章分四個部分敘述了本論文研究的核心價值。第一節解釋了現代社會中物聯網的基本問題。接下來，第二節探討了進行本論文研究的意義。第三部分對旨在回答本研究的研究問題進行了深入探討。最后，最后一節說明了論文方向，指出了整個研究的關鍵領域。

1.1 難題

現有的威脅建模框架為組織對物聯網漏洞的適當響應提供了一個不足的系統（Aufner，2020）。如果從不同的安全相關問題考慮，物聯網的使用和部署的快速發展和接受，放大了對網絡攻擊的期望和預期（Wurm, Hoang, Arias, Sadeghi & Jin, 2016; Hassan, 2019; Meneghello, Calore, Zucchetto, Polese & Zanella, 2019; Neshenko, Bou-Harb, Crichigno, Kaddoum & Ghani, 2019）。因此，研究人員在使用成熟的威脅建模框架評估物聯網的威脅狀況方面投入了大量精力。然而，目前成熟的威脅建模框架對物聯網來說是低效的，因為威脅建模領域缺乏對物聯網中遇到的實際威脅及其對用戶影響的明顯參考（Aufner，2020）。例如，物聯網威脅建模仍然缺乏整體分析，因為框架很少關心物聯網應用的物理部分，并假設軟件在某處運行（換句話說，是設備），使其對基于硬件的威脅視而不見。

在許多例子中，研究人員無法識別大多數潛在的物聯網威脅，這些威脅會破壞現實世界。例如，當Mirai僵尸網絡（由40萬個連接的物聯網設備組成）在2016年通過執行最強大的DDoS攻擊而癱瘓幾個高知名度的服務時，人們見證了物聯網的破壞性潛力（Jerkins，2017；De Donno, Dragoni, Giaretta & Spognardi, 2018；Jaramillo, 2018；Vlajic & Zhou, 2018）。根據2019年Netscout威脅情報報告，物聯網設備在連接到互聯網的5分鐘內受到攻擊，并在24小時內成為特定漏洞的目標（Netscout，2019）。此外，根據SAM無縫網絡從1.32億個活躍的物聯網設備和73萬個網絡中收集的數據，2021年發生了超過10億次物聯網攻擊（SAM無縫網絡，2021）。顯然，基于物聯網的攻擊對當代文明構成了嚴重的威脅，必須緊急解決。

在這個問題總結的基礎上，本研究考慮了威脅建模的挑戰。本研究的前提是，物聯網威脅建模領域應進一步完善整體分析、風險評估和物理威脅的考慮。物聯網威脅模型與作為其組成部分特征的物理和有形元素之間存在著物理脫節。物聯網威脅建模需要納入物聯網的物理元素，因為它們影響了威脅建模領域的一部分

1.2 意義

物聯網威脅建模領域應更加關注物聯網系統的整體屬性，以提供威脅情況的整體圖景。盡管如此，研究人員仍然采用了成熟的威脅建模框架來理解威脅領域，因為這些框架包含了不容忽視的重要安全概念。為了考慮對威脅領域更廣泛的理解，深度防御等安全概念被認為對改善系統的防御非常有價值。深度防御可以考慮采用實用的方法來解決威脅建模框架所確定的安全挑戰（Rahman, Rahman, Wang, Tajik, Khalil, Farahmandi, ... & Tehranipoor, 2020）。在此基礎上，值得回顧包含深入防御方法的成熟安全概念，以了解其特點。

本論文在三個方面具有重要意義，以加強充分的表達和語義考慮，從而實現對威脅的推理，改善系統在威脅建模領域的安全控制。首先，威脅模型促進了對系統結構的深入理解。許多方面都與特定的系統設計有專門的聯系，各種概念層促進了對威脅和風險的認識的類似思考。這有助于從大局出發，找到其他工具或程序無法發現的問題和要素（Durdona, Shahboz, Lola & Sanobar, 2020）。此外，威脅模型可以描述系統架構中的軟件和硬件威脅，因為與傳統的 IT 系統相比，現代系統涉及物理問題。這在互聯網的發展方面尤其明顯。因此，一個典型的威脅模型可以用更多的抽象層次構建系統架構，發現更多的安全問題和攻擊載體。

如果不解決表達和語義威脅推理的問題，通常會發生幾件事。雖然威脅建模不能表達多個抽象層，但它會留下攻擊載體，使其得不到解決，通常會被調查不足（Cam-Winget, Sadeghi & Jin, 2016; Yuce, Schaumont & Witteman, 2018）。一個系統的攻擊面應該代表所有攻擊向量（或滲透點）的總和，允許攻擊者通過利用安全漏洞滲透到系統環境中（Rizvi, Orr, Cox, Ashokkumar & Rizvi, 2020）。因此，威脅建模應該盡可能地解決攻擊面問題，當系統架構有更多的抽象層時，這一點是可以實現的。一般來說，一個簡單的滲透點就足以讓攻擊者破壞一個系統，它可以導致復雜的攻擊（Chen, Desmet & Huygens, 2014）。

此外，在一次嘗試中，安全人員可能無法解決一個系統中的所有攻擊面。然而，威脅建模圖應該能夠實現結構化和迭代式創建，允許進一步改進連續的威脅建模（Yskout, Heyman, Van Landuyt, Sion, Wuyts & Joosen, 2020）。同樣地，威脅建模應該表達語義和語法，以便更深入地了解系統架構，解決攻擊面問題（Castiglione & Lupu, 2020）。

第二個意義是，威脅模型可以以清晰易懂的方式呈現系統的攻擊面，以評估威脅及其對系統的影響。眾所周知，物聯網技術容易受到廣大領域的攻擊，研究人員在使用攻擊檢測技術發現攻擊方面投入了很多精力。例如，許多研究人員使用蜜罐等技術，發現了許多針對消費者物聯網設備的現代攻擊（Zhang, Zhang, Zhou, He & Ding, 2019; Xenofontos, Zografopoulos, Konstantinou, Jolfaei, Khan & Choo, 2021）。此外，物聯網設備中某一特定類型的功能比其他功能更有吸引力。例如，松下公司的案例表明，與相機有關的物聯網設備經歷了大量的攻擊，這導致了對這種類型的設備進行系統性的持續利用，以達到惡意和非法的確定（Palmer, 2019）。因此，一個典型的威脅模型可以用圖形表示對指定系統的現有攻擊面的清晰理解。

由于一些原因，解決有關在線環境的攻擊方面的脆弱性和攻擊的可能性的關鍵問題是非常重要的。當威脅建模不能解決系統在脆弱性方面的攻擊面時，會產生太多的誤報，并消耗時間和資源（Alshamrani, Myneni, Chowdhary & Huang, 2019; Tatam, Shanmugam, Azam & Kannoorpatti, 2021）。主要原因是，整個系統不會受到攻擊者的攻擊，即使攻擊者能夠看到系統的一部分（而不是整個系統）。在資源管理方面，對系統進行建模將消耗時間和資源，這不是現實的攻擊場景。例如，將一個復雜的系統可視化會消耗時間和資源，與此同時，可能會遺漏對攻擊者來說高度可見的小屬性（Manzhosov & Bolodurina, 2020）。

此外，從以系統為中心的角度產生的攻擊場景會表現出高水平的假陽性，而這些假陽性是不現實的，幾乎不會發生。一般來說，整個系統對攻擊者來說往往是不可見的，對與對手攻擊無關的系統區域進行建模可能是毫無意義和不費吹灰之力的（Shostack，2014）。例如，與其他層相比，應用層可能具有最多的安全漏洞（Maheshwari & Prasanna，2016）。然而，另一方面，從攻擊者的角度來看，系統的一部分會被攻擊者看到漏洞，攻擊者會發現各種攻擊方案來破壞系統。因此，如果威脅建模不主要集中在系統的漏洞、攻擊路徑和攻擊場景方面的攻擊者方面，就會消耗時間和資源，導致太多的誤報（Potteiger, Martins & Koutsoukos, 2016）。

第三個意義是，威脅模型驗證了現有的安全控制和系統。威脅模型描述了對特定系統的現代攻擊，然后是系統中現有的安全措施來面對這些攻擊。考慮到系統的攻擊和防御方面，威脅模型突出了需要立即關注的關鍵領域，以提高安全性來減輕威脅。此外，深度防御等安全概念可以實施分層防御，以抵御最多攻擊，保護系統。例如，一個適當的深度防御策略有可能打消各種攻擊者及其相關攻擊系統的積極性。它可以用來識別新的和正在出現的攻擊載體，提供一個強大的方法來提供巨大的安全改進（Asghar, Hu & Zeadally, 2019; Fabro, 2007）。雖然每個防御機制單獨對網絡安全攻擊的價值有限，但深度防御戰略中的防御機制的集合提供了整體安全計劃中更有價值和實用的部分。這樣一來，威脅模型可以促進評估系統中現有安全措施的方法。

重要的是要明白，如果我們不驗證一個包含深度防御的模型，那么有幾個后果會立即發揮作用。安全控制的實施可能是昂貴的，威脅模型需要驗證納入縱深防御，以避免不必要的安全控制實施花費金錢，不能最大限度地減少對手的攻擊。如果防御措施要花錢，又不能保護對手的攻擊，那是沒有用的。在企業或組織結構中，深度防御等控制措施的成本經常被用作驅動因素，以論證排除深度防御的方法（Ayo, Ngala, Amzat, Khoshi & Madusanka, 2018）。傳統的威脅模型對已識別的或高風險的威脅實施安全控制。然而，低風險的威脅可能是至關重要的，因為它可能沒有任何安全控制的實施來防御，允許入侵者。這樣一來，威脅模型必須突出系統中考慮防御措施的關鍵問題（Nugraha, Brown & Sastrosubroto, 2016; Sadlek, ?eleda & Tovarňák, 2022）。

此外，安全控制的實施應該是結構化的，因為單一的對策無法抵御對抗性攻擊。一般來說，完美的安全控制措施是不存在的，也不會有能防止所有對抗性攻擊的安全控制措施。因此，最大限度地減少對抗性攻擊的最佳方式是將安全控制措施配合起來，以彌補彼此的不足（Pendleton, Garcia-Lebron, Cho & Xu, 2016; Wolf, 2016）。通過這種方式，深度防御的加入促進了一套更有條理的安全措施的概念，更有利于防御系統免受對手的攻擊。如果有更多的安全措施而沒有結構化的方法，那么它們將不能說明有效和高效的防御策略，反而會浪費金錢。這樣一來，一個經過驗證的威脅模型如果沒有納入深度防御的方法，就會既費錢又更容易受到對手的攻擊。

最后，在威脅建模圖中包括安全控制，有利于安全方進行安全相關的架構決策，如增加或改進防御措施。然而，假設威脅建模圖不支持安全相關的架構決策。在這種情況下，安全團隊必須做出額外的努力來構建模型、圖示或文檔，以便在實施緩解策略時了解現有的安全解決方案。因此，安全團隊將消耗時間和資源來了解系統現有的防御潛力，以增加或改善安全控制來降低風險。因此，在威脅建模圖中包括安全控制措施，有利于安全各方輕松了解整個安全保障過程，并節省時間和資源。

本論文的意義在于發現了一些規范，這些規范加強了充分的表達和語義，使威脅的推理成為可能，并在成熟的威脅模型和深度防御安全概念方面改善了系統的安全控制。因此，本研究的結果可能為改進成熟的威脅建模框架或探索開發新的威脅建模框架的新思路鋪平道路。

1.3 研究問題

基于物聯網威脅建模領域的問題和改進要求的意義，融合了深度防御方法的成熟威脅建模可以提供一個強大的威脅建模框架。因此，本論文制定了三個總體研究問題和一系列子問題，以從成熟的安全和威脅建模概念中提取重要特征。這些問題和子問題如下：

• R1--哪種威脅建模觀點主要從整合威脅建模和深度防御概念中獲益？

  • R1.1--什么是與深入防御概念有效結合的強大威脅建模方法？

  • R1.2 - 什么是與深入防御概念有效結合的強大威脅建模框架？

• R2 - 哪些威脅建模人工制品能夠勝任實施防御意識的威脅建模圖？

  • R2.1 - 威脅建模圖的哪些特征滿足深度防御安全架構？

  • R2.2 - 哪些合適的威脅建模工件可以構建深度防御的安全架構？

• R3--物聯網技術上采用的不同威脅建模框架是什么？

  • R3.1 - 物聯網中被引用最多的威脅建模框架是什么，以及選擇它的原因？

  • R3.2 - 哪些框架或技術被用于物聯網的系統性威脅建模？

  • R3.3 - 在物聯網中采用成熟的威脅建模框架的關鍵挑戰是什么？

提出這些問題是為了回顧威脅建模領域過去的文獻，并獲得引入物聯網威脅建模框架的寶貴規范。第一個問題反映了將威脅建模與深度防御概念相結合的意義。第二個問題評估了威脅建模框架中的系統化威脅建模和深度防御安全架構的特點。最后，第三個問題提供了對物聯網威脅建模的現有文獻及其挑戰的理解。

1.4 研究路線圖

本研究報告從導言到結論都采用了簡單明了的順序方法。隨后，本論文被組織成八個章節，如圖1所示。第1章敘述了本研究解決的問題及其意義，研究問題描述了旨在回答的領域。第2章介紹了相關的觀點、文獻，以及與所進行的研究有關的公認的差距。在這之后，第3章專門探討了關于威脅建模的文獻。然后，第4章介紹了為回答研究問題而制定的研究方法。它還提供了研究設計和本研究過程中遵循的程序。第5章介紹了研究結果，并進行了討論，以了解所進行的研究的結果。第6章批判性地審視了經驗性的發現，并對提出的研究子問題進行了深入的推理和回答。它描述了研究推論，并強調了有價值的威脅建模和深入防御的概念。然后，第7章描述了使用確定的威脅建模和安全概念的引入的物聯網威脅建模框架。隨后，第8章通過評估是否實現了預期的結果來驗證引入的物聯網威脅建模框架。最后，在第9章中，通過提供對主要研究問題的回應、本研究公認的好處、本研究的邊界以及可想而知的未來研究載體來完成本研究。

作為移動技術和云計算的一個有前途的組合，移動云已經開發 為從移動設備上卸載一些繁重工作負載的有效方式。這一領域的最新進展是構建一個靠近移動用戶的小型特設云環境。這種設計的關鍵好處是，即使在沒有互聯網連接的情況下，它也適用。現有的移動云的卸載算法已經全面考慮了計算能力、通信延遲，甚至移動設備的可用電池壽命。然而，在移動云環境中，與性能相關的因素并不足以描述卸載中的主要關注點。在本文中，我們提出了一種新的方法來建立移動云中的信任。它在不向任何網絡參與者透露組員信息的情況下創建臨時組。與傳統的群組密鑰管理方案相比，這種方法為群組成員提供了基于屬性的加密（ABE）算法的匿名保護。此外，我們開發了一種新的帶有信任因素的任務卸載決策算法，據我們所知，這是第一種這樣的算法。通過所提出的方法，移動設備之間的信任關系被納入到卸載決策中，使其在現實世界的應用場景中更加實用。

隨著無人平臺越來越多地出現在戰場上，與人類一起，以不同的配置（從遠程操作到完全自主的平臺，有人-無人的團隊，蜂群等）和領域（空間、空中、陸地、海洋和水下），也有必要使決策過程適應這一新的現實。這個過程將不再是完全由人類完成的，這就要求人類和機器對他們行動和互動的環境有一個共同的、有意義的、及時的理解，即共同的態勢感知。我們將研究如何通過基于本體的推理和推理的人工智能相關技術來實現這一目標，這些技術將使所有參與者（人類和非人類）之間共享所有級別的信息（數據、知識和模型）。這項工作的成功應體現在異質實體之間實現高水平的互操作性，在此范圍內，他們將能夠利用彼此的最佳發展能力。

人工智能驅動的態勢感知評估方法

圖2展示了基于先前所述斷言和要求的人工智能驅動SA評估的高級概念模型。

廣泛的人工智能方法可用于支持所需的過程，適用于每個層次，從歸納法到演繹法。在歸納推理方法中，我們提到了傳統的機器學習--邏輯回歸（LR）、支持向量機（SVM）、Naive-Bayes（NB）或深度學習--卷積神經網絡（CNN）、長短時記憶（LSTM）、門控循環單元（GRU）。演繹法是由knowledgerule系統代表的。但是，只有當系統的所有組成部分對目標、概念和關系有相同的理解時，才能以有效的方式實現各級的無縫協作。本體是實現這一目的最合適的工具（Sharman, Kishore, & Ramesh, 2004）。

本體是對知識的正式描述，是一個領域內概念的集合以及它們之間的關系（Ontotext, 2022; Earley, 2015）。本體的組成部分在圖3中顯示。3，其詳細的正式描述可以在Sharman, Kishore & Ramesh (2004)找到。

圖2: AI驅動的態勢感知評估概念

機器人系統正在進入舞臺。在硬件組件和軟件技術進步的推動下，機器人越來越能夠在工廠外運作，協助人類，并與人類一起工作。機器人擴張的限制因素仍然是機器人系統的編程。由于建立一個多機器人系統需要許多不同的技能，只有最大的組織能夠在機器人提供的服務空間中進行創新。

只有最大的組織能夠在機器人提供的服務空間中進行創新。為了使開發新的機器人服務更容易，我在這篇論文中提出了一個規劃模型，在這個模型中，用戶（程序員）給出了需要完成的聲明性規范，然后一個后臺系統確保該規范被安全、可靠地執行。我介紹了Antlab，一個這樣的后端系統。Antlab接受來自多個用戶的線性時態邏輯（LTL）規范，并使用一組不同能力的機器人來執行它們。

在實施Antlab的經驗基礎上，我確定了由所提出的規劃模型產生的問題。這些問題分為兩大類：規范和規劃。

在規范問題的類別中，我解決了從正反兩方面的例子中推斷LTL公式的問題，以及僅從一組正面例子中推斷LTL公式的問題。在這些解決方案的基礎上，我開發了一種方法來幫助用戶將他們的意圖轉移到正式的規范中。本論文所采取的方法是將來自單個演示的意圖信號和用戶給出的自然語言描述結合起來。通過將問題編碼為命題邏輯的可滿足性問題，推斷出一組候選規范。通過與用戶的互動，這組規格被縮小到一個單一的規格；用戶批準或拒絕對機器人在不同情況下的行為進行的模擬。

在規劃問題類別中，我首先解決了目前正在執行任務的機器人的規劃問題。在這種情況下，不清楚應該把什么作為規劃的初始狀態。我通過考慮多個推測的初始狀態來解決這個問題。從這些狀態出發的路徑是根據一個質量函數來探索的，該函數反復估計規劃時間。第二個問題是獎勵函數為非馬爾科夫時的強化學習問題。建議的解決方案包括反復學習代表獎勵函數的自動機，并使用它來指導探索。

為了面對軍事防御的挑戰，軍隊及其戰術工具的現代化是一個持續的過程。在不久的將來，各種任務將由軍事機器人執行，以實現100%的影響和0%的生命風險。國防機器人工程師和公司有興趣將各種戰略自動化，以獲得更高的效率和更大的影響，因為陸地防御機器人的需求正在穩步增長。在這項研究中，軍事防御系統中使用的陸地機器人是重點，并介紹了各種類型的陸地機器人，重點是技術規格、控制策略、戰斗參與和使用目的。本研究還介紹了陸地機器人技術在世界軍事力量中的最新整合，其必要性，以及各國際防務公司對世界經濟的貢獻，表明其在軍事自動化和經濟穩定中的優勢。本報告還討論了近期發展的局限性和挑戰、機器人倫理和道德影響，以及與機器人安全有關的一些重要觀點和克服近期挑戰的一些建議，以促進未來的發展。

引言

為了加強軍事防御系統，必須大力發展和提高智能自主戰略能力。在大多數第一世界國家，研究國防技術改進是實現軍事防御現代化的優先事項。未來戰爭的特點可以根據不同領域的沖突進行分析，如：海洋、陸地、空中、網絡、太空、電磁和信息。隨著現代智能和機器人技術的改進，跨域（X域）和多域戰略也需要被關注。無人自主X域（多域）系統，簡稱UAxS，現在是研究和發展的重點，以使軍事力量更加強大、有力和智能。圖1展示了多域和X域的戰爭模式。

圖 1：多域和 X 域戰爭模型

現代防御機制可以在四個相互關聯的領域進行研究：先進的戰艦、良好的通信、人工智能和自主武器。這基本上意味著在軍事防御系統中實施機器人技術。在戰場上，一支裝備精良的機械化部隊是指揮官非常重要的資產。在戰爭中，指揮官必須專注于火力、機動性、人機合作、決策、支持裝甲和指揮步兵。在未來，機器人和自動化系統將通過提供支持和減少負擔來幫助解決這些問題，因為這些系統將更加智能、可靠和合作。在最近的軍事活動中，機器人和自主技術被用于偵察、設備供應、監視、掃雷、災難恢復、受傷士兵的檢索等（Dufourda, & Dalgalarrondo, 2006；Akhtaruzzaman, et al., 2020）。

為了確保可靠的使用和獲得最高的技術影響，機器人必須在半自動化、自動化和人機交互工程方面進行良好的設計。無人地面車輛（UGV）很有前途，在國防應用中具有很大的潛力，在這些應用中高度需要更快和可靠的通信鏈接（鏈接預算）和快速獲取信息（RAtI）（Akhtaruzzaman, et al., 2020）。機器人的價值比人的生命還要低。機器人在感知、檢測、測量和分析方面速度更快。機器人沒有任何激情或情感，不會像人類那樣感到疲勞或疲倦，而是在極端和關鍵條件下保持運作。在不久的將來，機器人將成為作戰計劃和參與的核心技術（Abiodun, & Taofeek, 2020）。它們將能夠通過智能傳感器技術與環境溝通，通過建模理解環境，理解人類的行動，定義威脅，服從命令，以更高的處理能力獲取信息，通過信息交換和共享與其他機器人互動，通過先進的控制技術自主適應敵對環境，并通過強大的計算能力與自動生成的程序應用智能進行自我學習（Akhtaruzzaman, & Shafie, 2010a, 2010b; Karabegovi?, & Karabegovi?, 2019）。

在不久的將來，UGV系統將成為軍事行動的關鍵技術，因為它們將確保幾乎零人力風險，不需要將人力直接安置到戰斗中。UGV系統還將能夠開放各種設施，如負載、自動監視、邊境巡邏、風險降低、障礙物清除、力量倍增器、遠程操縱、信號中繼等（Sathiyanarayanan等人，2014）。陸地防衛機器人必須能夠適應各種崎嶇的地形、惡劣的環境和非結構化的區域，同時發揮指定的作用并保持指揮層次。作為軍事部隊的一種程度，陸地機器人不能給團隊帶來任何額外的工作負擔。因此，必須實施有效的人工智能（AI）工程，以實現UGV或陸地機器人與行動部隊之間可靠的人機合作。

今天的智能機器人或自主武器仍然處于狹義人工智能（ANI）的水平（Horowitz，2019年），或者以某種方式處于ANI和通用人工智能（AGI）之間。這反映出它們還沒有準備好在災難或戰爭等敵對情況下完全自主并做出可靠的決定。人類擁有在很大程度上應用感知經驗的智慧，能夠適應環境，并能在關鍵情況下做出適當的決定。如果這些能力能夠被植入機器人的大腦，該系統就可以說是AGI系統。盡管與人類相比，機器人可以抵御枯燥、骯臟和危險的工作，但它們包括一些有限的功能，如航點或目標導向的導航、障礙物檢測、障礙物規避、威脅檢測、人類檢測和識別、定位、地圖構建、通過圖像和聲音處理提取信息，以及與其他機器人的某種合作。因此，如果能確保機器人和人類之間的良好合作，機器人將在人類的監督下自主工作，那么軍用地面機器人將是最有效的。

本研究對軍用陸地機器人系統、最近的技術進步、應用和道德影響進行了回顧。一些發達國家和不發達國家的現狀，以及通過推進和發展軍事武器、自動化武器和智能技術對世界經濟的工業影響，都反映在審查研究中。本文還闡述了參與戰爭的機器人倫理以及該技術對道德國家的影響。該研究主要試圖通過確定最近的差距、局限性和技術進步的倫理影響，來確定地面機器人技術的最新應用和實施情況。

在新環境中有效的自主導航對于智能體達到更復雜的自主水平至關重要。我們對改善攜帶輕型光電傳感器有效載荷的車輛在未知環境中的自主導航和估計感興趣。由于傳感的限制，在非瑣碎的新環境中，世界的許多幾何結構還沒有被觀察到，導致了嚴重的幾何模糊性。盡管收集額外的幾何信息可以減少模糊性，但這樣做往往與任務的目標相抵觸。我們建議將對象層面的語義信息和幾何信息結合起來，以切實改善導航和估計。

在這篇論文中，我們提出了在新環境中改善自主導航的三個貢獻。首先，我們通過將有用的導航行為編碼在由部分占有率和對象級地圖告知的抽樣分布中，來提高新環境中的導航效率。我們認識到，在有效導航時，在有限的視角下，對象層面的估計是具有挑戰性的，因此我們還開發了兩種在線建立對象層面表征的方法。在我們的第二個貢獻中，我們通過引入額外的紋理測量和語義類形狀先驗，提高了帶有橢圓體表征的對象級SLAM的視點效率。最后，在我們的第三個貢獻中，我們提出了一種新的深度學習的三維對象估計方法，利用間接的圖像空間注釋和類內形狀一致性來實現從單一的RGB圖像的三維對象估計。