網絡攻擊正在快速發生，使人類分析員不堪重負，必須使用更快、更有效的檢測技術。機器學習算法有助于提高檢測速度，并識別人類分析員可能錯過的模式。傳統上，需要一個主題專家來確定網絡攻擊的最有影響力的特征，以便將這些特征嵌入到檢測機制中，如機器學習模型。然而，由于圍繞數據集收集和利用的微妙因素，以及導致現實世界應用結果不可靠的評估方法，數據包層面的網絡流量攻擊檢測是復雜的。我們之前在惡意網絡流量檢測方面的工作試圖將這一過程自動化，利用數據包的原始字節，包括傳輸層頭和有效載荷，以及深度學習（即一維卷積神經網絡[1D CNN]和前饋神經網絡），并取得了98.99%的F1得分，同時減少了對主題專家特征工程的需求。

此外，在以前使用監督學習方法的研究中，簡要地指出，當只使用傳輸頭字段字節作為特征時，與將數據包字節特征與傳輸頭字段字節結合起來作為特征時，我們取得了相當的F1分數。我們還注意到：1）網絡數據包加密（如傳輸層安全[TLS]）的日益普遍，排除了對傳輸層有效載荷的檢查；2）當模型使用流量級或包間特征時，由于等待連接關閉或達到超時，以及這些歷史特征的計算/處理時間，決策將被延遲。因此，我們試圖研究僅使用頭域字節作為數據包級別的異常檢測的特征。我們之前的方法的一個局限性是，深度學習模型帶來了一些復雜性，是資源密集型的，與傳統的機器學習模型相比，提供的解釋能力較差。我們先前工作的觀察表明，與使用有效載荷和標題字節相比，只使用數據包的有效載荷時，分類器的性能有所下降。我們的觀察促使我們進一步調查只使用包頭字段的效用。我們試圖確定使用無監督的異常檢測方法的功效，以限制包含良性和惡意樣本的標記數據集的必要性。

研究重點是在資源有限的環境中，如戰術邊緣，盡量減少訓練和預測時間。在Wang等人的研究中，作者從傳輸控制協議（TCP）會話有效載荷或所有層中選擇了784個字節，并將這些字節轉換為28×28的灰度圖像，使用這個特征集來訓練LeNet-5（即圖像）啟發分類器。Zeng等人使用代表為30×30灰度圖像的900個字節作為他們的特征集來訓練他們的分類器，該分類器由三個并行架構組成--一個堆疊的自動編碼器（AE）、一個兩層1D-CN和一個長短期記憶（LSTM）分類器。然而，向某些領域轉換的額外步驟會增加計算時間的開銷，并有可能造成信息損失。我們承認，由于在其他領域有最先進的算法，數據的領域轉換有可能導致更好的模型表現。這些最先進的算法可能能夠使用不同的視角來識別相同數據中的不同模式。然而，數據轉換可能會增加分類/檢測決策的計算開銷，可能會因為對原始數據的誤解或誤報而造成進一步的信息損失，并且可能會增加對特征集的大小或使用的特征類型的限制。因此，為了確保我們不引入任何不必要的計算開銷或限制，并采用一種在現實世界中切實可行的方法，即加密的有效載荷是常態，我們將我們的網絡異常檢測和二元分類模型的特征限制在只有原始形式的數據包頭字段（TCP/互聯網協議[IP]），而不使用歷史信息，如網絡流量統計或數據包間特征。我們使用這些網絡頭字段而不進行域轉換，期望它能更有效地利用資源，并防止在域轉換過程中對原始數據的任何潛在誤解或誤報。

之前的一些研究利用網絡數據包的原始字節作為與機器學習算法相結合的特征。Lotfollahi等人的DeepPacket框架由一個堆疊的AE和一個CNN組成，使用IP有效載荷的前1480字節作為輸入特征，辨別加密和非加密流量。然而，另一個例子是DeepMAL架構，包括一個1D CNN和LSTM的組合，使用有效載荷的前1024字節作為輸入。另一個使用TCP/用戶數據報協議（UDP）頭和有效載荷的原始字節的例子是nprint，它專注于網絡流量分析和分類。 雖然這些工作中有許多是利用數據包的原始字節，但它們并不關注TCP和IP頭中的特定字段來進行異常檢測。此外，這些工作只關注監督學習方法，需要大量的標記數據來進行訓練。

我們建議利用無監督學習來進行異常檢測。我們還評估了有監督和無監督的異常檢測方法之間的性能差異。我們承認，異常檢測與攻擊檢測不一樣。也就是說，存在著被認為是良性的異常，反之，一些攻擊不會被認為是個別包頭層面的異常。具體來說，我們工作的重點是基于異常的技術來檢測網絡攻擊。

我們的貢獻包括以下內容：

• 對單純使用TCP/IP數據包頭進行異常檢測和網絡攻擊分類的功效進行實證調查和分析

• 深入分析/討論由以下方面引入的錯綜復雜的問題和注意事項：

  • 當惡意行為存在于網絡流量的一個或多個層面時，對其進行標記

  • 使用異常檢測技術來確定惡意行為的來源

  • 使用網絡攻擊檢測模型的評估技術，但沒有考慮和權衡這些模型如何用于現實世界的場景/應用，以及什么是成功的檢測（即，在什么時候一個警報或一組警報能提供可操作的信息？）

• 對使用監督學習作為檢測性能的基線進行分析和比較，并討論對數據集創建的網絡環境有偏見的結果

• 對無監督學習（主成分分析[PCA]和AE）與監督學習（隨機森林、邏輯回歸、隨機梯度下降[SGD]邏輯回歸和SGD線性支持向量機[SVM]）算法在網絡攻擊檢測中的表現進行經驗調查和分析

近年來，美海軍對無人系統的綜合衛星-地面網絡（ISTN）架構表現出興趣。隨著衛星網絡的發展和越來越多的無人系統網絡的連接，安全和隱私是ISTN的主要問題。在這篇論文中，我們專門為ISTN開發了一個網絡入侵檢測系統（NIDS）。我們確定了NIDS在ISTN架構中的關鍵位置，并使用決策樹機器學習算法對各種威脅載體進行網絡攻擊檢測，包括分布式拒絕服務。決策樹算法被用來對攻擊流量和良性流量進行分類和隔離。我們使用文獻中提供的開放源ISTN數據集來訓練我們的算法。決策樹使用不同的分割標準，不同的分割數量，以及使用主成分分析（PCA）來實現。我們操縱訓練數據的大小和數據特征的數量以達到合理的假陽性率。我們表明，我們基于決策樹學習的NIDS框架可以有效地檢測和隔離不同的攻擊數據類別。

第1章 概述

1.1 引言

本論文提出的問題是："我們能否設計出既有效又高效的審計策略來防御現代信息系統中的數據濫用？"。

幾十年來，計算和存儲技術的不斷進步一直激勵著人類和我們日常生活的數字化。這種現象深刻地改變了信息交流、決策、以及人們思考和創新的方式。由于對提高信息交流效率和保證信息準確性和完整性的卓越能力的共同信念，許多現代信息系統已經出現，通過收集、存儲和處理人類產生的數據為人類社會提供關鍵服務。電子病歷（EHR）系統是這些重大創新之一（見圖1.1a的例子），它能帶來許多好處，包括臨床人員和病人之間的有效溝通[1, 2]，通過隨時訪問提高護理效率[3]，以及減少醫療錯誤[4, 5]。金融管理信息系統（見圖1.1b為例）是另一個顯著的模式，它能實現可靠的交易服務、高效的財富管理和持續的服務提供[6]。這些系統不僅加快了人類活動的步伐，而且還重塑了日常生活的性質。

(a) Epic EHR系統的一個示例界面，顯示一個假的病人。

(b) Mifos銀行系統的一個示例界面，顯示一個假的客戶。

圖1.1: 激發本論文研究的具體領域，也是直接影響本論文研究的具體領域。

同時，不幸的是，由于這些關鍵任務的信息系統在促進人類社會方面發揮的重要作用，以及它們所擁有的數據的巨大價值，攻擊從未缺席[7, 8, 9]。雖然攻擊會導致一系列的后果，從中斷信息系統的持續運行到破壞數據的完整性，但它們的最終目標往往匯聚到對個人隱私的侵犯。2015年，美國最大的醫療保險供應商之一Anthem的醫療數據泄露事件創造了美國歷史上數據泄露的新紀錄[10]，通過對其數據服務器的犯罪黑客攻擊，影響了超過7880萬人。2017年，在針對頂級信用報告機構Equifax的攻擊中，約1.45億美國人的個人身份數據被泄露[11]。盡管大量守護安全和隱私的人工和自動篩查策略（或組合）被不斷開發和部署，但針對信息系統及其所持有的敏感數據的成功攻擊不斷登上頭條。因此，人們普遍認識到，沒有一個系統是不受攻擊的，也沒有一個系統是不受損害的，尤其是面對那些不斷適應、不斷發展、不斷改進其方式以破壞保護措施和掩蓋其真實目的的攻擊。

一個廣泛使用的防御信息系統中數據濫用的解決方案是創建并分析系統審計日志[12, 13, 14, 15]。這個簡單的想法已經被實踐了很久，并被用來支持信息系統管理的多個目標[16, 17, 18, 19]，包括在系統安全和數據隱私方面的合規性和問責制[20, 21, 22, 23]。審計日志的結構可以是異質的，但是它們通常按照 "誰在什么時間點進行了什么活動，導致了什么系統狀態 "的思路來記錄系統的事件細節[20, 21, 24]。這種機制很有價值，因為它使管理員能夠對可疑事件進行回顧性調查，這樣，在被審計時，真正的攻擊可以在造成更大損失之前被識別和阻止。更進一步的是，為了審計方便，可疑事件通常根據其特征被映射到預定義的語義類型中，每個類型都對應著不同的惡意情況[25, 26]。這些語義類型可以有多種形式，并擅長于篩選不同的威脅。例如，基于規則的機制可以很容易地挑出存儲在系統中的非常重要的人（VIP）的記錄的訪問活動，而機器學習檢測模型可以準確地找出顯示出異常系統訪問模式的惡意賬戶。然后，檢測到的可疑事件及其相應的類型會作為警報提交給系統管理員（或審計師）進行審計，這為提前制定有效的審計策略增加了復雜性。

然而，由于審計師在現實世界領域中可能面臨的幾個明顯的挑戰，審計在實踐中是非同小可的。首先，通常的情況是，審計工作量大大超出了審計的可用資源（例如，安全管理員或隱私官員的時間）[27, 28, 29]。第二，由于缺乏精確定義惡意行為的能力，導致假陽性率很高，使得審計效率低下[30, 31, 32]。第三，人類攻擊者通常根據他們的知識和對系統運行的觀察采取戰略性的行動，以減少被審計師發現的概率，這使得固定的審計模式變得脆弱[33, 34, 35]。例如，攻擊者可以通過操縱他們的攻擊行為，輕易地繞過基于警報類型重要性的審計策略或訓練有素的機器學習異常點檢測工具。第四，與需要保護的目標固定為防御者和攻擊者的先驗知識的情況相比（如機場航站樓巡邏），數據濫用審計中需要調查的對象（即警報）在一個審計周期（如一天）開始之前是未知的。

從本質上講，數據濫用審計是一項尋求將有限的調查資源分配給對抗性環境中的大量警報的任務。不幸的是，幾乎所有以前的作品在推導其策略時都未能基于審計的這一基本特征進行開發。然而，本論文將審計師和攻擊者之間的互動建模為領導者-追隨者博弈，即審計師（防御者）首先承諾采取隨機審計策略，然后攻擊者根據其觀察結果以某種目標或類型的攻擊作為回應，同時試圖將被發現的可能性降到最低。事實上，這種建模架構下的審計方案通過戰略隨機化將不確定性納入空間，并沿著現實的激勵機制擴大參與者的利益最大化，與其他方案相比，表現出固有的優勢。沿著這個建模方向，在本論文中，我們探討了各種智能審計機制設計可以實現的潛力，以提高防御的效率，甚至對數據泄露的威懾。

1.2 貢獻總結

圖1.2總結了本論文的高層次目標和相關的具體博弈建模策略。基本上，本論文從兩個不同的角度考慮設計審計機制：離線優先和在線信號（或在線警告）。在這里，我們用離線和在線這兩個詞來表示在實時數據訪問過程中，審計人員和數據用戶之間是否通過任何審計機制進行互動。特別是，我們通過回答審計師和攻擊者之間的對抗性環境的兩個問題來展開調查。1）是否有可能以一種智能的方式對警報進行優先排序，從而使審計師能夠從這種隨機的順序中獲得最大的利益，以及2）審計機制能否以一種實時的方式運作，從而使正在發起攻擊的攻擊者在成功之前被阻止。第一個觀點源于這樣的觀察：在實踐中，系統管理員或隱私官員傾向于關注極少數符合他們最大利益的警報類型的調查（或者等同于，在他們的重要性排名中最重要的警報類型）。因此，由于預算的限制，其余的很少被觸及，這為攻擊者提供了免費的午餐。除了完全脫機進行審計外，第二個觀點是探索將參與者之間的信息交流實時化（例如，當用戶請求敏感數據時），以影響攻擊者的策略選擇，甚至阻止攻擊者。雖然我們的貢獻可以應用于一般的信息服務，但在這篇論文中，我們依靠一個有代表性的用例--EHR的濫用審計來使我們的調查有一個背景，即醫療機構（HCO）的雇員（或EHR用戶）可以通過非法訪問濫用病人的數據并侵犯病人的隱私。

更具體地說，為了回答第一個問題（對應于圖1.2中的目標1），我們通過同時考慮兩個維度，建立了一個新穎的博弈論審計框架原型。1）如何確定被觸發的警報的優先順序；2）為每個警報類型分配多少預算（例如，人力資本或貨幣預算）的上限是什么。在這個博弈中，審計師就警報類型的順序和確定的預算分配策略選擇一個隨機的審計政策，而潛在的攻擊者選擇他們的記錄（如EHR）來實施攻擊作為他們的回應。我們表明，即使是該問題的高度限制版本也是NP-Hard。盡管如此，我們提出了一系列解決這些問題的算法方法，這些方法利用線性編程和列生成的組合，計算出一個近乎最優的隨機策略，以確定警報類別的優先次序。使用一個合成的數據集，在這個數據集上得出精確的解決方案是可行的，我們首先證明了我們的方法在接近最優解決方案方面的有效性，并在效率上有了極大的提高。然后，我們用1）范德比爾特大學醫療中心（VUMC）超過1.5個月的審計日志來測試整個框架的有效性，這是美國一個主要的學術醫療中心，我們分配了一個可信的回報結構，明確表示攻擊者被抓或不被抓時玩家的收益和損失；2）一個公開的信用卡應用數據集。一組廣泛的實驗結果表明，我們的方法總是優于最先進的審計策略（忽略了博弈論），無論組織的預算如何。這項調查提供了強有力的證據，證明博弈論輔助的審計可以通過在對抗性環境中優化策略選擇而有利于審計師。這已經作為同行評議的會議論文[36]和期刊論文[37]發表。

圖1.2：本論文的三個主要部分的圖形總結。

第二個研究問題旨在將對抗性建模的好處擴展到實時。具體來說，我們開發了一個概念--在線信號，并將其納入審計博弈。在高層次上，在線信號的功能如下：每當一個可疑的事件開始時（例如，請求訪問病人的記錄，系統配置文件等），系統可以實時警告提出請求的用戶（例如，通過一個有一定概率優化的彈出窗口）"這個事件可能被審計"。然后，用戶可以選擇停止（如果他們是內部人員，從而被阻止）或繼續進行當前的行動。然后，在一段時間后，這些收到信號的事件的一個子集被審計。因此，通過信號傳遞實現威懾力的最大化將我們引向一個在線優化問題，我們必須確定：1）是否應該發出警告；2）該事件被審計的可能性。

作為本論文的第二個研究目標（如圖1.2所示），我們將這個審計問題原型化和形式化為信號審計博弈（SAG），作為初始步驟，我們對審計者和攻擊者之間的互動，以及被部署時的可用性成本（即阻止正常系統用戶的現象）進行建模。我們將審計師的最優方案稱為在線斯塔克伯格信號政策（OSSP），并在理論上證明，OSSP永遠不會比在沒有信號的博弈中取得的最優方案差。我們用來自VUMC的1000萬份EHR訪問事件--包含26000多份警報--進行了一系列實驗，以說明SAG的潛力和其與現有方法相比的優勢的一致性。這已作為同行評議的會議論文發表[38]。

雖然基于信號的在線審計利用了審計師的信息優勢，有可能勝過非信號策略，但由于幾個關鍵的缺陷，SAG在實踐中表現不佳。首先，SAG假設所有攻擊者都有相同的目標，因此他們對攻擊目標的偏好是相同的。他們的偏好由攻擊被抓住或沒有被抓住時雙方的獎勵和懲罰來表示。然而，在現實中，攻擊者破壞系統或敏感數據的動機有很大不同。例如，一個HCO的員工出于好奇偷看了一個VIP的EHR，可能比一個在黑市上出售相同記錄（然后實施身份盜竊）的員工更不需要擔心。第二，按照安全博弈建模的標準假設，SAG假設攻擊者總是以無誤的效用最大化的理性行事。然而，這是一個不合理的強勢假設，因為現實世界的攻擊者可能沒有時間、精力或知識來進行準確的效用計算來選擇策略。而且經驗表明，面對現實世界的攻擊者，博弈建模中的這種假設會給審計師帶來過大的損失[39]，因為審計師可以對那些他們認為攻擊者不可能攻擊的目標保護不足。

本論文的第三個目的（如圖1.2所示）是通過解決它們的上述缺陷使在線信令審計機制變得穩健。我們引入了一個新的審計框架，我們稱之為魯棒貝葉斯SAG。首先，我們通過對SAG進行貝葉斯式的擴展，在審計環境中對多個攻擊者類型進行建模，其中審計者在選擇其審計策略時考慮了參與者的回報和偏好的不確定性。然后，由此產生的問題可以通過一個緊湊的表述來解決。第二，為了模擬現實世界中攻擊者的不完全理性，我們探索了穩健優化中的兩種不同類型的方法。1）約束攻擊者的策略選擇與他們的最優策略的最壞情況下的偏差，以及2）約束攻擊者的偏差對審計師損失的影響。我們將每種類型的約束納入實時解決穩健貝葉斯SAG的算法中，并為每種約束建立了相應的解決概念。我們研究了這些解決方案的理論屬性以及它們之間的關系。令人驚訝的是，這兩種算法，雖然視角完全不同，但在某些情況下可以導致等價，并表現出魯棒性的一致性。為了評估穩健貝葉斯SAG的性能，我們構建了兩個環境。1）與VUMC超過1000萬次真實EHR訪問的審計日志相關的真實環境（與目標2中的評估數據集相同）；2）從真實數據中得到的模擬控制環境，這使我們能夠模擬攻擊者關于其理性程度的行為。我們特別評估了我們的解決方案和最先進的審計方法在不同條件下的預期效用，以證明新的審計解決方案的價值和其可擴展性。這已經提交給一個會議進行審查。

1.3 學位論文結構

本論文的其余部分組織如下。第二章調查了相關工作。之后，我們通過將相應的問題形式化為特定的博弈論模型，推導出它們的解決方案，然后使用真實和模擬的數據集進行評估，對上述每個目標進行擴展。具體來說，在第三章中，我們將預警優先級的博弈形式化，并推導出其解決算法，以改善離線數據濫用審計。在第四章中，我們介紹了在線信號的概念，以及由此產生的模型-SAG，然后是解決方案的理論屬性和性能評估。第五章提出了考慮到多種攻擊者類型和他們在選擇策略時的不完全理性的SAG的強大框架。在第六章中，我們總結了我們的貢獻并討論了未來的工作，從而結束了論文。

摘要

異常檢測是許多研究領域所面臨的重要問題。探測并正確地將一些看不見的東西分類為異常是一個具有挑戰性的問題，多年來已經通過許多不同的方式解決了這個問題。生成對抗網絡(GANs)和對抗訓練過程最近被用來面對這一任務，產生了顯著的結果。在本文中，我們綜述了主要的基于GAN的異常檢測方法，并突出了它們的優缺點。在不同數據集上的實驗結果的增加，以及使用GAN的異常檢測的完整開源工具箱的公開發布。

引言

異常是數據中不符合正常行為的定義(Chandola et al., 2009)的模式。生成式對抗網絡(GAN)和對抗訓練框架(Goodfellow et al., 2014)已成功應用于真實世界數據復雜和高維分布的建模。這種GAN特性表明它們可以成功地用于異常檢測，盡管它們的應用只是最近才被探索出來。使用GAN進行異常檢測的任務是使用對抗性訓練過程建模正常行為，并測量異常評分來檢測異常(Schlegl等人，2017)。據我們所知，所有基于gan的異常檢測方法都是基于對抗性特征學習思想(Donahue et al., 2016)，其中提出了BiGAN架構。在最初的公式中，GAN框架學習了一個將樣本從任意潛在分布(噪聲之前)映射到數據的生成器，以及一個試圖區分真實樣本和生成樣本的鑒別器。BiGAN架構擴展了原始的模擬，增加了逆映射的學習，將數據映射回潛在的表示。一個將輸入數據映射到其潛在表示的學習函數和一個相反的函數(生成器)是使用GAN進行異常檢測的基礎。

論文組織如下。在第1節，我們介紹了GANs框架，并簡要介紹了其最具創新性的擴展，即條件GAN和BiGAN，分別在第1.2節和第1.3節。第2節介紹了使用GAN進行異常檢測的最新架構。在第3節中，我們對所有分析的架構進行了經驗評估。最后，第四部分是結論和未來的研究方向.

檢測語義異常具有挑戰性，因為它們可能以無數種方式出現在真實數據中。雖然增強網絡的健壯性可能足以對簡單異常進行建模，但沒有一種已知的好方法來準備模型，以應對可能發生的所有潛在的、看不見的異常，比如出現新的對象類。在本文中，我們展示了一個以前被忽視的異常檢測(AD)策略，即對從一些大型和多樣的語義任務轉移過來的表示引入一個顯式的歸納偏差。我們在使用干預的對照試驗中嚴格驗證了我們的假設，并表明它產生了出乎意料的有效輔助目標，優于以往的AD范式。

//proceedings.mlr.press/v139/deecke21a.html