第1章 概述

1.1 引言

本論文提出的問題是："我們能否設計出既有效又高效的審計策略來防御現代信息系統中的數據濫用？"。

幾十年來，計算和存儲技術的不斷進步一直激勵著人類和我們日常生活的數字化。這種現象深刻地改變了信息交流、決策、以及人們思考和創新的方式。由于對提高信息交流效率和保證信息準確性和完整性的卓越能力的共同信念，許多現代信息系統已經出現，通過收集、存儲和處理人類產生的數據為人類社會提供關鍵服務。電子病歷（EHR）系統是這些重大創新之一（見圖1.1a的例子），它能帶來許多好處，包括臨床人員和病人之間的有效溝通[1, 2]，通過隨時訪問提高護理效率[3]，以及減少醫療錯誤[4, 5]。金融管理信息系統（見圖1.1b為例）是另一個顯著的模式，它能實現可靠的交易服務、高效的財富管理和持續的服務提供[6]。這些系統不僅加快了人類活動的步伐，而且還重塑了日常生活的性質。

(a) Epic EHR系統的一個示例界面，顯示一個假的病人。

(b) Mifos銀行系統的一個示例界面，顯示一個假的客戶。

圖1.1: 激發本論文研究的具體領域，也是直接影響本論文研究的具體領域。

同時，不幸的是，由于這些關鍵任務的信息系統在促進人類社會方面發揮的重要作用，以及它們所擁有的數據的巨大價值，攻擊從未缺席[7, 8, 9]。雖然攻擊會導致一系列的后果，從中斷信息系統的持續運行到破壞數據的完整性，但它們的最終目標往往匯聚到對個人隱私的侵犯。2015年，美國最大的醫療保險供應商之一Anthem的醫療數據泄露事件創造了美國歷史上數據泄露的新紀錄[10]，通過對其數據服務器的犯罪黑客攻擊，影響了超過7880萬人。2017年，在針對頂級信用報告機構Equifax的攻擊中，約1.45億美國人的個人身份數據被泄露[11]。盡管大量守護安全和隱私的人工和自動篩查策略（或組合）被不斷開發和部署，但針對信息系統及其所持有的敏感數據的成功攻擊不斷登上頭條。因此，人們普遍認識到，沒有一個系統是不受攻擊的，也沒有一個系統是不受損害的，尤其是面對那些不斷適應、不斷發展、不斷改進其方式以破壞保護措施和掩蓋其真實目的的攻擊。

一個廣泛使用的防御信息系統中數據濫用的解決方案是創建并分析系統審計日志[12, 13, 14, 15]。這個簡單的想法已經被實踐了很久，并被用來支持信息系統管理的多個目標[16, 17, 18, 19]，包括在系統安全和數據隱私方面的合規性和問責制[20, 21, 22, 23]。審計日志的結構可以是異質的，但是它們通常按照 "誰在什么時間點進行了什么活動，導致了什么系統狀態 "的思路來記錄系統的事件細節[20, 21, 24]。這種機制很有價值，因為它使管理員能夠對可疑事件進行回顧性調查，這樣，在被審計時，真正的攻擊可以在造成更大損失之前被識別和阻止。更進一步的是，為了審計方便，可疑事件通常根據其特征被映射到預定義的語義類型中，每個類型都對應著不同的惡意情況[25, 26]。這些語義類型可以有多種形式，并擅長于篩選不同的威脅。例如，基于規則的機制可以很容易地挑出存儲在系統中的非常重要的人（VIP）的記錄的訪問活動，而機器學習檢測模型可以準確地找出顯示出異常系統訪問模式的惡意賬戶。然后，檢測到的可疑事件及其相應的類型會作為警報提交給系統管理員（或審計師）進行審計，這為提前制定有效的審計策略增加了復雜性。

然而，由于審計師在現實世界領域中可能面臨的幾個明顯的挑戰，審計在實踐中是非同小可的。首先，通常的情況是，審計工作量大大超出了審計的可用資源（例如，安全管理員或隱私官員的時間）[27, 28, 29]。第二，由于缺乏精確定義惡意行為的能力，導致假陽性率很高，使得審計效率低下[30, 31, 32]。第三，人類攻擊者通常根據他們的知識和對系統運行的觀察采取戰略性的行動，以減少被審計師發現的概率，這使得固定的審計模式變得脆弱[33, 34, 35]。例如，攻擊者可以通過操縱他們的攻擊行為，輕易地繞過基于警報類型重要性的審計策略或訓練有素的機器學習異常點檢測工具。第四，與需要保護的目標固定為防御者和攻擊者的先驗知識的情況相比（如機場航站樓巡邏），數據濫用審計中需要調查的對象（即警報）在一個審計周期（如一天）開始之前是未知的。

從本質上講，數據濫用審計是一項尋求將有限的調查資源分配給對抗性環境中的大量警報的任務。不幸的是，幾乎所有以前的作品在推導其策略時都未能基于審計的這一基本特征進行開發。然而，本論文將審計師和攻擊者之間的互動建模為領導者-追隨者博弈，即審計師（防御者）首先承諾采取隨機審計策略，然后攻擊者根據其觀察結果以某種目標或類型的攻擊作為回應，同時試圖將被發現的可能性降到最低。事實上，這種建模架構下的審計方案通過戰略隨機化將不確定性納入空間，并沿著現實的激勵機制擴大參與者的利益最大化，與其他方案相比，表現出固有的優勢。沿著這個建模方向，在本論文中，我們探討了各種智能審計機制設計可以實現的潛力，以提高防御的效率，甚至對數據泄露的威懾。

1.2 貢獻總結

圖1.2總結了本論文的高層次目標和相關的具體博弈建模策略。基本上，本論文從兩個不同的角度考慮設計審計機制：離線優先和在線信號（或在線警告）。在這里，我們用離線和在線這兩個詞來表示在實時數據訪問過程中，審計人員和數據用戶之間是否通過任何審計機制進行互動。特別是，我們通過回答審計師和攻擊者之間的對抗性環境的兩個問題來展開調查。1）是否有可能以一種智能的方式對警報進行優先排序，從而使審計師能夠從這種隨機的順序中獲得最大的利益，以及2）審計機制能否以一種實時的方式運作，從而使正在發起攻擊的攻擊者在成功之前被阻止。第一個觀點源于這樣的觀察：在實踐中，系統管理員或隱私官員傾向于關注極少數符合他們最大利益的警報類型的調查（或者等同于，在他們的重要性排名中最重要的警報類型）。因此，由于預算的限制，其余的很少被觸及，這為攻擊者提供了免費的午餐。除了完全脫機進行審計外，第二個觀點是探索將參與者之間的信息交流實時化（例如，當用戶請求敏感數據時），以影響攻擊者的策略選擇，甚至阻止攻擊者。雖然我們的貢獻可以應用于一般的信息服務，但在這篇論文中，我們依靠一個有代表性的用例--EHR的濫用審計來使我們的調查有一個背景，即醫療機構（HCO）的雇員（或EHR用戶）可以通過非法訪問濫用病人的數據并侵犯病人的隱私。

更具體地說，為了回答第一個問題（對應于圖1.2中的目標1），我們通過同時考慮兩個維度，建立了一個新穎的博弈論審計框架原型。1）如何確定被觸發的警報的優先順序；2）為每個警報類型分配多少預算（例如，人力資本或貨幣預算）的上限是什么。在這個博弈中，審計師就警報類型的順序和確定的預算分配策略選擇一個隨機的審計政策，而潛在的攻擊者選擇他們的記錄（如EHR）來實施攻擊作為他們的回應。我們表明，即使是該問題的高度限制版本也是NP-Hard。盡管如此，我們提出了一系列解決這些問題的算法方法，這些方法利用線性編程和列生成的組合，計算出一個近乎最優的隨機策略，以確定警報類別的優先次序。使用一個合成的數據集，在這個數據集上得出精確的解決方案是可行的，我們首先證明了我們的方法在接近最優解決方案方面的有效性，并在效率上有了極大的提高。然后，我們用1）范德比爾特大學醫療中心（VUMC）超過1.5個月的審計日志來測試整個框架的有效性，這是美國一個主要的學術醫療中心，我們分配了一個可信的回報結構，明確表示攻擊者被抓或不被抓時玩家的收益和損失；2）一個公開的信用卡應用數據集。一組廣泛的實驗結果表明，我們的方法總是優于最先進的審計策略（忽略了博弈論），無論組織的預算如何。這項調查提供了強有力的證據，證明博弈論輔助的審計可以通過在對抗性環境中優化策略選擇而有利于審計師。這已經作為同行評議的會議論文[36]和期刊論文[37]發表。

圖1.2：本論文的三個主要部分的圖形總結。

第二個研究問題旨在將對抗性建模的好處擴展到實時。具體來說，我們開發了一個概念--在線信號，并將其納入審計博弈。在高層次上，在線信號的功能如下：每當一個可疑的事件開始時（例如，請求訪問病人的記錄，系統配置文件等），系統可以實時警告提出請求的用戶（例如，通過一個有一定概率優化的彈出窗口）"這個事件可能被審計"。然后，用戶可以選擇停止（如果他們是內部人員，從而被阻止）或繼續進行當前的行動。然后，在一段時間后，這些收到信號的事件的一個子集被審計。因此，通過信號傳遞實現威懾力的最大化將我們引向一個在線優化問題，我們必須確定：1）是否應該發出警告；2）該事件被審計的可能性。

作為本論文的第二個研究目標（如圖1.2所示），我們將這個審計問題原型化和形式化為信號審計博弈（SAG），作為初始步驟，我們對審計者和攻擊者之間的互動，以及被部署時的可用性成本（即阻止正常系統用戶的現象）進行建模。我們將審計師的最優方案稱為在線斯塔克伯格信號政策（OSSP），并在理論上證明，OSSP永遠不會比在沒有信號的博弈中取得的最優方案差。我們用來自VUMC的1000萬份EHR訪問事件--包含26000多份警報--進行了一系列實驗，以說明SAG的潛力和其與現有方法相比的優勢的一致性。這已作為同行評議的會議論文發表[38]。

雖然基于信號的在線審計利用了審計師的信息優勢，有可能勝過非信號策略，但由于幾個關鍵的缺陷，SAG在實踐中表現不佳。首先，SAG假設所有攻擊者都有相同的目標，因此他們對攻擊目標的偏好是相同的。他們的偏好由攻擊被抓住或沒有被抓住時雙方的獎勵和懲罰來表示。然而，在現實中，攻擊者破壞系統或敏感數據的動機有很大不同。例如，一個HCO的員工出于好奇偷看了一個VIP的EHR，可能比一個在黑市上出售相同記錄（然后實施身份盜竊）的員工更不需要擔心。第二，按照安全博弈建模的標準假設，SAG假設攻擊者總是以無誤的效用最大化的理性行事。然而，這是一個不合理的強勢假設，因為現實世界的攻擊者可能沒有時間、精力或知識來進行準確的效用計算來選擇策略。而且經驗表明，面對現實世界的攻擊者，博弈建模中的這種假設會給審計師帶來過大的損失[39]，因為審計師可以對那些他們認為攻擊者不可能攻擊的目標保護不足。

本論文的第三個目的（如圖1.2所示）是通過解決它們的上述缺陷使在線信令審計機制變得穩健。我們引入了一個新的審計框架，我們稱之為魯棒貝葉斯SAG。首先，我們通過對SAG進行貝葉斯式的擴展，在審計環境中對多個攻擊者類型進行建模，其中審計者在選擇其審計策略時考慮了參與者的回報和偏好的不確定性。然后，由此產生的問題可以通過一個緊湊的表述來解決。第二，為了模擬現實世界中攻擊者的不完全理性，我們探索了穩健優化中的兩種不同類型的方法。1）約束攻擊者的策略選擇與他們的最優策略的最壞情況下的偏差，以及2）約束攻擊者的偏差對審計師損失的影響。我們將每種類型的約束納入實時解決穩健貝葉斯SAG的算法中，并為每種約束建立了相應的解決概念。我們研究了這些解決方案的理論屬性以及它們之間的關系。令人驚訝的是，這兩種算法，雖然視角完全不同，但在某些情況下可以導致等價，并表現出魯棒性的一致性。為了評估穩健貝葉斯SAG的性能，我們構建了兩個環境。1）與VUMC超過1000萬次真實EHR訪問的審計日志相關的真實環境（與目標2中的評估數據集相同）；2）從真實數據中得到的模擬控制環境，這使我們能夠模擬攻擊者關于其理性程度的行為。我們特別評估了我們的解決方案和最先進的審計方法在不同條件下的預期效用，以證明新的審計解決方案的價值和其可擴展性。這已經提交給一個會議進行審查。

1.3 學位論文結構

本論文的其余部分組織如下。第二章調查了相關工作。之后，我們通過將相應的問題形式化為特定的博弈論模型，推導出它們的解決方案，然后使用真實和模擬的數據集進行評估，對上述每個目標進行擴展。具體來說，在第三章中，我們將預警優先級的博弈形式化，并推導出其解決算法，以改善離線數據濫用審計。在第四章中，我們介紹了在線信號的概念，以及由此產生的模型-SAG，然后是解決方案的理論屬性和性能評估。第五章提出了考慮到多種攻擊者類型和他們在選擇策略時的不完全理性的SAG的強大框架。在第六章中，我們總結了我們的貢獻并討論了未來的工作，從而結束了論文。

確保關鍵基礎設施網絡的彈性，并為國家安全的目的充分防御這些網絡，可能是一個嚴峻的挑戰，特別是在這個充滿競爭的時代。除了自然災害和偶然事故之外，聰明的對手可能只需幾次戰略性的攻擊就能造成嚴重的行動影響。然而，簡單的優先級列表可能導致忽略了容易被利用的漏洞。在這些情況下，需要仔細分析，以確定網絡的關鍵組成部分（節點和弧線），以便集中精力提高其彈性。本文討論了一個結合了優化和博弈論的三人網絡攔截結構，并應用于美國交通網絡的一個使用案例。這種分析提供了一種強大的、穩健的方法來識別網絡中的關鍵基礎設施。

超越機器學習和網絡安全博弈論的基礎，進入這一前沿領域的最新研究 在網絡安全的博弈論和機器學習中，一個專家安全研究團隊提供了一組來自適用于網絡安全的機器學習和博弈論的核心研究成果。杰出的編輯包括了解決博弈論和機器學習應用于網絡安全系統的開放研究問題的資源，并檢查了當前網絡安全博弈論模型的優勢和局限性。 讀者將探索傳統機器學習算法的漏洞，以及如何在對抗性機器學習方法中緩解這些漏洞。這本書為應用博弈論和機器學習解決網絡安全挑戰的廣泛技術問題提供了一套全面的解決方案。 從介紹博弈論、機器學習、網絡安全和網絡欺騙的基本概念開始，編輯人員為讀者提供了討論最新的超級游戲、行為博弈論、對抗性機器學習、生成對抗網絡和多智能體強化學習的資源。

讀者還將享受:

• 全面介紹了網絡欺騙的博弈論，包括在博弈論框架中識別隱形攻擊者的可擴展算法，攻擊圖上的蜜罐分配，以及網絡欺騙的行為博弈
• 對網絡安全博弈論的探索，包括針對持續和先進威脅的可操作博弈論對抗性干預檢測
• 針對網絡安全的對抗性機器學習的實際討論，包括5G安全中的對抗性機器學習和網絡物理系統中機器學習驅動的故障注入
• 網絡安全生成模型的深入研究

美國海軍和國防部（DOD）正在優先考慮在各戰爭領域迅速采用人工智能（AI），以保持對美國有利的技術優勢。機器學習（ML）是最近人工智能發展的基礎，它存在著一個持續的、沒有得到充分解決的關鍵缺陷：對抗性樣本。自2013年發現以來，在深度神經網絡（DNN）分類器中出現了許多新形式的對抗性樣本攻擊，并提出了許多狹義和特殊的防御措施。這些防御措施都沒有經受住反測試。一些研究人員提出，這種易受攻擊性可能是不可避免的。到目前為止，還沒有發現有效的、可計算的、通用的方法，可以加固DNN，使其免受這種和相關的泛化問題的影響。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以通過將模型分類空間數據密集區之間的數據點稀疏的潛在空間，作為障礙隔離來改進。我們研究了兩種不同的方法來實現這種對基于對抗性樣本的攻擊防御，測試這些防御對最有效的攻擊，并將結果與現有的技術狀態的防御進行比較。

第一章 引言

人工智能（AI）已被提出來作為推進國防部能力的一個關鍵推動因素。人工智能國家安全委員會在其最終報告中寫道："如果我們的武裝部隊不加速采用人工智能，他們的軍事技術競爭優勢可能會在未來十年內喪失"，建議 "美國現在必須采取行動，將人工智能系統投入使用，并在人工智能創新方面投入大量資源，以保護其安全，促進其繁榮，并保障民主的未來" [1]。鑒于人工智能或更具體地說，深度神經網絡（DNN）中的機器學習（ML）最近在科學和工業領域取得了廣泛的突破，這種關注無疑是恰當的。然而，在國防應用中利用ML和其他現代 "深度學習 "方法并非沒有其固有的附加風險。

最近的人工智能主張已經近乎夸大其詞；當然，在與軍事和文職領導層的高層溝通中，也發生了一些夸大其詞的情況。作為這種夸張的例子，參考一下《2019年美國總統經濟報告》是如何向美國領導人介紹機器視覺方面的人工智能狀況的。在第343頁題為 "2010-17年人工智能和人類的圖像分類錯誤率 "的圖表中，它顯示了 "人類分類 "錯誤率與機器分類錯誤率將在2015年超過人類圖像分類能力。對這一說法仔細考慮并對參考研究甚至是當前最先進研究進行檢查，顯示這一特殊的發展仍然是一個遙遠的、尚未達到的里程碑。

1.1 深度學習的突破

即使ML仍然存在挑戰，近年來，機器學習在科學、工業和商業領域的成功應用也在急劇增加。深度神經網絡已經在自然語言處理、天文學、癌癥診斷、蛋白質折疊、語音識別和機器視覺等不同領域取得了巨大的進步[2]-[8]。因此，這類系統的潛在軍事應用同樣比比皆是：分析頻譜上下的聲學和電磁傳感器數據、機器視覺、尋找-修復-跟蹤和瞄準對手的飛機、地下、水面和陸地戰斗人員、人類語言處理、語音識別、自主空中/地面/地下/陸地車輛、信息戰、情報、監視和偵察（ISR）整合、機器人技術、網絡防御、網絡攻擊、戰術決策輔助，等等。

1.2 深度學習的脆弱性

盡管這項技術帶來了巨大進步，但目前的ML分類方法創建的模型在其核心上是有缺陷的，因為它們非常容易受到對抗性樣本攻擊和相關欺騙技術的影響[9]。廣義上講，文獻中定義的這類攻擊有三類：探索性攻擊、逃避性攻擊和中毒性攻擊。在本報告中，我們主要關注防御我們認為最關鍵的需求，即逃避攻擊。為了提供背景，我們簡要地概述了這三種攻擊。探索性攻擊，對手并不試圖實現錯誤分類，而是試圖通過精心設計輸入來獲得模型的知識，這些輸入的結果將提供關于模型內部狀態的信息，其目的是減少模型的不確定性，以支持未來的攻擊。中毒攻擊試圖在訓練期間修改模型，以偷偷地完成模型的一些未被發現的行為變化。最后，在逃避攻擊中，攻擊者不知不覺地修改了人工制定或模型的輸入，以產生分類的變化，從良性的或最初設定的類別到一些其他的、欺騙性的不真實的類別[10]。這最后一類是我們防御的重點，從這一點出發，我們把這些簡單地稱為對抗性樣本攻擊[11]。

自從2013年最初發現DNN分類器中的對抗性攻擊（逃避）以來，已經出現了許多種這樣的攻擊，并且至少提出了同樣多的狹義的特定防御措施作為回應。不幸的是，到目前為止，所提出的防御措施沒有一個能經受住反測試和適應性攻擊[12]。一些研究人員提出，這種易感性可能是空間中問題表述的一個不可避免的特征[13]。目前，還沒有發現一種有效的、計算上可接受的、通用的方法，可以支撐DNN對抗類似的相關的泛化問題[12], [14]。

1.3 國防部（DoD）的影響

在國防部的范圍內，大家都承認欺騙在戰爭中起著核心作用。因此，戰爭系統必須被設計成對欺騙有高度的適應性[15]。馬基雅弗利在“Prince”中寫道："......雖然在任何行動中使用欺騙都是可憎的，但在發動戰爭時，它是值得稱贊的，并能帶來名聲：用欺騙征服敵人與用武力征服敵人一樣受到稱贊。" 對孫子來說，這甚至是更重要的因素，"所有的戰爭都是基于欺騙"。在國防應用中，至關重要的是，不僅系統在戰斗開始時就如設計之處那樣工作，而且它們應該具備有彈性對狡猾的、有同樣資源和動機的對手的潛在計劃。

誠然，ML在民用和科學方面已經取得了巨大的成功。盡管民用工業技術領域與軍事技術需求有很大的內在交集，但應該注意到，后者并不是前者的完美子集。也就是說，戰爭的現實要求其技術必須為虛假信息和故意欺騙的行動、展示和通信做好準備。這兩個領域之間的這些不同假設意味著，在一個領域已經準備好的東西，在另一個領域可能還沒有準備好。在整個國防部，納入這些技術的系統正在被考慮、開發，在某些情況下已經被采用，目的是增強或取代我們一些最關鍵的國家安全能力。在軍事應用中，特別是武器系統和殺傷鏈內的系統，必須消除或至少減少對抗樣本，并對其進行補償，使故障呈現最小的風險。其余的風險必須被明確指出、發現并被作戰人員充分理解。不仔細和充分地解決這個問題是不可想象的，否則我們就有可能采用脆弱性技術，將災難性的漏洞引入我們關鍵戰爭系統。

1.4 增強防御措施

在防御基于機器學習技術的系統不受欺騙的潛在戰略背景下，我們介紹了一種防御措施。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以在模型分類器的分類空間數據密集區之間的數據點稀疏潛在空間中插入一個 "填充 "或 "屏障 "的方法來提高[13], [16]。我們相信，通過統計學插值或采用變分自動編碼器（VAE）[17]或生成對抗網絡（GAN）[18]來插值和投射到這個空間的模型可以創建人工填充類樣本來增加數據集，所產生的模型將能夠成功地區分合法數據點和對抗性樣本，同時保持與最先進分類方法相稱的準確性。

繼AlphaGO系列的巨大成功之后，2019年是一個蓬勃發展的一年，見證了多智能體強化學習(MARL)技術的重大進展。MARL對應于多智能體系統中多個智能體同時學習的學習問題。這是一個具有悠久歷史的跨學科領域，包括博弈論、機器學習、隨機控制、心理學和優化。盡管MARL在解決現實世界的游戲方面取得了相當大的經驗上的成功，但文獻中缺乏一個完整的概述來闡述現代MARL方法的博弈理論基礎，并總結最近的進展。事實上，現有的大多數綜述都是過時的，沒有完全涵蓋2010年以來的最新發展。在這項工作中，我們提供了一個關于MARL的專著，包括基本原理和研究前沿的最新發展。本綜述分為兩部分。從§1到§4，我們介紹了MARL的完備的基礎知識，包括問題公式、基本解決方案和現有的挑戰。具體地說，我們通過兩個具有代表性的框架，即隨機博弈和廣義博弈，以及可以處理的不同博弈變體，來呈現MARL公式。這一部分的目的是使讀者，即使是那些相關背景很少的人，掌握MARL研究的關鍵思想。從§5到§9，我們概述了MARL算法的最新發展。從MARL方法的新分類開始，我們對以前的研究論文進行了調研。在后面的章節中，我們將重點介紹MARL研究中的幾個現代主題，包括Q函數分解、多智能體軟學習、網絡化多智能體MDP、隨機潛在博弈、零和連續博弈、在線MDP、回合制隨機博弈、策略空間響應oracle、一般和博弈中的近似方法、以及具有無限個體的游戲中的平均場類型學習。在每個主題中，我們都選擇了最基礎和最先進的算法。我們調研的目的是從博弈理論的角度對當前最先進的MARL技術提供一個完備的評估。我們希望這項工作能夠為即將進入這個快速發展的領域的新研究人員和現有的領域專家提供一個跳板，他們希望獲得一個全景視圖，并根據最近的進展確定新的方向。

//openreview.net/forum?id=ORgCYmo0os

引言

機器學習可以看作是將數據轉換為知識的過程(Shalev-Shwartz & Ben-David, 2014)。學習算法的輸入是訓練數據(例如，含有貓的圖像)，輸出是一些知識(例如，關于如何在圖像中檢測貓的規則)。這些知識通常表示為能夠執行某些任務的計算機(例如，自動貓探測器)。在過去的十年中，一種特殊的機器學習技術——深度學習(LeCun et al.， 2015)取得了長足的進步。深度學習的一個重要體現的是不同種類的深層神經網絡(DNNs)(Schmidhuber, 2015),可以找到分離表示(Bengio, 2009)在高維數據, 這使得軟件訓練本身執行新任務而不是僅僅依賴于程序員手工設計規則。通過使用DNNs，計算機視覺(Krizhevsky et al., 2012)和自然語言處理(Brown et al., 2020; Devlin et al., 2018)是取得了顯著的進展。

現代人工智能應用正在從純粹的特征識別(例如，在圖像中檢測一只貓)轉變為決策(安全通過交通十字路口)，其中不可避免地會發生多個智能體之間的交互。因此，每個智能體都必須采取戰略性的行為。此外，這個問題變得更具挑戰性，因為當前的決定會影響未來的結果。

除了從現有數據進行特征識別，現代人工智能應用通常需要計算機程序根據所獲得的知識做出決策(見圖1)。為了說明決策的關鍵組成部分，讓我們考慮現實世界中控制汽車安全通過十字路口的例子。在每一個時間步，機器人汽車都可以通過轉向、加速和制動來移動。目標是安全駛出十字路口并到達目的地(可以選擇直走或左轉/右轉入另一條車道)。因此,除了能夠檢測對象,如交通信號燈、車道標記,和其他汽車(通過將數據轉化為知識),我們的目標是找到一個能控制汽車的方向盤政策做出一系列演習達到目標(決策基于獲得的知識)。在這樣的決策環境中，還會出現兩個額外的挑戰:

1. 首先，在決策過程中，在每一個時間步，機器人小車不僅要考慮當前行動的即時價值，還要考慮當前行動在未來的后果。例如，在開車通過一個十字路口的情況下，如果策略選擇在過程的開始轉向一個“安全”的方向，這將是有害的，如果它最終會導致隨后的車禍。

2. 其次，為了正確安全地做出每一個決定，汽車還必須考慮到其他汽車的行為，并采取相應的行動。例如，人類駕駛員通常會提前預測其他車輛的移動，然后采取戰略性的應對措施(比如給迎面駛來的車輛讓路，或者加速駛入另一條車道)。

對適應性決策框架的需求，以及處理多個交互學習者的復雜性，導致了多智能體學習的發展。Multi-agent RL解決的是在一個共享的隨機環境中運行多個智能agent的順序決策問題，每個智能agent的目標是通過與環境和其他agent的交互來最大化其長期回報。多智能體強化學習是在多智能體系統和資源學習的基礎上建立起來的。在下一節中，我們將簡要概述(單agent) RL及其近幾十年的研究進展。

強化學習發展簡述

**RL是機器學習的一個子領域，其中代理學習如何在與環境的交互過程中基于試錯過程的最佳行為。與以帶標簽的數據作為輸入的監督學習(例如帶有貓標簽的圖像)不同，RL是面向目標的:它構建了一個學習模型，學習通過試錯改進來實現最優的長期目標，學習者沒有帶標簽的數據來獲取知識。“強化”一詞指的是學習機制，因為導致滿意結果的行動在學習者的行為集合中得到了強化。

歷史上，RL機制最初是在研究貓在謎盒中的行為的基礎上發展起來的(Thorndike, 1898)。Minsky(1954)在他的博士論文中首次提出了RL的計算模型，并將他得到的模擬機器命名為隨機神經模擬強化計算器。幾年后，他首先提出了動態規劃(Bellman, 1952)和RL (Minsky, 1961)之間的聯系。在1972年，Klopf(1972)將試錯學習過程與心理學中發現的時間差異(TD)學習結合起來。在為更大的系統擴展RL時，TD學習很快成為不可或缺的。Watkins & Dayan(1992)在動態規劃和TD學習的基礎上，使用馬爾可夫決策過程(MDP)為今天的RL奠定了基礎，并提出了著名的Q-learning方法作為求解器。作為一種動態規劃方法，原來的Q-learning過程繼承了Bellman (Bellman, 1952)的“維數災難”(curse of dimensional維數災難)，當狀態變量數量較大時，極大地限制了它的應用。為了克服這一瓶頸，Bertsekas & Tsitsiklis(1996)提出了基于神經網絡的近似動態規劃方法。最近，來自DeepMind的Mnih等人(2015)通過引入深度q -學習(DQN)架構取得了重大突破，該架構利用了DNN對近似動態規劃方法的表示能力。DQN已經在49款Atari游戲中展示了人類水平的表現。從那時起，深度RL技術在機器學習/人工智能中變得普遍，并引起了研究社區的大量關注。

RL源于對動物行為的理解，動物使用試錯法來強化有益的行為，然后更頻繁地執行這些行為。在其發展過程中，計算RL整合了諸如最佳控制理論和其他心理學發現等思想，這些思想有助于模仿人類做出決策的方式，從而使決策任務的長期收益最大化。因此，RL方法自然可以用來訓練計算機程序(代理)，使其在某些任務上達到與人類相當的性能水平。RL方法對人類玩家的最早成功可以追溯到西洋雙陸棋(Tesauro, 1995)。最近，應用RL解決順序決策問題的進展標志著AlphaGo系列的顯著成功(Silver et al.， 2016;2017;2018年)，一名自學的RL智能體，擊敗了圍棋游戲的頂級專業玩家，這款游戲的搜索空間(10761種可能的游戲)甚至比宇宙中的原子數量還要多。

AlphaGo系列的成功標志著單agent決策過程的成熟。2019年是MARL技術蓬勃發展的一年;在解決極具挑戰性的多人實戰策略電子游戲和多人不完全信息撲克游戲方面取得了顯著進展。

事實上，大多數成功的RL應用，如游戲GO2、機器人控制(Kober et al.， 2013)和自動駕駛(Shalev-Shwartz et al.， 2016)，自然涉及多個人工智能智能體的參與，這探索了MARL領域。正如我們所預期的，單agent RL方法取得的重大進展——以2016年GO的成功為標志——預示著未來幾年多agent RL技術的突破。

強化學習多智能體興盛

2019年是MARL發展的繁榮之年，在過去人們認為不可能通過人工智能解決的極具挑戰性的多智能體任務上取得了一系列突破。盡管如此，MARL領域取得的進展，盡管令人矚目，但在某種程度上已經被AlphaGo之前的成功所掩蓋(Chalmers, 2020)。AlphaGo系列有可能(Silver et al.， 2016;2017;2018年)已經在很大程度上滿足了人們對RL方法有效性的期望，因此對該領域的進一步發展缺乏興趣。MARL的進展在學術界引起的反響相對溫和。在本節中，我們將重點介紹幾項工作，我們認為這些工作非常重要，并且可能深刻影響MARL技術的未來發展。

單代理MDP(左)和多代理MDP(右)示意圖

MARL的一個熱門測試平臺是星際爭霸2 (Vinyals等人，2017年)，這是一款擁有自己職業聯賽的多人即時策略電腦游戲。在這個博弈中，每個參與人關于博弈狀態的信息都是有限的，而且搜索空間的維度比圍棋大了幾個數量級(每一步有1026種可能的選擇)。《星際爭霸2》中有效的RL方法的設計曾一度被認為是人工智能的一個長期挑戰(Vinyals等人，2017)。然而，AlphaStar在2019年實現了突破(Vinyals et al.， 2019b)，它已經展示了特級大師水平的技能，排名超過人類玩家的99.8%。

MARL的另一個著名的基于視頻游戲的測試平臺是Dota2，這是一個由兩支隊伍玩的零和游戲，每支隊伍由5名玩家組成。從每個agent的角度來看，除了不完全信息的難度(類似于星際爭霸2)，Dota2更具挑戰性，在這個意義上，團隊成員之間的合作和與對手的競爭都必須考慮。OpenAI Five人工智能系統(Pachocki et al.， 2018)在一場公開的電子競技比賽中擊敗了世界冠軍，在Dota2中展現了超人的表現。除了星際爭霸2和Dota2, Jaderberg等人(2019)和Baker等人(2019a)分別在抓旗和捉迷藏游戲中表現出了人類水平的表現。雖然游戲本身不如星際爭霸2或Dota2復雜，但對于人工智能agent來說，掌握戰術仍然不是一件容易的事情，所以agent令人印象深刻的表現再次證明了MARL的有效性。有趣的是，兩位作者都報告了由他們提出的MARL方法引發的緊急行為，人類可以理解，并以物理理論為基礎。

MARL最后一個值得一提的成就是它在撲克游戲《Texas hold ' em》中的應用，這是一種多玩家廣泛形式的游戲，玩家可以獲得不完整的信息。Heads-up(即兩個玩家)無限持有的游戲中有超過6 × 10161種信息狀態。直到最近，游戲中才出現了突破性的成就，這多虧了MARL。兩個獨立的程序，DeepStack (Morav?ík等人，2017)和Libratus (Brown & Sandholm, 2018)，能夠擊敗專業的人類玩家。最近，Libratus被升級為Pluribus (Brown & Sandholm, 2019年)，并表現出非凡的表現，在無限制設置中贏得了5名精英人類專業人士的100多萬美元。為了更深入地理解RL和MARL，需要對概念進行數學表示法和解構。在下一節中，我們將提供這些概念的數學公式，從單代理RL開始，逐步發展到多代理RL方法。

單智能體強化學習

**單agent RL通過試錯，RL agent試圖找到最優策略，使其長期回報最大化。該過程由馬爾可夫決策過程制定。

多智能體強化學習

多智能體RL在多智能體場景中，很像在單智能體場景中，每個智能體仍然試圖通過試錯過程來解決順序決策問題。不同之處在于，環境狀態的演化以及每個agent收到的獎勵函數現在都是由所有agent的聯合行動決定的(見圖3)。因此，agent不僅需要考慮環境，還需要與其他學習agent進行交互。一個涉及多個主體的決策過程通常通過隨機對策(Shapley, 1953)來建模，也被稱為馬爾可夫對策(Littman, 1994)。

與單agent RL相比，多agent RL是一個更適合現實世界AI應用的通用框架。然而，由于多個agent同時學習的存在，除了單agent RL中已經存在的方法外，MARL方法提出了更多的理論挑戰。與通常有兩個代理的經典MARL設置相比，解決多代理RL問題更具挑戰性。事實上，1 組合復雜性，2 多維學習目標和3 非平穩性問題都導致大多數MARL算法能夠解決只有4個參與者的博弈，特別是兩方零和博弈。

摘要

機器學習 (ML) 的使用已迅速擴展到多個領域，在結構動力學和振動聲學 (SD&V) 中產生了許多應用。在前所未有的數據可用性、算法進步和計算能力的推動下，ML 從數據中揭示洞察力的能力不斷增強，增強了決策制定、不確定性處理、模式識別和實時評估。 SD&V 中的三個主要應用都利用了這些優勢。在結構健康監測中，機器學習檢測和預測導致安全操作和優化維護計劃。 ML 技術在主動噪聲控制和主動振動控制中利用了系統識別和控制設計。最后，所謂的基于 ML 的代理模型為昂貴的模擬提供了快速替代方案，從而實現了穩健和優化的產品設計。盡管該地區有許多作品，但尚未對其進行審查和分析。因此，為了跟蹤和理解這種持續的領域整合，本文對機器學習在 SD&V 分析中的應用進行了調查，闡明了當前的實施狀態和新出現的機會。為這三種應用中的每一種確定了主要的方法、優勢、局限性和基于科學知識的建議。此外，本文還考慮了數字孿生和物理引導 ML 在克服當前挑戰和推動未來研究進展方面的作用。因此，該調查對在 SD&V 中應用的機器學習的現狀進行了廣泛的概述，并引導讀者深入了解該領域的進展和前景。

圖 9：結構健康監測工作流程：（a）在經典方法中，特征提取和選擇是手工制作的，然后是 ML 方法；(b) 如果使用深度學習，則通過 ML 方法自動執行特征提取和選擇。

圖 15：數字孿生框架：來自物理的數據由數字孿生的數據驅動方法處理，在整個產品生命周期中支持優化和穩健的決策。

摘要

在大數據時代下,深度學習理論和技術取得的突破性進展,為人工智能提供了數據和算法層面的強有力 支撐,同時促進了深度學習的規模化和產業化發展.然而,盡管深度學習模型在現實應用中有著出色的表現,但 其本身仍然面臨著諸多的安全威脅.為了構建安全可靠的深度學習系統,消除深度學習模型在實際部署應用中的潛在安全風險,深度學習模型魯棒性分析問題吸引了學術界和工業界的廣泛關注,一大批學者分別從精確和 近似的角度對深度學習模型魯棒性問題進行了深入的研究,并且提出了一系列的模型魯棒性量化分析方法. 在本綜述中,我們回顧了深度學習模型魯棒性分析問題當前所面臨的挑戰,并對現有的研究工作進行了系統的總結和科學的歸納,同時明確了當前研究的優勢和不足,最后探討了深度學習模型魯棒性研究以及未來潛在的研究方向.

引言

受益于計算力和智能設備的飛速發展，全世界正在經歷第三次人工智能浪潮。人工智能以計算機 視覺、序列處理、智能決策等技術為核心在各個應 用領域展開，并延伸到人類生活的方方面面，包括 自適應控制[1]、模式識別[2]、游戲[3]以及自動駕駛[4] 等安全攸關型應用。例如，無人駕駛飛機防撞系統 （Aircraft Collision Avoidance System, ACAS）使用 深度神經網絡根據附近入侵者飛機的位置和速度 來預測最佳行動。然而，盡管深度神經網絡已經顯 示出解決復雜問題的有效性和強大能力，但它們僅 限于僅滿足最低安全完整性級別的系統，因此它們 在安全關鍵型環境中的采用仍受到限制，主要原因 在于在大多數情況下神經網絡模型被視為無法對 其預測行為進行合理解釋的黑匣子，并且在理論上難以證明其性質。

隨著深度學習的對抗攻擊領域日益廣泛，對抗 樣本的危險性日益凸顯[7,12,13]，即通過向正常樣例中添加精細設計的、人類無法感知的擾動達到不干 擾人類認知卻能使機器學習模型做出錯誤判斷。以圖像分類任務為例，如圖 1 所示，原始樣本以 57.7% 的置信度被模型分類為“熊貓”,而添加對抗擾動之 后得到的樣本則以 99.3%的置信度被錯誤地分類為 “長臂猿”，然而對于人而言，對抗樣本依然會被 視為熊貓。由于這種細微的擾動通常是人眼難以分辨的，因而使得攻擊隱蔽性極強、危害性極大，給 ACAS 等安全攸關型應用中部署的深度學習模型帶 來了巨大的安全威脅。

為了防御對抗樣本攻擊，研究者進行了一系列的防御方法探索[5-11]。然而，即使是被廣泛認可并且迄今為止最成功的?∞防御[5]，它的?0魯棒性比未防御的網絡還低，并且仍然極易受到?2的擾動影響[14]。這些結果表明，僅對對抗攻擊進行經驗性的防御無法保證模型的魯棒性得到實質性的提升，模型的魯棒性需要一個定量的、有理論保證的指標進行評估。因此，如果要將深度學習模型部署到諸如自 動駕駛汽車等安全攸關型應用中，我們需要為模型 的魯棒性提供理論上的安全保證，即計算模型的魯 棒性邊界。模型魯棒性邊界是針對某個具體樣本而 言的，是保證模型預測正確的條件下樣本的最大可 擾動范圍，即模型對這個樣本的分類決策不會在這 個邊界內變化。具體地，令輸入樣本??的維度為??， 輸出類別的個數為??，神經網絡模型為??: ??? → ???， 輸入樣本的類別為 ?? = ???????????? ???? ?? ,?? = 1,2, … ,??，在???空間假設下，模型對??提供?-魯棒性 保證表明模型對??的分類決策不會在這個樣本???空 間周圍?大小內變化。

在本文中，我們首先闡述了深度學習模型魯棒性分析現存的問題與挑戰，然后從精確與近似兩個角度對現有的魯棒性分析方法進行系統的總結和科學的歸納，并討論了相關研究的局限性。最后，我們討論了深度學習模型魯棒性分析問題未來的研究方向。

問題與挑戰

目前，深度神經網絡的魯棒性分析問題的挑戰主要集中在以下幾個方面：

（1）神經網絡的非線性特點。由于非線性激 活函數和復雜結構的存在，深度神經網絡具有非線 性、非凸性的特點，因此很難估計其輸出范圍，并 且驗證分段線性神經網絡的簡單特性也已被證明 是 NP 完全問題[15]。這一問題的難點在于深度神經 網絡中非線性激活函數的存在。具體地，深度神經 網絡的每一層由一組神經元構成，每個神經元的值 是通過計算來自上一層神經元的值的線性組合，然 后將激活函數應用于這一線性組合。由于這些激活 函數是非線性的，因此這一過程是非凸的。以應用 最為廣泛的激活函數 ReLU 為例，當 ReLU 函數應 用于具有正值的節點時，它將返回不變的值，但是 當該值為負時，ReLU 函數將返回 0。然而，使用 ReLU 驗證 DNN 屬性的方法不得不做出顯著簡化 的假設，例如僅考慮所有 ReLU 都固定為正值或 0 的區域[16]。直到最近，研究人員才能夠基于可滿足 性模理論等形式方法，對最簡單的 ReLU 分段線性 神經網絡進行了初步驗證[15,21]。由于可滿足性模理 論求解器難以處理非線性運算，因此基于可滿足性 模理論的方法通常只適用于激活函數為分段線性的神經網絡，無法擴展到具有其它類型激活函數的神經網絡。

（2）神經網絡的大規模特點。在實際應用中， 性能表現優秀的神經網絡通常具有大規模的特點。因此，盡管每個 ReLU 節點的線性區域可以劃分為 兩個線性約束并有效地進行驗證，但是由于線性片 段的總數與網絡中節點的數量成指數增長[17,18]，對 整個網絡進行精確驗證是非常困難的。這是因為對 于任何大型網絡，其所有組合的詳盡枚舉極其昂 貴，很難準確估計輸出范圍。此外，基于可滿足性 模理論的方法嚴重受到求解器效率的限制，僅能處 理非常小的網絡（例如，只有 10 到 20 個隱藏節點 的單個隱藏層[20]），無法擴展到大多數現實世界中 的大型網絡，而基于采樣的推理技術（例如黑盒蒙 特卡洛采樣）也需要大量數據才能在決策邊界上生 成嚴格的準確邊界[19]。

總之，由于不同學者所處的研究領域不同，解 決問題的角度不同，所提出的魯棒性分析方法也各 有側重，因此亟需對現有的研究工作進行系統的整 理和科學的歸納、總結、分析。典型的模型魯棒性 分析方法總結如表 1 所示。目前的模型魯棒性分析 方法主要分為兩大類：（1）精確方法：可以證明精 確的魯棒性邊界，但計算復雜度高，在最壞情況下 計算復雜度相對于網絡規模是成指數增長的，因此 通常只適用于極小規模的神經網絡；（2）近似方法：效率高、能夠擴展到復雜神經網絡，但只能證明近似的魯棒性邊界。

精確方法

精確方法主要是基于離散優化 （DiscreteOptimization）理論來形式化驗證神經網 絡中某些屬性對于任何可能的輸入的可行性，即利 用可滿足性模理論（Satisfiability Modulo Theories, SMT）或混合整數線性規劃（Mixed Integer Linear Programming, MILP）來解決此類形式驗證問題。這 類方法通常是通過利用 ReLU 的分段線性特性并在 搜索可行解時嘗試逐漸滿足它們施加的約束來實 現的。圖 2 梳理了典型模型魯棒性精確分析方法的 相關研究工作。

近似方法

由于在??? ? ????????假設空間內，對于激活函數為 ReLU 的神經網絡，計算其精確的魯棒性邊界是一 個 NP 完備（NP-Complete，NPC）問題[15]，因此大 多數研究者通常利用近似方法計算模型魯棒性邊 界的下界，下文提到模型魯棒性邊界時通常也指的 是這個下界。此外，對抗攻擊[12]可以得到模型魯棒 性邊界的上界[24]。因此，精確的模型魯棒性邊界可 以由上界和下界共同逼近。這類方法通常基于魯棒 優化思想，通過解決公式（1）的內層最大化問題 來估計模型魯棒性邊界：

其中，??代表正常樣本，?? 代表對抗樣本，???? (??)代 表對抗樣本可能存在的范圍，??代表樣本真實標簽， ????代表以θ為參數的模型，??代表損失函數。圖 3 梳 理了典型模型魯棒性近似分析方法的相關研究工 作。

未來研究方向

本文介紹了模型魯棒性分析問題的背景與挑戰，探討了相關定義，進而對目前主流的模型魯棒性方法與性能做了介紹。從目前已有的相關方法來 看，我們認為今后對模型魯棒性分析方法的研究， 將主要圍繞以下幾個方向展開：

（1）進一步拓展對抗擾動的類型。從攻擊者 添加擾動的類型來看，現存的大多數模型魯棒性方 法都是針對在像素點上添加擾動的對抗攻擊進行 的魯棒性分析，然而在實際中，對抗性圖像有可能 經過旋轉、縮放等幾何變換，而現存大多數方法無 法擴展到此類變換。雖然 Balunovic 等人提出的 DeepG[102]初步嘗試了將抽象解釋的思想用于分析 幾何變換對抗攻擊的模型魯棒性空間，但是這個方 向仍然值得更多深入研究，進一步提升精度和可擴展性。

（2）不同魯棒性類型之間的平衡。輸入樣本?? 的局部魯棒性（即神經網絡應為以??為中心的半徑 為?的球中的所有輸入產生相同的預測結果）依賴 于在輸入空間上定義的合適的距離度量標準，在實 際中，對于在非惡意環境中運行的神經網絡而言， 這可能是太過苛刻的要求。同時，由于僅針對特定 輸入定義了局部魯棒性，而對于未考慮的輸入不提 供保證，因此局部魯棒性也具有固有的限制性。全 局魯棒性則通過進一步要求輸入空間中的所有輸 入都滿足局部魯棒性來解決這個問題。除了在計算 上難以控制之外，全局魯棒性仍然太強而無法實際 使用。因此，在實際中如何更好地平衡局部魯棒性 與全局魯棒性，仍然是一個亟待解決的挑戰。

（3）進一步提升模型魯棒性驗證方法。從實 證結果來看，大多數基于經驗的防御方法非常容易 被更強的攻擊所攻破，而其他魯棒性分析方法在很 大程度上取決于神經網絡模型的體系結構，例如激 活函數的種類或殘差連接的存在。相比之下，隨機 平滑不對神經網絡的體系結構做任何假設，而僅依 靠在噪聲假設下傳統模型進行良好決策的能力，從 而將魯棒分類問題擴展為經典監督學習問題，可用 于社區檢測[103]等任務。因此，基于隨機平滑的魯 棒性分析方法可能是研究模型魯棒空間的最有前 途的方向之一。此外，由于基于概率的方法具有更 寬松的魯棒性定義，更有可能被實用的神經網絡所 滿足和驗證，因此在合適的擾動分布假設下也是較 有前景的方向之一。

（4）研究可證明魯棒模型訓練方法。此外， 如何訓練對對抗性擾動具有可證明魯棒的神經網 絡以及如何訓練更容易驗證魯棒性的神經網絡，也 是未來的研究方向之一。目前研究者在這個方向進 行的初步探索包括利用正則化技術將模型的形式 化魯棒邊界與模型的目標函數結合起來[104]、經驗 性對抗風險最小化（Empirical Adversarial Risk Minimization，EARM）[36,105]、隨機自集成[106]、剪 枝[82,107]以及改善神經網絡的稀疏性[108]。但是現存 技術主要集中于圖像領域，難以擴展到惡意軟件等 安全攸關型應用，并且仍然存在精度以及可擴展性 上的不足，需要進一步的深入研究。