亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

風險評估是復雜的，而且往往是有爭議的。它來自于危險呈現，它的特點是可能發生的不理想事件及其結果的不確定性。很少有像核戰爭和核恐怖主義這樣不受歡迎的結果。幾十年來，關于可能影響核戰爭和核恐怖主義風險的特定情況、政策和武器，已經寫了很多。這些問題的性質和用于評估的風險分析方法隨著時間的推移有了很大的變化。

認識到核戰爭和核恐怖主義帶來的風險，2020財年國防授權法案指示美國國防部與美國國家科學、工程和醫學研究院簽訂合同，進行一項研究，探討風險分析方法的性質及其在評估核戰爭和核恐怖主義風險中的應用。

本報告是該研究的第一階段，它討論了風險，探索了風險評估文獻，強調了風險評估方法的優點和缺點，并討論了一些公開的、支撐美國安全戰略的假設，這些都是在核戰爭和核恐怖主義的背景下進行的。研究的第二階段將擴大重點，包括分析風險分析中的假設和方法在美國安全戰略中可能發揮的作用。第二階段的研究將產生一份保密報告和一份非保密的摘要。表S-1詳細介紹了委員會的工作。

值得注意的是，該研究在其兩個階段的工作中都不包括進行風險分析。本報告也不會涉及當前的地緣政治事件，如俄羅斯2022年對烏克蘭的入侵，盡管這些事件說明了在國際沖突中了解核風險的重要性。

美國政府和國際社會已投入大量資源和時間，試圖了解和減少核戰爭和核恐怖主義的風險。美國戰略司令部的現任指揮官以及核裁軍運動者都斷言，核戰爭的風險仍然非常真實。對于核和放射性恐怖主義的風險，也有類似的說法。此外，隨著新技術和新對手的出現，這些風險正變得更加復雜。

為了確定與核恐怖主義和核戰爭有關的威脅和后果，分析人員在對核戰爭或核恐怖主義進行風險分析時將面臨許多挑戰。委員會確定了可能導致核戰爭的七類情況：預防性的、先發制人的、升級性的、催化性的、意外的、未經授權的和誤報的。委員會還確定了三類可能導致核恐怖主義的情況：簡易核裝置、放射性散布裝置或放射性暴露裝置，以及對核設施的破壞。這些類別的情景并不是相互排斥的，因為各類別之間也可能發生其他互動，例如意外和誤報情景之間。這些依賴性必須反映在任何風險評估中。委員會確定的情景類別在此作為例子，并不是全部；然而，分析人員必須包括他們能夠設想到的所有情景類別，以便風險結果不會被低估。對使用核武器造成的直接物理后果的估計，依賴于基于核物理學、過去的經驗、核試驗數據和其他可用信息的數學模型。關于核武器的一些物理影響（如對傷害和死亡的直接估計），人們已經知道了很多，盡管有些影響（如火災、現代城市環境的破壞、電磁脈沖影響和氣候影響，如核冬天）還不是很清楚或難以量化（弗蘭克爾等人，2015）。評估使用核武器的社會、心理和長期影響的方法在很大程度上依賴于人類應對其他災難性事件的行為的代用數據。使用這些方法的分析通常包含巨大的不確定性和強烈的相互依賴性。

委員會研究了與核戰爭和核恐怖主義有關的風險評估和分析的歷史，包括探討歷史上為了解核戰爭和核恐怖主義的風險所做的嘗試，以及在評估核戰爭和核恐怖主義的總體風險時所涉及的重要不確定性來源。來自歷史文獻的關鍵見解反映在本報告中，但一個明顯的差距是缺乏對核武器的物理影響不太了解的知識，以及對使用核武器的心理、社會和政治后果的評估和估計。

在做出各種決定時，風險信息可以成為決策者的重要投入，包括確定優先事項、制定新的政策或程序，以及分配資源或時間。在自然和工程系統中，特別是當統計數據可用且可靠時，基于事件樣本頻率的風險分析可以很容易產生對未來風險的估計。然而，正如美國國家科學院以前的研究報告所指出的，將傳統的風險方法用于核戰爭和核恐怖主義--直接證據有限；背景的不確定性很大；以及智能的、適應性強的對手（NASEM 2016；國家研究委員會2008，2011）--是一個重大挑戰。在許多假設中，對這種情況下的風險評估必須考慮到行為者的意圖和利益、他們的能力、他們可用的信息和情報，以及他們的適應性反應--所有這些都可能難以評估。

委員會認為，風險指的是四個關鍵問題：

1.會發生什么？具體而言，什么會出錯？

2.這些事件發生的可能性有多大？

3.如果這些事件發生，有什么潛在的后果？

4.這些事件可能發生的時間范圍是什么？

風險分析可以是一個強大的工具，用于澄清假設；對復雜的、相互關聯的因素進行結構化和系統化的思考；描述不確定性；并確定可能需要哪些進一步的證據或信息來為將要作出的決定提供信息。然而，使用風險分析方法來評估核戰爭和核恐怖主義的總體風險是困難的，原因有幾個。

除了本報告正文中詳述的具體結論（并在第8章中列出）外，委員會還得出了三個總體結論。

1.過去核戰爭和核恐怖主義的例子很少。因此，幾乎沒有什么直接的證據可以用來對兩者的概率進行經驗性的估計。

分析師們試圖通過應用不同的方法和使用多種信息來源來描述由此產生的不確定性，以補充這個有限的證據體系。同樣地，歷史記錄中包含了有限的核或放射性恐怖主義企圖的例子，對核恐怖主義風險的分析也常常借鑒這些例子。有限的直接證據所帶來的不確定性，由于人類的意圖、觀念和動機所發揮的重要作用而變得更加復雜。鑒于所涉及的重大不確定性和決策者可能采取的不同風險態度，整體風險分析的政策相關性并不明確。

雖然人們對核武器和放射性武器的物理后果有很多了解，但對其間接后果的了解并不充分。這包括社會、經濟、政治、基礎設施、氣候和心理方面的影響，這些影響受到這些武器的直接物理影響。

這些因素之間的動態相互作用是復雜的，對它們的分析方法也不太發達。關于這些影響的直接證據很少，這對評估國家或恐怖分子使用核武器的后果是一個挑戰。即使是廣島和長崎的轟炸也只提供了關于涉及現代核武器的沖突的可能性和后果的有限信息。

從專家那里獲得的信息往往是評估與核戰爭和核恐怖主義有關的一些風險的全部資料。分析師和決策者需要意識到這些信息的來源，意識到專家可能在分析中引入的偏見和限制，以及這些信息對風險結果的影響。盡管核戰爭和核恐怖主義的某些方面可能對充分應用這些方法構成挑戰，但可以從其他風險分析學科中借鑒專家征詢的最佳做法。

2.可能導致核戰爭和核恐怖主義的情況很多，涉及許多相互依賴的因素，對其風險的評估往往取決于許多專家和行為者的能力、價值觀、看法和意圖。

核戰爭和核恐怖主義的風險部分取決于威懾的有效性，它反映了所有相關方的能力、信念、動機、意圖、預期戰略和信息。在危機的陣痛中，信息的不可得性和不準確性可能會增加侵略者和防御者所面臨的風險。核戰爭和核恐怖主義情景的風險因有關國家或行為者的理由或發起原因、使用的武器類型和數量以及目標等許多其他高度相互依賴的因素而有所不同。由于存在大量的情景可能性，它們通常被歸類，并作為具有一些關鍵共同因素的情景類別進行分析。

評估核戰爭和核恐怖主義的總體風險涉及不同情景的可能性和后果的巨大不確定性。對這些不確定性的評估和溝通對管理這些風險所必需的政策決定至關重要。然而，風險分析的價值并不僅僅在于評估整體風險。風險分析可以為許多與核戰爭和核恐怖主義有關的較小規模的問題提供寶貴的意見。許多分析旨在確定各類情況的相對或比較風險（例如，核設施被破壞的風險與放射性暴露裝置的風險相比較；或確定與不同投資或設計變化相關的風險降低），或解決決策者面臨的具體問題，如：： 一個特定國家的核儲備的可靠性是什么？汽車邊境口岸的某一型號的探測器檢測到特定水平的輻射的概率是多少？哪些核設施應該被檢查，多久檢查一次？對于涉及重大不確定性和需要做出資源限制的決策的風險管理問題，評估與不同選項相關的風險變化有助于為決策提供信息。

分析師在風險分析中不可避免地要進行假設，包括對風險問題的定義和框架的假設；哪些模型可以有效使用；數據的可靠性；以及對手的能力、意圖和潛在行動。戰略假設可以幫助界定風險問題的界限。一些戰略假設涉及風險的性質或程度，風險驅動因素的影響，政策或行動是否增加或減少風險，美國面臨的威脅的性質和種類，以及最可能發生的情況。戰略假設還包括美國境外的核戰爭風險。

3.不同的風險評估方法或多或少適合于不同的情況和目標。

委員會確定了以下與分析這些風險有關的方法，并審議了這些方法的適用性和局限性：

• 第一擊穩定性分析比較了在核戰爭似乎迫在眉睫的危機中先發制人對雙方的好處。
• 概率風險評估可以探索適應性對手之間的相互作用，盡管從定量輸出中提取定性的數值可能會掩蓋一些細微的結果。
• 數量級的估計為核事件的概率設定了極端界限，然后可以逐步縮小。
• 博弈論可用于模擬智能對手之間基于其偏好和能力信息的潛在行動及其結果。
• 對抗性風險分析可用于評估一個智能對手或少數對手的可能選擇。
• 基于還能提的模型可以在給定的規則和不確定性的情況下估計個人的行為。
• 多屬性模型根據決策者偏好的不同屬性中的定義和加權標準，評估不同場景下結果的不同要素（屬性）。
• 網絡模型使用網絡分析，在代表從開始到結束的路徑中的關鍵事件和情景的節點上探索多種選擇。
• 核和常規力量交換模型可以通過量化潛在的核或常規攻擊的結果來幫助評估威懾力。

正如風險分析中的結構、參數和假設可能會給風險分析的結果帶來色彩一樣，風險信息的評估、框架或呈現方式對該信息在決策中的理解和使用有很大影響。當產生風險分析結果的方法和假設是明確的，過程是可復制的，對分析過程的信任是建立的，結果是針對決策者所面臨的真正的問題或決定時，風險分析結果是最寶貴的。

風險信息可能是對決策的一種有價值的輸入，但它不會也不可能支配決策，因為決策還取決于偏好和風險態度。除了風險之外，還需要考慮其他因素，如法律、政治或預算的后果和限制。新興技術，如新的武器系統和人工智能的進步，正在迅速改變風險和威懾的格局。美國的核態勢隨著時間的推移而演變，考慮到了新的威脅、涉及不同美國對手的發展威懾戰略、技術進步、核軍備條約和不斷變化的地緣政治環境。美國對核恐怖主義風險的評估也同樣隨著時間的推移而變化，考慮到了新的威脅和新興技術。

隨著有關核戰爭和核恐怖主義決策的背景繼續演變，風險評估將繼續成為分析家和決策者的一個寶貴工具。

威脅建模可以幫助防御者確定潛在的攻擊者能力和資源，從而更好地保護關鍵網絡和系統免受復雜的網絡攻擊。防御者感興趣的對手資料的一個方面是進行網絡攻擊的手段，包括惡意軟件能力和網絡基礎設施。即使大多數防御者收集了網絡事件的數據，但提取有關對手的知識來建立和改進威脅模型可能是很費時的。本論文將機器學習方法應用于歷史網絡事件數據，以實現對手網絡基礎設施的自動威脅建模。利用基于真實世界網絡事件的攻擊者指揮和控制服務器的網絡數據，可以創建特定的對手數據集，并利用互聯網掃描搜索引擎的能力來豐富數據集。將這些數據集與具有類似端口服務映射的良性或非關聯主機的數據混合，可以建立一個可解釋的攻擊者的機器學習模型。此外，根據機器學習模型的預測創建互聯網掃描搜索引擎查詢，可以實現對手基礎設施的自動化威脅建模。對抗者網絡基礎設施的自動威脅建模允許在互聯網上搜索未知或新出現的威脅行為者網絡基礎設施。

5G安全維度：

• 國際電信聯盟標準化部門（ITU-T）已建議考慮8個 "安全維度"

• 這些維度提供了具體的術語和安全元素的范圍，以防止所有主要的安全威脅。

• 這些維度考慮了與網絡、應用和用戶數據相關的安全威脅

• 愿景是5G最終擁有內置安全、靈活安全和自動安全（例如，采用人工智能）。

• 建議包括在設計過程的早期解決5G安全問題

5G安全框架

5G安全框架規范是在3GPP R15中建立的

• 該框架確定了5G系統的架構、術語和高級程序

• 定義了六個不同的5G安全域（見下文）。

• 該框架沒有規定具體的威脅或補救措施。

該項目側重于從博弈論分析中開發算法，以便在調查限制條件下成功識別攻擊者控制的基礎設施，并達到或優于傳統的實踐狀態。

在這個項目中，我們通過開發算法來應對尋找已經存在于網絡中的對手的挑戰，通過將威脅獵取建模為網絡偽裝游戲（CCG），一種在 "探測 "者（類似于威脅獵取者）和潛在的欺騙性 "目標"（類似于攻擊者）之間進行的數學游戲。

我們將在模擬環境中測試這些算法，并使用從CCG分析和威脅獵取領域得出的指標評估成功與否。云遙測數據將被用來開發和驗證獵殺算法，評估這些數據對威脅獵殺的充分性，并找出潛在的差距，反饋給供應商的要求和開放標準，使威脅獵殺在云原生環境中更加有效。

隨著AlphaGo的突破，深度強化學習成為解決順序決策問題的公認技術。盡管深度強化學習有著良好的聲譽，但由于其試錯學習機制導致的數據效率低下，使得深度強化學習很難在廣泛的領域應用。樣本高效深度強化學習的方法有環境建模、經驗轉移和分布式修改等，其中分布式深度強化學習在人機博弈、智能交通等領域顯示出了巨大的應用潛力**

本文通過比較經典的分布式深度強化學習方法，研究實現高效分布式學習的重要組成部分，總結了這一激動人心的研究領域的現狀，從單一玩家單一智能體分布式深度強化學習到最復雜的多玩家多智能體分布式深度強化學習。此外，我們回顧了最近發布的有助于實現分布式深度強化學習的工具箱，而無需對其非分布式版本進行大量修改。在分析其優缺點的基礎上，開發并發布了多玩家多智能體分布式深度強化學習工具箱，并在復雜游戲環境Wargame上進行了進一步驗證，顯示了該工具箱在復雜游戲環境下多玩家多智能體分布式深度強化學習的可用性。最后，我們試圖指出分布式深度強化學習的挑戰和未來的發展趨勢，希望通過本文的簡要回顧可以為那些對分布式深度強化學習感興趣的研究者提供指導或啟發。

1.概述

隨著智能體AlphaGo[1]，[2]的突破，在人機博弈中贏得了眾多專業圍棋棋手的勝利，深度強化學習(DRL)開始受到大多數研究人員的關注，成為一種公認的解決順序決策問題的技術。許多算法都是為了解決DRL與現實世界應用之間的挑戰性問題，如勘探和開發困境、數據效率低下、多智能體合作和競爭。在所有這些挑戰中，由于DRL的試錯學習機制需要大量的交互數據，數據效率低下是最受批評的。

為了緩解數據效率低下的問題，提出了幾個研究方向。例如，基于模型的深度強化學習構建環境模型，生成假想軌跡，以幫助減少與環境的交互時間。遷移強化學習從源任務中挖掘共享的技能、角色或模式，然后使用學到的知識來加速目標任務中的強化學習。受分布式機器學習技術(已成功應用于計算機視覺和自然語言處理[4])的啟發，開發了分布式深度強化學習(DDRL)，該技術已顯示出訓練非常成功的智能體的潛力，如Suphx [5]， OpenAI Five[6]和AlphaStar[7]。

通常，訓練深度強化學習智能體由兩個主要部分組成，即: 通過與環境交互拉動策略網絡參數生成數據，通過消費數據更新策略網絡參數。這種結構化模式使得分布式修改DRL成為可能，并且開發了大量的DDRL算法。例如，通用的強化學習體系結構[8]可能是第一個DDRL體系結構，它將訓練系統分為四個部分，即參數服務器、學習者、參與者和重放緩沖區，這激發了后續的數據效率更高的DDRL體系結構。最近提出的SEED RL[9]是IMPALA[10]的改進版本，據稱能夠每秒產生和消耗數百萬幀，基于此，AlphaStar在44天內(192 v3 + 12 128個核心tpu, 1800個cpu)成功訓練，擊敗了專業人類玩家。

為了使DRL的分布式修改能夠使用多臺機器，需要解決機器通信和分布式存儲等幾個工程問題。幸運的是，已經開發并發布了幾個有用的工具箱，將DRL的代碼修改為分布式版本通常需要少量的代碼修改，這在很大程度上促進了DDRL的發展。例如Uber發布的Horovod[11]，充分利用了ring allreduce技術，相對于單一GPU版本，只需要增加幾行代碼就可以很好地使用多個GPU進行訓練加速。Ray[12]是UC Berkeley RISELab發布的一個分布式機器學習框架，它為高效的DDRL提供了一個RLlib[13]，由于它的強化學習抽象和算法庫，使用起來很方便。

鑒于DDRL研究取得的巨大進展，梳理DDRL技術的發展歷程、面臨的挑戰和機遇，為今后的研究提供線索是十分必要的。最近，Samsami和Alimadad[14]對DDRL進行了簡要的回顧，但他們的目標是單玩家單智能體分布式強化學習框架，而缺乏更具挑戰性的多智能體多玩家DDRL。捷克[15]對強化學習的分布式方法進行了簡要的綜述，但只對幾種具體算法進行了分類，沒有討論關鍵技術、比較和挑戰。與以往的總結不同，本文通過比較經典的分布式深度強化學習方法，研究實現高效分布式學習的重要組成部分，進行了更全面的考察，從單一參與者單一智能體分布式深度強化學習到最復雜的多參與者多智能體分布式深度強化學習。

本文的其余部分組織如下。在第二節中，我們簡要介紹了DRL的背景、分布式學習和典型的DDRL測試平臺。在第3節中，我們詳細闡述了DDRL的分類。在第4節中，我們將比較當前的DDRL工具箱，這些工具箱在很大程度上幫助實現了高效的DDRL。在第5節中，我們介紹了一個新的多玩家多智能體DDRL工具箱，它為復雜游戲提供了一個有用的DDRL工具。在第6部分，我們總結了DDRL的主要挑戰和機遇，希望能啟發未來的研究。最后，我們在第7節對本文進行了總結。

2. 背景知識

強化學習是一種典型的機器學習范式，其本質是通過交互進行學習。在一般的強化學習方法中，智能體通過采取行動來驅動環境的動態，并接受獎勵來改進其追逐長期結果的策略，從而與環境進行交互。為了學習一個能夠進行順序決策的智能體，有兩種典型的算法，即學習算法。一種是不使用環境模型的無模型方法，另一種是使用預先給定或學習的環境模型的基于模型的方法。已經提出了大量的算法，讀者可以參考[16]，[17]獲得更全面的回顧。 深度學習的成功離不開龐大的數據和計算能力，這就導致了對能夠處理數據密集型和計算密集型計算的分布式學習的巨大需求。由于深度學習算法的結構化計算模式，針對深度學習[20]、[21]的并行性，提出了一些成功的分布式學習方法。早期流行的分布式深度學習框架是由谷歌設計的DistBelief[22]，其中提出了參數服務器和A-SGD的概念。谷歌基于DistBelief發布了第二代分布式深度學習框架Tensorflow[23]，成為廣泛使用的工具。其他典型的分布式深度學習框架，如PyTorch、MXNet和Caffe2也被研究和工業團體開發和使用。

3. 分布式深度強化學習的分類法

目前已有大量的DDRL算法或框架，其代表有GORILA[8]、A3C[32]、APEX[33]、IMPALA[10]、Distributed PPO[34]、R2D2[35]、Seed RL[9]等，我們可以根據這些算法或框架繪制出DDRL的關鍵組成部分，如圖1所示。我們有時使用框架而不是算法或方法，因為這些框架不針對特定的強化學習算法，它們更像是各種強化學習方法的分布式框架。一般來說，一個基本的DDRL算法主要由三個部分組成，構成了一個單玩家單agent的DDRL方法:

行動者 Actor:通過與環境的交互產生數據(軌跡或梯度)。 * 學習者Learner: 使用數據(軌跡或梯度)執行神經網絡參數更新。 * 協調器 Coordinators: 協調數據(參數或軌跡)，以控制學習者和行動者之間的交流。

行動者從學習者中提取神經網絡參數，從環境中接收狀態，并執行推理以獲得動作，這些動作將環境的動態驅動到下一個狀態。通過對多個參與者重復上述過程，可以提高數據吞吐量，并收集足夠的數據。學習者從行動者那里提取數據，進行梯度計算或后處理，并更新網絡參數。多個學習器可以通過使用多個GPU和諸如ring allreduce或參數服務器[11]等工具來緩解GPU的有限存儲。通過重復上述過程，可以得到最終的強化學習智能體。

協調器是DDRL算法的重要組成部分，它控制著學習者和行動者之間的通信。例如，當使用協調器同步參數更新和提取(由參與者)時，DDRL算法是同步的。當參數的更新和提取(參與者)不嚴格協調時，DDRL算法是異步的。因此，DDRL算法的基本分類可以基于協調器的類型。

• 同步:全局策略參數的更新是同步的，策略參數的提取(行動者)是同步的，即不同的行動者共享最新的全局策略。
• 異步:全局策略參數的更新是異步的，或者說策略更新(由學習者進行)和策略拉取(由行動者進行)是異步的，即行動者和學習者通常具有不同的策略參數。

利用上述基本框架，可以設計出一個單玩家單agent的DDRL算法。然而，當面對多個智能體或多個參與者時，基本框架無法訓練可用的強化學習智能體。基于目前支持AlphaStar[7]、OpenAI Five[6]和JueWU[36]等大型系統級AI的DDRL算法，構建多玩家和多agent DDRL需要兩個關鍵組件，即agent合作和玩家進化，如圖2所示:

基于多智能體增強學習算法[18]，采用智能體協作模塊對多智能體進行訓練。通常，多智能體強化學習可以根據如何進行智能體關系建模分為獨立訓練和聯合訓練兩大類。

獨立訓練:通過將其他學習智能體視為環境的一部分，獨立地訓練每個智能體。

聯合訓練:將所有智能體作為一個整體進行訓練，考慮智能體通信、獎勵分配和分布式執行的集中訓練等因素。

玩家模塊進化是為每個玩家的智能體迭代而設計的，其中其他玩家的智能體同時學習，從而為每個玩家學習多代智能體，如AlphaStar和OpenAI Five。根據目前主流的玩家進化技術，玩家進化可以分為兩種類型:

• 基于自玩:不同的玩家共享相同的策略網絡，玩家通過面對過去的版本來更新當前生成的策略。
• 基于群體的游戲:不同的玩家有不同的策略網絡，或稱為群體，玩家通過對抗其他玩家或/及其過去的版本來更新當前世代的策略。

最后，基于上述DDRL的關鍵組件，DDRL的分類如圖3所示。下面，我們將根據代表性方法的主要特點，對其進行總結和比較。

近年來，針對工業生態系統的高級持續性威脅（APT）的復雜性急劇增加。這使得開發超越傳統解決方案的高級安全服務成為必須，輿論動力學（Opinion Dynamics）就是其中之一。這種新穎的方法提出了一個多智能體協作框架，允許跟蹤APT的整個生命周期。在本文中，我們介紹了TI&TO，這是一個攻擊者和防御者之間的雙人博弈，代表了一個現實的場景，雙方都在爭奪現代工業結構中的資源控制權。通過使用博弈論來驗證這種技術，我們證明，在大多數情況下，輿論動力學包括有效的第一項措施，以阻止和減少APT對基礎設施的影響。為了實現這一目標，攻擊者和防御者的模型都被標準化，并應用了一個公平的評分系統，后者用不同的策略和網絡配置運行了幾個模擬測試案例。

引言

世界各地的公司面對的網絡安全攻擊數量明顯增長，導致了巨大的經濟損失[2]。當涉及到關鍵的基礎設施（即核電站、電網、運輸和制造系統）時，這種情況變得更加嚴重，其工業控制系統必須在所有條件下保持工作。在這里，我們處理的是SCADA（監督控制和數據采集）系統，幾十年來一直在與外部網絡隔離的情況下工作；反過來，如今它們正越來越多地整合新技術，如物聯網（IoT）或云計算，在削減成本的同時外包各種服務。因此，需要做出更大的努力來跟上這種進步，以應對這些系統可能帶來的最新的攻擊載體和可利用的漏洞。

近年來最關鍵的問題之一是高級持續性威脅（APTs），這是一種復雜的攻擊，特別是針對目標基礎設施，由一個資源豐富的組織實施。它們的特點是利用零日漏洞（零時差攻擊），采用隱蔽技術，使威脅在受害者網絡中長期無法被發現。Stuxnet是第一個報道的這種性質的威脅[6]，但許多其他的威脅在之后被發現，通常是在攻擊完全執行后的幾個月[7]。在網絡安全方面，只是提出了一些機制來從整體上解決這個問題，超越了傳統的機制（如防火墻、入侵防御系統（IPS）、入侵檢測系統（IDS）、防病毒），這些機制只代表了在第一階段對APT的準時保護[21]。

在這些新穎的機制中，輿論動力學（Opinion Dynamics）[15]包括一個多智能體協作系統，通過分布式異常關聯，使攻擊的整個生命周期都可以被追蹤。在本文中，我們提出了一個理論但現實的方案，以證明該方法在不同類型的攻擊模式下的有效性，使用結構可控性領域[8]和博弈論[14]支持的概念。為了這個目標，我們開發了TI&TO，這是一個雙人博弈，攻擊者和防御者為控制現代工業結構中的資源而競爭。兩個玩家都有自己的動作和相關的分數，分別根據APT和基于Opinion Dynamics的檢測系統的行為。這個博弈最終在不同的模擬中運行，旨在展示算法的能力，同時也建議將該技術與其他防御方案結合起來進行最佳配置。因此，我們可以把我們的貢獻總結為：

• 正式定義TI&TO博弈，指定游戲板、每個玩家的目標和得分規則。
• 設計一個攻擊者模型，以一組階段的形式，靈活地表示APT的各個階段，以表示攻擊者的行動，這些行動受制于一個確定的分數。
• 設計一個基于使用意見動態和響應技術（即本地檢測、冗余鏈接、蜜罐）的防御者模型，以減少APT在網絡中的影響，這也意味著博弈中的相關得分。
• 進行的實驗驗證了該算法，并推薦了返回最佳結果的防御者的配置。

本文的其余部分組織如下。第2節介紹了 "輿論動力學"的概念，并強調了應用博弈論來檢測網絡攻擊的建議。在第3節中，定義了博弈，包括規則以及攻擊和防御模型。然后，進行了幾次模擬，并在第4節進行了討論。最后，在第5節中提出了結論和未來的工作。

確保關鍵基礎設施網絡的彈性，并為國家安全的目的充分防御這些網絡，可能是一個嚴峻的挑戰，特別是在這個充滿競爭的時代。除了自然災害和偶然事故之外，聰明的對手可能只需幾次戰略性的攻擊就能造成嚴重的行動影響。然而，簡單的優先級列表可能導致忽略了容易被利用的漏洞。在這些情況下，需要仔細分析，以確定網絡的關鍵組成部分（節點和弧線），以便集中精力提高其彈性。本文討論了一個結合了優化和博弈論的三人網絡攔截結構，并應用于美國交通網絡的一個使用案例。這種分析提供了一種強大的、穩健的方法來識別網絡中的關鍵基礎設施。

序言

防御計算機入侵中最令人頭疼的問題之一是看似無窮無盡的可利用軟件錯誤，盡管在安全軟件開發實踐方面取得了重大進展，但這些錯誤仍然存??在。每月至少一次（例如，在補丁星期二），主要軟件供應商發布補丁，以修復已發現的已部署軟件代碼庫中的漏洞。這些補丁通常是在已知漏洞并被利用后發布的，在某些情況下會持續數月甚至數年。在當前部署的系統中，攻擊者有一個靜態目標來研究和發現漏洞，然后有一個暴露窗口來利用漏洞獲得對他人機器和網絡的特權訪問，直到發現漏洞，發現漏洞，發布補丁，然后廣泛應用。這個過程的動態明顯有利于攻擊者而不是防御者，因為攻擊者只需要找到一個可利用的漏洞，而防御者必須確保不存在任何漏洞。攻擊者有充足的時間分析軟件代碼，而防御者不知道攻擊者何時會發動攻擊。最后，防御者通常只能在已知漏洞利用或漏洞后才能阻止漏洞被利用，從而使攻擊者自動獲得利用零日漏洞訪問的優勢。

在此背景下，開發了移動目標防御 (MTD) 主題，以平衡防御者與攻擊者的競爭環境。 MTD 的基本概念是動態地改變被防御系統的攻擊面，從而剝奪了對手能夠離線研究目標系統并發現可以在攻擊時利用漏洞的優勢。盡管漏洞暴露在外，MTD 系統仍提供概率保護，只要攻擊者在攻擊時無法預測這些漏洞。 MTD 已被確定為白宮網絡安全研發戰略計劃的四個重點領域之一。

在 MTD 的第一卷中，我們介紹了 MTD 基礎、基于軟件轉換的 MTD 方法以及網絡和軟件堆棧配置的論文。在 MTD 的后續第二卷中，一組領先的研究人員描述了用于構建和分析 MTD 系統的博弈論、網絡機動和軟件轉換方法。

關于此書

本書中的章節介紹了基于博弈論方法、基于網絡的網絡機動和軟件轉換的一系列 MTD 挑戰和有希望的解決方案路徑。

在第一章， Manadhata 探討了攻擊面轉移在移動目標防御方法中的使用。本章形式化了轉移軟件系統攻擊面的概念，介紹了一種量化轉移的方法，并提出了一種博弈論方法來確定最佳的移動目標防御策略。

在第二章，Jain等人描述將博弈論應用于安全的具有挑戰性的現實世界問題，并提出解決和理解大型現實世界安全博弈特征的關鍵思想和算法，該領域的一些關鍵開放研究挑戰，以及初步成功的范例部署的系統。

在第三章，Bilar等人詳細研究Conficker 蠕蟲的協同進化及其相關防御措施，以及解釋協同進化的定量模型。這項研究以具體的方式表明，攻擊者和防御者相互呈現移動目標，因為一方的前進會被另一方反擊。

在第四章，Gonzalez 總結了個人層面的人類行為計算模型的當前狀態，并描述了擴展它們以解決 2 人（即防御者和攻擊者）非合作動態網絡安全情況中的預測的挑戰和潛力。

接下來的兩章探討網絡環境中的網絡機動。在第五章，Torrieri等人識別來自外部來源和內部人員的干擾和其他攻擊的研究問題和挑戰。他們提出了一個基于機動密鑰作為擴頻密鑰概念的通用框架；這些補充了更高級別的網絡加密密鑰，并提供了抵抗和響應外部和內部攻擊的方法。

在第六章，Yackosk等人描述了一種基于 IPv6 的網絡架構，該架構結合了強大的加密機制來限制攻擊者在網絡內進行計劃、傳播和通信的能力。

其余章節介紹基于軟件轉換的 MTD 方法。在第七章，Le Goues等人描述 Helix Metamorphic Shield 在空間和時間維度上不斷改變程序的攻擊面，并通過應用新穎的進化算法自動修復漏洞來減少程序的攻擊面。轉移攻擊面和減少攻擊面之間的相互作用導致新程序變體的自動演變，其質量隨著時間的推移而提高。

在第八章，Jackson等人回顧他們基于編譯器的自動化代碼多樣化技術，對該技術進行深入的性能分析，并通過多樣化整個系統堆棧來證明其在現實世界中的適用性。

最后，在第九章，Pappas等人描述就地代碼隨機化，一種可以直接應用于第三方軟件的軟件多樣化技術。它們演示了就地代碼隨機化如何強化固有易受攻擊的 Windows 7 應用程序，并提供概率保護以防止面向返回的編程 (ROP) 攻擊。

使用軟件會暴露容易受到攻擊并造成嚴重后果的漏洞。雖然存在許多不同的漏洞，但其后果分為少數幾類。本文解釋了攻擊機器學習 (ML) 漏洞的后果如何歸入這些相同類別。然后將這些后果與特定于 ML 的攻擊、它們發生的上下文以及已建立的緩解它們的方法保持一致。這些防御性對策可以支持系統 ML 元素的安全性，并更大程度地保證使用 ML 的系統將按計劃運行。

本文提供了一種系統方法來解決使用 ML 的系統的攻擊、后果和緩解措施。它解釋了 ML 技術生命周期中的每一個問題，清楚地解釋了要擔心什么、何時擔心以及如何減輕它，同時假設對 ML 細節了解很少。

描述了軟件系統通常面臨的損害類型，并將它們與采用機器學習的系統所特有的公認后果類別聯系起來。然后，我們解釋導致這些后果的攻擊向量。然后，我們在最廣泛的類別中描述 ML 本身，包括從開始到部署和執行的生命周期。然后，我們確定生命周期中存在哪些漏洞，這些漏洞允許威脅對系統發起針對 ML 的攻擊。然后，我們通過不同的示例對 ML 漏洞、攻擊和緩解措施進行更深入的檢查。

了解 ML 系統的生命周期（其中漏洞存在于生命周期中）以及攻擊利用這些漏洞可能造成的損害，可以對采用 ML 所產生的風險進行明智的評估。我們對 ML 漏洞、攻擊和緩解措施的討論利用了 NISTIR 8269 文件中中開發的分類法。主要出發點在于將這些概念映射到我們在第 6 節中闡述的 ML 生命周期以及我們對 ML 安全性的系統方法的討論。