由于固有的設計復雜性、無限的測試空間和缺乏自主性的具體措施，自主和協作無人系統的實施和測試具有挑戰性。這些挑戰限制了美國空軍部署和利用這些系統所提供的戰術和戰略優勢能力。這項研究在廣域搜索（WAS）場景中實例化了一個自主系統參考架構（ASRA），作為自主和協作系統的快速原型設計和評估的測試平臺。該研究旨在提供一個框架，以評估系統實現任務和自主目標的能力，開發可重復使用的自主行為，并開發可重復使用的協作決策算法。對于這項研究和對WAS任務的應用，自主性的衡量標準來自于自主系統的要求：響應性、穩健性和感知的準確性。自主行為，包括結合簡單（原子）行為的更復雜行為被開發出來，各種協作決策規則被定義。隨后的評估在四個場景中實施了立體實驗設計。按照嚴格的測試計劃，測試是在仿真中進行的，實現了自動測試和快速分析。測試結果被用來創建一個響應模型來描述系統，并進行多重響應優化，以確定一個最佳配置，在給定的目標密度下，使搜索面積、檢測百分比和感知精度最大化。

最近小型無人駕駛飛行器（UAV）技術的進步重新激發了對民用和軍用廣域搜索（WAS）算法的額外研究需求。但由于無人機環境和設計的差異性極大，利用數字工程（DE）來減少推進這項技術所需的時間、成本和精力。數字工程還允許快速設計和評估利用和支持WAS算法的自主系統。現代WAS算法可以大致分為基于決策的算法、統計算法和人工智能（AI）/機器學習（ML）算法。這項研究繼續了Hatzinger和Gertsman的工作，創建了一個基于決策的算法，該算法將搜索區域細分為被稱為單元的子區域，決定一個最佳的下一個單元進行搜索，并將搜索結果分配給其他合作搜索資產。每個合作搜索資產將存儲以下四個關鍵數組，以決定搜索哪個單元：每個單元的當前估計目標密度；一個單元中的當前資產數量；每個合作資產的下一個搜索單元；以及任何資產在一個單元中的總時間。一個基于軟件的模擬環境，即模擬、集成和建模高級框架（AFSIM），被用來完成驗證過程，創建測試環境和被測系統（SUT）。此外，該算法針對各種分布的威脅進行了測試，以模擬目標的集群。最后，從人工智能和ML中引入了新的有效性措施（MOEs），包括精確度、召回率和F分數。使用方差分析（ANOVA）和協方差矩陣對Hatzinger和Gertsman的新的和原始的MOEs進行了分析。這項研究的結果顯示，該算法對原始MOEs或新MOEs沒有明顯的影響，這可能是由于與Hatzinger和Gertsman相比，網絡化協作自主彈藥（NCAM）的傳播情況相似。該結果與目標分布標準差的減少即目標聚類呈負相關。這第二個結果更令人驚訝，因為更緊密的目標分布可能會導致更少的搜索區域，但NCAM繼續分布它們的位置，而不管確定的集群。

本報告介紹了在三個主要議題方面取得的成果：

• 對小型無人機系統（SUAS）的分布式團隊進行實驗驗證，以協調執行復雜的行為。

• 開發了一個現實的多架無人機模擬器，以應用強化學習技術來協調一組小型無人機系統以達到特定目的。

• 設計并驗證了安裝在無人機上的帶有主動多輸入多輸出（MIMO）毫米波雷達傳感器的融合光學相機。

與驗證SUAS團隊有關的工作提出并實驗測試了我們的態勢感知、分布式SUAS團隊所使用的框架，該團隊能夠以自主方式實時運行，并在受限的通信條件下運行。我們的框架依賴于三層方法：（1）操作層，在這里做出快速的時間和狹窄的空間決定；（2）戰術層，在這里為智能體團隊做出時間和空間決定；以及（3）戰略層，在這里為智能體團隊做出緩慢的時間和廣泛的空間決定。這三層由一個臨時的、軟件定義的通信網絡協調，即使在通信受限的情況下，也能確保各層的智能體小組和團隊之間的信息傳遞稀少而及時。實驗結果顯示，一個由10個小型無人機系統組成的團隊負責在一個開放區域搜索和監測一個人。在操作層，我們的用例介紹了一個智能體自主地進行搜索、探測、定位、分類、識別、跟蹤和跟蹤該人，同時避免惡意碰撞。在戰術層，我們的實驗用例介紹了一組多個智能體的合作互動，使其能夠在更廣泛的空間和時間區域內監測目標人物。在戰略層，我們的用例涉及復雜行為的檢測--即被跟蹤的人進入汽車并逃跑，或者被跟蹤的人離開汽車并逃跑--這需要戰略反應以成功完成任務。

目標搜索和檢測包括各種決策問題，如覆蓋、監視、搜索、觀察和追逐-逃避以及其他問題。我們開發了一種多智能體深度強化學習（MADRL）方法來協調一組飛行器（無人機），以定位未知區域內的一組靜態目標。為此，我們設計了一個現實的無人機模擬器，它復制了真實實驗的動態和擾動，包括從實驗數據中提取的統計推斷，用于其建模。我們的強化學習方法，利用這個模擬器進行訓練，能夠為無人機找到接近最優的政策。與其他最先進的MADRL方法相比，我們的方法在學習和執行過程中都是完全分布式的，可以處理高維和連續的觀察空間，并且不需要調整額外的超參數。

為了給在受限通信條件下運行的SUAS開發一個分布式的分類和協調框架，我們的第一個目標是在無人駕駛飛行器（UAV）上建立一個多傳感器系統，以獲得高探測性能。眾所周知，安裝在無人機上的光學和熱傳感器已被成功用于對難以進入的區域進行成像。然而，這些傳感器都不提供關于場景的范圍信息；因此，它們與高分辨率毫米波雷達的融合有可能改善成像系統的性能。我們提出了一個配備了無源光學攝像機和有源多輸入多輸出（MIMO）毫米波雷達傳感器的下視無人機系統的初步實驗結果。毫米波雷達的三維成像是通過收集通過運動線的數據來實現的，從而產生一個合成孔徑，并使用垂直于運動軌跡的結線MIMO陣列。我們的初步結果顯示，融合的光學和毫米波圖像提供了形狀和范圍信息，最終導致無人機系統的成像能力增強。

多智能體系統（MAS）已經在不同的環境和框架中得到了利用，因此已經成功地應用于許多應用中，以實現不同的目標。事實證明，與建立一個具有任務可能需要的所有能力的單一智能體相比，多智能體系統更具有成本效益。此外，成本并不是采用MASs的唯一驅動因素，例如，安全是另一個重要方面。在惡劣或極端的環境中部署一組智能體，而不是一個人類團隊，可以減少安全風險。此外，與單一智能體的解決方案相比，MAS提供了更多的靈活性和穩健性。靈活性來自于將資源分成不同的小組，而穩健性則來自于一個智能體的關鍵錯誤不一定會危及任務的成功這一事實。請注意，一個任務可能有許多不同的約束和方面，然而，最微不足道的情況是只有一個智能體和一個任務。

這些類型的任務可以由人類操作員計劃，監督任務，而不需要自動計劃器。另一方面，更復雜的任務，即利用大量的異質智能體和任務，以及約束條件（優先權、同步性等），對人類操作員來說并不是那么簡單的計劃。這些復雜的問題給制定一個可行的計劃帶來了巨大的挑戰，更不用說是最好的計劃了。此外，機器人系統中可用的計算平臺的功率增加，允許利用并行任務執行。更具體地說，它允許在傳感、計算、運動和操縱任務中可能的并行性。這反過來又有一個好處，即允許創建更復雜的機器人任務。然而，它的代價是增加了優化任務分配問題的復雜性。為了規避這些問題，需要一個自動規劃器。這些類型的問題是出了名的難解決，而且可能需要太長時間才能找到一個最佳計劃。因此，優化和產生計劃所需的計算時間之間的平衡變得非常重要。

本論文涉及兩個特殊的多機器人任務分配（MRTA）問題配置的正式定義，用于表示多智能體任務規劃問題。更具體地說，本論文的貢獻可以歸納為三類：

首先，這項工作提出了一個模型，以結構化的方式表示不同的問題配置，也被稱為任務。這個模型被稱為TAMER，它還允許以更系統的方式增加新的維度，與以前提出的MRTA分類法相比，擴大了可以描述的問題的數量。

其次，本論文以混合整數線性問題的形式，定義并提供了兩種不同的問題形式，即擴展的彩色旅行推銷員問題（ECTSP）。這些模型在CPLEX優化工具中對選定的問題實例進行了實施和驗證。此外，還設計了一個解決這些復雜問題的次優方法。提出的解決方案是基于遺傳算法（GA）的方法，并與最先進的（和實踐中的）求解器，即CPLEX獲得的解決方案進行比較。與經典方法相比，使用GA進行規劃的優勢在于它具有更好的可擴展性，使其能夠找到大規模問題的解決方案。盡管這些解決方案在大多數情況下是次優的，但它們比其他精確方法獲得的速度要快得多。另一個優勢體現在 "隨時停止 "選項的形式上。在時間緊迫的操作中，重要的是可以選擇停止規劃過程，并在需要時使用次優的解決方案。

最后，這項工作涉及到MRTA問題的一個維度，這個維度在過去沒有引起很多研究的關注。特別是，包括多任務（MT）機器人在內的問題配置被忽視了。為了克服上述問題，首先，對可能實現任務并行的情況進行了定義。此外，還介紹了物理和虛擬任務之間的區別以及它們在并行任務執行方面的相互關系。我們提出并比較了兩個模型。第一個模型以ILP的形式表達，并在CPLEX優化工具中實現。另一個被定義為限制性規劃（CP）模型并在CP優化工具中實現。兩種求解器都在一系列的問題實例上進行了評估。

太空一直是一個需要高度自主的領域。所需的自主性帶來的挑戰使其難以在短時間內完成復雜的任務和操作。隨著越來越多地使用多Agent系統來增強空中領域的傳統能力和展示新能力，在軌道上和近距離多Agent操作的發展需求從未如此強烈。本文提出了一個分布式的、合作的多Agent優化控制框架，為在近距離操作環境中執行多Agent任務相關的分配和控制問題提供解決方案。然而，所開發的框架可以應用于各種領域，如空中、太空和海上。所提出的解決方案利用第二價格拍賣分配算法來優化每個衛星的任務，同時實施模型預測控制來優化控制Agent，同時遵守安全和任務約束。該解決方案與直接正交配位法進行了比較，并包括了對調整參數的研究。結果表明，所提出的技術允許用戶用模型預測控制來優化超越相位的控制，并以三個調諧參數實現編隊交會。與傳統的多相MPC相比，這更好地接近了配位技術中的相變。

現代戰術戰爭需要迅速而有效的決策和行動，以便在經常是高度動態和復雜的戰區保持競爭優勢。需要考慮的因素的數量因不確定性、事件的快速發展和人為錯誤的風險而放大。自動化、人工智能和博弈論方法的潛在應用可以為作戰人員提供認知支持。這項研究以自動兵棋推演輔助決策的形式探索了這些應用。該團隊為這個未來的系統開發了一個概念設計，并將其稱為兵棋推演實時人工智能輔助決策（WRAID）能力。

頂點項目的目標是探索自動化、人工智能和博弈論的應用，作為支持未來WRAID能力的方法。該團隊為WRAID能力開發了需求、概念設計和操作概念。該小組確定并探索了可能對未來實施WRAID能力構成障礙的挑戰性領域。該小組調查了與使用人工智能來支持戰爭決策有關的倫理挑戰和影響。

本報告首先對與WRAID能力相關的主題進行文獻回顧。文獻回顧從人工智能的回顧開始，提供了一個關于人工智能如何工作以及它能夠完成什么類型任務的概述。文獻綜述探討了人機協作的方法，以支持未來指揮官和人類用戶與WRAID系統之間的互動。需要翻譯指揮官的意圖，并讓WRAID將有意義的輸出傳達給指揮官，這需要一個強大的界面。審查包括傳統的兵棋推演，以研究目前的模擬兵棋推演是如何進行的，以便深入了解，未來的WRAID能力如何能夠實時復制兵棋推演的各個方面，并認為以前的兵棋推演可以為人工智能和機器學習（ML）算法的發展提供訓練數據。ML算法的訓練需要大量的代表性數據。文獻回顧研究了人類的認知負荷，以深入了解人類大腦的認知技能和上限；并確定人類思維的極限，以顯示人工智能可能提供的支持。文獻綜述中涉及的最后一個主題是，傳統的計劃和決策，以了解目前在軍事上如何制定戰術行動方案。

該小組進行了需求分析和利益相關者分析，探索WRAID能力如何支持作戰人員。該小組在需求分析的基礎上為WRAID系統開發了一套需求。這些要求被歸類為：硬件/軟件，人機界面，和道德規范。第一階段的分析結果包括 (1)戰爭的復雜性需要發展一種未來的WRAID能力，這種能力利用自動化方法，包括人工智能、ML和博弈論，(2)WRAID能力需要大量的計算能力和復雜的軟件算法，(3)實現未來WRAID系統的挑戰將是技術和道德的。

未來WRAID系統的概念設計是基于需求分析的。概念設計被記錄在一套系統模型中，包括背景圖、系統視圖、功能工作流程圖和操作視圖。該團隊開發了一個作戰場景，以支持對WRAID能力如何在作戰中使用。

在開發WRAID的過程中，預計會有一些路障。開發WRAID系統的技術是存在的，然而，研究小組發現數據挑戰、人工智能訓練、程序限制和當前系統工程的局限性將是需要解決的障礙。數據挑戰指的是獲得足夠的數據集的能力，這些數據集代表了訓練ML算法所需的真實世界的戰術行動和兵棋推演分析。程序性挑戰包括國防部實施網絡安全、機密數據、數據庫訪問和信息分配協議的能力。系統工程方面的障礙是需要新的方法來設計安全和可靠的人工智能系統，如WRAID能力。將需要SE方法來處理不可預見的故障模式，并在系統生命周期的早期確定根本原因。

對像WRAID能力這樣的人工智能系統的倫理考慮是系統發展的一個重要因素。開發系統以取代倫理學，將使系統更有可能被部署。有幾個有道德問題的自主武器系統被拉出來作為WRAID能力的道德對話的基礎。通過一個示例場景，對道德狀況進行定性分析，以了解在部署WRAID能力時可能出現的道德問題。倫理學在未來的技術中發揮著巨大的作用；從一開始就考慮到倫理學，建立技術是很重要的。

未來的重點需要放在繼續對想象中的WRAID系統采取正規的系統工程方法。WRAID系統需要一個強大的數據集，需要收集和注釋；收集的定性兵棋推演數據越多，WRAID系統的可行性和準確性就越高。與軍事部門的合作對于最大化WRAID的利益至關重要，例如情報和偵察組織。WRAID的模擬將是完善系統要求和創建現實模型的關鍵。關于如何使用WRAID的培訓和文檔應該同時開發，所以利益相關者，特別是指揮官已經準備好，知道如何使用這個新工具。未來的研究領域包括認知工程、基于正式模型的系統工程和人機協作。

隨著目前技術進步的速度和外國的目標，人工智能將在未來的沖突和戰爭中發揮作用。自上而下的指令將需要設計和實施WRAID能力：提供大量的資源，解決操作和文化變化，重組系統工程，并確保網絡安全和收購變化。實現未來的WRAID能力并不是一個微不足道的任務。然而，它對確保現在和未來的戰斗空間優勢至關重要。

摘要

面對來自外部對手越來越復雜的攻擊，相互依賴的系統所有者必須明智地分配他們（通常是有限的）安全預算，以減少他們的網絡風險。然而，在對人類決策進行建模時，行為經濟學表明，人類始終偏離經典的決策模型。最值得注意的是，卡尼曼和特維斯基獲得2002年諾貝爾經濟學紀念獎的前景理論認為，人類以一種扭曲的方式感知收益、損失和可能性。雖然在經濟學和心理學方面有豐富的前景理論文獻，但現有的研究相互依存系統安全的工作大多沒有考慮到上述的偏見。

在這篇論文中，我們提出了新的數學行為安全博弈模型，用于研究由有向攻擊圖建模的相互依賴系統中的人類決策。我們表明，行為偏差導致了次優的資源分配模式。我們還通過決策和博弈論框架分析了保護具有異質性價值的多個孤立資產的結果，包括同時和序貫博弈。我們表明，與理性維權者相比，行為維權者過度投資于價值較高的資產。然后，我們提出了不同的基于學習的技術，并調整了兩種不同的基于稅收的機制，以引導行為決策者做出最佳的安全投資決策。特別是，我們展示了這種學習和機制在四個現實的相互依存系統中的結果。總的來說，我們的研究建立了嚴格的框架來分析大規模相互依賴的系統和由人類決策者管理的異質孤立的資產的安全，并對在這種情況下出現的安全漏洞提供了新的重要見解。

1. 簡介

1.1 問題和動機

今天的網絡物理系統（CPS）正日益面臨著復雜對手的攻擊。這些系統的運營商必須明智地分配他們的（通常是有限的）安全預算，以減少他們管理的系統的安全風險。由于大規模系統由多個相互依賴的子系統組成，由不同的運營商管理，每個運營商負責保護自己的子系統，因此，這個資源分配問題變得更加復雜。這導致了在理解如何更好地保護這些系統方面的重要研究，戰略和博弈理論模型由于能夠系統地捕捉系統中各實體的決策而受到越來越多的關注[1]-[7]。特別是，在對防御者和攻擊者可用的策略和信息的各種假設下，這些設置已經被探討過了[8]-[10]。

之前的工作已經在決策論和博弈論的背景下考慮了這種安全決策問題[3], [11]。然而，大多數現有的工作都依賴于經典的決策模型，其中所有的防御者和攻擊者都被假設為做出完全理性的風險評估和安全決策[3], [12], [13]。另一方面，行為經濟學表明，人類始終偏離這些經典的決策模型。最值得注意的是，行為經濟學的研究表明，人類對收益、損失和概率的感知是傾斜的、非線性的[14]。特別是，人類通常對低概率的權重過高，對高概率的權重過低，這種權重函數呈反S形，如圖2.2所示。許多實證研究（例如，[14]，[15]）已經為這一類行為模型提供了證據。

這些效應與評估這類系統的安全性有關，在這些系統中，實施安全控制的決定不是純粹由自動算法做出的，而是通過人類的決策，盡管有威脅評估工具的幫助[16]-[18]。在大眾媒體[19]-[21]和學術期刊[22]、[23]中，有許多文章討論了安全決策中人的因素的普遍性，但沒有一篇文章闡明了認知偏差對整個系統安全的影響。

本論文通過研究上述人類行為決策偏差對安全資源分配問題的影響，在兩個主要的不同環境中彌補了上述差距。我們的第一個目標是探索大規模相互依存系統中的這種影響，在這些系統中，對手經常使用踏腳石攻擊，可以通過攻擊圖的概念來捕獲，攻擊圖代表了攻擊者在系統中到達目標的所有可能路徑[24]。第二個目標是利用決策和博弈論的設置，探索不同設置（包括防御者和攻擊者之間的同時和連續互動）中的行為決策，這些孤立的資產對防御者具有異質性的價值。

本論文的關鍵信息是：

通過在決策建模中加入非線性概率加權，我們可以預測行為決策偏差對網絡系統上安全資源分配的影響，并為減輕這種偏差的負面影響提供指導。

論文還提出了在個人層面（使用學習技術）和社會層面（使用機制設計）加強人類安全資源分配的指導技術，我們探討了理性決策者和行為決策者在這些指導技術結果上的差異。

接下來，我們將對上述環境和我們在各種環境中的貢獻進行概述。

1.2 以攻擊圖為模型的相互依賴系統中的行為和博弈論安全投資

在這項工作中，我們考慮了這樣一種情況：在相互依賴的系統的 "攻擊圖 "模型中，每個（人類）防御者對成功攻擊的概率有誤解。我們描述了這種誤解對每個防御者的安全投資的影響，其中每個防御者負責防御一個子網絡（即一組資產）。此外，每個防御者也可以投資于保護其他防御者的資產，這在攻擊者利用網絡路徑到達某些目標節點的相互依賴的系統中可能是有益的。在對每條邊的成功攻擊概率的適當假設下，我們建立了每個防御者的感知預期成本的凸性，并證明了這一類博弈中純策略納什均衡（PNE）的存在。

我們主要研究了具有這種行為偏差的用戶在孤立的情況下以及在博弈論的環境中行動時的安全投資。因此，我們發現了行為決策下安全投資的某些特征，而這些特征在先前工作中考慮的經典決策概念（即預期成本最小化）下是無法預測的[9]。特別是，我們表明，非線性概率加權會導致防御者的投資方式增加他們的資產對攻擊的脆弱性。此外，我們還說明了在系統中擁有混合防衛者（具有不同程度的概率加權偏見）的影響，并表明對概率的認識有偏差的防衛者的存在實際上會使系統中的非行為防衛者受益。然后，我們提出了一個新的指標，即行為無政府狀態的價格（PoBA），以反映行為決策者所做的均衡投資與集中式（非行為式）社會最優解決方案相比的低效率，并為PoBA提供了嚴格的界限。

1.3 在行為概率加權下保護具有異質性估值的孤立資產

1.3.1 決策理論分析

與安全領域的戰略（或經濟）決策有關的開創性工作之一是[25]，它考慮了一個保護單一節點的單一防御者，該節點的脆弱性可以通過對該節點的投資來降低。作者對防御者在這種情況下的投資進行了深入研究。這種關于防御者選擇投資以保護資產免受非戰略攻擊者攻擊的決策理論表述已被廣泛研究（例如見[9]，[26]-[28]及其中的參考文獻）。然而，如上所述，在大多數這些工作中，防御者被建模為完全理性的決策者（也許有某種程度的風險規避[27]），他們選擇他們的行動來最大化他們的預期效用。

在這項工作中，我們將前景理論引入一個決策理論安全框架，該框架涉及一個保護具有異質性價值的多種資產的防御者。具體來說，我們考慮一個由許多資產組成的CPS，并假設防御者誤解了每個資產成功被破壞的概率。我們描述了這種誤解對防御者的安全投資的影響。特別是，我們表明，與正確感知攻擊概率的防御者相比，行為概率加權導致防御者將更多的投資轉向價值更高的資產。特別是，隨著防御者的行為越來越多，擁有正投資的節點數量也會減少。這種投資的轉變導致了行為防御者的（真實）預期損失的增加。

1.3.2 多防御者博弈論分析

在這項工作中，我們考慮的是一個共有資源博弈的環境，其中資源發生故障的概率隨著資源總投資的減少而減少。該博弈中的參與者需要投資（受預算約束）以保護一組給定的節點免遭失敗。每個節點對每個玩家都有一定的價值，同時也有失敗的概率，這是玩家對該節點總投資的函數。在這種情況下，我們考慮行為概率加權（相對于失敗概率）對投資策略的影響；這種概率加權，即人類以非線性的方式對概率進行加權，已被行為經濟學家確認為人類決策的一個共同特征。我們研究了有多個（行為）參與者的博弈論設定，并表明該博弈中存在純策略納什均衡，并表明在所有均衡中每個節點上的總投資是唯一的。此外，我們表明，與玩家正確感知失敗概率的情況相比，反S型行為概率加權（玩家對低概率加權過高，對高概率加權過低）導致玩家將更多的投資轉移到高價值的節點，而對低價值的節點投資不足。特別是，隨著玩家的行為越來越多，擁有正投資的節點數量也會減少。另一方面，我們表明，在S型行為概率加權（玩家對低概率加權過低，對高概率加權過高）的情況下，有積極投資的節點數量增加。最后，我們量化了行為水平的異質性對PNE投資的影響，并比較了提高社會成本的不同可能的培訓政策。我們通過數字模擬來說明我們的理論結論。

1.3.3 順序防御者-攻擊者博弈分析

與考慮非戰略攻擊者的防御者決策理論公式相比，博弈理論模型在防御者和攻擊者可用戰略的各種假設下進行了探索[3], [4], [9]。特別是，在[7]、[29]、[30]中研究了攻擊者對防御者的行動作出戰略反應的情景。對我們這里的工作特別感興趣的是論文[30]，它考慮了一個連續的防御者-攻擊者框架，并顯示了每個參與者的最佳策略。同樣，現有工作的一個共同點是假設防守方和進攻方都是按照完全理性決策的經典模型行事。

在這項工作中，我們將前景理論引入到一個涉及一個防御者和一個攻擊者的連續博弈理論框架中。具體來說，我們考慮的情況是，（人類）防御者對每個地點的成功攻擊概率有誤解。我們描述了這種誤解對防御者的安全投資和攻擊者的決定的影響。與[31]-[33]不同的是，作者考慮了這種概率加權在某些特定類別的沒有戰略對手的相互依賴的安全博弈中的影響，我們考慮的情況是，防御者將她的投資放在最能保護她的站點上，考慮到戰略攻擊者選擇哪個站點被破壞以最大化防御者的預期損失。

我們首先展示了防御者（在行為概率加權下）的（感知的）最佳防御分配的唯一性。然后，我們描述了概率加權對防御者所做的投資決定的影響；特別是，我們表明，對概率的非線性感知會誘使防御者以增加其被攻擊時的損失的方式轉移其最佳投資。最后，我們引入了行為概率加權價格（PoBW）的概念，以量化行為防御者的投資對其真實預期損失的無效率。我們提供了PoBW的界限，并提供數字例子來說明上述現象。

1.3.4 同步攻防博弈分析

一類特殊的涉及攻擊者和防御者的同時移動博弈（玩家必須同時選擇他們的策略，而不先觀察對方做了什么）已經在各種情況下被研究。例如，Colonel Blotto博弈[34]是一個有用的框架，用來模擬攻擊者和防御者之間在不同的潛在目標（即戰場）上分配一定數量的資源。具體來說，[35]提出了一個異質布洛托上校博弈的解決方案，該博弈具有不對稱的參與者（即具有不同的資源）和一些可能具有不同價值的戰場。雖然Colonel Blotto博弈通常涉及確定性的成功函數（在某個節點上投資較高的玩家贏得該節點），但其他工作研究了每個玩家的獲勝概率是每個玩家的投資的概率（和連續）函數的情況[7]。

在這些工作中，按照人類決策的經典博弈理論模型，防御者和攻擊者被認為是完全理性的決策者，他們選擇他們的行動來最大化他們的預期效用。很少有例外的情況，通過決策理論分析關注概率加權對單個防御者決策的影響（沒有戰略攻擊者）[33]，關注多個防御者對網絡的投資（重點是了解網絡結構的作用）[31]，或者關注單一目標環境下雙方的行為決策[36]。與這些工作不同的是，我們考慮的是在有多個目標的環境中，行為決策的影響，這些目標對參與者（即防御者和攻擊者）的價值不同。

在這項工作中，我們將前景理論引入涉及攻擊者和防御者的博弈論框架。具體來說，我們考慮一個由許多資產組成的CPS，并假設防御者誤解了每個資產的成功妥協的概率。我們首先建立了每個參與者（即攻擊者和防御者）的目標函數的凸性，并以此來證明行為多目標安全博弈的純策略納什均衡（PNE）的存在。然后，我們證明了該PNE在我們的博弈中的唯一性。然后，我們描述了（理性）玩家的最佳投資策略的特點。然后我們表明，防御者和攻擊者更多地投資于高價值資產（在適當的條件下）。隨后，我們通過數字模擬表明，對概率的非線性感知可以誘使防御者將更多的投資轉移到更有價值的資產上，從而可能增加他們的（真實）預期損失。

1.4 引導行為決策者在相互依賴的系統中進行更好的安全投資

在前面的表述中，我們已經表明，與非行為決策相比，行為決策會導致次優的資源分配。在這項工作中，我們試圖引導行為決策人進行更好的安全投資。特別是，我們為相互依賴的系統設計了一種推理和安全投資決策技術。我們提出了不同的基于學習的技術，以指導行為決策者在兩種不同的情況下做出最佳的投資決策，每一種情況都代表著防御者是否了解對手的歷史（即在前幾輪選擇的攻擊路徑）。我們提出的技術增強了已實施的安全策略（在通過優化分配有限的安全資源來減少系統被破壞時的總損失方面）。我們的系統有用于單輪和多輪設置的組件。

我們對N = 145名參與者進行了一項人體研究，他們在兩個簡單的攻擊圖中選擇防御分配。然后，我們使用五個合成的攻擊圖來評估我們的系統，這些攻擊圖代表了現實的相互依賴的系統和通過它們的攻擊路徑。這些系統是DER.1[17]，（由NESCOR建模），SCADA工業控制系統，使用ICS的NIST指南建模[12]，IEEE 300總線智能電網[37]，電子商務[13]，和VOIP[13]。我們與之前的兩個帶有攻擊圖的最佳安全控制解決方案[16]、[38]做了一個基準比較，并與我們的評估相比，量化了損失的低估程度，其中防御者是行為的。在進行分析和獲得這些基于行為模型的結果時，我們解決了在相互依賴系統的安全方面的幾個特定領域的挑戰。這些挑戰包括用某些參數來增強攻擊圖，如邊對安全投資的敏感性、基線攻擊概率的估計以及我們公式中的防御機制類型。

1.5 利用機制設計加強相互依賴系統的安全資源分配

確保相互依賴的系統安全的另一個目標是最小化所有保衛此類系統的利益相關者的社會成本。在這項工作中，我們考慮了兩種不同的基于稅收的機制，以引導行為決策者和自私的理性決策者在相互依存的安全博弈中做出最佳投資決定。這種機制使用貨幣支付/獎勵來激勵社會最優（SO）安全行為，即那些最小化所有防御者因安全攻擊而產生的成本總和。兩種基于稅收的機制是 "外部性 "機制[39]和Vickrey-Clark-Groves（"VCG"）機制[40]。這些機制通過激勵防御者分配其有限的安全資源以最小化系統的社會成本來加強已實施的安全政策。我們展示了一個基本結果，即不存在可靠的基于稅收的機制，可以激勵社會最優的投資狀況，同時保持弱平衡的預算（即中央監管機構不支付自費資金），適用于所有相互依賴的安全博弈實例。

我們在第8.7節中展示了我們的結果與安全經濟學文獻[40]、[41]中的先前結果之間的區別。我們的結果表明，與單體系統相比，在相互依賴的安全博弈中設計機制更具挑戰性。我們還展示了在我們的相互依賴的安全博弈框架中，行為偏差對兩個機制的結果的影響。特別是，我們表明，在這種稅收機制下，行為維護者與理性維護者相比會支付更多的稅收。然后，我們使用四個合成的攻擊圖來評估我們的發現，這些攻擊圖代表了現實的相互依賴的系統和通過它們的攻擊路徑。在進行分析時，我們修改了相互依存的安全博弈的機制公式（第8.5節），并將行為偏差納入我們的公式中（第8.2節）。

1.6 總結和概要

本論文在兩個主要環境中證明了行為偏差（來自前景理論）對安全決策的影響。首先，它提出了新的數學行為安全博弈模型，用于研究由有向攻擊圖建模的相互依賴系統中的人類決策，并表明行為偏差會導致攻擊圖邊上的次優資源分配模式。其次，它通過決策和博弈論框架，包括同時和順序博弈，分析了保護具有異質性評價的多個孤立資產的結果。它描述了在這種情況下風險誤解對安全投資的影響，并表明與理性防御者相比，行為防御者會過度投資于價值較高的資產。然后，它提供了不同的基于學習的技術，并調整了兩種不同的基于稅收的機制，以指導行為決策者在上述環境中加強他們的次優安全投資模式，并做出最佳安全投資決策。

1.6.1 論文大綱

本論文的其余部分組織如下。第二章介紹了對相互依賴系統中的行為決策的分析。第三章和第四章分別提供了在風險誤解下保護具有異質性估值的多個孤立資產的決策理論分析和博弈論分析。在第五章中，我們提出了在一個具有多個異質估值目標的CPS上，防御者和攻擊者之間的順序博弈設定。第六章展示了行為決策對同時進行的攻擊者-防御者博弈的影響。在第七章中，我們提出了兩種新的學習算法，以指導行為決策者進行更好的安全投資。在第八章中，我們為我們的相互依賴的安全博弈調整了兩種機制設計，以實現社會最優（使系統的社會成本最小化）。第九章是本論文的結論，并提供了下一步和未來的工作。

摘要

兵棋模擬是一種決策工具，可以為利益相關者分析的場景提供定量數據。它們被廣泛用于制定軍事方面的戰術和理論。最近，無人駕駛飛行器（UAVs）已經成為這些模擬中的一個相關元素，因為它們在當代沖突、監視任務以及搜索和救援任務中發揮了突出的作用。例如，容許戰術編隊中的飛機損失，有利于一個中隊在特定戰斗場景中勝利。考慮到無人機的分布可能是這種情況下的決定性因素，無人機在超視距（BVR）作戰中的位置優化在文獻中引起了關注。這項工作旨在考慮敵人的不確定性，如射擊距離和位置，使用六種元啟發法和高保真模擬器來優化無人機的戰術編隊。為紅軍蜂群選擇了一種空軍經常采用的戰術編隊，稱為line abreast，作為案例研究。優化的目的是獲得一個藍軍蜂群戰術編隊，以贏得對紅軍蜂群的BVR戰斗。采用了一個確認優化的穩健性程序，將紅軍蜂群的每個無人機的位置從其初始配置上改變到8公里，并使用兵棋方法。進行了戰術分析以確認優化中發現的編隊是否適用。

索引詞：優化方法，計算機模擬，無人駕駛飛行器（UAV），自主智能體，決策支持系統，計算智能。

I. 引言

兵棋是在戰術、作戰或戰略層面上模擬戰爭的分析性游戲，用于分析作戰概念，訓練和準備指揮官和下屬，探索情景，并評估規劃如何影響結果。這些模擬對于制定戰術、戰略和理論解決方案非常有用，為參與者提供了對決策過程和壓力管理的洞察力[1]。

最近，無人駕駛飛行器（UAVs）作為一種新的高科技力量出現了。利用它們來實現空中優勢可能會導致深刻的軍事變革[2]。因此，它們的有效性經常在兵棋中被測試和評估。

由于具有一些性能上的優勢，如增加敏捷性、增加過載耐久性和增加隱身能力，無人機已經逐漸發展起來，并在許多空中任務中取代了有人系統[3]。然而，由于戰斗的動態性質，在視覺范圍之外的空戰中用無人系統取代有人平臺是具有挑戰性的。在空戰中，無人機可以被遠程控制，但由于無人機飛行員對形勢的認識有限，它將在與有人平臺的對抗中處于劣勢。然而，這種限制可以通過自動戰斗機動[4]和戰術編隊的優化來克服。此外，使用無人機可以允許一些戰術編隊和戰略，而這些戰術編隊和戰略在有人駕駛的飛機上是不會被考慮的，例如允許中隊的飛機被擊落，如果它有助于團隊贏得戰斗。文獻中最早的一篇旨在優化超視距（BVR）作戰中的飛機戰術編隊的文章[5]表明，空戰戰術是用遺傳算法（GA）進行優化的候選方案。該實施方案采用分層概念，從小型常規作戰單位建立大型編隊戰術，并從兩架飛機的編隊開始，然后是四架飛機，最后是這些飛機的倍數。在模擬中沒有對導彈發射進行建模。當一架飛機將其對手置于武器交戰區（WEZ）的高殺傷概率（Pkill）區域內一段特定時間，簡化的交戰模擬器就宣布傷亡。事實證明，所提出的方法的應用是有效的，它消除了團隊中所有沒有優化編隊的飛機，并為整個優化編隊的飛機團隊提供了生存空間。

Keshi等人[6]使用了與[5]相同的分層概念，從由兩架飛機組成的元素中構建大型戰術編隊。模擬退火遺傳算法（SAGA）被用來優化編隊，使其能夠克服對局部最優解的收斂。對16架飛機的編隊進行了優化，提出的最優解表明SAGA比基本的GA更有效。最后，為了探索一個穩健的SAGA，對不同的馬爾科夫鏈進行了比較，事實證明自調整馬爾科夫電流更適合所提出的問題。

Junior等人[7]提出使用計算機模擬作為一種解決方案，以確定BVR空戰的最佳戰術，使擊落敵機的概率最大化。在低分辨率下使用通用參數對飛機和導彈進行建模，并改編了名為COMPASS的模擬優化算法，模擬了兩架飛機對一架飛機的BVR戰斗。低分辨率模型假定在水平面的二維空間內有一個均勻的直線運動。使用優化的戰術表明，擊落敵機的平均成功率從16.69%提高到76.85%。 Yang等人[8]提出了一種方法來優化飛機對一組目標的最佳攻擊位置和最佳路徑。該工作考慮到飛機能夠同時為每個目標發射導彈，并將飛機與目標有關的攻擊性和脆弱性因素作為評價攻擊位置的指標。一個高保真模擬被用來模擬每個導彈的飛機、雷達、導彈和WEZ的動態特性。這項工作并沒有解決在BVR戰斗場景中優化一組飛機對另一組飛機的編隊問題。

Li等人[9]提出了一種基于指揮員主觀認識的編隊優化方法，即在空戰中目標設備信息不確定的情況下選擇飛機編隊的問題。首先，計算戰斗機的戰斗力，這是通過指揮員的主觀認識評估目標戰斗力的基礎。戰斗機的戰斗力以能力的形式表現出來，包括攻擊、探測、生存能力、通信、電子戰、預警系統等。因此，通過采用前景理論和綜合模糊評估來優化空戰訓練。最后，一個應用實例證明了該方法在小規模空戰中的可行性。作者聲稱，利用戰斗力評估戰斗情況的能力為優化空戰訓練提供了一種新的方法。

?zpala等人[10]提出了一種在兩個對立小組中使用多個無人駕駛戰斗飛行器（UCAVs）進行空戰的決策方法。首先，確定兩隊中每個智能體的優勢地位。優勢狀態包括角度、距離和速度優勢的加權和。在一個團隊中的每個智能體與對方團隊中的每個智能體進行比較后，每個航空飛行器被分配到一個目標，以獲得其團隊的優勢而不是自己的優勢。為一對對立的團隊實施了一個零和博弈。對許多智能體參與時的混合納什均衡策略提出了一種還原方法。該解決方案基于博弈論方法；因此，該方法在一個數字案例上進行了測試，并證明了其有效性。

Huang等人[11]開發了新的方法來處理UCAV編隊對抗多目標的合作目標分配和路徑規劃（CTAPPP）問題。UCAV的編隊是基于合作決策和控制的。在完成目標偵察后，訓練指揮中心根據戰場環境和作戰任務向每架UCAV快速傳輸任務分配指令。UCAV機動到由其火控系統計算出的最佳位置，發射武器裝備。合作目標分配（CTAP）問題通過增強型粒子群優化（IPSO）、蟻群算法（ACA）和遺傳算法（GA）來解決，并在歸因、精度和搜索速度等方面進行了比較分析。在進化算法的基礎上發展了UCAV多目標編隊的合作路徑規劃（CPPP）問題，其中提供并重新定義了獨特的染色體編碼方法、交叉算子和突變算子，并考慮燃料成本、威脅成本、風險成本和剩余時間成本來規劃合作路徑。

Ma等人[12]開展的工作解決了在BVR作戰場景中優化兩組（R和B）無人機對手之間的優勢地位問題。一個無人機ri∈R對一個無人機bj∈B的優勢是通過ri和bj之間的距離、ri的導彈發射距離的下限和上限、ri的高度和bj的高度之差以及ri的最佳發射高度來估計的。決定性的變量是無人機在兩組中的空間分布和每架飛機在這些組中的目標分配。無人機在三維作戰空間BVR中的可能位置被簡化（離散化），通過立方體的中心位置來表示。每個無人機組都有一組立方體。優化問題被建模為一個零和博弈，并被解決以獲得納什均衡。

Ma等人[12]提出的工作沒有使用高保真模擬來分析無人機空間分布的選擇和分配給它們的目標對BVR作戰的影響。高保真模擬對飛機、雷達、導彈及其導彈的WEZ的動態特性進行建模。這些動態特性也影響到BVR作戰時每架飛機的行動觸發，因此也影響到最終的結果。例如，如果在兩組無人機之間第一次沖突后的時間窗口內考慮高保真BVR作戰模擬，新的沖突可能會發生，直到模擬結束。因此，每個在交戰中幸存的無人機將能夠選擇一個新的目標，這取決于可用目標的優勢值。在[12]中沒有考慮與無人機行為有關的不確定性。有關敵方無人機在戰術編隊中的確切位置及其導彈發射距離的信息是行為不確定性的例子。這兩個信息和上面描述的其他信息在BVR戰斗中是相關的：它們直接影響飛機之間的交戰結果。

在這項研究中，我們試圖解決文獻中發現的一些局限性，如低分辨率模擬、與敵人有關的不確定性的處理以及缺乏對優化解決方案的穩健性的確認，旨在提高兵棋結果的質量。我們的目標是驗證哪些藍色蜂群的戰術編隊可以在BVR戰斗中戰勝紅色蜂群。作為一個案例研究，RED蜂群使用了空軍經常采用的戰術編隊，稱為line abreast[13]。為了評估BLUE蜂群解決方案的穩健性，我們解決了新的問題，改變了RED蜂群每架飛機的位置，目的是估計新的RED蜂群編隊對BLUE蜂群的優化戰術編隊的效率的影響。

我們使用自主智能體和高保真計算機模擬來優化BVR戰斗中的無人機戰術編隊，考慮與敵人相關的不確定性，如戰術編隊中的位置誤差和導彈發射距離。統一行為框架（UBF）被采納為創建自主智能體的基礎。飛機和導彈在三維環境中用六個自由度（DoFs）建模。

該程序將在接下來的章節中進一步討論。

摘要

本研究論文使用問題解決框架，研究了美國武器系統如何在采購生命周期的操作和支持階段陷入持續的陳舊和停滯循環，并提供了解決這種情況的方案。一些美國武器系統保持著它們最初在幾十年前投入使用時的能力。關鍵的發現，如厭惡風險的文化、系統要求低于計劃目標備忘錄的切割線、對財務指導的誤解、嚴格的維持法規、繁瑣的采購流程以及高于必要的決策，都被認為是導致根本問題的原因。這篇研究論文提出了幾個解決方案，解決了部分包容性的問題。對解決方案的整體可行性、對作戰人員的好處以及與實施相關的任何潛在風險進行了權衡。最后的建議包括鞏固和利用財務條例對作戰人員的好處，允許增加運營和維護資金的靈活性，允許在F3I重新設計中增加靈活性和性能，盡可能利用領先的商業技術，以及改變維持的心態，從保持準備狀態到保持相關性。結論強調，美國空軍在技術上落后于近似對手，高級領導人必須像對手一樣思考，以確保美國的法規不會抑制空軍比敵人更快地穿越OODA循環的能力。

引言

自朝鮮戰爭以來，美國在每次交戰中都保持著空中優勢；然而，一些跡象表明，空中優勢在未來的沖突中可能不再有保障。據報道，他們最新的S-500防空導彈系統成功擊中了近300英里外的目標。中國在過去十年中對其軍事進行了大量投資，現在已經達到了一個關鍵的自信點。

這個問題可能源于美國如何運作和資助其軍事項目。美國空軍將 "維持 "定義為維持一個武器系統的現有基線能力。任何改進武器系統超過其現有性能閾值的手段都被認為是開發工程的努力，需要從研究開發測試和評估（RDT&E）撥款中獲得資金。許多系統一旦投入使用就不會獲得RDT&E資金，通常在其生命周期的剩余時間內由運營和維護（O&M）撥款資助。由于對現行財務條例的嚴格解釋，財務經理通常會拒絕使用運營和維護資金來提高系統能力和應對不斷變化的威脅的創造性努力。這使得綜合產品小組（IPTs）沒有什么選擇，只能對他們的武器系統進行意義不大的改變，以保持它們在操作上的相關性。

美國不僅在做錯誤的財務決定，而且在做這些決定時也很緩慢。在過去的幾十年里，采購時間周期已經增加。據美國空軍高級領導人目前的估計，從授予合同到投入使用一個系統的時間超過10年。美國的對手在采購周期上的運作速度至少是其兩倍。在過去的二十年里，一些主要的國防采購項目（MDAP）已經被取消。事實上，國防部（DOD）已經在那些永遠不會投入使用的項目上花費了超過460億美元。

為了解決這個問題，新的倡議，如第804條快速采購和破解國防部5000號文件正受到相當大的關注。雖然它們不能解決撥款問題，但它們試圖縮短采購時間周期。在幾十年來成本成為采購決策的主要因素之后，速度現在被強調為主要考慮因素。使用問題/解決方案框架，本文將研究美國武器系統是如何陷入陳舊和停滯的循環中的，以及可以實施哪些解決方案來有效維持美國武器系統。

本文將首先闡明這個問題，描述綜合維持活動組（CSAG）和空軍維持中心（AFSC）內的幾個低效的供應鏈政策。然后，它將討論系統過時和對商業技術的依賴，接著是國防部緩慢的采購過程。問題部分最后將詳細分析當前的撥款限制以及美國空軍的幾個文化問題。

解決方案部分將首先定義具體的評價標準。該文件將提出幾個潛在的解決方案，以及建議的行動。然后將根據規定的標準對每個解決方案進行詳細評估，包括實施中的任何潛在風險。還將討論其他被考慮但未被推薦的解決方案。最后，本文將對問題進行快速總結，提出最終建議，以及為什么這項研究與美國空軍有關。