風險評估是復雜的，而且往往是有爭議的。它來自于危險呈現，它的特點是可能發生的不理想事件及其結果的不確定性。很少有像核戰爭和核恐怖主義這樣不受歡迎的結果。幾十年來，關于可能影響核戰爭和核恐怖主義風險的特定情況、政策和武器，已經寫了很多。這些問題的性質和用于評估的風險分析方法隨著時間的推移有了很大的變化。

認識到核戰爭和核恐怖主義帶來的風險，2020財年國防授權法案指示美國國防部與美國國家科學、工程和醫學研究院簽訂合同，進行一項研究，探討風險分析方法的性質及其在評估核戰爭和核恐怖主義風險中的應用。

本報告是該研究的第一階段，它討論了風險，探索了風險評估文獻，強調了風險評估方法的優點和缺點，并討論了一些公開的、支撐美國安全戰略的假設，這些都是在核戰爭和核恐怖主義的背景下進行的。研究的第二階段將擴大重點，包括分析風險分析中的假設和方法在美國安全戰略中可能發揮的作用。第二階段的研究將產生一份保密報告和一份非保密的摘要。表S-1詳細介紹了委員會的工作。

值得注意的是，該研究在其兩個階段的工作中都不包括進行風險分析。本報告也不會涉及當前的地緣政治事件，如俄羅斯2022年對烏克蘭的入侵，盡管這些事件說明了在國際沖突中了解核風險的重要性。

美國政府和國際社會已投入大量資源和時間，試圖了解和減少核戰爭和核恐怖主義的風險。美國戰略司令部的現任指揮官以及核裁軍運動者都斷言，核戰爭的風險仍然非常真實。對于核和放射性恐怖主義的風險，也有類似的說法。此外，隨著新技術和新對手的出現，這些風險正變得更加復雜。

為了確定與核恐怖主義和核戰爭有關的威脅和后果，分析人員在對核戰爭或核恐怖主義進行風險分析時將面臨許多挑戰。委員會確定了可能導致核戰爭的七類情況：預防性的、先發制人的、升級性的、催化性的、意外的、未經授權的和誤報的。委員會還確定了三類可能導致核恐怖主義的情況：簡易核裝置、放射性散布裝置或放射性暴露裝置，以及對核設施的破壞。這些類別的情景并不是相互排斥的，因為各類別之間也可能發生其他互動，例如意外和誤報情景之間。這些依賴性必須反映在任何風險評估中。委員會確定的情景類別在此作為例子，并不是全部；然而，分析人員必須包括他們能夠設想到的所有情景類別，以便風險結果不會被低估。對使用核武器造成的直接物理后果的估計，依賴于基于核物理學、過去的經驗、核試驗數據和其他可用信息的數學模型。關于核武器的一些物理影響（如對傷害和死亡的直接估計），人們已經知道了很多，盡管有些影響（如火災、現代城市環境的破壞、電磁脈沖影響和氣候影響，如核冬天）還不是很清楚或難以量化（弗蘭克爾等人，2015）。評估使用核武器的社會、心理和長期影響的方法在很大程度上依賴于人類應對其他災難性事件的行為的代用數據。使用這些方法的分析通常包含巨大的不確定性和強烈的相互依賴性。

委員會研究了與核戰爭和核恐怖主義有關的風險評估和分析的歷史，包括探討歷史上為了解核戰爭和核恐怖主義的風險所做的嘗試，以及在評估核戰爭和核恐怖主義的總體風險時所涉及的重要不確定性來源。來自歷史文獻的關鍵見解反映在本報告中，但一個明顯的差距是缺乏對核武器的物理影響不太了解的知識，以及對使用核武器的心理、社會和政治后果的評估和估計。

在做出各種決定時，風險信息可以成為決策者的重要投入，包括確定優先事項、制定新的政策或程序，以及分配資源或時間。在自然和工程系統中，特別是當統計數據可用且可靠時，基于事件樣本頻率的風險分析可以很容易產生對未來風險的估計。然而，正如美國國家科學院以前的研究報告所指出的，將傳統的風險方法用于核戰爭和核恐怖主義--直接證據有限；背景的不確定性很大；以及智能的、適應性強的對手（NASEM 2016；國家研究委員會2008，2011）--是一個重大挑戰。在許多假設中，對這種情況下的風險評估必須考慮到行為者的意圖和利益、他們的能力、他們可用的信息和情報，以及他們的適應性反應--所有這些都可能難以評估。

委員會認為，風險指的是四個關鍵問題：

1.會發生什么？具體而言，什么會出錯？

2.這些事件發生的可能性有多大？

3.如果這些事件發生，有什么潛在的后果？

4.這些事件可能發生的時間范圍是什么？

風險分析可以是一個強大的工具，用于澄清假設；對復雜的、相互關聯的因素進行結構化和系統化的思考；描述不確定性；并確定可能需要哪些進一步的證據或信息來為將要作出的決定提供信息。然而，使用風險分析方法來評估核戰爭和核恐怖主義的總體風險是困難的，原因有幾個。

除了本報告正文中詳述的具體結論（并在第8章中列出）外，委員會還得出了三個總體結論。

1.過去核戰爭和核恐怖主義的例子很少。因此，幾乎沒有什么直接的證據可以用來對兩者的概率進行經驗性的估計。

分析師們試圖通過應用不同的方法和使用多種信息來源來描述由此產生的不確定性，以補充這個有限的證據體系。同樣地，歷史記錄中包含了有限的核或放射性恐怖主義企圖的例子，對核恐怖主義風險的分析也常常借鑒這些例子。有限的直接證據所帶來的不確定性，由于人類的意圖、觀念和動機所發揮的重要作用而變得更加復雜。鑒于所涉及的重大不確定性和決策者可能采取的不同風險態度，整體風險分析的政策相關性并不明確。

雖然人們對核武器和放射性武器的物理后果有很多了解，但對其間接后果的了解并不充分。這包括社會、經濟、政治、基礎設施、氣候和心理方面的影響，這些影響受到這些武器的直接物理影響。

這些因素之間的動態相互作用是復雜的，對它們的分析方法也不太發達。關于這些影響的直接證據很少，這對評估國家或恐怖分子使用核武器的后果是一個挑戰。即使是廣島和長崎的轟炸也只提供了關于涉及現代核武器的沖突的可能性和后果的有限信息。

從專家那里獲得的信息往往是評估與核戰爭和核恐怖主義有關的一些風險的全部資料。分析師和決策者需要意識到這些信息的來源，意識到專家可能在分析中引入的偏見和限制，以及這些信息對風險結果的影響。盡管核戰爭和核恐怖主義的某些方面可能對充分應用這些方法構成挑戰，但可以從其他風險分析學科中借鑒專家征詢的最佳做法。

2.可能導致核戰爭和核恐怖主義的情況很多，涉及許多相互依賴的因素，對其風險的評估往往取決于許多專家和行為者的能力、價值觀、看法和意圖。

核戰爭和核恐怖主義的風險部分取決于威懾的有效性，它反映了所有相關方的能力、信念、動機、意圖、預期戰略和信息。在危機的陣痛中，信息的不可得性和不準確性可能會增加侵略者和防御者所面臨的風險。核戰爭和核恐怖主義情景的風險因有關國家或行為者的理由或發起原因、使用的武器類型和數量以及目標等許多其他高度相互依賴的因素而有所不同。由于存在大量的情景可能性，它們通常被歸類，并作為具有一些關鍵共同因素的情景類別進行分析。

評估核戰爭和核恐怖主義的總體風險涉及不同情景的可能性和后果的巨大不確定性。對這些不確定性的評估和溝通對管理這些風險所必需的政策決定至關重要。然而，風險分析的價值并不僅僅在于評估整體風險。風險分析可以為許多與核戰爭和核恐怖主義有關的較小規模的問題提供寶貴的意見。許多分析旨在確定各類情況的相對或比較風險（例如，核設施被破壞的風險與放射性暴露裝置的風險相比較；或確定與不同投資或設計變化相關的風險降低），或解決決策者面臨的具體問題，如：： 一個特定國家的核儲備的可靠性是什么？汽車邊境口岸的某一型號的探測器檢測到特定水平的輻射的概率是多少？哪些核設施應該被檢查，多久檢查一次？對于涉及重大不確定性和需要做出資源限制的決策的風險管理問題，評估與不同選項相關的風險變化有助于為決策提供信息。

分析師在風險分析中不可避免地要進行假設，包括對風險問題的定義和框架的假設；哪些模型可以有效使用；數據的可靠性；以及對手的能力、意圖和潛在行動。戰略假設可以幫助界定風險問題的界限。一些戰略假設涉及風險的性質或程度，風險驅動因素的影響，政策或行動是否增加或減少風險，美國面臨的威脅的性質和種類，以及最可能發生的情況。戰略假設還包括美國境外的核戰爭風險。

3.不同的風險評估方法或多或少適合于不同的情況和目標。

委員會確定了以下與分析這些風險有關的方法，并審議了這些方法的適用性和局限性：

• 第一擊穩定性分析比較了在核戰爭似乎迫在眉睫的危機中先發制人對雙方的好處。
• 概率風險評估可以探索適應性對手之間的相互作用，盡管從定量輸出中提取定性的數值可能會掩蓋一些細微的結果。
• 數量級的估計為核事件的概率設定了極端界限，然后可以逐步縮小。
• 博弈論可用于模擬智能對手之間基于其偏好和能力信息的潛在行動及其結果。
• 對抗性風險分析可用于評估一個智能對手或少數對手的可能選擇。
• 基于還能提的模型可以在給定的規則和不確定性的情況下估計個人的行為。
• 多屬性模型根據決策者偏好的不同屬性中的定義和加權標準，評估不同場景下結果的不同要素（屬性）。
• 網絡模型使用網絡分析，在代表從開始到結束的路徑中的關鍵事件和情景的節點上探索多種選擇。
• 核和常規力量交換模型可以通過量化潛在的核或常規攻擊的結果來幫助評估威懾力。

正如風險分析中的結構、參數和假設可能會給風險分析的結果帶來色彩一樣，風險信息的評估、框架或呈現方式對該信息在決策中的理解和使用有很大影響。當產生風險分析結果的方法和假設是明確的，過程是可復制的，對分析過程的信任是建立的，結果是針對決策者所面臨的真正的問題或決定時，風險分析結果是最寶貴的。

風險信息可能是對決策的一種有價值的輸入，但它不會也不可能支配決策，因為決策還取決于偏好和風險態度。除了風險之外，還需要考慮其他因素，如法律、政治或預算的后果和限制。新興技術，如新的武器系統和人工智能的進步，正在迅速改變風險和威懾的格局。美國的核態勢隨著時間的推移而演變，考慮到了新的威脅、涉及不同美國對手的發展威懾戰略、技術進步、核軍備條約和不斷變化的地緣政治環境。美國對核恐怖主義風險的評估也同樣隨著時間的推移而變化，考慮到了新的威脅和新興技術。

隨著有關核戰爭和核恐怖主義決策的背景繼續演變，風險評估將繼續成為分析家和決策者的一個寶貴工具。

制定量化不確定性元數據的軍事標準是解決利用人工智能/機器學習（AI/ML）軍事優勢所固有的問題。通過提供元數據，美國防部可以繼續確定使用人工智能/機器學習的最佳策略，與能力發展同步進行。這種協調將防止在解決與在作戰系統中實施AI/ML有關的困難技術問題時出現延誤。不確定性量化可以使觀察、定向、決定和行動循環的實際數字實施成為可能，解決在戰爭中使用AI/ML的道德問題，并優化研究和開發的投資。

引言

從基礎上講，美國軍隊不需要人工智能/機器學習（AI/ML）。然而，軍隊需要能夠比對手更快、更好地觀察、定位、決定和行動（OODA），以實現軍事優勢。機器有能力以比人類更快的速度進行觀察、定位、決定和行動，從而實現這一優勢。然而，關于允許AI或ML模型 "決定 "最佳軍事行動方案是否合適的問題仍然沒有定論，因為該決定可能導致破壞和死亡。

利用AI/ML的軍事優勢的潛在隱患已經被不厭其煩地提出來。有三個問題仍然是最令人擔憂的：（1）解決賦予AI摧毀事物和人的權力的道德和倫理考慮；（2）平衡發展AI/ML能力的成本和軍事效用；以及（3）確保對機器的適當信任水平，以最佳地利用對能力發展的AI/ML部分的投資。然而，作為元數據納入軍事信息的不確定性量化（UQ）可以解決這三個隱患，同時遵守美國防部的人工智能倫理原則。

美國防部的人工智能戰略將AI/ML技術的成熟作為優先事項并加以激勵。其結果是，試圖快速實施能力的活動紛至沓來，而對能力增長的可持續性或AI/ML使用的高階影響規劃卻少之又少。正如一位國防研究人員所指出的，"當技術變革更多的是由傲慢和意識形態驅動，而不是由科學理解驅動時，傳統上調節這些力量的機構，如民主監督和法治，可能會在追求下一個虛假的黎明時被削弱。"

美國國防高級研究計劃局認為，目前的AI/ML系統 "缺乏必要的數學框架 "來提供使用保證，這阻礙了它們 "廣泛部署和采用關鍵的防御情況或能力。"保證需要信心，而信心需要最小的不確定性。使用AI/ML的系統的這種保證可以幫助解決道德方面的考慮，提供對開發成本與效用的洞察力，并允許其在戰爭中的使用責任由最低層的指揮官和操作員承擔。

通過在AI/ML系統中實施不確定性量化的軍事標準，美國防部可以確保對這些系統非常需要的信任。此外，如果美國防部將不確定性量化作為對開發者的要求，有可行的方法來應用現有的數學方法來確定和傳播不確定性。然而，當軍方將這一標準應用于信息時，它必須牢記不確定性量化的高階效應和挑戰。

AI/ML的不確定性量化

為了解決上述三個陷阱，任何軍事數字系統內部和都應該要求進行不確定性量化。不確定性量化是為系統中的不完美或未知信息分配一些數字的過程，它將允許機器實時表達它的不確定性，為建立對其使用的信任增加關鍵的透明度。美國防部應實施一項軍事標準，規定對數字系統中的每個數據或信息的元數據進行不確定性的量化標記。一旦可用，這些元數據可以通過功能關系傳播到更高層次的信息使用，為AI或ML模型提供所需的信息，以始終表達它對其輸出的信心如何。

理解作為元數據的UQ需要理解計量學的基礎概念--與測量不確定度有關的權重和計量科學。也就是說，一個測量有兩個組成部分： 1）一個數值，它是對被測量量的最佳估計，以及2）一個與該估計值相關的不確定性的測量。

值得注意的是，2008年國際標準化組織（ISO）的《測量不確定性表達指南》定義了測量不確定性和測量誤差之間的區別。這些術語不是同義的："通常在被測物[被測量的量]的報告值后面的±（加或減）符號和這個符號后面的數字量，表示與特定被測物有關的不確定性，而不是誤差。誤差是指測量值與實際值或真實值之間的差異。不確定度是許多誤差的影響"。

在軍事術語中，"測量"是在OODA循環中收集和使用的任何信息。每條信息都是由某種傳感器測量的，并且會有一些不確定性與之相關。作為元數據的不確定性量化將至少采取兩種形式：根據經驗產生的測量不確定性（基于上文概述的計量標準）和統計學上假設的不確定性（通過一些手段確定，其中有很多）。

操作員在使用具有UQ功能的系統時，可以使用系統報告的不確定性來告知他們的戰術決策。指揮官可以利用這種系統在作戰甚至戰略層面上為各種類型的軍事行動設定所需的預定義信任水平，這可以幫助操作人員在使用AI或ML模型時了解他們的權限是什么。這也將有助于采購專業人員為AI/ML能力的發展做出適當的投資決定，因為它將量化效用的各個方面。此外，在使用AI/ML的系統中提供量化的最低限度的確定性要求，可以解決上面討論的三個隱患。

就使用AI的道德和倫理問題而言，對于 "讓AI或ML模型決定將導致破壞和死亡的軍事行動方案，是否符合道德或倫理？"這個問題沒有單一的正確答案。正如所有的道德和倫理辯論一樣，以絕對的方式處理是不可能的。

因此，美國防部應將軍事行動分為三個眾所周知的機器自主性相對程度之一：機器永遠不能自己做的事情，機器有時或部分可以自己做的事情，或機器總是可以自己做的事情。然后，美國防部可以為這些類別中的每一類定義一個最低的確定性水平作為邊界條件，并且/或者可以定義具體行動所需的最低確定性水平。決策或行動的關鍵性將推動UQ邊界的確定。使用不確定性量化包含了在處理使用AI/ML的系統的道德考慮方面的細微差別和模糊性。

當涉及到平衡人工智能/機器學習的成本與使用時，美國防部的受托責任是確保對人工智能/機器學習發展的投資與它的軍事效用成正比。如果人工智能/機器學習政策禁止美國軍隊允許人工智能決定摧毀某物或殺人，那么開發和采購一營完全自主的殺手機器人就沒有任何意義。因此，預先定義的最低不確定性界限將使采購專業人員能夠確定如何最好地使用有限的資源以獲得最大的投資回報。

在能力發展過程中優化對AI/ML的信任，將需要對AI/ML采購中普遍存在的經驗不足以及機器學習中不確定性量化科學的相對稚嫩進行保障。"不確定性是機器學習領域的基礎，但它是對初學者，特別是那些來自開發者背景的人造成最困難的方面之一。" 系統開發的所有方面都應該包括不確定性量化的元數據標簽，無論系統是否打算自主使用。

這些輸出可能會被卷進更高層次的數字能力中，然后需要UQ數據來計算不確定性的傳播。例如，F-16維護者的故障代碼閱讀器應該有不確定性量化元數據標記到每個故障讀數，在源頭提供這種量化。讀碼器本身并不打算納入人工智能或機器學習模型，而且該數據可能不會立即用于人工智能/ML應用，但故障數據可能會與整個艦隊的故障數據進行匯編，并提交給預測倉庫級維護趨勢的外部ML模型。元數據將跟隨這組數字信息通過任何級別的編譯或高階使用。

要求將不確定性量化元數據作為一項軍事標準，實現了美國防部長關于人工智能道德原則的意圖，其中包括五個主要領域：

• 負責任： UQ為判斷提供依據，為開發、部署和使用人工智能能力提供經驗基礎。
• 公平性： 人工智能中的偏見可以用與不確定性相同的方式來衡量，并且是基于許多相同的統計學原理。然后，偏見可以被解決和改善。
• 可追溯性： 要求每個層次的不確定性元數據能夠保證可追溯性。機器的性能問題可以追溯到有問題的部件。
• 可靠性： UQ允許開發人員檢查，并允許有針對性地改進最惡劣的輸入因素。
• 可管理： UQ作為自主性信任等級的邊界條件，可以用來定義實現預期功能和避免意外后果的準則。

采用這些道德原則是為了確保美國防部繼續堅持最高的道德標準，同時接受人工智能這一顛覆性技術的整合。不確定性量化是實現這一目標的實用方法。

在AI/ML中建立信任

蘭德公司的一項研究發現，信任是與人工智能/ML的軍事用途有關的大多數擔憂的根本原因。國防部研究人員指出，"當涉及到組建人類和自主系統的有效團隊時，人類需要及時和準確地了解其機器伙伴的技能、經驗和可靠性，以便在動態環境中信任它們"。對于許多自主系統來說，它們 "缺乏對自身能力的認識，并且無法將其傳達給人類伙伴，從而降低了信任，破壞了團隊的有效性"。

AI/ML模型中的信任從根本上說是基于人類對信息的確定性，無論是簡單的傳感器輸出還是自主武器系統的整體能力。這一點得到了MITRE公司研究的支持： 人工智能采用者經常詢問如何增加對人工智能的信任。解決方案不是讓我們建立人們完全信任的系統，也不是讓用戶只接受從不犯錯的系統。相反，教訓指出了在證據和認知的基礎上形成良好的伙伴關系的重要性。良好的伙伴關系有助于人類理解人工智能的能力和意圖，相信人工智能會像預期的那樣工作，并在適當程度上依賴人工智能。然后，利益相關者可以校準他們的信任，并在授予人工智能適當的權力之前權衡人工智能決定的潛在后果。

通過將機器--數字或物理--視為合作伙伴，軍方可以將其與人類合作伙伴的信任建立技術進行類比。健全的伙伴關系需要有效的雙向溝通和加強合作的系統。"事實上，數字系統輸出中的不確定性措施是沒有用的，除非這種不確定性可以傳達給人類伙伴。一旦機器能夠量化不確定性，并且能夠傳達這種量化，它們也能夠對輸出進行評估并改進系統。

機器對其自身能力的認識的實時反饋，將通過提供每個循環中的不確定性的量化，增加機器的觀察、定位和決定功能的透明度。這種反饋提高了對該特定系統的信任，并通過不確定性的傳播實現了對系統中的系統的信任量化。例如，考慮遙控飛機（RPA）對一個潛在目標的視頻監控。如何確定RPA的傳感器是準確的和經過校準的，視頻流沒有被破壞，和/或操作者已經得到了關于首先將傳感器指向何處的健全的基線情報？

OODA環路的每一個組成部分都有一些相關的不確定性，這些不確定性可以而且應該被量化，從而可以用數學方法傳播到決策層面。在這種情況下，它將導致目標正確性的x%的傳播確定性，使任務指揮官對他們的態勢感知（觀察）充滿信心，并使他們能夠更好地確定方向，更快地決定是否參與。

通過量化不確定性，并將其與各類行動所需的預定信心水平結合起來使用，決策者可以圍繞那些幾乎沒有道德影響的軍事行動以及那些有嚴重道德影響的軍事行動創造邊界條件。國防部高級領導人還可以為開發和應用人工智能/ML能力的投資比例設定門檻，并可以確保投資將被用于實現最佳軍事優勢。這將通過 "量化-評估-改進-溝通 "的循環為使用人工智能/ML的系統提供保證。

不確定性量化允許設置如果-那么關系，以限制機器的可允許行動空間。在另一個簡略的例子中，一個空間領域意識任務可以使用紅外傳感器數據來識別空間飛行器。如果-那么關系可能看起來像這樣： 如果傳感器數據與目標的關聯模型的確定性大于95%，那么該目標識別信息可以在國家空間防御中心目錄中自動更新。如果傳感器數據與目標的關聯模型的確定性大于75%但小于95%，那么機器可以嘗試與確定性大于75%的信號情報（SIGINT）進行匹配，或者可以將信息發送給人類進行驗證。

因此，使用量化的不確定性使指揮官能夠將決策樹根植于人工智能/ML模型可使用的參數中，并指導如何使用這些人工智能/ML模型。在考慮機器自主性的三個相對程度時，指揮官可以預先定義每一類行動的輸入的不確定性水平，作為何時以及在何種情況下讓機器決定是有意義的指導方針，明確界定使用人工智能或ML模型的參與規則。

所有武器系統，無論是否打算納入自主性，都應在其計劃的用戶界面中提供不確定性元數據。了解所有輸入的不確定性對傳統武器系統的用戶和人工智能/ML的應用一樣有利。通過現在提供元數據，國防部高級領導人可以繼續確定使用AI/ML的最佳治理和政策，而不會放慢技術和工程發展。任何這樣的治理都可以在未來通過參考系統內組件級或輸出級的量化不確定性來實施。

數學實現

將不確定性量化和傳播應用于收緊OODA循環，假定功能關系可用于定義軍事情況。函數關系是這種應用的最佳數學方法，因為一般可以證明函數值和輸入變量之間存在因果關系，而不需要具體確定關系的確切數學形式。通過假設這些函數關系的存在，可以使用一個描述不確定性傳播的一般方程式。

一個帶有不確定性條款的通用函數關系看起來像：

其中y是輸出，u(y)是該輸出的不確定性，有n個輸入變量，其相關的不確定性影響該輸出。這表明y取決于n個輸入變量，并且按照 "不精確概率論者 "的風格，y的精確值在y+u(y)到y-u(y)的區間內。

這種旨在改善醫學實驗室研究的想法的直接應用也涉及到軍事決策。"與任何測量相關的不確定性及其通過定義的函數關系的傳播可以通過微分（部分微分）和應用不確定性傳播的一般方程來評估。"這些數學方法將捕捉到在一個非常復雜的系統中許多測量物變化時不確定性的變化。這個不確定性傳播方程可以用標準的統計程序得出，最重要的是，它與函數關系的確切形式無關。

請那些更精通統計學的人將這種方法提交給進一步的案例研究，并確定在需要包括許多輸入變量時，在非常大的系統層面計算傳播的不確定性的可行性。已經表明，"問題越復雜，獲得校準的不確定性估計的成本就越高"。這種方法通過作戰級別的人工智能/ML模型（即涉及一翼或一營的交戰）可能是可行的，但更高層次的戰略不確定性傳播（即包括政治經濟或核因素的戰役級模型）可能需要不可行的計算能力來實時計算。

作為輸入數據集的一部分，通過機器學習模型傳播測量的不確定性比使用統計方法來估計模型內的不確定性要少得多。數據科學家和人工智能研究人員將熟悉大量專注于假設機器學習模型內的不確定性的研究，但許多歷史工作并沒有采取調整認識上的不確定性--ML模型的訓練數據量不足--與訓練數據集中的測量不確定性的方法。

測量的不確定性可以被認為是數據中的噪聲和/或觀察中的變異性。在數字系統中實施不確定性量化時，需要對不確定性的其他方面進行量化，如領域覆蓋的完整性，也就是輸入數據集的代表性，以及軍事問題的不完善建模，這是模型開發過程中不正確的基線假設的結果，最終植根于人類判斷的不完善。

一個更現代的傳播方法，可能計算量較小，可能是使用機器學習來假設不確定性。來自其他學科使用神經網絡的證據顯示，納入已知的輸入數據不確定性，"與不使用它們的情況相比，對做出更好的預測是有利的"。這些研究人員還建議進一步調查在貝葉斯深度學習框架中使用已知的輸入數據不確定性 "作為要得出的不確定性的初始值"，這將是一種與統計學得出的不確定性協同傳播經驗不確定性的方式。

使用數學方法來傳播不確定性，將納入并考慮到不確定性的影響--無法解釋的數據的固有隨機性--以及認識上的不確定性。擬議的軍事標準應將測量不確定性的要求與傳播到高階用途的要求結合起來，如機器學習或更抽象的建模和模擬。用軍事術語來說，通過這種方法使UQ標準化，不僅要考慮基線觀測數據的不確定性，還要考慮與方向和行動有關的數據不確定性。

軍事用途的數學問題

為了繼續與軍事戰略進行類比，功能關系描述了在OODA循環中如何獲得軍事優勢，以及不確定性如何在該過程中傳播。

在這個特意象征性的等式中，觀察和定位是恒定的活動，而決策和行動是時間上的離散事件。所期望的軍事效果的成功概率是基于循環中每個輸入變量的不確定性的傳播：操作者有多大把握(a)他們的觀察抓住了現實，(b)他們以預期的方式定向，(c)他們的決定以預期的方式執行，以及(d)他們的行動沒有被打亂。

這種方法的障礙在于它需要對不確定性的事先了解，這是目前無法獲得的元數據，因為在經驗情況下確定它的成本通常很高，而在統計情況下有許多可接受的方法來生成它。這就回到了建議的解決方案，即征收要求和標準，以提供與每個輸入變量相關的不確定性作為元數據。一旦提供，匯編觀測和定位數據的人工智能/ML系統可以使用元數據進行傳播，并向操作者或指揮官提供情況圖中的總體量化不確定性。當實時使用時，這種方法內在地捕捉了OODA循環的決策和行動步驟的各個方面。

高階效應和挑戰

一項分析表明，將不確定性信息傳達給無人駕駛車輛的操作員并使之可視化，有助于提高人類-AI團隊的績效。但其他人工智能研究人員也表明，"需要更多地研究如何以對用戶有意義的方式，最好地捕捉和呈現開發者的[不確定性量化]"。他們進一步指出，"讓用戶對他們不了解的方面有看似控制的感覺，有可能給人以清晰和知情控制的錯覺，造成額外的自動化偏差，或者干脆讓用戶選擇一個給他們想要的答案的選項。" 這一發現堅實地進入了決策理論和心理學的工作體系。有一些統計方法試圖用算法來定義判斷和決策，使用這些方法有風險。

一項單獨的分析提供了判斷和決策文獻中與決策中使用不確定性估計有關的結論。該研究的結論是，向利益相關者提供不確定性估計可以通過確保信任的形成來提高透明度： "即使是經過良好校準的不確定性估計值，人們也會有不準確的認識，因為(a)他們對概率和統計的理解程度不同，(b)人類對不確定性數量的認識往往受決策啟發式的影響。

作者進一步補充說，"非專業人士和專家都依賴心理捷徑或啟發式方法來解釋不確定性"，這 "可能導致對不確定性的評估出現偏差，即使模型輸出是經過精心校準的"。不出所料，關于這個問題的主要啟示是，所選擇的UQ交流方法應首先與利益相關者進行測試，開發人員應滿足他們的UQ顯示和用戶界面的不同終端用戶類型。例如，向數據科學家介紹不確定性量化應該與向戰時決策的操作員介紹UQ不同。情報界在確定傳達與軍事信息相關的不確定性的最佳方法方面有著悠久的歷史，因此它對 "估計概率詞 "的約定可能是后一類終端用戶的合適出發點。

當考慮在作戰和戰略決策層面使用傳播的不確定性時，有可能使用傳播計算可能使UQ數字變得不相關和不可用，因為在非常復雜的系統中，不確定性接近100%的期望輸出。順便說一句，這是一個有趣的結論，可能指向 "戰爭迷霧 "的數學證明。進一步調查計算非常大的系統級別的傳播的不確定性可能會更好地闡明這個結論。

然而，這種高度傳播的不確定度的潛在缺陷并不足以反駁實施不確定度軍事標準的做法。包括每個級別的元數據標簽，使操作人員能夠檢查哪些因素造成了最大的不確定性，哪些因素是指揮官可以有高度信心的，這仍然是非常有用的信息。當操作員的帶寬在高壓力交戰之外可用時，這些元數據標簽允許操作員檢查功能關系中輸入變量之間的協方差和相關性。這些元數據還可以被采集專業人員用于評估和改進任務，通過識別系統性錯誤并將其消除，以及識別造成隨機錯誤的最嚴重的罪犯。

高度傳播的UQ可能是不相關的，這也強調了發展健全的軍事判斷的永久重要性。正如在任何不確定性非常高的軍事情況下，為實現軍事優勢，將需要具有敏銳性的操作員和指揮官。使用人工智能/ML來觀察、定位、決定和比對手更快地行動，只有在行動優越的情況下才會導致勝利。勝利理論的這一層面與要求、傳播和以標準化的方式交流UQ的論點不同。

最后，AI/ML要求輸入數據是感興趣領域的 "具有適當代表性的隨機觀察樣本"。重要的是，"在所有情況下，我們永遠不會有所有的觀察結果"，而且在感興趣的領域內 "總會有一些未觀察到的情況"。盡管人工智能或ML算法是在一個不充分的數據集上訓練出來的，但試圖在數據抽樣中實現對該領域的全部觀察覆蓋也是不理想的。

當以較高的行動節奏將人工智能/ML應用于OODA循環時，提高領域的覆蓋率并不需要更多的抽樣，而應該通過抽樣中更多的隨機化來實現，重點是確定準確的測量不確定性。上述關于已知輸入數據的研究從理論上和經驗上證明，將數據的不確定性納入一系列機器學習模型的學習過程中，使模型對過擬合問題更有免疫力--當模型與訓練數據集擬合得過于緊密時，就會出現不可接受的ML行為，導致在負責評估未知數據時出現不準確的預測結果。

過度擬合的問題并不是機器學習所獨有的，從根本上說是由輸入數據集的缺陷造成的。"簡單地說，不確定性和相關的無序性可以通過創造一個更高更廣的更一般的概念來代表現實的直接假象來減弱"。這導致了對該領域的最大統計覆蓋，對被觀察系統的侵擾最小。它還最大限度地減少了數據和元數據集的大小，從而在高階使用中提高了UQ傳播方程的計算效率。

結論

實施量化不確定性元數據的軍事標準，并發展傳播、評估、改進和交流該信息的能力，將為繼續追求AI/ML的軍事用途能力提供最大的靈活性。使用人工智能/ML系統的不確定性量化，通過溝通、透明和參與共同經歷來發展這種信任，使人機團隊內部能夠相互信任和團結。使用AI/ML系統實現軍事目標的保證需要量化的不確定性。

與軍事戰略的概念相聯系，這種不確定性量化的整個框架有助于一個成功的組織。通過現在提供UQ元數據，國防部高級領導人可以繼續確定使用人工智能/ML的最佳治理和政策，而不耽誤技術和工程開發。隨著作戰人員使用UQ來發展對AI/ML伙伴的信任，軍隊的觀察、定位、決定和行動的能力將比對手更快，并確保軍事優勢。

在這份科學報告中，研究了一個導彈防御的問題，其中有異質的來襲再入飛行器（RVs）。也就是說，這些再入飛行器由不同類型的導彈組成。防御系統利用也是導彈的攔截器來試圖攔截再入飛行器。我們建議，在有異質RV的簡單交戰場景中，防衛方可以使用最佳最后交戰機會（SLS-OLEO）的射擊戰術來優化其在最后交戰機會中的突襲否定概率（PRA）。為了優化這種方法，我們利用天體動力學、帶約束的微積分、微擾理論、動態規劃和生成函數以及PRA的凹特性來比較各種射擊戰術。這種方法使我們能夠確定針對RV的攔截器的最佳分配，使PRA最大化。此外，我們還考慮了PRA如何有助于綜合系統有效性的概率（PISE），這反過來又決定了彈道導彈防御系統（BMDS）的全球有效性。原則上，該方法一般適用于導彈。然而，我們確定交戰機會數量的方式是基于彈道導彈的。

對國防和安全的意義

在導彈防御方面，至關重要的是，防務部門要消除來襲的RV，以保護其資產和人口。眾所周知，有一種基于RVs數量、攔截器數量及其特性（如單發殺傷概率（SSBK）和交戰機會數量）的發射策略，可以最大限度地提高突襲否定的概率，即PRA。然而，當來襲的RV由不同類型的導彈組成時，這樣的策略需要修改，因為現在的情況更復雜了。我們表明，用本報告所制定的策略仍有可能使PRA最大化。這一點很重要，因為最大化PRA意味著最大限度地挽救人口中的生命數量。

引言

對防空的作戰分析可以追溯到1930年代（Kirby和Capey[1]）。從那時起，防空研究有了很大進展，特別是在導彈防御領域。目前關于彈道導彈防御系統（BMDS）的文獻的特點是，分析集中在整個系統的孤立方面。具體來說，有關于理論發射理論（Soland [2]）、射-看-射戰術（Wilkening [3]）、命中評估（Weiner等人，[4]）、軌道力學（Cranford [5]）和綜合概率模型，如綜合系統有效性概率（PISE）（Boeing Co [6]）的研究。相比之下，本科學報告側重于突襲湮滅概率（PRA），它是PISE的一個核心組成部分，也是BMDS有效性的一個關鍵決定因素。

為了證明PRA的重要性，我們在涉及異質再入飛行器（RVs）的交戰場景中比較了三種發射戰術。在對結果進行嚴格的比較后，我們說明，雖然 "射擊-觀察-射擊與最佳最后交戰機會"（SLS-OLEO）沒有產生最大的PRA，但它在一個簡單的交戰場景中提出了最實際有效的PRA。也就是說，我們并不假定來襲的RV的數量是完全已知的。我們還探討了是什么使PISE成為BMDS框架的一個重要組成部分，并提出了兩個可以提高PISE的戰術。我們相信，作戰研究界的成員將能夠利用這些發現來評估BMDS的全球有效性。

為了幫助關注這個問題，我們定義了一個由五個異質再入飛行器（RVs）和二十個攔截器組成的例子情景，（Wilkening [3]）。這個場景當然不是一個飽和的場景，即RV的數量超過了攔截器的庫存，正如（Dou等人，[7]）所調查的。由于彈道導彈防御（BMD）的復雜性，有些特點和方法我們無法在本報告中涉及或深入分析。與其他研究相比，我們的視角是單面的（僅是防御），而不是雙面的（防御和進攻，Brown等人，[8]；兩階段博弈，Hausken和Zhuang[9]）。我們的研究也主要限于地基攔截器（GBI），而不是其他發射平臺，如閑逛的飛機（Burk等人，[10]）。我們不考慮誘餌（Washburn[11]）。我們注意到，BMD也可以使用基于代理的模擬（Garrett等人，[12]和Holland等人，[13]），或使用馬爾科夫鏈（Menq等人，[14]）進行建模。Park和Rothrock[15]研究了在導彈防御中框定人類主體的效果。實時威脅評估和武器分配（TEWA）的細節可以用3維穩定的婚姻算法來建模（Naseem等人，[16]）。針對一系列RV的防御性武器的最佳組合可以用線性編程來建模（Beare [17]）。盡管有這些假設和簡化，我們相信我們的方法為理解BMD提供了一個簡單的方法，同時也為評估BMDS的有效性提供了一個直接和統一的方法。

本文的組織結構如下： 第2節描述了交戰機會的數量；第3節介紹了三種已知的可用于對付相同（同質）RV的發射戰術；第4節擴展了一些用于異質RV的發射戰術，并提出了一種新的戰術；第5節描述了PRA的凹性；第6節利用凹性來確定全球最佳PRA；第7節說明了有效性的措施；第8節討論了PISE和改進它的方法；我們在第9節中得出結論。

本文是2014年發表的另一篇論文（Nguyen [18]）的完整和擴展技術版本，增加了一些新的內容，包括考慮新的射擊戰術（在第4節）、PRA的凹性（在第5節）和全局最優PRA（在第6節）。雖然第7節中的有效性措施在現有文獻中可以獲得，但我們根據第4、5和6節的新穎性來確定這些有效性措施。據我們所知，在文獻中還沒有任何論文將所有這些方面的內容匯集在一篇關于BMD的文章中。這篇文章的初步結果發表在一個會議記錄中（Nguyen和Miah[19]），它利用遺傳算法來優化有效性的措施。

美國海軍部長以審慎的方式分布海軍兵力，以支持美國防部（DoD）的指導、政策和預算。目前的戰略、部署和分布（SLD）過程是勞動密集型的，時間密集型的，而且在考慮競爭性的替代計劃方面的敏捷性較差。SLD可以從人工智能的實施中受益。本文引入了一種相對較新的方法來解決這些問題，該方法最近來自于海軍研究辦公室資助的一個早期項目，該項目結合了機器學習、優化和兵棋推演的深度分析。這種方法被稱為LAILOW，它包含了利用人工智能學習、優化和兵棋推演（LAILOW）。在本文中，我們開發了一套獨立的偽數據，模仿了實際的、分類的數據，這樣就可以安全地進行實驗性游覽。我們展示了LAILOW為每一艘可能被移動的可用船只產生了一個類似于兵棋推演場景的分數。每艘船的分值都會增加，因為需要較少的資源（如較低的成本）來滿足SLD計劃的要求，將該船轉移到一個新的母港。這就產生了一個數學模型，能夠立即比較可能被選擇的競爭性或替代性船舶移動方案。我們設想一個更加綜合、一致和大規模的深度分析工作，利用與現有真實數據源相聯系的方法，更容易地對通過SLD過程考慮的平臺移動的潛在方案進行直接比較。由此產生的產品可以促進決策者學習、記錄和跟蹤每個SLD過程中復雜決策的原因，并確定部隊發展和部隊組建的潛在改進和效率。

圖1. 在共同進化兵棋推演模擬中查看LAILOW；ML算法（即SoarRL）被用來模擬雙方的玩家或效用函數。

方法

本文詳細介紹了與研究問題和規定階段有關的方法。我們應用一個數學模型（即Leverage AI to Learn, Optimize, and Wargame[LAILOW]模型）來解決研究的深度分析問題。LAILOW源于ONR資助的一個項目，該項目專注于機器學習、優化和兵棋推演的深度分析，本質上是Leveraging AI，由以下步驟組成：

學習： D數據、數據挖掘、機器學習和預測算法被用來從歷史數據中學習關于什么和如何做出決定的模式。來自競爭需求的數據是指來自艦隊指揮官、國家領導人的游覽建議和要求，以及在不同安裝地點的各個功能區所做的評估數據。目前的人工程序主要是平衡單位搬家費用的預算和已知的需求。搬家費用是根據人力和基礎設施準備情況的永久換站（PCS）訂單制定的。這些數據以結構化數據庫和非結構化數據的形式存在，如PowerPoint幻燈片和.pdf文件。

優化： 來自學習的模式被表示為Soar強化學習（SoarRL）規則或AGI轉化器模型，用于優化未來的SLD計劃。一個SLD計劃包括每個設施、母港、基地、樞紐和岸上態勢位置（Fd）和人員（Fg）的海軍資產的完整增益或損失。考慮到眾多的組合，這種優化可能是令人難以承受的。相反，LAILOW使用集成的Soar-RL和協同進化算法，將總的SLD計劃映射到遠航建議、評估報告和其他假設分析中提到的各個單位。

兵棋推演：可能沒有或很少有關于新的作戰要求和能力的數據。這就促使了兵棋推演的模擬。一個SLD計劃可以包括狀態變量或問題（例如，未來的全球和戰區態勢、威脅特征），這些問題只能被觀察、感知，并且不能被改變。控制變量是解決方案（例如，一個SLD計劃）。LAILOW在狀態和控制變量之間設置了一個兵棋推演。問題和解決方案根據選擇、變異和交叉的進化原則共同演化。

如圖1所示，LAILOW框架可以被設定為一個由自我玩家和對手進行的多段兵棋推演。自我游戲者或防御者是SLD企業。對手或攻擊者是包括競爭性需求的環境。在應用LAILOW時，我們首先將過程分為狀態變量和決策變量，如下所示：

狀態變量： 這些變量和數據可以被感知、觀察和估計，但是，不能由自我角色決定或改變。它們是輸入變量，或自我游戲者必須考慮的問題。它們也被稱為SLD企業的測試或攻擊。

決策變量： 這些變量是使用優化算法來解決問題所需要的。在LAILOW中，決策變量的優化是通過整合Soar-RL和協同進化搜索和優化算法來實現的（Back, 1996; O'Reilly等人, 2020）。

對手（測試）和自己的玩家（解決方案）都像兵棋推演中一樣演化和競爭。LAILOW就像一個蒙特卡洛模擬，但由ML/AI學習的模式與優化算法指導。在兵棋推演中，對手產生大規模的假設測試，以挑戰自我玩家提出更好的解決方案，例如，SLD配置，以回答諸如 "如果我選擇一個不同的決定會發生什么？"的系統模擬問題。

每個 "學習、優化、兵棋推演"周期在每個階段和所有價值領域動態地迭代，其分析組件和算法詳見下文。

在LAILOW框架中，"學習 "部分通常采用有監督的ML算法，如分類、回歸和預測算法。例如，人們可以應用scikit-learn python中的各種最先進的監督ML算法，如邏輯回歸、決策樹、天真貝葉斯、隨機森林、k-近鄰和神經網絡。深度學習或AGI Transformers也可以放在這個類別中，輸入數據是多樣化的。一個AGI框架通常包含大規模的機器學習模型（例如，ChatGPT模型中的數十億個參數；OpenAI，2023），以從多模態數據中學習和識別模式。

監督的ML算法可用于學習潛在的SLD和偏離計劃的功能區的狀態變量和評估措施，如部署和執行的速度、質量和適用性，競爭性需求和約束的平衡（例如，避免不可接受的能力下降），以及Fd和Fg措施。

在LAILOW中，我們使用Soar-RL來分別學習自玩家和對手的兩個健身函數。在強化學習中，代理人根據其當前狀態和它從內部模型中估計的期望值，采取一個行動并產生一個新的狀態（Sutton & Barto, 2014）。它還通過修改其內部模型從環境的獎勵數據中學習。Soar-RL可以將基于規則的人工智能系統與許多其他能力，包括短期和長期記憶，進行可擴展的整合（Laird，2012）。Soar-RL在軍事應用中具有以下優勢，因為它

• 可以包括現有的知識（例如，SLD的交戰規則），也可以從數據中修改和發現新規則
• 以在線、實時、漸進的方式學習，因此不需要批量處理（潛在的大）數據
• 提供可解釋的人工智能的優勢，因為發現的模式被表示為規則
• 與因果學習相聯系，因為它符合因果學習的支柱（例如，關聯、干預和反事實；Pearl & Mackenzie，2018），通過使用干預產生預期效果數據（Wager & Athey，2018）。

"學習 "組件也可以應用無監督的學習算法。自玩家執行無監督的機器學習算法，如k-means、原理成分分析（PCA）和詞匯鏈接分析（LLA; Zhao & Stevens, 2020; Zhao et al., 2016）來發現鏈接。

一個SLD過程需要進行what-if分析，因為這促使了兵棋推演的模擬。一個SLD計劃可以包括狀態變量或問題（例如，未來的全球和戰區態勢、威脅特征、處理這些威脅的艦隊需求），這些問題只能被觀察、感知，不能被改變。控制變量是解決方案（例如，一個SLD計劃）。LAILOW在狀態和控制變量之間設置了一個兵棋推演。問題和解決方案根據選擇、變異和交叉的進化原則共同演化。

SLD計劃和偏移模型的狀態和決策變量的數量可能非常大。協同進化算法可以模擬未來作戰要求、威脅和全球環境及未來能力的動態配置，以及兵棋推演模擬中的其他競爭因素。如圖1所示，競爭性協同進化算法用于解決生成對抗網絡（GANs；Goodfellow等人，2014；Arora等人，2017）所遇到的minmax-問題。玩家的對抗性交戰可以通過計算建模來實現。競爭性協同進化算法采取基于種群的方法來迭代對抗性交戰，可以探索不同的行為空間。用例測試（對抗性攻擊者群體）是主動或被動地阻撓問題解決方案（防御者）的有效性。協同進化算法被用來識別成功的、新穎的以及最有效的解決手段（防御者）來對抗各種測試（攻擊）。在這種競爭性游戲中，測試（攻擊者）和解決方案（防御者）的策略會導致對手之間的軍備競賽，雙方在追求沖突的目標時都在適應或進化。

一個基本的協同進化算法用錦標賽選擇和用于變異的方法（如交叉和變異）來進化兩個種群。一個種群包括測試（攻擊）和另一個解決方案（防御）。在每一代中，通過配對攻擊和防御形成交戰。這些種群以交替的步驟進行進化： 首先，測試種群被選擇、改變、更新并針對解決方案進行評估，然后解決方案的種群被選擇、改變、更新并針對測試進行評估。每個測試--解決方案對都被派往參與組件，其結果被用作每個組件的適配度的一部分。適應性是根據對手的交戰情況整體計算的。

每個SLD配置都有一個健身值，它與需要優化的措施有關，如部隊發展（Fd）和部隊生成（Fg）效率。來自 "學習 "的模式被用來優化未來的SLD計劃，其措施如下：

• SLD的成本：對于一艘船來說，從一個地方移動到另一個地方
  • 移動人員的成本是多少： 每個人的PCS成本 x 坯料的數量？
  • 準備必要的基礎設施（匹配的評估）以支持船舶移動的成本是多少？
• Fd/Fg效率： 有多少游覽或需求得到滿足（匹配）？

優化可能是壓倒性的。LAILOW使用綜合Soar-RL和協同進化算法，簡化了優化過程。

LAILOW已被用于DMO和EABO的兵棋推演（Zhao, 2021），發現海軍艦艇和海軍陸戰隊的維修和供應鏈的物流操作的脆弱性和彈性（Zhao & Mata, 2020），以及超視距打擊任務規劃（Zhao等，2020；Zhao & Nagy, 2020）。

合成孔徑雷達（SAR）圖像中基于人類的目標檢測是復雜的、技術性的、費力的、緩慢的，但時間很關鍵，是機器學習（ML）的完美應用。訓練一個用于目標檢測的ML網絡需要非常大的圖像數據集，這些數據集中嵌入了準確和精確標記的目標。不幸的是，不存在這樣的SAR數據集。因此，本文提出一種方法，通過結合兩個現有的數據集來合成寬視場（FOV）SAR圖像： SAMPLE，由真實和合成的單物體芯片組成，以及MSTAR雜波，由真實的寬視場SAR圖像組成。合成目標使用基于閾值的分割從SAMPLE中提取，然后再與MSTAR雜波中的斑塊進行α-混合。為了驗證新的合成方法，使用一個簡單的卷積神經網絡（CNN）創建了單個物體芯片并進行了分類；針對測量的SAMPLE子集進行測試。還開發了一種新穎的技術來研究深層的訓練活動。擬議的數據增強技術使測量的SAR圖像分類的準確性增加了17%。這一改進表明，來自分割和混合的任何殘余偽影都不會對ML產生負面影響，這對于未來在廣域SAR合成中的使用是很有希望的。

"在MSTAR數據收集期間拍攝的M1的EO圖像（a，c）和同一車輛的真實CAD模型（b，d）從兩個角度進行了比較。請注意，即使是小的細節，如火炮的位置、艙門和車輛側面的電纜，在兩張圖像之間也很一致。提供CAD模型的顏色是為了識別零件組裝，并不表示任何影響電磁模擬的具體屬性" [10]。

"SAMPLE數據集中每個飛行器的一個圖像的例子。測量的MSTAR圖像在最上面一行，相應的合成圖像在最下面一行....，我們看到諸如陰影、方向和相對回波幅度等細節都很一致"[10]。

創造能夠適應人類的人工智能隊友的一個必要步驟是，開發能夠向人工智能系統表達人類目標和意圖的計算建模方法。用各種各樣的方法來實現這個目標是可能的，從基于過去數據的純粹預測模型到僅基于理論的生成模型。一種有希望的方法是所謂的從示范中學習的方法（Argall等人，2009；Ravichandar等人，2020），這種研究主旨是利用示范數據，如專家執行任務的行為，并訓練模型（通常被稱為 "智能體"）來執行專家的任務。在本報告中，我們采用了從示范中學習的方法來模擬和預測模擬機器人在避撞的團隊任務中的行為。具體來說，我們采用了逆向強化學習（IRL）（Ng和Russell，2000年；Arora和Doshi，2021年），這是一種從演示中推斷獎勵函數的方法。

這項任務是基于一個研究性的視頻游戲，被用來研究人類自主性的團隊合作（Adamson等人，2017年），涉及一個由人類玩家和一個AI智能體共同控制的機器人。在沒有玩家輸入的情況下，AI智能體控制機器人，但玩家可以在任何時候推翻智能體，類似于現實世界中與自動駕駛助手一起駕駛的情況。這項任務對旨在模擬人類意圖的示范學習方法提出了挑戰，因為觀察到的任務行為來自兩個示范者的控制：一個是人類，一個是自動駕駛。例如，人類的行為可能是由對自己的目標的理解和對人工智能的目標的估計產生的。此外，當人工智能處于控制狀態時，所有關于人類的信息都是他們不提供輸入的，人類同意人工智能選擇的程度是隱藏的。

我們對這一特定任務的關注是由我們的團隊正在進行的工作所激發的，即利用激發這一任務的研究視頻游戲從參與者那里收集數據。最終，我們將嘗試模擬真實的人在長時間內的行為--每天玩180天--以促進適應性AI智能體的發展。這里描述的工作是對一種方法的驗證，這種方法將推動我們的團隊實現這一目標；然而，這種方法具有足夠的通用性，其核心概念可以應用于其他地方。

人工智能（AI）的最新進展預示著一個信息周期加速和技術擴散加劇的未來。隨著人工智能的應用變得越來越普遍和復雜，特種作戰部隊（SOF）面臨著辨別哪些工具能最有效地滿足作戰需要并在信息環境中產生優勢的挑戰。然而，SOF目前缺乏一個以終端用戶為中心的評估框架，它可以幫助信息從業者確定人工智能工具的操作價值。本論文提出了一個從業人員的評估框架（PEF），以解決SOF應該如何評估人工智能技術以在信息環境中開展行動（OIE）的問題。PEF通過信息從業者的角度來評估人工智能技術，他們熟悉任務、行動要求和OIE過程，但對人工智能的技術知識有限甚至沒有。PEF包括一個四階段的方法--準備、設計、執行、推薦--評估九個評價領域：任務的一致性；數據；系統/模型性能；用戶體驗；可持續性；可擴展性；可負擔性；道德、法律和政策考慮；以及供應商評估。通過一個更加結構化、方法化的方法來評估人工智能，PEF使SOF能夠識別、評估和優先考慮OIE的人工智能工具。

人工智能（AI）的最新進展預示著一個加速信息周期和加強技術傳播的未來。特種作戰部隊（SOF）目前缺乏一個以終端用戶為中心的評估框架，該框架可以幫助信息從業者確定人工智能工具的操作價值。這篇論文提出了一個從業人員的評估框架（PEF），以解決SOF應該如何評估人工智能技術以在信息環境中開展行動的問題（OIE）。

PEF通過信息從業者的角度來評估人工智能技術，他們熟悉任務、操作要求和OIE過程，但對人工智能的技術知識有限甚至沒有。該框架包括一個簡單的四階段方法--準備、設計、執行、建議--評估九個評價領域，如圖1所示。

根據現有文獻和對美國政府、工業界和學術界的人工智能和世界動物衛生組織專家的采訪，PEF是通過對四個主要研究領域的分析制定的。

1.OIE的潛在AI應用。論文發現，人工智能可以幫助從業者解決OIE中的四個傳統挑戰：分析信息環境，實現內部產品開發，提高信息傳播的及時性和規模，以及提高衡量有效性的能力。

2.人機合作（HMT）的主要原則和考慮。研究強調了 "合理的信任 "對有效的HMT的重要性。 由于OIE的認知性、以人為本的性質，信息部隊在HMT中面臨著額外的復雜性，這就需要人工智能系統進一步透明和可解釋。

3.技術接受和采用理論。理論分析揭示了相對優勢、兼容性和復雜性在技術采用中的突出作用。對技術的信任和用戶可用的時間也影響到人工智能在OIE的采用潛力。組織層面的因素，如準備情況、管理支持和政府政策也是重要的考慮因素。

4.正在進行的增加人工智能透明度的倡議。對現有框架的分析--國防創新股的負責任的人工智能（RAI）指南、模型卡、數據表、概況表和系統卡--揭示了考慮透明度和評估人工智能有效性的關鍵因素。這些要素包括對預期用途、數據出處、模型性能、模型的局限性和道德考慮有一個清晰的認識。

為了測試擬議框架的可行性，PEF被用來評估Pulse，這是一個目前由美國陸軍特種作戰內部的OIE單位使用的數據收集和參與平臺。評估發現，PEF使從業者在使用人工智能工具時，能夠劃分出優勢以及需要額外考慮的領域。特別是，對系統/模型性能和用戶體驗的評估突出了兩個關鍵點。首先，與系統相關的復雜程度需要重點了解誰是目標用戶。第二，為了正確地評估人工智能，模型的性能指標--這些指標在傳統上沒有被傳達給終端用戶--應該被從業者所接受并可以解釋。

這篇論文建議美國特種作戰部利用PEF作為從業人員對人工智能技術進行初步評估的準則。通過一個更加結構化、有條不紊的方法來評估人工智能，這個框架使SOF能夠識別、評估和優先考慮人工智能支持的工具，這些工具能夠有效地解決行動需求，并在信息環境中產生優勢。PEF還確保從業人員考慮納入美國防部RAI戰略的評價標準。

本論文包括六個主要部分（第二章至第七章）。第二章建立了基礎，首先解釋了人工智能和OIE的關鍵概念和定義。該章還討論了從業者在計劃、執行和評估OIE時面臨的挑戰，并確定了可以解決其中一些挑戰的人工智能技術。第三章闡述了信任在人機協作中的關鍵作用，它影響了人工智能在軍事行動中的有效使用。第四章深入研究了技術接受和采用理論，以確定影響OIE單位內人工智能技術采用性的重要因素。第五章評估了現有的框架，這些框架有助于提高人工智能系統的透明度，并可由SOF利用這些框架來評估技術。進行了定性分析，以確定通過開源研究發現的50個模型卡的共同主題。第四章和第五章的發現被用來建立第六章提出的從業人員評價框架（PEF）。在第七章中，該框架被用來評估Pulse--一個目前被OIE單位采用的人工智能工具。第八章最后提出了對未來研究的總體建議和意見。

應對主動射擊者/敵對事件（ASHE）的機構需要認識到利用彼此的行動機會。這篇論文回答了一個研究問題。在事件發生前，執法和消防救援人員可以確定哪些共同的行動點，以改善反應協調和合作？研究包括ASHE案例分析、機構政策分析以及執法和消防救援主題專家的焦點小組。通過識別決策（RPDM）框架的視角進行研究，因為它特別涉及到在嚴重的時間限制下做出的決定。政策分析表明，各機構希望共享行動點能夠得到認可并采取行動。案例分析發現，共享行動點與政策中的共享行動點類似，都是在應對過程中出現的。焦點小組的參與者提供了對反應者期望的行動和政策中指示的行動的見解。隨后的減災行動鏈概念模型和確定的共享行動點可以被納入培訓計劃，以幫助確保關鍵的現場互動并改善事件結果。

執行摘要

隨著海軍引進大排量和超大級別的無人潛航器（UUV），即LDUUV和XLUUV，對增加幾周到幾個月的續航能力的需求和愿望都在增長。延長續航時間是一種必要的能力，使UUV開始承擔核潛艇的一些任務領域。能源效率和存儲能力是延長無人駕駛航行器續航能力首先要考慮的因素。然而，一個次要的、更具挑戰性的因素是無人潛航器系統的可靠性以及其容忍或避免系統故障的能力。海軍需要在改進能源容量、能源消耗效率和關鍵部件的可靠性之外，增加其UUV的續航時間。通過基于狀態的維護（CBM）來解決UUV系統的可靠性問題，將提高UUV的平均故障間隔時間（MTBF）率。提高UUV的平均無故障時間以支持數周至數月的任務持續時間是一個關鍵的能力差距。

本項目的目的是捕捉利益相關者對提高UUV可靠性、可維護性和可用性的需求，然后將這些需求轉化為旨在提高UUV系統可靠性的概念系統的系統需求，即基于狀態的UUV維護監測和預測系統（C-BUMMPS）。C-BUMMPS架構、UUV接口和系統要求將被提出并展示，以滿足利益相關者的需求。具體來說，本項目將開發利益相關者、系統功能和系統非功能要求。開發的架構將包括UUV上的機載傳感、監測和處理元素，以及岸上的測試、數據分析和維護活動，以支持C-BUMMPS。

圖1描述了C-BUMMPS概念的高級運行視圖。按照設想，C-BUMMPS將監測和記錄UUV系統、子系統和組件的性能參數。最初的數據收集將形成機載設備的基線性能概況。在役工程智能體（ISEA）將收集、分析并使用這些數據來形成維護和故障預測算法。當UUV執行任務以及其他測試和訓練操作時，CBUMMPS將持續監測和記錄與環境條件和UUV指揮和控制有關的設備性能。當感覺到異常和非標稱性能時，C-BUMMPS將檢測潛在的問題和故障模式，并與UUV的健康評估一起傳達警報信息。這些信息將被傳達給UUV控制器，并通過衛星通信（SATCOM）轉發給運行中心。運行中心將決定是否繼續或中止任務，并將UUV的健康數據轉發給ISEA。然后，ISEA將分析數據并確定UUV返回時要執行的適當的維護行動。這些維護行動將作為維護指令傳達給維護活動。當UUV仍在航行時，C-BUMMPS提供的早期信息使維護活動有更多的時間來提前計劃和提供維護行動，以便在UUV回港時立即執行。當維修行動完成后，UUV將被測試以驗證維修情況，C-BUMMPS將監測UUV，以添加維修或更換設備后的生命周期性能概況。

圖1. C-BUMMPS運行概念圖。改編自Sutton（2019）。

系統工程方法被用來指導這個項目。一項任務分析有助于在正常的UUV操作范圍內形成C-BUMMPS的任務。該團隊通過查閱文獻和與利益相關者的互動收集數據和信息。對利益相關者需求的評估產生了一份利益相關者需求清單。然后進行了需求分析和UUV子系統故障模式分析，以確定潛在的C-BUMMPS系統需求。

該項目采用了數字建模工具，并利用基于模型的系統工程（MBSE）方法，從系統、運行和能力的角度提出C-BUMMPS架構。這包括高層次的操作概念圖（OV-1）、資源流（SV-2）、運行活動（OV-5b/6c）、功能塊圖以及數據和信息流圖。最后，將提出一套系統要求，并可作為未來C-BUMMPS的工程建議。此外，還將提供用于本項目的MBSE模型，該模型是在Innoslate中開發的。本項目的系統工程產品可以作為未來在UUV上開發和實施CBUMMPS的一個工程框架。

浮動航天器模擬器（FSS）是模仿衛星在空間運動的機器人載體。使用FSS可以在地球上對制導、導航和控制算法進行實驗驗證，然后再將其應用于空間，因為空間的錯誤是災難性的。此外，FSS是空間系統工程課程中大學生的一個重要研究和教育工具。然而，目前使用的所有FSS都是定制開發和昂貴的項目。本論文涵蓋了用于教學和研究目的的新型浮動航天器模擬器的開發、組裝和測試過程，該模擬器被命名為MyDAS，代表微型動態自主航天器模擬器。通過介紹MyDAS，一個小型的、簡單的和低成本的FSS，使FSS在大學和中學階段的研究和教育中得到更廣泛的利用。討論了MyDAS的不同推進配置及其相應的運動方程。對于一個特定的配置，選擇并測試了現成的氣動和電子組件。一個模塊化和標準化的3D打印框架將所有部件固定在一起，形成一個最終的剛性載體。最后，MyDAS在各種實驗中被測試，完成了全部的硬件功能。

1 引言

本論文進行小型化和簡化的浮動航天器模擬器（FSS）工作。本章簡要介紹了這項工作的動機和目標，以及本論文的結構。

1.1 動機

未來空間任務中的航天器需要靈活、自主的制導、導航和控制（GNC）算法，如對接、接近或清除碎片的操縱[1], [2], [3]。用硬件在回路中驗證GNC算法的一種方法是使用FSS，而無需將測試對象送入太空。盡管不向太空發射任何東西而大大降低了成本，但目前的FSS仍然需要大量的經濟和費時的工作來建造和操作，這只有專門的機構或公司才可能做到。除此之外，目前的FSS都是獨特的設計，沒有標準化。引入一種新的、負擔得起的、小而簡單的FSS可以使本科生甚至高中生以及業余用戶能夠使用FSS工作。提供這種機會可以增加為未來空間任務創造更好的GNC算法的成功機會。

1.2 目標

先前工作提出了一個更便宜、更小、更簡單的FSS的概念[4]，稱為MyDAS，代表微型動態自主航天器模擬器。提出了初步的計算機輔助設計（CAD）模型、材料清單、氣動圖、接線圖、兩種浮動配置和三種推進配置。本論文的目的是建立一個MyDAS的物理工作實例。為此，所有定制設計的部件應與購買的現成部件一起制造和組裝。所有的功能部件應先單獨測試，然后再組合。最終的裝置必須能夠使用壓縮空氣供應漂浮和推動自己。如果可能的話，在不使用推進系統的空氣的情況下，漂浮時間應超過5分鐘。此外，推進系統必須由機載計算機和機載電池控制。該裝置的硬件和軟件應是開源的，以使其可重復使用。作為其中的一部分，將提出一個成本估算。在未來的工作中，希望MyDAS能被積極用于驗證和改進GNC算法。

1.3 結構

如上所述，本論文是基于以前的工作，其中介紹了關于FSS的理論基礎和技術現狀[4]。理論基礎和技術現狀同樣適用于本論文，這就是為什么它們在本文件中沒有明確重復。在第2章運動方程中，以前工作中的簡化運動方程被指定用于其中一個推進配置。第3章氣動系統討論了MyDAS的氣動系統。第4章電子學中解釋了MyDAS的電路以及所有的電子元件。第5章框架設計的主要內容是構建和制造一個定制的、3D打印的框架，該框架將所有的部件固定在一起。第6章設置和測試描述了在組裝MyDAS的過程中對單個和組合部件的若干測試。在第7章實驗中，全功能的FSS被用在一個花崗巖試驗臺上，以證明其功能，以及描述某些推進方面的特征。最后一章的結論是對工作的總結以及對未來工作的建議。復制MyDAS的基本信息，如技術圖紙、材料清單和Python列表，可以在附錄中找到。此外，該代碼與CAD文件和更多不能打印在紙上的數據一起在網上提供。