摘要

由HAVELSAN公司開發的虛擬環境中的部隊（FIVE）模擬器軟件，利用各種虛擬戰爭設備（如武器、傳感器和通信工具等），以安全和具有成本效益的方式提供全面的戰術和行動訓練環境。目前，管理FIVE實體的行為模型高度依賴于由現場專家和系統工程師開發的基于規則的行為。然而，FIVE軟件的基于規則的操作需要密集的編程和現場專家的指導，因此是高度勞動密集型。此外，這項任務的復雜性和負擔隨著場景的復雜性而大大增加。此外，具有基于規則的行為的虛擬實體對其環境有標準和可預測的反應。因此，在這項研究中，我們通過強化學習技術和其他機器學習技術，即FIVE-ML項目，提出了從基于規則的行為到基于學習的自適應行為的過渡研究。為此，我們主要對空對空和空對地兩種情況下的六個虛擬實體進行了基于強化學習的行為模型訓練。據觀察，用強化學習訓練的虛擬實體主導了現有的基于規則的行為模型。在這些實驗中，我們還發現，在強化學習之前，利用監督學習作為起點，可以大大減少訓練時間，并創造出更真實的行為模型。

引言

今天，培訓將使用飛機的飛行員是最重要的。用真實的飛機訓練飛行員是相當困難的，原因包括空域法規、過高的成本和訓練中可能出現的風險，以及創造真實世界場景的復雜性，包括對手或盟友使用的真實防御和戰爭平臺。飛行員訓練中使用的飛行模擬經常與戰術環境模擬結合在一起工作。通過這些戰術環境模擬，飛行員通過控制高保真飛機模型在許多低保真實體的存在下完成場景的訓練。這些低保真資產由計算機創建和控制，通常被命名為計算機生成的部隊（CGF）[1]，它們是代表空中、陸地或海上防御或攻擊系統的自主單位。

CGFs被用于人員部署的準備過程、戰術訓練或新戰略的開發。CGFs需要為每個應用（或每個場景）進行不同的編程。這些由傳統方法創造的力量會導致非適應性和不靈活的行為模式。這導致學生在靜態編程的資產面前接受模擬訓練，降低了訓練的質量。當需要新的場景時，需要專家來創建新的場景。此外，由于情景創建將使用經典的控制分支進行，在創建新情景的過程中，考慮所有的可能性往往是不可行的，即使是可能的，也是一項相當有挑戰性的任務。由于這些原因，人們越來越需要更真實的虛擬環境和新的場景來適應不斷變化的世界，以模擬飛行員候選人自己的任務和敵對部隊的當前能力和戰術。

在這項研究中，提出了向以人工智能為導向的行為建模過渡，而不是傳統的特定場景建模，以此來解決前面描述的問題。換句話說，虛擬實體將被轉化為能夠學習的動態虛擬實體。但這些虛擬實體在訓練過程中需要考慮許多情況。首先，他們必須學會對他們用傳感器感知到的環境因素作出適當的反應。然后，它必須識別他的隊友和敵人，并根據他們的等級信息和附加在他們身上的彈藥類型采取行動。它應該能夠與他的隊友合作，采取團隊行動。

為虛擬資產添加智能的機器學習的首選方法是強化學習（RL）[2]，其根本原因是：實體將采取的行動有延遲的后果。近年來，與傳統的控制方法相比，RL被認為是解決復雜和不可預測的控制問題的新方法，并在許多領域得到利用，如機器人、計算機視覺、自動駕駛、廣告、醫學和保健、化學、游戲和自然語言處理[3]-[9]。自從將深度學習引入RL概念（即深度RL[10]）后，文獻中的研究得到了提升，如許多具有挑戰性的計算機視覺和自然語言處理任務[11]-[15]。

為了這個目的，在這項研究中（即FIVE-ML），已經實現了從HAVELSAN FIVE軟件的基于規則的行為模型向基于RL的行為模型過渡的第一階段實驗。從這些實驗中可以看出，用RL算法訓練的智能虛擬實體在空對空和空對地的情況下都優于HAVELSAN現有的基于規則的實體。此外，模仿學習[16]、[17]和RL的聯合實施也取得了成功，這加快了FIVE軟件的完整過渡過程。

可以預見，通過學習飛行員候選人的選擇來開發新策略的模擬將把飛行員培訓帶到一個非常不同的點。當項目完成后，將設計一個新的系統，允許在其領域內培訓更多裝備和專業的戰斗機飛行員。一個現有的基于規則的場景系統將演變成一個可以自我更新的系統。因此，飛行員候選人將有機會針對智能實體發現的新策略來發展思路，而不是滿足于該領域的專家的知識和經驗。此外，從一個經過大量努力準備的場景機制，計算場景自動化機制將使整個過程自動化。

摘要

可解釋的人工智能（XAI）提供了克服這一問題的手段，它基于有關深度學習（DL）算法結果的額外補充信息。雖然完全透明對于復雜的DL算法來說仍然是不可行的，但解釋有助于用戶在關鍵情況下對AI信息產品進行判斷。應該指出的是，XAI是透明度、因果關系、可信度、信心、公平、信心和隱私等方面的總稱。因此，基本的方法論是多方面的。一種已經流行的方法是局部可解釋模型-預知解釋（LIME）方法，因為它可以很好地應用于各種應用中的不同模型。在本文中，LIME算法是在戰略運營的決策建議背景下進行研究的。在簡單介紹了其概念后，介紹了文獻中的應用。然后，一個戰略博弈的場景被認為是軍事戰爭的替代環境。一個基于DL的國際象棋人工智能被做成 "可解釋的"，以評估信息對人類決定者的價值。得出了與戰略混合行動有關的結論，這反映了所提出的方法的局限性。

引言

根據設想，未來戰略戰爭的決策將在很大程度上受到基于人工智能（AI）方法的信息產品的影響。特別是混合作戰，是在一個高維和變異的環境中進行的，在這種環境中，對潛在的威脅和機會的評估是人類操作者難以掌握的，戰略規劃必須納入異質的、多功能的和高容量的數據源。因此，基于人工智能方法的算法產生的分類、預測和建議在這種復雜的場景中變得越來越重要。在過去的幾年里，人工智能的方法已經獲得了巨大的發展，有大量的創新和令人尊敬的成果，可以從大型數據集中獲得更高層次的信息。然而，深度學習（DL）方法的一個主要缺點是其固有的黑箱屬性，即由于計算模型的復雜性，其結果是不透明的。例如，后者可能有數百個層和數百萬個參數，這些參數是在訓練階段通過算法發現和優化的。因此，即使結果是準確的，用戶也沒有機會理解它或掌握輸入數據的因果部分。這反過來又會影響到用戶對輔助設備的信任，在兩個方向上都是如此。這個問題在某些民事應用中起著次要的作用，例如語音識別，它經常被應用于與設備的互動，因為除了體面的失望之外沒有潛在的風險。對于其他非常具體的任務，如手寫字符識別，DL算法的性能超出了人類的平均水平，這意味著失敗的可能性很小，因此關于因果關系的問題可能成為附屬品。然而，在許多軍事應用中，當涉及到與人工智能的互動時，人類的信任是一個關鍵問題，因為錯誤的決定可能會產生嚴重的后果，而用戶始終要負責任。這實際上是兩方面的。一方面，操作者往往需要了解人工智能產品的背景，特別是如果這些產品與他或她自己的本能相悖。另一方面，不可理解的技術會對算法信息產品產生偏見，因為很難確定在哪些條件下它會失敗。因此，適當的信任程度可能很難計算。

可解釋的人工智能（XAI）是向黑盒人工智能模型的用戶提供 "透明度"、"可解釋性 "或 "可解釋性 "的方法的集合。這些術語幾乎沒有一個共同的定義，但許多出版物提到了：

• 透明度是指人類跟蹤和理解模型創建過程的可能理解程度。這就是從數據中提取信息，轉化為推理參數的表現形式。DL前饋網絡由于其基于大數據集的迭代學習過程和錯誤向各層的遞歸傳播而缺乏這一特性。
• 可解釋性是指對模型本身的理解程度，即從輸入數據到預測結果的信息流可以被理解。由于涉及的參數數量和層的層次結構，這對標準網絡來說是不可行的。
• 可解釋性是指對特定預測結果進行解釋的可能性程度。也就是說，用戶可以看到與輸入數據的一致性，在某種程度上可以看到是否存在因果關系。

XAI不能完全 "解釋 "DL模型，然而，它為工程師或操作員提供了更好地理解特定AI產品背后的因果關系的手段。而且很多時候，這可以幫助看到，從合理的因果關系鏈暗示算法決策或預測的意義上來說，該模型是否是合理的（或不是）。因此，XAI可以成為人工智能模型工程的一個重要工具，用于安全方面的驗證，甚至用于認證過程，以及為操作員提供額外的信息，以支持明智的決策。

雖然關于XAI的大多數文獻都集中在圖像識別的方法上，但這些結果很難轉化為基于特定挑戰性競爭形勢的戰術和戰略決策領域。在本文中，我們研究了人工智能模型在棋盤評估中的可解釋性。對更復雜的軍事戰略模擬的一些影響進行了討論。

本文的結構如下。在下一節中，簡要介紹了選定的XAI方法。然后，這些方法之一（LIME）被應用于棋盤評估問題，以證明在支持信息方面的解釋的質量。在最后一節，得出了結論，并討論了對更復雜的戰爭博弈和模擬的概括。

NATO Data Exploitation Programme

北約數據開發計劃旨在有效利用數據，開發保持北約軍事和技術優勢所需的技能、人力、敏捷流程、工具、服務和技術。

目標

• 實現認知優勢（以及信息優勢和數據支持決策）
• 在 IT 和熟練勞動力的支持下保持軍事和技術優勢
• 單一邏輯 CIS 環境，促進聯盟范圍內的數據管理方法
• 可信信息共享文化、數據治理、企業范圍的數據可用性
• 積極利用數據基礎設施和資源來支持各級決策
• 數據素養和批判性思維被認為是整個聯盟的核心要求
• 越來越多的數據專業人員擁有有效利用的手段數據

實施計劃

• 數據開發計劃實施規劃將于 2022 年初到期
• 與數據利用框架戰略計劃（2022 年）密切相關
• 聯盟范圍內的參與、協調與協作（北約企業和國家）
• 有效交付需要立即實施行動

摘要

任務規劃對于建立成功執行任務所需的形勢意識至關重要。全面的計劃有助于預測不同的情況，這一點尤其重要，因為威脅的多樣性和復雜性會增加。規劃過程是團隊的努力，需要收集、分析相關信息并將其整合到一個全面的計劃中。由于第5代平臺、傳感器和數據庫生成的大量信息，這些過程面臨壓力。

本文描述了初始直升機任務規劃環境的創建，在該環境中，來自不同來源的數據被整合、分析和可視化。參與規劃過程的所有人員都可以查看所有可用信息并與之交互。算法處理傳入的數據，為計劃的特定部分提供潛在的解決方案。交互式可視化有助于直觀理解輸入數據和算法輸出，而交互式增強現實環境有助于有效協作。

集成系統和算法是未來智能協作任務規劃的重要組成部分，因為它們可以有效處理與第5代平臺相關的大量多樣的數據流。結合直觀的可視化和協作，這使工作人員能夠構建靈活且響應迅速的操作所需的共享SA。

摘要

北約正在進行一項名為聯邦任務網絡（FMN）的重大舉措，旨在在北約成員國和伙伴國家之間建立一個共同的技術和培訓基礎，以便在聯盟行動需要時，他們的部隊能夠對關鍵信息系統進行互操作。FMN不是網絡；它是一套互操作的標準和實踐。作者正在領導MSG-193專家團隊的工作，該團隊一直致力于支持在FMN中納入適當的建模和仿真 (M&S) 標準和實踐。本文總結了FMN規范是如何制定的，包括MSG-193作為“M&S辛迪加”在過程中的作用。然后，該論文強調了NMSG的科學技術與FMN支持的軍事行動之間的文化差距，以及如何有效彌合這種差距。FMN開發的第5和第6螺旋（階段）將是建模和仿真的主要重點，包括任務演練、培訓和決策支持。本文最后總結了當前針對這些螺旋的建議中的M&S技術。

摘要

步兵模擬（IWARS）是一個實體級的戰斗模擬，通常用于估計使用不同裝備（包括手榴彈和榴彈發射器）造成的作戰效能差異。當一枚模擬手榴彈在IWARS中爆炸時，對附近人員的影響是通過查詢一個高分辨率模型預先計算出的喪失能力的概率值來確定的。這個值取決于許多因素，因此需要一個大的查詢表，可能會超過數據庫的最大容量。為了解決這個問題，創建了一個神經網絡輸入選項，讓分析師有機會使用高度壓縮的數據而不犧牲準確性或運行時間。以前的壓縮技術要么不太準確，要么提供較低的壓縮率。
這項研究是在2019財年進行的，是題為 "機器學習技術協助生成項目級性能估計，用于班級和士兵級作戰評估 "的研究的一部分。該研究的另一半將在另一份報告中討論。在這一半的研究中，梯度增強的決策樹被用來成功地預測人類主題專家（SMEs）的代理決定。(當所要求的系統沒有數據時，一個類似的系統通常被用作代用。) 訓練有素的決策樹模型可以用來為未來的數據請求建議代理，減少滿足這些請求所需的時間并提高所提供數據的準確性。

簡介

背景

步兵模擬（IWARS）是一個實體級的戰斗模擬，重點是下馬的士兵、班和排，通常被陸軍用來估計使用不同裝備造成的作戰效率的差異。特別是，IWARS被用來比較不同手榴彈和榴彈發射器的有效性[1, 2, 3]，幫助指導這些系統的開發和采購。

問題陳述

當一個模擬的手榴彈在IWARS中爆炸時，對附近人員的影響是通過查詢一個高分辨率模型預先計算出來的喪失能力的概率（P（I））值來確定的。P(I)值取決于許多因素，包括目標的姿態、防彈衣和任務（攻擊或防御），以及彈藥的下落角度、爆炸高度、爆炸到目標的范圍、爆炸到目標的方位角和爆炸后的時間。由于有這么多的因素，P(I)查詢表可能非常大。事實上，一個高分辨率的查詢表往往太大，無法裝入IWARS數據庫的最大容量約150兆字節。
為了解決這個問題，分析人員可以將IWARS數據庫分成更小的部分。例如，對12種新型空爆手榴彈的分析可以通過建立12個IWARS數據庫來進行，每種手榴彈一個數據庫。如果描述一種手榴彈的殺傷力數據太大，或者在特定情況下需要一種以上的手榴彈，但只有一種手榴彈的殺傷力數據可以放入一個數據庫，那么這種策略就會失敗。此外，即使這種策略是可行的，也有缺點：任何額外的數據庫變化都必須被鏡像12次，而且數據庫的大小會降低IWARS和數據庫編輯工具的速度。
另外，分析人員可以通過使用低分辨率的P(I)數據來規避數據庫的大小限制。這通常是通過刪除某些突發高度和突發到目標的范圍，并將突發到目標的方位角組的P(I)值平均化來實現的。這降低了模擬的準確性，也降低了對結果的信心。

目的

本文的目的是記錄這個問題的一個新的解決方案，這個方案在所有情況下都有效，而且幾乎沒有精度損失或模型運行時間的增加。它可以描述如下：
1.訓練人工神經網絡來學習P(I)值。然后，神經網絡的參數值將對原始P(I)數據進行編碼，從而對其進行壓縮。
2.在IWARS中重新創建這些神經網絡，以便在需要時估計P(I)值。

摘要

現代戰爭的特點是復雜性越來越高，敵手聰明且技術優良。為了解決現代戰爭的一些復雜性，基于機器學習(ML)的技術最近為戰場上的自動化任務提供了合適的手段。然而，配備了ML技術的聰明敵人不僅在戰場上參與公平競爭，而且還利用欺騙和隱蔽攻擊等策略，制造惡意方法來破壞ML算法，獲得不公平的優勢。為了應對這些威脅，自動化戰場系統上使用的ML技術必須能夠強大地抵御敵方的攻擊。

我們在一種稱為“示范學習”(LfD)的強化學習算法的背景下，分析了競爭場景中的對抗學習問題。在LfD中，學習智能體觀察由專家完成的操作演示，以學習快速有效地執行任務。LfD已成功應用于軍事行動，如使用機器人團隊進行自主搜索和偵察，或自主抓取拆除簡易爆炸裝置。然而，惡意的敵人可以通過植入敵對的專家來利用LfD，這些專家要么給出不正確的演示，要么修改合法的演示，從而使學習智能體在任務中失敗。為了解決這個問題，我們首先分析了在LfD框架內對抗專家可以使用的不同的演示修改策略，根據對手的修改成本和修改學習代理對任務性能的影響。然后，我們提出了一個新的概念，利用對手和學習智能體之間的博弈，學習智能體可以使用LfD從潛在的對手專家演示中戰略性地學習，而不顯著降低其任務性能。在AI-Gym環境中，我們對提出的魯棒學習技術進行了評估，該技術通過對雅達利類游戲“LunarLander”中的專家演示進行對抗性修改。

圖1所示。(左)使用LfD學習自動駕駛設置時敵對軌跡對策略的影響。(右)在我們提出的方法中，干凈(綠色)和對抗(紅色)軌跡首先是等分的。然后，在使用選項(金虛線)接受或拒絕軌跡部分后，對每個分區學習策略，或對未分區的軌跡使用傳統的強化學習(藍虛線)。

對抗性專家演示框架

我們考慮這樣一個場景，學習智能體必須通過從專家給出的任務演示(LfD)中進行強化學習來在環境中執行任務。一些專家可能是敵對的，并修改軌跡演示的意圖，使學習智能體不能正確執行任務，而遵循修改的演示。在本文的其余部分中，為了便于閱讀，我們將對抗性專家稱為專家。LfD框架采用馬爾可夫決策過程(MDP)[12]進行形式化。LfD算法的輸出是一個策略，該策略為執行任務提供狀態到動作映射。RL通過一個叫做訓練的過程學習策略，在這個過程中，它探索環境，觀察在探索過程中收到的狀態-行為-獎勵配對，最后選擇一系列導致更高期望獎勵的狀態-行為-獎勵配對作為它的策略。

專家們的演示以被稱為軌跡的狀態-行動-獎勵元組序列的形式給出。專家軌跡可能是良性的，也可能是敵對的。良性和敵對的專家軌跡分別展示了完成任務的正確和不正確的方式，并幫助或阻礙了學習智能體學習執行任務。專家演示被整合到智能體的學習中，使用名為DAGGER[1]的LfD算法執行任務。DAGGER使用來自專家演示軌跡的監督學習來學習策略，但添加了一個權重參數β，該參數表示學習主體在將軌跡納入其學習策略時的權重或信任度。

算法1。學習器用來接受或拒絕軌跡演示的算法。

算法2。由專家用來修改干凈軌跡的算法。

?

對于群體智能中的人類操作員來說，關鍵情況下的決策支持至關重要。自主系統共享的大量數據很容易使人類決策者不堪重負，因此需要支持以智能方式分析數據。為此，使用了用于評估情況和指示可疑行為或統計異常值的自主系統。這增強了他們的態勢感知能力并減少了工作量。因此，在這項工作中，強調為檢測監視任務中的異常而開發的數據融合服務，例如在海事領域，可以適應支持集群智能的運營商。此外，為了使人類操作員能夠理解群體的行為和數據融合服務的結果，引入了可解釋的人工智能 (XAI) 概念。通過為某些決策提供解釋，這使得自主系統的行為更容易被人類理解。

作者解決了由于自主系統共享大量數據而導致的信息過載問題。為了緩解這個問題，他們建議通過兩種智能數據分析方式來幫助人類操作員。第一種方法是自動異常檢測，這可能會加強人類操作員的 態勢感知SA 并減少他們的工作量。第二種方法是可解釋的人工智能 (XAI) 概念；它們有可能使群體行為以及異常檢測結果更易于理解。

作者認為，控制一群無人機仍然具有挑戰性。一方面，（半自動化）群體代理“必須決定行動方案”；另一方面，人類操作員必須決定他們的行動，例如與群體互動。提出的建議力求改善人在循環中。考慮到海上監視的應用，使用非固定代理的動態方法具有幾個優點。首先，某些場景只能使用動態方法進行管理；其次，與固定監視傳感器相比，代理更便宜；第三，在多個地點靈活使用代理可以減少操作群體所需的人員數量。然而，情況評估仍然需要知情的操作員。

作者認為，在海洋領域用于船舶分析的異常檢測算法可能適用于引入以下場景的群體。“假設我們有一個群體來支持海上船只，這些船只不僅會收集它們自己的傳感器系統可用的數據，還會收集所有資產的數據。所有來源收集的信息都需要融合成一幅連貫的畫面。這不應僅限于 JDL 數據融合的第一級，而應包括更高級別的數據融合過程，以獲取有關附近所有對象的可用信息。” 數據驅動的方法能夠應對這種情況。文獻提供了三種檢測位置和運動異常的方法：統計解釋為與正常行為相比的異常值；聚類分析聚類相似的軌跡和確切的路線；用于建模正常移動模式的深度學習方法。為了應對更復雜的場景，包括船舶周圍環境（基礎設施、地理、天氣等）在內的算法是必要的。在某些復雜異常的情況下，區分正常和異常行為需要基于規則、基于模糊、多智能體或基于概率圖形模型的算法。對于所有提到的算法類別，作者都指出了大量的示例算法。

一些算法是黑盒模型，因此，它們的解釋對于人類操作員來說是復雜的。XAI 概念可以幫助緩解這個問題。XAI 概念旨在“提供道德、隱私、信心、信任和安全”，并努力在“它已經做了什么、現在正在做什么以及接下來會發生什么”中明確決策。，從而提高了人工操作員的 SA。考慮到 XAI 模型，模型特定方法（僅限于某些數學模型）可以與模型無關（適用于任何類型的模型）方法區分開來。

在目前的貢獻中，重點是與模型無關的方法。考慮到這些，局部解釋方法（解釋整個模型的單個預測結果）可以與全局解釋方法（解釋整個模型的行為，例如以規則列表的形式）區分開來。此外，作者使用特征屬性、路徑屬性和關聯規則挖掘來區分方法。通過特征屬性，“用戶將能夠了解他們的網絡依賴于哪些特征”；方法示例是提供全局和局部可解釋性的 Shapley Additive Explanations (SHAP) 和指示“模型在進行預測時考慮的輸入特征” 的局部可解釋模型無關解釋 (LIME)。路徑集成梯度（PIG，使用局部解釋）等路徑屬性提供了對模型預測貢獻最大的特征，從而深入了解導致決策的推理。關聯規則挖掘（ARM）是另一種使用全局解釋的方法，發現大型數據集中特征之間的相關性和共現。ARM 方法使用簡單的 if-then 規則，因此被認為是最可解釋的預測模型。可伸縮貝葉斯規則列表 (SBRL)、基尼正則化 (GiniReg) 和規則正則化 (RuleReg) 技術被認為適用于監視任務。

作者認為，使用這樣的 XAI 概念，人類操作員（決策者）可以更好地理解、更好地控制和更好地與一群自主代理進行通信，尤其是在具有挑戰性的環境中。總而言之，將異常檢測和 XAI 概念這兩種方法應用于人類在環、用戶對群體智能的理解和信任可能會得到改善。

本報告描述了北約第一個多領域小組IST-173所取得的成果。與會者包括來自不同小組和團體的科學家，以及來自北約機構和軍事利益攸關方、學術界和工業界的科學家，這為AI和軍事決策大數據這一主題創造了第一個利益共同體。該團隊在實踐中證明了一種新的STO方法的可行性，即任務導向研究，以激發公開對話、自我形成的研究合作和跨小組活動。此外，該方法還有助于為人工智能和軍事決策大數據這兩個主要能力領域聯合開發北約首個科技路線圖，以應對北約在這些領域面臨的作戰挑戰。由于新的組織(軍事利益相關者積極參與的多領域團隊)和這種創新方法的應用，確定了一些經驗教訓，應該支持軍事決策AI和大數據的進一步操作。

海軍艦艇是由多個組織組成的復雜機構，這些組織必須在不影響效率和戰備狀態的情況下順利交互和外部交流。隨著后勤挑戰的增加和技術推動響應時間的增加，因此引入最先進的計算方法至關重要，用于分析互聯系統和針對不同事件進行分析。

美國海軍研究生院專家引入了一個名為LAILOW的框架：學習、優化和兵棋推演。LAILOW利用復雜機構中多個來源產生的數據，基于數據挖掘、機器學習和預測算法，分析和發現模式、規則和異常。接著LAILOW的輸出結果可以用來優化業務流程和行動方案。展示了使用LAILOW框架的三個用例。使用LAILOW框架，搜索主要艦艇設備維護和供應系統的脆弱性，以進行困難測試，并相應地提出彈性和新穎的解決方案。詞法鏈接分析（LLA）作為LAILOW的一部分，以提高與C4I系統相關的海軍艦艇關鍵部件失效概率的預測精度，用于NAVWARSYSCOM的預測風險備用矩陣（PRiSM）產品中。還展示了LLA對財務受限工作隊列（FRWQ）中的優先項目與基線計算的比較。