摘要

由HAVELSAN公司開發的虛擬環境中的部隊（FIVE）模擬器軟件，利用各種虛擬戰爭設備（如武器、傳感器和通信工具等），以安全和具有成本效益的方式提供全面的戰術和行動訓練環境。目前，管理FIVE實體的行為模型高度依賴于由現場專家和系統工程師開發的基于規則的行為。然而，FIVE軟件的基于規則的操作需要密集的編程和現場專家的指導，因此是高度勞動密集型。此外，這項任務的復雜性和負擔隨著場景的復雜性而大大增加。此外，具有基于規則的行為的虛擬實體對其環境有標準和可預測的反應。因此，在這項研究中，我們通過強化學習技術和其他機器學習技術，即FIVE-ML項目，提出了從基于規則的行為到基于學習的自適應行為的過渡研究。為此，我們主要對空對空和空對地兩種情況下的六個虛擬實體進行了基于強化學習的行為模型訓練。據觀察，用強化學習訓練的虛擬實體主導了現有的基于規則的行為模型。在這些實驗中，我們還發現，在強化學習之前，利用監督學習作為起點，可以大大減少訓練時間，并創造出更真實的行為模型。

引言

今天，培訓將使用飛機的飛行員是最重要的。用真實的飛機訓練飛行員是相當困難的，原因包括空域法規、過高的成本和訓練中可能出現的風險，以及創造真實世界場景的復雜性，包括對手或盟友使用的真實防御和戰爭平臺。飛行員訓練中使用的飛行模擬經常與戰術環境模擬結合在一起工作。通過這些戰術環境模擬，飛行員通過控制高保真飛機模型在許多低保真實體的存在下完成場景的訓練。這些低保真資產由計算機創建和控制，通常被命名為計算機生成的部隊（CGF）[1]，它們是代表空中、陸地或海上防御或攻擊系統的自主單位。

CGFs被用于人員部署的準備過程、戰術訓練或新戰略的開發。CGFs需要為每個應用（或每個場景）進行不同的編程。這些由傳統方法創造的力量會導致非適應性和不靈活的行為模式。這導致學生在靜態編程的資產面前接受模擬訓練，降低了訓練的質量。當需要新的場景時，需要專家來創建新的場景。此外，由于情景創建將使用經典的控制分支進行，在創建新情景的過程中，考慮所有的可能性往往是不可行的，即使是可能的，也是一項相當有挑戰性的任務。由于這些原因，人們越來越需要更真實的虛擬環境和新的場景來適應不斷變化的世界，以模擬飛行員候選人自己的任務和敵對部隊的當前能力和戰術。

在這項研究中，提出了向以人工智能為導向的行為建模過渡，而不是傳統的特定場景建模，以此來解決前面描述的問題。換句話說，虛擬實體將被轉化為能夠學習的動態虛擬實體。但這些虛擬實體在訓練過程中需要考慮許多情況。首先，他們必須學會對他們用傳感器感知到的環境因素作出適當的反應。然后，它必須識別他的隊友和敵人，并根據他們的等級信息和附加在他們身上的彈藥類型采取行動。它應該能夠與他的隊友合作，采取團隊行動。

為虛擬資產添加智能的機器學習的首選方法是強化學習（RL）[2]，其根本原因是：實體將采取的行動有延遲的后果。近年來，與傳統的控制方法相比，RL被認為是解決復雜和不可預測的控制問題的新方法，并在許多領域得到利用，如機器人、計算機視覺、自動駕駛、廣告、醫學和保健、化學、游戲和自然語言處理[3]-[9]。自從將深度學習引入RL概念（即深度RL[10]）后，文獻中的研究得到了提升，如許多具有挑戰性的計算機視覺和自然語言處理任務[11]-[15]。

為了這個目的，在這項研究中（即FIVE-ML），已經實現了從HAVELSAN FIVE軟件的基于規則的行為模型向基于RL的行為模型過渡的第一階段實驗。從這些實驗中可以看出，用RL算法訓練的智能虛擬實體在空對空和空對地的情況下都優于HAVELSAN現有的基于規則的實體。此外，模仿學習[16]、[17]和RL的聯合實施也取得了成功，這加快了FIVE軟件的完整過渡過程。

可以預見，通過學習飛行員候選人的選擇來開發新策略的模擬將把飛行員培訓帶到一個非常不同的點。當項目完成后，將設計一個新的系統，允許在其領域內培訓更多裝備和專業的戰斗機飛行員。一個現有的基于規則的場景系統將演變成一個可以自我更新的系統。因此，飛行員候選人將有機會針對智能實體發現的新策略來發展思路，而不是滿足于該領域的專家的知識和經驗。此外，從一個經過大量努力準備的場景機制，計算場景自動化機制將使整個過程自動化。

摘要

今天的戰場正在經歷一場由建立在人工智能和機器學習等方法和手段上的智能系統（IS）帶來的軍事事務革命。這些技術有可能從根本上改變戰場的性質，為用戶提供更好的數據，使其能夠更好、更快地做出決定。雖然這些技術具有巨大的潛力，但它們在被作戰人員、軍事領導層和政策制定者廣泛采用方面面臨巨大障礙。

混合戰爭的戰場是一個危險的環境。基于信息系統的決策支持，提供計算機生成的預測或建議，必須與現實世界的巨大后果抗衡。不幸的是，智能系統所固有的復雜性和多維性往往使傳統的驗證和確認工作（如可追溯性分析）變得不可能。此外，由于智能系統的典型的不透明性，用戶經常面臨著可能有廣泛的道德和倫理問題的決策。戰士們可能不愿意將自己或他人的生命交到決策不透明的系統手中。將軍們可能會擔心為失敗承擔責任。政策制定者可能會擔心他們的政治前途。這些對信任和采用先進系統的挑戰，如果不直接理解和系統地克服，將可能使西方軍隊與那些對使用先進系統不那么擔心的對手相比處于非常不利的地位。

無數的研究工作提供了關于人們何時信任技術系統并采用它們的觀點。然而，這些觀點中很少有專門針對基于智能系統的技術的，更少的是針對軍事應用中的高風險環境和獨特需求，特別是混合戰爭的背景。

本文提供了一個關于信任和接受技術的混合模型概述，它將幫助開發者和設計者建立系統，以提高對軍事應用先進智能系統的信任和接受。具體來說，我們的方法借鑒了多個經驗證的計算行為科學信任模型，以及經驗證的技術接受框架。我們的混合模型旨在支持快速的現場測試，為提高先進軍事智能系統的信任度和接受度提供一個應用的、計算上有效的框架。

摘要

建模與仿真（M&S）是作戰分析人員用來支持決策者的一種關鍵方法，因為它有能力對復雜的問題提供清晰的見解。鑒于其好處，許多北約國家和北約內部的組織擁有大量的M&S專業知識，并將其應用于廣泛的問題。然而，這些模擬，特別是那些具有高度復雜性的模擬，可能是昂貴的，開發和驗證需要時間，并且需要專業知識和資源來使用。雖然在整個北約共享這些專業知識和這些模擬可能會導致更有效的決策支持，但它充滿了障礙，包括與項目時間表有關的時間壓力、知識產權，有時還需要共享機密材料。克服這些障礙將有助于北約從整個聯盟的M&S投資和專業知識中獲得應有的決策優勢。然而，為了克服這些障礙，需要有切實可行的解決方案。

在本文中，我們概述了MSG-SAS-178的工作，其目的是開發一種方法來減少這些障礙。我們討論了該小組的兩個主要貢獻。首先，該小組對北約內部共享M&S軟件、資源和模擬本身的常見障礙進行了識別和分類。其次，我們提出了一個障礙交換框架，在考慮數據、軟件、供應商和決策者等多個方面的障礙時，它可以作為決策支持工具。該框架提供了一種可操作的方式，通過仔細考慮模型和數據交換的要求以及交換帶來的障礙來塑造合作。這使得整個聯盟的M&S共享得到加強。

引言

幾十年來，建模與仿真（M&S）已被成功地用于支持北約的決策，是一種關鍵的分析能力。應用的領域包括先進的作戰計劃、基于能力的計劃、能力和/或概念開發，以及支持實驗和戰爭游戲。M&S有多種形式，從設計多年的大型復雜戰役模擬，到為單一目的快速建立的模擬。大型復雜模型的開發和維護成本很高，而且許多模型需要專家的專業知識，而這些專業知識是供不應求的。成本和所需的專業知識使M&S成為北約集體能力和合作意愿的一個領域，應使聯盟比其對手更有優勢。

通常情況下，有四個來源可以提供模擬服務。(1）北約實體，（2）國家政府，（3）工業，和（4）學術界。這四個方面都有專業知識、工具和數據。專業知識和工具的開發和維護可能是昂貴和費時的，特別是在專業或利基領域。對于數據來說，國防中使用的分類級別可能是一個問題，限制了工業界和學術界，并影響了國家和北約層面的共享。

北約實體和國家政府已經成為北約仿真服務的首選。在北約內部簽訂服務合同相對容易，但經驗表明，與國家政府或其他實體簽訂合同則充滿了困難。在整個北約提供模擬服務方面存在障礙，導致爐灶和低效率。在北約的科學和技術組織（STO）下，2019年啟動了一個聯合建模與仿真小組（MSG）和系統分析與研究（SAS）活動（MSG-SAS-178）。該活動的目的是考慮如何克服障礙，使北約及其所有成員受益。本文討論了該小組的兩個主要貢獻。首先，該小組對在北約內部共享M&S軟件、資源和模擬本身的共同障礙進行了識別和分類。第二，一個障礙交換框架，在考慮數據、軟件、供應商和決策者等多個方面的障礙時，可作為決策支持工具。該框架提供了一種可操作的方式，通過仔細考慮模型和數據交換的要求以及交換帶來的障礙，來塑造合作并為成功創造條件。這使得整個聯盟的M&S共享得到加強。

本文的其余部分組織如下。第2節概述了本研究中使用的方法。接下來，第3節討論了共享的障礙：首先是通過對知識共享文獻的回顧而發現的障礙，其次是通過MSG-SAS-178活動而發現的與北約內部和國家之間共享模擬有關的障礙。第4節介紹了一種引導模型和數據交換的方法，這也許是國防領域最重要的一組障礙。從MSG-SAS-178更詳細的案例研究庫中，我們介紹了數據和模型交換框架如何在現實世界的場景中使用。第5節提供了結論意見。

摘要

在高保真飛行模擬器中訓練軍事飛行員是現場訓練的常見替代方案，但這些高保真模擬器價格昂貴且受地點限制。VR技術為更靈活和低成本的模擬器培訓創造了機會。然而，軍事飛行員訓練的一個重要部分是通過與駕駛艙進行物理交互來管理飛機及其系統，而這對于常用的類似游戲VR控制器來說是不可能的。

本文描述了基于VR的戰術訓練模擬概念的開發，在該概念中，飛行員不僅可以看到和聽到訓練環境，而且由于系統會檢測并響應飛行員的輸入，因此還可以在高度真實的水平上感受和身體互動。該技術將交互檢測技術和3d打印駕駛艙儀器結合在一起，使物理和虛擬世界的沉浸式比賽成為可能。這可以讓飛行員在沉浸于VR的同時，以一種自然的方式操作飛機。

虛擬駕駛艙通過使用創新的沉浸式技術為操作員提供高保真、靈活且經濟實惠的培訓解決方案。飛行員在評估概念時的積極反饋證實了這一點。

摘要

北約正在進行一項名為聯邦任務網絡（FMN）的重大舉措，旨在在北約成員國和伙伴國家之間建立一個共同的技術和培訓基礎，以便在聯盟行動需要時，他們的部隊能夠對關鍵信息系統進行互操作。FMN不是網絡；它是一套互操作的標準和實踐。作者正在領導MSG-193專家團隊的工作，該團隊一直致力于支持在FMN中納入適當的建模和仿真 (M&S) 標準和實踐。本文總結了FMN規范是如何制定的，包括MSG-193作為“M&S辛迪加”在過程中的作用。然后，該論文強調了NMSG的科學技術與FMN支持的軍事行動之間的文化差距，以及如何有效彌合這種差距。FMN開發的第5和第6螺旋（階段）將是建模和仿真的主要重點，包括任務演練、培訓和決策支持。本文最后總結了當前針對這些螺旋的建議中的M&S技術。

摘要

建模和仿真有助于德國武裝部隊后勤的數字化，必須提供靈活性和穩健性等因素，以識別后勤鏈中的風險和弱點。 ESG，作為一家擁有多年軍事經驗的德國軍事技術公司，我們展示了成功的仿真和分析項目（例如，“以歐洲戰斗機為例，預測德國空軍的作戰能力”或“基于仿真的醫療救援鏈分析”），并提出進一步的行動方向，例如基于仿真的分析，以優化軍事供應鏈中的加法生產或自主系統的最佳概念。通過對軍事供應鏈使用后勤仿真，可以檢查和優化其穩健性和可持續性。這種基于數據的決策支持方法（工具 AnyLogic，德國聯邦國防軍基于仿真的分析指南和模型檔案）。它聚焦于一個關鍵問題，例如“在某些參數/因素/影響下，系統的材料運行準備情況如何更高概率的為在未來發展，以及什么可以提高系統的性能？”如本講座所述那樣提供各種優勢。

圖2-1 模型開發流程

圖2-2 系統結構

摘要

成功完成地下作業需要高度專業化的能力和由最新工具輔助的準確規劃。奧地利軍事學院的NIKE研究小組旨在為這些非常特殊的作戰環境提供決策、規劃和培訓。3D模型、平面圖、地圖或激光掃描等異構數據源的快速數據集成和可視化，以及從地下結構內部的傳感器和攝像頭收集的操作員信息，提供了虛擬進入通常看不見的裝置的可能性。BORIS（基于瀏覽器的空間定向）初始HTML模型、地下作業任務工具 (SOMT) 或快速隧道建模工具 (FTMT) 等專用工具通過創建虛擬的地下任務區域來提高快速可視化。在擴展現實 (XR) 應用程序中，改進的空間理解顯著改善了決策，并支持同步任務規劃和執行。由于地下服務結構的運營商和行動部隊之間的密切合作和信息交流是成功的先決條件，所有相關因素和行動者的整合將大大增加全面合作。該項目通過在真正全面的通用作戰圖中顯示相關信息來增強通用視角，從而實現更準確和精確的行動，減少自身損失和附帶損害。

摘要

步兵模擬（IWARS）是一個實體級的戰斗模擬，通常用于估計使用不同裝備（包括手榴彈和榴彈發射器）造成的作戰效能差異。當一枚模擬手榴彈在IWARS中爆炸時，對附近人員的影響是通過查詢一個高分辨率模型預先計算出的喪失能力的概率值來確定的。這個值取決于許多因素，因此需要一個大的查詢表，可能會超過數據庫的最大容量。為了解決這個問題，創建了一個神經網絡輸入選項，讓分析師有機會使用高度壓縮的數據而不犧牲準確性或運行時間。以前的壓縮技術要么不太準確，要么提供較低的壓縮率。
這項研究是在2019財年進行的，是題為 "機器學習技術協助生成項目級性能估計，用于班級和士兵級作戰評估 "的研究的一部分。該研究的另一半將在另一份報告中討論。在這一半的研究中，梯度增強的決策樹被用來成功地預測人類主題專家（SMEs）的代理決定。(當所要求的系統沒有數據時，一個類似的系統通常被用作代用。) 訓練有素的決策樹模型可以用來為未來的數據請求建議代理，減少滿足這些請求所需的時間并提高所提供數據的準確性。

簡介

背景

步兵模擬（IWARS）是一個實體級的戰斗模擬，重點是下馬的士兵、班和排，通常被陸軍用來估計使用不同裝備造成的作戰效率的差異。特別是，IWARS被用來比較不同手榴彈和榴彈發射器的有效性[1, 2, 3]，幫助指導這些系統的開發和采購。

問題陳述

當一個模擬的手榴彈在IWARS中爆炸時，對附近人員的影響是通過查詢一個高分辨率模型預先計算出來的喪失能力的概率（P（I））值來確定的。P(I)值取決于許多因素，包括目標的姿態、防彈衣和任務（攻擊或防御），以及彈藥的下落角度、爆炸高度、爆炸到目標的范圍、爆炸到目標的方位角和爆炸后的時間。由于有這么多的因素，P(I)查詢表可能非常大。事實上，一個高分辨率的查詢表往往太大，無法裝入IWARS數據庫的最大容量約150兆字節。
為了解決這個問題，分析人員可以將IWARS數據庫分成更小的部分。例如，對12種新型空爆手榴彈的分析可以通過建立12個IWARS數據庫來進行，每種手榴彈一個數據庫。如果描述一種手榴彈的殺傷力數據太大，或者在特定情況下需要一種以上的手榴彈，但只有一種手榴彈的殺傷力數據可以放入一個數據庫，那么這種策略就會失敗。此外，即使這種策略是可行的，也有缺點：任何額外的數據庫變化都必須被鏡像12次，而且數據庫的大小會降低IWARS和數據庫編輯工具的速度。
另外，分析人員可以通過使用低分辨率的P(I)數據來規避數據庫的大小限制。這通常是通過刪除某些突發高度和突發到目標的范圍，并將突發到目標的方位角組的P(I)值平均化來實現的。這降低了模擬的準確性，也降低了對結果的信心。

目的

本文的目的是記錄這個問題的一個新的解決方案，這個方案在所有情況下都有效，而且幾乎沒有精度損失或模型運行時間的增加。它可以描述如下：
1.訓練人工神經網絡來學習P(I)值。然后，神經網絡的參數值將對原始P(I)數據進行編碼，從而對其進行壓縮。
2.在IWARS中重新創建這些神經網絡，以便在需要時估計P(I)值。

?

對于群體智能中的人類操作員來說，關鍵情況下的決策支持至關重要。自主系統共享的大量數據很容易使人類決策者不堪重負，因此需要支持以智能方式分析數據。為此，使用了用于評估情況和指示可疑行為或統計異常值的自主系統。這增強了他們的態勢感知能力并減少了工作量。因此，在這項工作中，強調為檢測監視任務中的異常而開發的數據融合服務，例如在海事領域，可以適應支持集群智能的運營商。此外，為了使人類操作員能夠理解群體的行為和數據融合服務的結果，引入了可解釋的人工智能 (XAI) 概念。通過為某些決策提供解釋，這使得自主系統的行為更容易被人類理解。

作者解決了由于自主系統共享大量數據而導致的信息過載問題。為了緩解這個問題，他們建議通過兩種智能數據分析方式來幫助人類操作員。第一種方法是自動異常檢測，這可能會加強人類操作員的 態勢感知SA 并減少他們的工作量。第二種方法是可解釋的人工智能 (XAI) 概念；它們有可能使群體行為以及異常檢測結果更易于理解。

作者認為，控制一群無人機仍然具有挑戰性。一方面，（半自動化）群體代理“必須決定行動方案”；另一方面，人類操作員必須決定他們的行動，例如與群體互動。提出的建議力求改善人在循環中。考慮到海上監視的應用，使用非固定代理的動態方法具有幾個優點。首先，某些場景只能使用動態方法進行管理；其次，與固定監視傳感器相比，代理更便宜；第三，在多個地點靈活使用代理可以減少操作群體所需的人員數量。然而，情況評估仍然需要知情的操作員。

作者認為，在海洋領域用于船舶分析的異常檢測算法可能適用于引入以下場景的群體。“假設我們有一個群體來支持海上船只，這些船只不僅會收集它們自己的傳感器系統可用的數據，還會收集所有資產的數據。所有來源收集的信息都需要融合成一幅連貫的畫面。這不應僅限于 JDL 數據融合的第一級，而應包括更高級別的數據融合過程，以獲取有關附近所有對象的可用信息。” 數據驅動的方法能夠應對這種情況。文獻提供了三種檢測位置和運動異常的方法：統計解釋為與正常行為相比的異常值；聚類分析聚類相似的軌跡和確切的路線；用于建模正常移動模式的深度學習方法。為了應對更復雜的場景，包括船舶周圍環境（基礎設施、地理、天氣等）在內的算法是必要的。在某些復雜異常的情況下，區分正常和異常行為需要基于規則、基于模糊、多智能體或基于概率圖形模型的算法。對于所有提到的算法類別，作者都指出了大量的示例算法。

一些算法是黑盒模型，因此，它們的解釋對于人類操作員來說是復雜的。XAI 概念可以幫助緩解這個問題。XAI 概念旨在“提供道德、隱私、信心、信任和安全”，并努力在“它已經做了什么、現在正在做什么以及接下來會發生什么”中明確決策。，從而提高了人工操作員的 SA。考慮到 XAI 模型，模型特定方法（僅限于某些數學模型）可以與模型無關（適用于任何類型的模型）方法區分開來。

在目前的貢獻中，重點是與模型無關的方法。考慮到這些，局部解釋方法（解釋整個模型的單個預測結果）可以與全局解釋方法（解釋整個模型的行為，例如以規則列表的形式）區分開來。此外，作者使用特征屬性、路徑屬性和關聯規則挖掘來區分方法。通過特征屬性，“用戶將能夠了解他們的網絡依賴于哪些特征”；方法示例是提供全局和局部可解釋性的 Shapley Additive Explanations (SHAP) 和指示“模型在進行預測時考慮的輸入特征” 的局部可解釋模型無關解釋 (LIME)。路徑集成梯度（PIG，使用局部解釋）等路徑屬性提供了對模型預測貢獻最大的特征，從而深入了解導致決策的推理。關聯規則挖掘（ARM）是另一種使用全局解釋的方法，發現大型數據集中特征之間的相關性和共現。ARM 方法使用簡單的 if-then 規則，因此被認為是最可解釋的預測模型。可伸縮貝葉斯規則列表 (SBRL)、基尼正則化 (GiniReg) 和規則正則化 (RuleReg) 技術被認為適用于監視任務。

作者認為，使用這樣的 XAI 概念，人類操作員（決策者）可以更好地理解、更好地控制和更好地與一群自主代理進行通信，尤其是在具有挑戰性的環境中。總而言之，將異常檢測和 XAI 概念這兩種方法應用于人類在環、用戶對群體智能的理解和信任可能會得到改善。