不斷發展的顛覆性技術被證明是軍事領域的游戲規則改變者，并正在改變戰爭的特征。新技術大大縮小了部隊與指揮和控制之間的空間、時間和信息差距。戰略和戰役層面的直接接觸戰正在逐漸成為過去。對敵人的遠程非接觸性影響成為實現戰斗和行動目標的主要方式。軍事機器人可以在所有的戰爭行動和所有的地形中發揮重要作用。世界上領先的軍隊正在開發機器人技術，使他們在戰場上獲得決定性的優勢。印度的對手正在開發這種技術，以便在未來的戰斗中充當力量倍增器。這項技術的發展對印度陸軍至關重要，因為它具有巨大的潛力，可以使地面上的士兵以更有效的方式執行其任務。它在巡邏、監視、掩蔽區的行動、探測和消除爆炸裝置、提高生存能力、后勤支持和軍事設施的安全方面的應用需要得到利用。完全自主的挑戰需要分析，但士兵與機器人的合作是一項可能的任務，特別是在印度的條件下。利用機器人技術將拯救寶貴的人類生命，但不一定能取代士兵，因為邊境的兩個戰線上都需要有地面部隊。為半自主士兵-機器人協作量身定做的解決方案值得關注，也是印度陸軍未來長期需求的必要條件。

中心思想

印度陸軍不可避免地需要分析和發展機器人能力，以便在戰場上為其提供決定性的優勢。本文分析了與該技術有關的各個方面，它的應用及它在各種地形中的應用，發展和應用中的挑戰，并為印度陸軍提供建設性的建議。

機器人軍事技術

機器人和人工智能（AI）是技術和認知智能的結合，用于模擬、處理信息和知識，在機器中建立模仿人類行為的能力。它是一種變革性的技術，在軍事領域有巨大的應用。軍用機器人是自主機器人或遙控移動機器人，設計用于監視、后勤、安全和攻擊性任務等軍事應用。這種軍用機器人是用若干代碼和算法組裝而成的。人工智能將在未來的戰爭中發揮更大的作用，使戰場機器人化，但并不完全否定人類參與的必要性。因此，人工智能、相關硬件、傳感器和控制機器人的綜合網絡構成了軍用機器人執行軍事任務的關鍵因素。根據要求，軍用機器人可以開發出不同的形狀和尺寸，它們可以是遠程控制的，也可以是完全自主的。根據應用，機器人可以被開發為攜帶不同類型的有效載荷。根據應用要求，傳感器、探測器、武器、編程軟件和其他有效載荷可以裝備在軍事用途的機器人上。 軍用機器人可大致分為無人駕駛航空器（UAV）、無人駕駛地面車輛（UGV）和水下無人駕駛車輛。這些可以進一步分為半自動和自動。 本文將主要關注陸地部分，該技術對印度士兵起到了促進作用和伙伴的重要性。

• 人工智能將在未來的戰爭中扮演更大的角色，使戰場自動化，但并不完全否定人類參與的需要

優勢

自主/半自主機器的創建不是為了成為 "真正的'道德'機器人"，而是為了遵守戰爭法則和交戰規則（ROE）。因此，影響人類士兵草率決定的疲勞、壓力、情緒、腎上腺素等都被去除；不會有個人所做的決定對戰場造成的影響。 軍事機器人可以不知疲倦地工作，減少人類的工作量，也減少戰場上的傷亡。它們是準確的，因此消除了人類的錯誤。使用機器人技術同樣能提高生產力，增強盈利能力。 這些機器可以在惡劣的天氣條件下，在核、生物、化學污染區等危險情況下工作。

全球趨勢

領先的發達國家正在開發能夠在有/無人類干預的情況下進行作戰行動的機器人。到2022年，美國的軍用機器人產業預計將達到308.3億美元，從2017年到2022年的年復合增長率為12.92%。 美國正在建立一個下一代作戰員，可以使用所有可用的數據來幫助決策，以減少風險，管理不確定性，并提高致命性。 被稱為 "超能作戰員"的機器人機器通過提供技術援助來縮短OODA環路內的時間，從而使美國特種作戰司令部（USSOCOM）的特種作戰人員具有認知上的優勢。

美國還開發了一些機器人系統，如FLIR系統公司的Centaur，一種遠程操作的中型無人地面車輛（UGV），為作戰人員提供了探測、確認、識別和處理諸如簡易爆炸裝置等危險材料的能力。 多用途戰術運輸車（MUTT）是一種跟隨士兵的UGV，在他們的路線上為他們攜帶裝備。MUTT也可以在戰場上運送受傷的士兵，以便其他士兵可以繼續他們的行動。遙控的MUTT可以在人類之前偵查一個地區，也可以用來發射武器。Themis"（履帶式混合模塊化步兵系統）是一種多功能UGV，旨在減少戰場上的部隊數量。該機器人有一個開放的架構，可以配備輕或重機槍、40毫米榴彈發射器、30毫米自動炮和反坦克導彈系統。它有一個自穩定的遙控武器系統，可以在大范圍內提供高精確度，也可以在白天和晚上發揮作用。Throwbot 2.0是Recon Robotics公司制造的可投擲機器人，僅重0.6公斤，可在室內和室外環境中發揮作用。這種軍用機器人實時傳遞情報和偵察信息。它是一個超輕量級的防水機器人，可以被扔到野外的任何地方，并被設計成可以在各種地形上爬行。

俄羅斯武裝部隊已經發展了UGV方面的專業知識，URAN6在敘利亞進行了嘗試和測試，Uran -9目前正在開發中，以支持步兵行動。他們經常對無人系統保持一種務實的態度，利用T-72（Shturm）和T-90（Prokhod）主戰坦克以及BMP-3（Vikhr）步兵戰車等舊平臺，將這些平臺轉換為可選擇的載人作戰系統，可以在無人模式下遠程操作。Uran-9的特點是 "一個遠程操作的炮塔，可安裝不同的輕型和中型口徑的武器和導彈。Sorantik正在開發的另一種UGV被指定用于偵察和火力支援任務，但也可以承擔掃雷和巡邏任務。該車可以在全自動模式下運行，但也可以由作戰員直接控制。

• 軍用機器人可以不知疲倦地工作，減少人類在戰場上的工作量和傷亡，同時消除決策中的人為錯誤

山地戰中部署

印度北方邊境的多山地形給武裝部隊帶來了巨大的挑戰。空中機器人平臺可以通過利用第三維度來提高對形勢的認識。可以獲得峰頂以外的實時信息，通過人工智能算法處理，無論是在無人機上還是在操作員端，都可以提供實時的目標情報。一系列微型到遠程的無人機現在正被各種軍隊用于監視。通過武裝UCAVs和游蕩彈藥，半自動的精確瞄準也是可行的。配備有合適的傳感器和攝像機的地面機器人可以執行不同的任務，移動機器人可以遠程操作進行偵察巡邏，并將視頻和圖像傳回給操作員。機器人實際上可以充當巡邏隊中領先的先遣偵察員的伙伴。配置一個機器人以登上和降低山地高度和障礙物是一個挑戰，可以通過改變設計使其更加靈活、堅固和使用更多的動力來克服。該系統必須被設計成既能克服樓梯等規則形狀的障礙物，又能克服巖石、倒下的樹木和其他雜物等不特定形狀的障礙物。"設計基準是能夠走上45度傾斜的平坦表面或不規則的障礙。有時要求高達50度或更陡峭"。

在被雪覆蓋的山區進行搜索和救援是另一個應用，軍隊中使用的機器人可以在拯救生命方面發揮關鍵作用。大多數傷亡是由于延遲向受害者提供必要的援助而發生的。許多國家正在大力投資，以最大限度地縮短反應時間，以挽救最大數量的生命。它們可以由士兵從一個指揮中心遠程操作。在某些情況下，它們甚至可以自主地工作。美國的Vecna技術公司正在開發戰場提取輔助機器人（BEAR），它可以從戰場上營救士兵而不危及人的生命。

印度軍隊在從連隊到更高的總部和彈藥到后勤基地的許多基地/地點駐扎。在這些邊境地區的安全和防御是一個挑戰，可以有效地開發機器人來保護這些基地的安全。美國已經開發了機器人狗，它是一種靈活的移動機器人，以前所未有的機動性瀏覽地形，使你能夠自動完成常規檢查任務和安全地捕獲數據，該系統已經部署在美國的各個基地。

在沙漠和半沙漠地形中利用機器人

沙漠/半沙漠地帶的行動通常以機動性為特點。機動性是贏得戰斗的一個決定性因素。UGVs在機械化戰爭中帶來了一場革命，提供了相應的機動性。半自動的UGVs可以幫助偵察部隊實現對局勢的了解，就像眼睛和耳朵一樣。除了可以在UGVs中內置大量的傳感器外，它們還可以發射無人機作為天空中的眼睛，也可以作為無線電通信的中繼。對己方和敵方機械化編隊的實時地理定位、圖像、坦克、物體的自主識別可以證明是一個游戲規則的改變者。需要開發一個UGV和半自主坦克的組合，它可以在進攻戰中穿透敵人的蓄意防御，通過建立一個機器人射擊陣地系統來支持戰術編隊的防御行動，為前進的單位和分隊提供火力掩護，并壓制敵人的武器系統。還可以開發機器人用于炮兵偵察和為地基火炮的發射提供服務。可以利用UGV進行工兵偵察、布雷、掃雷、在雷區和其他障礙物中清理出一條通道并支持其談判。他們還可以在敵人的火力影響區布置煙幕。最后，UGV可以在后勤方面發揮重要作用，作為移動后勤縱隊的一部分，還可以協助傷員撤離。

機器人是反恐行動的重要工具

機器人在全球反恐戰爭中發揮了重要作用，它們被用來探測和消除可能爆炸的可疑物體。機器人可以在近距離戰斗中充當領頭的偵察兵或進入者，它們不僅可以探測到威脅，還可以在最初的炮擊中首當其沖，然后將恐怖分子消滅。它們可以作為士兵的伙伴，在城市戰斗中發揮作用。偵察機器人也被稱為 "投擲機器人"，是 "小而輕的機器人，足夠堅固，可以通過窗戶或門縫投擲。該機器人配備了一個攝像頭，可以在不派人的情況下看到建筑物內的情況"。這些低端機器人可以很容易地被開發出來，以便在建筑物/房間干預之前立即了解情況。反簡易爆炸裝置機器人可用于識別和拆除封閉區域、建筑物、道路和車輛中的簡易爆炸裝置和其他危險物品。它們需要被整合到炸彈探測系統中。根據反簡易爆炸裝置的任務，它們可以攜帶各種有效載荷。

挑戰

• 印度的軍事技術發展系統以一種孤立的方式進行。這是能力發展的垂直領域內不信任的一個因素。這一挑戰需要得到解決。

• 根據分配的任務為前線部隊配備模塊化設備是一個挑戰。這些系統應該是多功能的、可互操作的，并且有能力整合到武裝部隊現有的和先進的結構中。

• 為系統開發綜合網絡，使其在各個層面上運行是另一個重大挑戰。

• 邊界沿線不同的地形和天氣條件要求不同的電力需求和高效的傳輸系統，以獲得更高的速度、靈活性、準確性、耐久性和堅固性。

• 與移動機器人平臺之間傳輸的數據，特別是視頻，其安全性至關重要，需要采取足夠的措施來建立安全的網絡和加密，并采取強有力的ECCM措施。

建議

• 印度陸軍的機器人系統需要圍繞七個主要技術/原則進行開發：算法、數據、軟件程序、綜合網絡、軍民合作、綜合研究與開發和強大的制造。

• 這些技術需要在一個屋檐下以綜合方法開發，作為政府的整體方法。

• 正如本文所建議的那樣，原型開發應該以部門（地形）為基礎，口號應該是小規模開始，快速測試和大規模。

• 研究和開發的預算應該是專用的和長期的，目的是針對中小微企業和私營企業。如果一個公司/行業的研究沒有資金，而且對產品沒有確定的需求，那么它就不會投資于技術。隧道的盡頭必須有光，才能讓印度的年輕人的思想繁榮起來。

結論

人工智能和機器人不再是小說或基于科幻的好萊塢電影的單純想象，它們現在是一個現實。勇敢的、英勇的血肉之軀的士兵需要與智能材料和更聰明的非人類士兵合作，他們不關心獎章、徽章或在調度中的提及。發達國家正在開發這種技術，它正在改變戰爭的特征。印度IT行業擁有巨大的領域知識，并被印度和國外的民用產業在多個領域利用。這種人才需要被利用來開發這種技術以促進國家安全。這項技術的發展對于提高印度軍隊的能力至關重要，需要采取措施來建設這些能力。

**人類通過被動觀察和主動互動來學習世界的心理模型，從而在環境中導航。他們的世界模型允許他們預測接下來可能發生的事情，并根據潛在的目標采取相應的行動。**這樣的世界模型在自動駕駛等復雜環境的規劃方面具有強大的前景。人類司機或自動駕駛系統用眼睛或相機感知周圍環境。他們推斷出世界的一種內部表示應該:(i)具有空間記憶(例如遮擋)，(ii)填充部分可觀測或有噪聲的輸入(例如被陽光蒙蔽時)，以及(iii)能夠概率地推理不可觀測的事件(例如預測不同的可能的未來)。它們是具身的智能體，可以通過其世界模型在物理世界中預測、計劃和行動。本文提出一個通用框架，從攝像機觀察和專家演示中訓練世界模型和策略，由深度神經網絡參數化。利用幾何、語義和運動等重要的計算機視覺概念，將世界模型擴展到復雜的城市駕駛場景。**在我們的框架中，我們推導了這種主動推理設置的概率模型，其目標是推斷解釋主動代理的觀察和行動的潛在動力學。**我們通過確保模型預測準確的重建以及合理的操作和過渡來優化日志證據的下界。首先，我們提出了一個模型，預測計算機視覺中的重要量:深度、語義分割和光流。然后，我們使用三維幾何作為歸納偏差在鳥瞰空間中操作。我們首次提出了一個模型，可以從360?環繞單目攝像機鳥瞰動態代理的概率未來軌跡。最后，我們展示了在閉環駕駛中學習世界模型的好處。我們的模型可以聯合預測城市駕駛環境中的靜態場景、動態場景和自我行為。我們表明，學習世界模型和駕駛策略可以生成超過1小時的預測(比訓練序列大小長2000倍)。

COGLE（COmmon Ground Learning and Explanation）是一個可解釋人工智能（XAI）系統，自主無人機向山區的野外部隊運送物資。任務風險隨地形、飛行決定和任務目標而變化。這些任務由人類加人工智能團隊參與，用戶決定兩架人工智能控制的無人機中哪一架更適合執行任務。這篇文章報告了該項目的技術方法和發現，并反思了復雜的組合問題對用戶、機器學習、用戶研究和XAI系統的使用環境所帶來的挑戰。COGLE創建了多種模式的解釋。敘述性的 "What"解釋比較了每架無人機在任務中的表現，以及基于使用反事實實驗確定無人機能力的 "Why"。可視化的 "Where"解釋突出了地圖上的風險，以幫助用戶解釋飛行計劃。研究的一個分支是研究這些解釋是否有助于用戶預測無人機的性能。在這個分支中，一個模型歸納的用戶研究顯示，決策后的解釋在教用戶自己確定哪架無人機更適合執行任務方面只有很小的作用。隨后的思考表明，用決策前的解釋來支持人類加人工智能的決策是一個更好的背景，可以從組合任務的解釋中受益。

引言

COGLE（COmmon Ground Learning and Explanation）是一個可解釋的人工智能（XAI）系統，用于自主無人機向山區的野戰部隊運送物資。COGLE中的任務是在一個模擬的世界中進行的，其中有山區和森林環境、水體和結構。圖1顯示了一個任務地圖和人工智能控制的無人機的飛行計劃。黃色的棒狀圖顯示了徒步旅行者的位置。彎曲的箭頭顯示了無人機的飛行計劃。地圖下面的時間線顯示了無人機沿其飛行計劃的高度。地圖上的符號表示物體。尖尖的符號是太高的山，無法飛過。曲線頂的符號是低矮和高大的山麓。綠色區域是草地。樹木形狀的符號代表森林。

最初，我們使用ArduPilot SITL1，它可以高保真地模擬低空飛行器的動作。ArduPilot的詳細模擬所需的計算資源被證明是不方便的，對于任務的戰略規劃來說是不必要的。低空飛行控制在商業自動駕駛飛機和業余無人機中被廣泛實施。為了專注于任務規劃，我們開發了一個精度較低的模擬模型（"ArduPilot Light"），在一個回合制的網格世界中，有五級高度和八個獨特方向。我們在ArduPilot SITL的API上模擬了ArduPilot Light的兼容編程接口（API）。圖2說明了COGLE的模擬網格世界的粗粒度，用于任務規劃。

圖 1 共同地面學習和解釋 (COgLE) 域中任務的示例地圖

圖 2 來自 COGLE 飛行學校的插圖展示了具有五個離散高度的模型以及當包裹從不同高度墜落時墜落區的擴大范圍

當無人機與處于同一高度或更高的障礙物飛得太近時，它們就會有墜毀的危險。如果無人機在森林、高山麓或水面上釋放其包裹，那么其包裹可能被損壞。包裹可能無法降落在河流、樹木或高山腳下。無人機飛得越高，其包裹在傘降過程中可能漂移得越遠。一個人工智能飛行員可能會在任務的開始、中間或結束時承擔風險。飛行員在任務中的早期決定會以微妙的方式與后來的決定產生互動。例如，在飛行計劃的早期，關于如何避開障礙物的選擇可能會導致在很晚的時候無法安全地接近選定的地點來投放包裹。

使用COGLE的早期版本，我們對用戶進行了自我解釋的研究，正如Gary Klein, Robert Hoffman, 和Shane Mueller等人所描述的。這樣的研究可以為參與者提供一個關于他們自己想要和使用的解釋種類的視角。用于無人機的人工智能飛行員是基于我們早期的深度強化學習者（RL）。他們在非常簡單的任務中表現出奇怪和次優的循環行為。研究參與者引用了無人機行為的觀察模式，指的是推斷的目標、效用和無人機的偏好。

在研究過程中，當被要求做出預測時，參與者經常的回答是 "我不知道"。研究參與者在自我解釋方面很有創意（"它怕水！"），但他們沒有可靠的依據來確定他們的解釋是否正確。事實證明，我們早期的人工智能控制的無人機的奇怪行為是由于他們有限的訓練造成的。

軍隊為訓練、規劃和研究目的進行兵棋推演。人工智能（AI）可以通過降低成本、加快決策過程和提供新的見解來改善軍事兵棋推演。以前的研究人員根據強化學習（RL）在其他人類競技游戲中的成功應用，探討了將強化學習（RL）用于兵棋推演。雖然以前的研究已經證明RL智能體可以產生戰斗行為，但這些實驗僅限于小規模的兵棋推演。本論文研究了擴展分層強化學習（HRL）的可行性和可接受性，以支持將人工智能融入大型軍事兵棋推演。此外，本論文還通過探索智能體導致兵棋推演失敗的方式，研究了用智能體取代敵對勢力時可能出現的復雜情況。在越來越復雜的兵棋推演中，對訓練封建多智能體層次結構（FMH）和標準RL智能體所需的資源以及它們的有效性進行了比較。雖然FMH未能證明大型兵棋推演所需的性能，但它為未來的HRL研究提供了啟示。最后，美國防部提出了核查、驗證和認證程序，作為一種方法來確保未來應用于兵棋推演的任何人工智能應用都是合適的。

引言

兵棋推演是成功軍隊的寶貴訓練、規劃和研究工具。自然，美國（U.S.）國防部（DOD）計劃將人工智能（AI）納入兵棋推演。將人工智能融入兵棋推演的一種方式是用智能體取代人類玩家；能夠展示戰斗行為的算法。本論文研究了用智能體取代人類兵棋推演操作員的可行性、可接受性和適宜性。為此，本章解釋了為什么兵棋推演對成功的軍隊至關重要。

A. 軍方為什么要進行兵棋推演

軍隊進行兵棋推演是為了回答關于戰爭的關鍵問題，這些問題必須在實際沖突發生之前被理解。兵棋推演是利用對立的力量模擬實際的戰斗，并由人類的決策來決定[1]。雖然有廣泛的不同類型的兵棋推演，但它們都有一個共同的目標："獲得有效和有用的知識" [2]。這種劃分很重要，因為兵棋推演的不同目的會導致玩家和游戲控制者的行為不同。圖1顯示了兵棋推演從訓練到分析到實驗的廣泛范圍。

1.訓練用的兵棋推演

最直接的兵棋推演類型是用于訓練的兵棋推演。大型參謀部使用建設性的模擬（數字兵棋推演）來鍛煉他們的參謀過程，并驗證他們的軍事準備。小型參謀部使用虛擬模擬器來訓練他們的戰斗演習和船員演習。軍隊進行這些兵棋推演是為了了解戰爭和鍛煉決策能力[3]。所有隊員的行動和決策一般都要符合已知的條令和戰術、技術和程序（TTP）。對于大型的參謀部演習，對手可能會突破TTP的界限來挑戰參謀部（例如，表現得更有侵略性，但仍然依賴相同的TTP）。

2.用于分析的兵棋推演

兵棋推演可用于分析，即 "確定在部隊對抗中會發生什么"[3]。這些是大多數軍事人員所熟悉的兵棋推演類型：作為行動方案（COA）分析的一部分而進行的兵棋推演。這些類型的兵棋推演允許對戰爭計劃、部隊結構或理論進行評估。在這些戰役中，雙方都要采用已知的理論和TTP，但 "在這些戰役中，創新精神可以自由發揮"[4]。

3.實驗性的兵棋推演

在譜的另一端是實驗性兵棋推演。在這些戰役中，雙方都可以使用新的力量、武器和/或戰術來探索潛在的未來戰爭[5]。歸根結底，組織進行實驗性兵棋推演是為了產生 "關于戰爭問題性質的知識"[2]。美國軍方在演習中整合了這些類型的兵棋推演，如美國陸軍未來司令部的聚合項目和聯合作戰人員評估。

4.兵棋推演的好處

盡管兵棋推演既不是預測性的，也不是對現實的完全復制，但它們確實提供了一些沒有實戰就無法獲得的東西：對戰爭中決策的洞察力。當為訓練而進行戰爭演習時，組織正在學習良好的決策是什么樣子的（包括過程和最終結果）。當為分析而進行戰爭演習時，計劃者正在評估他們在計劃期間做出的決定，以及在執行期間需要做出的潛在決定。

這些好處足以讓美國防部副部長羅伯特-沃克在2015年發布了一份備忘錄，呼吁在整個美國防部重新努力開展兵棋推演[6]。沃克副部長認為，兵棋推演有利于創新、風險管理和專業軍事教育。沃克認為，最終，兵棋推演將推動美國防部的規劃、計劃、預算和執行過程，這是告知國防部資源分配的方法。美國和它的西方盟友并不是唯一相信兵棋推演好處的軍隊。中國正在為兵棋推演投入大量資源，包括將人工智能融入兵棋推演[7]。

B.兵棋推演中的人工智能

人工智能提供了一個機會，通過降低成本、加快決策過程和提供新的見解來改善軍事兵棋推演。為兵棋推演中的許多角色雇用人類操作員是昂貴的。組織必須給自己的人員分配任務（使他們脫離正常的職能）或支付外部支持。這種成本可以通過將人工智能整合到兵棋推演中而消除。兵棋推演分析的速度只能和人類操作者一樣快。用智能體代替操作員可以加快兵棋推演的速度，并允許多個兵棋推演同時發生，從而實現更廣泛的分析。最后，智能體因其在游戲中的創造性而受到關注[8]。創造性的智能體可以通過探索人類戰爭者可能沒有考慮的可能性，使戰爭計劃、部隊編隊或戰術得到更好的分析。

美國國內的國家安全組織認識到將人工智能融入兵棋推演的潛力。人工智能國家安全委員會在其最終報告中主張立即將人工智能能力整合到兵棋推演中，以確保美國及其盟友保持與同行的競爭力[9]。美國陸軍未來的模擬訓練系統--合成訓練環境（STE）設想整合人工智能來監測和調整訓練場景的難度[10]。美國陸軍研究實驗室有許多項目在調查人工智能與軍事指揮和控制系統的整合。具體來說，他們正在探索使用人工智能的一個子領域，即強化學習（RL）來進行連續規劃，以開發 "藍色部隊的新計劃"[11]。連續規劃將需要一個能夠評估其計劃的智能體，可能通過兵棋推演。

基于其他RL智能體在人類競技游戲中的成功，如《星際爭霸II》[12]、《古人防御》（DotA）[13]和圍棋[14]，多名研究人員正在研究用于戰爭游戲的RL智能體。像《星際爭霸II》和DotA這樣的實時戰略（RTS）游戲最能代表兵棋推演。與兵棋推演類似，RTS游戲需要在有限的信息環境中進行長期的目標規劃和短期的戰術決策。以前的研究表明，RL智能體可以在兵棋推演中復制理想的戰斗行為[5], [11]。根據Kania和McCaslin的說法，谷歌的AlphaGo成功擊敗了世界上最好的圍棋大師，證明了人工智能可以應用于兵棋推演[7]。

C. 問題陳述

雖然以前的研究已經證明RL智能體可以產生戰斗行為，但實驗僅限于小型交戰。研究人員只要求RL智能體控制三到五個下屬單位。強化學習智能體將需要成功擴展，以滿足涉及幾百個單位的大型兵棋推演的規模要求。

問題是，隨著兵棋推演中單位數量和類型的增加，信息量和可能的動作數量變得難以解決。Newton等人提出可擴展性是一組目標：速度、收斂和性能，同時保持在一組約束條件下：隨著項目規模的增加，成本、計算能力和時間[15] 。分層組織是擴展的一種方法。本論文將研究分層強化學習（HRL）的可擴展性。換句話說，任何可行的、可接受的人工智能集成到戰爭游戲中，隨著戰爭游戲中單位數量的增加，必須仍然顯示出理想的戰斗行為。

除了將人工智能整合到軍事兵棋推演中的可行性和可接受性之外，這種整合還需要是合適的。開發和執行一個失敗的兵棋推演是有可能的，因為從中得出的知識是無效的或沒有用的。Weuve等人[16]解釋了可能導致兵棋推演失敗的不同途徑，他們稱之為兵棋推演病癥。以取代人類操作者為目的的智能體的設計和實施，需要防止兵棋推演的病態，從而確保有效的結果。

這導致了以下的研究問題。HRL是否允許智能體在不損失性能的情況下增加合作單位的數量和有效性？什么框架可以確保智能體的設計和應用正確，以滿足兵棋推演的目的？

D. 研究范圍

本論文延續了[17]和[18]對Atlatl戰斗環境中RL的調查。Atlatl是一個離散的、基于六邊形的兵棋推演，模擬陸地作戰行動。最初的研究使用一個簡單的多層感知器[17]成功地在RL智能體中產生了戰斗行為。隨后的研究使用卷積神經網絡（CNN）架構在復雜的地形和動態的對手中研究RL智能體[18]。

雖然有廣泛的HRL方法，但本研究的重點是封建多智能體層次結構（FMH）。在FMH中，一個單一的R智能體（即經理），將任務分配給一系列被稱為工人的下級RL智能體[19]。本論文比較了在Atlatl中越來越大的場景中采用基于規則的智能體、單一RL智能體和FMH所需的資源和有效性。

兵棋推演是由玩家和裁判員組成的[1]。友軍單位的玩家被稱為藍軍，他們的對手被稱為紅軍，任何一個玩家之外的平民或軍事單位被稱為綠軍。雖然有可能通過使用所有玩家和裁判員的智能體來實現兵棋推演的完全自動化，但本論文只評估了對單個玩家的替換。

本論文還研究了用智能體替換對方部隊（OPFOR）即紅色部隊時可能出現的復雜情況。討論了具體的兵棋推演病癥，并提出了緩解這些病癥的方法。美國防部的驗證、核實和認證（VV&A）框架被應用于通過RL對OPFOR的建模。

E. 研究結果

本論文發現，當FMH智能體以分布式方式進行訓練時，FMH智能體未能比單一RL智能體表現得更好。當經理和工人在同一環境中訓練時，FMH智能體的學習能力有所提高。然而，工人的不一致行動使經理無法制定最佳策略。此外，FMH的訓練要求超過了單個RL智能體的要求，這抑制了FMH擴展到大型軍事兵棋推演的能力。最后，本論文發現，將人工智能整合到軍事兵棋推演中的方法適合于像美國防部的VV&A框架那樣的過程。否則，基于模型的去太原的病癥會使兵棋推演的目標失效，并對美軍產生負面影響。

F. 論文對研究的貢獻

本論文通過進一步研究在建設性模擬中采用完全自主的智能體，對美國政府有直接好處。完全自主的兵棋推演智能體，能夠在多個層次上運作，需要支持兵棋推演的全部范圍。這很容易延伸到軍事規劃期間的決策支持工具，協助規劃者快速評估不同的COA。此外，探索在兵棋推演中使用智能體的適宜性將促進兵棋推演界采用人工智能。

摘要

航空仿真環境（葡萄牙語為Ambiente de Simula??o Aeroespacial - ASA）是一個定制的面向對象的仿真框架，主要用C++開發，能夠對軍事作戰場景進行建模和仿真，以支持巴西空軍在航空航天方面的戰術和程序開發。這項工作描述了ASA框架，帶來了其管理多個仿真機的分布式架構、用于后處理仿真數據的數據分析平臺、在仿真運行時加載模型的能力，以及同時進行多個獨立執行的批處理模式執行平臺。此外，我們還介紹了最近在空戰背景下使用ASA框架作為仿真工具的工作清單。

關鍵詞：仿真環境，分布式仿真，數據分析，軍事，作戰場景

1 引言

高級研究所（IEAv）是巴西空軍（For?a Aérea Brasileira - FAB，葡萄牙語）的一個研究組織，自2018年以來，開發了航空航天仿真環境（Ambiente de Simula??o Aeroespacial - ASA，葡萄牙語），以提供一個計算解決方案，實現作戰場景的建模和仿真，允許用戶建立戰略、參數和指揮決策，支持在航空航天背景下為國防目的制定戰術、技術和程序。

現代戰場場景的特點給建立實際的戰斗仿真帶來了新的挑戰，需要更多的綜合和靈活的解決方案，不僅要解決技術問題，還要解決組織問題[10]。仿真、集成和建模高級框架（AFSIM）是一個正在開發的框架的例子，以解決其中的一些挑戰[1]；然而，它只限于少數美國合作伙伴。在這種情況下，ASA環境被設想為同時足以支持FAB的戰略規劃，滿足作戰分析的需要，并允許開發和評估新技術以加強軍事研究，將自己定位為一個靈活的解決方案，可以根據用戶需求進行調整。這種靈活性是針對客戶的不同特點，這導致了廣泛的要求，而這些要求僅靠商業現成的（COTS）仿真軟件是無法滿足的。由于開發一個全新的解決方案并不高效，ASA團隊決定研究公開可用的工具，旨在將它們整合到一個靈活、可訪問和可擴展的環境中。

擬議的解決方案使用混合現實仿真平臺（MIXR）[11]作為其仿真引擎，這是一個開源的軟件項目，旨在支持開發強大的、可擴展的、虛擬的、建設性的、獨立的和分布式的仿真應用。ASA擴展了MIXR的可能性，增加了額外的元素，創造了一個環境來優化開發者和分析者的任務。我們創建了一個管理器應用程序，作為多種資源之間的接口，作為一個樞紐來運行、存儲和分析眾多計算機上的各種仿真。此外，這個應用程序允許同時創建大量的仿真，只需根據分析員的需要改變初始條件。同時，模型和工具可以在運行時動態加載，以增加靈活性。所有仿真數據都存儲在一個專門的數據庫中，這加快了數據收集過程，促進了更強大的統計分析。此外，考慮到結果的復雜性和ASA用戶的不同技術知識，我們在系統中整合了一個專門的數據分析平臺，不僅用于規劃或可視化目的，還用于對情景產生的數據進行后期處理。

因此，這項工作的主要貢獻是為軍事目的的航空航天背景下的建模和仿真引入了一個新的環境，包含：一個管理多個仿真機的分布式架構；一個用于后處理仿真數據的增強型軍事作戰場景數據分析平臺；一個在仿真運行時加載模型的能力；一個使用不同初始參數進行多次執行的批處理模式執行。此外，我們介紹了最近使用ASA平臺作為空戰領域解決問題的仿真工具的工作清單。

本文的其余部分組織如下。第2節介紹了ASA的架構。在第3節中，我們帶來了一些使用ASA作為仿真工具的研究，這些研究與空戰分析有關，作為這個仿真框架的應用實例。最后，第4節陳述了關于ASA當前狀態的結論，并為未來的工作帶來一些想法。

神經形態相機非常適合檢測無人駕駛航空系統（UAS）或無人機上螺旋槳（葉片）的運動。在本文中，我們介紹了虛擬圍欄的概念，它是一種低成本的網絡化態勢感知裝置，可以快速提醒無人機進入圍欄區域。與傳統相機相比，神經形態的相機大大減少了必須處理的數據量。只有在事件產生時才需要處理。這些事件可以由無人機、低空飛行物（射彈或鳥類）或背景的變化產生。我們提出了兩種互補的算法，使我們能夠將螺旋槳葉片的特征與其他事件區分開來。這些算法利用了螺旋槳信號的周期性和檢測到的信號中存在的次諧波。當相機像素錯過一些高頻事件時，這些次諧波會被引入信號中。我們還展示了如何調整相機的光學系統，以減少背景事件的對比度，從而簡化分類任務。我們提出了一個在正常運行時消耗5.14瓦的系統原型，其電池自主性達到27小時。該原型可以使用IniVation公司的DAVIS 346檢測高度為9米的無人機，視野約為70度。基于當前和下一代神經形態相機分辨率的實際提高，預計探測范圍將擴大，虛擬圍欄的概念可在未來幾年內進行實際部署。