亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

首先介紹了美軍和北約數據鏈系統的發展情況，然后將未來智能數據鏈的發展趨勢歸納為集成化、通用化、多功能化和高安全性。提出了基于全局作戰云的單元級作戰系統架構，能夠實現全局作戰資源的靈活調度和整體作戰效能的最大化。智能數據鏈是該方案的重要組成部分，為未來城市單元級作戰提供了強有力的信息支撐。

基于作戰云的單元級系統架構

基于上述思考，我們聚焦城市單元作戰場景，提出了基于數據鏈支撐的全球作戰云的單元級系統架構，整體結構如圖 2 所示。

整個架構處于典型的單元級城市作戰場景，由地面無人協同單元、各類無人飛行器、機載高低軌衛星組成的星鏈、全球作戰云組成。在單元內部，各作戰單元通過自組網、現有5G/6G基站、星鏈等方式構建單元網絡，不同網絡鏈之間優勢互補、冗余備份、信息互通，共同構建單元級通信互聯網絡。

云的特點是資源虛擬化、管理彈性化、共享靈活化，將作戰資源有機聚合成作戰資源池，成為作戰云。本架構中的全局作戰云是一種云資源池，包含各類戰場信息、作戰資源和服務。具體來說，全局作戰云包含整個戰場的全局態勢信息、指揮員完成的實時決策信息、通信網絡資源、運算資源、基礎數據資源以及可調用的各類服務等。

在該架構中，每個作戰單元都是作戰云的一部分，將自身的作戰資源（包括武器裝備資源、戰場態勢感知等）上傳到作戰云構成資源池，同時還能夠通過作戰云實時了解戰場其他區域的實時態勢和可用資源，實現對戰場態勢的全局全知。更進一步，各作戰單元能夠通過作戰云調用所需的服務，如火力打擊支援、更高的通信帶寬資源等。因此，基于作戰云的架構，每個作戰單元都能獨立完成偵察、指揮、打擊中的一項或多項功能，最終實現群體智能實現作戰目標。

為了實現上述架構，需要一些關鍵技術。例如，整體作戰管理系統的設計、架構內通信網絡的構建、不同軍種作戰能力的整合方法等。其中，通信系統作為整體構架的通信保障和信息基礎，是構架作戰效能不可或缺的條件。

智能數據鏈作為通信系統的組成部分，在上述作戰云系統中發揮著非常重要的作用。各作戰單元與作戰云之間的裝藥信息、彈藥信息、打擊結果等作戰資源信息的傳輸，都將通過數據鏈完成。因此，數據鏈路系統必須順應未來智能化戰爭發展的趨勢和需求，形成空地融合、功能豐富、安全可靠的通信鏈路。

本文研究了利用同時探測原理的無人飛行器群進行自主監控的模型。該模型可指定探測感興趣區域內感興趣物體所需的傳感器數量；只有指定數量的傳感器同時掃描，才能探測到物體。該模型計劃在監控行動期間部署蜂群中的單個車輛，以保證監控的最高質量；質量以行動期間所覆蓋的感興趣區域的百分比來衡量。此外，假設監控是在復雜的行動區域（包括城市環境、建筑密集區或地形非常不平坦的山區環境）進行的，在這些區域可能會經常出現由障礙物或地形造成的遮擋。為解決問題，提出了基于模擬退火的元啟發式算法。該算法部署了一定數量的航點，從這些航點進行監控，最大限度地提高監控質量，并考慮到同步檢測原則。該算法通過一組基于典型監控場景的實驗進行了驗證。

當代武裝沖突不同于二十多年前的武裝沖突。當代武裝沖突的最大特點之一是戰場局勢多變，來自不同來源的信息不計其數，可靠性也各不相同。此外，當代大多數行動都是在特定環境下進行的，如城市和集結區（西伯利亞、烏克蘭）等，這大大限制了普通的偵察和監視方式。這種環境需要新的方法來收集和處理所有必要信息，以支持軍事決策過程（營級及以上）或部隊領導程序（連級及以下）。

指揮官決策的關鍵步驟之一是監視。可以說，監視是一個持續的過程，始于計劃和決策過程。它為指揮官的決策提供關鍵信息。通常，偵察工作由部署在敵區縱深的特別小組進行。顯然，部署這樣一個或多個小組對他們的訓練和準備要求很高。此外，來自這些小組的信息流是延遲的，而且不必精確，這可能會對任務產生巨大影響。在當代行動中，無人駕駛飛行器（UAV）等新技術被用于收集幾乎在線的信息，為指揮官的決策提供支持。無人飛行器的使用對決策的速度和質量產生了巨大影響。此外，這種信息收集方式還能節省人力資源。有關這一問題的更多信息可參見文獻 [1-7]。

本文提出了使用小型無人機群（sUAV）進行自主監控的模型。目標是通過無人機群中的傳感器覆蓋盡可能大的感興趣區域。每架無人機都部署在行動區的準確位置（航點），監控感興趣區域的一部分。該模型還允許在需要多個傳感器檢測某些感興趣物體的情況下使用（進一步稱為同步檢測）。此外，假設監控是在復雜的行動區（包括城市環境、建筑密集區或地形非常不平坦的山區環境）中進行，障礙物或地形造成的遮擋可能會經常發生。

無數科學著作都在關注如何將無人機群用于多種目的。要解決無人機群進行偵察或監視等復雜問題，有幾個課題非常重要。此類任務的路徑規劃是關鍵問題之一。Yao 等人[8]提出了一種基于 Lyapunov 導向矢量場（LGVF）和改進干擾流體動力學系統（IIFDS）的混合方法，以解決多架無人機三維合作路徑規劃中的目標跟蹤和避障問題。Lamont 等人[9]設計并實現了無人機群的綜合任務規劃系統。該系統集成了多個問題領域，包括路徑規劃、飛行器路由和基于分層架構的蜂群行為。Shanmugavel 等人[10] 研究了同時到達目標的路徑規劃問題。

與無人飛行器有關的另一個關鍵問題是其可靠性和故障保護。軍事指揮官必須做好在任何意外情況下完成任務的準備。使用無人機群執行監視任務是一個非常重要的問題，關系到關鍵信息的精確收集。目前還沒有專門針對這一主題的科學著作，但有幾篇有趣的論文值得考慮。Triharminto 等人[11] 開發了一種三維移動目標攔截避障算法。該算法被稱為 L+Dumo 算法，整合了改進的杜賓斯算法和線性算法。可以對這種方法進行修改，以減少無人機無法完成監視任務的影響。Sampedro 等人[12]重點研究了可擴展的靈活架構，用于無人機群的實時任務規劃和智能體到任務的動態分配。所提出的任務規劃架構包括一個全局任務規劃器（GMP），負責通過一個智能體任務規劃器（AMP）分配和監控不同的高級任務，而智能體任務規劃器則負責向蜂群中的每個無人機提供和監控任務中的每個任務。Sujit 等人[13] 解決了在由靜態、彈出式和移動式障礙物組成的障礙物豐富環境中運行的多架無人機從給定起始位置到目標配置生成可行路徑的問題。彈出式和移動式障礙物環境中的路徑規劃系統為解決無人機群在復雜環境（包括建筑密集區或山區地形）中執行監視任務時出現的故障提供了靈感。

本文探討了在實際戰場場景中增強態勢感知的聯合通信和傳感技術。特別是，提出了一種空中可重構智能表面（ARIS）輔助綜合傳感與通信（ISAC）系統，該系統由單個接入點（AP）、ARIS、多個用戶和一個傳感目標組成。通過深度強化學習（DRL），在信號干擾比（SINR）約束條件下聯合優化了接入點的發射波束成形、RIS 相移和 ARIS 的軌跡。數值結果表明，通過抑制自干擾和雜波回波信號或優化 RIS 相移，所提出的技術優于傳統的基準方案。

隨著設備種類的增加，戰場環境變得更加復雜多變，對先進無線傳感與通信技術的需求也在不斷增加。最近，綜合傳感與通信（ISAC）被認為是未來使用毫米波（mmWave）等高頻段無線網絡的一項有前途的技術[1]。特別是，由于雷達傳感和無線通信共享相同的頻譜和硬件設施，ISAC 有可能提高戰場上的整體作戰效率[2]。

ISAC 下行鏈路系統的整體流程一般是由接入點（AP）向用戶發射 ISAC 信號，并處理目標反射的回波信號。然而，由于鏈路的主要視距（LoS）信道特性，軍事場景中的 ISAC 無法避免被各種障礙物（如山脈）阻擋的問題，并隨著通信距離的增加而造成嚴重的路徑損耗[3]。為了克服 LoS 信道的物理限制，可重構智能表面（RIS）作為一種關鍵技術應運而生，它通過調整相移來重新配置信號傳播，從而擴大目標探測和通信范圍[4]，[5]。作者在文獻[5]中提出了 RIS 輔助單目標多用戶 ISAC 系統中的聯合發射和接收波束成形技術。然而，在接入點和地面節點之間部署地面 RIS 在動態戰場環境中提供足夠的服務質量（QoS）方面存在局限性。另一方面，將 RIS 安裝在無人飛行器（UAV）上的空中 RIS（ARIS）可利用移動性在動態戰場環境中提供更有效的感知和通信性能[6]。文獻[7]考慮了由 ARIS 輔助的 ISAC 系統，以重新配置傳播環境，靈活對抗惡意干擾。

之前的研究[6]、[7]中針對傳感或通信網絡的 ARIS 系統的解決方案大多是通過凸優化提供的，無法快速應用于戰場場景。深度強化學習（DRL）方法因其在通過深度神經網絡與環境交互的同時制定策略的優勢，已被積極采用，作為傳統優化方法的替代方案。在 DRL 算法中，眾所周知，深度確定性策略梯度（DDPG）在連續行動空間（如 ARIS 軌跡）中收斂和運行良好[8]。文獻[9]的作者提出了一種基于 DRL 的 ARIS 軌跡設計，用于與車輛進行通信和定位。然而，從實際角度來看，當 AP 工作在全雙工模式時，自干擾問題 [10] 不可忽視，而且還需要一種抑制雜波回波信號的方法 [3]。

這項工作的重點是軍事場景中基于 DRL 的 ARIS 輔助 ISAC 系統，其中多天線 AP 為地面用戶提供服務并探測目標。我們的目標是通過聯合優化發射波束成形、RIS 相移和 ARIS 軌跡，使目標定位的 Cramer-Rao 約束（CRB）[11] 最小化。此外，為了應對自干擾和雜波回波信號帶來的挑戰，我們采用了一種基于無效空間投影（NSP）的接收波束成形方案[12]來抑制這些信號。為了應對所提問題的非凸性，我們提出了一種基于 DDPG 的算法，在與環境交互的同時尋找最優策略。通過模擬驗證，所提出的方法優于其他基準方法，如固定 RIS 相移或不應用基于 NSP 的接收波束成形方案。

本文的其余部分安排如下： 第二節介紹系統模型，包括 ARIS 輔助 ISAC 系統的信道、通信和雷達傳感模型。第三節介紹了所提出的基于 DRL 的算法，該算法旨在最小化整個系統的 CRB。第四節展示了數值結果，第五節為本文的結論。

本文報告了在使用基于遺傳學的機器學習過程和戰斗模擬發現新型戰斗機機動系統方面的經驗。實際上，這一應用中的遺傳學習系統正在取代測試平臺，從經驗中發現復雜的動作。這項工作的目標與許多其他研究不同，因為創新和發現新穎性本身就是有價值的。這使得目標和技術的細節與其他基于遺傳學的機器學習研究有所不同。

本文討論了應用的細節、動機以及所采用技術的細節。介紹了一個玩家適應固定策略對手的系統和兩個玩家共同適應的系統的結果。論文還討論了這項工作在其他自適應行為應用中的普遍意義。

本文探討了無處不在的人工智能對戰斗本質的改變。將目光從人工智能取代專家轉向人機互補的方法。利用歷史和現代實例，展示了由人工智能操作員和人工智能/機器學習代理操作員組成的團隊如何有效管理自主武器系統。方法基于互補原則，為管理致命自主系統提供了一種靈活、動態的方法。最后，提出了實現機器加速戰斗綜合愿景的途徑，即由人工智能操作員操作戰場人工智能，觀察戰場內的行為模式，以評估致命自主系統的性能。與任何純粹的自主人工智能系統相比，這種方法能開發出更符合道德規范、以機器速度運行并能應對更廣泛動態戰場條件的作戰系統。

2022 年 11 月，ChatGPT 的發布標志著人工智能（AI）發展史上的一個關鍵時刻。幾十年來，人工智能一直是人們熱衷研究的課題，但對于普通人來說，它仍然是一個抽象的概念，更多的是科幻小說或技術演示，比如 IBM 的沃森贏得了《危險邊緣》（Jeopardy）。然而，有了 ChatGPT，人工智能走出了實驗室，人們可以用與朋友和同事交流的方式與人工智能對話。ChatGPT 將公眾對人工智能的看法從未來的可能性轉變為實實在在的現實。與此同時，在距離開發 ChatGPT 的辦公室千里之外，烏克蘭正在將人工智能融入戰場。面對俄羅斯大規模的射頻干擾，烏克蘭部署了人工智能增強型無人機，能夠在敵對條件下，在無人監督的情況下有效運行。人工智能的這一應用并不是要進行對話或模擬類似人類的互動，而是要在傳統系統失靈的情況下，增強對大型對手的作戰能力。ChatGPT 的認知能力與烏克蘭無人機對人工智能的功利性應用之間的對比，說明了人工智能在不同領域的多樣性和變革性。

這兩項人工智能應用促使美國國防部（Department of Defense，DoD）關于戰場人工智能的戰略思想發生了潛在轉變。最初的人工智能條令強調，對人工智能系統 "適當程度的人為判斷 "至關重要，"要有明確的程序來激活和關閉系統功能，并對系統狀態提供透明的反饋"[5]。對 "自主和半自主武器系統的人機界面"[5] 的要求意味著一定程度的人類直接互動，通常稱為 "人在回路中"（HITL）或 "人在回路中"（HOTL）。這種人類直接參與人工智能或監控錯誤的方式，證明了對關鍵流程自動化的謹慎態度。

之所以會出現這種轉變，是因為人們認識到，人工智能及其不可避免的技術普及，將不僅僅是補充，而是從根本上改變戰場上的行動和情報搜集，就像它已經開始改變社會上幾乎所有其他地方一樣。這種演變并非首次發生。就在上一代，互聯網的出現和智能手機的普及徹底改變了通信和信息獲取方式，以至于國防部別無選擇，只能適應。與這些創新一樣，人工智能也正走在一個類似的基本層面上。現在的挑戰不在于試圖支配人工智能的整合，而在于適應其不可避免的普遍性，在擔心數據偏差、計算 "幻覺 "的情況下確保軍事系統的可靠性和有效性，同時確保致命性自主武器系統的行為符合國際人道主義法（IHL）。本文件旨在探討這些挑戰，并提出緩解這些挑戰的途徑，同時認識到人工智能增強戰爭的進程不僅不可避免，而且已經開始。

討論

2022 年，人工智能達到了一個拐點。隨著電子戰的加劇，烏克蘭沖突迫使自主無人機快速發展。與此同時，像 ChatGPT 這樣的強大語言模型的發布吸引了全球觀眾，盡管它們的局限性也變得顯而易見。這些系統容易出現事實錯誤和赤裸裸的捏造，凸顯了將模式識別誤認為真正理解的風險。在人工智能顛覆整個行業的同時，我們也認識到，人工智能的流暢性往往掩蓋了根本無法分辨真假的缺陷。

人工智能在軍事上的應用提出了獨特而棘手的倫理問題。根據特定數據訓練的人工智能系統是實現其設計目的的強大工具。它們擅長模式識別和快速執行所學任務。但人工智能系統適應新情況的能力，尤其是在人命關天的情況下，仍然不太清楚。

雖然人工智能在數據處理和分析方面的能力毋庸置疑，但它在道德框架內指導行為的能力卻不那么確定。圖 1 展示了戰場自主人工智能的典型組織結構。作戰人員（橙色圓圈）直接操作一套武器系統（藍色圓圈），每套系統都通過一個人工智能模型進行調解，該模型經過訓練，可控制特定武器與敵人交戰。然而，如果敵人已經找到了欺騙人工智能模型的方法，作戰人員往往無法改變模型的行為。相反，作戰人員必須依靠其他可能風險更大的手段與敵人交戰。在戰爭中強調簡化、精簡的人工智能模型會帶來一種危險的脆性。當人工智能模型被愚弄時，它可能會使作戰人員面臨更大的風險，同時將關鍵優勢拱手讓給敵人。

在本文中，我們提出了 3.8 節中介紹的人工智能操作員或 "馬夫 "的角色。這種角色延伸了加里-卡斯帕羅夫（Garry Kasparov）在 "高級國際象棋 "中提出的 "半人馬"（centaur）概念，即人類與多個國際象棋程序合作，將人類的戰略洞察力與機器的計算能力相融合，以達到超高水平的競爭[21, 13]。這些相互促進或互補的領域已被證明優于任何一個單獨的組成部分[23]。互補的概念是將多個元素結合在一起，產生一個比任何一個部分都更有效的整體，這與更常見的替代做法有著本質區別，替代做法是單獨使用能力最強的部分--人類、自動化或人工智能。替代系統的實際結果是，它們的強大取決于最薄弱的部分。由作戰人員、戰場人工智能、遠程人類操作員及其本地人工智能代理組成的網絡可確保人類和人工智能的優勢得到最大程度的發揮（圖 2）。半人馬概念在軍事戰略中的演變說明，未來人類與人工智能的合作不僅有益，而且對于在高度動態和競爭激烈的環境中取得優勢至關重要。

要想讓人工智能系統在軍事環境中可靠運行，人類操作員必須了解人工智能的決策過程。這就意味著要對具有不同技能和背景的操作員進行培訓。就像棋手調整策略一樣，操作員應能根據需要切換人工智能模型。不能指望單一的人工智能模型在每一種戰場場景中都能完美發揮作用。情況是不可預測的；在一種情況下最好的模型在另一種情況下可能會失效。操作員必須了解每種人工智能模型的優缺點，以確保使用最有效的工具來完成手頭的任務。這種適應性是人工智能成功融入軍事行動的關鍵。

在軍事行動中，采用這種靈活的方法將人類與人工智能配對，可創建出比人工智能單獨運作的系統更靈活、適應性更強的系統。這種人類與人工智能的共生關系可以破壞對手的 "觀察、定位、決策、行動"（OODA）循環[18]，有效地 "反客為主"。人工智能在人類直覺和經驗的充實下，引入了不可預測性和復雜性，純人工智能對手可能難以理解或實時處理這些不可預測性和復雜性。這可能會使天平向有利于人類-人工智能團隊的方向發生決定性的傾斜，使他們在關鍵時刻超越和思考純人工智能系統，從而獲得戰術優勢。

人類可以利用自己的創造力和創新力提出人工智能無法提出的新想法和解決方案。例如，將人類對已知危險和風險的了解融入自主系統，可以讓操作員確定并預測基于人工智能的控制器在遇到真實世界的風險因素時的行為[6]。我們還能理解人工智能忽略的細微差別和情境，這對決策至關重要。最后，人類在群體中表現最佳，每個人都能帶來不同的視角和技能，從而提供深度理解，而目前的人工智能似乎可以模仿，但卻無法復制。

為了真實地再現軍事行動，嚴肅的戰斗模擬要求建模實體具有合理的戰術行為。因此，必須定義作戰戰術、條令、交戰規則和行動概念。事實證明，強化學習可以在相關實體的行為邊界內生成廣泛的戰術行動。在多智能體地面作戰場景中，本文展示了人工智能（AI）應用如何制定戰略并向附屬單元提供命令，同時相應地執行任務。我們提出了一種將人類知識和責任與人工智能系統相結合的方法。為了在共同層面上進行交流，人工智能以自然語言下達命令和行動。這樣，人類操作員就可以扮演 "人在回路中 "的角色，對人工智能的推理進行驗證和評估。本文展示了自然語言與強化學習過程的成功整合。

RELEGS：針對復雜作戰情況的強化學習

為了獲得模型架構的靈感，我們研究了 DeepMind 的 AlphaStar 架構，因為它被認為是復雜 RL 問題領域的最先進架構。通過我們的架構（如圖 2 所示），我們提出了一種靈活、可擴展的行動空間與深度神經網絡相結合的適應性新方法。觀察空間的設計基于如何準備戰場的軍事經驗。通常使用地圖和可用部隊表。因此，模擬觀測被分為標量數據（如可用坦克數量及其彈藥）。同時，基于地圖的輸入作為視覺輸入提供給空間編碼器。

標量數據用于向人工智能提供幾乎所有場景細節的建議。其中包括有關自身部隊及其平臺的數據，以及有關敵方部隊的部分信息。輸入并非以絕對數字給出，而是采用歸一化方法來提高訓練效果。編碼器可以很容易地寫成多層感知器（MLP）；不過，使用多頭注意力網絡可以大大提高訓練后智能體的質量，因此應予以采用（Vaswani 等人，2017 年）。

為了理解地理地形、距離和海拔高度的含義，人工智能會被輸入一個帶有實體編碼的地圖視覺表示。顏色方案基于三通道圖像，這使我們能夠輕松地將數據可視化。雖然使用更多通道會給人類的圖形顯示帶來問題，但人工智能能夠理解更多通道。不同的字段類型和實體會用特殊的顏色進行編碼，以便始終能夠區分。這種所謂的空間編碼器由多個卷積層組成。最初，我們嘗試使用 ResNet-50 （He 和 Zhang，2016 年）和 MobileNetV3 （Howard 等，2019 年）等著名架構，甚至使用預先訓練的權重。然而，這并沒有帶來可接受的訓練性能。因此，我們用自己的架構縮小了卷積神經網絡（CNN）的規模。

為了測試和優化這一架構，我們使用了一個自動編碼器設置，并使用了模擬中的真實樣本。我們能夠將參數數量從大約 200 萬減少到大約 47000。此外，我們還生成了一個預訓練模型，該模型已與模擬的真實觀測數據相匹配。這一步極大地幫助我們加快了 RL 進程。

一個可選元素是添加語言輸入，為人工智能定義任務。雖然一般的戰略人工智能不使用這一元素，但計劃將其用于下屬智能體。這些智能體將以自然語言接收來自戰略人工智能的任務，并使用雙向門控遞歸單元（GRU）編碼器對其進行處理。

視覺數據、任務數據和標量數據的編碼值被合并并輸入核心網絡。根據 Hochreiter 和 Schmidhuber（1997 年）的介紹，核心主要是一個擁有 768 個單元的長短期記憶（LSTM）組件。在軍事場景中，指揮官必須了解高價值資產的長期戰略規劃。在本模擬中，人工智能可以請求戰斗支援要素，這些要素在影響戰場之前需要長達 15 分鐘的時間。因此，人工智能必須了解未來任務的時間安排和規劃。在 RL 中使用 LSTM 網絡相當困難，因為它需要大量的訓練時間，而且會導致上面各層的梯度消失。因此，我們決定在 LSTM 上添加一個跳過連接，以盡量減少新增層的負面影響。

動作頭由一個自然語言處理（NLP）模型組成。這是一個非常簡化的動作頭模型，包含一個小型 LSTM 和一個額外的密集層，共有約 340000 個參數。其結果是一個尺寸為 8 x 125 的多離散動作空間。

除主模型外，還有一個單獨的價值網絡部分。價值網絡使用核心 LSTM 的輸出，并將對手信息串聯起來傳遞給 MLP。然后，MLP 可以精確預測價值函數。通過對手信息，價值網絡對模擬有了一個上帝般的地面實況視圖。由于該網絡只與訓練相關，因此可以在不干擾訓練完整性的情況下進行。

近年來，槍支暴力事件急劇增加。目前，大多數安防系統都依賴于人工對大廳和大廳進行持續監控。隨著機器學習，特別是深度學習技術的發展，未來的閉路電視（CCTV）和安防系統應該能夠檢測威脅，并在需要時根據檢測結果采取行動。本文介紹了一種使用深度學習和圖像處理技術進行實時武器檢測的安防系統架構。該系統依靠處理視頻饋送，通過定期捕捉視頻饋送中的圖像來檢測攜帶不同類型武器的人員。這些圖像被輸入一個卷積神經網絡（CNN）。然后，CNN 會判斷圖像是否包含威脅。如果是威脅，它就會通過移動應用程序向保安人員發出警報，并向他們發送有關情況的圖像。經過測試，該系統的測試準確率達到 92.5%。此外，它還能在 1.6 秒內完成檢測。

人工智能在空戰領域正變得越來越重要。目前，大多數空戰研究都假定所有飛機信息都是已知的。但在實際應用中，由于現實限制和傳感器誤差，一些飛機信息，如位置、姿態、速度等，可能是不正確的，或者是不可能獲得的。在本文中，我們提出了一種基于深度強化學習的框架，用于開發一種能夠在信息不足的部分可觀測馬爾可夫決策過程（POMDP）條件下執行可視范圍（WVR）內空對空作戰的模型。為了穩健地應對這種情況，我們使用了遞歸神經網絡，并應用了軟評價器（SAC）算法，以有效應對現實限制和傳感器誤差。此外，為了提高學習效率和效果，我們還應用了課程學習技術來限制狀態空間的探索范圍。最后，模擬和實驗結果表明，所提出的技術能夠在嘈雜的環境中處理傳感器限制和誤差引起的實際問題，同時還能高效地減少學習的訓練時間。

圖 2 顯示了本研究提出的空戰模型學習框架概覽，該框架由矢量化空戰模擬環境和包括重放緩沖器在內的循環 SAC 模塊組成。環境中有兩個動態模型：己方和目標。它們分別從 SAC 模塊的角色和基于規則的行為模型中獲得動作 at 和 atarget，并輸出飛機狀態 sownship 和 starget。模擬器根據這些狀態生成獎勵 rt 和觀測值 ot，同時考慮到配置的傳感器特性。軌跡（ot、at、rt）被存儲在重放緩沖區中，固定長度的軌跡序列將被采樣用于批判。

應用人工智能模擬空對空作戰場景正引起越來越多的關注。迄今為止，高維狀態和行動空間、高度復雜的情況信息（如不完全信息和過濾信息、隨機性、對任務目標的不完全了解）以及非線性飛行動態對準確的空戰決策構成了巨大挑戰。當涉及多個異構代理時，這些挑戰會更加嚴峻。我們為具有多個異構代理的空對空作戰提出了一個分層多代理強化學習框架。在我們的框架中，決策過程分為兩個抽象階段，異構的低級策略控制單個單位的行動，而高級指揮官策略則根據總體任務目標下達宏觀命令。低層次政策是為精確控制部隊作戰而訓練的。它們的訓練是按照學習課程安排的，其中包括日益復雜的訓練場景和基于聯賽的自我比賽。根據預先訓練好的低級策略，對指揮官策略進行任務目標訓練。經驗驗證證明了我們設計方案的優勢。

美國陸軍對人工智能和輔助自動化（AI/AA）技術在戰場上的應用有著濃厚的興趣，以幫助整理、分類和澄清多種態勢和傳感器數據流，為指揮官提供清晰、準確的作戰畫面，從而做出快速、適當的決策。本文提供了一種將作戰模擬輸出數據整合到分析評估框架中的方法。該框架有助于評估AI/AA決策輔助系統在指揮和控制任務中的有效性。我們的方法通過AI/AA增強營的實際操作演示，該營被分配清理戰場的一個區域。結果表明，具有AI/AA優勢的模擬場景導致了更高的預期任務有效性得分。

引言

美國陸軍目前正在開發將人工智能和輔助自動化（AI/AA）技術融入作戰空間的決策輔助系統。據美國陸軍機動中心稱，在決策輔助系統等人工智能/輔助自動化系統的協助下，士兵的作戰效率可提高10倍（Aliotta，2022年）。決策輔助工具旨在協助指揮官在作戰場景中減少決策時間，同時提高決策質量和任務效率（Shaneman, George, & Busart, 2022）；這些工具有助于整理作戰數據流，協助指揮官進行戰場感知，幫助他們做出明智的實時決策。與使用AI/AA決策輔助工具相關的一個問題是，陸軍目前缺乏一個有效的框架來評估工具在作戰環境中的使用情況。因此，在本文中，我們將介紹我們對分析框架的研究、設計和開發，并結合建模和仿真來評估AI/AA決策輔助工具在指揮和控制任務中的有效性。

作為分析框架開發的一部分，我們進行了廣泛的文獻綜述，并與30多個利益相關者進行了利益相關者分析，這些利益相關者在人工智能/AA、決策輔助、指揮與控制、建模與仿真等領域具有豐富的知識。根據他們對上述主題的熟悉程度，我們將這些利益相關者分為若干焦點小組。我們與每個小組舉行了虛擬焦點小組會議，收集反饋意見，并將其用于推動我們的發現、結論和建議（FCR）。同時，我們還開發了一個逼真的戰場小故事和場景。利用該場景和我們的FCR輸出，我們與美國陸軍DEVCOM分析中心（DAC）合作開發了一個功能層次結構，通過建模和仿真來測量目標。我們將假設的戰斗場景轉移到 "一個半自動化部隊"（OneSAF）中，該模擬軟件利用計算機生成部隊，提供部分或完全自動化的實體和行為模型，旨在支持陸軍戰備（PEOSTRI, 2023）。使用分析層次過程，我們征詢了評估決策者的偏好，計算了功能層次中目標的權重，并創建了一個電子表格模型，該模型結合了OneSAF的輸出數據，并提供了量化的價值評分。通過A-B測試，我們收集了基線模擬和模擬AI/AA效果的得分。我們比較了A情景和B情景的結果，并評估了AI/AA對模擬中友軍任務有效性的影響。

文獻綜述

分析評估框架可針對多標準決策問題對定量和/或定性數據進行評估。定性框架，如卡諾模型（Violante & Vezzetti, 2017）、法式問答（Hordyk & Carruthers, 2018）和定性空間管理（Pascoe, Bustamante, Wilcox, & Gibbs, 2009），主要用于利益相關者的投入和頭腦風暴（Srivastava & Thomson, 2009），不需要密集的計算或勞動。定量評估框架以數據為導向，提供一種數學方法，通過衡量性能和有效性來確定系統的功能。分析層次過程（AHP）適用于我們的問題，因為它使用層次設計和成對的決策者偏好比較，通過比較權重提供定性和定量分析（Saaty，1987）。雖然AHP已被廣泛應用，但據我們所知，該方法尚未被用于評估人工智能/自動分析決策輔助工具，也未與A-B測試相結合進行評估。

指揮與控制（C2）系統用于提供更詳細、更準確、更通用的戰場作戰畫面，以實現有效決策；這些C2系統主要用于提高態勢感知（SA）。研究表明，使用數字化信息顯示方法的指揮官比使用無線電通信收集信息的指揮官顯示出更高水平的態勢感知（McGuinness和Ebbage，2002年）。AI/AA與C2的集成所帶來的價值可以比作戰斗視頻游戲中的 "作弊器"：它提供了關于敵方如何行動的信息優勢，并幫助友軍避免代價高昂的后果（McKeon，2022）。對C2系統和SA的研究有助于推動本文描述的小故事和場景的發展。

建模與仿真（M&S）是對系統或過程的簡化表示，使我們能夠通過仿真進行預測或了解其行為。M&S生成的數據允許人們根據特定場景做出決策和預測（TechTarget，2017）。這使得陸軍能夠從已經經歷過的作戰場景和陸軍預計未來將面臨的作戰場景中生成并得出結論。模擬有助于推動陸軍的能力評估。測試和評估通常與評估同時進行，包括分析模型以學習、改進和得出結論，同時評估風險。軍隊中使用了許多不同的M&S工具。例如，"步兵戰士模擬"（IWARS）是一種戰斗模擬，主要針對個人和小單位部隊，用于評估作戰效能（USMA, 2023）。高級仿真、集成和建模框架（AFSIM）是一種多領域M&S仿真框架，側重于分析、實驗和戰爭游戲（West & Birkmire, 2020）。在我們的項目范圍內，"一支半自動化部隊"（OneSAF）被用于模擬我們所創建的戰斗情況，以模擬在戰場上擁有人工智能/自動機優勢的效果。

如前所述，人工智能/AA輔助決策的目標是提高決策的質量和速度。人工智能可用于不同的場景，并以多種方式為戰場指揮官和戰士提供支持。例如，人工智能/AA輔助決策系統可以幫助空中和地面作戰的戰士更好地 "分析環境 "和 "探測和分析目標"（Adams, 2001）。人工智能/自動機輔助決策系統可以幫助減少人為錯誤，在戰場上創造信息和決策優勢（Cobb, Jalaian, Bastian, & Russell, 2021）。這些由AI/AA輔助決策系統獲得的信息分流優勢指導了我們的作戰小故事和M&S場景開發。

本文方法

• 行動示意圖和場景開發

在我們的作戰小故事中，第1營被分配到一個小村莊，直到指定的前進路線。營情報官羅伊上尉（BN S2）使用AI/AA輔助決策系統（即助手）準備情報態勢模板（SITTEMP），該系統可快速收集和整合積累的紅色情報和公開來源情報衍生的態勢數據。然后，它跟隨瓊斯少校和史密斯上尉，即營行動指揮員（BN S3）和S3助理（AS3），使用AI/AA輔助決策系統制定機動行動方案（COA），以評估 "假設 "情景、 她根據選定的機動方案開發指定的利益區域（NAI），然后在其內部資產和上層資源之間協調足夠的情報、監視和偵察（ISR）覆蓋范圍。假設時間為2030年，雙方均不使用核武器或采取對對方構成生存威脅的行動，天氣條件對藍軍和紅軍的影響相同，時間為秋季，天氣溫暖潮濕。

• 利益相關者分析和功能層次開發

作為解決方案框架背景研究的一部分，我們與32位民用和軍用利益相關者進行了接觸，他們都是AI/AA及其對決策和仿真建模的貢獻方面的專家。我們進行的利益相關者分析過程如下： 1）定義和識別利益相關者；2）定義焦點小組；3）將利益相關者分配到焦點小組；4）為每個焦點小組制定具體問題；5）聯系利益相關者并安排焦點小組會議；6）進行焦點小組會議；7）綜合并分析利益相關者的反饋；以及8）制定FCR矩陣。我們利用FCR矩陣的結果來繪制功能層次圖，其中包括從模擬場景中生成/收集的目標、衡量標準和度量。然后根據這些目標、措施和指標對任務集的重要性進行排序。這為使用層次分析法（如下所述）奠定了基礎。

• 層次分析法和A-B測試

AHP是托馬斯-薩蒂（Thomas Saaty）于1987年提出的一種方法，它利用專家判斷得出的一系列成對比較，將功能層次結構中的每個功能和子功能放入一個優先級表中。然后通過有形數據或專家定性意見對各種屬性進行排序。如表1所示，這些排序被置于1-9的范圍內。在賦予每個屬性1-9的權重后，再賦予標準和次級標準權重，以顯示其相對重要性（Saaty，1987）。