本論文探討了區塊鏈與互聯網協議第六版（IPv6）數據包信息的使用，以支持與無人駕駛飛行器（UAVs）智能蜂群的安全、高性能和可擴展的通信。在這篇論文中，我們研究了三種情況下的加密數據包的交換，即點對點、點對多和多對點。我們模擬了每個場景下的蜂群行為，并在模擬運行中改變了蜂群中無人機的數量。基于仿真的結果顯示，對于點對點場景和多對多場景，即使在多對多場景中，交互節點的數量增加，延遲也沒有明顯增加。相反，在點對多的情況下，延遲會增加。需要進行更多的研究來評估本論文中提出的區塊鏈-IPv6方法的安全性和可擴展性。

圖. 使用區塊鏈技術的無人機群智能中的塊生成概念

引言

越來越多的無人機被用于軍事目的，再加上自動化方面的進步，如為無人駕駛飛行器（UAV）配備不同程度的自主權和群集智能，使得這些飛行器成為敵對勢力的誘人目標。為了獲得競爭優勢，對手將試圖找到無人機的飛行控制器、接收器或發射器的可利用的物理和網絡漏洞，然后應用動能、網絡或某種動能和網絡攻擊機制的組合來操縱無人機的行為，例如使無人機墜毀或泄露敏感數據。

攻擊軍用無人機的一個途徑是操縱無人機使用的通信機制，無論是無人機與無人機之間的通信還是無人機與人類操作員之間的通信。例如，對手可以修改或阻止無人機群之間的數據交換，以降低無人機群的行動效率。重要的是，為軍事單位提供的無人機已經過動能和網絡脆弱性評估，與這些脆弱性相關的風險在無人機的操作使用之前就已經得到緩解，并且在無人機的使用壽命內對無人機系統進行修改時，也要進行風險評估和緩解。

安全風險管理也要在一個框架中進行規范，美國國家標準與技術研究所（NIST）就是這樣做的，它發布了一個風險管理框架。多種技術可用于實施降低安全風險的措施。例如，Vikas Hassija和Vinay Chamola[1]斷言。"當務之急是保持無人機和其他用戶之間交易的安全性、成本效益和隱私保護。區塊鏈技術是一個非常有前途的解決方案，可用于部署實時無人機應用"。

A. 問題陳述

科學技術的創新和進步之間存在著一種共生關系。諸如自動駕駛汽車、自主無人駕駛飛行器（UAV）和智能家用電器等能力，一度被認為是科幻小說的范疇，或者在技術上太難實現，現在已經很普遍了。

無人機的概念最早出現在1783年，當時約瑟夫-米歇爾和他的伙伴雅克-艾蒂安-蒙戈爾費埃公開展示了一種當時可以說是無人機或無人駕駛飛機的交通工具[2]，其形式是1849年在法國一個叫安諾奈的地方的熱氣球，在那次戰爭中，由奧地利中尉弗朗茨-馮-烏沙提斯創造的氣球炸彈被用來攻擊威尼斯市。雖然這次攻擊只造成了輕微的損失，但它可以被稱為成功，因為兩天后威尼斯就投降了[3]。尼古拉斯-特斯拉在1898年獲得了遙控（RC）的專利，大約20年后，一家名為拉斯頓-普羅克特空中目標的公司在特斯拉之前獲得專利的遙控技術基礎上發明了第一架無翼飛機[4]。

從那時起，無人機技術和它的應用已經穩步增長。它們已被用于科學研究，如收集有關火山活動的數據，在這些地方使用駕駛飛機會太危險或太昂貴。在20世紀90年代，亞伯拉罕-卡雷姆推出了 "捕食者"，這是一種配備了攝像頭和其他傳感器的無人機，用于監視。國防界為 "捕食者 "配備了武器裝備，包括導彈[5]。掠奪者本身已被用于一些沖突，如在阿富汗、巴基斯坦、波斯尼亞、前南斯拉夫、伊拉克、也門、利比亞、敘利亞和索馬里的沖突[6]。在2022年，它們也被烏克蘭和俄羅斯武裝部隊廣泛用于戰斗。

無人機技術的一個重大進步是應用了蜂群智能，一群無人機模仿大量同質動物的智能行為，如蟻群、鳥群和蜜蜂群。蜂群通過蜂群成員之間的協調表現出集體行為。蜂群的行為可以被編碼為算法，而這些算法又可以通過軟件實現，在計算機上執行，比如無人機中使用的嵌入式計算機[7]。蜂群行為甚至被用來進行基于無人機的燈光表演，例如在2020年東京奧運會的開幕式上。

在蜂群中，蜂后是控制器，同樣地，在蜂群智能無人機中，系統中有一個控制中心，典型的控制器名為地面控制站（GCS）。無人機的工作方式很直接，這涉及到無人機和GCS之間的數據交換，然后GCS可以連接到衛星，或者衛星可以直接連接到無人機，一切都在實時發生。圖1說明了無人機和其基礎設施的一種通信方式。至少，通信需要是低延遲和安全的[8]。

有兩種技術可以在GCS和無人機之間進行通信。第一種技術是基于蜂群基礎設施的GCS，第二種是飛行Ad-Hoc網絡（FANET）。基于蜂群基礎設施的GCS本身有一個GCS，用于集中式通信。所有的無人機群都將與GCS進行通信，以便群組能夠運作。然而，這種技術的一個缺點是，它依賴于GCS的可用性和正確運作。如果GCS受到干擾，整個無人機群也會受到干擾。相比之下，FANET使用一個發射器向某個無人機發送命令，然后該無人機將這些命令轉發給第二個無人機。然后這些命令將以串行或并發的方式分發給其他無人機。所有的無人機將進行通信，并擁有發射器給出的命令列表，這樣，如果這個發射器發生故障，所有的無人機仍然可以執行命令，因為每個無人機都有一個有效的命令列表。最后，通過使用這種FANET技術，每個無人機將具有冗余性，而不完全依賴通信基礎設施。然而，這種技術也有缺點。例如，一個入侵者或一個未知的無人機可以進入并破壞無人機群。再比如，無人機群的授權成員無法檢測到，所以入侵者（即未經授權的參與者）的無人機，從而可以獲得將由授權無人機執行的命令列表[9]。

為了克服入侵者無人機的問題，也許可以應用區塊鏈來防止未經授權的無人機使用無人機群命令來獲取列表。區塊鏈本身已被廣泛用于金融領域，目的是在每筆交易的驗證過程中消除第三方。

在區塊鏈中，當數據被分發時，將很難被黑客攻擊并獲得完整的數據，因為它是由一個使用加密手段的網絡驗證的。每個區塊由前一個區塊的哈希值，驗證哈希值的隨機數，或稱nonce，以及時間戳組成。完整性的保證是由區塊鏈為第一個區塊的形成提供的，這個區塊是由一個經過驗證的交易形成的結果，稱為創世區塊。由于哈希值是不可預測的或唯一的，欺詐或復制行為將被發現。每個經過驗證的區塊都有其哈希值，對該區塊的任何改變都會對其他區塊產生影響。如果所有或大多數節點給予許可或同意，該區塊就會被添加到鏈上，因為共識機制安排交易的有效性在某個區塊的有效性。

區塊鏈上的這種共識機制可以通過三種方式進行，那就是工作證明、股權證明和投票，實用拜占庭容錯。在加密貨幣的世界里，工作證明被用于采礦。它的工作原理是在每個節點上進行數學方程的計算，然后每個首先完成計算的節點將有權將最新的區塊輸入區塊鏈。使用權益證明，只有合法的節點可以進行計算以達成共識。另一方面，實用拜占庭容錯是基于投票的，要求至少有三分之一的授權節點是拜占庭的。

認證過程是通過生成具有偽隨機函數的一次性密碼（OTP）來進行的。無人機在區塊鏈中注冊，每架無人機根據存儲在區塊鏈節點中的關系，確定它能夠認證的最近的無人機。認證請求從無人機發送至相關的無人機，后者在區塊鏈中觀察并檢查該無人機是否有關系，并能對其進行認證。這個方案能夠挫敗外部惡意無人機的攻擊或第三方攻擊，即使對手知道第一個令牌。

B. 方法

在本論文中，我們研究了使用IPv6（互聯網協議版本6）在無人機之間進行通信的方式。與IPv4（互聯網協議版本4）相比，IPv6有很多優點，即速度更快，更有效，因為它的路由表比IPv4少，所以路由過程將更有組織和有效，而且更安全，因為它配備了交換數據的加密功能。帶寬更有效，因為IPv6支持組播。配置更容易，因為它自動運行。總的來說，IPv6更適合無人機等移動設備，因為不需要通過網絡地址表（NAT），因此延遲低。IPv6將使用區塊鏈與權益證明共識相結合。

與加密貨幣一樣，區塊鏈上的每個節點都必須進行支付。在這項研究中，支付被替換成OTP。每個節點產生相同或同步的OTP。區塊鏈和OTP在這里的使用是為了檢測未經授權的無人機，并防止他們讀取或更新無人機群使用的命令列表。此外，我們探索了區塊鏈、智能合約共識（SCC）和分布式賬本技術在蜂群通信方面的能力。此外，還根據提出的無人機群智能通信架構的概念進行了模擬。

C. 范圍

本論文的范圍僅限于探索區塊鏈技術和OTP的聯合使用，這兩種技術在IPv6數據包中都有填充。

D. 研究結果總結

在進行了模擬物理無人機在點對點、點對多、多對點場景下的運行，并使用1-10000次迭代或交易的實驗后，得到了各場景的延遲比較結果。從這些結果可以得出結論，對于點對點方案和多對多方案，即使在多對多方案中，交互節點的數量增加，延遲也沒有顯著增加。而在點對多的情況下，一個節點以廣播信息的形式同時向幾個節點進行交易，這導致了延遲的增加。第四章和第五章解釋了仿真結果和這些結論的總結。此外，第五章還討論了與本論文中的事項有關的未來工作的可能性和建議。

E. 論文組織

第二章介紹了無人機群智能通信區塊鏈功能的背景，并利用它作為無人機群智能的通信手段。它還對IPv6結構格式進行了概述。第三章討論了基于IPv6區塊鏈的通信數據傳輸的分析。具體而言，分析了IPv6區塊鏈數據包的場景、保密性、完整性和可用性。第四章闡述了IPv6區塊鏈在無人機蜂群智能中實現的可能性和挑戰的研究成果。第五章提供了結論和對未來研究的建議。

目前，使用蒙特卡洛方法對導航系統進行分析可能很慢，而且計算成本很高。協方差分析是一種可以及時返回交易空間分析結果的工具，而且計算費用低廉。協方差分析工具大多是臨時性的或在專有接口內。這對導航領域來說尤其如此，因為大多數協方差分析的論文都是處理單一場景，并為所述場景編寫一個臨時的模擬器[1, 2]。

這項研究的目的是在一個新的模塊化和可插拔的導航框架庫--導航工具包中創建一個協方差分析工具。導航工具包是一個政府參考庫，可以與被稱為pntOS的模塊化和可插拔的傳感器融合架構一起開箱使用。在模塊化和可插拔的導航軟件包內創建一個協方差分析工具，將使研究人員能夠快速獲得交易空間分析結果，并使用與實際傳感器融合所使用的基本相同的代碼輕松進行自己的協方差分析模擬。研究人員將能夠利用導航工具包中預裝的大量的傳感器模型、算法和過濾器。

通過分析兩個不同的導航場景，解釋了這個協方差工具的創建。對這些不同的導航方案的結果進行了探討，以確定傳感器組合背后的好處和缺點。一個新的多普勒激光雷達速度傳感器首先用一組簡短的、四百秒的模擬飛行數據進行評估，以證明協方差工具的功能，并同時展示新傳感器的能力。最后的評估是使用3小時的飛行數據進行的。該方案將多普勒激光雷達速度傳感器與高靈敏度標量磁強計配對，以了解這兩種傳感器的組合如何改善導航解決方案。

這項工作從第二章開始，在第二章中介紹了用于創建協方差分析工具的軟件套件的背景。第二章還將描述我們將在未來的章節中使用協方差分析工具分析的用例。接下來的第三章和第四章是單獨的論文，介紹了協方差分析工具的兩個不同的使用案例。第三章在2021年的國家航空航天和電子會議（NAECON）上發表[11]。下一章，即第四章將之前的多普勒激光雷達速度傳感器與MagNav傳感器結合在一起，展示了兩個傳感器在組合導航方案中可以創建的解決方案，并將提交給《導航學會雜志》。最后，第五章總結了研究結果和工具的創建，然后以未來可能的工作作為結束。

摘要

隨著戰斗空間迅速轉移到網絡領域，為無人系統制定安全、強大的路由協議至關重要。此外，納米無人機的發展正在獲得牽引力，為海上或陸地上的操作員提供了新的隱蔽能力。在戰場上部署納米無人機的飛行特設網絡（FANET）會帶來具體的性能和安全問題。本論文提供了一種新的方法來解決FANET路由協議所面臨的性能和安全問題，在我們的案例中，專門為改進Ad Hoc 按需距離矢量（AODV）路由協議而定制。擬議的路由協議，即輕量級安全的Ad Hoc按需距離矢量（LS-AODV），使用輕量級流密碼Trivium來加密路由控制包，提供保密性。該方案還使用基于Chaskey-12的消息認證碼（MAC）來保證控制包的真實性和完整性。我們使用網絡模擬器NS-3，將LS-AODV與兩個基準路由協議AODV和優化鏈路狀態路由（OLSR）協議進行比較，以衡量網絡性能和安全優勢。仿真結果表明，當FANET沒有受到黑洞節點的攻擊時，LS-AODV的性能普遍優于OLSR，但比AODV的性能略差。另一方面，當FANET受到黑洞攻擊時，LS-AODV成為了首選協議。

第1章 簡介

飛行特設網絡（FANET）由飛行節點組成，如無人駕駛飛行器（UAV），在沒有有線連接的情況下進行通信并合作完成復雜的任務。這些飛行節點需要一個分散的通信架構來在快節奏的動態條件下運行。與移動特設網絡（MANET）或車輛特設網絡（VANET）相比，FANET有幾個突出的特點。FANET和類似的ad hoc網絡之間的區別包括。

• 三維空間移動（與主要在固定道路上運行的VANETS相比）。

• 更高的節點密度（與在城市或農村環境中運行的VANETS相比）。

• 更高的速度范圍，30至460公里/小時（與10至120公里/小時的駕駛速度范圍相比）。

• 較低的能量儲存能力。[1]

1.1 飛行Ad Hoc網絡的應用

在許多軍事和民用領域，FANET的部署正獲得越來越多的關注。由于不需要有線基礎設施，FANETs能夠從戰區外快速部署，因此對地面人員來說是非常寶貴的。因此，這些專門的網絡非常適用于災難響應、搜索和救援行動以及軍事任務。

1.1.1 軍事應用

2009年，美國國防部（DOD）表示，無人機在支持關鍵任務方面飛行了45萬小時以上，包括 "持久自由行動 "和 "伊拉克自由行動"[2]。無人機在人類生命受到威脅的沖突地區特別有用。一個多無人機系統可以在大型戰區提供實時監測和信號分析，并將該信息傳遞給地面的操作人員。然而，許多問題，特別是安全通信領域的問題，需要在多無人機系統能夠完全執行其任務之前得到解決，同時部署在擁有無線拒絕能力的敵人面前。在2020年的一次無人駕駛飛行器系統會議上，負責作戰要求和能力的海軍作戰部副部長吉姆-基爾比海軍中將（OPNAV N9）提出了海軍在部署多無人機系統時面臨的基本問題。基爾比指出。

• 所有這些無人駕駛飛行器的聯網和控制、C2的能力是重大而重要的。考慮到對網絡的這種需求的聚集，并理解到確保我們的網絡足夠強大，能夠在許多不同類型的環境中處理我們所有的車輛[3]。

現代軍隊需要可靠和安全的通信網絡，使部隊指揮官能夠進行大量的戰爭行動，如監視或武器部署。

1.1.2 民間應用

隨著信息時代的發展，越來越多的民用應用開始依賴網絡連接。FANET提供了一種在自然災害期間恢復網絡連接的替代方法。從事偵察或搜索和救援的緊急移動單位可以通過利用FANET架構大大增加其覆蓋范圍。典型的VANET在自然災害期間可能會受到限制，因為通過道路和水路的可及性有限，而FANET可以在高海拔地區運行，沒有移動性障礙[1]。

FANET在民用領域的其他作用包括作物監測、環境監測（污染程度、風、濕度、溫度）和警察監視。它們還為其他特設網絡提供支持[1]。例如，最近在《智能和機器人系統》雜志上的一項研究[4]展示了一個FANET在VANETs中監督和調節交通。

1.2 研究動機

海軍陸戰隊目前部署了PD-100 "黑蜂 "納米無人機，這是一種1.16盎司的微型無人機，能夠進行偵察和監視行動[5], [6]。本論文設想了一個由這些納米無人機組成的蜂群網絡，部署在城市戰區上空，合作處理并向地面部隊傳遞實時信息。軍事FANET中的納米無人機必須減輕頻繁的鏈路斷開、不斷的網絡拓撲變化和能量存儲限制的影響，同時在擁有無線拒絕能力的敵人的地區運行。

輕量級但安全的Ad Hoc On-Demand Distance Vector（AODV）路由協議[7]是克服軍事級納米無人機的FANET所面臨的路由和安全挑戰的首要候選方案。AODV是ad hoc網絡中最廣泛使用的反應式協議之一。它以最小的開銷和最小的路由建立延遲在高度移動的節點之間提供通信[8]。限制FANET路由協議的加密安全足跡，可以將關鍵能量用于有效載荷、續航能力和增強操作能力。開發一個高效的安全機制，還可以使多無人機系統通過最大限度地提高吞吐量，確保一致的數據包交付率（PDR），并最大限度地減少網絡抖動和延遲的影響，從而對即將到來的威脅做出快速反應，無論是軍事還是民用。

1.3 研究貢獻

本論文為海軍研究辦公室（ONR）的資助研究做出了貢獻，以加強網絡物理系統的網絡安全分析。本論文提供了一種新的方法來解決FANET路由協議所面臨的安全問題，并專門為改進AODV路由協議而定制。提出的方案使用輕量級流密碼Trivium[9]來加密路由控制數據包，從而提供保密性。其次，該方案使用基于Chaskey-12的消息認證碼（MAC）來保證控制包的真實性和完整性。

本論文的目的是在FANET架構中設計和評估新型的輕量級安全Ad Hoc按需距離矢量路由協議（LS-AODV）的性能。這篇論文提供了將Trivium流密碼和Chaskey-12 MACs整合到網絡路由協議中的首次公開嘗試。在各種性能指標方面，LS-AODV與幾個流行的ad hoc路由協議進行了比較，特別是優化鏈路狀態路由（OLSR）和AODV。本論文中的工作是基礎性的，有助于重振整個國防部對網絡系統中輕量級流密碼應用的討論。實現以下四個主要目標是本論文的貢獻。

• 設計一個路由協議安全機制，使用輕量級同步流密碼Trivium和輕量級基于交換的MAC算法Chaskey-12。

• 將新的基于Trivium和Chaskey-12的安全機制整合到AODV路由協議中。

• 評估在有和沒有輕量級安全的最佳網絡條件下的吞吐量、延遲、抖動、丟包和路由開銷性能。

• 評估黑洞攻擊條件下的吞吐量、延遲、抖動、丟包和路由開銷性能，并確定最佳網絡配置以減輕對手的拒絕能力。

1.4 論文組織

本論文的其余部分組織如下。第二章概述了網絡模擬器NS-3，比較FANET路由協議，以及必須解決的性能和安全問題。第三章討論了通過使用輕量級同步流密碼Trivium和基于Chaskey-12的MAC，使AODV路由協議適應軍事FANET場景的擬議方法。第四章描述了仿真設置和參數選擇。第五章介紹并分析了仿真結果。第六章對研究進行了總結，并對未來的工作提出了建議。

摘要

北約正在進行一項名為聯邦任務網絡（FMN）的重大舉措，旨在在北約成員國和伙伴國家之間建立一個共同的技術和培訓基礎，以便在聯盟行動需要時，他們的部隊能夠對關鍵信息系統進行互操作。FMN不是網絡；它是一套互操作的標準和實踐。作者正在領導MSG-193專家團隊的工作，該團隊一直致力于支持在FMN中納入適當的建模和仿真 (M&S) 標準和實踐。本文總結了FMN規范是如何制定的，包括MSG-193作為“M&S辛迪加”在過程中的作用。然后，該論文強調了NMSG的科學技術與FMN支持的軍事行動之間的文化差距，以及如何有效彌合這種差距。FMN開發的第5和第6螺旋（階段）將是建模和仿真的主要重點，包括任務演練、培訓和決策支持。本文最后總結了當前針對這些螺旋的建議中的M&S技術。

摘要

在工業資產運行過程中出現的異常情況可能表明存在退化和故障，隨著時間的推移，會導致不期望的行為、運行條件的喪失以及系統的最終崩潰。預測性維護技術負責監測系統的狀態，以便在初始階段對這些異常情況進行檢測，從而以最佳方式安排維護任務。本文介紹了一種基于機器學習的人工智能技術的海軍資產預測性維護解決方案。為此，使用了由船舶實時收集并通過控制中心傳輸的傳感器（溫度、壓力等）的信息。所開發的系統（SOPRENE）能夠從我們軍艦上的發動機的歷史數據中預測不同的故障模式或異常運行狀況的發生。此外，該系統的使用可擴展到大型艦隊，該解決方案已使用Spark分布式環境來實現，以促進預測的分布式計算。

簡介

維護成本是工業運營成本的一個重要部分。在某些情況下，如在冶金行業，這些成本可以達到總生產成本的15%-60%。此外，其中三分之一的投資由于不必要的或不正確的活動而被浪費。然而，維護是至關重要的，因為系統的故障會導致巨大的財務成本。

在過去，由于不可能處理大量連續的數據流，所以在很多情況下，只能使用統計技術。然而，今天的預測性維護則遵循更先進的理念：

與其依靠這些行業統計數據（如平均故障間隔時間）來安排維護活動，不如對系統進行實時監測，以確定其狀態和真實狀況。目前的計算能力允許處理更多的數據，以及使用更復雜的技術來進行預測、檢測異常情況和對系統進行可能的診斷。因此，預測性維護可以理解為基于系統的當前狀態或條件以及根據運行歷史進行的未來預測的預防性維護。

這項研究工作介紹了在SOPRENE項目中開發的預測性維護系統在海軍艦艇發動機上的應用。擬議的系統已經分析并使用了分布式環境中的機器學習技術。在這個意義上，所考慮的方法論可以根據Ran等人的說法來劃分。

摘要

下一代物聯網 (NG-IoT) 應用的出現為第六代 (6G) 移動網絡帶來了一些挑戰，例如大規模連接、增加的網絡容量和極低的延遲。為了應對上述挑戰，超密集網絡已被廣泛認為是一種可能的解決方案。然而，基站 (BS) 的密集部署并不總是可行或具有成本效益的。無人機基站 (DBS) 可以促進網絡擴展并有效滿足 NG-IoT 的需求。此外，由于它們的靈活性，它們可以在緊急情況下提供按需連接或解決網絡流量的臨時增加。然而，由于能量儲備有限以及空對地鏈路中信號質量下降的增加，DBS 的最佳布置并不是一項簡單的任務。為此，群體智能方法可以成為確定 DBS 在三維 (3D) 空間中的最佳位置的有吸引力的解決方案。

在這項工作中，我們探索了著名的群體智能方法，即布谷鳥搜索 (CS)、象群優化 (EHO)、灰狼優化 (GWO)、帝王蝶優化 (MBO)、Salp 群算法 (SSA) 和粒子群優化 (PSO) 并研究它們在解決上述問題中的性能和效率。特別是，我們研究了在存在不同群體智能方法的情況下三種場景的性能。此外，我們進行了非參數統計檢驗，即弗里德曼和威爾科克森檢驗，以比較不同的方法。

摘要

提供態勢感知是戰術領域的一項關鍵要求和一項具有挑戰性的任務。戰術網絡可以被描述為斷開、間歇和受限 (DIL) 網絡。在 DIL 網絡中使用跨層方法有助于更好地利用戰術通信資源，從而提高用戶感知的整體態勢感知。用于優化應用程序的規則，描述其合適跨層策略（啟發式）的規范仍然是一項具有挑戰性的任務。

我們之前介紹了一種學習環境架構，旨在訓練分散的強化學習 (RL) 智能體，這些智能體應該通過使用跨層信息 [1] 來改善 DIL 網絡中網絡資源的使用。由于這些智能體的訓練需要大量場景，因此定義了一個額外的戰術模型。戰術模型的目的是生成具有動態變化的網絡條件和應用程序之間動態信息交換的場景，從而為訓練 RL 智能體奠定基礎。戰術模型本身也基于 RL 智能體，它在博弈環境中模擬軍事單位。

在本文中，我們展示了這個戰術模型，實驗性的深度強化智能體放置在一個專注于控制多智能體合作博弈中的運動和通信戰術環境中。該博弈的重點是多個智能體，通過在二維空間中進行交流和移動來達到與對方團隊競爭的共同目標。我們研究智能體如何與彼此和環境交互以解決偶發性和連續性任務。由于這項工作的重點是在通信網絡上進行強化學習以增強 DIL 通信網絡，因此我們提出了基于近端策略優化 [2] 的智能體，以適應協作多智能體通信網絡問題。此外，該博弈的最終軌跡用于在 DIL 設置中訓練智能體。

圖4-1:戰術模型的高層架構

圖4-2:戰術環境的可視化

圖5-2:在PoIs和單個單位被打破之前積累單位