反無人駕駛航空系統（C-UAS）技術難以跟上無人機所帶來的不斷變化的威脅。這種威脅由于小型無人機系統（SUAS）的出現而變得更加復雜，它們作為一個自主的實體共同完成任務，被稱為蜂群。這些設備的小型化，加上其能力的快速增長，提出了一個必須解決的挑戰性問題。這項工作探討了在海軍陸戰隊現有的地面防空和火力支援框架內設計一種反蜂群間接火力的能力。在此過程中，本論文提出了一個新的解決方案，即定義一個炮彈的參數，其效果旨在破壞SUAS的運作。這種炮彈將通過利用射彈中的消耗性干擾器來攻擊無人駕駛航空器（UAV）的電磁頻譜弱點。這種能力可能對蜂群威脅有效，并且可以從后方使用，以支持在炮彈射程內任何地方受到SUAS攻擊的部隊。

這項研究對攻擊者-防御者的蜂群交戰進行了權衡分析，以比較制約蜂群行為因素的相對效率，即目標算法和單個無人機參數。特別是，我們研究了為 "服務學院蜂群挑戰賽"（SASC）開發的算法，這是一項蜂群對蜂群交戰的實戰演習。我們用動態蜂群模擬進行了分析，允許蜂群組成和行為發生變化。這使我們能夠確認SASC中關于蜂群性能的定性結果。此外，使用比例分析方法進行定量權衡分析，并開發了評估防御性蜂群適應性的函數形式。我們的結果為后續研究更復雜的蜂群行為提供了一個框架。

無人機蜂群是由自主飛行器組成的群體，它們通過協調和溝通來實現目標[1]。無人機蜂群的規模可以根據蜂群的能力和后勤支持而任意擴大。在軍事上，大型蜂群對高價值單位（HVU）（如航空母艦）構成高風險，因為蜂群有能力壓倒現有的HVU點防御[2] 。

1.1 來自無人機蜂群的風險

無人機蜂群的實戰能力在歷史上一直受到計算機處理、無人機與無人機之間的通信以及能量存儲密度的限制[3]。然而，這些領域的發展已經導致了蜂群的發展和可行性的提高。這導致無人機蜂群的風險急劇增加。大型蜂群已變得越來越有可能，中國早在2017年就測試了超過1000架無人機的蜂群[3]。使得無人機蜂群更加實用的技術改進預計將繼續下去。

對高價值單位來說，最大的無人機風險是空中無人機在利用機載炸藥執行自殺式任務。蜂群的目標是，通過數量，使HVU的防御達到飽和，并摧毀或使HVU失效。目前的HVU防御系統，如導彈或近距離武器系統，不足以對付大型無人機蜂群[2]，也不經濟。這些旨在對付飛機和導彈的防御系統沒有能力對付無人機及其威脅狀況。蜂群的低成本和大規模使HVU有可能耗盡其有限的防御彈藥，而只能摧毀蜂群的一小部分[2]。在這種情況下，HVU將很容易受到蜂群殘余物或其他單位利用其疲憊的防御系統的攻擊。

HVU的戰略效用和經濟價值也會導致對手以整個無人機蜂群的代價從HVU的破壞中獲益。有能力的無人機可以以低至每架500,000美元的價格投入使用[2]。這個估計包括無人機、發射器和后勤支持的費用。因此，一個600架無人機蜂群，能夠削弱現有的HVU防御系統，將總共花費3億美元[2]。這與一艘航空母艦120億美元的成本相比更有優勢[4]。這種差距使得蜂群可以被用作力量倍增器，以盡量減少美國目前從昂貴的HVU中獲得的優勢[5]。

1.2 反蜂群技術

擬議的反無人機蜂群的方法包括激光和電磁武器以及無人機反集群。激光和電磁武器在技術上比現有的點狀防御系統更適合于反擊無人機蜂群，因為它們能夠耗費幾乎無限的射擊次數。然而，這兩種武器系統目前都沒有被廣泛使用。事實上，激光和電磁武器都面臨著巨大的技術困難，需要相當大的技術進步來提供可靠的反無人機防御[6]。

無人機反集群包括使用防御性無人機群來打擊進攻性的、敵對的無人機群。與進攻性無人機群相比，這種蜂群反制措施的研究相對較少。然而，與其他反制措施相比，防御性無人機群的優勢在于利用了刺激進攻性無人機群發展的相同技術進步。隨著進攻性無人機群的能力越來越強，防御性無人機群也是如此。事實上，防御性無人機群可能比進攻性無人機群更容易實施，因為防御性無人機群在受控空域的友軍中行動[7]。反蜂群還允許防御者破壞進攻型無人機群最重要的優勢，即其規模。防御性無人機群可以有足夠大的規模來減輕進攻性無人機群飽和防御的能力。

美海軍研究生院的研究人員以前的工作重點是將反集群作為一個最優控制問題進行研究[8]-[12]。此前的工作利用了基于潛力的模型、遠程武器和防御者集群戰略。本論文通過實施不同的蜂群合作規則和應用新的分析技術，在這些先前工作的基礎上進行研究。例如，以前的研究集中在遠程武器上，在這種情況下，攻擊蜂群是作為一個整體參與的。本論文著重于使用短程武器的模擬，其中防御者與單個攻擊者交戰。此外，本論文研究的是權衡分析，而不是優化，但這里描述的工具可以在未來的工作中與優化相結合。

發展防御性無人機群需要回答一系列問題。首先，防御型蜂群的最佳戰術是什么，以最好地對抗攻擊型蜂群？第二，什么樣的平臺規格，如速度或武器范圍，將是最有效的？第三，與這些平臺規格相關的成本或技術限制可能會影響到部署最佳蜂群的可行性？這三個分類問題包括許多其他問題。例如，給定一個算法和一套平臺規格，增加更多的機器人有什么好處？是否有一個點，在這個點上增加更多的無人機不再有好處？平臺規格的改進與增加無人機相比有何不同；例如，是速度翻倍還是無人機的數量更有利？

為了回答這些問題，任務規劃者和設計者必須對無人機群參數進行全面的權衡分析，以確定如何在最小化群組成本的同時最大限度地提高群組能力。對諸如蜂群行為、蜂群規模和單個無人機性能（包括其速度和武器射程）等因素進行徹底的提煉，可以使任務規劃人員能夠派出最能勝任、最經濟的無人機群來反制對手的蜂群。如果沒有這種分析，任務規劃者就有可能制造一個不足以擊敗進攻性蜂群的蜂群，從而使HVU處于危險之中。反之，任務規劃者也可能建立一個無人機群，它可以很好地擊敗進攻性機群，但卻是一種低效的資源分配。目前，適合執行這些規劃任務的分析工具很少。本論文的目標是開始填補這一知識空白。

這篇論文考慮的情況是，一架無人機保衛一個高價值的目標，以抵御一些入境的攻擊無人機。防御性無人機配備了短程武器，必須以最有效的方式摧毀每一架攻擊性無人機。這個問題是應用數學中幾個開放性問題的交匯點，例如在有損耗的情況下的最佳行動規劃，以及解決有移動目標的 "旅行推銷員問題"（TSP）。我們研究的目的是通過將該問題分解為各組成部分的問題，然后提出各組成部分的概念驗證方案來分析該問題。這篇論文的主要成果包括一個建模框架，在這個框架中，可以在不需要約束的情況下進行優化；比較使用不同類型的成本函數進行優化的優勢（例如，最小化高價值單位被摧毀的機會與基于防御者相對于攻擊者的路徑的度量）；以及通過將其映射到標準TSP或使用機器學習來解決某些限制下的移動目標TSP。

1.1 戰斗中的自主系統

自動化系統，特別是無人駕駛飛行器（UAVs）的迅速增加，改變了現代戰場。美國已經率先在整個作戰范圍內開發和實施無人機，從信號情報到無人機精確打擊[1], [2]。然而，我們的對手繼續取得有意義的進展，最近的例子是俄羅斯在烏克蘭使用中國制造的無人機[3]，無人機可能參與了最近對北溪管道的破壞[4]，甚至恐怖組織的小規模、低技術的無人機攻擊[5]。

美國繼續按照無人駕駛航空系統（UAS）路線圖[6], [7]發展其無人機能力，該路線圖規定了無人機平臺的幾個重要任務，包括情報、監視和偵察（ISR）、壓制敵方防空（SEAD）、電子攻擊、網絡節點/通信中繼和空中投遞/補給。然而，這份清單中明顯缺少的是無人機系統的防御。無人機戰爭的一個新的和發展中的方面，即無人機對無人機的交戰，迫在眉睫。有許多無人機防御系統正在開發中，包括地面激光系統，如海軍陸戰隊的緊湊型激光武器系統（CLWS）[8]和導彈系統，如陸軍的KuRFS和Coyote Effectors[9]。然而，新的反無人機系統（C-UAS）無人機正在開發中，如洛克希德-馬丁公司的MORFIUS[10]，它使用高功率微波（HPM）武器系統，使敵方無人機在飛行中失效。

美國軍方和國防部（DOD）總體上對其無人機能力進行了大量投資，這不僅包括人員、設備和武器，還包括對無人機和蜂群的戰術運用的大量研究，而這些研究超出了最近取得巨大成功的ISR和精確打擊能力[11], [12]。在2019年的指揮官規劃指南中，海軍陸戰隊指揮官大衛-H-伯杰將軍要求建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人系統家族"，以及 "大大增加我們在其他領域成熟無人駕駛能力的努力" [13]。正是在這些其他領域，我們必須繼續創新，特別是在我們對抗對手在無人機/無人機系統開發方面的成果的能力方面。

2021年，美國防部發布了其C-UAS戰略，確定了其核心挑戰：小型無人機系統（sUAS）的指數級增長給美國防部帶來了新的風險。技術趨勢正在極大地改變小型無人機系統的合法應用，同時使它們成為國家行為者、非國家行為者和犯罪分子手中日益強大的武器。當被疏忽或魯莽的操作者控制時，小型無人機系統也可能對國防部在空中、陸地和海洋領域的行動構成危害。國防部必須在越來越多的小型無人機系統與國防部飛機共享天空、在國防部設施上空運行以及被我們國家的對手使用的環境中，保護和捍衛人員、設施和資產[14]。

雖然該戰略要求在理論、組織、訓練、物資、領導和教育、人員、設施-政策（DOTMLPF-P）等方面應對這些挑戰，但必須做更多的工作，將研究/開發與戰術層面的使用結合起來，并使之同步。這篇論文的目的就是要彌補這些領域之間的差距。

1.2 目前的工作

為了提高ISR能力，無人機技術早期發展的大部分學術工作都致力于各種學科的最佳路徑控制，但具體的軍事應用包括為ISR任務避免碰撞/雷達[15]。這項工作的成功從美國的無人機精確打擊能力中可見一斑。在海軍研究生院（NPS），Kaminer等人就大型蜂群的動力學和行為開展了大量的工作[16]-[20]。盡管有很長的工作歷史，這些最近的論文提出了高價值單位防御中的一個新的最佳控制問題，開發了具有損耗建模的最佳控制問題的計算框架，并開發了高效的數值框架來解決最佳控制問題中的不確定參數

許多文獻都涉及到減員模型。蘭徹斯特損耗模型使用微分方程來研究敵對部隊的依賴性損耗，自第一次世界大戰（WWI）以來，該模型被有力地運用于戰斗研究[21], [22]。一些工作已經確定了需要并解決了明確結合最優控制和損耗建模的問題[23], [24]。然而，并不存在將這些領域有效地結合在一起的一般框架或理論，當它們被解決時，其結果往往是高度特定的場景。

本論文的大部分內容將關注旅行銷售員問題（TSP）在動態環境中的應用。最佳控制和TSP在物理學和工程科學中經常有交集。例如，一個這樣的問題可能是由航天器以最佳方式訪問木星的所有79顆衛星[25]。Moraes和Freitas通過比較幾種啟發式算法來解決移動目標TSP（MT-TSP），并應用于人群和無人機檢測[26]。

1.3 開放式問題

耦合蘭徹斯特損耗模型、最優控制理論和TSP的問題對于大領域的超級蜂群是難以解決的。然而，無人機防御研究必須關注這三個領域的交叉點，以便適當地解決這一領域現存的軍事戰術和戰略問題。超級蜂群系統的基本特征還沒有得到很好的理解，盡管隨著我們擴大小型蜂群參與戰略和框架的規模，它們的屬性可能會出現。

圖 1.1 一般研究問題的解決框圖

本論文從這個有利的角度來探討這個問題，從小型蜂群開始，開發新的方法來解決更多可解決的系統，然后可以擴大規模。

每一種方法都考慮到sUAS有限的機載計算能力和作戰期間有限的可用時間。如圖1.1和1.2所概述的一般研究問題，首先是估計諸如武器類型、武器效能、無人機群類型等參數。本論文將把所有的參數視為常量、已知量。關于參數的不確定性分析見Walton等人[17]。

圖1.2 研究問題的場景可視化

其次，一群防御性無人機必須決定如何分割即將到來的攻擊者集合，以便以最佳方式與他們交戰，使高價值單位（HVU）的生存概率最大化。本論文將這一場景限制在單一防御無人機上。關于多重TSP（MTSP），見參考文獻[27]-[29]。

1.4 提綱

剩下的幾塊，決定攻擊順序和路徑優化，將在下面幾章討論。第二章假設已經知道或選擇了合理的攻擊順序，并解決相關的科學問題，即如何使HVU的生存率最大化。我們偏離了最優控制的路徑優化，而是致力于建立全新的、無約束的優化框架的可行性，在這里我們討論了各種成本函數的優點和缺點。第三章和第四章分別從TSP和機器學習（ML）的有利角度解決攻擊順序問題。

第三章試圖消除MT-TSP的時間依賴性，以證明動態版本的TSP仍然可以在轉換的空間上采用傳統的TSP算法，第四章為ML的應用建立了一個概念證明。最后，第五章展示了我們開發的圖形用戶界面（GUI）的功能，作為無人機防御任務規劃的輔助工具。

物聯網，或簡稱為IoT，是一個多領域、多范式的技術話題，由于其固有的自動化行為和廉價的開發成本，在商業用途和業余愛好者中都迅速獲得普及。隨著可用的無線技術和小型硬件的出現，它已成為過去十年的決定性技術之一，它對城市和企業的 "智能化 "作用是不言而喻的。因此，它也獲得了軍事技術革新者的關注，通過增強和擴大態勢感知來獲得戰斗空間中的信息主導權。

在這篇論文中，一個采用士兵可穿戴設備形式的軍事物聯網原型子系統被建立起來，它使用了商業上可用的軟件和硬件，由一個完全建立在開放源碼上的私人網絡和信息鏈支持，獨立于現有的基礎設施，以便展示為軍事部署提供自我驅動、臨時性的傳感器網絡的能力。為了支持具體的設計，現役軍人已經參與其中，以便提供圍繞他們在各種軍事任務案例中的領導方法的重要細節，此外還對完成的原型提供反饋，以便得出這樣一個系統是否有助于提高作戰效率的結論。

本論文中開發的原型利用商業設備來建立對佩戴者的地理位置、生物識別讀數和氣體檢測的感應，它被設計成盡可能頻繁地傳輸，以保持盡可能高的更新率，同時也將空中的時間限制在最低限度，以降低被敵對的電子戰單位探測到的電磁風險，此外還限制電池的使用，從而也限制了設備的運行壽命。

本論文的研究結果表明，通過士兵層面的自動數據采集，可以提高戰斗空間態勢。因此，建議參與類似任務的軍事組織，如本論文中提出的那些，進一步調查這種系統的可用性。

本論文探討了區塊鏈與互聯網協議第六版（IPv6）數據包信息的使用，以支持與無人駕駛飛行器（UAVs）智能蜂群的安全、高性能和可擴展的通信。在這篇論文中，我們研究了三種情況下的加密數據包的交換，即點對點、點對多和多對點。我們模擬了每個場景下的蜂群行為，并在模擬運行中改變了蜂群中無人機的數量。基于仿真的結果顯示，對于點對點場景和多對多場景，即使在多對多場景中，交互節點的數量增加，延遲也沒有明顯增加。相反，在點對多的情況下，延遲會增加。需要進行更多的研究來評估本論文中提出的區塊鏈-IPv6方法的安全性和可擴展性。

圖. 使用區塊鏈技術的無人機群智能中的塊生成概念

引言

越來越多的無人機被用于軍事目的，再加上自動化方面的進步，如為無人駕駛飛行器（UAV）配備不同程度的自主權和群集智能，使得這些飛行器成為敵對勢力的誘人目標。為了獲得競爭優勢，對手將試圖找到無人機的飛行控制器、接收器或發射器的可利用的物理和網絡漏洞，然后應用動能、網絡或某種動能和網絡攻擊機制的組合來操縱無人機的行為，例如使無人機墜毀或泄露敏感數據。

攻擊軍用無人機的一個途徑是操縱無人機使用的通信機制，無論是無人機與無人機之間的通信還是無人機與人類操作員之間的通信。例如，對手可以修改或阻止無人機群之間的數據交換，以降低無人機群的行動效率。重要的是，為軍事單位提供的無人機已經過動能和網絡脆弱性評估，與這些脆弱性相關的風險在無人機的操作使用之前就已經得到緩解，并且在無人機的使用壽命內對無人機系統進行修改時，也要進行風險評估和緩解。

安全風險管理也要在一個框架中進行規范，美國國家標準與技術研究所（NIST）就是這樣做的，它發布了一個風險管理框架。多種技術可用于實施降低安全風險的措施。例如，Vikas Hassija和Vinay Chamola[1]斷言。"當務之急是保持無人機和其他用戶之間交易的安全性、成本效益和隱私保護。區塊鏈技術是一個非常有前途的解決方案，可用于部署實時無人機應用"。

A. 問題陳述

科學技術的創新和進步之間存在著一種共生關系。諸如自動駕駛汽車、自主無人駕駛飛行器（UAV）和智能家用電器等能力，一度被認為是科幻小說的范疇，或者在技術上太難實現，現在已經很普遍了。

無人機的概念最早出現在1783年，當時約瑟夫-米歇爾和他的伙伴雅克-艾蒂安-蒙戈爾費埃公開展示了一種當時可以說是無人機或無人駕駛飛機的交通工具[2]，其形式是1849年在法國一個叫安諾奈的地方的熱氣球，在那次戰爭中，由奧地利中尉弗朗茨-馮-烏沙提斯創造的氣球炸彈被用來攻擊威尼斯市。雖然這次攻擊只造成了輕微的損失，但它可以被稱為成功，因為兩天后威尼斯就投降了[3]。尼古拉斯-特斯拉在1898年獲得了遙控（RC）的專利，大約20年后，一家名為拉斯頓-普羅克特空中目標的公司在特斯拉之前獲得專利的遙控技術基礎上發明了第一架無翼飛機[4]。

從那時起，無人機技術和它的應用已經穩步增長。它們已被用于科學研究，如收集有關火山活動的數據，在這些地方使用駕駛飛機會太危險或太昂貴。在20世紀90年代，亞伯拉罕-卡雷姆推出了 "捕食者"，這是一種配備了攝像頭和其他傳感器的無人機，用于監視。國防界為 "捕食者 "配備了武器裝備，包括導彈[5]。掠奪者本身已被用于一些沖突，如在阿富汗、巴基斯坦、波斯尼亞、前南斯拉夫、伊拉克、也門、利比亞、敘利亞和索馬里的沖突[6]。在2022年，它們也被烏克蘭和俄羅斯武裝部隊廣泛用于戰斗。

無人機技術的一個重大進步是應用了蜂群智能，一群無人機模仿大量同質動物的智能行為，如蟻群、鳥群和蜜蜂群。蜂群通過蜂群成員之間的協調表現出集體行為。蜂群的行為可以被編碼為算法，而這些算法又可以通過軟件實現，在計算機上執行，比如無人機中使用的嵌入式計算機[7]。蜂群行為甚至被用來進行基于無人機的燈光表演，例如在2020年東京奧運會的開幕式上。

在蜂群中，蜂后是控制器，同樣地，在蜂群智能無人機中，系統中有一個控制中心，典型的控制器名為地面控制站（GCS）。無人機的工作方式很直接，這涉及到無人機和GCS之間的數據交換，然后GCS可以連接到衛星，或者衛星可以直接連接到無人機，一切都在實時發生。圖1說明了無人機和其基礎設施的一種通信方式。至少，通信需要是低延遲和安全的[8]。

有兩種技術可以在GCS和無人機之間進行通信。第一種技術是基于蜂群基礎設施的GCS，第二種是飛行Ad-Hoc網絡（FANET）。基于蜂群基礎設施的GCS本身有一個GCS，用于集中式通信。所有的無人機群都將與GCS進行通信，以便群組能夠運作。然而，這種技術的一個缺點是，它依賴于GCS的可用性和正確運作。如果GCS受到干擾，整個無人機群也會受到干擾。相比之下，FANET使用一個發射器向某個無人機發送命令，然后該無人機將這些命令轉發給第二個無人機。然后這些命令將以串行或并發的方式分發給其他無人機。所有的無人機將進行通信，并擁有發射器給出的命令列表，這樣，如果這個發射器發生故障，所有的無人機仍然可以執行命令，因為每個無人機都有一個有效的命令列表。最后，通過使用這種FANET技術，每個無人機將具有冗余性，而不完全依賴通信基礎設施。然而，這種技術也有缺點。例如，一個入侵者或一個未知的無人機可以進入并破壞無人機群。再比如，無人機群的授權成員無法檢測到，所以入侵者（即未經授權的參與者）的無人機，從而可以獲得將由授權無人機執行的命令列表[9]。

為了克服入侵者無人機的問題，也許可以應用區塊鏈來防止未經授權的無人機使用無人機群命令來獲取列表。區塊鏈本身已被廣泛用于金融領域，目的是在每筆交易的驗證過程中消除第三方。

在區塊鏈中，當數據被分發時，將很難被黑客攻擊并獲得完整的數據，因為它是由一個使用加密手段的網絡驗證的。每個區塊由前一個區塊的哈希值，驗證哈希值的隨機數，或稱nonce，以及時間戳組成。完整性的保證是由區塊鏈為第一個區塊的形成提供的，這個區塊是由一個經過驗證的交易形成的結果，稱為創世區塊。由于哈希值是不可預測的或唯一的，欺詐或復制行為將被發現。每個經過驗證的區塊都有其哈希值，對該區塊的任何改變都會對其他區塊產生影響。如果所有或大多數節點給予許可或同意，該區塊就會被添加到鏈上，因為共識機制安排交易的有效性在某個區塊的有效性。

區塊鏈上的這種共識機制可以通過三種方式進行，那就是工作證明、股權證明和投票，實用拜占庭容錯。在加密貨幣的世界里，工作證明被用于采礦。它的工作原理是在每個節點上進行數學方程的計算，然后每個首先完成計算的節點將有權將最新的區塊輸入區塊鏈。使用權益證明，只有合法的節點可以進行計算以達成共識。另一方面，實用拜占庭容錯是基于投票的，要求至少有三分之一的授權節點是拜占庭的。

認證過程是通過生成具有偽隨機函數的一次性密碼（OTP）來進行的。無人機在區塊鏈中注冊，每架無人機根據存儲在區塊鏈節點中的關系，確定它能夠認證的最近的無人機。認證請求從無人機發送至相關的無人機，后者在區塊鏈中觀察并檢查該無人機是否有關系，并能對其進行認證。這個方案能夠挫敗外部惡意無人機的攻擊或第三方攻擊，即使對手知道第一個令牌。

B. 方法

在本論文中，我們研究了使用IPv6（互聯網協議版本6）在無人機之間進行通信的方式。與IPv4（互聯網協議版本4）相比，IPv6有很多優點，即速度更快，更有效，因為它的路由表比IPv4少，所以路由過程將更有組織和有效，而且更安全，因為它配備了交換數據的加密功能。帶寬更有效，因為IPv6支持組播。配置更容易，因為它自動運行。總的來說，IPv6更適合無人機等移動設備，因為不需要通過網絡地址表（NAT），因此延遲低。IPv6將使用區塊鏈與權益證明共識相結合。

與加密貨幣一樣，區塊鏈上的每個節點都必須進行支付。在這項研究中，支付被替換成OTP。每個節點產生相同或同步的OTP。區塊鏈和OTP在這里的使用是為了檢測未經授權的無人機，并防止他們讀取或更新無人機群使用的命令列表。此外，我們探索了區塊鏈、智能合約共識（SCC）和分布式賬本技術在蜂群通信方面的能力。此外，還根據提出的無人機群智能通信架構的概念進行了模擬。

C. 范圍

本論文的范圍僅限于探索區塊鏈技術和OTP的聯合使用，這兩種技術在IPv6數據包中都有填充。

D. 研究結果總結

在進行了模擬物理無人機在點對點、點對多、多對點場景下的運行，并使用1-10000次迭代或交易的實驗后，得到了各場景的延遲比較結果。從這些結果可以得出結論，對于點對點方案和多對多方案，即使在多對多方案中，交互節點的數量增加，延遲也沒有顯著增加。而在點對多的情況下，一個節點以廣播信息的形式同時向幾個節點進行交易，這導致了延遲的增加。第四章和第五章解釋了仿真結果和這些結論的總結。此外，第五章還討論了與本論文中的事項有關的未來工作的可能性和建議。

E. 論文組織

第二章介紹了無人機群智能通信區塊鏈功能的背景，并利用它作為無人機群智能的通信手段。它還對IPv6結構格式進行了概述。第三章討論了基于IPv6區塊鏈的通信數據傳輸的分析。具體而言，分析了IPv6區塊鏈數據包的場景、保密性、完整性和可用性。第四章闡述了IPv6區塊鏈在無人機蜂群智能中實現的可能性和挑戰的研究成果。第五章提供了結論和對未來研究的建議。

基于機器的態勢感知是與我們所處的復雜世界進行有意識的智能互動的關鍵因素，無論是對單個單位、復雜的動態系統，甚至是復雜的系統簇。為了建立這種意識，需要經常收集準確和實時的情報數據，以確保及時、準確和可操作的信息。無人駕駛飛行器（UAV）和其他半自主的網絡物理系統越來越多地成為評估我們周圍世界狀況和通過監視和偵察任務收集情報所采用的機制和系統。目前，人道主義和軍事行動的技術水平仍然依賴于人類控制的飛行/資產操作，但隨著自主系統的增加，有機會將其卸載到設備本身。在本文中，我們提出了一種原則性的、可擴展的方法，用于評估各種情況下自主設備集體的相對性能。所提出的方法以無人機群為例進行說明，預計將發展成為一種通用工具，為此類集體的部署提供信息，提供從問題規格、已知約束和目標函數推斷關鍵參數值的方法。

現代戰術戰爭越來越復雜，需要更快和更有效的決策。為了支持這些快速決策，有人提出使用自動決策輔助工具作為解決方案（Johnson 2019, 63）。鑒于現代戰場的復雜性質，決策輔助工具需要大量的數據。為了支持決策輔助工具的發展，機器學習代表了一種支持有效決策輔助工具的潛在方法。這項研究的目標是進行實驗，探索應用機器學習來幫助作戰人員進行復雜的激光武器系統與無人機群的交戰決策。為了實現這一目標，研究了激光武器系統和無人機威脅，并選擇了一個仿真程序來生成可用于訓練機器學習算法的交戰數據。

這篇論文研究了威脅交戰方法，確定了有效操作激光武器系統必須考慮的決策因素，以及人工智能和機器學習在支持決策方面的應用。對無人駕駛飛行器或無人機的威脅進行了基礎研究，以確定風險并支持交戰方法的發展。該基礎研究支持選擇場景并將其編入兵棋和仿真軟件Swarm Commander Tactics，該軟件用于模擬戰斗。這項研究進行了一項實驗，通過建模和仿真交戰場景來開發機器學習算法的概念驗證，以收集訓練數據并使用這些數據來訓練機器學習算法。訓練算法的目的是為了確定使用模擬艦載激光武器時的生存能力和成功的交戰方法。在生成模擬交戰數據后，使用模擬交戰測試了多種機器學習技術，以確定機器學習預測是否能夠支持基于模擬數據的自動決策輔助。這項研究研究了機器學習的算法方法以及開發和訓練機器學習系統的過程。

總的來說，對多種機器學習技術進行了評估，以支持在模擬交戰中預測成功的無人機交戰方法，發現最適合的是樹狀分類技術。實驗證明了機器學習在這個問題領域的應用，通過建模和模擬，機器學習算法訓練是成功的。最終機器學習算法預測的結果，在預測基于敵人類型、數量和激光武器系統攻擊方法的交戰結果時，總體準確率為96%；假陽性預測，即算法預測的勝利是失敗的，為2.1%。這些結果表明，一個復雜的戰斗空間模擬軟件可以用來準確地訓練預測性機器學習算法。

這項研究表明，將兵棋模擬與機器學習算法相結合，為支持復雜的決策和交戰提供了一種機制，由激光武器系統來對付敵人的無人機群。通過實施訓練有素的機器學習算法，可以分析具有異質無人機群的復雜戰斗空間，從而選擇適當的交戰技術，從而優化目標交戰的生存能力和有效性。這篇論文的主要研究目標是探索機器學習方法在識別和支持模擬艦載激光武器系統的有效目標選擇和交戰方法方面的功效。這項研究是生成決策輔助工具的一個組成部分，以支持無人機群與激光武器系統的交戰。現代戰斗空間的復雜性質需要決策輔助工具來減少作戰人員的認知負擔。

摘要

兵棋模擬是一種決策工具，可以為利益相關者分析的場景提供定量數據。它們被廣泛用于制定軍事方面的戰術和理論。最近，無人駕駛飛行器（UAVs）已經成為這些模擬中的一個相關元素，因為它們在當代沖突、監視任務以及搜索和救援任務中發揮了突出的作用。例如，容許戰術編隊中的飛機損失，有利于一個中隊在特定戰斗場景中勝利。考慮到無人機的分布可能是這種情況下的決定性因素，無人機在超視距（BVR）作戰中的位置優化在文獻中引起了關注。這項工作旨在考慮敵人的不確定性，如射擊距離和位置，使用六種元啟發法和高保真模擬器來優化無人機的戰術編隊。為紅軍蜂群選擇了一種空軍經常采用的戰術編隊，稱為line abreast，作為案例研究。優化的目的是獲得一個藍軍蜂群戰術編隊，以贏得對紅軍蜂群的BVR戰斗。采用了一個確認優化的穩健性程序，將紅軍蜂群的每個無人機的位置從其初始配置上改變到8公里，并使用兵棋方法。進行了戰術分析以確認優化中發現的編隊是否適用。

索引詞：優化方法，計算機模擬，無人駕駛飛行器（UAV），自主智能體，決策支持系統，計算智能。

I. 引言

兵棋是在戰術、作戰或戰略層面上模擬戰爭的分析性游戲，用于分析作戰概念，訓練和準備指揮官和下屬，探索情景，并評估規劃如何影響結果。這些模擬對于制定戰術、戰略和理論解決方案非常有用，為參與者提供了對決策過程和壓力管理的洞察力[1]。

最近，無人駕駛飛行器（UAVs）作為一種新的高科技力量出現了。利用它們來實現空中優勢可能會導致深刻的軍事變革[2]。因此，它們的有效性經常在兵棋中被測試和評估。

由于具有一些性能上的優勢，如增加敏捷性、增加過載耐久性和增加隱身能力，無人機已經逐漸發展起來，并在許多空中任務中取代了有人系統[3]。然而，由于戰斗的動態性質，在視覺范圍之外的空戰中用無人系統取代有人平臺是具有挑戰性的。在空戰中，無人機可以被遠程控制，但由于無人機飛行員對形勢的認識有限，它將在與有人平臺的對抗中處于劣勢。然而，這種限制可以通過自動戰斗機動[4]和戰術編隊的優化來克服。此外，使用無人機可以允許一些戰術編隊和戰略，而這些戰術編隊和戰略在有人駕駛的飛機上是不會被考慮的，例如允許中隊的飛機被擊落，如果它有助于團隊贏得戰斗。文獻中最早的一篇旨在優化超視距（BVR）作戰中的飛機戰術編隊的文章[5]表明，空戰戰術是用遺傳算法（GA）進行優化的候選方案。該實施方案采用分層概念，從小型常規作戰單位建立大型編隊戰術，并從兩架飛機的編隊開始，然后是四架飛機，最后是這些飛機的倍數。在模擬中沒有對導彈發射進行建模。當一架飛機將其對手置于武器交戰區（WEZ）的高殺傷概率（Pkill）區域內一段特定時間，簡化的交戰模擬器就宣布傷亡。事實證明，所提出的方法的應用是有效的，它消除了團隊中所有沒有優化編隊的飛機，并為整個優化編隊的飛機團隊提供了生存空間。

Keshi等人[6]使用了與[5]相同的分層概念，從由兩架飛機組成的元素中構建大型戰術編隊。模擬退火遺傳算法（SAGA）被用來優化編隊，使其能夠克服對局部最優解的收斂。對16架飛機的編隊進行了優化，提出的最優解表明SAGA比基本的GA更有效。最后，為了探索一個穩健的SAGA，對不同的馬爾科夫鏈進行了比較，事實證明自調整馬爾科夫電流更適合所提出的問題。

Junior等人[7]提出使用計算機模擬作為一種解決方案，以確定BVR空戰的最佳戰術，使擊落敵機的概率最大化。在低分辨率下使用通用參數對飛機和導彈進行建模，并改編了名為COMPASS的模擬優化算法，模擬了兩架飛機對一架飛機的BVR戰斗。低分辨率模型假定在水平面的二維空間內有一個均勻的直線運動。使用優化的戰術表明，擊落敵機的平均成功率從16.69%提高到76.85%。 Yang等人[8]提出了一種方法來優化飛機對一組目標的最佳攻擊位置和最佳路徑。該工作考慮到飛機能夠同時為每個目標發射導彈，并將飛機與目標有關的攻擊性和脆弱性因素作為評價攻擊位置的指標。一個高保真模擬被用來模擬每個導彈的飛機、雷達、導彈和WEZ的動態特性。這項工作并沒有解決在BVR戰斗場景中優化一組飛機對另一組飛機的編隊問題。

Li等人[9]提出了一種基于指揮員主觀認識的編隊優化方法，即在空戰中目標設備信息不確定的情況下選擇飛機編隊的問題。首先，計算戰斗機的戰斗力，這是通過指揮員的主觀認識評估目標戰斗力的基礎。戰斗機的戰斗力以能力的形式表現出來，包括攻擊、探測、生存能力、通信、電子戰、預警系統等。因此，通過采用前景理論和綜合模糊評估來優化空戰訓練。最后，一個應用實例證明了該方法在小規模空戰中的可行性。作者聲稱，利用戰斗力評估戰斗情況的能力為優化空戰訓練提供了一種新的方法。

?zpala等人[10]提出了一種在兩個對立小組中使用多個無人駕駛戰斗飛行器（UCAVs）進行空戰的決策方法。首先，確定兩隊中每個智能體的優勢地位。優勢狀態包括角度、距離和速度優勢的加權和。在一個團隊中的每個智能體與對方團隊中的每個智能體進行比較后，每個航空飛行器被分配到一個目標，以獲得其團隊的優勢而不是自己的優勢。為一對對立的團隊實施了一個零和博弈。對許多智能體參與時的混合納什均衡策略提出了一種還原方法。該解決方案基于博弈論方法；因此，該方法在一個數字案例上進行了測試，并證明了其有效性。

Huang等人[11]開發了新的方法來處理UCAV編隊對抗多目標的合作目標分配和路徑規劃（CTAPPP）問題。UCAV的編隊是基于合作決策和控制的。在完成目標偵察后，訓練指揮中心根據戰場環境和作戰任務向每架UCAV快速傳輸任務分配指令。UCAV機動到由其火控系統計算出的最佳位置，發射武器裝備。合作目標分配（CTAP）問題通過增強型粒子群優化（IPSO）、蟻群算法（ACA）和遺傳算法（GA）來解決，并在歸因、精度和搜索速度等方面進行了比較分析。在進化算法的基礎上發展了UCAV多目標編隊的合作路徑規劃（CPPP）問題，其中提供并重新定義了獨特的染色體編碼方法、交叉算子和突變算子，并考慮燃料成本、威脅成本、風險成本和剩余時間成本來規劃合作路徑。

Ma等人[12]開展的工作解決了在BVR作戰場景中優化兩組（R和B）無人機對手之間的優勢地位問題。一個無人機ri∈R對一個無人機bj∈B的優勢是通過ri和bj之間的距離、ri的導彈發射距離的下限和上限、ri的高度和bj的高度之差以及ri的最佳發射高度來估計的。決定性的變量是無人機在兩組中的空間分布和每架飛機在這些組中的目標分配。無人機在三維作戰空間BVR中的可能位置被簡化（離散化），通過立方體的中心位置來表示。每個無人機組都有一組立方體。優化問題被建模為一個零和博弈，并被解決以獲得納什均衡。

Ma等人[12]提出的工作沒有使用高保真模擬來分析無人機空間分布的選擇和分配給它們的目標對BVR作戰的影響。高保真模擬對飛機、雷達、導彈及其導彈的WEZ的動態特性進行建模。這些動態特性也影響到BVR作戰時每架飛機的行動觸發，因此也影響到最終的結果。例如，如果在兩組無人機之間第一次沖突后的時間窗口內考慮高保真BVR作戰模擬，新的沖突可能會發生，直到模擬結束。因此，每個在交戰中幸存的無人機將能夠選擇一個新的目標，這取決于可用目標的優勢值。在[12]中沒有考慮與無人機行為有關的不確定性。有關敵方無人機在戰術編隊中的確切位置及其導彈發射距離的信息是行為不確定性的例子。這兩個信息和上面描述的其他信息在BVR戰斗中是相關的：它們直接影響飛機之間的交戰結果。

在這項研究中，我們試圖解決文獻中發現的一些局限性，如低分辨率模擬、與敵人有關的不確定性的處理以及缺乏對優化解決方案的穩健性的確認，旨在提高兵棋結果的質量。我們的目標是驗證哪些藍色蜂群的戰術編隊可以在BVR戰斗中戰勝紅色蜂群。作為一個案例研究，RED蜂群使用了空軍經常采用的戰術編隊，稱為line abreast[13]。為了評估BLUE蜂群解決方案的穩健性，我們解決了新的問題，改變了RED蜂群每架飛機的位置，目的是估計新的RED蜂群編隊對BLUE蜂群的優化戰術編隊的效率的影響。

我們使用自主智能體和高保真計算機模擬來優化BVR戰斗中的無人機戰術編隊，考慮與敵人相關的不確定性，如戰術編隊中的位置誤差和導彈發射距離。統一行為框架（UBF）被采納為創建自主智能體的基礎。飛機和導彈在三維環境中用六個自由度（DoFs）建模。

該程序將在接下來的章節中進一步討論。

摘要

由HAVELSAN公司開發的虛擬環境中的部隊（FIVE）模擬器軟件，利用各種虛擬戰爭設備（如武器、傳感器和通信工具等），以安全和具有成本效益的方式提供全面的戰術和行動訓練環境。目前，管理FIVE實體的行為模型高度依賴于由現場專家和系統工程師開發的基于規則的行為。然而，FIVE軟件的基于規則的操作需要密集的編程和現場專家的指導，因此是高度勞動密集型。此外，這項任務的復雜性和負擔隨著場景的復雜性而大大增加。此外，具有基于規則的行為的虛擬實體對其環境有標準和可預測的反應。因此，在這項研究中，我們通過強化學習技術和其他機器學習技術，即FIVE-ML項目，提出了從基于規則的行為到基于學習的自適應行為的過渡研究。為此，我們主要對空對空和空對地兩種情況下的六個虛擬實體進行了基于強化學習的行為模型訓練。據觀察，用強化學習訓練的虛擬實體主導了現有的基于規則的行為模型。在這些實驗中，我們還發現，在強化學習之前，利用監督學習作為起點，可以大大減少訓練時間，并創造出更真實的行為模型。

引言

今天，培訓將使用飛機的飛行員是最重要的。用真實的飛機訓練飛行員是相當困難的，原因包括空域法規、過高的成本和訓練中可能出現的風險，以及創造真實世界場景的復雜性，包括對手或盟友使用的真實防御和戰爭平臺。飛行員訓練中使用的飛行模擬經常與戰術環境模擬結合在一起工作。通過這些戰術環境模擬，飛行員通過控制高保真飛機模型在許多低保真實體的存在下完成場景的訓練。這些低保真資產由計算機創建和控制，通常被命名為計算機生成的部隊（CGF）[1]，它們是代表空中、陸地或海上防御或攻擊系統的自主單位。

CGFs被用于人員部署的準備過程、戰術訓練或新戰略的開發。CGFs需要為每個應用（或每個場景）進行不同的編程。這些由傳統方法創造的力量會導致非適應性和不靈活的行為模式。這導致學生在靜態編程的資產面前接受模擬訓練，降低了訓練的質量。當需要新的場景時，需要專家來創建新的場景。此外，由于情景創建將使用經典的控制分支進行，在創建新情景的過程中，考慮所有的可能性往往是不可行的，即使是可能的，也是一項相當有挑戰性的任務。由于這些原因，人們越來越需要更真實的虛擬環境和新的場景來適應不斷變化的世界，以模擬飛行員候選人自己的任務和敵對部隊的當前能力和戰術。

在這項研究中，提出了向以人工智能為導向的行為建模過渡，而不是傳統的特定場景建模，以此來解決前面描述的問題。換句話說，虛擬實體將被轉化為能夠學習的動態虛擬實體。但這些虛擬實體在訓練過程中需要考慮許多情況。首先，他們必須學會對他們用傳感器感知到的環境因素作出適當的反應。然后，它必須識別他的隊友和敵人，并根據他們的等級信息和附加在他們身上的彈藥類型采取行動。它應該能夠與他的隊友合作，采取團隊行動。

為虛擬資產添加智能的機器學習的首選方法是強化學習（RL）[2]，其根本原因是：實體將采取的行動有延遲的后果。近年來，與傳統的控制方法相比，RL被認為是解決復雜和不可預測的控制問題的新方法，并在許多領域得到利用，如機器人、計算機視覺、自動駕駛、廣告、醫學和保健、化學、游戲和自然語言處理[3]-[9]。自從將深度學習引入RL概念（即深度RL[10]）后，文獻中的研究得到了提升，如許多具有挑戰性的計算機視覺和自然語言處理任務[11]-[15]。

為了這個目的，在這項研究中（即FIVE-ML），已經實現了從HAVELSAN FIVE軟件的基于規則的行為模型向基于RL的行為模型過渡的第一階段實驗。從這些實驗中可以看出，用RL算法訓練的智能虛擬實體在空對空和空對地的情況下都優于HAVELSAN現有的基于規則的實體。此外，模仿學習[16]、[17]和RL的聯合實施也取得了成功，這加快了FIVE軟件的完整過渡過程。

可以預見，通過學習飛行員候選人的選擇來開發新策略的模擬將把飛行員培訓帶到一個非常不同的點。當項目完成后，將設計一個新的系統，允許在其領域內培訓更多裝備和專業的戰斗機飛行員。一個現有的基于規則的場景系統將演變成一個可以自我更新的系統。因此，飛行員候選人將有機會針對智能實體發現的新策略來發展思路，而不是滿足于該領域的專家的知識和經驗。此外，從一個經過大量努力準備的場景機制，計算場景自動化機制將使整個過程自動化。

摘要

在高保真飛行模擬器中訓練軍事飛行員是現場訓練的常見替代方案，但這些高保真模擬器價格昂貴且受地點限制。VR技術為更靈活和低成本的模擬器培訓創造了機會。然而，軍事飛行員訓練的一個重要部分是通過與駕駛艙進行物理交互來管理飛機及其系統，而這對于常用的類似游戲VR控制器來說是不可能的。

本文描述了基于VR的戰術訓練模擬概念的開發，在該概念中，飛行員不僅可以看到和聽到訓練環境，而且由于系統會檢測并響應飛行員的輸入，因此還可以在高度真實的水平上感受和身體互動。該技術將交互檢測技術和3d打印駕駛艙儀器結合在一起，使物理和虛擬世界的沉浸式比賽成為可能。這可以讓飛行員在沉浸于VR的同時，以一種自然的方式操作飛機。

虛擬駕駛艙通過使用創新的沉浸式技術為操作員提供高保真、靈活且經濟實惠的培訓解決方案。飛行員在評估概念時的積極反饋證實了這一點。