亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著無人機（UAV）技術應用日益廣泛，如何在不確定性環境中實現高效安全的自主導航成為重要研究課題。本文針對動態不確定環境中的無人機路徑規劃問題，構建了空域場景下執行任務的仿真環境。該環境支持靈活參數配置，可調整障礙物數量、敵方無人機數量及其行為策略（如"隨機巡邏"或"追擊"）。將無人機路徑規劃問題建模為部分可觀測馬爾可夫決策過程（POMDP），充分考慮無人機運動模型與環境特征，據此設計相關狀態空間、動作空間及獎勵函數。進一步提出融合快速擴展隨機樹（RRT）算法與柔性行動者-評價者（SAC）算法的新型RRT-SAC算法：RRT負責全局路徑規劃為無人機提供導航指引，SAC專注局部動作選擇以應對動態環境中的突發狀況。實驗結果表明，在多組測試環境中RRT-SAC算法在任務完成率、耗時、軌跡長度等指標上均優于對比算法，展現出卓越的泛化能力與穩定性。

無人機（UAV）在現代社會的應用日趨廣泛。其靈活性、高效性和多功能性使其成為解決傳統方法難以應對挑戰的關鍵工具（Fraga-Lamas等，2019）。在農業領域，無人機可實現作物生長精準監測（Wang等，2019）；環境管理領域則可采集空氣質量與水污染數據支撐現代環境監測（Valenti等，2016）。隨著智能決策與航空設備性能的飛速發展，無人機在災害救援與軍事領域亦獲廣泛應用（Bai等，2021）。更智能化、信息化的無人機可快速抵達指定區域執行搜救、物資投送等任務，大幅降低人力資源成本（Valente等，2013）。但無論何種任務類型，自主路徑規劃始終是完成無人機任務的核心要素。高效路徑規劃可優化飛行軌跡并最小化能耗，智能避障策略則能保障無人機在復雜環境中的安全運行，從而降低事故風險（Dewangan等，2019）。

路徑規劃算法主要分為兩類：非學習型方法與學習型方法。非學習型方法主要基于預定義規則和數學模型進行搜索或采樣。其中搜索類算法（如Dijkstra算法）通過正向遍歷所有節點獲取最優路徑（Dijkstra，2022）；A*算法改進Dijkstra算法，利用啟發函數縮小搜索范圍提升效率（Dewangan等，2019）。快速擴展隨機樹（RRT）作為采樣類算法，通過在狀態空間隨機采樣點自然處理運動學約束，為實際應用提供高效可靠方案（Fan等，2022）。然而由于路徑規劃屬于經典NP難問題，傳統建模與搜索算法在復雜環境中計算復雜度急劇增加，有時甚至無法求得解，該現象常稱為"維度災難"（Dewangan等，2019）。

為規避維度災難，學習型方法應用日益廣泛。強化學習（RL）采用試錯訓練機制，無需人類知識或預設規則，通過探索能獲取最大回報的行為使智能體達到類人高級智能水平（Li等，2023）。經典RL算法（如SARSA與Q-learning）已成為無人機路徑規劃的重要方法（Liu和Lu，2013）。尤其2013年提出融合深度學習的深度Q網絡（DQN）算法，解決了強化學習中高維狀態空間表征難題（Mnih等，2013）。DQN在雅達利游戲中的表現遠超既有機器學習方法。2015年改進版DQN在雅達利游戲中顯著超越人類專業玩家（Mnih等，2015）。越來越多研究者開始初步應用深度強化學習（DRL）算法進行無人機任務模擬與規劃。此類算法融合強化學習的決策能力與深度學習的感知能力，為動態路徑規劃問題提供新解法（HUANG等，2024）。Keong構建空戰博弈環境，采用DQN實現無人機自主避障與射擊策略（Keong等，2019）；Xu改進DQN提出D3Q方法有效緩解估值過高問題（Xu等，2024）；Yu提出帶安全約束的RL路徑規劃算法，在保障路線安全同時兼顧任務完成率（Yu等，2021）。但仿真環境與現實存在顯著差異：DQN本質上僅能輸出離散動作，難以實際部署。而深度確定性策略梯度（DDPG）算法的提出使DRL可輸出連續動作，在現實動態環境中展現強大探索能力（Hou等，2017）。Lan應用DDPG算法實現多移動機器人在未知環境的避障任務，并成功應用于大規模現實場景（Lan等，2022）；Hadi基于DDPG采用雙延遲DDPG（TD3）算法解決自主水下機器人運動規劃與避障技術（Hadi等，2022）；柔性行動者-評價者（SAC）在DDPG基礎上將策略熵納入優化目標以激勵探索，賦予算法在復雜動態路徑規劃場景中更強的適應性（Zhao等，2024）。

但當環境發生劇變時，上述算法常存在泛化能力不足問題。例如軍事對抗場景中，敵方單位可能突變為更高級智能體，被視為動態障礙的敵機可能突然開始追擊我方無人機。此時在原環境訓練的算法往往失效（Zhang等，2022）。為應對此類劇變環境，Fu采用課程學習（CL）方法（Xiaowei等，2022）：將敵機策略制定劃分為隨機游走、線性追擊、轉向追擊三階段，逐步提升追擊方智能水平并漸進訓練逃脫方策略。但CL方法仍需大量樣本收斂，實際無人機系統通過物理實驗獲取樣本的成本極高，制約了算法應用；且CL策略演進僅覆蓋有限模式。為提升樣本效率并增強無人機泛化能力，本文提出融合RRT-SAC算法：規劃前由RRT執行全局搜索提供航向指引，SAC負責局部動作選擇應對動態環境突發狀況，二者通過動態加權混合策略集成。相比既有工作，本文主要貢獻如下：

? 開發模擬我方無人機與敵機對抗的空域場景。該環境可靈活配置障礙物數量、敵方無人機數量及其行為策略（如"隨機游走"或"追擊"）。不僅可作為無人機強化學習訓練環境，更具強遷移性，可擴展至自動駕駛車輛或地面機器人應用。例如自動駕駛車輛可通過類似方法訓練預測鄰近來車路徑并優化自身駕駛策略。

? 融合傳統路徑規劃算法與DRL算法，有效解決SAC算法在追擊場景的收斂問題。每次動作執行前，根據當前狀態分別計算RRT與SAC動作，通過距離指標動態確定歸一化權重選擇最終動作。此舉既保障動作遵循全局路徑，又能靈活避障。

? 將無人機路徑規劃問題建模為部分可觀測馬爾可夫決策過程（POMDP），采用所提RRT-SAC算法求解。實驗結果驗證了算法的有效性與優越性。

多無人機空戰是一項涉及多個自主無人機的復雜任務，是航空航天和人工智能領域不斷發展的一個領域。本文旨在通過協作策略提高對抗性能。以往的方法主要是將行動空間離散為預定義的行動，從而限制了無人機的機動性和復雜的策略實施。還有一些方法將問題簡化為 1V1 戰斗，忽略了多個無人機之間的合作動態。為了應對六自由度空間固有的高維挑戰并改善合作，我們提出了一個分層框架，利用領導者-追隨者多智能體近端策略優化（LFMAPPO）策略。具體來說，該框架分為三個層次。頂層對環境進行宏觀評估，并指導執行策略。中間層確定所需行動的角度。底層為高維行動空間生成精確的行動指令。此外，通過領導者-追隨者策略分配不同角色來優化狀態值函數，以訓練頂層策略，追隨者估計領導者的效用，促進智能體之間的有效合作。此外，結合無人機態勢的目標選擇器可評估目標的威脅程度。最后，模擬實驗驗證了提出的方法的有效性。

這項研究探索了人類數字孿生（HDT）概念的應用，通過預測和評估飛行員的表現來提高航空安全。HDT 利用生理測量數據和個人特征對飛行員行為進行動態呈現。這里使用的人工智能（AI）框架包括兩個子系統：預測性能的預測 AI 和評估安全系數的策略 AI。預測人工智能使用時態融合變換器（TFT）來生成準確的預測結果，而策略人工智能則使用分層高斯過程（GP）來評估飛行安全。新數據被不斷用于完善數字人工智能系統，提高模型的準確性，減少誤差范圍的估計。數字人工智能系統的洞察力還可用于培訓飛行員，找出影響飛行性能的關鍵因素，從而有助于改進決策和航空安全。通過提供數據驅動的見解，這項研究可以解決管理飛行安全和確保任務成功方面的關鍵軍事挑戰。

物理系統數字化

數據是在美國陸軍飛行員在 UH-60 模擬器中完成三個不同的飛行任務時收集的，每個任務持續約 10 分鐘，總共約 30 分鐘的飛行時間。在每次任務期間，都會連續記錄飛行性能數據和生理數據。這些數據包括腦電圖（EEG）和心電圖（ECG），它們代表了人體系統的生理、感知和認知屬性。年齡、飛行經驗和情緒狀態等個體特征會影響決策和反應時間，從而對飛行員的表現產生重大影響（例如，O'Hare & Wiggins, 2011, [3]）。因此，還收集了人口統計學信息和長期精神狀態（如抑郁），以捕捉這些個體特征。因此，數據的組合提供了人類系統更全面的信息，使模型能夠預測動態飛行性能，作為人類系統行為結果的指標。在本研究中，動態性能被定義為飛機相對于地面的高度。這一選擇基于對高度分布的觀察，即飛行員通常會避開較低的高度，而選擇更安全、更高的高度。這種一致性強調了高度是衡量不同場景和不同個體飛行性能的可靠指標。

人工智能框架——數字系統

人工智能系統旨在預測和評估人類飛行員的動態飛行性能。通過早期識別潛在的安全風險，數字系統可提供及時的信息，供自動化系統使用，以提高飛行員的安全性，防止不安全狀況升級。為實現這些目標，建議的框架包括兩個子人工智能系統：預測動態飛行性能的預測人工智能和建立和評估可接受安全系數的政策人工智能。這種雙系統方法使數字系統不僅能準確預測動態飛行性能，還能有效評估其安全性。通過這樣做，它可以確保預測有用，并支持飛行員適應不斷變化的飛行條件。之所以需要兩個不同的系統，是因為對動態飛行性能的預測和評估有著根本不同的要求。準確的預報需要詳細考慮生理和神經生理措施以及個體差異，如飛行員的飛行經驗或長期精神狀態（如抑郁），以確保準確的預報。相反，評估安全系數則需要更廣泛的方法。政策人工智能從單次飛行中提取飛行員共有的一般原則，使系統能夠有效地將這些概括性見解應用于新情況，并確保在各種情況下進行穩健的安全評估。預測的特殊性和安全評估的通用性之間的這種平衡，強調了在數字空間中采用兩種互補的人工智能系統的合理性。

配備先進傳感器的無人平臺的集成有望提高態勢感知能力，緩解軍事行動中的 “戰爭迷霧”。然而，管理這些平臺涌入的大量數據給指揮與控制（C2）系統帶來了巨大挑戰。本研究提出了一種新穎的多智能體學習框架來應對這一挑戰。該方法可實現智能體與人類之間自主、安全的通信，進而實時形成可解釋的 “共同作戰圖景”（COP）。每個智能體將其感知和行動編碼為緊湊向量，然后通過傳輸、接收和解碼形成包含戰場上所有智能體（友方和敵方）當前狀態的 COP。利用深度強化學習（DRL），聯合訓練 COP 模型和智能體的行動選擇策略。展示了在全球定位系統失效和通信中斷等惡劣條件下的復原能力。在 Starcraft-2 模擬環境中進行了實驗驗證，以評估 COP 的精度和策略的魯棒性。報告顯示，COP 誤差小于 5%，策略可抵御各種對抗條件。總之，貢獻包括自主 COP 形成方法、通過分布式預測提高復原力以及聯合訓練 COP 模型和多智能體 RL 策略。這項研究推動了自適應和彈性 C2 的發展，促進了對異構無人平臺的有效控制。

圖：從學習到的交流中預測 COP 的框架概覽。在決策過程中確定并使用 COP。使用 QMIX作為 COP 集成的 MARL 方法示例。

配備先進傳感器的無人平臺的集成為減輕 “戰爭迷霧 ”和提高態勢感知能力帶來了希望。然而，管理和傳播來自此類平臺的大量數據對中央指揮與控制（C2）節點的信息處理能力構成了巨大挑戰，特別是考慮到隨著平臺數量的增加，數據量也會呈指數級增長。目前的人工處理方法不適合未來涉及無人平臺群的 C2 場景。在本研究中，我們提出了一個利用多智能體學習方法來克服這一障礙的框架。

我們考慮的框架是，智能體以自主方式相互通信（以及與人類通信），并以數據驅動的方式訓練這種通信功能。在每個時間步驟中，每個智能體都可以發送/接收一個實值信息向量。該向量是智能體感知或視場（FoV）的學習編碼。這些向量不易被對手解讀，因此可以實現安全的信息傳輸。

在接收方，必須對信息進行解碼，以恢復發送方的感知和行動。此外，還應將信息整合（隨時間匯總）到 “共同作戰圖像”（COP）中。與編碼器一樣，解碼器也是以數據驅動的方式學習的。在本文中，我們將 COP 的定義簡化為戰場上每個友方和敵方智能體的當前狀態（位置、健康狀況、護盾、武器等）。我們認為，COP 對決策智能體至關重要。

近年來，以數據驅動方式進行端到端訓練的人工智能/人工智能方法大有可為。在數據驅動型自主 COP 的背景下，一個優勢是無需對傳感器和執行器中的噪聲、對手的動態等做出建模假設。通過充分的訓練，我們的數據驅動方法將產生高度精確的 COP。

不過，ML 模型可能對訓練數據或訓練場景的偏差很敏感。這與陸軍 C2 場景中通常假設的 DDIL（拒絕、中斷、間歇和有限影響）環境形成了鮮明對比。我們的實驗強調評估對霧增加、全球定位系統失效和通信中斷（如干擾）的適應能力。

我們使用深度神經網絡（DNN）的深度學習實現了編碼器和解碼器的數據驅動端到端訓練。將 DNN 應用于 COP 形成的一個挑戰是通信中缺乏人類可解釋性。人類可解釋性對于人類操作員有效控制蜂群至關重要。例如，通過解釋通信，操作員可以理解蜂群用于（自主）決策的特征。我們的方法具有人機互換性，這意味著人類操作員可以解碼傳入的信息，并將自己的感知編碼，與蜂群進行交流。由此產生的 COP 使人類能夠指揮蜂群。

在實踐中，COP 被大量用于任務執行，例如，確保協調運動。我們假設，將 COP 納入自主決策智能體將產生彈性多智能體策略（例如，對敵方變化的彈性）。我們在實驗中將有 COP 和沒有 COP 的多智能體策略學習與多種最先進的方法進行了比較，并驗證了這一假設。

接下來，我們總結一下我們的方法。我們首先描述了我們的深度學習方案，其中每個智能體將其感知和行動編碼成緊湊向量并進行傳輸。各智能體共享底層嵌入向量空間，以實現對態勢的共同理解。每個智能體都要訓練一個編碼器-解碼器，以生成本地 COP。本地 COP 應與智能體的感知一致，并能預測行動區域內所有單元的狀態（包括位置）。

在不同的模擬場景、初始部隊配置和對手行動中，使用深度強化學習（DRL）對 COP 和智能體策略進行端到端訓練。訓練的輸出是一個編碼器-解碼器神經網絡（NN）和一個跨智能體共享的策略 NN。可通過多種方式對訓練進行配置：最小化帶寬、最大化對干擾（如信道噪聲、數據包丟失、GPS 干擾等）的恢復能力。該方法可用于協調信息收集任務。

實驗在星際爭霸-2（SC2）多智能體環境中進行。在 SC2 中模擬的多個藍方與紅方場景中，通過經驗觀察了方法的有效性。具體來說，在具有挑戰性和現實性的 TigerClaw 場景（圖 1）中測試和評估了方法，該場景由 DEVCOM 陸軍研究實驗室（ARL）和陸軍主題專家（SMEs）在美國佐治亞州摩爾堡的上尉職業課程中開發。

圖 1：（左）Tigerclaw場景中的狀態示例。(右）每個智能體的感知（本地觀察）和它們之間的通信聯系。

對 COP 的準確性和幻覺進行評估，以揭示有趣的訓練動態。在整個模擬過程中，方法生成的 COP 高度準確，誤差小于 5%（與地面實況相比）。為了測試策略的魯棒性，我們將我們的方法與多種最先進的多智能體 RL 方法和基線進行了比較。結果表明，我們的方法所制定的策略能夠抵御視覺范圍下降、通信能力下降、GPS 被拒絕以及場景變化等因素的影響。

總之，這項研究通過數據驅動的 COP 形成，實現了人在環內的異構自主平臺的指揮和控制，推動了自適應和彈性 C2 領域的發展。其貢獻如下：

• 實時自主形成可解釋的共同行動圖像（COP）的方法，包括預測整個行動區域的敵方位置。

• 由于利用智能體間的通信進行分布式 COP 預測，因此展示了對可視范圍和 GPS 拒絕的更強的應變能力。

• 通過聯合訓練 COP 模型和多智能體 RL 策略，提高整體任務成功率。

隨著空對空導彈有效射程的增加，人類操作員越來越難以保持保證無人機安全所需的態勢感知能力。這項工作提出了一種決策支持工具，幫助無人機操作員在超視距（BVR）空戰場景中評估不同選項的風險，并據此做出決策。早期的工作側重于單枚導彈造成的威脅，而在這項工作中，將思路擴展到了多枚導彈的威脅。所提出的方法使用深度神經網絡（DNN）從高保真模擬中學習，為操作員提供一組不同策略的結果估計。研究結果表明，所提出的系統可以管理多枚來襲導彈，評估一系列選項，并推薦風險最小的行動方案。

圖 1：無人機面臨三枚來襲導彈的情況符號表示。導彈當前的確切位置未知，但可以估計發射的時間和位置。在圖 3-6 中，飛機圖標周圍的彩色區域用于顯示朝該方向進行規避機動的預測未擊中距離 (MD)。據此，操作員在決定選擇何種航線時，可以在任務目標和風險之間做出權衡。

自第一次世界大戰以來，空戰發生了翻天覆地的變化。傳感器、武器和通信技術的進步使飛行員能夠在越來越遠的距離上與敵機交戰。這些進步推動了從 “視距內 ”空戰向 “視距外 ”空戰的過渡。在 BVR 中，來襲導彈的飛行時間可能長達數分鐘，這使得無人機操作員很難評估所有來襲數據并選擇最佳行動方案。事實上，操作員往往會失去對某些來襲威脅的跟蹤。因此，需要一種能夠同時處理多個威脅并提供整體分析的支持工具。這種工具應支持操作員平衡風險與任務目標之間的關系，因為風險最低的選擇往往是完全忽略任務，而另一方面，忽略風險最終可能導致巨大損失。

由于雷達制導導彈的飛行時間可能很長，因此 BVR 空中格斗包含了一種可與星際爭霸等即時戰略游戲相媲美的元素。重大挑戰包括高度非線性動態、信息不確定性以及對手的未知戰略和目標。機載傳感器可以根據敵機類型、電子戰反制設備和天氣情況輸出對手位置的估計值。然而，雖然在面對敵方時并不總能獲得精確信息，但操作員通常知道敵方飛機和武器系統的能力，而本文提出的方法將利用這些信息。

在之前的工作中，研究了無人機面對一枚來襲導彈的情況。利用強化學習（RL），我們計算出了最佳規避機動和執行機動時的失誤距離（MD）。然而，這種方法無法用于同時面對多架敵機的情況。當考慮從不同角度射來的多枚導彈時，相對于一枚導彈的最佳規避機動與另一枚導彈不同，顯然不能同時執行兩種不同的機動。此外，針對一對來襲導彈威脅的最有效規避行動，可以通過離線求解特定問題并存儲結果來確定，但由于可能的威脅組合數量龐大，這種方法變得不切實際。

本文首先要指出的是，對于人類操作員來說，MD 估值是一種直觀的風險估計。因此，我們希望為操作員提供一系列選項，如圖 1 所示。圖中的黃色區域將根據風險程度進行著色。如果向南執行規避機動，MD 值為 2 千米，則會被染成綠色，而向西執行機動，MD 值為 0.05 千米，因此會被染成紅色。

在面臨上述多種威脅的情況下，要估算特定方向上特定機動的 MD，我們的步驟如下。首先，我們學習一組預定義的規避機動在不同羅盤方向上的單個威脅的 MD。然后，由于我們需要擔心的是最小的 MD，因此我們只需遍歷所有威脅，并保存每次機動的最小失誤距離。

通過這種方法，可以提供一種決策支持工具，為一系列選項提供風險估計，而不會丟失任何已檢測到的威脅。我們的方法還能讓操作員意識到何時沒有安全的撤離選擇，例如在近距離受到來自相反方向的威脅時。為更絕望的措施提供決策支持，如發射所有剩余武器然后失去無人機，或依賴模型無法捕捉的方法，如電子戰或箔條/照明彈系統。

因此，這項工作的主要貢獻是提供了一種方法，使無人機操作員能夠評估和處理任意數量的來襲威脅，從而擴展了先前考慮單一敵對導彈的工作。工作概述如下： 第二節回顧了相關工作。第三節介紹 ML 和導彈制導的背景，第四節正式定義問題。第五節介紹了建議的解決方案，第六節展示了仿真結果。最后，第八節將進行討論并得出結論。

本文介紹了基于人工智能驅動分析模型的無人駕駛飛行器多學科概念設計框架。這種方法利用人工智能驅動的分析模型（包括空氣動力學、結構質量和雷達截面預測），為初始設計階段帶來定量數據，從而能夠從各種優化的概念設計中選擇最合適的配置。由于設計優化周期的存在，機翼、尾翼和機身等關鍵部件的初始尺寸可以更精確地提供給后期的設計活動。同時，生成的結構還能通過設計迭代中的反饋回路選擇更合適的設計點。因此，除了降低設計成本外，這種方法還在整個設計過程中提供了大量的時間優勢。

人工智能驅動的概念設計算法由四個主要部分組成： 設計點計算、初始尺寸、人工智能驅動的飛機模型和配置優化。每個部分通過輸入輸出關系相互連接。此外，該算法還添加了設計迭代循環，以獲得更精確的設計。圖 2 顯示了算法的總體結構。

該方法首先向算法提出設計要求。這些要求可能包括性能要求，如最大起飛重量、有效載荷重量、巡航高度-速度或對配置尺寸的限制。然后，使用設計點計算方法計算出滿足這些性能要求的機翼載荷和推力載荷值。初始尺寸算法將這些值與初始要求一起計算出基本尺寸。這些尺寸包括機翼面積、長度和機身液壓直徑。然后，在優化算法的幫助下，在設計空間中搜索既能最大限度提高性能又能滿足要求的配置。由于這里使用的飛機模型是人工智能驅動的代用模型，因此可以非常靈活地搜索設計空間。

在過去十年中，無人機（UAV）因其可管理性和風險規避性而被廣泛應用于許多商業領域。考慮的主要問題之一是多架無人飛行器的任務規劃，必須找到滿足問題不同約束條件的解決計劃。此外，這個問題還有一些必須同時優化的變量，如時間跨度、任務成本或風險。因此，該問題有很多可能的最優解，操作員必須從中選擇最終的執行方案。為了減少操作員在這一決策過程中的工作量，需要一個決策支持系統（DSS）。在這項工作中，設計了一個由排序和過濾功能組成的決策支持系統，可對最佳解決方案進行排序和縮減。在多無人飛行器任務規劃場景中，對多種多標準決策（MCDM）方法（包括一些模糊 MCDM）進行了比較，以研究哪種方法更適合多無人飛行器決策支持系統。專家操作員對返回的解決方案進行了評估，以便對基于模糊的方法和傳統方法進行評分和比較，結果表明模糊方法通常能獲得更好的平均分。另一方面，對于過濾系統，設計了一個基于解決方案接近程度的相似度函數，并研究了用于過濾的閾值。

過去幾年中，無人飛行器（UAVs）能力的快速發展導致了新的軍事和商業應用的興起，許多領域，如監視（Gu 等人，2018 年）、培訓（Rodriguez-Fernandez 等人，2018 年）、消防（Ghamry 等人，2017 年）、農業（Tokekar 等人，2016 年）或災害和危機管理（Nedjati 等人，2016 年）等都得到了研究。

無人飛行器的主要研究領域之一是任務規劃，即無人飛行器群必須在考慮到空間和時間限制的情況下協同執行某些任務。這是無人機研究的一個重點目標，因為它是一個復雜的問題，加重了無人機操作員的工作量。如今，無人飛行器由地面控制站（GCS）的人類操作員遠程控制，使用的是最基本的規劃系統，如預先配置的計劃、人工提供的時間表或經典規劃系統。這些基于圖搜索或邏輯引擎的經典規劃系統通常受到嚴重的實際限制，其求解器的計算成本很高。

為了執行復雜的協調任務，規劃系統需要更高效的問題解決能力，以應對空間和時間領域的目標沖突和嚴格限制。此外，這些問題通常旨在優化多個相互沖突的目標，包括燃料消耗、時間跨度、任務成本、使用的無人機數量以及可能危及任務的不同風險因素等。因此，所謂的多無人機合作任務規劃問題（MCMPP）最近在研究界獲得了強勁的發展勢頭，其推動力是在不久的將來，無人機的應用規模和數量將顯著增加（Ramirez-Atencia 等人，2017b）。

如今，在大多數全球監控系統中，由于任務的高度復雜性，通常有多個操作員只負責一架無人機。該領域的主要目標之一就是降低這種復雜性，因此這種關系可以互換，在不久的將來，一名操作員就能控制多架飛行器。為此，主要要求之一是實現 MCMPP 的自動化并降低其復雜性。在以前的工作中，MCMPP 被表述為一個約束滿足問題（CSP）（Ramirez-Atencia & Camacho，2018a）。在這項工作中，問題的變量是無人機對任務、GCS、傳感器和其他變量的分配，并定義了若干空間和時間約束，以確保解決方案的一致性。然后，考慮到七個相互沖突的目標，使用多目標進化算法（MOEA）（Ramirez-Atencia et al. 在該算法中，推斷出了帕累托最優前沿（POF）的估計值，從而得到了一個解決方案（任務計劃）組合，盡管該組合在所考慮的沖突目標之間達到了最佳平衡。

這個問題的一個關鍵點，也是這項工作的動機，就是有時整個帕累托最優前沿（POF）包含大量的解決方案。在這種情況下，如何從中選擇一個解決方案成為操作員的一項艱巨任務。在某些情況下，操作員可以提供有關其偏好的先驗信息，這些信息可用于優化過程。但在大多數情況下，操作員無法提供這些信息，因此必須考慮后驗方法。在這種情況下，后驗多目標優化算法通常會返回大量的解決方案，決策過程變得非常復雜。

Ramirez-Atencia 等人，2018a）中就出現了這種情況，獲得了大量非主導解。為了減少解的數量，在（Ramirez-Atencia 等人，2017a）中使用了膝點 MOEA 方法，根據優化變量（即 POF 的膝點）只返回最重要的解。雖然這種方法大大減少了解決方案的數量（從數百個減少到數十個），但在大多數情況下仍會有多個解決方案，操作員必須最終決定哪一個最適合任務。這一決策過程并不容易，因為每個解決方案都包含多個變量分配和多個定義其質量的標準。

在這種情況下，決策支持系統（DSS）對于指導操作員選擇最佳解決方案至關重要。該決策支持系統提供了一個排序系統，可對優化算法獲得的解決方案進行排序，此外還提供了一個過濾系統，可減少所提供解決方案的數量。有幾種多標準決策（MCDM）方法可用于根據操作員的偏好對解決方案進行排序和選擇，這些偏好被用作不同標準的重要性百分比或排序。不過，有時這些偏好可能是模糊的，因此必須以不同的方式加以考慮。針對這些情況，存在模糊版的多因素強迫管理方法，在這種方法中，這些偏好被視為模糊數。

本文的目標是開發一種 DSS，以協助無人機操作員選擇任務計劃。在之前的一項工作（Ramirez-Atencia 等人，2018b）中，一些經典的 MCDM 方法被用于對 MOEA 返回的 MCMPP 解決方案進行排序（Ramirez-Atencia 等人，2017a）。本文考慮了新的 MCDM 方法及其模糊版本。由于操作員提供的偏好也是模糊的，因此這些方法有望提供更好的結果。為了測試這些方法，我們使用了一些現實的任務場景。專家操作員根據一些操作員配置文件（偏好）對每個任務提供的解決方案進行評估，并通過這種評估對 MCDM 算法進行評分。此外，為了提供一個完整的多標準 DSS，還設計并測試了一個過濾系統，該系統可省略類似的解決方案。

本文其余部分的結構如下。第 2 節介紹了 DSS 的一些背景，包括模糊 MCDM。第 3 節介紹無人飛行器任務規劃問題以及為幫助操作員選擇最佳解決方案而開發的 DSS，包括排序和過濾系統。第 4 節介紹了排序和過濾系統的實驗結果。最后，最后一節得出結論，并概述了與這項工作相關的未來研究方向。

在需要做出重大決策的關鍵系統中，通常無法實現或不希望實現完全自動化。相反，人類-人工智能團隊可以取得更好的效果。為了研究、開發、評估和驗證適合這種團隊合作的算法，有必要建立輕量級實驗平臺，實現人類與多個智能體之間的互動。然而，此類平臺在國防環境中的應用實例非常有限。為了填補這一空白，我們提出了 Cogment 人機協同實驗平臺，該平臺實現了以異構多智能體系統為特征的人機協同（HMT）用例，可涉及學習型人工智能智能體、靜態人工智能智能體和人類。它建立在 Cogment 平臺上，已被用于學術研究，包括在今年的 AAMAS 的 ALA 研討會上展示的工作。希望通過這個平臺，進一步促進關鍵系統和國防環境中的人機協作研究。

圖 1：該圖顯示了 Cogment HMT 實驗平臺的主用戶界面。左側帶帽的圓圈是由五個藍色智能體組成的團隊防守的禁區。右側的單個紅點是無人機攻擊者。

嵌入式人工智能體，如無人駕駛飛行器（UAV，或無人機），有可能徹底改變各行各業，包括交通、農業和安防。然而，這些智能體在物理世界中發展，因此可能會產生危險影響，尤其是在無人監管的情況下。例如，無人機可能會出現故障或無法識別潛在危險，從而造成財產損失甚至人員傷亡。此外，智能體可以根據算法做出決策，而算法可能不會考慮倫理、道德或法律方面的影響。因此，人類必須有能力對這些智能體進行有意義的控制[2]和監督，以確保它們的安全和負責任的使用。人類操作員可以監控和干預系統故障，評估潛在風險，并在需要其判斷的復雜情況下做出道德或法律決定。

除了監督，人類還可以通過協作在幫助智能體實現任務方面發揮關鍵作用。例如，對于無人機，控制中心的人類操作員可以提供實時指導和支持，確保無人機準確、高效地執行所需的功能。此外，人類還可以在現場充當隊友，與具身的人工智能體并肩作戰，實現既需要人類判斷又需要機器精確度的復雜目標。

此外，必須認識到，人機協作（HMT），即人類與具身智能體建立雙向協作的能力，是安全有效使用人工智能的一個關鍵方面。這類人工智能體的設計、訓練、驗證和操作不能孤立地進行，必須考慮它們如何融入包括它們在內的更大系統中。人類，尤其是作為操作員或隊友的人類，從一開始就應被視為該系統不可分割的一部分。

除了這種雙向協作之外，具身人工智能系統在運行過程中往往沒有考慮到 “道德責任 ”和 “社會技術 ”因素[2]。有意義人類控制（MHC）的概念是由 Santoni de Sio 和 van den Hoven 提出的，目的是讓人類能夠影響具身人工智能體的行為[3]。然而，MHC 的原始定義并不一致，因為人類可能缺乏專業技能或知識，無法完全有效地控制人工智能系統。Cavalcante Siebert 等人[2]提出了四個附加屬性來改進 MHC 的原始定義：“明確的道德操作設計領域”、“適當且相互兼容的表征”、“控制能力和權限 ”以及 “人工智能與人類行動之間的明確聯系”。因此，至關重要的是設計一個協調平臺，將有意義的人類控制和人類在環相結合，以確保人工智能系統的訓練和操作方式符合人類價值觀、社會規范和道德行為。

Cogment HMT 提供了一個設計和實驗人機團隊的平臺，尤其是涉及無人機的人機團隊。它以我們的 Cogment [4] 平臺為基礎，解決了協調自動決策系統（包括人工智能體）、人類之間的協作及其對數據的訪問和對環境的影響等難題。Cogment HMT 實驗平臺目前使用一個模擬環境，可以很容易地進行調整，以適應更真實的模擬和現實世界的部署。我們將在第三節介紹該平臺及其特性。

利用 Cogment HMT 實驗平臺，人工智能從業者可以開發出能夠與人類協同工作的智能體，并從人類的知識和期望中學習，同時考慮有意義的人類控制、信任和認知負荷管理等因素，實現有效的雙向人機協作。我們將在第四部分介紹早期成果。

由于近年來無人駕駛飛行器技術的蓬勃發展，這些飛行器正被用于許多涉及復雜任務的領域。其中一些任務對車輛駕駛員來說具有很高的風險，例如火災監控和救援任務，這使得無人機成為避免人類風險的最佳選擇。無人飛行器的任務規劃是對飛行器的位置和行動（裝載/投放載荷、拍攝視頻/照片、獲取信息）進行規劃的過程，通常在一段時間內進行。這些飛行器由地面控制站（GCS）控制，人類操作員在地面控制站使用最基本的系統。本文介紹了一種新的多目標遺傳算法，用于解決涉及一組無人飛行器和一組地面控制站的復雜任務規劃問題（MPP）。我們設計了一種混合擬合函數，使用約束滿足問題（CSP）來檢查解決方案是否有效，并使用基于帕累托的方法來尋找最佳解決方案。該算法已在多個數據集上進行了測試，優化了任務的不同變量，如時間跨度、燃料消耗、距離等。實驗結果表明，新算法能夠獲得良好的解決方案，但隨著問題變得越來越復雜，最佳解決方案也變得越來越難找到。

這項工作旨在利用無線音頻傳感器網絡為無人駕駛航空器系統（UAS）提出一種探測、識別和跟蹤解決方案。根據適用于無人機系統的技術趨勢（更小、更便宜、更合作），我們提出了一種采用與 "攻擊者 "相同技術方法的分布式監控解決方案。特別是，由于無人機會引起周圍聲學環境的變化，我們研究了音頻傳感器網絡的使用。更確切地說，我們采用了一種三階段算法來檢測監控環境中音頻能量的存在，識別特定的音頻特征，然后與多節點方法合作跟蹤無人機。通過實驗獲取的音頻信號，我們展示了所提方法的初步性能。我們還討論了改進實際實施的未來工作。

參考場景

微型和小型無人機（1 千歐元及以下）成本低，易于采購，使恐怖分子使用這種技術的障礙降至零。此外，開放源碼技術通常用于設計無人機系統的某些組件，這就為設計專用有效載荷的人填補了一個很小的知識空白。如此易于采購和個性化的飛行平臺最終可以接近合理的目標。根據這一趨勢，協調無人機中隊很快就會成為任何人都可以利用的資源。應對這種威脅的措施不可能是集中式的。目前，我們看到的非對稱解決方案適用于前沿作戰基地或安裝了大型無人機探測器的沙漠場景。然而，這種威脅在城市場景中可能無處不在，因此建議采用對稱的對策，即分布式、小型和廉價的對策。

特別是近年來無線傳感器網絡的不斷發展，以及節點的小型化和低成本化，可以為城市環境或復雜場景提供最合適的解決方案，因為在城市環境或復雜場景中，可能會有平民存在，而固定的軍事設施可能并不合適。

如圖 2-1 所示，這項工作將以大量廉價音頻傳感器為參考場景，每個傳感器都能夠識別無人機的音頻特征，并在發現匹配時，通過與其他節點協作定位惡意來源。研究的重點是在空曠場地場景中，利用音頻陣列檢測、識別和跟蹤單架無人機或小型無人機群，即可與單個大型單元同化。

方法

由于所提方法的目標具有三重性（即檢測、識別和跟蹤惡意無人機），因此我們的方法采用了三層算法疊加的方式。圖 3-1 給出了所追求的研究方法的總體描述。我們依靠獲取音頻信號來準確描述無人機系統的存在。第一層用于檢測無人機系統的存在。在這一階段，音頻傳感器從環境中采集少量樣本，例如每秒一次，以揭示從環境中感知到的音頻能量異常。

當這一層檢測到匹配時，第二層就會在短時間內（如約 240 毫秒[3]）通過連續采樣進行識別。識別階段的目標是區分異常聲音是否與飛越音頻傳感器網絡的無人機有關，并最終確定其類型。我們將研究兩種主要方法：一些作者在 [1] 中提出的方法和循環神經網絡 (RNN) [6]。第二識別層中的正匹配將啟用第三階段的跟蹤算法。在這一階段，發出警報的節點（在識別階段匹配成功的節點）會喚醒鄰居節點，以執行波束形成跟蹤。這是耗電量最大的階段，因為需要維護音頻傳感器網絡與其遠程控制中心之間的通信鏈路，以及音頻傳感器的連續采樣階段。

所采用的分層策略應能優化計算能力和電池需求。事實上，始終處于活動狀態的第一層執行的是低復雜度、低消耗的數學計算。另一方面，只有在出現異常音頻時，才會執行更強大的計算，即細粒度簽名識別和音頻跟蹤。