亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文介紹了在定制的 Pygame 仿真環境中開發的基于人工智能（AI）的戰斗機智能體，旨在通過深度強化學習（DRL）解決多目標任務。噴氣式戰斗機的主要目標包括高效地在環境中導航、到達目標以及選擇性地與敵人交戰或躲避敵人。獎勵函數平衡了這些目標，而優化的超參數則提高了學習效率。結果顯示，任務完成率超過 80%，證明了決策的有效性。為了提高透明度，通過比較實際選擇的行動（事實行動）和替代行動（反事實行動）的獎勵，對噴氣機的行動選擇進行了分析，從而深入了解了決策原理。這項研究說明了 DRL 在利用可解釋的人工智能解決多目標問題方面的潛力。

在定制模擬環境中開發了一個可解釋的深度強化學習智能體，以透明決策的方式解決復雜的多目標任務。

圖 1（左）表示智能體最初階段的表現（綠色三角形：智能體，紅色三角形：敵人，藍色圓圈：目標），圖 2（中）表示智能體學習 640 次后的表現，圖 3（右）表示智能體完全了解環境后的表現

貢獻

• 復雜的獎勵功能設計： 開發了一種全面的獎勵功能，可平衡多種相互競爭的目標，如效率和資源管理。該功能整合了推動有效學習的各種因素，鼓勵智能體優化任務完成和可用資源的使用。

• 在定制模擬環境中實施 DRL 智能體： 在一個定制的 Pygame 模擬環境中構建并訓練了一個基于 DRL 的智能體，以解決一個具有多重目標的復雜問題--導航環境、擊中指定目標以及適當地避開或與敵人交戰。該智能體在超過 80% 的試驗中成功完成了任務，展示了在各種場景下的強大決策能力。

• 全面的學習曲線分析： 對智能體的學習軌跡進行了詳細分析，展示了從最初的表現不佳到任務完成效率提高的過程。該分析突出了智能體如何隨著時間的推移完善其策略，有助于加深對 DRL 學習過程的理解。

• 推進多目標問題的可解釋人工智能： 該項目證明 DRL 能夠有效解決復雜的多目標問題。從獎勵函數和決策分析中獲得的見解有助于更廣泛地理解和改進人工智能驅動過程中的可解釋性。

• 通過事實和反事實分析實現可解釋性： 通過研究事實和反事實行動與獎勵，該項目提高了智能體決策過程的透明度。這種分析提供了重要的洞察力，讓用戶了解為什么會選擇某些行動而不是其他行動，從而理解特定決策背后的原因，尤其是在需要快速反應的復雜場景中。

隨著空對空導彈有效射程的增加，人類操作員越來越難以保持保證無人機安全所需的態勢感知能力。這項工作提出了一種決策支持工具，幫助無人機操作員在超視距（BVR）空戰場景中評估不同選項的風險，并據此做出決策。早期的工作側重于單枚導彈造成的威脅，而在這項工作中，將思路擴展到了多枚導彈的威脅。所提出的方法使用深度神經網絡（DNN）從高保真模擬中學習，為操作員提供一組不同策略的結果估計。研究結果表明，所提出的系統可以管理多枚來襲導彈，評估一系列選項，并推薦風險最小的行動方案。

圖 1：無人機面臨三枚來襲導彈的情況符號表示。導彈當前的確切位置未知，但可以估計發射的時間和位置。在圖 3-6 中，飛機圖標周圍的彩色區域用于顯示朝該方向進行規避機動的預測未擊中距離 (MD)。據此，操作員在決定選擇何種航線時，可以在任務目標和風險之間做出權衡。

自第一次世界大戰以來，空戰發生了翻天覆地的變化。傳感器、武器和通信技術的進步使飛行員能夠在越來越遠的距離上與敵機交戰。這些進步推動了從 “視距內 ”空戰向 “視距外 ”空戰的過渡。在 BVR 中，來襲導彈的飛行時間可能長達數分鐘，這使得無人機操作員很難評估所有來襲數據并選擇最佳行動方案。事實上，操作員往往會失去對某些來襲威脅的跟蹤。因此，需要一種能夠同時處理多個威脅并提供整體分析的支持工具。這種工具應支持操作員平衡風險與任務目標之間的關系，因為風險最低的選擇往往是完全忽略任務，而另一方面，忽略風險最終可能導致巨大損失。

由于雷達制導導彈的飛行時間可能很長，因此 BVR 空中格斗包含了一種可與星際爭霸等即時戰略游戲相媲美的元素。重大挑戰包括高度非線性動態、信息不確定性以及對手的未知戰略和目標。機載傳感器可以根據敵機類型、電子戰反制設備和天氣情況輸出對手位置的估計值。然而，雖然在面對敵方時并不總能獲得精確信息，但操作員通常知道敵方飛機和武器系統的能力，而本文提出的方法將利用這些信息。

在之前的工作中，研究了無人機面對一枚來襲導彈的情況。利用強化學習（RL），我們計算出了最佳規避機動和執行機動時的失誤距離（MD）。然而，這種方法無法用于同時面對多架敵機的情況。當考慮從不同角度射來的多枚導彈時，相對于一枚導彈的最佳規避機動與另一枚導彈不同，顯然不能同時執行兩種不同的機動。此外，針對一對來襲導彈威脅的最有效規避行動，可以通過離線求解特定問題并存儲結果來確定，但由于可能的威脅組合數量龐大，這種方法變得不切實際。

本文首先要指出的是，對于人類操作員來說，MD 估值是一種直觀的風險估計。因此，我們希望為操作員提供一系列選項，如圖 1 所示。圖中的黃色區域將根據風險程度進行著色。如果向南執行規避機動，MD 值為 2 千米，則會被染成綠色，而向西執行機動，MD 值為 0.05 千米，因此會被染成紅色。

在面臨上述多種威脅的情況下，要估算特定方向上特定機動的 MD，我們的步驟如下。首先，我們學習一組預定義的規避機動在不同羅盤方向上的單個威脅的 MD。然后，由于我們需要擔心的是最小的 MD，因此我們只需遍歷所有威脅，并保存每次機動的最小失誤距離。

通過這種方法，可以提供一種決策支持工具，為一系列選項提供風險估計，而不會丟失任何已檢測到的威脅。我們的方法還能讓操作員意識到何時沒有安全的撤離選擇，例如在近距離受到來自相反方向的威脅時。為更絕望的措施提供決策支持，如發射所有剩余武器然后失去無人機，或依賴模型無法捕捉的方法，如電子戰或箔條/照明彈系統。

因此，這項工作的主要貢獻是提供了一種方法，使無人機操作員能夠評估和處理任意數量的來襲威脅，從而擴展了先前考慮單一敵對導彈的工作。工作概述如下： 第二節回顧了相關工作。第三節介紹 ML 和導彈制導的背景，第四節正式定義問題。第五節介紹了建議的解決方案，第六節展示了仿真結果。最后，第八節將進行討論并得出結論。

波蘭陸軍航空兵廣泛使用的 F-16 飛機需要根據人工智能（AI）算法進行改裝，以提高其作戰能力和性能。本研究旨在通過首先描述 F-16 系統并對人工智能算法進行分類，從而為此制定全面的指導方針。研究回顧了機器學習、深度學習、模糊邏輯、進化算法和蜂群智能在現代飛機中的潛在應用。隨后，確定了適用于 F-16 系統的特定算法，并根據系統特征就其適用性得出結論。分析結果為潛在的 F-16 改裝提供了信息，并預測了未來人工智能在軍用飛機中的應用，為新算法的開發提供了指導，并為類似飛機類型提供了益處。此外，還為未來的研發工作指明了方向。

人工智能算法在 F-16 中的可能應用

假定 F-16 飛機為基線作戰平臺，可在該平臺上應用一套特定的人工智能算法。選擇 F-16 飛機的原因是空軍有大量現役飛機，這為算法提供了必要的輸入。此外，在運行過程中收集的有關 F-16 飛機的知識、制造商對已實現改裝的了解以及 DARPA 進行的實驗室測試也很重要。表 9 列出了 F-16 飛機功能與配備人工智能算法的系統的比較。表 10 詳細說明了在特定情況下可采用的算法。

根據為 F-16 飛機編制的人工智能算法列表，進行了矩陣分析--分析代表 F-16 飛機系統的列和代表特征的行。分析的主要結果如下：

• 航空電子和數字設備、電氣和電子裝置等系統是關鍵的基礎設施。這些系統的人工智能算法在 F-16 飛機的各項功能中發揮著重要作用。這兩個系統相互關聯，其各個功能的可靠性對 F-16 飛機的運行至關重要，例如：電氣或電子設備的任何組件出現故障，都會導致負責特定功能（特性）的算法無法正確運行。反過來，航空電子和數字設備領域的算法故障也會導致特定功能失靈，從而損壞電氣和電子系統的某個組件，例如：算法為某個組件設定的激活值不正確，可能會導致電氣或電子裝置超過安全限制。

• 系統激活和系統監控功能以及人工智能算法對 F-16 飛機上所有系統的可靠性和運行至關重要。在系統激活功能方面，來自強化學習小組的機器學習算法尤為重要，而在深度學習方面，來自監督深度學習小組的算法也尤為重要。模糊邏輯、進化和群集智能也同樣適用。在系統監控功能方面，所有有監督和無監督的機器學習算法，以及所有深度學習的有監督或判別算法都是有區別的。它們適用于動力單元、電氣和電子裝置、液壓系統/伺服驅動器、控制系統、安全系統、燃油系統、航空電子設備和數字設備等系統。需要注意的是，這兩種功能是相互關聯的。負責監控的算法可以使負責激活系統的算法正常工作。

• 空氣動力學和飛行力學、保持安全距離：地面、地面上的物體和空中的物體等功能在編譯過程中發揮著關鍵作用。這些功能與 9 個配備人工智能算法的系統中的 7 個相關。就 “空氣動力學和飛行力學 ”功能而言，各系統中的強化學習算法可分為：值函數、蒙特卡洛法、時差學習、REINFORCE 和組合算法。有監督和無監督機器學習算法也發揮著重要作用。而在深度學習算法組中，如卷積神經網絡和遞歸神經網絡。模糊邏輯算法也同樣適用。另一方面，對于保持安全距離的功能，強化機器學習的所有算法都適用。在深度學習方面，監督式深度學習的所有算法都適用。模糊邏輯、進化和群集智能也適用。需要注意的是，這兩種功能是相互關聯的。特別是在編隊飛行和中近距離作戰等情況下，系統中這兩種功能的算法同時正確運行非常重要。

• 在武器功能的使用方面，所有強化機器學習算法都很突出，但也有一些選定的監督機器學習算法，如支持向量機、決策樹等： 支持向量機、決策樹、隨機森林、天真貝葉斯分類器、神經網絡。在無監督機器學習算法中，以下算法最為突出： 層次聚類分析、新穎性和離群點檢測算法、可視化和降維及可視化算法以及獨立成分分析算法。此外，還應用了模糊邏輯、進化和群集智能算法。

本研究論文介紹了軍用無人機系統盒（The NeuronDrone-Box）中用于攻擊或防御決策的全自主人工智能：硬件、算法和一種新型專用軍用無人機或無人機。第一部分介紹了軍用無人機系統盒（The NeuronDrone-Box）中的攻擊或防御決策全自主人工智能，以適應任何無人機的主控系統。第二部分是使用混沌理論和經濟地理學的算法。第三部分介紹了被稱為 "黑色噩夢 V.7" 的開創性原型機。黑色噩夢 V.7 無人機投彈手擁有一系列與眾不同的功能和應用，本技術報告將對此進行詳細介紹。首先，主張在軍用無人機系統箱（The NeuronDrone-Box）中實施全自主人工智能攻防決策，以控制與全自主人工智能攻防決策軍用無人機系統箱（The NeuronDrone-Box）相連的多副翼系統（MAS）和多導彈系統（MM-System）。

本研究為基于人工智能的復雜作戰系統的運行和開發建立了 MUM-T 概念和分類系統。分析了該系統的核心方面：自主性、互操作性和程序級別。人工智能 MUM-T 可提高有人駕駛系統的生存能力、擴大其作戰范圍并提高戰斗力。利用美國和英國正在建造的人工智能 MUM-T 綜合作戰系統的數據，分析了技術挑戰和項目水平。目前，MUM-T 處于有人駕駛平臺和無人駕駛飛行器平臺復合運行的水平。從中長期來看，無人地面飛行器、無人水面飛行器和無人水下飛行器等異構平臺之間的互操作通信是可能的。根據人工智能 MUM-T 系統之間互操作性的通用架構和標準協議的發展水平，MUM-T 可以從 "1 到 N "的概念發展到從 "N 到 N "的各種操作概念組合。本研究與現有研究的不同之處在于，MUM-T 系統中體現了第四次工業革命的核心技術，如人工智能、自動駕駛和數據互操作性。此外，通過在現有的無人系統分類法中體現人工智能和自主性，建立了人工智能支持的自主 MUM-T 操作和設施分類系統，并在此基礎上對級別和程序進行了分析。

本研究確立了有人無人協同作戰（MUM-T）的概念，目的是操作、開發和利用智能聯合作戰系統。此外，它還分析了互操作性、自主性、挑戰和計劃水平。人工智能支持的自主無人 MUM-T 提高了有人系統的生存能力，擴大了作戰范圍，并顯著提高了作戰效率。與以往不同的是，MUM-T 的概念正隨著人工智能的發展而不斷擴展，互操作性和自主性也在相應提高。美國和北大西洋公約組織（NATO）國家提出了未來防御領域的挑戰，并在無人系統（UMS）和 MUMT 層面開展了解決這些挑戰的計劃。本研究分析了自主 MUM-T 聯合作戰系統的運行和使用所面臨的技術挑戰和計劃水平，并介紹了基本要素技術。研究方法基于現有定義和第四次工業革命建立了 MUM-T 概念。并利用北約、美國和英國的數據分析了互操作性、自主性、挑戰以及技術和利用方面的計劃水平。

圖 2 基于 NIST 和北約分類標準的人工智能自主 MUM-T 系統分析

美國防部（DoD）對 MUM-T 的定義各不相同。美國 陸軍無人機系統卓越中心（UAUCE）將有人駕駛平臺和無人機視為單一系統。有人系統和無人系統（如機器人、傳感器、無人飛行器和作戰人員）的集成增強了態勢感知、殺傷力和生存能力[1]。國防部將這種關系視為執行共同任務的綜合團隊，美國陸軍航空卓越中心（UAACE）將其定義為同時操作士兵、無人機和無人地面飛行器（UGV），以提高對態勢的了解和生存能力[2]。它采用了標準化的系統架構和通信協議，使來自傳感器的精確圖像數據能夠在整個部隊中共享。目前，它在國防領域的應用最為廣泛。陸軍航空動力局（AFDD 2015）將其定義為：為每個系統提供特殊功能，使現有有人平臺和無人資產能夠合作完成同一任務。這是一種規避風險的方法，通過從空中、陸地和海上無人系統向有人資產傳輸實時信息，提高單兵作戰人員的態勢感知能力[3]。圖 1 是戰場上 MUM-T 系統的層次示意圖。

在世界經濟論壇（WEF）議程的第四次工業革命（Fourth IR）之后，數字化（I2D2）作為一項核心技術被提出。這些技術在未來科學中具有自主、分析、通信和邊緣計算的特點。該技術的特征組合構成了自主系統和智能體（智能+分布式）、擴展領域（互聯+分布式）、作戰網絡（互聯+數字化）、精確作戰領域（智能+數字化）。智能人工智能將改變戰爭的格局，而數字數據的可用性將使分布式和互聯（自主）系統能夠進行分析、適應和響應。這些變化反過來又可能通過預測分析支持更好的決策。

北約（2020 年）以第四次工業革命的核心技術特征及其組合為導向，構建復雜的作戰系統[4-6]。美國國防發展機構（ADD 2018）認為，MUM-T 復雜系統是一種無人作戰系統，可以補充或替代作戰人員的能力，以最大限度地提高作戰效率，最大限度地減少戰場情況下的人員傷亡。它被定義為以一種復雜的方式操作包括戰斗人員在內的有人作戰系統的作戰系統[7]。考慮到美國國防部（2010）、北約（2020）和 ADD（2018）的定義，人工智能支持的自主 MUM-T 復雜作戰系統（以下簡稱 "自主 MUM-T"）和 OODA 循環如表 1 所示[1，5，7]。本研究所指的 MUM-T 復合作戰系統通過聯合指揮與控制，在空中、地面、海上、太空、網絡和戰爭等所有領域提供觀察、分析和控制，可通過整合/連接所有軍事力量的有人和無人系統進行操作。它被定義為 "根據決策和行動執行聯合行動的作戰系統"。

圖 3 北約 STANAG LOI 5 和自主邊緣計算 MUM-T 互操作水平設計

無人駕駛飛行器（UAV）的結構由幾個關鍵組件組成，以優化其效率以及在空戰或空中監視應用等關鍵環境中的可操作性。本研究工作是在自主協作智能體中實施一種創新的人類專家評估策略，以確定無人飛行器的威脅等級。因此，目標是使用一種稱為 “策略捕捉 ”的認知工程技術，配置與人類認知相一致的作戰威脅評估能力。這包括以下兩個步驟。第一步是將認知建模系統集成到智能體中。該系統根據專家先前的決定，提供有關威脅等級評估的建議和警告。因此，它可以利用從人類推理中提取的真實決策模式，提供透明和可解釋的能力。換句話說，這種認知建模系統有助于將專家決策中的一些隱含要素顯性化。此外，還采用并部署了一種多模型方法，使用七種同步監督機器學習算法，通過模仿專家決策來預測威脅程度，而不會受到疲勞、壓力或分心的影響。這些算法基于經過增強和微調的 python scikit-learn 模塊： 邏輯回歸（LR）、決策樹（DT）、K-近鄰（KNN）、多層感知器神經網絡（MLPNN）、奈夫貝葉斯（NB）、支持向量分類器（SVC）以及隨機森林（RF）。第二步是將專家策略提供的響應傳送給智能體的態勢感知模塊。為此，我們將專家策略確定的威脅等級與自主代理已確定的初始威脅等級進行融合。為實現這一目標，我們利用模擬環境提供了一個關鍵資產保護用例。該使用案例由四個威脅等級組成，從犯罪意圖到毫無頭緒不等。該解決方案試圖通過根據威脅等級管理或優先處理要跟蹤和消除的目標無人機數量，最大限度地提高 “真實 ”威脅的消除率。換句話說，防御性無人機蜂群通過首先處理犯罪特征來確定其響應的優先級，目的是以最高優先級解除威脅，然后繼續處理粗心大意的特征，最后是無知的特征。防御蜂群采取 “看門狗 ”行為，適應威脅級別的突然變化，例如，當任何威脅過于接近保護區時。值得一提的是，在沒有專家策略的情況下，所有敵方無人機都被視為具有同等威脅，沒有優先級之分，從而導致無法消除實際威脅的更大風險。未來的工作方向包括研究如何通過在線學習和可解釋的人工智能方法實現相互理解和預測能力，從而改善人類-自動駕駛團隊合作。此外，通過這種方法實現的另一種潛在破壞性能力可能是讓無人機蜂群學會在線預測對手無人機的行為模式，以便在飛行中進行調整，實現認知空中優勢。

圖 1：SE-STAR 模擬展示了紅方和藍方力量以及地面控制站。

自主系統的發展被視為提高人類操作員效率和性能的工具，有助于減少人類的工作量、壓力和失誤[1]。自主協作智能體的興起引發了監視和偵察領域的重大轉變[2]。一個常見的誤解是，這種協作型智能體將取代人類或消除人為錯誤。自動化悖論指的是，事實上自動化會引發新類型的錯誤和新類型的問題，例如由于濫用自動化而導致人類技能和性能下降[3]。此外，能否信任自主系統通常也是一個問題，尤其是在國防和安全領域，在這些領域，通常必須讓人類參與其中。然而，這也引發了諸如 “環路中人類的虛假保證 ”等問題，在這種情況下，人類往往被賦予監督者的角色，對非常復雜的完全自主系統進行監控，但卻導致了態勢感知（SA）的缺失，甚至降低了人類的整體影響力，即使人類仍然需要對系統進行驗證或下達某些指令。態勢感知不僅對人類的表現至關重要，而且也是自主系統和人類-自主團隊合作中的一項挑戰。

1.1 團隊態勢感知（TSA）

團隊態勢感知（TSA）是團隊協作性能的關鍵組成部分。它可以被描述為 “知道你周圍發生了什么”，并知道如何理解、解釋和提取有關環境的信息[4]。當涉及到決策時，SA 還與人類的一些偏差有關，例如：i) 注意力狹窄/鈍化；ii) 記憶力不足；iii) 工作量、疲勞、壓力、反應時間；iv) 數據超載；v) 不適應的心理模型（例如，非邏輯推理或不當行為）；vi) 不使用或濫用自動化系統 [5，6]。在此，我們尤其關注的是如何讓控制無人駕駛飛機的智能體進行有效的情況評估這一挑戰[5]。在這項研究中，我們開發了一種新的潛在方法，不僅能為人類提供決策支持，還能為自動系統提供決策支持，有助于在協作式自動無人機系統的應用中保持高水平的 SA。

1.2 無人機的態勢感知與人機協作

人機協同（HAT）是指人類與自動化系統之間能夠相互依賴地協調合作，以完成共同的任務或目標[5]。人類和機器都缺乏 SA 會對團隊的表現產生不利影響。對無人系統在軍事上的使用進行的研究發現，33% 的事故是由人類直接造成的，67% 是由于機器的問題造成的[8]。美國國防部的其他統計數據稱，人為失誤造成的事故占軍方無人機系統事故的 20%- 70%[9]。這些指標因 HAT 而異，但人類常見的錯誤模式有：基于技能的錯誤、程序性錯誤、核對表錯誤、操作不當或對自主系統控制過度或不足，而機器則往往在設置、監控、檢測和診斷失敗等方面出現問題 [8]。研究人員證明，混合主動目標識別，即由一個智能體提供協助，在視覺搜索空間中定位潛在目標，實際上隨著時間的推移，性能持續惡化[10]。他們認為，接受過檢測特定刺激訓練的智能體，其表現可能不如機警的人類[10]。因此，在設計 HAT 框架時，必須根據每個智能體的局限性和優勢，探索降低風險、提高安全性和可靠性的方法。自主系統在可解釋性方面面臨著重大的信任挑戰，因為有時這類系統往往難以提供可靠、可理解的信息，以確保充分的合作與協作[11]。缺乏對智能體的認識和理解只會強化環外現象[12]。

1.3 目標

提出了一個原型解決方案，旨在讓智能體向人類專家學習如何評估特定類型的情況。本研究選擇的用例包括在反無人機場景中進行威脅評估，以保護關鍵資產。這項概念驗證調查是認知系統工程（CSE）研究工作的第一步，旨在利用人在回路合成測試環境反復測試和改進 HAT 能力。認知系統工程方法側重于提高人類理解和控制系統的能力，通常在開發自適應/智能/學習框架方面發揮關鍵作用[13]。雖然過去的工作推進了用于人類與無人機協作的可調節自主方法[13, 14, 15, 16, 17]，但適應性大多基于環境、使用案例和任務目標（例如，改變每個操作員的無人機數量）[14]。然而，還沒有研究通過使用專家建模將情況評估策略轉移到智能體以增強系統自主性和 HAT 協作能力來證明這種可調整性。本文第 2 節介紹了擬議框架，第 3 節介紹了威脅檢測應用案例，第 4 節介紹了方法，第 5 節介紹了結果，第 6 節介紹了結論。

框架與設計：專家建模與自主智能體

本文研究的新解決方案結合使用了基于人工智能的決策支持系統 “認知陰影”（專家陰影和自動學習觀察到的決策/行為模式；[18, 19]）和人工智能強化智商協同合作伙伴（SPARQ），后者是一個用于實施和優化協作自主系統的平臺。這兩個系統被合并成一個聯合能力框架，在這個框架中，人類操作員和智能體可以共同學習、協調和共享信息。這種 HAT 使智能體能夠為完成聯合任務而協作，并反映了具有高度自主性的任務管理互補自適應框架[17]。

2.1 SPARQ

SPARQ 是一種人工智能體解決方案，能夠與人類操作員協同工作，并創建復雜的多功能協作平臺。SPARQ 可實現多智能體用例的開發、部署和測試，其中其他智能體可以是人工的，也可以是人類的。通過使用其相關的組隊框架，它允許人類和智能體朝著共同的目標合作。SPARQ 的 “數字孿生 ”由三個主要部分組成：i) 感知能力，包括利用傳感器和仿真模型來表示和理解人工智能體的當前情況及其歷史；ii) 預測能力，包括根據假設情景預測當前情況可能如何發展的能力；iii) 決策能力，包括根據感知和預測模塊的輸入制定行動計劃的能力。該系統已利用無人機群、地面控制站和智能傳感器等真實硬件或操作系統進行了實施和測試。它能夠讓有組織的團隊組成蜂群。這些由人工智能驅動的系統具有實時適應和重新配置的能力，可以自主執行復雜多樣的任務。

2.2 認知陰影

Cognitive Shadow 使用最先進的策略捕捉方法，結合多種監督機器學習算法，實現了專家決策和行為模式的自動建模[20- 21]。這種源自專家的認知模型支持一種稱為 “判斷引導 ”的過程，在該過程中，模型往往比人類更可靠，因為這些模型不受疲勞、壓力、分心和精神超負荷的影響[22, 23]。使用認知影子技術多次觀察到這種效果，從而成功降低了 4% 到 36% 的錯誤率 [22-24]。將 Cognitive Shadow 集成到 SPARQ 中可實現決策支持系統的個性化，使團隊伙伴（智能體和人類飛行員或操作員）在優化任務性能的同時獲得實時建議。此外，它還能根據專家政策對信息進行優先排序，并提取上下文信息需求。它通過兩種方式讓人類參與到智能體的決策中：i) 使用經過人類專家訓練的人工智能算法；ii) 實時建議和互動[25]。這種方法支持可解釋性和透明度，因為每個決策都是基于人類的專業知識和理解。它不僅為人類在容易出錯的挑戰性條件下提供支持，也為無人機蜂群等自主協作智能體提供支持。

威脅分類

本次調查選擇的使用案例側重于利用無人機系統探測受保護設施周圍的威脅，從而加強國土安全。使用數字孿生無人機架構在情況監控和異常檢測方面邁出了重要一步，從而增強了安全性[27]。

3.1 威脅檢測類型

威脅評估在很大程度上取決于環境和情況。在本研究中，我們將重點關注用于保護禁區的無人機對抗措施。重要的是要考慮環境中可能存在的不同類型的威脅，以便模仿和復制其發生的現實。威脅類型通常基于無人機的不同用途，如民用、恐怖主義、軍事或犯罪用途[26]。恐怖分子惡意使用無人機的例子可能是監視或自殺，而對平民的體貼使用可能是災難響應、旅游使用和電影拍攝、援助和供應，甚至是商業廣告[26]。然而，其他研究則側重于不同類型的威脅，如黑客攻擊、欺騙、干擾、惡意軟件感染、硬件攻擊等[26, 27]。對于本用例，我們依靠過去的威脅等級評估工作來確定威脅等級和因素[28]。

3.2 現有的無人機威脅評估方法

已研究出多種威脅評估和檢測技術。一種方法側重于非合作無人機監控的惡意意圖和最終目的地估計[29]。還有一些方法使用基于規則的入侵檢測，這種方法是通過定義所關注的攻擊類型并將其實施為 “魯莽攻擊”、“隨機攻擊”、“機會主義攻擊”，從而最大限度地減少檢測誤差，包括假陽性率和假陰性率。不過，這種方法往往過于簡單，無法識別未知類型的攻擊 [26]。根據某些傳感器（如聲學檢測、運動或攝像頭檢測、熱檢測和雷達探測）的優先級，方法可能會有所不同[8]。這些方法的威脅評估流程基本相同。它包括：i) 檢測階段，涉及識別實體的能力；ii) 鑒別能力，即接受某些輸入模式并拒絕其他模式的能力；iii) 基于飛機類型（戰斗機和轟炸機）的分類步驟；iv) 識別不同類型或級別威脅的步驟；以及 v) 確定需要采取的應對行動類型。

3.3 威脅評估算法與特征

部署智能和 HAT 平臺可以改善國土安全和任務安全，其中 SA 被認為是多飛機任務的戰術優勢和戰術軌跡規劃的主要組成部分[28]。貝葉斯網絡模型是利用人工智能進行威脅評估的最常用方法之一。文獻[28]中的一個例子利用四個事件節點證明了這種方法的可行性：i) 識別類型（如雷達成像、電子、紅外或可見光成像偵察）；ii) 地形特征（如敵方武器位置的地形和地貌特征數據）；iii) 天氣類型（如天空能見度）；iv) 電磁環境（EE），如輻射、被敵方設備探測到的概率。這些特征有助于評估威脅程度或探測到惡意無人機的概率。同樣，文獻[30]證明了在 HAT 場景中戰術無人機決策需要動態貝葉斯網絡和馬爾科夫決策過程。這項工作還強調了專家指揮官如何進行評估，如推理和決策如何/何處/何時部署可用資源，以提高生存能力和完成既定任務的概率[30]。這與目標類型、武器類型、所屬關系（敵、友、神經或未知）、與所關注實體的距離、探測半徑、武器射程、速度、方向和地形類型等特征相結合。他們將這些特征編碼到基于規則的模型中，以評估分類效果。文獻[31]中的其他工作展示了針對無人機威脅的輔助決策支持系統。該系統利用基于知識和基于傳感器的融合分類性能來劃分威脅等級。他們測試了三種策略：i) 基于速度的規則，純粹使用四個等級的加速度變化，其中加速度是風險指標；ii) 距離受保護設施的距離；iii) 速度和速度變化模式，分為 5 個等級。[32] 使用動態貝葉斯網絡模型，使用了類似的特征。不過，根據領域專家的知識，他們增加了飛行器的類型和特征：轟炸機需要俯沖到中等高度進行精確定位轟炸，電子干擾機和預警機通常處于高空[32]。最后，[33] 利用貝葉斯網絡使用了 EE 類型（軍用、民用、無發射）、雷達類型（民用、軍用）、干擾器（開與關）以及任務類型（偵察、輕型商用、非法飛行、其他）和速度（亞音速、跨音速、超音速、高超聲速）。

圖 3：認知陰影模型對四種可能類別的威脅檢測結果。

方法

4.1 專家

第一步是對四位專家進行訪談。我們采訪了來自泰雷茲陸地和航空系統公司的三位航空航天和導航領域專家，以及泰雷茲加拿大防務與安全公司和加拿大皇家騎警反無人機專家。第四位專家是一名戰斗機飛行員。這些專家幫助提供了對情景的反饋意見，并幫助驗證了專家政策建模的輸入。除專家反饋外，我們還借鑒了上述先前的研究成果，以確保概念驗證研究基于現實的假設。

4.2 模擬和無人機

這項研究涉及使用人工智能體和模擬敵方無人機，這些無人機需要根據定義的使用案例和專家反饋意見進行中和。每個模擬無人機都是由自主機器人航空（ARA）提供和開發的四旋翼無人機。為了訓練我們的 HAT，我們使用了 SE-STAR 模擬器[34]，它使我們能夠開發反無人機模擬場景。這樣，我們就可以利用可定制的地形（具有特定尺寸的土地和保護區域）來模擬不同的威脅級別。模擬涉及藍色智能體（防御小組）、紅色無人機（需要評估的威脅）、地面控制站和雷達。通過將 SPARQ 與無人機模擬器連接，我們可以模擬無人機與環境之間的互動（即模擬傳感和物理）。這種設置為我們的 HAT 團隊框架和專家策略模型提供了一個測試平臺。通過這種實現方式，我們可以擁有一個動態環境，并有可能進行人機交互。它還允許生成培訓和測試數據、態勢感知指標和團隊協作性能。這種模擬測試有助于發現我們的框架和政策中潛在的差距、功能障礙和謬誤，需要在隨后的實地測試階段之前加以解決。

本文探討了在實際戰場場景中增強態勢感知的聯合通信和傳感技術。特別是，提出了一種空中可重構智能表面（ARIS）輔助綜合傳感與通信（ISAC）系統，該系統由單個接入點（AP）、ARIS、多個用戶和一個傳感目標組成。通過深度強化學習（DRL），在信號干擾比（SINR）約束條件下聯合優化了接入點的發射波束成形、RIS 相移和 ARIS 的軌跡。數值結果表明，通過抑制自干擾和雜波回波信號或優化 RIS 相移，所提出的技術優于傳統的基準方案。

隨著設備種類的增加，戰場環境變得更加復雜多變，對先進無線傳感與通信技術的需求也在不斷增加。最近，綜合傳感與通信（ISAC）被認為是未來使用毫米波（mmWave）等高頻段無線網絡的一項有前途的技術[1]。特別是，由于雷達傳感和無線通信共享相同的頻譜和硬件設施，ISAC 有可能提高戰場上的整體作戰效率[2]。

ISAC 下行鏈路系統的整體流程一般是由接入點（AP）向用戶發射 ISAC 信號，并處理目標反射的回波信號。然而，由于鏈路的主要視距（LoS）信道特性，軍事場景中的 ISAC 無法避免被各種障礙物（如山脈）阻擋的問題，并隨著通信距離的增加而造成嚴重的路徑損耗[3]。為了克服 LoS 信道的物理限制，可重構智能表面（RIS）作為一種關鍵技術應運而生，它通過調整相移來重新配置信號傳播，從而擴大目標探測和通信范圍[4]，[5]。作者在文獻[5]中提出了 RIS 輔助單目標多用戶 ISAC 系統中的聯合發射和接收波束成形技術。然而，在接入點和地面節點之間部署地面 RIS 在動態戰場環境中提供足夠的服務質量（QoS）方面存在局限性。另一方面，將 RIS 安裝在無人飛行器（UAV）上的空中 RIS（ARIS）可利用移動性在動態戰場環境中提供更有效的感知和通信性能[6]。文獻[7]考慮了由 ARIS 輔助的 ISAC 系統，以重新配置傳播環境，靈活對抗惡意干擾。

之前的研究[6]、[7]中針對傳感或通信網絡的 ARIS 系統的解決方案大多是通過凸優化提供的，無法快速應用于戰場場景。深度強化學習（DRL）方法因其在通過深度神經網絡與環境交互的同時制定策略的優勢，已被積極采用，作為傳統優化方法的替代方案。在 DRL 算法中，眾所周知，深度確定性策略梯度（DDPG）在連續行動空間（如 ARIS 軌跡）中收斂和運行良好[8]。文獻[9]的作者提出了一種基于 DRL 的 ARIS 軌跡設計，用于與車輛進行通信和定位。然而，從實際角度來看，當 AP 工作在全雙工模式時，自干擾問題 [10] 不可忽視，而且還需要一種抑制雜波回波信號的方法 [3]。

這項工作的重點是軍事場景中基于 DRL 的 ARIS 輔助 ISAC 系統，其中多天線 AP 為地面用戶提供服務并探測目標。我們的目標是通過聯合優化發射波束成形、RIS 相移和 ARIS 軌跡，使目標定位的 Cramer-Rao 約束（CRB）[11] 最小化。此外，為了應對自干擾和雜波回波信號帶來的挑戰，我們采用了一種基于無效空間投影（NSP）的接收波束成形方案[12]來抑制這些信號。為了應對所提問題的非凸性，我們提出了一種基于 DDPG 的算法，在與環境交互的同時尋找最優策略。通過模擬驗證，所提出的方法優于其他基準方法，如固定 RIS 相移或不應用基于 NSP 的接收波束成形方案。

本文的其余部分安排如下： 第二節介紹系統模型，包括 ARIS 輔助 ISAC 系統的信道、通信和雷達傳感模型。第三節介紹了所提出的基于 DRL 的算法，該算法旨在最小化整個系統的 CRB。第四節展示了數值結果，第五節為本文的結論。

本文件提出了一個分類和影響分析方案，以幫助支持無人機自動操作的討論和監管發展。還引入了 “操作設計域”（ODD）概念，作為一種機制來確定自動化功能的范圍，以幫助管理復雜的多維操作環境。這允許對自動化進行功能評估，因為它涉及到人機互動，認識到在特定操作中，不同飛機功能的自動化程度可能不同。

目前，本文件的范圍僅限于無人機系統飛行操作，同時承認飛行操作將在更廣泛的空域環境范圍內進行。空域環境的自動化將在未來的 JARUS 文件中討論。該文件還討論了隨著自動化水平的不斷提高，責任和權限如何發生變化。所提出的分類方法借鑒了其他航空團體開展的類似工作，包括廣為人知的汽車行業 SAE 國際分類和飛機自動化方面的 ASTM 國際考慮因素（見下文參考文獻）。分類方法概述如下：

0 級 - 手動操作： 人完全負責功能執行，沒有機器支持。

1 級 - 輔助操作： 機器在執行功能的過程中為人類提供環外支持，例如提供相關信息。

2 級--減少任務： 機器以環內管理角色運行，減少人類完成任務的工作量，例如，根據預測的飛行路徑提供沖突警報和解決建議。

3 級 - 監督自動化： 機器在人的監督下執行功能，而人則應根據需要進行監控和干預，例如，與自動駕駛儀綁定的自動交通碰撞和規避（TCAS）系統可在收到解決建議警報時自動執行機動操作。

4 級 - 例外管理： 機器執行功能，在出現問題時向人類發出警報。人類無需對功能進行實時監控，可在機器發出問題警報后隨時進行干預。

5 級 - 完全自動化： 機器完全負責功能的執行。由于實際限制或 ODD 的故意排除，人類無法進行實時干預。

自動化功能對操作的影響一般分為三個級別：安全獨立功能、部分安全依賴功能和安全依賴功能。通過評估自動化功能的安全關鍵性（通過了解其與其他系統的獨立性）和了解功能的自動化程度，可以評估自動化功能對特定操作的影響。

最后，為了在整個空域全面采用自動化功能，需要建立對自動化系統的信任。在自主技術開發和人類操作員培訓中應用信任框架，是實現完全自主系統操作的核心環節。在運行環境中，這將在自動化機器和人類操作員之間建立一種雙向關系，以確保最安全地應用自動化操作，實現可信賴的自主。

事后分析（AAR）在軍隊和組織中用于評估事件及其相應的培訓成果。團隊討論提供了一種以學習為中心的方法，用于評估表現、分析失敗或對未來活動可能的改進。有用的信息經常以非結構化文本和語音的形式嵌入這些 AAR 中。本文提出了一種對 AAR 進行數字分析和趨勢分析的解決方案。討論了使用手持設備采集數據的解決方案。此類設備可將音頻輸入數據管道，在管道中進行語音到文本的處理。音頻處理的操作方法是識別音素等原始語言成分，并對其關系進行上下文建模，以識別最有可能的文本輸出。然后，將討論語音到文本的轉換以及自然語言處理 (NLP) 在分析中的應用。NLP 技術可發現非結構化文本中的語義模式，然后將其與團隊績效指標相關聯。通過揭示 AAR 與團隊表現之間的成功促進因素，這種趨勢可以優化軍事訓練課程。

本研究提出了一個基于 MOOS-IvP 中間件的自主水下航行器控制算法構建框架。側掃聲納傳感器（SSS）通常用于生成聲納圖像，在圖像中可以識別類似地雷的物體。這里實施的基站社區可維護 SSS 的覆蓋置信度地圖，并為用戶提供二維和三維模擬以及實施高級控制方案的能力。開發可分三個階段進行： 1) 最簡配置，僅使用必要的應用程序來開發和測試外環控制；2) 包含模擬硬件的配置；3) 包含實際硬件的配置，該配置應從第 2 階段平滑、輕松地擴展而來。這樣做的好處是使用方便、開發速度更快、減少硬件測試和成本。

圖 1. 自動潛航器路徑及其側視聲納覆蓋的相應區域示例。

多智能體框架

在擬議的 MAS 框架中，每個 AUV 和基站分別有一個獨立的社區。每個群落上都運行著幾個應用程序，其中一些包含在 MOOS-IvP 發行版中，另一些則由作者自行開發。

在擬議框架中，有三種可能的配置：1) 加速開發高級控制和規劃策略的簡約配置；2) 在最底層用變量替代實際傳感器和執行器數據的模擬配置[12]；3) 實際硬件實施。

圖 6. 配置 1：2 個自動潛航器群落和 1 個基站群落，應用極少。

圖 8. 配置 2：硬件模擬包括所有傳感器和致動器應用。