亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

強化學習（RL）和人在回路（HitL）學習方面的最新進展使人類與人工智能體的合作變得更加容易。在智能系統中利用人類與人工智能的專業知識和經驗，既高效又有益。不過，人類與人工智能的協作能在多大程度上取得成功，以及這種組隊與僅有人類或人工智能體的組隊相比表現如何，目前仍不清楚。在這項工作中，我們證明了向人類學習是有效的，而且在復雜的模擬環境中，人類-人工智能協作的表現優于人類控制的和完全自主的人工智能體。此外，我們還開發了一種新的關鍵基礎設施保護模擬器，重點關注人工智能驅動的無人機和人類團隊合作抵御敵方無人機攻擊機場的場景。我們開發了一個用戶界面，讓人類能夠有效地協助人工智能體。我們證明，與向人類或智能體學習相比，智能體在向政策校正學習時學習速度更快。此外，與人類直接控制所有智能體相比，人類與人工智能的協作需要更低的精神和時間要求，減少了人類的努力，并產生了更高的性能。總之，我們的研究表明，人類可以為 RL 智能體提供有益的建議，讓它們在多智能體環境中提高學習能力。

保護機場等關鍵基礎設施免受安全威脅是一項復雜、敏感和昂貴的任務，因此人們一直在探索自動和自主解決方案[1]。然而，由于目前技術成熟度和訓練有素的操作員方面的限制，在關鍵應用中采用全自動和自主解決方案并不可取。這可能會導致性能低下、基礎設施嚴重受損以及其他附帶損害風險增加。此外，培訓人類如何有效地使用這些解決方案仍然是一個相當大的挑戰。另一方面，對此類系統的持續監控、快速評估和處理潛在威脅將受益于人工智能能力。在許多情況下，由于系統的復雜性或數據的稀缺性，人工智能體需要在合理的時間范圍內實現完全自主的協助[2]。另一個重大挑戰是人工智能體捕捉上下文理解的能力。例如，考慮一個機場安防場景，隸屬于機場當局的人工智能系統在夜間通過監控攝像頭或無人機檢測到快速移動。該系統可能會將這一移動歸類為入侵者，但由于缺乏上下文的細微差別，無法將其識別為當地警察在機場周邊的例行巡邏。

人類通常擁有解決復雜問題的領域專長、經驗和對上下文的理解，而這些是智能體難以學習或復制的。例如，考慮到上述例子，人類操作員可能會根據無人機出現和行為的相關情況，將無人機識別為例行巡邏。與此同時，智能體缺乏做出適當反應的知識。在安全關鍵型應用中，人的決策變得至關重要，因為在這種應用中，可能會出現部分預料不到的情況。考慮到人類專業知識的價值，有必要在協作環境中有效利用人類知識和態勢感知，尤其是在國防或安全等關鍵應用中。結合人類操作員和自主系統優勢的系統可能會使這些應用受益。這種整合旨在降低系統成本，提高任務性能，同時在危險或關鍵操作中保持有意義的人工控制。這種混合方法對于降低這些高風險環境中的潛在風險至關重要[3]。

最近，強化學習（RL）成功地解決了許多復雜的決策問題，例如掌握圍棋[4]、在平流層部署超壓氣球[5]和生成合成藥物[6, 7]。雖然 Atari 和 Mujoco 等成熟領域已成為前沿 RL 研究的基準[8, 9]，但針對復雜領域引入模擬器以促進人類人工智能協作的探索還較少[10, 11]。然而，深度 RL 面臨的一個顯著挑戰是樣本效率低下 [12]，需要與環境進行數百萬次交互，因此難以適應現實世界的問題。為了緩解這一問題，示范[13-15]、行動建議[16-18]、偏好[19-21]和獎勵塑造[22-25]等給出建議的技術已被用于引導 RL 智能體進入狀態空間的相關部分。然而，這些工作大多局限于游戲領域和由訓練有素的智能體提供建議。一個重要且相對尚未探索的方面是，在復雜的真實世界環境中，通過人類示范來提高人類與智能體協作的潛力。此外，目前有關人類與智能體協作的文獻顯示，在為人類提供有效建議而進行的智能用戶界面設計和集成方面存在明顯的不足。這種稀缺性經常導致人類與智能體之間的誤解，阻礙了人類操作員專業知識的使用。

為了應對復雜現實世界領域的挑戰，我們針對機場禁區保護系統這一特定問題開發了一種新型模擬器和用戶界面。使用案例包括一個由盟友無人機組成的機群，試圖保護限制空域免受多架無人機的入侵。根據防空領域專家的建議，模擬器的設計模擬了真實世界的動態場景。這包括無人機的速度、飛行動態、地面雷達傳感器的規格、傳感有效載荷（雷達和光電），以及嵌入 "藍色 "無人機的中和有效載荷。這種真實世界的動態變化使得環境變得復雜。環境的復雜性意味著一個天真的 RL 智能體需要多次環境交互才能學習到最優策略。考慮到在指定領域中這些交互所帶來的成本和風險，經過訓練的智能體需要具有樣本效率。我們證明，對于所提到的復雜環境，從人類或智能體演示中學習可以最大限度地減少所需的環境交互次數。一些研究[26-28]表明，當一個人監督復雜系統中的多個智能體時，監控需求的增加會對他們的工作量和認知負荷產生負面影響--這最終會阻礙工作表現。

我們證明，訓練有素的智能體具有更好的決策能力，可以減少人類操作員的工作量，提高人類-智能體團隊的績效。創建人類-智能體協作的主要目標是利用智能體和人類的優勢，同時減輕它們的劣勢。例如，智能體擅長分析龐大的數據集和根據特定模式快速做出決策等任務，表現優于人類[29]。相反，與智能體相比，人類則表現出植根于道德價值觀和語境理解的卓越決策能力 [30]。特定國防領域用例的一個特點是，作戰行動是多變的，往往極難預測，而且道德風險可能極高。為了保持人類行使權力和指揮權，我們還使用人類策略修正來糾正受訓智能體的策略。我們的研究表明，在線策略修正是提高智能體學習效果、實現最佳性能的最有效建議形式。此外，我們還證明，與人類控制未經訓練的智能體（本領域中的無人機）相比，人類在進行策略修正時的認知工作量更低。我們使用非專家人類和智能體演示，以展示我們的方法在解決人類專家有限可用性方面的穩健性。

貢獻 本文有以下貢獻：

1.介紹了一種新型多智能體模擬器，用于國防特定機場保護用例建模，模擬多個盟友和敵方無人機智能體的真實世界動態。

2.使用最先進的深度 RL 算法在新型模擬器內訓練多個智能體。

3.在模擬器內開發用戶界面，使人類操作員能夠動態控制單個或多個智能體，進行情境演示，從而實現人機協作。

4.通過經驗證明，訓練有素的智能體演示或人類與智能體的混合演示有助于智能體更快地學習。

5.比較和評估多種建議提供技術，即從演示中學習和策略修正。

6.通過一項用戶研究，比較各種建議提供技術的人類認知工作量，證明與人類完全控制智能體相比，策略修正所需的工作量更少。

盡管最近在美國防部參謀培訓和兵棋推演模擬中對后勤因素的表現有所進步，但后勤信息系統（IS）的表現仍然不足。許多指揮與控制（C2）系統可通過通用協議（如 OTH-Gold）與仿真集成，但許多后勤信息系統與仿真-信息系統（sim-IS）的集成則需要人力密集的 "人在回路"（HitL）過程。在已實現自動仿真-IS 集成的地方，通常無法仿真重要的社會技術系統（STS）動態，如信息延遲和人為錯誤，從而使決策者無法真實地了解物流 C2 的能力。本研究試圖通過開發和驗證一種通過機器人流程自動化（RPA）進行模擬-信息系統信息交換的新方法，克服傳統模擬-信息系統互操作性方法的局限性。RPA 軟件通過 IS 現有的圖形用戶界面支持 IS 信息交換的自動化。這種 "由外而內 "的 IS 集成方法減少了為自動信息交換而對 IS（或模擬）進行工程更改的需要。除了驗證基于 RPA 的模擬-IS 集成方法的潛力外，本研究還提出了分布式模擬工程和執行過程（DSEEP）覆蓋的建議，以指導模擬-IS 環境的工程設計和執行。

在現代工作場所和戰場上，日益強大的信息系統和相關業務流程的激增，需要有能夠體現信息系統（IS）和相關社會技術系統（STS）動態的人員培訓環境。需要這樣的環境來鍛煉組織流程和信息系統，并培養人員的能力。盡管在仿真支持的人員培訓環境中，一些指揮與控制（C2）系統的表現形式取得了進步，但在表現包括許多后勤信息系統在內的 "人在回路"（HitL）信息系統以及影響這些信息系統如何在作戰環境中填充的 STS 動態方面，仍然存在局限性。現有的模擬和 C2 系統集成手段不足以支持自動模擬信息系統（sim-IS）的信息交換和 STS 動態模擬。

這項研究探索了機器人流程自動化（RPA）如何促進模擬信息系統信息交換和 STS 動態模擬自動化的新方法。研究采用了設計科學研究（DSR）方法，以確定基于 RPA 的模擬-IS 信息交換方法能否支持自動化模擬-IS 信息交換和 STS 動態模擬，以及如何設計和開發這種基于 RPA 的模擬-IS 環境。這些研究問題是通過開發和驗證兩個 DSR 工件來解決的：一個是基于 RPA 的模擬-IS 信息交換架構原型形式的實例化工件，另一個是分布式仿真工程和執行過程（DSEEP）（IEEE Std 1730，2011 年）模擬-IS 環境覆蓋建議形式的方法工件。從 DSR 的意義上講，實例化工件已通過驗證，能夠支持自動模擬-IS 信息交換和指定 STS 動態模擬。模擬的 STS 動態包括時間動態（信息延遲和及時性變化）和信息內容退化（準確性、精確性和完整性變化）。這是通過建模與仿真（M&S）驗證和確認過程實現的，包括在實驗室和現場環境中對實例化工件進行定量和定性分析。

通過在受控實驗室環境中的兩個模擬-IS 環境中對原型的性能進行定量分析，對基于 RPA 的模擬-IS 架構支持自動模擬-IS 信息交換和特定 STS 動態模擬的能力進行了驗證。在一個模擬-IS 環境中，海軍陸戰隊空地特遣部隊（MAGTF）戰術戰爭模擬（MTWS）與海軍陸戰隊通用后勤指揮與控制系統（CLC2S）集成在一起。在另一個模擬-IS 環境中，實體級建設性模擬--聯合沖突與戰術模擬（JCATS）與 CLC2S 集成。在這兩個模擬-信息系統環境中，都使用了圖 1 所示的基于 RPA 的模擬-信息系統信息交換架構，將建構模擬和 HitL 后勤信息系統集成在一起。

圖 1. 基于 RPA 的模擬信息系統信息交換架構

對原型架構在兩種模擬-IS 環境中的性能進行定量分析的結果表明，基于 RPA 的模擬-IS 信息交換方法可支持自動模擬-IS 信息交換和 STS 動態模擬。在時間動態模擬方面，發現及時性和延遲分布的模擬與目標分布充分吻合，每個場景的奇平方擬合度檢驗值都超過了 0.95 臨界值。對信息內容退化的模擬觀察具有實際意義，但不具有統計意義。雖然該架構為模擬信息系統信息交換提供了足夠的準確性和精確性，但確定基于 RPA 的模擬信息系統信息交換的及時性需要考慮所支持的特定模擬信息系統環境。在設計和開發基于 RPA 的模擬-IS 環境時，開發了解決這一問題的技術，并在模擬-IS 環境的 DSEEP 重疊建議中得到了解決。

定量分析的結果是必要的，但不足以支持對基于 RPA 的模擬-IS 架構的驗證。在實地環境中為領域主題專家 (SME) 進行了架構演示，以支持對該工具在支持其預期用途方面的實用性進行定性驗證。演示和隨后的中小型企業訪談結果表明，擬議的基于 RPA 的架構將支持在促進員工培訓的模擬信息系統環境中的預期用途。這包括支持在人員培訓環境中表現更多的 HitL 信息系統的潛力，以及模擬 STS 動態的潛力，否則人力或成本將無法表現。

為 DSEEP 開發的方法工件--模擬-信息系統疊加建議，旨在促進模擬-信息系統環境的設計和開發，這些環境代表了目標集成業務流程和相關 STS 動態，包括使用基于 RPA 的模擬-信息系統信息交換方法。雖然 DSEEP 為分布式仿真環境的工程設計和執行提供了指導，但它并沒有為支持仿真-IS 環境提供必要的指導。本研究針對 DSEEP 重疊中需要解決的問題提出了 43 項具體建議，以指導模擬-IS 環境的工程設計和執行，重點是支持基于 RPA 的模擬-IS 信息交換。這些建議是在設計、開發和驗證基于 RPA 的模擬-IS 架構的同時提出的。提供的許多建議與設計、開發和測試基于 RPA 的模擬信息系統架構原型過程中發現的障礙以及為克服這些障礙而開發的工具和技術直接相關。

除了展示和驗證一種基于 RPA 的新方法，用于 Sim-IS 信息交換和工作人員培訓的 STS 動態模擬之外，這項研究還為設計支持其他領域的模擬-IS 環境提供了新的機遇。基于 RPA 的模擬-信息系統信息交換方法所帶來的低成本、模塊化模擬-信息系統環境，可以支持一種新的兵棋推演環境，增強對現實世界中的 HitL 信息系統以及填充這些系統的綜合業務流程的表現力。它還可以為集成業務流程本身的持續共同發展提供一個靈活的環境。本研究為探索和開發基于 RPA 的模擬信息系統信息交換方法邁出了第一步，該方法可支持在模擬支持環境中增強 HitL 信息系統的代表性，以支持人員培訓和其他重要問題空間。

軍事和災難響應應用中的機器人集體需要聯盟組建算法將機器人劃分為適當的任務小組。機器人集體的任務往往包含需要多種高級機器人行為或服務的任務，而聯盟組建必須滿足這些要求。此外，高度動態和非結構化的應用領域還要求聯盟組建算法能在接近實時的時間內（即 < 5 分鐘）為超大型集體（即數百個機器人）提供接近最優的解決方案（即 > 95% 的效用）。以前的聯盟組建算法都無法滿足這些要求。初步評估發現，傳統的基于拍賣的算法運行時間太長，即使集中式模擬器包含了現實世界部署中不太可能出現的理想條件（即機器人之間的同步和完美的即時通信）。基于享樂博弈的 GRAPE 算法可以近乎實時地生成解決方案，但無法應用于多個服務集體。本手稿整合了 GRAPE 和服務模型，產生了 GRAPE-S 和 PairGRAPE-S。這些算法和兩個拍賣基線分別通過使用多達 1000 個機器人的集中式模擬器和使用多達 500 個機器人的迄今為止最大的分布式聯盟形成模擬評估進行了評估。評估結果表明，拍賣無法很好地轉移到分布式集體中，導致運行時間過長和解決方案效用較低。GRAPE-S 滿足了目標領域的聯盟組建要求，能在接近實時的情況下生成接近最優的解決方案，而 Pair-GRAPE-S 則更能滿足領域要求，能在接近實時的情況下生成最優的解決方案。GRAPE-S 和 Pair-GRAPE-S 是首批支持超大型分布式多服務集體近實時聯盟組建的算法。

多智能體搜索與任務分配（MASTA）應用廣泛，包括搜索與救援、生態監測與采樣、軍事應用等。在設計這類系統時遇到的相當大的困難是缺乏分析建模工具，這就要求研究人員和工程師依賴計算機建模與仿真（M&S）。雖然 M&S 是一種非凡而重要的工具，但它往往不容易被人類洞察，可能需要大量的時間和精力，而且往往無法快速做出決策。本論文介紹了 MASTA 的分析模型，并將其與作為基線的 MASTA 計算機實施進行了比較。分析模型的預演誤差在百分之幾以內，并能更深入地了解系統行為和參數之間的相互作用。該模型可縮短 MASTA 系統的設計時間，并通過快速決策對此類系統進行更好的控制。

圖 1：a) [15] 分類法中的三個維度：第一，可由一個機器人解決的任務 (SR) 與需要多個機器人解決的任務 (MR)；第二，只能同時解決一個任務的機器人 (ST) 與同時解決多個任務的機器人 (MT)。第三，不考慮未來分配的瞬時分配與可獲得足夠信息從而需要考慮未來分配的最優分配的時間擴展分配。 b) [46] 所描述的任務類型，以及 c) 多機器人任務分配。

引言

多機器人任務分配（MRTA）涉及由多個機器人組成的系統，而這些機器人往往無法獨立完成任務。它可以被視為一個最優分配問題。[20]. 這個問題通常很復雜，而且通常是 NP 難問題[21]。 因此，人們開發了許多不同的方法。其中最受歡迎的分散式多智能體系統是基于市場的方法。在單項拍賣中，一個智能體將開始拍賣一項任務，其他智能體將根據自己的效用出價，拍賣者將選擇獲勝者。我們感興趣的是需要搜索任務并分配任務的系統，因此我們將搜索和任務分配結合起來。在實際系統中，通信半徑和探測任務的能力是有限的，而且成本可能過高，尤其是在水下。我們建議將簡單、廉價的智能體自適應地組合起來，以創建能夠進行較遠距離通信和任務檢測的移動相控陣。我們將這些智能體稱為組成體，因為它們共同組成了一個嚎叫智能體（復合體）。據我們所知，以前的文獻中還沒有探討過這種組成智能體的想法。合成智能體的最佳形成是一個復雜的問題，因為它會影響搜索、通信和任務分配性能。如果能開發出有效的方法來組建復合智能體并使之相互作用，就能讓一大批簡單的機器人承擔起昂貴得多的設備的任務。

研究人員對帶有檢索約束條件的搜索和檢索的動態任務分配進行了研究。檢索對象是通過搜索一組位置找到的，每個機器人都能做到這一點。對象與類型相關聯；在搜索和檢索之前，會創建一個列表，列出每種類型的任務何時可以相互交付。例如，對于紅色和藍色類型，給定一個列表 {紅、藍、紅、紅}，找到的任何紅色或藍色物體都能滿足要求，但只能按照指定的順序進行。首先，開發了一種擴展的順序單項拍賣，并與隱式協調（共識控制）方法進行了比較。他們發現，共識控制能更快地完成所有任務，但智能體在拍賣方法下的移動速度較慢。

一個潛在的應用領域是水下任務，在這種任務中，通信和導航的成本過高；自主水下航行器（AUV）的價格高達十幾萬美元。研究人員[13]提出了一種方法，利用水聽器，一個昂貴的水下機器人可以引導一群較簡單的廉價機器人。智能體通過發射頻率的多普勒頻移來估計相對航向，通過振幅來估計距離。組成相控陣列的智能體或許可以充當領航員，與更靠近水面的飛行器進行通信，以進行導航。

動物界也有智能體聚集在一起，發出更強的信號。例如，螢火蟲（雷蟲、閃電蟲）在交配季節會用生物發光相互吸引。當螢火蟲聚集在一起時，它們的發光強度會增加，從而吸引更遠處的螢火蟲。因此，某些螢火蟲物種會同步發光，數百只螢火蟲一起以恒定的頻率照亮樹木，中間則是完全的黑暗[19]。

論文目的

論文旨在對智能體搜索和任務分配在一系列參數（如智能體數量、探測半徑、任務數量等）下的性能進行數學建模。這些模型旨在加深對 MASTA 系統的理解，減少設計時間和計算需求。此外，數學模型還有助于設計和開發 MASTA 控制器。我們的目標是回答以下研究問題：

1.是否有可能對 MASTA 系統進行數學建模？

2.這些模型是否能加深對 MASTA 的理解？

3.這些模型是否減少了計算需求？

提綱

第 2 節介紹了背景材料，包括論文相關領域的簡短概述。第 3 節介紹了實施的計算機模型和軟件。第 4 節包含實驗和結果分析。第 5 節討論第 4 節的結果。最后，在第 6 節中得出結論，并提出今后工作的設想。

這項研究的目的是定義對手作戰方案支持數據模型，以及它與自動白方（TAWC）的關系，后者是一種理論上的先進規劃輔助結構。新提出的作戰概念依賴于較小規模的集中式兵力，需要處理的信息可能更多。這種模式迫使兵力領導者依靠更直觀的決策和/或使用技術來支持傳統上由人類完成的分析功能。要使新技術為規劃做出重要而可靠的貢獻，軟件開發人員必須考慮到條令流程，如 "作戰空間情報準備"（IPB）。軍事出版物中蘊含著無數年的經驗，而將減少不確定性的條令模型映射到領先技術的文獻卻很少。本論文探討了流程如何導致發現，從而減少戰斗空間中的意外情況。

現代建模和仿真環境（如商業游戲或軍事訓練系統）經常要求交互式智能體按照預先確定的規范（如故事板或軍事戰術文件）表現出逼真和反應靈敏的行為。創建智能體的傳統方法（如狀態機或行為樹）需要花費大量精力，通過人工知識工程來開發狀態表示和轉換過程。另一方面，較新的行為生成技術（如深度強化學習）需要大量的訓練數據（在許多情況下需要幾個世紀），而且無法保證生成的行為與預期目標和行動方案一致。本文研究了行為克隆方法在設計交互式智能體中的應用。在我們的方法中，用戶首先通過狀態機模型或行為樹等直接方法定義所需的行為。然后，使用行為克隆方法將從這些模型中采樣的真實軌跡數據轉化為可微分策略，并通過參與互動游戲環境進一步完善這些策略。通過對任務性能和訓練穩定性進行比較，這種方法可以改善訓練結果。

最近無人駕駛飛行器（UAV）能力的進步導致對蜂群系統的研究越來越多。然而，無人機群的戰術應用將需要安全通信。不幸的是，到目前為止的努力還沒有產生可行的安全通信框架。此外，這些系統的特點是有限的處理能力和受限的網絡環境，這使得許多現有的安全群體通信協議無法使用。最近在安全群組通信方面的研究表明，消息層安全（MLS）協議可能為這些類型的系統提供一個有吸引力的選擇。這篇論文記錄了MLS與先進機器人系統工程實驗室（ARSENL）無人機群系統的整合情況。ARSENL的實施是為了證明MLS在安全蜂群通信中的功效，是一個概念驗證。實施的測試結果是在模擬環境中進行的實驗和用物理無人機進行的實驗。這些結果表明，MLS適用于蜂群，但需要注意的是，測試中沒有實施交付機制以確保數據包的可靠交付。對于未來的工作，如果要維持一個可靠的MLS系統，需要緩解不可靠的通信路徑。

引言

目前，無人駕駛飛行器（UAVs）的進步已經導致了對蜂群能力的研究。目前，多無人機群已被建議或用于一系列廣泛的應用，包括但不限于： 1：

• 攝影 [1］
• 電影制作[1]。
• 野火監測[2］
• 農業[1], [3]
• 遙感和測繪[4］
• 環境監測 [5］
• 建筑 [6］
• 無人機送貨服務 [7］
• 自然災害管理和恢復 [8］
• 軍事行動和防御 [9］

無人機群的戰術利用將取決于安全通信。不幸的是，單個蜂群平臺的處理能力有限，而且蜂群系統通常依賴于帶寬有限且可能不可靠的通信框架。這些限制使這些系統滿足安全要求的能力受到質疑。

以前的設備群通信安全方法不太可能適用于現有或設想中的蜂群系統。然而，最近對安全群組通信的研究表明，消息層安全（MLS）協議[10]可以提供一個有吸引力的選擇，其特點似乎特別適合這些類型的系統。該協議提供了一種有效的計算方法來實現異步安全的群體密鑰管理，但需要在現實的系統中進行實驗，以評估該協議在這些計算和通信有限的環境中的功能。這項工作是在海軍研究生院（NPS）高級機器人系統工程實驗室（ARSENL）的無人機群中實施MLS協議，以保護特定的信息流。

1.1 問題說明

NPS ARSENL開發并利用了一個無人駕駛飛行器（UAV）群系統，該系統已經成功地演示了多達50個UAV[11]。盡管這種能力為軍事行動提供了巨大的潛力，但ARSENL系統缺乏最終在現實世界中使用所需的通信安全功能。本論文在ARSENL蜂群系統上實現了MLS，以評估其對此類系統更廣泛的適用性。

MLS提供了一些與多無人機系統特別相關的能力。MLS提供了一個動態添加和刪除成員的機制，同時不斷地在群組成員之間提供安全的通信。由于無人機群成員可能是高度動態的，添加和刪除群成員是很重要的能力。隨著蜂群規模的增加，群體安全協議必須有效地擴展。同樣有利的是，MLS協議有利于強制移除已經被劫持的、被破壞的或發生故障的無人機。在這些情況下，該協議為小組提供了更新通信密鑰的手段，以排除被破壞或故障的無人機。本論文旨在解決以下問題：

1.MLS協議能否適用于ARSENL無人機群的使用？

2.MLS對ARSENL無人機群的性能有何影響？

3.ARSENL無人機能否加入群組并與群組的其他成員安全地進行通信？

4.小組密鑰是否能夠通過不可靠的ARSENL蜂群網絡定期更新？

5.在出現紕漏或其他標準的情況下，是否可以將無人機從ARSENL群中移除，不再解密信息？

1.2 范圍

在本論文中，研究了在NPS ARSENL無人機群中使用MLS作為一個連續的組密鑰協議。來自MLS GitHub倉庫[12]的社區維護的C++代碼被調整為納入ARSENL蜂群系統代碼庫。特別是，MLS組的密鑰更新、成員添加和成員刪除等操作被實現和測試。該研究包括分析MLS協議的使用對ARSENL蜂群性能的影響。指標包括各個無人機之間的數據包傳輸和接收率、可擴展性和時間。

1.3 論文組織

本文的其余部分分為四章。第二章提供了理解MLS和無人機群的必要背景信息。這包括討論多無人機群和常見的群組通信架構，ARSENL群組系統，以及潛在的安全通信方法，包括成對和分組協議。本章最后討論了MLS和它是如何工作的。

第三章描述了代碼開發過程。它首先總結了ARSENL機載軟件的機器人操作系統（ROS）框架和用于實現MLS功能的C++應用編程接口（API）。然后，本章討論了代碼的實現，包括代碼概述和討論將MLS集成到ARSENL蜂群中的經驗教訓。

第四章討論了MLS實現的實驗，并分析了它對各個ARSENL蜂群平臺的影響，這些影響受蜂群大小和密鑰更新率的影響。本章包括對測試過程的描述和對結果的描述。

最后，第5章提供了一個結論，包括本研究的意義和對未來工作的建議。

一個持久的、精確的和適應性強的安全應用是有效的部隊保護條件（FPCON）的必要組成部分，因為美國的軍事設施已經成為恐怖主義和暴力行為的常見目標。目前的軍事安全應用需要一種更加自動化的方法，因為它們嚴重依賴有限的人力和有限的資源。目前的研究開發了一個由嵌入式硬件組成的離網部署的聯合微調網絡，并評估了嵌入式硬件系統和模型性能。聯合微調采用集中預訓練的模型，并在一個聯邦學習架構中對選定的模型層進行微調。聯合微調模型的CPU負載平均減少65.95%，電流平均減少56.18%。MobileNetV2模型在網絡上傳輸的全局模型參數減少了81.59%。集中預訓練的MNIST模型開始訓練時，比隨機初始化的模型的初始準確率提高了53.94%。集中預訓練的MobileNetV2模型在第0輪訓練時表現出90.75%的初始平均準確率，在75輪聯合訓練后，整體性能提高了3.14%。目前的研究結果表明，聯合微調可以提高系統性能和模型精度，同時提供更強的隱私性和安全性，以抵御聯邦學習攻擊。

最近，深度強化學習（RL）方法已被成功應用于多智能體場景。通常情況下，分布式決策的觀測向量是由一個智能體收集的關于其他智能體（局部）信息的串聯來表示。然而，串聯法在具有大量同質智能體的集群系統中的擴展性很差，因為它沒有利用這些系統固有的基本特性：（i）集群中的智能體是可以互換的；（ii）集群中智能體的確切數量是不相關的。因此，我們提出了一種新的基于分布式均值嵌入的深度多智能體RL狀態表示，我們將智能體視為樣本，并使用經驗的均值嵌入作為分布式策略的輸入。我們使用直方圖、徑向基函數和端到端訓練的神經網絡來定義均值嵌入的不同特征空間。我們對集群文獻中的兩個著名問題--交會和追趕逃避--在全局和局部可觀察的設置中評估了該表示。對于本地設置，我們進一步引入了簡單的通信協議。在所有的方法中，使用神經網絡特征的平均嵌入表示能夠在相鄰的智能體之間進行最豐富的信息交流，促進復雜的集體策略的開發。

這項工作提出了一個支持決策過程的算法框架，其中終端用戶在領域專家的協助下解決一個問題。此外，終端用戶和領域專家之間的交流的特點是問題和答案的數量有限。開發的框架可以幫助領域專家向終端用戶精確定位少量的問題，以增加其見解正確的可能性。建議的框架是基于領域專家的知識，包括與領域專家和終端用戶的互動。領域專家的知識由知識圖譜表示，而終端用戶與問題相關的信息作為證據被輸入圖譜。這就觸發了圖中的推理算法，該算法向領域專家建議最終用戶的下一個問題。本文在醫學診斷領域提出了一個詳細的建議框架；然而，它也可以適應具有類似設置的其他領域。我們開發的軟件框架使決策過程以互動和可解釋的方式進行，這包括使用語義技術，因此是創新的。

簡介

近年來，"大數據 "世界獲得了巨大的發展動力，并不斷產生機遇和挑戰[1,2]。大數據的各種用途已經滲透到技術世界的幾乎每一個領域。我們對在處理決策過程的技術領域整合大數據的挑戰感興趣，以便利用這些過程。

這些過程可以在各種各樣的內容世界（醫學、商業、教育等）中找到，并且需要了解情況意識、數據建模以及提供智能見解的算法。然而，這些過程為不同的需求提供不同的答案；因此，有幾種類型的決策過程，每一種都有合適的設置[3,4]。

在這項工作中，我們專注于具有以下設置的決策過程：（a）該過程涉及兩個實體：一個最終用戶和一個領域專家，（b）最終用戶啟動該過程，（c）兩個實體之間存在互動，包括（領域專家的）問題和（最終用戶的）答案，（d）兩個實體之間的互動盡可能有限（在時間、問題數量、金錢等方面）。

鑒于上述情況，本報告的目的是提供一個基于語義技術的框架，該框架能夠整合大數據，在決策過程中協助領域專家，向他們建議一套針對最終用戶的問題（從數據中推斷出來的），這將減少問題和答案的循環。 考慮以下兩個領域的例子，其流程自然適合這樣的設置：醫療診斷[5]和家電維修[6]（表1）。

如前所述，上述兩個領域包含了一個兩方面的有限互動。這種限制可以用時間、問題的數量等來表示。請注意，醫療和家電維修這兩個領域都是寬泛的領域，可以被專門化為特定的子領域。例如，家電維修領域可以被專業化為建筑服務、互聯網服務、家庭故障服務等。醫療領域也是如此。它也可以包含一些子域，如各領域的醫療咨詢（如心理學）、緊急醫療電話的處理等。

建議的框架包括兩個主要部分：(a) 使用語義技術對相關領域專家的知識進行正式表示，特別是知識圖譜，以及(b) 一套互動的算法，從一組初始領域值（即最終用戶的先驗知識）開始，然后，基于這些先驗知識和知識圖譜表示，它將向最終用戶提出具體問題。這些問題的答案將推動領域專家的決策過程，并成為下一次迭代的輸入。迭代將繼續進行，直到領域專家感到滿意并做出決定。

我們有動力通過知識圖譜來表示專家的知識，因為圖譜已經成為表示連接數據的一種自然方式[7]。在過去的十年中，人們努力將大量的數據組織成節點和邊的集合，特別是在推薦系統、搜索引擎優化和決策過程中[8,9,10]。由此產生的靈活結構，稱為知識圖譜，允許快速適應復雜的數據和通過關系的連接。它們固有的互連性使人們能夠使用圖算法來揭示隱藏的模式和推斷新的知識[11,12,13,14]。此外，知識圖譜在計算上是高效的，并且可以擴展到非常大的規模，社會圖譜分析就是一個例子[15,16]。

我們的框架受到了Musen和他的同事[17]的啟發，他們是生物醫學信息學領域的知名研究者，提出了關于協助臨床決策支持（CDS）的信息技術的看法。Musen等人[17]提出了提供CDS的系統的指導原則：他們的論述是關于交流而不是檢索信息，建議而不是產生報告，以及協助領域專家發展更多的知情判斷。分別來說，引導我們開發框架的概念是為領域專家提供從分析圖表示的相關數據中推斷出的建議，并使他能夠做出明智的決定。然而，另外一個領先的概念是以有限的迭代次數來進行。我們的框架可以擴展到其他領域。

在所提交的工作中，我們為一個交互式框架引入了一種新的方法，以支持以有限的交互次數為特征的決策過程。該框架通過使用圖數據模型、圖算法和語義技術，以通用的方式進行創新。我們在一個真實的數據集上運行我們的算法，并在一個可能的現實場景中展示框架的可行性。因此，我們為我們的框架提供了一個概念證明。

為了說明擬議的框架，我們首先回顧了知識圖譜和決策過程（第2節）。然后，我們定義了該框架的術語和算法（第3節）。隨后，我們在醫學診斷領域使用由疾病和病人癥狀組成的數據集來演示該框架（第4節）。最后，我們總結并考慮潛在的未來方向（第5節）。

框架與算法

這一節中介紹了所提出的框架，其中包括一個算法集合和它們之間的互動。

目標是基于互動的決策過程。互動是在領域專家和終端用戶之間進行的，結果是有限的迭代，由框架建議領域專家問終端用戶的問題組成。決策過程將根據終端用戶的回答而進行。

當分析這些類型的過程時，我們得出結論，它們可以被籠統地建模為一個癥狀和疾病的集合。最終，該過程的目標是協助領域專家決定診斷（即在分析現有數據的基礎上為一組給定的癥狀提供解釋）。Musen將診斷過程描述為決定要問哪些問題，要做哪些測試，或要執行哪些程序[7,17]。診斷過程中可能出現的問題有以下幾種類型。終端用戶是否有一個特定的癥狀？

上述術語（即癥狀、疾病、問題和診斷）產生的行話可以自然地用于醫學診斷領域，然而它也適用于其他領域，如家電維修：癥狀代表問題，疾病代表故障，診斷是一種故障識別，一個典型的問題可以是。終端用戶的電器有什么特別的問題嗎？

當在提議的框架中使用這個行話時，我們用假設一詞來代替診斷，因為該框架并不向領域專家提供診斷，而是提供可能的假設。每個假說實際上是一種潛在的疾病，它伴隨著一個問題，是表明疾病（假說）的癥狀。因此，我們在本文中用來描述框架及其各種算法的行話包括：癥狀、疾病、問題和假設。特別是，該框架推斷出假設及其相關的問題，并將它們提交給領域專家，后者決定是否使用（或不使用）這些問題來確認（或不確認）這些假設（疾病）。

在本節的其余部分，我們將描述該框架及其算法，首先是一般的，然后是詳細的。

一般來說，我們首先從原始數據建立一個知識圖譜，這將有助于探索疾病和癥狀之間的關系。在此之后，我們在KG上使用魯汶分層聚類法[21]（算法1）來尋找社區（即具有類似癥狀的疾病群）。然后，給定最終用戶報告的癥狀（稱為證據癥狀），我們使用KG上的推理找到與證據癥狀相匹配的可能疾病（算法2）。在這一點上，我們推斷出最可能的社區，以包括最終用戶的疾病，并向領域專家建議一個表明這個社區的問題（癥狀）（算法3）。最后，我們找到最佳假設建議給領域專家（算法4），也就是說，我們向領域專家建議最終用戶可能有的疾病和癥狀，以解決診斷過程的改進。

整個框架分為兩個主要部分：第一部分，預處理部分，在框架啟動后進行；而第二部分，處理部分，在每次有新請求到達框架時進行。預處理部分包括兩個步驟和一個算法（算法1），而處理部分包括三個步驟和三個算法（算法2-4），正如我們在下面描述的那樣。

我們使用的數據結構包括代表KG的結構（默認是鄰接列表）和運行算法所需的額外結構。在下面描述算法的段落中，我們將詳細介紹這些結構和它們的用途。

預處理部分：

輸入：一個疾病及其癥狀的列表

第1步：構建一個疾病和癥狀的知識圖（KG）（見第3.1節）。

第2步：根據疾病的癥狀將其聚類為一組（稱為社區），即具有類似癥狀的疾病將在同一個社區中（算法1）。

輸出：(1）每一種疾病都與KG中的一個社區相關聯；（2）額外的數據結構，稱為癥狀社區矩陣（SCM），表示疾病組和各種癥狀之間的聯系 處理部分：

輸入：K證據癥狀

第一步：尋找最可能的疾病，即與證據癥狀相匹配的可能疾病（算法2）。

第2步：推斷并向領域專家建議（根據需要重復）一個問題（癥狀），表明最可能的社區包括最終用戶疾病（算法3）。

第3步：推斷并向領域專家建議一個假說（最終用戶可能患有的疾病）及其相關問題（癥狀）的列表，并按相關性排序（算法4）。

圖1顯示了整個建議框架的高級視圖。