亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

模擬環境中的逼真行為是必要的，尤其是在訓練模擬器的空對空戰爭中。與有限狀態機（FSM）等以前的技術相比，有了行為樹這一新框架，行為可以變得更加逼真、模塊化、靈活和可擴展。人工運算符或智能體通常是靜態構建的，這意味著一旦它們以特定方式構建，就不會改變其行為，因此在對它們進行一些練習后，就很容易預測它們的行為。即使是靜態構建的智能體，其行為也會變得非常復雜，它們必須能夠以合作的方式應對環境和其他智能體。利用新的算法和框架，這些智能體及其行為可以不斷學習新的戰術進展，并在不同的可能交戰技術之間進行切換，以挑戰人類操作員。智能體可以變得更智能、更逼真，幫助人類飛行員訓練新的戰術方法。該技術將在未來幫助設計人員看到新的模式，并創建可在多種場景中重復使用的通用行為。

在本論文中，一種名為遺傳算法（GA）和遺傳編程（GP）的人工智能技術將作為一種優化算法，用于搜索解決方案空間，并在名為戰術模擬（TACSI）的模擬環境中演化人工行為。模擬場景是兩個智能體之間的超視距（BVR）搏斗，其中對手使用靜態行為，而學習型智能體將針對靜態行為進行訓練。BVR 場景的設置是兩個智能體以相同的起始位置、高度和武器裝備（即四枚 BVR 導彈）面對面開始。學習智能體必須學習動作空間（即可用動作）和動作的工作原理，然后將其應用到狀態空間（如識別目標和發射導彈）。然后，當一個或一組解決方案滿足要求時，生成的解決方案將在新的場景設置中進行評估和測試，在新的場景設置中，位置、方向和高度都是隨機的。在新的設置中測試智能體，可以分析其適應性。

從結果中可以看出，所有解決方案都有一個缺陷，即過于被動。算法很難設計攻擊序列，但逃離和機動序列卻不難設計。每種行為的模擬測試也表明了這一點，大多數情況下都以平局告終。

第 2 節將介紹 BT 框架的歷史、包含的不同節點類型以及 BT 框架的優缺點。第 3 節將向讀者深入介紹人工智能，并介紹機器學習（Machine Learning），這是一種通過獎勵和將輸入映射到輸出來智能訓練智能體的技術。第 4 節將介紹進化計算（EC）和選擇開發的算法。所選技術稱為遺傳算法和遺傳編程。第 5 節將介紹系統架構、組件以及與 TACSI 的集成。第 6 節將展示四種不同解決方案在斗狗場景中的模擬評估。第 7 節將討論算法、框架和評估。第 8 節將介紹本論文在倫理和道德標準方面的合理性，第 9 節將介紹未來的工作。

這項工作的目標是開發一個與自適應交互控制器相結合的有人無人編隊協同（MUMT）框架，使單個飛行員能夠與多個無人機（UAV）協同工作，同時最大限度地提高人類代理的性能，并將其精神負擔保持在可接受的水平。通過使用混合主動交互（MII）概念來解決這一問題，該概念根據代理的當前條件和能力在代理之間分擔任務。MII 借助生理計算來確定人類代理的精神狀態，并采用自動規劃技術在不確定情況下通過順序決策來控制交互。研究結果表明，與非適應性實驗條件相比，利用主觀和生理特征測量的工作量明顯減少，而人類代理在適應性實驗條件下的表現也明顯提高。這些研究結果表明了所提出的自適應交互控制方法如何在提高性能的同時減少操作員的工作量，從而為實現更高效、更強大的 MUM-T 鋪平了道路。

有人-無人編隊協同（MUM-T）可以理解為多個代理的合作團隊：在關鍵任務情況下，多個無人駕駛飛行器（UAV）和可能的多個有人駕駛飛機共同行動。因此，通過這種屬于混合主動交互（MII）框架的團隊合作，為未來人類與多無人機的交互提出了一個新的視角。為了設計混合動力系統，了解是什么因素影響了人類操作員的（精神）狀態、決策能力和表現，尤其是在危急情況下，這一點非常重要。從 MII 的角度來看，我們認為人類操作員（飛行員）并不是一個萬無一失的團隊操作員。例如，退化的心理狀態可能會削弱人類代理在任務執行過程中的能力。因此，在本論文工作中，我們研究了生理計算和人工智能算法，用于估算人類飛行員在困難任務條件下與無人機團隊互動時的心理狀態（如心理工作量），以便調整代理的互動，從而提高性能。例如，根據人類飛行員當前的（精神）狀態和任務子任務的優先級，可以選擇是否觸發無人機請求。

因此，為了實現本論文的目標，這項工作首先要了解和評估人類飛行員與無人機互動時的心理狀態。為此，我們開發了一個在搜救任務中使用 MUM-T 的場景，讓參與者扮演一名與三架無人機合作的飛行員。在第一次實驗活動中，我們設計了誘發高強度和低強度腦力勞動的任務，并通過自我報告、行為和生理測量（即大腦、心臟和眼球運動特征）對其進行評估。通過第一次活動，我們：(i) 根據生理信號確定了腦力勞動負荷的特征--發現腦力勞動負荷對所有測量指標都有顯著影響；(ii) 提出了不同的分類管道，在單獨使用心臟特征或結合使用大腦和眼球運動特征時，分類準確率平均從最佳的 75% 到最低的 59.8%不等。

然后，在這些結果的基礎上，本論文工作的重點是構建一個順序決策系統，該系統能夠通過分類器的輸出監測人的精神狀態，并選擇適當的行動來調整互動，以最大限度地提高人的表現，最終提高任務成果。考慮到人類心理狀態的部分可觀測性和此類系統的非確定性，我們在部分可觀測馬爾可夫決策過程（POMDP）框架下構建了這項工作。POMDP 模型旨在控制互動，其參數是利用第一次實驗活動中收集的所有數據和相關分類結果近似得出的。在模擬中對所獲得的政策進行了評估。

最后，本論文工作的結論是在第二次實驗活動中對這種基于 POMDP 的交互控制策略進行性能和心理工作量管理方面的評估。在這次實驗中，所有開發項目都進行了整合和在線測試：生理特征的提取和處理、人類精神狀態的估計以及交互的適應。主觀結果顯示，與非自適應交互系統相比，在使用自適應方法時，參與者明顯感覺工作量減少。在自適應條件下，他們的飛行得分也明顯提高。這些研究結果表明了基于 POMDP 的自適應交互控制如何在提高性能的同時減少操作員的工作量，從而為實現更高效、更強大的 MUM-T 鋪平道路。除了幾篇短文外，本論文還發表了一篇期刊論文和一篇會議論文。

關于論文的結構，前三章是與這項工作相關的最新成果。因此，第一章介紹了人機交互（HRI）的概念，并討論了可能的交互渠道、HRI 如何定義與交互相關的自主性以及人工代理的局限性。人機交互的概念在 “有人-無人團隊”（Manned-Un-Manned Teaming）的背景下得到了進一步發展，并深入探討了混合主動交互和生理計算如何有助于人機交互。第二章回顧了心理狀態評估文獻，并定義了心理工作量。此外，還詳細介紹了與人類心理工作量相關的生理變化。隨后是對生理計算方法的解釋。最后，回顧了當前人機交互中的心理工作量評估研究，并重點介紹了未來的發展。接下來，第三章概述了人工智能（AI）背景下的規劃，并介紹了各種規劃挑戰和影響規劃模型選擇的因素。這延伸到了概率規劃，特別是部分可觀測馬爾可夫決策過程（POMDP）。最后，論文介紹了解決 POMDP 的各種方案。

第四章是論文的貢獻部分。它首先定義了本論文的研究范圍和目標。然后詳細介紹了實驗設計、實施、采集、處理和分析工具。本章還介紹了用于實時處理和分析眼動跟蹤數據的應用程序。第五章詳細介紹了首次實驗活動以及心理工作量估算的相關結果。本章首先介紹了第一次實驗活動，然后介紹了數據的收集和處理。此外，還研究了不同的驗證技術以及時間對生理數據的影響。最后，對結果進行了分析和討論。第六章概述了根據從第一次實驗活動中獲得的知識制定規劃框架的過程。隨后是解決規劃模型的技術問題，以獲得控制 MUM-T 互動的策略。最后，使用內部模擬器對生成的策略和隨機策略進行了比較。隨后，第七章旨在驗證所提出的 MUM-T 自適應交互方法。該章詳細介紹了利用所有創建模塊進行自適應交互的閉環設計。最后，介紹了第二次實驗活動，本章以實驗結果及其討論結束。最后，第八章以總體結論、每個貢獻的具體發現以及對未來方向和改進的展望結束論文。

要優化人類與有人駕駛和無人駕駛戰車組成的異質團隊的協同工作效果，就必須了解關鍵任務所需的通信和協調。這些知識可用于指導這些互動的人體工學界面設計，以及團隊合作效果的評估方法。該項目系統地研究了下一代戰車（NCGV）概念所涉及的任務，以制定人類-自主團隊互動分類法，并確定適用于該環境的初步措施。

最終目標是開發能夠衡量 NGCV 環境下人類-自主團隊合作有效性的指標和模型。由于無法使用實際運行中的機器人戰車（RCV）或現有經驗豐富的機器人戰車乘員，我們的方法可細分為工作說明書中的三項任務和嵌入式可交付成果：

• 任務 1（第 2 節）介紹了 NGCV 的背景以及在從移動到接觸行動期間的相關互動。

• 任務 2（第 3 節）為裝甲排的核心基線任務和潛在的交互策略制定交互分類法，特別是根據相關文獻和有關作戰車輛以往經驗的主題訪談為 RCV 操作員的任務制定交互分類法。

• 任務 3（第 4 節）以任務 1 和任務 2 為基礎，提出了一個全面的團隊合作有效性模型，并建議了團隊層面的團隊合作有效性衡量標準，重點關注團隊狀態，包括團隊態勢感知、團隊信任、團隊工作量和團隊應變能力。這些衡量標準也為以后的實證測試提供了測試平臺要求。許多想法都很新穎，有別于傳統的團隊合作有效性靜態和二元測量方法。它們的優缺點也包括在內。

未來，這些已確定的基于互動的衡量標準需要在涉及人類、自主性和互動的團隊任務中進行實證測試。然后，我們的目標是構建和定義衡量標準，并找出在人類-自主團隊合作背景下定義團隊效率的衡量標準之間的背景變化和相互關系。

隨著人工智能和機器學習技術的進步，技術越來越能夠成為團隊的正式成員，而不是監督或控制設備。未來的士兵不僅要與同伴互動，還要與多種形式的機器人（包括下一代戰車 [NGCV]）、智能輔助決策系統以及能感知其當前生理狀態的可穿戴設備互動。有人駕駛車輛需要與無人駕駛車輛互動。挑戰在于如何讓這些異構和分布式智能體作為一個有效的團隊進行互動，同時管理工作量并保持團隊的態勢感知（SA）、恢復力和信任。為應對這一挑戰，本文介紹的研究重點是確定新穎的人類-智能體交互模型、措施以及人類-智能體團隊合作有效性的衡量標準。

1.1 人類-自主性編隊協同（HAT）

最近，包括軍事團隊在內的團隊已擴展到包括智能人工體（Burke 等人，2004 年；Salas 等人，2008 年）。智能體被定義為 "任何可通過傳感器感知環境并通過效應器對環境采取行動的物體"（Russell 和 Norvig，2016 年，第 34 頁）。這也包括非人類（即人工）實體，如機器人、車輛和車輛中的其他自動化系統。人類-自動駕駛團隊指的是由人類和智能體共同組成的團隊，他們相互依存地行動，以實現團隊層面的目標。與傳統的全人類團隊相比，當協調行動能更安全、更高效地完成任務，或達到全人類團隊以前無法達到的更高績效水平時，這些人類-自主團隊可能更受青睞。例如，在倒塌的建筑物中穿行對于人類來說可能是危險、困難或不可能的，但對于城市搜救行動來說卻是至關重要的（Burke 等人，2004 年）。

未來的自主戰車可能會利用多種控制結構與其他智能體進行協調。現有的一些人機交互控制模型包括遠程操作、監督控制（Sheridan，2002 年）以及各種共享控制模型（Allen 等，1999 年；Chen 和 Barnes，2014 年；Johnson 等，2014 年）。每種模式都涉及實現能力各異的多個人類和智能體之間有效協調的基本策略。在戰場上，任何個體都不可能完全了解局勢。相反，需要積極整合不同的視角來協調努力，實現集體目標。團隊層面的認知過程，如計劃、推理、決策和行動（即團隊認知）都需要團隊互動（Cooke 等人，2013 年）。在開發 NGCV 以支持有效的 HAT 設計時，需要對團隊互動和協調測量進行研究。

1.2 下一代戰車（NGCV）的背景

NGCV 是未來軍用車輛的一個系列，旨在利用現代技術發展移動防護火力，保護士兵的生命安全。在 NGCV 中，團隊組成可能會有所不同，例如乘員人數和作戰車輛。本研究中的概念版 NGCV 包括七名乘員、一輛載人戰車（MCV* ）和兩輛作為僚機的無人機器人戰車（RCV），以提高乘員的生存能力和殺傷力。然而，在與移動中的有人駕駛戰車分離并坐在其中的情況下操作無人戰車，會改變當前許多任務的性質，這就需要適當地重新分配功能并提供有效的界面，以支持人類決策和團隊表現。當問題空間充滿不確定性和可能性時，這一點尤其具有挑戰性。

在一種設想的使用變化中，NGCV 的排由兩個部分組成（圖 1），每個部分包括一輛 MCV 和兩輛無人遙控車。每輛車主要由兩人操作，一個分隊的所有操作員都坐在該分隊的 MCV 車內，第七人可能擔任車長和分隊長。其中一名分隊長（又稱車長）可能擔任排長，負責監督一個排中的兩個分隊；另一名車長可能擔任排長。排長還可能與排外的實體進行互動，包括連長、地區指揮官和其他步兵單元。作為未來裝甲戰斗的一部分，NGCV 排應能夠執行進攻、防御和穩定任務，以支持統一的陸地行動。我們選擇了一個 NGCV 排在運動接觸（MTC）場景中的部分，作為第一階段詳細研究的可控部分。

圖 1 NGCV 排的可能坐姿結構。A-F 是車輛的標記，每輛車由同一 MCV 中的兩人控制，顏色與所控制的車輛相同（例如，A1 和 A2 控制 RCV A，均為淺藍色）。分隊長的顏色為灰色（S1pl = 排長，S2 = 排中士），可分別擔任車輛指揮官和監督 1 分區和 2 分區，而 S1pl 還負責監督整個排。

1.3 當前工作

本報告的目標是開發能夠衡量 HAT 在 NGCV 環境中有效性的指標和模型。由于無法使用實際運行中的 NGCV 或現有經驗豐富的 RCV 人員，我們的方法分為三項任務：

• 任務 1（第 2 節）： NGCV 的背景以及 MTC 運行期間的相關互動

• 任務 2（第 3 節）： 裝甲排核心基線任務的交互分類法和潛在的交互策略

• 任務 3（第 4 節）： 綜合團隊合作有效性模型和團隊層面的團隊合作有效性潛在衡量標準建議

圖 12 排中的通信渠道。為了跟蹤每次互動，我們使用了互動標簽，例如 "1T1"：T 前的數字 = 第一節，T = 兩人小組/小隊，T 后的數字 = 互動的 ID 代碼；本排以外的實體 = 主要是連長。

多無人機協同升降系統使用多個無人機共同升降和運輸有效載荷。從可擴展性和便攜性的角度來看，這些系統有可能大大降低空中運輸任務的物流成本。與傳統的單機物流模式不同，通過在多架廉價飛機之間分配起升能力，可以有針對性地運送大量有效載荷。為了以高度自主的方式完成大跨度的任務，合作飛機必須能夠在多個點可靠地與單一有效載荷對接，并在系統參數未知的情況下，以可變幾何配置的方式在飛行途中穩健地穩定下來。本論文提出了一種新穎的自適應飛行控制框架，該框架使用擴展卡爾曼濾波器在控制分配方案中更新相關系統參數。此外，這項研究還對之前開發的模塊化對接系統進行了擴展，該系統支持在不同的復合系統幾何結構中進行自組裝，考慮了多智能體操作，并通過模擬交易研究優化了設計參數。論文介紹了高保真模型和模擬，利用多體反饋線性化約束穩定和基于約束的脈沖接觸模型等技術，以驗證控制策略，并在復雜動力學條件下優化設計。本論文還介紹了無人飛行器合作飛行控制和參數估計的實驗結果。

隨著技術的不斷進步和日常對海洋資源的依賴，無人水面航行器（USVs）的作用成倍增加。目前，具有海軍、民用和科學用途的 USV 正在各種復雜的海洋環境中進行廣泛的作業，并對其自主性和適應性提出了更高的要求。USV 自主運行的一個關鍵要求是擁有一個多車輛框架，在此框架下，USV 可以在實際海洋環境中作為一個群體運行，并具有多種優勢，例如可以在更短的時間內勘測更廣闊的區域。從文獻中可以看出，在單體 USV 路徑規劃、制導和控制領域已經開展了大量研究，而在了解多載體方法對 USV 的影響方面卻鮮有研究。本論文整合了高效的最優路徑規劃、穩健的路徑跟蹤制導和合作性集群聚合方法等模塊，旨在開發一種新的混合框架，用于 USV 蟲群的合作導航，以實現海洋環境中的最優自主操作。

首先，設計了一種基于 A* 算法的有效而新穎的最佳路徑規劃方法，其中考慮到了與障礙物的安全距離約束，以避免在移動障礙物和海面洋流的情況下發生碰撞。然后，將這種方法與為 USV 開發的新型虛擬目標路徑跟蹤制導模塊相結合，將路徑規劃器的參考軌跡輸入制導系統。當前工作的新穎之處在于將上述集成路徑跟蹤制導系統與分布式集群聚集行為相結合，通過基于簡單電位的吸引和排斥功能來維持 USV 蟲群的中心點，從而引導 USV 集群進入參考路徑。最后，介紹了一個用于 USV 船隊合作導航和制導的最佳混合框架，該框架可在實際海洋環境中實施，并可在海上有效地實際應用。

在機載預警與控制（AEW&C）系統中，作戰員需要保持警惕，執行多項任務，進行溝通，并在任務期間同時處理不同來源的信息。作戰員的主要目標是接收、解釋和分發 AEW&C 系統提供的信息和數據，以創建識別海空圖像（RASP）。然后利用這些信息來執行戰斗機控制和探測異常情況等任務。指揮與控制（C2）系統能力的增強和環境中新威脅的出現，使作戰員的任務比以往任何時候都更加廣泛、復雜和繁瑣，這有可能損害他們的態勢感知（SA），進而影響他們的決策。這一領域具有高風險，錯誤的決策可能會帶來毀滅性的影響。因此，尋找促進 SA 的新技術的重要性不容忽視。隨著人工智能（AI）應用的快速增長，技術的日益成熟為創建促進 SA 的系統提供了新的可能性。這促使我們開展研究，探索和分析人工智能為 AEW&C 作戰員提供的促進 SA 的機會，特別是戰斗機控制員（FC）和監視作戰員（SO）等關鍵角色。本研究旨在回答何時以及如何實施人工智能以促進 SA 的問題。

在回答這些問題時，采用了通過設計進行研究的方法。在回答 "何時 "的問題時，采用了系統分析、用戶研究、概念開發和評估等方法；在回答 "如何 "的問題時，采用了通過文獻研究和親和圖來制定指導原則，并在概念開發和評估中應用這些指導原則進行測試的方法。該系統分為四個獨立的子系統，分別規定了目標、主體、工具和結果。分別為 FC 和 SO 確定了七類與 SA 相關的挑戰。為每個角色創建了四個旨在改進 SA 的概念，其中談話翻譯工具、隊形識別工具、異常檢測工具和時間軸工具被認為是最有希望進一步開展工作的概念。為人工智能功能開發的三個階段制定了指導方針：規劃、設計和評估。這些指導方針證實了通過研究進行設計的實用性，可用于探索實施人工智能的機會、構思和創建概念，并在 AEW&C 環境中對其進行評估。

圖 5. 與通過研究框架進行設計有關的預研究階段

作為分布式海上作戰（DMO）的一個關鍵原則，盡管有人和無人、水面和空中、作戰人員和傳感器在物理時空上都有分布，但它們需要整合成為一支有凝聚力的網絡化兵力。本研究項目旨在了解如何為 DMO 實現有凝聚力的作戰人員-傳感器集成，并模擬和概述集成實施所需的系統能力和行為類型。作為一個多年期項目，本報告所述的第一項工作重點是建立一個適用于 DMO 建模、模擬和分析的計算環境，尤其側重于有人和無人飛機的情報、監視和偵察 (ISR) 任務。

在半個世紀的建模和仿真研究與實踐（例如，見 Forrester, 1961; Law & Kelton, 1991），特別是四分之一世紀的組織建模和仿真工作（例如，見 Carley & Prietula, 1994）的基礎上，獲得了代表當前技術水平的計算建模和仿真技術（即 VDT [虛擬設計團隊]；見 Levitt 等人, 1999）。這種技術利用了人們熟知的組織微觀理論和通過基于代理的互動而產生的行為（例如，見 Jin & Levitt, 1996）。

通過這種技術開發的基于代理的組織模型在大約三十年的時間里也經過了數十次驗證，能夠忠實地反映對應的真實世界組織的結構、行為和績效（例如，參見 Levitt, 2004）。此外，幾年來，已將同樣的計算建模和仿真技術應用到軍事領域（例如，見 Nissen, 2007），以研究聯合特遣部隊、分布式作戰、計算機網絡行動和其他任務，這些任務反映了日益普遍的聯合和聯盟努力。

本報告中描述的研究項目旨在利用計算建模來了解如何為 DMO 實現有凝聚力的戰斗傳感器集成，并建模和概述集成實施所需的系統能力和行為類型。作為一個多年期項目，本報告所述的第一項工作重點是建立一個適用于 DMO 建模、模擬和分析的計算環境。在這第一項工作中，將對當今的海上行動進行建模、模擬和分析，重點是有人駕駛和無人駕駛飛機的情報、監視和偵察（ISR）任務。這為與執行 ISR 任務的一個或多個 DMO 組織進行比較確立了基線。這也為與其他任務（如打擊、防空、水面戰）進行比較建立了基線。第二階段接著對一個或多個備用 DMO 組織進行建模、模擬和分析。

在本技術報告的其余部分，首先概述了 POWer 計算實驗環境，并列舉了一個實例，以幫助界定 DMO 組織和現象的計算建模。依次總結了研究方法。最后，總結了沿著這些方向繼續開展研究的議程。這些成果將極大地提高理解和能力，使能夠為 DMO 實現戰斗員與傳感器的集成，并為集成實施所需的系統能力和行為建模和概述。

美國海軍陸戰隊正在全面采用無人自動化和半自動化資產。這些平臺將影響指揮鏈中的每一個人--從山頂上的班長、巡邏的排長，到監督所有戰場要素的營級作戰軍官。由于戰爭本質上仍然是人類的努力，因此在戰場上引入機器需要各級人員的團隊合作，以確保在未來的殺戮戰場上取得成功。要將這些資產整合到海軍陸戰隊的作戰行動中，就需要強有力的人機團隊合作（HMT），以保持海軍陸戰隊的競爭優勢。隨著越來越多的無人機和地面資產投入實戰，海軍陸戰隊的每項行動都需要不同程度的人機協作。雖然海軍陸戰隊的所有作戰功能都將受到這些資產的影響，但指揮與控制（C2）功能需要立即引起重視。本論文作者介紹了一個 C2 框架，它將幫助甲板上和作戰單元中的海軍陸戰隊員在 HMT 決策空間中做出正確的決策。該框架以 C2 理論、認知負荷理論以及最重要的相互依存關系為基礎。此外，作者還進行了知識增值（KVA）分析，以展示革命性技術在重新設計海軍陸戰隊熟悉的流程時所帶來的增值。

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。

先進智能技術將不斷改變戰場性質和士兵需要執行的任務本質。因此，已經有許多關于人工智能（AI）在戰場上的作用討論，特別是集中在AI最有利的任務方面，士兵-AI編隊必須提供有效執行任務的能力，以及在這個任務演變過程中人和機器的必要適應。在這里，系統必須解決試圖利用復雜環境適應性強的智能敵手。在這種情況下，理解信任和信任測量的概念是至關重要的。然而，理解信任的動態性質以及如何準確測量和評估它是復雜的。

隨著越來越多地強調在未來的作戰行動中整合人類和自主系統，美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）建立了人類自主團隊基本研究計劃（HAT ERP）。HAT ERP的目標是解決在復雜的戰術環境中人類和自主系統的合作所面臨的挑戰，以創建有效運作的協同團隊，并適應戰斗的動態性質。在HAT ERP的項目5中，正在解決的一個具體領域是如何有效地衡量關鍵的團隊過程，如信任和凝聚力。因此，HAT項目5的總體目標是開發新的、多模態的團隊信任和凝聚力指標，以有效地校準信任并提高支持下一代戰斗車輛（NGCV）的人類自主團隊的性能。HAT項目5更具體的目標包括：1）確定非侵入性的、實時/近實時的信任度量，以捕捉團隊信任的動態性質；以及2）為適當的信任干預提供信息，以便對個人和團隊信任進行適當校準。

盡管已知測量和評估信任在團結互助互動中的重要性，但仍有一些評估的復雜性和考慮。第一個問題集中在信任測量上。信任是一個復雜的結構，傳統上有點難以定義，因此也難以測量。例如，仍然需要努力了解信任測量的類型和應該利用的適當指標，因為并非所有的信任測量都是平等的。雖然有一些現有的信任測量方法，但它們大多使用自我報告的問卷；這些問卷提供了有價值的信息，但只是在離散的時間點上。我們需要與信任的動態性質相一致的測量方法，并允許在特定時間段內進行更連續的測量；從而提供有關信任變化以及它如何影響團隊互動和績效的更有力信息。此外，正如項目5（Krausman等人，2022年）下進行的研究所證明的那樣，對人類自主性團隊信任的評估必須考慮團隊發展和/或團隊工作的前、中、后階段，必須包括超越績效的多模式指標（Schaefer等人，2019年；Brewer等人，2022年）。見圖 1。

圖1 包括壓力、信任和凝聚力在內的事前事后主觀狀態的多模態數據表示，數據流來自通信指標和生理數據

鑒于這一要求，并基于文獻、實驗室和實地研究，Krausman等人（2022年）開發了一個概念性的工具包，由新的信任措施組成，包括以下內容： 1）主觀（即人際信任、技術信任）；2）通信（即通信流、網絡動態、語義內容分析）；3）生理（即心率、心率變異性和呼吸率）；4）行為（眼球追蹤、界面互動等）；以及5）情感（即面部表情追蹤）。認識到對信任評估平臺的需求，一個多模態的信任測量軟件工具箱逐漸形成--人類-自主性團隊信任工具箱（HAT3）。

第二部分將概述HAT3軟件的開發和其中包含的旨在測量信任的具體技術。此外，所討論的每個模塊將在隨后的章節中進一步詳細說明，并將包括信任測量類型的概要，以及有利于HAT ERP和NGCV項目的具體指標。