人工智能的最新進展為研究自主空對空作戰提供了機會。本研究考慮了一個單對單空戰機動問題（ACMP），其中友方自主飛機必須在超視距（BVR）環境中與敵方自主飛機交戰并擊敗敵方自主飛機。馬爾可夫決策過程描述了 BVR-ACMP 的特征，提供了一個數學建模框架，用于確定高質量的決策策略，使友方自主飛機能夠做出智能機動和導彈發射決策。高級仿真、集成和建模框架（AFSIM）對 BVR 空中格斗中使用的飛機的復雜和相互依存的操作進行建模，包括運動學以及傳感器和武器使用。BVR-ACMP 中的狀態和決策變量具有高維度和連續性的特點，因此無法使用精確的求解程序。相反，采用了強化學習（RL）求解程序，實施線性值函數近似方案來表示狀態-決策對的值。創建了一個具有代表性的中性起始狀態場景，用于訓練友好型自主飛行器和評估 RL 求解方法的性能。通過設計實驗來確定友機特性如何影響求解程序所獲得的策略。在評估各種飛機參數重要性的實驗中，進行了兩階段超參數調整實驗，以獲得超級策略。為了了解友機如何利用從 BVR-ACMP 文獻中獲得的固定策略擊敗敵機，考慮了幾個案例研究，并檢查了 RL 求解方法確定的高質量機動和射擊策略。結果驗證了在AFSIM中使用RL求解方法訓練自主飛機的可行性，并為未來研究人員利用AFSIM的建模能力研究更復雜的空戰場景提供了途徑。
技術進步和創新使現代軍隊的作戰能力不斷提高。美國軍方認識到，人工智能（AI）的發展為維持空中優勢帶來了越來越大的安全風險（Morgan 等人，2020 年）。美國空軍（USAF）的主要任務是空中優勢，即在友軍行動不受敵方干擾的情況下實現空中優勢（美國空軍部，2016 年）。人工智能的崛起為敵方戰斗人員以前所未有的方式破壞美國空軍的空中優勢目標提供了機會。Hoadley 和 Lucas（2018 年）指出，人工智能技術為軍事行動帶來了獨特的挑戰，因為絕大多數人工智能研究都發生在私營部門。因此，美國空軍已通過國防高級研究計劃局（DARPA）調查的倡議認識到，它必須在空對空作戰領域利用人工智能的進步。眾所周知的 F-16 飛機已經接受了人工智能方法的訓練，可以在測試試驗中自主飛行并執行各種任務（馬丁，2017 年）。
目前，一些國家正在對人工智能技術民主化后建立的半自動飛機進行飛行測試。Byrnes（2014）得出結論認為，這些自主飛機代表著空戰戰術新一天的到來。2015 年，美國前海軍部長表示，F-35 幾乎肯定會成為最后一種有人駕駛的戰斗機（LaGrone，2015）。通常情況下，飛機由人類飛行員在空中或通過無人機系統控制。由人類飛行員在空中控制的飛機面臨著基于人體機能的限制。不受人類飛行員限制的飛機有可能承受以前無法想象的機動動作（Halpern，2022 年）。美國國防部研究機構的 “空戰進化 ”項目計劃于 2024 年在四架由人工智能控制的飛機之間進行一次空對空實戰演習。盡管這些演習只是初步的，但如前所述，在不遠的將來，各國軍隊使用人工智能增強型飛機來對付敵人并非不可想象。
從第一次世界大戰到 20 世紀 50 年代中期，空對空作戰的形式是視距內（WVR）空戰，也稱為 “狗斗”。WVR 空戰要求飛行員操縱飛機部署火炮摧毀目標。20 世紀中期的武器發展包括紅外（IR）和雷達制導導彈。制導導彈的首次使用是在 1958 年 9 月（Stillion，2015 年）。這些導彈允許在超視距（BVR）環境下進行攻擊，在這種環境下，敵人可以被摧毀，而無需像在 WVR 環境下那樣機動到有利位置使用火炮。現在，BVR作戰占據了空對空交戰的大部分（Stillion，2015）。因此，美國空軍的當務之急是充分利用在飛機探測、傳感和空對空導彈（AAM）方面取得的技術進步，獲取并保持空中優勢。
過去，由于缺乏敵我識別（IFF）能力，BVR 技術的進步及其實施受到了限制。在 BVR 環境下，無法識別飛機是敵是友會讓飛行員猶豫不決（Stillion，2015 年）。IFF 技術不斷進步，使飛行員能夠在遠程 BVR 環境中辨別飛機是敵是友（Stillion，2015 年）。基于這一現代現實，Stillion（2015）預計空對空作戰將趨向于傳感器技術和遠程信息的較量，而不是飛機速度和機動性的較量，而速度和機動性在 WVR 空對空作戰環境中是非常可取的。
隨著傳感器技術的進步，為 BVR 空戰部署的反坦克導彈可使飛行員增加可能的摧毀射擊集，而不受 WVR 武器的限制。使用反坦克導彈的一個顯著特點是知道應在何時何地發射反坦克導彈以摧毀敵人。一個有用的概念是 “無逃逸區”，在這一區域內，無論是否有任何機動逃逸嘗試，導彈都有近乎確定的概率擊中敵方目標（Neuman，1988 年）。因此，人工智能方法可以發現人類飛行員過去可能沒有考慮或利用的信息，從而了解最佳的反坦克導彈發射時間。然而，人工智能的使用是雙向的。摩根等人（2020 年）指出，對手可以利用人工智能方法來顛覆部署人工智能技術的組織的目的。
此外，軍用人工智能對美軍構成了獨特的威脅，因為美軍并不壟斷該技術。美國國防部對《2022 年國防戰略》的總結肯定了這一現實，其中觀察到俄羅斯和中國等國家為在各自軍隊中利用人工智能進行了大量投資（United States Department of Defense, 2022）。因此，如果美國及其盟國希望在現代保持空中優勢，那么人工智能在國防領域的發展就必須繼續下去。
人工智能技術（或更具體地說，機器學習）性能的基礎是自主系統用于 “學習 ”的訓練經驗（Jordan and Mitchell, 2015）。訓練自主系統的一種方法是基于規則的邏輯，即在給定一組信息要素的情況下，自主智能體根據預先設定的選擇做出決策。一旦知道了智能體將要做出的舉動，這類人工智能就很容易被打敗。同樣，新的智能行為也不是通過簡單地將已知信息嵌入人工智能體內部就能獲得的。為了應對軍事領域自主系統所面臨的難題，人工智能需要提供新的信息，為用戶帶來優勢。
與基于規則的邏輯相比，更好的方法是用強化學習（RL）來訓練自主系統。強化學習是智能體發現哪些行為能給它們帶來最大回報的過程（Sutton 和 Barto，2018 年）。正如摩根等人（2020 年）所說明的，RL 非常適合復雜的游戲式場景，在這種場景中，學習智能體可以利用游戲環境的優勢來發現制勝策略。例如，RL 可以訓練計算機智能體在最復雜的活動中擊敗人類冠軍，如經典的圍棋游戲（Silver 等人，2016 年）。即便如此，這些擊敗冠軍的智能體也可能被另一個通過 RL 訓練的智能體利用對手的策略擊敗（Silver 等人，2017 年）。研究人員利用空對空作戰的博弈特性，使用博弈論對其進行建模（Austin 等人，1990 年）。由于空對空作戰非常適合建模，而 RL 已被證明能夠為決策者提供高質量的行動，因此在研究中使用 RL 是非常合適的。
因此，試圖模擬在一對一（1v1）BVR 戰斗中的自主無人戰斗飛行器（AUCAV），在這種戰斗中，AUCAV 做出機動和武器部署決策以擊敗對手飛機。采用 RL 技術優化 AUCAV 的能力，以生成這種智能體。制定了一個無限視距、貼現馬爾可夫決策過程（MDP）模型來模擬這一場景。馬爾可夫決策過程是一種順序決策模型，用于確定基于系統環境的最優決策（Puterman，2005 年）。順序決策問題可通過 RL Powell (2022) 求解。本研究采用無模型 RL 算法 Q-learning 來確定最佳決策策略。
RL 算法與仿真、集成和建模高級框架（AFSIM）（West 和 Birkmire，2020 年）相連接。AFSIM 為RL 智能體提供了訓練和獲得高質量解決方案的環境。在美國國防部，AFSIM 是標準的任務級仿真工具（Zhang 等人，2020 年）。由于它是面向對象和基于智能體的，AFSIM 為實施 RL 解決方案程序提供了理想的基礎，同時還包含了兩架競爭飛機的必要領域信息。利用 Python 編程語言來構建算法，并與 AFSIM 接口，以測試和訓練智能體。
本研究旨在填補 BVR 空中格斗場景 RL 解決方案方面的文獻空白。從 McGrew 等人（2010 年）開始，空戰機動問題（ACMP）被證明可以通過 ADP（即基于模型的 RL）求解。Yang等人（2019）、Wang等人（2020）、Pope等人（2021）和Crumpacker等人（2022）將McGrew等人（2010）的研究擴展到了高保真模型和不同的ADP求解程序。不過，McGrew 等人（2010 年）的研究以及他們的延伸研究考慮的是可視范圍內（WVR）的設置。貢獻包括采用無模型 RL 求解程序來解決 1v1 BVR-ACMP 問題，這在 ACMP 文獻中尚未成為研究對象。此外，還探討了不同環境問題特征的重要性，以及它們在使 AUCAV 戰勝敵方 AUCAV 方面的能力。
本論文的其余部分安排如下。第二章概述了與 ACMP、一般 AAM 和 AAM 控制相關的文獻、用于解決以前版本 ACMP 的求解程序，以及與無模型 RL 算法相關的文獻。第三章介紹了BVR-ACMP 和相應的 MDP 模型表述，以及用于為AUCAV 尋找高質量決策策略的 RL 求解程序。第四章介紹了用于訓練AUCAV 的計算實驗結果，同時還分析了AUCAV 在訓練過程中獲得的決策策略。第五章總結了研究，并提供了未來研究的潛在途徑。
付費5元查看完整內容
相關內容
本研究對點防御反蜂群場景進行了權衡分析，比較了兩種不同的目標分配算法在各種蜂群特征下的相對有效性和效率。具體而言，本研究比較了先前反蜂群研究中開發的一種目標分配算法（該算法優先考慮按距離遠近分配目標）和匈牙利算法（該算法優先考慮目標分配效率）。這項分析是在動態模擬中進行的，在模擬中，防御蜂群的成員可以攻擊無人機，而攻擊無人機能夠摧毀由防御蜂群守護的友軍單位。分析結果可以說明在什么情況下（即進攻型和防御型蜂群在速度上的相對優勢）每種瞄準算法更有效、更高效。這些結果可以為后續研究提供參考，為進一步比較進攻性蜂群行為、防御性瞄準方法和其他蜂群特征的變化提供分析方法。
目前，反蜂群技術還處于起步階段。隨著空中無人機、USV 和無人地面車輛 (UGV) 對人類操作員的依賴程度越來越低，自主能力越來越強，烏克蘭和俄羅斯軍隊目前使用的反無人機技術可能會越來越不奏效。電子干擾對使用人工智能機器視覺的自主無人機無效，而烏克蘭武裝部隊已經裝備了這種無人機。雖然它們目前使用機器視覺進行導航和終端制導，但俄烏戰爭期間無人機能力令人震驚的快速發展表明，人工智能無人機的能力只會越來越強。通過單個無人機之間的協調，無人機群利用人工智能不僅能決定攻擊什么，還能決定攻擊的時間和方式，這只是時間問題。
僅僅干擾指令鏈路還不足以長期對抗自主蜂群：要確保攻擊蜂群中的無人機不會構成威脅，唯一的辦法就是用某種效應器攔截并摧毀它們。這可能包括使用無人機本身作為犧牲品、網或子彈等射彈，甚至是高功率微波等定向能武器。已經投入使用的反無人機系統（C-UAS）無人機或 C-UAS 無人機原型都使用了所有這些效應器。旨在攔截攻擊型無人機的防御型無人機系統種類繁多，包括固定翼無人機（如安杜里爾公司的噴氣式 “roadrunner”）、洛克希德-馬丁公司的螺旋槳驅動型 “MORFIUS ”和雷神公司的 “Coyote”，以及旋轉翼平臺（如福特姆技術公司的 “DroneHunter”）。雖然以前的研究已經探索了防御蜂群在改變每架無人機特性時的效果變化，但本論文的主要目標是確定如何利用防御性無人機系統采用的防御戰術，以最佳方式防御由不同類型無人機系統組成的蜂群。
圖 3.1. 攻擊者戰術描述。(a) 攻擊群初始化。(b) 攻擊蜂群均勻分裂并開始移動（偶數攻擊者向右移動，奇數攻擊者向左移動）。(c) 最外圍的攻擊者到達其 CPA。(d) 攻擊者到達 HVU。
付費5元查看完整內容
由于全球定位系統在室內容易受到干擾和失去覆蓋范圍，因此在全球定位系統缺失的環境中進行可靠導航仍然是自主無人系統面臨的一項挑戰。本研究通過將卷積神經網絡（CNN）與視覺傳感器集成，研究如何在不依賴 GPS 的情況下實現實時姿態估計，從而解決無人地面車輛（UGV）面臨的這一挑戰。針對位置和航向估算實施了雙 CNN 架構，并在具有相應姿態的大量圖像數據集上進行了訓練。通過與改進的勢場算法集成，實現了周期性漂移估計和校正。其中一個主要貢獻是用于漂移校正的世界表示調整方法，該方法可根據 CNN 估計值動態調整航點位置。利用這種方法，在受控環境中實現了連續多圈的成功導航，大大提高了沒有漂移校正的基線性能。這項研究的結果表明，通過這種方法可以大大降低自主導航系統對全球定位系統的依賴性，從而有可能提高無人系統對電子戰戰術的應變能力，使其能夠在有爭議的環境中持續運行。
美海軍部（DON）無人作戰框架強調了海軍部 “投資于先進自主和無人系統 ”的承諾。隨著這些技術的進步和實施，無人系統對可靠定位能力的依賴程度也在增加。然而，在干擾和欺騙等電子攻擊成為普遍威脅的有爭議環境中，期望全球定位系統（GPS）成為可靠的定位手段變得不那么可行。此外，在室內環境或衛星能見度有限的區域工作時，GPS 的可靠性也會降低。隨著無人駕駛系統的使用日益增多，在 GPS 無法使用或不可靠的情況下，有必要提供替代解決方案。
隨著無人駕駛系統的分布越來越廣，相互連接越來越緊密，GPS 拒絕或欺騙所造成的脆弱性也隨之加劇。定位中的單點故障會產生連鎖效應，降低整個系統的能力并增加風險。因此，為自主輪式無人飛行器探索可靠、精確的導航技術至關重要，這種技術可在 GPS 信號被屏蔽的環境中有效運行，確保無人駕駛行動在有爭議的復雜場景中繼續取得成功。
這項研究旨在為在室內環境或 GPS 信號不可靠或不可用的地區運行的無人潛航器開發一種穩健的導航解決方案。該方法將利用兩個主要來源的數據：車輪編碼器和視覺傳感器。車輪編碼器數據將使用死算模型進行處理，而 CNN 將用于分析視覺傳感器數據。通過將這些技術相結合，該系統將實現無需 GPS 的同步自主導航。這種方法的一個關鍵方面是實時激活 CNN，CNN 可以解釋環境的獨特特征，并相應地引導 UGV。
這項研究的范圍包括利用深度學習技術為 UGV 開發無 GPS 定位和導航解決方案。將通過 P3-DX Pioneer 機器人系統在室內實驗室環境中使用模擬 UGV 進行廣泛的驗證和測試。不過，某些領域被認為不屬于本研究的范圍。其中包括路徑規劃算法的開發，因為車輛將使用現有的反應式自主方法。此外，除視覺數據外，也不會考慮探索其他傳感器模式。研究重點將不是在有移動障礙物的高動態環境中進行導航。預計面臨的主要技術挑戰是優化計算時間以實現實時性能、減少長時間漂移以及在激烈機動過程中保持定位精度。在項目限制條件下，將盡可能利用和調整現有技術和算法，以最大限度地提高魯棒性。
本論文共分五章，每一章都側重于研究的一個特定方面。第 2 章：“背景 ”通過介紹和解釋與論文工作相關的基本概念，為研究奠定了基礎。本章包括對該領域現有文獻的全面回顧，重點介紹了當前的技術，并指出了本研究要解決的差距。
第 3 章：“方法與實驗設計 ”介紹了論文工作中采用的方法和手段。它詳細描述了實驗中使用的硬件組件和實施的具體算法。本章還討論了實驗設置、數據收集過程以及用于評估所提解決方案性能的評價指標。
第 4 章：“結果與分析 ”主要評估本研究中開發的 CNN 的性能。本章介紹了獲得的實驗結果，并對結果進行了深入分析。本章還包括圖表等可視化內容，以支持對結果的解釋。本章討論了所提方法的優勢和局限性，并將結果與文獻中的現有方法進行了比較。
第 5 章：“結論與未來工作 ”總結了論文研究的主要發現和貢獻。本章強調了這項工作的意義及其對自主導航和定位領域的潛在影響。此外，本章還確定了未來的研究領域，并為進一步改進和擴展所提出的方法提供了建議。
最后，為簡潔起見，“UGV ”和 “機器人 ”這兩個術語在本論文中交替使用。
圖 3.8. 增強型數據存儲過程的可視化表示，這是 CNN 訓練的準備階段。這既減少了圖像所需的存儲空間，又為 CNN 訓練過程保持了適當的預期輸出響應。
付費5元查看完整內容
本文探討了機器學習在自主無人戰斗飛行器（AUCAV）控制中的應用。特別是，本研究將深度強化學習方法應用于防御性空戰場景，在該場景中，AUCAV 機群保護軍事高價值資產 (HVA)，該資產要么是靜止的（如在空軍基地防御場景中），要么是快速移動的（如在涉及護送貨運飛機或指揮控制飛機的場景中）。通過采用馬爾可夫決策過程、近似動態規劃算法和用于價值函數近似的深度神經網絡，一系列空戰管理場景、原始模擬環境和一系列設計的計算實驗為高質量決策策略的近似提供了支持。三項連續的研究探索了新型模型和相應的方法論，以提高數學模型的準確性，提高計算效率，或更準確地評估復雜問題的解決方案質量，在這些問題中，最優解決方案的計算難以實現。對政策有效性和特定政策行為的深入分析為戰術、技術和程序的完善提供了信息，并使能力評估更加準確和量化，從而為所有相關系統的需求開發和采購計劃提供支持。
圖 1. 假想的 GABMP 場景，描繪了穿越敵對領土的固定 HVA 任務路徑
第二章至第四章由三項連續研究組成，將防御性空戰管理數學模型作為一個連續決策問題加以制定和擴展。每一章都探討了一種新穎的方法論，以提高數學模型的準確性，提高數據效率，或更準確地評估復雜問題的解決方案質量，因為在復雜問題中，最優解決方案的計算難以進行。
第二章介紹了廣義空戰管理問題（GABMP）。由 AUCAV 組成的艦隊護送 HVA 穿過敵方領土，而敵方的攻擊模式會根據友軍和敵軍的相對位置在來源和強度上發生變化。鑒于大多數現實問題并不存在于靜態環境中，針對非靜態問題的強化學習是一個廣泛研究的課題。要解決這些問題，需要在特征工程方面投入大量精力，為學習算法提供足夠有用的狀態空間信息，以揭示復雜的系統動態。本章提出了上下文分解馬爾可夫決策過程（CDMDP），它是靜態子問題的集合，旨在利用值函數的線性組合來逼近非靜態問題的動態。一組設計好的計算實驗證明了 CDMDP 方法的有效性，表明復雜的非穩態學習問題可以通過一小組靜態子問題得到有效的近似，而且 CDMDP 解決方案與基線方法相比，無需額外的特征工程就能顯著提高解決方案的質量。如果研究人員懷疑復雜且持續變化的環境可以用少量靜態上下文來近似，那么 CDMDP 框架可能會節省大量計算資源，并產生更易于可視化和實施的決策策略。
第三章為強化學習問題中的經驗重放記憶緩沖區介紹了一種新穎的基于相似性的接納控制方法。通過只用足夠不相似的經驗更新緩沖區，可以提高學習算法的效率和速度，尤其是在連續狀態空間的情況下。該方法采用了廣義空戰管理問題的擴展版本，納入了導航航點和基于軌跡的殺傷概率模型，以增強真實感。此外，還設計了一系列計算實驗，研究基于神經網絡的近似策略迭代算法的結構。對比分析表明，使用包含前 50% 最獨特經驗的內存緩沖區，學習算法收斂到穩健決策策略的速度比單獨使用優先級經驗回放快 10%。這些發現凸顯了所提出的方法在復雜、連續的狀態空間中提高強化學習效率的潛力。
第四章研究了信息松弛技術在 GABMP 進一步擴展版本中用于近似求解質量上限的應用。信息松弛指的是放寬順序決策問題中的非預期性約束，這些約束要求決策者僅根據當前可用的信息采取行動。信息松弛采用了時間事件視野，為決策者提供了對問題環境中未來隨機不確定性結果的可調整訪問。以往的研究都是針對在確定性松弛條件下更容易求解的問題進行信息松弛研究，而本方法論則將該方法應用于連續空間中的連續時間問題，即使在確定性條件下也需要求解近似技術。對事件視界和其他問題特征進行多維敏感性分析，有助于量化戰術改變或能力修改對決策政策有效性的潛在改進。這種量化方法應用于現實世界的能力差距評估，客觀地增強了傳統的主觀分析，從而為決策提供指導，并為采購計劃制定更有效的要求。第五章總結了前述各項研究的結果。
此外，第五章還指出了每項研究的假設和局限性，并提出了未來研究的可能途徑。
利用神經網絡進行近似策略迭代
圖 12. 描繪航點和攔截軌跡的 GABMP 假設場景
付費5元查看完整內容
無人水面艦艇（USV）通常依靠全球定位系統（GPS）和射頻（RF）通信進行導航和多車協調。在戰時環境中，全球定位系統和無線電信號屏蔽對 USV 的有效導航和控制提出了挑戰。本論文研究了使用低成本人工智能（AI）立體相機作為傳感器，實現 USV 的無 GPS 和 RF 導航與協調。這些相機還可用于對水面船只進行分類和定位。我們使用安裝在多艘 Mokai USV 上的 OAK-D AI 攝像機進行了實驗。對神經網絡 (NN) 模型進行了訓練，以識別兩個對象類別：Mokai USV 和其他船只。利用開源 Python 庫，該模型被直接加載到攝像頭上，并集成到機器人操作系統 (ROS) 軟件中，以提取檢測到的物體的相對姿態信息。為了分析該模型的有效性，我們在未見過的視頻上以及使用 Mokai USV 和其他水面艦艇進行的現場實驗中對 NN 進行了測試。將攝像機估計的物體定位與在實驗室環境中通過物理驗證收集的物體地面實況位置進行了比較。最后，還探討了特定相機硬件和立體視覺在此應用中的局限性，以評估其進一步開發的可行性。
付費5元查看完整內容
自主系統的最新進展對學術界和工業界都產生了重大影響，開辟了新的研究途徑。其中之一就是多個系統為實現共同目標而進行的協作，這就是所謂的合作系統。在缺乏人類智能、決策和感知能力的情況下，無人自主系統在一起部署和使用時，可以從彼此的能力中相互受益。本研究探討了無人駕駛航空系統（UAS）群的協作問題，在這種情況下，由于單個飛行器受到限制，需要進行不同程度的協調與合作。這種合作的形式可以是物理支持，即任務要求超出單個系統的物理能力；也可以是情報級支持，即總體上需要更好的感知、處理或決策能力。本研究的目標是為一組選定的無人機系統和受限任務場景開發和集成協同制導與控制算法，這些場景包括通過帶懸掛纜繩的多旋翼飛行器協同操縱空中有效載荷的任務，以及利用飛艇和多旋翼飛行器團隊協同編隊的任務。此外，本研究還旨在將所開發的個體和合作模型算法集成到高保真模擬中，以便在現實飛行任務中研究多智能體協作的有效性。
研究的第一部分側重于單個航空系統的建模和仿真。案例研究中考慮的系統包括帶有柔性電纜懸掛有效載荷的多旋翼飛行器和飛艇。在這一部分中，分別采用歐拉-拉格朗日法和牛頓-歐拉法推導出這些系統的數學模型。分析了柔性纜索模型的動力學特性，并將其與分析性貓尾式解法進行了比較。此外，為了提高仿真精度，還針對帶柔性纜繩懸掛有效載荷系統的多旋翼飛行器實施了動量和幾何結構保全變分積分器。
第二部分是為每個系統設計制導和控制法則，以提供姿態穩定和軌跡跟蹤。首先，研究了一種基于線性化系統模型的游戲理論方法，用于減弱懸掛有效載荷的擺動。這種方法考慮了多旋翼飛行器與懸掛載荷系統的各種狀態反饋情況。基于從這些線性分析中獲得的啟示，我們開發了一種以導管形狀為依據的幾何控制方法，用于該系統的姿態和軌跡跟蹤控制。對于飛艇，則開發了線性和非線性控制方法。這些方法分別包括基于增益調度的線性二次控制和非線性動態反演（NDI）方法。然后對這兩種方法進行了比較，重點關注它們的優勢和實施的難易程度。
最后，針對任務目標受限的現實場景，開發了合作制導和控制法，要求一組無人機在物理或智能層面上進行合作。借鑒對柔性電纜的延展性分析，構建了一個合作控制場景。該場景展示了飛行器之間的合作，利用多旋翼飛行器對懸掛的剛性有效載荷進行空中操縱，其中的限制因素來自單個飛行器的有效載荷能力和飛行器之間通過柔性纜線的物理連接。其次，在涉及多旋翼飛行器團隊的編隊控制場景中采用了領導者-跟隨者通信圖拓撲結構，突出了基于擴展狀態觀測器（ESO）的總干擾估計模型的集成。該模型大大增強了系統對外部干擾和未建模動態的魯棒性。最后，我們在一個示例場景中展示了這些研究的實際應用，在搜救任務中需要通過無人機系統提供合作編隊支持。在這個場景中，我們還利用飛艇將多旋翼飛行器運送和部署到任務目的地，在那里執行編隊任務，以適應各種編隊形狀和圖形拓撲。這一場景需要物理和信息層面的協作，以增強區域覆蓋、改善感知和態勢感知。這里的限制來自單個飛行器的物理限制（如尺寸、續航時間、有效載荷能力和運行環境）和信息級限制（如處理能力、傳感和通信能力）。這種情況形成了在現實生活中具有實際應用價值的基線。
圖 1.1： 多旋翼協同飛行器攜帶通過纜繩懸掛的應急包執行空中有效載荷操縱任務的示意圖
圖 1.2：空中有效載荷操縱任務工作項目
圖 1.3：合作編隊飛行任務示意圖，多旋翼飛行器小組在飛艇的協助下作為領隊節點引導編隊飛行
付費5元查看完整內容
美國空軍越來越關注人工智能（AI）在增強作戰各方面能力方面的潛力。在這個項目中，空軍要求蘭德公司的研究人員考慮人工智能無法做到的事情，以了解人工智能在作戰應用中的局限性。
研究人員沒有試圖確定人工智能的一般限制，而是選擇并調查了四個具體的作戰應用作為潛在用例：網絡安全、預測性維護、兵棋推演和任務規劃。選擇這些應用是為了代表各種可能的用途，同時突出不同的限制因素。在可以獲得足夠數據的三個案例中進行了人工智能實驗；剩下的兵棋推演案例則廣泛探討了如何應用或不能應用人工智能。
本報告是五卷系列中的第一卷，總結了所有應用案例的研究結果和建議。報告面向政策制定者、采購專業人員以及對將人工智能應用于作戰普遍感興趣的人員。
研究問題
- 哪些作戰應用可作為潛在用例？
- 訓練和測試人工智能系統需要哪類數據？
- 人工智能算法有哪些局限性？
主要結論
- 要識別適應性威脅，數據必須是最新的。分布偏移會降低模型性能，這是無法避免的，尤其是對于高維數據。
- 不能依靠人工智能分類算法來學習沒有教過的東西。人工智能無法預測或識別新型網絡攻擊。
- 數據必須可訪問且條件良好。相關的物流數據保存在多個數據庫中，通常條件不佳。如果沒有自動化的數據管道，就無法獲取足夠的數據來實現人工智能。
- 和平時期的數據不能替代戰時數據。人工智能無法彌補適當數據的匱乏。
- 數字化必須先于人工智能的發展。大多數兵棋推演不是在數字化環境中進行的，也不會生成電子數據。數字化是人工智能數據管道的先導。
- 需要新型數據。要實現人工智能，就需要人機交互（HCI）技術來捕捉兵棋推演中目前尚未捕捉到的方面。
- 人工智能遠未達到人類智能水平。因此，它不能代替人類，也不能應用人類的判斷。
- 要應對適應性威脅，數據必須是最新的。必須根據最新情況刷新模型，才能在動態威脅面前生存下來。
- 人工智能在戰術上很聰明，但在戰略上卻很幼稚。它往往通過進入對手的 "觀察、定位、決策、行動 "循環而取勝，而不是通過提出一個巧妙的大戰略。
- 與傳統優化方法相比，人工智能的準確性較低。但它的解決方案可能更穩健，也能更快達成。
建議
- 空軍部（DAF）應進行數據集細分測試，以確定人工智能系統分布偏移的重要性，并確定大致的衰減率和人工智能保質期。
- DAF 應進行人工智能試驗，以改進戰備備件包 (RSP) 的需求預測，并將概念驗證模型擴展到所有飛機。這可能需要在逐個部件、逐個平臺的基礎上進行。
- DAF 應考慮使用人工智能來解決更大的運籌問題，即選擇將哪些部件發送到哪里。
- DAF 應建立一個數據操作管道，以便對多個部件和平臺的飛機維護和 RSP 進行有效的回顧性分析。
- DAF 應將用于開發兵棋推演 AI 應用的資源集中在最有前途的領域：那些調查替代條件或用于評估有明確標準的領域；那些已經納入數字基礎設施（包括人機交互技術）的領域；以及那些定期重復的領域。
- 發展議程應更多地使用數字游戲基礎設施和人機交互技術，特別是在為系統探索和創新而設計的游戲中，以收集數據支持人工智能的發展。
- DAF 應更廣泛地利用人工智能能力來支持未來的兵棋推演工作。
- 國防和安全部隊應考慮如何利用人工智能為面臨突發狀況的無人機制定快速反應政策。
- DAF 應投資開發工具，將強化學習應用于現有的任務規劃模型和模擬中，如仿真、集成和建模高級框架（AFSIM）。
付費5元查看完整內容
在未知和不確定的環境中開辟安全路徑是領導者-追隨者編隊控制的一項挑戰。在這種結構中，領導者通過采取最佳行動向目標前進，追隨者也應在保持理想隊形的同時避開障礙物。該領域的大多數研究都將編隊控制和障礙物規避分開考察。本研究提出了一種基于深度強化學習（DRL）的新方法，用于欠驅動自主水下航行器（AUV）的端到端運動規劃和控制。其目的是為 AUV 的編隊運動規劃設計基于行動者批判結構的最優自適應分布式控制器。這是通過控制 AUV 的速度和航向來實現的。在避障方面，采用了兩種方法。第一種方法的目標是為領導者和跟隨者設計控制策略，使每個領導者和跟隨者都能學習自己的無碰撞路徑。此外，跟隨者遵守整體編隊維護策略。在第二種方法中，領跑者只學習控制策略，并安全地帶領整個團隊向目標前進。在這里，跟隨者的控制策略是保持預定的距離和角度。在存在洋流、通信延遲和傳感誤差的情況下，展示了所提出方法在現實擾動環境下的魯棒性。通過大量基于計算機的模擬，對算法的效率進行了評估和認可。
付費5元查看完整內容
本科學報告探討了地基防御系統（DS）攔截以地面為目標的巡航導彈（CM）的有效性。該分析開發了一些公式和算法，用于描述地基防御系統針對來襲威脅的交戰機會大小，以促進兵棋推演中的巡航導彈防御分析。根據交戰機會的大小以及所采用的射擊和瞄準策略，計算和分析擊毀一枚或多枚來襲 CM 的概率。然后制定交戰機會數量及其位置的公式，用于分析威脅和 DS 的屬性如何影響成功殺死來襲威脅的可能性。最后，本文將前面的分析擴展到 DS 與 CM 最終目標不在同一地點的情況。總之，本文提供了一系列方便的公式和算法，可為涉及集束彈藥防御的兵棋推演編制參考資料。
雖然威懾是抵御導彈攻擊的第一道防線，但當威懾失效時，就必須建立各種機制，確保人民的安全，使其免受對其領土的實際攻擊。任務式指揮是進行航空航天預警、航空航天控制和海上預警，因此確定如何最好地防御是司令部特別關心的問題。本分析報告旨在支持防空司令部開展的兵棋推演活動。本報告提供了一些方程式和算法，使兵棋推演者能夠快速方便地評估游戲中與巡航導彈防御有關某些行動的成敗，作為了解當前和未來防御戰略的更大工作的一部分。
付費5元查看完整內容
這個項目利用RL的一些最新進展來開發實時戰略游戲的規劃器，特別是MicroRTS來代替Stratagem計劃的兵棋。PI實驗室的這些進展之一被稱為強化學習作為預演（RLaR）。在此之前，RLaR只在玩具基準任務中進行了評估，以確定其在減少樣本復雜性方面的功效。這個項目為行為者-評論者架構開發了RLaR，并首次將其應用于具有不完整信息的復雜領域，如MicroRTS。本項目中應用的另一項技術源于最近在復雜的《星際爭霸II》游戲中多智能體學習的成功，特別是多階段訓練的架構，在訓練穩健策略的中間階段發展聯盟和聯盟開拓者策略。
我們針對MicroPhantom--最近MicroRTS比賽的亞軍--對RLaR進行了訓練，結果表明它能夠對這個對手進行有效的計劃，但使用的樣本比相關基線少。另外，我們使用4個階段的訓練方案在自我博弈中訓練RLaR，并針對MentalSeal（冠軍程序）和MicroPhantom評估了訓練后的策略。雖然該策略在面對MicroPhantom時再次顯示出良好的性能，但它在面對MentalSeal時卻沒有表現得很好。根據先前的初步發現，針對MentalSeal的訓練是非常緩慢的，我們推測需要大量的訓練時間，而不是我們在這個項目的延長期內能夠投入到這個步驟中的。
付費5元查看完整內容
鑒于對手軍事能力的威脅和擴散的增加，這項研究試圖開發合理準確和可計算的模型，以最佳方式操縱航空器攔截巡航導彈攻擊。該研究利用數學編程對問題進行建模，并以代表（時間）差分方程系統的約束條件為依據。研究首先比較了六個模型，這些模型對速度和加速度約束有不同的表述，同時分析了靜止目標的情況。多航空器、多固定目標交戰問題與箱體約束條件（MAMSTEP-BC）模型產生了卓越的整體性能，并通過替代數學編程模型的增強進行了進一步分析，以便在利用有效的機動序列方面創建可行的飛行輪廓。最后，對MAMSTEP-BC模型進行了修改，以操縱飛機來對付移動目標。
在優化交戰所需時間時，該模型被證明對多架航空器和多個目標有效。MAMSTEP-BC通過考慮航空器和飛行員的局限性，能夠保持高水平的顆粒度，同時設法為靜止和移動的目標快速生成最佳解決方案。
本論文的其余部分組織如下。第二章討論了與國防、飛行器路由問題和涉及差分方程的數學編程公式有關的文獻，以操縱或路由實體。下面的研究分三個不同階段進行。第三章介紹了第一階段所研究的工作，該階段開發并測試了操縱多架航空器來對付靜止目標的替代模型。在第四章中提出，第二階段的研究探討了替代的數學編程模型的增強，以創建研究第一階段的可行的飛行輪廓。在第五章中，介紹了第三階段研究的工作，其中開發和測試了一個最終模型，以操縱多架航空器來對付移動目標。第六章以工作的主要成果對論文進行了總結，并介紹了未來關于時空網絡路由模型主題的可能研究途徑。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191