亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

目前正在努力將無人機系統（UAS）引入國家空域系統（NAS）內的日常貨運業務。此類系統有可能通過減輕機組人員的時間安排限制和將業務擴展到偏遠地區來提高運輸系統的靈活性。預計在運輸類別中運營的任何大型無人機系統都必須遵守《聯邦航空條例》，以獲得在 NAS 內進行常規運營的適航認證。有關設備、系統和裝置安全的法規要求，所有因故障、環境事件和糾正措施不當造成的失效情況都必須得到緩解，并證明極不可能發生。這些系統安全要求與無人機系統尤為相關，因為遠程飛行員（RP）檢測和應對風險的能力取決于指揮與控制（C2）鏈路。與 C2 鏈路系統相關的故障條件要求飛機上的自主系統對遙控駕駛員進行補充，以降低風險。當 RP 無法充分降低風險時，需要一種方法來評估自動化所需的性能，以允許無人機系統進行常規操作。

本文通過開發一種可在系統設計和在線操作期間應用的安全評估方法，解決了確保自主無人機系統安全要求的問題。貢獻如下：

• 將安全規則表述為機會約束滿足問題，要求每十億次操作中不發生 1 次事故。提出了基于重要性采樣的罕見事件估計技術，以評估各種不確定性來源的安全性。

• 失效條件既可能是由系統故障等離散事件造成的，也可能是由導航誤差和湍流等連續狀態不確定性造成的。本文提出了一種隨機混合系統模型，用于處理離散狀態和連續狀態之間的耦合，并估計給定系統參數、運行條件和決策參數集可能導致的飛機軌跡分布。

• 飛行的最后接近和著陸階段是該方法的使用案例。安全評估用于確定被動降低風險所需的系統設計參數。該方法可擴展到運行期間的主動風險緩解，其中使用更新的觀測數據進行在線安全評估，以確保始終存在滿足安全要求的決策選項。

幾十年來，由于需求的不斷增長和行業間的競爭，飛機技術經歷了巨大的改進。由于飛行包線不斷擴大，戰斗機的性能要求和穩定性是一個重要因素。先進的戰斗機應具有高機動性。為了實現極高的機動性，需要非常好的飛機設計，包括在某些模式下具有靜態不穩定性的多個冗余控制執行器、近乎精確的非線性飛機數學模型以及合適的非線性控制設計技術。通常，塞斯納和派珀等訓練飛機都具有靜態和動態穩定性，易于修整和放手飛行。然而，這妨礙了極端機動能力。現代戰斗機（如 F/A-18 戰斗機）的結構不穩定，飛行時需要使用電傳操縱系統，因此機動性高，易于主動俯仰、滾轉和偏航。

通過引導發動機排氣流的推力矢量法與先進的飛行控制系統相結合，可提供非常高的攻角，從而在空戰中提供卓越的近距離空中狗斗能力。戰斗機機動性能的增強使其比傳統戰斗機更勝一籌。羅克韋爾-MBB X-31 試驗機就是一個很好的例子。美國國家航空航天局（NASA）為測試戰斗機三維推力矢量技術而設計的兩架 X-31 噴氣式戰斗機成功地展示了這一設想概念。洛克希德-馬丁公司的 F-22 猛禽戰斗機利用推力矢量控制實現了極限機動。考慮到飛機設計技術和生存能力要求的巨大變化，控制方案的設計對飛行控制設計師提出了巨大挑戰。

傳統上，飛機飛行控制器是通過在大量工作點上對非線性飛機模型進行線性化設計，然后使用增益調度來覆蓋整個飛行包絡線。但在大飛行包絡中實現增益調度是一項相對困難的任務。過去，線性飛機模型的飛行控制曾采用過多種設計方法，如極點放置、H-無限魯棒控制、最優控制等。但飛機的運動方程包括非線性氣動力和力矩。此外，在高攻角情況下，氣動力和力矩取決于氣流的歷史。當飛機進行高滾轉率機動時，主要會遇到兩種不穩定的情況，第一種是短周期縱向和方向振蕩的不穩定性，第二種是自動旋轉滾轉，在這種情況下，戰斗機會突然跳到更高的滾轉率，此外，控制也會變得效率低下。所有這些現象都可能導致高攻角或側滑，對結構造成異常負荷，從而導致事故。

線性控制器的缺點可以通過輸入輸出線性化（也稱為非線性動態反演 (NDI)）來克服。這種方法通過抵消模型的已知非線性函數來解耦選定受控輸出變量的動態，然后通過額外信號的反饋來獲得線性穩定的跟蹤誤差動態。顯然，要實現精確抵消，必須精確知道飛機的動態。這就將非線性系統轉化為恒定線性系統，但前提是所有非線性因素都必須精確已知。然而，考慮到現代飛機復雜的非線性氣動特性，要實現這一點極其困難。風洞試驗和飛行測試與計算流體動力學結果一起用于獲得經驗數據，但這些數據并不完全準確。通過使用穩健的線性控制器進行反饋控制，可以減小這些缺陷。盡管如此，由于結構損壞、控制效應器故障或不利的環境條件導致空氣動力學發生突然變化，因此無法保證理想的性能。

可變結構控制器（VSC）是針對存在不確定性的非線性飛機模型而設計的。然而，可變結構控制器是狀態變量的不連續函數。即使可以在邊界層對控制法則進行一些平滑處理，也可能會導致終端跟蹤誤差。

針對模型中的大參數不確定性和未知函數，設計了基于后步法控制的非線性自適應飛行控制器。后步法設計方法分幾步完成，因為這種方法具有迭代性質。所需的步驟數取決于受控輸出變量的相對程度。此外，還設計了基于神經網絡（NN）的飛行控制系統。最近，人們開始嘗試設計具有狀態和控制約束的自適應飛行控制器。這些自適應飛行控制器屬于確定性等價自適應控制系統。在這些控制器中，直接使用積分更新法獲得的參數估計。基于浸入和不變性（I&I）方法的非確定性等效自適應控制系統用于飛機控制。從實施的角度來看，自適應控制法則并不簡單，因為參數估算器需要估算大量的空氣動力參數。此外，過去曾對戰斗機的穩定性進行過大量分析。分析表明，飛機在旋轉耦合機動中存在豐富的動力學行為，包括線性和氣動非線性。基于分岔方法和偽穩態分析，作者觀察到滾轉耦合在某些控制面偏轉組合的瞬態階段會導致不良的跳躍現象和側傾角的快速發散。分岔理論由 Poincare 發明，用于分析非線性系統，首先應用于交叉耦合問題，然后擴展到高攻角飛行的全非線性問題。

本節引用的自適應飛行控制器只能實現漸近穩定性。研究人員還為一類非線性系統開發了有限時間穩定控制器。與漸近穩定控制系統相比，這類控制器具有更強的魯棒性。一些與有限時間飛行控制系統相關的研究也已出現。當務之急是探索有限時間控制方法在同時進行縱向和橫向機動以及在存在不確定性的情況下避免戰斗機滾轉耦合不穩定性方面的適用性。

本論文的主要目標是研究魯棒有限時間控制技術與滑模控制和超扭曲飛行控制相結合在現代戰斗機上的應用潛力。論文的貢獻如下：

• 根據幾何均勻性概念，為具有假定參數的標稱飛機模型設計了有限時間穩定（FTS）非線性飛行控制法。

• 開發了一種非連續滑動模式（DSM）飛行控制器，以消除模型中不確定性的影響。在閉環系統中，包括標稱有限時間穩定（FTS）控制法則和非連續滑動模式（DSM）控制信號，可實現滾轉角、俯仰角和側傾角的有限時間控制。DSM 控制法可能會導致控制顫振現象。

• 為了實現穩健控制，設計了一種超扭曲（STW）滑模控制法則。STW 控制法則是狀態變量的連續函數。在閉環系統中，利用 FTS 和 STW 控制法則，可以實現飛機的有限時間控制。此外，這種復合控制系統還能減弱不理想的控制顫振。研究表明，在包括復合控制法則（(i) 帶有 DSM 的 FTS 或 (ii) 帶有 STW 控制信號的 FTS）的閉環系統中，軌跡跟蹤誤差及其一階導數在有限時間內收斂為零。

• 通過類似的步驟，設計出了對滾轉角、攻角和側滑角進行有限時間控制的復合控制系統（帶 DSM 法則的 FTS 和帶 STW 法則的 FTS）。

• 仿真結果表明，盡管存在參數不確定性，所設計的復合控制器仍能實現令人滿意的（滾轉、俯仰、側滑）或（滾轉、攻角、側滑）同時縱向和橫向機動。研究指出，與必須估計大量空氣動力參數的自適應控制法則相比，衍生飛行控制器結構簡單。

有限時間穩定（FTS）這一概念最早出現于 20 世紀 50 年代，適用于在固定的有限時間間隔內運行受限的系統。它要求對系統變量進行規定的約束，而定義經典穩定性則不需要。戰斗機等動力系統的非線性微分方程需要快速、精確和連續的有限時間控制器。這些控制方案優于經典控制設計。首先，確定標量二階有限時間系統的相位肖像結構。然后，利用這一特征來開發一類可用作控制器的二階有限時間系統。滑模控制（SMC）是一種非線性控制方法，通過應用不連續的控制信號來改變非線性系統的動態，迫使系統沿著系統正常行為的橫截面 "滑動"。狀態反饋控制法不是時間的連續函數。相反，它可以根據當前在狀態空間中的位置，從一種連續結構切換到另一種連續結構。

超扭曲控制（STW）是一種穩健的連續飛行控制方案，就符號（x）項而言，它完全是一個 PI 控制器（具有 P 部分調制）。超級扭曲控制（STW）方案適用于動態系統控制，以減弱由于不連續滑模控制而在控制輸入中產生的顫振。

連續有限固定時間控制（FFTC）是傳統超扭曲控制的直接擴展。它估算了固定時間上限和收斂時間。設計一個固定時間連續控制法則，使系統狀態在預定義或固定時間內收斂到原點，是一個具有挑戰性的問題。

編隊控制概念基于對鳥類自然飛行行為的觀察，鳥類會保持一個確定的幾何形狀。候鳥利用領航員提供的上沖力和旋轉領航位置，以最小的個體努力擴大飛行范圍。這種模式可用于大航程通信飛行或無人偵察機，或在最佳燃料消耗情況下使用。許多研究人員都在研究兩架或多架飛機的編隊飛行控制。

圖 1.1： 四種具有推力矢量控制功能的超機動戰斗機（時鐘方向）。(a) F-22 由美國空軍提供，攝影師：TSgt Ben Bloker；(b) 蘇霍伊 SU 35 由 Dmitry Terekhov 拍攝；(c) 蘇霍伊 Su-57 由 Dmitry Zherdin 拍攝；(d) 洛克威爾-MBB X-31 由美國海軍陸戰隊 Cody Allee 少校拍攝。

本文探討了自主無人機系統（UAS）的制導和控制。具體而言，研究了基于模型參考自適應控制（MRAC）的尾翼無人機系統，以及用于戰術機動和覆蓋的多旋翼無人機系統的制導和控制。調查了當前和潛在的應用，并找出了現有技術的差距。

為了解決四旋翼無人機這一特殊類別的尾翼無人機系統的控制問題，研究人員開發了兩種方法，以解決建模不確定性、未建模有效載荷、陣風以及執行器故障和失靈等問題。在第一種方法中，尾翼無人機系統的縱向動力學采用 MRAC 法進行調節，以在新穎的控制架構中實現規定性能和輸出跟蹤。用于規定性能和輸出跟蹤的 MRAC 法則結合了線性二次調節器 (LQR) 基線控制器，使用積分反饋互連。利用障礙 Lyapunov 函數對軌跡跟蹤誤差進行約束，并通過采用軌跡跟蹤誤差瞬態動態參考模型來保證用戶定義的軌跡跟蹤誤差收斂速率。在該控制系統中，平移和旋轉動力學分別分為外環和內環，以考慮到四旋翼雙翼飛行器的動力不足問題。在外環中，氣動力的估計值和 MRAC 法則用于穩定平移動力學。此外 此外，還推導出參考俯仰角，使飛行器的總推力永遠不會指向地球，以確保安全，并避免通常用于確定方向的帶符號反正切函數固有的不連續性。在內環中，氣動力矩的估計值和 MRAC 法則用于穩定旋轉動力學。此外，還提出了一種用于確定所需總推力的法則，該法則可確保如果飛行器的方位與所需方位足夠接近，則會施加適當的推力。還提出了一種控制分配方案，以確保始終實現所需的推力力矩，并滿足對執行器產生的推力的非負約束。仿真驗證了針對規定性能和輸出信號跟蹤采用 MRAC 的控制架構，并將規定性能 MRAC 法與經典 MRAC 法進行了比較。

在第二種方法中，提出了一種基于 MRAC 的統一控制架構，該架構沒有將縱向和橫向動力學分開。平移和旋轉動力學分別被分離為外環和內環，以解決尾翼無人機系統的動力不足問題。由于預計飛行器會發生較大的旋轉，因此使用無奇異性的四元數來捕捉尾翼的方向。此外，還通過使用障壁 Lyapunov 函數來解決卷揚現象，以確保跟蹤誤差四元數的第一個分量為正，從而按照最短的旋轉將飛行器的當前方位驅動到參考方位。在外環中，利用對空氣動力的估計和 MRAC 法則確定所需的推力。參考方位是根據正交普羅克斯特問題的解確定的，該問題可找到從當前推力方位到所需推力方位的最小旋轉。由于正交普羅克里斯特問題的不連續性質，角速度和加速度無法通過對正交普羅克里斯特問題解的時間導數來推導。奇異值分解的不連續性。因此，我們使用兩次連續可微分函數--球面線性插值，來尋找連接捕捉車輛當前方位的單元四元數和捕捉參考方位的單元四元數的大地線。一個有趣的結果是，角速度和加速度只取決于參數化球面線性插值函數的標量值函數的一階導數和二階導數；實際函數并不重要。然而，確定該函數的形狀并非易事，因此采用了受模型預測控制啟發的方法。在內環中，使用氣動力矩估計值和 MRAC 法來穩定旋轉動力學，并將推力分配給各個螺旋槳。建議的控制方案的有效性通過仿真得到了驗證。

提出了一種用于自主無人機系統的集成制導和控制系統，可在未知、動態和潛在的敵對環境中，按照用戶規定的不計后果或戰術方式進行機動。在該制導和控制系統中，戰術操縱是通過在飛行器接近目標時利用環境中的障礙物來實現的。不計后果的機動是通過在向目標前進時忽略附近障礙物的存在，同時保持不發生碰撞來實現的。魯莽行為和戰術行為的劃分受到生物啟發，因為動物或地面部隊都會使用這些戰術。制導系統融合了路徑規劃器、避免碰撞算法、基于視覺的導航系統和軌跡規劃器。路徑規劃器以 A? 搜索算法為基礎，并提出了可定制調整的 "到達成本"（cost-to-come）和啟發式函數，通過降低底層圖中捕獲靠近障礙物集的節點的邊的權重，利用障礙物集進行躲避。啟發式的一致性已經確定，因此，搜索算法將返回最優解，而不會多次擴展節點。在現實場景中，需要快速重新規劃，以確保系統實現所需的行為，并且不會與障礙物發生碰撞。軌跡規劃器基于快速模型預測控制（fMPC），因此可以實時執行。此外，還采用了一個自定義的可調成本函數，該函數權衡了與障礙物集的接近程度和與目標的接近程度的重要性，為實現戰術行為提供了另一種機制。新穎的避免碰撞算法是基于解決一類特殊的半有限編程問題，即二次辨別問題。避撞算法通過尋找將無人機系統與障礙物集分隔開來的橢球體，生成無人機系統附近自由空間的凸集。凸集在 fMPC 框架中用作不等式約束。避撞算法的計算負擔是根據經驗確定的，并證明比文獻中的兩種類似算法更快。上述模塊被集成到一個單一的制導系統中，該系統為任意控制系統提供參考軌跡，并在多次模擬和飛行測試中展示了所提方法的有效性。此外，還提出了飛行行為分類法，以了解可調參數如何影響最終軌跡的魯莽性或隱蔽性。

最后，介紹了用于自主無人機系統的綜合制導和控制系統，該系統可在未知、動態和潛在敵對環境中，按照用戶的要求，以不計后果或戰術的方式執行戰術覆蓋。覆蓋的制導問題涉及收集環境信息的策略和路線規劃。收集未知環境信息的目的是幫助服務組織和第一反應人員了解態勢和制定計劃。為解決這一問題，需要綜合考慮目標選擇、路徑規劃、避免碰撞和軌跡規劃。我們提出了一種基于八叉樹數據結構的新型目標選擇算法，用于為路徑規劃器自主確定目標點。在該算法中，由導航系統推導出的體素地圖捕捉了環境中各區域的占用和探索狀態，并被分割成捕捉大面積未探索區域和大面積已探索區域的分區。大面積未探索區域被用作候選目標點。目標點的可行性通過采用貪婪 A? 技術來確定。該算法擁有可調參數，允許用戶在確定目標點序列時指定貪婪或系統行為。這種技術的計算負擔是根據經驗確定的，并證明可在現實場景中實時使用。路徑規劃器基于終身規劃 A?（LP A?）搜索算法，與 A?技術相比，該算法更具優勢。此外，還提出了一種可自定義調整的成本-歸宿和啟發式函數，以實現戰術或魯莽的路徑規劃。提出了一種新的避免碰撞算法，作為上述避免碰撞算法的改進版本，改進了所產生的約束集的體積，從而使更多的自由空間被凸集捕獲，因此，軌跡規劃者可以利用更多的環境進行戰術機動。該算法基于半定量編程和快速近似凸殼算法。軌跡規劃器以 fMPC 為基礎，采用自定義成本函數，通過滑行障礙物表面實現戰術機動，并將所需加速度作為與掩體距離的函數進行調節；采用障礙函數約束飛行器的姿態并確保推力正向性；采用四旋翼無人機系統的輸出反饋線性化運動方程作為微分約束，以實現積極的機動。利用定制的 C++ 模擬器驗證了所提系統的功效。

本論文將探討在海洋環境中運行的自主無人機系統在制導和控制算法方面存在的一些不足。

完全自主的航空系統（FAAS）將邊緣和云硬件與無人機和大量軟件支持結合起來，以創建自主系統。FAAS 通過對環境的實時感知和響應，在無人駕駛的情況下完成復雜的任務。FAAS 需要高度復雜的設計才能正常運行，包括機載、邊緣和云硬件和軟件層。FAAS 還需要復雜的軟件，用于控制無人機的底層操作、數據收集和管理、圖像處理、機器學習、任務規劃和高層決策，這些軟件必須在整個計算層次結構中有效集成，以實時實現自主目標。

即使是相對簡單的 FAAS，其復雜性也難以保證效率。然而，效率對 FAAS 的有效性至關重要。FAAS 在資源稀缺的環境中執行任務，如自然災害地區、農田和偏遠的基礎設施設施。這些地區的計算資源、網絡連接和電力都很有限。此外，無人機電池壽命短，飛行時間很少超過 30 分鐘。如果 FAAS 設計不合理，無人機可能會浪費寶貴的電池壽命來等待遠程計算資源的進一步指示，從而延誤或無法完成任務。因此，FAAS 設計人員必須謹慎選擇或設計邊緣硬件配置、機器學習模型、自主策略和部署模式。

FAAS 有能力徹底改變許多行業，但要提高其可用性和有效性，還有許多研究工作要做。在本論文中，我將概述自己為設計和實施高效、有效的 FAAS 所做的努力。本文將重點討論以下五個主題，包括 FAAS 的設計、實施和應用：

§1. 創建新的通用和特定領域的機器學習算法，并謹慎使用其他算法

§2. FAAS 層次結構中各級硬件的選擇

§3. 為自主策略、硬件設備、機器學習技術和部署特性的選擇和切換提供動力和環境意識信息。

§4. 在線學習能力可抵御有限的云訪問、網絡中斷和電力短缺。

§5. 全面的應用，展示 FAAS 的技術價值，推動采用，并確定未來的研究挑戰。

圖：FAAS 非常復雜。它們在遠程環境中運行，使用新穎的自主策略和機器學習算法，必須承受功率限制并利用創造性的網絡解決方案來實現其目標。

軍用飛機推進系統是噴氣發動機設計中最具挑戰性的領域之一： 在受飛機空氣動力學影響極大的多變環境中工作時，這些發動機應在不影響可靠性和運行成本的前提下，以盡可能小的體積提供大的推力輸出。此外，軍用飛機運行的多學科性質經常會引入相互矛盾的性能目標，很難將其納入發動機設計中。所有這些因素再加上發動機開發成本非常高，因此有必要在設計階段的早期進行適當的選擇，以確保開發過程的成功和新發動機概念的可行性。

盡管該領域的研究數量巨大，但也許是由于所涉及數據的敏感性，迄今為止發表的研究都集中在相當具體的主題上，而沒有涉及完整的多學科飛機推進系統集成問題。為此，需要結合不同研究領域的內容和貢獻，建立新的綜合方法。

本項目研究開發一種新方法，將發動機初步設計與飛機運行要求相互聯系起來。在此范圍內，構建了通用軍用機身的表示方法，并將其與發動機性能模型和仿真工具相結合，以研究推進系統對飛機任務性能和生存能力的影響。更具體地說，該項目在軍用飛機推進系統集成領域的貢獻主要集中在三個方面：

• 新的軍用飛機表示法，模擬飛機與推進系統之間相互作用的關鍵方面： 飛機空氣動力學、機身/推進系統空氣動力學干擾、紅外和噪聲特征。該模型計算要求低，適合用于大規模參數研究和軌跡優化案例。

• 基于模擬的新技術，用于估計爬升性能和評估飛機/發動機配置在現實任務場景中的任務能力。所開發方法的創新點包括爬升軌跡問題的多目標表述、高度-機械跟蹤技術、能量-機動性（E-M）技術的擴展，允許同時優化飛機軌跡和發動機計劃，以及為軍用飛機引入最小噪音和紅外軌跡。

• 考慮到飛機的紅外特征和飛機/導彈的運動性能，量化推進系統對飛機生存能力的影響。這是通過將飛機紅外模型與導彈對飛機和飛機對飛機的運動模擬相結合來實現的，這些模擬用于測量飛機易受攻擊的程度，以及飛機自身攻擊機動目標的能力。

上述方法是利用已公布的數據開發和驗證的，并在一系列測試案例中用于研究飛機的性能趨勢，在這些案例中，不同的推進系統設計在各種模擬任務中的有效性得到了評估。結果成功證明了所開發的方法能夠量化飛機性能與發動機設計之間的關系，為理解采用不同推進系統配置所產生的性能權衡提供了基礎，從而最大限度地提高動力裝置設計過程的效率。

隨著技術的不斷進步和日常對海洋資源的依賴，無人水面航行器（USVs）的作用成倍增加。目前，具有海軍、民用和科學用途的 USV 正在各種復雜的海洋環境中進行廣泛的作業，并對其自主性和適應性提出了更高的要求。USV 自主運行的一個關鍵要求是擁有一個多車輛框架，在此框架下，USV 可以在實際海洋環境中作為一個群體運行，并具有多種優勢，例如可以在更短的時間內勘測更廣闊的區域。從文獻中可以看出，在單體 USV 路徑規劃、制導和控制領域已經開展了大量研究，而在了解多載體方法對 USV 的影響方面卻鮮有研究。本論文整合了高效的最優路徑規劃、穩健的路徑跟蹤制導和合作性集群聚合方法等模塊，旨在開發一種新的混合框架，用于 USV 蟲群的合作導航，以實現海洋環境中的最優自主操作。

首先，設計了一種基于 A* 算法的有效而新穎的最佳路徑規劃方法，其中考慮到了與障礙物的安全距離約束，以避免在移動障礙物和海面洋流的情況下發生碰撞。然后，將這種方法與為 USV 開發的新型虛擬目標路徑跟蹤制導模塊相結合，將路徑規劃器的參考軌跡輸入制導系統。當前工作的新穎之處在于將上述集成路徑跟蹤制導系統與分布式集群聚集行為相結合，通過基于簡單電位的吸引和排斥功能來維持 USV 蟲群的中心點，從而引導 USV 集群進入參考路徑。最后，介紹了一個用于 USV 船隊合作導航和制導的最佳混合框架，該框架可在實際海洋環境中實施，并可在海上有效地實際應用。

全尺寸軍用車輛正在與無人地面車輛（UGV）合作，以提高越野地形上戰術行動的成功率。在執行任務期間，UGV 可在軟土上進行初始機動性測試，以評估全尺寸軍用車輛的性能（如去/不去）。因此，提出了比例模型試驗的概念。

比例模型試驗可分為兩部分，即土壤的可擴展性和輪胎與土壤相互作用的可擴展性。土壤的可擴展性被定義為原位地形（異質）系統和實驗室（均質）土壤系統的機械特性之間的關系，同時考慮到沙子、淤泥和粘土顆粒形狀和大小分布的差異。在實驗室和原位地形條件下，含水量、體積密度、壓實度和顆粒間作用力等物理特性保持不變。采用離散元法和愛丁堡彈塑性粘附接觸模型對 2NS 和細粒砂進行建模。結果發現，可擴展性取決于測試條件和土壤性質。土壤的異質性會影響土壤系統中存在的內聚力和粘著力。發現壓力-沉降和剪應力與剪切位移的關系是可擴展的。錐體指數與深度的關系不可擴展。

此外，使用尺寸分析方法確定了輪胎與土壤相互作用的可擴展性，以建立全尺寸系統和縮放系統的相似性。兩個系統中開發的非尺寸參數保持一致。在本研究中，輕型裝甲運兵車（如 FED Alpha 和 Land Rover）被視為全尺寸系統（上邊界），而 UGV（如 Husky 或 Warthog）則被視為按比例系統（下邊界）。因此，在這種特定的輪胎尺寸和載荷范圍內，輪胎與土壤的相互作用行為是相似的。建模的全尺寸輪胎是 FED Alpha 335/65R22.5 輪胎，按尺寸縮小到 0.7、0.5 和 0.25。對這兩種沙地制作了六個不同的地形模擬模型，錐度指數從 14.79 千帕到 149 千帕不等。結果發現，牽引力和牽引效率與滑移的關系是可擴展的。對于 2NS 和細粒砂，與 NATO 實驗相比，拉桿拉力預測的平均誤差分別為 12% 和 9%。牽引力隨系統規模從平方功率到立方功率變化。總牽引力隨系統規模的平方功率而變化。牽引效率在系統規模不變的情況下保持不變。結論是，0.5 比例系統可以預測全比例系統在沙地上的機動性能。這一重要發現可用于設計和開發具有成本效益的輕型 UGV，為戰場上的全尺寸軍用車輛提供支持。DEM 技術的局限性在于，隨著顆粒數量的增加，其計算成本也隨之增加。

圖 1-2 UGV 為全尺寸軍用車輛進行初始機動性測試，以決定戰場上越野地形（或軟土）的去/不去狀態

在機載預警與控制（AEW&C）系統中，作戰員需要保持警惕，執行多項任務，進行溝通，并在任務期間同時處理不同來源的信息。作戰員的主要目標是接收、解釋和分發 AEW&C 系統提供的信息和數據，以創建識別海空圖像（RASP）。然后利用這些信息來執行戰斗機控制和探測異常情況等任務。指揮與控制（C2）系統能力的增強和環境中新威脅的出現，使作戰員的任務比以往任何時候都更加廣泛、復雜和繁瑣，這有可能損害他們的態勢感知（SA），進而影響他們的決策。這一領域具有高風險，錯誤的決策可能會帶來毀滅性的影響。因此，尋找促進 SA 的新技術的重要性不容忽視。隨著人工智能（AI）應用的快速增長，技術的日益成熟為創建促進 SA 的系統提供了新的可能性。這促使我們開展研究，探索和分析人工智能為 AEW&C 作戰員提供的促進 SA 的機會，特別是戰斗機控制員（FC）和監視作戰員（SO）等關鍵角色。本研究旨在回答何時以及如何實施人工智能以促進 SA 的問題。

在回答這些問題時，采用了通過設計進行研究的方法。在回答 "何時 "的問題時，采用了系統分析、用戶研究、概念開發和評估等方法；在回答 "如何 "的問題時，采用了通過文獻研究和親和圖來制定指導原則，并在概念開發和評估中應用這些指導原則進行測試的方法。該系統分為四個獨立的子系統，分別規定了目標、主體、工具和結果。分別為 FC 和 SO 確定了七類與 SA 相關的挑戰。為每個角色創建了四個旨在改進 SA 的概念，其中談話翻譯工具、隊形識別工具、異常檢測工具和時間軸工具被認為是最有希望進一步開展工作的概念。為人工智能功能開發的三個階段制定了指導方針：規劃、設計和評估。這些指導方針證實了通過研究進行設計的實用性，可用于探索實施人工智能的機會、構思和創建概念，并在 AEW&C 環境中對其進行評估。

圖 5. 與通過研究框架進行設計有關的預研究階段

無人機（UAVs）在軍事和民用領域發揮著至關重要的作用。本論文的研究有助于智能控制系統（ICS）領域，特別是實現旋轉翼無人飛行器（RUAV）可靠、便捷的自主控制。特別是，本論文解決了如何適應未建模動態和干擾（如在空中改變有效載荷）的難題。

無人機可以攜帶額外的重量，如傳感器、貨物，甚至被稱為有效載荷的懸掛物。已經開發了許多策略來穩定不斷變化的有效載荷，但這些策略都假定有效載荷是剛性的，重心（CoG）是靜態和已知的。有效載荷質量及其類型在飛行過程中的變化會極大地影響無人機的動態性能，這就要求控制器進行調整，以保持令人滿意的閉環性能。此外，還沒有探索過在半空中從一架較大的飛機（如氣象氣球）上發射一組具有隨機姿態的送貨無人機的情況。最后，未建模的動力學和陣風等不確定因素給飛行操作帶來了挑戰，因此綜合控制系統對于處理這些不確定因素至關重要，但對非基于模型的綜合控制系統的設計和開發關注不夠。

受這些研究空白的啟發，本論文探討了如何處理有效載荷在空中的 CoG 變化和姿態獨立發射的控制問題。為解決這些問題并實現理想的軌跡跟蹤控制，本文提出了一種新型非基于模型的綜合控制系統，稱為雙向模糊腦情感學習（BFBEL）控制系統。所提出的控制系統融合了模糊推理、神經網絡和基于強化學習的新型雙向腦情感學習（BBEL）算法。所提出的 BFBEL 控制器能夠從零開始快速適應，可用于控制 RUAV 的所有六自由度 (6DOF)。為擴大擬議控制器的適用性，開發了單輸入-單輸出（SISO）和多輸入-多輸出（MIMO）架構。本研究考慮的兩種無人駕駛飛行器模型是四旋翼無人駕駛飛行器（QUAV）和直升機無人駕駛飛行器（HUAV）。SISO 版本的 BFBEL 控制系統被應用于 QUAV，以解決處理 CoG 和重量不同的外部有效載荷的問題。BFBEL 控制系統的 MIMO 版本應用于 HUAV，以解決在空中獨立發射姿勢的問題。對這兩種系統都進行了模擬評估，并通過實驗驗證了如何處理 CoG 不確定的外部有效載荷問題。最后，在相同的控制情況下，將飛行能力和控制性能與傳統的比例積分微分（PID）控制器方案進行了比較。

該項目旨在利用強化學習（RL）開發防御性無人機蜂群戰術。蜂群是一種軍事戰術，許多單獨行動的單元作為一個整體進行機動，以攻擊敵人。防御性蜂群戰術是美國軍方當前感興趣的話題，因為其他國家和非國家行為者正在獲得比美國軍方更多的優勢。蜂群智能體通常簡單、便宜，而且容易實現。目前的工作已經開發了飛行（無人機）、通信和集群的方法。然而，蜂群還不具備協調攻擊敵方蜂群的能力。本文使用預先規劃的戰術模擬了兩個軍用固定翼無人機蜂群之間的戰斗。即使在數量多到100%的情況下，也有有效的戰術可以克服規模上的差異。當用于防御艦艇時，這些規劃的戰術平均允許0到0.5架無人機通過防御并擊中艦艇，這超過了阿利-伯克級驅逐艦目前的防御系統和其他研究的無人機蜂群防御系統。這項研究表明，使用某些機動和戰術有可能獲得對敵人蜂群的戰術優勢。為了開發更有效的戰術，使用RL訓練了一種 "智能體 "戰術。RL是機器學習的一個分支，它允許智能體學習環境，進行訓練，并學習哪些行動會導致成功。"智能體"戰術沒有表現出突發行為，但它確實殺死了一些敵人的無人機，并超過了其他經過研究的RL訓練的無人機蜂群戰術。繼續將RL落實到蜂群和反蜂群戰術的發展中，將有助于美國保持對敵人的軍事優勢，保護美國利益。

關鍵詞 無人機蜂群戰術 強化學習 策略優化 無人機 艦船防御 軍事蜂群

引言

現代計算機科學家試圖解決的問題正變得越來越復雜。對于大規模的問題，人類不可能想到每一種可能的情況，為每一種情況確定所需的行動，然后為這些行動編碼讓計算機執行。如果計算機能夠編寫自己的指令，那么計算機科學的世界可以擴展得更大，以完成更困難的任務。這就是機器學習領域。最近的工作為世界帶來了各種照片分類器、計算機視覺、搜索引擎、推薦系統等等。利用機器學習，計算機甚至能夠學習和掌握蛇、國際象棋和圍棋等游戲。有了這項技術，自動駕駛汽車、智能機器人和自主機械似乎不再是不可能的了。

美國軍方一直在推動技術的發展，使其在戰術上對敵人有優勢。利用機器學習來協助美國作戰，將提高軍事能力。非傳統戰爭的最新發展催生了無人駕駛車輛和無人機等自主智能體戰術蜂群。當務之急是，美國軍方必須建立對敵方類似技術的防御措施，并開發出利用蜂群的有利方法。將機器學習方法應用于多智能體無人機群問題，可以為美國軍隊提供對抗和反擊敵人蜂群的能力。

1.1 動機

美國軍方一直在探索最新的技術進步，以保持對敵人的競爭優勢。蜂群戰術是目前軍事研究的一個主要領域。美國和其他國家正在尋找使用無人機、船只和車輛與現有蜂群技術的新方法。例如，俄羅斯正在開發令人印象深刻的無人機蜂群能力。[Reid 2018] 伊朗已經創造了大規模的船群。[Osburn 2019] 大大小小的國家，甚至非國家行為者都在利用目前的蜂群技術來增加其軍事力量，與美國抗衡。這種對美國安全的可能威脅和獲得對其他大國優勢的機會是本研究項目的動機。如果美國不發展防御和戰術來對付敵人的蜂群，其人民、資產和國家利益就處于危險之中。這個研究項目旨在使用最先進的RL算法來開發無人機群戰術和防御性反擊戰術。研究當前的RL算法，并學習如何將其應用于現實世界的問題，是計算機科學界以及軍事界下一步的重要工作。該項目旨在將現有的RL工具與無人機群結合起來，以便找到能擊敗敵人機群的蜂群戰術和反擊戰術，改進軍事條令，保護美國國家利益。

1.2 本報告組織

本報告首先介紹了促使需要無人機蜂群戰術的當前事件，以及試圖解決的問題的定義。接下來的章節提供了關于無人機、軍事蜂群、強化學習以及本研究項目中使用的策略優化算法背景。還包括以前與RL有關的工作，以及它是如何與當前的無人機和蜂群技術結合使用的。下一節介紹了建立的環境/模擬。之后介紹了目前的成果。建立了兩個不同的場景，并對每個場景進行了類似的測試。第一個是蜂群對戰場景，第二個是船舶攻防場景。這兩個場景描述了實施的程序化戰術，并介紹了這些戰術的比較結果。接下來，描述了RL智能體的設計和RL訓練，并測試其有效性。在介紹完所有的結果后，分析了研究發現，并描述了這個研究項目的倫理和未來方向。

軍事蜂群應用

無人駕駛飛行器被廣泛用于監視和偵查。無人機可以從上面捕捉到戰斗空間的狀況。這些智能體非常小，可以快速地去一些地方而不被發現。無人機有能力收集信息并回傳給蜂群的主機或電子中心。蜂群智能體可以使用信號情報和數據收集戰術從敵人那里收集信息。

美國軍方和世界各地的軍隊正在使用蜂群作為一種進攻性威脅。無人機、船只、甚至車輛都可以在無人駕駛的情況下運作，并作為一個單元進行蜂擁，以攻擊敵人。大量使用小型和廉價的智能體可以使小型軍隊在面對美國軍隊的力量時獲得優勢。例如，小船或無人機可以匯聚到一艘船上，并造成大量的損害，如摧毀船只的雷達。作為一種進攻性技術，蜂群是強大的資產，可以作為一種進攻性戰爭的方案來使用。

作為對進攻性蜂群技術的回應，各國軍隊開始研究并使用蜂群作為防御機制，以對付來襲的蜂群和其他威脅。其他的防御性武器系統并不是為了對抗大量的小型無人機而建造的，因此，發射反蜂群可能是對最新的蜂群戰術的一種可行的防御。蜂群也可用于防御單一實體對來襲的武器系統。研究人員正在創造新的方法來建造、武裝和訓練小型無人駕駛飛行器，以便它們能夠成為美國軍隊的可靠資產。

相關成果

介紹了最近在智能體群體和無人機群的強化學習方面的一些工作。

• 1 用近似策略優化強化學習對四旋翼飛機進行智能控制

Cano Lopez等人使用當前的強化算法來訓練四旋翼無人機飛行、懸停和移動到指定地點[G. Cano Lopes 2018]。該系統使用了馬爾科夫決策過程，并實現了強化學習的演員評論法，在飛行模擬器中訓練智能體。這些強化學習方法與我們希望應用于無人機群戰術問題的方法類似。使用Coppelia機器人公司的虛擬實驗平臺（V-REP）作為模擬，訓練無人機飛行。他們的訓練策略能夠實現快速收斂。在訓練結束時，他們能夠保持飛行并移動到模擬中的不同位置。這項工作表明，強化學習是訓練無人機操作的一種有效方法。我們希望在這個項目中使用的方法可以用目前的技術來實現。我們將擴展本文的實驗，在類似的模擬中把RL算法應用于固定翼無人駕駛飛機。然而，我們不是只讓無人機飛行和移動，而是要訓練它們一起工作，并戰略性地計劃在哪里飛行和如何操作。

• 2 多重空中交戰的協調

斯特里克蘭等人利用模擬來測試各種無人駕駛飛行器的戰術，并測試贏得戰斗的決定性因素可能是什么。他們對一個具有戰術的蜂群進行編程，并讓這個蜂群與敵人的蜂群作戰。智能體試圖使用圖8.1所示方法協調對敵方無人機的攻擊。只有當有兩架無人機對抗一架敵方無人機時，這些戰術比單槍匹馬射擊敵人更有效，而且它們與其他成對的無人機之間有足夠的空間。其次，一些特工會飛離敵人，作為保護自己的手段，從不對敵人使用任何攻擊性戰術。[Strickland 2019]

• 3 多智能體交互中的涌現工具使用

這個項目使用PPO在一個捉迷藏的游戲中使用強化學習來訓練多個智能體。兩個紅色智能體是一個團隊，被指定為尋找者，兩個藍色智能體是一個團隊，被指定為隱藏者。如圖8.2所示，這些智能體在一個有幾面墻和一些積木的開放環境中游戲。智能體可以跑來跑去，對可移動的積木施加壓力。紅隊在看到藍隊時得到獎勵，藍隊在未被隱藏時得到獎勵。兩個智能體都是用自我發揮和策略優化算法進行訓練的。兩隊進行了數百萬次的訓練迭代競爭，并制定了戰術和技術來對付對方的行動。起初，兩個團隊都是漫無目的地跑來跑去，但他們最終發展出一些智能行為來幫助他們獲得獎勵。藍隊學會了如何堵住門，為自己創造庇護所，并從紅隊那里藏起其他物體。紅隊追趕藍隊特工，利用斜坡潛入他們的庇護所，跳到積木上面看墻。這些特工制定的一些戰術甚至比人類程序員指示他們做的更有創意。最重要的是，這些智能體教會了自己如何合作，并為每個智能體分配一個特定的角色，以完成團隊目標。這項研究的結果顯示了強化學習和自我發揮的學習方法的力量。兩個智能體都能發展出智能行為，因為它們之間存在競爭。我們將使用這個項目的框架來解決我們的無人機蜂群戰術問題。將捉迷藏游戲擴展到無人機群戰，將提高強化學習的能力。自我游戲技術在本項目未來工作的RL蜂群對戰部分有特色，該部分詳見第13.3節。[Baker 2018]

• 4 用自主反蜂群應對無人機群的飽和攻擊

在這項研究中，研究人員利用計算機編程和強化學習模擬并測試了無人機群戰術。該小組創建了一個可能的蜂群戰術清單，包括一個簡單的射手，一個將敵人引向隊友的回避者，以及一個將敵人的蜂群分成子蜂群的牧羊人。研究人員隨后創建了一個模擬器來測試這些戰斗戰術。他們收集了關于哪些戰術最有效的數據，甚至在現實生活中的固定翼無人機上測試了這些算法。我們將在研究的第一階段實施其中的一些戰術，并擴大目前可編程蜂群戰術的理論。

這篇研究論文的第二個方面是實施強化學習方法，使智能體能夠制定自己的蜂群戰術。盟軍無人機在殺死敵方無人機時獲得正獎勵，被敵方殺死時獲得負獎勵。敵方蜂群是用研究第一階段的成功單人射手預先編程的。這個項目的目標是讓智能體制定對抗敵方蜂群的戰術。然而，盟軍的無人機學會了應該逃跑，干脆飛離敵人，以避免被殺死的負面獎勵。因為敵人太有效了，盟軍無人機無法獲得足夠的正向獎勵來學習如何攻擊敵人的蜂群。我們將使用強化學習以類似的方式來訓練智能體，然而我們希望獲得更多的結論性結果。為了防止盟軍無人機逃離敵人，我們將對攻擊和殺死敵人的智能體給予比死亡風險更多的獎勵。我們還可以對智能體進行編程，使其保衛像船只或基地這樣的資產。這個研究項目為我們所做的研究提供了一個良好的基礎。[Strickland, Day, et al. 2018]。

美國海軍學院先前的工作

該研究項目是近期強化學習和無人機群工作的延續。計算機科學領域一直在開發最先進的強化學習算法，如PPO和SAC，該項目旨在應用于當前的無人機群戰術的軍事問題。

MIDN 1/C Abramoff（2019級）研究了無人機蜂群戰術，并在Python中模擬了微型蜂群對蜂群戰斗。他創建了一個二維空間，用一個點代表蜂群中的每個特工。每個智能體可以向前射擊（在它移動和面對的方向）。被另一個智能體的 "子彈 "擊中的智能體被假定為死亡，并從模擬中刪除。阿布拉莫夫創建了蜂群，并編寫了一個蜂群算法，以便特工能夠作為一個整體蜂擁飛行，而不會發生碰撞、分離或破壞蜂群。一旦智能體真實地成群，阿布拉莫夫探索了各種無人機群戰術，如選擇-最近和分配-最近，并測試了它們對敵人群的有效性。選擇-最近 "允許每個特工瞄準離自己最近的敵人。當蜂群向對方移動時，智能體將根據每個時間點上哪個敵人的無人機最近而改變其目標。分配最近的任務給每個智能體一個任務，以消除一個不同的敵方無人機。任務是根據哪個敵方無人機離友軍蜂群最近來決定的，并在每一幀重新更新。阿布拉莫夫對兩個蜂群的模擬戰斗進行了實驗，以測試哪種蜂群戰術最有效。他還嘗試使用反蜂群戰術進行戰斗，如在蜂群前面派出一個 "兔子 "特工，并分成子蜂群。總之，阿布拉莫夫發現，在他的實驗中，"最近分配 "是最有效的，一些反蜂群戰術也很成功。這些結果不是結論性的，但顯示了在發展蜂群和反蜂群軍事戰術方面的進展。本研究提案將在MIDN 1/C Abramoff的工作基礎上進行擴展，創建一個3-D環境模擬，并改進智能體能力，以代表一個現實的無人機群戰。這個研究提案的環境將有一個更大的戰斗空間，智能體可以采取更多的行動，包括改變高度、武器瞄準和蜂群間的通信/團隊合作。

MIDN 1/C湯普森（2020級）建立了一個三維環境，他用來模擬更多戰術。這個環境比MIDN 1/C阿布拉莫夫使用的更真實地模擬了現實世界的戰斗空間。蜂群要在三維空間中自由移動，并根據現實世界的物理學原理采取相應的行動，即重力和高度以及飛機上可行的轉彎率。圖8.3顯示了湯普森的Python環境模擬。左上角的無人機群被染成藍色，代表盟軍的無人機群。右下角的無人機群為紅色，代表敵人的無人機群。盡管在二維顯示中，每架無人機周圍的圓圈代表高度。在圖8.3中，更大的圓圈顯示了更高的高度，這意味著敵人的蜂群比盟軍的蜂群要高。MIDN 1/C湯普森固定了環境的三維方面，并將無人機融入該空間。他還研究了每架無人機的轉彎率，以確保模擬符合現實生活中的無人機規格。

蜂群vs蜂群場景

模擬開始時有兩個由任何數量的無人機組成的蜂群。每隊的無人機都被初始化在比賽場地各自一側的隨機位置上。模擬開始時，兩隊都起飛了。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行了多輪比賽，每隊的勝負和平局都會被計算在內。

艦艇攻擊和防御場景

模擬開始時有兩個任意數量的無人機群。防御隊被初始化在放置在比賽場地中心的飛船中心。這艘船是靜止的，不會還擊，但它會計算它所收到的無人機的數量。進攻隊被初始化在比賽場地的一個隨機位置，該位置距離飛船中心至少有200米。模擬開始時，兩隊都要起飛。每隊都執行給定的戰術，可以是預先編程的，也可以是智能體學習的。如果進行多輪比賽，每隊都要計算無人機擊中飛船的總次數和剩余的防御性無人機數量。