遠征軍主要依靠柴油發電機來維持關鍵任務的指揮、控制、通信、計算機、作戰系統情報、監視和偵察（C5ISR）以及中小型戰術電網的生命支持系統。在支持遠程特種作戰部隊（SOF）和海軍陸戰隊在有爭議的環境中的遠征行動時，這種依賴性帶來了重大的后勤和維護挑戰。研究的主要目的是衡量當前或接近市場的儲能和光伏充電解決方案的有效性，以增加或取代柴油發電機，支持遠征軍事行動。次要目標是衡量這些儲能和充電解決方案與柴油發電機同步運行對部隊燃料消耗的影響，特別是對現有燃料補給計劃的影響。這項研究的結論是，現有的和接近市場的可再生能源系統可以有效地與戰術柴油發電機整合，并產生足夠的能量來滿足支持遠征軍在偏遠地區作戰所需的相當一部分能源。

滿足維持復雜的長途通信網絡、戰術無線電、指揮、控制、通信、計算機、作戰系統情報、監視、偵察（C5ISR）和生命支持系統所需的能源要求，在面臨有爭議和灰色地帶環境中的持續戰略競爭時，是一個獨特的挑戰。支持這些系統的柴油動力戰術發電機的運行成本，再加上維護這些系統所需的廣泛的后勤基礎設施，是非常可觀的。自2009年以來，美國（U.S.）國防部（DOD）一直在尋求可再生能源選項，以建立戰場上的能源安全。這一努力主要是由2001年至2021年在伊拉克和阿富汗的燃料行動的財政和人力成本驅動的，其中燃料的完全負擔率為每加侖15-42美元（Solis 2009），傷亡率為每24個燃料車隊發生一次（Wald 2009, 19）。隨著國家安全戰略（NSS）從西南亞洲的反叛亂轉移到南太平洋和東歐的持續戰略競爭，強大的后勤管道可能不容易獲得，部隊的生存能力將基于在有爭議的地區實現后勤可持續性的能力。(海軍陸戰隊司令部2021年）。為了在這些環境中開展行動時實現能源安全，需要利用可再生能源。

這項研究旨在研究在混合配置中部署的光伏（PV）鋰離子能源解決方案是否會大大延長為傳統柴油發電機提供動力的預置燃料供應的運行能力；最終，這種系統是否能夠通過光伏太陽能充電解決方案在偏遠地區獨立維持運行。雖然在戰術班、排和連一級對提高能源效率和采用可再生能源的關注有限，但國防部的大部分節能舉措都影響了大規模的駐軍基礎設施。研究的主要目的是衡量當前或接近市場的COTS/GOTS能源儲存和光伏充電解決方案的有效性，以增加或取代柴油燃料發電機，支持遠征的軍事行動。次要目標是衡量COTS/GOTS儲能和充電解決方案與柴油發電機同時運行對部隊燃料消耗的影響，特別是對現有燃料補給計劃的影響。還討論了前期系統采購成本和生命周期運營成本節約之間的權衡。

為支持本論文，對現有研究和文獻的審查表明，現有的大部分工作都集中在大規模實施可再生能源系統，為偏遠村莊或大型駐軍和遠征軍事設施供電。審查還確定了相關的行動后報告，詳細說明了排到連級單位的設備串、能源需求、發電機功率輸出和燃料消耗率。選擇的其他資源與電力可再生能源混合優化模型（HOMER）程序有關，該程序用于對COTS/GOTS可再生能源解決方案進行建模和模擬，以及已投入使用的、接近市場的和名義的COTS/GOTS能源解決方案的技術文件。

配置A包括傳統的戰術發電機，配置B是地面可再生遠征能源網絡系統（GREENS），該系統目前已作為美國海軍陸戰隊的記錄項目投入使用，配置C是移動電動混合電源（MEHPS），該系統正在采購過程中，配置D是一個由通用光伏收集板和特斯拉電源包組成的COTS系統。部隊的組成是一個SOF團隊大小的元素（部隊1），其能源需求由TOC設備串定義，一個USMC連大小的元素（部隊2），其能源需求基于COC設備串。每個能源生產配置都在HOMER中建模，并根據兩個部隊組成所產生的電力需求進行分析。除了分析基于系統規格的電力需求輸入外，HOMER還根據位置、季節和歷史太陽輻照度數據考慮了環境變量，以預測可再生能源生產。

對評估結果的分析表明，無論是配置B還是配置C都不能產生足夠的能量來有效地滿足部隊1或部隊2的100%的動力需求。然而，這兩個系統在與戰術發電機的混合配置中產生了足夠的能量，大大降低了燃料燃燒率，并延長了后勤補給窗口。配置B產生了部隊1所需能量的30%，并將燃料補給窗口從10天延長到29天，假設預置了200加侖的燃料儲存。雖然配置B只產生部隊2所需能量的9%，但假設有3000加侖的預置燃料儲存，這就轉化為128天的燃料再供應窗口。由于系統目前設計的發電機選項不足，配置C只能與部隊1進行評估。配置C的特點是加強了電池存儲和自動混合管理系統，同時向TOC提供發電機電源，并用多余的發電機容量為耗盡的電池充電。因此，配置C產生了1號部隊所需電力的52.6%，并將燃料補給窗口延長到55天。配置D提供了1號部隊所需的100%的電力，消除了燃料再供應的需要，并需要最小的備用發電機基礎設施和預置的燃料。盡管2號部隊COC設備的電力需求超過了COTS解決方案的能力，但在這種情況下，可再生能源的滲透率相當高，達到56%，將燃料再供應窗口延長到270天。

這項研究的結論是，現有的和即將上市的COTS/GOTS可再生能源系統可以有效地與戰術柴油發電機整合，并產生足夠的能量來滿足支持遠征作戰所需的相當一部分能源。對燃料消耗的影響證明，即使是9%的名義可再生能源滲透率也能將燃料補給窗口延長56%。本論文中評估的每一個可再生能源系統都可以按比例調整，以更好地適應從特種部隊到美國海軍陸戰隊連隊規模的部隊配置的具體要求。建議對電池組研究、光伏材料和能源管理軟件進行額外的投資，以提高旨在支持遠征作戰的可再生能源系統的影響。

基于機器的態勢感知是與我們所處的復雜世界進行有意識的智能互動的關鍵因素，無論是對單個單位、復雜的動態系統，甚至是復雜的系統簇。為了建立這種意識，需要經常收集準確和實時的情報數據，以確保及時、準確和可操作的信息。無人駕駛飛行器（UAV）和其他半自主的網絡物理系統越來越多地成為評估我們周圍世界狀況和通過監視和偵察任務收集情報所采用的機制和系統。目前，人道主義和軍事行動的技術水平仍然依賴于人類控制的飛行/資產操作，但隨著自主系統的增加，有機會將其卸載到設備本身。在本文中，我們提出了一種原則性的、可擴展的方法，用于評估各種情況下自主設備集體的相對性能。所提出的方法以無人機群為例進行說明，預計將發展成為一種通用工具，為此類集體的部署提供信息，提供從問題規格、已知約束和目標函數推斷關鍵參數值的方法。

完全依靠自主系統的技術在推動海底領域的環境研究方面發揮了重要作用。無人潛水器（UUV），如美海軍研究生院的UUV研究平臺，在推進用于研究目的的自主系統的技術水平方面發揮了作用。使用自主系統進行研究正變得越來越流行，因為自主系統可以將人類從重復性的任務中解脫出來，并減少受傷的風險。此外，UUVs可以以相對較低的成本大量制造。此外，由于計算和電池技術的進步，UUVs可以在沒有人類干預的情況下承擔更多的擴展任務。

UUV的重要部分之一是控制系統。UUV控制系統的配置可能會根據車輛的有效載荷或環境因素（如鹽度）而改變。控制系統負責實現和保持在目標路徑上的穩定飛行。PID控制器在UUV上被廣泛實施，盡管其使用伴隨著調整控制器的巨大成本。由于兩個主要問題，陡峭的成本并不能提供穩健或智能解決方案的好處。

第一個問題是，PID控制器依賴于復雜的動態系統模型來控制UUV。動態系統模型有簡化的假設，使控制問題得到有效解決。當假設不成立時，PID控制器可以提供次優的控制，甚至會出現完全失去控制的情況。第二個問題是，PID控制器并不智能，不能自主學習。PID控制器需要多名工程師和其他人員花數天時間收集和分析數據來調整控制器。調整PID控制器是一項手動任務，會帶來人為錯誤的機會。

在使用深度強化學習方法進行自主車輛控制系統方面，有很多正在進行的研究，并且已經顯示出有希望的結果[1,2]。深度強化學習控制器已被證明優于執行路徑跟蹤任務的UUV的PID控制器[3]。此外，與PID控制器相比，基于深度強化學習的控制器已被證明能夠為無人駕駛飛行器（UAVs）提供卓越的姿態控制[4-5]。雖然這個例子不是專門針對UUV的，但這個來自空中領域的概念可以轉化到海底領域。

一些最流行的深度強化學習算法被用于自主車輛控制系統的開發，包括近似策略優化（PPO）[6]和深度確定策略梯度（DDPG）[7]算法。本研究將重點關注DDPG算法。DDPG算法是一種角色批判型的深度強化學習算法。Actor-Critic算法同時學習策略和價值函數。Actor-Critic算法的概念是：策略函數（演員）根據當前狀態決定系統的行動，而價值函數（批評家）則對行動進行批評。在深度強化學習中，政策和價值函數是由DNNs近似的，在本研究中具體是多層感知器（MLPs）。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

在利用降低精度來提高強化學習的計算效率方面，目前的研究很有限。[11]的作者展示了如何使用量化技術來提高深度強化學習的系統性能。文獻[12]的作者展示了一種具有6種方法的策略，以提高軟行為批評者（SAC）算法低精度訓練的數值穩定性。雖然正在進行的研究集中在基準強化學習問題上，但這一概念在科學應用上相對來說還沒有被開發出來，比如使用深度強化學習代理對UUV進行連續控制。

本研究將證明在混合精度和損失比例的情況下，訓練DDPG代理對UUV的連續控制不會影響控制系統的性能，同時在兩個方面使解決方案的計算效率更高。首先，我們將比較用固定和混合數值精度訓練的DDPG代理的性能與1自由度速度控制問題的PID控制器的性能。我們將研究用固定和混合精度訓練DDPG代理的訓練步驟時間。其次，本研究將研究DNN大小和批量大小的閾值，在此閾值下，用混合精度訓練DDPG代理的好處超過了計算成本。

本文的其余部分結構如下。問題表述部分將提供關于DDPG算法、NPSUUV動力學、PID控制和混合數值精度的簡要背景。實驗分析部分將描述本研究中運行的數值實驗的設置和結果。最后，在結論和未來工作部分將描述整體工作和未來計劃的工作。

創新和技術發展在科學的突破中一直發揮著重要作用。在過去的幾十年里，無人水下航行器（UUV）的使用已經徹底改變了水生探索。UUV可以部署在人類無法到達的深度和環境中，并且可以收集到其他方式無法獲得的數據。

近年來，人們對重新開放歐洲各地的廢棄礦區的興趣越來越大，這些礦區可能含有目前急需的原材料，其開發將減少歐洲對外部資源的依賴。最近一項關于歐洲廢棄礦場的調查收集了關于30000個礦場的數據，其中有8000多個礦場被淹沒。本論文為UNEXMIN項目框架內開發的創新解決方案做出了貢獻，該項目旨在探索這些被淹沒的地點，其中設計了一個新型水下平臺系統，名為UX-1。UX1機器人需要在未知礦井隧道的三維網絡中完全自主航行，因為不可能有任何通信，并收集各種地球科學數據。開發這個打算在挑戰性環境中執行的新型平臺，需要對其軟件和硬件模塊采取創新設計方法。

本論文的主要研究目標是設計、實現和驗證UX-1水下機器人的自主引導系統。該機器人新穎的機械設計及其獨特的機載科學儀器代表了該平臺的具體特征。這些儀器與潛水器本身的運動的協調，滿足每一種類型的傳感器的科學樣品捕獲的嚴格位置要求，必須由平臺的引導系統來保證。由于這些原因，UX-1的導向系統的設計和實施構成了一個獨特的研究挑戰。

此外，為了確保長期的自主性，需要有足夠程度的彈性，以便在受到意外事件干擾時保持和恢復系統的運行功能。為此，我們開發了一種先進的基于知識的自我意識技術，名為元控制。元控制器的設計是為了通過提高機器人的容錯能力來增加其自主性。一個自我診斷模塊被用來確定機器人的狀態，一個決策模塊被用來根據之前的診斷結果選擇整個機器人系統的最佳重新配置以實現最佳功能。

所提出的解決方案在復雜的情況下使用模擬、軟件在環（SIL）和硬件在環（HIL）方法進行實驗驗證，旨在以越來越高的保真度重現礦井隧道環境中的導航。代表最高保真度的HIL實驗要求將真實的硬件和軟件模塊，包括我們的制導系統，與部分模擬的環境讀數相結合。實驗是在一個水池中進行的，其中與定位有關的真實讀數被用于導航和控制目的，而測繪傳感器的讀數被繞過，以便復制不同的礦井隧道結構。在這些測試中獲得的結果證明了制導系統的有效性及其與機器人其他系統的適當整合，并驗證了UX-1平臺在淹沒的礦山環境中執行復雜任務的能力。

提綱

本論文分為七章，第一章介紹了論文的動機、問題陳述和目標，以及方法。論文的其余部分組織如下。

第二章介紹了機器人學的背景，機器人的分類，并回顧了水下航行器領域的技術現狀，重點介紹了UUVs。此外，還介紹了自主系統，以及自主水平（LOA）和技術準備水平（TRLs）的定義。

第三章介紹了水下探雷機器人UX-1，它被用作開發我們的引導系統的平臺。解釋了對機器人設計的要求和限制，詳細介紹了機器人的機械設計以及運動系統。此外，還解釋了UX-1的硬件組件和它的傳感器，以及它的軟件結構。

第四章介紹了制導系統。首先，介紹了水下機器人的路徑規劃和任務控制的技術現狀。然后，解釋了制導系統，以及它的子系統，即任務規劃器、行動執行器、軌跡發生器。最后，對幾個路徑規劃器進行了基準測試和討論。

第五章介紹了為實現容錯操作而開發的元控制器。首先，介紹了容錯和自我意識方面的技術現狀。第二，介紹了一般的元控制框架和TOMASys元模型的擴展。第三，解釋了使用TOMASys的UX-1機器人的本體建模。最后，討論了所提解決方案的好處和局限性。

第六章介紹了用于測試和驗證制導系統的實驗裝置。解釋了軟件在環（SIL）和HIL范式，以及使用的虛擬環境。然后，詳細介紹了用于制導系統驗證的實驗。

第七章包括結論和未來工作。

多智能體系統（MAS）已經在不同的環境和框架中得到了利用，因此已經成功地應用于許多應用中，以實現不同的目標。事實證明，與建立一個具有任務可能需要的所有能力的單一智能體相比，多智能體系統更具有成本效益。此外，成本并不是采用MASs的唯一驅動因素，例如，安全是另一個重要方面。在惡劣或極端的環境中部署一組智能體，而不是一個人類團隊，可以減少安全風險。此外，與單一智能體的解決方案相比，MAS提供了更多的靈活性和穩健性。靈活性來自于將資源分成不同的小組，而穩健性則來自于一個智能體的關鍵錯誤不一定會危及任務的成功這一事實。請注意，一個任務可能有許多不同的約束和方面，然而，最微不足道的情況是只有一個智能體和一個任務。

這些類型的任務可以由人類操作員計劃，監督任務，而不需要自動計劃器。另一方面，更復雜的任務，即利用大量的異質智能體和任務，以及約束條件（優先權、同步性等），對人類操作員來說并不是那么簡單的計劃。這些復雜的問題給制定一個可行的計劃帶來了巨大的挑戰，更不用說是最好的計劃了。此外，機器人系統中可用的計算平臺的功率增加，允許利用并行任務執行。更具體地說，它允許在傳感、計算、運動和操縱任務中可能的并行性。這反過來又有一個好處，即允許創建更復雜的機器人任務。然而，它的代價是增加了優化任務分配問題的復雜性。為了規避這些問題，需要一個自動規劃器。這些類型的問題是出了名的難解決，而且可能需要太長時間才能找到一個最佳計劃。因此，優化和產生計劃所需的計算時間之間的平衡變得非常重要。

本論文涉及兩個特殊的多機器人任務分配（MRTA）問題配置的正式定義，用于表示多智能體任務規劃問題。更具體地說，本論文的貢獻可以歸納為三類：

首先，這項工作提出了一個模型，以結構化的方式表示不同的問題配置，也被稱為任務。這個模型被稱為TAMER，它還允許以更系統的方式增加新的維度，與以前提出的MRTA分類法相比，擴大了可以描述的問題的數量。

其次，本論文以混合整數線性問題的形式，定義并提供了兩種不同的問題形式，即擴展的彩色旅行推銷員問題（ECTSP）。這些模型在CPLEX優化工具中對選定的問題實例進行了實施和驗證。此外，還設計了一個解決這些復雜問題的次優方法。提出的解決方案是基于遺傳算法（GA）的方法，并與最先進的（和實踐中的）求解器，即CPLEX獲得的解決方案進行比較。與經典方法相比，使用GA進行規劃的優勢在于它具有更好的可擴展性，使其能夠找到大規模問題的解決方案。盡管這些解決方案在大多數情況下是次優的，但它們比其他精確方法獲得的速度要快得多。另一個優勢體現在 "隨時停止 "選項的形式上。在時間緊迫的操作中，重要的是可以選擇停止規劃過程，并在需要時使用次優的解決方案。

最后，這項工作涉及到MRTA問題的一個維度，這個維度在過去沒有引起很多研究的關注。特別是，包括多任務（MT）機器人在內的問題配置被忽視了。為了克服上述問題，首先，對可能實現任務并行的情況進行了定義。此外，還介紹了物理和虛擬任務之間的區別以及它們在并行任務執行方面的相互關系。我們提出并比較了兩個模型。第一個模型以ILP的形式表達，并在CPLEX優化工具中實現。另一個被定義為限制性規劃（CP）模型并在CP優化工具中實現。兩種求解器都在一系列的問題實例上進行了評估。

在這項研究中，基于強化學習（RL）的集中式路徑規劃被用于在人為的敵對環境中的無人作戰飛行器（UCAV）編隊。所提出的方法提供了一種新的方法，在獎勵函數中使用了閉合速度和近似的時間-去向項，以獲得合作運動，同時確保禁飛區（NFZs）和到達時間限制。近似策略優化（PPO）算法被用于RL智能體的訓練階段。系統性能在兩個不同的情況下進行了評估。在案例1中，戰爭環境只包含目標區域，希望同時到達以獲得飽和的攻擊效果。在情況2中，戰爭環境除了目標區和標準的飽和攻擊和避免碰撞的要求外，還包含NFZ。基于粒子群優化（PSO）的合作路徑規劃算法作為基線方法被實施，并在執行時間和開發的性能指標方面與提出的算法進行了比較。蒙特卡洛模擬研究被用來評估系統性能。根據仿真結果，所提出的系統能夠實時生成可行的飛行路徑，同時考慮到物理和操作限制，如加速限制、NFZ限制、同時到達和防撞要求。在這方面，該方法為解決UCAV機群的大規模合作路徑規劃提供了一種新穎的、計算效率高的方法。

引言

在空中攻擊和防御場景的應用中，無人駕駛戰斗飛行器（UCAVs）被用來執行監視、偵察和消滅放置在人為敵對環境中的敵方資產。在戰爭環境中可以使用不同類型的敵方防御單位，如高射炮（AAA）、地對空導彈（SAM）、探測/跟蹤雷達和通信系統。這些資產的選擇和放置是以被防御單位的戰略重要性和被防御地區的地理規格為依據的。通過使用通信系統和防御單位，可以開發一個無縫防空系統來保護地面資產。圖1給出了一個樣本戰爭環境的總體概況。從攻擊者艦隊的角度來看，它的目標是以艦隊特工的最小殺傷概率摧毀敵人的資產。如果行動中需要隱蔽性，也希望以最小的探測和跟蹤概率完成任務。這可以通過兩種方式獲得。1）如果飛行路線必須通過敵人的雷達區域，則使用隱身飛機；2）通過生成不通過敵人雷達區域的飛行路線。如果任務要求和戰爭環境條件合適，可以考慮采用第二種方案，以達到最低風險。因此，飛行路徑規劃對于生成可行的、安全的飛行路線具有至關重要的意義，它可以提高在戰爭環境中的任務成功率和生存概率。本研究通過開發基于強化學習（RL）的合作集中式路徑規劃應用，重點關注第二種方式，在考慮任務和系統要求的同時，以最小的占用量生成飛行路線。

空中飛行器的合作是空對地攻擊情況下的另一個重要問題。[1]中指出，自主無人機系統的合作意味著資源共享、信息共享、任務分配和沖突解決。它需要先進的傳感器和遠程數據鏈來提高UCAV機群的任務成功率和生存能力。從生存能力的角度來看，合作對于避免UCAVs之間可能發生的碰撞相當重要。因此，在進行飛行路徑規劃時，應考慮智能體與智能體之間的安全距離。定義UCAV飛行器之間距離和角度的相對幾何數據可用于評估這種情況并生成無碰撞的飛行路線。此外，從任務成功的角度來看，合作可用于生成可同時到達目標區域的飛行路線。同時到達是空對地攻擊的一個關鍵作戰概念，以便在戰爭環境中飽和敵人的防空系統。例如，如果機群中的UCAV潛入目標區域并同時向敵方資產發起攻擊，防空系統就會飽和，它就無法對UCAV機群作出有效反應。這增加了任務成功的概率，盡管它可能會降低機群中幾個UCAV智能體的生存能力。

戰爭環境中UCAV機群的合作路徑規劃是一個復雜的問題。正如我們之前提到的，在生成所需路徑時，應考慮許多敵方資產。一個成功的合作是通過結合操作者定義的機群的生存能力和任務成功要求而獲得的。

在文獻中，對UCAV機群的合作路徑規劃進行了許多研究。在[2]中，UCAV機群的路徑規劃是通過使用勢場方法來壓制地表的敵方資產，如雷達、防空導彈和大炮。此外，Voronoi圖也被用于同一問題，并與所提出的算法的性能進行了比較。雖然生成的路徑是連續和平滑的，但它需要很高的計算成本來解決這個問題。在文獻[3]中，通過整合近似的允許攻擊區域模型、約束條件和多準則目標函數，提出了UCAV機隊執行合作空對地攻擊任務的軌跡規劃問題。然后，通過結合微分平坦性理論、高斯偽譜法（GPM）和非線性編程，開發了虛擬運動偽裝（VMC），以解決合作軌跡最優控制問題。所提出的VMC算法的性能與基于GPM的直接拼合方法進行了比較，后者是為生成最優軌跡而開發的。仿真結果表明，盡管在優化性能上有小的損失，導致次優解，但所提方法能夠比GPM算法更快地生成可行的飛行軌跡。

最近航空器的計算和通信能力的進步加速了對合作的研究。將RL應用于自主飛行器的路徑規劃是文獻中的一個新興話題，因為它能夠在適當的情況下解決復雜問題。在文獻[4]中，作者通過使用深度強化學習（DRL）為自主地面車輛開發了一個省時的導航策略。他們引入了具有社會意識的DRL防撞方法，并將其推廣到多Agent場景中。提出的算法在一個行人眾多的環境中進行了測試。在[5]中，開發了一種混合算法，其中包含DRL和基于力的運動規劃方法。它被用來解決動態和密集環境中的分布式運動規劃問題。根據仿真結果，所提出的算法比DRL方法產生的成功場景多50%，比基于力的運動規劃到達目標所需的額外時間少75%。在[6]中，為蜂窩連接的無人機群網絡開發了干擾感知路徑規劃算法。在這一應用中，能源效率與無線延遲和干擾之間存在著權衡。提出了基于回聲狀態網絡的DRL算法來解決路徑規劃問題。仿真結果顯示，與啟發式基線方法相比，每個無人機的無線延時和每個地面用戶的速率都得到了改善。同時，仿真結果指出了無人機的最佳高度、數據速率要求和地面網絡密度之間的關系。在[7]中，DRL被用于使用自主飛機的分布式野火監視。在這個問題上，由于高維狀態空間、隨機的火災傳播、不完善的傳感器信息以及飛機之間需要協調，要最大限度地擴大森林火災的覆蓋范圍是相當復雜的。我們開發了兩種DRL方法。在第一種方法中，飛機是通過使用單個飛機的即時觀測來控制的。在第二種方法中，野火狀態和飛機所到之處的時間歷史被用作控制器的輸入，以提供飛機之間的協作。根據仿真結果，所提出的方法提供了對野火擴張的精確跟蹤，并超過了退避水平線控制器。報告還指出，這些方法對于不同數量的飛機和不同的野火形狀是可擴展的。在[8]中，DRL算法被用來解決無人駕駛地面車輛（USV）車隊的合作路徑規劃問題。采用了領導者-追隨者策略，并制定了一個集中協調方案。為了在車隊中提供合作，使用了與避免碰撞和編隊形狀有關的獎勵函數元素。然而，在路徑規劃問題中沒有考慮同時到達。

多智能體強化學習（MARL）也是一種新興的方法，用于解決包含合作要求的多智能體問題，如同時到達和避免碰撞[9-15]。在[16]中，針對部分可觀察情況和網絡帶寬等有限通信能力下的合作，開發了深度遞歸多智能體行為者批評框架（R-MADDPG）。實驗表明，所提出的R-MADDPG算法能夠處理資源限制的問題，并且它能夠在同時到達的智能體之間進行協調。然而，空中飛行器的運動學沒有被考慮，環境中也沒有包括障礙物。在[17]中，通過結合改進的陶氏重力（I-tau-G）制導策略和多智能體Q-Learning（MAQL）算法，為多個無人駕駛飛行器（UAV）開發了分布式4-D軌跡生成方法。考慮了避免碰撞和同時到達的要求來提供合作。

這項研究是[18]的延續，其中對UCAVs進行了基于RL的集中式路徑規劃。在戰爭環境中集成了一個五種狀態的生存能力模型，包括搜索、探測、跟蹤、交戰和擊中狀態。RL智能體的訓練階段是通過使用近似策略優化（PPO）算法進行的。為了定量評估所提系統的有效性，制定了跟蹤和命中概率的性能指標，并用于蒙特卡洛分析。仿真結果表明，擬議的算法能夠產生可行的飛行路線，同時使UCAV機群的生存概率最大化。然而，將生存能力模型（每個UCAV的五個狀態）納入學習過程增加了觀察向量的大小，使系統的擴展變得復雜。另外，[18]中沒有研究UCAV機群的合作性能，這也是本研究的主要議題。

本文采用RL方法解決了UCAV機群的路徑規劃問題。采用集中式結構，將總的觀測向量輸入單一的RL智能體，并生成總的行動向量，其中包含相關UCAV的單獨控制信號。與[18]不同的是，生存能力模型沒有被整合到觀察向量中以減少向量大小。相反，禁飛區（NFZs）被定義為模擬防空系統，如防空導彈和火炮。除了在[18]中進行的研究外，這里特別關注艦隊的合作，這從兩個方面得到。首先，研究了UCAV機群同時到達目標區域的情況，這是一種廣泛使用的使敵人的防空系統飽和的方法。其次，還研究了避免碰撞的問題，以提供艦隊的安全。考慮到這些要求，我們開發了獎勵函數。RL智能體的訓練階段是通過使用PPO算法進行的。為避免NFZ、避免碰撞和同時到達的要求制定了幾個性能指標，以獲得對所提方法的定量評價。通過使用蒙特卡洛分析，在NFZ位置不確定和外部干擾（即風的影響）存在的情況下，根據船隊的避免碰撞和同時到達能力，對系統的合作性能進行了評估。

這項研究從兩個方面對文獻做出了貢獻。首先，據作者所知，這是第一次為UCAV機隊開發出一種可行的和可操作的基于RL的集中式路徑規劃方法。例如，與典型的基于PSO的方法相比，基于RL的方法提供了艦隊在面對動態和反擊/防御威脅時重新規劃的實時能力。第二，與目前的方法相比，所提出的方法提供了同時考慮關鍵操作限制的能力，如同時到達和避免碰撞的要求，同時考慮NFZ限制和系統限制，如UCAVs的橫向加速指令限制。例如，典型的方法，如基于PSO的方法，只考慮了這些限制的有限子集，因此它們只適用于現實生活場景的某些方面。考慮到這兩個方面的貢獻，所提出的方法不僅為現實生活中適用的合作操作能力提供了手段，如關閉速度和近似的時間信息，而且還為高度非線性和大規模的UCAV艦隊優化問題提供了一個實時的近似。

本文的其余部分組織如下。在第二部分，解釋了路徑規劃問題中使用的數學模型和相對幾何學。在第三部分，給出了RL智能體的一般結構，并描述了訓練算法。第四節，給出了仿真結果，并對1）無NFZ和2）有NFZ約束的情況進行了評估。在第五部分，說明了結論和未來的工作。

圖 3 RL 智能體及其與戰爭環境交互的總體概述。

圖 4 a) 同時到達、b) NFZ 限制和 c) 避免碰撞的定義。

本論文利用軸向動量理論（AMT）的修改版本和計算流體動力學（CFD）來模擬具有類似的簡化流動的多個螺旋槳，以估計小型無人飛行器（UAVs）的空氣動力恒定力。利用AMT的修改版本，對一個現成的商用垂直起降（VTOL）平臺和一個為向前飛行而優化的新設計進行了比較。

目標

本論文利用軸向動量理論（AMT）的修改版本和計算流體動力學（CFD）來模擬具有類似的簡化流動的多個螺旋槳，以估計商業現貨（COTS）垂直起飛和降落（VTOL）平臺上的空氣動力和重力作用。利用AMT的修改版本，對COTS平臺和為前向飛行優化的新設計進行了比較，以研究VTOL飛行器的潛在改進。

能源

美國國防部（DOD）有興趣在軍隊活動的地方開發和部署能源解決方案，而不是遠距離運輸燃料[1]。使用移動手段在當地生產氫氣可以使任務更加安全，并改革能源供應鏈[1]。由于氫氣的高燃燒熱和高比熱，它是傳統飛機燃料的一個有利的替代品[2]。

與傳統的化石燃料相比，"氫氣的體積密度明顯較低，但重量密度是其兩倍以上" [3]。在Sarkar和Banerjee對氫氣儲存方案的分析中，他們得出結論，氫氣 "似乎對長期可行性最有利"，"[壓縮方案]所需的總能量最低" [3]。壓縮氫氣增加了其體積能量密度，使其成為立即用于燃料電池或渦輪機的可行選擇[3]。氫氣有可能以有效和具有成本效益的方式得到適當的利用，通過水解使可再生能源的可能性變得無限大[4]。

一個小規模的、可靠的氫氣站在船上或部署，加上持久的無人指揮、控制、通信、計算機、網絡、情報、監視和偵察（C5ISR）資產，由當地生產的氫氣驅動，可以滿足全世界對自我維持和高度移動資產的需求[5]。由于氫氣可以使用任何可用的電能來源從水中制造出來，它幾乎可以在世界任何地方就地生產[2]。一種清潔、可持續和可移動的氫氣生產方法是電解水[3]。如果利用海水，每艘海軍艦艇都可以生產無人駕駛航空器（UAV）、無人駕駛水面艦艇（USV）或無人駕駛水下艦艇（UUV）所需的壓縮氫氣。這種能源獨立的海軍部隊將改革目前需要的供應線，并增加戰區資產的駐扎時間。

商業平臺

多旋翼飛機，如四旋翼飛機，正在成為軍事應用中更相關的平臺。由于多螺旋槳的設計，用計算便宜的方法對這些平臺進行建模被證明是一個挑戰。所選擇的COTS平臺將基于復合材料的結構與壓縮氫氣儲存和燃料電池技術相結合。像Intelligent Energy和HES Energy Systems這樣的公司已經證明了他們的燃料電池無人機在續航能力上可以超過只有電池的單位[5]。當操作氫燃料電池時，唯一的副產品是電能、熱量和水蒸氣。

海軍研究生院從HES能源系統公司獲得了一個名為 "Hycopter "的COTS平臺[6]。這個氫燃料電池驅動的系統具有以下飛行特性[7]。

• 在12升氫氣罐加壓到34.5兆帕（5000磅/平方英寸）且無有效載荷的情況下，飛行時間為3個多小時

• 宣傳的最大有效載荷為2.5公斤

• 最大起飛重量（MTOW）為16.5公斤

根據宣傳材料，"Hycopter無人機可以覆蓋6倍于當今大多數電池無人機的表面積，使大規模檢查更快、更便宜、更容易完成" [7]。在有人落水或海上搜救的情況下，這種增加的續航能力可以定位目標，彌補部署載人飛機進行救援所需的時間。圖1顯示了COTS平臺與市面上的附件。

"為安靜的長續航時間（LE）多旋翼飛行、可靠性和高性能而設計"，這種飛行器可能的軍事應用包括C5ISR或搜索和救援（SAR）任務，與有人駕駛的飛機行動一起或代替有人駕駛的飛機[7]。所宣傳的2.5公斤的有效載荷能力限制了將該平臺用于戰斗行動或營救受傷或被困人員的可能性[7]。

本研究的COTS平臺是一種VTOL飛行器，可在10分鐘內由一個兩人小組輕松部署，是當前技術的代表[7]。該COTS平臺的設計飛行特性包括最大橫向速度為15.6米/秒，最大輔助速度為3米/秒，最大傾斜角度為32度[7]。Yang為Aqua-Quad提供的稀少數據表明攻角和真實空速之間存在線性關系[8]。圖2顯示了Aqua-Quad的數據。

圖 2. Aqua-Quad 真實空速與平臺俯仰。

推力換算

COTS氫氣平臺與類似尺寸的電池動力飛機相比具有明顯的優勢，但由于該平臺專注于懸停飛行，因此在飛行包絡上受到限制。"為了實現最小重量的目標，VTOL飛機的設計應優化為向前飛行"[9]。"有四種技術可以將系統從垂直推力模式轉換為水平巡航飛行模式：傾斜飛機、傾斜推力、推力矢量和單獨（雙）推力" [10-12]。從概念上講，這些技術可以使飛機在相同的燃料量下，比同等大小的直升機多走一倍的路程，多走一倍的速度[13]。例如，V-22鶚式飛機的飛行包絡線超過了直升機，也超過了渦輪螺旋槳飛機的大部分[13]。

對懸停飛行的關注以類似于直升機和其他VTOL平臺的方式限制了多旋翼飛機。由于多旋翼飛機通常是無人駕駛的，所以沒有像V-22鶚式飛機那樣可以攜帶貨物或人員的駕駛艙的設計要求。設計方案將是一個傾斜的飛機，這大大降低了工藝復雜性，但保持了V-22所看到的類似優勢。與目前的COTS氫氣平臺相比，V-22的一個優勢是V-22有可變距螺旋槳。變距螺旋槳允許在所有的飛行模式下高效飛行。圖3顯示了飛翼方案的起飛配置。

圖 3. Bluff Body Flying Wing建議起飛配置

"飛機的航程取決于諸如空速、燃料容量、載荷、懸停要求和起飛/降落配置等因素" [13]。傳統的飛機在起飛時的推力值是被提升的總重量的百分之三十到四十[11]。對于VTOL飛機，垂直升降模式下的推重比必須超過工作重量一定的幅度[14]。圖4顯示了V-22飛行包絡線與傳統飛機相比的優勢。

圖 4. V-22 與直升機/渦輪螺旋槳飛行包線的對比。

在巡航飛行中，有人駕駛的直升機和旋轉型VTOL飛機的效率比管道風扇或渦輪風扇和渦輪噴氣機要差[12]。傳統飛行的續航能力和航程優勢使得從旋翼飛行過渡到固定翼飛行非常可取。保持旋翼飛機的配置限制了速度，因為在前進的葉片上會產生沖擊波，在后退的葉片上會出現失速情況[15]。這些跨音速問題嚴重限制了載人旋翼平臺的最高速度；然而，旋翼飛機在需要快速橫向運動和快速盤旋上升/下降程序的機動中速度較快[15]。對于較小的無人駕駛平臺來說，這些限制中的一些可能沒有那么重要。圖5顯示了V-22與傳統飛機相比在燃油經濟性方面的優勢。

圖 5. 到真實空速的特定航程（NM/LB 燃料）

論文大綱

第一章討論了燃料選擇的考慮，介紹了目前市售的無人機，并討論了推力轉換技術。

第二章討論了AMT和多項式速度分布的創建。

第三章討論了AMT在自由空間的圓盤上的應用，它在CFD建模中的應用，以及對自由空間的圓盤建模的結果。

第四章討論了COTS平臺的基本空氣動力學特征，用于創建飛行翼方案的設計特征和方法，工藝品的CFD建模，以及CFD建模的結果。

準確和強大的自主水下導航（AUV）需要在各種條件下進行位置估計的基本任務。此外，美國海軍更希望擁有不依賴外部信標系統的系統，如全球定位系統（GPS），因為它們會受到干擾和欺騙，并會降低操作效率。目前的方法，如地形輔助導航（TAN），使用外部感知成像傳感器來建立一個本地參考位置估計，當這些傳感器超出范圍時，就沒有用了。現在需要的是多個導航過濾器，每個過濾器都能根據任務條件發揮更大的作用。本論文研究了如何結合多個導航過濾器來提供一個更穩健的AUV位置估計。提出的解決方案是利用基于信息論框架的交互式多模型（IMM）估計方法，混合兩種不同的過濾方法。第一個過濾器是基于模型的擴展卡爾曼過濾器（EKF），在航位推算（DR）條件下有效。第二個是用于主動地形輔助導航（ATAN）的粒子濾波方法，在傳感器范圍內適用。利用在華盛頓州新月湖收集的數據，我們開發了每個導航過濾器的結果，然后我們演示了如何使用IMM信息理論方法來混合方法，以改善位置和方向的估計。

近年來，美國防部已指示加速采用人工智能（AI），并建立一支技術先進、能夠確保美國安全的部隊。未來自主海上行動的一個重要組成部分是無人自主車輛能夠在不使用全球定位系統（GPS）或其他外部信標系統的情況下運行。

在一個快速發展的技術世界中，在拒絕使用GPS的環境中或不使用聲學轉發器等系統，甚至是深海導航定位系統（POSYDON）系統的情況下進行操作從未如此關鍵。領先的解決方案是地形輔助導航（TAN），它利用機載地圖和傳感器系統的組合，以便在已知的地圖內進行相關的測量。這種方法的最大缺點是需要不同的濾波估計方法，而這些方法在設計上可能無法協同工作。

這項研究將分幾個部分介紹。首先是實施一個新的擴展卡爾曼濾波器（EKF），作為海軍研究生院的遠程環境監測單元100（REMUS）車輛上的航位推算（DR）模型，以改善其在速度估計不準確時的估計。其次，這項研究試圖在信息理論的基礎上建立一個用于主動地形輔助導航（ATAN）的粒子過濾器（PF）。最后，也許是最重要的，本研究試圖在PF和EKF之間實現一個新的信息理論聯合過程，以改善所有狀態的估計。

圖 1.1 定位、導航和授時替代層次結構。

圖1.2 可能需要不同過濾技術的情況。狀況1，AUV在水面附近作業，可以利用GPS數據。由于深度原因，AUV無法利用任何其他傳感器，必須使用DR模型。狀態2，太深了，無法快速獲取GPS數據，而且還沒有深到可以使用面向海底的傳感器。制度3可以利用DVL/ADCP和慣性導航系統（INS），可以提供更準確的運動估計。制度4可以利用成像傳感器來進一步提高導航的準確性。

圖5.1 機載水深和成像傳感器提供的測量值與粒子分布相關。該分布的香農熵顯示了粒子分布中的不確定性，高值表明該分布對位置不確定。由于從AUV經歷地形到計算香農熵有一個時間延遲，標量值不會完全一致。然而，它將很好地表明分布具有低水平的不確定性。

論文組織

本論文的組織結構如下。第2章是文獻回顧，包括設備說明、貝葉斯濾波（BF）和信息論的必要背景，以及現場實驗的概述。第3章將介紹位置估計濾波技術和交互式多模型（IMM）的概述。第4章將討論基于模型的擴展卡爾曼濾波器（EKF）的發展。第5章將討論粒子濾波器（PF）的開發和仿真結果。第6章將討論信息理論互動多模型（IT-IMM）的開發和仿真結果。論文將在第7章中總結和討論未來的工作。

論文貢獻

• 介紹一種新的IT-IMM估算方法，通過綜合使用后驗概率分布中的香農熵和預測PF性能的地形適宜性措施，將基于模型的EKF和PF聯合起來。

• 在沒有ADCP/DVL的情況下，基于模型的EKF用于估計前進和側滑速度。

• 一種PF算法，實現了粒子再分配的信息理論框架。

第1章 簡介

1.1 背景

智能信息通信技術（Smart ICT）在能夠存儲、處理和分析大量和各種數據的現代計算范式的支持下，推動了數字轉型時代的到來，加速了數據驅動的應用增長，為企業、個人和整個社會釋放出無數機會[195]。

今天，備受討論的物聯網（IoT）技術是智能信息和通信技術的主要支柱之一，它催生了新一代的智能移動機器人作為連接設備和平臺。其主要價值在于它們在沒有操作者明確指示的情況下做出明智的決定以決定行動的自主性。

在低能耗傳感器的小型化和最近的5G發展的進一步催化下，自主移動機器人行業將在未來十年內實現一些最高的復合年增長率（CAGR）。對這些智能移動機器人的需求正在大量增加，因為它們具有靈活的操作潛力。自主移動機器人已經揭示了一系列以前被認為不可行的應用，雖然大多數的使用場景是地面應用，但最近幾年已經見證了空中機器人的出現和發展。

無人駕駛飛行器（UAVs），通常被稱為無人機，作為智能移動機器人，已經成為航空航天市場領域的一個有前途的新領域。隨著應用領域迅速擴展到軍事以外的更多商業應用，全球商用無人機市場將從2019年的178億美元達到2025年的464億美元，年復合增長率為20.5%。無人機不僅提供了一種有效收集和傳輸數據的新手段，而且還承諾為物聯網地面基礎設施的限制提供一個務實的解決方案[194]。無人機反過來又鼓勵了大量增值服務的發展，使低空空域成為新的寶貴的共享資源[302]。

1.2 動機

隨著物聯網繼續改變航空航天領域，無人機是一個明顯的例子，最近幾年見證了巨大的演變，因為它們已經從單純的航空器轉向智能移動物聯網連接設備和平臺。

這種技術演變導致了全球商用無人機市場的快速增長，轉化為預期在有限的共享資源--低空空域內運行的無人機數量的快速擴張。據估計，2019年的無人機數量為1220萬架，預計到2025年將超過1800萬架[120]，比目前全球商業飛機機隊的2.6萬架[78]高出許多，可以說是一目了然。

隨著工業界和政府繼續為無人機尋找新的潛在應用，可以設想在不久的將來，低空空域將由無人機主導，執行從常規空中數據收集到按需交付、醫療緊急干預到需要復雜的超視距多無人機群操作的更苛刻的應用。

這反過來又引入了一系列新的阻礙性挑戰，需要加以解決，以實現無人駕駛航空器的全部潛力。

1.2.1 問題陳述和論文目標

為了在不侵犯個人安全、隱私和數據保護權利的前提下，充分挖掘和實現無人機的全部商業潛力，當局和社會尋求解決方案，安全地概述所有交通、運營商和用戶。

應對這些挑戰的一個可行方法是通過一個專門的無人機交通管理（UTM）系統[252]，這是一個通過促進不同利益相關者之間的數據交換來補充傳統空中交通管理（ATM）的基礎設施。然而，目前提出的和正在開發的構造只是一個臨時的解決方案，由于其集中式的與ATM相比較的架構，在處理預期的前所未有的交通需求方面很快就會面臨限制。

鑒于空中機器人的操作性質，無人駕駛飛行器由于其高機動性、能源限制、有效載荷和連接限制，更不用說缺乏國際商定的技術標準和空域結構而帶來一系列新的挑戰。這反過來又強調了開發新的解決方案的必要性，這些解決方案要超越目前提出的模式，以確保安全運行、有效管理無人機交通和利用已經錯綜復雜的共享低空空域。換句話說，應該解決以下差距。

• 低空空域結構或缺乏結構。到目前為止，低空空域仍然沒有得到控制和監管。然而，邁向成功交通系統的強制性第一步是設計和模擬低空空域，因為它的結構將在空中交通管理中發揮重要作用[286] 。

• 可擴展的交通優化解決方案。移動機器人的路徑規劃是一個優化問題，在過去的幾年里，文獻中已經得到了很好的解決。然而，大多數方法主要集中在二維（2D）和2.5維（2.5D）方法上[252]，這些方法適用于地面或水面移動機器人，而對于高度移動的自主機器人，如需要3維（3D）路徑規劃的無人駕駛飛行器，分布式方法仍未得到深入探討。

• 信任和可信度。整個航空作業系統是建立在信任的前提下的。舉個例子，飛行員相信交通管制員會向他們提供準確的信息和警告以避免碰撞，而管制員則希望飛行員能尊重和遵守協議。然而，對于自主無人駕駛航空來說，數字信任和可信度的概念并沒有標準化或規范化的定義，這反過來又給隱私和安全帶來了許多挑戰[256]。

• 標準化。近年來，研究界和標準化界獨立地致力于解決上述一些問題，暴露出其解決方案中的不一致和差距[276]。

為此，這項工作的主要目標是通過提出一個分布式的、因而可擴展的、更有彈性的無人駕駛航空器交通管理系統（dUTM）來解決上述問題，該系統建立在（1）國際技術標準、（2）物聯網概念和（3）依靠本地決策和臨時的U2X通信的基礎上。

1.2.2 研究問題

鑒于具有分布式決策的無人機交通管理系統（UTM）可以實現更好的可擴展性和彈性的假設，本稿件的主要目標是通過以下方式研究該假設的正確性。i）顯示集中式系統因其在有效優化大型無人機交通方面的不足而導致的性能不足，ii）顯示為什么分布式系統因其可擴展性和彈性的特點而有利，iii）提出一個新穎的dUTM框架，包括空域結構模型、信息交換模型和交通優化模型，依靠分布式方法和途徑來智能處理高度動態和挑戰性的交通狀況。

為了確保科學的方法論以及更好的結構，該稿件旨在解決以下問題，借鑒依靠描述性和實驗性研究方法的系統方法來支持。

• 如何在超低空空域對無人機交通進行建模？

• 如何定義優化模型以包含特定問題的約束條件（三維流動性）和目標，如時間和能源消耗？

• 如何設計分布式無人機交通行為以有利于全球交通系統？

• 標準化在dUTM發展中可以發揮什么作用，研究和標準如何配合以解決阻礙性的挑戰？

1.3 貢獻清單

這項工作的主要目的是通過探索開發一種能夠克服現有先進系統和結構局限性的dUTM的可能性來研究上述假設。因此，本小節概述了博士論文的主要貢獻。

• 關于物聯網和無人機研究和技術標準化現狀的全面文獻研究，強調：i) 數字化如何導致無人機轉變為智能連接設備和平臺；ii) 當無人機成為無處不在的連接事物網絡的一部分時，安全、數據保護和隱私方面的固有挑戰。

• 對最先進的UTM系統進行了詳盡的研究，以及對現有構造的架構和功能進行了比較分析。

• 為不受控制的超低空空域設計了一種新的結構，作為節點和航道的多權重多層網絡，作為解決無人機交通管理復雜問題的基礎。

• 一個新的dUTM通用信息交換框架，包括空中通信的新發展，以適應未來的自主飛行計劃。

• 一個新的優化模型，包括特定問題的約束條件（三維移動性）和沖突的多目標，該模型來自擬議的架構和空域結構模型。輔以一套新的優化方法，以智能地處理高度動態和具有挑戰性的交通狀況。

• 將國家、地區和國際物聯網、無人機和航空航天技術標準納入并適應稿件中所有建議的模型和架構，目的是使科學研究和技術標準化保持一致。

1.4 論文結構

本稿件的組織結構如下（參見圖1.1）。

• 第一部分介紹了閱讀論文所需的基本概念。這些概念包括第二章對新興的智能信息通信技術（Smart ICT）的概述，重點是物聯網（IoT），然后是第三章對無人駕駛飛行器（UAVs）及其關鍵技術發展的介紹。手稿的這幾章包括對物聯網和無人機研究和技術標準化現狀的全面文獻研究，強調了無人機數字化轉型的作用和影響，并研究了無人機成為無處不在的物聯網網絡的一部分時在安全、數據保護和隱私方面的固有挑戰。此外，在此背景下，第一部分提出了對數字信任概念的解釋，并推導出新興數字技術中的可信度的定義，作為第一個貢獻。

• 第二部分介紹了對設想的全分布式無人機交通管理系統（dUTM）的主要貢獻。第四章介紹了對最新UTM系統的詳盡研究，以及對現有結構的架構和功能的比較分析。該章強調了UTM的主要概念和功能，并強調了空域結構和信息交換模型在dUTM成功中的作用。第5章接著設計了一個新穎的無管制超低空空域結構，作為節點和航道的多重多層網絡，作為解決無人機交通管理這一復雜問題的基礎。緊接著在第六章中概述了飛行信息系統和新穎的dUTM通用信息交換框架，其中包含了空中通信的新發展。第7章提出了一個新的優化模型，包括特定問題的約束條件，如無人機的流動性，以及從前幾章提出的信息和空域模型中提取的相互沖突的多目標。然后輔以一套新的優化方法，以智能地處理高度動態和具有挑戰性的交通狀況。在第八章中，對所使用的交通優化模型和方法進行了詳盡的描述，并對實驗模擬的結果進行了討論。

• 第三部分在第9章中總結了貢獻以及結論、反對意見和對研究和技術標準化方向的展望，從而結束了這項工作。

圖1.1: 學位論文的結構圖示。

機器學習是一種變革性的計算工具，它正在革新許多技術和科學應用。然而，最近在人工智能和機器學習方面的成功，以及隨之而來的模型的廣泛部署，已經改變了經典的機器學習管道。首先，可用數據的絕對規模——在數量和維度上——已經爆炸。此外，現代機器學習架構具有指數級的設計選擇和超參數，但它們都是使用通用的隨機梯度方法進行優化的。這突出了自適應梯度方法的需要，該方法在沒有事先知道實例的情況下充分執行。接著并期望它們即使在不分布的輸入中也能提供良好的預測——這強調了對可靠模型的需要。最后，隨著我們收集越來越多的用戶數據，我們希望在向公眾發布這些模型時，基于這些數據訓練的模型不會損害訓練集中存在的個人的隱私。在這篇論文中，我們證明了解決這些新出現的問題需要優化方面的基本進步。更具體地說，我們首先提出了理解自適應梯度算法的最優性的新的理論結果，并展示了在基于梯度的采樣器的背景下自適應方法的實際用例。然后，我們提出了可擴展的最小最大優化方法，以有效地解決魯棒目標。最后，我們開發了私有優化方法，在更嚴格的隱私要求下最優地學習，以及自適應方法，在簡單的實例上增加“適當數量的噪聲”并顯著降低隱私的代價。

//searchworks.stanford.edu/view/14053711