基于圖的深度學習已經在各種工業環境和應用中取得了成功。然而，由于來自不同領域的圖可能表現出不同的屬性，并且可能具有顯著的噪聲，深度模型很難實現泛化。這些挑戰限制了圖模型在各個領域的使用。**在本文中，我對圖的可泛化神經網絡提出了各種理論和經驗分析。我考慮了圖神經網絡(GNNs)的兩種類型的泛化能力:(1)數據泛化能力，其中圖模型具有有效處理具有不同屬性的各種圖的表達能力;(2)規模泛化性，圖模型可以從小規模的圖中學習并泛化到更大的圖。**論文的第一部分分別從節點和子圖兩個層面研究了數據的泛化問題。在節點層面，我分析了具有不同屬性的節點(如度、相鄰節點的標簽分布)時GNNs的性能是否會退化，并提出了有效的理論基礎設計，以緩解這種退化。在子圖層面，我考慮了數據有限和有噪聲的情況，并提出使用聚類使GNN克服這些問題并找到有意義的模式。在論文的第二部分中，研究了圖層次上的規模泛化問題。具體來說，我考慮了不同規模的圖，并研究如何將知識從小型圖遷移到大型圖。我首先說明了基于譜特性的GNN可能會受到譜和圖大小的相關性的影響，這限制了它們對大小的泛化能力。提出了一種學會消除與尺寸相關的分量的技術，提高了gnn的尺寸泛化能力。此外，我研究了transformer模型，它與gnn相關，但不依賴于圖譜。在這種情況下，我發現普通的transformer模型無法泛化到更大的序列和圖，因為它的注意力掩碼隨著輸入的增加逐漸失去保真度。基于我的發現，我引入了一個學習的條件掩蔽機制，它能夠在模型的訓練范圍之外實現強泛化。

//ai.engin.umich.edu/event/towards-generalizable-neural-networks-for-graph-applications

近年來，深度學習在各個領域得到了越來越多的關注，例如計算機視覺[52]，自然語言處理[155]和機器人[49]。與傳統方法相比，深度神經網絡模型通過從海量數據中學習獲得了高表達能力。在某些領域，深度模型甚至可以超越人類[137]，這為通用智能帶來了希望[139]。盡管深度學習在各個領域都顯示了其優勢，但它主要在規則結構數據上取得了成功，如序列和圖像。然而，并非所有數據都具有規則結構，圖數據就是一個值得注意的例子。圖被廣泛用于表示實體之間的交互[62,136,175]。例如，在社交網絡(Facebook, LinkedIn)中，用戶是節點，他們的友誼或職業關系是邊[174];在腦科學中，大腦中的感興趣區域(ROI)是節點，它們的活動相關性是邊[175];在程序合成中，寄存器是節點，它們的依賴關系是邊[136]。圖可以在不同的粒度上進行分析:節點或邊緣級別、子圖級別和圖級別。不同層次的分析已被用于幾個高影響的應用中，例如推斷電子郵件網絡中的專業角色63，發現社會網絡中的社區結構107，以及預測生物網絡中的圖屬性168。 受語言和圖像深度學習成功的啟發，研究人員對使神經網絡適應圖數據產生了極大的興趣[73,156,176,186]。在GNN的設計目標中，本文主要關注GNN的泛化能力，并考慮兩種類型的泛化能力:(1)數據泛化能力，圖模型具有有效處理具有不同屬性的各種圖的表達能力;(2)規模泛化性，圖模型可以從小規模的圖中學習并泛化到更大的圖。除了本文涵蓋的這兩種泛化類型外，GNN還存在其他類型的泛化。例如，在遷移學習中，泛化能力表征了GNN將知識從一個領域遷移到另一個領域的能力(例如，通過微調一些層[54,85]);在多任務學習中，泛化能力表示GNN利用其他任務中編碼的信息的程度。在表1 - 1中，我簡要概述了GNN的不同泛化類型。盡管所有這些都對構建通用GNN很重要，但數據的泛化能力和大小的泛化能力相對被忽視和探索不足。數據的泛化能力決定了一個模型是否可以有效地應用于各種應用。圖在不同的域中可能不同。例如，在大多數社交網絡中，度分布遵循冪律[87]，而在分子圖中，度并不存在偏斜。在引文網絡中，具有相似屬性的節點傾向于相互連接，而在在線交易網絡中，具有不同屬性的節點(欺詐者和共犯)傾向于形成鏈接[114]。在蛋白質網絡中，可以清楚地觀察到圖形，而在大腦網絡中，感興趣區域(ROIs)之間的連接是推斷的和嘈雜的[175]。盡管圖數據具有多變性，但大多數GNN[42, 51, 73, 156, 169]沒有考慮不同的圖屬性。他們持有圖數據的“同質性假設”，即有鏈接的節點通常屬于同一類或具有相似的特征(“物以類聚”)[99]，而忽略了違反該假設的圖的存在;他們忽略了圖具有不同的度分布，GNN對不同度的節點的反應不同的事實[177];它們沒有考慮圖結構和特征中的噪聲。為了設計更通用的GNN模型，需要考慮各種圖屬性。因此，本文的第一個問題是: **如何通過考慮不同的圖屬性來增強GNN的數據泛化能力?除了數據的泛化性，我研究的另一個關鍵屬性是大小的泛化性。與常規結構化數據不同，很難獲得相同大小的圖。例如，在生物學中，分子圖的大小從幾個節點到數百個節點[167];在算法推理中，圖可以小到幾個節點，也可以大到數千個節點[136,176]。隨著我們從各種來源收集越來越多的數據，訓練圖和測試圖的大小不可避免地不同[167]。此外，大多數gnn是不可擴展的，更大的圖通常需要更多的訓練時間和計算資源[40]。這些原因促使一系列研究尋求將知識從較小的圖轉換為較大的圖的方法[159,176,181]。GNN的大小泛化能力仍然有待探索。一方面，一些經驗工作報告了GNN在特定應用中的良好規模泛化性能[91,97,127]。另一方面，一些實證工作認為GNN在大小泛化方面有困難[66,71,159]。大多數現有工作專注于架構設計，沒有提供對GNN大小通用性的基本理解。因此，我在本文中要回答的第二個問題是: 是什么限制了GNN的大小泛化能力，以及有什么有效的設計可以提高它們泛化到更大圖的能力?**為了回答上述兩個問題，在本文中，我通過研究不同粒度的圖來研究數據的泛化性和大小泛化性(圖I.1)。論文的第一部分分別從節點和子圖兩個層面研究了數據的泛化問題。在節點層面，我分析了具有不同屬性的節點(如度、相鄰節點的標簽分布)時GNNs的性能是否會退化，并提出了有效的理論基礎設計，以緩解這種退化。在子圖層面，我考慮了數據有限和有噪聲的情況，并提出使用聚類使GNN克服這些問題，并找到有意義的模式。在論文的第二部分中，研究了圖層次上的規模泛化問題。具體來說，我考慮了不同規模的圖，并研究如何將知識從小型圖遷移到大型圖。我首先表明，基于譜特性的GNN模型可能會受到譜和圖大小的相關性的影響，這限制了它們對過大尺寸的泛化能力。提出了一種學會消除與尺寸相關的分量的技術，提高了GNN的尺寸泛化能力。此外，我研究了transformer模型，它與GNN相關，但不依賴于圖譜。在這種情況下，我發現普通的transformer模型無法泛化到更大的序列和圖，因為它的注意力掩碼隨著輸入的增加逐漸失去保真度。基于我的發現，我引入了一種習得的條件掩碼機制，它能在遠遠超出模型訓練范圍的地方實現強大的泛化。

最近，深度強化學習（RL）方法已被成功應用于多智能體場景。通常情況下，分布式決策的觀測向量是由一個智能體收集的關于其他智能體（局部）信息的串聯來表示。然而，串聯法在具有大量同質智能體的集群系統中的擴展性很差，因為它沒有利用這些系統固有的基本特性：（i）集群中的智能體是可以互換的；（ii）集群中智能體的確切數量是不相關的。因此，我們提出了一種新的基于分布式均值嵌入的深度多智能體RL狀態表示，我們將智能體視為樣本，并使用經驗的均值嵌入作為分布式策略的輸入。我們使用直方圖、徑向基函數和端到端訓練的神經網絡來定義均值嵌入的不同特征空間。我們對集群文獻中的兩個著名問題--交會和追趕逃避--在全局和局部可觀察的設置中評估了該表示。對于本地設置，我們進一步引入了簡單的通信協議。在所有的方法中，使用神經網絡特征的平均嵌入表示能夠在相鄰的智能體之間進行最豐富的信息交流，促進復雜的集體策略的開發。

低可觀察性機載通信有助于確保作戰飛機能夠安全地執行任務，同時最大限度地減少其通過無線電發射被發現和定位的機會。

基本角色

沒有人會懷疑無線電對空中力量是多么重要。它是兩架或更多的飛機能夠相互溝通的唯一途徑。它是飛行員與地面人員溝通的唯一方式，反之亦然。無線電不僅可以傳輸語音信息，還可以傳輸數據。這些數據包括從地面或空中的目標坐標到天氣信息甚至雷達圖片等一切。

然而，無線電有一個明顯的缺點。從理論上講，無線電發射信號的那一刻可以被探測到，就像一個人說話不可能不產生聲音一樣，無論他多么安靜地竊竊私語。無線電通信在第二次世界大戰期間首次被空中力量大規模使用。從那時起，就一直在努力減少機載無線電信號被發現的機會。必須盡量減少被探測的原因很簡單：一旦探測到一個傳輸，就可以確定和識別無線電的位置。如果你找到了一架敵機的無線電傳輸源，你就找到了這架飛機。防空的很大一部分重點是首先找到那架敵機。

毫米波通信

減少通過無線電信號被發現的機會的方法之一是使用毫米波（MMW）無線電通信。這是洛克希德F-22A RAPTOR和F-35A/B/C LIGHTNING-II等戰機用來保持彼此聯系的核心技術。由于它們要在高度競爭的空域中飛行，因此必須避免通過無線電信號找到這些飛機。

所有的飛機都會產生大量的無線電信號。這些信號是由雷達和飛機上的無線電產生的。無線電信號被飛機的衛星通信（SATCOM）用來發送和接收超出視線范圍的語音和數據通信。高頻（3至30兆赫/MHz）無線電用于類似的目的。飛機攜帶轉發器，與空中交通管制（ATC）分享信息。這些轉發器在1.090千兆赫/兆赫的頻率上發送飛機的身份、高度和速度的詳細信息。軍用飛機使用識別敵友（IFF）轉發器發送類似信息。北約的飛機頻率為1.030GHz和1.090GHz，用于攜帶IFF數據。水面上的電子支援措施（ESM）或另一架飛機（如空中預警平臺）可以探測到這些信號。一旦ESM檢測到這些傳輸信號，就有可能確定飛機的位置。 MMW通信旨在減少飛機通過其無線電信號被定位的可能性。上面提到的所有無線電信號都存在于大約3兆赫到36GHz的波段內。MMW信號處于這個范圍的高端。通常，它們存在于30GHz及以上的頻率中。

關鍵優勢

毫米波信號有幾個特性，使其成為需要屏蔽ESM探測的作戰飛機的理想選擇。首先，毫米波無線電信號很難被探測到，因為它們使用非常窄的波束。這使得它們非常尖銳和精確。一個ESM的接收器不太可能探測到這些波束，除非它的天線直接“看著”它們，或者波束直接指向天線。與無線電頻譜中較低的其他頻率相比，MMW信號的范圍相對要短得多。對于相對靠近的F-35或F-22A編隊來說，這不是一個問題。他們的收音機將有足夠的功率來確保通信到達附近的隊友。然而，除非離這些飛機非常近，否則不太可能使用ESM探測到它們的MMW無線電信號。

其次，戰斗機使用的高指向性無線電天線能精確地將MMW信號引向其目標接收者。這種精確程度使得敵對的ESM不太可能有能力探測到信號，除非它與接收者的飛機在同一地點。諾斯羅普-格魯曼公司的一份書面聲明說：定向數據鏈有一個明顯的優勢，即向對手的方向輻射最小的能量，導致低概率的攔截/低概率的檢測。該公司參與了F-22A的飛行內數據鏈（IFDL）和F-35A的多功能先進數據鏈（MADL）。

有源電子掃描陣列（AESAs）的出現，對MMW無線電的出現有著不可估量的幫助。最初，這項技術從20世紀90年代開始被用于軍用雷達。AESA以電子方式將其信號引導到某個方向。這與天線需要實際移動以指向其目標形成對比。對于MMW通信來說，這一點特別重要，因為它提供了所需的高精度，以確保信號的細小光束到達其預期的接收者。此外，AESA可以在幾個方向上獨立移動幾個波束。這使得配備了MMW的單個飛機可以同時與范圍內的其他幾架飛機進行通信。

AESA的重要性

AESA還有一個優勢。由于它們可以使用類似于太陽能電池板的扁平結構，它們相對容易安裝在飛機的皮膚上。F-22A和F-35都采用了這種方法，將平板天線安裝在飛機的表面，用于MMW通信。這意味著可以使用幾根天線來消除通信盲點。這些盲點可能是在飛機進行機動時造成的，這可能會導致它阻礙兩個無線電臺之間的視線聯系。它還允許飛機表面保持無突起物，這些突起物有可能影響噴氣機的低雷達截面。

有用的是，MMW通信提供高帶寬。數據率可以達到每秒幾千兆比特的量級。這使得飛機可以相對容易地共享數據量大的流量，如實時視頻圖像。不僅可以共享流量，而且鏈接提供 "同步語音和數據"。這允許信息的傳遞 "使用安全、開放的系統進行戰術邊緣處理，以便在任務速度上獲得決策主導權"。

像IFDL和MADL這樣的數據鏈路的存在不僅是為了確保類似的飛機能夠保持聯系。它們在豐富一組飛機的態勢感知方面發揮了作用。空中力量的最大優勢之一是可以在最佳時刻集中力量對付敵對目標的質量。通過使用這些鏈接，F-22A或F-35飛機明顯地變得比其各部分的總和更強大。諾斯羅普-格魯曼公司的聲明說："這些數據鏈允許真正的機器對機器的數據交換，使機載計算機能夠創建一個融合的畫面"。這是 "諸如Link-16等傳統鏈路無法超越的能力"。事實上，MMW數據通信速率與北約（NATO）Link-16戰術數據鏈路（TDL）理論上達到的每秒115.2千比特相差甚遠。專家告訴作者，Link-16通常只能處理明顯較低水平的流量。

雖然MMW通信在處理通信量方面有優勢，而且其屬性相對隱蔽，但它們確實有缺點。也許最嚴重的是大氣衰減。這是指當無線電波通過大氣層時，大氣中的水分會吸收某些頻率的無線電波。由于MMW頻率使用10毫米或更短的波長，信號可能被雨滴和雪花所阻礙。這些遮蔽物不一定會阻止信號到達接收者，但它們會降低其效果。

戰術

乍一看，似乎像F-22A或F-35這樣的飛機所使用的MMW傳輸的相對短距離和高精度使它們無法與它們所在地區以外的其他飛機進行通信。在某種程度上，情況確實如此。然而，可以使用戰術來確保飛機可以與其他飛機發送和接收信息。通常情況下，這些飛機將在較大的編隊中成對工作。也許三或四架噴氣機將進入有爭議的空域。這些飛機將使用MMW無線電在它們之間進行通信。

另一架F-22A或F-35可能會從編隊中稍稍后退，也許留在友好或相對安全的空域中。它將接收來自敵對空域的飛機為編隊外的接收者提供的任何信息。該飛機的無線電臺將把來自編隊的通信轉換成另一種協議，如Link-16。然后，這將被傳送到Link-16網絡上的目標接收者。這個過程可以反過來處理來自外部為編隊準備的通信。一方面，編隊保持其隱蔽性，而另一方面，它與參與行動的其他資產保持著聯系。

發展情況

今天在服役的兩個顯著的、低可觀察的通信系統是IFDL和MADL。人們認為，MADL基本上是早期IFDL架構的進一步發展。俄羅斯空軍的蘇-57（北約報告名稱為Felon）使用的通信細節更難找到。來自俄羅斯塔斯社的報告稱，蘇-57使用的是一種被稱為S-111的通信系統。確切地說，這包括什么仍然是未知的。

塔斯社在2019年7月披露該系統的報告說，S-111 "提供無線電......通信，并與其他飛機（以及與）地面、空中和海軍的指揮和控制站交換飛機的數據"，"該設備采用了最先進的技術（用于）高速數據傳輸，并具有先進的網絡解決方案。" 似乎俄羅斯無線電工程師正在研究用于作戰飛機的MMW通信。這種技術可能確實已經以S-111的名義在蘇-57上服役。同樣，中國殲-20A第五代戰斗機也可能使用MMW通信。

MMW技術不僅依靠難以探測來保持其低可觀察性的特點。雖然高度機密，但人們可以假設使用了其他技術，如加密和跳頻。這將有助于使MMW流量難以探測和攔截。西方空中力量現在正在超越IFDL和MADL中規定的第一代機載戰術MMW架構。歐洲正在推進兩款第六代作戰飛機，即多國的 "暴風雪 "和未來作戰航空系統。美國空軍正在開發其下一代空中優勢（NGAD）平臺。同時，美國海軍正在進行F/A-XX計劃。所有這些飛機都將在2030年代服役，并且都將包括下一代低可觀察性通信。

真實應用

這些架構在實踐中會是什么樣子？在這一點上，我們很難說。由于可以理解的原因，這些飛機的能力的許多方面仍然是保密的。可以肯定的是，由于上述原因，毫米波通信將繼續受到青睞。信號是否在40GHz以上的無線電頻譜上進一步發展，還有待觀察。更高的頻率將帶來更精確的波束和更寬的帶寬，但它們將以犧牲范圍和功率為代價。使用更高頻率的MMW通信可能是不切實際的。隨著頻率的增加，需要更多的功率來發送等距離的傳輸。一架飛機的發動機所能產生的電力是有限的，而且這種電力必須與其他飛機系統共享。在所需的MMW頻率和對飛機實用的頻率之間必須達成一個妥協。

相反，進一步的創新可以通過其他方式滾入MMW架構。傳輸和通信安全協議可以通過更強大的加密技術來改進。同樣地，認知技術可能被嵌入到MMW流程中。認知性無線電是一項新興技術。它使無線電能夠持續地感知電磁環境，在沒有人類干預的情況下修改其行為。這是通過使用人工智能和機器學習實現的。

無線電能夠不斷地從其經驗中 "學習"，并改變其行為，以確保其保持高效。例如，無線電可能已經了解到，在天氣好的日子里，它需要使用較少的功率來傳輸流量。相應地，當天氣數據告訴無線電是一個好日子時，無線電會自動調節其傳輸功率。另外，無線電可能了解到在以前的任務中，當遇到嚴重的電子干擾時，它的哪些傳輸成功地到達了接收者。同樣，當未來遇到類似的干擾時，無線電會自動相應地調整其行為。

低可觀察性機載無線電技術仍然是一門相對年輕的科學。IFDL和MADL可以追溯到20世紀80年代，當時美國空軍界開始考慮F-22A和F-35的問題。MMW通信有助于保持隱身，同時實現安全、高帶寬的通信。這項技術的下一個迭代將用于即將到來的第六代戰斗機，將使事情更進一步。

本文介紹了動態目標跟蹤應用中的數據融合網絡的軟件框架。該框架背后的想法是促進完整的分布式融合網絡或特定部分的實施和評估，例如，通信和數據壓縮的策略。該框架由抽象出分布式數據融合網絡所需基本構件的類組成。該框架提供了一個快速原型設計的工具，并促進了對目標跟蹤應用中分布式融合網絡的評估。對多靜態和移動傳感器、通信和融合網絡的研究興趣表明了這種工具的重要性。具體來說，就是為評估不同的融合結構、算法和傳感器類型的預期性能提供數據。

引言

由多個異質傳感器組成的網絡中的數據融合是一個重要的研究領域，特別是用于態勢感知的目標跟蹤。越來越多的傳感器和移動傳感器的能力引起了哪些數據需要通信以及如何通信的問題。在一個最佳設置中，所有的傳感器都能與中央融合中心進行通信。由于通信帶寬有限，這種情況并不總是存在，而且對于大型的傳感器網絡來說，這可能不是最好的解決方案。分布式融合架構提供了一種更加靈活和穩健的數據融合方式，因為某種程度的融合可以由傳感器本身作為本地融合節點來執行。本地融合的數據是傳感器數據的一個更緊湊、更精細的表示，可以與網絡中的其他節點進行交流。此外，這使得只暴露出融合數據而不是原始數據的傳感器得以整合。

在目標跟蹤中，融合數據對應于檢測到的目標的估計運動軌跡。在一個分布式的目標跟蹤網絡中，估計的軌跡被交流和融合，而不是來自例如雷達或相機傳感器的原始探測。為了融合軌跡，采用了軌跡對軌跡的融合（T2TF）方法。存在精確的T2TF方法[1]。精確方法的缺點是需要對估計值之間的相關性有充分的了解，這反過來又要求有更多的信息被傳遞，而這些信息可能是不可用的。

為了彌補這一點，人們可以應用處理未知相關性的融合算法，如反協方差交集（ICI，[2]）。ICI算法與眾所周知的協方差交叉（CI，[3]）算法的方法相同。該算法處理待融合的估計值之間存在的未知協方差，這是分布式融合網絡的核心。與CI相比，ICI算法是一個不太保守的選擇，但在許多情況下仍然是一致的。該算法是為估計值之間存在共同信息的情況而定制的。這通常是分布式目標跟蹤網絡中的情況，其中一個共同的目標模型被用來跟蹤檢測到的目標。以前的工作在[4]和[5]中提出，真實數據被用來評估監控應用中的這種融合算法。

在信息領域，諸如信道緩存（CC，[6]）這樣的融合基礎設施可以用來處理信息不被重復使用，也就是重復計算。信道緩存是基于一個由信道濾波器[7]啟發的單一連接的樹形拓撲網絡。與信道濾波器相比，信道緩存在傳輸時不跟蹤節點之間的共同信息。這意味著一種更容易的通信方式，因為一個節點只是傳輸它的本地獨立信息。收到的信息被存儲在本地信道緩存中，該緩存保持了每個軌道和節點的貢獻信息的歷史。由于信息是加法的，延遲的信息可以很容易地被添加到緩存中，例如，在臨時的通信損失中。從整合的角度來看，它使傳感器的臨時連接成為可能，如一個被激活的無人機，以更新一個特定目標。在一個節點上，只需將所有本地和緩存中收到的來自特定目標的信息相加，就可以建立一個全局軌道。

為了在網絡中實現一個共同的態勢圖，需要有效的通信。特別是當鏈路的帶寬有限和通信條件不同的時候。在有限的通信鏈路上發送數據需要制定發送什么和何時發送的策略。處理動態通信條件需要網絡拓撲結構對單個節點的零星損失具有魯棒性。

這些方面促使我們建立一個框架來促進分布式的融合網絡的實施和模擬。在這里，我們重點關注分布式的目標跟蹤應用，以及不同的融合方法選擇、數據關聯和通信策略如何影響跟蹤性能。我們提出了一個用MATLAB?編寫的基于抽象類結構的軟件框架，以及用于仿真和評估的工具（2.0節）。最后，該框架被用于一個案例研究，以介紹如何在一個特定的區域監控場景中使用該框架來評估通信策略和融合基礎設施的不同選擇（第3.0節）。

仿真框架

該框架分為兩部分：結構和模擬。第一部分由實施和設計的構件組成，抽象出分布式融合網絡的核心功能。第二部分處理仿真，以支持在確定的場景中對已實施的網絡進行評估。

2.1 架構

架構中最基本的構件是節點和鏈接。節點是一個對象的抽象，它可以與其他節點連接以創建一個網絡。鏈接是對兩個節點之間的通信通道和數據運輸的抽象化。一個融合數據的節點被稱為融合節點。融合節點繼承了節點類的額外屬性和功能。它仍然是抽象的，必須由用戶來實現。所需的功能由具有共同接口的對象表示，以方便實現。這些對象抽象了本地融合、軌道融合、數據關聯和通信管理。節點、鏈接和融合節點對象被歸入網絡和融合對象中。為了將這些對象與物理對象連接起來，我們有這樣的對象：平臺和傳感器。一個平臺對象抽象了一個具有位置和速度等屬性的物理對象。傳感器對象抽象出一個物理傳感器，它可以觀察物理世界，并根據測量模型產生觀察結果。以上描述的對象，如圖1所示，是構成該框架實施部分的基礎的核心對象。

為了更詳細地描述融合節點，圖2展示了它的屬性、功能和數據流。箭頭顯示了內部對象和外部對象之間的數據流。抽象的功能對象用粗邊框表示。使用來自安裝的傳感器的測量值，軌道由本地融合器對象（如目標跟蹤器）估計，并作為本地軌道存儲。通信管理器封裝了處理數據傳輸和接收邏輯的所有功能。例如，可以在通信管理器中實現一個智能邏輯，比較本地和接收的數據，并只傳輸信息量最大的數據。收到的軌跡數據被存儲為遠程軌跡。全局軌道的生成由軌道融合器處理，使用關聯器對象計算的關聯。在這里，關聯代表了一個假設，即一個本地或遠程軌道與一個全局軌道來自同一個目標。使用這種架構可以實現和設計不同類型的融合基礎設施，并結合不同的融合算法和關聯邏輯。

圖 1：框代表不同對象的框架架構。基礎對象是鏈路、節點、平臺和傳感器。融合節點繼承了具有附加屬性和功能的節點對象。虛線將網絡和融合對象與物理對象分開。

2.2 仿真

網絡和融合對象通過應用離散時間步進方案支持仿真。仿真在一個時間循環中運行，對象在時間上以特定的順序向前邁進。物理對象通過通用接口集成到仿真中，支持隨機生成數據或讀取預定義的數據，如軌跡和探測。當模擬循環開始時，物理對象的數據被生成或讀取。在模擬過程中，每個時間步驟都重復三個步驟：推進物理對象，處理所有節點中的可用新數據，推進鏈接。仿真循環可以擴展到處理多次仿真，即蒙特卡洛。

圖 2：更詳細的融合節點對象。虛線表示融合節點的邊界。粗線框是要由用戶實現的抽象對象。本地測量由本地融合器處理。通信管理器處理如何發送和接收數據。全局軌道由軌道融合器使用關聯器計算的關聯生成。

本報告介紹了在三個主要議題方面取得的成果：

• 對小型無人機系統（SUAS）的分布式團隊進行實驗驗證，以協調執行復雜的行為。

• 開發了一個現實的多架無人機模擬器，以應用強化學習技術來協調一組小型無人機系統以達到特定目的。

• 設計并驗證了安裝在無人機上的帶有主動多輸入多輸出（MIMO）毫米波雷達傳感器的融合光學相機。

與驗證SUAS團隊有關的工作提出并實驗測試了我們的態勢感知、分布式SUAS團隊所使用的框架，該團隊能夠以自主方式實時運行，并在受限的通信條件下運行。我們的框架依賴于三層方法：（1）操作層，在這里做出快速的時間和狹窄的空間決定；（2）戰術層，在這里為智能體團隊做出時間和空間決定；以及（3）戰略層，在這里為智能體團隊做出緩慢的時間和廣泛的空間決定。這三層由一個臨時的、軟件定義的通信網絡協調，即使在通信受限的情況下，也能確保各層的智能體小組和團隊之間的信息傳遞稀少而及時。實驗結果顯示，一個由10個小型無人機系統組成的團隊負責在一個開放區域搜索和監測一個人。在操作層，我們的用例介紹了一個智能體自主地進行搜索、探測、定位、分類、識別、跟蹤和跟蹤該人，同時避免惡意碰撞。在戰術層，我們的實驗用例介紹了一組多個智能體的合作互動，使其能夠在更廣泛的空間和時間區域內監測目標人物。在戰略層，我們的用例涉及復雜行為的檢測--即被跟蹤的人進入汽車并逃跑，或者被跟蹤的人離開汽車并逃跑--這需要戰略反應以成功完成任務。

目標搜索和檢測包括各種決策問題，如覆蓋、監視、搜索、觀察和追逐-逃避以及其他問題。我們開發了一種多智能體深度強化學習（MADRL）方法來協調一組飛行器（無人機），以定位未知區域內的一組靜態目標。為此，我們設計了一個現實的無人機模擬器，它復制了真實實驗的動態和擾動，包括從實驗數據中提取的統計推斷，用于其建模。我們的強化學習方法，利用這個模擬器進行訓練，能夠為無人機找到接近最優的政策。與其他最先進的MADRL方法相比，我們的方法在學習和執行過程中都是完全分布式的，可以處理高維和連續的觀察空間，并且不需要調整額外的超參數。

為了給在受限通信條件下運行的SUAS開發一個分布式的分類和協調框架，我們的第一個目標是在無人駕駛飛行器（UAV）上建立一個多傳感器系統，以獲得高探測性能。眾所周知，安裝在無人機上的光學和熱傳感器已被成功用于對難以進入的區域進行成像。然而，這些傳感器都不提供關于場景的范圍信息；因此，它們與高分辨率毫米波雷達的融合有可能改善成像系統的性能。我們提出了一個配備了無源光學攝像機和有源多輸入多輸出（MIMO）毫米波雷達傳感器的下視無人機系統的初步實驗結果。毫米波雷達的三維成像是通過收集通過運動線的數據來實現的，從而產生一個合成孔徑，并使用垂直于運動軌跡的結線MIMO陣列。我們的初步結果顯示，融合的光學和毫米波圖像提供了形狀和范圍信息，最終導致無人機系統的成像能力增強。

由于深度神經網絡在計算機視覺、自然語言處理和游戲(最顯著的是通過強化學習)方面的成功應用，機器學習已經獲得了科學界的巨大關注。然而，機器學習社區中越來越多的人認識到，AI拼圖中仍然缺少一些基本的東西，其中包括因果推理。這種認識來自于這樣一種觀察:盡管因果關系是貫穿科學、工程和人類認知的許多其他方面的核心組成部分，但在當前的學習系統中，對因果關系的明確引用很大程度上是缺失的。 這需要一個新的目標，即將因果推理和機器學習能力集成到下一代智能系統中，從而為更高水平的智能和以人為中心的AI鋪平道路。這種協同作用是雙向的;因果推理受益于機器學習，反之亦然。 當前的機器學習系統缺乏利用潛在因果機制所留下的不變性的能力，無法對可泛化性、可解釋性、可解釋性和魯棒性進行推理。 隨著數據分布從訓練集偏移，最先進的機器學習模型無法泛化，即使是在很小的偏移下，如旋轉(圖像)或改變語義等效的單詞(文本)。這些失敗通常是因為模型傾向于從出現新數據的訓練數據中學習虛假的相關性。雖然已經提出了許多基于正則化或數據增強的解決方案，但最近的實證研究表明，它們沒有一個在數據集上可靠地工作。原因是這些方法沒有考慮底層數據生成過程的因果結構，該結構控制著分布如何發生。我將提出一個用于構建可泛化ML模型的新框架，該框架將已知的因果知識直接注入神經網絡的訓練中。它是通過使用因果圖描述不同類型的分布偏移并自動推斷要應用的正確正則化來實現的。

摘要

目前電動自動駕駛汽車的設計趨勢是基于現有的城市模型，這些模型是為汽車建造的。除非減少對車輛的總體要求，并創造更多的綠色和步行區以提高宜居性，否則城市的碳足跡將無法減少。然而，如果不提供自主的移動解決方案，這種綠色區域的規模就無法擴大。解決方案需要能夠在與行人共享的空間內運行，這使得這個問題與傳統的自動駕駛相比更難解決。這篇論文是開發這種自主移動解決方案的一個起點。這項工作的重點是為在行人周圍運行的自主車輛開發一個導航系統。建議的解決方案是一個主動的框架，能夠預測行人的反應并利用他們的協作來優化性能，同時確保行人的安全和舒適。

我們提出了一個基于協作的車輛周圍行人行為的模型。該模型首先通過一個隨時間變化的因素來評估行人與車輛合作的趨勢。然后將這個因素與空間測量結合起來，預測未來的軌跡。該模型以社會規則和認知研究為基礎，通過使用社會區域的概念，然后應用可變形的虛擬區域概念（DVZ）來測量每個區域內的影響。該模型的兩部分都是通過手動注釋數據集中的行為，利用行人與車輛的互動數據集來學習的。

此外，該模型在導航系統中被利用來控制車輛的速度和局部轉向。首先，縱向速度是主動控制的。有兩個標準被考慮用來控制縱向速度。第一個是安全標準，使用agent和車體之間的最小距離。第二個是使用周圍agent的合作措施的主動標準。后者對于利用任何合作行為和避免車輛在密集場景中被凍結至關重要。最后，最佳控制是利用前兩個標準的成本函數的梯度得出的。這是可能的，這要歸功于一個建議的合作模型的表述，即使用車輛和agent之間的距離的非中心卡方（chi）分布。

使用主動的動態信道方法為空間探索推導出一個平滑的轉向。該方法取決于使用模糊成本模型評估通道（子空間）中的導航成本。選擇成本最低的通道，并使用通道之間的昆曲樣條候選路徑來影響類似人類的轉向。最后，使用滑動模式路徑跟蹤器得出局部轉向。

使用ROS下的PedSim模擬器在行人與車輛的互動場景中對導航進行了評估。在不同的行人密度和稀疏度下，對導航進行了測試。與傳統的反應式方法（Risk-RRT）相比，主動式框架設法使車輛產生平滑的軌跡，同時保持行人的安全并減少旅行時間。

貢獻

本論文的主要貢獻有以下幾點：

首次實現了一個完整的主動導航系統。以下的系統組件被整合起來，實現了一個完整的主動導航系統。據我們所知，這是第一次嘗試制定、實施和測試一個圍繞行人的主動導航系統。

• 一個基于合作的車輛周圍行人行為模型。該模型是一個使用社會概念的2層行為模型。在第一層，行人的合作行為由一個時間變化的因素來估計和建模。在第二層，這個合作因素與空間狀態測量和車輛影響相結合，用于預測行人的行為。第三章

• 一種主動的縱向速度控制方法。縱向速度是通過利用行人行為的合作性質來控制的。該控制方法是通過主動影響行人，使其合作最大化，同時保持其安全。第四章

• 一個主動的導航成本模型。該模型可用于衡量在特定子空間中導航的成本。該模型是基于行駛距離成本與基于模糊邏輯的行人干擾成本相結合。該模型在操縱系統中得到利用，但也可以獨立使用，并整合到其他已有的系統中。第五章

• 一種主動的動態通道方法，用于調動行人群體。所提出的方法整合了多種概念和框架，以建立一個主動的調動系統。該系統是基于探索空間（通道）中的不同導航選項，并選擇導航成本最低的最佳通道。空間通道的探索是利用全局路徑的一段來完成的。而通道的選擇是通過以前的成本模型完成的。通道之間的轉換或局部路徑的修改是通過類似人類的過渡函數完成的。此外，建議使用滑動模式控制器來執行路徑跟蹤。第五章

ROS下行人周圍主動導航的測試和評估

• 在共享空間進行性能驗證所需的評價指標的形式化。提出了在行人周圍進行性能評估的必要指標。提供了每個指標計算的算法，并討論了自主車輛導航情況下的成功/失敗標準。第六章

• 收集行人-車輛互動數據集。進行了一個行人與車輛互動的實驗，并收集了車輛上的行人跟蹤信息。該實驗提供了行人在與車輛共享空間中的行為數據，以及他們對侵略性和讓步性駕駛模式的反應。所收集的數據在這項工作中被用于模型驗證和作為性能評估的參考。第七章

大綱

第二章開始，介紹了主動和社會意識的導航系統的不同組成部分的一般背景。這一章提供了一個總的概述，而關于每個子系統的更詳細的背景和相關工作則在相應的章節中找到。

第二部分：主動式導航框架

在這一部分中，前面圖1.6所示的主動導航系統的三個組成部分將按照類似的順序進行討論：在第三章中，對主動導航系統的行為模型進行了討論。

在第三章中，討論了自主車輛周圍的行人的行為模型。提出了基于合作的模型，并進行了評估。這一章還需要介紹行人與車輛的互動數據集。

第四章討論了車輛的主動縱向速度控制。使用先前開發的行人行為模型，在模擬的行人-車輛互動中，對所提出的控制方法進行了校準和測試。

第五章討論了車輛的轉向控制。提出了空間探索的主動動態通道方法，并得出了相應的轉向控制。還提供了擬議系統的校準和分析。

第三部分：實施和驗證

在這一部分中，前一部分提出的三個組成部分被整合起來，以測試和驗證整個系統的性能:

在第六章中，介紹并討論了用于驗證行人周圍導航系統不同性能方面的性能指標。

在第七章中，主動式導航系統被集成并在ROS下的模擬共享空間環境中進行測試。在不同的行人-車輛交互場景中，對性能進行了分析，并使用之前定義的性能指標對導航進行了評估。

最后，在第八章中，對本論文中提出的工作得出了一個總體結論。對主要貢獻進行了總結。此外，還對本論文未來的潛在途徑和前景進行了討論。

摘要

研究了一種新型的射頻（RF）輔助算法，用于在具有小尺寸麥克風陣列傳感器的情況下對無人駕駛飛行器（UAV）進行聲學識別和定位，其中聲學信號的多通道處理得到了射頻功率模式分析的幫助。不明身份的無人機的螺旋槳產生的噪聲可以用來獲得關于它的一些線索，因為具有不同尺寸、重量或機械特性的無人機產生不同的聲學信號。具體來說，在這項工作中，由多通道麥克風陣列檢測到的聲學信號的光譜特征被用來識別無人機。此外，射頻信號由Wi-Fi天線發射，并測量接收信號強度（RSS）以協助聲學定位。到達方向（DOA）和與聲源的距離都可以被預測。提出了一個解決方案，其中一個四階段卷積神經網絡（CNN）通過其聲譜特征進行無人機識別，并通過內在特征提取、射頻和聲學特征的融合以及回歸產生射頻輔助聲學定位。應用是反無人機監測策略，從飛行的無人機反對非法使用無人機和外部無人機攻擊。提出了一個集中式架構，用于從多個空中節點獲取數據和流。一個名為Zylia的19通道球形麥克風陣列被采用。為了分析這項研究的現狀，提出了實驗與結果描述。

引言

我們解決的問題是檢測作為聲源的不明無人機的存在，通過處理螺旋槳噪聲產生的聲學信號在不同的無人機中識別它，并通過估計聲學信號的到達方向（DOA）和與無人機的距離對無人機進行定位。我們提出了一個解決方案，其中聲學處理得到了射頻（RF）傳輸模式分析的幫助。這樣，當聲學定位前端檢測到來自射頻天線組件估計方向的聲學活動時，聲源定位可以得到完善，并通過波束成形增強記錄信號。這是因為，當使用安裝在多旋翼無人機（UAV）上的小尺寸麥克風陣列進行聲學記錄時，如[1,2,3]，由于對麥克風陣列尺寸的限制，可能導致信號-噪聲增強不佳、空間分辨率低和空間信息不完整等問題，對感興趣的聲源的處理和信號增強變得特別具有挑戰性。為了解決這些限制，最近在[4,5]中介紹了一種新的基于射頻的聲源定位處理方法，該方法也能進行距離估計，但沒有引入識別能力。因此，我們現在研究射頻輔助算法的性能，該算法也能識別未識別的空中聲源。我們的算法可以應用于針對非法使用無人機和外部無人機攻擊的反無人機監測策略[6,7]，即使是在敵對環境中。

最近，深度學習（DL）和深度神經網絡（DNN）研究領域的發展所帶來的計算和性能上的進步，促進了文獻中無人機識別算法的增加，如[8,9,10]。特別是，已經證明主要由螺旋槳、馬達和機體的機械振動產生的綜合聲學信號具有足夠獨特的特征，可以用來在現實的開放世界條件下在一些無人機類別中識別無人機類型。DL和DNN也被研究用于涉及多通道聲學處理的各種應用，如[11,12]和[13]中，多通道頻譜相位信息被用作卷積神經網絡（CNN）的輸入，用于DOA估計。在我們的研究中，一個基于CNN的四級網絡的算法的性能被引入到識別和定位任務中。兩個平行階段處理射頻數據和聲學數據的內在特征。第三階段進行聲源識別，第四階段進行回歸。這種算法既能產生無人機識別，又能對DOA和與聲源的距離進行聯合預測。本文對這一研究的現狀進行了討論。

為了研究我們的方法，我們用兩個不同的無人機產生的實驗聲學數據和來自分布式天線陣列的合成射頻數據創建了一個半模擬的場景。麥克風陣列是一個19通道的球形陣列，能夠進行三維聲學場景分析。還提出了一個實驗性的傳感器數據流架構，其中只有小尺寸和低成本的硬件用于采集系統和機載處理單元，稱為單板計算機（SBC），將數據流向地面站（GS），在那里可以用高計算能力進行基于CNN的定位處理。

摘要

任務規劃對于建立成功執行任務所需的形勢意識至關重要。全面的計劃有助于預測不同的情況，這一點尤其重要，因為威脅的多樣性和復雜性會增加。規劃過程是團隊的努力，需要收集、分析相關信息并將其整合到一個全面的計劃中。由于第5代平臺、傳感器和數據庫生成的大量信息，這些過程面臨壓力。

本文描述了初始直升機任務規劃環境的創建，在該環境中，來自不同來源的數據被整合、分析和可視化。參與規劃過程的所有人員都可以查看所有可用信息并與之交互。算法處理傳入的數據，為計劃的特定部分提供潛在的解決方案。交互式可視化有助于直觀理解輸入數據和算法輸出，而交互式增強現實環境有助于有效協作。

集成系統和算法是未來智能協作任務規劃的重要組成部分，因為它們可以有效處理與第5代平臺相關的大量多樣的數據流。結合直觀的可視化和協作，這使工作人員能夠構建靈活且響應迅速的操作所需的共享SA。