在這項工作中，我們解決了雷達波形優化和目標跟蹤的問題。提出了一種基于控制論方法的優化波形設計和目標跟蹤算法，其中波形參數是通過最小化跟蹤均方誤差（MSE）而自適應設計的。在這項工作中，采取了幾種方法來提高雷達跟蹤性能。首先，卡爾曼濾波器被用來估計目標位置，用它來優化波形參數。實驗結果表明，所提出的算法有能力在笛卡爾空間內跟蹤飛行目標，它提供了對目標位置和目標速度笛卡爾矢量以及徑向速度的準確估計。該算法根據估計矢量在飛行中調整波形參數。在文獻中，多普勒效應理論被大量用于估計目標速度。在某些條件下，如跟蹤高速目標或惡劣的海洋和天氣條件下，多普勒效應就不那么有效。因此，在這第一個方法中，引入了一種依賴于卡爾曼濾波估計的算法，而不依賴于多普勒效應。一個具有實時自適應參數的低通濾波器被應用于估計的速度矢量，并提取準確的速度估計。此外，從一個現實的角度來解決雷達跟蹤問題，承認目標運動不能像我們提出的使用卡爾曼濾波器那樣用矩陣來描述，因此引入了交互式多模型算法來估計目標位置。通過模擬，我們證明了所提算法的良好性能，并證明波形優化可以提高雷達的跟蹤性能。最后，考慮從兩個天線而不是一個天線收集信息，并使用其中一個數據融合算法，以及IMM算法，我們能夠減少跟蹤誤差，并為跟蹤問題提供一個更穩健可靠的解決方案。

圖 1. 大腦/認知雷達感知-行動周期。

認知被定義為參與認識、學習和理解事物的心理過程。這個定義介紹了定義CR的三個主要成分：

• 系統與環境持續互動并感知其地標的能力，包括潛在的目標和障礙物；這使得相控陣天線成為CR的主要組成部分，因為它們能夠快速掃描環境。

• 智能地處理接收到的回波，并提取有關目標和周圍環境的測量值的能力。

• 能夠提取有關目標和環境的信息，并相應地使用它來做出有關波形和目標運動估計的決定。

認知型雷達在某種程度上模仿了大腦的學習方式，并根據感官采取行動，遵循一個類似的循環：感知、學習、調整、行動。它們不斷地從環境中學習，并作出決定以提高跟蹤性能。類似的循環，即眾所周知的感知-行動循環（PAC），在解釋大腦如何工作或描述一些智能系統的文獻中被多次提及（[2][3][4]）。引用[2]，神經科學家Joaquin Fuster將感知-行動循環描述為 "在處理目標導向行為的過程中，信息從環境到感覺結構，再到運動結構，再次回到環境，再到感覺結構，如此循環往復"。圖1解釋了與認知雷達相關的大腦的運行周期。在這項工作中，我們討論了這個閉環循環的所有步驟，這些步驟制約著CR的性能。提出了一個系統模型，并進一步討論了以估計和波形優化過程為重點的內容。

在文獻中，討論了兩種主要的波形選擇方法：控制論和信息論。在這項工作中，考慮了控制理論方法中的波形選擇標準。雷達波形參數主要通過最小化跟蹤均方誤差（MSE）來確定。

CR有一個閉環的工作循環。該系統依靠接收器的反饋來收集關于目標和環境的知識。這些知識然后被用來優化發射波形，并改進對目標的探測、跟蹤、估計和識別。這個概念在2006年由S.Haykin[1]在文獻中首次提出，他寫道，我們引用[1]"整個雷達系統構成了一個動態的封閉反饋回路，包括發射器、環境和接收器。

CR的運行周期（即上述閉環）從發射器對環境的照射開始。然后，從環境中反彈出來的傳輸波形（即目標回波、雜波等）被接收器截獲。關于目標和環境的有用信息從接收到的回波中提取出來，然后更新一個信息庫（記憶塊），在下一個周期由目標估計器（TE）作為一組關于環境的先驗知識使用。根據TE提供的估計結果，波形被優化。通常考慮用貝葉斯方法來實現目標估計器。

在CR中，提取的信息不僅在接收機層面發揮作用，而且在發射機層面通過改變波形和一些相關參數，如脈沖重復頻率（PRF）、脈沖寬度、脈沖數N和雷達發射時間表來發揮作用。這方面是CR與經典的自適應雷達的區別，后者只能在接收層面使用提取的信息。

波形優化設計作為一個重要的研究課題出現在信號處理界，因為它在許多領域都有廣泛的應用，如通信系統、聲納，以及在我們感興趣的情況下，改善雷達系統的性能。文獻中討論了許多設計標準，其中我們提到了最大信噪比（SINR）標準[9]、最大探測概率標準[14]、最大互感信息（MI）[8]標準和最小化均方誤差標準（MMSE）[10]、[11]。這些設計標準方法可以分為兩類：控制理論方法，其目的是為連續運行的動態系統開發一個控制模型；信息理論方法，更側重于研究信息流和從接收的測量數據中提取更多的目標信息。本文采用了控制理論方法，通過最小化跟蹤MSE來確定最佳波形選擇/設計。

通常情況下，攜帶傳感器的機載系統（無人機或戰斗機）使用GNSS和INS的組合來定位自己。然而，特別是在靠近有爭議領土的環境中，GNSS可能被干擾，甚至被欺騙，迫使飛機恢復到僅使用INS進行記憶。然而，精確的INS既大又貴，限制了它們對主要用于攜帶 "有效載荷傳感器 "的無人機的適用性。

這項工作的重點是采用具有成本效益的方法，使傳感器--如SAR或多譜線掃描儀--能夠在飛機上使用，特別是無人機，這需要準確的定位或至少是自我運動估計來處理傳感器的數據。這也是在GNSS拒止環境中進行彈性導航的先決條件。

為了能夠使用需要定位的傳感器，我們正在開發一個系統，在GNSS缺失的環境中利用容易獲得的商業組件對無人機進行定位或估計其自我運動，其傳感器數據被融合以提供準確的無人機姿勢估計。我們的想法是，通過觀察飛機飛行時經過的地面來估計地面上的自我運動。為此，我們在一架已經攜帶了GNSS+INS系統和SAR有效載荷傳感器的超輕型飛機的機翼吊艙中，增加了一個包含MEMS-IMU和不同相機設置的實驗套件。這個裝置基本上構成了一個視覺-慣性-測距裝置，包括一個SWIR相機，以實現對惡劣天氣條件（如霧霾）的穩定性。

我們開發了一個校準內部和外部相機參數的程序，實現了亞像素級的重投影精度。自我運動估計問題本身被分成兩部分。在圖像中尋找感興趣的點，并在圖像中跟蹤它們，以建立點的對應關系，并從相應的點計算自我運動。對于前者，我們尋找具有強烈 "粟粒感 "的點，并通過計算成對圖像之間的光流，找到它們在其他圖像中的對應點。然后，我們通過求解飛機在圖像采集時間點上的姿勢和速度來計算自我運動，從而使點的測量可能性最大化。由于相機的幀率遠遠低于MEMS-IMU的測量頻率，我們將所有IMU的測量值凝聚成兩幅圖像采集之間的姿勢和速度德爾塔，而這又被用作最大似然估計器的測量值。

為了對我們的系統進行測試，我們進行了一次飛行活動，記錄了來自我們的傳感器在各種類型的地面上的數據，以及由GNSS+INS系統測量的參考軌跡。系統所估計的相對連續位置與參考軌跡的偏差只有幾厘米。MEMS-IMU數據大大增加了我們自我運動估計的穩健性，即使使用較低分辨率的SWIR圖像，SAR圖像的形成在良性飛行模式下也是令人滿意的。

本文將介紹基于分布式聲學模塊和光電傳感器網絡的DEEPLOMATICS演示原理。在最初的探測階段，融合聲學傳感器的結果允許對入侵進行大致的定位。然后，這個區域被基于幾個波長和兩個視場攝像機的光電系統可視化，該系統可以精確和自動地檢測場景中的無人機，然后將入侵的放大圖像傳送給操作員。獲得的信號根據ISL和CNAM實驗室合作開發的一種原始方法進行利用。該方法以遠程人工智能為基礎，允許改善對威脅和操作情況的感知。

最后，將介紹現場試驗的結果，以說明DEEPLOMATICS演示器在聲學和光學傳感器之間以及各種相機（可見光、SWIR、主動成像...）提供的圖像之間的互補性。

項目的總體目標

幾個麥克風陣列被部署在需要保護的區域。在其覆蓋區域內，每個麥克風陣列同時使用基于波束學習網絡的深度學習方法對飛行的無人機進行定位和識別。每個陣列都連接著一個本地人工智能，它實時處理空間音頻測量，獨立于監控網絡的其他單元。

一個數據融合系統完善了每個人工智能增強的麥克風陣列所提供的估計。這個檢測到的位置與光電系統實時共享。一旦該系統鎖定了目標，就會使用深度學習跟蹤算法來實現自主視覺跟蹤和識別。

光電系統由安裝在一個伺服轉塔上的各種相機（可見光、熱成像和主動成像）組成。主動成像系統可以捕捉到1公里以內的場景，并且只捕捉給定距離內的物體，這就自然地將前景和背景從圖像中排除，并增強了計算機視覺的能力。

DEEPLOMATICS項目結合了聲學和光電學的優點，以確保無人機的實時定位和識別（圖1），并具有很高的精度（絕對三維誤差小于7°，檢測精度超過90％）。模塊化的方法也允許在長期內考慮增加新的捕獲系統，如電磁雷達。

圖 1：實施跨學科和多模態方法

基于機器的態勢感知是與我們所處的復雜世界進行有意識的智能互動的關鍵因素，無論是對單個單位、復雜的動態系統，甚至是復雜的系統簇。為了建立這種意識，需要經常收集準確和實時的情報數據，以確保及時、準確和可操作的信息。無人駕駛飛行器（UAV）和其他半自主的網絡物理系統越來越多地成為評估我們周圍世界狀況和通過監視和偵察任務收集情報所采用的機制和系統。目前，人道主義和軍事行動的技術水平仍然依賴于人類控制的飛行/資產操作，但隨著自主系統的增加，有機會將其卸載到設備本身。在本文中，我們提出了一種原則性的、可擴展的方法，用于評估各種情況下自主設備集體的相對性能。所提出的方法以無人機群為例進行說明，預計將發展成為一種通用工具，為此類集體的部署提供信息，提供從問題規格、已知約束和目標函數推斷關鍵參數值的方法。

摘要

任務規劃對于建立成功執行任務所需的形勢意識至關重要。全面的計劃有助于預測不同的情況，這一點尤其重要，因為威脅的多樣性和復雜性會增加。規劃過程是團隊的努力，需要收集、分析相關信息并將其整合到一個全面的計劃中。由于第5代平臺、傳感器和數據庫生成的大量信息，這些過程面臨壓力。

本文描述了初始直升機任務規劃環境的創建，在該環境中，來自不同來源的數據被整合、分析和可視化。參與規劃過程的所有人員都可以查看所有可用信息并與之交互。算法處理傳入的數據，為計劃的特定部分提供潛在的解決方案。交互式可視化有助于直觀理解輸入數據和算法輸出，而交互式增強現實環境有助于有效協作。

集成系統和算法是未來智能協作任務規劃的重要組成部分，因為它們可以有效處理與第5代平臺相關的大量多樣的數據流。結合直觀的可視化和協作，這使工作人員能夠構建靈活且響應迅速的操作所需的共享SA。

【背 景】

北約SCI-341研討會的主要科學目標是概述有關自主系統群體 (AS) 中態勢感知 (SA) 問題的最新技術，并確定未來發展與北約行動的相關性。在廣泛的領域研究了態勢感知：太空、海洋、網絡、社交媒體、特大城市。

這項研討會的想法源于關于將自動化和基于人工智能的系統集成到無需人工直接監督即可運行的系統和集群系統。我們知道，就人類而言，良好的 SA 水平是成功執行任務的重要先決條件。因此，我們詢問自動化系統和群體是否也是如此，以及群體的新興使用如何影響人類 SA。

研討會期間提交了所有八篇常規論文，除論文外，美國空軍前首席科學家 Mica Endsley 博士發表了一篇主題演講。

演講分為三個部分：1）自主和態勢感知，2）人類作為一個循環系統，3）群體智能和態勢感知。第一場會議討論了用于機器人和自主系統建模和仿真的群體控制方法、氣象情報和合成環境。第二場會議討論了如何通過群體展示、異常檢測和可解釋的人工智能為人類操作員提供更好的 SA。第三場討論了通過群體任務分配的群體智能、使用合成環境的群體性能評估以及群體與群體之間的交互。

【8篇論文】

• Session 1: 態勢感知與自主性——3篇論文

• Session 2: 人在循環系統中——2篇論文

• Session 3: 群體智能與態勢感知——3篇論文

Paper #1:

A Comparison of Distributed and Centralized Control for Bearing Only Emitter Localization with Sensor Swarms（分布式和集中式控制在單方位輻射源定位和傳感器群定位中的比較）

傳感器群具有增強態勢感知的潛力。如果傳感器群中多個資產協同工作，則存在兩個挑戰：優化傳感器部署和同時最大限度地減少操作員的工作量。如果管理單個資產的傳感任務使操作員超負荷，傳感器需要自動調整其行為。如何實現控制結構有多種可能性。

本文提供了對路徑規劃的調查。要完成的任務是使用兩個僅承載傳感器的平臺定位多個目標。作者認為，“通過目標分配算法解決路徑規劃問題特別有趣，因為存在解決分布式系統上的線性分配問題的方法，僅通過動態通信圖連接”。作者比較了六種不同的控制策略：分布式樹搜索 (DTS)、分布式優化器 (DO)、分布式迭代計劃交換 (DIEP)、中央樹搜索 (CTS)、中央優化器 (CO) 和中央分配 (CA)。比較考慮了兩個方面：一個場景中的所有目標都被本地化的時間，以及必要的計算時間。

中央控制意味著評估所有傳感器/平臺承載傳感器的聯合動作空間，并將最佳動作分配給每個單獨的傳感器載體。這種方法需要強大的計算能力，因為必須解決高維問題。作者建議在本地為每個平臺規劃行動。通過這種分散的方法，可以實現多個傳感器的聯合任務的協調行為，其中每個平臺計算自己的控制向量并將其發送給其他平臺。重復此過程，直到解決方案收斂。分散的方法通常不能提供最佳的聯合解決方案。

在評估中，目標被認為是威脅；因此，平臺需要與當前目標估計保持威脅距離。此外，不同算法的規劃范圍（h 總動作數，I 步數，具有恒定控制輸入）是不同的（由作為首字母縮略詞后綴的數字表示，例如 DTS3）。下圖顯示了三種評估場景：角度和水平/垂直、Circle-4 和 Circle-8。使用了兩種不同的起始配置（相同和相反）。所有模擬都使用了 100 次蒙特卡羅運行。論文（Schily, H., Hoffmann, F., Charlish, A. A Comparison of Distributed and Centralized Control for Bearing Only Emitter Localization with Sensor Swarms. STO-MP-SCI-341）的第2章提供了詳細的評估設計。

結果如下。總體而言，CA3 顯示出可喜的結果：它在角度、水平/垂直、Circle-4 和 Circle-8-Same 場景中表現最好。對于 Circle-8-Opposite，“CA 算法很難找到最佳分配。這是因為平臺在決定是按順時還是逆時針訪問目標時并不相鄰。”對于這種情況，DIEP 和 CP3 表現最好。DIEP 的表現與具有相同時間范圍的中央規劃者相似。由于它需要較低的計算成本，因此它被認為是路徑中央規劃的有趣替代方案。對于每種方法，較長的規劃范圍對結果是有益的。

作者認為 CA 算法“似乎在集中式和分布式規劃方法之間實現了很好的折衷。在所進行的實驗中，它唯一的弱點是同時定位許多目標，這些目標相對于傳感器平臺的起點在各個方向上均勻分布（第 8 圈）。”

Paper # 2:

AI-Powered High Resolution Weather Intelligence Platform（AI驅動的高分辨率天氣智能平臺）

天氣對 UxV（無人駕駛車輛）的運營安全和效率有重大影響。風、湍流、極端溫度、濕度、閃電、云、結冰和降水只是許多局部天氣現象中的一小部分，這些現象決定了 UxV 在給定區域可以做什么或不可以做什么，我們對這些微觀現象的理解實時和預測對于任務成功至關重要。當考慮成群的 UxV 時，挑戰甚至更大，其中每輛車的態勢感知 (SA) 都嚴重依賴于另一輛車。在當今的戰場上，天氣的影響以及我們預測和應對天氣的能力，可以決定任務的成敗。

Tomorrow.io 由軍事飛行員創立，是世界上發展最快的氣象技術公司。在短短的時間內，Tomorrow.io 已成為軍事、航空和無人駕駛航空系統 (UAS) 行業的領先氣象解決方案，客戶包括主要航空公司、武裝部隊以及無人機和無人機行業的領導者。Tomorrow.io 的團隊由 100 多名科學家、工程師、產品和業務經理組成。憑借在數值天氣預報、人工智能和大規模并行計算以及航空、國防、產品開發和用戶體驗/用戶界面 (UX/UI) 方面的豐富經驗，Tomorrow.io 具有獨特的資質，可以實現范式轉變氣象行業。

大多數天氣預報在全球范圍內都存在同樣的運營差距。缺乏數據源，特別是在武裝部隊行動的偏遠地區，以及沒有雷達和氣象站的地區，以及這些地區公開可用模型的粗分辨率，是缺乏準確性和細節的主要原因提供的數據和預測。此外，原始的、不可操作的天氣信息的輸出使最終用戶（如 UxVs 操作員）的決策過程和 SA 支持變得更加困難。

Tomorrow.io 開發了一種整體方法來解決特定于 UxV 的天氣挑戰。相關的 Tomorrow.io 功能集成了新穎的傳感技術、全面而靈活的數據同化引擎、定制的建模框架、機器學習技術以及用于靈活交付數據和見解的現代云原生軟件架構的組合。

對于高質量的天氣預報，觀測（地面、空中、衛星）、模型（全球、大陸）和高性能（數值天氣預報、大規模并行計算）計算是必要的。在大量 UxV 運行的地區，氣象站或雷達站可能不可用，或者可能在相關空域上方進行采樣。此外，這些地區的天氣模型也可能不可用。該貢獻通過提出高分辨率天氣情報平臺解決了這個問題；下圖顯示了用戶界面。數據來自各種“傳統和非傳統傳感技術”。這些模型能夠攝取不同的數據源，包括 UxVs 傳感器。這樣做，可以提供“以亞公里空間分辨率實時飛行條件的完整圖片”以及高頻時間更新。在數據稀疏的地區，UxVs可以創建一個獨立的天氣觀測“網絡”。使用綜合定制大氣模型 (CBAM)，可以預測長達 14 天。提議的系統為 UxVs 操作提供了幾個好處，包括快速更新、多傳感器 UxVs 天氣分析和高分辨率歷史基線分析和預測。UxVs 跟蹤和提取原位數據支持人類操作員進行實時決策。此外，從高分辨率數據中獲得的洞察力和警報可以在必須快速做出決策的情況下為操作員提供支持。開發和發布時間表計劃從 2019 年到 2025 年。

Paper #3:

Synthetic Environment for Robotics and Autonomous Systems（機器人與自主系統的合成環境）

在未來的軍事作戰環境中使用機器人自主系統（RAS）和機器人群將成為現代戰爭的主要挑戰之一。自 2016 年以來，北約建模與仿真卓越中心 (M&S COE) 一直在開發用于概念和能力開發的機器人研究 (R2CD2) 項目，以分三個年度階段交付開放、可擴展、模塊化、基于標準的 M&S 工具原型架構，用于 RAS 和 Robotic Swarms 的實驗。具體來說，它側重于將 C2SIM 標準擴展到無人自主系統 (UAxS) 的實驗，以便在指揮與控制 (C2) 和仿真系統之間交換命令和報告。R2CD2 第二代架構實現了戰術網絡模擬和網絡效果功能，以支持軍事通用作戰圖片 (COP) 表示中公認的網絡圖片層的實驗和概念驗證，以擴展和改進 RAS 和集群態勢感知在戰術和操作層面。該實驗于 2020 年進行，通過多個互操作性標準證明了在三個不同位置的不同系統之間進行復雜交互的可行性。

該架構的最后一代，名為 R2CD2 EVO，引入了虛擬模擬、用于真實和模擬無人機系統 (UAS) 的真實地面控制站 (GCS) 和提供包括網絡層的 RAS/Swarm COP 的 C2 系統。該平臺使我們能夠研究、分析和對抗 RAS 系統和群體，根據任務任務和模擬系統的動態姿態，突出描述對來自建模傳感器的外部刺激作出反應的過程的行為。平臺數據設置場景是基于未來特大城市模型 (WISDOM) 實施的城市環境開發的，并將兵棋推演概念擴展到 RAS，充當訓練測試場，不僅用于在軍事期間使用 RAS 系統人員的標準培訓任務，也可作為能力發展的態度訓練算法。作為研究和開發活動的結果，R2CD2 EVO 被提議作為開發 RAS 合成環境的基石，以支持北約和各國在多域 UAxS 上的概念開發、實驗、培訓和演習活動。

Paper #4:

Swarm View: Situation Awareness of Swarms in Battle Management Systems（群體視角:戰斗管理系統中群體態勢感知）

多架無人機（UAV）的使用意義重大。因此，人機交互及其交互設計變得越來越重要，特別是在戰場上的軍事偵察中。然而，無人機群規模的不斷擴大帶來了許多需要解決的挑戰，例如具有高動態性的復雜情況增加了對用戶的需求。

作者解決了人機交互的人體工程學顯示問題，重點關注戰斗管理系統中的集群。隨著無人機群規模的增加（例如，多達數千個戰術無人機），情況可能很快變得復雜和混亂。因此，需要仍然能夠為群體的所有者提供 SA 以避免信息過載的解決方案。

首先，該貢獻提供了文獻調查的結果。一方面，作者提取了單個人類操作員必須監控大群體時可能出現的挑戰：復雜的操作畫面、高動態、信息過載以及對用戶的需求不斷增加。另一方面，它們為符合人體工程學的顯示器設計提供了現有的指導方針。基于此，作者設計了四種不同的面向應用的原型布局，針對鼠標、鍵盤和觸摸輸入進行了優化：

基于領導者的呈現：群體分成團隊；可視化一個團隊的領導機器人。 基于群體的呈現(下圖)：將整個群體作為一個單元；整個群體的可視化，單一機器人可分解。 基于區域的呈現：區域、POIs等的可視化；與環境的交互。 基于縮放的呈現：縮放級別而定的可視化；信息級別由用戶決定。 所有布局都包含六個主要組件，這些組件適用于各自的布局。地圖 (1)，基于谷歌地圖 (2021) 是基礎并位于顯示中心。它提供縮放、小地圖、帶有附加信息的藍軍和紅軍、未知對象以及區域和興趣點 (POI) 選項等功能。區域管理 (2) 允許用戶創建例如操作區域 (AO) 或 POI。任務管理 (3) 包含一個時間表，其中包含所有計劃的、當前的和已完成的任務，并允許為群體或部分群體計劃新任務。狀態信息 + 直播 (4) 顯示集群或無人機的狀態。直播的顯示尺寸（來自選定的無人機或區域）是可變可調的。Red Force 信息 (5) 在單獨的列表中顯示未知和已知對象（除了地圖顯示）。輔助系統優先考慮支持用戶決策的傳入對象。對話框 (6) 顯示傳入的警報、警告和消息。 這四種布局將很快與德國陸軍偵察部隊的焦點小組進行評估。根據來自特定軍事角色和層級的反饋，將迭代調整布局。進一步的開發/實驗將確定 SA、用戶體驗和直觀性（實驗室和現場測試），并為交叉設計和群體交互用戶界面提供建議。

Paper #5:

Anomaly detection and XAI concepts in swarm intelligence（群體智能中的異常檢測和XAI概念）

對于群體智能中的人類操作員來說，關鍵情況下的決策支持至關重要。自主系統共享的大量數據很容易使人類決策者不堪重負，因此需要支持以智能方式分析數據。為此，使用了用于評估情況和指示可疑行為或統計異常值的自主系統。這增強了他們的態勢感知能力并減少了工作量。因此，在這項工作中，我們強調為檢測監視任務中的異常而開發的數據融合服務，例如在海事領域，可以適應支持集群智能的運營商。此外，為了使人類操作員能夠理解群體的行為和數據融合服務的結果，引入了可解釋的人工智能 (XAI) 概念。通過為某些決策提供解釋，這使得自主系統的行為更容易被人類理解。

作者解決了由于自主系統共享大量數據而導致的信息過載問題。為了緩解這個問題，他們建議通過兩種智能數據分析方式來幫助人類操作員。第一種方法是自動異常檢測，這可能會加強人類操作員的 SA 并減少他們的工作量。第二種方法是可解釋的人工智能 (XAI) 概念；它們有可能使群體行為以及異常檢測結果更易于理解。

作者認為，控制一群無人機仍然具有挑戰性。一方面，（半自動化）群體代理“必須決定行動方案”；另一方面，人類操作員必須決定他們的行動，例如與群體互動。提出的建議力求改善人在循環中。考慮到海上監視的應用，使用非固定代理的動態方法具有幾個優點。首先，某些場景只能使用動態方法進行管理；其次，與固定監視傳感器相比，代理更便宜；第三，在多個地點靈活使用代理可以減少操作群體所需的人員數量。然而，情況評估仍然需要知情的操作員。

作者認為，在海洋領域用于船舶分析的異常檢測算法可能適用于引入以下場景的群體。“假設我們有一個群體來支持海上船只，這些船只不僅會收集它們自己的傳感器系統可用的數據，還會收集所有資產的數據。所有來源收集的信息都需要融合成一幅連貫的畫面。這不應僅限于 JDL 數據融合的第一級，而應包括更高級別的數據融合過程，以獲取有關附近所有對象的可用信息。” 數據驅動方法能夠應對這種情況。文獻提供了三種檢測位置和運動異常的方法：統計解釋為與正常行為相比的異常值；聚類分析聚類相似的軌跡和確切的路線；用于建模正常移動模式的深度學習方法。為了應對更復雜的場景，包括船舶周圍環境（基礎設施、地理、天氣等）在內的算法是必要的。在某些復雜異常的情況下，區分正常和異常行為需要基于規則、基于模糊、多智能體或基于概率圖形模型的算法。對于所有提到的算法類別，作者都指出了大量的示例算法。

一些算法是黑盒模型，因此，它們的解釋對于人類操作員來說是復雜的。XAI 概念可以幫助緩解這個問題。XAI 概念旨在“提供道德、隱私、信心、信任和安全”，并努力在“它已經做了什么、現在正在做什么以及接下來會發生什么”中明確決策。，從而提高了人工操作員的 SA。考慮到 XAI 模型，模型特定方法（僅限于某些數學模型）可以與模型無關（適用于任何類型的模型）方法區分開來。

在目前的貢獻中，重點是與模型無關的方法。考慮到這些，局部解釋方法（解釋整個模型的單個預測結果）可以與全局解釋方法（解釋整個模型的行為，例如以規則列表的形式）區分開來。此外，作者使用特征屬性、路徑屬性和關聯規則挖掘來區分方法。通過特征屬性，“用戶將能夠了解他們的網絡依賴于哪些特征”；方法示例是提供全局和局部可解釋性的 Shapley Additive Explanations (SHAP) 和指示“模型在進行預測時考慮的輸入特征” 的局部可解釋模型無關解釋 (LIME)。路徑集成梯度（PIG，使用局部解釋）等路徑屬性提供了對模型預測貢獻最大的特征，從而深入了解導致決策的推理。關聯規則挖掘（ARM）是另一種使用全局解釋的方法，發現大型數據集中特征之間的相關性和共現。ARM 方法使用簡單的 if-then 規則，因此被認為是最可解釋的預測模型。可伸縮貝葉斯規則列表 (SBRL)、基尼正則化 (GiniReg) 和規則正則化 (RuleReg) 技術被認為適用于監視任務。

作者認為，使用這樣的 XAI 概念，人類操作員（決策者）可以更好地理解、更好地控制和更好地與一群自主代理進行通信，尤其是在具有挑戰性的環境中。總而言之，將異常檢測和 XAI 概念這兩種方法應用于人類在環、用戶對群體智能的理解和信任可能會得到改善。

Paper #6:

A New Swarm Collection Tasking Approach for Persistent Situational Awareness（一種基于群體集合任務的持續態勢感知方法）

涉及移動自組織傳感器代理的群技術應用越來越多，并且可擴展到多個軍事問題領域，例如戰術情報、監視、目標獲取和偵察 (ISTAR)。在 ISTAR，一組半自主傳感器協同完成收集任務和執行，以彌合信息需求和信息收集之間的差距，以保持持續的態勢感知。最先進的貢獻在很大程度上暴露了多維問題的復雜性。由于傳感器平臺資源容量和能量預算有限，它們通常采用特定的規定傳感器行為，導致過度保守的連接約束、有偏見的決策和/或融合解決方案結構。這些可能會任意傳達顯著的機會成本并對整體績效產生不利影響。

作者介紹了一種用于 ISTAR 中移動 ad hoc 代理（情報、監視、目標獲取和偵察）的群體收集任務的方法。目標是利用代理來增強持續的態勢感知，代理彌合信息需求和信息收集之間的差距。為此，半自主代理必須協同完成收集任務和執行。盡管板載處理能力和能量預算有限，但要實現這一目標是一項挑戰。

下圖（左）顯示了一個典型的收集任務上下文：“它定義了一個網格認知圖表示，反映了對特定感興趣區域的態勢感知，捕獲了關于單元占用和目標行為的先驗知識、信念和/或已知概率分布”。

所提出的群體收集任務分配方法提出了集中收集計劃，由群體領導者偶爾調解；然而，計劃的執行是分散的。簡而言之，“該方法結合了一種新的緊湊圖表示和一個合理的近似決策模型來執行傳感器代理路徑規劃優化，受周期性連接的影響，以實現信息共享、融合、態勢感知和動態重新分配/規劃”。

用于收集計劃的帶有反饋決策的新開環模型（下圖，右）可在后退的時間范圍內最大化收集價值。周期性群連接支持匯節點的觀測傳播、數據/信息融合、情況評估和重新規劃。向匯節點的周期性最大收集傳播考慮到能量約束。傳播集合的通信規劃/路由方案利用最小生成樹來最小化能量消耗。有關包括相關數據在內的詳細信息，請參閱論文第 3 章中的大量論文部分。

由于作者，所提出的方法擴展了群體的能力，以更好地滿足任務需求，并允許顯著擴展觀察區域。“如果使用精確的問題解決方法，新的問題表述也為解決方案最優性的可計算上限鋪平了道路”。

Paper #7:

A Framework Based On Deep Learning Techniques For Multi-Drone ISR Missions Performance Evaluation In Different Synthetic Environments（不同合成環境下基于深度學習技術的多無人機ISR任務性能評估框架）

本研究旨在關注當今模擬器的合成環境如何與應用于視頻分析的神經網絡和深度學習協同作用，特別是使用多無人機/集群系統執行 ISR 任務。事實上，用于模擬和游戲的現代虛擬引擎已經達到了讓不那么專心的觀察者感到困惑的真實水平。因此，自發出現的問題是，即使是人工智能也可以被“欺騙”，從而改變無人機上的行為和決策，從而改變機隊的最終行動。也就是說，用更科學的術語來評估無人機搭載的自動學習系統（例如神經網絡）的特征類型和數量是否可以從合成圖像中提取并反映在具有顯著優勢的連續環境中。訓練過程的精細和/或昂貴的階段，例如數據集創建和運動前測試。事實上，能夠隨意對模擬世界中的元素進行建模，可以可靠地再現甚至在現實生活中無法再現的情況和場景（例如，用于檢測閃電或爆炸的網絡），從而允許創建根據現代深度學習方法，數據集大小一致，并減少了恢復這些圖像的物理時間，同時還考慮了機載計算能力和容量的限制。此外，在降維過程中，由于真實場景的離散化導致的次要細節是否可以在某些情況下充當數據集預處理中的主成分分析 (PCA) 過濾器，這是值得詢問的。

所提出的研究方法將是實驗性的，并將預見到應用的雙重方向。在第一階段，我們想了解在真實數據集上訓練的神經網絡在一架或多架無人機上如何在不同的合成環境中表現。將檢查三個不同的模擬器，即 VRForces、ROS Gazebo 和 VBS4，以了解圖形細節的增加將如何影響準確度和精確召回曲線。擬議論文中提出的研究涉及人工智能對象識別和跟蹤領域，特別關注定位問題，因此檢測特定類別的對象，如人和車輛。在我們研究的第二階段，網絡將準備好部署，考慮到可能準備使用 COTS 或定制自動駕駛儀的硬件，使用協作和智能機隊模擬 ISR 任務的真實場景的無人機。在這個階段，我們集中在一個名為 SWARM 的項目上：一個大型工業研發 Vitrociset 項目。它是一個啟用人工智能的指揮和控制 (C&C) 系統，能夠執行和審查異構無人機小型/微型協作機隊的 ISR 任務。SWARM 將用作所提出框架的測試平臺，在不同的合成環境中測試和評估多無人機 ISR 任務的深度學習技術。

下圖（左）顯示了仿真系統架構。實驗框架包含三個合成環境。對于 VBS4，實現了一個使用一個或多個無人機生成合成場景的插件。每架無人機都配備了能夠生成視頻流的虛擬攝像頭。對于 ROS Gazebo，“圖像是使用配備 IMU 和可通過文件配置并作為 C++ 插件實現的 Iris 無人機相機獲取的”。為 VR-Forces 環境實現了類似的插件。使用針孔模型對三種環境的場景視圖進行標準化，以實現相同的觀看特性。

單獨使用合成圖像可能會引入新的偏見。因此，作者應用經典的計算機視覺和圖像處理方法來識別在 VISDRONE 數據集（真實）圖像中檢測到的對象與在三個模擬器中識別的對象之間的差異。與真實數據相比，將人和車輛的輪廓提取為對象類顯示信息丟失。

評估場景使用城市環境，包括人、車輛、道路、房屋和植被。飛行計劃包括低速（1-3 m/s）、5-30 m 的地面高度和靜止的天氣條件。有效載荷視頻流的采集使用 30 fps 的幀速率。生成了三個版本的 TFRecords（標準張量流數據格式）（過濾應用于邊界框的區域：非、100 像素和 200 像素）。所有三個測試集都包含 6 個對象類別（人、汽車、貨車、卡車、公共汽車、電機）。

考慮了 11 個 DNN 模型，使用 Tensorflow 作為 AI 框架。大型數據集 COCO、KITTI 和 VISDRONE 被視為預訓練數據集。使用 Fastern RCNN Resnet（在 VISDRONE 數據集上預訓練）獲得了最好的結果。VBS4 擁有三種模擬環境中最好的圖形引擎，是最接近現實的一種（下圖右）。總體而言，合成環境被證明是在現實世界中訓練的神經網絡的良好測試平臺（最佳情況下準確率約為 80%）。

Paper #8:

Interacting Swarm Sensing and Stabilization（交互群感知與穩定化）

最近，在生物學和物理學中研究的群體理論已被應用于機器人平臺，包括將群體應用于防御。雖然相關工作側重于單個群體行為，但這一貢獻將調查擴展到多個相互作用的群體及其產生的模式。作者提供了一種理論方法來研究具有非線性相互作用的兩個群體的碰撞。目的是預測在什么情況下兩個群體在兩個群體碰撞后可以結合形成一個新引擎（mill）。這個問題的背景是在某些軍事場景中需要重定向或捕獲一個群體。

下圖（左）顯示碰撞后的狀態取決于碰撞角度以及耦合強度。下圖（右）顯示了一個示例，其中兩個群體（最初處于植絨狀態）接近融合狀態。這種行為的原因是，“當兩個群體接近時，每個智能體開始感知智能體內部群體的力量，導致兩個群體圍繞彼此旋轉，同時保持接近恒定的群體間密度。隨著時間的推移，這兩個群體慢慢地放松到由來自兩者的均勻分布的智能體組成的充分混合的融合狀態”。

應用的分析方法依賴于這樣的假設，即在碰撞時，兩個群體在一個極限循環附近振蕩，每個群體圍繞另一個群體旋轉，同時保持近似恒定的密度。使用確定極限圓狀態穩定性的剛體近似，可以做出僅取決于物理群參數的預測。這為小碰撞角的臨界耦合提供了一個下限。對于對稱群體（具有相同的數量和物理參數），從分散到融合的過渡點類似于逃逸速度條件，其中臨界耦合與每個群體的平方速度成比例，與每個群體中的智能體數量成反比。

使用包含 5-8 個 Crazyflie 微型無人機的混合現實設置，在初步碰撞群實驗中證實了理論預測。實驗考慮了 8 個真實機器人 + 8 個模擬機器人、5 個真實機器人 + 45 個模擬機器人和 50 個模擬機器人的場景。對于所有情況，都觀察到固定融合。初步結果表明，我們可以根據選擇的物理參數讓一個群體捕獲另一個群體。此外，基于已知的參數和群體大小，它還應該是可預測的，當碰撞群體不會形成融合狀態時，即一個群體無法捕獲另一個群體。未來的工作將解決如何進入散射狀態或保持聚集狀態，以及將通信延遲或內部和外部噪聲效應的影響納入理論。

延遲問題是驅使許多公司從云轉移到邊緣的原因。“邊緣智能”(edge AI)或“邊緣機器學習”指的是，數據通過存儲在硬件設備上的算法在本地進行處理，而不是通過位于云中的算法進行處理。這不僅使實時操作成為可能，而且還有助于顯著降低與處理云數據相關的功耗和安全漏洞。

圖神經網絡(GNNs)是針對圖信號的信息處理體系結構。它們已經被開發出來，并在本課程中作為卷積神經網絡(CNNs)的推廣來介紹，它被用來在時間和空間上處理信號。這句話聽起來可能有些奇怪，這取決于你對神經網絡(NNs)和深度學習的了解程度。CNN不就是NN的特例嗎?GNN不也是這樣嗎?從嚴格意義上說，它們是存在的，但我們這門課的重點是涉及高維信號的大規模問題。在這些設置中，神經網絡無法伸縮。CNN為信號在時間和空間上提供可擴展的學習。GNNS支持圖信號的可擴展學習。

在本課程中，我們將在學習單特征和多特征GNN之前，介紹圖卷積濾波器和圖濾波器組。我們還將介紹相關的架構，如經常性的GNN。特別的重點將放在研究GNN的排列的等方差和圖變形的穩定性。這些特性提供了一個解釋的措施，可以觀察到的良好性能的GNNs經驗。我們還將在大量節點的極限范圍內研究GNN，以解釋不同節點數量的網絡間GNN的可遷移性。

//gnn.seas.upenn.edu/

Lecture 1: Machine Learning on Graphs 圖機器學習

圖神經網絡(GNNs)是一種具有廣泛適用性和非常有趣的特性的工具。可以用它們做很多事情，也有很多東西需要學習。在第一節課中，我們將回顧本課程的目標并解釋為什么我們應該關注GNN。我們還提供了未來的預覽。我們討論了在可擴展學習中利用結構的重要性，以及卷積是如何在歐幾里得空間中實現這一點的。我們進一步解釋如何將卷積推廣到圖，以及隨后將卷積神經網絡推廣到圖(卷積)神經網絡。

1.1 – Graph Neural Networks 圖神經網絡

在這門課程中，我希望我們能夠共同完成兩個目標。您將學習如何在實際應用程序中使用GNNs。也就是說，您將開發使用圖神經網絡在圖上表述機器學習問題的能力。你將學會訓練他們。你將學會評估它們。但你也會學到，你不能盲目地使用它們。你將學習到解釋他們良好的實證表現的基本原理。這些知識將允許您確定GNN適用或不適用的情況。

1.2 Machine Learning on Graphs: The Why 圖機器學習

我們關心GNN是因為它們使機器能夠在圖上學習。但我們為什么要關注圖機器學習呢?我們在這里詳述圖機器學習的原因。它為什么有趣?我們為什么要關心這個?我們關心的原因很簡單:因為圖表在信息處理中無處不在。

1.3 – Machine Learning on Graphs: The How

在討論了原因之后，我們來處理如何做。我們如何在圖上進行機器學習?這個問題的答案很簡單:我們應該使用神經網絡。我們應該這樣做，因為我們有豐富的經驗和理論證據證明神經網絡的價值。理解這些證據是本課程的目標之一。但在我們準備這么做之前，有一個潛在的阻礙因素:神經網絡必須利用結構來實現可擴展。