無源雷達（PR）是加強公共安全和國防有前途的新興技術，可以作為保護關鍵基礎設施和邊界的補充解決方案。本文介紹了一個基于獨立PR節點的傳感器網絡，用于監測沿海邊界的情況。通過完整的覆蓋率分析，研究了部署PR傳感器網絡進行邊境監控的可行性。電磁仿真器被用來包括特定的雷達場景特征和空中和海上軍事目標的雙態雷達截面建模。仿真結果與選定的沿海場景中的真實雷達數據進行了驗證。對不同的目標進行了探測和跟蹤：合作的DJI Phantom 3無人機、船舶和降落在羅塔軍事機場的飛機。結果證實了基于DVB-T的PRs在監測邊境沿海場景方面的可行性。

這項工作考慮了一個由多個子系統組成的通用系統，其中可以在系統的不同級別收集可能具有不同概率分布的數據。使用分布的一般公式和最大似然估計的原則，我們開發了一種估計參數的方法，包括與相關性能指標相關的估計的不確定性界限。所提出的方法在兩個應用中得到了證明：(1) 通過集成來自 UAV（無人駕駛飛行器）和多普勒雷達的數據來檢測目標位置，以及 (2) 在空中加油問題中檢測“標記”的位置。

在過去的幾十年里，人們對模糊邏輯及其應用表現出相當大的興趣。智能和深度學習系統在各行各業都獲得了突破性進展，以解決未來的實際問題。傳統的模糊有限制，只能在有限的規則維度下工作，而深度神經網絡則無法處理系統中隱含的不確定和不精確的數據。本文的目的是為智能系統開發一種能夠處理不確定性和不精確行為的通用算法，特別是用于處理大型圖像數據集。本文提出了分層模糊方法，因為它在解決現實生活中的大型問題方面越來越受到關注。所用的策略是將大的圖像數據集劃分為小的數據樣本，并以分層的方式連接所有的模糊子系統。在文獻中，據作者所知，沒有人開發出一種分層模糊方法來處理真實圖像的大型圖像數據集。已經討論了使用圖像閾值處理大型圖像數據的分層模糊邏輯的算法。為了進行評估，已經考慮了真實的圖像數據庫。圖像分類已經在國防和安全領域取得了潛在的應用，特別是在目標識別和分類方面。分層模糊系統的準確性和計算時間與現有方法如深度神經網絡的比較已經被討論。

引言

Lotfi Zadeh在1965年提出了模糊邏輯[1], [2]的概念，處理信息的不確定性、不精確性或模糊性。模糊包括在數學和現實系統之間架起橋梁的語言參數。模糊邏輯起源于傳統邏輯的合理化。它通過在假和真之間的穩定過渡來運行。傳統邏輯將輸出顯示為 "0 "或 "1"，而模糊邏輯將結果顯示為[0,1]范圍內的真實程度。模糊邏輯應用了部分真實的理論，輸出可能在完全真實和完全虛假之間搖擺。

模糊系統包括三個子系統：模糊器、推理系統和去模糊器。模糊化器將輸入轉換為語言值，這些語言值被視為模糊集的標簽。推理系統擁有一個包含輸入-輸出關系選擇的規則庫。規則的數據集包括成員函數和輸入與輸出組合的規范化。去模糊器合并了推理系統的輸出，并轉化為非語言術語。

隨著時間的推移，模糊系統的幾個分支已經被開發出來[1], [3], [4], [5]，例如，神經模糊系統或模糊神經網絡、模糊聚類、模糊邏輯圖像處理等。隨著神經網絡的出現，模糊邏輯的概念已經擴展到神經模糊邏輯。模糊邏輯為包括人類評估的不確定性、不精確性和模糊性的計算問題提供了有效的解決方案和更好的評估。相反，其他方法如神經網絡有局限性，只能處理固定和精確的數據。

與模糊系統一樣，混合方法，如FNN（模糊神經網絡）或NFS（神經模糊系統）整合了神經網絡和模糊邏輯行為。這種混合方法增加了模糊邏輯的語言推理和神經網絡的認知連接。這種混合的結果是一個智能系統。這些系統接受了模糊集理論，其中系統包含各種規則，其語言信息集以IF - then - ELSE格式定義。神經-模糊系統的設計重點是可解釋性和準確性。因此，神經-模糊系統比模糊系統更受青睞。

模糊系統的一個主要限制是數據處理，模糊邏輯限制了系統中的數據大小。通過成熟的技術，神經模糊有能力管理具有大量規則的計算。然而，由于對某些維度的工作限制，在應用神經模糊系統解決復雜和高輸入輸出維度的問題時，一直存在著很大的挑戰。最近，一些作者[2]，[6]致力于開發深度神經網絡技術，以處理智能系統的圖像分類問題，并且仍在進行這項工作。然而，神經網絡不能驅動不精確和不確定的數據，這在許多現實生活中是普遍存在的。為了處理任何不精確性和不確定性，神經模糊邏輯技術得到了推廣。

神經模糊邏輯堅持白盒系統[1], [4], [7]。該系統在語言形式和數學分析之間架起了解釋的橋梁，并提供透明度。這些系統已被普遍用于設計復雜的系統，但只在有限的規則和數據維度內工作。這些限制在一些高度復雜的現實生活場景中成為了瓶頸。這些限制降低了整個系統的通用性和透明度。影響模糊和神經模糊系統的輸入-輸出維度限制的主要因素可以簡單地定義為：隨著輸入參數、數據集或輸入-輸出組合和數學關系的增加，規則呈指數級增長。

為了克服概括性、透明度和維度的問題，各種研究人員點燃了將分層系統與模糊邏輯相結合的想法。與其設計具有高維度的傳統系統，系統將被劃分為具有低維度的子系統。這些子系統以分層結構的形式相互連接。分層系統被表示為一個多輸入單輸出的系統。在不失去概括性的情況下，多輸入多輸出系統被表示為幾個多輸入單輸出子系統。由于模糊邏輯規則庫對大數據集的限制，本文提出了一種利用圖像閾值設計分層模糊系統的方法，它將處理大的圖像數據集。這種方法將在不影響系統的有效性和效率的情況下最大限度地減少規則的總數。

系統的復雜性是與規則的總數相聯系的，并與之成正比。輸入數量的增加提高了規則的總數，這增加了整個系統的復雜性。有足夠的證據表明，傳統系統對規則的維度有限制。這種限制抑制了利用模糊系統來解決具有大尺寸的復雜的現實生活問題，特別是大圖像問題。

為了克服傳統模糊邏輯所擁有的限制，分層系統已經成為最合理的選擇之一。據作者所知，目前還沒有人開發并提出分層模糊系統，通過將數據集分割成小的數據樣本并進行合成來處理大型圖像數據集。一些作者[3], [4]已經證明，分層系統降低了系統的整體復雜性，因為與傳統的模糊邏輯相比，它的規則數量更少。除了復雜性，分層系統還通過校準分層結構中每個模糊邏輯單元所需的規則數量來減少計算時間。考慮到這些因素，我們傾向于將分層模糊用于大型圖像數據集問題。

在工程、技術、工業、科學、數學、商業分析、數據分析、國防和安全、物聯網、安全、電力工業、電子、天氣預報、商業等領域，模糊邏輯已經被不同的研究人員[1], [8]應用于多個實際生活中的應用。模糊在國防方面的重要應用之一是載人、機器人和可選的載人車輛的生存能力。本文展示了在分層模糊系統的幫助下設計一個系統來管理大型數據集的方法。

第2節討論了三種分層樹結構。這一節還包括分層系統的數學表示，并介紹了分層模糊系統在現實生活中的各種應用。第3節介紹了分層模糊邏輯的系統設計。討論了使用圖像閾值和概念流程圖設計算法的步驟，并介紹了在模糊的C-均值聚類的幫助下生成模糊邏輯系統的步驟。第4節展示了一個圖像數據庫的描述，如YaleB數據庫。第5節展示了分層系統的通用算法的結果以及與傳統系統如神經網絡的比較。

圖 4. 系統概念性層次模糊邏輯實現。

由于在36,000公里的極端距離上靈敏度下降，并且由于雷達截面減少的小衛星擴散，對地球同步軌道上的常駐空間物體的雷達探測和跟蹤是具有挑戰性的。提高現有單靜止雷達傳感器靈敏度的一個選擇是采用配置為雙靜止接收器的大孔徑無線電望遠鏡。此外，多個接收器將使多方位配置在探測和跟蹤方面有額外的性能改進。在本文中，我們報告了使用美國的Millstone Hill Radar（MHR）和德國的Tracking and Imaging Radar（TIRA）作為發射器的長基線雙靜態測量，以及歐洲的一些接收器：意大利的Sardinia Radio Telescope（SRT）、荷蘭的Westerbork Synthesis Radio Telescope（WSRT）和英國的e-Merlin陣列的多個天線。這里介紹的工作是作為SET-293研究任務組（RTG）的工作計劃的一部分進行的。

在地球同步軌道（GEO）上用雷達維持空間態勢感知（SSA）的最重大挑戰是由于極端的距離造成的靈敏度損失，這個距離是到地球同步軌道帶36000公里。為了提高單靜止雷達的靈敏度，必須提高發射功率，建立一個更大的孔徑，或降低傳感器的系統溫度。靈敏度受孔徑大小的影響最大，因為靈敏度與孔徑的四次方成正比，但建造大孔徑雷達的成本過高，而且工程上的挑戰對這種傳感器的尺寸和回轉率也有上限[1]。然而，提高現有單穩態傳感器靈敏度的一個選擇是考慮使用大孔徑射電望遠鏡作為雙穩態接收器的多穩態雷達。有許多大直徑（>60米）的射電望遠鏡可以與雷達配對使用。使用射電望遠鏡作為接收元件有幾個方面的優勢。除了它們的大尺寸之外，1）射電望遠鏡通常具有較低的系統溫度，通常比雷達的溫度低一個數量級，這進一步提高了它們的靈敏度；2）它們的指向和跟蹤能力與地球同步軌道目標非常匹配；3）它們通常配備有寬頻接收器，可以靈活地與多個發射雷達配對；4）它們通常具有出色的頻率標準（H-馬斯），可以進行相干的雙態觀測；以及5）有可能將天文和雷達觀測校準相結合[2]。

雖然這種雙穩態發射器/接收器對之間的鏈接預算計算是有希望的，但雙穩態雷達截面（RCS）是一個有點未經測試的因素，特別是在洲際基線。在較短的基線上，小于1000公里，雙態RCS可能與單態RCS相似，但由于即使是單態RCS也可能具有高度的方向性，雙態RCS可能會有更大的變化[3]。此外，由于可以同時使用多個接收站（無線電望遠鏡），因此可以啟用多方位配置，這不僅可以提高整個系統的靈敏度和探測地球同步軌道物體的能力，而且還可以提高跟蹤性能，因為多方位測量將有助于改善物體的位置和速度估計。

2020年初，北約科學與技術組織（STO）啟動了一個為期多年的傳感器、電子和技術（SET）研究任務組（RTG）（SET-293），通過結合美國和歐洲的現有北約伙伴資產，研究使用雙靜態和多靜態雷達配置來改善地球同步軌道的SSA。SET-293已經進行了實驗，以探索現實世界對這種雙穩態系統的理論鏈接預算的限制。圖1-1描述了實驗中雷達發射器（Tx）和接收器（Rx）的幾何形狀。

圖 1-1 – 雷達多基地實驗幾何，描繪了雷達發射機照射地球同步衛星目標和射電望遠鏡接收來自衛星的信號。

一組實驗將美國的米爾斯通山雷達（MHR）與歐洲的三個接收器配對：意大利的撒丁島射電望遠鏡（SRT）、荷蘭的韋斯特博克綜合射電望遠鏡（WSRT）的一個天線以及英國喬德雷爾銀行天文臺（JBO）運營的e-Merlin陣列的多個天線。e-Merlin包括7個天線，直徑從25米到76米，在英國的間距從10公里到220公里，用于厘米級波長的高分辨率射電天文學成像。這些天線通過一個專用的光學網絡連接到一個中央相關器，它們的一致性由同一光纖上的雙向射頻定時信號來維持。在歐洲，在德國的TIRA和SRT及e-Merlin射電望遠鏡之間進行了更小基線的其他雙穩態實驗。傳感器及其相關參數列于表2.1。

鏈路預算是以每個與MHR和TIRA配對的接收器的參考信噪比來計算的。MHR的參考單靜態信噪比為50dB，TIRA為47dB，它描述了1000公里范圍內0dBsm目標的單脈沖的最大性能。需要注意的是，這種鏈路預算計算假定單靜止和雙靜止RCS是等效的。此外，接收機增益，即單穩態靈敏度和雙穩態靈敏度之間的差異，顯示在表2.1最后一行的每個雙穩態接收機。射電望遠鏡接收器的潛在好處是顯而易見的，因為即使是規模不大的WSRT接收器，由于其作為一個純接收系統的低系統溫度，預計在MHR下會顯示近7分貝的接收器增益，在TIRA下會顯示10分貝增益。本文報告了在2020年和2021年收集的測量結果。在2022年已經進行了額外的收集，并將在未來的論文中介紹。

智能反射表面（IRS）技術最近在無線通信研究中引起了很大的興趣。IRS由無源反射元件組成，能夠調整入射波形的相位、振幅、頻率和偏振。我們研究了當與目標的視線（LoS）聯系較弱或被阻斷時，如何部署IRS來幫助雷達系統。本文證明，部署多個IRS平臺可以在雷達和目標之間提供一個虛擬或非視線（NLS）鏈接，從而提高雷達性能。數值實驗表明，與無視線鏈接相比，當無視線鏈接較弱時，IRS增強了目標參數的估計，幅度為~0.1

引言

智能反射面（IRS）是由大量的無源可重構元材料元件組成，通過引入預定的相移來反射傳入的信號[1]。在一個通信系統中，這種相移是通過基站（BS）通過回程控制鏈路傳輸的外部信號來控制。因此，來自BS的傳入信號被實時操縱，從而有效地將接收的信號反射到用戶身上[2-5]。IRS技術已經出現在無線通信中，也以其他名稱出現，包括大型智能表面和軟件控制的元表面[6-8]。一些有前途的IRS應用案例，包括向直接鏈接受阻的用戶擴展范圍[6]、物理層安全[9]和無人駕駛飛行器（UAV）通信[10]，已經被研究。一些先前關于IRS輔助信號傳輸的工作有[10-14]。

在這種情況下，IRS的部署在雷達系統設計和信號處理中具有未開發的潛力，用于目標探測和估計[15]-[16]。在IRS輔助雷達中，表面操縱來自雷達發射器（目標）的信號并將其反射到目標（雷達接收器）（圖1）。最近，IRS已經成為一種有前途的、具有成本效益的解決方案，即使在視線（LoS）鏈接被障礙物阻擋的情況下，也能建立強大的連接[17]。在沒有IRS的幫助下，之前已經有一些關于非視線（NLS）雷達系統的工作[18-20]。然而，這些技術需要對環境的整個幾何結構有所了解。此外，處理來自目標的多路徑回報在計算上要求很高。IRS輔助的NLoS雷達是一個范式的轉變，因為IRS平臺的位置和通過IRS進行波束成形的靈活性足以進行目標探測和估計。通過巧妙地調整IRS無源元件的相移，有效的NLS或虛擬LoS鏈接被創建，從而產生更可靠的目標感應。

在[21]中介紹了IRS輔助雷達的NLA情況，并在[22，23]中擴展到多輸入多輸出（MIMO）雷達。

在本文中，我們為IRS輔助雷達參數估計建立了一個數學模型，并研究了在這種情況下部署IRS的潛在收益。與大多數以前的工作[21-23]不同的是，我們將多個IRS平臺納入其中[24-26]，這些工作側重于通過單一的IRS進行NLoS感知。我們開發了多個IRS輔助雷達的一般信號模型，其中IRS作為一個相移組件，并通過目標參數估計的均方誤差對IRS平臺的性能進行了評估。我們推導出用于估計目標后向散射系數的最佳線性無偏估計器（BLUE）。我們的數字實驗表明，即使在隨機選擇相移的情況下使用IRS也能改善目標參數估計的均方誤差。我們進一步研究了IRS平臺的優化，通過設計相位偏移來專門減少目標參數估計的均方誤差。正如預期的那樣，與非優化的IRS相比，優化的IRS情況導致了較低的估計誤差。我們進一步推導出目標參數估計的克拉梅爾-拉奧約束（CRB），并對LoS和NLS情況進行了說明。

圖 1. IRS 輔助雷達操作示意圖。 IRS 在雷達和所需目標之間創建有效的虛擬 LoS 鏈接。遠場部署可能需要大型 IRS 平臺。

高光譜線掃描儀提供了大量的數據，從這些數據中可以得出信息并意識到潛在的威脅。然而，由于必須處理的數據量太大，對這些數據的實時分析很困難；因此，這些數據歷來都是經過后處理的。我們通過研究高階統計（偏度和峰度）和信息理論（熵）來使用傳入數據的統計表示，為每個傳入光譜提供特定的概率分布函數數據，從而減少計算負擔。在2020-2021財年的這項工作中，我們表明，我們對數據的統計表示可以用于異常檢測。我們通過收集數據，處理實驗和模擬光譜，為統計分析開發地面實況，以及對使用我們的數據進行預處理的分析來做到這一點。此外，我們確定，使用半監督機器學習來實施我們的算法，可以對我們獲得的高光譜數據進行實時分析（100毫秒的幀率，每幀250個光譜）。這種算法可以在需要立即了解情況的情況下實施，從而提高作戰人員的殺傷力。

引言

獲得戰術優勢并不總是意味著決定性地確定關于周圍環境的信息。獲得戰術優勢的一種方式是通過異常檢測，例如，發現獨特或不預期的事情。根據Chandola等人的說法，異常檢測是 "在數據中找到與預期行為不一致的模式"。獲得戰術優勢可以簡單到了解什么時候有不符合模式的東西，并可能引起關注。從作戰人員在戰場上獲得戰術優勢的角度來看，異常檢測可以指示出目標或噪聲信號流中感興趣的情況。因此，異常檢測可以松散地通過信號檢測理論的眼光來看待必須做出決定的噪聲信號。更具體地說，異常檢測可以是一種新穎性檢測，其中新穎性不是訓練方法的一部分。存在許多異常檢測技術，這些技術包括（但不限于）分類、聚類、近鄰、統計、信息論和光譜異常檢測技術。

所采用的異常檢測器的類型不僅僅取決于被分析的數據類型，更取決于數據的管理或處理方式。例如，高光譜數據是與光譜信息同時收集的空間信息，形成一個三維的超立方體信息，如圖1（左）所示，可用于表面威脅分析。也有一些技術可以在光譜數據中找到異常點。然而，當它們應用于高光譜數據時，往往計算成本很高。大多數高光譜處理技術都是一次性處理整個超立方體。 由于需要實時分類和處理的數據量太大，實時處理數據會變得計算量過大，必須實現減少計算負擔的方法來接近實時分析。

有一些方法旨在減少高光譜分析中處理的數據量，這些方法大多依賴于多頻段分析。可以利用幾個光譜帶從高光譜數據集中獲得相關的信息，如圖1（中間和右邊）所示。這可以有效地減少正在處理的數據量，但它也依賴于存在的一小部分光譜數據，導致更快速的處理。

圖1：由空間分離的光譜組成的高光譜超立方體（左），可表示為光譜的單幀掃描（中），并可處理為概率分布，得出可用于分析的參數（右）。

圖2：一個信號（如頻譜）（A）通過頻譜Y軸上的強度值進行分檔，并計算出出現的次數（B）。這個分布可以用來進行信息論計算，或者用適當的函數來擬合高階統計（C）。

我們采用兩種方法來降低信號的維度，首先是檢查頻譜值的概率密度函數（PDF），計算高階統計（HOS）和信息論技術。信號的PDF（圖2B和圖2A，分別），包括頻譜的PDF，是通過將強度值分組并計算出現次數產生的。當分組和計數時，PDF可用于計算信息論參數，或用適當的函數擬合以計算相關的HOS，如圖2C所示。

在數學上，HOS是一個求和序列，在計算上沒有負擔，從而減少了處理數據的時間。具體來說，在這項工作中，我們試圖采用偏度和峰度，它們分別是PDF的第三和第四時刻。HOS在數學上被描述為：

其中mk是第k個時刻，n是數據的長度，σ是數據的標準差，???是數據的樣本平均值。偏度提供k = 3，峰度提供k = 4。圖3是HOS的一個直觀表示。圖3A顯示了隨著偏度和峰度的變化，分布的變化方式。圖3A中心的凹陷灰色箭頭在圖3B中表示。可以清楚地看到，隨著偏度變正（上行），分布向左移動，而隨著偏度變負（下行），它向右移動。當峰度大于3時（右列），分布變得更尖，而當峰度小于3時（左列），分布變得更平頂。正態分布的偏度和峰度分別等于0和3，如圖3A中的中間分布和圖3C中所示。因此，擬合PDF講的是PDF的形狀，當PDF由于光譜特征而發生變化時，相關的HOS也會發生變化。

熵利用的是對數函數，可以用查找表快速而容易地確定，也是一種求和：

其中S是熵，p是事件x發生的概率，通過規范化的發生率確定。雖然HOS有助于解釋PDF的形狀，但熵是指一個特定PDF中的信息量。這將隨著光譜中峰的數量（但不是位置）的變化而變化，因為這必然會改變PDF。這些的組合可以用來描述譜的變化。

圖3：改變HOS的估計分布（A），HOS如何變化，如（A）中心的正態分布（B）和HOS采取的正態分布的值（C）所代表的。

在這份報告中，我們提供了我們在2020年和2021年財政年度完成的對高光譜實時威脅異常檢測（Hyper Thread）的研究，重點是爆炸物。首先，我們展示了不同的PDF如何改變熵和HOS，包括當PDF中存在一個以上的模式時。隨后，我們分析了峰度如何可能被用作識別閾值的機制。第3.3節深入探討了高光譜數據的參數化以及如何使用我們所使用的儀器的數據。隨后，第3.4節概述了我們開發的算法以及如何在實時分析中采用上述參數，并在實驗室環境中全面實施該算法。第3.5節討論了開發和分析地面實況以適當地描述算法的性能。最后，在第3.6節中討論了使用輻射校正的必要性以及對太陽和人工照明的差異的分析。

在有環境因素的城市區域內安全有效地使用四旋翼飛行器，對美國軍事和民用部門具有巨大的重要性。本技術報告探討了一個高度適應性的模擬設置，其中有一個包含學習元素的非線性控制器。其他模型因素--如無人機的幾何形狀、權重和風的力量--在所提出的框架內很容易被修改。用虛幻引擎進行的模擬，可以結合現實世界的城市數據、現實的風和現有的開源軟件。

引言及與美國陸軍的相關性

無人系統和無人駕駛航空系統（UAS）的使用在全世界的軍隊中激增，在通信、監視、偵察和戰斗中都有應用（Nacouzi等人，2018）。在敵對地區，無人機系統將受到多種威脅，包括網絡和物理威脅，以及環境危害。生存和任務的成功往往取決于以最小的通信或依賴全球導航衛星系統（GNSS）的能力，如GPS（Guvenc等人，2018；Sathyamoorthy等人，2020；Fan等人，2022）。例如，無人機系統的通信可用于檢測和獲得無人機系統的位置，而基于衛星的導航很容易被欺騙或干擾，因為信號非常弱。其他傳感器也經常被用來增強GNSS的位置分析，并可以用來取代它，如光學系統--包括照相機、雷達、光探測和測距（LiDAR）系統和慣性測量單元（IMU）（Angelino等人，2012）。這些都提出了自己的挑戰。慣性測量單元是標準設備，但只能檢測線性和角加速度，同時通過檢測地球的局部磁場來確定方向（共9個自由度）。因此，位置誤差，即測量的加速度的第二個時間積分，會隨著時間的推移而累積。在使用IMU進行UAS導航時，其他令人擔憂的來源包括環境影響（即風或降水）。 UAS結構的物理變化，如增加一個傳感器或武器包，包括武器發射后的變化，使工作進一步復雜化。這種質量和質量分布的變化改變了UAS的質量中心和慣性張量。光學傳感器、雷達和LiDAR系統增加了重量，并經常發射射頻或光，使它們更容易被探測到和/或需要處理資源。增加的重量和/或處理可能對電池壽命產生不利影響，從而影響運行時間和整體可靠性。

為了解決這些問題，我們正在研究在大風環境中使用控制算法，以了解IMU信號如何在控制中被用來考慮（和/或改變）UAS的位置計算。再加上不確定性措施，這些最終可用于檢測UAS飛行性能的變化，或對GNSS信號的欺騙。

城市環境是安全和可靠的無人機系統運行的第二個關注領域（Watkins 2020）。它們被認為是國防部行動的一個挑戰領域，也是政府和商業服務的一個巨大的技術增長領域。在這份報告中，我們展示了一個模擬空間，我們正在建立專門用于模擬城市環境中的無人機系統，以解決自主和半自主控制的問題，重點是環境的相互作用，包括風和靜態碰撞威脅。物理學和控制的關鍵部分直接用C++實現。除此之外，在可能的情況下，我們正在利用當前的免費和開源資源（即軟件、軟件框架和數據），但要注意的是，我們包括使用一些在產品商業化成功后需要付費的工具。我們采取了一種模塊化的方法，隨著其他軟件框架和系統的成熟，將能夠靈活地過渡到其他軟件框架和系統。我們目前的系統已經基于用于小型無人機系統的PX4控制器庫和實時發布-訂閱（RTPS）數據傳輸協議。RTPS應能使我們的發展在其他工具成熟時過渡到其他工具，并使用通用的應用編程接口（即API）過渡到其他工具和數據，如計算的風數據。對于圖形和用戶界面，我們使用虛幻引擎（UE）（Matej 2016），這是一個游戲引擎，提供最先進的圖形功能和我們的模型中使用的一些物理學--最重要的是無人機系統和其環境之間的碰撞檢測。

第2-4節詳細介紹了整個模擬的主要計算部分：納入現實世界的城市數據，生成現實的風模型，無人機的幾何和物理建模，以及線性和非線性控制。我們對整體模擬的這些主要部分中的每一個都依賴開源軟件，如UE、OpenStreetMap（OSM）（Anderson等人，2019年）、Mapbox和AirSim（Shah等人，2017年），并根據需要詳細說明（見圖1；例如，真實城市的模型導入游戲引擎中）。第5節和第6節提供了樣本結果和結語。

圖1 將城市數據納入UE進行大規模模擬的兩個例子。伊利諾伊州的芝加哥（上）；弗吉尼亞州的水晶城（下）。這兩張圖片都是使用開源工具創建的，將開源的Mapbox城市數據導入UE中。

在過去的十年中，基于深度學習的算法在遙感圖像分析的不同領域中得到了極大的普及。最近，最初在自然語言處理中引入的基于transformers的架構已經遍及計算機視覺領域，其中自注意力機制已經被用來替代流行的卷積算子來捕獲遠程依賴。受計算機視覺最近進步的啟發，遙感界也見證了對視覺transformers在各種不同任務中的探索。盡管許多調查都集中在計算機視覺中的transformers上**，但據我們所知，我們是第一個對基于遙感transformers的最新進展進行系統綜述的人**。我們的調查涵蓋了60多種基于transformers的最新方法，用于解決遙感子領域的不同遙感問題:非常高分辨率(VHR)、高光譜(HSI)和合成孔徑雷達(SAR)圖像。我們通過討論transformers在遙感中的不同挑戰和開放問題來總結調研。此外，我們打算經常更新和維護遙感論文中最新的transformers，它們各自的代碼: https: //github.com/VIROBO-15/Transformer-in-Remote-Sensing

//www.zhuanzhi.ai/paper/bfb0308c1fdd624df840a15426edb230

導論

遙感成像技術在過去幾十年里取得了顯著的進步。現代機載傳感器以更高的空間、光譜和時間分辨率對地球表面進行大范圍覆蓋，在生態學、環境科學、土壤科學、水污染、冰川學、陸地測量和地殼分析等眾多研究領域發揮著至關重要的作用。遙感成像的自動分析帶來了獨特的挑戰，例如，數據通常是多模態的(如光學或合成孔徑雷達傳感器)，位于地理空間(地理位置)，通常在全球范圍內，數據量不斷增長。

深度學習，尤其是卷積神經網絡(CNNs)已經主導了計算機視覺的許多領域，包括物體識別、檢測和分割。這些網絡通常以RGB圖像作為輸入，并執行一系列卷積、局部歸一化和池化操作。CNN通常依賴于大量的訓練數據，然后得到的預訓練模型被用作下游各種應用的通用特征提取器。基于深度學習的計算機視覺技術的成功也激勵了遙感界，在許多遙感任務中取得了重大進展，包括高光譜圖像分類、變化檢測和高分辨率衛星實例分割。

卷積運算是CNN的主要組成部分之一，它捕獲輸入圖像中元素(如輪廓和邊緣信息)之間的局部相互作用。CNN編碼的偏差，如空間連通性和翻譯等方差。這些特性有助于構建可推廣和高效的體系結構。然而，局部接受域在CNN限制建模的遠程依賴圖像(如，遙遠的部分關系)。此外，卷積是內容獨立的，因為卷積濾波器的權值是固定的，對所有輸入應用相同的權值，而不管它們的性質。近年來，視覺transformers (ViTs)[1]在計算機視覺的各種任務中表現出了令人印象深刻的性能。ViT基于自注意力機制，通過學習序列元素之間的關系有效地捕獲全局交互。最近的研究[2]，[3]表明ViT具有內容依賴的遠程交互建模能力，可以靈活調整其接受域以對抗數據中的干擾并學習有效的特征表示。因此，ViT及其變體已成功地用于許多計算機視覺任務，包括分類、檢測和分割。

隨著ViTs 在計算機視覺領域的成功，遙感界也見證了基于transformers的框架在許多任務中的應用的顯著增長(見圖1)，如高分辨率圖像分類、變化檢測、平移銳化、建筑物檢測和圖像字幕。這開啟了利用ImageNet預訓練[4]-[6]或使用視覺transformers進行遙感預訓練[7]的不同方法的有前景的遙感研究的新浪潮。同樣，文獻中也存在基于純transformers設計[8]、[9]或基于transformers和CNN的混合方法[10]-[12]的方法。因此，由于針對不同遙感問題的基于transformers的方法迅速涌入，跟上最近的進展變得越來越具有挑戰性。在這項工作中，我們回顧了這些進展，并提出了最新的基于transformers的方法在流行的遙感領域。綜上所述，我們的主要貢獻如下:

本文對基于transformers的模型在遙感成像中的應用進行了全面綜述。據我們所知，我們是第一個在遙感中介紹transformers的調研，從而彌合了計算機視覺和遙感在這一快速增長和流行領域的最新進展之間的差距。

我們概述了CNN和transformers，討論了它們各自的優點和缺點。

本文綜述了60多項基于transformers的研究工作，討論了遙感領域的最新進展。

在此基礎上，討論了遙感transformers面臨的不同挑戰和研究方向。

論文的其余部分組織如下:第二節討論了其他有關遙感成像的調研。在第三節中，我們概述了遙感中不同的成像方式，而第四節提供了CNN和視覺transformers的簡要概述。之后，我們回顧了基于transformers的方法在非常高分辨率(VHR)成像(第五節)、高光譜圖像分析(第六節)和合成孔徑雷達(SAR)方面的進展。在第八部分，我們總結了我們的調研，并討論了潛在的未來研究方向。

遙感圖像數據集

遙感圖像通常從各種來源和數據收集技術獲得。遙感影像數據的典型特征是其空間、光譜、輻射和時間分辨率。空間分辨率指的是圖像中每個像素的大小，以及對應像素所代表的地球表面的面積。空間分辨率的特點是成像場景中可以分離的微小和精細特征。光譜分辨率是指傳感器通過識別更細的波長來收集場景信息的能力，具有更窄的波段(如10 nm)。另一方面，輻射分辨率表征了每個像素的信息程度，傳感器的動態范圍越大，就意味著在圖像中可以識別出更多的細節。時間分辨率是指在地面上獲取的相同位置的連續圖像之間所需的時間。在此，我們簡要討論常用的遙感成像類型，圖2所示的例子。

Transformers 遙感圖像處理

近年來，基于transformers的模型在許多計算機視覺和自然語言處理(NLP)任務中取得了很好的結果。Vaswani等人[17]首先將transformers作為注意力驅動模型引入機器翻譯應用。為了捕獲長距離依賴關系，transformers使用自注意力層，而不是傳統的循環神經網絡，后者努力編碼序列元素之間的這種依賴關系。為了有效地捕捉輸入圖像中的遠程依賴關系，[1]的工作引入視覺轉換器(ViTs)來完成圖像識別任務，如圖3所示。ViTs[1]將圖像解釋為補丁序列，并通過與NLP任務中使用的類似的傳統transformers編碼器對其進行處理。ViT在通用視覺數據中的成功不僅激發了計算機視覺的不同領域的興趣，也激發了遙感社區的興趣，近年來，許多基于ViT的技術已被探索用于各種任務。

遙感場景分類是一個具有挑戰性的問題，其任務是自動關聯一個語義類別標簽到一個給定的高分辨率圖像，包括地物和不同的土地覆蓋類型。在現有的基于視覺transformers的VHR場景分類方法中，Bazi等人[4]探討了標準視覺transformers 架構1的影響，并研究了產生加法數據的不同數據增強策略。此外，他們的工作還評估了通過修剪層次來壓縮網絡的影響，同時保持分類精度。

在VHR成像中，由于物體的尺度變化和類別的多樣性，目標的定位是一個具有挑戰性的問題。這里的任務是同時識別和定位(矩形或定向邊界框)圖像中屬于不同對象類別的所有實例。大多數現有的方法采用混合策略，結合有線電視網絡和transformers 的優點在現有的兩級和單級探測器。除了混合策略，最近很少有研究探討基于DETR的transformers 目標檢測范式[36]。

在遙感中，圖像變化檢測是探測地表變化的一項重要任務，在農業[50]、[51]、城市規劃[52]、地圖修訂[53]等方面有著廣泛的應用。這里的任務是生成通過比較多時間或雙時間圖像獲得的變化圖，所得到的二進制變化圖中的每個像素根據對應位置是否發生了變化而具有0或1值。在最近的基于transformer的變化檢測方法中，Chen等人[54]提出了一種雙時間圖像transformer，封裝在一個基于深度特征差異的框架中，旨在對時空上下文信息建模。在提出的框架中，編碼器被用于捕獲基于標記的時空中的上下文。然后將所得到的上下文化令牌提供給解碼器，在解碼器中，特征在像素空間中進行細化。Guo等人[55]提出了一種深度多尺度連體結構，稱為MSPSNet，利用并行卷積結構(PCS)和自我關注。本文提出的MSPSNet通過PCS對不同時間點圖像進行特征集成，然后基于自注意力的特征細化，進一步增強多尺度特征。

在遙感領域，通過像素級分類自動將圖像分割為語義類是一個具有挑戰性的問題，其應用范圍廣泛，包括地質調查、城市資源管理、災害管理和監測等。現有的基于transformers的遙感圖像分割方法通常采用混合設計，目的是結合CNNs和transformers的優點。[65]提出了一種基于transformers的輕型框架Efficient-T，該框架包含隱式邊緣增強技術。提出的Efficient-T采用分層式Swin-transformers和MLP頭。[66]中引入了一種耦合的CNN-transformers框架，稱為CCTNet，旨在將CNN捕捉到的局部細節，如邊緣和紋理，以及通過transformers獲得的全局上下文信息結合起來，用于遙感圖像的裁剪分割。此外，還引入了測試時間增強和后處理等模塊，在推理時去除孔洞和小目標，從而恢復完整的分割圖像。

在這項工作中，我們介紹了遙感成像transformers的廣泛概述:非常高分辨率(VHR)，高光譜和合成孔徑雷達(SAR)。在這些不同的遙感圖像中，我們進一步討論了基于transformers 的各種任務的方法，如分類、檢測和分割。我們的調研涵蓋了60多個基于transformers 的遙感研究文獻。我們觀察到transformers 在不同的遙感任務中獲得了良好的性能，這可能是由于它們捕獲遠程依賴關系的能力以及它們的表示靈活性。此外，幾種標準transformers 架構和主干的公開可用性使得探索它們在遙感成像問題中的適用性變得更加容易。

摘要

今天的軍事行動中使用的防御系統并沒有為現代技術所能發動的攻擊做好準備。使用無人機、電子戰和其他手段造成的破壞在最近的交戰中被證明是非常致命的，如敘利亞、亞美尼亞和烏克蘭。有現成的技術以及其他需要額外研究和開發的技術，可以幫助保護北約部隊免受這些威脅。為了做好現代戰場的準備，北約部隊必須改變他們的訓練和裝備，否則將面臨巨大的減員風險。本文將探討混合戰場的威脅，并就如何更新戰術以防范這些威脅提出建議。隨著我們的部隊重新將重點從反叛亂行動轉向同行競爭者，我們的訓練和行動也需要發展。僅僅塵封冷戰時期的野戰手冊和恢復訓練中心的高強度場景對于混合戰場是不夠的。建議的變革可以而且應該迅速實施，以擊敗這些現有和新出現的威脅。

引言

隨著新威脅的出現，現代戰場正在繼續演變，產生了被稱為 "混合戰爭"的情況。在諸如敘利亞、沙特阿拉伯、亞美尼亞和烏克蘭的沖突中，武器正在被引入或以新的方式使用。無人機正在集體或單獨進行攻擊，作為彈藥投送系統或飛行炸彈[1]-[3]。電子戰正經歷著信號干擾和定位系統（PLS）欺騙的重新崛起[4], [5]。隨著僵尸網絡傳播錯誤信息和針對關鍵基礎設施的網絡攻擊，信息戰正變得越來越突出[6]。鑒于這些威脅，北約部隊必須重新思考他們的防御措施，以保護他們的戰斗力并保持他們的機動自由。

目前的軍事實戰手冊充滿了為昨天的戰場設計的技術和戰術。偽裝設計主要是為了將部隊隱藏起來，不被人看到。戰術障礙物主要集中在對載人地面車輛和人員進行渠化、轉向或阻擋。信息傳播停留在傳單和擴音器廣播等舊媒體上。在這些舊戰術的基礎上，再加上二十年的戰場優勢，使得部隊對控制其電磁輻射不以為然。同行競爭者和等級較低的對手都準備使用往往具有不對稱優勢的技術，而且成本相對較低。如果我們不調整我們的防御措施以適應這些新的威脅，那么我們目前的軍事優勢就會消失殆盡。

為了保護我們的部隊，我們必須專注于最大的威脅。第一次世界大戰前，在頭頂上挖掘戰斗陣地的做法并不常見，因為大炮并不是后來的傷亡制造者。在這種情況下，戰術的演變是為了應對威脅。據報道，在烏克蘭和亞美尼亞-阿塞拜疆的戰斗編隊被無人機部隊迅速摧毀，這表明我們最大的威脅之一是瞄準系統。因此，偽裝戰術需要不斷發展，以對抗基于人工智能（AI）的瞄準系統。保護我們的部隊還可能涉及建立定位、導航和定時（PNT）防御系統，以逃避PNT制導的彈藥。工程方面的努力可能會轉移到建造側重于空中和地面無人機的障礙物上。需要作出新的努力來減少電磁輻射，以保護其不受測向資產和干擾系統的干擾。最后，信息戰將需要通過防止泄露情報和欺騙在線數據挖掘系統得出不正確的結論來關注行動安全和欺騙。在下面的章節中，我們將對各種技術進行研究，以提出保護我們部隊所需的潛在行動。