空間態勢感知是準確描述和預測空間環境狀態的能力，隨著運行衛星數量的增加，空間態勢感知已成為人們關注的話題。這一趨勢是由大型衛星星座的部署推動的，這些星座在完全部署后可能由數萬顆衛星組成。準確跟蹤空間物體對于預測和防止物體之間的碰撞非常重要，因為碰撞可能會對運行中的衛星造成災難性損害，并產生碎片云，危及其他衛星。然而，跟蹤空間物體非常復雜，部分原因是測量結果的來源不確定，這個問題被稱為數據模糊性。雖然存在多種能夠處理數據模糊性的目標跟蹤算法，但在太空環境中進行跟蹤還面臨其他挑戰。由于相對于可用傳感器資源而言，目標數量眾多，因此每個目標的可用觀測數據數量通常較少，而且由于上述數據模糊問題，許多觀測數據互不相關。最近興起的大型星群帶來了另一個問題，即相關衛星將利用低推力推進系統來保持編隊，這就要求具備機動目標跟蹤能力，以獲得最佳性能。在本論文中，我們將分析兩個問題，這兩個問題代表了運營商在不久的將來將面臨的空間物體跟蹤挑戰。我們將展示如何利用有限集統計開發適用的算法。有限集統計是一種數學框架，允許采用自上而下的方法開發具有所需功能的嚴格貝葉斯最優多目標過濾器。

分析的第一個問題是大型星座跟蹤問題。我們模擬了一個由 4,500 多顆低地球軌道衛星組成的星座，并使用 12 個地面近視傳感器網絡對其進行跟蹤。這些傳感器的任務由一個結合了信息論獎勵的成本函數來完成。我們還利用戰術重要性函數，將基于任務的目標（如有碰撞風險的物體的優先級）納入任務分配邏輯。收集到的數據將通過一個帶標記的多貝努利濾波器進行處理。濾波器產生的狀態目錄估計值用于激勵下一輪傳感器任務分配，從而形成一個用于綜合任務分配和跟蹤的自主閉環系統。經過五天的跟蹤期后，狀態目錄估計值將用于執行會合分析。我們將現有方法結合起來，為衛星間近距離接近的過濾和風險量化提供了一個計算效率高的工作流程。

分析的第二個問題是在存在機動目標時跟蹤多個目標。機動目標以不可預測的方式偏離其自然軌跡，通常需要專門的跟蹤算法才能獲得最佳性能。跟蹤此類目標的常用方法是交互式多模型濾波器，該濾波器可維持一組模型來表示目標的可能動態。未知動態可通過等效噪聲概念表示為白噪聲過程。這樣就能有效地跟蹤機動空間物體，但這種算法缺乏表征機動的能力。利用有限集統計，我們能夠開發出一種廣義標注多貝努利濾波器，允許整合任意動態模型。這樣，我們就能利用數據自適應方法，更具體地模擬未知動態，從而使濾波器除了進行機動目標跟蹤外，還能進行機動特征描述。我們還開發了一種基于考慮的最小二乘機動估計算法，該算法使用單次脈沖速度變化對未知動力學進行建模。這種機動的時間是通過多重假設法估算出來的。這種方法與我們提出的廣義標注多伯努利濾波器相結合，并應用于模擬地球靜止軌道衛星群，其中包括一顆執行未知機動的衛星。

大型星座跟蹤工作的結果表明，綜合任務分配和跟蹤算法能夠保持對所有模擬衛星的監護。在傳感器任務分配邏輯中加入了碰撞風險的衡量標準，從而提高了風險分析的準確性，但改進不大。我們假設，采用更通用的優化算法或不同的傳感器架構，可能會使基于任務目標的任務分配產生更大的影響。我們對機動目標跟蹤問題的研究結果表明，我們能夠以可接受的準確度描述機動動態。與實際機動相比，我們的表征絕對誤差相對較高，但我們能夠保持對所有目標的監護。在整個機動過程中，一致性指標保持穩定，這表明對估計的機動誤差不確定性進行了精確量化。未來的工作還包括將這項工作擴展到更大規模的場景，在這種場景中，由于機動檢測對計算效率的影響，機動檢測將成為一個更大的因素。此外，還需要進一步開展工作，將我們的算法擴展到低地軌道跟蹤場景中經常使用的非高斯狀態表示法。

圖 3.3：整合各種算法，形成自主風險感知衛星跟蹤系統。

過去幾十年來，在安全、監視、情報收集和偵察等許多領域，對目標跟蹤（OT）應用的需求一直在增加。最近，對無人系統新定義的要求提高了人們對 OT 的興趣。機器學習、數據分析和深度學習的進步為識別和跟蹤感興趣的目標提供了便利；然而，持續跟蹤目前是許多研究項目感興趣的問題。本論文提出了一個系統，實現了一種持續跟蹤目標并根據其先前路徑預測其軌跡的方法，即使該目標在一段時間內被部分或完全隱藏。該系統分為兩個階段： 第一階段利用單個固定攝像機系統，第二階段由多個固定攝像機組成的網狀系統。第一階段系統由六個主要子系統組成：圖像處理、檢測算法、圖像減法器、圖像跟蹤、跟蹤預測器和反饋分析器。系統的第二階段增加了兩個主要子系統：協調管理器和相機控制器管理器。這些系統結合在一起，可以在目標隱藏的情況下實現合理的目標跟蹤連續性。

毫米波（mmWave）雷達與光學傳感器不同，體積小巧、精度高、穿透力強且符合隱私保護標準，因此在多傳感器應用中無處不在。然而，光學傳感器的高分辨率和圖像數據集的廣泛可用性導致了使用光學傳感器的機器學習解決方案的快速發展，從而將毫米波雷達推向了輔助傳感器的角色。本論文針對醫療保健、軍事和自主感知領域，介紹了一系列嘗試利用傳感器融合和機器學習方法增強毫米波雷達能力的新方法。首先，論文介紹了骨骼姿態估計技術，該技術可檢測到 15-25 個關鍵點，三維定位誤差小于 3 厘米，可潛在應用于病人/老年人監測、步態分析和識別以及行人監測。其次，介紹了一種自動雷達標注方案，以鼓勵快速開發雷達圖像數據集，幫助自主感知。這項研究還包括使用傳感器融合特征向量和 12 維雷達特征向量進行目標分類，在車輛與行人檢測研究中，準確率分別達到 98% 和 92%。最后，利用雷達-攝像頭傳感器融合技術探索了基于 DNN-LSTM 的目標跟蹤方法和基于三卡爾曼濾波器的目標跟蹤方法，在這兩種方法中，系統不僅提高了定位精度，而且對單個傳感器故障具有魯棒性。基于 DNN-LSTM 的跟蹤器的優勢在于它不需要事先在雷達和攝像頭之間進行校準，而且對于確定單個傳感器提供的定位差異至關重要。基于三卡爾曼濾波器的方法將這些發現用于多目標跟蹤，精度達到 26 厘米，與最先進的方法不相上下，漏檢率小于 4%，與文獻中大于 16% 的 FNR 相比有了顯著提高。本研究提出的方法大大提高了感知能力，使自主系統更加安全。

目標檢測是用于軍事應用的計算機視覺的最流行領域之一。在這種情況下，目標檢測模型的使用方式之一是用于戰場上的實時目標識別。許多這些模型開始被納入士兵使用的技術中（即無人駕駛地面車輛和平視顯示器），以幫助他們識別周圍可能代表對其安全的潛在威脅的目標。通過正確檢測和分類戰場上的危險目標，這些模型能夠為士兵提供關于他們周圍環境的有用信息，以便他們能夠就如何進行任務做出決定。

目前的目標檢測模型出現的一個主要問題是，它們難以檢測到只有部分可見或被遮擋的目標。在這些情況下，目標探測模型往往根本無法探測到這些目標。它們也可能檢測到部分被遮擋的目標，但卻用錯誤的目標類別對它們進行分類。遮擋是許多研究人員在開發和訓練他們的目標檢測模型時沒有考慮的一個條件，盡管它在現實世界中很常見。為了確保士兵的安全，以及改善未來目標檢測模型的狀況，有必要確定當前的目標檢測模型在面對這種情況時的工作情況。

這項工作的主要目的是對三種最先進的目標檢測模型進行基線評估，這些模型是在一個包含許多部分遮擋目標的流行目標識別數據集上進行的。這樣做之后，對每個模型的結果進行了比較。本實驗中使用的模型是Gonzalez-Garcia模型、Detectron的Faster R-CNN和YOLOv5。它們被訓練和測試的數據集是流行的模式分析、統計建模和計算學習視覺對象類（PASCAL VOC）挑戰數據集之一，特別是VOC 2010。本報告首先介紹了每個目標檢測模型和VOC數據集的概況。然后給出了關于實驗的更多細節，以及結果和結論。

準確的軌跡和目標定位是為決策者提供執行任務信心的關鍵。越來越多的不同情報來源的多種情報、監視和偵察（ISR）資產被用來提高跟蹤定位的準確性，因此需要開發利用異質傳感器數據流的方法，以更好地估計目標狀態。常用于目標狀態估計的算法之一是卡爾曼濾波（KF）算法。如果其協方差矩陣是對傳感器測量的不確定性的準確近似，該算法表現良好。此研究補充了美國海軍正在進行的人工智能/機器學習（AI/ML）工作，定量評估了使用ML模型預測傳感器測量噪聲進行KF狀態估計的潛力。使用計算機模擬來生成單個目標的傳感器軌跡，并訓練一個神經網絡來預測傳感器的誤差。混合模型（ML-KF）能夠在目標位置估計中比使用歸一化傳感器誤差的基線KF模型的性能好大約20%。進一步研究用外部環境變量作為輸入來增強ML模型，有可能創建一個能夠在不同環境下運行的自適應狀態估計系統。

處理和利用多種情報數據流的能力對于實現卓越的戰斗空間態勢至關重要。美國海軍，特別是海軍信息部隊（NAVIFOR），正在探索人工智能（AI）/機器學習（ML）技術的有效性，以協助數據融合并提供快速和及時的共同作戰圖像（COP）/共同戰術圖像（CTP）分析。一個重點領域是過濾來自不同傳感器系統的數據，以提供對戰斗空間中目標的改進的狀態估計。這是一項關鍵任務，因為準確的跟蹤和瞄準是為決策者提供執行任務信心的關鍵。

本論文旨在評估整合人工智能/ML算法和技術的可行性，以過濾異質數據集，提高開發COP/CTP時的軌跡估計的準確性。卡爾曼濾波法（KF）及其變種經常被用來估計戰斗空間中目標的位置。然而，估計的準確性會受到外部條件變化和對目標假設的違反的極大影響。

Gao等人（2020年）、Jouaber等人（2021年）和Ullah等人（2019年和2020年）的研究表明，在標準KF中集成一個學習模塊，以提高狀態估計的準確性。這項研究使用一個神經網絡（NN）來學習與傳感器測量相關的測量不確定性的變異性。這些變異性的存在是由于外部因素的變化，如天氣狀況，這些因素并沒有直接作為KF算法的狀態模型。這有可能提高我們的COP/CTP，特別是當外部因素動態地影響我們的傳感器融合系統時。

我們使用一種定量的方法來評估選定的人工智能/ML算法在過濾目標位置數據集方面的準確性。我們假設，在KF模型中加入學習模塊將超過標準的KF模型，并對目標位置提供更好的估計。為此，我們設計了一個三階段的數據管道（圖1）。

圖 1. 評估跟蹤過濾算法的方法。

首先，使用模擬軟件生成傳感器數據--Command。現代行動（CMO）由Matrix Games（Matrix Games, 2022b）開發。使用了一個由來自不同情報領域的多個對峙傳感器和一個單一目標組成的場景。第二，開發了兩套模型--使用KF算法的標準基線模型，以及使用嵌入KF算法的神經網絡的另一套模型（我們稱之為ML-KF模型）。這個神經網絡是一個在訓練數據集上訓練的學習模塊，用來估計KF的傳感器測量噪聲。我們在可能的不同超參數中進行超參數搜索，以提高每個傳感器的ML模型的性能。在最后階段，兩個模型的性能被評估為估計目標狀態位置的準確性。

我們的研究結果表明，整合ML模型來估計標準KF算法的傳感器測量誤差矩陣，可以顯著提高目標狀態估計的準確性，在5%的置信度下約為20%。綜上所述，我們的貢獻有以下幾點。

1. 我們開發了一個ML操作管道，從模擬中攝取數據來訓練、驗證和測試機器學習模塊，以便隨后部署在KF系統中。該方法、數據集和生成的模型是可重現和可復制的，因為用于該開發的代碼庫和框架是完全開源的。

2. 我們已經證明，嵌入標準KF算法的學習模塊可以比標準KF模型改善狀態估計。ML-KF模型能夠產生一個傳感器測量誤差矩陣來更新KF算法對傳感器測量的概率信念，從而改善KF的估計。

3. 我們之所以能夠訓練KF模型中使用的學習模塊，只是因為我們的仿真系統提供了一個實戰范圍可能無法提供的地面真實目標狀態。這證明了使用模擬來開發ML模型并隨后將其部署在現場的潛力。

我們的研究使用ML模型來預測標準KF算法的傳感器測量誤差。我們的ML-KF模型能夠在5%的置信度下明顯優于我們的基線模型，表明使用ML-KF模型將改善目標位置狀態估計的性能，緩解了異質傳感器數據流中不存在傳感器測量的不確定性時的性能問題。換句話說，在沒有傳感器數據的不確定性測量時，嵌入KF的ML能夠預測不確定性并動態更新KF算法的參數。

這個概念驗證有可能使用更復雜的方法進一步擴展。我們提出了未來研究的三個關鍵領域。1）通過包括在KF中沒有直接建模或使用的其他參數（如戰斗空間的天氣狀況），來提高ML-KF模型的可推廣性。2）使用時間序列方法對目標的時間運動進行建模，從而提高嵌入KF中的學習模塊的預測能力。3）使用ML模型進行多目標數據過濾（JDL 2級），通過包括分類任務來對跟蹤數據進行分類。

隨著國防部越來越多地將重點轉移到ML的應用上，我們認為，這種在數據過濾中的應用將能夠增強現有的數據過濾方法，并消除替換這些方法的費用。例如，通過增強現有的COP/CTP數據過濾算法，我們將能夠對目標進行更準確的狀態估計，從而對目標在COP/CTP中的位置提供更高的信心。這種ML-KF模型攝取異質數據流的能力也是一個強大的工具，可以使情報分析員的工作自動化，他們經常需要在不同的情報領域交叉參考他們的來源。通過改進我們的作戰人員可用的成套工具，他們在應對任何對手時將更具殺傷力。

認知型雷達，根據IEEE標準雷達定義686[1]，是 "在某種意義上顯示智能的雷達系統，根據不斷變化的環境和目標場景調整其操作和處理"。特別是，嵌入認知型雷達的主動和被動傳感器使其能夠感知/學習動態變化的環境，如目標、雜波、射頻干擾和地形圖。為了達到探測、跟蹤和分類等任務的優化性能，認知雷達中的控制器實時適應雷達結構并調整資源分配策略[2, 3, 4]。對于廣泛的應用，已經提出了不同的適應技術和方法，例如，自適應重訪時間調度、波形選擇、天線波束模式和頻譜共享，以推進認知雷達背景下的數學基礎、評估和評價[5, 6, 7, 8, 9, 10]。

雖然認知方法和技術在提高雷達性能方面取得了很大進展，但認知雷達設計和實施的一個關鍵挑戰是它與最終用戶的互動，即如何將人納入決策和控制的圈子。在國家安全和自然災害預報等關鍵情況下，為了提高決策質量和增強態勢感知（SA），將人類的認知優勢和專業知識納入其中是必不可少的。例如，在電子戰（EW）系統中，在設計適當的反措施之前，需要探測到對手的雷達。在這種情況下，戰役的進程和成功取決于對一個小細節的觀察或遺漏，僅靠傳感器的自動決策可能是不夠的，有必要將人納入決策、指揮和控制的循環中。

在許多應用中，人類也充當了傳感器的角色，例如，偵察員監測一個感興趣的現象（PoI）以收集情報。在下一代認知雷達系統中，最好能建立一個框架來捕捉基于人類的信息來源所建議的屬性，這樣，來自物理傳感器和人類的信息都可以被用于推理。然而，與傳統的物理傳感器/機器4的客觀測量不同，人類在表達他們的意見或決定時是主觀的。人類決策的建模和分析需要考慮幾個因素，包括人類的認知偏差、處理不確定性和噪音的機制以及人類的不可預測性，這與僅由機器代理組成的決策過程不同。

已經有研究工作利用信號處理和信息融合的理論來分析和納入決策中的人類特定因素。在[11]中，作者采用了先驗概率的量化來模擬人類在貝葉斯框架下進行分類感知而不是連續觀察的事實，以進行協作決策。在[12，13]中，作者研究了當人類代理人被假定使用隨機閾值進行基于閾值的二元決策時的群體決策性能。考慮到人類受到起點信念的影響，[14]中研究了數據的選擇、排序和呈現對人類決策性能的影響。在人類協作決策范式中，已經開發了不同的方案和融合規則來改善人類人群工作者的不可靠和不確定性[15, 16]。此外，在[17，18]中，作者將前景理論（PT）用于描述人類的認知偏見，如風險規避，并研究了現實環境中的人類決策行為。在[19, 20]中也探討了基于人類和機器的信息源在不同場景下的信息融合。在[19]中，作者表明，人類的認知力量可以利用多媒體數據來更好地解釋數據。一個用戶細化階段與聯合實驗室主任（JDL）融合模型一起被利用，以在決策中納入人類的行為因素和判斷[20]。

未來的戰場將需要人類和機器專業知識的無縫整合，他們同時在同一個環境模型中工作，以理解和解決問題。根據[21]，人類在隨機應變和使用靈活程序、行使判斷和歸納推理的能力方面超過了機器。另一方面，機器在快速反應、存儲大量信息、執行常規任務和演繹推理（包括計算能力）方面勝過人類。未來雷達系統中的高級認知尋求建立一種增強的人機共生關系，并將人類的優點與機器的優點融合在一起[22]。在本章中，我們概述了這些挑戰，并重點討論了三個具體問題：i）人類決策與來自物理傳感器的決策的整合，ii）使用行為經濟學概念PT來模擬人類在二元決策中的認知偏差，以及iii）在相關觀測下半自主的二元決策的人機協作。

本章的其余部分組織如下。在第11.1節中，我們介紹了一項工作，說明如何將人類傳感器的存在納入統計信號處理框架中。我們還推導出當人類擁有機器無法獲得的輔助/側面信息時，這種人機一體化系統的漸進性能。我們采用行為經濟學的概念前景理論來模擬人類的認知偏差，并在第11.2節中研究人類在二元假設檢驗框架下的決策行為。第11.3節討論了一種新的人機協作范式來解決二元假設檢驗問題，其中人的知識和機器的觀察的依賴性是用Copula理論來描述的。最后，我們在第11.4節中總結了與這個問題領域相關的當前挑戰和一些研究方向，然后在第11.5節中總結。

計算機視覺中的一項挑戰性任務是尋找技術來提高用于處理移動空中平臺所獲圖像的機器學習（ML）模型的目標檢測和分類能力。目標的檢測和分類通常是通過應用有監督的ML技術完成的，這需要標記的訓練數據集。為這些訓練數據集收集圖像是昂貴而低效的。由于一般不可能從所有可能的仰角、太陽角、距離等方面收集圖像，這就導致了具有最小圖像多樣性的小型訓練數據集。為了提高在這些數據集上訓練的監督性ML模型的準確性，可以采用各種數據增強技術來增加其規模和多樣性。傳統的數據增強技術，如圖像的旋轉和變暗，在修改后的數據集中沒有提供新的實例或多樣性。生成對抗網絡（GAN）是一種ML數據增強技術，它可以從數據集中學習樣本的分布，并產生合成的復制，被稱為 "深度偽造"。這項研究探討了GAN增強的無人駕駛飛行器（UAV）訓練集是否能提高在所述數據上訓練的檢測模型的可推廣性。為了回答這個問題，我們用描述農村環境的航空圖像訓練集來訓練"你只看一次"（YOLOv4-Tiny）目標檢測模型。使用各種GAN架構重新創建幀中的突出目標，并將其放回原始幀中，然后將增強的幀附加到原始訓練集上。對航空圖像訓練集的GAN增強導致YOLOv4-微小目標檢測模型的平均平均精度（mAP）平均增加6.75%，最佳情況下增加15.76%。同樣，在交叉聯合（IoU）率方面，平均增加了4.13%，最佳情況下增加了9.60%。最后，產生了100.00%的真陽性（TP）、4.70%的假陽性（FP）和零的假陰性（FN）檢測率，為支持目標檢測模型訓練集的GAN增強提供了進一步證據。

引言

對從移動平臺上獲得的數據進行圖像和視頻分類技術的調查，目前是計算機視覺領域中一個越來越受關注的領域。由空中飛行器收集的圖像對于收集信息和獲得對環境的洞察力非常重要，否則在地面上的評估是無法實現的。對于訓練目標檢測模型來說，用于創建這些模型的訓練集的一個重要特征是這些訓練集必須在其圖像中包含廣泛的細節多樣性。過去的數據增強技術，例如旋轉、添加噪音和翻轉圖像，被用來增加訓練集的多樣性，但由于它們無法向數據集添加任何新的圖像，所以是弱的方法。研究新的圖像增強和分類方法，其中包括機器學習（ML）技術，有助于提高用于航空圖像分類的模型的性能。

1.1 背景與問題陳述

1.1.1 背景

最近，使用ML算法對圖像進行分類或預測的情況越來越多。雖然ML已經被使用了幾十年，但在圖像上，我們看到合理的進展是在過去的20年里。隨著信息收集和存儲的技術進步及其可及性的擴大，可用于分析的數據量正以指數級的速度增長。計算機的隨機存取存儲器（RAM）和硬件存儲的增加迎合了擁有巨大的數據集來訓練、測試和驗證ML模型以實現較低的偏差和變異的需要。技術上的其他進步來自于計算機圖形處理單元（GPU）的改進，它允許以更快的速度處理大量的數據，這是實時圖像處理的兩個重要能力[2]。

人工神經網絡（ANNs）是ML的一個子集，其靈感來自于大腦中神經元的生物結構，旨在解決復雜的分類和回歸問題[3]。深度學習是ANNs的一個子集，它創建了多個相互連接的層，以努力提供更多的計算優勢[3]。卷積神經網絡（CNN）是ANN的一個子集，它允許自動提取特征并進行統一分類。一般來說，CNN和ANN需要有代表性的數據，以滿足操作上的需要，因此，由于現實世界中的變化，它們往往需要大量的數據。雖然在過去的十年中收集了大量的數據，但微不足道和不平衡的訓練數據集的問題仍然阻礙著ML模型的訓練，導致糟糕的、有偏見的分類和分析。相對較小的數據集導致了ML模型訓練中的過擬合或欠擬合。過度擬合的模型在訓練數據上顯示出良好的性能，但在模型訓練完成后，卻無法推廣到相關的真實世界數據。通過提供更大、更多樣化的訓練數據集，以及降低模型的復雜性和引入正則化，可以避免模型過擬合[4]。

過度擬合的模型不能學習訓練集的特征和模式，并對類似的真實世界數據做出不準確的預測。增加模型的復雜性可以減少欠擬合的影響。另一個克服模型欠擬合的方法是減少施加在模型上的約束數量[4]。有很多原因可以說明為什么大型、多樣的圖像集對訓練模型以檢測視頻幀中捕獲的目標很有用。當視頻取自移動平臺，如無人機或汽車時，存在Bang等人[5]所描述的進一步問題。首先，一天中拍攝圖像的時間以及天氣狀況都會影響亮度和陰影。其次，移動平臺收集的圖像有時會模糊和失真，這是因為所使用的相機類型以及它如何被移動平臺的推進系統投射的物理振動所影響。移動平臺的高度、太陽角度、觀察角度、云層和距離，以及目標的顏色/形狀等，都會進一步導致相機采集的樣本出現扭曲的影響。研究人員忽視這些參數的傾向性會導致模型在面對不同的操作數據時容易崩潰。這些因素使得我們有必要收集大量包含各種特征、圖像不規則性和扭曲的視頻幀，以復制在真實世界的圖像收集中發現的那些特征，從而訓練一個強大的目標檢測和分類模型。

為了增加圖像的多樣性，希望提高在數據上訓練的分類模型的結果準確性，可以使用數據增強技術來扭曲由無人駕駛飛行器（UAV）收集的圖像。目前的一些數據增強技術包括翻轉、旋轉或扭曲圖像的顏色。雖然這些增強技術可以在數據集中引入更多的多樣性，但它們無法為模型的訓練提供全新的框架實例。

生成性對抗網絡（GAN）是一種ML技術，它從數據集的概率分布和特征中學習，以生成數據集的新的合成實例，稱為 "深度假象"。GAN的實現是一種更強大的數據增強技術，因為它為訓練集增加了新的、從未見過的實例，這些實例仍然是可信的，并能代表原生群體。為ML模型提供這種新的訓練實例，可以使模型在實際操作環境中用于檢測時更加強大。

1.1.2 問題說明

圖像采集面臨的一個普遍問題是沒有收集足夠大和多樣化的訓練和測試數據集來產生高效的ML模型。這些微不足道的訓練集所顯示的多樣性的缺乏，使模型在用于實時檢測時表現很差。找到增加這些數據集的方法，無論是通過額外的數據收集還是其他方法，對于創建一個強大的、可歸納的模型都很重要。

計算機視覺中的第二個問題是傳統的數據增強技術所產生的圖像多樣性增加不足。通過旋轉、翻轉或調暗每一個收集到的視頻幀來增強數據集，不能為訓練集增加任何額外的實例，這與上面提到的第一個問題相矛盾。需要找到一種新的數據增強技術，在不需要收集更多數據的情況下提供新的實例，這對于快速訓練檢測模型以便在快速變化的操作環境中部署非常重要。

1.2 研究問題

本研究試圖回答以下問題：

1.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高卷積神經網絡（CNN）目標檢測模型的分類精度和可推廣性？

2.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高CNN目標檢測模型的定位和通用性？

3.從未增強的數據集和增強的數據集中可以得出什么推論，顯示它們的相似性和不相似性？

提供支持第一和第二個問題的證據可以改變數據科學家進行數據收集的方式，并將他們的努力轉向使用GAN的增強技術來創建用于ML研究的數據集。該模型不僅要能夠對目標進行分類，而且要訓練一個強大的目標檢測模型，使其能夠在圖像中找到感興趣的目標，并具有較高的交叉聯合（IoU）值，這就驗證了該模型能夠找到移動的目標，這些目標在捕獲的幀中的位置各不相同。一個模型的泛化是指該模型對網絡從未見過的輸入進行準確預測和分類的能力[6]。增強的數據集必須在質量和數量上與原始數據集相似，以證明模型泛化能力增強的斷言。

對最后一個問題的回答提供了理由，即來自GAN的增強對象在性質上是否與原始樣本相似，并且是對現實世界環境中發現的東西的合理復制。同類目標之間的高相似率可能會使GAN增強變得脆弱，需要進一步研究以用于實際應用。

1.3 研究的局限性

本研究的最大限制之一是能否獲得適當的硬件和軟件來實現不同的ML算法。雖然ML模型可以在中央處理器（CPU）上執行，但本論文中的模型在單個CPU上運行需要幾天，甚至幾周的時間。在運行深度學習模型時，GPU的效率要高得多，尤其是那些為圖像探索設計的模型。在整個研究過程中，GPU的使用非常有限，這給CNN和GAN模型的復雜性增加了限制，也增加了每個模型完成訓練迭代的時間。模型不可能同時運行，大大增加了本論文的完成時間。

另一個限制是本研究過程中可用的內存和硬盤內存的數量。內存不足進一步導致了模型復雜性的下降，以及模型在研究的訓練和測試過程中某一時刻可以利用的數據量的下降。這兩個模型組成部分的減少會導致次優模型。在這項研究中，我們采取了一些措施來減輕這些影響，包括選擇參數較少但性能與較復雜的模型相同的高水平的模型。此外，在訓練和測試過程中，將數據集劃分為多個批次，有助于緩解RAM和硬盤內存問題。

1.4 論文組織

本章討論了本論文將集中研究的ML的一般領域，以及概述了ML研究中出現的好處和限制。第2章提供了一個文獻回顧，研究了CNNs和GANs的理論。此外，它還提供了使用CNNs、GANs和從無人機收集的圖像幀進行的相關研究。第3章詳細介紹了數據集增強前后的CNN檢測模型的訓練過程。第4章提供了用于增強訓練集的合成目標的細節。第5章介紹了在原始和增強的訓練集上訓練的最佳模型的評估結果。第6章概述了在原始測試集訓練結束后進行的三個不同實驗的方法。第7章回顧了這三個不同實驗的結果。最后，第8章討論了從結果中得出的結論，以及對使用生成性對抗網絡（GANs）對移動平臺獲取的圖像進行數據增強領域的未來研究建議。

現代數字雷達在其波形、雷達參數設置和傳輸方案方面提供了前所未有的靈活性，以支持多種雷達系統目標，包括目標探測、跟蹤、分類和其他功能。這種靈活性為提高系統性能提供了潛力，但需要一個閉環感知和響應方法來實現這種潛力。完全自適應雷達（FAR），也被稱為認知雷達，是模仿認知的感知-行動周期（PAC），以這種閉環方式適應雷達傳感器。在這項工作中，我們將FAR概念應用于雷達資源分配（RRA）問題，以決定如何將有限的雷達資源如時間、帶寬和天線波束寬度分配給多個相互競爭的雷達系統任務，并決定每個任務的傳輸參數，使雷達資源得到有效利用，系統性能得到優化。

已經提出了一些感知-行動的RRA方法。這一領域的最新工作被稱為認知雷達資源管理，而較早的相關工作則被稱為簡單的傳感器管理或資源分配。這些算法依賴于兩個基本步驟。首先，它們以概率方式捕獲（感知）監視區域的狀態。其次，他們使用這種概率描述，通過確定哪些行動有望實現效用最大化來選擇未來的傳感行動。

任何RRA算法的一個關鍵挑戰是平衡目標探測、跟蹤、分類和其他雷達任務的多個競爭性目標。這一點通過優化步驟中用于選擇下一步雷達行動的目標函數來解決。目標函數也被稱為收益、標準、價值或成本函數。因此，以適合優化的數學形式闡明系統目標，對完全自適應雷達資源分配（FARRA）系統的運行至關重要。隨著可用于適應的參數數量和雷達系統任務數量的增加，這變得越來越困難。這種優化有兩種基本方法：任務驅動和信息驅動。

在任務驅動的方法中，為每個任務指定性能服務質量（QoS）要求，如探測目標的預期時間或跟蹤的均方根誤差（RMSE），并通過加權各種任務的效用來構建一個綜合目標函數。這樣做的好處是能夠分別控制任務性能，并確定任務的相對重要性。然而，它需要用戶有大量的領域知識和判斷力，以指定任務要求和傳感器成本，并構建成本/效用函數和加權，以結合不同的任務性能指標。

在信息驅動的方法中，一個全局信息測量被優化。常見的信息測量包括熵、相互信息（MI）、Kullback-Leibler分歧（KLD）和Renyi（alpha）分歧。信息指標隱含地平衡了一個雷達可能獲得的不同類型的信息。這具有為所有任務提供共同的衡量標準（信息流）的理想特性，但沒有明確優化諸如RMSE等任務標準。因此，信息理論的衡量標準可能很難被終端用戶理解并歸結為具體的操作目標。此外，如果沒有額外的特別加權，它們不允許單獨控制任務，并可能產生以犧牲其他任務為代價而過度強調某些任務的解決方案，或者選擇在用戶偏好判斷下只提供邊際收益的傳感器行動。

在這項工作中，我們考慮一個雷達系統對多個目標進行同步跟蹤和分類。基于隨機優化的FAR框架[28]，為我們的PAC提供了結構。我們開發并比較了用于分配系統資源和設置雷達傳輸參數的任務和信息驅動的FARRA算法，并在模擬機載雷達場景和俄亥俄州立大學的認知雷達工程工作區（CREW）實驗室測試平臺上說明其性能。這項工作結合并擴展了我們以前在傳感器管理[8-14]和FAR[18, 21, 27, 29-31]的工作。初步版本發表于[32]。結果表明，任務和信息驅動的算法具有相似的性能，但選擇不同的行動來實現其解決方案。我們表明，任務和信息驅動的算法實際上是基于共同的信息理論量，所以它們之間的區別在于所使用的指標的粒度和指標的加權程度。

本章的組織結構如下。在第10.2節中，我們提供了FAR框架的概述，在第10.3節中，我們通過為這個問題指定FAR框架的組成部分來開發多目標多任務FARRA系統模型。在第10.4節中，我們描述了組成FARRA PAC的感知和執行處理器，包括我們采用的任務和基于信息的目標函數。在第10.5節中，我們提供了比較優化方法的機載雷達仿真結果，在第10.6節中，我們展示了CREW測試平臺的結果。最后，第10.7節介紹了這項工作的結論。

完全自適應雷達框架

單個PAC的FAR框架是在[18, 27]中開發的，在此總結一下。圖10.1是一個系統框圖。PAC由感知處理器和執行處理器組成。PAC通過硬件傳感器與外部環境互動，通過感知處理器和執行處理器與雷達系統互動。感知處理器接收來自硬件傳感器的數據，并將其處理為對環境的感知。該感知被傳遞給雷達系統以完成系統目標，并傳遞給執行處理器以決定下一步行動。執行處理器接收來自感知處理器的感知以及來自雷達系統的要求，并解決一個優化問題以決定下一個傳感器的行動。執行處理器通知硬件傳感器下一次觀察的設置，傳感器收集下一組數據，然后循環往復。

圖10.1: 單一PAC FAR框架

認知或完全自適應雷達（FAR）是一個受生物系統啟發的研究領域，其重點是開發一個能夠自主適應其特性的雷達系統，以實現各種不同的任務，如改進環境感知和光譜靈活性。FAR框架在一個軟件定義的雷達（SDR）系統和模擬感知行動周期（PAC）的環境中實現了一個動態反饋回路（感知、學習、適應）。FAR框架在SDRs上的實現依賴于基于求解器的優化技術，用于其行動選擇。然而，隨著優化復雜性的增加，對解決方案收斂的時間產生了嚴重影響，這限制了實時實驗。此外，許多 "認知雷達 "缺乏記憶組件，導致對類似/熟悉的感知進行重復的優化程序。

利用現有的FAR框架模型，在神經網絡的啟發下進行了完善。通過使用神經網絡、機器學習的一個子集和其他機器學習的概念，對應用于單一目標跟蹤的FAR框架基于求解器的優化組件進行了替換。靜態前饋神經網絡和動態神經網絡在模擬和實驗環境中被訓練和實施。神經網絡和基于求解器的優化方法之間的性能比較表明，基于靜態神經網絡的方法具有更快的運行時間，這導致了更多的感知，有時通過較低的資源消耗獲得更好的性能。還對靜態前饋神經網絡、動態遞歸神經網絡和求解器的模擬結果進行了比較。這些比較進一步支持了神經網絡能夠通過納入學習為認知雷達提供記憶組件的概念，從而走向真正的認知雷達。還進行了額外的研究，以進一步顯示神經網絡在雷達快速生成波形的應用中的優勢。

FAR框架也從單目標跟蹤FAR框架擴展到多目標跟蹤。FAR框架的多目標實現顯示了自適應雷達技術在多目標環境中的優勢，由于場景中存在的目標數量增加以及需要解決所有目標，復雜性也隨之增加。由于多目標環境，對現有的成本函數和探測/跟蹤框架進行了改進和補充。實驗和模擬結果證明了FAR框架的好處，它使一個穩健的自適應算法能夠在多目標環境下改善跟蹤和有效的資源管理。

除此之外，分層完全自適應雷達（HFAR）框架也被應用于需要執行多個任務系統的資源分配問題。分層完全自適應雷達的任務靈活性（HFAR-TF）/自主決策（ADM）工作將HFAR框架應用于一個需要參與平衡多項任務的系統：目標跟蹤、分類和目標意圖辨別（"朋友"、"可能的敵人 "和 "敵人"）。

本博士論文的目標是將這些目標結合起來，形成一個建立改進當前認知雷達系統的方法的基礎。這是通過融合機器學習概念和完全自適應雷達理論來實現的，以實現真正的認知雷達的實時操作，同時也將自適應雷達概念推進到新的應用中。

第一章：簡介

1.1 概述

現代雷達系統的發展促進了軟件定義雷達（SDR）系統能夠實現動態反饋回路行為，與傳統雷達不同。傳統雷達的前饋性質依賴于感知環境的假設特性，產生固定的參數設置，以保證預定的信號干擾加噪聲比（SINR）或雷達任務性能。然而，動態/變化的環境會導致任務性能下降或系統資源的管理不善。缺乏對雷達前端特性的自適應控制會導致雷達后端的信號處理工作增加，嚴重依賴雷達操作員或根據最壞情況設置靜態的雷達系統參數。

完全自適應雷達（FAR）框架旨在利用現代SDR系統實現的傳感器參數多樣性，允許自主適應雷達波形特征，以實現更好的環境感知和雷達任務性能。FAR框架的自主性質也轉向將雷達操作員的角色轉變為咨詢角色，以及減少用于目標信息提取的額外信號處理負擔。

FAR框架通過試圖模仿動物和人類中存在的認知的神經科學概念來實現自主適應。正如[2,3,4,5]所討論的，認知過程必須包括五個主要元素：感知、注意和分析（智能）、行動和記憶。在[6]中，Haykin討論了傳統主動雷達、FAR和認知雷達之間的區別。 雖然FAR能夠通過反饋鏈路將接收機感知的環境與發射機的波形探測聯系起來，實現對環境的更好感知，但由于缺乏 "真正"學習所需的長期記憶，它的智能受到限制。

為了在認知雷達處理中進行優化，經常使用非線性函數。這些非線性函數在優化塊中實現，可以通過非線性約束目標函數的最小化進行雷達參數選擇和更新。對于FAR框架，這種 "執行優化"是在一個 "執行處理器塊 "中實現的，它試圖在服務質量（QoS）方法中平衡捕捉雷達系統基于任務的性能（性能成本）和傳感器資源消耗（測量成本）的成本函數。

在FAR框架中，執行優化被視為最關鍵的組成部分。在FAR框架中，通過結合注意力和分析，利用目標狀態的跟蹤和過去觀察的先驗知識（記憶）來選擇最佳參數指數選擇，執行處理器實現了"有限學習"。由于執行處理器中調用的傳感器參數選擇的性質，雷達波形參數被映射到雷達任務和目標性能上，給定的是先驗知識。此外，由于這種基于優化的適應性，隨著優化的復雜性增加，解決收斂的時間也在增加，因此限制了實時能力。

在概念上與FAR相似，機器學習是人工智能下的一個研究領域，它研究人類如何獲得知識，或學習，并在機器中表示這些概念。機器學習的一個子課題是神經網絡，通過它們的能力來模擬和實現學習過程，關聯、模式識別和關系建模都是神經網絡的有效任務，它可以用來提供對系統處理的較低影響，并通過識別/記憶開始學習。

1.2 動機和貢獻

學習被證明是認知系統中的一個關鍵組成部分，導致人們相信學習是認知雷達的一個主要組成部分。在[5]中，學習被定義為使用過去的信息來提高一個人的局部成功度。 然而，為了充分地從記憶和行動中學習，實時能力和性能必須是可行的。正如前面所討論的，由于用于行動選擇的優化，可以看出，隨著問題的復雜性增加，優化的計算成本也在增加。高計算成本和缺乏記憶對實現 "正式 "認知系統構成挑戰。

在FAR和認知雷達研究領域已經取得了許多進展：然而，大多數集中在缺乏長期記憶和聯想的自適應系統上。同樣，在基于神經網絡和機器學習的雷達研究方面也取得了許多進展，但大多數集中在基于分類和圖像識別的問題上。 本博士研究將著重于展示包括基于回歸的神經網絡如何通過降低對系統處理的影響來改善FAR的現有性能，并通過包括更強的記憶概念和將其擴展到展示學習來幫助認知雷達任務的執行，從而促成開發一個 "真正 "的認知系統。

這里討論的工作對認知雷達領域的貢獻如下：

• 通過用前饋神經網絡取代執行處理器中的優化組件，以降低對系統處理的影響并整合其固有的識別/記憶組件，開發了一個神經網絡啟發的FAR框架，即基于神經網絡控制的全適應雷達（FAR-NN）。

• 收集了不同參數適應情況下的模擬和實時實驗結果，并對局部解算器的實施和神經網絡進行了比較，結果表明靜態前饋神經網絡能夠實現較低的測量成本、更快的優化時間和類似的執行成本性能。

• 通過在每個傳感器感知行動周期（PAC）的 "執行處理器 "中模擬傳感器參數選擇，在分層全自適應雷達（HFAR）框架中實施靜態前饋神經網絡，以降低由于執行多個優化而對系統處理的影響。

• 通過對傳感器參數選擇的模擬，在FAR框架中實施了一個動態長短期記憶遞歸神經網絡（LSTM-RNN），將基于狀態的對不斷變化的環境的適應性和更強的記憶概念納入神經網絡激勵的FAR框架的優化部分，FAR-NN。

• 開發了一個LSTM-RNN，用于在動態頻譜擁擠的環境中生成低延遲、接近最佳的雷達頻率缺口波形。

• 將LSTM-RNN與現有的專門解算器 "減少誤差算法"（ERA）進行比較，其波形生成的仿真結果表明，網絡和算法的波形設計結果相似，LSTM-RNN生成波形的時間減少。

• 將現有的全適應雷達單目標跟蹤（FAR-STT）框架擴展到全適應雷達多目標跟蹤（FAR-MTT）的實現中，修改了目標函數和擴大了多目標環境的Fisher信息矩陣/Cramer Rao Bound度量。

• 收集了模擬和實驗結果，以證明將完全自適應雷達方法應用于多個目標跟蹤的好處，即能夠實現目標分離并保持單個目標的跟蹤，同時消耗較少的測量資源。

• 為一個需要執行多種任務[例如：目標跟蹤、分類和目標意圖辨別（朋友、可能的敵人和敵人）并自主分配雷達資源的雷達系統開發一個HFAR框架。

• 收集的模擬結果表明，通過使用自適應波形參數與固定參數集，將完全自適應的雷達方法應用于一個從事多種任務的系統的好處。

• 突出了使用完全自適應雷達概念的模擬和實驗演示，以證明認知雷達概念的可行實現。

1.3 概要

本論文的其余部分組織如下。

第二章討論了基礎雷達、全自適應雷達、優化、神經網絡和統計學等與論文中提出的工作相關的背景。

第三章對認知雷達和神經網絡領域的類似工作進行了調查。

第四章討論了本工作中使用的全自適應雷達建模和模擬（FARMS）環境和算法，以及用于驗證模擬結果和實驗集合的實驗測試平臺的簡要概述。

第五章討論了神經網絡啟發的FAR框架的實現，以及與以前FAR和HFAR實現中使用的局部求解器的比較結果。

第六章回顧了一種用于快速生成缺口波形的神經網絡方法，并與現有的專門求解器進行了比較。

第七章討論了將FAR框架擴展到多目標環境中。模擬和實驗結果都被收集起來，以證明自適應雷達在多目標跟蹤環境中的優勢。

第八章討論了全適應性雷達的發展，即多功能雷達系統的問題，其中HFAR框架被應用于需要參與平衡多種任務的雷達系統：目標跟蹤、分類和目標意圖的辨別（朋友、可能的敵人或敵人）。

第九章總結了論文的結果，并給出了基于這項工作的未來研究領域。

附錄A介紹了FAR框架中使用的局部求解器與全局求解器程序的可靠性的進一步細節。

附錄B介紹了第七章介紹的FAR-MTT工作中使用的Fisher信息矩陣推導和預白化推導的進一步細節。

態勢感知是作戰人員的必需能力。一種常見的監視方法是利用傳感器。電子光學/紅外（EOIR）傳感器同時使用可見光和紅外傳感器，使其能夠在光照和黑暗（日/夜）情況下使用。這些系統經常被用來探測無人駕駛飛機系統（UAS）。識別天空中的這些物體需要監測該系統的人員開展大量工作。本報告的目的是研究在紅外數據上使用卷積神經網絡來識別天空中的無人機系統圖像的可行性。本項目使用的數據是由作戰能力發展司令部軍備中心的精確瞄準和集成小組提供的。

該報告考慮了來自紅外傳感器的圖像數據。這些圖像被送入一個前饋卷積神經網絡，該網絡將圖像分類為有無無人機系統。卷積模型被證明是處理這些數據的第一次嘗試。本報告提供了一個未來的方向，以便在未來進行擴展。建議包括微調這個模型，以及在這個數據集上使用其他機器學習方法，如目標檢測和 YOLO算法。