本論文論證了將小巧、輕便、低成本的商用現貨（COTS）多光譜傳感器集成到小型戰術無人機系統（UAS）中的可行性，以增強對偽裝目標和戰場異常的探測能力。與目前設計中使用的普通電子光學和紅外傳感器（EO/IR）相比，這種能力增強了對此類目標的探測能力。

無人系統在現代軍事行動中應用廣泛，可為戰場指揮官和軍事規劃人員提供新的或增強的能力和作戰概念。它們的主要優勢在于能夠以更高效、規避風險和低成本的方式執行枯燥、骯臟和危險的任務。由于這些原因，無人系統，特別是無人機系統，如今正在執行大多數監視和偵察行動，在所有作戰層面提供必要的情報。

為了應對在現代戰場上擴大使用戰術和戰區級無人機系統進行偵察和監視的情況，地面兵力正在加大力度隱藏其資產，使用偽裝，或利用地形和植被。此外，正規軍和非正規軍廣泛使用地雷和簡易爆炸裝置，對地面部隊構成重大威脅。這些戰術給情報搜集行動帶來了新的挑戰，需要新一代無人機系統加以解決，特別是在戰術層面。

在過去的十年中，多光譜成像技術不斷發展，提供了結構緊湊、成本低廉的傳感器，可增強戰術無人機系統的能力，使其能夠擊敗偽裝，探測普通傳感器無法看到的戰場異常情況。與普通成像傳感器相比，多光譜設備可在可見光和紅外光譜的特定窄波段內成像。此外，多光譜設備還能利用不同材料在這些波段中的吸收和反射率差異，對這些波段進行算法融合。

這項研究旨在回答兩個研究問題，要求探索 COTS 多光譜傳感器探測偽裝人造目標或戰場異常的能力，并將其性能與 RGB 和全色傳感器進行比較。為了回答這些問題，我們使用集成在小型戰術級無人機系統中的多光譜傳感器對偽裝目標進行了幾次實驗性飛行。從這些飛行中收集的數據被用來評估傳感器的性能，并探索融合多光譜數據和生成成像產品的方法。

利用 MATLAB 編程環境開發了一種算法，以實現多光譜數據的融合。該算法可對各個多光譜波段數據進行對齊，并實施三種融合方法。使用歸一化差異植被指數（NDVI）、彩色紅外（CIR）和歸一化差異紅邊藍邊指數（NDREB）對多光譜數據進行融合。歸一化差異植被指數廣泛用于商業農業應用，以區分植被和環境。CIR 還能在多色成像中突出植被。最后，NDREB 是為本論文開發的，它利用了人造目標與環境在紅邊和藍帶反射率上的差異。

對實驗飛行所收集數據的解讀證明，COTS 多光譜傳感器能夠探測偽裝目標和戰場異常，其性能優于普通的 EO/IR 傳感器。此外，還在多個目標場景中評估了所使用的三種融合方法的性能。最后，確定了當前算法在實時操作方面的局限性。成功評估了低成本、緊湊型多光譜傳感器在探測偽裝目標方面的性能，為其在戰術無人機系統中的應用提供了概念證明，并為該領域的未來研究奠定了基礎。

美國國防部的主要項目，如 F-22 猛禽和 F-35 閃電 II 項目，都面臨著軟件方面的挑戰。鑒于最近自上而下地指示要提高關鍵軟件采購、開發和部署的敏捷性，了解阻礙改進的其他因素至關重要。這項研究包括對政府報告和建議、私營部門的最佳實踐和創新以及軍方與私營部門合作的努力的廣泛回顧。這些工作揭示了阻礙進步的因素，包括國防部項目的結構往往是自說自話，開發時間漫長，預算資金周期僵化。理想情況下，軟件的采購流程與硬件的采購流程有所不同，但在實踐中往往沒有區別。項目領導者往往過于專注于有限的開發方法，對軟件專家的建議持抵制態度。這項研究指出了國防部采購項目中的幾個領域，在這些領域中可以對現行做法進行改革。這些改變應能使項目在成本、進度和性能方面得到改善。

在訓練中，從演習文件中獲取背景信息可增強真實感。在真實世界行動中創建的文件必須為訓練演習而制作，這是一個耗時耗力的過程，產生的文件無法用于海軍陸戰隊的模擬演習。海軍陸戰隊正在制作 "實時、虛擬、建設性訓練環境"（LVC-TE），使分離的部隊能夠與模擬演習相結合。LVC-TE 包括演習設計工具，但不包括演習文件制作工具。本論文的重點是為直接空中支援中心（DASC）使用 FLAMES 自動仿真訓練器（FAST）進行的指揮與控制（C2）演習制作空中任務指令（ATO）。DASC 部隊無法獲得真實世界的 ATO 進行演習，這意味著 ATO 必須從檔案中提取或手工創建。存檔的 ATO 包括過時的飛機和彈藥，而手工輸入的 ATO 極易出錯。FAST 提供了上傳 ATO 的選項，如果文件正確，系統就會填充航空場景。本論文表明，可以設計和實施一種工具，以方便為任何空中 C2 演習創建 ATO 文件，FAST 可以正確攝取這些文件，從而加快場景生成。通過這一概念驗證，對擴展這一能力進行了初步調查，以簡化所有作戰功能的演習文件創建，并與 LVC-TE 的演習設計工具套件集成。

本論文的目標是為已知封閉道路網絡中的戰術車輛提供目的地預測。這些戰術車輛以輪式野戰炮兵部隊為模型。美海軍研究生院（NPS）的建模虛擬環境與仿真（MOVES）研究所在一個虛構的場景中建模并生成數據。該場景包括典型野戰炮兵部隊在部署環境中會遇到的各種地點和事件。軍事組織由兩個營組成一個團，每個營有四個炮兵連，每個炮兵連有 11 輛車。每個炮兵連有四輛發射車、四輛裝填車、兩輛支援車和一輛指揮控制（C2）車。生成的數據在團、營、炮兵連和車輛一級進行記錄。本研究以炮兵連的移動模式為中心。每個場景都被分解成較小的行程，其中只有一個先前地點和未來目的地。模型擬合中的預測變量描述了每個炮兵連的各種位置屬性。響應變量是每次行程的目的地位置。

本論文主要研究兩個問題。

1.機器學習模型能否準確預測戰術車輛的未來目的地？

2.在戰術應用中，什么是足夠的預測準確度？

本論文只能使用 MOVES 研究所生成的數據。因此，存在一些限制。第一個限制是數據缺乏測量或傳感器誤差。在實際作戰環境中收集完美的數據是不現實的。第二個限制是，生成數據的大小足以適合我們的模型。在新的作戰場景中，數據可能稀少或不可用。

為了預測這些戰術部隊的未來目的地，我們使用了兩種機器學習的監督技術：隨機森林和神經網絡。為了客觀地比較這兩種模型，我們得出了兩個標準來判斷目的地預測的成功與否。每個模型都為行程中每分鐘間隔內的每個地點擬合了一個概率。第一個標準是一半以上的正確地點分配概率超過 80%。第二個標準是，在行程的最后三分鐘內，模型分配給正確目的地的概率是否超過 80%。一個模型必須同時滿足這兩個標準才算成功。在驗證集的所有行程中，隨機森林的成功率為 38.9%，而神經網絡的成功率為 43.2%。我們使用這兩個標準考慮了真實世界的場景。每個行程被縮減到只有最初的五分鐘。在真實情況下，決策者必須在敵人完成行動之前決定行動。在這種情況下，決策者在做出決定前有五分鐘的時間窗口。隨機森林的預測準確率為 19.1%，而神經網絡的預測準確率為 33.9%。這是時間受限情況下預測準確率的上限。隨著誤差和噪聲的引入，預測準確率可能會降低。

本論文通過使用完美數據設定了目的地預測的上限。基于我們的論文，未來的研究領域如下：進一步研究預測建模、處理在不規則時間間隔內收集的帶有測量誤差的數據、使用真實世界數據建模以及多域建模。第一個領域是通過進一步的預測建模來提高預測精度。第二個領域是引入與現實生活中數據收集和匯總困難相似的誤差項。戰場傳感器并不完美，存在局限性。第三個方面是利用實戰部署和訓練中的真實數據建模。最后一個領域是將我們的研究推廣到其他作戰領域：海上、海面下和空中。運動輪廓和運動行為在這些領域中都同樣重要。戰術層面的模型可以為戰略層面的決策提供參考。

軍事分析人員可利用公開數據庫深入了解相關國際事件的發展。然而，這些數據庫依賴于以英語為基礎、經過整理的資料來源。這可能會導致偏差，不利于分析質量，尤其是在關注英語不是主要語言的地區和行動者時更是如此。

本研究旨在利用全球事件、語言和語調數據庫（GDELT）數據集來預測影響烏克蘭戰爭的重要因素，并將使用提取的數據和機器學習技術來開發預測模型。該項目旨在實現兩個目標。首先，提供一種從大數據集合中自動提取和預處理相關事件數據的方法。其次，將不同的機器學習模型應用于提取的數據，以預測重要因素，從而識別持續沖突中的事件趨勢。

所展示的數據采購可自由擴展到不同地區、行為體或其組合。在應用程序接口（API）中配置所需的參數后，相關的 GDELT 事件將自動提取。

由于本論文的重點在于預測，因此建模技術的應用側重于時間序列和遞歸神經網絡（RNN）模型。在測試過的時間序列預測模型中，自回歸綜合移動平均（ARIMA）模型與其他候選模型和天真模型相比，顯示出良好的預測性能。應用時間序列模型預測一至三個月的中期趨勢取得了最佳結果。

為了補充時間序列模型并利用 GDELT 的短期更新間隔，我們建立了不同類型的 RNN，并測試了它們在事件數量短期預測方面的性能。簡單 RNN 與長短期記憶 (LSTM) RNN 進行了比較，結果發現，簡單 RNN 的性能不如 LSTM RNN 模型。由此得出的結論是，數據中確實存在影響模型預測能力的長期和短期效應。

除了最初的跨語言 GDELT 數據庫，RNN 模型還運行了僅基于英語來源的 GDELT 數據提取，以及來自武裝沖突地點和事件數據項目（ACLED）數據庫的數據提取。

總體而言，在幾乎所有測試的模型中，使用基于英語來源的數據集都能獲得更好的均方根誤差值。不過，這并不一定意味著模型在捕捉現實生活中的變化方面表現更好。一項補充性探索數據分析（EDA）得出結論，在以英語為基礎的報告中，一系列事件的代表性不足。這一點在烏克蘭戰爭前奏期間尤為明顯，因為西方公眾對該地區的興趣和英語報道的一致性有時會降溫。事件報道不足導致數據的可變性較低，一致性較高，從而提高了基于英語模式的績效指標。

關于 RNN 模型在 ACLED 數據庫中的性能，除了 "爆炸/遠程暴力 "和 "戰斗 "這兩種事件類型外，本研究選擇的模型無法應用于 ACLED 數據提取。造成兼容性低的原因是報告事件的數量較少，以及報告中的空白與所選模型的相關性不高。

不同數據源之間的性能比較表明，要持續產生可靠的結果，挑選合適的預測因子和對結果進行初步分析并不容易實現自動化。強烈建議每次從 GDELT 首次提取新型數據子集時都進行一次 EDA。

圖 3.1. GDELT 事件數據庫中一個數據元素的示意圖。矩形代表中心數據元素，即事件。圓圈代表屬性，屬性 "GlobalEventID "用作唯一標識符。提及和音調 "屬性是灰色的，因為它不屬于本工作的范圍。

本文提出了一個海軍作戰管理系統（CMS）架構，考慮到電子戰（EW）與人工智能（AI），以應對現代高超音速和低觀測能力的威脅，其中反應時間可能很短，需要自動化。它使用一個反制措施案例研究作為數據要求，拍賣傳感器任務，人工智能過程，以及認知復合感應的數據融合。該文件還強調了已經公布的關鍵認知電子戰能力，以證明該架構的合理性。該架構的方向是用高反應時間的自動化人工智能驅動的認知DM來取代人類決策者（DM）。

引言

當把人工智能（AI）應用于電子戰（EW）時，它不僅要幫助決策者（DM）進行態勢感知（SA），還要滿足點、區域和區域防御以及反目標活動的需要。電磁波譜是密集的，有許多通信和雷達發射器。因此，挑戰在于如何將人工智能應用于能夠滿足管理部門需求的EW系統。因此，它必須能夠整理出感興趣的信號（SoI）[1]，如部隊的信號和與指定任務無關的信號。這項工作的基礎是 "常規戰爭 "中的反導彈反應，以便與傳統的交戰進行更直接的比較。影響反艦導彈（ASM）成功的一些主要因素是雷達橫截面（RCS）、紅外橫截面（IRCS）、視覺和紫外線（UV）特征。因此，目標艦的特征是決定被動軟殺傷[2]反措施（也叫伎倆）性能的一個基本因素。然而，反坦克導彈也可以使用主動雷達尋的方式進行瞄準和跟蹤。因此，射頻（RF）和微波（MW）的截面特征是重要的，同時還有光輻射量子（或光子）、方位角和機動中的方位率，以及它們的戰術影響。因此，現代操作環境在處理電磁波譜方面存在挑戰，人工智能的自動化和自主性是解決這一挑戰的理想選擇。

A. 動機、方法和限制

本文描述了一個架構，其中包括用糠和干擾器進行軟殺傷；用導彈、火炮和火控系統進行硬殺傷；以及一個跟蹤目標并協調軟殺傷和硬殺傷反應的指揮和控制系統。本文僅限于假設反坦克導彈是使用射頻主動雷達尋的目標和跟蹤的海上滑行。因此，這項工作的中心是簽名管理、大型目標船的規避動作、船上被動型誘餌系統（如金屬箔片和反射器）的操作性能，涉及反坦克導彈的跟蹤方案和交戰環境，包括風速和風向。擊敗導彈威脅的一個基本因素是反應時間；隨著高超音速的出現，時間因素成為反應殺傷鏈的決定性因素。潛在導彈平臺的識別標準是最基本的；它們將允許更精確的SA，迅速讓DM消除發射平臺。鑒于反導鏈反應的時間很短，人的頭腦無法計算巨大的信息量，并在短時間內決定反應的類型，要么是硬殺傷，要么是軟殺傷，要么是兩者兼而有之；那么人工智能就成為反導系統中的基礎[3] [4]。因此，人類的DM理論不能用于遙遠的未來，因為它要求對形勢的分析速度、識別能力、對威脅的立即反應，以及在人類思維的指揮鏈中進行計算和決定，因此不能提供所需的反應時間。本文的最后部分介紹了幫助平臺保護速度的架構，朝著定義CMS中的設備連接方向發展，同時還介紹了一些已經發表的關鍵技術。

B. 論文的結構

第1節是介紹、動機、方法和論文結構。第2節提供了一個常規條令性例子戰術和反擊方法，用于在架構中需要支持的硬殺和軟殺。同時，在第2節中，還介紹了軟殺傷反擊方法的主動、被動和綜合方法。此外，第3節是一個使用飛毛腿和機動性的交戰例子，展示了所需的關鍵數據。第4節介紹了所提出的AI/EW技術的架構。最后，第5節是結論。

AI/EW技術的架構

人工智能應用于電子戰時，不僅要保證DM（決策者）的SA（態勢感知），而且還必須滿足點和區防御以及反目標活動的需要。電磁波譜因無線電和雷達發射器而加劇，一個挑戰是將人工智能應用于能夠滿足DM需求的EW系統，因此它必須能夠分出感興趣的信號，例如其海軍部隊的信號。另外，哪些信號對指定的任務沒有影響。

一個陸軍師的基本 "有機 "通信和電子設備，在一個典型的70公里乘45公里的地區作戰，是超過10,700個單獨的發射器。一個支持性的空中遠征部隊（AEF）會帶來另外1400個，而一個典型的海軍航母戰斗群會帶來另外2400個發射器[20]。比如說： 在沙漠盾牌/沙漠風暴中，六個陸軍師和一個海軍陸戰隊師都占據了相同的地理和電磁波譜空間，還有許多其他聯軍和指揮控制網絡[21]。鑒于這種信息密度，認知型EW也必須與人工智能概念和認知循環階段的相關挑戰相一致。

A. EW活動和AI對應的術語

為幫助EW和AI的受眾，我們提供了一個AI和EW術語的表格，在表1中，這些術語有一些對應關系。

表1 等效AI和EW術語

B. EW核心概念

電子戰被正式定義為三個部分：

• ES（電子支持）：了解誰在使用頻譜，出于什么目的。使用寬窄帶探測和攔截過程，它定位、識別、辨認、轉錄、分析可能的意圖，并評估致命性、敵對性和忠誠度。現代形式包括多層次的情報產品，如網絡電磁活動（CEMA），從地理到人物網絡。
• EA（電子攻擊）：利用頻譜，以EW效應爭奪該頻譜對自己的優勢。
• EP（電子保護）：是為保護和抵制干擾等攻擊而采取的行動。反干擾也可能包括抵抗ES、EA和CEMA產品的措施。

C. 查找、定位、追蹤、瞄準、攻擊、評估

在圖10中，Haigh和Andrusenko[15]提出了一個EW和AI的組合架構，它跨越了殺傷鏈階段，將AI的特征和分類輸入一個融合引擎，以建立一個意圖，這個意圖是由因果關系和異常檢測階段推斷出來的。

圖10 與EW功能相關的EW和AI能力[15]。

Haigh和Andrusenko的論文與EA之前的ES的數據融合觀點一致，同時保持EP。因此，人工智能方法被應用于特定發射器的分析、特征描述和分類，作為數據融合之前的模式匹配工作。然后，這些方法被用于異常檢測和因果關系搜索，以實現意圖識別。這是一個信息漏斗，在EA/EP方面，這些方法更多的是優化適應性，而不是智能，這貫穿于整個殺傷鏈，并應用于任務管理的決策援助和與電子戰令（EOB）和網絡管理有關的人為因素。不難看出，AI態勢評估、DM和機器學習（ML）能力與所有EW功能相關。每個認知型EW系統的第一步是電子支持（ES），以了解射頻頻譜。在人工智能界被稱為情況評估，ES確定誰在使用頻譜，他們在哪里和何時使用，以及是否有可以 "利用 "的模式。AI/ML技術可以使用特征估計、發射器特征和分類、數據融合、異常檢測和意圖識別。圖11顯示了任務前準備和任務后分析與任務中需求的重疊。

圖11 任務中、任務前和任務后的重疊部分

ES對環境進行分析，并創造出驅動決策者（DM）的觀測數據。日益復雜的情況將頻譜態勢感知（SSA）定義為 "收集有關頻譜使用的不同信息并處理這些信息以產生一個融合的頻譜圖"[15]。SSA收集、組織和處理EW所需的頻譜數據。SSA必須以近實時（NRT）的方式進行，以滿足任務中的決策者的需要，SSA必須結合各種支持技術，包括傳統的和認知的。然而，一個挑戰在于相關技術的整合和展示，其中只有少數是認知的，以減少脆性和處理新的發射器。人工智能和ML能力可以在每個層面上改善SSA，這是在其他相關SSA技術背景下對這些AI/ML技術的看法。一個完整的EW系統必須有多層面的SSA。未來的SSA系統可以用深度學習模型來生成潛在的特征，用經典的ML模型來進行任務中的更新，以及用混合模型來抵消有限的數據。此外，SSA不一定要完全依賴射頻數據： 它可以與非射頻數據融合，如視頻和靜態圖像、自由空間光學、或開源、戰術或作戰情報。跨越多個異質來源的分布式數據融合必須創建一個在空間、時間和頻率上都準確的連貫的戰地頻譜共同作戰圖。異常檢測、因果推理和意圖推理使作戰圖更加完整，以了解事件的影響并支持管理部門。

D. 影響范圍

Rudd-Orthner等人[14]用圖12中的 "影響范圍 "概念[18]擴展了這一概念，并增加了一個 "保護洋蔥 "框架，以根據數據需要選擇對策。

圖12 影響范圍

他們指出，威脅武器系統有變得更加復雜的趨勢，這種復雜性的增加至少可以部分歸因于：戰術的演變、技術發展的速度和數字化的現代化，但也有一種趨勢，即隨著人類決策和反應時間的減少，威脅的作用也在擴大；隨著自主系統的效力和使用的增加，這種情況也許更加明顯。自主系統的崛起在所有領域都在發展： 陸地、空中、海上、太空和網絡。自主系統的規模各不相同，從無人值守的槍支系統到自主空中平臺。這些自主平臺運作的作用也在不斷擴大，因此在打擊它們時，可能需要在綜合防御輔助系統中匹配復雜性，作為打擊復雜威脅系統的戰略。這些復雜平臺的作用和能力的增加，可能導致單一平臺的作用不大，并為其他平臺提供 "保護投射 "的要求。與此相結合，利益相關者群體也更加多樣化，科學家/工程師、機組人員和任務生產程序員之間的溝通機制也是挑戰，這樣他們都可能做出有意義的貢獻，并與他們的利益相關者群體的價值互補，正如Rudd-Orthner等人所說。

E. 拒止、降級、擾亂、欺騙、毀壞

圖12中的維恩圖顯示了數據可用性的 "影響范圍"：保護平臺/部隊、威脅或武器系統和防御限制與反措施設計考慮相疊加。Rudd-Orthner等人指出，這些不同的反措施考慮加上不同的可用數據，可能對反措施戰術設計形成影響范圍。

F. 保護洋蔥的映射

Rudd-Orthner等人在[14]和[19]中應用了多視角威脅分析圖解技術，該技術基于判別器、操作視角、系統視角以及對策設計考慮和影響范圍的維恩圖，適用于保護的洋蔥。他們在維恩圖中描述了反措施的設計考慮，將反措施的設計意圖描繪成一種規范，而不是ECM干擾器技術設施。在這種情況下，反措施設計考慮表示戰術的反意圖。論文[14]和[19]還建立了一個保護洋蔥的概念，利用反措施設計的影響因素和組織成洋蔥層的數據源，將揭示的數據分層管理。其中這些層級建議的對策方法也是與該威脅殺傷鏈階段的威脅意圖直接相反的，使得它也是一個測量的反應和保護數據模型在所揭示的數據。表2顯示的是保護洋蔥的層級（第1層是最外層）和反措施設計考慮，影響范圍與威脅系統的殺傷鏈意圖的映射。表2提供了保護洋蔥的六個層次。

表2 保護洋蔥

洋蔥層/影響范圍/CM設計考慮因素	注釋
第1層發現/受保護的平臺/減少的可探測性	對抗早期預警、空中搜索或地面控制攔截雷達的探測或行為，使被保護平臺脫穎而出。該戰術針對的是殺傷鏈的意圖，并不顯眼，是利用對自身平臺數據的了解。
第2層定位/受保護的平臺/降低可探測性 誘餌和欺騙	具有欺騙性和誘騙性的反目標獲取或高度查找雷達可用于降低信息或反擊某個范圍或高度。
第三層識別/保護平臺 武器系統/降低可探測性 誘餌和欺騙 分散注意力 拒絕破壞	用旨在造成混亂的措施來對抗識別，以延遲對你的分類或身份的評估，識別可以基于行為或使用特殊雷達模式，如NCI。
第4層跟蹤/保護平臺武器系統/降低可探測性 誘餌和欺騙性分散注意力	用干擾、分散注意力和拒絕的方式來對抗威脅，可以是目標獲取雷達或更高數據率的搜索模式，如窄掃描軌道，同時掃描模式。
第5層 交戰/防御限制 武器系統保護平臺/降低可探測性 誘餌和欺騙 分散注意力 拒絕 破壞 破壞	使用所有可用的能力擊敗威脅，硬殺和軟殺取決于ROE，是傳統的平臺自我保護。可以使用破鎖和信號處理以及跟蹤目標的戰術。
第6層 處置和效應/防御性限制 武器系統保護平臺/減少可探測性 誘餌和欺騙 分散注意力 拒絕 破壞 毀滅	使用所有可用的軟硬殺傷能力擊敗威脅，是傳統的平臺自我保護。可能使用破鎖和信號與跟蹤處理的目標戰術，并可能同時采用針對尋的器和雷達的技術。

G. 認知電子戰系統

認知型電子戰系統的設計必須提供態勢感知、決策和學習能力。一般來說，系統要求推動了一系列關于哪些問題和它可能需要回答的問題的決定。決策可能是反復的，要么是集中的，要么是隨部隊效應范圍分布的。他們將一個問題表示為規格，并受制于AI代理的拍賣。就我們如何定義和調整優化函數而言，利用領域的物理學與參與的進展可能會減少狀態和交易空間。問題來自于像干擾這樣的設計結果所需的緊迫性和缺失的數據。因此，選擇對策和感覺的C4L參數、'while'或'if'條款都是數據要求，可能形成問題對話鏈或問題樹，在殺傷鏈的不同處置路線中需要。因此，這些對話鏈或問題樹就像專家系統的規則庫格式。因此，所需的數據就以拍賣的方式給投標的傳感器。這樣一來，邏輯路線總是有目的性的結果，而DM和傳感器的使用也是如此。另外，隨機森林[22]可以減少熵，增加信息增益。

雖然具有高度的適應性，但先進的雷達和軟件定義無線電（SDR）架構通常依賴于定制的API，單獨暴露每個參數。這種方法不適合EW系統中的近實時認知控制，因為緊密的耦合意味著人工智能不能做出全局性的決定。組成模塊必須是高度模塊化和可組合的，以消除這一障礙。通用接口允許模塊暴露其參數和依賴關系，從而實現全局優化和跨多個處理器的計算負載平衡。通常，由RESM（雷達電子支持措施）攔截的發射物是通過發射物數據庫識別的。發射者被識別出來，并在本地認可的海上圖像（LRMP）中得到體現。當通過數據庫確認為一種威脅時，它可以接受DM的詢問和拍賣：

• RECM C4L反措施規范可能需要威脅、獲取類型、速度、仰視距離和威脅的各種電子反措施（ECCMs）邏輯；
• DLS（誘餌發射系統）可能需要C4L數據并計算出發射角度和時間；
• CMS可能會要求C4L說明采取的最佳路線（避免武器系統的盲弧）。

為此，我們需要一個中間代理，提供一個模塊化的結構組件，允許不同的技術提供不同的服務，并確保信息/控制的一致流動，與John Boyd的OODA循環[23]一致，但適用于數據處理和DM。

圖13 模塊化架構

軟件架構的一個例子是ADROIT。自適應動態無線電開源智能團隊（ADROIT）：用中間代理認知控制SDR節點之間的協作。ADROIT項目正在建立一個開源的軟件定義的數據無線電，旨在由認知應用程序控制。模塊暴露了它的參數和它們的屬性（特別是讀/寫）。當一個模塊發生變化時（例如，增加一個新的參數），它只需揭示新的參數，并在一個發布-訂閱機制中公開參數（名稱、屬性），而不是為該新參數增加一個新的API函數；這也可以擴展為一個組播目的地，給后來仍需要定義的模塊。ADROIT用圖14所示的模塊實例化了中間代理。

圖14 ADROIT體系結構支持認知代理

處理不同的或變化的傳感器的一種可擴展的方式是，如果所有的設備可以減少不確定性或提供額外的數據來回答一個殺戮鏈階段的問題，就將它們定義為傳感器。因此，這些傳感器可以成為拍賣算法的參與者，以其回答問題的能力來競標。在不同的操作環境下，拍賣算法中的分數可以改變，因此，不同的傳感器選擇提供較低的可觀察性或與當前的ROE、受限的EMCON或當前的傳感器利用相一致。通過這種方式，形成了一個問答循環，完善了對情況的理解，同時在提問的基礎上做出增量決定，并使環境情況有利于他們的部隊使用保護洋蔥的一個版本。此外，同樣的拍賣優化可以與反措施一起執行，其概念是，如果一切都能影響當地的殺戮鏈決策或導致結論或問題發生在受害者身上，那么它就是一個影響者。由此可見，C4L提供了一種以標準形式指定反措施行動和傳感規格的方法；這些規格可以一起拍賣，以便在一個可適應的模型中獲得最佳效果和傳感，然后該模型將優化殺戮鏈的進展，為跟蹤的對手的殺戮鏈進展提供優勢。在圖15中，本文展示了EW系統如何在拍賣優化的基礎上與具有認知DM的作戰管理系統（CMS）集成。威脅的檢測/識別/鑒定/分類被轉移到不同的數據庫中，但這些過程和數據庫的不確定性導致了傳感器的重新任務。這些都是拍賣，根據傳感器解決情況的不確定性的能力來分配任務，并根據緊急程度來確定優先次序；這使用了從保護的角度預測威脅的殺傷鏈意圖。這些過程越可靠，立即識別和反應的概率就越高。為了進一步提高這一結果，管理部門必須考慮機器學習中的其他參數，以適應當地環境的傳感任務和對策效果的拍賣。

圖15 數據布局EWS與CMS集成

有些參數可能不為人所知，也可能沒有方法或傳感器來提供這些參數；因此，Rudd-Orthner等人[24]的專家系統的神經網絡形式作為數據庫的疊加，在這些情況下提供一個估計值。它還可以提供一個由貝葉斯網絡進一步引導的值，該網絡可以將從環境中收集的傳感器事實與來自其規則的知識結合起來，使其不容易被收集的事實所欺騙。此外，在圖16中，也是在人工智能的背景下，所提出的架構將EW系統與CMS結合起來。它通過一個反饋回路支持 "態勢感知"，根據威脅殺傷鏈的位置重新安排傳感器的任務，以快速解決識別和確認的不確定性，更新跟蹤的準確性，并為CMS和EW系統資源提供戰術清單作為選擇。

圖16 ID標準交互模型

在圖16中，DM能力因此積極主動地利用感知能力直接處置威脅，并為反制措施/部署制定了時間表。這些反措施/部署應按照RuddOrthner等人的保護理念，利用推斷出的威脅的殺傷鏈位置階段，直接對抗威脅的意圖。因此，傳感要求可以在拍賣算法中與可供選擇的策略/反措施交錯安排。同樣，在威脅分析和處置的關鍵時刻，一些所需信息可能無法在DM中獲得，但可以使用RuddOrthner論文中提出的神經符號-AI專家系統方法的代數專家系統部分進行估計。可控的可觀察數據可能來自人工智能環境中的數學或認知學習發展過程。我們可以認為這些有助于識別目標的元素是可觀察的，這些元素在DM中是可控的。

圖17 CMS和EW CM系統中的威脅數據路徑

在圖17中，本文展示了一個威脅發射器從EW系統進入CMS部分的順序。從EW系統的庫或數據庫中識別截獲的發射器；該數據庫包含物理雷達特征： PRI、頻率、PW、振幅、掃描類型、掃描周期平臺等級和威脅名稱；采集類型的特征，ECCM，如原點干擾（HOJ）Chaffs辨別，紅外，雙導射頻和紅外。如果發射物未被識別為威脅，則在本地識別的海上圖像中直接代表發行者。如果被確認為威脅，它將遵循不同的路徑，如前所述。導彈的獲取和ECCM的類型在反應鏈中具有巨大的價值。如果它有HOJ能力，最好是通過C4L中捕獲的特定計算直接干預硬殺傷和誘餌發射；該選定的C4L規格是由保護的洋蔥頭選擇的，它與頻譜中的感應計劃一起安排。該規格將誘餌定位在C4L所確定的與發射船的一定距離和特定的β值。除了在CMS上表示威脅的到達方向外，EW系統還將C4L搜索數據和傳感規范發送到多功能雷達（MFR）和火控雷達（FCR）作為即時硬殺傷系統。本文在圖18中畫出了由人工智能支持的戰斗管理系統（CMS）的架構基礎。在標準環境塊中，還有四個相互關聯的組件：

1.傳感器管理，提供設備監視器（資源管理器）的管理，傳感器信息的收集和軌道管理；在這個塊中，所有的相關數據都匯聚到機載傳感器，如雷達、聲納、ESM雷達、通信ESM、導航輔助設備和氣象數據。在這個架構中，一個傳感器的任務和它的優先權來自于它的成熟度和殺傷鏈。在這方面，關于Rudd-Orthner等人，威脅意圖的成熟度被評估為使用保護洋蔥的反意圖對策，并嵌入到Haigh和Andrusenko的殺傷鏈階段，其中的整合是通過ADROIT架構的發布和訂閱機制，這允許快速和靈活的整合和擴展。

2.在架構的第二塊，有信息管理，其中本地軌道與來自鏈接網絡的軌道相關聯，根據識別標準識別目標的追蹤，管理技術決策輔助工具和信息，共享共同的操作畫面，該畫面中的不確定性和異常情況引起了傳感器的任務。

3.第三塊代表戰斗管理，它提供了對威脅的評估計劃和武器優先權的分配--演習的計算和艦隊內與戰斗有關的信息交流。

4.最后一個區塊是資產管理，使用C4L規范和序列，允許艦艇同時協調幾個進攻和確定的目標。

圖18 AI應用于CMS結構

在DM處理環境之外，人工智能也同樣適用于智能處理環境，類似的技術疊加數據庫和ML提取，走向專家系統規則捕獲[25]。在人工智能輔助的CMS中，數據流入信息管理數據融合，使計算機系統在沒有明確編程的情況下利用歷史數據進行預測或做出一些決定。機器學習使用從IMDF（信息管理數據融合）獲得的大量結構化和半結構化的數據，這樣機器學習模型就能產生準確的結果，或根據這些數據提供預測。

合成孔徑雷達（SAR）圖像中基于人類的目標檢測是復雜的、技術性的、費力的、緩慢的，但時間很關鍵，是機器學習（ML）的完美應用。訓練一個用于目標檢測的ML網絡需要非常大的圖像數據集，這些數據集中嵌入了準確和精確標記的目標。不幸的是，不存在這樣的SAR數據集。因此，本文提出一種方法，通過結合兩個現有的數據集來合成寬視場（FOV）SAR圖像： SAMPLE，由真實和合成的單物體芯片組成，以及MSTAR雜波，由真實的寬視場SAR圖像組成。合成目標使用基于閾值的分割從SAMPLE中提取，然后再與MSTAR雜波中的斑塊進行α-混合。為了驗證新的合成方法，使用一個簡單的卷積神經網絡（CNN）創建了單個物體芯片并進行了分類；針對測量的SAMPLE子集進行測試。還開發了一種新穎的技術來研究深層的訓練活動。擬議的數據增強技術使測量的SAR圖像分類的準確性增加了17%。這一改進表明，來自分割和混合的任何殘余偽影都不會對ML產生負面影響，這對于未來在廣域SAR合成中的使用是很有希望的。

"在MSTAR數據收集期間拍攝的M1的EO圖像（a，c）和同一車輛的真實CAD模型（b，d）從兩個角度進行了比較。請注意，即使是小的細節，如火炮的位置、艙門和車輛側面的電纜，在兩張圖像之間也很一致。提供CAD模型的顏色是為了識別零件組裝，并不表示任何影響電磁模擬的具體屬性" [10]。

"SAMPLE數據集中每個飛行器的一個圖像的例子。測量的MSTAR圖像在最上面一行，相應的合成圖像在最下面一行....，我們看到諸如陰影、方向和相對回波幅度等細節都很一致"[10]。

鑒于對手軍事能力的威脅和擴散的增加，這項研究試圖開發合理準確和可計算的模型，以最佳方式操縱航空器攔截巡航導彈攻擊。該研究利用數學編程對問題進行建模，并以代表（時間）差分方程系統的約束條件為依據。研究首先比較了六個模型，這些模型對速度和加速度約束有不同的表述，同時分析了靜止目標的情況。多航空器、多固定目標交戰問題與箱體約束條件（MAMSTEP-BC）模型產生了卓越的整體性能，并通過替代數學編程模型的增強進行了進一步分析，以便在利用有效的機動序列方面創建可行的飛行輪廓。最后，對MAMSTEP-BC模型進行了修改，以操縱飛機來對付移動目標。

在優化交戰所需時間時，該模型被證明對多架航空器和多個目標有效。MAMSTEP-BC通過考慮航空器和飛行員的局限性，能夠保持高水平的顆粒度，同時設法為靜止和移動的目標快速生成最佳解決方案。

本論文的其余部分組織如下。第二章討論了與國防、飛行器路由問題和涉及差分方程的數學編程公式有關的文獻，以操縱或路由實體。下面的研究分三個不同階段進行。第三章介紹了第一階段所研究的工作，該階段開發并測試了操縱多架航空器來對付靜止目標的替代模型。在第四章中提出，第二階段的研究探討了替代的數學編程模型的增強，以創建研究第一階段的可行的飛行輪廓。在第五章中，介紹了第三階段研究的工作，其中開發和測試了一個最終模型，以操縱多架航空器來對付移動目標。第六章以工作的主要成果對論文進行了總結，并介紹了未來關于時空網絡路由模型主題的可能研究途徑。

數字工程和數字設計是美國空軍（USAF）的一個新興重點領域，特別是用于現代復雜系統。高復雜度系統的一個例子是網絡合作自主彈藥群（NCAM），它優先考慮廣域搜索和多視角目標確認。首先，本研究討論了在基于模型的系統工程（MBSE）工具中建立行為模型的方法。然后，本研究介紹了NCAM在兩個環境中的并行建模工作：Cameo系統建模器中的MBSE模型，以及仿真、集成和建模高級框架（AFSIM）中的基于物理學的模型。每個數字模型在其環境中都為設計過程中的利益相關者提供了不同的好處，所以這些模型必須呈現出一致和平行的信息。因此，這項研究也提出了在模型之間翻譯設計信息的自動化方法。總的來說，這對協同工作的模型通過系統認知和數字場景模擬對自主過程的理解，與決策部門建立信任關系。

引言

1.1 一般問題

在始于1903年萊特兄弟首次飛行的重于空氣的飛行歷史中，美國軍隊促進了空對地攻擊能力的持續和快速發展。最初，飛行在軍事上的應用僅限于1909年美國陸軍信號部隊的偵察和監視；然而，第一次世界大戰和后來的第二次世界大戰的爆發創造了軍用飛機技術和理論的繁榮。到1946年，簡單的偵察雙翼飛機被可以超過音速的噴氣機所取代。美國看到了這種快速發展的技術的可行性，并在1947年創建了獨立的美國空軍（USAF）服務。空中力量的勢頭一直持續到現在，現代美國空軍的飛機可以隱藏他們的雷達信號，并精確地投擲制導彈藥，在地面上的同一個洞里投擲5枚炸彈！這就是美國空軍。

在美國空軍這個令人難以置信的組合中，一個合乎邏輯的下一個能力是合作和自主的彈藥，它利用相互通信來尋找、識別和打擊一個目標，同時評估對目標的損害。國防部研究與工程助理部長（USD(R&E)）對這種能力有兩個關鍵定義。

• "自動化。該系統的功能沒有或很少有人類操作者的參與。然而，系統的性能被限制在它被設計為做的具體行動上。通常，這些都是定義明確的任務，有預先確定的反應（即基于規則的簡單反應）。

• 自主性。系統有一套基于智能的能力，使其能夠對系統部署前沒有預先編程或預期的情況做出反應（即基于決策的反應）。自治系統具有一定程度的自治和自我指導行為（由人類代理決策）"。[4]

目前的制導彈藥非常嚴格地遵循自動化的定義。通過激光或全球定位手動指定目標，然后彈藥執行程序化的行動以擊中指定位置。在這種情況下，控制權被操作者緊緊抓住，對目標開火的決定需要多個人為步驟。這些人為步驟使操作者對自動化有一種信任感，因為扣動扳機時風險最小化；與操作者使用無制導彈藥相比，彈藥利用其自動化技術更準確地擊中目標。當討論下一步的自主化發展時，人們有一種理性的擔心，即人類通常控制的決定將由自主系統的機器大腦來代替。這種不信任導致人們對部署旨在自主摧毀目標的武器猶豫不決。

理解與系統自主決策相關的行為是建立對自主性信任的絕佳方式。有多種方法可以將行為理解傳達給人類評估者：首先是提供描述系統各個方面的正式文件，接下來是創建一個數字模型，用圖表表示系統結構和行為，另一個是運行涵蓋廣泛場景的模擬，最后演示可以證明物理系統在測試和評估中的能力。文檔方法一直是所有國防部采購的標準，可以追溯到手繪示意圖的設計時代。然而，最近，國防部對使用建模和仿真來記錄和管理系統表示了興趣。已經出現的一個概念是數字孿生，系統的每個方面都被虛擬建模，以實現快速的修改原型和精確的配置控制。[5]這種數字孿生的焦點也為它所代表的系統的物理結構和行為創造了清晰的、可瀏覽的數據，從而使系統得到合理的理解。

1.2 問題陳述

如Reed[6]所示，基于模型的系統工程（MBSE）已經迅速被美國空軍的數字工程工作所采用，用于程序和系統結構建模項目。然而，復雜系統的行為MBSE建模在美國空軍的相同項目中并不常見。對于自主系統，算法的復雜性和這些自主系統協作時出現的突發行為使得評估邏輯行為和性能影響變得困難。對系統行為進行建模的能力是MBSE過程所固有的，但MBSE模型通常缺乏提供詳細的基于物理學的模型的能力，無法對系統的運行情況進行性能評估。有一些專門建立的基于物理的仿真平臺，如高級仿真、集成和建模框架（AFSIM），就是為了這后一種目的而存在的，但它們往往與MBSE工具中的定義模型脫節[3]。一種將復雜系統的MBSE行為模型和同一復雜系統的基于物理學的仿真模型聯系起來的方法和工具是必要的。要確保這對模型之間的行為一致，需要有能力在建模平臺之間傳輸設計數據。

1.3 研究目標和問題

本研究的目的是建立一個復雜的合作彈藥系統的行為MBSE模型，并建立一個自動和可重復的方法，將數據從MBSE模型轉移到AFSIM場景中，以執行相同的合作彈藥行為的模擬。MBSE模型將足以驗證單個自主彈藥的邏輯行為，以及在合作概念中同一彈藥的數量。AFSIM模擬將反過來為建模者提供反饋，以便對彈藥模型進行潛在的修改，從而實現更高的性能。

合作彈藥模型的研究問題包括：

• SysML在行為建模中的優勢和劣勢是什么？

• 哪些MBSE元素和/或屬性適合翻譯成AFSIM的原生語言用于情景模擬？

• SysML數字模型在多大程度上可以代表AFSIM模擬中使用的合作彈藥的行為？

• 在SysML模型和AFSIM場景之間可以利用哪些自動和可重復的方法進行數據交換？

1.4 方法學總結

這項研究必須首先確定連接點和集成到AFSIM的所需變量，這將有助于定義合作彈藥的MBSE系統模型的邏輯接口。這些接口有助于定義合作彈藥的MBSE模型的邊界，并為整合到AFSIM的場景模型提供數據點。設計和測試的關鍵領域是：為AFSIM實體所需的變量和基本方程建模；提供從MBSE模型到AFSIM的彈藥和場景參數的自動導出可用性；以及確定MBSE模型中會影響模擬的可修改區域。基于對連接點的評估，研究將轉向創建一個MBSE模型，以保持連接點，同時建立與AFSIM模型平行的行為。MBSE模型中的行為將根據AFSIM模型的情況進行評估。

1.5 假設和局限性

本研究僅限于虛擬彈藥的建模和模擬。此外，本研究定義的合作彈藥概念是名義上的；因此，彈藥模型將由名義上的數據填充。

1.6 提綱

第2章是對與彈藥建模、AFSIM集成、自主無人機系統行為建模和美國空軍先進彈藥的歷史應用有關的出版物的文獻回顧。第3章介紹了合作彈藥概念的設計方法和將數據自動傳輸到AFSIM場景模擬的方法。第4章討論了已完成的網絡化合作自主彈藥（NCAM）MBSE模型的行為分析、自動轉換結果和平行模型之間的比較。第5章總結了研究的重要發現，并推薦了未來的研究課題。

計算機視覺中的一項挑戰性任務是尋找技術來提高用于處理移動空中平臺所獲圖像的機器學習（ML）模型的目標檢測和分類能力。目標的檢測和分類通常是通過應用有監督的ML技術完成的，這需要標記的訓練數據集。為這些訓練數據集收集圖像是昂貴而低效的。由于一般不可能從所有可能的仰角、太陽角、距離等方面收集圖像，這就導致了具有最小圖像多樣性的小型訓練數據集。為了提高在這些數據集上訓練的監督性ML模型的準確性，可以采用各種數據增強技術來增加其規模和多樣性。傳統的數據增強技術，如圖像的旋轉和變暗，在修改后的數據集中沒有提供新的實例或多樣性。生成對抗網絡（GAN）是一種ML數據增強技術，它可以從數據集中學習樣本的分布，并產生合成的復制，被稱為 "深度偽造"。這項研究探討了GAN增強的無人駕駛飛行器（UAV）訓練集是否能提高在所述數據上訓練的檢測模型的可推廣性。為了回答這個問題，我們用描述農村環境的航空圖像訓練集來訓練"你只看一次"（YOLOv4-Tiny）目標檢測模型。使用各種GAN架構重新創建幀中的突出目標，并將其放回原始幀中，然后將增強的幀附加到原始訓練集上。對航空圖像訓練集的GAN增強導致YOLOv4-微小目標檢測模型的平均平均精度（mAP）平均增加6.75%，最佳情況下增加15.76%。同樣，在交叉聯合（IoU）率方面，平均增加了4.13%，最佳情況下增加了9.60%。最后，產生了100.00%的真陽性（TP）、4.70%的假陽性（FP）和零的假陰性（FN）檢測率，為支持目標檢測模型訓練集的GAN增強提供了進一步證據。

引言

對從移動平臺上獲得的數據進行圖像和視頻分類技術的調查，目前是計算機視覺領域中一個越來越受關注的領域。由空中飛行器收集的圖像對于收集信息和獲得對環境的洞察力非常重要，否則在地面上的評估是無法實現的。對于訓練目標檢測模型來說，用于創建這些模型的訓練集的一個重要特征是這些訓練集必須在其圖像中包含廣泛的細節多樣性。過去的數據增強技術，例如旋轉、添加噪音和翻轉圖像，被用來增加訓練集的多樣性，但由于它們無法向數據集添加任何新的圖像，所以是弱的方法。研究新的圖像增強和分類方法，其中包括機器學習（ML）技術，有助于提高用于航空圖像分類的模型的性能。

1.1 背景與問題陳述

1.1.1 背景

最近，使用ML算法對圖像進行分類或預測的情況越來越多。雖然ML已經被使用了幾十年，但在圖像上，我們看到合理的進展是在過去的20年里。隨著信息收集和存儲的技術進步及其可及性的擴大，可用于分析的數據量正以指數級的速度增長。計算機的隨機存取存儲器（RAM）和硬件存儲的增加迎合了擁有巨大的數據集來訓練、測試和驗證ML模型以實現較低的偏差和變異的需要。技術上的其他進步來自于計算機圖形處理單元（GPU）的改進，它允許以更快的速度處理大量的數據，這是實時圖像處理的兩個重要能力[2]。

人工神經網絡（ANNs）是ML的一個子集，其靈感來自于大腦中神經元的生物結構，旨在解決復雜的分類和回歸問題[3]。深度學習是ANNs的一個子集，它創建了多個相互連接的層，以努力提供更多的計算優勢[3]。卷積神經網絡（CNN）是ANN的一個子集，它允許自動提取特征并進行統一分類。一般來說，CNN和ANN需要有代表性的數據，以滿足操作上的需要，因此，由于現實世界中的變化，它們往往需要大量的數據。雖然在過去的十年中收集了大量的數據，但微不足道和不平衡的訓練數據集的問題仍然阻礙著ML模型的訓練，導致糟糕的、有偏見的分類和分析。相對較小的數據集導致了ML模型訓練中的過擬合或欠擬合。過度擬合的模型在訓練數據上顯示出良好的性能，但在模型訓練完成后，卻無法推廣到相關的真實世界數據。通過提供更大、更多樣化的訓練數據集，以及降低模型的復雜性和引入正則化，可以避免模型過擬合[4]。

過度擬合的模型不能學習訓練集的特征和模式，并對類似的真實世界數據做出不準確的預測。增加模型的復雜性可以減少欠擬合的影響。另一個克服模型欠擬合的方法是減少施加在模型上的約束數量[4]。有很多原因可以說明為什么大型、多樣的圖像集對訓練模型以檢測視頻幀中捕獲的目標很有用。當視頻取自移動平臺，如無人機或汽車時，存在Bang等人[5]所描述的進一步問題。首先，一天中拍攝圖像的時間以及天氣狀況都會影響亮度和陰影。其次，移動平臺收集的圖像有時會模糊和失真，這是因為所使用的相機類型以及它如何被移動平臺的推進系統投射的物理振動所影響。移動平臺的高度、太陽角度、觀察角度、云層和距離，以及目標的顏色/形狀等，都會進一步導致相機采集的樣本出現扭曲的影響。研究人員忽視這些參數的傾向性會導致模型在面對不同的操作數據時容易崩潰。這些因素使得我們有必要收集大量包含各種特征、圖像不規則性和扭曲的視頻幀，以復制在真實世界的圖像收集中發現的那些特征，從而訓練一個強大的目標檢測和分類模型。

為了增加圖像的多樣性，希望提高在數據上訓練的分類模型的結果準確性，可以使用數據增強技術來扭曲由無人駕駛飛行器（UAV）收集的圖像。目前的一些數據增強技術包括翻轉、旋轉或扭曲圖像的顏色。雖然這些增強技術可以在數據集中引入更多的多樣性，但它們無法為模型的訓練提供全新的框架實例。

生成性對抗網絡（GAN）是一種ML技術，它從數據集的概率分布和特征中學習，以生成數據集的新的合成實例，稱為 "深度假象"。GAN的實現是一種更強大的數據增強技術，因為它為訓練集增加了新的、從未見過的實例，這些實例仍然是可信的，并能代表原生群體。為ML模型提供這種新的訓練實例，可以使模型在實際操作環境中用于檢測時更加強大。

1.1.2 問題說明

圖像采集面臨的一個普遍問題是沒有收集足夠大和多樣化的訓練和測試數據集來產生高效的ML模型。這些微不足道的訓練集所顯示的多樣性的缺乏，使模型在用于實時檢測時表現很差。找到增加這些數據集的方法，無論是通過額外的數據收集還是其他方法，對于創建一個強大的、可歸納的模型都很重要。

計算機視覺中的第二個問題是傳統的數據增強技術所產生的圖像多樣性增加不足。通過旋轉、翻轉或調暗每一個收集到的視頻幀來增強數據集，不能為訓練集增加任何額外的實例，這與上面提到的第一個問題相矛盾。需要找到一種新的數據增強技術，在不需要收集更多數據的情況下提供新的實例，這對于快速訓練檢測模型以便在快速變化的操作環境中部署非常重要。

1.2 研究問題

本研究試圖回答以下問題：

1.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高卷積神經網絡（CNN）目標檢測模型的分類精度和可推廣性？

2.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高CNN目標檢測模型的定位和通用性？

3.從未增強的數據集和增強的數據集中可以得出什么推論，顯示它們的相似性和不相似性？

提供支持第一和第二個問題的證據可以改變數據科學家進行數據收集的方式，并將他們的努力轉向使用GAN的增強技術來創建用于ML研究的數據集。該模型不僅要能夠對目標進行分類，而且要訓練一個強大的目標檢測模型，使其能夠在圖像中找到感興趣的目標，并具有較高的交叉聯合（IoU）值，這就驗證了該模型能夠找到移動的目標，這些目標在捕獲的幀中的位置各不相同。一個模型的泛化是指該模型對網絡從未見過的輸入進行準確預測和分類的能力[6]。增強的數據集必須在質量和數量上與原始數據集相似，以證明模型泛化能力增強的斷言。

對最后一個問題的回答提供了理由，即來自GAN的增強對象在性質上是否與原始樣本相似，并且是對現實世界環境中發現的東西的合理復制。同類目標之間的高相似率可能會使GAN增強變得脆弱，需要進一步研究以用于實際應用。

1.3 研究的局限性

本研究的最大限制之一是能否獲得適當的硬件和軟件來實現不同的ML算法。雖然ML模型可以在中央處理器（CPU）上執行，但本論文中的模型在單個CPU上運行需要幾天，甚至幾周的時間。在運行深度學習模型時，GPU的效率要高得多，尤其是那些為圖像探索設計的模型。在整個研究過程中，GPU的使用非常有限，這給CNN和GAN模型的復雜性增加了限制，也增加了每個模型完成訓練迭代的時間。模型不可能同時運行，大大增加了本論文的完成時間。

另一個限制是本研究過程中可用的內存和硬盤內存的數量。內存不足進一步導致了模型復雜性的下降，以及模型在研究的訓練和測試過程中某一時刻可以利用的數據量的下降。這兩個模型組成部分的減少會導致次優模型。在這項研究中，我們采取了一些措施來減輕這些影響，包括選擇參數較少但性能與較復雜的模型相同的高水平的模型。此外，在訓練和測試過程中，將數據集劃分為多個批次，有助于緩解RAM和硬盤內存問題。

1.4 論文組織

本章討論了本論文將集中研究的ML的一般領域，以及概述了ML研究中出現的好處和限制。第2章提供了一個文獻回顧，研究了CNNs和GANs的理論。此外，它還提供了使用CNNs、GANs和從無人機收集的圖像幀進行的相關研究。第3章詳細介紹了數據集增強前后的CNN檢測模型的訓練過程。第4章提供了用于增強訓練集的合成目標的細節。第5章介紹了在原始和增強的訓練集上訓練的最佳模型的評估結果。第6章概述了在原始測試集訓練結束后進行的三個不同實驗的方法。第7章回顧了這三個不同實驗的結果。最后，第8章討論了從結果中得出的結論，以及對使用生成性對抗網絡（GANs）對移動平臺獲取的圖像進行數據增強領域的未來研究建議。