采用神經網絡模型的預測系統已被部署到非安全關鍵領域和高度安全關鍵領域。當模型無法達到預期性能時，通常很難找出根本原因。在故障可能造成不可挽回的損失或生命或財產損失的領域，必須采取措施向使用這些系統的人員提供可靠性，在設計過程中已經通過深思熟慮的分析降低了風險。本論文展示了系統理論過程分析（STPA）作為一種可重復的方法，用于選擇和校準機器學習開發行為，從而在機器學習開發生命周期（MDLC）中提供保證。STPA 是一種系統分析方法，可識別安全關鍵型系統中由組件級交互引起的組件危險。在這項研究中，STPA 被用于評估機器學習開發的安全性，它符合負責任的人工智能（AI）原則，適用于一個利用分類模型根據音頻特征檢測海上船只的系統。分析結果提出了一些建議，這些建議可以主動指導人工智能設計過程，從而使生命周期每個階段的決策都能得到解釋。結果表明，通過應用這種方法，人工智能系統的可靠性更高，部署更安全。

圖 4.1：相關系統內的活動示意圖。在這個擬議版本中，矢量傳感器與信號處理能力和神經網絡模型一起部署。在執行聯合和主動學習程序時，每個傳感器部署的本地模型都會更新。

新出現的威脅將美國海軍的作戰概念集中在瀕海和海洋區域的敏捷、分布式戰術部隊上。鑒于威脅的性質及其所處位置，通過空中進行醫療后送可能會因條件惡劣或距離遙遠而不可行，這就需要轉向水面或水下戰略。在戰爭中，醫療需求和對手的行動都是不可預測的，因此需要一個考慮到不確定性的路由決策過程。利用美國海軍陸戰隊快速反應規劃流程和在線優化的原理，我們提出了一種在需求不確定的情況下針對對手的水面醫療后送路由決策流程，該流程可應用于有人和自主運輸行動。我們通過開發一種通過網絡進行醫療轉運的路由算法，展示了決策過程的可計算性，然后將該算法作為 Python 中的一個仿真模型加以實現。我們將模型的基本情況與完美信息條件下的兩個修正情況進行比較，以討論使用不恰當假設建模的風險。然后，利用仿真模型的多次運行，提出了一個開發距離乘數的過程，以估計對手存在對現有仿真模型的影響，而無需完全重新設計。

隨著必須考慮的大規模作戰行動環境的廣泛性，美國陸軍網絡作戰的重要性也在不斷增加。傳統上，網絡作戰支持被視為一種戰略資產。美國陸軍網絡司令部（ARCYBER）認識到戰術指揮官需要利用網絡效應，并發布了最新政策，允許戰術指揮官提交網絡支持請求。由于網絡目標的影響深遠，而網絡支持資源的能力有限，因此有效處理這些請求非常重要。效率是衡量有效性的主要標準，體現為處理請求的及時性。計算建模提供了一種在幾分鐘內生成和處理超過一百萬個請求的途徑，同時還能比較流程的不同變體，而不是等待在現場吸取經驗教訓。本文創建了一個仿真模型來表示這一請求流程，同時在支持團隊的熟練程度和學習行為中加入隨機變化，然后通過設計的實驗進行結構化測試，以深入了解流程的性能。請求服務時間、到達率、起始熟練程度和學習曲線對整體效率起著重要作用。建議在收集到更多數據后進行進一步實驗。此方法為類似研究中的人類行為效果建模奠定了基礎。

應急管理機構負責制定流程，以保持應急行動中心（EOC）的態勢感知，從而為災難做好準備并做出響應。采用物聯網 (IoT) 技術可以提供實時數據、改善溝通和協調，并提高應急響應的效率和效力，從而徹底改變應急管理和響應。物聯網可以提供信號情報，為緊急行動中心的態勢感知提供信息，前提是組織有意識地準備和使用該技術，并從日常流程中整合系統。本論文通過對智能城市和新型城市的案例研究，評估了在危機中使用新興物聯網技術的可能性，以指導地方應急管理機構預測新出現的威脅并保持態勢感知，同時展示了用于日常流程的物聯網系統如何產生信號情報。本論文認為，城市可以利用物聯網系統設置基準數據讀數，并利用機器學習檢測社區內的異常情況。展望未來，韓國松島和沙特阿拉伯的 NEOM 提供了新城市如何圍繞技術建立智能基礎，同時與預期居民互動以滿足其需求的范例。這項研究的結論是，隨著物聯網技術的發展，應急管理人員必須適應并利用這些先進技術來加強運營和保護社區。

國家事件管理系統

這項研究的目的是定義對手作戰方案支持數據模型，以及它與自動白方（TAWC）的關系，后者是一種理論上的先進規劃輔助結構。新提出的作戰概念依賴于較小規模的集中式兵力，需要處理的信息可能更多。這種模式迫使兵力領導者依靠更直觀的決策和/或使用技術來支持傳統上由人類完成的分析功能。要使新技術為規劃做出重要而可靠的貢獻，軟件開發人員必須考慮到條令流程，如 "作戰空間情報準備"（IPB）。軍事出版物中蘊含著無數年的經驗，而將減少不確定性的條令模型映射到領先技術的文獻卻很少。本論文探討了流程如何導致發現，從而減少戰斗空間中的意外情況。

為了使多域作戰的概念取得成功，聯合部隊之間需要有一種共同的語言，而且這一概念決不能以犧牲在現有領域的機動性或通過創造一個新的領域來放棄單一領域的主導地位。并非所有的問題都需要一個僵化的理論來克服，多領域作戰需要模糊性，以最大限度地發揮其潛力。如果不這樣做，就有可能使概念僵化，使概念的效用受挫。

在美國陸軍和聯合部隊中，最近出現了實施多域解決方案以克服新出現的戰略和戰術挑戰的勢頭。應對這些挑戰的首要機制是制定理論，讓各部門承認并提供跨領域的效果以支持彼此。迄今為止，這一努力遇到了挑戰，因為聯合部隊有定義方面的挑戰，并且最終必須默許在零和資源環境中以犧牲自己的能力為代價來發展支持其他部門的能力。這項任務在最好的情況下是具有挑戰性的，在最壞的情況下是無法實現的。此外，產生一個解決方案本質上增加了與執行有關的復雜性。然而，重大的理論改革是沒有必要的，多領域合作的有利影響最好通過內在的模糊性來體現。

為多域作戰提供一個激烈的理論解決方案既無法實現，也沒有必要。允許思想上的模糊性提供了機會，使各部門能夠保持主要領域的主導地位，這對于多領域合作和跨領域的成功來說是必要的。它還允許制定與特定情況相關的解決方案，利用創造力，而沒有在零和資源環境中進行資源競爭的風險。各部門之間的同步性可以通過更加集中和一致的語言來克服，并通過使用現有的基礎設施來實施變革而不產生重大動蕩，使美國的軍事優勢保持不變，并能夠確保美國持續的全球力量投射。

防火墻是維護安全網絡的關鍵，但不能假設設法通過防火墻的網絡流量是完全安全的。異常檢測指的是可用于發現特定數據集中的獨特或不尋常現象的方法。無監督的機器學習技術涉及到對無標記數據的機器學習，可以利用它來進行異常檢測，通過攝取給定的數據集，發現那些以有意義的方式與其他數據不同的實例，這些實例對人眼來說可能并不明顯。在這項研究中，我們旨在分析檢測到的成功通過防火墻的傳入數據包和網絡流量數據的異常情況，并確定這種異常情況可能存在的意義。考慮到大量存在并定期產生的惡意流量，本研究表明，高斯混合物可用于發現通過防火墻的網絡流量中的異常現象，以發現潛在的不良或惡意流量。

隨著海軍特種作戰從過去20年的反恐行動轉向有爭議環境中的同行競爭，他們需要地面部隊指揮官（GFC）為減輕認知過載、運用綜合效應和平衡戰略任務風險做好準備。如果地面部隊指揮官的培訓能夠以合格的理論標準為基礎，那么就可以通過系統化的培訓管道來減少任務的剩余風險和部隊的風險，這可以通過整合目前可用的虛擬現實技術來增加、啟用和加強。GFC崗位傳統上是一個批判性思維、決策和應急管理的角色。隨著戰場的發展，GFC將有比過去更多的資產需要控制，更多的突發事件需要計劃。這項研究評估了當前的GFC培訓和虛擬現實生態系統。海軍特戰界應采用地面部隊指揮官的虛擬現實訓練器，因為它將使GFC在零威脅的環境下進行反復訓練。

由于現行訓練準則的限制，海軍特種作戰社區的地面部隊指揮官沒有充分發揮他們的潛力。初級軍官為成為一名地面部隊指揮官總共接受了八周的正式培訓：六周在初級軍官培訓課程，兩周在地面部隊指揮官課程。初級軍官被期望成功地計劃和執行現實世界的行動，同時只完成極少的現實訓練場景。海軍特戰部隊的士兵至少屬于許多類別中的一種；他們是突破者、聯合終端攻擊控制者、狙擊手、偵察負責人或通信專家。這些專業中的每一個都有正式的訓練和持續演習，可以持續八個星期。訓練也是年復一年地進行，而地面部隊指揮官通常只經過一次正式訓練。想象一下，在未來，海軍特種作戰初級軍官準備在明天的戰爭中帶領各排對抗同行的競爭對手。挑戰將是巨大的，因為地面部隊指揮官沒有足夠的專門訓練時間來完善成為有效的戰斗領導人所需的技能。

本頂點研究主要關注以下內容。海軍特種作戰部如何能更好地準備和訓練其地面部隊指揮官，同時整合不斷進步的虛擬現實技術？通過海軍研究生院國防分析系和計算機科學系的共同努力，這項研究開始在一個合成環境中設計場景，初級軍官最終將能夠使用這些場景作為現有地面部隊指揮官培訓的補充。

虛擬現實在軍隊中并不是一個新概念；不同軍種都在某種程度上使用虛擬現實來加強訓練。海軍特種作戰部甚至有一個虛擬現實系統，是其JTACs的一個記錄項目。該記錄項目證明了特種作戰司令部致力于虛擬現實技術的采用，以確保其操作人員得到最好的培訓質量。這項研究不是為了創造一種新的虛擬現實技術，而是為了了解虛擬現實生態系統，然后為海軍特種作戰找到一種合適的采用方法。虛擬現實生態系統正在成倍增長，正因為如此，倫理和道德正在成為其開發者和使用者中更受歡迎的話題。隨著虛擬現實技術越來越容易被終端用戶使用，在短期內需要進行更多關于虛擬現實技術對個人行為的長期影響的研究。

地面部隊指揮官虛擬現實訓練器并不打算取代現有的培訓或正式課程。它只是作為一種補充。評價是，沒有足夠的專門時間讓初級軍官在成為地面部隊指揮官方面得到有意義的重復訓練。如果虛擬現實訓練器要對海軍特種作戰指揮部產生積極的影響，初級軍官的訓練就需要修改。建議在初級軍官培訓課程中初步實施這項技術，而不是干擾正在準備進行單位級別訓練和部署的海軍特種作戰排。初級軍官在這一階段的訓練中處于學生狀態，還沒有被引入深入的任務規劃或復雜的決策練習。向學生介紹虛擬現實訓練器將提供充足的時間來測試硬件和軟件，然后再將其用于更嚴峻的情況。

在海軍特戰基礎訓練司令部和海軍研究生院的模擬虛擬環境和模擬實驗室之間建立一個反饋回路，將使未來的場景發展和持續的伙伴關系成為可能。對未來研究和發展的建議包括以下內容：海軍研究生院的Bucklew小組和海軍特種作戰基本訓練司令部之間繼續合作，與工業界合作以加快合成環境訓練場景的創建，以及對特種作戰部隊的虛擬現實訓練的有效性進行正式評估。

基于機器的態勢感知是與我們所處的復雜世界進行有意識的智能互動的關鍵因素，無論是對單個單位、復雜的動態系統，甚至是復雜的系統簇。為了建立這種意識，需要經常收集準確和實時的情報數據，以確保及時、準確和可操作的信息。無人駕駛飛行器（UAV）和其他半自主的網絡物理系統越來越多地成為評估我們周圍世界狀況和通過監視和偵察任務收集情報所采用的機制和系統。目前，人道主義和軍事行動的技術水平仍然依賴于人類控制的飛行/資產操作，但隨著自主系統的增加，有機會將其卸載到設備本身。在本文中，我們提出了一種原則性的、可擴展的方法，用于評估各種情況下自主設備集體的相對性能。所提出的方法以無人機群為例進行說明，預計將發展成為一種通用工具，為此類集體的部署提供信息，提供從問題規格、已知約束和目標函數推斷關鍵參數值的方法。

計算機視覺中的一項挑戰性任務是尋找技術來提高用于處理移動空中平臺所獲圖像的機器學習（ML）模型的目標檢測和分類能力。目標的檢測和分類通常是通過應用有監督的ML技術完成的，這需要標記的訓練數據集。為這些訓練數據集收集圖像是昂貴而低效的。由于一般不可能從所有可能的仰角、太陽角、距離等方面收集圖像，這就導致了具有最小圖像多樣性的小型訓練數據集。為了提高在這些數據集上訓練的監督性ML模型的準確性，可以采用各種數據增強技術來增加其規模和多樣性。傳統的數據增強技術，如圖像的旋轉和變暗，在修改后的數據集中沒有提供新的實例或多樣性。生成對抗網絡（GAN）是一種ML數據增強技術，它可以從數據集中學習樣本的分布，并產生合成的復制，被稱為 "深度偽造"。這項研究探討了GAN增強的無人駕駛飛行器（UAV）訓練集是否能提高在所述數據上訓練的檢測模型的可推廣性。為了回答這個問題，我們用描述農村環境的航空圖像訓練集來訓練"你只看一次"（YOLOv4-Tiny）目標檢測模型。使用各種GAN架構重新創建幀中的突出目標，并將其放回原始幀中，然后將增強的幀附加到原始訓練集上。對航空圖像訓練集的GAN增強導致YOLOv4-微小目標檢測模型的平均平均精度（mAP）平均增加6.75%，最佳情況下增加15.76%。同樣，在交叉聯合（IoU）率方面，平均增加了4.13%，最佳情況下增加了9.60%。最后，產生了100.00%的真陽性（TP）、4.70%的假陽性（FP）和零的假陰性（FN）檢測率，為支持目標檢測模型訓練集的GAN增強提供了進一步證據。

引言

對從移動平臺上獲得的數據進行圖像和視頻分類技術的調查，目前是計算機視覺領域中一個越來越受關注的領域。由空中飛行器收集的圖像對于收集信息和獲得對環境的洞察力非常重要，否則在地面上的評估是無法實現的。對于訓練目標檢測模型來說，用于創建這些模型的訓練集的一個重要特征是這些訓練集必須在其圖像中包含廣泛的細節多樣性。過去的數據增強技術，例如旋轉、添加噪音和翻轉圖像，被用來增加訓練集的多樣性，但由于它們無法向數據集添加任何新的圖像，所以是弱的方法。研究新的圖像增強和分類方法，其中包括機器學習（ML）技術，有助于提高用于航空圖像分類的模型的性能。

1.1 背景與問題陳述

1.1.1 背景

最近，使用ML算法對圖像進行分類或預測的情況越來越多。雖然ML已經被使用了幾十年，但在圖像上，我們看到合理的進展是在過去的20年里。隨著信息收集和存儲的技術進步及其可及性的擴大，可用于分析的數據量正以指數級的速度增長。計算機的隨機存取存儲器（RAM）和硬件存儲的增加迎合了擁有巨大的數據集來訓練、測試和驗證ML模型以實現較低的偏差和變異的需要。技術上的其他進步來自于計算機圖形處理單元（GPU）的改進，它允許以更快的速度處理大量的數據，這是實時圖像處理的兩個重要能力[2]。

人工神經網絡（ANNs）是ML的一個子集，其靈感來自于大腦中神經元的生物結構，旨在解決復雜的分類和回歸問題[3]。深度學習是ANNs的一個子集，它創建了多個相互連接的層，以努力提供更多的計算優勢[3]。卷積神經網絡（CNN）是ANN的一個子集，它允許自動提取特征并進行統一分類。一般來說，CNN和ANN需要有代表性的數據，以滿足操作上的需要，因此，由于現實世界中的變化，它們往往需要大量的數據。雖然在過去的十年中收集了大量的數據，但微不足道和不平衡的訓練數據集的問題仍然阻礙著ML模型的訓練，導致糟糕的、有偏見的分類和分析。相對較小的數據集導致了ML模型訓練中的過擬合或欠擬合。過度擬合的模型在訓練數據上顯示出良好的性能，但在模型訓練完成后，卻無法推廣到相關的真實世界數據。通過提供更大、更多樣化的訓練數據集，以及降低模型的復雜性和引入正則化，可以避免模型過擬合[4]。

過度擬合的模型不能學習訓練集的特征和模式，并對類似的真實世界數據做出不準確的預測。增加模型的復雜性可以減少欠擬合的影響。另一個克服模型欠擬合的方法是減少施加在模型上的約束數量[4]。有很多原因可以說明為什么大型、多樣的圖像集對訓練模型以檢測視頻幀中捕獲的目標很有用。當視頻取自移動平臺，如無人機或汽車時，存在Bang等人[5]所描述的進一步問題。首先，一天中拍攝圖像的時間以及天氣狀況都會影響亮度和陰影。其次，移動平臺收集的圖像有時會模糊和失真，這是因為所使用的相機類型以及它如何被移動平臺的推進系統投射的物理振動所影響。移動平臺的高度、太陽角度、觀察角度、云層和距離，以及目標的顏色/形狀等，都會進一步導致相機采集的樣本出現扭曲的影響。研究人員忽視這些參數的傾向性會導致模型在面對不同的操作數據時容易崩潰。這些因素使得我們有必要收集大量包含各種特征、圖像不規則性和扭曲的視頻幀，以復制在真實世界的圖像收集中發現的那些特征，從而訓練一個強大的目標檢測和分類模型。

為了增加圖像的多樣性，希望提高在數據上訓練的分類模型的結果準確性，可以使用數據增強技術來扭曲由無人駕駛飛行器（UAV）收集的圖像。目前的一些數據增強技術包括翻轉、旋轉或扭曲圖像的顏色。雖然這些增強技術可以在數據集中引入更多的多樣性，但它們無法為模型的訓練提供全新的框架實例。

生成性對抗網絡（GAN）是一種ML技術，它從數據集的概率分布和特征中學習，以生成數據集的新的合成實例，稱為 "深度假象"。GAN的實現是一種更強大的數據增強技術，因為它為訓練集增加了新的、從未見過的實例，這些實例仍然是可信的，并能代表原生群體。為ML模型提供這種新的訓練實例，可以使模型在實際操作環境中用于檢測時更加強大。

1.1.2 問題說明

圖像采集面臨的一個普遍問題是沒有收集足夠大和多樣化的訓練和測試數據集來產生高效的ML模型。這些微不足道的訓練集所顯示的多樣性的缺乏，使模型在用于實時檢測時表現很差。找到增加這些數據集的方法，無論是通過額外的數據收集還是其他方法，對于創建一個強大的、可歸納的模型都很重要。

計算機視覺中的第二個問題是傳統的數據增強技術所產生的圖像多樣性增加不足。通過旋轉、翻轉或調暗每一個收集到的視頻幀來增強數據集，不能為訓練集增加任何額外的實例，這與上面提到的第一個問題相矛盾。需要找到一種新的數據增強技術，在不需要收集更多數據的情況下提供新的實例，這對于快速訓練檢測模型以便在快速變化的操作環境中部署非常重要。

1.2 研究問題

本研究試圖回答以下問題：

1.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高卷積神經網絡（CNN）目標檢測模型的分類精度和可推廣性？

2.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高CNN目標檢測模型的定位和通用性？

3.從未增強的數據集和增強的數據集中可以得出什么推論，顯示它們的相似性和不相似性？

提供支持第一和第二個問題的證據可以改變數據科學家進行數據收集的方式，并將他們的努力轉向使用GAN的增強技術來創建用于ML研究的數據集。該模型不僅要能夠對目標進行分類，而且要訓練一個強大的目標檢測模型，使其能夠在圖像中找到感興趣的目標，并具有較高的交叉聯合（IoU）值，這就驗證了該模型能夠找到移動的目標，這些目標在捕獲的幀中的位置各不相同。一個模型的泛化是指該模型對網絡從未見過的輸入進行準確預測和分類的能力[6]。增強的數據集必須在質量和數量上與原始數據集相似，以證明模型泛化能力增強的斷言。

對最后一個問題的回答提供了理由，即來自GAN的增強對象在性質上是否與原始樣本相似，并且是對現實世界環境中發現的東西的合理復制。同類目標之間的高相似率可能會使GAN增強變得脆弱，需要進一步研究以用于實際應用。

1.3 研究的局限性

本研究的最大限制之一是能否獲得適當的硬件和軟件來實現不同的ML算法。雖然ML模型可以在中央處理器（CPU）上執行，但本論文中的模型在單個CPU上運行需要幾天，甚至幾周的時間。在運行深度學習模型時，GPU的效率要高得多，尤其是那些為圖像探索設計的模型。在整個研究過程中，GPU的使用非常有限，這給CNN和GAN模型的復雜性增加了限制，也增加了每個模型完成訓練迭代的時間。模型不可能同時運行，大大增加了本論文的完成時間。

另一個限制是本研究過程中可用的內存和硬盤內存的數量。內存不足進一步導致了模型復雜性的下降，以及模型在研究的訓練和測試過程中某一時刻可以利用的數據量的下降。這兩個模型組成部分的減少會導致次優模型。在這項研究中，我們采取了一些措施來減輕這些影響，包括選擇參數較少但性能與較復雜的模型相同的高水平的模型。此外，在訓練和測試過程中，將數據集劃分為多個批次，有助于緩解RAM和硬盤內存問題。

1.4 論文組織

本章討論了本論文將集中研究的ML的一般領域，以及概述了ML研究中出現的好處和限制。第2章提供了一個文獻回顧，研究了CNNs和GANs的理論。此外，它還提供了使用CNNs、GANs和從無人機收集的圖像幀進行的相關研究。第3章詳細介紹了數據集增強前后的CNN檢測模型的訓練過程。第4章提供了用于增強訓練集的合成目標的細節。第5章介紹了在原始和增強的訓練集上訓練的最佳模型的評估結果。第6章概述了在原始測試集訓練結束后進行的三個不同實驗的方法。第7章回顧了這三個不同實驗的結果。最后，第8章討論了從結果中得出的結論，以及對使用生成性對抗網絡（GANs）對移動平臺獲取的圖像進行數據增強領域的未來研究建議。