計算機視覺中的一項挑戰性任務是尋找技術來提高用于處理移動空中平臺所獲圖像的機器學習(ML)模型的目標檢測和分類能力。目標的檢測和分類通常是通過應用有監督的ML技術完成的,這需要標記的訓練數據集。為這些訓練數據集收集圖像是昂貴而低效的。由于一般不可能從所有可能的仰角、太陽角、距離等方面收集圖像,這就導致了具有最小圖像多樣性的小型訓練數據集。為了提高在這些數據集上訓練的監督性ML模型的準確性,可以采用各種數據增強技術來增加其規模和多樣性。傳統的數據增強技術,如圖像的旋轉和變暗,在修改后的數據集中沒有提供新的實例或多樣性。生成對抗網絡(GAN)是一種ML數據增強技術,它可以從數據集中學習樣本的分布,并產生合成的復制,被稱為 "深度偽造"。這項研究探討了GAN增強的無人駕駛飛行器(UAV)訓練集是否能提高在所述數據上訓練的檢測模型的可推廣性。為了回答這個問題,我們用描述農村環境的航空圖像訓練集來訓練"你只看一次"(YOLOv4-Tiny)目標檢測模型。使用各種GAN架構重新創建幀中的突出目標,并將其放回原始幀中,然后將增強的幀附加到原始訓練集上。對航空圖像訓練集的GAN增強導致YOLOv4-微小目標檢測模型的平均平均精度(mAP)平均增加6.75%,最佳情況下增加15.76%。同樣,在交叉聯合(IoU)率方面,平均增加了4.13%,最佳情況下增加了9.60%。最后,產生了100.00%的真陽性(TP)、4.70%的假陽性(FP)和零的假陰性(FN)檢測率,為支持目標檢測模型訓練集的GAN增強提供了進一步證據。
對從移動平臺上獲得的數據進行圖像和視頻分類技術的調查,目前是計算機視覺領域中一個越來越受關注的領域。由空中飛行器收集的圖像對于收集信息和獲得對環境的洞察力非常重要,否則在地面上的評估是無法實現的。對于訓練目標檢測模型來說,用于創建這些模型的訓練集的一個重要特征是這些訓練集必須在其圖像中包含廣泛的細節多樣性。過去的數據增強技術,例如旋轉、添加噪音和翻轉圖像,被用來增加訓練集的多樣性,但由于它們無法向數據集添加任何新的圖像,所以是弱的方法。研究新的圖像增強和分類方法,其中包括機器學習(ML)技術,有助于提高用于航空圖像分類的模型的性能。
最近,使用ML算法對圖像進行分類或預測的情況越來越多。雖然ML已經被使用了幾十年,但在圖像上,我們看到合理的進展是在過去的20年里。隨著信息收集和存儲的技術進步及其可及性的擴大,可用于分析的數據量正以指數級的速度增長。計算機的隨機存取存儲器(RAM)和硬件存儲的增加迎合了擁有巨大的數據集來訓練、測試和驗證ML模型以實現較低的偏差和變異的需要。技術上的其他進步來自于計算機圖形處理單元(GPU)的改進,它允許以更快的速度處理大量的數據,這是實時圖像處理的兩個重要能力[2]。
人工神經網絡(ANNs)是ML的一個子集,其靈感來自于大腦中神經元的生物結構,旨在解決復雜的分類和回歸問題[3]。深度學習是ANNs的一個子集,它創建了多個相互連接的層,以努力提供更多的計算優勢[3]。卷積神經網絡(CNN)是ANN的一個子集,它允許自動提取特征并進行統一分類。一般來說,CNN和ANN需要有代表性的數據,以滿足操作上的需要,因此,由于現實世界中的變化,它們往往需要大量的數據。雖然在過去的十年中收集了大量的數據,但微不足道和不平衡的訓練數據集的問題仍然阻礙著ML模型的訓練,導致糟糕的、有偏見的分類和分析。相對較小的數據集導致了ML模型訓練中的過擬合或欠擬合。過度擬合的模型在訓練數據上顯示出良好的性能,但在模型訓練完成后,卻無法推廣到相關的真實世界數據。通過提供更大、更多樣化的訓練數據集,以及降低模型的復雜性和引入正則化,可以避免模型過擬合[4]。
過度擬合的模型不能學習訓練集的特征和模式,并對類似的真實世界數據做出不準確的預測。增加模型的復雜性可以減少欠擬合的影響。另一個克服模型欠擬合的方法是減少施加在模型上的約束數量[4]。有很多原因可以說明為什么大型、多樣的圖像集對訓練模型以檢測視頻幀中捕獲的目標很有用。當視頻取自移動平臺,如無人機或汽車時,存在Bang等人[5]所描述的進一步問題。首先,一天中拍攝圖像的時間以及天氣狀況都會影響亮度和陰影。其次,移動平臺收集的圖像有時會模糊和失真,這是因為所使用的相機類型以及它如何被移動平臺的推進系統投射的物理振動所影響。移動平臺的高度、太陽角度、觀察角度、云層和距離,以及目標的顏色/形狀等,都會進一步導致相機采集的樣本出現扭曲的影響。研究人員忽視這些參數的傾向性會導致模型在面對不同的操作數據時容易崩潰。這些因素使得我們有必要收集大量包含各種特征、圖像不規則性和扭曲的視頻幀,以復制在真實世界的圖像收集中發現的那些特征,從而訓練一個強大的目標檢測和分類模型。
為了增加圖像的多樣性,希望提高在數據上訓練的分類模型的結果準確性,可以使用數據增強技術來扭曲由無人駕駛飛行器(UAV)收集的圖像。目前的一些數據增強技術包括翻轉、旋轉或扭曲圖像的顏色。雖然這些增強技術可以在數據集中引入更多的多樣性,但它們無法為模型的訓練提供全新的框架實例。
生成性對抗網絡(GAN)是一種ML技術,它從數據集的概率分布和特征中學習,以生成數據集的新的合成實例,稱為 "深度假象"。GAN的實現是一種更強大的數據增強技術,因為它為訓練集增加了新的、從未見過的實例,這些實例仍然是可信的,并能代表原生群體。為ML模型提供這種新的訓練實例,可以使模型在實際操作環境中用于檢測時更加強大。
圖像采集面臨的一個普遍問題是沒有收集足夠大和多樣化的訓練和測試數據集來產生高效的ML模型。這些微不足道的訓練集所顯示的多樣性的缺乏,使模型在用于實時檢測時表現很差。找到增加這些數據集的方法,無論是通過額外的數據收集還是其他方法,對于創建一個強大的、可歸納的模型都很重要。
計算機視覺中的第二個問題是傳統的數據增強技術所產生的圖像多樣性增加不足。通過旋轉、翻轉或調暗每一個收集到的視頻幀來增強數據集,不能為訓練集增加任何額外的實例,這與上面提到的第一個問題相矛盾。需要找到一種新的數據增強技術,在不需要收集更多數據的情況下提供新的實例,這對于快速訓練檢測模型以便在快速變化的操作環境中部署非常重要。
本研究試圖回答以下問題:
1.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高卷積神經網絡(CNN)目標檢測模型的分類精度和可推廣性?
2.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高CNN目標檢測模型的定位和通用性?
3.從未增強的數據集和增強的數據集中可以得出什么推論,顯示它們的相似性和不相似性?
提供支持第一和第二個問題的證據可以改變數據科學家進行數據收集的方式,并將他們的努力轉向使用GAN的增強技術來創建用于ML研究的數據集。該模型不僅要能夠對目標進行分類,而且要訓練一個強大的目標檢測模型,使其能夠在圖像中找到感興趣的目標,并具有較高的交叉聯合(IoU)值,這就驗證了該模型能夠找到移動的目標,這些目標在捕獲的幀中的位置各不相同。一個模型的泛化是指該模型對網絡從未見過的輸入進行準確預測和分類的能力[6]。增強的數據集必須在質量和數量上與原始數據集相似,以證明模型泛化能力增強的斷言。
對最后一個問題的回答提供了理由,即來自GAN的增強對象在性質上是否與原始樣本相似,并且是對現實世界環境中發現的東西的合理復制。同類目標之間的高相似率可能會使GAN增強變得脆弱,需要進一步研究以用于實際應用。
本研究的最大限制之一是能否獲得適當的硬件和軟件來實現不同的ML算法。雖然ML模型可以在中央處理器(CPU)上執行,但本論文中的模型在單個CPU上運行需要幾天,甚至幾周的時間。在運行深度學習模型時,GPU的效率要高得多,尤其是那些為圖像探索設計的模型。在整個研究過程中,GPU的使用非常有限,這給CNN和GAN模型的復雜性增加了限制,也增加了每個模型完成訓練迭代的時間。模型不可能同時運行,大大增加了本論文的完成時間。
另一個限制是本研究過程中可用的內存和硬盤內存的數量。內存不足進一步導致了模型復雜性的下降,以及模型在研究的訓練和測試過程中某一時刻可以利用的數據量的下降。這兩個模型組成部分的減少會導致次優模型。在這項研究中,我們采取了一些措施來減輕這些影響,包括選擇參數較少但性能與較復雜的模型相同的高水平的模型。此外,在訓練和測試過程中,將數據集劃分為多個批次,有助于緩解RAM和硬盤內存問題。
本章討論了本論文將集中研究的ML的一般領域,以及概述了ML研究中出現的好處和限制。第2章提供了一個文獻回顧,研究了CNNs和GANs的理論。此外,它還提供了使用CNNs、GANs和從無人機收集的圖像幀進行的相關研究。第3章詳細介紹了數據集增強前后的CNN檢測模型的訓練過程。第4章提供了用于增強訓練集的合成目標的細節。第5章介紹了在原始和增強的訓練集上訓練的最佳模型的評估結果。第6章概述了在原始測試集訓練結束后進行的三個不同實驗的方法。第7章回顧了這三個不同實驗的結果。最后,第8章討論了從結果中得出的結論,以及對使用生成性對抗網絡(GANs)對移動平臺獲取的圖像進行數據增強領域的未來研究建議。
基于機器的態勢感知是與我們所處的復雜世界進行有意識的智能互動的關鍵因素,無論是對單個單位、復雜的動態系統,甚至是復雜的系統簇。為了建立這種意識,需要經常收集準確和實時的情報數據,以確保及時、準確和可操作的信息。無人駕駛飛行器(UAV)和其他半自主的網絡物理系統越來越多地成為評估我們周圍世界狀況和通過監視和偵察任務收集情報所采用的機制和系統。目前,人道主義和軍事行動的技術水平仍然依賴于人類控制的飛行/資產操作,但隨著自主系統的增加,有機會將其卸載到設備本身。在本文中,我們提出了一種原則性的、可擴展的方法,用于評估各種情況下自主設備集體的相對性能。所提出的方法以無人機群為例進行說明,預計將發展成為一種通用工具,為此類集體的部署提供信息,提供從問題規格、已知約束和目標函數推斷關鍵參數值的方法。
二十一世紀的第二個十年是一個快速技術革新的時期。強大的計算機、快速的網速和智能設備以及爆炸性的科技產業的擴散,共同創造了在深度和廣度上前所未有的信息洪流。這種數據流太龐大了,僅靠人類是無法分析的。計算機科學和技術的進步已經開啟了使用人工智能(AI)來協助完成這項任務。海軍部(DON)已經認識到人工智能的效用,并對這項技術的應用進行了投資。這些應用之一是使用人工智能,特別是深度學習和神經網絡,來消化衛星圖像的巨大數據集,為預測目的對數據進行分割和分類[1]。在過去,DON天氣預報員和情報分析員會手動解釋這些數據并進行預測。在未來,人工智能驅動的模型可以協助預報員和分析員提供比人類分析員單獨產生的預測更準確的預測。
為了自動從衛星圖像數據集中提取信息用于分類和預測,目前的研究主要集中在使用監督學習算法,如深度卷積神經網絡(DCNN)。DCNNs已經被成功地應用于圖像的自動分類[2]。在這個應用中,圖像被輸入到一個DCNN中,它從圖像的通道中提取信息來預測圖像中包含的內容,然后在輸出端提供一個決定,如果圖像的內容屬于一個特定的類別(例如,圖像是一張船的圖片)。這種方法已經被用來對給定的戶外圖像中的天氣進行分類[3]。本論文提出,同樣的方法可用于對氣象學目的的衛星遙感圖像進行分類,如將降水事件分為對流型和層狀型,這兩類對流描述了典型的上下運動和二元加熱的垂直剖面,這些過程對所有空間和時間尺度的大氣現象至關重要。
貝葉斯深度學習是人工智能/機器學習(AI/ML)社區中一個發展良好的領域,它通過考慮模型在權重空間中的不確定性,實現了模型復雜性和數據擬合之間的平衡,為經典的深度學習方法提供了一個替代方案。Kendall和Gal[4]首次證明貝葉斯深度學習方法提高了神經網絡的性能,同時為計算機視覺任務的預測提供了不確定性估計。
這項工作的重點是量化在多光譜衛星數據上訓練的深度學習模型的不確定性,并在Petkovi?和Orescanin[5]以前的工作基礎上,將多個貝葉斯卷積神經網絡(BCN)架構應用于同一任務。具體來說,多光譜無源微波(PMW)衛星數據將被用作幾種不同類型的BCNN的輸入數據,目的是提供可被同化到大氣預報模型中的合成對流型觀測數據和相關不確定性。此外,使用這些貝葉斯神經網絡得到的結果將作為這些不同的貝葉斯方法的基準,并將進行分析,以研究在類似的輸入數據下每個模型的輸出差異。所產生的合成產品、貝葉斯神經網絡的使用以及所使用的貝葉斯方法的基準標記,對這一應用是新穎的,是對計算機科學和氣象學領域的原創性貢獻。
本論文要解決的問題主要有兩個。首先,貝葉斯深度學習在對流天氣類型預測中的應用還沒有發生過。雖然Petkovi?和Orescanin[5]將傳統的深度學習應用于這一任務并取得了巨大的成功,但有幾個原因說明貝葉斯深度學習的推進可能是有利的。首先,傳統的深度學習模型只是輸出一個預測,而BCNN不僅會做出預測,而且會輸出模型在該預測中的不確定性。這種不確定性可以進一步用于確定該預測是否符合決策中的信心閾值。Orescanin等人在[6]的研究中證明了前面兩個原因。此外,對預測的不確定性進行建模,可以對模型進行訓練,使這些不確定性最小化,并根據不同的不確定性類型改善預測結果。具體來說,Kendall和Gal證明了BCNN可以通過對不確定性的建模來訓練學習損失衰減,這比非貝葉斯基線模型提高了高達3%的模型精度[4]。
開發一個能夠準確分類降水事件的BCNN,同時提供不確定性的估計,可以在很多方面使DON受益。首先,這項任務將提供來自單一來源的信息,而以前(沒有BCNN)需要兩種儀器來測量。詳細說來,從PMW觀測中得出對流類型,目前需要在PMW傳感器數據之外使用降水事件的天底點雷達觀測。有了BCNN,這個任務就可以通過一個PMW傳感器儀器和BCNN一起完成了。此外,證明在氣象背景下量化BCNN衛星圖像分類預測的不確定性的能力,可以為DON其他衛星-遙感應用中的BCNN研究提供基礎。例如,衛星數據的自動對流和層狀分類將有助于約束衛星衍生的降水估計,因為對流和層狀降水的微觀物理和運動結構有很大不同。這種改進的觀測結果最終可能有助于改進美國國防部數值模式中各種大氣過程的表現,如海軍全球環境模式(NAVGEM)、海洋/大氣耦合中尺度預測系統(COAMPS)和未來幾代模式,如利用NUMA核心的海軍環境預測系統(NEPTUNE)。
第二個要解決的問題是對各種貝葉斯方法的原始性能和不確定性量化的質量進行基準測試。關于這些不確定性,Kendall和Gal[4]證明了有可能通過BCNN架構在神經網絡中提取無常和認識上的不確定性。此外,還可以估計模型的無常和認識上的不確定性。在BCNN中對不確定性進行建模,可以使用戶量化由于觀測(即輸入數據)中的噪聲而導致的模型不確定性,而對認識上的不確定性進行建模,可以量化由于模型相對于真實模型的偏差而導致的不確定性。只要有足夠的數據,認識上的不確定性是可以被解釋的,并且可以減少。
該領域研究的一個發展趨勢是對貝葉斯方法進行基準測試,以便更好地了解每種方法固有的性能權衡。截至目前,Filos等人[7]使用病人視網膜的臨床掃描來檢測是否存在糖尿病視網膜病變,對貝葉斯模型進行了基準測試。本論文將在這一研究的基礎上,利用大規模的、平衡的、可操作的PMW圖像數據集開發新的貝葉斯基準。使用該數據集開發貝葉斯基準可以為DON提供一個真實世界的操作基準,以促進該領域的未來研究和發展。
本論文有兩個主要研究任務。第一個任務是將PMW多光譜衛星圖像中的降水事件分類為對流性或層狀。第二項任務是為即將實施的三種貝葉斯方法提供性能基準。
本論文要解決的研究目標如下:
1.確定貝葉斯CNN是否能比確定性CNN和運行中的戈達德剖析算法(GPROF)更準確地對云對流等級進行分類。
2.確定哪些貝葉斯CNN模型架構在多譜段衛星數據上表現良好。
3.調查對三種不同類型的不確定性進行建模并通過所述不確定性進行過濾如何影響貝葉斯模型的分類性能。
4.研究通過三種不確定性類型進行估計和過濾的模型性能折衷。
5.開發新的貝葉斯模型基準,用于大規模數據集,并用其評估貝葉斯模型的性能。
為了實現這些目標,本論文將提出并開發三個BCNN模型,以便從無源微波(PMW)衛星圖像中對云層對流等級(層狀與對流)進行分類。此外,BCNN模型的性能將與NASA目前用于該任務的算法(GPROF)和確定性CNN的性能進行比較。
接下來,將根據幾個標準指標對開發的BCNN模型的性能進行分析。本論文的創新之處在于開發了一系列的基準,以量化模型預測在空間背景下的不確定性。這些基準將確定總的預測不確定性、無誤差的不確定性和認識上的不確定性中的空間不確定性。最后,將研究提供無誤差和表觀不確定性估計的效用,并探討估計總不確定性與估計無誤差和表觀不確定性的模型性能權衡。
本論文將首先概述貝葉斯深度學習、該領域過去和現在的研究,以及本論文將如何建立在以前的工作之上。此外,還將詳細介紹貝葉斯方法的推導。接下來,將對實驗方法進行深入討論。這一部分將包括對所使用的數據集、實現的模型架構、使用的指標和貝葉斯模型基準的實現的討論。在方法論部分之后是詳細說明實驗結果的部分。最后,將詳細介紹研究結論和未來工作。
現代戰術戰爭越來越復雜,需要更快和更有效的決策。為了支持這些快速決策,有人提出使用自動決策輔助工具作為解決方案(Johnson 2019, 63)。鑒于現代戰場的復雜性質,決策輔助工具需要大量的數據。為了支持決策輔助工具的發展,機器學習代表了一種支持有效決策輔助工具的潛在方法。這項研究的目標是進行實驗,探索應用機器學習來幫助作戰人員進行復雜的激光武器系統與無人機群的交戰決策。為了實現這一目標,研究了激光武器系統和無人機威脅,并選擇了一個仿真程序來生成可用于訓練機器學習算法的交戰數據。
這篇論文研究了威脅交戰方法,確定了有效操作激光武器系統必須考慮的決策因素,以及人工智能和機器學習在支持決策方面的應用。對無人駕駛飛行器或無人機的威脅進行了基礎研究,以確定風險并支持交戰方法的發展。該基礎研究支持選擇場景并將其編入兵棋和仿真軟件Swarm Commander Tactics,該軟件用于模擬戰斗。這項研究進行了一項實驗,通過建模和仿真交戰場景來開發機器學習算法的概念驗證,以收集訓練數據并使用這些數據來訓練機器學習算法。訓練算法的目的是為了確定使用模擬艦載激光武器時的生存能力和成功的交戰方法。在生成模擬交戰數據后,使用模擬交戰測試了多種機器學習技術,以確定機器學習預測是否能夠支持基于模擬數據的自動決策輔助。這項研究研究了機器學習的算法方法以及開發和訓練機器學習系統的過程。
總的來說,對多種機器學習技術進行了評估,以支持在模擬交戰中預測成功的無人機交戰方法,發現最適合的是樹狀分類技術。實驗證明了機器學習在這個問題領域的應用,通過建模和模擬,機器學習算法訓練是成功的。最終機器學習算法預測的結果,在預測基于敵人類型、數量和激光武器系統攻擊方法的交戰結果時,總體準確率為96%;假陽性預測,即算法預測的勝利是失敗的,為2.1%。這些結果表明,一個復雜的戰斗空間模擬軟件可以用來準確地訓練預測性機器學習算法。
這項研究表明,將兵棋模擬與機器學習算法相結合,為支持復雜的決策和交戰提供了一種機制,由激光武器系統來對付敵人的無人機群。通過實施訓練有素的機器學習算法,可以分析具有異質無人機群的復雜戰斗空間,從而選擇適當的交戰技術,從而優化目標交戰的生存能力和有效性。這篇論文的主要研究目標是探索機器學習方法在識別和支持模擬艦載激光武器系統的有效目標選擇和交戰方法方面的功效。這項研究是生成決策輔助工具的一個組成部分,以支持無人機群與激光武器系統的交戰。現代戰斗空間的復雜性質需要決策輔助工具來減少作戰人員的認知負擔。
疲勞是導致水域事故的一個已知因素,降低了操作效率,并影響了作戰人員的健康。戰士認知狀態的實時反饋將允許提高對能力/限制的認識,并根據戰士的準備情況作出適應性決策。使用機器學習(ML)和可穿戴技術的疲勞檢測/預測項目旨在開發一種ML算法,能夠檢測出副交感神經系統(PNS)的變化,這些變化通過使用商用現成(COTS)腕戴設備檢測,進一步可分析認知疲勞。收集了30名參與者(包括一些現役軍人)執行可量化的警戒任務的生物識別數據集,并對操作者的表現指標和認知負荷進行了注釋。麥克沃思(Mackworth )時鐘是一項廣泛用于心理測量研究以量化認知參與和疲勞的警覺性任務,它的變體被用來生成定量的操作者績效指標和離散的認知負荷狀態。在有注釋的生物識別數據集上訓練和驗證了ML模型,以:1)回歸操作者任務表現的準確性,以及2)對認知負荷/任務難度進行分類。一個訓練有素的卷積神經網絡(CNN)回歸模型能夠預測麥克沃思鐘任務表現的準確性,平均絕對誤差在2.5%以內。此外,一個單獨的CNN分類器模型達到了86.5%的二元任務類型分類準確率,不同類型的任務對應著較高和較低的認知負荷。該研究與開發(R&D)工作的下一階段將包括與海軍有關的任務(即船舶導航、軌道管理和其他站崗任務)的額外測試活動,參與者僅包括現役人員。這項工作的最終目標是提供一個可穿戴設備和配套的軟件,能夠檢測和預測各種與海軍有關的任務的認知疲勞,目的是優化作戰人員的表現,以減少用戶的錯誤或最大限度地提高性能。
布魯斯-納吉(Bruce Nagy)是海軍空戰中心武器部的研究工程師。他的研究重點是先進的博弈論技術、人工智能和機器學習在戰術決策輔助工具中的應用。納吉先生獲得了四個學位:一個是數學學位,兩個是電子工程學位,還有一個是來自城堡大學和海軍研究生院的生物學學位。他領導開發了先進的算法和衡量標準,為國防部解決了衛星通信方面的國防問題。在加州大學洛杉磯分校研究生工作期間,他與美國國立衛生研究院合作,研究了腦干與肌肉群在細胞水平上的通信模型。
在處理機器學習(ML)/人工智能(AI)部署的產品時,商業界和國防部(DoD)都面臨著系統安全問題的挑戰。國防部在部署可能存在傷害人群和財產的武器時,這個問題更為嚴重。商業制造商的動機是利潤,而國防部的動機是防御準備。兩者都在競賽中,可能會因為過于關注終點線而遭受不利后果。需要建立正式的監督以確保安全的算法性能。本文提出了一種測量方法,對開發ML/AI算法時使用的訓練數據的質量和數量進行仔細檢查。測量訓練數據的質量和數量可以增加對算法在 "現實 "操作環境中表現的可信度。將模式與測量相結合,可以確定:(1)如何策劃數據以支持現實的環境部署;(2)在訓練過程中,哪些屬性優先,以確保數據的穩健構成;以及(3)屬性優先如何反映在訓練集的大小上。測量結果使人們對操作環境有了更多的了解,考慮到了數據缺失或稀疏時產生的問題,以及數據源如何在部署期間向算法提供輸入。
相對于傳統的軟件開發技術,機器學習(ML)/人工智能(AI)創建的功能需要使用訓練數據集配置的模型。傳統的代碼被用來管理訓練過程。訓練集是由屬性組合組成的,有時稱為特征。當我們提到圖像內的一個特征時,我們是在描述圖像內容中包含的一段信息。在這種情況下,特征描述的是圖像的某個區域,它具有某些屬性,而不是另一個流行的定義,即特征是圖像中的單個像素。屬性的聚合可以包含在一個來源中,例如,拍攝面部照片的相機,或者各種傳感器的輸入,如雷達和通信鏈。在本文中,我們將根據屬性的模式來區分屬性是由一個還是多個來源產生的。正如將要描述的那樣,了解模式的類型并創建具有適當質量和數量的實例/樣本的訓練數據集,以復現部署期間經歷的變化、異常和噪音,是提高算法行為可信度的關鍵。
第一位被自動駕駛汽車殺死的女性(Schmelzer 2019)為人工智能在部署環境中的行為可靠性提出了質疑。另外,1896年出現第一個被人類司機殺死的人。誰犯了錯?它被確定是司機。當一個自主系統犯錯時,是汽車還是司機(Gurney 2013)有錯?有許多工廠對汽車中的故障機制進行召回,如剎車。這與人工智能軟件系統有什么不同嗎?許多汽車開發商的目標是,與其他制造商相比,他們使用自主權能使汽車多么安全(Griffith E 2016)。這是他們廣告的關鍵,以促進消費者的接受和采購。
埃隆-馬斯克表示,一個主要的擔憂是人工智能系統可能被秘密開發(Etherington 2012),從而限制了監督。例如,微軟對OpenAI的文本生成軟件擁有獨家權利(Hamilton 2020)。這違背了埃隆-馬斯克作為OpenAI創始人之一的最初策略,其目標是開發開源技術。在過去十年及以后,汽車公司的主要動機是收益。在20個月的時間里,一家生產無人駕駛汽車技術的公司涉及18起事故(Wiggers 2020)。這家公司拒絕支持一個專注于自動駕駛汽車 "安全第一 "指導原則(Wiggers 2019)。相反,該公司公開表示,他們支持法律和法規。從法律的角度來看,現有的法律是否適用是相當不確定的(Moses LB 2007)。正因為如此,汽車制造商可能沒有適當的激勵來開發安全系統(Cooter 2000)。即使這家公司的公眾反對主動關注安全,即使在20個月內發生了18起事故,他們仍然能夠籌集到超過30億美元的資金。一些法律思想支持有限的監管,但要注意激勵商業制造商只開發有益/有用的人工智能(McGinnis JO 2010)。無論好壞,關于經濟學、法律和哲學的討論(Russell 2015)正試圖形成什么是有益/有用的答案。如何內在地激勵(Baum 2017)開發者創造有益的人工智能?挑戰在于,人們基于需求來證明行動的合理性(Kunda 1990)。商業制造商必須支持他們的底線,而國防部則有一套不同的目標體系。
與商業需求相比,美國防部在什么是有益的方面有一套不同的標準。然而,我們可以從工業界學到很多東西。當然,國防部無法承擔有關自主系統的國際事件,特別是在20個月內發生的一系列事件。重大的挑戰是,國防部必須在一個隱蔽和隔離的環境中開發解決方案,甚至與其他機密項目隔離。即使是基于開放源碼的監督也是有限的。這就是系統安全組織在國防部如此重要的原因,必須有標準、測量、政策和程序來支持他們的工作。無論是在商業界還是在國防部,人工智能的功能都被認為是不可預測的、無法解釋的和目標不確定的(Yampolskiy,2020)。當我們談論海軍武器系統的AI安全問題時,這通常不包括可能影響功能性能的對抗性攻擊。鑒于這種觀點,使用DeepFakes等技術的AI對抗性網絡攻擊,將一個圖像/視頻放入另一個圖像/視頻中進行誤判(Chauhan 2018),并沒有包括在這項研究中,但可以考慮在未來進行調查。不可預測、無法解釋和目標不確定仍然是人工智能部署技術的一個重要問題,即使開發人員有動力并盡了最大努力(Deci 1971, Krantz 2008)。即使是最好的,也還是在20個月內造成了18起事件。
國防部和商業制造商都面臨的一個主要挑戰是爭分奪秒的開發方式(Armstrong 2016)。從核軍備競賽中是否可以學到一些東西?明顯的教訓是,我們需要在發展的早期階段進行監督(Borrie 2014)。人工智能可能會產生同樣的戲劇性效果,就像核軍備競賽一樣。考慮一下將軍用無人機和武器置于人工智能系統的完全控制之下的問題(Bohannon 2015)。考慮墨菲定律,"任何可能出錯的事情都會出錯"。當涉及到我們期望計算機做什么和它們實際會做什么時,特別是當開發變得更加復雜時,不想要的事件就更有可能發生(Joy 2000)。請注意,十多年前啟動的涉及機器人 "決定 "和行動的大部分研究都是由軍方資助的(Lin 2011)。
國防部必須問的是,"我們能否在安全關鍵功能中部署人工智能,即由人工智能驅動的武器自主行動?" 回答這個問題的挑戰在于確定人工智能系統是否可以被 "修復",變得更加可靠,以支持安全需求,就像汽車的剎車。
對于商業和政府的人工智能發展,安全標準的需求正變得越來越突出(Ozlati 2017)。聯邦政府已經采取了行動。國家標準與技術研究所(NIST)專注于創建標準,為人工智能發展提供監督。在他們52頁的報告(NIST 2019)中,九個重點領域之一是衡量標準。本文考慮納入NIST人工智能發展標準中,關于衡量訓練數據的數量/大小和質量/構成。
為了克服這些獨特的挑戰,確保海軍武器裝備有足夠的安全和保障,海軍軍械安全和安保活動(NOSSA)成立。NOSSA是這項研究的資助組織,它認識到人工智能系統的安全可能需要一套特殊的政策、指導方針和衡量標準。他們關注的是,ML/AI算法不能使用傳統的危險分析方法(MIL-STD 882E)進行分析,聯邦航空管理局的嚴格準則(DO-178C)也不充分。NOSSA希望調查軍事系統中人工智能發展的特殊分析要求(聯合SSSEH v1.0)。NOSSA還想調查是否需要任何新的方法來對人工智能部署的武器系統進行充分的危險分析(JS-SSA-IF Rev. A)。
這項研究的動機是基于以下六個關鍵原因,即海軍需要對部署在武器系統中的機器學習算法建立可衡量的可信度:
1.我們不能也不應該期望作戰人員接受并使用人工智能作為一種社會規范(Lapinski 2005),即使是在有最好的可解釋的人工智能技術的情況下,也不能首先讓我們的采購團體對機器學習算法在現實作戰環境中的部署建立可衡量的可信度。
2.如果對訓練數據質量不信任,包括訓練過程中可能產生的任何負面副作用(Everitt 2018),采辦界就無法確定和認證ML算法的部署操作限制。
3.國防部采購團體在遵循商業系統安全準則時受到限制,因為商業世界在確保AI功能行為方面沒有相同的嚴格要求。商業制造商受利潤驅動,可能會受到客觀推理(Lewandowsky 2015)的影響,與強調安全問題的動機沖突可能導致銷售量降低。
4.海軍記錄項目的AI升級,最初是按照傳統軟件開發的能力成熟度模型(Shneiderman 2020)開發的,目前不包括ML/AI開發差異。采購社區需要支持和監督來填補這一空白。
5.當務之急是,"Speed to the fleet "的人工智能系統的部署必須克服其動機限制,并考慮人工智能的安全影響,使用規劃、監督和審查委員會持續監測,包括對災難的回顧性分析(Shneiderman 2016)。
6.海軍武器系統爆炸物安全審查委員會(WSESRB)和其他審批監督機構在沒有足夠的指導和工具的情況下,其評估是有限的(Porter 2020, Jones 2019)。指導和工具需要成為國防部預算的一個優先事項。
人工智能具有創造技術飛躍的潛力(Eden 2013)。這種潛在的飛躍,特別是在處理武器系統時,需要仔細審查。這種審查的重點是訓練數據的組成和規模的特殊性。這項研究將描述監督小組所需的審查,可以用來提高部署人工智能功能的安全性和可信度。
我們介紹了一種具有挑戰性的條件GAN訓練方案,稱為開放集半監督圖像生成,其中訓練數據集由兩部分組成: (i) 標記數據和(ii)未標記數據,其樣本屬于標記數據類中的一個,即一個封閉集,以及不屬于任何標記數據類的樣本,即一個開放集。與現有的半監督圖像生成任務(未標記數據只包含封閉集樣本)不同,我們的任務更加一般化,允許出現開放集樣本,從而在實踐中降低了數據收集成本。由于熵正則化,在標記數據上訓練的分類器能夠將cGAN訓練的樣本明智重要性量化為置信度,允許我們使用未標記數據中的所有樣本。我們設計了OSSGAN,它根據未標記圖像是否屬于感興趣的類別,為鑒別器提供決策線索,在訓練過程中平滑地集成了標記數據和未標記數據。在Tiny ImageNet和ImageNet上的實驗結果表明,與有監督的BigGAN和半監督方法相比,有顯著的改進。我們的代碼可以在//github.com/raven38/OSSGAN上找到。
自監督學習通過從數據本身來獲取監督信號,在視頻表征學習領域展現出了巨大潛力。由于一些主流的方法容易受到背景信息的欺騙和影響,為了減輕模型對背景信息的依賴,我們提出通過添加背景來去除背景影響。具體而言,給定一個視頻,我們從中隨機選擇一個靜態幀,并將其添加到其它的每一幀中,以構建一個分散注意力的視頻樣本,然后要求模型拉近 分散注意力的視頻樣本與原始視頻樣本之間的特征距離,如此使得模型能夠更好地抵抗背景的影響,而更多地關注運動變化。我們的方法命名為背景消除(Background Erasing,BE)。值得注意的是,我們的方法可以便捷地添加到大多數SOTA方法中。BE在MoCo的基礎上,對具有嚴重背景偏見的數據集UCF101和HMDB51,分別帶來了16.4%和19.1%的提升,而對具有較小背景偏見的數據集Diving48數據集帶來了14.5%的提升。
深度學習算法已經在圖像分類方面取得了最先進的性能,甚至被用于安全關鍵應用,如生物識別系統和自動駕駛汽車。最近的研究表明,這些算法甚至可以超越人類的能力,很容易受到對抗性例子的攻擊。在計算機視覺中,與之相對的例子是惡意優化算法為欺騙分類器而產生的含有細微擾動的圖像。為了緩解這些漏洞,文獻中不斷提出了許多對策。然而,設計一種有效的防御機制已被證明是一項困難的任務,因為許多方法已經證明對自適應攻擊者無效。因此,這篇自包含的論文旨在為所有的讀者提供一篇關于圖像分類中對抗性機器學習的最新研究進展的綜述。本文介紹了新的對抗性攻擊和防御的分類方法,并討論了對抗性實例的存在性。此外,與現有的調查相比,它還提供了相關的指導,研究人員在設計和評估防御時應該考慮到這些指導。最后,在文獻綜述的基礎上,對未來的研究方向進行了展望。