本論文將雷達信號處理與數據驅動的人工神經網絡(ANN)方法相結合。信號處理算法通常基于對數據形成過程的建模假設。在某些情況下,這些模型足以設計出良好甚至最優的解決方案。
但在很多情況下,這些模型可能過于復雜,無法形成分析解決方案;可能過于簡化,導致實際結果與理論上的結果大相徑庭;可能是未知的,即多個已知模型或參數值中的一個可能適合數據,但我們不知道是哪個;或者過于復雜,導致解決方案的計算量過大。
數據驅動的方差網絡方法提供了彌合這些差距的簡單方法。我們在四項不同的研究中證明了這一點,在這些研究中,我們利用雷達數據模型來制定數據驅動型解決方案,這些解決方案既準確又具有計算效率。
我們將基于 ANN 的結果與計算要求極高的最小二乘法和窮舉匹配過濾法進行了比較。結果表明,ANN 的性能可與這些方法相媲美,但計算量卻很小。我們在使用各種參數值的模型采樣數據上訓練人工智能網絡。這自然可以處理漂移和未知參數值,它們可能會改變數據,但不會改變所需的預測結果。我們的研究表明,根據簡單模型的數據訓練出的 ANN 分類器的實際表現可能比理論預期的要差得多。我們通過將有限的真實數據與合成模型數據相結合來改善這種情況。在所有情況下,我們都使用了易于評估的模型。然而,這些模型的分析方法并不簡單,無法創建分析解決方案。
特別是,我們提出了一種實現非相干脈沖壓縮的方法,可在單脈沖寬度內分辨目標。我們提出了一種檢測微弱目標軌跡的方法,該方法無需事先假設目標加速度、信噪比等。我們介紹了在訓練無人機和非無人機目標分類器時納入不完美模型數據的不同方法。最后,我們介紹了一種估算海面多徑傳播路徑差的方法,用于目標跟蹤。
現有的決策計算模型往往局限于特定的實驗設置。造成這種限制的主要原因是無法捕捉決策者對情況的不確定性。本文提出了一個計算框架,用于研究神經科學和心理學中不確定情況下的決策制定。框架主要側重于決策者對世界狀況的概率評估,即他們的 “信念”。具體來說,它基于部分可觀測馬爾可夫決策過程(POMDPs),結合貝葉斯推理和獎勵最大化來選擇行動。利用感知決策和社會決策方面的各種實驗數據,證明了基于信念的決策框架的可行性。框架解釋了感知決策實驗中決策者的實際表現與他們對實際表現的信念(即決策信心)之間的關系。它還說明了為什么在許多情況下這種評估會偏離現實。這種偏差通常被解釋為次優決策的證據,或選擇和信心的不同過程。我們的框架對這些解釋提出了挑戰,它表明,一個優化收益的規范貝葉斯決策者也會產生同樣的偏差。此外,在定量預測人類在社會決策任務中的行為方面,方法優于現有模型,并提供了對潛在過程的洞察。結果表明,在涉及大型群體的決策任務中,人類采用貝葉斯推理來模擬 “群體心理”,并對他人的決策做出預測。最后,將方法擴展到關于他人的多個推理層次(心智理論層次),并將服從作為群體決策的一種策略聯系起來。這個擴展框架可以解釋人類在各種集體群體決策任務中的行為,為大型群體中的合作與協調提供了新的理論。
圖 1.1: 基于信念的決策框架。智能體通過行動、觀察和獎勵與世界互動。智能體無法完全觀測到世界的狀態,只能根據觀測結果和智能體的內部世界模型,以概率方式表示世界的狀態。智能體的目標是根據當前狀態的概率分布來制定策略,即所謂的信念
隨著傳感器技術和由此產生的傳感器分辨率的不斷進步,傳統的基于點的目標跟蹤算法已顯得力不從心,尤其是在使用高分辨率傳感器的自動駕駛汽車、視覺跟蹤和監控等應用領域。這重新激發了人們對擴展目標(ET)跟蹤的興趣,其目的不僅在于跟蹤目標的中心點,還在于跟蹤目標隨時間變化的形狀和大小。
本論文探討了 ET 跟蹤應用領域中最具挑戰性的三個問題。研究的第一個難題是,在非高斯噪聲存在的情況下,需要對具有任意未知星凸形狀的 ET 目標進行精確的形狀和中心估計。提出的方法基于 Student's-t 過程回歸算法,該算法在遞歸框架中定義,適用于在線跟蹤問題。
第二個問題試圖通過定義一種新穎的隨機多面體形狀描述符來放松在估計過程中施加在 ET 目標形狀上的任何約束,包括星凸約束。此外,所提出的解決方案還引入了一種方法,以減輕在 ET 跟蹤應用中因自閉塞而造成的麻煩,因為忽視自閉塞可能會導致 ET 狀態估計出現災難性的偏差。
最后,研究了在雜波和遮擋情況下跟蹤多個 ET 目標的框架,并提出了解決方案。所提出的方法可以在現實場景中估計 ET 目標的中心和形狀,同時考慮到自閉和互閉的挑戰。所提出的方法為每個 ET 定義了一個隨時間變化的狀態檢測概率,即使在相互遮擋造成的不利條件下,也能延長軌跡。此外,建議的算法使用集合成員不確定性模型來約束被遮擋 ET 的關聯和目標形狀不確定性,從而獲得更準確的 ET 目標狀態和形狀估計。
所提方法的性能在自閉和互閉的真實模擬場景中進行了量化,其結果與現有的最先進的 ET 跟蹤應用方法進行了比較。
圖 1.1: 點目標和擴展目標的并排比較。(a): 點目標的單一測量源和生成的測量結果。(b): 多個散射點和 ET 生成的測量結果。
本論文為有限時間范圍內的魯棒性分析和綜合提供了理論和計算工具。這項工作的動機之一是對導彈攔截系統性能進行可靠評估,這也將有助于此類系統的穩健設計。典型的性能指標具有無限時間范圍的性質,以穩定性為中心,并依賴于頻域概念,如增益/相位裕度。對于在有限時間范圍內運行的系統(如許多發射場景),這些指標可能不夠充分。相反,本論文側重于時域指標,例如,在考慮干擾、模型不確定性/可變性和初始條件的影響的同時,對系統在視界最后時間的狀態進行約束。建議的方法是沿軌跡對動力學進行數值線性化,以獲得線性時變(LTV)系統。然后在線性化系統上進行分析或綜合,該系統可捕捉到標稱軌跡周圍的一階擾動。與原始非線性模型相比,這種方法犧牲了一些精度,但卻能使用線性系統工具。建議的最壞情況 LTV 分析還提供了具體的不良干擾和不確定參數,可在高保真非線性仿真中進一步研究。
導彈防御: 威脅環境正在以許多前所未有的方式迅速演變,這主要是由于現有導彈能力的增強和無人駕駛飛行器的更加靈活。任何導彈防御系統的首要目標都是保護國土、文明和戰略資產(如航空母艦)。這些復雜的工程系統必須探測、跟蹤和攔截來襲的威脅導彈,在它們到達各自目標之前將其摧毀。目前,最常見的方法之一是使用攔截導彈,通過與威脅導彈碰撞(即命中摧毀)或在其附近爆炸(即定向破片)使其失效。
目前的局限性: 單一攔截器與威脅交戰的性能可能會因多種因素而下降,包括外部干擾(如陣風)、未建模的靈活動態、傳感器噪聲、跟蹤不準確、致動器飽和、威脅的規避機動等。這對單個攔截器系統的精度造成了極大的影響。因此,需要發射多個攔截器來提高成功的可能性。然而,這并不總是可行的;例如,一艘小型海軍艦艇可能只有有限的艦載導彈資源。替代方法包括反火箭、火炮和迫擊炮(C-RAM)系統或 CIWS 雷達控制速射炮,發射多發炮彈,直到成功識別并摧毀威脅。當同時受到多個威脅的攻擊時,這種防御能力很容易被壓垮。有些威脅導彈具有很強的機動性,可使用多種誘餌和反制手段,因此很難被攔截。此外,如果不能在短時間內做出反應,可能會造成災難性后果。總之,目前的多層導彈防御系統嚴重缺乏性能保證。
目標:這項研究的主要目標是開發理論和計算工具,用于對在有限時間范圍內運行的系統進行魯棒性分析。重點是快速可靠地計算適當的魯棒性指標,以確定最壞情況下的性能。這種分析可用于補充現有的蒙特卡洛方法,以便在設計迭代的早期發現邊緣情況,或確定二元結果(如任務成功或在最壞情況下失敗)。
挑戰: 總體而言,由于存在許多不確定性、干擾和參數變化,最壞情況分析問題是非線性和非凸的。目前還沒有任何數值上可靠的工具可用于此類分析。即使存在這樣的工具,其適用范圍也很可能有限,因為它們要么計算速度很慢,無法保證收斂,要么只適用于學術范例。例如,考慮在 F-16 飛機上應用非線性動力算法進行最壞情況軌跡分析[8]。這種算法不僅缺乏收斂性保證,而且計算速度很慢。得出最壞情況下的參數和陣風組合所需的時間(4 到 4.5 小時)與蒙特卡洛模擬所需的時間大致相同。
方法: 方法主要是沿標稱軌跡對系統的動態進行數值線性化,并評估由此產生的線性時變(LTV)系統的穩健性。這種線性化系統只捕捉標稱軌跡周圍的一階擾動。我們利用系統的線性特性,通過解決凸優化問題,為 LTV 性能提供正式保證。然而,這需要犧牲原始不確定非線性系統的精度(即以精度換取計算效益)。這種近似分析只需要一次非線性模擬,速度明顯更快。擬議的有限視界線性化分析還提供了最壞情況下的性能證明(如特定的 "壞 "干擾、參數等),可在非線性模擬中進一步分析。
本文的主要重點是開發一種低成本、魯棒性和高效的合作定位解決方案,以幫助無人自主飛行器在全球定位系統缺失或性能下降的條件下進行導航。
首先,推導出固定翼無人機(UAV)和多旋翼無人機的完全可觀測性條件。創建了一個相對位置測量圖(RPMG),圖中的節點是車輛或已知特征(地標),它們之間的邊代表測量結果。利用圖論和線性代數概念,得出了可觀測矩陣最大秩的條件,并建立了可觀測矩陣秩與系統中可用測量值之間的關系。該分析條件的缺點之一是必須在所有時間時刻保持一個連通的 RPMG。因此,我們提出了一種離散時間可觀測性條件,即一個時間間隔內的 RPMG 的聯合必須是相連的。
接下來,將討論無人飛行器 (UV) 緊密協調和控制的一個基本問題。在各種應用中,飛行器的慣性位置并不重要。在這種情況下,車輛之間的相對姿態和方位對開發控制器非常有用。眾所周知,擴展卡爾曼濾波器(EKF)的性能非常出色,前提是它的初始化接近真實位置并能接收到測量結果。對于沒有任何全球定位系統(GPS)測量數據或網絡延遲嚴重(需要重新初始化濾波器)的長距離行駛車輛,已知先驗信息的假設是無效的。為了規避這些問題,我們開發了一種多假設卡爾曼濾波器(MHEKF),該濾波器在初始化過程中沒有先驗信息,這意味著相關的不確定性非常大。
最后,解決了地面車輛的分布式合作定位問題。集中式合作定位需要大量計算。我們開發了一種分布式合作定位算法,使組內的每輛車都能估計自己的慣性狀態。該算法是為自主地面車輛開發的,在仿真中僅使用測距數據。
圖 1.1:合作定位的相對位置測量圖,其中塔作為地標(已知興趣點),不同的 UV 相互合作。
本論文利用強化學習(RL)來解決空戰機動模擬中的動態對抗博弈問題。空戰機動模擬是運籌學領域常見的一種順序決策問題,傳統上依賴于智能體編程方法,需要將大量領域知識手動編碼到模擬環境中。這些方法適用于確定現有戰術在不同模擬場景中的有效性。然而,為了最大限度地發揮新技術(如自動駕駛飛機)的優勢,需要發現新的戰術。作為解決連續決策問題的成熟技術,RL 有可能發現這些新戰術。
本論文探討了四種 RL 方法--表式、深度、離散到深度和多目標--作為在空戰機動模擬中發現新行為的機制。它實現并測試了每種方法的幾種方法,并從學習時間、基準和比較性能以及實現復雜性等方面對這些方法進行了比較。除了評估現有方法對空戰機動這一特定任務的實用性外,本論文還提出并研究了兩種新型方法,即離散到深度監督策略學習(D2D-SPL)和離散到深度監督 Q 值學習(D2D-SQL),這兩種方法可以更廣泛地應用。D2D-SPL 和 D2D-SQL 以更接近表格方法的成本提供了深度 RL 的通用性。
本文有助于以下研究領域:
由于水下聲學的復雜性,水下模擬器并不常見。模擬是快速測試自主飛行器的有效工具,是測試和評估過程的補充。本論文的目標是為機器人應用提出一種計算效率高的前視聲納仿真模型。本論文使用點散射模型開發了單聲納波束模型,并應用了傅立葉合成和波束形成修正。將單個聲納波束連接起來,模擬前視聲納系統的視場。結果是一個聲納模擬模型,可用于已建立的 ROS Gazebo 機器人框架,作為有效測試自主水下航行器的工具。聲納模型聲學方面的未來改進包括增加混響、多路徑傳播和干擾。
目前的自動空中加油(AAR)工作利用機器視覺算法來估計接收飛機的姿勢。然而,這些算法取決于幾個條件,如精確的三維飛機模型的可用性;在沒有事先給出高質量信息的情況下,管道的準確性明顯下降。本文提出了一個深度學習架構,該架構基于立體圖像來估計物體的三維位置。研究了使用機器學習技術和神經網絡來直接回歸接收飛機的三維位置。提出了一個新的位置估計框架,該框架基于兩個立體圖像之間的差異,而不依賴于立體塊匹配算法。分析了其預測的速度和準確性,并證明了該架構在緩解各種視覺遮擋方面的有效性。
圖3:利用的坐標系統。紅軸代表X軸,綠軸代表Y軸,藍軸代表Z軸。所有顯示的箭頭表示該軸上的正方向。
本報告記錄了通過利用深度學習(DL)和模糊邏輯在空間和光譜領域之間整合信息,來加強多模態傳感器融合的研究成果。總的來說,這種方法通過融合不同的傳感器數據豐富了信息獲取,這對情報收集、數據傳輸和遙感信息的可視化產生了積極的影響。總體方法是利用最先進的數據融合數據集,為并發的多模態傳感器數據實施DL架構,然后通過整合模糊邏輯和模糊聚合來擴展這些DL能力,以擴大可攝入信息的范圍。這項研究取得的幾項進展包括:
出版物[1, 2, 3, 4, 5]進一步詳細介紹了取得的進展。
本研究提出了一種方法,用于訓練和驗證數據驅動的、參數化的、多保真的減序模型,能夠預測具有不連續特征的高維空氣熱流場。在設計新概念時,設計者往往缺乏進行傳統概念設計所需的歷史數據,因此必須依賴基于物理學的模型和模擬工具的數據。然而,現實的計算預算往往限制了可用于訓練預測模型的高保真樣本的數量。在這些情況下,多保真方法已被確定為提高模型準確性的關鍵推動力,因為它們能夠利用來自高保真和低保真來源的訓練數據,這使設計者能夠使用大量廉價的低保真樣本來補充訓練數據并提高采樣分辨率。這項研究制定了一種方法,利用Procrustes流形排列,用線性和非線性投影方法進行多保真模型的減序。然后將這些方法應用于陸軍海軍的Finner射彈,以在學科和系統層面上描述這種方法。據觀察,所提出的模型階次還原能夠準確地捕捉表面分布。當部署在一個耦合軌跡模型中時,減序模型能夠在模擬中取代全序CFD,同時與全序解決方案保持密切一致。所提出的方法也優于傳統的空氣動力學數據庫查詢表,同時保持可控的計算成本。
降序建模是一種廣泛的方法,它尋求確定高維數據集的低維表征,盡可能準確地捕捉原始數據中觀察到的相關行為(Maaten, et al., 2009)。降維(DR)算法通常用于減少原始模型的自由度數量,以獲得一些低維表示,被稱為潛空間,它保留了原始數據集的一些質量,如觀察到的協方差或成對距離(Xiao, et al., 2017)。然后,原始的高維訓練數據被投射到這個低維的潛空間中,以便在進行預測時可以識別和利用數據的主導特征。ROM可以分為侵入式和非侵入式,前者意味著它們必須與分析的管理方程對接,并且經常需要修改源代碼(Lucia & Beran,2003),后者意味著它們只使用輸入和輸出數據進行訓練(Chen,2012)。由于現代高超音速系統的高度多學科性,設計者在早期設計階段使用 "黑盒"分析代碼是很常見的。出于這個原因,非侵入式ROM通常是航空航天應用的首選(Rajaram, et al., 2020)(Xiao, et al., 2017)。
文獻中已經開發了許多非侵入式的ROM技術,每個技術都有不同的假設,即如何最好地識別和描述訓練集的基本行為(Maaten, 等,2009)。線性方法,如主成分分析(PCA)(Tropea, et al., 2007),可能是最常用的技術,并已在航空航天應用中成功使用了幾十年(Iuliano & Quagliarella, 2013)(Jolliffe, 1986)(Lumley, 1967)。利用非線性降維(DR)的ROM,如基于歧義學習的ROM(Franz, et al., 2014),最近被使用,因為它們能夠比線性對應技術更有效地捕捉不連續的流動特征,如沖擊(Decker, et al., 2021)。
為了使前面討論的方法適用于CFD解決方案,必須以相同的網格尺寸、節點連接和基礎物理模型拍攝快照。Manifold Alignment(MA)被認為是增強這些單保真ROM技術的關鍵因素,因此它們可以利用多保真來源的數據(Wang & Mahadevan,2009)(Wang & Mahadevan,2008)。這使得在訓練預測模型時,只要每個數據集的基礎系統是相關的,就可以同時利用來自不一致配方的數據集(Perron, et al., 2020)。特別是,Procrustes MA已被證明在構建多保真ROM方面表現良好,因為它能夠利用來自不一致來源的數據,而不需要修改原始訓練集(Perron, et al., 2020)。(Decker, et al., 2021)開發了MA在CFD ROM中應用的數學公式。
圖2:使用Procrustes分析的流形對齊的概念說明。
這種方法的結果是遵循圖3所示結構的場代理。在這些模型中,DR被用來識別捕捉每個數據集的基本行為的潛在空間。通過減少每個保真度級別的數據得到的潛空間使用MA進行融合。在實踐中,這個潛空間具有足夠低的維度,多保真插值或回歸技術(如CoKriging(Han等人,2012))可以用來預測未見設計點的潛空間坐標。有了這些預測的潛空間坐標,就可以通過一個叫做Back-mapping(Franz, et al., 2014)(Decker, et al., 2021)的過程構建高維領域的預測。
圖3:多保真ROM結構的說明。
一旦空氣動力學的ROMs被訓練出來,它們就可以被部署在一個耦合的分析框架中以評估它們的性能。在這項研究中,進行了滑行軌跡分析。高超音速飛行器的軌跡對高水平的性能目標有重大影響,并推動了其他幾個學科的關鍵邊界條件。任務優化是必要的,以確定特定飛行器的最佳性能。由于這些原因,滑行軌跡分析是一個有用的測試案例,以評估所提出的方法的實用性。
文獻中已經開發了許多方法來解決高超音速滑翔軌跡。工程中感興趣的問題往往過于復雜,無法用變分法分析解決,因此需要數值方法(Rao,2009)。已經開發了一系列被稱為直接方法的數值方法,這些方法將軌跡離散化,并使用一個稱為轉錄的過程將最優控制問題轉換為非線性編程(NLP)問題,可以通過直接優化解決(Rao,2009)(Ross & Fahroo,2002)。在直接方法家族中,有兩類主要的解決方法:射擊法和同位法。射擊法通過顯式積分治理方程來傳播軌跡,而配位法通過將治理方程視為離散域內每一點的平等約束來隱式執行治理方程(Von Stryk & Bulirsch,1992)。射擊法對參數化簡單的問題表現良好,并允許使用高階數值積分方案,而配位法由于現代NLP求解器的魯棒性和利用數值稀疏性的能力,被認為對更復雜的問題效果良好(Rao,2009)。出于這個原因,本研究中使用了直接配位來進行軌跡分析。
為了解決這些問題,軌跡分析是用Dymos(Falck, et al., 2021)實現的。Dymos建立在OpenMDAO(Gray, et al., 2010)的基礎上,利用偽光譜配位技術來進行優化。問題使用IPOPT算法(Wachter, 2002)解決,該算法在pyOptSparse框架(Perez, et al., 2012)中實現(Wu, et al., 2020)。
在這項研究中,運動方程是針對球形、非旋轉地球上的二維飛行路徑而實現的:
本文提出了計算概率神經網絡局部魯棒性的方法,特別是由貝葉斯推理得到的魯棒性。從理論上講,將貝葉斯推理應用到神經網絡參數的學習中,有望解決頻繁主義學習范式下出現的許多實際困擾問題。特別是,貝葉斯學習允許有原則的架構比較和選擇,先驗知識的編碼,以及預測不確定性的校準。最近的研究表明,貝葉斯學習可以導致更多的對抗魯棒預測。雖然從理論上講是這樣的,并且在具體實例中已經證明了這一點,但提高魯棒性的軼事證據并不能為那些希望在安全關鍵環境中部署貝葉斯深度學習的人提供足夠的保證。雖然有方法可以保證確定性神經網絡的魯棒性,但貝葉斯神經網絡權重的概率性質使這些方法不可操作。本文研究了貝葉斯神經網絡的魯棒性概念,允許同時考慮模型的隨機性和模型決策的魯棒性保證。本文提供了一種方法,可以為給定的貝葉斯神經網絡計算這些數量,這些方法要么對估計的精度有先驗的統計保證,要么有可靠的概率上下界。最后,我們將魯棒性作為神經網絡參數貝葉斯推斷的主要要求,并演示了如何修改似然,以推斷出具有良好魯棒性的后驗分布。對似然的修正使我們的方法對貝葉斯神經網絡的近似推理技術是透明的。
我們使用貝葉斯神經網絡來評估我們提出的方法的實用性,這些神經網絡訓練了幾個真實的數據集,包括空中碰撞避免和交通標志識別。此外,我們評估了使用五種不同近似推理方法近似推斷的貝葉斯后驗分布的魯棒性。我們發現,我們的方法為貝葉斯神經網絡提供了第一個可證明的魯棒性保證,從而使它們能夠部署在安全關鍵場景中。此外,我們提出的神經網絡參數的魯棒貝葉斯推理方法使我們能夠推斷出后驗分布,這大大提高了可證明的魯棒性,即使是在全色圖像上。概述經典計算機科學關注的是如何創建解決給定問題的程序。相應地,經典程序驗證是確保(通常通過形式證明)給定程序在每個實例[6]中正確解決給定問題的任務。近年來,計算機科學家們已經將他們想要解決的問題的類別擴大到那些過于復雜或定義欠佳而無法用經典編程范式處理的任務。在程序不能再由人類設計的地方,它們可以通過示例[57]學習。隨著學習到的解決方案變得比手工編碼的解決方案好得多,它們所應用的領域也變得更加復雜。學習具有最大潛在影響的領域也具有最大的危害風險,這并不奇怪[1,10]。針對這類任務(包括醫療診斷和自動駕駛汽車)的學習解決方案,在部署和獲得公眾信任之前,必須保證其安全性。不幸的是,為這些任務編寫經典程序的障礙也阻礙了它們的正式驗證[79]。此外,檢驗習得解的基本穩定性的初步嘗試揭示了它們顯著的脆弱性[136]。這種脆弱性表現為過度自信、不正確的預測,幾乎對學習算法的每個輸入都可能產生這種預測。
因此,如果我們想要利用機器學習算法的光明未來,我們必須確保它們在部署之前是安全的。在這篇論文中,我們將關注到目前為止最流行和最強大的學習算法:深度神經網絡神經網絡是功能強大的函數逼近器,它有望在廣泛的任務中對先進性能的進步做出持續和重要的貢獻。神經網絡已經在諸如醫療診斷和病理以及控制和規劃等安全關鍵領域取得了顯著的強大性能。然而,在這些領域采用神經網絡的主要障礙是它們的預測缺乏可解釋性和可靠性[1]。我們將使用兩個主要漏洞來激發貝葉斯神經網絡(BNNs)的魯棒性研究,BNNs是由貝葉斯規則推斷的參數分布的神經網絡。第一個潛在的漏洞是確定性神經網絡(DNNs)缺乏校準的不確定性,即知道自己不知道什么[81]。當確定性神經網絡用于對統計上偏離訓練數據的數據點進行推斷時,這是一個特別的挑戰。在這種情況下,DNN經常會做出高度自信、不正確的預測,如果依賴這些預測,可能會導致糟糕的行為[104]。第二個弱點是對抗性的例子[136]。一個對抗性的例子是一個輸入,它被精心設計成與自然發生的輸入無法區分,但這會導致神經網絡在輸出中做出錯誤的分類或不安全的更改。在醫學診斷中,這可能是由于病理幻燈片色調的輕微變化而預測患者患有癌癥,或者在自主導航中,這可能是基于照明條件的輕微變化而預測轉向角度的較大變化[105]。對抗攻擊已被證明不僅在圖像分類[58]中存在安全隱患,在音頻識別[163]、惡意軟件識別[126]和自然語言處理[41]中也存在安全隱患。這些對安全性和安全性關鍵型應用程序構成了巨大的安全風險。當然,證明對抗實例的安全性是在安全關鍵環境下部署任何神經網絡的先決條件。
在過去幾年里,證明神經網絡預測的安全性一直是一個重要而活躍的研究領域,并且在有效證明對抗例子不存在方面取得了巨大進展[79,22,152]。雖然這滿足了我們的一個愿望(缺乏對抗性的例子),但確定性神經網絡在校準不確定性方面仍然提供很少的東西。特別是,給定一個確定性神經網絡和一個我們想要分類的輸入,通常的情況是,如果一個對抗的例子存在,那么它被錯誤地分類,置信度非常高[58]。這意味著,基于輸出,無法推斷輸入是否可能不正確或損壞。此外,有關于確定性神經網絡的研究表明,對于許多任務來說,對抗實例的存在是不可避免的[47,46],進一步說,魯棒確定性學習是不可能的[59]。雖然合理的局部驗證(證明不存在對抗性例子)對于向用戶保證在特定情況下的正確性能是必要的,但貝葉斯學習范式提供了一種系統的方法,可以在更一般的水平上減輕這些不可能結果的擔憂。通過引入校準的不確定性,貝葉斯神經網絡在理論和經驗上都被證明對對抗性例子具有更強的魯棒性,并且可以潛在地削弱或擊敗確定性網絡的不可能結果[53,23,7]。因此,在需要安全性和魯棒性證明的安全關鍵場景中,貝葉斯神經網絡似乎是一種自然和可行的部署方案。
盡管貝葉斯神經網絡有許多吸引人的特性,但無法用確定性神經網絡開發的技術直接分析貝葉斯神經網絡[168]。貝葉斯網絡與確定性網絡的主要區別在于前者的參數值具有后驗分布。為了驗證這種模型的魯棒性,必須找到一種方法來執行確定性神經網絡可用的正確性分析,同時以合理的方式考慮到范圍或可能的參數值。這樣做是在安全關鍵場景中安全部署貝葉斯神經網絡的必要前提。在這篇論文中,我們開發了一些工具,允許我們在貝葉斯環境下利用確定性神經網絡的魯棒性量化方面的進展。特別地,我們研究了貝葉斯神經網絡魯棒性的兩個概念,這允許從業者在給定貝葉斯神經網絡部署之前量化其最壞情況的行為。貝葉斯神經網絡魯棒性的第一個概念是概率魯棒性(在第4章中定義)。這允許從業者理解模型固有的隨機性及其對抗魯棒性之間的相互作用,也可以被視為不確定性的最壞情況度量。魯棒性的第二個概念是貝葉斯決策魯棒性。貝葉斯神經網絡除了在其權重上有一個分布之外,還與確定性神經網絡不同,因為我們必須對其預測分布和錯誤決策的風險或損失進行推理,以便做出預測。決策魯棒性考慮了考慮中的貝葉斯模型的決策過程,并允許我們證明即使在對手存在的情況下,也會發布正確的決策。這些定義允許我們量化貝葉斯神經網絡的概率正確性。