在深度學習重新崛起（2012 年）之后的 5 年里，深度學習取得了長足進步，但其中很大一部分成功是通過在標注數據上對深度神經網絡進行大規模訓練取得的。遷移學習被普遍使用，但實際上，人們對如何有效微調預訓練模型（如在 ImageNet 上預訓練的模型[8]）并不十分了解。例如，這些方法很容易受到源數據集數據分布變化（領域變化）的影響，而且在遇到新問題時，往往不清楚從哪里轉移。雖然早期開發的方法涉及無監督、半監督、領域適應和少量學習（包括由該團隊開發的方法），但它們只解決了現實世界中的小部分問題，在實踐中往往無法擊敗僅靠遷移學習的強大基線[9]。

從那時起，情況發生了翻天覆地的變化，該計劃以及整個社區開發的方法使得大規模無標記預訓練與半監督學習相結合，顯著提高了低標記條件下的性能。研究團隊為這項工作做出了巨大的貢獻，從對問題的科學表述和理解，到實用算法的開發，這些算法在既有的學術數據集和評估中都表現出色。

通過使用圖表示法明確表示數據流形的結構來看待這些低標記問題。通過這一視角，提出了一系列創新方案，以回答傳輸什么、如何傳輸以及從哪里傳輸等問題。特別開發了以下方法：1）通過 "特征匹配"（FeatMatch）[13]利用數據流形結構；2）通過 "流形傳輸操作符"（Manifold Transport Operators）[14, 15, 16, 17, 18]利用數據流形結構；3）針對 "零鏡頭學習"（Zero-Shot Learning）的半監督聚類和檢索[19]；4）通過檢索進行低標簽字幕制作[20, 21]；5）通過 "交叉匹配"（Cross-Match）進行半監督對象檢測；6）在主動學習（Active Learning）方面取得進展。

研究提出的方法已在頂級會議上發表，包括 CVPR、ECCV、NeurIPS ICML、AAAI、UAI 和 TMLR。還產生了重大的實際影響，并開源了許多與論文相關的資源庫，這些資源庫擁有數百顆星，并被廣泛使用。最后，方法在 DARPA 獨立評估中取得了優異成績，經常是表現最好的方法之一。

圖 1：用于系統研究語義轉換（即不同標簽空間）和非語義轉換（即不同模態）的設置。使用一個共同的目標集，可以單獨研究其中一種類型的轉換，也可以同時研究兩種類型的轉換。

多智能體搜索與任務分配（MASTA）應用廣泛，包括搜索與救援、生態監測與采樣、軍事應用等。在設計這類系統時遇到的相當大的困難是缺乏分析建模工具，這就要求研究人員和工程師依賴計算機建模與仿真（M&S）。雖然 M&S 是一種非凡而重要的工具，但它往往不容易被人類洞察，可能需要大量的時間和精力，而且往往無法快速做出決策。本論文介紹了 MASTA 的分析模型，并將其與作為基線的 MASTA 計算機實施進行了比較。分析模型的預演誤差在百分之幾以內，并能更深入地了解系統行為和參數之間的相互作用。該模型可縮短 MASTA 系統的設計時間，并通過快速決策對此類系統進行更好的控制。

圖 1：a) [15] 分類法中的三個維度：第一，可由一個機器人解決的任務 (SR) 與需要多個機器人解決的任務 (MR)；第二，只能同時解決一個任務的機器人 (ST) 與同時解決多個任務的機器人 (MT)。第三，不考慮未來分配的瞬時分配與可獲得足夠信息從而需要考慮未來分配的最優分配的時間擴展分配。 b) [46] 所描述的任務類型，以及 c) 多機器人任務分配。

引言

多機器人任務分配（MRTA）涉及由多個機器人組成的系統，而這些機器人往往無法獨立完成任務。它可以被視為一個最優分配問題。[20]. 這個問題通常很復雜，而且通常是 NP 難問題[21]。 因此，人們開發了許多不同的方法。其中最受歡迎的分散式多智能體系統是基于市場的方法。在單項拍賣中，一個智能體將開始拍賣一項任務，其他智能體將根據自己的效用出價，拍賣者將選擇獲勝者。我們感興趣的是需要搜索任務并分配任務的系統，因此我們將搜索和任務分配結合起來。在實際系統中，通信半徑和探測任務的能力是有限的，而且成本可能過高，尤其是在水下。我們建議將簡單、廉價的智能體自適應地組合起來，以創建能夠進行較遠距離通信和任務檢測的移動相控陣。我們將這些智能體稱為組成體，因為它們共同組成了一個嚎叫智能體（復合體）。據我們所知，以前的文獻中還沒有探討過這種組成智能體的想法。合成智能體的最佳形成是一個復雜的問題，因為它會影響搜索、通信和任務分配性能。如果能開發出有效的方法來組建復合智能體并使之相互作用，就能讓一大批簡單的機器人承擔起昂貴得多的設備的任務。

研究人員對帶有檢索約束條件的搜索和檢索的動態任務分配進行了研究。檢索對象是通過搜索一組位置找到的，每個機器人都能做到這一點。對象與類型相關聯；在搜索和檢索之前，會創建一個列表，列出每種類型的任務何時可以相互交付。例如，對于紅色和藍色類型，給定一個列表 {紅、藍、紅、紅}，找到的任何紅色或藍色物體都能滿足要求，但只能按照指定的順序進行。首先，開發了一種擴展的順序單項拍賣，并與隱式協調（共識控制）方法進行了比較。他們發現，共識控制能更快地完成所有任務，但智能體在拍賣方法下的移動速度較慢。

一個潛在的應用領域是水下任務，在這種任務中，通信和導航的成本過高；自主水下航行器（AUV）的價格高達十幾萬美元。研究人員[13]提出了一種方法，利用水聽器，一個昂貴的水下機器人可以引導一群較簡單的廉價機器人。智能體通過發射頻率的多普勒頻移來估計相對航向，通過振幅來估計距離。組成相控陣列的智能體或許可以充當領航員，與更靠近水面的飛行器進行通信，以進行導航。

動物界也有智能體聚集在一起，發出更強的信號。例如，螢火蟲（雷蟲、閃電蟲）在交配季節會用生物發光相互吸引。當螢火蟲聚集在一起時，它們的發光強度會增加，從而吸引更遠處的螢火蟲。因此，某些螢火蟲物種會同步發光，數百只螢火蟲一起以恒定的頻率照亮樹木，中間則是完全的黑暗[19]。

論文目的

論文旨在對智能體搜索和任務分配在一系列參數（如智能體數量、探測半徑、任務數量等）下的性能進行數學建模。這些模型旨在加深對 MASTA 系統的理解，減少設計時間和計算需求。此外，數學模型還有助于設計和開發 MASTA 控制器。我們的目標是回答以下研究問題：

1.是否有可能對 MASTA 系統進行數學建模？

2.這些模型是否能加深對 MASTA 的理解？

3.這些模型是否減少了計算需求？

提綱

第 2 節介紹了背景材料，包括論文相關領域的簡短概述。第 3 節介紹了實施的計算機模型和軟件。第 4 節包含實驗和結果分析。第 5 節討論第 4 節的結果。最后，在第 6 節中得出結論，并提出今后工作的設想。

這項研究的目的是定義對手作戰方案支持數據模型，以及它與自動白方（TAWC）的關系，后者是一種理論上的先進規劃輔助結構。新提出的作戰概念依賴于較小規模的集中式兵力，需要處理的信息可能更多。這種模式迫使兵力領導者依靠更直觀的決策和/或使用技術來支持傳統上由人類完成的分析功能。要使新技術為規劃做出重要而可靠的貢獻，軟件開發人員必須考慮到條令流程，如 "作戰空間情報準備"（IPB）。軍事出版物中蘊含著無數年的經驗，而將減少不確定性的條令模型映射到領先技術的文獻卻很少。本論文探討了流程如何導致發現，從而減少戰斗空間中的意外情況。

人工智能是下一個競爭領域；第一個開發出人類水平人工智能的國家將產生類似于原子彈開發的影響。為了維護美國及其人民的安全，美國國防部資助了人工智能及其應用的發展研究。本研究使用強化學習和深度強化學習方法作為當前和未來AI智能體，并評估開發中的潛在問題。在兩個游戲和一次遠足中對智能體的表現進行了比較： 分別是貨物裝載、河內塔和背包問題。據觀察，深度強化學習智能體能處理更廣泛的問題，但表現不如專門的強化學習算法。

加固網絡物理資產既重要又耗費人力。最近，機器學習（ML）和強化學習（RL）在自動化任務方面顯示出巨大的前景，否則這些任務將需要大量的人類洞察力/智能。在RL的情況下，智能體根據其觀察結果采取行動（進攻/紅方智能體或防御/藍方智能體）。這些行動導致狀態發生變化，智能體獲得獎勵（包括正獎勵和負獎勵）。這種方法需要一個訓練環境，在這個環境中，智能體通過試錯學習有希望的行動方案。在這項工作中，我們將微軟的CyberBattleSim作為我們的訓練環境，并增加了訓練藍方智能體的功能。報告描述了我們對CBS的擴展，并介紹了單獨或與紅方智能體聯合訓練藍方智能體時獲得的結果。我們的結果表明，訓練藍方智能體確實可以增強對攻擊的防御能力。特別是，將藍方智能體與紅方智能體聯合訓練可提高藍方智能體挫敗復雜紅方智能體的能力。

問題描述

由于網絡威脅不斷演變，任何網絡安全解決方案都無法保證提供全面保護。因此，我們希望通過機器學習來幫助創建可擴展的解決方案。在強化學習的幫助下，我們可以開發出能夠分析和學習攻擊的解決方案，從而在未來防范類似威脅，而不是像商業網絡安全解決方案那樣簡單地識別威脅。

工程描述

我們的項目名為MARLon，探索將多智能體強化學習（MARL）添加到名為CyberBattleSim的模擬抽象網絡環境中。這種多智能體強化學習將攻擊智能體和可學習防御智能體的擴展版本結合在一起進行訓練。

要在CyberBattleSim中添加MARL，有幾個先決條件。第一個先決條件是了解CyberBattleSim環境是如何運行的，并有能力模擬智能體在做什么。為了實現這一點，該項目的第一個目標是實現一個用戶界面，讓用戶看到環境在一個事件中的樣子。

第二個先決條件是為CyberBattleSim添加MARL算法。目前CyberBattleSim的表Q學習和深Q學習實現在結構上無法處理這個問題。這是因為CyberBattleSim實現的表Q學習和深Q學習不符合適當的OpenAI Gym標準。因此，需要添加新的強化學習算法。

當前的防御者沒有學習能力，這意味著要啟用多智能體學習，防御者需要添加以下功能：添加使用所有可用行動的能力，將這些行動收集到行動空間，實現新的觀察空間，并實現獎勵函數。

最后，為了增加MARL，新創建的攻擊者算法和新的可學習防御者必須在同一環境中組合。這樣，兩個智能體就可以在相互競爭的同時進行訓練。

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

最近，深度強化學習（RL）方法已被成功應用于多智能體場景。通常情況下，分布式決策的觀測向量是由一個智能體收集的關于其他智能體（局部）信息的串聯來表示。然而，串聯法在具有大量同質智能體的集群系統中的擴展性很差，因為它沒有利用這些系統固有的基本特性：（i）集群中的智能體是可以互換的；（ii）集群中智能體的確切數量是不相關的。因此，我們提出了一種新的基于分布式均值嵌入的深度多智能體RL狀態表示，我們將智能體視為樣本，并使用經驗的均值嵌入作為分布式策略的輸入。我們使用直方圖、徑向基函數和端到端訓練的神經網絡來定義均值嵌入的不同特征空間。我們對集群文獻中的兩個著名問題--交會和追趕逃避--在全局和局部可觀察的設置中評估了該表示。對于本地設置，我們進一步引入了簡單的通信協議。在所有的方法中，使用神經網絡特征的平均嵌入表示能夠在相鄰的智能體之間進行最豐富的信息交流，促進復雜的集體策略的開發。

技術的進步為自主系統提供了希望，使其形成比其單個成員更有能力的人機編隊。了解自主系統的內部運作，特別是當機器學習（ML）方法被廣泛地應用于這些系統的設計時，對與它們一起工作的人來說已經變得越來越具有挑戰性。定量ML方法的 "黑箱"性質，對人們理解機器學習系統的態勢感知（SA）構成了阻礙，往往導致采用機器學習算法的自主系統被廢棄或過度依賴。人機互動的研究表明，透明通信可以提高隊友的安全意識，促進信任關系，并提高人機團隊的績效。本文中將研究智能體透明度模型對人類與使用自動解釋基于ML的智能體互動的影響。我們將討論一種特殊的ML方法--強化學習（RL）在基于部分可觀察馬爾可夫決策過程（POMDP）智能體中的應用，以及POMDP中RL的解釋算法設計。

計算機視覺中的一項挑戰性任務是尋找技術來提高用于處理移動空中平臺所獲圖像的機器學習（ML）模型的目標檢測和分類能力。目標的檢測和分類通常是通過應用有監督的ML技術完成的，這需要標記的訓練數據集。為這些訓練數據集收集圖像是昂貴而低效的。由于一般不可能從所有可能的仰角、太陽角、距離等方面收集圖像，這就導致了具有最小圖像多樣性的小型訓練數據集。為了提高在這些數據集上訓練的監督性ML模型的準確性，可以采用各種數據增強技術來增加其規模和多樣性。傳統的數據增強技術，如圖像的旋轉和變暗，在修改后的數據集中沒有提供新的實例或多樣性。生成對抗網絡（GAN）是一種ML數據增強技術，它可以從數據集中學習樣本的分布，并產生合成的復制，被稱為 "深度偽造"。這項研究探討了GAN增強的無人駕駛飛行器（UAV）訓練集是否能提高在所述數據上訓練的檢測模型的可推廣性。為了回答這個問題，我們用描述農村環境的航空圖像訓練集來訓練"你只看一次"（YOLOv4-Tiny）目標檢測模型。使用各種GAN架構重新創建幀中的突出目標，并將其放回原始幀中，然后將增強的幀附加到原始訓練集上。對航空圖像訓練集的GAN增強導致YOLOv4-微小目標檢測模型的平均平均精度（mAP）平均增加6.75%，最佳情況下增加15.76%。同樣，在交叉聯合（IoU）率方面，平均增加了4.13%，最佳情況下增加了9.60%。最后，產生了100.00%的真陽性（TP）、4.70%的假陽性（FP）和零的假陰性（FN）檢測率，為支持目標檢測模型訓練集的GAN增強提供了進一步證據。

引言

對從移動平臺上獲得的數據進行圖像和視頻分類技術的調查，目前是計算機視覺領域中一個越來越受關注的領域。由空中飛行器收集的圖像對于收集信息和獲得對環境的洞察力非常重要，否則在地面上的評估是無法實現的。對于訓練目標檢測模型來說，用于創建這些模型的訓練集的一個重要特征是這些訓練集必須在其圖像中包含廣泛的細節多樣性。過去的數據增強技術，例如旋轉、添加噪音和翻轉圖像，被用來增加訓練集的多樣性，但由于它們無法向數據集添加任何新的圖像，所以是弱的方法。研究新的圖像增強和分類方法，其中包括機器學習（ML）技術，有助于提高用于航空圖像分類的模型的性能。

1.1 背景與問題陳述

1.1.1 背景

最近，使用ML算法對圖像進行分類或預測的情況越來越多。雖然ML已經被使用了幾十年，但在圖像上，我們看到合理的進展是在過去的20年里。隨著信息收集和存儲的技術進步及其可及性的擴大，可用于分析的數據量正以指數級的速度增長。計算機的隨機存取存儲器（RAM）和硬件存儲的增加迎合了擁有巨大的數據集來訓練、測試和驗證ML模型以實現較低的偏差和變異的需要。技術上的其他進步來自于計算機圖形處理單元（GPU）的改進，它允許以更快的速度處理大量的數據，這是實時圖像處理的兩個重要能力[2]。

人工神經網絡（ANNs）是ML的一個子集，其靈感來自于大腦中神經元的生物結構，旨在解決復雜的分類和回歸問題[3]。深度學習是ANNs的一個子集，它創建了多個相互連接的層，以努力提供更多的計算優勢[3]。卷積神經網絡（CNN）是ANN的一個子集，它允許自動提取特征并進行統一分類。一般來說，CNN和ANN需要有代表性的數據，以滿足操作上的需要，因此，由于現實世界中的變化，它們往往需要大量的數據。雖然在過去的十年中收集了大量的數據，但微不足道和不平衡的訓練數據集的問題仍然阻礙著ML模型的訓練，導致糟糕的、有偏見的分類和分析。相對較小的數據集導致了ML模型訓練中的過擬合或欠擬合。過度擬合的模型在訓練數據上顯示出良好的性能，但在模型訓練完成后，卻無法推廣到相關的真實世界數據。通過提供更大、更多樣化的訓練數據集，以及降低模型的復雜性和引入正則化，可以避免模型過擬合[4]。

過度擬合的模型不能學習訓練集的特征和模式，并對類似的真實世界數據做出不準確的預測。增加模型的復雜性可以減少欠擬合的影響。另一個克服模型欠擬合的方法是減少施加在模型上的約束數量[4]。有很多原因可以說明為什么大型、多樣的圖像集對訓練模型以檢測視頻幀中捕獲的目標很有用。當視頻取自移動平臺，如無人機或汽車時，存在Bang等人[5]所描述的進一步問題。首先，一天中拍攝圖像的時間以及天氣狀況都會影響亮度和陰影。其次，移動平臺收集的圖像有時會模糊和失真，這是因為所使用的相機類型以及它如何被移動平臺的推進系統投射的物理振動所影響。移動平臺的高度、太陽角度、觀察角度、云層和距離，以及目標的顏色/形狀等，都會進一步導致相機采集的樣本出現扭曲的影響。研究人員忽視這些參數的傾向性會導致模型在面對不同的操作數據時容易崩潰。這些因素使得我們有必要收集大量包含各種特征、圖像不規則性和扭曲的視頻幀，以復制在真實世界的圖像收集中發現的那些特征，從而訓練一個強大的目標檢測和分類模型。

為了增加圖像的多樣性，希望提高在數據上訓練的分類模型的結果準確性，可以使用數據增強技術來扭曲由無人駕駛飛行器（UAV）收集的圖像。目前的一些數據增強技術包括翻轉、旋轉或扭曲圖像的顏色。雖然這些增強技術可以在數據集中引入更多的多樣性，但它們無法為模型的訓練提供全新的框架實例。

生成性對抗網絡（GAN）是一種ML技術，它從數據集的概率分布和特征中學習，以生成數據集的新的合成實例，稱為 "深度假象"。GAN的實現是一種更強大的數據增強技術，因為它為訓練集增加了新的、從未見過的實例，這些實例仍然是可信的，并能代表原生群體。為ML模型提供這種新的訓練實例，可以使模型在實際操作環境中用于檢測時更加強大。

1.1.2 問題說明

圖像采集面臨的一個普遍問題是沒有收集足夠大和多樣化的訓練和測試數據集來產生高效的ML模型。這些微不足道的訓練集所顯示的多樣性的缺乏，使模型在用于實時檢測時表現很差。找到增加這些數據集的方法，無論是通過額外的數據收集還是其他方法，對于創建一個強大的、可歸納的模型都很重要。

計算機視覺中的第二個問題是傳統的數據增強技術所產生的圖像多樣性增加不足。通過旋轉、翻轉或調暗每一個收集到的視頻幀來增強數據集，不能為訓練集增加任何額外的實例，這與上面提到的第一個問題相矛盾。需要找到一種新的數據增強技術，在不需要收集更多數據的情況下提供新的實例，這對于快速訓練檢測模型以便在快速變化的操作環境中部署非常重要。

1.2 研究問題

本研究試圖回答以下問題：

1.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高卷積神經網絡（CNN）目標檢測模型的分類精度和可推廣性？

2.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高CNN目標檢測模型的定位和通用性？

3.從未增強的數據集和增強的數據集中可以得出什么推論，顯示它們的相似性和不相似性？

提供支持第一和第二個問題的證據可以改變數據科學家進行數據收集的方式，并將他們的努力轉向使用GAN的增強技術來創建用于ML研究的數據集。該模型不僅要能夠對目標進行分類，而且要訓練一個強大的目標檢測模型，使其能夠在圖像中找到感興趣的目標，并具有較高的交叉聯合（IoU）值，這就驗證了該模型能夠找到移動的目標，這些目標在捕獲的幀中的位置各不相同。一個模型的泛化是指該模型對網絡從未見過的輸入進行準確預測和分類的能力[6]。增強的數據集必須在質量和數量上與原始數據集相似，以證明模型泛化能力增強的斷言。

對最后一個問題的回答提供了理由，即來自GAN的增強對象在性質上是否與原始樣本相似，并且是對現實世界環境中發現的東西的合理復制。同類目標之間的高相似率可能會使GAN增強變得脆弱，需要進一步研究以用于實際應用。

1.3 研究的局限性

本研究的最大限制之一是能否獲得適當的硬件和軟件來實現不同的ML算法。雖然ML模型可以在中央處理器（CPU）上執行，但本論文中的模型在單個CPU上運行需要幾天，甚至幾周的時間。在運行深度學習模型時，GPU的效率要高得多，尤其是那些為圖像探索設計的模型。在整個研究過程中，GPU的使用非常有限，這給CNN和GAN模型的復雜性增加了限制，也增加了每個模型完成訓練迭代的時間。模型不可能同時運行，大大增加了本論文的完成時間。

另一個限制是本研究過程中可用的內存和硬盤內存的數量。內存不足進一步導致了模型復雜性的下降，以及模型在研究的訓練和測試過程中某一時刻可以利用的數據量的下降。這兩個模型組成部分的減少會導致次優模型。在這項研究中，我們采取了一些措施來減輕這些影響，包括選擇參數較少但性能與較復雜的模型相同的高水平的模型。此外，在訓練和測試過程中，將數據集劃分為多個批次，有助于緩解RAM和硬盤內存問題。

1.4 論文組織

本章討論了本論文將集中研究的ML的一般領域，以及概述了ML研究中出現的好處和限制。第2章提供了一個文獻回顧，研究了CNNs和GANs的理論。此外，它還提供了使用CNNs、GANs和從無人機收集的圖像幀進行的相關研究。第3章詳細介紹了數據集增強前后的CNN檢測模型的訓練過程。第4章提供了用于增強訓練集的合成目標的細節。第5章介紹了在原始和增強的訓練集上訓練的最佳模型的評估結果。第6章概述了在原始測試集訓練結束后進行的三個不同實驗的方法。第7章回顧了這三個不同實驗的結果。最后，第8章討論了從結果中得出的結論，以及對使用生成性對抗網絡（GANs）對移動平臺獲取的圖像進行數據增強領域的未來研究建議。

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。