亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

深度學習(Deep Learning, DL)是當前計算機視覺領域應用最廣泛的工具。它精確解決復雜問題的能力被用于視覺研究，以學習各種任務的深度神經模型，包括安全關鍵應用。然而，現在我們知道，DL很容易受到對抗性攻擊，這些攻擊可以通過在圖像和視頻中引入視覺上難以察覺的擾動來操縱它的預測。自2013年~[1]發現這一現象以來，引起了機器智能多個子領域研究人員的極大關注。在[2]中，我們回顧了計算機視覺社區在深度學習的對抗性攻擊(及其防御)方面所做的貢獻，直到2018年到來。這些貢獻中有許多啟發了這一領域的新方向，自見證了第一代方法以來，這一領域已顯著成熟。因此，作為[2]的后續成果，本文獻綜述主要關注自2018年以來該領域的進展。為了確保文章的真實性，我們主要考慮計算機視覺和機器學習研究的權威文獻。除了全面的文獻綜述外，本文還為非專家提供了該領域技術術語的簡明定義。最后，本文在文獻綜述和[2]的基礎上，討論了該方向面臨的挑戰和未來的展望。

//www.zhuanzhi.ai/paper/884c8b91ceec8cdcd9d3d0cc7bd2cf85

引言

深度學習(DL)[3]是一種數據驅動技術，可以在大數據集上精確建模復雜的數學函數。它最近為科學家在機器智能應用方面提供了許多突破。從DNA[4]的突變分析到腦回路[5]的重建和細胞數據[6]的探索; 目前，深度學習方法正在推進我們對許多前沿科學問題的知識。因此，機器智能的多個當代子領域迅速采用這種技術作為“工具”來解決長期存在的問題也就不足為奇了。隨著語音識別[7]和自然語言處理[8]，計算機視覺是目前嚴重依賴深度學習的子領域之一。

計算機視覺中深度學習的興起是由Krizhevsky等人在2012年的開創性工作觸發的，他們報告了使用卷積神經網絡(CNN)[11]在硬圖像識別任務[10]上的記錄性能改善。自[9]以來，計算機視覺社區對深度學習研究做出了重大貢獻，這導致了越來越強大的神經網絡[12]、[13]、[14]，可以在其架構中處理大量層——建立了“深度”學習的本質。計算機視覺領域的進步也使深度學習能夠解決人工智能(AI)的復雜問題。例如，現代人工智能的一個最高成就，即tabula-rasa learning[15]，很大程度上要歸功于源于計算機視覺領域的殘差學習[12]。

由于深度學習[15]的(明顯)超人類能力，基于計算機視覺的人工智能被認為已經達到部署在安全和安保關鍵系統所需的成熟度。汽車自動駕駛[18]，ATM的面部識別[19]和移動設備的面部識別技術[20]都是一些早期的真實世界的例子，描繪了現代社會對計算機視覺解決方案的發展信念。隨著高度活躍的基于深度學習的視覺研究，自動駕駛汽車[21]，人臉識別[22]，[23]，機器人[24]和監控系統[25]等，我們可以預見，深度學習在關鍵安全計算機視覺應用中的無處不在。然而，由于深度學習[1]的對抗漏洞的意外發現，人們對這種前景產生了嚴重的擔憂。

Szegedy等人[1]發現，深度神經網絡預測可以在極低量級輸入擾動下被操縱。對于圖像而言，這些擾動可以限制在人類視覺系統的不可感知范圍內，但它們可以完全改變深度視覺模型的輸出預測(見圖1)。最初，這些操縱信號是在圖像分類任務[1]中發現的。然而，它們的存在現在已被公認為各種主流計算機視覺問題，如語義分割[27]，[28];目標檢測[29]，[30];目標跟蹤[31]，[32]。文獻強調了對抗式干擾的許多特征，這使它們對作為實用技術的深度學習構成了真正的威脅。例如，可以反復觀察到，受攻擊的模型通常對操縱圖像[2]，[17]的錯誤預測具有很高的置信度。同樣的微擾常常可以欺騙多個模型[33]，[34]。文獻也見證了預先計算的擾動，稱為普遍擾動，可以添加到“任何”圖像，以高概率[35]，[36]欺騙給定模型。這些事實對關鍵安全應用有著深遠的影響，特別是當人們普遍認為深度學習解決方案具有超越人類能力[15]，[37]的預測能力時。

由于其重要性，對抗性攻擊(及其防御)的話題在過去五年中受到了研究團體的相當大的關注。在[2]中，我們調研了這個方向的貢獻，直到2018年到來。這些工作中的大多數可以被視為第一代技術，探索核心算法和技術，以欺騙深度學習或防御它的對抗性攻擊。其中一些算法激發了后續方法的靈感，進一步改進和適應核心攻擊和防御技術。這些第二代方法也被發現更多地關注其他視覺任務，而不僅僅是分類問題，這是這一方向早期貢獻的主要興趣主題。

自2018年以來，該研究方向的論文發表數量不斷增加(見圖2-a,b)。當然，這些出版物也包括文獻綜述的實例，如[38]，[39]，[40]，[41]，[42]。我們在這里提供的文獻綜述在許多方面不同于現有的綜述。這篇文章的獨特之處在于它是2的繼承。隨后的調研，如[41]，通常緊跟[2];或者針對特定問題在[2]上建立[42]。近年來，這一方向在計算機視覺領域已經顯著成熟。通過構建[2]和后續文獻的見解，我們能夠為這一快速發展的研究方向提供更精確的技術術語定義。這也導致了本文所回顧的文獻的更連貫的結構，為此我們提供了基于研究團體當前對術語的理解的簡明討論。此外，我們關注出現在著名的計算機視覺和機器學習研究出版刊物的論文。專注于領先的貢獻使我們能夠為計算機視覺和機器學習研究人員提供一個更清晰的方向展望。更不用說，本文回顧了這個快速發展領域的最新貢獻，以提供迄今為止在這個方向上最全面的回顧。

本文的其余部分組織如下。在第二節中，我們提供了本文其余部分中使用的技術術語的定義。在第三節中，我們闡述了對抗性攻擊這一更廣泛的問題。第一代攻擊將在第四節中討論，接下來是第五節中關注分類問題的最近的攻擊。我們在第六節中關注分類問題之外的最近的攻擊，在第七節中關注針對物理世界的量身定制的攻擊。更多側重于存在對抗性例子的理論方面的貢獻將在第九節中討論。最近的防御方法是第十部分的主題。文章對第十一部分的文獻趨勢進行了反思，并對這一研究方向的前景和未來方向進行了討論。最后，我們在第十二節結束。

摘要

經典的機器學習方法是建立在i.i.d.假設的基礎上的，即訓練和測試數據是獨立同分布的。然而，在真實場景中，i.i.d.假設很難得到滿足，導致經典機器學習算法在分布移位下的性能急劇下降，這表明研究非分布泛化問題的重要性。Out-of-Distribution分布外 (OOD)泛化問題解決了測試分布未知且與訓練不同的挑戰性設置。本文首次系統、全面地探討了OOD泛化問題，從定義、方法、評價到啟示和未來發展方向。首先，給出了OOD泛化問題的形式化定義。其次，根據現有方法在整個學習流程中的位置，將其分為無監督表示學習、有監督模型學習與優化三部分，并詳細討論了每一類的典型方法。然后，我們展示了不同類別的理論聯系，并介紹了常用的數據集和評價指標。最后，對全文文獻進行了總結，并對OOD泛化問題提出了未來的研究方向。本次綜述OOD泛化文獻可在//out-of-distribution-generalization.com上找到。

引言

現代機器學習技術在計算機視覺、自然語言處理和推薦等領域表現出了出色的能力。許多研究在實驗條件下獲得了著超越人類的表現，但也揭示了機器學習模型在暴露于不同分布數據時的脆弱性。如此巨大的差距是由于違背了訓練和測試數據是相同且獨立分布的基本假設(又名i.i.d.假設)，而大多數現有的學習模型都是基于這個假設開發的。在許多難以滿足i.i.d.假設的實際案例中，尤其是醫療、軍事和自動駕駛等高風險應用中，與訓練分布內的泛化相比，分布轉移下的泛化能力更為重要。因此，對分布外泛化問題的研究在學術界和工業界都具有重要的現實意義。

盡管OOD泛化問題很重要，但是經典的監督學習方法并不能直接解決這個問題。從理論上講，經典的監督學習最基本的假設之一是i.i.d.假設，它假設訓練和測試數據是獨立的、同分布的。然而，在OOD泛化問題中，分布偏移是不可避免的，這破壞了i.i.d.假設，使得經典的學習理論不再適用。從經驗上看，經典的監督學習方法通常通過最小化訓練誤差來優化，這些誤差貪心式地吸收數據中發現的所有相關性來進行預測。雖然在i.i.d設置中被證明是有效的，但它會在分布變化下損害性能，因為不是所有的相關性將在看不見的測試分布中保持。如[1]，[2]，[3]，[4]，[5]等文獻所示，當涉及到強分布轉移時，僅考慮訓練誤差的優化模型會顯著失敗，有時甚至比隨機猜測更糟糕，這說明設計OOD泛化問題的方法迫在眉睫。

為了解決OOD泛化問題，還存在幾個關鍵問題有待解決。首先，由于訓練和測試數據可以從不同的分布中提取，因此如何形式化地描述分布偏移仍然是一個懸而未決的問題。在OOD泛化文獻中，不同的方法分支采用不同的方法來模擬潛在測試分布。領域泛化方法[6]，[7]，[8]，[9]主要關注真實場景，利用不同領域的數據。因果學習方法[2]，[10]，[11]制定了具有因果結構的訓練和測試分布，分布轉移主要來源于干預或混雜因素。穩定學習方法[4]，[12]，[13]通過選擇偏差引入分布偏移。其次，如何設計一種具有良好OOD泛化性能的算法是目前研究的熱點，方法有很多分支，研究重點不同，包括無監督表示學習方法、有監督學習模型和優化方法。第三，不同方法的OOD性能評價仍然具有挑戰性，這需要特定的數據集和評價指標，因為經典的i.i.d.設置方法在分布轉移下不適用。這也促使了不同數據集的生成和評估。

在本文中，我們旨在提供一個相當廣泛的意義上的OOD泛化系統的全面研究成果，涵蓋了從定義，方法，評價的整個生命周期的OOD問題的影響和未來的方向。據我們所知，我們是第一個在如此大的范圍和自成一體的形式中討論分布外泛化的努力。在此之前，已有一些著作對相關問題進行了討論。如[14]、[15]主要討論領域泛化;[16]討論OOD泛化的評價基準。之前的每一篇作品都是整個非分布泛化問題的一塊拼圖，而在這篇作品中，我們以清晰簡潔的方式將所有成分有機地整合在一起。具體來說，我們根據現有方法在整個學習流程中的位置將其分為三類。我們還通過因果關系的視角闡述了不同方法之間的理論聯系。為了促進OOD泛化研究的進一步深入，本文對分布偏移下的學習方法評價進行了詳盡的綜述。

為了應對未知分布偏移帶來的挑戰，人們在分布外泛化方面做了大量的工作，相關方法的文獻也非常豐富。所采用的技術從因果關系到表示學習，從基于結構到基于優化，各有不同。然而，就我們所知，很少有人從廣義的OOD泛化的角度對這些不同的方法進行系統和全面的考察，并闡明這些工作之間的區別和聯系。在本文中，我們試圖首先通過回顧OOD泛化的相關方法來填補這一空白。

一般來說，定義為式1的監督學習問題可以分為三個相對獨立的分量，即(1)特征X的表示(如g(X)); (2)從特征X(或g(X))到標號Y的映射函數fθ(X)，一般又稱模型或歸納偏差; (3)優化目標的制定。因此，我們根據現有方法在整個學習流程中的位置，將其分為三個部分:

• 面向OOD泛化的無監督表示學習：包括解糾纏表示學習和因果表示學習，它們利用無監督表示學習技術(如變分貝葉斯)將先驗知識嵌入到學習過程中。

• 面向OOD泛化的監督模型學習：包括因果學習、穩定學習和領域泛化，設計各種模型體系結構和學習策略來實現OOD泛化。

• OOD泛化優化：包括分布魯棒優化和基于不變的優化，直接制定OOD泛化目標，并在理論上保證OOD最優性的前提下進行優化。

深度學習技術在取得優秀性能的同時，往往需要依賴大規模的標注數據。然而，對于所有感興趣的目標任務都進行大規模的數據收集與標注是難以實現的。一種解決方案是將已有的源領域數據中的知識遷移到目標領域，以促進對目標領域任務的學習。Domain Generalization（DG）是其中的一個重要問題，DG的目的是從一個或多個源領域中學習模型，使之能夠直接應用到未見過的目標領域上，并具有較強的泛化性能。

標準的DG問題假設所有源領域與目標領域都具有完全相同的標簽集，然而這一假設在實際情況中很可能不成立。由于DG常常需要有多個源領域，而每一個源領域可能都是從不同渠道收集而來，對所有源領域具有完全相同標簽集的假設會為源領域數據的收集帶來困難。由于目標領域數據在訓練階段是不可見的，因此它與各源領域標簽集之間的關系也應該是開放的。據此，我們放寬標準DG問題中所有源領域與目標領域都具有完全相同的標簽集的假設，提出Open Domain Generalization（OpenDG） 問題。

圖1 Open Domain Generalization問題示意圖 該問題中各源領域可能擁有不同的標簽集，目標領域中包含了某些源領域中出現過的類別，也可能存在源領域中沒有出現過的類別。學習的目的是從這些開放場景下的源領域上得到泛化性能較強的模型，使之能夠在推理過程中直接對目標領域數據進行正確分類。若目標領域樣本屬于源領域標簽集中的類別，則模型應將其分為源領域中的具體的那一類；若目標領域樣本的類別未在源領域中出現，則應將其分為“未知類”。

Adaptive Methods for Real-World Domain Generalization

不變方法在解決領域泛化問題方面已經取得了顯著的成功，該問題的目標是對不同于訓練中使用的數據分布進行推斷。在我們的工作中，我們研究是否有可能利用未知測試樣本本身的領域信息。我們提出一個域自適應方法包括兩個步驟: a)我們首先學習區別的域嵌入從無監督訓練的例子,和 b)使用該域嵌入作為補充信息來構建一個domainadaptive模型,這需要輸入以及其域考慮而做出的預測。對于看不見的域，我們的方法簡單地使用少數未標記的測試示例來構建域嵌入。這使得對任何看不見的域進行自適應分類成為可能。我們的方法在各種領域泛化基準上實現了最先進的性能。此外，我們還引入了第一個真實世界的大規模域泛化基準Geo-YFCC，該基準包含超過40個訓練域、7個驗證域和15個測試域的1.1萬個樣本，比之前的工作大了幾個數量級。我們表明，現有的方法要么不能擴展到這個數據集，要么不如基于所有訓練領域的數據聯合的訓練模型的簡單基線。相比之下，我們的方法獲得了顯著的1%的改進。

//www.zhuanzhi.ai/paper/6e7661967d0879ebfd0236873a75386b

摘要：

域泛化(DG)，即分布外泛化，近年來引起了越來越多的關注。領域泛化處理一個具有挑戰性的設置，其中給出了一個或幾個不同但相關的領域，目標是學習一個可以泛化到看不見的測試領域的模型。近年來，取得了很大的進展。本文首次綜述了領域泛化的最新進展。首先，我們給出了領域泛化的形式化定義，并討論了幾個相關的領域。接下來，我們對領域泛化的相關理論進行了全面的回顧，并對泛化背后的理論進行了仔細的分析。然后，我們將最近出現的算法分為三類，分別是數據操作、表示學習和學習策略，每一類都包含了一些流行的算法。第三，介紹了常用的數據集及其應用。最后，對已有文獻進行了總結，并提出了未來的研究方向。

//www.zhuanzhi.ai/paper/5b8b8958327cabc8b6694d7fc5c7ac75

引言

機器學習(ML)在計算機視覺、自然語言處理和醫療保健等各個領域都取得了顯著的成功。ML的目標是設計一個可以從訓練數據中學習通用和預測性知識的模型，然后將該模型應用于新的(測試)數據。

傳統的ML模型訓練基于i.i.d.假設，訓練數據和測試數據是相同的，獨立分布的。然而，這種假設在現實中并不總是成立的。當訓練數據和測試數據的概率分布不同時，由于域分布的差異，ML模型的性能往往會下降。收集所有可能領域的數據來訓練ML模型是昂貴的，甚至是不可能的。因此，提高ML模型的泛化能力具有重要的工業和學術意義。

與廣義相關的研究課題有很多，如領域適應、元學習、遷移學習、協變量轉移等。近年來，領域泛化(DG)受到了廣泛的關注。如圖1所示，領域泛化的目標是從一個或幾個不同但相關的領域(即不同的訓練數據集)學習模型，這些領域將在看不見的測試領域上很好地泛化。

圖片

近年來，領域泛化在計算機視覺、自然語言處理等領域取得了長足的進展。除此之外，目前還沒有一項關于該領域的調查能夠全面介紹和總結其主要思想、學習算法等相關問題，為未來的研究提供見解。

本文首先介紹了領域泛化的研究概況，重點介紹了領域泛化的公式、理論、算法、數據集、應用以及未來的研究方向。希望本研究能為相關研究者提供一個全面的回顧，并對相關領域的研究有所啟發。

本文的結構組織如下。我們將在第2節中闡述領域概括并討論其與現有研究領域的關系。第3節介紹了領域泛化的相關理論。在第4節中，我們詳細描述了有代表性的DG方法。第5節介紹了應用程序，第6節介紹了DG的基準數據集。我們在第7節中總結了現有工作的見解，并提出了一些可能的未來方向。最后，在第8節對本文進行總結。

方法體系

領域泛化方法是我們的核心。本文將已有的領域泛化方法按照數據操作、表示學習、學習策略分為三大方面，如下圖所示。

數據操作，指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。

表示學習，指的是學習領域不變特征(Domain-invariant representation learning)以使得模型對不同領域都能進行很好地適配。領域不變特征學習方面主要包括四大部分：核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化(Invariant Risk Minimiation, IRM)。特征解耦與領域不變特征學習的目標一致、但學習方法不一致，我們將其單獨作為一大類進行介紹。 學習策略，指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基于集成學習和元學習的方法。同時，我們還會介紹其他方法，例如自監督方法在領域泛化中的應用。

異常檢測最新綜述論文

摘要

異常檢測(AD)問題具有重要的意義，近年來引起了許多研究者的關注。

因此，在這一研究領域提出的方法數量穩步增加。AD與重要的計算機視覺和圖像處理任務(如圖像/視頻異常、不規則和突發事件檢測)密切相關。最近，深度神經網絡(DNNs)提供了一組高性能的解決方案，但代價是高昂的計算成本。然而，在前面提出的方法和可應用的實際方法之間有一個明顯的差距。

考慮到對AD的關注是一個持續的具有挑戰性的問題，尤其是在圖像和視頻中，是時候討論一下試圖處理視覺AD任務的方法的陷阱和前景了。因此，在本次綜述中，我們打算對基于圖像/視頻深度學習的AD方法進行深入調研。并對當前面臨的挑戰和未來的研究方向進行了深入探討。

引言

異常檢測(AD)是指檢測出可用的訓練數據中很少出現甚至不存在的樣本和事件。事實上，AD就是尋找看不見的概念的過程。一般來說，在AD環境中，有大量的數據實例遵循目標類分布，即正常數據。另一方面，屬于分布外類(離群值)的樣本不存在，或者很難訪問，但代價是很高的計算成本。總之，任何未知的分布都可能導致異常，從而導致非常復雜的學習過程。因此，研究人員建議將所有正常數據中的共享概念提取為一個(幾個)參考模型，而不是學習不規則性[Bertini et al., 2012; Sabokrou et al., 2015]。在測試階段，一個實例與該模型的偏差表明它是否是異常。圖1顯示了AD概念的總體草圖。

就數據類型而言，AD任務可能會遇到各種困難。AD算法普遍存在的缺點是: (1)高誤報率: 在大多數AD應用中，檢測異常事件被認為比識別正常數據更為重要和關鍵。例如，在監視系統中，如果只忽略一個異常行為，即將異常檢測為正常事件，就會完全損害監視系統的可靠性和安全性。因此，為了自信地檢測出所有的離群值，容忍更多一點的假陽性率是合理的。然而，高的誤報率帶來了不可靠和無效，(2) 高的計算成本: 以前的大多數工作過于復雜，無法在現實應用中快速而恰當地進行操作，(3) 標準數據集無法用于評估: 可用數據集與現實情況相差甚遠。事實上，為了全面研究該研究領域提出的解決方案，獲得更真實和有代表性的數據集是至關重要的。上述缺點證實AD任務面臨著若干需要有效解決的持續挑戰。此外，最近提出的方法只關注簡單場景中的性能。考慮圖像/視頻AD方法的不同方面是一個關鍵的步驟，以改善目前的尖端技術。

受深度神經網絡(DNNs)在不同研究領域的巨大成功的啟發，一系列基于深度學習的解決方案被提出來處理AD任務。他們中的一些人取得了很大的成績。然而，實現和再現性方面的困難，特別是基于生成對抗網絡(GANs)的困難[Goodfellow等人，2014a]，以及高計算開銷仍然被認為是嚴重的挑戰。調查的范圍。到目前為止，已經提供了一些信息豐富和有價值的調查。我們簡要地提一下這一領域的一些最新作品。[Chlapathy and Chawla, 2019]關注深度AD用于不同的任務，如入侵檢測系統、視頻監控、醫療等。[Ruff et al., 2019]提出了深度AD的框架以及一般半監督的深度AD問題的實驗場景。針對視頻AD的不同深度學習檢測技術已由[Suarez and Naval Jr, 2020]涵蓋。

為了彌補現有的差距，我們提出了一種新的基于深度學習的圖像/視頻AD分類方法。我們強調無監督方法，因為他們的普遍性，適用性在現實問題和日益流行。在具體研究了每一種類別和最新的方法之后，我們表達了圖像/視頻AD任務中具有挑戰性的方面、開放的問題和未來工作的有效方向。

少樣本學習(FSL)在機器學習領域具有重要意義和挑戰性。成功地從很少的樣本中學習和歸納的能力是區分人工智能和人類智能的一個明顯的界限，因為人類可以很容易地從一個或幾個例子中建立他們對新穎性的認知，而機器學習算法通常需要數百或數千個監督樣本來保證泛化能力。盡管FSL的悠久歷史可以追溯到21世紀初，近年來隨著深度學習技術的蓬勃發展也引起了廣泛關注，但迄今為止，有關FSL的調研或評論還很少。在此背景下，我們廣泛回顧了2000年至2019年FSL的200多篇論文，為FSL提供了及時而全面的調研。在本綜述中，我們回顧了FSL的發展歷史和目前的進展，原則上將FSL方法分為基于生成模型和基于判別模型的兩大類，并特別強調了基于元學習的FSL方法。我們還總結了FSL中最近出現的幾個擴展主題，并回顧了這些主題的最新進展。此外，我們重點介紹了FSL在計算機視覺、自然語言處理、音頻和語音、強化學習和機器人、數據分析等領域的重要應用。最后，我們對調查進行了總結，并對未來的發展趨勢進行了討論，希望對后續研究提供指導和見解。

地址：

//www.zhuanzhi.ai/paper/ffc99a53aeb6629e21b9a42db76b9dd1

概述：

人類智能的一個令人印象深刻的特點是能夠從一個或幾個例子中迅速建立對新概念的認知。許多認知和心理學證據[184,224,371]表明，人類可以通過很少的圖像[23]識別視覺物體，甚至兒童也可以通過一次偶見就記住一個新單詞[35,51]。雖然從很少的樣本中支持人類學習和歸納能力的確切原因仍是一個深刻的謎，但一些神經生物學研究[285,29,157]認為，人類顯著的學習能力得益于人腦中的前額葉皮層(PFC)和工作記憶，特別是PFC特有的神經生物學機制與大腦中存儲的以往經驗之間的相互作用。相比之下，最先進的機器學習算法都需要大量數據，尤其是最廣為人知的深度學習[186]，它將人工智能推向了一個新的高潮。深度學習作為機器學習發展的重要里程碑，在視覺[172,319,120]、語言[231,318]、語言[127]、游戲[308]、人口學[97]、醫學[74]、植物病理學[100]、動物學[252]等廣泛的研究領域都取得了顯著的成就。一般來說，深度學習的成功可以歸結為三個關鍵因素:強大的計算資源(如GPU)、復雜的神經網絡(如CNN[172]、LSTM[129])和大規模數據集(如ImageNet[287]、Pascal-VOC[75])。然而，在現實的應用場景中，比如在醫學、軍事、金融等領域，由于隱私、安全、數據標注成本高等因素，我們無法獲得足夠的標簽訓練樣本。因此，使學習系統能夠有效地從很少的樣本中進行學習和歸納，成為幾乎所有機器學習研究人員所期待的藍圖。

從高層次上看，研究少樣本學習的理論和現實意義主要來自三個方面。首先，FSL方法不依賴于大規模的訓練樣本，從而避免了在某些特定應用中數據準備的高昂成本。第二，FSL可以縮小人類智能和人工智能之間的差距，是發展通用人工智能的必要之旅[191]。第三，FSL可以實現一個新興任務的低成本和快速的模型部署，而這個任務只有幾個暫時可用的樣本，這有利于闡明任務早期的潛在規律。

少數樣本學習(FSL)，又稱小樣本學習、少樣本學習或一次性學習，可以追溯到21世紀初。盡管該研究已有近20年的歷史，在理論和應用層面上都具有重要意義，但到目前為止，相關的調查和綜述還很少。在本文中，我們廣泛調查了從21世紀頭十年到2019年幾乎所有與FSL相關的科學論文，以詳細闡述一個系統的FSL調研。我們必須強調，這里討論的FSL與zero-shot learning (ZSL)正交[346]，這是機器學習的另一個熱門話題。ZSL的設置需要與概念相關的側面信息來支持跨概念的知識遷移，這與FSL有很大的不同。據我們所知，到目前為止，只有兩份與fsl相關的預先打印的綜述倫恩[305,349]。與他們相比，本次綜述的新穎之處和貢獻主要來自五個方面:

(1) 我們對2000年至2019年的200多篇與FSL相關的論文進行了更全面、更及時的綜述，涵蓋了從最早的凝固模型[233]到最新的元學習方法的所有FSL方法。詳盡的闡述有助于把握FSL的整個發展過程，構建完整的FSL知識體系。

(2) 根據FSL問題的建模原則，我們提供了一種可理解的層次分類法，將現有的FSL方法分為基于生成模型的方法和基于判別模型的方法。在每個類中，我們根據可一般化的屬性進一步進行更詳細的分類。

(3) 我們強調當前主流目前的方法,例如,基于目前的元學習方法,和分類成五大類,他們希望通過元學習策略學習學習,包括Learn-to-Measure Learn-to-Finetune, Learn-to-Parameterize,學會調整和Learn-to-Remember。此外，本調查還揭示了各種基于元學習的FSL方法之間潛在的發展關系。

(4) 總結了最近在普通FSL之外出現的幾個外延研究課題，并回顧了這些課題的最新進展。這些主題包括半監督FSL、無監督FSL、跨域FSL、廣義FSL和多模態FSL，它們具有挑戰性，同時也為許多現實機器學習問題的解決賦予了突出的現實意義。這些擴展主題在以前的綜述中很少涉及。

(5) 我們廣泛總結了現有FSL在計算機視覺、自然語言處理、音頻和語音、增強學習和機器人、數據分析等各個領域的應用，以及目前FSL在基準測試中的表現，旨在為后續研究提供一本手冊，這是之前綜述中沒有涉及到的。

本文的其余部分組織如下。在第2節中，我們給出了一個概述，包括FSL的發展歷史、我們稍后將使用的符號和定義，以及現有FSL方法的分類建議。第3節和第4節分別詳細討論了基于生成模型的方法和基于判別模型的方法。然后，第5節總結了FSL中出現的幾個擴展主題。在第6節中，我們廣泛地研究了FSL在各個領域的應用以及FSL的基準性能。在第8節中，我們以對未來方向的討論來結束這次綜述。

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在連續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。****