亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

與批量學習不同的是，在批量學習中所有的訓練數據都是一次性可用的，而持續學習代表了一組方法，這些方法可以積累知識，并使用序列可用的數據連續學習。與人類的學習過程一樣，不斷學習具有學習、融合和積累不同時間步的新知識的能力，被認為具有很高的現實意義。因此，持續學習在各種人工智能任務中得到了研究。本文綜述了計算機視覺中持續學習的最新進展。特別地，這些作品是根據它們的代表性技術進行分組的，包括正則化、知識蒸餾、記憶、生成重放、參數隔離以及上述技術的組合。針對每一類技術，分別介紹了其特點及其在計算機視覺中的應用。在概述的最后，討論了幾個子領域，在這些子領域中，持續的知識積累可能會有幫助，而持續學習還沒有得到很好的研究。

//www.zhuanzhi.ai/paper/a13ad85605ab12d401a6b2e74bc01d8a

引言

人類的學習是一個漸進的過程。在人類的一生中，人類不斷地接受和學習新知識。新知識在發揮自身積累作用的同時，也對原有知識進行補充和修正。相比之下，傳統的機器學習和深度學習范式通常區分知識訓練和知識推理的過程，模型需要在有限的時間內在預先準備好的數據集上完成訓練，然后使用這些數據集進行推理。隨著相機和手機的廣泛普及，每天都有大量新的圖片和視頻被捕捉和分享。這就產生了新的需求，特別是在計算機視覺領域，模型在推理過程中要連續不斷地學習和更新自己，因為從頭開始訓練模型以適應每天新生成的數據是非常耗時和低效的。

由于神經網絡與人腦的結構不同，神經網絡訓練不易從原來的批量學習模式轉變為新的連續學習模式。特別是存在兩個主要問題。首先，按照序列學習多個類別的數據容易導致災難性遺忘的問題[1,2]。這意味著，在從新類別的數據更新模型參數后，模型在先前學習類別上的性能通常會急劇下降。其次，當按順序從同一類別的新數據中學習時，也會導致概念漂移問題[3,4,5]，因為新數據可能會以不可預見的方式改變該類別的數據分布[6]。因此，持續學習的總體任務是解決穩定性-可塑性困境[7,8]，這就要求神經網絡在保持學習新知識的能力的同時，防止遺忘之前學習過的知識。

近年來，在計算機視覺的各個子領域中提出了越來越多的持續學習方法，如圖1所示。此外，2020年和2021年還舉辦了若干與計算機視覺中的持續學習有關的比賽[9,10]。因此，本文綜述了計算機視覺中持續學習的最新進展。我們將這一概述的主要貢獻總結如下。(1)系統地綜述了計算機視覺中持續學習的最新進展。(2)介紹了用于不同計算機視覺任務的各種持續學習技術，包括正則化、知識提取、基于記憶、生成重放和參數隔離。(3)討論了計算機視覺中持續學習可能有所幫助但仍未得到充分研究的子領域。

本文的其余部分組織如下。第二節給出了持續學習的定義。第3節介紹了這一領域常用的評估指標。第4節討論了各種類型的持續學習方法及其在計算機視覺中的應用。在第5節中討論了計算機視覺中沒有很好地利用持續學習的子領域。最后，第六部分對全文進行總結。

摘要

近年來，深度神經模型在幾乎每個領域都取得了成功，甚至解決了最復雜的問題。然而，這些模型的尺寸非常大，有數百萬(甚至數十億)個參數，需要強大的計算能力，以至于無法部署在邊緣設備上。此外，性能提升高度依賴于大量的標記數據。為了實現更快的速度和處理由于缺乏標記數據而引起的問題，知識蒸餾(KD)被提出，知識蒸餾是將從一個模型學到的信息遷移到另一個模型。KD通常以所謂的“學生-教師”(S-T)學習框架為特征，被廣泛應用于模型壓縮和知識轉移。本文是關于KD和S-T學習的研究，這兩種學習方法是近年來研究比較活躍的。首先，我們旨在解釋KD是什么以及它如何/為什么起作用。然后，我們對KD方法和S-T框架在視覺任務中的最新進展進行了全面的調研。總的來說，我們調研了推動這一研究領域的一些基本問題，并全面概括了研究進展和技術細節。系統分析了KD在視覺應用中的研究現狀。最后，我們討論了現有方法的潛力和開放挑戰，并展望了KD和S-T學習的未來方向。

引言

深度神經網絡(DNNs)的成功與否，通常取決于DNN體系結構的精心設計。在大規模機器學習中，特別是在圖像和語音識別等任務中，大多數基于DNN的模型都被過度參數化，以提取最顯著的特征，確保泛化。這種笨重的模型通常深度和寬度都很大，訓練時需要相當多的計算量，很難實時操作。因此，為了獲得更快的速度，許多研究人員一直試圖利用訓練過的笨重模型來獲得輕量級的DNN模型，這些模型可以部署在邊緣設備上。也就是說，當這個笨重的模型經過訓練后，可以使用它學習一個更適合實時應用或部署[1]的小模型，如圖1(a)所示。

另一方面，DNNs的性能也嚴重依賴于非常大且高質量的標簽來訓練數據集。由于這個原因，許多人都在努力減少標記訓練數據的數量，同時又不太影響DNNs的性能。處理這樣缺乏數據的情況的一種流行方法是從一個源任務轉移知識，以促進對目標任務的學習。一個典型的例子是半監督學習，在這種學習中，一個模型只用一小組有標記的數據和一大組沒有標記的數據來訓練。由于未標記的樣本的監督代價未定義，應用一致性代價或正則化方法來匹配標記和未標記數據的預測是至關重要的。在這種情況下，知識在假定教師和學生[2]雙重角色的模型內轉移。對于未標記的數據，學生照常學習;然而，教師產生目標，然后學生使用這些目標進行學習。如圖1(b)所示，這種學習度量的共同目標是在沒有額外訓練的情況下，從學生身上形成一個更好的教師模型。另一個典型的例子是自監督學習(self-supervised learning)，該模型是用輸入轉換(例如，旋轉、翻轉、顏色變化、裁剪)構建的人工標簽來訓練的。在這種情況下，來自輸入轉換的知識被轉移到監督模型本身，以提高其性能，如圖1?所示。

本論文是關于知識蒸餾(KD)和師生學習(S-T)的研究，這是近年來研究的熱點。一般來說，KD被廣泛認為是一種主要的機制，當只給予具有相同或不同類別[3]的小訓練集時，KD可以使人類快速學習新的復雜概念。在深度學習中，KD是一種有效的技術，被廣泛用于在進行建設性訓練的同時將信息從一個網絡轉移到另一個網絡。KD最初由[4]定義，由Hinton等人[1]推廣。KD被廣泛應用于兩個不同的領域:模型壓縮(見圖1(a))和知識轉移(見圖1(b)和?)。對于模型壓縮，一個較小的學生模型被訓練來模擬一個預先訓練過的更大的模型或模型集合。雖然基于目的定義了各種形式的知識，但KD的一個共同特征是通過它的S-T框架來表征的，其中提供知識的模型稱為教師，學習知識的模型稱為學生。

在本研究中，我們重點分析和分類現有的KD方法，并結合不同類型的S-T結構，用于模型壓縮和知識遷移。我們回顧和調研這一迅速發展的領域，并特別強調最近的進展。KD方法在視覺智能、語音識別、自然語言處理(natural language processing, NLP)等各個領域都有應用，但本文主要關注的是視覺領域的KD方法，因為大部分的演示都是在計算機視覺任務上進行的。利用視覺中的KD原型可以方便地解釋用于自然語言處理和語音識別的KD方法。由于目前研究最多的KD方法是用于模型壓縮，我們系統地討論了其技術細節、挑戰和潛力。同時，我們也關注了半監督學習、自我監督學習等知識轉移的KD方法，重點關注了以S-T學習作為學習度量方式的技術。

我們將探索推動這一研究領域發展的一些基本問題。具體來說，KD和S-T學習的理論原理是什么?是什么讓一種蒸餾方法比其他方法更好?使用多個老師比使用一個老師好嗎?更大的模型總是能造就更好的老師和更魯棒的學生嗎?只有在教師模型存在的情況下，學生才能學習知識嗎?學生能自學嗎?離線KD總是比在線學習好嗎?

在討論這些問題的同時，我們結合現有KD方法的潛力，并結合S-T框架展望KD方法的未來發展方向。我們特別強調最近開發的技術的重要性，如神經結構搜索(NAS)，圖神經網絡(GNNs)，和增強KD的門控機制。此外，我們也強調KD方法的潛力，以解決在特定的領域的挑戰性的問題，如軌道變化是在12個360°的視覺和基于事件的視覺。

本文的主要貢獻有三個方面:

(1)對KD和S-T學習方法進行了全面的概述，包括問題定義、理論分析、一系列具有深度學習的KD方法以及視覺應用。

(2) 對KD方法和S-T框架的最新進展進行了分層、結構化的系統綜述和分析，并對每個類別的潛力和挑戰提出了見解和總結。

(3) 討論問題和開放問題，確定新的趨勢和未來的方向，為該研究領域提供深刻的指導。

本文的組織結構如下。首先,在第二章我們解釋了為什么我們需要關注KD和S-T學習。

請解釋為什么我們需要在第二節中關注KD和S-T學習。第三章對KD進行了理論分析。從第4節到第8節，我們對一些現有的方法進行了分類，從**基于教師數量的KD、基于數據格式的KD、在線/離線KD、基于標簽的KD，到具有新穎學習指標的KD第三章對KD進行了理論分析。從第4節到第8節，我們對一些現有的方法進行了分類，從基于教師數量的KD、基于數據格式的KD、在線/離線KD、基于標簽的KD，到具有新穎學習指標的KD。在討論這些KD方法的技術細節的基礎上，我們也分析了它們的挑戰和潛力。在第9節中，根據分類法，我們將討論第1節中提出的問題的答案。第10節介紹了KD和S-T學習的未來潛力，并在第11節給出了結論。由于篇幅有限，關于KD方法相關的新學習指標和KD應用方法的詳細介紹在suppll材料的第8和9節中給出。這份手稿還包括分類法/比較表和一些插圖的數字，這是不包括在這里由于缺乏空間。

圖2展示了KD和S-T學習的分類圖。

人工神經網絡在解決特定剛性任務的分類問題時，通過不同訓練階段的廣義學習行為獲取知識。由此產生的網絡類似于一個靜態的知識實體，努力擴展這種知識而不針對最初的任務，從而導致災難性的遺忘。

持續學習將這種范式轉變為可以在不同任務上持續積累知識的網絡，而不需要從頭開始再訓練。我們關注任務增量分類，即任務按順序到達，并由清晰的邊界劃分。我們的主要貢獻包括:

(1) 對持續學習技術的分類和廣泛的概述;

(2) 一個持續學習器穩定性-可塑性權衡的新框架;

(3) 對11種最先進的持續學習方法和4條基準進行綜合實驗比較。

考慮到微型Imagenet和大規模不平衡的非自然主義者以及一系列識別數據集，我們以經驗的方式在三個基準上仔細檢查方法的優缺點。我們研究了模型容量、權重衰減和衰減正則化的影響，以及任務呈現的順序，并從所需內存、計算時間和存儲空間等方面定性比較了各種方法。

//www.zhuanzhi.ai/paper/c90f25024b2c2364ce63299b4dc4677f

引言

近年來，據報道，機器學習模型在個人任務上表現出甚至超過人類水平的表現，如雅達利游戲[1]或物體識別[2]。雖然這些結果令人印象深刻，但它們是在靜態模型無法適應其行為的情況下獲得的。因此，這需要在每次有新數據可用時重新啟動訓練過程。在我們的動態世界中，這種做法對于數據流來說很快就變得難以處理，或者可能由于存儲限制或隱私問題而只能暫時可用。這就需要不斷適應和不斷學習的系統。人類的認知就是這樣一個系統的例證，它具有順序學習概念的傾向。通過觀察例子來重新審視舊的概念可能會發生，但對保存這些知識來說并不是必要的，而且盡管人類可能會逐漸忘記舊的信息，但完全丟失以前的知識很少被證明是[3]。相比之下，人工神經網絡則不能以這種方式學習:在學習新概念時，它們會遭遇對舊概念的災難性遺忘。為了規避這一問題，人工神經網絡的研究主要集中在靜態任務上，通常通過重組數據來確保i.i.d.條件，并通過在多個時期重新訪問訓練數據來大幅提高性能。

持續學習研究從無窮無盡的數據流中學習的問題，其目標是逐步擴展已獲得的知識，并將其用于未來[4]的學習。數據可以來自于變化的輸入域(例如，不同的成像條件)，也可以與不同的任務相關聯(例如，細粒度的分類問題)。持續學習也被稱為終身學習[18]0，[18]1，[18]2，[18]3，[18]5，[18]4，順序學習[10]，[11]，[12]或增量學習[13]，[14]，[15]，[16]，[17]，[18]，[19]。主要的標準是學習過程的順序性質，只有一小部分輸入數據來自一個或幾個任務，一次可用。主要的挑戰是在不發生災難性遺忘的情況下進行學習:當添加新的任務或域時，之前學習的任務或域的性能不會隨著時間的推移而顯著下降。這是神經網絡中一個更普遍的問題[20]的直接結果，即穩定性-可塑性困境，可塑性指的是整合新知識的能力，以及在編碼時保持原有知識的穩定性。這是一個具有挑戰性的問題，不斷學習的進展使得現實世界的應用開始出現[21]、[22]、[23]。

為了集中注意力，我們用兩種方式限制了我們的研究范圍。首先，我們只考慮任務增量設置，其中數據按順序分批到達，一個批對應一個任務，例如要學習的一組新類別。換句話說，我們假設對于一個給定的任務，所有的數據都可以同時用于離線訓練。這使得對所有訓練數據進行多個時期的學習成為可能，反復洗刷以確保i.i.d.的條件。重要的是，無法訪問以前或將來任務的數據。在此設置中優化新任務將導致災難性的遺忘，舊任務的性能將顯著下降，除非采取特殊措施。這些措施在不同情況下的有效性，正是本文所要探討的。此外，任務增量學習將范圍限制為一個多頭配置，每個任務都有一個獨占的輸出層或頭。這與所有任務共享一個頭的更有挑戰性的類增量設置相反。這在學習中引入了額外的干擾，增加了可供選擇的輸出節點的數量。相反，我們假設已知一個給定的樣本屬于哪個任務。

其次，我們只關注分類問題，因為分類可以說是人工神經網絡最既定的任務之一，使用相對簡單、標準和易于理解的網絡體系結構具有良好的性能。第2節對設置進行了更詳細的描述，第7節討論了處理更一般設置的開放問題。

近年來，自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中，我們將回顧這些框架，以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中，即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響，因為它們是最近大多數最先進的架構的基礎。因此，我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例，用于評估最先進的模型的訓練前資源和基準任務/數據集。

//compstat-lmu.github.io/seminar_nlp_ss20/

在過去的幾十年里，人工智能技術的重要性和應用不斷得到關注。在當今時代，它已經與構成人類塑造環境的大部分環境密不可分。因此，商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中，我們將仔細研究自然語言處理(NLP)的現代方法。

這本小冊子詳細介紹了用于自然語言處理的現代方法，如深度學習和遷移學習。此外，本研究亦會研究可用于訓練自然語言處理任務的資源，并會展示一個將自然語言處理應用于自然語言生成的用例。

為了分析和理解人類語言，自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練，因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的，深度神經網絡。為了解決容易的任務，可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性，采用了遞歸和卷積神經網絡。因此，遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型，卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中，將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。

遷移學習是每個任務或領域的學習模型的替代選擇。在這里，可以使用相關任務或領域的現有標記數據來訓練模型，并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練，并且可以節省訓練模型的時間，同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力，它使解碼器能夠注意到整個輸入序列，或自注意，它允許一個Transformer 模型處理所有輸入單詞，并建模一個句子中所有單詞之間的關系，這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合，介紹了BERT模型、GTP2模型和XLNet模型。

為NLP建模，需要資源。為了找到任務的最佳模型，可以使用基準測試。為了在基準實驗中比較不同的模型，需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標，深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA，以及可以找到資源的預訓練模型和數據庫，如“帶代碼的論文”和“大壞的NLP數據庫”。

在小冊子的最后一章中，介紹了生成性NLP處理自然語言生成，從而在人類語言中生成可理解的文本。因此，不同的算法將被描述，聊天機器人和圖像字幕將被展示，以說明應用的可能性。

本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法，并提供了一個更詳細的討論，以及各種示例的潛力和限制。

在海量大數據的幫助下，深度學習在許多領域都取得了顯著的成功。但是，數據標簽的質量是一個問題，因為在許多現實場景中缺乏高質量的標簽。由于帶噪標簽嚴重降低了深度神經網絡的泛化性能，從帶噪標簽中學習(魯棒訓練)已成為現代深度學習應用的一項重要任務。在這個綜述中，我們首先從監督學習的角度來描述標簽噪聲的學習問題。接下來，我們提供了對46種最先進的魯棒訓練方法的全面回顧，所有這些方法根據其方法上的差異被歸類為7組，然后系統地比較用于評價其優越性的6種屬性。然后，總結了常用的評價方法，包括公共噪聲數據集和評價指標。最后，我們提出了幾個有前景的研究方向，可以作為未來研究的指導。

//arxiv.org/abs/2007.08199

當對大量的標記數據集合(如ImageNet)進行訓練時，深度神經網絡展示了它們在特殊監督學習任務(如圖像分類)上的卓越表現。然而，創建這樣的大型數據集需要大量的資源、時間和精力。這些資源在很多實際案例中可能無法獲得，限制了許多深度學習方法的采用和應用。為了尋找數據效率更高的深度學習方法，以克服對大型標注數據集的需求，近年來，我們對半監督學習應用于深度神經網絡的研究興趣日益濃厚，通過開發新的方法和采用現有的半監督學習框架進行深度學習設置。在本文中，我們從介紹半監督學習開始，對深度半監督學習進行了全面的概述。然后總結了在深度學習中占主導地位的半監督方法。

題目： Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey

摘要： 為了在計算機視覺應用中從圖像或視頻中獲得更好的視覺特征學習性能，通常需要大規模的標記數據來訓練深度神經網絡。為了避免大規模數據集收集和標注的大量開銷，作為無監督學習方法的一個子集，提出了一種自監督學習方法，在不使用任何人類標注的標簽的情況下，從大規模無標記數據中學習圖像和視頻的一般特征。本文對基于深度學習的自監督一般視覺特征學習方法進行了廣泛的綜述。首先，描述了該領域的動機、通用管道和術語。在此基礎上，總結了常用的用于自監督學習的深度神經網絡體系結構。接下來，回顧了自監督學習方法的模式和評價指標，然后介紹了常用的圖像和視頻數據集以及現有的自監督視覺特征學習方法。最后，總結和討論了基于基準數據集的定量性能比較方法在圖像和視頻特征學習中的應用。最后，對本文的研究進行了總結，并提出了一套具有發展前景的自監督視覺特征學習方法。

?【導讀】圖像分類是計算機視覺中的基本任務之一，深度學習的出現是的圖像分類技術趨于完善。最近，自監督學習與預訓練技術的發展使得圖像分類技術出現新的變化，這篇論文概述了最新在實際情況中少標簽小樣本等情況下，關于自監督學習、半監督、無監督方法的綜述，值得看！

地址：

//www.zhuanzhi.ai/paper/6d160a5f8634d25a2feda7a30e1e5132

摘要

雖然深度學習策略在計算機視覺任務中取得了突出的成績，但仍存在一個問題。目前的策略嚴重依賴于大量的標記數據。在許多實際問題中，創建這么多標記的訓練數據是不可行的。因此，研究人員試圖將未標記的數據納入到培訓過程中，以獲得與較少標記相同的結果。由于有許多同時進行的研究，很難掌握最近的發展情況。在這項調查中，我們提供了一個概述，常用的技術和方法，在圖像分類與較少的標簽。我們比較了21種方法。在我們的分析中，我們確定了三個主要趨勢。1. 基于它們的準確性，現有技術的方法可擴展到實際應用中。2. 為了達到與所有標簽的使用相同的結果所需要的監督程度正在降低。3.所有方法都共享公共技術，只有少數方法結合這些技術以獲得更好的性能。基于這三個趨勢，我們發現了未來的研究機會。

1. 概述

深度學習策略在計算機視覺任務中取得了顯著的成功。它們在圖像分類、目標檢測或語義分割等各種任務中表現最佳。

圖1: 這張圖說明并簡化了在深度學習訓練中使用未標記數據的好處。紅色和深藍色的圓圈表示不同類的標記數據點。淺灰色的圓圈表示未標記的數據點。如果我們只有少量的標記數據可用，我們只能對潛在的真實分布(黑線)做出假設(虛線)。只有同時考慮未標記的數據點并明確決策邊界，才能確定這種真實分布。

深度神經網絡的質量受到標記/監督圖像數量的強烈影響。ImageNet[26]是一個巨大的標記數據集，它允許訓練具有令人印象深刻的性能的網絡。最近的研究表明，即使比ImageNet更大的數據集也可以改善這些結果。但是，在許多實際的應用程序中，不可能創建包含數百萬張圖像的標記數據集。處理這個問題的一個常見策略是遷移學習。這種策略甚至可以在小型和專門的數據集(如醫學成像[40])上改進結果。雖然這對于某些應用程序來說可能是一個實際的解決方案，但基本問題仍然存在: 與人類不同，監督學習需要大量的標記數據。

對于給定的問題，我們通常可以訪問大量未標記的數據集。Xie等人是最早研究無監督深度學習策略來利用這些數據[45]的人之一。從那時起，未標記數據的使用被以多種方式研究，并創造了研究領域，如半監督、自我監督、弱監督或度量學習[23]。統一這些方法的想法是，在訓練過程中使用未標記的數據是有益的(參見圖1中的說明)。它要么使很少有標簽的訓練更加健壯，要么在某些不常見的情況下甚至超過了監督情況下的性能[21]。

由于這一優勢，許多研究人員和公司在半監督、自我監督和非監督學習領域工作。其主要目標是縮小半監督學習和監督學習之間的差距，甚至超越這些結果。考慮到現有的方法如[49,46]，我們認為研究處于實現這一目標的轉折點。因此，在這個領域有很多正在進行的研究。這項綜述提供了一個概述，以跟蹤最新的在半監督，自監督和非監督學習的方法。

大多數綜述的研究主題在目標、應用上下文和實現細節方面存在差異，但它們共享各種相同的思想。這項調查對這一廣泛的研究課題進行了概述。這次調查的重點是描述這兩種方法的異同。此外，我們還將研究不同技術的組合。

2. 圖像分類技術

在這一節中，我們總結了關于半監督、自監督和非監督學習的一般概念。我們通過自己對某些術語的定義和解釋來擴展這一總結。重點在于區分可能的學習策略和最常見的實現策略的方法。在整個綜述中，我們使用術語學習策略，技術和方法在一個特定的意義。學習策略是算法的一般類型/方法。我們把論文方法中提出的每個算法都稱為獨立算法。方法可以分為學習策略和技術。技術是組成方法/算法的部分或思想。

2.1 分類方法

監督、半監督和自我監督等術語在文獻中經常使用。很少有人給出明確的定義來區分這兩個術語。在大多數情況下，一個粗略的普遍共識的意義是充分的，但我們注意到，在邊界情況下的定義是多種多樣的。為了比較不同的方法，我們需要一個精確的定義來區分它們。我們將總結關于學習策略的共識，并定義我們如何看待某些邊緣案例。一般來說，我們根據使用的標記數據的數量和訓練過程監督的哪個階段來區分方法。綜上所述，我們把半監督策略、自我學習策略和無監督學習策略稱為reduced減約監督學習策略。圖2展示了四種深度學習策略。

圖2: 插圖的四個深學習策略——紅色和深藍色的圓圈表示標記數據點不同的類。淺灰色的圓圈表示未標記的數據點。黑線定義了類之間的基本決策邊界。帶條紋的圓圈表示在訓練過程的不同階段忽略和使用標簽信息的數據點。

監督學習 Supervised Learning

監督學習是深度神經網絡圖像分類中最常用的方法。我們有一組圖像X和對應的標簽或類z。設C為類別數，f(X)為X∈X的某個神經網絡的輸出，目標是使輸出與標簽之間的損失函數最小化。測量f(x)和相應的z之間的差的一個常用的損失函數是交叉熵。

遷移學習

監督學習的一個限制因素是標簽的可用性。創建這些標簽可能很昂貴，因此限制了它們的數量。克服這一局限的一個方法是使用遷移學習。

遷移學習描述了訓練神經網絡的兩個階段的過程。第一個階段是在大型通用數據集(如ImageNet[26])上進行有無監督的訓練。第二步是使用經過訓練的權重并對目標數據集進行微調。大量的文獻表明，即使在小的領域特定數據集[40]上，遷移學習也能改善和穩定訓練。

半監督學習

半監督學習是無監督學習和監督學習的混合.

Self-supervised 自監督學習

自監督使用一個借托pretext任務來學習未標記數據的表示。借托pretext任務是無監督的，但學習表征往往不能直接用于圖像分類，必須進行微調。因此，自監督學習可以被解釋為一種無監督的、半監督的或其自身的一種策略。我們將自我監督學習視為一種特殊的學習策略。在下面，我們將解釋我們是如何得出這個結論的。如果在微調期間需要使用任何標簽，則不能將該策略稱為無監督的。這與半監督方法也有明顯的區別。標簽不能與未標記的數據同時使用，因為借托pretext任務是無監督的，只有微調才使用標簽。對我們來說，將標記數據的使用分離成兩個不同的子任務本身就是一種策略的特征。

2.2 分類技術集合

在減少監督的情況下，可以使用不同的技術來訓練模型。在本節中，我們將介紹一些在文獻中多種方法中使用的技術。

一致性正則化 Consistency regularization

一個主要的研究方向是一致性正則化。在半監督學習過程中，這些正則化被用作數據非監督部分的監督損失的附加損失。這種約束導致了改進的結果，因為在定義決策邊界時可以考慮未標記的數據[42,28,49]。一些自監督或無監督的方法甚至更進一步，在訓練中只使用這種一致性正則化[21,2]。

虛擬對抗性訓練(VAT)

VAT[34]試圖通過最小化圖像與轉換后的圖像之間的距離，使預測不受小轉換的影響。

互信息(MI)

MI定義為聯合分布和邊緣分布[8]之間的Kullback Leiber (KL)散度。

熵最小化(EntMin)

Grandvalet和Bengio提出通過最小化熵[15]來提高半監督學習的輸出預測。

Overclustering

過度聚類在減少監督的情況下是有益的，因為神經網絡可以自行決定如何分割數據。這種分離在有噪聲的數據中或在中間類被隨機分為相鄰類的情況下是有用的。

Pseudo-Labels

一種估計未知數據標簽的簡單方法是偽標簽

3. 圖像分類模型

3.1 半監督學習

 四種選擇的半監督方法的圖解——使用的方法在每張圖像下面給出。輸入在左邊的藍色方框中給出。在右側提供了該方法的說明。一般來說，這個過程是自上而下組織的。首先，輸入圖像經過無或兩個不同的隨機變換預處理。自動增廣[9]是一種特殊的增廣技術。下面的神經網絡使用這些預處理圖像(x, y)作為輸入。損失的計算(虛線)對于每種方法都是不同的，但是共享公共部分。所有的方法都使用了標記和預測分布之間的交叉熵(CE)。所有的方法還使用了不同預測輸出分布(Pf(x)， Pf(y))之間的一致性正則化。

3.2 自監督學習

四種選擇的自我監督方法的圖解——使用的方法在每張圖像下面給出。輸入在左邊的紅色方框中給出。在右側提供了該方法的說明。微調部分不包括在內。一般來說，這個過程是自上而下組織的。首先，對輸入圖像進行一兩次隨機變換預處理或分割。下面的神經網絡使用這些預處理圖像(x, y)作為輸入。損失的計算(虛線)對于每種方法都是不同的。AMDIM和CPC使用網絡的內部元素來計算損失。DeepCluster和IIC使用預測的輸出分布(Pf(x)、Pf(y))來計算損耗

3.3 21種圖像分類方法比較

21種圖像分類方法及其使用技術的概述——在左側，第3節中回顧的方法按學習策略排序。第一行列出了在2.2小節中討論過的可能的技術。根據是否可以使用帶標簽的數據，將這些技術分為無監督技術和有監督技術。技術的縮寫也在第2.2小節中給出。交叉熵(Cross-entropy, CE)將CE的使用描述為訓練損失的一部分。微調(FT)描述了交叉熵在初始訓練后(例如在一個借口任務中)對新標簽的使用。(X)指該技術不是直接使用，而是間接使用。個別的解釋由所指示的數字給出。1 - MixMatch通過銳化預測[3]，隱式地實現了熵最小化。2 - UDA預測用于過濾無監督數據的偽標簽。3 -盡量減少相互信息的目的作為借口任務，例如視圖之間的[2]或層之間的[17]。4 -信息的丟失使相互信息間接[43]最大化。5 - Deep Cluster使用K-Means計算偽標簽，以優化分配為借口任務。6 - DAC使用元素之間的余弦距離來估計相似和不相似的項。可以說DAC為相似性問題創建了偽標簽。

4. 實驗比較結果

報告準確度的概述——第一列說明使用的方法。對于監督基線，我們使用了最好的報告結果，作為其他方法的基線。原始論文在準確度后的括號內。第二列給出了體系結構及其參考。第三列是預印本的出版年份或發行年份。最后四列報告了各自數據集的最高準確度分數%。

5 結論

在本文中，我們概述了半監督、自監督和非監督技術。我們用21種不同的方法分析了它們的異同和組合。這項分析確定了幾個趨勢和可能的研究領域。

我們分析了不同學習策略(半監督學習策略、自監督學習策略和無監督學習策略)的定義，以及這些學習策略中的常用技術。我們展示了這些方法一般是如何工作的，它們使用哪些技術，以及它們可以被歸類為哪種策略。盡管由于不同的體系結構和實現而難以比較這些方法的性能，但我們確定了三個主要趨勢。

ILSVRC-2012的前5名正確率超過90%，只有10%的標簽表明半監督方法適用于現實問題。然而，像類別不平衡這樣的問題并沒有被考慮。未來的研究必須解決這些問題。

監督和半監督或自監督方法之間的性能差距正在縮小。有一個數據集甚至超過了30%。獲得可與全監督學習相比的結果的標簽數量正在減少。未來的研究可以進一步減少所需標簽的數量。我們注意到，隨著時間的推移，非監督方法的使用越來越少。這兩個結論使我們認為，無監督方法在未來的現實世界中對圖像分類將失去意義。

我們的結論是，半監督和自監督學習策略主要使用一套不同的技術。通常，這兩種策略都使用不同技術的組合，但是這些技術中很少有重疊。S4L是目前提出的唯一一種消除這種分離的方法。我們確定了不同技術的組合有利于整體性能的趨勢。結合技術之間的微小重疊，我們確定了未來可能的研究機會。

參考文獻：

[1] B. Athiwaratkun, M. Finzi, P. Izmailov, and A. G. Wilson. There are many consistent explanations of unlabeled data: Why you should average. In International Conference on Learning Representations, 2019.

[2] P. Bachman, R. D. Hjelm, and W. Buchwalter. Learning representations by maximizing mutual information across views. In Advances in Neural Information Processing Systems, pages 15509–15519, 2019.

[3] D. Berthelot, N. Carlini, I. Goodfellow, N. Papernot, A. Oliver, and C. A. Raffel. Mixmatch: A holistic approach to semi-supervised learning. In Advances in Neural Information Processing Systems, pages 5050–5060, 2019.

[4] M. Caron, P. Bojanowski, A. Joulin, and M. Douze. Deep clustering for unsupervised learning of visual features. In Proceedings of the European Conference on Computer Vision (ECCV), pages 132–149, 2018.

[5] J. Chang, L. Wang, G. Meng, S. Xiang, and C. Pan. Deep adaptive image clustering. 2017 IEEE International Conference on Computer Vision (ICCV), pages 5880–5888, 2017.

【導讀】由于深度神經網絡具有強大的學習不同層次視覺特征的能力，因此被廣泛應用于目標檢測，語義分割，圖像描述等計算機視覺應用當中。從ImageNet這樣的大型圖像數據集中訓練得到的模型被廣泛地用作其他任務的預訓練模型，主要有兩個原因：(1)從大規模數據集中學習得到的參數能夠為其他模型提供一個良好的訓練起點，在其他任務上模型網絡可以更快地收斂。(2)在大規模數據集上訓練的網絡已經學習到了層次特征，這有助于減少其他任務訓練過程中的過擬合問題，特別是當其他任務的數據集較小或標注數據不足的情況。

介紹

為了在計算機視覺應用中學習得到更好的圖像和視頻特征，通常需要大規模的標記數據來訓練深度神經網絡。為了避免收集和標注大量的數據所需的巨大開銷，作為無監督學習方法的一個子方法——自監督學習方法，可以在不使用任何人類標注的標簽的情況下，從大規模無標記數據中學習圖像和視頻的一般性特征。本文對基于深度學習的自監督一般性視覺特征學習方法做了綜述。首先，描述了該領域的動機和一些專業性術語。在此基礎上，總結了常用的用于自監督學習的深度神經網絡體系結構。接下來，回顧了自監督學習方法的模式和評價指標，并介紹了常用的圖像和視頻數據集以及現有的自監督視覺特征學習方法。最后，總結和討論了基于標準數據集的性能比較方法在圖像和視頻特征學習中的應用。

用于圖像特征學習的架構

1.AlexNet:與以往的方法相比，AlexNet極大的提高了在ImageNet數據集上的圖像分類性能。AlexNet架構總共有8層，其中的5層是卷積層，3層是全連接層。ReLU激活函數被運用在每一個卷積層后面。

2.VGG:該模型贏得了ILSVRC2013挑戰賽的第一名。其中的VGG-16由于模型尺寸適中，性能優越，被廣泛使用。

3.ResNet:該網絡闡述了網絡越深越能夠獲得良好的性能。但是由于梯度消失和梯度爆炸，深度神經網絡很難訓練。ResNet使用跳躍連接把前一層的特征直接傳遞到下一個卷積塊來克服梯度消失和梯度爆炸的問題。

4.GoogleNet:22層的深度網絡，以93.3%的準確率贏得了ILSVRC-2014挑戰賽。和之前的網絡相比，它擁有更深的網絡。GoogleNet的基礎模塊inception塊由4個平行的卷積層組成，這4個卷積層的卷積核尺寸不同，每層后面都有一個1x1的卷積操作來降低維度。

5.DenseNet:大多數網絡包括AlexNet, VGG和ResNet都遵循層次結構。圖像被輸入到網絡中，由不同的層提取特征。淺層提取低級的一般性特征，而深層提取特定于任務的高級特征。然而，當一個網絡變得越來越深的時候，更深的網絡層可能會記住完成任務所需的底層特征。為了避免這一問題，DenseNet通過稠密連接將一個卷積塊之前的所有特征作為輸入輸送到神經網絡中的下一個卷積塊。

視頻特征學習架構

Spatiotemporal Convolutional Neural Network

三維卷積運算最早是在3DNet中提出的，用于人類行為識別。與2DConvNets分別提取每一幀的空間信息，然后將它們融合為視頻特征相比，3DConvNets能夠同時從多個幀中同時提取空間和時間特征。

隨著三維卷積在視頻分析任務中的成功應用，出現了3DConvNet的各種變體。比如Hara等人提出了3DResNet，將ResNet中所有的2D卷積層替換為3D卷積層。實驗表明，在多個數據集上，3D卷積層的性能更為優異。

Recurrent Neural Network(RNN)

由于RNN能夠對一個時間序列數據進行動態建模，所以RNN通常被應用于視頻的有序幀序列當中。和標準的RNN相比，LSTM使用內存單元來存儲，修改和訪問內部狀態，從而更好的對視頻幀之間的長時間序列進行建模。基于LSTM的優勢，Donahue提出了long-term recurrent convolutional networks (LRCN)用于人類行為識別。

數據集介紹

1.圖像數據集

2.視頻數據集

YFCC100M:該數據集是從Flicker上收集的多媒體數據集，由1億條多媒體數據組成，其中的99200000條數據是圖片，剩余的800000條數據是視頻。

SceneNet RGB-D:該數據集是一個大型的室內視頻合成數據集。

Moment in Time:該數據集是一個用于視頻內容理解的數據集，內容多樣且分布均衡。

Kinetics:該數據集規模大，質量高，用于人類行為識別。

AudioSet：該數據集由來自YouTube的2084320條人工標記10秒的聲音剪輯組成，這些視頻涵蓋了632個音頻事件。

KITTI:該數據集是在駕駛汽車時收集的，收集數據時的裝備有各種傳感器，包括高分辨率RGB相機、灰度立體聲相機、3D激光掃描儀和高精度GPS測量。

UCF101:該數據集被廣泛使用于人類動作識別。

HMDB51:相比于前面的數據集，該數據集是一個小規模的視頻數據集，用于人流動作識別。