亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要：近年來,基于深度學習的表面缺陷檢測技術廣泛應用在各種工業場景中.本文對近年來基于深度學習的表面缺陷檢測方法進行了梳理,根據數據標簽的不同將其分為全監督學習模型方法、無監督學習模型方法和其他方法三大類,并對各種典型方法進一步細分歸類和對比分析,總結了每種方法的優缺點和應用場景.本文探討了表面缺陷檢測中三個關鍵問題,介紹了工業表面缺陷常用數據集.最后,對表面缺陷檢測的未來發展趨勢進行了展望.

最近深度神經網絡已經在監督識別任務上取得了令人振奮的突破，但是深度神經網絡要求每個類都有足夠 多的且完全標注的訓練數據。如何從少數訓練樣本中學習并識別新的類別，對于深度神經網絡來說是一個具有挑戰性的問題。針對如何解決少樣本學習的問題，全面總結了現有的基于深度神經網絡的少樣本學習方法，涵蓋了方法 所用模型、數據集及評估結果等各個方面。具體地，針對基于深度神經網絡的少樣本學習方法，提出將其分為四種 類別，即數據增強方法、遷移學習方法、度量學習方法和元學習的方法；對于每個類別，進一步將其分為幾個子類 別，并且在每個類別與方法之間進行一系列比較，以顯示各種方法的優劣和各自的特點。最后，強調了現有方法的局限性，并指出了少樣本學習研究領域的未來研究方向。

【導讀】現有的機器學習方法在很多場景下需要依賴大量的訓練樣本。但機器學習方法是否可以模仿人類，基于先驗知識等，只基于少量的樣本就可以進行學習。本文介紹34頁小樣本學習綜述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》，包含166篇參考文獻，來自第四范式和香港科技大學習的研究學者。

小樣本學習綜述 Few-shot Learning: A Survey

【摘要】機器學習在數據密集型應用中非常成功，但當數據集很小時，它常常受到阻礙。為了解決這一問題，近年來提出了小樣本學習(FSL)。利用先驗知識，FSL可以快速地泛化到只包含少量有監督信息的樣本的新任務中。在這篇論文中，我們進行了一個徹底的調研，以充分了解FSL。從FSL的正式定義出發，我們將FSL與幾個相關的機器學習問題區分開來。然后指出了FSL的核心問題是經驗風險最小化是不可靠的。基于先驗知識如何處理這一核心問題，我們從三個角度對FSL方法進行了分類: (i) 數據，它使用先驗知識來增加監督經驗;(二) 利用先驗知識縮小假設空間大小的模型;(iii)算法，利用先驗知識在給定的假設空間中改變對最佳假設的搜索。有了這種分類法，我們就可以回顧和討論每個類別的優缺點。在FSL問題的設置、技術、應用和理論方面也提出了有前景的方向，為未來的研究提供了見解。

• 我們給出了FSL的形式化定義。它可以自然地鏈接到以往文獻中提出的經典機器學習定義。這個定義不僅足夠概括，包括所有現有的FSL -shot Learning: A Survey problems，而且足夠具體，明確了什么是FSL的目標，以及我們如何解決它。這一定義有助于確定未來FSL領域的研究目標。

• 指出了基于誤差分解的FSL在機器學習中的核心問題。我們發現，正是不可靠的經驗風險最小化使得FSL難以學習。這可以通過滿足或降低學習的樣本復雜度來緩解。理解核心問題有助于根據解決核心問題的方式將不同的工作分類為數據、模型和算法。更重要的是，這為更有組織和系統地改進FSL方法提供了見解。

• 我們對從FSL誕生到最近發表的文獻進行了廣泛的回顧，并將它們進行了統一的分類。對不同類別的優缺點進行了深入的討論。我們還對每個類別下的見解進行了總結。這對于初學者和有經驗的研究人員都是一個很好的指導方針。

• 我們在問題設置、技術、應用和理論方面展望了FSL未來的四個發展方向。這些見解都是基于當前FSL發展的不足之處，并有可能在未來進行探索。我們希望這部分能夠提供一些見解，為解決FSL問題做出貢獻，為真正的AI而努力。

• 與已有的關于小樣本概念學習和經驗學習的FSL相關調相比，我們給出了什么是FSL，為什么FSL很難，以及FSL如何將小樣本監督信息與先驗知識結合起來使學習成為可能的正式定義。我們進行了廣泛的文獻審查的基礎上提出的分類法與詳細討論的利弊，總結和見解。我們還討論了FSL與半監督學習、不平衡學習、遷移學習和元學習等相關話題之間的聯系和區別

深度學習在人工智能領域已經取得了非常優秀的成就，在有監督識別任務中，使用深度學習算法訓練海量的帶標簽數據，可以達到前所未有的識別精確度。但是，由于對海量數據的標注工作成本昂貴，對罕見類別獲取海量數據難度較大，所以如何識別在訓練過程中少見或從未見過的未知類仍然是一個嚴峻的問題。針對這個問題，該文回顧近年來的零樣本圖像識別技術研究，從研究背景、模型分析、數據集介紹、實驗分析等方面全面闡釋零樣本圖像識別技術。此外，該文還分析了當前研究存在的技術難題，并針對主流問題提出一些解決方案以及對未來研究的展望，為零樣本學習的初學者或研究者提供一些參考。

摘要：近年來，深度學習模型在圖像、語音、文本識別等領域內取得了顯著成就。然而，深度學習模型嚴重依賴于大量標簽數據，使得其在數據缺乏的特殊領域內應用嚴重受限。面對數據缺乏等現實挑戰，很多學者針對數據依賴小的弱監督機器學習方法開展研究，出現了很多典型研究方向，如小樣本學習、零樣本學習等。針對弱監督機器學習方法，系統闡述了小樣本學習、零樣本學習、零—小樣本學習的問題定義、當前主要方法以及主流實驗設計，最后基于當前研究中出現的問題，對下一階段研究方向進行了總結展望。

?【導讀】圖像分類是計算機視覺中的基本任務之一，深度學習的出現是的圖像分類技術趨于完善。最近，自監督學習與預訓練技術的發展使得圖像分類技術出現新的變化，這篇論文概述了最新在實際情況中少標簽小樣本等情況下，關于自監督學習、半監督、無監督方法的綜述，值得看！

地址：

//www.zhuanzhi.ai/paper/6d160a5f8634d25a2feda7a30e1e5132

摘要

雖然深度學習策略在計算機視覺任務中取得了突出的成績，但仍存在一個問題。目前的策略嚴重依賴于大量的標記數據。在許多實際問題中，創建這么多標記的訓練數據是不可行的。因此，研究人員試圖將未標記的數據納入到培訓過程中，以獲得與較少標記相同的結果。由于有許多同時進行的研究，很難掌握最近的發展情況。在這項調查中，我們提供了一個概述，常用的技術和方法，在圖像分類與較少的標簽。我們比較了21種方法。在我們的分析中，我們確定了三個主要趨勢。1. 基于它們的準確性，現有技術的方法可擴展到實際應用中。2. 為了達到與所有標簽的使用相同的結果所需要的監督程度正在降低。3.所有方法都共享公共技術，只有少數方法結合這些技術以獲得更好的性能。基于這三個趨勢，我們發現了未來的研究機會。

1. 概述

深度學習策略在計算機視覺任務中取得了顯著的成功。它們在圖像分類、目標檢測或語義分割等各種任務中表現最佳。

圖1: 這張圖說明并簡化了在深度學習訓練中使用未標記數據的好處。紅色和深藍色的圓圈表示不同類的標記數據點。淺灰色的圓圈表示未標記的數據點。如果我們只有少量的標記數據可用，我們只能對潛在的真實分布(黑線)做出假設(虛線)。只有同時考慮未標記的數據點并明確決策邊界，才能確定這種真實分布。

深度神經網絡的質量受到標記/監督圖像數量的強烈影響。ImageNet[26]是一個巨大的標記數據集，它允許訓練具有令人印象深刻的性能的網絡。最近的研究表明，即使比ImageNet更大的數據集也可以改善這些結果。但是，在許多實際的應用程序中，不可能創建包含數百萬張圖像的標記數據集。處理這個問題的一個常見策略是遷移學習。這種策略甚至可以在小型和專門的數據集(如醫學成像[40])上改進結果。雖然這對于某些應用程序來說可能是一個實際的解決方案，但基本問題仍然存在: 與人類不同，監督學習需要大量的標記數據。

對于給定的問題，我們通常可以訪問大量未標記的數據集。Xie等人是最早研究無監督深度學習策略來利用這些數據[45]的人之一。從那時起，未標記數據的使用被以多種方式研究，并創造了研究領域，如半監督、自我監督、弱監督或度量學習[23]。統一這些方法的想法是，在訓練過程中使用未標記的數據是有益的(參見圖1中的說明)。它要么使很少有標簽的訓練更加健壯，要么在某些不常見的情況下甚至超過了監督情況下的性能[21]。

由于這一優勢，許多研究人員和公司在半監督、自我監督和非監督學習領域工作。其主要目標是縮小半監督學習和監督學習之間的差距，甚至超越這些結果。考慮到現有的方法如[49,46]，我們認為研究處于實現這一目標的轉折點。因此，在這個領域有很多正在進行的研究。這項綜述提供了一個概述，以跟蹤最新的在半監督，自監督和非監督學習的方法。

大多數綜述的研究主題在目標、應用上下文和實現細節方面存在差異，但它們共享各種相同的思想。這項調查對這一廣泛的研究課題進行了概述。這次調查的重點是描述這兩種方法的異同。此外，我們還將研究不同技術的組合。

2. 圖像分類技術

在這一節中，我們總結了關于半監督、自監督和非監督學習的一般概念。我們通過自己對某些術語的定義和解釋來擴展這一總結。重點在于區分可能的學習策略和最常見的實現策略的方法。在整個綜述中，我們使用術語學習策略，技術和方法在一個特定的意義。學習策略是算法的一般類型/方法。我們把論文方法中提出的每個算法都稱為獨立算法。方法可以分為學習策略和技術。技術是組成方法/算法的部分或思想。

2.1 分類方法

監督、半監督和自我監督等術語在文獻中經常使用。很少有人給出明確的定義來區分這兩個術語。在大多數情況下，一個粗略的普遍共識的意義是充分的，但我們注意到，在邊界情況下的定義是多種多樣的。為了比較不同的方法，我們需要一個精確的定義來區分它們。我們將總結關于學習策略的共識，并定義我們如何看待某些邊緣案例。一般來說，我們根據使用的標記數據的數量和訓練過程監督的哪個階段來區分方法。綜上所述，我們把半監督策略、自我學習策略和無監督學習策略稱為reduced減約監督學習策略。圖2展示了四種深度學習策略。

圖2: 插圖的四個深學習策略——紅色和深藍色的圓圈表示標記數據點不同的類。淺灰色的圓圈表示未標記的數據點。黑線定義了類之間的基本決策邊界。帶條紋的圓圈表示在訓練過程的不同階段忽略和使用標簽信息的數據點。

監督學習 Supervised Learning

監督學習是深度神經網絡圖像分類中最常用的方法。我們有一組圖像X和對應的標簽或類z。設C為類別數，f(X)為X∈X的某個神經網絡的輸出，目標是使輸出與標簽之間的損失函數最小化。測量f(x)和相應的z之間的差的一個常用的損失函數是交叉熵。

遷移學習

監督學習的一個限制因素是標簽的可用性。創建這些標簽可能很昂貴，因此限制了它們的數量。克服這一局限的一個方法是使用遷移學習。

遷移學習描述了訓練神經網絡的兩個階段的過程。第一個階段是在大型通用數據集(如ImageNet[26])上進行有無監督的訓練。第二步是使用經過訓練的權重并對目標數據集進行微調。大量的文獻表明，即使在小的領域特定數據集[40]上，遷移學習也能改善和穩定訓練。

半監督學習

半監督學習是無監督學習和監督學習的混合.

Self-supervised 自監督學習

自監督使用一個借托pretext任務來學習未標記數據的表示。借托pretext任務是無監督的，但學習表征往往不能直接用于圖像分類，必須進行微調。因此，自監督學習可以被解釋為一種無監督的、半監督的或其自身的一種策略。我們將自我監督學習視為一種特殊的學習策略。在下面，我們將解釋我們是如何得出這個結論的。如果在微調期間需要使用任何標簽，則不能將該策略稱為無監督的。這與半監督方法也有明顯的區別。標簽不能與未標記的數據同時使用，因為借托pretext任務是無監督的，只有微調才使用標簽。對我們來說，將標記數據的使用分離成兩個不同的子任務本身就是一種策略的特征。

2.2 分類技術集合

在減少監督的情況下，可以使用不同的技術來訓練模型。在本節中，我們將介紹一些在文獻中多種方法中使用的技術。

一致性正則化 Consistency regularization

一個主要的研究方向是一致性正則化。在半監督學習過程中，這些正則化被用作數據非監督部分的監督損失的附加損失。這種約束導致了改進的結果，因為在定義決策邊界時可以考慮未標記的數據[42,28,49]。一些自監督或無監督的方法甚至更進一步，在訓練中只使用這種一致性正則化[21,2]。

虛擬對抗性訓練(VAT)

VAT[34]試圖通過最小化圖像與轉換后的圖像之間的距離，使預測不受小轉換的影響。

互信息(MI)

MI定義為聯合分布和邊緣分布[8]之間的Kullback Leiber (KL)散度。

熵最小化(EntMin)

Grandvalet和Bengio提出通過最小化熵[15]來提高半監督學習的輸出預測。

Overclustering

過度聚類在減少監督的情況下是有益的，因為神經網絡可以自行決定如何分割數據。這種分離在有噪聲的數據中或在中間類被隨機分為相鄰類的情況下是有用的。

Pseudo-Labels

一種估計未知數據標簽的簡單方法是偽標簽

3. 圖像分類模型

3.1 半監督學習

 四種選擇的半監督方法的圖解——使用的方法在每張圖像下面給出。輸入在左邊的藍色方框中給出。在右側提供了該方法的說明。一般來說，這個過程是自上而下組織的。首先，輸入圖像經過無或兩個不同的隨機變換預處理。自動增廣[9]是一種特殊的增廣技術。下面的神經網絡使用這些預處理圖像(x, y)作為輸入。損失的計算(虛線)對于每種方法都是不同的，但是共享公共部分。所有的方法都使用了標記和預測分布之間的交叉熵(CE)。所有的方法還使用了不同預測輸出分布(Pf(x)， Pf(y))之間的一致性正則化。

3.2 自監督學習

四種選擇的自我監督方法的圖解——使用的方法在每張圖像下面給出。輸入在左邊的紅色方框中給出。在右側提供了該方法的說明。微調部分不包括在內。一般來說，這個過程是自上而下組織的。首先，對輸入圖像進行一兩次隨機變換預處理或分割。下面的神經網絡使用這些預處理圖像(x, y)作為輸入。損失的計算(虛線)對于每種方法都是不同的。AMDIM和CPC使用網絡的內部元素來計算損失。DeepCluster和IIC使用預測的輸出分布(Pf(x)、Pf(y))來計算損耗

3.3 21種圖像分類方法比較

21種圖像分類方法及其使用技術的概述——在左側，第3節中回顧的方法按學習策略排序。第一行列出了在2.2小節中討論過的可能的技術。根據是否可以使用帶標簽的數據，將這些技術分為無監督技術和有監督技術。技術的縮寫也在第2.2小節中給出。交叉熵(Cross-entropy, CE)將CE的使用描述為訓練損失的一部分。微調(FT)描述了交叉熵在初始訓練后(例如在一個借口任務中)對新標簽的使用。(X)指該技術不是直接使用，而是間接使用。個別的解釋由所指示的數字給出。1 - MixMatch通過銳化預測[3]，隱式地實現了熵最小化。2 - UDA預測用于過濾無監督數據的偽標簽。3 -盡量減少相互信息的目的作為借口任務，例如視圖之間的[2]或層之間的[17]。4 -信息的丟失使相互信息間接[43]最大化。5 - Deep Cluster使用K-Means計算偽標簽，以優化分配為借口任務。6 - DAC使用元素之間的余弦距離來估計相似和不相似的項。可以說DAC為相似性問題創建了偽標簽。

4. 實驗比較結果

報告準確度的概述——第一列說明使用的方法。對于監督基線，我們使用了最好的報告結果，作為其他方法的基線。原始論文在準確度后的括號內。第二列給出了體系結構及其參考。第三列是預印本的出版年份或發行年份。最后四列報告了各自數據集的最高準確度分數%。

5 結論

在本文中，我們概述了半監督、自監督和非監督技術。我們用21種不同的方法分析了它們的異同和組合。這項分析確定了幾個趨勢和可能的研究領域。

我們分析了不同學習策略(半監督學習策略、自監督學習策略和無監督學習策略)的定義，以及這些學習策略中的常用技術。我們展示了這些方法一般是如何工作的，它們使用哪些技術，以及它們可以被歸類為哪種策略。盡管由于不同的體系結構和實現而難以比較這些方法的性能，但我們確定了三個主要趨勢。

ILSVRC-2012的前5名正確率超過90%，只有10%的標簽表明半監督方法適用于現實問題。然而，像類別不平衡這樣的問題并沒有被考慮。未來的研究必須解決這些問題。

監督和半監督或自監督方法之間的性能差距正在縮小。有一個數據集甚至超過了30%。獲得可與全監督學習相比的結果的標簽數量正在減少。未來的研究可以進一步減少所需標簽的數量。我們注意到，隨著時間的推移，非監督方法的使用越來越少。這兩個結論使我們認為，無監督方法在未來的現實世界中對圖像分類將失去意義。

我們的結論是，半監督和自監督學習策略主要使用一套不同的技術。通常，這兩種策略都使用不同技術的組合，但是這些技術中很少有重疊。S4L是目前提出的唯一一種消除這種分離的方法。我們確定了不同技術的組合有利于整體性能的趨勢。結合技術之間的微小重疊，我們確定了未來可能的研究機會。

參考文獻：

[1] B. Athiwaratkun, M. Finzi, P. Izmailov, and A. G. Wilson. There are many consistent explanations of unlabeled data: Why you should average. In International Conference on Learning Representations, 2019.

[2] P. Bachman, R. D. Hjelm, and W. Buchwalter. Learning representations by maximizing mutual information across views. In Advances in Neural Information Processing Systems, pages 15509–15519, 2019.

[3] D. Berthelot, N. Carlini, I. Goodfellow, N. Papernot, A. Oliver, and C. A. Raffel. Mixmatch: A holistic approach to semi-supervised learning. In Advances in Neural Information Processing Systems, pages 5050–5060, 2019.

[4] M. Caron, P. Bojanowski, A. Joulin, and M. Douze. Deep clustering for unsupervised learning of visual features. In Proceedings of the European Conference on Computer Vision (ECCV), pages 132–149, 2018.

[5] J. Chang, L. Wang, G. Meng, S. Xiang, and C. Pan. Deep adaptive image clustering. 2017 IEEE International Conference on Computer Vision (ICCV), pages 5880–5888, 2017.

簡介：

如今,深度學習已被廣泛應用于圖像分類和圖像識別的問題中,取得了令人滿意的實際效果,成為許多人 工智能應用的關鍵所在.在對于模型準確率的不斷探究中,研究人員在近期提出了“對抗樣本”這一概念.通過在原有 樣本中添加微小擾動的方法,成功地大幅度降低原有分類深度模型的準確率,實現了對于深度學習的對抗目的,同時 也給深度學習的攻方提供了新的思路,對如何開展防御提出了新的要求.在介紹對抗樣本生成技術的起源和原理的 基礎上,對近年來有關對抗樣本的研究和文獻進行了總結,按照各自的算法原理將經典的生成算法分成兩大類——全像素添加擾動和部分像素添加擾動.之后,以目標定向和目標非定向、黑盒測試和白盒測試、肉眼可見和肉眼不可見的二級分類標準進行二次分類.同時,使用 MNIST 數據集對各類代表性的方法進行了實驗驗證,以探究各種方法的優缺點.最后總結了生成對抗樣本所面臨的挑戰及其可以發展的方向,并就該技術的發展前景進行了探討.

內容簡介：

本文重點對生成對抗樣本的已有研究工作進行綜述,主要選取了近年來有代表性的或取得比較顯著效果的方法進行詳細的原理介紹和優缺點分析.按照其生成方式和原理的不同,分為全像素添加擾動和部分像素添 加擾動兩類.在此基礎上,根據目標是否定向、是否黑盒和是否肉眼可見這 3 個標準進行細分,將各類方法中的 代表性算法在統一數據集(MNIST)上進行測試,驗證并分析其優缺點,終總結提出未來的發展前景. 本文第 1 節主要介紹對抗樣本的基本概念和基礎知識,包括對抗樣本本身的定義、其延伸有關的相關概念 以及基本操作流程.第 2 節則指出對抗樣本是從深度學習中衍生出來的概念,同時介紹了對抗樣本有效性的評估方法.第 3 節則介紹對抗樣本的起源,說明了對抗樣本的產生契機和原理解釋.第 4 節介紹生成對抗樣本的發展狀況,以全像素添加擾動和部分像素添加擾動兩大類進行算法說明,同時總結生成方法中常用的數據集.第 5 節是對第 4 節中代表方法的實驗,結合對同一數據集的效果測試來說明各類方法的優缺點.通過這些優缺點,在 第 6 節中討論對抗樣本生成技術面臨的挑戰和前景預測.

目錄：

• 1 簡 介

  • 1.1 樣本的定義
  • 1.2 相關概念
  • 1.3 基本操作流程

• 2 前 傳

  • 2.1機器學習在分類問題中的運用
  • 2.2 深度學習在分類問題中的運用
  • 2.3 評估方法

• 3 起源

  • 3.1 首次發現
  • 3.2 基本原理

• 4 發 展

  • 4.1 分類方式及代表模型
  • 4.2 常用數據集

• 5 實驗結果對比

• 6 面臨挑戰與前景預測

摘要 ： 零樣本圖像分類指訓練集和測試集在數據的類別上沒有交集的情況下進行圖像分類 . 該技術 是解決類別標簽缺失問題的一種有效手段 , 因此受到了日益廣泛的關注 . 自提出此問題至今 , 零樣本 圖像分類的研究已經大致有十年時間 . 本文系統地對過去十年中零樣本圖像分類技術的研究進展進行 了綜述 , 主要包括以下 4 個方面 . 首先介紹零樣本圖像分類技術的研究意義及其應用價值 , 然后重點 總結和歸納零樣本圖像分類的發展過程和研究現狀 , 接下來介紹常用的數據集和評價準則 , 以及與零 樣本學習相關的技術的區別和聯系 , 最后分析有待深入研究的熱點與難點問題 , 并對未來的發展趨勢 進行了展望 .

關鍵詞： 零樣本圖像分類 , 屬性 , 詞向量 , 跨模態映射 , 領域適應學習

零樣本動作識別是近年來備受關注的研究領域，針對圖像和視頻中物體、事件和動作的識別提出了多種方法。由于收集、注釋和標記視頻是一項困難而費力的任務，因此需要一些方法來將實例從模型訓練中不存在的類中分類，特別是在復雜的自動視頻理解任務中。我們發現在文獻中有許多可用的方法，然而，很難對哪些技術可以被認為是最先進的技術進行分類。盡管有一些關于靜止圖像零樣本動作識別的調研和實驗，但是沒有針對視頻的研究。因此，在這篇文章中，我們提出了一個調查的方法，包括技術進行視覺特征提取和語義特征提取，以及學習這些特征之間的映射，特別是零鏡頭動作識別的視頻。我們還提供了一個完整的數據集，實驗和協議的描述，提出了開放的問題和未來的工作方向，這對計算機視覺研究領域的發展至關重要。