【導讀】自監督學習是新的研究熱點-【AAAI2020圖靈獎得主YannLecun】自監督學習Self-Supervised Learning是未來 。近日，深度學習先驅Geoffrey Hinton領銜的Google大腦團隊發布了他們在視覺表示對比學習的最新研究成果-SimLCR，建立了新的SOTA視覺ImageNet識別模型，76.5%的top-1準確度，比以前的水平提高了7%，與監督的ResNet-50的性能相當。并有一系列重要的發現：包括(1) 數據增廣的組成在定義有效的預測任務中發揮了至關重要的作用，(2) 引入一個可學的非線性變換在視覺表示和對比損失之間大大提高學習表示的質量,和 (3) 與監督學習相比，對比學習受益于更大的批量尺寸和更多的訓練步驟，不得不看！
本文提出了一個簡單的視覺表示對比學習（contrastive learning）框架。我們簡化了最近提出的對比型自監督學習算法，不需要專門的架構或存儲庫。為了了解是什么使對比預測任務能學習有用的表示，我們系統地研究了我們提出的框架的主要組成部分。我們表明, (1) 數據增廣的組成在定義有效的預測任務中發揮了至關重要的作用，(2) 引入一個可學的非線性變換在視覺表示和對比損失之間大大提高學習表示的質量,和 (3) 與監督學習相比，對比學習受益于更大的批量尺寸和更多的訓練步驟。結合這些發現，我們能夠在很大程度上超越以往的方法，在ImageNet上進行自監督和半監督學習。在SimCLR學習的自監督表示上訓練的線性分類器實現了76.5%的top-1準確度，比以前的水平提高了7%，與監督的ResNet-50的性能相當。當僅對1%的標簽進行微調時，我們實現了85.8%的前5名準確度，以100倍的標簽數超過了AlexNet。
概述
學習沒有人類監督的有效視覺表示是一個長期存在的問題。大多數主流方法可分為兩類:生成式和判別式。生成式方法學習在輸入空間中生成或以其他方式建模像素 (Hinton et al., 2006; Kingma & Welling, 2013; Goodfellow et al., 2014)。然而，像素級的生成在計算上是昂貴的，而且對于表示學習可能不是必需的。判別方法使用與監督學習類似的目標函數來學習表示，但是訓練網絡執行下游任務，其中輸入和標簽都來自未標記的數據集。許多這類方法依賴于啟發法來設計下游任務(Doersch et al., 2015; Zhang et al., 2016; Noroozi & Favaro, 2016; Gidaris et al., 2018)，這可能限制了學習表示的普遍性。基于潛在空間中的對比學習的判別方法最近顯示出了巨大的潛力，取得了最先進的結果(Hadsell et al., 2006; Dosovitskiy et al., 2014; Oord et al., 2018; Bachman et al., 2019)。
圖1: ImageNet top-1在不同自監督方法學習的表示上訓練的線性分類器的精度(在ImageNet上預先訓練)。灰色十字表示有監督的ResNet-50。我們的方法SimCLR以粗體顯示。
在這項工作中，我們介紹了視覺表示對比學習的一個簡單框架，我們稱之為SimCLR。SimCLR不僅優于以前的工作(圖1)，而且更簡單，不需要專門的架構(Bachman et al., 2019; Hénaff et al., 2019）或者存儲池 (Wu et al., 2018; Tian et al., 2019; He et al., 2019a; Misra & van der Maaten, 2019)。
為了了解是什么使好的對比表示學習成為可能，我們系統地研究了我們的框架的主要組成部分，并表明:
-
[topsep=0pt, partopsep=0pt, leftmargin=13pt, parsep=0pt, itemsep=4pt]
-
在定義產生有效表示的對比預測任務時，多個數據增強操作的組合是至關重要的。另外，無監督對比學習比監督學習具有更強的數據增強性。
-
在表示和對比損失之間引入一個可學習的非線性變換，極大地提高了學習表示的質量。
-
具有對比交叉熵損失的表示法學習得益于歸一化嵌入和適當調整的溫度參數。
-
與監督學習相比，對比學習受益于更大的批量和更長的訓練。與監督學習一樣，對比學習也受益于更深更廣的網絡。
我們結合這些發現，在ImageNet ILSVRC-2012上實現了一種新的自監督和半監督學習(Russakovsky et al.， 2015)。** 在線性評價方案下，SimCLR達到了76.5%的top-1準確率，相對于之前的最先進水平(Henaff et al.， 2019)提高了7%。當僅使用1%的ImageNet標簽進行微調時，SimCLR達到了85.8%的top-5準確率，相對提高了10% (Henaff et al.， 2019)。當對其他自然圖像分類數據集進行微調時，SimCLR在12個數據集中的10個上的表現與強監督基線(Kornblith et al.， 2019)相當或更好。**
付費5元查看完整內容
相關內容
交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。
付費5元查看完整內容
【導讀】無監督學習再發力！Facebook AI 研究團隊的陳鑫磊、樊昊棋、Ross Girshick、何愷明等人提出了第二版動量對比（MoCo）的無監督訓練方法。使用一個MLP投影頭和更多的數據增強——建立了比Hinton前一久的SimCLR更強的基準，并且不需要大量的訓練。
對比式無監督學習最近取得了令人鼓舞的進展，例如動量對比(MoCo)和SimCLR。在本文中，我們通過在MoCo框架中實現SimCLR的兩個設計改進來驗證它們的有效性。通過對MoCo的簡單修改——即使用一個MLP投影頭和更多的數據增強——我們建立了比SimCLR更強的基準，并且不需要大量的訓練。我們希望這將使最先進的無監督學習研究更容易獲得。代碼將被公開。
論文鏈接：//arxiv.org/pdf/2003.04297.pdf
最近關于從圖像中進行無監督表示學習的研究[16,13,8,17,1,9,15,6,12,2]都集中在一個中心概念上，即對比學習[5]。結果是非常有希望的：例如，動量對比(MoCo)[6]表明，在多個檢測和分割任務中，無監督前訓練可以超越其圖像監督后，而SimCLR[2]進一步減少了無監督和監督前預訓練表示之間的線性分類器性能的差距。
本文介紹在MoCo框架內建立了更強、更可行的基線。我們報告了SimCLR中使用的兩個設計改進，即一個MLP投影頭和更強的數據增強，與MoCo和SimCLR框架是正交的，當與MoCo一起使用時，它們會帶來更好的圖像分類和目標檢測遷移學習結果。此外，MoCo框架可以處理大量的負樣本，而不需要大量的訓練批(圖1)。與需要TPU支持的SimCLR的大4k～8k批相比，我們的“MoCo v2”基線可以在典型的8-GPU機器上運行，并且獲得比SimCLR更好的結果。我們希望這些改進的基線能夠為未來的無監督學習研究提供參考。
圖1:對比學習的兩種優化機制的批處理透視圖。圖像被編碼到一個表示空間中，在這個表示空間中計算成對的相似度。
方法
對比學習及其最新進展可以看做是為查詞典任務訓練一個編碼器。
假設有一個編碼的查詢 q 和一組編碼的樣本 {k0, k1, k2, ...}，它們都是詞典的鍵。詞典中有一個鍵（k+）與 q 相匹配。對比損失是一個函數，該函數的值在 q 類似于其正鍵 k+且不同于其他所有鍵（q 的負鍵）時很低。研究者使用點積的相似度度量，這是一種對比損失函數的形式，名為 InfoNCE。本文采用了這個函數：
這一對比損失函數充當一個無監督目標函數，用于訓練表征查詢和鍵的編碼器網絡。總體來說，查詢表征是 q = f_q(x^q )，其中的 f_q 是一個編碼器網絡，x^q 是查詢樣本。
改進設計
SimCLR[2]在三個方面改進了實例識別的端到端變體:(i)能夠提供更多負樣本的更大的批處理(4k或8k);(ii)將輸出的fc投影頭[16]替換為MLP頭;(三)數據擴充能力增強。
在MoCo框架中，大量的負樣本是現成的;MLP頭和數據擴充與對比學習的實例化方式是正交的。接下來，我們研究MoCo中的這些改進。
實驗設置
在1.28M的ImageNet[3]訓練集上進行無監督學習。(i) ImageNet線性分類:對特征進行凍結，訓練監督線性分類器;我們報告了1種crop(224×224)，驗證準確率排名第一。(ii) 遷移到VOC目標檢測[4]:更快的R-CNN檢測器[14](c4 -主干)在VOC 07+12訓練集上對所有條目(包括監督和MoCo v1基線)進行端到端微調，我們對VOC進行24k迭代微調，高于[6]中的18k。并在VOC 07測試集上使用COCO標準[10]進行評估。我們使用與MoCo[6]相同的超參數(除非特別指出)和代碼庫。所有結果使用標準大小的ResNet-50[7]。
MLP頭 在[2]之后，我們將MoCo中的fc頭替換為2層MLP頭(隱藏層2048-d，使用ReLU)。注意，這只影響到非監督訓練階段;線性分類或遷移階段不使用這個MLP頭。[2]之后,我們尋找一個最佳的τ關于ImageNet線性分類準確率:
使用默認τ= 0.07[16,6],訓練的MLP頭提高從60.6%至62.9%;切換到MLP的最優值(0.2)，準確度度提高到66.2%。表1(a)顯示了它的檢測結果:與ImageNet上的大飛躍相比，檢測增益更小。
數據增強 我們通過在[2]中加入模糊增強來擴展[6]中的原始增強(我們發現在[2]中更強的顏色失真在我們更高的基線中有遞減的增益)。單獨的額外增加(即(no MLP)將ImageNet上的MoCo基線提高了2.8%，達到63.4%，見表1(b)。有趣的是，它的檢測準確率比單獨使用MLP要高，表1(b)與(a)，盡管線性分類準確度要低得多(63.4%比66.2%)。這說明線性分類精度與檢測中的遷移性能不是單調相關的。對于MLP，額外的增強將ImageNet的精度提高到67.3%，見表1(c)。
與SimCLR進行比較 表2將SimCLR[2]與我們的結果MoCo v2進行了比較。為了公平比較，我們還研究了SimCLR采用的一個余弦(半周期)學習速率調度[11]。表1(d, e)。MoCo v2使用200個epoch和256個批量大小的預訓練，在ImageNet上達到67.5%的準確率，比SimCLR在相同epoch和批量大小下的準確率高5.6%，比SimCLR的大批量結果高66.6%。通過800-epoch的預訓練，MoCo v2達到了71.1%，超過了SimCLR的69.3%，達到了1000個epoch。
計算成本
在表3中，我們報告了實現的內存和時間成本。端到端案例反映了GPU中的SimCLR成本(而不是[2]中的TPUs)。即使在高端的8-GPU機器上，4k的批處理大小也是難以處理的。而且，在相同的批處理大小為256的情況下，端到端變體在內存和時間上仍然更昂貴，因為它向后傳播到q和k編碼器，而MoCo只向后傳播到q編碼器。
表2和表3表明，為了獲得良好的準確性，不需要大的訓練批處理。我們研究的改進只需要對MoCo v1進行幾行代碼更改，我們將公開代碼以方便將來的研究。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191