題目： Supervised Contrastive Learning
簡介： 交叉熵是在圖像分類模型的有監督訓練中使用最廣泛的損失函數。在本文中，我們提出了一種新穎的訓練方法，該方法在跨不同體系結構和數據擴充的監督學習任務上始終優于交叉熵。我們修改了批處理的對比損失，最近已證明該方法對于在自我監督的情況下學習強大的表示非常有效。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類別的點的群集在嵌入空間中聚在一起，同時將不同類別的樣本群集推開。除此之外，我們還利用了關鍵成分，例如大批處理量和標準化的嵌入，這些成分已顯示出對自我監督學習的好處。在ResNet-50和ResNet-200上，我們的交叉熵均超過1％，在使用AutoAugment數據增強的方法中，新的技術水平達到了78.8％。損失還顯示出明顯的好處，即可以在標準基準和準確性方面提高對自然基準的自然破壞的魯棒性。與交叉熵相比，我們監督的對比損失對于諸如優化器或數據增強之類的超參數設置更穩定。
付費5元查看完整內容
相關內容
題目： Debiased Contrastive Learning
摘要：
自監督表示學習的一項突出技術是對比語義相似和不相似的樣本對。如果無法訪問標簽，通常會將不同的（負）點視為隨機采樣的數據點，隱式地接受這些點實際上可能具有相同的標簽。不足為奇的是，我們觀察到在具有標簽的綜合環境中，從真正不同的標簽中抽取負面樣本可以提高性能。受此觀察結果的啟發，開發了一種反偏差對比目標，即使不知道真實的標簽，也可以校正相同標簽的數據點的采樣。從經驗上講，擬議的目標在視覺，語言和強化學習基準方面始終優于最新的代表性學習。從理論上講，我們為下游分類任務建立概括邊界。
付費5元查看完整內容
我們介紹了一種通過對比圖的結構視圖來學習節點和圖級表示的自監督方法。我們表明，與視覺表示學習不同，增加視圖數量到兩個以上或對比多尺度編碼不會提高性能，而最佳性能是通過對比一階鄰居編碼和圖擴散來實現的。在線性評估協議下，我們在8個節點中的8個和圖分類基準上實現了新的最先進的自監督學習結果。例如，在Cora(節點)和reddy - binary(圖形)分類基準上，我們實現了86.8%和84.5%的準確率，相對于之前的最先進水平分別提高了5.5%和2.4%。與監督基準相比，我們的方法在8個基準中有4個優于監督基準。
付費5元查看完整內容
題目： CURL: Contrastive Unsupervised Representations for Reinforcement Learning
摘要：
我們提出了CURL:用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高級特征，并在提取的特征之上執行off-policy控制。在DeepMind控制套件和Atari游戲中，在100K交互步驟基準測試中，CURL在復雜任務上的表現優于先前基于模型和非模型的基于像素的方法，分別提高了2.8倍和1.6倍的性能。在DeepMind控制套件中，CURL是第一個基于圖像的算法，它的效率和性能幾乎與使用基于狀態的特性的方法不相上下。
付費5元查看完整內容
我們提供TaskSet，一個用于訓練和評估優化器的任務數據集。TaskSet在規模和多樣性上都是獨一無二的，它包含了超過1000個任務，從使用全連接或卷積神經網絡的圖像分類，到變分自編碼器，再到各種數據集上的非卷保存流。作為此類數據集的一個示例應用程序，我們將探索元學習一個超參數的有序列表并按順序進行嘗試。通過從使用TaskSet生成的數據中學習這個超參數列表，我們實現了比隨機搜索更大的樣本效率提升。接下來，我們利用任務集的多樣性和我們學習超參數列表的方法，對這些列表在各種環境下的泛化進行了實證研究，包括使用Resnet50的ImageNet分類和使用transformer的LM1B語言建模。作為這項工作的一部分，我們為所有的任務提供了開源代碼，并為這些問題提供了2900萬條訓練曲線和相應的超參數。
付費5元查看完整內容
我們常常希望將表征性知識從一個神經網絡轉移到另一個神經網絡。例如，將一個大的網絡提煉成一個較小的網絡，將知識從一種感覺模態傳遞到另一種感覺模態，或者將一組模型集成到一個單獨的估計器中。知識蒸餾是解決這些問題的標準方法，它最小化了教師和學生網絡的概率輸出之間的KL分歧。我們證明這一目標忽視了教師網絡的重要結構知識。這激發了另一個目標，通過這個目標，我們訓練學生從老師對數據的描述中獲取更多的信息。我們把這個目標稱為對比學習。實驗表明，我們得到的新目標在各種知識轉移任務(包括單模型壓縮、集成蒸餾和跨模態轉移)上的性能優于知識蒸餾和其他前沿蒸餾器。我們的方法在許多轉移任務中設置了一個新的水平，有時甚至超過教師網絡與知識蒸餾相結合。
付費5元查看完整內容
【導讀】如何利用未標記數據進行機器學習是當下研究的熱點。最近自監督學習、對比學習等提出用于解決該問題。最近來自Google大腦團隊的Luong博士介紹了無標記數據學習的進展，半監督學習以及他們最近重要的兩個工作：無監督數據增強和自訓練學習，是非常好的前沿材料。
深度學習盡管取得了很大成功，但通常在小標簽訓練集中表現不佳。利用未標記數據改善深度學習一直是一個重要的研究方向，其中半監督學習是最有前途的方法之一。在本次演講中，Luong博士將介紹無監督數據增強（UDA），這是我們最近的半監督學習技術，適用于語言和視覺任務。使用UDA，我們僅使用一個或兩個數量級標記較少的數據即可獲得最先進的性能。
在本次演講中，Luong博士首先解釋了基本的監督機器學習。在機器學習中，計算機視覺的基本功能是利用圖像分類來識別和標記圖像數據。監督學習需要輸入和標簽才能與輸入相關聯。通過這樣做，您可以教AI識別圖像是什么，無論是對象，人類，動物等。Luong博士繼續進一步解釋神經網絡是什么，以及它們如何用于深度學習。這些網絡旨在模仿人類大腦的功能，并允許AI自己學習和解決問題。
付費5元查看完整內容
我們提出了一個多語言神經機器翻譯的概率框架，它包括監督和非監督設置，重點是無監督翻譯。除了研究只有單語數據可用的基本情況外，我們還提出了一種新的設置，即(源、目標)對中的一種語言不與任何并行數據相關聯，但可能存在包含另一種語言的輔助并行數據。通過一個新的交叉翻譯損失項，這些輔助數據可以很自然地用在我們的概率框架中。經驗表明，我們的方法在大多數方向的WMT'14英-法、WMT'16英-德、WMT'16英-羅數據集上，比最先進的無監督模型獲得更高的BLEU分數。特別是，我們獲得了+1.65 BLEU的優勢，在羅馬尼亞-英國方向的最佳表現的無監督模式。
付費5元查看完整內容
元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。
地址:
代碼：
付費5元查看完整內容
簡介： Yann Lecun在演講中介紹了“蛋糕類比”，以說明自我監督學習的重要性。 盡管對此類比法進行了辯論（參見：《機器人的深度學習》（幻燈片96）， Pieter Abbeel），但我們已經看到了自我監督學習在自然語言處理領域的影響，該領域的最新發展（Word2Vec，Glove，ELMO，BERT） 進行自我監督并取得了最新成果。
“如果智力是蛋糕，那么蛋糕的大部分是自我監督學習，蛋糕上的糖衣是監督學習，蛋糕上的櫻桃是強化學習（RL）。”
核心思想：
要應用監督學習，我們需要足夠的標簽數據。 為此，人工注釋者手動標記數據（圖像/文本），這既耗時又昂貴。 還有一些領域，例如醫學領域，獲取足夠的數據本身就是一個挑戰。
這是自我監督學習發揮作用的地方。 為此提出了以下問題： 我們是否可以通過這樣的方式設計任務，即可以從現有圖像中生成幾乎無限的標簽，并以此來學習表示形式？
現存的方法：
- 圖片
- 圖片著色
- 圖片超分辨率
- 圖像修補
- 圖像拼圖
- 上下文預測
- 圖像幾何變換識別
- 圖像聚類
- 圖片合成
- 視頻
- 圖片幀順序驗證
付費5元查看完整內容
This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191