交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。
付費5元查看完整內容
相關內容
題目： Debiased Contrastive Learning
摘要：
自監督表示學習的一項突出技術是對比語義相似和不相似的樣本對。如果無法訪問標簽，通常會將不同的（負）點視為隨機采樣的數據點，隱式地接受這些點實際上可能具有相同的標簽。不足為奇的是，我們觀察到在具有標簽的綜合環境中，從真正不同的標簽中抽取負面樣本可以提高性能。受此觀察結果的啟發，開發了一種反偏差對比目標，即使不知道真實的標簽，也可以校正相同標簽的數據點的采樣。從經驗上講，擬議的目標在視覺，語言和強化學習基準方面始終優于最新的代表性學習。從理論上講，我們為下游分類任務建立概括邊界。
付費5元查看完整內容
我們介紹了一種通過對比圖的結構視圖來學習節點和圖級表示的自監督方法。我們表明，與視覺表示學習不同，增加視圖數量到兩個以上或對比多尺度編碼不會提高性能，而最佳性能是通過對比一階鄰居編碼和圖擴散來實現的。在線性評估協議下，我們在8個節點中的8個和圖分類基準上實現了新的最先進的自監督學習結果。例如，在Cora(節點)和reddy - binary(圖形)分類基準上，我們實現了86.8%和84.5%的準確率，相對于之前的最先進水平分別提高了5.5%和2.4%。與監督基準相比，我們的方法在8個基準中有4個優于監督基準。
付費5元查看完整內容
題目： CURL: Contrastive Unsupervised Representations for Reinforcement Learning
摘要：
我們提出了CURL:用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高級特征，并在提取的特征之上執行off-policy控制。在DeepMind控制套件和Atari游戲中，在100K交互步驟基準測試中，CURL在復雜任務上的表現優于先前基于模型和非模型的基于像素的方法，分別提高了2.8倍和1.6倍的性能。在DeepMind控制套件中，CURL是第一個基于圖像的算法，它的效率和性能幾乎與使用基于狀態的特性的方法不相上下。
付費5元查看完整內容
[付費5元查看完整內容]【ACL2020-Facebook AI】跨語言表示學習，Unsupervised Cross-lingual Representation Learning at Scale
題目
跨語言表示學習，Unsupervised Cross-lingual Representation Learning at Scale
關鍵詞
自然語言處理，表示學習，跨語言，人工智能
簡介
本文表明，針對多種跨語言轉換任務，大規模地對多語言語言模型進行預訓練可以顯著提高性能。 我們使用超過2 TB的經過過濾的CommonCrawl數據在一百種語言上訓練了基于Transformer的屏蔽語言模型。 我們的模型稱為XLM-R，在各種跨語言基準測試中，其性能明顯優于多語言BERT（mBERT），包括XNLI的平均精度為+ 13.8％，MLQA的平均F1得分為+ 12.3％，NER的平均F1得分為+ 2.1％。 XLM-R在低資源語言上表現特別出色，與以前的XLM模型相比，斯瓦希里語的XNLI準確性提高了11.8％，烏爾都語的準確性提高了9.2％。 我們還對獲得這些收益所需的關鍵因素進行了詳細的實證評估，包括（1）積極轉移和能力稀釋以及（2）大規模資源資源的高低性能之間的權衡。 最后，我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性。 XLM-R在GLUE和XNLI基準測試中具有強大的單語言模型，因此非常具有競爭力。 我們將公開提供XLM-R代碼，數據和模型。
作者
Alexis Conneau， Kartikay Khandelwal等。
付費5元查看完整內容
我們常常希望將表征性知識從一個神經網絡轉移到另一個神經網絡。例如，將一個大的網絡提煉成一個較小的網絡，將知識從一種感覺模態傳遞到另一種感覺模態，或者將一組模型集成到一個單獨的估計器中。知識蒸餾是解決這些問題的標準方法，它最小化了教師和學生網絡的概率輸出之間的KL分歧。我們證明這一目標忽視了教師網絡的重要結構知識。這激發了另一個目標，通過這個目標，我們訓練學生從老師對數據的描述中獲取更多的信息。我們把這個目標稱為對比學習。實驗表明，我們得到的新目標在各種知識轉移任務(包括單模型壓縮、集成蒸餾和跨模態轉移)上的性能優于知識蒸餾和其他前沿蒸餾器。我們的方法在許多轉移任務中設置了一個新的水平，有時甚至超過教師網絡與知識蒸餾相結合。
付費5元查看完整內容
【導讀】如何利用未標記數據進行機器學習是當下研究的熱點。最近自監督學習、對比學習等提出用于解決該問題。最近來自Google大腦團隊的Luong博士介紹了無標記數據學習的進展，半監督學習以及他們最近重要的兩個工作：無監督數據增強和自訓練學習，是非常好的前沿材料。
深度學習盡管取得了很大成功，但通常在小標簽訓練集中表現不佳。利用未標記數據改善深度學習一直是一個重要的研究方向，其中半監督學習是最有前途的方法之一。在本次演講中，Luong博士將介紹無監督數據增強（UDA），這是我們最近的半監督學習技術，適用于語言和視覺任務。使用UDA，我們僅使用一個或兩個數量級標記較少的數據即可獲得最先進的性能。
在本次演講中，Luong博士首先解釋了基本的監督機器學習。在機器學習中，計算機視覺的基本功能是利用圖像分類來識別和標記圖像數據。監督學習需要輸入和標簽才能與輸入相關聯。通過這樣做，您可以教AI識別圖像是什么，無論是對象，人類，動物等。Luong博士繼續進一步解釋神經網絡是什么，以及它們如何用于深度學習。這些網絡旨在模仿人類大腦的功能，并允許AI自己學習和解決問題。
付費5元查看完整內容
我們提出了一個多語言神經機器翻譯的概率框架，它包括監督和非監督設置，重點是無監督翻譯。除了研究只有單語數據可用的基本情況外，我們還提出了一種新的設置，即(源、目標)對中的一種語言不與任何并行數據相關聯，但可能存在包含另一種語言的輔助并行數據。通過一個新的交叉翻譯損失項，這些輔助數據可以很自然地用在我們的概率框架中。經驗表明，我們的方法在大多數方向的WMT'14英-法、WMT'16英-德、WMT'16英-羅數據集上，比最先進的無監督模型獲得更高的BLEU分數。特別是，我們獲得了+1.65 BLEU的優勢，在羅馬尼亞-英國方向的最佳表現的無監督模式。
付費5元查看完整內容
元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。
地址:
代碼：
付費5元查看完整內容
題目
深度殘差強化學習，Deep Residual Reinforcement Learning
關鍵字
強化學習，殘差算法，機器學習
簡介
我們在無模型和基于模型的強化學習設置中重新研究殘差算法。 我們建議使用雙向目標網絡技術來穩定殘差算法，從而產生DDPG的殘差版本，該版本明顯優于DeepMind Control Suite基準測試中的原始DDPG。 此外，我們發現殘差算法是解決基于模型的規劃中分布不匹配問題的有效方法。 與現有的TD（k）方法相比，我們的基于殘差的方法對模型的假設更弱，并且性能提升更大。
作者
Shangtong Zhang, Wendelin Boehmer, Shimon Whiteson，來自牛津大學
付費5元查看完整內容
This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191