亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

主題： Learning Representations that Support Extrapolation

摘要： 外推-進行超出個人經驗范圍的推理的能力-是人類智慧的標志。 相比之下，當代神經網絡算法所表現出的一般性在很大程度上僅限于訓練語料庫中數據點之間的插值。在本文中，我們考慮了學習支持外推表示的挑戰。 我們引入了一種新穎的視覺類比基準，該基準允許外推的分級評估作為與訓練數據所定義的凸域的距離的函數。 我們還介紹了一種簡單的技術，即上下文規范化，它鼓勵強調對象之間關系的表示形式。 我們發現，該技術可以大大提高推斷能力，大大優于許多競爭性技術。

題目： Supervised Contrastive Learning

簡介： 交叉熵是在圖像分類模型的有監督訓練中使用最廣泛的損失函數。在本文中，我們提出了一種新穎的訓練方法，該方法在跨不同體系結構和數據擴充的監督學習任務上始終優于交叉熵。我們修改了批處理的對比損失，最近已證明該方法對于在自我監督的情況下學習強大的表示非常有效。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類別的點的群集在嵌入空間中聚在一起，同時將不同類別的樣本群集推開。除此之外，我們還利用了關鍵成分，例如大批處理量和標準化的嵌入，這些成分已顯示出對自我監督學習的好處。在ResNet-50和ResNet-200上，我們的交叉熵均超過1％，在使用AutoAugment數據增強的方法中，新的技術水平達到了78.8％。損失還顯示出明顯的好處，即可以在標準基準和準確性方面提高對自然基準的自然破壞的魯棒性。與交叉熵相比，我們監督的對比損失對于諸如優化器或數據增強之類的超參數設置更穩定。

題目： CURL: Contrastive Unsupervised Representations for Reinforcement Learning

摘要：

我們提出了CURL:用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高級特征，并在提取的特征之上執行off-policy控制。在DeepMind控制套件和Atari游戲中，在100K交互步驟基準測試中，CURL在復雜任務上的表現優于先前基于模型和非模型的基于像素的方法，分別提高了2.8倍和1.6倍的性能。在DeepMind控制套件中，CURL是第一個基于圖像的算法，它的效率和性能幾乎與使用基于狀態的特性的方法不相上下。

主題： A New Meta-Baseline for Few-Shot Learning

摘要： 近年來，元學習已經成為小樣本學習的流行框架，其目標是從少拍分類任務的集合中學習模型。雖然提出了越來越多的新穎元學習模型，但我們的研究發現了被忽視的簡單基準。我們通過在所有基類上預先訓練分類器，并在基于最近質心的少數鏡頭分類算法上進行元學習，提出了一種Meta-Baseline方法，該方法以較大的優勢勝過了最新的方法。為什么這個簡單的方法這么好？在元學習階段，我們觀察到在基礎類的未見任務上更好地推廣的模型在新型類任務上的性能可能會下降，這表明存在潛在的客觀差異。我們發現預訓練和從預訓練的分類器繼承良好的幾次快照分類法對于元基線都很重要，這可能有助于模型更好地利用具有更強可傳遞性的預訓練表示。此外，我們研究了何時需要在此元基線中進行元學習。我們的工作為該領域建立了一個新的基準，并為進一步了解元學習框架中的幾次學習現象提供了啟示。

我們常常希望將表征性知識從一個神經網絡轉移到另一個神經網絡。例如，將一個大的網絡提煉成一個較小的網絡，將知識從一種感覺模態傳遞到另一種感覺模態，或者將一組模型集成到一個單獨的估計器中。知識蒸餾是解決這些問題的標準方法，它最小化了教師和學生網絡的概率輸出之間的KL分歧。我們證明這一目標忽視了教師網絡的重要結構知識。這激發了另一個目標，通過這個目標，我們訓練學生從老師對數據的描述中獲取更多的信息。我們把這個目標稱為對比學習。實驗表明，我們得到的新目標在各種知識轉移任務(包括單模型壓縮、集成蒸餾和跨模態轉移)上的性能優于知識蒸餾和其他前沿蒸餾器。我們的方法在許多轉移任務中設置了一個新的水平，有時甚至超過教師網絡與知識蒸餾相結合。

機器學習的許多應用都需要一個模型來對測試樣本做出準確的預測，這些測試樣本在分布上與訓練示例不同，而在訓練期間，特定于任務的標簽很少。應對這一挑戰的有效方法是，在數據豐富的相關任務上對模型進行預訓練，然后在下游任務上對其進行微調。盡管預訓練在許多語言和視覺領域都是有效的，但是如何在圖數據集上有效地使用預訓練仍是一個有待解決的問題。本文提出了一種新的圖神經網絡訓練策略和自監督方法。我們的策略成功的關鍵是在單個節點以及整個圖的層次上預訓練一個具有強表示能力的GNN，以便GNN能夠同時學習有用的局部和全局表示。我們系統地研究了多類圖分類數據集的預處理問題。我們發現，在整個圖或單個節點級別上對GNN進行預訓練的樸素策略改進有限，甚至可能導致許多下游任務的負遷移。相比之下，我們的策略避免了負遷移，顯著提高了下游任務的泛化能力，使得ROC-AUC相對于未經訓練的模型提高了9.4%，實現了分子特性預測和蛋白質功能預測的最好性能。

元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。

地址:

//arxiv.org/abs/1812.02391

代碼：

簡介： Yann Lecun在演講中介紹了“蛋糕類比”，以說明自我監督學習的重要性。 盡管對此類比法進行了辯論（參見：《機器人的深度學習》（幻燈片96）， Pieter Abbeel），但我們已經看到了自我監督學習在自然語言處理領域的影響，該領域的最新發展（Word2Vec，Glove，ELMO，BERT） 進行自我監督并取得了最新成果。

“如果智力是蛋糕，那么蛋糕的大部分是自我監督學習，蛋糕上的糖衣是監督學習，蛋糕上的櫻桃是強化學習（RL）。”

核心思想：

要應用監督學習，我們需要足夠的標簽數據。 為此，人工注釋者手動標記數據（圖像/文本），這既耗時又昂貴。 還有一些領域，例如醫學領域，獲取足夠的數據本身就是一個挑戰。

這是自我監督學習發揮作用的地方。 為此提出了以下問題： 我們是否可以通過這樣的方式設計任務，即可以從現有圖像中生成幾乎無限的標簽，并以此來學習表示形式？

現存的方法：

• 圖片
  • 圖片著色
  • 圖片超分辨率
  • 圖像修補
  • 圖像拼圖
  • 上下文預測
  • 圖像幾何變換識別
  • 圖像聚類
  • 圖片合成
• 視頻
  • 圖片幀順序驗證