亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

監督學習在過去取得了巨大的成功，然而監督學習的研究進入了瓶頸期，因其依賴于昂貴的人工標簽，卻飽受泛化錯誤（generalization error）、偽相關（spurious correlations）和對抗攻擊（adversarial attacks）的困擾。自監督學習以其良好的數據利用效率和泛化能力引起了人們的廣泛關注。本文將全面研究最新的自監督學習模型的發展，并討論其理論上的合理性，包括預訓練語言模型（Pretrained Language Model，PTM）、生成對抗網絡（GAN）、自動編碼器及其拓展、最大化互信息（Deep Infomax，DIM）以及對比編碼（Contrastive Coding）。自監督學習與無監督學習的區別主要在于，無監督學習專注于檢測特定的數據模式，如聚類、社區發現或異常檢測，而自監督學習的目標是恢復（recovering），仍處于監督學習的范式中。下圖展示了兩者之間的區別，自監督中的“related information” 可以來自其他模態、輸入的其他部分以及輸入的不同形式。

來自MILA，Aaron Courville的《自監督表示學習綜述》， Introduction II - Overview of self-supervised representation learning?

//sites.google.com/view/ift6268-a2020/schedule

近年來，表示學習取得了很大的進展。大多數都是以所謂的自監督表示學習的形式。在本課程中，我們將對什么是自我監督的學習方法有一個相當廣泛的解釋，并在適當的時候包括一些無監督學習方法和監督學習方法。我們感興趣的方法，學習有意義的和有效的語義表示，而不(專門)依賴標簽數據。更具體地說，我們將對以下方法感興趣，如: 數據增廣任務，知識蒸餾，自蒸餾，迭代學習，對比方法 (DIM, CPC, MoCo, SimCLR等)，BYOL，以及自監督方法的分析。

我們的目標是了解自監督學習方法是如何工作的，以及起作用的基本原理是什么。

這是一個關于這一主題的高級研討會課程，因此，我們將閱讀和討論大量的最近的和經典的論文。講座將主要由學生主導。我們假設了解了機器學習的基礎知識 (特別是深度學習——正如你在IFT6135中看到的那樣)，我們還將探索自監督表示學習在廣泛領域的應用，包括自然語言處理、計算機視覺和強化學習。

在本課程中，我們將廣泛討論自監督學習(SSL)，特別是深度學習。最近，深度學習在許多應用領域取得了大量令人印象深刻的經驗收益，其中最引人注目的是在目標識別和圖像和語音識別的檢測領域。

在本課程中，我們將探討表示學習領域的最新進展。通過學生領導研討會，我們將回顧最近的文獻，并著眼于建立

本課程所涵蓋的特定主題包括以下內容:

• Engineering tasks for Computer Vision
• Contrastive learning methods
• Generative Methods
• Bootstrap Your Own Latents (BYoL)
• Self-distillation Methods
• Self-training / Pseudo-labeling Methods
• SSL for Natural Language Processing
• Iterated Learning / Emergence of Compositional Structure
• SSL for Video / Multi-modal data
• The role of noise in representation learning
• SSL for RL, control and planning
• Analysis of Self-Supervised Methods
• Theory of SSL
• Unsupervised Domain Adaptation

借助現代的高容量模型，大數據已經推動了機器學習的許多領域的革命，但標準方法——從標簽中進行監督學習，或從獎勵功能中進行強化學習——已經成為瓶頸。即使數據非常豐富，獲得明確指定模型必須做什么的標簽或獎勵也常常是棘手的。收集簡單的類別標簽進行分類對于數百萬計的示例來說是不可能的，結構化輸出(場景解釋、交互、演示)要糟糕得多，尤其是當數據分布是非平穩的時候。

自監督學習是一個很有前途的替代方法，其中開發的代理任務允許模型和代理在沒有明確監督的情況下學習，這有助于對感興趣的任務的下游性能。自監督學習的主要好處之一是提高數據效率:用較少的標記數據或較少的環境步驟(在強化學習/機器人技術中)實現可比較或更好的性能。

自監督學習(self-supervised learning, SSL)領域正在迅速發展，這些方法的性能逐漸接近完全監督方法。

人類的視覺系統證明，用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說，這種能力來自于看到了數百萬個其他類別，并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系，以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的，所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程，例如，一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸，并保證最終模型的性能。

【導讀】Yann Lecun在紐約大學開設的2020春季《深度學習》課程，干貨滿滿。最新的一期是來自Facebook AI的研究科學家Ishan Misra講述了計算機視覺中的自監督學習最新進展，108頁ppt，很不錯報告。

在過去的十年中，許多不同的計算機視覺問題的主要成功方法之一是通過對ImageNet分類進行監督學習來學習視覺表示。并且，使用這些學習的表示，或學習的模型權值作為其他計算機視覺任務的初始化，在這些任務中可能沒有大量的標記數據。

但是，為ImageNet大小的數據集獲取注釋是非常耗時和昂貴的。例如:ImageNet標記1400萬張圖片需要大約22年的人類時間。

因此，社區開始尋找替代的標記過程，如社交媒體圖像的hashtags、GPS定位或自我監督方法，其中標簽是數據樣本本身的屬性。

什么是自監督學習？

定義自我監督學習的兩種方式：

• 基礎監督學習的定義，即網絡遵循監督學習，標簽以半自動化的方式獲得，不需要人工輸入。

• 預測問題，其中一部分數據是隱藏的，其余部分是可見的。因此，其目的要么是預測隱藏數據，要么是預測隱藏數據的某些性質。

自監督學習與監督學習和非監督學習的區別:

• 監督學習任務有預先定義的(通常是人為提供的)標簽，

• 無監督學習只有數據樣本，沒有任何監督、標記或正確的輸出。

• 自監督學習從給定數據樣本的共現形式或數據樣本本身的共現部分派生出其標簽。

自然語言處理中的自監督學習

Word2Vec

• 給定一個輸入句子，該任務涉及從該句子中預測一個缺失的單詞，為了構建文本前的任務，該任務特意省略了該單詞。

• 因此，這組標簽變成了詞匯表中所有可能的單詞，而正確的標簽是句子中省略的單詞。

• 因此，可以使用常規的基于梯度的方法對網絡進行訓練，以學習單詞級表示。

為什么自監督學習

自監督學習通過觀察數據的不同部分如何交互來實現數據的學習表示。從而減少了對大量帶注釋數據的需求。此外，可以利用可能與單個數據樣本相關聯的多個模式。

計算機視覺中的自我監督學習

通常，使用自監督學習的計算機視覺管道涉及執行兩個任務，一個前置任務和一個下游任務。

• 下游任務可以是任何類似分類或檢測任務的任務，但是沒有足夠的帶注釋的數據樣本。

• Pre-text task是為學習視覺表象而解決的自監督學習任務，其目的是利用所學習的表象，或下游任務在過程中獲得的模型權值。

發展Pre-text任務

• 針對計算機視覺問題的文本前任務可以使用圖像、視頻或視頻和聲音來開發。

• 在每個pre-text任務中，都有部分可見和部分隱藏的數據，而任務則是預測隱藏的數據或隱藏數據的某些屬性。

下載鏈接： 鏈接: //pan.baidu.com/s/1gNK4DzqtAMXyrD1fBFGa-w 提取碼: ek7i