【導讀】OpenAI顧問、伯克利加州分校人工智能實驗室主任、機器人學習實驗室主任攜其博士生，為大家貢獻一門長達4個月的深度無監督學習課程，該課程是深度無監督學習的優秀課程，涵蓋了許多當前的最新水平，尤其是該課程使用了最新的模型更新研究生級課程。最新一講是深度半監督學習，146頁ppt，值得跟隨
付費5元查看完整內容
相關內容
無監督學習是機器學習的三個主要分支之一（以及監督學習和強化學習）。它也可以說是最不發達的分支。它的目標是通過發現和利用其隱藏結構來找到對輸入數據的簡約描述。據推測，與監督學習相比，這更讓人聯想到大腦的學習方式。此外，假設通過無監督學習發現的表示形式可以緩解深度監督和強化學習中的許多已知問題。但是，由于缺乏明確的ground-truth目標來優化，無監督學習的發展進展緩慢。在本次演講中，DeepMind研究科學家Irina Higgins和DeepMind研究工程師Mihaela Rosca概述了無監督表示學習的歷史作用以及開發和評估此類算法的困難。然后，他們將采取多學科的方法來思考什么可以做一個好的表示方法，以及為什么要這樣做，然后再對無監督的表示學習的當前最新方法進行廣泛的概述。
付費5元查看完整內容
生成式對抗網絡
·
【導讀】Pieter Abbeel 是加州大學伯克利分校的教授，伯克利機器人學習實驗室的主任，其新開課程CS294深度無監督學習包含兩個領域，分別是生成模型和自監督學習。這個15周的課程包含視頻PPT能資源，有助于讀者對深度學習無監督的理解。最新一期是生成式對抗網絡Generative Adversarial Networks的課程，共有257頁ppt，包括GAN, DC GAN, ImprovedGAN, WGAN, WGAN-GP, Progr.GAN, SN-GAN, SAGAN, BigGAN(-Deep), StyleGAN-v1,2, VIB-GAN, GANs as Energy Models，非常值得關注！
目錄內容：
- 隱式模型的動機和定義
- 原始GAN (Goodfellow et al, 2014)
- 評估: Parzen、Inception、Frechet
- 一些理論: 貝葉斯最優鑒別器; Jensen-Shannon散度; 模式崩潰; 避免飽和
- GAN進展
- DC GAN (Radford et al, 2016)
- 改進GANs訓練(Salimans et al, 2016)
- WGAN, WGAN- gp, Progressive GAN, SN-GAN, SAGAN
- BigGAN, BigGAN- deep, StyleGAN, StyleGAN-v2, VIB-GAN
- 創意條件GAN
- GANs與申述
- GANs作為能量模型
- GANs與最優傳輸，隱式似然模型，矩匹配
- 對抗性損失的其他用途:轉移學習、公平
- GANs和模仿學習
付費5元查看完整內容
交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。
付費5元查看完整內容
本課程涉及深度學習和表示學習的最新技術，重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網，并應用于計算機視覺、自然語言理解和語音識別。
第五講：
第六講：
第七講：
付費5元查看完整內容
WSDM 2020全稱為第13屆國際互聯網搜索與數據挖掘會議（The 13thInternational Conference on Web Search and Data Mining, WSDM 2020），將于2020年2月3日-2月7日在美國休斯敦召開。賓夕法尼亞州立大學ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了關于小數據學習《Learning with Small Data》教程，124頁ppt涵蓋遷移學習與元學習等最新課題，是非常好的學習材料！
摘要：
在大數據時代，我們很容易收集到大量的圖像和文本數據。然而，在一些領域，例如醫療保健和城市計算，我們經常面對現實世界中只有少量（標記的）數據的問題。挑戰在于如何使機器學習算法在處理小數據時仍能很好地工作？為了解決這個挑戰，在本教程中，我們將介紹處理小數據問題的最新機器學習技術。我們特別關注以下三個方面：（1）全面回顧了近年來在探索知識遷移的力量方面取得的進展，特別是在元學習方面；（2）介紹了將人類/專家知識納入機器學習模型的前沿技術；（3）確定了開放的挑戰數據增強技術，如生成性對抗網絡。
百度網盤下載： 鏈接: //pan.baidu.com/s/1j-xvPMB4WwSdiMoDsaR8Sg 提取碼: 8v7y 目錄：
-
引言 Introduction
-
從模型進行遷移知識 Transfer knowledge from models
- 遷移學習 Transfer learning
- 多任務學習 Multi-task learning
- 元學習 Meta-learning
- 應用 Applications
-
領域專家知識遷移 Transfer knowledge from domain expert
- Enrich representations using knowledge graph
- Regularizing the loss function by incorporating domain knowledge
-
數據增廣 Data augmentation
- Augmentation using labeled data
- Augmentation using unlabeled data
地址：
講者介紹： Zhenhui Li 是賓夕法尼亞州立大學信息科學與技術終身副教授。在加入賓夕法尼亞州立大學之前，她于2012年在伊利諾伊大學香檳分校獲得了計算機科學博士學位，當時她是數據挖掘研究小組的成員。她的研究重點是挖掘時空數據，并將其應用于交通、生態、環境、社會科學和城市計算。她是一位充滿激情的跨學科研究人員，一直積極與跨領域研究人員合作。她曾擔任過許多會議的組織委員會或高級項目委員會，包括KDD、ICDM、SDM、CIKM和SIGSPATIAL。自2012年以來，她一直定期開設數據組織和數據挖掘課程。她的課程經常受到學生的好評。她獲得了NSF職業獎、研究院青年教師優秀獎和喬治J.麥克默里教學院青年教師優秀獎。
付費5元查看完整內容
This work tackles the problem of semi-supervised learning of image classifiers. Our main insight is that the field of semi-supervised learning can benefit from the quickly advancing field of self-supervised visual representation learning. Unifying these two approaches, we propose the framework of self-supervised semi-supervised learning ($S^4L$) and use it to derive two novel semi-supervised image classification methods. We demonstrate the effectiveness of these methods in comparison to both carefully tuned baselines, and existing semi-supervised learning methods. We then show that $S^4L$ and existing semi-supervised methods can be jointly trained, yielding a new state-of-the-art result on semi-supervised ILSVRC-2012 with 10% of labels.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191