本課程將涵蓋深度學習中不需要標注數據的兩個領域:深度生成模型和自監督學習。生成模型的最新進展使得對自然圖像、音頻波形和文本語料庫等高維原始數據進行真實建模成為可能。自監督學習的進步已經開始縮小監督表示學習和非監督表示學習之間的差距,本課程將涵蓋這些主題的理論基礎以及它們的新應用。
【導讀】Pieter Abbeel 是加州大學伯克利分校的教授,伯克利機器人學習實驗室的主任,其新開課程CS294深度無監督學習包含兩個領域,分別是生成模型和自監督學習。這個15周的課程包含視頻PPT能資源,有助于讀者對深度學習無監督的理解。最新一期是生成式對抗網絡Generative Adversarial Networks的課程,共有257頁ppt,包括GAN, DC GAN, ImprovedGAN, WGAN, WGAN-GP, Progr.GAN, SN-GAN, SAGAN, BigGAN(-Deep), StyleGAN-v1,2, VIB-GAN, GANs as Energy Models,非常值得關注!
目錄內容:
【導讀】在最新AAAI2020的邀請嘉賓報告上,Facebook人工智能總監、圖靈獎得主Yann Lecun給了自監督學習的報告《Self-Supervised Learning 》,44頁ppt,介紹了深度學習面臨的挑戰,自監督學習的光明前景,基于能量學習的因變量模型,介紹最新自監督學習的進展與問題,是非常值得看的報告。
自監督學習 Self-Supervised Learning
計算機感知、語音識別和自然語言處理的最新進展幾乎都是建立在有監督的深度學習的基礎上的,在這種學習中,機器預測需要人類提供的標注。如今,DL系統已經成為搜索引擎和社交網絡內容過濾和檢索、醫學圖像分析、駕駛輔助以及許多科學領域的核心。但是,最好的機器學習方法仍然需要比人類和動物學習多得多的數據或與環境的交互。我們如何讓機器像動物和人類一樣,通過獨立于任務的觀察來學習關于世界如何運作的大量背景知識?一種有前途的方法是自監督學習(SSL),即機器從輸入的其他部分預測輸入的一部分。SSL已經在離散領域帶來了巨大的進步,例如語言理解。問題是如何在音頻、圖像和視頻等高維連續域中使用SSL。
報告簡介: 深度強化學習與元學習是當前研究熱點。加州大學UC Berkeley Pieter Abbeel教授最新在卡內基梅隆大學CMU中做了演講關于深度強化學習在機器人的應用,《Deep Learning to learn》,是了解深度學習在機器人應用研究進展的很好報告。
嘉賓介紹: Pieter Abbeel,加州大學伯克利分校教授、機器人學習實驗室主任,伯克利人工智能研究(BAIR)實驗室聯合主任。Pieter Abbeel是機器人和強化學習領域的大牛。Pieter Abbeel 2008年從斯坦福大學獲得博士學位,師從百度前首席科學家 Andrew Ng(吳恩達),畢業后在UC Berkeley任教。Pieter Abbeel還是兩家AI公司的創始人,Gradescope和covariant.ai。Gradescope開發為家庭作業、課題研究、試卷等打分的AI系統;covariant.ai開發機器人自動化的AI系統,在制造/倉儲/電子商務/物流等領域應用。 Pieter Abbeel 的研究重點特別集中于如何讓機器人向人類學習(學徒學習),如何讓機器人通過自己的試錯過程學習(強化學習),以及如何通過從learning-to-learn(元學習)過程中加快技能獲取。他開發的機器人已經學會了先進的直升機特技飛行、打結、基本裝配、疊衣服、移動、以及基于視覺的機器人操作。
下載鏈接: 鏈接://pan.baidu.com/s/1aFOE18rk-icczXBYJERWow 提取碼:8ixa