報告簡介: 深度強化學習與元學習是當前研究熱點。加州大學UC Berkeley Pieter Abbeel教授最新在卡內基梅隆大學CMU中做了演講關于深度強化學習在機器人的應用,《Deep Learning to learn》,是了解深度學習在機器人應用研究進展的很好報告。
嘉賓介紹: Pieter Abbeel,加州大學伯克利分校教授、機器人學習實驗室主任,伯克利人工智能研究(BAIR)實驗室聯合主任。Pieter Abbeel是機器人和強化學習領域的大牛。Pieter Abbeel 2008年從斯坦福大學獲得博士學位,師從百度前首席科學家 Andrew Ng(吳恩達),畢業后在UC Berkeley任教。Pieter Abbeel還是兩家AI公司的創始人,Gradescope和covariant.ai。Gradescope開發為家庭作業、課題研究、試卷等打分的AI系統;covariant.ai開發機器人自動化的AI系統,在制造/倉儲/電子商務/物流等領域應用。 Pieter Abbeel 的研究重點特別集中于如何讓機器人向人類學習(學徒學習),如何讓機器人通過自己的試錯過程學習(強化學習),以及如何通過從learning-to-learn(元學習)過程中加快技能獲取。他開發的機器人已經學會了先進的直升機特技飛行、打結、基本裝配、疊衣服、移動、以及基于視覺的機器人操作。
下載鏈接: 鏈接://pan.baidu.com/s/1aFOE18rk-icczXBYJERWow 提取碼:8ixa
【導讀】來自加州大學圣地亞哥分校《計算機視覺中的領域自適應》中生成式對抗網絡GAN介紹
Deep Reinforcement Learning via Policy Optimization
報告主題: Better Model-based RL through Meta RL
報告簡介: Meta RL(Meta Reinforcement Learning)是Meta Learning應用到Reinforcement Learning的一個研究方向,核心的想法就是希望AI在學習大量的RL任務中獲取足夠的先驗知識Prior Knowledge然后在面對新的RL任務時能夠 學的更快,學的更好,能夠自適應新環境,本教程主要從強化學習的基礎,基于模型的元強化學習,以及如何加快元強化學習訓練速度三方面展開。
嘉賓介紹: Pieter Abbeel是加州大學伯克利分校電子工程和計算機科學教授,伯克利機器人學習實驗室主任和伯克利AI研究實驗室聯合主任。
本課程將涵蓋深度學習中不需要標注數據的兩個領域:深度生成模型和自監督學習。生成模型的最新進展使得對自然圖像、音頻波形和文本語料庫等高維原始數據進行真實建模成為可能。自監督學習的進步已經開始縮小監督表示學習和非監督表示學習之間的差距,本課程將涵蓋這些主題的理論基礎以及它們的新應用。
編寫機器人程序仍然是出了名的困難。讓機器人具備學習的能力,就可以繞過那些通常需要耗費大量時間來完成特定任務的編程工作。這個演講將描述最近在深度強化學習(機器人通過自己的嘗試和錯誤學習)、學徒學習(機器人通過觀察人學習)和元學習(機器人學習學習)方面的進展。這項工作使機器人在操作、移動和飛行方面有了新的能力,這些領域的進步都是基于相同的方法。
主題: Meta-Learning: from Few-Shot Learning to Rapid Reinforcement Learning
摘要: 近年來,在數據豐富的領域,諸如深度神經網絡等高容量模型已經使機器學習技術變得非常強大。然而,數據稀缺的領域已被證明具有挑戰性的這種方法,因為高容量函數逼近嚴重依賴于大數據集的泛化。這可能對從有監督的醫學圖像處理到強化學習等領域構成重大挑戰,在這些領域,真實世界的數據收集(如機器人)構成重大的后勤挑戰。元學習或少鏡頭學習為這個問題提供了一個潛在的解決方案:通過學習從許多以前的任務中跨數據學習,很少鏡頭元學習算法能夠發現任務之間的結構,從而實現新任務的快速學習。本教程的目的是為元學習提供一個統一的視角:向觀眾講授現代方法,描述圍繞這些技術的概念和理論原則,介紹這些方法以前的應用領域,并討論了該地區存在的基本問題和挑戰。我們希望本教程對那些在其他領域有專長的機器學習研究人員都有用,同時也為元學習研究人員提供了一個新的視角。總而言之,我們的目標是為受眾成員提供將元學習應用到他們自己的應用中的能力,并開發新的元學習算法和理論分析,這些驅動是由現有工作的挑戰和局限所驅動的。我們將提供一個統一的視角,說明各種元學習算法如何能夠從小數據集中學習,概述元學習能夠而且不容易應用的應用,并討論這一子領域的突出挑戰和前沿。
邀請嘉賓: Chelsea Finn是Google Brain的研究科學家,也是加州大學伯克利分校的博士后學者。2019年9月,她將以助理教授的身份加入斯坦福大學計算機科學系。芬恩的研究興趣在于通過學習和互動,使機器人和其他智能體發展出廣泛的智能行為。為此,芬恩開發了深度學習算法,用于同時學習機器人操作技能中的視覺感知和控制,用于可伸縮獲取非線性回報函數的逆強化方法,以及能夠快速實現的元學習算法,在視覺感知和深度強化學習中,很少有鏡頭適應。芬恩在麻省理工學院獲得了EECS學士學位,在加州大學伯克利分校獲得了CS博士學位。她的研究成果已通過NSF研究生獎學金、Facebook獎學金、C.V.Ramamoorthy杰出研究獎和麻省理工35歲以下技術評論獎獲得認可,她的研究成果已被包括《紐約時報》、《連線》和彭博社在內的多家媒體報道。
Sergey Levine 2009年獲得斯坦福大學計算機科學學士和碩士學位,2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋季加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習,重點是深度學習和強化學習算法。他的工作包括自主機器人和車輛,以及計算機視覺和圖形。他的研究工作包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法、反向強化學習的可擴展算法、深度強化學習算法等。