報告主題: Better Model-based RL through Meta RL
報告簡介: Meta RL(Meta Reinforcement Learning)是Meta Learning應用到Reinforcement Learning的一個研究方向,核心的想法就是希望AI在學習大量的RL任務中獲取足夠的先驗知識Prior Knowledge然后在面對新的RL任務時能夠 學的更快,學的更好,能夠自適應新環境,本教程主要從強化學習的基礎,基于模型的元強化學習,以及如何加快元強化學習訓練速度三方面展開。
嘉賓介紹: Pieter Abbeel是加州大學伯克利分校電子工程和計算機科學教授,伯克利機器人學習實驗室主任和伯克利AI研究實驗室聯合主任。
主題: Model-Based Reinforcement Learning:Theory and Practice
摘要: 強化學習系統可以通過兩種方式之一做出決策。在基于模型的方法中,系統使用世界的預測模型來提問“如果我做x會發生什么?”?“選擇最好的x1。在另一種無模型方法中,建模步驟被完全忽略,有利于直接學習控制策略。盡管在實踐中,這兩種技術之間的界限可能變得模糊,但作為一種粗略的指導,它對于劃分算法可能性的空間是有用的。
嘉賓簡介: Michael Janner,伯克利人工智能研究實驗室的一名博士生。
編寫機器人程序仍然是出了名的困難。讓機器人具備學習的能力,就可以繞過那些通常需要耗費大量時間來完成特定任務的編程工作。這個演講將描述最近在深度強化學習(機器人通過自己的嘗試和錯誤學習)、學徒學習(機器人通過觀察人學習)和元學習(機器人學習學習)方面的進展。這項工作使機器人在操作、移動和飛行方面有了新的能力,這些領域的進步都是基于相同的方法。
主題: Meta-Learning: from Few-Shot Learning to Rapid Reinforcement Learning
摘要: 近年來,在數據豐富的領域,諸如深度神經網絡等高容量模型已經使機器學習技術變得非常強大。然而,數據稀缺的領域已被證明具有挑戰性的這種方法,因為高容量函數逼近嚴重依賴于大數據集的泛化。這可能對從有監督的醫學圖像處理到強化學習等領域構成重大挑戰,在這些領域,真實世界的數據收集(如機器人)構成重大的后勤挑戰。元學習或少鏡頭學習為這個問題提供了一個潛在的解決方案:通過學習從許多以前的任務中跨數據學習,很少鏡頭元學習算法能夠發現任務之間的結構,從而實現新任務的快速學習。本教程的目的是為元學習提供一個統一的視角:向觀眾講授現代方法,描述圍繞這些技術的概念和理論原則,介紹這些方法以前的應用領域,并討論了該地區存在的基本問題和挑戰。我們希望本教程對那些在其他領域有專長的機器學習研究人員都有用,同時也為元學習研究人員提供了一個新的視角。總而言之,我們的目標是為受眾成員提供將元學習應用到他們自己的應用中的能力,并開發新的元學習算法和理論分析,這些驅動是由現有工作的挑戰和局限所驅動的。我們將提供一個統一的視角,說明各種元學習算法如何能夠從小數據集中學習,概述元學習能夠而且不容易應用的應用,并討論這一子領域的突出挑戰和前沿。
邀請嘉賓: Chelsea Finn是Google Brain的研究科學家,也是加州大學伯克利分校的博士后學者。2019年9月,她將以助理教授的身份加入斯坦福大學計算機科學系。芬恩的研究興趣在于通過學習和互動,使機器人和其他智能體發展出廣泛的智能行為。為此,芬恩開發了深度學習算法,用于同時學習機器人操作技能中的視覺感知和控制,用于可伸縮獲取非線性回報函數的逆強化方法,以及能夠快速實現的元學習算法,在視覺感知和深度強化學習中,很少有鏡頭適應。芬恩在麻省理工學院獲得了EECS學士學位,在加州大學伯克利分校獲得了CS博士學位。她的研究成果已通過NSF研究生獎學金、Facebook獎學金、C.V.Ramamoorthy杰出研究獎和麻省理工35歲以下技術評論獎獲得認可,她的研究成果已被包括《紐約時報》、《連線》和彭博社在內的多家媒體報道。
Sergey Levine 2009年獲得斯坦福大學計算機科學學士和碩士學位,2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋季加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習,重點是深度學習和強化學習算法。他的工作包括自主機器人和車輛,以及計算機視覺和圖形。他的研究工作包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法、反向強化學習的可擴展算法、深度強化學習算法等。