【導讀】本文為大家帶來了一份斯坦福大學的最新課程CS330——深度多任務和元學習，主講人是斯坦福大學Chelsea Finn，她是斯坦福大學計算機科學與電氣工程系的助理教授，元學習大牛。
她的博士論文——基于梯度的元學習（Learning to Learn with Gradients）很值得一讀，該論文系統性地闡述了Meta Learning以及她提出的MAML的方法和相關改進。作者從Meta Learning問題出發，然后提出了MAML理論，再進行一系列基于該理論的應用嘗試。
盡管深度學習在圖像分類、語音識別和游戲等有監督和強化學習問題上取得了顯著的成功，但這些模型在很大程度上是專門用于訓練它們的單一任務的。本課程將涵蓋需要解決多個任務的環境，并研究如何利用多個任務產生的結構來更有效地學習。
介紹
盡管深度學習在圖像分類、語音識別和游戲等有監督和強化學習問題上取得了顯著的成功，但這些模型在很大程度上是專門用于訓練它們的單一任務的。本課程將涵蓋需要解決多個任務的環境，并研究如何利用多個任務產生的結構來更有效地學習。
**這包括: ** 以目標為條件的強化學習技術，它利用所提供的目標空間的結構來快速地學習多個任務; 元學習方法旨在學習可以快速學習新任務的高效學習算法; 課程和終身學習，其中問題需要學習一系列任務，并利用它們的共享結構來實現知識轉移。
這是一門研究生水平的課程。在課程結束時，學生將能夠理解和實施最先進的多任務學習和元學習算法，并準備對這些主題進行研究。
課程鏈接： //cs330.stanford.edu/
課程安排
課程安排
01: 課程介紹，問題定義，應用（Course introduction, problem definitions, applications） 02：有監督的多任務學習，黑盒元學習(Supervised multi-task learning, black-box meta-learning) 03：TensorFlow教程(TensorFlow tutorial) 04：基于優化的元學習(Optimization-based meta-learning) 05：通過度量學習進行少量學習(Few-shot learning via metric learning) 06：貝葉斯元學習(Bayesian meta-learning) 07：強化學習入門，多任務RL，目標條件RL(Renforcement learning primer, multi-task RL, goal-conditioned RL) 08：Meta-RL，學習探索(Meta-RL, learning to explore) 09：用于多任務學習的基于模型的RL，基于元模型的RL(Model-based RL for multi-task learning, meta model-based RL) 10：終身學習：問題陳述，前后遷移(Lifelong learning: problem statement, forward & backward transfer) 11：前沿: 記憶，無監督元學習，開放性問題(Frontiers: Memorization, unsupervised meta-learning, open problems)
付費5元查看完整內容
相關內容
斯坦福大學的CS 330課程Deep Multi-Task and Meta Learning（深度多任務學習與元學習）正在進行中，官方網站中部分Notes已放出。
雖然深度學習在有監督學習和強化學習問題（如圖像分類、語音識別、游戲等）中獲得了卓越的成果，這些模型在很大程度上都是針對單向任務來進行訓練的。斯坦福大學的CS 330課程Deep Multi-Task and Meta Learning將會覆蓋需要解決多項任務的場景，學習如何有效和高效地利用多任務模型。
付費5元查看完整內容
深度強化學習
·
Deep Reinforcement Learning via Policy Optimization
付費5元查看完整內容
本文為大家帶來了一份斯坦福大學的最新課程CS234——強化學習，主講人是斯坦福大學Emma Brunskill，她是斯坦福大學計算機科學助理教授，任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組，主要研究強化學習。要實現人工智能的夢想和影響，需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例，它與大量的任務相關，包括機器人、游戲、消費者建模和醫療保健。本課程通過講課、書面作業和編碼作業的結合，學生將精通強化學習的關鍵思想和技術。
1.課程介紹(Description)
要實現人工智能的夢想和影響，需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例，它與大量的任務相關，包括機器人、游戲、消費者建模和醫療保健。本課程將為強化學習領域提供扎實的介紹，學生將學習包括通用化和探索在內的核心挑戰和方法。通過講課、書面作業和編碼作業的結合，學生將精通強化學習的關鍵思想和技術。作業將包括強化學習和深度強化學習的基礎，這是一個極有前途的新領域，將深度學習技術與強化學習相結合。此外，學生將通過期末專題來增進對強化學習領域的理解。
課程地址：
//web.stanford.edu/class/cs234/schedule.html
2.預備知識(Prerequisites)
1）熟練Python
所有的課程都將使用Python(使用numpy和Tensorflow，也可以使用Keras)。這里有一個針對那些不太熟悉Python的人的教程。如果你有很多使用不同語言(如C/ c++ / Matlab/ Javascript)的編程經驗，可能會很好。
2）大學微積分，線性代數(如 MATH 51, CME 100)
你應該能夠熟練地進行(多變量)求導，理解矩陣/向量符號和運算。
3）基本概率及統計(例如CS 109 或同等課程)
你應該了解基本的概率，高斯分布，均值，標準差等。
4）機器學習基礎
我們將闡述成本函數，求導數，用梯度下降法進行優化。CS 221或CS 229均可涵蓋此背景。使用一些凸優化知識，一些優化技巧將更加直觀。
3.主講：Emma Brunskill
Emma Brunskill是斯坦福大學計算機科學助理教授，任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組。
主要研究強化學習系統，以幫助人們更好地生活。并處理一些關鍵技術。最近的研究重點包括：1）有效強化學習的基礎。一個關鍵的挑戰是要了解代理商如何平衡勘探與開發之間的局限性。2）如果要進行順序決策，該怎么辦。利用巨大數量的數據來改善在醫療保健，教育，維護和許多其他應用程序中做出的決策，這是一個巨大的機會。這樣做需要假設/反事實推理，以便在做出不同決定時對潛在結果進行推理。3）人在回路系統。人工智能具有極大地擴大人類智能和效率的潛力。我們正在開發一個系統，用其他眾包商（CHI 2016）生產的（機器）固化材料對眾包商進行訓練，并確定何時擴展系統規格以包括新內容（AAAI 2017）或傳感器。我們也有興趣研究確保機器學習系統在人類用戶的意圖方面表現良好（Arxiv 2017），也被稱為安全和公平的機器學習。
個人主頁：
4.課程安排
01: 強化學習導論(Introduction to Reinforcement Learning)
02: 表格MDP規劃(Tabular MDP planning)
03: 表格RL政策評估(Tabular RL policy evaluation)
04: Q-learning
05: 帶函數逼近的強化學習(RL with function approximation)
06: 帶函數逼近的強化學習(RL with function approximation)
07: 帶函數逼近的強化學習(RL with function approximation)
08: 從馬爾可夫決策過程到強化學習(Policy search)
09: 從馬爾可夫決策過程到強化學習(Policy search)
10: 課堂中期(In-class Midterm)
11: 模仿學習/探索(Imitation learning/Exploration)
12: 探索/開發(Exploration/Exploitation)
13: 探索/開發(Exploration/Exploitation)
14: 批處理強化學習(Batch Reinforcement Learning)
15: 嘉賓講座:Craig Boutilier(Guest Lecture: Craig Boutilier)
16: 課堂測驗(In-class Quiz)
17: 蒙特卡洛樹搜索算法(Monte Carlo Tree Search)
18: 墻報展示(Poster presentations)
付費5元查看完整內容
簡介： 強大的機器學習技術在數據豐富的領域成為可能。然而，數據稀缺的領域對這類方法具有挑戰性，因為高容量函數逼近器非常依賴大型數據集進行泛化。這可能對從監督醫學圖像處理到增強學習等領域構成重大挑戰，在這些領域中，真實世界的數據收集(例如機器人)構成了重大的后勤挑戰。元學習或小樣本學習為這一問題提供了一個潛在的解決方案:通過學習跨許多以前任務的數據學習，小樣本元學習算法可以發現任務之間的結構，從而使新任務的快速學習成為可能。
本教程的目的是提供一個統一的元學習視角:向讀者講授現代方法，描述圍繞這些技術的概念和理論原則，介紹這些方法以前在哪里被應用，并討論該領域內的基本開放問題和挑戰。我們希望本教程對其他領域的機器學習研究人員有用，同時也為元學習研究人員提供了一個新的視角。總而言之，我們的目標是讓觀眾能夠將元學習應用到他們自己的應用中，并開發新的元學習算法和理論分析，以應對當前的挑戰和現有工作的局限性。
視頻地址：
Part1 //www.facebook.com/icml.imls/videos/4006/
Part2
主講人介紹：
Chelsea Finn是Google Brain的研究科學家，也是加州大學伯克利分校的博士后。在2019年9月，她將加入斯坦福大學的計算機科學系擔任助理教授。 Finn的研究興趣在于使機器人和其他代理能夠通過學習和交互來發展廣泛的智能行為的能力。為此，芬恩開發了深度學習算法，用于同時學習機器人操縱技能中的視覺感知和控制，用于非線性獎勵函數的可伸縮獲取的逆強化方法以及可以在兩個視覺系統中實現快速，少拍適應的元學習算法感知和深度強化學習。 Finn在麻省理工學院獲得EECS的學士學位，并在加州大學伯克利分校獲得CS的博士學位。她的研究得到了NSF研究生獎學金，Facebook獎學金C.V.的認可。她獲得了Ramamoorthy杰出研究獎和《麻省理工學院技術評論35分35獎》，她的工作已被《紐約時報》，《連線》和彭博社等多家媒體報道。
Sergey Levine于2009年獲得斯坦福大學計算機科學學士學位和碩士學位，并獲得博士學位。 2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋天加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習，重點是深度學習和強化學習。他的工作應用包括自動駕駛機器人和車輛，以及計算機視覺和圖形。 他的研究包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法，用于逆向強化學習的可擴展算法，深度強化學習算法等。 在許多受歡迎的媒體中，包括紐約時報，BBC，麻省理工學院技術評論和彭博社，他的作品都得到了報道。
付費5元查看完整內容
編寫機器人程序仍然是出了名的困難。讓機器人具備學習的能力，就可以繞過那些通常需要耗費大量時間來完成特定任務的編程工作。這個演講將描述最近在深度強化學習(機器人通過自己的嘗試和錯誤學習)、學徒學習(機器人通過觀察人學習)和元學習(機器人學習學習)方面的進展。這項工作使機器人在操作、移動和飛行方面有了新的能力，這些領域的進步都是基于相同的方法。
付費5元查看完整內容
主題： Meta-Learning: from Few-Shot Learning to Rapid Reinforcement Learning
摘要： 近年來，在數據豐富的領域，諸如深度神經網絡等高容量模型已經使機器學習技術變得非常強大。然而，數據稀缺的領域已被證明具有挑戰性的這種方法，因為高容量函數逼近嚴重依賴于大數據集的泛化。這可能對從有監督的醫學圖像處理到強化學習等領域構成重大挑戰，在這些領域，真實世界的數據收集（如機器人）構成重大的后勤挑戰。元學習或少鏡頭學習為這個問題提供了一個潛在的解決方案：通過學習從許多以前的任務中跨數據學習，很少鏡頭元學習算法能夠發現任務之間的結構，從而實現新任務的快速學習。本教程的目的是為元學習提供一個統一的視角：向觀眾講授現代方法，描述圍繞這些技術的概念和理論原則，介紹這些方法以前的應用領域，并討論了該地區存在的基本問題和挑戰。我們希望本教程對那些在其他領域有專長的機器學習研究人員都有用，同時也為元學習研究人員提供了一個新的視角。總而言之，我們的目標是為受眾成員提供將元學習應用到他們自己的應用中的能力，并開發新的元學習算法和理論分析，這些驅動是由現有工作的挑戰和局限所驅動的。我們將提供一個統一的視角，說明各種元學習算法如何能夠從小數據集中學習，概述元學習能夠而且不容易應用的應用，并討論這一子領域的突出挑戰和前沿。
邀請嘉賓： Chelsea Finn是Google Brain的研究科學家，也是加州大學伯克利分校的博士后學者。2019年9月，她將以助理教授的身份加入斯坦福大學計算機科學系。芬恩的研究興趣在于通過學習和互動，使機器人和其他智能體發展出廣泛的智能行為。為此，芬恩開發了深度學習算法，用于同時學習機器人操作技能中的視覺感知和控制，用于可伸縮獲取非線性回報函數的逆強化方法，以及能夠快速實現的元學習算法，在視覺感知和深度強化學習中，很少有鏡頭適應。芬恩在麻省理工學院獲得了EECS學士學位，在加州大學伯克利分校獲得了CS博士學位。她的研究成果已通過NSF研究生獎學金、Facebook獎學金、C.V.Ramamoorthy杰出研究獎和麻省理工35歲以下技術評論獎獲得認可，她的研究成果已被包括《紐約時報》、《連線》和彭博社在內的多家媒體報道。
Sergey Levine 2009年獲得斯坦福大學計算機科學學士和碩士學位，2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋季加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習，重點是深度學習和強化學習算法。他的工作包括自主機器人和車輛，以及計算機視覺和圖形。他的研究工作包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法、反向強化學習的可擴展算法、深度強化學習算法等。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191