題目： Multimodal Model Agnostic Meta-Learning via Task-Aware Modulation
簡介：
模型不可知元學習者的目標是從相似的任務中獲取元學習參數，以適應分布相同但梯度更新較少的新任務。由于模型選擇的靈活性，這些框架在諸如少鏡頭圖像分類和增強學習等多個領域表現出了良好的性能。然而，此類框架的一個重要限制是，它們尋求在整個任務分布中共享的公共初始化，這極大地限制了它們能夠學習的任務分布的多樣性。在本文中，我們增強了MAML的能力，以識別從多模式任務分布中采樣的任務模式，并通過梯度更新快速適應。具體來說，我們提出了一個多模態MAML框架，該框架能夠根據所識別的模式調整其元學習先驗參數，從而實現更高效的快速適應。我們在一組不同的少鏡頭學習任務上對所提出的模型進行評估，包括回歸、圖像分類和強化學習。結果不僅證明了我們的模型在調整元學習先驗以響應任務特征方面的有效性，而且表明了多模態分布的訓練比單模態訓練有更好的效果。
邀請嘉賓：
Risto Vuorio是密歇根大學Satinder Singh實驗室的訪問學者，致力于深度強化學習和終身學習，對開發新的增強學習算法并將其應用于新問題很感興趣。
Shao-Hua Sun是南加利福尼亞大學(USC)計算機科學專業的三年級博士生，與Joseph J. Lim教授一起在視覺與機器人認知學習實驗室(CLVR)擔任Annenberg研究員。在加入USC之前，在國立臺灣大學(NTU)電子工程系獲得學士學位。研究興趣橫跨深度學習、計算機視覺、強化學習、元學習、機器人學習等領域。
付費5元查看完整內容
相關內容
元學習
·
本文綜述了元學習在圖像分類、自然語言處理和機器人技術等領域的應用。與深度學習不同，元學習使用較少的樣本數據集，并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類: 黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合，以提供可行的集成問題解決方案。介紹了元學習方法的性能比較，并討論了今后的研究方向。
付費5元查看完整內容
題目：* Meta-Learning without Memorization
摘要：
元學習已經成為一種很有前途的技術，它可以利用以前任務中的數據來高效地學習新任務。然而，大多數元學習算法都隱含地要求元訓練任務是互斥的，這樣就沒有一個模型可以同時解決所有的任務。例如，在為少鏡頭圖像分類創建任務時，先前的工作使用每個任務隨機分配圖像類到N-way分類標簽。如果不這樣做，元學習者可以忽略任務訓練數據，學習一個模型來執行所有的元訓練任務，但不能有效地適應新的圖像類。這個需求意味著用戶在設計任務時必須非常小心，例如通過打亂標簽或從輸入中刪除任務標識信息。在某些領域，這使得元學習完全不適用。在這篇論文中，我們通過使用信息論設計一個元正則化目標來解決這一挑戰，信息論優先考慮數據驅動的適應。這導致元學習者決定必須從任務訓練數據中學習什么，以及應該從任務測試輸入中推斷什么。通過這樣做，我們的算法可以成功地使用來自非互斥任務的數據來有效地適應新的任務。我們證明了它對上下文和基于梯度的元學習算法的適用性，并將其應用于實際環境中，在那里應用標準的元學習是困難的。在這些設置中，我們的方法大大優于標準的元學習算法。
作者簡介：
Mingzhang Yin是得克薩斯大學奧斯汀分校統計與數據科學系的博士生。Mingzhang Yin對貝葉斯統計和機器學習非常感興趣，研究范圍是近似貝葉斯推理、因果推論、信息論和理論統計學、元學習、生物醫學和醫療。
Mingyuan Zhou是得克薩斯大學奧斯汀分校的副教授，在麥庫姆斯商學院信息、風險和運營管理(IROM)部門的統計組工作，也是自然科學學院統計與數據科學系的核心教員。于2013年獲得杜克大學博士學位，2008年獲得中國科學院碩士學位，2005年獲得南京大學理學學士學位。研究范圍是貝葉斯統計和機器學習的交叉領域，對統計理論與方法、層次模型、貝葉斯非參數、大數據統計推理、深度學習感興趣，目前專注于用深度學習推進統計推斷和用概率方法推進深度學習。
付費5元查看完整內容
報告簡介： 深度強化學習與元學習是當前研究熱點。加州大學UC Berkeley Pieter Abbeel教授最新在卡內基梅隆大學CMU中做了演講關于深度強化學習在機器人的應用，《Deep Learning to learn》，是了解深度學習在機器人應用研究進展的很好報告。
嘉賓介紹： Pieter Abbeel，加州大學伯克利分校教授、機器人學習實驗室主任，伯克利人工智能研究(BAIR)實驗室聯合主任。Pieter Abbeel是機器人和強化學習領域的大牛。Pieter Abbeel 2008年從斯坦福大學獲得博士學位，師從百度前首席科學家 Andrew Ng（吳恩達），畢業后在UC Berkeley任教。Pieter Abbeel還是兩家AI公司的創始人，Gradescope和covariant.ai。Gradescope開發為家庭作業、課題研究、試卷等打分的AI系統；covariant.ai開發機器人自動化的AI系統，在制造/倉儲/電子商務/物流等領域應用。 Pieter Abbeel 的研究重點特別集中于如何讓機器人向人類學習（學徒學習），如何讓機器人通過自己的試錯過程學習(強化學習)，以及如何通過從learning-to-learn(元學習)過程中加快技能獲取。他開發的機器人已經學會了先進的直升機特技飛行、打結、基本裝配、疊衣服、移動、以及基于視覺的機器人操作。
下載鏈接： 鏈接：//pan.baidu.com/s/1aFOE18rk-icczXBYJERWow 提取碼：8ixa
付費5元查看完整內容
論文題目： Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation
摘要： 模型無關元學習的目標是從相似的任務中獲取元學習參數，以適應分布相同但梯度更新較少的新任務。由于模型選擇的靈活性，這些框架在諸如小樣本圖像分類和增強學習等多個領域表現出了良好的性能。然而，此類框架的一個重要限制是，它們尋求在整個任務分布中共享的公共初始化，這極大地限制了它們能夠學習的任務分布的多樣性。在本文中，我們增強了MAML的能力，以識別從多模式任務分布中采樣的任務模式，并通過梯度更新快速適應。具體來說，我們提出了一個多模態MAML (MMAML)框架，該框架能夠根據所識別的模式調整其元學習先驗參數，從而實現更高效的快速適應。我們在一組不同的小樣本學習任務上對所提出的模型進行評估，包括回歸、圖像分類和強化學習。結果不僅證明了我們的模型在調整元學習先驗以響應任務特征方面的有效性，而且表明了多模態分布的訓練比單模態訓練有更好的效果。
論文作者： Risto Vuorio, Shao-Hua Sun, Hexiang Hu, Joseph J. Lim
付費5元查看完整內容
簡介： 強大的機器學習技術在數據豐富的領域成為可能。然而，數據稀缺的領域對這類方法具有挑戰性，因為高容量函數逼近器非常依賴大型數據集進行泛化。這可能對從監督醫學圖像處理到增強學習等領域構成重大挑戰，在這些領域中，真實世界的數據收集(例如機器人)構成了重大的后勤挑戰。元學習或小樣本學習為這一問題提供了一個潛在的解決方案:通過學習跨許多以前任務的數據學習，小樣本元學習算法可以發現任務之間的結構，從而使新任務的快速學習成為可能。
本教程的目的是提供一個統一的元學習視角:向讀者講授現代方法，描述圍繞這些技術的概念和理論原則，介紹這些方法以前在哪里被應用，并討論該領域內的基本開放問題和挑戰。我們希望本教程對其他領域的機器學習研究人員有用，同時也為元學習研究人員提供了一個新的視角。總而言之，我們的目標是讓觀眾能夠將元學習應用到他們自己的應用中，并開發新的元學習算法和理論分析，以應對當前的挑戰和現有工作的局限性。
視頻地址：
Part1 //www.facebook.com/icml.imls/videos/4006/
Part2
主講人介紹：
Chelsea Finn是Google Brain的研究科學家，也是加州大學伯克利分校的博士后。在2019年9月，她將加入斯坦福大學的計算機科學系擔任助理教授。 Finn的研究興趣在于使機器人和其他代理能夠通過學習和交互來發展廣泛的智能行為的能力。為此，芬恩開發了深度學習算法，用于同時學習機器人操縱技能中的視覺感知和控制，用于非線性獎勵函數的可伸縮獲取的逆強化方法以及可以在兩個視覺系統中實現快速，少拍適應的元學習算法感知和深度強化學習。 Finn在麻省理工學院獲得EECS的學士學位，并在加州大學伯克利分校獲得CS的博士學位。她的研究得到了NSF研究生獎學金，Facebook獎學金C.V.的認可。她獲得了Ramamoorthy杰出研究獎和《麻省理工學院技術評論35分35獎》，她的工作已被《紐約時報》，《連線》和彭博社等多家媒體報道。
Sergey Levine于2009年獲得斯坦福大學計算機科學學士學位和碩士學位，并獲得博士學位。 2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋天加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習，重點是深度學習和強化學習。他的工作應用包括自動駕駛機器人和車輛，以及計算機視覺和圖形。 他的研究包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法，用于逆向強化學習的可擴展算法，深度強化學習算法等。 在許多受歡迎的媒體中，包括紐約時報，BBC，麻省理工學院技術評論和彭博社，他的作品都得到了報道。
付費5元查看完整內容
Model-agnostic meta-learners aim to acquire meta-learned parameters from similar tasks to adapt to novel tasks from the same distribution with few gradient updates. With the flexibility in the choice of models, those frameworks demonstrate appealing performance on a variety of domains such as few-shot image classification and reinforcement learning. However, one important limitation of such frameworks is that they seek a common initialization shared across the entire task distribution, substantially limiting the diversity of the task distributions that they are able to learn from. In this paper, we augment MAML with the capability to identify the mode of tasks sampled from a multimodal task distribution and adapt quickly through gradient updates. Specifically, we propose a multimodal MAML (MMAML) framework, which is able to modulate its meta-learned prior parameters according to the identified mode, allowing more efficient fast adaptation. We evaluate the proposed model on a diverse set of few-shot learning tasks, including regression, image classification, and reinforcement learning. The results not only demonstrate the effectiveness of our model in modulating the meta-learned prior in response to the characteristics of tasks but also show that training on a multimodal distribution can produce an improvement over unimodal training.
簡介： 該研討會的主要目標是雙重的。 首先是對可視化問答和可視對話的進度進行基準測試。本次研討會的第二個目標是將對可視化問答，對話系統和語言感興趣的研究人員聚集在一起，以共享最新技術和未來方向。 除了邀請知名研究人員發表演講包括：視覺問題解答，視覺對話，（文字）問題解答，（文字）對話系統，常識性知識， 視覺+語言等。
部分嘉賓介紹： Christopher Manning，SAIL 新任負責人，Christopher Manning于1989年在澳大利亞國立大學取得三個學士學位（數學、計算機和語言學），并于 1994 年獲得斯坦福大學語言學博士學位。 他曾先后在卡內基梅隆大學、悉尼大學等任教，1999 年回到母校斯坦福，就職于計算機科學和語言學系，是斯坦福自然語言處理組（Stanford NLP Group）的創始成員及負責人。重返斯坦福之后，他一待就是 19 年。 Manning 的研究目標是以智能的方式實現人類語言的處理、理解及生成，研究領域包括樹形 RNN 、情感分析、基于神經網絡的依存句法分析、神經機器翻譯和深度語言理解等，是一位 NLP 領域的深度學習開拓者。他是國際計算機學會 (ACM)、國際人工智協會（AAAI）、國際計算語言學會（ACL）等國際權威學術組織的 Fellow，曾獲 ACL、EMNLP、COLING、CHI 等國際頂會最佳論文獎，著有《統計自然語言處理基礎》、《信息檢索導論》等自然語言處理著名教材。
Karl Moritz Hermann，DeepMind的研究科學家。 在此之前，曾擔任過Dark Blue Labs的首席執行官。 在進入行業之前，是牛津大學CLG的計算語言學和機器學習的博士后研究員，并在Stephen Pulman和Phil Blunsom的指導下完成了DPhil。 研究方向是ML和CL、 自然語言理解，并且正在嘗試通過對基礎語言習得的研究來在這一領域取得進展。
付費5元查看完整內容
主題： Meta-Learning: from Few-Shot Learning to Rapid Reinforcement Learning
摘要： 近年來，在數據豐富的領域，諸如深度神經網絡等高容量模型已經使機器學習技術變得非常強大。然而，數據稀缺的領域已被證明具有挑戰性的這種方法，因為高容量函數逼近嚴重依賴于大數據集的泛化。這可能對從有監督的醫學圖像處理到強化學習等領域構成重大挑戰，在這些領域，真實世界的數據收集（如機器人）構成重大的后勤挑戰。元學習或少鏡頭學習為這個問題提供了一個潛在的解決方案：通過學習從許多以前的任務中跨數據學習，很少鏡頭元學習算法能夠發現任務之間的結構，從而實現新任務的快速學習。本教程的目的是為元學習提供一個統一的視角：向觀眾講授現代方法，描述圍繞這些技術的概念和理論原則，介紹這些方法以前的應用領域，并討論了該地區存在的基本問題和挑戰。我們希望本教程對那些在其他領域有專長的機器學習研究人員都有用，同時也為元學習研究人員提供了一個新的視角。總而言之，我們的目標是為受眾成員提供將元學習應用到他們自己的應用中的能力，并開發新的元學習算法和理論分析，這些驅動是由現有工作的挑戰和局限所驅動的。我們將提供一個統一的視角，說明各種元學習算法如何能夠從小數據集中學習，概述元學習能夠而且不容易應用的應用，并討論這一子領域的突出挑戰和前沿。
邀請嘉賓： Chelsea Finn是Google Brain的研究科學家，也是加州大學伯克利分校的博士后學者。2019年9月，她將以助理教授的身份加入斯坦福大學計算機科學系。芬恩的研究興趣在于通過學習和互動，使機器人和其他智能體發展出廣泛的智能行為。為此，芬恩開發了深度學習算法，用于同時學習機器人操作技能中的視覺感知和控制，用于可伸縮獲取非線性回報函數的逆強化方法，以及能夠快速實現的元學習算法，在視覺感知和深度強化學習中，很少有鏡頭適應。芬恩在麻省理工學院獲得了EECS學士學位，在加州大學伯克利分校獲得了CS博士學位。她的研究成果已通過NSF研究生獎學金、Facebook獎學金、C.V.Ramamoorthy杰出研究獎和麻省理工35歲以下技術評論獎獲得認可，她的研究成果已被包括《紐約時報》、《連線》和彭博社在內的多家媒體報道。
Sergey Levine 2009年獲得斯坦福大學計算機科學學士和碩士學位，2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋季加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習，重點是深度學習和強化學習算法。他的工作包括自主機器人和車輛，以及計算機視覺和圖形。他的研究工作包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法、反向強化學習的可擴展算法、深度強化學習算法等。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191