亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Meta-Learning in Neural Networks: A Survey

簡介： 近年來，元學習領域的興趣急劇上升。與使用固定學習算法從頭解決給定任務的傳統AI方法相反，元學習旨在根據多次學習事件的經驗來改善學習算法本身。這種范例為解決深度學習的許多傳統挑戰提供了機會，包括數據和計算瓶頸以及泛化的基本問題。在本次調查中，我們描述了當代的元學習環境。我們首先討論元學習的定義，并將其相對于相關領域（例如轉移學習，多任務學習和超參數優化）進行定位。然后，我們提出了一種新的分類法，該分類法為當今的元學習方法提供了更為全面的細分。我們調查了元學習的有希望的應用程序和成功案例，包括，強化學習和架構搜索。最后，我們討論了未來研究的突出挑戰和有希望的領域。

主題： On-the-Fly Adaptation of Source Code Models using Meta-Learning

摘要：

適應看不見的本地環境的能力是成功的源代碼模型必須克服的重要挑戰。動態模型評估是適應此類模型的最流行方法之一。通過動態評估，當在看不見的文件上運行模型時，在觀察到文件中的每個標記后立即更新模型。在本工作中，我們建議將上下文適應問題構造為元學習問題。我們的目標是訓練最能從文件中的信息中學習的基本源代碼模型，以提供丟失令牌的改進預測。與動態評估不同，此公式允許我們選擇更多針對性的信息（支持令牌）進行調整，即在文件中的目標孔之前和之后。我們考慮一種稱為調用級維護的評估設置，該設置旨在反映IDE中代碼自動完成的下游任務。利用一階MAML和Reptile等元學習的最新發展，我們證明了與大規模的Java GitHub語料庫相比，包括動態評估在內的其他適應性基準，改進了性能實驗。此外，我們的分析表明，與非自適應基準相比，我們的方法將標識符和文字的性能分別提高了44％和15％。

元學習利用相關的源任務來學習初始化，可以通過有限的標記示例將初始化快速調整到目標任務。然而，許多流行的元學習算法，如模型無關元學習(MAML)，都只假設可以訪問目標樣本進行微調。在這項工作中，我們提供了一個通用的元學習框架，該框架基于對不同源任務的損失進行加權，其中的權重允許依賴于目標樣本。在這個一般的設置中，我們提供了基于積分概率度量(IPM)和Rademacher復雜性的源任務加權經驗風險和預期目標風險之間距離的上限，該上限適用于包括MAML和加權MAML變體在內的許多元學習設置。然后開發一個基于最小化誤差學習算法對實證IPM,包括α-MAML加權MAML算法。最后，我們實證地證明了我們的加權元學習算法能夠比單加權元學習算法(如MAML)找到更好的初始化。

元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。

地址:

//arxiv.org/abs/1812.02391

代碼：

題目：* Meta-Learning without Memorization

摘要：

元學習已經成為一種很有前途的技術，它可以利用以前任務中的數據來高效地學習新任務。然而，大多數元學習算法都隱含地要求元訓練任務是互斥的，這樣就沒有一個模型可以同時解決所有的任務。例如，在為少鏡頭圖像分類創建任務時，先前的工作使用每個任務隨機分配圖像類到N-way分類標簽。如果不這樣做，元學習者可以忽略任務訓練數據，學習一個模型來執行所有的元訓練任務，但不能有效地適應新的圖像類。這個需求意味著用戶在設計任務時必須非常小心，例如通過打亂標簽或從輸入中刪除任務標識信息。在某些領域，這使得元學習完全不適用。在這篇論文中，我們通過使用信息論設計一個元正則化目標來解決這一挑戰，信息論優先考慮數據驅動的適應。這導致元學習者決定必須從任務訓練數據中學習什么，以及應該從任務測試輸入中推斷什么。通過這樣做，我們的算法可以成功地使用來自非互斥任務的數據來有效地適應新的任務。我們證明了它對上下文和基于梯度的元學習算法的適用性，并將其應用于實際環境中，在那里應用標準的元學習是困難的。在這些設置中，我們的方法大大優于標準的元學習算法。

作者簡介：

Mingzhang Yin是得克薩斯大學奧斯汀分校統計與數據科學系的博士生。Mingzhang Yin對貝葉斯統計和機器學習非常感興趣，研究范圍是近似貝葉斯推理、因果推論、信息論和理論統計學、元學習、生物醫學和醫療。

Mingyuan Zhou是得克薩斯大學奧斯汀分校的副教授，在麥庫姆斯商學院信息、風險和運營管理(IROM)部門的統計組工作，也是自然科學學院統計與數據科學系的核心教員。于2013年獲得杜克大學博士學位，2008年獲得中國科學院碩士學位，2005年獲得南京大學理學學士學位。研究范圍是貝葉斯統計和機器學習的交叉領域，對統計理論與方法、層次模型、貝葉斯非參數、大數據統計推理、深度學習感興趣，目前專注于用深度學習推進統計推斷和用概率方法推進深度學習。

論文題目： Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning

摘要： 元強化學習算法可以利用以前的經驗來學習如何學習，從而使機器人更快地獲得新技能。然而，目前關于元強化學習的研究大多集中在任務分布非常狹窄的情況下。例如，一個常用的元強化學習基準對一個模擬機器人使用不同的運行速度作為不同的任務。當策略在如此狹窄的任務分布上進行元訓練時，它們不可能泛化到更快速地獲取全新的任務。因此，如果這些方法的目的是更快地獲取全新的行為，那么我們必須在任務分布上對它們進行評估，這些任務分布足夠廣泛，從而能夠對新行為進行泛化。在本文中，我們提出了一種元強化學習和多任務學習的開源模擬基準，由50個不同的機器人操作任務組成。我們的目標是使開發算法成為可能，從而加速獲取全新的、未完成的任務。我們評估了6種最先進的元強化學習和多任務學習算法。令人驚訝的是，雖然每個任務及其變體(例如，具有不同的對象位置)都可以成功地學習，但這些算法很難同時學習多個任務，即使只有10個不同的訓練任務。我們的分析和開源環境為未來多任務學習和元學習的研究鋪平了道路，這些研究可以使有意義的概括成為可能，從而釋放這些方法的全部潛力。

論文作者： Tianhe Yu, Deirdre Quillen, Zhanpeng He, Ryan Julian, Karol Hausman, Chelsea Finn, Sergey Levine

Sergey Levine于2009年獲得斯坦福大學計算機科學學士學位和碩士學位，并獲得博士學位。 2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋天加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習，重點是深度學習和強化學習。他的工作應用包括自動駕駛機器人和車輛，以及計算機視覺和圖形。 他的研究包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法，用于逆向強化學習的可擴展算法，深度強化學習算法等。 在許多受歡迎的媒體中，包括紐約時報，BBC，麻省理工學院技術評論和彭博社，他的作品都得到了報道。

論文題目： Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation

摘要： 模型無關元學習的目標是從相似的任務中獲取元學習參數，以適應分布相同但梯度更新較少的新任務。由于模型選擇的靈活性，這些框架在諸如小樣本圖像分類和增強學習等多個領域表現出了良好的性能。然而，此類框架的一個重要限制是，它們尋求在整個任務分布中共享的公共初始化，這極大地限制了它們能夠學習的任務分布的多樣性。在本文中，我們增強了MAML的能力，以識別從多模式任務分布中采樣的任務模式，并通過梯度更新快速適應。具體來說，我們提出了一個多模態MAML (MMAML)框架，該框架能夠根據所識別的模式調整其元學習先驗參數，從而實現更高效的快速適應。我們在一組不同的小樣本學習任務上對所提出的模型進行評估，包括回歸、圖像分類和強化學習。結果不僅證明了我們的模型在調整元學習先驗以響應任務特征方面的有效性，而且表明了多模態分布的訓練比單模態訓練有更好的效果。

論文作者： Risto Vuorio, Shao-Hua Sun, Hexiang Hu, Joseph J. Lim