亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

元學習可以讓機器學習新的算法。這是一個新興且快速發展的機器學習研究領域，對所有人工智能研究都有影響。最近的成功案例包括自動模型發現、少槍學習、多任務學習、元強化學習，以及教機器閱讀、學習和推理。正如人類不會從頭開始學習新任務，而是利用之前所學的知識一樣，元學習是高效和穩健學習的關鍵。本教程將介紹該領域及其應用的重要數學基礎，包括這個領域中當前技術水平的關鍵方法，該領域對眾多AAAI參與者來說越來越重要。

//sites.google.com/mit.edu/aaai2021metalearningtutorial

內容目錄：

• 元學習導論
• 多任務學習
• 元學習
• 自動機器學習
• 應用

神經架構搜索(NAS)是一個很有前途的領域。首先，我將討論圍繞NAS建立科學社區的各種工作，包括基準測試、最佳實踐和開放源碼框架。然后，我將討論該領域幾個令人興奮的方向:(1)廣泛的NAS加速技術;(2)在Auto-PyTorch中結合NAS +超參數優化，實現現成的AutoML;(3)神經集成搜索(NES)的擴展問題定義，它搜索一組互補的架構，而不是像NAS中搜索的單一架構。

Meta-learning in natural and artificial intelligence

元學習，或學會學習，近年來在人工智能領域重新引起了人們的興趣。然而，元學習在自然界中令人難以置信地普遍，它深深植根于認知科學和心理學，目前在神經科學中以各種形式被研究。在這次演講中，我將從元學習的角度討論最近的研究，包括之前的神經科學發現，以及通過元- RL訓練的深度學習系統執行更復雜認知形式的能力，比如因果決策。

論文

元學習在自然界與人工智能

元學習，或學會學習，近年來在人工智能領域重新引起了人們的興趣。然而，元學習在自然界中非常普遍，它深深植根于認知科學和心理學，目前在神經科學中以各種形式被研究。這篇綜述的目的是在元學習的視角下重塑以前的生物智能研究路線，將這些工作置于一個共同的框架中。人工智能和神經科學之間的互動，以及在這個觀點下出現的有趣的新方向將被討論。

//www.zhuanzhi.ai/paper/bc03479e66cb604fc0ce3e6ef066cb8e

深度神經網絡在擁有大量數據集和足夠的計算資源的情況下能夠取得巨大的成功。然而，他們快速學習新概念的能力相當有限。元學習是解決這一問題的一種方法，通過使網絡學會如何學習。令人興奮的深度元學習領域正在高速發展，但缺乏對當前技術的統一、深刻的概述。這項工作就是這樣。在為讀者提供理論基礎之后，我們研究和總結了主要的方法，這些方法被分為i)度量；ii)模型；和iii)基于優化的技術。此外，我們確定了主要的開放挑戰，如在異構基準上的性能評估，以及元學習計算成本的降低。

摘要：

近年來，深度學習技術在各種任務上取得了顯著的成功，包括游戲(Mnih et al., 2013; Silver et al., 2016)，圖像識別(Krizhevsky et al., 2012; He et al., 2015）和機器翻譯(Wu et al.， 2016)。盡管取得了這些進展，但仍有大量的挑戰有待解決，例如實現良好性能所需的大量數據和訓練。這些要求嚴重限制了深度神經網絡快速學習新概念的能力，這是人類智能的定義方面之一(Jankowski等人，2011;(Lake等，2017)。

元學習被認為是克服這一挑戰的一種策略(Naik and Mammone, 1992; Schmidhuber, 1987; Thrun, 1998)。其關鍵思想是元學習主體隨著時間的推移提高自己的學習能力，或者等價地說，學會學習。學習過程主要與任務(一組觀察)有關，并且發生在兩個不同的層次上:內部和外部。在內部層，一個新的任務被提出，代理試圖快速地從訓練觀察中學習相關的概念。這種快速的適應是通過在外部層次的早期任務中積累的知識來促進的。因此，內部層關注的是單個任務，而外部層關注的是多個任務。

從歷史上看，元學習這個術語的使用范圍很廣。從最廣泛的意義上說，它概括了所有利用之前的學習經驗以更快地學習新任務的系統(Vanschoren, 2018)。這個廣泛的概念包括更傳統的機器學習算法選擇和hyperparameter優化技術(Brazdil et al ., 2008)。然而，在這項工作中，我們專注于元學習領域的一個子集，該領域開發元學習程序來學習(深度)神經網絡的良好誘導偏差。1從今以后,我們使用術語深元學習指元學習的領域。

深度元學習領域正在快速發展，但它缺乏一個連貫、統一的概述，無法提供對關鍵技術的詳細洞察。Vanschoren(2018)對元學習技術進行了調查，其中元學習被廣泛使用，限制了對深度元學習技術的描述。此外，在調查發表后，深度元學習領域也出現了許多令人興奮的發展。Hospedales等人(2020)最近的一項調查采用了與我們相同的深度元學習概念，但目標是一個廣泛的概述，而忽略了各種技術的技術細節。

我們試圖通過提供當代深度元學習技術的詳細解釋來填補這一空白，使用統一的符號。此外，我們確定了當前的挑戰和未來工作的方向。更具體地說，我們覆蓋了監督和強化學習領域的現代技術，已經實現了最先進的性能，在該領域獲得了普及，并提出了新的想法。由于MAML (Finn et al.， 2017)和相關技術對該領域的影響，我們給予了格外的關注。本研究可作為深度元學習領域的系統性介紹，并可作為該領域資深研究人員的參考資料。在整個過程中，我們將采用Vinyals(2017)所使用的分類法，該分類法確定了三種深度元學習方法:i)度量、ii)模型和iii)基于優化的元學習技術。

深度學習在許多領域都取得了重大突破和進展。這是因為深度學習具有強大的自動表示能力。實踐證明，網絡結構的設計對數據的特征表示和最終的性能至關重要。為了獲得良好的數據特征表示，研究人員設計了各種復雜的網絡結構。然而，網絡架構的設計在很大程度上依賴于研究人員的先驗知識和經驗。因此，一個自然的想法是盡量減少人為的干預，讓算法自動設計網絡的架構。因此，這需要更深入到強大的智慧。

近年來,大量相關的神經結構搜索算法(NAS)已經出現。他們對NAS算法進行了各種改進，相關研究工作復雜而豐富。為了減少初學者進行NAS相關研究的難度，對NAS進行全面系統的調查是必不可少的。之前的相關調查開始主要從NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類。這種分類方法比較直觀，但是讀者很難把握中間的挑戰和標志性作品。因此，在本次調查中，我們提供了一個新的視角:首先概述最早的NAS算法的特點，總結這些早期NAS算法存在的問題，然后為后續的相關研究工作提供解決方案。并對這些作品進行了詳細而全面的分析、比較和總結。最后，提出了今后可能的研究方向。

概述

深度學習已經在機器翻譯[1-3]、圖像識別[4,6,7]和目標檢測[8-10]等許多領域展示了強大的學習能力。這主要是因為深度學習對非結構化數據具有強大的自動特征提取功能。深度學習已經將傳統的手工設計特征[13,14]轉變為自動提取[4,29,30]。這使得研究人員可以專注于神經結構的設計[11,12,19]。但是神經結構的設計很大程度上依賴于研究者的先驗知識和經驗，這使得初學者很難根據自己的實際需要對網絡結構進行合理的修改。此外，人類現有的先驗知識和固定的思維范式可能會在一定程度上限制新的網絡架構的發現。

因此，神經架構搜索(NAS)應運而生。NAS旨在通過使用有限的計算資源，以盡可能少的人工干預的自動化方式設計具有最佳性能的網絡架構。NAS- RL[11]和MetaQNN[12]的工作被認為是NAS的開創性工作。他們使用強化學習(RL)方法得到的網絡架構在圖像分類任務上達到了SOTA分類精度。說明自動化網絡架構設計思想是可行的。隨后，大規模演化[15]的工作再次驗證了這一想法的可行性，即利用演化學習來獲得類似的結果。然而，它們在各自的方法中消耗了數百天的GPU時間，甚至更多的計算資源。如此龐大的計算量對于普通研究者來說幾乎是災難性的。因此，如何減少計算量，加速網絡架構的搜索[18-20,48,49,52,84,105]就出現了大量的工作。與NAS的提高搜索效率,NAS也迅速應用領域的目標檢測(65、75、111、118),語義分割(63、64、120),對抗學習[53],建筑規模(114、122、124),多目標優化(39、115、125),platform-aware(28日34、103、117),數據增加(121、123)等等。另外，如何在性能和效率之間取得平衡也是需要考慮的問題[116,119]。盡管NAS相關的研究已經非常豐富，但是比較和復制NAS方法仍然很困難[127]。由于不同的NAS方法在搜索空間、超參數技巧等方面存在很多差異，一些工作也致力于為流行的NAS方法提供一個統一的評估平臺[78,126]。

隨著NAS相關研究的不斷深入和快速發展，一些之前被研究者所接受的方法被新的研究證明是不完善的。很快就有了改進的解決方案。例如，早期的NAS在架構搜索階段從無到有地訓練每個候選網絡架構，導致計算量激增[11,12]。ENAS[19]提出采用參數共享策略來加快架構搜索的進程。該策略避免了從頭訓練每個子網，但強制所有子網共享權值，從而大大減少了從大量候選網絡中獲得性能最佳子網的時間。由于ENAS在搜索效率上的優勢，權值共享策略很快得到了大量研究者的認可[23,53,54]。不久，新的研究發現，廣泛接受的權重分配策略很可能導致候選架構[24]的排名不準確。這將使NAS難以從大量候選架構中選擇最優的網絡架構，從而進一步降低最終搜索的網絡架構的性能。隨后DNA[21]將NAS的大搜索空間模塊化成塊，充分訓練候選架構以減少權值共享帶來的表示移位問題。此外，GDAS-NSAS[25]提出了一種基于新的搜索架構選擇(NSAS)損失函數來解決超網絡訓練過程中由于權值共享而導致的多模型遺忘問題。

在快速發展的NAS研究領域中，類似的研究線索十分普遍，基于挑戰和解決方案對NAS研究進行全面、系統的調研是非常有用的。以往的相關綜述主要根據NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類[26,27]。這種分類方法比較直觀，但不利于讀者捕捉研究線索。因此，在本次綜述查中，我們將首先總結早期NAS方法的特點和面臨的挑戰。基于這些挑戰，我們對現有研究進行了總結和分類，以便讀者能夠從挑戰和解決方案的角度進行一個全面和系統的概述。最后，我們將比較現有的研究成果，并提出未來可能的研究方向和一些想法。