亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目

A Survey on Large-scale Machine ：大規模機器學習綜述

關鍵詞

機器學習，綜述調查

摘要

機器學習可以提供對數據的深刻見解，從而使機器能夠做出高質量的預測，并已廣泛用于諸如文本挖掘，視覺分類和推薦系統之類的實際應用中。 但是，大多數復雜的機器學習方法在處理大規模數據時會耗費大量時間。 這個問題需要大規模機器學習（LML），其目的是從具有可比性能的大數據中學習模式。 在本文中，我們對現有的LML方法進行了系統的調查，為該領域的未來發展提供了藍圖。 我們首先根據提高可伸縮性的方式來劃分這些LML方法：1）簡化計算復雜度的模型，2）優化計算效率的近似值，以及3）提高計算的并行性。 然后，根據目標場景對每種方法進行分類，并根據內在策略介紹代表性方法。最后，我們分析其局限性并討論潛在的方向以及未來有望解決的開放問題。

簡介

機器學習使機器能夠從數據中學習模式，從而無需手動發現和編碼模式。 盡管如此，相對于訓練實例或模型參數的數量，許多有效的機器學習方法都面臨二次時間復雜性[70]。 近年來，隨著數據規模的迅速增長[207]，這些機器學習方法變得不堪重負，難以為現實應用服務。 為了開發大數據的金礦，因此提出了大規模機器學習（LML）。 它旨在解決可用計算資源上的常規機器學習任務，特別著重于處理大規模數據。 LML可以以幾乎線性（甚至更低）的時間復雜度處理任務，同時獲得可比的精度。 因此，它已成為可操作的見解的大數據分析的核心。 例如，Waymo和Tesla Autopilot等自動駕駛汽車在計算機視覺中應用了卷積網絡，以實時圖像感知周圍環境[115]； 諸如Netflix和Amazon之類的在線媒體和電子商務站點從用戶歷史到產品推薦都建立了有效的協作過濾模型[18]。總而言之，LML在我們的日常生活中一直扮演著至關重要的和不可或缺的角色。

鑒于對從大數據中學習的需求不斷增長，對此領域的系統調查變得非常科學和實用。 盡管在大數據分析領域已經發表了一些調查報告[12]，[33]，[54]，[193]，但它們在以下方面還不夠全面。 首先，它們大多數只專注于LML的一個觀點，而忽略了互補性。它限制了它們在該領域的價值，并無法促進未來的發展。例如，[12]專注于預測模型而沒有發現優化問題，[33]在忽略并行化的同時回顧了隨機優化算法，[193]僅關注了 大數據處理系統，并討論系統支持的機器學習方法。 其次，大多數調查要么失去對所審查方法的洞察力，要么忽視了最新的高質量文獻。 例如，[12]缺乏討論模型的計算復雜性的討論，[33]忽略了處理高維數據的優化算法，[120]將其研究限于Hadoop生態系統中的分布式數據分析。 從計算角度回顧了200多篇Paperson LML，并進行了更深入的分析，并討論了未來的研究方向。 我們為從業者提供查找表，以根據他們的需求和資源選擇預測模型，優化算法和處理系統。 此外，我們為研究人員提供了有關當前策略的見解，以更有效地開發下一代LML的指南。

我們將貢獻總結如下。 首先，我們根據三個計算角度對LML進行了全面概述。 具體來說，它包括：1）模型簡化，通過簡化預測模型來降低計算復雜性； 2）優化近似，通過設計更好的優化算法來提高計算效率； 3）計算并行性，通過調度多個計算設備來提高計算能力。其次，我們對現有的LML方法進行了深入的分析。 為此，我們根據目標場景將每個角度的方法劃分為更精細的類別。 我們分析了它們促進機器學習過程的動機和內在策略。 然后，我們介紹了具有代表性的成就的特征。此外，我們還回顧了混合方法，這些方法共同改善了協同效應的多個視角。 第三，我們從各個角度分析了LML方法的局限性，并根據其擴展提出了潛在的發展方向。 此外，我們討論了有關LML未來發展的一些相關問題。

本文的結構如下。 我們首先在第2節中介紹了機器學習的一般框架，然后對其有效性和效率進行了高層次的討論。在第3節中，我們全面回顧了最新的LML方法并深入了解了它們的好處和優勢。 局限性。 最后，在第5節結束本文之前，我們討論了解決第4節中的局限性和其他有希望的未解決問題的未來方向。

小樣本自然語言處理(NLP)是指NLP任務只具有少量標注的樣例。這是人工智能系統必須學會處理的現實挑戰。通常我們依賴于收集更多的輔助信息或開發一個更有效的學習算法。然而，在高容量模型中，一般基于梯度的優化，如果從頭開始訓練，需要對大量帶標記的樣例進行很多參數更新步驟，才能表現良好(Snell et al.， 2017)。

如果目標任務本身不能提供更多的信息，如何收集更多帶有豐富標注的任務來幫助模型學習?元學習的目標是訓練一個模型在各種任務上使用豐富的標注，這樣它就可以用少量標記的樣本解決一個新的任務。關鍵思想是訓練模型的初始參數，這樣當參數通過零階或幾個梯度步驟更新后，模型在新任務上有最大的性能。

已經有一些關于元學習的綜述，例如(Vilalta和Drissi, 2002;Vanschoren, 2018;Hospedales等，2020)。然而，本文的研究主要集中在NLP領域，尤其是小樣本的應用。本文試圖對元學習應用于較少次數的神經語言處理提供更清晰的定義、進展總結和一些常用的數據集。

//arxiv.org/abs/2007.09604

本文綜述了元學習在圖像分類、自然語言處理和機器人技術等領域的應用。與深度學習不同，元學習使用較少的樣本數據集，并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類: 黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合，以提供可行的集成問題解決方案。介紹了元學習方法的性能比較，并討論了今后的研究方向。

【導讀】元學習旨在學會學習，是當下研究熱點之一。最近來自愛丁堡大學的學者發布了關于元學習最新綜述論文《Meta-Learning in Neural Networks: A Survey》，值得關注，詳述了元學習體系，包括定義、方法、應用、挑戰，成為不可缺少的文獻。

近年來，元學習領域，或者說“學會學習的學習”，引起了人們極大的興趣。與傳統的人工智能方法(使用固定的學習算法從頭開始解決給定的任務)不同，元學習的目的是改進學習算法本身，考慮到多次學習的經驗。這個范例提供了一個機會來解決深度學習的許多傳統挑戰，包括數據和計算瓶頸，以及泛化的基本問題。在這項綜述中，我們描述了當代元學習的景觀。我們首先討論元學習的定義，并將其定位于相關領域，如遷移學習、多任務學習和超參數優化。然后，我們提出了一個新的分類法，對元學習方法的空間進行了更全面的細分。我們綜述了元學習的一些有前途的應用和成功案例，包括小樣本學習、強化學習和體系架構搜索。最后，我們討論了突出的挑戰和未來研究的有希望的領域。

//arxiv.org/abs/2004.05439

概述

現代機器學習模型通常是使用手工設計的固定學習算法，針對特定任務從零開始進行訓練。基于深度學習的方法在許多領域都取得了巨大的成功[1,2,3]。但是有明顯的局限性[4]。例如，成功主要是在可以收集或模擬大量數據的領域，以及在可以使用大量計算資源的領域。這排除了許多數據本質上是稀有或昂貴的[5]，或者計算資源不可用的應用程序[6,7]。

元學習提供了另一種范式，機器學習模型可以在多個學習階段獲得經驗——通常覆蓋相關任務的分布——并使用這些經驗來改進未來的學習性能。這種“學會學習”[8]可以帶來各種好處，如數據和計算效率，它更適合人類和動物的學習[9]，其中學習策略在一生和進化時間尺度上都得到改善[10,9,11]。機器學習在歷史上是建立在手工設計的特征上的模型，而特征的選擇往往是最終模型性能的決定因素[12,13,14]。深度學習實現了聯合特征和模型學習的承諾[15,16]，為許多任務提供了巨大的性能改進[1,3]。神經網絡中的元學習可以看作是集成聯合特征、模型和算法學習的下一步。神經網絡元學習有著悠久的歷史[17,18,8]。然而，它作為推動當代深度學習行業前沿的潛力，導致了最近研究的爆炸性增長。特別是，元學習有可能緩解當代深度學習[4]的許多主要批評，例如，通過提供更好的數據效率，利用先驗知識轉移，以及支持無監督和自主學習。成功的應用領域包括:小樣本圖像識別[19,20]、無監督學習[21]、數據高效[22,23]、自導向[24]強化學習(RL)、超參數優化[25]和神經結構搜索(NAS)[26, 27, 28]。

在文獻中可以找到許多關于元學習的不同觀點。特別是由于不同的社區對這個術語的使用略有不同，所以很難定義它。與我們[29]相關的觀點認為，元學習是管理“沒有免費午餐”定理[30]的工具，并通過搜索最適合給定問題或問題族的算法(歸納偏差)來改進泛化。然而，從廣義上來說，這個定義可以包括遷移、多任務、特征選擇和模型集成學習，這些在今天通常不被認為是元學習。另一個關于元學習[31]的觀點廣泛地涵蓋了基于數據集特性的算法選擇和配置技術，并且很難與自動機器學習(AutoML)[32]區分開來。在這篇論文中，我們關注當代的神經網絡元學習。我們將其理解為算法或歸納偏差搜索，但重點是通過端到端學習明確定義的目標函數(如交叉熵損失、準確性或速度)來實現的。

因此，本文提供了一個獨特的，及時的，最新的調查神經網絡元學習領域的快速增長。相比之下，在這個快速發展的領域，以往的研究已經相當過時，或者關注于數據挖掘[29、33、34、35、36、37、31]、自動[32]的算法選擇，或者元學習的特定應用，如小樣本學習[38]或神經架構搜索[39]。

我們討論元學習方法和應用。特別是，我們首先提供了一個高層次的問題形式化，它可以用來理解和定位最近的工作。然后，我們在元表示、元目標和元優化器方面提供了一種新的方法分類。我們調查了幾個流行和新興的應用領域，包括少鏡頭、強化學習和架構搜索;并對相關的話題如遷移學習、多任務學習和自動學習進行元學習定位。最后，我們討論了尚未解決的挑戰和未來研究的領域。

未來挑戰：

-元泛化 元學習在不同任務之間面臨著泛化的挑戰，這與傳統機器學習中在不同實例之間進行泛化的挑戰類似。

• 任務分布的多模態特性
• 任務族
• 計算代價
• 跨模態遷移和異構任務

總結

元學習領域最近出現了快速增長的興趣。這帶來了一定程度的混亂，比如它如何與鄰近的字段相關聯，它可以應用到什么地方，以及如何對它進行基準測試。在這次綜述中，我們試圖通過從方法學的角度對這一領域進行徹底的調查來澄清這些問題——我們將其分為元表示、元優化器和元目標的分類;從應用的角度來看。我們希望這項調查將有助于新人和實踐者在這個不斷增長的領域中定位自己，并強調未來研究的機會。

題目

Pre-trained Models for Natural Language Processing: A Survey

關鍵詞

預訓練語言模型，深度學習，自然語言處理，BERT,Transfomer,人工智能

簡介

最近，預訓練模型（PTM）的出現將自然語言處理（NLP）帶入了一個新時代。 在此調查中，我們提供了針對NLP的PTM的全面概述。 我們首先簡要介紹語言表示學習及其研究進展。 然后，我們基于分類從四個角度對現有PTM進行系統分類。 接下來，我們描述如何使PTM的知識適應下游任務。 最后，我們概述了PTM未來研究的一些潛在方向。該調查旨在作為實踐指南，幫助您理解，使用和開發適用于各種NLP任務的PTM。

作者

Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai ，Xuanjing Huang

譯者

專知成員，范志廣

題目： Meta-Learning in Neural Networks: A Survey

簡介： 近年來，元學習領域的興趣急劇上升。與使用固定學習算法從頭解決給定任務的傳統AI方法相反，元學習旨在根據多次學習事件的經驗來改善學習算法本身。這種范例為解決深度學習的許多傳統挑戰提供了機會，包括數據和計算瓶頸以及泛化的基本問題。在本次調查中，我們描述了當代的元學習環境。我們首先討論元學習的定義，并將其相對于相關領域（例如轉移學習，多任務學習和超參數優化）進行定位。然后，我們提出了一種新的分類法，該分類法為當今的元學習方法提供了更為全面的細分。我們調查了元學習的有希望的應用程序和成功案例，包括，強化學習和架構搜索。最后，我們討論了未來研究的突出挑戰和有希望的領域。

主題： Modern Deep Learning Techniques Applied to Natural Language Processing

簡要介紹： 該文章概述了基于深度學習的自然語言處理（NLP）的最新趨勢。 它涵蓋了深度學習模型（例如遞歸神經網絡（RNN），卷積神經網絡（CNN）和強化學習）背后的理論描述和實現細節，用于解決各種NLP任務和應用。 概述還包含NLP任務（例如機器翻譯，問題解答和對話系統）的最新結果摘要。

自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。計算能力的最新發展和大量語言數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本調查對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們進一步分析和比較不同的方法和最先進的模型。

題目： Natural Language Processing Advancements By Deep Learning: A Survey

摘要： 自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。算力的最新發展和語言大數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。

論文摘要：遷移學習的目的是通過遷移包含在不同但相關的源域中的知識來提高目標學習者在目標域中的學習性能。這樣可以減少對大量目標域數據的依賴，從而構建目標學習者。由于其廣泛的應用前景，轉移學習已經成為機器學習中一個熱門和有前途的領域。雖然已經有一些關于遷移學習的有價值的和令人印象深刻的綜述，但這些綜述介紹的方法相對孤立，缺乏遷移學習的最新進展。隨著遷移學習領域的迅速擴大，對相關研究進行全面的回顧既有必要也有挑戰。本研究試圖將已有的遷移學習研究進行梳理和梳理，并對遷移學習的機制和策略進行全面的歸納和解讀，幫助讀者更好地了解當前的研究現狀和思路。與以往的研究不同，本文從數據和模型的角度對40多種具有代表性的遷移學習方法進行了綜述。簡要介紹了遷移學習的應用。為了展示不同遷移學習模型的性能，我們使用了20個有代表性的遷移學習模型進行實驗。這些模型是在三個不同的數據集上執行的，即，亞馬遜評論，路透社-21578，Office-31。實驗結果表明，在實際應用中選擇合適的遷移學習模型是非常重要的。

關鍵詞：遷移學習 機器學習 域適應 可解釋性