亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： A Survey on Transfer Learning in Natural Language Processing

摘要：

深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。

智能視頻監控(IVS)是當前計算機視覺和機器學習領域的一個活躍研究領域，為監控操作員和取證視頻調查者提供了有用的工具。人的再識別(PReID)是IVS中最關鍵的問題之一，它包括識別一個人是否已經通過網絡中的攝像機被觀察到。PReID的解決方案有無數的應用，包括檢索顯示感興趣的個體的視頻序列，甚至在多個攝像機視圖上進行行人跟蹤。文獻中已經提出了不同的技術來提高PReID的性能，最近研究人員利用了深度神經網絡(DNNs)，因為它在類似的視覺問題上具有令人信服的性能，而且在測試時執行速度也很快。鑒于再識別解決方案的重要性和廣泛的應用范圍，我們的目標是討論在該領域開展的工作，并提出一項最先進的DNN模型用于這項任務的調查。我們提供了每個模型的描述以及它們在一組基準數據集上的評估。最后，我們對這些模型進行了詳細的比較，并討論了它們的局限性，為今后的研究提供了指導。

題目： The Creation and Detection of Deepfakes: A Survey

摘要： 本文綜述了元學習在圖像分類、自然語言處理和機器人等領域的應用。與深度學習不同，元學習使用小樣本數據集，并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類:黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合，以提供可行的集成問題解決方案。介紹了元學習方法的性能比較，并討論了今后的研究方向。

【導讀】元學習旨在學會學習，是當下研究熱點之一。最近來自愛丁堡大學的學者發布了關于元學習最新綜述論文《Meta-Learning in Neural Networks: A Survey》，值得關注，詳述了元學習體系，包括定義、方法、應用、挑戰，成為不可缺少的文獻。

近年來，元學習領域，或者說“學會學習的學習”，引起了人們極大的興趣。與傳統的人工智能方法(使用固定的學習算法從頭開始解決給定的任務)不同，元學習的目的是改進學習算法本身，考慮到多次學習的經驗。這個范例提供了一個機會來解決深度學習的許多傳統挑戰，包括數據和計算瓶頸，以及泛化的基本問題。在這項綜述中，我們描述了當代元學習的景觀。我們首先討論元學習的定義，并將其定位于相關領域，如遷移學習、多任務學習和超參數優化。然后，我們提出了一個新的分類法，對元學習方法的空間進行了更全面的細分。我們綜述了元學習的一些有前途的應用和成功案例，包括小樣本學習、強化學習和體系架構搜索。最后，我們討論了突出的挑戰和未來研究的有希望的領域。

//arxiv.org/abs/2004.05439

概述

現代機器學習模型通常是使用手工設計的固定學習算法，針對特定任務從零開始進行訓練。基于深度學習的方法在許多領域都取得了巨大的成功[1,2,3]。但是有明顯的局限性[4]。例如，成功主要是在可以收集或模擬大量數據的領域，以及在可以使用大量計算資源的領域。這排除了許多數據本質上是稀有或昂貴的[5]，或者計算資源不可用的應用程序[6,7]。

元學習提供了另一種范式，機器學習模型可以在多個學習階段獲得經驗——通常覆蓋相關任務的分布——并使用這些經驗來改進未來的學習性能。這種“學會學習”[8]可以帶來各種好處，如數據和計算效率，它更適合人類和動物的學習[9]，其中學習策略在一生和進化時間尺度上都得到改善[10,9,11]。機器學習在歷史上是建立在手工設計的特征上的模型，而特征的選擇往往是最終模型性能的決定因素[12,13,14]。深度學習實現了聯合特征和模型學習的承諾[15,16]，為許多任務提供了巨大的性能改進[1,3]。神經網絡中的元學習可以看作是集成聯合特征、模型和算法學習的下一步。神經網絡元學習有著悠久的歷史[17,18,8]。然而，它作為推動當代深度學習行業前沿的潛力，導致了最近研究的爆炸性增長。特別是，元學習有可能緩解當代深度學習[4]的許多主要批評，例如，通過提供更好的數據效率，利用先驗知識轉移，以及支持無監督和自主學習。成功的應用領域包括:小樣本圖像識別[19,20]、無監督學習[21]、數據高效[22,23]、自導向[24]強化學習(RL)、超參數優化[25]和神經結構搜索(NAS)[26, 27, 28]。

在文獻中可以找到許多關于元學習的不同觀點。特別是由于不同的社區對這個術語的使用略有不同，所以很難定義它。與我們[29]相關的觀點認為，元學習是管理“沒有免費午餐”定理[30]的工具，并通過搜索最適合給定問題或問題族的算法(歸納偏差)來改進泛化。然而，從廣義上來說，這個定義可以包括遷移、多任務、特征選擇和模型集成學習，這些在今天通常不被認為是元學習。另一個關于元學習[31]的觀點廣泛地涵蓋了基于數據集特性的算法選擇和配置技術，并且很難與自動機器學習(AutoML)[32]區分開來。在這篇論文中，我們關注當代的神經網絡元學習。我們將其理解為算法或歸納偏差搜索，但重點是通過端到端學習明確定義的目標函數(如交叉熵損失、準確性或速度)來實現的。

因此，本文提供了一個獨特的，及時的，最新的調查神經網絡元學習領域的快速增長。相比之下，在這個快速發展的領域，以往的研究已經相當過時，或者關注于數據挖掘[29、33、34、35、36、37、31]、自動[32]的算法選擇，或者元學習的特定應用，如小樣本學習[38]或神經架構搜索[39]。

我們討論元學習方法和應用。特別是，我們首先提供了一個高層次的問題形式化，它可以用來理解和定位最近的工作。然后，我們在元表示、元目標和元優化器方面提供了一種新的方法分類。我們調查了幾個流行和新興的應用領域，包括少鏡頭、強化學習和架構搜索;并對相關的話題如遷移學習、多任務學習和自動學習進行元學習定位。最后，我們討論了尚未解決的挑戰和未來研究的領域。

未來挑戰：

-元泛化 元學習在不同任務之間面臨著泛化的挑戰，這與傳統機器學習中在不同實例之間進行泛化的挑戰類似。

• 任務分布的多模態特性
• 任務族
• 計算代價
• 跨模態遷移和異構任務

總結

元學習領域最近出現了快速增長的興趣。這帶來了一定程度的混亂，比如它如何與鄰近的字段相關聯，它可以應用到什么地方，以及如何對它進行基準測試。在這次綜述中，我們試圖通過從方法學的角度對這一領域進行徹底的調查來澄清這些問題——我們將其分為元表示、元優化器和元目標的分類;從應用的角度來看。我們希望這項調查將有助于新人和實踐者在這個不斷增長的領域中定位自己，并強調未來研究的機會。

【導讀】現有的機器學習方法在很多場景下需要依賴大量的訓練樣本。但機器學習方法是否可以模仿人類，基于先驗知識等，只基于少量的樣本就可以進行學習。本文介紹34頁小樣本學習綜述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》，包含166篇參考文獻，來自第四范式和香港科技大學習的研究學者。

小樣本學習綜述 Few-shot Learning: A Survey

【摘要】機器學習在數據密集型應用中非常成功，但當數據集很小時，它常常受到阻礙。為了解決這一問題，近年來提出了小樣本學習(FSL)。利用先驗知識，FSL可以快速地泛化到只包含少量有監督信息的樣本的新任務中。在這篇論文中，我們進行了一個徹底的調研，以充分了解FSL。從FSL的正式定義出發，我們將FSL與幾個相關的機器學習問題區分開來。然后指出了FSL的核心問題是經驗風險最小化是不可靠的。基于先驗知識如何處理這一核心問題，我們從三個角度對FSL方法進行了分類: (i) 數據，它使用先驗知識來增加監督經驗;(二) 利用先驗知識縮小假設空間大小的模型;(iii)算法，利用先驗知識在給定的假設空間中改變對最佳假設的搜索。有了這種分類法，我們就可以回顧和討論每個類別的優缺點。在FSL問題的設置、技術、應用和理論方面也提出了有前景的方向，為未來的研究提供了見解。

• 我們給出了FSL的形式化定義。它可以自然地鏈接到以往文獻中提出的經典機器學習定義。這個定義不僅足夠概括，包括所有現有的FSL -shot Learning: A Survey problems，而且足夠具體，明確了什么是FSL的目標，以及我們如何解決它。這一定義有助于確定未來FSL領域的研究目標。

• 指出了基于誤差分解的FSL在機器學習中的核心問題。我們發現，正是不可靠的經驗風險最小化使得FSL難以學習。這可以通過滿足或降低學習的樣本復雜度來緩解。理解核心問題有助于根據解決核心問題的方式將不同的工作分類為數據、模型和算法。更重要的是，這為更有組織和系統地改進FSL方法提供了見解。

• 我們對從FSL誕生到最近發表的文獻進行了廣泛的回顧，并將它們進行了統一的分類。對不同類別的優缺點進行了深入的討論。我們還對每個類別下的見解進行了總結。這對于初學者和有經驗的研究人員都是一個很好的指導方針。

• 我們在問題設置、技術、應用和理論方面展望了FSL未來的四個發展方向。這些見解都是基于當前FSL發展的不足之處，并有可能在未來進行探索。我們希望這部分能夠提供一些見解，為解決FSL問題做出貢獻，為真正的AI而努力。

• 與已有的關于小樣本概念學習和經驗學習的FSL相關調相比，我們給出了什么是FSL，為什么FSL很難，以及FSL如何將小樣本監督信息與先驗知識結合起來使學習成為可能的正式定義。我們進行了廣泛的文獻審查的基礎上提出的分類法與詳細討論的利弊，總結和見解。我們還討論了FSL與半監督學習、不平衡學習、遷移學習和元學習等相關話題之間的聯系和區別

題目： Meta-Learning in Neural Networks: A Survey

簡介： 近年來，元學習領域的興趣急劇上升。與使用固定學習算法從頭解決給定任務的傳統AI方法相反，元學習旨在根據多次學習事件的經驗來改善學習算法本身。這種范例為解決深度學習的許多傳統挑戰提供了機會，包括數據和計算瓶頸以及泛化的基本問題。在本次調查中，我們描述了當代的元學習環境。我們首先討論元學習的定義，并將其相對于相關領域（例如轉移學習，多任務學習和超參數優化）進行定位。然后，我們提出了一種新的分類法，該分類法為當今的元學習方法提供了更為全面的細分。我們調查了元學習的有希望的應用程序和成功案例，包括，強化學習和架構搜索。最后，我們討論了未來研究的突出挑戰和有希望的領域。

主題： A New Meta-Baseline for Few-Shot Learning

摘要： 近年來，元學習已經成為小樣本學習的流行框架，其目標是從少拍分類任務的集合中學習模型。雖然提出了越來越多的新穎元學習模型，但我們的研究發現了被忽視的簡單基準。我們通過在所有基類上預先訓練分類器，并在基于最近質心的少數鏡頭分類算法上進行元學習，提出了一種Meta-Baseline方法，該方法以較大的優勢勝過了最新的方法。為什么這個簡單的方法這么好？在元學習階段，我們觀察到在基礎類的未見任務上更好地推廣的模型在新型類任務上的性能可能會下降，這表明存在潛在的客觀差異。我們發現預訓練和從預訓練的分類器繼承良好的幾次快照分類法對于元基線都很重要，這可能有助于模型更好地利用具有更強可傳遞性的預訓練表示。此外，我們研究了何時需要在此元基線中進行元學習。我們的工作為該領域建立了一個新的基準，并為進一步了解元學習框架中的幾次學習現象提供了啟示。

題目： Natural Language Processing Advancements By Deep Learning: A Survey

摘要： 自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。算力的最新發展和語言大數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。

論文題目

視頻游戲中深度強化學習的研究綜述，A Survey of Deep Reinforcement Learning in Video

論文摘要

摘要深度強化學習（DRL）自提出以來取得了很大的成就。通常，DRL代理在每個步驟都接收高維輸入，并根據基于深度神經網絡的策略進行操作。這種學習機制通過端到端的方法更新策略以最大化回報。本文綜述了DRL方法的研究進展，包括基于價值的方法、基于策略梯度的方法和基于模型的方法，比較了它們的主要技術和性能，并指出DRL在智能游戲中的重要作用。我們還回顧了DRL在各種電子游戲中的成就，包括經典的街機游戲、第一人稱視角游戲和多智能體實時戰略游戲，從2D到3D，從單智能體到多智能體，大量帶有DRL的電子游戲AIs都取得了超人的性能，在這個領域還有一些挑戰。因此，我們還討論了將DRL方法應用于該領域的一些關鍵點，包括探索性開發、樣本效率、泛化和遷移、多智能體學習、不完全信息和延遲備用研究，以及一些研究方向。

論文作者

Kun Shao, Zhentao Tang, Yuanheng Zhu,IEEE成員。Nannan Li, Dongbin Zhao，IEEE資深會員。

“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。盡管最近的人工智能在許多數據密集型應用中取得了成功，但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題，我們必須求助于機器學習，它支持人工智能的科學研究。特別地，在這種情況下，有一個機器學習問題稱為小樣本學習(Few-Shot Learning，FSL)。該方法利用先驗知識，可以快速地推廣到有限監督經驗的新任務中，通過推廣和類比，模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能，是一種減少繁重的數據收集和計算成本高昂的培訓的方法，也是罕見案例學習有效方式。隨著FSL研究的廣泛開展，我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題，將問題從“如何解決FSL”轉變為“如何處理核心問題”。因此，從FSL誕生到最近發表的作品都被歸為一個統一的類別，并對不同類別的優缺點進行了深入的討論。最后，我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向，希望為初學者和有經驗的研究者提供一些見解。