亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

神經壓縮是神經網絡和其他機器學習方法在數據壓縮方面的應用。雖然機器學習涉及許多與壓縮密切相關的概念，但由于神經壓縮依賴信息論、感知度量和該領域的其他特定知識，因此進入神經壓縮領域可能很困難。本導論希望通過回顧熵編碼和率失真理論等基本編碼主題、位背編碼和感知度量等相關機器學習思想，并通過目前文獻中的代表性作品提供指導，填補必要的背景知識。

圖1所示 壓縮作為生成模型。

數據壓縮的目標是減少表示有用信息所需的比特數。神經，或學習壓縮，是應用神經網絡和相關機器學習技術的任務。本文旨在通過回顧信息論背景以及神經壓縮的代表性方法和技術，為機器學習研究者提供一個切入點。神經壓縮借鑒了基于學習的圖像處理方法的豐富歷史。事實上，計算攝影中的許多問題可以被視為有損圖像壓縮;例如，圖像超分辨率可以通過學習固定編碼器的解碼器(圖像降采樣過程)[1][2]來解決。事實上，神經網絡在20世紀80年代末和90年代就已經被應用于圖像壓縮[3][4]，甚至有一篇早期的綜述文章[5]。與早期的工作相比，現代方法在規模、神經結構和編碼方案上有顯著的不同。

當前神經壓縮的研究很大程度上受到了深度生成模型的啟發，如GANs、VAE、標準化流和自回歸模型[6]、[7]、[8]、[9]。雖然這些模型允許我們從樣本中捕捉復雜的數據分布(這是神經壓縮的關鍵)，但研究傾向于生成真實的數據[10]或實現高數據日志密度[8]，目標并不總是與數據壓縮一致。可以說，第一個探索數據壓縮的深度生成模型的工作出現在2016年[11]，神經壓縮的主題從那時起就有了相當大的發展。許多研究人員已經確定了變分推斷與無損[12][67]以及有損[13][14][15][16]壓縮之間的聯系。本文希望進一步促進這些領域之間的交流，提高對壓縮作為生成建模的一種富有成效的應用以及相關的有趣挑戰的認識。

我們的目標不是調研大量的文獻，而是涵蓋神經壓縮的基本概念和方法，并考慮到精通機器學習但不一定精通數據壓縮的讀者。我們希望通過強調生成建模和機器學習之間的聯系來補充現有的綜述，這些綜述更注重數據壓縮[17][18][19]。神經壓縮提供了從原始數據自動構建壓縮算法的潛力。這對于新的或領域特定的數據類型尤其有用，如VR內容或科學數據，否則開發自定義編解碼器可能會很昂貴。然而，這種潛力的大部分仍未被探索，所以我們的討論集中在圖像壓縮上，大多數學習到的壓縮方法都是在圖像壓縮上首次開發的。盡管如此，這些方法更廣泛地適用于其他類型的數據。我們將在第3.7節中討論一個順序數據的例子，視頻壓縮。有效地壓縮這類數據需要更精細的模型，但調節學習表征的熵/比特率和相關技術的基本思想保持不變。

本介紹由兩個主要部分組成，無損壓縮(第2節)和有損壓縮(第3節);后者依賴于前者來壓縮數據的潛在表示(見圖2)。我們從回顧基本編碼理論(第2.1節)開始，它允許我們將無損壓縮問題轉化為學習離散數據分布。在實踐中，我們需要使用生成式建模的工具來分解潛在的高維數據分布，包括自回歸(第2.2節)、潛在變量(第2.3節)，以及其他模型(第2.4節)。每種模型在其與不同熵碼的兼容性上有所不同，并在壓縮比特率和計算效率之間提供了不同的權衡。然后，有損壓縮引入了額外的需要，最常見的是重構的失真，在此基礎上，經典理論和算法，如VQ和變換編碼進行了回顧(第3.1節)。然后，我們介紹神經方法作為轉換編碼的自然擴展(第3.2節)，討論量化表示的端到端學習所需的技術(第3.3節)，以及試圖繞過量化的有損壓縮方案(第3.4節)。然后，在簡要回顧視頻壓縮(第3.7節)之前，我們探討了其他需要的數據，如重構的感知質量(第3.5節)，以及學習到的下游任務表示的有用性(第3.6節)。最后，我們總結在第4節的挑戰和開放的問題，神經壓縮，可能會推動其未來的進展。

量子計算機是下一代設備，有望完成經典計算機無法完成的計算。實現這一目標的一種主要方法是通過量子機器學習，特別是量子生成學習。由于量子力學固有的概率性質，我們有理由假設量子生成學習模型(QGLMs)可能會超越經典模型。因此，QGLMs 越來越受到量子物理和計算機科學領域的關注，各種可以在近期量子機上高效實現且具有潛在計算優勢的QGLMs被提出。本文從機器學習的角度綜述了QGLMs 的研究進展。特別地，我們解釋了這些QGLMs ，包括量子電路Born機器、量子生成對抗網絡、量子玻爾茲曼機器和量子自編碼器，作為經典生成學習模型的量子擴展。在此背景下，我們探討它們的內在聯系和根本區別。我們進一步總結了QGLMs 在傳統機器學習任務和量子物理中的潛在應用。最后，我們討論了QGLMs 面臨的挑戰和進一步的研究方向。

//www.zhuanzhi.ai/paper/10f0db3781222d991dcdde521af288f6

在過去的十年中，深度生成學習模型(GLM)徹底改變了經典世界[1]，包括但不限于計算機視覺[2]、自然語言處理[3]和藥物發現[4]。GLM的空前成功源于深度神經網絡的強大力量，它可以有效地捕獲訓練數據的底層分布，然后從相同的分布中生成新的樣本。由于這一特性，GLM最近被用于解決量子物理科學中的基本問題。也就是說，GLM被用來解決量子物理[5]中遇到的“維度詛咒”。與傳統方法相比，該方法總體性能更好，泛化能力也有所提高。所有這些特征都有助于物理學家理解自然機制。

在設計先進的GLMs 和探索其潛在應用的同時，人工智能的另一個關鍵研究方向是尋找具有增強能力的下一代GLMs 。目前的挑戰是克服GLMs 的計算開銷，因為摩爾定律的極限接近[6]。為此，一個領先的解決方案是在量子計算機上執行GLMs ，這已經展示了強大的理論和實驗性能[7,8]。在這方面，研究人員做了大量工作來設計量子生成學習模型(QGLMs)，使其能夠在具有計算優勢的噪聲中尺度量子機器[9]上高效地進行。迄今為止，大量的研究已經證明了GLMs 在不同學習任務中的可行性，例如圖像生成[10]、量子態近似[11]和藥物設計[12]。

QGLMs 的快速發展需要對現有的工作進行系統的回顧，這將有利于計算機科學和量子物理社區的研究人員。為此，在本綜述中，我們通過深度生成學習的視角分析了QGLMs 的當前進展。最后，根據遺傳算法的典型協議，我們將遺傳算法分為四種類型:量子電路波恩機(QCBM)、量子生成對抗網絡(QGAN)、量子玻爾茲曼機(QBM)和量子自編碼器(QAE)。對于每種類型的QGLM，我們首先介紹其開創性工作及其與經典對應的固有關系，然后闡明其變體和在傳統機器學習和量子物理的潛在應用。據我們所知，這是在量子生成學習的背景下的第一次回顧。我們相信這項調查可以幫助不同背景的觀眾了解QGLMs的發展。

本次調研的結構如圖1所示。在第2節中，我們介紹了深度神經網絡的基本知識，典型的經典生成學習模型，量子計算和變分量子算法。在第3節中，我們系統地回顧了先前與QGLMs 相關的文獻，并解釋了它們與經典對應物的關系。根據QGLMs 的分類，本節包括四個子節，分別對QCBM、QGAN、QBM和QAE進行定位。在第4節中，我們討論了量子生成學習的挑戰和未來的方向。

經典和量子生成學習模型概述。左邊的面板說明了經典和量子生成學習的興趣數據分布。右邊的面板說明了經典和量子生成學習模型的類似工作機制(即，由經典神經網絡和量子神經網絡實現)。簡而言之，兩種學習模型的目的都是最小化它們生成的目標分布和估計分布之間的差異。最小化過程由經典優化器完成，該優化器不斷更新學習模型的可訓練參數。

來自牛津大學、弗萊堡大學、谷歌研究院等機構的十余位研究者撰文綜述 AutoRL。

強化學習 (RL) 與深度學習的結合帶來了一系列令人印象深刻的成果，許多人認為（深度）強化學習提供了通向通用智能體的途徑。然而，RL 智能體的成功通常對訓練過程中的設計選擇高度敏感，可能需要繁瑣且容易出錯的手動調整。這使得將 RL 用于新問題具有挑戰性，同時也限制了 RL 的全部潛力。

在機器學習的許多其他領域，AutoML 已經表明可以自動化此類設計選擇，并且在應用于 RL 時也產生了有希望的初步結果。然而，自動強化學習 (AutoRL) 不僅涉及 AutoML 的標準應用，還包括 RL 獨有的額外挑戰，這使得研究者自然而然地產生了一些不同的方法。

AutoRL 已成為 RL 研究的一個重要領域，為從 RNA 設計到圍棋等游戲的各種應用提供了希望。由于 RL 中考慮的方法和環境具有多樣性，因此許多研究都是在不同的子領域進行的。來自牛津大學、弗萊堡大學、谷歌研究院等機構的十余位研究者撰文試圖統一 AutoRL 領域，并提供了通用分類法，該研究詳細討論了每個領域并提出未來研究人員可能感興趣的問題。

【導讀】元學習旨在學會學習，是當下研究熱點之一。最近來自愛丁堡大學的學者發布了關于元學習最新綜述論文《Meta-Learning in Neural Networks: A Survey》，值得關注，詳述了元學習體系，包括定義、方法、應用、挑戰，成為不可缺少的文獻。

近年來，元學習領域，或者說“學會學習的學習”，引起了人們極大的興趣。與傳統的人工智能方法(使用固定的學習算法從頭開始解決給定的任務)不同，元學習的目的是改進學習算法本身，考慮到多次學習的經驗。這個范例提供了一個機會來解決深度學習的許多傳統挑戰，包括數據和計算瓶頸，以及泛化的基本問題。在這項綜述中，我們描述了當代元學習的景觀。我們首先討論元學習的定義，并將其定位于相關領域，如遷移學習、多任務學習和超參數優化。然后，我們提出了一個新的分類法，對元學習方法的空間進行了更全面的細分。我們綜述了元學習的一些有前途的應用和成功案例，包括小樣本學習、強化學習和體系架構搜索。最后，我們討論了突出的挑戰和未來研究的有希望的領域。

//arxiv.org/abs/2004.05439

概述

現代機器學習模型通常是使用手工設計的固定學習算法，針對特定任務從零開始進行訓練。基于深度學習的方法在許多領域都取得了巨大的成功[1,2,3]。但是有明顯的局限性[4]。例如，成功主要是在可以收集或模擬大量數據的領域，以及在可以使用大量計算資源的領域。這排除了許多數據本質上是稀有或昂貴的[5]，或者計算資源不可用的應用程序[6,7]。

元學習提供了另一種范式，機器學習模型可以在多個學習階段獲得經驗——通常覆蓋相關任務的分布——并使用這些經驗來改進未來的學習性能。這種“學會學習”[8]可以帶來各種好處，如數據和計算效率，它更適合人類和動物的學習[9]，其中學習策略在一生和進化時間尺度上都得到改善[10,9,11]。機器學習在歷史上是建立在手工設計的特征上的模型，而特征的選擇往往是最終模型性能的決定因素[12,13,14]。深度學習實現了聯合特征和模型學習的承諾[15,16]，為許多任務提供了巨大的性能改進[1,3]。神經網絡中的元學習可以看作是集成聯合特征、模型和算法學習的下一步。神經網絡元學習有著悠久的歷史[17,18,8]。然而，它作為推動當代深度學習行業前沿的潛力，導致了最近研究的爆炸性增長。特別是，元學習有可能緩解當代深度學習[4]的許多主要批評，例如，通過提供更好的數據效率，利用先驗知識轉移，以及支持無監督和自主學習。成功的應用領域包括:小樣本圖像識別[19,20]、無監督學習[21]、數據高效[22,23]、自導向[24]強化學習(RL)、超參數優化[25]和神經結構搜索(NAS)[26, 27, 28]。

在文獻中可以找到許多關于元學習的不同觀點。特別是由于不同的社區對這個術語的使用略有不同，所以很難定義它。與我們[29]相關的觀點認為，元學習是管理“沒有免費午餐”定理[30]的工具，并通過搜索最適合給定問題或問題族的算法(歸納偏差)來改進泛化。然而，從廣義上來說，這個定義可以包括遷移、多任務、特征選擇和模型集成學習，這些在今天通常不被認為是元學習。另一個關于元學習[31]的觀點廣泛地涵蓋了基于數據集特性的算法選擇和配置技術，并且很難與自動機器學習(AutoML)[32]區分開來。在這篇論文中，我們關注當代的神經網絡元學習。我們將其理解為算法或歸納偏差搜索，但重點是通過端到端學習明確定義的目標函數(如交叉熵損失、準確性或速度)來實現的。

因此，本文提供了一個獨特的，及時的，最新的調查神經網絡元學習領域的快速增長。相比之下，在這個快速發展的領域，以往的研究已經相當過時，或者關注于數據挖掘[29、33、34、35、36、37、31]、自動[32]的算法選擇，或者元學習的特定應用，如小樣本學習[38]或神經架構搜索[39]。

我們討論元學習方法和應用。特別是，我們首先提供了一個高層次的問題形式化，它可以用來理解和定位最近的工作。然后，我們在元表示、元目標和元優化器方面提供了一種新的方法分類。我們調查了幾個流行和新興的應用領域，包括少鏡頭、強化學習和架構搜索;并對相關的話題如遷移學習、多任務學習和自動學習進行元學習定位。最后，我們討論了尚未解決的挑戰和未來研究的領域。

未來挑戰：

-元泛化 元學習在不同任務之間面臨著泛化的挑戰，這與傳統機器學習中在不同實例之間進行泛化的挑戰類似。

• 任務分布的多模態特性
• 任務族
• 計算代價
• 跨模態遷移和異構任務

總結

元學習領域最近出現了快速增長的興趣。這帶來了一定程度的混亂，比如它如何與鄰近的字段相關聯，它可以應用到什么地方，以及如何對它進行基準測試。在這次綜述中，我們試圖通過從方法學的角度對這一領域進行徹底的調查來澄清這些問題——我們將其分為元表示、元優化器和元目標的分類;從應用的角度來看。我們希望這項調查將有助于新人和實踐者在這個不斷增長的領域中定位自己，并強調未來研究的機會。