亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要：卷積神經網絡在廣泛的應用中取得了優秀的表現，但巨大的資源消耗量使得其應用于移動端和嵌入式設備成為了挑戰。為了解決此類問題，需要對網絡模型在大小、速度和準確度方面做出平衡。首先，從模型是否預先訓練角度，簡要介紹了網絡壓縮與加速的兩類方法——神經網絡壓縮和緊湊的神經網絡。具體地，闡述了緊湊的神經網絡設計方法，展示了其中不同運算方式，強調了這些運算特點，并根據基礎運算不同，將其分為基于空間卷積的模型設計和基于移位卷積模型設計兩大類，然后每類分別選取三個網絡模型從基礎運算單元、核心構建塊和整體網絡結構進行論述。同時，分析了各網絡以及常規網絡在ImageNet數據集上的性能。最后，總結了現有的緊湊神經網絡設計技巧，并展望了未來的發展方向。

【導讀】元學習旨在學會學習，是當下研究熱點之一。最近來自愛丁堡大學的學者發布了關于元學習最新綜述論文《Meta-Learning in Neural Networks: A Survey》，值得關注，詳述了元學習體系，包括定義、方法、應用、挑戰，成為不可缺少的文獻。

近年來，元學習領域，或者說“學會學習的學習”，引起了人們極大的興趣。與傳統的人工智能方法(使用固定的學習算法從頭開始解決給定的任務)不同，元學習的目的是改進學習算法本身，考慮到多次學習的經驗。這個范例提供了一個機會來解決深度學習的許多傳統挑戰，包括數據和計算瓶頸，以及泛化的基本問題。在這項綜述中，我們描述了當代元學習的景觀。我們首先討論元學習的定義，并將其定位于相關領域，如遷移學習、多任務學習和超參數優化。然后，我們提出了一個新的分類法，對元學習方法的空間進行了更全面的細分。我們綜述了元學習的一些有前途的應用和成功案例，包括小樣本學習、強化學習和體系架構搜索。最后，我們討論了突出的挑戰和未來研究的有希望的領域。

//arxiv.org/abs/2004.05439

概述

現代機器學習模型通常是使用手工設計的固定學習算法，針對特定任務從零開始進行訓練。基于深度學習的方法在許多領域都取得了巨大的成功[1,2,3]。但是有明顯的局限性[4]。例如，成功主要是在可以收集或模擬大量數據的領域，以及在可以使用大量計算資源的領域。這排除了許多數據本質上是稀有或昂貴的[5]，或者計算資源不可用的應用程序[6,7]。

元學習提供了另一種范式，機器學習模型可以在多個學習階段獲得經驗——通常覆蓋相關任務的分布——并使用這些經驗來改進未來的學習性能。這種“學會學習”[8]可以帶來各種好處，如數據和計算效率，它更適合人類和動物的學習[9]，其中學習策略在一生和進化時間尺度上都得到改善[10,9,11]。機器學習在歷史上是建立在手工設計的特征上的模型，而特征的選擇往往是最終模型性能的決定因素[12,13,14]。深度學習實現了聯合特征和模型學習的承諾[15,16]，為許多任務提供了巨大的性能改進[1,3]。神經網絡中的元學習可以看作是集成聯合特征、模型和算法學習的下一步。神經網絡元學習有著悠久的歷史[17,18,8]。然而，它作為推動當代深度學習行業前沿的潛力，導致了最近研究的爆炸性增長。特別是，元學習有可能緩解當代深度學習[4]的許多主要批評，例如，通過提供更好的數據效率，利用先驗知識轉移，以及支持無監督和自主學習。成功的應用領域包括:小樣本圖像識別[19,20]、無監督學習[21]、數據高效[22,23]、自導向[24]強化學習(RL)、超參數優化[25]和神經結構搜索(NAS)[26, 27, 28]。

在文獻中可以找到許多關于元學習的不同觀點。特別是由于不同的社區對這個術語的使用略有不同，所以很難定義它。與我們[29]相關的觀點認為，元學習是管理“沒有免費午餐”定理[30]的工具，并通過搜索最適合給定問題或問題族的算法(歸納偏差)來改進泛化。然而，從廣義上來說，這個定義可以包括遷移、多任務、特征選擇和模型集成學習，這些在今天通常不被認為是元學習。另一個關于元學習[31]的觀點廣泛地涵蓋了基于數據集特性的算法選擇和配置技術，并且很難與自動機器學習(AutoML)[32]區分開來。在這篇論文中，我們關注當代的神經網絡元學習。我們將其理解為算法或歸納偏差搜索，但重點是通過端到端學習明確定義的目標函數(如交叉熵損失、準確性或速度)來實現的。

因此，本文提供了一個獨特的，及時的，最新的調查神經網絡元學習領域的快速增長。相比之下，在這個快速發展的領域，以往的研究已經相當過時，或者關注于數據挖掘[29、33、34、35、36、37、31]、自動[32]的算法選擇，或者元學習的特定應用，如小樣本學習[38]或神經架構搜索[39]。

我們討論元學習方法和應用。特別是，我們首先提供了一個高層次的問題形式化，它可以用來理解和定位最近的工作。然后，我們在元表示、元目標和元優化器方面提供了一種新的方法分類。我們調查了幾個流行和新興的應用領域，包括少鏡頭、強化學習和架構搜索;并對相關的話題如遷移學習、多任務學習和自動學習進行元學習定位。最后，我們討論了尚未解決的挑戰和未來研究的領域。

未來挑戰：

-元泛化 元學習在不同任務之間面臨著泛化的挑戰，這與傳統機器學習中在不同實例之間進行泛化的挑戰類似。

• 任務分布的多模態特性
• 任務族
• 計算代價
• 跨模態遷移和異構任務

總結

元學習領域最近出現了快速增長的興趣。這帶來了一定程度的混亂，比如它如何與鄰近的字段相關聯，它可以應用到什么地方，以及如何對它進行基準測試。在這次綜述中，我們試圖通過從方法學的角度對這一領域進行徹底的調查來澄清這些問題——我們將其分為元表示、元優化器和元目標的分類;從應用的角度來看。我們希望這項調查將有助于新人和實踐者在這個不斷增長的領域中定位自己，并強調未來研究的機會。

主題： TOPOLOGY OF DEEP NEURAL NETWORKS

摘要： 我們研究數據集M=Ma∪Mb?Rd的拓撲結構如何表示二進制分類問題中的兩個類別a和b，如何通過經過良好訓練的神經網絡的層而發生變化，即在訓練集和接近零的泛化誤差（≈0.01％）。目的是揭示深層神經網絡的兩個奧秘：（i）像ReLU這樣的非平滑激活函數要優于像雙曲正切這樣的平滑函數； （ii）成功的神經網絡架構依賴于多層結構，即使淺層網絡可以很好地近似任意函數。我們對大量點云數據集的持久同源性進行了廣泛的實驗，無論是真實的還是模擬的。結果一致地證明了以下幾點：（1）神經網絡通過更改拓撲結構來運行，將拓撲復雜的數據集在穿過各層時轉換為拓撲簡單的數據集。無論M的拓撲多么復雜，當通過訓練有素的神經網絡f：Rd→Rp時，Ma和Mb的貝蒂數都會大大減少；實際上，它們幾乎總是減小到可能的最低值：對于k≥1和β0（f（Mi））= 1，i = a，b，βk（f（Mi））= 0。此外，（2）ReLU激活的Betti數減少比雙曲線切線激活快得多，因為前者定義了改變拓撲的非同胚映射，而后者定義了保留拓撲的同胚映射。最后，（3）淺層和深層網絡以不同的方式轉換數據集-淺層網絡主要通過更改幾何結構并僅在其最終層中更改拓撲來運行，而深層網絡則將拓撲變化更均勻地分布在所有層中。

題目： Meta-Learning in Neural Networks: A Survey

簡介： 近年來，元學習領域的興趣急劇上升。與使用固定學習算法從頭解決給定任務的傳統AI方法相反，元學習旨在根據多次學習事件的經驗來改善學習算法本身。這種范例為解決深度學習的許多傳統挑戰提供了機會，包括數據和計算瓶頸以及泛化的基本問題。在本次調查中，我們描述了當代的元學習環境。我們首先討論元學習的定義，并將其相對于相關領域（例如轉移學習，多任務學習和超參數優化）進行定位。然后，我們提出了一種新的分類法，該分類法為當今的元學習方法提供了更為全面的細分。我們調查了元學習的有希望的應用程序和成功案例，包括，強化學習和架構搜索。最后，我們討論了未來研究的突出挑戰和有希望的領域。

題目： A Survey of the Recent Architectures of Deep Convolutional Neural Networks

摘要：

深度卷積神經網絡(CNNs)是一種特殊類型的神經網絡，在計算機視覺和圖像處理等領域的多項競賽中均有出色的表現。CNN有趣的應用領域包括圖像分類與分割、目標檢測、視頻處理、自然語言處理、語音識別等。深度卷積神經網絡強大的學習能力很大程度上是由于它使用了多個特征提取階段，可以從數據中自動學習表示。大量數據的可用性和硬件技術的改進加速了CNNs的研究，最近出現了非常有趣的深度卷積神經網絡架構。事實上，人們已經探索了幾個有趣的想法來促進CNNs的發展，比如使用不同的激活和丟失函數、參數優化、正則化和架構創新。然而，深度卷積神經網絡的代表性能力的主要提升是通過架構上的創新實現的。特別是利用空間和信道信息、建筑的深度和寬度以及多路徑信息處理的思想得到了廣泛的關注。同樣，使用一組層作為結構單元的想法也越來越流行。因此，本次調查的重點是最近報道的深度CNN架構的內在分類，因此，將CNN架構的最新創新分為七個不同的類別。這七個類別分別基于空間開發、深度、多路徑、寬度、特征圖開發、通道提升和注意力。對CNN的組成部分、當前CNN面臨的挑戰和應用進行了初步的了解。

題目： Review: deep learning on 3D point clouds

簡介：

點云是在三維度量空間中定義的點集。點云已經成為三維表示中最重要的數據格式之一。由于激光雷達等獲取設備的可用性增加以及機器人、自動駕駛、增強和虛擬現實等領域的應用增加，它越來越受歡迎。深度學習現在是計算機視覺中最強大的數據處理工具，成為分類、分割和檢測等任務的首選技術。深度學習技術主要應用于具有結構化網格的數據，而點云則是非結構化的。點云的無結構使得深度學習直接處理點云非常具有挑戰性。早期的方法通過將點云預處理成結構化的網格格式來克服這一挑戰，代價是計算成本的增加或深度信息的丟失。然而，最近許多先進的深度學習技術正在開發中，這些技術可以直接操作點云。這篇論文包含了對當前最先進的深度學習技術的調查，這些技術主要集中在點云數據上。我們首先簡要地討論了在點云上直接使用深度學習所面臨的主要挑戰，我們還簡要地討論了通過將點云預處理成結構化網格來克服這些挑戰的早期方法。然后，我們回顧了各種先進的深度學習方法，直接處理點云的非結構化形式。我們介紹了流行的3D點云基準數據集。我們還進一步討論了深度學習在當前流行的三維視覺任務中的應用，包括分類、分割和檢測。

作者：

王程，福建省特支“雙百計劃”入選者、福建省科技創新領軍人才、廈門大學計算機科學系教授、博士生導師、副院長。研究方向：三維視覺，空間大數據分析，激光雷達，虛擬/增強現實。個人主頁：

題目： A Survey on Distributed Machine Learning

簡介： 在過去十年中，對人工智能的需求已顯著增長，并且這種增長得益于機器學習技術的進步以及利用硬件加速的能力，但是，為了提高預測質量并在復雜的應用程序中提供可行的機器學習解決方案，需要大量的訓練數據。盡管小型機器學習模型可以使用一定數量的數據進行訓練，但用于訓練較大模型（例如神經網絡）的輸入與參數數量成指數增長。由于處理訓練數據的需求已經超過了計算機器的計算能力的增長，因此急需在多個機器之間分配機器學習工作量，并將集中式的精力分配到分配的系統上。這些分布式系統提出了新的挑戰，最重要的是訓練過程的科學并行化和相關模型的創建。本文通過概述傳統的（集中的）機器學習方法，探討了分布式機器學習的挑戰和機遇，從而對當前的最新技術進行了廣泛的概述，并對現有的技術進行研究。

A Survey of Model Compression and Acceleration for Deep Neural Networks 深度卷積神經網絡(CNNs)最近在許多視覺識別任務中取得了巨大的成功。然而，現有的深度神經網絡模型在計算上是昂貴的和內存密集型的，這阻礙了它們在低內存資源的設備或有嚴格時間延遲要求的應用程序中的部署。因此，在不顯著降低模型性能的情況下，在深度網絡中進行模型壓縮和加速是一種自然的思路。在過去幾年中，這方面取得了巨大的進展。本文綜述了近年來發展起來的壓縮和加速CNNs模型的先進技術。這些技術大致分為四種方案: 參數剪枝和共享、低秩因子分解、傳輸/緊湊卷積過濾器和知識蒸餾。首先介紹參數修剪和共享的方法，然后介紹其他技術。對于每種方案，我們都提供了關于性能、相關應用程序、優點和缺點等方面的詳細分析。然后我們將討論一些最近比較成功的方法，例如，動態容量網絡和隨機深度網絡。然后，我們調查評估矩陣、用于評估模型性能的主要數據集和最近的基準測試工作。最后，對全文進行總結，并對今后的研究方向進行了展望。

題目： Understanding Deep Learning Techniques for Image Segmentation

簡介： 機器學習已被大量基于深度學習的方法所淹沒。各種類型的深度神經網絡（例如卷積神經網絡，遞歸網絡，對抗網絡，自動編碼器等）有效地解決了許多具有挑戰性的計算機視覺任務，例如在不受限制的環境中對對象進行檢測，定位，識別和分割。盡管有很多關于對象檢測或識別領域的分析研究，但相對于圖像分割技術，出現了許多新的深度學習技術。本文從分析的角度探討了圖像分割的各種深度學習技術。這項工作的主要目的是提供對圖像分割領域做出重大貢獻的主要技術的直觀理解。從一些傳統的圖像分割方法開始，本文進一步描述了深度學習對圖像分割域的影響。此后，大多數主要的分割算法已按照專用于其獨特貢獻的段落進行了邏輯分類。