亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文綜述了元學習在圖像分類、自然語言處理和機器人技術等領域的應用。與深度學習不同，元學習使用較少的樣本數據集，并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類: 黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合，以提供可行的集成問題解決方案。介紹了元學習方法的性能比較，并討論了今后的研究方向。

深度神經網絡最近展示了其解決復雜任務的驚人能力。如今的模型使用功能強大的GPU卡在數百萬個示例上進行訓練，能夠可靠地對圖像進行注釋、翻譯文本、理解口語或玩國際象棋或圍棋等戰略性游戲。此外，深度學習也將成為未來許多技術的組成部分，例如自動駕駛、物聯網(IoT)或5G網絡。特別是隨著物聯網的出現，智能設備的數量在過去幾年里迅速增長。這些設備中有許多都配備了傳感器，使它們能夠以前所未有的規模收集和處理數據。這為深度學習方法提供了獨特的機會。

然而，這些新的應用程序帶有許多附加的約束和要求，這些約束和要求限制了當前模型的開箱即用。

1. 嵌入式設備、物聯網設備和智能手機的內存和存儲容量有限，能源資源有限. 像VGG-16這樣的深度神經網絡需要超過500 MB的內存來存儲參數，執行單次向前傳遞需要15 gb的操作。很明顯，這些模型的當前(未壓縮的)形式不能在設備上使用。

2. 訓練數據通常分布在設備上，由于隱私問題或有限的資源(帶寬)，無法簡單地在中央服務器上收集. 由于只有少量數據點的模型的局部訓練通常不太有希望，因此需要新的協作訓練方案來將深度學習的能力引入這些分布式應用程序。

本教程將討論最近提出的解決這兩個問題的技術。我們將首先簡要介紹深度學習，它的當前使用和今天的模型在計算和內存復雜性、能源效率和分布式環境方面的局限性。我們將強調解決這些問題的實際需要，并討論實現這一目標的最新進展，包括ITU ML5G和MPEG AHG CNNMCD正在開展的標準化活動。

然后我們將進入神經網絡壓縮的話題。我們將首先簡要介紹源編碼和信息論的基本概念，包括速率失真理論、量化、熵編碼和最小描述長度原則。這些概念需要形式化的神經網絡壓縮問題。然后我們將繼續討論壓縮DNNs的具體技術。為此，我們將區分壓縮過程的不同步驟，即剪枝和稀疏化、量化和熵編碼。前兩步是有損的，而最后一步是無損的。由于縮小尺寸并不是神經網絡壓縮的唯一目標(例如，快速推理、能源效率是其他目標)，我們還將討論有效推理的方法，包括最近提出的神經網絡格式。最后，我們將介紹一個用例，即設備上的語音識別，演示如何在實際應用中使用壓縮方法。

最后我們將介紹分布式學習的最新發展。我們提出了不同的分布式訓練場景，并根據它們的通信特性進行了比較。接下來，我們將重點討論聯邦學習。我們列舉了聯邦學習中存在的挑戰——通信效率、數據異構性、隱私、個性化、健壯性——并提出了解決這些挑戰的方法。我們特別關注為減少分布式學習中的通信開銷而提出的技術，并討論集群化FL，這是一種與模型無關的分布式多任務優化的新方法。這里我們將強調本教程第一部分中介紹的概念的相似性，即稀疏化、量化和編碼。

目錄：

1. 介紹

• 目前使用的深度學習
• 現有模型和新應用的實際局限性
• 研究、工業和標準化方面的最新發展

2. 神經網絡壓縮

• 背景:資料編碼、信息論
• 修剪和稀疏化方法
• 量化和定點推理
• 神經網絡格式
• 用例研究:設備上的語音識別

3.問題 4. 休息時間 5. 分布式學習

• 背景:SGD，學習理論
• 聯邦和分布式學習的基本概念
• 減少通信開銷和連接到NN壓縮
• 聯邦學習和差異隱私
• 集群聯合學習

7. 問題

深度神經網絡(DNNs)在許多計算機視覺任務中是成功的。然而，最精確的DNN需要數以百萬計的參數和操作，這使得它們需要大量的能量、計算和內存。這就阻礙了大型DNN在計算資源有限的低功耗設備中的部署。最近的研究改進了DNN模型，在不顯著降低精度的前提下，降低了內存需求、能耗和操作次數。本文綜述了低功耗深度學習和計算機視覺在推理方面的研究進展，討論了壓縮和加速DNN模型的方法。這些技術可以分為四大類:(1)參數量化和剪枝;(2)壓縮卷積濾波器和矩陣分解;(3)網絡結構搜索;(4)知識提取。我們分析了每一類技術的準確性、優點、缺點和潛在的問題解決方案。我們還討論了新的評價指標，作為今后研究的指導。

題目： 機器學習的隱私保護研究綜述

簡介：

大規模數據收集大幅提升了機器學習算法的性能,實現了經濟效益和社會效益的共贏,但也令個人隱私保護面臨更大的風險與挑戰．機器學習的訓練模式主要分為集中學習和聯邦學習２類,前者在模型訓練前需統一收集各方數據,盡管易于部署,卻存在極大數據隱私與安全隱患;后者實現了將各方數據保留在本地的同時進行模型訓練,但該方式目前正處于研究的起步階段,無論在技術還是部署中仍面臨諸多問題與挑戰．現有的隱私保護技術研究大致分為２條主線,即以同態加密和安全多方計算為代表的加密方法和以差分隱私為代表的擾動方法,二者各有利弊．為綜述當前機器學習的隱私問題,并對現有隱私保護研究工作進行梳理和總結,首先分別針對傳統機器學習和深度學習２類情況,探討集中學習下差分隱私保護的算法設計;之后概述聯邦學習中存的隱私問題及保護方法;最后總結目前隱私保護中面臨的主要挑戰,并著重指出隱私保護與模型可解釋性研究、數據透明之間的問題與聯系．

【簡介】自然語言處理(NLP)能夠幫助智能型機器更好地理解人類的語言，實現基于語言的人機交流。目前隨著計算能力的發展和大量語言數據的出現，推動了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域取得了顯著的進步，數據驅動策略的應用已經非常的普遍。本綜述對NLP領域中所應用的深度學習進行了分類和討論。它涵蓋了NLP的核心任務和應用領域，并對深度學習方法如何推進這些領域的發展進行了細致的描述。最后我們進一步分析和比較了不同的方法和目前最先進的模型。

原文連接：//arxiv.org/abs/2003.01200

介紹

自然語言處理（NLP）是計算機科學的一個分支，能夠為自然語言和計算機之間提高溝通的橋梁。它幫助機器理解、處理和分析人類語言。NLP通過深入地理解數據的上下文，使得數據變得更有意義，這反過來又促進了文本分析和數據挖掘。NLP通過人類的通信結構和通信模式來實現這一點。這篇綜述涵蓋了深度學習在NLP領域中所扮演的新角色以及各種應用。我們的研究主要集中在架構上，很少討論具體的應用程序。另一方面，本文描述了將深度學習應用于NLP問題中時所面臨的挑戰、機遇以及效果評估方式。

章節目錄

section 2: 在理論層面介紹了NLP和人工智能，并將深度學習視為解決現實問題的一種方法。

section 3:討論理解NLP所必需的基本概念，包括各種表示法、模型框架和機器學習中的示例性問題。

section 4:總結了應用在NLP領域中的基準數據集。

section 5:重點介紹一些已經被證明在NLP任務中有顯著效果的深度學習方法。

section 6:進行總結，同時解決了一些開放的問題和有希望改善的領域。

題目： Natural Language Processing Advancements By Deep Learning: A Survey

摘要： 自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。算力的最新發展和語言大數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。

【導讀】分布式機器學習Distributed Machine Learning是學術界和工業界關注的焦點。最近來自荷蘭的幾位研究人員撰寫了關于分布式機器學習的綜述，共33頁pdf和172篇文獻，概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

?論文地址： //www.zhuanzhi.ai/paper/161029da3ed8b6027a1199c026df7d07 ?

摘要 在過去的十年里，對人工智能的需求顯著增長，而機器學習技術的進步和利用硬件加速的能力推動了這種增長。然而，為了提高預測的質量并使機器學習解決方案在更復雜的應用中可行，需要大量的訓練數據。雖然小的機器學習模型可以用少量的數據進行訓練，但訓練大模型(如神經網絡)的輸入隨著參數的數量呈指數增長。由于處理訓練數據的需求已經超過了計算機器計算能力的增長，因此需要將機器學習的工作負載分布到多臺機器上，并將集中式的學習任務轉換為分布式系統。這些分布式系統提出了新的挑戰，首先是訓練過程的有效并行化和一致模型的創建。本文概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

1. 引言

近年來，新技術的快速發展導致了數據采集的空前增長。機器學習(ML)算法正越來越多地用于分析數據集和構建決策系統，因為問題的復雜性，算法解決方案是不可行的。例如控制自動駕駛汽車[23]，識別語音[8]，或者預測消費者行為[82]。

在某些情況下，訓練模型的長時間運行會引導解決方案設計者使用分布式系統來增加并行性和I/O帶寬總量，因為復雜應用程序所需的訓練數據很容易達到tb級的[29]。在其他情況下，當數據本身就是分布式的，或者數據太大而不能存儲在一臺機器上時，集中式解決方案甚至都不是一個選項。例如，大型企業對存儲在不同位置的[19]的數據進行事務處理，或者對大到無法移動和集中的天文數據進行事務處理[125]。

為了使這些類型的數據集可作為機器學習問題的訓練數據，必須選擇和實現能夠并行計算、數據分布和故障恢復能力的算法。在這一領域進行了豐富多樣的研究生態系統，我們將在本文中對其進行分類和討論。與之前關于分布式機器學習([120][124])或相關領域的調查([153][87][122][171][144])相比，我們對該問題應用了一個整體的觀點，并從分布式系統的角度討論了最先進的機器學習的實踐方面。

第2節深入討論了機器學習的系統挑戰，以及如何采用高性能計算(HPC)的思想來加速和提高可擴展性。第3節描述了分布式機器學習的參考體系結構，涵蓋了從算法到網絡通信模式的整個堆棧，這些模式可用于在各個節點之間交換狀態。第4節介紹了最廣泛使用的系統和庫的生態系統及其底層設計。最后，第5節討論了分布式機器學習的主要挑戰

2. 機器學習——高性能計算的挑戰?

近年來，機器學習技術在越來越復雜的應用中得到了廣泛應用。雖然出現了各種相互競爭的方法和算法，但所使用的數據表示在結構上驚人地相似。機器學習工作負載中的大多數計算都是關于向量、矩陣或張量的基本轉換——這是線性代數中眾所周知的問題。優化這些操作的需求是高性能計算社區數十年來一個非常活躍的研究領域。因此，一些來自HPC社區的技術和庫(如BLAS[89]或MPI[62])已經被機器學習社區成功地采用并集成到系統中。與此同時，HPC社區已經發現機器學習是一種新興的高價值工作負載，并開始將HPC方法應用于它們。Coates等人，[38]能夠在短短三天內，在他們的商用現貨高性能計算(COTS HPC)系統上訓練出一個10億個參數網絡。You等人[166]在Intel的Knights Landing(一種為高性能計算應用而設計的芯片)上優化了神經網絡的訓練。Kurth等人[84]證明了像提取天氣模式這樣的深度學習問題如何在大型并行高性能計算系統上進行優化和快速擴展。Yan等人[163]利用借鑒于HPC的輕量級概要分析等技術對工作負載需求進行建模，解決了在云計算基礎設施上調度深度神經網絡應用程序的挑戰。Li等人[91]研究了深度神經網絡在加速器上運行時對硬件錯誤的彈性特性，加速器通常部署在主要的高性能計算系統中。

與其他大規模計算挑戰一樣，加速工作負載有兩種基本的、互補的方法:向單個機器添加更多資源(垂直擴展或向上擴展)和向系統添加更多節點(水平擴展或向外擴展)。

3. 一個分布式機器學習的參考架構

圖1 機器學習的概述。在訓練階段，利用訓練數據和調整超參數對ML模型進行優化。然后利用訓練后的模型對輸入系統的新數據進行預測。

圖2 分布式機器學習中的并行性。數據并行性在di上訓練同一個模型的多個實例!模型并行性將單個模型的并行路徑分布到多個節點。

機器學習算法

機器學習算法學習根據數據做出決策或預測。我們根據以下三個特征對當前的ML算法進行了分類:

反饋、在學習過程中給算法的反饋類型

目的、期望的算法最終結果

方法、給出反饋時模型演化的本質

反饋 訓練算法需要反饋，這樣才能逐步提高模型的質量。反饋有幾種不同類型[165]:

包括 監督學習、無監督學習、半監督學習與強化學習

目的 機器學習算法可用于各種各樣的目的，如對圖像進行分類或預測事件的概率。它們通常用于以下任務[85]: 異常檢測、分類、聚類、降維、表示學習、回歸

每一個有效的ML算法都需要一種方法來迫使算法根據新的輸入數據進行改進，從而提高其準確性。通過算法的學習方式，我們識別出了不同的ML方法組: 演化算法、隨機梯度下降、支持向量機、感知器、神經網絡、規則機器學習、主題模型、矩陣分解。

圖3所示：基于分布程度的分布式機器學習拓撲

4. 分布式機器學習生態系統

圖4所示。分布式機器學習生態系統。通用分布式框架和單機ML系統和庫都在向分布式機器學習靠攏。云是ML的一種新的交付模型。

5 結論和當前的挑戰

分布式機器學習是一個蓬勃發展的生態系統，它在體系結構、算法、性能和效率方面都有各種各樣的解決方案。為了使分布式機器學習在第一時間成為可行的，必須克服一些基本的挑戰，例如，建立一種機制，使數據處理并行化，同時將結果組合成一個單一的一致模型。現在有工業級系統,針對日益增長的欲望與機器學習解決更復雜的問題,分布式機器學習越來越普遍和單機解決方案例外,類似于數據處理一般發展在過去的十年。然而，對于分布式機器學習的長期成功來說，仍然存在許多挑戰：性能、容錯、隱私、可移植性等。

題目： Convergence of Edge Computing and Deep Learning: A Comprehensive Survey

簡介： 來自工廠和社區的傳感器和智能設備正在生成大量數據，而不斷增長的計算能力正在將計算和服務的核心從云端驅動到網絡邊緣。作為廣泛改變人們生活的重要推動力，從人臉識別到智能工廠和城市，基于人工智能（尤其是深度學習，DL）的應用程序和服務的發展正在蓬勃發展。但是，由于效率和延遲問題，當前的云計算服務體系結構阻礙了“為每個地方的每個人和每個組織提供人工智能”的愿景。因此，使用在數據源附近的網絡邊緣的資源來釋放DL服務已經成為一種理想的解決方案。因此，旨在通過邊緣計算促進DL服務部署的邊緣智能已引起了廣泛關注。此外，作為人工智能的代表技術的DL可以集成到邊緣計算框架中，以構建用于動態，自適應邊緣維護和管理的智能邊緣。關于互惠互利的邊緣智能和智能邊緣，本文介紹和討論：1）兩者的應用場景； 2）實際的實現方法和使能技術，即定制邊緣計算框架中的DL訓練； 3）現有挑戰以及更普遍，更精細的智能化趨勢。通過整合散布在通信，網絡和DL領域的信息，可以幫助讀者理解支持技術之間的聯系，同時促進對邊緣智能與智能邊緣融合的進一步討論。

論文題目： A Survey on Edge Computing Systems and Tools

論文摘要： 在物聯網和5G通信的愿景驅動下，邊緣計算系統在網絡邊緣集成了計算，存儲和網絡資源，以提供計算基礎架構，從而使開發人員能夠快速開發和部署邊緣應用程序。 如今，邊緣計算系統已在業界和學術界引起了廣泛關注。 為了探索新的研究機會并幫助用戶選擇適合特定應用的邊緣計算系統，本調查報告對現有邊緣計算系統進行了全面概述，并介紹了代表性的項目。 根據開放源代碼工具的適用性進行了比較。 最后，我們重點介紹了邊緣計算系統的能源效率和深度學習優化。 本次調查還研究了用于分析和設計邊緣計算系統的未解決問題。

近年來，移動設備得到了越來越大的發展，計算能力越來越強，存儲空間越來越大。一些計算密集型的機器學習和深度學習任務現在可以在移動設備上運行。為了充分利用移動設備上的資源，保護用戶的隱私，提出了移動分布式機器學習的思想。它使用本地硬件資源和本地數據來解決移動設備上的機器學習子問題，只上傳計算結果而不是原始數據來幫助全局模型的優化。該體系結構不僅可以減輕服務器的計算和存儲負擔，而且可以保護用戶的敏感信息。另一個好處是帶寬的減少，因為各種各樣的本地數據現在可以參與培訓過程，而不需要上傳到服務器。本文對移動分布式機器學習的研究現狀進行了綜述。我們調查了一些廣泛使用的移動分布式機器學習方法。我們還就這一領域的挑戰和未來方向進行了深入的討論。我們相信這項調查能夠清晰地展示移動分布式機器學習的概況，并為移動分布式機器學習在實際應用中的應用提供指導。