亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度神經網絡(DNNs)使計算機能夠在許多不同的應用中脫穎而出，如圖像分類、語音識別和機器人控制。為了加快DNN的訓練和服務，并行計算被廣泛采用。向外擴展時，系統效率是一個大問題。在這次演講中，我將對分布式DNN訓練和服務中更好的系統效率提出三個論點。

首先，對于模型同步，Ring All-Reduce不是最優的，但Blink是。通過打包生成樹而不是形成環，Blink可以在任意網絡環境中實現更高的靈活性，并提供近乎最優的網絡吞吐量。Blink是一項美國專利，目前正在被微軟使用。Blink獲得了許多業內人士的關注，比如Facebook(分布式PyTorch團隊)、字節跳動(TikTok應用的母公司)。Blink還登上了英偉達GTC中國2019以及百度、騰訊等的新聞。

其次，通過sensAI的類并行性可以消除通信。sensAI將多任務模型解耦到斷開的子網中，每個子網負責單個任務的決策。sensAI的低延遲、實時模式服務吸引了灣區的幾家風險投資公司。

第三，小波變換比分組調度更有效。通過有意地增加任務啟動延遲，小波變換在加速器上不同訓練波的內存使用峰值之間交錯，從而提高了計算和設備上的內存使用。

【伯克利Guanhua Wang博士論文】分布式機器學習系統的顛覆性研究

分形計算系統

在許多領域，編程成本已經成為阻礙計算機技術應用發展的主要瓶頸問 題：超級計算機性能走向百億億次級別，然而現代超級計算機發展趨勢是采用 異構運算部件，導致編程困難的問題越來越嚴峻；在物端邊緣計算領域，設備 數量和種類呈現爆炸式增長，而應用程序開發者不可能針對上百億種異構設 備進行編程，產生了“昆蟲綱悖論”；在機器學習領域，編程框架 TensorFlow 的代碼規模已經突破 400 萬行，為機器學習或深度學習開發領域特定加速器產 品的主要成本已經來源于配套軟件生態的研發。

編程難題包括并行編程難、異構編程難、大規模系統編程難、跨系統編程 難等諸多表現形式。學位論文擬提出分形計算概念，通過分形計算系統的研究 以回應編程難題；具體來說，分形計算系統針對來源于“編程-規模相關性”的 編程難題提供了解決方案。具體貢獻包括：

? 提出分形計算模型（FPM），一種采用了層次同性原理的通用并行計算 模型。分形計算模型具有編程-規模無關性，是一種串行編程、并行執 行的模型。使用者只需編寫串行的程序，該計算模型可以自動展開至任 意規模的系統上并行執行，因此可以在通用領域解決來源于編程-規模 相關性的編程難題。

? 提出分形馮·諾伊曼體系結構（FvNA），一種采用了層次同性原理的專 用并行體系結構。相同任務負載在不同規模的分形馮·諾依曼體系結構 計算機上可以分別自動展開、執行，因此可以做到對一系列不同規模的 計算機僅需進行一次編程。以機器學習領域專用體系結構為例，本文實 現了一系列分形機器學習計算機 Cambricon-F，以解決機器學習計算機 編程困難的問題。實驗結果表明，Cambricon-F 在改善了編程生產率的 同時，還能獲得不劣于 GPU 系統的性能和能效。

? 提出可重配分形指令集結構（FRISA），一種按照分形計算模型設計的 分形計算機指令集結構。分形可重配指令集結構能夠在分形馮·諾依曼 體系結構計算機上定義任意的分形運算，因此可以支持實現分形計算模型，形成通用分形馮·諾依曼體系結構計算機。以機器學習領域專用體 系結構為例，本文在 Cambricon-F 的基礎上實現了一系列可重配的分形 機器學習計算機 Cambricon-FR，以解決 Cambricon-F 在新興機器學習應 用上遇到的失效現象。實驗結果表明，Cambricon-FR 在解決了失效現 象、提高系統運行效率的同時，還能通過定義分形擴展指令縮短描述應 用所需的分形指令串的長度。

在現代人工智能中，大規模深度學習模型已經成為許多重要互聯網業務背后的核心技術，如搜索/廣告/推薦系統/CV/NLP。BERT、Vision Transformer、GPT-3和Switch Transformer模型將模型規模擴大到10億甚至數萬個參數，幾乎所有學習任務的準確性都得到了顯著提高。使用云集群的分布式訓練是及時成功地訓練此類大規模模型的關鍵。開發更先進的分布式訓練系統和算法既可以降低能源成本，也可以讓我們訓練更大的模型。此外，開發像聯邦學習這樣的顛覆性學習模式也至關重要，它不僅可以保護用戶的隱私，還可以分擔處理前所未有的大數據和模型的負載。這次演講將主要關注大規模模型的分布式ML系統:云集群的動態分布式訓練(//DistML.ai)和邊緣設備的大規模聯合學習()。在第一部分中，我將介紹PipeTransformer，這是一種用于分布式訓練Transformer模型(BERT和ViT)的自動化彈性管道。在PipeTransformer中，我們設計了自適應的飛凍結算法，可以在訓練過程中逐步識別和凍結部分層，并設計了彈性流水線系統，可以動態減少GPU資源來訓練剩余的激活層，并在已釋放的GPU資源上分叉更多的管道，以擴大數據并行度的寬度。第二部分，我將討論可擴展的聯邦學習，用于在資源受限的邊緣設備和FedML生態系統上訓練大型模型，其目標是針對CV NLP、GraphNN和IoT等多種AI應用在邊緣進行無處不在的分布式訓練。

地址：

作者： Chaoyang He，美國洛杉磯南加州大學計算機科學系博士研究生

幾十年來，不斷增長的計算能力一直是許多技術革命背后的推動力，包括最近在人工智能方面的進步。然而，由于集成電路進程規模的放緩，對于系統架構師來說，要繼續滿足當今應用不斷增長的計算需求，他們現在必須采用具有專門加速器的異構系統。

然而，建構這些加速器系統是極其昂貴和耗時的。首先，硬件的開發周期是出了名的長，這使得它很難跟上算法的快速發展。同時，現有的編譯器無法導航由新型加速器架構暴露的棘手映射空間。最后算法的設計通常沒有將硬件效率作為關鍵指標，因此，在設計高效硬件方面提出了額外的挑戰。

本文解決了聯合設計和優化算法、調度和加速硬件設計的重大挑戰。我們的目標是通過三管齊下的方法來推進最先進的技術: 開發從高層抽象自動生成加速器系統的方法和工具，縮短硬件開發周期; 適應機器學習和其他優化技術，以改進加速器的設計和編譯流程; 以及協同設計算法和加速器，以開發更多的優化機會。

本文的目標應用領域是深度學習，它在計算機視覺、神經語言處理等廣泛的任務中取得了前所未有的成功。隨著智能設備的普及，可以預見，深度學習將成為我們日常生活中的主要計算需求。因此，本文旨在通過硬件加速進行端到端系統優化，釋放前沿深度學習算法的普遍采用，改變生活的各個方面。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html

大規模數據中心帶寬分配與流量調度技術研究

隨著互聯網和計算機技術的發展,基于互聯網提供的各種應用和服務也越來越多了。作為這些應用服務載體的數據中心,其建設需求也在不斷增加。然而,在數據中心發展的過程中,還面臨著諸多亟待解決的關鍵科學問題和挑戰。本論文主要關注大規模數據中心中帶寬資源受限、帶寬資源分散、流量總量巨大、流量時空變化這四類挑戰,在總結現有方法和研究成果的基礎之上,圍繞數據中心內的流量、數據中心間的流量、以及用戶服務請求這三個研究主體,展開對帶寬分配和流量調度這兩類問題的研究,具體的研究內容和貢獻如下:

在數據中心內部,集群計算應用觸發的流量顯著增加,從而使得鏈路帶寬經常成為稀缺資源。為此,本文針對多種集群計算框架共享同一數據中心網絡所引發的鏈路帶寬傾斜使用、帶寬資源非彈性使用、以及應用完成時間被延長這三方面的后果,研究跨集群計算框架的帶寬分配和流量調度問題,以實現高鏈路帶寬利用率和低應用完成時間的雙重目標。在帶寬分配方面,本文提出了虛擬鏈路組抽象模型,以構建虛擬帶寬資源共享池,并據此設計了三層帶寬分配方法,從而保障應用的網絡性能,并實現帶寬資源在集群計算框架間的彈性共享。在流量調度方面,本文設計了虛擬鏈路組依賴關系圖,并提出了一個近似比為3/2的鏈路選擇算法,從而實現負載均衡化的流量調度,并同時緩解鏈路帶寬傾斜使用的情況。實驗結果表明本文所提出的方法能夠大幅降低應用完成時間,且提高鏈路帶寬資源利用率。

在數據中心間,本文主要圍繞成本和性能兩個目標來展開針對數據中心間流量的帶寬分配和流量調度問題研究。首先,在成本方面,本文發現Internet服務供應商(Internet Service Provider,ISP)對數據中心間流量所采用的比例計費模型中存在著相當多的免費時間間隙:在這些時間間隙上傳輸的流量不影響整體傳輸成本。為此,本文提出了基于李雅普諾夫優化(Lyapunov Optimization)技術的帶寬分配和流量調度方法,以利用比例計費模型中的免費時間間隙進行流量傳輸,從而減少流量傳輸成本。實驗結果表明本文所提出的方法能夠大幅減少流量傳輸成本。其次,在性能方面,本文發現在進行帶寬分配和流量調度時,靈活地放置網絡流的端點能夠顯著地減少跨數據中心傳輸的Coflow的完成時間。為此,本文研究流量端點放置、帶寬分配和流量調度的聯合優化問題,以最小化跨數據中心運行的Coflow的平均完成時間。為了解決該問題,本文首先提出針對單個Coflow的端點放置、帶寬分配和流量調度算法,然后將此算法擴展到多個Coflow的場景。實驗結果表明本文所提出的方法能夠大幅減少Coflow的平均完成時間。最后,在兼顧成本和性能方面,本文研究了針對數據中心間流量的帶寬分配和流量調度問題,并提出了基于交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)的分布式帶寬分配和流量調度算法,從而最小化供應商的網絡帶寬成本,并同時為數據中心間流量提供帶寬保障。實驗結果表明本文所提出的方法能夠大幅減少供應商的網絡帶寬成本,并同時還能為數據中心間流量提供帶寬保障。

在面向用戶服務方面,本文主要研究帶寬分配和用戶請求流量調度兩個子問題。在帶寬分配方面,本文首先提出了“數據中心間的網絡即服務”模型,以將用戶在Internet上傳輸的流量引入到了大公司(如Google和Microsoft)的私有廣域網中,并且重點研究該模型下的多用戶多供應商的帶寬分配問題。本文設計了基于兩階段斯塔爾伯格博弈(Stackelberg Game)理論的帶寬分配方法,實驗結果表明本文所提出的帶寬分配方法能夠同時保證供應商和用戶的利益。在用戶請求流量調度方面,本文研究了供應商帶寬資源效率和用戶延遲聯合優化的用戶服務請求調度問題,并提出了基于對數平滑技術的請求調度算法。實驗結果表明,本文提出的請求調度算法能夠大幅提高數據中心帶寬資源利用率,且還能明顯減少用戶的延遲。

深度神經網絡最近展示了其解決復雜任務的驚人能力。如今的模型使用功能強大的GPU卡在數百萬個示例上進行訓練，能夠可靠地對圖像進行注釋、翻譯文本、理解口語或玩國際象棋或圍棋等戰略性游戲。此外，深度學習也將成為未來許多技術的組成部分，例如自動駕駛、物聯網(IoT)或5G網絡。特別是隨著物聯網的出現，智能設備的數量在過去幾年里迅速增長。這些設備中有許多都配備了傳感器，使它們能夠以前所未有的規模收集和處理數據。這為深度學習方法提供了獨特的機會。

然而，這些新的應用程序帶有許多附加的約束和要求，這些約束和要求限制了當前模型的開箱即用。

1. 嵌入式設備、物聯網設備和智能手機的內存和存儲容量有限，能源資源有限. 像VGG-16這樣的深度神經網絡需要超過500 MB的內存來存儲參數，執行單次向前傳遞需要15 gb的操作。很明顯，這些模型的當前(未壓縮的)形式不能在設備上使用。

2. 訓練數據通常分布在設備上，由于隱私問題或有限的資源(帶寬)，無法簡單地在中央服務器上收集. 由于只有少量數據點的模型的局部訓練通常不太有希望，因此需要新的協作訓練方案來將深度學習的能力引入這些分布式應用程序。

本教程將討論最近提出的解決這兩個問題的技術。我們將首先簡要介紹深度學習，它的當前使用和今天的模型在計算和內存復雜性、能源效率和分布式環境方面的局限性。我們將強調解決這些問題的實際需要，并討論實現這一目標的最新進展，包括ITU ML5G和MPEG AHG CNNMCD正在開展的標準化活動。

然后我們將進入神經網絡壓縮的話題。我們將首先簡要介紹源編碼和信息論的基本概念，包括速率失真理論、量化、熵編碼和最小描述長度原則。這些概念需要形式化的神經網絡壓縮問題。然后我們將繼續討論壓縮DNNs的具體技術。為此，我們將區分壓縮過程的不同步驟，即剪枝和稀疏化、量化和熵編碼。前兩步是有損的，而最后一步是無損的。由于縮小尺寸并不是神經網絡壓縮的唯一目標(例如，快速推理、能源效率是其他目標)，我們還將討論有效推理的方法，包括最近提出的神經網絡格式。最后，我們將介紹一個用例，即設備上的語音識別，演示如何在實際應用中使用壓縮方法。

最后我們將介紹分布式學習的最新發展。我們提出了不同的分布式訓練場景，并根據它們的通信特性進行了比較。接下來，我們將重點討論聯邦學習。我們列舉了聯邦學習中存在的挑戰——通信效率、數據異構性、隱私、個性化、健壯性——并提出了解決這些挑戰的方法。我們特別關注為減少分布式學習中的通信開銷而提出的技術，并討論集群化FL，這是一種與模型無關的分布式多任務優化的新方法。這里我們將強調本教程第一部分中介紹的概念的相似性，即稀疏化、量化和編碼。

目錄：

1. 介紹

• 目前使用的深度學習
• 現有模型和新應用的實際局限性
• 研究、工業和標準化方面的最新發展

2. 神經網絡壓縮

• 背景:資料編碼、信息論
• 修剪和稀疏化方法
• 量化和定點推理
• 神經網絡格式
• 用例研究:設備上的語音識別

3.問題 4. 休息時間 5. 分布式學習

• 背景:SGD，學習理論
• 聯邦和分布式學習的基本概念
• 減少通信開銷和連接到NN壓縮
• 聯邦學習和差異隱私
• 集群聯合學習

7. 問題

【導讀】分布式機器學習Distributed Machine Learning是學術界和工業界關注的焦點。最近來自荷蘭的幾位研究人員撰寫了關于分布式機器學習的綜述，共33頁pdf和172篇文獻，概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

?論文地址： //www.zhuanzhi.ai/paper/161029da3ed8b6027a1199c026df7d07 ?

摘要 在過去的十年里，對人工智能的需求顯著增長，而機器學習技術的進步和利用硬件加速的能力推動了這種增長。然而，為了提高預測的質量并使機器學習解決方案在更復雜的應用中可行，需要大量的訓練數據。雖然小的機器學習模型可以用少量的數據進行訓練，但訓練大模型(如神經網絡)的輸入隨著參數的數量呈指數增長。由于處理訓練數據的需求已經超過了計算機器計算能力的增長，因此需要將機器學習的工作負載分布到多臺機器上，并將集中式的學習任務轉換為分布式系統。這些分布式系統提出了新的挑戰，首先是訓練過程的有效并行化和一致模型的創建。本文概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

1. 引言

近年來，新技術的快速發展導致了數據采集的空前增長。機器學習(ML)算法正越來越多地用于分析數據集和構建決策系統，因為問題的復雜性，算法解決方案是不可行的。例如控制自動駕駛汽車[23]，識別語音[8]，或者預測消費者行為[82]。

在某些情況下，訓練模型的長時間運行會引導解決方案設計者使用分布式系統來增加并行性和I/O帶寬總量，因為復雜應用程序所需的訓練數據很容易達到tb級的[29]。在其他情況下，當數據本身就是分布式的，或者數據太大而不能存儲在一臺機器上時，集中式解決方案甚至都不是一個選項。例如，大型企業對存儲在不同位置的[19]的數據進行事務處理，或者對大到無法移動和集中的天文數據進行事務處理[125]。

為了使這些類型的數據集可作為機器學習問題的訓練數據，必須選擇和實現能夠并行計算、數據分布和故障恢復能力的算法。在這一領域進行了豐富多樣的研究生態系統，我們將在本文中對其進行分類和討論。與之前關于分布式機器學習([120][124])或相關領域的調查([153][87][122][171][144])相比，我們對該問題應用了一個整體的觀點，并從分布式系統的角度討論了最先進的機器學習的實踐方面。

第2節深入討論了機器學習的系統挑戰，以及如何采用高性能計算(HPC)的思想來加速和提高可擴展性。第3節描述了分布式機器學習的參考體系結構，涵蓋了從算法到網絡通信模式的整個堆棧，這些模式可用于在各個節點之間交換狀態。第4節介紹了最廣泛使用的系統和庫的生態系統及其底層設計。最后，第5節討論了分布式機器學習的主要挑戰

2. 機器學習——高性能計算的挑戰?

近年來，機器學習技術在越來越復雜的應用中得到了廣泛應用。雖然出現了各種相互競爭的方法和算法，但所使用的數據表示在結構上驚人地相似。機器學習工作負載中的大多數計算都是關于向量、矩陣或張量的基本轉換——這是線性代數中眾所周知的問題。優化這些操作的需求是高性能計算社區數十年來一個非常活躍的研究領域。因此，一些來自HPC社區的技術和庫(如BLAS[89]或MPI[62])已經被機器學習社區成功地采用并集成到系統中。與此同時，HPC社區已經發現機器學習是一種新興的高價值工作負載，并開始將HPC方法應用于它們。Coates等人，[38]能夠在短短三天內，在他們的商用現貨高性能計算(COTS HPC)系統上訓練出一個10億個參數網絡。You等人[166]在Intel的Knights Landing(一種為高性能計算應用而設計的芯片)上優化了神經網絡的訓練。Kurth等人[84]證明了像提取天氣模式這樣的深度學習問題如何在大型并行高性能計算系統上進行優化和快速擴展。Yan等人[163]利用借鑒于HPC的輕量級概要分析等技術對工作負載需求進行建模，解決了在云計算基礎設施上調度深度神經網絡應用程序的挑戰。Li等人[91]研究了深度神經網絡在加速器上運行時對硬件錯誤的彈性特性，加速器通常部署在主要的高性能計算系統中。

與其他大規模計算挑戰一樣，加速工作負載有兩種基本的、互補的方法:向單個機器添加更多資源(垂直擴展或向上擴展)和向系統添加更多節點(水平擴展或向外擴展)。

3. 一個分布式機器學習的參考架構

圖1 機器學習的概述。在訓練階段，利用訓練數據和調整超參數對ML模型進行優化。然后利用訓練后的模型對輸入系統的新數據進行預測。

圖2 分布式機器學習中的并行性。數據并行性在di上訓練同一個模型的多個實例!模型并行性將單個模型的并行路徑分布到多個節點。

機器學習算法

機器學習算法學習根據數據做出決策或預測。我們根據以下三個特征對當前的ML算法進行了分類:

反饋、在學習過程中給算法的反饋類型

目的、期望的算法最終結果

方法、給出反饋時模型演化的本質

反饋 訓練算法需要反饋，這樣才能逐步提高模型的質量。反饋有幾種不同類型[165]:

包括 監督學習、無監督學習、半監督學習與強化學習

目的 機器學習算法可用于各種各樣的目的，如對圖像進行分類或預測事件的概率。它們通常用于以下任務[85]: 異常檢測、分類、聚類、降維、表示學習、回歸

每一個有效的ML算法都需要一種方法來迫使算法根據新的輸入數據進行改進，從而提高其準確性。通過算法的學習方式，我們識別出了不同的ML方法組: 演化算法、隨機梯度下降、支持向量機、感知器、神經網絡、規則機器學習、主題模型、矩陣分解。

圖3所示：基于分布程度的分布式機器學習拓撲

4. 分布式機器學習生態系統

圖4所示。分布式機器學習生態系統。通用分布式框架和單機ML系統和庫都在向分布式機器學習靠攏。云是ML的一種新的交付模型。

5 結論和當前的挑戰

分布式機器學習是一個蓬勃發展的生態系統，它在體系結構、算法、性能和效率方面都有各種各樣的解決方案。為了使分布式機器學習在第一時間成為可行的，必須克服一些基本的挑戰，例如，建立一種機制，使數據處理并行化，同時將結果組合成一個單一的一致模型。現在有工業級系統,針對日益增長的欲望與機器學習解決更復雜的問題,分布式機器學習越來越普遍和單機解決方案例外,類似于數據處理一般發展在過去的十年。然而，對于分布式機器學習的長期成功來說，仍然存在許多挑戰：性能、容錯、隱私、可移植性等。