亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】深度學習與計算系統結合是現在業界發展的趨勢。Logical Clocks的CEO Jim Dowling講述了分布式深度學習最新技術發展，以及其Hosworks開源平臺。

人工智能的需求在過去十年中顯著增長，很大程度是深度學習的進步。這種增長是由深度(機器)學習技術的進步和利用硬件加速的能力推動的。然而，為了提高預測的質量和使機器學習解決方案在更復雜的應用中可行，需要大量的訓練數據。盡管小型機器學習模型可以用適量的數據進行訓練，但用于訓練較大模型(如神經網絡)的輸入隨著參數的數量呈指數增長。由于對處理訓練數據的需求已經超過了計算機器計算能力的增長，因此需要將機器學習工作量分散到多臺機器上，并將集中式系統轉變為分布式系統。這些分布式系統提出了新的挑戰，首先是訓練過程的有效并行化和一致模型的創建。

分布式深度學習有很多好處——使用更多的GPU更快地訓練模型，在許多GPU上并行超參數調優，并行消融研究以幫助理解深度神經網絡的行為和性能。隨著Spark 3.0的出現，GPU開始轉向執行器，使用PySpark的分布式深度學習現在成為可能。然而，PySpark給迭代模型開發帶來了挑戰——從開發機器(筆記本電腦)開始，然后重新編寫它們以運行在基于集群的環境中。

本講座概述了分布式深度學習的技術，并提供了可用系統的概述，從而對該領域當前的最新技術進行了廣泛的概述。

Jim Dowling是 Logical Clocks公司的首席執行官，也是KTH皇家理工學院的副教授。他是開源的Hopsworks平臺的首席架構師，這是一個橫向可擴展的機器學習數據平臺。

//www.slideshare.net/dowlingjim/invited-lecture-on-gpus-and-distributed-deep-learning-at-uppsala-university

摘要： 在5G時代,大規模物聯網應用對網絡架構提出了異構性、可擴展性、移動性和安全性四大挑戰。基于TCP/IP的網絡架構存在IP標識與位置綁定的二義重載問題,難以應對這四大挑戰。命名數據網絡(Named Data Networking,NDN)將內容作為第一語義,具有網絡層和應用層邏輯拓撲一致性。NDN對這四大挑戰的支持分別體現在:網絡層命名屏蔽了底層異構細節,端到端解耦及網絡層緩存使得NDN天然支持多對多通信和廣播,消費者驅動的通信模式為消費者移動性提供原生支持,面向內容的內生安全更輕量可信。文中總結了基于NDN構建物聯網亟待解決的問題,并對NDN與邊緣計算、軟件定義網絡和區塊鏈結合來構建邊緣存儲和計算模型、集中式與分布式結合的控制模型、分布式安全模型提出了展望。

題目：

Communication-Efficient Distributed Deep Learning: A Comprehensive Survey

簡介：

隨著深度模型和數據集規模的增加，通過利用多個計算設備（例如GPU / TPU）來減少總體訓練時間，分布式深度學習變得非常普遍。但是，計算設備之間的數據通信可能是限制系統可伸縮性的潛在瓶頸。近年來，如何解決分布式深度學習中的交流問題成為研究的熱點。在本文中，我們對系統級和算法級優化中的通信有效的分布式訓練算法進行了全面的概述。在系統級，我們對系統的設計和實現進行神秘化處理以降低通信成本。在算法級別，我們將不同的算法與理論收斂范圍和通信復雜性進行比較。具體來說，我們首先提出數據并行分布式訓練算法的分類法，它包含四個主要方面：通信同步，系統架構，壓縮技術以及通信和計算的并行性。然后，我們討論解決四個維度問題的研究，以比較通信成本。我們進一步比較了不同算法的收斂速度，這使我們能夠知道算法在迭代方面可以收斂到解決方案的速度。根據系統級通信成本分析和理論收斂速度的比較，我們為讀者提供了在特定的分布式環境下哪種算法更有效的方法，并推斷出可能的方向以進行進一步的優化。