亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本教程將介紹自注意力機制在計算機視覺中的應用。Self-Attention在NLP中被廣泛采用，完全注意的Transformer模型已經在很大程度上取代了RNN，現在被用于最先進的語言理解模型，如GPT、BERT、XLNet、T5、Electra和Meena。因此，人們對研究自注意力是否能在計算機視覺中產生同樣巨大而深遠的影響產生了極大的興趣。然而，由于視覺任務與語言任務具有不同的性質，因此許多研究都致力于探索自注意力在視覺模型中的最佳應用方式。本教程將涵蓋視覺中自注意力的許多不同應用，以便讓用戶對這個子領域有一個廣泛而精確的理解。

//icml.cc/Conferences/2021/Schedule

近年來，規模在自然語言處理的快速發展中發揮了核心作用。雖然基準測試被越來越大的模型所主導，但高效的硬件使用對于它們的廣泛采用和該領域的進一步發展至關重要。在這個尖端的教程中，我們將概括自然語言處理的最先進技術。在建立這些基礎之后，我們將介紹廣泛的提高效率的技術，包括知識蒸餾、量化、修剪、更高效的架構，以及案例研究和實際實現技巧。

//2020.emnlp.org/tutorials

由于硬件資源有限，深度學習模型的訓練目標通常是在訓練和推理的時間和內存限制下最大化準確性。在這種情況下，我們研究了模型大小的影響，關注于計算受限的NLP任務的Transformer模型:自監督的預訓練和高資源機器翻譯。我們首先展示了，盡管較小的Transformer模型在每次迭代中執行得更快，但更廣、更深入的模型在顯著更少的步驟中收斂。此外，這種收斂速度通常超過了使用更大模型的額外計算開銷。因此，計算效率最高的訓練策略是反直覺地訓練非常大的模型，但在少量迭代后停止。

這導致了大型Transformer 模型的訓練效率和小型Transformer 模型的推理效率之間的明顯權衡。然而，我們表明大模型比小模型在壓縮技術(如量化和剪枝)方面更健壯。因此，一個人可以得到最好的兩個好處: 重壓縮，大模型比輕壓縮，小模型獲得更高的準確度。

//www.zhuanzhi.ai/paper/4d7bcea8653fcc448137766511ec7d8a

概述：

在當前的深度學習范式中，使用更多的計算(例如，增加模型大小、數據集大小或訓練步驟)通常會導致更高的模型準確度(brock2018large;raffel2019exploring)。最近自監督預訓練的成功進一步論證了這種趨勢經模型。因此，計算資源日益成為提高模型準確度的關鍵制約因素。這個約束導致模型訓練的(通常是隱含的)目標是最大化計算效率:如何在固定的硬件和訓練時間下達到最高的模型準確度。

最大化計算效率需要重新考慮關于模型訓練的常見假設。特別是，有一個典型的隱式假設，即模型必須經過訓練直到收斂，這使得較大的模型在有限的計算預算下顯得不太可行。我們通過展示以收斂為代價來增加模型大小的機會來挑戰這一假設。具體地說，我們表明，訓練Transformer 模型的最快方法(vaswani2017attention)是大幅度增加模型大小，但很早停止訓練。

在我們的實驗中，我們改變了Transformer模型的寬度和深度，并在自監督的預訓練(RoBERTa (liu2019roberta)在Wikipedia和BookCorpus上訓練)和機器翻譯(WMT14英語→法語)上評估了它們的訓練時間和準確性。對于這些任務，我們首先展示了更大的模型比更小的模型在更少的梯度更新中收斂到更低的驗證錯誤(第3節)。此外，這種收斂速度的增加超過了使用更大模型所帶來的額外計算開銷——計算效率最高的模型是非常大的，并且遠遠不能收斂(例如，圖2，左)。我們還表明，收斂的加速主要是參數計數的函數，只有模型寬度、深度和批大小的微弱影響。

雖然較大的模型訓練速度更快，但它們也增加了推理的計算和內存需求。這種增加的成本在現實應用中尤其成問題，推理成本占訓練成本的主要比例(jouppi2017datacenter;crankshaw2017clipper;metz2017tpu)。然而，對于RoBERTa來說，這種明顯的權衡可以與壓縮相協調:與小型模型相比，大型模型在壓縮方面更加健壯(第4節)。因此，使用可比較的推理成本，大型重壓縮的模型優于小型輕壓縮的模型(例如，圖2，右)。

【導讀】深度學習與計算系統結合是現在業界發展的趨勢。Logical Clocks的CEO Jim Dowling講述了分布式深度學習最新技術發展，以及其Hosworks開源平臺。

人工智能的需求在過去十年中顯著增長，很大程度是深度學習的進步。這種增長是由深度(機器)學習技術的進步和利用硬件加速的能力推動的。然而，為了提高預測的質量和使機器學習解決方案在更復雜的應用中可行，需要大量的訓練數據。盡管小型機器學習模型可以用適量的數據進行訓練，但用于訓練較大模型(如神經網絡)的輸入隨著參數的數量呈指數增長。由于對處理訓練數據的需求已經超過了計算機器計算能力的增長，因此需要將機器學習工作量分散到多臺機器上，并將集中式系統轉變為分布式系統。這些分布式系統提出了新的挑戰，首先是訓練過程的有效并行化和一致模型的創建。

分布式深度學習有很多好處——使用更多的GPU更快地訓練模型，在許多GPU上并行超參數調優，并行消融研究以幫助理解深度神經網絡的行為和性能。隨著Spark 3.0的出現，GPU開始轉向執行器，使用PySpark的分布式深度學習現在成為可能。然而，PySpark給迭代模型開發帶來了挑戰——從開發機器(筆記本電腦)開始，然后重新編寫它們以運行在基于集群的環境中。

本講座概述了分布式深度學習的技術，并提供了可用系統的概述，從而對該領域當前的最新技術進行了廣泛的概述。

Jim Dowling是 Logical Clocks公司的首席執行官，也是KTH皇家理工學院的副教授。他是開源的Hopsworks平臺的首席架構師，這是一個橫向可擴展的機器學習數據平臺。

//www.slideshare.net/dowlingjim/invited-lecture-on-gpus-and-distributed-deep-learning-at-uppsala-university

教程題目： Scheduling For Efficient Large-Scale Machine Learning Training

教程簡介：

近年來，機器學習技術在許多實際應用中取得了成功。當研究人員和實踐者繼續將機器學習擴展到新的應用領域并推動現有應用程序的邊界時，由于數據集的增長、模型的復雜性和容量的增加，他們面臨著關鍵的計算挑戰。這些挑戰需要新的軟件系統來有效地訓練大型模型，并使機器學習研究人員能夠輕松地試驗新思想。通過利用機器學習計算的結構特性來設計高效的訓練系統，我們有很多機會來提高訓練時間和支持更大的訓練模型。在本教程中，將介紹兩個分布式培訓系統Bosen和Orion，它們可以在不需要大量人力工作的前提下，通過調度網絡內部通信及并行計算來改善訓練時間。此外，通過在TensorFlow中調度內存占用，我們減少了87%的GPU內存消耗，并且能夠在相同的硬件上完成10倍參數的模型訓練工作。

嘉賓簡介：

韋金良本科畢業于普渡大學，博士期間師從Garth A.Gibson 及 Eric P.Xing，主要研究方向是分布式系統、數據庫系統及機器學習應用。

主題： Deep Learning Compiler

簡介：

Apache TVM是一個用于Cpu、Gpu和專用加速器的開源深度學習編譯器堆棧。它的目標是縮小以生產力為中心的深度學習框架和以性能或效率為中心的硬件后端之間的差距。在此次演講中主要圍繞AWS AI的深度學習編譯器的項目展開，講述了如何通過TVM使用預量化模型，完全從零開始添加新的操作或者是降低到現有繼電器操作符的序列。

邀請嘉賓：

Yida Wang是亞馬遜AWS AI團隊的一名應用科學家。在加入Amazon之前，曾在Intel實驗室的并行計算實驗室擔任研究科學家。Yida Wang在普林斯頓大學獲得了計算機科學和神經科學博士學位。研究興趣是高性能計算和大數據分析。目前的工作是優化深度學習模型對不同硬件架構的推理，例如Cpu, Gpu, TPUs。