亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization

簡介：

在過去的十年中，深度學習證明了計算機視覺和自然語言處理所帶來的挑戰的最新準確性，從而使這些領域發生了革命性變化。深度學習模型現在是自動駕駛，醫學成像和神經機器翻譯等應用程序的基本構建塊。但是，在生產中部署這些模型時，仍然存在許多挑戰。研究人員和從業人員必須解決各種各樣的問題，包括如何有效地設計，培訓和部署資源密集型深度學習模型，以及如何在確保對變化條件的魯棒性的同時使這些方法自動化。本文提供并評估了提高深度學習訓練和推理效率以及底層系統對環境變化的魯棒性的新方法。我們通過關注為優化模型的準確性和資源使用而優化的許多超參數來解決這些問題。這些超參數包括模型架構的選擇，訓練數據集，優化算法，優化算法的超參數（例如學習率和動量）以及訓練時間預算。當前，在實踐中，幾乎所有超參數在訓練之前都進行了一次調整，此后保持不變，然而最佳的超參數值會隨時間變化（例如，隨著訓練的進行或替換用于推理的硬件時）。我們將動態調整應用于傳統上被認為是靜態的超參數。通過三個案例研究，我們表明，使用運行時信息來動態適應傳統上靜態的超參數可以提高機器學習訓練和推理的效率。 首先，我們提出并分析Selective-Backprop，這是一種新的重要采樣方法，它以在線方式對高損失示例進行優先排序。在Selective-Backprop中，被認為具有挑戰性的示例是可調超參數。通過優先處理這些具有挑戰性的示例，Selective-Backprop可以將給定的目標錯誤率訓練到比靜態方法快3.5倍的目標。接下來，我們探索AdaptSB，它是Selective-Backprop的變體，可以動態調整我們對具有挑戰性的示例進行優先級排序的方式。在“選擇性反向傳播”中，分配給難度不同示例的優先級保持不變。在AdaptSB中，我們將分配給不同類別示例的優先級視為可調超參數。通過對數據集和訓練階段動態地調整示例優先級，AdaptSB在出現標簽錯誤的數據集上表現優于Selective-Backprop。 最后，我們提出并分析了Mainstream，這是一種視頻分析系統，可讓并發應用共享共享邊緣資源，以最大程度地提高匯總結果質量。在Mainstream中，我們認為應用程序共享的程度是一個可調參數。 Mainstream在部署時使用更專業的DNN自動確定正確的權衡方案，以提高每幀的準確性并保留更多的非專業基礎模型。結果顯示，與靜態ap方法相比，Mainstream將平均事件檢測F1分數提高了多達87倍。

主題： Efficient Processing of Deep Neural Networks: from Algorithms to Hardware Architectures

簡介： 本教程介紹了用于高效處理深度神經網絡（DNN）的方法，這些方法已在許多AI應用程序中使用，包括計算機視覺，語音識別，機器人等。DNN以高計算復雜度為代價，提供了一流的準確性和結果質量。因此，為深度神經網絡設計有效的算法和硬件架構是朝著在人工智能系統（例如，自動駕駛汽車，無人機，機器人，智能手機，可穿戴設備，物聯網等）中廣泛部署DNN邁出的重要一步。在速度，延遲，功耗/能耗和成本方面有嚴格的限制。 在本教程中，我們將簡要概述DNN，討論支持DNN的各種硬件平臺的權衡，包括CPU，GPU，FPGA和ASIC，并重點介紹基準測試/比較指標和評估DNN效率的設計注意事項。然后，我們將從硬件體系結構和網絡算法的角度描述降低DNN計算成本的最新技術。最后，我們還將討論如何將這些技術應用于各種圖像處理和計算機視覺任務。

嘉賓介紹： Vivienne Sze是麻省理工學院電氣工程和計算機科學系的副教授。她的研究興趣包括能量感知信號處理算法，便攜式多媒體應用的低功耗電路和系統設計，包括計算機視覺，深度學習，自主導航和視頻編碼。在加入MIT之前，她是TI研發中心的技術人員，在那里她設計了用于視頻編碼的低功耗算法和體系結構。在高效視頻編碼（HEVC）的開發過程中，她還代表TI參加了ITU-T和ISO / IEC標準機構的JCT-VC委員會，該委員會獲得了黃金時段工程艾美獎。她是《高效視頻編碼（HEVC）：算法和體系結構》（Springer，2014年）的合編者，也是即將出版的《深度神經網絡的高效處理》（Morgan＆Claypool）的合著者。她是2020年機器學習和系統會議（MLSys）的計劃共同主席，并教授MIT設計高效深度學習系統的專業教育課程。

課程題目： Deep Learning for Science School

課程大綱：

• ML介紹
• 神經網絡 Ⅰ
• NERSC-DL棧概述
• 使用Keras構建NNs（動手實踐）
• 神經網絡 Ⅱ
• 深度學習的實踐性
• DL再現性
• 訓練NNs動手實踐
• ML中的公平與倫理
• 序列模型
• 生成模型
• NERSC科學DL
• HEP中的GANs
• 分子工程的DL
• 量子化學的DL
• 超參數優化
• 特征轉換
• 可解釋性
• 目標檢測與圖像分割
• 規模化NNs訓練
• 幾何DL
• 規模化NNs訓練（動手實踐）

主講人：

Brenda Ng，勞倫斯·利弗莫爾國家實驗室機器學習科學家。

Mustafa Mustafa，NERSC，伯克利實驗室的機器學習工程師

Wahid Bhimji,是NERSC數據和分析服務團隊的大數據架構師。他目前的興趣包括機器學習、數據庫和數據管理。他目前領導幾個機器學習項目，特別是與高能物理相關的項目；協調NERSC和CS領域的深度學習部署；是NERSC數據庫的主要用戶聯絡點；是即將推出的Perlmutter機器的工作流程和數據領導；是HEP-CCE的參與領導。顯然，他是Cori第1階段調試（尤其是數據服務）和突發緩沖區的用戶負責人。Wahid在學術界和英國政府從事科學計算和數據分析工作多年，并在高能粒子物理學領域獲得博士學位等。

主題： Deep Learning Compiler

簡介：

Apache TVM是一個用于Cpu、Gpu和專用加速器的開源深度學習編譯器堆棧。它的目標是縮小以生產力為中心的深度學習框架和以性能或效率為中心的硬件后端之間的差距。在此次演講中主要圍繞AWS AI的深度學習編譯器的項目展開，講述了如何通過TVM使用預量化模型，完全從零開始添加新的操作或者是降低到現有繼電器操作符的序列。

邀請嘉賓：

Yida Wang是亞馬遜AWS AI團隊的一名應用科學家。在加入Amazon之前，曾在Intel實驗室的并行計算實驗室擔任研究科學家。Yida Wang在普林斯頓大學獲得了計算機科學和神經科學博士學位。研究興趣是高性能計算和大數據分析。目前的工作是優化深度學習模型對不同硬件架構的推理，例如Cpu, Gpu, TPUs。

報告主題：Generating Music with GANs: An Overview and Case Studies

報告摘要：本教程旨在概述生成對抗網絡（GAN）及其在生成音樂中的使用。教程的格式將包括講座，示例系統的演示和帶有說明性音樂示例的技術成果。

• 我們將從討論音樂生成的范圍開始，并介紹可以廣泛地視為音樂生成的各種任務。對于每個任務，我們將討論其挑戰，常用方法以及文獻中提出的一些著名系統。
• 在第二部分中，我們將解釋GAN的機器學習基礎。我們還將介紹GAN在其他領域的一些有趣應用，以展示其潛力。
• 下一節將包含四個不同任務的案例研究-符號旋律生成，符號排列生成，符號音樂風格轉換和音樂音頻生成。在每一部分中，我們將首先概述該任務，然后介紹一些文獻中提出的模型作為示例。
• 我們將通過討論基于GAN的模型的當前局限性并提出一些可能的未來研究方向來結束本教程。除了講座之外，我們還將使用Google Colab進行一些演示項目。這些演示項目旨在為參與者提供動手經驗和對GAN培訓的更深刻理解。我們還將涵蓋諸如數據表示，處理，I/O，可視化和評估之類的主題。

本教程面向對音樂生成研究感興趣或正在從事音樂生成研究的學生和新手，以及希望了解如何將GANs應用于音樂生成的機器學習專家。

邀請嘉賓： Hao-Wen Dong，目前是雅馬哈公司研發部的研究實習生。 他將開始攻讀加州大學圣地亞哥分校的電氣和計算機工程專業。 在此之前，他是中國科學院音樂與AI實驗室 Yang博士的研究助理。 他的研究興趣在于機器學習和音樂的交集。

Yi-Hsuan Yang，中國科學院的副研究員，領導著一個名為音樂與AI的研究實驗室。國立成功大學的聯席副教授。研究興趣包括音樂信息檢索，情感計算和機器學習。 Yang博士曾獲得2011年IEEE信號處理協會青年作者最佳論文獎，2012年ACM多媒體挑戰賽一等獎和IEEE多媒體通信技術委員會2015年最佳會議論文獎。 2014年，擔任國際音樂信息檢索學會（ISMIR）的技術計劃主席。在ISMIR 2012中提供了有關“音樂情感識別：最新技術和經驗教訓”的教程。并在2016/2019年擔任IEEE情感計算交易和IEEE多媒體交易的副編輯。