亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】現實應用中，不同硬件很多，對于IoT設備、以及FPGA、GPU和CPU的搜索結果的是不一樣的。如果對于每一個硬件都需要重新訓練并且重新搜索的話，是非常昂貴的，所以為了降低搜索成本，MIT韓松博士等學者提出一次訓練一個Once for All（一勞永逸）的網絡，可以從這個網絡中抽取不同的子網絡，定制到不同的硬件上，這樣就做到了只需要訓練一次，極大降低NAS的搜索成本。對很多IoT設備以及不同的手機，包括LG的手機、三星的手機、Google的手機，都定制了不同的網絡，定制的開銷是非常低的，無論是延遲還是準確率都全面超越了EfficientNet和MobileNetV3。

韓松博士在ICLR-NAS論壇做了報告，64頁PPT詳細講述了Once-for-All Network.

地址：

//sites.google.com/view/nas2020

訓練和搜索來訓練一個支持多種架構設置的一次性網絡(OFA)。通過從OFA網絡中進行選擇，不需要額外的訓練，就可以快速地得到一個專門的子網絡。我們還提出了一種新的漸進式縮減算法，一種廣義剪枝方法，它比剪枝方法(深度、寬度、內核大小和分辨率)在更多的維度上減少模型大小，從而可以獲得數量驚人的子網絡(> 1019)，這些子網絡可以適應不同的延遲約束。在邊緣設備上，OFA始終優于SOTA NAS方法(與MobileNetV3相比，ImageNet top1精度提高了4.0%，或與MobileNetV3相同的精度，但比MobileNetV3快1.5倍，比有效凈w.r快2.6倍)。減少了許多數量級的GPU時間和二氧化碳排放。特別是，OFA在移動設置(<600M MACs)下實現了新的SOTA 80.0% ImageNet top1精度。OFA是第四屆低功耗計算機視覺挑戰的獲獎方案，包括分類跟蹤和檢測跟蹤。

韓松 本科畢業于清華大學，博士畢業于斯坦福大學，師從 NVIDIA 首席科學家 Bill Dally 教授。他的研究也廣泛涉足深度學習和計算機體系結構，他提出的 Deep Compression 模型壓縮技術曾獲得 ICLR'16 最佳論文，ESE 稀疏神經網絡推理引擎獲得 FPGA'17 最佳論文，對AI算法在移動端的高效部署影響深遠。他的研究成果在 Xilinx、NVIDIA、Facebook、Samsung 得到廣泛應用。韓松在博士期間與同為清華大學畢業的汪玉、姚頌聯合創立了深鑒科技（DeePhi Tech），其核心技術之一為神經網絡壓縮算法，隨后深鑒科技被美國半導體公司賽靈思收購。2018 年，韓松加入MIT擔任助理教授，入選2019年度麻省理工科技評論35 Innovators under 35，并在2020年獲得NSF CAREER Award。

ICLR 2020論文 Once for All: Train One Network and Specialize it for Efficient Deployment

作者：Han Cai、Chuang Gan、Song Han 論文鏈接：

將神經網絡部署在各種硬件平臺時，不同的部署場景需要匹配的網絡架構，同時網絡還要盡可能精簡。傳統的做法是手動設計、或者使用 AutoML 搜索網絡架構，之后針對每個不同網絡重新進行訓練。這樣的做法成本很高，也不具有擴展性。隨著需要部署的環境數量增加，這種做法的成本呈線性上升。本文提出了一種名為「一次構建、處處部署（Once for all：OFA）」的方法，可以高效設計神經網絡架構，并同時處理多種部署情況。研究人員的方法摒棄了給每一種情況設計一個專門模型的做法，而是提出訓練一個網絡，支持多種架構設定（網絡深度、寬度、核大小和清晰度等）。給定部署場景后，網絡可以搜索出一個特定的子網絡。這個子網絡是從原始網絡中搜索出來的，而且不需要訓練。

圖 1：左圖：當訓練了一個網絡后，根據部署條件的不同，從該網絡中搜索出一個子網絡。中圖：這樣的搜索方法的設計成本從 O(N) 降低到了 O(1)。右圖：相比其他網絡，論文提出的方法能夠在降低延遲的情況下更好地提升效果。

圖 2：階段性縮減流程示意。