近年來，隨著深度神經網絡模型性能不斷刷新，模型的骨干網絡參數量愈發龐大，存儲和計算代價不斷提高，從而導致難以部署在資源受限的嵌入式平臺上。滴滴 AI Labs 與美國東北大學王言治教授研究組合作，聯合提出了一種基于 AutoML 思想的自動結構化剪枝的算法框架 AutoCompress，能自動化的去尋找深度模型剪枝中的超參數，去除模型中不同層的參數冗余，替代人工設計的過程并實現了超高的壓縮倍率。從而滿足嵌入式端上運行深度模型的實時性能需求。
相較之前方法的局限性，該方法提出三點創新性設計：
（1）提出混合型的結構化剪枝維度； （2）采用高效強大的神經網絡剪枝算法 ADMM（交替乘子優化算法）對訓練過程中的正則項進行動態更新； （3）利用了增強型引導啟發式搜索的方式進行行為抽樣。在 CIFAR 和 ImageNet 數據集的大量測試表明 AutoCompress 的效果顯著超過各種神經網絡壓縮方法與框架。在相同準確率下，實際參數量的壓縮相對之前方法最大可以提高超 120 倍。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191