亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

由于距離度量學習與深度神經網絡的無縫結合，近年來深度度量學習受到了廣泛的關注。許多人致力于設計不同的基于成對的角損失函數，將嵌入向量的大小和方向信息解耦，保證訓練和測試測度的一致性。但是，這些傳統的角度損失并不能保證在訓練階段所有的樣本嵌入都在同一個超球面上，這會導致批量優化時梯度不穩定，影響嵌入學習的快速收斂。本文首先研究了嵌入范數對角距離深度度量學習的影響，然后提出了一個球面嵌入約束(SEC)來規范范數的分布。SEC自適應地調整嵌入，以落在同一個超球體上，并執行更平衡的方向更新。在深度度量學習、人臉識別和對比自監督學習方面的大量實驗表明，基于SEC的角空間學習策略顯著提高了最先進的性能。

//arxiv.org/abs/2011.02785

在CVPR 2020上，商湯研究院鏈接與編譯團隊、高性能計算團隊和北航劉祥龍老師團隊合作提出了用于加速卷積神經網絡訓練過程的INT8訓練技術。該工作通過將網絡的輸入、權重和梯度量化到8比特來加速網絡的前向傳播和反向傳播過程，縮短卷積神經網絡訓練時間。

論文觀察到梯度的獨特分布給量化訓練帶來了極大挑戰，為了解決梯度量化帶來的精度損失和不穩定問題，該論文進行了量化訓練收斂穩定性的理論分析并基于此提出了誤差敏感的學習率調節和基于方向自適應的梯度截斷方法。同時為了保證更高的加速比，該論文還提出使用周期更新、量化卷積融合等技術來減少量化操作帶來的時間開銷。

應用了上述方法之后，INT8訓練在圖像分類任務和檢測任務上都僅僅損失微小的精度，且訓練過程相比浮點訓練加速了22%。