亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

卷積神經網絡(cnn)在計算機視覺任務中表現出了出色的性能，尤其是分類任務。為了在真實場景中增加魯棒性或贏得Kaggle競賽，cnn通常會采用兩種實用策略:數據增強 和模型集成 。

數據增強可以減少過擬合并提升模型的泛化性。傳統的圖像增強是保留標簽的:例如翻轉、裁剪等。然而，最近的混合樣本數據增強(MSDA)改變了這種方式：多個輸入和它們的標簽按比例混合來創建人工樣本，代表工作有MixUp，CutMix等等。

模型集成證明了聚合來自多個神經網絡的不同預測能夠顯著提高了泛化能力，尤其是不確定性估計。從經驗上講，幾個小網絡的集成通常比一個大網絡性能更好。然而，在訓練和推理方面，集成在時間和顯存消耗方面都是昂貴的：這往往限制了模型集成的適用性。

在本文，作者提出了多輸入多輸出框架MixMo。為了解決傳統集成中出現的這些開銷，作者將M個獨立子網放入一個單一的base網絡中。這也是合理的，因為在模型集成時，“最終采納的網絡”其實就和整體的網絡表現差不多。

所以，現在最大的問題是如何在沒有結構差異的情況下加強subnet之間的多樣性。

如上圖，作者在訓練過程中同時考慮了M個輸入，M個輸入被M個參數不共享的Encoder編碼到共享空間中，然后將特征送到核心網絡，核心網絡最終分成M個分支；這個M個分支用來預測不同輸入信息的label。在inference的時候，同一圖像重復M次：通過平均M個預測獲得“免費”的集成效果。

與現有的MSDA相比，MixMo最大的不同就是multi-input mixing block。如果合并是一個基本的求和，MixMo將變成到MIMO[1]。作者對比了大量的MSDA的工作，設計了更合適的混合塊，因此作者采用binary masking的方法來確保子網絡的多樣性。（如上圖所示，作者對不同樣本采用了一個binary masking方法，這一點就類似CutMix，而不是像MIMO那樣直接相加 ）。

這種不對稱的混合也會造成網絡特征中的信息不平衡的新問題，因此作者通過一個新的加權函數來解決多個分類訓練任務之間的不平衡問題。