亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

論文標題：UniVIP: A Unified Framework for Self-Supervised Visual Pre-training

論文鏈接：//arxiv.org/abs/2203.06965 作者單位：中國科學院自動化研究所 & 商湯科技 & 南洋理工大學

自監督學習 (SSL) 有望利用大量未標記的數據。然而，流行的 SSL 方法的成功僅限于像 ImageNet 中的單中心對象圖像，并且忽略了場景和實例之間的相關性，以及場景中實例的語義差異。為了解決上述問題，我們提出了統一自監督視覺預訓練（UniVIP），這是一種新穎的自監督框架，用于在單中心對象或非標志性數據集上學習通用視覺表示。該框架考慮了三個層次的表示學習：1）場景-場景的相似性，2）場景-實例的相關性，3）實例的判別。在學習過程中，我們采用最優傳輸算法來自動測量實例的區分度。大量實驗表明，在非標志性 COCO 上預訓練的 UniVIP 在圖像分類、半監督學習、對象檢測和分割等各種下游任務上實現了最先進的傳輸性能。此外，我們的方法還可以利用 ImageNet 等單中心對象數據集，并且在線性探測中使用相同的預訓練 epoch 時比 BYOL 高 2.5%，并且在 COCO 數據集上超越了當前的自監督對象檢測方法，證明了它的普遍性和潛在性能。

雖然自監督表示學習(SSL)在大型模型中已被證明是有效的，但在遵循相同的解決方案時，SSL和輕量級模型中的監督方法之間仍然存在巨大的差距。我們深入研究了這個問題，發現輕量級模型在簡單地執行實例對比時，容易在語義空間中崩潰。為了解決這個問題，我們提出了一個基于關系的對比范式——關系知識蒸餾(ReKD)。我們引入一個異構教師來明確地挖掘語義信息，并將一種新的關系知識傳遞給學生(輕量級模型)。理論分析支持了我們對實例對比的主要關注，并驗證了我們的關系對比學習的有效性。大量的實驗結果也表明，我們的方法在多個輕量級模型上取得了顯著的改進。特別是在AlexNet上的線性評價，將當前的技術水平從44.7%提高到50.1%，是第一個接近監督的50.5%的作品。

//www.zhuanzhi.ai/paper/decf9fafcca546be1c73afa529536fc4

KD (Knowledge蒸餾)是一種廣泛應用的技術，它將信息從繁瑣的教師模型遷移到緊湊的學生模型，從而實現模型的壓縮和加速。與圖像分類相比，目標檢測是一項更為復雜的任務，設計具體的目標檢測KD方法是非簡單的。在這項工作中，我們精心研究了教師和學生檢測模型之間的行為差異，并得到了兩個有趣的觀察結果: 第一，教師和學生對他們檢測到的候選框的排名差異很大，這導致了他們的精度差異。其次，教師和學生的特征響應差異和預測差異之間存在較大的差距，說明對教師的所有特征地圖進行同等的模仿是提高學生準確性的次優選擇。在此基礎上，我們分別提出了Rank mimics (RM)和predictive -guided Feature Imitation (PFI)兩種方法來提取一級檢測器。RM將教師的候選箱排序作為一種新的知識提煉形式，其表現始終優于傳統的軟標簽蒸餾。PFI試圖將特征差異與預測差異聯系起來，使特征模仿直接有助于提高學生的準確性。在MS COCO和PASCAL VOC基準上，在不同的探測器上進行了大量的實驗，以驗證我們的方法的有效性。具體來說，ResNet50的RetinaNet在MS COCO中實現了40.4%的mAP，比其基線高3.5%，也優于以往的KD方法。

//www.zhuanzhi.ai/paper/b867f1778005b17a1547c8f74353158b

無監督域自適應是一種將深度神經網絡泛化到新目標域的有效范式。然而，要達到完全監督的性能，仍有巨大的潛力有待挖掘。在本文中，我們提出了一種新的主動學習策略來輔助目標領域中的知識遷移，稱為主動領域自適應。我們從一個觀察開始，當訓練(源)和測試(目標)數據來自不同的分布時，基于能量的模型表現出自由能量偏差。受這一內在機制的啟發，我們從經驗上揭示了一個簡單而有效的基于能量的采樣策略，它比現有的需要特定架構或計算距離的方法更能幫助我們選擇最有價值的目標樣本。我們的算法，基于能量的主動域自適應(EADA)，在每一輪的選擇中查詢集域特征和實例不確定性的目標數據組。同時，通過正則化項將目標數據壓縮的自由能對準源域，可以隱式地減小域間隙。通過大量的實驗，我們證明了EADA在眾所周知的具有挑戰性的基準測試中取得了重大改進，超越了最先進的方法，使其成為開放世界中一個有用的選項。代碼可以在//github.com/BIT-DA/EADA上找到。

論文概述：視頻中的時序關系建模對于行為動作理解（如動作識別和動作分割）至關重要。盡管圖卷積網絡（GCN）在許多任務的關系推理中顯示出令人鼓舞的優勢，但如何在長視頻序列上有效地應用圖卷積網絡仍然是一個挑戰。其主要原因是大量存在的視頻幀節點使GCN難以捕獲和建模視頻中的時序依賴關系。為了解決此問題，本文引入了一個有效的GCN模塊，即膨脹時序圖推理模塊（DTGRM），該模塊旨在對不同時間跨度視頻幀之間的時序關系和相關性進行建模，尤其可以通過構造多級擴張的時序圖來捕獲和建模長跨度的時序關系。此外，為了增強所提出模型的時序推理能力，本文提出了一種輔助的自監督任務，以鼓勵膨脹的時序圖推理模塊找到并糾正視頻中錯誤的時序關系。本模型在三個具有挑戰性的數據集上均優于最新的行動分割模型。

//www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355

目標檢測器通常在完全標注實例的監督學習情況下獲得很好的結果。但是，對于稀疏實例注釋，它們的性能遠遠不能令人滿意。現有的稀疏標注目標檢測方法主要是對難的負樣本的損失進行重加權，或者將未標注的實例轉換為忽略區域，以減少假陰性的干擾。我們認為這些策略是不夠的，因為它們最多可以減輕由于缺少注釋而造成的負面影響。在本文中，我們提出了一個簡單而有效的機制，稱為協同挖掘，稀疏標注的目標檢測。在協同挖掘中，一個連體網絡的兩個分支相互預測偽標簽集。為了增強多視圖學習和更好地挖掘未標記實例，將原始圖像和相應的增強圖像分別作為Siamese網絡的兩個分支的輸入。協同挖掘可以作為一種通用的訓練機制，應用于大多數現代目標檢測器。在三種不同稀疏注釋設置的MS COCO數據集上進行了實驗，使用兩種典型的框架:基于錨的檢測器RetinaNet和無錨檢測器FCOS。實驗結果表明，與RetinaNet的協同挖掘方法相比，在相同的稀疏標注設置下，相比于不同的基線，改進了1.4%~2.1%，超過了現有的方法。

//www.zhuanzhi.ai/paper/26fe94a8c64fbb5140619ab72ed036d1