亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習在大規模均衡數據集的視覺識別方面取得了顯著進展，但在現實世界的長尾數據上仍然表現不佳。以往的方法多采用類別再平衡訓練策略，有效緩解類別不平衡問題，但可能存在類別尾部過擬合的風險。目前的解耦方法利用多階段訓練方案克服了過擬合問題，但仍無法在特征學習階段捕獲尾類信息。在本文中，我們證明軟標簽可以作為一個強大的解決方案，將標簽相關性納入多階段訓練方案的長尾識別。軟標簽所體現的類之間的內在聯系有助于長尾識別，將知識從頭類傳遞到尾類。

具體地說，我們提出了一個概念簡單但特別有效的多階段訓練方案，稱為自監督蒸餾(SSD)。本方案由兩部分組成。首先，我們引入了一個自蒸餾的長尾識別框架，該框架可以自動挖掘標簽關系。其次，提出了一種新的基于自監督引導的蒸餾標簽生成模塊。提取的標簽集成了來自標簽和數據域的信息，可以有效地建模長尾分布。我們進行了廣泛的實驗，我們的方法在三個長尾識別基準上取得了最先進的結果:ImageNet-LT, CIFAR100-LT和iNaturalist 2018。在不同的數據集上，我們的SSD比強大的LWS基線性能高出2.7%到4.5%。

//www.zhuanzhi.ai/paper/9551df29964dcd508862fb665b5b696a

無監督多對象表示學習依賴于歸納偏差來指導發現以對象為中心的表示。然而，我們觀察到，學習這些表征的方法要么是不切實際的，因為長時間的訓練和大量的記憶消耗，要么是放棄了關鍵的歸納偏見。在這項工作中，我們引入了EfficientMORL，一個有效的無監督學習框架的對象中心表示。我們證明了同時要求對稱性和解纏性所帶來的優化挑戰實際上可以通過高成本的迭代攤銷推理來解決，通過設計框架來最小化對它的依賴。我們采用兩階段的方法進行推理:首先，分層變分自編碼器通過自底向上的推理提取對稱的解纏表示，其次，輕量級網絡使用自頂向下的反饋來改進表示。在訓練過程中所采取的細化步驟的數量根據課程減少，因此在測試時零步驟的模型達到了99.1%的細化分解性能。我們在標準多目標基準上演示了強大的對象分解和解纏，同時實現了比以前最先進的模型快一個數量級的訓練和測試時間推斷。

//www.zhuanzhi.ai/paper/f29b88ee56208601f787cc791e3c7414

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3? , Humphrey Shi2? , Cheng-Zhong Xu3 , Dejing Dou1?

雖然最近關于半監督學習的研究在利用標記和未標記數據方面取得了顯著進展，但大多數研究都假定模型的基本設置是隨機初始化的。在這項工作中，我們將半監督學習和遷移學習結合起來，從而形成一個更實用和更具競爭力的范式，該范式可以利用來自源領域的強大的預訓練模型以及目標領域的標記/未標記數據。更好地利用pre-trained權重和標記的價值目標的例子,我們引入自適應一致性互補正規化,由兩部分組成:自適應知識一致性(AKC)在源和目標之間的示例模型和自適應表示一致性(AKC)標記和未標記示例之間的目標模型。一致性正則化所涉及的實例是根據它們對目標任務的潛在貢獻自適應選擇的。通過微調ImageNet預先訓練的ResNet-50模型，我們對流行基準進行了廣泛的實驗，包括CIFAR-10、CUB-200、Indoor67和MURA。結果表明，我們提出的自適應一致性正則化優于最先進的半監督學習技術，如偽標簽、Mean Teacher和MixMatch。此外，我們的算法與現有的方法是正交的，因此能夠在MixMatch和FixMatch之上獲得額外的改進。我們的代碼可以在//github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。

由于距離度量學習與深度神經網絡的無縫結合，近年來深度度量學習受到了廣泛的關注。許多人致力于設計不同的基于成對的角損失函數，將嵌入向量的大小和方向信息解耦，保證訓練和測試測度的一致性。但是，這些傳統的角度損失并不能保證在訓練階段所有的樣本嵌入都在同一個超球面上，這會導致批量優化時梯度不穩定，影響嵌入學習的快速收斂。本文首先研究了嵌入范數對角距離深度度量學習的影響，然后提出了一個球面嵌入約束(SEC)來規范范數的分布。SEC自適應地調整嵌入，以落在同一個超球體上，并執行更平衡的方向更新。在深度度量學習、人臉識別和對比自監督學習方面的大量實驗表明，基于SEC的角空間學習策略顯著提高了最先進的性能。

//arxiv.org/abs/2011.02785

我們考慮這樣一個問題:你如何為對比學習抽取好的負樣本例子?我們認為，與度量學習一樣，學習對比表示法受益于硬負樣本(即，點很難與錨點區分)。使用硬負樣本的關鍵挑戰是對比方法必須保持無監督，使得采用現有的使用標簽信息的負樣本抽樣策略不可行。作為回應，我們開發了一種新的無監督的方法來選擇硬負樣本，在那里用戶可以控制硬負樣本的數量。這種抽樣的極限情況會導致對每個類進行緊密聚類的表示，并將不同的類推到盡可能遠的地方。該方法提高了跨模態的下游性能，只需要少量的額外代碼來實現，并且沒有引入計算開銷。

//arxiv.org/pdf/2010.04592.pdf

本文通過新的概率建模方法，對對比學習的最新發展進行了有益的改進。我們推導了一種特殊形式的對比損失，稱為聯合對比學習(JCL)。JCL隱含地涉及到同時學習無限數量的查詢鍵對，這在搜索不變特征時帶來了更嚴格的約束。我們推導了這個公式的上界，它允許以端到端訓練的方式進行解析解。雖然JCL在許多計算機視覺應用程序中實際上是有效的，但我們也從理論上揭示了控制JCL行為的某些機制。我們證明，提出的公式具有一種內在的力量，強烈支持在每個實例特定類內的相似性，因此在搜索不同實例之間的區別特征時仍然具有優勢。我們在多個基準上評估這些建議，證明了對現有算法的相當大的改進。代碼可以通過以下網址公開獲得

//github.com/caiqi/Joint-Contrastive-Learning

題目： Laplacian Regularized Few-Shot Learning

簡介：

我們為小樣本學習提出了一個拉普拉斯正則化推斷。給定從基類中學習到的任何特征嵌入，我們將包含兩個項的二次二進制賦值函數最小化：（1）將查詢樣本分配給最近的類原型的一元項，以及（2）鼓勵附近查詢樣本成對使用的成對拉普拉斯項具有一致的標簽。我們的推論不會重新訓練基本模型，并且可以將其視為查詢集的圖形聚類，但要受到支持集的監督約束。我們導出了函數松弛的計算有效邊界優化器，該函數在保證收斂的同時為每個查詢樣本計算獨立（并行）更新。在基礎類上進行簡單的交叉熵訓練，并且沒有復雜的元學習策略后，我們對五個基準進行了全面的實驗。我們的LaplacianShot在不同模型，設置和數據集上具有顯著優勢，始終優于最新方法。此外，我們的歸納推理非常快，其計算時間接近于歸納推理，可用于大規模的一次性任務。

題目： Continual Learning of Object Instances

摘要： 我們建議實例持續學習——一種將持續學習的概念應用于區分相同對象類別的實例的任務的方法。我們特別關注car對象，并通過度量學習逐步學會區分car實例與其他實例。我們從評估當前的技術開始我們的論文。在現有的方法中，災難性遺忘是顯而易見的，我們提出了兩個補救措施。首先，通過歸一化交叉熵對度量學習進行正則化。其次，我們使用合成數據傳輸來擴充現有的模型。我們在三個大型數據集上進行了大量的實驗，使用了兩種不同的體系結構，采用了五種不同的持續學習方法，結果表明，標準化的交叉熵和合成轉移可以減少現有技術中的遺忘。

交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。