亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

內容簡介：考慮到不同類別的表情之間存在著相似性，本文認為人臉表情信息由不同表情之間的共享信息與每個表情的特定信息組成，提出了一種基于特征解構與重構學習的人臉表情識別方法。具體地，首先使用特征分解網絡將基本特征分解為一系列能夠感知面部動作的潛在特征，這些潛在特征有效地建模了表情中的共享信息。然后，特征重構網絡分別對這一系列潛在特征向量進行特征內部和特征之間的相關性建模，從而學習表情的特有信息。實驗結果表明該方法在三個室內數據集（包括 CK+、 MMI 和 OuluCASIA）和兩個室外數據集（包括 RAFDB 和 SFEW）上都有優越的性能表現。

//www.zhuanzhi.ai/paper/c832f458c42e7a60a06a20693dafb9d9

本文研究了卷積神經網絡（CNN）和視覺語言預訓練Transformer（VLPT）的聯合學習，旨在從數百萬個圖像-文本對中學習跨模態對齊。當前大多數文章都是先抽取出圖像中的顯著性區域，再將其與文字一一對齊。由于基于區域的視覺特征通常代表圖像的一部分，因此現有的視覺語言模型要充分理解配對自然語言的語義是一項挑戰。由于基于區域的視覺特征通常代表圖像的一部分，現有的視覺語言模型很難完全理解成對自然語言的語義。本文提出SOHO“開箱即看”的概念，將完整的圖像為輸入，以一種端到端的方式學習視覺語言表達。SOHO不需要邊界框標注，這使得推理速度比基于區域的方法快10倍。特別地，SOHO學會了通過視覺詞典（VD）來提取全面而緊湊的圖像特征，這有助于跨模態理解。大量的實驗結果也驗證了本文SOHO的有效性。

//www.zhuanzhi.ai/paper/a8c52c4b641c0a5bc840a955b6258b39

一種基于知識蒸餾的弱監督圖像文本匹配模型

Improving Weakly Supervised Visual Grounding by Contrastive Knowledge Distillation

本文由騰訊 AI Lab 主導完成。弱監督的圖像文本匹配旨在學習僅使用圖像句子的對應來得到細顆粒度的圖像區域和短語的對應. 因此，主要的挑戰在于訓練期間圖像區域和句子短語之間缺少匹配的數據。

為了應對這一挑戰，我們在訓練時利用了通用的物體檢測器知識蒸餾，并提出了利用對比學習來得到圖像和文本細顆粒度匹配的新方法。我們的方法在弱監督的視覺區域和短語匹配任務上超越了以前的方法。

//www.zhuanzhi.ai/paper/d59e9b614122852f5a78b38a14d43921

該工作將度量學中一個重要的屬性“動態范圍”引入到深度度量學習，從而得到一個新的任務叫做“動態度量學習”。我們發現，以往的深度度量其實只蘊含一個刻度，例如僅僅區分人臉、行人是相似還是不相似。這樣的量具無論多精確，在實際使用中都是靈活不足、用途有限的。實際上，我們日常的量具通常具有動態范圍，例如尺子總是有多個刻度（例如1mm、1cm乃至10cm）來測量不同尺度的物體。我們認為，深度度量學習領域已經到了需要引入動態范圍的時候了。因為，視覺概念本身就有著不同的大小，“動物”、“植物”都對應大尺度，而“麋鹿”卻對應相對較小的尺度。在小尺度下，兩只麋鹿可能看上去很不一樣，但是在另一個大尺度下，同樣兩只麋鹿卻應該被認為非常相似。

背景：實際應用中，由于數據采集和傳輸過程的復雜性，數據可能會丟失部分視圖，這就導致了信息不完備下的視圖缺失問題（Incomplete Multi-view Problem, IMP）。例如在線會議中，一些視頻幀可能由于傳感器故障而丟失了視覺或音頻信號。針對該問題，過去十多年已提出了一些不完全多視圖聚類方法（Incomplete Multi-view Clustering, IMC）并取得了顯著效果。但IMP仍面臨兩個主要挑戰：1）如何在不利用標簽信息的情況下學習一致的多視圖公共表示；2）如何從部分缺失的數據中還原完整的數據。

//pengxi.me/wp-content/uploads/2021/03/2021CVPR-completer.pdf

創新：針對上述挑戰，受近期Tsai等在ICLR2021上發表的工作所啟發，本文提供了一個新的不完全多視圖聚類見解，即不完全多視圖聚類中的數據恢復和一致性學習是一體兩面的，兩者可統一到信息論的框架中。這樣的觀察和理論結果與現有的將一致性學習和數據恢復視為兩個獨立問題的工作有很大的不同。簡要地，從信息論角度出發，互信息能用于量化跨視圖表示間的一致性，而條件熵可用于量化跨視圖的可恢復性。因此，一方面，最大化互信息與最小化條件熵將分別增加共享的信息量與數據的可恢復性。另一方面，同時最大化互信息與最小化條件熵兩個目標又互為補充，相互促進。與Tsai等人的工作的不同之處在于，他們主要是在信息論框架下利用預測學習改進對比學習的性能，沒有如本文一樣考慮到缺失視圖下的一致性和可恢復性的學習。

方法：基于上述觀察，論文提出了對偶預測范式并將其與對比學習結合，通過一個新的損失函數實現了跨視圖一致性與可恢復性的聯合優化。提出的損失函數包括三部分：1）視圖內重構損失，主要用于學習各個視圖數據的視圖特殊表示，由一系列獨自的自編碼器重構損失組成；2）跨視圖對比學習損失，通過最大化不同視圖間的互信息學習多視圖一致性；3）跨視圖對偶預測損失，通過最小化視圖表示的條件熵進而實現視圖數據恢復。

論文：Adaptive Consistency Regularization for Semi-Supervised Transfer Learning 鏈接： //www.zhuanzhi.ai/paper/43d085f2c66d68b77584edcb0ee36ba0 代碼：

盡管最近半監督學習的研究在利用標記和未標記數據方面有顯著進步，但大多數假設模型的基本設置是隨機初始化的。

因此本文將半監督學習和遷移學習相結合提出了一種半監督的轉移學習框架，該方法不僅能利用目標域（目標任務數據集）中的標記/未標記數據，還能利用源域（具有不同語義的通用數據集，如：ImageNet）中的預訓練模型。為了更好地利用預訓練權重和未標記目標數據，我們引入了自適應一致性正則化，它由兩個互補組件組成：源模型和目標模型之間的示例上的自適應知識一致性（AKC），以及自適應表示一致性（ARC） ），在目標模型上標記和未標記的示例之間，根據它們對目標任務的潛在貢獻，自適應地選擇一致性正則化中涉及的示例。

通過微調ImageNet預訓練的ResNet-50模型，我們在幾個流行的基準上進行了廣泛的實驗，包括CUB-200-2011，MIT Indoor-67，MURA。結果表明，我們提出的自適應一致性正則化性能優于最新的半監督學習技術，例如Pseudo Label，Mean Teacher和MixMatch。此外，我們的算法能與現有方法共同使用，因此能夠在MixMatch和FixMatch之上獲得其他改進。

本文的主要貢獻包含以下三點：

1、第一個提出用于深度神經網絡的半監督轉移學習框架 2、利用半監督學習和轉移學習的特性引入自適應一致性正則化來改善半監督轉移學習 3、實驗結果表明所提出的自適應一致性正則化性能優于最新的半監督學習技術

我們提出了自監督幾何感知(SGP)，這是第一個學習特征描述符進行對應匹配的通用框架，不需要任何真實的幾何模型標簽(例如，相機姿態，剛性轉換)。我們的第一個貢獻是將幾何感知形式化為一個優化問題，在給定大量視覺測量數據(如圖像、點云)的基礎上，聯合優化特征描述符和幾何模型。在這個優化公式下，我們展示了視覺領域的兩個重要的研究流，即魯棒模型擬合和深度特征學習，對應著優化未知變量的一個塊，同時固定另一個塊。這種分析自然引出了我們的第二個貢獻——SGP算法，它執行交替最小化來解決聯合優化。SGP迭代地執行兩個元算法:一個教師對已知的學習特征進行魯棒模型擬合以生成幾何偽標簽，一個學生在偽標簽的嘈雜監督下進行深度特征學習。作為第三個貢獻，我們將SGP應用于大規模真實數據集上的兩個感知問題，即MegaDepth上的相對相機姿態估計和3DMatch上的點云配準。我們證明，SGP達到了最先進的性能，與使用真實標簽訓練的受監督的模型相當。

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

場景圖以結構化、符號化的方式將圖像的高層內容進行了概括，兩幅圖像的場景圖之間的相似性反映了其內容的相關性。基于這一思想，我們提出了一種利用圖神經網絡測量場景圖相似度的圖像到圖像檢索新方法。在我們的方法中，圖神經網絡被訓練來預測代理圖像的關聯度量，使用預先訓練的句子相似度模型從人工標注的標題計算。我們收集并發布由人類標注員測量的圖像相關性數據集，以評估檢索算法。收集到的數據集表明，我們的方法比其他基準方法更符合人類對圖像相似性的感知。

//www.zhuanzhi.ai/paper/36010276b120c7ce7d78a8b4b2427f71