當測試數據和訓練數據的分布相似時,基于深度神經網絡的方法已經取得了驚人的性能,但如果沒有相似的分布,則性能可能表現很差。因此,消除訓練和測試數據之間分布變化的影響對于構建具有良好性能的深度模型至關重要。傳統的方法要么假設訓練數據已知的異質性(例如域標簽),要么假設不同域的容量近似相等。在本文中,我們考慮一個更具有挑戰性的情況,即上述兩種假設都不成立。為了解決這一問題,我們提出通過學習訓練樣本的權重來消除特征之間的依賴關系,這有助于深度模型擺脫虛假的相關性,從而更加關注區分性特征和標簽之間的真實聯系。大量的實驗清楚地證明了我們的方法在多個分布泛化基準上的有效性,與最先進的同行相比。通過大量的分布泛化基準實驗,包括PACS、VLCS、mist - m和NICO,我們證明了該方法的有效性,并與最新的同類方法進行了比較。
回歸作為分類的對應,是一個具有廣泛應用的主要范式。域自適應回歸將回歸器從有標記的源域推廣到無標記的目標域。現有的區域適應回歸方法僅在淺層區取得了積極的結果。一個問題出現了:為什么在深層機制中學習不變表征不那么明顯?本文的一個重要發現是,分類對特征尺度具有魯棒性,而回歸則不具有魯棒性,對齊深度表示的分布會改變特征尺度,阻礙領域自適應回歸。基于這一發現,我們提出了通過表示空間的正交基來關閉域間隙,這是自由的特征縮放。受格拉斯曼流形的黎曼幾何啟發,我們定義了表示子空間上的幾何距離,并通過最小化它來學習深度可遷移表示。為了避免破壞深度表示的幾何性質,我們進一步引入了基不匹配懲罰來匹配正交基的排序跨表示子空間。我們的方法在三個領域自適應回歸基準上進行了評價,本文構建了其中兩個基準。我們的方法明顯優于最先進的方法。
本文提出了從視頻無監督的時空表示學習的大規模研究。借助對四個基于圖像的最新框架的統一觀點,我們研究了一個簡單的目標,可以輕松地將所有這些方法推廣到時空。我們的目標是鼓勵在同一視頻中使用時間上持久的特征,盡管它簡單易用,但在以下情況下卻表現出色:(i)不同的無監督框架,(ii)預訓練數據集,(iii)下游數據集,以及(iv) 骨干架構。我們從這項研究中得出了一系列有趣的觀察結果,例如,我們發現,即使跨度為60秒,鼓勵長時間跨度的持久性也是有效的。除了在多個基準測試中得到的最新結果之外,我們還報告了一些有希望的案例,其中無監督的預訓練可以勝過其有監督的預訓練。
盡管主動學習在圖像識別方面取得了長足的進步,但仍然缺乏一種專門適用于目標檢測的示例級的主動學習方法。在本文中,我們提出了多示例主動目標檢測(MI-AOD),通過觀察示例級的不確定性來選擇信息量最大的圖像用于檢測器的訓練。MI-AOD定義了示例不確定性學習模塊,該模塊利用在已標注集上訓練的兩個對抗性示例分類器的差異來預測未標注集的示例不確定性。MI-AOD將未標注的圖像視為示例包,并將圖像中的特征錨視為示例,并通過以多示例學習(MIL)方式對示例重加權的方法來估計圖像的不確定性。反復進行示例不確定性的學習和重加權有助于抑制噪聲高的示例,來縮小示例不確定性和圖像級不確定性之間的差距。實驗證明,MI-AOD為示例級的主動學習設置了堅實的基線。在常用的目標檢測數據集上,MI-AOD和最新方法相比具有明顯的優勢,尤其是在已標注集很小的情況下。
代碼地址為//github.com/yuantn/MI-AOD
Adaptive Methods for Real-World Domain Generalization
不變方法在解決領域泛化問題方面已經取得了顯著的成功,該問題的目標是對不同于訓練中使用的數據分布進行推斷。在我們的工作中,我們研究是否有可能利用未知測試樣本本身的領域信息。我們提出一個域自適應方法包括兩個步驟: a)我們首先學習區別的域嵌入從無監督訓練的例子,和 b)使用該域嵌入作為補充信息來構建一個domainadaptive模型,這需要輸入以及其域考慮而做出的預測。對于看不見的域,我們的方法簡單地使用少數未標記的測試示例來構建域嵌入。這使得對任何看不見的域進行自適應分類成為可能。我們的方法在各種領域泛化基準上實現了最先進的性能。此外,我們還引入了第一個真實世界的大規模域泛化基準Geo-YFCC,該基準包含超過40個訓練域、7個驗證域和15個測試域的1.1萬個樣本,比之前的工作大了幾個數量級。我們表明,現有的方法要么不能擴展到這個數據集,要么不如基于所有訓練領域的數據聯合的訓練模型的簡單基線。相比之下,我們的方法獲得了顯著的1%的改進。
//www.zhuanzhi.ai/paper/6e7661967d0879ebfd0236873a75386b
該工作將度量學中一個重要的屬性“動態范圍”引入到深度度量學習,從而得到一個新的任務叫做“動態度量學習”。我們發現,以往的深度度量其實只蘊含一個刻度,例如僅僅區分人臉、行人是相似還是不相似。這樣的量具無論多精確,在實際使用中都是靈活不足、用途有限的。實際上,我們日常的量具通常具有動態范圍,例如尺子總是有多個刻度(例如1mm、1cm乃至10cm)來測量不同尺度的物體。我們認為,深度度量學習領域已經到了需要引入動態范圍的時候了。因為,視覺概念本身就有著不同的大小,“動物”、“植物”都對應大尺度,而“麋鹿”卻對應相對較小的尺度。在小尺度下,兩只麋鹿可能看上去很不一樣,但是在另一個大尺度下,同樣兩只麋鹿卻應該被認為非常相似。
論文:Adaptive Consistency Regularization for Semi-Supervised Transfer Learning 鏈接: //www.zhuanzhi.ai/paper/43d085f2c66d68b77584edcb0ee36ba0 代碼:
盡管最近半監督學習的研究在利用標記和未標記數據方面有顯著進步,但大多數假設模型的基本設置是隨機初始化的。
因此本文將半監督學習和遷移學習相結合提出了一種半監督的轉移學習框架,該方法不僅能利用目標域(目標任務數據集)中的標記/未標記數據,還能利用源域(具有不同語義的通用數據集,如:ImageNet)中的預訓練模型。為了更好地利用預訓練權重和未標記目標數據,我們引入了自適應一致性正則化,它由兩個互補組件組成:源模型和目標模型之間的示例上的自適應知識一致性(AKC),以及自適應表示一致性(ARC) ),在目標模型上標記和未標記的示例之間,根據它們對目標任務的潛在貢獻,自適應地選擇一致性正則化中涉及的示例。
通過微調ImageNet預訓練的ResNet-50模型,我們在幾個流行的基準上進行了廣泛的實驗,包括CUB-200-2011,MIT Indoor-67,MURA。結果表明,我們提出的自適應一致性正則化性能優于最新的半監督學習技術,例如Pseudo Label,Mean Teacher和MixMatch。此外,我們的算法能與現有方法共同使用,因此能夠在MixMatch和FixMatch之上獲得其他改進。
本文的主要貢獻包含以下三點:
1、第一個提出用于深度神經網絡的半監督轉移學習框架 2、利用半監督學習和轉移學習的特性引入自適應一致性正則化來改善半監督轉移學習 3、實驗結果表明所提出的自適應一致性正則化性能優于最新的半監督學習技術
自監督學習已被廣泛應用于從未標記圖像中獲取可轉移的表示。特別是,最近的對比學習方法在下游圖像分類任務中表現出了令人印象深刻的性能。這些對比方法主要集中在語義保留變換下的圖像級上生成不變的全局表示,容易忽略局部表示的空間一致性,因此在目標檢測和實例分割等本地化任務的預處理中存在一定的局限性。此外,在現有的對比方法中使用的積極裁剪視圖可以最小化單個圖像中語義不同區域之間的表示距離。
在本文中,我們提出了一種用于多目標和特定位置任務的空間一致表示學習算法(SCRL)。特別地,我們設計了一個新的自監督目標,試圖根據幾何平移和縮放操作產生隨機裁剪局部區域的連貫空間表示。在使用基準數據集的各種下游定位任務上,提出的SCRL顯示了相對于圖像級監督前訓練和最先進的自監督學習方法的顯著性能改進。代碼將會被發布。
我們提出了自監督幾何感知(SGP),這是第一個學習特征描述符進行對應匹配的通用框架,不需要任何真實的幾何模型標簽(例如,相機姿態,剛性轉換)。我們的第一個貢獻是將幾何感知形式化為一個優化問題,在給定大量視覺測量數據(如圖像、點云)的基礎上,聯合優化特征描述符和幾何模型。在這個優化公式下,我們展示了視覺領域的兩個重要的研究流,即魯棒模型擬合和深度特征學習,對應著優化未知變量的一個塊,同時固定另一個塊。這種分析自然引出了我們的第二個貢獻——SGP算法,它執行交替最小化來解決聯合優化。SGP迭代地執行兩個元算法:一個教師對已知的學習特征進行魯棒模型擬合以生成幾何偽標簽,一個學生在偽標簽的嘈雜監督下進行深度特征學習。作為第三個貢獻,我們將SGP應用于大規模真實數據集上的兩個感知問題,即MegaDepth上的相對相機姿態估計和3DMatch上的點云配準。我們證明,SGP達到了最先進的性能,與使用真實標簽訓練的受監督的模型相當。
人類有一種辨別環境中未知物體的本能。當最終獲得相應的知識時,對這些未知實例的內在好奇心有助于了解它們。這激勵我們提出一種新穎的計算機視覺問題稱:“開放世界目標檢測”,在一個模型的任務是:1) 識別的對象沒有被介紹,成為“未知”,沒有明確的監督,和 2)增量學習這些識別未知類別。本文提出了一種基于對比聚類和基于能量的未知識別的開放世界目標檢測方案。我們的實驗評價和消融研究分析了ORE 在實現開放世界目標的有效性。作為一個有趣的副產品,我們發現識別和描述未知實例有助于減少增量對象檢測設置中的混亂,在增量對象檢測設置中,我們實現了最先進的性能,而不需要額外的方法努力。我們希望我們的工作將吸引對這一新確定的關鍵研究方向的進一步研究。