在對新類進行訓練時，少樣本學習(FSL)方法通常假設具有準確標記樣本的干凈支持集。這種假設通常是不現實的: 支持集，無論多小，仍然可能包括錯誤標記的樣本。因此，對標簽噪聲的魯棒性對于FSL方法的實用性是至關重要的，但令人驚訝的是，這個問題在很大程度上仍然沒有被探索。為了解決FSL設置中標簽錯誤的樣品，我們做了一些技術貢獻。(1)我們提供簡單而有效的特征聚合方法，改進了ProtoNet(一種流行的FSL技術)所使用的原型。(2)我們描述了一種新的Transformer 模型用于有噪聲的少樣本學習(TraNFS)。TraNFS利用Transformer的注意力機制來權衡標簽錯誤和正確的樣本。(3)最后，我們在噪聲版本的MiniImageNet和TieredImageNet上對這些方法進行了廣泛的測試。我們的結果表明，在干凈的支持集上，TraNFS與領先的FSL方法相當，但到目前為止，在存在標簽噪聲的情況下，TraNFS的性能優于FSL方法。
//www.zhuanzhi.ai/paper/3344a6f7145677357d0fa217987a4502
付費5元查看完整內容
相關內容
CLIP視覺語言方法的學習目標未能有效地考慮到網絡采集的圖像描述數據集存在的多對多的噪聲，導致其計算和數據效率低下。為了解決這一挑戰，我們引入了一種基于跨模態對比學習的新訓練框架，該框架使用漸進自蒸餾和軟圖像-文本對齊，以更有效地從噪聲數據中學習魯棒表示。我們的模型提煉自己的知識，為每個小批中的圖像子集和標題動態地生成軟對齊目標，然后用來更新其參數。在14個基準數據集上的廣泛評估表明，我們的方法在多種設置下始終優于CLIP對應的方法，包括:(a)零樣本分類，(b)線性探針傳輸，(c)圖像-文本檢索，而不增加計算成本。使用基于ImageNet的魯棒性測試平臺的分析表明，與經過ImageNet訓練的模型和CLIP本身相比，我們的方法對自然分布轉移提供了更好的有效魯棒性。最后，使用兩個數量級的數據集進行預訓練表明，我們對CLIP的改進往往與訓練示例的數量成比例。
付費5元查看完整內容
本文介紹了一種綜合任務——少樣本分類與分割(FS-CS)，該任務的目的是在給出目標類的情況下，對查詢圖像中的目標對象進行分類和分割。該任務結合了兩個傳統的少樣本學習問題:少樣本分類和分割。FS-CS將它們推廣到具有任意圖像對的更真實的事件中，其中每個目標類可能出現在查詢中，也可能不出現。為了解決這一問題，我們提出了FS-CS的整合少樣本學習(iFSL)框架，該框架訓練學習者構建類方向的前景圖，用于多標簽分類和像素方向的分割。我們還開發了一種有效的iFSL模型——注意力擠壓網絡(ASNet)，該模型利用深度語義相關性和全局自注意力來生成可靠的前景圖。在實驗中，該方法在FS-CS任務中表現出了良好的性能，并在標準的少樣本分割基準上達到了目前的水平。
付費5元查看完整內容
基于meta-learning的方法在有噪聲標注的圖像分類中取得了顯著的效果。這類方法往往需要大量的計算資源，而計算瓶頸在于meta-gradient的計算上。本文提出了一種高效的meta-learning更新方式：Faster Meta Update Strategy (FaMUS)，加快了meta-learning的訓練速度 (減少2/3的訓練時間)，并提升了模型的性能。首先，我們發現meta-gradient的計算可以轉換成一個逐層計算并累計的形式; 并且，meta-learning的更新只需少量層數在meta-gradient就可以完成。基于此，我們設計了一個layer-wise gradient sampler 加在網絡的每一層上。根據sampler的輸出，模型可以在訓練過程中自適應地判斷是否計算并收集該層網絡的梯度。越少層的meta-gradient需要計算，網絡更新時所需的計算資源越少，從而提升模型的計算效率。
并且，我們發現FaMUS使得meta-learning更加穩定，從而提升了模型的性能。最后，我們在有噪聲的分類問題以及長尾分類問題都驗證了我們方法的有效性。
付費5元查看完整內容
類不平衡數據的半監督學習雖然是一個現實的問題，但已經得到了研究。雖然現有的半監督學習(SSL)方法在少數類上表現不佳，但我們發現它們仍然在少數類上生成高精度的偽標簽。通過利用這一特性，在這項工作中，我們提出了類再平衡自我訓練(CReST)，這是一個簡單而有效的框架，用于改進現有的對類不平衡數據的SSL方法。CReST通過從一個未標記集中添加偽標記樣本擴展了一個標記集，迭代地重新訓練一個基線SSL模型，在該模型中，根據估計的類分布，從少數類中更頻繁地選擇偽標記樣本。我們還提出了一種漸進式分布對齊，以適應調整CReST+的再平衡強度。我們展示了CReST和CReST+在各種類不平衡的數據集上改進了最先進的SSL算法，并始終優于其他流行的再平衡方法。
付費5元查看完整內容
論文：Adaptive Consistency Regularization for Semi-Supervised Transfer Learning 鏈接： //www.zhuanzhi.ai/paper/43d085f2c66d68b77584edcb0ee36ba0 代碼：
盡管最近半監督學習的研究在利用標記和未標記數據方面有顯著進步，但大多數假設模型的基本設置是隨機初始化的。
因此本文將半監督學習和遷移學習相結合提出了一種半監督的轉移學習框架，該方法不僅能利用目標域（目標任務數據集）中的標記/未標記數據，還能利用源域（具有不同語義的通用數據集，如：ImageNet）中的預訓練模型。為了更好地利用預訓練權重和未標記目標數據，我們引入了自適應一致性正則化，它由兩個互補組件組成：源模型和目標模型之間的示例上的自適應知識一致性（AKC），以及自適應表示一致性（ARC） ），在目標模型上標記和未標記的示例之間，根據它們對目標任務的潛在貢獻，自適應地選擇一致性正則化中涉及的示例。
通過微調ImageNet預訓練的ResNet-50模型，我們在幾個流行的基準上進行了廣泛的實驗，包括CUB-200-2011，MIT Indoor-67，MURA。結果表明，我們提出的自適應一致性正則化性能優于最新的半監督學習技術，例如Pseudo Label，Mean Teacher和MixMatch。此外，我們的算法能與現有方法共同使用，因此能夠在MixMatch和FixMatch之上獲得其他改進。
本文的主要貢獻包含以下三點：
1、第一個提出用于深度神經網絡的半監督轉移學習框架 2、利用半監督學習和轉移學習的特性引入自適應一致性正則化來改善半監督轉移學習 3、實驗結果表明所提出的自適應一致性正則化性能優于最新的半監督學習技術
付費5元查看完整內容
遷移學習
·
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3? , Humphrey Shi2? , Cheng-Zhong Xu3 , Dejing Dou1?
雖然最近關于半監督學習的研究在利用標記和未標記數據方面取得了顯著進展，但大多數研究都假定模型的基本設置是隨機初始化的。在這項工作中，我們將半監督學習和遷移學習結合起來，從而形成一個更實用和更具競爭力的范式，該范式可以利用來自源領域的強大的預訓練模型以及目標領域的標記/未標記數據。更好地利用pre-trained權重和標記的價值目標的例子,我們引入自適應一致性互補正規化,由兩部分組成:自適應知識一致性(AKC)在源和目標之間的示例模型和自適應表示一致性(AKC)標記和未標記示例之間的目標模型。一致性正則化所涉及的實例是根據它們對目標任務的潛在貢獻自適應選擇的。通過微調ImageNet預先訓練的ResNet-50模型，我們對流行基準進行了廣泛的實驗，包括CIFAR-10、CUB-200、Indoor67和MURA。結果表明，我們提出的自適應一致性正則化優于最先進的半監督學習技術，如偽標簽、Mean Teacher和MixMatch。此外，我們的算法與現有的方法是正交的，因此能夠在MixMatch和FixMatch之上獲得額外的改進。我們的代碼可以在//github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。
付費5元查看完整內容
我們提出了自監督幾何感知(SGP)，這是第一個學習特征描述符進行對應匹配的通用框架，不需要任何真實的幾何模型標簽(例如，相機姿態，剛性轉換)。我們的第一個貢獻是將幾何感知形式化為一個優化問題，在給定大量視覺測量數據(如圖像、點云)的基礎上，聯合優化特征描述符和幾何模型。在這個優化公式下，我們展示了視覺領域的兩個重要的研究流，即魯棒模型擬合和深度特征學習，對應著優化未知變量的一個塊，同時固定另一個塊。這種分析自然引出了我們的第二個貢獻——SGP算法，它執行交替最小化來解決聯合優化。SGP迭代地執行兩個元算法:一個教師對已知的學習特征進行魯棒模型擬合以生成幾何偽標簽，一個學生在偽標簽的嘈雜監督下進行深度特征學習。作為第三個貢獻，我們將SGP應用于大規模真實數據集上的兩個感知問題，即MegaDepth上的相對相機姿態估計和3DMatch上的點云配準。我們證明，SGP達到了最先進的性能，與使用真實標簽訓練的受監督的模型相當。
付費5元查看完整內容
論文題目：Counterfactual VQA: A Cause-Effect Look at Language Bias
作者：牛玉磊，湯凱華，張含望，盧志武，華先勝，文繼榮
論文概述：近期研究發現，視覺問答模型在訓練過程中會傾向于探索數據中的語言偏差，并依賴語言偏差進行推理和作答。這一傾向使得視覺問答模型未能充分地從視覺和語言兩個模態中學習多模態知識，進而做出錯誤的回答。本文研究如何將視覺問答任務中的語言偏差進行捕獲并去除。本文從因果推理的視角出發，提出了一種全新的基于反事實推斷的視覺問答框架。反事實推斷框架將語言偏差建模為問題對答案的直接因果效應，并通過從總體因果效應中減去語言的直接效應的方式去除語言偏差。實驗證明反事實推斷框架能夠有效地克服語言偏差的影響，并具有良好的泛化性和魯棒性。此外，本文從因果推理的角度為部分相關工作提供了理論解釋。
付費5元查看完整內容
最近的小樣本學習方法幾乎都是基于場景式（元任務式）訓練，即為了模仿測試時的情況，每個元任務中對于每個類只采樣少量訓練樣本（支撐樣本）。然而，這種嚴格仿照測試情況的訓練方式有個副作用，即訓練得到的模型容易受到少量支撐樣本的壞采樣的影響。在本工作中，我們第一次以探索場景之間關系的方式來嘗試解決該問題。特別地，我們提出了一個新穎的建模場景級別關系的元學習（MELR）框架：通過采樣兩個擁有相同類別集合的場景用于元訓練，MELR用來保證訓練得到的模型在元測試階段對于質量不高的支撐樣本的存在是魯棒的。這可以通過設計兩個關鍵部件來實現：（1）一個跨場景注意力模塊（CEAM）來提高模型減少壞采樣支撐樣本帶來的反作用的能力；（2）一個跨場景一致性正則（CECR）來保證分別在兩個場景下獨立得到的兩個分類器有一致的表現。在兩個基準數據集上，大量標準小樣本學習實驗顯示我們的MELR相比于我們使用的基準方法（原型網絡）取得了1.0%- 5.0%的性能提升，而且在相同設置下打敗了最新的方法。
//openreview.net/forum?id=D3PcGLdMx0
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191