亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

無監督域自適應是一種將深度神經網絡泛化到新目標域的有效范式。然而，要達到完全監督的性能，仍有巨大的潛力有待挖掘。在本文中，我們提出了一種新的主動學習策略來輔助目標領域中的知識遷移，稱為主動領域自適應。我們從一個觀察開始，當訓練(源)和測試(目標)數據來自不同的分布時，基于能量的模型表現出自由能量偏差。受這一內在機制的啟發，我們從經驗上揭示了一個簡單而有效的基于能量的采樣策略，它比現有的需要特定架構或計算距離的方法更能幫助我們選擇最有價值的目標樣本。我們的算法，基于能量的主動域自適應(EADA)，在每一輪的選擇中查詢集域特征和實例不確定性的目標數據組。同時，通過正則化項將目標數據壓縮的自由能對準源域，可以隱式地減小域間隙。通過大量的實驗，我們證明了EADA在眾所周知的具有挑戰性的基準測試中取得了重大改進，超越了最先進的方法，使其成為開放世界中一個有用的選項。代碼可以在//github.com/BIT-DA/EADA上找到。

數據及代碼已開源：//github.com/bcmi/SimTrans-Weak-Shot-Classification

基礎種類有強標注(clean label)的圖片，而新種類只有弱標注(noisy label)的圖片。弱標注的圖片可以使用類別名稱在公共網站上檢索來獲得，這是一個有潛力的數據源來支持新種類的學習而不耗費任何的人工標注。研究如何從基礎種類向新種類遷移信息，解決新種類訓練圖片標簽噪音的問題。

我們方法的訓練階段由兩部分組成：在基礎種類訓練集上學習相似度網絡；在新種類數據集上學習主分類器。相似度網絡的架構如圖3所示，它輸入一批圖片，然后輸出每一對圖片之間的相似度分數。其中的枚舉層把每一對圖片的骨干網絡特征拼接起來，稱之為關系特征。然后通過全連接層對拼接起來的特征輸出相似度分數。相似度分數由分類代價函數監督，如果一對圖片是來自于同一個種類，那么就是"相似"種類，反之則為"不相似"種類。如果自由地抽取一批圖片，那么絕大多數圖片對是來自于不同的種類。所以為了減少相似對和不相似對的不均衡問題，對于每一批圖片，我們首先選擇少量的種類，然后再從少量的種類中抽取圖片。

對于單個新種類中網絡圖片來說，我們可以發現標簽正確的樣本通常占大多數。當在單個新種類中計算每一對圖片的相似度時，我們可以發現標簽錯誤的樣本與其他大部分圖片都不相似。因此，我們可以根據一張圖片是否與其他圖片相似來判斷它標簽的正確與否。對于每一個新種類，我們首先利用預訓練好的相似度網絡計算該種類中所有圖片對的相似度，得到了一個相似度矩陣，然后我們利用某個圖片與其他所有圖片的相似度的平均作為該圖片的代價函數權重。 然后所有圖片的權重規范化到均值為1。最后，將圖片的權重應用于分類的代價函數中。通過這樣的方式，我們對標簽錯誤樣本的分類代價函數施加更低的權重。

當直接在新種類訓練集上學習的時候，特征圖結構，也就是圖片特征之間的相似度，被噪聲標簽所主導。例如，噪聲標簽的代價函數隱式地拉近具有相同標簽的圖片的特征距離。然后這樣的特征圖結構可能被噪聲標簽所誤導，所以我們試圖用遷移來的相似度來糾正被誤導的特征圖結構。具體地，我們使用經典的圖正則化來規范特征，使得語義相似的圖片對的特征相近。 網絡圖片主要有兩種噪聲：異常值和標簽翻轉。異常值指圖片不屬于任務中所考慮的任何種類，而標簽翻轉指圖片的真實標簽是所考慮種類中的一種。對于標簽翻轉噪聲，上文介紹的樣本權重方法直接通過分配更低的權重拋棄了它們。然后圖正則化可以利用它們來保持合理的特征圖結構和幫助特征學習。方法細節和實驗結果請參見論文。

圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。

//www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。

自監督學習通過從數據本身來獲取監督信號，在視頻表征學習領域展現出了巨大潛力。由于一些主流的方法容易受到背景信息的欺騙和影響，為了減輕模型對背景信息的依賴，我們提出通過添加背景來去除背景影響。具體而言，給定一個視頻，我們從中隨機選擇一個靜態幀，并將其添加到其它的每一幀中，以構建一個分散注意力的視頻樣本，然后要求模型拉近 分散注意力的視頻樣本與原始視頻樣本之間的特征距離，如此使得模型能夠更好地抵抗背景的影響，而更多地關注運動變化。我們的方法命名為背景消除（Background Erasing，BE）。值得注意的是，我們的方法可以便捷地添加到大多數SOTA方法中。BE在MoCo的基礎上，對具有嚴重背景偏見的數據集UCF101和HMDB51，分別帶來了16.4%和19.1%的提升，而對具有較小背景偏見的數據集Diving48數據集帶來了14.5%的提升。

//www.zhuanzhi.ai/paper/14820cc4d73f0a98bb76c67c3cea6c3c

摘要：

域泛化(DG)，即分布外泛化，近年來引起了越來越多的關注。領域泛化處理一個具有挑戰性的設置，其中給出了一個或幾個不同但相關的領域，目標是學習一個可以泛化到看不見的測試領域的模型。近年來，取得了很大的進展。本文首次綜述了領域泛化的最新進展。首先，我們給出了領域泛化的形式化定義，并討論了幾個相關的領域。接下來，我們對領域泛化的相關理論進行了全面的回顧，并對泛化背后的理論進行了仔細的分析。然后，我們將最近出現的算法分為三類，分別是數據操作、表示學習和學習策略，每一類都包含了一些流行的算法。第三，介紹了常用的數據集及其應用。最后，對已有文獻進行了總結，并提出了未來的研究方向。

//www.zhuanzhi.ai/paper/5b8b8958327cabc8b6694d7fc5c7ac75

引言

機器學習(ML)在計算機視覺、自然語言處理和醫療保健等各個領域都取得了顯著的成功。ML的目標是設計一個可以從訓練數據中學習通用和預測性知識的模型，然后將該模型應用于新的(測試)數據。

傳統的ML模型訓練基于i.i.d.假設，訓練數據和測試數據是相同的，獨立分布的。然而，這種假設在現實中并不總是成立的。當訓練數據和測試數據的概率分布不同時，由于域分布的差異，ML模型的性能往往會下降。收集所有可能領域的數據來訓練ML模型是昂貴的，甚至是不可能的。因此，提高ML模型的泛化能力具有重要的工業和學術意義。

與廣義相關的研究課題有很多，如領域適應、元學習、遷移學習、協變量轉移等。近年來，領域泛化(DG)受到了廣泛的關注。如圖1所示，領域泛化的目標是從一個或幾個不同但相關的領域(即不同的訓練數據集)學習模型，這些領域將在看不見的測試領域上很好地泛化。

圖片

近年來，領域泛化在計算機視覺、自然語言處理等領域取得了長足的進展。除此之外，目前還沒有一項關于該領域的調查能夠全面介紹和總結其主要思想、學習算法等相關問題，為未來的研究提供見解。

本文首先介紹了領域泛化的研究概況，重點介紹了領域泛化的公式、理論、算法、數據集、應用以及未來的研究方向。希望本研究能為相關研究者提供一個全面的回顧，并對相關領域的研究有所啟發。

本文的結構組織如下。我們將在第2節中闡述領域概括并討論其與現有研究領域的關系。第3節介紹了領域泛化的相關理論。在第4節中，我們詳細描述了有代表性的DG方法。第5節介紹了應用程序，第6節介紹了DG的基準數據集。我們在第7節中總結了現有工作的見解，并提出了一些可能的未來方向。最后，在第8節對本文進行總結。

方法體系

領域泛化方法是我們的核心。本文將已有的領域泛化方法按照數據操作、表示學習、學習策略分為三大方面，如下圖所示。

數據操作，指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。

表示學習，指的是學習領域不變特征(Domain-invariant representation learning)以使得模型對不同領域都能進行很好地適配。領域不變特征學習方面主要包括四大部分：核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化(Invariant Risk Minimiation, IRM)。特征解耦與領域不變特征學習的目標一致、但學習方法不一致，我們將其單獨作為一大類進行介紹。 學習策略，指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基于集成學習和元學習的方法。同時，我們還會介紹其他方法，例如自監督方法在領域泛化中的應用。

Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3? , Humphrey Shi2? , Cheng-Zhong Xu3 , Dejing Dou1?

雖然最近關于半監督學習的研究在利用標記和未標記數據方面取得了顯著進展，但大多數研究都假定模型的基本設置是隨機初始化的。在這項工作中，我們將半監督學習和遷移學習結合起來，從而形成一個更實用和更具競爭力的范式，該范式可以利用來自源領域的強大的預訓練模型以及目標領域的標記/未標記數據。更好地利用pre-trained權重和標記的價值目標的例子,我們引入自適應一致性互補正規化,由兩部分組成:自適應知識一致性(AKC)在源和目標之間的示例模型和自適應表示一致性(AKC)標記和未標記示例之間的目標模型。一致性正則化所涉及的實例是根據它們對目標任務的潛在貢獻自適應選擇的。通過微調ImageNet預先訓練的ResNet-50模型，我們對流行基準進行了廣泛的實驗，包括CIFAR-10、CUB-200、Indoor67和MURA。結果表明，我們提出的自適應一致性正則化優于最先進的半監督學習技術，如偽標簽、Mean Teacher和MixMatch。此外，我們的算法與現有的方法是正交的，因此能夠在MixMatch和FixMatch之上獲得額外的改進。我們的代碼可以在//github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。

Code：//github.com/Shen-Lab/GraphCL Paper:

對于當前的圖神經網絡(GNNs)來說，圖結構數據的可泛化、可遷移和魯棒表示學習仍然是一個挑戰。與為圖像數據而開發的卷積神經網絡(CNNs)不同，自監督學習和預訓練很少用于GNNs。在這篇文章中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數據的無監督表示。我們首先設計了四種類型的圖擴充來包含不同的先驗。然后，我們在四種不同的環境下系統地研究了圖擴充的各種組合對多個數據集的影響:半監督、無監督、遷移學習和對抗性攻擊。結果表明，與最先進的方法相比，即使不調優擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架也可以生成類似或更好的可泛化性、可遷移性和健壯性的圖表示。我們還研究了參數化圖增強的范圍和模式的影響，并在初步實驗中觀察了性能的進一步提高。

我們解決了監督學習的特征化和尋找最優表示的問題。傳統上，這個問題通過使用信息瓶頸來解決，即壓縮輸入，同時保留關于目標的信息，這種方式與解碼器無關。然而，在機器學習中，我們的目標不是壓縮而是泛化，這與我們感興趣的預測族或譯碼器(例如線性分類器)密切相關。我們提出了可解碼信息瓶頸(DIB)，它從預期預測族的角度考慮信息的保留和壓縮。因此，DIB產生了預期測試性能方面的最優表示，并且可以在保證的情況下進行估計。實驗表明，該框架可以在下游分類器上施加一個小的泛化間隙，并預測神經網絡的泛化能力。

//www.zhuanzhi.ai/paper/89c6cd33631078ee766b8b8dc409a503

為了從最能區分類的高維數據中學習內在的低維結構，我們提出了最大編碼率降低原理(MCR2)，這是一種信息理論度量，可以最大限度地提高整個數據集和每個類的編碼率差。明確了它與交叉熵、信息瓶頸、信息增益、壓縮學習和對比學習等現有框架的關系，為學習多樣性和有判別性表示提供了理論保障。該編碼率可以從簡并類子空間分布的有限樣本中精確地計算出來，并且可以統一地學習有監督、自監督和無監督三種情況下的本征表示。特別地，單獨使用該原理學習的表示比使用交叉熵學習的表示在分類中標記錯誤時具有更強的魯棒性，并且可以在自學習不變特征聚類混合數據方面產生最先進的結果。

//www.zhuanzhi.ai/paper/fb91343d453aad8707064021f94bb9de