亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

當測試數據和訓練數據的分布相似時，基于深度神經網絡的方法已經取得了驚人的性能，但如果沒有相似的分布，則性能可能表現很差。因此，消除訓練和測試數據之間分布變化的影響對于構建具有良好性能的深度模型至關重要。傳統的方法要么假設訓練數據已知的異質性(例如域標簽)，要么假設不同域的容量近似相等。在本文中，我們考慮一個更具有挑戰性的情況，即上述兩種假設都不成立。為了解決這一問題，我們提出通過學習訓練樣本的權重來消除特征之間的依賴關系，這有助于深度模型擺脫虛假的相關性，從而更加關注區分性特征和標簽之間的真實聯系。大量的實驗清楚地證明了我們的方法在多個分布泛化基準上的有效性，與最先進的同行相比。通過大量的分布泛化基準實驗，包括PACS、VLCS、mist - m和NICO，我們證明了該方法的有效性，并與最新的同類方法進行了比較。

//www.zhuanzhi.ai/paper/dd9a8778840b02be8c81aebac3c94263

【導讀】作為計算機視覺領域的三大國際頂會之一，IEEE國際計算機視覺與模式識別會議CVPR（IEEE Conference on Computer Vision and Pattern Recognition) 每年都會吸引全球領域眾多專業人士參與。CVPR 2021將在線舉行， 中國科學院院士、中科院自動化所智能感知與計算研究中心主任譚鐵牛將出任大會主席（General Chair，GC），上海科技大學的虞晶怡教授將任程序主席（Program Chair，PC）。今年的CVPR有效投稿多達7500篇，一共有1663篇論文被接收，接收率為27%。

為此，專知小編提前為大家整理了五篇CVPR 2021領域自適應（Domain Adaptation）相關論文，這塊這幾年一直比較受關注，特別是未知域、通用域學習等等？大家先睹為快——真實域泛化、多目標域自適應、通用領域自適應、頻域空間域方法、未知域泛化

CVPR2021IVC、CVPR2021PID、CVPR2021IC、CVPR2021VU、CVPR2021OD、CVPR2021OT、CVPR2021AR

1. Adaptive Methods for Real-World Domain Generalization

作者：Abhimanyu Dubey, Vignesh Ramanathan, Alex Pentland, Dhruv Mahajan

摘要：不變性（Invariant）方法在解決域泛化問題方面非常成功，其目的是對在訓練中使用的數據分布不同的數據分布進行推斷。在我們的工作中，我們調研了是否有可能利用來自不可見的測試樣本本身的域信息。我們提出了一種包含兩個步驟的領域自適應方法：a）我們首先從無監督的訓練示例中學習判別性領域嵌入，以及b）使用該領域嵌入作為補充信息來構建領域自適應模型，該模型同時采用了以下兩種方法：進行預測時要考慮輸入及其域。對于不可見的域，我們的方法僅使用一些未標記的測試示例來構建域嵌入。這可以在任何不可見的域上進行自適應分類。我們的方法可在各種領域通用基準上實現最先進的性能。此外，我們推出了第一個真實的，大規模的領域通用基準測試Geo-YFCC，其中包含110萬個樣本，經過40個訓練，7個驗證和15個測試域，比以前的工作大了幾個數量級。我們顯示，與在所有訓練域的數據聯合上訓練模型的簡單基準相比，現有方法無法擴展到該數據集或表現不佳。相比之下，我們的方法實現了1％的顯著改進。

網址： //arxiv.org/abs/2103.15796

2. Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation

作者：Subhankar Roy, Evgeny Krivosheev, Zhun Zhong, Nicu Sebe, Elisa Ricci

摘要：在本文中，我們討論了多目標域適應（MTDA），其中給定一個標記的源域數據集和多個數據分布不同的未標記的目標域數據集，任務是為所有目標域學習可靠的預測模型。我們確定了兩個關鍵方面，可以幫助減輕MTDA中的多領域轉移：特征聚合和課程學習（curriculum learning）。為此，我們提出了使用雙重分類器的課程圖協同教學模型 Curriculum Graph Co-Teaching（CGCT），其中之一是圖卷積網絡（GCN），該圖卷積網絡匯總了跨域相似樣本的特征。為了防止分類器過分適合自己的嘈雜偽標簽，我們與雙分類器一起使用了一種共同教學策略，并借助課程學習來獲得更可靠的偽標簽。此外，當域標簽可用時，我們提出了Domain-aware Curriculum Learning（DCL），這是一種順序適應策略，首先適應較容易的目標域，然后適應較難的目標域。我們在幾個基準上實驗性地證明了我們提出的框架的有效性，并大幅提高了MTDA中的最新水平（例如，在DomainNet上為+ 5.6％）。

代碼：

網址：

3. Domain Consensus Clustering for Universal Domain Adaptation

作者：Guangrui Li, Guoliang Kang, Yi Zhu, Yunchao Wei, Yi Yang

摘要：在本文中，我們研究了通用域自適應（UniDA）問題，該問題旨在在不對齊的標簽空間下將知識從源域轉移到目標域。UniDA的主要挑戰在于如何將公共類（即跨域共享的類）與私有類（即僅在一個域中存在的類）分開。先前的工作將目標域中的私有樣本視為一個通用類，但忽略了它們的固有結構。因此，所得到的表示在潛在空間中不夠緊湊，并且很容易與普通樣本混淆。為了更好地利用目標域的內在結構，我們提出了Domain Consensus Clustering（DCC），它利用域共識知識來發現普通樣本和私有樣本上的區分性聚類。具體來說，我們從兩個方面汲取領域共識知識，以促進聚類和私有類發現，即語義級別的共識（將周期一致的簇標識為通用類）和樣本級別的共識，利用交叉域分類協議以確定集群的數量并發現私有類。基于DCC，我們能夠將私有類與公共類分開，并區分私有類本身。最后，我們在識別出的常見樣本上應用了分類感知比對技術，以最大程度地減少分布偏移，并應用原型正則化方法來激發可辨別的目標集群。在四個基準上進行的實驗表明，DCC明顯優于以前的最新技術。

網址：

4. FSDR: Frequency Space Domain Randomization for Domain Generalization

作者：Jiaxing Huang, Dayan Guan, Aoran Xiao, Shijian Lu

摘要：域泛化旨在從“已知”源域中為各種“未知”目標域學習可泛化的模型。已經通過域隨機化對它進行了廣泛的研究，該方法將源圖像轉移到空間中的不同樣式以學習域不可知的特征。然而，大多數現有的隨機化方法使用的GAN常常缺乏控制力，甚至改變了圖像的語義結構。受到將空間圖像轉換成多個頻率分量（FC）的JPEG理念的啟發，我們提出了頻空域隨機化（FSDR），該方法通過僅保留域不變FC（DIF）和隨機化域變FC（DVF）來隨機化頻率空間中的圖像。FSDR具有兩個獨特的功能：1）將圖像分解為DIF和DVF，從而允許對其進行顯式訪問和操縱以及更可控的隨機化；2）它對圖像的語義結構和領域不變特征的影響最小。我們統計地檢查了FC的域方差和不變性，并設計了一個網絡，該網絡可以通過迭代學習動態地識別和融合DIF和DVF。對多個領域可概括的分割任務的廣泛實驗表明，FSDR實現了出色的分割，其性能甚至與在訓練中訪問目標數據的領域自適應方法相當。

網址：

5. RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening

作者：Sungha Choi, Sanghun Jung, Huiwon Yun, Joanne Kim, Seungryong Kim, Jaegul Choo

摘要：將深度神經網絡的泛化能力提高到不可見域對于現實世界中與安全相關的應用（如自動駕駛）至關重要。為了解決這個問題，本文提出了一種新的實例選擇性白化損失（instance selective whitening loss），以提高針對未知域的分割網絡的魯棒性。我們的方法解開了特征表示的高階統計量（即特征協方差）中編碼的特定于域的樣式和域不變內容，并有選擇地僅刪除導致域移位的樣式信息。如圖1所示，我們的方法為（a）低照度，（b）多雨和（c）不可見的結構提供了合理的預測。這些類型的圖像未包含在訓練數據集中，其中基線顯示出明顯的性能下降，這與我們的方法相反。我們的方法提高了各種骨干網絡的魯棒性，而沒有額外的計算成本。我們在城市場景分割中進行了廣泛的實驗，顯示了我們的方法在現有工作中的優越性。

代碼：

網址：

深度學習技術在取得優秀性能的同時，往往需要依賴大規模的標注數據。然而，對于所有感興趣的目標任務都進行大規模的數據收集與標注是難以實現的。一種解決方案是將已有的源領域數據中的知識遷移到目標領域，以促進對目標領域任務的學習。Domain Generalization（DG）是其中的一個重要問題，DG的目的是從一個或多個源領域中學習模型，使之能夠直接應用到未見過的目標領域上，并具有較強的泛化性能。

標準的DG問題假設所有源領域與目標領域都具有完全相同的標簽集，然而這一假設在實際情況中很可能不成立。由于DG常常需要有多個源領域，而每一個源領域可能都是從不同渠道收集而來，對所有源領域具有完全相同標簽集的假設會為源領域數據的收集帶來困難。由于目標領域數據在訓練階段是不可見的，因此它與各源領域標簽集之間的關系也應該是開放的。據此，我們放寬標準DG問題中所有源領域與目標領域都具有完全相同的標簽集的假設，提出Open Domain Generalization（OpenDG） 問題。

圖1 Open Domain Generalization問題示意圖 該問題中各源領域可能擁有不同的標簽集，目標領域中包含了某些源領域中出現過的類別，也可能存在源領域中沒有出現過的類別。學習的目的是從這些開放場景下的源領域上得到泛化性能較強的模型，使之能夠在推理過程中直接對目標領域數據進行正確分類。若目標領域樣本屬于源領域標簽集中的類別，則模型應將其分為源領域中的具體的那一類；若目標領域樣本的類別未在源領域中出現，則應將其分為“未知類”。

類不平衡數據的半監督學習雖然是一個現實的問題，但已經得到了研究。雖然現有的半監督學習(SSL)方法在少數類上表現不佳，但我們發現它們仍然在少數類上生成高精度的偽標簽。通過利用這一特性，在這項工作中，我們提出了類再平衡自我訓練(CReST)，這是一個簡單而有效的框架，用于改進現有的對類不平衡數據的SSL方法。CReST通過從一個未標記集中添加偽標記樣本擴展了一個標記集，迭代地重新訓練一個基線SSL模型，在該模型中，根據估計的類分布，從少數類中更頻繁地選擇偽標記樣本。我們還提出了一種漸進式分布對齊，以適應調整CReST+的再平衡強度。我們展示了CReST和CReST+在各種類不平衡的數據集上改進了最先進的SSL算法，并始終優于其他流行的再平衡方法。

//www.zhuanzhi.ai/paper/fdb3245caf8bded4d2ba340c2a9c64cc

論文：Adaptive Consistency Regularization for Semi-Supervised Transfer Learning 鏈接： //www.zhuanzhi.ai/paper/43d085f2c66d68b77584edcb0ee36ba0 代碼：

盡管最近半監督學習的研究在利用標記和未標記數據方面有顯著進步，但大多數假設模型的基本設置是隨機初始化的。

因此本文將半監督學習和遷移學習相結合提出了一種半監督的轉移學習框架，該方法不僅能利用目標域（目標任務數據集）中的標記/未標記數據，還能利用源域（具有不同語義的通用數據集，如：ImageNet）中的預訓練模型。為了更好地利用預訓練權重和未標記目標數據，我們引入了自適應一致性正則化，它由兩個互補組件組成：源模型和目標模型之間的示例上的自適應知識一致性（AKC），以及自適應表示一致性（ARC） ），在目標模型上標記和未標記的示例之間，根據它們對目標任務的潛在貢獻，自適應地選擇一致性正則化中涉及的示例。

通過微調ImageNet預訓練的ResNet-50模型，我們在幾個流行的基準上進行了廣泛的實驗，包括CUB-200-2011，MIT Indoor-67，MURA。結果表明，我們提出的自適應一致性正則化性能優于最新的半監督學習技術，例如Pseudo Label，Mean Teacher和MixMatch。此外，我們的算法能與現有方法共同使用，因此能夠在MixMatch和FixMatch之上獲得其他改進。

本文的主要貢獻包含以下三點：

1、第一個提出用于深度神經網絡的半監督轉移學習框架 2、利用半監督學習和轉移學習的特性引入自適應一致性正則化來改善半監督轉移學習 3、實驗結果表明所提出的自適應一致性正則化性能優于最新的半監督學習技術

Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3? , Humphrey Shi2? , Cheng-Zhong Xu3 , Dejing Dou1?

雖然最近關于半監督學習的研究在利用標記和未標記數據方面取得了顯著進展，但大多數研究都假定模型的基本設置是隨機初始化的。在這項工作中，我們將半監督學習和遷移學習結合起來，從而形成一個更實用和更具競爭力的范式，該范式可以利用來自源領域的強大的預訓練模型以及目標領域的標記/未標記數據。更好地利用pre-trained權重和標記的價值目標的例子,我們引入自適應一致性互補正規化,由兩部分組成:自適應知識一致性(AKC)在源和目標之間的示例模型和自適應表示一致性(AKC)標記和未標記示例之間的目標模型。一致性正則化所涉及的實例是根據它們對目標任務的潛在貢獻自適應選擇的。通過微調ImageNet預先訓練的ResNet-50模型，我們對流行基準進行了廣泛的實驗，包括CIFAR-10、CUB-200、Indoor67和MURA。結果表明，我們提出的自適應一致性正則化優于最先進的半監督學習技術，如偽標簽、Mean Teacher和MixMatch。此外，我們的算法與現有的方法是正交的，因此能夠在MixMatch和FixMatch之上獲得額外的改進。我們的代碼可以在//github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。

我們提出了自監督幾何感知(SGP)，這是第一個學習特征描述符進行對應匹配的通用框架，不需要任何真實的幾何模型標簽(例如，相機姿態，剛性轉換)。我們的第一個貢獻是將幾何感知形式化為一個優化問題，在給定大量視覺測量數據(如圖像、點云)的基礎上，聯合優化特征描述符和幾何模型。在這個優化公式下，我們展示了視覺領域的兩個重要的研究流，即魯棒模型擬合和深度特征學習，對應著優化未知變量的一個塊，同時固定另一個塊。這種分析自然引出了我們的第二個貢獻——SGP算法，它執行交替最小化來解決聯合優化。SGP迭代地執行兩個元算法:一個教師對已知的學習特征進行魯棒模型擬合以生成幾何偽標簽，一個學生在偽標簽的嘈雜監督下進行深度特征學習。作為第三個貢獻，我們將SGP應用于大規模真實數據集上的兩個感知問題，即MegaDepth上的相對相機姿態估計和3DMatch上的點云配準。我們證明，SGP達到了最先進的性能，與使用真實標簽訓練的受監督的模型相當。

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

本文探討了元學習在序列推薦中的應用，以緩解項目冷啟動問題。序列推薦旨在根據用戶的歷史行為序列捕獲用戶的動態偏好，是大多數在線推薦場景的關鍵組成部分。然而，大多數以前的方法難以推薦冷啟動項目，這在這些情況下是普遍存在的。由于在序列推薦任務的設置中通常沒有附加信息，所以當只有用戶-項目交互可用時，不能運用以前的冷啟動方法。因此，我們提出了一種基于元學習的冷啟動序列推薦框架，即Mecos，以緩解序列推薦中項目冷啟動問題。這項任務不是微不足道的，因為它的目標是一個重要的問題，在一個新穎的和具有挑戰性的背景下。Mecos有效地從有限的交互中提取用戶偏好，并學習將目標冷啟動項目與潛在用戶匹配。此外，我們的框架可以輕松地集成基于神經網絡的模型。在三個真實世界的數據集上進行的大量實驗驗證了Mecos的優越性，與最先進的基線方法相比，在HR@10的平均改進高達99%，91%和70%。

//arxiv.org/abs/2008.04031

對于有足夠標記樣本的基類，小樣本分類的目標是在只有少量標記樣本的情況下識別新類的未標記樣本。現有的方法大多只關注新類的標記樣本和未標記樣本之間的關系，沒有充分利用基類內部的信息。在本文中，我們為研究小樣本分類問題做了兩個貢獻。首先，我們提出了一個簡單而有效的基線，通過傳統的監督學習的方式在基類上訓練，可以取得與目前水平相當的結果。其次，在基線的基礎上，我們提出了一個協作的雙路徑分類度量，它利用基類和新類之間的相關性來進一步提高分類的準確性。在兩個廣泛使用的基準上的實驗表明，該方法是一種簡單有效的分類方法，在小樣本分類領域開創了一種新局面。