題目: Adversarial-Learned Loss for Domain Adaptation
摘要: 近年來,在跨領域學習可轉移表征方面取得了顯著的進展。以往的領域適應研究主要基于兩種技術:領域對抗學習和自我訓練。然而,領域對抗性學習只會調整領域之間的特征分布,而不考慮目標特征是否具有區分性。另一方面,自訓練利用模型預測來增強目標特征的識別,但無法明確地指定領域分布。為了將這兩種方法的優點結合起來,我們提出了一種新的領域自適應的通用學習損失(ALDA)方法,首先分析了一種典型的自訓練方法偽標簽方法。然而,偽標簽和地面真實性之間存在差距,這可能導致錯誤的訓練。因此,我們引入了混淆矩陣,通過對抗性的方式在ALDA中學習,以減少gap并對齊特征分布。最后,從學習的混淆矩陣中自動構造一個新的損失函數,作為未標記目標樣本的損失。在四標準域自適應數據集中,OurALDA優于最新方法。
作者簡介: Haifeng Liu,博士,浙江大學計算機學院副教授。個人主頁://person.zju.edu.cn/en/hfliu
題目: Laplacian Regularized Few-Shot Learning
簡介:
我們為小樣本學習提出了一個拉普拉斯正則化推斷。給定從基類中學習到的任何特征嵌入,我們將包含兩個項的二次二進制賦值函數最小化:(1)將查詢樣本分配給最近的類原型的一元項,以及(2)鼓勵附近查詢樣本成對使用的成對拉普拉斯項具有一致的標簽。我們的推論不會重新訓練基本模型,并且可以將其視為查詢集的圖形聚類,但要受到支持集的監督約束。我們導出了函數松弛的計算有效邊界優化器,該函數在保證收斂的同時為每個查詢樣本計算獨立(并行)更新。在基礎類上進行簡單的交叉熵訓練,并且沒有復雜的元學習策略后,我們對五個基準進行了全面的實驗。我們的LaplacianShot在不同模型,設置和數據集上具有顯著優勢,始終優于最新方法。此外,我們的歸納推理非常快,其計算時間接近于歸納推理,可用于大規模的一次性任務。
小樣本學習(FSL)近年來引起了越來越多的關注,但仍然具有挑戰性,因為學習從少數例子中歸納的固有困難。本文提出了一種自適應間隔原則,以提高基于度量的元學習方法在小樣本學習問題中的泛化能力。具體地說,我們首先開發了一個與類相關的加性邊緣損失算法,該算法考慮了每對類之間的語義相似性,從而將特征嵌入空間中的樣本從相似的類中分離出來。此外,我們在抽樣訓練任務中加入所有類別之間的語義上下文,并開發了與任務相關的附加間隔損失,以更好地區分不同類別的樣本。我們的自適應間隔方法可以很容易地推廣到更現實的廣義FSL設置。大量的實驗表明,在標準FSL和通用FSL設置下,所提出的方法可以提高現有基于度量的元學習方法的性能。
本文研究的是物體檢測的域自適應(Domain Adaptive)問題,其主要挑戰來自源域和目標域之間的巨大差異。先前工作主要是明確對齊了圖像層面和實例層面的遷移,以最終最小化域差異,但是依然忽略了跨域匹配關鍵的圖像區域和重要的實例,以至于嚴重影響了域遷移的緩解。本文提出一個簡單且有效的類正則化框架以緩解這一問題,它可以作為一個即插即用的組件應用于一系列域自適應Faster R-CNN方法上,這些方法對處理域自適應檢測非常重要。
具體而言,通過整合檢測backbone上的一個圖像層面的多標簽分類器,本文可以通過分類方式的弱定位能力,獲得對應于類信息的稀疏且關鍵的圖像區域。同時,在實例層面,本文把圖像預測和實例預測之間的類一致性作為一個正則化因子,以自動搜索目標域的硬對齊實例。大量不同域遷移方案的實驗表明,相較原始的域自適應Faster R-CNN檢測器,本文方法取得顯著的性能提升。此外,定性的可視化和分析表明,本文方法可應用于針對域適應的關鍵區域/實例。
題目 Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
摘要:
本文提出了一種新的基于流形的幾何學習方法來學習源語言和目標語言之間的無監督詞嵌入對齊。該方法將對列學習問題歸結為雙隨機矩陣流形上的域適應問題。這一觀點的提出是為了對齊兩個語言空間的二階信息。利用雙隨機流形的豐富幾何性質,提出了一種高效的黎曼流形的共軛梯度算法。從經驗上看,該方法在跨語言對的雙語詞匯歸納任務中表現優于基于最優遷移的方法。遠程語言對性能的提高更為顯著。
基于卷積神經網絡的方法在語義分割方面取得了顯著的進展。然而,這些方法嚴重依賴于注釋數據,這是勞動密集型的。為了解決這一限制,使用從圖引擎生成的自動注釋數據來訓練分割模型。然而,從合成數據訓練出來的模型很難轉換成真實的圖像。為了解決這個問題,以前的工作已經考慮直接將模型從源數據調整到未標記的目標數據(以減少域間的差距)。盡管如此,這些技術并沒有考慮到目標數據本身之間的巨大分布差異(域內差異)。在這項工作中,我們提出了一種兩步自監督域適應方法來減少域間和域內的差距。首先,對模型進行域間自適應;在此基礎上,我們使用基于熵的排序函數將目標域分成簡單和困難的兩部分。最后,為了減小域內間隙,我們提出了一種自監督自適應技術。在大量基準數據集上的實驗結果突出了我們的方法相對于現有的最先進方法的有效性。
標題
對抗特征幻覺網絡的小樣本學習,Adversarial Feature Hallucination Networks for Few-Shot Learning
關鍵字
小樣本學習,神經網絡,生成對抗網絡,機器學習,人工智能
簡介
最近在各種任務中進行的深度學習蓬勃發展,在很大程度上已經獲得了豐富且可訪問的標記數據的認可。 盡管如此,對于許多實際應用而言,大量的監督仍然是奢侈的事情,這引起了人們對標簽稀缺技術的極大興趣,例如小樣本學習(FSL),旨在通過少量標簽樣本學習新類的概念。 FSL的自然方法是數據擴充,許多最近的工作通過提出各種數據綜合模型證明了其可行性。 但是,這些模型不能很好地確保合成數據的可分辨性和多樣性,因此經常會產生不良結果。 在本文中,我們提出了基于條件Wasserstein生成對抗網絡(cWGAN)的對抗特征幻覺網絡(AFHN),并幻化了以少量標記樣本為條件的各種和判別特征。 兩種新穎的正則化器,即分類正則器和反崩潰正則器,被合并到AFHN中以分別促進合成特征的可辨別性和多樣性。 消融研究驗證了所提出的基于cWGAN的特征幻覺框架和所提出的調節器的有效性。 在三個常見基準數據集上的比較結果證實了AFHN優于現有的基于數據增強的FSL方法和其他最新方法的優越性。
作者
Kai Li, Yulun Zhang, Kunpeng Li, Yun Fu,波士頓東北大學電氣與計算機工程系
主題: Exploring Categorical Regularization for Domain Adaptive Object Detection
摘要: 在本文中,我們解決了域自適應對象檢測問題,其中主要挑戰在于源域和目標域之間的顯著域間隙。先前的工作試圖使圖像級別和實例級別的轉換明確對齊,以最終將域差異最小化。但是,它們仍然忽略了跨域匹配關鍵圖像區域和重要實例,這將嚴重影響域偏移緩解。在這項工作中,我們提出了一個簡單但有效的分類正則化框架來緩解此問題。它可以作為即插即用組件應用于一系列領域自適應快速R-CNN方法,這些方法在處理領域自適應檢測方面非常重要。具體地,通過將??圖像級多標簽分類器集成到檢測主干上,由于分類方式的定位能力較弱,我們可以獲得與分類信息相對應的稀疏但至關重要的圖像區域。同時,在實例級別,我們利用圖像級別預測(通過分類器)和實例級別預測(通過檢測頭)之間的分類一致性作為規則化因子,以自動尋找目標域的硬對齊實例。各種域移位方案的大量實驗表明,與原始的域自適應快速R-CNN檢測器相比,我們的方法獲得了顯著的性能提升。此外,定性的可視化和分析可以證明我們的方法參加針對領域適應的關鍵區域/實例的能力。
題目: Multi-Modal Domain Adaptation for Fine-Grained Action Recognition
摘要: 細粒度動作識別數據集表現出環境偏差,其中多個視頻序列是從有限數量的環境中捕獲的。在一個環境中訓練一個模型,然后部署到另一個環境中,由于不可避免的領域轉換,會導致性能下降。無監督域適應(UDA)方法經常用于源域和目標域之間的對抗訓練。然而,這些方法并沒有探索視頻在每個領域的多模態性質。在這個工作我們利用模式的通信作為UDA self-supervised對齊的方法除了敵對的對齊(圖1),我們測試我們的方法在三個廚房從大規模的數據集,EPIC-Kitchens,使用兩種方法通常用于行為識別:RGB和光學流。結果表明,多模態的自監督比單純的訓練平均提高了2.4%。然后我們將對抗訓練與多模態自我監督相結合,結果表明我們的方法比其他的UDA方法高3%。
【導讀】最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】,CVPR視覺目標跟蹤,CVPR視覺問答,醫學圖像分割,圖神經網絡的推薦相關論文,反響熱烈。最近,Domain Adaptation(域自適應)相關研究非常火熱,一部分也是由于GAN、GNN以及其他一些的網絡結構的啟發,基于Domain Adaptation的工作在今年CVPR 2019上出現了大量的論文。今天小編專門整理最新九篇Domain Adaptation(域自適應)—類別級對抗、域對稱網絡、可遷移原型網絡、可遷移原型網絡、通用域自適應等。
DANN-梯度反轉層
1、Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation(域遷移: 類別級對抗用于語義一致的域自適應)
CVPR ’19 Oral
作者:Yawei Luo, Liang Zheng, Tao Guan, Junqing Yu, Yi Yang
摘要:我們考慮了語義分割中的無監督域自適應問題。該任務的關鍵在于減少域遷移,即,強制兩個域的數據分布相似。一種流行的策略是通過對抗學習來對齊特征空間的邊緣分布。但是,這種全局對齊策略不考慮局部類別的特征分布。全局遷移的一個可能結果是,一些原本在源域和目標域之間很好地對齊的類別可能被錯誤地映射。為了解決這一問題,本文引入了一種類別級的對抗網絡,旨在在全局對齊的趨勢下增強局部語義一致性。我們的想法是仔細研究類級別的數據分布,并將每個類與自適應的對抗損失對齊。具體地說,我們減少了類級別對齊特征的對抗性損失的權重,同時增加了對齊較差的特征的對抗性。在這個過程中,我們通過一種聯合訓練方法來決定一個特征在源域和目標域之間的類別級對齊程度。在兩個領域適應任務中,即GTA5 - > Cityscapes和SYNTHIA - > Cityscapes,我們驗證所提出的方法在分割準確性方面與現有技術相匹配。
網址:
代碼鏈接:
2、AdaGraph: Unifying Predictive and Continuous Domain Adaptation through Graphs(AdaGraph: 通過圖形統一預測和連續域自適應)
CVPR ’19 Oral
作者:Massimiliano Mancini, Samuel Rota Bulò, Barbara Caputo, Elisa Riccici
摘要:分類能力是視覺智能的基石,也是人工自主視覺機器的關鍵功能。 如果沒有能夠適應和概括跨視域的算法,這個問題將永遠無法解決。在域自適應和泛化的背景下,本文重點研究預測域自適應場景,即沒有目標數據可用的情況下,系統必須學習從帶注釋的源圖像和來自輔助域的帶關聯元數據的未標記樣本進行泛化。我們的貢獻是第一個解決預測域適應的深層架構,能夠通過圖利用輔助域帶來的信息。此外,我們提出了一種簡單而有效的策略,允許我們在測試時在連續的域適應場景中利用傳入的目標數據。在三個基準數據庫上的實驗支持驗證了我們的方法的價值。
網址:
3、Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation(基于Sliced Wasserstein Discrepancy的無監督域自適應)
CVPR ’19
作者:Chen-Yu Lee, Tanmay Batra, Mohammad Haris Baig, Daniel Ulbricht
摘要:在這項工作中,我們將兩個不同的無監督域自適應概念連接起來:利用特定于任務的決策邊界和Wasserstein度量在域之間進行特征分布對齊。我們提出的Sliced Wasserstein Discrepancy (SWD)旨在捕捉任務特定分類器輸出之間的自然差異概念。它提供了一個幾何上有意義的指導來檢測遠離源支持的目標樣本,并以端到端可訓練的方式實現有效的分布對齊。在實驗中,我們驗證了該方法在數字和符號識別、圖像分類、語義分割和目標檢測等方面的有效性和通用性。
網址:
4、Domain-Symmetric Networks for Adversarial Domain Adaptation(用于對抗域自適應的域對稱網絡)
CVPR ’19
作者:Yabin Zhang, Hui Tng, Kui Jia, Mingkui Tan
摘要:無監督域自適應是在給定源域上有標記樣本訓練數據的情況下,學習目標域上未標記樣本的分類器模型。最近,通過對深度網絡的域對抗訓練來學習不變特征,取得了令人矚目的進展。盡管近年來的研究取得了一定的進展,但域自適應在較細類別水平上實現特征分布的不變性方面仍然存在一定的局限性。為此,本文提出了一種新的域自適應方法——域對稱網絡(SymNets)。SymNet是基于源域和目標域任務分類器的對稱設計,在此基礎上,我們還構造了一個額外的分類器,與它們共享其層神經元。為了訓練SymNet, 我們提出了一種新穎的對抗學習目標函數,其關鍵設計是基于一個two-level域混淆方案, 通過推動中間網絡特征的學習,類級別的混淆損失在域級別上得到改善。在構造的附加分類器的基礎上,實現了域識別和域混淆。由于目標域樣本是無標記的,我們還提出了一種跨域訓練的方法來幫助學習目標分類器。仔細的消融研究表明我們提出的方法是有效的。特別是,基于常用的基本網絡,我們的symnet在三個基準域自適應數據集上實現了最新的技術水平。
網址:
5、Transferrable Prototypical Networks for Unsupervised Domain Adaptation(基于可遷移原型網絡的無監督域自適應)
CVPR'19 Oral
作者:Yingwei Pan, Ting Yao, Yehao Li, Yu Wang, Chong-Wah Ngo, Tao Mei
摘要:本文提出了一種通過重構原型網絡實現無監督域自適應的新方法,該方法通過學習嵌入空間,通過重構每個類到原型的距離進行分類。具體地說,我們提出了可遷移原型網絡(TPN)的自適應算法,使源域和目標域的每個類的原型在嵌入空間上接近,并且原型在源域和目標域數據上分別預測的得分分布是相似的。從技術上講,TPN最初將每個目標域示例與源域中最近的原型匹配,并為一個示例分配一個“偽”標簽。每個類的原型可以分別在純源域、純目標域和純源目標域數據上計算。TPN的優化是通過在三種數據上聯合最小化原型之間的距離和由每對原型輸出的得分分布的KL -散度來進行端到端訓練的。對MNIST、USPS和SVHN數據集之間的遷移進行了廣泛的實驗,與最先進的方法相比,報告了更好的結果。更值得注意的是,我們在VisDA 2017數據集上獲得了80.4%的單模型準確度。
網址:
6、Contrastive Adaptation Network for Unsupervised Domain Adaptation(基于對比自適應網絡的無監督域自適應)
CVPR'19
作者:Guoliang Kang, Lu Jiang, Yi Yang, Alexander G Hauptmann
摘要:無監督域自適應(UDA)對目標域數據進行預測,而手工標注只在源域中可用。以往的方法在忽略類信息的情況下,最大限度地減小了域間的差異,從而導致了不一致和泛化性能差。為了解決這一問題,本文提出了一種新的比較自適應網絡(CAN)優化度量,它明確地對類內域和類間域的差異進行了建模。我們設計了一種交替的更新策略,以端到端方式訓練CAN。在office31和VisDA-2017這兩個真實世界基準測試上的實驗表明,相對于最先進的方法,該方法可以獲得更好的性能,并產生更多的區別性特征。
網址:
7、Universal Domain Adaptation(通用域自適應)
CVPR ’19
作者:Kaichao You, Mingsheng Long, Zhangjie Cao, Jianmin Wang, and Michael I. Jordan
摘要:域適應的目的是在存在域差距的情況下遷移知識。現有的域自適應方法依賴于對源域和目標域的標簽集之間關系的豐富先驗知識,這極大地限制了它們在實際中的應用。本文介紹了一種不需要標簽集先驗知識的通用域自適應算法(UDA)。對于給定的源域標簽集和目標域標簽集,它們可能分別包含一個公共標簽集和一個私有標簽集,從而帶來額外的類別差異。UDA要求一個模型 (1)正確地分類目標樣本,如果它與公共標簽集中的標簽相關聯,或者 (2) 將其標記為“未知”。更重要的是,UDA模型應該能夠穩定地應對廣泛的共性(通用標簽集在整個標簽集上的比例),以便它可以處理未知目標域標簽集的實際問題。為了解決通用域適應問題,提出了通用域適應網絡(UAN)。它量化了發現通用標簽集和對每個域私有的標簽集的樣本級可遷移性,從而促進了自動發現的通用標簽集的適應性,并成功地識別了“未知”樣本。全面的評價表明,在新穎的UDA設置中,UAN優于現有技術的閉集、部分域和開放域自適應方法。
網址:
代碼鏈接:
8、Learning to Transfer Examples for Partial Domain Adaptation(基于樣例轉移網絡的部分域自適應)
CVPR ’19
作者:Zhangjie Cao, Kaichao You, Mingsheng Long, Jianmin Wang, Qiang Yang
摘要:域自適應對于在新的未知環境中學習至關重要。通過領域對抗訓練,深度網絡可以學習可遷移的特征,從而有效地減少用于知識遷移的源域和目標域之間的數據集轉移。在大數據時代,大規模標記數據集的可用性引起了人們對局部域適應(PDA)的廣泛興趣,PDA將識別器從標記的大域遷移到未標記的小域。它將標準域適應擴展到目標域標簽只是源域標簽子集的場景。在目標域標簽未知的情況下,PDA的關鍵挑戰是如何在共享類中傳遞相關的例子來促進正遷移,而忽略特定類中不相關的例子來減少負遷移。在這項工作中,我們提出一個統一的PDA方法—Example Transfer Network (ETN), 共同學習源域和目標域的域不變表示和加權方案, 量化的可遷移源域示例同時控制他們對目標領域中的學習任務的重要性。對幾個基準數據集的全面評估表明,我們的方法可以為部分域自適應任務實現最先進的結果。
網址:
9、Geometry-Aware Symmetric Domain Adaptation for Monocular Depth Estimation(基于幾何感知對稱域自適應的單眼深度估計)
作者:Shanshan Zhao, Huan Fu, Mingming Gong, Dacheng Tao
摘要:先進的深度網絡體系結構使得監督深度估計具有較高的精度。由于groundtruth深度標簽難以獲取,近年來的方法試圖通過非監督線索來學習深度估計網絡,這種方法雖然有效,但不如真實標簽可靠。解決這一難題的一種新方法是通過域自適應技術從具有groundtruth深度的合成圖像中遷移知識。然而,這些方法忽略了目標域內自然圖像的特定幾何結構(即,真實數據),這對于高性能的深度預測非常重要。在此基礎上,我們提出了一種基于幾何感知的對稱域自適應框架(GASDA),用于研究合成數據和真實數據中的超極幾何標記。此外,通過在端到端網絡中對稱地訓練兩個圖像樣式轉換器和深度估計器,我們的模型實現了更好的圖像樣式轉換,生成了高質量的深度圖。實驗結果證明了該方法的有效性,并與現有方法進行了比較。我們的代碼在:
網址:
代碼鏈接:
下載鏈接: 提取碼:crqk
題目: Adversarial Cross-Domain Action Recognition with Co-Attention
摘要: 動作識別是一個被廣泛研究的課題,其研究重點是有監督的學習,包括足夠多的視頻。然而,跨域動作識別的問題,即訓練和測試視頻是從不同的底層分布中提取出來的,在很大程度上仍然沒有得到充分的研究。以往的方法直接采用跨域圖像識別技術,容易出現嚴重的時間錯位問題。提出了一種時間協同注意網絡(TCoN),該網絡利用一種新的跨域協同注意機制,對源域和目標域之間的時間對準動作特征分布進行了匹配。在三個跨域動作識別數據集上的實驗結果表明,在跨域設置下,TCoN顯著地改進了以往的單域和跨域方法。
作者簡介: Boxiao Pan,斯坦福大學視覺與學習實驗室的碩士。他對構建能夠解釋和理解以人為中心的行為、場景和事件的智能系統非常著迷,尤其是通過視頻輸入。//cs.stanford.edu/~bxpan/
Zhangjie Cao,斯坦福大學計算機科學系的博士。