在這篇論文中,我們提出了一個框架,能夠生成與給定的一次性樣例相同分布的人臉圖像。我們利用一個預先訓練的StyleGAN模型,它已經學會了一般的面部分布。針對這一一次性目標,我們提出了一種快速調整模型權值的迭代優化方案,以使輸出的高階分布適應目標的高階分布。為了生成相同分布的圖像,我們引入了一種風格混合技術,將低水平的統計信息從目標傳輸到模型隨機生成的人臉。這樣,我們就能夠生成無限數量的面孔,這些面孔既繼承了一般人臉的分布,也繼承了一次性人臉的分布。新生成的人臉可以作為其他下游任務的增強訓練數據。這樣的設置很有吸引力,因為它需要在目標域中標記很少的標記,甚至只需要一個示例,而在現實世界中,人臉操作通常是由各種未知的和獨特的分布導致的。結果表明,本文提出的單樣本自適應方法是一種有效的人臉操作檢測方法,并與其他多鏡頭自適應方法進行了定性和定量的比較。
基于卷積神經網絡的方法在語義分割方面取得了顯著的進展。然而,這些方法嚴重依賴于注釋數據,這是勞動密集型的。為了解決這一限制,使用從圖引擎生成的自動注釋數據來訓練分割模型。然而,從合成數據訓練出來的模型很難轉換成真實的圖像。為了解決這個問題,以前的工作已經考慮直接將模型從源數據調整到未標記的目標數據(以減少域間的差距)。盡管如此,這些技術并沒有考慮到目標數據本身之間的巨大分布差異(域內差異)。在這項工作中,我們提出了一種兩步自監督域適應方法來減少域間和域內的差距。首先,對模型進行域間自適應;在此基礎上,我們使用基于熵的排序函數將目標域分成簡單和困難的兩部分。最后,為了減小域內間隙,我們提出了一種自監督自適應技術。在大量基準數據集上的實驗結果突出了我們的方法相對于現有的最先進方法的有效性。
從圖像中進行自監督學習的目標是通過不需要對大量訓練圖像進行語義注釋的前置任務來構造語義上有意義的圖像表示。許多前置任務導致與圖像變換協變的表示。相反,我們認為語義表示在這種轉換下應該是不變的。具體來說,我們開發了前置不變表示學習(PIRL,發音為“pearl”),該學習基于前置任務的不變表示。我們將PIRL與一個常用的前置任務一起使用,該任務涉及解決拼圖游戲。我們發現,PIRL極大地提高了學習圖像表示的語義質量。我們的方法設置了一個新的藝術的自監督學習從圖像上幾個流行的基準自我監督學習。盡管是無監督的,但PIRL在學習圖像表示和目標檢測方面的表現優于有監督的前訓練。總之,我們的結果證明了具有良好不變性的圖像表示的自監督學習的潛力。
題目
PIFuHD:多級像素對齊隱式功能,實現高分辨率,三維人體數字化
關鍵詞
計算機視覺,三維人體數字化,高分辨率,圖像處理
簡介
基于圖像的3D人體形狀估計的最新進展是由深度神經網絡所提供的表示能力的顯著提高所驅動的。 盡管當前的方法已經證明了在現實世界中的潛力,但是它們仍然無法以輸入圖像中經常出現的細節水平進行重建。 我們認為,這種限制主要源于兩個相互矛盾的要求。 準確的預測需要大背景,但是精確的預測需要高分辨率。 由于當前硬件中的內存限制,以前的方法傾向于將低分辨率圖像作為輸入來覆蓋較大的空間上下文,并因此產生精度較低(或低分辨率)的3D估計。 我們通過制定一種端到端可訓練的多層體系結構來解決此限制。 粗糙級別以較低的分辨率觀察整個圖像,并著重于整體推理。 這提供了一個很好的環境,可以通過觀察更高分辨率的圖像來估計高度詳細的幾何形狀。 我們證明,通過充分利用1k分辨率的輸入圖像,我們的方法在單圖像人形重建方面顯著優于現有的最新技術。
作者
S. Saito, T. Simon, J. Saragih, H. Joo
細粒度的視覺分類一直被視為一個重要的問題,然而,其實際應用仍受限制,因為精確的注解大量細粒度圖像數據集是一項艱苦的任務,需要人類的專家級知識。解決這個問題的一個方法是將域適應方法應用于細粒度場景,其中的關鍵思想是發現現有的細粒度圖像數據集和大量未標記數據之間的共性。主要的技術瓶頸是在域對齊過程中,大的域間變異會使小的類間變異的細微邊界變差。本文提出了一種基于課程的對抗學習框架的漸進式對抗網絡(PAN),該網絡可將跨領域的細粒度分類進行對齊。 特別是,在整個學習過程中,通過所有的多粒度特性進行域適應,逐步地從粗到細利用標簽層次結構。該方法既適用于類別分類,又適用于域對齊,提高了細粒度特征的可識別性和可移植性。我們的方法是在三個基準上評估的,其中兩個是我們提出的,它比最先進的領域適應方法表現更好。
【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿,接收1470篇,其接受率在逐年下降,今年接受率僅為22%。近期,一些Paper放出來,Domain Adaptation(域自適應)相關研究非常火熱,特別是基于Domain Adaptation的視覺應用在今年的CVPR中有不少,專知小編整理了CVPR 2020 域自適應(DA)相關的比較有意思的值得閱讀的六篇論文,供大家參考—行為分割、語義分割、目標檢測、行為識別、域自適應檢索。
作者:Min-Hung Chen, Baopu Li, Yingze Bao, Ghassan AlRegib, Zsolt Kira
摘要:盡管最近在全監督行為分割(action segmentation)技術方面取得了一些進展,但性能仍然不盡如人意。一個主要挑戰是時空變化問題(例如,不同的人可能以不同的方式進行相同的活動)。因此,我們利用無標簽視頻將行為分割任務重新表述為一個具有時空變化引起的域差異的跨域問題來解決上述時空變化問題。為了減少這種域差異,我們提出了自監督時域自適應(SSTDA),它包含兩個自監督輔助任務(二進制和序列域預測)來聯合對齊嵌入局部和全局時間動態的跨域特征空間,取得了比其他域自適應(DA)方法更好的性能。在三個具有挑戰性的基準數據集(GTEA、50Salads和Breakfast)上,SSTDA的表現遠遠超過當前最先進的方法(在Breakfas上F1@25得分從59.6%到69.1%,在50Salads上F1@25得分從73.4%到81.5%,在GTEA上F1@25得分從83.6%到89.1%),并且只需要65%的標記訓練數據來就實現了該性能,這表明了SSTDA在各種變化中適應未標記目標視頻的有效性。
網址:
代碼鏈接:
作者:Zhonghao Wang, Mo Yu, Yunchao Wei, Rogerior Feris, Jinjun Xiong, Wen-mei Hwu, Thomas S. Huang, Honghui Shi
摘要:本文通過緩解源域(合成數據)和目標域(真實數據)之間的域轉換(domain shift),研究語義分割中的無監督域自適應問題。之前的方法證明,執行語義級對齊有助于解決域轉換問題。我們觀察到事物類別通常在不同域的圖像之間具有相似的外觀,而事物(即目標實例)具有更大的差異,我們提出使用針對填充(stuff)區域和事物的不同策略來改進語義級別的對齊方式:1)對于填充類別,我們為每一類生成特征表示,并進行從目標域到源域的對齊操作;2)對于事物(thing)類別,我們為每個單獨的實例生成特征表示,并鼓勵目標域中的實例與源域中最相似的實例對齊。以這種方式,事物類別內的個體差異也將被考慮,以減輕過度校準。除了我們提出的方法之外,我們還進一步揭示了當前對抗損失在最小化分布差異方面經常不穩定的原因,并表明我們的方法可以通過最小化源域和目標域之間最相似的內容和實例特征來幫助緩解這個問題。
網址:
作者:Chang-Dong Xu, Xing-Ran Zhao, Xin Jin, Xiu-Shen Wei
摘要:在本文中,我們解決了域自適應目標檢測問題,其中的主要挑戰在于源域和目標域之間存在明顯的域差距。以前的工作試圖明確地對齊圖像級和實例級的移位,以最小化域差異。然而,它們仍然忽略了去匹配關鍵圖像區域和重要的跨域實例,這將嚴重影響域偏移緩解。在這項工作中,我們提出了一個簡單有效的分類正則化框架來緩解這個問題。它可以作為一個即插即用(plug-and-play)組件應用于一系列域自適應Faster R-CNN方法,這些方法在處理域自適應檢測方面表現突出。具體地說,由于分類方式的定位能力較弱,通過在檢測主干上集成圖像級多標簽分類器,可以獲得與分類信息相對應的稀疏但關鍵的圖像區域。同時,在實例級,我們利用圖像級預測(分類器)和實例級預測(檢測頭)之間的分類一致性作為正則化因子,自動尋找目標域的硬對齊實例。各種域轉移場景的大量實驗表明,與原有的域自適應Faster R-CNN檢測器相比,我們的方法獲得了顯著的性能提升。此外,定性的可視化和分析可以證明我們的方法能夠關注針對領域適配的關鍵區域/實例。
網址:
代碼鏈接:
作者:Jonathan Munro, Dima Damen
摘要:細粒度行為識別數據集存在出環境偏差,多個視頻序列是從有限數量的環境中捕獲的。在一個環境中訓練模型并在另一個環境中部署會由于不可避免的域轉換而導致性能下降。無監督域適應(UDA)方法經常利用源域和目標域之間進行對抗性訓練。然而,這些方法并沒有探索視頻在每個域中的多模式特性。在這項工作中,除了對抗性校準之外,我們還利用模態之間的對應關系作為UDA的一種自監督校準方法。
我們在大規模數據集EPIC-Kitchens中的三個kitchens上使用行為識別的兩種模式:RGB和光學流(Optical Flow)測試了我們的方法。結果顯示,僅多模態自監督比僅進行源訓練的性能平均提高了2.4%。然后,我們將對抗訓練與多模態自監督相結合,表明我們的方法比其他UDA方法要好3%。
網址:
作者:Myeongjin Kim, Hyeran Byun
摘要:由于用于語義分割的像素級標簽標注很費力,因此利用合成數據是一種更好的解決方案。然而,由于合成域和實域之間存在領域鴻溝,用合成數據訓練的模型很難推廣到真實數據。本文將這兩個領域之間的根本差異作為紋理,提出了一種自適應目標域紋理的方法。首先,我們使用樣式轉移算法使合成圖像的紋理多樣化。合成圖像的各種紋理防止分割模型過擬合到一個特定(合成)紋理。然后,通過自訓練對模型進行微調,得到對目標紋理的直接監督。我們的結果達到了最先進的性能,并通過大量的實驗分析了在多樣化數據集上訓練的模型的性質。
網址:
作者:Fuxiang Huang, Lei Zhang, Yang Yang, Xichuan Zhou
摘要:域自適應圖像檢索包括單域檢索和跨域檢索。現有的圖像檢索方法大多只關注單個域的檢索,假設檢索數據庫和查詢的分布是相似的。然而,在實際應用中,通常在理想光照/姿態/背景/攝像機條件下獲取的檢索數據庫與在非受控條件下獲得的查詢之間的差異很大。本文從實際應用的角度出發,重點研究跨域檢索的挑戰性問題。針對這一問題,我們提出了一種有效的概率加權緊湊特征學習(PWCF)方法,它提供域間相關性指導以提高跨域檢索的精度,并學習一系列緊湊二進制碼(compact binary codes)來提高檢索速度。首先,我們通過最大后驗估計(MAP)推導出我們的損失函數:貝葉斯(BP)誘發的focal-triplet損失、BP誘發的quantization損失和BP誘發的分類損失。其次,我們提出了一個通用的域間復合結構來探索域間的潛在相關性。考慮到原始特征表示因域間差異而存在偏差,復合結構難以構造。因此,我們從樣本統計的角度提出了一種新的特征—鄰域直方圖特征(HFON)。在不同的基準數據庫上進行了大量的實驗,驗證了我們的方法在領域自適應圖像檢索中的性能優于許多最先進的圖像檢索方法。
網址:
代碼鏈接:
題目: Multi-Modal Domain Adaptation for Fine-Grained Action Recognition
摘要: 細粒度動作識別數據集表現出環境偏差,其中多個視頻序列是從有限數量的環境中捕獲的。在一個環境中訓練一個模型,然后部署到另一個環境中,由于不可避免的領域轉換,會導致性能下降。無監督域適應(UDA)方法經常用于源域和目標域之間的對抗訓練。然而,這些方法并沒有探索視頻在每個領域的多模態性質。在這個工作我們利用模式的通信作為UDA self-supervised對齊的方法除了敵對的對齊(圖1),我們測試我們的方法在三個廚房從大規模的數據集,EPIC-Kitchens,使用兩種方法通常用于行為識別:RGB和光學流。結果表明,多模態的自監督比單純的訓練平均提高了2.4%。然后我們將對抗訓練與多模態自我監督相結合,結果表明我們的方法比其他的UDA方法高3%。
【導讀】最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】,CVPR視覺目標跟蹤,CVPR視覺問答,醫學圖像分割,圖神經網絡的推薦相關論文,反響熱烈。最近,Domain Adaptation(域自適應)相關研究非常火熱,一部分也是由于GAN、GNN以及其他一些的網絡結構的啟發,基于Domain Adaptation的工作在今年CVPR 2019上出現了大量的論文。今天小編專門整理最新九篇Domain Adaptation(域自適應)—類別級對抗、域對稱網絡、可遷移原型網絡、可遷移原型網絡、通用域自適應等。
DANN-梯度反轉層
1、Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation(域遷移: 類別級對抗用于語義一致的域自適應)
CVPR ’19 Oral
作者:Yawei Luo, Liang Zheng, Tao Guan, Junqing Yu, Yi Yang
摘要:我們考慮了語義分割中的無監督域自適應問題。該任務的關鍵在于減少域遷移,即,強制兩個域的數據分布相似。一種流行的策略是通過對抗學習來對齊特征空間的邊緣分布。但是,這種全局對齊策略不考慮局部類別的特征分布。全局遷移的一個可能結果是,一些原本在源域和目標域之間很好地對齊的類別可能被錯誤地映射。為了解決這一問題,本文引入了一種類別級的對抗網絡,旨在在全局對齊的趨勢下增強局部語義一致性。我們的想法是仔細研究類級別的數據分布,并將每個類與自適應的對抗損失對齊。具體地說,我們減少了類級別對齊特征的對抗性損失的權重,同時增加了對齊較差的特征的對抗性。在這個過程中,我們通過一種聯合訓練方法來決定一個特征在源域和目標域之間的類別級對齊程度。在兩個領域適應任務中,即GTA5 - > Cityscapes和SYNTHIA - > Cityscapes,我們驗證所提出的方法在分割準確性方面與現有技術相匹配。
網址:
代碼鏈接:
2、AdaGraph: Unifying Predictive and Continuous Domain Adaptation through Graphs(AdaGraph: 通過圖形統一預測和連續域自適應)
CVPR ’19 Oral
作者:Massimiliano Mancini, Samuel Rota Bulò, Barbara Caputo, Elisa Riccici
摘要:分類能力是視覺智能的基石,也是人工自主視覺機器的關鍵功能。 如果沒有能夠適應和概括跨視域的算法,這個問題將永遠無法解決。在域自適應和泛化的背景下,本文重點研究預測域自適應場景,即沒有目標數據可用的情況下,系統必須學習從帶注釋的源圖像和來自輔助域的帶關聯元數據的未標記樣本進行泛化。我們的貢獻是第一個解決預測域適應的深層架構,能夠通過圖利用輔助域帶來的信息。此外,我們提出了一種簡單而有效的策略,允許我們在測試時在連續的域適應場景中利用傳入的目標數據。在三個基準數據庫上的實驗支持驗證了我們的方法的價值。
網址:
3、Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation(基于Sliced Wasserstein Discrepancy的無監督域自適應)
CVPR ’19
作者:Chen-Yu Lee, Tanmay Batra, Mohammad Haris Baig, Daniel Ulbricht
摘要:在這項工作中,我們將兩個不同的無監督域自適應概念連接起來:利用特定于任務的決策邊界和Wasserstein度量在域之間進行特征分布對齊。我們提出的Sliced Wasserstein Discrepancy (SWD)旨在捕捉任務特定分類器輸出之間的自然差異概念。它提供了一個幾何上有意義的指導來檢測遠離源支持的目標樣本,并以端到端可訓練的方式實現有效的分布對齊。在實驗中,我們驗證了該方法在數字和符號識別、圖像分類、語義分割和目標檢測等方面的有效性和通用性。
網址:
4、Domain-Symmetric Networks for Adversarial Domain Adaptation(用于對抗域自適應的域對稱網絡)
CVPR ’19
作者:Yabin Zhang, Hui Tng, Kui Jia, Mingkui Tan
摘要:無監督域自適應是在給定源域上有標記樣本訓練數據的情況下,學習目標域上未標記樣本的分類器模型。最近,通過對深度網絡的域對抗訓練來學習不變特征,取得了令人矚目的進展。盡管近年來的研究取得了一定的進展,但域自適應在較細類別水平上實現特征分布的不變性方面仍然存在一定的局限性。為此,本文提出了一種新的域自適應方法——域對稱網絡(SymNets)。SymNet是基于源域和目標域任務分類器的對稱設計,在此基礎上,我們還構造了一個額外的分類器,與它們共享其層神經元。為了訓練SymNet, 我們提出了一種新穎的對抗學習目標函數,其關鍵設計是基于一個two-level域混淆方案, 通過推動中間網絡特征的學習,類級別的混淆損失在域級別上得到改善。在構造的附加分類器的基礎上,實現了域識別和域混淆。由于目標域樣本是無標記的,我們還提出了一種跨域訓練的方法來幫助學習目標分類器。仔細的消融研究表明我們提出的方法是有效的。特別是,基于常用的基本網絡,我們的symnet在三個基準域自適應數據集上實現了最新的技術水平。
網址:
5、Transferrable Prototypical Networks for Unsupervised Domain Adaptation(基于可遷移原型網絡的無監督域自適應)
CVPR'19 Oral
作者:Yingwei Pan, Ting Yao, Yehao Li, Yu Wang, Chong-Wah Ngo, Tao Mei
摘要:本文提出了一種通過重構原型網絡實現無監督域自適應的新方法,該方法通過學習嵌入空間,通過重構每個類到原型的距離進行分類。具體地說,我們提出了可遷移原型網絡(TPN)的自適應算法,使源域和目標域的每個類的原型在嵌入空間上接近,并且原型在源域和目標域數據上分別預測的得分分布是相似的。從技術上講,TPN最初將每個目標域示例與源域中最近的原型匹配,并為一個示例分配一個“偽”標簽。每個類的原型可以分別在純源域、純目標域和純源目標域數據上計算。TPN的優化是通過在三種數據上聯合最小化原型之間的距離和由每對原型輸出的得分分布的KL -散度來進行端到端訓練的。對MNIST、USPS和SVHN數據集之間的遷移進行了廣泛的實驗,與最先進的方法相比,報告了更好的結果。更值得注意的是,我們在VisDA 2017數據集上獲得了80.4%的單模型準確度。
網址:
6、Contrastive Adaptation Network for Unsupervised Domain Adaptation(基于對比自適應網絡的無監督域自適應)
CVPR'19
作者:Guoliang Kang, Lu Jiang, Yi Yang, Alexander G Hauptmann
摘要:無監督域自適應(UDA)對目標域數據進行預測,而手工標注只在源域中可用。以往的方法在忽略類信息的情況下,最大限度地減小了域間的差異,從而導致了不一致和泛化性能差。為了解決這一問題,本文提出了一種新的比較自適應網絡(CAN)優化度量,它明確地對類內域和類間域的差異進行了建模。我們設計了一種交替的更新策略,以端到端方式訓練CAN。在office31和VisDA-2017這兩個真實世界基準測試上的實驗表明,相對于最先進的方法,該方法可以獲得更好的性能,并產生更多的區別性特征。
網址:
7、Universal Domain Adaptation(通用域自適應)
CVPR ’19
作者:Kaichao You, Mingsheng Long, Zhangjie Cao, Jianmin Wang, and Michael I. Jordan
摘要:域適應的目的是在存在域差距的情況下遷移知識。現有的域自適應方法依賴于對源域和目標域的標簽集之間關系的豐富先驗知識,這極大地限制了它們在實際中的應用。本文介紹了一種不需要標簽集先驗知識的通用域自適應算法(UDA)。對于給定的源域標簽集和目標域標簽集,它們可能分別包含一個公共標簽集和一個私有標簽集,從而帶來額外的類別差異。UDA要求一個模型 (1)正確地分類目標樣本,如果它與公共標簽集中的標簽相關聯,或者 (2) 將其標記為“未知”。更重要的是,UDA模型應該能夠穩定地應對廣泛的共性(通用標簽集在整個標簽集上的比例),以便它可以處理未知目標域標簽集的實際問題。為了解決通用域適應問題,提出了通用域適應網絡(UAN)。它量化了發現通用標簽集和對每個域私有的標簽集的樣本級可遷移性,從而促進了自動發現的通用標簽集的適應性,并成功地識別了“未知”樣本。全面的評價表明,在新穎的UDA設置中,UAN優于現有技術的閉集、部分域和開放域自適應方法。
網址:
代碼鏈接:
8、Learning to Transfer Examples for Partial Domain Adaptation(基于樣例轉移網絡的部分域自適應)
CVPR ’19
作者:Zhangjie Cao, Kaichao You, Mingsheng Long, Jianmin Wang, Qiang Yang
摘要:域自適應對于在新的未知環境中學習至關重要。通過領域對抗訓練,深度網絡可以學習可遷移的特征,從而有效地減少用于知識遷移的源域和目標域之間的數據集轉移。在大數據時代,大規模標記數據集的可用性引起了人們對局部域適應(PDA)的廣泛興趣,PDA將識別器從標記的大域遷移到未標記的小域。它將標準域適應擴展到目標域標簽只是源域標簽子集的場景。在目標域標簽未知的情況下,PDA的關鍵挑戰是如何在共享類中傳遞相關的例子來促進正遷移,而忽略特定類中不相關的例子來減少負遷移。在這項工作中,我們提出一個統一的PDA方法—Example Transfer Network (ETN), 共同學習源域和目標域的域不變表示和加權方案, 量化的可遷移源域示例同時控制他們對目標領域中的學習任務的重要性。對幾個基準數據集的全面評估表明,我們的方法可以為部分域自適應任務實現最先進的結果。
網址:
9、Geometry-Aware Symmetric Domain Adaptation for Monocular Depth Estimation(基于幾何感知對稱域自適應的單眼深度估計)
作者:Shanshan Zhao, Huan Fu, Mingming Gong, Dacheng Tao
摘要:先進的深度網絡體系結構使得監督深度估計具有較高的精度。由于groundtruth深度標簽難以獲取,近年來的方法試圖通過非監督線索來學習深度估計網絡,這種方法雖然有效,但不如真實標簽可靠。解決這一難題的一種新方法是通過域自適應技術從具有groundtruth深度的合成圖像中遷移知識。然而,這些方法忽略了目標域內自然圖像的特定幾何結構(即,真實數據),這對于高性能的深度預測非常重要。在此基礎上,我們提出了一種基于幾何感知的對稱域自適應框架(GASDA),用于研究合成數據和真實數據中的超極幾何標記。此外,通過在端到端網絡中對稱地訓練兩個圖像樣式轉換器和深度估計器,我們的模型實現了更好的圖像樣式轉換,生成了高質量的深度圖。實驗結果證明了該方法的有效性,并與現有方法進行了比較。我們的代碼在:
網址:
代碼鏈接:
下載鏈接: 提取碼:crqk
論文題目
FEW SHOT LINK PREDICTION VIA META LEARNING
論文摘要
我們考慮了樣本鏈接預測的任務,其目標是僅使用一個小樣本的已知邊來預測多個圖中的未命中邊。但是,目前的鏈路預測方法通常不適合處理這項任務,因為它們無法在多圖環境中有效地在圖之間傳遞知識,也無法有效地從非常稀疏的數據中學習。為了應對這一挑戰,我們引入了一個新的基于梯度的元學習框架meta Graph,它利用高階梯度和一個學習的Graph sig nature函數來有條件地生成一個Graph神經網絡初始化,我們證明,元圖形不僅可以快速適應,而且可以更好地最終收斂,并且僅使用一小部分真實邊緣樣本就可以有效地學習。
論文作者
Avishek Joey Bose*來自麥吉爾大學。