題目: Multi-Modal Domain Adaptation for Fine-Grained Action Recognition
摘要: 細粒度動作識別數據集表現出環境偏差,其中多個視頻序列是從有限數量的環境中捕獲的。在一個環境中訓練一個模型,然后部署到另一個環境中,由于不可避免的領域轉換,會導致性能下降。無監督域適應(UDA)方法經常用于源域和目標域之間的對抗訓練。然而,這些方法并沒有探索視頻在每個領域的多模態性質。在這個工作我們利用模式的通信作為UDA self-supervised對齊的方法除了敵對的對齊(圖1),我們測試我們的方法在三個廚房從大規模的數據集,EPIC-Kitchens,使用兩種方法通常用于行為識別:RGB和光學流。結果表明,多模態的自監督比單純的訓練平均提高了2.4%。然后我們將對抗訓練與多模態自我監督相結合,結果表明我們的方法比其他的UDA方法高3%。
領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而,對于具有不同數據可用性的時間序列數據,還沒有考慮到健壯的技術。在本文中,我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS),該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據,我們增加了CoDATS的有用性,從而進一步提高了與以前的單源方法相比的準確性,特別是在域之間具有高度可變性的復雜時間序列數據集上。其次,我們提出了一種新的弱監督域自適應(DA-WS)方法,利用目標域標簽分布形式的弱監督,這可能比其他數據標簽更容易收集。第三,我們對不同的真實數據集進行了綜合實驗,以評估我們的域適應和弱監督方法的有效性。結果表明,用于單源DA的CoDATS比最先進的方法有了顯著的改進,并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。
領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而,對于具有不同數據可用性的時間序列數據,還沒有考慮到健壯的技術。在本文中,我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS),該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據,我們增加了CoDATS的有用性,從而進一步提高了與以前的單源方法相比的準確性,特別是在域之間具有高度可變性的復雜時間序列數據集上。其次,我們提出了一種新的弱監督域自適應(DA-WS)方法,利用目標域標簽分布形式的弱監督,這可能比其他數據標簽更容易收集。第三,我們對不同的真實數據集進行了綜合實驗,以評估我們的域適應和弱監督方法的有效性。結果表明,用于單源DA的CoDATS比最先進的方法有了顯著的改進,并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。
基于卷積神經網絡的方法在語義分割方面取得了顯著的進展。然而,這些方法嚴重依賴于注釋數據,這是勞動密集型的。為了解決這一限制,使用從圖引擎生成的自動注釋數據來訓練分割模型。然而,從合成數據訓練出來的模型很難轉換成真實的圖像。為了解決這個問題,以前的工作已經考慮直接將模型從源數據調整到未標記的目標數據(以減少域間的差距)。盡管如此,這些技術并沒有考慮到目標數據本身之間的巨大分布差異(域內差異)。在這項工作中,我們提出了一種兩步自監督域適應方法來減少域間和域內的差距。首先,對模型進行域間自適應;在此基礎上,我們使用基于熵的排序函數將目標域分成簡單和困難的兩部分。最后,為了減小域內間隙,我們提出了一種自監督自適應技術。在大量基準數據集上的實驗結果突出了我們的方法相對于現有的最先進方法的有效性。
在這篇論文中,我們提出了一個框架,能夠生成與給定的一次性樣例相同分布的人臉圖像。我們利用一個預先訓練的StyleGAN模型,它已經學會了一般的面部分布。針對這一一次性目標,我們提出了一種快速調整模型權值的迭代優化方案,以使輸出的高階分布適應目標的高階分布。為了生成相同分布的圖像,我們引入了一種風格混合技術,將低水平的統計信息從目標傳輸到模型隨機生成的人臉。這樣,我們就能夠生成無限數量的面孔,這些面孔既繼承了一般人臉的分布,也繼承了一次性人臉的分布。新生成的人臉可以作為其他下游任務的增強訓練數據。這樣的設置很有吸引力,因為它需要在目標域中標記很少的標記,甚至只需要一個示例,而在現實世界中,人臉操作通常是由各種未知的和獨特的分布導致的。結果表明,本文提出的單樣本自適應方法是一種有效的人臉操作檢測方法,并與其他多鏡頭自適應方法進行了定性和定量的比較。
僅憑對話就能猜測人類行為嗎?在這項工作中,我們調查了電影中的言語和動作之間的聯系。我們注意到,電影劇本描述動作,也包含角色的語言,因此可以用來學習這種相關性,而不需要額外的監督。我們在一千多部電影劇本中訓練一個基于BERT的語音動作分類器,從轉錄的語音片段中預測動作標簽。然后,我們將該模型應用于一個大型未標記電影語料庫的語音片段(來自288K電影的1.88億個語音片段)。利用該模型的預測,我們得到了800K以上視頻片段的弱動作標簽。通過對這些視頻剪輯的訓練,我們在標準動作識別基準上展示了優越的動作識別性能,而無需使用一個手動標記的動作示例。
【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿,接收1470篇,其接受率在逐年下降,今年接受率僅為22%。近期,一些Paper放出來,Domain Adaptation(域自適應)相關研究非常火熱,特別是基于Domain Adaptation的視覺應用在今年的CVPR中有不少,專知小編整理了CVPR 2020 域自適應(DA)相關的比較有意思的值得閱讀的六篇論文,供大家參考—行為分割、語義分割、目標檢測、行為識別、域自適應檢索。
作者:Min-Hung Chen, Baopu Li, Yingze Bao, Ghassan AlRegib, Zsolt Kira
摘要:盡管最近在全監督行為分割(action segmentation)技術方面取得了一些進展,但性能仍然不盡如人意。一個主要挑戰是時空變化問題(例如,不同的人可能以不同的方式進行相同的活動)。因此,我們利用無標簽視頻將行為分割任務重新表述為一個具有時空變化引起的域差異的跨域問題來解決上述時空變化問題。為了減少這種域差異,我們提出了自監督時域自適應(SSTDA),它包含兩個自監督輔助任務(二進制和序列域預測)來聯合對齊嵌入局部和全局時間動態的跨域特征空間,取得了比其他域自適應(DA)方法更好的性能。在三個具有挑戰性的基準數據集(GTEA、50Salads和Breakfast)上,SSTDA的表現遠遠超過當前最先進的方法(在Breakfas上F1@25得分從59.6%到69.1%,在50Salads上F1@25得分從73.4%到81.5%,在GTEA上F1@25得分從83.6%到89.1%),并且只需要65%的標記訓練數據來就實現了該性能,這表明了SSTDA在各種變化中適應未標記目標視頻的有效性。
網址:
代碼鏈接:
作者:Zhonghao Wang, Mo Yu, Yunchao Wei, Rogerior Feris, Jinjun Xiong, Wen-mei Hwu, Thomas S. Huang, Honghui Shi
摘要:本文通過緩解源域(合成數據)和目標域(真實數據)之間的域轉換(domain shift),研究語義分割中的無監督域自適應問題。之前的方法證明,執行語義級對齊有助于解決域轉換問題。我們觀察到事物類別通常在不同域的圖像之間具有相似的外觀,而事物(即目標實例)具有更大的差異,我們提出使用針對填充(stuff)區域和事物的不同策略來改進語義級別的對齊方式:1)對于填充類別,我們為每一類生成特征表示,并進行從目標域到源域的對齊操作;2)對于事物(thing)類別,我們為每個單獨的實例生成特征表示,并鼓勵目標域中的實例與源域中最相似的實例對齊。以這種方式,事物類別內的個體差異也將被考慮,以減輕過度校準。除了我們提出的方法之外,我們還進一步揭示了當前對抗損失在最小化分布差異方面經常不穩定的原因,并表明我們的方法可以通過最小化源域和目標域之間最相似的內容和實例特征來幫助緩解這個問題。
網址:
作者:Chang-Dong Xu, Xing-Ran Zhao, Xin Jin, Xiu-Shen Wei
摘要:在本文中,我們解決了域自適應目標檢測問題,其中的主要挑戰在于源域和目標域之間存在明顯的域差距。以前的工作試圖明確地對齊圖像級和實例級的移位,以最小化域差異。然而,它們仍然忽略了去匹配關鍵圖像區域和重要的跨域實例,這將嚴重影響域偏移緩解。在這項工作中,我們提出了一個簡單有效的分類正則化框架來緩解這個問題。它可以作為一個即插即用(plug-and-play)組件應用于一系列域自適應Faster R-CNN方法,這些方法在處理域自適應檢測方面表現突出。具體地說,由于分類方式的定位能力較弱,通過在檢測主干上集成圖像級多標簽分類器,可以獲得與分類信息相對應的稀疏但關鍵的圖像區域。同時,在實例級,我們利用圖像級預測(分類器)和實例級預測(檢測頭)之間的分類一致性作為正則化因子,自動尋找目標域的硬對齊實例。各種域轉移場景的大量實驗表明,與原有的域自適應Faster R-CNN檢測器相比,我們的方法獲得了顯著的性能提升。此外,定性的可視化和分析可以證明我們的方法能夠關注針對領域適配的關鍵區域/實例。
網址:
代碼鏈接:
作者:Jonathan Munro, Dima Damen
摘要:細粒度行為識別數據集存在出環境偏差,多個視頻序列是從有限數量的環境中捕獲的。在一個環境中訓練模型并在另一個環境中部署會由于不可避免的域轉換而導致性能下降。無監督域適應(UDA)方法經常利用源域和目標域之間進行對抗性訓練。然而,這些方法并沒有探索視頻在每個域中的多模式特性。在這項工作中,除了對抗性校準之外,我們還利用模態之間的對應關系作為UDA的一種自監督校準方法。
我們在大規模數據集EPIC-Kitchens中的三個kitchens上使用行為識別的兩種模式:RGB和光學流(Optical Flow)測試了我們的方法。結果顯示,僅多模態自監督比僅進行源訓練的性能平均提高了2.4%。然后,我們將對抗訓練與多模態自監督相結合,表明我們的方法比其他UDA方法要好3%。
網址:
作者:Myeongjin Kim, Hyeran Byun
摘要:由于用于語義分割的像素級標簽標注很費力,因此利用合成數據是一種更好的解決方案。然而,由于合成域和實域之間存在領域鴻溝,用合成數據訓練的模型很難推廣到真實數據。本文將這兩個領域之間的根本差異作為紋理,提出了一種自適應目標域紋理的方法。首先,我們使用樣式轉移算法使合成圖像的紋理多樣化。合成圖像的各種紋理防止分割模型過擬合到一個特定(合成)紋理。然后,通過自訓練對模型進行微調,得到對目標紋理的直接監督。我們的結果達到了最先進的性能,并通過大量的實驗分析了在多樣化數據集上訓練的模型的性質。
網址:
作者:Fuxiang Huang, Lei Zhang, Yang Yang, Xichuan Zhou
摘要:域自適應圖像檢索包括單域檢索和跨域檢索。現有的圖像檢索方法大多只關注單個域的檢索,假設檢索數據庫和查詢的分布是相似的。然而,在實際應用中,通常在理想光照/姿態/背景/攝像機條件下獲取的檢索數據庫與在非受控條件下獲得的查詢之間的差異很大。本文從實際應用的角度出發,重點研究跨域檢索的挑戰性問題。針對這一問題,我們提出了一種有效的概率加權緊湊特征學習(PWCF)方法,它提供域間相關性指導以提高跨域檢索的精度,并學習一系列緊湊二進制碼(compact binary codes)來提高檢索速度。首先,我們通過最大后驗估計(MAP)推導出我們的損失函數:貝葉斯(BP)誘發的focal-triplet損失、BP誘發的quantization損失和BP誘發的分類損失。其次,我們提出了一個通用的域間復合結構來探索域間的潛在相關性。考慮到原始特征表示因域間差異而存在偏差,復合結構難以構造。因此,我們從樣本統計的角度提出了一種新的特征—鄰域直方圖特征(HFON)。在不同的基準數據庫上進行了大量的實驗,驗證了我們的方法在領域自適應圖像檢索中的性能優于許多最先進的圖像檢索方法。
網址:
代碼鏈接:
Fine-grained action recognition datasets exhibit environmental bias, where multiple video sequences are captured from a limited number of environments. Training a model in one environment and deploying in another results in a drop in performance due to an unavoidable domain shift. Unsupervised Domain Adaptation (UDA) approaches have frequently utilised adversarial training between the source and target domains. However, these approaches have not explored the multi-modal nature of video within each domain. In this work we exploit the correspondence of modalities as a self-supervised alignment approach for UDA in addition to adversarial alignment. We test our approach on three kitchens from our large-scale dataset, EPIC-Kitchens, using two modalities commonly employed for action recognition: RGB and Optical Flow. We show that multi-modal self-supervision alone improves the performance over source-only training by 2.4% on average. We then combine adversarial training with multi-modal self-supervision, showing that our approach outperforms other UDA methods by 3%.
題目: Adversarial-Learned Loss for Domain Adaptation
摘要: 近年來,在跨領域學習可轉移表征方面取得了顯著的進展。以往的領域適應研究主要基于兩種技術:領域對抗學習和自我訓練。然而,領域對抗性學習只會調整領域之間的特征分布,而不考慮目標特征是否具有區分性。另一方面,自訓練利用模型預測來增強目標特征的識別,但無法明確地指定領域分布。為了將這兩種方法的優點結合起來,我們提出了一種新的領域自適應的通用學習損失(ALDA)方法,首先分析了一種典型的自訓練方法偽標簽方法。然而,偽標簽和地面真實性之間存在差距,這可能導致錯誤的訓練。因此,我們引入了混淆矩陣,通過對抗性的方式在ALDA中學習,以減少gap并對齊特征分布。最后,從學習的混淆矩陣中自動構造一個新的損失函數,作為未標記目標樣本的損失。在四標準域自適應數據集中,OurALDA優于最新方法。
作者簡介: Haifeng Liu,博士,浙江大學計算機學院副教授。個人主頁://person.zju.edu.cn/en/hfliu
題目: Adversarial Cross-Domain Action Recognition with Co-Attention
摘要: 動作識別是一個被廣泛研究的課題,其研究重點是有監督的學習,包括足夠多的視頻。然而,跨域動作識別的問題,即訓練和測試視頻是從不同的底層分布中提取出來的,在很大程度上仍然沒有得到充分的研究。以往的方法直接采用跨域圖像識別技術,容易出現嚴重的時間錯位問題。提出了一種時間協同注意網絡(TCoN),該網絡利用一種新的跨域協同注意機制,對源域和目標域之間的時間對準動作特征分布進行了匹配。在三個跨域動作識別數據集上的實驗結果表明,在跨域設置下,TCoN顯著地改進了以往的單域和跨域方法。
作者簡介: Boxiao Pan,斯坦福大學視覺與學習實驗室的碩士。他對構建能夠解釋和理解以人為中心的行為、場景和事件的智能系統非常著迷,尤其是通過視頻輸入。//cs.stanford.edu/~bxpan/
Zhangjie Cao,斯坦福大學計算機科學系的博士。