本文研究的是物體檢測的域自適應(Domain Adaptive)問題,其主要挑戰來自源域和目標域之間的巨大差異。先前工作主要是明確對齊了圖像層面和實例層面的遷移,以最終最小化域差異,但是依然忽略了跨域匹配關鍵的圖像區域和重要的實例,以至于嚴重影響了域遷移的緩解。本文提出一個簡單且有效的類正則化框架以緩解這一問題,它可以作為一個即插即用的組件應用于一系列域自適應Faster R-CNN方法上,這些方法對處理域自適應檢測非常重要。
具體而言,通過整合檢測backbone上的一個圖像層面的多標簽分類器,本文可以通過分類方式的弱定位能力,獲得對應于類信息的稀疏且關鍵的圖像區域。同時,在實例層面,本文把圖像預測和實例預測之間的類一致性作為一個正則化因子,以自動搜索目標域的硬對齊實例。大量不同域遷移方案的實驗表明,相較原始的域自適應Faster R-CNN檢測器,本文方法取得顯著的性能提升。此外,定性的可視化和分析表明,本文方法可應用于針對域適應的關鍵區域/實例。
小樣本學習(FSL)近年來引起了越來越多的關注,但仍然具有挑戰性,因為學習從少數例子中歸納的固有困難。本文提出了一種自適應間隔原則,以提高基于度量的元學習方法在小樣本學習問題中的泛化能力。具體地說,我們首先開發了一個與類相關的加性邊緣損失算法,該算法考慮了每對類之間的語義相似性,從而將特征嵌入空間中的樣本從相似的類中分離出來。此外,我們在抽樣訓練任務中加入所有類別之間的語義上下文,并開發了與任務相關的附加間隔損失,以更好地區分不同類別的樣本。我們的自適應間隔方法可以很容易地推廣到更現實的廣義FSL設置。大量的實驗表明,在標準FSL和通用FSL設置下,所提出的方法可以提高現有基于度量的元學習方法的性能。
主題: Exploring Categorical Regularization for Domain Adaptive Object Detection
摘要: 在本文中,我們解決了域自適應對象檢測問題,其中主要挑戰在于源域和目標域之間的顯著域間隙。先前的工作試圖使圖像級別和實例級別的轉換明確對齊,以最終將域差異最小化。但是,它們仍然忽略了跨域匹配關鍵圖像區域和重要實例,這將嚴重影響域偏移緩解。在這項工作中,我們提出了一個簡單但有效的分類正則化框架來緩解此問題。它可以作為即插即用組件應用于一系列領域自適應快速R-CNN方法,這些方法在處理領域自適應檢測方面非常重要。具體地,通過將??圖像級多標簽分類器集成到檢測主干上,由于分類方式的定位能力較弱,我們可以獲得與分類信息相對應的稀疏但至關重要的圖像區域。同時,在實例級別,我們利用圖像級別預測(通過分類器)和實例級別預測(通過檢測頭)之間的分類一致性作為規則化因子,以自動尋找目標域的硬對齊實例。各種域移位方案的大量實驗表明,與原始的域自適應快速R-CNN檢測器相比,我們的方法獲得了顯著的性能提升。此外,定性的可視化和分析可以證明我們的方法參加針對領域適應的關鍵區域/實例的能力。
題目: Context-Transformer: Tackling Object Confusion for Few-Shot Detection
摘要:
小樣本目標檢測是一個具有挑戰性但又很現實的場景,只有少數帶注釋的訓練圖像可用于訓練檢測器。處理這個問題的一個流行的方法是遷移學習,對在源域基準上預先訓練的檢測器進行微調。然而,由于訓練樣本的數據多樣性較低,這種轉移的檢測器往往不能識別目標域中的新對象。為了解決這一問題,我們提出了一個新穎的上下文轉換器:一個簡潔的深層傳輸框架。具體來說,Context-Transformer可以有效地利用源域對象知識作為指導,并自動地從目標域中的少量訓練圖像中挖掘上下文。然后,自適應地整合這些相關線索,增強檢測器的識別能力,以減少在小樣本場景下的目標混淆。此外,上下文轉換器靈活地嵌入到流行的ssd風格的檢測器中,這使得它成為端到端小樣本學習的即插即用模塊。最后,我們評估了上下文轉換器對小樣本檢測和增量小樣本檢測的挑戰性設置。實驗結果表明,我們的框架比目前最先進的方法有更好的性能。