細粒度的視覺分類一直被視為一個重要的問題,然而,其實際應用仍受限制,因為精確的注解大量細粒度圖像數據集是一項艱苦的任務,需要人類的專家級知識。解決這個問題的一個方法是將域適應方法應用于細粒度場景,其中的關鍵思想是發現現有的細粒度圖像數據集和大量未標記數據之間的共性。主要的技術瓶頸是在域對齊過程中,大的域間變異會使小的類間變異的細微邊界變差。本文提出了一種基于課程的對抗學習框架的漸進式對抗網絡(PAN),該網絡可將跨領域的細粒度分類進行對齊。 特別是,在整個學習過程中,通過所有的多粒度特性進行域適應,逐步地從粗到細利用標簽層次結構。該方法既適用于類別分類,又適用于域對齊,提高了細粒度特征的可識別性和可移植性。我們的方法是在三個基準上評估的,其中兩個是我們提出的,它比最先進的領域適應方法表現更好。
題目: Graph Random Neural Networks
摘要:
圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中,在圖形挖掘任務中表現良好。然而,現有的GNN常常遇到具有標記節點的復雜圖結構,并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題,本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同,Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來,減少了過度平滑和過度擬合的風險。此外,隨機傳播是圖數據擴充的一種有效方法。在此基礎上,利用無標記節點在多個擴展中的分布一致性,提高模型的泛化能力,提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明,Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后,證明了它可以顯著減輕過度平滑和過度擬合的問題,并且它的性能與魯棒性相結合。
本文研究的是物體檢測的域自適應(Domain Adaptive)問題,其主要挑戰來自源域和目標域之間的巨大差異。先前工作主要是明確對齊了圖像層面和實例層面的遷移,以最終最小化域差異,但是依然忽略了跨域匹配關鍵的圖像區域和重要的實例,以至于嚴重影響了域遷移的緩解。本文提出一個簡單且有效的類正則化框架以緩解這一問題,它可以作為一個即插即用的組件應用于一系列域自適應Faster R-CNN方法上,這些方法對處理域自適應檢測非常重要。
具體而言,通過整合檢測backbone上的一個圖像層面的多標簽分類器,本文可以通過分類方式的弱定位能力,獲得對應于類信息的稀疏且關鍵的圖像區域。同時,在實例層面,本文把圖像預測和實例預測之間的類一致性作為一個正則化因子,以自動搜索目標域的硬對齊實例。大量不同域遷移方案的實驗表明,相較原始的域自適應Faster R-CNN檢測器,本文方法取得顯著的性能提升。此外,定性的可視化和分析表明,本文方法可應用于針對域適應的關鍵區域/實例。
主動學習是通過對最有代表性的樣本進行抽樣,設計標簽有效的算法。在本文中,我們提出了一種狀態重新標記對抗主動學習模型(SRAAL),該模型利用標注和標記/未標記的狀態信息來獲得信息量最大的未標記樣本。SRAAL由一個表示生成器和一個狀態鑒別器組成。該生成器利用補充標注信息與傳統重建信息生成樣本的統一表示,將語義嵌入到整個數據表示中。然后,我們在鑒別器中設計了一個在線不確定度指標,使未標記樣本具有不同的重要性。因此,我們可以根據鑒別器的預測狀態來選擇信息最豐富的樣本。我們還設計了一個算法來初始化標記池,這使得后續的采樣更加有效。在各種數據集上進行的實驗表明,我們的模型優于現有的主動學習方法,并且我們的初始采樣算法具有更好的性能。
題目: Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
摘要: 圖像級弱監督語義分割是近年來深入研究的一個具有挑戰性的問題。大多數高級解決方案都利用類激活映射(CAM)。然而,由于監督的充分性和弱監督的差距,CAMs很難作為目標掩模。在這篇論文中,我們提出了一個自我監督的等變注意機制(SEAM)來發現額外的監督并縮小差距。我們的方法是基于等方差是完全監督語義分割的一個隱含約束,其像素級標簽在數據擴充過程中與輸入圖像進行相同的空間變換。然而,這種約束在圖像級監控訓練的凸輪上丟失了。因此,我們提出了對不同變換圖像的預測凸輪進行一致性正則化,為網絡學習提供自監督。此外,我們提出了一個像素相關模塊(PCM),它利用上下文外觀信息,并改進當前像素的預測由其相似的鄰居,從而進一步提高CAMs的一致性。在PASCAL VOC 2012數據集上進行的大量實驗表明,我們的方法在同等監督水平下表現優于最先進的方法。
在這篇論文中,我們提出了一個框架,能夠生成與給定的一次性樣例相同分布的人臉圖像。我們利用一個預先訓練的StyleGAN模型,它已經學會了一般的面部分布。針對這一一次性目標,我們提出了一種快速調整模型權值的迭代優化方案,以使輸出的高階分布適應目標的高階分布。為了生成相同分布的圖像,我們引入了一種風格混合技術,將低水平的統計信息從目標傳輸到模型隨機生成的人臉。這樣,我們就能夠生成無限數量的面孔,這些面孔既繼承了一般人臉的分布,也繼承了一次性人臉的分布。新生成的人臉可以作為其他下游任務的增強訓練數據。這樣的設置很有吸引力,因為它需要在目標域中標記很少的標記,甚至只需要一個示例,而在現實世界中,人臉操作通常是由各種未知的和獨特的分布導致的。結果表明,本文提出的單樣本自適應方法是一種有效的人臉操作檢測方法,并與其他多鏡頭自適應方法進行了定性和定量的比較。
標題
對抗特征幻覺網絡的小樣本學習,Adversarial Feature Hallucination Networks for Few-Shot Learning
關鍵字
小樣本學習,神經網絡,生成對抗網絡,機器學習,人工智能
簡介
最近在各種任務中進行的深度學習蓬勃發展,在很大程度上已經獲得了豐富且可訪問的標記數據的認可。 盡管如此,對于許多實際應用而言,大量的監督仍然是奢侈的事情,這引起了人們對標簽稀缺技術的極大興趣,例如小樣本學習(FSL),旨在通過少量標簽樣本學習新類的概念。 FSL的自然方法是數據擴充,許多最近的工作通過提出各種數據綜合模型證明了其可行性。 但是,這些模型不能很好地確保合成數據的可分辨性和多樣性,因此經常會產生不良結果。 在本文中,我們提出了基于條件Wasserstein生成對抗網絡(cWGAN)的對抗特征幻覺網絡(AFHN),并幻化了以少量標記樣本為條件的各種和判別特征。 兩種新穎的正則化器,即分類正則器和反崩潰正則器,被合并到AFHN中以分別促進合成特征的可辨別性和多樣性。 消融研究驗證了所提出的基于cWGAN的特征幻覺框架和所提出的調節器的有效性。 在三個常見基準數據集上的比較結果證實了AFHN優于現有的基于數據增強的FSL方法和其他最新方法的優越性。
作者
Kai Li, Yulun Zhang, Kunpeng Li, Yun Fu,波士頓東北大學電氣與計算機工程系
題目: Correspondence Networks with Adaptive Neighbourhood Consensus
摘要:
在這篇論文中,我們處理的任務是在包含相同類別物體的圖像之間建立緊密的視覺對應。這是一個具有挑戰性的任務,因為類內部變化很大,并且缺乏密集的像素級注釋。我們提出了一種卷積神經網絡結構,稱為鄰域自適應一致網絡(ANC-Net),它可以通過稀疏的關鍵點注釋進行端到端的訓練來應對這一挑戰。該算法的核心是非各向同性的四維卷積核,構成了鄰域自適應一致的魯棒匹配模塊。為了使所學習的特征對類內變化具有魯棒性,我們還引入了一個簡單有效的多尺度自相似模型。此外,我們提出了一種新的正交損失來加強一對一匹配的約束。我們徹底地評估了我們的方法在各種基準上的有效性,在這些基準上,它的性能大大優于最先進的方法。
人臉識別系統在實際應用中往往會遇到一些不可見的領域,由于其泛化能力較差而導致性能不佳。例如,一個訓練有素的webface數據模型不能處理監視場景中的ID和Spot任務。在本文中,我們的目標是學習一個不需要任何模型更新就可以直接處理新的未知域的廣義模型。為此,我們提出了一種新的基于元學習的人臉識別方法——元人臉識別(Meta face recognition, MFR)。MFR以元優化目標綜合源/目標域移位,這要求模型不僅要在綜合的源域上學習有效的表示,還要在綜合的目標域上學習有效的表示。具體來說,我們通過域級抽樣策略構建域移位批次,并通過優化多域分布得到合成源/目標域上的反向傳播梯度/元梯度。進一步結合梯度和元梯度對模型進行更新,提高了模型的泛化能力。此外,我們提出了兩種評估廣義人臉識別的基準。在我們的基準上進行的實驗驗證了我們的方法與幾個基線和其他技術水平的比較的普遍性。提出的基準將在//github.com/cleardusk/MFR上提供。
近年來,自適應推理因其計算效率高而受到越來越多的關注。不同于現有的工作,主要利用架構適應網絡冗余設計,在本文中,我們關注的空間冗余輸入樣本,并提出一種新穎的分辨率自適應網絡(RANet)。我們的動機是,低分辨率表示對于包含規范對象的“簡單”樣本的分類是足夠的,而高分辨率特征對于識別一些“困難”對象是有用的。在RANet中,輸入圖像首先被路由到一個輕量級的子網絡,這個子網絡能夠有效地提取粗糙的特征圖,并且具有高可信度預測的樣本將會很早就從這個子網絡中退出。只有那些先前預測不可靠的“硬”樣本才會激活高分辨率路徑。通過自適應地處理不同分辨率的特征,可以顯著提高RANet的計算效率。在三個分類基準測試任務(CIFAR-10、CIFAR-100和ImageNet)上的實驗證明了該模型在任意時間預測設置和預算批量分類設置中的有效性。
題目: Adversarial-Learned Loss for Domain Adaptation
摘要: 近年來,在跨領域學習可轉移表征方面取得了顯著的進展。以往的領域適應研究主要基于兩種技術:領域對抗學習和自我訓練。然而,領域對抗性學習只會調整領域之間的特征分布,而不考慮目標特征是否具有區分性。另一方面,自訓練利用模型預測來增強目標特征的識別,但無法明確地指定領域分布。為了將這兩種方法的優點結合起來,我們提出了一種新的領域自適應的通用學習損失(ALDA)方法,首先分析了一種典型的自訓練方法偽標簽方法。然而,偽標簽和地面真實性之間存在差距,這可能導致錯誤的訓練。因此,我們引入了混淆矩陣,通過對抗性的方式在ALDA中學習,以減少gap并對齊特征分布。最后,從學習的混淆矩陣中自動構造一個新的損失函數,作為未標記目標樣本的損失。在四標準域自適應數據集中,OurALDA優于最新方法。
作者簡介: Haifeng Liu,博士,浙江大學計算機學院副教授。個人主頁://person.zju.edu.cn/en/hfliu