弱監督目標檢測(WSOD)已經成為一種僅使用圖像級別的類別標簽訓練目標檢測器的有效工具。然而,由于沒有目標級標簽,WSOD檢測器容易檢測出顯著物體、聚雜物體和判別性物體部分上的標注框。此外,圖像級別的類別標簽不會強制對同一圖像的不同變換進行一致的目標檢測。針對上述問題,我們提出了一種針對WSOD的綜合注意力自蒸餾(CASD)訓練方法。為了平衡各目標實例之間的特征學習,CASD計算同一圖像的多個變換和特征層聚合的綜合注意力。為了加強對目標的一致空間監督,CASD對WSOD網絡進行自蒸餾,通過對同一幅圖像的多個變換和特征層同時逼近全面注意力。CASD在標準數據集上如PASCAL VOC 2007/2012和MS-COCO產生了最好的結果。
視頻實例分割是一項復雜的任務,我們需要檢測、分割和跟蹤任何給定視頻的每個對象。以往的方法只利用單幀特征來檢測、分割和跟蹤目標,而目標在視頻場景中會因為運動模糊和劇烈的外觀變化等問題而受到影響。為了消除僅使用單幀特征所帶來的模糊性,我們提出了一種新的綜合特征聚合方法(CompFeat),利用時間和空間上下文信息在幀級和對象級對特征進行細化。聚合過程是精心設計的一個新的注意機制,這大大增加了識別能力的學習特征。通過結合特征相似性和空間相似性的暹羅設計,進一步提高了模型的跟蹤能力。在YouTube-VIS數據集上進行的實驗驗證了提出的CompFeat的有效性。我們的代碼將在//github.com/shi-labs/compfeat-forvideo - instance - segmentation提供。
圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能,包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力,但隨著模型的深入,GNN通常會出現嚴重的過擬合和過平滑問題,這限制了模型的可擴展性。在這項工作中,我們提出了一個新的注意力GNN來解決這些挑戰,通過合并三重注意機制,即節點自我注意,鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明,在mini-ImageNet 和Tiered-ImageNet數據集上,通過誘導和直推設置,提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。
從少數樣本中發現稀有物體是一個新出現的問題。先前的研究表明元學習工是一個很有前途的方法。但是,微調技術還沒有引起足夠的重視。我們發現,在小樣本目標檢測任務中,僅對稀有類上現有檢測器的最后一層進行微調是至關重要的。這種簡單的方法比元學習方法在當前基準上的表現高出約2 ~ 20點,有時甚至比以前的方法的準確度還要高出一倍。然而,少數樣本的高方差常常導致現有基準的不可靠性。我們通過對多組訓練樣本進行抽樣,以獲得穩定的比較,并在PASCAL VOC、COCO和LVIS三個數據集的基礎上建立新的基準。同樣,我們的微調方法在修訂基準上建立了一種新的技術狀態。代碼和預訓練的模型可以在//github.com/ucbdrive/few-shot-object-detection找到。
題目: Instance-aware, Context-focused, and Memory-efficient Weakly Supervised Object Detection
摘要:
弱監督學習通過減少訓練過程中對強監督的需求,已經成為一種引人注目的對象檢測工具。然而,主要的挑戰仍然存在:(1)對象實例的區分可能是模糊的;(2)探測器往往聚焦于有區別的部分,而不是整個物體;(3)如果準確性不高,對象建議對于高回憶來說是冗余的,這會導致大量的內存消耗。解決這些挑戰是困難的,因為它經常需要消除不確定性和瑣碎的解決方案。為了解決這些問題,我們開發了一個實例感知和上下文相關的統一框架。它采用了一個實例感知的自訓練算法和一個可學習的具體DropBlock,同時設計了一個內存有效的順序批處理反向傳播。我們提出的方法在COCO(12.1%的AP, 24.8%的AP50)、VOC 2007(54.9%的AP)和VOC 2012(52.1%的AP)上取得了最先進的結果,極大地改善了基線。此外,該方法是第一個對基于ResNet的模型和弱監督視頻對象檢測進行基準測試的方法。
題目: Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation
摘要: 圖像級弱監督語義分割是近年來深入研究的一個具有挑戰性的問題。大多數高級解決方案都利用類激活映射(CAM)。然而,由于監督的充分性和弱監督的差距,CAMs很難作為目標掩模。在這篇論文中,我們提出了一個自我監督的等變注意機制(SEAM)來發現額外的監督并縮小差距。我們的方法是基于等方差是完全監督語義分割的一個隱含約束,其像素級標簽在數據擴充過程中與輸入圖像進行相同的空間變換。然而,這種約束在圖像級監控訓練的凸輪上丟失了。因此,我們提出了對不同變換圖像的預測凸輪進行一致性正則化,為網絡學習提供自監督。此外,我們提出了一個像素相關模塊(PCM),它利用上下文外觀信息,并改進當前像素的預測由其相似的鄰居,從而進一步提高CAMs的一致性。在PASCAL VOC 2012數據集上進行的大量實驗表明,我們的方法在同等監督水平下表現優于最先進的方法。
主題: Weakly-Supervised Salient Object Detection via Scribble Annotations
摘要: 與費力的逐像素密集標記相比,這種方法更容易通過涂抹來標記數據,僅花費1-2秒即可標記一張圖像。然而,尚未有人探索使用可劃線標簽來學習顯著物體檢測。在本文中,我們提出了一種弱監督的顯著物體檢測模型,以從此類注釋中學習顯著性。為此,我們首先使用亂碼對現有的大型顯著物體檢測數據集進行重新標記,即S-DUTS數據集。由于對象的結構和詳細信息不能通過亂寫識別,因此直接訓練帶有亂寫的標簽將導致邊界位置局限性的顯著性圖。為了緩解這個問題,我們提出了一個輔助的邊緣檢測任務來明確地定位對象邊緣,并提出了門控結構感知損失以將約束置于要恢復的結構范圍上。此外,我們設計了一種涂鴉增強方案來迭代地整合我們的涂鴉注釋,然后將其作為監督來學習高質量的顯著性圖。我們提出了一種新的度量標準,稱為顯著性結構測量,用于測量預測顯著性圖的結構對齊方式,這與人類的感知更加一致。在六個基準數據集上進行的大量實驗表明,我們的方法不僅優于現有的弱監督/無監督方法,而且與幾種完全監督的最新模型相提并論。
題目: Context-Transformer: Tackling Object Confusion for Few-Shot Detection
摘要:
小樣本目標檢測是一個具有挑戰性但又很現實的場景,只有少數帶注釋的訓練圖像可用于訓練檢測器。處理這個問題的一個流行的方法是遷移學習,對在源域基準上預先訓練的檢測器進行微調。然而,由于訓練樣本的數據多樣性較低,這種轉移的檢測器往往不能識別目標域中的新對象。為了解決這一問題,我們提出了一個新穎的上下文轉換器:一個簡潔的深層傳輸框架。具體來說,Context-Transformer可以有效地利用源域對象知識作為指導,并自動地從目標域中的少量訓練圖像中挖掘上下文。然后,自適應地整合這些相關線索,增強檢測器的識別能力,以減少在小樣本場景下的目標混淆。此外,上下文轉換器靈活地嵌入到流行的ssd風格的檢測器中,這使得它成為端到端小樣本學習的即插即用模塊。最后,我們評估了上下文轉換器對小樣本檢測和增量小樣本檢測的挑戰性設置。實驗結果表明,我們的框架比目前最先進的方法有更好的性能。
【導讀】最近小編推出CVPR2019圖卷積網絡相關論文、CVPR2019生成對抗網絡相關視覺論文、【可解釋性】相關論文和代碼,CVPR視覺目標跟蹤相關論文,CVPR視覺問答相關論文,反響熱烈。最近,醫學圖像分割這一新分割應用領域也廣泛受關注,出現了好多新方法、新數據集,今天小編專門整理最新七篇醫學圖像分割相關應用論文—對抗攻擊、跨模態域自適應、遷移學習、one-shot、GAN等。
1、Non-Local Context Encoder: Robust Biomedical Image Segmentation against Adversarial Attacks(非局部上下文編碼器: 針對對抗攻擊的魯棒生物醫學圖像分割)
AAAI ’19 Oral
作者:Xiang He, Sibei Yang, Guanbin Li?, Haofeng Li, Huiyou Chang, Yizhou Yu
摘要:基于深度卷積神經網絡(CNNs)的生物醫學圖像分割技術近年來受到廣泛關注。然而,它對對抗性樣本的脆弱性不容忽視。本文首次發現所有基于CNN的先進生物醫學圖像分割模型都對對抗擾動敏感。這限制了這些方法在安全關鍵的生物醫學領域的應用。在本文中,我們發現生物醫學圖像中的全局空間依賴關系和全局上下文信息可以被用來抵御對抗攻擊。為此,提出了一種基于非局部上下文編碼(NLCE)的短時和長時程空間依賴關系建模方法,并對全局上下文進行編碼,通過信道感知增強特征激活。NLCE模塊增強了非局部上下文編碼網絡(NLCEN)的魯棒性和準確性,NLCEN利用NLCE模塊學習魯棒性增強的金字塔特征表示,并將不同層次的信息集成在一起。在肺和皮膚病變分割數據集上的實驗表明,NLCEN在抵抗對抗攻擊方面優于任何其他先進的生物醫學圖像分割方法。此外,NLCE模塊可用于提高其他基于CNN的生物醫學圖像分割方法的魯棒性。
網址:
2、Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation(協同圖像與特征自適應: 面向醫學圖像分割的跨模態域自適應)
AAAI ’19 Oral
作者:Cheng Chen, Qi Dou, Hao Chen, Jing Qin, Pheng-Ann Heng
摘要:本文提出了一種新的無監督域自適應框架——協同圖像與特征自適應(SIFA),有效地解決了domain shift問題。域自適應是近年來深度學習研究的一個重要和熱點問題,其目的是解決神經網絡應用于新的測試領域時性能下降的問題。我們提出的SIFA是一個優雅的學習圖,它從圖像和特征兩個角度展示了適應性的協同融合。特別是,我們同時跨域轉換圖像的外觀并且增強所提取的特征的域不變性來進行分割任務。在端到端學習過程中,特征編碼器層由兩個透視圖共享,以掌握它們的共同特征。在不使用目標域的任何標注的情況下,我們的統一模型的學習是以對抗性損失為指導,從各個方面使用多個判別器。我們已經通過對心臟結構的跨模態醫學圖像分割這一具有挑戰性的應用廣泛地驗證了我們的方法。實驗結果表明,我們的SIFA模型能夠將性能下降幅度從17.2%恢復到73.0%,并顯著優于現有的最先進方法。
網址:
代碼鏈接:
3、Data augmentation using learned transformations for one-shot medical image segmentation(利用學習變換進行數據增強,實現one-shot醫學圖像分割)
CVPR ’19
作者:Amy Zhao, Guha Balakrishnan, Frédo Durand, John V. Guttag, Adrian V. Dalca
摘要:圖像分割是醫學應用中的一個重要課題。基于卷積神經網絡的方法獲得了最先進的精度;然而,它們通常依賴于帶有大型標記數據集的監督訓練。醫學圖像的標注需要大量的專業知識和時間,而典型的手工調優的數據增強方法無法捕捉這些圖像中的復雜變化。我們提出了一種自動數據增強方法來合成標記醫學圖像。我們在分割磁共振成像(MRI)腦掃描的任務中展示了我們的方法。我們的方法只需要一次分段掃描,并利用半監督方法中的其他未標記掃描。我們從圖像中學習轉換模型,并使用該模型和帶標記的示例來合成其他帶標記的示例。每個轉換都由空間變形場和強度變化組成,從而能夠綜合復雜的效果,如解剖學和圖像采集過程的變化。我們展示了使用這些新示例訓練有監督的分割器,對于one-shot生物醫學圖像分割的最先進方法有著顯著的改進。我們的代碼可以在
網址:
代碼鏈接:
4、Autofocus Layer for Semantic Segmentation(用于語義分割的自動聚焦層)
作者:Yao Qin, Konstantinos Kamnitsas, Siddharth Ancha, Jay Nanavati, Garrison Cottrell, Antonio Criminisi, Aditya Nori
摘要:為了提高神經網絡的多尺度處理能力,提出了一種自聚焦卷積層用于語義分割。自動聚焦層根據處理過的上下文自適應地改變有效接受域的大小,以生成更強大的特征。這是通過將具有不同膨脹率的多個卷積層并行化來實現的,并結合一種注意力機制,該機制學會將注意力集中在由上下文驅動的最優尺度上。通過共享并行卷積的權值,我們使網絡的規模不變,只增加了少量的參數。提出的自動聚焦層可以很容易地集成到現有網絡中,提高模型的表示能力。我們在骨盆CT多器官分割和MRI腦腫瘤分割的挑戰性任務中評估了我們的模型,并取得了非常有前景的性能。
網址:
5、Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning(利用生成式對抗學習進行Few-shot三維多模態醫學圖像分割)
作者:Arnab Kumar Mondal, Jose Dolz, Christian Desrosiers
摘要:我們解決了在極少數標記示例可供訓練的情況下分割三維多模態醫學圖像的問題。利用最近成功的對抗學習進行半監督分割,我們提出了一種基于生成對抗網絡(GAN)的新方法來訓練具有標記和未標記圖像的分割模型。該方法通過學習識別生成網絡中獲得的真假patch,來防止過擬合。我們的工作擴展了目前的專注于二維單模態圖像對抗性學習方法到更具挑戰性的三維體多模態。針對iSEG-2017和MRBrainS 2013數據集的腦MRI分割問題,對該方法進行了評估。與在完全監督下訓練的最先進的分割網絡相比,性能有了顯著的提高。此外,我們的工作提供了對半監督分割的不同GAN架構的綜合分析,顯示了最近的技術,如特征匹配,以產生比傳統對抗訓練方法更高的性能。我們的代碼可以通過
網址:
代碼鏈接:
6、nnU-Net: Breaking the Spell on Successful Medical Image Segmentation(nnU-Net)
作者:Fabian Isensee, Jens Petersen, Simon A. A. Kohl, Paul F. J?ger, Klaus H. Maier-Hein
摘要:由于數據集的多樣性,語義分割是醫學圖像分析中的一個熱門子領域,每年都有大量的新方法被提出。然而,這個不斷增長的系列方法變得越來越難以理解。同時,許多提出的方法不能推廣到實驗之外,從而阻礙了在新數據集上開發分割算法的過程。這里我們介紹nnU-Net(“no-new-Net”),這個框架可以自適應任何給定的新數據集。雖然到目前為止這個過程完全由人為驅動,但我們首先嘗試根據給定數據集的屬性自動執行必要的調整,例如預處理,精確的patch大小,batch大小和推理設置。值得注意的是,nnU-Net去掉了通常在文獻中提出的架構上的附加功能,只依賴于嵌入在健壯的訓練方案中的簡單U-Net架構。開箱即用,nnU-Net在六個完善的細分挑戰中實現了最先進的性能。源代碼可從
網址:
代碼鏈接:
7、PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network with a Benchmark at Cross-modality Cardiac Segmentation(PnP-AdaNet:即插即用的對抗性域自適應網絡,用于跨模態心臟分割的基準)
作者:Qi Dou, Cheng Ouyang, Cheng Chen, Hao Chen, Ben Glocker, Xiahai Zhuang, Pheng-Ann Heng
摘要:深卷積網絡在各種醫學圖像計算任務中表現出了最先進的性能。利用來自不同模式的圖像進行相同的分析任務具有臨床益處。然而,深度模型對不同分布的測試數據的泛化能力仍然是一個主要的挑戰。在本文中,我們提出了PnPAdaNet(即插即用的對抗域自適應網絡)來適應不同醫學圖像模式(如MRI和CT)之間的分割網絡。我們建議以一種無監督的方式對齊源域和目標域的特征空間,從而解決重要的domain shift問題。具體地,域自適應模塊靈活地替換源網絡的早期編碼器層,并且在域之間共享更高層。通過對抗性學習,我們構建了兩個判別器,其輸入分別是多級特征和預測分割掩碼。我們在非配對MRI和CT中的心臟結構分割任務驗證了我們的域自適應方法。綜合消融研究的實驗結果證明了我們提出的PnP-AdaNet的優異功效。此外,我們為心臟數據集引入了一個新的基準,用于無監督跨模態域自適應的任務。我們將公開我們的代碼和數據集,旨在促進醫學成像這一具有挑戰性但重要的研究課題的未來研究。
網址:
代碼鏈接:
下載鏈接: 提取碼:kljf