為了解圖像分割領域的研究現狀,對圖像分割方法進行了系統性梳理,首先按照基于閾值、邊緣、區域、聚類、圖論及特定理論等6類方法介紹傳統圖像分割方法;然后介紹基于深度學習的分割方法,并探討了幾種常用的分割網絡模型,包括全卷積網絡(full convolutional network,FCN)、金字塔場景解析網絡(pyramid scene parsing network,PSPNet)、DeepLab、Mask R-CNN;最后在圖像分割的常用數據集上對同類方法進行了性能比較和分析。
在計算機視覺領域中,語義分割是場景解析和行為識別的關鍵任務,基于深度卷積神經網絡的圖像語義分割方法已經取得突破性進展。語義分割的任務是對圖像中的每一個像素分配所屬的類別標簽,屬于像素級的圖像理解。目標檢測僅定位目標的邊界框,而語義分割需要分割出圖像中的目標。本文首先分析和描述了語義分割領域存在的困難和挑戰,介紹了語義分割算法性能評價的常用數據集和客觀評測指標。然后,歸納和總結了現階段主流的基于深度卷積神經網絡的圖像語義分割方法的國內外研究現狀,依據網絡訓練是否需要像素級的標注圖像,將現有方法分為基于監督學習的語義分割和基于弱監督學習的語義分割兩類,詳細闡述并分析這兩類方法各自的優勢和不足。本文在PASCAL VOC(pattern analysis, statistical modelling and computational learning visual object classes)2012數據集上比較了部分監督學習和弱監督學習的語義分割模型,并給出了監督學習模型和弱監督學習模型中的最優方法,以及對應的MIoU(mean intersection-over-union)。最后,指出了圖像語義分割領域未來可能的熱點方向。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20200601&flag=1
數據融合是最大程度發揮大數據價值的關鍵,深度學習是挖掘數據深層特征信息的技術利器,基于深度學習的數據融合能夠充分挖掘大數據潛在價值,從新的深度和廣度拓展對世界的探索和認識。本文綜述了近幾年基于深度學習的數據融合方法的相關文獻,以此了解深度學習在數據融合中應用所具有的優勢。首先,分類闡述常見的數據融合方法,同時指出這些方法的優點和不足;接著,從基于深度學習特征提取的數據融合方法、基于深度學習融合的數據融合方法、基于深度學習全過程的數據融合方法三個方面對基于深度學習的數據融合方法進行分析,并做了對比研究與總結;最后,總結全文,討論了深度學習在數據融合中應用的難點和未來需要進一步研究的問題。
摘要:小目標檢測是針對圖像中像素占比少的目標,借助計算機視覺在圖像中找到并判斷該目標所屬類別的目標檢測技術。與目前應用較為成熟的大尺度、中尺度目標檢測不同,小目標自身存在著語義信息少、覆蓋面積小等先天不足,導致小目標的檢測效果并不理想,因此如何提高小目標的檢測效果依然是計算機視覺領域的一大難題。對近年來國內外小目標檢測領域研究成果進行了梳理,以小目標檢測技術為核心,首先對關于小目標的定義、檢測難點進行分析;隨后將能有效提高小目標檢測精度的方法進行分類匯總,并介紹了各種方法的應用與優缺點;最后對未來小目標檢測領域發展趨勢進行了預測與展望。
目標檢測的任務是從圖像中精確且高效地識別、定位出大量預定義類別的物體實例。隨著深度學習的廣泛應用,目標檢測的精確度和效率都得到了較大提升,但基于深度學習的目標檢測仍面臨改進與優化主流目標檢測算法的性能、提高小目標物體檢測精度、實現多類別物體檢測、輕量化檢測模型等關鍵技術的挑戰。針對上述挑戰,本文在廣泛文獻調研的基礎上,從雙階段、單階段目標檢測算法的改進與結合的角度分析了改進與優化主流目標檢測算法的方法,從骨干網絡、增加視覺感受野、特征融合、級聯卷積神經網絡和模型的訓練方式的角度分析了提升小目標檢測精度的方法,從訓練方式和網絡結構的角度分析了用于多類別物體檢測的方法,從網絡結構的角度分析了用于輕量化檢測模型的方法。此外,對目標檢測的通用數據集進行了詳細介紹,從4個方面對該領域代表性算法的性能表現進行了對比分析,對目標檢測中待解決的問題與未來研究方向做出預測和展望。目標檢測研究是計算機視覺和模式識別中備受青睞的熱點,仍然有更多高精度和高效的算法相繼提出,未來將朝著更多的研究方向發展。
目標檢測作為機器視覺中重要任務之一,是人工智能體系中一個具有重要研究價值的技術分支。對于卷積神經網絡框架、anchor-based模型和anchor-free模型三個主流的目標檢測模型進行梳理。首先,綜述了主流卷積神經網絡框架的網絡結構、優缺點以及相關的改進方法;其次從one-stage和two-stage兩個分支對anchor-based類模型進行深入分析,總結了不同目標檢測方法的研究進展;從早期探索、關鍵點和密集預測三部分分析anchor-free類模型。最后對該領域的未來發展趨勢進行了思考與展望。
簡介: 目標檢測作為機器視覺中重要任務之一,是人工智能體系中一個具有重要研究價值的技術分支. 對于卷積神經網絡框架、 anchor-based模型和anchor-free模型三個主流的目標檢測模型進行梳理. 首先,綜述了主流卷積神 經網絡框架的網絡結構、優缺點以及相關的改進方法;其次從one-stage和two-stage兩個分支對anchor-based類模型進行深入分析, 總結了不同目標檢測方法的研究進展; 從早期探索、關鍵點和密集預測三部分分析anchor-free類模型. 最后對該領域的未來發展趨勢進行了思考與展望.
【導讀】圖像分割(Image Segmentation)是計算機視覺的經典問題之一,受到了廣泛關注,每年在各大會議上都有大量的相關文章發表。在前深度學習時代有大量的方法提出,比如分水嶺、GraphCut等。隨著深度學習的興起,大量的算法提出如R-CNN、Mask-RCNN等。最近來自紐約大學、滑鐵盧大學、UCLA等學者發布了深度學習圖像分割最新綜述論文,涵蓋20頁pdf168篇參考文獻,調研了截止2019年提出的100多種分割算法,共分為10類方法。對近幾年深度學習圖像分割進行了全面綜述,對現有的深度學習圖像分割研究進行梳理使其系統化,并提出6方面挑戰,幫助讀者更好地了解當前的研究現狀和思路。可作為相關領域從業者的必備參考文獻。
題目:Image Segmentation Using Deep Learning: A Survey
作者:Shervin Minaee, Yuri Boykov, Fatih Porikli, Antonio Plaza, Nasser Kehtarnavaz, and Demetri Terzopoulos
摘要
圖像分割是圖像處理和計算機視覺領域的一個重要課題,其應用領域包括場景理解、醫學圖像分析、機器人感知、視頻監控、增強現實和圖像壓縮等。研究者們提出了各種圖像分割算法。最近,由于深度學習模型在廣泛的視覺應用中取得了成功,已經有大量的工作致力于開發使用深度學習模型的圖像分割方法。在本次綜述中,我們全面回顧了撰寫本文時的論文,涵蓋了語義級和實例級分割的廣泛先驅工作,包括全卷積像素標記網絡、編碼器-解碼器架構、基于多尺度和金字塔的方法、遞歸網絡、視覺注意力模型和在對抗環境下的生成模型。我們調研了這些深度學習模型的相似性、優勢和挑戰,研究了最廣泛使用的數據集,報告了性能,并討論了該領域未來的研究方向。
1. 引言
圖像分割是許多視覺理解系統的重要組成部分。它涉及到將圖像(或視頻幀)分割成多個段或對象[1]。分割在[2]的廣泛應用中起著核心作用,包括醫學圖像分析(如腫瘤邊界提取和組織體積測量),自動駕駛車輛(如可導航的表面和行人檢測),視頻監控,增強現實等。從最早的閾值化[3]、基于直方圖的分組、區域生長[4]、k-means聚類[5]、分水嶺[6]等算法,到更先進的主動輪廓[7]、圖割[8]、條件和馬爾科夫隨機域[9]、稀疏[10]-[11]等算法,文獻中已經出現了許多圖像分割算法。然而,在過去的幾年里,深度學習(DL)網絡已經產生了新一代的圖像分割模型,其性能有了顯著的提高——通常在流行的基準測試中獲得了最高的準確率——致使許多人認為的該領域的范式轉變。例如,圖1展示了一個著名的深度學習模型DeepLabv3[12]的樣本圖像分割輸出。
圖像分割可以表示為帶有語義標簽的像素分類問題(語義分割)或單個對象的分割問題(實例分割)。語義分割是對所有圖像像素進行一組對象類別(如人、車、樹、天空)的像素級標記,因此通常比圖像分類更難,因為后者預測整個圖像的單個標簽。實例分割進一步擴展了語義分割的范圍,通過檢測和描繪圖像中每個感興趣的對象(例如,對個人的分割)。
我們的調研涵蓋了圖像分割的最新文獻,并討論了到2019年提出的一百多種基于深度學習的分割方法。我們對這些方法的不同方面提供了全面的回顧和見解,包括培訓數據、網絡架構的選擇、損失功能、培訓策略以及它們的關鍵貢獻。我們對所述方法的性能進行了比較總結,并討論了基于深度學習的圖像分割模型的幾個挑戰和未來可能的方向。
我們將基于深度學習的工作根據其主要技術貢獻分為以下幾類:
本綜述論文的一些主要貢獻可以總結如下:
本次綜述涵蓋了與分割問題相關的現有文獻,并綜述了截止2019年提出的100多種分割算法,共分為10類。
我們提供了一個全面的調研和使用深度學習的分割算法的不同方面的深度分析,包括訓練數據,網絡架構的選擇,損失函數,訓練策略,以及他們的關鍵貢獻。
我們提供了一個概述約20個流行的圖像分割數據集,分為2D, 2.5D (RGB-D),和3D圖像。
我們提供了一個比較總結的性質和性能的審查方法的分割目的,在流行的基準上進行。
我們為基于深度學習的圖像分割提出了一些挑戰和潛在的未來方向。
該調研的其余部分組織如下: 第2節提供了流行的深度神經網絡架構的概述,作為許多現代分割算法的主干。第3節全面概述了最重要的、最先進的、基于深度學習的細分模型,截至2019年已有100多個。我們也討論了他們的長處和貢獻超過以往的工作在這里。第四部分回顧了一些最流行的圖像分割數據集及其特點。第5.1節回顧了評價基于深度學習的細分模型的流行指標。在5.2節中,我們報告了這些模型的定量結果和實驗性能。在第6節中,我們將討論基于深度學習的分割方法的主要挑戰和未來的發展方向。最后,我們在第7節中提出我們的結論。
題目: Understanding Deep Learning Techniques for Image Segmentation
簡介: 機器學習已被大量基于深度學習的方法所淹沒。各種類型的深度神經網絡(例如卷積神經網絡,遞歸網絡,對抗網絡,自動編碼器等)有效地解決了許多具有挑戰性的計算機視覺任務,例如在不受限制的環境中對對象進行檢測,定位,識別和分割。盡管有很多關于對象檢測或識別領域的分析研究,但相對于圖像分割技術,出現了許多新的深度學習技術。本文從分析的角度探討了圖像分割的各種深度學習技術。這項工作的主要目的是提供對圖像分割領域做出重大貢獻的主要技術的直觀理解。從一些傳統的圖像分割方法開始,本文進一步描述了深度學習對圖像分割域的影響。此后,大多數主要的分割算法已按照專用于其獨特貢獻的段落進行了邏輯分類。