題目: Image Segmentation Using Deep Learning: A Survey
摘要:
圖像分割是圖像處理和計算機視覺領域的一個重要課題,其應用領域包括場景理解、醫學圖像分析、機器人感知、視頻監控、增強現實和圖像壓縮等。文獻中已經發展了各種圖像分割算法。最近,由于深度學習模型在廣泛的視覺應用中取得了成功,已經有大量的工作致力于開發使用深度學習模型的圖像分割方法。在本次調查中,我們對撰寫本文時的文獻進行了全面的回顧,涵蓋了語義和實例級分割的廣泛的開創性著作,包括全卷積像素標記網絡,編碼器-解碼器架構,多尺度和基于金字塔的方法,遞歸網絡,視覺注意力模型,以及在對抗性環境下的生成模型。我們調查了這些深度學習模型的相似性、優勢和挑戰,研究了最廣泛使用的數據集,報告了性能,并討論了該領域未來的研究方向。
智能視頻監控(IVS)是當前計算機視覺和機器學習領域的一個活躍研究領域,為監控操作員和取證視頻調查者提供了有用的工具。人的再識別(PReID)是IVS中最關鍵的問題之一,它包括識別一個人是否已經通過網絡中的攝像機被觀察到。PReID的解決方案有無數的應用,包括檢索顯示感興趣的個體的視頻序列,甚至在多個攝像機視圖上進行行人跟蹤。文獻中已經提出了不同的技術來提高PReID的性能,最近研究人員利用了深度神經網絡(DNNs),因為它在類似的視覺問題上具有令人信服的性能,而且在測試時執行速度也很快。鑒于再識別解決方案的重要性和廣泛的應用范圍,我們的目標是討論在該領域開展的工作,并提出一項最先進的DNN模型用于這項任務的調查。我們提供了每個模型的描述以及它們在一組基準數據集上的評估。最后,我們對這些模型進行了詳細的比較,并討論了它們的局限性,為今后的研究提供了指導。
題目: Natural Language Processing Advancements By Deep Learning: A Survey
摘要: 自然語言處理(NLP)幫助智能機器更好地理解人類語言,實現基于語言的人機交流。算力的最新發展和語言大數據的出現,增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域的應用取得了顯著的進步,數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用,并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。
題目: Research on Progress of Image Semantic Segmentation Based on Deep Learning
摘要:
自FCN網絡在2014年提出后,SegNet、DeepLab等一系列關于圖像語義分割的深度學習架構被相繼提出。與傳統方法相比,這些架構效果更好、運算速度更快,已經能夠運用于自然圖像的分割處理。圍繞圖像語義分割技術,對常用的數據集和典型網絡架構進行了梳理分析,對2017年以來的新進展進行了綜合研究,利用主流評價指標對主要模型的語義分割效果進行了比較和分析。對語義分割技術面臨的挑戰以及可能的發展趨勢進行了展望。
【導讀】圖像分割(Image Segmentation)是計算機視覺的經典問題之一,受到了廣泛關注,每年在各大會議上都有大量的相關文章發表。在前深度學習時代有大量的方法提出,比如分水嶺、GraphCut等。隨著深度學習的興起,大量的算法提出如R-CNN、Mask-RCNN等。最近來自紐約大學、滑鐵盧大學、UCLA等學者發布了深度學習圖像分割最新綜述論文,涵蓋20頁pdf168篇參考文獻,調研了截止2019年提出的100多種分割算法,共分為10類方法。對近幾年深度學習圖像分割進行了全面綜述,對現有的深度學習圖像分割研究進行梳理使其系統化,并提出6方面挑戰,幫助讀者更好地了解當前的研究現狀和思路。可作為相關領域從業者的必備參考文獻。
題目:Image Segmentation Using Deep Learning: A Survey
作者:Shervin Minaee, Yuri Boykov, Fatih Porikli, Antonio Plaza, Nasser Kehtarnavaz, and Demetri Terzopoulos
摘要
圖像分割是圖像處理和計算機視覺領域的一個重要課題,其應用領域包括場景理解、醫學圖像分析、機器人感知、視頻監控、增強現實和圖像壓縮等。研究者們提出了各種圖像分割算法。最近,由于深度學習模型在廣泛的視覺應用中取得了成功,已經有大量的工作致力于開發使用深度學習模型的圖像分割方法。在本次綜述中,我們全面回顧了撰寫本文時的論文,涵蓋了語義級和實例級分割的廣泛先驅工作,包括全卷積像素標記網絡、編碼器-解碼器架構、基于多尺度和金字塔的方法、遞歸網絡、視覺注意力模型和在對抗環境下的生成模型。我們調研了這些深度學習模型的相似性、優勢和挑戰,研究了最廣泛使用的數據集,報告了性能,并討論了該領域未來的研究方向。
1. 引言
圖像分割是許多視覺理解系統的重要組成部分。它涉及到將圖像(或視頻幀)分割成多個段或對象[1]。分割在[2]的廣泛應用中起著核心作用,包括醫學圖像分析(如腫瘤邊界提取和組織體積測量),自動駕駛車輛(如可導航的表面和行人檢測),視頻監控,增強現實等。從最早的閾值化[3]、基于直方圖的分組、區域生長[4]、k-means聚類[5]、分水嶺[6]等算法,到更先進的主動輪廓[7]、圖割[8]、條件和馬爾科夫隨機域[9]、稀疏[10]-[11]等算法,文獻中已經出現了許多圖像分割算法。然而,在過去的幾年里,深度學習(DL)網絡已經產生了新一代的圖像分割模型,其性能有了顯著的提高——通常在流行的基準測試中獲得了最高的準確率——致使許多人認為的該領域的范式轉變。例如,圖1展示了一個著名的深度學習模型DeepLabv3[12]的樣本圖像分割輸出。
圖像分割可以表示為帶有語義標簽的像素分類問題(語義分割)或單個對象的分割問題(實例分割)。語義分割是對所有圖像像素進行一組對象類別(如人、車、樹、天空)的像素級標記,因此通常比圖像分類更難,因為后者預測整個圖像的單個標簽。實例分割進一步擴展了語義分割的范圍,通過檢測和描繪圖像中每個感興趣的對象(例如,對個人的分割)。
我們的調研涵蓋了圖像分割的最新文獻,并討論了到2019年提出的一百多種基于深度學習的分割方法。我們對這些方法的不同方面提供了全面的回顧和見解,包括培訓數據、網絡架構的選擇、損失功能、培訓策略以及它們的關鍵貢獻。我們對所述方法的性能進行了比較總結,并討論了基于深度學習的圖像分割模型的幾個挑戰和未來可能的方向。
我們將基于深度學習的工作根據其主要技術貢獻分為以下幾類:
本綜述論文的一些主要貢獻可以總結如下:
本次綜述涵蓋了與分割問題相關的現有文獻,并綜述了截止2019年提出的100多種分割算法,共分為10類。
我們提供了一個全面的調研和使用深度學習的分割算法的不同方面的深度分析,包括訓練數據,網絡架構的選擇,損失函數,訓練策略,以及他們的關鍵貢獻。
我們提供了一個概述約20個流行的圖像分割數據集,分為2D, 2.5D (RGB-D),和3D圖像。
我們提供了一個比較總結的性質和性能的審查方法的分割目的,在流行的基準上進行。
我們為基于深度學習的圖像分割提出了一些挑戰和潛在的未來方向。
該調研的其余部分組織如下: 第2節提供了流行的深度神經網絡架構的概述,作為許多現代分割算法的主干。第3節全面概述了最重要的、最先進的、基于深度學習的細分模型,截至2019年已有100多個。我們也討論了他們的長處和貢獻超過以往的工作在這里。第四部分回顧了一些最流行的圖像分割數據集及其特點。第5.1節回顧了評價基于深度學習的細分模型的流行指標。在5.2節中,我們報告了這些模型的定量結果和實驗性能。在第6節中,我們將討論基于深度學習的分割方法的主要挑戰和未來的發展方向。最后,我們在第7節中提出我們的結論。
Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.
論文主題: Deep Learning for Image Super-resolution: A Survey
論文摘要: 圖像超分辨率(SR)是提高圖像分辨率的一類重要的圖像處理技術以及計算機視覺中的視頻。近年來,基于深度學習的圖像超分辨率研究取得了顯著進展技術。在這項調查中,我們旨在介紹利用深度學習的圖像超分辨率技術的最新進展系統的方法。一般來說,我們可以粗略地將現有的SR技術研究分為三大類:監督SR、非監督SR和領域特定SR。此外,我們還討論了一些其他重要問題,如公開可用的基準數據集和性能評估指標。最后,我們通過強調幾個未來來結束這項調查未來社區應進一步解決的方向和公開問題.
論文主題: Recent Advances in Deep Learning for Object Detection
論文摘要: 機器學習社區已經被大量基于深度學習的方法所淹沒。卷積神經網絡、遞歸神經網絡、對抗神經網絡、自編碼等多種深部神經網絡正有效地解決無約束環境下目標的檢測、定位、識別和分割等具有挑戰性的計算機視覺任務。而關于目標檢測的分析研究已經有很多了或識別領域,許多新的深度學習技術已經浮出水面關于圖像分割技術。本文探討這些不同的圖像分割深度學習技術分析視角。這項工作的主要目標是提供一個對重要技術的直觀理解對圖像分割領域的貢獻。從一些在傳統的圖像分割方法的基礎上,本文對圖像分割技術進行了研究刻劃深度學習對圖像分割領域的影響。此后,大多數主要的分割算法已按照專用于其獨特貢獻的段落進行了邏輯分類。借助大量直觀的說明,可以期望讀者具有更好的可視化這些內部動態的能力流程。
論文主題: Machine Learning Techniques for Biomedical Image Segmentation: An Overview of Technical Aspects and Introduction to State‐of‐Art Applications
論文摘要: 近年來,在開發更精確、更有效的醫學圖像和自然圖像分割的機器學習算法方面取得了重大進展。在這篇綜述文章中,我們強調了機器學習算法在醫學影像領域實現高效準確分割的重要作用。我們特別關注與機器學習方法在生物醫學圖像分割中的應用相關的幾個關鍵研究。我們回顧了經典的機器學習算法,如馬爾可夫隨機場、k-均值聚類、隨機森林等。盡管與深度學習技術相比,此類經典學習模型往往不太準確,但它們往往更具樣本效率,結構也不太復雜。我們還回顧了不同的深度學習結構,如人工神經網絡(ANNs)、卷積神經網絡(CNNs)和遞歸神經網絡(RNNs),并給出了這些學習模型在過去三年中取得的分割結果。我們強調了每種機器學習范式的成功和局限性。此外,我們還討論了與不同機器學習模型訓練相關的幾個挑戰,并提出了一些啟發式方法來解決這些挑戰。
摘要:深度學習是近年來應用最廣泛的心臟圖像分割方法。在這篇文章中,我們回顧了超過100篇使用深度學習的心臟圖像分割論文,這些論文涵蓋了常見的成像方式,包括磁共振成像(MRI)、計算機斷層掃描(CT)和超聲(US)以及感興趣的主要解剖結構(心室、心房和血管)。此外,公開可用的心臟圖像數據集和代碼庫的摘要也包括在內,為鼓勵重復性研究提供了基礎。最后,我們討論了當前基于深度學習的方法的挑戰和局限性(缺乏標簽、不同領域的模型可泛化性、可解釋性),并提出了未來研究的潛在方向。
題目: Understanding Deep Learning Techniques for Image Segmentation
簡介: 機器學習已被大量基于深度學習的方法所淹沒。各種類型的深度神經網絡(例如卷積神經網絡,遞歸網絡,對抗網絡,自動編碼器等)有效地解決了許多具有挑戰性的計算機視覺任務,例如在不受限制的環境中對對象進行檢測,定位,識別和分割。盡管有很多關于對象檢測或識別領域的分析研究,但相對于圖像分割技術,出現了許多新的深度學習技術。本文從分析的角度探討了圖像分割的各種深度學習技術。這項工作的主要目的是提供對圖像分割領域做出重大貢獻的主要技術的直觀理解。從一些傳統的圖像分割方法開始,本文進一步描述了深度學習對圖像分割域的影響。此后,大多數主要的分割算法已按照專用于其獨特貢獻的段落進行了邏輯分類。