近年來，深度傳感器和三維激光掃描儀的普及推動了三維點云處理方法的快速發展。點云語義分割作為理解三維場景的關鍵步驟，受到了研究者的廣泛關注。隨著深度學習的迅速發展并廣泛應用到三維語義分割領域，點云語義分割效果得到了顯著提升。主要對基于深度學習的點云語義分割方法和研究現狀進行了詳細的綜述。將基于深度學習的點云語義分割方法分為間接語義分割方法和直接語義分割方法，根據各方法的研究內容進一步細分，對每類方法中代表性算法進行分析介紹，總結每類方法的基本思想和優缺點，并系統地闡述了深度學習對語義分割領域的貢獻。然后，歸納了當前主流的公共數據集和遙感數據集，并在此基礎上對比主流點云語義分割方法的實驗結果。最后，對語義分割技術未來的發展方向進行了展望。
近年來，隨著計算機視覺、人工智能以及遙感測繪 的發展，SLAM（simultaneous localization and mapping） 技術、Kinect 技術以及激光掃描等技術日漸成熟，點 云的數據量迅速增長，針對描述點云數據空間信息 的高層語義理解也越來越受到關注。語義分割作為 點云數據處理與分析的基礎技術，成為自動駕駛、導 航定位、智慧城市、醫學影像分割等領域的研究熱 點，具有廣泛的應用前景。語義分割是一種典型的 計算機視覺問題，也稱為場景標簽，是指將一些原始 數據（例如：二維（two-dimensional，2D）圖像、三維（threedimensional，3D）點云）作為輸入并通過一系列技術 操作轉換為具有突出顯示的感興趣區域的掩模。
點云語義分割是把點云分為若干個特定的、具 有獨特性質的區域并識別出點云內容的技術。由于 初期三維數據模型庫可用數據量較少以及深度網絡 由二維轉到三維的復雜性，傳統的點云語義分割方 法大多是通過提取三維形狀幾何屬性的空間分布或 者直方圖統計等方法得到手工提取特征，構建相應 的判別模型（例如：支持向量機（support vector machine， SVM）[1]、隨機森林（random forest，RF）[2]、條件隨機場 （conditional random field，CRF）[3]、馬爾可夫隨機場 （Markov random field，MRF）[4]等）實現分割。由于手 工提取的特征主要依靠設計者的先驗知識以及手工 調動參數，限制了大數據的使用。伴隨著大型三維 模型數據的出現和 GPU 計算能力的不斷迭代更新， 深度學習在點云語義分割領域逐漸占據了絕對主導 地位。深度學習模型的核心思想是采用數據驅動的 方式，通過多層非線性運算單元，將低層運算單元的 輸出作為高層運算單元的輸入，從原始數據中提取 由一般到抽象的特征。初期，研究者們借鑒二維圖 像語義分割模型的經驗，對輸入點云形狀進行規范 化，將不規則的點云或者網格數據轉換為常規的 3D 體素網格或者多視圖，將它們提供給深層的網絡體 系結構。然而，丟失幾何結構信息和數據稀疏性等。問題限制了多視圖方法和體素化方法的發展。于 是，研究者開始從三維數據源頭著手，斯坦福大學 Qi 等人[5]提出的 PointNet 網絡模型，直接從點云數據中 提取特征信息，在沒有向體素轉換的情況下，體系結 構保留原始點內的固有信息以預測點級語義。隨 后，直接處理點云的網絡模型方法逐漸發展起來。
目前已有一些綜述性論文[6-9]對基于深度學習的 點云語義分割研究進行了總結和分析。文獻[6]是基 于深度學習和遙感數據背景下進行的分類研究進展 綜述；文獻[7]從遙感和計算機視覺的角度概述了三 維點云數據的獲取和演化，對傳統的和先進的點云 語義分割技術進行了比較和總結；文獻[8]詳細介紹 了一些較為突出的點云分割算法及常見數據集；文 獻[9]所做的綜述工作涵蓋了不同的應用，包括點云 數據的形狀分類、目標檢測和跟蹤以及語義和實例 分割，涉及的方面較為廣泛。本文對前人工作進行 了完善，在算法內容上，本文添加了最近提出的新方 法，總結了 50多種三維語義分割算法，根據三維點云 數據處理方式，將它們分為兩類：間接語義分割方法 和直接語義分割方法。數據集內容上，本文在新增 最新公共數據集的同時，增加了常用的三維遙感數 據集。未來研究方向上，本文在基于深度學習的語 義分割技術評述基礎上，對語義分割領域未來研究 方向進行了展望并給出各類技術的參考性價值。
付費5元查看完整內容
相關內容
對流體圖像序列進行運動分析一直是流體力學、醫學和計算機視覺等領域的重要研究課題。從圖像對中提取的密集精確的速度矢量場能夠為許多領域提供有價值的信息，基于光流法的流體運動估計技術因其獨特的優勢成為一個有前途的方向。光流法可以獲得具有較高分辨率的密集速度矢量場，在小尺度精細結構的測量上有所改進，彌補了基于相關分析法的粒子圖像測速技術的不足。此外，光流方法還可以方便的引入各種物理約束，獲得較為符合流體運動特性的運動估計結果。為了全面反映基于光流法的流體運動估計算法的研究進展，本文在廣泛調研相關文獻的基礎上，對國內外具有代表性的論文進行了系統闡述。首先介紹了光流法的基本原理，然后將現有算法按照要解決的突出問題進行分類：結合流體力學知識的能量最小化函數，提高對光照變化的魯棒性，大位移估計和消除異常值。對每類方法，從問題解決過程的角度予以介紹，分析了各類突出問題中現有算法的特點和局限性。最后，總結分析了流體運動估計技術當前面臨的問題和挑戰，并對未來基于光流法的運動估計算法的研究方向和研究重點進行了展望。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210209&flag=1
付費5元查看完整內容
單幅圖像超分辨率重建是計算機視覺領域上的一個重要問題, 在安防視頻監控、飛機航拍以及衛星遙感等方面具有重要的研究意義和應用價值. 近年來, 深度學習在圖像分類、檢測、識別等諸多領域中取得了突破性進展, 也推動著圖像超分辨率重建技術的發展. 本文首先介紹單幅圖像超分辨率重建的常用公共圖像數據集; 然后重點闡述基于深度學習的單幅圖像超分辨率重建方向的創新與進展; 最后討論了單幅圖像超分辨率重建方向上存在的困難和挑戰, 并對未來的發展趨勢進行了思考與展望.
付費5元查看完整內容
摘要：醫學影像分割是計算機視覺在醫學影像處理中的一個重要應用領域，其目標是從醫學影像中分割出目標區域，為后續的疾病診斷和治療提供有效的幫助。近年來深度學習技術在圖像處理方面取得了巨大進展，基于深度學習的醫學影像分割算法逐漸成為該領域研究的重點和熱點。首先敘述了計算機視覺下的醫學影像分割任務及其難點，然后重點綜述了基于深度學習的醫學影像分割算法，對當前具有代表性的相關方法進行了分類和總結，進而介紹了醫學影像分割算法常用的評價指標和數據集。最后，對該技術的發展進行了總結和展望。
付費5元查看完整內容
在計算機視覺領域，全景分割是一個新穎且重要的研究問題，它是機器感知、自動駕駛等新興前沿技術的基石，有著十分重要的研究意義. 本文綜述了基于深度學習的全景分割研究的最新進展，總結了全景分割任務的基本處理流程，并對已發表的全景分割工作基于其網絡結構特點進行分類，并作了全面的介紹與分析，最后對全景分割任務目前面臨的問題以及未來的發展趨勢做出了分析，并針對所面臨的問題提出了一些切實可行的解決思路.
全景分割[1]是將圖像劃分為語義區域(stuff)和 對象實例(things)的任務，是近年來新興起的一個研 究方向，也是計算機視覺中一個重要的研究問題. 隨著圖像處理技術的發展，數字圖像已經成為日常 生活中不可缺少的媒介，每時每刻都在產生圖像數 據. 對圖像中的物體進行快速準確的分割變得愈發重要.
全景分割包含語義分割和實例分割兩大任務. 語義分割是將類別標簽按圖像中物體類別分配給 每個像素，即將輸入圖像中的像素分為不同的語義 類別. 傳統的語義分割方法多數基于模型驅動，模 型驅動方法可分為生成式和判別式[2] . 生成式模型 首先學習圖像的特征和標簽概率，然后計算輸入圖 像特征時各個標簽的后驗概率，依據此概率對圖像 進行標注. 馬爾科夫隨機場(Markov Random Field, MRF)是一種應用廣泛的生成式模型[3]，它利用先驗上下文信息和訓練得到的結果，提高分割性能. 但 是當圖像較大時，分割速度和精度會大幅下降. 判 別式模型假設圖像特征與標簽之間存在某種映射 關系，然后從歷史數據學習該映射關系的相關參數 [2] . 典型的判別式模型包括支持向量機(Support Vector Machine, SVM)、條件隨機場(Conditional Random Field, CRF)等. SVM 因其可處理非線性且 具有良好的泛化能力，在語義分割研究中得到了廣 泛應用[3]. CRF 不僅可以利用圖像上下文信息，還 可學習從局部到全局的上下文信息，已經成功應用 于圖像標記[4] . 然而，判別式模型存在收斂速度慢無法解決存在隱變量的情況等不容忽視的問題.
近年來，隨著硬件計算能力的提高，語義分割 得到快速發展. 隨著全卷積網絡(fully convolutional network, FCN)的出現[5]，深度學習推動語義分割任 務快速發展，并且在自動駕駛、人臉識別等領域得 到應用.
實例分割實質上是目標檢測和語義分割的結合，目的是將輸入圖像中的目標檢測出來，并且對 每個像素分配類別標簽. 實例分割能夠對前景語義 類別相同的不同實例進行區分，這是它與語義分割 的最大區別. 相比語義分割，實例分割發展較晚， 因此實例分割模型主要基于深度學習技術，但它也 是圖像分割一個重要的組成部分. 隨著深度學習的 發展，實例分割相繼出現了 SDS [6]、DeepMask [7]、 MultiPath Network [8]等方法，分割精度和效率逐漸 得到提升.
全景分割是語義分割和實例分割的綜合. 全景 分割任務不僅要求區分輸入圖像中的背景語義類 別和前景語義類別，還要將同一類別前景語義中的 不同實例分割出來，因此全景分割任務比語義分 割、實例分割任務的難度更高. 全景分割由 Kirillov 等人[1]于 2018 年提出，已經得到計算機視覺學界的 高度重視，涌現出 JSIS-Net[9]、TASCNet[10]、AUNet[11] 等方法，顯著推動了全景分割的發展. 但是在真實 環境下，全景分割經常遇到以下挑戰：
(1) 分支融合沖突 全景分割任務是語義分割與實例分割兩個任務的綜合，在網絡結構方面，現有大部分方法將輸 入圖像的特征輸入到語義分支與實例分支，然后融 合兩個分支的輸出，得到全景輸出. 但是在融合時 會出現像素分配沖突，影響全景預測質量.
(2) 小物體檢測分割 數據集中的圖像會出現大小、距離不一的許多 物體，對于大物體，諸多全景分割方法能夠對其進 行準確分割，當小物體出現時，經常伴隨被忽略或 者分割不準確的問題，這導致全景分割精度較低， 直接增加了全景分割的難度.
(3) 分割對象交疊 在圖像采集過程中，會因為季節、天氣、光照、 距離等條件的變化，出現不同的場景，圖像中物體 會出現遮擋交疊等情況，這使得分割方法無法準確 判斷像素的歸屬，導致分割不精確. 為了克服上述挑戰，已經出現了一些全景分割 方法，它們在分支融合、小物體檢測、遮擋處理方 面提出了不同的應對策略，在一定程度上解決了這 些問題.
本文首先介紹全景分割的流程，然后重點 介紹深度學習在全景分割領域的研究進展. 本文內容安排如下：第 1 節介紹全景分割的基 本流程；第 2 節對語義分割、實例分割等相關知識 以及全景分割數據集進行介紹；第 3 節介紹深度學 習在全景分割領域的研究進展；第 4 節討論全景分 割研究面臨的挑戰，并對今后的發展趨勢進行展 望；第 5 節對本文進行總結.
付費5元查看完整內容
數據融合是最大程度發揮大數據價值的關鍵，深度學習是挖掘數據深層特征信息的技術利器，基于深度學習的數據融合能夠充分挖掘大數據潛在價值，從新的深度和廣度拓展對世界的探索和認識。本文綜述了近幾年基于深度學習的數據融合方法的相關文獻，以此了解深度學習在數據融合中應用所具有的優勢。首先，分類闡述常見的數據融合方法，同時指出這些方法的優點和不足；接著，從基于深度學習特征提取的數據融合方法、基于深度學習融合的數據融合方法、基于深度學習全過程的數據融合方法三個方面對基于深度學習的數據融合方法進行分析，并做了對比研究與總結；最后，總結全文，討論了深度學習在數據融合中應用的難點和未來需要進一步研究的問題。
付費5元查看完整內容
摘要：近年來,基于深度學習的表面缺陷檢測技術廣泛應用在各種工業場景中.本文對近年來基于深度學習的表面缺陷檢測方法進行了梳理,根據數據標簽的不同將其分為全監督學習模型方法、無監督學習模型方法和其他方法三大類,并對各種典型方法進一步細分歸類和對比分析,總結了每種方法的優缺點和應用場景.本文探討了表面缺陷檢測中三個關鍵問題,介紹了工業表面缺陷常用數據集.最后,對表面缺陷檢測的未來發展趨勢進行了展望.
付費5元查看完整內容
目標檢測
·
摘要： 目標檢測算法應用廣泛,一直是計算機視覺領域備受關注的研究熱點。近年來,隨著深度學習的發展,3D圖像的目標檢測研究取得了巨大的突破。與2D目標檢測相比,3D目標檢測結合了深度信息,能夠提供目標的位置、方向和大小等空間場景信息,在自動駕駛和機器人領域發展迅速。文中首先對基于深度學習的2D目標檢測算法進行概述;其次根據圖像、激光雷達、多傳感器等不同數據采集方式,分析目前具有代表性和開創性的3D目標檢測算法;結合自動駕駛的應用場景,對比分析不同 3D 目標檢測算法的性能、優勢和局限性;最后總結了3D目標檢測的應用意義以及待解決的問題,并對 3D 目標檢測的發展方向和新的挑戰進行了討論和展望。
付費5元查看完整內容
摘要：場景分割問題是計算機視覺領域基本而重要的問題，具有廣泛的應用價值。 場景分割需要解決的科學問題是如何對場景中的要素進行精確分割。其主要難 點在于場景圖像的結構十分復雜，包含多種類別和多種尺度的要素，且這些要素 之間存在著豐富的空間關系。同時在實際應用中，在保證場景分割精度的條件下 也需要綜合考慮計算復雜度和速度。因此，場景分割問題的主要難點和挑戰可概 括為三個方面：1）尺度變換多樣，2）空間關系復雜，3）時間復雜度高。近年來， 基于深度學習，尤其是卷積神經網絡的方法在場景分割領域取得了巨大的進展， 但基于深度學習的場景分割方法還存在著一定的局限性。本課題對基于深度學 習的場景分割方法進行研究，針對上述三個難點和挑戰，取得了以下成果：
-
基于尺度自適應卷積的場景分割方法 目前基于深度學習的場景分割方法主要利用標準卷積，其感受野大小固定。 而場景圖像中要素的尺度變化多樣，導致大尺度要素分割結果不連續，小尺度要 素與背景混淆而遺漏的問題。針對該問題，我們提出尺度自適應卷積方法，對場 景圖像中不同尺度的要素自適應改變卷積感受野大小。該方法可以緩解由于標 準卷積感受野固定引起的大尺度要素分割結果不連續和小尺度要素被遺漏的問 題。尺度自適應卷積的整個過程是可導的，其卷積參數可以利用一個端到端的結 構從數據中自動和隱式的學習。我們在 Cityscapes 和 ADE20K 兩個數據集上驗 證了尺度自適應卷積的有效性。
-
基于全局和局部修正的場景分割方法 場景圖像中具有復雜的空間關系和豐富的上下文信息，對場景中要素的識 別具有極大的幫助作用。我們分別利用全局上下文信息和局部上下文信息對給 定的場景分割結果進行修正。我們首先提出全局殘差修正網絡，通過捕捉圖像中 的全局上下文信息進行分割結果的修正。經過全局殘差修正網絡修正之后，原 始分割結果中不一致、不連續的區域將被修正。其次，我們提出局部邊界修正網 絡，通過捕捉圖像中的局部上下文信息，對給定分割結果的邊界和細節進行修 正。經過局部邊界修正網絡修正之后，原始分割結果中的分割邊界將更加精確和 平滑。這兩種修正網絡均可單獨使用，也可以級聯在給定的分割網絡之后形成一 個統一框架，以共同提高修正結果的精度。在 Cityscapes 和 ADE20K 兩個數據 集上的結果顯示這兩種修正網絡可以有效提高給定分割結果的精度。
-
基于高分辨率特征圖重建的場景分割加速方法 現有大多數場景分割方法著眼于提高模型的分割精度，因此使用較深的神 經網絡和較高分辨率的特征圖，分割精度較高但速度較慢。為解決由于較大尺寸 輸入圖像和高分辨率特征圖導致的場景分割速度較慢的問題，我們提出高分辨 率特征圖重建方法對任意給定的場景分割框架進行加速。該方法利用降采樣輸 入圖像的特征圖對原始大小輸入圖像的特征圖進行重建。利用降采樣輸入圖像 進行特征學習的速度較快，而重建原始大小輸入圖像的特征圖可以緩解使用降 采樣輸入圖像導致的細節丟失和精度下降問題。我們在兩個公開數據集上驗證 了高分辨率特征圖重建方法的有效性，當使用 1/2 降采樣率時，可以在分割精度 損失忽略不計的情況下得到約 3 倍的加速比。
關鍵詞：場景分割，深度學習，尺度自適應卷積，全局和局部修正網絡，高分辨 率特征圖重建
作者簡介：張蕊，2009年9月-2013 年7月，在北京航空航天大學數學與系統科學學院獲理學學士學位。2013年9月-2019年7月，在中國科學院計算技術研究所攻讀博士學位，博士生導師是李錦濤。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191