顯著性檢測一直是計算機視覺領域的關鍵問題，在視覺跟蹤、圖像壓縮和目標識別等方面有著非常重要的應用。基于傳統RGB圖像和RGB-D （RGB depth）圖像的顯著性檢測易受復雜背景、光照、遮擋等因素影響，在復雜場景的檢測精度較低，魯棒的顯著性檢測仍存在很大挑戰。隨著光場成像技術的發展，人們開始從新的途徑解決顯著性檢測問題。光場數據記錄著空間光線位置信息和方向信息，隱含場景的幾何結構，能為顯著性檢測提供可靠的背景、深度等先驗信息。因此，利用光場數據進行顯著性檢測得到了廣泛關注，成為研究熱點。盡管基于光場數據的顯著性檢測算法陸續出現，但是缺少對該問題的深刻理解以及研究進展的全面綜述。本文系統地綜述了基于光場數據的顯著性檢測研究現狀，并進行深入探討和展望。對光場理論以及用于光場顯著性檢測的公共數據集進行介紹；系統地介紹了光場顯著性檢測領域的算法模型和最新進展，從人工設計光場特征、稀疏編碼特征和深度學習特征等方面進行全面闡述及分析；通過4個公共光場顯著性數據集上的實驗數據對不同方法的優缺點進行比較和分析，并結合實際應用指出當前研究的局限性與發展趨勢。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20201201&flag=1
在觀測圖像時，人類的視覺系統能夠快速獲取圖像中感興趣的區域和目標，這個過程稱為視覺注意力機制。顯著性檢測是通過智能算法模擬人類視覺注意力機制，提取圖像中人類感興趣的區域(Borji等，2015)。顯著性檢測一直是計算機視覺領域的研究熱點。顯著性檢測首先檢測場景中最引人注意的目標，然后將這類目標作為整體劃分出來。準確有效的顯著性檢測可以為視覺跟蹤(Mahadevan和Vasconcelos，2012)、目標檢測與識別(Han和Vasconcelos，2014)和視頻壓縮(Itti，2004)等提供可靠的先驗信息。
自Itti等人(1998)提出多尺度顯著性檢測模型以來，出現了大量各式各樣的顯著性檢測模型，顯著性檢測算法的性能逐步提升，取得了很大進展(Ju等，2014；Ren等，2015)。但是在復雜場景中，魯棒的顯著性檢測仍存在很大挑戰，主要表現在：1)場景中存在多個顯著目標且尺度變化較大；2)顯著區域的顏色或紋理與背景相似；3)場景中光源顏色不一致；4)顯著目標被部分遮擋；5)難以提取完整目標。
針對這些難點，研究者提出多種顯著性檢測算法，根據使用數據來源不同，這些顯著性檢測算法分為3類：基于RGB圖像的顯著性檢測算法、基于RGB-D(RGB depth)圖像的顯著性檢測算法和基于光場數據的顯著性檢測算法。其中基于RGB圖像的顯著性檢測算法最多，一個原因是RGB圖像是人們生活中最廣泛使用且最容易獲取的圖像。這類算法大多通過計算圖像的顏色、形狀、方向以及紋理等底層圖像特征(Xu等，2013；Zhao和Koch，2012)獲取顯著線索，或利用特征學習技術如卷積神經網絡(Li和Yu，2015a)、稀疏編碼(Li等，2013b)或者循環神經網絡(Tang等，2016)等方式檢測顯著性目標。雖然這些方法在顯著性檢測任務上取得了有競爭力的效果，但是對于挑戰性場景，仍然可能出現顯著目標檢測錯誤。原因有兩個：1)基于深度學習的顯著性檢測算法受限于RGB圖像的特征；2)基于RGB圖像的傳統算法存在許多先驗知識，如顯著性區域與其周圍環境存在高對比度、背景簡單、顯著性目標無遮擋、場景光源單一等，而實際上許多真實場景與這些先驗相悖，導致基于RGB圖像的傳統算法性能降低，如圖 1(Li等，2014)中基于全局對比度(global contrast，GC)的顯著性檢測算法(Cheng等，2015)和基于差別區域特征融合(discriminative regional feature integration，DRFI)的顯著性檢測算法(Jiang等，2013)都無法精準地從背景中分離顯著目標。
Poggio和Poggio(1984)表明RGB圖像不能完全表示人眼對世界的認識，因為RGB圖像忽略了人的雙目系統對場景深度的感知。深度信息能夠區分位于不同深度層的物體，減少背景干擾(Wolfe和Horowitz，2004)。因此，學者們開始利用雙目相機，如Kinect(Zhang，2012)獲取含有深度信息的RGB-D圖像，結合深度特征和RGB圖像中的特征來提高顯著性檢測的魯棒性(Lang等，2012；Peng等，2014)。然而，這類算法也存在兩方面問題：1)基于RGB-D圖像的顯著性檢測算法嚴重依賴深度圖的質量，當深度圖質量較差時，則無法為顯著性檢測提供有效信息；2)基于RGB-D圖像的顯著性檢測算法常常忽略深度和外觀之間的關聯，當顯著目標與背景有著相似的顏色和深度時，如圖 2(Piao等，2019a)所示，基于異性中心-周圍特征的深度顯著性檢測算法(anisotropic center-surround difference，ACSD)(Ju等，2014)也無法精準檢測顯著目標。
光場成像借助新的成像技術，能夠同時記錄光輻射在空間中的位置和方向信息(Adelson和Wang，1992)，與RGB圖像和RGB-D圖像相比，光場數據包含了光的顏色、強度、位置和方向，更能反映自然場景的幾何和反射特性，已成功用于計算機視覺的許多任務，如材料識別(Wang等，2016)、深度估計(Tao等，2017；Williem等，2018；Jeon，2019)和顯著性檢測(Li等，2014；Zhang等，2015)等。其中，在顯著性檢測任務中，相比RGB圖像和RGB-D圖像，利用光場數據進行顯著性檢測有以下優勢：1)光場數據包含位置信息和角度信息，為獲得場景深度信息提供了多視角幾何信息；2)數字重聚焦技術(Ng等，2005)可以將光場數據合成一系列聚焦在不同深度層的焦點堆棧圖像，顯著目標個體通常處于同一深度面，利用這些焦點堆棧圖像的聚焦區域線索，能夠提供背景線索，更完整地檢測顯著目標；3)光場數據記錄不同方向的光線信息，可以從多個角度描述場景，提供了有效的顯著目標遮擋信息；4)從光場數據中能生成全聚焦圖像，全聚焦圖像中的每個像素都是清晰的，有更清楚的顏色、紋理等。從這些方面來看，光場數據可以為顯著性檢測提供更多信息以及解決檢測難題的途徑，有利于處理相似的前景和背景、顯著目標被部分遮擋、多個顯著目標等難點場景，如圖 1所示，相比基于RGB圖像的算法，光場顯著性檢測方法(light field saliency，LFS)(Li等，2014)更能應對復雜場景。
自Li等人(2014)利用光場數據進行顯著性檢測后，基于光場數據的顯著性檢測迅速發展，出現了很多基于光場數據的顯著性檢測算法(Zhang等，2015；Li等，2015b；Zhang等，2017；Wang等，2018b；Zhang等，2020)，但是一直沒有完整的關于光場顯著性檢測進展的文獻綜述和詳細調查，目前，基于光場數據的顯著性檢測研究在該領域內仍然存在很大的進步空間，因此有必要進行全面綜述和討論。本文系統描述了基于光場數據的顯著性檢測研究進展和面臨的挑戰，希望能為進一步研究顯著性檢測提供幫助，并期待能啟發更多的創新型工作。
付費5元查看完整內容
相關內容
對流體圖像序列進行運動分析一直是流體力學、醫學和計算機視覺等領域的重要研究課題。從圖像對中提取的密集精確的速度矢量場能夠為許多領域提供有價值的信息，基于光流法的流體運動估計技術因其獨特的優勢成為一個有前途的方向。光流法可以獲得具有較高分辨率的密集速度矢量場，在小尺度精細結構的測量上有所改進，彌補了基于相關分析法的粒子圖像測速技術的不足。此外，光流方法還可以方便的引入各種物理約束，獲得較為符合流體運動特性的運動估計結果。為了全面反映基于光流法的流體運動估計算法的研究進展，本文在廣泛調研相關文獻的基礎上，對國內外具有代表性的論文進行了系統闡述。首先介紹了光流法的基本原理，然后將現有算法按照要解決的突出問題進行分類：結合流體力學知識的能量最小化函數，提高對光照變化的魯棒性，大位移估計和消除異常值。對每類方法，從問題解決過程的角度予以介紹，分析了各類突出問題中現有算法的特點和局限性。最后，總結分析了流體運動估計技術當前面臨的問題和挑戰，并對未來基于光流法的運動估計算法的研究方向和研究重點進行了展望。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210209&flag=1
付費5元查看完整內容
單幅圖像超分辨率重建是計算機視覺領域上的一個重要問題, 在安防視頻監控、飛機航拍以及衛星遙感等方面具有重要的研究意義和應用價值. 近年來, 深度學習在圖像分類、檢測、識別等諸多領域中取得了突破性進展, 也推動著圖像超分辨率重建技術的發展. 本文首先介紹單幅圖像超分辨率重建的常用公共圖像數據集; 然后重點闡述基于深度學習的單幅圖像超分辨率重建方向的創新與進展; 最后討論了單幅圖像超分辨率重建方向上存在的困難和挑戰, 并對未來的發展趨勢進行了思考與展望.
付費5元查看完整內容
在計算機視覺領域，全景分割是一個新穎且重要的研究問題，它是機器感知、自動駕駛等新興前沿技術的基石，有著十分重要的研究意義. 本文綜述了基于深度學習的全景分割研究的最新進展，總結了全景分割任務的基本處理流程，并對已發表的全景分割工作基于其網絡結構特點進行分類，并作了全面的介紹與分析，最后對全景分割任務目前面臨的問題以及未來的發展趨勢做出了分析，并針對所面臨的問題提出了一些切實可行的解決思路.
全景分割[1]是將圖像劃分為語義區域(stuff)和 對象實例(things)的任務，是近年來新興起的一個研 究方向，也是計算機視覺中一個重要的研究問題. 隨著圖像處理技術的發展，數字圖像已經成為日常 生活中不可缺少的媒介，每時每刻都在產生圖像數 據. 對圖像中的物體進行快速準確的分割變得愈發重要.
全景分割包含語義分割和實例分割兩大任務. 語義分割是將類別標簽按圖像中物體類別分配給 每個像素，即將輸入圖像中的像素分為不同的語義 類別. 傳統的語義分割方法多數基于模型驅動，模 型驅動方法可分為生成式和判別式[2] . 生成式模型 首先學習圖像的特征和標簽概率，然后計算輸入圖 像特征時各個標簽的后驗概率，依據此概率對圖像 進行標注. 馬爾科夫隨機場(Markov Random Field, MRF)是一種應用廣泛的生成式模型[3]，它利用先驗上下文信息和訓練得到的結果，提高分割性能. 但 是當圖像較大時，分割速度和精度會大幅下降. 判 別式模型假設圖像特征與標簽之間存在某種映射 關系，然后從歷史數據學習該映射關系的相關參數 [2] . 典型的判別式模型包括支持向量機(Support Vector Machine, SVM)、條件隨機場(Conditional Random Field, CRF)等. SVM 因其可處理非線性且 具有良好的泛化能力，在語義分割研究中得到了廣 泛應用[3]. CRF 不僅可以利用圖像上下文信息，還 可學習從局部到全局的上下文信息，已經成功應用 于圖像標記[4] . 然而，判別式模型存在收斂速度慢無法解決存在隱變量的情況等不容忽視的問題.
近年來，隨著硬件計算能力的提高，語義分割 得到快速發展. 隨著全卷積網絡(fully convolutional network, FCN)的出現[5]，深度學習推動語義分割任 務快速發展，并且在自動駕駛、人臉識別等領域得 到應用.
實例分割實質上是目標檢測和語義分割的結合，目的是將輸入圖像中的目標檢測出來，并且對 每個像素分配類別標簽. 實例分割能夠對前景語義 類別相同的不同實例進行區分，這是它與語義分割 的最大區別. 相比語義分割，實例分割發展較晚， 因此實例分割模型主要基于深度學習技術，但它也 是圖像分割一個重要的組成部分. 隨著深度學習的 發展，實例分割相繼出現了 SDS [6]、DeepMask [7]、 MultiPath Network [8]等方法，分割精度和效率逐漸 得到提升.
全景分割是語義分割和實例分割的綜合. 全景 分割任務不僅要求區分輸入圖像中的背景語義類 別和前景語義類別，還要將同一類別前景語義中的 不同實例分割出來，因此全景分割任務比語義分 割、實例分割任務的難度更高. 全景分割由 Kirillov 等人[1]于 2018 年提出，已經得到計算機視覺學界的 高度重視，涌現出 JSIS-Net[9]、TASCNet[10]、AUNet[11] 等方法，顯著推動了全景分割的發展. 但是在真實 環境下，全景分割經常遇到以下挑戰：
(1) 分支融合沖突 全景分割任務是語義分割與實例分割兩個任務的綜合，在網絡結構方面，現有大部分方法將輸 入圖像的特征輸入到語義分支與實例分支，然后融 合兩個分支的輸出，得到全景輸出. 但是在融合時 會出現像素分配沖突，影響全景預測質量.
(2) 小物體檢測分割 數據集中的圖像會出現大小、距離不一的許多 物體，對于大物體，諸多全景分割方法能夠對其進 行準確分割，當小物體出現時，經常伴隨被忽略或 者分割不準確的問題，這導致全景分割精度較低， 直接增加了全景分割的難度.
(3) 分割對象交疊 在圖像采集過程中，會因為季節、天氣、光照、 距離等條件的變化，出現不同的場景，圖像中物體 會出現遮擋交疊等情況，這使得分割方法無法準確 判斷像素的歸屬，導致分割不精確. 為了克服上述挑戰，已經出現了一些全景分割 方法，它們在分支融合、小物體檢測、遮擋處理方 面提出了不同的應對策略，在一定程度上解決了這 些問題.
本文首先介紹全景分割的流程，然后重點 介紹深度學習在全景分割領域的研究進展. 本文內容安排如下：第 1 節介紹全景分割的基 本流程；第 2 節對語義分割、實例分割等相關知識 以及全景分割數據集進行介紹；第 3 節介紹深度學 習在全景分割領域的研究進展；第 4 節討論全景分 割研究面臨的挑戰，并對今后的發展趨勢進行展 望；第 5 節對本文進行總結.
付費5元查看完整內容
我們生活在一個由大量不同模態內容構建而成的多媒體世界中，不同模態信息之間具有高度的相關性和互補性，多模態表征學習的主要目的就是挖掘出不同模態之間的共性和特性，產生出可以表示多模態信息的隱含向量.該文章主要介紹了目前應用較廣的視覺語言表征的相應研究工作，包括傳統的基于相似性模型的研究方法和目前主流的基于語言模型的預訓練的方法.目前比較好的思路和解決方案是將視覺特征語義化然后與文本特征通過一個強大的特征抽取器產生出表征，其中Transformer[1]作為主要的特征抽取器被應用表征學習的各類任務中.文章分別從研究背景、不同研究方法的劃分、測評方法、未來發展趨勢等幾個不同角度進行闡述.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1
付費5元查看完整內容
摘要: 行人重識別是近年來計算機視覺領域的熱點問題, 經過多年的發展, 基于可見光圖像的一般行人重識別技術已經趨近成熟. 然而, 目前的研究多基于一個相對理想的假設, 即行人圖像都是在光照充足的條件下拍攝的高分辨率圖像. 因此雖然大多數的研究都能取得較為滿意的效果, 但在實際環境中并不適用. 多源數據行人重識別即利用多種行人信息進行行人匹配的問題. 除了需要解決一般行人重識別所面臨的問題外, 多源數據行人重識別技術還需要解決不同類型行人信息與一般行人圖片相互匹配時的差異問題, 如低分辨率圖像、紅外圖像、深度圖像、文本信息和素描圖像等. 因此, 與一般行人重識別方法相比, 多源數據行人重識別研究更具實用性, 同時也更具有挑戰性. 本文首先介紹了一般行人重識別的發展現狀和所面臨的問題, 然后比較了多源數據行人重識別與一般行人重識別的區別, 并根據不同數據類型總結了5 類多源數據行人重識別問題, 分別從方法、數據集兩個方面對現有工作做了歸納和分析. 與一般行人重識別技術相比, 多源數據行人重識別的優點是可以充分利用各類數據學習跨模態和類型的特征轉換. 最后, 本文討論了多源數據行人重識別未來的發展.
//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190278
付費5元查看完整內容
異常檢測
·
近年來，隨著web2.0的普及，使用圖挖掘技術進行異常檢測受到人們越來越多的關注.圖異常檢測在欺詐檢測、入侵檢測、虛假投票、僵尸粉絲分析等領域發揮著重要作用.本文在廣泛調研國內外大量文獻以及最新科研成果的基礎上，按照數據表示形式將面向圖的異常檢測劃分成靜態圖上的異常檢測與動態圖上的異常檢測兩大類，進一步按照異常類型將靜態圖上的異常分為孤立個體異常和群組異常檢測兩種類別，動態圖上的異常分為孤立個體異常、群體異常以及事件異常三種類型.對每一類異常檢測方法當前的研究進展加以介紹，對每種異常檢測算法的基本思想、優缺點進行分析、對比，總結面向圖的異常檢測的關鍵技術、常用框架、應用領域、常用數據集以及性能評估方法，并對未來可能的發展趨勢進行展望.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6100&flag=1
付費5元查看完整內容
三維重建
·
摘要: 三維重建在視覺方面具有很高的研究價值, 在機器人視覺導航、智能車環境感知系統以及虛擬現實中被廣泛應用.本文對近年來國內外基于視覺的三維重建方法的研究工作進行了總結和分析, 主要介紹了基于主動視覺下的激光掃描法、結構光法、陰影法以及TOF (Time of flight)技術、雷達技術、Kinect技術和被動視覺下的單目視覺、雙目視覺、多目視覺以及其他被動視覺法的三維重建技術, 并比較和分析這些方法的優點和不足.最后對三維重建的未來發展作了幾點展望。
付費5元查看完整內容
目標檢測
·
摘要： 目標檢測算法應用廣泛,一直是計算機視覺領域備受關注的研究熱點。近年來,隨著深度學習的發展,3D圖像的目標檢測研究取得了巨大的突破。與2D目標檢測相比,3D目標檢測結合了深度信息,能夠提供目標的位置、方向和大小等空間場景信息,在自動駕駛和機器人領域發展迅速。文中首先對基于深度學習的2D目標檢測算法進行概述;其次根據圖像、激光雷達、多傳感器等不同數據采集方式,分析目前具有代表性和開創性的3D目標檢測算法;結合自動駕駛的應用場景,對比分析不同 3D 目標檢測算法的性能、優勢和局限性;最后總結了3D目標檢測的應用意義以及待解決的問題,并對 3D 目標檢測的發展方向和新的挑戰進行了討論和展望。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191