獨特的拍攝視角和多變的成像高度使得遙感影像中包含大量尺寸極其有限的目標,如何準確有效地檢測這些小 目標對于構建智能的遙感圖像解譯系統至關重要。本文聚焦于遙感場景,對基于深度學習的小目標檢測進行了全面調研。 首先,本文根據小目標的內在特質梳理了遙感影像小目標檢測的三個主要挑戰,包括特征表示瓶頸、前背景混淆,以及回 歸分支敏感。其次,通過深入調研相關文獻,本文全面回顧了基于深度學習的遙感影像小目標檢測算法。具體說來,選取 三種代表性的遙感影像小目標檢測任務,即光學遙感圖像小目標檢測、SAR圖像小目標檢測和紅外圖像小目標檢測,系統 性總結了三個領域內的代表性方法,并根據每種算法所使用的技術思路進行分類闡述。再次,總結了遙感影像小目標檢測 常用的公開數據集,包括光學遙感圖像、SAR圖像及紅外圖像三種數據類型,借助于三種領域的代表性數據集SODA-A、 AIR-SARShip和NUAA-SIRST,進一步對主流的遙感影像目標檢測算法在面對小目標時的性能表現進行橫向對比及深入評 估。最后,對遙感影像小目標檢測的應用現狀進行總結,并展望了遙感場景下小目標檢測的發展趨勢。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=2022&journal_id=jig
遙感影像目標檢測旨在設計相關算法獲取遙感 圖像中有價值目標的類別和位置信息,是邁向遙感 場景智能理解,構建遙感影像智能解譯系統,開展 遙感影像分析業務化應用的重要途徑(孫顯等, 2022)。遙感圖像具有幅面大、場景多樣和成像高 度多變等特點,因而包含大量尺寸極其有限的目標。 比如在同一張機場場景光學遙感圖像中,飛機和車 輛往往同時出現,而由于尺寸層面的天然差異,車 輛目標往往僅占據幾十個像素(Cheng 等,2022); 合成孔徑雷達(Synthetic Aperture Radar,SAR)的 目標成像與目標的散射特性有關,散射特性的強弱 影響目標的成像質量,例如飛機目標的機翼散射特 性弱,機身散射特征強,機翼區域的成像較為模糊, 這使得目標在 SAR 圖像中相對偏小。此外特殊的成 像機理使得目標容易受到雜波等噪聲的干擾,導致 目標邊緣模糊,使得本身尺寸就較小的車輛、船舶 等觀測目標成像區域更加受限(徐豐等,2020); 紅外探測系統中,目標與探測器之間距離較遠,因而成像目標面積很小,往往呈現點特征(李俊宏等, 2020)。這些尺寸有限的目標為遙感影像智能感知 系統帶來了巨大挑戰,也在一定程度上制約著遙感 大數據在國防體系建設、災害預警評估和農林資源 監測等領域的實際應用。 與通用目標檢測的蓬勃發展相比,小目標檢測近 年來發展緩慢,遙感圖像領域亦是如此。作為通用 目標檢測的一個子任務,現有的小目標檢測框架往 往以通用目標檢測任務中表現出色的模型為基礎, 添加針對性的設計(Cheng 等,2022)。這些基礎 模型一般由特征提取網絡和檢測網絡構成,前者通 過深度卷積神經網絡(Deep Convolution Neural Networks,DCNNs)獲得圖像的高維表征,并利用 下采樣操作減少空間冗余;后者則在前者得到的深 度特征上完成分類和回歸(Liu 等,2020;Ren 等, 2017;Lin 等,2020;Tian 等,2020)。遺憾的是, 這些深度學習加持下的優秀檢測范式在面對小目標 時,其性能往往捉襟見肘。究其原因,一方面是小 目標的內在特性導致模型很難獲得目標區域的良好 特征表示。CNN 通過堆疊卷積層和池化層獲得圖像 的高維表征——前者通過共享參數的卷積核獲得區 域表示,而遙感圖像中的小目標往往背景復雜,經 過卷積層后,目標區域的特征容易被背景或其他實 例所干擾,丟失判別信息;后者旨在減少空間冗余 并濾除噪聲響應,然而這一操作卻為小目標帶來不 可逆的信息損失(Noh 等,2015)。無論是缺乏判 別性的特征表示,還是目標區域的信息損失,都會 加劇后續分類和回歸的任務難度。另一方面,深度 學習是數據驅動的,獲得性能優異的檢測模型需要 大量注釋良好的數據用于訓練。然而,小目標往往 邊緣模糊且視覺結構強依賴于圖像質量,很難準確 獲得其輪廓信息,因而標注誤差較大,在一定程度上誤導網絡訓練。此外,現有數據集往往包含各種 尺度的目標,小目標僅占其中一小部分,導致模型 為兼顧整體精度而犧牲小目標的檢測效果。 為了更好地促進領域發展,本文選取三種代表性 的遙感影像小目標檢測任務,即光學遙感圖像小目 標檢測、SAR 圖像小目標檢測和紅外圖像小目標檢 測,以算法和數據集為研究對象,全面回顧了基于 深度學習的遙感影像目標檢測。同時,本文也對應 用現狀和發展趨勢進行了總結。
摘要: 光學遙感圖像中云層會對地面信息進行不同程度的遮擋,造成了地表觀測信息的模糊和缺失,極大地影響遙感圖像的成像質量。因此,對遙感圖像中云層覆蓋的檢測和評估是進一步分析和利用遙感圖像信息的基礎和關鍵。通過充分的調研和對比總結,梳理了20世紀90年代以來,國內外基于遙感圖像的云檢測方法的發展趨勢和代表性工作。將基于遙感圖像的云檢測方法分為三類:基于光譜閾值的方法、基于經典機器學習的方法以及基于深度學習的方法。總結了當前國內外云檢測公開數據集,并對比了部分代表性工作的云檢測精度。此外,簡要梳理了與云檢測相關的云霧(霾)檢測、云雪檢測、云陰影檢測以及云去除等方法。對當前云檢測相關工作中存在的問題和未來的發展趨勢進行了分析和展望。 //journal26.magtechjournal.com/kjkxjs/CN/Y2023/V43/I1/1
**1 引言 **
近些年,隨著遙感技術的迅速發展以及大數 據技術的廣泛應用,對地觀測數據量增長迅速。 2021年1月21日發布的《中國對地觀測數據資 源發展報告》顯示,中國對地觀測數據總量已經 接近100PB,其中大量的遙感圖像數據可以最 為直觀地展示地球各類觀測信息,極大地推動了 人類對于地球的理解和認識。在各類遙感圖像 當中,光學遙感衛星獲取的光學遙感圖像數據在 諸如目標檢測[1-2]、語義分割[3]、場景理解[4]、變 化檢測[5]等領域。相關技術也廣泛應用于地圖 導航、氣象/海洋監測、防災檢測、軍事偵察等各 個方 面。 然 而,國 際 衛 星 云 氣 候 學 計 劃 (internationalsatellitecloudclimatologyproject, ISCCP)顯 示,地 球 平 均 云 層 的 覆 蓋 率 超 過 66%。云層遮擋導致的光學遙感圖像信息的缺 失,對下游的遙感圖像處理和識別造成很大的影 響。因此,發展遙感圖像的云檢測技術,是判別 遙感圖像觀測信息缺失程度以及遙感圖像進一 步利用的關鍵。 遙感圖像的云檢測是遙感圖像識別領域的 熱門方向之一。1982年提出的國際衛星云氣候 學計劃(ISCCP)當中,云檢測技術就是其中重要 的組成部分[6]。**自20世紀80年代以來,隨著衛 星遙感圖像處理技術的不斷發展,遙感圖像的云 檢測方法逐步形成了三種主流的技術路線: **
**1)基于光譜閾值的方法:主要基于對圖像中 云和其他目標光譜特性的分析,對遙感圖像中不 同光譜通道設置不同的閾值從而實現云檢測; **
**2)基于經典機器學習的方法:使用人工選擇 的圖像紋理、亮度等特征,訓練諸如支持向量機、 隨機森林等經典機器學習模型來對圖像塊/像素 進行分類,實現云的檢測; **
**3)基于深度學習的方法:該方法使用大量遙 感圖像數據,通過構建深層的神經網絡模型來自 動提取數據特征,獲取高精度的云檢測結果。 **
從20世紀90年代開始,通過分析圖像中不 同波段的反射信息,各類基于圖像光譜閾值的云 檢測方法被廣泛研究,由于該類方法簡單易行的 特性,有著十分廣泛的應用。但是,由于波段反射信息對不同檢測場景泛化能力較差,容易將其 他高反射率物體(如積雪、建筑等)誤判為云層, 導致傳統基于閾值的云檢測方法精度相對較低。 為了解決這一問題,2010年后,一些基于統計學 習(支持向量機、隨機森林等)的方法被廣泛應用 于云檢測,通過提取圖像的紋理或統計學特征來 提升云檢測的精度。基于統計學習的相關云檢 測方法也被實際應用于中巴資源02B 衛星[6]。 然而,由于統計學習模型本身需要人工進行特征 的篩選 和 定 義,使 得 特 征 提 取 過 程 較 為 低 效。 2012年,隨著 AlexNet模型[7]的提出,以卷積神 經網絡(convolutionalneuralnetworks,CNNs) 為代表的深度學習模型,由于其自動提取特征的 特性被廣泛應用于圖像識別的各個領域,其性能 在某些任務下可以超越人類。因此,近些年大量 基于深度學習的云檢測方法被不斷提出。基于 深度學習的云檢測方法由于其精度高、泛化能力 強的特點,逐漸成為當前最為主流的云檢測方法 之一。 **除云層遮擋外,光學遙感圖像當中,霧、霾等 各類氣溶膠以及云陰影也會對遙感圖像的成像 質量造成影響。**此外,高反射率的積雪和建筑會 呈現出與云層相似的光學特征,從而影響云檢測 的結果。因此,對于上述目標的檢測和識別也是 云檢測的重要內容,相關方向也被廣泛研究。此 外,由于遙感影像來源多樣的特性,不同衛星產 生的遙感影像往往會使用不同的云檢測方法,因 此對于云檢測數據來源和公開數據集的總結也 十分必要。 國內外已有一些綜述性工作對遙感圖像的 云檢測方法進行總結和分析,但缺少針對云檢測 方法層面的系統全面梳理,也缺乏對未來云檢測 方法發展的分析和展望。劉紫涵等人針對不同 的衛星數據類型,重點介紹和梳理了傳統基于光 譜閾值和經典機器學習的云檢測方法[6]。Foga 等人重點針對 Landsat衛星的數據產品,對比了 不同 云 檢 測 算 法 的 實 際 檢 測 效 果 和 精 度[8]。 Mahajan等人從具體檢測任務出發(如:云檢測、 云雪檢 測、薄 云 厚 云 檢 測 等),回 顧 了 2004- 2018 年 間 的 傳 統 閾 值 方 法 以 及 機 器 學 習 方 法[9]。Li等人主要關注了基于深度學習的云檢 測方法,梳理了深度學習云檢測方法的公開數據集以及代表算法模型,并且介紹了主流的深度學 習模型壓縮和輕量化方法[10]。 **本文從云檢測三種不同的主流技術路線出 發,詳細介紹了遙感圖像云檢測方法的研究進展 和現狀,對不同技術路線的代表性云檢測工作進 行了對比分析。**介紹了遙感圖像云檢測的公開 數據集并對比了各類代表性方法的云檢測精度。 此外,簡要梳理了與云檢測相關的云霧(霾)檢 測、云雪檢測、云陰影檢測以及去云的代表性工 作。最后對國內外研究當前存在的問題和未來 的發展方向進行了分析和展望。 **2 云檢測方法 **
20世紀80年代以來,隨著國內外研究人員 的廣泛研究,眾多云檢測工作被提出。本文將現 有工作根據核心方法的不同,大致分為三類:基 于光譜閾值的云檢測方法、基于經典機器學習的 云檢測方法以及基于深度學習的云檢測方法。 本章將對以上三種方法的代表性工作進行梳理 和介紹。圖1總結了當前云檢測方法的主要分 類和代表性工作。
**2.1 基于光譜閾值的云檢測方法 **
基于光譜閾值的云檢測方法是最早被廣泛 研究和應用的云檢測方法。該類方法通過分析 圖像不同光譜波段之間的差異,設置閾值來區分 云和背景圖像,以達到云檢測的目的。早期的基 于光譜閾值的云檢測方法可以追溯到1994年, Kegelmeyer等人通過設置單一閾值,對經過偽 笛卡 爾 變 換 (pseudo-cartesiantransformation) 的 WSI(wholeskyimage)EO-5相機獲取的圖 像進行閾值分割,得出灰度圖像,來達到云檢測 的目的[11]。但是單一閾值方法精度較低,并沒 有被廣泛使用。在之后的研究當中,自動云覆蓋 評估 方 法 (automaticcloudcoverassessment, ACCA)[12-13]以 及 掩 膜 函 數 (functionofmask, Fmask)[14]方法成為了基于光譜閾值的云檢測 方法中最具代表性的方法,并被廣泛研究和應 用。其中,Irish 等 人 提 出 的 ACCA 方 法 用 于 Landsat7ETM+(EnhancedThematicMapper Plus)衛星圖像的自動云檢測。 ACCA 方法基于 Landsat7ETM+圖像中第2至7波段,首先通 過設置多個光譜濾波器,使用云層的反射和熱能 特征來判斷圖像中云層的存在性,而后對于有云 的圖像,利用所建立的云層熱刨面圖,根據云的熱能性質來進一步進行云檢測[12-13]。該方法在 地球大部分區域可以取得較好的云檢測精度,但 是對于存在積雪的高緯度、高海拔區域(如南極 洲),由于反射率相似,ACCA 方法難以有效區 分云層和積雪。Fmask方法由 Zhu等人提出, 用于對 Landsat圖 像 進 行 云 層 和 云 陰 影 的 檢 測[10]。該方 法 將 Landsat大 氣 層 頂 端 (topof atmosphere,TOA)反射和亮度溫度(brightness temperature,BT)作為輸入,通過云的物理特性 以及相關物理量的概率信息來進行云檢測,并還 通過近 紅 外 波 段 來 檢 測 云 陰 影。此 外,Fmask 工作中還明確了云檢測的精度計算方法,許多精 度評判指標(如全局精度等)被沿用至今。 ACCA 方法和 Fmask方法被提出后,在相 當長的時間當中成為了云檢測的主流方法,許多 研究人員也受到上述兩種方法的啟發,提出了更 多的基于光譜閾值的云檢測方法。劉希等人利 用雙通道動態閾值法實現了日本 GMS-5靜止氣 象衛星圖像的自動云檢測[15]。馬芳等人進一步 考慮了 GMS-5衛星中的四個光譜通道,提出了 通道綜合運算云檢測方法,改善了地理位置對于 云檢測的影響[16]。2015年,Zhu等人又通過取 消對熱光譜(thermalband)的使用以及增加卷 云概率,提高了傳統 Fmask方法對于薄卷云的 檢 測 精 度[17]。Shi 等 人 提 出 的 MFmask (mountainousfmask)方 法,針 對 Landsats4-8 圖像,提升了傳統 Fmask方法在多山區域的云 檢 測 精 度[18]。 隨 后,Qiu 等 人 提 出 了 Fmask4.0,通過對輔助數據的整合和新的基于 HOT(hazeoptimizedtransformation)云概率方 法的提出,結合光譜紋理信息,提升了云檢測的 精度[19]。 基于光譜閾值的方法通過對圖像的不同光 譜設置閾值的方式實現了云的自動檢測,該類方 法無需像素級的標記和復雜的模型訓練,可以較 為高效地進行部署和運行。但是,基于光譜閾值 的方法通常要求遙感圖像具有較為豐富的光譜 信息,因此 此 類 方 法 大 多 基 于 Landsat系 列 或 Sentinel-2衛星,對于光譜數量較少的遙感圖像 或可見光圖像,此類算法難以有效運行。為了緩 解對于光譜信息的依賴,Zhu等人在 Fmask的 基礎之上,提出了 Tmask(multitemproalmask) 方法,通過引入多時相圖像來提供額外的信息, 一定程度減少對于過多光譜信息的使用,同時提 高云檢測的精度[20]。Li等人提出的 MFC 方法 通過使用圖像紋理信息和光譜信息同時進行云 檢測,實現了對4通道圖像的高精度云檢測[21]。 除對光譜信息的依賴之外,基于光譜閾值的方法 往往泛化能力較差,針對不同場景尤其是復雜場 景往往算法的魯棒性不足[6]。表1對本章提到 的基于光譜閾值的云檢測方法的數據來源和方 法優劣勢進行了總結。 **2.2 基于經典機器學習的云檢測方法 **
針對基于閾值分割的傳統云檢測方法過于 依賴圖像光譜信息、場景適應性及魯棒性較差的 問題,研究人員更多地考慮了將經典機器學習方 法引入云檢測任務中,被廣泛應用的機器學習模 型包 括 支 持 向 量 機 (supportvector machine, SVM)以 及 隨 機 森 林 (randomforest,RF)等。 機器學習理論的迅猛發展同時為云檢測領域吸 引了更高的研究注意力,推動了云檢測技術的快 速發展。包括紋理、邊緣等的圖像特征選擇是機 器學習方法的核心環節之一,根據所使用圖像特 征的語義級別的不同,可以將基于經典機器學習 理論的云檢測方法大致分為三類:亮度特征、紋 理特征以及局部統計特征。 亮度特征即圖像不同波段的反射率,是遙感 影像最底層的原始特征,是早期機器學習云檢測 方法中最常用的特征。Kang等人提出了一種 無監督云檢測方法,他們訓練支持向量機在 HSI 顏色空間分割云層,并使用引導濾波技術細化云 層邊界[22]。Fu等人將隨機森林技術引入云檢 測領域,相比于支持向量機,隨機森林能更好地 處理多種特征類型之間復雜的非線性依賴關系, 模型的樣本容量更高,執行速度更快,也具有更 好的可解釋性[23]。Wei等人提出的云檢測方法 進一步改進了基于隨機森林模型的云檢測方法, 他們的算法引入了 SEEDS 分割方法進行后處 理,進一步優化了基于隨機森林的云檢測算法的 性能[24]。該方法能夠較好地識別碎云和薄云、 遺漏很少,并且可以更準確地區分大部分云層和 相似的高反光人工地物,很少有誤判,但是該算 法不能很好地解決云層和積雪分離任務。
紋理特征是相比亮度特征更高級別的遙感 影像特征,包含更高級別的圖像語義信息,有利 于實現更精確的云檢測性能。通過設置不同尺 寸的特征提取窗口,可以在多個尺度上提取圖像 特征。Chen等人提出的云檢測方法利用灰度共 生 矩 陣 (gray level co-occurrence matrix, GLCM)提取紋理特征,然后訓練非線性支持向 量機分割云層[25]。該方法適用于南極地區,特 別是適合于薄卷云的檢測,但是魯棒性一般。Li 等人提出的方法同樣采用支持向量機模型,不同 的是,他們計算灰度共生矩陣二階矩的平均梯度 和角度提取圖像塊的紋理特征[26]。該算法的整 體檢測 精 度 較 高,但 是 對 于 云 占 比 為 50% ~ 95%的圖像檢測精度較低。Sui等人進一步發 展了基于支持向量機的云檢測方法。他們引入 了前處理步驟,利用簡單線性迭代聚類(simple lineariterativeclustering,SLIC)算法將遙感圖 像分割為超像素,然后計算圖像 Gabor響應的 能量特性和光譜特性提取紋理特征[27]。該算法 在有限的光譜波段下具有較高的精度。An等 人提出的方法不再使用傳統的支持向量機模型, 他們訓練基于最小化數據特征及標簽之間殘差 的場景 學 習 器 實 現 對 云 層 的 精 確 分 割[28]。此 外,該算法相比于其他方法構建了更加復雜的圖 像特征空間,通過堆疊顏色特征、統計信息、紋理 特征和結構化信息建立圖像特征。 局部統計特征覆蓋了相比于紋理特征更廣 泛的特征類型,可以提取更高語義級別、任務特 異性更強的圖像特征,通過計算滑動窗內像素的 統計特征實現更可靠、更精細的云像素分類效 果。Yuan等人提出的云檢測方法基于支持向 量機,結合SLIC算法進行前處理將圖像分割成 超像素,以及 GrabCut算法進行后處理細化云 檢 測 結 果[29]。 他 們 基 于 詞 袋 (Bag-of-words,BOW)模型提取超像素的統計特征。Tan等人 提出的方法同樣基于支持向量機模型,并且同樣 結合了 SLIC 算法和 GrabCut算法[30]。不同的 是,他們提取了更加復雜的基于光譜、紋理、頻率 和線段的圖像特征。該算法的精度較高,但是耗 時較長,并且會將紋理精細的卷云識別為非云區 域。Deng等人提出的方法進一步發展了基于支 持向量機的云檢測算法[31]。他們使用更加復雜 的高級別圖像統計特征實現了更優的云層分割 性能。在采用SLIC算法分割圖像之后,提取自 然場景統計模型的空間域 NSS特征以及 Gabor 特征進行云像素分割。該算法的檢測精度和魯 棒性較好,但是對薄云相比厚云的檢測精度略 低。Tian等人將極限學習機(ELM)模型引入了 云檢測領域[32]。他們研究跨軌紅外探測器 CrIS 的 全 光 譜 分 辨 率 (FSR)數 據,選 取 CrIS 的 LWIR-SWIR 通道對的亮度溫度,提取 FSR 數 據的云檢測指標(FCDIs)特征,該算法的分類結 果良好,但是誤檢率較高。 相比于傳統的基于光譜閾值的云檢測方法 對獨立像素的分類潛力研究,基于經典機器學習 的方法開始了對遙感影像空間模式信息的挖掘 利用,這有效提高了分割模型對遙感影像信息的 利用率。同時,圖像特征的使用也大大降低了傳 統云檢測方法對衛星圖像數據光譜范圍的高度 依賴。但是,由于經典的機器學習模型通常需要 手工設計圖像特征,使得基于經典機器學習的方 法難以更加高效地提取遙感圖像更高級別的語 義信息。當面對復雜場景時,此類方法會面臨精 度下降的問題[9]。
**2.3 基于深度學習的云檢測方法 **
2012 年 開 始,以 AlexNet [7]、VGG [33]、 ResNet [34] 等 卷 積 神 經 網 絡 (convolutional neuralnetworks,CNNs)為代表的深 度 學 習 模 型 在 ILSVRC (imagenet large scale visual recognitionchallenge)競賽[35]中取得了突出表 現,并被廣泛應用于圖像分類、目標檢測等計算機視覺領域。深度學習方法在遙感圖像處理和 識別領域也取得了許多的成果,這也進一步推動 了基于深度學習的云檢測方法的快速發展。 早期基于深度學習的云檢測方法將遙感圖 像切分為多個圖像塊,并將云檢測任務建模為圖 像分類過程。其中,Mateo等人將原始遙感圖像 切分為33×33的圖像塊,并利用2層卷積神經 網絡來對圖像塊進行分類[36]。Xie等人同樣將 原始圖像進行切分,但通過使用 SLIC 方法生成 超像素,并使用雙分支卷積神經網絡來對超像素 進行分類[37]。基于圖像切分的方法使用卷積神 經網絡來自動提取圖像特征,通常可以獲得比經 典機器學習方法更高的云檢測精度;但是對于圖 像塊中同時包含云層和非云層像素的情況,會造 成分類的誤差。 為了解決上述問題,受到計算機視覺領域圖 像分 割 代 表 工 作 全 卷 積 神 經 網 絡 (fully convolutionalnetworks,FCN)[38]的 啟 發,基 于 深度 學 習 的 云 檢 測 方 法 逐 步 從 圖 像 塊 分 類 (patch-wiseclassification)發展為圖像像素分類 (pixel-wiseclassification)。Wu等人針對高分1 號寬幅遙感圖像(GF-1 WFV),通過融合 CNNs 提取的低層(low-level)和高層(high-level)的特 征來獲取云層的概率圖,并通過復合圖像濾波技 術來細化云檢測結果[39]。Yan等人利用修改的 殘差模型和金字塔池化模塊來實現云和云陰影 的檢測[40]。 傳統的FCN 模型在特征提取(即編碼器)階 段對圖像的下采樣很大程度上造成了圖像空間 信息的缺失。并且在上采樣(解碼器)階段直接 對低分辨率特征進行一次性的恢復,難以有效恢 復圖像的細節信息。Ronneberge等人通過在編 解 碼 器 之 間 加 入 特 征 融 合 以 及 反 卷 積 (transposeconvolution)的操作,提出了 U-Net 模型,很 大 程 度 上 提 升 了 圖 像 分 割 的 精 度[41]。 許多研究人員也提出了各類基于 U-Net模型的 云檢測方法。其中,Francis等人基于 U-Net框 架,結合了Inception等模塊,提出了 CloudFCN 云檢測方法[42]。Marc等人基于 U-Net框架,實 現了對云、云陰影等五種目標的檢測和分類,并 驗證了方法對不同衛星傳感器的泛化能力[43]。 Jeppesen等人同樣基于 U-Net框架提出了 RSNet(remotesensing network)模 型,僅 使 用 Landsat衛星圖像中的 RGB 通道,實現了高精 度的云 檢 測[44]。張 家 強 等 人 將 殘 差 模 塊 引 入 U-Net進行云檢測,提高了模型的表示能力和泛 化能力[45]。除 U-Net模型之外,另一種FCN 模 型的變體 SegNet模型[46]也被用于云檢測任務 當中。Chai等 人 基 于 SegNet分 割 模 型,針 對 Landsat衛星圖像實現了云和云陰影的檢測[47]。 么嘉棋等人將SegNet與隨機條件場相結合,提 升了云邊緣輪廓的檢測精度[48]。李佳欣等人以 SegNet模型為基礎,使用 POLDER多角度探測 衛星數據,構建了含有多角度信息的遙感圖像云 檢測模型[49]。上述工作大多直接使用自然圖像 的語義分割模型在云檢測數據集上進行訓練,沒 有針對云檢測的任務特點對模型結構進行特別 的優化和設計,因此對于云檢測任務當中出現的 諸如薄云、云邊緣、高反光的積雪和建筑物等難 樣本,上述方法通常表現較差。 近些年,隨著對云檢測任務的不斷研究,研 究人員發現,如何針對云檢測任務本身的特點和 難點,設計更加有效的多尺度特征提取和融合方 法,是提 升 云 檢 測 算 法 精 度 的 關 鍵 技 術 之 一。 Yang等人針對低分辨率遙感縮略圖像提出了 CDnet,通過設計特征金字塔、邊緣細化等模塊 提高了低分辨率圖像云檢測的檢測精度[50]。Li 等人則特別針對中高分辨率的遙感圖像,設計了 多尺度的卷積特征融合方法 MSCFF,提升了云 檢測精度,并在不同的傳感器所獲取的遙感圖像 上驗證了方法的有效性[51]。Shao等人針對云 檢測任務,在原有全卷積神經網絡的基礎上設計 了多尺度特征融合模塊,并提出了 MF-CNN 模 型,提升了對于薄云和厚云的檢測精度[52]。Yu 等人針對 GF-5圖像提出了多尺度融合門控云 檢 測 模 型 MFGNet(multiscalefusion gated network)[53]。MFGNet設計了雙分支 的 CNN 云檢測模型提取淺層和深層信息,并利用帶注意 力機制的金字塔池化和空間注意力機制來進行 特征融合,提升了云檢測的精度。Wang等人通過設計信息利用更充分的特征融合方式使云檢 測結果更準確精細[54]。Guo等人通過增加自適 應特征融合模塊以及高級語義信息指導流模塊, 結合空間維度和通道維度的注意力機制,提出了 CDNetV2模型,實現了云雪共存場景下的高精 度云檢測[55]。然而,過于復雜的特征融合方式 往往會導致模型的計算和內存復雜度過高。為 了解決 這 一 問 題,He等 人 提 出 了 DABNet方 法,通過使用 DCFP模塊動態提取多尺度特征, 并且設計了新的 BW 損失函數,提升云邊緣的 檢測精度[56]。 除上述對特征融合方式進行改進的工作外, 近期有部分工作針對云檢測任務和遙感圖像的特 點,提出了多種多樣的模型結構,取得了較好的云 檢測效果。其中,Li等人通過將云檢測過程結合 衛星成像機理,提出了 CloudMatting方法,可以 同時獲取云掩膜以及云層不透明度參數,可以一 定程度上估計云層的厚度[57]。Wu等人將經緯 度、海拔等地理信息和遙感圖像進行特征融合,提 出了 GeoInfoNet,實 現 了 對 云 和 雪 的 高 精 度 檢 測[58]。Wu等 人 提 出 了 場 景 聚 合 網 絡 (scene aggregationnetwork,SAN),其將場景信息與遙感 影響相融合,并利用融合的特征獲取高精度的云 檢測結果,同時可以實現對不同場景的分類[59]。 上述基于深度學習的云檢測方法相較于傳 統的基于光譜閾值和經典機器學習的方法可以 取得更高的云檢測精度,但是所有模型均需要使 用深度學習方法中常用的監督學習來進行訓練, 需要人工進行大量的像素級標注,十分耗費人 力。為了解決這一問題,近期許多基于弱監督學 習的云檢測方法被不斷提出。Zou等人通過生 成對 抗 網 絡 (generativeadversarialnetwork, GAN)來生成大量用于訓練的含云的遙感圖像, 從而避免了大量的人工標注[60]。Li等人將像素 級別的標注弱化為圖像塊(block-level)級別的 標注 信 息,并 提 出 了 全 局 卷 積 池 化 (global convolutionalpooling,GCP)運算來實現弱監督 下的云檢測[61]。仇一帆等同樣受到弱監督學習 的啟發,使用傳統的 CFmask方法(基于 C 語言 的 Fmask方法)代替人工標注來獲取云檢測標 注,而后基于SegNet模型進行云檢測[62]。 上述基于弱監督的云檢測方法雖然一定程 度上緩解了深度學習云檢測方法對于大量標注 信息的需求,但基于弱監督的云檢測方法精度相 較于主流的基于監督學習的云檢測方法存在一 定的差距。此外,深度學習方法本身對于大量訓 練樣本和計算資源的需求,仍是其在實際應用和 部署當中需要進一步解決的問題。表3對比了 本章提到的基于深度學習的云檢測方法的數據 來源和優缺點。
中科院自動化所等《圖像異常檢測研究現狀》綜述論文
圖像異常檢測是計算機視覺領域的一個熱門研究課題, 其目標是在不使用真實異常樣本的情況下, 利用現有的正 常樣本構建模型以檢測可能出現的各種異常圖像, 在工業外觀缺陷檢測, 醫學圖像分析, 高光譜圖像處理等領域有較高的研 究意義和應用價值. 本文首先介紹了異常的定義以及常見的異常類型. 然后, 本文根據在模型構建過程中有無神經網絡的參 與, 將圖像異常檢測方法分為基于傳統方法和基于深度學習兩大類型, 并分別對相應的檢測方法的設計思路、優點和局限性 進行了綜述與分析. 其次, 梳理了圖像異常檢測任務中面臨的主要挑戰. 最后, 對該領域未來可能的研究方向進行了展望.
//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200956
異常檢測是機器學習領域中一項重要的研究內容. 它是一種利用無標注樣本或者正常樣本構建檢測模型[1], 檢測與期望模式存在差異的異常樣本的方法. 異常檢測在各種領域中都有廣泛的應用, 如網絡入侵檢測, 信號處理, 工業大數據分析, 異常行為檢測和圖像與視頻處理等.
早期的異常檢測算法大多應用于數據挖掘領域, 而近年來隨著計算機視覺和深度學習等相關技術的發展, 許多相關工作將異常檢測引入到圖像處理領域來解決樣本匱乏情況下的目標檢測問題.
傳統的目標檢測算法中很大一部分方法屬于監督學習的范疇, 即需要收集足夠的目標類別樣本并進行精確的標注, 比如圖像的類別、圖像中目標的位置以及每一個像素點的類別信息等[2, 3]. 然而, 在許多應用場景下, 很難收集到足夠數量的樣本. 例如, 在表面缺陷檢測任務當中, 實際收集到的圖像大部分屬于正常的無缺陷樣本, 僅有少部分屬于缺陷樣本, 而需要檢測的缺陷類型又十分多樣, 這就使得可供訓練的缺陷樣本的數量十分有限[4]. 又比如在安檢任務當中, 不斷會有新的異常物品出現[5]. 而對于醫學圖像中病變區域的識別任務, 不僅帶有病變區域的樣本十分稀少, 對樣本進行手工標注也十分耗時[6]. 在這些情況下, 由于目標類別樣本的缺乏, 傳統的目標檢測和圖像分割的方法已不再適用.
而異常檢測無需任何標注樣本就能構建檢測模型的特點, 使得其十分適用于上述幾種情況[7]. 在圖像異常檢測當中, 收集正常圖像的難度要遠低于收集異常圖像的難度, 能顯著減少檢測算法在實際應用中的時間和人力成本. 而且, 在異常檢測中模型是通過分析與正常樣本之間的差異來檢測異常樣本, 這使得異常檢測算法對各種類型甚至是全新的異常樣本都具有檢測能力. 雖然標注樣本的缺失給圖像異常檢測帶來了許多問題和挑戰, 不過由于上述各種優點, 如表1所示, 已經有許多方法將圖像異常檢測應用在各種領域中.因此, 圖像異常檢測問題具有較高的研究價值和實際應用價值.
隨著對異常檢測研究的深入, 大量研究成果不斷涌現, 也有許多學者開展了一些綜述性工作. 如Ehret等[20]根據不同的圖像背景, 對大量圖像異常檢測方法進行了綜述, 不過對基于深度學習的方法還缺乏一定的梳理. Pang等[21]和Chalapathy[22]等則是從更為廣闊的角度對基于深度學習的異常檢測方法進行了梳理, 不過由于數據類型的多樣性, 這些工作對異常檢測在圖像中的應用還缺乏針對性. 陶顯等[23]對異常檢測在工業外觀缺陷檢測中的應用進行了一些總結, 不過重心落在有監督的檢測任務上, 對無監督的異常檢測方法欠缺一定的整理和歸納. 而本文則針對無監督的圖像異常檢測任務, 以工業、醫學和高光譜圖像作為具體應用領域, 對傳統和基于深度學習的兩大類方法進行梳理. 上述三種應用領域都有相同的特點即可使用的帶標注異常樣本數量稀少, 因此有許多工作針對這幾個領域內的異常目標檢測問題開展了研究. 本文整體結構安排如下: 第1節將介紹異常的定義以及常見的形態. 第2節根據模型構建過程中有無神經網絡的參與, 將現有的圖像異常檢測算法分為傳統方法和基于深度學習兩大類并分別進行綜述與分析. 第3節將介紹圖像異常檢測中常用的數據集. 第4節將介紹在圖像異常檢測當中面臨的主要挑戰. 第5節將綜合圖像異常檢測的研究現狀對未來可能的發展方向進行展望. 最后第6節將對本文內容進行總結.
異常, 又被稱為離群值, 是一個在數據挖掘領域中常見的概念[24], 已經有不少的工作嘗試對異常數據進行定義[25, 26]. Hawkins等[25]將異常定義為與其余觀測結果完全不同, 以至于懷疑其是由不同機制產生的觀測值. 一般情況下, 會將常見的異常樣本分為三個類別[1]: 點異常、上下文異常和集群異常. 點異常一般表現為某些嚴重偏離正常數據分布范圍的觀測值, 如圖1(a)所示的二維數據點, 其中偏離了正常樣本點的分布區域(N1, N2)的點(O1, O2和O3)即為異常點。
圖像數據中每一個像素點上的像素值就對應著一個觀測結果. 由于圖像內像素值的多樣性, 僅僅分析某一個點的像素值很難判斷其是否屬于異常. 所以在大部分圖像異常檢測任務中, 需要聯合分析圖像背景以及周圍像素信息來進行分類, 檢測的異常也大多屬于上下文或者模式異常. 當然, 這三種異常類型之間并沒有非常嚴格的界限. 例如, 有一部分方法就提取圖像的各類特征[27], 并將其與正常圖像的特征進行比較以判斷是否屬于異常, 這就將原始圖像空間內模式異常的檢測轉換到了特征空間內點異常的檢測. 圖像異常檢測任務根據異常的形態可以分為定性異常的分類和定量異常的定位兩個類別. 定性異常的分類, 類似于傳統圖像識別任務中的圖像分類任務, 即整體地給出是否異常的判斷, 無需準確定位異常的位置. 如圖2左上圖所示, 左側代表正常圖像, 右側代表異常圖像, 在第一行中, 模型僅使用服飾數據集(Fashion mixed national institute of standards and technology database, Fashion-MNIST)[28]中衣服類型的樣本進行訓練, 則其他類別的樣本圖像(鞋子等)對模型來說都是需要檢測的異常樣本, 因為他們在紋理、結構和語義信息等方面都不相同. 又或者如第二行所示, 異常圖像中的三極管與正常圖像之間只是出現了整體的偏移, 而三極管表面并不存在任何局部的異常區域, 難以準確地定義出現異常的位置, 更適合整體地進行異常與否的分類.
一般情況下圖像異常檢測的目標是通過無監督或者半監督學習的方式, 檢測與正常圖像不同的異常圖像或者局部異常區域. 近年來傳統機器學習方法已經在圖像異常檢測領域有了較多的應用, 而隨著深度學習技術的發展, 越來越多的方法嘗試結合神經網絡來實現圖像異常檢測. 根據在模型構建階段有無神經網絡的參與, 現有的圖像異常檢測方法可以分為基于傳統方法和基于深度學習的方法兩大類別. 如圖3所示, 基于傳統方法的異常檢測技術大致包含六個類別: 基于模板匹配、基于統計模型、基于圖像分解、基于頻域分析、基于稀疏編碼重構和基于分類面構建的異常檢測方法. 而基于深度學習的方法大致包含四個類別: 基于距離度量、基于分類面構建、基于圖像重構和結合傳統方法的異常檢測方法.
本文根據檢測原理將傳統圖像異常檢測方法分類為以下類別: 基于模板匹配、基于統計模型、基于圖像分解、基于頻域分析、 基于稀疏編碼重構和基于分類面構建的異常檢測方法. 傳統的圖像異常檢測算法大多會學習一個模型來描述正常圖像, 隨后在檢測階段根據待檢圖像與現有模型之間的匹配程度來進行異常檢測.
近年來, 深度學習在計算機視覺中的各個領域內都得到了長足的發展. 相比于傳統的方法, 深度學習由于其無需人工設計特征, 算法通用性更高等優點, 已經被廣泛引入到了圖像異常檢測任務當中. 現有的方法大致可以分為以下幾類: 基于距離度量的方法、基于分類面構建的方法、基于圖像重構的方法和與傳統方法相結合的方法.
圖像異常檢測相關的研究方興未艾, 目前有許多識別定性異常的相關文章是在傳統圖像分類數據集上開展的, 諸如MNIST[89], Fashion-MNIST[28], CIFAR-10[90]等等. 而對于定量異常的檢測任務, 所使用的數據集就與具體的應用領域相關, 如表4所示.
本文對近年來圖像異常檢測方法的發展狀況進行了回顧, 可以看到針對這一問題已經有了一定數量的研究. 關于未來可能的研究方向, 我們認為可以從以下幾個角度進行考慮:
1) 構建更為高效的異常檢測算法. 對于異常檢測而言, 不僅僅需要對待檢圖像進行正常與否的判斷, 往往還需要對異常區域進行定位. 比如工業圖像表面的缺陷檢測, 醫學圖像中病變區域的定位等等. 然而, 由于在訓練階段沒有任何關于異常區域的標注信息, 傳統的目標檢測或者圖像分割的方法無法直接應用到異常檢測任務中. 因此, 現有的方法大多采用的是將待檢圖像切分成一系列的圖像塊, 然后分塊進行異常與否的二分類來進行異常區域的定位. 而且, 為了獲得異常區域的準確輪廓, 這種切分的步長一般較小, 會顯著影響算法的效率. 現有的一些方法比如頻譜分析雖然能夠同時處理整張圖像以實現高效的定位, 但該方法對于圖像有一定的要求. 而基于深度學習的圖像重構方法雖然沒有上述約束, 但重構圖像中殘留的異常區域會影響后續的檢測. 因此, 如何兼顧檢測精度和實時性仍需進一步的探索.
2) 小樣本/半監督學習. 現階段的異常檢測方法大部分僅利用正常樣本來訓練模型. 但是在實際檢測任務中, 并不是完全無法獲取真實的異常樣本. 比如在工業外觀檢測任務中, 少量的缺陷樣本是可以獲取的. 而且對幾張缺陷圖像進行標注并不會顯著地增加訓練成本. 而且相關文獻[96]初步嘗試了在訓練過程中引入一張真實異常圖像并且獲得了一定的效果提升. 因此可以考慮結合小樣本學習的方法, 利用大量正常樣本和幾張真實的異常樣本來進行模型訓練以提高性能. 而有些異常檢測任務面臨的是嚴格無監督的環境[98], 連所用樣本是否屬于正常樣本也不可預知, 此時訓練樣本中存在的少量異常樣本就會對模型的訓練產生性能上的影響, 如果采用半監督的訓練方式, 對少量正常和異常樣本進行標注, 可以有效提升模型對潛在異常樣本的檢測能力. 但是這種方法還是會面臨一些問題, 比如采集到的異常樣本顯然不可能囊括所有類別, 如何讓模型兼顧對已知類型和未知類型異常樣本的檢測能力, 也是一個待研究的任務.
3) 更自適應的樣本合成方法. 在許多相關的文獻中[105, 108, 110]都已經證明了在模型訓練階段, 引入各種人工構造的異常圖像能有效地提升檢測性能. 即便構造的異常圖像與真實的異常圖像并不相同, 額外增加的異常圖像可以提升分類面的貼合度或者背景重構的穩定度, 這都可以增加模型對潛在異常圖像的檢測能力. 但相關文獻表明這些額外的異常樣本越接近與正常樣本模型的性能越好[105]. 然而, 相關方法中額外使用的異常圖像大多是采集自別的數據集, 這些圖像一般與正常樣本的分布之間存在較為明顯的差異. 雖然有方法嘗試采用梯度上升的方式合成異常圖像, 但該方法在更為復雜的圖像上的結果還有待論證. 因此, 如何針對各種正常圖像自適應地合成異常樣本也是一個有待解決的問題.
4) 輕量化網絡設計. 基于深度學習的異常檢測方法得益于神經網絡強大的學習能力往往能得到比傳統方法更優秀的性能, 但代價是需要更多的計算量和更長的處理時間. 對于一張待測圖像, 需要利用深層神經網絡提取特征向量以區分正常和異常樣本, 而且重構類的方法還需要再次經過第二個深層神經網絡來重構輸入圖像. 因此, 更為輕量化的網絡設計能夠減少方法的運行時間. 此外, 大多數方法在驗證時硬件條件較好, 而實際生產現場要部署同等算力的設備會需要較高的成本, 因此, 輕量化的網絡設計在減少計算量的同時, 還能降低對硬件設備的需求, 降低在實際應用中的成本. 針對這一問題, 現階段常用的有兩類方法: 1)輕量模型設計, 設計更為高效的網絡計算方法以實現減小模型體積的同時保持性能不變, 例如MobileNet[175]等. 也可以采用知識蒸餾的方式, 用復雜網絡的輸出作為目標來訓練一個更為簡單的網絡; 2)模型壓縮, 有通過剪枝的方式剔除冗余的權重以減小模型大小, 也有通過網絡量化的方式, 以犧牲一定精度為代價減小網絡參數所占空間, 其中二值化模型具有突出的壓縮性能, 更利于模型部署.
5) 更高精度的異常定位方法. 對于異常定位任務, 現有的方法大多會采用滑窗的方式將原始圖像分解成一系列小的圖像區域, 然后再利用異常分類的方式對每一個區域進行異常與否的分析. 這種分塊分析的方式無法精準地定位異常區域, 處于異常紋理與正常紋理的交界處的圖像區域也很有可能被誤判為異常. 而對于能直接定位異常的圖像重構類方法, 又會因自身重構精度的限制, 在正常紋理區域也會出現差異, 這也會影響對一些微弱異常區域的定位效果. 在醫學和工業等領域內異常目標的檢測中, 不僅要關注召回率, 異常檢測的精準率也十分重要. 但從現有方法的效果看, 許多方法主要在召回率方面性能優異, 因為在實際應用領域中漏檢的危害性遠高于誤檢. 但如果能夠在保證召回率的同時提高精準率, 盡可能減少后續人工或者算法的二次處理, 異常檢測方法將能更廣泛地應用在相關領域中. 因此, 如何精準定位異常區域并減少對正常圖像區域的誤判情況, 同樣也是一個值得研究的問題.
隨著深度學習的不斷發展,目標檢測技術逐步從基于傳統的手工檢測方法向基于深度神經網絡的檢測方法轉變。在眾多基于深度學習的目標檢測算法中,基于深度學習的單階段目標檢測算法因其網絡結構較簡單、運行速度較快以及具有更高的檢測效率而被廣泛運用。但現有的基于深度學習的單階段目標檢測方法由于小目標物體包含的特征信息較少、分辨率較低、背景信息較復雜、細節信息不明顯以及定位精度要求較高等原因,導致在檢測過程中對小目標物體的檢測效果不理想,使得模型檢測精度降低。針對目前基于深度學習的單階段目標檢測算法存在的問題,研究了大量基于深度學習的單階段小目標檢測技術。首先從單階段目標檢測方法的Anchor Box、網絡結構、交并比函數以及損失函數等幾個方面,系統地總結了針對小目標檢測的優化方法;其次列舉了常用的小目標檢測數據集及其應用領域,并給出在各小目標檢測數據集上的檢測結果圖;最后探討了基于深度學習的單階段小目標檢測方法的未來研究方向。
小目標檢測長期以來是計算機視覺中的一個難點和研究熱點。在深度學習的驅動下,小目標 檢測已取得了重大突破,并成功應用于國防安全、智能交通和工業自動化等領域。為了進一步促進小 目標檢測的發展,本文對小目標檢測算法進行了全面的總結,并對已有算法進行了歸類、分析和比較。首先,對小目標進行了定義,并概述小目標檢測所面臨的挑戰。然后,重點闡述從數據增強、多尺度學 習、上下文學習、生成對抗學習以及無錨機制等方面來提升小目標檢測性能的方法,并分析了這些方法 的優缺點和關聯性。之后,全面介紹小目標數據集,并在一些常用的公共數據集上對已有算法進行了 性能評估。最后本文對小目標檢測技術的未來發展方向進行了展望。
目標檢測是計算機視覺領域中的一個重要研究方向,也是其他復雜視覺任務的基礎。作為圖像理 解和計算機視覺的基石,目標檢測是解決分割、場景理解、目標跟蹤、圖像描述和事件檢測等更高層次 視覺任務的基礎。小目標檢測長期以來是目標檢測中的一個難點,其旨在精準檢測出圖像中可視化特 征極少的小目標(32 像素×32 像素以下的目標)。在現實場景中,由于小目標是的大量存在,因此小目 標檢測具有廣泛的應用前景,在自動駕駛、智慧醫療、缺陷檢測和航拍圖像分析等諸多領域發揮著重要 作用。近年來,深度學習技術的快速發展為小目標檢測注入了新鮮血液,使其成為研究熱點。然而,相 對于常規尺寸的目標,小目標通常缺乏充足的外觀信息,因此難以將它們與背景或相似的目標區分開 來。在深度學習的驅動下,盡管目標檢測算法已取得了重大突破,但是對于小目標的檢測仍然是不盡 人意的。在目標檢測公共數據集 MS COCO[1]上,小目標和大目標在檢測性能上存在顯著差距,小目標 的檢測性能通常只有大目標的一半。由此可見,小目標檢測仍然是充滿挑戰的。此外,真實場景是錯 綜復雜的,通常會存在光照劇烈變化、目標遮擋、目標稠密相連和目標尺度變化等問題,而這些因素對 小目標特征的影響是更加劇烈的,進一步加大了小目標檢測的難度。事實上,小目標檢測具有重要的 研究意義和應用價值。對于機場跑道,路面上會存在微小物體,如螺帽、螺釘、墊圈、釘子和保險絲等, 精準地檢測出跑道的這些小異物將避免重大的航空事故和經濟損失。對于自動駕駛,從汽車的高分辨 率場景照片中準確地檢測出可能引起交通事故的小物體是非常有必要的。對于工業自動化,同樣需要 小目標檢測來定位材料表面可見的小缺陷。對于衛星遙感圖像,圖像中的目標,例如車、船,可能只有 幾十甚至幾個像素。精確地檢測出衛星遙感圖像中的微小目標將有助于政府機構遏制毒品和人口販 運,尋找非法漁船并執行禁止非法轉運貨物的規定。
綜上所述,小目標檢測具有廣泛的應用價值和重 要的研究意義。對小目標檢測展開研究將有助于推動目標檢測領域的發展,擴寬目標檢測在現實世界 的應用場景,提高中國的科技創新水平和加快中國全面步入智能化時代的步伐。目標檢測作為計算機視覺的基礎研究,已有許多優秀的綜述發表。Zou 等[2]梳理了 400 多篇關于目 標檢測技術發展的論文,包括歷史上的里程碑檢測器、檢測框架、評價指標、數據集、加速技術和檢測應 用等諸多內容,系統而全面地展現了目標檢測這個領域的現狀。Oksuz 等[3]則從目標檢測中存在的類 別不平衡、尺度不平衡、空間不平衡以及多任務損失優化之間的不平衡等四大不平衡問題出發,對現有 的目標檢測算法進行了深入的總結。Zhao 等[4]在對比總結目標檢測中提及了小目標檢測所面臨的挑 戰。Agawal 等[5]則在目標檢測任務的主要挑戰中簡要介紹了幾種常用的小目標檢測方法。Chen 等[6] 立意于小目標檢測的 4 大支柱性方法,詳細描述了多尺度表示、上下文信息、超分辨率、區域建議以及其 他方法等 5 類具代表性的網絡,并介紹了部分小目標數據集。Tong 等[7]從多尺度學習、數據增強、訓練 策略、基于上下文的檢測和基于生成對抗網絡的檢測等 5 個維度全面回顧了基于深度學習的小目標檢 測方法,并在一些流行的小目標檢測數據集上,對當前經典的小目標檢測算法進行了比較分析。Liu 等[8]在總結對比最近用于小目標檢測的深度學習方法的基礎上,還簡單闡述了常規目標檢測、人臉檢 測、航空圖像目標檢測以及圖像分割等 4 個研究領域的相關技術。此外,還有文獻[9?10]等中文綜述中 對小目標檢測這一領域做了一定的總結工作。然而,文獻[2]主要對一般目標檢測算法進行了回顧,而 對小目標檢測方法的介紹甚少。文獻[3]則主要關注于目標檢測領域中存在的不平衡問題。文獻[4?5] 對目標檢測領域進行了全面的綜述總結,雖然有所涉及小目標檢測問題,但是并沒有進行全面的總結 和深入的分析。文獻[6?8]是針對小目標這一問題的綜述,對小目標檢測方法與性能評估進行了較為全 面的總結,但是在對小目標的定義、難點分析和性能評估等方面仍有所欠缺。文獻[9?10]作為中文的小 目標檢測綜述,分別對小目標檢測這一領域進行了總結綜述,但是對于小目標檢測方法的歸類與分析仍不夠深入。
與以往將小目標與常規目標等同對待或只關注特定應用場景下的目標檢測綜述不同,本文對小目 標檢測這一不可或缺且極具挑戰性的研究領域進行了系統且深入的分析與總結。本文不僅對小目標 的定義進行了解釋,也對小目標檢測領域存在的挑戰進行了詳細地分析和總結,同時重點闡述了小目 標檢測優化思路,包括數據增強、多尺度學習、上下文學習、生成對抗學習以及無錨機制以及其他優化 策略等。此外,本文還在常用的小目標數據集上分析對比了現有算法的檢測性能。最后,對本文內容 進行了簡要的總結,并討論了小目標檢測未來可能的研究方向和發展趨勢。
小目標檢測一直是目標檢測領域中的熱點和難點,其主要挑戰是小目標像素少,難以提取有效的特征信息.近年來,隨著深度學習理論和技術的快速發展,基于深度學習的小目標檢測取得了較大進展,研究者從網絡結構、訓練策略、數據處理等方面入手,提出了一系列用于提高小目標檢測性能的方法.該文對基于深度學習的小目標檢測方法進行詳細綜述,按照方法原理將現有的小目標檢測方法分為基于多尺度預測、基于數據增強技術、基于提高特征分辨率、基于上下文信息,以及基于新的主干網絡和訓練策略等5類方法,全面分析總結基于深度學習的小目標檢測方法的研究現狀和最新進展,對比分析這些方法的特點和性能,并介紹常用的小目標檢測數據集.在總體梳理小目標檢測方法的研究進展的基礎上,對未來的研究方向進行展望.
摘要: 目標檢測技術是光學遙感圖像理解的基礎問題, 具有重要的應用價值. 本文對遙感圖像目標檢測算法發展進行了梳理和分析. 首先闡述了遙感圖像目標檢測的特點和挑戰; 之后系統總結了典型的檢測方法, 包括早期的基于手工設計特征的算法和現階段基于深度學習的方法, 對于深度學習方法首先介紹了典型的目標檢測模型, 進而針對遙感圖像本身的難點詳細梳理了優化改進方案; 接著介紹了常用的檢測數據集, 并對現有方法的性能進行比較; 最后對現階段問題進行總結并對未來發展趨勢進行展望.
摘要:小目標檢測是針對圖像中像素占比少的目標,借助計算機視覺在圖像中找到并判斷該目標所屬類別的目標檢測技術。與目前應用較為成熟的大尺度、中尺度目標檢測不同,小目標自身存在著語義信息少、覆蓋面積小等先天不足,導致小目標的檢測效果并不理想,因此如何提高小目標的檢測效果依然是計算機視覺領域的一大難題。對近年來國內外小目標檢測領域研究成果進行了梳理,以小目標檢測技術為核心,首先對關于小目標的定義、檢測難點進行分析;隨后將能有效提高小目標檢測精度的方法進行分類匯總,并介紹了各種方法的應用與優缺點;最后對未來小目標檢測領域發展趨勢進行了預測與展望。