摘要
無人機(UAV)由于有效且靈活的數據采集，近年來已成為計算機視覺(CV)和遙感(RS)領域的研究熱點。由于最近深度學習(DL)的成功，許多先進的目標檢測和跟蹤方法已被廣泛應用于與無人機相關的各種任務，例如環境監測、精準農業、交通管理。本文全面綜述了基于DL的無人機目標檢測與跟蹤方法的研究進展和前景。具體來說，我們首先概述了挑戰，統計了現有的方法，并從基于DL的模型的角度提供了解決方案，這三個研究課題分別是:來自圖像的目標檢測，來自視頻的目標檢測，來自視頻的目標跟蹤。利用無人機主導目標檢測與跟蹤相關的開放數據集，利用4個基準數據集，采用最先進的方法進行性能評估。最后，對今后的工作進行了展望和總結。本文對基于DL的無人機目標探測與跟蹤方法進行了綜述，并對其進一步發展提出了一些思考，以期為來自遙感領域的研究人員提供參考。
//www.zhuanzhi.ai/paper/d2cb72aa7da469d6481f2fc9e9c6454a
引言
目標檢測與跟蹤作為遙感領域的重要研究課題，已廣泛應用于環境監測、地質災害檢測、精準農業、城市規劃等各種民用和軍事任務中。傳統的目標捕獲方法主要來源于衛星和載人飛行器。這兩種平臺通常在固定軌道上運行或按照預定的路徑運行，也可以根據委托的任務，如城市規劃和測繪，或在惡劣和不適宜居住的環境下進行物體觀測，如冰凍圈遙感，臨時改變運行路線并懸停。然而，衛星和載人飛機的成本以及飛行員潛在的安全問題不可避免地限制了此類平臺的應用范圍。
隨著微電子軟硬件的發展，導航和通信技術的更新，以及材料和能源技術的突破，無人機(UAV)平臺已經成為國際遙感領域的研究熱點，迅速崛起。無人機遙感系統是將科技與無人機、遙感、全球定位系統(GPS)定位和慣性測量單元(IMU)姿態確定手段相結合的高科技組合。它是一個以獲取低空高分辨率遙感圖像為目標的專用遙感系統。與傳統平臺相比，無人機彌補了由于天氣、時間等限制造成的信息損失。此外，無人機的高機動性使其能夠靈活地采集視頻數據，不受地理限制。這些數據無論在內容上還是時間上都信息量極大，目標檢測與跟蹤進入了大規模無人機[1]-[3]時代，在土地覆蓋測繪[4]、[5]、智慧農業[6]、[7]、智慧城市[8]、交通監控[9]、災害監控[10]等領域發揮著越來越重要的作用。
目標檢測與跟蹤作為計算機視覺的基本問題之一，采用了經典的基于統計的方法[11]、[12]。然而，當前海量數據影響了這些傳統方法的性能，造成了特征維數爆炸的問題，存儲空間和時間成本較高。由于深度神經網絡(deep neural network, DL)技術[13]-[15]的出現，可以用深度復雜網絡學習具有足夠樣本數據的層次特征表示。自2015年以來，深度神經網絡已經成為無人機目標檢測與跟蹤的主流框架[16]，[17]。圖1為無人機遙感在城市區域目標檢測與跟蹤的示例。經典的深度神經網絡主要分為兩大類:兩階段網絡和單階段網絡。其中，RCNN[18]、Fast RCNN[19]和Faster RCNN[20]等兩階段網絡首先需要生成region proposal (RP)，然后對候選區域進行分類和定位。[21] -[23]的一系列工作證明了兩級網絡適用于具有較高檢測精度的應用。一級網絡，如SSD[24]和YOLO[16]，[25]，[26]，直接產生類概率和坐標位置，比二級網絡更快。同樣，也有一些更快的輕量級網絡，如mobilenet SSD [27]， YOLOv3 [28]， ESPnet v2[29]等。因此，對高速需求的無人機遙感實際應用而言，一級快速輕量化網絡是最終的贏家。但對于低分辨率的數據，如果不對圖像進行預處理或對經典的神經網絡結構進行修改，則無法產生良好的效果。
本文以最大起飛重量小于30公斤的無人機為研究對象，通過總結最新發表的研究成果，對基于深度學習(DL)的無人機目標檢測與跟蹤方法進行了全面綜述，討論了關鍵問題和難點問題，并描述了未來的發展領域。本文的其余部分組織如下。第二節概述了無人機的統計情況和相關出版物。第六節介紹現有的基于無人機的遙感數據集。第三至第五節綜述了三個分支在基于無人機的目標檢測和跟蹤方面的現有基于DL的工作。第八節討論結論。
付費5元查看完整內容
相關內容
移動增強現實(AR)借助智能移動終端將虛擬信息和真實世界進行實時融合，能否實時準確地對 環境中需要增強的物體進行目標檢測直接決定了系統的性能。隨著深度學習的快速發展，近年來出現了大量的 基于深度學習的目標檢測方法。由于存在移動增強設備計算能力有限、能耗大、模型尺寸大以及卸載任務到邊 緣云端的網絡延遲嚴重等問題，將深度學習方法應用于移動 AR 的目標檢測是一項具有挑戰性的問題。首先從 Two stage 和 One stage 的 2 方面對目前深度學習目標檢測算法進行綜述；然后對面向移動 AR 的目標檢測系統 架構進行歸納分類，分析了基于本地端、云端或邊緣端和協作式的移動 AR 目標檢測系統并總結了各自的優勢 和局限性；最后對移動 AR 中目標檢測亟待解決的問題和未來發展方向進行了展望和預測。
付費5元查看完整內容
目標檢測是一種廣泛應用于工業控制、航空航天等安全攸關場景的重要技術。近年來，隨著深度學習在目標檢 測領域的應用，檢測的精度得到了較大提升，但由于深度學習固有的脆弱性，使得基于深度學習的目標檢測技術的可靠性 和安全性面臨新的挑戰。本文通過對近幾年面向目標檢測的對抗樣本生成及防御的研究進行分析和總結，致力于為增強目 標檢測模型的魯棒性和提出更好的防御策略提供思路。首先，介紹了對抗樣本的概念、產生原因以及目標檢測領域對抗樣 本生成常用的評價指標和數據集。然后根據對抗樣本生成的擾動范圍將攻擊分為全局擾動攻擊和局部擾動攻擊。在這個分 類基礎上，又分別從攻擊的目標檢測器類型、損失函數設計等六個方面對目標檢測的對抗樣本生成方法進行了分析和總結， 并通過實驗對比了幾種典型目標檢測對抗攻擊方法的性能，同時比較了這幾種方法的跨模型的遷移攻擊能力。此外，本文 還對目前目標檢測領域常用的對抗防御策略進行了分析和歸納。最后，總結了目標檢測領域對抗樣本的生成及防御所面臨 的挑戰，并對未來發展方向做出了展望。
付費5元查看完整內容
隨著卷積神經網絡（Convolutional Neural Network，CNN）的不斷發展，目標檢測作為計算機視覺中最基本的技術，已取得了令人矚目的進展。介紹了強監督目標檢測算法對數據集標注精度要求高的現狀。對基于弱監督學習的目標檢測算法進行研究，按照不同的特征處理方法將該算法歸為四類，并分析比較了各類算法的優缺點。通過實驗比
較了各類基于弱監督學習的目標檢測算法的檢測精度，并將其與主流的強監督目標檢測算法進行了比較。展望了基于弱監督學習的目標檢測算法未來的研究熱點。
付費5元查看完整內容
視頻目標檢測是為了解決每一個視頻幀中出現的目標如何進行定位和識別的問題。相比于圖像目標檢測，視頻具有高冗余度的特性，其中包含了大量的時空局部信息。隨著深度卷積神經網絡在靜態圖像目標檢測領域的迅速普及，在性能上相較于傳統方法顯示出了非常大的優越性，并逐步在基于視頻的目標檢測任務上也發揮了應有的作用。但現有的視頻目標檢測算法仍然面臨改進與優化主流目標檢測算法的性能、保持視頻序列的時空一致性、檢測模型輕量化等關鍵技術的挑戰。針對上述問題和挑戰，本文在調研大量文獻的基礎上系統地對基于深度學習的視頻目標檢測算法進行了總結。從基于光流、檢測等基礎方法對這些算法進行了分類，從骨干網絡、算法結構、數據集等角度細致探究了這些方法，結合在ImageNet VID等數據集上的實驗結果，分析了該領域具有代表性算法的性能優勢和劣勢，以及算法之間存在的聯系，對視頻目標檢測中待解決的問題與未來研究方向進行了闡述和展望。視頻目標檢測已成為眾多的計算機視覺領域學者追逐的熱點，將來會有更加高效，精度更高的算法被相繼提出，其發展方向也會越來越好。
付費5元查看完整內容
對流體圖像序列進行運動分析一直是流體力學、醫學和計算機視覺等領域的重要研究課題。從圖像對中提取的密集精確的速度矢量場能夠為許多領域提供有價值的信息，基于光流法的流體運動估計技術因其獨特的優勢成為一個有前途的方向。光流法可以獲得具有較高分辨率的密集速度矢量場，在小尺度精細結構的測量上有所改進，彌補了基于相關分析法的粒子圖像測速技術的不足。此外，光流方法還可以方便的引入各種物理約束，獲得較為符合流體運動特性的運動估計結果。為了全面反映基于光流法的流體運動估計算法的研究進展，本文在廣泛調研相關文獻的基礎上，對國內外具有代表性的論文進行了系統闡述。首先介紹了光流法的基本原理，然后將現有算法按照要解決的突出問題進行分類：結合流體力學知識的能量最小化函數，提高對光照變化的魯棒性，大位移估計和消除異常值。對每類方法，從問題解決過程的角度予以介紹，分析了各類突出問題中現有算法的特點和局限性。最后，總結分析了流體運動估計技術當前面臨的問題和挑戰，并對未來基于光流法的運動估計算法的研究方向和研究重點進行了展望。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210209&flag=1
付費5元查看完整內容
單幅圖像超分辨率重建是計算機視覺領域上的一個重要問題, 在安防視頻監控、飛機航拍以及衛星遙感等方面具有重要的研究意義和應用價值. 近年來, 深度學習在圖像分類、檢測、識別等諸多領域中取得了突破性進展, 也推動著圖像超分辨率重建技術的發展. 本文首先介紹單幅圖像超分辨率重建的常用公共圖像數據集; 然后重點闡述基于深度學習的單幅圖像超分辨率重建方向的創新與進展; 最后討論了單幅圖像超分辨率重建方向上存在的困難和挑戰, 并對未來的發展趨勢進行了思考與展望.
付費5元查看完整內容
目標檢測
·
摘要： 目標檢測算法應用廣泛,一直是計算機視覺領域備受關注的研究熱點。近年來,隨著深度學習的發展,3D圖像的目標檢測研究取得了巨大的突破。與2D目標檢測相比,3D目標檢測結合了深度信息,能夠提供目標的位置、方向和大小等空間場景信息,在自動駕駛和機器人領域發展迅速。文中首先對基于深度學習的2D目標檢測算法進行概述;其次根據圖像、激光雷達、多傳感器等不同數據采集方式,分析目前具有代表性和開創性的3D目標檢測算法;結合自動駕駛的應用場景,對比分析不同 3D 目標檢測算法的性能、優勢和局限性;最后總結了3D目標檢測的應用意義以及待解決的問題,并對 3D 目標檢測的發展方向和新的挑戰進行了討論和展望。
付費5元查看完整內容
【導讀】無人機計算機視覺相關檢測和跟蹤（ Vision Meets Drones）作為近年來的研究熱點之一，受到了廣泛關注，這兩年在各大會議上都有相關文章發表，并且也有一些競賽。當前，無人機收集的視覺數據的自動理解變得非常困難，并且其用途廣泛，天津大學的朱鵬飛博士、京東數字科技文瓏銀博士和紐約州立大學奧爾巴尼分校的獨大為博士等新出的這篇論文對近幾年基于無人機視覺檢測和跟蹤方法和數據集進行了全面綜述，總結了當前面臨的挑戰，提出了未來的發展方向和改進方向。作者也提供了一個大規模的無人機捕獲數據集VisDrone，其中包括四個track，即(1)圖像目標檢測，(2)視頻目標檢測，(3)單目標跟蹤，(4)多目標跟蹤。對每一個track進行了詳細得說明，并強調VisDrone是迄今為止發布的最大的此類數據集，可以在無人機平臺上對視覺分析算法進行廣泛的評估和研究。
//github.com/VisDrone/VisDrone-Dataset
【摘要】配備了攝像頭的無人機，或稱通用無人機，已經被快速部署到廣泛的應用領域，包括農業、航空攝影、快速遞送和監控。因此，對無人機收集的視覺數據的自動理解變得非常困難，這使得計算機視覺和無人機之間的聯系越來越緊密。為了促進和跟蹤目標檢測和跟蹤算法的發展，我們與歐洲計算機視覺大會(ECCV) 2018和IEEE計算機視覺國際會議(ICCV) 2019聯合舉辦了兩個挑戰研討會，吸引了全世界100多支團隊。我們提供了一個大規模的無人機捕獲數據集VisDrone，其中包括四個track，即(1)圖像目標檢測，(2)視頻目標檢測，(3)單目標跟蹤，(4)多目標跟蹤。本文首先對目標檢測和跟蹤數據集和基準進行了全面的回顧，并討論了收集具有完全手動標注的大規模基于無人機的目標檢測和跟蹤數據集的挑戰。之后，我們描述了VisDrone數據集，該數據集是從中國北方到南方的14個不同城市的各個城市/郊區捕獲的。VisDrone是迄今為止發布的最大的此類數據集，它可以在無人機平臺上對視覺分析算法進行廣泛的評估和研究。我們詳細分析了無人機大尺度目標檢測與跟蹤領域的現狀，總結了當前面臨的挑戰，提出了未來的發展方向和改進方向。我們預計這一基準將極大地促進無人機平臺視頻分析的研發。可以從以下網站下載所有數據集和實驗結果：
參考鏈接：
引言
近年來，計算機視覺因其在交通監控、智慧城市、人機交互等領域的廣泛應用而受到越來越多的關注。作為計算機視覺的兩個基本問題，目標檢測和跟蹤一直受到廣泛的關注。在導致計算機視覺技術快速發展的眾多因素和努力中，值得注意的貢獻應歸功于眾多基準和挑戰的發明或組織, 如目標檢測的Caltech [1], KITTI [2], ImageNet [3], 和MS COCO [4]，目標跟蹤的OTB [5], VOT [6], MOTChallenge [7], UA-DETRAC [8], 和LaSOT [9]。
配備攝像頭的無人機已經被快速部署到廣泛的領域，包括農業、航空攝影、快速投遞和監視。因此，對從這些無人機收集的視覺數據的自動理解變得非常困難，這將計算機視覺越來越緊密地帶入了無人機。盡管一般的計算機視覺算法(如檢測和跟蹤)取得了很大的進步，但這些算法通常不是處理無人機捕獲的序列或圖像的最佳算法。這是由于各種各樣的挑戰，如較大的視點變化和規模。因此，為無人機捕獲的視覺數據開發和評估新的視覺算法至關重要。然而，正如[10]和[11]所指出的，由于缺乏公開的大規模基準或數據集，對這一目標的研究受到嚴重限制。最近，[10]、[11]和[12]致力于構建無人機捕獲的數據集，這些數據集主要用于目標檢測或跟蹤。由于數據收集和標注方面的困難，這些數據集的大小和涉及的場景仍然有限。對現有或新開發的算法進行徹底的評估仍然是一個開放的問題。為了進一步推進無人機平臺視頻分析研究，需要一個更通用、更全面的基準。
因此，作者與歐洲計算機視覺大會(ECCV) 2018和IEEE國際計算機視覺大會(ICCV) 2019聯合舉辦了兩次挑戰研討會，吸引了全世界100多個研究團隊。挑戰集中在目標檢測和跟蹤的四個track。
-
圖像目標檢測跟蹤(DET)。
-
視頻目標檢測跟蹤(VID)。
-
單目標跟蹤(SOT)。
-
多目標跟蹤(MOT)。
值得注意的是，在研討會挑戰中，本文提供了一個大型數據集，包含179個視頻中263個視頻片段; 10個視頻中的264幀畫面; 209張靜態圖像。數據由不同的無人機相機記錄，包括位置(取自中國14個不同的城市)、環境(城市和農村地區)、物體(如行人、車輛和自行車)和密度(稀疏和擁擠的場景)。作者選擇了10類在無人機應用中最受關注的目標，比如行人和汽車。作者共仔細標注了來自這些類別的超過250萬個目標實例的邊界框。此外，還提供了一些重要的屬性，包括場景的可見性、目標類別和遮擋，以提高數據使用率。表1列出了所提供的無人機數據集與其他相關基準數據集在目標檢測和跟蹤方面的詳細比較。
在這篇論文中，作者重點關注了2018年和2019年的VisDrone挑戰，以及挑戰的方法、結果和評估方案，希望這一挑戰能在很大程度上促進相關領域的研究和發展。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191