目標分割和目標跟蹤是計算機視覺領域的基礎研究領域。這兩個主題很難處理一些常見的挑戰,如遮擋、變形、運動模糊、縮放變化等。前者包含異構對象、交互對象、邊緣模糊性和形狀復雜性;后者在處理快速運動、不可見和實時處理方面存在困難。結合視頻目標分割和跟蹤兩個問題,可以克服各自的困難,提高視頻目標的性能。VOST可廣泛應用于視頻摘要、高清視頻壓縮、人機交互、無人駕駛汽車等實際應用中。本綜述旨在提供最先進的VOST方法的全面回顧,將這些方法分類為不同的類別,并確定新的趨勢。首先,我們將VOST方法大致分為視頻對象分割(VOS)和基于分割的對象跟蹤(SOT)。根據分割和跟蹤機制,將每個類別進一步劃分為不同的類型。在此基礎上,給出了各時間節點的代表性VOS和SOT方法。其次,對不同方法的技術特點進行了詳細的討論和概述。第三,總結了相關視頻數據集的特點,并給出了各種評價指標。最后,我們指出了一系列有趣的工作,并得出了自己的結論。
題目: A Survey of Single-Scene Video Anomaly Detection
簡介: 這篇調查文章總結了關于單個場景的視頻饋送中的異常檢測主題的研究趨勢。 我們討論了各種問題的表述,公開可用的數據集和評估標準。 我們將過去的研究歸類并歸類為一個直觀的分類法。 最后,我們還提供了最佳實踐,并為將來的研究提供了一些可能的方向。
主題: Learning Video Object Segmentation from Unlabeled Videos
摘要:
我們提出了一種新的視頻對象分割方法(VOS),解決了從未標記的視頻中學習對象模式的問題,而現有的方法大多依賴于大量的帶注釋的數據。我們引入了一個統一的無監督/弱監督學習框架,稱為MuG,它全面地捕捉了VOS在多個粒度上的內在特性。我們的方法可以幫助提高對VOS中可視模式的理解,并顯著減少注釋負擔。經過精心設計的體系結構和強大的表示學習能力,我們的學習模型可以應用于各種VOS設置,包括對象級零鏡頭VOS、實例級零鏡頭VOS和單鏡頭VOS。實驗表明,在這些設置下,有良好的性能,以及利用無標記數據進一步提高分割精度的潛力。
【導讀】隨著近幾年來AI技術的飛速發展,人們將計算機視覺技術應用于自動駕駛,使得自動駕駛的應用變得可行,很大程度地推進了自動駕駛技術的發展。本文介紹一篇關于自動駕駛計算機視覺的全面綜述,覆蓋了該領域相關的問題、數據集和最先進的技術。
近幾年來,我們目睹了AI相關領域取得的巨大的進步,如計算機視覺、機器學習、自動駕駛等。隨著這些領域的飛速發展,初學者很難了解領域最新的進展。在自動駕駛計算機視覺領域,盡管出現了一些關于特定子問題的綜述,但尚未發布關于問題、數據集和方法的全面和綜合的綜述。
綜述《Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art》試圖通過提供對目前最先進的相關技術和數據集的調研來縮小人們對該領域的認知鴻溝。綜述既包括了已有的最相關的文獻,也包含了一些特殊主題目前最先進的成果,如識別、重建、運動估計、跟蹤、場景理解和自動駕駛端到端學習。綜述還包含了對最先進技術在KITTI、MOT和Cityscapes等幾個具有挑戰性的基準數據集上的性能的分析。
另外,該綜述還討論了一些開放問題和目前的研究挑戰。綜述還提供了一個網站,方便人們訪問相關的主題,以及提供額外的信息。
綜述首先提供了自動駕駛的簡要歷史,然后介紹了相機模型和校準技術。接著,綜述介紹了與自動駕駛相關的數據集(重點關注與感知相關的數據集)、相關的感知任務和最新的解決方法。尤其是,綜述回顧了目標檢測、目標跟蹤、語義(實體)分割、重建、運動估計和場景理解。每個章節包含了問題定義、重要方法和主要設計選擇、頂尖技術在流行數據集上的定性和定量分析以及關于領域最先進技術的討論。最終,綜述提供了關于最先進端到端自動駕駛模型的概覽。
綜述的目錄大致如下:
題目: Deep Learning for Visual Tracking: A Comprehensive Survey
簡介: 視覺目標跟蹤是計算機視覺領域中最受關注和最具挑戰性的研究課題之一。考慮到這個問題的不適定性質及其在現實世界中廣泛應用的情況,已經建立了大量的大型基準數據集,在這些數據集上已經開發了相當多的方法,并在近年來取得了顯著進展——主要是最近基于深度學習(DL)的方法。這項綜述的目的是系統地調查當前基于深度學習的視覺跟蹤方法、基準數據集和評估指標。它也廣泛地評價和分析領先的視覺跟蹤方法。首先,從網絡體系結構、網絡利用、視覺跟蹤網絡訓練、網絡目標、網絡輸出、相關濾波優勢利用六個關鍵方面,總結了基于dll的方法的基本特征、主要動機和貢獻。其次,比較了常用的視覺跟蹤基準及其各自的性能,總結了它們的評價指標。第三,在OTB2013、OTB2015、VOT2018和LaSOT等一系列成熟的基準上,全面檢查最先進的基于dll的方法。最后,通過對這些最先進的方法進行定量和定性的批判性分析,研究它們在各種常見場景下的優缺點。它可以作為一個溫和的使用指南,讓從業者在什么時候、在什么條件下選擇哪種方法。它還促進了對正在進行的問題的討論,并為有希望的研究方向帶來光明。
論文題目: Deep Learning in Video Multi-Object Tracking: A Survey
論文摘要: 多目標跟蹤(MOT)的問題在于遵循序列中不同對象(通常是視頻)的軌跡。 近年來,隨著深度學習的興起,提供解決此問題的算法得益于深度模型的表示能力。 本文對采用深度學習模型解決單攝像機視頻中的MOT任務的作品進行了全面的調查。 確定了MOT算法的四個主要步驟,并對這些階段的每個階段如何使用深度學習進行了深入的回顧。 還提供了對三個MOT數據集上提出的作品的完整實驗比較,確定了表現最好的方法之間的許多相似之處,并提出了一些可能的未來研究方向。
論文題目: A Review of Visual Trackers and Analysis of its Application to Mobile Robot
論文摘要: 近年來,計算機視覺受到了極大的關注,這是機器人獲取外部環境信息的重要部分之一。視覺跟蹤器可以為移動機器人提供必要的物理和環境參數,其性能與機器人的實際應用有關。這項研究提供了有關視覺跟蹤器的全面調查。在簡要介紹之后,我們首先分析了視覺跟蹤器的基本框架和難點。然后介紹了生成方法和判別方法的結構,并總結了跟蹤器中使用的特征描述符,建模方法和學習方法。后來,我們從三個方向審查并評估了判別式跟蹤器的最新進展:相關濾波器,深度學習和卷積特征。最后,分析了移動機器人視覺跟蹤器的研究方向,并概述了移動機器人視覺跟蹤器的未來趨勢。
論文題目: Object Detection in 20 Years: A Survey
論文簡介:
目標檢測作為計算機視覺中最基本和最具挑戰性的問題之一,近年來受到了極大的關注。它在過去二十年的發展可以看作是計算機視覺歷史的縮影。如果我們將當今的物體檢測視為在深度學習的力量下的技術美學,那么將時光倒流到20年前,我們將見證冷武器時代的智慧。鑒于目標檢測技術的技術發展,本文跨越了四分之一世紀的時間(從1990年代到2019年)廣泛地審查了400多篇論文。本文涵蓋了許多主題,包括歷史上的里程碑檢測器,檢測數據集,度量,檢測系統的基本構建塊,加速技術以及最新的檢測技術水平。本文還回顧了一些重要的檢測應用程序,例如行人檢測,面部檢測,文本檢測等,并對它們的挑戰以及近年來的技術改進進行了深入分析。
多目標跟蹤(MOT)的問題在于在一個序列中跟蹤不同目標的軌跡,通常是視頻。近年來,隨著深度學習的興起,為這一問題提供解決方案的算法受益于深度模型的表示能力。本文對利用深度學習模型解決單攝像機視頻MOT任務的作品進行了全面的綜述。提出了MOT算法的四個主要步驟,并對深度學習在每個階段的應用進行了深入的回顧。本文還對三種MOTChallenge數據集上的現有工作進行了完整的實驗比較,確定了一些最優的方法之間的相似性,并提出了一些可能的未來研究方向。
題目: Deep Learning in Video Multi-Object Tracking: A Survey
簡介: 多對象跟蹤(MOT)的問題在于遵循序列中不同對象(通常是視頻)的軌跡。 近年來,隨著深度學習的興起,提供解決此問題的算法得益于深度模型的表示能力。 本文對采用深度學習模型解決單攝像機視頻中的MOT任務的作品進行了全面的調查。 確定了MOT算法的四個主要步驟,并對這些階段的每個階段如何使用深度學習進行了深入的回顧。 還提供了對三個MOTChallenge數據集上提出的作品的完整實驗比較,確定了表現最好的方法之間的許多相似之處,并提出了一些可能的未來研究方向。