計算成像是融合光學硬件、圖像傳感器和算法軟件于一體的新一代成像技術,突破了傳統成像技術信息獲取深度(高動態范圍、低照度)、廣度(光譜、光場、3維)的瓶頸。本文以計算成像的新設計方法、新算法和應用場景為主線,通過綜合國內外文獻和相關報道來梳理該領域的主要進展。從端到端光學算法聯合設計、高動態范圍成像、光場成像、光譜成像、無透鏡成像、低照度成像、3維成像和計算攝影等研究方向,重點論述計算成像領域的發展現狀、前沿動態、熱點問題和趨勢。端到端光學算法聯合設計包括了可微的衍射光學模型、折射光學模型以及基于可微光線追蹤的復雜透鏡的模型。高動態范圍光學成像從原理到光學調制、多次曝光、多傳感器融合以及算法等層面闡述不同方法的優點與缺點以及產業應用。光場成像闡述了基于光場的3維重建技術在超分辨、深度估計和3維尺寸測量等方面國內外的研究進展和產業應用,以及光場在粒子測速及3維火焰重構領域的研究進展。光譜成像闡述了當前多通道濾光片,基于深度學習和波長響應曲線求逆問題,以及衍射光柵、多路復用和超表面等優化實現高光譜的獲取。無透鏡成像包括平面光學元件的設計和優化,以及圖像的高質量重建算法。低照度成像包括低照度情況下基于單幀、多幀、閃光燈和新型傳感器的圖像噪聲去除等。3維成像主要包括針對基于主動方法的深度獲取的困難的最新的解決方案,這些困難包括強的環境光干擾(如太陽光)、強的非直接光干擾(如凹面的互反射、霧天的散射)等。計算攝影學是計算成像的一個分支學科,從傳統攝影學發展而來,更側重于使用數字計算的方式進行圖像拍攝。在光學鏡片的物理尺寸、圖像質量受限的情況下,如何使用合理的計算資源,繪制出用戶最滿意的圖像是其主要研究和應用方向。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20220607&flag=1
摘要: 圖像分辨率是衡量一幅圖像質量的重要標準. 在軍事、醫學和安防等領域, 高分辨率圖像是專業人士分析問題并做出準確判斷的前提. 根據成像采集設備、退化因素等條件對低分辨率圖像進行超分辨率重建成為一個既具有研究價值又極具挑戰性的難點問題. 本文首先簡述了圖像超分辨率重建的概念、重建思想和方法分類; 然后重點分析用于單幅圖像超分辨率重建的空域方法, 梳理基于插值和基于學習兩大類重建方法中的代表性算法及其特點; 之后結合用于超分辨率重建技術的數據集, 重點分析比較了傳統超分辨率重建方法和基于深度學習的典型超分辨率重建方法的性能, 分析表明, 基于深度學習的超分辨率重建方法較于傳統超分辨率重建方法在準確率與魯棒性方面性能更佳; 最后對圖像超分辨率重建未來的發展趨勢進行展望.
其中一項非常值得研究的工作,點云配準旨在將多個點云正確配準到同一個坐標系下,形成更完整的點云。點云配準要應對點云非結構化、不均勻、噪聲等的干擾,要以更短的時間消耗達到更高的精度,但是時間消耗和精度往往是矛盾的,但在一定程度上優化是有可能的。點云配準廣泛應用于三維重建、參數評估、定位和姿態估計等領域,在自動駕駛、機器人、增強現實等新興應用上也有點云配準技術的參與。為此研究者開發了多樣又巧妙的點云配準方法,本文梳理了一些比較有代表性的點云配準方法并進行分類總結,對比相關工作,盡量覆蓋點云配準的各種形式,并對一些方法的細節加以分析介紹。將現有方法歸納為非學習方法和基于學習的方法進行分析。非學習方法分為經典方法和基于特征的方法,基于學習的方法分為結合了非學習方法的部分學習方法和直接的端到端學習方法這兩類。分別介紹了各類方法的典型算法,對比總結算法特性,展望點云配準技術的未來研究方向。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=2024&journal_id=jig
在自動駕駛、機器人、數字城市、以及虛擬/混合現實等應用的驅動下,三維視覺在近年來得到了廣泛的關注。三維視覺研究主要圍繞深度圖像獲取、視覺定位與制圖、三維建模及三維理解等任務而展開。本文圍繞上述三維視覺任務,對國內外研究進展進行了詳細地綜合評述和對比分析。首先,針對深度圖像獲取任務,本文從非端到端立體匹配、端到端立體匹配及無監督立體匹配三個方面對立體匹配研究進展進行了回顧,從深度回歸網絡和深度補全網絡兩個方面對單目深度估計研究進展進行了回顧。其次,針對視覺定位與制圖任務,本文從端到端視覺定位和非端到端視覺定位兩個方面對大場景下的視覺定位研究進展進行了回顧,并從視覺同步定位與地圖構建和融合其它傳感器的同步定位與地圖構建兩個方面對同步定位與地圖構建的研究進展進行了回顧。再次,針對三維建模任務,本文從深度三維表征學習、深度三維生成模型、結構化表征學習與生成模型、以及基于深度學習的三維重建等四個方面對三維幾何建模研究進展進行了回顧,并從多視RGB重建、單深度相機和多深度相機方法、以及單視圖RGB方法等三個方面對人體動態建模研究進展進行了回顧。最后,針對三維理解任務,本文從點云語義分割和點云實例分割兩個方面對點云語義理解研究進展進行了回顧。在此基礎上,本文給出了三維視覺研究的未來發展趨勢,旨在為相關研究者提供參考。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=2022&journal_id=jig
基于圖像的三維重建,旨在從一組二維多視角圖像精確地恢復真實場景的幾何形狀,是計算機視覺和攝影測量中一個基礎且活躍的研究領域,具有重要的理論研究意義和應用價值,在智慧城市、虛擬旅游、數字遺產保護、數字地圖和導航等領域有著廣泛的應用。近年來,隨著圖像采集系統(包括智能手機、消費級數碼相機、民用無人機)的普及和互聯網的高速發展,用戶可以通過搜索引擎(例如谷歌)輕松獲取大量的關于某個室外場景的互聯網圖像。如何利用這些圖像進行高效、魯棒、準確的三維重建,為用戶提供真實感知和沉浸式體驗,已經成為研究熱點,引發了學術界和產業界的廣泛關注,現已涌現多種多樣的解決方法。特別地,深度學習的出現為大規模室外圖像三維重建的研究提供了新的契機。本文首先闡述大規模室外圖像三維重建的基本串行過程,包括圖像檢索、圖像特征點匹配、運動恢復結構、多視圖立體。然后,本文將區分傳統方法和基于深度學習的方法,系統而全面地回顧大規模室外圖像三維重建技術在各個重建子過程中的發展和應用。之后,本文詳細總結各個子過程中適用于大規模室外場景的數據集和評價指標。最后,本文將介紹現有主流的開源和商業三維重建系統以及國內相關產業的發展現狀。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=2020&journal_id=jig
摘要: 圖像修復是計算機視覺領域中極具挑戰性的研究課題。近年來,深度學習技術的發展推動了圖像修復性能的顯著提升,使得圖像修復這一傳統課題再次引起了學者們的廣泛關注。文章致力于綜述圖像修復研究的關鍵技術。由于深度學習技術在解決“大面積缺失圖像修復”問題時具有重要作用并帶來了深遠影響,文中在簡要介紹傳統圖像修復方法的基礎上,重點介紹了基于深度學習的修復模型,主要包括模型分類、優缺點對比、適用范圍和在常用數據集上的性能對比等,最后對圖像修復潛在的研究方向和發展動態進行了分析和展望。
自動駕駛車輛的本質是輪式移動機器人,是一個集模式識別、環境感知、規劃決策和智能控制等功能于一體的綜合系統。人工智能和機器學習領域的進步極大推動了自動駕駛技術的發展。當前主流的機器學習方法分為:監督學習、非監督學習和強化學習3種。強化學習方法更適用于復雜交通場景下自動駕駛系統決策和控制的智能處理,有利于提高自動駕駛的舒適性和安全性。深度學習和強化學習相結合產生的深度強化學習方法成為機器學習領域中的熱門研究方向。首先對自動駕駛技術、強化學習方法以及自動駕駛控制架構進行簡要介紹,并闡述了強化學習方法的基本原理和研究現狀。隨后重點闡述了強化學習方法在自動駕駛控制領域的研究歷史和現狀,并結合北京聯合大學智能車研究團隊的研究和測試工作介紹了典型的基于強化學習的自動駕駛控制技術應用,討論了深度強化學習的潛力。最后提出了強化學習方法在自動駕駛控制領域研究和應用時遇到的困難和挑戰,包括真實環境下自動駕駛安全性、多智能體強化學習和符合人類駕駛特性的獎勵函數設計等。研究有助于深入了解強化學習方法在自動駕駛控制方面的優勢和局限性,在應用中也可作為自動駕駛控制系統的設計參考。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210103&flag=1
圖像質量評價一直是圖像處理和計算機視覺領域的一個基礎問題,圖像質量評價模型也廣泛應用于圖像/視頻編碼、超分辨率重建和圖像/視頻視覺質量增強等相關領域。圖像質量評價主要包括全參考圖像質量評價、半參考圖像質量評價和無參考圖像質量評價。全參考圖像質量評價和半參考圖像質量評價分別指預測圖像質量時參考信息完全可用和部分可用,而無參考圖像質量評價是指預測圖像質量時參考信息不可用。雖然全參考和半參考圖像質量評價模型較為可靠,但在計算過程中必須依賴參考信息,使得應用場景極為受限。無參考圖像質量評價模型因不需要依賴參考信息而有較強的適用性,一直都是圖像質量評價領域研究的熱點。本文主要概述2012—2020年國內外公開發表的無參考圖像質量評價模型,根據模型訓練過程中是否需要用到主觀分數,將無參考圖像質量評價模型分為有監督學習和無監督學習的無參考圖像質量評價模型。同時,每類模型分成基于傳統機器學習算法的模型和基于深度學習算法的模型。對基于傳統機器學習算法的模型,重點介紹相應的特征提取策略及思想;對基于深度學習算法的模型,重點介紹設計思路。此外,本文介紹了圖像質量評價在新媒體數據中的研究工作及圖像質量評價的應用。最后對介紹的無參考圖像質量評價模型進行總結,并指出未來可能的發展方向。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210203&flag=1
摘要: 目標檢測算法應用廣泛,一直是計算機視覺領域備受關注的研究熱點。近年來,隨著深度學習的發展,3D圖像的目標檢測研究取得了巨大的突破。與2D目標檢測相比,3D目標檢測結合了深度信息,能夠提供目標的位置、方向和大小等空間場景信息,在自動駕駛和機器人領域發展迅速。文中首先對基于深度學習的2D目標檢測算法進行概述;其次根據圖像、激光雷達、多傳感器等不同數據采集方式,分析目前具有代表性和開創性的3D目標檢測算法;結合自動駕駛的應用場景,對比分析不同 3D 目標檢測算法的性能、優勢和局限性;最后總結了3D目標檢測的應用意義以及待解決的問題,并對 3D 目標檢測的發展方向和新的挑戰進行了討論和展望。