Learning the Degradation Distribution for Blind Image Super-Resolution
Zhengxiong Luo, Yan Huang, Shang Li, Liang Wang, Tieniu Tan
當前的超分方法大多采用合成的成對的高清-低清樣本來訓練模型。為了避免合成數據與真實數據之間存在域差異,之前大部分方法采用可學習的退化模型去自適應地生成合成數據。這些降質模型通常是確定性的(deterministic),即一張高清圖片只能用來合成一張低清樣本。然而,真實場景中的退化方法通常是隨機的,比如相機抖動造成的模糊和隨機噪聲。確定性的退化模型很難模擬真實退化方法的隨機性。針對這一問題,本文提出一種概率(probabilistic)退化模型。該模型把退化當作隨機變量進行研究,并通過學習從預定義的隨機變量到退化方法的映射來建模其分布。和以往的確定性退化模型相比,我們的概率退化模型可以模擬更加多樣的退化方法,從而生成更加豐富的高清-低清訓練樣本對,來幫助訓練更加魯棒的超分模型。在不同的數據集上的大量實驗表明,我們的方法可以幫助超分模型在復雜降質環境中取得更好的結果。
基于概率退化模型的盲超分模型結構圖
This paper reviews the NTIRE 2022 Challenge on Super-Resolution and Quality Enhancement of Compressed Video. In this challenge, we proposed the LDV 2.0 dataset, which includes the LDV dataset (240 videos) and 95 additional videos. This challenge includes three tracks. Track 1 aims at enhancing the videos compressed by HEVC at a fixed QP. Track 2 and Track 3 target both the super-resolution and quality enhancement of HEVC compressed video. They require x2 and x4 super-resolution, respectively. The three tracks totally attract more than 600 registrations. In the test phase, 8 teams, 8 teams and 12 teams submitted the final results to Tracks 1, 2 and 3, respectively. The proposed methods and solutions gauge the state-of-the-art of super-resolution and quality enhancement of compressed video. The proposed LDV 2.0 dataset is available at //github.com/RenYang-home/LDV_dataset. The homepage of this challenge (including open-sourced codes) is at //github.com/RenYang-home/NTIRE22_VEnh_SR.
In this paper, we summarize the 1st NTIRE challenge on stereo image super-resolution (restoration of rich details in a pair of low-resolution stereo images) with a focus on new solutions and results. This challenge has 1 track aiming at the stereo image super-resolution problem under a standard bicubic degradation. In total, 238 participants were successfully registered, and 21 teams competed in the final testing phase. Among those participants, 20 teams successfully submitted results with PSNR (RGB) scores better than the baseline. This challenge establishes a new benchmark for stereo image SR.
背景:圖像復原旨在從給定退化圖像(如噪聲圖像等)中恢復出視覺友好的高質干凈圖像。盡管近年來研究者們提出了大量的圖像恢復方法并在特定任務上取得了良好的效果,但這些方法在現實使用中仍然受以下問題困擾。首先,傳統的針對單一退化類型和程度的方法很難處理變化多樣的退化圖像。例如自動駕駛場景中,自動駕駛汽車可能會連續遇到雨天、霧天等,這就亟需一個統一模型能處理不同類型的退化。一體兩面地,圖像復原一般地需要以輸入圖片的退化類型和程度為先驗,從而選擇合適的方法。顯然,這樣的先驗在現實中往往難以獲得,難以適應性復雜變化的環境,且現實場景中的退化類型和程度往往會隨環境不斷變化。針對上述問題,本文擬研究以下挑戰問題,即如何構建神經網絡使得其能處理各種退化類型和程度未知的退化圖像。
創新:本文的創新主要包括以下兩方面的內容。首先,據知,該文在國際上較早地開展了針對如何設計統一的網絡以應對多種未知退化類型、程度的退化圖像的研究。其次,為應對上述挑戰,該文提出了一個退化導向的圖像恢復網絡,其能有效學習不同類型的退化表示。由于提出的方法在測試階段不需要任何輸入圖像的退化信息,所以其更接近實際的應用場景。
方法:針對本文所揭示的挑戰問題,該文提出了一種多合一的圖像恢復網絡(All-in-one Image Restoration Network, AirNet),其由基于對比學習的退化編碼器(Contrastive-Based Degradation Encoder, CBDE)和退化導向的恢復網絡(Degradation-Guided Restoration Network, DGRN)組成,具體如圖4所示。
對于一張未知退化類型和程度的輸入圖像,首先利用退化編碼器捕獲輸入圖像的退化表示,之后將輸入圖像與退化表示一起送入恢復網絡獲得最終的恢復圖像。具體地,對于退化編碼器,將來自同一幅圖像的圖像塊作為正樣本,來自不同退化類型圖像的圖像塊作為負樣本,通過對比學習的方法進行訓練以讓編碼器自適應的捕獲圖像的退化信息。對于圖像恢復網絡,其最基礎的模塊是退化導向模塊(Degradation-Guided Module, DGM)。由于處理不同的退化圖像所需的感受域和分布不同,論文在退化導向模塊中設計了可以變形卷積分支和空域特征以在退化特征的導向下自適應的調整網絡的感受域和分布。
結果:為驗證提出方法的有效性,論文在三種退化類型(圖像去噪、去雨、去霧)下,采用One-by-One和All-in-One兩種不同的實驗設定進行了對比實驗。具體地,在One-by-One設定下,論文將模型在各個退化類型上分別訓練和測試以驗證模型其在單一退化類型下的圖像恢復能力。在All-in-One設定下,論文將三種退化類型的數據合在一起進行訓練和測試以驗證其在多種退化類型下的圖像恢復能力。結果如表2所示,提出的方法在絕大多數的情況下獲得了最優的效果,證明了其有效性。更多結果和分析詳見原文。
總結:本文從實際應用場景出發,該文在國際上較早地研究了如何設計一個統一的網絡以應對多種退化類型未知、退化程度未知的圖像復原問題。為解決這一挑戰問題,該文設計了一個新的多合一圖像恢復網絡,并在實驗部分證明其有效性。
題目: Deep Unfolding Network for Image Super-Resolution
摘要:
基于學習的單圖像超分辨率(SISR)方法不斷顯示出優于傳統的基于模型的方法的有效性和效率,這主要是由于端到端的訓練。但是,與基于模型的方法不同,基于模型的方法可以在統一的MAP(maximum a posteriori)框架下處理具有不同比例因子、模糊內核和噪聲級別的SISR問題,基于學習的方法通常缺乏這種靈活性。為了解決這一問題,本文提出了一種基于學習方法和基于模型方法的端到端可訓練展開網絡。具體來說,通過半二次分裂算法展開映射推理,可以得到由交替求解一個數據子問題和一個先驗子問題組成的固定次數的迭代。這兩個子問題可以用神經模塊來解決,從而得到一個端到端可訓練的迭代網絡。因此,所提出的網絡繼承了基于模型的方法的靈活性,在保持基于學習的方法的優點的同時,通過單一模型對不同尺度因子的模糊、有噪聲的圖像進行超分辨。大量的實驗證明了所提出的深度展開網絡在靈活性、有效性和可推廣性方面的優越性。
論文主題: Deep Learning for Image Super-resolution: A Survey
論文摘要: 圖像超分辨率(SR)是提高圖像分辨率的一類重要的圖像處理技術以及計算機視覺中的視頻。近年來,基于深度學習的圖像超分辨率研究取得了顯著進展技術。在這項調查中,我們旨在介紹利用深度學習的圖像超分辨率技術的最新進展系統的方法。一般來說,我們可以粗略地將現有的SR技術研究分為三大類:監督SR、非監督SR和領域特定SR。此外,我們還討論了一些其他重要問題,如公開可用的基準數據集和性能評估指標。最后,我們通過強調幾個未來來結束這項調查未來社區應進一步解決的方向和公開問題.