題目: Deep Unfolding Network for Image Super-Resolution
摘要:
基于學習的單圖像超分辨率(SISR)方法不斷顯示出優于傳統的基于模型的方法的有效性和效率,這主要是由于端到端的訓練。但是,與基于模型的方法不同,基于模型的方法可以在統一的MAP(maximum a posteriori)框架下處理具有不同比例因子、模糊內核和噪聲級別的SISR問題,基于學習的方法通常缺乏這種靈活性。為了解決這一問題,本文提出了一種基于學習方法和基于模型方法的端到端可訓練展開網絡。具體來說,通過半二次分裂算法展開映射推理,可以得到由交替求解一個數據子問題和一個先驗子問題組成的固定次數的迭代。這兩個子問題可以用神經模塊來解決,從而得到一個端到端可訓練的迭代網絡。因此,所提出的網絡繼承了基于模型的方法的靈活性,在保持基于學習的方法的優點的同時,通過單一模型對不同尺度因子的模糊、有噪聲的圖像進行超分辨。大量的實驗證明了所提出的深度展開網絡在靈活性、有效性和可推廣性方面的優越性。
雖然生成對抗網絡在圖像合成任務中取得了巨大的成功,但眾所周知,它們很難適應不同的數據集,部分原因是訓練過程中的不穩定性和對超參數的敏感性。這種不穩定性的一個普遍接受的原因是,當真實和虛假分布的支持沒有足夠的重疊時,從鑒別器到發生器的梯度變得不具信息性。本文提出了多尺度梯度生成對抗網絡(MSG-GAN),這是一種簡單而有效的技術,通過允許梯度流從鑒別器到發生器在多個尺度上流動來解決這個問題。該技術為高分辨率圖像合成提供了一種穩定的方法,并作為常用的漸進生長技術的替代。結果表明,MSG-GAN在不同大小、分辨率和域的多種圖像數據集上,以及不同類型的丟失函數和結構上都穩定收斂,且具有相同的固定超參數集。與最先進的GAN相比,在我們嘗試的大多數情況下,我們的方法都能與之媲美或超越其性能。
近年來,許多手工設計和搜索的網絡被應用于語義分割。然而,以前的工作打算在預定義的靜態架構中處理各種規模的輸入,如FCN、U-Net和DeepLab系列。本文研究了一種概念上的新方法來緩解語義表示中的尺度差異,即動態路由。該框架根據圖像的尺度分布,生成與數據相關的路徑。為此,提出了一種可微選通函數——軟條件門,用于動態選擇尺度變換路徑。此外,通過對門控函數進行預算約束,可以通過端到端方式進一步降低計算成本。我們進一步放寬了網絡級路由空間,以支持每個轉發中的多路徑傳播和跳轉連接,帶來了可觀的網絡容量。為了證明動態特性的優越性,我們比較了幾種靜態架構,它們可以作為路由空間中的特殊情況進行建模。為了證明動態框架的有效性,我們在Cityscapes和PASCAL VOC 2012上進行了大量的實驗。代碼在此//github.com/yanwei-li/DynamicRouting
近年來,自適應推理因其計算效率高而受到越來越多的關注。不同于現有的工作,主要利用架構適應網絡冗余設計,在本文中,我們關注的空間冗余輸入樣本,并提出一種新穎的分辨率自適應網絡(RANet)。我們的動機是,低分辨率表示對于包含規范對象的“簡單”樣本的分類是足夠的,而高分辨率特征對于識別一些“困難”對象是有用的。在RANet中,輸入圖像首先被路由到一個輕量級的子網絡,這個子網絡能夠有效地提取粗糙的特征圖,并且具有高可信度預測的樣本將會很早就從這個子網絡中退出。只有那些先前預測不可靠的“硬”樣本才會激活高分辨率路徑。通過自適應地處理不同分辨率的特征,可以顯著提高RANet的計算效率。在三個分類基準測試任務(CIFAR-10、CIFAR-100和ImageNet)上的實驗證明了該模型在任意時間預測設置和預算批量分類設置中的有效性。
題目
深度殘差強化學習,Deep Residual Reinforcement Learning
關鍵字
強化學習,殘差算法,機器學習
簡介
我們在無模型和基于模型的強化學習設置中重新研究殘差算法。 我們建議使用雙向目標網絡技術來穩定殘差算法,從而產生DDPG的殘差版本,該版本明顯優于DeepMind Control Suite基準測試中的原始DDPG。 此外,我們發現殘差算法是解決基于模型的規劃中分布不匹配問題的有效方法。 與現有的TD(k)方法相比,我們的基于殘差的方法對模型的假設更弱,并且性能提升更大。
作者
Shangtong Zhang, Wendelin Boehmer, Shimon Whiteson,來自牛津大學
論文主題: Deep Learning for Image Super-resolution: A Survey
論文摘要: 圖像超分辨率(SR)是提高圖像分辨率的一類重要的圖像處理技術以及計算機視覺中的視頻。近年來,基于深度學習的圖像超分辨率研究取得了顯著進展技術。在這項調查中,我們旨在介紹利用深度學習的圖像超分辨率技術的最新進展系統的方法。一般來說,我們可以粗略地將現有的SR技術研究分為三大類:監督SR、非監督SR和領域特定SR。此外,我們還討論了一些其他重要問題,如公開可用的基準數據集和性能評估指標。最后,我們通過強調幾個未來來結束這項調查未來社區應進一步解決的方向和公開問題.