題目： Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images
簡介：
盡管最近幾年人臉旋轉取得了快速進展，但是缺乏高質量的訓練數據仍然是現有方法的一大障礙。當前的生成模型嚴重依賴于具有同一人的多視圖圖像的數據集。因此，它們的生成結果受到數據源的規模和范圍的限制。為了克服這些挑戰，我們提出了一種新穎的無監督框架，該框架可以僅使用野外的單視圖圖像集來合成逼真的旋轉面部。我們主要在于，在3D空間中來回旋轉面并將其重新渲染到2D平面可以充當強大的自我監督。我們利用3D人臉建模和高分辨率GAN的最新進展來構成我們的構建塊。由于可以在不損失細節的情況下將3D旋轉和面部渲染應用到任意角度，因此我們的方法非常適用于現有方法不足的野外場景（即沒有可用的配對數據）。廣泛的實驗表明，與廣泛使用的姿勢和領域相比，我們的方法具有比最先進的方法更好的合成質量和身份保留功能。此外，我們驗證了旋轉和渲染框架自然可以充當有效的數據增強引擎，即使在強大的基線模型上也可增強現代人臉識別系統.
付費5元查看完整內容
相關內容
香港中文大學 (The Chinese University of Hong Kong)，簡稱港中文 (CUHK)，于1963年由新亞書院、聯合書院和崇基學院合并而成。
基于卷積神經網絡的方法在語義分割方面取得了顯著的進展。然而，這些方法嚴重依賴于注釋數據，這是勞動密集型的。為了解決這一限制，使用從圖引擎生成的自動注釋數據來訓練分割模型。然而，從合成數據訓練出來的模型很難轉換成真實的圖像。為了解決這個問題，以前的工作已經考慮直接將模型從源數據調整到未標記的目標數據(以減少域間的差距)。盡管如此，這些技術并沒有考慮到目標數據本身之間的巨大分布差異(域內差異)。在這項工作中，我們提出了一種兩步自監督域適應方法來減少域間和域內的差距。首先，對模型進行域間自適應;在此基礎上，我們使用基于熵的排序函數將目標域分成簡單和困難的兩部分。最后，為了減小域內間隙，我們提出了一種自監督自適應技術。在大量基準數據集上的實驗結果突出了我們的方法相對于現有的最先進方法的有效性。
付費5元查看完整內容
題目： Self-Supervised Viewpoint Learning From Image Collections
簡介：
訓練深度神經網絡以估計對象的視點需要標記大型訓練數據集。但是，手動標記視點非常困難，容易出錯且耗時。另一方面，從互聯網（例如汽車或人臉）上挖掘許多未分類的物體類別圖像相對容易。我們試圖回答這樣的研究問題：是否可以僅通過自我監督將這種未標記的野外圖像集合成功地用于訓練一般對象類別的視點估計網絡。這里的自我監督是指網絡具有的唯一真正的監督信號是輸入圖像本身。我們提出了一種新穎的學習框架，該框架結合了“綜合分析”范式，利用生成網絡以視點感知的方式重構圖像，并具有對稱性和對抗性約束，以成功地監督我們的視點估計網絡。我們表明，對于人臉，汽車，公共汽車和火車等幾個對象類別，我們的方法在完全監督方法上具有競爭性。我們的工作為自我監督的觀點學習開辟了進一步的研究，并為其提供了堅實的基礎。
付費5元查看完整內容
我們提出了一種單一圖像視圖合成方法，允許從單一輸入圖像生成新的場景視圖。這是一個挑戰，因為它需要從一個單一的圖像全面理解3D場景。因此，目前的方法通常使用多幅圖像，在地面真實深度上訓練，或者局限于合成數據。為此，我們提出了一種新穎的端到端模型;它被訓練在真實的圖像上，沒有使用任何真實的3D信息。為此，我們引入了一種新的可微點云渲染器，用于將潛在的3D點云特征轉換為目標視圖。我們的細化網絡對投影特征進行解碼，插入缺失區域，生成逼真的輸出圖像。我們的生成模型內部的3D組件允許在測試時對潛在特征空間進行可解釋的操作，例如，我們可以從單個圖像動畫軌跡。與以前的工作不同，我們可以生成高分辨率的圖像，并推廣到其他輸入分辨率。我們在Matterport、Replica和RealEstate10K數據集上超越基線和前期工作。
付費5元查看完整內容
真實的顏色紋理生成是RGB-D表面重建的一個重要步驟，但由于重建幾何形狀的不準確性、相機姿態的不正確以及與視圖相關的成像偽影，在實踐中仍然具有挑戰性。在這項工作中，我們提出了一種利用從弱監督視圖中獲得的條件對抗損失來生成顏色紋理的新方法。具體地說，我們提出了一種方法，通過學習一個目標函數來生成近似表面的真實感紋理，即使是在未對齊的圖像中。我們的方法的關鍵思想是學習一個基于補丁的條件鑒別器，它可以引導紋理優化對不匹配的容忍度。我們的鑒別器采用一個合成的視圖和一個真實的圖像，并在一個廣義的真實感定義下評估合成的圖像是否真實。我們通過提供輸入視圖的“真實”示例對及其未對齊的版本來訓練鑒別器，這樣學習到的競爭損失將能夠容忍掃描的錯誤。在定量或定性評價下對合成和真實數據進行的實驗表明，我們的方法與現有方法相比具有優勢。我們的代碼是公開的視頻演示。
付費5元查看完整內容
人臉識別系統在實際應用中往往會遇到一些不可見的領域，由于其泛化能力較差而導致性能不佳。例如，一個訓練有素的webface數據模型不能處理監視場景中的ID和Spot任務。在本文中，我們的目標是學習一個不需要任何模型更新就可以直接處理新的未知域的廣義模型。為此，我們提出了一種新的基于元學習的人臉識別方法——元人臉識別(Meta face recognition, MFR)。MFR以元優化目標綜合源/目標域移位，這要求模型不僅要在綜合的源域上學習有效的表示，還要在綜合的目標域上學習有效的表示。具體來說，我們通過域級抽樣策略構建域移位批次，并通過優化多域分布得到合成源/目標域上的反向傳播梯度/元梯度。進一步結合梯度和元梯度對模型進行更新，提高了模型的泛化能力。此外，我們提出了兩種評估廣義人臉識別的基準。在我們的基準上進行的實驗驗證了我們的方法與幾個基線和其他技術水平的比較的普遍性。提出的基準將在//github.com/cleardusk/MFR上提供。
付費5元查看完整內容
主題： Multimodal Style Transfer via Graph Cuts
摘要： 最近神經風格轉換方法中廣泛使用的一個假設是，圖像風格可以用深度特征（如Gram或協方差矩陣）的全局統計來描述，而其他方法則是通過將其分解成局部像素或神經斑塊來表示風格。盡管已有的研究進展，大多數現有的方法都對風格圖像的語義模式進行了統一的處理，對復雜的風格產生了不愉快的影響。在本文中，我們介紹了一種更靈活和通用的通用風格轉換技術：Mull TyTalm風格轉移（MST）。MST明確地考慮了內容和樣式圖像中語義模式的匹配，特別是將樣式圖像特征聚類到子樣式組件中，子樣式組件在圖割公式下與局部內容特征匹配。訓練一個重建網絡來傳遞每個子樣式并呈現最終的樣式化結果。我們還推廣了MST來改進現有的方法。大量實驗證明了MST的有效性、魯棒性和靈活性。
作者簡介： Yulun Zhang，博士，他的研究興趣廣泛地包括稀疏/協作表示、深度學習及其在計算機視覺任務中的應用。具體來說，這些應用領域包括圖像處理（圖像恢復、生成和樣式轉換）和視覺識別（人臉識別/驗證）。個人主頁：//yulunzhang.com/。等
付費5元查看完整內容
Recent advances in Graph Convolutional Neural Networks (GCNNs) have shown their efficiency for non-Euclidean data on graphs, which often require a large amount of labeled data with high cost. It it thus critical to learn graph feature representations in an unsupervised manner in practice. To this end, we propose a novel unsupervised learning of Graph Transformation Equivariant Representations (GraphTER), aiming to capture intrinsic patterns of graph structure under both global and local transformations. Specifically, we allow to sample different groups of nodes from a graph and then transform them node-wise isotropically or anisotropically. Then, we self-train a representation encoder to capture the graph structures by reconstructing these node-wise transformations from the feature representations of the original and transformed graphs. In experiments, we apply the learned GraphTER to graphs of 3D point cloud data, and results on point cloud segmentation/classification show that GraphTER significantly outperforms state-of-the-art unsupervised approaches and pushes greatly closer towards the upper bound set by the fully supervised counterparts.
報告主題：Holistic 3D Reconstruction: Learning to Reconstruct Holistic 3D Structures from Sensorial Data
報告摘要：整體場景結構的感知，即場景中的有序，規則，對稱或重復的模式和關系，在人類視覺中起著至關重要的作用。在辦公樓等人造環境中行走時，人們可以立即識別平行線，矩形，長方體，旋轉對稱性，重復性圖案以及許多其他類型的結構，并利用它們進行準確而強大的3D定位，定向和導航。在計算機視覺中，從各種傳感器（例如單眼和雙目視覺，LiDAR和RGB-D傳感器）獲取的數據中，使用此類整體結構元素對物理環境（尤其是人造環境）進行3D建模已有很長的歷史。 。這些方法在創建高保真3D模型，提高3D視覺系統的準確性，魯棒性和可靠性，以及為現代3D應用程序提供高級，緊湊且語義豐富的場景表示方面顯示出巨大的成功和潛力。
在這種情況下，此次報告旨在匯集當前的研究進展，并討論結構化場景的3D建模及其應用中的最新方法。報告將回顧3D結構的多視圖幾何學的基本理論；分析利用整體3D結構的傳統和最新幾何方法；當前概述了基于學習的方法和基于幾何的方法的融合。最后，我們討論了在人造環境的3D建模中結合重構和識別的未來可能的方向。
邀請嘉賓：馬毅， 1995年獲得中國清華大學自動化與應用數學博士學位，并獲得碩士學位。 1997年獲得EECS學位，2000年獲得數學碩士學位。 于2000年從UC Berkeley獲得EECS學位。 從2000年至2011年，他在伊利諾伊大學厄本那香檳分校的ECE系任教。從2009年至2013年，他是視覺計算小組的經理和微軟研究院在亞洲的首席研究員。 2014年至2017年擔任上海科技大學信息科學與技術學院教授和執行院長。他于2018年加入加州大學伯克利分校EECS系。
Zihan Zhou 是賓夕法尼亞州立大學信息科學與技術學院的教職員工。 在加入賓夕法尼亞州立大學之前，在伊利諾伊大學厄本那-香檳分校獲得了電氣和計算機工程博士學位。 分別于2007年和2007年從中國清華大學獲得自動化學士學位，并于2010年從UIUC獲得了ECE碩士學位。 其研究興趣在于計算機視覺，機器學習，信號處理和應用數據科學的廣泛領域。 特別關注3D Vision， 具體來說，曾開發了新穎的計算工具來對來自大型視覺數據的3D環境進行建模和分析，并將其應用于解決VR/AR，基于視覺的導航，建筑設計和工程，社交媒體等方面的現實世界難題。
Yasutaka Furukawa,西蒙弗雷澤大學計算機科學系的副教授， 曾是圣路易斯華盛頓大學的助理教授，Google的軟件工程師。 在加入Google之前，是華盛頓大學的博士后研究員。 曾與華盛頓大學的Seitz教授和Curless教授以及Facebook的Rick Szeliski一起（曾在Microsoft Research工作）。
付費5元查看完整內容
報告主題：A Geometric View of Optimal Transportation and Generative Adversarial Networks (GANs)
報告摘要：這項工作介紹了生成對抗網絡（GAN）的最佳運輸（OT）視圖。自然數據集具有內在模式，可以概括為流形分布原理：一類數據的分布接近于低維流形。 GAN主要完成兩項任務：流形學習和概率分布轉換。后者可以使用經典的最佳運輸方法進行。 從OT的角度來看，生成器計算最佳運輸圖，鑒別器計算生成的分布與實際數據分布之間的Wasserstein距離，兩者都可以簡化為凸幾何優化過程。此外，OT理論發現了生成器和鑒別器之間的內在協作關系而不是競爭關系，以及模式崩潰的根本原因。 此外，我們提出了一種新穎的生成模型，該模型使用自動編碼器進行流形學習，并使用OT映射進行分布轉換。 AE-OT模型提高了理論上的嚴格性和透明度，還提高了計算的穩定性和效率，尤其是消除了模式崩潰。實驗結果驗證了我們的假設，并證明了我們提出的模型的優勢。
邀請嘉賓：顧險峰，清華大學計算機系學士，哈佛大學博士，師承國際著名數學大師丘成桐先生。現為美國紐約州立大學石溪分校計算機系終身教授，曾獲美國NSFCAREER獎，中國海外杰青，“華人菲爾茲獎”-晨興應用數學金獎等。顧險峰教授團隊將微分幾何、代數拓撲、黎曼面理論，偏微分方程與計算機科學相結合，創立跨領域學科“計算共形幾何”，并廣泛應用于計算機圖形學，計算機視覺，三維幾何建模與可視化，無線傳感網絡，醫學圖像等領域。
PPT下載鏈接：
//www.sdlcv-workshop.com/slides/talk_Geometric_GANs.pdf
付費5元查看完整內容
The task of face attribute manipulation has found increasing applications, but still remains challeng- ing with the requirement of editing the attributes of a face image while preserving its unique details. In this paper, we choose to combine the Variational AutoEncoder (VAE) and Generative Adversarial Network (GAN) for photorealistic image genera- tion. We propose an effective method to modify a modest amount of pixels in the feature maps of an encoder, changing the attribute strength contin- uously without hindering global information. Our training objectives of VAE and GAN are reinforced by the supervision of face recognition loss and cy- cle consistency loss for faithful preservation of face details. Moreover, we generate facial masks to en- force background consistency, which allows our training to focus on manipulating the foreground face rather than background. Experimental results demonstrate our method, called Mask-Adversarial AutoEncoder (M-AAE), can generate high-quality images with changing attributes and outperforms prior methods in detail preservation.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191