題目
PIFuHD:多級像素對齊隱式功能,實現高分辨率,三維人體數字化
關鍵詞
計算機視覺,三維人體數字化,高分辨率,圖像處理
簡介
基于圖像的3D人體形狀估計的最新進展是由深度神經網絡所提供的表示能力的顯著提高所驅動的。 盡管當前的方法已經證明了在現實世界中的潛力,但是它們仍然無法以輸入圖像中經常出現的細節水平進行重建。 我們認為,這種限制主要源于兩個相互矛盾的要求。 準確的預測需要大背景,但是精確的預測需要高分辨率。 由于當前硬件中的內存限制,以前的方法傾向于將低分辨率圖像作為輸入來覆蓋較大的空間上下文,并因此產生精度較低(或低分辨率)的3D估計。 我們通過制定一種端到端可訓練的多層體系結構來解決此限制。 粗糙級別以較低的分辨率觀察整個圖像,并著重于整體推理。 這提供了一個很好的環境,可以通過觀察更高分辨率的圖像來估計高度詳細的幾何形狀。 我們證明,通過充分利用1k分辨率的輸入圖像,我們的方法在單圖像人形重建方面顯著優于現有的最新技術。
作者
S. Saito, T. Simon, J. Saragih, H. Joo
在這篇論文中,我們提出了一個框架,能夠生成與給定的一次性樣例相同分布的人臉圖像。我們利用一個預先訓練的StyleGAN模型,它已經學會了一般的面部分布。針對這一一次性目標,我們提出了一種快速調整模型權值的迭代優化方案,以使輸出的高階分布適應目標的高階分布。為了生成相同分布的圖像,我們引入了一種風格混合技術,將低水平的統計信息從目標傳輸到模型隨機生成的人臉。這樣,我們就能夠生成無限數量的面孔,這些面孔既繼承了一般人臉的分布,也繼承了一次性人臉的分布。新生成的人臉可以作為其他下游任務的增強訓練數據。這樣的設置很有吸引力,因為它需要在目標域中標記很少的標記,甚至只需要一個示例,而在現實世界中,人臉操作通常是由各種未知的和獨特的分布導致的。結果表明,本文提出的單樣本自適應方法是一種有效的人臉操作檢測方法,并與其他多鏡頭自適應方法進行了定性和定量的比較。
我們提出了一種單一圖像視圖合成方法,允許從單一輸入圖像生成新的場景視圖。這是一個挑戰,因為它需要從一個單一的圖像全面理解3D場景。因此,目前的方法通常使用多幅圖像,在地面真實深度上訓練,或者局限于合成數據。為此,我們提出了一種新穎的端到端模型;它被訓練在真實的圖像上,沒有使用任何真實的3D信息。為此,我們引入了一種新的可微點云渲染器,用于將潛在的3D點云特征轉換為目標視圖。我們的細化網絡對投影特征進行解碼,插入缺失區域,生成逼真的輸出圖像。我們的生成模型內部的3D組件允許在測試時對潛在特征空間進行可解釋的操作,例如,我們可以從單個圖像動畫軌跡。與以前的工作不同,我們可以生成高分辨率的圖像,并推廣到其他輸入分辨率。我們在Matterport、Replica和RealEstate10K數據集上超越基線和前期工作。