主題: Your GAN is Secretly an Energy-based Model and You Should Use Discriminator Driven Latent Sampling
摘要: GAN的隱式生成器對數密度logp_g與鑒別器的logit分數之和定義了一個能量函數,當生成器不完善但鑒別器是最佳時,該函數產生了真實的數據密度。這使得可以改進典型發電機(具有隱式密度p_g)。我們表明,根據潛在的先驗對數密度和判別式輸出得分之和所誘導的基于能量的模型,通過對潛在空間進行采樣,可以從修改后的密度生成樣本。我們稱此過程為在潛在空間中運行Markov Chain Monte Carlo,然后應用生成器函數Discrim-inator驅動的潛在采樣(DDLS)。我們證明,與在高維像素空間中工作的先前方法相比,DDLS是高效的,并且可以用于改進先前訓練的多種類型的GAN。我們定性和定量地評估了合成和真實數據集上的DDLS。在CIFAR-10上,DDLS大大提高了現成的預訓練SN-GAN的初始得分,從8.22到9.09,與類條件BigGAN模型相當。無需引入額外的參數或額外的訓練,即可在無條件圖像合成設置中獲得最新的技術。
雖然生成對抗網絡在圖像合成任務中取得了巨大的成功,但眾所周知,它們很難適應不同的數據集,部分原因是訓練過程中的不穩定性和對超參數的敏感性。這種不穩定性的一個普遍接受的原因是,當真實和虛假分布的支持沒有足夠的重疊時,從鑒別器到發生器的梯度變得不具信息性。本文提出了多尺度梯度生成對抗網絡(MSG-GAN),這是一種簡單而有效的技術,通過允許梯度流從鑒別器到發生器在多個尺度上流動來解決這個問題。該技術為高分辨率圖像合成提供了一種穩定的方法,并作為常用的漸進生長技術的替代。結果表明,MSG-GAN在不同大小、分辨率和域的多種圖像數據集上,以及不同類型的丟失函數和結構上都穩定收斂,且具有相同的固定超參數集。與最先進的GAN相比,在我們嘗試的大多數情況下,我們的方法都能與之媲美或超越其性能。