生成式對抗網絡
·
生成對抗網絡(GenerativeAdversarialNetwork,GAN)在諸多領域都取得了較好的應 用效果,本章將以生成模型概述為切入點,介紹生成模型的基本概念和生成模型的意義及應 用,在此基礎上詳細敘述 GAN,并分析 GAN 的延伸模型———SGAN 模型、CGAN 模型、 StackGAN 模型、InfoGAN 模型和 AuxiliaryClassifierGAN 模型的結構。深度神經網絡的熱門話題是分類問題,即給定一幅圖像,神經網絡可以告知你它是什么 內容,或者屬于什么類別。近年來,生成模型成為深度神經網絡新的熱門話題,它想做的事 情恰恰相反,即給定一個類別,神經網絡可以無窮無盡地自動生成真實而多變的此類別圖 像,如圖5.1所示,它可以包括各種角度,而且會在此過程中不斷進步。
**5.1.1 生成模型的基本概念 **
在深度學習中,可以將其模型分為生成模型和判別模型兩大類[1]。生成模型可以通過 觀察數據,學習樣本與標簽的聯合概率密度分布P(x,y),然后生成對應的條件概率分布P (y|x),從而得到所預測的模型Y=f(x)。判別模型強調直接從數據中學習決策函數[2]。生成模型的目標是給定訓練數據,希望能獲得與訓練數據相同的新數據樣本。判別模型的 目標是找到訓練數據的分布函數。在深度學習中,監督學習和非監督學習都包含其對應的 生成模型,根據尋找分布函數的過程,可以把生成模型大致分為概率估計和樣本生成。概率估計是在不了解事件概率分布的情況下,通過假設隨機分布,觀察數據確定真正的 概率密度分布函數,此類模型也可定義為淺層生成模型,典型的模型有樸素貝葉斯、混合高斯模型和隱馬爾可夫模型等。樣本生成是在擁有訓練樣本數據的情況下,通過神經網絡訓練后的模型生成與訓練集 類似的樣本,此類模型也可以定義為深度生成模型,典型的模型有受限玻爾茲曼機、深度信 念網絡、深度玻爾茲曼機和廣義除噪自編碼器等。 **5.1.2 生成模型的意義及應用 **
著名物理學家費曼說過一句話:“只要是我不能創造的,我就還沒有理解。”生成模型恰 如其所描述的,其應用包括: (1)生成模型的訓練和采樣是對高維概率分布問題的表達和操作,高維概率分布問題 在數學和工程領域有很廣泛的應用[3]。(2)生成模型可以以多種方式應用到強化學習中。基于時間序列的生成模型可用來對 未來可能的行為進行模擬;基于假設環境的生成模型可用于指導探索者或實驗者,即使發生 錯誤行為,也不會造成實際損失[4]。(3)生成模型可以使用有缺失的數據進行訓練,并且可以對缺失的數據進行預測。(4)生成模型可以應用于多模態的輸出問題,一個輸入可能對應多個正確的輸出,每一 個輸出都是可接受的[5]。圖5.2是預測視頻的下一幀圖像的多模態數據建模示例。神經網絡的發展大致可以分為神經網絡的興起、神經網絡的蕭條與反思、神經網絡的復 興與再發展、神經網絡的流行度降低和深度學習的崛起共5個階段。
付費5元查看完整內容
相關內容
生成對抗網絡(GAN)已經在計算機視覺、自然語言處理等領域推廣了各種應用，因為它的生成模型能夠從現有的樣本分布中合理地生成真實的例子。GAN不僅在基于數據生成的任務上提供了令人印象深刻的性能，而且由于其博弈優化策略，也為面向隱私和安全的研究提供了有利條件。遺憾的是，目前并沒有對GAN在隱私和安全方面進行全面的綜述，這也促使了本文對這些最新的研究成果進行系統的總結。現有的作品根據隱私和安全功能進行適當的分類，并對其優缺點進行綜合分析。鑒于GAN在隱私和安全方面仍處于非常初級的階段，并提出了有待解決的獨特挑戰，本文還闡述了GAN在隱私和安全方面的一些潛在應用，并闡述了未來的一些研究方向。
生成對抗網絡(Generative Adversarial Networks, GAN)帶來的技術突破迅速對機器學習及其相關領域產生了革命性的影響，這種影響已經蔓延到各個研究領域和應用領域。作為一種強大的生成框架，GAN顯著促進了許多復雜任務的應用，如圖像生成、超分辨率、文本數據操作等。最近，利用GAN為嚴重的隱私和安全問題制定優雅的解決方案，由于其博弈優化策略，在學術界和業界都變得越來越流行。本綜述的目的是提供一個關于GAN的全面的回顧和深入總結的最新技術，并討論了一些GAN在隱私和安全領域有前途的未來研究方向。我們以對GAN的簡要介紹開始我們的綜述。
付費5元查看完整內容
通過學習可觀測數據的概率密度而隨機生成樣本的生成模型在近年來受到人們的廣泛關注, 網絡結構中包含多個隱藏層的深度生成式模型以更出色的生成能力成為研究熱點, 深度生成模型在計算機視覺、密度估計、自然語言和語音識別、半監督學習等領域得到成功應用, 并給無監督學習提供了良好的范式. 本文根據深度生成模型處理似然函數的不同方法將模型分為三類: 第一類方法是近似方法, 包括采用抽樣方法近似計算似然函數的受限玻爾茲曼機和以受限玻爾茲曼機為基礎模塊的深度置信網絡、深度玻爾茲曼機和亥姆霍茲機, 與之對應的另一種模型是直接優化似然函數變分下界的變分自編碼器以及其重要的改進模型, 包括重要性加權自編碼和可用于半監督學習的深度輔助深度模型; 第二類方法是避開求極大似然過程的隱式方法, 其代表模型是通過生成器和判別器之間的對抗行為來優化模型參數從而巧妙避開求解似然函數的生成對抗網絡以及重要的改進模型, 包括WGAN、深度卷積生成對抗網絡和當前最頂級的深度生成模型BigGAN; 第三類方法是對似然函數進行適當變形的流模型和自回歸模型, 流模型利用可逆函數構造似然函數后直接優化模型參數, 包括以NICE為基礎的常規流模型、變分流模型和可逆殘差網絡(i-ResNet), 自回歸模型(NADE)將目標函數分解為條件概率乘積的形式, 包括神經自回歸密度估計(NADE)、像素循環神經網絡(PixelRNN)、掩碼自編碼器(MADE)以及WaveNet等. 詳細描述上述模型的原理和結構以及模型變形后, 闡述各個模型的研究進展和應用, 最后對深度生成式模型進行展望和總結.
//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190866
受益于當前計算機性能的快速提升, 學習可觀測樣本的概率密度并隨機生成新樣本的生成模型成為熱點. 相比于需要學習條件概率分布的判別模型, 生成模型的訓練難度大、模型結構復雜, 但除了能夠生成新樣本外, 生成模型在圖像重構、缺失數據填充、密度估計、風格遷移和半監督學習等應用領域也獲得了巨大的成功. 當前可觀測樣本的數量和維數都大幅度增加, 淺層的生成模型受到性能瓶頸的限制而無法滿足應用需求, 從而被含有多個隱藏層的深度生成模型替代, 深度生成模型能夠學習到更好的隱表示, 模型性能更好. 本文對有重要意義的深度生成模型進行全面的分析和討論, 對各大類模型的結構和基本原理進行梳理和分類. 本文第1節介紹深度生成模型的概念和分類; 第2節介紹受限玻爾茲曼機和以受限玻爾茲曼機為基礎模塊的幾種深度生成模型, 重點內容是各種模型的不同訓練算法; 第3節介紹變分自編碼器的基本結構、變分下界的推理和重參數化方法; 第4節介紹生成對抗網絡, 主要內容為模型原理、訓練方法和穩定性研究, 以及兩種重要的模型結構; 第5節總結了流模型的結構, 詳細介紹了流模型的技術特點; 第6節分析了自回歸模型的模型結構以及幾種重要分支的研究進展; 第7節將介紹生成模型中的兩個小分支: 矩陣匹配模型和隨機生成模型; 第8節對深度生成模型存在的問題進行分析討論, 并對未來的研究方向和發展趨勢做出了展望.
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191