題目: Generative Adversarial Networks (GANs): Challenges, Solutions, and Future Directions
簡介:
生成對抗網絡(GANs)是一類新型的深度生成模型,最近受到了廣泛的關注。 GAN隱式地學習圖像,音頻和數據上的復雜和高維分布。然而,由于網絡架構的不適當設計,目標函數的使用和優化算法的選擇,在GAN的訓練中存在主要挑戰,即模式崩潰,不收斂和不穩定性。最近,為了解決這些挑戰,已經基于重新設計的網絡體系結構,新的目標函數和替代的優化算法,研究了幾種用于GAN更好設計和優化的解決方案。據我們所知,沒有現有的調查特別關注這些解決方案的廣泛而系統的開發。在這項研究中,我們對為解決GAN挑戰而提出的GAN設計和優化解決方案的進步進行了全面的調查。我們首先確定每種設計和優化技術中的關鍵研究問題,然后提出一種新的分類法,以根據關鍵研究問題構建解決方案。根據分類法,我們對每種解決方案中提出的不同GAN變體及其關系進行了詳細討論。最后,基于所獲得的見解,我們提出了這個快速發展領域中充滿希望的研究方向。
題目: Generative Adversarial Networks (GANs): An Overview of Theoretical Model, Evaluation Metrics, and Recent Developments
摘要:
統計信號處理和機器學習中最重要的挑戰之一是如何獲得一個生成模型,它可以生成大規模數據分布的樣本,例如圖像和演講。生成式對抗網絡(GAN)是解決這一問題的有效方法。GANs提供了一種適當的方法來學習深層表示,而不需要廣泛使用標記的訓練數據。該方法無需對概率密度函數進行精確建模就能生成大量數據,引起了計算機視覺領域眾多研究者的關注。在GANs中,生成模型是通過同時訓練生成器和鑒別器網絡的競爭過程來估計的。生成器學習生成可信的數據,鑒別器學習將生成器生成的虛假數據與真實數據樣本區分開來。鑒于近年來GANs的快速發展及其在各個領域的應用,有必要對這些網絡進行準確的研究。本文在介紹GAN的主要概念和理論的基礎上,對兩種新的深層生成模型進行了比較,并對文獻中使用的評價指標和GANs面臨的挑戰進行了說明。此外,最引人注目的GAN架構被分類和討論。最后,討論了計算機視覺的基本應用。
生成對抗網絡(GANs)是近年來受到廣泛關注的一類新型的深度生成模型。GANs通過圖像、音頻和數據隱式地學習復雜的高維分布。然而,在GANs的訓練中存在著主要的挑戰。由于網絡結構設計不當,使用目標函數和選擇優化算法,導致模式崩潰,不收斂和不穩定。最近,為了解決這些挑戰,一些更好地設計和優化GANs的解決方案已經被研究,基于重新設計的網絡結構、新的目標函數和替代優化算法的技術。據我們所知,目前還沒有一項綜述特別側重于這些解決辦法的廣泛和系統的發展。在這項研究中,我們進行了一個全面的綜述,在GANs的設計和優化解決方案提出,以處理GANs的挑戰。我們首先確定每個設計和優化技術中的關鍵研究問題,然后根據關鍵研究問題提出新的分類結構解決方案。根據分類,我們將詳細討論每個解決方案中提出的不同GANs變體及其關系。最后,在已有研究成果的基礎上,提出了這一快速發展領域的研究方向。
概述
深度生成模型(DGMs),如受限玻爾茲曼機(RBMs)、深度信念網絡(DBNs)、深度玻爾茲曼機(DBMs)、去噪自編碼器(DAE)和生成隨機網絡(GSN),最近因捕獲音頻、圖像或視頻等豐富的底層分布和合成新樣本而引起了廣泛關注。這些深度生成模型采用基于馬爾科夫鏈蒙特卡羅(MCMC)的[1][2]算法進行建模。基于MCMC的方法計算訓練過程中梯度消失的對數似然梯度。這是由馬爾科夫鏈產生的樣本生成慢的主要原因,因為它不能足夠快地在模式間混合。另一個生成模型,變分自動編碼器(VAE),使用帶有統計推理的深度學習來表示潛在空間[3]中的一個數據點,并在難以處理的概率計算的近似過程中體驗復雜性。此外,這些生成模型是通過最大化訓練數據可能性來訓練的,其中基于概率的方法在許多數據集(如圖像、視頻)中經歷了維數的詛咒。此外,在高維空間中,從馬爾可夫鏈進行的采樣是模糊的,計算速度慢且不準確。
為了解決上述問題,Goodfellow等人提出了生成對抗網(GANs),這是生成模型的另一種訓練方法。GANs是一種新穎的深度生成模型,它利用反向傳播來進行訓練,以規避與MCMC訓練相關的問題。GANs訓練是生成模型和判別模型之間的極小極大零和博弈。GANs最近在生成逼真圖像方面得到了廣泛的關注,因為它避免了與最大似然學習[5]相關的困難。圖1顯示了GANs能力從2014年到2018年的一個進展示例。
GANs是一種結構化的概率模型,它由兩個對立的模型組成:生成模型(Generator (G))用于捕獲數據分布; 判別模型(Discriminator (D))用于估計生成數據的概率,以確定生成的數據是來自真實的數據分布,還是來自G的分布。D和G使用基于梯度的優化技術(同時梯度下降)玩一個兩人極小極大對策,直到納什均衡。G可以從真實分布中生成采樣后的圖像,而D無法區分這兩組圖像。為了更新G和D,由D通過計算兩個分布之間的差異而產生的損失來接收梯度信號。我們可以說,GANs設計和優化的三個主要組成部分如下:(i) 網絡結構,(ii) 目標(損失)函數,(iii)優化算法。
對多模態數據建模的任務,一個特定的輸入可以與幾個不同的正確和可接受的答案相關聯。圖2顯示了具有多個自然圖像流形(紅色)的插圖,結果由使用均方誤差(MSE)的基本機器學習模型實現,該模型在像素空間(即,導致圖像模糊)和GANs所獲得的結果,從而驅動重構向自然圖像流形方向發展。由于GANs的這一優勢,它在許多領域得到了廣泛的關注和應用。
GANs在一些實際任務中表現良好,例如圖像生成[8][9]、視頻生成[11]、域自適應[12]和圖像超分辨率[10]等。傳統的GANs雖然在很多方面都取得了成功,但是由于D和G訓練的不平衡,使得GANs在訓練中非常不穩定。D利用迅速飽和的邏輯損失。另外,如果D可以很容易的區分出真假圖像,那么D的梯度就會消失,當D不能提供梯度時,G就會停止更新。近年來,對于模式崩潰問題的處理有了許多改進,因為G產生的樣本基于少數模式,而不是整個數據空間。另一方面,引入了幾個目標(損失)函數來最小化與傳統GANs公式的差異。最后,提出了幾種穩定訓練的方法。
近年來,GANs在自然圖像的制作方面取得了突出的成績。然而,在GANs的訓練中存在著主要的挑戰。由于網絡結構設計不當,使用目標函數和選擇優化算法,導致模式崩潰,不收斂和不穩定。最近,為了解決這些挑戰,一些更好地設計和優化GANs的解決方案已經被研究,基于重新設計的網絡結構、新的目標函數和替代優化算法的技術。為了研究以連續一致的方式處理GANs挑戰的GANs設計和優化解決方案,本綜述提出了不同GANs解決方案的新分類。我們定義了分類法和子類尋址來構造當前最有前途的GANs研究領域的工作。通過將提出的GANs設計和優化方案分類,我們對其進行了系統的分析和討論。我們還概述了可供研究人員進一步研究的主要未決問題。
本文貢獻:
GAN新分類法。在本研究中,我們確定了每個設計和優化技術中的關鍵研究問題,并提出了一種新的分類法,根據關鍵研究問題來構造解決方案。我們提出的分類將有助于研究人員增強對當前處理GANs挑戰的發展和未來研究方向的理解。
GAN全面的調研。根據分類法,我們提供了對各種解決方案的全面審查,以解決GANs面臨的主要挑戰。對于每一種類型的解決方案,我們都提供了GANs變體及其關系的詳細描述和系統分析。但是,由于廣泛的GANs應用,不同的GANs變體以不同的方式被制定、訓練和評估,并且這些GANs之間的直接比較是復雜的。為此,我們進行了必要的比較,總結了相應的方法。他們提出了解決GANs挑戰的新方案。這個調查可以作為了解、使用和開發各種實際應用程序的不同GANs方法的指南。
隨著深度學習在視覺、推薦系統、自然語言處理等諸多領域的不斷發展,深度神經網絡(DNNs)在生產系統中得到了廣泛的應用。大數據集的可用性和高計算能力是這些進步的主要因素。這些數據集通常是眾包的,可能包含敏感信息。這造成了嚴重的隱私問題,因為這些數據可能被濫用或通過各種漏洞泄露。即使云提供商和通信鏈路是可信的,仍然存在推理攻擊的威脅,攻擊者可以推測用于訓練的數據的屬性,或者找到底層的模型架構和參數。在這次調查中,我們回顧了深度學習帶來的隱私問題,以及為解決這些問題而引入的緩解技術。我們還指出,在測試時間推斷隱私方面的文獻存在空白,并提出未來可能的研究方向。
主題: GANs in computer vision: Introduction to generative learning
主要內容: 在這個綜述系列文章中,我們將重點討論計算機視覺應用程序的大量GANs。具體地說,我們將慢慢地建立在導致產生性對抗網絡(GAN)進化的思想和原則之上。我們將遇到不同的任務,如條件圖像生成,3D對象生成,視頻合成。
目錄:
一般來說,數據生成方法存在于各種各樣的現代深度學習應用中,從計算機視覺到自然語言處理。在這一點上,我們可以用肉眼生成幾乎無法區分的生成數據。生成性學習大致可分為兩大類:a)變分自編碼器(VAE)和b)生成性對抗網絡(GAN)。
題目: A Survey on Edge Intelligence
簡介:
邊緣智能是指一組連接的系統和設備,用于在靠近基于人工智能捕獲數據的位置進行數據收集,緩存,處理和分析。邊緣智能的目的是提高數據處理的質量和速度,并保護數據的隱私和安全性。盡管最近出現,從2011年到現在,這個研究領域在過去五年中顯示出爆炸性增長。在本文中,我們對有關邊緣智能的文獻進行了全面的調查。我們首先根據與擬議和部署的系統有關的理論和實踐結果,確定邊緣智能的四個基本組成部分,即邊緣緩存,邊緣訓練,邊緣推理和邊緣卸載。然后,我們通過檢查四個組成部分每個的研究結果和觀察結果,來對解決方案的狀態進行系統的分類,并提出一種分類法,其中包括實際問題,采用的技術和應用目標。對于每個類別,我們從采用的技術,目標,性能,優點和缺點等方面詳細闡述,比較和分析文獻。本調查文章全面介紹了邊緣智能及其應用領域。此外,我們總結了新興研究領域的發展和當前的最新技術,并討論了重要的開放性問題以及可能的理論和技術解決方案。
簡介: 生成對抗網絡(GANs)是最近的熱門研究主題。自2014年以來,人們對GAN進行了廣泛的研究,并且提出了許多算法。但是,很少有全面的研究來解釋不同GAN變體之間的聯系以及它們是如何演變的。在本文中,我們嘗試從算法,理論和應用的角度對各種GAN方法進行敘述。首先,詳細介紹了大多數GAN算法的動機,數學表示形式和結構。此外,GAN已與其他機器學習算法結合用于特定應用,例如半監督學習,遷移學習和強化學習。本文比較了這些GAN方法的共性和差異。其次,研究了與GAN相關的理論問題。第三,說明了GAN在圖像處理和計算機視覺,自然語言處理,音樂,語音和音頻,醫學領域以及數據科學中的典型應用。最后,指出了GAN未來的開放研究問題。
目錄:
最近一期的計算機頂級期刊ACM Computing Surveys (CSUR)出版,涵蓋最新的GANs綜述論文,146篇參考文獻, 本文的作者來自首爾大學數據科學與人工智能實驗室的師生,研究方向為深度學習和機器學習。本綜述論文介紹了GAN的原理和應用。
生成對抗網絡(GAN)在機器學習領域受到廣泛關注,因為它們有可能學習高維,復雜的實際數據分布。具體而言,它們不依賴于關于分布的任何假設,并且可以以簡單的方式從潛在空間生成真實樣本。這種強大的屬性使GAN可以應用于各種應用,如圖像合成,圖像屬性編輯,圖像翻譯,領域適應和其他學術領域。在本文中,作者從各個角度探討GAN的細節。此外,作者還解釋了GAN如何運作以及最近提出的各種目標函數的基本含義。然后,作者將重點放在如何將GAN與自動編碼器框架相結合。最后,作者列舉了適用于各種任務和其他領域的GAN變體,適用于那些有興趣利用GAN進行研究的人。
Generative adversarial networks (GANs) have been extensively studied in the past few years. Arguably the revolutionary techniques are in the area of computer vision such as plausible image generation, image to image translation, facial attribute manipulation and similar domains. Despite the significant success achieved in computer vision field, applying GANs over real-world problems still have three main challenges: (1) High quality image generation; (2) Diverse image generation; and (3) Stable training. Considering numerous GAN-related research in the literature, we provide a study on the architecture-variants and loss-variants, which are proposed to handle these three challenges from two perspectives. We propose loss and architecture-variants for classifying most popular GANs, and discuss the potential improvements with focusing on these two aspects. While several reviews for GANs have been presented, there is no work focusing on the review of GAN-variants based on handling challenges mentioned above. In this paper, we review and critically discuss 7 architecture-variant GANs and 9 loss-variant GANs for remedying those three challenges. The objective of this review is to provide an insight on the footprint that current GANs research focuses on the performance improvement. Code related to GAN-variants studied in this work is summarized on //github.com/sheqi/GAN_Review.
Quantum machine learning is expected to be one of the first potential general-purpose applications of near-term quantum devices. A major recent breakthrough in classical machine learning is the notion of generative adversarial training, where the gradients of a discriminator model are used to train a separate generative model. In this work and a companion paper, we extend adversarial training to the quantum domain and show how to construct generative adversarial networks using quantum circuits. Furthermore, we also show how to compute gradients -- a key element in generative adversarial network training -- using another quantum circuit. We give an example of a simple practical circuit ansatz to parametrize quantum machine learning models and perform a simple numerical experiment to demonstrate that quantum generative adversarial networks can be trained successfully.