亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

這本書提出和調研歸一化技術與深度分析訓練深度神經網絡。此外，作者還提供了針對特定任務設計新的規范化方法和網絡體系結構的技術細節。歸一化方法可以提高深度神經網絡(DNNs)的訓練穩定性、優化效率和泛化能力，已成為大多數先進DNN體系結構的基本組成部分。作者為闡述、理解和應用規范化方法提供了指導方針。這本書是理想的讀者致力于發展新的深度學習算法和/或其應用程序，以解決計算機視覺和機器學習任務中的實際問題。這本書也作為資源的研究人員，工程師，和學生誰是新的領域和需要了解和訓練DNN。

//link.springer.com/book/10.1007/978-3-031-14595-7

生成對抗網絡(GenerativeAdversarialNetwork,GAN)在諸多領域都取得了較好的應 用效果,本章將以生成模型概述為切入點,介紹生成模型的基本概念和生成模型的意義及應 用,在此基礎上詳細敘述 GAN,并分析 GAN 的延伸模型———SGAN 模型、CGAN 模型、 StackGAN 模型、InfoGAN 模型和 AuxiliaryClassifierGAN 模型的結構。深度神經網絡的熱門話題是分類問題,即給定一幅圖像,神經網絡可以告知你它是什么 內容,或者屬于什么類別。近年來,生成模型成為深度神經網絡新的熱門話題,它想做的事 情恰恰相反,即給定一個類別,神經網絡可以無窮無盡地自動生成真實而多變的此類別圖 像,如圖5.1所示,它可以包括各種角度,而且會在此過程中不斷進步。

**5.1.1 生成模型的基本概念 **

在深度學習中,可以將其模型分為生成模型和判別模型兩大類[1]。生成模型可以通過 觀察數據,學習樣本與標簽的聯合概率密度分布P(x,y),然后生成對應的條件概率分布P (y|x),從而得到所預測的模型Y=f(x)。判別模型強調直接從數據中學習決策函數[2]。生成模型的目標是給定訓練數據,希望能獲得與訓練數據相同的新數據樣本。判別模型的 目標是找到訓練數據的分布函數。在深度學習中,監督學習和非監督學習都包含其對應的 生成模型,根據尋找分布函數的過程,可以把生成模型大致分為概率估計和樣本生成。概率估計是在不了解事件概率分布的情況下,通過假設隨機分布,觀察數據確定真正的 概率密度分布函數,此類模型也可定義為淺層生成模型,典型的模型有樸素貝葉斯、混合高斯模型和隱馬爾可夫模型等。樣本生成是在擁有訓練樣本數據的情況下,通過神經網絡訓練后的模型生成與訓練集 類似的樣本,此類模型也可以定義為深度生成模型,典型的模型有受限玻爾茲曼機、深度信 念網絡、深度玻爾茲曼機和廣義除噪自編碼器等。 **5.1.2 生成模型的意義及應用 **

著名物理學家費曼說過一句話:“只要是我不能創造的,我就還沒有理解。”生成模型恰 如其所描述的,其應用包括: (1)生成模型的訓練和采樣是對高維概率分布問題的表達和操作,高維概率分布問題 在數學和工程領域有很廣泛的應用[3]。(2)生成模型可以以多種方式應用到強化學習中。基于時間序列的生成模型可用來對 未來可能的行為進行模擬;基于假設環境的生成模型可用于指導探索者或實驗者,即使發生 錯誤行為,也不會造成實際損失[4]。(3)生成模型可以使用有缺失的數據進行訓練,并且可以對缺失的數據進行預測。(4)生成模型可以應用于多模態的輸出問題,一個輸入可能對應多個正確的輸出,每一 個輸出都是可接受的[5]。圖5.2是預測視頻的下一幀圖像的多模態數據建模示例。神經網絡的發展大致可以分為神經網絡的興起、神經網絡的蕭條與反思、神經網絡的復 興與再發展、神經網絡的流行度降低和深度學習的崛起共5個階段。

生成模型作為統計建模的一個重要家族，其目標是通過生成新實例來學習觀察到的數據分布。隨著神經網絡的興起，深度生成模型，如變分自編碼器(vais)和生成對抗網絡(GANs)，在二維圖像合成方面取得了巨大的進展。近年來，由于三維數據與我們的物理世界更接近，在實踐中具有巨大的潛力，研究者們將研究的重點從二維空間轉向了三維空間。然而，與2D圖像不同的是，2D圖像本質上擁有高效的表示(即像素網格)，表示3D數據可能面臨更多的挑戰。具體地說，我們希望理想的3D表示能夠足夠詳細地建模形狀和外觀，并且能夠高效地建模高分辨率數據，速度快，內存成本低。然而，現有的三維表示方法，如點云、網格和最近的神經場，通常不能同時滿足上述要求。在本文中，我們從算法和更重要的表示兩方面對3D生成的發展進行了全面的回顧，包括3D形狀生成和3D感知圖像合成。我們希望我們的討論可以幫助社區跟蹤這一領域的發展，并進一步激發一些創新的想法來推進這一具有挑戰性的任務。

//www.zhuanzhi.ai/paper/494ecc28feabb3aeaade6da6523b430f

概述

深度學習[1]的快速發展顯著推進了計算機視覺領域的許多任務，如視覺物體識別[2]、[3]、物體檢測[4]、[5]、[6]、圖像渲染[7]、[8]、[9]等，并在許多方面促進了我們的日常生活，如自動駕駛[10]、[11]、生物研究[12]、智能創造[13]、[14]。在所有類型的技術中，生成建模[15]，[16]，[17]在數據分析和機器學習中扮演著重要的角色。與直接對輸入進行預測的判別模型不同，生成模型旨在通過創建新實例來再現數據分布。為此，需要對數據進行全面的描述。例如，一個檢測模型可以忽略與任務無關的信息(例如，顏色)而不犧牲性能，但是生成模型被期望管理圖像的每一個細節(例如，對象排列以及每個對象的紋理)，以獲得令人滿意的生成。從這個角度來看，學習生成模型通常更具挑戰性，但促進了一系列應用[14]，[18]，[19]，[20]。

在過去的幾年里，深度生成模型[15]，[16]，[17]在2D圖像合成中取得了不可思議的成功[14]，[21]，[22]。盡管公式不同，變分自編碼器(vais)[16]、自回歸模型(ARs)[23]、歸一化流(NFs)[24]、生成對抗網絡(GANs)[15]和最新的擴散概率模型(DPMs)[17]都能夠將潛在變量轉換為高質量圖像。然而，如今二維空間中的學習生成模型已經不能滿足一些現實應用的需求，因為我們的物理世界實際上位于3D空間之下。以電影行業為例，我們希望設計3D數字資產，而不是簡單地生產2D圖像，帶來沉浸式的體驗。現有的內容創建管道通常需要大量的專業知識和人力，這可能是耗時和昂貴的。在研究如何自動生成3D數據a1方面，已經進行了許多開拓性的嘗試[25]，[26]，[27]，[28]，[29]，[30]，但這類研究仍處于早期階段。

2D生成和3D生成之間的一個關鍵區別是數據格式。具體來說，二維圖像可以自然地表示為像素值的數組，神經網絡[2]、[3]可以方便地處理這些像素值。相反，有許多3D表示來描述一個3D實例，如點云[31]，[32]，網格[33]，[34]，體素網格[35]，[36]，多平面圖像[37]，隱式神經表示[9]等。每種表示都有其優點和局限性。例如，網格緊湊地表示3D形狀，但由于數據結構不規則，神經網絡很難分析和生成。相比之下，體素網格有規律地位于三維空間中，與標準卷積神經網絡工作良好，但體素網格消耗內存，難以表示高分辨率3D場景。因此，選擇合適的表示形式對于3D內容生成至關重要。

鑒于3D生成模型的快速發展，文中對該領域進行了全面的綜述，以幫助社區跟蹤其發展。我們想提到的是，在文獻中已經有一些調查研究生成模型[38]，[39]，3D視覺[40]，[41]，[42]，[43]，以及3D結構[44]和面孔[45]的生成，但仍然缺少對3D生成的全面回顧。如前所述，要完成這樣一項具有挑戰性的任務，有許多候選算法(如vais和GANs)和表示(如點云和隱式神經表示)可供選擇。這個調查有助于理清不同類型的生成模型如何適用于不同的表示。我們將本文的其余部分組織如下。第二節闡明了這項綜述的范圍。第三節介紹了3D生成任務的基本原理，包括各種生成模型的公式和流行的3D表示。第4和第5節分別總結了現有的3D形狀生成方法和3D感知圖像合成方法。第6節討論了3D生成模型的下游應用。第7節提供了3D生成領域的未來工作。

本綜述范圍

在本研究中，我們重點研究訓練網絡對目標三維樣本的數據分布進行建模的方法，并支持三維表示合成的采樣。我們還包括基于某些輸入(如圖像、部分點云或文本句子)預測條件概率分布的方法。請注意，這些條件生成方法旨在合成尊重輸入的3D表示，同時保持生成多樣性。這與經典的三維重建方法形成對比，后者建立從輸入到目標三維表示的一對一映射。我們建議讀者參考[40]、[46]對這些方法的綜述。雖然我們的綜述包括生成3D表示的方法，但我們沒有完全覆蓋神經渲染方法，[40]和[47]中已經詳細討論過。該綜述是對現有的生成模型[38]，[39]，[44]的調查的補充。

基礎模型

生成式模型旨在以一種無監督的方式了解實際的數據分布，通過嘗試從給定的信息中生成盡可能真實的數據，從而捕獲更多的細節并顯示出更多的創造力。具體來說，首先需要生成模型來總結輸入數據的分布，然后利用生成模型在給定的數據分布中創建或合成樣本。一般來說，生成模型可以分為兩大類。一種是基于似然的模型，包括變分自編碼器(ves)[16]，歸一化流(N-Flows)[24]，擴散模型(DDPMs)[17]和基于能量的模型(EBMs)[48]，這些模型是通過最大化給定數據的似然來學習的。另一種是無似然模型，包括生成對抗網絡(GANs)[15]，它建立在兩名玩家的最小最大博弈之上，以尋找納什均衡。下面，我們將簡要回顧不同類型的生成模型。圖1顯示了每個生成模型的一般概念。

計算機視覺和計算機圖形社區已經開發了各種3D場景表示，包括體素網格、點云、網格和神經場。這些表示在三維形狀生成和三維感知圖像合成任務中表現出各自的優點和缺點。例如，與結構良好的2D圖像相比，大多數3D表示都不是常規格式，不能用標準cnn直接處理。3D體素網格通常是規則的，這使得它能夠很好地與3D卷積網絡一起工作。然而，體素網格往往消耗內存，因此難以表示高分辨率的形狀。神經場理論上支持高分辨率形狀建模，但訓練過程中對隱式表示的有效監督是一個有待解決的問題。

三維形狀生成

目前，大多數三維形狀生成方法都是訓練深度神經網絡來獲取三維形狀的分布。與2D圖像相比，3D形狀有許多類型的表示，如體素網格、點云、網格和神經場。這些表示方法在三維形狀生成任務中各有優缺點。評估3D表示是否能與深度生成模型很好地工作，可以考慮很多方面，包括網絡處理表示的容易程度，允許高效生成高質量和復雜的3D形狀，以及生成模型獲取監督信號的成本。表1總結了三維形狀生成的代表性方法。

三維感知圖像生成

三維感知圖像生成的目標是在合成圖像時顯式地控制相機的視點。基于二維gan的模型[217]，[218]，[219]，[220]，[221]通過發現與視點軌跡相對應的潛在空間方向來實現這一目標。盡管它們提供了令人印象深刻的結果，但在潛在空間中找到一個合理的方向并不容易，通常不能支持渲染視點的完全控制。本研究的重點是為三維圖像合成明確生成三維表示的工作。與直接用形狀訓練的3D形狀生成方法相比，大多數3D感知的圖像生成方法都是通過可微神經渲染的圖像來監督的，因為通常沒有高質量和大規模的可渲染的3D表示數據集來訓練生成模型。由于缺乏可渲染的3D表示，自動編碼器架構在此任務中很少使用。大多數方法采用生成對抗模型，從潛在空間中提取潛在向量并將其解碼為目標表示。

6 應用

3D生成模型的興起使許多有前途的應用成為可能，如圖12所示。在本節中，我們將討論3D生成模型在編輯、重建和表示學習方面的應用。

7 未來的工作

3D生成模型的發展非常迅速，但在將其用于下游應用程序(如游戲、模擬和增強/虛擬現實)之前，仍有許多挑戰需要克服。在這里，我們討論了3D生成模型的未來發展方向。

通用性:大多數現有的3D生成模型都是在簡單的對象級數據集上進行訓練的，例如，用于3D形狀生成的ShapeNet和用于3D感知圖像合成的FFHQ。我們認為，將3D生成模型擴展到更大程度的通用性是未來研究的一個富有成效的方向。它的通用性包括生成通用對象(如ImageNet或Microsoft CoCo)、動態對象或場景以及大規模場景。與其專注于單一類別，不如學習一種通用的3D生成模型，用于各種類別，如DALL-E2和Imagen[257]，[258]和無限3D場景[259]，這是非常有趣的。

可控性:3D生成模型的可控性落后于2D生成模型。理想情況下，用戶應該能夠通過用戶友好的輸入控制3D生成過程，包括但不限于語言、草圖和程序。此外，我們認為物理特性的可控性應該進一步研究，包括照明，材料，甚至動力學。

效率:許多3D生成模型需要在多個高端gpu上進行3-10天的訓練，并且在推理過程中速度較慢。我們認為，提高三維生成模型的訓練效率是必要的，而提高推理效率對于下游應用至關重要。

訓練穩定性:3D生成模型的訓練，特別是3D感知的圖像合成模型，通常更容易發生模式崩潰。一種可能的解釋是，物理上有意義的因素的分布，例如相機姿勢和渲染參數，可能與真實圖像不匹配。因此，研究生成模型的訓練穩定性就顯得尤為重要。

現代深度學習已經在多個學科中帶來了許多發現:計算機視覺、語音識別、自然語言處理技術以及純粹通過自我游戲學習游戲的能力。這在很大程度上是由獲取大量數據的能力以及與問題域匹配的適當的歸納偏差所驅動的。在本教程中，我們將探討這一新興技術與信息論的相互作用。特別地，我們將討論兩個主題。

(1) 深度學習在信息論中的應用:信息論學界在編碼設計和解碼算法方面率先取得了幾項突破，徹底改變了現代數字通信。在這一主題中，我們將研究是否有可能利用現代深度學習技術來加速這種編碼方案的發現。我們將介紹這一領域的各種發展，展示Viterbi和BCJR算法可以從觀測數據中“學習”，以及如何為高密度編碼學習比消息傳遞更好的算法。此外，經過充分研究的信道編碼設置，我們基本上可以獲得無限數量的訓練數據，并且在一些設置中已經知道了接近最優的編碼策略，可以提供一個視角，通過它可以改進和增強目前的深度學習技術。除了代碼設計，深度學習作為一種通用函數逼近器在信息論中有更廣泛的應用潛力。我們將談到這個大致的概念。事實上，最近的一些研究已經將深度學習用于(條件)獨立檢驗、互信息估計、壓縮感知以及多假設檢驗中的誤發現率控制。

（2）在第二個主題中，我們將對信息論原理在理解和設計深度學習系統中的應用進行調研。這些工作大致可分為三類:(a)代表性(b)可學習性。(A)事實上，深度學習的一個基本結果是緊密逼近任何連續函數的能力。有幾個現代的表示定理的概括理解的數量和深度這樣的網絡需要近似各種函數類，以及一些不變的性質。我們將調研這些結果。(B)有一些新興的工作，包括張量方法，在一些數學假設下為神經網絡和混合專家提供了各種可學習性保證。

注意力是一種重要的機制，可用于跨許多不同領域和任務的各種深度學習模型。這項綜述提供了一個關于深度學習注意力機制的重要概述。各種注意力機制通過一個由注意力模型，統一符號，和一個全面的分類注意力機制組成的框架來進行解釋。在此基礎上，本文綜述了注意力模型評價的各種方法，并討論了基于該框架的注意力模型結構表征方法。最后，對注意力模型領域的未來工作進行了展望。

1. 引言

**模擬人類注意力的想法最早出現在計算機視覺領域[1]，[2]，試圖通過引入一個只關注圖像特定區域而不是整個圖像的模型來降低圖像處理的計算復雜度，同時提高性能。然而，我們今天所知道的注意力機制的真正起點通常是源于自然語言處理領域[3]。Bahdanau等人的[3]在機器翻譯模型中實現了注意力，以解決循環神經網絡結構中的某些問題。在Bahdanau等人的[3]強調了注意力的優點后，注意力技術得到了改進，[4]，并迅速流行于各種任務，如文本分類[5]、[6]、圖像字幕[7]、[8]、情感分析[6]、[9]，以及語音識別[10]、[11]、[12]。

注意力已經成為深度學習中的一種流行技術，原因有幾個。首先，整合了注意力機制的模型在上述所有任務和許多其他任務中都獲得了最先進的結果。此外，大多數注意力機制可以與基本模型聯合訓練，如使用規則反向傳播[3]的循環神經網絡或卷積神經網絡。此外，attention向神經網絡模型[8]引入了一種特定類型的解釋，這種解釋通常被認為非常復雜。此外，Transformer模型[13]的引入進一步證明了注意力的有效性，進一步提高了注意力機制的受歡迎程度。注意力最初是作為循環神經網絡[14]的擴展而引入的。然而，在[13]中提出的Transformer模型是注意力研究的一個重大發展，因為它證明了注意力機制足以建立一個最先進的模型。這意味著可以避免一些缺點，比如遞歸神經網絡特別難以并行化的事實。就像引入最初的注意力機制[3]一樣，Transformer模型是為機器翻譯創建的，但很快就被用于其他任務，如圖像處理[15]、視頻處理[16]和推薦系統[17]。

本綜述的目的是解釋注意力的一般形式，并提供一個在深度學習注意力技術的全面概述。關于注意力模型的其他綜述已經發表。例如，在[18]中，給出了計算機視覺中注意力的調研，[19]提供了圖模型中注意力的概述，[20]，[21]，[22]都是自然語言處理中注意力的調研。本文部分地建立在上述綜述所提供的資料之上。本綜述與前面提到的綜述的主要區別在于，其他的綜述一般都關注某個領域內的注意力模型。然而，這項綜述提供了一個跨領域的注意力技術概述。我們將以一種通用的方式討論注意力技術，使它們能夠被理解并應用于各種領域。此外，我們發現以往研究中提出的分類方法缺乏恰當區分各種注意力機制所需的深度和結構。此外，某些重要的注意力技巧在以前的綜述中還沒有得到適當的討論，而其他提出的注意力機制似乎缺乏技術細節或直觀的解釋。因此在本文中，我們通過使用統一符號的單一框架，結合技術和直觀的解釋，提出了重要的注意力技術，并對注意力機制進行了全面的分類。 本文的結構如下:第2節介紹了一個一般的注意力模型，為讀者提供了一個基本的了解注意力的屬性和如何應用它。本文的主要貢獻之一是在第3節中介紹的注意力技術的分類。在本節中，將根據所提供的分類法對注意機制進行解釋和分類。第4節概述了評估注意力模型的性能測量和方法。此外，該分類方法還用于評價各種注意模型的結構。最后，在第五部分，我們給出了結論和進一步研究的建議。

2. 通用注意力模型

本節介紹一種注意力一般性與相應的符號。這里介紹的符號是基于[23]中引入并在[13]中普及的符號。本節中介紹的框架將在本文的其余部分中使用。為了實現一個通用的注意力模型，首先需要描述一個可以使用注意力的模型的一般特征。首先，我們將完整的模型稱為任務模型，其結構如圖1所示。這個模型只接受一個輸入，執行指定的任務，并產生所需的輸出。例如，任務模型可以是一種語言模型，它將一段文本作為輸入，并將內容摘要、情緒分類或逐字翻譯成另一種語言的文本作為輸出。或者，任務模型可以獲取圖像，并為該圖像生成標題或分割。任務模型由四個子模型組成: 特征模型、查詢模型、注意力模型和輸出模型。在2.1小節中，我們討論了特征模型和查詢模型，它們是用來為注意力計算準備輸入的。在2.2小節中，我們討論了注意力模型和輸出模型，它們與產生輸出有關。

3. 注意力分類法**

有許多不同類型的注意力機制和擴展，一個模型可以使用這些注意技術的不同組合。因此，我們提出了一種分類法，可以用來對不同類型的注意機制進行分類。圖3提供了不同類別和子類別的視覺概述，注意力機制可以涵蓋在其中。基于是否關注技術是設計來處理特定類型的特征向量(相關特性),特定類型的模型查詢(查詢相關),或者它僅僅是一個通用的機制, 分成三大類。這些類別及其子類別的進一步解釋將在下面的小節中提供。本節中討論的每一種機制要么是對第2節中介紹的一般注意模塊現有內部機制的修改，要么是對其的擴展。

注意力機制分類法

特征相關注意力機制

**基于特定的一組輸入數據，特征模型提取特征向量，從而使注意力模型能夠關注這些不同的向量。這些特征可能具有特定的結構，需要特殊的注意力機制來處理它們。可以對這些機制進行分類，以處理以下特征特征之一: 特征的多樣性、特征的級別或特征的表示。

通用注意力機制

這個主要的類別包括了可以應用于任何類型的注意力模型的注意力機制。該組件的結構可以分解為以下幾個子方面:注意力評分函數、注意力對齊和注意力維度。

查詢相關的注意力機制查詢是任何注意力模型的重要組成部分，因為它們直接決定從特征向量中提取哪些信息。這些查詢基于任務模型的期望輸出，可以解釋為文字問題。有些查詢具有特定的特征，需要特定類型的機制來處理它們。因此，這一類封裝了處理特定類型查詢特征的注意力機制。這一類中的機制處理以下兩個查詢特征之一:查詢的類型或查詢的多樣性。**

4. 注意力模型評價

在本節中，我們介紹了各種類型的注意力模型的評估。首先，我們可以使用第3節中介紹的分類法來評估注意力模型的結構。對于這樣的分析，我們考慮注意力機制類別(見圖3)作為模型的正交維數。可以通過確定模型對每個類別使用的機制來分析模型的結構。表3提供了文獻中發現的注意模型的概述，并基于模型實現的注意力機制進行了相應的分析。其次，我們討論了評價注意力模型表現的各種技術。注意力模型的性能可以通過外部或內部性能測量來評估，這將分別在第4.1和4.2小節中討論。

5. 結論

本研究綜述了近年來關于深度學習中的注意力模型的研究進展。注意力機制已經成為深度學習模型的一個顯著發展，因為它們已經表明可以顯著提高模型性能，在幾個研究領域的各種任務中產生了最先進的結果。我們提出了一個全面的分類，可以用來分類和解釋不同數量的注意力機制提出的文獻。分類法的組織基于任務模型的結構，該任務模型由一個特征模型、一個注意力模型、一個查詢模型和一個輸出模型組成。此外，還使用基于查詢、鍵和值的框架討論了注意力機制。最后，我們展示了如何使用外在和內在的測量方法來評估注意力模型的表現，以及如何使用分類方法來分析注意力模型的結構。

參考文獻：

[1] H. Larochelle and G. E. Hinton, “Learning to combine foveal glimpses with a third-order Boltzmann machine,” in 24th Annual Conference in Neural Information Processing Systems (NIPS 2010). Curran Associates, Inc., 2010, pp. 1243–1251. [2] V. Mnih, N. Heess, A. Graves, and k. kavukcuoglu, “Recurrent models of visual attention,” in 27th Annual Conference on Neural Information Processing Systems (NIPS 2014). Curran Associates, Inc., 2014, pp. 2204–2212.

生成對抗網絡(GANs)在過去的幾年里得到了廣泛的研究。可以說，它們最重要的影響是在計算機視覺領域，在這一領域中，圖像生成、圖像-圖像轉換、面部屬性處理和類似領域的挑戰取得了巨大進展。盡管迄今為止已經取得了重大的成功，但將GAN應用于現實世界的問題仍然面臨著重大的挑戰，我們在這里重點關注其中的三個。這是: (1)生成高質量的圖像; (2) 圖像生成的多樣性; (3) 穩定的訓練。我們將重點關注目前流行的GAN技術在應對這些挑戰方面取得的進展程度，并對已發表文獻中GAN相關研究的現狀進行了詳細回顧。我們進一步通過一個分類結構，我們已經采用了基于GAN體系架構和損失函數的變化。雖然到目前為止已經提交了幾篇關于GANs的綜述，但沒有一篇是基于它們在解決與計算機視覺相關的實際挑戰方面的進展來考慮這一領域的現狀。因此，為了應對這些挑戰，我們回顧并批判性地討論了最流行的架構變體和損失變體GANs。我們的目標是在重要的計算機視覺應用需求的相關進展方面，對GAN的研究現狀進行概述和批判性分析。在此過程中，我們還將討論GANs在計算機視覺方面最引人注目的應用，并對未來的研究方向提出一些建議。本研究中所研究的GAN變體相關代碼在

//github.com/sheqi/GAN_Review上進行了總結。

地址：

生成對抗網絡(GANs)在深度學習社區[1]-[6]吸引了越來越多的興趣。GANs已應用于計算機視覺[7]-[14]、自然語言處理[15]-[18]、時間序列合成[19]-[23]、語義分割[24]-[28]等多個領域。GANs屬于機器學習中的生成模型家族。與其他生成模型(如變分自編碼器)相比，GANs提供了一些優勢，如能夠處理清晰的估計密度函數，有效地生成所需樣本，消除確定性偏差，并與內部神經結構[29]具有良好的兼容性。這些特性使GANs獲得了巨大的成功，特別是在計算機視覺領域，如可信圖像生成[30]-[34]，圖像到圖像轉換[2]，[35]-[41]，圖像超分辨率[26]，[42]-[45]和圖像補全[46]-[50]。

然而，GANs并非沒有問題。最重要的兩點是，它們很難訓練，也很難評估。由于訓練難度大，在訓練過程中判別器和生成器很難達到納什均衡，生成器不能很好地學習數據集的完整分布是常見的問題。這就是眾所周知的模式崩潰問題。在[51]-[54]這一領域進行了大量的研究工作。在評估方面，首要問題是如何最好地衡量目標pr的真實分布與生成的分布pg之間的差異。不幸的是，不可能準確地估算pr。因此，對pr和pg之間的對應關系進行良好的估計是很有挑戰性的。以往的研究提出了各種對GANs[55] -的評價指標[63]。第一個方面直接關系到GANs的性能，如圖像質量、圖像多樣性和穩定訓練。在這項工作中，我們將研究計算機視覺領域中處理這方面的現有GAN變體，而對第二方面感興趣的讀者可以參考[55][63]。

目前許多GAN研究可以從以下兩個目標來考慮:(1)改進訓練，(2)將GAN應用于現實應用。前者尋求提高GANs性能，因此是后者(即應用)的基礎。考慮到許多已發表的關于GAN訓練改進的結果，我們在本文中對這方面最重要的GAN變體進行了簡要的回顧。GAN訓練過程的改進提供了好處表現如下: (1)改進生成的圖像的多樣性(也稱為模式多樣性) ,(2)增加生成的圖像質量,和 (3) 包含更多 :(1) 介紹相關GAN綜述工作和說明的區別這些評論和這項工作; (2)簡要介紹GANs;(3)回顧文獻中關于“GAN”的架構變體;(4)我們回顧文獻中損失變體的GAN；(5)介紹了GAN在計算機視覺領域的一些應用; (6)引入了GAN的評價指標，并利用部分指標(Inception Score和Frechet Inception Distance, FID)對本文討論的GAN變量進行了比較;(7)我們總結了本研究中的GANs變體，說明了它們的差異和關系，并討論了關于GANs未來研究的幾種途徑。(8)我們總結了這篇綜述，并展望了GANs領域可能的未來研究工作。

文獻中提出了許多GAN變體來提高性能。這些可以分為兩種類型:(1)架構變體。第一個提出的GAN使用完全連接的神經網絡[1]，因此特定類型的架構可能有利于特定的應用，例如，用于圖像的卷積神經網絡(CNNs)和用于時間序列數據的循環神經網絡(RNNs);和(2)Loss-variants。這里探討了損失函數(1)的不同變化，以使G的學習更加穩定。

圖2說明了我們對2014年至2020年文獻中具有代表性GANs提出的分類法。我們將目前的GAN分為兩種主要變體，即架構變體和損失變體。在體系架構變體中，我們分別總結了網絡體系結構、潛在空間和應用三大類。網絡架構范疇是指對GAN架構的整體改進或修改，例如PROGAN中部署的漸進機制。潛在空間類別表示基于潛在空間的不同表示方式對架構進行修改，例如CGAN涉及到編碼到生成器和識別器的標簽信息。最后一類，應用，指的是根據不同的應用所做的修改，例如，CycleGAN有特定的架構來處理圖像風格的轉換。根據損失的變化，我們將其分為兩類:損失類型和正則化。損失類型是指GANs需要優化的不同損失函數，正則化是指對損失函數設計的額外懲罰或對網絡進行任何類型的歸一化操作。具體來說，我們將損失函數分為基于積分概率度量和非積分概率度量。在基于IPM的GAN中，鑒別器被限制為一類特定的函數[64]，例如，WGAN中的鑒別器被限制為1-Lipschitz。基于非IPM的GAN中的鑒別器沒有這樣的約束。

生成對抗網絡(GANs)是近年來受到廣泛關注的一類新型的深度生成模型。GANs通過圖像、音頻和數據隱式地學習復雜的高維分布。然而，在GANs的訓練中存在著主要的挑戰。由于網絡結構設計不當，使用目標函數和選擇優化算法，導致模式崩潰，不收斂和不穩定。最近，為了解決這些挑戰，一些更好地設計和優化GANs的解決方案已經被研究，基于重新設計的網絡結構、新的目標函數和替代優化算法的技術。據我們所知，目前還沒有一項綜述特別側重于這些解決辦法的廣泛和系統的發展。在這項研究中，我們進行了一個全面的綜述，在GANs的設計和優化解決方案提出，以處理GANs的挑戰。我們首先確定每個設計和優化技術中的關鍵研究問題，然后根據關鍵研究問題提出新的分類結構解決方案。根據分類，我們將詳細討論每個解決方案中提出的不同GANs變體及其關系。最后，在已有研究成果的基礎上，提出了這一快速發展領域的研究方向。

//arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs)，如受限玻爾茲曼機(RBMs)、深度信念網絡(DBNs)、深度玻爾茲曼機(DBMs)、去噪自編碼器(DAE)和生成隨機網絡(GSN)，最近因捕獲音頻、圖像或視頻等豐富的底層分布和合成新樣本而引起了廣泛關注。這些深度生成模型采用基于馬爾科夫鏈蒙特卡羅(MCMC)的[1][2]算法進行建模。基于MCMC的方法計算訓練過程中梯度消失的對數似然梯度。這是由馬爾科夫鏈產生的樣本生成慢的主要原因，因為它不能足夠快地在模式間混合。另一個生成模型，變分自動編碼器(VAE)，使用帶有統計推理的深度學習來表示潛在空間[3]中的一個數據點，并在難以處理的概率計算的近似過程中體驗復雜性。此外，這些生成模型是通過最大化訓練數據可能性來訓練的，其中基于概率的方法在許多數據集(如圖像、視頻)中經歷了維數的詛咒。此外，在高維空間中，從馬爾可夫鏈進行的采樣是模糊的，計算速度慢且不準確。

為了解決上述問題，Goodfellow等人提出了生成對抗網(GANs)，這是生成模型的另一種訓練方法。GANs是一種新穎的深度生成模型，它利用反向傳播來進行訓練，以規避與MCMC訓練相關的問題。GANs訓練是生成模型和判別模型之間的極小極大零和博弈。GANs最近在生成逼真圖像方面得到了廣泛的關注，因為它避免了與最大似然學習[5]相關的困難。圖1顯示了GANs能力從2014年到2018年的一個進展示例。

GANs是一種結構化的概率模型，它由兩個對立的模型組成:生成模型(Generator (G))用于捕獲數據分布; 判別模型(Discriminator (D))用于估計生成數據的概率，以確定生成的數據是來自真實的數據分布，還是來自G的分布。D和G使用基于梯度的優化技術(同時梯度下降)玩一個兩人極小極大對策，直到納什均衡。G可以從真實分布中生成采樣后的圖像，而D無法區分這兩組圖像。為了更新G和D，由D通過計算兩個分布之間的差異而產生的損失來接收梯度信號。我們可以說，GANs設計和優化的三個主要組成部分如下:(i) 網絡結構，(ii) 目標(損失)函數，(iii)優化算法。

對多模態數據建模的任務，一個特定的輸入可以與幾個不同的正確和可接受的答案相關聯。圖2顯示了具有多個自然圖像流形(紅色)的插圖，結果由使用均方誤差(MSE)的基本機器學習模型實現，該模型在像素空間(即，導致圖像模糊)和GANs所獲得的結果，從而驅動重構向自然圖像流形方向發展。由于GANs的這一優勢，它在許多領域得到了廣泛的關注和應用。

GANs在一些實際任務中表現良好，例如圖像生成[8][9]、視頻生成[11]、域自適應[12]和圖像超分辨率[10]等。傳統的GANs雖然在很多方面都取得了成功，但是由于D和G訓練的不平衡，使得GANs在訓練中非常不穩定。D利用迅速飽和的邏輯損失。另外，如果D可以很容易的區分出真假圖像，那么D的梯度就會消失，當D不能提供梯度時，G就會停止更新。近年來，對于模式崩潰問題的處理有了許多改進，因為G產生的樣本基于少數模式，而不是整個數據空間。另一方面，引入了幾個目標(損失)函數來最小化與傳統GANs公式的差異。最后，提出了幾種穩定訓練的方法。

近年來，GANs在自然圖像的制作方面取得了突出的成績。然而，在GANs的訓練中存在著主要的挑戰。由于網絡結構設計不當，使用目標函數和選擇優化算法，導致模式崩潰，不收斂和不穩定。最近，為了解決這些挑戰，一些更好地設計和優化GANs的解決方案已經被研究，基于重新設計的網絡結構、新的目標函數和替代優化算法的技術。為了研究以連續一致的方式處理GANs挑戰的GANs設計和優化解決方案，本綜述提出了不同GANs解決方案的新分類。我們定義了分類法和子類尋址來構造當前最有前途的GANs研究領域的工作。通過將提出的GANs設計和優化方案分類，我們對其進行了系統的分析和討論。我們還概述了可供研究人員進一步研究的主要未決問題。

本文貢獻：

• GAN新分類法。在本研究中，我們確定了每個設計和優化技術中的關鍵研究問題，并提出了一種新的分類法，根據關鍵研究問題來構造解決方案。我們提出的分類將有助于研究人員增強對當前處理GANs挑戰的發展和未來研究方向的理解。

• GAN全面的調研。根據分類法，我們提供了對各種解決方案的全面審查，以解決GANs面臨的主要挑戰。對于每一種類型的解決方案，我們都提供了GANs變體及其關系的詳細描述和系統分析。但是，由于廣泛的GANs應用，不同的GANs變體以不同的方式被制定、訓練和評估，并且這些GANs之間的直接比較是復雜的。為此，我們進行了必要的比較，總結了相應的方法。他們提出了解決GANs挑戰的新方案。這個調查可以作為了解、使用和開發各種實際應用程序的不同GANs方法的指南。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

深度神經網絡最近展示了其解決復雜任務的驚人能力。如今的模型使用功能強大的GPU卡在數百萬個示例上進行訓練，能夠可靠地對圖像進行注釋、翻譯文本、理解口語或玩國際象棋或圍棋等戰略性游戲。此外，深度學習也將成為未來許多技術的組成部分，例如自動駕駛、物聯網(IoT)或5G網絡。特別是隨著物聯網的出現，智能設備的數量在過去幾年里迅速增長。這些設備中有許多都配備了傳感器，使它們能夠以前所未有的規模收集和處理數據。這為深度學習方法提供了獨特的機會。

然而，這些新的應用程序帶有許多附加的約束和要求，這些約束和要求限制了當前模型的開箱即用。

1. 嵌入式設備、物聯網設備和智能手機的內存和存儲容量有限，能源資源有限. 像VGG-16這樣的深度神經網絡需要超過500 MB的內存來存儲參數，執行單次向前傳遞需要15 gb的操作。很明顯，這些模型的當前(未壓縮的)形式不能在設備上使用。

2. 訓練數據通常分布在設備上，由于隱私問題或有限的資源(帶寬)，無法簡單地在中央服務器上收集. 由于只有少量數據點的模型的局部訓練通常不太有希望，因此需要新的協作訓練方案來將深度學習的能力引入這些分布式應用程序。

本教程將討論最近提出的解決這兩個問題的技術。我們將首先簡要介紹深度學習，它的當前使用和今天的模型在計算和內存復雜性、能源效率和分布式環境方面的局限性。我們將強調解決這些問題的實際需要，并討論實現這一目標的最新進展，包括ITU ML5G和MPEG AHG CNNMCD正在開展的標準化活動。

然后我們將進入神經網絡壓縮的話題。我們將首先簡要介紹源編碼和信息論的基本概念，包括速率失真理論、量化、熵編碼和最小描述長度原則。這些概念需要形式化的神經網絡壓縮問題。然后我們將繼續討論壓縮DNNs的具體技術。為此，我們將區分壓縮過程的不同步驟，即剪枝和稀疏化、量化和熵編碼。前兩步是有損的，而最后一步是無損的。由于縮小尺寸并不是神經網絡壓縮的唯一目標(例如，快速推理、能源效率是其他目標)，我們還將討論有效推理的方法，包括最近提出的神經網絡格式。最后，我們將介紹一個用例，即設備上的語音識別，演示如何在實際應用中使用壓縮方法。

最后我們將介紹分布式學習的最新發展。我們提出了不同的分布式訓練場景，并根據它們的通信特性進行了比較。接下來，我們將重點討論聯邦學習。我們列舉了聯邦學習中存在的挑戰——通信效率、數據異構性、隱私、個性化、健壯性——并提出了解決這些挑戰的方法。我們特別關注為減少分布式學習中的通信開銷而提出的技術，并討論集群化FL，這是一種與模型無關的分布式多任務優化的新方法。這里我們將強調本教程第一部分中介紹的概念的相似性，即稀疏化、量化和編碼。

目錄：

1. 介紹

• 目前使用的深度學習
• 現有模型和新應用的實際局限性
• 研究、工業和標準化方面的最新發展

2. 神經網絡壓縮

• 背景:資料編碼、信息論
• 修剪和稀疏化方法
• 量化和定點推理
• 神經網絡格式
• 用例研究:設備上的語音識別

3.問題 4. 休息時間 5. 分布式學習

• 背景:SGD，學習理論
• 聯邦和分布式學習的基本概念
• 減少通信開銷和連接到NN壓縮
• 聯邦學習和差異隱私
• 集群聯合學習

7. 問題