圖是描述對象及其關系的重要數據表示形式，它們出現在各種各樣的現實場景中。圖生成是該領域的關鍵問題之一，它考慮的是學習給定圖的分布，生成更多新的圖。然而，由于其廣泛的應用，具有豐富歷史的圖的生成模型傳統上是手工制作的，并且只能對圖的一些統計屬性建模。最近在用于圖生成的深度生成模型方面的進展是提高生成圖的保真度的重要一步，并為新類型的應用鋪平了道路。本文對用于圖生成的深度生成模型領域的文獻進行了廣泛的概述。首先，給出了面向圖生成的深度生成模型的形式化定義和初步知識;其次，分別提出了用于無條件和條件圖生成的深度生成模型的分類;對各自已有的工作進行了比較分析。在此之后，將概述此特定領域中的評估指標。最后，總結了深度圖生成的應用，并指出了五個有發展前景的研究方向。
//www.zhuanzhi.ai/paper/a904f0aa0762e65e1dd0b8b464df7168
引言
圖在現實世界中無處不在，表示對象及其關系，如社會網絡、引文網絡、生物網絡、交通網絡等。眾所周知，圖還具有復雜的結構，其中包含豐富的底層值[1]。人們在這方面做出了巨大的努力，產生了豐富的相關文獻和處理各種圖問題的方法。這些工作可分為兩類:1)預測和分析給定圖的模式。2)學習給定圖的分布，生成更多新穎的圖。第一種類型涵蓋了許多研究領域，包括節點分類、圖分類和鏈接預測。在過去的幾十年里，在這個領域已經做了大量的工作。與第一類問題相比，第二類問題與圖生成問題有關，這也是本文的重點。
圖生成包括建模和生成真實世界的圖的過程，它在幾個領域都有應用，例如理解社交網絡[2]，[3]，[4]中的交互動態，異常檢測[5]，蛋白質結構建模[6]，[7]，源代碼生成和翻譯[8]，[9]，語義解析[10]。由于其廣泛的應用，圖的生成模型的發展有著豐富的歷史，產生了著名的模型，如隨機圖、小世界模型、隨機塊模型和貝葉斯網絡模型，這些模型基于先驗結構假設[11]生成圖。這些圖生成模型[12]、[13]、[14]旨在建模預先選擇的圖族，如隨機圖[15]、小世界網絡[16]和無標度圖[12]。然而，由于其簡單性和手工制作的性質，這些隨機圖模型通常對復雜依賴的建模能力有限，只能對圖的一些統計屬性建模。這些方法通常很適合預定義原則為之量身定制的屬性，但通常不能很好地適用于其他屬性。例如，接觸網絡模型可以擬合流感流行，但不能擬合動態功能連接。然而，在許多領域，網絡的性質和生成原理在很大程度上是未知的，如那些解釋大腦網絡中的精神疾病的機制，網絡攻擊和惡意軟件的傳播。對于另一個例子，Erdos-Renyi的圖沒有許多現實世界網絡中典型的重尾度分布。此外，先驗假設的使用限制了這些傳統技術在更大規模的領域中探索更多的應用，在這些領域中，圖的先驗知識總是不可用。
考慮到傳統圖生成技術的局限性，一個關鍵的開放挑戰是開發可以從觀察到的圖集合中直接學習生成模型的方法，這是提高生成圖的保真度的重要一步。它為新類型的應用鋪平了道路，如發現新的藥物[17]，[18]，和蛋白質結構建模[19]，[20]，[21]。深度生成模型的最新進展，如變分自編碼器(VAE)[22]和生成對抗網絡(GAN)[23]，已被提出用于生成圖的許多深度學習模型，這些模型形式化了用于生成圖的深度生成模型的有前途的領域，這是本綜述的重點。
在深度圖生成方面已經開展了各種先進的工作，從一次性圖生成到順序圖生成過程，適應了各種深度生成學習策略。這些方法旨在通過不同領域的工作解決上述挑戰中的一個或幾個，包括機器學習、生物信息學、人工智能、人類健康和社交網絡挖掘。但是，不同的研究領域開發的方法往往使用不同的詞匯，從不同的角度解決問題。此外，缺乏標準和全面的評估程序來驗證所開發的圖的深度生成模型。為此，本文對用于圖生成的深度生成模型進行了系統的綜述。目的是幫助跨學科研究者選擇合適的技術來解決其應用領域的問題，更重要的是幫助圖生成研究者理解圖生成的基本原理，并識別深度圖生成領域的開放研究機會。據我們所知，這是第一次對用于圖生成的深度生成模型的全面綜述。下面，我們總結了這次綜述的主要貢獻:
本文提出一種用于圖生成的深度生成模型分類法，按問題設置和方法進行分類。介紹了不同子類別之間的優缺點和關系。對用于圖生成的深度生成模型以及基礎的深度生成模型進行了詳細的描述、分析和比較。 * 我們總結和分類現有的評估程序和指標，基準數據集和對應的圖生成任務的深度生成模型的結果。 * 我們介紹了圖深度生成模型的現有應用領域，以及它們給這些應用帶來的潛在好處和機會。 * 我們提出了用于圖生成的深度生成模型領域的幾個開放問題和有前途的未來研究方向。
用于圖生成的無條件深度生成模型無條件深度圖生成的目的是通過深度生成模型從真實分布p(G)中抽樣的一組觀察到的真實圖來學習分布pmodel(G)。根據生成過程的風格，我們可以將這些方法分為兩個主要分支:(1)順序生成:按順序依次生成節點和邊;(2)一次生成:根據矩陣表示建立一個概率圖模型，一次生成所有節點和邊。這兩種生成圖的方法各有優缺點。順序生成雖然高效地執行了前一種生成的局部決策，但在保持長期依賴性方面存在困難。因此，圖的一些全局屬性(如無標度屬性)很難包含進去。此外，現有的關于序列生成的工作僅限于預先定義的序列的順序，從而留下了排列的作用。一次性生成方法可以通過多次迭代同步生成和細化整個圖(即節點和邊)，從而對圖的全局屬性進行建模，但由于需要對節點之間的全局關系進行集體建模，其時間復雜度通常超過O(N2)，因此大多數方法難以擴展到大型圖。
用于圖生成的條件深度生成模型
條件深度圖生成的目標是根據觀察到的一組現實圖G及其對應的輔助信息(即條件y)學習條件分布pmodel(G|y)。輔助信息可以是類別標簽、語義上下文、來自其他分布空間的圖等。與無條件深度圖生成相比，條件生成除了在生成圖方面的挑戰外，還需要考慮如何從給定條件中提取特征并將其整合到圖的生成中。因此，為了系統地介紹現有的條件深度圖生成模型，我們主要描述這些方法如何處理條件。由于條件可以是任何形式的輔助信息，因此它們被分為三種類型，包括圖、序列和語義上下文，如圖1中分類法樹的黃色部分所示
付費5元查看完整內容
相關內容
擴散模型是一類具有豐富理論基礎的深度生成模型，在各種任務中都取得了令人印象深刻的結果。盡管擴散模型比其他最先進的模型取得了令人印象深刻的質量和樣本合成多樣性，但它們仍然存在昂貴的采樣程序和次優的似然估計。近年來，研究人員對擴散模型性能的改進表現出極大的熱情。在這篇文章中，我們提出了擴散模型的現有變體的第一個全面的綜述。具體地說，我們提供了擴散模型的第一個分類，并將它們的變體分為三種類型，即采樣-加速增強、可能性-最大化增強和數據泛化增強。我們還詳細介紹了其他五種生成模型(即變分自編碼器、生成對抗網絡、歸一化流、自回歸模型和基于能量的模型)，并闡明擴散模型和這些生成模型之間的聯系。然后對擴散模型的應用進行了深入的研究，包括計算機視覺、自然語言處理、波形信號處理、多模態建模、分子圖生成、時間序列建模和對抗性純化。此外，我們提出了關于發展這一生成模式的新觀點。
//www.zhuanzhi.ai/paper/edf9ba1200e0740b307a923e23f4c966
導論
擴散模型是深度生成模型中最先進的模型。擴散模型在圖像合成[1]上超越GAN后，在不同的任務上也顯示出了一種很有前途的算法，如計算機視覺[2,3,4,5]、自然語言處理[6]、波形信號處理[7,8]、多模態建模[9,10,11]、分子圖建模[12,13]、時間序列建模[14]和對抗式凈化[15]。此外，擴散模型與其他研究領域有著密切的聯系，如魯棒學習[16,17,18]，代表性學習[11,19,20,21]和強化學習[22]。然而，原始的擴散模型仍然存在采樣過程緩慢的問題，通常需要數千步的評估才能得到一個樣本[23]。它一直難以實現與其他基于似然的模型(例如自回歸模型[24])競爭的對數似然。最近的一些研究從實際考慮或從理論角度分析擴散模型的能力來改進擴散模型的性能。然而，目前還沒有文獻對擴散模型的最新研究進展進行系統的綜述。為了反映這一快速發展的領域的進展，我們首次對擴散模型進行了全面的綜述。我們設想我們的工作將闡明擴散模型的設計考慮和先進方法，介紹其在不同領域的應用，并為未來的研究指明方向，我們的綜述方案如圖1所示。
擴散概率模型最初是受非平衡熱力學的啟發，作為一種潛在變量生成模型提出的。這類模型由兩個過程組成，第一個是通過在多個尺度上添加噪聲來逐步干擾數據分布的正向過程，第二個是學習恢復數據結構的反向過程[23,25]。從這個角度看，擴散模型可以看作是一個層次非常深的VAE，即破壞和恢復過程分別對應編碼和解碼過程。因此，許多研究的重點是學習編碼和解碼過程，并結合變分下界的設計來提高模型的性能。或者，擴散模型的過程可以看作是隨機微分方程(SDE)的離散化[26,27]，其中正向和反向過程對應著正向SDE和反向SDE。因此，通過SDE對擴散模型進行分析，可以提供密集的理論結果和模型改進，特別是在采樣策略方面。基于這些觀點，我們建議將擴散模型分為三類: 采樣過程增強(第3節)、可能性最大化增強(第4節)和泛化能力增強(第5節)。在這兩類模型中，分別分析了離散時間和連續時間兩種具有豐富經驗和理論結果的模型。
在分析了三種擴散模型之后，我們介紹了其他五種常用的生成式模型(第6節)，即變分自編碼器、生成式對抗網絡、歸一化流、自回歸模型和基于能量的模型。由于擴散模型具有良好的性質，研究人員開始將擴散模型與傳統的生成模型相結合。我們對這些組合工作進行了具體的介紹，并闡明了對原始生成模型的改進。然后，我們系統地介紹擴散模型在大量任務中的應用(第7節)，包括計算機視覺、自然語言處理、波形信號處理、多模態建模、分子圖生成、時間序列建模和對抗性純化。對于每個任務，我們給出了問題的定義，并介紹了利用擴散模型來處理問題的工作。在第8部分，我們提出了這一快速發展的領域的潛在研究方向，并在第9部分總結了綜述。
本綜述的主要貢獻
-
新分類法。我們首先提出了一個新的和系統的分類擴散模型及其應用。具體而言，我們將現有的擴散模型分為三大類: 采樣加速增強、似然最大化增強和數據泛化增強。此外，我們將擴散模型的應用分為七大類: 計算機視覺、自然語言處理、波形信號處理、多模態學習、分子圖生成、時間序列建模和對抗性凈化。
-
全面綜述。本文首次全面概述了現代擴散模型及其應用。對每一類擴散模型進行了改進，并進行了必要的比較，總結了相應的文獻。對于每種類型的擴散模型應用，我們演示了要處理的主要問題，并說明它們如何處理這些問題。
-
未來研究方向。本文對擴散模型在算法和應用方面的發展提出了一些有待進一步研究的問題和建議。
本文的組織本文的其余部分組織如下。在第二節中，我們對擴散模型進行了初步的介紹，并給出了擴散模型的標準形式，然后對擴散模型的變體進行了分類。從第3節到第5節，我們闡述了各類型擴散模型的主要增強，并分析了它們的優點和局限性。在第6節中，我們介紹了其他五種常用的生成模型，并說明了它們與擴散模型之間的聯系。在第7節中，我們列出了擴散模型的一系列應用，提供了問題定義和解決方案分析。第8節討論了挑戰和可能的未來方向。在第9節中，我們總結了這一綜述。
應用
由于擴散模型的靈活性和強度，它們最近已被應用于許多現實世界的應用。在本節中，我們將這些應用分為七個部分，包括計算機視覺、自然語言處理、波形信號處理、多模態學習、分子圖建模、時間序列建模和對抗性凈化。在每個小節中，我們首先對每個任務進行簡要介紹，然后詳細介紹如何利用擴散模型來提高性能。
圖像超分辨率與修復
圖像超分辨率是指從低分辨率(LR)圖像中恢復高分辨率(HR)圖像，而圖像修補是指重建圖像中缺失或破壞的區域。超分辨率擴散(SRDiff)[2]是第一個基于擴散的單幅圖像超分辨率模型，該模型利用數據似然的變分界進行優化。SRDiff能夠提供多樣化和現實的超分辨率(SR)結果，通過逐步轉換高斯噪聲條件下的LR輸入與馬爾可夫鏈。重復細化超分辨率(SR3)[116]采用去噪擴散概率模型[23,25]進行條件圖像生成，通過隨機迭代去噪過程進行圖像超分辨率。LDM[117]提出了潛在擴散模型，這是一種既提高了去噪擴散模型的訓練效率和采樣效率，又不損失質量的有效方法。為了幫助擴散模型使用有限的計算資源進行訓練，同時保持質量和靈活性，LDM還利用預訓練的自動編碼器在潛在空間中利用它們。RePaint[118]設計了一種改進的去噪策略，通過重采樣迭代來更好地調節圖像。RePaint沒有減慢擴散過程[119]，而是在擴散過程中前進和后退，產生有語義意義的圖像。調色板[120]提出了一個基于條件擴散模型的統一框架，并對該框架進行了四項具有挑戰性的圖像生成任務[121]的評估，如著色、修復、取消裁剪和JPEG恢復。級聯擴散模型(cascade Diffusion Models, CDM)[122]由級聯的多重擴散模型組成，生成分辨率逐漸增加的圖像。CDM能夠在類條件ImageNet[123]生成基準數據集上生成高質量的圖像，不需要任何來自輔助圖像分類器的監督信息。多速度擴散(MSDiff)[124]產生了一種條件多速度擴散估計器(CMDE)，這是一種條件分數估計器，它結合了以往的條件分數估計方法[116,125]。
語義分割
語義分割是將圖像中屬于同一類別的部分聚類在一起。預訓練可以提高語義切分模型的標簽利用率，生成模型是一種替代預訓練的方法。最近的一項研究[3]對最先進的DDPM[23]學習的表征進行了調查，并表明它們有能力捕捉對下游視覺任務有價值的高級語義信息。它開發了一種簡單的方法，在少樣本的操作點上利用這些學習到的表示，并顯著優于包括VDVAE[126]和ALAE[16]在內的替代方法。受擴散模型成功的啟發，學者們還研究了通過對自動編碼器去噪學習到的表示在語義分割中的有效性[127]。解碼器去噪預訓練(Decoder去噪預訓練，DDeP)[128]使用監督學習程序對編碼器進行初始化，只在去噪目標引導下對解碼器進行預訓練。
異常檢測
異常檢測是機器學習和計算機視覺中的一個關鍵和具有挑戰性的問題[129]。生成模型已經被證明具有強大的異常檢測機制。它們有助于建立正常或健康參考數據的模型，這些參考數據隨后可被用作異常評分的基線[130]，包括GAN、VAE和擴散模型[131,132]。AnoDDPM[131]提出了一種新的異常檢測方法，該方法利用DDPM破壞輸入圖像，并重建圖像的健康近似。該方法比對抗性訓練具有更好的建模性能和更高的樣本質量，并且訓練更加穩定。DDPM- cd[132]提出了一種通過DDPM將大量無監督遙感圖像納入訓練過程的新方法。它利用預訓練的DDPM和來自擴散模型解碼器的多尺度表示進行遙感變化檢測。它的目的是訓練一個光變化檢測分類器，有效地檢測精確的變化。
視頻生成
在深度學習時代，由于視頻幀的時空連續性和復雜性，高質量的視頻生成仍然具有挑戰性[4,5]。最近的研究求助于擴散模型來提高生成視頻的質量。柔性擴散模型(Flexible Diffusion Model, FDM)[137]提出了一種新的基于DDPM的視頻生成框架，可以在不同的現實場景下生成長期的視頻補全。它引入了一個生成模型，可以在測試期間對視頻幀的任意子集進行采樣，并提出了一個為此目的設計的架構。受神經視頻壓縮研究進展的啟發[138]，殘差視頻擴散(RVD)提出了一種自回歸的端到端優化視頻擴散模型。它通過反向擴散過程產生的隨機殘差來修正確定性的下一幀預測，從而連續生成未來幀。視頻擴散模型(Video Diffusion Model, VDM)[139]引入了一種用于視頻時空擴展的條件采樣方法。它超越了之前提出的方法，并生成長、高分辨率的視頻。
自然語言處理
自然語言處理是旨在理解、建模和管理人類語言的研究領域。文本生成也被稱為自然語言生成，已經成為自然語言處理中最關鍵和最具挑戰性的任務之一[140]。它的目標是在給定輸入數據(如序列和關鍵字)或隨機噪聲的情況下，用人類語言生成可信和可讀的文本。研究人員已經開發了許多用于文本生成的廣泛應用的技術[141,142]。離散去噪擴散概率模型(D3PMs)[6]引入了用于字符級文本生成的類擴散生成模型[143]。他們通過超越具有統一轉移概率的腐蝕過程，推廣了多項擴散模型[144]。大型自回歸語言模型(LMs)能夠生成高質量的文本[90,145,146,147]。為了在實際應用中可靠地部署這些LM，文本生成過程通常是可控的。這意味著我們需要生成能夠滿足要求的文本(如主題、句法結構)。在文本生成中，不需要再訓練就能控制語言模型(LMs)的行為是一個重要的問題[148,149]。盡管最近的研究在簡單句子屬性(如情感)的控制上取得了顯著的成功[150,151]，但在復雜的、細粒度的控制(如句法結構)上卻鮮有進展。為了解決更復雜的控制問題，Diffusion-LM[152]提出了一種基于連續擴散的新的語言模型。Diffusion-LM從一系列高斯噪聲向量開始，逐級降噪成單詞對應的向量。逐步去噪的步驟有助于產生分層連續的潛在表征。這種分層連續的潛在變量可以使簡單的、基于梯度的方法實現復雜的控制。
未來方向
新視角。我們觀察到離散擴散模型仍存在一些未解決的問題，這些問題在自然語言處理中具有實用價值。由于數據的離散性，在連續的高斯噪聲下很難恢復已損壞的數據。但如果我們加入像隨機游走這樣的離散噪聲，那么評分函數將變得不明確，評分匹配框架將不再適用。同樣的問題也存在于其他數據類型中，比如圖。因此，需要新的方法和視角[197]。在理論層面，我們仍然需要檢驗擴散模型中一些公認的前提。例如，在實踐中，人們普遍認為正向處理會將數據轉換為標準的高斯噪聲。然而，SDE的有限時間解不能忘記原始數據的分布。這些實踐和理論之間的不匹配可以激發更好的模型設計[198]。在實踐層面，由于擴散模型的靈活性，許多經驗方法的泛化能力有待進一步評價和分析[34,199,200,197]。
泛化到更多的應用。如第7節所示，擴散模型已應用于7種不同類型的場景，從計算機視覺到對抗性純化。然而，仍有一些場景有待開發，如文本到視聽語音合成和視覺問答(VQA)。此外，我們可以明顯地發現，現有的大多數應用都局限于單一輸入/輸出或簡單輸入/輸出。因此，如何使擴散模型能夠處理復雜的輸入并產生多種輸出，并在現實場景中獲得更好的性能，是研究人員面臨的關鍵和挑戰。雖然擴散模型在魯棒學習、代表性學習和強化學習等研究領域已經得到了研究，但仍存在與更多研究領域相聯系的機會。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191