擴散模型已經成為一種突出的生成模型，在樣本質量和訓練穩定性方面超過了之前的方法。最近的工作顯示了擴散模型在改進強化學習(RL)解決方案方面的優勢，包括作為軌跡規劃器、表達性策略類、數據合成器等。本綜述旨在概述這一新興領域的進展，并希望激發新的研究途徑。首先，研究了當前強化學習算法遇到的幾個挑戰。根據擴散模型在強化學習中發揮的作用，對現有方法進行了分類，并探索了如何解決現有挑戰。進一步概述了擴散模型在各種強化學習相關任務中的成功應用，同時討論了當前方法的局限性。最后，總結了綜述，并對未來的研究方向提出了見解，重點是提高模型性能和將擴散模型應用于更廣泛的任務。我們正在積極維護一個GitHub存儲庫，用于存儲在RL中應用擴散模型的論文和其他相關資源。

//www.zhuanzhi.ai/paper/5b2f904982b924f5734c5543cb19945c

擴散模型已成為一類強大的生成模型，近年來引起了廣泛關注。這些模型采用了一種去噪框架，可以有效地逆轉多步去噪過程以生成新數據[Song等人，2021]。與早期的生成模型如變分自編碼器(VAE) [Kingma和Welling, 2013]和生成對抗網絡(GAN) [Goodfellow等人，2014]相比，擴散模型在生成高質量樣本方面表現出優越的能力，并顯示出增強的訓練穩定性。因此，他們在包括計算機視覺在內的不同領域取得了顯著的進步并取得了實質性的成功[Ho等人，2020;Lugmayr等人，2022;，自然語言處理[Austin等人，2021;Li等人，2022]，音頻生成[Lee和Han, 2021;Kong等人，2020]和藥物發現[Xu等人，2022;Schneuing等人，2022]等。

強化學習(RL) [Sutton和Barto, 2018]專注于通過最大化累積獎勵來訓練智能體來解決連續決策任務。雖然RL在各個領域取得了顯著的成功[Kober等人，2013;Kiran等人，2021]，有一些長期的挑戰。具體來說，盡管離線強化學習因克服在線強化學習中的低樣本效率問題而獲得了相當大的關注[Kumar等人，2020;Fujimoto and Gu, 2021]，傳統的高斯策略可能無法擬合具有復雜分布的數據集，因為它們的表達能力有限。同時，雖然利用經驗回放來提高樣本效率[Mnih et al.， 2013]，但在高維狀態空間和復雜交互模式的環境中仍然存在數據稀缺問題。在基于模型的強化學習中，學習到的動態模型的一個常見用法是規劃[Nagabandi等人，2018;Schrittwieser等人，2020;Zhu et al.， 2021]，但perstep自回歸規劃方法受到復合誤差問題的影響[Xiao et al.， 2019]。一個理想的強化學習算法應該能夠學習單個策略來執行多個任務，并泛化到新環境中[Vithayathil Varghese和Mahmoud, 2020;Beck等，2023]。然而，現有工作在多任務泛化方面仍然很困難。

近年來，已有一系列將擴散模型應用于序列決策任務的研究，其中尤以離線決策學習為著。作為一項代表性工作，Diffuser [Janner等人，2022]擬合了用于離線數據集上軌跡生成的擴散模型，并通過引導采樣規劃所需的未來軌跡。已經有許多后續工作，其中擴散模型在強化學習管道中表現為不同的模塊，例如取代傳統的高斯策略[Wang等人，2023]，增強經驗數據集[Lu等人，2023b]，提取潛在技能[Venkatraman等人，2023]等。我們還觀察到，由擴散模型促進的規劃和決策算法在更廣泛的應用中表現良好，如多任務強化學習[He等人，2023a]、模仿學習[Hegde等人，2023]和軌跡生成[Zhang等人，2022]。更重要的是，擴散模型由于其強大而靈活的分布建模能力，已經為解決強化學習中長期存在的挑戰提供了思路。

本文關注于擴散模型在強化學習中的應用，并額外考慮了將擴散模型納入軌跡生成和模仿學習背景中的方法，主要是因為這些領域之間存在明顯的相互關系。第2節闡述了上述RL挑戰，并討論了擴散模型如何幫助解決每個挑戰。第3節提供了擴散模型基礎的背景知識，還涵蓋了在強化學習相關應用中特別重要的兩類方法:引導采樣和快速采樣。第4節說明了擴散模型在強化學習中在現有工作中發揮的作用。第5節討論了擴散模型在不同RL相關應用中的貢獻。在第6節中，指出了應用擴散模型時的局限性，并將其與基于transformer的方法進行了比較。第7節總結了調查與討論新興的新主題。

擴散模型的基礎

本節提供擴散模型的基礎。提出了兩個著名的表述:去噪擴散概率模型(DDPM) [Ho等人，2020]和基于分數的生成模型[Song等人，2021]。DDPM由于其簡單性而被廣泛使用，而基于分數的公式將其擴展到包含連續時間擴散過程。此外，引導采樣方法在將擴散模型集成到RL框架中起著關鍵作用。根據指導采樣過程的方法，這些方法可以分為兩大類:分類器指導[Dhariwal和Nichol, 2021]，這需要一個額外的分類器，以及無分類器指導[Ho和Salimans, 2022]，這將指導條件作為模型輸入的一部分。此外，為了提高采樣速度，特別是在在線交互過程中，在強化學習相關任務中使用擴散模型時采用了快速采樣技術[Kang等人，2023;王志軍，2023。簡要介紹了在擴散模型的禁食采樣研究方面的一些代表性工作，包括基于學習的方法和無學習的方法。

**在RL中擴散模型的角色 **

擴散模型已證明了其生成多樣化數據和建模多模態分布的能力。考慮到第2節中介紹的長期存在的挑戰，使用擴散模型改善RL算法的性能和樣本效率是足夠的。在圖1中，我們說明了擴散模型在RL中與以前的解決方案相比扮演的不同角色。當前應用擴散模型于RL的工作主要分為四個類別：使用擴散模型作為規劃器，作為策略，用于數據增強，以及在潛在表示上。以下小節將為每個類別說明整體框架和代表性的論文。

規劃器

在RL中的規劃指的是在一個假想的環境中決策應采取的行動的過程，然后選擇最佳行動以最大化累積獎勵信號。這個過程通常模擬或探索不同的行動和狀態序列，預測其決策的結果，從而從更長時間范圍的角度產生更好的行動。因此，規劃通常應用于MBRL框架中。然而，用于規劃的決策序列是自回歸生成的，這可能導致嚴重的累積誤差，尤其是在離線設置中，由于數據支持有限。擴散模型提供了一個可能的解決方案，因為它們可以同時生成整個序列。擴散模型作為規劃器的一般框架顯示在圖2(a)中。

策略

與傳統的RL分類相比，傳統分類大致將RL算法分為MBRL和無模型RL，使用擴散模型作為規劃器類似于MBRL，并專注于捕捉環境動態。相反，將擴散模型視為策略遵循無模型RL的框架。第2.1節闡述了離線策略學習框架的主要缺點：過于保守和在多樣化數據集上的能力較差。憑借其對多模態分布的出色表達能力，許多工作利用擴散模型作為策略來解決這些問題。

**數據合成器 **

除了適應多模態分布外，擴散模型的一個簡單且常見的用途是生成更多的訓練樣本，這在計算機視覺中得到了廣泛應用并得到了驗證。因此，將擴散模型作為RL數據集上的數據合成器是自然的，因為如第2.2節所述，數據稀缺是RL的實際挑戰。為了保證合成數據與環境動態的一致性，RL中的先前數據增強方法通常在現有狀態和動作中添加小的擾動 [Sinha等，2021]。相比之下，圖2(c)說明擴散模型從整個數據集D學習數據分布，并能在保持一致性的同時生成高度多樣化的數據。Lu等[2023b]研究了擴散模型作為數據合成器在離線和在線設置中的能力。它直接從離線數據集或在線回放緩沖區訓練擴散模型，然后生成更多的樣本以改進策略。分析顯示，擴散模型生成的數據質量在多樣性和準確性上高于明確數據增強生成的數據。有了合成數據，離線策略的性能和在線策略的樣本效率都得到了顯著提高。He等[2023a]部署擴散模型來增強多任務離線數據集的數據，并獲得了比單任務數據集更好的性能。它聲稱在多個任務上進行擬合可能會實現任務之間的隱式知識共享，這也受益于擴散模型的多模態特性。

結論

本綜述提供了一個全面的概述，關于擴散模型在RL領域的應用的現代研究努力。根據擴散模型所扮演的角色，我們將現有的方法分類為使用擴散模型作為規劃器、策略、數據合成器，以及其他不太受歡迎的角色，如價值函數、潛在表示模型等。通過與傳統解決方案進行比較，我們可以看到擴散模型是如何解決RL中一些長期存在的挑戰，即，受限的表達性、數據稀缺、累積誤差和多任務泛化。盡管有這些優點，但必須承認在RL中使用擴散模型存在不容忽視的局限性，這是由于擴散模型的訓練和采樣中的一些固有屬性。值得強調的是，將擴散模型融入RL仍然是一個新興領域，還有很多研究課題值得探索。在這里，我們概述了四個前景研究方向，即結合Transformer、增強生成的檢索、整合安全約束和組合不同的技能。

隨著大型語言模型（LLM）發展的日益普及，吸引了大量關注，各種應用領域的模型不斷涌現。然而，將大型語言模型與語義技術相結合以進行推理和推斷仍然是一項具有挑戰性的任務。本文分析了當前在基礎LLM方面的進展，如ChatGPT，如何與專用預訓練模型，如REBEL，進行比較，以實現實體和關系的聯合提取。為了評估這種方法，我們使用與可持續性相關的文本作為案例，進行了多個實驗。我們創建了從原始文本自動生成知識圖譜的流程，并發現使用先進的LLM模型可以提高從非結構化文本創建這些圖譜的過程的準確性。此外，我們還探討了使用基礎LLM模型進行自動本體創建的潛力，從而生成更相關且準確的知識圖譜。本節描述了本研究中使用的方法，包括數據收集過程以及用于分析收集到的數據的實體-關系提取算法。

**A. 數據收集過程 **為了對實體-關系提取的兩種方法進行實驗性比較，我們從網絡上收集了有關可持續性主題的新聞數據。為此，我們使用了News API [21]系統。News API是一個HTTP REST API，用于從網絡上搜索和檢索實時文章。它提供了通過指定以下選項在網絡上發布的文章中進行搜索的功能：關鍵詞或短語、發布日期、來源域名和語言。通過使用News API，我們收集了2023-02-15至2023-03-19關于可持續性主題的94篇新聞文章。收集到的文本包含各種字數，從50個到超過4200個不等。由于輸入到語言模型中的令牌數量受到限制，因此需要進行額外的預處理步驟來處理包含大量單詞的文本。

**B. 關系提取方法 **關系提取是自然語言處理（NLP）中的一項基本任務，旨在識別句子或文檔中實體之間的語義關系。這項任務具有挑戰性，因為它需要理解實體出現的上下文以及它們之間存在的關系類型。在本小節中，我們將介紹如何利用REBEL和ChatGPT進行關系提取任務。1) REBEL：我們首先嘗試使用REBEL從非結構化新聞文章中提取關系。為了讓REBEL能夠使用提供的文本，需要使用相應的分詞器功能對其進行分詞。分詞是將原始文本分割成稱為令牌的較小單位的過程。令牌可以是單詞、字符或子詞。模型對令牌的限制為512個令牌，這意味著在將較長的收集到的文章發送到模型進行三元組提取之前，需要對其進行預處理。為了解決這個限制，我們將原始文本進行分詞，并將令牌劃分為256個令牌的批次。這些批次分別由REBEL模型處理，然后合并結果以提取較長文本的關系。還向提取的關系添加元數據，引用生成關系的令牌批次。采用這種方法，由于令牌批次可能在句子的中間開始或結束，某些關系可能無法準確提取。然而，這種情況發生的次數微乎其微。因此，我們將其處理留給未來的工作。實體-關系提取過程完成后，提取的信息存儲在三元組結構中。為了進一步規范提取的實體，我們執行實體鏈接[22]。實體鏈接是指將原始文本中提到的實體與知識庫中相應實體進行識別和關聯的過程。實體鏈接過程不屬于REBEL模型的一部分，它是用于優化提取關系的額外后處理步驟。在本研究中，我們使用DBpedia作為知識庫，并認為如果兩個實體具有相同的DBpedia URL，則它們是相同的。這方法不適用于DBpedia上不存在的實體。

2. ChatGPT：本文采用的第二種方法使用了OpenAI的ChatGPT [12]。我們使用ChatGPT創建了兩個實驗。第一個實驗提示ChatGPT從收集到的新聞文章中提取關系。在提取關系之后，我們遵循與REBEL模型相同的步驟，以創建一個全面的知識庫。第二個實驗側重于創建一個直接生成整個知識庫并編寫描述文本中識別到的概念的本體的提示。這種方法的目標是減少為了獲得最終知識圖譜而需要執行的手動步驟的數量。對于這兩個實驗，我們將參數“溫度”的值設為0，以獲得更具確定性的輸出，因為OpenAI模型本質上是非確定性的。

**本文回顧了在擴散模型在廣泛的生成任務中流行的背景下的文本到圖像的擴散模型。作為一項獨立的工作，本綜述首先簡要介紹基本擴散模型如何用于圖像合成，然后介紹條件或指導如何改善學習。**在此基礎上，綜述了文本條件圖像合成(即文本到圖像)的最新方法。本文進一步總結了文本到圖像生成之外的應用:文本指導的創意生成和文本指導的圖像編輯。除了迄今取得的進展，本文還討論了現有的挑戰和有希望的未來方向。

//www.zhuanzhi.ai/paper/8a64d962c13c8857d5c06bcdc0c43c0a

1. 引言

一幅畫勝過千言萬語。正如一句老話所說，圖像比純文本更能講述故事。當人們閱讀文本故事時，他們可以通過想象在腦海中畫出相關的圖像，這有助于他們理解和享受更多。因此，設計一個從紋理描述生成視覺逼真圖像的自動系統，即文本到圖像任務，是一項非平凡任務，因此可以被視為類人或通用人工智能的一個重要里程碑[1]，[2]，[3]，[4]。隨著深度學習[5]的發展，文本到圖像任務已經成為計算機視覺中最令人印象深刻的應用之一[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]。我們在圖1中總結了文本到圖像生成的代表性工作的時間軸。如圖1所示，AlignDRAW[6]是一項從自然語言生成圖像的開創性工作，但受到了不現實的結果的影響。文本條件GAN[7]是第一個從字符級到像素級的端到端差分架構。不同于基于GAN的方法[7]、[8]、[9]、[10]主要在小規模數據環境下進行，自回歸方法[11]、[12]、[13]、[14]利用大規模數據進行文本到圖像生成，代表性方法包括OpenAI的DALL-E[11]和谷歌的Parti[14]。然而，自回歸特性使得這些方法[11]，[12]，[13]，[14]存在較高的計算成本和序列誤差累積。

最近，擴散模型(DM)出現了成為文本到圖像生成中最先進的新模型的趨勢[15]，[16]，[17]，[18]。基于擴散的文本到圖像合成也在社交媒體上引起了廣泛關注。在過去的一年里，大量關于文本到圖像擴散模型的工作已經出現，但更多的工作預計將在不久的將來出現。相關著作的數量使讀者在沒有全面調研的情況下，了解文本-圖像擴散模型的最新發展越來越具有挑戰性。然而，據我們所知，目前還沒有關于基于擴散的文本到圖像生成的最新進展的綜述工作。相關綜述的一個分支[19]，[20]，[21]，[22]綜述了擴散模型在所有領域的進展，使其局限于對測試到圖像合成任務的有限覆蓋。另一個綜述流[21]，[23]，[24]專注于文本到圖像任務，但僅限于基于GAN的方法，考慮到擴散模型取代GAN的最近趨勢，這些方法有些過時。本文通過全面介紹基于擴散模型的文本到圖像任務的最新進展，并對其未來方向進行了展望，填補了上述兩個流之間的空白。 **該綜述首先回顧了基于擴散模型的文本到圖像任務的最新進展，因此處于擴散模型和文本到圖像合成的交叉點。**因此，我們將本文的其余部分組織如下。第二節介紹了擴散模型的背景，包括對文本到圖像合成很重要的指導方法。第三部分討論了基于擴散模型的文本生成圖像任務的開創性工作，包括GLIDE[15]、Imagen[16]、Stable diffusion[17]和DALL-E2[18]。第四部分從各個方面進一步論述了后續研究對第三部分開拓性工作的完善。通過總結最近的基準和分析，在第5節中從技術和道德角度進一步評估這些文本到圖像的方法。除了文本到圖像的生成外，還介紹了第六節中的相關任務，包括文本指導的創意生成(如文本到視頻)和文本指導的圖像編輯。回顧了文本到圖像生成之外的各種應用，并討論了挑戰和未來的機會。 2. 開創性的文本到圖像擴散模型

本節介紹基于擴散模型的文本到圖像的前沿框架，根據擴散先驗在哪里進行，可以大致分類，即像素空間或潛空間。第一類方法直接從高維像素級生成圖像，包括GLIDE[15]和Imagen[16]。另一組工作建議首先將圖像壓縮到一個低維空間，然后在這個潛空間上訓練擴散模型。潛空間類的代表性方法有Stable Diffusion[17]、VQ-diffusion[39]和DALL-E 2[18]。 像素空間中的框架

GLIDE:關于DM的第一個T2I工作。本質上，文本到圖像是以文本為條件的圖像合成。因此，將類條件DM中的標簽替換為文本，使采樣生成以文本為條件是很直觀的。正如在2.3節中討論的，引導擴散提高了條件DM中樣本[37]的真實感，其無分類器變體[38]有助于處理自由形式的提示。受此啟發，GLIDE[15]在T2I中采用無分類器指導，將原始類別標簽替換為文本。GLIDE[15]還調查了剪輯指導，但與無分類器指導相比，人類評估人員不太喜歡樣本的照片真實感和標題相似性。作為其框架中的一個重要組件，文本編碼器被設置為一個transformer[40]，具有24個殘差塊，寬度為2048(大約1.2B參數)。實驗結果表明，GLIDE[15]在FID和人工評價指標上均優于DALL-E [11]。

Imagen:用預訓練語言模型編碼文本。

繼GLIDE[15]之后，Imagen[16]采用無分類器指導的圖像生成。GLIDE和Imagen的核心區別在于它們對文本編碼器的選擇。具體來說，GLIDE使用成對的圖像-文本數據與擴散先驗一起訓練文本編碼器，而Imagen[16]采用預訓練和凍結的大型語言模型作為文本編碼器。凍結預訓練編碼器的權重有助于離線文本嵌入，這為文本到圖像擴散先驗的在線訓練減少了可忽略不計的計算負擔。此外，文本編碼器可以在圖像-文本數據(如CLIP[41])或純文本語料庫(如BERT [42]， GPT[43]，[44]，[45]和T5[46])上進行預訓練。純文本語料庫明顯大于成對的圖像-文本數據，使這些大型語言模型接觸到分布豐富而廣泛的文本。例如，BERT[42]中使用的純文本語料庫約為20GB, T5[46]中使用的純文本語料庫約為800GB。以不同的T5[46]變體作為文本編碼器，[16]揭示了在Imagen中增加語言模型的大小比擴大擴散模型的大小更能提高圖像保真度和圖文對齊。

隱空間框架

穩定擴散:潛空間的里程碑式研究。在隱空間上訓練擴散模型的代表性框架是穩定擴散，它是隱擴散模型(LDM)[17]的擴展版本。繼Dall-E[11]采用VQ-VAE學習視覺碼本之后，穩定擴散在第一階段使用VQ-GAN[47]進行潛表示。值得注意的是，VQ-GAN通過添加對抗性目標來改進VQ-VAE，以增加合成圖像的自然度。使用預訓練的VAE，穩定擴散逆轉了用噪聲擾動潛空間的前向擴散過程。穩定擴散還引入了交叉注意力，作為各種條件信號(如文本)的通用調節。在[17]上的實驗結果表明，在隱空間上進行擴散建模在降低復雜度和保持細節方面明顯優于在像素空間上進行擴散建模。在VQ-diffusion[39]中，采用先掩碼再替換的擴散策略，也實現了類似的擴散算法。與像素空間方法的發現類似，無分類器指導也顯著改善了隱空間[17]、[48]中的文本到圖像擴散模型。

3. 文本到圖像擴散模型的改進

3.1改進模型架構

關于指導的選擇。在無分類器指導的基礎上，[15]、[57]、[58]等工作也利用CLIP[41]探索了跨模態指導。具體來說，GLIDE[15]發現CLIP-guidance的表現低于無分類器指導的變體。相比之下，另一項修復[59]的工作指出，缺乏大規模的transformer語言模型，使得這些具有CLIP指導的模型難以編碼文本提示和生成具有細節的復雜場景。通過結合大型語言模型和跨模態匹配模型，修復[59]顯著提高了生成圖像的樣本保真度和圖像-文本對齊。通用的圖像合成能力使修復[59]可以在簡單和復雜的場景中生成圖像。 3.2 空間控制示意圖

盡管它們具有前所未有的高圖像保真度和標題相似性，但大多數文本到圖像的DMs，如Imagen[16]和DALL-E2[18]，并不提供對空間布局的細粒度控制。為此，SpaText[62]引入了空間文本(ST)表示，可以通過調整SOTA DM的解碼器對其進行微調。具體來說，新的編碼器同時滿足局部ST和現有的全局文本。因此，SpaText[62]的核心在于ST，其中的擴散先驗單獨訓練，以將CLIP中的圖像嵌入轉換為其文本嵌入。在訓練過程中，通過使用CLIP圖像編碼器將分割后的圖像對象作為輸入直接生成ST。并發工作[63]提出通過簡單的草圖圖像實現細粒度的局部控制。他們的方法的核心是一個潛在引導預測器(LGP)，這是一個像素級MLP，將噪聲圖像的潛在特征映射到相應的草圖輸入。經過訓練后(請參閱[63]了解更多訓練細節)，LGP可以部署到預訓練的文本到圖像DM，而不需要進行微調。

3.3 面向概念控制的文本反轉

文本到圖像生成的先驅工作[15]，[16]，[17]，[18]依靠自然語言來描述生成圖像的內容和風格。然而，在某些情況下，文本不能準確地描述用戶想要的語義，例如生成一個新的主題。為了合成具有特定概念或主題的新場景，[64]，[65]引入了一些具有所需概念的參考圖像，然后將參考圖像翻轉為文本描述。具體來說，[64]將幾個參考圖像中的共享概念翻轉到文本(嵌入)空間，即“偽詞”。生成的“偽詞”可用于個性化生成。DreamBooth[65]采用了類似的技術，主要區別在于對預訓練DM模型進行微調(而不是凍結)，以保留主題身份的關鍵視覺特征。

3.4 分布外檢索

SOTA文本到圖像模型令人印象深刻的性能是基于這樣的假設:該模型很好地暴露了以訓練風格描述公共實體的文本。然而，當實體很少見，或者期望的風格與訓練風格有很大不同時，這種假設就不成立了。為了緩解分布外性能的顯著下降，多個工作[66]、[67]、[68]、[69]都使用了將外部數據庫作為內存進行檢索的技術。這種技術首先在NLP[70]，[71]，[72]，[73]，[74]和最近在基于GAN的圖像合成[75]中獲得了關注，通過將全參數模型轉換為半參數模型。受此啟發，[66]增強了具有檢索的擴散模型。檢索增強擴散模型(RDM)[66]由條件DM和圖像數據庫組成，圖像數據庫被解釋為模型的顯式部分。通過在CLIP中測量距離，為每個查詢查詢k近鄰，即訓練樣本，在外部數據庫中，擴散先驗由具有固定CLIP圖像編碼器的KNN近鄰的更有信息的嵌入來指導，而不是文本嵌入。KNN-diffusion[67]采用了一種基本相似的方法，主要不同之處在于使擴散先驗地附加在文本嵌入上，以提高生成的樣本質量。后續的Re-Imagen[69]也采用了這種做法。與兩階段框架的RDM[66]和KNN-diffusion[67]相比，Re-Imagen[69]采用單階段框架，選擇與潛空間距離不相關的K-NN近鄰。此外，Re-Imagen還允許檢索到的鄰居既是圖像又是文本。如[69]所述，Re-Imagen在基準COCO數據集上的性能比KNN-diffusion有很大的優勢。

本文探索了一類新的基于transformer架構的擴散模型。訓練圖像的潛在擴散模型，用一個在潛在塊上操作的transformer取代常用的U-Net骨干。通過Gflops測量的前向傳遞復雜性來分析擴散transformer (DiTs)的可擴展性。具有較高Gflops的DiTs——通過增加transformer深度/寬度或增加輸入tokens 數量——始終具有較低的FID。除了具有良好的可擴展性，最大的DiT-XL/2模型在類條件ImageNet 512x512和256x256基準上的性能優于所有先驗的擴散模型，在后者上實現了最先進的FID 2.27。 //www.wpeebles.com/DiT

1. 引言

在transformers的推動下，機器學習正在復興。在過去的五年中，自然語言處理[8,39]、視覺[10]和其他幾個領域的神經架構在很大程度上被transformer[57]所涵蓋。然而，許多類別的圖像級生成模型仍然堅持這一趨勢，盡管transformer在自回歸模型中被廣泛使用[3,6,40,44]，但在其他生成模型框架中被采用的較少。例如，擴散模型一直處于圖像級生成模型最新進展的前沿[9,43];然而，它們都采用卷積U-Net架構作為事實上的骨干選擇。

Ho等人的開創性工作[19]首先為擴散模型引入了U-Net主干。設計選擇繼承自PixelCNN++[49,55]，一個自回歸生成模型，有一些架構上的變化。該模型是卷積的，主要由ResNet[15]塊組成。與標準的U-Net[46]相比，額外的空間自注意力塊(transformer中的重要組成部分)在較低的分辨率下穿插。Dhariwal和Nichol[9]消除了U-Net的幾個架構選擇，例如使用自適應歸一化層[37]來注入條件信息和卷積層的通道計數。然而，Ho等人提出的U-Net的高層設計在很大程度上保持不變。

**本文旨在揭開擴散模型中結構選擇的意義，并為未來的生成式建模研究提供經驗基線。**U-Net歸納偏差對擴散模型的性能不是至關重要的，可以很容易地被transformer等標準設計取代。因此，擴散模型很好地從最近的架構統一趨勢中獲益。通過繼承其他領域的最佳實踐和訓練秘訣，以及保留可擴展性、魯棒性和效率等良好特性。標準化的架構也將為跨領域研究開辟新的可能性。

本文關注一類新的基于transformer的擴散模型。我們稱它們為擴散transformer，或簡稱DiTs。DiTs遵循視覺transformer (vit)[10]的最佳實踐，已被證明比傳統卷積網絡(如ResNet[15])更有效地擴展視覺識別。

本文研究了transformer的擴展行為，即網絡復雜性與樣本質量之間的關系。通過在潛擴散模型(LDMs)[45]框架下構建DiT設計空間并對其進行基準測試，其中擴散模型是在VAE的潛空間中訓練的，可以成功地用transformer取代U-Net主干。DiTs是擴散模型的可擴展架構:網絡復雜性(由Gflops衡量)與樣本質量(由FID衡量)之間有很強的相關性。通過簡單地擴大DiT并訓練具有高容量骨干(118.6 Gflops)的LDM，能夠在有類條件的256 × 256 ImageNet生成基準上取得2.27 FID的最新結果。

Diffusion x Transformers

在過去的一年里，擴散模型在圖像生成方面取得了驚人的成果。幾乎所有這些模型都使用卷積U-Net作為骨干。這有點令人驚訝!在過去的幾年里，深度學習的主要故事是transformer在各個領域的主導地位。U-Net或卷積是否有什么特別之處——使它們在擴散模型中工作得如此好?

本文將潛在擴散模型(LDMs)中的U-Net骨干替換為transformer。我們稱這些模型為擴散transformer，或簡稱DiTs。DiT架構非常類似于標準的視覺Transformer (ViT)，有一些小但重要的調整。擴散模型需要處理條件輸入，如擴散時間步或類標簽。我們嘗試了一些不同的模塊設計來注入這些輸入。最有效的是具有自適應層norm層(adaLN)的ViT塊。重要的是，這些adaLN層還調制塊內任何殘差連接之前的激活，并被初始化為每個ViT塊都是identity函數。簡單地改變注入條件輸入的機制就會在FID方面產生巨大的差異。這是我們獲得良好性能所需的唯一更改;除此之外，DiT是一個相當標準的transformer模型。

Scaling DiT

可視化放大DiT的效果。我們使用相同的采樣噪聲，在400K訓練步驟中從所有12個DiT模型生成圖像。計算密集型的DiT模型具有更高的樣本質量。 眾所周知，transformer在各種領域都具有良好的擴展性。那么作為擴散模型呢?本文將DiT沿兩個軸進行縮放:模型大小和輸入標記數量。

*擴展模型大小。我們嘗試了四種不同模型深度和寬度的配置:DiT-S、DiT-B、DiT-L和DiT-XL。這些模型配置范圍從33M到675M參數和0.4到119 Gflops。它們是從ViT文獻中借來的，該文獻發現聯合放大深度和寬度效果很好。

擴展標記。DiT中的第一層是patchify層。Patchify將每個patch線性嵌入到輸入圖像(或在我們的例子中，input latent)中，將它們轉換為transformer token。較小的patch大小對應于大量的transformer token。例如，將patch大小減半會使transformer的輸入token數量增加四倍，從而使模型的總Gflops至少增加四倍。盡管它對Gflops有巨大的影響，但請注意，patch大小對模型參數計數沒有意義的影響。

對于我們的四個模型配置中的每一個，我們訓練三個模型，潛塊大小為8、4和2(共12個模型)。Gflop 最高的模型是DiT-XL/2，它使用最大的XL配置，patch大小為2。

通過Fréchet Inception Distance (FID)測量，擴展模型大小和輸入tokens 數量可以大大提高DiT的性能。正如在其他領域觀察到的那樣，計算(而不僅僅是參數)似乎是獲得更好模型的關鍵。例如，雖然DiT-XL/2獲得了優秀的FID值，但XL/8表現不佳。XL/8的參數比XL/2多一些，但Gflops少得多。較大的DiT模型相對于較小的模型是計算效率高的;較大的模型比較小的模型需要更少的訓練計算來達到給定的FID(詳細信息請參見論文)。

根據我們的擴展分析，當訓練時間足夠長時，DiT-XL/2顯然是最佳模型。在本文的其余部分，我們將專注于XL/2。

與最新擴散模型的比較

從我們的DiT-XL/2模型中選擇的樣本，以512x512分辨率(頂部行)和256x256分辨率(底部)進行訓練。在這里，我們使用無分類器指導規模，對512模型使用6.0，對256模型使用4.0。 我們在ImageNet上訓練了兩個版本的DiT-XL/2，分辨率分別為256x256和512x512，步驟分別為7M和3M。當使用無分類器指導時，DiT-XL/2優于所有先驗擴散模型，將LDM (256x256)取得的3.60的之前最好的FID-50K降低到2.27;這是所有生成模型中最先進的。XL/2在512x512分辨率下再次優于所有先前的擴散模型，將ADM-U之前獲得的最佳FID 3.85提高到3.04。

除了獲得良好的FIDs外，DiT模型本身相對于基線仍然是計算高效的。例如，在256x256分辨率下，LDM-4模型是103 Gflops, ADM-U是742 Gflops, DiT-XL/2是119 Gflops。在512x512分辨率下，ADM-U是2813 Gflops，而XL/2只有525 Gflops。

很久以前，我在讀博士期間寫了《全局優化算法-理論和應用》[203]，現在我想寫一本更實用的優化和元啟發式指南。目前，這本書處于開發和制作的早期階段，因此預計會有很多變化。本文試圖介紹優化以一種無障礙的方式為觀眾的本科生和研究生沒有背景的領域。它試圖提供關于優化算法在實踐中如何工作的直覺，解決問題時要尋找什么東西，以及如何從簡單、有效的“概念證明”方法獲得給定問題的有效解決方案。我們遵循“邊做邊學”的方法，通過嘗試解決一個實際的優化問題作為貫穿全書的示例主題。所有的算法在引入后都直接實現并應用于該問題。這讓我們可以根據實際結果討論他們的優勢和劣勢。我們學習如何比較不同算法的性能。我們嘗試逐步改進算法，從非常簡單的、效果不佳的方法轉向高效的元啟發式方法。

我們使用了用Python編寫的具體示例和算法實現。它們可以在2007年6月29日GNU通用公共許可證版本3下的庫thomasWeise/moptipy中免費獲得。每個源代碼列表在標題中都附有一個(src)鏈接，鏈接到存儲庫中文件的完整版本。清單通常是刪節的節選。這意味著我們將忽略很多對理解算法不必要的細節，比如類型提示、健全檢查，甚至是完整的方法。這些代碼將會以完整的代碼版本出現在GitHub存儲庫中。因此，這個完整的代碼版本可能與書中插圖的刪節代碼看起來不同。為了完全理解代碼示例，我們建議讀者熟悉Python、numpy和matplotlib。當然，如果您讀這本書只是為了學習算法，您可以忽略源代碼示例。 如今，算法對我們日常私生活和工作生活的影響越來越大。他們建議我們看有趣的電影或購買的產品。當我們開車時，它們幫助我們找到有效的路線，或者幫我們匹配附近下一輛可用的出租車。他們控制廣告活動，并提出產品定價政策[151]。他們通過在工程、時間表和調度、產品設計和物流規劃等多個領域提出良好的決策來支持我們。它們將是我們行業向智能制造和智能生產轉型的最重要元素，它們可以自動化各種任務，如圖1.1所示。

優化和運籌學為我們提供算法，為非常廣泛的問題提出良好的解決方案。這些解決方案實現了預定義的目標，同時最小化(至少)一項資源需求，包括成本、能源消耗、空間、時間需求等等。除了節省直接成本外，減少資源消耗對環境也有好處。因此，優化可以幫助我們在經濟和生態方面變得更高效。因此，我們可以列出三個明顯的原因，為什么優化將成為下個世紀的關鍵技術:

1. 生產自動化可以通過減少人工勞動來提高工作壽命，同時提高生產力和產品質量。然而，任何形式的智能生產或智能制造都需要自動化決策。因為這些決策應該是明智的，所以它們只能來自于一個以某種方式進行優化的過程。
2. 所有行業、所有服務部門以及城市和地區都面臨著全球和本地的競爭。那些能夠在提高產品、生產或服務質量和效率的同時減少資源消耗和成本的企業將具有優勢。實現這一目標的一個關鍵技術是通過優化進行更好的規劃。 3.我們的世界因資源的消耗和過多的污染而衰敗。優化可以“給我們更多而需要更少”。這通常會導致更環保的過程。 但是算法如何幫助我們找到各種不同領域的難題的解決方案呢?這些算法有多普遍?他們如何幫助我們做出正確的決定?它們如何幫助我們節約資源?在本書中，我們將試圖回答所有這些問題。我們將探索很多不同的優化算法。我們將研究它們的實際實現，并將它們應用到示例問題中，以了解它們的優缺點。

這本教科書在機器學習的背景下介紹線性代數和優化。書中提供了例子和練習。每個章節末尾的練習解決方案手冊可供教學指導老師使用。本教材針對計算機科學、數學和數據科學領域的研究生和教授。高級本科生也可以使用本教材。本書各章節的組織方式如下:

1. 線性代數及其應用:章節集中在線性代數的基礎以及它們在奇異值分解、矩陣分解、相似矩陣(核方法)和圖分析方面的常見應用。大量的機器學習應用已經被用作例子，如光譜聚類、基于核的分類和異常值檢測。緊密整合的線性代數方法與例子，從機器學習區分這本書從線性代數的一般卷。重點顯然是機器學習線性代數最相關的方面，并教讀者如何應用這些概念。

2. 優化及其應用:機器學習的大部分內容都是優化問題，其中我們試圖最大化回歸和分類模型的準確性。以優化為中心的機器學習的“父問題”是最小二乘回歸。有趣的是，這個問題在線性代數和優化中都有出現，是連接這兩個領域的關鍵問題之一。最小二乘回歸也是支持向量機、邏輯回歸和推薦系統的起點。此外，降維和矩陣分解的方法也需要優化方法的發展。在計算圖中討論了優化的一般觀點，以及它在神經網絡中的反向傳播的應用。

機器學習初學者經常面臨的一個挑戰是線性代數和優化所需的廣泛背景。一個問題是，現有的線性代數和優化課程并不是針對機器學習的;因此，一個人通常需要完成比機器學習所需的更多的課程材料。此外，優化和線性代數的某些類型的思想和技巧在機器學習中出現的頻率比其他以應用程序為中心的設置更高。因此，發展一種更適合機器學習的特定視角的線性代數和優化的觀點具有重要的價值。

最近，高度成功但不透明的機器學習模型激增，這引發了對可解釋性的迫切需求。該畢業論文通過新穎的定義、方法和科學綜述解決了可解釋性問題，確保可解釋性在現實問題的背景下是有用的。我們首先定義什么是可解釋性，以及圍繞它的一些需求，強調語境的作用被低估。然后，我們深入研究解釋/改進神經網絡模型的新方法，專注于如何最好地評分、使用和提取交互。接下來，我們將從神經網絡轉向相對簡單的基于規則的模型，研究如何在維護極其簡潔的模型的同時提高預測性能。最后，我們總結了促進可解釋數據科學的開源軟件和數據的工作。在每個案例中，我們深入到一個特定的背景，這激發了所提出的方法論，從宇宙學到細胞生物學到醫學。所有代碼都可以在github.com/csinva上找到。

本論文工作

機器學習模型最近因其準確預測各種復雜現象的能力而受到相當大的關注。然而，人們越來越認識到，除了預測之外，這些模型還能夠產生關于數據中包含的領域關系的有用信息(即解釋)。更準確地說，可解釋機器學習可以定義為“從機器學習模型中提取有關數據中包含的關系或該模型學習到的關系的相關知識”186。解釋有其自身的用途，如醫學[153]、科學[13,278]和決策[37]，以及審計預測本身，以應對監管壓力[97]和公平[74]等問題。在這些領域中，解釋已被證明有助于評估學習模型，提供修復模型的信息(如果需要)，并與領域專家[47]建立信任。然而，隨著可解釋技術的爆炸式增長[186,193,291,273,90,11,300,100]，可解釋方法在實踐中的使用引起了相當大的關注[4]。此外，我們還不清楚如何在現實環境中評估可解釋技術，以促進我們對特定問題的理解。

概述數據科學生命周期的不同階段，其中可解釋性很重要。 為此，我們首先回顧了2019年PNAS論文[186](與Jamie Murdoch、Reza Abbasi-Asl、Karl Kumbier和Bin Yu合著)之后對可解釋性的一些要求。然后我們討論了一些批判性評價解釋的方法。然后，我們闡述了新的方法，以解決機器學習模型的可解釋性的差距。至關重要的是，這種方法是在現實世界問題的背景下與領域專家一起開發和評估的。這項工作跨越了不同的層次，試圖從黑盒模型中提取洞察力，并盡可能用更簡單的模型替換它們。圖1.1顯示了本文的概述，旨在解決嚴格基于現實問題的可解釋性問題。第一部分從解釋神經網絡事后解釋的不同方法開始。這些方法使理解神經網絡中不同特征之間的相互作用成為可能，并以宇宙學參數預測為背景(第5章)。第二部分接著展示了如何使用這些解釋方法直接改善神經網絡。要么通過正則化(第6章)，要么通過蒸餾(第7章)。這在分子伙伴預測(第8章)的背景下得到了展示。接下來，第三部分介紹了用于構建高度預測的基于規則的模型的改進方法，這些模型非常簡潔，基于臨床決策規則開發問題。最后，第四部分介紹了新的開源軟件和不可解讀建模數據。

第一部分: 事后神經網絡解釋

之前的大量工作集中于為單個特征分配重要性，如圖像中的像素或文檔中的單詞。對于不同的體系結構，有幾種方法產生了特征級的重要性。它們可以分為基于梯度的[255,264,240,18]、基于分解的[185,242,17]和其他的[59,83,218,303]，方法之間有許多相似之處[10,159]。雖然已經開發了許多方法來將重要性歸因于模型輸入的單個特征，但用于理解關鍵特征之間的交互作用的工作相對較少。這些交互是解釋現代深度學習模型的關鍵部分，因為它們使結構化數據具有強大的預測性能。第一部分介紹了最近開發的兩種方法，用于提取(已經訓練過的)DNN已經學習到的特征之間的交互。第3章介紹了聚集上下文分解(ACD)，它通過貪婪地打分和組合組級重要性來生成層次重要性。這使得簡單有效地可視化哪些特性對單個預測是重要的。第4章介紹了轉換重要性(TRIM)，它允許計算模型輸入轉換交互的分數。這兩種方法都可以更好地理解宇宙參數預測(第5章)，其中的可解釋性允許人們在將模型應用于真實天文數據時相信模型的預測。

第二部分: 利用解釋改進神經網絡

在第一部分中介紹了解釋交互和轉換的方法之后，第二部分介紹了使用這些屬性直接改進模型的兩種方法。在引入和評估解釋方法時，這是一個重要且經常被忽略的步驟，它有助于用直接的用例來建立解釋的效用。

第三部分: 基于規則的可解釋建模

本節將完全脫離深度學習，而將重點放在基于規則的建模上。只要有可能，首先擬合一個簡單的模型比擬合一個復雜的模型，然后用事后的解釋來檢查它更可取。一個足夠簡單的基于規則的模型可以被完全理解，并且很容易用手模擬、記憶和推理反事實。

第四部分:開源軟件與數據

在數據科學和機器學習領域，好的開源軟件和數據存儲庫與好的想法一樣有用(如果不是更有用的話)。這一部分涵蓋了上述研究中產生的兩個python包，以及一個為開源建模而策劃的數據存儲庫。

本文研究了深度學習理論中一個基本的開放挑戰: 為什么深度網絡在過度參數化、非正則化和擬合訓練數據為零誤差的情況下仍能很好地泛化? 在論文的第一部分，我們將實證研究如何通過隨機梯度下降訓練深度網絡隱式控制網絡容量。隨后，為了說明這如何導致更好的泛化，我們將推導基于數據的一致收斂的泛化邊界，并改進參數計數的依賴性。由于其簡單性和通用性，一致收斂實際上已經成為深度學習文獻中使用最廣泛的工具。鑒于它的流行，在這篇論文中，我們也將后退一步，確定一致收斂的基本極限，作為解釋泛化的工具。特別地，我們將證明在一些過度參數化的設置的例子中，任何一致收斂界將只提供一個空洞的泛化界。考慮到這一點，在論文的最后一部分，我們將改變航向，并引入一種經驗技術來估計使用未標記數據的泛化。我們的技術不依賴于任何基于一致收斂的復雜性概念，而且非常精確。我們將從理論上說明為什么我們的技術如此精確。最后，我們將討論未來的工作如何探索在泛化邊界中納入分布假設的新方法(例如以未標記數據的形式)，并探索其他工具來推導邊界，可能是通過修改統一收斂或開發完全新的工具。

本書通過有監督、無監督和高級學習技術提供了對機器學習算法的概念理解。本書包括四個部分:基礎、監督學習、非監督學習和高級學習。第一部分提供了基礎材料、背景和簡單的機器學習算法，為學習機器學習算法做準備。第二部分和第三部分提供了對監督學習算法和作為核心部分的無監督學習算法的理解。最后一部分提供了先進的機器學習算法:集成學習、半監督學習、時序學習和強化學習。

提供兩種學習算法的全面覆蓋: 監督和無監督學習; 概述用于解決分類、回歸和聚類的計算范例; 具有構建新一代機器學習的基本技術。

這本書是關于機器學習的概念，理論和算法。在第一部分中，我們通過探索學習理論、評估方案和簡單的機器學習算法，提供了關于機器學習的基本知識。在第二和第三部分中，我們將監督學習算法描述為分類和回歸任務的方法，而無監督學習算法描述為聚類任務的方法。在第四部分，我們討論了特殊類型的學習算法，并將監督算法和非監督算法的混合作為進一步的研究。讀者需要線性代數和向量微積分的基本知識來理解機器學習算法，其中輸入數據總是以數字向量的形式給出。