亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

表示學習已經發展成一種多功能工具，能夠在提供足夠數據的情況下解決各種問題。本論文聚焦于兩個主要方向：(1) 利用深度學習的力量應用于基礎物理學；(2) 使用物理啟發的工具來改進并為那些大規模、難以捉摸的黑箱算法提供一些啟示。我們探索了一系列應用，這些應用改進了核物理和粒子物理研究的不同方面，涵蓋從在線數據選擇到離線數據分析的各個階段。我們還探討了深度學習如何通過機制可解釋性的視角開啟全新的研究方向，以(重新)推導基礎理論以及重新詮釋物理測量的全新方法。最后，我們研究了物理工具如何有助于更好地理解深度學習的動態，并為擴展機器學習前沿的算法和訓練范式提供堅實的基礎。

深度神經網絡在人工智能的各個領域取得了顯著的成功。

它們成功的關鍵因素之一是能夠從數據中學習有效的特征表示，這使得它們與傳統機器學習方法有所區別。本論文探討了特征學習在神經網絡訓練過程中如何出現，并展示了它在基礎模型適應下游應用中的關鍵作用。 首先，我們從理論上闡述了特征學習在神經網絡中的出現。我們證明了神經網絡在訓練的早期階段可以高效地學習與類別相關的模式，且只需使用最小的參數，從而避免了影響傳統方法的維度災難。我們的分析表明，這種能力源于網絡利用輸入數據固有結構的能力。我們開發了一個統一的分析框架，適用于通過梯度下降訓練的兩層網絡，表征了特征學習如何超越核方法發生。我們將研究擴展到 Transformer 架構，分析了單層 Transformer 中的傅里葉特征，并揭示了模型規模與上下文學習行為之間的關系。我們的發現表明，較大的模型覆蓋更多的隱藏特征，而較小的模型則強調重要特征，導致不同的上下文學習行為。 在這些理論洞察的基礎上，我們開發了基礎模型的實際應用。我們引入了核范數正則化方法，以提高領域泛化能力，并在多個任務中展示了持續的性能提升。我們通過一種新的正則化方法解決了對比學習中的普適性與標簽效率之間的權衡問題。此外，我們提出了循環 Transformer，用于在上下文學習中實現多步梯度下降，并開發了 GemFilter 算法，利用早期層的注意力特征加速大語言模型的推理。 本論文推進了我們對神經網絡中特征學習的理解，并提供了改進基礎模型性能的實用方法，為開發更高效和有效的機器學習系統奠定了基礎。 //pages.cs.wisc.edu/~zhmeishi/Thesis_Zhenmei_Shi.pdf

對比學習最近已成為一種強大的無監督表示學習方法，在多個領域取得了令人印象深刻的實證成功。盡管這些方法在實踐中表現有效，但要全面理解它們的理論基礎仍然是一個重大挑戰。本論文旨在通過提供一個基于接近現實場景假設的原則性調查，彌合對比學習的實證成功與理論理解之間的鴻溝。我們引入了一個受譜圖理論啟發的新分析框架，證明了對比學習在隱式地對由數據分布定義的概念圖上執行譜聚類。我們表明，對比學習所學習的表示與圖的鄰接矩陣的特征函數一致，從而為下游線性分類任務的性能提供了可證明的保證。我們擴展了這一框架，正式刻畫了一個現象，即在對比學習表示上訓練的線性分類器可以成功地跨領域遷移。此外，我們還正式刻畫了模型架構的歸納偏置如何導致表示在不同下游任務中的性能差異。

高質量的數據表示可以作為各種實際機器學習應用的基礎，涵蓋從搜索到面向新任務和新領域的數據高效適應等多個方面。許多成功的表示學習算法在很大程度上依賴于監督學習，而監督學習需要對數據進行昂貴且耗時的標注 [Salakhutdinov 和 Hinton，2007]。

與昂貴且有限的標注數據相比，互聯網上存在大量豐富且廉價的未標注數據。無監督表示學習旨在從沒有預先存在標簽的數據中發現模式，并生成能夠捕捉原始數據本質特征的表示。這種方法為訓練可遷移的數據表示提供了有希望的路徑，這些表示可以有效地適應各種下游任務。

特別是，對比學習最近作為一種強大的從未標注數據中學習表示的方法出現。對比學習的核心思想是“正對”（positive pairs）的概念，即語義上相近的成對數據點，可以直接從未標注數據中構造，而無需人工標注。相應地，還有“負對”（negative pairs）的概念，即通常語義上無關的成對數據點。在計算機視覺領域，正對通常由兩個通過數據增強從同一原始圖像生成的圖像組成，而負對則由兩個獨立隨機采樣的圖像組成。給定正對和負對，對比學習通過鼓勵正對的表示更加接近，同時使負對的表示遠離來學習數據點的表示。 許多對比學習方法使用孿生網絡（Siamese Networks）[Bromley 等，1993] 來學習特征，其中兩個具有共享權重的神經網絡應用于正對中的兩個數據點，表示是神經網絡對原始輸入的輸出。SimCLR 的開創性工作 [Chen 等，2020b] 表明，利用孿生網絡結構的對比學習表示可以在下游分類任務中取得與監督學習競爭的線性探測準確率。一些后續工作 [Chen 和 He，2020，Grill 等，2020，Bardes 等，2021] 探索了不同的損失目標和正則化技術，旨在減少算法中一些看似隨意且不自然的方面，例如停止梯度操作（即在訓練過程中通過孿生網絡的一條分支停止梯度反向傳播）或大批量大小的必要性。然而，它們大多仍圍繞孿生網絡結構這一核心思想展開。

這些方法取得了令人印象深刻的實證成功，通常超過了完全監督模型的性能，而無需標注數據。此外，學習到的表示通常具有良好的結構，例如線性可分性，在這些表示上訓練的線性分類器能夠在下游分類問題上表現良好。這些方法的驚人簡單性和對比學習表示中編碼的結構似乎表明該方法利用了數據分布通過正對構造定義的一些內在屬性。然而，開發對這些自監督表示為何如此有效的全面理論理解仍然是一個重大挑戰。需要超越經典統計學習理論的新數學框架來全面解釋它們的表現，而對比學習中廣泛使用的深度神經網絡進一步增加了分析的復雜性。

先前的工作嘗試通過信息理論的視角解釋對比學習的成功 [Tsai 等，2020，Tosh 等，2021]。這一理論框架關注于通過學習的表示捕獲的信息。從直觀上講，在初始化時，神經網絡的輸出捕獲了數據點的隨機子集信息。在訓練過程中，表示將捕獲正對之間更多共享的信息，并丟棄那些特定于正對中某一數據點的信息。如果共享信息包含了大部分與下游任務相關的信息，那么最終學習到的表示也將捕獲這些信息，從而具備解決下游任務所需的足夠信息。然而，由于多個表示可以包含相同的信息，但具有非常不同的幾何結構，因此該框架缺乏保證，無法確保使用簡單（例如線性）模型高效地解決下游任務。

如果對數據做出更多假設，便能解決這一限制。一個相對較強的假設是條件獨立性設置，其中給定類別標簽，正對是條件獨立的。例如，Arora 等 [2019] 表明，在給定類別標簽的條件獨立性下，對比學習算法可以在下游線性分類任務中實現較小的誤差。一些后續工作（例如，Lee 等 [2020]）將這一思想擴展到正對在某些潛在變量上條件獨立的設置，這些潛在變量可能具有比類別標簽更細粒度的含義。然而，在計算機視覺應用中的實際算法中，正對通常由同一圖像的兩個增強組成，因此它們是高度相關的。它們可能只有在條件化于非常復雜的隱藏變量（如原始自然圖像）時才獨立，這可能使得之前的結果無法有意義地應用。

本論文旨在在反映現實世界的較少限制假設下，對對比學習進行原則性的理論研究。本論文的一個關鍵貢獻是提出了一種新的對比損失——我們稱之為譜對比損失——它作為更廣泛使用的 InfoNCE 損失的代理，后者在理論上較難分析。我們的實驗證明，譜對比損失捕獲了標準對比損失的大部分性能，同時使我們能夠建立一個受譜圖理論啟發的分析框架。 第三章介紹了我們基于譜圖理論理解對比學習成功的一般理論框架。為了建立我們的理論框架，我們引入了一個群體層級的“正對圖”，該圖捕捉了對比學習管道中的正對結構。在這個圖中，節點對應于所有出現在正對中的數據點，邊表示哪些節點對實際上形成正對。通過將數據置于這個圖的上下文中，我們能夠利用一些圖論（特別是譜圖理論）中的思想和工具來分析對比學習。 我們的關鍵洞察是，認為對比學習可以被視為隱式地在正對圖上執行譜聚類。譜聚類 [Ng 等，2001] 是一種流行的聚類算法，具有悠久的歷史。其核心思想是，給定任何圖，可以對圖的拉普拉斯矩陣進行譜分解，并使用特征向量在圖中找到近似最優的聚類。運行譜聚類需要對整個拉普拉斯矩陣進行操作，當圖非常大時，這可能計算上非常昂貴。 在正對圖的背景下，圖中的節點數基本上是數據分布中所有數據點的數量，因此可能非常龐大。然而，幸運的是，我們的結果表明，存在一個損失函數，使得最小化該損失函數等同于隱式執行圖拉普拉斯矩陣的譜分解。這個損失函數在精神上與許多對比損失相似，并且可以通過正對和負對進行有效采樣，因此我們稱其為譜對比損失。 我們證明，通過最小化譜對比損失學習到的表示與圖的鄰接矩陣的特征向量對齊，從而繼承其聚類結構。在對正對圖中的聚類與下游任務類別對齊的溫和假設下，來自不同下游類別的數據的對比表示將是線性可分的。值得注意的是，我們的框架不需要依賴先前對比學習理論工作中所依賴的嚴格條件獨立性假設 [Arora 等，2019，Tosh 等，2021]。 我們分析了使用譜對比損失學習到的表示進行線性分類的性能。在對正對圖進行溫和擴展假設的情況下，我們證明，當表示維度超過圖中聚類的數量時，在線性分類器上訓練的表示可以以高精度恢復真實標簽。我們進一步表明，譜對比損失可以通過經驗數據成功最小化，只需多項式數量的未標注樣本。我們的有限樣本分析利用標準泛化界限，證明所需的未標注樣本數量與所選函數類的 Rademacher 復雜度成比例。 第四章基于這一框架，研究了對比學習在分布變化下的表現。特別是，我們研究了對比學習如何幫助解決無監督領域自適應問題，在該問題中，給定有標簽的源領域和未標注的目標領域（具有相同類別標簽），我們希望在目標領域實現高分類準確率。我們正式分析了“線性遷移性”這一經驗現象，即在源領域對比表示上訓練的線性分類器在目標領域上表現良好，其中該表示通過在源領域和目標領域的聯合數據集上進行對比學習訓練。事實上，這種簡單的方法已經被證明能夠實現與多個最先進的領域自適應算法 [Shen 等，2022b] 競爭的性能。 我們證明，線性遷移性是在跨領域關系的弱假設下產生的：即，同類別的跨領域點之間比不同類別的跨領域點之間更相關。直觀地說，這意味著，盡管源領域和目標領域可能存在顯著的分布差異，但類別之間的相對相似性在跨領域中得到了保留。在這個假設下，我們證明了在源領域表示上學到的線性分類器（使用一種新的預處理平均方法）可以在目標領域的分類任務中成功地表現。

我們的結果表明，對比表示不僅捕捉了類內結構，還捕捉了不同類別之間的相對幾何結構。這與先前關于無監督領域自適應的理論工作有所不同，后者通常要求更強的假設，例如有界密度比或顯式的源目標重疊 [Sugiyama 等，2007，Ben-David 等，2010，Zhang 等，2019，Zhao 等，2019a]。

為了支持我們的理論發現，我們提出了一種改進的線性評估方法，用于無監督領域自適應與對比表示。我們的方法通過直接對類內表示進行平均并應用預處理矩陣來學習線性分類器。我們在多個標準領域自適應基準數據集上驗證了該方法的有效性，證明其優于先前的最先進方法。

第五章研究了神經網絡模型架構在對比學習中的作用。我們不再將神經網絡視為黑箱函數逼近器，而是明確描述了架構的歸納偏置如何塑造學習到的表示。

我們引入了“最小可實現聚類”的概念，以捕捉架構所施加的約束。盡管正對圖可能展示了大量的自然聚類，但架構可能只能實現其中的一部分聚類。我們證明，對比學習只恢復那些與架構兼容的聚類。因此，低維的對比表示即使在整個正對圖中的聚類數量很大時，仍然可以在下游任務中取得成功。 我們在多個合成數據分布上實例化了我們的理論，證明了架構的歸納偏置可以顯著減少所需的表示維度。例如，在具有少量不變特征和大量虛假特征的超立方體數據分布上，我們證明，當下游標簽依賴于單一的不變維度時，線性對比表示就足夠了，而 ReLU 網絡則能夠處理更復雜的標簽函數。我們為其他架構提供了更多示例，包括 Lipschitz 連續函數和卷積網絡。在每種情況下，我們展示了對比學習的樣本復雜度與可實現聚類的數量成比例，而不是與自然聚類的總數成比例。

為了支持我們的理論，我們提出了一種實證方法來估計可實現聚類的數量，并將其應用于具有 ResNet-18 架構的 CIFAR-10 數據集。我們的實驗驗證了架構施加的約束導致可實現聚類的數量相對較小，這與我們的理論預測一致。

本論文的其余部分組織如下：第三章展示了我們的對比學習譜框架，包括群體層級損失的分析、有限樣本泛化界限和實驗證明。第四章將該框架擴展到領域自適應設置，正式刻畫了對比表示的線性遷移性，引入了改進的線性評估方法，并展示了其實證有效性。第五章分析了歸納偏置在對比學習中的作用，引入了最小可實現聚類的概念，并在合成數據分布上實例化了理論，為架構約束提供了實證支持。最后，第六章總結了論文內容并討論了未來的研究方向。

本論文探討了如何通過幫助機器學習系統克服綁定問題，使其具備更接近人類的智能。具體來說，我們希望神經網絡能夠靈活、動態地表示并關聯不同的實體。論文分為兩部分。第一部分，我們研究了基于圖的表示中的歸納偏置；第二部分，我們開發并研究了一種新的表示格式，以解決綁定問題。我們的主要貢獻如下：

• 我們提出了攤銷因果發現（Amortized Causal Discovery, ACD） [105, 第三章]，這是一個全新的因果發現框架，可以在具有不同底層因果圖但共享動態的樣本之間推斷因果關系。我們證明了該方法在完全觀察環境下以及在存在噪聲和隱藏混雜因素的情況下都能提升性能，并使模型能夠推廣到之前未見的測試樣本。
• 我們提出了復雜自編碼器（Complex AutoEncoder, CAE） [107, 第四章]，這是一種對象發現模型，采用了一種新的對象表示格式。通過在卷積自編碼器中引入復數激活，CAE可以通過激活值的幅度來表示對象屬性，并通過相位值來表示對象關聯。這種無監督方法在簡單的多對象數據集上展示了強大的對象發現能力，并且訓練速度顯著提升。
• 我們提出了旋轉特征（Rotating Features） [106, 第五章]，它是復雜自編碼器的擴展，將這一方法從簡單的玩具數據擴展到真實數據。為實現這一點，我們提出了三項改進：我們將CAE的復數激活推廣到更高維度，介紹了一種新的評估流程，并將預訓練特征引入我們的方法中。
• 我們提出了一種新穎的余弦綁定機制用于旋轉特征 [108, 第六章]。該機制使我們能夠更好地理解旋轉特征在學習通過對象的方向值來分離對象時所需的動態機制。

市場算法在現代生活中隨處可見，無論是在在線還是線下的場景中。歷史上，市場在供需匹配中起到了基礎作用，設計者通過優化規則以實現全局目標，而參與者則通過優化策略以實現個人目標。決策理論和機制設計不斷發展，以研究并指導這些市場的行為和結構。

本論文探討了市場設計與算法決策制定交匯處的一些關鍵問題：戰略決策者如何在選擇中進行權衡，資源提供者如何在有限資源下為戰略參與者分配資源？信息技術的出現和數據可用性的增加徹底改變了市場，使其具備了前所未有的規模、效率和控制力。這一發展使機制設計者能夠創造或調整市場條件，只要我們了解其對設計者目標的影響。

在本論文中，我們研究了動態環境下的市場算法及其在實際非理性條件下的表現，分析了偏離理想模型對設計者和參與者效用的影響。我們考察了市場失衡、資源擴增，以及主導賣方所面臨的競爭等環境變化。對于參與者，我們考慮了計算能力有限、行為有偏差或使用學習算法的代理人。我們的研究旨在為市場算法在實際復雜性和多樣化參與者行為中的穩健性和適應性提供深入見解。

本論文探討了圖表示學習中的創新方法及其在深度學習模型中的應用，在多個關鍵領域做出了重要貢獻。我們首先介紹了 Graph Meta-Contrast (GMeCo) 框架，這是一種用于圖上對比表示學習的全新元學習框架。GMeCo 能夠有效生成增強圖，并最大化增強圖與輸入圖之間的互信息，在魯棒性和判別性特征學習上優于當前方法。 接下來，我們提出了 多分辨率基于 Meta-Framelet 的圖卷積網絡 (MM-FGCN) 模型。該模型在自適應多分辨率圖分析方面取得了進展，克服了固定變換的限制，并能夠動態處理不同尺度的圖數據。MM-FGCN 能夠捕捉圖的微觀和宏觀結構，展現了其在各種圖學習任務中的優越性。 此外，我們引入了 圖譜擴散模型 (GSDM)，這是一種用于圖結構數據生成的全新方法。GSDM 在圖譜空間中使用低秩擴散隨機微分方程，增強了圖拓撲結構的生成，并降低了計算負荷。與現有模型相比，該方法在圖生成的效率和質量方面表現出顯著改進。 最后，我們開發了一個基于多視角方法的序列推薦系統新框架，結合了圖神經網絡 (GNNs) 和 Transformer。該多視角結構利用用戶-項目交互和協作信息，提供了魯棒且準確的用戶偏好預測。該模型相較于傳統模型展現了其有效性。 總體而言，本論文在圖表示學習方面提出了有效的方法和模型，為該領域的進步做出了貢獻，并為未來圖基深度學習應用的研究奠定了基礎。

物理啟發的生成模型（如擴散模型）構成了一類強大的生成模型家族。該模型家族的優勢在于相對穩定的訓練過程和強大的容量。然而，仍有許多可能的改進空間。在本論文中，我們首先將深入探討擴散模型在訓練和采樣方面的改進技術。擴散模型的訓練目標在數據分布為多模態時呈現出較高的方差。為了解決這一問題，我們提出了一種訓練目標，它推廣了傳統的去噪得分匹配方法，顯著減少了訓練目標的方差。除此之外，我們還引入了一種將可學習的離散潛變量整合到連續擴散模型中的訓練框架。這些潛變量簡化了擴散模型復雜的噪聲到數據映射的學習過程。

另一方面，擴散模型的采樣過程通常涉及求解微分方程。為加速采樣過程，我們提出了一種新穎的采樣算法，結合了之前常見的ODE和SDE采樣器的優點，大幅提升了預訓練擴散模型的性能。此外，我們的研究探索了在有限樣本中引入互斥力以促進生成過程中的多樣性。 在物理啟發的生成模型領域，許多物理過程都可以用于開發生成模型。我們將介紹一類基于靜電理論的新生成模型家族，稱為泊松流生成模型（PFGM）。PFGM在采樣穩健性上表現出色，并與領先的擴散模型相媲美。其擴展版本PFGM++將擴散模型和PFGM置于同一框架下，并引入了新的、更優的模型。我們還將提出一種系統化的方法，將物理過程轉化為生成模型。

生成模型在近年來顯著改變了人們工作的、創作的和學習的方式。其突出應用包括ChatGPT [1]、文本到圖像模型 [2]-[4]、文本到3D模型 [5]、[6] 和文本到視頻模型 [7]、[8]。這些能力可以極大地激發創造力，并提高眾多領域的工作效率，包括教育、游戲產業、社交媒體和專業編輯軟件。生成模型的訓練基于這樣一個假設，即訓練數據是從未知的數據分布中采樣的 [9]。現代生成模型通常使用深度神經網絡來基于有限的訓練數據逼近復雜的數據分布，并通過從這些建模的分布中采樣來生成新的數據點。

在生成建模中使用的各種數據類型中，高維數據由于維度詛咒而面臨著顯著的挑戰。隨著維度的增加，數據空間的體積呈指數級擴展。這一現象使得在高維空間中用有限的訓練數據有效捕獲和建模數據分布變得困難。此外，感興趣的數據分布通常高度復雜且呈多模態，進一步增加了生成建模的難度。近年來，擴散模型 [10]–[12] 以及更廣泛的物理啟發生成模型 [13]，在處理高維數據的生成任務中，展現了強大的框架并取得了令人印象深刻的結果。在擴散模型之前，主要的方法包括：（i）利用對抗訓練目標的生成對抗網絡（GANs [14]）；（ii）使用最大似然目標訓練的模型，如PixelCNN [15] 和正規化流模型 [16]、[17]；（iii）變分自編碼器（VAEs）[18]、[19] 以及（iv）基于能量的模型 [20]、[21]。然而，每種方法都有其自身的缺點：（i）可能導致訓練不穩定和生成樣本的多樣性低；（ii）需要特定的架構設計，可能限制模型的容量；（iii）需要多個神經網絡的仔細協調；（iv）訓練和采樣速度較慢。利用自然的物理過程作為編碼器將數據轉化為噪聲，擴散模型通過逆轉這些物理過程來執行生成任務。這種方法使它們繞過了早期生成模型的許多限制。

1.1 通過逆轉物理過程進行生成建模

基于熱力學的原理 [10]，擴散模型涉及兩個對立的過程：一個前向過程將數據分布逐漸轉化為一個更簡單的先驗分布，另一個反向過程通過逐步去噪從該噪聲先驗分布中生成樣本。擴散模型中的前向過程是一個簡單的布朗運動，通過逐步增加高斯噪聲來降解數據。為了逆轉這一過程，只需學習一個時間依賴的向量場，即得分函數，并迭代求解一個微分方程 [22]。與GANs和VAEs不同，擴散模型的訓練不需要多個神經網絡之間的同步，從而使訓練過程更加穩定。此外，它們在架構設計上不受限，采用類似于神經網絡串聯的迭代過程，從而增強了整體容量。這種穩定性和增強的容量使擴散模型能夠有效擴展到大規模數據集。

盡管擴散模型具有諸多優勢，但它們仍面臨一些挑戰，包括在處理多模態數據時高方差的訓練過程，以及緩慢的迭代采樣過程。此外，獨立同分布（i.i.d.）的采樣過程往往會導致重復的樣本。這些問題強調了在復雜數據集上穩定和改進擴散模型訓練方法的必要性，并且需要新技術來加速采樣過程并提高小批量樣本的多樣性。此外，擴散模型只是眾多物理啟發生成模型之一。除布朗運動外，仍有許多物理過程尚未開發，可以用來構建生成模型。這引出了一個重要問題：我們能否發現其他物理啟發的生成模型，它們展示出更好的性能？在接下來的部分中，我們將簡要總結擴散模型的改進訓練和采樣技術，并討論我們開發其他物理啟發生成模型的研究，這些將在后續章節中詳細闡述。

1.1.1 擴散模型的改進訓練技術

擴散模型的訓練利用了一種擾動-去噪方法來估計向量場。其過程是先通過高斯噪聲擾動干凈的數據，然后網絡從這些擾動樣本中重構原始數據 [12]。然而，對于復雜的多模態數據，許多干凈的數據點可能被擾動為相似的噪聲樣本，導致訓練目標不明確并引發不穩定性。

在文獻 [23] 中，我們通過多個干凈數據點的加權求和來估計真實目標，精確地指示從擾動樣本到真實向量場的方向。該新穎的訓練目標推廣了傳統的單點估計方法，顯著減少了訓練目標中的方差。因此，在各種擴散模型變體中，樣本質量得到了提高，訓練過程更加穩定，訓練速度也得到了加快。

擴散模型面臨的另一個挑戰是，需要學習一個從單峰高斯分布到多峰數據分布的非線性且高度復雜的映射。這種復雜性增加了訓練的難度，并導致生成常微分方程（ODE）[24] 軌跡呈現強烈的曲率。為解決這一問題，我們在擴散模型中引入了離散潛變量。這些離散潛變量有助于捕獲數據分布中的不同模式，而擴散模型的任務則轉變為基于給定的離散潛變量捕獲每個模式內的連續變化。離散與連續變化的分離建模顯著簡化了模型復雜的噪聲到數據映射的學習過程。這一方法有效降低了擴散模型生成ODE的曲率，尤其是在較大的擴散時間下，整體訓練損失得到了減少。

1.1.2 擴散模型的改進采樣技術

在擴散模型的采樣過程中，求解微分方程通常涉及速度和質量之間的權衡。確定性采樣器（基于ODE的）[25]–[27] 速度快，但性能達到平臺期，而隨機采樣器（基于SDE的）[27]、[28] 樣本質量更好，但速度較慢。我們的分析將這種差異歸因于采樣誤差：ODE采樣器的離散化誤差較小，而SDE中的隨機性會收縮采樣過程中的累積誤差 [29]。

基于這些見解，在文獻 [29] 中，我們提出了一種名為Restart的新采樣算法，該算法結合了ODE和SDE的優點。該方法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。前向噪聲的引入增強了隨機性的收縮效應，而逆ODE過程的遵循則加快了采樣速度。這種將隨機性和確定性采樣過程分離的方法極為有效，Restart在標準基準（CIFAR-10和ImageNet-64）上超過了SDE和ODE采樣器的速度和質量，并在大規模文本到圖像的Stable Diffusion模型中展示了文本-圖像對齊、視覺質量和多樣性的卓越平衡。

傳統上，擴散模型從模型分布中生成獨立同分布的樣本。然而，在實際操作中，模型通常需要多次采樣以獲得一組多樣化的小批量樣本，這會帶來與采樣時間無關的成本。我們提出超越獨立樣本假設，以提高樣本的多樣性和效率。我們的方法引入了一種擴展的基于擴散的生成采樣方法，稱為粒子引導。在這種方法中，聯合粒子的時間演化勢通過在樣本（粒子）之間加入互斥力來強制多樣性。根據實驗結果，我們的框架在文本到圖像生成和分子構象生成等應用中提高了樣本的多樣性并減輕了記憶效應。

1.1.3 基于其他物理過程的生成模型

以擴散模型為顯著例子，物理啟發的生成模型包含一個前向過程，該過程將復雜的數據分布簡化為逐步的先驗分布，隨后通過一個反向過程（即采樣過程）逐步將這些先驗分布還原為原始數據分布。因此，為了定義新的物理啟發生成模型，必須確定一個合適的前向過程。該過程應自然地隨著時間簡化數據分布，并且是可逆的，同時其相關的向量場應該易于被神經網絡學習。 借助靜電學原理，我們為物理啟發的生成模型開辟了一條新路徑，并介紹了泊松流生成模型（Poisson Flow Generative Models, PFGM）[30] 及其擴展版本PFGM++ [31]。PFGM將數據解釋為增廣空間中的電荷。如圖1.1所示，當我們從數據支撐遠離足夠遠時，電荷分布坍縮為一個點電荷，電場在各個方向上呈現輻射狀。因此，可以證明這些電荷發出的電場線定義了數據分布和大半球上均勻分布之間的雙射。實驗結果表明，這一新模型家族在樣本質量、采樣速度和穩健性方面超越了擴散模型。此外，我們還探索了物理過程和生成模型之間的對偶性，旨在概念化和設計更多新的物理啟發生成模型 [13]。

1.2 論文摘要

本論文分為三個主題部分。下面簡要概述每個部分的內容。 第一部分 重點開發新技術，旨在穩定擴散模型的訓練，并在處理復雜的多模態數據集時，優化生成軌跡。

第三章 我們通過引入參考批次來解決擴散模型目標中的高方差問題，并使用參考批次計算加權條件得分，作為更穩定的訓練目標。我們展示了這一過程在具有挑戰性的中間階段中，通過減少訓練目標協方差（的跡）確實起到了幫助作用。本章基于文獻 [23]。

第四章 我們通過一個編碼器推斷可學習的離散潛變量，并對擴散模型和編碼器進行端到端訓練。離散潛變量通過降低擴散模型生成ODE的曲率，顯著簡化了其復雜的噪聲到數據映射的學習過程，并通過ODE采樣器提高了在各種數據集上的樣本質量。本章基于文獻 [32]。

第二部分 討論了加速擴散模型采樣過程的技術，以及通過施加樣本之間的互斥力來促進多樣性。所有討論的技術都不需要重新訓練，且可以直接應用于任何預訓練的擴散模型。

第五章 我們提出了一種名為Restart的新采樣算法，結合了先前ODE和SDE采樣器的優勢。Restart算法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。實驗結果表明，Restart采樣器在速度和精度上均超過了先前的SDE和ODE采樣器。本章基于文獻 [29]。

第六章 我們提出了粒子引導，一種擴展的基于擴散的生成采樣方法，其中通過一個聯合粒子的時間演化勢來強制樣本多樣性。在條件圖像生成中，我們測試了該框架，并證明其在不影響質量的情況下增加了多樣性；在分子構象生成中，我們改進了相較于先前方法的中位誤差。本章基于文獻 [33]。

第三部分 探討了一類新型的生成模型，這些模型基于靜電理論，并與擴散模型在擴展視角下進行了統一。本部分還展望了通過物理過程構建生成模型的方法論。

第七章 我們介紹了一種新型生成模型——泊松流生成模型（PFGM），基于靜電理論。我們將數據點解釋為增廣空間中 z=0 超平面上的電荷，生成一個高維電場（泊松方程解的梯度）。我們證明了，如果這些電荷沿電場線向上流動，它們在 z=0 平面的初始分布會轉化為半徑為 r 的半球上的分布，并且在 r → ∞ 時變得均勻。我們展示了PFGM在圖像生成速度上提供了比先前最先進擴散模型更好的性能。本章基于文獻 [30]。

第八章 我們擴展了PFGM中使用的靜電理論，將擴散模型與PFGM統一起來。更有趣的是，在兩者之間的插值揭示了一個性能最優的新平衡點，達到了圖像生成的新標桿性能。我們為為什么PFGM和擴散模型都是次優解提供了理論解釋。本章基于文獻 [31]。

第九章 我們提出了一個統一的框架和算法，將物理過程轉化為平滑的密度流生成模型。此外，我們基于底層物理偏微分方程（PDE）的色散關系，提出了一種分類標準。這種理論方法可應用于各種物理PDE，從而發現新的生成模型家族。本章基于文獻 [13]。

第十章 我們總結了論文內容并討論了當前的局限性。

生成建模的最新進展正在改變視覺內容的創作，并在計算機視覺和圖形學的多個應用中顯示出巨大的前景。然而，生成模型在日常任務中的應用受到生成過程可控性、數據需求和計算要求等挑戰的制約。本論文重點解決二維和三維生成模型在真實世界約束下所面臨的這些問題。

首先，我們致力于通過遷移學習提高類別條件生成對抗網絡（GAN）的數據效率。我們引入了一種新的類別特定遷移學習方法，稱為cGANTransfer，基于類別之間的相關性，明確傳播舊類別的知識到新類別。通過廣泛的評估，我們證明了該方法在條件GAN遷移學習中的優越性，優于之前的方法。

其次，我們研究了使用小數據集訓練類別條件GANs的問題。我們特別指出了在小數據集上訓練條件GAN時出現的條件崩潰——即模式崩潰。為了解決這一問題，我們提出了一種基于過渡條件的訓練策略，該策略通過額外利用無條件學習，有效地防止了觀察到的模式崩潰。這種方法不僅實現了穩定的訓練，還通過在訓練的早期階段利用類別間共享信息，生成了高質量的圖像。

第三，我們解決了NeRF-GANs的計算效率問題。NeRF-GANs是一類基于神經輻射場（NeRFs）和GANs集成的3D感知生成模型，訓練于單視圖圖像數據集上。具體而言，我們重新審視了姿態條件的二維GANs，以在推理階段實現高效的3D感知生成。通過從預訓練的NeRF-GANs中提取3D知識，我們提出了一種簡單而有效的方法，用于高效推理3D感知GANs。該方法基于在姿態條件卷積網絡中重用預訓練的NeRF-GAN的良好解耦的潛在空間，以直接生成與底層3D表示一致的3D圖像。

最后，我們解決了在3D場景中進行物體生成的新任務，而無需任何3D監督或用戶提供的3D放置指導。我們引入了InseRF，這是一種在NeRF重建的3D場景中進行生成物體插入的新方法。基于用戶提供的文本描述和參考視圖中的二維邊界框，InseRF能夠在無需明確的3D信息作為輸入的情況下，實現對3D場景中物體的可控且3D一致的插入。

生成建模已經成為人工智能的一個熱門應用。然而，當生成模型被錯誤指定，或當生成模型估計器被修改以遵守差分隱私等隱私概念時，模型性能可能會受到負面影響。在本論文中，我們通過展示四項不同的研究，探討了模型錯誤指定和差分隱私下的生成建模。

我們首先介紹了生成建模的相關工作。隨后，我們深入探討了在模型錯誤指定和差分隱私挑戰下研究生成建模的必要性。

作為初步貢獻，我們考慮了用于密度估計的生成建模。處理模型錯誤指定的一種方法是放寬模型假設。我們展示了這一方法在非參數模型中也具有幫助作用。具體而言，我們研究了一種最近提出的非參數準貝葉斯密度估計器，并發現其強模型假設是有限數據集下表現不佳的原因。我們提出了一種自回歸擴展，放寬模型假設，以允許先驗特征依賴關系。

接下來，我們考慮了用于缺失值填補的生成建模。在將當前深度生成填補方法分類為Rubin [1976]引入的不可忽略缺失模型類之后，我們擴展了變分自編碼器的公式，使其根據深度生成建模文獻中尚未研究過的不可忽略缺失模型類進行分解。這些模型顯式地對缺失機制進行建模，以防止在缺失值非隨機情況下的模型錯誤指定。

然后，本論文集中于提高差分隱私下的合成數據生成。為此，我們提出了對差分隱私合成數據樣本進行差分隱私重要性采樣的方法。我們觀察到，生成模型越好，重要性采樣的幫助越大。接著，我們通過考慮差分隱私擴散模型，進一步提高數據生成質量。我們識別了顯著提高DP圖像生成器性能的訓練策略。 我們在論文的最后進行了討論，包括對所展示工作的貢獻和局限性，并提出了未來工作的潛在方向。

分布變遷仍然是成功和可靠部署機器學習（ML）系統的重大障礙。解決這些脆弱性的長期方案只能通過理解基準測試根本無法捕捉所有可能發生的變化而實現；同樣重要的是，通過仔細實驗AI系統，理解它們在實際分布變遷下的失敗。本論文描述了我在構建可信賴和可靠的機器學習基礎方面的工作。調查的工作大致分為三個主要類別：（i）設計正式的、實用的真實世界分布變遷結構表征；（ii）利用這種結構開發證明正確且高效的學習算法，能夠穩健處理這種變遷；以及（iii）實驗現代ML系統，理解現實世界重尾和分布變遷的實際影響，包括平均情況和最壞情況。

第一部分描述了可擴展地認證深度神經網絡對對抗攻擊的穩健性的工作。所提出的方法可用于認證對測試樣本、訓練數據或更一般地對任何影響模型最終預測的輸入的攻擊的穩健性。在第二部分中，我們關注變遷的潛變量模型，借鑒因果關系和其他結構化編碼的概念。我們展示了這些模型如何通過環境/干預復雜性這一新視角，進行使用多種分布進行穩健深度學習的方法的正式分析。環境/干預復雜性是領域泛化和因果表示學習的核心統計測量，通過訓練分布數量和多樣性來量化誤差和/或結構化可識別性條件。最后，在第三部分中，我們廣泛探索了更好地理解和利用自然數據中的變化的方法，并展示了所得見解如何促進設計在現實世界中更加穩健和可靠的新方法。

預測算法通過其在未見測試數據上的表現來評估和重視。在經典的機器學習（ML）中，通常假設這些數據是相互獨立地從與訓練算法所用數據集相同的分布中抽取的（這被稱為IID假設）。然而，在現實世界中，這種情況幾乎從未滿足。IID假設作為一種有價值的抽象，用于研究如何高效且可靠地從數據中學習。然而，統計學家早已明白這一假設是一種過度簡化，現實世界的數據底層分布不斷發生變遷：例如，時間上的變遷、異質子群體間的變遷、因過去行為而引發的變遷等。由于現實與理想化的IID數據假設之間的這種差異，在分布內提供強泛化保證的算法（如經驗風險最小化[Vapnik, 1999]）在現實世界中會出乎意料地失敗，通常伴隨著高置信度且無事先警告。特別是，盡管現代深度神經網絡在許多任務上實現了超人表現，但越來越多的證據表明，其令人難以置信的泛化能力主要限于測試數據與訓練數據非常相似的情況下。這些模型似乎依賴于數據的統計信息表示——出于尚未完全理解的原因——遠遠超越了對訓練數據的簡單記憶，但這些表示通常不能使其泛化到新領域或新任務。即使是對于看似微不足道的人類變化，這種情況也依然存在（Beery et al., 2018; Geirhos et al., 2018）。因此，現代最先進的生成和判別深度網絡在部署中是脆弱的，并且在出人意料的輕微分布變遷下容易出錯（Su et al., 2019; Recht et al., 2019）。

在考慮如何解決這一弱點時，人們可能會想象使得上述深度學習取得實際成功的方法最終也能解決這個問題。過去十年ML研究驚人速度的主要推動力是“基準測試方法”：通過對代表性基準數據集的一系列任務進行一致的、逐步的改進來推進。盡管這一策略的成功是不可否認的，但顯然它不足以實現真正穩健和可靠的ML未來。人工智能（AI）正在迅速部署到無數新的領域——并且只會變得更加普遍——但它尚不能被廣泛依賴，而意外失敗的潛在成本仍在增加。同時，在現實世界中引發這種失敗的變遷例子比比皆是：例如，自動駕駛汽車遇到的簡單景觀和/或天氣變化，或者用戶調整其行為以增加他們首選結果的可能性（Hardt et al., 2016）。更糟糕的是，AI越來越多地被用于安全關鍵環境，這在面對有意的對手時呈現出嚴重的安全漏洞（Sharif et al., 2016）。這種脆弱性仍然是進一步可信賴部署ML系統的重大障礙。

解決這些脆弱性的長期方案只能通過理解基準測試根本無法捕捉所有可能發生的變化而實現。但是，顯然對所有分布變遷的穩健性是不可行的。相反，我們必須首先設計精確、現實的真實世界分布變遷的數學定義：通過正式指定我們希望穩健應對的變遷的“威脅模型”，我們將能夠朝著正式的穩健性保證可靠地前進。同時，ML理論和實踐（特別是在深度學習中）之間經常存在不匹配，因此單單數學定義變遷是不夠的。我們還需要仔細實驗AI系統，以理解它們在實際中的失敗模式——只有通過這樣的實驗，我們才能理解和調和現實世界數據與我們的數學理解之間的差異。反過來，這將推動新型、更可靠且可解釋的ML方法的發展，對性能產生實際的下游益處。

本論文描述了通過結合這兩種核心方法，為可信賴和可靠的機器學習奠定基礎的進展。更具體地說，所調查的工作大致分為三大類：（i）設計正式的、實用的真實世界分布變遷結構表征，包括良性和對抗性的；（ii）利用這種結構開發證明正確且高效的學習算法，能夠穩健處理這些變遷；以及（iii）實驗現代ML系統，以理解分布變遷的實際影響，包括平均情況和最壞情況，以便未來的分析能夠更好地捕捉我們期望AI在未來遇到的困難類型。

論文概述

**第一部分

本論文的第一部分描述了大規模認證深度神經網絡對抗攻擊穩健性的工作。第2章展示了如何將任何在高斯噪聲下分類良好的分類器轉變為對?2范數下的對抗擾動具有認證穩健性的新分類器。我們證明了使用高斯噪聲平滑在?2范數下的緊密穩健性保證，獲得了一個在ImageNet上在?2范數小于0.5 (=127/255) 的對抗擾動下具有49%認證top-1準確率的分類器。在第3章中，我們展示了如何使用所提出的方法來認證對更一般的攻擊的穩健性，例如對訓練數據的對抗性修改，或更一般地說，任何影響模型最終預測的輸入。

**第二部分

第二部分側重于變遷的潛變量模型，靈感來自因果關系和其他提出的真實世界變化的結構化編碼。我們展示了這些模型的重要性及其如何使使用多種分布進行穩健深度學習的方法的形式化分析成為可能。特別是，我們通過環境/干預復雜性這一新視角研究這些算法的行為——這是領域泛化和因果表示學習的核心統計測量，通過觀察的環境數量來量化誤差和/或潛在特征的可識別性。第4章在一個相當自然和一般的模型下，首次分析了為這些任務提出的各種目標下的分類。我們還在非線性領域中展示了這些方法的首個結果：除非測試數據與訓練分布足夠相似，否則這些方法可能會災難性地失敗。隨后在第5章中，我們提供了改進的分析以及更強的下界。第6章考慮了在線領域泛化的設置，首次正式量化了領域“插值”和“外推”之間的計算復雜性差距。

**第三部分

論文的最后一部分廣泛探索了更好地理解和利用自然數據中的變化的方法。首先，在第7章中，我們展示了預訓練特征足以生成比以前認為的更穩健的預測器。第8章描述了這一發現如何使得使用未標記的測試數據以證明神經網絡適時適應變遷，或給出（幾乎）有證明的非空的測試誤差界成為可能。接下來，第9章開發了一種穩健優化方法用于策略分類，使得雙重穩健預測能夠優雅地處理策略響應和用戶成本函數中的不可避免的不確定性。最后，第10章展示了離群值對神經網絡優化的顯著影響——這一結果為理解自然數據的重尾如何影響網絡行為提供了新的見解，并提出了神經網絡優化中各種現象起源的更一致的圖景。