亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本論文探討了如何通過幫助機器學習系統克服綁定問題，使其具備更接近人類的智能。具體來說，我們希望神經網絡能夠靈活、動態地表示并關聯不同的實體。論文分為兩部分。第一部分，我們研究了基于圖的表示中的歸納偏置；第二部分，我們開發并研究了一種新的表示格式，以解決綁定問題。我們的主要貢獻如下：

• 我們提出了攤銷因果發現（Amortized Causal Discovery, ACD） [105, 第三章]，這是一個全新的因果發現框架，可以在具有不同底層因果圖但共享動態的樣本之間推斷因果關系。我們證明了該方法在完全觀察環境下以及在存在噪聲和隱藏混雜因素的情況下都能提升性能，并使模型能夠推廣到之前未見的測試樣本。
• 我們提出了復雜自編碼器（Complex AutoEncoder, CAE） [107, 第四章]，這是一種對象發現模型，采用了一種新的對象表示格式。通過在卷積自編碼器中引入復數激活，CAE可以通過激活值的幅度來表示對象屬性，并通過相位值來表示對象關聯。這種無監督方法在簡單的多對象數據集上展示了強大的對象發現能力，并且訓練速度顯著提升。
• 我們提出了旋轉特征（Rotating Features） [106, 第五章]，它是復雜自編碼器的擴展，將這一方法從簡單的玩具數據擴展到真實數據。為實現這一點，我們提出了三項改進：我們將CAE的復數激活推廣到更高維度，介紹了一種新的評估流程，并將預訓練特征引入我們的方法中。
• 我們提出了一種新穎的余弦綁定機制用于旋轉特征 [108, 第六章]。該機制使我們能夠更好地理解旋轉特征在學習通過對象的方向值來分離對象時所需的動態機制。

機器學習模型容易受到多種利用訓練模型數據泄露的攻擊。差分隱私（DP）是量化隱私風險并提供對抗攻擊的可證明保證的黃金標準。然而，在差分隱私下訓練機器學習模型通常會導致顯著的效用下降。本論文研究如何在差分隱私機器學習中有效地從數據中學習并生成數據。

為了在隱私保護的方式下有效地從數據中學習，首先需要識別可以利用的先驗信息類型。首先，我們研究了標簽-DP 設置，即特征信息公開，而標簽信息私有。我們通過利用公共特征來減少噪聲的添加，進而降低噪聲的影響，以此來提高標簽-DP 下的模型效用。其次，我們研究了如何利用合成圖像來改進差分隱私圖像分類。盡管這些合成圖像是在沒有訪問真實圖像的情況下生成的，并且對非隱私訓練幫助有限，我們發現這些合成圖像可以為差分隱私圖像分類提供更好的先驗。我們進一步研究了如何最大化這些合成先驗的使用，以充分釋放它們在改進隱私訓練中的潛力。

第三，我們研究了零階優化的私有化。零階優化已被證明在微調大型語言模型時與 SGD 性能相當，我們提出了 DPZO。我們的關鍵見解是，在零階優化中，從私有數據中派生的信息僅為一個標量。因此，我們只需對這個標量進行私有化。這種方法隱私友好，因為我們只需為標量添加噪聲，而不是對高維梯度加噪。第四，對于差分隱私的合成數據生成，我們研究了在不進行微調的情況下，僅通過訪問大型語言模型 API 來私有地生成數據。我們提出的方法可以為大型語言模型中的上下文學習提供隱私保護，同時支持無限查詢。 綜上所述，本論文探討了如何在差分隱私機器學習中有效地從數據中學習并生成數據，并提供了在實踐中設計隱私保護機器學習模型的方向。

近年來，深度學習取得了顯著進展。然而，其理論基礎，尤其在大模型領域，仍然相對滯后。本文的研究重點在于將堅實的理論基礎與大模型高效擴展的實際應用相結合。 在論文的第一部分中，我們聚焦于神經網絡的訓練動態，討論了過參數化神經網絡的理論。我們將簡要介紹神經切線核（Neural Tangent Kernel，NTK）的理論，并深入探討超參數遷移，這是一種重要的張量程序框架應用。我們將回顧一些奠定 NTK 作為研究領域的早期論文，并討論 NTK 的局限性。超參數遷移是一種新穎且高效的超參數調整范式，它提供了擴展模型的最優策略。我們將介紹深度神經網絡訓練動態的特征化，并提出一種高效的超參數選擇方案，其中通過在淺層網絡上調優選定的最優超參數同樣適用于深層網絡。 論文的第二部分集中于大模型擴展中的數據方面。我們首先介紹 Skill-Mix，這是一種新穎且獨特的評估方法，避免了傳統大型語言模型（LLM）評估中的數據污染和為排行榜“臨時抱佛腳”的問題。Skill-Mix 隨機選擇 k 種語言技能，然后提示 LLM 生成展示所選技能的簡潔文本。技能組合數量的指數級增長有效防止了數據污染，并進一步揭示了強大的 LLM 成功作答的創新性。接著，我們介紹了 ConceptMix，這是 Skill-Mix 的擴展，用于評估文本生成圖像模型結合 k 個隨機選定視覺概念的能力。最后，我們探討了 LLM 在給出優質 Skill-Mix 回答的情況下，學習和泛化技能組合的能力。結果表明，幾千條這樣的數據足以顯著提高模型在未見過的技能組合上的表現，甚至超越了尺寸更大的模型。這表明，將富含技能的合成文本融入訓練數據，是一種高效擴展數據規模的途徑。

引言

在過去的十年里，深度學習在多個領域取得了顯著進展，尤其是在計算機視覺和自然語言處理方面。這些成就通常歸因于模型規模和數據的擴展。ImageNet [Deng et al., 2009] 通過提供一個大規模且標注豐富的數據集，極大推動了計算機視覺的發展，促成了更優模型的產生。ResNet [He et al., 2016a] 通過引入殘差連接，革新了深度學習，使得超深網絡的有效訓練成為可能，從而利用增加的模型規模提升性能。最近，隨著大規模語言模型（LLM）規模的不斷擴展，并在更大規模的語料庫上進行訓練，LLM 展現出了新的能力，例如少樣本上下文學習、推理和解決數學問題 [Brown et al., 2020, OpenAI, 2023]。

總的來說，擴展過程——即模型規模和數據集的擴大——對于開發能夠執行具有人類或超人準確性與適應性的強大 AI 模型至關重要。然而，這個過程的代價高昂，訓練大型 AI 模型，如 LLaMA-2 [Touvron et al., 2023] 和 GPT-4 [OpenAI, 2023]，需要耗費數千萬甚至數億美元的計算資源。 本論文旨在深入理解擴展背后的原理，并使擴展過程更為高效，以較少的計算資源實現更高的性能。我們的工作分為兩個部分，分別探討擴展的兩個關鍵方面：模型規模和數據。

1. 首先，我們研究了高效擴展模型規模的優化策略，重點是選擇隨著模型規模增長的理論最優超參數。 實際上，計算資源的限制使得對巨大模型進行廣泛的超參數搜索變得困難。為了解決這個問題，通常會對不同規模的小模型進行最優超參數的搜索，并外推得出大模型的近似最優超參數。然而，隨著模型規模的增長，超參數的最佳變化方式——即超參數的擴展策略——往往無法通過少量數據點準確測量。因此，我們旨在建立擴展策略的理論理解，從而能夠通過一個小模型的最優超參數來預測大模型的最優超參數。正式地說，我們回答以下問題：**在數據集和模型架構固定的情況下，隨著模型規模的增長，超參數的最優擴展策略是什么？**為了解決這一問題，我們研究了模型在優化過程中規模趨于無窮大時的漸近行為。我們發現這些行為受超參數擴展策略（即超參數如何隨模型規模變化）的控制。我們根據其導致的漸近行為對這些擴展策略進行了分類，并確定了最優擴展策略。通過這種最優擴展策略，可以廣泛搜索一個小模型的最優超參數，并將其直接轉換為大模型的近似最優超參數。這樣的超參數調整方案被稱為“超參數遷移”，它大大降低了大型模型開發的計算成本。
2. 接下來，我們探討了當訓練數據擴展時，大型 AI 模型的技能組合能力。 對于模型如何從更多數據中學習到新的能力，有兩種不同的解釋：一種是“隨機鸚鵡”觀點 [Bender et al., 2021]，另一種是技能組合觀點 [Arora 和 Goyal, 2023]。前者認為模型學習的是訓練數據中已有的能力，因此更多的數據意味著更多的能力。后者則使用隨機圖論構建了一個統計框架，證明技能組合能力可以通過擴展模型規模而涌現。隨著組合更多技能的能力，模型能夠解決訓練中未曾見過的新任務。在論文的第二部分中，我們首先構建了評估方法，來測量 AI 模型組合 k 個隨機選擇的技能的能力。評估結果驗證了技能組合觀點，并表明像 GPT-4 這樣的頂級模型已經超越了“隨機鸚鵡”的行為。此外，我們的評估具有靈活性、可控的難度等級，并且通過選擇足夠大的 k 避免了數據污染問題。我們觀察到，較小的模型在組合 3 個技能時遇到了困難。一個自然的問題是，這些較小的模型是否可以通過從技能豐富的數據中學習來獲得技能組合能力。我們基于評估生成技能豐富的訓練數據，并觀察到其在提升模型技能組合能力方面的有效性。這為通過生成高質量訓練數據來高效擴展數據規模，提供了一個有前景的方向。

物理啟發的生成模型（如擴散模型）構成了一類強大的生成模型家族。該模型家族的優勢在于相對穩定的訓練過程和強大的容量。然而，仍有許多可能的改進空間。在本論文中，我們首先將深入探討擴散模型在訓練和采樣方面的改進技術。擴散模型的訓練目標在數據分布為多模態時呈現出較高的方差。為了解決這一問題，我們提出了一種訓練目標，它推廣了傳統的去噪得分匹配方法，顯著減少了訓練目標的方差。除此之外，我們還引入了一種將可學習的離散潛變量整合到連續擴散模型中的訓練框架。這些潛變量簡化了擴散模型復雜的噪聲到數據映射的學習過程。

另一方面，擴散模型的采樣過程通常涉及求解微分方程。為加速采樣過程，我們提出了一種新穎的采樣算法，結合了之前常見的ODE和SDE采樣器的優點，大幅提升了預訓練擴散模型的性能。此外，我們的研究探索了在有限樣本中引入互斥力以促進生成過程中的多樣性。 在物理啟發的生成模型領域，許多物理過程都可以用于開發生成模型。我們將介紹一類基于靜電理論的新生成模型家族，稱為泊松流生成模型（PFGM）。PFGM在采樣穩健性上表現出色，并與領先的擴散模型相媲美。其擴展版本PFGM++將擴散模型和PFGM置于同一框架下，并引入了新的、更優的模型。我們還將提出一種系統化的方法，將物理過程轉化為生成模型。

生成模型在近年來顯著改變了人們工作的、創作的和學習的方式。其突出應用包括ChatGPT [1]、文本到圖像模型 [2]-[4]、文本到3D模型 [5]、[6] 和文本到視頻模型 [7]、[8]。這些能力可以極大地激發創造力，并提高眾多領域的工作效率，包括教育、游戲產業、社交媒體和專業編輯軟件。生成模型的訓練基于這樣一個假設，即訓練數據是從未知的數據分布中采樣的 [9]。現代生成模型通常使用深度神經網絡來基于有限的訓練數據逼近復雜的數據分布，并通過從這些建模的分布中采樣來生成新的數據點。

在生成建模中使用的各種數據類型中，高維數據由于維度詛咒而面臨著顯著的挑戰。隨著維度的增加，數據空間的體積呈指數級擴展。這一現象使得在高維空間中用有限的訓練數據有效捕獲和建模數據分布變得困難。此外，感興趣的數據分布通常高度復雜且呈多模態，進一步增加了生成建模的難度。近年來，擴散模型 [10]–[12] 以及更廣泛的物理啟發生成模型 [13]，在處理高維數據的生成任務中，展現了強大的框架并取得了令人印象深刻的結果。在擴散模型之前，主要的方法包括：（i）利用對抗訓練目標的生成對抗網絡（GANs [14]）；（ii）使用最大似然目標訓練的模型，如PixelCNN [15] 和正規化流模型 [16]、[17]；（iii）變分自編碼器（VAEs）[18]、[19] 以及（iv）基于能量的模型 [20]、[21]。然而，每種方法都有其自身的缺點：（i）可能導致訓練不穩定和生成樣本的多樣性低；（ii）需要特定的架構設計，可能限制模型的容量；（iii）需要多個神經網絡的仔細協調；（iv）訓練和采樣速度較慢。利用自然的物理過程作為編碼器將數據轉化為噪聲，擴散模型通過逆轉這些物理過程來執行生成任務。這種方法使它們繞過了早期生成模型的許多限制。

1.1 通過逆轉物理過程進行生成建模

基于熱力學的原理 [10]，擴散模型涉及兩個對立的過程：一個前向過程將數據分布逐漸轉化為一個更簡單的先驗分布，另一個反向過程通過逐步去噪從該噪聲先驗分布中生成樣本。擴散模型中的前向過程是一個簡單的布朗運動，通過逐步增加高斯噪聲來降解數據。為了逆轉這一過程，只需學習一個時間依賴的向量場，即得分函數，并迭代求解一個微分方程 [22]。與GANs和VAEs不同，擴散模型的訓練不需要多個神經網絡之間的同步，從而使訓練過程更加穩定。此外，它們在架構設計上不受限，采用類似于神經網絡串聯的迭代過程，從而增強了整體容量。這種穩定性和增強的容量使擴散模型能夠有效擴展到大規模數據集。

盡管擴散模型具有諸多優勢，但它們仍面臨一些挑戰，包括在處理多模態數據時高方差的訓練過程，以及緩慢的迭代采樣過程。此外，獨立同分布（i.i.d.）的采樣過程往往會導致重復的樣本。這些問題強調了在復雜數據集上穩定和改進擴散模型訓練方法的必要性，并且需要新技術來加速采樣過程并提高小批量樣本的多樣性。此外，擴散模型只是眾多物理啟發生成模型之一。除布朗運動外，仍有許多物理過程尚未開發，可以用來構建生成模型。這引出了一個重要問題：我們能否發現其他物理啟發的生成模型，它們展示出更好的性能？在接下來的部分中，我們將簡要總結擴散模型的改進訓練和采樣技術，并討論我們開發其他物理啟發生成模型的研究，這些將在后續章節中詳細闡述。

1.1.1 擴散模型的改進訓練技術

擴散模型的訓練利用了一種擾動-去噪方法來估計向量場。其過程是先通過高斯噪聲擾動干凈的數據，然后網絡從這些擾動樣本中重構原始數據 [12]。然而，對于復雜的多模態數據，許多干凈的數據點可能被擾動為相似的噪聲樣本，導致訓練目標不明確并引發不穩定性。

在文獻 [23] 中，我們通過多個干凈數據點的加權求和來估計真實目標，精確地指示從擾動樣本到真實向量場的方向。該新穎的訓練目標推廣了傳統的單點估計方法，顯著減少了訓練目標中的方差。因此，在各種擴散模型變體中，樣本質量得到了提高，訓練過程更加穩定，訓練速度也得到了加快。

擴散模型面臨的另一個挑戰是，需要學習一個從單峰高斯分布到多峰數據分布的非線性且高度復雜的映射。這種復雜性增加了訓練的難度，并導致生成常微分方程（ODE）[24] 軌跡呈現強烈的曲率。為解決這一問題，我們在擴散模型中引入了離散潛變量。這些離散潛變量有助于捕獲數據分布中的不同模式，而擴散模型的任務則轉變為基于給定的離散潛變量捕獲每個模式內的連續變化。離散與連續變化的分離建模顯著簡化了模型復雜的噪聲到數據映射的學習過程。這一方法有效降低了擴散模型生成ODE的曲率，尤其是在較大的擴散時間下，整體訓練損失得到了減少。

1.1.2 擴散模型的改進采樣技術

在擴散模型的采樣過程中，求解微分方程通常涉及速度和質量之間的權衡。確定性采樣器（基于ODE的）[25]–[27] 速度快，但性能達到平臺期，而隨機采樣器（基于SDE的）[27]、[28] 樣本質量更好，但速度較慢。我們的分析將這種差異歸因于采樣誤差：ODE采樣器的離散化誤差較小，而SDE中的隨機性會收縮采樣過程中的累積誤差 [29]。

基于這些見解，在文獻 [29] 中，我們提出了一種名為Restart的新采樣算法，該算法結合了ODE和SDE的優點。該方法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。前向噪聲的引入增強了隨機性的收縮效應，而逆ODE過程的遵循則加快了采樣速度。這種將隨機性和確定性采樣過程分離的方法極為有效，Restart在標準基準（CIFAR-10和ImageNet-64）上超過了SDE和ODE采樣器的速度和質量，并在大規模文本到圖像的Stable Diffusion模型中展示了文本-圖像對齊、視覺質量和多樣性的卓越平衡。

傳統上，擴散模型從模型分布中生成獨立同分布的樣本。然而，在實際操作中，模型通常需要多次采樣以獲得一組多樣化的小批量樣本，這會帶來與采樣時間無關的成本。我們提出超越獨立樣本假設，以提高樣本的多樣性和效率。我們的方法引入了一種擴展的基于擴散的生成采樣方法，稱為粒子引導。在這種方法中，聯合粒子的時間演化勢通過在樣本（粒子）之間加入互斥力來強制多樣性。根據實驗結果，我們的框架在文本到圖像生成和分子構象生成等應用中提高了樣本的多樣性并減輕了記憶效應。

1.1.3 基于其他物理過程的生成模型

以擴散模型為顯著例子，物理啟發的生成模型包含一個前向過程，該過程將復雜的數據分布簡化為逐步的先驗分布，隨后通過一個反向過程（即采樣過程）逐步將這些先驗分布還原為原始數據分布。因此，為了定義新的物理啟發生成模型，必須確定一個合適的前向過程。該過程應自然地隨著時間簡化數據分布，并且是可逆的，同時其相關的向量場應該易于被神經網絡學習。 借助靜電學原理，我們為物理啟發的生成模型開辟了一條新路徑，并介紹了泊松流生成模型（Poisson Flow Generative Models, PFGM）[30] 及其擴展版本PFGM++ [31]。PFGM將數據解釋為增廣空間中的電荷。如圖1.1所示，當我們從數據支撐遠離足夠遠時，電荷分布坍縮為一個點電荷，電場在各個方向上呈現輻射狀。因此，可以證明這些電荷發出的電場線定義了數據分布和大半球上均勻分布之間的雙射。實驗結果表明，這一新模型家族在樣本質量、采樣速度和穩健性方面超越了擴散模型。此外，我們還探索了物理過程和生成模型之間的對偶性，旨在概念化和設計更多新的物理啟發生成模型 [13]。

1.2 論文摘要

本論文分為三個主題部分。下面簡要概述每個部分的內容。 第一部分 重點開發新技術，旨在穩定擴散模型的訓練，并在處理復雜的多模態數據集時，優化生成軌跡。

第三章 我們通過引入參考批次來解決擴散模型目標中的高方差問題，并使用參考批次計算加權條件得分，作為更穩定的訓練目標。我們展示了這一過程在具有挑戰性的中間階段中，通過減少訓練目標協方差（的跡）確實起到了幫助作用。本章基于文獻 [23]。

第四章 我們通過一個編碼器推斷可學習的離散潛變量，并對擴散模型和編碼器進行端到端訓練。離散潛變量通過降低擴散模型生成ODE的曲率，顯著簡化了其復雜的噪聲到數據映射的學習過程，并通過ODE采樣器提高了在各種數據集上的樣本質量。本章基于文獻 [32]。

第二部分 討論了加速擴散模型采樣過程的技術，以及通過施加樣本之間的互斥力來促進多樣性。所有討論的技術都不需要重新訓練，且可以直接應用于任何預訓練的擴散模型。

第五章 我們提出了一種名為Restart的新采樣算法，結合了先前ODE和SDE采樣器的優勢。Restart算法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。實驗結果表明，Restart采樣器在速度和精度上均超過了先前的SDE和ODE采樣器。本章基于文獻 [29]。

第六章 我們提出了粒子引導，一種擴展的基于擴散的生成采樣方法，其中通過一個聯合粒子的時間演化勢來強制樣本多樣性。在條件圖像生成中，我們測試了該框架，并證明其在不影響質量的情況下增加了多樣性；在分子構象生成中，我們改進了相較于先前方法的中位誤差。本章基于文獻 [33]。

第三部分 探討了一類新型的生成模型，這些模型基于靜電理論，并與擴散模型在擴展視角下進行了統一。本部分還展望了通過物理過程構建生成模型的方法論。

第七章 我們介紹了一種新型生成模型——泊松流生成模型（PFGM），基于靜電理論。我們將數據點解釋為增廣空間中 z=0 超平面上的電荷，生成一個高維電場（泊松方程解的梯度）。我們證明了，如果這些電荷沿電場線向上流動，它們在 z=0 平面的初始分布會轉化為半徑為 r 的半球上的分布，并且在 r → ∞ 時變得均勻。我們展示了PFGM在圖像生成速度上提供了比先前最先進擴散模型更好的性能。本章基于文獻 [30]。

第八章 我們擴展了PFGM中使用的靜電理論，將擴散模型與PFGM統一起來。更有趣的是，在兩者之間的插值揭示了一個性能最優的新平衡點，達到了圖像生成的新標桿性能。我們為為什么PFGM和擴散模型都是次優解提供了理論解釋。本章基于文獻 [31]。

第九章 我們提出了一個統一的框架和算法，將物理過程轉化為平滑的密度流生成模型。此外，我們基于底層物理偏微分方程（PDE）的色散關系，提出了一種分類標準。這種理論方法可應用于各種物理PDE，從而發現新的生成模型家族。本章基于文獻 [13]。

第十章 我們總結了論文內容并討論了當前的局限性。

現代機器學習模型的脆弱性引起了學術界和公眾的廣泛關注。在本論文中，我們將系統研究幾種機器學習模型的理解與改進，包括平滑模型和通用表征網絡。我們特別關注表征魯棒性的研究，將其定義為給定網絡在隱含空間中的“魯棒性”（或廣義上的可信屬性）。對于通用表征網絡，這對應于表征空間本身，而對于平滑模型，我們將網絡的logits視為目標空間。表征魯棒性是許多可信賴AI領域的基礎，例如公平性和魯棒性。

在本論文中，我們發現隨機平滑的可證魯棒性是以類別不公平性為代價的。我們進一步分析了改進基礎模型訓練過程的方法及其局限性。對于通用的非平滑表征模型，我們發現自監督對比學習與監督的鄰域成分分析之間存在聯系，這自然地使我們提出了一個可以實現更高準確性和魯棒性的通用框架。此外，我們意識到當前基礎表征模型的評估實踐涉及在各種現實任務上進行大量實驗，這既耗費計算資源又容易導致測試集泄漏。為此，我們提出了一種更輕量級、保護隱私且健全的評估框架，通過利用合成數據來評估視覺和語言模型。

**1.1 研究動機

深度神經網絡對人眼難以察覺的對抗性擾動的脆弱性，自從開創性工作[170, 7]發表以來，已經引起了機器學習領域廣泛的關注。這一問題在多個機器學習領域中都是一個重要的關注點，從計算機視覺[170]到語音識別[17]，無不如此。特別是在安全關鍵的應用中，如自動駕駛汽車和監控系統，幾乎無法容忍任何錯誤決策。因此，深度神經網絡中對抗樣本的存在，促使了對魯棒性量化的研究，以及旨在增強這種魯棒性的訓練算法的設計[42, 47, 95]。在本論文中，我們旨在理解和改進現代機器學習模型的表征魯棒性。

**1.1.1 機器學習模型的表征魯棒性

表征魯棒性指的是神經網絡模型中隱含空間的可靠性。這一概念在機器學習中尤為重要，因為網絡的隱藏層應該從輸入數據中捕捉到復雜的模式。在本論文中，我們將表征魯棒性定義為這些隱藏表示在面對不同輸入或擾動時，能夠維持理想的可信屬性的能力。理想的可信屬性可能包括準確性、公平性、對抗性魯棒性等。對于一個通用的表征網絡 Φ(?)\Phi(\cdot)Φ(?)，隱含空間的自然選擇是表征網絡的輸出空間。這些構建的空間通過表征學習被專門訓練用于編碼關于輸入數據的關鍵信息，使網絡能夠通過一個簡單的任務特定下游網絡執行分類、回歸或生成等各種任務。另一方面，在平滑模型的背景下，平滑濾波器應用于整個基礎網絡

。因此，我們將直接將網絡的

視為評估表征魯棒性的目標空間。在這種情況下，我們特別感興趣的是基礎網絡和平滑網絡之間的不同表現。 研究表征魯棒性對于推動機器學習領域的發展至關重要，原因有以下幾點。首先，正如將在論文的后續章節中討論的那樣，對每個組件（如表征網絡、平滑操作符等）的深入理解有助于我們更加謹慎和意識到這些操作可能產生的副作用。這種理解也將為改進這些網絡設計奠定基礎。其次，隨著機器學習社區逐漸將重點轉向任務無關的預訓練和任務特定的微調，魯棒的表征變得越來越重要。在安全關鍵的應用中，由于脆弱表征導致的錯誤預測可能會產生嚴重后果。從這個角度來看，表征魯棒性是許多可信賴AI領域的基礎，因為預訓練的表征網絡將對任何基于它的機器學習系統的整體可信賴性產生貢獻。通過研究和增強表征魯棒性，可以構建更具彈性的AI系統，并防止錯誤的傳播。

生成建模已經成為人工智能的一個熱門應用。然而，當生成模型被錯誤指定，或當生成模型估計器被修改以遵守差分隱私等隱私概念時，模型性能可能會受到負面影響。在本論文中，我們通過展示四項不同的研究，探討了模型錯誤指定和差分隱私下的生成建模。

我們首先介紹了生成建模的相關工作。隨后，我們深入探討了在模型錯誤指定和差分隱私挑戰下研究生成建模的必要性。

作為初步貢獻，我們考慮了用于密度估計的生成建模。處理模型錯誤指定的一種方法是放寬模型假設。我們展示了這一方法在非參數模型中也具有幫助作用。具體而言，我們研究了一種最近提出的非參數準貝葉斯密度估計器，并發現其強模型假設是有限數據集下表現不佳的原因。我們提出了一種自回歸擴展，放寬模型假設，以允許先驗特征依賴關系。

接下來，我們考慮了用于缺失值填補的生成建模。在將當前深度生成填補方法分類為Rubin [1976]引入的不可忽略缺失模型類之后，我們擴展了變分自編碼器的公式，使其根據深度生成建模文獻中尚未研究過的不可忽略缺失模型類進行分解。這些模型顯式地對缺失機制進行建模，以防止在缺失值非隨機情況下的模型錯誤指定。

然后，本論文集中于提高差分隱私下的合成數據生成。為此，我們提出了對差分隱私合成數據樣本進行差分隱私重要性采樣的方法。我們觀察到，生成模型越好，重要性采樣的幫助越大。接著，我們通過考慮差分隱私擴散模型，進一步提高數據生成質量。我們識別了顯著提高DP圖像生成器性能的訓練策略。 我們在論文的最后進行了討論，包括對所展示工作的貢獻和局限性，并提出了未來工作的潛在方向。

分布變遷仍然是成功和可靠部署機器學習（ML）系統的重大障礙。解決這些脆弱性的長期方案只能通過理解基準測試根本無法捕捉所有可能發生的變化而實現；同樣重要的是，通過仔細實驗AI系統，理解它們在實際分布變遷下的失敗。本論文描述了我在構建可信賴和可靠的機器學習基礎方面的工作。調查的工作大致分為三個主要類別：（i）設計正式的、實用的真實世界分布變遷結構表征；（ii）利用這種結構開發證明正確且高效的學習算法，能夠穩健處理這種變遷；以及（iii）實驗現代ML系統，理解現實世界重尾和分布變遷的實際影響，包括平均情況和最壞情況。

第一部分描述了可擴展地認證深度神經網絡對對抗攻擊的穩健性的工作。所提出的方法可用于認證對測試樣本、訓練數據或更一般地對任何影響模型最終預測的輸入的攻擊的穩健性。在第二部分中，我們關注變遷的潛變量模型，借鑒因果關系和其他結構化編碼的概念。我們展示了這些模型如何通過環境/干預復雜性這一新視角，進行使用多種分布進行穩健深度學習的方法的正式分析。環境/干預復雜性是領域泛化和因果表示學習的核心統計測量，通過訓練分布數量和多樣性來量化誤差和/或結構化可識別性條件。最后，在第三部分中，我們廣泛探索了更好地理解和利用自然數據中的變化的方法，并展示了所得見解如何促進設計在現實世界中更加穩健和可靠的新方法。

預測算法通過其在未見測試數據上的表現來評估和重視。在經典的機器學習（ML）中，通常假設這些數據是相互獨立地從與訓練算法所用數據集相同的分布中抽取的（這被稱為IID假設）。然而，在現實世界中，這種情況幾乎從未滿足。IID假設作為一種有價值的抽象，用于研究如何高效且可靠地從數據中學習。然而，統計學家早已明白這一假設是一種過度簡化，現實世界的數據底層分布不斷發生變遷：例如，時間上的變遷、異質子群體間的變遷、因過去行為而引發的變遷等。由于現實與理想化的IID數據假設之間的這種差異，在分布內提供強泛化保證的算法（如經驗風險最小化[Vapnik, 1999]）在現實世界中會出乎意料地失敗，通常伴隨著高置信度且無事先警告。特別是，盡管現代深度神經網絡在許多任務上實現了超人表現，但越來越多的證據表明，其令人難以置信的泛化能力主要限于測試數據與訓練數據非常相似的情況下。這些模型似乎依賴于數據的統計信息表示——出于尚未完全理解的原因——遠遠超越了對訓練數據的簡單記憶，但這些表示通常不能使其泛化到新領域或新任務。即使是對于看似微不足道的人類變化，這種情況也依然存在（Beery et al., 2018; Geirhos et al., 2018）。因此，現代最先進的生成和判別深度網絡在部署中是脆弱的，并且在出人意料的輕微分布變遷下容易出錯（Su et al., 2019; Recht et al., 2019）。

在考慮如何解決這一弱點時，人們可能會想象使得上述深度學習取得實際成功的方法最終也能解決這個問題。過去十年ML研究驚人速度的主要推動力是“基準測試方法”：通過對代表性基準數據集的一系列任務進行一致的、逐步的改進來推進。盡管這一策略的成功是不可否認的，但顯然它不足以實現真正穩健和可靠的ML未來。人工智能（AI）正在迅速部署到無數新的領域——并且只會變得更加普遍——但它尚不能被廣泛依賴，而意外失敗的潛在成本仍在增加。同時，在現實世界中引發這種失敗的變遷例子比比皆是：例如，自動駕駛汽車遇到的簡單景觀和/或天氣變化，或者用戶調整其行為以增加他們首選結果的可能性（Hardt et al., 2016）。更糟糕的是，AI越來越多地被用于安全關鍵環境，這在面對有意的對手時呈現出嚴重的安全漏洞（Sharif et al., 2016）。這種脆弱性仍然是進一步可信賴部署ML系統的重大障礙。

解決這些脆弱性的長期方案只能通過理解基準測試根本無法捕捉所有可能發生的變化而實現。但是，顯然對所有分布變遷的穩健性是不可行的。相反，我們必須首先設計精確、現實的真實世界分布變遷的數學定義：通過正式指定我們希望穩健應對的變遷的“威脅模型”，我們將能夠朝著正式的穩健性保證可靠地前進。同時，ML理論和實踐（特別是在深度學習中）之間經常存在不匹配，因此單單數學定義變遷是不夠的。我們還需要仔細實驗AI系統，以理解它們在實際中的失敗模式——只有通過這樣的實驗，我們才能理解和調和現實世界數據與我們的數學理解之間的差異。反過來，這將推動新型、更可靠且可解釋的ML方法的發展，對性能產生實際的下游益處。

本論文描述了通過結合這兩種核心方法，為可信賴和可靠的機器學習奠定基礎的進展。更具體地說，所調查的工作大致分為三大類：（i）設計正式的、實用的真實世界分布變遷結構表征，包括良性和對抗性的；（ii）利用這種結構開發證明正確且高效的學習算法，能夠穩健處理這些變遷；以及（iii）實驗現代ML系統，以理解分布變遷的實際影響，包括平均情況和最壞情況，以便未來的分析能夠更好地捕捉我們期望AI在未來遇到的困難類型。

論文概述

**第一部分

本論文的第一部分描述了大規模認證深度神經網絡對抗攻擊穩健性的工作。第2章展示了如何將任何在高斯噪聲下分類良好的分類器轉變為對?2范數下的對抗擾動具有認證穩健性的新分類器。我們證明了使用高斯噪聲平滑在?2范數下的緊密穩健性保證，獲得了一個在ImageNet上在?2范數小于0.5 (=127/255) 的對抗擾動下具有49%認證top-1準確率的分類器。在第3章中，我們展示了如何使用所提出的方法來認證對更一般的攻擊的穩健性，例如對訓練數據的對抗性修改，或更一般地說，任何影響模型最終預測的輸入。

**第二部分

第二部分側重于變遷的潛變量模型，靈感來自因果關系和其他提出的真實世界變化的結構化編碼。我們展示了這些模型的重要性及其如何使使用多種分布進行穩健深度學習的方法的形式化分析成為可能。特別是，我們通過環境/干預復雜性這一新視角研究這些算法的行為——這是領域泛化和因果表示學習的核心統計測量，通過觀察的環境數量來量化誤差和/或潛在特征的可識別性。第4章在一個相當自然和一般的模型下，首次分析了為這些任務提出的各種目標下的分類。我們還在非線性領域中展示了這些方法的首個結果：除非測試數據與訓練分布足夠相似，否則這些方法可能會災難性地失敗。隨后在第5章中，我們提供了改進的分析以及更強的下界。第6章考慮了在線領域泛化的設置，首次正式量化了領域“插值”和“外推”之間的計算復雜性差距。

**第三部分

論文的最后一部分廣泛探索了更好地理解和利用自然數據中的變化的方法。首先，在第7章中，我們展示了預訓練特征足以生成比以前認為的更穩健的預測器。第8章描述了這一發現如何使得使用未標記的測試數據以證明神經網絡適時適應變遷，或給出（幾乎）有證明的非空的測試誤差界成為可能。接下來，第9章開發了一種穩健優化方法用于策略分類，使得雙重穩健預測能夠優雅地處理策略響應和用戶成本函數中的不可避免的不確定性。最后，第10章展示了離群值對神經網絡優化的顯著影響——這一結果為理解自然數據的重尾如何影響網絡行為提供了新的見解，并提出了神經網絡優化中各種現象起源的更一致的圖景。

隨著機器學習算法在高風險應用中不斷開發和部署，確保其可靠性已變得至關重要。本論文介紹了在機器學習中提高可靠性的算法進展，重點強調兩個關鍵維度：魯棒性和可解釋性。 本論文的第一部分側重于魯棒性，即保證算法在各種數據不確定性下仍能提供穩定和可預測的性能。我們研究了在不同數據不確定性來源下的學習魯棒性，包括基本的統計誤差以及數據噪聲和損壞。我們的研究揭示了這些不同來源如何相互作用并對數據驅動決策產生影響。我們引入了針對特定不確定性來源量身定制的新穎的分布魯棒優化方法。我們的研究結果表明，對一種來源的保護可能會增加對另一種來源的脆弱性。為了解決這個問題，我們開發了分布模糊集，能夠同時提供對所有來源的整體魯棒性。在每種情況下，我們證明了我們的新方法實現了“高效”的魯棒性，在平均性能與樣本外保證之間實現了最佳平衡。我們的新算法被應用于各種場景，包括訓練魯棒神經網絡，在這些場景中顯著優于現有基準。 本論文的第二部分探討了可解釋性，這是高風險環境下決策支持工具的一個關鍵屬性，要求算法能夠為其決策提供可理解的解釋。我們的工作在這一部分的動機來自于數據驅動的個性化患者治療——一種越來越受歡迎的機器學習應用。在這個強化學習問題中，可解釋性至關重要：醫生不能依賴于一個黑箱算法來開具治療方案。我們在理論上引入了學習連續狀態空間動態系統最簡潔離散表示的問題。在患者治療的背景下，這相當于基于患者治療過程中不斷變化的特征來確定治療組。令人驚訝的是，我們在理論上證明，僅從觀察到的歷史樣本路徑數據中就有可能學習到動態系統的最簡潔表示。隨后，我們開發了一種算法，MRL，能夠學習這種簡潔的表示，從而增強可解釋性和可操作性。

隨著大型語言模型在近年來能力的大幅提升，提高我們對其輸出的控制能力變得越發重要。在本論文中，我討論了我開發的幾種控制方案，范圍從純推理時控制到基于微調的對齊方法。我首先將討論適用于非結構化自然語言生成的高度通用方法，包括一種稱為FUDGE的推理時控制方案以及一種基于強化學習的微調方法，稱為RLCD。接下來，我將討論更專門的方法，這些方法可以用于更結構化領域的控制，如分子設計、程序合成和語義解析。最后，我將展示如何將這些想法與通過提示進行的結構化規劃結合使用，以將我們的控制擴展到更長的輸出——在自動故事生成應用中范圍達到數千詞。

近期大型語言模型（LLMs）的發展顯著推進了在廣泛自然語言任務上的最新技術水平。然而，雖然這類模型能夠生成流暢的文本，但在推理時要充分控制它們的行為可能很困難。例如，開箱即用的預訓練語言模型頻繁地生成帶有偏見或有害的文本，這可能是因為在它們的預訓練數據中大量存在這類文本。

因此，控制生成——在推理時控制模型的行為，以產生符合期望的軟性或硬性約束的輸出——是確保在現實世界設置中道德使用這些強大技術的必要條件。實際上，去除問題偏見只是控制生成廣泛應用領域中的一個例子。控制生成的應用范圍從維持期望的風格或正式程度，到保持對參考文檔或現實世界事實的忠實，甚至非語言任務（使用模型處理非語言領域），如設計具有理想藥物屬性的分子。

因此，近年來已經投入了大量努力來開發控制語言模型輸出的方法。這些努力包括僅在推理時操作的各種方法，以及依賴于修改底層模型分布的方法，無論是通過微調還是通過強化學習。

盡管如此，控制LLMs的任務非常復雜，隨著時間的推移只會變得更加困難：語言模型在能力上持續改進的同時變得越來越不可解釋，我們對最強大的模型的訪問權限更加有限，這些模型越來越多地隱藏在私有APIs后面，而我們要求的控制目標變得越來越困難。為了詳細說明后一點：僅僅兩三年前，我們可能滿足于簡單地控制輸出段落的一般主題，這些段落僅幾十個令牌長，但今天一個主要挑戰是在可能跨越數千甚至數萬個令牌的輸出段落上控制事實準確性，既要考慮提供的上下文也要考慮現實世界的知識。 在本論文中，我將討論我開發的幾種方法，這些方法在許多不同的設置中解決了控制生成的問題。 自然語言的控制首先，在第二章，我將討論用于非結構化自然語言的一般控制方法，包括純推理時控制以及基于強化學習的微調。

對于純推理時控制，我提出了一種用于控制文本生成的靈活且模塊化的方法——生成未來判別器（FUDGE）。給定一個現有的基礎語言模型（LM）用于從感興趣的分布中生成文本，FUDGE允許在僅需要訪問基礎LM的輸出邏輯的情況下，基于期望的屬性a（例如，正式程度）進行條件化。FUDGE學習一個在部分序列上操作的屬性預測器，并使用此預測器的輸出來調整基礎LM的原始概率。我們展示了FUDGE模型對應于基礎LM給定屬性a的條件分布的貝葉斯分解。此外，FUDGE可以輕松地組合多個期望屬性的預測器。我們在三個任務上評估了FUDGE——詩句完成、語言生成中的主題控制以及機器翻譯中的正式性變化——并在所有三個任務中觀察到提升。 與純推理時控制相比，微調（包括基于RL的方法）需要并利用對基礎語言模型更大的訪問權限。雖然在前期需要額外的培訓或微調模型的成本，但它們可以通過從微調模型中進行普通采樣來減少推理時的成本（與可能需要更昂貴的解碼程序來啟用控制的推理時控制方法相比）。

基于RL的微調方法最近變得越來越受歡迎。在本論文中，我將提出一種RL方法，名為對比蒸餾的強化學習（RLCD），它不使用人類反饋就可以使語言模型遵循用自然語言表達的原則（例如，更無害）。RLCD從兩個對比的模型輸出中創建偏好對，一個使用正面提示來鼓勵遵循給定原則，另一個使用負面提示來鼓勵違反它們。使用兩個不同的提示會導致模型輸出在平均上更加分化，從而在沒有人類注釋的情況下產生更清晰的偏好標簽。然后我們使用偏好對來訓練一個偏好模型，進而用強化學習改善一個基礎未對齊的語言模型。經驗上，RLCD在三個不同的對齊任務——無害性、有幫助性和故事大綱生成——上優于RLAIF和上下文蒸餾基線，并在用于模擬偏好數據的7B和30B模型規模上均有表現。 針對結構化領域的控制接下來，在第三章，我將討論我為將控制擴展到結構化領域而進行的幾項工作。這一部分的大部分內容將聚焦于我開發的一種方法——隨機迭代目標增強，我們將其應用于分子設計和程序合成等多個領域。 例如，在分子設計任務的背景下：分子設計中的生成模型傾向于是參數豐富、對數據需求高的神經模型，因為它們必須生成復雜的結構化對象作為輸出。由于缺乏足夠的訓練數據，估計這樣的模型可能具有挑戰性。通過隨機迭代目標增強，我們提出了一種用于迭代創建額外分子目標的自訓練方法。我們首先將生成模型與一個簡單的屬性預測器一起進行預訓練。然后將屬性預測器用作似然模型，用于從生成模型中篩選候選結構。額外的目標通過隨機EM迭代的過程中迭代產生，并用于最大化候選結構被接受的對數似然。由于生成模型在預訓練后已經相當合理，因此一個簡單的拒絕（重加權）采樣器就足以抽取后驗樣本。我們展示了在無條件和條件分子設計上相比于強基線的顯著提升。特別是，我們的方法在條件分子設計中的絕對增益超過了先前最先進技術10%。最后，我們展示了我們的方法在其他領域（如程序合成）也是有用的。

在本節的最后，我還將簡要討論我在這一領域與他人合作的一些其他項目，涉及其他結構化領域（如語義解析和填字游戲）的控制生成方法。

長篇故事生成最后，在第四章，我將應用諸如FUDGE之類的可控生成思想于生成更長長度的高質量語言模型輸出——在故事生成領域達到數千詞——的任務。

首先，在我關于遞歸重新提示和修訂（Re3）的工作中，我們考慮了自動生成超過兩千詞的更長故事的問題。與之前關于更短故事的工作相比，長距離情節連貫性和相關性在這里是更為核心的挑戰。我們提出了遞歸重新提示和修訂框架來解決這些挑戰，通過（a）提示一個通用語言模型構建一個結構化的總體計劃，以及（b）通過重復地將來自計劃和當前故事狀態的上下文信息注入語言模型提示來生成故事段落。然后我們通過（c）對不同續篇進行重新排序以保持情節連貫性和前提相關性，最后（d）編輯最佳續篇以保證事實一致性進行修訂。與直接從相同基礎模型生成的類似長度故事相比，人類評估員判斷Re3的故事在擁有連貫的總體情節方面（絕對增加14%）和與給定初始前提相關方面（增加20%）顯著更多。

然后，我們通過提出詳細大綱控制（DOC）框架來進一步改進我們在Re3中的先前工作，該框架用于在自動生成數千詞長的故事時改善長距離情節連貫性。DOC由兩個互補的組件組成：一個詳細的大綱制作者和一個詳細的控制器。詳細的大綱制作者創建一個更詳細、分層結構化的大綱，將創造性負擔從主要起草過程轉移到規劃階段。詳細的控制器確保在生成過程中仍然尊重更詳細的大綱，通過控制故事段落與大綱細節保持一致。在自動生成故事的人類評估中，DOC在情節連貫性（22.5%的絕對增益）、大綱相關性（28.2%）和有趣性（20.7%）上顯著優于Re3。人類還判斷DOC在交互式生成設置中的可控性要高得多。

最后，我將討論幾項最近和正在進行的工作，這些工作進一步探索了長篇故事生成的不同方面，如個性化、節奏和事實一致性，以及使用更新的LLMs來提高計算效率的一些改進。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562