亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本論文通過創新性貢獻，推動了序列建模技術的發展，架起了狀態空間模型與深度學習之間的橋梁。序列建模技術能夠識別有序數據中的模式和關系，廣泛應用于時間序列預測、語音和音頻信號處理、文本生成、生物序列建模和神經記錄分析等多個領域。盡管深度學習已經改變了序列建模的格局，但當前的架構在計算效率、建模能力和可解釋性之間面臨著基本的權衡。我們通過三項互補的貢獻，解決了這些挑戰。 首先，我們提出了 S5 層，它重新設計了深度狀態空間方法，以支持并行掃描操作。我們通過與先前方法的數學聯系，解釋了其強大的實驗性能。接著，我們將這些洞察擴展到時空建模領域，提出了 ConvS5，將空間結構整合到狀態空間框架中。最后，我們通過雅可比切換線性動力系統（JSLDS）過程，開發了新的分析工具，為將復雜的非線性動力學分解為可解釋的線性成分提供了系統化的方法。 通過在多個領域的廣泛實驗證明，我們展示了這些方法如何在各自領域顯著推進了當前的技術水平。綜合來看，這些貢獻展示了將經典動力系統方法與現代深度學習技術結合，創造出更強大、高效且具可解釋性的序列模型的廣泛潛力。 序列建模——即學習有序數據中的模式和關系——是科學與工程多個領域的基礎任務。其應用范圍從金融時間序列預測[Salinas et al., 2020]、天氣模式分析[Rasp et al., 2020, Pathak et al., 2022]，到語音與音頻信號處理[Oord et al., 2016]、生物序列建模[Jumper et al., 2021]、神經記錄分析[Pandarinath et al., 2018]，以及文本[Brown et al., 2020]和視頻[Ho et al., 2022]生成等。序列建模中的關鍵挑戰在于捕捉短期模式和可能跨越數百、數千或數百萬時間步的長期依賴關系。 深度學習通過用學習到的表示代替手工設計的特征和傳統統計模型，已經改變了序列建模。然而，隨著序列模型在規模和能力上的增長，出現了三個基本挑戰：計算效率、建模精度和模型可解釋性。目前的架構在這些目標之間面臨顯著的權衡。遞歸神經網絡（RNNs）[Rumelhart et al., 1986, Elman, 1990]在推理效率方面表現出色，但在處理長期依賴時表現不佳，并且在訓練過程中天生是順序的。Transformer模型[ Vaswani et al., 2017]在捕捉長期模式方面表現優異，但其計算復雜度與序列長度呈二次增長。此外，隨著這些模型的復雜性增加，并且被部署在關鍵應用中，我們對其決策過程的理解變得愈發重要。 在本論文中，我們認為深度狀態空間方法——將經典動力系統理論中的狀態空間模型（SSMs）與現代深度學習相結合——能夠有效解決上述序列建模中的基本挑戰。通過三項互補的貢獻，我們展示了這種經典與現代方法的結合如何提升計算效率、建模精度和模型可解釋性。 首先，我們提出了S5層[Smith et al., 2023a]，它簡化了深度狀態空間方法，同時擴展了其能力。通過精心重新設計架構以支持并行掃描，S5在保持線性計算擴展性的同時，達到了最先進的性能，即使是在時間變化的系統中也是如此。我們與先前方法建立的數學聯系解釋了其有效性，并為設計提供了有原則的選擇。 基于這些基礎，我們提出了ConvS5[Smith et al., 2023b]，以解決時空建模中的挑戰。該工作展示了如何將S5背后的核心思想擴展到更復雜的領域，通過結合卷積操作處理空間結構，并將狀態空間動態應用于時間建模。ConvS5在有效處理空間依賴性的同時，保持了S5的計算優勢。 我們的第三項貢獻從不同的角度出發，將狀態空間模型作為分析工具，而不是計算構建塊。雅可比切換線性動力系統（JSLDS）[Smith et al., 2021]方法展示了如何通過共同訓練一個切換線性SSM和非線性RNN，提供對RNN計算機制的可解釋性見解。這項工作展示了經典動力系統概念如何幫助彌合深度學習的經驗成功與理論理解之間的差距。 這些貢獻統一在幾個共同主題下：

SSM與深度學習方法的創新整合：每種方法都展示了將經典動力系統與現代深度學習相結合的創新方式，無論是作為計算組件（S5、ConvS5）還是分析工具（JSLDS）。 * 增強的能力：前兩種方法在保持高效并行計算的同時，達到了最先進的性能，而JSLDS為理解RNN動態提供了新的分析能力，同時提升了共同訓練的切換SSM的能力。 * 廣泛的適用性：這些方法在包括語言、語音、視頻和神經數據等多個領域取得了成功，突顯了我們方法的普遍性。

本論文的其余部分組織如下：第二章提供了序列建模、狀態空間模型及相關架構的必要背景。第三章介紹了S5層及其在序列建模中的應用，基于我們在Smith et al. [2023a]中的工作。第四章介紹了ConvS5，并展示了其在時空建模中的有效性，基于我們在Smith et al. [2023b]中的工作。第五章發展了JSLDS框架及其應用，基于我們在Smith et al. [2021]中的工作。最后，第六章探討了本研究的廣泛影響，并概述了未來研究的有希望方向。

深度統計模型的進展重新定義了現代數據驅動應用，在各個領域展現了顯著的經驗成功。然而，雖然一些領域受益于大量干凈且完全觀測的數據，使得實踐者能夠充分發揮深度模型的優勢，但其他領域通常面臨著不完整數據的問題，這阻礙了這些強大模型的有效應用。在本論文中，我們旨在研究并解決由缺失數據引起的重要挑戰，這些挑戰妨礙了深度模型的使用，重點關注兩個關鍵統計任務：從不完整訓練數據集中進行參數估計和缺失數據填補。首先，我們探討了使用預訓練模型進行缺失數據填補的問題，重點關注變分自編碼器（VAE）類的深度統計模型。我們的探索揭示了現有的 VAE 條件采樣方法的局限性，識別了與常見的 VAE 學習特性相關的陷阱，這些陷阱在某些場景中妨礙了方法的性能。為了解決這些問題，我們提出了基于馬爾科夫鏈蒙特卡洛和重要性采樣的兩種新方法。我們的評估表明，所提出的方法在不同數據集上改進了使用預訓練 VAE 進行的缺失數據填補。隨后，我們將注意力轉向了從不完整訓練數據集中估計 VAE 的問題。盡管這一領域在文獻中得到了相當大的關注，但我們報告了由缺失數據引起的一個之前未知的現象，該現象妨礙了 VAE 的有效擬合。為了克服這些不利影響并改進從不完整數據中估計 VAE，我們引入了基于變分混合分布的兩種策略，這些策略在計算效率、模型精度和學習到的潛在結構之間進行權衡。我們展示了與不使用變分混合的現有方法相比，所提出的方法在不完整數據下改善了 VAE 的估計效果。擴展到估計一般統計模型的更廣泛挑戰時，我們觀察到不同類別的深度模型在進展上存在不平衡。為了推動所有深度統計模型的采用，我們引入了變分吉布斯推斷（VGI），這是一種通用方法，用于最大似然估計具有可處理似然函數的一般統計模型。我們表明，該方法能夠從不完整數據中進行精確的模型估計，包括 VAE 和歸一化流。值得注意的是，VGI 是當前文獻中少數幾種具有概率原理的方法之一，能夠從不完整數據中進行歸一化流的估計，且達到了最先進的性能。通過提供一個統一的框架來處理模型估計中的缺失數據，VGI 為在面臨缺失數據的各個領域中充分發揮深度統計模型的潛力鋪平了道路。

對比學習在機器學習應用中的關鍵地位：進展、應用與優化對比學習作為一種重要的機器學習方法論，提供了一種基于成對比較的數據解釋和模型訓練視角。本論文全面探討了對比學習模型，強調其在現實場景中的發展、應用及優化。論文分為兩個主要部分：第一部分探討了對比學習在多個領域的實際應用，如作者身份鑒定、驗證和行人重識別；第二部分則聚焦于方法論上的進展，旨在提升模型的效能與適應性。第一部分：本論文系統評估了對比學習技術在多個領域的應用，重點分析了其在現實環境中的優勢和局限性。通過詳細的案例研究，包括為越野摩托車賽設計的照片搜索系統的實現，本文評估了在復雜條件下對比模型的適應性和有效性。研究結果強調了對比學習模型的深刻理解和戰略性應用的必要性，尤其是在訓練過程中對數據對（pairs）選擇的重要性。第二部分：論文深入探討了克服對比學習固有挑戰的創新方法。提出了新的算法和框架，旨在優化學習過程，尤其是處理弱標簽數據和優化每個樣本對整體損失的影響（即數據對的選擇）。這些方法論的提出旨在彌合理論原則與實際應用之間的鴻溝，推動更強大、高效且多功能的機器學習系統的構建。本文的研究成果生成了高性能的作者身份識別和行人重識別模型，常常實現了新的技術前沿。此外，基于這些模型和應用的分析，提出了兩種增強模型訓練的方法：一種是自動調整數據點在特定訓練階段對模型影響的方法；另一種方法是通過對比擴展到多實例學習框架，促進弱標簽數據之間的對比訓練。結合這些研究發現，本文為對比學習的動態機制提供了洞見，并提出了切實可行的解決方案，旨在拓展其在現實世界中的應用范圍。

因果機器學習（Causal ML） 處理各種任務，包括因果效應推斷、因果推理和因果結構發現。本論文探討了適用于大數據集和復雜高維輸入/輸出模式（如圖像、文本、時間序列和視頻）的因果ML方法中的不確定性。可擴展性對于高效處理大量信息和預測復雜關系至關重要。隨著模型靈活性的提升，傳達未知信息變得愈加重要。我們考察了兩種主要的不確定性類型：統計不確定性和結構不確定性。統計不確定性在擬合機器學習模型到有限數據集時產生，解決這一不確定性有助于預測一系列合理的因果效應，隨著訓練樣本的增加而縮小，從而促進更明智的決策并指示需要進一步理解的領域。結構不確定性則源于對因果結構的模糊認識，通常需要對數據生成過程或與世界的互動做出進一步假設。在本論文中，我們開發了能夠有效應對統計和結構不確定性的可擴展因果ML方法。我們展示了在因果ML算法設計和應用中考慮可擴展性和不確定性的重要性，提升決策能力和知識獲取。我們的貢獻旨在推動因果機器學習領域的發展，為未來研究奠定基礎。

物理啟發的生成模型（如擴散模型）構成了一類強大的生成模型家族。該模型家族的優勢在于相對穩定的訓練過程和強大的容量。然而，仍有許多可能的改進空間。在本論文中，我們首先將深入探討擴散模型在訓練和采樣方面的改進技術。擴散模型的訓練目標在數據分布為多模態時呈現出較高的方差。為了解決這一問題，我們提出了一種訓練目標，它推廣了傳統的去噪得分匹配方法，顯著減少了訓練目標的方差。除此之外，我們還引入了一種將可學習的離散潛變量整合到連續擴散模型中的訓練框架。這些潛變量簡化了擴散模型復雜的噪聲到數據映射的學習過程。

另一方面，擴散模型的采樣過程通常涉及求解微分方程。為加速采樣過程，我們提出了一種新穎的采樣算法，結合了之前常見的ODE和SDE采樣器的優點，大幅提升了預訓練擴散模型的性能。此外，我們的研究探索了在有限樣本中引入互斥力以促進生成過程中的多樣性。 在物理啟發的生成模型領域，許多物理過程都可以用于開發生成模型。我們將介紹一類基于靜電理論的新生成模型家族，稱為泊松流生成模型（PFGM）。PFGM在采樣穩健性上表現出色，并與領先的擴散模型相媲美。其擴展版本PFGM++將擴散模型和PFGM置于同一框架下，并引入了新的、更優的模型。我們還將提出一種系統化的方法，將物理過程轉化為生成模型。

生成模型在近年來顯著改變了人們工作的、創作的和學習的方式。其突出應用包括ChatGPT [1]、文本到圖像模型 [2]-[4]、文本到3D模型 [5]、[6] 和文本到視頻模型 [7]、[8]。這些能力可以極大地激發創造力，并提高眾多領域的工作效率，包括教育、游戲產業、社交媒體和專業編輯軟件。生成模型的訓練基于這樣一個假設，即訓練數據是從未知的數據分布中采樣的 [9]。現代生成模型通常使用深度神經網絡來基于有限的訓練數據逼近復雜的數據分布，并通過從這些建模的分布中采樣來生成新的數據點。

在生成建模中使用的各種數據類型中，高維數據由于維度詛咒而面臨著顯著的挑戰。隨著維度的增加，數據空間的體積呈指數級擴展。這一現象使得在高維空間中用有限的訓練數據有效捕獲和建模數據分布變得困難。此外，感興趣的數據分布通常高度復雜且呈多模態，進一步增加了生成建模的難度。近年來，擴散模型 [10]–[12] 以及更廣泛的物理啟發生成模型 [13]，在處理高維數據的生成任務中，展現了強大的框架并取得了令人印象深刻的結果。在擴散模型之前，主要的方法包括：（i）利用對抗訓練目標的生成對抗網絡（GANs [14]）；（ii）使用最大似然目標訓練的模型，如PixelCNN [15] 和正規化流模型 [16]、[17]；（iii）變分自編碼器（VAEs）[18]、[19] 以及（iv）基于能量的模型 [20]、[21]。然而，每種方法都有其自身的缺點：（i）可能導致訓練不穩定和生成樣本的多樣性低；（ii）需要特定的架構設計，可能限制模型的容量；（iii）需要多個神經網絡的仔細協調；（iv）訓練和采樣速度較慢。利用自然的物理過程作為編碼器將數據轉化為噪聲，擴散模型通過逆轉這些物理過程來執行生成任務。這種方法使它們繞過了早期生成模型的許多限制。

1.1 通過逆轉物理過程進行生成建模

基于熱力學的原理 [10]，擴散模型涉及兩個對立的過程：一個前向過程將數據分布逐漸轉化為一個更簡單的先驗分布，另一個反向過程通過逐步去噪從該噪聲先驗分布中生成樣本。擴散模型中的前向過程是一個簡單的布朗運動，通過逐步增加高斯噪聲來降解數據。為了逆轉這一過程，只需學習一個時間依賴的向量場，即得分函數，并迭代求解一個微分方程 [22]。與GANs和VAEs不同，擴散模型的訓練不需要多個神經網絡之間的同步，從而使訓練過程更加穩定。此外，它們在架構設計上不受限，采用類似于神經網絡串聯的迭代過程，從而增強了整體容量。這種穩定性和增強的容量使擴散模型能夠有效擴展到大規模數據集。

盡管擴散模型具有諸多優勢，但它們仍面臨一些挑戰，包括在處理多模態數據時高方差的訓練過程，以及緩慢的迭代采樣過程。此外，獨立同分布（i.i.d.）的采樣過程往往會導致重復的樣本。這些問題強調了在復雜數據集上穩定和改進擴散模型訓練方法的必要性，并且需要新技術來加速采樣過程并提高小批量樣本的多樣性。此外，擴散模型只是眾多物理啟發生成模型之一。除布朗運動外，仍有許多物理過程尚未開發，可以用來構建生成模型。這引出了一個重要問題：我們能否發現其他物理啟發的生成模型，它們展示出更好的性能？在接下來的部分中，我們將簡要總結擴散模型的改進訓練和采樣技術，并討論我們開發其他物理啟發生成模型的研究，這些將在后續章節中詳細闡述。

1.1.1 擴散模型的改進訓練技術

擴散模型的訓練利用了一種擾動-去噪方法來估計向量場。其過程是先通過高斯噪聲擾動干凈的數據，然后網絡從這些擾動樣本中重構原始數據 [12]。然而，對于復雜的多模態數據，許多干凈的數據點可能被擾動為相似的噪聲樣本，導致訓練目標不明確并引發不穩定性。

在文獻 [23] 中，我們通過多個干凈數據點的加權求和來估計真實目標，精確地指示從擾動樣本到真實向量場的方向。該新穎的訓練目標推廣了傳統的單點估計方法，顯著減少了訓練目標中的方差。因此，在各種擴散模型變體中，樣本質量得到了提高，訓練過程更加穩定，訓練速度也得到了加快。

擴散模型面臨的另一個挑戰是，需要學習一個從單峰高斯分布到多峰數據分布的非線性且高度復雜的映射。這種復雜性增加了訓練的難度，并導致生成常微分方程（ODE）[24] 軌跡呈現強烈的曲率。為解決這一問題，我們在擴散模型中引入了離散潛變量。這些離散潛變量有助于捕獲數據分布中的不同模式，而擴散模型的任務則轉變為基于給定的離散潛變量捕獲每個模式內的連續變化。離散與連續變化的分離建模顯著簡化了模型復雜的噪聲到數據映射的學習過程。這一方法有效降低了擴散模型生成ODE的曲率，尤其是在較大的擴散時間下，整體訓練損失得到了減少。

1.1.2 擴散模型的改進采樣技術

在擴散模型的采樣過程中，求解微分方程通常涉及速度和質量之間的權衡。確定性采樣器（基于ODE的）[25]–[27] 速度快，但性能達到平臺期，而隨機采樣器（基于SDE的）[27]、[28] 樣本質量更好，但速度較慢。我們的分析將這種差異歸因于采樣誤差：ODE采樣器的離散化誤差較小，而SDE中的隨機性會收縮采樣過程中的累積誤差 [29]。

基于這些見解，在文獻 [29] 中，我們提出了一種名為Restart的新采樣算法，該算法結合了ODE和SDE的優點。該方法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。前向噪聲的引入增強了隨機性的收縮效應，而逆ODE過程的遵循則加快了采樣速度。這種將隨機性和確定性采樣過程分離的方法極為有效，Restart在標準基準（CIFAR-10和ImageNet-64）上超過了SDE和ODE采樣器的速度和質量，并在大規模文本到圖像的Stable Diffusion模型中展示了文本-圖像對齊、視覺質量和多樣性的卓越平衡。

傳統上，擴散模型從模型分布中生成獨立同分布的樣本。然而，在實際操作中，模型通常需要多次采樣以獲得一組多樣化的小批量樣本，這會帶來與采樣時間無關的成本。我們提出超越獨立樣本假設，以提高樣本的多樣性和效率。我們的方法引入了一種擴展的基于擴散的生成采樣方法，稱為粒子引導。在這種方法中，聯合粒子的時間演化勢通過在樣本（粒子）之間加入互斥力來強制多樣性。根據實驗結果，我們的框架在文本到圖像生成和分子構象生成等應用中提高了樣本的多樣性并減輕了記憶效應。

1.1.3 基于其他物理過程的生成模型

以擴散模型為顯著例子，物理啟發的生成模型包含一個前向過程，該過程將復雜的數據分布簡化為逐步的先驗分布，隨后通過一個反向過程（即采樣過程）逐步將這些先驗分布還原為原始數據分布。因此，為了定義新的物理啟發生成模型，必須確定一個合適的前向過程。該過程應自然地隨著時間簡化數據分布，并且是可逆的，同時其相關的向量場應該易于被神經網絡學習。 借助靜電學原理，我們為物理啟發的生成模型開辟了一條新路徑，并介紹了泊松流生成模型（Poisson Flow Generative Models, PFGM）[30] 及其擴展版本PFGM++ [31]。PFGM將數據解釋為增廣空間中的電荷。如圖1.1所示，當我們從數據支撐遠離足夠遠時，電荷分布坍縮為一個點電荷，電場在各個方向上呈現輻射狀。因此，可以證明這些電荷發出的電場線定義了數據分布和大半球上均勻分布之間的雙射。實驗結果表明，這一新模型家族在樣本質量、采樣速度和穩健性方面超越了擴散模型。此外，我們還探索了物理過程和生成模型之間的對偶性，旨在概念化和設計更多新的物理啟發生成模型 [13]。

1.2 論文摘要

本論文分為三個主題部分。下面簡要概述每個部分的內容。 第一部分 重點開發新技術，旨在穩定擴散模型的訓練，并在處理復雜的多模態數據集時，優化生成軌跡。

第三章 我們通過引入參考批次來解決擴散模型目標中的高方差問題，并使用參考批次計算加權條件得分，作為更穩定的訓練目標。我們展示了這一過程在具有挑戰性的中間階段中，通過減少訓練目標協方差（的跡）確實起到了幫助作用。本章基于文獻 [23]。

第四章 我們通過一個編碼器推斷可學習的離散潛變量，并對擴散模型和編碼器進行端到端訓練。離散潛變量通過降低擴散模型生成ODE的曲率，顯著簡化了其復雜的噪聲到數據映射的學習過程，并通過ODE采樣器提高了在各種數據集上的樣本質量。本章基于文獻 [32]。

第二部分 討論了加速擴散模型采樣過程的技術，以及通過施加樣本之間的互斥力來促進多樣性。所有討論的技術都不需要重新訓練，且可以直接應用于任何預訓練的擴散模型。

第五章 我們提出了一種名為Restart的新采樣算法，結合了先前ODE和SDE采樣器的優勢。Restart算法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。實驗結果表明，Restart采樣器在速度和精度上均超過了先前的SDE和ODE采樣器。本章基于文獻 [29]。

第六章 我們提出了粒子引導，一種擴展的基于擴散的生成采樣方法，其中通過一個聯合粒子的時間演化勢來強制樣本多樣性。在條件圖像生成中，我們測試了該框架，并證明其在不影響質量的情況下增加了多樣性；在分子構象生成中，我們改進了相較于先前方法的中位誤差。本章基于文獻 [33]。

第三部分 探討了一類新型的生成模型，這些模型基于靜電理論，并與擴散模型在擴展視角下進行了統一。本部分還展望了通過物理過程構建生成模型的方法論。

第七章 我們介紹了一種新型生成模型——泊松流生成模型（PFGM），基于靜電理論。我們將數據點解釋為增廣空間中 z=0 超平面上的電荷，生成一個高維電場（泊松方程解的梯度）。我們證明了，如果這些電荷沿電場線向上流動，它們在 z=0 平面的初始分布會轉化為半徑為 r 的半球上的分布，并且在 r → ∞ 時變得均勻。我們展示了PFGM在圖像生成速度上提供了比先前最先進擴散模型更好的性能。本章基于文獻 [30]。

第八章 我們擴展了PFGM中使用的靜電理論，將擴散模型與PFGM統一起來。更有趣的是，在兩者之間的插值揭示了一個性能最優的新平衡點，達到了圖像生成的新標桿性能。我們為為什么PFGM和擴散模型都是次優解提供了理論解釋。本章基于文獻 [31]。

第九章 我們提出了一個統一的框架和算法，將物理過程轉化為平滑的密度流生成模型。此外，我們基于底層物理偏微分方程（PDE）的色散關系，提出了一種分類標準。這種理論方法可應用于各種物理PDE，從而發現新的生成模型家族。本章基于文獻 [13]。

第十章 我們總結了論文內容并討論了當前的局限性。

AlphaGo和ChatGPT可能是過去十年中人工智能領域最重要的兩項突破。這些技術得益于在序列決策（例如，規劃、搜索和強化學習）以及基礎模型（例如，基于互聯網數據訓練的語言和視頻生成模型）方面的研究。本論文提出了在現實世界決策任務背景下，利用具有廣泛知識的基礎模型的新技術、算法和框架，這些研究將影響對話代理的構建、機器人控制和科學發現等應用。本論文從離線環境中的傳統決策制定開始，逐步通過表示學習和生成建模引入更廣泛的互聯網規模數據。論文強調了理論基礎與實際應用的結合。本論文的主要貢獻包括離線強化學習的算法進步、面向決策制定的表示學習改進、作為強化學習替代的全新生成建模技術，以及基于互聯網規模的生成代理和生成模擬器，所有這些都旨在增強基礎模型的決策能力，并使之相輔相成。通過廣泛的實證和理論分析，本論文表明，基礎模型在得到適當利用時，可以顯著提高決策任務的效果。這些發現為將機器學習模型與現實世界應用整合提供了新的方向，為更智能、適應性更強、效率更高的系統鋪平了道路。 在過去的十年中，人工智能（AI）領域的兩項重要突破包括2016年人工智能圍棋玩家AlphaGo擊敗人類選手李世乭 [21]，以及2022年部署的人工智能聊天機器人ChatGPT [22]。這些技術進步得益于在序列決策和基礎模型方面的研究。在序列決策中，目標是讓計算機（代理）自動決定一系列動作（例如，在哪里放置圍棋子），并且讓計算機基于來自環境的反饋（例如圍棋比賽的結果）自動改進這些決策。機器學習在序列決策中的方法涉及訓練決策策略，即基于當前觀測（例如圍棋棋盤）選擇動作的策略，通過試驗和錯誤的方式進行訓練。這種方法在環境支持無限訪問的游戲場景中表現良好，但在現實世界中超越游戲場景的規模時卻難以實現，因為在現實環境中無限訪問是不切實際的。即使在游戲場景中，先前在序列決策中的工作大多集中在任務特定或“白板”設置中，缺乏先驗知識 [23]。因此，先前的序列決策工作在泛化和樣本效率方面通常表現不佳，例如解決單個Atari游戲需要7個GPU天的交互游戲時間 [24]。 最近，基礎模型（定義為使用自監督學習在大規模數據上訓練的大型機器學習模型 [25]）在互聯網上的大量數據上進行了訓練。例如，自回歸語言模型 [26, 27]通過從互聯網抓取的文本數據來預測給定前述單詞（標記）后的下一個單詞（標記）。類似地，視頻生成模型 [28, 29]通過從互聯網抓取的視頻數據，在給定語言輸入和/或前述幀的情況下，預測下一幀。因此，這些模型能夠生成高度逼真的自然語言和視頻。然而，模仿互聯網內容并不是這些模型的最終目標。這些模型的最終目標是解決現實世界中的任務，如回答人們的問題和模擬現實世界的交互。為了實現這一目標，這些模型生成的內容必須由人類控制。如何引導這些模型根據用戶反饋生成理想的內容，以及如何使這些模型做出一系列決策以完成某些復雜任務（例如構建網站），是序列決策的核心問題。將基礎模型研究和序列決策研究結合起來具有巨大的優勢。一方面，基礎模型中的廣泛知識可以提高決策算法的樣本效率和泛化能力。另一方面，決策算法可以對原本與任務無關的基礎模型進行任務特定的優化。本論文研究了基礎模型在決策制定中的技術、框架和算法，并展示了如何將基礎模型中的廣泛知識有效轉化為任務特定的決策，以更好地解決廣泛的問題和應用。 本論文通過從傳統的決策制定技術開始，研究在離線數據集設置下的基礎模型在決策制定中的應用，隨后逐步引入更廣泛的數據，最終整合互聯網規模的視覺和語言數據。我們將對利用基礎模型解決序列決策問題的理論方面和實際應用方面給予高度關注。本論文的工作基于先前關于序列決策的研究思想，但新提出的方法展示了更高的全面性和可擴展性。 本章的其余部分組織如下。第1.1節介紹了基礎模型，這是一種在互聯網規模數據上訓練的機器學習模型。本節討論了訓練基礎模型的常見技術，包括表示學習和生成建模。隨后描述了基礎模型的局限性，包括指令遵循、長時間推理、多步驟規劃和多模態處理。然后概述了本論文如何通過結合決策制定技術來應對其中的一些挑戰。第1.2節描述了序列決策的典型設置和常見的決策制定算法，包括模仿學習、強化學習、搜索和規劃。接下來，本節重點介紹了序列決策的主要瓶頸，包括樣本效率和缺乏良好的視覺和文本表示。最后，簡要介紹了本論文如何通過結合基礎模型來應對這些挑戰。第1.3節闡述了本論文的貢獻，并總結了其結構。

在過去的十年里，經典機器學習與現代機器學習之間的差距不斷擴大。現代學習的預測性能不可比擬地更好，但更容易對經典學習進行分析，并保證其安全性、效率、公平性等特性。在本論文中，我探討了通過審慎和戰略性地結合經典技術，是否有可能將這些期望的特性恢復到現代機器學習中。我將經典與現代學習的結合歸納為兩種高級策略：（1）封裝，即通過經典分析技術從現代的、不透明的模型中提取可靠的性能保證，或（2）替換，即從經典的基礎構建現代模型的某些組件，以提高整體的效率、可處理性和/或表達能力。這些努力在機器學習的多個領域帶來了新的進展。本論文的最重要貢獻涉及元分析，這是一種結構化的問答形式，作為循證醫學的基礎。經典元分析技術基于隨機對照試驗，其因果效度受到信任；相比之下，現代回歸模型是在大型觀察性數據庫上訓練的，其因果效度不被信任。我展示了如何在不犧牲效度的情況下將不可信的數據納入元分析中。這涉及對完全共形預測的基本改進，這些改進具有普遍的意義。在一個更聚焦的醫療保健應用中，我推廣了經典的、手工設計的心率變異性統計，使其能夠通過監督學習進行微調，成為深度神經網絡的一部分，從而生成更準確的、生理學知情的模型。我還提出了一些可以在未來機器學習模型和算法中使用的基礎計算原語。第一個是一種算法，可以在O(log T)的并行時間內（近似）運行T步非線性RNN。該算法的關鍵創新在于通過一種證明一致的局部、可并行修正方案，用深度上的非線性替代時間上的非線性。通過這種方式，經典線性動態系統（也稱為狀態空間模型）可以堆疊起來形成快速的非線性序列模型。另一個新的計算原語是在所有正交多項式序列集合上進行基于梯度的優化。這種優化形式與信號處理和優化中的許多不同問題都有聯系。最后，我提出了基于學習理論和優化中廣泛使用的幾何邊界概念的公平性標準，以規避計算的不可處理性。

分布變遷仍然是成功和可靠部署機器學習（ML）系統的重大障礙。解決這些脆弱性的長期方案只能通過理解基準測試根本無法捕捉所有可能發生的變化而實現；同樣重要的是，通過仔細實驗AI系統，理解它們在實際分布變遷下的失敗。本論文描述了我在構建可信賴和可靠的機器學習基礎方面的工作。調查的工作大致分為三個主要類別：（i）設計正式的、實用的真實世界分布變遷結構表征；（ii）利用這種結構開發證明正確且高效的學習算法，能夠穩健處理這種變遷；以及（iii）實驗現代ML系統，理解現實世界重尾和分布變遷的實際影響，包括平均情況和最壞情況。

第一部分描述了可擴展地認證深度神經網絡對對抗攻擊的穩健性的工作。所提出的方法可用于認證對測試樣本、訓練數據或更一般地對任何影響模型最終預測的輸入的攻擊的穩健性。在第二部分中，我們關注變遷的潛變量模型，借鑒因果關系和其他結構化編碼的概念。我們展示了這些模型如何通過環境/干預復雜性這一新視角，進行使用多種分布進行穩健深度學習的方法的正式分析。環境/干預復雜性是領域泛化和因果表示學習的核心統計測量，通過訓練分布數量和多樣性來量化誤差和/或結構化可識別性條件。最后，在第三部分中，我們廣泛探索了更好地理解和利用自然數據中的變化的方法，并展示了所得見解如何促進設計在現實世界中更加穩健和可靠的新方法。

預測算法通過其在未見測試數據上的表現來評估和重視。在經典的機器學習（ML）中，通常假設這些數據是相互獨立地從與訓練算法所用數據集相同的分布中抽取的（這被稱為IID假設）。然而，在現實世界中，這種情況幾乎從未滿足。IID假設作為一種有價值的抽象，用于研究如何高效且可靠地從數據中學習。然而，統計學家早已明白這一假設是一種過度簡化，現實世界的數據底層分布不斷發生變遷：例如，時間上的變遷、異質子群體間的變遷、因過去行為而引發的變遷等。由于現實與理想化的IID數據假設之間的這種差異，在分布內提供強泛化保證的算法（如經驗風險最小化[Vapnik, 1999]）在現實世界中會出乎意料地失敗，通常伴隨著高置信度且無事先警告。特別是，盡管現代深度神經網絡在許多任務上實現了超人表現，但越來越多的證據表明，其令人難以置信的泛化能力主要限于測試數據與訓練數據非常相似的情況下。這些模型似乎依賴于數據的統計信息表示——出于尚未完全理解的原因——遠遠超越了對訓練數據的簡單記憶，但這些表示通常不能使其泛化到新領域或新任務。即使是對于看似微不足道的人類變化，這種情況也依然存在（Beery et al., 2018; Geirhos et al., 2018）。因此，現代最先進的生成和判別深度網絡在部署中是脆弱的，并且在出人意料的輕微分布變遷下容易出錯（Su et al., 2019; Recht et al., 2019）。

在考慮如何解決這一弱點時，人們可能會想象使得上述深度學習取得實際成功的方法最終也能解決這個問題。過去十年ML研究驚人速度的主要推動力是“基準測試方法”：通過對代表性基準數據集的一系列任務進行一致的、逐步的改進來推進。盡管這一策略的成功是不可否認的，但顯然它不足以實現真正穩健和可靠的ML未來。人工智能（AI）正在迅速部署到無數新的領域——并且只會變得更加普遍——但它尚不能被廣泛依賴，而意外失敗的潛在成本仍在增加。同時，在現實世界中引發這種失敗的變遷例子比比皆是：例如，自動駕駛汽車遇到的簡單景觀和/或天氣變化，或者用戶調整其行為以增加他們首選結果的可能性（Hardt et al., 2016）。更糟糕的是，AI越來越多地被用于安全關鍵環境，這在面對有意的對手時呈現出嚴重的安全漏洞（Sharif et al., 2016）。這種脆弱性仍然是進一步可信賴部署ML系統的重大障礙。

解決這些脆弱性的長期方案只能通過理解基準測試根本無法捕捉所有可能發生的變化而實現。但是，顯然對所有分布變遷的穩健性是不可行的。相反，我們必須首先設計精確、現實的真實世界分布變遷的數學定義：通過正式指定我們希望穩健應對的變遷的“威脅模型”，我們將能夠朝著正式的穩健性保證可靠地前進。同時，ML理論和實踐（特別是在深度學習中）之間經常存在不匹配，因此單單數學定義變遷是不夠的。我們還需要仔細實驗AI系統，以理解它們在實際中的失敗模式——只有通過這樣的實驗，我們才能理解和調和現實世界數據與我們的數學理解之間的差異。反過來，這將推動新型、更可靠且可解釋的ML方法的發展，對性能產生實際的下游益處。

本論文描述了通過結合這兩種核心方法，為可信賴和可靠的機器學習奠定基礎的進展。更具體地說，所調查的工作大致分為三大類：（i）設計正式的、實用的真實世界分布變遷結構表征，包括良性和對抗性的；（ii）利用這種結構開發證明正確且高效的學習算法，能夠穩健處理這些變遷；以及（iii）實驗現代ML系統，以理解分布變遷的實際影響，包括平均情況和最壞情況，以便未來的分析能夠更好地捕捉我們期望AI在未來遇到的困難類型。

論文概述

**第一部分

本論文的第一部分描述了大規模認證深度神經網絡對抗攻擊穩健性的工作。第2章展示了如何將任何在高斯噪聲下分類良好的分類器轉變為對?2范數下的對抗擾動具有認證穩健性的新分類器。我們證明了使用高斯噪聲平滑在?2范數下的緊密穩健性保證，獲得了一個在ImageNet上在?2范數小于0.5 (=127/255) 的對抗擾動下具有49%認證top-1準確率的分類器。在第3章中，我們展示了如何使用所提出的方法來認證對更一般的攻擊的穩健性，例如對訓練數據的對抗性修改，或更一般地說，任何影響模型最終預測的輸入。

**第二部分

第二部分側重于變遷的潛變量模型，靈感來自因果關系和其他提出的真實世界變化的結構化編碼。我們展示了這些模型的重要性及其如何使使用多種分布進行穩健深度學習的方法的形式化分析成為可能。特別是，我們通過環境/干預復雜性這一新視角研究這些算法的行為——這是領域泛化和因果表示學習的核心統計測量，通過觀察的環境數量來量化誤差和/或潛在特征的可識別性。第4章在一個相當自然和一般的模型下，首次分析了為這些任務提出的各種目標下的分類。我們還在非線性領域中展示了這些方法的首個結果：除非測試數據與訓練分布足夠相似，否則這些方法可能會災難性地失敗。隨后在第5章中，我們提供了改進的分析以及更強的下界。第6章考慮了在線領域泛化的設置，首次正式量化了領域“插值”和“外推”之間的計算復雜性差距。

**第三部分

論文的最后一部分廣泛探索了更好地理解和利用自然數據中的變化的方法。首先，在第7章中，我們展示了預訓練特征足以生成比以前認為的更穩健的預測器。第8章描述了這一發現如何使得使用未標記的測試數據以證明神經網絡適時適應變遷，或給出（幾乎）有證明的非空的測試誤差界成為可能。接下來，第9章開發了一種穩健優化方法用于策略分類，使得雙重穩健預測能夠優雅地處理策略響應和用戶成本函數中的不可避免的不確定性。最后，第10章展示了離群值對神經網絡優化的顯著影響——這一結果為理解自然數據的重尾如何影響網絡行為提供了新的見解，并提出了神經網絡優化中各種現象起源的更一致的圖景。

本論文的核心目標是通過提高深度學習模型的標簽和訓練效率來增強深度學習的實用性。為此，我們研究了基于信息論原理的數據子集選擇技術，特別是主動學習和主動采樣。主動學習提高了標簽效率，而主動采樣提高了訓練效率。監督式深度學習模型通常需要大量的帶標簽數據進行訓練。標簽獲取可能既昂貴又耗時，且訓練大型模型資源密集型，這限制了其在學術研究和“大科技”公司之外的應用。深度學習中現有的數據子集選擇方法通常依賴于啟發式方法或缺乏一個原理化的信息論基礎。相比之下，本論文檢查了數據子集選擇的幾種目標及其在深度學習中的應用，力求采用一種由信息論啟發的更原理化的方法。

我們首先在單次前向傳播的深度神經網絡中區分了認知不確定性和隨機不確定性，這提供了有用的直覺和洞見，關于不同形式的不確定性及其對數據子集選擇的相關性。然后，我們提出并研究了在（貝葉斯）深度學習中進行主動學習和數據子集選擇的各種方法。最后，我們將各種現有和提出的方法與在權重或預測空間中信息量的近似聯系起來。

支撐這項工作的是一個原理化且實用的信息論量符號，包括隨機變量和觀察到的結果。這篇論文展示了從統一視角出發工作的好處，并強調了我們的貢獻對深度學習實際應用潛在影響的可能性。

本博士論文包含了對統計因果模型領域的幾個貢獻。統計因果模型是嵌入因果假設的統計模型，允許對受外部操縱(干預)影響的隨機系統的行為進行推斷和推理。本文在因果效應估計、因果結構學習和分布魯棒(非分布廣義)預測方法等方面進行了深入的研究。我們提出了新的和一致的線性和非線性因果效應估計工具變量設置，采用數據依賴的均方預測誤差正則化。我們提出的估計量顯示，在某些情況下，均方誤差比標準和最先進的估計量都有所改善。我們表明，最近對分布穩健預測方法的研究與計量經濟學中經過充分研究的估計量有關。由此證明了一般k類估計具有分布魯棒性。此外，我們提出了一個關于干預誘發分布的分布穩健性的一般框架。在這個框架中，我們推導了分布魯棒預測方法可識別的充分條件，并給出了一些不可能的結果，證明了這些條件的必要性。提出了一種新的結構學習方法，適用于以有向樹為因果圖的加性噪聲模型。我們證明了消失可辨識性設置中的一致性，并提供了一種方法來檢驗具有漸近家族誤差控制的子結構假設，該方法在選擇后仍然有效。最后，我們提出了學習非線性時間序列模型總結圖的啟發式思想。