亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本論文探討了如何通過幫助機器學習系統克服綁定問題，使其具備更接近人類的智能。具體來說，我們希望神經網絡能夠靈活、動態地表示并關聯不同的實體。論文分為兩部分。第一部分，我們研究了基于圖的表示中的歸納偏置；第二部分，我們開發并研究了一種新的表示格式，以解決綁定問題。我們的主要貢獻如下：

• 我們提出了攤銷因果發現（Amortized Causal Discovery, ACD） [105, 第三章]，這是一個全新的因果發現框架，可以在具有不同底層因果圖但共享動態的樣本之間推斷因果關系。我們證明了該方法在完全觀察環境下以及在存在噪聲和隱藏混雜因素的情況下都能提升性能，并使模型能夠推廣到之前未見的測試樣本。
• 我們提出了復雜自編碼器（Complex AutoEncoder, CAE） [107, 第四章]，這是一種對象發現模型，采用了一種新的對象表示格式。通過在卷積自編碼器中引入復數激活，CAE可以通過激活值的幅度來表示對象屬性，并通過相位值來表示對象關聯。這種無監督方法在簡單的多對象數據集上展示了強大的對象發現能力，并且訓練速度顯著提升。
• 我們提出了旋轉特征（Rotating Features） [106, 第五章]，它是復雜自編碼器的擴展，將這一方法從簡單的玩具數據擴展到真實數據。為實現這一點，我們提出了三項改進：我們將CAE的復數激活推廣到更高維度，介紹了一種新的評估流程，并將預訓練特征引入我們的方法中。
• 我們提出了一種新穎的余弦綁定機制用于旋轉特征 [108, 第六章]。該機制使我們能夠更好地理解旋轉特征在學習通過對象的方向值來分離對象時所需的動態機制。

物理啟發的生成模型（如擴散模型）構成了一類強大的生成模型家族。該模型家族的優勢在于相對穩定的訓練過程和強大的容量。然而，仍有許多可能的改進空間。在本論文中，我們首先將深入探討擴散模型在訓練和采樣方面的改進技術。擴散模型的訓練目標在數據分布為多模態時呈現出較高的方差。為了解決這一問題，我們提出了一種訓練目標，它推廣了傳統的去噪得分匹配方法，顯著減少了訓練目標的方差。除此之外，我們還引入了一種將可學習的離散潛變量整合到連續擴散模型中的訓練框架。這些潛變量簡化了擴散模型復雜的噪聲到數據映射的學習過程。

另一方面，擴散模型的采樣過程通常涉及求解微分方程。為加速采樣過程，我們提出了一種新穎的采樣算法，結合了之前常見的ODE和SDE采樣器的優點，大幅提升了預訓練擴散模型的性能。此外，我們的研究探索了在有限樣本中引入互斥力以促進生成過程中的多樣性。 在物理啟發的生成模型領域，許多物理過程都可以用于開發生成模型。我們將介紹一類基于靜電理論的新生成模型家族，稱為泊松流生成模型（PFGM）。PFGM在采樣穩健性上表現出色，并與領先的擴散模型相媲美。其擴展版本PFGM++將擴散模型和PFGM置于同一框架下，并引入了新的、更優的模型。我們還將提出一種系統化的方法，將物理過程轉化為生成模型。

生成模型在近年來顯著改變了人們工作的、創作的和學習的方式。其突出應用包括ChatGPT [1]、文本到圖像模型 [2]-[4]、文本到3D模型 [5]、[6] 和文本到視頻模型 [7]、[8]。這些能力可以極大地激發創造力，并提高眾多領域的工作效率，包括教育、游戲產業、社交媒體和專業編輯軟件。生成模型的訓練基于這樣一個假設，即訓練數據是從未知的數據分布中采樣的 [9]。現代生成模型通常使用深度神經網絡來基于有限的訓練數據逼近復雜的數據分布，并通過從這些建模的分布中采樣來生成新的數據點。

在生成建模中使用的各種數據類型中，高維數據由于維度詛咒而面臨著顯著的挑戰。隨著維度的增加，數據空間的體積呈指數級擴展。這一現象使得在高維空間中用有限的訓練數據有效捕獲和建模數據分布變得困難。此外，感興趣的數據分布通常高度復雜且呈多模態，進一步增加了生成建模的難度。近年來，擴散模型 [10]–[12] 以及更廣泛的物理啟發生成模型 [13]，在處理高維數據的生成任務中，展現了強大的框架并取得了令人印象深刻的結果。在擴散模型之前，主要的方法包括：（i）利用對抗訓練目標的生成對抗網絡（GANs [14]）；（ii）使用最大似然目標訓練的模型，如PixelCNN [15] 和正規化流模型 [16]、[17]；（iii）變分自編碼器（VAEs）[18]、[19] 以及（iv）基于能量的模型 [20]、[21]。然而，每種方法都有其自身的缺點：（i）可能導致訓練不穩定和生成樣本的多樣性低；（ii）需要特定的架構設計，可能限制模型的容量；（iii）需要多個神經網絡的仔細協調；（iv）訓練和采樣速度較慢。利用自然的物理過程作為編碼器將數據轉化為噪聲，擴散模型通過逆轉這些物理過程來執行生成任務。這種方法使它們繞過了早期生成模型的許多限制。

1.1 通過逆轉物理過程進行生成建模

基于熱力學的原理 [10]，擴散模型涉及兩個對立的過程：一個前向過程將數據分布逐漸轉化為一個更簡單的先驗分布，另一個反向過程通過逐步去噪從該噪聲先驗分布中生成樣本。擴散模型中的前向過程是一個簡單的布朗運動，通過逐步增加高斯噪聲來降解數據。為了逆轉這一過程，只需學習一個時間依賴的向量場，即得分函數，并迭代求解一個微分方程 [22]。與GANs和VAEs不同，擴散模型的訓練不需要多個神經網絡之間的同步，從而使訓練過程更加穩定。此外，它們在架構設計上不受限，采用類似于神經網絡串聯的迭代過程，從而增強了整體容量。這種穩定性和增強的容量使擴散模型能夠有效擴展到大規模數據集。

盡管擴散模型具有諸多優勢，但它們仍面臨一些挑戰，包括在處理多模態數據時高方差的訓練過程，以及緩慢的迭代采樣過程。此外，獨立同分布（i.i.d.）的采樣過程往往會導致重復的樣本。這些問題強調了在復雜數據集上穩定和改進擴散模型訓練方法的必要性，并且需要新技術來加速采樣過程并提高小批量樣本的多樣性。此外，擴散模型只是眾多物理啟發生成模型之一。除布朗運動外，仍有許多物理過程尚未開發，可以用來構建生成模型。這引出了一個重要問題：我們能否發現其他物理啟發的生成模型，它們展示出更好的性能？在接下來的部分中，我們將簡要總結擴散模型的改進訓練和采樣技術，并討論我們開發其他物理啟發生成模型的研究，這些將在后續章節中詳細闡述。

1.1.1 擴散模型的改進訓練技術

擴散模型的訓練利用了一種擾動-去噪方法來估計向量場。其過程是先通過高斯噪聲擾動干凈的數據，然后網絡從這些擾動樣本中重構原始數據 [12]。然而，對于復雜的多模態數據，許多干凈的數據點可能被擾動為相似的噪聲樣本，導致訓練目標不明確并引發不穩定性。

在文獻 [23] 中，我們通過多個干凈數據點的加權求和來估計真實目標，精確地指示從擾動樣本到真實向量場的方向。該新穎的訓練目標推廣了傳統的單點估計方法，顯著減少了訓練目標中的方差。因此，在各種擴散模型變體中，樣本質量得到了提高，訓練過程更加穩定，訓練速度也得到了加快。

擴散模型面臨的另一個挑戰是，需要學習一個從單峰高斯分布到多峰數據分布的非線性且高度復雜的映射。這種復雜性增加了訓練的難度，并導致生成常微分方程（ODE）[24] 軌跡呈現強烈的曲率。為解決這一問題，我們在擴散模型中引入了離散潛變量。這些離散潛變量有助于捕獲數據分布中的不同模式，而擴散模型的任務則轉變為基于給定的離散潛變量捕獲每個模式內的連續變化。離散與連續變化的分離建模顯著簡化了模型復雜的噪聲到數據映射的學習過程。這一方法有效降低了擴散模型生成ODE的曲率，尤其是在較大的擴散時間下，整體訓練損失得到了減少。

1.1.2 擴散模型的改進采樣技術

在擴散模型的采樣過程中，求解微分方程通常涉及速度和質量之間的權衡。確定性采樣器（基于ODE的）[25]–[27] 速度快，但性能達到平臺期，而隨機采樣器（基于SDE的）[27]、[28] 樣本質量更好，但速度較慢。我們的分析將這種差異歸因于采樣誤差：ODE采樣器的離散化誤差較小，而SDE中的隨機性會收縮采樣過程中的累積誤差 [29]。

基于這些見解，在文獻 [29] 中，我們提出了一種名為Restart的新采樣算法，該算法結合了ODE和SDE的優點。該方法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。前向噪聲的引入增強了隨機性的收縮效應，而逆ODE過程的遵循則加快了采樣速度。這種將隨機性和確定性采樣過程分離的方法極為有效，Restart在標準基準（CIFAR-10和ImageNet-64）上超過了SDE和ODE采樣器的速度和質量，并在大規模文本到圖像的Stable Diffusion模型中展示了文本-圖像對齊、視覺質量和多樣性的卓越平衡。

傳統上，擴散模型從模型分布中生成獨立同分布的樣本。然而，在實際操作中，模型通常需要多次采樣以獲得一組多樣化的小批量樣本，這會帶來與采樣時間無關的成本。我們提出超越獨立樣本假設，以提高樣本的多樣性和效率。我們的方法引入了一種擴展的基于擴散的生成采樣方法，稱為粒子引導。在這種方法中，聯合粒子的時間演化勢通過在樣本（粒子）之間加入互斥力來強制多樣性。根據實驗結果，我們的框架在文本到圖像生成和分子構象生成等應用中提高了樣本的多樣性并減輕了記憶效應。

1.1.3 基于其他物理過程的生成模型

以擴散模型為顯著例子，物理啟發的生成模型包含一個前向過程，該過程將復雜的數據分布簡化為逐步的先驗分布，隨后通過一個反向過程（即采樣過程）逐步將這些先驗分布還原為原始數據分布。因此，為了定義新的物理啟發生成模型，必須確定一個合適的前向過程。該過程應自然地隨著時間簡化數據分布，并且是可逆的，同時其相關的向量場應該易于被神經網絡學習。 借助靜電學原理，我們為物理啟發的生成模型開辟了一條新路徑，并介紹了泊松流生成模型（Poisson Flow Generative Models, PFGM）[30] 及其擴展版本PFGM++ [31]。PFGM將數據解釋為增廣空間中的電荷。如圖1.1所示，當我們從數據支撐遠離足夠遠時，電荷分布坍縮為一個點電荷，電場在各個方向上呈現輻射狀。因此，可以證明這些電荷發出的電場線定義了數據分布和大半球上均勻分布之間的雙射。實驗結果表明，這一新模型家族在樣本質量、采樣速度和穩健性方面超越了擴散模型。此外，我們還探索了物理過程和生成模型之間的對偶性，旨在概念化和設計更多新的物理啟發生成模型 [13]。

1.2 論文摘要

本論文分為三個主題部分。下面簡要概述每個部分的內容。 第一部分 重點開發新技術，旨在穩定擴散模型的訓練，并在處理復雜的多模態數據集時，優化生成軌跡。

第三章 我們通過引入參考批次來解決擴散模型目標中的高方差問題，并使用參考批次計算加權條件得分，作為更穩定的訓練目標。我們展示了這一過程在具有挑戰性的中間階段中，通過減少訓練目標協方差（的跡）確實起到了幫助作用。本章基于文獻 [23]。

第四章 我們通過一個編碼器推斷可學習的離散潛變量，并對擴散模型和編碼器進行端到端訓練。離散潛變量通過降低擴散模型生成ODE的曲率，顯著簡化了其復雜的噪聲到數據映射的學習過程，并通過ODE采樣器提高了在各種數據集上的樣本質量。本章基于文獻 [32]。

第二部分 討論了加速擴散模型采樣過程的技術，以及通過施加樣本之間的互斥力來促進多樣性。所有討論的技術都不需要重新訓練，且可以直接應用于任何預訓練的擴散模型。

第五章 我們提出了一種名為Restart的新采樣算法，結合了先前ODE和SDE采樣器的優勢。Restart算法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。實驗結果表明，Restart采樣器在速度和精度上均超過了先前的SDE和ODE采樣器。本章基于文獻 [29]。

第六章 我們提出了粒子引導，一種擴展的基于擴散的生成采樣方法，其中通過一個聯合粒子的時間演化勢來強制樣本多樣性。在條件圖像生成中，我們測試了該框架，并證明其在不影響質量的情況下增加了多樣性；在分子構象生成中，我們改進了相較于先前方法的中位誤差。本章基于文獻 [33]。

第三部分 探討了一類新型的生成模型，這些模型基于靜電理論，并與擴散模型在擴展視角下進行了統一。本部分還展望了通過物理過程構建生成模型的方法論。

第七章 我們介紹了一種新型生成模型——泊松流生成模型（PFGM），基于靜電理論。我們將數據點解釋為增廣空間中 z=0 超平面上的電荷，生成一個高維電場（泊松方程解的梯度）。我們證明了，如果這些電荷沿電場線向上流動，它們在 z=0 平面的初始分布會轉化為半徑為 r 的半球上的分布，并且在 r → ∞ 時變得均勻。我們展示了PFGM在圖像生成速度上提供了比先前最先進擴散模型更好的性能。本章基于文獻 [30]。

第八章 我們擴展了PFGM中使用的靜電理論，將擴散模型與PFGM統一起來。更有趣的是，在兩者之間的插值揭示了一個性能最優的新平衡點，達到了圖像生成的新標桿性能。我們為為什么PFGM和擴散模型都是次優解提供了理論解釋。本章基于文獻 [31]。

第九章 我們提出了一個統一的框架和算法，將物理過程轉化為平滑的密度流生成模型。此外，我們基于底層物理偏微分方程（PDE）的色散關系，提出了一種分類標準。這種理論方法可應用于各種物理PDE，從而發現新的生成模型家族。本章基于文獻 [13]。

第十章 我們總結了論文內容并討論了當前的局限性。

現代機器學習模型的脆弱性引起了學術界和公眾的廣泛關注。在本論文中，我們將系統研究幾種機器學習模型的理解與改進，包括平滑模型和通用表征網絡。我們特別關注表征魯棒性的研究，將其定義為給定網絡在隱含空間中的“魯棒性”（或廣義上的可信屬性）。對于通用表征網絡，這對應于表征空間本身，而對于平滑模型，我們將網絡的logits視為目標空間。表征魯棒性是許多可信賴AI領域的基礎，例如公平性和魯棒性。

在本論文中，我們發現隨機平滑的可證魯棒性是以類別不公平性為代價的。我們進一步分析了改進基礎模型訓練過程的方法及其局限性。對于通用的非平滑表征模型，我們發現自監督對比學習與監督的鄰域成分分析之間存在聯系，這自然地使我們提出了一個可以實現更高準確性和魯棒性的通用框架。此外，我們意識到當前基礎表征模型的評估實踐涉及在各種現實任務上進行大量實驗，這既耗費計算資源又容易導致測試集泄漏。為此，我們提出了一種更輕量級、保護隱私且健全的評估框架，通過利用合成數據來評估視覺和語言模型。

**1.1 研究動機

深度神經網絡對人眼難以察覺的對抗性擾動的脆弱性，自從開創性工作[170, 7]發表以來，已經引起了機器學習領域廣泛的關注。這一問題在多個機器學習領域中都是一個重要的關注點，從計算機視覺[170]到語音識別[17]，無不如此。特別是在安全關鍵的應用中，如自動駕駛汽車和監控系統，幾乎無法容忍任何錯誤決策。因此，深度神經網絡中對抗樣本的存在，促使了對魯棒性量化的研究，以及旨在增強這種魯棒性的訓練算法的設計[42, 47, 95]。在本論文中，我們旨在理解和改進現代機器學習模型的表征魯棒性。

**1.1.1 機器學習模型的表征魯棒性

表征魯棒性指的是神經網絡模型中隱含空間的可靠性。這一概念在機器學習中尤為重要，因為網絡的隱藏層應該從輸入數據中捕捉到復雜的模式。在本論文中，我們將表征魯棒性定義為這些隱藏表示在面對不同輸入或擾動時，能夠維持理想的可信屬性的能力。理想的可信屬性可能包括準確性、公平性、對抗性魯棒性等。對于一個通用的表征網絡 Φ(?)\Phi(\cdot)Φ(?)，隱含空間的自然選擇是表征網絡的輸出空間。這些構建的空間通過表征學習被專門訓練用于編碼關于輸入數據的關鍵信息，使網絡能夠通過一個簡單的任務特定下游網絡執行分類、回歸或生成等各種任務。另一方面，在平滑模型的背景下，平滑濾波器應用于整個基礎網絡

。因此，我們將直接將網絡的

視為評估表征魯棒性的目標空間。在這種情況下，我們特別感興趣的是基礎網絡和平滑網絡之間的不同表現。 研究表征魯棒性對于推動機器學習領域的發展至關重要，原因有以下幾點。首先，正如將在論文的后續章節中討論的那樣，對每個組件（如表征網絡、平滑操作符等）的深入理解有助于我們更加謹慎和意識到這些操作可能產生的副作用。這種理解也將為改進這些網絡設計奠定基礎。其次，隨著機器學習社區逐漸將重點轉向任務無關的預訓練和任務特定的微調，魯棒的表征變得越來越重要。在安全關鍵的應用中，由于脆弱表征導致的錯誤預測可能會產生嚴重后果。從這個角度來看，表征魯棒性是許多可信賴AI領域的基礎，因為預訓練的表征網絡將對任何基于它的機器學習系統的整體可信賴性產生貢獻。通過研究和增強表征魯棒性，可以構建更具彈性的AI系統，并防止錯誤的傳播。

生成建模已經成為人工智能的一個熱門應用。然而，當生成模型被錯誤指定，或當生成模型估計器被修改以遵守差分隱私等隱私概念時，模型性能可能會受到負面影響。在本論文中，我們通過展示四項不同的研究，探討了模型錯誤指定和差分隱私下的生成建模。

我們首先介紹了生成建模的相關工作。隨后，我們深入探討了在模型錯誤指定和差分隱私挑戰下研究生成建模的必要性。

作為初步貢獻，我們考慮了用于密度估計的生成建模。處理模型錯誤指定的一種方法是放寬模型假設。我們展示了這一方法在非參數模型中也具有幫助作用。具體而言，我們研究了一種最近提出的非參數準貝葉斯密度估計器，并發現其強模型假設是有限數據集下表現不佳的原因。我們提出了一種自回歸擴展，放寬模型假設，以允許先驗特征依賴關系。

接下來，我們考慮了用于缺失值填補的生成建模。在將當前深度生成填補方法分類為Rubin [1976]引入的不可忽略缺失模型類之后，我們擴展了變分自編碼器的公式，使其根據深度生成建模文獻中尚未研究過的不可忽略缺失模型類進行分解。這些模型顯式地對缺失機制進行建模，以防止在缺失值非隨機情況下的模型錯誤指定。

然后，本論文集中于提高差分隱私下的合成數據生成。為此，我們提出了對差分隱私合成數據樣本進行差分隱私重要性采樣的方法。我們觀察到，生成模型越好，重要性采樣的幫助越大。接著，我們通過考慮差分隱私擴散模型，進一步提高數據生成質量。我們識別了顯著提高DP圖像生成器性能的訓練策略。 我們在論文的最后進行了討論，包括對所展示工作的貢獻和局限性，并提出了未來工作的潛在方向。

隨著機器學習算法在高風險應用中不斷開發和部署，確保其可靠性已變得至關重要。本論文介紹了在機器學習中提高可靠性的算法進展，重點強調兩個關鍵維度：魯棒性和可解釋性。 本論文的第一部分側重于魯棒性，即保證算法在各種數據不確定性下仍能提供穩定和可預測的性能。我們研究了在不同數據不確定性來源下的學習魯棒性，包括基本的統計誤差以及數據噪聲和損壞。我們的研究揭示了這些不同來源如何相互作用并對數據驅動決策產生影響。我們引入了針對特定不確定性來源量身定制的新穎的分布魯棒優化方法。我們的研究結果表明，對一種來源的保護可能會增加對另一種來源的脆弱性。為了解決這個問題，我們開發了分布模糊集，能夠同時提供對所有來源的整體魯棒性。在每種情況下，我們證明了我們的新方法實現了“高效”的魯棒性，在平均性能與樣本外保證之間實現了最佳平衡。我們的新算法被應用于各種場景，包括訓練魯棒神經網絡，在這些場景中顯著優于現有基準。 本論文的第二部分探討了可解釋性，這是高風險環境下決策支持工具的一個關鍵屬性，要求算法能夠為其決策提供可理解的解釋。我們的工作在這一部分的動機來自于數據驅動的個性化患者治療——一種越來越受歡迎的機器學習應用。在這個強化學習問題中，可解釋性至關重要：醫生不能依賴于一個黑箱算法來開具治療方案。我們在理論上引入了學習連續狀態空間動態系統最簡潔離散表示的問題。在患者治療的背景下，這相當于基于患者治療過程中不斷變化的特征來確定治療組。令人驚訝的是，我們在理論上證明，僅從觀察到的歷史樣本路徑數據中就有可能學習到動態系統的最簡潔表示。隨后，我們開發了一種算法，MRL，能夠學習這種簡潔的表示，從而增強可解釋性和可操作性。

在這篇論文中，我們研究了多模態學習問題和算法。為此，我們將研究集中在三種模態上：(i) 音頻，(ii) 圖像，(iii) 文本。我們在兩個方向上提供了新穎的方法和見解：多模態序列建模和多模態表示學習。在論文的第一部分中，我們介紹了兩種用于多模態序列建模的新方法：一種用于上下文自動語音識別，另一種用于場景文本識別。在論文的第二部分中，我們重點關注兩種模態的多模態表示學習：圖像和文本。主要關注的是對比圖像-文本表示學習，我們在理解和改進對比圖像-文本方法方面提供了新的見解。 //hdl.handle.net/11245.1/c978c2cb-08af-4cec-9f35-cf175b219f73

在人工智能（AI）研究的早期階段，領域內的各個子任務主要是孤立研究的。例如，針對依賴不同數據模態的不同任務開發了不同的方法和理論，如自動語音識別（例如，Graves et al., 2006; Graves, 2012; Hannun et al., 2014），計算機視覺（例如，Krizhevsky et al., 2012; Simonyan and Zisserman, 2015; He et al., 2016），信息檢索（例如，Manning et al., 2008; Guo et al., 2016），知識表示（例如，van Harmelen et al., 2008）和自然語言處理（例如，Mikolov et al., 2013; Sutskever et al., 2014; Bahdanau et al., 2015）。僅依靠單一模態，機器不太可能完全理解一個學習問題。例如，人類認知在處理各種任務和問題上表現良好（Noyes et al., 2004），顯然不能被視為單模態（Barsalou, 2001）。因此，在本論文中，我們偏離傳統的單模態AI方法，轉而關注多模態學習問題和算法。多模態AI定義為包含多種數據模態的AI研究問題，如音頻（語音）、圖像/視頻（視覺）和文本（語言）（Baltrusaitis et al., 2019）。 與單模態AI方法相比，利用多模態有幾個好處。例如：（i）多模態提供了更豐富的訓練信號，因為它從不同的角度描繪了一個數據點，從而增加了互補信息（Guo et al., 2019b）。（ii）多模態AI方法能夠處理多種模態的數據，從而實現對內容和學習問題的更全面理解（Gautam, 2023）。 本論文的每一章都聚焦于一個多模態學習問題。貫穿整個論文，我們處理三種模態：（i）音頻，（ii）圖像，（iii）文本。這三種模態通過三個多模態任務來研究：（i）自動語音識別，（ii）場景文本識別，（iii）圖像-標題檢索（或更廣泛的圖像-文本表示學習）。前兩個任務的特點是其序列性（即序列建模任務），而后者被定義為多模態表示學習任務。 由于本論文研究的任務特性明顯不同，我們將論文分為兩部分。在第一部分中，我們關注多模態序列建模。序列建模任務的特點是輸入數據的序列性質（如文本或音頻）或模型對序列輸出進行預測或生成的能力。我們介紹了兩種用于多模態序列建模的新方法：一種用于上下文自動語音識別（第2章），一種用于場景文本識別（第3章）。在第二部分中，我們關注圖像和文本兩種模態的多模態表示學習。表示學習旨在學習輸入數據的表示，以便在構建分類器或其他預測器時更容易提取有用信息（Bengio et al., 2013）。圖像-文本表示學習的目標是學習圖像和文本的通用表示，使視覺概念和文本信息能夠相互關聯。主要關注的是對比圖像-文本表示學習，我們在理解和改進對比圖像-文本方法方面提供了新的見解（第4章，第5章和第6章）。

在機器學習領域，我們致力于開發能夠學習的算法，即在沒有被特別編程完成某項任務的情況下，積累關于如何完成任務的知識。在這篇論文中，我們從兩個不同的角度來探討學習：我們可以應用高效機器學習者的領域以及我們可以通過更有效地解決底層優化問題來改進學習的方式。機器學習方法通常非常依賴數據。雖然現代機器學習在解決實際問題方面取得了巨大成功，但這些成功案例主要局限于有大量相關領域數據可用的設置。元學習領域旨在通過創建“學會如何學習”的模型（即能夠在給出相對較少的示例時迅速適應新任務的模型）來開發具有改進的樣本效率的模型。在本論文中，我們關注使用超網絡進行任務適應的攤銷元學習者，這些學習者成本非常有效，只需通過超網絡進行一次前向傳播即可學會如何執行新任務。我們展示了這些攤銷元學習者可以以超出其在小樣本學習設置中的典型用途的新方式來利用。

我們針對攤銷元學習者開發了一種基于集合的中毒攻擊，這種攻擊讓我們能夠定制一組協同作用的輸入，用作適應新任務的訓練數據（即作為支持集）時，這些輸入能夠欺騙系統的學習算法。這樣共同制作的對抗性輸入可以協同操縱分類器，對于具有可微適應機制的攤銷學習者來說，這種輸入尤其容易計算。我們還在可解釋性領域利用攤銷學習者進行“數據集調試”，在此過程中，我們開發了一種稱為Meta-LOO的數據價值或樣本重要性策略，可用于檢測噪聲或分布外數據；或者將一組示例提煉到其最有用的元素。

從我們的第二個角度看，機器學習和優化是密切相關的；實際上，學習可以被表述為以模型參數為目標的訓練損失最小化問題——盡管實際上我們還需要我們的算法具有泛化能力，這不是更廣泛優化的關注點。選擇的優化策略影響了算法學習的速度以及找到的解決方案（即模型參數）的質量。通過研究優化，我們可以改善我們的模型的學習效果和速度。

在這篇論文中，我們采取了雙管齊下的方法來實現這一目標。首先，我們開發了一種在線超梯度基礎的超參數優化策略，通過支持廣泛的超參數同時保持可擴展性，改進了現有的最佳技術。值得注意的是，我們的方法支持優化算法的超參數，如學習率和動量，這是文獻中類似方法不支持的。其次，我們開發了一種適用于深度學習的非凸損失景觀的二階優化策略。我們的算法近似了一個鞍點是排斥而非吸引的鞍點自由版本的Hessian，以一種適用于深度學習問題的方式。

本論文的核心目標是通過提高深度學習模型的標簽和訓練效率來增強深度學習的實用性。為此，我們研究了基于信息論原理的數據子集選擇技術，特別是主動學習和主動采樣。主動學習提高了標簽效率，而主動采樣提高了訓練效率。監督式深度學習模型通常需要大量的帶標簽數據進行訓練。標簽獲取可能既昂貴又耗時，且訓練大型模型資源密集型，這限制了其在學術研究和“大科技”公司之外的應用。深度學習中現有的數據子集選擇方法通常依賴于啟發式方法或缺乏一個原理化的信息論基礎。相比之下，本論文檢查了數據子集選擇的幾種目標及其在深度學習中的應用，力求采用一種由信息論啟發的更原理化的方法。

我們首先在單次前向傳播的深度神經網絡中區分了認知不確定性和隨機不確定性，這提供了有用的直覺和洞見，關于不同形式的不確定性及其對數據子集選擇的相關性。然后，我們提出并研究了在（貝葉斯）深度學習中進行主動學習和數據子集選擇的各種方法。最后，我們將各種現有和提出的方法與在權重或預測空間中信息量的近似聯系起來。

支撐這項工作的是一個原理化且實用的信息論量符號，包括隨機變量和觀察到的結果。這篇論文展示了從統一視角出發工作的好處，并強調了我們的貢獻對深度學習實際應用潛在影響的可能性。

深度學習在經驗上非常有影響力，但在理論理解上滯后。神經網絡在結構和訓練算法上都比傳統的機器學習模型復雜得多，所以傳統的理論直覺可能不適用。本文旨在從理論上更好地理解深度學習中的泛化問題。在論文的第一部分，我們研究了所有數據都有標簽的監督設置下的泛化。我們的主要工具是泛化界:通過推導和研究泛化界，我們可以深入了解深度學習中影響泛化的各種因素。

首先，我們比較了正則化神經網絡和神經正切核(NTK)的統計特性。通過建立神經網絡常見的正則化訓練損失與基于輸出邊際的泛化界之間的聯系，我們證明了正則化神經網絡比NTK解具有更好的泛化效果。其次，我們基于邊緣的新概念——全層邊緣，推導出神經網絡的新泛化邊界。與傳統的基于規范的泛化測度相比，這些邊界更依賴于數據，更具有深度，并突出了數據依賴的Lipschitzness在泛化中的重要作用。我們以經驗證明，這些邊界對于激勵新的訓練目標和理解和解密現有的正則化策略是有用的。

在論文的第二部分，我們把我們的焦點轉向涉及未標記數據的設置。在這些情況下，很難證明為什么許多算法可以工作，盡管它們有廣泛的經驗成功。

首先，我們研究了視覺設置，并提出了一個理論框架來理解最近的半監督學習和領域適應的自訓練算法。通過利用自然圖像的現實結構屬性，我們表明，在未標記數據上的自訓練導致可證明的準確性增益。此外，我們的理論框架和相關假設可以用來表明，自監督對比學習在線性探針評價下獲得了可證明的良好特征。最后，我們研究了為什么預訓練語言模型可以幫助處理NLP設置中的下游任務。我們通過潛在的潛在變量生成模型來考慮預訓練和下游任務相關的設置。我們表明，當這個生成模型是HMM或記憶增強HMM時，預訓練允許解決下游任務的可證明保證。

//searchworks.stanford.edu/view/14230987

本文研究了深度學習理論中一個基本的開放挑戰: 為什么深度網絡在過度參數化、非正則化和擬合訓練數據為零誤差的情況下仍能很好地泛化? 在論文的第一部分，我們將實證研究如何通過隨機梯度下降訓練深度網絡隱式控制網絡容量。隨后，為了說明這如何導致更好的泛化，我們將推導基于數據的一致收斂的泛化邊界，并改進參數計數的依賴性。由于其簡單性和通用性，一致收斂實際上已經成為深度學習文獻中使用最廣泛的工具。鑒于它的流行，在這篇論文中，我們也將后退一步，確定一致收斂的基本極限，作為解釋泛化的工具。特別地，我們將證明在一些過度參數化的設置的例子中，任何一致收斂界將只提供一個空洞的泛化界。考慮到這一點，在論文的最后一部分，我們將改變航向，并引入一種經驗技術來估計使用未標記數據的泛化。我們的技術不依賴于任何基于一致收斂的復雜性概念，而且非常精確。我們將從理論上說明為什么我們的技術如此精確。最后，我們將討論未來的工作如何探索在泛化邊界中納入分布假設的新方法(例如以未標記數據的形式)，并探索其他工具來推導邊界，可能是通過修改統一收斂或開發完全新的工具。