亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖是簡單而強大的數據結構，通過節點和邊描述實體及其相互關系，使其成為模擬各種實際對象（從分子到社會或生物網絡）的流行候選者。由于其適用于各種建模場景，基于圖形狀數據的機器學習在過去幾年中已成為一個重要的研究領域。雖然與機器學習模型結合時非常強大，但圖在提出獨特挑戰方面也具有其特性，這些模型需要能夠適應不僅數據高度多樣化，而且圖域也可能在大小、連通性模式及其與節點特征的交互等方面變化。在這項工作中，我假設高斯過程——一類貝葉斯非參數模型，特別適合于圖域上的數據建模。 為了證明這一假設，我通過推導適用于圖數據的高斯過程模型來展示貝葉斯非參數建模的優點，這些模型適用于圖機器學習中三個最重要的任務：鏈接預測、圖級預測和節點級預測。結果模型展示了許多優勢，包括良好的模型擬合和由于其非參數性質而對過擬合的強大抵抗力，以及校準良好的不確定性估計。此外，高斯過程優化超參數的能力允許設計適應圖特定特征的模型，例如圖信號的平滑性和多尺度結構或特征的局部性。這些提議模型的優勢，特別是與一系列基線模型相比的競爭性能，已在廣泛的實際數據集上的大量實驗中得到證實。

本論文描述了增強生成模型的方法，這些方法增加了可控性或不確定性的表達能力，展示了如何通過強大的先驗知識同時實現這兩個特性。一種通用方法是引入新的架構或訓練目標。然而，當前朝著模型規模、訓練數據和計算資源的大規模擴張的趨勢，可能使得重新訓練或微調變得困難且昂貴。因此，另一種方法是在現有的預訓練模型之上構建。我們考慮了這兩種方法，特別強調后者。我們首先通過基于訓練的方法解決可控圖像合成和不確定性估計的任務，然后轉向不需要直接更新基礎模型參數的計算效率方法。我們最后通過討論基于我們發現的洞見的未來方向來結束。

深度學習結合大規模神經網絡在現代機器學習和人工智能（AI）的廣泛任務中帶來了迅速進展。因此，我們看到了越來越多的努力，旨在將 AI 集成到我們日常生活的各個方面，范圍從創意應用（例如，計算機生成的藝術作品）到輔助系統（例如，自動駕駛車輛）。對于與現實世界環境橋接的興趣有助于塑造研究的方向，考慮到了額外的考慮因素和必要的特性。以前述應用為例，能夠控制生成圖像的內容或風格為更廣泛的受眾解鎖了更多用例，并且理解可靠性和/或使自動駕駛系統能夠表達對不熟悉場景的不確定性對于安全決策至關重要。 雖然有時可以通過新架構或訓練目標的顯式設計來整合這樣的特性，但在許多場景下，這種基于訓練的方法是具有挑戰性或甚至不可行的。首先，投入到訓練單個網絡的計算資源本身就非常昂貴，更不用說不得不重新訓練或微調了。其次，深度學習是數據驅動的，其成功的一個主要因素是使用了大量的訓練數據。在如此多數據被收集的時代，數據怎會成為限制因素？世界不是一個均勻分布，其數據也不是（無論是類型/模態還是每個領域的數量）。在資源和/或數據有限的情況下，是否可能操縱現有模型的學習先驗以引出所需的特征？ 在這篇論文中，我們探索了可控性和不確定性的主題，特別是在生成模型的背景下。我們考慮了兩種類型的方法——要么使用新目標進行訓練，要么有效地適應現有模型而不直接更新它們的參數。主要貢獻如下： I 可控圖像合成

基于Transformer的多模態圖像合成。我們引入了一種基于Transformer的方法，用于生成以輸入草圖和風格圖像為條件的圖像。為了使訓練成為可能，我們首先使用自動化流程，為125個不同類別收集了大約113K個“偽草圖”-圖像對數據集。Transformer預測的代碼本表示由預訓練的向量量化生成對抗網絡解碼，以產生復合圖像。我們是首次探索這種特定組合的條件輸入用于圖像合成。

使用預訓練擴散模型的多模態圖像合成。我們提出了一種方法，用于將預訓練的無條件或文本條件擴散模型適應于多模態合成。保持擴散模型的參數凍結，我們訓練一個外部模塊，該模塊對擴散模型的輸出應用空間調制。我們展示了所提出的模塊可以有效地添加新的條件模態，而參數和訓練示例相對較少。與其他同時期的工作也旨在調節預訓練網絡不同，我們不需要直接訪問基礎模型的參數或梯度。

文本到圖像擴散模型的高效個性化。我們提出了一種基于低秩殘差的方法，用于文本到圖像擴散模型的高效個性化。給定目標概念的幾張圖像，我們為擴散模型的一小部分參數學習一組殘差，并保持擴散模型凍結。在推理時，我們可以利用底層模型的注意力圖來定位圖像中應用殘差的區域，從而將新概念與底層模型的生成先驗結合起來。與現有方法相比，我們大大減少了可學習參數的數量和訓練時間。

II 生成模型中的不確定性

自動微分變分推理與混合物。我們研究了將混合分布作為變分推理中的后驗的使用。我們引入了一個新的訓練目標，該目標結合了分層抽樣和重要性加權，以對抗可能導致混合組件崩潰成單峰分布的有害探索懲罰。我們展示了在部分或損壞的觀測下改善的生成性能。

用于異常檢測的狀態密度估計。我們探索使用各種類別的生成模型進行無監督異常（OOD）檢測的任務。我們首先使用預訓練的生成模型計算訓練數據上的一系列統計量。我們提出創建一個基于值概率的決策規則，而不是基于統計量的直接值來確定一個新輸入是否為OOD。我們的方法可以輕松應用于任何現有模型，并且性能優于現有的無監督基線。

在第8章中，我們總結了這篇論文的貢獻，并討論了可控圖像合成和生成模型中不確定性的潛在未來方向。

現代機器學習主要受到黑盒模型的驅動，這些模型提供了卓越的性能，但對于如何進行預測的透明度有限。對于需要了解模型如何做出決策的應用，以及協助模型調試和數據驅動的知識發現，我們需要可以回答有關影響模型行為的問題的工具。這就是可解釋機器學習（XML）的目標，這是一個子領域，它開發了從多個角度理解復雜模型的工具，包括特征重要性、概念歸因和數據估值。本文提供了對XML領域的幾個貢獻，主要思想分為三部分：(i)一個框架，使得可以統一分析許多當前的方法，包括它們與信息論和模型魯棒性的聯系；(ii)一系列技術，用于加速Shapley值的計算，這是幾種流行算法的基礎；以及(iii)一系列用于深度學習模型的特征選擇的方法，例如，在無監督和自適應的設置中。這些思想中的許多都是受到計算生物學和醫學應用的啟發，但它們也代表了在各種領域中都有用的基本工具和觀點。

在模型透明度的辯論中，傳統的觀點是我們面臨解釋性與準確性之間的權衡。1有些人辯稱這種權衡并不存在，聲稱我們可以使用“天生可解釋”的模型達到近乎最優的性能（Rudin, 2019）；這對于簡單的表格數據集往往是正確的，但對于像圖像和語言這樣的復雜數據模態則較為罕見。在這里，我們采取了更為寬容的立場：鑒于黑盒模型目前提供了最佳的性能并且已經廣泛部署，我們探討是否有可能從任何模型中獲得足夠的見解。在這樣做的過程中，我們開發了一套在很大程度上對模型的內部機制持中立態度，或者說是模型不可知的工具集，因此即使在今天的最高性能的黑盒模型中也能正常運行。 這一目標也被可解釋機器學習（XML）子領域的許多工作所共享，并且近年來已經取得了顯著的進展。目前，XML工具已被用于了解新疾病的風險因素（Razavian等人，2020；Snider等人，2021），加速數學猜想的發現（Davies等人，2021），在有限的訓練數據標簽下識別蛋白質結合位點（Gligorijevi?等人，2021），審計有缺陷的醫學診斷系統（DeGrave等人，2021）以及從功能系統中獲得新的見解（Ting等人，2017；Sundararajan等人，2017）。這些早期的成功表明了這些工具的潛力，但在這些方法的底層理論以及使它們在實踐中高效的計算程序方面仍有進展空間。這篇論文介紹了我在博士期間進行的幾項工作，旨在解決這些挑戰。

這篇論文包含了我在博士期間完成的大部分項目，所有這些項目都與透明機器學習的核心主題相關。我們首先在第2章建立符號和幾個初步的概念。接下來，每一章都基于一篇第一作者的出版物，其中在某些情況下與共同第一作者共享。為了使它們在一個文檔中更具連貫性，對各個作品進行了修改，但這里沒有提供新的信息，這些論文也可以單獨閱讀。這些作品被組織成三個部分，如下所述。

**第一部分：XML的基礎 **我們首先討論一個統一了大部分文獻的觀點：許多現有的方法都基于一個解釋原則，即通過移除或量化從模型中移除特征的影響。我們描述了一個框架，在這個框架中，這些方法基于三個實現選擇而有所不同，我們為26個現有的算法確定了這些選擇（第3章）。基于這個觀點，我們對這些方法進行了統一分析，并找到了與信息理論、博弈論和認知心理學的聯系。然后，我們探索這些方法的魯棒性特性，并得出了描述它們對輸入和模型擾動的魯棒性的新結果（第4章）。 第二部分：Shapley值計算 接下來，我們探討XML中最廣泛使用的工具之一：Shapley值，一種博弈論信用分配技術。這些是最受歡迎的特征歸因方法之一，SHAP（Lundberg和Lee，2017）的基礎，以及一個著名的數據估值技術（Ghorbani和Zou，2019），但它們是臭名昭著的難以計算。有一系列方法來加速它們的計算（Chen等人，2022），我們在這里討論兩個：基于加權線性回歸的近似（第5章），和基于深度學習的攤銷優化的近似（第6章，第7章）。 第三部分：深度學習的特征選擇 最后，特征選擇為提供透明度的同時也降低了特征獲取成本提供了另一個方向。由于多次訓練不同特征集的模型的高昂成本，似乎很難與深度學習一起實施，但我們探討了如何使用可微分的層來阻止特征信息進入網絡（第8章）。然后，我們討論如何在自適應設置中應用這些思想，其中我們根據當前可用的信息為每個預測單獨選擇特征（第9章，第10章）。

新型機器學習方法是科學和工程變革的核心。概率模型已成為知識發現的基礎學習模型。作為替代模型，它們允許在有限的預算下進行高效的黑箱優化或積極學習復雜系統的行為。另一個重要的用例是使用概率模型作為生成模型，生成具有所需屬性的新設計，或從物理系統的平衡分布中生成樣本。但是，為了充分發揮概率模型在知識發現中的潛力，必須開發既能應對不斷增長的數據大小和復雜性，又能讓領域專家容易解讀的模型。

在這篇論文中，我從開發一種新方法開始，該方法解決了貝葉斯優化中的概率替代模型的稀疏解識別問題。稀疏解的發現不僅增強了解決方案對人類的可解釋性，以便理解系統行為，還便于使用較少的參數更輕松地部署和維護。

接下來，我介紹了一種利用深度學習增強高斯過程推斷可擴展性的新方法。高斯過程被廣泛用作知識發現中的概率替代模型，但由于在GP回歸中識別核超參數的高成本，其實際使用受到限制，涉及到昂貴的邊緣可能性。我展示了如何通過使用“攤銷”超參數推斷來繞過昂貴的邊緣可能性的需求。這是通過訓練一個單一的神經網絡實現的，該網絡消耗一組數據并產生一個估計的核函數，用于不同的任務。

最后，我介紹了邊緣化模型，這是一種新的高維離散數據生成模型，在科學發現中無處不在。通過使用神經網絡對所有誘導的邊緣分布進行明確的建模，邊緣化模型提供了可擴展和靈活的生成建模與合理的可能性。直接建模邊緣使得邊緣推斷效率高，能夠對給定的（非規范化）概率函數進行任意階的生成模型的可擴展訓練，克服了以前具有精確可能性的方法的主要限制。

概率模型作為建模數據分布的原則機器學習方法，最近開始在促進科學探索和發現中起到重要作用。替代模型在科學、工程、機器人學和許多其他領域都是寶貴的工具，其中它們模擬復雜的系統行為。利用概率代理模型提供的不確定性量化，可以設計自動算法通過與系統主動交互來有效地完成給定用例的目標。一個主要的用例是優化，例如通過實驗測試確定電池正極的最佳材料組成。在這種情況下，使用概率模型進行貝葉斯優化(Shahriari等，2015b)，根據實驗結果了解和迭代微調組成和性能之間的關系。同時，基于替代模型的不確定性量化，策略性地選擇下一個實驗條件，平衡對新組成的探索與對已知性能良好的組成的利用，從而加速最佳組成的發現。

主動學習提供了另一個主要的用例，例如在訓練替代模型準確模擬分子動力學(Vandermause等，2020)。該過程從基于有限數據的初始概率模型開始，然后通過主動查詢系統獲取額外的標記數據來系統地加強。選擇最具信息性的樣本進行標記是由替代模型的固有不確定性估計指導的，從而得到一個準確的模型，標記工作量最小。

除替代模型外，概率生成模型在跨多個領域建模復雜數據分布方面也取得了顯著進展，包括自然語言建模(Brown等，2020)、圖像生成(Song和Ermon，2019; Ho等，2020)、音頻合成(Huang等，2018)和科學發現應用(Wang等，2022; Schneuing等，2022)。在訓練科學發現的生成模型時，有兩個主要設置。第一個設置是最大似然訓練，目標是訓練生成模型以最大化訓練數據的似然。這種設置通常用于圖像生成、自然語言建模和藥物設計等任務，目標是生成與訓練數據分布非常相似的數據。第二個設置是分布匹配，目標是將生成分布與目標密度對齊。這種設置在圖像和語言方面研究較少，但在如采樣晶格模型和估計分子或材料的平衡性質等應用中經常使用，其中需要從物理系統的熱力學平衡分布中生成樣本。

在這篇論文中，我提出了新方法來解決知識發現背景下概率模型的解釋性和可擴展性挑戰。在深入研究所提議的方法的細節之前，我為替代模型和生成模型的現有文獻提供了簡短的概述。 本章的其余部分組織如下：第1.1.1節首先簡要介紹了高斯過程，這是一種在科學發現中使用的流行的概率替代模型。然后在第1.1.2節中，我回顧了貝葉斯優化的基本方法論方面。第1.2節簡要概述了關于生成模型的現有文獻，重點關注科學發現中的應用。最后，在第1.3節中，我總結了整個論文的大綱。

雖然生成模型具有令人興奮的潛力，但其有限的可用性為其在現實世界應用中的廣泛采納帶來了重大挑戰。具體而言，現有方法往往會放大埋藏在其訓練數據中的有害社會偏見，并且經常無法準確反映用戶主觀規格，例如在生成輸出中的風格。此外，當處理具有獨特結構的數據分布，如周期性時，存在明顯的性能差距，限制了它們在圖像和文本數據之外的適用性。本論文考慮了所有這些方面，以幫助構建安全、可靠的生成AI系統，以便實際集成和部署。

首先，我們提出了一個方法論框架來應對偏見緩解和可控性的挑戰。基于傳統的密度比率估計(DRE)方法，我們開發了技術來修正已學習的模型分布，使其顯示的特征更接近感興趣的另一個目標分布。這些貢獻不僅為DRE提供了一個新的理論框架，而且還提高了在一系列下游任務上的性能，如域適應、數據增強和互信息估計。接下來，我們展示了這些方法在社會應用中的兩個實際應用。我們證明：(a)我們的重新加權生成建模框架成功地緩解了數據集偏見，以及(b)更可控制的模型可以更好地根據個人偏好定制AI生成的音樂，并協助創作過程。最后，我們總結了開發新的學習算法，將領域特定的歸納偏見整合到無線通信的生成模型中，以及離散數據分布。

基于概率的生成模型為我們今天的社會解鎖了大量新的機會。在大規模數據集和計算能力的推動下，最近的進展使我們能夠自動完成開發者工作流中的代碼[Che+21]，根據自然語言指令合成高保真度的圖像和視頻[Ram+21; Ram+22; Rom+22; Yu+22; Ho+22; Sin+22]，將風格傳遞給錄制視頻的每一幀[Ess+23]，并個性化音樂表演以適應我們的口味[Don+23; Ago+23]。從通過協助數字內容創建為經濟增加數萬億美元的價值，到為創意工作民主化訪問和降低進入門檻，該領域正準備重新定義人工智能(AI)領域內的可能性[Bom+21; Elo+23]。

然而，這種興奮掩蓋了阻礙生成模型在現實世界應用中實際可用性的新出現的瓶頸。盡管它們具有強大的功能，生成模型仍然難以準確捕獲具有周期性（例如，醫學時間序列）和離散性（例如，分子生成的圖）這樣的特性的結構化數據分布。這極大地限制了它們在圖像和文本數據的創意努力之外的實用性。此外，實際將這些模型整合到我們的創意循環中也由于控制其輸出所涉及的復雜性而面臨重大挑戰[Lou+20]。這是因為指導合成輸出的用戶指定控制信號通常很難在數學或語言上明確地表達，而需要大量注釋的數據集進行標記監督或巧妙地導航模型超參數的組合爆炸[Yu+22; Gal+22; Fen+23]。最后，這樣的模型可能是不安全的，并在部署時產生意外的后果。因為生成模型旨在捕獲數據分布，它們不幸地可能放大訓練數據中的有害社會刻板印象，在下游應用中[Wei+21; CZB22]。這種關鍵的故障模式對終端用戶構成了重大的安全風險，他們可能會暴露于或在令人不安的內容中被利用[Jal+21; Bia+22; Ran+22]。因此，大型機構行為者可能會猶豫是否開放這些模型的源代碼，而基于這些技術構建的產品非常難以可靠且安全地部署到廣大公眾。 在這一背景下，任何成功的利用這些AI系統的方法都必須滿足兩個基本標準。首先，它們必須生成忠實于用戶規格的高質量內容，無論控制信號是顯式的（例如，風格）還是隱式的（例如，社會規范或價值觀）。這種細致的控制將確保生成可靠和相關的輸出，適用于實際的、真實世界的應用。第二個要素是，它們必須成功處理各種數據分布。這對于擴展這些模型在各種社會和技術領域的適用性至關重要。

近年來，機器學習在許多應用中證明了其極高的用途性。然而，這些成功故事很多都源于在與訓練數據非常相似的數據上評估算法。當應用于新的數據分布時，機器學習算法已被證明會失敗。鑒于現實世界數據的非平穩和異構性質，我們需要更好地掌握算法在分布外（out-of-distribution）的泛化能力，以便算法能被廣泛部署和信任。我的論文提出了三個研究課題，旨在調查和發展分布外泛化的領域。這些研究努力的中心目標是產生新的工具，如算法、理論結果、實驗結果和數據集，以提高在數據分布發生變化時機器學習方法的理解和性能。貫穿這三個機器學習場景的高級思想是模塊性——由組合在一起形成一個整體的獨立部分的質量。模塊化方法被假設為引導機器學習方法遠離僵化的記憶示例，走向更靈活和“更智能”的支持泛化的學習。

在我的第一項貢獻中，我從多個訓練分布的學習角度來接近論文目標。對這一研究方向的貢獻有兩方面。首先，我呈現了一組新的標準化任務，用于評估和比較分布外泛化算法。其次，我陳述了一系列新的理論結果，填補了數據中心和算法方法之間在分布外泛化方面的現有差距。這些理論發現引導了一組關于如何采用算法方法的新的實用建議。

在第二項貢獻中，我處理了監督圖像識別中的泛化問題。在這一背景下，我首先調查了多級特征聚合對泛化的影響，并證明了使用其中一種考慮的方法進行增強可以持續提高性能。其次，我提出了一組簡單的圖像數據集，可作為評估和比較圖像分類方法在分布外泛化方面的墊腳石。最后，我深入研究了多個神經網絡通信以解決共享任務的學習場景。這項工作以兩種方式支持論文目標。首先，我提出了一個新的環境，圖引用游戲（graph referential games），并在數據表示和相應的數據表示學習方法對分布外泛化的影響上提出了結果。這些結果連接了之前不相連的圖表示學習和新興通信領域。其次，我解決了基于現實圖像的群體通信這一具有挑戰性的領域。這篇論文中的數據集、算法、定理和實驗結果代表了在機器學習中理解和改進分布外泛化方面的幾個步驟。它們為研究人員提供了旨在促進這一領域研究的新工具和結果，其中一些已被證明對研究社群有用。最后，這項工作提出了機器學習的多個分布學習、圖像分類和多代理通信子領域中重要的未來方向。

//www.repository.cam.ac.uk/items/8680585b-87ca-4196-987f-c4d379259092

記憶與學習是否相同？阿根廷作家豪爾赫·路易斯·博爾赫斯（Jorge Luis Borges）的短篇小說《記憶者富內斯》（Funes the Memorious，由James E. Irby翻譯成英文[71，第59–66頁]）描述了一個名叫富內斯的男孩，在頭部受傷后獲得了完美的記憶。他開始詳細地記住他一生的每一個時刻。同時，他失去了泛化的能力：他的記憶彼此是孤立的。例如，他從不同的角度看到同一只狗，卻只把同一只狗的不同側面視為獨立的信息。他甚至不了解自己的身體是什么樣的（‘每次看到鏡中的自己的臉，看到自己的手，都讓他感到驚訝’），這導致了一個結論：‘思考就是忘記一個差異，進行泛化，進行抽象。在富內斯過于充實的世界里，只有細節。’""與富內斯相似，具有數百萬參數的現代神經網絡已被證明會記住訓練樣本，這可能導致一系列問題，例如：（1）對噪聲數據的高度敏感性[150, 221]，（2）易受對抗性攻擊的影響[271, 87, 269, 287]，（3）與人類學習相比樣本效率低[302, 303, 275]，以及（4）對新數據的泛化能力差[62]，即使新數據樣本直觀地與模型已經訓練過的數據有相似之處[61, 251]。這些問題可能出現在應用現代機器學習的任何領域。它們可能導致機器學習系統在使用過程中產生不透明的故障模式，從而導致對機器學習系統的信任度下降[297]。"

"標準機器學習方法中缺少對分布外泛化（Out-of-distribution generalisation）的能力。這些方法得到了統計學習理論[279]的支持，該理論證明了使用基于平均值的優化（經驗風險最小化[279]）以及使用測試集估計泛化誤差的做法是合理的。然而，這一理論假設訓練（過去）和測試（未來）數據是獨立同分布的。在應用機器學習的許多實際領域中，這一假設是不正確的：現實世界的數據是異構的，其分布通常會隨時間變化。分布變化的實際來源包括機器學習系統用戶特性的變化，或一個有實體的代理（embodied agent）所處環境的變化。另一個常見的分布變化例子是由于語言（包括在線使用的語言）動態性而產生的。自然語言的不斷演變已被證明會改變語言模型的困惑度（perplexity），當這些模型在數月內多次應用時[164]。背景章節的第2.4節更多地涵蓋了分布變化的類型和相應的例子。由于這些變化，即使在常用的分布內測試集上達到接近100%的準確率也不總是能預示未來的性能，這一點已被眾多論文所證明[137, 15, 61, 235, 204, 62]。"

"在機器學習領域，關于分布外泛化（OOD generalisation）的主題實質上與機器學習本身一樣廣泛和復雜，并且在研究社群中同樣容易受到瞬息萬變的趨勢和不同觀點的影響。在我看來，面對分布變化提高泛化能力是必要的，原因如下： ? 工程原因 — 提高樣本效率，并在沒有數千個訓練樣本的低資源領域提高性能[110]； ? 科學原因 — 深入了解神經網絡是如何學習的，并可能讓機器學習更接近人類學習； ? 商業原因 — 在目前由人類執行的越來越復雜的任務中使用神經網絡； ? 社會原因 — 通過控制簡單性偏見[246]來消除機器學習系統的偏見。

利用數據中的‘捷徑’可能會導致不公平的解決方案（例如，這可以在招聘工具中利用性別信息時看到[59]）。在我的博士研究期間，我一直在問自己：致力于分布外泛化的機器學習研究社群最需要什么樣的工具？這篇論文旨在以新數據集、新理論結果、新測試平臺、新實驗結果和新算法的形式提供這樣的工具。這些研究努力的具體成果總結在圖1.1中。"

導致這篇論文的研究工作涉及機器學習的三個子領域：多分布學習（第3章）、圖像分類（第4章）和多智能體通信（第5章）。這種廣泛的視角使我能夠收集更多證據來支持中心假設，并探討研究問題（第1.2節）。同時，本論文中介紹的工具旨在對我在博士研究期間有幸與之合作和學習的幾個機器學習社群有所用處：（1）不變學習和群體魯棒性社群（第3章），（2）視覺社群（第4章），以及（3）新興通信社群（第5章）。所有這些社群都在獨立地研究機器學習中的分布外泛化，正如我在背景章節（第2章）以及各自貢獻章節中所回顧的。本論文聯系了我在研究中涉足的之前是分離的社群，例如圖神經網絡[141]與新興通信[43]（第5章），以及面向群體魯棒性的數據導向方法[36]與分布魯棒優化[21]（第3章）。"

盡管生成模型具有令人振奮的潛力，但它們的有限可用性對于在現實世界應用中廣泛采用它們提出了重大挑戰。具體來說，現有方法往往會放大嵌入在其訓練數據中的有害社會偏見，并且通常無法準確反映生成的輸出中的主觀用戶規范，例如風格。此外，當處理具有獨特結構的數據分布時，如周期性，會存在明顯的性能差距，這限制了它們在圖像和文本數據之外的適用性。本論文考慮了所有這些方面，以幫助構建安全可靠的生成式人工智能系統，用于實際集成和部署。

首先，我們提出了一種方法論框架，以應對偏見減輕和可控性方面的挑戰。在經典的密度比估計（DRE）方法基礎上，我們開發了技術，用于糾正學習模型分布，使其表現出更與另一目標分布更緊密對齊的特征。這些貢獻不僅為DRE提供了一個新的理論框架，還提高了在各種下游任務上的性能，如領域自適應、數據增強和互信息估計等。接下來，我們介紹了這些方法在社會應用中的兩個真實應用。我們證明：（a）我們的重新加權生成建模框架成功減輕了數據集偏見，（b）更可控的模型可以更好地定制AI生成的音樂以適應個人偏好，并促進創造過程。最后，我們總結了通過將領域特定的歸納偏見納入無線通信的生成模型以及離散數據分布的生成模型中的新學習算法。

概率生成模型承諾為我們的社會帶來巨大的新機會。受大規模數據集和計算資源的可用性推動，最近的進展已經催生出可以自動完成開發者工作流中的代碼 [Che+21]，根據自然語言指令合成高保真度圖像和視頻 [Ram+21; Ram+22; Rom+22; Yu+22; Ho+22; Sin+22]，將風格轉移到錄制視頻的每一幀 [Ess+23]，并個性化音樂表演以迎合我們的口味 [Don+23; Ago+23] 的機器。從通過協助數字內容創作增加數萬億美元的經濟價值到民主化訪問并降低創意工作的準入門檻，這個領域準備重新定義人工智能（AI）領域的可能性 [Bom+21; Elo+23]。

然而，這種興奮熱潮掩蓋了阻礙生成模型在實際應用中的實用性的新興瓶頸。盡管生成模型具有強大的能力，但它們仍然難以準確捕捉具有周期性（例如，醫學時間序列）和離散性（例如，分子生成的圖形）等特征的結構化數據分布。這極大地限制了它們在涉及圖像和文本數據以外的創意工作之外的實用性。此外，實際將這些模型集成到我們的創意循環中也面臨著重大挑戰，因為控制它們的輸出涉及復雜性 [Lou+20]。這是因為用于引導合成輸出的用戶指定的控制信號通常在數學或語言上很難表達，而是需要大量的帶標簽監督的注釋數據集或巧妙地導航可能的模型超參數組合爆炸 [Yu+22; Gal+22; Fen+23]。最后，這些模型可能存在安全風險，并在部署時產生意想不到的后果。因為生成模型的設計目標是捕捉數據分布，不幸的是，它們可能會在下游應用中放大訓練數據中存在的有害社會刻板印象 [Wei+21; CZB22]。這種重要的故障模式對最終用戶構成了重大安全風險，他們可能會接觸到或被濫用于令人不安的內容 [Jal+21; Bia+22; Ran+22]。因此，大型機構可能會猶豫是否開源這些模型，以及基于這些技術構建的產品可能會受到極大的限制。

在這種背景下，任何成功的方法來利用這些人工智能系統都必須滿足兩個基本標準。首先，它們必須生成高質量的內容，忠實于用戶的規范，無論控制信號是顯式的（比如風格）還是隱式的（比如社會價值觀念）。這種細粒度的控制將確保可靠且相關的輸出，使其適用于實際的現實世界應用。第二個要素是它們必須成功處理各種數據分布。這對于擴展這些模型的適用性到各種社會和技術領域將是至關重要的。

本論文旨在設計有效的方法，將已知結構融入機器學習模型中。結構的產生源于問題的形式化（例如，物理約束、聚合約束）或模型所需的屬性（能效、稀疏性、魯棒性）。在許多情況下，建模者對他們正在建模的系統有一定的了解，這必須以精確的方式進行加強。這對于提供充分的安全保證，或提高系統效率是必要的：用更少的數據訓練系統，或減少計算成本。本論文在各種設置中提供了方法，這些方法建立在連續的、受約束的優化和可微統計建模（也稱為深度學習）的兩個基礎領域之上。

論文的第一部分集中于設計和分析帶有凸約束的優化問題的高效算法。特別是，它關注Frank-Wolfe算法的兩個變體：第一個變體提出了一個快速的回溯線搜索算法，以自適應地設置全梯度設置中的步長；第二個變體提出了一個快速的隨機Frank-Wolfe算法，用于受約束的有限和問題。我還描述了對開源受約束優化軟件的貢獻。這篇論文的第二部分關注設計確切強制某些約束的深度學習模型：基于物理的約束，以及概率預測模型的聚合約束。這部分利用了雙層優化模型，并利用可微優化約束復雜神經網絡的輸出。我們證明，可以在復雜的非凸模型上強制執行復雜的非線性約束，包括概率模型。

這些例子展示了混合模型的威力，這些模型結合了數據驅動的學習，利用如深度神經網絡這樣的復雜非線性模型，并允許高效算法的經過深入研究的優化問題。這些混合模型幫助高度靈活的模型捕獲結構模式，有時甚至不需要任何數據訪問就能實現出色的性能。

近年來，機器學習模型在旨在匹配人類感知的領域（計算機視覺、音頻處理、自然語言）中取得了無數的成功。這些成功是通過理解如何利用模型輸入中的結構來實現的：圖片、聲音、文本、代碼，甚至分子的數字表示[1, 2, 3, 4]。為了在工程和科學中達到相似的成功水平，模型必須納入額外的結構性約束：模型的內部和輸出都應滿足某些關鍵屬性（例如，模型內部的稀疏或低秩權重，以及模型輸出的物理方程）。盡管優化領域長期以來一直關注如何實施這些約束，但將優化方法帶來的結構與數據驅動模型的靈活性結合起來的努力是非常近期的[5, 6]。這篇論文提出了新穎、高效的方法，將結構融入機器學習模型中，無論是在模型的內部（第一部分）還是在模型的輸出（第二部分）。我們認為這樣的混合系統將是為復雜的物理應用開發高性能系統的關鍵。機器學習中的結構性約束最近再次將Frank-Wolfe（FW）算法家族推到了聚光燈下。Frank-Wolfe算法允許對決策變量（例如，模型權重）施加凸約束，同時保持決策變量的稀疏表示。這篇論文的第一部分開發了新穎的Frank-Wolfe算法變體，以提高算法的實際速度。此外，我們還描述了我們的兩個開源優化庫：COPT和CHOP。在實際環境中部署決策制定系統時，系統必須執行物理約束：差異可能導致未定義的決策。例如，如果我們預測一個地區不同粒度的水庫的入水流量，不同級別的預測必須執行質量守恒；否則，會有未被計入的水量，破壞決策制定系統。這篇論文的第二部分考慮了將物理約束納入深度學習模型的問題，采用偏微分方程和分層質量守恒的形式。

深度學習為我們提供了越來越復雜的神經網絡，可以通過梯度上升來調整，以最大化某些目標。貝葉斯統計為我們提供了一種原則性和統一的方法來指定統計模型和執行推斷。將這兩種方法配對的一種有效方法產生了深度生成模型(DGM)，其中概率模型中統計參數之間的映射本身使用神經網絡進行參數化。在本文中，我們研究了這種方法可以用于解決機器學習中的各種問題的方法，以及由此產生的模型的屬性。在這篇論文中，有三個反復出現的主題，魯棒性，結構和層次，貫穿始終。

首先研究如何構建一個深度生成模型，以在一種稱為半無監督學習的新學習機制中進行學習。這是半監督學習的一個極端情況，對于某些類別的數據，沒有給定的標記示例。在學習將數據劃分為不同的成分，不同的基礎真值類時，模型必須能夠在未標記的類上進行聚類，并在給出了一些標記示例的類上進行半監督學習。本文展示了如何在一系列標準數據集上實現這一點。

從處理一個離散潛變量聚類分配開始，研究具有離散潛變量層次結構的模型。我們提出了一種新的方法來參數化這種類型的模型中的潛在變量，放松的責任向量量化，可以訓練非常深的潛在變量層的層次結構。該方法在一系列標準數據集上，對端到端的分層離散DGM進行訓練，在最大化數據證據(訓練和測試集)的下界方面取得了最先進的結果。在這樣做的過程中，這些模型有助于縮小具有離散潛在的分層DGM和具有連續潛在的分層DGM之間的差距，并提供極其穩定的訓練。

然后我們切換到另一個問題，如何構建一個模型，以有效地從高維數據中學習統計獨立的潛在表示。本文提出一種分層方法，使用雙射函數flow來產生一個中間表示，然后由高度約束的線性獨立成分分析(ICA)模型起作用。與其他方法相比，這導致了在各種玩具和真實數據集上的優越性能。

然后，研究迄今為止未考慮的問題，即如何使DGM對對抗性攻擊具有魯棒性。對這些模型的潛空間進行正則化可以可靠地誘導魯棒性，并通過將這種正則化應用于分層的DGM來獲得更魯棒的模型。最后，從理論角度研究了DGM算法的魯棒性問題。我們定義r-魯棒性，DGM魯棒性的新標準，然后得出該標準上的間隔，在該間隔內的模型可以說是魯棒的。與潛空間被正則化的各種DGM的最佳模型的新理論相結合，這種間隔的形式有助于了解這種正則化如何提高魯棒性。

**本文提出的工作表明，深度學習和貝葉斯統計的結合是多么有效，并提供了對他們的組合所產生的模型本質的見解。**這為這兩個方向開辟了新的研究——為建立在所提出工作之上的新模型，也為研究深度生成模型的理論工作開辟了新途徑。

//ora.ox.ac.uk/objects/uuid:fa76ad20-30bb-48a3-8ae4-56da578a1767

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。