亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大規模語言模型（LLMs）已成為現代自然語言處理的核心，能夠在多個任務中展現出卓越的多功能性。有效地控制語言模型對于充分發揮其能力并將其應用于實際場景至關重要。成功部署這些模型通常需要特定任務的定制化以及對其行為的嚴格審計。在本論文中，我們提出了控制大規模語言模型的方法，并開發了評估工具來揭示控制失敗。

在第一部分，我們將控制任務視為一個分布匹配問題，并研究在建模流程中（包括預訓練、適應和解碼階段）在哪些環節以及如何進行干預。我將首先介紹一種在適應階段的控制方法，稱為Prefix-Tuning。這是一種參數高效的技術，通過僅修改模型參數的一個小子集實現精細控制。這種方法挑戰了傳統的完全微調的必要性，并為大規模預訓練模型的成本高效定制奠定了基礎。接下來，我將重新審視這些控制挑戰的根本原因，特別是在預訓練階段，并提出了一種新的文本生成模型，稱為Diffusion-LM。Diffusion-LM規避了自回歸范式，并通過設計本身內在地增強了可控性。對于最后一種控制方法，我將討論通過解碼時的干預來實現可控性，稱為Contrastive Decoding。通過對比一個較強的語言模型和一個較弱的語言模型之間的內部logits，我們能夠生成比強語言模型單獨生成的文本更高質量的文本。這些策略共同形成了一套連貫的控制機制，適用于語言建模管道的各個階段。 在第二部分，我們重點關注受控模型的評估。評估包括兩個主要設計選擇：（i）如何可擴展地判斷響應的正確性，（ii）評估時使用什么問題。為了解決第一個問題，我們提出了基于一致性的自動化評估策略。語言模型經常表現出不一致的行為。例如，當我們在2023年9月評估ChatGPT時，我們發現它正確回答了“7+8？”為15，但錯誤地回應“7+8=15，真還是假？”為“假”。我探討了生成與驗證之間的不一致，并將其作為評估信號。對于第二個問題，我們將評估視為一個優化問題，并開發了自動發現模型失敗的工具。具體來說，我們提出了AutoBencher，一個用于自動基準構建的聲明性框架，并利用它可擴展地發現現有語言模型的新見解和漏洞。在AutoBencher中，我們將基準構建視為一個優化問題，通過聲明數據集的幾個期望，構建量化的替代指標，并搜索一個優化這些期望的特定數據集。我們進一步擴展了這個流程，使其針對特定模型，并使用強化學習訓練調查模型，以提高召回率并覆蓋多樣化的模型失敗。總體而言，這項工作的貢獻推動了可控語言建模的前沿，并為重新思考語言模型評估奠定了新框架的基礎。 語言模型是一個基于文本序列的概率模型。其特定的分布由三個要素決定：模型家族（例如，N-gram模型、Transformer模型）、訓練數據以及模型規模（例如，參數數量）。從歷史上看，語言模型最初是在狹窄的領域內訓練的。例如，N-gram模型通常基于精心挑選的語料庫（如《華爾街日報》）構建，用于模擬或分析英語文本的特征——如熵或Zipf分布（Shannon，1948）。到了2000年代，語言模型成為更廣泛的自然語言處理系統中的實用組件，主要用于在語音識別等任務中對候選輸出進行重新排序。 隨著訓練數據從專業語料庫擴展到大規模的互聯網數據，且模型架構從N-gram轉變為神經網絡序列模型，語言模型逐漸從狹窄的工具轉變為通用生成器。在2010年代，帶有監督的序列到序列模型成為翻譯和摘要等應用的核心（Sutskever等，2014）。近年來，像GPT（Radford等，2019；Brown等，2020）和Claude（Anthropic，2024）等大規模模型，在異構的互聯網規模語料庫上訓練，能夠在各種領域中生成流暢且連貫的輸出。 然而，單純的流暢性并不足夠。隨著語言模型的應用場景從分析和重新排序發展到直接生成，模型越來越多地被部署到對正確性、安全性和相關性有要求的環境中。一個數學問題的流暢續寫可能是另一個數學問題——但這可能不是我們想要的答案。我們期望模型能回答問題。在其他情況下，我們可能希望模型拒絕不安全的請求、遵循格式指令、采用特定的角色或避免有毒內容。這將引出本論文的核心主題：控制。 控制指的是引導語言模型行為朝著期望的結果發展。高層次而言，它意味著將一個原始的文本分布轉換為一個符合任務目標、用戶意圖或安全約束的有用系統。控制可以采取多種形式：引導生成向事實準確性靠攏、強制風格一致性、抑制不良補全，或者確保指令得到準確執行。如果沒有控制機制，即使是最流暢的模型也可能變得無用、不可靠或不安全。 在本論文中，我提出了控制大規模語言模型的方法，并開發了評估工具來揭示控制失敗。具體來說，我們探討了如何在語言建模流程的每個階段——包括預訓練、適應和解碼——施加控制。我們還介紹了評估方法，通過自動判斷生成輸出的質量并揭示模型失敗，來評估這些控制效果。

1.1 強化控制

由于語言模型定義了一個文本分布，控制它最終可以歸結為一個分布匹配問題：我們希望調整生成分布以實現期望的行為。關鍵的設計決策集中在確定哪些模型組件可以調整（即控制按鈕）以及在開發流程的何時進行干預。語言模型通常在部署前經歷幾個關鍵階段，控制可以在這些階段中的每個階段注入。 適應是注入控制的最經典階段。在這一階段，我們調整模型的參數，以使其分布朝向期望的使用場景。微調長期以來一直是默認的方法，但我的工作提出了輕量化的替代方案，在保證質量的同時，以更低的計算成本實現精細控制。 解碼使得對生成輸出進行極其輕量的干預成為可能。由于此階段模型參數是固定的，因此控制是通過操作輸出概率來執行的——例如，通過基于外部標準對令牌進行加權或減權。然而，該階段的表達能力可能有限，因為它無法訪問內部模型狀態，也無法修改先前生成的令牌——這使得執行復雜或全局約束變得困難。 預訓練是語言建模流程中最上游的階段，它為將可控性注入模型架構提供了強大的機會。在這一階段注入控制能夠進行結構性的變化，確保內建的可控性。然而，預訓練也是最資源密集的階段，這使得它在擴展或利用已經預訓練的模型的能力時變得更加困難。 這些方法共同構成了一套用于強化大規模語言模型特定行為的工具，詳細內容見第3章、第4章和第5章。

1.2 評估控制

一旦控制被強化，下一步的挑戰是評估模型是否遵守了這些控制。由于模型控制是一個分布匹配問題，我們也可以采用分布視角來進行評估。 評估分為兩部分：輸入分布p(x)，它定義了評估內容，以及條件分布p(y | x)，它定義了如何判斷響應。對于現代語言模型，這兩個部分都非同小可。由于大規模語言模型是通用型的，我們必須選擇p(x)來測試相關能力并暴露其弱點。同時，參考條件分布p*(y | x)必須是可靠的，特別是在評估模糊或開放性問題時。 為此，我提出了自動化工具，利用語言模型本身來發現和驗證失敗案例，確保評估既具有可擴展性，又值得信賴。這些貢獻將在第6章、第7章和第8章中介紹。

1.3 論文結構

**第2章：背景。**我們回顧語言模型和可控文本生成的歷史，以建立本論文的歷史背景。 **第3章：通過Prefix-Tuning適應語言模型。**傳統的語言模型適應需要微調所有參數（規模達到數十億），而我在Prefix-Tuning方面的工作首次展示了僅調整一小部分（0.1%）參數同樣可以達到有效的控制。如今，參數高效微調已成為使用戶能以更具成本效益的方式定制預訓練模型的標準方法。 **第4章：通過設計構建可控語言模型。**傳統的語言模型通過下一個令牌預測來構建輸出，這限制了它們對輸出序列的控制能力。我在Diffusion-LM方面的工作證實了非自回歸模型在文本生成中的可行性，展示了此類模型如何通過設計本身內在地增強可控性。 **第5章：在解碼時引導語言模型。**文本生成通常涉及從語言模型分布中采樣。在本章中，我們將文本生成視為一個優化問題，并設計了一個對比目標，鼓勵一致的生成。通過對比強語言模型和弱語言模型之間的內部logits，我們生成的文本比強語言模型單獨生成的更高質量。 **第6章：通過一致性進行可靠和可擴展的評估。**評估對于推動語言模型的進步至關重要，這使得設計一個可擴展且可靠的評估指標變得非常必要。為此，我們提出使用生成和驗證之間的一致性作為評估標準。一致性評估是無標簽的且具有可擴展性的，因為它無需知道正確答案即可進行判斷。 **第7章：通過AutoBencher自動發現模型失敗。**傳統評估依賴靜態的、手工策劃的基準，這些基準難以跟上日益通用的語言模型的步伐。這些傳統的基準通常無法覆蓋語言模型的多樣化技能、領域和使用場景。為了解決這些局限性，我們提出了AutoBencher，這是一個用于自動構建基準的聲明性框架，并利用它可擴展地發現現有語言模型的新見解和漏洞。 **第8章：將錯誤發現作為后驗推斷。**我們如何發現模型特定的失敗？在本章中，我們將錯誤發現視為一個后驗推斷問題：給定模型輸出中的特定失敗（即后綴），我們旨在推斷出可能導致該失敗的輸入提示（前綴）。為了高效地探索這個空間，我們提出了一種靈感來自Frank-Wolfe算法的方法，以鼓勵發現多樣化的失敗模式。 **第9章：總結與未來方向。**我們總結并討論了構建可控語言模型的未來研究方向。

人類在日常生活中通過多種感官與環境互動：視覺用于感知和理解環境，身體意識用于定位，語言用于交流和語義理解，觸覺則用于接觸反饋。同樣地，機器人在面對非結構化的真實世界環境中的操作任務時，也需要具備類似的多感官整合能力。

本論文探討了如何融合多種感知輸入，以提升機器人在現實世界中操縱物體的能力。通過整合視覺（為機器人提供詳細的空間信息）、本體感覺（提供身體位置反饋）、語言（理解并執行指令）以及觸覺（提供精細接觸信息），我開發了安全、高效且具有良好泛化能力的機器人系統。 論文中的研究貢獻涵蓋多個方向，包括：感知-運動控制、運動規劃、模仿學習、機械搜索、富接觸操作任務以及多模態對齊，整體目標是提升機器人在跨模態感知、推理與行動能力，突破單一感知模態的局限。 研究首先從視覺與本體感知的融合出發，以增強機器人在分布偏移條件下的控制魯棒性，并通過基于擴散模型的軌跡生成方法提升規劃效率。接著，提出了一種基于**“下一個 token 預測”機制的上下文模仿學習方法**，使機器人能通過 prompt（提示）快速適應新任務。 隨后，論文將視覺與語言的融合引入到遮擋物體的機械搜索與通用操作任務中。借助大型視覺-語言模型（Vision-Language Models），實現了更強的語義推理能力，從而獲得更有效的操作策略。 進一步地，我研究了觸覺傳感在高精度操作任務（如工業插接與布料處理）中的應用，提出了自監督策略學習與視覺-觸覺預訓練方法，顯著提升了任務成功率。 最后，我構建了一個新的對齊視覺、觸覺與語言的多模態數據集，以支持機器人領域的多模態學習研究。 通過理論分析、仿真實驗與真實機器人實驗，本論文全面展示了多模態感知如何增強機器人操作任務中的泛化能力、適應性與安全性。 //www2.eecs.berkeley.edu/Pubs/TechRpts/2025/EECS-2025-68.html

本論文旨在研究構建更高效且更強大模型的方法，重點聚焦于兩個方面：架構改進與優化方法。我們探討了一系列具有理論依據的架構修改，這些修改要么降低了計算成本，要么引入了有助于更高效模型利用的新特性。此外，我們還研究了現有的優化方法，以加深我們對神經網絡優化的理論理解，并使其更貼近實際應用，從而為未來構建更優的優化器提供更有依據的決策基礎。

在論文的第一部分，我們提出了三種對Transformer模型的增強，以應對處理長序列、提升數據效率和優化推理成本等關鍵挑戰。首先，我們提出了Landmark Attention機制，以提升處理長序列的效率，在我們的實驗中，該方法將推理成本顯著降低了一個大常數因子（達50倍）。通過在注意力機制中引入層級結構，Landmark Attention 能夠在推理階段處理任意長度的輸入，而不受訓練時序列長度的限制。接著，我們提出了DenseFormer架構，它允許后續層訪問前面所有層的輸出。得益于增強的信息流，DenseFormer 在保持與更深Transformer模型相同困惑度（perplexity）的同時，在內存效率和推理速度方面均優于基線模型。我們的實驗還揭示了信息流中意料之外的連貫模式，顯示出遠層激活被結構化重用的現象。最后，我們提出了CoTFormer以提升推理效率，其靈感來自大型語言模型中逐步推理的涌現能力。CoTFormer 通過對一個淺層模型的重復應用，實現了與更深模型相當的準確率。該方法雖然引入了額外計算開銷，但支持按token粒度靈活調整推理成本。我們的結果表明，在訓練自適應CoTFormer時，能在不損失精度的前提下，顯著減少計算成本，因其能自動將計算資源分配給最需要的token。

在論文的第二部分，我們聚焦于提升對神經網絡優化的理解，動因之一即源于在設計自適應CoTFormer優化方法時遇到的挑戰。我們構建了一個理論框架，用于研究參數擾動（parameter perturbation）以及屏蔽參數更新（masking parameter updates）對收斂性的影響。此外，我們通過理論分析與實證實驗，加深了對“大步長對于獲得更優模型至關重要”這一現象的理解。特別是，我們構造了一個受控實驗環境，使得小步長與大步長之間的差異可以被嚴格地觀測和驗證。

關鍵詞：語言模型、效率、優化、神經網絡、Transformers

場景流估計是描述時間上連續觀測之間的三維運動的任務。本論文旨在為構建具有兩個重要特性的場景流估計器奠定基礎：一是可擴展性，即它們能夠通過更多數據和計算資源提升性能；二是靈活性，即它們能夠在多種領域和運動模式中開箱即用，而無需大量的超參數調整。為此，我們解決了該領域中現有方法和評估協議的關鍵局限性。首先，我們提出了ZeroFlow，這是一種可擴展且完全無監督的方法，利用測試時優化的優勢生成高質量的偽標簽，然后用于高效訓練前饋網絡。這種蒸餾流程顯著提高了計算效率，在不依賴昂貴的人工標注的情況下，以數量級更快的推理速度實現了最先進的精度。接下來，我們發現了標準評估指標中的一個系統性缺陷，揭示了先前的場景流方法始終無法捕捉到小型或緩慢移動物體（如行人或騎行者）的運動。為了解決這一問題，我們引入了桶歸一化端點誤差（Bucket Normalized Endpoint Error），這是一種新的類別感知和速度歸一化的評估協議，能夠更準確、更全面地衡量估計器的質量，特別是強調對關鍵小型物體的性能。我們通過提出TrackFlow展示了新評估方法的有效性。TrackFlow是一種出奇簡單但有效的基線方法，它利用了高質量3D檢測器的性能。盡管TrackFlow在現有指標上勉強達到最先進的性能，但在我們改進的評估指標上，可以清楚地看出TrackFlow遠遠強于其他競爭對手。最后，我們提出了EulerFlow，這是一種無監督方法，通過在整個觀測序列上估計常微分方程（ODE），而不僅僅是兩個連續觀測，從而顯著重新定義了場景流估計。EulerFlow在多樣化場景中提供了非常強大的流估計，其簡單的ODE公式能夠在新領域中開箱即用，并實現了包括長時3D點跟蹤在內的新興能力。總的來說，這些貢獻代表了在可擴展、靈活和魯棒的場景流估計方面的重大進展，為未來研究和實際部署奠定了基礎，適用于從自動駕駛到機器人等多種應用中的運動理解。

機器人仿真、規劃、估計和控制都建立在數值優化的基礎上。與此同時，現代凸優化已經發展成為一種強大的技術，能夠在多項式時間內提供全局最優解。隨著可微優化和定制求解器的進展，這些求解器能夠生成平滑的導數，凸建模變得更加快速、可靠，并且完全可微。本論文展示了凸建模在多個領域中的有效性，如火星大氣進入引導、納米衛星空間望遠鏡指向、碰撞檢測、點云的接觸動力學、在線模型學習，以及最終一種無需導數的軌跡優化方法，該方法利用并行化仿真。在所有這些領域中，可微凸優化的可靠性和速度使得實時算法變得嚴格、高效，并且易于理解和修改。

本論文介紹了基于可微凸建模的機器人仿真、規劃和控制的新方法。通過在優化優先的框架中制定這些領域的算法，我們通常能夠簡化算法的復雜性，并將計算復雜度卸載到高度專業化和高效的求解器上。本論文重點擴展了許多現代凸建模的進展，其中求解器能夠在保持完全可微的同時，為凸優化問題提供全局最優解。由于這些求解器既快速又穩健，并且是可微的，它們可以像傳統的數值線性代數程序（如用來求解線性系統的程序）一樣使用。利用凸建模作為新算法開發的構建塊，可以實現簡單、高效且靈活的算法。

在1939年至1948年期間，Leonid Kantorovic、George Dantzig和John Von Neumann提出了線性規劃和對偶性相關的約束優化基本概念[39]。大約在同一時期，Karush-Kuhn-Tucker（KKT）條件被確立，明確了解決約束優化問題時“最優解”的含義[24]。當時，實踐者集中于在新引入的計算機上實現數值優化算法，而理論家則將注意力轉向約束優化領域的有用分類法。1983年，蘇聯科學家Nemirovski和Yudin首次正式提出，解決凸優化問題與解決一般非線性優化問題之間存在實質性的復雜度差異[22]。1980年代，穩健的內點方法開始出現，能夠在多項式時間內解決一般的凸優化問題[116]。隨著數值線性代數、算法發展和更快計算機的進步，到2000年代，凸優化已經成熟并準備好在日常應用中使用。諸如CVX [63]、CVXPY [40]和Convex.jl [179]等建模工具使得凸優化變得易于使用，它們通過將用自然數學語法描述的問題轉化為商業和開源求解器可以解決的形式，使凸優化變得更加易于應用。 在2010年代后期，[7]和[5]的研究使得能夠對針對通用問題參數的凸優化問題進行求導。如今，凸優化求解器被視為經過充分理解和可靠的可微函數，可廣泛應用于各類任務中。 第四章對一個經典的大氣進入引導框架（可追溯到阿波羅計劃）進行了更新，結合了凸優化，達到了最先進的性能。在4.2中，以一種在文獻中不常見但更適合數值優化的形式，討論了進入飛行器在任意大氣中的動力學。在此基礎上，詳細描述了基于凸優化的創新型“凸預測-修正進入引導”（CPEG）算法，該算法在4.4節中用于大氣引導。CPEG的性能在一組現實的初始條件下進行了驗證，并在4.5節中驗證了收斂性。 第五章在第四章的基礎上進行擴展，介紹了CPEG的更新變種，能夠在進入過程中直接考慮大氣不確定性。CPEG中的引導框架通過引入一個能夠進行大氣估計的估算器來增強，并對控制器-估算器堆棧進行了調整，以實現對飛行器的魯棒實時控制。該算法在現實的火星大氣條件下進行測試，消融研究驗證了大氣適應的重要性。

第六章利用基于凸優化的運動規劃器，通過加權支桿的驅動實現納米衛星空間望遠鏡的精確控制。傳統上，航天器指向控制是通過反作用輪來完成的，這些轉子通過旋轉來轉移角動量。由于這些輪子存在缺陷，振動會傳遞到望遠鏡，導致圖像質量下降。本章介紹了一種基于慢速旋轉長支桿的新型驅動策略，這一策略顯著不同于常見的快速旋轉反作用輪。在已知納米衛星軌道和地球磁場的情況下，凸優化運動規劃器能夠直接推理未來的擾動，從而僅通過支桿實現精確的姿態控制。該技術在一個精確的空間望遠鏡上得到演示，在日全食期間需要進行長時間曝光，而支桿不會超過其驅動極限。 第七章提出了一種新的碰撞檢測方法，能夠提供統一框架和光滑的可微性。傳統上，兩個凸形狀之間的碰撞檢測是通過求解兩形狀之間的最近點來完成的。這個問題對于許多常見的凸體是定義明確且容易解決的，但對于接觸的形狀，這個方法是不可微的，因此需要采用不同的算法。我們的方法利用了一個不同的框架：通過凸優化求解兩形狀之間的最小均勻縮放，從而導致它們的交集。這個問題很小，確保定義良好且沒有退化情況。結果凸優化問題的解是平滑且可微的，無論物體的配置如何，且該方法可用于指定代表性運動規劃中的碰撞避免約束。 第八章通過利用第七章相同的框架擴展了連續碰撞檢測。離散碰撞檢測檢查兩個靜態凸形狀是否發生碰撞，而連續碰撞檢測必須考慮形狀在運動時的問題。傳統上，離散碰撞檢測向連續碰撞檢測的過渡需要對算法進行大幅修改，并增加一些限制條件。相反，第七章的框架通過引入時間參數進行了擴展，利用另一個定義良好的凸優化問題來解決連續碰撞信息問題。該方法同樣是完全可微的，并且在碰撞-free運動規劃示例中得到了驗證，證明了離散碰撞檢測不足以避免接觸。 第九章詳細介紹了一種在線學習廣義線性模型的簡單而高效的框架，涉及到連接器插入問題。在這個應用中，插入公連接器到母插座中由于材料的變形、配合的緊密性以及未知的摩擦性質而成為一個難以模擬的挑戰。為了避免學習一個完整的動態仿真器，本研究僅學習控制信號、估計狀態和腕部安裝的力矩傳感器之間的關系。這個關系通過廣義線性模型表示，從而使得模型學習問題變得凸且定義明確。為了解決這個問題，提出了線性模型學習（LML）算法，通過僅使用矩陣-向量操作來遞歸地在線學習全局最優的估計模型。在沒有任何矩陣求逆的情況下，該算法在GPU上非常有效，能夠快速高效地學習大規模線性模型。 第十章探討了剛性點云上準動態仿真的性能，并擴展了常見的公式，以包括真實接觸的必要扭矩摩擦。當與剛性點云發生接觸時，單點接觸無法提供真實的扭矩摩擦，這種摩擦源自于現實中存在的接觸面補丁。為了解決這一問題，對基于優化的仿真框架進行了修改，自然地引入了與法向力成比例的扭矩摩擦項。結果的仿真步驟通過凸優化計算，因此完全可微。所得到的仿真器用于抓取具有真實接觸動力學的高保真點云。 第十一章介紹了一種軌跡束方法，用于使用黑箱仿真器、成本和約束條件進行高精度軌跡優化。現有的基于模型的軌跡優化方法能夠訪問問題中所有成本、動力學和約束函數的導數。在許多情況下，這是一個合理的假設，但對于許多具有挑戰性的機器人任務（如涉及非光滑接觸交互的任務），這些導數可能無法獲得、計算昂貴或不可靠。為了解決這個問題，軌跡束方法通過對當前迭代點進行插值來近似這些函數。這種插值的近似方法無需導數，并且其線性化不同于標準的一階泰勒級數。使用這種近似方法，提出了一個凸優化問題，最小化這些插值函數以計算步進方向，直到收斂。 通過將可微凸優化作為一種穩健的技術，本論文為機器人多個領域提供了簡單且高效的算法，并保證了可預測和安全的性能。通過將這些問題重構為優化優先的方式，得到的算法通常比傳統方法更簡單、更高效，同時具有模塊化和可配置性。

物理啟發的生成模型（如擴散模型）構成了一類強大的生成模型家族。該模型家族的優勢在于相對穩定的訓練過程和強大的容量。然而，仍有許多可能的改進空間。在本論文中，我們首先將深入探討擴散模型在訓練和采樣方面的改進技術。擴散模型的訓練目標在數據分布為多模態時呈現出較高的方差。為了解決這一問題，我們提出了一種訓練目標，它推廣了傳統的去噪得分匹配方法，顯著減少了訓練目標的方差。除此之外，我們還引入了一種將可學習的離散潛變量整合到連續擴散模型中的訓練框架。這些潛變量簡化了擴散模型復雜的噪聲到數據映射的學習過程。

另一方面，擴散模型的采樣過程通常涉及求解微分方程。為加速采樣過程，我們提出了一種新穎的采樣算法，結合了之前常見的ODE和SDE采樣器的優點，大幅提升了預訓練擴散模型的性能。此外，我們的研究探索了在有限樣本中引入互斥力以促進生成過程中的多樣性。 在物理啟發的生成模型領域，許多物理過程都可以用于開發生成模型。我們將介紹一類基于靜電理論的新生成模型家族，稱為泊松流生成模型（PFGM）。PFGM在采樣穩健性上表現出色，并與領先的擴散模型相媲美。其擴展版本PFGM++將擴散模型和PFGM置于同一框架下，并引入了新的、更優的模型。我們還將提出一種系統化的方法，將物理過程轉化為生成模型。

生成模型在近年來顯著改變了人們工作的、創作的和學習的方式。其突出應用包括ChatGPT [1]、文本到圖像模型 [2]-[4]、文本到3D模型 [5]、[6] 和文本到視頻模型 [7]、[8]。這些能力可以極大地激發創造力，并提高眾多領域的工作效率，包括教育、游戲產業、社交媒體和專業編輯軟件。生成模型的訓練基于這樣一個假設，即訓練數據是從未知的數據分布中采樣的 [9]。現代生成模型通常使用深度神經網絡來基于有限的訓練數據逼近復雜的數據分布，并通過從這些建模的分布中采樣來生成新的數據點。

在生成建模中使用的各種數據類型中，高維數據由于維度詛咒而面臨著顯著的挑戰。隨著維度的增加，數據空間的體積呈指數級擴展。這一現象使得在高維空間中用有限的訓練數據有效捕獲和建模數據分布變得困難。此外，感興趣的數據分布通常高度復雜且呈多模態，進一步增加了生成建模的難度。近年來，擴散模型 [10]–[12] 以及更廣泛的物理啟發生成模型 [13]，在處理高維數據的生成任務中，展現了強大的框架并取得了令人印象深刻的結果。在擴散模型之前，主要的方法包括：（i）利用對抗訓練目標的生成對抗網絡（GANs [14]）；（ii）使用最大似然目標訓練的模型，如PixelCNN [15] 和正規化流模型 [16]、[17]；（iii）變分自編碼器（VAEs）[18]、[19] 以及（iv）基于能量的模型 [20]、[21]。然而，每種方法都有其自身的缺點：（i）可能導致訓練不穩定和生成樣本的多樣性低；（ii）需要特定的架構設計，可能限制模型的容量；（iii）需要多個神經網絡的仔細協調；（iv）訓練和采樣速度較慢。利用自然的物理過程作為編碼器將數據轉化為噪聲，擴散模型通過逆轉這些物理過程來執行生成任務。這種方法使它們繞過了早期生成模型的許多限制。

1.1 通過逆轉物理過程進行生成建模

基于熱力學的原理 [10]，擴散模型涉及兩個對立的過程：一個前向過程將數據分布逐漸轉化為一個更簡單的先驗分布，另一個反向過程通過逐步去噪從該噪聲先驗分布中生成樣本。擴散模型中的前向過程是一個簡單的布朗運動，通過逐步增加高斯噪聲來降解數據。為了逆轉這一過程，只需學習一個時間依賴的向量場，即得分函數，并迭代求解一個微分方程 [22]。與GANs和VAEs不同，擴散模型的訓練不需要多個神經網絡之間的同步，從而使訓練過程更加穩定。此外，它們在架構設計上不受限，采用類似于神經網絡串聯的迭代過程，從而增強了整體容量。這種穩定性和增強的容量使擴散模型能夠有效擴展到大規模數據集。

盡管擴散模型具有諸多優勢，但它們仍面臨一些挑戰，包括在處理多模態數據時高方差的訓練過程，以及緩慢的迭代采樣過程。此外，獨立同分布（i.i.d.）的采樣過程往往會導致重復的樣本。這些問題強調了在復雜數據集上穩定和改進擴散模型訓練方法的必要性，并且需要新技術來加速采樣過程并提高小批量樣本的多樣性。此外，擴散模型只是眾多物理啟發生成模型之一。除布朗運動外，仍有許多物理過程尚未開發，可以用來構建生成模型。這引出了一個重要問題：我們能否發現其他物理啟發的生成模型，它們展示出更好的性能？在接下來的部分中，我們將簡要總結擴散模型的改進訓練和采樣技術，并討論我們開發其他物理啟發生成模型的研究，這些將在后續章節中詳細闡述。

1.1.1 擴散模型的改進訓練技術

擴散模型的訓練利用了一種擾動-去噪方法來估計向量場。其過程是先通過高斯噪聲擾動干凈的數據，然后網絡從這些擾動樣本中重構原始數據 [12]。然而，對于復雜的多模態數據，許多干凈的數據點可能被擾動為相似的噪聲樣本，導致訓練目標不明確并引發不穩定性。

在文獻 [23] 中，我們通過多個干凈數據點的加權求和來估計真實目標，精確地指示從擾動樣本到真實向量場的方向。該新穎的訓練目標推廣了傳統的單點估計方法，顯著減少了訓練目標中的方差。因此，在各種擴散模型變體中，樣本質量得到了提高，訓練過程更加穩定，訓練速度也得到了加快。

擴散模型面臨的另一個挑戰是，需要學習一個從單峰高斯分布到多峰數據分布的非線性且高度復雜的映射。這種復雜性增加了訓練的難度，并導致生成常微分方程（ODE）[24] 軌跡呈現強烈的曲率。為解決這一問題，我們在擴散模型中引入了離散潛變量。這些離散潛變量有助于捕獲數據分布中的不同模式，而擴散模型的任務則轉變為基于給定的離散潛變量捕獲每個模式內的連續變化。離散與連續變化的分離建模顯著簡化了模型復雜的噪聲到數據映射的學習過程。這一方法有效降低了擴散模型生成ODE的曲率，尤其是在較大的擴散時間下，整體訓練損失得到了減少。

1.1.2 擴散模型的改進采樣技術

在擴散模型的采樣過程中，求解微分方程通常涉及速度和質量之間的權衡。確定性采樣器（基于ODE的）[25]–[27] 速度快，但性能達到平臺期，而隨機采樣器（基于SDE的）[27]、[28] 樣本質量更好，但速度較慢。我們的分析將這種差異歸因于采樣誤差：ODE采樣器的離散化誤差較小，而SDE中的隨機性會收縮采樣過程中的累積誤差 [29]。

基于這些見解，在文獻 [29] 中，我們提出了一種名為Restart的新采樣算法，該算法結合了ODE和SDE的優點。該方法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。前向噪聲的引入增強了隨機性的收縮效應，而逆ODE過程的遵循則加快了采樣速度。這種將隨機性和確定性采樣過程分離的方法極為有效，Restart在標準基準（CIFAR-10和ImageNet-64）上超過了SDE和ODE采樣器的速度和質量，并在大規模文本到圖像的Stable Diffusion模型中展示了文本-圖像對齊、視覺質量和多樣性的卓越平衡。

傳統上，擴散模型從模型分布中生成獨立同分布的樣本。然而，在實際操作中，模型通常需要多次采樣以獲得一組多樣化的小批量樣本，這會帶來與采樣時間無關的成本。我們提出超越獨立樣本假設，以提高樣本的多樣性和效率。我們的方法引入了一種擴展的基于擴散的生成采樣方法，稱為粒子引導。在這種方法中，聯合粒子的時間演化勢通過在樣本（粒子）之間加入互斥力來強制多樣性。根據實驗結果，我們的框架在文本到圖像生成和分子構象生成等應用中提高了樣本的多樣性并減輕了記憶效應。

1.1.3 基于其他物理過程的生成模型

以擴散模型為顯著例子，物理啟發的生成模型包含一個前向過程，該過程將復雜的數據分布簡化為逐步的先驗分布，隨后通過一個反向過程（即采樣過程）逐步將這些先驗分布還原為原始數據分布。因此，為了定義新的物理啟發生成模型，必須確定一個合適的前向過程。該過程應自然地隨著時間簡化數據分布，并且是可逆的，同時其相關的向量場應該易于被神經網絡學習。 借助靜電學原理，我們為物理啟發的生成模型開辟了一條新路徑，并介紹了泊松流生成模型（Poisson Flow Generative Models, PFGM）[30] 及其擴展版本PFGM++ [31]。PFGM將數據解釋為增廣空間中的電荷。如圖1.1所示，當我們從數據支撐遠離足夠遠時，電荷分布坍縮為一個點電荷，電場在各個方向上呈現輻射狀。因此，可以證明這些電荷發出的電場線定義了數據分布和大半球上均勻分布之間的雙射。實驗結果表明，這一新模型家族在樣本質量、采樣速度和穩健性方面超越了擴散模型。此外，我們還探索了物理過程和生成模型之間的對偶性，旨在概念化和設計更多新的物理啟發生成模型 [13]。

1.2 論文摘要

本論文分為三個主題部分。下面簡要概述每個部分的內容。 第一部分 重點開發新技術，旨在穩定擴散模型的訓練，并在處理復雜的多模態數據集時，優化生成軌跡。

第三章 我們通過引入參考批次來解決擴散模型目標中的高方差問題，并使用參考批次計算加權條件得分，作為更穩定的訓練目標。我們展示了這一過程在具有挑戰性的中間階段中，通過減少訓練目標協方差（的跡）確實起到了幫助作用。本章基于文獻 [23]。

第四章 我們通過一個編碼器推斷可學習的離散潛變量，并對擴散模型和編碼器進行端到端訓練。離散潛變量通過降低擴散模型生成ODE的曲率，顯著簡化了其復雜的噪聲到數據映射的學習過程，并通過ODE采樣器提高了在各種數據集上的樣本質量。本章基于文獻 [32]。

第二部分 討論了加速擴散模型采樣過程的技術，以及通過施加樣本之間的互斥力來促進多樣性。所有討論的技術都不需要重新訓練，且可以直接應用于任何預訓練的擴散模型。

第五章 我們提出了一種名為Restart的新采樣算法，結合了先前ODE和SDE采樣器的優勢。Restart算法在附加的前向步驟中加入大量噪聲，并嚴格遵循逆ODE過程。實驗結果表明，Restart采樣器在速度和精度上均超過了先前的SDE和ODE采樣器。本章基于文獻 [29]。

第六章 我們提出了粒子引導，一種擴展的基于擴散的生成采樣方法，其中通過一個聯合粒子的時間演化勢來強制樣本多樣性。在條件圖像生成中，我們測試了該框架，并證明其在不影響質量的情況下增加了多樣性；在分子構象生成中，我們改進了相較于先前方法的中位誤差。本章基于文獻 [33]。

第三部分 探討了一類新型的生成模型，這些模型基于靜電理論，并與擴散模型在擴展視角下進行了統一。本部分還展望了通過物理過程構建生成模型的方法論。

第七章 我們介紹了一種新型生成模型——泊松流生成模型（PFGM），基于靜電理論。我們將數據點解釋為增廣空間中 z=0 超平面上的電荷，生成一個高維電場（泊松方程解的梯度）。我們證明了，如果這些電荷沿電場線向上流動，它們在 z=0 平面的初始分布會轉化為半徑為 r 的半球上的分布，并且在 r → ∞ 時變得均勻。我們展示了PFGM在圖像生成速度上提供了比先前最先進擴散模型更好的性能。本章基于文獻 [30]。

第八章 我們擴展了PFGM中使用的靜電理論，將擴散模型與PFGM統一起來。更有趣的是，在兩者之間的插值揭示了一個性能最優的新平衡點，達到了圖像生成的新標桿性能。我們為為什么PFGM和擴散模型都是次優解提供了理論解釋。本章基于文獻 [31]。

第九章 我們提出了一個統一的框架和算法，將物理過程轉化為平滑的密度流生成模型。此外，我們基于底層物理偏微分方程（PDE）的色散關系，提出了一種分類標準。這種理論方法可應用于各種物理PDE，從而發現新的生成模型家族。本章基于文獻 [13]。

第十章 我們總結了論文內容并討論了當前的局限性。

生成建模已經成為人工智能的一個熱門應用。然而，當生成模型被錯誤指定，或當生成模型估計器被修改以遵守差分隱私等隱私概念時，模型性能可能會受到負面影響。在本論文中，我們通過展示四項不同的研究，探討了模型錯誤指定和差分隱私下的生成建模。

我們首先介紹了生成建模的相關工作。隨后，我們深入探討了在模型錯誤指定和差分隱私挑戰下研究生成建模的必要性。

作為初步貢獻，我們考慮了用于密度估計的生成建模。處理模型錯誤指定的一種方法是放寬模型假設。我們展示了這一方法在非參數模型中也具有幫助作用。具體而言，我們研究了一種最近提出的非參數準貝葉斯密度估計器，并發現其強模型假設是有限數據集下表現不佳的原因。我們提出了一種自回歸擴展，放寬模型假設，以允許先驗特征依賴關系。

接下來，我們考慮了用于缺失值填補的生成建模。在將當前深度生成填補方法分類為Rubin [1976]引入的不可忽略缺失模型類之后，我們擴展了變分自編碼器的公式，使其根據深度生成建模文獻中尚未研究過的不可忽略缺失模型類進行分解。這些模型顯式地對缺失機制進行建模，以防止在缺失值非隨機情況下的模型錯誤指定。

然后，本論文集中于提高差分隱私下的合成數據生成。為此，我們提出了對差分隱私合成數據樣本進行差分隱私重要性采樣的方法。我們觀察到，生成模型越好，重要性采樣的幫助越大。接著，我們通過考慮差分隱私擴散模型，進一步提高數據生成質量。我們識別了顯著提高DP圖像生成器性能的訓練策略。 我們在論文的最后進行了討論，包括對所展示工作的貢獻和局限性，并提出了未來工作的潛在方向。

在過去的十年里，經典機器學習與現代機器學習之間的差距不斷擴大。現代學習的預測性能不可比擬地更好，但更容易對經典學習進行分析，并保證其安全性、效率、公平性等特性。在本論文中，我探討了通過審慎和戰略性地結合經典技術，是否有可能將這些期望的特性恢復到現代機器學習中。我將經典與現代學習的結合歸納為兩種高級策略：（1）封裝，即通過經典分析技術從現代的、不透明的模型中提取可靠的性能保證，或（2）替換，即從經典的基礎構建現代模型的某些組件，以提高整體的效率、可處理性和/或表達能力。這些努力在機器學習的多個領域帶來了新的進展。本論文的最重要貢獻涉及元分析，這是一種結構化的問答形式，作為循證醫學的基礎。經典元分析技術基于隨機對照試驗，其因果效度受到信任；相比之下，現代回歸模型是在大型觀察性數據庫上訓練的，其因果效度不被信任。我展示了如何在不犧牲效度的情況下將不可信的數據納入元分析中。這涉及對完全共形預測的基本改進，這些改進具有普遍的意義。在一個更聚焦的醫療保健應用中，我推廣了經典的、手工設計的心率變異性統計，使其能夠通過監督學習進行微調，成為深度神經網絡的一部分，從而生成更準確的、生理學知情的模型。我還提出了一些可以在未來機器學習模型和算法中使用的基礎計算原語。第一個是一種算法，可以在O(log T)的并行時間內（近似）運行T步非線性RNN。該算法的關鍵創新在于通過一種證明一致的局部、可并行修正方案，用深度上的非線性替代時間上的非線性。通過這種方式，經典線性動態系統（也稱為狀態空間模型）可以堆疊起來形成快速的非線性序列模型。另一個新的計算原語是在所有正交多項式序列集合上進行基于梯度的優化。這種優化形式與信號處理和優化中的許多不同問題都有聯系。最后，我提出了基于學習理論和優化中廣泛使用的幾何邊界概念的公平性標準，以規避計算的不可處理性。

分布變遷仍然是成功和可靠部署機器學習（ML）系統的重大障礙。解決這些脆弱性的長期方案只能通過理解基準測試根本無法捕捉所有可能發生的變化而實現；同樣重要的是，通過仔細實驗AI系統，理解它們在實際分布變遷下的失敗。本論文描述了我在構建可信賴和可靠的機器學習基礎方面的工作。調查的工作大致分為三個主要類別：（i）設計正式的、實用的真實世界分布變遷結構表征；（ii）利用這種結構開發證明正確且高效的學習算法，能夠穩健處理這種變遷；以及（iii）實驗現代ML系統，理解現實世界重尾和分布變遷的實際影響，包括平均情況和最壞情況。

第一部分描述了可擴展地認證深度神經網絡對對抗攻擊的穩健性的工作。所提出的方法可用于認證對測試樣本、訓練數據或更一般地對任何影響模型最終預測的輸入的攻擊的穩健性。在第二部分中，我們關注變遷的潛變量模型，借鑒因果關系和其他結構化編碼的概念。我們展示了這些模型如何通過環境/干預復雜性這一新視角，進行使用多種分布進行穩健深度學習的方法的正式分析。環境/干預復雜性是領域泛化和因果表示學習的核心統計測量，通過訓練分布數量和多樣性來量化誤差和/或結構化可識別性條件。最后，在第三部分中，我們廣泛探索了更好地理解和利用自然數據中的變化的方法，并展示了所得見解如何促進設計在現實世界中更加穩健和可靠的新方法。

預測算法通過其在未見測試數據上的表現來評估和重視。在經典的機器學習（ML）中，通常假設這些數據是相互獨立地從與訓練算法所用數據集相同的分布中抽取的（這被稱為IID假設）。然而，在現實世界中，這種情況幾乎從未滿足。IID假設作為一種有價值的抽象，用于研究如何高效且可靠地從數據中學習。然而，統計學家早已明白這一假設是一種過度簡化，現實世界的數據底層分布不斷發生變遷：例如，時間上的變遷、異質子群體間的變遷、因過去行為而引發的變遷等。由于現實與理想化的IID數據假設之間的這種差異，在分布內提供強泛化保證的算法（如經驗風險最小化[Vapnik, 1999]）在現實世界中會出乎意料地失敗，通常伴隨著高置信度且無事先警告。特別是，盡管現代深度神經網絡在許多任務上實現了超人表現，但越來越多的證據表明，其令人難以置信的泛化能力主要限于測試數據與訓練數據非常相似的情況下。這些模型似乎依賴于數據的統計信息表示——出于尚未完全理解的原因——遠遠超越了對訓練數據的簡單記憶，但這些表示通常不能使其泛化到新領域或新任務。即使是對于看似微不足道的人類變化，這種情況也依然存在（Beery et al., 2018; Geirhos et al., 2018）。因此，現代最先進的生成和判別深度網絡在部署中是脆弱的，并且在出人意料的輕微分布變遷下容易出錯（Su et al., 2019; Recht et al., 2019）。

在考慮如何解決這一弱點時，人們可能會想象使得上述深度學習取得實際成功的方法最終也能解決這個問題。過去十年ML研究驚人速度的主要推動力是“基準測試方法”：通過對代表性基準數據集的一系列任務進行一致的、逐步的改進來推進。盡管這一策略的成功是不可否認的，但顯然它不足以實現真正穩健和可靠的ML未來。人工智能（AI）正在迅速部署到無數新的領域——并且只會變得更加普遍——但它尚不能被廣泛依賴，而意外失敗的潛在成本仍在增加。同時，在現實世界中引發這種失敗的變遷例子比比皆是：例如，自動駕駛汽車遇到的簡單景觀和/或天氣變化，或者用戶調整其行為以增加他們首選結果的可能性（Hardt et al., 2016）。更糟糕的是，AI越來越多地被用于安全關鍵環境，這在面對有意的對手時呈現出嚴重的安全漏洞（Sharif et al., 2016）。這種脆弱性仍然是進一步可信賴部署ML系統的重大障礙。

解決這些脆弱性的長期方案只能通過理解基準測試根本無法捕捉所有可能發生的變化而實現。但是，顯然對所有分布變遷的穩健性是不可行的。相反，我們必須首先設計精確、現實的真實世界分布變遷的數學定義：通過正式指定我們希望穩健應對的變遷的“威脅模型”，我們將能夠朝著正式的穩健性保證可靠地前進。同時，ML理論和實踐（特別是在深度學習中）之間經常存在不匹配，因此單單數學定義變遷是不夠的。我們還需要仔細實驗AI系統，以理解它們在實際中的失敗模式——只有通過這樣的實驗，我們才能理解和調和現實世界數據與我們的數學理解之間的差異。反過來，這將推動新型、更可靠且可解釋的ML方法的發展，對性能產生實際的下游益處。

本論文描述了通過結合這兩種核心方法，為可信賴和可靠的機器學習奠定基礎的進展。更具體地說，所調查的工作大致分為三大類：（i）設計正式的、實用的真實世界分布變遷結構表征，包括良性和對抗性的；（ii）利用這種結構開發證明正確且高效的學習算法，能夠穩健處理這些變遷；以及（iii）實驗現代ML系統，以理解分布變遷的實際影響，包括平均情況和最壞情況，以便未來的分析能夠更好地捕捉我們期望AI在未來遇到的困難類型。

論文概述

**第一部分

本論文的第一部分描述了大規模認證深度神經網絡對抗攻擊穩健性的工作。第2章展示了如何將任何在高斯噪聲下分類良好的分類器轉變為對?2范數下的對抗擾動具有認證穩健性的新分類器。我們證明了使用高斯噪聲平滑在?2范數下的緊密穩健性保證，獲得了一個在ImageNet上在?2范數小于0.5 (=127/255) 的對抗擾動下具有49%認證top-1準確率的分類器。在第3章中，我們展示了如何使用所提出的方法來認證對更一般的攻擊的穩健性，例如對訓練數據的對抗性修改，或更一般地說，任何影響模型最終預測的輸入。

**第二部分

第二部分側重于變遷的潛變量模型，靈感來自因果關系和其他提出的真實世界變化的結構化編碼。我們展示了這些模型的重要性及其如何使使用多種分布進行穩健深度學習的方法的形式化分析成為可能。特別是，我們通過環境/干預復雜性這一新視角研究這些算法的行為——這是領域泛化和因果表示學習的核心統計測量，通過觀察的環境數量來量化誤差和/或潛在特征的可識別性。第4章在一個相當自然和一般的模型下，首次分析了為這些任務提出的各種目標下的分類。我們還在非線性領域中展示了這些方法的首個結果：除非測試數據與訓練分布足夠相似，否則這些方法可能會災難性地失敗。隨后在第5章中，我們提供了改進的分析以及更強的下界。第6章考慮了在線領域泛化的設置，首次正式量化了領域“插值”和“外推”之間的計算復雜性差距。

**第三部分

論文的最后一部分廣泛探索了更好地理解和利用自然數據中的變化的方法。首先，在第7章中，我們展示了預訓練特征足以生成比以前認為的更穩健的預測器。第8章描述了這一發現如何使得使用未標記的測試數據以證明神經網絡適時適應變遷，或給出（幾乎）有證明的非空的測試誤差界成為可能。接下來，第9章開發了一種穩健優化方法用于策略分類，使得雙重穩健預測能夠優雅地處理策略響應和用戶成本函數中的不可避免的不確定性。最后，第10章展示了離群值對神經網絡優化的顯著影響——這一結果為理解自然數據的重尾如何影響網絡行為提供了新的見解，并提出了神經網絡優化中各種現象起源的更一致的圖景。

動態穩定移動操縱器的使用正從受控研究實驗室擴展到真實世界。然而，自主操縱技能仍然專門用于單一任務，并且只能處理對象物理屬性的有限變化，這阻礙了機器人在非結構化人類環境中的部署。本論文關注于動態穩定移動操縱器的整體運動規劃和控制，以及為控制器提供實時適應由于與物體交互而引起的機器人動力學變化。

動態穩定移動操縱器，即配備機器人手臂的積極平衡移動機器人，在為人類設計的環境中工作潛力非常大。然而，它們的靈活性和順應性需要高控制復雜性。傳統的控制策略將移動和操縱問題分別處理，需要額外的啟發式方法來實現整體協調。此外，基于逆動力學的控制器不考慮系統未來的演變，這對平衡控制至關重要。另一方面，在本論文中，我們提出了一種基于模型預測控制（MPC）的整體運動規劃和控制公式。我們的方法利用了完整的機器人動力學，并共同優化平衡、基座追蹤、末端執行器追蹤和環境交互。我們在一個球平衡操縱器的廣泛實驗中驗證了所提出的整體MPC控制器。

當機器人動力學不準確或操縱新物體時，模型不確定性可能嚴重影響MPC的性能和通用性。為了解決這個問題，我們提出了兩種在線適應方案，用于MPC系統動力學中的物體參數，我們在一個球平衡操縱器的開門和舉起物體任務中展示了這一點。盡管我們最初將外部環境建模為線性系統，但對于更復雜的操縱任務或機器人動力學中的不確定性，需要更具描述性的表示。因此，我們提出將模型誤差近似為三角函數基函數的線性組合。假設當機器人執行類似操縱任務時，動力學的基本結構不會發生顯著變化，我們從相關實驗中收集的數據學習基函數的超參數，例如，讓機器人打開具有不同剛度系數的門。執行新任務時，基函數的超參數保持不變，而線性參數在線適應。我們在仿真和硬件實驗中測試了得到的多任務學習MPC控制器，并與其他自適應MPC控制器進行了廣泛比較。

最后，為了在參數不確定性下獲得更好的跟蹤性能，我們將機器人操縱器自適應控制中導出的控制Lyapunov函數（CLF）約束納入最優控制問題的不等式集合中。因此，我們獲得了一種結合了CLFs和MPC優勢的自適應控制器，在機器人與未知物體交互時提供了改進的性能，并減少了對MPC預測范圍調整的依賴。我們通過與幾個基線的比較展示了所提方法的優勢，并在一個四足機器人搬運磚塊和拖拽重箱的硬件測試中驗證了它。