亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人類在日常生活中通過多種感官與環境互動：視覺用于感知和理解環境，身體意識用于定位，語言用于交流和語義理解，觸覺則用于接觸反饋。同樣地，機器人在面對非結構化的真實世界環境中的操作任務時，也需要具備類似的多感官整合能力。

本論文探討了如何融合多種感知輸入，以提升機器人在現實世界中操縱物體的能力。通過整合視覺（為機器人提供詳細的空間信息）、本體感覺（提供身體位置反饋）、語言（理解并執行指令）以及觸覺（提供精細接觸信息），我開發了安全、高效且具有良好泛化能力的機器人系統。 論文中的研究貢獻涵蓋多個方向，包括：感知-運動控制、運動規劃、模仿學習、機械搜索、富接觸操作任務以及多模態對齊，整體目標是提升機器人在跨模態感知、推理與行動能力，突破單一感知模態的局限。 研究首先從視覺與本體感知的融合出發，以增強機器人在分布偏移條件下的控制魯棒性，并通過基于擴散模型的軌跡生成方法提升規劃效率。接著，提出了一種基于**“下一個 token 預測”機制的上下文模仿學習方法**，使機器人能通過 prompt（提示）快速適應新任務。 隨后，論文將視覺與語言的融合引入到遮擋物體的機械搜索與通用操作任務中。借助大型視覺-語言模型（Vision-Language Models），實現了更強的語義推理能力，從而獲得更有效的操作策略。 進一步地，我研究了觸覺傳感在高精度操作任務（如工業插接與布料處理）中的應用，提出了自監督策略學習與視覺-觸覺預訓練方法，顯著提升了任務成功率。 最后，我構建了一個新的對齊視覺、觸覺與語言的多模態數據集，以支持機器人領域的多模態學習研究。 通過理論分析、仿真實驗與真實機器人實驗，本論文全面展示了多模態感知如何增強機器人操作任務中的泛化能力、適應性與安全性。 //www2.eecs.berkeley.edu/Pubs/TechRpts/2025/EECS-2025-68.html

在自主智能體（無論是軟件形式還是具身實體）應用中，交互式決策制定對于其有效運作至關重要。通常，智能體在一個多智能體環境中進行交互，其目標是實現各自或共享的目標。

在本論文中，我們研究了多智能體自適應決策問題，并以**多智能體主動搜索（Multi-Agent Active Search, MAAS）**框架為基礎，重點聚焦于多機器人團隊在搜索與救援、野生動物巡邏或環境監測等應用場景中的實踐問題。

MAAS涉及一個機器人團隊（智能體）在其過去觀測的基礎上，決定何時、在哪里獲取周圍環境的信息，以估計不同目標物體（OOIs，感興趣物體）的存在與位置。智能體之間通過異步通信進行協作，無需依賴中心控制器協調其互動。在實際環境中，智能體間通信可能并不可靠，而且野外環境中的機器人還需應對觀測噪聲和隨機動態的環境因素。我們在第一章中對MAAS進行了形式化建模，引入了針對空地機器人在感知、噪聲和通信約束方面的現實模型。

本論文第一部分研究了在MAAS中使用Thompson采樣和蒙特卡洛樹搜索（Monte Carlo Tree Search）進行非短視（non-myopic）前瞻性決策的優勢。同時，我們還引入了面向成本的多目標帕累托優化（Pareto optimization）框架，用于主動搜索問題，并指出該問題在部分可觀測、去中心化的多智能體決策及其組合狀態-動作空間的計算復雜性方面所面臨的挑戰。

第二部分聚焦于觀測噪聲和目標動態性所帶來的實際挑戰，并提出了基于貝葉斯濾波（Bayesian filtering）的算法。實驗結果表明，不確定性建模對于推理和決策過程的重要性不容忽視。 第三部分則轉向用于決策制定的生成模型，特別是**在存在觀測噪聲的前瞻性MAAS中采用去噪擴散采樣（denoising diffusion sampling）**方法。最后，我們探討了上述方法在機器人多智能體決策以及其他具有類似現實約束的應用中的可行性與局限性。

隨著神經網絡語言模型的廣泛應用，深入理解其內部運行機制的需求日益迫切。本論文旨在揭示大型語言模型（LLMs）內部潛在計算規律，為未來強大AI系統的監測、控制和對齊奠定理論基礎。基于開源語言模型，我們重點探索了四個關鍵領域：神經元層面的概念編碼、模型初始化間學習特征的普適性、時空表征的存在性，以及基礎動力系統建模。第二章改進了最優稀疏分類方法在神經網絡探測中的應用，通過這種稀疏探測技術，我們在全尺寸LLMs中同時發現了單語義神經元（專一編碼單一概念）和多語義神經元（疊加表征多個概念），驗證了簡化模型的預測。第三章通過計算大數據集上神經元激活的成對相關性，系統識別并分類了不同模型初始化間的普適性神經元。研究發現1-5%的神經元具有普適性特征，這些神經元往往具有明確的可解釋性，我們將其劃分為不同的神經元家族。為探究時空表征特性，第四章通過精心構建的現實世界實體數據集分析LLMs激活模式。研究發現模型能夠學習多尺度的線性時空表征，這些表征對提示變化具有魯棒性，且在不同實體類型間保持統一。我們識別出專門編碼空間坐標的"空間神經元"和時間坐標的"時間神經元"。第五章采用最優稀疏回歸技術改進了非線性動力系統稀疏識別（SINDy）框架，在典型微分系統中實現了樣本效率和支持恢復率的提升。基于此改進，我們進一步研究了LLMs在上下文學習中表征動力系統的能力，發現了跟蹤底層系統狀態的內部表征。

深度神經網絡，尤其是大語言模型（LLMs），在廣泛的任務中展現了顯著的成功；然而，其訓練過程計算密集，需要大量的數據和計算資源。即使是對預訓練的LLMs進行特定任務的微調，也常常帶來顯著的計算成本。本論文從凸優化的視角出發，推進了對神經網絡的理論理解和實際優化。我們首先提出了一個基礎性結果：兩層ReLU網絡的正則化訓練問題可以重新表述為凸優化問題。這種凸優化公式化闡明了優化景觀，刻畫了所有全局最優解和Clarke穩定點，并將模型性能與超參數選擇解耦。借鑒壓縮感知中最稀疏線性模型的恢復，我們證明了過參數化神經網絡本質上學習能夠有效解釋數據的簡單模型，并通過在隨機生成數據集中觀察到的相變現象支持了這一結論，從而確立了其卓越的泛化能力。將強對偶性概念擴展到深層網絡，我們提出了一種并行架構，能夠在修改正則化的情況下實現全局最優訓練，同時也為標準架構中非零對偶間隙的存在提供了見解。通過將正則化ReLU網絡的訓練與NP難問題Max-Cut聯系起來，我們嚴格分析了訓練到全局最優的計算復雜度，得出了NP難證明，并為特定類型的數據集開發了高效的多項式時間近似算法。即使在缺乏顯式正則化的情況下，梯度流的隱式正則化也會驅動收斂到非凸最大間隔問題的全局最優解。我們通過利用隨機幾何代數對大語言模型（LLMs）進行微調，展示了凸優化的實際應用。我們進一步通過凸幾何和對偶視角分析了用于訓練兩層ReLU網絡的非凸次梯度流，表明其隱式偏差與凸正則化一致，并在對偶變量滿足特定條件時證明了其收斂到全局最優解。最后，我們提出了一種半定規劃（SDP）松弛方法，用于近似具有平方ReLU激活的兩層網絡中的Wasserstein梯度，確保在特定條件下的緊密松弛，并展示了其在貝葉斯推斷和COVID-19參數估計中的有效性。這些發現填補了關鍵的理論空白，并引入了具有深遠意義的創新方法，推動了我們對神經網絡訓練過程的理解。

本論文研究了多模態基礎模型在開發和訓練中的關鍵挑戰，重點關注當前監督微調（SFT）方法的局限性，并探索強化學習（RL）在實現魯棒泛化方面的潛力。研究工作分為兩個主要部分：第一部分：理解監督微調下多模態基礎模型的局限性盡管多模態大語言模型（MLLMs）在基準任務上表現出色，但在需要更深層次理解或適應新情境的看似簡單任務中，它們常常表現出令人驚訝的弱點。本論文首先研究了 MLLMs 中的災難性遺忘現象，即在新任務上進行微調可能導致模型在先前學習任務上的性能顯著下降。我們引入了多模態評估框架（EMT），這是一種新穎的評估方法，旨在系統性地評估這種遺忘現象。研究結果表明，即使是利用強大預訓練視覺編碼器的 MLLMs，在經過 SFT 后，在基本圖像分類任務上的性能也會顯著下降。此外，我們深入探討了 MLLMs 在視覺方面的具體缺陷。我們提出了多模態視覺模式基準（MMVP），這是一組精心設計的視覺問答任務，旨在探測這些模型的視覺基礎能力。結果顯示，當前最先進的 MLLMs 存在系統性缺陷，突顯了底層視覺編碼器（如 CLIP）的弱點與整體模型性能之間的強相關性。這些發現表明，當前的 SFT 方法雖然在任務特定適應方面有效，但可能不足以賦予 MLLMs 強大的視覺理解能力和保留先前習得知識的能力。第二部分：利用強化學習實現魯棒泛化認識到 SFT 的局限性后，本論文進一步探索了強化學習（RL）在實現更魯棒和可泛化的多模態智能方面的潛力。我們提出了一種新穎的框架，用于通過 RL 微調大型視覺-語言模型（VLMs），使其能夠在需要視覺理解和語言推理的任務上進行端到端訓練。該框架的一個關鍵組成部分是引入了思維鏈（CoT）提示，利用 VLMs 固有的推理能力來促進更高效的探索和學習。我們對 RL 和 SFT 進行了對比分析，重點關注對未見規則變化和新視覺情境的泛化能力。結果表明，與 SFT 相比，RL 微調始終能帶來更優越的泛化性能。通過 RL 訓練的模型在規則修改的任務上表現更好，能夠更有效地適應視覺輸入的變化，甚至展現出增強的底層視覺識別能力。此外，我們研究了推理時計算的作用，證明在 RL 訓練期間增加驗證迭代次數可以進一步提高泛化能力。這突顯了 SFT 雖然為指令遵循提供了必要的基礎，但 RL 對于在復雜、動態環境中實現魯棒、適應性強的性能至關重要。總結本論文提供了有力的證據，表明當前基于 SFT 的多模態基礎模型訓練存在局限性，并展示了 RL 在克服這些局限性方面的巨大潛力，為開發更具泛化能力和智能的 AI 系統鋪平了道路。

市場算法在現代生活中隨處可見，無論是在在線還是線下的場景中。歷史上，市場在供需匹配中起到了基礎作用，設計者通過優化規則以實現全局目標，而參與者則通過優化策略以實現個人目標。決策理論和機制設計不斷發展，以研究并指導這些市場的行為和結構。

本論文探討了市場設計與算法決策制定交匯處的一些關鍵問題：戰略決策者如何在選擇中進行權衡，資源提供者如何在有限資源下為戰略參與者分配資源？信息技術的出現和數據可用性的增加徹底改變了市場，使其具備了前所未有的規模、效率和控制力。這一發展使機制設計者能夠創造或調整市場條件，只要我們了解其對設計者目標的影響。

在本論文中，我們研究了動態環境下的市場算法及其在實際非理性條件下的表現，分析了偏離理想模型對設計者和參與者效用的影響。我們考察了市場失衡、資源擴增，以及主導賣方所面臨的競爭等環境變化。對于參與者，我們考慮了計算能力有限、行為有偏差或使用學習算法的代理人。我們的研究旨在為市場算法在實際復雜性和多樣化參與者行為中的穩健性和適應性提供深入見解。

AlphaGo和ChatGPT可能是過去十年中人工智能領域最重要的兩項突破。這些技術得益于在序列決策（例如，規劃、搜索和強化學習）以及基礎模型（例如，基于互聯網數據訓練的語言和視頻生成模型）方面的研究。本論文提出了在現實世界決策任務背景下，利用具有廣泛知識的基礎模型的新技術、算法和框架，這些研究將影響對話代理的構建、機器人控制和科學發現等應用。本論文從離線環境中的傳統決策制定開始，逐步通過表示學習和生成建模引入更廣泛的互聯網規模數據。論文強調了理論基礎與實際應用的結合。本論文的主要貢獻包括離線強化學習的算法進步、面向決策制定的表示學習改進、作為強化學習替代的全新生成建模技術，以及基于互聯網規模的生成代理和生成模擬器，所有這些都旨在增強基礎模型的決策能力，并使之相輔相成。通過廣泛的實證和理論分析，本論文表明，基礎模型在得到適當利用時，可以顯著提高決策任務的效果。這些發現為將機器學習模型與現實世界應用整合提供了新的方向，為更智能、適應性更強、效率更高的系統鋪平了道路。 在過去的十年中，人工智能（AI）領域的兩項重要突破包括2016年人工智能圍棋玩家AlphaGo擊敗人類選手李世乭 [21]，以及2022年部署的人工智能聊天機器人ChatGPT [22]。這些技術進步得益于在序列決策和基礎模型方面的研究。在序列決策中，目標是讓計算機（代理）自動決定一系列動作（例如，在哪里放置圍棋子），并且讓計算機基于來自環境的反饋（例如圍棋比賽的結果）自動改進這些決策。機器學習在序列決策中的方法涉及訓練決策策略，即基于當前觀測（例如圍棋棋盤）選擇動作的策略，通過試驗和錯誤的方式進行訓練。這種方法在環境支持無限訪問的游戲場景中表現良好，但在現實世界中超越游戲場景的規模時卻難以實現，因為在現實環境中無限訪問是不切實際的。即使在游戲場景中，先前在序列決策中的工作大多集中在任務特定或“白板”設置中，缺乏先驗知識 [23]。因此，先前的序列決策工作在泛化和樣本效率方面通常表現不佳，例如解決單個Atari游戲需要7個GPU天的交互游戲時間 [24]。 最近，基礎模型（定義為使用自監督學習在大規模數據上訓練的大型機器學習模型 [25]）在互聯網上的大量數據上進行了訓練。例如，自回歸語言模型 [26, 27]通過從互聯網抓取的文本數據來預測給定前述單詞（標記）后的下一個單詞（標記）。類似地，視頻生成模型 [28, 29]通過從互聯網抓取的視頻數據，在給定語言輸入和/或前述幀的情況下，預測下一幀。因此，這些模型能夠生成高度逼真的自然語言和視頻。然而，模仿互聯網內容并不是這些模型的最終目標。這些模型的最終目標是解決現實世界中的任務，如回答人們的問題和模擬現實世界的交互。為了實現這一目標，這些模型生成的內容必須由人類控制。如何引導這些模型根據用戶反饋生成理想的內容，以及如何使這些模型做出一系列決策以完成某些復雜任務（例如構建網站），是序列決策的核心問題。將基礎模型研究和序列決策研究結合起來具有巨大的優勢。一方面，基礎模型中的廣泛知識可以提高決策算法的樣本效率和泛化能力。另一方面，決策算法可以對原本與任務無關的基礎模型進行任務特定的優化。本論文研究了基礎模型在決策制定中的技術、框架和算法，并展示了如何將基礎模型中的廣泛知識有效轉化為任務特定的決策，以更好地解決廣泛的問題和應用。 本論文通過從傳統的決策制定技術開始，研究在離線數據集設置下的基礎模型在決策制定中的應用，隨后逐步引入更廣泛的數據，最終整合互聯網規模的視覺和語言數據。我們將對利用基礎模型解決序列決策問題的理論方面和實際應用方面給予高度關注。本論文的工作基于先前關于序列決策的研究思想，但新提出的方法展示了更高的全面性和可擴展性。 本章的其余部分組織如下。第1.1節介紹了基礎模型，這是一種在互聯網規模數據上訓練的機器學習模型。本節討論了訓練基礎模型的常見技術，包括表示學習和生成建模。隨后描述了基礎模型的局限性，包括指令遵循、長時間推理、多步驟規劃和多模態處理。然后概述了本論文如何通過結合決策制定技術來應對其中的一些挑戰。第1.2節描述了序列決策的典型設置和常見的決策制定算法，包括模仿學習、強化學習、搜索和規劃。接下來，本節重點介紹了序列決策的主要瓶頸，包括樣本效率和缺乏良好的視覺和文本表示。最后，簡要介紹了本論文如何通過結合基礎模型來應對這些挑戰。第1.3節闡述了本論文的貢獻，并總結了其結構。

現代機器學習模型的脆弱性引起了學術界和公眾的廣泛關注。在本論文中，我們將系統研究幾種機器學習模型的理解與改進，包括平滑模型和通用表征網絡。我們特別關注表征魯棒性的研究，將其定義為給定網絡在隱含空間中的“魯棒性”（或廣義上的可信屬性）。對于通用表征網絡，這對應于表征空間本身，而對于平滑模型，我們將網絡的logits視為目標空間。表征魯棒性是許多可信賴AI領域的基礎，例如公平性和魯棒性。

在本論文中，我們發現隨機平滑的可證魯棒性是以類別不公平性為代價的。我們進一步分析了改進基礎模型訓練過程的方法及其局限性。對于通用的非平滑表征模型，我們發現自監督對比學習與監督的鄰域成分分析之間存在聯系，這自然地使我們提出了一個可以實現更高準確性和魯棒性的通用框架。此外，我們意識到當前基礎表征模型的評估實踐涉及在各種現實任務上進行大量實驗，這既耗費計算資源又容易導致測試集泄漏。為此，我們提出了一種更輕量級、保護隱私且健全的評估框架，通過利用合成數據來評估視覺和語言模型。

**1.1 研究動機

深度神經網絡對人眼難以察覺的對抗性擾動的脆弱性，自從開創性工作[170, 7]發表以來，已經引起了機器學習領域廣泛的關注。這一問題在多個機器學習領域中都是一個重要的關注點，從計算機視覺[170]到語音識別[17]，無不如此。特別是在安全關鍵的應用中，如自動駕駛汽車和監控系統，幾乎無法容忍任何錯誤決策。因此，深度神經網絡中對抗樣本的存在，促使了對魯棒性量化的研究，以及旨在增強這種魯棒性的訓練算法的設計[42, 47, 95]。在本論文中，我們旨在理解和改進現代機器學習模型的表征魯棒性。

**1.1.1 機器學習模型的表征魯棒性

表征魯棒性指的是神經網絡模型中隱含空間的可靠性。這一概念在機器學習中尤為重要，因為網絡的隱藏層應該從輸入數據中捕捉到復雜的模式。在本論文中，我們將表征魯棒性定義為這些隱藏表示在面對不同輸入或擾動時，能夠維持理想的可信屬性的能力。理想的可信屬性可能包括準確性、公平性、對抗性魯棒性等。對于一個通用的表征網絡 Φ(?)\Phi(\cdot)Φ(?)，隱含空間的自然選擇是表征網絡的輸出空間。這些構建的空間通過表征學習被專門訓練用于編碼關于輸入數據的關鍵信息，使網絡能夠通過一個簡單的任務特定下游網絡執行分類、回歸或生成等各種任務。另一方面，在平滑模型的背景下，平滑濾波器應用于整個基礎網絡

。因此，我們將直接將網絡的

視為評估表征魯棒性的目標空間。在這種情況下，我們特別感興趣的是基礎網絡和平滑網絡之間的不同表現。 研究表征魯棒性對于推動機器學習領域的發展至關重要，原因有以下幾點。首先，正如將在論文的后續章節中討論的那樣，對每個組件（如表征網絡、平滑操作符等）的深入理解有助于我們更加謹慎和意識到這些操作可能產生的副作用。這種理解也將為改進這些網絡設計奠定基礎。其次，隨著機器學習社區逐漸將重點轉向任務無關的預訓練和任務特定的微調，魯棒的表征變得越來越重要。在安全關鍵的應用中，由于脆弱表征導致的錯誤預測可能會產生嚴重后果。從這個角度來看，表征魯棒性是許多可信賴AI領域的基礎，因為預訓練的表征網絡將對任何基于它的機器學習系統的整體可信賴性產生貢獻。通過研究和增強表征魯棒性，可以構建更具彈性的AI系統，并防止錯誤的傳播。

隨著深度學習逐漸滲透到計算機視覺和自然語言等領域，并且越來越多地與可能影響人類的關鍵系統相結合，解決人工智能安全問題成為該領域的核心挑戰之一。在這些重要系統中，首要目標不再僅僅是構建最準確的AI模型，而是構建那些既高度準確又能被證明安全的AI模型。本論文探討了AI安全的兩個重要方面：穩健性和公平性。穩健性要求模型在輸入分布與訓練時遇到的分布不同的條件下也能表現良好。公平性是一種安全屬性，要求模型的預測對不同個體和群體是公平的。 在論文的第一部分中，我們專注于穩健性。我們首先提出了一種新穎的認證方法，可以保證模型對輸入變換具有穩健性，并在第二章中擴展了這一方法，使模型訓練時能夠被證明是穩健的。這些貢獻基于諸如通過優化和采樣進行認證的新技術，以及通過在凸松弛中找到對抗性樣本進行訓練的新方法。論文的第二部分探討了公平性問題，我們開發了新的方法來學習可以證明滿足個體或群體公平性的公平表示。此外，我們還將個體公平性與穩健性聯系起來，使我們能夠利用論文第一部分中的技術來解決公平性問題。

本論文中提出的方法具有廣泛的應用潛力，例如，穩健性方法可以應用于更復雜的輸入變換，而群體公平表示學習也可以用于將輸入編碼為更具隱私性的表示。我們相信，本論文中提出的方法改善了我們對可證明的AI安全性的工具集，并且在未來可能應用于更多的系統中。

在過去的十年中，深度學習取得了顯著的成功。基于深度學習的模型現已應用于各種不同的領域，如推薦系統[16]、計算機視覺[17, 18, 19]，并最終應用于涉及自然語言的一般任務[20]。然而，隨著深度學習模型能力的提高，人們也對其安全性產生了重大擔憂，因為這些模型不僅單獨使用，而是作為更大系統的一部分，其預測可能會對人類產生下游影響。例如，計算機視覺模型可以用作自動駕駛車輛的一部分，幫助其檢測路標，其預測直接關系到乘客和其他交通參與者的安全性。又如，用于預測學生GPA的模型可能會用于大學錄取，這意味著其預測質量可能影響個人的教育道路。這凸顯了研究人工智能安全性的重要性，更具體地說，研究這些系統在最壞情況下的性能，以確保它們在盡可能多的情況下能夠正確運行。

在本論文中，我們聚焦于安全AI的兩個方面：穩健性和公平性。如果機器學習模型在輸入變化的情況下能夠正確運行，那么它就是穩健的。這些變化可能由對手故意施加（例如，有人故意在圖像中添加噪聲），或者在推理過程中自然發生（例如，攝像頭拍攝的圖像發生位移）。解決這個問題對于開發能夠在環境變化時仍能良好運行的機器學習系統至關重要。公平性是AI安全性中的另一個重要議題，隨著機器學習模型通常基于有偏數據進行訓練，它們往往開始表現出這種偏見行為。在本論文中，我們專注于個體公平性（要求相似的個體獲得相似的結果）和群體公平性（要求兩個群體之間的平均預測相似）。隨著機器學習越來越多地用于做出重要的社會決策，充分解決公平性問題變得尤為重要。

目標 本論文的主要目標是推進能夠保證機器學習模型穩健性和公平性的方法。為此，我們結合使用了形式化方法（如抽象解釋和凸松弛）和統計方法（如有限樣本界）。具體而言，在第3章中，我們引入了一種基于優化和采樣相結合的方法，以證明機器學習模型在幾何變換下的穩健性。接著，在第4章中，我們不僅考慮認證模型，還通過潛在對抗性樣本的訓練概念，訓練模型使其被證明是穩健的。第5章首次處理了預處理輸入數據的問題，從而使數據消費者可以證明個體公平性。最后，第6章介紹了一種新的預處理方法，使得轉換后的輸入無法用于推斷敏感屬性，從而保證了任何下游分類器的群體公平性。 在表1.1中，我們總結了本論文的貢獻，每一行對應一個章節：章節中考慮的安全屬性以及用于檢查安全性的關鍵方法。接下來，我們對本論文的貢獻進行總體概述，并按照不同章節進行區分。安全屬性方法章節幾何穩健性優化和采樣第3章局部穩健性潛在對抗性樣本第4章個體公平性邏輯和連續約束第5章群體公平性通過歸一化流編碼第6章 1.1 第3章：幾何穩健性的認證 我們的第一個貢獻是由一個實際場景所驅動的，在該場景中，輸入首先經過幾何變換，然后再傳遞給網絡。這可能發生在拍攝圖像的攝像機旋轉或移動時。雖然先前的工作通過對變換中的每個操作應用區間界限來處理這個問題，但我們工作的關鍵見解是我們可以將其公式化為一個優化問題，該問題的解是整個變換序列的最緊線性界限。我們開發并實現了實際算法，并表明它們可以認證穩健性，以應對廣泛的幾何變換及其組合（如旋轉、平移、剪切等），并在更多的圖像上實現了顯著優于先前工作的認證效果。 影響 第3章中提出的技術也具有更廣泛的影響，后來被更廣泛地應用于認證空間[5]、點云[8]和音頻[7]變換的穩健性。這增加了我們成功認證穩健性的規范和領域的多樣性，從而使AI的應用更加安全。 1.2 第4章：訓練可被證明穩健的網絡 第3章的重點在于認證模型的穩健性誤差，而第4章的目標是訓練既具有高度穩健性又具有高標準精度的模型。這是一個重要的研究方向，因為未經此類技術訓練的模型通常難以證明其穩健性。在我們在本章中提出的工作之前，訓練具有高認證穩健性和高精度的網絡非常困難，尤其是在較小噪聲水平下。本章的主要見解是使用對抗性訓練的方法，不是為了在輸入區域中尋找對抗性輸入，而是為了在通過網絡傳播的凸區域中進行搜索。這使得可證明穩健性和精度之間的權衡更加細致，最終產生了比先前工作更好的模型。 影響 我們的訓練方法也有進一步的影響，因為大多數最新的可證明訓練方法[21, 22, 23]基于與我們的相似的觀察，即連接啟發式和可證明的防御方法，使得能夠訓練出具有更好認證穩健性和精度權衡的模型。我們還研究了本章中提出的理論問題[9]，以加深對為什么某些凸松弛在訓練中表現更好的理解。 1.3 第5章：可被證明的個體公平表示 在第5章中，我們的概念上從穩健性轉向公平性。然而，在技術層面上，本章中提出的整個思想基于個體公平性與穩健性之間的聯系。更具體地說，個體公平性要求類似的個體獲得類似的分類結果，這與第3章和第4章中考慮的穩健性要求輸入及其鄰居獲得類似的分類結果相同。在本章中，我們提出了一種新的數據預處理方法（或表示學習），使數據消費者知道他們在這種數據上訓練的任何模型都能被證明滿足個體公平性。 影響 我們后來將這一方法擴展到計算機視覺模型中的個體公平性[10]，從而展示了這一框架在其他領域的廣泛適用性。其他工作也將類似的方法應用于其他類型的個體公平性保證表示[24]。總體而言，本章的貢獻使得訓練可證明的個體公平表示在實踐中更加可行。 1.4 第6章：可被證明的群體公平表示 在最后一章中，我們繼續研究學習可證明公平表示的概念，這次針對群體公平性定義的隱私（如人口統計平等或機會均等）。群體公平性定義在實踐中往往更為廣泛使用，因為它們比個體公平性更容易定義和評估，因此學習這種可證明的公平表示具有重要的實踐意義。先前的工作表明，滿足群體公平性與確保不能從表示中恢復敏感屬性之間存在等價性。我們方法的關鍵思想（稱為FNF）是使用基于歸一化流的統計方法[25]，以計算潛在空間中表示的概率密度，從而計算出對任何對抗性分類器能夠預測敏感屬性的最大準確性的上限。 影響 FNF也對后續工作產生了影響：在后續的論文中，我們提出了一種新的方法FARE[11]，解決了FNF的局限性（需要了解先驗分布）。此外，我們還在隱私領域產生了更廣泛的影響，在該領域中我們研究了從數據中預測敏感屬性的問題[26, 27]，這可以視為表示學習方法。

構建能與世界互動的自主代理是人工智能（AI）的核心。本論文引入了“語言代理”，這是一類新的代理，它們利用大型語言模型（LLMs）進行推理以采取行動，標志著與傳統通過廣泛規則設計或學習的代理的一種轉變。它分為三個部分開發：

第一部分通過介紹基于與大規模、真實世界計算環境（如互聯網或代碼接口）的互動的一組新的AI問題和基準，激發了對語言代理的需求。這些“數字自動化”任務為減輕繁瑣的勞動和改善我們的生活提供了巨大的價值，但對于以前的代理或LLM方法在開放式自然語言和長期決策方面提出了重大挑戰，這需要新的方法論。 第二部分為語言代理奠定了方法論基礎，其核心思想是應用LLM推理來實現多功能和可泛化的代理行動和計劃，這也通過外部反饋和內部控制增強了LLM的推理，使其更加扎根和深思熟慮。我們展示了語言代理能解決多種語言和代理任務（特別是在第一部分提出的數字自動化任務），并在先前基于LLM的方法和傳統代理上取得了顯著的改進。 第三部分綜合了第一部分和第二部分的洞察，并概述了一個有原則的語言代理框架。該框架提供了模塊化抽象，以組織各種基于LLM的方法作為代理，理解它們與人類認知的差距，并激發并開發新方法，朝向通用目的的自主代理。從基礎的經驗任務和方法到統一的概念框架，本論文建立了語言代理作為AI研究前沿的一個獨特且嚴謹定義的領域的研究。

構建能與各種環境互動的自主代理是人工智能（AI）的核心問題[266]。從高層次上來說，這篇論文提出了一種全新的代理類型和一種全新的環境類型（圖1.1）： ? 現有的代理要么主要遵循特定領域的規則來行動（基于規則的代理，如DeepBlue [38]、Eliza [272]或Shaky the robot [229]），要么主要在特定領域數據上進行訓練以行動（基于學習的代理，如AlphaGo [281]、Atari DQN [206]或用于手部操控的ADR [8]）。本論文介紹了語言代理，這些代理利用語言模型進行推理以行動，這減輕了構建傳統代理所需的密集型特定領域努力，并且在各種領域中實現了少量樣本的泛化。這代表了構建通用自主代理目標的一個重大步驟。 ? 現有代理要么與人類或物理世界互動（實用但不可擴展），要么與游戲或模擬互動（可擴展但不實用）。這篇論文引入了數字自動化，一種新型任務，其中代理與大規模真實世界數字環境（如互聯網）互動。這為代理在開放式行動和長期視野上做出決策提供了新的挑戰，同時也提供了巨大的機會來減輕我們的數字勞動并發現新知識。 傳統代理和環境有什么問題？在傳統基于規則或基于學習的代理可能也能感知和用語言行動的情況下，“語言代理”的定義是什么？為什么我們必須轉向大規模真實世界數字環境來進一步發展，而不是使用傳統的代理測試床如游戲？我將簡要使用文本冒險游戲領域來闡述這些點并激發論文的其余部分。