亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能技術的最新進展促使了模型規模的前所未有增長，特別是大型語言模型（LLMs）的出現。

雖然這些模型在多個領域展示了出色的能力，但它們的指數級擴展也帶來了顯著的推理時間開銷，例如內存需求增加、延遲增加和計算成本上升，從而使高效的部署和服務變得具有挑戰性。本文通過全棧方法應對這些挑戰，旨在提升人工智能推理棧四個關鍵組件的效率：模型優化、推理方法、模型架構和應用。在模型優化方面，我們引入了量化技術來優化推理時的計算和內存需求。

I-BERT通過采用僅整數量化來優化計算，這實現了最高3.5倍的延遲加速，并使Transformer架構能夠在僅支持整數運算的硬件上部署。SqueezeLLM采用極低位寬的權重量化，有效降低了內存需求，同時在LLM推理過程中不犧牲精度。在推理方法的優化方面，我們提出了Big Little Decoder框架，

這是一種通過小模型和大模型之間的協作加速自回歸LLM推理的推測解碼框架，能夠實現最高2倍的加速。關于模型架構，我們提出了一種高效的語音識別設計，采用了Temporal U-Net結構，

通過縮短輸入序列長度來提高推理效率。最后，在應用層面，我們引入了LLMCompiler，

這是一個高效編排LLM應用中多個函數調用的框架，通過將復雜的用戶輸入分解為更小、更易處理的任務，降低了執行延遲和成本，并提高了系統的魯棒性。這些貢獻共同提供了一種全棧策略，用于優化人工智能模型推理，從低層次的系統到高層次的應用，推動了最先進AI解決方案的高效部署和服務。

人工智能技術在自然語言處理、計算機視覺和語音識別等多個領域取得了前所未有的進展。

然而，當前普遍采用的擴展模型規模的策略帶來了顯著的推理時間開銷，導致在高效部署和服務最先進模型時面臨挑戰。例如，如圖1.1所示，自2017年引入具有6500萬個參數的Transformer架構[266]以來，模型規模呈指數級增長——每兩年增長410倍——開啟了大型語言模型（LLMs）時代，代表性模型如擁有1750億參數的GPT-3和其他數十億參數級的模型。這一增長遠遠超過了GPU內存的擴展，后者僅每兩年翻倍。因此，模型規模的擴展不僅導致了巨大的內存需求，通常超過單個GPU的容量，還引發了延遲、能效和運行這些大型模型的計算成本等方面的挑戰。為了解決這一問題并減少人工智能解決方案的運行時開銷，全棧優化在人工智能推理棧中的應用至關重要。 如圖1.2所示，本文將涵蓋提高推理棧中四個關鍵組件的效率，這些組件分別處于不同的層次：模型優化、推理方法、模型架構和應用。它們涵蓋了從面向硬件的底層到面向用戶的上層，全面解決從低層系統到高層應用的效率問題。模型優化。

模型優化是通過減少模型規模并更有效地利用底層硬件資源（如計算和內存）來高效部署模型的一種關鍵方法。常見的技術包括量化，它通過使用低位精度（如8位）而非標準的32位或16位浮點數（即FP32或FP16）來壓縮模型的權重和激活值，以及剪枝，它去除模型中不重要的權重。這些方法通常在模型架構設計和訓練完成后應用，使得模型能夠在顯著降低計算和內存需求的同時保持相似的準確性，從而使模型更適用于資源受限的環境。本論文介紹了旨在提高Transformer推理過程中計算和內存效率的量化技術。

在第二章中，我們提出了I-BERT，這是一種通過利用僅整數量化來提高計算效率的方法。通過使用整數算術進行整個推理過程，I-BERT不僅實現了最高3.5倍的延遲加速，還使得Transformer模型能夠在僅支持整數計算的硬件上部署。第三章介紹了SqueezeLLM，這是一種通過極低位寬權重量化優化LLM推理中內存效率的量化技術。由于內存操作通常在LLM的自回歸生成任務中成為主要瓶頸，SqueezeLLM提供了一種精確的量化策略，通過降低位寬（例如3位或4位）來保持底層權重分布，從而顯著降低內存需求，而不犧牲模型的準確性。

推理方法

為了高效服務大規模模型，理解它們的推理動態至關重要，以最小化冗余操作并最大化資源利用率。在第四章中，我們介紹了Big Little Decoder（BiLD），一種旨在解決LLM自回歸推理中內存操作低效的推測解碼框架。自回歸生成通常是內存受限的，因為每生成一個標記都需要執行一個昂貴的內存操作來加載一個大的權重矩陣。因此，減少運行時內存流量是提高推理效率的關鍵。BiLD通過小模型和大模型之間的協作來解決這一挑戰——小模型快速生成多個標記，而大模型間歇性地檢查和完善小模型的預測。這種方法使得大模型能夠執行非自回歸操作，在單次迭代中處理多個標記，從而實現2倍的推理加速，同時不影響生成結果的質量。

模型架構

增強效率的后訓練方法，如模型優化和更好的推理方法，由于其在模型設計和訓練完成后可以靈活應用，已經變得越來越流行；然而，進一步的效率提升通常需要開發針對特定領域的新型模型架構。這個過程中的一個關鍵因素是歸納偏置的使用，它在指導模型設計中起著至關重要的作用。歸納偏置[185]指的是學習算法所做的假設，這些假設使得算法能夠從有限的訓練數據中推廣到領域的通用模型。例如，卷積神經網絡（CNN）使用局部性作為計算機視覺中圖像任務的歸納偏置，展示了領域特定的歸納偏置如何指導更好的架構設計。Transformer模型在提供大量數據時展示了出色的性能，盡管其歸納偏置較少。然而，對于較小的模型或數據相對匱乏的領域，這種方法可能效果不佳。在這些場景中，設計具有強歸納偏置的領域特定架構可以導致更高效、更有效的模型性能，特別是在數據或計算資源有限時。為此，在第五章中，我們提出了一種用于語音識別的更緊湊的架構。通過專注于連續語音信號在時間軸上的冗余，我們提出了一種Temporal U-Net結構，通過有效縮短輸入序列長度顯著提高了效率。該設計在固定資源預算內提升了語音識別模型的準確性，增強了性能和效率。

人工智能應用

LLM推理能力的最新進展使其潛力超越了內容生成，能夠解決更復雜的問題。推動這種問題解決能力擴展的關鍵因素之一是其功能（或工具）調用能力，使LLM能夠調用外部功能并集成其輸出以輔助任務完成。LLM的這種集成功能調用的能力促使了LLM應用開發方式的范式轉變，推動了代理式應用的興起。在這些應用中，LLM通過執行動作和通過外部功能收集信息，主動與環境互動，從而使它們能夠自主完成用戶任務。因此，為了提高這些基于LLM的應用的效率，單純優化單一模型的效率——無論是通過模型優化、改進推理方法還是更高效的模型架構——是不夠的。 同樣重要的是要增強LLM與外部功能之間動態交互的效率，從而構建更高效、可擴展和響應迅速的代理式應用。在第六章中，我們介紹了LLMCompiler，它通過將用戶輸入分解為可執行任務及其相互依賴關系來高效地編排多個功能調用。LLMCompiler通過并行運行獨立任務顯著減少了執行延遲和成本，同時通過將復雜任務分解為更小、更易管理的任務，增強了任務的魯棒性。該方法邁出了構建更高效、可擴展的代理式應用的步伐，這些應用能夠處理日益復雜的工作流。

在本論文中，我們專注于計算機視覺中的多任務學習。多任務學習的目標是同時訓練多個相關但不同的任務，并在每個任務上取得良好表現，實現任務間的雙向知識傳遞。我們旨在解決多任務學習中與偏差相關的現有挑戰，例如數據不足、類別偏移和任務不平衡等問題。以往的多任務學習方法通常需要來自所有任務的廣泛且完整的訓練數據，容易導致過擬合和模型性能不佳等問題。論文圍繞解決四個關鍵研究問題展開：

1. 通過變分貝葉斯框架（Variational Bayesian Framework）VMTL，利用任務相關性以緩解數據不足。
2. 通過在情節訓練設置中開發異質神經過程（Heterogeneous Neural Processes, HNPs），利用歷史信息來解決數據不足問題。
3. 通過關聯圖學習（Association Graph Learning, AGL）應對類別偏移，該方法促進不同任務和類別之間的知識傳遞，以維持模型的判別能力。
4. 使用GO4Align來有效緩解任務不平衡，這是一種新穎的優化方法，采用群體風險最小化策略來對齊任務優化。 論文的每一章節都介紹了針對各類MTL偏差的創新方法，包括詳細的方法論和實驗結果，從而提出了一種全面提升MTL系統的方案。

人工智能（AI）和機器學習（ML）已經改變了許多行業。在醫療保健領域，AI和ML促進了診斷工具的增強 [105]，幫助識別患者數據模式，并支持外科手術操作。在交通領域，配備AI和ML的自動駕駛車輛通過提高安全性和效率來改變出行方式 [2]。在金融領域，AI驅動的算法在防范欺詐、風險管理和優化投資策略中發揮關鍵作用 [75]。這些技術所帶來的機會在各個領域提供了巨大的潛在收益，但需根據具體應用領域進行調整。 針對特定應用開發AI和ML技術面臨諸多挑戰，尤其是在數據處理方面。AI和ML技術通常假設訓練和測試數據來自相同的環境，例如交通領域中的同一時間、天氣和地理位置 [178]。然而，當這些技術遇到來自不同實驗的數據時，模型通常會失效，因為其泛化能力不佳。實際操作中，由于環境間存在固有的分布差異，處理不同環境的數據并非易事。在機器學習中，有四個相關研究領域專門處理不同環境下的分布偏移問題：遷移學習 [146]、領域泛化 [248]、元學習 [80]和多任務學習 [240]。 為了解決分布偏移，知識遷移在機器學習中作為一種理想策略逐漸興起 [146]。知識遷移首先從一個領域或模態中學習到有用的知識，然后將其應用到另一個不同但相關的領域。根據知識遷移的類型，我們將四個研究領域分為兩個分支： 1. 第一分支是單向知識遷移，包括遷移學習、領域泛化和元學習。這三種研究方向從源任務到目標任務進行單向知識遷移。在傳統遷移學習設置中，目標任務中的一些標注數據用于模型微調 [146, 248]。領域泛化 [248]利用單一或多個相關但不同的源領域數據訓練模型，并將學習到的模型泛化到任何分布不同的領域。元學習則從已知的訓練任務中學習元知識，并快速將其適應到未來的新任務。 1. 第二分支是雙向知識遷移，即多任務學習。與單向方法不同，多任務學習在任務之間進行雙向知識遷移，因為它將所有任務視為平等。為便于清晰直接的對比，我們在圖1中展示了這些研究領域。本文的研究范圍集中在多任務學習，其中一個領域或模態通常對應于一個單一任務。

1.2 多任務學習 多任務學習（MTL）的目標是通過挖掘任務間的共享知識來提升多個相關學習任務的整體性能。多任務學習相較于單任務學習的關鍵優勢在于它能夠在相關任務之間共享表示，這可以提高學習效率，并通過聯合學習任務的正則化效果提升模型在單個任務上的性能 [27, 240]。多任務學習已在自然語言處理 [31, 120, 148]、計算機視覺 [88, 122, 195]和強化學習 [49, 171]等多個領域成功應用。我們的研究重點是計算機視覺中的多任務學習。

隨著先進計算技術和人工智能的快速發展，復雜系統和應用程序迎來了新紀元，尤其是在自動駕駛汽車（AV）和機器人領域。這些系統越來越多地需要在動態和不確定的環境中自主決策。強化學習（RL）在這一背景下成為了關鍵技術，為通過與環境互動來學習最優決策策略提供了框架。然而，確保這些決策的安全性和可信性仍然是一個重要的挑戰，特別是在安全至關重要的應用場景中，如自動駕駛。本論文針對這一挑戰，提出了創新的基于RL的方法，結構分為三個既獨立又相互關聯的部分，每一部分都專注于安全且可信決策制定中的不同方面。論文的主線是探索和改進RL技術，以確保自主決策系統在復雜、動態環境下的安全性和可靠性。首先，本論文奠定了RL在決策制定中的基礎，特別是在不確定和動態的環境下。該部分聚焦于增強RL，以應對現實世界的復雜性，例如在自動駕駛場景中與不可預測的代理（如人類駕駛員）互動，以及在離線RL設置中處理分布偏移問題。這為理解和提升自主系統在不確定條件下的決策能力奠定了基礎。在第一部分的基礎上，第二部分探討了層次化規劃與RL的集成。該部分重點在于創建一種框架，將不同層次的決策制定相結合，平衡即時的低層次安全問題與高層次戰略目標。該方法旨在應對傳統RL在復雜多代理環境和長時間任務中的局限性，從而在實時決策中展示出更好的適應性和效率。第三部分則呈現了對RL的前瞻性方法，重點在于離線和在線學習方法的整合。這一部分解決了在探索可能代價高昂或危險的場景中，安全有效地訓練RL代理的問題。通過將大規模離線數據（如專家示范）的優勢與在線學習相結合，本部分提出了一個新的框架，以增強RL代理在實際應用中的安全性和性能。

在機器學習領域，我們致力于開發能夠學習的算法，即在沒有被特別編程完成某項任務的情況下，積累關于如何完成任務的知識。在這篇論文中，我們從兩個不同的角度來探討學習：我們可以應用高效機器學習者的領域以及我們可以通過更有效地解決底層優化問題來改進學習的方式。機器學習方法通常非常依賴數據。雖然現代機器學習在解決實際問題方面取得了巨大成功，但這些成功案例主要局限于有大量相關領域數據可用的設置。元學習領域旨在通過創建“學會如何學習”的模型（即能夠在給出相對較少的示例時迅速適應新任務的模型）來開發具有改進的樣本效率的模型。在本論文中，我們關注使用超網絡進行任務適應的攤銷元學習者，這些學習者成本非常有效，只需通過超網絡進行一次前向傳播即可學會如何執行新任務。我們展示了這些攤銷元學習者可以以超出其在小樣本學習設置中的典型用途的新方式來利用。

我們針對攤銷元學習者開發了一種基于集合的中毒攻擊，這種攻擊讓我們能夠定制一組協同作用的輸入，用作適應新任務的訓練數據（即作為支持集）時，這些輸入能夠欺騙系統的學習算法。這樣共同制作的對抗性輸入可以協同操縱分類器，對于具有可微適應機制的攤銷學習者來說，這種輸入尤其容易計算。我們還在可解釋性領域利用攤銷學習者進行“數據集調試”，在此過程中，我們開發了一種稱為Meta-LOO的數據價值或樣本重要性策略，可用于檢測噪聲或分布外數據；或者將一組示例提煉到其最有用的元素。

從我們的第二個角度看，機器學習和優化是密切相關的；實際上，學習可以被表述為以模型參數為目標的訓練損失最小化問題——盡管實際上我們還需要我們的算法具有泛化能力，這不是更廣泛優化的關注點。選擇的優化策略影響了算法學習的速度以及找到的解決方案（即模型參數）的質量。通過研究優化，我們可以改善我們的模型的學習效果和速度。

在這篇論文中，我們采取了雙管齊下的方法來實現這一目標。首先，我們開發了一種在線超梯度基礎的超參數優化策略，通過支持廣泛的超參數同時保持可擴展性，改進了現有的最佳技術。值得注意的是，我們的方法支持優化算法的超參數，如學習率和動量，這是文獻中類似方法不支持的。其次，我們開發了一種適用于深度學習的非凸損失景觀的二階優化策略。我們的算法近似了一個鞍點是排斥而非吸引的鞍點自由版本的Hessian，以一種適用于深度學習問題的方式。

在機器學習領域，開發在世界中智能行為的代理仍是一個開放性挑戰。對這樣的代理的期望包括高效的探索、最大化長期效用以及能夠有效利用以往數據解決新任務的能力。強化學習（RL）是一種基于通過試錯直接與環境互動來學習的方法，并為我們訓練和部署此類代理提供了途徑。此外，將RL與強大的神經網絡功能逼近器結合使用——一個被稱為“深度RL”的子領域——已顯示出實現這一目標的證據。例如，深度RL已產生了能夠以超人水平玩圍棋的代理、提高微芯片設計的效率，以及學習控制核聚變反應的復雜新策略的代理。部署深度RL的一個主要問題是樣本效率低。具體來說，雖然可以使用深度RL訓練有效的代理，但主要成功案例大多數是在我們可以通過使用模擬器獲得大量在線互動的環境中實現的。然而，在許多現實世界的問題中，我們面臨的情況是樣本成本高昂。正如所暗示的，解決這個問題的一種方式是通過獲取一些以往的數據，通常稱為“離線數據”，這可以加速我們學習這些代理的速度，例如利用探索性數據防止重復部署，或使用人類專家數據快速引導代理朝向有前途的行為等。然而，將這些數據融入現有的深度RL算法的最佳方式并不直觀；簡單地使用RL算法在這些離線數據上進行預訓練，一種稱為“離線RL”的范式作為后續學習的起點，往往是不利的。此外，如何明確地在線派生出由這種離線預訓練積極影響的有用行為尚不清楚。鑒于這些因素，本文提出了一種三管齊下的策略來提高深度RL中的樣本效率。首先，我們研究了在離線數據上進行有效的預訓練。然后，我們解決在線問題，探討在純在線操作時對環境進行高效適應。最后，我們得出結論，使用離線數據在在線行動時明確增強策略。

//searchworks.stanford.edu/view/14784050

盡管語言模型（LMs）在現實應用中無處不在（例如，網頁搜索，文本自動完成和內容生成），但大多數LMs并沒有針對人類用戶與LMs的交互進行優化，也沒有在這方面進行評估。為了解決這一缺口，本論文專注于設計和評估用于人機交互的LMs。我們首先關注作者在修訂過程中遇到的一個特定需求：在給定周圍環境的情況下提出內容。為了支持這種需求，我們提出了一種訓練方法，使任何預先訓練過的LMs都能完成填空任務，有助于更好地促進人機交互。其次，我們構建了一個平臺，CoAuthor，用于捕獲人機交互的交互痕跡。通過CoAuthor，我們展示了如何收集大規模交互數據集并分析這些痕跡，從而對LM在語言，思想發展和協作方面的能力提供獨特的見解。最后，我們提出了一個新的評估框架，人工智能語言交互評估（HALIE），該框架定義了交互系統的組成部分以及超越寫作任務的人機交互任務的度量標準。最后，我們討論了這個領域的開放性挑戰和未來的發展方向。

在飛速變化的環境中撰寫論文是一種特殊的嘗試。自然語言處理（NLP）領域正在經歷一個不斷變化和創新的時代，本論文旨在捕捉該領域的一個快照，并從這個不斷變化的景觀中研究一種永恒的質量：設計和評估用于人類交互的語言模型（LMs）。自我開始博士研究以來，LMs至少可以說發展迅猛。在2017年，構建LM的最常見方式是選擇一個特定任務，收集一個定制的數據集，設計一個定制的模型，并從頭開始訓練定制的模型，正如我在我第一個項目中所演示的那樣（Lee等人，2019）。到了2023年，即使沒有NLP或編程的先前知識，我們也可以通過API或簡單用戶界面對預訓練的LMs進行提示，快速“構建”并與LMs進行交互，以執行廣泛的任務，正如我在后續項目中所演示的那樣（Lee等人，2022a,b，Bommasani等人，2023）。

然而，盡管近期的語言模型（LMs）具有前所未有的能力和廣泛的應用（Radford等人，2019; Brown等人，2020; Rae等人，2021; Zhang等人，2022; Chowdhery等人，2022; Lieber等人，2021; OpenAI, 2022, 2023），但在NLP領域的大部分現有LM研究主要側重于非交互場景：給定一個輸入文本，模型生成一個輸出文本，只關注輸出的質量。在這種情況下，人類的參與要么被忽視，要么限于特定的目的或形式，如對模型輸出的人類評估（Ribeiro等人，2020; Kiela等人，2021）或像對話那樣的嚴格交互（Paranjape等人，2020; Thoppilan等人，2022; Shuster等人，2022）。幾乎所有的基準測試，即使是那些包含了多樣任務的基準測試（Gehrmann等人，2021; Hendrycks等人，2021; Liang等人，2022），也都采取了這種非交互的視角。與此相反，我的工作的中心論點是將交互置于LM設計和評估的最前沿。以問答任務為例，與其構建一個孤立運作的模型（即，將預定義的問題作為模型輸入，并將模型輸出與靜態基準中的預定義答案進行比較），我更注重交互場景。在這種場景下，用戶參與到一個迭代的過程中，寫下問題，詢問（或查詢）模型，解讀并處理模型輸出，根據輸出調整他們的問題，并隨著他們對模型的了解逐漸適應他們的策略。我在故事寫作上的工作也遵循了類似的哲學（Lee等人，2022a）。我努力開發的LM并不是可以自行生成整個故事的模型（圖1.1a），而是能夠增強和支持我們的寫作過程的模型（圖1.1b），可能通過生成部分故事來讓用戶選擇和調整。這種對LM的交互式使用與Engelbart（1962）、Skagestad（1993, 1996）、Shneiderman和Maes（1997）、Horvitz（1999）、Hassani等人（2020）、Brynjolfsson（2022）、Shneiderman（2022）的觀點相吻合，其最終目標是增強人類能力，而不是自動化它們（即，智能增強）。 對于人機交互（HCI）社區來說，近期的語言模型（LMs）為新穎的交互設計提供了令人興奮的機會。我們開始看到許多應用和原型利用LMs進行快速原型制作和設計新穎的自然語言交互（Calderwood等人，2020；Buschek等人，2021；Wang等人，2021；Chen等人，2021；Chakrabarty等人，2022；Ippolito等人，2022；Valencia等人，2023）。為了研究LMs的生成能力，HCI中最傳統的方法是情境詢問，邀請并訪問用戶（Calderwood等人，2020；Clark等人，2018b；Gero和Chilton，2019；Wu等人，2020, 2022；Yang等人，2019a）。然而，由于情境詢問的時間和資源密集性，它在捕捉LM能力的主觀解釋方面更有效，而在涵蓋多樣化的上下文方面則較為欠缺。 我的研究核心是交互跡線，即在人類用戶和LMs交互過程中展開的事件序列（圖1.1b）。這些跡線包含了各種行為，包括按鍵操作，光標移動，系統查詢，以及通過系統建議進行導航。它們包含豐富的信息，捕獲了人機交互的動態性，提供了對LMs在交互場景中能力的深入了解。例如，通過檢查用戶查詢的頻率，我們可以量化用戶對LMs的依賴程度，以及LM響應的幫助程度。此外，交互跡線還能讓我們了解用戶在與LMs交互時采取的策略，以及交互的時間屬性。最后但同樣重要的是，利用交互跡線可以覆蓋各種上下文，因為設計者可以一次性大規模捕捉人機交互，并將其重復使用并多次回放以便于分析。 我相信，通過利用這些交互跡線，NLP和HCI社區可以設計出更有針對性和以用戶為中心的LM開發和部署方法。 這篇論文包括以下章節： ? 第二章通過提供有關語言模型（LMs）、人機交互和人機交互在寫作中的設計空間的背景，為后續章節建立基礎理解。 ? 第三章深入探討了一個特定的交互環境，即寫作的修訂過程，并關注了大多數LMs無法直接解決的用戶需求。具體來說，我們提出了一種訓練方法，使LMs能夠填補空白（即，文本填充）。 ?** 第四章介紹了CoAuthor，這是一個設計用來捕捉和分析協同寫作中的人機交互的平臺**。該平臺促進了交互跡線的收集，產生了一個豐富且可以重復分析的數據集。通過使用這個數據集，我展示了如何通過檢查這些交互跡線，對LM在語言、創意和協作等方面的能力獲得無比寶貴的見解。 ? 第五章提出了一個新的評估框架，即人工智能基于語言的交互評估（HALIE），它定義了交互系統的基本組成部分，并引入了新的評估指標，用于評估人機交互超越寫作相關任務的性能。這個框架涵蓋了更廣泛的交互場景，使得可以全面理解和評估LM在各種情境下的性能。 ?** 第六章討論了人機交互領域內的開放性挑戰，以激發更深入的研究和創新**。 論文中的一部分工作已經在學術會議上發表。第三章基于Donahue等人的研究（2020），該研究在2020年的計算語言學協會（ACL）上發表。第四章基于Lee等人的材料（2022a），該材料在2022年的人機交互系統會議（CHI）上發表。第五章基于Lee等人的研究（2022b），該研究目前正在審查中。

利用深度神經網絡進行機器學習的最新進展，在從大型數據集學習方面取得了重大成功。然而，這些成功主要集中在計算機視覺和自然語言處理方面，而在序列決策問題方面的進展仍然有限。強化學習(RL)方法就是為了解決這些問題而設計的，但相比之下，它們很難擴展到許多現實世界的應用中，因為它們依賴于成本高昂且可能不安全的在線試錯，而且需要從頭開始逐個學習每個技能的低效過程。本文將介紹設計RL智能體的工作，這些智能體直接從離線數據中訓練，能夠掌握多種技能，以解決上述挑戰。

在本文的第一部分中，我們首先介紹了一種算法，從離線數據集中學習高性能策略，并通過使用學習到的動力學模型生成的推出來擴展離線數據，提高離線強化學習智能體的泛化能力。然后，我們將該方法擴展到高維觀測空間，如圖像，并表明該方法使現實世界的機器人系統能夠執行操作任務。在論文的第二部分，為了避免在之前的強化學習工作中從頭開始學習每個任務的問題，同時保持離線學習的好處，討論了如何使強化學習智能體通過跨任務共享數據從不同的離線數據中學習各種任務。此外，我們表明，共享數據需要標記來自其他任務的數據的獎勵，這依賴于繁重的獎勵工程，也是勞動密集型的。為了解決這些問題，我們描述了如何有效地利用離線RL中的各種未標記數據，繞過獎勵標記的挑戰。最后，我們列出了未來的研究方向，如利用異構無標簽離線數據集的有效預訓練方案、離線預訓練后的在線微調以及離線RL的離線超參數選擇。

深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。

在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。

//arxiv.org/pdf/2112.01423.pdf

決策算法在許多不同的應用中被使用。傳統的設計決策算法的方法采用原則和簡化的建模，在此基礎上，人們可以通過易于處理的優化來確定決策。最近，深度學習方法正在變得越來越流行，這種方法使用從數據調整的高度參數架構，而不依賴于數學模型。基于模型的優化和以數據為中心的深度學習通常被認為是不同的學科。在這里，我們將它們描述為一個在特異性和參數化方面不斷變化的連續光譜的邊緣，并為位于這個光譜中間的方法提供一個教程式的展示，稱為基于模型的深度學習。在我們的演示中，我們還附帶了超分辨率和隨機控制方面的運行示例，并展示了如何使用所提供的特性和每種詳細方法來表示它們。將基于模型的優化和深度學習結合在一起，在生物醫學成像和數字通信等各種應用中使用實驗結果，證明了這種結合的好處。

機器學習是一種變革性的計算工具，它正在革新許多技術和科學應用。然而，最近在人工智能和機器學習方面的成功，以及隨之而來的模型的廣泛部署，已經改變了經典的機器學習管道。首先，可用數據的絕對規模——在數量和維度上——已經爆炸。此外，現代機器學習架構具有指數級的設計選擇和超參數，但它們都是使用通用的隨機梯度方法進行優化的。這突出了自適應梯度方法的需要，該方法在沒有事先知道實例的情況下充分執行。接著并期望它們即使在不分布的輸入中也能提供良好的預測——這強調了對可靠模型的需要。最后，隨著我們收集越來越多的用戶數據，我們希望在向公眾發布這些模型時，基于這些數據訓練的模型不會損害訓練集中存在的個人的隱私。在這篇論文中，我們證明了解決這些新出現的問題需要優化方面的基本進步。更具體地說，我們首先提出了理解自適應梯度算法的最優性的新的理論結果，并展示了在基于梯度的采樣器的背景下自適應方法的實際用例。然后，我們提出了可擴展的最小最大優化方法，以有效地解決魯棒目標。最后，我們開發了私有優化方法，在更嚴格的隱私要求下最優地學習，以及自適應方法，在簡單的實例上增加“適當數量的噪聲”并顯著降低隱私的代價。

//searchworks.stanford.edu/view/14053711