亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去十年的繁榮發展之后，視頻理解的研究已到達一個關鍵的節點，單純依賴海量數據和復雜的架構已不再是適用于所有情況的萬能解決方案。數據不平衡的普遍存在阻礙了深度神經網絡（DNNs）有效學習潛在的因果機制，導致在遇到分布變化時（如長尾不平衡和擾動不平衡）性能顯著下降。這一現象促使研究者開始探索替代方法，以捕捉視頻數據中的因果模式。為了應對這些挑戰并提高DNNs的魯棒性，因果建模作為一種原則被提出，旨在發現觀察到的相關性背后的真實因果模式。

本文主要研究視頻語義理解領域，探索因果建模在推進兩個基礎任務中的潛力：視頻關系檢測（Video Relation Detection, VidVRD）和視頻問答（Video Question Answering, VideoQA）。

總結來說，本論文的主要貢獻如下：

• 我們提出了一種干預性視頻關系檢測方法，稱為IVRD，旨在解決VidVRD中關系的長尾不平衡問題。盡管尾部關系具有信息性，但由于其在數據集中稀少，難以預測。我們特別提出了一套分層的關系原型，這迫使關系推理模塊關注實體之間動態交互的視覺內容，而非依賴于對象與關系標簽之間的偽相關性。通過引入因果推理，IVRD為改善長尾不平衡情況下的視頻理解提供了一個有前景的方向，使模型能夠更好地泛化到現實世界場景中，特別是在稀有或不常見的關系在場景理解中扮演關鍵角色時。
• 我們引入了一種視頻問答中的不變性定位方法，稱為IGV，這是一種與模型無關的學習框架，旨在解決由答案-環境之間的偽相關性帶來的負面影響。IGV通過定位問題關鍵的（因果）場景，發現因果推理模式。具體而言，IGV利用了因果場景與答案之間的關系在環境變化時仍保持不變這一事實，并且去除因果場景應導致問題回答失敗。通過定位這些關鍵場景，IGV使VideoQA模型能夠專注于準確推理所需的視覺內容，同時避免環境負面的影響，從而顯著提升了模型的推理能力。
• 我們提出了視頻問答中的等變性定位方法EIGV，進一步增強了魯棒性和視覺可解釋性。基于IGV，EIGV還引入了等變性，促使回答過程對因果場景和問題中的語義變化更為敏感。相較之下，不變性定位要求回答過程對環境場景的變化不敏感。這兩種正則化機制協同工作，區分因果場景與環境場景，并通過呈現視覺-語言對齊提供更多的透明性。通過結合不變性和等變性定位的優勢，EIGV創建了一個更加魯棒且可解釋的VideoQA框架。
• 我們發現了視頻問答中的時空推理，解決了長視頻和多對象樣本（即復雜視頻問答）上的低準確性問題。現有的VideoQA實踐（包括預訓練模型如SeVila [162]）大多是在短視頻片段（約15秒）和少數實體（約2個）上進行訓練的，因此在復雜視頻（超過80秒且包含5個以上對象）上表現較差。原因在于長視頻不可避免地引入大量冗余和偽相關性，因為許多與問題無關的環境對象存在。為應對這一挑戰，我們首先強調建模問題關鍵的時間片段和空間對象的重要性，接著提出了時空推理（Spatio-Temporal Rationalization, STR）方法，通過可微選擇模塊自適應地收集問題關鍵的時間片段和對象，并通過跨模態交互進行推理。結合更合理的候選答案解碼策略，STR有效識別出與問題無關的幀和對象作為因果模式，尤其在復雜場景下顯著改善了預測性能。

本文的一個局限性在于對所識別因果場景的評估。在整個研究過程中，我們依賴于問題回答（QA）總體性能作為所發現因果場景質量的間接指標，基于這樣一個推理：更準確地定位因果場景可能會提供更豐富的問題-關系視覺線索，從而提升QA性能。然而，值得注意的是，基于因果場景的直接量化指標將提供更具說服力的見解。遺憾的是，由于缺乏人類級別的定位標注，當前工作中未能實現這種度量。因此，未來的研究將著力建立一個專門針對因果場景的評估基準，涉及對回答過程所依賴的視覺元素進行人類標注。這一舉措將有助于更全面和嚴格地評估因果場景的發現。

總之，本文的貢獻拓展了因果建模在視頻語義理解中的前沿應用，賦能AI系統掌握因果模式，并在應對視頻理解挑戰任務中提升性能。

因果機器學習 (Causal ML) 處理多種任務，包括因果效應推斷、因果推理和因果結構發現。本論文探討了適用于大規模數據集和復雜高維輸入/輸出模式（如圖像、文本、時間序列和視頻）的因果機器學習方法中的不確定性。為了有效處理海量信息并預測復雜關系，可擴展性至關重要。隨著模型規模的擴大和靈活性增強，傳達未知信息變得愈發重要。我們研究了兩種主要的不確定性類型：統計不確定性和結構不確定性。統計不確定性是在將機器學習模型擬合到有限數據集時產生的。解決這種不確定性可以預測一系列可能的因果效應，并隨著訓練樣本的增加而縮小范圍，從而有助于做出更明智的決策，并指出需要進一步理解的領域。結構不確定性則來自對因果結構的不精確認知，通常需要對數據生成過程或與世界的交互做出進一步假設。在本論文中，我們開發了能夠有效應對統計和結構不確定性的可擴展因果機器學習方法。我們展示了在因果機器學習算法設計和應用中考慮可擴展性和不確定性的重要性，從而增強決策能力和知識獲取。我們的研究貢獻旨在推動因果機器學習領域的發展，并為未來研究奠定基礎。

因果機器學習 (CML) 涵蓋了多種任務，包括因果效應推斷、因果推理、因果結構發現以及因果表示學習。CML 為數據驅動算法提供了一種系統的方法，通過整合領域知識、表達建模假設的豐富語言，以及理解機器學習預測失敗原因的理論來增強其能力。本論文探討了適用于大規模數據集并處理復雜高維輸入輸出模式（如圖像、文本、時間序列和視頻）的可擴展 CML 方法中的不確定性。在大數據時代及復雜的現實世界問題中，可擴展性至關重要，因為它使 CML 算法能夠高效地處理和學習海量信息，同時建模預測復雜關系所需的上下文。

隨著模型規模的擴大和靈活性的提升，傳達未知信息變得越來越重要。挑戰在于將系統化的分析不確定性的方法應用到可擴展的方法中。解決不確定性對于做出更明智的決策以及識別我們需要學習的內容至關重要。基于這一點，我們研究了兩種主要的不確定性類型：統計不確定性和結構不確定性。 統計不確定性，通常稱為認知不確定性，出現在將機器學習模型擬合到有限數據集時。解決這種不確定性有助于預測一系列可能的因果效應，并隨著訓練樣本數量的增加而縮小范圍。這一數值范圍不僅能夠促進更明智的決策，還能指出我們需要進一步理解的狀態或個體。然而，統計不確定性需要以正確的世界模型為前提。此時，結構不確定性變得相關，因為它源于對問題中潛在因果結構的不精確認知。通常，緩解結構不確定性需要對數據生成過程或與世界的交互做出進一步假設。盡管如此，CML 仍可以基于額外的領域知識傳達因果關系的不確定性，從而更好地為決策提供信息。

在本論文中，我們開發了能夠有效應對統計和結構不確定性的創新性可擴展 CML 方法和技術。我們展示了在設計和應用 CML 算法時考慮可擴展性和不確定性的重要性，因為它們增強了模型的魯棒性和泛化能力。我們的貢獻旨在推動 CML 領域的發展，并為未來在該領域的研究奠定堅實基礎。

機器學習（Machine Learning, ML）越來越多地用于驅動復雜應用，如大規模網頁搜索、內容推薦、自動駕駛汽車以及基于語言的數字助理。近年來，這些系統變得主要依賴數據驅動，通常以端到端學習復雜函數的深度學習模型為基礎，這些模型通過大量可用數據進行訓練。然而，純粹的數據驅動特性也使得所學習的解決方案不透明、樣本效率低下且脆弱。

為了提高可靠性，生產級解決方案通常采用混合形式的ML系統，這些系統利用深度學習模型的優勢，同時通過系統中的其他組件來處理諸如規劃、驗證、決策邏輯和政策合規等輔助功能。然而，由于這些方法通常是在完全訓練后的黑箱深度學習模型上后期應用的，它們在提高系統可靠性和透明性方面的能力有限。 在本論文中，我們研究了如何通過使用具有結構化中間表示（Structured Intermediate Representations, StructIRs）的機器學習模型來構建更可靠且透明的機器學習系統。與神經網絡激活等非結構化表示相比，StructIRs 是通過優化明確的目標直接獲得的，并且具有結構約束（例如歸一化嵌入或可編譯代碼），同時仍然具有足夠的表達能力來支持下游任務。因此，它們通過增加模塊化并使建模假設顯式化，可以使得所產生的ML系統更加可靠且透明。

我們探討了StructIRs在三種不同機器學習系統中的作用。在我們的第一個工作中，我們使用由神經網絡參數化的簡單概率分布來構建一個有效的ML驅動的數據中心存儲策略。在第二項工作中，我們展示了將文本生成嵌入到結構良好的向量表示空間中，可以通過簡單、可解釋的向量運算有效地轉換文本的高層屬性，如時態和情感。最后，在第三項工作中，我們進行了人類受試者研究，表明基于Bandit的推薦系統背后的平穩性假設在實踐中并不成立，強調了驗證ML系統背后假設和結構的重要性。

現代機器學習模型的脆弱性引起了學術界和公眾的廣泛關注。在本論文中，我們將系統研究幾種機器學習模型的理解與改進，包括平滑模型和通用表征網絡。我們特別關注表征魯棒性的研究，將其定義為給定網絡在隱含空間中的“魯棒性”（或廣義上的可信屬性）。對于通用表征網絡，這對應于表征空間本身，而對于平滑模型，我們將網絡的logits視為目標空間。表征魯棒性是許多可信賴AI領域的基礎，例如公平性和魯棒性。

在本論文中，我們發現隨機平滑的可證魯棒性是以類別不公平性為代價的。我們進一步分析了改進基礎模型訓練過程的方法及其局限性。對于通用的非平滑表征模型，我們發現自監督對比學習與監督的鄰域成分分析之間存在聯系，這自然地使我們提出了一個可以實現更高準確性和魯棒性的通用框架。此外，我們意識到當前基礎表征模型的評估實踐涉及在各種現實任務上進行大量實驗，這既耗費計算資源又容易導致測試集泄漏。為此，我們提出了一種更輕量級、保護隱私且健全的評估框架，通過利用合成數據來評估視覺和語言模型。

**1.1 研究動機

深度神經網絡對人眼難以察覺的對抗性擾動的脆弱性，自從開創性工作[170, 7]發表以來，已經引起了機器學習領域廣泛的關注。這一問題在多個機器學習領域中都是一個重要的關注點，從計算機視覺[170]到語音識別[17]，無不如此。特別是在安全關鍵的應用中，如自動駕駛汽車和監控系統，幾乎無法容忍任何錯誤決策。因此，深度神經網絡中對抗樣本的存在，促使了對魯棒性量化的研究，以及旨在增強這種魯棒性的訓練算法的設計[42, 47, 95]。在本論文中，我們旨在理解和改進現代機器學習模型的表征魯棒性。

**1.1.1 機器學習模型的表征魯棒性

表征魯棒性指的是神經網絡模型中隱含空間的可靠性。這一概念在機器學習中尤為重要，因為網絡的隱藏層應該從輸入數據中捕捉到復雜的模式。在本論文中，我們將表征魯棒性定義為這些隱藏表示在面對不同輸入或擾動時，能夠維持理想的可信屬性的能力。理想的可信屬性可能包括準確性、公平性、對抗性魯棒性等。對于一個通用的表征網絡 Φ(?)\Phi(\cdot)Φ(?)，隱含空間的自然選擇是表征網絡的輸出空間。這些構建的空間通過表征學習被專門訓練用于編碼關于輸入數據的關鍵信息，使網絡能夠通過一個簡單的任務特定下游網絡執行分類、回歸或生成等各種任務。另一方面，在平滑模型的背景下，平滑濾波器應用于整個基礎網絡

。因此，我們將直接將網絡的

視為評估表征魯棒性的目標空間。在這種情況下，我們特別感興趣的是基礎網絡和平滑網絡之間的不同表現。 研究表征魯棒性對于推動機器學習領域的發展至關重要，原因有以下幾點。首先，正如將在論文的后續章節中討論的那樣，對每個組件（如表征網絡、平滑操作符等）的深入理解有助于我們更加謹慎和意識到這些操作可能產生的副作用。這種理解也將為改進這些網絡設計奠定基礎。其次，隨著機器學習社區逐漸將重點轉向任務無關的預訓練和任務特定的微調，魯棒的表征變得越來越重要。在安全關鍵的應用中，由于脆弱表征導致的錯誤預測可能會產生嚴重后果。從這個角度來看，表征魯棒性是許多可信賴AI領域的基礎，因為預訓練的表征網絡將對任何基于它的機器學習系統的整體可信賴性產生貢獻。通過研究和增強表征魯棒性，可以構建更具彈性的AI系統，并防止錯誤的傳播。

遷移學習是一種機器學習（ML）范式，通過利用其他任務中的“知識”來提高對目標任務的性能。這項技術已成為推動機器學習模型能力邊界擴展的關鍵動力。當前的公式相對簡單——在大量遷移任務數據上訓練一個大型模型；然后將所學的模型零樣本或經過適應性調整后應用于目標下游任務。這篇論文認識到，這些強大的模型并不是在真空中開發的，而是需要大量資源來訓練和部署。因此，有許多突出的問題和研究社區被現狀所忽視。在這篇論文的第一部分中，我們將專注于數據高效遷移學習的訓練時間問題。我們將從一個常見的ML情境出發，論證利用目標下游任務的高級知識來指導遷移學習的不同維度。我們將這種方法稱為終任務感知遷移學習。接下來，我們將提出一組新的終任務感知優化算法，這些算法通過偏向數據高效的解決方案來引導學習軌跡，并在終任務上具有較強的泛化能力。我們將以提供一種自動化方法結束這一部分，該方法可以在僅有終任務數據且數據量有限的情況下，構建并搜索與任務相關的遷移目標。 在論文的第二部分中，我們將開發計算和內存高效的遷移學習算法。我們的目標是基于一個已經在遷移任務（或任務集）上預訓練的通用大型模型，提供一個小型且高效但仍具有良好性能的任務特定模型，以供部署。我們將以結構化剪枝為主要技術，研究在兩種資源受限情況下的剪枝：（1）有限的任務數據，在這種情況下，我們將利用額外的遷移任務來學習剪枝結構，在相同的任務性能下，產生計算和內存更高效的模型；（2）內存受限的環境中，許多經典的剪枝技術因需要基于梯度的優化而導致內存開銷過大，從而失效。 本論文的結論部分將通過基于我們的既往工作，提出更多未來在資源高效遷移學習領域的研究方向，并建議一些新的研究分支。 機器學習（ML）模型變得越來越強大，導致它們在許多任務領域（Gururangan等，2020a；Liu等，2022）、數據模態（Team等，2023；McKinzie等，2024）和最終用戶應用（Bommasani等，2021；Maslej等，2023）中的廣泛采用。可以說，這一驚人增長速度的關鍵驅動力之一是遷移學習。在遷移學習中，我們通過利用來自不同但希望相關任務的知識，來提高對目標任務（或任務集）的性能（Bozinovski和Fulgosi，1976；Pratt，1992；Ruder等，2019）。我們希望解決的許多終任務數據有限，或者過于復雜，無法通過實際數量的監督樣本直接指定或學習。遷移學習不僅通過提供代理數據，還通過利用這些任務與選定遷移任務之間的結構關系，使我們能夠高效學習復雜任務（Thrun和Schwartz，1994；Baxter，2000）。 盡管取得了成功，現代實現形式的遷移學習可能資源消耗過大。例如，普遍的預訓練后適應范式1。在這種方法中，越來越大的模型首先在越來越多的數據上進行訓練，這些模型最終通過微調（Devlin等，2018；Abnar等，2021）、提示（Brown等，2020a；Liu等，2023）或基于人類反饋的強化學習（RLHF）（Christiano等，2017）適應于大量下游任務。GPT-4（Achiam等，2023）作為這一范式下的一個流行模型，據傳其參數數量超過1.7萬億2，估計訓練時使用了超過10萬億個標記；總共超過1e25次浮點運算（當時約為1億美元）。盡管這些巨大的訓練成本通常被認為可以通過未來的多個終任務攤銷，但如此龐大的模型在部署時會帶來顯著的內存、延遲、計算和能源負擔，從而引發了對資源節約程度的真正質疑。 本論文致力于探索資源高效的遷移學習技術。我們認識到，不僅存在廣泛的資源受限的ML實踐者，還有許多任務在訓練和部署時都有內在的資源限制（例如，在邊緣設備上執行的任務往往受到內存限制）。即使對于有能力訓練和使用大型模型的機構，資源高效的遷移學習也可以帶來顯著的財務節省，并減少通過二氧化碳排放對環境造成的壓力（Ligozat等，2022）。 本論文關注三個主要的資源維度：數據、計算和內存，以及它們在訓練和部署時的使用。我們的目標是在訓練和測試時實現資源高效的前提下，生成表現出色的模型（包括任務特定的指標，如準確率或F1）。我們將利用的一個基礎性見解是，ML實踐者通常對模型將用于的終任務有一定程度的先驗意識。這種終任務感知使我們能夠做出明智的設計決策，從而在資源節約的情況下生成高效且強大的模型。簡而言之，本論文基于以下問題陳述： 給定一個特定的終任務T?，我們如何通過利用一組遷移任務Taux，在資源高效的情況下生成滿足T?各種性能標準的模型？ 終任務感知遷移學習的概念本身并不新穎。以往的工作已經在解決復雜規劃問題（Stone和Veloso，1994）、提高支持向量機性能（Wu和Dietterich，2004）和構建貝葉斯線性回歸的先驗（Raina等，2006）等方面探索了不對稱遷移。我們感興趣的是擴展現有文獻，并開發適應于新的、深度學習主導的時代（LeCun等，2015；Goodfellow等，2016）的新方法。與以往的工作不同，我們不僅關注提高任務指標，如準確率或困惑度，我們還關注在資源高效的情況下實現這些改進。下面，我們將提供本論文中不同工作部分的高層次概述，并說明它們與我們定義的目標的關系。

在機器學習領域，開發在世界中智能行為的代理仍是一個開放性挑戰。對這樣的代理的期望包括高效的探索、最大化長期效用以及能夠有效利用以往數據解決新任務的能力。強化學習（RL）是一種基于通過試錯直接與環境互動來學習的方法，并為我們訓練和部署此類代理提供了途徑。此外，將RL與強大的神經網絡功能逼近器結合使用——一個被稱為“深度RL”的子領域——已顯示出實現這一目標的證據。例如，深度RL已產生了能夠以超人水平玩圍棋的代理、提高微芯片設計的效率，以及學習控制核聚變反應的復雜新策略的代理。部署深度RL的一個主要問題是樣本效率低。具體來說，雖然可以使用深度RL訓練有效的代理，但主要成功案例大多數是在我們可以通過使用模擬器獲得大量在線互動的環境中實現的。然而，在許多現實世界的問題中，我們面臨的情況是樣本成本高昂。正如所暗示的，解決這個問題的一種方式是通過獲取一些以往的數據，通常稱為“離線數據”，這可以加速我們學習這些代理的速度，例如利用探索性數據防止重復部署，或使用人類專家數據快速引導代理朝向有前途的行為等。然而，將這些數據融入現有的深度RL算法的最佳方式并不直觀；簡單地使用RL算法在這些離線數據上進行預訓練，一種稱為“離線RL”的范式作為后續學習的起點，往往是不利的。此外，如何明確地在線派生出由這種離線預訓練積極影響的有用行為尚不清楚。鑒于這些因素，本文提出了一種三管齊下的策略來提高深度RL中的樣本效率。首先，我們研究了在離線數據上進行有效的預訓練。然后，我們解決在線問題，探討在純在線操作時對環境進行高效適應。最后，我們得出結論，使用離線數據在在線行動時明確增強策略。

語言是民主化土地和文化邊界的通道。在人工智能（AI）系統中，橋接不同語言之間的差距是最大的挑戰之一。目前AI系統的成功主要由監督學習范式所主導，其中基于梯度的學習算法（例如SGD、Adam）被設計用來優化復雜的高維平面。這些算法從通常為特定任務（如產品評論、情感分析）收集的統計觀察中學習。使用任務依賴樣本使學習過程變得繁瑣，因為它需要手動注釋數據。相反，如果沒有足夠的樣本來代表分布，深度學習模型往往因缺乏魯棒性而受到影響。由于隨機性的自然難題，數據收集過程中并非所有觀察集都被觀察到，從而在學習算法中創造了分布外（OOD）問題。

在尋找一種通用的任務不可知分布時，可以將跨多個領域的大量文本集合視為-標準自然文本分布（SNTD）。傳統自然語言處理（NLP）中遷移學習的一般想法是利用SNTD知識進行任何其他任務依賴訓練。學習SNTD，接著用較少量的注釋數據進行任務適應方法，已在各種監督NLP任務中取得了最先進（SOTA）結果。然而，每個任務的每種語言的注釋數據都是罕見的。

在語言模型中，有許多種分布差異。分布差異被編碼進語言模型的最常見方式之一是當模型用單語文本訓練并學習分離時。然后，這些語言模型產生的詞嵌入被用作預訓練的嵌入向量，以適應下游任務。我們提出對抗性訓練，將兩個單語分布投射到相同空間中，然后通過帶參數共享的增強微調提高模型的魯棒性。通過將單語言分布投射到相同的跨語言空間中，使語言分布相互了解。這些投射分布在潛在空間中在語義上相互了解。因此，當我們訓練一個分布時，另一個分布會自動適應訓練數據，使知識轉移（交換）變得更容易。此外，我們提出的新型自我訓練架構大幅提高了跨語言轉移。

接下來，我們關注聯合訓練的多語言語言模型，其中沒有主導的分布差異。在多語言模型中，我們更加關注下游任務的適應。我們發現，使用從預訓練語言模型中生成的偽增強數據的半監督學習可以大大提高下游任務的性能。最后，我們介紹了一種新穎的數據增強框架，它使用原始訓練數據的鄰近（相鄰）樣本，而不顯式使用任何平行文本語料庫或機器翻譯系統。我們提出的方法同時進行自我訓練、數據增強和無監督樣本選擇。它還為不同領域樣本提出了課程策略。通過對三種不同的跨語言任務進行廣泛的實驗，我們展示了我們所提方法的有效性。

雖然以上所有工作都集中在提高多語言任務適應性而無需監督，但我們進一步研究了添加少量樣本如何影響多語言任務適應性。為此，我們利用每種語言中少量的支持樣本，提出了一種推斷時轉導的最近鄰基方法，該方法利用查詢樣本的熵進行預測。我們展示了我們提出的方法在完全模型/完全頭部微調以及跨任務微調方面的性能優于其他方法。我們還展示了在完整推理預測的計算成本方面的顯著性能提升（37～x）。然而，隨著語言模型的增大，尤其是對于多任務，進行高效推理變得越來越困難。

聯合優化的多語言分布有助于將知識從資源豐富的語言轉移到資源較少的語言。在研究轉導最近鄰推理時，我們觀察到語言模型極易受到任務分布的影響。除非我們使用極大的語言模型（>100B），否則用于特定任務適應的模型不能用于其他任務。在這篇論文中，我們最終提出的方法解決了這個問題，通過多任務提示學習。 多任務提示學習可以通過同時對多個任務和領域進行泛化來幫助泛化，從而增強去除下游任務的分布差異的潛力。我們提出了一種半參數提示調整方法，用于多任務提示學習。我們提出方法的新穎組成部分是一個記憶庫，根據離散提示從中檢索記憶提示。我們在8個不同領域的31個不同任務上進行的廣泛實驗表明了我們所提方法的有效性。

本篇論文旨在探索語言模型在多種語言、任務和領域中的適應性。它從基本的多語言適應問題開始，從那里擴展到關于不同資源可用性的多種OOD案例，涉及多種語言、任務和領域。

"強化學習（RL）是一個強大的決策制定和通過交互適應性學習的框架。盡管其核心是試錯學習，但它已成為人工智能（AI）研究的關鍵工具。在過去的十年中，RL算法已能夠掌握國際象棋和圍棋等戰略游戲，并控制各種機器人和工業平臺，從運動和操縱到電廠，甚至核聚變反應堆。通過將深度神經網絡（NN）作為函數逼近器納入其中，“深度RL”達到了處理高維狀態和動作空間的能力，并且原則上在任務間有更好的泛化性，使RL解決方案變得多樣化且有前景。然而，使用深度神經網絡帶來了某些警告。RL算法經常面臨由于過擬合和對超參數敏感導致的脆弱性問題，這些問題加劇了典型的RL挑戰，如低樣本效率、處理稀疏獎勵的困難、長期任務的延遲信用分配、對獎勵函數設計的敏感性。在這篇論文中，我們提出了一系列針對RL所面臨的一些問題的新穎貢獻，其最終目標是提高其在連續控制任務中的效率、穩健性和泛化性。具體來說，我們將介紹更穩健的軌跡優化方法，結合NN函數逼近用于策略學習、模型學習和獎勵學習。特別是，這項工作的大部分集中在零階優化用于模型預測控制，我們證明這比基于梯度的軌跡優化器更高效、穩健和可重現。在整篇論文中，我們將展示如何使用零階優化來有效解決稀疏獎勵任務，如何在模仿學習的背景下使用它，以及如何結合模型學習用于不確定性傳播。最后，我們將介紹一種從零開始學習獎勵函數的方法，以純自監督的方式。通過在模擬環境中的廣泛實驗，我們的方法在學習效率和性能上展示了顯著的提升，減少了與環境交互所需的次數，同時仍然實現了接近最優的解決方案。這項工作旨在提供一種解決深度RL挑戰部分問題的可行方法，不依賴于預定義的專家知識，解決學習過程的效率和穩健性問題。”

“雖然我們對于究竟是什么引發了人類的思維和批判性推理尚且遙遠不明，但有證據表明人類行為是通過強化學習引導的。強化學習（RL）的歷史可以追溯到20世紀，當時B.F. Skinner和I. Pavlov對動物進行了一系列關于條件反射的實驗 [1, 2]，以理解學習背后的機制。心理學家E. Thorndike已經將動物的反應由其后果所強化的觀點，正式表述為“效果定律” [3]： 在特定情境中產生滿意效果的反應變得更有可能再次發生，在該情境中產生不適效果的反應變得不太可能再次發生。 —— Edward Thorndike Thorndike的效果定律假設動物不是通過推理，而是通過與物理環境的試錯互動來學習，直到獲得成功的結果。這種決策策略以回顧性方式將獎勵與行動聯系起來，與前瞻性觀點相對立，后者認為動物形成環境的場域圖作為學習的指導機制，也稱為“認知地圖” [4, 5]。”

“關于人腦的大量實驗證據表明，行為選擇存在多種機制 [6]，決策過程既是反思性的（前瞻性）也是反射性的（回顧性），正如我們所預期的那樣。強化學習理論也以類似的方式發展，現在包括兩個主要分支：無模型（反射性）和基于模型（反思性）RL [7]。無模型RL學習在狀態和行動之間的反應性映射，以增加代理的獎勵，而無需了解環境的基本物理原理。相反，基于模型的RL則學習對世界的內部表征，用于學習每個行動的后果。與基于模型的RL類似，另一種計算性的前瞻性推理方法可以在模型預測控制（MPC）中找到，它在機器人學和許多工業過程中有效使用 [8, 9]。在MPC中，使用已知模型來迭代地優化給定的獎勵，同時考慮規劃范圍內的約束和來自環境的反饋。鑒于其提前規劃的組成部分，MPC也可以被看作是一種反思性決策制定的形式。 在這篇論文的過程中，我們將看到如何將基于模型和無模型的RL與MPC風格的迭代規劃相結合，以創建比單獨組件更強大的控制策略。例如，無模型RL算法能夠從大量數據中快速學習，但對訓練超參數敏感，泛化能力不佳，并且缺乏規劃組件，這可能導致在復雜環境中做出次優決策。另一方面，基于模型的RL方法有可能更靈活，但經常受到與模型估計相關的偏差的困擾，當以自回歸方式使用時，這些偏差可能迅速累積。將基于模型的RL與MPC整合起來可以提供兩全其美的解決方案，因為MPC提供了一個規劃框架，可以納入學習到的世界模型，并在規劃范圍內優化代理的行動。這可以導致更高效的決策制定策略，能夠從經驗中學習，適應不斷變化的環境，并隨著時間的推移優化它們的行為，同時具有反應性以及規避風險的特性。”

深度神經網絡(DNNs)使計算機能夠在許多不同的應用中脫穎而出，如圖像分類、語音識別和機器人控制。為了加快DNN的訓練和服務，并行計算被廣泛采用。向外擴展時，系統效率是一個大問題。在分布式機器學習中，高通信開銷和有限的設備上內存是導致系統效率低下的兩個主要原因。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-83.html

本文研究了在分布式機器學習工作負載下，在數據和模型并行性方面減輕通信瓶頸并實現更好的設備上內存利用的可能方法。

在通信方面，我們的Blink項目緩解了數據并行訓練中的通信瓶頸。通過打包生成樹而不是形成環，Blink可以在任意網絡環境中實現更高的靈活性，并提供近乎最佳的網絡吞吐量。為了消除模型并行訓練和推理過程中的通信問題，我們從系統層上升到應用層。我們的sensAI項目將多任務模型解耦到斷開的子網中，其中每個子網負責單個任務或原始任務集的子集的決策制定。

為了更好地利用設備上的內存，我們的小波項目有意增加任務啟動延遲，在加速器上的不同訓練任務波之間交錯使用內存峰值。通過將多個訓練波集中在同一個加速器上，它提高了計算和設備上的內存利用率。

盡管現代深度強化學習(RL)算法處于人工智能能力的前沿，但通常需要大量的訓練樣本才能達到與人類相當的性能水平。這種嚴重的數據效率低下是深度RL實際應用的主要障礙: 在沒有模擬器的情況下，幾乎不可能將深度RL應用到任何領域。為了解決這一關鍵的數據低效問題，在本文中，我們致力于設計能夠快速適應新環境的元學習智能體。與標準的強化學習相比，元學習在環境分布上進行學習，從環境中抽樣特定任務，并直接優化元學習者，以提高策略改進的速度。通過利用與感興趣任務共享子結構的任務分布，元學習者可以調整自己的歸納偏差，從而在測試時快速適應。本文主要研究元學習算法的設計，該算法利用記憶作為驅動在新環境中快速適應的主要機制。情景間記憶的元學習是一種利用基于特定環境的整個互動歷史的記憶架構來產生策略的元學習方法。因此，在特定任務中的學習動態驅動策略改進被包含在序列模型的計算過程中，本質上把學習算法的設計交給了體系結構。雖然概念上簡單明了，但使用情景間記憶的元學習非常有效，仍然是一種最先進的方法。我們提出并討論了一些通過記憶進行元學習的技巧。論文的第一部分集中在“具身”環境類，其中智能體人在一個類似于自然世界的環境中有一個物理表現。我們利用這種高度結構化的環境集，致力于設計具有快速記憶、規劃和狀態推斷能力的單片嵌入式代理體系結構。在論文的第二部分，我們將重點放在那些沒有強公共子結構的一般環境中應用的方法。首先，我們重新研究了元學習主體與環境的交互模式:提出用并發執行框架取代傳統的順序處理交互歷史，其中多個主體在環境中并行操作。接下來，我們將討論一種通用且功能強大的跨情景記憶序列模型——門控transformer的使用，它在性能和數據效率方面有了很大的改進。最后,我們開發一種方法,顯著降低訓練成本和代理延遲transformer 模型(元)強化學習設置,目的是對(1)在研究社區,使其使用更加廣泛,(2)解鎖使用實時和latency-constrained應用,如機器人。

//www.ml.cmu.edu/research/phd-dissertation-pdfs/eparisot_phd_mld_2021.pdf