亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

強化學習（RL）是一種框架，代理通過與環境交互獲取數據驅動的反饋，利用獎懲機制學習如何做出決策。深度強化學習（Deep RL）將深度學習與強化學習相結合，利用深度神經網絡的強大功能來處理復雜的高維數據。在深度RL框架下，我們的機器學習研究社區在使機器能夠在長時間范圍內做出連續決策方面取得了巨大的進展。這些進展包括在Atari游戲中達到超越人類的表現[Mnih等，2015]，掌握圍棋并擊敗世界冠軍[Silver等，2017]，提供強大的推薦系統[Gomez-Uribe和Hunt，2015，Singh等，2021]。本論文的重點是識別一些阻礙RL代理在特定環境中學習的關鍵挑戰，并改進現有方法，以提高代理的性能、樣本效率以及學習到的策略的泛化能力。

論文的第一部分 我們關注單智能體RL環境中的探索問題，在這種環境中，代理必須與復雜環境交互以達成目標。如果一個代理無法充分探索其環境，它不太可能達到高性能，因為它會錯過關鍵的獎勵，從而無法學習到最優行為。一個關鍵挑戰是稀疏獎勵環境，在這種環境中，代理只有在任務完成后才會收到反饋，使得探索更加困難。我們提出了一種新的方法，能夠實現語義探索，從而在稀疏獎勵任務中提高樣本效率和性能。

論文的第二部分 我們聚焦于合作的多智能體強化學習（MARL），這是對傳統RL設定的擴展，考慮了多個代理在同一環境中為完成共享任務而進行的交互。在需要多個代理高度協調且對失誤有嚴格懲罰的多智能體任務中，當前的最先進MARL方法往往無法學會有用的行為，因為代理容易陷入次優均衡。另一個挑戰是所有代理的聯合動作空間的探索，其規模隨著代理數量呈指數級增長。為了解決這些挑戰，我們提出了創新的方法，如通用價值探索和可擴展的基于角色的學習。這些方法促進了代理之間的更好協調、更快的探索，并增強了代理適應新環境和新任務的能力，展示了零樣本泛化能力，并提高了樣本效率。最后，我們研究了合作型MARL中的獨立策略方法，在該方法中，每個代理將其他代理視為環境的一部分。我們展示了這種方法在流行的多智能體基準測試中表現優于最先進的聯合學習方法。總之，本論文的貢獻顯著改善了深度（多智能體）強化學習的現狀。論文中開發的代理能夠高效地探索其環境，提高樣本效率，學習需要顯著多智能體協調的任務，并實現跨不同任務的零樣本泛化。

在過去的十年里，經典機器學習與現代機器學習之間的差距不斷擴大。現代學習的預測性能不可比擬地更好，但更容易對經典學習進行分析，并保證其安全性、效率、公平性等特性。在本論文中，我探討了通過審慎和戰略性地結合經典技術，是否有可能將這些期望的特性恢復到現代機器學習中。我將經典與現代學習的結合歸納為兩種高級策略：（1）封裝，即通過經典分析技術從現代的、不透明的模型中提取可靠的性能保證，或（2）替換，即從經典的基礎構建現代模型的某些組件，以提高整體的效率、可處理性和/或表達能力。這些努力在機器學習的多個領域帶來了新的進展。本論文的最重要貢獻涉及元分析，這是一種結構化的問答形式，作為循證醫學的基礎。經典元分析技術基于隨機對照試驗，其因果效度受到信任；相比之下，現代回歸模型是在大型觀察性數據庫上訓練的，其因果效度不被信任。我展示了如何在不犧牲效度的情況下將不可信的數據納入元分析中。這涉及對完全共形預測的基本改進，這些改進具有普遍的意義。在一個更聚焦的醫療保健應用中，我推廣了經典的、手工設計的心率變異性統計，使其能夠通過監督學習進行微調，成為深度神經網絡的一部分，從而生成更準確的、生理學知情的模型。我還提出了一些可以在未來機器學習模型和算法中使用的基礎計算原語。第一個是一種算法，可以在O(log T)的并行時間內（近似）運行T步非線性RNN。該算法的關鍵創新在于通過一種證明一致的局部、可并行修正方案，用深度上的非線性替代時間上的非線性。通過這種方式，經典線性動態系統（也稱為狀態空間模型）可以堆疊起來形成快速的非線性序列模型。另一個新的計算原語是在所有正交多項式序列集合上進行基于梯度的優化。這種優化形式與信號處理和優化中的許多不同問題都有聯系。最后，我提出了基于學習理論和優化中廣泛使用的幾何邊界概念的公平性標準，以規避計算的不可處理性。

動物和人類在構建世界的內部表征并利用它們來模擬、評估和選擇不同可能的行動方面表現出非凡的能力。這種能力主要通過觀察且沒有任何監督地學習。賦予自主代理類似的能力是機器學習中的一個基本挑戰。在本論文中，我將探索新的算法，這些算法能夠通過預測從視頻中進行可擴展的表征學習、視覺數據的生成模型及其在機器人領域的應用。

首先，我將討論使用預測學習目標來學習視覺表征所面臨的挑戰。我將介紹一個簡單的預測學習架構和目標，它能夠學習視覺表征，以零樣本的方式解決各種視覺對應任務。隨后，我將提出一種基于變壓器的通過擴散建模進行照片級視頻生成的方法。我們的方法在統一的潛在空間內聯合壓縮圖像和視頻，從而實現跨模態的訓練和生成。最后，我將說明生成模型在機器人學習中的實際應用。我們非自回歸的、動作條件的視頻生成模型可以作為世界模型，使具身代理能夠使用視覺模型預測控制進行規劃。此外，我將展示一個通過下一個標記預測訓練的通用代理，該代理可以從各種機器人和任務中學習多樣的機器人經驗。

在過去五年里，機器學習領域取得了顯著進展。特別是，基于自監督任務的下一個標記預測訓練的大規模生成模型在自然語言處理方面展示了非凡的能力。這些大型語言模型（LLMs）已經改變了我們與數字世界的互動。從撰寫電子郵件等簡單任務到編寫代碼等復雜任務，LLMs 正日益融入我們的日常生活。

盡管大型語言模型取得了顯著進步并被廣泛應用，但這些系統仍存在顯著的局限性。具體而言，盡管它們在大量數據上進行了訓練，但缺乏快速獲取新技能和知識的能力。此外，當前的語言模型對物理世界僅有表面的理解，缺乏推理、常識和長期規劃的能力。這些能力對于開發自主視覺代理，如增強現實助手、自動駕駛汽車和通用機器人，都是至關重要的。

我們如何構建對物理世界有直觀理解的自主代理？我們可以從人類和動物的學習方式中汲取靈感。盡管缺乏語言，動物表現出高度的智能。它們能夠熟練處理高維視覺輸入，具備常識，并能在多個時間跨度上進行規劃和行動。動物通過無監督的方式發展這種對物理世界的直觀理解，主要通過觀察和相對較少的環境交互進行學習。1943 年 Kenneth Craik 提出的一種解釋已經激勵了長期以來的 AI 研究人員：“如果有機體在其頭腦中攜帶一個‘小規模模型’的外部現實及其自身可能的行動，它就能夠嘗試各種選擇，得出哪個是最好的，在未來情況發生之前做出反應，利用過去事件的知識處理現在和未來，并在每一種情況下以更充分、更安全和更能干的方式應對面臨的緊急情況。”

為實現這一目標，在本論文中，我將展示一些學習算法和神經網絡架構，使自主機器能夠以無監督的方式學習物理世界的小規模模型，并使用該模型在現實世界中進行規劃和行動。首先，我將介紹一個簡單的預測學習架構和目標，它能夠學習視覺表征，并以零樣本的方式解決各種視覺對應任務。接下來，我將提出一個可擴展的基于注意力的架構，用于學習圖像和視頻的生成模型。最后，我將描述一些用于構建機器人學習生成模型的算法。我將展示一種新穎的非自回歸、動作條件的視頻生成模型，該模型可以作為世界模型，使機器人能夠使用視覺模型預測控制進行規劃。此外，我還將介紹一個通過下一個標記預測訓練的通用代理，該代理能夠從各種機器人和任務中學習多樣的機器人經驗。

隨著機器學習系統逐漸成為我們日常生活的組成部分，尤其是基礎模型的顯著進步，我們必須評估它們的可信性、公平性，并探索改進這些關鍵方面的方法。本論文探討了機器學習模型性能、魯棒性和公平性的測量與提升。此外，我們還研究了這些系統在新應用領域的設計和部署，并將這些指標作為重要目標。

本論文旨在使機器學習在總體上變得更加可信和強大。第一個主題是評估機器學習模型的魯棒性和公平性及其改進策略。我們的方法結合了分布魯棒優化（DRO）和人類難以察覺的對抗攻擊，同時提高了模型的魯棒性和公平性。通過分析機器學習系統的魯棒性和公平性，我們直觀地將機器感知與人類感知更接近。除了魯棒性和公平性之外，我們還研究了梯度流方法，以緩解數據稀缺問題，并在少樣本學習環境中提高分類系統的性能。我們證明了梯度流方法能夠全局收斂，并且在下游遷移學習任務中展示了其生成有用數據樣本的能力。

最后，我們專注于機器學習算法在材料科學領域的創新應用。具體來說，我們設計了機器學習系統來加速分子模擬中罕見事件的采樣。與傳統采樣方法相比，我們的方法在速度上有顯著提高，同時對這些罕見事件的概率估計也更加魯棒。

在整個論文中，我們展示了機器學習在多個方面的改進，包括公平性和魯棒性。我們還展示了它在傳統應用如機械模擬中的強大能力。未來的工作將擴展這些系統，以應對更復雜和更高維度的挑戰。通過不斷的努力，本論文為開發更加可靠和強大的機器學習系統做出了貢獻。。

在機器學習領域，我們致力于開發能夠學習的算法，即在沒有被特別編程完成某項任務的情況下，積累關于如何完成任務的知識。在這篇論文中，我們從兩個不同的角度來探討學習：我們可以應用高效機器學習者的領域以及我們可以通過更有效地解決底層優化問題來改進學習的方式。機器學習方法通常非常依賴數據。雖然現代機器學習在解決實際問題方面取得了巨大成功，但這些成功案例主要局限于有大量相關領域數據可用的設置。元學習領域旨在通過創建“學會如何學習”的模型（即能夠在給出相對較少的示例時迅速適應新任務的模型）來開發具有改進的樣本效率的模型。在本論文中，我們關注使用超網絡進行任務適應的攤銷元學習者，這些學習者成本非常有效，只需通過超網絡進行一次前向傳播即可學會如何執行新任務。我們展示了這些攤銷元學習者可以以超出其在小樣本學習設置中的典型用途的新方式來利用。

我們針對攤銷元學習者開發了一種基于集合的中毒攻擊，這種攻擊讓我們能夠定制一組協同作用的輸入，用作適應新任務的訓練數據（即作為支持集）時，這些輸入能夠欺騙系統的學習算法。這樣共同制作的對抗性輸入可以協同操縱分類器，對于具有可微適應機制的攤銷學習者來說，這種輸入尤其容易計算。我們還在可解釋性領域利用攤銷學習者進行“數據集調試”，在此過程中，我們開發了一種稱為Meta-LOO的數據價值或樣本重要性策略，可用于檢測噪聲或分布外數據；或者將一組示例提煉到其最有用的元素。

從我們的第二個角度看，機器學習和優化是密切相關的；實際上，學習可以被表述為以模型參數為目標的訓練損失最小化問題——盡管實際上我們還需要我們的算法具有泛化能力，這不是更廣泛優化的關注點。選擇的優化策略影響了算法學習的速度以及找到的解決方案（即模型參數）的質量。通過研究優化，我們可以改善我們的模型的學習效果和速度。

在這篇論文中，我們采取了雙管齊下的方法來實現這一目標。首先，我們開發了一種在線超梯度基礎的超參數優化策略，通過支持廣泛的超參數同時保持可擴展性，改進了現有的最佳技術。值得注意的是，我們的方法支持優化算法的超參數，如學習率和動量，這是文獻中類似方法不支持的。其次，我們開發了一種適用于深度學習的非凸損失景觀的二階優化策略。我們的算法近似了一個鞍點是排斥而非吸引的鞍點自由版本的Hessian，以一種適用于深度學習問題的方式。

在機器學習領域，開發在世界中智能行為的代理仍是一個開放性挑戰。對這樣的代理的期望包括高效的探索、最大化長期效用以及能夠有效利用以往數據解決新任務的能力。強化學習（RL）是一種基于通過試錯直接與環境互動來學習的方法，并為我們訓練和部署此類代理提供了途徑。此外，將RL與強大的神經網絡功能逼近器結合使用——一個被稱為“深度RL”的子領域——已顯示出實現這一目標的證據。例如，深度RL已產生了能夠以超人水平玩圍棋的代理、提高微芯片設計的效率，以及學習控制核聚變反應的復雜新策略的代理。部署深度RL的一個主要問題是樣本效率低。具體來說，雖然可以使用深度RL訓練有效的代理，但主要成功案例大多數是在我們可以通過使用模擬器獲得大量在線互動的環境中實現的。然而，在許多現實世界的問題中，我們面臨的情況是樣本成本高昂。正如所暗示的，解決這個問題的一種方式是通過獲取一些以往的數據，通常稱為“離線數據”，這可以加速我們學習這些代理的速度，例如利用探索性數據防止重復部署，或使用人類專家數據快速引導代理朝向有前途的行為等。然而，將這些數據融入現有的深度RL算法的最佳方式并不直觀；簡單地使用RL算法在這些離線數據上進行預訓練，一種稱為“離線RL”的范式作為后續學習的起點，往往是不利的。此外，如何明確地在線派生出由這種離線預訓練積極影響的有用行為尚不清楚。鑒于這些因素，本文提出了一種三管齊下的策略來提高深度RL中的樣本效率。首先，我們研究了在離線數據上進行有效的預訓練。然后，我們解決在線問題，探討在純在線操作時對環境進行高效適應。最后，我們得出結論，使用離線數據在在線行動時明確增強策略。

本論文的核心目標是通過提高深度學習模型的標簽和訓練效率來增強深度學習的實用性。為此，我們研究了基于信息論原理的數據子集選擇技術，特別是主動學習和主動采樣。主動學習提高了標簽效率，而主動采樣提高了訓練效率。監督式深度學習模型通常需要大量的帶標簽數據進行訓練。標簽獲取可能既昂貴又耗時，且訓練大型模型資源密集型，這限制了其在學術研究和“大科技”公司之外的應用。深度學習中現有的數據子集選擇方法通常依賴于啟發式方法或缺乏一個原理化的信息論基礎。相比之下，本論文檢查了數據子集選擇的幾種目標及其在深度學習中的應用，力求采用一種由信息論啟發的更原理化的方法。

我們首先在單次前向傳播的深度神經網絡中區分了認知不確定性和隨機不確定性，這提供了有用的直覺和洞見，關于不同形式的不確定性及其對數據子集選擇的相關性。然后，我們提出并研究了在（貝葉斯）深度學習中進行主動學習和數據子集選擇的各種方法。最后，我們將各種現有和提出的方法與在權重或預測空間中信息量的近似聯系起來。

支撐這項工作的是一個原理化且實用的信息論量符號，包括隨機變量和觀察到的結果。這篇論文展示了從統一視角出發工作的好處，并強調了我們的貢獻對深度學習實際應用潛在影響的可能性。

這篇論文的目標是通過交互學習來提高AI代理的知識表示能力，使其能夠有效地規劃并適應環境中的變化。論文的貢獻橫跨三個主題：學習和利用選擇性注意力、時間抽象和可供性；目標是獲得促進規劃、超出分布泛化和快速適應的知識表示。 本工作的一個中心假設是，橋接狀態和行動對于強化學習（RL）代理發展廣泛智能行為是關鍵。我們首先關注利用計算模型來模擬人類視覺注意力，然后引入興趣函數來學習專業化的、可復用的技能，以便快速適應和泛化到新的獎勵動態中。接著，我們為RL代理發展了一個可供性的理論，并形式化了時間抽象的部分選項模型，旨在加快規劃和更好的泛化。 展望持續性RL的目標，我們回顧了這個問題的現有定義，提出了一種方法的分類，并提供了文獻中使用的基準和理解代理性能的重要指標的概述。最后，我們研究了在線元強化學習設置下模型不確定性下的規劃問題，并展示了規劃視界依賴于任務數量、每個任務的樣本數量和底層任務相似性的概念。

這篇論文的目標是為發展能夠處理所觀察數據（“看”）、學習表示知識（“思”）并利用獲得的信息進行規劃（“行”）的人工智能（AI）系統貢獻力量，這些系統具有隨時間適應變化的能力。這類代理的應用包括：通過表示為時間上抽象的行為（跨多個時間步發生，例如“螺絲緊固件-一起”）的自動化倉庫裝配、在日常任務中為人類提供個人助理，這些任務需要抽象行動（例如“開門”）、通過跨多個時間步的推理來促進各種面向用戶服務的自動化控制，如網頁導航（例如“預訂票”）、輔助技術，能夠在不同情況下確定行動的可能性（即可供性），以在變化的環境中實現高級目標，如用于醫院中的機器人導航等。 在這篇論文中，我們在強化學習（RL）（Sutton和Barto，1998b）的背景下追求這一目標，RL是一個框架，它使得一個交互式的決策代理能夠學習如何在處理不確定性和有限的環境數據時實現目標。RL范式源自于實驗心理學中的動物學習，并從神經科學中汲取了想法。例如，研究人員提供了關于人類能夠選擇性地關注視覺輸入的某些部分（Borji等，2012；Judd等，2009）、收集相關信息，并順序地結合觀察結果以在不同的時間尺度上構建表示（Hayhoe和Ballard，2005；Zhang等，2019b），這可以指導感知和行動（Dayan等，2000；Kahneman，1973）。值得注意的是，在所有這些案例中，對狀態和行動的良好理解都是至關重要的。為了提高RL代理在現實世界問題中的適用性和可擴展性，關鍵是要在狀態和行動之間架起橋梁，以促進快速適應、健壯的泛化以及更高效地學習模型的更快規劃。 雖然在推進RL的最新技術方面取得了巨大進展（Silver等，2016；Vinyals等，2019），但大多數當前方法缺乏對世界的基本理解以及與人類相比，持續學習和適應的能力（Mitchell，2021）。在這篇論文中，我們認為，選擇性注意、時間抽象和可供性都是使代理不僅能夠獲得技能，而且能夠在非平穩性面前繼續適應和學習的必要組成部分。

為了激發選擇性注意的需求，我們首先探索知道在圖像中何處尋找（“看”）是否允許RL代理在執行任務時對干擾因素保持魯棒性，尤其是面對非平穩性時。此外，大量證據表明，使人類能夠適應變化并隨時間改進的核心要素包括跨多個時間尺度使用抽象表示（Collins, 2018; Eckstein和Collins, 2018）、選擇性時間注意（Zhang等，2019b）和層次化組織的行為（Botvinick等，2009）。我們通過定義具有興趣函數的時間抽象行動為RL代理實現這一直覺；我們的實驗顯示，專業化是學習可重用、可解釋技能的關鍵，這些技能使RL代理能夠快速適應獎勵中的非平穩性。 用于形式化注意力概念以建立抽象的自然框架是可供性理論（Gibson, 1977）。在心理學文獻中（Chemero, 2003; Heft, 1989），可供性被視為代理-環境互動的屬性。在這篇論文中，我們為RL代理定義了可供性，并展示了知道可供性的模型可以導致更快的規劃和更好的泛化。此外，具身認知和感知的理論表明，人類能夠以不同時間尺度的內部模型的形式表示知識（Pezzulo和Cisek, 2016）。我們以時間抽象的部分模型的形式闡述了這一洞見，這些模型利用了時間抽象和可供性，并且從理論上和實證上展示了它們可以提高學習和規劃的效率。 最后，為了更接近現實世界的設置，我們研究了在線學習問題的表述，沒有關于任務之間相似性或代理可能遇到的任務數量的先驗知識。隨著代理對其環境的基本結構獲得更多知識，它應該能夠以更長的規劃視界和更高的確定性提前規劃。我們將規劃與在線學習之間的鴻溝橋接起來，以顯示跨任務的元學習模型可以直接導致有效規劃視界的適應。 總之，這篇論文的重點是通過超越狀態抽象的知識表示來橋接狀態和行動，并共同考慮行為（動作），朝著使持續RL代理能力成為目標。這篇論文提出了學習專業化時間抽象表示的新方法，將學習植根于直觀的可供性理論，并學習具有不斷增長的視界的規劃以實現持續適應。

為了發展廣泛的智能行為，這項工作的中心假設是，橋接狀態和行動對于表示知識、利用它進行規劃并能夠隨時間適應環境變化至關重要。在這篇論文中，我們展示了如何通過選擇性注意在原始行為和時間上抽象的行為的表示中橋接狀態和行動，以快速適應非平穩性，并引入了表示世界動態的新方法，以促進更快的規劃和更好的泛化。最后，我們探索在線學習設置中的規劃，以顯示元學習一個世界模型可以進一步改進理論和實證結果，導致能夠規劃越來越長視界的代理。圖1.1提供了本論文的概述。

機器學習模型對抗性攻擊的脆弱性的理解日益重要。在對抗性機器學習中，一個基本問題是在存在所謂的規避攻擊的情況下量化需要多少訓練數據，其中數據在測試時會被損壞。在本論文中，我們采用了“球內精確性”概念，從學習理論的角度研究了對抗性魯棒學習的可行性，考慮樣本復雜性。我們首先得出了兩個負面結果。我們證明，在無分布設置下，任何非平凡的概念類都不能在對手能夠擾動單個輸入位的情況下得到魯棒學習。然后，我們展示了樣本復雜性的下界：單調合取的類以及布爾超立方體上的任何超類，其樣本復雜性至少是對手預算（即每個輸入上可以擾動的最大位數）的指數函數。特別地，這意味著在均勻分布下，不能對那些可以擾動輸入的 ω(log n) 位的對手進行魯棒學習。

作為獲得魯棒性學習保證的第一條途徑，我們考慮限制用于訓練和測試數據的分布類別。我們關注概率分布在輸入數據上滿足Lipschitz條件的學習問題：附近的點具有類似的概率。我們證明，如果對手被限制在擾動 O(log n) 位的情況下，那么可以在對數Lipschitz分布類別的條件下魯棒地學習單調合取類。然后，我們擴展了這一結果，展示了在相同的分布和對抗環境中學習 1-決策列表、2-決策列表和單調 k-決策列表的可行性。最后，我們展示對于每個固定的 k 值，k-決策列表類在 log(n) 有界對手條件下具有多項式樣本復雜性。考慮中間的 k-決策列表子類的優勢在于，我們能夠為這些情況獲得改進的樣本復雜性界限。

作為第二條途徑，我們研究了學習模型，其中學習者通過使用局部查詢獲得了更多的能力。我們首先考慮的學習模型使用局部成員查詢（LMQ），在該模型中，學習者可以查詢接近訓練樣本的點的標簽。我們證明，在均勻分布下，即使在學習者除了隨機示例外還可以訪問LMQ的情況下，對于擾動預算為 O(log n) 的對手，魯棒學習合取類和任何超類對于對數Lipschitz分布仍然不可避免地需要對對手的預算呈指數依賴。面對這個負面結果，我們引入了局部等價查詢預測器，該預測器返回假設和目標概念在訓練樣本中的某個點周圍區域內是否一致，以及如果存在反例的話也會返回反例。我們證明了一個分離結果：一方面，如果查詢半徑 λ 嚴格小于對手的擾動預算 ρ，那么在多種概念類別中是不可能進行無分布魯棒學習的；另一方面，當 λ = ρ 時，我們能夠在無分布環境中開發出魯棒的經驗風險最小化算法。然后，我們基于在線學習保證來限制這些算法的查詢復雜性，并在合取式特殊情況下進一步改進這些界限。接著，我們提供了一個在 {0, 1} n 上的半空間魯棒學習算法。最后，由于在 R n 上的半空間查詢復雜性是無界的，我們轉而考慮具有有界精度的對手，并在這種情況下給出了查詢復雜性的上界。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562