南京大學最新《基于模型的強化學習》綜述論文，值得關注！
強化學習(RL)通過與環境交互的試錯過程來解決順序決策問題。雖然RL在允許大量試錯的復雜電子游戲中取得了杰出的成功，但在現實世界中犯錯總是不希望的。為了提高樣本效率從而減少誤差，基于模型的強化學習(MBRL)被認為是一個有前途的方向，它建立的環境模型中可以進行試錯，而不需要實際成本。本文對MBRL的研究現狀進行了綜述，并著重介紹了近年來研究的進展。對于非表格環境，學習到的環境模型與實際環境之間存在泛化誤差。因此，分析環境模型中策略訓練與實際環境中策略訓練的差異，對算法設計、模型使用和策略訓練具有重要的指導意義。此外，我們還討論了離線在線學習、目標條件在線學習、多智能體在線學習和元在線學習等基于模型的在線學習技術的最新進展。此外，我們還討論了MBRL在實際任務中的適用性和優勢。最后，我們討論了MBRL未來的發展前景。我們認為MBRL在實際應用中具有巨大的潛力和優勢，但這些優勢往往被忽視，希望本文的綜述能夠吸引更多關于MBRL的研究。
強化學習(Reinforcement learning, RL)研究了提高自主智能體序列決策性能的方法[Sutton and Barto, 2018]。由于深度RL在圍棋和電子游戲中的成功展示了超越人類的決策能力，因此將其應用范圍擴展到現實任務中是非常有意義的。通常，深度RL算法需要大量的訓練樣本，導致樣本復雜度很高。在一般的RL任務中，特定算法的樣本復雜度是指學習一個近似最優策略所需的樣本量。特別地，與監督學習范式從歷史標記數據中學習不同，典型的RL算法需要通過在環境中運行最新的策略來獲得交互數據。一旦策略更新，基礎數據分布(正式的入住率測量[Syed et al.， 2008])就會發生變化，必須通過運行策略再次收集數據。因此，具有高樣本復雜度的RL算法很難直接應用于現實世界的任務中，因為在這些任務中，試錯代價很高。
因此，近年來深度強化學習(deep reinforcement learning, DRL)研究的一個主要重點是提高樣本效率[Yu, 2018]。在不同的研究分支中，基于模型的強化學習(MBRL)是最重要的方向之一，人們普遍認為它具有極大的潛力使RL算法顯著提高樣本效率[Wang et al.， 2019]。這種信念直觀地來自于對人類智慧的類比。人類能夠在頭腦中擁有一個想象的世界，在這個世界中，隨著不同的行動，事情會如何發生可以被預測。通過這種方式，可以根據想象選擇適當的行動，這樣就可以降低反復試驗的成本。MBRL中的短語模型是期望扮演與想象相同角色的環境模型。
在MBRL中，環境模型(或簡稱為模型)指的是學習智能體與之交互的環境動態的抽象。RL中的動態環境通常被表述為一個馬爾可夫決策過程(MDP)，用元組（S, A, M, R, γ）表示，其中S, A和γ分別表示狀態空間、行動空間和未來獎勵的折扣因子，M: S × A→S表示狀態轉移動力學，R: S × A→R表示獎勵函數。通常情況下，給定狀態和行為空間以及折扣因子，環境模型的關鍵組成部分是狀態轉移動力學和獎勵函數。因此，學習模型對應于恢復狀態轉移動力學M和獎勵函數r。在許多情況下，獎勵函數也被明確定義，因此模型學習的主要任務是學習狀態轉移動力學[Luo et al.， 2018, Janner et al.， 2019]。
有了環境模型，智能體就有了想象的能力。它可以與模型進行交互，以便對交互數據進行采樣，也稱為仿真數據。理想情況下，如果模型足夠準確，可以在模型中學習到一個好的策略。與無模型強化學習(model-free reinforcement learning, MFRL)方法相比，智能體只能使用從與真實環境的交互中采樣的數據，稱為經驗數據，MBRL方法使智能體能夠充分利用學習模型中的經驗數據。值得注意的是，除了MBRL，還有其他一些方法試圖更好地利用經驗數據，如off-policy算法(使用重放緩沖區記錄舊數據)和actor-critic算法(通過學習評論家來促進策略更新)。圖1描述了不同類型的RL結構。圖1(a)是最簡單的on-policy RL，其中智能體使用最新的數據來更新策略。在off-policy中，如圖1(b)所示，代理在重放緩沖區中收集歷史數據，在重放緩沖區中學習策略。在行動者-評論者RL中，如1(c)所示，智能體學習評論者，其是長期回報的價值函數，然后學習批評者輔助的策略(行動者)。如圖1(d)所示，MBRL顯式地學習一個模型。與策略外RL相比，MBRL重構了狀態轉移的動態過程，而策略外RL只是簡單地使用重放緩沖區來更穩健地估計值。雖然價值函數或批評的計算涉及到轉移動力學的信息，但MBRL中的學習模型與策略解耦，因此可以用于評估其他策略，而價值函數與抽樣策略綁定。此外，請注意，非策略、演員-評論者和基于模型是三個并行的結構，圖1(e)顯示了它們的可能組合。
RL算法的體系結構。圖中顯示了RL的訓練迭代，重點是如何利用交互數據。
通過足夠準確的模型，可以直觀地看到MBRL比MFRL產生更高的樣本效率，這一點在最近的理論研究[Sun el.，2019年]和經驗研究[Janner et al.，2019年，Wang et al.，2019年]的視角都表明了這一點。然而，在大量具有相對復雜環境的DRL任務中，要學習一個理想的模型并非易事。因此，我們需要仔細考慮模型學習和模型使用的方法。
在這一綜述中，我們對基于模型的強化學習方法進行了全面的綜述。首先，我們關注模型是如何在基本設置中學習和使用的，如第3節的模型學習和第4節的模型使用。對于模型學習，我們從經典的表格表示模型開始，然后使用神經網絡等近似模型，我們回顧了在面對復雜環境時的理論和關鍵挑戰，以及減少模型誤差的進展。對于模型的使用，我們將文獻分為兩部分，即用于軌跡采樣的黑箱模型rollout和用于梯度傳播的白箱模型。將模型使用作為模型學習的后續任務，我們還討論了在模型學習和模型使用之間建立橋梁的嘗試，即價值感知模型學習和策略感知模型學習。此外，我們簡要回顧了基于模型的方法在其他形式的強化學習中的組合，包括離線強化學習、目標條件強化學習、多智能體強化學習和元強化學習。我們還討論了MBRL在現實任務中的適用性和優勢。最后，我們對MBRL的研究前景和未來發展趨勢進行了展望。
付費5元查看完整內容
相關內容
強化學習（RL）是機器學習的一個領域，與軟件代理應如何在環境中采取行動以最大化累積獎勵的概念有關。除了監督學習和非監督學習外，強化學習是三種基本的機器學習范式之一。
強化學習與監督學習的不同之處在于，不需要呈現帶標簽的輸入/輸出對，也不需要顯式糾正次優動作。相反，重點是在探索（未知領域）和利用（當前知識）之間找到平衡。
該環境通常以馬爾可夫決策過程（MDP）的形式陳述，因為針對這種情況的許多強化學習算法都使用動態編程技術。經典動態規劃方法和強化學習算法之間的主要區別在于，后者不假設MDP的確切數學模型，并且針對無法采用精確方法的大型MDP。
現代深度強化學習(RL)算法，盡管處于人工智能能力的最前沿，但通常需要大量的訓練樣本才能達到與人類相當的性能水平。這種嚴重的數據效率低下是深度RL實際應用的主要障礙:在沒有模擬器的情況下，深度RL幾乎不可能應用于任何領域。為了解決這種關鍵數據效率低下的問題，在本論文中，我們致力于設計能夠快速適應新環境的元學習智能體。與標準的強化學習相比，元學習在特定的環境分布上進行學習，從這些環境中采樣特定的任務，并直接優化元學習器，以提高策略改進的速度。通過利用與感興趣任務具有共同子結構的任務分布，元學習器可以調整自己的歸納偏見，使其能夠在測試時快速適應。
本論文的重點是設計元學習算法，利用記憶作為驅動快速適應新環境的主要機制。具有情景間記憶的元學習是一類元學習方法，利用基于特定環境的整個交互歷史的記憶架構來產生策略。因此，在特定任務中驅動策略改進的學習動態被包含在序列模型的計算過程中，本質上把學習算法的設計交給了體系結構。雖然概念簡單，但使用情景間記憶的元學習非常有效，仍然是最先進的方法。我們提出并討論了幾種通過記憶進行元學習的技術。
論文的第一部分集中在“具身”類環境，其中一個主體在一個類似自然世界的環境中有物理表現。我們利用這種高度結構化的環境集來設計具有快速記憶、規劃和狀態推斷能力的整體嵌入式代理體系結構。在論文的第二部分，我們將重點放在沒有強公共子結構的一般環境中應用的方法。首先，我們重新檢查元學習代理與環境的交互模式:提出用一個并行執行框架來取代典型的順序處理交互歷史，其中多個智能體并行地在環境中行動。接下來，我們討論了一個通用的和強大的序列模型的使用片段間存儲器，門控transformer，展示了性能和數據效率的巨大改進。最后，我們開發了一種方法，可以顯著降低(元)強化學習設置中transformer模型的訓練成本和作用延遲，目的是(1)使它們在研究社區中更廣泛地使用，(2)解鎖它們在實時和延遲受限的應用中使用，如機器人。
//www.ml.cmu.edu/research/phd-dissertation-pdfs/eparisot_phd_mld_2021.pdf
付費5元查看完整內容
強化學習是一種學習范式，它關注的是如何控制一個系統，從而最大化一個表示長期目標的數值性能度量。強化學習與監督學習的區別在于，對于學習器的預測，只會給予部分反饋。此外，這些預測可能通過影響被控制系統的未來狀態而產生長期影響。因此，時間扮演著特殊的角色。強化學習的目標是發展有效的學習算法，以及了解算法的優點和局限性。強化學習之所以引起人們極大的興趣，是因為它可以用于解決大量的實際應用，從人工智能到運籌學或控制工程的問題。在這本書中，我們專注于那些建立在強大的動態規劃理論基礎上的強化學習算法。我們給出了一個相當全面的學習問題的目錄，描述了核心思想，關注大量的最先進的算法，然后討論了它們的理論性質和局限性。
付費5元查看完整內容
強化學習(ReinforcementLearning,RL)作為機器學習領域中與監督學習、無監督學習并列的第三種學習范式,通過與 環境進行交互來學習,最終將累積收益最大化.常用的強化學習算法分為模型化強化學習(ModelＧbasedReinforcementLearＧ ning)和無模型強化學習(ModelＧfreeReinforcementLearning).模型化強化學習需要根據真實環境的狀態轉移數據來預定義 環境動態模型,隨后在通過環境動態模型進行策略學習的過程中無須再與環境進行交互.在無模型強化學習中,智能體通過與 環境進行實時交互來學習最優策略,該方法在實際任務中具有更好的通用性,因此應用范圍更廣.文中對無模型強化學習的最 新研究進展與發展動態進行了綜述.首先介紹了強化學習、模型化強化學習和無模型強化學習的基礎理論;然后基于價值函數 和策略函數歸納總結了無模型強化學習的經典算法及各自的優缺點;最后概述了無模型強化學習在游戲 AI、化學材料設計、自 然語言處理和機器人控制領域的最新研究現狀,并對無模型強化學習的未來發展趨勢進行了展望.
付費5元查看完整內容
強化學習算法被廣泛的認為可以分為兩大類：無模型（Model-Free）的算法和基于模型（Model-Based）的算法。無模型的算法在過去一段時間在許多任務中已經取得了巨大的進步，這包括了機器人，視頻游戲等。盡管這類算法取得了巨大的成功，但是由于其較高的采樣復雜度，即需要與測試任務和環境進行大量的交互，生成樣本，從而學習得到效果較好的策略，這使得無模型的強化學習算法難以應用到大量的實際場景問題中，而僅僅應用在具有仿真環境的問題當中。
而通過學習一個近似環境的參數化的模型（Model），進而進一步幫助策略的學習的這類算法，被稱為基于模型的算法，使得其相比無模型算法可以大大降低采樣復雜度。本教程對基于模型的強化學習(MBRL)領域進行了廣泛的概述，特別強調了深度方法。MBRL方法利用環境模型來做決策——而不是將環境看作一個黑箱——并且提供了超越無模型RL的獨特機會和挑戰。我們將討論學習過渡和獎勵模式的方法，如何有效地使用這些模式來做出更好的決策，以及計劃和學習之間的關系。我們還強調了在典型的RL設置之外。
付費5元查看完整內容
摘要
本文綜述了遷移學習在強化學習問題設置中的應用。RL已經成為序列決策問題的關鍵的解決方案。隨著RL在各個領域的快速發展。包括機器人技術和游戲，遷移學習是通過利用和遷移外部專業知識來促進學習過程來幫助RL的一項重要技術。在這篇綜述中，我們回顧了在RL領域中遷移學習的中心問題，提供了一個最先進技術的系統分類。我們分析他們的目標，方法，應用，以及在RL框架下這些遷移學習技術將是可接近的。本文從RL的角度探討了遷移學習與其他相關話題的關系，并探討了RL遷移學習的潛在挑戰和未來發展方向。
關鍵詞：遷移學習，強化學習，綜述，機器學習
介紹
強化學習(RL)被認為是解決連續決策任務的一種有效方法，在這種方法中，學習主體通過與環境相互作用，通過[1]來提高其性能。源于控制論并在計算機科學領域蓬勃發展的RL已被廣泛應用于學術界和工業界，以解決以前難以解決的任務。此外，隨著深度學習的快速發展，應用深度學習服務于學習任務的集成框架在近年來得到了廣泛的研究和發展。DL和RL的組合結構稱為深度強化學習[2](Deep Reinforcement Learning, DRL)。
DRL在機器人控制[3]、[4]、玩[5]游戲等領域取得了巨大的成功。在醫療保健系統[6]、電網[7]、智能交通系統[8]、[9]等領域也具有廣闊的應用前景。
在這些快速發展的同時，DRL也面臨著挑戰。在許多強化學習應用中，環境模型通常是未知的，只有收集到足夠的交互經驗，agent才能利用其對環境的知識來改進其性能。由于環境反饋的部分可觀察性、稀疏性或延遲性以及高維觀察和/或行動空間等問題，學習主體在沒有利用任何先驗知識的情況下尋找好的策略是非常耗時的。因此，遷移學習作為一種利用外部專業知識來加速學習過程的技術，在強化學習中成為一個重要的課題。
在監督學習(SL)領域[10]中，TL得到了廣泛的研究。與SL場景相比，由于MDP環境中涉及的組件更多，RL中的TL(尤其是DRL中的TL)通常更復雜。MDP的組件(知識來自何處)可能與知識轉移到何處不同。此外，專家知識也可以采取不同的形式，以不同的方式轉移，特別是在深度神經網絡的幫助下。隨著DRL的快速發展，以前總結用于RL的TL方法的努力沒有包括DRL的最新發展。注意到所有這些不同的角度和可能性，我們全面總結了在深度強化學習(TL in DRL)領域遷移學習的最新進展。我們將把它們分成不同的子主題，回顧每個主題的理論和應用，并找出它們之間的聯系。
本綜述的其余部分組織如下:在第2節中，我們介紹了強化學習的背景，關鍵的DRL算法，并帶來了這篇綜述中使用的重要術語。我們還簡要介紹了與TL不同但又緊密相關的相關研究領域(第2.3節)。
在第3節中，我們采用多種視角來評價TL方法，提供了對這些方法進行分類的不同方法(第3.1節)，討論了遷移源和目標之間的潛在差異(第3.2節)，并總結了評價TL有效性的常用指標(第3.3節)。
第4節詳細說明了DRL領域中最新的TL方法。特別是，所討論的內容主要是按照遷移知識的形式組織的，如成型的獎勵(4.1節)、先前的演示(4.2節)、專家策略(4.3節)，或者按照轉移發生的方式組織的，如任務間映射(4.4節)、學習可轉移表示(4.5節和4.6節)等。我們在第5節討論了TL在DRL中的應用，并在第6節提供了一些值得研究的未來展望。
付費5元查看完整內容
本教程對基于模型的強化學習(MBRL)領域進行了廣泛的概述，特別強調了深度方法。MBRL方法利用環境模型來進行決策——而不是將環境視為一個黑箱——并且提供了超越無模型RL的獨特機會和挑戰。我們將討論學習過渡和獎勵模式的方法，如何有效地使用這些模式來做出更好的決策，以及規劃和學習之間的關系。我們還強調了在典型的RL設置之外利用世界模型的方式，以及在設計未來的MBRL系統時，從人類認知中可以得到什么啟示。
//sites.google.com/view/mbrl-tutorial
近年來，強化學習領域取得了令人印象深刻的成果，但主要集中在無模型方法上。然而，社區認識到純無模型方法的局限性，從高樣本復雜性、需要對不安全的結果進行抽樣，到穩定性和再現性問題。相比之下，盡管基于模型的方法在機器人、工程、認知和神經科學等領域具有很大的影響力，但在機器學習社區中，這些方法的開發還不夠充分(但發展迅速)。它們提供了一系列獨特的優勢和挑戰，以及互補的數學工具。本教程的目的是使基于模型的方法更被機器學習社區所認可和接受。鑒于最近基于模型的規劃的成功應用，如AlphaGo，我們認為對這一主題的全面理解是非常及時的需求。在教程結束時，觀眾應該獲得:
- 數學背景，閱讀并跟進相關文獻。
- 對所涉及的算法有直觀的理解(并能夠訪問他們可以使用和試驗的輕量級示例代碼)。
- 在應用基于模型的方法時所涉及到的權衡和挑戰。
- 對可以應用基于模型的推理的問題的多樣性的認識。
- 理解這些方法如何適應更廣泛的強化學習和決策理論，以及與無模型方法的關系。
付費5元查看完整內容
題目： A Survey and Critique of Multiagent Deep Reinforcement Learning
簡介： 近年來，深度強化學習（RL）取得了出色的成績。這使得應用程序和方法的數量急劇增加。最近的工作探索了單智能體深度強化之外的學習，并考慮了多智能體深度強化學習的場景。初步結果顯示在復雜的多智能體領域中的成功，盡管有許多挑戰需要解決。本文的主要目的是提供有關當前多智能體深度強化學習（MDRL）文獻的概述。此外，我們通過更廣泛的分析對概述進行補充：（i）我們回顧了以前RL中介紹的基礎內容，并強調了它們如何適應多智能深度強化學習設置。 （ii）我們為該領域的新開業者提供一般指導：描述從MDRL工作中汲取的經驗教訓，指出最新的基準并概述研究途徑。 （iii）我們提出了MDRL的實際挑戰（例如，實施和計算需求）。
作者介紹： Pablo Hernandez-Leal，Borealis AI的研究員，在此之前，曾與Michael Kaisers一起參與過阿姆斯特丹CWI的智能和自治系統。研究方向：單智能體環境開發的算法以及多智能體。計劃開發一種算法，該算法使用博弈論，貝葉斯推理和強化學習中的模型和概念在戰略交互中得到使用。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191