本書的目的是考慮大型和具有挑戰性的多階段決策問題，這些問題可以通過動態規劃和最優控制從原則上解決，但它們的精確解在計算上是難以解決的。我們討論了依靠近似來產生性能良好的次優策略（suboptimal policies）的求解方法。這些方法統稱為強化學習（reinforcement learning），也包括近似動態規劃（approximate dynamic programming）和神經動態規劃（ neuro-dynamic programming）等替代名稱。
我們的學科從最優控制和人工智能的思想相互作用中獲益良多。本專著的目的之一是探索這兩個領域之間的共同邊界，并形成一個可以在任一領域具有背景的人員都可以訪問的橋梁。
這本書的數學風格與作者的動態規劃書和神經動態規劃專著略有不同。我們更多地依賴于直觀的解釋，而不是基于證據的洞察力。在附錄中，我們還對有限和無限視野動態規劃理論和一些基本的近似方法作了嚴格的簡要介紹。為此，我們需要一個適度的數學背景：微積分、初等概率和矩陣向量代數等。
實踐證明這本書中的方法是有效的，最近在國際象棋和圍棋中取得的驚人成就就是一個很好的證明。然而，在廣泛的問題中，它們的性能可能不太可靠。這反映了該領域的技術現狀：沒有任何方法能夠保證對所有甚至大多數問題都有效，但有足夠的方法來嘗試某個具有挑戰性的問題，并有合理的機會使其中一個或多個問題最終獲得成功。因此，我們的目標是提供一系列基于合理原則的方法，并為其屬性提供直覺，即使這些屬性不包括可靠的性能保證。 希望通過對這些方法及其變體的充分探索，讀者將能夠充分解決他/她自己的問題。
付費5元查看完整內容
相關內容
強化學習（RL）是機器學習的一個領域，與軟件代理應如何在環境中采取行動以最大化累積獎勵的概念有關。除了監督學習和非監督學習外，強化學習是三種基本的機器學習范式之一。
強化學習與監督學習的不同之處在于，不需要呈現帶標簽的輸入/輸出對，也不需要顯式糾正次優動作。相反，重點是在探索（未知領域）和利用（當前知識）之間找到平衡。
該環境通常以馬爾可夫決策過程（MDP）的形式陳述，因為針對這種情況的許多強化學習算法都使用動態編程技術。經典動態規劃方法和強化學習算法之間的主要區別在于，后者不假設MDP的確切數學模型，并且針對無法采用精確方法的大型MDP。
強化學習
·
強化一詞來源于實驗心理學中對動物學習的研究，它指的是某一事件的發生，與某一反應之間有恰當的關系，而這一事件往往會增加該反應在相同情況下再次發生的可能性。雖然心理學家沒有使用“強化學習”這個術語，但它已經被人工智能和工程領域的理論家廣泛采用，用來指代基于這一強化原理的學習任務和算法。最簡單的強化學習方法使用的是一個常識，即如果一個行為之后出現了一個令人滿意的狀態，或者一個狀態的改善，那么產生該行為的傾向就會得到加強。強化學習的概念在工程領域已經存在了幾十年(如Mendel和McClaren 1970)，在人工智能領域也已經存在了幾十年(Minsky 1954, 1961;撒母耳1959;圖靈1950)。然而，直到最近，強化學習方法的發展和應用才在這些領域占據了大量的研究人員。激發這種興趣的是兩個基本的挑戰:1) 設計能夠在復雜動態環境中在不確定性下運行的自主機器人代理，2) 為非常大規模的動態決策問題找到有用的近似解。
付費5元查看完整內容
深度強化學習
·
Deep Reinforcement Learning via Policy Optimization
付費5元查看完整內容
MIT新書《強化學習與最優控制》，REINFORCEMENT LEARNING AND OPTIMAL CONTROL //web.mit.edu/dimitrib/www/Slides_Lecture13_RLOC.pdf
付費5元查看完整內容
主題： Deep Reinforcement Learning with Applications in Transportation
簡介： 交通運輸，特別是移動乘車共享領域，存在許多傳統上具有挑戰性的動態決策問題，這些問題涉及研究文獻，而且很容易從人工智能（AI）中受益匪淺。一些核心示例包括在線乘車指令調度，該系統將可用的駕駛員與乘車共享平臺上的出行請求乘客實時匹配；路線規劃，用于規劃行程起點和終點之間的最佳路線；交通信號控制，可動態自適應地調整區域內的交通信號以實現低延遲。所有這些問題都有一個共同的特征，即在我們關注某個范圍內的一些累積目標時，要做出一系列決定。強化學習（RL）是一種機器學習范例，可訓練代理通過與之交互并獲取反饋信號來學習在環境中采取最佳行動（以所獲得的總累積獎勵衡量）。因此，它是用于解決順序決策問題的一類優化方法。得益于深度學習研究和計算能力的飛速發展，深度神經網絡和RL的集成為解決復雜的大規模學習問題在RL中產生了爆炸性的進展，近年來引起了巨大的興趣。深度學習和RL的結合甚至被認為是通往真正AI的道路。它具有巨大的潛力，以前所未有的方式解決運輸中的一些難題。
目錄簡介：
- Part I: 介紹：機器學習與強化學習
- Part II: 強化學習基礎
- Part III:基于policy的強化學習
- Part IV:強化學習框架
付費5元查看完整內容
主題： Meta-Learning: from Few-Shot Learning to Rapid Reinforcement Learning
摘要： 近年來，在數據豐富的領域，諸如深度神經網絡等高容量模型已經使機器學習技術變得非常強大。然而，數據稀缺的領域已被證明具有挑戰性的這種方法，因為高容量函數逼近嚴重依賴于大數據集的泛化。這可能對從有監督的醫學圖像處理到強化學習等領域構成重大挑戰，在這些領域，真實世界的數據收集（如機器人）構成重大的后勤挑戰。元學習或少鏡頭學習為這個問題提供了一個潛在的解決方案：通過學習從許多以前的任務中跨數據學習，很少鏡頭元學習算法能夠發現任務之間的結構，從而實現新任務的快速學習。本教程的目的是為元學習提供一個統一的視角：向觀眾講授現代方法，描述圍繞這些技術的概念和理論原則，介紹這些方法以前的應用領域，并討論了該地區存在的基本問題和挑戰。我們希望本教程對那些在其他領域有專長的機器學習研究人員都有用，同時也為元學習研究人員提供了一個新的視角。總而言之，我們的目標是為受眾成員提供將元學習應用到他們自己的應用中的能力，并開發新的元學習算法和理論分析，這些驅動是由現有工作的挑戰和局限所驅動的。我們將提供一個統一的視角，說明各種元學習算法如何能夠從小數據集中學習，概述元學習能夠而且不容易應用的應用，并討論這一子領域的突出挑戰和前沿。
邀請嘉賓： Chelsea Finn是Google Brain的研究科學家，也是加州大學伯克利分校的博士后學者。2019年9月，她將以助理教授的身份加入斯坦福大學計算機科學系。芬恩的研究興趣在于通過學習和互動，使機器人和其他智能體發展出廣泛的智能行為。為此，芬恩開發了深度學習算法，用于同時學習機器人操作技能中的視覺感知和控制，用于可伸縮獲取非線性回報函數的逆強化方法，以及能夠快速實現的元學習算法，在視覺感知和深度強化學習中，很少有鏡頭適應。芬恩在麻省理工學院獲得了EECS學士學位，在加州大學伯克利分校獲得了CS博士學位。她的研究成果已通過NSF研究生獎學金、Facebook獎學金、C.V.Ramamoorthy杰出研究獎和麻省理工35歲以下技術評論獎獲得認可，她的研究成果已被包括《紐約時報》、《連線》和彭博社在內的多家媒體報道。
Sergey Levine 2009年獲得斯坦福大學計算機科學學士和碩士學位，2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋季加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習，重點是深度學習和強化學習算法。他的工作包括自主機器人和車輛，以及計算機視覺和圖形。他的研究工作包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法、反向強化學習的可擴展算法、深度強化學習算法等。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191