強化學習是現在人工智能領域里面最活躍的研究領域之一，它是一種用于學習的計算方法，其中會有一個代理在與復雜的不確定環境交互時試圖最大化其所收到的獎勵。現在，如果你是一個強化學習的初學者，由 Richard Sutton 和 Andrew Barto 合著的《Reinforcement Learning : An Introduction》可能就是你的最佳選擇。這本書提供了關于強化學習的簡單明了的關鍵思想和算法的解釋。他們討論了該領域的知識基礎的歷史延伸到了最新的發展的應用。
本書全文共分三部分，17章內容
-
第一部分：列表（Tabular）解決法，第一章描述了強化學習問題具體案例的解決方案，第二章描述了貫穿全書的一般問題制定——有限馬爾科夫決策過程，其主要思想包括貝爾曼方程（Bellman equation）和價值函數，第三、四、五章介紹了解決有限馬爾科夫決策問題的三類基本方法：動態編程，蒙特卡洛方法、時序差分學習。三者各有其優缺點，第六、七章介紹了上述三類方法如何結合在一起進而達到最佳效果。第六章中介紹了可使用適合度軌跡（eligibility traces）把蒙特卡洛方法和時序差分學習的優勢整合起來。第七章中表明時序差分學習可與模型學習和規劃方法（比如動態編程）結合起來，獲得一個解決列表強化學習問題的完整而統一的方案。
-
第二部分：近似求解法，從某種程度上講只需要將強化學習方法和已有的泛化方法結合起來。泛化方法通常稱為函數逼近，從理論上看，在這些領域中研究過的任何方法都可以用作強化學習算法中的函數逼近器，雖然實際上有些方法比起其它更加適用于強化學習。在強化學習中使用函數逼近涉及一些在傳統的監督學習中不常出現的新問題，比如非穩定性（nonstationarity）、引導（bootstrapping）和目標延遲（delayed targets）。這部分的五章中先后介紹這些以及其它問題。首先集中討論在線（on-policy）訓練，而在第九章中的預測案例其策略是給定的，只有其價值函數是近似的，在第十章中的控制案例中最優策略的一個近似已經找到。第十一章討論函數逼近的離線（off-policy）學習的困難。第十二章將介紹和分析適合度軌跡（eligibility traces）的算法機制，它能在多個案例中顯著優化多步強化學習方法的計算特性。這一部分的最后一章將探索一種不同的控制、策略梯度的方法，它能直接逼近最優策略且完全不需要設定近似值函數（雖然如果使用了一個逼近價值函數，效率會高得多）。
-
第三部分：深層次研究，這部分把眼光放到第一、二部分中介紹標準的強化學習思想之外，簡單地概述它們和心理學以及神經科學的關系，討論一個強化學習應用的采樣過程，和一些未來的強化學習研究的活躍前沿。
付費5元查看完整內容
相關內容
強化學習
·
強化一詞來源于實驗心理學中對動物學習的研究，它指的是某一事件的發生，與某一反應之間有恰當的關系，而這一事件往往會增加該反應在相同情況下再次發生的可能性。雖然心理學家沒有使用“強化學習”這個術語，但它已經被人工智能和工程領域的理論家廣泛采用，用來指代基于這一強化原理的學習任務和算法。最簡單的強化學習方法使用的是一個常識，即如果一個行為之后出現了一個令人滿意的狀態，或者一個狀態的改善，那么產生該行為的傾向就會得到加強。強化學習的概念在工程領域已經存在了幾十年(如Mendel和McClaren 1970)，在人工智能領域也已經存在了幾十年(Minsky 1954, 1961;撒母耳1959;圖靈1950)。然而，直到最近，強化學習方法的發展和應用才在這些領域占據了大量的研究人員。激發這種興趣的是兩個基本的挑戰:1) 設計能夠在復雜動態環境中在不確定性下運行的自主機器人代理，2) 為非常大規模的動態決策問題找到有用的近似解。
付費5元查看完整內容
摘要：
本文將優化描述為一個過程。在許多實際應用中，環境是如此復雜，以致于無法制定一個全面的理論模型，并使用經典算法理論和數學優化。采取一種穩健的方法是必要的，也是有益的，方法是應用一種不斷學習的優化方法，在觀察到問題的更多方面時從經驗中學習。這種將優化視為一個過程的觀點在各個領域都很突出，并在建模和系統方面取得了一些驚人的成功，現在它們已經成為我們日常生活的一部分。
作者介紹：
Elad Hazan是普林斯頓大學計算機科學教授。他于2015年從Technion畢業，當時他是該校運籌學副教授。他的研究重點是機器學習和優化的基本問題的算法設計和分析。他的貢獻包括合作開發用于訓練學習機器的AdaGrad算法，以及第一個用于凸優化的次線性時間算法。他曾(兩次)獲得2012年IBM Goldberg最佳論文獎，以表彰他對機器學習的次線性時間算法的貢獻。2008年，他還獲得了歐洲研究理事會(European Research Council)的一筆撥款、瑪麗?居里(Marie Curie)獎學金和谷歌研究獎(兩次)。他是計算學習協會的指導委員會成員，并擔任COLT 2015的項目主席。
付費5元查看完整內容
深度強化學習
·
Deep Reinforcement Learning via Policy Optimization
付費5元查看完整內容
簡介： Python作為目前受歡迎的語言之一，越來越多的人成為Pythoner，這本書不僅僅是一本Python說明書，該書基于Python3.7。 Python中的經典計算機科學問題可以使用經過時間驗證的方案，練習和算法來提高您的CS解決問題的能力。看起來很新或獨特的計算機科學問題通常源于經典算法，編碼技術和工程原理。并且經典方法仍然是解決它們的最佳方法！通過對本書的學習，將解決許多編碼難題，從簡單的任務（如二進制搜索算法）到使用k-means進行數據聚類。該書主要包括：
- 搜索算法
- 圖的常用技術
- 神經網絡
- 遺傳算法
- 對抗搜索
- 使用類型提示
- 涵蓋Python 3.7
目錄：
- 簡介
- 小問題
- 搜索問題
- 約束滿足問題
- 圖問題
- 遺傳算法
- K均值聚類
- 簡單的神經網絡
- 對抗搜索
- 其他問題
作者介紹： David Kopec是位于佛蒙特州伯靈頓的尚普蘭學院的計算機科學與創新助理教授。他是一個有經驗的軟件開發者.
付費5元查看完整內容
小貼士
登錄享
北京阿比特科技有限公司
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191