模仿學習
·
在傳統的強化學習任務中，通常通過計算累積獎賞來學習最優策略（policy），這種方式簡單直接，而且在可以獲得較多訓練數據的情況下有較好的表現。然而在多步決策（sequential decision）中，學習器不能頻繁地得到獎勵，且這種基于累積獎賞及學習方式存在非常巨大的搜索空間。模仿學習（Imitation Learning）背后的原理是是通過隱含地給學習器關于這個世界的先驗信息，就能執行、學習人類行為。在模仿學習任務中，智能體（agent）為了學習到策略從而盡可能像人類專家那樣執行一種行為，它會尋找一種最佳的方式來使用由該專家示范的訓練集（輸入-輸出對）。來自微軟劍橋研究院的KAMIL CIOSEK給了關于《模仿學習》的最新教程，歡迎查看！
付費5元查看完整內容
相關內容
模仿學習(IL)旨在從專家演示中學習一種策略，使學習者和專家行為之間的差異最小化。針對預先確定的差異，提出了不同的模仿學習算法來量化差異。這自然會產生以下問題:給定一組專家演示，哪些分歧可以在更高的數據效率下更準確地恢復專家策略?在這項研究中，我們提出了一種新的生成性對抗模仿學習(GAIL)模型——f-GAIL，它可以自動地從f-divergence族中學習出一個差異度量，并且能夠產生與專家相似行為的策略。與具有各種預定義散度度量的IL基線相比，f-GAIL在6個基于物理的控制任務中學習了更好的策略和更高的數據效率。
付費5元查看完整內容
哥倫比亞大學Elias Bareinboim副教授ICML 2020教程《因果強化學習》！
因果推理提供了一套工具和原則，允許人們結合數據和環境的結構不變性來推理反事實性質的問題。如果現實不是這樣，會發生什么呢? 即使想象中的現實沒有數據可用。強化學習關心的是在交互和不確定的環境中有效地找到一個優化特定功能的策略(例如，獎勵，后悔)。這兩個學科是獨立發展的，它們之間幾乎沒有相互作用。然而，在現實中，它們對同一個構建塊的不同方面進行操作，這使得他們緊密相連。
在本教程中，我們將基于這一觀察結果引入統一的處理方法，并將這兩個學科置于相同的概念和理論框架下。我們表明，當這一聯系完全建立時，就會出現許多自然的和普遍的學習問題，而這不能單獨從任何一個學科中看到。特別地，我們將討論廣義策略學習(在線、非策略和做微積分學習的組合)、何時何地干預、反事實決策(自由意志、自主、人與人工智能協作)、策略通用性和因果模仿學習等等。這種新的理解導致了對什么是反事實學習的更廣泛的觀點，并暗示了因果關系和強化學習并行研究的巨大潛力。我們稱這種新的研究為“因果強化學習”(簡稱CRL)。
地址：
付費5元查看完整內容
報告主題： Reinforcement Learning
報告簡介： 強化學習是智能體（Agent）以“試錯”的方式進行學習，通過與環境進行交互獲得的獎賞指導行為，目標是使智能體獲得最大的獎賞，強化學習不同于連接主義學習中的監督學習，主要表現在強化信號上，強化學習中由環境提供的強化信號是對產生動作的好壞作一種評價(通常為標量信號)，而不是告訴強化學習系統RLS(reinforcement learning system)如何去產生正確的動作。由于外部環境提供的信息很少，RLS必須靠自身的經歷進行學習。通過這種方式，RLS在行動-評價的環境中獲得知識，改進行動方案以適應環境。其基本原理是：如果Agent的某個行為策略導致環境正的獎賞(強化信號)，那么Agent以后產生這個行為策略的趨勢便會加強。Agent的目標是在每個離散狀態發現最優策略以使期望的折扣獎賞和最大。Nando教授將從強化學習的基礎入手，并結合強化學習的應用展開介紹。
嘉賓介紹： Nando曾在加州大學伯克利分校（UC Berkeley）從事人工智能工作，并于2001年成為加拿大不列顛哥倫比亞大學的教授，隨后于2013年成為英國牛津大學的教授。2017年，他全職加入DeepMind，擔任首席科學家，以幫助他們解決智力問題，使子孫后代可以過上更好的生活。 Nando還是加拿大高級研究所的資深研究員，并曾獲得多個學術獎項。
付費5元查看完整內容
編寫機器人程序仍然是出了名的困難。讓機器人具備學習的能力，就可以繞過那些通常需要耗費大量時間來完成特定任務的編程工作。這個演講將描述最近在深度強化學習(機器人通過自己的嘗試和錯誤學習)、學徒學習(機器人通過觀察人學習)和元學習(機器人學習學習)方面的進展。這項工作使機器人在操作、移動和飛行方面有了新的能力，這些領域的進步都是基于相同的方法。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191