亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

導航是移動機器人所需要的最基本的功能之一，允許它們從一個源穿越到一個目的地。傳統的辦法嚴重依賴于預先確定的地圖的存在，這種地圖的取得時間和勞力都很昂貴。另外，地圖在獲取時是準確的，而且由于環境的變化會隨著時間的推移而退化。我們認為，獲取高質量地圖的嚴格要求從根本上限制了機器人系統在動態世界中的可實現性。本論文以無地圖導航的范例為動力，以深度強化學習(DRL)的最新發展為靈感，探討如何開發實用的機器人導航。

DRL的主要問題之一是需要具有數百萬次重復試驗的不同實驗設置。這顯然是不可行的，從一個真實的機器人通過試驗和錯誤，所以我們反而從一個模擬的環境學習。這就引出了第一個基本問題，即彌合從模擬環境到真實環境的現實差距，該問題將在第3章討論。我們把重點放在單眼視覺避障的特殊挑戰上，把它作為一個低級的導航原語。我們開發了一種DRL方法，它在模擬世界中訓練，但可以很好地推廣到現實世界。

在現實世界中限制移動機器人采用DRL技術的另一個問題是訓練策略的高度差異。這導致了較差的收斂性和較低的整體回報，由于復雜和高維搜索空間。在第4章中，我們利用簡單的經典控制器為DRL的局部導航任務提供指導，避免了純隨機的初始探索。我們證明，這種新的加速方法大大減少了樣本方差，并顯著增加了可實現的平均回報。

我們考慮的最后一個挑戰是無上限導航的稀疏視覺制導。在第五章，我們提出了一種創新的方法來導航基于幾個路點圖像，而不是傳統的基于視頻的教學和重復。我們證明，在模擬中學習的策略可以直接轉移到現實世界，并有能力很好地概括到不可見的場景與環境的最小描述。

我們開發和測試新的方法，以解決障礙規避、局部引導和全球導航等關鍵問題，實現我們的愿景，實現實際的機器人導航。我們將展示如何將DRL作為一種強大的無模型方法來處理這些問題

強化學習（RL）研究的是當環境（即動力和回報）最初未知，但可以通過直接交互學習時的順序決策問題。RL算法最近在許多問題上取得了令人印象深刻的成果，包括游戲和機器人。 然而，大多數最新的RL算法需要大量的數據來學習一個令人滿意的策略，并且不能用于樣本昂貴和/或無法進行長時間模擬的領域（例如，人機交互）。朝著更具樣本效率的算法邁進的一個基本步驟是，設計適當平衡環境探索、收集有用信息的方法，以及利用所學策略收集盡可能多的回報的方法。

本教程的目的是讓您認識到探索性開發困境對于提高現代RL算法的樣本效率的重要性。本教程將向觀眾提供主要算法原理（特別是，面對不確定性和后驗抽樣時的樂觀主義）、精確情況下的理論保證（即表格RL）及其在更復雜環境中的應用，包括參數化MDP、線性二次控制，以及它們與深度學習架構的集成。本教程應提供足夠的理論和算法背景，以使AI和RL的研究人員在現有的RL算法中集成探索原理，并設計新穎的樣本高效的RL方法，能夠處理復雜的應用，例如人機交互（例如，會話代理），醫學應用（例如，藥物優化）和廣告（例如，營銷中的終身價值優化）。在整個教程中，我們將討論開放的問題和未來可能的研究方向。

題目： Gradient Surgery for Multi-Task Learning

摘要： 雖然深度學習和深度強化學習（RL）系統在圖像分類、游戲和機器人控制等領域取得了令人印象深刻的成果，但數據效率仍然是一個重大挑戰。多任務學習是一種很有前途的跨任務共享結構的學習方法。然而，多任務設置帶來了許多優化挑戰，與獨立學習任務相比，很難實現大的效率提升。與單任務學習相比，多任務學習之所以具有如此大的挑戰性，其原因還不完全清楚。在這項工作中，我們確定了多任務優化環境中導致有害梯度干擾的三個條件，并開發了一種簡單而通用的方法來避免任務梯度之間的這種干擾。我們提出一種梯度手術的形式，將一個任務的梯度投影到任何其他具有沖突梯度的任務的梯度的法平面上。在一系列具有挑戰性的多任務監督和多任務RL問題上，該方法在效率和性能上都有顯著提高。此外，它與模型無關，可以與先前提出的多任務體系結構相結合以提高性能。

作者簡介： Tianhe Yu，加州大學伯克利分校研究助理。官方主頁：//tianheyu927.github.io/等

主題： Model-Based Reinforcement Learning:Theory and Practice

摘要： 強化學習系統可以通過兩種方式之一做出決策。在基于模型的方法中，系統使用世界的預測模型來提問“如果我做x會發生什么？”？“選擇最好的x1。在另一種無模型方法中，建模步驟被完全忽略，有利于直接學習控制策略。盡管在實踐中，這兩種技術之間的界限可能變得模糊，但作為一種粗略的指導，它對于劃分算法可能性的空間是有用的。

嘉賓簡介： Michael Janner，伯克利人工智能研究實驗室的一名博士生。

主題： Exploration-Exploitation in Reinforcement Learning

摘要： 強化學習（RL）研究的是當環境（即動力和反饋）最初未知，但可以通過直接交互學習時的順序決策問題。學習問題的一個關鍵步驟是恰當地平衡對環境的探索，以便收集有用的信息，并利用所學的政策來收集盡可能多的回報。最近的理論結果證明，基于樂觀主義或后驗抽樣的方法（如UCRL、PSRL等）成功地解決了勘探開發難題，并且可能需要比簡單（但非常流行）的技術（如epsilon貪心）小指數的樣本來收斂到接近最優的策略。樂觀主義和后驗抽樣原則直接受到多臂bandit文獻的啟發，RL提出了具體的挑戰（例如，“局部”不確定性如何通過Markov動力學傳播），這需要更復雜的理論分析。本教程的重點是提供勘探開發困境的正式定義，討論其挑戰，并回顧不同優化標準（特別是有限時間和平均回報問題）的主要算法原則及其理論保證。在整個教程中，我們將討論開放的問題和未來可能的研究方向。

邀請嘉賓： Ronan Fruit，Inria SequeL團隊的博士生。他目前是蒙特利爾Facebook人工智能研究（FAIR）的研究實習生。他的研究集中在理論上理解強化學習中的探索性開發困境，以及設計具有可證明的良好后悔保證的算法。

Alessandro Lazaric，自2017年以來一直是Facebook AI Research（FAIR）實驗室的研究科學家，他之前是SequeL團隊Inria的研究員。他的主要研究主題是強化學習，在RL的理論和算法方面都做出了巨大貢獻。在過去的十年中，他研究了多臂土匪和強化學習框架中的勘探與開發困境，特別是在遺憾最小化，最佳武器識別，純粹探索和分層RL等問題上。

Matteo Pirotta，巴黎Facebook人工智能研究（FAIR）實驗室的研究科學家。之前，他是SequeL團隊的Inria博士后。2016年，他在米蘭理工大學（意大利）獲得計算機科學博士學位。他在強化學習方面的博士論文獲得了Dimitris N.Chorafas基金會獎和EurAI杰出論文獎。他的主要研究興趣是強化學習。近幾年來，他主要關注的是RL的勘探開發困境。