亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，人工學習系統在計算機視覺、自然語言處理和語音識別等許多具有挑戰性的領域取得了巨大的進展。這些最新進展的一個顯著特點是，將靈活的深度函數逼近器與為特定問題收集的大型數據集結合起來，這似乎是一個簡單的公式。然而，這些系統在泛化新輸入以獲取新功能時，很難利用其學習能力，通常需要在類似的大型數據集上從頭開始重新訓練。這與人類形成了鮮明的對比，人類有一種非凡的能力，可以在之前的經驗基礎上，從少數幾個例子中學習新概念。在本論文的第一部分，我們將研究如何構建系統來模擬這種快速適應新任務的能力。本文這一部分的核心原則之一是，利用大量以前的經驗/任務中的結構來實現快速適應和不確定性。首先，我們將研究獎勵規范的設置，這是強化學習中的一個常見挑戰，接下來，我們將研究元學習設置的概率框架如何能夠在不確定性下進行推理。

在本文的第二部分中，鑒于先前的任務數據集在加速學習方面發揮的潛在作用，我們將提出一個自然的問題:如何讓智能體完全自主地收集數據。這將消除人類為人工智能“管理”任務數據集的需要，并實現完全可擴展的、永無止境的具身學習。我們所采取的方法的中心主題將是考慮智能體必須解決的在線現實世界“任務”的本質，并通過它重新審視偶發性RL的基本假設。最后，我們將在現實世界靈巧操作領域展示這些想法，并為今后在這種更“自主”的強化學習設置方面的工作提供一些提示。

強化學習(Reinforcement learning, RL)是一種學習復雜決策策略的通用而強大的解決方案，為游戲和機器人等多個領域的近期成功提供了關鍵的基礎。然而，許多最先進的算法需要大量的數據，計算成本很高，需要大量的數據才能成功。雖然這在某些情況下是可能的，例如在可用數據稀少的社會科學和醫療健康應用程序中，這自然會昂貴或不可行的。隨著人們對將RL應用到更廣泛的領域的興趣的激增，對其算法設計中涉及的數據的使用形成一種明智的觀點是勢在必行的。

因此，本文主要從結構的角度研究RL的數據效率。沿著這個方向發展自然需要我們理解算法何時以及為什么會成功;并在此基礎上進一步提高數據挖掘的數據效率。為此，本文首先從實證成功案例中汲取啟示。我們考慮了基于模擬的蒙特卡洛樹搜索(MCTS)在RL中的流行，以AlphaGo Zero的卓越成就為例，并探討了納入這一關鍵成分的數據效率。具體來說，我們研究了使用這種樹結構來估計值和描述相應數據復雜性的正確形式。這些結果進一步使我們能夠分析將MCTS與監督學習相結合的RL算法的數據復雜性，就像在AlphaGo Zero中所做的那樣。

有了更好的理解之后，下一步，我們改進了基于模擬的數據高效RL算法的算法設計，這些算法可以訪問生成模型。我們為有界空間和無界空間都提供了這樣的改進。我們的第一個貢獻是通過一個新穎的低秩表示Q函數的結構框架。提出的數據高效的RL算法利用低秩結構，通過一種新的矩陣估計技術，只查詢/模擬狀態-動作對的一個子集來執行偽探索。值得注意的是，這導致了數據復雜度的顯著(指數級)提高。說到我們對無界空間的努力，我們必須首先解決無界域引起的獨特的概念挑戰。受經典排隊系統的啟發，我們提出了一個適當的穩定性概念來量化策略的“好”。隨后，通過利用底層系統的穩定性結構，我們設計了高效、自適應的算法，采用改進的、高效的蒙特卡洛oracle，以良好的數據復雜度(對感興趣的參數是多項式)保證了所需的穩定性。總之，通過新的分析工具和結構框架，本文有助于數據高效的RL算法的設計和分析。

//dspace.mit.edu/handle/1721.1/138930

人工智能技術的出現為空戰領域的許多研究鋪平了道路。學術界和許多其他研究人員對一個突出的研究方向進行了研究，即無人機的自主機動決策。形成了大量研究成果，但其中基于強化學習（RL）的決策更有效。已經有許多研究和實驗使agent以最佳方式到達目標，最突出的是遺傳算法（GA），A*，RRT和其他各種優化技術已經被使用。強化學習因其成功而廣為人知。在DARPA阿爾法斗狗試驗（Alpha Dogfight Trials）中，強化學習戰勝了由波音公司培訓的真正的F-16人類老飛行員。這個模型是由Heron系統公司開發的。在這一成就之后，強化學習帶來了巨大的關注。在這項研究中，將無人機作為目標，該無人機有一個杜賓斯車動態特性，在二維空間中使用雙延遲深確定策略梯度（TD3）以最佳路徑移動到目標，并用于經驗回放（HER）。首先，它的目的是讓agent采取最佳路徑到達目標，過程中有障礙物。在每個情節中，我們的agent從一個隨機點開始，我們的目標是穩定的，其位置沒有變化。它以最佳和快速的方式找到自己的路徑。然后，為了測試機制的極限，使我們的agent更難達到目標，并使其執行不同的機動性，我們添加了障礙物。它表現得很好，克服了所有的障礙。現在的研究是讓兩個無人機作為多agent在二維空間進行斗狗。這篇研究論文提出了一種運動規劃的算法，它使用了雙延遲深度確定性策略梯度（TD3），這是一種為具有連續行動的MDP定制的算法，使用強化學習作為基礎。

當在非結構化和半結構化環境(如倉庫、住宅和零售中心)中操作時，機器人經常需要從雜亂的箱子、貨架或桌子中交互式地搜索和檢索特定的對象，這些對象可能部分或完全隱藏在其他對象后面。我們將此任務定義為機械搜索，其目標是在盡可能少的操作中檢索到目標對象。在這些場景中，由于傳感器噪聲、遮擋和未知物體特性的存在，魯棒地感知和操作目標具有挑戰性。由于這些感知和操作挑戰，從數據中學習端到端的機械搜索策略變得非常困難。相反，我們將機械搜索策略分成三個模塊，一個感知模塊從輸入觀察中創建一個中間表示，一組低級操作原語，以及一個高級操作選擇策略，該策略根據感知模塊的輸出迭代選擇要執行的低級原語。我們探索了在操作原語方面取得的進展，如推和抓取，帶有未知對象的場景分割和占用分布預測，以推斷目標對象的可能位置。此外，我們證明了使用模擬的深度圖像或點云可以為感知網絡快速生成大規模的訓練數據集，同時允許它們泛化到真實世界的對象和場景。結果表明，在模擬和物理實驗中，與基準策略相比，集成這些組件可以產生一個高效的機械搜索策略，提高15%的成功率，并減少提取目標對象所需的操作次數。

強化學習(RL)智能體需要探索他們的環境，以便通過試錯學習最優策略。然而，當獎勵信號稀疏，或當安全是一個關鍵問題和某些錯誤是不可接受的時候，探索是具有挑戰性的。在本論文中，我們通過修改智能體解決的潛在優化問題，激勵它們以更安全或更有效的方式探索，來解決深度強化學習設置中的這些挑戰。

在這篇論文的第一部分，我們提出了內在動機的方法，在獎勵稀少或缺乏的問題上取得進展。我們的第一種方法使用內在獎勵來激勵智能體訪問在學習動力學模型下被認為是令人驚訝的狀態，并且我們證明了這種技術比單純探索更好。我們的第二種方法使用基于變分推理的目標，賦予個體不同的多種技能，而不使用特定任務的獎勵。我們證明了這種方法，我們稱為變分選擇發現，可以用來學習運動行為的模擬機器人環境。

在論文的第二部分，我們重點研究了安全勘探中存在的問題。在廣泛的安全強化學習研究的基礎上，我們提出將約束的RL標準化為安全探索的主要形式; 然后，我們繼續開發約束RL的算法和基準。我們的材料展示按時間順序講述了一個故事:我們首先介紹約束策略優化(Constrained Policy Optimization, CPO)，這是約束深度RL的第一個算法，在每次迭代時都保證接近約束的滿足。接下來，我們開發了安全健身基準，它讓我們找到CPO的極限，并激勵我們向不同的方向前進。最后，我們發展了PID拉格朗日方法，其中我們發現對拉格朗日原-對偶梯度基線方法進行小的修改，可以顯著改善求解Safety Gym中約束RL任務的穩定性和魯棒性。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html

機器人研究的一個長期目標是創建能夠從零開始自動學習復雜控制策略的算法。將這種算法應用到機器人上的挑戰之一是表示的選擇。強化學習(RL)算法已經成功地應用于許多不同的機器人任務中，如帶有機器人手臂的cup中的Ball-in-a-Cup任務和各種機器人世界杯機器人足球啟發的領域。然而，RL算法仍然存在訓練時間長、所需訓練數據量大的問題。為狀態空間、行動空間和策略選擇合適的表示可以大大減少所需的訓練時間和所需的訓練數據。

本文主要研究機器人的深度強化學習。具體來說，狀態空間、動作空間和策略表示的選擇如何減少機器人學習任務的訓練時間和樣本復雜度。特別集中注意兩個主要領域: 1)通過張量狀態-動作空間表示 2)多狀態表示的輔助任務學習

第一個領域探索了在環境變化中改進機器人策略遷移的方法。學習策略的成本可能很高，但是如果策略可以在類似的環境中傳輸和重用，那么訓練成本可以平攤。遷移學習是一個被廣泛研究的領域，涉及多種技術。在這篇論文中，我們著重設計一個易于傳輸的表示。我們的方法將狀態空間和動作空間映射為多維張量，設計成當環境中機器人和其他對象的數量變化時保持固定維數。我們還提出了全卷積Q-Network (FCQN)策略表示，這是一種特殊的網絡架構，與張量表示相結合，允許跨環境大小進行零距離傳輸。我們在模擬的單代理和多代理任務上演示了這種方法，靈感來自于RoboCup Small - Size League (SSL)和Atari Breakout的修改版本。我們還表明，在真實世界的傳感器數據和機器人中使用這樣的表示和模擬訓練策略是可能的。

第二個領域考察了一個機器人深度RL狀態表示的優勢如何彌補另一個機器人深度RL狀態表示的劣勢。例如，我們經常想要利用機器人可用的傳感器來學習任務，其中包括像攝像機這樣的高維傳感器。最近的Deep RL算法可以通過圖像進行學習，但是數據的數量對于真實的機器人來說是難以接受的。或者，可以使用任務完成所需的最小集創建狀態。這樣做的好處是:1)減少策略參數的數量，2)刪除不相關的信息。然而，提取這些特征通常會在工程、額外硬件、校準和實驗室之外的脆弱性方面有很大的成本。我們在仿真和現實世界的多個機器人平臺和任務上演示了這一點。我們證明它在模擬的RoboCup小型聯賽(SSL)機器人上工作。我們還演示了這樣的技術允許在真實的硬件上從零開始學習，通過機器人手臂執行一個球在一個杯子的任務。

//www.ri.cmu.edu/publications/robot-deep-reinforcement-learning-tensor-state-action-spaces-and-auxiliary-task-learning-with-multiple-state-representations/

導航是移動機器人所需要的最基本的功能之一，允許它們從一個源穿越到一個目的地。傳統的辦法嚴重依賴于預先確定的地圖的存在，這種地圖的取得時間和勞力都很昂貴。另外，地圖在獲取時是準確的，而且由于環境的變化會隨著時間的推移而退化。我們認為，獲取高質量地圖的嚴格要求從根本上限制了機器人系統在動態世界中的可實現性。本論文以無地圖導航的范例為動力，以深度強化學習(DRL)的最新發展為靈感，探討如何開發實用的機器人導航。

DRL的主要問題之一是需要具有數百萬次重復試驗的不同實驗設置。這顯然是不可行的，從一個真實的機器人通過試驗和錯誤，所以我們反而從一個模擬的環境學習。這就引出了第一個基本問題，即彌合從模擬環境到真實環境的現實差距，該問題將在第3章討論。我們把重點放在單眼視覺避障的特殊挑戰上，把它作為一個低級的導航原語。我們開發了一種DRL方法，它在模擬世界中訓練，但可以很好地推廣到現實世界。

在現實世界中限制移動機器人采用DRL技術的另一個問題是訓練策略的高度差異。這導致了較差的收斂性和較低的整體回報，由于復雜和高維搜索空間。在第4章中，我們利用簡單的經典控制器為DRL的局部導航任務提供指導，避免了純隨機的初始探索。我們證明，這種新的加速方法大大減少了樣本方差，并顯著增加了可實現的平均回報。

我們考慮的最后一個挑戰是無上限導航的稀疏視覺制導。在第五章，我們提出了一種創新的方法來導航基于幾個路點圖像，而不是傳統的基于視頻的教學和重復。我們證明，在模擬中學習的策略可以直接轉移到現實世界，并有能力很好地概括到不可見的場景與環境的最小描述。

我們開發和測試新的方法，以解決障礙規避、局部引導和全球導航等關鍵問題，實現我們的愿景，實現實際的機器人導航。我們將展示如何將DRL作為一種強大的無模型方法來處理這些問題