亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

為自動駕駛汽車等自動系統設計控制策略是復雜的。為此，研究人員越來越多地使用強化學習(RL)來設計策略。然而，對于安全攸關系統而言，保障其在實際訓練和部署過程中的安全運行是一個尚未解決的問題。此外，當前的強化學習方法需要精確的模擬器(模型)來學習策略，這在現實世界的應用中很少出現這種情況。**本文介紹了一個安全的強化學習框架，提供了安全保證，并開發了一種學習系統動力學的受限學習方法。本文開發了一種安全的強化學習算法，在滿足安全約束的同時優化任務獎勵。在提供基線策略時，考慮安全強化學習問題的一種變體。**基線策略可以產生于演示數據，可以為學習提供有用的線索，但不能保證滿足安全約束。本文提出一種策略優化算法來解決該問題。將一種安全的強化學習算法應用于腿部運動，以展示其在現實世界的適用性。本文提出一種算法，在使機器人遠離不安全狀態的安全恢復策略和優化的學習器策略之間進行切換，以完成任務。進一步利用系統動力學的知識來確定策略的切換。結果表明，我們可以在不摔倒的情況下在現實世界中學習腿部運動技能。重新審視了已知系統動力學的假設，并開發了一種從觀察中進行系統辨識的方法。知道系統的參數可以提高模擬的質量，從而最小化策略的意外行為。最后，雖然safe RL在許多應用中都有很大的前景，但目前的方法需要領域專業知識來指定約束。本文引入了一個新的基準，在自由格式的文本中指定約束。本文開發了一個模型，可以解釋和遵守這種文本約束。我們證明該方法比基線獲得了更高的回報和更少的約束違背。

一個機器人要想在非結構化的室外環境中與人類高效合作，就必須將指令從操作者直觀的模態轉化為行動。機器人必須能夠像人類一樣感知世界，這樣機器人所采取的行動才能反映自然語言和人類感知的細微差別。傳統上，導航系統結合了個人感知、語言處理和規劃塊，這些塊通常是根據不同的性能規格單獨訓練的。它們使用限制性接口進行通信以簡化開發(即，具有離散屬性的點對象和有限的命令語言)，但這也限制了一個模塊可以傳遞給另一個模塊的信息。

深度學習的巨大成功徹底改變了計算機視覺的傳統研究方向，如目標檢測和場景標記。視覺問答(VQA)將自然語言處理中的最先進技術與圖像理解聯系起來。符號基礎、多步驟推理和對空間關系的理解已經是這些系統的元素。這些元素統一在一個具有單一可微損失的架構中，消除了模塊之間定義良好接口的需要，并簡化了與之相伴的假設。我們介紹了一種將文本語言命令和靜態航空圖像轉換為適合規劃的成本圖的技術。我們建立在FiLM VQA架構的基礎上，對其進行調整以生成成本圖，并將其與修改后的可微分計劃損失(最大邊際計劃)結合起來使用Field D*計劃器。通過這種架構，我們向統一語言、感知和規劃到單一的端到端可訓練系統邁出了一步。

我們提出了一個源自CLEVR數據集的可擴展綜合基準測試，我們用它來研究算法在無偏倚環境中具有幾乎無限數據的理解能力。我們分析了該算法在這些數據上的表現，以了解其局限性，并提出未來的工作來解決其缺點。我們使用真實的航空圖像和合成命令提供混合數據集的結果。規劃算法通常具有高分支因子，并且不能很好地映射到近年來催化深度學習發展的GPU。我們精心選擇了Field D和Max Margin Planning，以在高度并行的架構上表現良好。我們引入了一個適用于多GPU數據并行訓練的Field D版本，它使用Bellman-Ford算法，與我們的cpu優化實現相比，性能幾乎提高了十倍。在團隊中工作的人之間的流暢互動取決于對任務、環境和語言微妙之處的共同理解。在這種情況下工作的機器人也必須這樣做。學習將命令和圖像轉換為具有可微分規劃損失的軌跡是捕捉和模仿人類行為的一種方法，也是實現機器人和人類無縫交互的一小步。

我們周圍的物質世界極其復雜，幾個世紀以來，我們一直試圖對其運作方式有更深入的了解。因此，建立能夠預測多物理系統(如復雜血流、混沌振蕩器和量子力學系統)長期動力學的模型仍然是科學領域的一個關鍵挑戰。雖然傳統和計算工具在解決這一開放問題方面有了顯著的改進，但它們仍面臨許多挑戰，計算資源仍然密集，而且容易產生嚴重的錯誤積累。現在，現代機器學習技術，加上大量的傳感器數據，正在推動這個方向取得重大進展，幫助我們從潛在的物理過程中發現復雜的關系。該領域的一個新興領域是混合物理信息機器學習，將物理系統的部分先驗知識集成到機器學習管道中，以提高預測性能和數據效率。在這篇論文中，我們研究了如何使用現有的關于物理世界的知識來改進和增強神經網絡的預測性能。首先，我們展示了旨在保持結構、連通性和能量(如圖、積分器和哈密頓量)的學習偏差可以有效地結合起來，從稀疏、噪聲數據中學習復雜多體節能系統的動力學。其次，通過在神經網絡中嵌入廣義的port- hamilton形式，從數據中準確地恢復不可逆物理系統的動力學。此外，我們強調了我們的模型如何通過設計從稀疏數據中發現潛在的力和阻尼項，以及重建混沌系統的Poincaré部分。最后，我們展示了基于物理的神經網絡可以有效地用于高效和準確的遷移學習——在大量研究良好的微分方程上保持高保真的同時，實現數量級的加速。總的來說，這些創新展示了科學機器學習的一個新方向——將現有知識與機器學習方法相結合。由此自然產生了許多好處，包括(1)準確的學習和長期預測(2)數據效率(3)可靠性和(4)可伸縮性。這種混合模型對于開發能夠建模和預測復雜的多保真度、多尺度物理過程的魯棒機器學習方法至關重要。

強化學習定義了僅通過行動和觀察來學習做出好的決策的代理所面臨的問題。為了成為有效的問題解決器，這些代理必須能有效地探索廣闊的世界，從延遲的反饋中分配信用，并歸納出新的經驗，同時要利用有限的數據、計算資源和感知帶寬。抽象對所有這些努力都是必要的。通過抽象，代理可以形成其環境的簡潔模型，以支持一個理性的、自適應的決策者所需要的許多實踐。在這篇論文中，我提出了強化學習中的抽象理論。首先，我提出了執行抽象過程的函數的三個要求:它們應該1)保持近似最優行為的表示，2) 有效地被學習和構造，3) 更低的規劃或學習時間。然后，我提出了一套新的算法和分析，闡明了代理如何根據這些需求學習抽象。總的來說，這些結果提供了一條通向發現和使用抽象的部分路徑，將有效強化學習的復雜性降到最低。

強化學習問題如下。RL代理通過以下兩個離散步驟的無限重復與環境進行交互:

1. 代理收到觀察和獎勵。
2. 代理從這種交互中學習并執行一個動作。 這個過程如圖1.2所示。在這種互動過程中，agent的目標是做出決策，使其獲得的長期報酬最大化。

論文余下組織如下： 第1部分。在第2章中，我提供了關于RL(2.1節)以及狀態抽象(2.2節)和動作抽象(2.3節)的必要背景知識。

第2部分。下一部分將專注于狀態抽象。我提出了新的算法和三個緊密相連的分析集，每一個目標是發現滿足引入的需求的狀態抽象。在第3章中，我開發了一個形式化的框架來推理狀態抽象，以保持近似最優的行為。這個框架由定理3.1總結，它強調了值保持狀態抽象的四個充分條件。然后，在第4章中，我將這一分析擴展到終身RL設置，在終身RL設置中，代理必須不斷地與不同的任務交互并解決不同的任務。本章的主要觀點是介紹了用于終身學習設置的PAC狀態抽象，以及澄清如何有效計算它們的結果。定理4.4說明了保證這些抽象保持良好行為的意義，定理4.5說明了有多少以前已解決的任務足以計算PAC狀態抽象。我著重介紹了模擬實驗的結果，這些結果說明了所介紹的狀態抽象類型在加速學習和計劃方面的效用。最后，第五章介紹了信息論工具對狀態抽象的作用。我提出了狀態抽象和率失真理論[283,43]和信息瓶頸方法[318]之間的緊密聯系，并利用這種聯系設計新的算法，以高效地構建狀態抽象，優雅地在壓縮和良好行為表示之間進行權衡。我以各種方式擴展了這個算法框架，說明了它發現狀態抽象的能力，這些狀態抽象提供了良好行為的樣本高效學習。

第3部分。然后我轉向行動抽象。在第6章中，我展示了Jinnai等人的分析[144]，研究了尋找盡可能快地做出計劃的抽象動作的問題——主要結果表明，這個問題通常是NP困難的(在適當簡化的假設下)，甚至在多項式時間內很難近似。然后，在第7章中，我解決了在規劃中伴隨高層次行為構建預測模型的問題。這樣的模型使代理能夠估計在給定狀態下執行行為的結果。在本章中，我將介紹并分析一個用于這些高級行為的新模型，并證明在溫和的假設下，這個簡單的替代仍然是有用的。我提供的經驗證據表明，新的預測模型可以作為其更復雜的對等物的適當替代者。最后，在第8章中，我探討了抽象行動改善探索過程的潛力。我描述了Jinnai等人開發的一種算法[145]，該算法基于構建可以輕松到達環境所有部分的抽象行動的概念，并證明該算法可以加速對基準任務的探索。

第4部分。最后，我轉向狀態動作抽象的聯合過程。在第9章中，我介紹了一個將狀態和動作抽象結合在一起的簡單機制。使用這個方案，然后我證明了哪些狀態和動作抽象的組合可以在任何有限的MDP中保持良好的行為策略的表示，定理9.1總結了這一點。接下來，我將研究這些聯合抽象的反復應用，作為構建分層抽象的機制。在對層次結構和底層狀態動作抽象的溫和假設下，我證明了這些層次結構也可以保持全局近最優行為策略的表示，如定理9.3所述。然后，我將在第十章中總結我的思考和今后的方向。

總的來說，這些結果闡明了強化學習的抽象理論。圖1.4展示了本文的可視化概述。