亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**人類通過被動觀察和主動互動來學習世界的心理模型，從而在環境中導航。他們的世界模型允許他們預測接下來可能發生的事情，并根據潛在的目標采取相應的行動。**這樣的世界模型在自動駕駛等復雜環境的規劃方面具有強大的前景。人類司機或自動駕駛系統用眼睛或相機感知周圍環境。他們推斷出世界的一種內部表示應該:(i)具有空間記憶(例如遮擋)，(ii)填充部分可觀測或有噪聲的輸入(例如被陽光蒙蔽時)，以及(iii)能夠概率地推理不可觀測的事件(例如預測不同的可能的未來)。它們是具身的智能體，可以通過其世界模型在物理世界中預測、計劃和行動。本文提出一個通用框架，從攝像機觀察和專家演示中訓練世界模型和策略，由深度神經網絡參數化。利用幾何、語義和運動等重要的計算機視覺概念，將世界模型擴展到復雜的城市駕駛場景。**在我們的框架中，我們推導了這種主動推理設置的概率模型，其目標是推斷解釋主動代理的觀察和行動的潛在動力學。**我們通過確保模型預測準確的重建以及合理的操作和過渡來優化日志證據的下界。首先，我們提出了一個模型，預測計算機視覺中的重要量:深度、語義分割和光流。然后，我們使用三維幾何作為歸納偏差在鳥瞰空間中操作。我們首次提出了一個模型，可以從360?環繞單目攝像機鳥瞰動態代理的概率未來軌跡。最后，我們展示了在閉環駕駛中學習世界模型的好處。我們的模型可以聯合預測城市駕駛環境中的靜態場景、動態場景和自我行為。我們表明，學習世界模型和駕駛策略可以生成超過1小時的預測(比訓練序列大小長2000倍)。

一個機器人要想在非結構化的室外環境中與人類高效合作，就必須將指令從操作者直觀的模態轉化為行動。機器人必須能夠像人類一樣感知世界，這樣機器人所采取的行動才能反映自然語言和人類感知的細微差別。傳統上，導航系統結合了個人感知、語言處理和規劃塊，這些塊通常是根據不同的性能規格單獨訓練的。它們使用限制性接口進行通信以簡化開發(即，具有離散屬性的點對象和有限的命令語言)，但這也限制了一個模塊可以傳遞給另一個模塊的信息。

深度學習的巨大成功徹底改變了計算機視覺的傳統研究方向，如目標檢測和場景標記。視覺問答(VQA)將自然語言處理中的最先進技術與圖像理解聯系起來。符號基礎、多步驟推理和對空間關系的理解已經是這些系統的元素。這些元素統一在一個具有單一可微損失的架構中，消除了模塊之間定義良好接口的需要，并簡化了與之相伴的假設。我們介紹了一種將文本語言命令和靜態航空圖像轉換為適合規劃的成本圖的技術。我們建立在FiLM VQA架構的基礎上，對其進行調整以生成成本圖，并將其與修改后的可微分計劃損失(最大邊際計劃)結合起來使用Field D*計劃器。通過這種架構，我們向統一語言、感知和規劃到單一的端到端可訓練系統邁出了一步。

我們提出了一個源自CLEVR數據集的可擴展綜合基準測試，我們用它來研究算法在無偏倚環境中具有幾乎無限數據的理解能力。我們分析了該算法在這些數據上的表現，以了解其局限性，并提出未來的工作來解決其缺點。我們使用真實的航空圖像和合成命令提供混合數據集的結果。規劃算法通常具有高分支因子，并且不能很好地映射到近年來催化深度學習發展的GPU。我們精心選擇了Field D和Max Margin Planning，以在高度并行的架構上表現良好。我們引入了一個適用于多GPU數據并行訓練的Field D版本，它使用Bellman-Ford算法，與我們的cpu優化實現相比，性能幾乎提高了十倍。在團隊中工作的人之間的流暢互動取決于對任務、環境和語言微妙之處的共同理解。在這種情況下工作的機器人也必須這樣做。學習將命令和圖像轉換為具有可微分規劃損失的軌跡是捕捉和模仿人類行為的一種方法，也是實現機器人和人類無縫交互的一小步。

大多數用于機器人感知的3D傳感器，如激光雷達，被動掃描整個環境，同時與處理傳感器數據的感知系統解耦。相比之下，主動感知是機器人的另一種范式，在這種范式中，可控傳感器只自適應地將其感知能力集中在環境中最有用的區域。可編程光幕是最近發明的一種資源高效的主動傳感器，可以測量任何用戶指定的表面(“窗簾”)的深度，分辨率比激光雷達高得多。主要的研究挑戰是設計感知算法來決定光幕在每個時間步的位置，在閉環中緊密耦合感知和控制。

本文為利用可編程光幕進行機器人主動感知奠定了算法基礎。我們研究了光幕在各種感知任務中的使用，如3D對象檢測、深度估計、障礙物檢測和規避以及速度估計。首先，我們將光幕的速度和加速度約束合并為約束圖;這允許我們計算可行的光幕，優化任何特定任務的目標。然后，我們開發了一套算法，使用各種工具，如貝葉斯推理、深度學習、信息獲取和動態規劃，智能地在場景中放置光幕。

最后，我們在一個在線學習框架中結合了多種智能放置策略。首先，我們能夠使用基于粒子濾波和占用網格的貝葉斯濾波技術顯式估計場景點的速度和位置。然后，我們提出了一個新的自監督獎勵函數，評估當前速度估計的準確性使用未來光幕布局。這種洞察力使在線多臂盜匪框架能夠在多個放置策略之間實時智能切換，優于單個策略。這些算法為可控光幕準確、高效、有目的地感知復雜動態環境鋪平了道路。

在許多現實世界的應用中，多主體決策是一個普遍存在的問題，如自動駕駛、多人視頻游戲和機器人團隊運動。多智能體學習的主要挑戰包括其他智能體行為的不確定性，以及由聯合觀察、行動和策略空間的高維性導致的維數災難。由于未知的智能體意圖和意外的、可能的對抗性行為，這些挑戰在對抗性場景中進一步加劇。本文提出了魯棒和可擴展的多智能體學習方法，目標是高效地構建可以在對抗性場景中魯棒運行的自主智能體。通過觀察智能體的行為準確推斷其意圖的能力是魯棒決策的關鍵。在這種情況下，一個挑戰是對手實際行為的高度不確定性，包括潛在的欺騙，這可能與先驗行為模型有很大的不同。捕捉自我主體和對手之間的交互以及對雙方主體可用信息的推理，對于建模這種欺騙行為至關重要。本文采用博弈論對手建模方法解決了這一意圖識別問題，該方法基于一種新的多樣性驅動的信念空間集合訓練技術，用于實現對欺騙的魯棒性**。為了將集成方法擴展到具有多個智能體的場景，本文提出了一種可擴展的多智能體學習技術，該技術通過稀疏注意力機制促進了接近最優的聯合策略學習。該機制的結果是集中的參數更新，這大大提高了采樣效率**。此外，本文還提出了一種新的隱式集成訓練方法，該方法利用多任務學習和深度生成策略分布，以較低的計算和內存成本獲得更好的魯棒性。將魯棒的意圖識別和可擴展的多智能體學習結合起來，可以實現魯棒的、可擴展的離線策略學習。然而，完全自主的智能體還需要能夠不斷地從新的環境和對等智能體中學習(并適應)。因此，本文還提出了一種安全的適應方法，既能適應新的對手，又能在對抗場景中對任何可能的對手剝削保持低可利用性。本文的貢獻有助于構建自主代理，使其能夠在具有不確定性的競爭多智能體場景下做出魯棒的決策，并通過計算效率學習安全地適應以前未見的對等智能體。

現代深度強化學習(RL)算法，盡管處于人工智能能力的最前沿，但通常需要大量的訓練樣本才能達到與人類相當的性能水平。這種嚴重的數據效率低下是深度RL實際應用的主要障礙:在沒有模擬器的情況下，深度RL幾乎不可能應用于任何領域。為了解決這種關鍵數據效率低下的問題，在本論文中，我們致力于設計能夠快速適應新環境的元學習智能體。與標準的強化學習相比，元學習在特定的環境分布上進行學習，從這些環境中采樣特定的任務，并直接優化元學習器，以提高策略改進的速度。通過利用與感興趣任務具有共同子結構的任務分布，元學習器可以調整自己的歸納偏見，使其能夠在測試時快速適應。

本論文的重點是設計元學習算法，利用記憶作為驅動快速適應新環境的主要機制。具有情景間記憶的元學習是一類元學習方法，利用基于特定環境的整個交互歷史的記憶架構來產生策略。因此，在特定任務中驅動策略改進的學習動態被包含在序列模型的計算過程中，本質上把學習算法的設計交給了體系結構。雖然概念簡單，但使用情景間記憶的元學習非常有效，仍然是最先進的方法。我們提出并討論了幾種通過記憶進行元學習的技術。

論文的第一部分集中在“具身”類環境，其中一個主體在一個類似自然世界的環境中有物理表現。我們利用這種高度結構化的環境集來設計具有快速記憶、規劃和狀態推斷能力的整體嵌入式代理體系結構。在論文的第二部分，我們將重點放在沒有強公共子結構的一般環境中應用的方法。首先，我們重新檢查元學習代理與環境的交互模式:提出用一個并行執行框架來取代典型的順序處理交互歷史，其中多個智能體并行地在環境中行動。接下來，我們討論了一個通用的和強大的序列模型的使用片段間存儲器，門控transformer，展示了性能和數據效率的巨大改進。最后，我們開發了一種方法，可以顯著降低(元)強化學習設置中transformer模型的訓練成本和作用延遲，目的是(1)使它們在研究社區中更廣泛地使用，(2)解鎖它們在實時和延遲受限的應用中使用，如機器人。

//www.ml.cmu.edu/research/phd-dissertation-pdfs/eparisot_phd_mld_2021.pdf

隨著我們構建能夠與周圍真實世界互動的新人工智能技術，從多種模態學習的問題占據了中心舞臺。從醫療保健、教育到通信等應用，越來越多地依賴多種模態已被證明是更準確地感知和處理我們周圍世界的一個獨特因素。在這篇論文中，我們關注在現實世界中學習多模態表示的問題。我們概述了多模態機器學習的三個主要挑戰，并采取具體步驟來解決它們。首先，我們解決了局部融合的挑戰，重點是學習跨模態動力學，包括語言、視覺和聽覺(我們周圍最常見的三種模態)之間的單模態、雙模態和三模態交互作用。隨后，我們躍進到時間融合，其中局部融合挑戰擴展到時間域。時間融合需要模式之間的對齊，這和學習跨模式動力學一樣重要。隨后，第三個挑戰涉及的事實是，在現實世界中，多模態數據幾乎總是部分可見的。我們擴展了變分推理(VI)的功能，以處理甚至是最極端的缺失率和缺失模式的情況。在本文深入研究這些挑戰的過程中，我們對多模態機器學習做出了算法、理論和經驗貢獻。

本論文研究了語言、視覺和聲學模態的多模態學習面臨的三大挑戰： 局部融合挑戰涉及模態間復雜的跨模態交互建模。 時間融合挑戰涉及建模可能存在于順序模式之間的異步數據 丟失數據挑戰涉及建模真實世界部分可觀測的多模態數據

盡管現代深度強化學習(RL)算法處于人工智能能力的前沿，但通常需要大量的訓練樣本才能達到與人類相當的性能水平。這種嚴重的數據效率低下是深度RL實際應用的主要障礙: 在沒有模擬器的情況下，幾乎不可能將深度RL應用到任何領域。為了解決這一關鍵的數據低效問題，在本文中，我們致力于設計能夠快速適應新環境的元學習智能體。與標準的強化學習相比，元學習在環境分布上進行學習，從環境中抽樣特定任務，并直接優化元學習者，以提高策略改進的速度。通過利用與感興趣任務共享子結構的任務分布，元學習者可以調整自己的歸納偏差，從而在測試時快速適應。本文主要研究元學習算法的設計，該算法利用記憶作為驅動在新環境中快速適應的主要機制。情景間記憶的元學習是一種利用基于特定環境的整個互動歷史的記憶架構來產生策略的元學習方法。因此，在特定任務中的學習動態驅動策略改進被包含在序列模型的計算過程中，本質上把學習算法的設計交給了體系結構。雖然概念上簡單明了，但使用情景間記憶的元學習非常有效，仍然是一種最先進的方法。我們提出并討論了一些通過記憶進行元學習的技巧。論文的第一部分集中在“具身”環境類，其中智能體人在一個類似于自然世界的環境中有一個物理表現。我們利用這種高度結構化的環境集，致力于設計具有快速記憶、規劃和狀態推斷能力的單片嵌入式代理體系結構。在論文的第二部分，我們將重點放在那些沒有強公共子結構的一般環境中應用的方法。首先，我們重新研究了元學習主體與環境的交互模式:提出用并發執行框架取代傳統的順序處理交互歷史，其中多個主體在環境中并行操作。接下來，我們將討論一種通用且功能強大的跨情景記憶序列模型——門控transformer的使用，它在性能和數據效率方面有了很大的改進。最后,我們開發一種方法,顯著降低訓練成本和代理延遲transformer 模型(元)強化學習設置,目的是對(1)在研究社區,使其使用更加廣泛,(2)解鎖使用實時和latency-constrained應用,如機器人。

//www.ml.cmu.edu/research/phd-dissertation-pdfs/eparisot_phd_mld_2021.pdf

Ronghang Hu (胡戎航)

胡戎航(Ronghang Hu)是Facebook人工智能研究(FAIR)的研究科學家。他的研究興趣包括視覺和語言推理和視覺感知。他于2020年在Trevor Darrell教授和Kate Saenko教授的指導下獲得UC Berkeley的計算機科學博士學位。2019年夏天和2017年夏天，他在FAIR做研究實習生，分別與Marcus Rohrbach博士和Ross Girshick博士一起工作。2015年獲得清華大學學士學位。2014年，他在中國科學院計算技術研究所進行研究實習，得到了山時光教授和王瑞平教授的指導。

//ronghanghu.com/

視覺與語言推理的結構化模型

視覺和語言任務(例如回答一個關于圖像的問題，為參考表達做基礎，或遵循自然語言指令在視覺環境中導航)需要對圖像和文本的兩種模式共同建模和推理。我們已經見證了視覺和語言推理的顯著進展，通常是通過在更大的數據集和更多計算資源的幫助下訓練的神經方法。然而，解決這些視覺和語言的任務就像用更多的參數建立模型，并在更多的數據上訓練它們一樣簡單嗎?如果不能，我們怎樣才能建立數據效率高、易于推廣的更好的推理模型呢?

這篇論文用視覺和語言推理的結構化模型為上述問題提供了答案——這些模型的架構考慮了人類語言、視覺場景和代理技能中的模式和規律。我們從表達式的基礎開始，我們在第二章中展示了通過考慮這些表達式中的組合結構，我們提出的組合模塊網絡(CMNs)可以實現更好的準確性和泛化。在第三章中，我們使用基于與問題推理步驟一致的動態組合模塊的端到端模塊網絡(N2NMNs)進一步解決了可視化的問題回答任務。在第四章中，我們擴展了模塊化推理的研究，提出了基于可解釋推理步驟的堆棧神經模塊網絡(SNMNs)。模塊化推理之外,我們也提出構建環境敏感的視覺表征與Language-Conditioned場景圖網絡(LCGNs)。第五章對于關系推理和解決問題的閱讀文本圖像的問答迭代pointer-augmented多通道變形金剛。在第六章，我們說明了嵌入任務也需要結構化模型，并在第7章中提出了說話者-跟隨者模型，其中說話者模型和跟隨者模型互為補充。在所有這些場景中，我們表明，通過考慮任務中的結構和輸入模式，我們的模型的執行和泛化明顯優于非結構化對應模型。

機器人研究的一個長期目標是創建能夠從零開始自動學習復雜控制策略的算法。將這種算法應用到機器人上的挑戰之一是表示的選擇。強化學習(RL)算法已經成功地應用于許多不同的機器人任務中，如帶有機器人手臂的cup中的Ball-in-a-Cup任務和各種機器人世界杯機器人足球啟發的領域。然而，RL算法仍然存在訓練時間長、所需訓練數據量大的問題。為狀態空間、行動空間和策略選擇合適的表示可以大大減少所需的訓練時間和所需的訓練數據。

本文主要研究機器人的深度強化學習。具體來說，狀態空間、動作空間和策略表示的選擇如何減少機器人學習任務的訓練時間和樣本復雜度。特別集中注意兩個主要領域: 1)通過張量狀態-動作空間表示 2)多狀態表示的輔助任務學習

第一個領域探索了在環境變化中改進機器人策略遷移的方法。學習策略的成本可能很高，但是如果策略可以在類似的環境中傳輸和重用，那么訓練成本可以平攤。遷移學習是一個被廣泛研究的領域，涉及多種技術。在這篇論文中，我們著重設計一個易于傳輸的表示。我們的方法將狀態空間和動作空間映射為多維張量，設計成當環境中機器人和其他對象的數量變化時保持固定維數。我們還提出了全卷積Q-Network (FCQN)策略表示，這是一種特殊的網絡架構，與張量表示相結合，允許跨環境大小進行零距離傳輸。我們在模擬的單代理和多代理任務上演示了這種方法，靈感來自于RoboCup Small - Size League (SSL)和Atari Breakout的修改版本。我們還表明，在真實世界的傳感器數據和機器人中使用這樣的表示和模擬訓練策略是可能的。

第二個領域考察了一個機器人深度RL狀態表示的優勢如何彌補另一個機器人深度RL狀態表示的劣勢。例如，我們經常想要利用機器人可用的傳感器來學習任務，其中包括像攝像機這樣的高維傳感器。最近的Deep RL算法可以通過圖像進行學習，但是數據的數量對于真實的機器人來說是難以接受的。或者，可以使用任務完成所需的最小集創建狀態。這樣做的好處是:1)減少策略參數的數量，2)刪除不相關的信息。然而，提取這些特征通常會在工程、額外硬件、校準和實驗室之外的脆弱性方面有很大的成本。我們在仿真和現實世界的多個機器人平臺和任務上演示了這一點。我們證明它在模擬的RoboCup小型聯賽(SSL)機器人上工作。我們還演示了這樣的技術允許在真實的硬件上從零開始學習，通過機器人手臂執行一個球在一個杯子的任務。

//www.ri.cmu.edu/publications/robot-deep-reinforcement-learning-tensor-state-action-spaces-and-auxiliary-task-learning-with-multiple-state-representations/