亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習的現實應用通常具有復雜的目標和安全關鍵約束。當代的機器學習系統擅長于在具有簡單程序指定目標的任務中實現高平均性能，但它們在許多要求更高的現實世界任務中很困難。本文致力于開發可信的機器學習系統，理解人類的價值觀并可靠地優化它們。

機器學習的關鍵觀點是，學習一個算法通常比直接寫下來更容易，然而許多機器學習系統仍然有一個硬編碼的、程序指定的目標。獎勵學習領域將這種見解應用于學習目標本身。由于獎勵函數和目標之間存在多對一的映射，我們首先引入由指定相同目標的獎勵函數組成的等價類的概念。

在論文的第一部分，我們將等價類的概念應用于三種不同的情形。首先，我們研究了獎勵函數的可識別性:哪些獎勵函數集與數據兼容?我們首先對誘導相同數據的獎勵函數的等價類進行分類。通過與上述最優策略等價類進行比較，我們可以確定給定數據源是否提供了足夠的信息來恢復最優策略。

其次，我們解決了兩個獎勵函數等價類是相似還是不同的基本問題。我們在這些等價類上引入了一個距離度量，即等價策略不變比較(EPIC)，并表明即使在不同的過渡動態下，低EPIC距離的獎勵也會誘導具有相似回報的策略。最后，我們介紹了獎勵函數等價類的可解釋性方法。該方法從等價類中選擇最容易理解的代表函數，然后將代表函數可視化。

在論文的第二部分，我們研究了模型的對抗魯棒性問題。本文首先介紹了一個物理上現實的威脅模型，包括在多智能體環境中行動的對抗性策略，以創建對防御者具有對抗性的自然觀察。用深度強化學習訓練對手，對抗一個凍結的最先進的防御者，該防御者通過自訓練，以對對手強大。這種攻擊可以可靠地戰勝最先進的模擬機器人RL智能體和超人圍棋程序。

最后，研究了提高智能體魯棒性的方法。對抗性訓練是無效的，而基于群體的訓練作為一種部分防御提供了希望:它不能阻止攻擊，但確實增加了攻擊者的計算負擔。使用顯式規劃也有幫助，因為我們發現具有大量搜索的防御者更難利用。

。

魯棒的、通用的機器人可以在半結構化環境中自主地操縱物體，可以為社會帶來物質利益。通過識別和利用半結構化環境中的模式，數據驅動的學習方法對于實現這種系統至關重要，使機器人能夠在最少的人類監督下適應新的場景。然而，盡管在機器人操作的學習方面有大量的工作，但在機器人能夠廣泛應用于現實世界之前，仍有很大的差距。為了實現這一目標，本文解決了三個特殊的挑戰:半結構化環境中的感知、適應新場景的操作以及對不同技能和任務的靈活規劃。在討論的方法中，一個共同的主題是通過將“結構”，或特定于機器人操作的先驗，合并到學習算法的設計和實現中，實現高效和一般化的學習。本文的工作遵循上述三個挑戰。

我們首先在基于視覺的感知難以實現的場景中利用基于接觸的感知。在一項工作中，我們利用接觸反饋來跟蹤靈巧操作過程中手持物體的姿態。另一方面，我們學習定位機器人手臂表面的接觸，以實現全臂感知。接下來，我們將探討針對基于模型和無模型技能的新對象和環境調整操作。我們展示了學習面向任務的交互式感知如何通過識別相關動態參數來提高下游基于模型的技能的性能。本文還展示了如何使用以對象為中心的行動空間，使無模型技能的深度強化學習更有效和可泛化。

探索了靈活的規劃方法，以利用低水平技能完成更復雜的操縱任務。我們開發了一個基于搜索的任務計劃，通過學習技能水平動態模型，放松了之前工作中關于技能和任務表示的假設。該計劃器隨后應用于后續工作中，使用混合力-速度控制器的已知前提條件來執行多步接觸豐富的操作任務。我們還探索了用自然語言描述的更靈活的任務的規劃，使用代碼作為結構化的動作空間。這是通過提示大型語言模型直接將自然語言任務指令映射到機器人策略代碼來實現的，策略代碼協調現有的機器人感知和技能庫來完成任務。

在這篇論文中，我們考慮了多模態在機器學習決策和協調問題中的作用。我們提出使用一系列多模態概率方法，使用(有限)混合模型的擴展來解決時間序列預測的挑戰，神經網絡中的高效不確定性量化，對抗模型和多智能體協調。在論文的第一部分中，我們關注多模態不確定性估計在時間序列預測中的應用，表明這種方法提供了易于操作的、有益的替代點估計方法，點估計仍然是預測的普遍選擇方法。我們討論了多模態不確定性的意義，并展示了更熟練的方法估計后驗目標分布的必要性。我們提出了一系列計算高效，但有能力的方法來估計豐富的多模態后驗分布。我們將我們的模型與用點測量或單峰分布估計不確定性的技術進行了比較，并在生成對抗網絡的啟發下，對所開發的方法進行了擴展，以此結束本部分。我們表明，該方法對加性噪聲提供了最先進的魯棒性，使其特別適用于包含大量未知隨機的數據集。

在本工作的第二部分，我們研究了協作多智能體系統(CMASs)的多模態模型的重要性，并將我們的工作擴展到采用概率方法。到目前為止，這一領域的大多數研究都局限于考慮自玩范式，即使這些方法解決了各種具有挑戰性的問題。雖然這些進步是重要的，但在自玩中使用任意約定會導致當智能體在此設置之外玩時的協調問題。我們考慮了特殊的CMAS設置，遠離了自玩框架。這是機器學習中一個特別具有挑戰性的領域，也是近年來備受關注的一個領域，為AI智能體在現實世界中能夠與人類(和其他智能體)有效交互提供了希望。我們通過在其他主體的策略上建立后驗信念來解決特別協調問題。這是通過吉布斯抽樣的擴展來實現的，以獲得接近最優的即席性能。我們在具有挑戰性的游戲Hanabi上測試了我們的算法，Hanabi是合作多智能體強化學習中最著名的測試平臺之一，近年來已成為一個具有發展勢頭的基準。我們表明，我們的方法可以實現強大的交叉游戲，即使與看不到的合作伙伴，實現成功的臨時協調，無需預先了解合作伙伴的戰略。

在現實生活中部署人工智能體的一個基本問題是它們快速適應環境的能力。傳統的強化學習(RL)以兩種方式與這一需求作斗爭。首先，對不受約束的環境動態的迭代探索會產生大量信息不足的更新，從而導致適應速度緩慢。其次，最終的策略沒有能力適應未來的觀察結果，必須隨著觀察結果的發生緩慢地無限學習或完全重新訓練。本文探討了兩種旨在解決這些問題的表述。元強化學習對整個任務分布的考慮使策略能夠快速適應特定實例。通過強迫智能體特定地請求反饋，主動強化學習強制進行選擇性的觀察和更新。這兩個公式都簡化為貝葉斯-自適應設置，在其中保持對可能環境的概率信念。許多現有的解只提供了在實際環境中使用有限的漸近保證。我們開發了一種近似信念管理的變分方法，并通過廣泛的消融實證支持其有效性。然后，我們考慮最近成功的規劃方法，但發現和討論它們在應用到所討論的設置中的障礙。影響RL系統的數據需求和穩定性的一個重要因素是選擇合適的超參數。我們開發了一種貝葉斯優化方法，利用訓練過程的迭代結構，其經驗性能超過現有基線。本文的最后一個貢獻是提高高斯過程(GPs)的可擴展性和表達性。雖然我們沒有直接使用現有的框架，但GPs已經被用于在密切相關的設置中建模概率信念。

//ora.ox.ac.uk/objects/uuid:54963b90-2d7c-41a9-9bf3-065a3097c077

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

在許多現實世界的應用中，多主體決策是一個普遍存在的問題，如自動駕駛、多人視頻游戲和機器人團隊運動。多智能體學習的主要挑戰包括其他智能體行為的不確定性，以及由聯合觀察、行動和策略空間的高維性導致的維數災難。由于未知的智能體意圖和意外的、可能的對抗性行為，這些挑戰在對抗性場景中進一步加劇。本文提出了魯棒和可擴展的多智能體學習方法，目標是高效地構建可以在對抗性場景中魯棒運行的自主智能體。通過觀察智能體的行為準確推斷其意圖的能力是魯棒決策的關鍵。在這種情況下，一個挑戰是對手實際行為的高度不確定性，包括潛在的欺騙，這可能與先驗行為模型有很大的不同。捕捉自我主體和對手之間的交互以及對雙方主體可用信息的推理，對于建模這種欺騙行為至關重要。本文采用博弈論對手建模方法解決了這一意圖識別問題，該方法基于一種新的多樣性驅動的信念空間集合訓練技術，用于實現對欺騙的魯棒性**。為了將集成方法擴展到具有多個智能體的場景，本文提出了一種可擴展的多智能體學習技術，該技術通過稀疏注意力機制促進了接近最優的聯合策略學習。該機制的結果是集中的參數更新，這大大提高了采樣效率**。此外，本文還提出了一種新的隱式集成訓練方法，該方法利用多任務學習和深度生成策略分布，以較低的計算和內存成本獲得更好的魯棒性。將魯棒的意圖識別和可擴展的多智能體學習結合起來，可以實現魯棒的、可擴展的離線策略學習。然而，完全自主的智能體還需要能夠不斷地從新的環境和對等智能體中學習(并適應)。因此，本文還提出了一種安全的適應方法，既能適應新的對手，又能在對抗場景中對任何可能的對手剝削保持低可利用性。本文的貢獻有助于構建自主代理，使其能夠在具有不確定性的競爭多智能體場景下做出魯棒的決策，并通過計算效率學習安全地適應以前未見的對等智能體。

現代深度強化學習(RL)算法，盡管處于人工智能能力的最前沿，但通常需要大量的訓練樣本才能達到與人類相當的性能水平。這種嚴重的數據效率低下是深度RL實際應用的主要障礙:在沒有模擬器的情況下，深度RL幾乎不可能應用于任何領域。為了解決這種關鍵數據效率低下的問題，在本論文中，我們致力于設計能夠快速適應新環境的元學習智能體。與標準的強化學習相比，元學習在特定的環境分布上進行學習，從這些環境中采樣特定的任務，并直接優化元學習器，以提高策略改進的速度。通過利用與感興趣任務具有共同子結構的任務分布，元學習器可以調整自己的歸納偏見，使其能夠在測試時快速適應。

本論文的重點是設計元學習算法，利用記憶作為驅動快速適應新環境的主要機制。具有情景間記憶的元學習是一類元學習方法，利用基于特定環境的整個交互歷史的記憶架構來產生策略。因此，在特定任務中驅動策略改進的學習動態被包含在序列模型的計算過程中，本質上把學習算法的設計交給了體系結構。雖然概念簡單，但使用情景間記憶的元學習非常有效，仍然是最先進的方法。我們提出并討論了幾種通過記憶進行元學習的技術。

論文的第一部分集中在“具身”類環境，其中一個主體在一個類似自然世界的環境中有物理表現。我們利用這種高度結構化的環境集來設計具有快速記憶、規劃和狀態推斷能力的整體嵌入式代理體系結構。在論文的第二部分，我們將重點放在沒有強公共子結構的一般環境中應用的方法。首先，我們重新檢查元學習代理與環境的交互模式:提出用一個并行執行框架來取代典型的順序處理交互歷史，其中多個智能體并行地在環境中行動。接下來，我們討論了一個通用的和強大的序列模型的使用片段間存儲器，門控transformer，展示了性能和數據效率的巨大改進。最后，我們開發了一種方法，可以顯著降低(元)強化學習設置中transformer模型的訓練成本和作用延遲，目的是(1)使它們在研究社區中更廣泛地使用，(2)解鎖它們在實時和延遲受限的應用中使用，如機器人。

//www.ml.cmu.edu/research/phd-dissertation-pdfs/eparisot_phd_mld_2021.pdf

摘要

多智能體強化學習 (RL) 解決了每個智能體應該如何在多個智能體同時學習的隨機環境中表現最佳的問題。它是一個歷史悠久的跨學科領域，位于心理學、控制理論、博弈論、強化學習和深度學習的聯合領域。繼 AlphaGO 系列在單智能體 RL 中取得顯著成功之后，2019 年是蓬勃發展的一年，見證了多智能體 RL 技術的重大進步；在開發許多具有挑戰性的任務（尤其是多人視頻游戲）上，勝過人類的人工智能已經取得了令人矚目的突破。盡管如此，多智能體 RL 技術的主要挑戰之一仍是可擴展性。設計高效的學習算法來解決包括遠多于兩個智能體 (N2) 的任務仍然不是一件容易的事，我將其命名為大量智能體強化學習 (many-agent reinforcement learning，MARL) 問題。

在本論文中，我從四個方面對解決MARL問題做出了貢獻。首先，我從博弈論的角度提供了多智能體 RL 技術的獨立概述。該概述填補了大多數現有工作要么未能涵蓋自 2010 年以來的最新進展，要么沒有充分關注博弈論的研究空白，我認為博弈論是解決多智能體學習問題的基石。其次，我在多智能體系統中開發了一種易于處理的策略評估算法——。 的關鍵優勢在于它可以在多人廣義和博弈中輕松計算 α-Rank 的解概念，而無需存儲整個收益矩陣。這與經典的解概念形成對比，例如納什均衡，即使在兩人的情況下也被認為是 PPAD 難的。讓我們第一次能夠實際進行大規模的多智能體評估。第三，我在多智能體系統中引入了一種可擴展的策略學習算法——平均場 MARL。平均場 MARL 方法利用了物理學中的平均場近似，它是第一個試圖打破 MARL 任務維數詛咒的可證明收斂的算法。使用所提出的算法，我給出了通過 MARL 方法解決 Ising 模型和多智能體戰斗博弈的第一個結果。第四，我研究了開放式元博弈（即策略空間中的博弈）中的多智能體學習問題。具體來說，我專注于對元博弈中的行為多樣性進行建模，并開發保證在訓練期間擴大多樣性的算法。所提出的基于行列式點過程的度量，是多樣性的第一個數學嚴格定義。重要的是，多樣性感知學習算法在可利用性方面大大擊敗了現有的最先進的博弈求解器。

除了算法開發之外，我還貢獻了 MARL 技術的兩個實際應用。具體來說，我展示了MARL的巨大應用潛力， 研究了自然界中涌現的人口動態，并為自動駕駛中的多樣化和現實交互建模。這兩個應用程序都體現了 MARL 技術可以在純視頻游戲之外的真實物理世界中產生巨大影響的前景。

MARL的重大挑戰

與單智能體 RL 相比，多智能體 RL 是一個通用框架，可以更好地匹配現實世界 AI 應用的廣泛范圍。然而，由于存在同時學習的多個智能體，除了單智能體 RL 中已經存在的那些之外，MARL 方法還提出了更多的理論挑戰。與通常有兩個智能體的經典 MARL 環境相比，解決大量智能體 RL 問題更具挑戰性。事實上，1 組合復雜性、2 多維學習目標、3 非平穩性問題，都導致大多數 MARL 算法能夠解決只有兩個玩家的博弈，特別是兩個玩家的零和博弈。

本文的結構及貢獻

本論文主要圍繞大量智能體強化學習的研究課題。我為這個主題貢獻的方法位于圖 1.8 中列出的三個研究領域：它們是博弈論，它提供了現實且易于處理的解決方案概念來描述大量智能體系統的學習結果； RL 算法，提供可證明的收斂學習算法，可以在順序決策過程中達到穩定和合理的均衡；最后是深度學習技術，它提供了學習算法表達函數逼近器。

圖 1.8：本論文的研究范圍包括三個支柱。深度學習是學習過程中強大的函數逼近工具。博弈論提供了一種描述學習成果的有效方法。 RL 提供了一種有效的方法來描述多智能體系統中智能體的激勵。

圖 1.9：本文后續章節的結構，與列出的三個挑戰（1 組合復雜性、2 多維學習目標、3 非平穩性）相關，每章都試圖解決這些挑戰。

以下各章的結構和貢獻如下（另請參見圖 1.9）：

• 第 2 章：由于 MARL 的可擴展性問題深深植根于其博弈論基礎，在本章中，我將首先概述現代 MARL 方法的博弈論方面，以及最近的進展。我相信這個概述是對社區的重要貢獻，因為大多數現有調查要么不關注博弈論，要么就遺漏了自 2010 年以來的大多數近期文獻而過時。第 1 章和第 2 章構成了 MARL 的獨立專著。該專著的目標是從博弈論的角度對當前最先進的 MARL 技術進行專門評估。我希望這項工作能夠為即將進入這個快速發展領域的新研究人員和想要獲得全景，并根據最新進展確定新方向的現有領域專家提供基礎。

• 第 3 章：本章提供了 MARL 技術在理解 AI 智能體的新興種群動態方面的應用。本章的目標是在我介紹方法學發展之前作為開篇，展示 MARL 方法的巨大潛力。具體來說，在這項工作中，我將 RL 智能體放入模擬的捕食者-獵物世界中，并驗證自然界中開發的原理是否可用于理解人工創造的智能種群，反之亦然。這項工作的主要貢獻在于，它啟發了許多人口生物學家和計算生物學家，在對宏觀生物學研究中的自利智能體進行建模時，為他們提供了一種基于 MARL 的新方法。

• 第 4 章：本章介紹了一種新的大量智能體系統策略評估方法：。是 α-rank 的隨機變體，是一種新穎的解概念，在多人廣義和博弈中具有多項式時間解。的一個主要好處是，人們現在可以輕松地評估大型多智能體系統（即多人廣義和博弈），例如，具有聯合策略配置文件的多智能體系統只需一臺機器；這與計算納什均衡相反，即使在兩人的情況下，這也是眾所周知的 PPAD-hard。

• 第 5 章：在本章中，我將重點解決大量智能體系統中策略學習的核心問題。具體來說，我提出了平均場 MARL (MFMARL) 方法，該方法利用了物理學中平均場近似的經典思想。 MF-MARL 通過僅??考慮總體的平均效應，有效地將大量智能體學習問題轉化為雙智能體問題。使用 MF-MARL 方法，可以有效地訓練數百萬智能體來解決大型合作博弈。我測試了 MF-MARL 算法來解決 Ising 模型，這是一個眾所周知的物理學難題，因為它的組合性質，并得出了第一個基于 MARL 的 Ising 模型解。總的來說，本章的主要貢獻是提供了第一個可證明收斂的可擴展 MARL 算法，并證明了它在遠不止兩個智能體的場景中的有效性。

• 第 6 章：本章研究開放式元博弈（即策略級別的博弈，也稱為聯盟訓練或自動課程）中的大量智能體學習問題，其中行為多樣性是一個關鍵但尚未充分探索的主題。本章為策略空間中的行為多樣性提供了第一個數學上嚴格的定義，并提出了被證明可以在策略訓練期間擴大多樣性的學習算法。零和博弈的經驗結果表明，所提出的方法在很大程度上優于現有的最新技術。這項研究可能會產生重大的經濟影響，因為所提出的算法可以直接插入到開發游戲 AI 的聯盟訓練中（例如，訓練能夠在撲克游戲中擊敗人類玩家的 AI 群體）。

• 第 7 章：除第3章外，本章介紹MARL的第二種應用，即自動駕駛（AD）。我展示了使用 MARL 技術來模擬 AD 中現實和多樣化的多智能體交互的巨大潛力。具體來說，我介紹了 SMARTS 平臺：第一個專門支持 RL 和 MARL 訓練的 AD 模擬器。基于 SMART，我分享了一個藍天理念，即在 MARL 中創建多樣化的自動課程是在 AD 中建模現實交互的關鍵。我詳細闡述了多樣化自動課程的必要性，并列出了應用這種技術的四個開放挑戰。本章的貢獻有兩方面：首先，我展示了 MARL 技術可以在真實的物理世界中產生有影響力的應用，而不是純粹的視頻游戲；其次，我向 AD 中的研究人員介紹了一種新方法，以便他們能夠生成當前缺失的高質量交互。

• 第8章：在最后一章中，我總結了這篇論文，并提出了四個未來的研究方向；它們是深度 MARL 理論、安全魯棒的 MARL、基于模型的 MARL 和多智能體元 RL。

機器人研究的一個長期目標是創建能夠從零開始自動學習復雜控制策略的算法。將這種算法應用到機器人上的挑戰之一是表示的選擇。強化學習(RL)算法已經成功地應用于許多不同的機器人任務中，如帶有機器人手臂的cup中的Ball-in-a-Cup任務和各種機器人世界杯機器人足球啟發的領域。然而，RL算法仍然存在訓練時間長、所需訓練數據量大的問題。為狀態空間、行動空間和策略選擇合適的表示可以大大減少所需的訓練時間和所需的訓練數據。

本文主要研究機器人的深度強化學習。具體來說，狀態空間、動作空間和策略表示的選擇如何減少機器人學習任務的訓練時間和樣本復雜度。特別集中注意兩個主要領域: 1)通過張量狀態-動作空間表示 2)多狀態表示的輔助任務學習

第一個領域探索了在環境變化中改進機器人策略遷移的方法。學習策略的成本可能很高，但是如果策略可以在類似的環境中傳輸和重用，那么訓練成本可以平攤。遷移學習是一個被廣泛研究的領域，涉及多種技術。在這篇論文中，我們著重設計一個易于傳輸的表示。我們的方法將狀態空間和動作空間映射為多維張量，設計成當環境中機器人和其他對象的數量變化時保持固定維數。我們還提出了全卷積Q-Network (FCQN)策略表示，這是一種特殊的網絡架構，與張量表示相結合，允許跨環境大小進行零距離傳輸。我們在模擬的單代理和多代理任務上演示了這種方法，靈感來自于RoboCup Small - Size League (SSL)和Atari Breakout的修改版本。我們還表明，在真實世界的傳感器數據和機器人中使用這樣的表示和模擬訓練策略是可能的。

第二個領域考察了一個機器人深度RL狀態表示的優勢如何彌補另一個機器人深度RL狀態表示的劣勢。例如，我們經常想要利用機器人可用的傳感器來學習任務，其中包括像攝像機這樣的高維傳感器。最近的Deep RL算法可以通過圖像進行學習，但是數據的數量對于真實的機器人來說是難以接受的。或者，可以使用任務完成所需的最小集創建狀態。這樣做的好處是:1)減少策略參數的數量，2)刪除不相關的信息。然而，提取這些特征通常會在工程、額外硬件、校準和實驗室之外的脆弱性方面有很大的成本。我們在仿真和現實世界的多個機器人平臺和任務上演示了這一點。我們證明它在模擬的RoboCup小型聯賽(SSL)機器人上工作。我們還演示了這樣的技術允許在真實的硬件上從零開始學習，通過機器人手臂執行一個球在一個杯子的任務。

//www.ri.cmu.edu/publications/robot-deep-reinforcement-learning-tensor-state-action-spaces-and-auxiliary-task-learning-with-multiple-state-representations/