亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

智能軟件具有改變我們社會的潛力。它正在成為現實世界中許多系統的基石。然而，盡管機器學習模型在基準測試上表現出色，像神經網絡這樣的最新方法在遇到現實情境時經常失敗。由于神經網絡通常學習相關性而不是根據正確的信號和知識進行推理，它們在面對分布變化、意外破壞和最壞情況時會失敗。由于神經網絡是黑盒模型，用戶無法解釋或信任它們。為了在最關鍵的應用和系統中自信和負責任地部署機器學習，我們需要構建魯棒的模型。 在這篇論文中，我介紹了我們的魯棒機器學習系統的進展，通過緊密將上下文整合到算法中。上下文有兩個方面：自然數據的內在結構和來自領域知識的外在結構。兩者都至關重要：通過利用自然數據的內在結構，我的工作表明，我們甚至可以在最壞情況下創建魯棒的機器學習系統，這也是一項強有力的實證收益。通過整合外部知識，如任務之間的關聯和因果結構，我的框架可以指導模型使用正確的信號進行推理，為可控和可解釋的模型開啟新的機會。 這篇論文分為三個部分。在第一部分中，我旨在涵蓋三個使用內在結構作為約束以實現魯棒推理的工作。我介紹了我們的框架，該框架執行測試時優化以尊重自然約束，這些約束由自監督任務捕獲。我闡述了測試時優化如何改善分布外泛化和對抗性魯棒性。除了推理算法，我還展示了通過離散表示來改善分布外魯棒性的內在結構。 在論文的第二部分中，我詳細介紹了使用外部領域知識的工作。我首先介紹了如何利用來自外部領域知識的因果結構來提高領域泛化魯棒性。然后，我展示了多個任務和正則化目標的關聯如何幫助提高魯棒性。 在這篇論文的最后部分，我展示了關于值得信賴和可靠的基礎模型的三個工作，這是許多人工智能應用的基礎模型。我展示了一個利用上下文來保護、解釋和控制基礎模型的框架。

在機器學習（ML）中，一個關鍵的挑戰是設計能夠從圖中高效學習的模型。這些圖由帶有屬性的節點組成，并具有一個編碼它們關系的預定結構。圖表示學習（GRL）旨在將這兩個異質性源編碼為一個向量圖嵌入，以便進行下游任務。在這個領域，最優傳輸（OT）在將圖視為離散概率分布的意義上提供了有意義的比較。本論文通過OT的視角關注GRL，兩個概念都在專門章節中介紹。現代的有監督GRL主要依賴圖神經網絡（GNN），它通過兩個主要元素隱式地編碼圖拓撲：通過消息傳遞的節點特征嵌入和通過專門形式的池化的聚合。在這篇論文中，我們介紹了一個新的觀點，將距離一些可學習的圖模板的距離置于圖表示的核心。這種距離嵌入是通過OT距離構建的：融合Gromov-Wasserstein（FGW）距離，它通過解決一個軟圖匹配問題同時處理特征和結構的不相似性。我們假設FGW距離到一組模板圖的向量具有強大的區分能力，然后將其提供給一個非線性分類器進行最終預測。這種距離嵌入作為一個新的池化層，稱為TFGW，并可以利用現有的消息傳遞技術來促進有意義的特征表示，這是端到端學習的。我們在幾個圖分類任務上實證驗證了我們的說法，其中我們的方法在表達性和泛化能力方面都優于內核和GNN方法。本論文的另一個貢獻旨在使詞典學習（DL）適用于圖數據集分析，這是無監督表示學習的關鍵工具。DL解釋向量數據為幾個基本元素的線性組合，通過與單一環境空間相關的不相似性來評估學到的表示的質量。由于圖描述了它們自己的空間，我們提出了第一個適應于圖詞典學習（GDL）的線性方法，使用(F)GW作為數據擬合項。在我們的工作中，圖被建模為圖原子的凸組合，通過在線隨機算法估算。GDL通過一個新的上界完成，該上界可以用作FGW在嵌入空間中的快速近似。我們實證地顯示了我們的方法對于圖聚類、分類、完成以及在線圖子空間估計和跟蹤的興趣。最終，位于OT核心的質量保守性，在對比兩個圖的所有節點時強加了一個耦合，這在GRL中有特定的含義。通過FGW學習結構和特征表示對于由將圖建模為概率分布所誘導的節點相對重要性非常敏感。管理這一額外的自由度，正如我們所做的，通過在TFGW中增加最小的計算成本但對GDL增加顯著的模型復雜性來改進基于(F)GW的模型。因此，我們建議通過引入一種新的基于OT的差異，稱為半松弛（融合）Gromov-Wasserstein差異（sr(F)GW），來解決(F)GW中質量保守性約束的限制。srFGW提供了兩個圖之間的對應關系，同時在目標圖中尋找一個重新加權的子圖，與輸入的(F)GW距離最小。后者可以比(F)GW更有效地估計，并與專門用于圖分割的方法競爭，同時更具通用性。此外，估計一個srFGW“重心”引入了一個新的DL，其中圖被嵌入為單個圖原子的重新加權子圖。與其他基于DL的競爭者在各種無監督任務上競爭有利，同時計算速度明顯更快。

現代機器學習主要受到黑盒模型的驅動，這些模型提供了卓越的性能，但對于如何進行預測的透明度有限。對于需要了解模型如何做出決策的應用，以及協助模型調試和數據驅動的知識發現，我們需要可以回答有關影響模型行為的問題的工具。這就是可解釋機器學習（XML）的目標，這是一個子領域，它開發了從多個角度理解復雜模型的工具，包括特征重要性、概念歸因和數據估值。本文提供了對XML領域的幾個貢獻，主要思想分為三部分：(i)一個框架，使得可以統一分析許多當前的方法，包括它們與信息論和模型魯棒性的聯系；(ii)一系列技術，用于加速Shapley值的計算，這是幾種流行算法的基礎；以及(iii)一系列用于深度學習模型的特征選擇的方法，例如，在無監督和自適應的設置中。這些思想中的許多都是受到計算生物學和醫學應用的啟發，但它們也代表了在各種領域中都有用的基本工具和觀點。

在模型透明度的辯論中，傳統的觀點是我們面臨解釋性與準確性之間的權衡。1有些人辯稱這種權衡并不存在，聲稱我們可以使用“天生可解釋”的模型達到近乎最優的性能（Rudin, 2019）；這對于簡單的表格數據集往往是正確的，但對于像圖像和語言這樣的復雜數據模態則較為罕見。在這里，我們采取了更為寬容的立場：鑒于黑盒模型目前提供了最佳的性能并且已經廣泛部署，我們探討是否有可能從任何模型中獲得足夠的見解。在這樣做的過程中，我們開發了一套在很大程度上對模型的內部機制持中立態度，或者說是模型不可知的工具集，因此即使在今天的最高性能的黑盒模型中也能正常運行。 這一目標也被可解釋機器學習（XML）子領域的許多工作所共享，并且近年來已經取得了顯著的進展。目前，XML工具已被用于了解新疾病的風險因素（Razavian等人，2020；Snider等人，2021），加速數學猜想的發現（Davies等人，2021），在有限的訓練數據標簽下識別蛋白質結合位點（Gligorijevi?等人，2021），審計有缺陷的醫學診斷系統（DeGrave等人，2021）以及從功能系統中獲得新的見解（Ting等人，2017；Sundararajan等人，2017）。這些早期的成功表明了這些工具的潛力，但在這些方法的底層理論以及使它們在實踐中高效的計算程序方面仍有進展空間。這篇論文介紹了我在博士期間進行的幾項工作，旨在解決這些挑戰。

這篇論文包含了我在博士期間完成的大部分項目，所有這些項目都與透明機器學習的核心主題相關。我們首先在第2章建立符號和幾個初步的概念。接下來，每一章都基于一篇第一作者的出版物，其中在某些情況下與共同第一作者共享。為了使它們在一個文檔中更具連貫性，對各個作品進行了修改，但這里沒有提供新的信息，這些論文也可以單獨閱讀。這些作品被組織成三個部分，如下所述。

**第一部分：XML的基礎 **我們首先討論一個統一了大部分文獻的觀點：許多現有的方法都基于一個解釋原則，即通過移除或量化從模型中移除特征的影響。我們描述了一個框架，在這個框架中，這些方法基于三個實現選擇而有所不同，我們為26個現有的算法確定了這些選擇（第3章）。基于這個觀點，我們對這些方法進行了統一分析，并找到了與信息理論、博弈論和認知心理學的聯系。然后，我們探索這些方法的魯棒性特性，并得出了描述它們對輸入和模型擾動的魯棒性的新結果（第4章）。 第二部分：Shapley值計算 接下來，我們探討XML中最廣泛使用的工具之一：Shapley值，一種博弈論信用分配技術。這些是最受歡迎的特征歸因方法之一，SHAP（Lundberg和Lee，2017）的基礎，以及一個著名的數據估值技術（Ghorbani和Zou，2019），但它們是臭名昭著的難以計算。有一系列方法來加速它們的計算（Chen等人，2022），我們在這里討論兩個：基于加權線性回歸的近似（第5章），和基于深度學習的攤銷優化的近似（第6章，第7章）。 第三部分：深度學習的特征選擇 最后，特征選擇為提供透明度的同時也降低了特征獲取成本提供了另一個方向。由于多次訓練不同特征集的模型的高昂成本，似乎很難與深度學習一起實施，但我們探討了如何使用可微分的層來阻止特征信息進入網絡（第8章）。然后，我們討論如何在自適應設置中應用這些思想，其中我們根據當前可用的信息為每個預測單獨選擇特征（第9章，第10章）。

聚類是數據分析中的主要而又具有挑戰性的任務，旨在將相似的樣本劃分到同一組，而將不相似的樣本劃分到不同的組。近期，由于在無監督深度圖聚類方面的突破，傳統的卷積神經網絡（例如，自編碼器（AE））和圖卷積網絡（GCN）的結合已經達到了最先進的性能。其中，自編碼器提取節點屬性特征，而圖卷積網絡捕獲拓撲圖特征。然而，現有方法沒有充分利用來自特征嵌入和聚類分配的現有信息，從而限制了它們的性能。鑒于這一限制，本論文專注于無監督深度圖聚類中的自適應表示學習。主要工作涉及自適應嵌入\分配\圖表示學習，總結如下：

首先，我們提出了一種名為注意力驅動圖聚類網絡（AGCN）的新穎無監督深度圖聚類方法，以解決以下問題：現有工作(??)缺乏一種靈活的組合機制來自適應地融合來自自編碼器和圖卷積網絡的兩種特征，從而增強表示學習能力；以及(????)忽視了嵌入在不同層的多尺度信息，導致后續的聚類分配效果不佳。具體而言，AGCN主要包括兩個注意力驅動的特征融合模塊，即AGCN異質性融合模塊（AGCN-H）和AGCN尺度融合模塊（AGCN-S）。這兩個模塊都利用基于注意力的機制動態地測量相應特征的重要性。AGCN-H自適應地合并自編碼器特征和圖卷積網絡特征，而AGCN-S動態地連接不同層的多尺度特征。為了以無監督的方式進行訓練，我們設計了一個能夠直接產生聚類分配結果的統一學習框架。與現有的無監督深度圖聚類方法相比，我們的方法更為靈活和有效，因為它考慮了網絡中嵌入的豐富和有區分性的信息來自適應地學習嵌入表示。在常用的基準數據集上的大量定量和定性結果驗證了我們的AGCN始終超越最先進的方法。此外，我們還進行了一系列消融研究來驗證我們方法的效率和有效性。

然而，上述提出的模型在面對從自編碼器和圖卷積網絡學到的兩種概率分布時存在決策困境，即應選擇哪一種作為最終的聚類分配結果。據我們所知，這是先前的無監督深度圖聚類方法中普遍存在的一個未解決的問題。為了應對這一挑戰，我們提出了一種名為深度注意力引導的雙重自監督圖聚類（DAGC）的新方法。具體而言，我們設計了一個分布融合模塊，該模塊利用這兩種聚類分配來自適應地學習分配表示，從而獲得最終的聚類結果。為了更好地探索來自聚類分配的現有信息，我們開發了一個雙重自監督解決方案，包括一個帶有Kullback-Leibler散度損失的軟自監督策略和一個帶有偽監督損失的硬自監督策略來指導整個網絡訓練。在九個基準數據集上的定量和定性實驗和分析表明，我們的方法始終超越最先進的方法。此外，我們還提供了消融研究和可視化，以驗證DAGC網絡的有效性和優勢。

現有的基于GCN的圖聚類網絡在很大程度上依賴于預定義的圖。如果初始圖無法真實且精確地反映其在嵌入空間上的拓撲結構，這些網絡可能會失敗。為了解決上述問題，我們提出了一種新穎的嵌入引導的圖優化聚類網絡（EGRCNet），該網絡能夠自適應地使用學習到的嵌入來改進初始圖，從而實現更好的聚類性能。具體來說，我們首先利用普通自編碼器和圖卷積網絡模塊來自適應地整合節點屬性和拓撲結構信息，以學習潛在特征表示。接著，我們探索嵌入空間上的幾何結構信息來構造一個鄰接圖，然后開發一個圖融合架構，動態地將該圖與初始圖融合。最后，我們最小化多個派生分布之間的Jeffreys散度損失函數，以無監督的方式進行網絡訓練。在七個常用的基準數據集上的廣泛實驗表明，所提出的方法始終超越了幾種最先進的方法。

以下聲明突出了這些工作的重要性：在無監督的深圖聚類中進行自適應表示學習對于人工普適性智能至關重要，因為它使機器能夠在沒有人類注釋的情況下從數據中學習復雜的模式和關系。通過利用無監督的自適應表示學習技術，人工普適性智能系統可以發展其數據的內部表示能力，并適應新的環境、任務和情境。這種能力對于理解復雜和非結構化數據至關重要。最后但并非最不重要的是，無監督的自適應表示學習是向開發能夠像人類一樣進行研究和推斷的機器邁出的關鍵一步，為AI在從醫療保健到金融到娛樂的廣泛領域開辟了新的可能性。在未來，我們將繼續為人工普適性智能社區做出貢獻，繼續研究大規模數據集、先進的表示學習和高效的信息傳播。

隨著實用量子計算機的可能出現，人們開始研究其潛在的應用，特別是在人工智能的背景下。受到經典機器學習中深度神經網絡成功的激勵，人們普遍希望這種成功可以被轉化到所謂的量子變分算法或由經典機器學習啟發的量子神經網絡中。當前的深度學習算法主要是基于一系列啟示法開發的，這些啟示法通常缺乏嚴格的證明來證明其有效性。由于這些算法的不透明性，提供關于它們性能的明確保證仍然是一個巨大的挑戰。盡管這種復雜性延伸到深度學習的量子模擬，但越來越多的文獻已經識別出一套理論工具，以更好地了解為什么經典機器學習模型在現實任務中如此有效。我們使用這些工具來研究這些量子模擬，以部分解答在何時以及在什么條件下我們可以期望成功的問題。我們主要使用統計學習理論、量子力學、隨機矩陣理論和群論的工具來研究量子機器學習算法的可學習性。我們的發現表明，我們必須仔細考慮量子機器學習算法的設計，以達到合理的成功水平。事實上，我們的一些結果顯示，在量子機器學習中，隨機或無結構的方法容易遇到各種挑戰，包括與訓練性相關的問題或與最佳經典算法相比沒有顯著的優勢的問題。在整篇論文中，我們提供了幾個如何可能地向這些算法中引入結構來部分地解決這些問題的例子。此外，我們還探討了量子計算如何通知和加強經典機器學習的反向問題。我們研究了將酉矩陣納入經典神經網絡，這導致了這些酉神經網絡的更高效的設計。

稀疏深度神經網絡 (DNNs) 在許多數據和計算密集型應用中是一個重要的計算核心（例如，圖像分類、語音識別和語言處理）。這些核心中的稀疏性激發了許多稀疏DNN加速器的發展。然而，盡管已經有大量的提議，但還沒有一個系統的方法來理解、建模和開發各種稀疏DNN加速器。為了解決這些限制，這篇論文首先提出了一個稀疏性相關加速特性的分類法，以系統地理解稀疏DNN加速器的設計空間。基于這個分類法，它提出了Sparseloop，這是第一個用于稀疏DNN加速器的快速、準確和靈活評估的分析建模工具，使得在早期階段可以探索龐大和多樣的稀疏DNN加速器設計空間。在代表性的加速器設計和工作負載中，Sparseloop比周期級模擬實現了超過2000倍的建模速度，保持了相對的性能趨勢，并達到了≤ 8%的平均建模誤差。利用Sparseloop，這篇論文研究了設計空間，并提出了HighLight，一個高效且靈活的稀疏DNN加速器。具體來說，HighLight通過一個新的稀疏模式，稱為分層結構稀疏性，來加速DNNs，關鍵的洞見是我們可以通過分層地組合簡單的稀疏模式來高效地加速各種程度的稀疏性（包括密集型）。與現有的工作相比，HighLight在具有不同稀疏度的工作負載中實現了高達6.4倍的能量延遲乘積 (EDP) 改進，并且始終位于代表性DNNs的EDP-準確性帕累托前沿。

強化學習（RL）是一種有希望的訓練智能體的框架，這些代理通過直接與環境互動來學習優化長期效用。創建可擴展到大規模狀態-行動空間的RL方法是確保RL系統在現實世界中部署的關鍵問題。然而，幾個挑戰限制了RL在大規模設置中的適用性。這些包括與探索、低樣本效率、計算不可行性、任務約束（如去中心化）有關的困難，以及關于在可能未見過的情況下的表現、泛化和穩健性等重要屬性的保證的缺乏。

這篇論文的動機是為了彌合上述的差距。我們提出了幾種原則性的算法和框架來研究和解決RL中的上述挑戰。所提出的方法覆蓋了廣泛的RL設置（單一和多代理系統（MAS），后者中的所有變化，預測和控制，基于模型和無模型的方法，基于價值和基于策略的方法）。在這項工作中，我們針對幾個不同的問題提出了首次的結果：例如，Bellman方程的張量化，這允許指數樣本效率的增益（第4章），MAS中由結構約束導致的可證明的次優性（第3章），合作MAS中的組合泛化結果（第5章），關于觀察偏移的泛化結果（第7章），在概率RL框架中學習確定性策略（第6章）。我們的算法明顯地提高了性能和樣本效率，并提高了可擴展性。此外，我們還闡述了在不同框架下代理的泛化方面。這些屬性都是通過使用幾種高級工具（例如，統計機器學習，狀態抽象，變分推斷，張量理論）來驅動的。總的來說，這篇論文的貢獻顯著推動了使RL代理準備好應用于大規模，真實世界應用的進程

機器學習被廣泛應用于各種不同的學科，以開發感興趣的變量的預測模型。然而，構建這樣的解決方案是一個耗時且具有挑戰性的學科，需要經過高度訓練的數據科學家和領域專家。作為回應，自動化機器學習(AutoML)領域旨在通過自動化減少人工工作量并加快開發周期。由于超參數在機器學習算法中無處不在，以及調優的超參數配置可以對預測性能產生影響，超參數優化是AutoML的一個核心問題。最近，深度學習的興起推動了神經架構搜索(NAS)，這是一個專注于自動化神經網絡設計的超參數優化問題的專門實例。對于大規模調優問題，網格搜索和隨機搜索等簡單的超參數優化方法在計算上是難以處理的。因此，本文的重點是開發高效和有原則的超參數優化和NAS方法。

**在回答以下問題方面取得了進展，目的是開發更高效和有效的自動化機器學習算法。**1. 超參數優化(a)我們如何有效地使用早期停止來加速超參數優化?(b)如何利用并行計算來執行超參數優化，同時在順序設置中訓練單個模型所需的時間?(c)對于多階段機器學習管道，我們如何利用搜索空間的結構來減少總計算成本?

2. 神經架構搜索(a)最先進的權重共享NAS方法和隨機搜索基線之間的性能差距是什么?(b)如何開發更有原則的權重共享方法，并證明收斂速度更快和改進的經驗性能?(c) NAS中常用的權重共享范式是否可應用于更一般的超參數優化問題?

鑒于這些問題，本文分為兩個部分。第一部分側重于通過解決1a, 1b和1c問題在高效超參數優化方面取得的進展。第二部分側重于通過解決問題2a, 2b和2c，在理解和改進神經架構搜索的權重共享方面取得的進展。

長期以來，隨著數據處理系統的復雜性不斷增加，系統設計者一直在想象能夠根據環境線索進行自我配置和適應的系統(如數據庫、調度程序)。在這種情況下，強化學習(RL)方法從一開始就吸引了系統開發人員。他們承諾從原始反饋信號中獲取復雜的決策策略。盡管RL方法在概念上很流行，但在現實世界的數據處理系統中卻很少見到。最近，由于利用大型神經網絡(深度強化學習)取得了引人注目的成功，RL受到了爆炸性增長的關注。新興的機器學習框架和強大的硬件加速器催生了大量新的潛在應用。在本文中，我首先提出，為了高效地設計和執行深度RL算法，需要新穎的軟件抽象來適應通信密集和快速進化算法的獨特計算模式。我提出了一種將邏輯算法構造與本地和分布式執行語義解耦的體系結構。我將進一步介紹RLgraph，這是我對這個體系結構的概念驗證實現。在RLgraph中，算法開發人員可以通過組合邏輯組件構建高級數據流圖來探索新的設計。此數據流圖獨立于特定的后端框架或執行概念，只在以后通過分階段構建過程映射到執行語義。RLgraph支持高性能算法實現，同時保持快速原型的靈活性。

//www.repository.cam.ac.uk/handle/1810/304385

其次，我研究了系統本身中RL應用程序稀缺的原因。我認為，由于缺乏用于任務模型設計的工具來彌合系統和算法之間的差距，以及缺乏評估模型能力的共同標準，應用RL的進展受到了阻礙。在本文中，我介紹了應用RL中第一個用于增量模型設計的工具——Wield。Wield 提供了一小組原語，將系統接口和特定于部署的配置從表示中分離出來。運用的核心是一種新的指導性實驗協議，稱為漸進隨機化，它幫助從業者逐步評估非確定性的不同維度。我演示了如何使用和漸進的隨機化可以用來再現和評估之前的工作，并指導新RL應用程序的實現。

機器人研究的一個長期目標是創建能夠從零開始自動學習復雜控制策略的算法。將這種算法應用到機器人上的挑戰之一是表示的選擇。強化學習(RL)算法已經成功地應用于許多不同的機器人任務中，如帶有機器人手臂的cup中的Ball-in-a-Cup任務和各種機器人世界杯機器人足球啟發的領域。然而，RL算法仍然存在訓練時間長、所需訓練數據量大的問題。為狀態空間、行動空間和策略選擇合適的表示可以大大減少所需的訓練時間和所需的訓練數據。

本文主要研究機器人的深度強化學習。具體來說，狀態空間、動作空間和策略表示的選擇如何減少機器人學習任務的訓練時間和樣本復雜度。特別集中注意兩個主要領域: 1)通過張量狀態-動作空間表示 2)多狀態表示的輔助任務學習

第一個領域探索了在環境變化中改進機器人策略遷移的方法。學習策略的成本可能很高，但是如果策略可以在類似的環境中傳輸和重用，那么訓練成本可以平攤。遷移學習是一個被廣泛研究的領域，涉及多種技術。在這篇論文中，我們著重設計一個易于傳輸的表示。我們的方法將狀態空間和動作空間映射為多維張量，設計成當環境中機器人和其他對象的數量變化時保持固定維數。我們還提出了全卷積Q-Network (FCQN)策略表示，這是一種特殊的網絡架構，與張量表示相結合，允許跨環境大小進行零距離傳輸。我們在模擬的單代理和多代理任務上演示了這種方法，靈感來自于RoboCup Small - Size League (SSL)和Atari Breakout的修改版本。我們還表明，在真實世界的傳感器數據和機器人中使用這樣的表示和模擬訓練策略是可能的。

第二個領域考察了一個機器人深度RL狀態表示的優勢如何彌補另一個機器人深度RL狀態表示的劣勢。例如，我們經常想要利用機器人可用的傳感器來學習任務，其中包括像攝像機這樣的高維傳感器。最近的Deep RL算法可以通過圖像進行學習，但是數據的數量對于真實的機器人來說是難以接受的。或者，可以使用任務完成所需的最小集創建狀態。這樣做的好處是:1)減少策略參數的數量，2)刪除不相關的信息。然而，提取這些特征通常會在工程、額外硬件、校準和實驗室之外的脆弱性方面有很大的成本。我們在仿真和現實世界的多個機器人平臺和任務上演示了這一點。我們證明它在模擬的RoboCup小型聯賽(SSL)機器人上工作。我們還演示了這樣的技術允許在真實的硬件上從零開始學習，通過機器人手臂執行一個球在一個杯子的任務。

//www.ri.cmu.edu/publications/robot-deep-reinforcement-learning-tensor-state-action-spaces-and-auxiliary-task-learning-with-multiple-state-representations/