深度強化學習
·
作為人類，我們的目標和環境在我們的一生中不斷變化，這是基于我們的經驗、行動以及內在和外在的驅動力。相反，典型的強化學習問題設置考慮的決策過程是跨情景的靜態過程。我們能不能開發一種強化學習算法來應對前者中更現實的問題設置的持續變化?雖然策略上的算法(如策略梯度)原則上可以擴展到非平穩設置，但更有效的非策略算法(在學習時回放過去的經驗)卻不能這么說。在這項工作中，我們形式化了這個問題設置，并借鑒了在線學習和概率推理文獻的思想，得出了一個非策略RL算法，可以推理和處理這種終身非平穩性。我們的方法利用潛在變量模型從當前和過去的經驗中學習環境的表示，并使用該表示執行非策略RL。我們進一步介紹了幾個顯示終生非平穩性的模擬環境，并根據經驗發現，我們的方法大大優于那些不考慮環境變化的方法。
付費5元查看完整內容
相關內容
我們提出了一種新的在線元學習算法，在有限的監督下順序揭示任務實例，并期望學習器在每一輪中對它們進行元學習，從而允許學習器在很少的任務級監督下快速定制特定任務模型。在線元學習中出現的一個基本問題是，隨著時間的推移，學習任務越來越多，記憶的可擴展性也越來越強。到目前為止，之前的工作都允許完美的回憶，導致記憶隨時間線性增加。與之前的工作不同，在我們的方法中，先前的任務實例是允許被刪除的。我們建議通過固定大小的狀態向量來利用之前的任務實例，狀態向量是按順序更新的。我們的理論分析表明，我們提出的記憶高效在線學習(MOML)方法具有凸損失函數的次線性遺憾和非凸損失的次線性局部遺憾。在基準數據集上，我們證明了我們的方法可以超越之前的方法，即使它們允許完美的回憶。
付費5元查看完整內容
論文題目：Learning to Weight Imperfect Demonstrations （ICML 2021）
作者：Yunke Wang, Chang Xu, Bo Du, Honglak Lee
論文概述：這篇論文主要解決的問題是如何在生成對抗模仿學習（GAIL）中為不完美專家演示加權。模仿學習期望智能體通過模仿專家的行為來進行學習，然而在許多現實世界的任務中專家也會犯錯，由此產生的不完美專家演示將會嚴重誤導智能體的學習。目前，已有的一些基于加權和偏好學習的解決不完美專家演示的方法往往依賴額外的先驗信息，無法在更普遍和通用的模仿學習設置下使用。因此，本文提出了一種在生成對抗模仿學習的框架下為專家演示自動生成權重的方法，通過嚴格的數學證明，我們發現專家演示的權重可以在訓練中由GAIL中的判別器和智能體策略估算得到。理論分析顯示，當我們使用該估算的權重，智能體事實上在學習一個比原始給定的專家策略更優的策略。在Mujoco和Atari上的實驗結果顯示了算法的優越性。
付費5元查看完整內容
持續學習是一種學習模式，在這種模式下，學習系統按照一系列任務進行訓練。這里的目標是在當前任務上執行得很好，而不會受到前面任務的性能下降的影響。在神經網絡持續學習的最新進展中，有兩個值得注意的方向: (1) 基于變分貝葉斯的正則化，通過學習先前任務的先驗信息，以及(2)學習深度網絡的結構以適應新的任務。到目前為止，這兩種方法在很大程度上是相互正交的。我們提出了一個新的貝葉斯框架，基于不斷學習深度神經網絡的結構，以統一這些不同但互補的方法。該框架通過學習任務所使用的權值來學習任務的深層結構，并通過不同任務學習的權值的不同稀疏子集的重疊來支持任務間的遷移。我們提出的持續學習框架的一個吸引人的方面是，它既適用于甄別(有監督的)設置，也適用于生成(無監督的)設置。在有監督和無監督基準上的實驗結果表明，我們的方法在持續學習方面的表現與最近的進展相當或更好。
付費5元查看完整內容
在現實世界中，存在許多難以用數學方法指定的約束條件。然而，對于強化學習(RL)的現實部署來說，RL agent意識到這些約束條件是至關重要的，這樣它們才能安全地行動。在這項工作中，我們考慮了學習約束的問題，從一個遵守約束的行為的示范。我們通過實驗驗證了我們的方法，并證明了我們的框架能夠成功地學習agent所尊重的最有可能的約束。我們進一步證明，這些習得的約束是可轉移到新個體的，這些新個體可能具有不同的形態和/或獎賞功能。在這方面，之前的工作要么主要局限于表格(離散)設置、特定類型的約束，要么假設環境的過渡動力學。相比之下，我們的框架能夠在完全無模型的環境中學習高維中的任意文本{馬爾可夫}約束。代碼可在:\url{//github.com/shehryar-malik/icrl}。
付費5元查看完整內容
譜方法是對子空間并集附近的數據點進行聚類的一種常用方法，稱為子空間聚類。典型的用法是先構造一個隨機幾何圖，然后用譜方法對圖進行聚類，得到聚類結果。后一步被稱為光譜聚類。據我們所知，盡管在基于譜方法的子空間聚類中這兩個步驟都很重要，但現有的理論結果都集中在構建圖的第一步，而忽略了通過譜聚類糾正錯誤連接的最后一步。本文首次建立了一個理論來證明這種方法的有效性，在此理論中，我們通過分析在廣泛使用的半隨機模型下的一個簡化算法來論證譜聚類的機理。在此基礎上，我們證明了子空間聚類在相當廣泛的條件下的有效性。本文的見解和分析技術也可能對其他隨機圖問題有啟示。
付費5元查看完整內容
人類具有不斷從經驗中學習的非凡能力。我們不僅可以把以前學到的知識和技能運用到新的情況下，我們也可以把這些作為以后學習的基礎。人工智能(AI)的宏偉目標之一是構建一個人工的“持續學習”代理，通過自主增量開發越來越復雜的知識和技能，從自身經驗構建對世界的復雜理解(Parisi, 2019年)。然而，盡管有早期的推測和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010)，很少有研究和努力致力于解決這一愿景。當前人工智能系統深受新數據或新環境的影響，這些新數據或新環境與他們所接受的訓練稍有不同(Goodfellow, 2013)。此外，學習過程通常被限制在限定和孤立的任務內的固定數據集，這可能很難導致出現更復雜和自主的智能行為。從本質上講，持續學習和適應能力，雖然經常被認為是每一個智能代理的基本支柱，但大多被排除在主要的人工智能研究重點之外。
在本教程中，我們提出根據機器學習研究和人工智能深度架構(Lomonaco, 2019)的最新進展總結這些想法的應用。從一個動機和一個簡短的歷史開始，我們將最近的持續學習進展與之前在相關主題上的研究努力聯系起來，并總結了主要方法、基準和關鍵結果方面的最新進展。在教程的第二部分，我們計劃涵蓋更多關于低監督信號的持續學習的探索性研究，以及與其他范式的關系，如無監督，半監督和強化學習。我們還將強調神經科學的最新發現對原始持續學習算法設計的影響，以及它們在現實應用中的部署。最后，我們將強調持續學習的概念，作為可持續機器學習的關鍵技術推動者及其社會影響，并概述有趣的研究問題和未來值得解決的方向。
付費5元查看完整內容
在為許多現實世界的問題指定獎勵方面的困難導致人們越來越關注從人的反饋中學習獎勵，比如演示。然而，通常有許多不同的獎勵功能來解釋人類的反饋，這讓智能體不確定什么是真正的獎勵功能。雖然大多數策略優化方法通過優化預期性能來處理這種不確定性，但許多應用需要規避風險行為。我們推導了一種新的策略梯度式魯棒優化方法PG-BROIL，它優化了平衡預期性能和風險的軟魯棒目標。據我們所知，PG-BROIL是第一個對獎勵假設分布魯棒的策略優化算法，該假設可以擴展到連續的MDPs。結果表明，PG-BROIL可以產生一系列從風險中性到風險厭惡的行為，并通過對沖不確定性從模糊的演示中學習，而不是尋求唯一識別演示者的獎勵功能時，表現優于最先進的模仿學習算法。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
當演示專家的潛在獎勵功能在任何時候都不能被觀察到時，我們解決了在連續控制的背景下模仿學習算法的超參數(HPs)調優的問題。關于模仿學習的大量文獻大多認為這種獎勵功能適用于HP選擇，但這并不是一個現實的設置。事實上，如果有這種獎勵功能，就可以直接用于策略訓練，而不需要模仿。為了解決這個幾乎被忽略的問題，我們提出了一些外部獎勵的可能代理。我們對其進行了廣泛的實證研究(跨越9個環境的超過10000個代理商)，并對選擇HP提出了實用的建議。我們的結果表明，雖然模仿學習算法對HP選擇很敏感，但通常可以通過獎勵功能的代理來選擇足夠好的HP。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191