亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

最近的工作表明，離線強化學習(RL)可以被表述為一個序列建模問題(Chen et al., 2021; Janner et al., 2021)，并通過類似于大規模語言建模的方法解決。然而，RL的任何實際實例還涉及到一個在線組件，其中在被動離線數據集上預訓練的策略通過與環境的特定任務交互進行微調。我們提出了在線決策Transformers (ODT)，這是一種基于序列建模的RL算法，在一個統一的框架中融合了離線預訓練和在線微調。我們的框架使用序列級熵正則化器與自回歸建模目標相結合，用于樣本高效的探索和微調。根據經驗，我們表明，ODT在D4RL基準測試的絕對性能方面可以與最先進的技術相媲美，但在微調過程中獲得的收益要顯著得多。 //www.zhuanzhi.ai/paper/0463e71720c9b14b6391b5c6bbecd1c1

人們可以利用以前的經驗，并從少量的演示中學習新的任務。與旨在通過更好的算法設計實現快速適應的離線元強化學習相比，我們研究了架構誘導偏差對少樣本學習能力的影響。我們提出了一種基于提示的決策Transformer (Prompt- DT)，它利用了Transformer體系結構和提示框架的順序建模能力，實現離線RL中的少樣本適應。我們設計了軌跡提示，其中包含了幾個樣本的演示片段，并編碼了特定任務的信息來指導策略的生成。我們在5個MuJoCo控制基準測試中的實驗表明，Prompt-DT是一個強大的少樣本學習器，無需對看不見的目標任務進行任何額外的微調。Prompt-D比它的變體和強元離線RL基線有很大的優勢，它的軌跡提示只包含幾個時間步。Prompt-D對于提示長度的更改也很穩健，并且可以泛化到分布外(OOD)環境。項目頁面://mxu34.github.io/PromptDT/。

反事實的解釋提供了從機器學習模型中獲得預期結果的方法。然而，這樣的解釋對于基礎模型中的某些真實世界的變化(例如，重新訓練模型，改變超參數，等等)并不是魯棒的，在幾個應用中質疑它們的可靠性，例如，信貸。在這項工作中，我們提出了一種新的策略——我們稱之為RobX——來為基于樹的集成生成魯棒的反事實，例如XGBoost。基于樹的集成在魯棒的反事實生成中帶來了額外的挑戰，例如，它們具有非光滑和不可微的目標函數，并且在非常相似的數據上進行再訓練時，它們可以在參數空間中發生很大的變化。我們首先引入了一種新的度量——我們稱之為反事實穩定性——它試圖量化反事實對再訓練下的模型變化的穩健性，并帶來理想的理論屬性。我們提出的策略RobX適用于任何反事實生成方法(基礎方法)，并通過使用我們的度量反事實穩定性迭代改進基礎方法生成的反事實來搜索魯棒的反事實。我們在基準數據集上比較了RobX與流行的反事實生成方法(基于樹的集成)的性能。結果表明，我們的策略生成的反事實比現有的最先進的方法更魯棒(在實際模型更改后，其有效性接近100%)，而且也更現實(就局部異常因素而言)。

我們研究離線元強化學習，這是一種實用的強化學習范式，從離線數據中學習以適應新的任務。離線數據的分布由行為策略和任務共同決定。現有的離線元強化學習算法無法區分這些因素，導致任務表示對行為策略的變化不穩定。為了解決這個問題，我們提出了一個任務表示的對比學習框架，該框架對訓練和測試中的行為策略分布不匹配具有魯棒性。我們設計了一個雙層編碼器結構，使用互信息最大化來形式化任務表示學習，導出了一個對比學習目標，并引入了幾種方法來近似負對的真實分布。在各種離線元強化學習基準上的實驗表明，我們的方法比以前的方法更有優勢，特別是在泛化到非分布行為策略上。代碼可以在//github.com/PKU-AI-Edge/CORRO上找到。

近年來，Transformer架構和變體在許多機器學習任務中取得了顯著的成功。這種成功本質上與處理長序列的能力以及注意力機制中上下文相關的權重的存在有關。我們認為這些能力符合元強化學習算法的核心作用。事實上，元強化學習代理需要從一系列軌跡推斷任務。此外，它需要一個快速適應策略來適應新的任務，這可以通過使用自我注意機制來實現。在這項工作中，我們提出了TrMRL(transformer 元強化學習)，一個元強化學習l代理，模仿記憶恢復機制使用transformer 架構。它將最近過去的工作記憶聯系起來，遞歸地通過transformer層建立情景記憶。我們展示了自注意力計算出一種共識表示，在每一層將貝葉斯風險降到最低，并提供了有意義的特征來計算最佳行動。我們在運動和靈巧操作的高維連續控制環境中進行了實驗。結果表明，在這些環境中，與基線相比，TrMRL具有可比或更好的漸近性能、樣本效率和分布外泛化。

//www.zhuanzhi.ai/paper/1a6668cdd5003fa2b3f7803489661a0d

本文提出了一種具有全局最優保證和復雜度分析的策略梯度法，用于模型失配情況下的魯棒強化學習。魯棒強化學習是學習一種魯棒的策略來模擬模擬環境和真實環境之間的不匹配。我們首先建立了魯棒策略梯度，它適用于任何可微參數策略類。我們證明了所提出的穩健策略梯度方法在直接策略參數化下漸近收斂于全局最優。我們進一步開發了一種平滑魯棒的策略梯度方法，并表明要實現-全局最優，復雜度為O(e?3)。然后我們將我們的方法擴展到一般的無模型環境，并設計了具有可微參數策略類和價值函數的魯棒行為-評論方法。我們進一步刻畫了它在表格設置下的漸近收斂性和樣本復雜性。最后，我們提供了仿真結果，以證明我們的方法的魯棒性。

元強化學習(Meta - reinforcement learning, Meta - rl)從以前的任務中提取知識，實現對新任務的快速適應。盡管最近取得了一些進展，但對元強化學習的有效探索仍然是稀疏獎勵任務中的一個關鍵挑戰，因為它需要在元訓練和適應中快速找到與任務相關的信息性經驗。針對這一挑戰，我們明確建模了一個元強化學習的探索策略學習問題，該問題與開發策略學習分離，并引入了一個新的賦權驅動的探索目標，該目標旨在最大限度地獲取信息以進行任務識別。我們得到了相應的內在獎勵，并開發了一個新的非策略元強化學習框架，通過共享任務推理知識，有效地學習獨立的上下文感知的探索和開發策略。實驗結果表明，在不同的稀疏獎勵MuJoCo運動任務和更復雜的稀疏獎勵元世界任務中，我們的meta-RL方法顯著優于最先進的基線。

//www.zhuanzhi.ai/paper/8972d5b6f921acf471ca8b89afc45759

機器學習的許多應用都需要一個模型來對測試樣本做出準確的預測，這些測試樣本在分布上與訓練示例不同，而在訓練期間，特定于任務的標簽很少。應對這一挑戰的有效方法是，在數據豐富的相關任務上對模型進行預訓練，然后在下游任務上對其進行微調。盡管預訓練在許多語言和視覺領域都是有效的，但是如何在圖數據集上有效地使用預訓練仍是一個有待解決的問題。本文提出了一種新的圖神經網絡訓練策略和自監督方法。我們的策略成功的關鍵是在單個節點以及整個圖的層次上預訓練一個具有強表示能力的GNN，以便GNN能夠同時學習有用的局部和全局表示。我們系統地研究了多類圖分類數據集的預處理問題。我們發現，在整個圖或單個節點級別上對GNN進行預訓練的樸素策略改進有限，甚至可能導致許多下游任務的負遷移。相比之下，我們的策略避免了負遷移，顯著提高了下游任務的泛化能力，使得ROC-AUC相對于未經訓練的模型提高了9.4%，實現了分子特性預測和蛋白質功能預測的最好性能。