亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，Transformer架構和變體在許多機器學習任務中取得了顯著的成功。這種成功本質上與處理長序列的能力以及注意力機制中上下文相關的權重的存在有關。我們認為這些能力符合元強化學習算法的核心作用。事實上，元強化學習代理需要從一系列軌跡推斷任務。此外，它需要一個快速適應策略來適應新的任務，這可以通過使用自我注意機制來實現。在這項工作中，我們提出了TrMRL(transformer 元強化學習)，一個元強化學習l代理，模仿記憶恢復機制使用transformer 架構。它將最近過去的工作記憶聯系起來，遞歸地通過transformer層建立情景記憶。我們展示了自注意力計算出一種共識表示，在每一層將貝葉斯風險降到最低，并提供了有意義的特征來計算最佳行動。我們在運動和靈巧操作的高維連續控制環境中進行了實驗。結果表明，在這些環境中，與基線相比，TrMRL具有可比或更好的漸近性能、樣本效率和分布外泛化。

//www.zhuanzhi.ai/paper/1a6668cdd5003fa2b3f7803489661a0d

我們假設，由于多模態深度神經網絡學習的貪婪性質，這些模型往往只依賴于一種模態，而不擬合其他模態。根據我們的經驗觀察，這種行為是反直覺的，并且損害了模型的泛化。為了估計模型對每種模態的依賴性，我們計算當模型除了另一種模態外還可以訪問它時，對精度的增益。我們把這個增益稱為條件利用率。在實驗中，我們始終觀察到不同模態之間的條件利用率不平衡，跨多個任務和架構。由于在訓練過程中不能有效地計算條件利用率，我們引入了一個基于模型從每個模態學習的速度的代理，我們稱之為條件學習速度。我們提出了一種算法來平衡訓練過程中模態之間的條件學習速度，并證明它確實解決了貪婪學習的問題該算法提高了模型在三個數據集上的泛化能力:Colored MNIST、ModelNet40和NVIDIA Dynamic Hand Gesture。

//www.zhuanzhi.ai/paper/a175b09bb7bfe5bc36d68b6fdf98fe86

近期工作(White et al.， 2020a;Yan et al.， 2020)證明了架構編碼在神經架構搜索(NAS)中的重要性。這些編碼對神經結構的結構或計算信息進行編碼。與結構感知編碼相比，計算感知編碼以相似的精度映射到同一區域的架構，提高了下游架構搜索性能(Zhang et al., 2019; White et al., 2020a)。在本文中，我們介紹了一種基于計算感知Transformer的編碼方法，稱為CATE。與現有基于固定變換的計算感知編碼(如路徑編碼)不同，CATE采用了成對的預訓練方案，使用交叉注意的transformer來學習計算感知編碼。這種學習編碼包含神經結構的密集和上下文化計算信息。在小搜索空間和大搜索空間中，我們比較了在三個主要的編碼依賴NAS子程序下，CATE和11種編碼方式。我們的實驗表明，CATE有利于下游搜索，特別是在大的搜索空間中。此外，外部搜索空間實驗證明了它在訓練所處的搜索空間之外具有優越的泛化能力。

//arxiv.org/abs/2102.07108

對抗性例子的威脅激發了訓練可靠的魯棒神經網絡的工作，以便在推理時有效地驗證局部魯棒性。我們形式化了全局魯棒的概念，它捕獲了在線局部魯棒認證的操作特性，同時為魯棒訓練提供了一個自然學習目標。我們證明，通過將有效的全局Lipschitz邊界合并到網絡中，通過構建達到最先進的可驗證精度的可靠模型，廣泛使用的體系結構可以很容易地適應這一目標。值得注意的是，與最近的認證訓練方法相比，這種方法需要更少的時間和記憶，并且在在線認證點時成本可以忽略不計;例如，我們的評估表明，在大約幾小時內訓練一個大型魯棒的Tiny-Imagenet模型是可能的。我們的模型有效地利用了便宜的全局Lipschitz邊界來進行實時認證，盡管之前的建議是為了良好的性能需要更緊密的局部邊界;我們假設這是可能的，因為我們的模型經過專門訓練，以實現更緊密的全局邊界。也就是說，我們證明了對于給定的數據集，最大可實現的可驗證精度不能通過使用局部邊界來提高。

//arxiv.org/abs/2102.08452

用反向傳播方法訓練深度殘差神經網絡(ResNets)的記憶成本隨網絡深度的增加而線性增加。規避這個問題的一種方法是使用可逆的架構。本文提出通過增加動量項來改變ResNet的正向規則。所得到的網絡，動量剩余神經網絡(動量ResNets)是可逆的。與以前的可逆架構不同，它們可以作為任何現有的ResNet塊的替代。我們證明動量ResNets可以被解釋為二階常微分方程(ode)，并準確地描述了如何逐步增加動量增加動量ResNets的表示能力。我們的分析顯示，Momentum ResNets可以學習任何線性映射到一個倍增因子，而ResNets不能。在優化設置的學習中，需要收斂到一個不動點，我們從理論上和經驗上證明了我們的方法成功，而現有的可逆架構失敗。我們在CIFAR和ImageNet上展示了Momentum ResNets與ResNets具有相同的精度，但占用的內存要小得多，并展示了預訓練的Momentum ResNets對模型的微調是有前途的。

//www.zhuanzhi.ai/paper/867b3834167694dab97cf812135dc273

我們提出了圖神經擴散(GRAND)，它將圖的深度學習視為一個連續的擴散過程，并將圖神經網絡(GNN)視為一個潛在的PDE的離散化。在我們的模型中，層結構和拓撲對應于時間和空間算子的離散化選擇。我們的方法允許有原則地開發一大類新的GNN，這些GNN能夠解決圖學習模型的常見困境，如深度、過平滑和瓶頸。我們的模型成功的關鍵是相對于數據攝動的穩定性，這在隱式和顯式離散化方案中都得到了解決。我們開發了線性和非線性版本的GRAND，在許多標準圖基準上實現了有競爭性的結果。

//proceedings.mlr.press/v139/chamberlain21a/chamberlain21a.pdf

Density Constrained Reinforcement Learning

Authors: Zengyi Qin, Yuxiao Chen, Chuchu Fan

//www.zhuanzhi.ai/paper/4fa1ffa9d790da75a55a7f6e0aef8821

我們從一個新的角度研究約束強化學習(CRL)，通過直接設置狀態密度函數的約束，而不是以往研究中考慮的值函數。狀態密度具有清晰的物理和數學解釋，并能夠表達各種各樣的約束，如資源限制和安全要求。密度約束還可以避免設計和調優成本功能的耗時過程，這些成本功能是基于價值功能的約束來編碼系統規范所需要的。利用密度函數與Q函數之間的對偶性，提出了一種求解密度約束的RL問題的有效算法，保證了約束條件的滿足。我們證明了當策略更新不完美時，所提出的算法收斂到一個有界誤差的接近最優解。我們使用一組全面的實驗來證明我們的方法相對于最先進的CRL方法的優勢，包括廣泛的密度約束任務和標準的CRL基準測試，如Safety-Gym。

圖表示學習算法的歸納偏差通常被編碼在其嵌入空間的背景幾何中。在本文中，我們證明了一般有向圖可以有效地用一個包含三個成分的嵌入模型來表示: 一個偽黎曼度量結構，一個非平凡的全局拓撲，以及一個明確包含嵌入空間中首選方向的唯一似然函數。我們將該方法應用于自然語言應用和生物學中一系列合成的和真實的有向圖的鏈接預測任務，從而證明了該方法的表征能力。特別地，我們證明了低維柱面閔可夫斯基和反Sitter時空可以產生與高維彎曲黎曼流形相同或更好的圖表示。

//www.zhuanzhi.ai/paper/3582fcbd7b41d17b32f87c148733df66

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf