亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

模仿學習試圖通過利用專家行為來規避為訓練主體設計適當的獎勵功能的困難。在以Markov Decision Processes (MDP)建模的環境中，大多數現有的模仿算法都取決于在同一MDP中是否有專家演示，而在該MDP中要學習新的模仿策略。在本文中，我們研究了當專家和代理MDP存在差異時如何模擬任務的問題。這些跨領域的差異可能包括不同的動力學、觀點或形態;我們提出了一個新的框架來學習這些領域的響應。重要的是，與之前的工作相比，我們使用只包含專家領域狀態的未配對和未對齊軌跡來學習這種對應關系。我們利用狀態空間和領域未知的潛在空間上的循環一致性約束來做到這一點。此外，我們通過一個歸一化的位置估計函數加強狀態的時間位置的一致性，以對齊兩個領域的軌跡。一旦找到了這種對應關系，我們就可以直接將一個領域的演示轉移到另一個領域，并將其用于模仿。在許多具有挑戰性的領域進行的實驗證明了我們的方法的有效性。

//www.zhuanzhi.ai/paper/6e5467bc6d82cc1e9e3236f5e44e08a4

最近最優傳輸(OT)理論在機器學習中的幾個應用都依賴于正則化，尤其是熵和Sinkhorn算法。由于矩陣向量乘積在Sinkhorn算法中是普遍存在的，一些工作已經提出使用低秩因子來近似其迭代中出現的核矩陣。另一種方法是在OT問題中考慮的可行耦合集上施加低非負秩約束，不需要對代價或核矩陣進行逼近。這條路線首先由forrow2018探索，他提出了一種為平方歐氏地面成本量身定制的算法，使用了一個代理目標，可以通過正則化的Wasserstein重心機制來解決。在此基礎上，我們引入了一種通用方法，旨在完全通用性地解決具有任意代價的低非負秩約束下的OT問題。我們的算法依賴于低秩耦合的顯式分解，將其作為由公共邊際連接的子耦合因子的乘積; 與NMF方法類似，我們交替更新這些因素。證明了該算法的非漸近平穩收斂性，并通過基準實驗證明了該算法的有效性。

//www.zhuanzhi.ai/paper/9f498d13bd99855dfac185ee9d905999

我們提出了圖神經擴散(GRAND)，它將圖的深度學習視為一個連續的擴散過程，并將圖神經網絡(GNN)視為一個潛在的PDE的離散化。在我們的模型中，層結構和拓撲對應于時間和空間算子的離散化選擇。我們的方法允許有原則地開發一大類新的GNN，這些GNN能夠解決圖學習模型的常見困境，如深度、過平滑和瓶頸。我們的模型成功的關鍵是相對于數據攝動的穩定性，這在隱式和顯式離散化方案中都得到了解決。我們開發了線性和非線性版本的GRAND，在許多標準圖基準上實現了有競爭性的結果。

//proceedings.mlr.press/v139/chamberlain21a/chamberlain21a.pdf

模仿學習使智能體能夠重用和適應他人來之不易的專業知識，為學習行為中的幾個關鍵挑戰提供了解決方案。雖然在現實世界中很容易觀察行為，但可能無法訪問底層操作。我們提出了一種新的方法，僅從觀測中進行模仿，在具有挑戰性的連續控制任務中達到與專家相當的性能，同時在與任務無關的觀測存在時也表現出魯棒性。我們的方法叫做FORM(“未來觀察獎勵模型”)，它來自逆RL目標，并使用專家行為模型進行模擬，該模型是通過對專家觀察的生成模型學習而來的，不需要地面的真實行動。我們的研究表明，在DeepMind Control Suite基準上，FORM的性能與強基線IRL方法(GAIL)相當，而在存在與任務無關的特征時，FORM的性能優于GAIL。

//www.zhuanzhi.ai/paper/5f5ad56870b9585c4ecc0ee498604daa

我們提出并分析了一種基于動量的梯度方法，用于訓練具有指數尾損失(例如，指數或logistic損失)的線性分類器，它以O (1/t2)的速率最大化可分離數據的分類邊緣。這與標準梯度下降的速率O(1/log(t))和標準化梯度下降的速率O(1/t)形成對比。這種基于動量的方法是通過最大邊際問題的凸對偶，特別是通過將Nesterov加速度應用于這種對偶，從而在原函數中得到了一種簡單而直觀的方法。這種對偶觀點也可以用來推導隨機變量，通過對偶變量進行自適應非均勻抽樣。

//www.zhuanzhi.ai/paper/9fd848dc95d2b0a9a5da37dbbd79d4ed

在為許多現實世界的問題指定獎勵方面的困難導致人們越來越關注從人的反饋中學習獎勵，比如演示。然而，通常有許多不同的獎勵功能來解釋人類的反饋，這讓智能體不確定什么是真正的獎勵功能。雖然大多數策略優化方法通過優化預期性能來處理這種不確定性，但許多應用需要規避風險行為。我們推導了一種新的策略梯度式魯棒優化方法PG-BROIL，它優化了平衡預期性能和風險的軟魯棒目標。據我們所知，PG-BROIL是第一個對獎勵假設分布魯棒的策略優化算法，該假設可以擴展到連續的MDPs。結果表明，PG-BROIL可以產生一系列從風險中性到風險厭惡的行為，并通過對沖不確定性從模糊的演示中學習，而不是尋求唯一識別演示者的獎勵功能時，表現優于最先進的模仿學習算法。

//www.zhuanzhi.ai/paper/a367014851df7b705e67adc94da69694

當演示專家的潛在獎勵功能在任何時候都不能被觀察到時，我們解決了在連續控制的背景下模仿學習算法的超參數(HPs)調優的問題。關于模仿學習的大量文獻大多認為這種獎勵功能適用于HP選擇，但這并不是一個現實的設置。事實上，如果有這種獎勵功能，就可以直接用于策略訓練，而不需要模仿。為了解決這個幾乎被忽略的問題，我們提出了一些外部獎勵的可能代理。我們對其進行了廣泛的實證研究(跨越9個環境的超過10000個代理商)，并對選擇HP提出了實用的建議。我們的結果表明，雖然模仿學習算法對HP選擇很敏感，但通常可以通過獎勵功能的代理來選擇足夠好的HP。

//www.zhuanzhi.ai/paper/beffdb76305bfa324433d64e6975ec76

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

摘要： 約束優化問題廣泛存在于科學研究和工程實踐中,其對應的約束優化進化算法也成為了進化領域的重要研究方向。約束優化進化算法的本質問題是如何有效地利用不可行解和可行解的信息,平衡目標函數和約束條件,使得算法更加高效。首先對約束優化問題進行定義;然后詳細分析了目前主流的約束進化算法,同時,基于不同的約束處理機制,將這些機制分為約束和目標分離法、懲罰函數法、多目標優化法、混合法和其他算法,并對這些方法進行了詳細的分析和總結;接著指出約束進化算法亟待解決的問題,并明確指出未來需要進一步研究的方向;最后對約束進化算法在工程優化、電子和通信工程、機械設計、環境資源配置、科研領域和管理分配等方面的應用進行了介紹。

//www.jsjkx.com/CN/10.11896/jsjkx.200600151

我們研究了智能體在面臨一系列強化學習任務時的知識轉移問題。在馬爾可夫決策過程之間引入了一種新的度量方法，證明了封閉式多目標決策具有封閉式最優值函數。形式上，最優值函數是關于任務空間的Lipschitz連續函數。根據這些理論結果，我們提出了一種終身RL的值轉移方法，并利用該方法建立了一種收斂速度較好的PAC-MDP算法。我們在終身RL實驗中說明了該方法的好處。