亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

模仿學習試圖通過利用專家行為來規避為訓練主體設計適當的獎勵功能的困難。在以Markov Decision Processes (MDP)建模的環境中，大多數現有的模仿算法都取決于在同一MDP中是否有專家演示，而在該MDP中要學習新的模仿策略。在本文中，我們研究了當專家和代理MDP存在差異時如何模擬任務的問題。這些跨領域的差異可能包括不同的動力學、觀點或形態;我們提出了一個新的框架來學習這些領域的響應。重要的是，與之前的工作相比，我們使用只包含專家領域狀態的未配對和未對齊軌跡來學習這種對應關系。我們利用狀態空間和領域未知的潛在空間上的循環一致性約束來做到這一點。此外，我們通過一個歸一化的位置估計函數加強狀態的時間位置的一致性，以對齊兩個領域的軌跡。一旦找到了這種對應關系，我們就可以直接將一個領域的演示轉移到另一個領域，并將其用于模仿。在許多具有挑戰性的領域進行的實驗證明了我們的方法的有效性。

//www.zhuanzhi.ai/paper/6e5467bc6d82cc1e9e3236f5e44e08a4

最近最優傳輸(OT)理論在機器學習中的幾個應用都依賴于正則化，尤其是熵和Sinkhorn算法。由于矩陣向量乘積在Sinkhorn算法中是普遍存在的，一些工作已經提出使用低秩因子來近似其迭代中出現的核矩陣。另一種方法是在OT問題中考慮的可行耦合集上施加低非負秩約束，不需要對代價或核矩陣進行逼近。這條路線首先由forrow2018探索，他提出了一種為平方歐氏地面成本量身定制的算法，使用了一個代理目標，可以通過正則化的Wasserstein重心機制來解決。在此基礎上，我們引入了一種通用方法，旨在完全通用性地解決具有任意代價的低非負秩約束下的OT問題。我們的算法依賴于低秩耦合的顯式分解，將其作為由公共邊際連接的子耦合因子的乘積; 與NMF方法類似，我們交替更新這些因素。證明了該算法的非漸近平穩收斂性，并通過基準實驗證明了該算法的有效性。

//www.zhuanzhi.ai/paper/9f498d13bd99855dfac185ee9d905999

深度域自適應(DDA)方法在復雜域(如圖像、結構數據和順序數據)上具有更好的建模能力，其性能優于淺層模型。其基本思想是在一個潛在空間上學習領域不變表示，它可以在源域和目標域之間架起橋梁。一些理論研究建立了深刻的理解和學習領域不變特征的好處; 然而，它們通常僅限于沒有標簽遷移的情況，因此阻礙了它的適用性。在本文中，我們提出并研究了一種新的挑戰性設置，該設置允許我們使用Wasserstein距離(WS)不僅量化數據偏移，而且直接定義標簽偏移。我們進一步發展理論表明,減少數據的WS轉變導致關閉之間的差距的源和目標數據分布的空間(例如,中間的一層深網),同時仍然能夠量化的標簽對這個潛在的空間轉移。有趣的是，我們的理論可以解釋學習領域不變特征在潛在空間上的某些缺陷。最后，基于已有理論的結果和指導，我們提出了標簽匹配深度域自適應(LAMDA)方法，該方法在實際數據集上優于基準方法。

我們提出并分析了一種基于動量的梯度方法，用于訓練具有指數尾損失(例如，指數或logistic損失)的線性分類器，它以O (1/t2)的速率最大化可分離數據的分類邊緣。這與標準梯度下降的速率O(1/log(t))和標準化梯度下降的速率O(1/t)形成對比。這種基于動量的方法是通過最大邊際問題的凸對偶，特別是通過將Nesterov加速度應用于這種對偶，從而在原函數中得到了一種簡單而直觀的方法。這種對偶觀點也可以用來推導隨機變量，通過對偶變量進行自適應非均勻抽樣。

//www.zhuanzhi.ai/paper/9fd848dc95d2b0a9a5da37dbbd79d4ed

回歸作為分類的對應，是一個具有廣泛應用的主要范式。域自適應回歸將回歸器從有標記的源域推廣到無標記的目標域。現有的區域適應回歸方法僅在淺層區取得了積極的結果。一個問題出現了:為什么在深層機制中學習不變表征不那么明顯?本文的一個重要發現是，分類對特征尺度具有魯棒性，而回歸則不具有魯棒性，對齊深度表示的分布會改變特征尺度，阻礙領域自適應回歸。基于這一發現，我們提出了通過表示空間的正交基來關閉域間隙，這是自由的特征縮放。受格拉斯曼流形的黎曼幾何啟發，我們定義了表示子空間上的幾何距離，并通過最小化它來學習深度可遷移表示。為了避免破壞深度表示的幾何性質，我們進一步引入了基不匹配懲罰來匹配正交基的排序跨表示子空間。我們的方法在三個領域自適應回歸基準上進行了評價，本文構建了其中兩個基準。我們的方法明顯優于最先進的方法。

//ise.thss.tsinghua.edu.cn/~mlong/doc/Representation-Subspace-Distance-for-Domain-Adaptation-Regression-icml21.pdf

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

當測試數據和訓練數據的分布相似時，基于深度神經網絡的方法已經取得了驚人的性能，但如果沒有相似的分布，則性能可能表現很差。因此，消除訓練和測試數據之間分布變化的影響對于構建具有良好性能的深度模型至關重要。傳統的方法要么假設訓練數據已知的異質性(例如域標簽)，要么假設不同域的容量近似相等。在本文中，我們考慮一個更具有挑戰性的情況，即上述兩種假設都不成立。為了解決這一問題，我們提出通過學習訓練樣本的權重來消除特征之間的依賴關系，這有助于深度模型擺脫虛假的相關性，從而更加關注區分性特征和標簽之間的真實聯系。大量的實驗清楚地證明了我們的方法在多個分布泛化基準上的有效性，與最先進的同行相比。通過大量的分布泛化基準實驗，包括PACS、VLCS、mist - m和NICO，我們證明了該方法的有效性，并與最新的同類方法進行了比較。

//www.zhuanzhi.ai/paper/dd9a8778840b02be8c81aebac3c94263

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

持續學習和適應新任務的能力，同時又不失去對已經獲得的知識的掌握，是生物學習系統的一個特征，這是目前的深度學習系統所欠缺的。在這項工作中，我們提出了一種新的持續學習方法，稱為MERLIN:持續學習的元鞏固。

我們假設一個用于解決任務t的神經網絡的權值是來自于一個元分布p(lenian| t)。這種元分布是逐步學習和鞏固的。我們在具有挑戰性的在線持續學習設置中操作，其中一個數據點只被模型看到一次。

我們對MNIST、CIFAR-10、CIFAR-100和Mini-ImageNet數據集的持續學習基準進行的實驗顯示，在五個基線上，包括最近的最先進水平，都證明了MERLIN的前景。

//arxiv.org/abs/2010.00352

【導讀】機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自德國人工智能教授 Bernhard Sch?lkopf教授講述《因果性》，177頁ppt系統性講述了機器學習中的因果性，非常干貨。

由Judea Pearl開創的圖因果推理起源于人工智能(AI)的研究，在很長一段時間內與機器學習領域幾乎沒有聯系。本文認為，機器學習和人工智能的硬開放問題本質上與因果關系有關，并解釋了該領域是如何開始理解它們的。

近年來，機器學習社區對因果關系的興趣顯著增加。我對因果關系的理解是由Judea Pearl和許多合作者和同事所啟發的，其中的大部分內容來自與Dominik Janzing和Jonas Peters合著的一本書(Peters et al.， 2017)。我已經在各種場合談論過這個話題，其中一些正在進入機器學習的主流，特別是因果建模可以提升機器學習模型的魯棒性。因果性和機器學習的交叉的發展令人興奮。這篇報告不僅能夠對討論因果思維對AI的重要性有所幫助，而且還可以為機器學習的觀眾介紹一些圖或結構因果模型的相關概念。

盡管最近取得了諸多成功，但如果我們將機器學習的能力與動物的能力進行比較，我們會發現，在一些動物擅長的關鍵技能上，前者相當糟糕。這包括遷移到新問題,任何形式的泛化,不是從一個數據點到下一個從相同的分布(采樣),而是從一個問題到下一個——都被稱為泛化。這個缺點并不是太令人吃驚，因為機器學習經常忽略生物大量使用的信息: 世界干預、領域遷移、時間結構。最后，機器學習也不擅長思考，在康拉德洛倫茨的意義上，即，在想象的空間中行動。我認為，因果性關注建模和推理，可以對理解和解決這些問題做出實質性的貢獻，從而將該領域帶入下一個層次。

視頻： //www.youtube.com/watch?v=btmJtThWmhA&feature=youtu.be

目錄內容：

• 背景介紹
• 結構化因果模型
• 獨立機制與解纏分解
• 做微積分
• 混淆
• 因果發現：兩變量情況
• 因果機器學習
• 時間序列