亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

元學習理論的一個關鍵問題是如何理解任務分布對遷移風險的影響，即從未知任務分布中得出的元學習器對新任務的預期錯誤。本文針對高斯噪聲和高斯任務(或參數)分布的固定設計線性回歸問題，給出了任意算法的分布相關的遷移風險下界，同時給出了一種新的，所謂的偏置正則化回歸方法的加權版本能夠將這些下界匹配到一個固定的常數因子。值得注意的是，權重是由高斯任務分布的協方差得到的。總之，我們的結果提供了在這種高斯設置下元學習的困難的精確表征。雖然這個問題設置可能看起來很簡單，但我們證明它足夠豐富，可以統一元學習的“參數共享”和“表示學習”流; 特別地，表示學習是作為任務分布的協方差矩陣未知的特殊情況得到的。在這種情況下，我們提出采用EM方法，這在我們的情況下顯示了有效的更新。本文通過對EM的實證研究完成，實驗結果表明，EM算法可以隨著任務數量的增加而達到下界，同時在表示學習環境中，該算法也能成功地與其他算法相媲美。

//icml.cc/Conferences/2021/Schedule?showEvent=10047

發現目標產物的合成路線在許多應用中發揮著重要作用。其中，逆合成面臨的主要挑戰包含兩方面：(1)找到一個準確的單步逆合成模型來預測給定產物的單步反應；(2)設計一種有效的搜索算法設計完整的合成路線。目前已提出的用于單步逆合成的模型可分為三類：對產物分子應用模板以預測反應物、從頭生成每種反應物、修改產物原子數目或更改化學鍵以獲得反應物。而用于規劃完整路線的搜索算法主要包含兩類：將其視為順序決策的過程、應用樹搜索算法。逆合成框架的評估可以從以下兩個方面出發：（1）模型提出的反應路線是否是現實世界中的反應；（2）模型預測的路線(從分子構建塊開始合成)的成功率。目前的逆合成設計框架不是端到端的，而是朝著上述兩個目標分別優化單步逆合成模型和搜索策略，因此模型的性能可能并未達到最佳。受此啟發，作者提出了一個新的端到端逆合成框架，該框架在訓練過程中同時考慮最大化搜索算法的成功率以及在真實世界中存在的反應。

//www.zhuanzhi.ai/paper/f8aae4cb683d1571732e57f54dc775ff

在為許多現實世界的問題指定獎勵方面的困難導致人們越來越關注從人的反饋中學習獎勵，比如演示。然而，通常有許多不同的獎勵功能來解釋人類的反饋，這讓智能體不確定什么是真正的獎勵功能。雖然大多數策略優化方法通過優化預期性能來處理這種不確定性，但許多應用需要規避風險行為。我們推導了一種新的策略梯度式魯棒優化方法PG-BROIL，它優化了平衡預期性能和風險的軟魯棒目標。據我們所知，PG-BROIL是第一個對獎勵假設分布魯棒的策略優化算法，該假設可以擴展到連續的MDPs。結果表明，PG-BROIL可以產生一系列從風險中性到風險厭惡的行為，并通過對沖不確定性從模糊的演示中學習，而不是尋求唯一識別演示者的獎勵功能時，表現優于最先進的模仿學習算法。

//www.zhuanzhi.ai/paper/a367014851df7b705e67adc94da69694

當前的大多數自監督表示學習 (SSL) 方法都基于對比損失和實例判別任務，即其中同一圖像實例的數據增強版本（“正樣本”）與從其他圖像中提取的實例（“負樣本”）進行對比。為了保證學習有效，應將許多負樣本與正樣本對進行比較，這在計算上要求很高。在本文中，我們為SSL提出了一個不同的方向和一個新的損失函數，它基于對隱空間特征的白化操作，且只需要正樣本對，無需負樣本對的訓練。白化操作對批量樣本具有“散射”效應，避免只用正樣本時所有樣本表示收斂到單個點的退化解。同時，和先前無需負樣本的SSL相比，所提方法不需要非對稱網絡，并且在概念上也很簡單。

本篇論文的貢獻有：

1.本文提出了一種新的SSL損失函數，Whitening MSE (W-MSE)。W-MSE 將批量樣本限制在球形分布中，它是對比損失的替代方法。 2.所提的損失函數不需要大量的負樣本，因此我們可以在當前批次中包含更多的正樣本對。同時，論文實驗證明了從一張圖像中提取的多個正樣本對可提高了模型性能。 3.通過相關實驗驗證了W-MSE的在各個任務上的有效性。

//www.zhuanzhi.ai/paper/9c729151ab1b8c390da98df4caae91f5

最近利用圖神經網絡來處理圖匹配任務的研究已經顯示出了良好的結果。離散分布學習的最新進展為學習圖匹配模型提供了新的機會。在此工作中，我們提出了一個新的模型，隨機迭代圖匹配(SIGMA)，以解決圖匹配問題。我們的模型定義了一個圖對匹配的分布，因此模型可以探索更廣泛的可能的匹配。我們進一步介紹了一種新的多步匹配方法，該方法學習如何逐步地改進圖對的匹配結果。該模型還包括虛擬節點，因此模型不必為沒有對應關系的節點尋找匹配。我們通過可擴展的隨機優化方法將該模型與數據擬合。我們在合成圖形數據集以及生物化學和計算機視覺應用中進行了廣泛的實驗。在所有任務中，我們的結果表明，與最先進的模型相比，SIGMA可以產生顯著改善的圖匹配結果。消融實驗研究證實，我們的每個組件(隨機訓練、迭代匹配和虛擬節點)提供了顯著的改進。

//www.zhuanzhi.ai/paper/187920fb1a4297ddf130fb676c7e1139

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

基于經驗風險最小化的機器學習算法由于貪心地利用訓練數據之間的相關性，在分布位移下不穩定，因此泛化性能較差。近年來，利用多個訓練環境來尋找非變量關系的非變量學習方法被提出用于非分布泛化(OOD)。然而，現代數據集通常是通過合并來自多個源的數據來組裝的，而沒有顯式的源標簽。由此產生的未觀察到的異質性使得許多不變學習方法不適用。本文提出了異質風險最小化(HRM)框架，以實現數據之間的潛在異質性和不變關系的聯合學習，從而在分布發生變化的情況下實現穩定的預測。我們從理論上描述了不變學習中環境標簽的角色，并證明了我們新提出的HRM框架。大量的實驗結果驗證了我們的HRM的有效性。

//arxiv.org/abs/2105.03818

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

Code：//github.com/Shen-Lab/GraphCL Paper:

對于當前的圖神經網絡(GNNs)來說，圖結構數據的可泛化、可遷移和魯棒表示學習仍然是一個挑戰。與為圖像數據而開發的卷積神經網絡(CNNs)不同，自監督學習和預訓練很少用于GNNs。在這篇文章中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數據的無監督表示。我們首先設計了四種類型的圖擴充來包含不同的先驗。然后，我們在四種不同的環境下系統地研究了圖擴充的各種組合對多個數據集的影響:半監督、無監督、遷移學習和對抗性攻擊。結果表明，與最先進的方法相比，即使不調優擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架也可以生成類似或更好的可泛化性、可遷移性和健壯性的圖表示。我們還研究了參數化圖增強的范圍和模式的影響，并在初步實驗中觀察了性能的進一步提高。