亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

論文標題：CURL: Contrastive Unsupervised Representations for ReinforcementLearning（CURL：用于強化學習的對比無監督表示）

論文來源：ICML 2020 論文下載：//www.zhuanzhi.ai/paper/6fb5994c1f98b326b45fb83ce319f0b9

代碼鏈接：

摘要：

我們提出CURL:用于強化學習的對比無監督表示法。CURL使用表示學習從原始像素中提取高級特征，并在提取的特征上執行off-policy控制。在DeepMind控制套件和Atari游戲中，CURL在復雜任務中的表現優于之前基于像素的方法，無論是基于模型的還是無模型的，在100K環境和交互步驟的基準測試中，分別獲得1.9倍和1.6倍的性能提升。在DeepMind控制套件中，CURL是第一個與使用基于狀態特征的方法的采樣效率和性能接近的基于圖像的算法。

題目： Debiased Contrastive Learning

摘要：

自監督表示學習的一項突出技術是對比語義相似和不相似的樣本對。如果無法訪問標簽，通常會將不同的（負）點視為隨機采樣的數據點，隱式地接受這些點實際上可能具有相同的標簽。不足為奇的是，我們觀察到在具有標簽的綜合環境中，從真正不同的標簽中抽取負面樣本可以提高性能。受此觀察結果的啟發，開發了一種反偏差對比目標，即使不知道真實的標簽，也可以校正相同標簽的數據點的采樣。從經驗上講，擬議的目標在視覺，語言和強化學習基準方面始終優于最新的代表性學習。從理論上講，我們為下游分類任務建立概括邊界。

題目： Multi-view Knowledge Graph Embedding for Entity Alignment

摘要： 我們研究了知識圖譜之間基于嵌入的實體對齊問題。之前的研究主要集中在實體的關系結構上。有些還進一步合并了另一種類型的特性，比如屬性，以進行細化。然而，大量的實體特征尚未被探索或沒有被平等地放在一起處理，這損害了基于嵌入的實體對齊的準確性和魯棒性。在本文中，我們提出了一個新的框架，統一實體的多個視圖來學習嵌入來實現實體對齊。具體來說，我們根據實體名稱、關系和屬性的視圖嵌入實體，并使用幾種組合策略。此外，我們設計了一些跨KG推理方法來增強兩個KG之間的對齊。我們在真實數據集上的實驗表明，所提出的框架顯著優于目前最先進的基于嵌入的實體對齊方法。所選擇的視圖、跨KG推理和組合策略都有助于性能的提高。

我們介紹了一種通過對比圖的結構視圖來學習節點和圖表示的自監督方法。我們表明，與視覺表示學習不同，增加視圖數量到兩個以上或對比多尺度編碼不會提高性能，而最佳性能是通過對比一階鄰居編碼和圖擴散來實現的。在線性評估協議下，我們在8個節點中的8個和圖分類基準上實現了新的最先進的自監督學習結果。例如，在Cora(節點)和reddy - binary(圖形)分類基準上，我們實現了86.8%和84.5%的準確率，相對于之前的最先進水平分別提高了5.5%和2.4%。與監督基準相比，我們的方法在8個基準中有4個優于監督基準。源代碼發布在:

題目： Laplacian Regularized Few-Shot Learning

簡介：

我們為小樣本學習提出了一個拉普拉斯正則化推斷。給定從基類中學習到的任何特征嵌入，我們將包含兩個項的二次二進制賦值函數最小化：（1）將查詢樣本分配給最近的類原型的一元項，以及（2）鼓勵附近查詢樣本成對使用的成對拉普拉斯項具有一致的標簽。我們的推論不會重新訓練基本模型，并且可以將其視為查詢集的圖形聚類，但要受到支持集的監督約束。我們導出了函數松弛的計算有效邊界優化器，該函數在保證收斂的同時為每個查詢樣本計算獨立（并行）更新。在基礎類上進行簡單的交叉熵訓練，并且沒有復雜的元學習策略后，我們對五個基準進行了全面的實驗。我們的LaplacianShot在不同模型，設置和數據集上具有顯著優勢，始終優于最新方法。此外，我們的歸納推理非常快，其計算時間接近于歸納推理，可用于大規模的一次性任務。

我們討論關于圖神經網絡(GNNs)的兩個基本問題。首先，我們證明了幾個重要的圖屬性是不能由完全依賴于局部信息的GNN計算的。這樣的GNN包括標準的消息傳遞模型，以及更強大的空間變體，利用本地圖結構(例如，通過消息的相對方向，或本地端口排序)來區分每個節點的鄰居。我們的處理包括一種新的圖論形式主義。其次，我們為消息傳遞GNN提供了第一個依賴數據的泛化邊界。該分析明確地說明了GNN的局部置換不變性。我們的邊界比現有的基于VC維的GNN保證更緊，并且可與遞歸神經網絡的Rademacher邊界相媲美。

題目： Online Deep Clustering for Unsupervised Representation Learning

摘要：

聯合聚類和特征學習方法在無監督表示學習中表現出了顯著的效果。但是，特征聚類和網絡參數更新訓練計劃的交替導致視覺表征學習的不穩定。為了克服這個挑戰，我們提出在線深度集群(ODC)，它可以同時執行集群和網絡更新，而不是交替進行。關鍵見解是，聚類中心應該穩步發展，以保持分類器的穩定更新。具體來說，設計和維護了兩個動態內存模塊，即樣本記憶用于存儲樣本標簽和特征，中心記憶用于中心進化。我們將全局聚類分解為穩定的內存更新和成批的標簽重新分配。該過程被集成到網絡更新迭代中。通過這種方式，標簽和網絡齊頭并進，而不是交替發展。大量的實驗表明，ODC能夠穩定訓練過程，有效地提高訓練性能。

主題： Understanding Negative Sampling in Graph Representation Learning

摘要： 在最近的幾年中，研究人員對圖形表示學習進行了廣泛的研究。盡管它具有為各種網絡生成連續嵌入的潛力，但推斷向大型節點集表示高質量表示的有效性和效率仍然具有挑戰性。采樣是實現性能目標的關鍵點。現有技術通常集中于對正節點對進行采樣，而對負采樣的策略還沒有得到足夠的研究。為了彌合差距，我們從客觀和風險兩個角度系統地分析了負樣本的作用，從理論上證明了負樣本在確定優化目標和結果方差方面與正樣本同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布呈正相關但與子線性相關的方法。在該理論的指導下，我們提出了MCNS，用Metropolis-Hastings用自對比度逼近來近似正分布，并加速Metropolis-Hastings進行負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖形學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其魯棒性和優越性。

交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。

題目： Robust Multi-Model Fitting by Conditional Sample Consensus

摘要： 我們提出了一種基于噪聲測量的多參數模型的魯棒估計方法。應用包括在人造場景中尋找多個消失點，將平面擬合到建筑圖像中，或在同一序列中估計多個剛性運動。與以往的多模型檢測采用手工搜索策略相比，我們從數據中學習搜索策略。基于先前檢測到的模型的神經網絡將RANSAC估計器引導到所有測量的不同子集，從而一個接一個地找到模型實例。我們訓練我們的方法監督學習和自我監督學習。對于搜索策略的監督訓練，我們提供了一個新的消失點估計數據集。利用該數據集，所提出的算法優于其他魯棒估計器以及指定消失點估計算法。對于搜索的自監督學習，我們在多單應性估計上評估了所提出的算法，并證明其準確性優于最先進的方法。