亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

自注意力機制利用所有輸入標記之間的成對注意力對長上下文進行建模。在此過程中，他們假設單個標記(例如，文本字符或圖像像素)定義了固定的注意力粒度，這對于在更高級別上建模復雜依賴關系可能不是最優的。在本文中，我們提出了ContextPool，通過調整每個標記的注意粒度來解決這個問題。受ConvNets成功結合池化來捕獲遠程依賴的啟發，我們學會了在給定的注意力層中計算注意力之前，為每個令牌池化鄰近的特性。池權和支持大小是自適應確定的，允許池特性以不同的規模編碼有意義的上下文。我們表明，ContextPool使注意力模型更具表現力，通常用更少的層實現強大的性能，從而顯著降低成本。實驗驗證，當我們的ContextPool模塊插入transformer 模型時，在幾種語言和圖像基準上使用較少的計算，匹配或超過了最先進的性能，在學習上下文大小或稀疏注意力模式方面優于最近的工作，也適用于ConvNets的高效特征學習。

模仿學習試圖通過利用專家行為來規避為訓練主體設計適當的獎勵功能的困難。在以Markov Decision Processes (MDP)建模的環境中，大多數現有的模仿算法都取決于在同一MDP中是否有專家演示，而在該MDP中要學習新的模仿策略。在本文中，我們研究了當專家和代理MDP存在差異時如何模擬任務的問題。這些跨領域的差異可能包括不同的動力學、觀點或形態;我們提出了一個新的框架來學習這些領域的響應。重要的是，與之前的工作相比，我們使用只包含專家領域狀態的未配對和未對齊軌跡來學習這種對應關系。我們利用狀態空間和領域未知的潛在空間上的循環一致性約束來做到這一點。此外，我們通過一個歸一化的位置估計函數加強狀態的時間位置的一致性，以對齊兩個領域的軌跡。一旦找到了這種對應關系，我們就可以直接將一個領域的演示轉移到另一個領域，并將其用于模仿。在許多具有挑戰性的領域進行的實驗證明了我們的方法的有效性。

//www.zhuanzhi.ai/paper/6e5467bc6d82cc1e9e3236f5e44e08a4

當前的大多數自監督表示學習 (SSL) 方法都基于對比損失和實例判別任務，即其中同一圖像實例的數據增強版本（“正樣本”）與從其他圖像中提取的實例（“負樣本”）進行對比。為了保證學習有效，應將許多負樣本與正樣本對進行比較，這在計算上要求很高。在本文中，我們為SSL提出了一個不同的方向和一個新的損失函數，它基于對隱空間特征的白化操作，且只需要正樣本對，無需負樣本對的訓練。白化操作對批量樣本具有“散射”效應，避免只用正樣本時所有樣本表示收斂到單個點的退化解。同時，和先前無需負樣本的SSL相比，所提方法不需要非對稱網絡，并且在概念上也很簡單。

本篇論文的貢獻有：

1.本文提出了一種新的SSL損失函數，Whitening MSE (W-MSE)。W-MSE 將批量樣本限制在球形分布中，它是對比損失的替代方法。 2.所提的損失函數不需要大量的負樣本，因此我們可以在當前批次中包含更多的正樣本對。同時，論文實驗證明了從一張圖像中提取的多個正樣本對可提高了模型性能。 3.通過相關實驗驗證了W-MSE的在各個任務上的有效性。

//www.zhuanzhi.ai/paper/9c729151ab1b8c390da98df4caae91f5

最近利用圖神經網絡來處理圖匹配任務的研究已經顯示出了良好的結果。離散分布學習的最新進展為學習圖匹配模型提供了新的機會。在此工作中，我們提出了一個新的模型，隨機迭代圖匹配(SIGMA)，以解決圖匹配問題。我們的模型定義了一個圖對匹配的分布，因此模型可以探索更廣泛的可能的匹配。我們進一步介紹了一種新的多步匹配方法，該方法學習如何逐步地改進圖對的匹配結果。該模型還包括虛擬節點，因此模型不必為沒有對應關系的節點尋找匹配。我們通過可擴展的隨機優化方法將該模型與數據擬合。我們在合成圖形數據集以及生物化學和計算機視覺應用中進行了廣泛的實驗。在所有任務中，我們的結果表明，與最先進的模型相比，SIGMA可以產生顯著改善的圖匹配結果。消融實驗研究證實，我們的每個組件(隨機訓練、迭代匹配和虛擬節點)提供了顯著的改進。

//www.zhuanzhi.ai/paper/187920fb1a4297ddf130fb676c7e1139

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

模仿學習試圖通過利用專家行為來規避在為訓練代理設計適當的獎勵功能方面的困難。由于環境建模為馬爾可夫決策過程(MDP)，大多數現有的模仿算法取決于專家演示的可用性，在同一MDP中，一個新的模仿策略是要學習的。本文研究了專家和代理MDP存在差異時如何進行任務模擬的問題。這些領域之間的差異可能包括不同的動態、觀點或形態; 我們提出了一個新的框架來學習通信跨這些領域。重要的是，與之前的工作相比，我們使用僅包含專家領域狀態的未配對和未對齊軌跡來學習這種對應關系。我們利用在狀態空間和領域未知的潛在空間上的周期一致性約束來做到這一點。另外，我們通過一個歸一化的位置估計函數強制狀態的時間位置的一致性，以使兩個區域的軌跡對齊。一旦找到了這種對應關系，我們就可以直接將一個域上的演示轉移到另一個域，并使用它進行模仿。在各種具有挑戰性的領域進行的實驗證明了我們方法的有效性。

針對自監督學習的深度聚類是無監督視覺表示學習中一個非常重要和有前途的方向，因為設計前置任務需要較少的領域知識。而關鍵組件嵌入聚類由于需要保存整個數據集的全局潛在嵌入，限制了其擴展到超大規模的數據集。在這項工作中，我們的目標是使這個框架在不降低性能的情況下更加簡單和優雅。提出了一種不使用嵌入聚類的無監督圖像分類框架，與標準的監督訓練方法非常相似。為了進一步解釋，我們進一步分析了其與深度聚類和對比學習的關系。在ImageNet數據集上進行了大量的實驗，驗證了該方法的有效性。此外，在遷移學習基準上的實驗驗證了它對其他下游任務的推廣，包括多標簽圖像分類、目標檢測、語義分割和小樣本圖像分類。

地址：

//arxiv.org/abs/2006.11480