亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

以往關于動作表示學習的研究主要集中在設計各種結構來提取短視頻片段的全局表示。相比之下，許多實際應用，如視頻對齊，對學習長視頻的密集表示有很強的需求。在本文中，我們引入了一種新的對比動作表示學習(CARL)框架，以一種自監督的方式學習基于幀的動作表示，特別是長視頻。具體地說，我們介紹了一個簡單而有效的視頻編碼器，它考慮了時空上下文來提取幀方向表示。受自監督學習的最新進展的啟發，我們提出了一種新的序列對比損失(SCL)，應用于通過一系列時空數據增強獲得的兩個相關視圖。SCL通過最小化兩個增廣視圖的序列相似度與時間戳距離的先驗高斯分布之間的KL散度來優化嵌入空間。在FineGym、PennAction和Pouring 數據集上的實驗表明，我們的方法在下游細粒度動作分類方面的表現大大超過了以前的先進技術。令人驚訝的是，盡管沒有對成對的視頻進行訓練，我們的方法在視頻對齊和細粒度的幀檢索任務中也表現出了出色的性能。代碼和模型可以在//github.com/minghchen/CARL_code上找到。

隨著功能強大的預訓練視覺語言模型(如CLIP)的興起，研究如何使這些模型適應下游數據集變得非常必要。最近提出的一種名為上下文優化(CoOp)的方法將提示學習的概念引入視覺領域，以適應預訓練的視覺語言模型。具體來說，CoOp將提示中的上下文單詞轉換為一組可學習的向量，并且僅使用少量標記的圖像進行學習，可以在經過大量調整的手動提示中實現巨大的改進。在我們的研究中，我們確定了CoOp的一個關鍵問題: 學習的上下文不能泛化到同一數據集內更廣泛的不可見類，這表明在訓練期間觀察到的CoOp基類過擬合。 為了解決這個問題，我們提出了條件上下文優化(CoCoOp)，它通過進一步學習一個輕量級神經網絡來為每幅圖像生成一個輸入條件標記(向量)來擴展CoCoOp。與CoOp的靜態提示相比，我們的動態提示適應每個實例，因此對類遷移不那么敏感。大量的實驗表明，對于不可見的類，CoCoOp的泛化效果要比CoOp好得多，甚至在單個數據集之外還顯示出很好的可遷移性; 具有較強的域泛化性能。代碼可在//github.com/ KaiyangZhou/CoOp

該工作將度量學中一個重要的屬性“動態范圍”引入到深度度量學習，從而得到一個新的任務叫做“動態度量學習”。我們發現，以往的深度度量其實只蘊含一個刻度，例如僅僅區分人臉、行人是相似還是不相似。這樣的量具無論多精確，在實際使用中都是靈活不足、用途有限的。實際上，我們日常的量具通常具有動態范圍，例如尺子總是有多個刻度（例如1mm、1cm乃至10cm）來測量不同尺度的物體。我們認為，深度度量學習領域已經到了需要引入動態范圍的時候了。因為，視覺概念本身就有著不同的大小，“動物”、“植物”都對應大尺度，而“麋鹿”卻對應相對較小的尺度。在小尺度下，兩只麋鹿可能看上去很不一樣，但是在另一個大尺度下，同樣兩只麋鹿卻應該被認為非常相似。

自監督學習已被廣泛應用于從未標記圖像中獲取可轉移的表示。特別是，最近的對比學習方法在下游圖像分類任務中表現出了令人印象深刻的性能。這些對比方法主要集中在語義保留變換下的圖像級上生成不變的全局表示，容易忽略局部表示的空間一致性，因此在目標檢測和實例分割等本地化任務的預處理中存在一定的局限性。此外，在現有的對比方法中使用的積極裁剪視圖可以最小化單個圖像中語義不同區域之間的表示距離。

在本文中，我們提出了一種用于多目標和特定位置任務的空間一致表示學習算法(SCRL)。特別地，我們設計了一個新的自監督目標，試圖根據幾何平移和縮放操作產生隨機裁剪局部區域的連貫空間表示。在使用基準數據集的各種下游定位任務上，提出的SCRL顯示了相對于圖像級監督前訓練和最先進的自監督學習方法的顯著性能改進。代碼將會被發布。

//www.zhuanzhi.ai/paper/86fc25415eef2e6e1ed9019494ce1fcf

//www.zhuanzhi.ai/paper/cc9fa0af60aee58e256bce07f15065a0

code:

本文是新加坡國立大學Qinbin Hou&Jiashi Feng等人在注意力機制方面的一次探索，針對如何有效提升移動網絡的卷積特征表達能力，以及通道注意力(如SE)機制能夠有效建模通道間相關性但忽視了位置信息的問題，提出了一種的新穎的注意力機制：Coordinate Attention。

Coordinate Attention通過水平與垂直方向注意力圖捕獲特征的遠程依賴關系，而且水平與垂直注意力還可以有效保持精確的位置信息。所提注意力集中的精確位置信息無論對于分類，還是檢測與分割而言都是一種非常重要的性能，因而所提注意力機制在圖像分類、目標檢測以及語義分割方面均取得了顯著的性能提升，尤其需要注意的是，所提注意力尤其適合于語義分割等稠密預測任務

移動網絡設計的近期研究表明：通道注意力(如Squeeze-and-Excitation)機制對于提升模型性能極為有效，但是忽略了位置信息，這對于生成空間選擇注意力圖非常重要。

針對通道注意力機制存在的上述問題，我們提出了一種用于移動網絡的新穎注意力機制：它將位置信息嵌入到通道注意力中，我們將其稱之為Coordinate Attention。不同于通道注意力將特征張量通過GAP轉換為特征向量，坐標注意力將通道注意力拆分為兩個1D特征編碼過程，分別沿著兩個空間方向集成特征。

通過這種處理，遠程相關性可以通過空間方向捕獲，于此同時，精確的位置信息可以通過另一個空間方向得以保持。所得到的特征圖分辨編碼為成對的方向相關注意力圖與通道注意力圖(兩者具有互補性)，并用于增強輸入特征以增廣目標的表達能力。

所提坐標注意力機制極為簡單，可以靈活嵌入到現有移動網絡(比如MobileNetV2, MobileN2Xt, EfficientNet)中，且幾乎不會導致額外的計算負載。

我們通過實驗證實：坐標注意力不僅有助于ImageNet分類，在下游任務(比如目標檢測、語義分割)上表達更佳。下圖給出了所提注意力與SE/CBAM在不同任務上的性能對比。

我們提出了自監督幾何感知(SGP)，這是第一個學習特征描述符進行對應匹配的通用框架，不需要任何真實的幾何模型標簽(例如，相機姿態，剛性轉換)。我們的第一個貢獻是將幾何感知形式化為一個優化問題，在給定大量視覺測量數據(如圖像、點云)的基礎上，聯合優化特征描述符和幾何模型。在這個優化公式下，我們展示了視覺領域的兩個重要的研究流，即魯棒模型擬合和深度特征學習，對應著優化未知變量的一個塊，同時固定另一個塊。這種分析自然引出了我們的第二個貢獻——SGP算法，它執行交替最小化來解決聯合優化。SGP迭代地執行兩個元算法:一個教師對已知的學習特征進行魯棒模型擬合以生成幾何偽標簽，一個學生在偽標簽的嘈雜監督下進行深度特征學習。作為第三個貢獻，我們將SGP應用于大規模真實數據集上的兩個感知問題，即MegaDepth上的相對相機姿態估計和3DMatch上的點云配準。我們證明，SGP達到了最先進的性能，與使用真實標簽訓練的受監督的模型相當。