亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

基于注意力的深度神經網絡（DNN）在NLP和CV等不同領域的各種任務上都表現出了卓越的性能。這些進展使得此類網絡（如 Transformer）成為解決多模態問題的有力候選。特別是近一兩年，Transformer 模型已經開始在CV任務上大展手腳，從目標識別到檢測，效果優于通用的CNN視覺骨干網絡。

參考視頻對象分割（referring video object segmentation, RVOS）任務涉及到給定視頻幀中文本參考對象實例的分割。相比之下，在得到更廣泛研究的參考圖像分割（referring image segmention, RIS）任務中，對象主要通過它們的外觀進行參考。在RVOS中，對象可以通過它們正在執行或參與的動作進行參考。這使得 RVOS比RIS復雜得多，因為參考動作的文本表達通常無法從單個靜態幀中推導出來。

此外，與基于圖像的 RIS 不同，RVOS 方法可能還需要跨多個幀（即跟蹤）來建立參考對象的數據關聯，以處理遮擋或運動模糊這類的干擾。

為了解決這些挑戰，現有 RVOS 方法往往依賴復雜的 pipeline。在被CVPR 2022接收的一篇論文《End-to-End Referring Video Object Segmentation with Multimodal Transformers》中，來自以色列理工學院的研究者提出了一種簡單的、基于Transformer的端到端RVOS方法——Multimodal Tracking Transformer（MTTR ）。 圖片

論文地址：//www.zhuanzhi.ai/paper/e260fb216d3eb9d5531757cbe91ef940 項目地址： Huggingface Spaces Gradio demo：

具體地，他們使用MTTR 將任務建模成序列預測問題。給定一個視頻和文本查詢，該模型在確定文本參考的對象之前為視頻中所有對象生成預測序列。并且，他們的方法不需要與文本相關的歸納偏置模塊，利用簡單的交叉熵損失對齊視頻和文本。因此，該方法相比以往簡單的多。

研究者提出的pipeline示意圖如下所示。首先使用標準的Transformer文本編碼器從文本查詢中提取語言特征，使用時空編碼器從視頻幀中提取視覺特征。接著將這些特征傳遞給多模態 Transformer 以輸出幾個對象預測序列。然后為了確定哪個預測序列能夠最好地對應參考對象，研究者計算了每個序列的文本參考分數。為此，他們還提出了一種時序分割voting方案，使模型在做出決策時專注于最相關的部分。

從實驗結果來看，MTTR 在 A2D-Sentences 和 JHMDB-Sentences 數據集上分別實現了+5.7和+5.0的mAP增益，同時每秒能夠處理76幀。

論文題目：Advancing High-Resolution Video-Language Representation with Large-Scale Video Transcriptions

作者：薛宏偉*，杭天愷*，曾艷紅*，孫宇沖*，劉蓓，楊歡，傅建龍，郭百寧 論文概述：我們研究了視頻和語言（VL）的聯合預訓練，以實現跨模態學習并使大量的下游VL任務受益。現有的研究要么是提取低質量的視頻特征，要么是學習有限的文本嵌入，而忽略了高分辨率的視頻和多樣化的語義可以顯著增強跨模態學習。在本文中，我們提出了一個新穎的高分辨率和多樣化的視頻-文本預訓練模型（HD-VILA），用于許多視覺任務。我們收集了一個具有兩個特性的大型數據集：（1）高分辨率，包括371.5K小時的720p視頻，以及（2）多樣化，涵蓋15個流行的YouTube類別。為了實現VL預訓練，我們通過一個混合Transformer和一個多模態Transformer來共同優化HD-VILA模型，前者學習豐富的時空特征，后者進行視頻特征與多樣化文本的交互。我們的預訓練模型在10個VL理解任務和2個文本到視覺的生成任務中取得了最先進的結果。例如，我們在zero-shot MSR-VTT文本到視頻檢索任務中超越了SOTA模型，相對增加了38.5％R@1，在高分辨率數據集LSMDC中增加了53.6％。學習到的VL嵌入在文本到視覺編輯和超分辨率任務中也能有效地產生視覺效果好、語義上的相關結果。

弱監督目標定位(WSOL)只關注在圖像級分類掩碼的監督下進行對象定位。以前的大多數WSOL方法都遵循分類激活映射(classification activation map, CAM)，它使用多實例學習(MIL)機制基于分類結構對目標進行本地化。然而，MIL機制使得CAM只能激活識別目標的部分而不能激活整個目標，削弱了其本地化目標的性能。**為了避免這一問題，本文提出了一種新的視角，將WSOL建模為域適應(DA)任務，即在源/圖像域上訓練的分數估計器在目標/像素域上進行測試以定位目標。**在此視角下，DA-WSOL流程設計可以更好地將DA方法引入到WSOL中，以提高本地化性能。利用所提出的目標采樣策略來選擇不同類型的目標樣本。基于這些類型的目標樣本，對域自適應定位(DAL)損耗進行了闡述。該方法通過DA對兩個域之間的特征分布進行對齊，并通過Universum正則化使估計器感知目標域線索。實驗表明，該方法在多基準測試上的性能優于SOTA方法。代碼發布在 //github.com/zh460045050/DA-WSOL_CVPR2022。

現有的視覺和語言學習方法通常需要為每個任務設計特定于任務的架構和目標。例如，用于視覺問答的多標簽答案分類器、用于參考表達式理解的區域評分器和用于圖像字幕的語言解碼器等。為了減輕這些麻煩，在這項工作中，我們提出了一個統一的框架，在同一個語言建模目標的單一體系結構中學習不同的任務，即多模態條件文本生成，我們的模型學習在基于視覺和文本輸入的文本中生成標簽。在7個流行的視覺和語言基準測試中，包括視覺問答，參考表達理解，視覺常識推理，其中大多數之前被建模為判別性任務，我們的生成方法(具有單一統一的體系結構)達到了與最近特定任務的最先進的視覺和語言模型相當的性能。此外，我們的生成方法顯示出更好的泛化能力的問題，有稀有的答案。此外，我們還表明，我們的框架允許在單一體系結構中使用單一參數集進行多任務學習，實現了與單獨優化的單任務模型相似的性能。我們的代碼在//github.com/j-min/VL-T5上公開。

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

本文是第一個將Transformers應用于視頻分割領域的方法。視頻實例分割指的是同時對視頻中感興趣的物體進行分類，分割和跟蹤的任務。現有的方法通常設計復雜的流程來解決此問題。本文提出了一種基于Transformers的視頻實例分割新框架VisTR，該框架將視頻實例分割任務視為直接端到端的并行序列解碼和預測的問題。給定一個含有多幀圖像的視頻作為輸入，VisTR直接按順序輸出視頻中每個實例的掩碼序列。該方法的核心是一種新的實例序列匹配和分割的策略，該策略在整個序列級別上對實例進行監督和分割。VisTR將實例分割和跟蹤統一到了相似度學習的框架下，從而大大簡化了流程。在沒有任何trick的情況下，VisTR在所有使用單一模型的方法中獲得了最佳效果，并且在YouTube-VIS數據集上實現了最快的速度。

//www.zhuanzhi.ai/paper/0dfba6abdc5e6a189d86770822c17859

最近，自監督學習方法在計算機視覺領域獲得了越來越多的關注。在自然語言處理(NLP)中，自監督學習和transformer已經是選擇的方法。最近的文獻表明，transformers或某種協同監督(例如在教師網絡方面)進行預訓練時效果很好。這些監督的預訓練的視覺變換器在下游任務獲得了了非常好的結果，而只需要較小的模型改變。

在本研究中，我們探討了自監督學習在圖像/視覺變換器的預訓練，然后將其用于下游分類任務的優點。我們提出了自監督視覺變形器(SiT)，并討論了幾種自監督訓練機制來獲得前置模型。SiT的架構靈活性允許我們將其用作自動編碼器，并無縫地處理多個自監督任務。我們表明，預訓練的SiT可以被微調用于小規模數據集的下游分類任務，這些數據集由幾千張而不是幾百萬張圖像組成。

在通用協議的標準數據集上對所提出的方法進行了評估。實驗結果證明了該方法的有效性和自監督學習的可行性。我們大大超過了現有的自監督學習方法。我們還觀察到，SiT對少樣本學習很好，也表明它通過簡單地在從SiT學習到的特征之上訓練線性分類器來學習有用的表示。預訓練、調優和評估代碼將在以下鏈接中提供: //github.com/Sara-Ahmed/SiT。

引言

最近的趨勢表明，自監督預訓練可以顯著提高下游任務[4]、[5]的表現性能。在語音識別[6]和計算機視覺應用[7]、[8]、[9]、[10]中也觀察到類似的趨勢。如BERT[4]、[5]所示，自監督預訓練，特別是結合transformers [11]，是自然語言處理(NLP)的選擇模型。自監督學習的成功是以大量數據集和大容量模型為代價的，例如，基于NLP的變換器是根據數千億單詞組成的帶有數十億參數[5]的模型進行訓練的。最近在圖像分類中取得成功的transformers[1]引起了計算機視覺界的極大興趣。然而，視覺transformer的預訓練主要是針對非常大規模的有監督學習數據集進行研究，例如，由數億個標記樣本[1]組成的數據集。最近，在沒有外部數據[2]的情況下，視覺轉換器在imagenet上表現良好，但是，它們需要CNNs對等體的蒸餾方法和指導。簡而言之，利用大規模監督數據集進行預訓練是計算機視覺中的一種規范，用來訓練深度神經網絡以獲得更好的性能。然而，人工標注訓練數據是相當昂貴的，盡管在眾包創新方面取得了進展。為了解決這一限制，自監督學習方法[7]，[9]，[10]，[12]，[13]，[14]已被用到從未標記數據構建具有語義意義的圖像表示。

自監督方法大致可以分為生成式和判別性方法。生成式方法[15]，[16]，[17]學習建模數據的分布。然而，數據建模通常在計算上是昂貴的，并且在所有場景中可能不是表示學習所必需的。另一方面，通常在對比學習框架[8]、[18]、[19]、[20]或使用文本前任務[21]、[22]、[23]中實現的判別方法，證明了在適當的計算需求下獲得更好的泛化表示的能力。

對比學習的主要重點是學習對同一圖像的不同增廣視圖不變的圖像嵌入，同時對不同的圖像進行區分。盡管對比學習方法取得了令人印象深刻的結果，但他們往往忽視了對語境表征的學習，對于這一學習，替代的前置任務，如基于重構的方法，可能更適合。近年來，文獻中提出了一系列新穎的前置任務，包括修復斑塊[24]、著色[21]、[25]、[26]、相對斑塊位置[21]0、拼圖解決[27]、[28]、交叉信道預測[29]、噪聲預測[30]、圖像旋轉預測[22]、斑點偽影預測[23]等。

在這項工作中，我們介紹了一個簡單的自監督學習框架，利用對比學習和前置方法的優勢。本研究的主要貢獻和發現總結如下:

• 我們提出了一種新的視覺表示的自監督學習方法——自監督視覺Transformer(SiT)。

• 我們賦予SiT體系結構一個解碼器，并證明，由于Transformer的內在特性，它基本上可以通過使用一個線性層來實現。這種基于Transformer的自動編碼器避免了通常在基于CNN的編碼器-解碼器架構中出現的對整個解碼器塊的需要。

• 利用自編碼Transformer支持多任務學習的自然能力，我們開發了一個強大的自監督框架，共同優化重建(圖像修復)、旋轉分類和收縮損失。

• 我們在不同的評估協議(包括線性評估、領域轉移和微調)下，在標準基準上展示了擬議框架的有效性。

• 在不同的數據集中，我們比并發的最先進的結果表現更好，在很大的間隔達到+13.53%的改進。

我們提出了自監督幾何感知(SGP)，這是第一個學習特征描述符進行對應匹配的通用框架，不需要任何真實的幾何模型標簽(例如，相機姿態，剛性轉換)。我們的第一個貢獻是將幾何感知形式化為一個優化問題，在給定大量視覺測量數據(如圖像、點云)的基礎上，聯合優化特征描述符和幾何模型。在這個優化公式下，我們展示了視覺領域的兩個重要的研究流，即魯棒模型擬合和深度特征學習，對應著優化未知變量的一個塊，同時固定另一個塊。這種分析自然引出了我們的第二個貢獻——SGP算法，它執行交替最小化來解決聯合優化。SGP迭代地執行兩個元算法:一個教師對已知的學習特征進行魯棒模型擬合以生成幾何偽標簽，一個學生在偽標簽的嘈雜監督下進行深度特征學習。作為第三個貢獻，我們將SGP應用于大規模真實數據集上的兩個感知問題，即MegaDepth上的相對相機姿態估計和3DMatch上的點云配準。我們證明，SGP達到了最先進的性能，與使用真實標簽訓練的受監督的模型相當。