亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文是北京大學&華為諾亞等聯合提出的一種圖像處理Transformer。Transformer自提出之日起即引起極大的轟動，BERT、GPT-3等模型迅速占用NLP各大榜單；后來Transformer被用于圖像分類中同樣引起了轟動；再后來，Transformer在目標檢測任務中同樣引起了轟動。現在Transformer再出手，占領了low-level多個任務的榜首，甚至它在去雨任務上以1.6dB超越了已有最佳方案。

論文鏈接: //arxiv.org/abs/2012.00364

Abstract

隨機硬件水平的提升，在大數據集上預訓練的深度學習模型(比如BERT，GPT-3)表現出了優于傳統方法的有效性。transformer的巨大進展主要源自其強大的特征表達能力與各式各樣的架構。

在這篇論文中，作者對low-level計算機視覺任務（比如降噪、超分、去雨）進行了研究并提出了一種新的預訓練模型：IPT(image processing transformer)。為最大挖掘transformer的能力，作者采用知名的ImageNet制作了大量的退化圖像數據對，然后采用這些訓練數據對對所提IPT(它具有多頭、多尾以適配多種退化降質模型)模型進行訓練。此外，作者還引入了對比學習以更好的適配不同的圖像處理任務。經過微調后，預訓練模型可以有效的應用不到的任務中。僅僅需要一個預訓練模型，IPT即可在多個low-level基準上取得優于SOTA方案的性能。

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

相關運算在視覺目標跟蹤領域中發揮了重要作用，相關運算通過簡單的相似性比較，來完成模板特征和搜索區域特征的交互，輸出相似度圖。然而，相關運算本身是一個局部的線性匹配，導致了語義信息的丟失和全局信息的缺乏。針對相關運算的局限性，本工作提出了基于Transformer的特征融合模型，通過建立非線性語義融合和挖掘遠距離特征關聯有效聚合目標和搜索區域的全局信息，顯著提升了算法的精準度。TransT在多個跟蹤數據集上達到目前最先進的性能，速度可達50 fps。

//www.zhuanzhi.ai/paper/7dc7d2e7e635f18776db3f04e7c58bbb

本文研究了卷積神經網絡（CNN）和視覺語言預訓練Transformer（VLPT）的聯合學習，旨在從數百萬個圖像-文本對中學習跨模態對齊。當前大多數文章都是先抽取出圖像中的顯著性區域，再將其與文字一一對齊。由于基于區域的視覺特征通常代表圖像的一部分，因此現有的視覺語言模型要充分理解配對自然語言的語義是一項挑戰。由于基于區域的視覺特征通常代表圖像的一部分，現有的視覺語言模型很難完全理解成對自然語言的語義。本文提出SOHO“開箱即看”的概念，將完整的圖像為輸入，以一種端到端的方式學習視覺語言表達。SOHO不需要邊界框標注，這使得推理速度比基于區域的方法快10倍。特別地，SOHO學會了通過視覺詞典（VD）來提取全面而緊湊的圖像特征，這有助于跨模態理解。大量的實驗結果也驗證了本文SOHO的有效性。

//www.zhuanzhi.ai/paper/a8c52c4b641c0a5bc840a955b6258b39

時序動作提名生成旨在從一段未修剪的長視頻當中生成包含可能存在人類動作的視頻片段，其結合具體的動作類別標簽即構成時序動作檢測任務。目前的方法大多致力于生成靈活準確的時序邊界與可靠的提名置信度，但是仍然受限于匱乏的視頻時序依賴和動作邊界建模，導致了充滿噪聲的候選提名邊界和質量欠佳的置信度分數。

目前主流的時序動作提名生成方法主要分為兩步，首先對輸入的視頻特征序列進行簡單的時序信息融合，然后使用基于邊界預測的方法或者是基于預定義錨點框回歸的方法生成可能包含人體動作的大量候選時序提名。

//www.zhuanzhi.ai/paper/e551d60b61b78e5324762d4cff4bff29

本文提出了一個用于時序動作提名修正的端到端框架。該方法主要針對現有主流時序動作提名生成方法中的兩步驟分別進行改進：

1. 在第一步中，現有方法大多使用堆疊的1D時序卷積進行簡單的時序信息融合，然而，1D卷積在計算不同時序點之間的位置關系時，受限于卷積核的形狀和尺寸，雖然可以較好地建模短期的時序依賴，但是對于靈活多變的上下文關系則望塵莫及。部分辦法選擇了全局融合的方式實現了對全局特征的捕獲，但是直接使用全局池化之后的特征拼接到整個視頻特征序列上的每一個時刻位置，導致每一個時刻獲得的全局信息都是相同的，由此捕獲的時序依賴關系相對固定，缺乏多樣性和區分度，無法充分建模多樣的長時序依賴關系。

2. 在第二步中，基于預定義錨點框回歸的方法可以提供基于提名全局特征的可靠置信度分數，然而直接使用提名的全局特征對于其局部邊界的準確位置不夠敏感，況且預定義尺度和比例的提名時序長度往往非常受限，不夠靈活，無法生成任意長度的候選提名。基于邊界預測的方法利用邊界的局部特征判斷一個時間點是否屬于動作邊界，對動作的起止邊緣比較敏感，并且使用邊界匹配機制來生成大量靈活的動作提名，獲得較高的召回率。由于缺乏客觀的提名特征，其置信度不夠可靠，導致其準確率較低。

參考鏈接：

本文提出一種Transformer輔助跟蹤框架，可與判別式跟蹤器結合(如組成：TrDiMP)，表現SOTA！性能優于SiamRPN++等，代碼剛剛開源！

在視頻目標跟蹤中，連續幀之間存在豐富的時間上下文，在現有的跟蹤器中已大大忽略了這些上下文。在這項工作中，我們橋接單個視頻幀，并通過一個用于穩固對象跟蹤的Transformer架構探索跨它們的時間上下文。與在自然語言處理任務中使用轉換器的經典用法不同，我們將其編碼器和解碼器分為兩個并行分支，并在類似于Siamese的跟蹤pipeline中精心設計它們。Transformer編碼器通過基于注意力的特征增強來促進目標模板，這有利于高質量跟蹤模型的生成。Transformer解碼器將跟蹤提示從先前的模板傳播到當前幀，從而簡化了對象搜索過程。我們的Transformer輔助跟蹤框架整潔并以端到端的方式進行了訓練。使用提出的Transformer，一種簡單的連體匹配方法就可以勝過當前表現最佳的跟蹤器。通過將我們的Transformer與最新的判別式跟蹤pipeline相結合，我們的方法在流行的跟蹤基準上創下了一些新的最新記錄。

//www.zhuanzhi.ai/paper/c862787c6e21054a17ed51c178372f5e

基于Transformers 從序列到序列的角度重新思考語義分割

Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers

我們希望為語義分割方法提供另一種思路，將語義分割轉變為序列到序列的預測任務。在本文中，我們使用transformer（不使用卷積和降低分辨率）將圖像編碼為一系列patch序列。transformer的每一層都進行了全局的上下文建模，結合常規的Decoder模塊，我們得到了一個強大的語義分割模型，稱之為Segmentation transformer（SETR）。大量實驗表明，SETR在ADE20K（50.28％mIoU），Pascal Context（55.83％mIoU）上達到SOTA，并在Cityscapes上取得了較好結果。

該文被大會錄用為Oral論文，是北京郵電大學與英國薩里大學“北郵-薩里人工智能聯合實驗室”的聯合研究成果，指導老師是來自人工智能與網絡搜索教研中心的郭軍教授、馬占宇教授和薩里大學CVSSP中心SketchX Lab的Yi-Zhe Song教授。人工智能學院博士生常東良同學為論文一作。本文首先通過一個Human Study 發現了傳統細粒度圖像分類任務無法滿足大多人需求的問題，進而重新定義了該任務：從單標簽分類任務拓展為按照預先定義的層次化標簽（從粗粒度到細粒度）進行自上而下的多標簽分類任務。此外，通過實驗發現粗粒度標簽預測任務會抑制細粒度特征的學習，而細粒度標簽預測任務則會促進粗粒度特征的學習。該發現促使我們設計了一個簡單且高效的解決方案來解決本文提出的新任務：（1）利用與粒度相關的分類器將粗粒度特征與細粒度特征進行解耦；（2）通過一個梯度控制器使得細粒度特征能夠參與粗粒度分類器的決策。實驗表明，本文提出的方法在新的細粒度圖像分類任務中獲得了最佳的性能。

//www.zhuanzhi.ai/paper/f08dadad7419f6bfad654674dfb16336

我們提出了自監督幾何感知(SGP)，這是第一個學習特征描述符進行對應匹配的通用框架，不需要任何真實的幾何模型標簽(例如，相機姿態，剛性轉換)。我們的第一個貢獻是將幾何感知形式化為一個優化問題，在給定大量視覺測量數據(如圖像、點云)的基礎上，聯合優化特征描述符和幾何模型。在這個優化公式下，我們展示了視覺領域的兩個重要的研究流，即魯棒模型擬合和深度特征學習，對應著優化未知變量的一個塊，同時固定另一個塊。這種分析自然引出了我們的第二個貢獻——SGP算法，它執行交替最小化來解決聯合優化。SGP迭代地執行兩個元算法:一個教師對已知的學習特征進行魯棒模型擬合以生成幾何偽標簽，一個學生在偽標簽的嘈雜監督下進行深度特征學習。作為第三個貢獻，我們將SGP應用于大規模真實數據集上的兩個感知問題，即MegaDepth上的相對相機姿態估計和3DMatch上的點云配準。我們證明，SGP達到了最先進的性能，與使用真實標簽訓練的受監督的模型相當。

通過一個transformer編碼器-解碼器架構的目標檢測transformers (DETR)取得了與Faster R-CNN相匹配的性能。受預訓練transformer在自然語言處理中取得的巨大成功的啟發，我們提出了一種基于隨機查詢補丁檢測的無監督預訓練目標檢測任務。具體地說，我們從給定的圖像中隨機裁剪小塊，然后將它們作為查詢輸入解碼器。該模型經過預訓練，從原始圖像中檢測出這些查詢補丁。在預訓練，我們解決了兩個關鍵問題:多任務學習和多查詢定位。(1)為了權衡在前置任務中分類和定位的多任務學習，我們凍結CNN骨干，提出一個與patch檢測聯合優化的patch特征重構分支。(2)為實現多查詢定位，我們引入了單查詢補丁的UP-DETR ，并將其擴展為具有對象查詢洗牌和注意掩碼的多查詢補丁。在我們的實驗中，UP-DETR算法在PASCAL VOC和COCO數據集上具有更快的收斂速度和更高的精度，顯著提高了DETR算法的性能。代碼很快就會發布。