亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

基于CAM的弱監督定位方法主要通過多樣的空間正則提高目標響應區域，忽略了模型中隱含的目標結構信息。我們提出了基于高階相似性的目標定位方法 (SPA)，充分挖掘了模型隱含的目標結構信息，顯著提高了弱監督目標定位準確度。

目前代碼已開源：

//github.com/Panxjia/SPA_CVPR2021

弱監督目標檢測近年來逐漸受到國內外研究機構以及工業界關注。基于全監督的目標檢測方法需要耗費大量的人力、物力獲取大量準確的標注信息，對于任務更新以及遷移極其不友好。近年來，全世界范圍內的研究者試圖從弱監督學習方面突破標注數據的限制，為目標檢測尋找一種更加高效、低廉的解決框架

弱監督定位研究如何僅利用圖像的類別標簽對圖像中目標進行定位。

2014年MIT提出的類別響應圖CAM，得到目標的響應掩模，之后通過最小包圍框得到目標的定位結果。CAM得到的類別響應掩模只能覆蓋目標最具判別性的局部區域，如圖1第二行所示。后續的研究工作多通過空間正則技術，如通過擦除、多分支補充等方法試圖擴大類別響應區域。雖然在響應區域上有一定的改善，但是現有的工作均忽略了保持目標結構特性的重要性，無法刻畫目標的邊緣、形狀等特性。另外，現有方法的分類網絡均采用Global Average Pooling(GAP)結構對特征進行聚合，這在一定程度上損失了目標的結構信息。

本文提出了一種兩階段的弱監督目標定位方法(SPA)，從模型結構與類別響應圖兩個方面優化定位結果，提高響應掩模的準確度。整體方法框架如圖2所示。

具體地，從模型結構方面，我們提出了受限激活模塊。

現有方法中往往采用Global Average Pooling (GAP)+Softmax的分類結構，這種結構導致模型丟失目標結構信息，主要原因包括：

一，GAP結構將前景目標與背景區域混為一談，限制了模型定位前景目標的能力；

二，無限制的類別響應特征圖往往出現局部極高響應誤導模型分類的現象，不利于模型準確定位到目標的位置。

因此，我們設計了一個簡單有效的受限激活模塊，主要包括兩個部分：

一，我們首先通過計算每個特征位置在類別響應圖上的方差分布得到粗略的偽mask, 用以區分前背景；

二，我們利用Sigmoid操作對類別響應特征圖進行歸一化，之后利用提出的受限激活損失函數引導模型關注目標前景區域。

Mobile Network設計的最新研究成果表明，通道注意力（例如，SE注意力）對于提升模型性能具有顯著效果，但它們通常會忽略位置信息，而位置信息對于生成空間選擇性attention maps是非常重要。

因此在本文中，作者通過將位置信息嵌入到通道注意力中提出了一種新穎的移動網絡注意力機制，將其稱為“Coordinate Attention”。

與通過2維全局池化將特征張量轉換為單個特征向量的通道注意力不同，coordinate注意力將通道注意力分解為兩個1維特征編碼過程，分別沿2個空間方向聚合特征。這樣，可以沿一個空間方向捕獲遠程依賴關系，同時可以沿另一空間方向保留精確的位置信息。然后將生成的特征圖分別編碼為一對方向感知和位置敏感的attention map，可以將其互補地應用于輸入特征圖，以增強關注對象的表示。

本文所提的Coordinate注意力很簡單，可以靈活地插入到經典的移動網絡中，例如MobileNetV2，MobileNeXt和EfficientNet，而且幾乎沒有計算開銷。大量實驗表明，Coordinate注意力不僅有益于ImageNet分類，而且更有趣的是，它在下游任務（如目標檢測和語義分割）中表現也很好。

近年來，在單個圖像中進行陰影檢測已引起了學界廣泛的研究興趣。但是，關于動態視頻場景中陰影檢測的探索工作卻很少，其面臨的一個主要瓶頸是缺乏具有高質量像素級標注的視頻陰影檢測數據集。在本工作中，我們收集和標注了一個新的視頻陰影檢測數據集（ViSha），其中包含120個視頻，總計11685幀，涵蓋了60個不同的陰影對象類別，也包括了不同長度、不同運動和照明條件下的視頻，并且我們為所有的11685幀都提供了精確的像素級標注。據我們所知，這是用于視頻陰影檢測的第一個面向深度學習的數據集。此外，我們設計了一個基礎模型，即基于三元合作模式的視頻陰影檢測模型（TVSD-Net）。TVSD-Net以協作的方式利用三元并行網絡來學習視頻內和視頻間級別的判別表示。在網絡內部，我們提出了協同注意力模塊來約束同一視頻中相鄰幀的特征，同時引入輔助相似度損失來挖掘不同視頻之間的語義信息。最后，我們在ViSha的測試集上對12種相似任務中使用的模型進行了評估（包括單個圖像陰影檢測器，視頻對象分割和顯著性檢測方法）。實驗表明，我們的模型在視頻陰影問題上優于上述對比方法。

本文首次在全卷積目標檢測器上去除了NMS（非極大值抑制）后處理，做到了端到端訓練。我們分析了主流一階段目標檢測方法，并發現傳統的一對多標簽分配策略是這些方法依賴NMS的關鍵，并由此提出了預測感知的一對一標簽分配策略。此外，為了提升一對一標簽分配的性能，我們提出了增強特征表征能力的模塊，和加速模型收斂的輔助損失函數。我們的方法在無NMS的情況下達到了與主流一階段目標檢測方法相當的性能。在密集場景上，我們的方法的召回率超過了依賴NMS的目標檢測方法的理論上限。

時序動作提名生成旨在從一段未修剪的長視頻當中生成包含可能存在人類動作的視頻片段，其結合具體的動作類別標簽即構成時序動作檢測任務。目前的方法大多致力于生成靈活準確的時序邊界與可靠的提名置信度，但是仍然受限于匱乏的視頻時序依賴和動作邊界建模，導致了充滿噪聲的候選提名邊界和質量欠佳的置信度分數。

目前主流的時序動作提名生成方法主要分為兩步，首先對輸入的視頻特征序列進行簡單的時序信息融合，然后使用基于邊界預測的方法或者是基于預定義錨點框回歸的方法生成可能包含人體動作的大量候選時序提名。

//www.zhuanzhi.ai/paper/e551d60b61b78e5324762d4cff4bff29

本文提出了一個用于時序動作提名修正的端到端框架。該方法主要針對現有主流時序動作提名生成方法中的兩步驟分別進行改進：

1. 在第一步中，現有方法大多使用堆疊的1D時序卷積進行簡單的時序信息融合，然而，1D卷積在計算不同時序點之間的位置關系時，受限于卷積核的形狀和尺寸，雖然可以較好地建模短期的時序依賴，但是對于靈活多變的上下文關系則望塵莫及。部分辦法選擇了全局融合的方式實現了對全局特征的捕獲，但是直接使用全局池化之后的特征拼接到整個視頻特征序列上的每一個時刻位置，導致每一個時刻獲得的全局信息都是相同的，由此捕獲的時序依賴關系相對固定，缺乏多樣性和區分度，無法充分建模多樣的長時序依賴關系。

2. 在第二步中，基于預定義錨點框回歸的方法可以提供基于提名全局特征的可靠置信度分數，然而直接使用提名的全局特征對于其局部邊界的準確位置不夠敏感，況且預定義尺度和比例的提名時序長度往往非常受限，不夠靈活，無法生成任意長度的候選提名。基于邊界預測的方法利用邊界的局部特征判斷一個時間點是否屬于動作邊界，對動作的起止邊緣比較敏感，并且使用邊界匹配機制來生成大量靈活的動作提名，獲得較高的召回率。由于缺乏客觀的提名特征，其置信度不夠可靠，導致其準確率較低。

參考鏈接：

背景：實際應用中，由于數據采集和傳輸過程的復雜性，數據可能會丟失部分視圖，這就導致了信息不完備下的視圖缺失問題（Incomplete Multi-view Problem, IMP）。例如在線會議中，一些視頻幀可能由于傳感器故障而丟失了視覺或音頻信號。針對該問題，過去十多年已提出了一些不完全多視圖聚類方法（Incomplete Multi-view Clustering, IMC）并取得了顯著效果。但IMP仍面臨兩個主要挑戰：1）如何在不利用標簽信息的情況下學習一致的多視圖公共表示；2）如何從部分缺失的數據中還原完整的數據。

//pengxi.me/wp-content/uploads/2021/03/2021CVPR-completer.pdf

創新：針對上述挑戰，受近期Tsai等在ICLR2021上發表的工作所啟發，本文提供了一個新的不完全多視圖聚類見解，即不完全多視圖聚類中的數據恢復和一致性學習是一體兩面的，兩者可統一到信息論的框架中。這樣的觀察和理論結果與現有的將一致性學習和數據恢復視為兩個獨立問題的工作有很大的不同。簡要地，從信息論角度出發，互信息能用于量化跨視圖表示間的一致性，而條件熵可用于量化跨視圖的可恢復性。因此，一方面，最大化互信息與最小化條件熵將分別增加共享的信息量與數據的可恢復性。另一方面，同時最大化互信息與最小化條件熵兩個目標又互為補充，相互促進。與Tsai等人的工作的不同之處在于，他們主要是在信息論框架下利用預測學習改進對比學習的性能，沒有如本文一樣考慮到缺失視圖下的一致性和可恢復性的學習。

方法：基于上述觀察，論文提出了對偶預測范式并將其與對比學習結合，通過一個新的損失函數實現了跨視圖一致性與可恢復性的聯合優化。提出的損失函數包括三部分：1）視圖內重構損失，主要用于學習各個視圖數據的視圖特殊表示，由一系列獨自的自編碼器重構損失組成；2）跨視圖對比學習損失，通過最大化不同視圖間的互信息學習多視圖一致性；3）跨視圖對偶預測損失，通過最小化視圖表示的條件熵進而實現視圖數據恢復。

自監督學習已被廣泛應用于從未標記圖像中獲取可轉移的表示。特別是，最近的對比學習方法在下游圖像分類任務中表現出了令人印象深刻的性能。這些對比方法主要集中在語義保留變換下的圖像級上生成不變的全局表示，容易忽略局部表示的空間一致性，因此在目標檢測和實例分割等本地化任務的預處理中存在一定的局限性。此外，在現有的對比方法中使用的積極裁剪視圖可以最小化單個圖像中語義不同區域之間的表示距離。

在本文中，我們提出了一種用于多目標和特定位置任務的空間一致表示學習算法(SCRL)。特別地，我們設計了一個新的自監督目標，試圖根據幾何平移和縮放操作產生隨機裁剪局部區域的連貫空間表示。在使用基準數據集的各種下游定位任務上，提出的SCRL顯示了相對于圖像級監督前訓練和最先進的自監督學習方法的顯著性能改進。代碼將會被發布。

//www.zhuanzhi.ai/paper/86fc25415eef2e6e1ed9019494ce1fcf

//www.zhuanzhi.ai/paper/cc9fa0af60aee58e256bce07f15065a0

code:

本文是新加坡國立大學Qinbin Hou&Jiashi Feng等人在注意力機制方面的一次探索，針對如何有效提升移動網絡的卷積特征表達能力，以及通道注意力(如SE)機制能夠有效建模通道間相關性但忽視了位置信息的問題，提出了一種的新穎的注意力機制：Coordinate Attention。

Coordinate Attention通過水平與垂直方向注意力圖捕獲特征的遠程依賴關系，而且水平與垂直注意力還可以有效保持精確的位置信息。所提注意力集中的精確位置信息無論對于分類，還是檢測與分割而言都是一種非常重要的性能，因而所提注意力機制在圖像分類、目標檢測以及語義分割方面均取得了顯著的性能提升，尤其需要注意的是，所提注意力尤其適合于語義分割等稠密預測任務

移動網絡設計的近期研究表明：通道注意力(如Squeeze-and-Excitation)機制對于提升模型性能極為有效，但是忽略了位置信息，這對于生成空間選擇注意力圖非常重要。

針對通道注意力機制存在的上述問題，我們提出了一種用于移動網絡的新穎注意力機制：它將位置信息嵌入到通道注意力中，我們將其稱之為Coordinate Attention。不同于通道注意力將特征張量通過GAP轉換為特征向量，坐標注意力將通道注意力拆分為兩個1D特征編碼過程，分別沿著兩個空間方向集成特征。

通過這種處理，遠程相關性可以通過空間方向捕獲，于此同時，精確的位置信息可以通過另一個空間方向得以保持。所得到的特征圖分辨編碼為成對的方向相關注意力圖與通道注意力圖(兩者具有互補性)，并用于增強輸入特征以增廣目標的表達能力。

所提坐標注意力機制極為簡單，可以靈活嵌入到現有移動網絡(比如MobileNetV2, MobileN2Xt, EfficientNet)中，且幾乎不會導致額外的計算負載。

我們通過實驗證實：坐標注意力不僅有助于ImageNet分類，在下游任務(比如目標檢測、語義分割)上表達更佳。下圖給出了所提注意力與SE/CBAM在不同任務上的性能對比。

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。