本文提出了一種基于無監督學習的視頻目標分割方法。與之前的工作不同，我們的公式允許在完全卷積的情況下直接學習密集特征表示。我們依靠統一的網格采樣來提取一組錨點，并訓練我們的模型來在視頻間和視頻內消除它們之間的歧義。然而，訓練這樣一個模型的樸素方案會得到一個退化解。我們提出了一種簡單的正則化方案來防止這種情況，該方案適應了分割任務對相似變換的等方差特性。我們的訓練目標實現高效，并表現出快速的訓練趨同。在已建立的VOS基準上，我們的方法超過了以前工作的分割精度，盡管使用的訓練數據和計算能力明顯更少。
付費5元查看完整內容
相關內容
回答關于圖像的復雜問題是機器智能的一個雄心勃勃的目標，它需要對圖像、文本和常識的聯合理解，以及強大的推理能力。最近，多模態變換器在視覺常識推理(Visual Commonsense Reasoning, VCR)任務上取得了很大的進展，通過跨通道注意力層共同理解視覺對象和文本標記。然而，這些方法并沒有利用場景的豐富結構和對象之間的交互作用，而這些在回答復雜的常識問題時是必不可少的。我們提出了一個場景圖增強圖像-文本學習(SGEITL)框架，將視覺場景圖納入常識推理。為了利用場景圖結構，在模型結構層次上，我們提出了一種多跳圖轉換器來正則化各跳間的注意力交互。在預訓練方面，提出了一種場景感知的預訓練方法，利用視覺場景圖中提取的結構知識。此外，我們還介紹了一種使用文本注釋在弱監督方式下訓練和生成領域相關視覺場景圖的方法。在VCR和其他任務上的大量實驗表明，與最先進的方法相比，性能有顯著提高，并證明了所提出的每個組件的有效性。
付費5元查看完整內容
時空表示學習是視頻自監督表示的關鍵。目前的學習方法主要是對比學習和前置任務。然而，這些方法都是通過潛在空間中的特征相似度來判別采樣實例來學習表征，而忽略了學習表征的中間狀態，從而限制了整體性能。在這項工作中，考慮采樣實例的相似程度作為中間狀態，我們提出了一個新的前置任務-時空重疊率(spatial - temporal overlap rate, STOR)預測。它源于人類能夠分辨視頻在空間和時間上的重疊率。這個任務鼓勵模型區分兩個生成樣本的STOR來學習表示。此外，我們采用結合前置任務和對比學習的聯合優化方法來進一步增強時空表示學習。我們還研究了所提出方案中各組成部分的相互影響。大量實驗表明，本文提出的語料存儲任務對對比學習和托詞學習都有較好的效果。聯合優化方案可以顯著提高視頻理解的時空表征。代碼可以在//github.com/Katou2/CSTP上找到。
付費5元查看完整內容
Yann LeCun曾說“如果人工智能是一個蛋糕，則蛋糕的主要成分就是無監督學習”。這句話反應了無監督學習在深度學習領域扮演著重要的作用。當前普遍的方法集中在如何設計有效的代理任務來對無標注的輸入數據學習到好的視覺表征。在計算機視覺上，目前比較流行的直接有效的方法是對比學習，將訓練數據的每個實例當做單一的分類。基于這個實力判別，很多自監督方法在分類任務上得到了有效的提升。他們成功彌補了自監督方法和監督方法的代溝。然而，這項任務仍然具有挑戰：
a. 掩碼語言模型在自然語言領域得到了廣泛的應用。圖像是高維特征，多噪聲且相比于文本形式復雜。在視覺領域中，圖像的主要信息會被隨機分到不同的token中，如果這些token被隨機masked掉，將會導致很差的表現。這個隨機掩碼語言模型容易掩蓋圖像的關鍵區域的token，這樣會導致誤判且不適合直接應用于自監督視覺Transformers。
b. 很多自監督方法是利用全局特征學習圖像級別預測，對于像素級別預測優化不足。當前自監督學習方法也許對圖像分類任務過度擬合，對下游密集任務預測表現效果不好。
//www.zhuanzhi.ai/paper/51fc329856a3bcd21dfb8545d693e224
針對以上提出的問題，我們提出掩碼Transformer自監督學習方法，如下圖所示。MST創造性的引入了注意力特征圖引導掩碼策略并利用掩碼特征來恢復全局圖像特征任務。我們將介紹如何利用注意力特征引導掩碼策略幫助掩碼語言模型應用到視覺領域。最后我們將介紹網絡的結構和實驗細節。
付費5元查看完整內容
可控生成是深度生成模型在現實應用中成功應用的關鍵要求之一，但它仍然是一個巨大的挑戰。特別是，生成新概念組合的組合能力是目前大多數模型所無法達到的。在這項工作中，我們使用基于能量的模型(EBMs)來處理一組屬性的組成生成。為了使它們可擴展到高分辨率圖像生成，我們在StyleGAN等預訓練生成模型的潛在空間中引入了EBM。我們提出了一種新的EBM公式來表示數據和屬性的聯合分布，并且我們展示了如何將它的抽樣表示為求解常微分方程(ODE)。給定一個預訓練的生成器，我們所需要的可控生成就是訓練一個屬性分類器。利用ODE進行采樣是有效的，并且對超參數具有魯棒性。因此，該方法簡單、訓練快、采樣效率高。實驗結果表明，該方法在條件采樣和順序編輯方面都優于現有的方法。在成分生成中，我們的方法優于零樣本生成未見的屬性組合。此外，通過將能量函數與邏輯運算符組合在一起，這項工作首次實現了這種組合，從而生成分辨率為1024x1024的逼真圖像。
付費5元查看完整內容
使用智能手機收集的呼吸音，經過深度學習模型訓練，用于檢測和分類COVID-19，最近變得流行起來。它消除了對現場檢測程序的需要，特別是對相關醫療用品、有經驗的工人和設備有限的農村地區。然而，現有的基于聲音的診斷方法是在完全監督的方式下進行訓練的，這需要大量標記良好的數據。重要的是發現新的方法來利用無標記的呼吸數據，這可以更容易地獲得。在本文中，我們提出了一種新的自監督學習框架，用于COVID-19咳嗽分類。引入對比預訓練階段，以訓練無標記數據的基于Transformer的特征編碼器。具體來說，我們設計了一個隨機掩蔽機制來學習呼吸音的魯棒表示。然后在下游階段對預訓練的特征編碼器進行微調，以執行咳嗽分類。此外，在下游階段還研究了不同隨機掩蔽率下的集成。通過廣泛的評估，我們證明了所提出的對比訓練前、隨機掩蔽機制和集成架構有助于提高咳嗽分類性能。
付費5元查看完整內容
本文是第一個將Transformers應用于視頻分割領域的方法。視頻實例分割指的是同時對視頻中感興趣的物體進行分類，分割和跟蹤的任務。現有的方法通常設計復雜的流程來解決此問題。本文提出了一種基于Transformers的視頻實例分割新框架VisTR，該框架將視頻實例分割任務視為直接端到端的并行序列解碼和預測的問題。給定一個含有多幀圖像的視頻作為輸入，VisTR直接按順序輸出視頻中每個實例的掩碼序列。該方法的核心是一種新的實例序列匹配和分割的策略，該策略在整個序列級別上對實例進行監督和分割。VisTR將實例分割和跟蹤統一到了相似度學習的框架下，從而大大簡化了流程。在沒有任何trick的情況下，VisTR在所有使用單一模型的方法中獲得了最佳效果，并且在YouTube-VIS數據集上實現了最快的速度。
//www.zhuanzhi.ai/paper/0dfba6abdc5e6a189d86770822c17859
付費5元查看完整內容
基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。
付費5元查看完整內容
論文概述：視頻中的時序關系建模對于行為動作理解（如動作識別和動作分割）至關重要。盡管圖卷積網絡（GCN）在許多任務的關系推理中顯示出令人鼓舞的優勢，但如何在長視頻序列上有效地應用圖卷積網絡仍然是一個挑戰。其主要原因是大量存在的視頻幀節點使GCN難以捕獲和建模視頻中的時序依賴關系。為了解決此問題，本文引入了一個有效的GCN模塊，即膨脹時序圖推理模塊（DTGRM），該模塊旨在對不同時間跨度視頻幀之間的時序關系和相關性進行建模，尤其可以通過構造多級擴張的時序圖來捕獲和建模長跨度的時序關系。此外，為了增強所提出模型的時序推理能力，本文提出了一種輔助的自監督任務，以鼓勵膨脹的時序圖推理模塊找到并糾正視頻中錯誤的時序關系。本模型在三個具有挑戰性的數據集上均優于最新的行動分割模型。
//www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355
付費5元查看完整內容
在場景圖分類的一個主要挑戰是，物體的外觀和關系可以明顯不同于另一幅圖像。以前的工作通過對圖像中所有物體的關系推理，或將先驗知識納入分類來解決這個問題。與之前的工作不同，我們不考慮感知和先驗知識的分離模型。相反，我們采用多任務學習方法，其中分類被實現為一個注意力層。這允許先驗知識在感知模型中出現和傳播。通過使模型也代表先驗，我們實現了歸納偏差。我們表明，我們的模型可以準確地生成常識性知識，并且將這些知識迭代注入到場景表示中可以顯著提高分類性能。此外，我們的模型可以根據作為三元組的外部知識進行微調。當與自監督學習相結合時，這將獲得僅對1%的帶注釋的圖像進行準確的預測。
付費5元查看完整內容
在充分利用大量未標記數據的同時，從少量帶標記的樣例中學習的一種模式是，先進行無監督的預訓練，然后進行有監督的微調。盡管與計算機視覺半監督學習的常見方法相比，這種范式以任務無關的方式使用未標記數據，但我們證明它對于ImageNet上的半監督學習非常有效。我們方法的一個關鍵要素是在訓練前和微調期間使用大的(深度和廣度的)網絡。我們發現，標簽越少，這種方法(使用未標記數據的任務無關性)從更大的網絡中獲益越多。經過微調后，通過第二次使用未標記的例子，將大的網絡進一步改進，并以特定任務的方式將其精簡為分類精度損失很小的小網絡。本文提出的半監督學習算法可歸納為三個步驟: 使用SimCLRv2對一個大的ResNet模型進行無監督的預訓練，對少量帶標記的樣例進行有監督的微調，以及對未帶標記的樣例進行精化和傳遞特定任務的知識。使用ResNet-50，該程序僅使用1%的標簽(每個類別≤13張標記圖像)，就實現了73.9%的ImageNet top-1精度，比以前的最先進的標簽效率提高了10倍。對于10%的標簽，ResNet-50用我們的方法訓練達到77.5%的top-1準確性，優于所有標簽的標準監督訓練。
//www.zhuanzhi.ai/paper/0c81b63b2aaae1ae2cc1a9b0fbb382b2
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191