判別學習、恢復學習和對抗性學習已被證明對計算機視覺和醫學成像中的自監督學習方案有益。然而，現有的努力，忽略了它們在三元設置中相互之間的協同作用，我們認為，這可以顯著地有利于深度語義表示學習。為了實現這一愿景，我們開發了DiRA，這是第一個將判別學習、恢復學習和對抗學習統一起來的框架，以協作的方式從未標記的醫學圖像中收集互補的視覺信息，用于細粒度語義表示學習。我們的廣泛實驗表明，DiRA (1) 鼓勵三種學習成分之間的協作學習，從而在器官、疾病和模態中產生更一般化的表征; (2) 優于完全監督的ImageNet模型，并在小數據領域增強魯棒性，減少多個醫學成像應用程序的注釋成本; (3) 學習細粒度語義表示，僅通過圖像級標注即可實現病灶的準確定位 ;(4) 增強了最先進的修復方法，揭示了DiRA是統一表征學習的一般機制。所有代碼和預訓練的模型都可以
在//github.com/JLiangLab/DiRA上找到
付費5元查看完整內容
相關內容
以人為中心的感知在視覺和圖形學中起著至關重要的作用。但是他們的數據注釋非常昂貴。因此，希望有一個通用的預訓練模型，作為數據高效的下游任務轉移的基礎。為此，我們提出了以人為中心的多模態對比學習框架HCMoCo，該框架利用人類數據的多模態特性(如RGB、深度、2D關鍵點)來進行有效的表示學習。該目標面臨兩個主要挑戰: 多模態數據的密集預訓練，稀疏人類先驗的有效利用。**為了解決這一問題，我們設計了一種新型的密集樣本內對比學習和稀疏結構感知對比學習目標，通過層次化學習具有連續和有序特征分布和結構感知語義一致性的模態不變潛空間。**HCMoCo通過組合異構數據集為不同的模態提供預訓練，這允許有效地使用現有的特定于任務的人類數據。在四個不同模式的下游任務上的大量實驗證明了HCMoCo的有效性，特別是在數據效率設置下(DensePose Estimation和Human Parsing提高了7.16%和12%)。此外，通過探索跨模態監督和缺失模態推理，我們證明了HCMoCo的多功能性，驗證了它在跨模態聯想和推理方面的強大能力。
//www.zhuanzhi.ai/paper/3e8a73c1d485a5e417b1e659558792c0
付費5元查看完整內容
論文標題：UniVIP: A Unified Framework for Self-Supervised Visual Pre-training
論文鏈接：//arxiv.org/abs/2203.06965 作者單位：中國科學院自動化研究所 & 商湯科技 & 南洋理工大學
自監督學習 (SSL) 有望利用大量未標記的數據。然而，流行的 SSL 方法的成功僅限于像 ImageNet 中的單中心對象圖像，并且忽略了場景和實例之間的相關性，以及場景中實例的語義差異。為了解決上述問題，我們提出了統一自監督視覺預訓練（UniVIP），這是一種新穎的自監督框架，用于在單中心對象或非標志性數據集上學習通用視覺表示。該框架考慮了三個層次的表示學習：1）場景-場景的相似性，2）場景-實例的相關性，3）實例的判別。在學習過程中，我們采用最優傳輸算法來自動測量實例的區分度。大量實驗表明，在非標志性 COCO 上預訓練的 UniVIP 在圖像分類、半監督學習、對象檢測和分割等各種下游任務上實現了最先進的傳輸性能。此外，我們的方法還可以利用 ImageNet 等單中心對象數據集，并且在線性探測中使用相同的預訓練 epoch 時比 BYOL 高 2.5%，并且在 COCO 數據集上超越了當前的自監督對象檢測方法，證明了它的普遍性和潛在性能。
付費5元查看完整內容
我們提出了一個嚴格的方法，使用一組任意相關的弱監督源，以解決多類分類任務時，只有一個非常小的標記數據集可用。我們的學習算法可證明收斂于一個模型，該模型對于一組未標記數據的可行標記的對抗性選擇具有最小的經驗風險，其中標記的可行性是通過對弱監督源的嚴格估計統計量定義的約束來計算的。我們為這種依賴于弱監督來源提供的信息的方法提供了理論保障。值得注意的是，該方法不要求弱監督源具有與多類分類任務相同的標注空間。我們通過實驗證明了我們的方法在各種圖像分類任務中的有效性。
付費5元查看完整內容
當測試數據和訓練數據的分布相似時，基于深度神經網絡的方法已經取得了驚人的性能，但如果沒有相似的分布，則性能可能表現很差。因此，消除訓練和測試數據之間分布變化的影響對于構建具有良好性能的深度模型至關重要。傳統的方法要么假設訓練數據已知的異質性(例如域標簽)，要么假設不同域的容量近似相等。在本文中，我們考慮一個更具有挑戰性的情況，即上述兩種假設都不成立。為了解決這一問題，我們提出通過學習訓練樣本的權重來消除特征之間的依賴關系，這有助于深度模型擺脫虛假的相關性，從而更加關注區分性特征和標簽之間的真實聯系。大量的實驗清楚地證明了我們的方法在多個分布泛化基準上的有效性，與最先進的同行相比。通過大量的分布泛化基準實驗，包括PACS、VLCS、mist - m和NICO，我們證明了該方法的有效性，并與最新的同類方法進行了比較。
付費5元查看完整內容
目標檢測器通常在完全標注實例的監督學習情況下獲得很好的結果。但是，對于稀疏實例注釋，它們的性能遠遠不能令人滿意。現有的稀疏標注目標檢測方法主要是對難的負樣本的損失進行重加權，或者將未標注的實例轉換為忽略區域，以減少假陰性的干擾。我們認為這些策略是不夠的，因為它們最多可以減輕由于缺少注釋而造成的負面影響。在本文中，我們提出了一個簡單而有效的機制，稱為協同挖掘，稀疏標注的目標檢測。在協同挖掘中，一個連體網絡的兩個分支相互預測偽標簽集。為了增強多視圖學習和更好地挖掘未標記實例，將原始圖像和相應的增強圖像分別作為Siamese網絡的兩個分支的輸入。協同挖掘可以作為一種通用的訓練機制，應用于大多數現代目標檢測器。在三種不同稀疏注釋設置的MS COCO數據集上進行了實驗，使用兩種典型的框架:基于錨的檢測器RetinaNet和無錨檢測器FCOS。實驗結果表明，與RetinaNet的協同挖掘方法相比，在相同的稀疏標注設置下，相比于不同的基線，改進了1.4%~2.1%，超過了現有的方法。
付費5元查看完整內容
在場景圖分類的一個主要挑戰是，物體的外觀和關系可以明顯不同于另一幅圖像。以前的工作通過對圖像中所有物體的關系推理，或將先驗知識納入分類來解決這個問題。與之前的工作不同，我們不考慮感知和先驗知識的分離模型。相反，我們采用多任務學習方法，其中分類被實現為一個注意力層。這允許先驗知識在感知模型中出現和傳播。通過使模型也代表先驗，我們實現了歸納偏差。我們表明，我們的模型可以準確地生成常識性知識，并且將這些知識迭代注入到場景表示中可以顯著提高分類性能。此外，我們的模型可以根據作為三元組的外部知識進行微調。當與自監督學習相結合時，這將獲得僅對1%的帶注釋的圖像進行準確的預測。
付費5元查看完整內容
我們提出了VILLA，這是已知的第一個針對視覺和語言(V+L)表征學習的大規模對抗訓練。VILLA由兩個訓練階段組成: (一)任務不可知的對抗性預訓練; 其次(二)針對具體任務進行對抗性微調。為了避免在圖像像素和文本標記上增加對抗性擾動，我們建議在每個模態的嵌入空間中進行對抗性訓練。為了實現大規模訓練，我們采用了“free”對抗式訓練策略，并與基于KL發散的正則化相結合，提高了嵌入空間的高不變性。我們將VILLA應用到目前表現最好的V+L模型中，并在廣泛的任務中達到了新的水平，包括視覺問題回答、視覺常識推理、圖像-文本檢索、參考表達理解、視覺隱含和NLVR2。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191