由于數據有限甚至不均衡，半監督語義分割在某些類別上的性能往往較差，例如在cityscape數據集中顯示長尾標簽分布的尾類。現有的方法幾乎都忽視了這個問題，并對類別一視同仁。一些流行的方法，如一致性正則化或偽標簽，甚至可能會損害對表現不佳類別的學習，這些類別的預測或偽標簽可能太不準確，無法指導對未標記數據的學習。本文針對這一問題，提出了一種新的半監督語義分割框架——自適應均衡學習(adaptive equalization learning, AEL)。AEL自適應地平衡了訓練好的和表現不好的類別，在訓練期間用一個信心庫動態跟蹤類別的表現。信心庫被用作向表現不佳的類別傾斜訓練的指標，具體體現在三種策略中: 1) 自適應的Copy-Paste和CutMix數據增強方法，使表現不佳的類別有更多的機會被復制或刪除; 2) 自適應數據采樣方法，鼓勵對表現不佳類別的像素進行采樣; 3) 采用一種簡單而有效的加權方法來減輕偽標記帶來的訓練噪聲。在實驗上，在不同的數據劃分協議下，AEL在Cityscapes和Pascal VOC基準測試上的表現大大優于最先進的方法。
付費5元查看完整內容
相關內容
目標檢測在過去的十年中取得了長足的進步。然而，利用少樣本檢測新類仍然具有挑戰性，因為在低數據環境下的深度學習通常會導致特征空間的退化。現有的研究都采用了整體的微調范式來解決這個問題，即首先對模型進行大量樣本的所有基類的預訓練，然后用它來學習新的類特征空間。盡管如此，這種范式仍然是不完美的。在微調過程中，一個新類可能會隱式地利用多個基類的知識來構造其特征空間，導致特征空間分散，違反類間的可分離性。為了克服這些障礙，我們提出了一種兩步微調的框架，即關聯與識別的少樣本目標檢測(FADI)，該框架采用兩步整合的方法為每個新類建立判別特征空間。1) 在關聯步驟中，與隱式利用多個基類不同，我們通過顯式模擬一個特定的基類特征空間來構造一個緊湊的新類特征空間。具體來說，我們根據每個新類的語義相似度將它們與基類關聯起來。之后，新類的特征空間可以很容易地模仿相關基類的經過良好訓練的特征空間。2)在判別步驟中，為了保證新類和相關基類之間的可分離性，我們對基類和新類的分類分支進行解糾纏。為了進一步擴大各類別間的可分性，引入了一個集合化的保證金損失。在Pascal VOC和MS-COCO數據集上的大量實驗表明，FADI實現了新的SOTA性能，在任何鏡頭/分割中顯著提高了18.7的基線。值得注意的是，這種優勢是在極少的場景中體現出來的。
付費5元查看完整內容
Curriculum Learning for Vision-and-Language Navigation 視覺語言導航的課程學習
作者：Jiwen Zhang, Zhongyu Wei, Jianqing Fan, Jiajie Peng
類型：NeurIPS 2021，Poster Paper
視覺和語言導航 (VLN) 是指智能體在人類語言的指導下進行室內導航的一項任務。我們發現以前的工作忽略了數據集中樣本難度的分布。我們認為這潛在降低了那些智能體的性能。為此，我們為 VLN 任務提出了一種新的基于課程學習的訓練范式。該訓練范式可以平衡人類先驗知識和智能體對訓練樣本的學習進度。我們制定了課程設計原則，并重新排列了基準 Room-to-Room (R2R) 數據集，使其適合課程培訓。實驗表明，我們的方法與模型無關，并且可以在不增加模型復雜度的情況下顯著提高當前最先進導航代理的性能、通用性和訓練效率。
付費5元查看完整內容
學習用于分布外預測的因果語義表示
Learning Causal Semantic Representation for Out-of-Distribution Prediction 論文摘要：標準的有監督學習方法特別是深度學習方法對分布外樣例的預測表現欠佳，主要由于其學到的表示難免會混淆語義因素和多樣因素，因為兩者在特定環境下具有特定的相關性，但只有語義因素是輸出變量的因。為此，我們通過對變量間因果關系的分析，將這兩個因素分開建模，進而提出了一個因果語義生成模型，并建立了相應的分布外預測方法用于解決常見且有挑戰性的單訓練域的情況。此方法源自因果不變性原理，并基于變分貝葉斯框架實現，其中引入了一個新穎的設計既實現了高效訓練又便于預測。理論上，我們證明了一定條件下，此模型可通過擬合訓練數據來識別語義因素，且這種識別保證了分布外泛化誤差的有界性和成功的領域自適應。實驗結果表明所提方法比主流基線方法具有更好的分布外預測表現。
付費5元查看完整內容
本文提出了一種基于無監督學習的視頻目標分割方法。與之前的工作不同，我們的公式允許在完全卷積的情況下直接學習密集特征表示。我們依靠統一的網格采樣來提取一組錨點，并訓練我們的模型來在視頻間和視頻內消除它們之間的歧義。然而，訓練這樣一個模型的樸素方案會得到一個退化解。我們提出了一種簡單的正則化方案來防止這種情況，該方案適應了分割任務對相似變換的等方差特性。我們的訓練目標實現高效，并表現出快速的訓練趨同。在已建立的VOS基準上，我們的方法超過了以前工作的分割精度，盡管使用的訓練數據和計算能力明顯更少。
付費5元查看完整內容
論文題目：SOLQ: Segmenting Objects by Learning Queries
中文題目：SOLQ：基于學習查詢的物體分割
論文鏈接：//www.zhuanzhi.ai/paper/aa83650733efb14101109ce1162e6636
DETR 通過引入 Transformer 和匈牙利匹配，實現了端到端的目標檢測。然而，將其拓展至實例分割任務時，會引入過大的計算量，導致無法進行端到端訓練，且性能無法滿足真實需求。
為解決這一問題，我們結合 DETR 和壓縮編碼技術，提出端到端的實例分割框架 SOLQ。SOLQ 提出統一的查詢（query）表征方式，使用壓縮編碼方法如DCT等，將二維高分辨率掩碼壓縮為低維向量，使得三項子任務（分類、定位和分割）能夠并行預測。
實驗結果表明，SOLQ 能夠實現先進的實例分割性能，超越大多數現有方法。此外，我們發現統一的查詢（query）表征可以大大提高 DETR 的檢測性能。我們希望 SOLQ 可以作為基于 Transformer 的實例分割框架的強大基線。
付費5元查看完整內容
2021級人工智能項目碩士生邵朱晨、邊豪和陳揚（指導老師：王好謙）發表論文《基于Transformer的多示例學習算法在組織病理學圖像分類中的應用》（TransMIL: Transformer based Correlated Multiple Instance Learning for Whole Slide Image Classification）。該論文針對組織病理學的弱監督分類問題提出了一種新的關聯性多示例學習理論，并提供了相應的證明。基于這一理論，論文進一步設計了一種基于Transformer的多示例學習算法，它同時探索了形態學和空間信息，可有效地處理不平衡/平衡和二元/多元分類并具有可解釋性，并在三個公開的病理圖像數據集上取得最優性能。
//www.zhuanzhi.ai/paper/0917bb8e8912fc4b1fd42379d3ef11c6
方法框架
活檢診斷是癌癥治療和研究流程的基本步驟，是癌癥診斷的“金標準”，其中活檢樣本的陰陽分類和癌癥亞型分類，對患者疾病的精準診斷以及預后治療有重要作用。組織病理圖像掃描儀的出現為病理圖像分析開辟了新的可能性，可將活檢載玻片上的組織轉換成千兆像素的組織病理圖像(WSI)，充分保留了原始的組織結構。考慮到組織病理學巨大的尺寸以及像素級的注釋通常難以獲得，當只有診斷級別標簽時，組織病理圖像的分析便屬于一種弱監督學習問題。但是目前的多實例學習方法通常是基于獨立同分布假設，忽略了不同實例之間的相關性。為解決這個問題，本文提出了一個新的理論：關聯性多實例學習理論，并進一步設計了一種基于Transformer 的多實例學習方法，它同時探索了形態學和空間信息。其中由于Transformer本身不具備對于序列順序信息的關注能力，因而通常采用位置編碼來利用序列的順序信息。在組織病理學領域中，因為組織病理圖像大小本身不固定，且不同組織病理圖像中組織區域面積不同，所以對應序列的片段數量往往不相同。本文的PPEG模塊在同一層使用不同大小的卷積核，既可以編碼較為稀疏的位置信息，也可以編碼較為緊密的位置信息，使PPEG模塊對于不同類型的組織病理圖像更具有普遍的適應性。最終，本文的算法在三個公開的組織病理圖像數據集中取得了最優性能。
付費5元查看完整內容
在多維分類中，輸出空間中存在多個類變量，每個類變量對應一個異構類空間。由于類空間的異質性，在從MDC示例中學習時，考慮類變量之間的依賴關系非常具有挑戰性。本文提出了一種新的多目標預測方法，即SLEM方法，它在編碼的標簽空間中學習預測模型，而不是在異構的標簽空間中學習預測模型。具體來說，SLEM在編碼-訓練-解碼框架中工作。在編碼階段，通過成對分組、一次熱轉換和稀疏線性編碼三種級聯操作，將每個類向量映射為實值向量。在訓練階段，在編碼標簽空間內學習多輸出回歸模型。在解碼階段，通過對學習的多輸出回歸模型的輸出進行正交匹配追蹤，得到預測的類向量。實驗結果清楚地驗證了SLEM相對于最先進的MDC方法的優越性。
付費5元查看完整內容
確定輸入是否在分布外(OOD)是在開放世界中安全部署機器學習模型的一個重要基石。然而，以往依賴softmax置信評分的方法對OOD數據存在過自信的后驗分布。我們提出了一個使用能量分數的OOD檢測的統一框架。我們表明，能量分數比使用softmax分數的傳統方法更好地區分分布內和分布外的樣本。與softmax信心分數不同，能量分數理論上與輸入的概率密度一致，不太容易受到過度自信問題的影響。在這個框架內，能量可以被靈活地用作任何預訓練的神經分類器的評分函數，也可以作為可訓練的代價函數來明確地塑造能量表面，用于OOD檢測。在CIFAR-10預訓練的WideResNet中，使用能量分數比softmax信心分數降低平均FPR (TPR 95%) 18.03%。在以能量為基礎的訓練中，我們的方法在一般的基準上比最先進的方法表現得更好。
付費5元查看完整內容
在本文中，我們提出了一種端到端的圖學習框架，即迭代深度圖學習(IDGL)，用于共同迭代地學習圖結構和圖嵌入。IDGL的關鍵原理是學習基于更好的節點嵌入的更好的圖結構，反之亦然(即基于更好的圖結構的更好的節點嵌入)。我們的迭代方法動態停止時，學習圖接近足夠優化的圖預測任務。此外，我們將圖學習問題轉換為一個相似度量學習問題，并利用自適應圖正則化來控制學習圖的質量。最后，結合基于錨點的近似技術，我們進一步提出了一個可擴展的IDGL版本，即IDGL- anch，在不影響性能的前提下，顯著降低了IDGL的時間和空間復雜度。我們在9個基準上進行的廣泛實驗表明，我們提出的IDGL模型始終能夠優于或匹配最先進的基線。此外，IDGL還能更魯棒地處理對抗圖，并能同時處理傳導學習和歸納學習。
付費5元查看完整內容
我們為構建帶有深度學習組件的結構性因果模型(SCMs)制定了一個總體框架。所提出的方法采用了流歸一化和變分推理，以實現對外生噪聲變量的可處理推理——這是反事實推理的關鍵一步，而這正是現有的深度因果學習方法所缺少的。我們的框架在構建在MNIST上的合成數據集以及真實世界的腦核磁共振掃描醫學數據集上得到驗證。我們的實驗結果表明，我們可以成功地訓練深度SCMs，使其具備Pearl因果關系階梯的所有三個層次:關聯、干預和反事實，從而為在成像應用和其他方面回答因果問題提供了一種強大的新方法。
//github.com/biomedia-mira/deepscm.
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191