本文將多源概念引入UDA行人Re-ID任務中，并提出RDSBN歸一化新模塊，并提出基于GCN的多源信息融合模塊，表現SOTA！性能優于MMT、DG-Net++網絡。
用于行為重識別（re-ID）的無監督域自適應（UDA）方法旨在將re-ID知識從已標記的源數據傳輸到未標記的目標數據。盡管取得了巨大的成功，但大多數人僅使用來自單一來源域的有限數據進行模型預訓練，從而使得無法充分利用豐富的標記數據。為了充分利用有價值的標記數據，我們將多源概念引入到UDA行人re-ID中，其中在訓練過程中使用了多個源數據集。但是，由于域的空白，僅組合不同的數據集只會帶來有限的改進。在本文中，我們嘗試從兩個角度（即特定于域的視圖和域融合視圖）解決此問題。提出了兩個建設性的模塊，它們彼此兼容。首先，探索一種整流領域特定的批處理歸一化（RDSBN）模塊，以同時減少領域特定的特征并增加人員特征的獨特性。其次，開發了基于圖卷積網絡（GCN）的多域信息融合（MDIF）模塊，該模塊通過融合不同域的特征來最小化域距離。所提出的方法在很大程度上優于最新的UDA人員re-ID方法，甚至在沒有任何后處理技術的情況下，甚至可以達到與監督方法相當的性能。
付費5元查看完整內容
相關內容
在半監督領域自適應問題的目標域數據中對每個類別賦予少量有標簽樣本可引導其余的無標簽目標域樣本的特征聚集在它們周圍。但是，如此經過訓練后的模型無法為目標域生成具有高度區分性的特征表示，因為訓練過程主要由來自源域的有標簽樣本主導。這就可能導致有標簽和無標簽的目標域樣本之間的特征缺乏連結以及目標域和源域樣本之間的特征進行錯位對齊。在本文中，作者們提出了一種新的被稱為跨域自適應聚類的算法來解決這個問題。為了同時實現不同領域間和同一領域內的自適應，我們首先引入了一個對抗性自適應聚類損失函數來對無標簽目標域樣本的特征進行分組聚類，并在源域和目標域之間以聚類簇的形式進行跨域特征對齊。另外，我們進一步將“Pseudo labeling”技術應用于目標域中無標簽樣本，并對具有較高的置信度的樣本賦予“偽標簽”。該技術擴充了目標域中每個類別的“有標簽樣本”的數量使得每個類別可以產生了更加魯棒、強大的聚類簇中心，從而促進對抗學習過程。我們在包括DomainNet、Office-Home和Office在內的基準數據集上進行的大量實驗，結果表明我們所提出的方法能夠在半監督域自適應中實現最優性能。
論文鏈接：//www.zhuanzhi.ai/paper/bca546caa350082ff63382cc18636077
代碼鏈接：
付費5元查看完整內容
一種基于知識蒸餾的弱監督圖像文本匹配模型
Improving Weakly Supervised Visual Grounding by Contrastive Knowledge Distillation
本文由騰訊 AI Lab 主導完成。弱監督的圖像文本匹配旨在學習僅使用圖像句子的對應來得到細顆粒度的圖像區域和短語的對應. 因此，主要的挑戰在于訓練期間圖像區域和句子短語之間缺少匹配的數據。
為了應對這一挑戰，我們在訓練時利用了通用的物體檢測器知識蒸餾，并提出了利用對比學習來得到圖像和文本細顆粒度匹配的新方法。我們的方法在弱監督的視覺區域和短語匹配任務上超越了以前的方法。
付費5元查看完整內容
自監督學習通過從數據本身來獲取監督信號，在視頻表征學習領域展現出了巨大潛力。由于一些主流的方法容易受到背景信息的欺騙和影響，為了減輕模型對背景信息的依賴，我們提出通過添加背景來去除背景影響。具體而言，給定一個視頻，我們從中隨機選擇一個靜態幀，并將其添加到其它的每一幀中，以構建一個分散注意力的視頻樣本，然后要求模型拉近 分散注意力的視頻樣本與原始視頻樣本之間的特征距離，如此使得模型能夠更好地抵抗背景的影響，而更多地關注運動變化。我們的方法命名為背景消除（Background Erasing，BE）。值得注意的是，我們的方法可以便捷地添加到大多數SOTA方法中。BE在MoCo的基礎上，對具有嚴重背景偏見的數據集UCF101和HMDB51，分別帶來了16.4%和19.1%的提升，而對具有較小背景偏見的數據集Diving48數據集帶來了14.5%的提升。
付費5元查看完整內容
基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。
付費5元查看完整內容
為了從最能區分類的高維數據中學習內在的低維結構，我們提出了最大編碼率降低原理(MCR2)，這是一種信息理論度量，可以最大限度地提高整個數據集和每個類的編碼率差。明確了它與交叉熵、信息瓶頸、信息增益、壓縮學習和對比學習等現有框架的關系，為學習多樣性和有判別性表示提供了理論保障。該編碼率可以從簡并類子空間分布的有限樣本中精確地計算出來，并且可以統一地學習有監督、自監督和無監督三種情況下的本征表示。特別地，單獨使用該原理學習的表示比使用交叉熵學習的表示在分類中標記錯誤時具有更強的魯棒性，并且可以在自學習不變特征聚類混合數據方面產生最先進的結果。
付費5元查看完整內容
情感自動識別是一個活躍的研究課題，具有廣泛的應用前景。由于人工標注成本高和標簽不可避免的模糊性，情感識別數據集的發展在規模和質量上都受到了限制。因此，如何在有限的數據資源下建立有效的模型是關鍵挑戰之一。之前的研究已經探索了不同的方法來應對這一挑戰，包括數據增強、遷移學習和半監督學習等。然而，這些現有方法的缺點包括:訓練不穩定、遷移過程中的性能損失大、或改進幅度小。
在本研究中，我們提出了一種基于跨模態分布匹配的半監督多模態情感識別模型，該模型在假設跨模態內部情緒狀態在話語層面一致的前提下，利用大量的未標記數據來增強模型訓練。
我們在兩個基準數據集IEMOCAP和MELD上進行了廣泛的實驗來評估所提出的模型。實驗結果表明，該半監督學習模型能夠有效地利用未標記數據，并結合多種模態來提高情緒識別性能，在相同條件下優于其他先進的方法。與現有方法相比，該模型還利用了說話者和交互上下文等附加的輔助信息，從而達到了競爭能力。
付費5元查看完整內容
本文提出了一種利用“無中生有”的監督方式，用于跨模態哈希編碼。現存的跨模態哈希編碼分為有監督和無監督兩類，前者通常精度更高，但依賴于圖像級標注信息，以生成相似度矩陣。本方法創新性地提出，利用無監督的哈希方法產生圖像特征，并利用圖像特征計算相似度矩陣，從而繞開了對監督信號的需求，在不增加標注代價的情況下，提升了跨模態哈希編碼的精度，超過了所有無監督的編碼方法。本文還分析了圖像特征和文本特征在相似度計算中的作用，并且討論了這種方法在類似場景中的應用。
付費5元查看完整內容
領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而，對于具有不同數據可用性的時間序列數據，還沒有考慮到健壯的技術。在本文中，我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS)，該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據，我們增加了CoDATS的有用性，從而進一步提高了與以前的單源方法相比的準確性，特別是在域之間具有高度可變性的復雜時間序列數據集上。其次，我們提出了一種新的弱監督域自適應(DA-WS)方法，利用目標域標簽分布形式的弱監督，這可能比其他數據標簽更容易收集。第三，我們對不同的真實數據集進行了綜合實驗，以評估我們的域適應和弱監督方法的有效性。結果表明，用于單源DA的CoDATS比最先進的方法有了顯著的改進，并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191