零樣本學習(Zero-shot learning, ZSL)解決了未見類別識別問題，將語義知識從顯性類別轉移到未見類別。通常，為了保證理想的知識轉移，在ZSL中使用一個公共(潛在)空間來關聯視覺域和語義域。然而，現有的空間學習方法僅僅通過一步適應來緩解分布的分歧，從而使語義和視覺領域保持一致。這種策略通常是無效的，因為這兩個領域的特征表示具有異質性的本質，本質上包含了分布和結構的變化。為了解決這一問題，我們提出了一種新的層次語義-視覺自適應(HSVA)框架。具體來說，HSVA通過兩步層次適應，即結構適應和分布適應，對語義域和視覺域進行對齊。在結構調整步驟中，我們采用兩個特定于任務的編碼器將源數據(視覺域)和目標數據(語義域)編碼到一個與結構對齊的公共空間中。為此，提出了一個監督對抗差異(supervised adversarial不符，SAD)模塊，以對抗最小化兩個任務特定分類器預測之間的差異，從而使視覺和語義特征流形更緊密地對齊。在分布自適應步驟中，我們直接最小化潛在的多元高斯分布之間的Wasserstein距離，使用公共編碼器對齊視覺分布和語義分布。最后，在一個統一的框架下推導了在兩個部分對齊的變分自編碼器下的結構和分布自適應。在四個基準數據集上的大量實驗表明，HSVA在傳統ZSL和廣義ZSL上都取得了優異的性能。代碼可在//github.com/shiming-chen/HSVA上獲得。
付費5元查看完整內容
相關內容
現有的視覺和語言學習方法通常需要為每個任務設計特定于任務的架構和目標。例如，用于視覺問答的多標簽答案分類器、用于參考表達式理解的區域評分器和用于圖像字幕的語言解碼器等。為了減輕這些麻煩，在這項工作中，我們提出了一個統一的框架，在同一個語言建模目標的單一體系結構中學習不同的任務，即多模態條件文本生成，我們的模型學習在基于視覺和文本輸入的文本中生成標簽。在7個流行的視覺和語言基準測試中，包括視覺問答，參考表達理解，視覺常識推理，其中大多數之前被建模為判別性任務，我們的生成方法(具有單一統一的體系結構)達到了與最近特定任務的最先進的視覺和語言模型相當的性能。此外，我們的生成方法顯示出更好的泛化能力的問題，有稀有的答案。此外，我們還表明，我們的框架允許在單一體系結構中使用單一參數集進行多任務學習，實現了與單獨優化的單任務模型相似的性能。我們的代碼在//github.com/j-min/VL-T5上公開。
付費5元查看完整內容
本文將歸納式和直推式學習整合到一個統一的框架中，以利用它們之間的互補性來進行準確和穩健的視頻目標分割，并引入Transformer，性能優于CFBI、LWL等網絡，代碼即將開源！
半監督視頻目標分割是在第一幀中僅給定mask注釋的視頻序列中分割目標對象的任務。有限的可用信息使其成為一項極具挑戰性的任務。大多數以前表現最好的方法都采用基于匹配的轉導推理或在線歸納學習。然而，它們要么對類似實例的區分度較低，要么在時空信息的利用上不足。在這項工作中，我們提出將歸納式和直推式學習整合到一個統一的框架中，以利用它們之間的互補性來進行準確和穩健的視頻目標分割。所提出的方法由兩個功能分支組成。transduction 分支采用輕量級的 Transformer 架構來聚合豐富的時空線索，而 Induction 分支執行在線歸納學習以獲得有判別力的目標信息。為了橋接這兩個不同的分支，引入了一個雙頭標簽編碼器來為每個分支學習合適的目標先驗。生成的mask編碼被進一步強制解開以更好地保持它們的互補性。對幾個流行基準的大量實驗表明，在不需要合成訓練數據的情況下，所提出的方法創造了一系列新的最先進記錄。
付費5元查看完整內容
在真實的應用中，數據通常以增長的方式出現，其中數據量和類的數量可能會動態增加。這將給學習帶來重大挑戰:隨著數據量或類的數量不斷增加，人們必須立即調整神經模型的容量，以獲得良好的性能。現有的方法要么忽視數據增長的本質，要么尋求對給定數據集獨立搜索最優體系結構，因此無法針對變化的數據及時調整體系結構。為了解決這一問題，我們提出了一種神經結構自適應方法，即adaptive eXpert (AdaXpert)，可以在不斷增長的數據上有效地調整以前的結構。具體來說，我們引入了一個體系結構調整器，根據以前的體系結構以及當前和以前數據分布之間的不同程度，為每個數據快照生成合適的體系結構。此外，我們提出一個適應條件來確定調整的必要性，從而避免不必要的和耗時的調整。在兩種增長場景(增加數據量和類數)上的大量實驗證明了所提方法的有效性。
付費5元查看完整內容
本文主要聚焦于小模型(即輕量型模型)的自監督學習問題，作者通過實證發現：對比自監督學習方法在大模型訓練方面表現出了很大進展，然這些方法在小模型上的表現并不好。
為解決上述問題，本文提出了一種新的學習框架：自監督蒸餾(SElf-SupErvised Distillation, SEED)，它通過自監督方式(SSL)將老師模型的知識表達能力遷移給學生模型。不同于直接在無監督數據上的直接學習，我們訓練學生模型去模擬老師模型在一組示例上的相似度得分分布。
所提SEED的簡潔性與靈活性不言而喻，包含這樣三點：(1) 無需任何聚類/元計算步驟生成偽標簽/隱類；(2) 老師模型可以通過優秀的自監督學習（比如MoCo-V2、SimCLR、SWAV等）方法進行預訓練；(3)老師模型的知識表達能力可以蒸餾到任意小模型中(比如更淺、更細，甚至可以是完全不同的架構)。
實驗表明：SEED可以提升小模型在下游任務上的性能表現。相比自監督基準MoCo-V2方案，在ImageNet數據集上，SEED可以將EfficientNet-B0的精度從42.2%提升到67.6%，將MobileNetV3-Large的精度從36.3%提升到68.2%，見下圖對比。
付費5元查看完整內容
城市流量預測從許多方面使得智慧城市的建設受益，例如交通管理和風險評估。但是關鍵先決條件是對城市的細粒度動態有足夠的掌握。因此，與之前的工作僅限于粗粒度數據不同，這篇論文中將城市流量預測的范圍擴展到細粒度，這帶來了一些具體挑戰：1）在細粒度數據中觀察到的網格間的轉移動態使預測變得更加復雜，需要在全局范圍內捕獲網格單元之間的空間依賴性；2）單獨學習外部因素（例如天氣）對大量網格單元的影響是非常具有挑戰性的。為了解決這兩個挑戰，本文中提出了時空關系網（STRN）來預測細粒度的城市流量。首先，骨干網用于學習每個網格單元的高級表示，第二，文中還提出了一個全局關系模塊（GloNet），與現有方法相比，該模塊可以更有效地捕獲全局空間依賴性。第三，模型中設計了一個元學習器，它將外部因素和土地功能（例如POI密度）作為輸入以產生元知識并提高模型性能。論文提出的模型在兩個現實世界的數據集進行了充足的實驗。結果表明，與最新方法相比，STRN減少了7.1％到11.5％的誤差，而使用了更少的參數。
付費5元查看完整內容
自監督學習已被廣泛應用于從未標記圖像中獲取可轉移的表示。特別是，最近的對比學習方法在下游圖像分類任務中表現出了令人印象深刻的性能。這些對比方法主要集中在語義保留變換下的圖像級上生成不變的全局表示，容易忽略局部表示的空間一致性，因此在目標檢測和實例分割等本地化任務的預處理中存在一定的局限性。此外，在現有的對比方法中使用的積極裁剪視圖可以最小化單個圖像中語義不同區域之間的表示距離。
在本文中，我們提出了一種用于多目標和特定位置任務的空間一致表示學習算法(SCRL)。特別地，我們設計了一個新的自監督目標，試圖根據幾何平移和縮放操作產生隨機裁剪局部區域的連貫空間表示。在使用基準數據集的各種下游定位任務上，提出的SCRL顯示了相對于圖像級監督前訓練和最先進的自監督學習方法的顯著性能改進。代碼將會被發布。
付費5元查看完整內容
遷移學習
·
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3? , Humphrey Shi2? , Cheng-Zhong Xu3 , Dejing Dou1?
雖然最近關于半監督學習的研究在利用標記和未標記數據方面取得了顯著進展，但大多數研究都假定模型的基本設置是隨機初始化的。在這項工作中，我們將半監督學習和遷移學習結合起來，從而形成一個更實用和更具競爭力的范式，該范式可以利用來自源領域的強大的預訓練模型以及目標領域的標記/未標記數據。更好地利用pre-trained權重和標記的價值目標的例子,我們引入自適應一致性互補正規化,由兩部分組成:自適應知識一致性(AKC)在源和目標之間的示例模型和自適應表示一致性(AKC)標記和未標記示例之間的目標模型。一致性正則化所涉及的實例是根據它們對目標任務的潛在貢獻自適應選擇的。通過微調ImageNet預先訓練的ResNet-50模型，我們對流行基準進行了廣泛的實驗，包括CIFAR-10、CUB-200、Indoor67和MURA。結果表明，我們提出的自適應一致性正則化優于最先進的半監督學習技術，如偽標簽、Mean Teacher和MixMatch。此外，我們的算法與現有的方法是正交的，因此能夠在MixMatch和FixMatch之上獲得額外的改進。我們的代碼可以在//github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。
付費5元查看完整內容
零樣本學習(Zero-shot Learning, ZSL)是一種針對從未出現在訓練數據中的類別進行預測的學習方法，目前已成為研究熱點。實現ZSL的關鍵是利用類的先驗知識，構建類之間的語義關系，并使學習到的模型(例如，特性)能夠從訓練類(例如，可見類)轉移到不可見類。然而，現有方法所采用的先驗相對有限，語義不完全。本文通過基于本體的知識表示和語義嵌入，探索更豐富和更具競爭性的先驗知識，為ZSL的類間關系建模。同時，為了解決可見類和不可見類之間的數據不平衡問題，我們提出了帶有生成式對抗網絡(GANs)的生成式ZSL框架。我們的主要發現包括: (i)一個本體增強的ZSL框架，可以應用于不同的領域，如圖像分類(IMGC)和知識圖譜補全(KGC); (ii)利用來自不同領域的多個零樣本數據集進行綜合評估，我們的方法往往比最先進的模型獲得更好的性能。特別是，在IMGC的四個代表性的ZSL基線上，基于本體的類語義優于之前的預測，例如，在兩個示例數據集上，類的詞嵌入在標準ZSL中的平均精度為12.4點(見圖4)。
//www.zhuanzhi.ai/paper/455f8ab60b8550b4318debc0acebe2d3
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191