基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果,并可以通過利用未標記的數據減輕醫生昂貴的標注。然而,現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息,我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化,而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題,我們首次提出了一個新的雙任務一致性半監督框架。具體地說,我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時,我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化,用于標記和未標記數據。在兩個公共數據集上的大量實驗表明,我們的方法可以通過合并未標記數據極大地提高性能。同時,我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。
以往的人臉圖像質量評估研究大多以樣本層面不確定性或配對相似度作為質量評分標準,而且只考慮部分類內信息。這些方法忽略了來自類間有價值的信息。在本研究中,對于人臉識別系統,我們認為一個高質量的人臉圖像應該與其類內樣本相似,而與其類間樣本不相似,如圖1所示。為此,我們提出了一種基于類內-類間相似度分布距離的無監督人臉質量評估方法(SDD-FIQA)。
//www.zhuanzhi.ai/paper/b51b03b10fb5b413e14282835e0e8a6a
該方法從人臉識別的性能影響因子出發,從理論上推導出人臉樣本類間相似度分布與人臉圖像質量高度相關,利用類內相似度分布和類間相似度分布之間的Wasserstein距離生成人臉圖像質量偽標簽。然后,利用這些質量偽標簽進行無監督訓練一個人臉質量回歸網絡,從而獲得一個質量評估模型。大量實驗表明,在各大人臉識別的基準數據集上,提出的SDD-FIQA方法在不同的人臉識別系統下,精度和泛化能力都達到國際最先進水平。
主要創新點:1)發現了人臉樣本類間相似度分布與人臉圖像質量高度相關;2)提出了類內-類間相似度分布距離的概念;3)從理論上導出了人臉圖像質量與類內-類間相似度分布距離直接相關;4)提出了利用Wasserstein準則度量類內-類間相似度分布距離,并用于人臉圖像質量評分;5)實現了一種完全無監督的人臉圖像質量評估算法,性能最優。
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3? , Humphrey Shi2? , Cheng-Zhong Xu3 , Dejing Dou1?
雖然最近關于半監督學習的研究在利用標記和未標記數據方面取得了顯著進展,但大多數研究都假定模型的基本設置是隨機初始化的。在這項工作中,我們將半監督學習和遷移學習結合起來,從而形成一個更實用和更具競爭力的范式,該范式可以利用來自源領域的強大的預訓練模型以及目標領域的標記/未標記數據。更好地利用pre-trained權重和標記的價值目標的例子,我們引入自適應一致性互補正規化,由兩部分組成:自適應知識一致性(AKC)在源和目標之間的示例模型和自適應表示一致性(AKC)標記和未標記示例之間的目標模型。一致性正則化所涉及的實例是根據它們對目標任務的潛在貢獻自適應選擇的。通過微調ImageNet預先訓練的ResNet-50模型,我們對流行基準進行了廣泛的實驗,包括CIFAR-10、CUB-200、Indoor67和MURA。結果表明,我們提出的自適應一致性正則化優于最先進的半監督學習技術,如偽標簽、Mean Teacher和MixMatch。此外,我們的算法與現有的方法是正交的,因此能夠在MixMatch和FixMatch之上獲得額外的改進。我們的代碼可以在//github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。
目前的深度神經網絡需要為每個新任務收集大量帶標簽的訓練數據,在一定程度上限制了其實用性。給定來自一組源任務的數據,可以使用兩種遷移學習方法來克服此限制:小樣本學習(FSL)和自監督學習(SSL)。前者旨在通過使用源任務設計學習場景來學習“如何學習”,以模擬用很少的帶標簽樣本來解決目標新任務的挑戰。相反,后者利用所有源任務中的無注釋預定義任務來學習可泛化的特征表示。本文提出了一個創新的實例級和場景級的預定義任務(IEPT)框架,該框架無縫地將SSL集成到FSL中。具體來說,給定FSL場景,我們首先將幾何變換應用于每個實例以生成擴展場景。在實例級別,按照標準的SSL執行轉換識別。重要的是,在場景級別中我們設計了兩個SSL-FSL混合學習目標:(1)場景級別的預定義任務,會最大限度地提高來自不同擴展場景的FSL分類預測結果之間的一致性;(2)將從每個實例中跨不同場景提取的特征進行集成,以構建用于元學習的單個FSL分類器。大量實驗表明,我們提出的模型(即帶有IEPT的FSL)達到了最新的技術水平。
圖神經網絡(GNN)已經成為圖表示學習的事實標準,它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練,但近來一些研究表明:對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是,傳統的 GNN 預訓練方法遵循以下兩個步驟:
在大量未標注數據上進行預訓練; 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同,因此二者存在很大的差距。
在本文中,我們分析了預訓練和微調之間的差異,并為了緩解這種分歧,我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中,我們在節點級和圖級設計了一種雙重自適應機制。最后,我們對不同GNN模型的預訓練進行了系統的實證研究,使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明,L2P-GNN能夠學習有效且可轉移的先驗知識,為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼,同時開源了一個大規模圖數據集,可用于GNN預訓練或圖分類等。
總體來說,本文的貢獻如下:
論文概述:視頻中的時序關系建模對于行為動作理解(如動作識別和動作分割)至關重要。盡管圖卷積網絡(GCN)在許多任務的關系推理中顯示出令人鼓舞的優勢,但如何在長視頻序列上有效地應用圖卷積網絡仍然是一個挑戰。其主要原因是大量存在的視頻幀節點使GCN難以捕獲和建模視頻中的時序依賴關系。為了解決此問題,本文引入了一個有效的GCN模塊,即膨脹時序圖推理模塊(DTGRM),該模塊旨在對不同時間跨度視頻幀之間的時序關系和相關性進行建模,尤其可以通過構造多級擴張的時序圖來捕獲和建模長跨度的時序關系。此外,為了增強所提出模型的時序推理能力,本文提出了一種輔助的自監督任務,以鼓勵膨脹的時序圖推理模塊找到并糾正視頻中錯誤的時序關系。本模型在三個具有挑戰性的數據集上均優于最新的行動分割模型。
//www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355
盡管健壯的深度學習中的現有工作都集中在基于像素級別的小型規范擾動,但這可能無法解決在多個實際設置中遇到的擾動。在許多此類情況下,盡管可能無法獲得測試數據,但可能知道有關擾動類型(例如未知的旋轉度)的廣泛規范。我們考慮一種在看不見的測試域中預期具有魯棒性的設置。但偏離了訓練領域。雖然可能無法確切知道此偏差,但根據屬性先驗地指定了其廣泛的特征。我們提出了一種對抗訓練方法,該方法學習如何生成新樣本,從而最大程度地將分類器暴露于屬性空間,而無需訪問來自測試域的數據。我們的對抗訓練解決了最小-最大優化問題,通過優化內部最大化產生的對抗性擾動的損失,使內部最大化產生對抗性擾動,而外部最小化找到模型參數。我們證明了我們的方法在三種類型的自然擾動上的適用性-與對象相關的移動,幾何變換和常見的圖像破壞。我們的方法使深度神經網絡能夠抵抗各種自然擾動。我們通過展示在MNIST,CIFAR-10和CLEVR數據集的新變體上進行對抗訓練而獲得的深度神經網絡的魯棒性收益,從而證明了所提出方法的有效性。
在本文中,我們提出了一種用于語義分割的無監督域自適應算法,該算法的目標是利用有標記的合成數據來分割無標記的真實數據。UDA語義分割的主要問題在于縮小真實圖像與合成圖像之間的域差距。為了解決這個問題,我們將重點放在將圖像中的信息分離為內容和樣式。在這里,只有內容具有進行語義分割的線索,而風格造成了領域差距。因此,即使在使用合成數據進行學習時,也可以將圖像中的內容和風格進行精確的分離,起到監督真實數據的作用。為了充分利用這種效果,我們提出采用零損失模式。盡管我們在實域上很好地提取了用于語義分割的內容,但在語義分類器中仍然存在類別不平衡的問題。我們通過將尾部類的內容從合成域轉移到實域來解決這個問題。實驗結果表明,該方法在兩種主要的神經網絡環境下都取得了最先進的語義分割性能。
論文鏈接://www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6
簡介:數據增強已被廣泛用于提高機器學習模型的通用性。但是,相對較少的工作研究圖形的數據擴充。這在很大程度上是由于圖的復雜非歐幾里得結構限制了可能的操縱操作。視覺和語言中常用的增強操作沒有圖形類似物。在改進半監督節點分類的背景下,我們的工作研究了圖神經網絡(GNN)的圖數據擴充。我們討論了圖數據擴充的實踐和理論動機,考慮因素和策略。我們的工作表明,神經邊緣預測器可以有效地編碼類同質結構,以在給定的圖結構中促進類內邊緣和降級類間邊緣,并且我們的主要貢獻是引入了GAug圖數據擴充框架,該框架利用這些見解來提高性能通過邊緣預測的基于GNN的節點分類在多個基準上進行的廣泛實驗表明,通過GAug進行的增強可提高GNN架構和數據集的性能。
圖神經網絡(gnn)的優勢在于對結構化數據的拓撲信息進行顯式建模。然而,現有的gnn在獲取層次圖表示方面的能力有限,而層次圖表示在圖形分類中起著重要的作用。本文創新性地提出了層次圖膠囊網絡(HGCN),該網絡可以聯合學習節點嵌入和提取圖的層次結構。具體地說,解糾纏圖膠囊是通過識別每個節點下的異構因素建立的,這樣它們的實例化參數代表同一實體的不同屬性。為了學習層次表示,HGCN通過顯式地考慮部件之間的結構信息,刻畫了低層膠囊(部分)和高層膠囊(整體)之間的部分-整體關系。實驗研究證明了HGCN算法的有效性和各組成部分的貢獻。
//www.zhuanzhi.ai/paper/c9930a15b45547cafbee90db8c5612aa
在場景圖分類的一個主要挑戰是,物體的外觀和關系可以明顯不同于另一幅圖像。以前的工作通過對圖像中所有物體的關系推理,或將先驗知識納入分類來解決這個問題。與之前的工作不同,我們不考慮感知和先驗知識的分離模型。相反,我們采用多任務學習方法,其中分類被實現為一個注意力層。這允許先驗知識在感知模型中出現和傳播。通過使模型也代表先驗,我們實現了歸納偏差。我們表明,我們的模型可以準確地生成常識性知識,并且將這些知識迭代注入到場景表示中可以顯著提高分類性能。此外,我們的模型可以根據作為三元組的外部知識進行微調。當與自監督學習相結合時,這將獲得僅對1%的帶注釋的圖像進行準確的預測。