本文研究了弱監督域自適應(WSDA)問題,在該問題中,我們只能訪問帶噪聲標簽的源域,從源域中我們需要將有用的信息傳遞到無標簽的目標域。雖然對這個問題的研究不多,但大多數研究都只是利用源域到目標域的單向關系。在這篇論文中,我們提出了一個通用的范例叫做GearNet來開發兩個領域之間的雙邊關系。具體而言,我們將兩個域作為不同的輸入,交替訓練兩個模型,并使用非對稱Kullback-Leibler損耗在同一域選擇性地匹配兩個模型的預測。這種交互式學習模式能夠隱式地消除標簽噪聲,并利用源域和目標域之間的相關性。因此,我們的GearNet具有極大的潛力來提高各種現有WSDL方法的性能。綜合實驗結果表明,該系統能夠顯著提高現有算法的性能。
本文研究了一種弱監督域自適應(WSDA)問題,在該問題中,我們只能訪問帶噪聲標簽的源域,并需要從源域將有用信息傳遞到無標簽的目標域。雖然對這個問題的研究不多,但大多數研究都只是利用源域到目標域的單向關系。在這篇論文中,我們提出了一個通用的范例叫做GearNet來開發兩個領域之間的雙邊關系。具體地說,我們將兩個域作為不同的輸入,交替訓練兩個模型,并使用對稱的Kullback-Leibler損耗對兩個模型在同一域的預測進行選擇性匹配。這種交互式學習模式能夠隱式地消除標簽噪聲,并利用源域和目標域之間的相關性。因此,我們的GearNet具有極大的潛力來提高各種現有WSDA方法的性能。綜合實驗結果表明,該系統能夠顯著提高現有算法的性能。
異構圖神經網絡(HGNN)作為一種新興的技術,在處理異構信息網絡(HIN)方面表現出優越的能力。然而,大多數HGNN遵循半監督學習方式,這明顯限制了它們在現實中的廣泛使用,因為標簽在實際應用中通常很少。近年來,對比學習,一種自監督的學習方法,成為最令人興奮的學習模式之一,在沒有標簽的情況下顯示出巨大的潛力。在本文中,我們研究了自監督HGNN的問題,并提出了一種新的HGNN的共同對比學習機制,名為HeCo。不同于傳統的對比學習只關注于對正樣本和負樣本的對比,HeCo采用了跨視角對比機制。具體來說,我們提出了HIN的兩種視圖(網絡模式視圖和元路徑視圖)來學習節點嵌入,從而同時捕獲局部和高階結構。在此基礎上,提出了一種跨視圖對比學習方法,并提出了一種視圖掩碼機制,能夠從兩個視圖中提取正面和負面的嵌入信息。這使得兩個視圖能夠相互協作監督,并最終學習高級節點嵌入。此外,設計了兩個擴展的HeCo,以產生高質量的硬負樣本,進一步提高了HeCo的性能。在各種真實網絡上進行的大量實驗表明,所提出的方法的性能優于最新的技術。
在本文中,我們提出了一種用于語義分割的無監督域自適應算法,該算法的目標是利用有標記的合成數據來分割無標記的真實數據。UDA語義分割的主要問題在于縮小真實圖像與合成圖像之間的域差距。為了解決這個問題,我們將重點放在將圖像中的信息分離為內容和樣式。在這里,只有內容具有進行語義分割的線索,而風格造成了領域差距。因此,即使在使用合成數據進行學習時,也可以將圖像中的內容和風格進行精確的分離,起到監督真實數據的作用。為了充分利用這種效果,我們提出采用零損失模式。盡管我們在實域上很好地提取了用于語義分割的內容,但在語義分類器中仍然存在類別不平衡的問題。我們通過將尾部類的內容從合成域轉移到實域來解決這個問題。實驗結果表明,該方法在兩種主要的神經網絡環境下都取得了最先進的語義分割性能。
圖神經網絡(gnn)的優勢在于對結構化數據的拓撲信息進行顯式建模。然而,現有的gnn在獲取層次圖表示方面的能力有限,而層次圖表示在圖形分類中起著重要的作用。本文創新性地提出了層次圖膠囊網絡(HGCN),該網絡可以聯合學習節點嵌入和提取圖的層次結構。具體地說,解糾纏圖膠囊是通過識別每個節點下的異構因素建立的,這樣它們的實例化參數代表同一實體的不同屬性。為了學習層次表示,HGCN通過顯式地考慮部件之間的結構信息,刻畫了低層膠囊(部分)和高層膠囊(整體)之間的部分-整體關系。實驗研究證明了HGCN算法的有效性和各組成部分的貢獻。
//www.zhuanzhi.ai/paper/c9930a15b45547cafbee90db8c5612aa
題目: Relation Adversarial Network for Low Resource Knowledge Graph Completion
摘要: 知識圖譜補全(Knowledge Graph Completion, KGC)是一種通過鏈接預測或關系提取來填充缺少的鏈接來改進知識圖譜的方法。KGC的主要困難之一是資源不足。之前的方法假設有足夠訓練的三元組來學習實體和關系的通用向量,或者假設有足夠數量的標簽句子來訓練一個合格的關系提取模型。然而,在KGs中,少資源關系非常普遍,這些新增加的關系往往沒有很多已知的樣本去進行訓練。在這項工作中,我們的目標是在具有挑戰性的環境下只有有限可用的訓練實例預測新的事實。我們提出了一個加權關系對抗性網絡的通用框架,它利用對抗性過程來幫助將從多資源關系中學習到的知識/特征調整為不同但相關的少資源關系。具體地說,該框架利用了一個關系鑒別器來區分樣本和不同的關系,幫助學習更容易從源關系轉移到目標關系的關系不變量特征。實驗結果表明,該方法在少資源設置下的鏈路預測和關系提取都優于以往的方法。
題目: IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
摘要: 本文介紹了一種新的用于圖像-文本聯合嵌入的視覺語言預訓練模型圖像BERT。我們的模型是一個基于Transformer的模型,它以不同的模態作為輸入,對它們之間的關系進行建模。該模型同時進行了四項任務的預訓練:掩蔽語言建模(MLM)、掩蔽對象分類(MOC)、掩蔽區域特征回歸(MRFR)和圖像文本匹配(ITM)。為了進一步提高預訓練的質量,我們從Web上收集了一個大規模的弱監督圖像-文本(LAIT)數據集。我們首先在這個數據集上對模型進行預訓練,然后對概念字幕和SBU字幕進行第二階段的預訓練。實驗結果表明,多階段預訓練策略優于單階段預訓練策略。我們還在圖像檢索和文本檢索任務上對預先訓練好的ImageBERT模型進行了調優和評估,并在MSCOCO和Flickr30k數據集上獲得了最好的效果。
題目: Adversarial-Learned Loss for Domain Adaptation
摘要: 近年來,在跨領域學習可轉移表征方面取得了顯著的進展。以往的領域適應研究主要基于兩種技術:領域對抗學習和自我訓練。然而,領域對抗性學習只會調整領域之間的特征分布,而不考慮目標特征是否具有區分性。另一方面,自訓練利用模型預測來增強目標特征的識別,但無法明確地指定領域分布。為了將這兩種方法的優點結合起來,我們提出了一種新的領域自適應的通用學習損失(ALDA)方法,首先分析了一種典型的自訓練方法偽標簽方法。然而,偽標簽和地面真實性之間存在差距,這可能導致錯誤的訓練。因此,我們引入了混淆矩陣,通過對抗性的方式在ALDA中學習,以減少gap并對齊特征分布。最后,從學習的混淆矩陣中自動構造一個新的損失函數,作為未標記目標樣本的損失。在四標準域自適應數據集中,OurALDA優于最新方法。
作者簡介: Haifeng Liu,博士,浙江大學計算機學院副教授。個人主頁://person.zju.edu.cn/en/hfliu
題目: Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification
簡介:
多標簽圖像和視頻分類是計算機視覺中最基本也是最具挑戰性的任務。主要的挑戰在于捕獲標簽之間的空間或時間依賴關系,以及發現每個類的區別特征的位置。為了克服這些挑戰,我們提出將語義圖嵌入的跨模態注意用于多標簽分類。基于所構造的標簽圖,我們提出了一種基于鄰接的相似圖嵌入方法來學習語義標簽嵌入,該方法顯式地利用了標簽之間的關系。在學習標簽嵌入的指導下,生成了新的跨模態注意圖。在兩個多標簽圖像分類數據集(MS-COCO和NUS-WIDE)上的實驗表明,我們的方法優于其他現有的方法。此外,我們在一個大的多標簽視頻分類數據集上驗證了我們的方法,評估結果證明了我們的方法的泛化能力。
最新BERT相關論文清單,BERT-related Papers