華為諾亞方舟實驗室網絡大腦團隊聯合天津大學提出一種采用雙向對抗訓練生成中間域樣本提升半監督域自適應效果的方法，該工作《Bidirectional Adversarial Training for Semi-Supervised Domain Adaptation》已發表于IJCAI 2020。 論文地址：//www.ijcai.org/Proceedings/2020/130
領域自適應（domain adaptation）是遷移學習中的一個重要問題，目的是減小分布不同的源域 (source domain) 和目標域（target domain）的數據差距。從而可以把在源域上訓練的模型遷移到目標域上。無監督領域自適應和半監督領域自適應是其中的兩個重要的子問題。通常情況下，無監督領域自適應不需要目標域中的任何標注，而半監督領域自適應往往需要目標域的少量標注。本文解決的是半監督的領域自適應（Semi-Supervised Domain Adaptation，SSDA）問題。這個問題的一個主要挑戰是如何有效的利用這些目標域的少量標注信息來縮小源域和目標域的領域鴻溝（Domain Gap）。
經典的方法主要還是基于無監督領域自適應的思想去學習一個領域不變的分類模型。然而，這種方法主要是采用對抗學習來學習這種不變性，并沒有很好的利用目標域的標注信息。
本文采用了生成對抗樣本的思路在源域和目標域之間建立聯系。簡單來說，我們采用一些樣本生成的策略，在Domain Gap內部生成新的樣本點，如下圖中黃色樣本所示。然后利用這些生成樣本訓練網絡，達到領域自適應的目的。
為了實現上述目的，我們希望生成的樣本點能盡可能地具備方向性，即從源域到目標域，以及從目標域到源域雙向地生成對抗樣本。為此，本文借鑒對抗防御中的對抗訓練策略，在真實樣本上疊加有向的噪聲擾動，提出一種雙向對抗訓練（Bidirectional Adversarial Training）的方法一定程度上解決SSDA問題。
付費5元查看完整內容
相關內容
論文名稱：Combining Self-Training and Self-Supervised Learningfor Unsupervised Disfluency Detection 論文作者：王少磊，王重元，車萬翔，劉挺 原創作者：王少磊 論文鏈接：//ir.hit.edu.cn/~slwang/emnlp2020.pdf
摘要：文本順滑（Disfluency Detection）的目的是刪除自動語音識別（ASR）結果中的不順滑的詞，從而得到更自然和通順的句子。目前大部分在文本順滑（Disfluency Detection）任務上的工作都嚴重依賴人工標注數據。在本工作中，我們首次嘗試用無監督的方法來解決文本順滑問題。我們通過結合自訓練（self-training）和自監督（self-supervised）兩種方法，在不采用任何有標注訓練數據的情況下，取得了跟目前最好的有監督方法接近的效果。
付費5元查看完整內容
題目： Adversarial-Learned Loss for Domain Adaptation
摘要： 近年來，在跨領域學習可轉移表征方面取得了顯著的進展。以往的領域適應研究主要基于兩種技術：領域對抗學習和自我訓練。然而，領域對抗性學習只會調整領域之間的特征分布，而不考慮目標特征是否具有區分性。另一方面，自訓練利用模型預測來增強目標特征的識別，但無法明確地指定領域分布。為了將這兩種方法的優點結合起來，我們提出了一種新的領域自適應的通用學習損失（ALDA）方法，首先分析了一種典型的自訓練方法偽標簽方法。然而，偽標簽和地面真實性之間存在差距，這可能導致錯誤的訓練。因此，我們引入了混淆矩陣，通過對抗性的方式在ALDA中學習，以減少gap并對齊特征分布。最后，從學習的混淆矩陣中自動構造一個新的損失函數，作為未標記目標樣本的損失。在四標準域自適應數據集中，OurALDA優于最新方法。
作者簡介： Haifeng Liu，博士，浙江大學計算機學院副教授。個人主頁：//person.zju.edu.cn/en/hfliu
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191