情感自動識別是一個活躍的研究課題,具有廣泛的應用前景。由于人工標注成本高和標簽不可避免的模糊性,情感識別數據集的發展在規模和質量上都受到了限制。因此,如何在有限的數據資源下建立有效的模型是關鍵挑戰之一。之前的研究已經探索了不同的方法來應對這一挑戰,包括數據增強、遷移學習和半監督學習等。然而,這些現有方法的缺點包括:訓練不穩定、遷移過程中的性能損失大、或改進幅度小。
在本研究中,我們提出了一種基于跨模態分布匹配的半監督多模態情感識別模型,該模型在假設跨模態內部情緒狀態在話語層面一致的前提下,利用大量的未標記數據來增強模型訓練。
我們在兩個基準數據集IEMOCAP和MELD上進行了廣泛的實驗來評估所提出的模型。實驗結果表明,該半監督學習模型能夠有效地利用未標記數據,并結合多種模態來提高情緒識別性能,在相同條件下優于其他先進的方法。與現有方法相比,該模型還利用了說話者和交互上下文等附加的輔助信息,從而達到了競爭能力。
推薦系統的數據稀疏性是一個固有的挑戰,因為推薦系統的大部分數據都來自于用戶的隱式反饋。這就帶來了兩個困難:
一是大部分用戶與系統的交互很少,沒有足夠的數據進行學習;
二是隱式反饋中不存在負樣本。通常采用負樣本的方法來產生負樣本。
然而,這導致了許多潛在的正樣本被誤標記為負樣本,數據的稀疏性會加劇誤標記問題。這是容易解釋的,因為:用戶購買了某一商品,你可以說他喜歡這一商品;但是用戶如果沒有買的那些商品,你沒有辦法說他就不喜歡。為了解決這些困難,作者沒有像其他的做法一樣,而是將稀疏隱式反饋的推薦問題作為半監督學習任務,并探索領域適應(Domain Adaptation)來解決這個問題。具體地,是將從密集數據中學習到的知識轉移到稀疏數據中,并專注于最具挑戰性的沒有用戶或項目重疊的情況。
在這種極端情況下,直接對齊兩個數據集的嵌入并不理想,因為這兩個潛在空間編碼的信息非常不同。因此,作者采用領域不變(domain-invariant)的文本特性作為錨點來對齊潛在空間。為了對齊嵌入,我們為每個用戶和項提取文本特性,并將它們與用戶和物品的嵌入一起提供給域分類器。訓練嵌入來迷惑分類器,并將文本特征固定為錨點。通過域適應,將源域內的分布模式轉移到目標域。由于目標部分可以通過區域自適應來監督,因此我們在目標數據集中放棄了負采樣以避免標簽噪聲。
在本文中,我們關注的是語義圖像合成任務,目的是將語義標記映射遷移到逼真的圖像。現有的方法在保留語義信息方面缺乏有效的語義約束,忽略了空間維度和通道維度上的結構相關性,導致結果模糊且容易產生假象。為了解決這些限制,我們提出了一種新的對偶注意力GAN (DAGAN),它可以合成具有輸入布局細節的真實照片和語義一致的圖像,而不增加額外的訓練開銷或修改現有方法的網絡結構。我們還提出了兩個新的模塊,即位置-方向的空間注意力模塊和尺度-方向的通道注意模塊,分別用于捕獲空間和通道維度上的語義結構注意力。具體來說,SAM通過空間注意力圖選擇性地將每個位置的像素關聯起來,從而使得具有相同語義標簽的像素無論在空間上的距離如何都相互關聯起來。同時,CAM通過通道注意力圖選擇性地強調每個通道上的標度特征,從而在所有的通道圖中集成相關的特征,而不管它們的標度如何。最后對SAM和CAM的結果進行求和,進一步改進特征表示。在四個具有挑戰性的數據集上進行的廣泛實驗表明,DAGAN取得了比最先進的方法顯著更好的結果,同時使用更少的模型參數。源代碼和經過訓練的模型可以在這個https URL中獲得。
領域自適應的目的是將知識從有標記的源域遷移到無標記的目標域。盡管近年來數據挖掘技術取得了顯著的進步,但數據挖掘方法的能力仍然嚴重依賴于網絡深度,特別是在領域差異很大的情況下,這對需要快速、自適應推理的低資源場景下的數據挖掘提出了前所未有的挑戰。如何在數據挖掘中架起可遷移性和資源高效推理的橋梁成為一個重要問題。在本文中,我們提出了資源有效域適應(REDA),這是一個通用的框架,可以跨越“容易”和“難”輸入自適應地調整計算資源。在現有的多出口結構的基礎上,REDA提出了兩種新穎的設計:1)可遷移蒸餾,將頂層分類器的可遷移性提取到早期出口;2)一致性加權,通過預測一致性控制精餾程度。REDA是一種通用的方法,可以方便地與多種DA方法相結合。實驗結果和分析表明,在域漂移和資源較少的情況下,REDA可以顯著提高推理的準確性和加速推理。
//ise.thss.tsinghua.edu.cn/~mlong/doc/resource-efficient-domain-adaptation-acmmm20.pdf
視頻通常有多種形式的數據,如音頻、視頻、文本(字幕)。理解和建模不同模態之間的交互是視頻分析任務的關鍵,如分類,目標檢測,活動識別等。然而,數據模態并不總是相關的——因此,了解模態何時相關并使用它來引導一種模態對另一種模態的影響是至關重要的。視頻的另一個顯著特征是連續幀之間的連貫性,這是由于視頻和音頻的連續性,我們稱之為時間連貫性。我們展示了如何使用非線性引導的跨模態信號和時間相干性來提高多模態機器學習(ML)模型在視頻分析任務(如分類)中的性能。我們在大規模YouTube-8M數據集上的實驗表明,我們的方法在視頻分類方面顯著優于最先進的多模式ML模型。在YouTube-8M數據集上訓練的模型,在不需要再訓練和微調的情況下,在一個來自實際電視頻道的視頻片段的內部數據集上也表現出了良好的性能,顯示了我們的模型較強的泛化能力。
現有的語義分割模型嚴重依賴于密集的像素級標注。為了減少標注的壓力,我們專注于一項具有挑戰性的任務,即零標注語義分割,它的目標是用零標注分割不可見的對象。這一任務可以通過語義詞嵌入在類別間傳遞知識來完成。在本文中,我們提出了一種新的基于上下文的零樣本分割特征生成方法——CaGNet。特別是在觀察到像素級特征高度依賴上下文信息的情況下,我們在分割網絡中插入上下文模塊來捕獲像素級特征的上下文信息,從而指導語義詞嵌入生成更加多樣化和上下文感知的特征的過程。我們的方法在三個基準數據集上實現了最先進的零樣本分割結果。代碼可在:this https URL獲得。
在觀看視頻時,視覺事件的發生往往伴隨著聲音事件,如唇動的聲音,樂器演奏的音樂。視聽事件之間存在著一種潛在的相關性,通過解決視聽同步的代理任務,可以將其作為自監督信息來訓練神經網絡。在本文中,我們提出了一種新的帶有共同注意力機制的自監督框架來學習無標記視頻中的通用跨模態表示,并進一步使下游任務受益。具體而言,我們探討了三個不同的共注意模塊,以關注與聲音相關的區分視覺區域,并介紹它們之間的相互作用。實驗表明,與現有方法相比,我們的模型在參數較少的情況下,取得了較好的效果。為了進一步評估我們方法的可推廣性和可遷移性,我們將預訓練的模型應用于兩個下游任務,即聲源定位和動作識別。大量的實驗表明,我們的模型可以提供與其他自監督方法競爭的結果,也表明我們的方法可以處理具有挑戰性的場景包含多個聲源。
視覺對話是一項具有挑戰性的任務,它需要從視覺(圖像)和文本(對話歷史)上下文中提取隱含信息。經典的方法更多地關注當前問題、視覺知識和文本知識的整合,忽略了跨模態信息之間的異構語義鴻溝。同時,連接操作已成為跨模式信息融合的事實標準,其信息檢索能力有限。本文提出了一種新的知識橋接圖網絡模型,利用圖在細粒度上橋接視覺知識和文本知識之間的跨模式語義關系,并通過自適應的信息選擇模式檢索所需的知識。此外,視覺對話的推理線索可以清晰地從模態內實體和模態間橋梁中提取出來。VisDial v1.0和VisDial- q數據集上的實驗結果表明,我們的模型優于現有的模型,取得了最新的結果。
//www.zhuanzhi.ai/paper/6a3e359d8827752a98f2e5daa7079d2a
對于有足夠標記樣本的基類,小樣本分類的目標是在只有少量標記樣本的情況下識別新類的未標記樣本。現有的方法大多只關注新類的標記樣本和未標記樣本之間的關系,沒有充分利用基類內部的信息。在本文中,我們為研究小樣本分類問題做了兩個貢獻。首先,我們提出了一個簡單而有效的基線,通過傳統的監督學習的方式在基類上訓練,可以取得與目前水平相當的結果。其次,在基線的基礎上,我們提出了一個協作的雙路徑分類度量,它利用基類和新類之間的相關性來進一步提高分類的準確性。在兩個廣泛使用的基準上的實驗表明,該方法是一種簡單有效的分類方法,在小樣本分類領域開創了一種新局面。