從不同的數據視圖中學習,探索它們之間潛在的互補信息,可以使表示具有更強的表達能力。然而,高維特征往往包含噪音,而且,數據的質量通常因不同的樣本(甚至不同的視角)而不同,即,一個視圖可能對一個樣本提供信息,但對另一個樣本卻不是這樣。因此,在無監督的情況下,整合多視角有噪聲的數據是非常具有挑戰性的。傳統的多視角方法要么簡單地將每個視角同等重要,要么將不同視圖的權重調優為固定值,不足以捕獲多視角數據中的動態噪聲。在這項工作中,我們設計了一種新的無監督的多視角學習方法,稱為動態不確定性感知網絡(DUA-Nets)。在生成角度估計數據不確定性的指導下,集成了來自多個視圖的固有信息,以獲得無噪聲表示。在不確定性的幫助下,DUA-Nets根據數據質量對單個樣本的每個視圖進行權衡,以充分利用高質量的樣本(或視圖),同時減輕噪聲樣本(或視圖)的影響。我們的模型在大量的實驗中取得了優異的性能,并顯示了對噪聲數據的魯棒性。
在推薦系統中,當用戶-物品交互數據稀疏時,常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而,現實生活中用戶之間的互動非常復雜,用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系,而它在改善社會推薦方面的潛力還有待開發。在本文中,我們填補了這一空白,提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上,網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入,我們獲得了全面的用戶表示,從而產生推薦結果。然而,聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失,我們創新性地將自監督學習融入到超圖卷積網絡的訓練中,以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明,該模型優于SOTA方法,消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。
以往的人臉圖像質量評估研究大多以樣本層面不確定性或配對相似度作為質量評分標準,而且只考慮部分類內信息。這些方法忽略了來自類間有價值的信息。在本研究中,對于人臉識別系統,我們認為一個高質量的人臉圖像應該與其類內樣本相似,而與其類間樣本不相似,如圖1所示。為此,我們提出了一種基于類內-類間相似度分布距離的無監督人臉質量評估方法(SDD-FIQA)。
//www.zhuanzhi.ai/paper/b51b03b10fb5b413e14282835e0e8a6a
該方法從人臉識別的性能影響因子出發,從理論上推導出人臉樣本類間相似度分布與人臉圖像質量高度相關,利用類內相似度分布和類間相似度分布之間的Wasserstein距離生成人臉圖像質量偽標簽。然后,利用這些質量偽標簽進行無監督訓練一個人臉質量回歸網絡,從而獲得一個質量評估模型。大量實驗表明,在各大人臉識別的基準數據集上,提出的SDD-FIQA方法在不同的人臉識別系統下,精度和泛化能力都達到國際最先進水平。
主要創新點:1)發現了人臉樣本類間相似度分布與人臉圖像質量高度相關;2)提出了類內-類間相似度分布距離的概念;3)從理論上導出了人臉圖像質量與類內-類間相似度分布距離直接相關;4)提出了利用Wasserstein準則度量類內-類間相似度分布距離,并用于人臉圖像質量評分;5)實現了一種完全無監督的人臉圖像質量評估算法,性能最優。
我們研究了無監督的視頻表示學習,該學習旨在僅從未標記的視頻中學習運動和外觀特征,可以將其重用于下游任務,例如動作識別。然而,由于以下原因,這項任務極具挑戰性:1)視頻中的高度時空信息;2)缺少用于訓練的標記數據。與靜態圖像的表示學習不同,難以構造合適的自我監督任務來很好地對運動和外觀特征進行建模。最近,已經進行了幾種嘗試以通過視頻回放速度預測來學習視頻表示。但是,為視頻獲取精確的速度標簽并非易事。更關鍵的是,學習的模型可能傾向于集中于運動模式,因此可能無法很好地學習外觀特征。在本文中,我們觀察到相對回放速度與運動模式更加一致,從而為表示學習提供了更加有效和穩定的監督。因此,我們提出了一種感知播放速度并利用兩個視頻片段之間的相對速度作為標簽的新方法。這樣,我們就能很好地感知速度并學習更好的運動功能。此外,為了確保學習外觀特征,我們進一步提出了以外觀為中心的任務,其中我們強制執行模型以感知兩個視頻剪輯之間的外觀差異。我們表明,優化兩個任務可以共同持續改善兩個下游任務(即動作識別和視頻檢索)的性能。值得注意的是,對于UCF101數據集上的動作識別,在不使用標記數據進行預訓練的情況下,我們達到了93.7%的準確性,這優于ImageNet監督的預訓練模型。
//www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4
消息傳遞圖神經網絡(GNNs)為關系數據提供了強大的建模框架。曾經,現有GNN的表達能力上界取決于1- Weisfeiller -Lehman (1-WL)圖同構測試,這意味著gnn無法預測節點聚類系數和最短路徑距離,無法區分不同的d-正則圖。在這里,我們提出了一類傳遞消息的GNN,稱為身份感知圖神經網絡(ID- GNNs),具有比1-WL測試更強的表達能力。ID-GNN為現有GNN的局限性提供了一個最小但強大的解決方案。ID-GNN通過在消息傳遞過程中歸納地考慮節點的身份來擴展現有的GNN體系結構。為了嵌入一個給定的節點,IDGNN首先提取以該節點為中心的自我網絡,然后進行輪次異構消息傳遞,中心節點與自我網絡中其他周圍節點應用不同的參數集。我們進一步提出了一個簡化但更快的ID-GNN版本,它將節點標識信息作為增強節點特征注入。總之,ID-GNN的兩個版本代表了消息傳遞GNN的一般擴展,其中實驗表明,在具有挑戰性的節點、邊緣和圖屬性預測任務中,將現有的GNN轉換為ID-GNN平均可以提高40%的準確率;結點和圖分類在基準測試上提高3%精度;在實際鏈路預測任務提高15%的ROC AUC。此外,與其他特定于任務的圖網絡相比,ID- GNN表現出了更好的或相當的性能。
多元序列學習的本質是如何提取數據中的相關性。這些數據集,如重癥監護病房的每小時醫療記錄和多頻語音時間序列,通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶),而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎,我們采用數據驅動的方法,構建了一種新的循環網絡結構,稱為記憶門控循環網絡(mGRN),門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合,我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。
//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0
知識圖譜的關系預測旨在預測實體之間的缺失關系。盡管歸納關系預測的重要性,大多數以前的工作都局限于一個轉換的設置,不能處理以前看不見的實體。最近提出的基于子圖的關系推理模型提供了從圍繞一個候選三元組的子圖結構中歸納預測鏈接的替代方法。然而,我們觀察到這些方法往往忽略了提取子圖的有向性質,削弱了關系信息在子圖建模中的作用。因此,它們不能有效地處理不對稱/反對稱三聯體,并為目標三聯體產生不足的嵌入。為此,我們引入了一種用于歸納關系推理的傳遞消息的神經網絡CoMPILE,該網絡對局部有向子圖結構進行推理,并對處理實體無關的語義關系具有強烈的歸納傾向。與現有模型相比,CoMPILE加強了邊緣之間的消息交互,并授權通過通信內核,并支持足夠的關系信息流。此外,我們還證明了CoMPILE可以自然地處理非對稱/反對稱關系,而不需要通過提取有向封閉子圖來爆炸式地增加模型參數的數量。廣泛的實驗表明,與最先進的方法相比,在常用的基準數據集上具有不同的歸納設置的實質性性能收益。
領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而,對于具有不同數據可用性的時間序列數據,還沒有考慮到健壯的技術。在本文中,我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS),該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據,我們增加了CoDATS的有用性,從而進一步提高了與以前的單源方法相比的準確性,特別是在域之間具有高度可變性的復雜時間序列數據集上。其次,我們提出了一種新的弱監督域自適應(DA-WS)方法,利用目標域標簽分布形式的弱監督,這可能比其他數據標簽更容易收集。第三,我們對不同的真實數據集進行了綜合實驗,以評估我們的域適應和弱監督方法的有效性。結果表明,用于單源DA的CoDATS比最先進的方法有了顯著的改進,并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。