我們研究了無監督的視頻表示學習,該學習旨在僅從未標記的視頻中學習運動和外觀特征,可以將其重用于下游任務,例如動作識別。然而,由于以下原因,這項任務極具挑戰性:1)視頻中的高度時空信息;2)缺少用于訓練的標記數據。與靜態圖像的表示學習不同,難以構造合適的自我監督任務來很好地對運動和外觀特征進行建模。最近,已經進行了幾種嘗試以通過視頻回放速度預測來學習視頻表示。但是,為視頻獲取精確的速度標簽并非易事。更關鍵的是,學習的模型可能傾向于集中于運動模式,因此可能無法很好地學習外觀特征。在本文中,我們觀察到相對回放速度與運動模式更加一致,從而為表示學習提供了更加有效和穩定的監督。因此,我們提出了一種感知播放速度并利用兩個視頻片段之間的相對速度作為標簽的新方法。這樣,我們就能很好地感知速度并學習更好的運動功能。此外,為了確保學習外觀特征,我們進一步提出了以外觀為中心的任務,其中我們強制執行模型以感知兩個視頻剪輯之間的外觀差異。我們表明,優化兩個任務可以共同持續改善兩個下游任務(即動作識別和視頻檢索)的性能。值得注意的是,對于UCF101數據集上的動作識別,在不使用標記數據進行預訓練的情況下,我們達到了93.7%的準確性,這優于ImageNet監督的預訓練模型。
在推薦系統中,當用戶-物品交互數據稀疏時,常用社會關系來提高推薦質量。大多數現有的社交推薦模型都是利用成對關系來挖掘潛在的用戶偏好。然而,現實生活中用戶之間的互動非常復雜,用戶關系可以是高階的。超圖提供了一種自然的方式來建模復雜的高階關系,而它在改善社會推薦方面的潛力還有待開發。在本文中,我們填補了這一空白,提出了一種利用高階用戶關系增強社交推薦的多通道超圖卷積網絡。技術上,網絡中的每個通道通過超圖卷積編碼一個描述常見高階用戶關系模式的超圖。通過聚合通過多種渠道學習到的嵌入,我們獲得了全面的用戶表示,從而產生推薦結果。然而,聚合操作也可能掩蓋不同類型高階連接信息的固有特征。為了彌補累積損失,我們創新性地將自監督學習融入到超圖卷積網絡的訓練中,以獲取具有層次互信息最大化的連通信息。在多個真實數據集上的實驗結果表明,該模型優于SOTA方法,消融研究驗證了多通道設置和自監督任務的有效性。我們的模型的實現可以通過//github.com/Coder-Yu/RecQ獲得。
基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果,并可以通過利用未標記的數據減輕醫生昂貴的標注。然而,現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息,我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化,而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題,我們首次提出了一個新的雙任務一致性半監督框架。具體地說,我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時,我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化,用于標記和未標記數據。在兩個公共數據集上的大量實驗表明,我們的方法可以通過合并未標記數據極大地提高性能。同時,我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。
論文概述:視頻中的時序關系建模對于行為動作理解(如動作識別和動作分割)至關重要。盡管圖卷積網絡(GCN)在許多任務的關系推理中顯示出令人鼓舞的優勢,但如何在長視頻序列上有效地應用圖卷積網絡仍然是一個挑戰。其主要原因是大量存在的視頻幀節點使GCN難以捕獲和建模視頻中的時序依賴關系。為了解決此問題,本文引入了一個有效的GCN模塊,即膨脹時序圖推理模塊(DTGRM),該模塊旨在對不同時間跨度視頻幀之間的時序關系和相關性進行建模,尤其可以通過構造多級擴張的時序圖來捕獲和建模長跨度的時序關系。此外,為了增強所提出模型的時序推理能力,本文提出了一種輔助的自監督任務,以鼓勵膨脹的時序圖推理模塊找到并糾正視頻中錯誤的時序關系。本模型在三個具有挑戰性的數據集上均優于最新的行動分割模型。
//www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355
旨在對不同時間跨度的視頻幀之間的時間關系和相關性進行建模,表現SOTA!性能優于50Salads、MSTCN++等網絡,代碼即將開源!
視頻中的時間關系建模對于人類動作理解(例如行為識別和動作分割)至關重要。盡管圖卷積網絡(GCN)在許多任務的關系推理中顯示出了令人鼓舞的優勢,但在長視頻序列上有效地應用圖卷積網絡仍然是一個挑戰。主要原因是大量節點(即視頻幀)使GCN難以捕獲和建模視頻中的時間關系。為了解決這個問題,在本文中,我們引入了一個有效的GCN模塊,即膨脹時間圖推理模塊(DTGRM),該模塊旨在對不同時間跨度的視頻幀之間的時間關系和相關性進行建模。特別是,我們通過構造多級擴張的時間圖來捕獲和建模時間關系,其中節點表示視頻中不同時刻的幀。此外,為了增強所提出模型的時間推理能力,提出了一種輔助的我監督任務,以鼓勵膨脹的時間圖推理模塊找到并糾正視頻中錯誤的時間關系。在三個具有挑戰性的數據集上,我們的DTGRM模型優于最新的動作分割模型:50Salads,在GTEA和Breakfast數據集上。
論文鏈接://www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6
簡介:數據增強已被廣泛用于提高機器學習模型的通用性。但是,相對較少的工作研究圖形的數據擴充。這在很大程度上是由于圖的復雜非歐幾里得結構限制了可能的操縱操作。視覺和語言中常用的增強操作沒有圖形類似物。在改進半監督節點分類的背景下,我們的工作研究了圖神經網絡(GNN)的圖數據擴充。我們討論了圖數據擴充的實踐和理論動機,考慮因素和策略。我們的工作表明,神經邊緣預測器可以有效地編碼類同質結構,以在給定的圖結構中促進類內邊緣和降級類間邊緣,并且我們的主要貢獻是引入了GAug圖數據擴充框架,該框架利用這些見解來提高性能通過邊緣預測的基于GNN的節點分類在多個基準上進行的廣泛實驗表明,通過GAug進行的增強可提高GNN架構和數據集的性能。
在本文中,我們研究了在自然環境下使用無標記視頻進行視覺對應的自監督學習。我們的方法同時考慮視頻內和視頻間的表示關聯,以獲得可靠的對應估計。視頻內學習通過幀對相似性在單個視頻中跨幀轉換圖像內容。為了獲得實例級分離的判別表示,我們在視頻內部分析的基礎上,構造了視頻間的相似關系,以方便不同視頻之間的對比變換。通過強制視頻內級和視頻間級之間的轉換一致性,可以很好地保留細粒度的對應關聯,有效地加強實例級特征識別。在視頻目標跟蹤(VOT)、視頻目標分割(VOS)、姿態關鍵點跟蹤等一系列視覺任務上,我們的簡單框架的性能優于最近的自監督對應方法。值得一提的是,我們的方法也超過了完全監督的相似表示(如ResNet),并與最近為特定任務(如VOT和VOS)設計的完全監督算法相媲美。
在觀看視頻時,視覺事件的發生往往伴隨著聲音事件,如唇動的聲音,樂器演奏的音樂。視聽事件之間存在著一種潛在的相關性,通過解決視聽同步的代理任務,可以將其作為自監督信息來訓練神經網絡。在本文中,我們提出了一種新的帶有共同注意力機制的自監督框架來學習無標記視頻中的通用跨模態表示,并進一步使下游任務受益。具體而言,我們探討了三個不同的共注意模塊,以關注與聲音相關的區分視覺區域,并介紹它們之間的相互作用。實驗表明,與現有方法相比,我們的模型在參數較少的情況下,取得了較好的效果。為了進一步評估我們方法的可推廣性和可遷移性,我們將預訓練的模型應用于兩個下游任務,即聲源定位和動作識別。大量的實驗表明,我們的模型可以提供與其他自監督方法競爭的結果,也表明我們的方法可以處理具有挑戰性的場景包含多個聲源。
場景流估計在三維環境感知中越來越受到重視。單目場景流估計是一個高度不適定的問題,目前缺乏實用的解決方案。單目場景流估計是從兩個時間上連續的圖像中獲取三維結構和三維運動。我們提出了一種新的單目場景流算法,該算法具有較強的精度和實時性。采用逆問題觀點,我們設計了一個單獨的卷積神經網絡(CNN),它可以成功地從一個經典的光流成本體積同時估計深度和三維運動。我們采用帶有三維損失函數和遮擋推理的自監督學習來利用未標記的數據。我們驗證了我們的設計選擇,包括代理丟失和增加設置。我們的模型在單目場景流的無監督/自監督學習方法中達到了最先進的精度,并在光流和單目深度估計子任務中獲得了具有競爭力的結果。半監督微調進一步提高了精度,并在實時產生有希望的結果。