編輯、內容生產、自動駕駛等領域。其中，半監督視頻目標分割，是指給定一段視頻和第一幀的目標物體，在視頻的所有剩余幀中分割出該物體。在一個視頻序列中，目標物體往往會因為連續運動和視角變化發生很大的外觀改變，包括形變和遮擋。同時視頻中往往會有和目標相似的其他物體存在，使得分辨目標更加困難。因此，視頻目標分割是一個比較有挑戰性的問題，至今還沒有很好的解決。
從最近的研究成果來看，Memory-based 的方法是目前 VOS 領域性能表現最佳的一類方法，其代表作是 STM。STM 提出利用過往所有歷史幀的信息，對于當前待分割的幀，STM 會將其與所有歷史幀在時空域上做一個匹配學習，從而將當前幀的特征和歷史幀的特征關聯起來，得到了遠超之前方法的效果。然而 STM 的分割結果中仍然有很多不足。如下圖所示，可以觀察到有兩個典型的錯誤現象：
左邊一列圖中，STM 會傾向于把和目標物體同類別的其他物體也分割出來。右邊一列圖中，STM 的分割結果中會出現一些錯誤的碎塊。這些錯誤樣本都有一個共同特點，就是其局部像素塊的外觀特征和待分割目標局部區域的外觀特征極為相似。這些 badcase 的現象和 STM 本身的原理是有關聯的，因為類似 STM 的 Memory-based 方法，在幀間關系建模上，是均等地在時間和空間域上做了一個特征像素級別的匹配，傾向于找出當前幀和所有歷史幀標記 mask 區域的特征相似區域，因此會產生上述 badcase。
為了進一步提升 Memory-based 的 VOS 方法，該研究提出從兩個方面去改進：
一、位置一致性。目標物體在視頻幀間的運動是遵循一定軌跡的，如果在某一幀的一些位置出現和目標物體相似的同類物體，如果其位置不合理，那么該物體是目標物體的可能性就會降低，不應該被分割。
二、目標一致性。視頻目標分割本質上也可以理解為是一個像素級別的物體跟蹤。雖然分割是像素級的任務，但 VOS 的處理對象是物體(object)，需要有一個類似圖像實例分割中對于物體級別的約束。顯然那些錯誤的碎塊分割結果是不滿足一個目標物體整體的概念的。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191