Paper鏈接： //www.zhuanzhi.ai/paper/1a015a77210f145df93ca7e92bcf63f8 Project Page： 代碼鏈接：
實例分割（instance segmentation）已經被以 Mask R-CNN 為代表的“先檢測后分割”的框架主導了多年，之前涌現的單階段實例分割算法也依然需要遍歷圖片中的每一個位置（feature grids）來預測實例分割掩碼（instance masks），因此他們都需要一些額外的組件（如檢測框或/和NMS）來區分不同實例或清理相同實例的掩碼。
我們希望實例分割的推理過程可以像語義分割那樣簡單： 由一組卷積核（convolutional kernels） 生成一組 mask，每一個 mask 至多只分割圖片中的一個物體，且不同的 kernel 負責不同物體的 mask 生成。這樣就可以不借助任何額外的組件來完成實例分割任務（box-free and NMS-free)，并且在提高推理效率的同時實現端到端的訓練優化，同時也自然地統一了語義、實例乃至全景分割任務的解決范式。
我們提出 K-Net 來作為這個思路的一種探索，在全景分割（COCO-panoptic，test-dev set， 55.2 PQ）和語義分割（ADE20K val set，54.3 mIoU）上取得了新的 state-of-the-art 結果，在相同的實例分割精度下模型的推理速度比 Cascade Mask R-CNN 快 60-90% 。
付費5元查看完整內容
相關內容
實例分割（instance segmentation）已經被以 Mask R-CNN 為代表的“先檢測后分割”的框架主導了多年，之前涌現的單階段實例分割算法也依然需要遍歷圖片中的每一個位置（feature grids）來預測實例分割掩碼（instance masks），因此它們都需要一些額外的組件（如檢測框或/和NMS）來區分不同實例或清理相同實例的掩碼。
我們希望實例分割的推理過程可以像語義分割那樣簡單：由一組卷積核（convolutional kernels） 生成一組 mask，每一個 mask 至多只分割圖片中的一個物體，且不同的 kernel 負責不同物體的 mask 生成。這樣就可以不借助任何額外的組件來完成實例分割任務（box-free and NMS-free)，并且在提高推理效率的同時實現端到端的訓練優化，同時也自然地統一了語義、實例乃至全景分割任務的解決范式。
我們提出 K-Net 來作為這個思路的一種探索，在全景分割（COCO-panoptic，test-dev set， 55.2 PQ）和語義分割（ADE20K val set，54.3 mIoU）上取得了新的 state-of-the-art 結果，在相同的實例分割精度下模型的推理速度比 Cascade Mask R-CNN 快 60-90% 。
付費5元查看完整內容
Semantic, instance, and panoptic segmentations have been addressed using different and specialized frameworks despite their underlying connections. This paper presents a unified, simple, and effective framework for these essentially similar tasks. The framework, named K-Net, segments both instances and semantic categories consistently by a group of learnable kernels, where each kernel is responsible for generating a mask for either a potential instance or a stuff class. To remedy the difficulties of distinguishing various instances, we propose a kernel update strategy that enables each kernel dynamic and conditional on its meaningful group in the input image. K-Net can be trained in an end-to-end manner with bipartite matching, and its training and inference are naturally NMS-free and box-free. Without bells and whistles, K-Net surpasses all previous published state-of-the-art single-model results of panoptic segmentation on MS COCO test-dev split and semantic segmentation on ADE20K val split with 55.2% PQ and 54.3% mIoU, respectively. Its instance segmentation performance is also on par with Cascade Mask R-CNN on MS COCO with 60%-90% faster inference speeds. Code and models will be released at //github.com/ZwwWayne/K-Net/.
//www.zhuanzhi.ai/paper/cb3378314b648e21f7e04d86c3bc5727
GID提出了一種基于檢測任務的新型蒸餾方法。通過從teacher和studnet中分別提取general instance (GI)，并提出GISM模塊自適應選擇差異大的instance進行feature-based、relation-based以及response-based蒸餾。本方法首次將關系型知識蒸餾應用于檢測框架，且將蒸餾目標從獨立考慮的正負樣本蒸餾統一為更本質GI蒸餾，過程中不依賴于GT，且達到SOTA。
付費5元查看完整內容
在計算機視覺領域，全景分割是一個新穎且重要的研究問題，它是機器感知、自動駕駛等新興前沿技術的基石，有著十分重要的研究意義. 本文綜述了基于深度學習的全景分割研究的最新進展，總結了全景分割任務的基本處理流程，并對已發表的全景分割工作基于其網絡結構特點進行分類，并作了全面的介紹與分析，最后對全景分割任務目前面臨的問題以及未來的發展趨勢做出了分析，并針對所面臨的問題提出了一些切實可行的解決思路.
全景分割[1]是將圖像劃分為語義區域(stuff)和 對象實例(things)的任務，是近年來新興起的一個研 究方向，也是計算機視覺中一個重要的研究問題. 隨著圖像處理技術的發展，數字圖像已經成為日常 生活中不可缺少的媒介，每時每刻都在產生圖像數 據. 對圖像中的物體進行快速準確的分割變得愈發重要.
全景分割包含語義分割和實例分割兩大任務. 語義分割是將類別標簽按圖像中物體類別分配給 每個像素，即將輸入圖像中的像素分為不同的語義 類別. 傳統的語義分割方法多數基于模型驅動，模 型驅動方法可分為生成式和判別式[2] . 生成式模型 首先學習圖像的特征和標簽概率，然后計算輸入圖 像特征時各個標簽的后驗概率，依據此概率對圖像 進行標注. 馬爾科夫隨機場(Markov Random Field, MRF)是一種應用廣泛的生成式模型[3]，它利用先驗上下文信息和訓練得到的結果，提高分割性能. 但 是當圖像較大時，分割速度和精度會大幅下降. 判 別式模型假設圖像特征與標簽之間存在某種映射 關系，然后從歷史數據學習該映射關系的相關參數 [2] . 典型的判別式模型包括支持向量機(Support Vector Machine, SVM)、條件隨機場(Conditional Random Field, CRF)等. SVM 因其可處理非線性且 具有良好的泛化能力，在語義分割研究中得到了廣 泛應用[3]. CRF 不僅可以利用圖像上下文信息，還 可學習從局部到全局的上下文信息，已經成功應用 于圖像標記[4] . 然而，判別式模型存在收斂速度慢無法解決存在隱變量的情況等不容忽視的問題.
近年來，隨著硬件計算能力的提高，語義分割 得到快速發展. 隨著全卷積網絡(fully convolutional network, FCN)的出現[5]，深度學習推動語義分割任 務快速發展，并且在自動駕駛、人臉識別等領域得 到應用.
實例分割實質上是目標檢測和語義分割的結合，目的是將輸入圖像中的目標檢測出來，并且對 每個像素分配類別標簽. 實例分割能夠對前景語義 類別相同的不同實例進行區分，這是它與語義分割 的最大區別. 相比語義分割，實例分割發展較晚， 因此實例分割模型主要基于深度學習技術，但它也 是圖像分割一個重要的組成部分. 隨著深度學習的 發展，實例分割相繼出現了 SDS [6]、DeepMask [7]、 MultiPath Network [8]等方法，分割精度和效率逐漸 得到提升.
全景分割是語義分割和實例分割的綜合. 全景 分割任務不僅要求區分輸入圖像中的背景語義類 別和前景語義類別，還要將同一類別前景語義中的 不同實例分割出來，因此全景分割任務比語義分 割、實例分割任務的難度更高. 全景分割由 Kirillov 等人[1]于 2018 年提出，已經得到計算機視覺學界的 高度重視，涌現出 JSIS-Net[9]、TASCNet[10]、AUNet[11] 等方法，顯著推動了全景分割的發展. 但是在真實 環境下，全景分割經常遇到以下挑戰：
(1) 分支融合沖突 全景分割任務是語義分割與實例分割兩個任務的綜合，在網絡結構方面，現有大部分方法將輸 入圖像的特征輸入到語義分支與實例分支，然后融 合兩個分支的輸出，得到全景輸出. 但是在融合時 會出現像素分配沖突，影響全景預測質量.
(2) 小物體檢測分割 數據集中的圖像會出現大小、距離不一的許多 物體，對于大物體，諸多全景分割方法能夠對其進 行準確分割，當小物體出現時，經常伴隨被忽略或 者分割不準確的問題，這導致全景分割精度較低， 直接增加了全景分割的難度.
(3) 分割對象交疊 在圖像采集過程中，會因為季節、天氣、光照、 距離等條件的變化，出現不同的場景，圖像中物體 會出現遮擋交疊等情況，這使得分割方法無法準確 判斷像素的歸屬，導致分割不精確. 為了克服上述挑戰，已經出現了一些全景分割 方法，它們在分支融合、小物體檢測、遮擋處理方 面提出了不同的應對策略，在一定程度上解決了這 些問題.
本文首先介紹全景分割的流程，然后重點 介紹深度學習在全景分割領域的研究進展. 本文內容安排如下：第 1 節介紹全景分割的基 本流程；第 2 節對語義分割、實例分割等相關知識 以及全景分割數據集進行介紹；第 3 節介紹深度學 習在全景分割領域的研究進展；第 4 節討論全景分 割研究面臨的挑戰，并對今后的發展趨勢進行展 望；第 5 節對本文進行總結.
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191