論文標題：Rank & Sort Loss for Object Detection and Instance Segmentation
論文鏈接：//arxiv.org/abs/2107.11669
代碼鏈接：
漲點神器！RS Loss：新損失函數！可助力現有目標檢測和實例分割網絡漲點，如應用于Cascade R-CNN、SOLOv2等，優于QFL、AP和Focal Loss等損失，代碼剛剛開源！
本文提出 Rank & Sort (RS) Loss，作為基于ranking的損失函數來訓練深度目標檢測和實例分割方法（即視覺檢測器）。RS Loss 監督分類器，這些方法的一個子網絡，將每個positive 排名高于所有負面，并根據（wrt.）它們的連續定位質量（例如 Intersection-over-Union - IoU）對它們之間的positive 進行排序.為了解決排序和排序的不可區分性，我們重新制定了錯誤驅動更新與反向傳播的結合作為身份更新，這使我們能夠對正樣本中的新排序錯誤進行建模。使用 RS 損失，我們顯著簡化了訓練：（i）由于我們的排序目標，分類器優先考慮正數，而無需額外的輔助頭（例如，對于中心度、IoU、mask-IoU），（ii）由于其排名 -基于性質，RS 損失對類不平衡具有魯棒性，因此，不需要采樣啟發式，并且（iii）我們使用無調整任務平衡系數來解決視覺檢測器的多任務性質。使用 RS 損失，我們僅通過調整學習率來訓練七個不同的視覺檢測器，并表明它始終優于基線：例如我們的 RS 損失在 COCO 數據集上將 (i) Faster R-CNN 提高了約 3 個框 AP 和 aLRP 損失（基于排名的基線）提高了約 2 個框 AP，（ii）具有重復因子采樣（RFS）的 Mask R-CNN 提高了 3.5 LVIS 數據集上的掩碼 AP（稀有類約為 7 個 AP）；并且也優于所有同行。
付費5元查看完整內容
相關內容
群體行為識別 (GAR) 是人物行為識別的一個子問題，群體行為由人物的個人行為和人物之間的交互組成，該任務旨在推斷場景中人物群體的整體行為標簽。GAR有著豐富的應用場景，包括監控視頻分析、體育視頻解析、社交場景理解等。GAR的關鍵問題是在給定視頻片段的情況下，結合時空交互因素來獲得精細的行為特征表示。
最近提出的推理模塊主要結合時空交互因素來獲得精細的活動表示，最常用的方法主要結合循環神經網絡、注意力機制和圖神經網絡 (GNN)。GNN是GAR中經常采用的方法，GNN在構建的語義圖上執行消息傳遞，并在公開數據集的測試中取得了有競爭力的結果。然而，以前使用GNN的方法只在預定義的圖形上對個人之間的交互進行建模，但是存在以下缺點：
-
對于給定人的交互模式是預先定義的而不是基于目標人的視覺時空上下文，預定義的圖推理不適用于所有人的特征更新；
-
預定義全連接或者交叉連接的圖模型很容易導致過度平滑，使特征無法區分并降低性能。
此外，如果擴展到長視頻片段或擴展到有很多人的場景，計算開銷會顯著上漲。
為了解決以上問題，受[1,2]啟發，我們提出了動態推理網絡 (DIN)，其中包含動態關系 (DR) 和動態游走 (DW) 兩個模塊。這兩個模塊組合可以用于預測人物各異的交互圖，以便更好地建模交互，如上圖所示。對于時空圖上的給定人物特征，本文首先定義其時空鄰居為時空交互域，該交互域在DR和DW之間共享。
該交互域的大小不會受到空間或時間擴展的影響，從而減少計算。在這個初始化的交互域中，我們使用 DR 來預測一個中心特征的關系矩陣，表示人與人之間的交互關系。然后，為了對長時期的時間和空間依賴性建模，我們使用 DW 來預測域內每個特征的動態游走偏移，動態游走允許局部初始化的交互域可以在全局的時空圖上更新特征。DR和DW實現簡單，很容易部署到任何廣泛使用的主干網絡上，我們把這整個時空推理框架稱為DIN。
此外，以前的方法很少進行計算復雜度分析，但這是對設計模塊的重要評估，因此本文進行了計算復雜性分析，并表明提出的模塊在效果更好的同時，計算開銷更低。
付費5元查看完整內容
在本文中，作者提出了RS Loss，作為一個新的ranking-based的損失函數來訓練目標檢測和實例分割模型。不同于現有的ranking-based方法，RS Loss根據定位的質量對正樣本進行了排序。基于RS Loss，作者采用了一種簡單的、基于損失值的、無需調參的啟發式算法來平衡visual detector中的所有head。最終，作者通過實驗證明了RS Loss在一個檢測和分割方法上的有效性。
付費5元查看完整內容
//www.zhuanzhi.ai/paper/cb3378314b648e21f7e04d86c3bc5727
GID提出了一種基于檢測任務的新型蒸餾方法。通過從teacher和studnet中分別提取general instance (GI)，并提出GISM模塊自適應選擇差異大的instance進行feature-based、relation-based以及response-based蒸餾。本方法首次將關系型知識蒸餾應用于檢測框架，且將蒸餾目標從獨立考慮的正負樣本蒸餾統一為更本質GI蒸餾，過程中不依賴于GT，且達到SOTA。
付費5元查看完整內容
通過一個transformer編碼器-解碼器架構的目標檢測transformers (DETR)取得了與Faster R-CNN相匹配的性能。受預訓練transformer在自然語言處理中取得的巨大成功的啟發，我們提出了一種基于隨機查詢補丁檢測的無監督預訓練目標檢測任務。具體地說，我們從給定的圖像中隨機裁剪小塊，然后將它們作為查詢輸入解碼器。該模型經過預訓練，從原始圖像中檢測出這些查詢補丁。在預訓練，我們解決了兩個關鍵問題:多任務學習和多查詢定位。(1)為了權衡在前置任務中分類和定位的多任務學習，我們凍結CNN骨干，提出一個與patch檢測聯合優化的patch特征重構分支。(2)為實現多查詢定位，我們引入了單查詢補丁的UP-DETR ，并將其擴展為具有對象查詢洗牌和注意掩碼的多查詢補丁。在我們的實驗中，UP-DETR算法在PASCAL VOC和COCO數據集上具有更快的收斂速度和更高的精度，顯著提高了DETR算法的性能。代碼很快就會發布。
付費5元查看完整內容
目標檢測器通常在完全標注實例的監督學習情況下獲得很好的結果。但是，對于稀疏實例注釋，它們的性能遠遠不能令人滿意。現有的稀疏標注目標檢測方法主要是對難的負樣本的損失進行重加權，或者將未標注的實例轉換為忽略區域，以減少假陰性的干擾。我們認為這些策略是不夠的，因為它們最多可以減輕由于缺少注釋而造成的負面影響。在本文中，我們提出了一個簡單而有效的機制，稱為協同挖掘，稀疏標注的目標檢測。在協同挖掘中，一個連體網絡的兩個分支相互預測偽標簽集。為了增強多視圖學習和更好地挖掘未標記實例，將原始圖像和相應的增強圖像分別作為Siamese網絡的兩個分支的輸入。協同挖掘可以作為一種通用的訓練機制，應用于大多數現代目標檢測器。在三種不同稀疏注釋設置的MS COCO數據集上進行了實驗，使用兩種典型的框架:基于錨的檢測器RetinaNet和無錨檢測器FCOS。實驗結果表明，與RetinaNet的協同挖掘方法相比，在相同的稀疏標注設置下，相比于不同的基線，改進了1.4%~2.1%，超過了現有的方法。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191