End-to-End Object Detection with Transformers
代碼：
本文已提交至ECCV 2020，作者團隊：Facebook AI Research。FAIR提出DETR：基于Transformers的端到端目標檢測，沒有NMS后處理步驟、真正的沒有anchor，直接對標且超越Faster R-CNN，代碼剛剛開源！
注：開源24小時，star數已高達700+！
簡介
本文提出了一種將目標檢測視為direct set直接集合預測問題的新方法。我們的方法簡化了檢測流程，有效地消除了對許多手工設計的組件的需求，例如非極大值抑制(NMS)或錨點生成，這些組件明確編碼了我們對任務的先驗知識。
這種稱為Detection Transformer或DETR的新框架的主要組成部分是基于集合的全局損失函數，該損失函數通過二分匹配和transformer編碼器-解碼器體系結構強制進行唯一的預測。給定一個固定的學習對象查詢的小集合，DETR會考慮目標對象與全局圖像上下文之間的關系，并直接并行輸出最終的預測集合。
與許多其他現代檢測器不同，新模型在概念上很簡單，并且不需要專門的庫。DETR與具有挑戰性的COCO對象檢測數據集上公認的且高度優化的Faster R-CNN baseline具有同等的準確性和運行時性能。此外，可以很容易地將DETR遷移到其他任務例如全景分割。
本文的Detection Transformer（DETR，請參見圖1）可以預測所有物體的劇烈運動，并通過設置損失函數進行端到端訓練，該函數可以在預測的物體與地面真實物體之間進行二分匹配。DETR通過刪除多個手工設計的后處理過程例如nms，對先驗知識進行編碼的組件來簡化檢測流程。與大多數現有的檢測方法不同，DETR不需要任何自定義層，因此可以在包含標準CNN和轉換器類的任何框架中輕松復制。
DETR的主要特征是二分匹配損失和具有（非自回歸）并行解碼的Transformer的結合。
參考：
付費5元查看完整內容
相關內容
面向對象的映射對于場景理解非常重要，因為它們共同捕獲幾何和語義，允許對對象進行單獨的實例化和有意義的推理。我們介紹了FroDO，這是一種從RGB視頻中精確重建物體實例的方法，它以一種由粗到細的方式推斷出物體的位置、姿態和形狀。FroDO的關鍵是將對象形狀嵌入到一個新的學習空間中，允許在稀疏點云和稠密DeepSDF解碼之間進行無縫切換。給定一個局部的RGB幀的輸入序列，FroDO首先聚合2D檢測，為每個對象實例化一個分類感知的3D包圍框。在利用稀疏和稠密形狀表示進一步優化形狀和姿態之前，使用編碼器網絡對形狀代碼進行回歸。優化使用多視圖幾何，光度和剪影損失。我們對真實世界的數據集進行評估，包括Pix3D、Redwood-OS和ScanNet，用于單視圖、多視圖和多對象重建。
付費5元查看完整內容
從圖像中進行自監督學習的目標是通過不需要對大量訓練圖像進行語義注釋的前置任務來構造語義上有意義的圖像表示。許多前置任務導致與圖像變換協變的表示。相反，我們認為語義表示在這種轉換下應該是不變的。具體來說，我們開發了前置不變表示學習(PIRL，發音為“pearl”)，該學習基于前置任務的不變表示。我們將PIRL與一個常用的前置任務一起使用，該任務涉及解決拼圖游戲。我們發現，PIRL極大地提高了學習圖像表示的語義質量。我們的方法設置了一個新的藝術的自監督學習從圖像上幾個流行的基準自我監督學習。盡管是無監督的，但PIRL在學習圖像表示和目標檢測方面的表現優于有監督的前訓練。總之，我們的結果證明了具有良好不變性的圖像表示的自監督學習的潛力。
付費5元查看完整內容
主題： Weakly-Supervised Salient Object Detection via Scribble Annotations
摘要： 與費力的逐像素密集標記相比，這種方法更容易通過涂抹來標記數據，僅花費1-2秒即可標記一張圖像。然而，尚未有人探索使用可劃線標簽來學習顯著物體檢測。在本文中，我們提出了一種弱監督的顯著物體檢測模型，以從此類注釋中學習顯著性。為此，我們首先使用亂碼對現有的大型顯著物體檢測數據集進行重新標記，即S-DUTS數據集。由于對象的結構和詳細信息不能通過亂寫識別，因此直接訓練帶有亂寫的標簽將導致邊界位置局限性的顯著性圖。為了緩解這個問題，我們提出了一個輔助的邊緣檢測任務來明確地定位對象邊緣，并提出了門控結構感知損失以將約束置于要恢復的結構范圍上。此外，我們設計了一種涂鴉增強方案來迭代地整合我們的涂鴉注釋，然后將其作為監督來學習高質量的顯著性圖。我們提出了一種新的度量標準，稱為顯著性結構測量，用于測量預測顯著性圖的結構對齊方式，這與人類的感知更加一致。在六個基準數據集上進行的大量實驗表明，我們的方法不僅優于現有的弱監督/無監督方法，而且與幾種完全監督的最新模型相提并論。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191