亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

視頻通常有多種形式的數據，如音頻、視頻、文本(字幕)。理解和建模不同模態之間的交互是視頻分析任務的關鍵，如分類，目標檢測，活動識別等。然而，數據模態并不總是相關的——因此，了解模態何時相關并使用它來引導一種模態對另一種模態的影響是至關重要的。視頻的另一個顯著特征是連續幀之間的連貫性，這是由于視頻和音頻的連續性，我們稱之為時間連貫性。我們展示了如何使用非線性引導的跨模態信號和時間相干性來提高多模態機器學習(ML)模型在視頻分析任務(如分類)中的性能。我們在大規模YouTube-8M數據集上的實驗表明，我們的方法在視頻分類方面顯著優于最先進的多模式ML模型。在YouTube-8M數據集上訓練的模型，在不需要再訓練和微調的情況下，在一個來自實際電視頻道的視頻片段的內部數據集上也表現出了良好的性能，顯示了我們的模型較強的泛化能力。

針對自監督學習的深度聚類是無監督視覺表示學習中一個非常重要和有前途的方向，因為設計前置任務需要較少的領域知識。而關鍵組件嵌入聚類由于需要保存整個數據集的全局潛在嵌入，限制了其擴展到超大規模的數據集。在這項工作中，我們的目標是使這個框架在不降低性能的情況下更加簡單和優雅。提出了一種不使用嵌入聚類的無監督圖像分類框架，與標準的監督訓練方法非常相似。為了進一步解釋，我們進一步分析了其與深度聚類和對比學習的關系。在ImageNet數據集上進行了大量的實驗，驗證了該方法的有效性。此外，在遷移學習基準上的實驗驗證了它對其他下游任務的推廣，包括多標簽圖像分類、目標檢測、語義分割和小樣本圖像分類。

地址：

//arxiv.org/abs/2006.11480

目標檢測和數據關聯是多目標跟蹤系統的關鍵組成部分。盡管這兩個組件高度依賴于彼此，但MOT中的一個流行趨勢是將檢測和數據關聯作為單獨的模塊執行，并按級聯順序處理。由于這種級聯過程，所生成的MOT系統只能執行前向推理，而不能將錯誤反向傳播到整個管道并進行糾正。這導致整個管道的性能低于最佳水平。為了解決這個問題，最近的工作聯合優化了檢測和數據關聯，并形成了一個綜合的MOT方法，已被證明提高了檢測和跟蹤的性能。為此，我們提出了一種基于圖神經網絡(GNNs)的聯合MOT方法。該方法的關鍵思想是，GNNs能夠在空間和時間域內顯式地建模多個目標之間的復雜交互，這對于學習識別特征進行檢測和數據關聯至關重要。我們還利用了運動特征與外觀特征一起使用時對MOT有用這一事實。因此，我們提出的聯合MOT方法也將外觀和運動特征納入我們的基于圖的特征學習框架，從而使MOT更好地學習特征。在MOT挑戰數據集上的大量實驗表明，我們提出的方法在目標檢測和MOT檢測上都取得了最先進的性能。

主題： TIMME-Twitter Ideology-detection via Multi-task Multi-relational Embedding

摘要： 跨平臺帳戶匹配在社交網絡分析中起著重要作用，并且有利于廣泛的應用。但是，現有方法要么嚴重依賴高質量的用戶生成內容（包括用戶配置文件），要么遭受數據不足的問題為了解決這一問題，我們提出了一種新穎的框架，該框架同時考慮了本地網絡結構和超圖結構上的多級圖卷積。所提出的方法克服了現有工作的數據不足的問題，并且不必依賴于用戶人口統計信息。此外，為了使所提出的方法能夠處理大規模社交網絡，我們提出了一種兩階段空間調節機制，以在基于網絡分區的并行訓練和不同社交網絡上的帳戶匹配中對齊嵌入空間。在兩個大型的現實生活社交網絡上進行了廣泛的實驗。實驗結果表明，所提出的方法在很大程度上優于最新模型。

End-to-End Object Detection with Transformers

論文：//arxiv.org/abs/2005.12872

代碼：

本文已提交至ECCV 2020，作者團隊：Facebook AI Research。FAIR提出DETR：基于Transformers的端到端目標檢測，沒有NMS后處理步驟、真正的沒有anchor，直接對標且超越Faster R-CNN，代碼剛剛開源！

注：開源24小時，star數已高達700+！

簡介

本文提出了一種將目標檢測視為direct set直接集合預測問題的新方法。我們的方法簡化了檢測流程，有效地消除了對許多手工設計的組件的需求，例如非極大值抑制(NMS)或錨點生成，這些組件明確編碼了我們對任務的先驗知識。

這種稱為Detection Transformer或DETR的新框架的主要組成部分是基于集合的全局損失函數，該損失函數通過二分匹配和transformer編碼器-解碼器體系結構強制進行唯一的預測。給定一個固定的學習對象查詢的小集合，DETR會考慮目標對象與全局圖像上下文之間的關系，并直接并行輸出最終的預測集合。

與許多其他現代檢測器不同，新模型在概念上很簡單，并且不需要專門的庫。DETR與具有挑戰性的COCO對象檢測數據集上公認的且高度優化的Faster R-CNN baseline具有同等的準確性和運行時性能。此外，可以很容易地將DETR遷移到其他任務例如全景分割。

本文的Detection Transformer（DETR，請參見圖1）可以預測所有物體的劇烈運動，并通過設置損失函數進行端到端訓練，該函數可以在預測的物體與地面真實物體之間進行二分匹配。DETR通過刪除多個手工設計的后處理過程例如nms，對先驗知識進行編碼的組件來簡化檢測流程。與大多數現有的檢測方法不同，DETR不需要任何自定義層，因此可以在包含標準CNN和轉換器類的任何框架中輕松復制。

DETR的主要特征是二分匹配損失和具有（非自回歸）并行解碼的Transformer的結合。

參考：

題目： Context-Transformer: Tackling Object Confusion for Few-Shot Detection

摘要：

小樣本目標檢測是一個具有挑戰性但又很現實的場景，只有少數帶注釋的訓練圖像可用于訓練檢測器。處理這個問題的一個流行的方法是遷移學習，對在源域基準上預先訓練的檢測器進行微調。然而，由于訓練樣本的數據多樣性較低，這種轉移的檢測器往往不能識別目標域中的新對象。為了解決這一問題，我們提出了一個新穎的上下文轉換器：一個簡潔的深層傳輸框架。具體來說，Context-Transformer可以有效地利用源域對象知識作為指導，并自動地從目標域中的少量訓練圖像中挖掘上下文。然后，自適應地整合這些相關線索，增強檢測器的識別能力，以減少在小樣本場景下的目標混淆。此外，上下文轉換器靈活地嵌入到流行的ssd風格的檢測器中，這使得它成為端到端小樣本學習的即插即用模塊。最后，我們評估了上下文轉換器對小樣本檢測和增量小樣本檢測的挑戰性設置。實驗結果表明，我們的框架比目前最先進的方法有更好的性能。

近年來，自適應目標檢測的研究取得了令人矚目的成果。盡管對抗性自適應極大地增強了特征表示的可遷移性，但對目標檢測器的特征鑒別能力的研究卻很少。此外，由于目標的復雜組合和域之間的場景布局的差異，在對抗性適應中，可遷移性和可辨別性可能會產生矛盾。本文提出了一種層級可遷移性校準網絡(HTCN)，該網絡通過對特征表示的可遷移性進行分級(局部區域/圖像/實例)校準來協調可遷移性和可識別性。該模型由三部分組成:(1)輸入插值加權對抗性訓練(iwati)，通過重新加權插值后的圖像級特征，增強了全局識別力;(2)上下文感知實例級對齊(context -aware Instance-Level Alignment, CILA)模塊，該模塊通過捕獲實例級特征與實例級特征對齊的全局上下文信息之間的潛在互補效應，增強了局部識別能力;(3)校準局部可遷移性的局部特征掩碼，為后續判別模式對齊提供語義指導。實驗結果表明，在基準數據集上，HTCN的性能明顯優于最先進的方法。