摘要

在工業資產運行過程中出現的異常情況可能表明存在退化和故障，隨著時間的推移，會導致不期望的行為、運行條件的喪失以及系統的最終崩潰。預測性維護技術負責監測系統的狀態，以便在初始階段對這些異常情況進行檢測，從而以最佳方式安排維護任務。本文介紹了一種基于機器學習的人工智能技術的海軍資產預測性維護解決方案。為此，使用了由船舶實時收集并通過控制中心傳輸的傳感器（溫度、壓力等）的信息。所開發的系統（SOPRENE）能夠從我們軍艦上的發動機的歷史數據中預測不同的故障模式或異常運行狀況的發生。此外，該系統的使用可擴展到大型艦隊，該解決方案已使用Spark分布式環境來實現，以促進預測的分布式計算。

簡介

維護成本是工業運營成本的一個重要部分。在某些情況下，如在冶金行業，這些成本可以達到總生產成本的15%-60%。此外，其中三分之一的投資由于不必要的或不正確的活動而被浪費。然而，維護是至關重要的，因為系統的故障會導致巨大的財務成本。

在過去，由于不可能處理大量連續的數據流，所以在很多情況下，只能使用統計技術。然而，今天的預測性維護則遵循更先進的理念：

與其依靠這些行業統計數據（如平均故障間隔時間）來安排維護活動，不如對系統進行實時監測，以確定其狀態和真實狀況。目前的計算能力允許處理更多的數據，以及使用更復雜的技術來進行預測、檢測異常情況和對系統進行可能的診斷。因此，預測性維護可以理解為基于系統的當前狀態或條件以及根據運行歷史進行的未來預測的預防性維護。

這項研究工作介紹了在SOPRENE項目中開發的預測性維護系統在海軍艦艇發動機上的應用。擬議的系統已經分析并使用了分布式環境中的機器學習技術。在這個意義上，所考慮的方法論可以根據Ran等人的說法來劃分。

圖3-1. SOPRENE解決方案架構：從數據預處理到訓練和操作

摘要

步兵模擬（IWARS）是一個實體級的戰斗模擬，通常用于估計使用不同裝備（包括手榴彈和榴彈發射器）造成的作戰效能差異。當一枚模擬手榴彈在IWARS中爆炸時，對附近人員的影響是通過查詢一個高分辨率模型預先計算出的喪失能力的概率值來確定的。這個值取決于許多因素，因此需要一個大的查詢表，可能會超過數據庫的最大容量。為了解決這個問題，創建了一個神經網絡輸入選項，讓分析師有機會使用高度壓縮的數據而不犧牲準確性或運行時間。以前的壓縮技術要么不太準確，要么提供較低的壓縮率。
這項研究是在2019財年進行的，是題為 "機器學習技術協助生成項目級性能估計，用于班級和士兵級作戰評估 "的研究的一部分。該研究的另一半將在另一份報告中討論。在這一半的研究中，梯度增強的決策樹被用來成功地預測人類主題專家（SMEs）的代理決定。(當所要求的系統沒有數據時，一個類似的系統通常被用作代用。) 訓練有素的決策樹模型可以用來為未來的數據請求建議代理，減少滿足這些請求所需的時間并提高所提供數據的準確性。

簡介

背景

步兵模擬（IWARS）是一個實體級的戰斗模擬，重點是下馬的士兵、班和排，通常被陸軍用來估計使用不同裝備造成的作戰效率的差異。特別是，IWARS被用來比較不同手榴彈和榴彈發射器的有效性[1, 2, 3]，幫助指導這些系統的開發和采購。

問題陳述

當一個模擬的手榴彈在IWARS中爆炸時，對附近人員的影響是通過查詢一個高分辨率模型預先計算出來的喪失能力的概率（P（I））值來確定的。P(I)值取決于許多因素，包括目標的姿態、防彈衣和任務（攻擊或防御），以及彈藥的下落角度、爆炸高度、爆炸到目標的范圍、爆炸到目標的方位角和爆炸后的時間。由于有這么多的因素，P(I)查詢表可能非常大。事實上，一個高分辨率的查詢表往往太大，無法裝入IWARS數據庫的最大容量約150兆字節。
為了解決這個問題，分析人員可以將IWARS數據庫分成更小的部分。例如，對12種新型空爆手榴彈的分析可以通過建立12個IWARS數據庫來進行，每種手榴彈一個數據庫。如果描述一種手榴彈的殺傷力數據太大，或者在特定情況下需要一種以上的手榴彈，但只有一種手榴彈的殺傷力數據可以放入一個數據庫，那么這種策略就會失敗。此外，即使這種策略是可行的，也有缺點：任何額外的數據庫變化都必須被鏡像12次，而且數據庫的大小會降低IWARS和數據庫編輯工具的速度。
另外，分析人員可以通過使用低分辨率的P(I)數據來規避數據庫的大小限制。這通常是通過刪除某些突發高度和突發到目標的范圍，并將突發到目標的方位角組的P(I)值平均化來實現的。這降低了模擬的準確性，也降低了對結果的信心。

目的

本文的目的是記錄這個問題的一個新的解決方案，這個方案在所有情況下都有效，而且幾乎沒有精度損失或模型運行時間的增加。它可以描述如下：
1.訓練人工神經網絡來學習P(I)值。然后，神經網絡的參數值將對原始P(I)數據進行編碼，從而對其進行壓縮。
2.在IWARS中重新創建這些神經網絡，以便在需要時估計P(I)值。

圖1：具有三個隱藏層的人工神經網絡的圖形和代數表示。

?

對于群體智能中的人類操作員來說，關鍵情況下的決策支持至關重要。自主系統共享的大量數據很容易使人類決策者不堪重負，因此需要支持以智能方式分析數據。為此，使用了用于評估情況和指示可疑行為或統計異常值的自主系統。這增強了他們的態勢感知能力并減少了工作量。因此，在這項工作中，強調為檢測監視任務中的異常而開發的數據融合服務，例如在海事領域，可以適應支持集群智能的運營商。此外，為了使人類操作員能夠理解群體的行為和數據融合服務的結果，引入了可解釋的人工智能 (XAI) 概念。通過為某些決策提供解釋，這使得自主系統的行為更容易被人類理解。

作者解決了由于自主系統共享大量數據而導致的信息過載問題。為了緩解這個問題，他們建議通過兩種智能數據分析方式來幫助人類操作員。第一種方法是自動異常檢測，這可能會加強人類操作員的 態勢感知SA 并減少他們的工作量。第二種方法是可解釋的人工智能 (XAI) 概念；它們有可能使群體行為以及異常檢測結果更易于理解。

作者認為，控制一群無人機仍然具有挑戰性。一方面，（半自動化）群體代理“必須決定行動方案”；另一方面，人類操作員必須決定他們的行動，例如與群體互動。提出的建議力求改善人在循環中。考慮到海上監視的應用，使用非固定代理的動態方法具有幾個優點。首先，某些場景只能使用動態方法進行管理；其次，與固定監視傳感器相比，代理更便宜；第三，在多個地點靈活使用代理可以減少操作群體所需的人員數量。然而，情況評估仍然需要知情的操作員。

作者認為，在海洋領域用于船舶分析的異常檢測算法可能適用于引入以下場景的群體。“假設我們有一個群體來支持海上船只，這些船只不僅會收集它們自己的傳感器系統可用的數據，還會收集所有資產的數據。所有來源收集的信息都需要融合成一幅連貫的畫面。這不應僅限于 JDL 數據融合的第一級，而應包括更高級別的數據融合過程，以獲取有關附近所有對象的可用信息。” 數據驅動的方法能夠應對這種情況。文獻提供了三種檢測位置和運動異常的方法：統計解釋為與正常行為相比的異常值；聚類分析聚類相似的軌跡和確切的路線；用于建模正常移動模式的深度學習方法。為了應對更復雜的場景，包括船舶周圍環境（基礎設施、地理、天氣等）在內的算法是必要的。在某些復雜異常的情況下，區分正常和異常行為需要基于規則、基于模糊、多智能體或基于概率圖形模型的算法。對于所有提到的算法類別，作者都指出了大量的示例算法。

一些算法是黑盒模型，因此，它們的解釋對于人類操作員來說是復雜的。XAI 概念可以幫助緩解這個問題。XAI 概念旨在“提供道德、隱私、信心、信任和安全”，并努力在“它已經做了什么、現在正在做什么以及接下來會發生什么”中明確決策。，從而提高了人工操作員的 SA。考慮到 XAI 模型，模型特定方法（僅限于某些數學模型）可以與模型無關（適用于任何類型的模型）方法區分開來。

在目前的貢獻中，重點是與模型無關的方法。考慮到這些，局部解釋方法（解釋整個模型的單個預測結果）可以與全局解釋方法（解釋整個模型的行為，例如以規則列表的形式）區分開來。此外，作者使用特征屬性、路徑屬性和關聯規則挖掘來區分方法。通過特征屬性，“用戶將能夠了解他們的網絡依賴于哪些特征”；方法示例是提供全局和局部可解釋性的 Shapley Additive Explanations (SHAP) 和指示“模型在進行預測時考慮的輸入特征” 的局部可解釋模型無關解釋 (LIME)。路徑集成梯度（PIG，使用局部解釋）等路徑屬性提供了對模型預測貢獻最大的特征，從而深入了解導致決策的推理。關聯規則挖掘（ARM）是另一種使用全局解釋的方法，發現大型數據集中特征之間的相關性和共現。ARM 方法使用簡單的 if-then 規則，因此被認為是最可解釋的預測模型。可伸縮貝葉斯規則列表 (SBRL)、基尼正則化 (GiniReg) 和規則正則化 (RuleReg) 技術被認為適用于監視任務。

作者認為，使用這樣的 XAI 概念，人類操作員（決策者）可以更好地理解、更好地控制和更好地與一群自主代理進行通信，尤其是在具有挑戰性的環境中。總而言之，將異常檢測和 XAI 概念這兩種方法應用于人類在環、用戶對群體智能的理解和信任可能會得到改善。

美國加州大學與美國航空太空公司聯合從系統的視角提出了支持復雜空間系統、博弈和決策支持系統（DSS）的高級建模、仿真和分析（MS&A）方法。MS&A 方法還涉及支持美國國防采辦生命周期的基于能力的方法，重點放在授前采辦階段，并結合博弈論和兵棋推演來采購復雜的國防空間系統。作者概述了在復雜的防御系統系統環境中設計、分析和開發政府參考系統架構解決方案，相應采購策略的現有模型和工具。雖然提出的 MS&A 方法側重于國防空間系統，但這些方法靈活且穩健，可以擴展到任何民用和商業應用。?

基于需求和基于能力的方法的描述

支持美國國防部國防采辦生命周期的 MS&A 框架

SOSE CONOPS 評估的 MS&A 方法

摘 要

這篇文章主要側重于人工智能技術在智能武器裝備中的研究與應用。描述了人工智能的定義，人工智能技術的發展以及美國對人工智能的重視。探討了人工智能在智能武器裝備中的關鍵技術，包括目標定位與識別技術、自主攻擊技術、分布式作戰或蜂群作戰技術、作戰機器人技術等，并進一步闡述了在關鍵技術中應該突破的技術性問題。列舉了人工智能技術在智能武器裝備中的應用實例，對人工智能技術的發展作了總結與展望。

美國參謀長聯席會議（JCS）定義的交互評估流程

【摘 要】

模擬戰斗需要了解友軍和敵軍部隊相對于既定的友軍目標和敵軍目標的進展情況。在美國國防部(DoD)，這些目標的結構是分級的，從國家戰略級別到戰術級別。

軍事評估試圖回答兩個主要問題：

1)我們是否在創造我們想要的效果?

2)我們完成的任務是否達標?

對模擬作戰的評估方法進行的研究很少。一些主要的評估應用領域是教育和游戲，它們為模擬中的軍事戰斗評估提供了有用的經驗。這項工作通過從美國國防部政策和這些研究領域收集的模擬戰斗評估方法的幾個理想特征進行。在從這些特征發展出價值層次之后，本文提供并評估了在戰斗模擬中使用的幾種候選方法——貝葉斯企業分析模型(BEAM)、貝葉斯網絡、價值導向思維、和線性規劃。每一種方案的評估都是通過其在小型戰斗模擬中的應用得到的。然后，從以價值為中心的思維和線性規劃的替代方案中創建了一個比其他四個更好的評估方案。論文最后對線性規劃問題進行了總結，并對今后的研究提出了一些想法。

【摘 要】 高效的多機器人團隊需要能夠在復雜環境中實現目標，以應對搜索和救援等現實世界的應用。多機器人團隊應該能夠以完全分散的方式運作，單個機器人團隊成員能夠在沒有鄰居之間明確溝通的情況下采取行動。

美國陸軍研究實驗室Brian Reily等人提出了一種新穎的博弈論模型，該模型可以實現去中心化和無通信導航到目標位置。每個機器人都通過估計其本地隊友的行為來實施自己的分布式博弈，以識別使他們朝著目標方向移動的行為，同時避開障礙物并保持團隊凝聚力而不發生碰撞。從理論上證明了生成的動作接近納什均衡，這也對應于為每個機器人確定的最佳策略。實驗表明該方法可以通過多機器人系統實現分散式和無通信導航到目標位置，并且能夠避免障礙物和碰撞、保持連接性并對傳感器噪聲做出穩健響應。

該方法可以實現分布式和無通信導航。以藍色突出顯示的機器人在考慮其鄰居的預期策略及其策略對它們的影響后選擇其策略，而沒有實際交流。這樣，藍色機器人就可以避免碰撞，保持團隊凝聚力，避開障礙物，朝著目標位置前進，無需直接溝通。

當前軍事推演中合成角色的行為能力是有限的，因為它們通常是由基于規則和反應性計算模型生成的，具有最低限度的智能。這種計算模型不能適應反映角色的經驗，導致即使是通過昂貴和勞動密集型過程設計的最有效的行為模型也很脆弱。利用機器學習和合成實體的經驗并結合適當的先驗知識的、具備自適應能力的、基于觀察的行為模型，可以解決現有計算行為模型中的問題，從而在軍事訓練模擬中創造更好的訓練體驗。

南加州大學創新技術研究所介紹了一個框架，旨在創建自主的合成角色，這些角色能夠執行可信行為的連貫序列，同時在訓練模擬中了解人類受訓者及其需求。該框架匯集了三個相互補充的組成部分。第一個組件是基于Unity的仿真環境——快速集成和開發環境（RIDE）——支持One World Terraing（OWT）模型，能夠運行和支持機器學習實驗。第二個是Shiva，這是一個新穎的多智能體強化和模仿學習框架，可以與各種模擬環境接口，并且可以額外利用各種學習算法。最后一個組件是Sigma認知架構，它將通過符號和概率推理能力來增強行為模型。已經成功地創建了概念驗證行為模型，在現實中利用這一框架，作為將機器學習引入軍事模擬的重要一步。

論文全文：

//www.zhuanzhi.ai/paper/2902032e89eae24167b560a5e2e0de47

一、為時間動作本地化建模多標簽動作相關性

標題： Modeling Multi-Label Action Dependencies for Temporal Action Localization 鏈接： //arxiv.org/pdf/2103.03027.pdf

現實世界中的視頻包含許多復雜的動作，并且動作類之間具有固有的關系。本文提出了一種基于注意力的架構，該架構為未修剪視頻中的時間動作本地化任務建模了這些動作關系。與先前利用動作的視頻級同時發生的作品相反，本文區分了在相同時間步長發生的動作與在不同時間步長發生的動作（即彼此先后的動作）之間的關系，將這些不同的關系定義為動作依賴項。本文建議通過在新穎的基于注意力的多標簽動作相關性（MLAD）層中對這些動作相關性進行建模來提高動作本地化性能。

二、實時高分辨率背景摳像 標題： Real-Time High Resolution Background Matting 鏈接: code: project: video:

本文介紹了一種實時，高分辨率的背景替換技術，該技術可在4K分辨率下以30fps的速度運行，而在現代GPU上以60fps的高清速度運行。本文技術基于背景遮罩，其中捕獲了背景的附加幀，并用于恢復alpha遮罩和前景層。主要挑戰是要計算出高質量的Alpha遮罩，并保留股級頭發細節，同時實時處理高分辨率圖像。與以前的背景摳像技術相比，該方法產生了更高的質量結果，同時在速度和分辨率上都取得了巨大的進步。

三、探索具有對比場景上下文的數據高效3D場景理解 標題： Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts 鏈接: project: video:

3D場景理解的快速進步與對數據的需求不斷增長有關。但是，眾所周知，收集和注釋3D場景（例如點云）非常困難。例如，可以訪問和掃描的場景數量（例如室內房間）可能會受到限制；即使有足夠的數據，獲取3D標簽（例如，實例蒙版）也需要大量的人工。本文探索了3D點云的高效數據學習，提出了“對比場景上下文”，這是一種3D預訓練方法，它同時利用了場景中的點級對應關系和空間上下文。值得注意的是，在ScanNet上，即使使用0.1％的點標簽，使用完整注解的基準性能仍然達到89％（實例分割）和96％（語義分割）。

四、在動態室內環境中，通過空間劃分的魯棒神經路由可實現攝像機的重新定位 標題： Robust Neural Routing Through Space Partitions for Camera Relocalization in Dynamic Indoor Environments 鏈接: project:

本文提出了一種新穎的異常感知神經樹，它將兩個世界，深度學習和決策樹方法聯系起來。它建立在三個重要的塊上：（a）在室內場景上進行分層的空間劃分，以構建決策樹；（b）被實現為深度分類網絡的神經路由功能，用于更好地理解3D場景；（c）離群剔除模塊，用于在分級路由過程中濾除動態點。它可以通過空間分區實現魯棒的神經路由，并且在攝像機姿勢精度方面要比最新技術高出30％左右，同時運行速度也相當快。

五、通過3D掃描同步進行多主體分割和運動估計 標題： MultiBodySync: Multi-Body Segmentation and Motion Estimation via 3D Scan Synchronization 鏈接: code:

本文介紹了MultiBodySync，這是一種新穎的，端到端的可訓練多體運動分割和針對多輸入3D點云的剛性配準框架。本文所研究的這種多掃描多體設置所帶來的兩個非同尋常的挑戰是：（i）保證捕獲多個不同身體或身體部位空間布局的多個輸入點云之間的對應關系和分割一致性；文章提出了一種解決這些問題的方法，該方法將頻譜同步合并到迭代的深度聲明式網絡中，以便同時恢復一致的對應關系以及運動分割。該方法可有效用于各種數據集，從關節物體的剛性零件到3D場景中的單個移動物體，無論是單視圖還是全點云

六、用于單目三維目標檢測的分類深度分布網絡 標題： Categorical Depth Distribution Network for Monocular 3D Object Detection 鏈接:

單眼3D對象檢測是自動駕駛汽車的關鍵問題，因為與典型的多傳感器系統相比，它提供了一種具有簡單配置的解決方案。單眼3D檢測的主要挑戰在于準確預測物體深度，由于缺乏直接的距離測量，必須從物體和場景線索中推斷出物體深度。許多方法嘗試直接估計深度以輔助3D檢測，但是由于深度不準確，結果顯示出有限的性能。本文提出的解決方案分類深度分布網絡（CaDDN）對每個像素使用預測的分類深度分布，以將豐富的上下文特征信息投影到3D空間中的適當深度間隔。然后，使用計算效率高的鳥瞰圖投影和單級檢測器來生成最終的輸出邊界框。本文將CaDDN設計為用于聯合深度估計和對象檢測的完全可區分的端到端方法。

七、學習多視圖立體聲 標題： PatchmatchNet: Learned Multi-View Patchmatch Stereo 鏈接: code:

PatchmatchNet，這是一種適用于高分辨率多視圖立體聲的Patchmatch的新穎且可學習的級聯公式。與采用3D成本正則化的競爭對手相比，PatchmatchNet具有較高的計算速度和較低的內存需求，可以處理更高分辨率的圖像，并且更適合在資源受限的設備上運行。本文首次在端到端可訓練體系結構中引入了迭代的多尺度Patchmatch，并針對每次迭代使用了一種新穎且學到的自適應傳播和評估方案來改進Patchmatch核心算法。

八、通過域隨機化和元學習對視覺表示進行連續調整 標題： Continual Adaptation of Visual Representations via Domain Randomization and Meta-learning 鏈接:

大多數標準的學習方法都導致脆弱的模型，當對不同性質的樣本進行順序訓練時，它們容易漂移（眾所周知的“災難性遺忘”問題）。特別是，當一個模型連續從不同的視覺域中學習時，它傾向于忘記過去的模型，而傾向于最新的模型。在這種情況下，本文表明，學習本質上更健壯的模型的一種方法是域隨機化-對于視覺任務，使用繁重的圖像操作將當前域的分布隨機化。在此結果的基礎上，本文設計了一種元學習策略，其中調節器明確懲罰與將模型從當前域轉移到不同的“輔助”元域相關的任何損失，同時還簡化了對它們的適應。此類元域也通過隨機圖像處理生成。

九、神經幾何細節水平：隱式3D曲面的實時渲染 標題： Neural Geometric Level of Detail:Real-time Rendering with Implicit 3D Surfaces 鏈接: code: project:

SDF逐漸成為3D形狀的有效表示形式。最先進的方法通常使用固定大小的大型神經網絡對SDF進行編碼，以近似顯示具有隱式表面的復雜形狀。但是，由于這些大型網絡的渲染在計算上是昂貴的，因為它要求每個像素都需要通過網絡進行多次前向傳遞，因此對于實時圖形來說，這些表示不切實際。本文引入了一種有效的神經表示，首次實現了高保真神經SDF的實時渲染，同時實現了最先進的幾何重構質量。

十、預測器：低重疊的3D點云的注冊 標題： PREDATOR: Registration of 3D Point Clouds with Low Overlap 鏈接: code: project:

本文引入了PREDATOR模型，該模型用于成對點云注冊，它非常關注重疊區域。用于兩點云的潛在編碼之間的早期信息交換。以這種方式，將潛在表示轉換為每個點特征的后續解碼以相應的另一個點云為條件，從而可以預測哪些點不僅是顯著的，而且還位于兩個點云之間的重疊區域中。專注于與匹配相關的點的能力極大地提高了性能：PREDATOR在低重疊情況下將成功注冊的比率提高了20％以上，還為3DMatch基準設定了89％的最新技術水平注冊召回。

十一、通過保留推理時間的目標投影進行域泛化 標題： Domain Generalization via Inference-time Label-Preserving Target Projections 鏈接:

在具有不同統計量的看不見的目標域上對在一組源域上訓練的機器學習模型進行泛化是一個具有挑戰性的問題。盡管已經提出了許多解決方法，但是它們僅在訓練期間利用源數據，而沒有利用推論時只有一個目標示例的事實。因此，本文提出了一種方法，該方法可以在推理過程中有效地使用目標樣本，而不僅僅是分類。該方法包括三個部分（i）對源數據進行標簽保留的特征或度量轉換，以使源樣本根據其類別進行聚類，而與域無關。（ii）針對這些特征訓練的生成模型。（iii）通過使用學習的度量來解決生成模型輸入空間上的優化問題，在推理過程中目標點在源特征流形上的保留標簽的投影。

十二、全局一致的非剛性重建的神經變形圖 標題： Neural Deformation Graphs for Globally-consistent Non-rigid Reconstruction 鏈接: project: video:

本文引入了神經變形圖，用于全局一致的變形跟蹤和非剛性對象的3D重建。具體來說，本文通過深層神經網絡對變形圖進行隱式建模。該神經變形圖不依賴于任何特定于對象的結構，因此可以應用于一般的非剛性變形跟蹤。實驗表明，該神經變形圖在質量和數量上都優于最新的非剛性重建方法，重建性能提高了64％，變形跟蹤性能提高了62％。

十三、粗標簽的細粒度角度對比學習 標題： Fine-grained Angular Contrastive Learning with Coarse Labels 鏈接:

在這些實際應用中，預先訓練的標簽空間無法保持固定以有效使用，并且需要對模型進行“專業化”以即時支持新類別。稀疏到極少的射擊（C2FS）是一種特別有趣的場景，基本上被鮮為人知的文獻所忽略，其中訓練班（例如，動物）的粒度比目標（測試）類的“粒度更粗”（例如品種）。本文介紹了一種新穎的“角度歸一化”模塊，該模塊可以有效地結合監督和自我監督的對比預訓練來解決建議的C2FS任務，從而證明了在多個基準和數據集上的廣泛研究中所取得的顯著成果。

十四、通過稀疏采樣進行視頻和語言學習 標題： Less is More: CLIPBERT for Video-and-Language Learning via Sparse Sampling 鏈接: code:

規范的視頻和語言學習方法（例如，視頻問答）規定了一個神經模型，可以從視覺模型的離線提取的密集視頻功能和語言模型的文本功能中學習。這些特征提取器是經過獨立訓練的，通常在與目標域不同的任務上進行訓練，使這些固定特征對于下游任務而言不是最理想的。此外，由于密集視頻特征的高計算量，通常難以（或不可行）將特征提取器直接插入現有方法中以進行微調。為了解決這一難題，本文提出了一個通用框架CLIPBERT，該框架通過使用稀疏采樣（僅使用一個視頻中的一個或幾個稀疏采樣的短片）來實現可負擔的視頻和語言任務的端到端學習。

十五、用于域自適應全景分割的跨視圖正則化 標題： Cross-View Regularization for Domain Adaptive Panoptic Segmentation 鏈接:

全景分割統一了語義分割和實例分割，這在近年來引起了越來越多的關注。但是，大多數現有研究是在有監督的學習設置下進行的，而在不同任務和應用中至關重要的無監督域自適應全景分割則被忽略了。本文設計了一種域自適應全景分割網絡，該網絡利用樣式間的一致性和任務間正則化來優化域自適應全景分割。

十六、通過分層樣式分解實現圖像到圖像的翻譯 標題： Image-to-image Translation via Hierarchical Style Disentanglement 鏈接: code:

近來，圖像到圖像的翻譯在完成多標簽（即，以不同標簽為條件的翻譯）和多樣式（即，具有多種樣式的生成）任務方面都取得了重大進展。但是，由于標簽中未開發的獨立性和排他性，通過對翻譯結果進行不受控制的操作而挫敗了現有的工作。本文提出了層次樣式分離（HiSD）來解決此問題。具體來說，本文將標簽組織成分層的樹狀結構，其中獨立的標簽，排他屬性和解開的樣式從上到下分配。相應地，設計了一種新的翻譯過程以適應上述結構，其中確定了可控翻譯的樣式。

十七、開放世界中的目標檢測 標題： Towards Open World Object Detection 鏈接: code:

人類具有識別其環境中未知對象實例的天生的本能。當相應的知識最終可用時，對這些未知實例的內在好奇心有助于學習它們。這激勵我們提出一個新穎的計算機視覺問題，稱為“開放世界對象檢測”，該模型的任務是：1）在沒有明確監督的情況下，將尚未引入該對象的對象識別為“未知”，以及2）當逐漸接收到相應的標簽時，逐步學習這些已識別的未知類別，而不會忘記先前學習的類別。本文提出了一個強有力的評估協議，并提供了一種新穎的解決方案，叫做ORE：基于對比聚類和基于能量的未知識別的開放世界物體檢測器。

十八、使用Transformer的端到端視頻實例分割 標題： End-to-End Video Instance Segmentation with Transformers 鏈接:

視頻實例分割（VIS）是一項需要同時對視頻中感興趣的對象實例進行分類，分割和跟蹤的任務。最近的方法通常會開發復雜的管道來解決此任務。本文提出了一個基于Transformers的新視頻實例分割框架，稱為VisTR，該框架將VIS任務視為直接的端到端并行序列解碼/預測問題。給定包含多個圖像幀的視頻剪輯作為輸入，VisTR直接按順序輸出視頻中每個實例的遮罩序列。核心是一種新的，有效的實例序列匹配和分段策略，該策略在整個序列級別上對實例進行監督和分段。VisTR從相似性學習的同一角度構建實例分割和跟蹤，從而大大簡化了總體流程。