說明黑盒神經網絡的一個主要方法是特征歸因，即識別輸入特征對網絡預測的重要性。特征的預測信息最近被提出作為度量其重要性的代理。到目前為止，通過在網絡中設置一個信息瓶頸，只能識別出潛在特征的預測信息。本文提出了一種在輸入域中具有預測信息的特征識別方法。該方法可對輸入特征信息進行細粒度識別，且與網絡結構無關。我們方法的核心思想是利用輸入上的瓶頸，只讓與預測潛在特征相關的輸入特征通過。通過主流特征歸因評價實驗，我們將該方法與幾種特征歸因方法進行了比較。代碼是公開可用的。
付費5元查看完整內容
相關內容
用于解決模仿學習中因果混淆問題的察覺對象的正則化方法
Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning
論文摘要：行為克隆是一種有效的從專家示范中學習策略的方法。然而，行為克隆常會產生因果混淆問題，即學到的策略關注的是專家動作的一個明顯的結果而非專家動作的因（即專家策略所關注的對象）。針對此問題，本文提出了一個察覺對象的正則化方法，主要思想是鼓勵待學策略去均勻地關注所有對象，以防它把注意力全部放在與專家動作強相關的干擾變量上。具體方法分為兩個階段：（a）我們利用量子化向量變分自編碼器的離散編碼從圖片中提取有語義的對象，然后（b）隨機地將具有相同離散編碼值的編碼分量一起丟棄，即掩蓋掉該語義對象。實驗表明所提方法顯著提升了行為克隆的性能，并在各種 Atari 環境及 CARLA 自動駕駛環境中超過了各種其他正則化方法和基于因果的方法，甚至優于可與環境交互的逆強化學習方法。
付費5元查看完整內容
任務導向的無監督域自適應 Task-oriented Alignment for Unsupervised Domain Adaptation 論文摘要：本文工作關注于無監督的域自適應（UDA）技術，即如何在新的場景中利用有標簽的數據來做訓練，使得模型在新的目標數據域中能有盡可能好的性能。目前的 UDA 技術著眼于如何將源數據和新數據的特征通過對齊來減小分布的差異。然而，對于這一類的方法的對齊方式，沒有信息顯式地指導對齊的特征應該是對分類任務有幫助的。針對這一情況，我們提出了一種可以廣泛應用任務導向的 UDA 方法，目標是為了在對齊兩個域的特征分布的時候，能在分類任務的知識的引導下，朝著服務于分類任務的方向進行優化。具體來說，我們利用分類任務中的和最終結果有關的梯度顯示地將分類任務的知識引入到了特征對齊任務，實現任務導向的特征對齊。我們的方法適用于目前絕大多數基于特征對齊來實現域自適應的方法，我們驗證了在無監督、半監督等多個的域自適應任務中都可以取得最好的結果。
付費5元查看完整內容
學習用于分布外預測的因果語義表示
Learning Causal Semantic Representation for Out-of-Distribution Prediction 論文摘要：標準的有監督學習方法特別是深度學習方法對分布外樣例的預測表現欠佳，主要由于其學到的表示難免會混淆語義因素和多樣因素，因為兩者在特定環境下具有特定的相關性，但只有語義因素是輸出變量的因。為此，我們通過對變量間因果關系的分析，將這兩個因素分開建模，進而提出了一個因果語義生成模型，并建立了相應的分布外預測方法用于解決常見且有挑戰性的單訓練域的情況。此方法源自因果不變性原理，并基于變分貝葉斯框架實現，其中引入了一個新穎的設計既實現了高效訓練又便于預測。理論上，我們證明了一定條件下，此模型可通過擬合訓練數據來識別語義因素，且這種識別保證了分布外泛化誤差的有界性和成功的領域自適應。實驗結果表明所提方法比主流基線方法具有更好的分布外預測表現。
付費5元查看完整內容
去柵格化的矢量圖識別
Recognizing Vector Graphics without Rasterization
論文摘要：本文工作關注在一種與以往大多數工作不同的圖像格式：矢量圖。和在圖像識別中常用的位圖不同，由于矢量圖基于解析幾何的表示方式，可以被無損失的縮放到任意分辨率。同時，矢量圖還提供了額外的結構化信息，描述了底層元素是如何構成高層的形狀和結構。現有的識別方法并沒有充分利用這一格式的優點。本文通過目標檢測這一基本的視覺任務來探索這個圖像格式。我們提出了一種無需 CNN 的高效網絡結構，在識別過程中無需將矢量圖渲染為像素圖（即柵格化），直接把矢量圖的文本作為模型輸入，稱為 YOLaT (You Only Look at Text)。YOLaT 將矢量圖的結構和空間信息建模為一個多重圖，并提出一個雙流圖神經網絡基于多重圖來進行目標檢測。實驗證明 YOLaT 通過直接對矢量圖進行處理分析，能夠在計算效率和性能上顯著超過現有的目標檢測方法。
付費5元查看完整內容
基于激光雷達的傳感技術驅動著目前的自動駕駛汽車。盡管進展迅速，但目前的激光雷達傳感器在分辨率和成本方面仍落后于傳統彩色相機20年。對于自動駕駛來說，這意味著靠近傳感器的大物體很容易被看到，但遠處或小物體只包含一兩個測量。這是一個問題，尤其是當這些物體被證明是駕駛危險的時候。另一方面，這些相同的物體在機載RGB傳感器中清晰可見。在這項工作中，我們提出了無縫融合RGB傳感器到基于激光雷達的3D識別的方法。我們的方法采用一組二維檢測來生成密集的三維虛擬點，以增強稀疏的三維點云。這些虛擬點自然地集成到任何標準的基于激光雷達的3D探測器以及常規激光雷達測量。由此產生的多模態檢測器簡單而有效。在大規模nuScenes數據集上的實驗結果表明，我們的框架通過顯著的6.6 mAP改善了一個強大的中心點基線，并優于其他融合方法。代碼和更多可視化信息可以在//tianweiy.github.io/mvp/上找到
付費5元查看完整內容
類不平衡問題作為學習節點表示的一個重要問題，越來越受到社會的關注。盡管現有研究中所考慮的不平衡源于不同類別中標記示例的數量不等(數量不平衡)，但我們認為，圖數據暴露了不平衡的唯一來源，即標記節點的不對稱拓撲屬性，即:標記節點在圖中的結構角色不平等(拓撲不平衡)。在本工作中，我們首先探討了之前未知的拓撲不平衡問題，包括其特征、原因和對半監督節點分類學習的威脅。然后通過標簽傳播算法考慮節點影響轉移現象，提供了一個統一的視角來共同分析數量不平衡和拓撲不平衡問題。根據我們的分析，我們設計了一種基于影響沖突檢測——基于度量的Totoro來測量圖拓撲不平衡的程度，并提出了一種模型無關的ReNode方法來解決拓撲不平衡問題，方法是根據標記節點相對于類邊界的相對位置對其影響進行自適應加權。系統實驗證明了該方法在緩解拓撲不平衡問題和促進半監督節點分類方面的有效性和可泛化性。進一步的分析揭示了不同的圖神經網絡對拓撲不平衡的敏感性不同，為評價圖神經網絡體系結構提供了新的視角。
付費5元查看完整內容
人類通過同時處理和融合來自視覺和音頻等多種模態的高維輸入來感知世界。與之形成鮮明對比的是，機器感知模型通常是特定于模態的，并針對單模態基準進行了優化，因此，從每個模態最終表示或預測的后期融合(“后期融合”)仍然是多模態視頻分類的主導范式。相反，我們引入了一種新的基于transformer的架構，它使用“融合瓶頸”在多個層進行模態融合。與傳統的成對自注意力相比，我們的模型迫使不同模態之間的信息通過少量的瓶頸潛伏，要求模型整理和濃縮每個模態中最相關的信息，只分享必要的信息。我們發現這種策略在提高融合性能的同時，降低了計算成本。我們進行了徹底的消融研究，并在多個視聽分類基準上取得了最先進的結果，包括Audioset、Epic-Kitchens和VGGSound。所有代碼和模型將被發布。
付費5元查看完整內容
在多維分類中，輸出空間中存在多個類變量，每個類變量對應一個異構類空間。由于類空間的異質性，在從MDC示例中學習時，考慮類變量之間的依賴關系非常具有挑戰性。本文提出了一種新的多目標預測方法，即SLEM方法，它在編碼的標簽空間中學習預測模型，而不是在異構的標簽空間中學習預測模型。具體來說，SLEM在編碼-訓練-解碼框架中工作。在編碼階段，通過成對分組、一次熱轉換和稀疏線性編碼三種級聯操作，將每個類向量映射為實值向量。在訓練階段，在編碼標簽空間內學習多輸出回歸模型。在解碼階段，通過對學習的多輸出回歸模型的輸出進行正交匹配追蹤，得到預測的類向量。實驗結果清楚地驗證了SLEM相對于最先進的MDC方法的優越性。
付費5元查看完整內容
模仿學習使智能體能夠重用和適應他人來之不易的專業知識，為學習行為中的幾個關鍵挑戰提供了解決方案。雖然在現實世界中很容易觀察行為，但可能無法訪問底層操作。我們提出了一種新的方法，僅從觀測中進行模仿，在具有挑戰性的連續控制任務中達到與專家相當的性能，同時在與任務無關的觀測存在時也表現出魯棒性。我們的方法叫做FORM(“未來觀察獎勵模型”)，它來自逆RL目標，并使用專家行為模型進行模擬，該模型是通過對專家觀察的生成模型學習而來的，不需要地面的真實行動。我們的研究表明，在DeepMind Control Suite基準上，FORM的性能與強基線IRL方法(GAIL)相當，而在存在與任務無關的特征時，FORM的性能優于GAIL。
付費5元查看完整內容
內容簡介：考慮到不同類別的表情之間存在著相似性，本文認為人臉表情信息由不同表情之間的共享信息與每個表情的特定信息組成，提出了一種基于特征解構與重構學習的人臉表情識別方法。具體地，首先使用特征分解網絡將基本特征分解為一系列能夠感知面部動作的潛在特征，這些潛在特征有效地建模了表情中的共享信息。然后，特征重構網絡分別對這一系列潛在特征向量進行特征內部和特征之間的相關性建模，從而學習表情的特有信息。實驗結果表明該方法在三個室內數據集（包括 CK+、 MMI 和 OuluCASIA）和兩個室外數據集（包括 RAFDB 和 SFEW）上都有優越的性能表現。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191