蜜芽亚洲精品国产品国语在线试看,新版天堂在线地址

[付費5元查看完整內容]近期必讀的5篇AI頂會CVPR 2020 GNN (圖神經網絡) 相關論文

【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿，接收1470篇，其接受率在逐年下降，今年接受率僅為22%。近期，一些Paper放出來，Domain Adaptation（域自適應）相關研究非常火熱，特別是基于Domain Adaptation的視覺應用在今年的CVPR中有不少，專知小編整理了CVPR 2020 域自適應（DA）相關的比較有意思的值得閱讀的六篇論文，供大家參考—行為分割、語義分割、目標檢測、行為識別、域自適應檢索。

Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation

作者：Min-Hung Chen, Baopu Li, Yingze Bao, Ghassan AlRegib, Zsolt Kira

摘要：盡管最近在全監督行為分割（action segmentation）技術方面取得了一些進展，但性能仍然不盡如人意。一個主要挑戰是時空變化問題(例如，不同的人可能以不同的方式進行相同的活動)。因此，我們利用無標簽視頻將行為分割任務重新表述為一個具有時空變化引起的域差異的跨域問題來解決上述時空變化問題。為了減少這種域差異，我們提出了自監督時域自適應(SSTDA)，它包含兩個自監督輔助任務(二進制和序列域預測)來聯合對齊嵌入局部和全局時間動態的跨域特征空間，取得了比其他域自適應(DA)方法更好的性能。在三個具有挑戰性的基準數據集(GTEA、50Salads和Breakfast)上，SSTDA的表現遠遠超過當前最先進的方法(在Breakfas上F1@25得分從59.6 %到69.1%，在50Salads上F1@25得分從73.4 %到81.5%，在GTEA上F1@25得分從83.6%到89.1%)，并且只需要65%的標記訓練數據來就實現了該性能，這表明了SSTDA在各種變化中適應未標記目標視頻的有效性。

網址：

代碼鏈接：

Differential Treatment for Stuff and Things:A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation

作者：Zhonghao Wang, Mo Yu, Yunchao Wei, Rogerior Feris, Jinjun Xiong, Wen-mei Hwu, Thomas S. Huang, Honghui Shi

摘要：本文通過緩解源域(合成數據)和目標域(真實數據)之間的域轉換（domain shift），研究語義分割中的無監督域自適應問題。之前的方法證明，執行語義級對齊有助于解決域轉換問題。我們觀察到事物類別通常在不同域的圖像之間具有相似的外觀，而事物（即目標實例）具有更大的差異，我們提出使用針對填充（stuff）區域和事物的不同策略來改進語義級別的對齊方式：1）對于填充類別，我們為每一類生成特征表示，并進行從目標域到源域的對齊操作；2）對于事物（thing）類別，我們為每個單獨的實例生成特征表示，并鼓勵目標域中的實例與源域中最相似的實例對齊。以這種方式，事物類別內的個體差異也將被考慮，以減輕過度校準。除了我們提出的方法之外，我們還進一步揭示了當前對抗損失在最小化分布差異方面經常不穩定的原因，并表明我們的方法可以通過最小化源域和目標域之間最相似的內容和實例特征來幫助緩解這個問題。

網址：

Exploring Categorical Regularization for Domain Adaptive Object Detection

作者：Chang-Dong Xu, Xing-Ran Zhao, Xin Jin, Xiu-Shen Wei

摘要：在本文中，我們解決了域自適應目標檢測問題，其中的主要挑戰在于源域和目標域之間存在明顯的域差距。以前的工作試圖明確地對齊圖像級和實例級的移位，以最小化域差異。然而，它們仍然忽略了去匹配關鍵圖像區域和重要的跨域實例，這將嚴重影響域偏移緩解。在這項工作中，我們提出了一個簡單有效的分類正則化框架來緩解這個問題。它可以作為一個即插即用（plug-and-play）組件應用于一系列域自適應Faster R-CNN方法，這些方法在處理域自適應檢測方面表現突出。具體地說，由于分類方式的定位能力較弱，通過在檢測主干上集成圖像級多標簽分類器，可以獲得與分類信息相對應的稀疏但關鍵的圖像區域。同時，在實例級，我們利用圖像級預測(分類器)和實例級預測(檢測頭)之間的分類一致性作為正則化因子，自動尋找目標域的硬對齊實例。各種域轉移場景的大量實驗表明，與原有的域自適應Faster R-CNN檢測器相比，我們的方法獲得了顯著的性能提升。此外，定性的可視化和分析可以證明我們的方法能夠關注針對領域適配的關鍵區域/實例。

網址：

代碼鏈接：

Multi-Modal Domain Adaptation for Fine-Grained Action Recognition

作者：Jonathan Munro, Dima Damen

摘要：細粒度行為識別數據集存在出環境偏差，多個視頻序列是從有限數量的環境中捕獲的。在一個環境中訓練模型并在另一個環境中部署會由于不可避免的域轉換而導致性能下降。無監督域適應(UDA)方法經常利用源域和目標域之間進行對抗性訓練。然而，這些方法并沒有探索視頻在每個域中的多模式特性。在這項工作中，除了對抗性校準之外，我們還利用模態之間的對應關系作為UDA的一種自監督校準方法。

我們在大規模數據集EPIC-Kitchens中的三個kitchens上使用行為識別的兩種模式：RGB和光學流（Optical Flow）測試了我們的方法。結果顯示，僅多模態自監督比僅進行源訓練的性能平均提高了2.4％。然后，我們將對抗訓練與多模態自監督相結合，表明我們的方法比其他UDA方法要好3％。

網址：

Learning Texture Invariant Representation for Domain Adaptation of Semantic Segmentation

作者：Myeongjin Kim, Hyeran Byun

摘要：由于用于語義分割的像素級標簽標注很費力，因此利用合成數據是一種更好的解決方案。然而，由于合成域和實域之間存在領域鴻溝，用合成數據訓練的模型很難推廣到真實數據。本文將這兩個領域之間的根本差異作為紋理，提出了一種自適應目標域紋理的方法。首先，我們使用樣式轉移算法使合成圖像的紋理多樣化。合成圖像的各種紋理防止分割模型過擬合到一個特定(合成)紋理。然后，通過自訓練對模型進行微調，得到對目標紋理的直接監督。我們的結果達到了最先進的性能，并通過大量的實驗分析了在多樣化數據集上訓練的模型的性質。

網址：

Probability Weighted Compact Feature for Domain Adaptive Retrieval

作者：Fuxiang Huang, Lei Zhang, Yang Yang, Xichuan Zhou

摘要：域自適應圖像檢索包括單域檢索和跨域檢索。現有的圖像檢索方法大多只關注單個域的檢索，假設檢索數據庫和查詢的分布是相似的。然而，在實際應用中，通常在理想光照/姿態/背景/攝像機條件下獲取的檢索數據庫與在非受控條件下獲得的查詢之間的差異很大。本文從實際應用的角度出發，重點研究跨域檢索的挑戰性問題。針對這一問題，我們提出了一種有效的概率加權緊湊特征學習(PWCF)方法，它提供域間相關性指導以提高跨域檢索的精度，并學習一系列緊湊二進制碼（compact binary codes）來提高檢索速度。首先，我們通過最大后驗估計(MAP)推導出我們的損失函數：貝葉斯(BP)誘發的focal-triplet損失、BP誘發的quantization損失和BP誘發的分類損失。其次，我們提出了一個通用的域間復合結構來探索域間的潛在相關性。考慮到原始特征表示因域間差異而存在偏差，復合結構難以構造。因此，我們從樣本統計的角度提出了一種新的特征—鄰域直方圖特征(HFON)。在不同的基準數據庫上進行了大量的實驗，驗證了我們的方法在領域自適應圖像檢索中的性能優于許多最先進的圖像檢索方法。

網址：

代碼鏈接：

付費5元查看完整內容

CVPR 2020 · 圖神經網絡 ·

2020 年 3 月 3 日

【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿，接收1470篇，其接受率在逐年下降，今年接受率僅為22%。近期，一些Paper放出來，專知小編整理了CVPR 2020 圖神經網絡(GNN)相關的比較有意思的值得閱讀的五篇論文，供大家參考—點云分析、視頻描述生成、軌跡預測、場景圖生成、視頻理解等。

1. Grid-GCN for Fast and Scalable Point Cloud Learning

作者：Qiangeng Xu, Xudong Sun, Cho-Ying Wu, Panqu Wang and Ulrich Neumann

摘要：由于點云數據的稀疏性和不規則性，越來越多的方法直接使用點云數據。在所有基于point的模型中，圖卷積網絡（GCN）通過完全保留數據粒度和利用點間的相互關系表現出顯著的性能。然而，基于點的網絡在數據結構化(例如，最遠點采樣(FPS)和鄰接點查詢)上花費了大量的時間，限制了其速度和可擴展性。本文提出了一種快速、可擴展的點云學習方法--Grid-GCN。Grid-GCN采用了一種新穎的數據結構策略--Coverage-Aware Grid Query(CAGQ)。通過利用網格空間的效率，CAGQ在降低理論時間復雜度的同時提高了空間覆蓋率。與最遠的點采樣（FPS）和Ball Query等流行的采樣方法相比，CAGQ的速度提高了50倍。通過網格上下文聚合(GCA)模塊，Grid-GCN在主要點云分類和分割基準上實現了最先進的性能，并且運行時間比以前的方法快得多。值得注意的是，在每個場景81920個點的情況下，Grid-GCN在ScanNet上的推理速度達到了50fps。

網址：//arxiv.org/abs/1912.02984

2. Object Relational Graph with Teacher-Recommended Learning for Video Captioning

作者：Ziqi Zhang, Yaya Shi, Chunfeng Yuan, Bing Li, Peijin Wang, Weiming Hu and Zhengjun Zha

摘要：充分利用視覺和語言的信息對于視頻字幕任務至關重要。現有的模型由于忽視了目標之間的交互而缺乏足夠的視覺表示，并且由于長尾（long-tailed）問題而對與內容相關的詞缺乏足夠的訓練。在本文中，我們提出了一個完整的視頻字幕系統，包括一種新的模型和一種有效的訓練策略。具體地說，我們提出了一種基于目標關系圖(ORG)的編碼器，該編碼器捕獲了更詳細的交互特征，以豐富視覺表示。同時，我們設計了一種老師推薦學習(Teacher-Recommended Learning, TRL)的方法，充分利用成功的外部語言模型(ELM)將豐富的語言知識整合到字幕模型中。ELM生成了在語義上更相似的單詞，這些單詞擴展了用于訓練的真實單詞，以解決長尾問題。對三個基準MSVD，MSR-VTT和VATEX進行的實驗評估表明，所提出的ORG-TRL系統達到了最先進的性能。廣泛的消去研究和可視化說明了我們系統的有效性。

網址：

3. Social-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network for Human Trajectory Prediction

作者：Abduallah Mohamed and Kun Qian

摘要：有了更好地了解行人行為的機器可以更快地建模智能體（如：自動駕駛汽車）和人類之間的特征交互。行人的運動軌跡不僅受行人自身的影響，還受與周圍物體相互作用的影響。以前的方法通過使用各種聚合方法（整合了不同的被學習的行人狀態）對這些交互進行建模。我們提出了社交-時空圖卷積神經網絡(Social-STGCNN)，它通過將交互建模為圖來代替聚合方法。結果表明，最終位偏誤差(FDE)比現有方法提高了20%，平均偏移誤差(ADE)提高了8.5倍，推理速度提高了48倍。此外，我們的模型是數據高效的，在只有20%的訓練數據上ADE度量超過了以前的技術。我們提出了一個核函數來將行人之間的社會交互嵌入到鄰接矩陣中。通過定性分析，我們的模型繼承了行人軌跡之間可以預期的社會行為。

網址：

代碼鏈接：

4. Unbiased Scene Graph Generation from Biased Training

作者：Kaihua Tang, Yulei Niu, Jianqiang Huang, Jiaxin Shi and Hanwang Zhang

摘要：由于嚴重的訓練偏差，場景圖生成（SGG）的任務仍然不夠實際，例如，將海灘上的各種步行/坐在/躺下的人簡化為海灘上的人。基于這樣的SGG，VQA等下游任務很難推斷出比一系列對象更好的場景結構。然而，SGG中的debiasing 是非常重要的，因為傳統的去偏差方法不能區分好的和不好的偏差，例如，好的上下文先驗(例如，人看書而不是吃東西)和壞的長尾偏差(例如，將在后面/前面簡化為鄰近)。與傳統的傳統的似然推理不同，在本文中，我們提出了一種新的基于因果推理的SGG框架。我們首先為SGG建立因果關系圖，然后用該因果關系圖進行傳統的有偏差訓練。然后，我們提出從訓練好的圖中提取反事實因果關系（counterfactual causality），以推斷應該被去除的不良偏差的影響。我們使用Total Direct Effect作為無偏差SGG的最終分數。我們的框架對任何SGG模型都是不可知的，因此可以在尋求無偏差預測的社區中廣泛應用。通過在SGG基準Visual Genome上使用我們提出的場景圖診斷工具包和幾種流行的模型，與以前的最新方法相比有顯著提升。

網址：

代碼鏈接：

5. Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences

作者：Zhu Zhang, Zhou Zhao, Yang Zhao, Qi Wang, Huasheng Liu and Lianli Gao

摘要：在本文中，我們考慮了一項用于多形式句子（Multi-Form Sentences）的時空Video Grounding（STVG）的任務。即在給定未剪輯的視頻和描述對象的陳述句/疑問句，STVG旨在定位所查詢目標的時空管道（tube）。STVG有兩個具有挑戰性的設置：(1)我們需要從未剪輯的視頻中定位時空對象管道，但是對象可能只存在于視頻的一小段中；（2）我們需要處理多種形式的句子，包括帶有顯式賓語的陳述句和帶有未知賓語的疑問句。由于無效的管道預生成和缺乏對象關系建模，現有方法無法解決STVG任務。為此，我們提出了一種新穎的時空圖推理網絡(STGRN)。首先，我們構建時空區域圖來捕捉具有時間對象動力學的區域關系，包括每幀內的隱式、顯式空間子圖和跨幀的時間動態子圖。然后，我們將文本線索加入到圖中，并開發了多步跨模態圖推理。接下來，我們引入了一種具有動態選擇方法的時空定位器，該定位器可以直接檢索時空管道，而不需要預先生成管道。此外，我們在視頻關系數據集Vidor的基礎上構建了一個大規模的video grounding數據集VidSTG。大量的實驗證明了該方法的有效性。

網址：

付費5元查看完整內容

圖像分割 · 計算機視覺 · CVPR · AAAI ·

[付費5元查看完整內容]近期必讀的7篇【醫學圖像分割】相關論文和代碼（CVPR、AAAI）

//arxiv.org/abs/1904.12181v1

【導讀】最近小編推出CVPR2019圖卷積網絡相關論文、CVPR2019生成對抗網絡相關視覺論文、【可解釋性】相關論文和代碼，CVPR視覺目標跟蹤相關論文，CVPR視覺問答相關論文，反響熱烈。最近，醫學圖像分割這一新分割應用領域也廣泛受關注，出現了好多新方法、新數據集，今天小編專門整理最新七篇醫學圖像分割相關應用論文—對抗攻擊、跨模態域自適應、遷移學習、one-shot、GAN等。

1、Non-Local Context Encoder: Robust Biomedical Image Segmentation against Adversarial Attacks（非局部上下文編碼器: 針對對抗攻擊的魯棒生物醫學圖像分割）

AAAI ’19 Oral

作者：Xiang He, Sibei Yang, Guanbin Li?, Haofeng Li, Huiyou Chang, Yizhou Yu

摘要：基于深度卷積神經網絡(CNNs)的生物醫學圖像分割技術近年來受到廣泛關注。然而，它對對抗性樣本的脆弱性不容忽視。本文首次發現所有基于CNN的先進生物醫學圖像分割模型都對對抗擾動敏感。這限制了這些方法在安全關鍵的生物醫學領域的應用。在本文中，我們發現生物醫學圖像中的全局空間依賴關系和全局上下文信息可以被用來抵御對抗攻擊。為此，提出了一種基于非局部上下文編碼(NLCE)的短時和長時程空間依賴關系建模方法，并對全局上下文進行編碼，通過信道感知增強特征激活。NLCE模塊增強了非局部上下文編碼網絡(NLCEN)的魯棒性和準確性，NLCEN利用NLCE模塊學習魯棒性增強的金字塔特征表示，并將不同層次的信息集成在一起。在肺和皮膚病變分割數據集上的實驗表明，NLCEN在抵抗對抗攻擊方面優于任何其他先進的生物醫學圖像分割方法。此外，NLCE模塊可用于提高其他基于CNN的生物醫學圖像分割方法的魯棒性。

網址：

2、Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation（協同圖像與特征自適應: 面向醫學圖像分割的跨模態域自適應）

AAAI ’19 Oral

作者：Cheng Chen, Qi Dou, Hao Chen, Jing Qin, Pheng-Ann Heng

摘要：本文提出了一種新的無監督域自適應框架——協同圖像與特征自適應(SIFA)，有效地解決了domain shift問題。域自適應是近年來深度學習研究的一個重要和熱點問題，其目的是解決神經網絡應用于新的測試領域時性能下降的問題。我們提出的SIFA是一個優雅的學習圖，它從圖像和特征兩個角度展示了適應性的協同融合。特別是，我們同時跨域轉換圖像的外觀并且增強所提取的特征的域不變性來進行分割任務。在端到端學習過程中，特征編碼器層由兩個透視圖共享，以掌握它們的共同特征。在不使用目標域的任何標注的情況下，我們的統一模型的學習是以對抗性損失為指導，從各個方面使用多個判別器。我們已經通過對心臟結構的跨模態醫學圖像分割這一具有挑戰性的應用廣泛地驗證了我們的方法。實驗結果表明，我們的SIFA模型能夠將性能下降幅度從17.2%恢復到73.0%，并顯著優于現有的最先進方法。

網址：

代碼鏈接：

3、Data augmentation using learned transformations for one-shot medical image segmentation（利用學習變換進行數據增強，實現one-shot醫學圖像分割）

CVPR ’19

作者：Amy Zhao, Guha Balakrishnan, Frédo Durand, John V. Guttag, Adrian V. Dalca

摘要：圖像分割是醫學應用中的一個重要課題。基于卷積神經網絡的方法獲得了最先進的精度；然而，它們通常依賴于帶有大型標記數據集的監督訓練。醫學圖像的標注需要大量的專業知識和時間，而典型的手工調優的數據增強方法無法捕捉這些圖像中的復雜變化。我們提出了一種自動數據增強方法來合成標記醫學圖像。我們在分割磁共振成像(MRI)腦掃描的任務中展示了我們的方法。我們的方法只需要一次分段掃描，并利用半監督方法中的其他未標記掃描。我們從圖像中學習轉換模型，并使用該模型和帶標記的示例來合成其他帶標記的示例。每個轉換都由空間變形場和強度變化組成，從而能夠綜合復雜的效果，如解剖學和圖像采集過程的變化。我們展示了使用這些新示例訓練有監督的分割器，對于one-shot生物醫學圖像分割的最先進方法有著顯著的改進。我們的代碼可以在

網址：

代碼鏈接：

4、Autofocus Layer for Semantic Segmentation（用于語義分割的自動聚焦層）

作者：Yao Qin, Konstantinos Kamnitsas, Siddharth Ancha, Jay Nanavati, Garrison Cottrell, Antonio Criminisi, Aditya Nori

摘要：為了提高神經網絡的多尺度處理能力，提出了一種自聚焦卷積層用于語義分割。自動聚焦層根據處理過的上下文自適應地改變有效接受域的大小，以生成更強大的特征。這是通過將具有不同膨脹率的多個卷積層并行化來實現的，并結合一種注意力機制，該機制學會將注意力集中在由上下文驅動的最優尺度上。通過共享并行卷積的權值，我們使網絡的規模不變，只增加了少量的參數。提出的自動聚焦層可以很容易地集成到現有網絡中，提高模型的表示能力。我們在骨盆CT多器官分割和MRI腦腫瘤分割的挑戰性任務中評估了我們的模型，并取得了非常有前景的性能。

網址：

5、Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning（利用生成式對抗學習進行Few-shot三維多模態醫學圖像分割）

作者：Arnab Kumar Mondal, Jose Dolz, Christian Desrosiers

摘要：我們解決了在極少數標記示例可供訓練的情況下分割三維多模態醫學圖像的問題。利用最近成功的對抗學習進行半監督分割，我們提出了一種基于生成對抗網絡（GAN）的新方法來訓練具有標記和未標記圖像的分割模型。該方法通過學習識別生成網絡中獲得的真假patch，來防止過擬合。我們的工作擴展了目前的專注于二維單模態圖像對抗性學習方法到更具挑戰性的三維體多模態。針對iSEG-2017和MRBrainS 2013數據集的腦MRI分割問題，對該方法進行了評估。與在完全監督下訓練的最先進的分割網絡相比，性能有了顯著的提高。此外，我們的工作提供了對半監督分割的不同GAN架構的綜合分析，顯示了最近的技術，如特征匹配，以產生比傳統對抗訓練方法更高的性能。我們的代碼可以通過

網址：

代碼鏈接：

6、nnU-Net: Breaking the Spell on Successful Medical Image Segmentation（nnU-Net）

作者：Fabian Isensee, Jens Petersen, Simon A. A. Kohl, Paul F. J?ger, Klaus H. Maier-Hein

摘要：由于數據集的多樣性，語義分割是醫學圖像分析中的一個熱門子領域，每年都有大量的新方法被提出。然而，這個不斷增長的系列方法變得越來越難以理解。同時，許多提出的方法不能推廣到實驗之外，從而阻礙了在新數據集上開發分割算法的過程。這里我們介紹nnU-Net(“no-new-Net”)，這個框架可以自適應任何給定的新數據集。雖然到目前為止這個過程完全由人為驅動，但我們首先嘗試根據給定數據集的屬性自動執行必要的調整，例如預處理，精確的patch大小，batch大小和推理設置。值得注意的是，nnU-Net去掉了通常在文獻中提出的架構上的附加功能，只依賴于嵌入在健壯的訓練方案中的簡單U-Net架構。開箱即用，nnU-Net在六個完善的細分挑戰中實現了最先進的性能。源代碼可從

網址：

代碼鏈接：

7、PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network with a Benchmark at Cross-modality Cardiac Segmentation（PnP-AdaNet：即插即用的對抗性域自適應網絡，用于跨模態心臟分割的基準）

作者：Qi Dou, Cheng Ouyang, Cheng Chen, Hao Chen, Ben Glocker, Xiahai Zhuang, Pheng-Ann Heng

摘要：深卷積網絡在各種醫學圖像計算任務中表現出了最先進的性能。利用來自不同模式的圖像進行相同的分析任務具有臨床益處。然而，深度模型對不同分布的測試數據的泛化能力仍然是一個主要的挑戰。在本文中，我們提出了PnPAdaNet(即插即用的對抗域自適應網絡)來適應不同醫學圖像模式(如MRI和CT)之間的分割網絡。我們建議以一種無監督的方式對齊源域和目標域的特征空間，從而解決重要的domain shift問題。具體地，域自適應模塊靈活地替換源網絡的早期編碼器層，并且在域之間共享更高層。通過對抗性學習，我們構建了兩個判別器，其輸入分別是多級特征和預測分割掩碼。我們在非配對MRI和CT中的心臟結構分割任務驗證了我們的域自適應方法。綜合消融研究的實驗結果證明了我們提出的PnP-AdaNet的優異功效。此外，我們為心臟數據集引入了一個新的基準，用于無監督跨模態域自適應的任務。我們將公開我們的代碼和數據集，旨在促進醫學成像這一具有挑戰性但重要的研究課題的未來研究。

網址：

代碼鏈接：

下載鏈接：提取碼：kljf

付費5元查看完整內容

CVPR · 視覺問答 ·

[付費5元查看完整內容]近期必讀的7篇 CVPR 2019【視覺問答】相關論文和代碼

//arxiv.org/abs/1902.09487

【導讀】最近小編推出CVPR2019圖卷積網絡相關論文、CVPR2019生成對抗網絡相關視覺論文、【可解釋性】相關論文和代碼，CVPR視覺目標跟蹤相關論文和代碼，反響熱烈。最近，視覺問答和推理這一領域也廣泛受關注，出現了好多新方法、新數據集，CVPR 2019已經陸續放出很多篇篇相關文章。今天小編專門整理最新七篇視覺問答相關應用論文—多模態關系推理、視覺上下文、遷移學習、通用VQA模型、新數據集GQA等。

1、MUREL: Multimodal Relational Reasoning for Visual Question Answering （MUREL：視覺問答的多模態關系推理）

CVPR ’19

作者：Remi Cadene, Hedi Ben-younes, Matthieu Cord, Nicolas Thome

摘要：多模態注意力網絡是目前用于涉及真實圖像的視覺問答(VQA)任務的最先進的模型。盡管注意力集中在與問題相關的可視內容上，但這種簡單的機制可能不足以模擬VQA或其他高級任務所需的復雜推理功能。在本文中，我們提出了MuRel，一種多模態關系網絡，它通過真實圖像進行端到端的學習。我們的第一個貢獻是引入了MuRel單元，這是一個原子推理原語，通過豐富的向量表示來表示問題和圖像區域之間的交互，并使用成對組合對區域關系建模。其次，我們將單元格合并到一個完整的MuRel網絡中，該網絡逐步細化了可視化和問題交互，并且可以用來定義比注意力更精細的可視化方案。我們驗證了我們的方法與各種消融研究的相關性，并在三個數據集:VQA 2.0、VQA- cp v2和TDIUC上顯示了它相對于基于注意力的方法的優勢。我們的最終MuRel網絡在這一具有挑戰性的環境中具有競爭力或優于最先進的結果。

網址：

代碼鏈接：

2、Image-Question-Answer Synergistic Network for Visual Dialog（基于圖像-問題-答案協同網絡的視覺對話）

CVPR ’19

作者：Dalu Guo, Chang Xu, Dacheng Tao

摘要：圖像、問題(結合用于de-referencing的歷史)和相應的答案是視覺對話的三個重要組成部分。經典的視覺對話系統集成了圖像、問題和歷史來搜索或生成最佳匹配的答案，因此，這種方法明顯忽略了答案的作用。在本文中，我們設計了一個新穎的圖像 - 問題 - 答案協同網絡，以評估答案對精確視覺對話的作用。我們將傳統的一階段解決方案擴展為兩階段解決方案。在第一階段，根據候選答案與圖像和問題對的相關性對候選答案進行粗略評分。之后，在第二階段，通過與圖像和問題協同，對具有高正確概率的答案進行重新排序。在Visual Dialog v1.0數據集上，所提出的協同網絡增強了判別性視覺對話模型，實現了57.88%的NDCG(normalized discounted cumulative gain)的最新的最優表現。

網址：

3、Learning to Compose Dynamic Tree Structures for Visual Contexts（學習為視覺上下文構建動態樹結構）

CVPR ’19 Oral

作者：Kaihua Tang, Hanwang Zhang, Baoyuan Wu, Wenhan Luo, Wei Liu

摘要：我們提出組合動態樹結構，將圖像中的對象放入視覺上下文中，幫助進行視覺推理任務，如場景圖生成和視覺問答。我們的視覺上下文樹模型（稱為VCTree）與現有的結構化對象表示（包括鏈和全連接圖）相比具有兩個關鍵優勢：1）高效且富有表現力的二叉樹編碼對象之間固有的并行/層次關系，例如“衣服”和“褲子”通常是共同出現的，屬于“人”; 2）動態結構因圖像和任務而異，允許在對象之間傳遞更多特定于任務的內容/消息。為了構造一個VCTree，我們設計了一個score函數來計算每個對象對之間的任務依賴效度，這個VCTree是score矩陣中最大生成樹的二進制版本。然后，視覺上下文由雙向TreeLSTM編碼，并由特定于任務的模型解碼。本文提出了一種混合學習方法，將末端任務監督學習與樹形結構強化學習相結合，前者的評估結果作為后者結構探索的self-critic。兩個benchmark測試的實驗結果，需要對上下文進行推理：用于場景圖生成的Visual Genome和用于視覺Q＆A的VQA2.0，表明VCTree在發現可解釋的視覺上下文結構時優于最先進的結果。

網址：

4、Transfer Learning via Unsupervised Task Discovery for Visual Question Answering（通過無監督的任務發現遷移學習以進行視覺問答）

CVPR ’19

作者：Hyeonwoo Noh, Taehoon Kim, Jonghwan Mun, Bohyung Han

摘要：我們研究如何利用現成的視覺和語言數據來處理視覺問答任務中詞匯量不足的問題。現有的帶有圖像類標簽、邊界框和區域描述等標注的大型可視化數據集是學習豐富多樣的視覺概念的好資源。然而，由于依賴于問題的回答模型與無問題的視覺數據之間缺少聯系，如何捕獲視覺概念并將其轉化為VQA模型并不簡單。我們通過兩個步驟來解決這個問題:1)學習一個任務條件視覺分類器，該分類器基于無監督任務發現，能夠解決多種特定問題的視覺識別任務;2)將任務條件視覺分類器轉化為視覺問答模型。具體來說，我們使用結構化詞匯庫(如WordNet)和視覺概念描述等語言知識資源來進行無監督任務發現，并將學習到的任務條件視覺分類器作為一個回答單元遷移到一個 VQA模型中。實驗結果表明，該算法利用從視覺數據集中遷移的知識成功地推廣到詞匯表外的問題。

網址：

代碼鏈接：

5、Answer Them All! Toward Universal Visual Question Answering Models（回答他們所有人!基于通用的視覺問答模型）

CVPR ’19

作者：Robik Shrestha, Kushal Kafle, Christopher Kanan

摘要：視覺問答(VQA)研究分為兩個陣營:第一個陣營關注需要自然圖像理解的VQA數據集，第二個陣營關注測試推理的合成數據集。一個好的VQA算法應該同時具備這兩種功能，但是只有少數VQA算法是以這種方式進行測試的。我們比較了涵蓋這兩個領域的8個VQA數據集中的5種最先進的VQA算法。為了公平起見，所有的模型都盡可能標準化，例如，它們使用相同的視覺特性、答案詞表等。我們發現，這些方法不能泛化到這兩個領域。為了解決這一問題，我們提出了一種新的VQA算法，它可以與這兩個領域的最先進算法相媲美或超過它們。

網址：

6、GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering（GQA: 一個用于真實世界的視覺推理和合成問題回答的新數據集）

CVPR ’19

作者：Drew A. Hudson, Christopher D. Manning

摘要：我們介紹了一個新的數據集GQA，用于真實世界的視覺推理和合成問題回答，試圖解決以前的VQA數據集的關鍵缺陷。我們開發了一個強大而健壯的問題引擎，它利用場景圖結構創建了2200萬個不同的推理問題，所有這些問題都帶有表示其語義的功能程序。我們使用這些程序來獲得對答案分布的嚴格控制，并提出了一種新的可調平滑技術來減少問題的偏差。隨數據集而來的是一套新的度量標準，用于評估consistency、grounding和plausibility等基本質量。對baseline和最先進的模型進行了廣泛的分析，為不同的問題類型和拓撲提供了細粒度的結果。一個單獨的LSTM僅獲得42.1%的結果，強大的VQA模型達到54.1%，而人類的表現最高達到89.3%，這為探索新的研究提供了充足的機會。我們強烈希望GQA能夠為下一代模型提供支持資源，增強健壯性、改進一致性以及對圖像和語言更深入的語義理解。

網址：

7、Towards VQA Models that can Read（面向可讀的VQA模型）

CVPR ’19

作者：Amanpreet Singh, Vivek Natarajan, Meet Shah, Yu Jiang, Xinlei Chen, Dhruv Batra, Devi Parikh, Marcus Rohrbach

摘要：研究表明，視障用戶對周圍環境圖像提出的主要問題包括閱讀圖像中的文字。但是今天的VQA模型不能讀取! 我們的論文朝著解決這個問題邁出了第一步。首先，我們引入一個新的“TextVQA”數據集來促進在這個重要問題上的進展。現有的數據集要么有一小部分關于文本的問題(例如，VQA數據集)，要么太小(例如，VizWiz數據集)。TextVQA包含45,336個問題，涉及28,408張圖像，需要對文本進行推理才能回答。其次，我們介紹了一種新的模型架構，它可以讀取圖像中的文本，在圖像和問題的上下文中對其進行推理，并預測一個可能是基于文本和圖像的推理或由圖像中發現的字符串組成的答案。因此，我們稱我們的方法為“Look, Read, Reason & Answer”(LoRRA)。我們在TextVQA數據集中展示了LoRRA優于現有的最先進的VQA模型。我們發現，在TextVQA上，人類性能和機器性能之間的差距明顯大于VQA 2.0，這表明TextVQA非常適合在與VQA 2.0互補的方向上進行基準測試。

網址：

代碼鏈接：

下載鏈接：提取碼：yfq2

付費5元查看完整內容

可解釋性 · AAAI · CVPR · WSDM ·

[付費5元查看完整內容]近期必讀的10篇【可解釋性】相關論文和代碼（AAAI、CVPR、WSDM）

//yangjiera.github.io/works/recsys2018.pdf

【導讀】最近小編推出CVPR2019圖卷積網絡相關論文和CVPR2019生成對抗網絡相關視覺論文，反響熱烈。最近，模型的可解釋性是現在正火熱的科研和工程問題，也在各個頂級會議上都有相關文章發表，今天小編專門整理最新十篇可解釋性相關應用論文—推薦系統、知識圖譜、遷移學習以及視覺推理等。

1、Recurrent Knowledge Graph Embedding for Effective Recommendation（基于循環知識圖嵌入的推薦）

RecSys ’18

作者：Zhu Sun, Jie Yang, Jie Zhang, Alessandro Bozzon, Long-Kai Huang, Chi Xu

摘要：知識圖(KGs)已被證明是改進推薦的有效方法。現有的方法主要依賴于KG手工設計的特性(例如，元路徑meta paths)，這需要領域知識（domain knowledge）。本文介紹了一種KG嵌入方法RKGE，它可以自動學習實體和實體之間的路徑的語義表示，從而描述用戶對商品的偏好。具體地說，RKGE采用了一種新的循環網絡架構，其中包含了一批循環網絡，用于對鏈接相同實體對的路徑進行語義建模，這些路徑無縫地融合到推薦中。它還使用pooling操作符來區分不同路徑在描述用戶對商品的偏好時的顯著性。對真實數據集的廣泛驗證顯示出RKGE相對于最先進方法的優越性。此外，我們證明了RKGE為推薦結果提供了有意義的解釋。

網址：

2、Explainable Recommendation via Multi-Task Learning in Opinionated Text Data（在觀點文本數據中基于多任務學習的可解釋性推薦）

SIGIR ’18

作者：Nan Wang, Hongning Wang, Yiling Jia, Yue Yin

摘要：通過解釋自動生成的推薦，可以讓用戶更明智、更準確地決定使用哪些結果，從而提高他們的滿意度。在這項工作中，我們開發了一個可解釋推薦的多任務學習解決方案。通過聯合張量因子分解，將推薦用戶偏好建模和解釋用戶意見內容建模這兩項學習任務結合起來。因此，該算法不僅預測了用戶對一組商品的偏好，即推薦，而且預測用戶如何在特征級別上喜歡某一特定商品，即觀點文本解釋。通過對Amazon和Yelp兩個大型評論數據集的大量實驗，與現有的幾種推薦算法相比，驗證了我們的解決方案在推薦和解釋任務方面的有效性。我們廣泛的實驗研究清楚地證明了我們的算法生成的可解釋建議有著不錯的實用價值。

網址：

代碼鏈接：

3、TEM：Tree-enhanced Embedding Model for Explainable Recommendation（基于Tree增強嵌入方法的可解釋性推薦）

WWW ’18

作者：Xiang Wang, Xiangnan He, Fuli Feng, Liqiang Nie, Tat-Seng Chua

摘要：雖然協同過濾是個性化推薦的主導技術，但它只對用戶-商品交互進行建模，不能為推薦提供具體的理由。與此同時，與用戶-商品交互相關的豐富的側面信息(例如，用戶統計數據和商品屬性)提供了有價值的證據，可以說明為什么該推薦適合于用戶，但在提供解釋方面還沒有得到充分的探索。在技術方面，基于嵌入的方法，如廣度&深度和神經因子分解機，提供了最先進的推薦性能。然而，它們的工作原理就像一個黑匣子，無法明確地呈現出預測背后的原因。另一方面，決策樹等基于樹的方法通過從數據中推斷決策規則來進行預測。雖然可以解釋，但它們不能推廣到不可見的特性交互，因此在協作過濾應用程序中會失敗。在這項工作中，我們提出了一種新的解決方案，稱為樹增強嵌入方法，它結合了基于嵌入和基于樹的模型的優點。我們首先使用一個基于樹的模型從豐富的側面信息來學習明確的決策規則（又稱交叉特征)。接下來，我們設計了一個嵌入模型，該模型可以包含顯式交叉特征，并推廣到用戶ID和商品ID上不可見的交叉特征。嵌入方法的核心是一個易于解釋的注意力網絡，使得推薦過程完全透明和可解釋。我們對旅游景點和餐廳推薦的兩個數據集進行了實驗，證明了我們的解決方案的優越性能和可解釋性。

網址：

代碼鏈接：

4、Explainable Reasoning over Knowledge Graphs for Recommendation（基于知識圖譜可解釋推理的推薦）

AAAI ’19

作者：Xiang Wang, Dingxian Wang, Canran Xu, Xiangnan He, Yixin Cao, Tat-Seng Chua

摘要：近年來，將知識圖譜與推薦系統相結合引起越來越多的關注。通過研究知識圖譜中的相互關系，可以發現用戶與商品之間的連接路徑，這為用戶與商品之間的交互提供了豐富且互補的信息。這種連通性不僅揭示了實體和關系的語義，而且有助于理解用戶的興趣。然而，現有的工作尚未充分探索用來推斷用戶偏好的這種連接性，特別是在建模路徑內部的順序依賴關系和整體語義方面。本文提出了一種新的知識感知路徑遞歸網絡(Knowledgeaware Path Recurrent Network，KPRN)模型，利用知識圖進行推薦。KPRN可以通過組合實體和關系的語義來生成路徑表示。通過利用路徑中的順序依賴關系，我們允許對路徑進行有效的推理，從而推斷用戶-商品交互的基本原理。此外，我們設計了一個新的加權pooling操作來區分連接用戶和商品的不同路徑的優勢，使我們的模型具有一定的可解釋性。我們對電影和音樂的兩個數據集進行了大量的實驗，證明了，與最好的方法相比，CKE(Collaborative Knowledge Base Embedding)和神經因子分解(Neural Factorization Machine)，都有了顯著的改進。

網址：

代碼鏈接：

5、Explainable Recommendation Through Attentive Multi-View Learning（基于注意力機制多視角學習的可解釋推薦）

AAAI ’19

作者：Jingyue Gao, Xiting Wang, Yasha Wang, Xing Xie

摘要：由于信息的爆炸式增長，推薦系統在我們的日常生活中發揮著越來越重要的作用。當我們評估一個推薦模型時，準確性和可解釋性是兩個核心方面，并且已經成為機器學習的基本權衡指標之一。在本文中，我們提出通過開發一個結合了基于深度學習的模型和現有可解釋方法的優點的可解釋的深度模型，來減輕準確性和可解釋性之間的權衡。其基本思想是基于可解釋的深度層次結構(如Microsoft概念圖)構建初始網絡，通過優化層次結構中的關鍵變量(如節點重要性和相關性)來提高模型精度。為了保證準確的評分預測，我們提出了一個周到的多視圖學習框架。該框架通過在不同的特征層之間進行協同正則化，并專注地結合預測，使我們能夠處理稀疏和噪聲數據。為了從層次結構中挖掘可讀的解釋，我們將個性化解釋生成問題定義為一個約束樹節點選擇問題，并提出了一種動態規劃算法來解決該問題。實驗結果表明，該模型在準確性和可解釋性方面均優于現有的最好的方法。

網址：

6、ExFaKT- A Framework for Explaining Facts over Knowledge Graphs and Text（ExFaKT:一個基于知識圖譜和文本來解釋事實的框架）

WSDM ’19

作者：Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum

摘要：事實檢驗是準確填充、更新和整理知識圖譜的關鍵。手工驗證候選事實非常耗時。先前關于自動完成這一任務的工作側重于使用非人類可解釋的數值分數來估計真實性。另一些則提取文本中對候選事實的顯式提及作為候選事實的證據，這很難直接發現。在我們的工作中，我們引入了ExFaKT，這是一個專注于為候選事實生成人類可理解的解釋的框架。ExFaKT使用以Horn子句形式編碼的背景知識將相關事實重寫為一組其他更容易找到的事實。我們框架的最終輸出是文本和知識圖譜中候選事實的一組語義跟蹤。實驗表明，我們的重寫在保持較高精確度的同時，顯著提高了事實發現的召回率。此外，我們還表明，這些解釋有效地幫助人類執行事實檢查，并且在用于自動事實檢查時也可以執行得很好。

網址：

代碼鏈接：

7、Interaction Embeddings for Prediction and Explanation in Knowledge Graphs（知識圖譜中的預測和解釋的交互嵌入學習）

WSDM ’19

作者：Wen Zhang, Bibek Paudel, Wei Zhang, Abraham Bernstein, Huajun Chen

摘要：知識圖嵌入旨在學習實體和關系的分布式表示，并在許多應用中被證明是有效的。交叉交互（Crossover interactions）——實體和關系之間的雙向影響——有助于在預測新的三元組時選擇相關信息，但之前從未正式討論過。在本文中，我們提出了一種新的知識圖嵌入算法CrossE，它可以顯式地模擬交叉交互。它不僅像以前的大多數方法一樣，為每個實體和關系學習一個通用嵌入，而且還為這兩個實體和關系生成多個三重特定嵌入，稱為交互嵌入。我們評估了典型鏈接預測任務的嵌入，發現CrossE在復雜和更具挑戰性的數據集上實現了最先進的結果。此外，我們從一個新的角度來評估嵌入——為預測的三元組提供解釋，這對實際應用非常重要。在本工作中，對三元組的解釋被認為是頭尾實體之間可靠的閉合路徑。與其他baseline相比，我們通過實驗證明，CrossE更有能力生成可靠的解釋來支持其預測，這得益于交互嵌入。

網址：

8、SimGNN- A Neural Network Approach to Fast Graph Similarity Computation（SimGNN:一種快速計算圖相似度的神經網絡方法）

WSDM ’19

作者：Yunsheng Bai, Hao Ding, Song Bian, Ting Chen, Yizhou Sun, Wei Wang

摘要：圖相似度搜索是基于圖的最重要的應用之一，例如查找與已知化合物最相似的化合物。圖的相似度/距離計算，如圖的編輯距離(GED)和最大公共子圖(MCS)，是圖的相似度搜索和許多其他應用的核心操作，但在實踐中計算成本很高。受最近神經網絡方法在一些圖應用(如節點或圖分類)中的成功的啟發，我們提出了一種新的基于神經網絡的方法來解決這個經典但具有挑戰性的圖問題，目的是在保持良好性能的同時減輕計算負擔。這個被稱為SimGNN的方法結合了兩種策略。首先，我們設計了一個可學習的嵌入函數，它將每個圖映射到一個嵌入向量，該向量提供了一個圖的全局摘要。提出了一種新的注意機制，針對特定的相似度度量強調重要節點。其次，設計了一種節點對比較法，用細粒度節點信息來補充圖級嵌入。我們的模型對不可見圖有較好的泛化效果，并且在最壞的情況下，對兩個圖中的節點數運行二次方的時間。以GED計算為例，在三個實際圖形數據集上的實驗結果表明了該方法的有效性和效率性。具體來說，我們的模型與一系列baseline相比，包括一些基于GED計算的近似算法和許多現有的基于圖神經網絡的模型，實現了更小的錯誤率和更大的時間縮短。我們的工作表明，SimGNN為圖相似度計算和圖相似度搜索提供了一個新的研究方向。

網址：

代碼鏈接：

9、Human-centric Transfer Learning Explanation via Knowledge Graph（通過知識圖譜以人為中心的遷移學習可解釋）

AAAI-19 Workshop on Network Interpretability for Deep Learning

作者：Gao Yuxia Geng, Jiaoyan Chen, Ernesto Jim′enez-Ruiz, Huajun Chen

摘要：遷移學習（Transfer Learning）是利用從一個問題(源域)中學習到的知識來解決另一個不同但相關的問題(目標域)，已經引起了廣泛的研究關注。然而，目前的遷移學習方法大多是無法解釋的，尤其是對沒有機器學習專業知識的人來說。在這篇摘要中，我們簡要介紹了兩種基于知識圖譜(KG)的人類可理解遷移學習解釋框架。第一個解釋了卷積神經網絡(CNN)學習特征通過預訓練和微調從一個域到另一個域的可移植性，第二個證明了零樣本學習(zero-shot learning ，ZSL)中多個源域模型預測的目標域模型的合理性。這兩種方法都利用了KG及其推理能力，為遷移過程提供了豐富的、人類可以理解的解釋。

網址：

10、Explainable and Explicit Visual Reasoning over Scene Graphs（對場景圖進行的可解釋和顯式的視覺推理）

CVPR-19

作者：Jiaxin Shi, Hanwang Zhang, Juanzi Li

摘要：我們的目標是將復雜視覺推理任務中使用的流行黑盒神經架構拆分為可解釋的,明確的神經模塊(XNMs), 它能夠超越現有的神經模塊網絡，使用場景圖—對象作為節點，成對關系作為邊—用于結構化知識的可解釋和明確推理。XNMs讓我們更加關注教機器如何“思考”，無論它們“看起來”是什么。正如我們將在本文中展示的那樣，通過使用場景圖作為一個歸納偏差，1)我們可以用簡潔靈活的方式設計XNMs，即， XNMs僅由4種元類型組成，大大減少了10 ~ 100倍的參數數量，2)我們可以根據圖的注意力程度顯式地跟蹤推理流程。XNMs是如此的通用，以至于它們支持具有不同質量的各種場景圖實現。例如，當圖形被完美地檢測到時，XNMs在CLEVR和CLEVR CoGenT上的準確率都達到了100%，為視覺推理建立了一個經驗性能上限; 當從真實世界的圖像中噪聲檢測出這些圖時，XNMs仍然很健壯，在VQAv2.0上達到了67.5%的有競爭力的精度，超越了流行的沒有圖結構的（bag-of-objects）注意力模型。

網址：

代碼鏈接：

鏈接：提取碼：9e9x

付費5元查看完整內容

圖神經網絡 · ACL 2019 ·

[付費5元查看完整內容]近期必讀的10篇ACL 2019【圖神經網絡（GNN）+NLP】相關論文和代碼