亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】最近小編推出CVPR2019圖卷積網絡相關論文、CVPR2019生成對抗網絡相關視覺論文、【可解釋性】相關論文和代碼，CVPR視覺目標跟蹤相關論文和代碼，反響熱烈。最近，視覺問答和推理這一領域也廣泛受關注，出現了好多新方法、新數據集，CVPR 2019已經陸續放出很多篇篇相關文章。今天小編專門整理最新七篇視覺問答相關應用論文—多模態關系推理、視覺上下文、遷移學習、通用VQA模型、新數據集GQA等。

1、MUREL: Multimodal Relational Reasoning for Visual Question Answering （MUREL：視覺問答的多模態關系推理）

CVPR ’19

作者：Remi Cadene, Hedi Ben-younes, Matthieu Cord, Nicolas Thome

摘要：多模態注意力網絡是目前用于涉及真實圖像的視覺問答(VQA)任務的最先進的模型。盡管注意力集中在與問題相關的可視內容上，但這種簡單的機制可能不足以模擬VQA或其他高級任務所需的復雜推理功能。在本文中，我們提出了MuRel，一種多模態關系網絡，它通過真實圖像進行端到端的學習。我們的第一個貢獻是引入了MuRel單元，這是一個原子推理原語，通過豐富的向量表示來表示問題和圖像區域之間的交互，并使用成對組合對區域關系建模。其次，我們將單元格合并到一個完整的MuRel網絡中，該網絡逐步細化了可視化和問題交互，并且可以用來定義比注意力更精細的可視化方案。我們驗證了我們的方法與各種消融研究的相關性，并在三個數據集:VQA 2.0、VQA- cp v2和TDIUC上顯示了它相對于基于注意力的方法的優勢。我們的最終MuRel網絡在這一具有挑戰性的環境中具有競爭力或優于最先進的結果。

網址：

//arxiv.org/abs/1902.09487

代碼鏈接：

2、Image-Question-Answer Synergistic Network for Visual Dialog（ 基于圖像-問題-答案協同網絡的視覺對話）

CVPR ’19

作者：Dalu Guo, Chang Xu, Dacheng Tao

摘要：圖像、問題(結合用于de-referencing的歷史)和相應的答案是視覺對話的三個重要組成部分。經典的視覺對話系統集成了圖像、問題和歷史來搜索或生成最佳匹配的答案，因此，這種方法明顯忽略了答案的作用。在本文中，我們設計了一個新穎的圖像 - 問題 - 答案協同網絡，以評估答案對精確視覺對話的作用。我們將傳統的一階段解決方案擴展為兩階段解決方案。在第一階段，根據候選答案與圖像和問題對的相關性對候選答案進行粗略評分。之后，在第二階段，通過與圖像和問題協同，對具有高正確概率的答案進行重新排序。在Visual Dialog v1.0數據集上，所提出的協同網絡增強了判別性視覺對話模型，實現了57.88%的NDCG(normalized discounted cumulative gain)的最新的最優表現。

網址：

3、Learning to Compose Dynamic Tree Structures for Visual Contexts（學習為視覺上下文構建動態樹結構）

CVPR ’19 Oral

作者：Kaihua Tang, Hanwang Zhang, Baoyuan Wu, Wenhan Luo, Wei Liu

摘要：我們提出組合動態樹結構，將圖像中的對象放入視覺上下文中，幫助進行視覺推理任務，如場景圖生成和視覺問答。我們的視覺上下文樹模型（稱為VCTree）與現有的結構化對象表示（包括鏈和全連接圖）相比具有兩個關鍵優勢：1）高效且富有表現力的二叉樹編碼對象之間固有的并行/層次關系，例如“衣服”和“褲子”通常是共同出現的，屬于“人”; 2）動態結構因圖像和任務而異，允許在對象之間傳遞更多特定于任務的內容/消息。為了構造一個VCTree，我們設計了一個score函數來計算每個對象對之間的任務依賴效度，這個VCTree是score矩陣中最大生成樹的二進制版本。然后，視覺上下文由雙向TreeLSTM編碼，并由特定于任務的模型解碼。本文提出了一種混合學習方法，將末端任務監督學習與樹形結構強化學習相結合，前者的評估結果作為后者結構探索的self-critic。兩個benchmark測試的實驗結果，需要對上下文進行推理：用于場景圖生成的Visual Genome和用于視覺Q＆A的VQA2.0，表明VCTree在發現可解釋的視覺上下文結構時優于最先進的結果。

網址：

4、Transfer Learning via Unsupervised Task Discovery for Visual Question Answering（通過無監督的任務發現遷移學習以進行視覺問答）

CVPR ’19

作者：Hyeonwoo Noh, Taehoon Kim, Jonghwan Mun, Bohyung Han

摘要：我們研究如何利用現成的視覺和語言數據來處理視覺問答任務中詞匯量不足的問題。現有的帶有圖像類標簽、邊界框和區域描述等標注的大型可視化數據集是學習豐富多樣的視覺概念的好資源。然而，由于依賴于問題的回答模型與無問題的視覺數據之間缺少聯系，如何捕獲視覺概念并將其轉化為VQA模型并不簡單。我們通過兩個步驟來解決這個問題:1)學習一個任務條件視覺分類器，該分類器基于無監督任務發現，能夠解決多種特定問題的視覺識別任務;2)將任務條件視覺分類器轉化為視覺問答模型。具體來說，我們使用結構化詞匯庫(如WordNet)和視覺概念描述等語言知識資源來進行無監督任務發現，并將學習到的任務條件視覺分類器作為一個回答單元遷移到一個 VQA模型中。實驗結果表明，該算法利用從視覺數據集中遷移的知識成功地推廣到詞匯表外的問題。

網址：

代碼鏈接：

5、Answer Them All! Toward Universal Visual Question Answering Models（回答他們所有人!基于通用的視覺問答模型）

CVPR ’19

作者：Robik Shrestha, Kushal Kafle, Christopher Kanan

摘要：視覺問答(VQA)研究分為兩個陣營:第一個陣營關注需要自然圖像理解的VQA數據集，第二個陣營關注測試推理的合成數據集。一個好的VQA算法應該同時具備這兩種功能，但是只有少數VQA算法是以這種方式進行測試的。我們比較了涵蓋這兩個領域的8個VQA數據集中的5種最先進的VQA算法。為了公平起見，所有的模型都盡可能標準化，例如，它們使用相同的視覺特性、答案詞表等。我們發現，這些方法不能泛化到這兩個領域。為了解決這一問題，我們提出了一種新的VQA算法，它可以與這兩個領域的最先進算法相媲美或超過它們。

網址：

6、GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering（GQA: 一個用于真實世界的視覺推理和合成問題回答的新數據集）

CVPR ’19

作者：Drew A. Hudson, Christopher D. Manning

摘要：我們介紹了一個新的數據集GQA，用于真實世界的視覺推理和合成問題回答，試圖解決以前的VQA數據集的關鍵缺陷。我們開發了一個強大而健壯的問題引擎，它利用場景圖結構創建了2200萬個不同的推理問題，所有這些問題都帶有表示其語義的功能程序。我們使用這些程序來獲得對答案分布的嚴格控制，并提出了一種新的可調平滑技術來減少問題的偏差。隨數據集而來的是一套新的度量標準，用于評估consistency、grounding和plausibility等基本質量。對baseline和最先進的模型進行了廣泛的分析，為不同的問題類型和拓撲提供了細粒度的結果。一個單獨的LSTM僅獲得42.1%的結果，強大的VQA模型達到54.1%，而人類的表現最高達到89.3%，這為探索新的研究提供了充足的機會。我們強烈希望GQA能夠為下一代模型提供支持資源，增強健壯性、改進一致性以及對圖像和語言更深入的語義理解。

網址：

7、Towards VQA Models that can Read（面向可讀的VQA模型）

CVPR ’19

作者：Amanpreet Singh, Vivek Natarajan, Meet Shah, Yu Jiang, Xinlei Chen, Dhruv Batra, Devi Parikh, Marcus Rohrbach

摘要：研究表明，視障用戶對周圍環境圖像提出的主要問題包括閱讀圖像中的文字。但是今天的VQA模型不能讀取! 我們的論文朝著解決這個問題邁出了第一步。首先，我們引入一個新的“TextVQA”數據集來促進在這個重要問題上的進展。現有的數據集要么有一小部分關于文本的問題(例如，VQA數據集)，要么太小(例如，VizWiz數據集)。TextVQA包含45,336個問題，涉及28,408張圖像，需要對文本進行推理才能回答。其次，我們介紹了一種新的模型架構，它可以讀取圖像中的文本，在圖像和問題的上下文中對其進行推理，并預測一個可能是基于文本和圖像的推理或由圖像中發現的字符串組成的答案。因此，我們稱我們的方法為“Look, Read, Reason & Answer”(LoRRA)。我們在TextVQA數據集中展示了LoRRA優于現有的最先進的VQA模型。我們發現，在TextVQA上，人類性能和機器性能之間的差距明顯大于VQA 2.0，這表明TextVQA非常適合在與VQA 2.0互補的方向上進行基準測試。

網址：

代碼鏈接：

下載鏈接： 提取碼：yfq2

【導讀】最近小編推出CVPR2019圖卷積網絡相關論文和CVPR2019生成對抗網絡相關視覺論文，反響熱烈。最近，模型的可解釋性是現在正火熱的科研和工程問題，也在各個頂級會議上都有相關文章發表，今天小編專門整理最新十篇可解釋性相關應用論文—推薦系統、知識圖譜、遷移學習以及視覺推理等。

1、Recurrent Knowledge Graph Embedding for Effective Recommendation（基于循環知識圖嵌入的推薦）

RecSys ’18

作者：Zhu Sun, Jie Yang, Jie Zhang, Alessandro Bozzon, Long-Kai Huang, Chi Xu

摘要：知識圖(KGs)已被證明是改進推薦的有效方法。現有的方法主要依賴于KG手工設計的特性(例如，元路徑meta paths)，這需要領域知識（domain knowledge）。本文介紹了一種KG嵌入方法RKGE，它可以自動學習實體和實體之間的路徑的語義表示，從而描述用戶對商品的偏好。具體地說，RKGE采用了一種新的循環網絡架構，其中包含了一批循環網絡，用于對鏈接相同實體對的路徑進行語義建模，這些路徑無縫地融合到推薦中。它還使用pooling操作符來區分不同路徑在描述用戶對商品的偏好時的顯著性。對真實數據集的廣泛驗證顯示出RKGE相對于最先進方法的優越性。此外，我們證明了RKGE為推薦結果提供了有意義的解釋。

網址：

//yangjiera.github.io/works/recsys2018.pdf

2、Explainable Recommendation via Multi-Task Learning in Opinionated Text Data（ 在觀點文本數據中基于多任務學習的可解釋性推薦）

SIGIR ’18

作者：Nan Wang, Hongning Wang, Yiling Jia, Yue Yin

摘要：通過解釋自動生成的推薦，可以讓用戶更明智、更準確地決定使用哪些結果，從而提高他們的滿意度。在這項工作中，我們開發了一個可解釋推薦的多任務學習解決方案。通過聯合張量因子分解，將推薦用戶偏好建模和解釋用戶意見內容建模這兩項學習任務結合起來。因此，該算法不僅預測了用戶對一組商品的偏好，即推薦，而且預測用戶如何在特征級別上喜歡某一特定商品，即觀點文本解釋。通過對Amazon和Yelp兩個大型評論數據集的大量實驗，與現有的幾種推薦算法相比，驗證了我們的解決方案在推薦和解釋任務方面的有效性。我們廣泛的實驗研究清楚地證明了我們的算法生成的可解釋建議有著不錯的實用價值。

網址：

代碼鏈接：

3、TEM：Tree-enhanced Embedding Model for Explainable Recommendation（基于Tree增強嵌入方法的可解釋性推薦）

WWW ’18

作者：Xiang Wang, Xiangnan He, Fuli Feng, Liqiang Nie, Tat-Seng Chua

摘要：雖然協同過濾是個性化推薦的主導技術，但它只對用戶-商品交互進行建模，不能為推薦提供具體的理由。與此同時，與用戶-商品交互相關的豐富的側面信息(例如，用戶統計數據和商品屬性)提供了有價值的證據，可以說明為什么該推薦適合于用戶，但在提供解釋方面還沒有得到充分的探索。在技術方面，基于嵌入的方法，如廣度&深度和神經因子分解機，提供了最先進的推薦性能。然而，它們的工作原理就像一個黑匣子，無法明確地呈現出預測背后的原因。另一方面，決策樹等基于樹的方法通過從數據中推斷決策規則來進行預測。雖然可以解釋，但它們不能推廣到不可見的特性交互，因此在協作過濾應用程序中會失敗。在這項工作中，我們提出了一種新的解決方案，稱為樹增強嵌入方法，它結合了基于嵌入和基于樹的模型的優點。我們首先使用一個基于樹的模型從豐富的側面信息來學習明確的決策規則（又稱交叉特征)。接下來，我們設計了一個嵌入模型，該模型可以包含顯式交叉特征，并推廣到用戶ID和商品ID上不可見的交叉特征。嵌入方法的核心是一個易于解釋的注意力網絡，使得推薦過程完全透明和可解釋。我們對旅游景點和餐廳推薦的兩個數據集進行了實驗，證明了我們的解決方案的優越性能和可解釋性。

網址：

代碼鏈接：

4、Explainable Reasoning over Knowledge Graphs for Recommendation（基于知識圖譜可解釋推理的推薦）

AAAI ’19

作者：Xiang Wang, Dingxian Wang, Canran Xu, Xiangnan He, Yixin Cao, Tat-Seng Chua

摘要：近年來，將知識圖譜與推薦系統相結合引起越來越多的關注。通過研究知識圖譜中的相互關系，可以發現用戶與商品之間的連接路徑，這為用戶與商品之間的交互提供了豐富且互補的信息。這種連通性不僅揭示了實體和關系的語義，而且有助于理解用戶的興趣。然而，現有的工作尚未充分探索用來推斷用戶偏好的這種連接性，特別是在建模路徑內部的順序依賴關系和整體語義方面。本文提出了一種新的知識感知路徑遞歸網絡(Knowledgeaware Path Recurrent Network，KPRN)模型，利用知識圖進行推薦。KPRN可以通過組合實體和關系的語義來生成路徑表示。通過利用路徑中的順序依賴關系，我們允許對路徑進行有效的推理，從而推斷用戶-商品交互的基本原理。此外，我們設計了一個新的加權pooling操作來區分連接用戶和商品的不同路徑的優勢，使我們的模型具有一定的可解釋性。我們對電影和音樂的兩個數據集進行了大量的實驗，證明了，與最好的方法相比，CKE(Collaborative Knowledge Base Embedding)和神經因子分解(Neural Factorization Machine)，都有了顯著的改進。

網址：

代碼鏈接：

5、Explainable Recommendation Through Attentive Multi-View Learning（基于注意力機制多視角學習的可解釋推薦）

AAAI ’19

作者：Jingyue Gao, Xiting Wang, Yasha Wang, Xing Xie

摘要：由于信息的爆炸式增長，推薦系統在我們的日常生活中發揮著越來越重要的作用。當我們評估一個推薦模型時，準確性和可解釋性是兩個核心方面，并且已經成為機器學習的基本權衡指標之一。在本文中，我們提出通過開發一個結合了基于深度學習的模型和現有可解釋方法的優點的可解釋的深度模型，來減輕準確性和可解釋性之間的權衡。其基本思想是基于可解釋的深度層次結構(如Microsoft概念圖)構建初始網絡，通過優化層次結構中的關鍵變量(如節點重要性和相關性)來提高模型精度。為了保證準確的評分預測，我們提出了一個周到的多視圖學習框架。該框架通過在不同的特征層之間進行協同正則化，并專注地結合預測，使我們能夠處理稀疏和噪聲數據。為了從層次結構中挖掘可讀的解釋，我們將個性化解釋生成問題定義為一個約束樹節點選擇問題，并提出了一種動態規劃算法來解決該問題。實驗結果表明，該模型在準確性和可解釋性方面均優于現有的最好的方法。

網址：

6、ExFaKT- A Framework for Explaining Facts over Knowledge Graphs and Text（ExFaKT:一個基于知識圖譜和文本來解釋事實的框架）

WSDM ’19

作者：Mohamed H. Gad-Elrab, Daria Stepanova, Jacopo Urbani, Gerhard Weikum

摘要：事實檢驗是準確填充、更新和整理知識圖譜的關鍵。手工驗證候選事實非常耗時。先前關于自動完成這一任務的工作側重于使用非人類可解釋的數值分數來估計真實性。另一些則提取文本中對候選事實的顯式提及作為候選事實的證據，這很難直接發現。在我們的工作中，我們引入了ExFaKT，這是一個專注于為候選事實生成人類可理解的解釋的框架。ExFaKT使用以Horn子句形式編碼的背景知識將相關事實重寫為一組其他更容易找到的事實。我們框架的最終輸出是文本和知識圖譜中候選事實的一組語義跟蹤。實驗表明，我們的重寫在保持較高精確度的同時，顯著提高了事實發現的召回率。此外，我們還表明，這些解釋有效地幫助人類執行事實檢查，并且在用于自動事實檢查時也可以執行得很好。

網址：

代碼鏈接：

7、Interaction Embeddings for Prediction and Explanation in Knowledge Graphs（知識圖譜中的預測和解釋的交互嵌入學習）

WSDM ’19

作者：Wen Zhang, Bibek Paudel, Wei Zhang, Abraham Bernstein, Huajun Chen

摘要：知識圖嵌入旨在學習實體和關系的分布式表示，并在許多應用中被證明是有效的。交叉交互（Crossover interactions）——實體和關系之間的雙向影響——有助于在預測新的三元組時選擇相關信息，但之前從未正式討論過。在本文中，我們提出了一種新的知識圖嵌入算法CrossE，它可以顯式地模擬交叉交互。它不僅像以前的大多數方法一樣，為每個實體和關系學習一個通用嵌入，而且還為這兩個實體和關系生成多個三重特定嵌入，稱為交互嵌入。我們評估了典型鏈接預測任務的嵌入，發現CrossE在復雜和更具挑戰性的數據集上實現了最先進的結果。此外，我們從一個新的角度來評估嵌入——為預測的三元組提供解釋，這對實際應用非常重要。在本工作中，對三元組的解釋被認為是頭尾實體之間可靠的閉合路徑。與其他baseline相比，我們通過實驗證明，CrossE更有能力生成可靠的解釋來支持其預測，這得益于交互嵌入。

網址：

8、SimGNN- A Neural Network Approach to Fast Graph Similarity Computation（SimGNN:一種快速計算圖相似度的神經網絡方法）

WSDM ’19

作者：Yunsheng Bai, Hao Ding, Song Bian, Ting Chen, Yizhou Sun, Wei Wang

摘要：圖相似度搜索是基于圖的最重要的應用之一，例如查找與已知化合物最相似的化合物。圖的相似度/距離計算，如圖的編輯距離(GED)和最大公共子圖(MCS)，是圖的相似度搜索和許多其他應用的核心操作，但在實踐中計算成本很高。受最近神經網絡方法在一些圖應用(如節點或圖分類)中的成功的啟發，我們提出了一種新的基于神經網絡的方法來解決這個經典但具有挑戰性的圖問題，目的是在保持良好性能的同時減輕計算負擔。這個被稱為SimGNN的方法結合了兩種策略。首先，我們設計了一個可學習的嵌入函數，它將每個圖映射到一個嵌入向量，該向量提供了一個圖的全局摘要。提出了一種新的注意機制，針對特定的相似度度量強調重要節點。其次，設計了一種節點對比較法，用細粒度節點信息來補充圖級嵌入。我們的模型對不可見圖有較好的泛化效果，并且在最壞的情況下，對兩個圖中的節點數運行二次方的時間。以GED計算為例，在三個實際圖形數據集上的實驗結果表明了該方法的有效性和效率性。具體來說，我們的模型與一系列baseline相比，包括一些基于GED計算的近似算法和許多現有的基于圖神經網絡的模型，實現了更小的錯誤率和更大的時間縮短。我們的工作表明，SimGNN為圖相似度計算和圖相似度搜索提供了一個新的研究方向。

網址：

代碼鏈接：

9、Human-centric Transfer Learning Explanation via Knowledge Graph（通過知識圖譜以人為中心的遷移學習可解釋）

AAAI-19 Workshop on Network Interpretability for Deep Learning

作者：Gao Yuxia Geng, Jiaoyan Chen, Ernesto Jim′enez-Ruiz, Huajun Chen

摘要：遷移學習（Transfer Learning）是利用從一個問題(源域)中學習到的知識來解決另一個不同但相關的問題(目標域)，已經引起了廣泛的研究關注。然而，目前的遷移學習方法大多是無法解釋的，尤其是對沒有機器學習專業知識的人來說。在這篇摘要中，我們簡要介紹了兩種基于知識圖譜(KG)的人類可理解遷移學習解釋框架。第一個解釋了卷積神經網絡(CNN)學習特征通過預訓練和微調從一個域到另一個域的可移植性，第二個證明了零樣本學習(zero-shot learning ，ZSL)中多個源域模型預測的目標域模型的合理性。這兩種方法都利用了KG及其推理能力，為遷移過程提供了豐富的、人類可以理解的解釋。

網址：

10、Explainable and Explicit Visual Reasoning over Scene Graphs（對場景圖進行的可解釋和顯式的視覺推理）

CVPR-19

作者：Jiaxin Shi, Hanwang Zhang, Juanzi Li

摘要：我們的目標是將復雜視覺推理任務中使用的流行黑盒神經架構拆分為可解釋的,明確的神經模塊(XNMs), 它能夠超越現有的神經模塊網絡，使用場景圖—對象作為節點，成對關系作為邊—用于結構化知識的可解釋和明確推理。XNMs讓我們更加關注教機器如何“思考”，無論它們“看起來”是什么。正如我們將在本文中展示的那樣，通過使用場景圖作為一個歸納偏差，1)我們可以用簡潔靈活的方式設計XNMs，即， XNMs僅由4種元類型組成，大大減少了10 ~ 100倍的參數數量，2)我們可以根據圖的注意力程度顯式地跟蹤推理流程。XNMs是如此的通用，以至于它們支持具有不同質量的各種場景圖實現。例如，當圖形被完美地檢測到時，XNMs在CLEVR和CLEVR CoGenT上的準確率都達到了100%，為視覺推理建立了一個經驗性能上限; 當從真實世界的圖像中噪聲檢測出這些圖時，XNMs仍然很健壯，在VQAv2.0上達到了67.5%的有競爭力的精度，超越了流行的沒有圖結構的（bag-of-objects）注意力模型。

網址：

代碼鏈接：

鏈接： 提取碼：9e9x

計算機視覺頂會 CVPR 2019 的論文接前幾天公布了接受論文：在超過 5100 篇投稿中，共有 1300 篇被接收，達到了接近 25.2% 的接收率。上周小編推出CVPR2019圖卷積網絡相關論文，反響熱烈。CVPR2019 最新發布的論文有很多關于生成對抗網絡（GAN）相關論文，今天小編專門整理最新十篇生成對抗網絡相關視覺論文—風格遷移、圖像合成、異常檢測、事件、故事可視化、Text2Scene等。

1、A Style-Based Generator Architecture for Generative Adversarial Networks（一種用于生成對抗網絡的基于Style的新生成器結構）

作者：Tero Karras, Samuli Laine, Timo Aila

摘要：我們借鑒了風格遷移的相關工作，提出了一種用于生成對抗網絡的替代生成器結構。新的結構自動學習、無監督地分離高級屬性(例如，在人臉訓練時的姿勢和身份)和生成圖像中的隨機變化(例如雀斑、頭發)，并支持對合成的直觀、特定尺度的控制。該算法改進了傳統的分布質量度量方法，提高了插補性能，并較好地解決了潛在的變化因素。為了量化interpolation quality和disentanglement，我們提出了兩種新的、適用于任何生成器架構的自動化方法。最后，我們介紹了一個新的，高度多樣化和高質量的人臉數據集。

網址：

//arxiv.org/abs/1812.04948v3

代碼鏈接：

2、Spatial Fusion GAN for Image Synthesis（基于空間融合GAN的圖像合成）

作者：Fangneng Zhan, Hongyuan Zhu, Shijian Lu

摘要：生成對抗網絡(GANs)的最新研究成果顯示了其在真實圖像合成方面的巨大潛力，而現有的大多數文章都是在外觀空間或幾何空間進行合成，但同時使用兩者的很少。本文提出了一種新穎的空間融合GAN (SF-GAN)，它結合了幾何合成器和表觀合成器，實現了幾何和外觀空間的綜合真實感。該幾何合成器學習背景圖像的背景幾何，并一致地將前景對象轉換和放置到背景圖像中。該外觀合成器對前景對象的顏色、亮度和樣式進行調整，并將其和諧地嵌入背景圖像中，其中引入了一個用于細節保存的引導濾波器。這兩個合成器相互連接，作為相互參照，可以在沒有監督的情況下進行端到端訓練。對SF-GAN在兩個任務中進行了評估: (1)為訓練更好的識別模型，進行了逼真的場景文本圖像合成;(2)戴眼鏡和帽子，與真人相匹配的眼鏡和帽子。定性和定量的比較表明了所提出的SF-GAN的優越性。

網址：

代碼鏈接：

3、f-VAEGAN-D2: A Feature Generating Framework for Any-Shot Learning（任意樣本學習的特征生成框架）

作者：Yongqin Xian, Saurabh Sharma, Bernt Schiele, Zeynep Akata

摘要：當標記的訓練數據很少時，一種很有前途的數據增強方法是使用未知類的屬性生成它們的視覺特征。為了學習CNN特征的類條件分布，這些模型依賴于成對的圖像特征和類屬性。因此，他們無法利用大量未標記的數據樣本。在本文中，我們在一個統一的特征生成框架中處理任意樣本學習問題，即零樣本和少樣本。我們建立了一個結合VAE和GANs的強度的條件生成模型，并通過一個無條件的判別器學習未標記圖像的邊緣特征分布。我們的實驗表明，我們的模型學習了CUB、SUN、AWA和ImageNet這5個數據集的CNN特征，并建立了一種新的最前沿的任意樣本學習，即歸納和轉換(廣義)零樣本和少樣本學習設置。我們還證明了我們所學習的特性是可解釋的: 我們通過將它們反轉回像素空間來對它們進行可視化，并通過生成文本參數來解釋它們為什么與某個標簽相關聯。

網址：

4、OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations（OCGAN:使用具有約束潛在表征的GAN進行One-class異常檢測）

作者：Pramuditha Perera, Ramesh Nallapati, Bing Xiang

摘要：針對單類異常檢測的經典問題，提出了一種新的OCGAN模型，其中，給定一組來自特定類的示例，目標是確定查詢示例是否來自同一類。我們的解決方案基于使用去噪自編碼器網絡學習類內示例的潛在表示。我們工作的關鍵貢獻是我們顯式地約束潛在空間，使其只表示給定的類。為了實現這一目標，首先，我們通過在編碼器的輸出層引入tanh激活函數來強制潛在空間獲得有限的支持。其次，在反方向訓練的潛在空間中使用判別器，保證了類內樣本的編碼表示形式類似于從同一有界空間抽取的均勻隨機樣本。第三，在輸入空間中使用第二個對抗性判別器，確保所有隨機抽取的潛在樣本生成的示例看起來都是真實的。最后，我們介紹了一種基于梯度下降的采樣技術，該技術探索潛在空間中的點，這些點生成潛在的類外示例，并將這些類外示例反饋給網絡，進一步訓練網絡從這些點生成類內示例。該方法通過四個公開可用的數據集，使用兩種one-class異常檢測協議來證明其有效性，跟別的方法相比，我們的方法實現了最先進的結果。

網址：

代碼鏈接：

5、Event-based High Dynamic Range Image and Very High Frame Rate Video Generation using Conditional Generative Adversarial Networks（使用條件生成對抗網絡生成基于事件的高動態范圍圖像和超高幀率視頻）

作者：S. Mohammad Mostafavi I., Lin Wang, Yo-Sung Ho, Kuk-Jin Yoon

摘要：與傳統相機相比，Event camera具有低延遲、高時間分辨率、高動態范圍等優點。然而，由于Event camera的輸出是超時的異步事件序列而不是實際強度圖像，因此不能直接應用現有算法。因此，需要從事件中為其他任務生成強度圖像。在本文中，我們揭開了基于Event camera的條件生成對抗網絡的潛力，從事件數據流的可調部分創建圖像/視頻。利用事件的時空坐標棧作為輸入，訓練網絡根據時空強度變化再現圖像。并且，還證明了Event camera在極端光照條件下也能生成高動態范圍(HDR)圖像，在快速運動下也能生成非模糊圖像。此外，還演示了生成非常高幀率視頻的可能性，理論上可以達到每秒100萬幀(FPS)，因為Event camera的時間分辨率大約為1{\mu}s。通過與使用在線可用的真實數據集和Event camera模擬器生成的合成數據集在同一像素事件網格線上捕獲的強度圖像進行比較，對所提出的方法進行了評估。

網址：

6、GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction（GANFIT: 用于高保真三維人臉重建的生成對抗網絡擬合）

作者：Baris Gecer, Stylianos Ploumpis, Irene Kotsia, Stefanos Zafeiriou

摘要：在過去的幾年里，利用深度卷積神經網絡(DCNNs)的強大功能，從單個圖像中重建三維人臉結構已經做了大量的工作。在最近的研究中，我們使用了可微渲染器來學習人臉識別特征與三維形態和紋理模型參數之間的關系。紋理特征要么對應于線性紋理空間的組件，要么由自編碼器直接從野外圖像（in-the-wild images）中學習。在所有情況下，人臉紋理重建的最先進的方法仍然不能以高保真度來建模紋理。在這篇論文中，我們采取了一個完全不同的方法，利用生成對抗網絡(GANs)和DCNNs的力量，從單一的圖像重建面部紋理和形狀。也就是說，我們利用GAN在UV空間中訓練一個非常強大的面部紋理生成器。在此基礎上，利用非線性優化方法，對原三維形態模型(3DMMs)擬合方法進行了重新研究，找到了最優的潛在參數，并在新的視角下對測試圖像進行了重構。利用端到端可微框架，我們通過預先訓練的深層身份特征來優化參數。我們在真實感和保真性的三維人臉重建方面取得了優異的效果，并首次實現了基于高頻細節的人臉紋理重建。

網址：

代碼鏈接：

7、Self-Supervised Generative Adversarial Networks（自監督生成對抗網絡）

作者：Ting Chen, Xiaohua Zhai, Marvin Ritter, Mario Lucic, Neil Houlsby

摘要：條件GAN是自然圖像合成的前沿。這種模型的主要缺點是需要標記數據。在這項工作中，我們使用了兩種流行的無監督學習技術，對抗性訓練(adversarial training)和自監督(self-supervision)，以縮小有條件和無條件GAN之間的差距。特別是，我們允許網絡在表示學習的任務上進行協作，同時在經典的GAN游戲中具有對抗性。自監督的作用是鼓勵discriminator學習有意義的特征表示，這些特征在訓練中不會被遺忘。我們對學習圖像表示的質量和合成圖像的質量進行了經驗檢驗。在相同條件下，自監督GAN獲得與最先進的條件相似的性能。最后，我們證明了這種完全無監督學習的方法可以在無條件生成ImageNet時擴展到FID為33。

網址：

代碼鏈接：

8、Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis（基于Mode Seeking的生成對抗網絡方法應用于多種圖像合成）

作者：Qi Mao, Hsin-Ying Lee, Hung-Yu Tseng, Siwei Ma, Ming-Hsuan Yang

摘要：大多數條件生成任務都期望給定一個條件上下文的不同輸出。然而，條件生成對抗網絡(cGANs)往往只關注先驗條件信息，而忽略了輸入噪聲向量，從而導致了輸出的變化。最近解決cGANs模式崩潰問題的嘗試通常是特定于任務的，而且計算成本很高。在這項工作中，我們提出了一個簡單而有效的正則化項來解決cGANs的模式崩潰問題。該方法顯式地將生成的圖像與對應的潛在編碼（latent codes）之間的距離比值最大化，從而鼓勵生成器在訓練過程中探索更多的小模式。這種尋求正則化項的模式很容易適用于各種條件生成任務，而不需要增加訓練開銷或修改原有的網絡結構。基于不同的baseline模型，我們在三個條件圖像合成任務上驗證了該算法的有效性，任務包括分類生成、圖像到圖像的轉換、文本到圖像的合成。定性和定量結果都證明了所提出的正則化方法在不損失質量的情況下提高多樣性的有效性。

網址：

代碼鏈接：

9、StoryGAN: A Sequential Conditional GAN for Story Visualization（StoryGAN: 序列條件GAN的故事可視化）

作者：Yitong Li, Zhe Gan, Yelong Shen, Jingjing Liu, Yu Cheng, Yuexin Wu, Lawrence Carin, David Carlson, Jianfeng Gao

摘要：在這項工作中，我們提出了一個新的任務，稱為故事可視化（Story Visualization）。給定一個多句的段落，通過為每個句子生成一個圖像序列來可視化故事。與視頻生成不同，故事可視化不太關注生成圖像(幀)中的連續性，而是更關注動態場景和角色之間的全局一致性——這是任何單一圖像或視頻生成方法都無法解決的挑戰。因此，我們提出了一個新的基于序列條件GAN框架的故事到圖像序列生成模型StoryGAN。我們的模型的獨特之處在于，它由一個動態跟蹤故事流的深層上下文編碼器和兩個分別位于故事和圖像級別的鑒別器組成，以提高圖像質量和生成序列的一致性。為了評估模型，我們修改了現有的數據集，以創建CLEVR-SV和Pororo-SV數據集。從經驗上看，StoryGAN在圖像質量、上下文一致性度量和人類評估方面優于最先進的模型。

網址：

代碼鏈接：

10、Text2Scene: 從文本描述生成合成場景（使用條件生成對抗網絡生成基于事件的高動態范圍圖像和超高幀率視頻）

作者：Fuwen Tan, Song Feng, Vicente Ordonez

摘要：我們提出了Text2Scene模型，該模型對輸入的自然語言描述進行解釋，以生成各種形式的合成場景表示；從抽象的卡通場景到合成圖像。與最近的工作不同，我們的方法不使用生成對抗網絡，而是將編碼器-解碼器模型與基于半參數檢索的方法相結合。Text2Scene學習通過關注輸入文本的不同部分以及生成場景的當前狀態，在每一個時間步驟中依次生成對象及其屬性(位置、大小、外觀等)。我們表明，在微小的修改下，所提出的框架可以處理不同形式的場景表示的生成，包括卡通場景、與真實圖像對應的對象布局以及合成圖像組合。我們的方法不僅與最先進的基于GAN的自動度量方法和基于人類判斷的方法相比具有競爭力，而且更通用、更易于解釋。

網址：

下載鏈接： 提取碼：lb7k

最近小編推出CVPR2019圖卷積網絡、CVPR2019生成對抗網絡、【可解釋性】，CVPR視覺目標跟蹤，CVPR視覺問答，醫學圖像分割，圖神經網絡的推薦，CVPR域自適應， ICML圖神經網絡，ICML元學習相關論文，反響熱烈。最近，ACL 2019最新接受文章出爐，大會共收到2905 篇論文投稿，其中660 篇被接收（接收率為22.7%）。小編發現，今年接受的文章結合GNN的工作有二三十篇，看來，圖神經網絡已經攻占NLP領域，希望其他領域的同學多多學習，看能否結合，期待好的工作！今天小編專門整理最新十篇ACL長文，圖神經網絡（GNN）+NLP—注意力機制引導圖神經網絡、Graph-to-Sequence、動態融合圖網絡、實體和關系抽取、Multi-hop閱讀理解、多模態上下文圖理解等。

1、Attention Guided Graph Convolutional Networks for Relation Extraction （注意力機制引導圖神經網絡的關系抽取）

ACL ’19

作者：Zhijiang Guo*, Yan Zhang* and Wei Lu

摘要：Dependency trees傳遞豐富的結構信息，這些信息對于提取文本中實體之間的關系非常有用。然而，如何有效利用相關信息而忽略Dependency trees中的無關信息仍然是一個具有挑戰性的研究問題。現有的方法使用基于規則的hard-pruning策略來選擇相關的部分依賴結構，可能并不總是產生最佳結果。本文提出了一種直接以全依賴樹為輸入的Attention Guided圖卷積網絡(AGGCNs)模型。我們的模型可以理解為一種soft-pruning方法，它自動學習如何有選擇地關注對關系提取任務有用的相關子結構。在包括跨句n元關系提取和大規模句級關系提取在內的各種任務上的大量結果表明，我們的模型能夠更好地利用全依賴樹的結構信息，其結果顯著優于之前的方法。

網址： //www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html

代碼鏈接：

2、Cognitive Graph for Multi-Hop Reading Comprehension at Scale（大規模認知圖的Multi-Hop閱讀理解）

ACL ’19

作者：Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang

摘要：我們提出了一種新的基于CogQA的web級文檔multi-hop問答框架。該框架以認知科學的對偶過程理論為基礎，通過協調隱式抽取模塊(System 1)和顯式推理模塊(System 2)，在迭代過程中逐步構建認知圖，在給出準確答案的同時，進一步提供了可解釋的推理路徑。具體來說，我們基于BERT和graph neural network (GNN)的實現有效地處理了HotpotQA fullwiki數據集中數百萬個multi-hop推理問題的文檔，在排行榜上獲得了34.9的F1 score，而最佳競爭對手的得分為23.6。

網址：

代碼鏈接：

3、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model（使用Graph-to-Sequence模型為中文文章生成連貫的評論）

ACL ’19

作者：Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu sun

摘要：自動文章評論有助于鼓勵用戶參與和在線新聞平臺上的互動。然而，對于傳統的基于encoder-decoder的模型來說，新聞文檔通常太長，這往往會導致一般性和不相關的評論。在本文中，我們提出使用一個Graph-to-Sequence的模型來生成評論，該模型將輸入的新聞建模為一個主題交互圖。通過將文章組織成圖結構，我們的模型可以更好地理解文章的內部結構和主題之間的聯系，這使得它能夠更好地理解故事。我們從中國流行的在線新聞平臺Tencent Kuaibao上收集并發布了一個大規模的新聞評論語料庫。廣泛的實驗結果表明，與幾個強大的baseline模型相比，我們的模型可以產生更多的連貫性和信息豐富性的評論。

網址：

代碼鏈接：

4、Dynamically Fused Graph Network for Multi-hop Reasoning（基于動態融合圖網絡的Multi-hop Reasoning）

ACL ’19

作者：Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu

摘要：近年來，基于文本的問答(TBQA)得到了廣泛的研究。大多數現有的方法側重于在一段話內找到問題的答案。然而，許多有難度的問題需要來自兩個或多個文檔的分散文本的支持證據。本文提出了動態融合圖網絡(Dynamically Fused Graph Network ，DFGN)，這是一種解決需要多個分散證據和推理的問題的新方法。受人類逐步推理行為的啟發，DFGN包含一個動態融合層，從給定查詢中提到的實體開始，沿著文本動態構建的實體圖進行探索，并逐步從給定文檔中找到相關的支持實體。我們在需要multi-hop reasoning的公共TBQA數據集HotpotQA上評估了DFGN。DFGN在公共數據集上取得了有競爭力的成績。此外，我們的分析表明，DFGN可以產生可解釋的推理鏈。

網址：

5、 Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media（利用圖卷積網絡對Social Information進行編碼，用于新聞媒體中的政治傾向性檢測）

ACL ’19

作者：Chang Li, Dan Goldwasser

摘要：確定新聞事件在媒體中討論方式的政治視角是一項重要而富有挑戰性的任務。在這篇文章中，我們強調了將社交網絡置于情景化的重要性，捕捉這些信息如何在社交網絡中傳播。我們使用最近提出的一種表示關系信息的神經網絡結構——圖卷積網絡（Graph Convolutional Network）來捕獲這些信息，并證明即使在很少的social information分類中也可以得到顯著改進。

網址：

6、Graph Neural Networks with Generated Parameters for Relation Extraction（用于關系抽取的具有生成參數的圖神經網絡）

ACL ’19

作者：Hao Zhu, Yankai Lin, Zhiyuan Liu, Jie Fu, Tat-seng Chua, Maosong Sun

摘要：近年來，在改進機器學習領域的關系推理方面取得了一些進展。在現有的模型中，圖神經網絡(GNNs)是最有效的multi-hop關系推理方法之一。事實上，在關系抽取等自然語言處理任務中，multi-hop關系推理是必不可少的。本文提出了一種基于自然語言語句生成圖神經網絡(GP-GNNs)參數的方法，使神經網絡能夠對非結構化文本輸入進行關系推理。我們驗證了從文本中提取關系的GPGNN。 實驗結果表明，與baseline相比，我們的模型取得了顯著的改進。我們還進行了定性分析，證明我們的模型可以通過multi-hop關系推理發現更精確的關系。

網址：

7、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks（使用圖卷積網絡在詞嵌入中結合句法和語義信息）

ACL ’19

作者：Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar

摘要：詞嵌入已被廣泛應用于多種NLP應用程序中。現有的詞嵌入方法大多利用詞的sequential context來學習詞的嵌入。雖然有一些嘗試利用詞的syntactic context，但這種方法會導致詞表數的爆炸。在本文中，我們通過提出SynGCN來解決這個問題，SynGCN是一種靈活的基于圖卷積的學習詞嵌入的方法。SynGCN在不增加詞表大小的情況下利用單詞的dependency context。SynGCN學習的詞嵌入在各種內部和外部任務上都優于現有方法，在與ELMo一起使用時提供優勢。我們還提出了SemGCN，這是一個有效的框架，用于整合不同的語義知識，以進一步增強所學習的單詞表示。我們提供了兩個模型的源代碼，以鼓勵可重復的研究。

網址：

代碼鏈接：

8、 GraphRel: Modeling Text as Relational Graphs for Joint Entity and Relation Extraction（GraphRel: 將文本建模為關系圖，用于實體和關系抽取）

ACL ’19

作者：Tsu-Jui Fu, Peng-Hsuan Li, Wei-Yun Ma

摘要：本文提出了一種利用圖卷積網絡(GCNs)聯合學習命名實體和關系的端到端關系抽取模型GraphRel。與之前的baseline相比，我們通過關系加權GCN來考慮命名實體和關系之間的交互，從而更好地提取關系。線性結構和依賴結構都用于提取文本的序列特征和區域特征，并利用完整的詞圖進一步提取文本所有詞對之間的隱式特征。基于圖的方法大大提高了對重疊關系的預測能力。我們在兩個公共數據集NYT和webnlg上評估了GraphRel。結果表明，GraphRel在大幅度提高recall的同時，保持了較高的precision。GraphRel的性能也比之前的工作好3.2%和5.8% (F1 score)，實現了關系抽取的最先進的方法。

網址：

代碼鏈接：

9、Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs（通過對異構圖進行推理，實現跨多個文檔的Multi-hop閱讀理解）

ACL ’19

作者：Ming Tu, Guangtao Wang, Jing Huang, Yun Tang, Xiaodong He, Bowen Zhou

摘要：跨文檔的Multi-hop閱讀理解(RC)對單文本RC提出了新的挑戰，因為它需要對多個文檔進行推理才能得到最終答案。在本文中，我們提出了一個新的模型來解決multi-hop RC問題。我們引入了具有不同類型的節點和邊的異構圖，稱為異構文檔-實體（HDE）圖。HDE圖的優點是它包含不同粒度級別的信息，包括特定文檔上下文中的候選信息、文檔和實體。我們提出的模型可以對HDE圖進行推理，節點表示由基于co-attention 和 self-attention的上下文編碼器初始化。我們使用基于圖神經網絡(GNN)的消息傳遞算法，在提出的HDE圖上累積evidence。通過對Qangaroo WIKIHOP數據集的blind測試集的評估，我們的基于HDE圖的單模型給出了具有競爭力的結果，并且集成模型達到了最先進的性能。

網址：

10、Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension（多模態上下文圖理解和自監督開放集理解的Textbook問答）

ACL ’19

作者：Daesik Kim, Seonhoon Kim, Nojun Kwak

摘要：在本文中，我們介紹了一種解決教科書問答(TQA)任務的新算法。在分析TQA數據集時，我們主要關注兩個相關問題。首先，解決TQA問題需要理解復雜輸入數據中的多模態上下文。為了解決從長文本中提取知識特征并與視覺特征相結合的問題，我們從文本和圖像中建立了上下文圖，并提出了一種基于圖卷積網絡(GCN)的f-GCN模塊。其次，科學術語不會分散在各個章節中，而且主題在TQA數據集中是分開的。為了克服這個所謂的“領域外”問題，在學習QA問題之前，我們引入了一種新的沒有任何標注的自監督開放集學習過程。實驗結果表明，我們的模型明顯優于現有的最先進的方法。此外，消融研究證實，將f-GCN用于從多模態上下文中提取知識的方法和我們新提出的自監督學習過程對于TQA問題都是有效的。

網址：

下載鏈接： 提取碼：rr1c