亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

開放域對話系統由于潛在回復數量過大而存在著訓練數據不足的問題。我們在本文中提出了一種利用反事實推理來探索潛在回復的方法。給定現實中觀測到的回復，反事實推理模型會自動推理：如果執行一個現實中未發生的替代策略會得到什么結果？這種后驗推理得到的反事實回復相比隨機合成的回復質量更高。在對抗訓練框架下，使用反事實回復來訓練模型將有助于探索潛在回復空間中的高獎勵區域。在DailyDialog數據集上的實驗結果表明，我們的方法顯著優于HRED模型和傳統的對抗訓練方法。

標題：Dialogue Distillation: Open-domain Dialogue Augmentation Using Unpaired Data

作者：張榮升，鄭銀河（共同第一作者），邵建智，毛曉曦，席亞東，黃民烈

關鍵詞：對話系統，數據增廣，模型蒸餾

類型：EMNLP 2020, Long Paper

論文地址：//arxiv.org/abs/2009.09427

GitHub:

簡介：目前開放領域對話模型的訓練過程極大地依賴于大規模對話數據，但是，收集高質量的對話數據是非常消耗人力和物力的事情。本文中，我們提出了一個可適用于開放領域對話的數據增廣的方法：“對話蒸餾”。我們的方法中使用了非平行數據來增廣對話對。具體來說，我們首先設計了一個數據層面的蒸餾過程，在這一過程中，我們根據現有的對話對，在非配對數據中檢索相似的句子，從而組成增廣后的對話對。我們還提出了一個模型層面的蒸餾過程，這一過程中我們首先使用少量高質量的對話數據訓練得到了一個Teacher模型，然后再基于增廣后的數據，將這一teacher模型蒸餾到一個student模型中。自動和人工評測均表明，我們的方法可以生成高質量的增廣數據，并且我們所提出的對話蒸餾方法可以進一步幫我們提升開放領域對話模型的性能。(注：與網易伏羲實驗室合作)

盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功，但在生成過程中需要對基本常識進行推理的情況下，它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法，只是簡單地通過對單個知識三元組的后訓練來遷移關系知識，而忽略了知識圖譜中豐富的連接。我們認為，利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中，我們提出用多跳推理流(GRF)進行生成，使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明，我們的模型在三個文本生成任務上優于現有的基線，這些任務需要推理而非常識知識。通過模型推導出的推理路徑，證明了動態多跳推理模塊的有效性，為生成過程提供了理論依據。

//arxiv.org/abs/2009.11692

互聯網上短視頻的快速涌現為視頻內容的精準檢索帶來了前所未有的挑戰。使用自然語言文本描述對視頻進行跨模態檢索(Cross-modal Video-Text Retrieval)是最符合自然人機交互的方式之一，能更加全面細粒度地表達用戶檢索需求，得到了越來越多的研究關注。

當前跨模態檢索的主要方法將視頻和文本模態映射到聯合視覺語義空間以計算跨模態相似度。大部分工作[1,2]使用全局特征向量分別表示視頻和文本信息，但是文本和視頻中包含了豐富復雜的元素，例如圖1中的事件檢索涉及了不同的動作、實體、以及動作實體之間的關系等等，使用單一的特征表示很難捕獲細粒度的語義信息。少量工作[3]提出細粒度的密集匹配，將視頻和文本表示為序列化特征，對每一序列元素進行局部對齊匹配，融合得到全局跨模態相似度，然而僅使用序列化表示忽略了文本或視頻內部復雜的拓撲結構，不能準確地表示事件中不同元素之間的關系，使得局部對齊匹配的語義表達能力下降。

視頻文本匹配被分解包括事件(Event)、動作(Action)和實體(Entities)的三個層次，形成整體到局部的結構。一方面，模型可借助局部語義元素增強全局語義匹配；另一方面，全局語義信息也能幫助局部元素的語義理解，增強局部信息的跨模態匹配。

因此，我們提出了層次化圖推理模型(Hierarchical Graph Reasoning model, HGR)，更好地結合全局和局部密集匹配的優點，并彌補其不足。如圖1所示，我們將視頻文本匹配分解為三層的語義級別，分別負責刻畫全局事件(Event)以及局部的動作(Action)和實體(Entities)，以涵蓋整體到局部的語義信息。首先對于文本編碼，全局事件由整個句子表示，動作由動詞表示，實體則由名詞短語表示。不同語義級別不是獨立的，它們之間的交互反映了它們在事件中扮演的語義角色(Semantic Role)，因此我們建立三層語義級別的語義角色圖(Semantic Role Graph)，提出利用基于注意力的圖推理方法來捕捉圖中的交互信息。然后，不同層次的文本特征用于指導多樣化的視頻編碼，視頻也被編碼為與事件、動作和實體相關的層次化表示。每一層次級通過注意力機制進行跨模態匹配，最后進行不同層次的融合。

我們在三個視頻描述數據集上進行實驗，從3個方面證明了所提出模型的有效性: 1) HGR模型在多個數據集中取得更好的跨模態檢索結果；2) 在跨數據集實驗中，HGR模型具有更強泛化性能；3) 提出了一個新的細粒度二元選擇任務，HGR模型更能區分細粒度語義變化和選擇更加全面的檢索結果。