亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

基于神經網絡的生成式模型的最新進展重新燃起了計算機系統能夠與人類無縫對話并能夠理解自然語言的希望。神經結構被用于生成文本摘錄，在滿足不同用戶需求的多種上下文和任務中取得了不同程度的成功。值得注意的是，在大規模數據集上訓練的高容量深度學習模型顯示出無與倫比的能力，即使在缺乏明確的監督信號的情況下，也能在數據中學習模式，這為生成現實和連貫的文本提供了大量新的可能性。雖然自然語言生成領域正在迅速發展，但仍有許多開放的挑戰需要解決。在這篇綜述中，我們正式地定義和分類自然語言生成的問題。我們回顧了這些通用公式的實例化的特定應用程序任務，在這些任務中生成自然語言是非常重要的。接下來，我們涵蓋了用于生成不同文本的方法和神經存檔的全面的總結。然而，這些生成式模型產生的文本質量并沒有一個標準的評價方法，這是該領域發展的一個嚴重瓶頸。為此，我們還回顧了當前評估自然語言生成系統的方法。我們希望這篇綜述將提供一個公式，方法，和神經自然語言生成的評估信息概述。

介紹

最近在深層生成式模型和表征學習方面的成功導致了自然語言生成(NLG)方面的重大進展，其動機是越來越需要理解和派生語言的意義。文本生成的研究領域是自然語言處理的基礎，其目標是生成真實可信的文本內容，與人類書寫的文本沒有區別 (Turing, 1950)。從廣義上講，在給定語境下，預測連續詞在句法和語義上的正確順序需要兩個步驟:首先從給定語料庫中估計句子的分布情況，然后從已學習得到的語料中抽取新穎和真實的句子。理想情況下，生成的句子保留了真實世界句子的語義和句法屬性，并且不同于用于估計模型的訓練示例(Zhang et al.， 2017b)。語言生成是一項內在復雜的任務，需要大量的語法、語義、形態、音韻、語用等多層次的語言學和領域知識。此外，文本生成是為了實現一個交流目標(Reiter, 2019)，例如在決策過程中提供支持、總結內容、在語言之間進行翻譯、與人交談、使特定文本更容易理解，以及娛樂用戶或鼓勵他們改變行為。因此，生成的文本應該根據內容和使用的術語的適當性，以及出于公平和透明度的原因(Mayfield et al.， 2019)，針對特定受眾量身定制(Paris, 2015)。長期以來，自然語言生成模型都是基于規則的，或者依賴于在稀疏的高維特征上訓練淺層模型。隨著最近神經網絡的復蘇，基于密集向量表示訓練的文本生成神經網絡模型已經建立了無與倫比的先前表現，重新點燃了機器能夠理解語言并與人類無縫對話的希望。事實上，生成有意義和連貫的文本是許多自然語言處理任務的關鍵。然而，由于文本數據的離散性，設計能夠生成連貫文本并建立長期依賴關系模型的神經網絡一直是自然語言生成的挑戰。除此之外，神經網絡模型理解語言和基礎文本概念的能力，除了從數據中提取淺層的模式，仍然是有限的。最后，自然語言生成模型的評價是一個同樣活躍和具有挑戰性的研究領域，對推動該領域的發展具有重要意義。

Hierarchical Inter-Message Passing for Learning on Molecular Graphs

我們提出了一個在分子圖上學習的遞階神經信息傳遞架構。我們的模型采用了兩種互補的圖表示:原始的分子圖表示和相關的結樹，其中節點表示原始圖中有意義的簇，如環或橋接化合物。然后，我們通過在每個圖中傳遞消息來學習分子的表示，并使用粗到細和細到粗的信息流在兩種表示之間交換消息。我們的方法能夠克服經典GNN的一些限制，如檢測周期，同時仍然非常有效的訓練。我們在ZINC數據集和MoleculeNet基準收集數據集上驗證了它的性能。

最近，終身學習在構建不斷積累和轉移知識以幫助未來學習的機器學習系統方面引起了關注。無監督主題建模廣泛用于從文檔集合中發現主題。然而，由于數據稀疏性，例如，在一個小的(短)文檔集合中，會產生不連貫的主題和次優的文檔表示，主題建模的應用具有挑戰性。為了解決這個問題，我們提出了一個神經主題建模的終身學習框架，它可以連續處理文檔集流，積累主題，并通過從多個來源的知識轉移來指導未來的主題建模任務，以更好地處理稀疏的數據。在終身學習過程中，我們特別共同研究:(1)終生共享生成同源性(潛在話題)以轉移先驗知識，(2)通過新穎的選擇性數據增強、聯合訓練和話題正則化方法最小化保留過去學習的災難性遺忘。在給定一個文檔集合流的情況下，我們應用所提出的終身神經主題建模(LNTM)框架，將三個稀疏文檔集合建模為未來任務，并通過perplexity、Topic coherence和information retrieval task量化，證明了性能的提高。

題目： Semantic Graphs for Generating Deep Questions

摘要：

本文提出了深度問題生成(Deep Question Generation, DQG)問題，其目的是生成需要對輸入通道的多條信息進行推理的復雜問題。為了捕獲文檔的全局結構并便于推理，我們提出了一個新的框架，該框架首先為輸入文檔構造一個語義級圖，然后通過引入一個基于注意的GGNN (Att-GGNN)對語義圖進行編碼。然后，我們融合文檔級和圖形級的表示來執行內容選擇和問題解碼的聯合訓練。在HotpotQA以深度問題為中心的數據集上，我們的模型大大改善了需要對多個事實進行推理的問題的性能，從而實現了最先進的性能。

題目： Neural Abstractive Summarization with Structural Attention

簡介： 基于RNN的注意力編碼器-解碼器體系結構在新聞文章的抽象摘要方面實現了令人印象深刻的性能。但是，這些方法無法解決文檔句子中的長期依賴性。在多文檔摘要任務中，例如在諸如Yahoo等社區問題解答（CQA）網站中出現的主題中總結流行觀點時，此問題會更加嚴重。這些線索包含的答案通常相互重疊或矛盾。在這項工作中，我們提出了一種基于結構注意力的分層編碼器，以對諸如句子間和文檔間的依存關系進行建模。我們將流行的指針生成器體系結構和從中衍生的某些體系結構設置為基線，并表明它們無法在多文檔設置中生成良好的摘要。我們進一步說明，我們提出的模型在單文檔和多文檔摘要設置中均比基線有了顯著改進–在以前的設置中，它在CNN和CQA數據集上分別比最佳基線低1.31和7.8 ROUGE-1點；在后一種設置中，CQA數據集的性能進一步提高了1.6 ROUGE-1點

基于注意力的、基于RNN的編解碼器體系結構在對新聞文章進行抽象摘要方面取得了令人矚目的成績。然而，這些方法不能解釋文檔句子中的長期依賴關系。這個問題在多文檔摘要任務中更加嚴重，例如在社區問答(CQA)網站(如Yahoo!答案,Quora。這些線索包含的答案往往相互重疊或相互矛盾。在這項工作中，我們提出了一種基于結構注意力建模這種句子間和文檔間依賴關系的層次編碼器。我們將流行的指針-生成器體系結構及其派生的一些體系結構設置為基線，并說明它們無法在多文檔設置中生成良好的摘要。我們進一步證明，我們提出的模型在單文檔和多文檔摘要設置方面都比基線有了顯著的改進——在前一種設置中，它分別比CNN和CQA數據集上的最佳基線提高了1.31和7.8個ROUGE-1點;在后一種設置中，CQA數據集的性能進一步提高了1.6個ROUGE-1點。

互聯網上短視頻的快速涌現為視頻內容的精準檢索帶來了前所未有的挑戰。使用自然語言文本描述對視頻進行跨模態檢索(Cross-modal Video-Text Retrieval)是最符合自然人機交互的方式之一，能更加全面細粒度地表達用戶檢索需求，得到了越來越多的研究關注。

當前跨模態檢索的主要方法將視頻和文本模態映射到聯合視覺語義空間以計算跨模態相似度。大部分工作[1,2]使用全局特征向量分別表示視頻和文本信息，但是文本和視頻中包含了豐富復雜的元素，例如圖1中的事件檢索涉及了不同的動作、實體、以及動作實體之間的關系等等，使用單一的特征表示很難捕獲細粒度的語義信息。少量工作[3]提出細粒度的密集匹配，將視頻和文本表示為序列化特征，對每一序列元素進行局部對齊匹配，融合得到全局跨模態相似度，然而僅使用序列化表示忽略了文本或視頻內部復雜的拓撲結構，不能準確地表示事件中不同元素之間的關系，使得局部對齊匹配的語義表達能力下降。

視頻文本匹配被分解包括事件(Event)、動作(Action)和實體(Entities)的三個層次，形成整體到局部的結構。一方面，模型可借助局部語義元素增強全局語義匹配；另一方面，全局語義信息也能幫助局部元素的語義理解，增強局部信息的跨模態匹配。

因此，我們提出了層次化圖推理模型(Hierarchical Graph Reasoning model, HGR)，更好地結合全局和局部密集匹配的優點，并彌補其不足。如圖1所示，我們將視頻文本匹配分解為三層的語義級別，分別負責刻畫全局事件(Event)以及局部的動作(Action)和實體(Entities)，以涵蓋整體到局部的語義信息。首先對于文本編碼，全局事件由整個句子表示，動作由動詞表示，實體則由名詞短語表示。不同語義級別不是獨立的，它們之間的交互反映了它們在事件中扮演的語義角色(Semantic Role)，因此我們建立三層語義級別的語義角色圖(Semantic Role Graph)，提出利用基于注意力的圖推理方法來捕捉圖中的交互信息。然后，不同層次的文本特征用于指導多樣化的視頻編碼，視頻也被編碼為與事件、動作和實體相關的層次化表示。每一層次級通過注意力機制進行跨模態匹配，最后進行不同層次的融合。

我們在三個視頻描述數據集上進行實驗，從3個方面證明了所提出模型的有效性: 1) HGR模型在多個數據集中取得更好的跨模態檢索結果；2) 在跨數據集實驗中，HGR模型具有更強泛化性能；3) 提出了一個新的細粒度二元選擇任務，HGR模型更能區分細粒度語義變化和選擇更加全面的檢索結果。