自回歸文本生成模型通常側重于局部的流暢性，在長文本生成過程中可能導致語義不一致。此外，自動生成具有相似語義的單詞是具有挑戰性的，而且手工編寫的語言規則很難應用。我們考慮了一個文本規劃方案，并提出了一個基于模型的模仿學習方法來緩解上述問題。具體來說，我們提出了一種新的引導網絡來關注更長的生成過程，它可以幫助下一個單詞的預測，并為生成器的優化提供中間獎勵。大量的實驗表明，該方法具有較好的性能。
付費5元查看完整內容
相關內容
在最大化源與目標之間的互信息方面的最新進展已經證明了它在文本生成方面的有效性。然而，以往的工作對MI(即MI)的后向網絡建模關注較少。這對于變分信息最大化下界的緊密性至關重要。在本文中，我們提出了一個對抗互信息(AMI):一個文本生成框架，它是一個新的鞍點(min-max)優化，旨在識別源與目標之間的聯合交互。在這個框架中，通過比較真實和合成的數據分布，前向網絡和后向網絡能夠迭代地提升或降級彼此生成的實例。我們還開發了一個潛在噪聲采樣策略，利用高級語義空間的隨機變化來增強生成過程中的長期依賴性。基于不同文本生成任務的大量實驗表明，所提出的AMI框架能夠顯著優于多個強基線，我們還表明，AMI有可能為變分信息最大化問題帶來更緊密的互信息上限。
//www.zhuanzhi.ai/paper/ccd8403755c153d155bec032656f8c49
付費5元查看完整內容
Recent advances in maximizing mutual information (MI) between the source and target have demonstrated its effectiveness in text generation. However, previous works paid little attention to modeling the backward network of MI (i.e., dependency from the target to the source), which is crucial to the tightness of the variational information maximization lower bound. In this paper, we propose Adversarial Mutual Information (AMI): a text generation framework which is formed as a novel saddle point (min-max) optimization aiming to identify joint interactions between the source and target. Within this framework, the forward and backward networks are able to iteratively promote or demote each other's generated instances by comparing the real and synthetic data distributions. We also develop a latent noise sampling strategy that leverages random variations at the high-level semantic space to enhance the long term dependency in the generation process. Extensive experiments based on different text generation tasks demonstrate that the proposed AMI framework can significantly outperform several strong baselines, and we also show that AMI has potential to lead to a tighter lower bound of maximum mutual information for the variational information maximization problem.
題目： Low-Resource Text Classification using Domain-Adversarial Learning
簡介：
深度學習技術最近在自然語言處理任務中取得了成功。 但是，它們需要大量的注釋數據，而這些數據通常會丟失。 本文探討了在訓練新目標域或語言中的低資源和零資源設置的深度，復雜神經網絡的領域不變特征時，如何使用領域對抗學習作為正則化函數來避免過度擬合。 在使用新語言的情況下，我們證明了單語言單詞向量可以直接用于訓練而無需預先對齊。 它們在公共空間中的映射可以在訓練時臨時學習，以達到預訓練的多語言單詞向量的最終性能。
付費5元查看完整內容
大多數關于自動事實核查的現有工作都是基于元數據、社會網絡傳播、聲明中使用的語言，以及最近支持或否認聲明的證據，來預測聲明的準確性。這個謎題中仍然缺失的一個關鍵部分是，理解如何自動化這個過程中最復雜的部分——為聲明的裁決生成理由。本文首次研究了如何根據可用的聲明上下文自動生成這些解釋，以及如何將此任務與準確性預測聯合建模。我們的結果表明，同時優化這兩個目標，而不是分別訓練它們，可以提高事實核查系統的性能。手工評估的結果進一步表明，在多任務模型中生成的解釋的信息量、覆蓋率和整體質量也得到了提高。
付費5元查看完整內容
在NLP中，“域內數據”的概念常常過于簡單和模糊，因為文本數據在許多細微的語言方面存在差異，比如主題、風格或正式程度。此外，域標簽很多時候是不可用的，這使得構建特定于域的系統變得很困難。我們證明了大量的預先訓練的語言模型隱式地學習句子表示，這些句子表示在沒有監督的情況下由域進行聚類——這表明文本數據中域的簡單數據驅動定義。我們利用這一特性，提出了基于這些模型的域數據選擇方法，這些方法只需要少量的域內單語數據。我們評估了我們的神經機器翻譯的數據選擇方法在五個不同的領域，在這些領域中，它們的表現優于現有的方法，包括BLEU和句子選擇的精確度以及對oracle的召回率。
付費5元查看完整內容
題目
知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs
簡介
大規模知識圖譜（KGs）在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍，以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式，即零樣本學習，以擺脫這種繁瑣的處理，對于新增加的關系，我們試圖從文本描述中學習它們的語義特征，從而在不見實例的情況下識別出看不見的關系。為此，我們利用生成性對抗網絡（GANs）來建立文本與知識邊緣圖域之間的聯系：生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下，零樣本學習自然轉化為傳統的監督分類任務。從經驗上講，我們的方法是模型不可知的，可以應用于任何版本的KG嵌入，并在NELL和Wikidataset上產生性能改進。
作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang
付費5元查看完整內容
論文題目： Unsupervised Pre-training for Natural Language Generation
論文摘要： 最近，由于無監督預訓練在促進自然語言理解（NLU）方面取得了令人驚訝的成功以及有效利用大規模未標記語料庫的潛力，因此在計算語言學領域正變得越來越受歡迎。但是，無論NLU是否成功，當涉及自然語言生成（NLG）時，無監督預訓練的功能只能被部分挖掘。 NLG特質的主要障礙是：文本通常是基于特定的上下文生成的，可能會因目標應用程序而異。結果，像在NLU場景中一樣，設計用于預訓練的通用體系結構是很難的。此外，在目標任務上學習時保留從預訓練中學到的知識也是不容置疑的。這篇綜述總結了近期在無監督的預訓練下增強NLG系統的工作，特別著重于催化將預訓練的模型集成到下游任務中的方法。根據它們處理上述障礙的方式，它們分為基于體系結構的方法和基于策略的方法。還提供了討論，以提供這兩種工作方式之間的進一步相互了解，一些有益的經驗現象以及未來工作可能涉及的一些方向。
付費5元查看完整內容
論文題目：
Latent Relation Language Models
論文摘要： 在本文中，我們提出了潛在關系語言模型（LRLM），它是一類語言模型，它通過知識圖的關系參數化文檔中單詞和其中出現的實體的聯合分布。 該模型具有許多吸引人的屬性：它不僅提高了語言建模性能，而且還能夠注釋實體跨度對于關聯文本的后驗概率。 實驗表明，在基于單詞的基準語言模型和結合了知識圖譜信息的先前方法上，經驗性改進。 定性分析進一步證明了該模型在上下文中學習最佳預測適當關系的能力。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191