我們提出了一個多語言神經機器翻譯的概率框架，它包括監督和非監督設置，重點是無監督翻譯。除了研究只有單語數據可用的基本情況外，我們還提出了一種新的設置，即(源、目標)對中的一種語言不與任何并行數據相關聯，但可能存在包含另一種語言的輔助并行數據。通過一個新的交叉翻譯損失項，這些輔助數據可以很自然地用在我們的概率框架中。經驗表明，我們的方法在大多數方向的WMT'14英-法、WMT'16英-德、WMT'16英-羅數據集上，比最先進的無監督模型獲得更高的BLEU分數。特別是，我們獲得了+1.65 BLEU的優勢，在羅馬尼亞-英國方向的最佳表現的無監督模式。
付費5元查看完整內容
相關內容
題目： A Comprehensive Survey of Multilingual Neural Machine Translation
摘要： 本文綜述了近年來備受關注的多語言神經機器翻譯(MNMT)。由于翻譯知識的轉移(遷移學習)，MNMT在提高翻譯質量方面發揮了重要作用。MNMT比統計機器翻譯更有前途，也更有趣，因為端到端建模和分布式表示為機器翻譯的研究開辟了新途徑。為了利用多語言并行語料庫來提高翻譯質量，人們提出了許多方法。但是，由于缺乏全面的綜述，很難確定哪些方法是有希望的，因此值得進一步探討。在這篇論文中，我們對現有的關于MNMT的文獻進行了深入的綜述。我們首先根據中心用例對各種方法進行分類，然后根據資源場景、基礎建模原則、核心問題和挑戰對它們進行進一步分類。只要有可能，我們就通過相互比較來解決幾種技術的優缺點。我們還討論了未來的方向，跨國公司的研究可能采取。本文的目標讀者既有初學者，也有專家。我們希望這篇論文能夠作為一個起點，同時也為那些對MNMT感興趣的研究人員和工程師提供新的思路。
付費5元查看完整內容
交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。
付費5元查看完整內容
題目： Weakly-Supervised Disentanglement Without Compromises
摘要：
智能體應該能夠通過觀察其環境中的變化來學習有用的表示。首先，從理論上證明，只知道有多少因素發生了變化，而不知道哪些因素發生了變化，就足以學習解纏表示。其次，我們提供了實用的算法，可以從成對的圖像中學習分離的表示，而不需要對組、單個因素或已更改的因素的數量進行注釋。第三，我們進行了大規模的實證研究，并表明這樣的觀測對足以可靠地學習幾個基準數據集上的解纏表示。最后，我們評估我們的表示學習，并發現它們在不同的任務集合上同時是有用的，包括協變量轉移下的泛化、公平性和抽象推理。總的來說，結果表明，在現實場景中，弱監督能夠幫助學習有用的解纏表示。
付費5元查看完整內容
題目： Understanding Knowledge Distillation in Non-autoregressive Machine Translation
摘要： 非自回歸機器翻譯(NAT)系統并行地預測輸出標記序列，與自回歸模型相比，在生成速度上獲得了實質性的改進。現有的NAT模型通常依賴于知識蒸餾技術，該技術從一個預先訓練好的自回歸模型中創建訓練數據，以獲得更好的性能。知識蒸餾在經驗上是有用的，它使NAT模型的準確性得到了很大的提高，但是這種成功的原因到目前為止還不清楚。在這篇論文中，我們首先設計了系統的實驗來研究為什么知識蒸餾對于NAT訓練是至關重要的。我們發現，知識蒸餾可以降低數據集的復雜性，并幫助NAT對輸出數據的變化進行建模。此外，在NAT模型的容量和為獲得最佳翻譯質量而提取的數據的最優復雜度之間存在很強的相關性。基于這些發現，我們進一步提出了幾種可以改變數據集復雜性的方法，以提高NAT模型的性能。我們為基于nat的模型實現了最先進的性能，并縮小了與WMT14 En-De基準上的自回歸基線的差距。
付費5元查看完整內容
題目： Neural Machine Translation: A Review
簡介： 機器翻譯(MT)是將書面文本從一種自然語言自動翻譯成另一種自然語言，近年來，機器翻譯領域經歷了一次重大的范式轉變。統計機器翻譯主要依賴于各種基于計數的模型，在過去幾十年中一直主導機器翻譯的研究，但現在它已在很大程度上被神經機器翻譯(NMT)所取代。在這項工作中，我們將追溯現代NMT架構的起源到詞和句子嵌入和早期的例子的編碼器-解碼器網絡家族。最后，我們將對該領域的最新趨勢進行調查。
付費5元查看完整內容
Machine translation systems achieve near human-level performance on some languages, yet their effectiveness strongly relies on the availability of large amounts of bitexts, which hinders their applicability to the majority of language pairs. This work investigates how to learn to translate when having access to only large monolingual corpora in each language. We propose two model variants, a neural and a phrase-based model. Both versions leverage automatic generation of parallel data by backtranslating with a backward model operating in the other direction, and the denoising effect of a language model trained on the target side. These models are significantly better than methods from the literature, while being simpler and having fewer hyper-parameters. On the widely used WMT14 English-French and WMT16 German-English benchmarks, our models respectively obtain 27.1 and 23.6 BLEU points without using a single parallel sentence, outperforming the state of the art by more than 11 BLEU points.
Machine translation has recently achieved impressive performance thanks to recent advances in deep learning and the availability of large-scale parallel corpora. There have been numerous attempts to extend these successes to low-resource language pairs, yet requiring tens of thousands of parallel sentences. In this work, we take this research direction to the extreme and investigate whether it is possible to learn to translate even without any parallel data. We propose a model that takes sentences from monolingual corpora in two different languages and maps them into the same latent space. By learning to reconstruct in both languages from this shared feature space, the model effectively learns to translate without using any labeled data. We demonstrate our model on two widely used datasets and two language pairs, reporting BLEU scores of 32.8 and 15.1 on the Multi30k and WMT English-French datasets, without using even a single parallel sentence at training time.
In spite of the recent success of neural machine translation (NMT) in standard benchmarks, the lack of large parallel corpora poses a major practical problem for many language pairs. There have been several proposals to alleviate this issue with, for instance, triangulation and semi-supervised learning techniques, but they still require a strong cross-lingual signal. In this work, we completely remove the need of parallel data and propose a novel method to train an NMT system in a completely unsupervised manner, relying on nothing but monolingual corpora. Our model builds upon the recent work on unsupervised embedding mappings, and consists of a slightly modified attentional encoder-decoder model that can be trained on monolingual corpora alone using a combination of denoising and backtranslation. Despite the simplicity of the approach, our system obtains 15.56 and 10.21 BLEU points in WMT 2014 French-to-English and German-to-English translation. The model can also profit from small parallel corpora, and attains 21.81 and 15.24 points when combined with 100,000 parallel sentences, respectively. Our implementation is released as an open source project.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191