亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： A Survey on Transfer Learning in Natural Language Processing

摘要：

深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。

題目： Adversarial Training for Large Neural Language Models

簡介： 泛化性和魯棒性都是設計機器學習方法的關鍵要求。對抗性訓練可以增強魯棒性，但是過去的工作常常發現它不利于推廣。在自然語言處理（NLP）中，預訓練大型神經語言模型（例如BERT）在針對各種任務的通用化方面顯示出令人印象深刻的收益，而從對抗性微調中得到了進一步的改進。但是，這些模型仍然容易受到對抗性攻擊。在本文中，我們表明對抗性預訓練可以同時提高泛化性和魯棒性。我們提出了一種通用算法ALUM（大型神經語言模型的專家訓練），該算法通過在嵌入空間中應用擾動來最大化訓練目標，從而使對抗性損失最大化。我們將對所有階段的對抗訓練進行全面的研究，包括從頭開始進行預訓練，在訓練有素的模型上進行連續的預訓練以及針對特定任務的微調。在常規和對抗性方案中，在各種NLP任務上，ALUM都比BERT獲得了可觀的收益。即使對于已經在超大型文本語料庫上進行過良好訓練的模型（例如RoBERTa），ALUM仍可以通過連續的預訓練獲得可觀的收益，而傳統的非對抗方法則不能。可以將ALUM與特定于任務的微調進一步結合以獲取更多收益。

題目： Don't Stop Pretraining: Adapt Language Models to Domains and Tasks

摘要： 語言模型預先從各種來源的文本訓練，形成了今天的自然語言處理的基礎。鑒于這些廣泛覆蓋模型的成功，我們研究了將一個預訓練的模型裁剪到目標任務的領域是否仍然有幫助。我們提出了一項涉及四個領域(生物醫學和計算機科學出版物、新聞和評論)和八個分類任務的研究，表明在高資源和低資源環境下，領域內的第二階段訓練(領域自適應訓練)可提高性能。此外，適應任務的未標記數據(任務自適應預訓練)甚至可以提高域自適應預訓練后的性能。最后，我們證明使用簡單的數據選擇策略來適應擴充的任務語料庫是一種有效的替代方法，特別是在域自適應預訓練資源可能不可用的情況下。總的來說，我們一致發現，多相適應性訓練在任務效果方面提供了很大的提高。

題目： Natural Language Processing Advancements By Deep Learning: A Survey

摘要： 自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。算力的最新發展和語言大數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。

題目： A Comprehensive Survey of Multilingual Neural Machine Translation

摘要：

本文對近年來備受關注的多語言神經機器翻譯進行了綜述。由于翻譯知識的遷移(遷移學習)，MNMT在提高翻譯質量方面發揮了重要作用。MNMT比統計機器翻譯更有前途，也更有趣，因為端到端建模和分布式表示為機器翻譯的研究開辟了新途徑。為了利用多語言并行語料庫來提高翻譯質量，人們提出了許多方法。但是，由于缺乏全面的調查，很難確定哪些方法是有希望的，因此值得進一步探討。在這篇論文中，我們對現有的關于MNMT的文獻進行了深入的綜述。我們首先根據中心用例對各種方法進行分類，然后根據資源場景、基礎建模原則、核心問題和挑戰對它們進行進一步分類。只要有可能，我們就通過相互比較來解決幾種技術的優缺點。我們還討論了未來的方向，跨國公司的研究可能采取。本文的目標讀者既有初學者，也有專家。我們希望這篇論文能夠作為一個起點，同時也為那些對MNMT感興趣的研究人員和工程師提供新的思路。

作者簡介：

Raj Dabre，目前在日本NICT做博士后研究。在京都大學完成了博士學位。現在做機器翻譯方面的研究，對機器翻譯的深度學習方法很感興趣。主要研究方向：人工智能、機器翻譯、自然語言處理、遺傳學。個人主頁：

題目： Deep Learning for Visual Tracking: A Comprehensive Survey

簡介： 視覺目標跟蹤是計算機視覺領域中最受關注和最具挑戰性的研究課題之一。考慮到這個問題的不適定性質及其在現實世界中廣泛應用的情況，已經建立了大量的大型基準數據集，在這些數據集上已經開發了相當多的方法，并在近年來取得了顯著進展——主要是最近基于深度學習(DL)的方法。這項綜述的目的是系統地調查當前基于深度學習的視覺跟蹤方法、基準數據集和評估指標。它也廣泛地評價和分析領先的視覺跟蹤方法。首先，從網絡體系結構、網絡利用、視覺跟蹤網絡訓練、網絡目標、網絡輸出、相關濾波優勢利用六個關鍵方面，總結了基于dll的方法的基本特征、主要動機和貢獻。其次，比較了常用的視覺跟蹤基準及其各自的性能，總結了它們的評價指標。第三，在OTB2013、OTB2015、VOT2018和LaSOT等一系列成熟的基準上，全面檢查最先進的基于dll的方法。最后，通過對這些最先進的方法進行定量和定性的批判性分析，研究它們在各種常見場景下的優缺點。它可以作為一個溫和的使用指南，讓從業者在什么時候、在什么條件下選擇哪種方法。它還促進了對正在進行的問題的討論，并為有希望的研究方向帶來光明。

論文題目： Unsupervised Pre-training for Natural Language Generation

論文摘要： 最近，由于無監督預訓練在促進自然語言理解（NLU）方面取得了令人驚訝的成功以及有效利用大規模未標記語料庫的潛力，因此在計算語言學領域正變得越來越受歡迎。但是，無論NLU是否成功，當涉及自然語言生成（NLG）時，無監督預訓練的功能只能被部分挖掘。 NLG特質的主要障礙是：文本通常是基于特定的上下文生成的，可能會因目標應用程序而異。結果，像在NLU場景中一樣，設計用于預訓練的通用體系結構是很難的。此外，在目標任務上學習時保留從預訓練中學到的知識也是不容置疑的。這篇綜述總結了近期在無監督的預訓練下增強NLG系統的工作，特別著重于催化將預訓練的模型集成到下游任務中的方法。根據它們處理上述障礙的方式，它們分為基于體系結構的方法和基于策略的方法。還提供了討論，以提供這兩種工作方式之間的進一步相互了解，一些有益的經驗現象以及未來工作可能涉及的一些方向。