亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目：

Con?dence-Aware Learning for Deep Neural Networks

簡介：

盡管深度神經網絡可以執行多種任務，但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題，但是大多數工作需要在訓練和/或推理階段增加計算成本，或者需要定制的體系結構來分別輸出置信估計。在本文中，我們提出了一種使用新的損失函數訓練深度神經網絡的方法，稱為正確排名損失，該方法將類別概率顯式規范化，以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現，并且無需進行任何修改即可應用于現有體系結構。而且，它的訓練計算成本幾乎與傳統的深度分類器相同，并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明，所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明，它對于與置信估計，分布外檢測和主動學習密切相關的任務十分有效。

自回歸文本生成模型通常側重于局部的流暢性，在長文本生成過程中可能導致語義不一致。此外，自動生成具有相似語義的單詞是具有挑戰性的，而且手工編寫的語言規則很難應用。我們考慮了一個文本規劃方案，并提出了一個基于模型的模仿學習方法來緩解上述問題。具體來說，我們提出了一種新的引導網絡來關注更長的生成過程，它可以幫助下一個單詞的預測，并為生成器的優化提供中間獎勵。大量的實驗表明，該方法具有較好的性能。

題目： Adversarial Training for Large Neural Language Models

簡介： 泛化性和魯棒性都是設計機器學習方法的關鍵要求。對抗性訓練可以增強魯棒性，但是過去的工作常常發現它不利于推廣。在自然語言處理（NLP）中，預訓練大型神經語言模型（例如BERT）在針對各種任務的通用化方面顯示出令人印象深刻的收益，而從對抗性微調中得到了進一步的改進。但是，這些模型仍然容易受到對抗性攻擊。在本文中，我們表明對抗性預訓練可以同時提高泛化性和魯棒性。我們提出了一種通用算法ALUM（大型神經語言模型的專家訓練），該算法通過在嵌入空間中應用擾動來最大化訓練目標，從而使對抗性損失最大化。我們將對所有階段的對抗訓練進行全面的研究，包括從頭開始進行預訓練，在訓練有素的模型上進行連續的預訓練以及針對特定任務的微調。在常規和對抗性方案中，在各種NLP任務上，ALUM都比BERT獲得了可觀的收益。即使對于已經在超大型文本語料庫上進行過良好訓練的模型（例如RoBERTa），ALUM仍可以通過連續的預訓練獲得可觀的收益，而傳統的非對抗方法則不能。可以將ALUM與特定于任務的微調進一步結合以獲取更多收益。

題目： A Comprehensive Survey of Multilingual Neural Machine Translation

摘要： 本文綜述了近年來備受關注的多語言神經機器翻譯(MNMT)。由于翻譯知識的轉移(遷移學習)，MNMT在提高翻譯質量方面發揮了重要作用。MNMT比統計機器翻譯更有前途，也更有趣，因為端到端建模和分布式表示為機器翻譯的研究開辟了新途徑。為了利用多語言并行語料庫來提高翻譯質量，人們提出了許多方法。但是，由于缺乏全面的綜述，很難確定哪些方法是有希望的，因此值得進一步探討。在這篇論文中，我們對現有的關于MNMT的文獻進行了深入的綜述。我們首先根據中心用例對各種方法進行分類，然后根據資源場景、基礎建模原則、核心問題和挑戰對它們進行進一步分類。只要有可能，我們就通過相互比較來解決幾種技術的優缺點。我們還討論了未來的方向，跨國公司的研究可能采取。本文的目標讀者既有初學者，也有專家。我們希望這篇論文能夠作為一個起點，同時也為那些對MNMT感興趣的研究人員和工程師提供新的思路。

最近，NLP見證了大型預訓練模型使用的激增。用戶下載在大型數據集上預先訓練的模型的權重，然后在他們選擇的任務上微調權重。這就提出了一個問題:下載未經訓練的不可信的權重是否會造成安全威脅。在這篇論文中，我們證明了構造“權重中毒”攻擊是可能的，即預先訓練的權重被注入漏洞，在微調后暴露“后門”，使攻擊者能夠通過注入任意關鍵字來操縱模型預測。我們證明，通過應用正則化方法(我們稱之為RIPPLe)和初始化過程(我們稱之為嵌入手術)，即使對數據集和微調過程的了解有限，這種攻擊也是可能的。我們在情感分類、毒性檢測、垃圾郵件檢測等方面的實驗表明，該攻擊具有廣泛的適用性和嚴重的威脅。最后，我們概述了針對此類攻擊的實際防御。復制我們實驗的代碼可以在//github.com/neulab/RIPPLe找到。

我們提出了一個多語言神經機器翻譯的概率框架，它包括監督和非監督設置，重點是無監督翻譯。除了研究只有單語數據可用的基本情況外，我們還提出了一種新的設置，即(源、目標)對中的一種語言不與任何并行數據相關聯，但可能存在包含另一種語言的輔助并行數據。通過一個新的交叉翻譯損失項，這些輔助數據可以很自然地用在我們的概率框架中。經驗表明，我們的方法在大多數方向的WMT'14英-法、WMT'16英-德、WMT'16英-羅數據集上，比最先進的無監督模型獲得更高的BLEU分數。特別是，我們獲得了+1.65 BLEU的優勢，在羅馬尼亞-英國方向的最佳表現的無監督模式。

在一個持續的循環，在這個循環中，對對抗攻擊更強的防御隨后被更高級的防御感知攻擊打破。我們提出了一種結束此循環的新方法，即通過使攻擊者生成語義上類似于攻擊目標類的輸入來“轉移”對抗攻擊。為此，我們首先提出一種基于膠囊網絡的更強大的防御，它結合了三種檢測機制來實現對標準攻擊和防御感知攻擊的最新檢測性能。然后，我們進行了一項人體研究，要求參與者對攻擊產生的圖像進行標記，結果表明，針對我們的防御系統的未檢測到的攻擊通常與對抗目標類相似。這些攻擊圖像不能再被稱為“對抗性的”，因為我們的網絡像人類一樣對它們進行分類。

題目： Exploring Benefits of Transfer Learning in Neural Machine Translation

摘要： 眾所周知，神經機器翻譯需要大量的并行訓練語句，這通常會妨礙它在低資源語言對上的優勢。本文探討了跨語言遷移學習在神經網絡中的應用，以解決資源匱乏的問題。我們提出了幾種轉移學習方法來重用預先訓練在高資源語言對上的模型。我們特別注意技術的簡單性。我們研究了兩種情形：（a）當我們重用高資源模型而不事先修改其訓練過程時；（b）當我們可以預先準備第一階段的高資源模型用于轉移學習時。對于前一個場景，我們通過重用其他研究人員訓練的模型，提出了一種概念證明方法。在后一種情況下，我們提出了一種在翻譯性能上得到更大改進的方法。除了提出的技術外，我們還著重于對遷移學習技術進行深入的分析，并試圖對遷移學習的改進有所啟發。我們展示了我們的技術如何解決低資源語言的特定問題，甚至在高資源轉移學習中也是適用的。我們通過研究轉移學習在各種情況下的潛在缺陷和行為，例如，在人為損壞的訓練語料庫下，或者在固定的模型部分下。

作者簡介： Tom Kocmi，查爾斯特大學，數學與物理學院，形式與應用語言學研究所博士，他的主要研究方向是基于神經網絡的機器翻譯。個人主頁：//ufal.mff.cuni.cz/tom-kocmi

題目： Understanding Knowledge Distillation in Non-autoregressive Machine Translation

摘要： 非自回歸機器翻譯(NAT)系統并行地預測輸出標記序列，與自回歸模型相比，在生成速度上獲得了實質性的改進。現有的NAT模型通常依賴于知識蒸餾技術，該技術從一個預先訓練好的自回歸模型中創建訓練數據，以獲得更好的性能。知識蒸餾在經驗上是有用的，它使NAT模型的準確性得到了很大的提高，但是這種成功的原因到目前為止還不清楚。在這篇論文中，我們首先設計了系統的實驗來研究為什么知識蒸餾對于NAT訓練是至關重要的。我們發現，知識蒸餾可以降低數據集的復雜性，并幫助NAT對輸出數據的變化進行建模。此外，在NAT模型的容量和為獲得最佳翻譯質量而提取的數據的最優復雜度之間存在很強的相關性。基于這些發現，我們進一步提出了幾種可以改變數據集復雜性的方法，以提高NAT模型的性能。我們為基于nat的模型實現了最先進的性能，并縮小了與WMT14 En-De基準上的自回歸基線的差距。