亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： A Survey on Transfer Learning in Natural Language Processing

摘要：

深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。

元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。

地址:

//arxiv.org/abs/1812.02391

代碼：

論文名字

Transfer Adaptation Learning: A Decade Survey

論文簡介

我們看到的世界是不斷變化的，它總是隨著人、事物和環境的變化而變化。領域是指世界在某一時刻的狀態。當不同時刻之間需要知識對應時，一個研究問題被描述為領域轉移適應問題。傳統的機器學習的目的是通過最小化訓練數據上的規則化經驗風險，找到一個對測試數據期望風險最小的模型，但是假設訓練數據和測試數據具有相似的聯合概率分布。遷移適應學習旨在通過從語義相關但分布不同的源域學習知識，建立能夠完成目標域任務的模型它是一個充滿活力的研究領域，影響力和重要性與日俱增。本文綜述了遷移適應學習方法和潛在基準的最新進展。轉移適應學習研究者面臨著更廣泛的挑戰，即實例重加權適應、特征適應、分類器適應、深層網絡適應和對抗性適應，這些都超出了早期的半監督和無監督分裂。該調查為研究人員提供了一個框架，以便更好地了解和確定該領域的研究現狀、挑戰和未來方向。

論文作者

Lei Zhang，長期從事人工智能研究，是機器學習領域專家級人物，尤其在遷移學習領域頗有建樹。在研究過程中，主張機器學習要面向實踐，面向實際，立志解決當前問題，AI必須要有商業驅動，方能足夠長遠的發展。

題目： Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

摘要： 遷移學習是自然語言處理（NLP）中的一項強大技術，它首先對一個數據豐富的任務進行預訓練，然后再對下游任務進行微調。遷移學習的有效性帶來了方法、方法和實踐的多樣性。本文通過引入一個統一的框架，將每一個語言問題轉換成文本到文本的格式，探討了NLP的遷移學習技術的發展前景。我們的系統研究比較了數十種語言理解任務的訓練前目標、體系結構、無標記數據集、遷移方法和其他因素。通過結合我們的探索和規模的見解和我們新的“巨大的干凈的爬網語料庫”，我們在總結、問答、文本分類等許多基準上取得了最新的成果。為了促進NLP遷移學習的未來工作，我們發布了我們的數據集、預先訓練的模型和代碼。