最近的研究表明，預訓練文本表示能夠顯著提高許多自然語言處理任務的性能。訓練的中心目標是學習對后續任務有用的文本表示形式。然而，現有的方法是通過最小化代理目標(如語言建模的負日志可能性)來優化的。在這項工作中，我們介紹了一個學習算法，它直接優化模型學習文本表示的能力，以有效地學習下游任務。我們證明了多任務預訓練和模型不可知的元學習之間有著內在的聯系。BERT中采用的標準多任務學習目標是元訓練深度為零的學習算法的一個特例。我們在兩種情況下研究了這個問題:無監督的預訓練和有監督的預訓練，不同的預訓練對象驗證了我們的方法的通用性。實驗結果表明，我們的算法對各種下游任務進行了改進，獲得了更好的初始化。
付費5元查看完整內容
相關內容
零樣本文本分類
·
最近發布的GPT-3讓我對NLP中的零學習和小樣本的狀態產生了興趣。雖然大多數的零樣本學習研究集中在計算機視覺，也有一些有趣的工作在NLP領域。
我將會寫一系列的博文來涵蓋現有的關于NLP零樣本學習的研究。在這第一篇文章中，我將解釋Pushp等人的論文“一次訓練，到處測試:文本分類的零樣本學習”。本文從2017年12月開始，首次提出了文本分類的零樣本學習范式。
什么是零樣本學習?
零樣本學習是檢測模型在訓練中從未見過的類的能力。它類似于我們人類在沒有明確監督的情況下歸納和識別新事物的能力。
例如，我們想要做情感分類和新聞分類。通常，我們將為每個數據集訓練/微調一個新模型。相比之下，零樣本學習，你可以直接執行任務，如情緒和新聞分類，沒有任何特定的任務訓練。
一次訓練，隨處測試
本文提出了一種簡單的零樣本分類方法。他們沒有將文本分類為X類，而是將任務重新組織為二元分類，以確定文本和類是否相關。
付費5元查看完整內容
題目： Adversarial Training for Large Neural Language Models
簡介： 泛化性和魯棒性都是設計機器學習方法的關鍵要求。對抗性訓練可以增強魯棒性，但是過去的工作常常發現它不利于推廣。在自然語言處理（NLP）中，預訓練大型神經語言模型（例如BERT）在針對各種任務的通用化方面顯示出令人印象深刻的收益，而從對抗性微調中得到了進一步的改進。但是，這些模型仍然容易受到對抗性攻擊。在本文中，我們表明對抗性預訓練可以同時提高泛化性和魯棒性。我們提出了一種通用算法ALUM（大型神經語言模型的專家訓練），該算法通過在嵌入空間中應用擾動來最大化訓練目標，從而使對抗性損失最大化。我們將對所有階段的對抗訓練進行全面的研究，包括從頭開始進行預訓練，在訓練有素的模型上進行連續的預訓練以及針對特定任務的微調。在常規和對抗性方案中，在各種NLP任務上，ALUM都比BERT獲得了可觀的收益。即使對于已經在超大型文本語料庫上進行過良好訓練的模型（例如RoBERTa），ALUM仍可以通過連續的預訓練獲得可觀的收益，而傳統的非對抗方法則不能。可以將ALUM與特定于任務的微調進一步結合以獲取更多收益。
付費5元查看完整內容
交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。
付費5元查看完整內容
Pre-training text representations has recently been shown to significantly improve the state-of-the-art in many natural language processing tasks. The central goal of pre-training is to learn text representations that are useful for subsequent tasks. However, existing approaches are optimized by minimizing a proxy objective, such as the negative log likelihood of language modeling. In this work, we introduce a learning algorithm which directly optimizes model's ability to learn text representations for effective learning of downstream tasks. We show that there is an intrinsic connection between multi-task pre-training and model-agnostic meta-learning with a sequence of meta-train steps. The standard multi-task learning objective adopted in BERT is a special case of our learning algorithm where the depth of meta-train is zero. We study the problem in two settings: unsupervised pre-training and supervised pre-training with different pre-training objects to verify the generality of our approach.Experimental results show that our algorithm brings improvements and learns better initializations for a variety of downstream tasks.
我們常常希望將表征性知識從一個神經網絡轉移到另一個神經網絡。例如，將一個大的網絡提煉成一個較小的網絡，將知識從一種感覺模態傳遞到另一種感覺模態，或者將一組模型集成到一個單獨的估計器中。知識蒸餾是解決這些問題的標準方法，它最小化了教師和學生網絡的概率輸出之間的KL分歧。我們證明這一目標忽視了教師網絡的重要結構知識。這激發了另一個目標，通過這個目標，我們訓練學生從老師對數據的描述中獲取更多的信息。我們把這個目標稱為對比學習。實驗表明，我們得到的新目標在各種知識轉移任務(包括單模型壓縮、集成蒸餾和跨模態轉移)上的性能優于知識蒸餾和其他前沿蒸餾器。我們的方法在許多轉移任務中設置了一個新的水平，有時甚至超過教師網絡與知識蒸餾相結合。
付費5元查看完整內容
題目： Pre-training Tasks for Embedding-based Large-scale Retrieval
摘要：
我們考慮大型查詢文檔檢索問題:給定一個查詢(例如，一個問題)，從大型文檔語料庫返回相關文檔集(例如，包含答案的段落)。這個問題通常分兩步解決。檢索階段首先減少解決方案空間，返回候選文檔的子集。然后評分階段重新排列文檔。關鍵是，該檢索算法不僅要求較高的查全率，而且要求具有較高的效率，能夠及時返回與文檔數量成次線性關系的候選對象。不像評分階段，由于交叉注意力模型上的伯特式訓練任務，最近取得了重大進展，檢索階段仍然沒有得到很好的研究。以前的大部分工作依賴于經典的信息檢索(IR)方法，如BM-25(令牌匹配+ TF-IDF權值)。這些模型只接受稀疏的手工特性，不能針對感興趣的不同下游任務進行優化。本文對基于嵌入式的檢索模型進行了全面的研究。我們證明了學習強嵌入式變壓器模型的關鍵是訓練前的任務集。通過充分設計分段級的預訓練任務，變壓器模型比廣泛使用的BM-25模型以及沒有變壓器的嵌入模型有顯著的改進。我們研究的分段式預訓練任務包括Inverse Close Task(ICT)、Body First Selection(BFS)、Wiki Link Prediction(WLP)以及三者的結合。
付費5元查看完整內容
題目： IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
摘要： 本文介紹了一種新的用于圖像-文本聯合嵌入的視覺語言預訓練模型圖像BERT。我們的模型是一個基于Transformer的模型，它以不同的模態作為輸入，對它們之間的關系進行建模。該模型同時進行了四項任務的預訓練:掩蔽語言建模(MLM)、掩蔽對象分類(MOC)、掩蔽區域特征回歸(MRFR)和圖像文本匹配(ITM)。為了進一步提高預訓練的質量，我們從Web上收集了一個大規模的弱監督圖像-文本(LAIT)數據集。我們首先在這個數據集上對模型進行預訓練，然后對概念字幕和SBU字幕進行第二階段的預訓練。實驗結果表明，多階段預訓練策略優于單階段預訓練策略。我們還在圖像檢索和文本檢索任務上對預先訓練好的ImageBERT模型進行了調優和評估，并在MSCOCO和Flickr30k數據集上獲得了最好的效果。
付費5元查看完整內容
NeurIPS 2019（Neural Information Processing Systems）將在12月8日-14日在加拿大溫哥華舉行。NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一，每年全球的人工智能愛好者和科學家都會在這里聚集，發布最新研究。今天小編整理了表示學習相關論文。
- Self-attention with Functional Time Representation Learning
作者： Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan
摘要：在自然語言處理中，具有self-attention的序列模型已經取得了很好的效果。self-attention具有模型靈活性、計算復雜性和可解釋性等優點，正逐漸成為事件序列模型的重要組成部分。然而，像大多數其他的序列模型一樣，自我注意并不能解釋事件之間的時間跨度，因此它捕捉的是序列信號而不是時間模式。在不依賴遞歸網絡結構的情況下，self-attention通過位置編碼來識別事件的順序。為了彌補時間無關和時間相關事件序列建模之間的差距，我們引入了一個嵌入時間跨度到高維空間的功能特征映射。通過構造相關的平移不變時間核函數，揭示了經典函數函數分析結果下特征圖的函數形式，即Bochner定理和Mercer定理。我們提出了幾個模型來學習函數性時間表示以及與事件表示的交互。這些方法是在各種連續時間事件序列預測任務下對真實數據集進行評估的。實驗結果表明，所提出的方法與基線模型相比，具有更好的性能，同時也能捕獲有用的時間-事件交互。
論文鏈接：
//papers.nips.cc/paper/9720-self-attention-with-functional-time-representation-learning
- Large Scale Adversarial Representation Learning
作者：Jeff Donahue, Karen Simonyan
摘要：對抗訓練生成模型(GANs)最近取得了引人注目的圖像合成結果。GANs在無監督的表現學習中盡管在早期取得了的成功，但是它們已經被基于自監督的方法所取代。在這項工作中，我們證明了圖像生成質量的進步轉化為極大地改進了表示學習性能。我們的方法BigBiGAN建立在最先進的BigGAN模型之上，通過添加編碼器和修改鑒別器將其擴展到表示學習。我們廣泛地評估了這些BigBiGAN模型的表示學習和生成能力，證明了這些基于生成的模型在ImageNet的無監督表示學習方面達到了最新的水平，并在無條件生成圖像方面取得了令人信服的結果。
論文鏈接：
- Rethinking Kernel Methods for Node Representation Learning on Graphs
作者：Yu Tian, Long Zhao, Xi Peng, Dimitris Metaxas
摘要：圖核是度量圖相似性的核心方法，是圖分類的標準工具。然而，作為與圖表示學習相關的一個問題，使用核方法進行節點分類仍然是不適定的，目前最先進的方法大多基于啟發式。在這里，我們提出了一個新的基于核的節點分類理論框架，它可以彌補這兩個圖上表示學習問題之間的差距。我們的方法是由圖核方法驅動的，但是擴展到學習捕獲圖中結構信息的節點表示。我們從理論上證明了我們的公式與任何半正定核一樣強大。為了有效地學習內核，我們提出了一種新的節點特征聚合機制和在訓練階段使用的數據驅動的相似度度量。更重要的是，我們的框架是靈活的，并補充了其他基于圖形的深度學習模型，如圖卷積網絡(GCNs)。我們在一些標準節點分類基準上對我們的方法進行了經驗評估，并證明我們的模型設置了最新的技術狀態。
論文鏈接：
- Continual Unsupervised Representation Learning
作者：Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell
摘要：持續學習旨在提高現代學習系統處理非平穩分布的能力，通常是通過嘗試按順序學習一系列任務。該領域的現有技術主要考慮監督或強化學習任務，并經常假設對任務標簽和邊界有充分的認識。在這項工作中，我們提出了一種方法(CURL)來處理一個更普遍的問題，我們稱之為無監督連續學習。重點是在不了解任務身份的情況下學習表示，我們將探索任務之間的突然變化、從一個任務到另一個任務的平穩過渡，甚至是數據重組時的場景。提出的方法直接在模型中執行任務推斷，能夠在其生命周期內動態擴展以捕獲新概念，并結合其他基于排練的技術來處理災難性遺忘。我們用MNIST和Omniglot演示了CURL在無監督學習環境中的有效性，在這種環境中，沒有標簽可以確保沒有關于任務的信息泄露。此外，與現有技術相比，我們在i.i.中表現出了較強的性能。在i.i.d的設置下，或將該技術應用于監督任務(如漸進式課堂學習)時。 論文鏈接：
- Unsupervised Scalable Representation Learning for Multivariate Time Series
作者： Jean-Yves Franceschi, Aymeric Dieuleveut, Martin Jaggi
摘要：由于時間序列在實際應用中具有高度可變的長度和稀疏標記，因此對機器學習算法而言，時間序列是一種具有挑戰性的數據類型。在本文中，我們提出了一種學習時間序列通用嵌入的無監督方法來解決這一問題。與以前的工作不同，它的長度是可伸縮的，我們通過深入實驗和比較來展示學習表示的質量、可移植性和實用性。為此，我們將基于因果擴張卷積的編碼器與基于時間負采樣的新三重態損耗相結合，獲得了可變長度和多元時間序列的通用表示。
論文鏈接：
- A Refined Margin Distribution Analysis for Forest Representation Learning
作者：Shen-Huan Lyu, Liang Yang, Zhi-Hua Zhou
摘要：在本文中，我們將森林表示學習方法casForest作為一個加法模型，并證明當與邊際標準差相對于邊際均值的邊際比率足夠小時，泛化誤差可以以O(ln m/m)為界。這激勵我們優化比例。為此，我們設計了一種邊際分布的權重調整方法，使深林模型的邊際比較小。實驗驗證了邊緣分布與泛化性能之間的關系。我們注意到，本研究從邊緣理論的角度對casForest提供了一個新的理解，并進一步指導了逐層的森林表示學習。
論文鏈接：
- Adversarial Fisher Vectors for Unsupervised Representation Learning
作者：Shuangfei Zhai, Walter Talbott, Carlos Guestrin, Joshua Susskind
摘要：我們通過基于深度能量的模型(EBMs)來研究生成對抗網絡(GANs)，目的是利用從這個公式推導出的密度模型。與傳統的鑒別器在達到收斂時學習一個常數函數的觀點不同，這里我們證明了它可以為后續的任務提供有用的信息，例如分類的特征提取。具體來說，在EBM公式中，鑒別器學習一個非歸一化密度函數(即，負能量項)，它描述了數據流形。我們建議通過從EBM中獲得相應的Fisher分數和Fisher信息來評估生成器和鑒別器。我們證明了通過假設生成的示例形成了對學習密度的估計，費雪信息和歸一化費雪向量都很容易計算。我們還證明了我們能夠推導出例子之間和例子集之間的距離度量。我們進行的實驗表明，在分類和感知相似性任務中，甘氏神經網絡誘導的費雪向量作為無監督特征提取器表現出了競爭力。代碼地址：
論文鏈接：
- vGraph: A Generative Model for Joint Community Detection and Node Representation Learning
作者：Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang
摘要：本文重點研究了圖數據分析的兩個基本任務:社區檢測和節點表示學習，它們分別捕獲圖數據的全局結構和局部結構。在現有的文獻中，這兩個任務通常是獨立研究的，但實際上是高度相關的。提出了一種協作學習社區成員和節點表示的概率生成模型vGraph。具體地說，我們假設每個節點都可以表示為群落的混合，并且每個群落都定義為節點上的多項分布。混合系數和群落分布均由節點和群落的低維表示參數化。我們設計了一種有效的變分推理算法，通過反向傳播進行優化，使相鄰節點的社區成員關系在潛在空間中相似。在多個真實圖上的實驗結果表明，vGraph在社區檢測和節點表示學習兩方面都非常有效，在兩方面都優于許多有競爭力的基線。結果表明，該vGraph框架具有良好的靈活性，可以方便地擴展到層次社區的檢測。
論文鏈接：
付費5元查看完整內容
題目： Continue Meta-learning without tasks
簡介： 元學習可以利用從任務分配中收集的數據來有效地學習新任務。然而，迄今為止，元學習文獻集中于任務分段設置，即在訓練時，根據其基礎任務和測試時間將“數據”匯總為多個，對算法進行了優化以在單個任務中學習。在這項工作中，我們可以將通用元學習算法應用于無法進行此任務細分的設置，例如使用時變任務進行連續在線學習。我們介紹了通過在線變更點分析（MOCA）進行的元學習，該方法利用可區分的貝葉斯變更點檢測方案增強了元學習算法。該框架允許直接對時間序列數據進行培訓和測試，而無需將其細分為離散任務。我們在非線性元回歸基準以及兩個元圖像分類基準上證明了該方法的實用性。
付費5元查看完整內容
摘要：自然語言處理(Natural language processing, NLP)是人工智能追求的核心，深度學習(deep learning)是近年來發展的主要動力。大多數NLP問題仍然沒有解決。語言的組合特性使我們能夠表達復雜的思想，但同時也使它難以將足夠的標簽提供給所有情況下都需要大量數據的算法。無監督語言表示技術的最新進展帶來了新的希望。在這個實踐教程中，我們將詳細介紹這些技術，并了解如何基于預訓練和對未標記文本的語言表示進行微調，從而極大地改進NLP學習。具體地說，我們考慮單詞嵌入(如word2vec、fastText和GloVe)中的淺表示，以及使用BERT等注意力機制的深表示。我們演示了如何在后續的NLP任務中對這些模型進行預訓練和微調的詳細流程和最佳實踐，這些任務包括尋找同義詞和類比、情感分析、問題回答和機器翻譯。所有的實踐實現都是使用Apache(孵化)MXNet和GluonNLP實現的，其中一部分可以在深入學習時使用。
邀請嘉賓：Aston Zhang, Haibin Lin, Leonard Lausen, Sheng Zha, and Alex Smola
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191