元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。
地址:
代碼：
付費5元查看完整內容
相關內容
題目： A Survey on Transfer Learning in Natural Language Processing
摘要：
深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。
付費5元查看完整內容
【導讀】現有的機器學習方法在很多場景下需要依賴大量的訓練樣本。但機器學習方法是否可以模仿人類，基于先驗知識等，只基于少量的樣本就可以進行學習。本文介紹34頁小樣本學習綜述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》，包含166篇參考文獻，來自第四范式和香港科技大學習的研究學者。
小樣本學習綜述 Few-shot Learning: A Survey
【摘要】機器學習在數據密集型應用中非常成功，但當數據集很小時，它常常受到阻礙。為了解決這一問題，近年來提出了小樣本學習(FSL)。利用先驗知識，FSL可以快速地泛化到只包含少量有監督信息的樣本的新任務中。在這篇論文中，我們進行了一個徹底的調研，以充分了解FSL。從FSL的正式定義出發，我們將FSL與幾個相關的機器學習問題區分開來。然后指出了FSL的核心問題是經驗風險最小化是不可靠的。基于先驗知識如何處理這一核心問題，我們從三個角度對FSL方法進行了分類: (i) 數據，它使用先驗知識來增加監督經驗;(二) 利用先驗知識縮小假設空間大小的模型;(iii)算法，利用先驗知識在給定的假設空間中改變對最佳假設的搜索。有了這種分類法，我們就可以回顧和討論每個類別的優缺點。在FSL問題的設置、技術、應用和理論方面也提出了有前景的方向，為未來的研究提供了見解。
-
我們給出了FSL的形式化定義。它可以自然地鏈接到以往文獻中提出的經典機器學習定義。這個定義不僅足夠概括，包括所有現有的FSL -shot Learning: A Survey problems，而且足夠具體，明確了什么是FSL的目標，以及我們如何解決它。這一定義有助于確定未來FSL領域的研究目標。
-
指出了基于誤差分解的FSL在機器學習中的核心問題。我們發現，正是不可靠的經驗風險最小化使得FSL難以學習。這可以通過滿足或降低學習的樣本復雜度來緩解。理解核心問題有助于根據解決核心問題的方式將不同的工作分類為數據、模型和算法。更重要的是，這為更有組織和系統地改進FSL方法提供了見解。
-
我們對從FSL誕生到最近發表的文獻進行了廣泛的回顧，并將它們進行了統一的分類。對不同類別的優缺點進行了深入的討論。我們還對每個類別下的見解進行了總結。這對于初學者和有經驗的研究人員都是一個很好的指導方針。
-
我們在問題設置、技術、應用和理論方面展望了FSL未來的四個發展方向。這些見解都是基于當前FSL發展的不足之處，并有可能在未來進行探索。我們希望這部分能夠提供一些見解，為解決FSL問題做出貢獻，為真正的AI而努力。
-
與已有的關于小樣本概念學習和經驗學習的FSL相關調相比，我們給出了什么是FSL，為什么FSL很難，以及FSL如何將小樣本監督信息與先驗知識結合起來使學習成為可能的正式定義。我們進行了廣泛的文獻審查的基礎上提出的分類法與詳細討論的利弊，總結和見解。我們還討論了FSL與半監督學習、不平衡學習、遷移學習和元學習等相關話題之間的聯系和區別
付費5元查看完整內容
主題： A New Meta-Baseline for Few-Shot Learning
摘要： 近年來，元學習已經成為小樣本學習的流行框架，其目標是從少拍分類任務的集合中學習模型。雖然提出了越來越多的新穎元學習模型，但我們的研究發現了被忽視的簡單基準。我們通過在所有基類上預先訓練分類器，并在基于最近質心的少數鏡頭分類算法上進行元學習，提出了一種Meta-Baseline方法，該方法以較大的優勢勝過了最新的方法。為什么這個簡單的方法這么好？在元學習階段，我們觀察到在基礎類的未見任務上更好地推廣的模型在新型類任務上的性能可能會下降，這表明存在潛在的客觀差異。我們發現預訓練和從預訓練的分類器繼承良好的幾次快照分類法對于元基線都很重要，這可能有助于模型更好地利用具有更強可傳遞性的預訓練表示。此外，我們研究了何時需要在此元基線中進行元學習。我們的工作為該領域建立了一個新的基準，并為進一步了解元學習框架中的幾次學習現象提供了啟示。
付費5元查看完整內容
人臉識別系統在實際應用中往往會遇到一些不可見的領域，由于其泛化能力較差而導致性能不佳。例如，一個訓練有素的webface數據模型不能處理監視場景中的ID和Spot任務。在本文中，我們的目標是學習一個不需要任何模型更新就可以直接處理新的未知域的廣義模型。為此，我們提出了一種新的基于元學習的人臉識別方法——元人臉識別(Meta face recognition, MFR)。MFR以元優化目標綜合源/目標域移位，這要求模型不僅要在綜合的源域上學習有效的表示，還要在綜合的目標域上學習有效的表示。具體來說，我們通過域級抽樣策略構建域移位批次，并通過優化多域分布得到合成源/目標域上的反向傳播梯度/元梯度。進一步結合梯度和元梯度對模型進行更新，提高了模型的泛化能力。此外，我們提出了兩種評估廣義人臉識別的基準。在我們的基準上進行的實驗驗證了我們的方法與幾個基線和其他技術水平的比較的普遍性。提出的基準將在//github.com/cleardusk/MFR上提供。
付費5元查看完整內容
【導讀】小樣本學習是學術界和工業界近年來關注的焦點。2020年以來，AAAI、WSDM、ICLR、CVPR會議論文公布，專知小編整理了最新8篇關于知識圖譜的論文，來自Google、PSU、人大、微軟、騰訊、阿里巴巴等，包含元遷移學習、圖神經網絡、小樣本文本分類等，請大家查看！
1、Graph Few-shot Learning via Knowledge Transfer（通過知識遷移的圖小樣本學習），AAAI2020
摘要：對于具有挑戰性的半監督節點分類問題，已有廣泛的研究。圖神經網絡(GNNs)作為一個前沿領域，近年來引起了人們極大的興趣。然而，大多數gnn具有較淺的層，接收域有限，并且可能無法獲得令人滿意的性能，特別是在標記節點數量很少的情況下。為了解決這一問題，我們創新性地提出了一種基于輔助圖的先驗知識的圖小樣本學習(GFL)算法，以提高目標圖的分類精度。具體來說，輔助圖與目標之間共享一個可轉移的度量空間，該空間以節點嵌入和特定于圖的原型嵌入函數為特征，便于結構知識的傳遞。對四個真實世界圖形數據集的大量實驗和消融研究證明了我們提出的模型的有效性
論文地址：
2、AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning（自適應聚合GCN的小樣本學習）
摘要：現有的小樣本學習(FSL)方法假設源類中存在足夠的訓練樣本，可以將知識轉移到訓練樣本較少的目標類中。然而，這種假設通常是無效的，特別是在細粒度識別方面。在這項工作中，我們定義了一個新的FSL設置，稱為few-shot fewshot learning (FSFSL)，在這種情況下，源類和目標類都只有有限的訓練樣本。為了克服源類數據稀缺的問題，一個自然的選擇是從web中抓取具有類名作為搜索關鍵字的圖像。然而，爬行圖像不可避免地會受到大量噪聲(不相關的圖像)的破壞，從而影響性能。針對這一問題，我們提出了一種基于GCN的圖形卷積網絡標簽去噪(LDN)方法來去除不相關的圖像。在此基礎上，我們提出了一種基于gcn的清潔web圖像和原始訓練圖像的FSL方法。針對LDN和FSL任務，提出了一種新的自適應聚合GCN (AdarGCN)模型。利用AdarGCN，可以自動確定每個圖節點所攜帶的信息在圖結構中傳播了多少以及傳播了多遠，從而減輕了噪聲和邊緣訓練樣本的影響。大量的實驗表明，我們的AdarGCN在新的FSFSL和傳統的FSL設置下的優越性能。
論文地址：
3、Few-shot Natural Language Generation for Task-Oriented Dialog（面向任務對話的小樣本自然語言生成）
摘要：自然語言生成(NLG)模塊是面向任務的對話系統的重要組成部分，它將語義形式的對話行為轉化為自然語言的響應。傳統的基于模板或統計模型的成功通常依賴于大量注釋的數據，這對于新領域來說是不可行的。因此，在實際應用中，如何利用有限的標記數據很好地推廣NLG系統至關重要。為此，我們提出了第一個NLG基準測試FewShotWoz來模擬面向任務的對話系統中的小樣本學習設置。進一步，我們提出了SC-GPT模型。通過對大量的NLG標注語料庫進行預訓練，獲得可控的生成能力，并通過少量的領域特定標簽進行微調，以適應新的領域。在FewShotWoz和大型的多領域woz數據集上進行的實驗表明，所提出的SC-GPT顯著優于現有的方法(通過各種自動指標和人工評估進行測量)。
論文地址：
4、Meta-Transfer Learning for Zero-Shot Super-Resolution（元遷移學習的零樣本超分）CVPR2020
摘要：卷積神經網絡(CNNs)通過使用大規模的外部樣本，在單幅圖像的超分辨率(SISR)方面有了顯著的改善。盡管它們基于外部數據集的性能非常出色，但它們無法利用特定圖像中的內部信息。另一個問題是，它們只適用于它們所監督的數據的特定條件。例如，低分辨率(LR)圖像應該是從高分辨率(HR)圖像向下采樣的“雙三次”無噪聲圖像。為了解決這兩個問題，零樣本超分辨率(ZSSR)被提出用于靈活的內部學習。然而，他們需要成千上萬的梯度更新，即推理時間長。在這篇論文中，我們提出了一種利用零樣本超分辨的元轉移學習方法。準確地說，它是基于找到一個適合內部學習的通用初始參數。因此，我們可以利用外部和內部信息，其中一個梯度更新可以產生相當可觀的結果。(見圖1)。通過我們的方法，網絡可以快速適應給定的圖像條件。在這方面，我們的方法可以應用于一個快速適應過程中的一個大光譜的圖像條件。
論文地址：
5、Few-shot Text Classification with Distributional Signatures（小樣本文本分類）ICLR2020
摘要：在本文中，我們探討了元學習在小樣本文本分類中的應用。元學習在計算機視覺方面表現出了很強的性能，在計算機視覺中，低級模式可以在學習任務之間轉移。然而，直接將這種方法應用于文本是具有挑戰性的——對于一個任務來說信息豐富的詞匯特性對于另一個任務來說可能是無關緊要的。因此，我們的模型不僅從單詞中學習，還利用它們的分布特征，這些分布特征編碼相關的單詞出現模式。我們的模型在元學習框架內進行訓練，將這些特征映射到注意力分數，然后用注意力分數來衡量單詞的詞匯表示。我們證明，我們的模型在6個基準數據集(1-shot分類平均20.0%)上，在詞匯知識學習的原型網絡(Snell et al.， 2017)上，在小樣本文本分類和關系分類上都顯著優于原型網絡。
論文地址：
- Evolving Losses for Unsupervised Video Representation Learning（無監督視頻表示學習的損失演化）CVPR2020
摘要：我們提出了一種從大規模無標記視頻數據中學習視頻表示的新方法。理想情況下，這種表現形式應該是通用的、可轉移的，可以直接用于新的任務，比如動作識別和零或少樣本學習。我們將無監督表示法學習描述為一個多模態、多任務學習問題，其中表示法通過精餾在不同的模式之間共享。在此基礎上，我們引入了損失函數演化的概念，利用進化搜索算法自動尋找包含多個(自監督)任務和模式的損失函數的最優組合。在此基礎上，我們提出了一種基于Zipf法則的無監督表示法評價指標，該指標使用對一個大的未標記數據集的分布匹配作為先驗約束。這種不受監督的約束，不受任何標記的引導，與受弱監督的、特定于任務的約束產生類似的結果。提出的無監督表示學習方法在單RGB網絡中取得了良好的學習效果，并優于已有的學習方法。值得注意的是，它也比幾種基于標簽的方法(如ImageNet)更有效，除了大型的、完全標記的視頻數據集。
論文地址：
- Few-shot acoustic event detection via meta-learning（元學習的小概率語音事件檢測）ICASSP 2020
摘要：本文研究了小樣本語音事件檢測技術。少樣本學習能夠用非常有限的標記數據檢測新事件。與計算機視覺等其他研究領域相比，語音識別的樣本學習研究較少。我們提出了小樣本AED問題，并探索了不同的方法來利用傳統的監督方法，以及各種元學習方法，這些方法通常用于解決小樣本分類問題。與有監督的基線相比，元學習模型具有更好的性能，從而顯示了它對新音頻事件的泛化效果。我們的分析包括初始化和領域差異的影響，進一步驗證了元學習方法在小樣本AED中的優勢。
論文地址：
- Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation（跨域小樣本分類）ICLR2020
摘要：小樣本分類旨在識別每個類別中只有少數標記圖像的新類別。現有的基于度量的小樣本分類算法通過使用學習度量函數將查詢圖像的特征嵌入與少數標記圖像(支持示例)的特征嵌入進行比較來預測類別。雖然已經證明了這些方法有很好的性能，但是由于域之間的特征分布存在很大的差異，這些方法往往不能推廣到不可見的域。在這項工作中，我們解決了基于度量的方法在領域轉移下的少樣本分類問題。我們的核心思想是在訓練階段利用仿射變換增強圖像的特征，模擬不同領域下的各種特征分布。為了捕獲不同領域中特性分布的變化，我們進一步應用了一種學習-學習方法來搜索Feature-Wise轉換層的超參數。我們使用5個小樣本分類數據集:mini-ImageNet、CUB、Cars、Places和Plantae，在域概化設置下進行了大量的實驗和消融研究。實驗結果表明，所提出的特征變換層適用于各種基于度量的模型，并對域轉移下的小樣本分類性能提供了一致的改進。。
論文地址：
付費5元查看完整內容
Meta-learning has been proposed as a framework to address the challenging few-shot learning setting. The key idea is to leverage a large number of similar few-shot tasks in order to learn how to adapt a base-learner to a new task for which only a few labeled samples are available. As deep neural networks (DNNs) tend to overfit using a few samples only, meta-learning typically uses shallow neural networks (SNNs), thus limiting its effectiveness. In this paper we propose a novel few-shot learning method called meta-transfer learning (MTL) which learns to adapt a deep NN for few shot learning tasks. Specifically, "meta" refers to training multiple tasks, and "transfer" is achieved by learning scaling and shifting functions of DNN weights for each task. In addition, we introduce the hard task (HT) meta-batch scheme as an effective learning curriculum for MTL. We conduct experiments using (5-class, 1-shot) and (5-class, 5-shot) recognition tasks on two challenging few-shot learning benchmarks: miniImageNet and Fewshot-CIFAR100. Extensive comparisons to related works validate that our meta-transfer learning approach trained with the proposed HT meta-batch scheme achieves top performance. An ablation study also shows that both components contribute to fast convergence and high accuracy.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191