亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

//arxiv.org/abs/2008.04031

對于有足夠標記樣本的基類，小樣本分類的目標是在只有少量標記樣本的情況下識別新類的未標記樣本。現有的方法大多只關注新類的標記樣本和未標記樣本之間的關系，沒有充分利用基類內部的信息。在本文中，我們為研究小樣本分類問題做了兩個貢獻。首先，我們提出了一個簡單而有效的基線，通過傳統的監督學習的方式在基類上訓練，可以取得與目前水平相當的結果。其次，在基線的基礎上，我們提出了一個協作的雙路徑分類度量，它利用基類和新類之間的相關性來進一步提高分類的準確性。在兩個廣泛使用的基準上的實驗表明，該方法是一種簡單有效的分類方法，在小樣本分類領域開創了一種新局面。

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

為了利用少量標注樣本實現對未見類圖片的識別，小樣本學習希望從可見類圖片中學習先驗知識。小樣本學習的難點是未見類別的數據分布與可見類別的不同，從而導致在可見類上訓練好的模型無法較好地遷移到未見類別領域。這種由于類別不同導致的數據分布差異可以看作是一種特殊的領域遷移問題。 在這篇論文中，我們提出了一種基于注意力機制的領域遷移原型網絡 (DAPNA)，去解決在元學習框架下的領域遷移問題。具體來說是在訓練過程中，我們將可見類的一個紀元 (episode，訓練單位)分拆成兩個類別完全不重合的子紀元（sub-episode)，用以模擬從可見類到未見類的領域遷移。在假定所有紀元都采樣于同一個分布的情況下，我們在理論上給出了該模型的期望損失上界，我們也根據該期望損失上界進行損失函數的設計與模型的優化。諸多實驗表明，我們所提出的DAPNA模型能比已有小樣本學習模型取得更好的效果。

模型主要由兩大子模塊構成：小樣本學習模塊和領域遷移模塊。流程圖中的AutoEncoder是兩個簡單的線性層，為了讓圖片特征的領域歸屬更模糊，在這里不做詳細介紹。

摘要：近年來，深度學習模型在圖像、語音、文本識別等領域內取得了顯著成就。然而，深度學習模型嚴重依賴于大量標簽數據，使得其在數據缺乏的特殊領域內應用嚴重受限。面對數據缺乏等現實挑戰，很多學者針對數據依賴小的弱監督機器學習方法開展研究，出現了很多典型研究方向，如小樣本學習、零樣本學習等。針對弱監督機器學習方法，系統闡述了小樣本學習、零樣本學習、零—小樣本學習的問題定義、當前主要方法以及主流實驗設計，最后基于當前研究中出現的問題，對下一階段研究方向進行了總結展望。

【導讀】小樣本學習是學術界和工業界近年來關注的焦點。2020年以來，AAAI、WSDM、ICLR、CVPR會議論文公布，專知小編整理了最新8篇關于知識圖譜的論文，來自Google、PSU、人大、微軟、騰訊、阿里巴巴等，包含元遷移學習、圖神經網絡、小樣本文本分類等，請大家查看！

1、Graph Few-shot Learning via Knowledge Transfer（通過知識遷移的圖小樣本學習），AAAI2020

摘要：對于具有挑戰性的半監督節點分類問題，已有廣泛的研究。圖神經網絡(GNNs)作為一個前沿領域，近年來引起了人們極大的興趣。然而，大多數gnn具有較淺的層，接收域有限，并且可能無法獲得令人滿意的性能，特別是在標記節點數量很少的情況下。為了解決這一問題，我們創新性地提出了一種基于輔助圖的先驗知識的圖小樣本學習(GFL)算法，以提高目標圖的分類精度。具體來說，輔助圖與目標之間共享一個可轉移的度量空間，該空間以節點嵌入和特定于圖的原型嵌入函數為特征，便于結構知識的傳遞。對四個真實世界圖形數據集的大量實驗和消融研究證明了我們提出的模型的有效性

論文地址：

//arxiv.org/abs/1910.03053

2、AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning（自適應聚合GCN的小樣本學習）

摘要：現有的小樣本學習(FSL)方法假設源類中存在足夠的訓練樣本，可以將知識轉移到訓練樣本較少的目標類中。然而，這種假設通常是無效的，特別是在細粒度識別方面。在這項工作中，我們定義了一個新的FSL設置，稱為few-shot fewshot learning (FSFSL)，在這種情況下，源類和目標類都只有有限的訓練樣本。為了克服源類數據稀缺的問題，一個自然的選擇是從web中抓取具有類名作為搜索關鍵字的圖像。然而，爬行圖像不可避免地會受到大量噪聲(不相關的圖像)的破壞，從而影響性能。針對這一問題，我們提出了一種基于GCN的圖形卷積網絡標簽去噪(LDN)方法來去除不相關的圖像。在此基礎上，我們提出了一種基于gcn的清潔web圖像和原始訓練圖像的FSL方法。針對LDN和FSL任務，提出了一種新的自適應聚合GCN (AdarGCN)模型。利用AdarGCN，可以自動確定每個圖節點所攜帶的信息在圖結構中傳播了多少以及傳播了多遠，從而減輕了噪聲和邊緣訓練樣本的影響。大量的實驗表明，我們的AdarGCN在新的FSFSL和傳統的FSL設置下的優越性能。

論文地址：

3、Few-shot Natural Language Generation for Task-Oriented Dialog（面向任務對話的小樣本自然語言生成）

摘要：自然語言生成(NLG)模塊是面向任務的對話系統的重要組成部分，它將語義形式的對話行為轉化為自然語言的響應。傳統的基于模板或統計模型的成功通常依賴于大量注釋的數據，這對于新領域來說是不可行的。因此，在實際應用中，如何利用有限的標記數據很好地推廣NLG系統至關重要。為此，我們提出了第一個NLG基準測試FewShotWoz來模擬面向任務的對話系統中的小樣本學習設置。進一步，我們提出了SC-GPT模型。通過對大量的NLG標注語料庫進行預訓練，獲得可控的生成能力，并通過少量的領域特定標簽進行微調，以適應新的領域。在FewShotWoz和大型的多領域woz數據集上進行的實驗表明，所提出的SC-GPT顯著優于現有的方法(通過各種自動指標和人工評估進行測量)。

論文地址：

4、Meta-Transfer Learning for Zero-Shot Super-Resolution（元遷移學習的零樣本超分）CVPR2020

摘要：卷積神經網絡(CNNs)通過使用大規模的外部樣本，在單幅圖像的超分辨率(SISR)方面有了顯著的改善。盡管它們基于外部數據集的性能非常出色，但它們無法利用特定圖像中的內部信息。另一個問題是，它們只適用于它們所監督的數據的特定條件。例如，低分辨率(LR)圖像應該是從高分辨率(HR)圖像向下采樣的“雙三次”無噪聲圖像。為了解決這兩個問題，零樣本超分辨率(ZSSR)被提出用于靈活的內部學習。然而，他們需要成千上萬的梯度更新，即推理時間長。在這篇論文中，我們提出了一種利用零樣本超分辨的元轉移學習方法。準確地說，它是基于找到一個適合內部學習的通用初始參數。因此，我們可以利用外部和內部信息，其中一個梯度更新可以產生相當可觀的結果。(見圖1)。通過我們的方法，網絡可以快速適應給定的圖像條件。在這方面，我們的方法可以應用于一個快速適應過程中的一個大光譜的圖像條件。

論文地址：

5、Few-shot Text Classification with Distributional Signatures（小樣本文本分類）ICLR2020

摘要：在本文中，我們探討了元學習在小樣本文本分類中的應用。元學習在計算機視覺方面表現出了很強的性能，在計算機視覺中，低級模式可以在學習任務之間轉移。然而，直接將這種方法應用于文本是具有挑戰性的——對于一個任務來說信息豐富的詞匯特性對于另一個任務來說可能是無關緊要的。因此，我們的模型不僅從單詞中學習，還利用它們的分布特征，這些分布特征編碼相關的單詞出現模式。我們的模型在元學習框架內進行訓練，將這些特征映射到注意力分數，然后用注意力分數來衡量單詞的詞匯表示。我們證明，我們的模型在6個基準數據集(1-shot分類平均20.0%)上，在詞匯知識學習的原型網絡(Snell et al.， 2017)上，在小樣本文本分類和關系分類上都顯著優于原型網絡。

論文地址：

6. Evolving Losses for Unsupervised Video Representation Learning（無監督視頻表示學習的損失演化）CVPR2020

摘要：我們提出了一種從大規模無標記視頻數據中學習視頻表示的新方法。理想情況下，這種表現形式應該是通用的、可轉移的，可以直接用于新的任務，比如動作識別和零或少樣本學習。我們將無監督表示法學習描述為一個多模態、多任務學習問題，其中表示法通過精餾在不同的模式之間共享。在此基礎上，我們引入了損失函數演化的概念，利用進化搜索算法自動尋找包含多個(自監督)任務和模式的損失函數的最優組合。在此基礎上，我們提出了一種基于Zipf法則的無監督表示法評價指標，該指標使用對一個大的未標記數據集的分布匹配作為先驗約束。這種不受監督的約束，不受任何標記的引導，與受弱監督的、特定于任務的約束產生類似的結果。提出的無監督表示學習方法在單RGB網絡中取得了良好的學習效果，并優于已有的學習方法。值得注意的是，它也比幾種基于標簽的方法(如ImageNet)更有效，除了大型的、完全標記的視頻數據集。

論文地址：

7. Few-shot acoustic event detection via meta-learning（元學習的小概率語音事件檢測）ICASSP 2020

摘要：本文研究了小樣本語音事件檢測技術。少樣本學習能夠用非常有限的標記數據檢測新事件。與計算機視覺等其他研究領域相比，語音識別的樣本學習研究較少。我們提出了小樣本AED問題，并探索了不同的方法來利用傳統的監督方法，以及各種元學習方法，這些方法通常用于解決小樣本分類問題。與有監督的基線相比，元學習模型具有更好的性能，從而顯示了它對新音頻事件的泛化效果。我們的分析包括初始化和領域差異的影響，進一步驗證了元學習方法在小樣本AED中的優勢。

論文地址：

8. Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation（跨域小樣本分類）ICLR2020

摘要：小樣本分類旨在識別每個類別中只有少數標記圖像的新類別。現有的基于度量的小樣本分類算法通過使用學習度量函數將查詢圖像的特征嵌入與少數標記圖像(支持示例)的特征嵌入進行比較來預測類別。雖然已經證明了這些方法有很好的性能，但是由于域之間的特征分布存在很大的差異，這些方法往往不能推廣到不可見的域。在這項工作中，我們解決了基于度量的方法在領域轉移下的少樣本分類問題。我們的核心思想是在訓練階段利用仿射變換增強圖像的特征，模擬不同領域下的各種特征分布。為了捕獲不同領域中特性分布的變化，我們進一步應用了一種學習-學習方法來搜索Feature-Wise轉換層的超參數。我們使用5個小樣本分類數據集:mini-ImageNet、CUB、Cars、Places和Plantae，在域概化設置下進行了大量的實驗和消融研究。實驗結果表明，所提出的特征變換層適用于各種基于度量的模型，并對域轉移下的小樣本分類性能提供了一致的改進。。

論文地址：

元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。

地址:

//arxiv.org/abs/1812.02391

代碼：