亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

針對自監督學習的深度聚類是無監督視覺表示學習中一個非常重要和有前途的方向，因為設計前置任務需要較少的領域知識。而關鍵組件嵌入聚類由于需要保存整個數據集的全局潛在嵌入，限制了其擴展到超大規模的數據集。在這項工作中，我們的目標是使這個框架在不降低性能的情況下更加簡單和優雅。提出了一種不使用嵌入聚類的無監督圖像分類框架，與標準的監督訓練方法非常相似。為了進一步解釋，我們進一步分析了其與深度聚類和對比學習的關系。在ImageNet數據集上進行了大量的實驗，驗證了該方法的有效性。此外，在遷移學習基準上的實驗驗證了它對其他下游任務的推廣，包括多標簽圖像分類、目標檢測、語義分割和小樣本圖像分類。

地址：

//arxiv.org/abs/2006.11480

【導讀】小樣本學習是一類重要的機器學習方法，旨在解決數據缺少的情況下如何訓練模型的問題。在CVPR2020的Tutorial，來自valeo.ai的學者給了Spyros Gidaris關于小樣本學習的最新教程報告。

在過去的幾年里，基于深度學習的方法在圖像理解問題上取得了令人印象深刻的效果，如圖像分類、目標檢測或語義分割。然而，真實字計算機視覺應用程序通常需要模型能夠(a)通過很少的注釋例子學習，(b)不斷適應新的數據而不忘記之前的知識。不幸的是，經典的監督深度學習方法在設計時并沒有考慮到這些需求。因此，計算機視覺的下一個重大挑戰是開發能夠解決這方面現有方法的重要缺陷的學習方法。本教程將介紹實現這一目標的可能方法。小樣本學習(FSL)利用先驗知識，可以快速地泛化到只包含少量有監督信息的樣本的新任務中。

//annotation-efficient-learning.github.io/

目錄內容：

• 概述
• 小樣本學習種類
• 度量學習
• 帶記憶模塊的元學習
• 基于優化的元學習
• 學習預測模型參數
• 無遺忘小樣本學習
• 結論

小樣本學習(FSL)近年來引起了越來越多的關注，但仍然具有挑戰性，因為學習從少數例子中歸納的固有困難。本文提出了一種自適應間隔原則，以提高基于度量的元學習方法在小樣本學習問題中的泛化能力。具體地說，我們首先開發了一個與類相關的加性邊緣損失算法，該算法考慮了每對類之間的語義相似性，從而將特征嵌入空間中的樣本從相似的類中分離出來。此外，我們在抽樣訓練任務中加入所有類別之間的語義上下文，并開發了與任務相關的附加間隔損失，以更好地區分不同類別的樣本。我們的自適應間隔方法可以很容易地推廣到更現實的廣義FSL設置。大量的實驗表明，在標準FSL和通用FSL設置下，所提出的方法可以提高現有基于度量的元學習方法的性能。

OpenAI在昨天悄然放出了GPT第三代——《Language Models are Few-Shot Learners》。刷遍Twitter！史無前例！論文介紹了GPT-3這是一種由1750億個參數組成的最先進的語言模型。論文由32位作者72頁pdf。

最近的工作表明，通過對大量文本進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了巨大的進展。盡管這種方法在架構中通常與任務無關，但它仍然需要成千上萬個特定于任務的實例微調數據集。相比之下，人類通常只需要幾個例子或簡單的指令就可以完成一項新的語言任務——這是目前的NLP系統仍然難以做到的。在這里，我們展示了擴展語言模型極大地提高了任務無關性、低命中率的性能，有時甚至達到了與先前最先進的微調方法的匹配性能。具體來說，我們訓練了一個帶有1750億個參數的自回歸語言模型GPT-3，比以前任何非稀疏語言模型都多10倍，并在小樣本設置下測試了它的性能。對于所有任務，GPT-3的應用沒有任何梯度更新或微調，任務和小樣本演示指定純粹通過與模型的文本交互。GPT-3在許多NLP數據集上實現了強大的性能，包括翻譯、問答和完形填空任務，以及一些需要即時推理或領域適應的任務，如整理單詞、在句子中使用新單詞或執行3位算術。同時，我們還確定了一些數據集，其中GPT-3的小樣本學習仍然效果不佳，以及一些數據集，其中GPT-3面臨著與大型web語料庫上的訓練有關的方法問題。最后，我們發現GPT-3可以生成新聞文章的樣本，這些文章是人類評價者難以區分的。我們討論了這個發現和一般的GPT-3的更廣泛的社會影響。

GPT-3的主要目標是用更少的領域數據、且不經過精調步驟去解決問題。

為了達到上述目的，作者們用預訓練好的GPT-3探索了不同輸入形式下的推理效果。

這里的Zero-shot、One-shot、Few-shot都是完全不需要精調的，因為GPT-3是單向transformer，在預測新的token時會對之前的examples進行編碼。

作者們訓練了以下幾種尺寸的模型進行對比：

實驗證明Few-shot下GPT-3有很好的表現：

最重要的是，GPT-3在Few-shot設定下，在部分NLU任務上超越了當前Fine-tuning的SOTA。

領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而，對于具有不同數據可用性的時間序列數據，還沒有考慮到健壯的技術。在本文中，我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS)，該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據，我們增加了CoDATS的有用性，從而進一步提高了與以前的單源方法相比的準確性，特別是在域之間具有高度可變性的復雜時間序列數據集上。其次，我們提出了一種新的弱監督域自適應(DA-WS)方法，利用目標域標簽分布形式的弱監督，這可能比其他數據標簽更容易收集。第三，我們對不同的真實數據集進行了綜合實驗，以評估我們的域適應和弱監督方法的有效性。結果表明，用于單源DA的CoDATS比最先進的方法有了顯著的改進，并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。

大多數基于圖網絡的元學習方法都對實例級關系進行了建模。我們進一步擴展了這個思想，以1-vs-N的方式顯式地將一個示例的分布級關系建模為所有其他示例的分布級關系。提出了一種新的分布傳播圖網絡(DPGN)學習算法。在每一個小樣本學習任務中，它都傳達了分布層次關系和實例層次關系。為了結合所有實例的分布級關系和實例級關系，我們構造了一個由點圖和分布圖組成的對偶完全圖網絡，其中每個節點都代表一個實例。DPGN具有雙重圖結構，可以在幾個更新代中將標簽信息從帶標簽的示例傳播到未帶標簽的示例。在對小樣本學習基準的大量實驗中，DPGN在監督設置下的5% ~ 12%和在半監督設置下的7% ~ 13%的范圍內都比最新的結果好得多。代碼可以在//github.com/megviiresearch/DPGN找到。

大多數現有的目標檢測方法依賴于每類豐富的標記訓練樣本的可用性和批處理模式下的離線模型訓練。這些要求極大地限制了在只能容納具有有限標記訓練數據的新類別，特別是模型在部署過程中的準確性和訓練的效率。我們提出了一項研究，旨在通過考慮增量小樣本檢測(iFSD)問題設置來超越這些限制，其中新類必須以增量方式注冊(不需要重新訪問基類)，并且只有很少的例子。為此，我們提出了開放式中心網(一次)，這是一種用于增量學習的檢測器，用于檢測具有少量實例的新類對象。這是通過將CentreNet檢測器優雅地適應小樣本學習場景和元學習來實現的，元學習是一個類特定的代碼生成器模型，用于注冊新的類。一旦完全尊重增量學習范式，新的類注冊只需要一個前向遍歷的小樣本訓練樣本，并且不訪問基類——因此適合在嵌入式設備上部署。在標準物體檢測和時尚地標檢測任務上進行的大量實驗首次證明了iFSD的可行性，開拓了一個有趣而又非常重要的研究方向。

許多視覺和語言的研究集中在一組小而多樣的獨立任務和支持的數據集上，這些數據集通常是單獨研究的;然而，成功完成這些任務所需的視覺語言理解技能有很大的重疊。在這項工作中，我們通過開發一個大規模的、多任務的訓練機制來研究視覺和語言任務之間的關系。我們的方法最終在12個數據集上建立了一個模型，這些數據集來自4大類任務，包括可視化問題回答、基于標題的圖像檢索、基礎引用表達式和多模態驗證。與獨立訓練的單任務模型相比，這意味著從大約30億個參數減少到2.7億個參數，同時在各個任務中平均提高性能2.05個百分點。我們使用我們的多任務框架來深入分析聯合訓練不同任務的效果。此外，我們還展示了從單一的多任務模型中細化特定任務模型可以帶來進一步的改進，達到或超過最先進的性能。