亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目: Large Scale Learning of General Visual Representations for Transfer

摘要: 在訓練深層視覺神經網絡時,預訓練表示的傳遞提高了樣本效率,簡化了超參數整定。我們重新審視了在大監督數據集上進行預訓練和微調目標任務權重的范例。我們擴大了訓練前的規模,并創建了一個簡單的配方,我們稱之為大轉移(BiT)。通過組合一些精心挑選的組件,并使用簡單的啟發式進行傳輸,我們在20多個數據集上獲得了很強的性能。BiT在一系列出人意料的數據體系中表現良好——從10到100萬個標記示例。BiT在ILSVRC-2012上達到87.8%的top-1精度,在CIFAR-10上達到99.3%,在視覺任務適應基準(包括19個任務)上達到76.7%。在小型數據集上,ILSVRC-2012每類25個示例的BiT達到86.4%,CIFAR-10每類10個示例的BiT達到97.6%。我們對導致高傳輸性能的主要組件進行了詳細的分析。

作者簡介: Alexander Kolesnikov,谷歌儀器科學家。個人主頁:[//neutrons.ornl.gov/contacts/kolesnikovai]{}

付費5元查看完整內容

相關內容

 機器學習的一個分支,它基于試圖使用包含復雜結構或由多重非線性變換構成的多個處理層對數據進行高層抽象的一系列算法。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

在為視覺訓練深度神經網絡時,預訓練表示的遷移提高了樣本效率并簡化了超參數調整。我們回顧了在大型監督數據集上進行預訓練和在目標任務上對模型進行微調的范例。我們擴大了預訓練的規模,并提出了一個簡單的方法,我們稱之為大遷移(BiT)。通過組合一些精心選擇的組件,并使用一個簡單的啟發式傳輸,我們在20多個數據集上實現了強大的性能。BiT在非常廣泛的數據范圍內執行得非常好——從每個類1個示例到總共100萬個示例。BiT在ILSVRC-2012上達到87.5%的top-1準確率,在CIFAR-10上達到99.4%,在19個任務的視覺任務適應基準(VTAB)上達到76.3%。在小型數據集上,在ILSVRC-2012上BiT達到了76.8%,每個類有10個例子,在CIFAR-10上達到了97.0%,每個類有10個例子。我們對導致高遷移性能的主要部件進行了詳細的分析。

付費5元查看完整內容

交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中,我們提出了一種新的訓練方法,在不同架構和數據擴充的監督學習任務中,它的表現始終優于交叉熵。我們修改了批量對比損失,這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中,將同一類的點聚在一起,同時將不同類的樣本聚在一起。除此之外,我們還利用了關鍵的成分,如大批量和標準化嵌入,這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上,我們的交叉熵性能都超過了1%,在使用自動增廣數據增強的方法中,我們設置了78.8%的最新水平。這一損失也清楚地表明,在校準和準確性方面,對標準基準的自然損壞具有魯棒性。與交叉熵相比,我們的監督對比損失更穩定的超參數設置,如優化或數據擴充。

付費5元查看完整內容

【導讀】Yann Lecun在紐約大學開設的2020春季《深度學習》課程,干貨滿滿。最新的一期是來自Facebook AI的研究科學家Ishan Misra講述了計算機視覺中的自監督學習最新進展,108頁ppt,很不錯報告。

在過去的十年中,許多不同的計算機視覺問題的主要成功方法之一是通過對ImageNet分類進行監督學習來學習視覺表示。并且,使用這些學習的表示,或學習的模型權值作為其他計算機視覺任務的初始化,在這些任務中可能沒有大量的標記數據。

但是,為ImageNet大小的數據集獲取注釋是非常耗時和昂貴的。例如:ImageNet標記1400萬張圖片需要大約22年的人類時間。

因此,社區開始尋找替代的標記過程,如社交媒體圖像的hashtags、GPS定位或自我監督方法,其中標簽是數據樣本本身的屬性。

什么是自監督學習?

定義自我監督學習的兩種方式:

  • 基礎監督學習的定義,即網絡遵循監督學習,標簽以半自動化的方式獲得,不需要人工輸入。

  • 預測問題,其中一部分數據是隱藏的,其余部分是可見的。因此,其目的要么是預測隱藏數據,要么是預測隱藏數據的某些性質。

自監督學習與監督學習和非監督學習的區別:

  • 監督學習任務有預先定義的(通常是人為提供的)標簽,

  • 無監督學習只有數據樣本,沒有任何監督、標記或正確的輸出。

  • 自監督學習從給定數據樣本的共現形式或數據樣本本身的共現部分派生出其標簽。

自然語言處理中的自監督學習

Word2Vec

  • 給定一個輸入句子,該任務涉及從該句子中預測一個缺失的單詞,為了構建文本前的任務,該任務特意省略了該單詞。

  • 因此,這組標簽變成了詞匯表中所有可能的單詞,而正確的標簽是句子中省略的單詞。

  • 因此,可以使用常規的基于梯度的方法對網絡進行訓練,以學習單詞級表示。

為什么自監督學習

自監督學習通過觀察數據的不同部分如何交互來實現數據的學習表示。從而減少了對大量帶注釋數據的需求。此外,可以利用可能與單個數據樣本相關聯的多個模式。

計算機視覺中的自我監督學習

通常,使用自監督學習的計算機視覺管道涉及執行兩個任務,一個前置任務和一個下游任務。

  • 下游任務可以是任何類似分類或檢測任務的任務,但是沒有足夠的帶注釋的數據樣本。

  • Pre-text task是為學習視覺表象而解決的自監督學習任務,其目的是利用所學習的表象,或下游任務在過程中獲得的模型權值。

發展Pre-text任務

  • 針對計算機視覺問題的文本前任務可以使用圖像、視頻或視頻和聲音來開發。

  • 在每個pre-text任務中,都有部分可見和部分隱藏的數據,而任務則是預測隱藏的數據或隱藏數據的某些屬性。

下載鏈接: 鏈接: //pan.baidu.com/s/1gNK4DzqtAMXyrD1fBFGa-w 提取碼: ek7i

付費5元查看完整內容

主題: Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning

摘要: 廣義零樣本學習(GZSL)解決了同時涉及可見類和不可見類的實例分類問題。關鍵問題是如何有效地將從可見類學習到的模型轉換為不可見類。GZSL中現有的工作通常假設關于未公開類的一些先驗信息是可用的。然而,當新的不可見類動態出現時,這種假設是不現實的。為此,我們提出了一種新的基于異構圖的知識轉移方法(HGKT),該方法利用圖神經網絡對GZSL、不可知類和不可見實例進行知識轉移。具體地說,一個結構化的異構圖,它是由所見類的高級代表節點構造而成,這些代表節點通過huasstein-barycenter來選擇,以便同時捕獲類間和類內的關系,聚集和嵌入函數可以通過圖神經網絡來學習,它可以用來計算不可見類的嵌入,方法是從它們的內部遷移知識。在公共基準數據集上的大量實驗表明,我們的方法達到了最新的結果。

付費5元查看完整內容

題目: TinyMBERT: Multi-Stage Distillation Framework for Massive Multi-lingual NER

簡介: 深度和大型預訓練語言模型是各種自然語言處理任務的最新技術。但是,這些模型的巨大規模可能會阻礙在實踐中使用它們。一些近期和并行的工作使用知識蒸餾將這些巨大的模型壓縮為淺層模型。在這項工作中,我們重點研究多語言命名實體識別(NER)的知識提煉。特別是,我們研究了幾種蒸餾策略,并提出了一個階段性的優化方案,該方案利用了與教師架構無關的教師內部表示形式,并表明它優于先前工作中采用的策略。此外,我們調查了幾個因素的作用,例如未標記數據的數量,注釋資源,模型架構和推理延遲僅舉幾例。我們證明了我們的方法可以對MBERT類教師模型進行大規模壓縮,在參數推斷方面最多可壓縮35倍,在延遲方面則可壓縮51倍,同時為41種語言的NER有95%的F1分數。

付費5元查看完整內容

題目

跨語言表示學習,Unsupervised Cross-lingual Representation Learning at Scale

關鍵詞

自然語言處理,表示學習,跨語言,人工智能

簡介

本文表明,針對多種跨語言轉換任務,大規模地對多語言語言模型進行預訓練可以顯著提高性能。 我們使用超過2 TB的經過過濾的CommonCrawl數據在一百種語言上訓練了基于Transformer的屏蔽語言模型。 我們的模型稱為XLM-R,在各種跨語言基準測試中,其性能明顯優于多語言BERT(mBERT),包括XNLI的平均精度為+ 13.8%,MLQA的平均F1得分為+ 12.3%,NER的平均F1得分為+ 2.1%。 XLM-R在低資源語言上表現特別出色,與以前的XLM模型相比,斯瓦希里語的XNLI準確性提高了11.8%,烏爾都語的準確性提高了9.2%。 我們還對獲得這些收益所需的關鍵因素進行了詳細的實證評估,包括(1)積極轉移和能力稀釋以及(2)大規模資源資源的高低性能之間的權衡。 最后,我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性。 XLM-R在GLUE和XNLI基準測試中具有強大的單語言模型,因此非常具有競爭力。 我們將公開提供XLM-R代碼,數據和模型。

作者

Alexis Conneau, Kartikay Khandelwal等。

付費5元查看完整內容

本文表明,在大規模的多語言預訓練模型,可以顯著地提高跨語言遷移任務的性能。我們使用超過2TB的過濾CommonCrawl數據,在100種語言上訓練一個基于Transformer的掩碼語言模型。我們的模型被稱為XLM-R,在多種跨語言基準測試中顯著優于多語言BERT (mBERT),包括XNLI的平均正確率+13.8%,MLQA的平均F1分數+12.3%,NER的平均F1分數+2.1%。XLM- r在低資源語言上表現特別好,與以前的XLM模型相比,XNLI在斯瓦希里語上的準確率提高了11.8%,在烏爾都語上的準確率提高了9.2%。我們還對實現這些收益所需的關鍵因素進行了詳細的實證評估,包括(1)積極遷移和能力稀釋之間的權衡,以及(2)大規模高資源語言和低資源語言的性能。最后,我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性;XLM-Ris在GLUE和XNLI基準上有很強的單語言模型,非常有競爭力。我們將使XLM-R代碼、數據和模型公開可用。

付費5元查看完整內容

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. As the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Different from previous surveys, this survey paper reviews over forty representative transfer learning approaches from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

In existing visual representation learning tasks, deep convolutional neural networks (CNNs) are often trained on images annotated with single tags, such as ImageNet. However, a single tag cannot describe all important contents of one image, and some useful visual information may be wasted during training. In this work, we propose to train CNNs from images annotated with multiple tags, to enhance the quality of visual representation of the trained CNN model. To this end, we build a large-scale multi-label image database with 18M images and 11K categories, dubbed Tencent ML-Images. We efficiently train the ResNet-101 model with multi-label outputs on Tencent ML-Images, taking 90 hours for 60 epochs, based on a large-scale distributed deep learning framework,i.e.,TFplus. The good quality of the visual representation of the Tencent ML-Images checkpoint is verified through three transfer learning tasks, including single-label image classification on ImageNet and Caltech-256, object detection on PASCAL VOC 2007, and semantic segmentation on PASCAL VOC 2012. The Tencent ML-Images database, the checkpoints of ResNet-101, and all the training codehave been released at //github.com/Tencent/tencent-ml-images. It is expected to promote other vision tasks in the research and industry community.

Despite of the success of Generative Adversarial Networks (GANs) for image generation tasks, the trade-off between image diversity and visual quality are an well-known issue. Conventional techniques achieve either visual quality or image diversity; the improvement in one side is often the result of sacrificing the degradation in the other side. In this paper, we aim to achieve both simultaneously by improving the stability of training GANs. A key idea of the proposed approach is to implicitly regularizing the discriminator using a representative feature. For that, this representative feature is extracted from the data distribution, and then transferred to the discriminator for enforcing slow updates of the gradient. Consequently, the entire training process is stabilized because the learning curve of discriminator varies slowly. Based on extensive evaluation, we demonstrate that our approach improves the visual quality and diversity of state-of-the art GANs.

北京阿比特科技有限公司