亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

我們介紹了一種通過對比圖的結構視圖來學習節點和圖級表示的自監督方法。我們表明，與視覺表示學習不同，增加視圖數量到兩個以上或對比多尺度編碼不會提高性能，而最佳性能是通過對比一階鄰居編碼和圖擴散來實現的。在線性評估協議下，我們在8個節點中的8個和圖分類基準上實現了新的最先進的自監督學習結果。例如，在Cora(節點)和reddy - binary(圖形)分類基準上，我們實現了86.8%和84.5%的準確率，相對于之前的最先進水平分別提高了5.5%和2.4%。與監督基準相比，我們的方法在8個基準中有4個優于監督基準。

OpenAI在昨天悄然放出了GPT第三代——《Language Models are Few-Shot Learners》。刷遍Twitter！史無前例！論文介紹了GPT-3這是一種由1750億個參數組成的最先進的語言模型。論文由32位作者72頁pdf。

最近的工作表明，通過對大量文本進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了巨大的進展。盡管這種方法在架構中通常與任務無關，但它仍然需要成千上萬個特定于任務的實例微調數據集。相比之下，人類通常只需要幾個例子或簡單的指令就可以完成一項新的語言任務——這是目前的NLP系統仍然難以做到的。在這里，我們展示了擴展語言模型極大地提高了任務無關性、低命中率的性能，有時甚至達到了與先前最先進的微調方法的匹配性能。具體來說，我們訓練了一個帶有1750億個參數的自回歸語言模型GPT-3，比以前任何非稀疏語言模型都多10倍，并在小樣本設置下測試了它的性能。對于所有任務，GPT-3的應用沒有任何梯度更新或微調，任務和小樣本演示指定純粹通過與模型的文本交互。GPT-3在許多NLP數據集上實現了強大的性能，包括翻譯、問答和完形填空任務，以及一些需要即時推理或領域適應的任務，如整理單詞、在句子中使用新單詞或執行3位算術。同時，我們還確定了一些數據集，其中GPT-3的小樣本學習仍然效果不佳，以及一些數據集，其中GPT-3面臨著與大型web語料庫上的訓練有關的方法問題。最后，我們發現GPT-3可以生成新聞文章的樣本，這些文章是人類評價者難以區分的。我們討論了這個發現和一般的GPT-3的更廣泛的社會影響。

GPT-3的主要目標是用更少的領域數據、且不經過精調步驟去解決問題。

為了達到上述目的，作者們用預訓練好的GPT-3探索了不同輸入形式下的推理效果。

這里的Zero-shot、One-shot、Few-shot都是完全不需要精調的，因為GPT-3是單向transformer，在預測新的token時會對之前的examples進行編碼。

作者們訓練了以下幾種尺寸的模型進行對比：

實驗證明Few-shot下GPT-3有很好的表現：

最重要的是，GPT-3在Few-shot設定下，在部分NLU任務上超越了當前Fine-tuning的SOTA。

交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在這篇論文中，我們提出了一種新的訓練方法，在不同架構和數據擴充的監督學習任務中，它的表現始終優于交叉熵。我們修改了批量對比損失，這是最近被證明在自監督學習強大表示是非常有效的。我們能夠比交叉熵更有效地利用標簽信息。在嵌入空間中，將同一類的點聚在一起，同時將不同類的樣本聚在一起。除此之外，我們還利用了關鍵的成分，如大批量和標準化嵌入，這些已經被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的交叉熵性能都超過了1%，在使用自動增廣數據增強的方法中，我們設置了78.8%的最新水平。這一損失也清楚地表明，在校準和準確性方面，對標準基準的自然損壞具有魯棒性。與交叉熵相比，我們的監督對比損失更穩定的超參數設置，如優化或數據擴充。

主題： Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning

摘要： 廣義零樣本學習（GZSL）解決了同時涉及可見類和不可見類的實例分類問題。關鍵問題是如何有效地將從可見類學習到的模型轉換為不可見類。GZSL中現有的工作通常假設關于未公開類的一些先驗信息是可用的。然而，當新的不可見類動態出現時，這種假設是不現實的。為此，我們提出了一種新的基于異構圖的知識轉移方法（HGKT），該方法利用圖神經網絡對GZSL、不可知類和不可見實例進行知識轉移。具體地說，一個結構化的異構圖，它是由所見類的高級代表節點構造而成，這些代表節點通過huasstein-barycenter來選擇，以便同時捕獲類間和類內的關系，聚集和嵌入函數可以通過圖神經網絡來學習，它可以用來計算不可見類的嵌入，方法是從它們的內部遷移知識。在公共基準數據集上的大量實驗表明，我們的方法達到了最新的結果。

題目

跨語言表示學習，Unsupervised Cross-lingual Representation Learning at Scale

關鍵詞

自然語言處理，表示學習，跨語言，人工智能

簡介

本文表明，針對多種跨語言轉換任務，大規模地對多語言語言模型進行預訓練可以顯著提高性能。 我們使用超過2 TB的經過過濾的CommonCrawl數據在一百種語言上訓練了基于Transformer的屏蔽語言模型。 我們的模型稱為XLM-R，在各種跨語言基準測試中，其性能明顯優于多語言BERT（mBERT），包括XNLI的平均精度為+ 13.8％，MLQA的平均F1得分為+ 12.3％，NER的平均F1得分為+ 2.1％。 XLM-R在低資源語言上表現特別出色，與以前的XLM模型相比，斯瓦希里語的XNLI準確性提高了11.8％，烏爾都語的準確性提高了9.2％。 我們還對獲得這些收益所需的關鍵因素進行了詳細的實證評估，包括（1）積極轉移和能力稀釋以及（2）大規模資源資源的高低性能之間的權衡。 最后，我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性。 XLM-R在GLUE和XNLI基準測試中具有強大的單語言模型，因此非常具有競爭力。 我們將公開提供XLM-R代碼，數據和模型。

作者

Alexis Conneau， Kartikay Khandelwal等。

題目：

Transfer Learning in Visual and Relational Reasoning

簡介：

遷移學習已成為計算機視覺和自然語言處理中的事實上的標準，尤其是在缺少標簽數據的地方。通過使用預先訓練的模型和微調，可以顯著提高準確性。在視覺推理任務（例如圖像問答）中，傳遞學習更加復雜。除了遷移識別視覺特征的功能外，我們還希望遷移系統的推理能力。而且，對于視頻數據，時間推理增加了另一個維度。在這項工作中，我們將遷移學習的這些獨特方面形式化，并提出了一種視覺推理的理論框架，以完善的CLEVR和COGdatasets為例。此外，我們引入了一種新的，端到端的微分遞歸模型（SAMNet），該模型在兩個數據集上的傳輸學習中均顯示了最新的準確性和更好的性能。改進的SAMNet性能源于其將抽象的多步推理與序列的長度解耦的能力及其選擇性的關注能力，使其僅能存儲與問題相關的信息外部存儲器中的對象。

目錄：

題目： Large Scale Learning of General Visual Representations for Transfer

摘要： 在訓練深層視覺神經網絡時，預訓練表示的傳遞提高了樣本效率，簡化了超參數整定。我們重新審視了在大監督數據集上進行預訓練和微調目標任務權重的范例。我們擴大了訓練前的規模，并創建了一個簡單的配方，我們稱之為大轉移（BiT）。通過組合一些精心挑選的組件，并使用簡單的啟發式進行傳輸，我們在20多個數據集上獲得了很強的性能。BiT在一系列出人意料的數據體系中表現良好——從10到100萬個標記示例。BiT在ILSVRC-2012上達到87.8%的top-1精度，在CIFAR-10上達到99.3%，在視覺任務適應基準（包括19個任務）上達到76.7%。在小型數據集上，ILSVRC-2012每類25個示例的BiT達到86.4%，CIFAR-10每類10個示例的BiT達到97.6%。我們對導致高傳輸性能的主要組件進行了詳細的分析。

作者簡介： Alexander Kolesnikov，谷歌儀器科學家。個人主頁：[//neutrons.ornl.gov/contacts/kolesnikovai]{}

題目： AdversarialRepresentationActiveLearning

簡介： 主動學習的目的是通過查詢將由Oracle標記的信息最多的樣本來開發標簽有效的算法。 設計需要較少標簽的有效培訓方法是一個重要的研究方向，它可以更有效地利用計算和人力資源來進行訓練深度神經網絡。 在這項工作中，我們演示了如何利用深度生成模型中的最新進展，在使用盡可能少的標簽來達到最高分類精度方面，勝過最新技術。 與以前的方法不同，我們的方法不僅使用標記圖像來訓練分類器，而且還使用未標記圖像和生成的圖像來共同訓練整個模型。