亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在充分利用大量未標記數據的同時，從少量帶標記的樣例中學習的一種模式是，先進行無監督的預訓練，然后進行有監督的微調。盡管與計算機視覺半監督學習的常見方法相比，這種范式以任務無關的方式使用未標記數據，但我們證明它對于ImageNet上的半監督學習非常有效。我們方法的一個關鍵要素是在訓練前和微調期間使用大的(深度和廣度的)網絡。我們發現，標簽越少，這種方法(使用未標記數據的任務無關性)從更大的網絡中獲益越多。經過微調后，通過第二次使用未標記的例子，將大的網絡進一步改進，并以特定任務的方式將其精簡為分類精度損失很小的小網絡。本文提出的半監督學習算法可歸納為三個步驟: 使用SimCLRv2對一個大的ResNet模型進行無監督的預訓練，對少量帶標記的樣例進行有監督的微調，以及對未帶標記的樣例進行精化和傳遞特定任務的知識。使用ResNet-50，該程序僅使用1%的標簽(每個類別≤13張標記圖像)，就實現了73.9%的ImageNet top-1精度，比以前的最先進的標簽效率提高了10倍。對于10%的標簽，ResNet-50用我們的方法訓練達到77.5%的top-1準確性，優于所有標簽的標準監督訓練。

//www.zhuanzhi.ai/paper/0c81b63b2aaae1ae2cc1a9b0fbb382b2

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，所有paper list 放出，小編發現**對比學習（Contrastive Learning）**相關的投稿paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也應用頗多。

為此，這期小編為大家奉上NeurIPS 2020必讀的七篇對比學習相關論文——對抗自監督對比學習、局部對比學習、難樣本對比學習、多標簽對比預測編碼、自步對比學習、有監督對比學習

NeurIPS 2020 Accepted Papers://neurips.cc/Conferences/2020/AcceptedPapersInitial

1. Adversarial Self-Supervised Contrastive Learning

作者： Minseon Kim, Jihoon Tack, Sung Ju Hwang

摘要： 現有的對抗性學習方法大多使用類別標簽來生成導致錯誤預測的對抗性樣本，然后使用這些樣本來增強模型的訓練，以提高魯棒性。雖然最近的一些工作提出了利用未標記數據的半監督對抗性學習方法，但它們仍然需要類別標簽。然而，我們真的需要類別標簽來進行反向的深度神經網絡的健壯訓練嗎？本文提出了一種新的針對未標記數據的對抗性攻擊，使得該模型混淆了擾動數據樣本的實例級身份。此外，我們還提出了一種自監督對比學習（Contrastive Learning）框架來對抗性地訓練未標記數據的魯棒神經網絡，其目的是最大化數據樣本的隨機擴充與其實例對抗性擾動之間的相似度。我們在多個基準數據集上驗證了我們的方法-魯棒對比學習（RoCL），在這些數據集上，它獲得了與最新的有監督對抗性學習方法相當的魯棒準確率，并且顯著地提高了對黑盒和不可見類型攻擊的魯棒性。此外，與單獨使用自監督學習相比，RoCL進一步結合有監督對抗性損失進行聯合微調，獲得了更高的魯棒精度。值得注意的是，RoCL在穩健的遷移學習方面也顯示出令人印象深刻的結果。

網址：

2. Contrastive learning of global and local features for medical image segmentation with limited annotations

作者： Krishna Chaitanya, Ertunc Erdil, Neerav Karani, Ender Konukoglu

摘要： 有監督深度學習成功的一個關鍵要求是一個大的標記數據集——這是醫學圖像分析中難以滿足的條件。自監督學習（SSL）可以在這方面提供幫助，因為它提供了一種用未標記的數據預訓練神經網絡的策略，然后用有限的樣本標注對下游任務進行微調。對比學習是SSL的一種特殊變體，是一種學習圖像級表征的強大技術。在這項工作中，我們提出了一種策略，通過利用領域內一些特點，在標注有限的半監督場景下來擴展volumetric 醫療圖像分割的對比學習框架。具體地，我們提出了：（1）新穎的對比策略，它利用volumetric 醫學圖像之間的結構相似性（領域特定線索）；（2）對比損失的局部信息來學習對每個像素分割有用的局部區域的獨特表示（問題特定線索）。我們在三個磁共振成像（MRI）數據集上進行了廣泛的評估。在有限的標注環境下，與其他的自監督和半監督學習技術相比，本文提出的方法有了很大的改進。當與簡單的數據增強技術相結合時，該方法僅使用兩個標記的MRI體積用于訓練，達到基準性能的8%以內，相當于用于訓練基準的訓練數據ACDC的4%。

網址：

3. LoCo: Local Contrastive Representation Learning

作者： Yuwen Xiong, Mengye Ren, Raquel Urtasun

摘要： 深度神經網絡通常執行端到端反向傳播來學習權重，該過程在跨層的權重更新步驟中創建同步約束（synchronization constraints），并且這種約束在生物學上是不可信的。無監督對比表示學習的最新進展指出一個問題，即學習算法是否也可以是局部的，即下層的更新不直接依賴于上層的計算。雖然Greedy InfoMax分別學習每個塊的局部目標，但我們發現，在最新的無監督對比學習算法中，可能是由于貪婪的目標以及梯度隔離，會一直損害readout的準確性。在這項工作中，我們發現，通過重疊局部塊堆疊在一起，我們有效地增加了解碼器的深度，并允許較高的塊隱式地向較低的塊發送反饋。這種簡單的設計首次縮小了局部學習算法和端到端對比學習算法之間的性能差距。除了標準的ImageNet實驗，我們還展示了復雜下游任務的結果，例如直接使用readout功能進行對象檢測和實例分割。

網址：

4. Hard Negative Mixing for Contrastive Learning

作者： Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus

摘要： 對比學習已成為計算機視覺中自監督學習方法的重要組成部分。通過學習將同一圖像的兩個增強版本相互靠近地圖像嵌入，并將不同圖像的嵌入分開，可以訓練高度可遷移的視覺表示。最近的研究表明，大量的數據增強和大量的負樣本集對于學習這樣的表征都是至關重要的。同時，無論是在圖像層面還是在特征層面，數據混合策略都通過合成新的示例來改進監督和半監督學習，迫使網絡學習更健壯的特征。在這篇文章中，我們認為對比學習的一個重要方面，即hard negatives的影響，到目前為止被忽視了。為了獲得更有意義的負樣本，目前最流行的對比自監督學習方法要么大幅增加batch sizes大小，要么保留非常大的內存庫；然而，增加內存需求會導致性能回報遞減。因此，我們從更深入地研究一個表現最好的框架開始，并展示出證據，為了促進更好、更快的學習，需要更難的難樣本（harder negatives）。基于這些觀察結果，并受到數據混合策略成功的激勵，我們提出了特征級別的難例混合策略，該策略可以用最小的計算開銷在運行中進行計算。我們在線性分類、目標檢測和實例分割方面對我們的方法進行了詳盡的改進，并表明使用我們的難例混合過程提高了通過最先進的自監督學習方法學習的視覺表示的質量。

代碼：

網址：

5. Multi-label Contrastive Predictive Coding

作者： Jiaming Song, Stefano Ermon

摘要： 變量互信息（mutual information, MI）估計器廣泛應用于對比預測編碼（CPC）等無監督表示學習方法中。MI的下界可以從多類分類問題中得到，其中critic試圖區分從潛在聯合分布中提取的正樣本和從合適的建議分布中提取的（m?1）個負樣本。使用這種方法，MI估計值超過log m，因此有效下界可能會嚴重低估，除非m非常大。為了克服這一局限性，我們引入了一種新的基于多標簽分類問題的估計器，其中critic需要同時聯合識別多個正樣本。我們證明了在使用相同數量的負樣本的情況下，多標簽CPC能夠超過log m界，同時仍然是互信息的有效下界。我們證明了所提出的方法能夠帶來更好的互信息估計，在無監督表示學習中獲得經驗上的改進，并且在13個任務中超過了最先進的10個知識提取方法。

網址：

6. Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

作者： Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li

摘要： 域自適應目標Re-ID旨在將學習到的知識從已標記的源域轉移到未標記的目標域，以解決開放類（open-class）的重識別問題。雖然現有的基于偽標簽的方法已經取得了很大的成功，但是由于域的鴻溝和聚類性能的不理想，它們并沒有充分利用所有有價值的信息。為了解決這些問題，我們提出了一種新的具有混合記憶的自適應對比學習框架。混合存儲器動態地生成用于學習特征表示的源域類級、目標域簇級和未聚類實例級監督信號。與傳統的對比學習策略不同，該框架聯合區分了源域類、目標域簇和未聚類實例。最重要的是，所提出的自適應方法逐漸產生更可靠的簇來提煉混合記憶和學習目標，這被證明是我們方法的關鍵。我們的方法在目標 Re-ID的多域適配任務上的性能優于現有技術，甚至在源域上不需要任何額外的標注就能提高性能。在Market1501和MSMT17數據上，我們的無監督目標Re-ID的通用版本分別比最先進的算法高出16.7%和7.9%。

代碼：

網址：

7. Supervised Contrastive Learning

作者： Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan

摘要： 交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在本文中，我們提出了一種新的訓練方法，該方法在不同的體系結構和數據增強的監督學習任務中始終優于交叉熵。我們修正了批量對比損失，它最近被證明在自監督環境下學習強大的表示是非常有效的。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類的點簇在嵌入空間中被拉在一起，同時推開來自不同類的樣本簇。除此之外，我們還利用了大的batch sizes和標準化嵌入等關鍵因素，這些因素已被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的性能都比交叉熵高出1%以上，在使用 AutoAugment數據增強的方法中創造了78.8%的新技術水平。在校準和準確度方面，這一損失也顯示出在標準基準上對自然損壞的穩健性有明顯的好處。與交叉熵相比，我們的監督對比損失對諸如優化器或數據增強等超參數設置更穩定。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于對比學習（Contrastive Learning）相關的paper也不少，對比學習、自監督學習等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇對比學習（Contrastive Learning）相關論文——SimCLR、對比多視角圖學習、對比強化學習、CPC、分解GAN、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、A Simple Framework for Contrastive Learning of Visual Representations

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton

摘要：本文提出了SimCLR：一種簡單的視覺表示的對比學習（contrastive learning）框架。我們簡化了最近提出的對比自監督學習算法，并且不需要專門的體系結構或存儲庫。為了理解什么使對比預測任務能夠學習有用的表示，我們系統地研究了我們框架的主要組成部分。我們表明：(1)數據增強部分在定義有效的預測任務中起著關鍵作用；(2)在表示和對比損失之間引入可學習的非線性變換大大提高了學習表示的質量；(3)與監督學習相比，對比學習受益于更大的batch和更多的訓練。結合這些發現，我們能夠在ImageNet上顯著優于以往的自監督和半監督學習方法。在通過SimCLR學習得到的自監督表示上訓練的線性分類器達到了76.5%的TOP-1準確率，比以前的技術相對提高了7%，與監督ResNet-50的性能相當。當只對1%的標簽進行微調時，我們達到了85.8%的TOP-5準確率，在標簽減少100倍的情況下表現優于AlexNet。

代碼：

網址：

2、Contrastive Multi-View Representation Learning on Graphs

作者：Kaveh Hassani、Amir Hosein Khasahmadi

摘要：我們介紹了一種通過對比圖的結構視圖來學習節點級和圖級表示的自監督方法。我們表明，與視覺表示學習不同的是，將視圖數增加到兩個以上或對比多尺度編碼并不能提高性能，并且通過對比來自一階鄰居的編碼和圖擴散（ graph diffusion）可以獲得最佳性能。在線性評估協議下，我們的模型在8個節點和圖分類基準上有8個取得了最新結果。例如，在CORA(節點)和Reddit-Binary(圖)分類基準上，我們達到了86.8%和84.5%的準確率，比以前的技術水平分別提高了5.5%和2.4%。與監督基線相比，我們的方法在8個基準中有4個表現優于它們。

網址：

3、CURL: Contrastive Unsupervised Representations for Reinforcement Learning

作者：Michael Laskin、Aravind Srinivas、Pieter Abbeel

摘要：我們提出了CURL—用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高層特征，并在提取的特征之上執行非策略控制。在DeepMind Control Suite和Atari Games的復雜任務上，無論是基于模型的方法還是非模型的方法，CURL的表現都優于之前基于像素的方法，在100K環境和交互步驟基準下分別顯示1.9倍和1.2倍的性能提升。在DeepMind Control Suite上，CURL是第一個幾乎與使用基于狀態特征的方法的采樣效率相當的基于圖像的算法。

代碼：

網址：

4、Data-Efficient Image Recognition with Contrastive Predictive Coding

作者：Olivier J. Hénaff、Aravind Srinivas、Jeffrey De Fauw、Ali Razavi、Carl Doersch、S. M. Ali Eslami、Aaron van den Oord

摘要：人類觀察者從少數幾個例子中可以學會識別新的圖像類別，但使用人造圖像做到這一點仍然是一個挑戰。我們假設通過表示使數據有效識別成為可能，這些表示使自然信號的可變性更加可預測。因此，我們重新改進了對比預測編碼，這是學習這種表示的一個無監督目標。此新實現產生的特征可以支持ImageNet數據集上的最新線性分類準確性。當使用深度神經網絡作為非線性分類的輸入時，這種表示允許我們使用比直接在圖像像素上訓練的分類器少2-5倍的標簽。最后，這種無監督表示大大改善了對Pascal VOC數據集上的目標檢測的遷移學習，超過了全監督預訓練的ImageNet分類器。

網址：

5、InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs

作者：Zinan Lin、Kiran K. Thekumparampil、Giulia Fanti1Sewoong Oh

摘要：分解（disentangled）的生成模型將潛在向量映射到目標空間，同時強制學習的潛在子集是可解釋的，并且與目標分布的不同屬性相關聯。最近的進展主要是基于變分自編碼器(VAE)的方法，而訓練分離的生成式對抗網絡(GANS)仍然是具有挑戰性的。在這項工作中，我們證明了分離的GAN面臨的主要挑戰可以通過使用自監督來緩解。我們的主要貢獻有兩個：第一，我們設計了一種新的具有自監督功能的分離GANs訓練方法。我們提出了對比正則化（contrastive regularizer）算法，它的靈感來自于一個自然的分解概念：latent traversal。這比最先進的基于VAE和GAN的方法獲得了更高的分離分數。其次，我們提出了一種稱為ModelCentrality的無監督模型選擇方案，它使用生成的合成樣本來計算模型集合的medoid(多維中值推廣)。令人驚訝的是，這種無監督的ModelCentrality能夠選擇比使用現有的監督超參數選擇技術訓練的模型性能更好的模型。將對比正則化和ModelCentrality相結合，在不需要有監督超參數選擇的情況下，大幅度地獲得了最先進的分離分數。

網址：

6、Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

作者：Tongzhou Wang、Phillip Isola

摘要：對比表示學習在實踐中取得了顯著的成功。在這項工作中，我們確定了與對比損失相關的兩個關鍵性質：(1)正對特征的對齊方式（緊密度）和(2)超球面上(歸一化)特征誘導分布的均勻性。我們證明，漸近地，對比損失優化了這些屬性，并分析了它們對下游任務的積極影響。根據經驗，我們引入了一個可優化的指標來量化每個屬性。在標準視覺和語言數據集上的大量實驗證實了指標與下游任務性能之間的強烈一致性。直接針對這兩個指標進行優化可以使下游任務的表現比對比學習更好或更高。

代碼：

網址：

對比學習（contrastive learning）是對于給定的正例樣本和負例樣本，通過讓編碼器學習如何去區分它們，從而捕捉到樣本中最具判別性的特征。因為這種隸屬于自監督學習的方式，模型框架清晰易懂，效果異常優越，受到了很多頂會論文的青睞。今天將分享兩篇KDD2020會議上的論文：一篇將對比學習應用于圖預訓練任務上；另一篇深度解析了負采樣技術在圖表示學習中的作用，能為對比學習的進一步發展帶來啟發。

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

論文地址：//arxiv.org/abs/2006.09963

本文提出了一種無監督的圖表示學習預訓練框架GCC，能夠捕捉到廣泛存在于不同圖之間的拓撲性質，并且無需輸入額外的屬性或是標簽。GCC將預訓練任務設定為在同一張圖內或不同圖之間區分子圖級別的實例，進一步利用對比學習使模型能夠學到固有的、可遷移的結構表示。最后通過一系列的實驗，驗證了pre-training & fine-tuning模式在圖表示學習中的巨大潛力。

Understanding Negative Sampling in Graph Representation Learning

論文地址：

本文分別從目標函數和風險兩個角度深刻剖析了負采樣技術在圖表示學習中起到的作用，并通過理論證明：負采樣的分布應該和正樣本分布呈正相關但是亞線性的關系。基于該理論，本文進一步提出了新的負采樣策略，即MCNS，并利用改進版的Metropolis-Hastings算法對該過程進行了加速。

最近的自監督對比方法已經能夠產生令人印象深刻的可轉移的視覺表示通過學習對不同的數據增強保持不變。然而，這些方法隱式地假設了一組特定的表示不變性(例如，顏色不變性)，并且當下游任務違反了這一假設時，它們的性能會很差（比如區分紅色和黃色的汽車)。我們介紹了一個對比學習框架，它不需要特定的、任務相關的不變性的先驗知識。我們的模型學會了通過構建單獨的嵌入空間來捕捉變化的和不變的視覺表示因素，每個嵌入空間都是不變的，除了數據增強部分。我們使用一個共享主干的多頭網絡，它在每次擴展中捕獲信息，單獨在下游任務上優于所有基線方法。我們還發現，不變空間和變化空間的連接在我們研究的所有任務中性能最好，包括粗粒度、細粒度和較少的下游分類任務，以及各種數據破壞的情況下。

題目： Debiased Contrastive Learning

摘要：

自監督表示學習的一項突出技術是對比語義相似和不相似的樣本對。如果無法訪問標簽，通常會將不同的（負）點視為隨機采樣的數據點，隱式地接受這些點實際上可能具有相同的標簽。不足為奇的是，我們觀察到在具有標簽的綜合環境中，從真正不同的標簽中抽取負面樣本可以提高性能。受此觀察結果的啟發，開發了一種反偏差對比目標，即使不知道真實的標簽，也可以校正相同標簽的數據點的采樣。從經驗上講，擬議的目標在視覺，語言和強化學習基準方面始終優于最新的代表性學習。從理論上講，我們為下游分類任務建立概括邊界。

我們介紹了一種通過對比圖的結構視圖來學習節點和圖表示的自監督方法。我們表明，與視覺表示學習不同，增加視圖數量到兩個以上或對比多尺度編碼不會提高性能，而最佳性能是通過對比一階鄰居編碼和圖擴散來實現的。在線性評估協議下，我們在8個節點中的8個和圖分類基準上實現了新的最先進的自監督學習結果。例如，在Cora(節點)和reddy - binary(圖形)分類基準上，我們實現了86.8%和84.5%的準確率，相對于之前的最先進水平分別提高了5.5%和2.4%。與監督基準相比，我們的方法在8個基準中有4個優于監督基準。源代碼發布在:

題目： Supervised Contrastive Learning

簡介： 交叉熵是在圖像分類模型的有監督訓練中使用最廣泛的損失函數。在本文中，我們提出了一種新穎的訓練方法，該方法在跨不同體系結構和數據擴充的監督學習任務上始終優于交叉熵。我們修改了批處理的對比損失，最近已證明該方法對于在自我監督的情況下學習強大的表示非常有效。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類別的點的群集在嵌入空間中聚在一起，同時將不同類別的樣本群集推開。除此之外，我們還利用了關鍵成分，例如大批處理量和標準化的嵌入，這些成分已顯示出對自我監督學習的好處。在ResNet-50和ResNet-200上，我們的交叉熵均超過1％，在使用AutoAugment數據增強的方法中，新的技術水平達到了78.8％。損失還顯示出明顯的好處，即可以在標準基準和準確性方面提高對自然基準的自然破壞的魯棒性。與交叉熵相比，我們監督的對比損失對于諸如優化器或數據增強之類的超參數設置更穩定。