亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

什么對對比學習很重要？我們認為對比學習在很大程度上依賴于有信息量的特征，或“困難的”（正例或負例）特征。早期的方法通過應用復雜的數據增強和大批量或內存庫來包含更多有信息量的特征，最近的工作設計了精細的采樣方法來探索有信息量的特征。探索這些特征的關鍵挑戰是源多視圖數據是通過應用隨機數據增強生成的，這使得始終在增強數據中添加有用信息是不可行的。因此，從這種增強數據中學習到的特征的信息量是有限的。**在本文中，我們提出直接增強潛在空間中的特征，從而在沒有大量輸入數據的情況下學習判別表示。**我們執行元學習技術來構建增強生成器，通過考慮編碼器的性能來更新其網絡參數。然而，輸入數據不足可能會導致編碼器學習坍塌的特征，從而導致增強生成器出現退化的情況。我們在目標函數中進一步添加了一個新的邊緣注入正則化，以避免編碼器學習退化映射。為了在一個梯度反向傳播步驟中對比所有特征，我們采用了優化驅動的統一對比損失，而不是傳統的對比損失。根據實驗驗證，我們的方法在幾個基準數據集上獲得了最先進的結果。

//www.zhuanzhi.ai/paper/31925f8729fad66bf497d7f85ba17dd6

目標檢測在過去的十年中取得了長足的進步。然而，利用少樣本檢測新類仍然具有挑戰性，因為在低數據環境下的深度學習通常會導致特征空間的退化。現有的研究都采用了整體的微調范式來解決這個問題，即首先對模型進行大量樣本的所有基類的預訓練，然后用它來學習新的類特征空間。盡管如此，這種范式仍然是不完美的。在微調過程中，一個新類可能會隱式地利用多個基類的知識來構造其特征空間，導致特征空間分散，違反類間的可分離性。為了克服這些障礙，我們提出了一種兩步微調的框架，即關聯與識別的少樣本目標檢測(FADI)，該框架采用兩步整合的方法為每個新類建立判別特征空間。1) 在關聯步驟中，與隱式利用多個基類不同，我們通過顯式模擬一個特定的基類特征空間來構造一個緊湊的新類特征空間。具體來說，我們根據每個新類的語義相似度將它們與基類關聯起來。之后，新類的特征空間可以很容易地模仿相關基類的經過良好訓練的特征空間。2)在判別步驟中，為了保證新類和相關基類之間的可分離性，我們對基類和新類的分類分支進行解糾纏。為了進一步擴大各類別間的可分性，引入了一個集合化的保證金損失。在Pascal VOC和MS-COCO數據集上的大量實驗表明，FADI實現了新的SOTA性能，在任何鏡頭/分割中顯著提高了18.7的基線。值得注意的是，這種優勢是在極少的場景中體現出來的。

//www.zhuanzhi.ai/paper/06746cf005b934af3f2ed505ace8f91d

這項工作在經典的數據不平衡問題下，探索了非常實際但極少被研究的問題：數據不平衡回歸問題。現有的處理不平衡數據/長尾分布的方法絕大多數僅針對分類問題，即目標值是不同類別的離散值（索引）；但是，許多實際的任務涉及連續的，甚至有時是無限多的目標值。本文推廣了傳統不平衡分類問題的范式，將數據不平衡問題從離散值域推廣到連續域。

我們不僅提出了兩種簡單有效的方法去提升不平衡回歸問題上的模型表現，也建立了五個新的benchmark DIR數據集，涵蓋了計算機視覺，自然語言處理，和醫療問題上的不平衡回歸任務。目前代碼，數據，和模型已經在GitHub上開源：

//github.com/YyzHarry/imbalanced-regression

那么開篇首先用概括一下本文的主要貢獻：

我們提出了一個新的任務，稱為深度不平衡回歸（Deep Imbalanced Regression，簡寫為DIR）。DIR任務定義為從具有連續目標的不平衡數據中學習，并能泛化到整個目標范圍；

我們同時提出了針對不平衡回歸的新的方法，標簽分布平滑（label distribution smoothing, LDS）和特征分布平滑（feature distribution smoothing, FDS），以解決具有連續目標的不平衡數據的學習問題；

最后我們建立了五個新的DIR數據集，涵蓋了computer vision，NLP，和healthcare上的不平衡回歸任務，來方便未來在不平衡數據上的研究。

接下來我們進入正文。按照慣例，我會先拋開文章本身，大體梳理一下數據不平衡這個問題在分類以及回歸上的一部分研究現狀，在此基礎上盡量詳細的介紹我們的思路和方法，省去不必要的細節。

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

本篇論文的研究對象是AI安全領域的后門攻擊。作為一種發生在訓練階段的定向攻擊，后門攻擊近年來在AI安全中引起了極大的重視。后門攻擊能夠控制模型的預測結果，但是卻不會影響正常樣本的預測準確率，是一種相當隱蔽且危險的攻擊。更重要的是，一旦將后門觸發器嵌入到目標模型中，就很難通過傳統的微調或神經修剪來徹底消除其惡意的影響。針對這一問題，本文提出了一種新穎的防御框架--神經元注意力蒸餾（Neural Attention Distillation，NAD），以消除DNN中的后門觸發器。NAD利用教師網絡在少量干凈的數據子集上指導后門學生網絡的微調，以使學生網絡的中間層注意力激活與教師網絡的注意力激活保持一致。其中，教師網絡可以通過對同一干凈子集進行獨立的微調獲得。針對6種最新的后門攻擊——BadNets，Trojan attack，Blend attack，Clean-label attack，Sinusoidal signal attack，Reflection attack，驗證了提出的NAD的有效性，僅使用5％的干凈訓練數據就可以有效擦除后門觸發器，同時幾乎不影響干凈樣本的性能。本文提出的基于神經元注意力蒸餾的后門凈化方法是目前業界最簡單有效的方法，能夠抵御目前已知的所有后門攻擊，理論分析表明該方法具有對后門攻擊的普適性防御能力。論文代碼已經開源：//github.com/bboylyg/NAD。

確定輸入是否在分布外(OOD)是在開放世界中安全部署機器學習模型的一個重要基石。然而，以往依賴softmax置信評分的方法對OOD數據存在過自信的后驗分布。我們提出了一個使用能量分數的OOD檢測的統一框架。我們表明，能量分數比使用softmax分數的傳統方法更好地區分分布內和分布外的樣本。與softmax信心分數不同，能量分數理論上與輸入的概率密度一致，不太容易受到過度自信問題的影響。在這個框架內，能量可以被靈活地用作任何預訓練的神經分類器的評分函數，也可以作為可訓練的代價函數來明確地塑造能量表面，用于OOD檢測。在CIFAR-10預訓練的WideResNet中，使用能量分數比softmax信心分數降低平均FPR (TPR 95%) 18.03%。在以能量為基礎的訓練中，我們的方法在一般的基準上比最先進的方法表現得更好。

//arxiv.org/abs/2010.03759

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于對比學習（Contrastive Learning）相關的paper也不少，對比學習、自監督學習等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇對比學習（Contrastive Learning）相關論文——SimCLR、對比多視角圖學習、對比強化學習、CPC、分解GAN、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、A Simple Framework for Contrastive Learning of Visual Representations

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton

摘要：本文提出了SimCLR：一種簡單的視覺表示的對比學習（contrastive learning）框架。我們簡化了最近提出的對比自監督學習算法，并且不需要專門的體系結構或存儲庫。為了理解什么使對比預測任務能夠學習有用的表示，我們系統地研究了我們框架的主要組成部分。我們表明：(1)數據增強部分在定義有效的預測任務中起著關鍵作用；(2)在表示和對比損失之間引入可學習的非線性變換大大提高了學習表示的質量；(3)與監督學習相比，對比學習受益于更大的batch和更多的訓練。結合這些發現，我們能夠在ImageNet上顯著優于以往的自監督和半監督學習方法。在通過SimCLR學習得到的自監督表示上訓練的線性分類器達到了76.5%的TOP-1準確率，比以前的技術相對提高了7%，與監督ResNet-50的性能相當。當只對1%的標簽進行微調時，我們達到了85.8%的TOP-5準確率，在標簽減少100倍的情況下表現優于AlexNet。

代碼：

網址：

2、Contrastive Multi-View Representation Learning on Graphs

作者：Kaveh Hassani、Amir Hosein Khasahmadi

摘要：我們介紹了一種通過對比圖的結構視圖來學習節點級和圖級表示的自監督方法。我們表明，與視覺表示學習不同的是，將視圖數增加到兩個以上或對比多尺度編碼并不能提高性能，并且通過對比來自一階鄰居的編碼和圖擴散（ graph diffusion）可以獲得最佳性能。在線性評估協議下，我們的模型在8個節點和圖分類基準上有8個取得了最新結果。例如，在CORA(節點)和Reddit-Binary(圖)分類基準上，我們達到了86.8%和84.5%的準確率，比以前的技術水平分別提高了5.5%和2.4%。與監督基線相比，我們的方法在8個基準中有4個表現優于它們。

網址：

3、CURL: Contrastive Unsupervised Representations for Reinforcement Learning

作者：Michael Laskin、Aravind Srinivas、Pieter Abbeel

摘要：我們提出了CURL—用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高層特征，并在提取的特征之上執行非策略控制。在DeepMind Control Suite和Atari Games的復雜任務上，無論是基于模型的方法還是非模型的方法，CURL的表現都優于之前基于像素的方法，在100K環境和交互步驟基準下分別顯示1.9倍和1.2倍的性能提升。在DeepMind Control Suite上，CURL是第一個幾乎與使用基于狀態特征的方法的采樣效率相當的基于圖像的算法。

代碼：

網址：

4、Data-Efficient Image Recognition with Contrastive Predictive Coding

作者：Olivier J. Hénaff、Aravind Srinivas、Jeffrey De Fauw、Ali Razavi、Carl Doersch、S. M. Ali Eslami、Aaron van den Oord

摘要：人類觀察者從少數幾個例子中可以學會識別新的圖像類別，但使用人造圖像做到這一點仍然是一個挑戰。我們假設通過表示使數據有效識別成為可能，這些表示使自然信號的可變性更加可預測。因此，我們重新改進了對比預測編碼，這是學習這種表示的一個無監督目標。此新實現產生的特征可以支持ImageNet數據集上的最新線性分類準確性。當使用深度神經網絡作為非線性分類的輸入時，這種表示允許我們使用比直接在圖像像素上訓練的分類器少2-5倍的標簽。最后，這種無監督表示大大改善了對Pascal VOC數據集上的目標檢測的遷移學習，超過了全監督預訓練的ImageNet分類器。

網址：

5、InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs

作者：Zinan Lin、Kiran K. Thekumparampil、Giulia Fanti1Sewoong Oh

摘要：分解（disentangled）的生成模型將潛在向量映射到目標空間，同時強制學習的潛在子集是可解釋的，并且與目標分布的不同屬性相關聯。最近的進展主要是基于變分自編碼器(VAE)的方法，而訓練分離的生成式對抗網絡(GANS)仍然是具有挑戰性的。在這項工作中，我們證明了分離的GAN面臨的主要挑戰可以通過使用自監督來緩解。我們的主要貢獻有兩個：第一，我們設計了一種新的具有自監督功能的分離GANs訓練方法。我們提出了對比正則化（contrastive regularizer）算法，它的靈感來自于一個自然的分解概念：latent traversal。這比最先進的基于VAE和GAN的方法獲得了更高的分離分數。其次，我們提出了一種稱為ModelCentrality的無監督模型選擇方案，它使用生成的合成樣本來計算模型集合的medoid(多維中值推廣)。令人驚訝的是，這種無監督的ModelCentrality能夠選擇比使用現有的監督超參數選擇技術訓練的模型性能更好的模型。將對比正則化和ModelCentrality相結合，在不需要有監督超參數選擇的情況下，大幅度地獲得了最先進的分離分數。

網址：

6、Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

作者：Tongzhou Wang、Phillip Isola

摘要：對比表示學習在實踐中取得了顯著的成功。在這項工作中，我們確定了與對比損失相關的兩個關鍵性質：(1)正對特征的對齊方式（緊密度）和(2)超球面上(歸一化)特征誘導分布的均勻性。我們證明，漸近地，對比損失優化了這些屬性，并分析了它們對下游任務的積極影響。根據經驗，我們引入了一個可優化的指標來量化每個屬性。在標準視覺和語言數據集上的大量實驗證實了指標與下游任務性能之間的強烈一致性。直接針對這兩個指標進行優化可以使下游任務的表現比對比學習更好或更高。

代碼：

網址：