亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

當測試數據和訓練數據的分布相似時，基于深度神經網絡的方法已經取得了驚人的性能，但如果沒有相似的分布，則性能可能表現很差。因此，消除訓練和測試數據之間分布變化的影響對于構建具有良好性能的深度模型至關重要。傳統的方法要么假設訓練數據已知的異質性(例如域標簽)，要么假設不同域的容量近似相等。在本文中，我們考慮一個更具有挑戰性的情況，即上述兩種假設都不成立。為了解決這一問題，我們提出通過學習訓練樣本的權重來消除特征之間的依賴關系，這有助于深度模型擺脫虛假的相關性，從而更加關注區分性特征和標簽之間的真實聯系。大量的實驗清楚地證明了我們的方法在多個分布泛化基準上的有效性，與最先進的同行相比。通過大量的分布泛化基準實驗，包括PACS、VLCS、mist - m和NICO，我們證明了該方法的有效性，并與最新的同類方法進行了比較。

//www.zhuanzhi.ai/paper/dd9a8778840b02be8c81aebac3c94263

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

//ruder.io/recent-advances-lm-fine-tuning/index.html

在過去的三年里， fine-tuning的方法已經取代了從預訓練embedding做特征提取的方法，而預訓練語言模型由于其訓練效率和出色的性能受到各種任務的青睞，如機器翻譯，自然語言推理等，在這些方法上的成功經驗也導致了后來像BERT，T5這樣更大模型的出現。最近，如GPT-3這樣的模型，數據規模實際上已經大到在不需要任何參數更新的情況下也可以取得非常優異的性能。然而，這種zero-shot場景畢竟存在著一定的限制。為了達到最佳性能或保持效率，在使用大型的預訓練語言模型時，fine-tuning依然會作為主流方法而繼續存在。

如下圖，在標準的遷移學習場景中，首先在大規模無監督數據上使用建模語言特征的loss（如MLM）對一個模型做預訓練，然后在下游任務的有標簽數據上使用標準的cross-entropy loss對預訓練模型做fine-tuning。

標準的pre-train —— fine-tuning 場景

雖然預訓練依賴于大量的計算資源，但是fine-tuning只需要使用少量計算資源。因此，在對語言模型的實際使用中，fine-tuning就顯得更為重要，例如，Hugging Face的模型庫截至目前就已經被下載使用了數百萬次之多。基于此，fine-tuning將是本文的講述重點，尤其將重點介紹可能會影響我們fine-tune模型方式的一些近期進展。本文將分類介紹幾種fine-tuning方法，如下圖所示：

【導讀】作為計算機視覺領域的三大國際頂會之一，IEEE國際計算機視覺與模式識別會議CVPR（IEEE Conference on Computer Vision and Pattern Recognition) 每年都會吸引全球領域眾多專業人士參與。CVPR 2021將在線舉行， 中國科學院院士、中科院自動化所智能感知與計算研究中心主任譚鐵牛將出任大會主席（General Chair，GC），上海科技大學的虞晶怡教授將任程序主席（Program Chair，PC）。今年的CVPR有效投稿多達7500篇，一共有1663篇論文被接收，接收率為27%。

為此，專知小編提前為大家整理了五篇CVPR 2021圖像分類（Image Classification）相關論文，圖像分類topic，大家都很熟悉，但是競爭也比較激烈，可以看看最新是如何創新如何開展的？大家先睹為快——半監督細粒度圖像分類、長尾圖像分類、新標簽少樣本學習、對比聯邦學習

CVPR2021OD、CVPR2021AR

1. A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained Classification

作者：Jong-Chyi Su, Zezhou Cheng, Subhransu Maji

摘要：我們在一個現實的基準上評估半監督學習（SSL）的有效性，在該基準上，數據表現出明顯的類別失衡并包含來自新類別的圖像。我們的基準測試由兩個細粒度的分類數據集組成，這些數據集是通過從Aves和Fungi分類中對類進行抽樣而獲得的。我們發現，最近提出的SSL方法具有顯著的優勢，并且當從頭開始訓練深度網絡時，可以有效地使用類外（out-of-class）數據來提高性能。然而，與遷移學習基準相比，這部分表現卻差強人意。另外，盡管現有的SSL方法提供了一些改進，但是類外數據的存在通常對模型的性能反而有害。在這種情況下，微調后再進行基于蒸餾的自訓練反而是最可靠的。我們的實驗表明，在現實數據集上的基于專家的半監督學習可能需要一些不同的策略，這部分策略與現在流行的方法可能不同。

//arxiv.org/abs/2104.00679

2. Contrastive Learning based Hybrid Networks for Long-Tailed Image Classification

作者：Peng Wang, Kai Han, Xiu-Shen Wei, Lei Zhang, Lei Wang

摘要：學習得到圖像的判別性表示在長尾（long-tailed）圖像分類中起著至關重要的作用，因為它可以緩解分類器在數據不平衡情況下的學習。鑒于最近對比學習的表現，在這項工作中，我們探討了有效的監督對比學習策略，并定制了他們從不平衡數據學習更好的圖像表示的方法，以提高其上的分類精度。具體來說，我們提出了一種新穎的混合網絡結構，該結構由監督的對比損失（用于學習圖像表示）和交叉熵損失（用于學習分類器）組成，其中學習逐漸從特征學習過渡到分類器學習，以體現更好的特征訓練更好的分類器。我們探索了用于特征學習的兩種對比損失形式，它們的形式各不相同，但有一個共同的想法，即在歸一化嵌入空間中將同一類別的樣本拉在一起，然后將不同類別的樣本推開。其中之一是最近提出的監督對比（SC）損失，它是通過合并來自同一類別的正樣本在最先進的無監督對比損失之上設計的。另一種是原型監督對比（PSC）學習策略，該策略解決了標準SC丟失中的大量內存消耗問題，因此在有限的內存預算下顯示出更多的希望。在三個長尾分類數據集上的廣泛實驗證明了在長尾分類中所提出的基于對比學習的混合網絡的優勢。

3. Fine-grained Angular Contrastive Learning with Coarse Labels

作者：Guy Bukchin, Eli Schwartz, Kate Saenko, Ori Shahar, Rogerio Feris, Raja Giryes, Leonid Karlinsky

摘要：少樣本學習方法會提供經過優化的預訓練技術，以便使用一個或幾個示例輕松地將模型適應新類別（在訓練過程中看不見）。這種對看不見類別的適應性對于許多實際應用尤為重要，在這些實際應用中，預訓練的標簽空間無法保持固定以有效使用，并且模型需要“專業化”以支持動態的新類別。Coarseto-Fine Few-Shot（C2FS）是一種特別有趣的場景，但被鮮為人知的文獻所忽略，其中訓練類（例如動物）比目標（測試）類（例如品種）具有“更粗糙的粒度”。C2FS的一個非常實際的示例是目標類是訓練類的子類。直觀地講，這是特別具有挑戰性的，因為（規律和少樣本）監督的預訓練往往會學會忽略類內變異性，這對于分離子類至關重要。在本文中，我們介紹了一個新穎的“角度歸一化”模塊，該模塊可以有效地結合監督和自監督的對比預訓練來解決提出的C2FS任務，從而在對多個基準和數據集的廣泛研究中顯示出顯著的收益。我們希望這項工作將有助于為有關C2FS分類這一新的，具有挑戰性且非常實用的主題的未來研究鋪平道路。

網址：

4. MetaSAug: Meta Semantic Augmentation for Long-Tailed Visual Recognition

作者：Shuang Li, Kaixiong Gong, Chi Harold Liu, Yulin Wang, Feng Qiao, Xinjing Cheng

摘要：現實世界中的訓練數據通常呈現長尾分布，其中幾個多數類的樣本數量明顯多于其余少數類。這種不平衡會降低被設計用于平衡訓練集的典型監督學習算法的性能。在本文中，我們通過使用最近提出的隱式語義數據增強（ISDA）算法來增強少數類，以解決該問題，該算法通過沿著語義有意義的方向平移深層特征來產生多樣化的增強樣本。重要的是，鑒于ISDA估計了分類條件統計信息以獲得語義指導，由于訓練數據不足，我們發現在少數群體分類中這樣做是無效的。為此，我們提出了一種新穎的方法，可通過元學習自動學習轉換后的語義方向。具體來說，訓練過程中的擴充策略是動態優化的，旨在最大程度地減少通過平衡更新步驟近似的小的平衡驗證集上的損失。在CIFAR-LT-10 / 100，ImageNet-LT和iNaturalist 2017/2018的廣泛經驗結果驗證了我們方法的有效性。

網址：

5. Model-Contrastive Federated Learning

作者：Qinbin Li, Bingsheng He, Dawn Song

摘要：聯邦學習使多方可以協作訓練機器學習模型，而無需傳達他們的本地數據。聯合學習中的一個關鍵挑戰是處理各方之間本地數據分布的異質性。盡管已經提出了許多研究來應對這一挑戰，但我們發現它們在具有深度學習模型的圖像數據集中無法實現高性能。在本文中，我們提出了MOON：模型對比聯合學習。MOON是一種簡單有效的聯合學習框架。MOON的關鍵思想是利用模型表示之間的相似性來校正單個方面的本地訓練，即在模型級別進行對比學習。我們廣泛的實驗表明，MOON在各種圖像分類任務上明顯優于其他最新的聯邦學習算法。

網址：

在監督模式下訓練的深度模型在各種任務上都取得了顯著的成功。在標記樣本有限的情況下，自監督學習(self-supervised learning, SSL)成為利用大量未標記樣本的新范式。SSL在自然語言和圖像學習任務中已經取得了很好的效果。最近，利用圖神經網絡(GNNs)將這種成功擴展到圖數據的趨勢。

在本綜述論文中，我們提供了使用SSL訓練GNN的不同方法的統一回顧。具體來說，我們將SSL方法分為對比模型和預測模型。

在這兩類中，我們都為方法提供了一個統一的框架，以及這些方法在框架下的每個組件中的不同之處。我們對GNNs SSL方法的統一處理揭示了各種方法的異同，為開發新的方法和算法奠定了基礎。我們還總結了不同的SSL設置和每個設置中使用的相應數據集。為了促進方法開發和實證比較，我們為GNNs中的SSL開發了一個標準化測試床，包括通用基線方法、數據集和評估指標的實現。

//www.zhuanzhi.ai/paper/794d1d27363c4987efd37c67ec710a18

引言

深度模型以一些數據作為輸入，并訓練輸出期望的預測。訓練深度模型的一種常用方法是使用有監督的模式，在這種模式中有足夠的輸入數據和標簽對。

然而，由于需要大量的標簽，監督訓練在許多現實場景中變得不適用，標簽是昂貴的，有限的，甚至是不可用的。

在這種情況下，自監督學習(SSL)支持在未標記數據上訓練深度模型，消除了對過多注釋標簽的需要。當沒有標記數據可用時，SSL可以作為一種從未標記數據本身學習表示的方法。當可用的標記數據數量有限時，來自未標記數據的SSL可以用作預訓練過程，在此過程之后，標記數據被用來為下游任務微調預訓練的深度模型，或者作為輔助訓練任務，有助于任務的執行。

最近，SSL在數據恢復任務中表現出了良好的性能，如圖像超分辨率[1]、圖像去噪[2,3,4]和單細胞分析[5]。它在語言序列[6,7,8]、圖像[9,10,11,12]、帶有序列模型的圖[13,14]等不同數據類型的表示學習方面也取得了顯著進展。這些方法的核心思想是定義前置訓練任務，以捕獲和利用輸入數據的不同維度之間的依賴關系，如空間維度、時間維度或通道維度，具有魯棒性和平滑性。Doersch等人以圖像域為例，Noroozi和Favaro[16]，以及[17]等人設計了不同的前置任務來訓練卷積神經網絡(CNNs)從一幅圖像中捕捉不同作物之間的關系。Chen等人的[10]和Grill等人的[18]訓練CNN捕捉圖像的不同增強之間的依賴關系。

根據訓練任務的設計，SSL方法可以分為兩類;即對比模型和預測模型。這兩個類別之間的主要區別是對比模型需要數據-數據對來進行訓練，而預測模型需要數據-標簽對，其中標簽是自生成的，如圖1所示。對比模型通常利用自監督來學習數據表示或對下游任務進行預訓練。有了這些數據-數據對，對比模型就能區分出正面對和負面對。另一方面，預測模型是在監督的方式下訓練的，其中標簽是根據輸入數據的某些屬性或選擇數據的某些部分生成的。預測模型通常由一個編碼器和一個或多個預測頭組成。當應用于表示學習或預訓練方法時，預測模型的預測頭在下游任務中被刪除。

在圖數據分析中，SSL可能非常重要，它可以利用大量未標記的圖，如分子圖[19,20]。隨著圖神經網絡的快速發展[21,22,23,24,25,26,27]，圖神經網絡的基本組成[28,29,30,31,32,33]等相關領域[34,35]得到了深入的研究，并取得了長足的進展。相比之下，在GNNs上應用SSL仍然是一個新興領域。由于數據結構的相似性，很多GNN的SSL方法都受到了圖像領域方法的啟發，如DGI[36]和圖自動編碼器[37]。然而，由于圖結構數據的唯一性，在GNN上應用SSL時存在幾個關鍵的挑戰。為了獲得良好的圖表示并進行有效的預訓練，自監督模型可以從圖的節點屬性和結構拓撲中獲取必要的信息。對于對比模型來說，由于自監督學習的GPU內存問題并不是圖形的主要關注點，關鍵的挑戰在于如何獲得良好的圖形視圖以及針對不同模型和數據集的圖形編碼器的選擇。對于預測模型，至關重要的是應該生成什么標簽，以便了解非平凡的表示，以捕獲節點屬性和圖結構中的信息。

為了促進方法論的發展和促進實證比較，我們回顧GNN的SSL方法，并為對比和預測方法提供了統一的觀點。我們對這一問題的統一處理，可以揭示現有方法的異同，啟發新的方法。我們還提供了一個標準化的測試，作為一個方便和靈活的開源平臺，用于進行實證比較。我們將本次綜述論文總結如下:

• 我們提供關于圖神經網絡SSL方法的徹底和最新的回顧。據我們所知，我們的綜述查首次回顧了關于圖數據的SSL。

• 我們將GNN現有的對比學習方法與一般框架統一起來。具體來說，我們從互信息的角度統一對比目標。從這個新的觀點來看，不同的對比學習方式可以看作是進行三種轉換來獲得觀點。我們回顧了理論和實證研究，并提供見解來指導框架中每個組成部分的選擇。

• 我們將SSL方法與自生成標簽進行分類和統一，作為預測學習方法，并通過不同的標簽獲取方式來闡明它們之間的聯系和區別。

• 我們總結了常用的SSL任務設置以及不同設置下常用的各類數據集，為未來方法的發展奠定了基礎。

• 我們開發了一個用于在GNN上應用SSL的標準化測試平臺，包括通用基準方法和基準的實現，為未來的方法提供了方便和靈活的定制。

通過使用用大規模標記數據訓練的深度學習模型，計算機視覺取得了令人印象深刻的進展。然而，標簽需要專業知識和管理，而且收集起來很貴。如果不使用顯式管理的標簽，人們能發現有用的視覺表示嗎?在這次演講中，我將介紹幾個探索自我監督學習范式的案例研究——將原始數據作為自己的監督。我們將討論在高維空間中定義目標函數的幾種方法，包括使用一般對抗網絡(GANs)直接從數據中學習目標函數。將展示圖像合成中的應用，包括自動著色、成對和非成對圖像到圖像的轉換(aka pix2pix和cycleGAN)、基于好奇心的探索

來自MILA，Aaron Courville的《自監督表示學習綜述》， Introduction II - Overview of self-supervised representation learning?

作者：Jiaming Shen, Zhihong Shen, Chenyan Xiong, Chi Wang, Kuansan Wang, Jiawei Han

摘要：本體結構（Taxonomies）由機器可解釋的語義組成，并為許多Web應用程序提供有價值的知識。例如，在線零售商(亞馬遜和eBay)使用本體結構進行產品推薦，而網絡搜索引擎(Google和Bing)利用本體結構來增強查詢理解。當前我們在人工或半自動地構建本體結構方面已經做出了巨大的努力。然而，隨著網絡內容數量的快速增長，現有的本體結構無法捕捉到新興的知識。因此，在許多應用程序中，十分需要對現有本體結構進行動態擴展。在本文中，我們研究了如何通過添加一組新的概念來擴展現有的本體結構。我們提出了一種新的自監督框架TaxoExpanTM，該框架從已有的本體結構中自動生成一組 ?query concept, anchor concept ? 對作為訓練數據。使用這樣的自監督數據，TaxoExpanTM學習一個模型來預測query concept是否是 anchor concept的直接下義詞。我們在TaxoExspan中提出了兩種創新技術：(1)位置增強型圖形神經網絡，它編碼現有本體結構中anchor concept的局部結構；2）噪聲魯棒性訓練目標，使學習的模型能夠對自監控數據中的標簽噪聲不敏感。在來自不同領域的三個大規模數據集上的廣泛實驗證明了TaxoExspan在分類系統擴展方面的有效性和高效性。