亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

知識圖譜是關于實體及其關系的集合，是非常有用資源。然而，由于知識圖通常是不完備的，所以進行知識圖補全或鏈接預測是有用的，即預測一個不在知識圖譜中的關系是否可能是真的。本文綜述了用于知識圖譜完成的實體和關系嵌入模型，總結了在標準基準數據集上最新的實驗結果，并指出了未來可能的研究方向。

//www.zhuanzhi.ai/paper/723c2347b207c5ce18ec4f994fd9bff4

視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此，多年來出現了一系列廣泛的方法，這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述，但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域，如計算機視覺、自然語言處理等。然而，這項調查關注的是深度學習是如何改進的，并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外，還討論了常用的數據集以及常用的評價指標。然后，對最近的研究方法進行了綜合討論，以提供未來研究的方向和可能的領域。

//arxiv.org/abs/2009.14146

作為傳統DNNs對圖的推廣，GNN繼承了傳統DNNs的優點和缺點。與傳統的DNNs一樣，GNN在許多圖形相關的任務中被證明是有效的，比如節點聚類和圖聚焦任務。傳統的DNNs已被證明易受專門設計的對抗性攻擊(Goodfellow et al.， 2014b;徐等，2019b)。在對抗性的攻擊下，受害樣本會受到干擾，不容易被發現，但會導致錯誤的結果。越來越明顯的是，GNNs也繼承了這個缺點。對手可以通過操縱圖的結構或節點特征來欺騙GNN模型，從而產生圖的對抗性擾動。GNN的這種局限性引起了人們對在諸如金融系統和風險管理等安全關鍵應用程序中采用它們的極大關注。例如，在一個信用評分系統中，欺詐者可以偽造與幾個高信用客戶的關系，以逃避欺詐者檢測模型;垃圾郵件發送者可以很容易地創建虛假關注者，以增加虛假新聞被推薦和傳播的機會。因此，圖形對抗性攻擊及其對策的研究越來越受到人們的關注。在這一章中，我們首先介紹了圖對抗攻擊的概念和定義，并詳細介紹了一些具有代表性的圖對抗攻擊方法。然后，我們討論了針對這些對抗性攻擊的典型防御技術。

//cse.msu.edu/~mayao4/dlg_book/

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

主動學習試圖在具有盡可能少標注樣本的同時最大化模型的性能增益。深度學習(Deep learning, DL)需要大量標注數據，如果模型要學習如何提取高質量的特征，就需要大量的數據供應來優化大量的參數。近年來，由于互聯網技術的飛速發展，我們進入了一個以海量可用數據為特征的信息豐富性時代。因此，DL得到了研究者的極大關注，并得到了迅速的發展。但與DL相比，研究者對AL的興趣相對較低，這主要是因為在DL興起之前，傳統機器學習需要的標記樣本相對較少，這意味著早期的AL很少被賦予應有的價值。雖然DL在各個領域都取得了突破，但大部分的成功都要歸功于大量公開的帶標注的數據集。然而，獲取大量高質量的帶注釋數據集需要耗費大量人力，在需要較高專業知識水平的領域(如語音識別、信息提取、醫學圖像等)是不可行的，因此AL逐漸得到了它應該得到的重視。

因此，研究是否可以使用AL來降低數據標注的成本，同時保留DL強大的學習能力是很自然的。由于這些調研的結果，深度主動學習(DAL)出現了。雖然對這一課題的研究相當豐富，但至今還沒有對相關著作進行全面的調研; 因此，本文旨在填補這一空白。我們為現有的工作提供了一個正式的分類方法，以及一個全面和系統的概述。此外，我們還從應用的角度對DAL的發展進行了分析和總結。最后，我們討論了與DAL相關的問題，并提出了一些可能的發展方向。

概述：

深度學習(DL)和主動學習(AL)在機器學習領域都有重要的應用。由于其優良的特性，近年來引起了廣泛的研究興趣。更具體地說，DL在各種具有挑戰性的任務上取得了前所未有的突破;然而，這很大程度上是由于大量標簽數據集的發表[16,87]。因此，在一些需要豐富知識的專業領域，樣品標注成本高限制了DL的發展。相比之下，一種有效的AL算法在理論上可以實現標注效率的指數加速。這將極大地節省數據標注成本。然而，經典的AL算法也難以處理高維數據[160]。因此，DL和AL的結合被稱為DAL，有望取得更好的效果。DAL被廣泛應用于多個領域，包括圖像識別[35,47,53,68]，文本分類[145,180,185]，視覺答題[98]，目標檢測[3,39,121]等。雖然已經發表了豐富的相關工作，DAL仍然缺乏一個統一的分類框架。為了填補這一空白，在本文中，我們將全面概述現有的DAL相關工作，以及一種正式的分類方法。下面我們將簡要回顧DL和AL在各自領域的發展現狀。隨后，在第二節中，進一步闡述了DL與AL結合的必要性和挑戰。

圖1所示。DL、AL和DAL的典型體系結構比較。(a)一種常見的DL模型:卷積神經網絡。(b) 基于池化的AL框架: 使用查詢策略查詢未標記的樣本池U和將其交給oracle進行標注,然后將查詢樣本添加到標記的訓練數據集L，然后使用新學到的知識查詢的下一輪。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。(c) DAL的一個典型例子:在標簽訓練集L0上初始化或預訓練DL模型的參數的常變量，利用未標記池U的樣本通過DL模型提取特征。然后根據相應的查詢策略選擇樣本，在查詢時對標簽進行查詢，形成新的標簽訓練集L，然后在L上訓練DL模型，同時更新U。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。

DAL結合了DL和AL的共同優勢:它不僅繼承了DL處理高維圖像數據和自動提取特征的能力，也繼承了AL有效降低標注成本的潛力。因此，DAL具有令人著迷的潛力，特別是在標簽需要高水平的專業知識和難以獲得的領域。

基于協同過濾(CF)的潛在因素模型(LFM)，如矩陣分解(MF)和深度CF方法，由于其良好的性能和推薦精度，在現代推薦系統(RS)中得到了廣泛的應用。盡管近年來取得了巨大的成功，但事實表明，這些方法易受對抗性例子的影響，即，這是一種微妙但非隨機的擾動，旨在迫使推薦模型產生錯誤的輸出。這種行為的主要原因是，用于LFM訓練的用戶交互數據可能會受到惡意活動或用戶誤操作的污染，從而導致不可預測的自然噪聲和危害推薦結果。另一方面，研究表明，這些最初設想用于攻擊機器學習應用程序的系統可以成功地用于增強它們對攻擊的魯棒性，以及訓練更精確的推薦引擎。在這方面，本調查的目標有兩方面:(i)介紹關于AML-RS的最新進展，以保障AML-RS的安全性。(ii)展示了AML在生成對抗網絡(GANs)中的另一個成功應用，生成對抗網絡(GANs)使用了AML學習的核心概念(即用于生成應用程序。在這項綜述中，我們提供了一個詳盡的文獻回顧60篇文章發表在主要的RS和ML雜志和會議。這篇綜述為RS社區提供了參考，研究RS和推薦模型的安全性，利用生成模型來提高它們的質量。

生成式深度學習算法已經發展到很難區分什么是真實的，什么是虛假的。在2018年，人們發現利用這項技術進行不道德和惡意的應用是多么容易，例如傳播錯誤信息、冒充政治領導人以及誹謗無辜的個人。從那以后，這些“deepfakes”有了顯著的進步。

在本文中，我們將探討deepfakes的創建和檢測，并對這些架構的工作方式提供深入的了解。本次綜述的目的是讓讀者更深入地了解 (1)deepfakes是如何產生和檢測的，(2) 該領域的當前趨勢和進展，(3) 當前防御解決方案的缺點，(4) 需要進一步研究和關注的領域。

//arxiv.org/abs/2004.11138

隨著高計算設備的發展，深度神經網絡(DNNs)近年來在人工智能(AI)領域得到了廣泛的應用。然而，之前的研究表明，DNN在經過策略性修改的樣本(稱為對抗性樣本)面前是脆弱的。這些樣本是由一些不易察覺的擾動產生的，但可以欺騙DNN做出錯誤的預測。受圖像DNNs中生成對抗性示例的流行啟發，近年來出現了針對文本應用的攻擊DNNs的研究工作。然而，現有的圖像擾動方法不能直接應用于文本，因為文本數據是離散的。在這篇文章中，我們回顧了針對這一差異的研究工作，并產生了關于DNN的電子對抗實例。我們對這些作品進行了全面的收集、選擇、總結、討論和分析，涵蓋了所有相關的信息，使文章自成一體。最后，在文獻回顧的基礎上，我們提出了進一步的討論和建議。

【導讀】對抗攻擊防御研究用于提升深度學習的魯棒性，是當下的關注焦點。最近，中山大學等學者發布了最新關于圖對抗學習綜述論文，19頁pdf83篇文獻，對在圖形分析任務中對現有的攻防工作進行了梳理和統一，同時給出了適當的定義和分類。此外，我們強調了相關評價指標的重要性，并對其進行了全面的調查和總結。

圖數據的深度學習模型在節點分類、鏈路預測、圖數據聚類等各種圖數據分析任務中都取得了顯著的效果。然而，它們暴露了對于設計良好輸入的不確定性和不可靠性, 對抗樣本。因此，在不同的圖數據分析任務中，出現了各種攻擊和防御的研究，從而導致了圖數據對抗學習中的競爭。例如，攻擊者有投毒和逃避攻擊，防御組相應地有基于預處理和對抗的方法。

盡管工作蓬勃發展，但仍然缺乏統一的問題定義和全面的調研綜述。為了彌補這一不足，我們對已有的關于圖對抗學習任務的研究進行了系統的總結。具體來說，我們在圖形分析任務中對現有的攻防工作進行了梳理和統一，同時給出了適當的定義和分類。此外，我們強調了相關評價指標的重要性，并對其進行了全面的調查和總結。希望我們的工作可以為相關研究者提供參考，為他們的研究提供幫助。更多關于我們工作的細節，

請訪問

//github.com/gitgiter/Graph-Adversarial-Learning

在過去的幾十年里，深度學習已經成為人工智能領域的皇冠上的寶石，在語音和語言處理[72,18]、人臉識別[45]和目標檢測[33]等各種應用中都表現出了令人印象深刻的表現。然而，最近頻繁使用的深度學習模型被證明是不穩定和不可靠的，因為它們容易受到干擾。例如，一張圖片上幾個像素的細微變化，對于人眼來說是難以察覺的，但是對于深度學習模型[44]的輸出卻有很大的影響。此時，定義良好并通過反向傳播學習的深度學習模型具有固有的盲點和非直觀特征，應該以明顯的[59]方式推廣到數據分布中。

圖作為一種強大的表示方法，在現實的[25]中有著重要的作用和廣泛的應用。當然，深度學習對圖形的研究也是一個熱門話題，并在不同的領域帶來了許多令人耳目一新的實現，如社交網絡[46]、電子商務網絡[64]和推薦系統[14,71]。不幸的是，作為機器學習關鍵領域的圖分析領域也暴露了深度學習模型在受到精心設計的攻擊時的脆弱性[81,83]。例如，考慮到節點分類的任務，攻擊者通常控制多個假節點，目的是欺騙目標分類器，通過在這些節點與其他良性節點之間添加或刪除邊緣，從而導致誤分類。通常，這些惡意節點被稱為“攻擊者節點”，而其他受害節點被稱為“受影響節點”。如圖1所示，在一個干凈的圖上執行了小的擾動(增加了兩個鏈接，改變了幾個節點的特征)，這導致了圖學習模型的錯誤分類。

隨著對圖數據模型安全性的日益關注，圖數據對抗學習的研究也隨之興起。，一個研究圖數據模型安全性和脆弱性的領域。一方面，從攻擊圖數據學習模型的角度出發，[81]首先研究了圖數據的對抗性攻擊，在節點特征和圖結構受干擾較小的情況下，目標分類器容易對指定的節點進行欺騙和誤分類。另一方面，[65]提出了一種改進的圖卷積網絡(GCNs)模型，該模型具有對抗防御框架，以提高魯棒性。此外，[55]研究了現有的圖數據攻防對抗策略的工作，并討論了它們的貢獻和局限性。然而，這些研究主要集中在對抗性攻擊方面，而對防御方面的研究較少。

挑戰 盡管關于圖表對抗學習的研究大量涌現，但仍然存在一些需要解決的問題。i) 統一與具體的形式化。目前的研究都是將圖對抗學習的問題定義和假設用自己的數學形式化來考慮，大多沒有詳細的解釋，這使得比較和跟進更加困難。ii) 相關評價指標。而對于不同的任務，對應性能的評價指標也有很大的不同，甚至有不同的標準化。此外，圖對抗學習場景的特殊度量還沒有被探索，例如，對攻擊影響的評估。

對于公式和定義不一致的問題，我們考察了現有的攻防工作，給出了統一的定義，并從不同的角度進行了劃分。雖然已經有了一些努力[81,37,19]來概括定義，但大多數公式仍然對自己的模型進行定制。到目前為止，只有一篇文章[55]從綜述的角度概述了這些概念，這不足以全面總結現有的工作。在前人研究的基礎上，我們總結了不同類型的圖，并按層次介紹了三個主要任務，分別在3.1節和4.1節給出了攻擊和防御的統一公式。

自然地，不同的模型伴隨著許多量化的方法，其中提供了一些新的度量。為了幫助研究人員更好地量化他們的模型，也為了系統地總結度量標準，我們在第5節中對度量標準進行了更詳細的討論。特別地，我們首先介紹了防御和攻擊的一些常見度量，然后介紹了它們各自工作中提供的三個類別的度量:有效性、效率和不可感知性。例如，攻擊成功率(ASR)[9]和平均防御率(ADR)[10]分別被用來衡量攻擊和防御的有效性。

綜上所述，我們的貢獻如下:

• 我們深入研究了這一領域的相關工作，并對當前防御和攻擊任務中不統一的概念給出了統一的問題公式和明確的定義。
• 我們總結了現有工作的核心貢獻，并根據防御和攻擊任務中合理的標準，從不同的角度對其進行了系統的分類。
• 我們強調了相關指標的重要性，并對其進行了全面的調查和總結。
• 針對這一新興的研究領域，我們指出了現有研究的局限性，并提出了一些有待解決的問題

?【導讀】圖像分類是計算機視覺中的基本任務之一，深度學習的出現是的圖像分類技術趨于完善。最近，自監督學習與預訓練技術的發展使得圖像分類技術出現新的變化，這篇論文概述了最新在實際情況中少標簽小樣本等情況下，關于自監督學習、半監督、無監督方法的綜述，值得看！

地址：

//www.zhuanzhi.ai/paper/6d160a5f8634d25a2feda7a30e1e5132

摘要

雖然深度學習策略在計算機視覺任務中取得了突出的成績，但仍存在一個問題。目前的策略嚴重依賴于大量的標記數據。在許多實際問題中，創建這么多標記的訓練數據是不可行的。因此，研究人員試圖將未標記的數據納入到培訓過程中，以獲得與較少標記相同的結果。由于有許多同時進行的研究，很難掌握最近的發展情況。在這項調查中，我們提供了一個概述，常用的技術和方法，在圖像分類與較少的標簽。我們比較了21種方法。在我們的分析中，我們確定了三個主要趨勢。1. 基于它們的準確性，現有技術的方法可擴展到實際應用中。2. 為了達到與所有標簽的使用相同的結果所需要的監督程度正在降低。3.所有方法都共享公共技術，只有少數方法結合這些技術以獲得更好的性能。基于這三個趨勢，我們發現了未來的研究機會。

1. 概述

深度學習策略在計算機視覺任務中取得了顯著的成功。它們在圖像分類、目標檢測或語義分割等各種任務中表現最佳。

圖1: 這張圖說明并簡化了在深度學習訓練中使用未標記數據的好處。紅色和深藍色的圓圈表示不同類的標記數據點。淺灰色的圓圈表示未標記的數據點。如果我們只有少量的標記數據可用，我們只能對潛在的真實分布(黑線)做出假設(虛線)。只有同時考慮未標記的數據點并明確決策邊界，才能確定這種真實分布。

深度神經網絡的質量受到標記/監督圖像數量的強烈影響。ImageNet[26]是一個巨大的標記數據集，它允許訓練具有令人印象深刻的性能的網絡。最近的研究表明，即使比ImageNet更大的數據集也可以改善這些結果。但是，在許多實際的應用程序中，不可能創建包含數百萬張圖像的標記數據集。處理這個問題的一個常見策略是遷移學習。這種策略甚至可以在小型和專門的數據集(如醫學成像[40])上改進結果。雖然這對于某些應用程序來說可能是一個實際的解決方案，但基本問題仍然存在: 與人類不同，監督學習需要大量的標記數據。

對于給定的問題，我們通常可以訪問大量未標記的數據集。Xie等人是最早研究無監督深度學習策略來利用這些數據[45]的人之一。從那時起，未標記數據的使用被以多種方式研究，并創造了研究領域，如半監督、自我監督、弱監督或度量學習[23]。統一這些方法的想法是，在訓練過程中使用未標記的數據是有益的(參見圖1中的說明)。它要么使很少有標簽的訓練更加健壯，要么在某些不常見的情況下甚至超過了監督情況下的性能[21]。

由于這一優勢，許多研究人員和公司在半監督、自我監督和非監督學習領域工作。其主要目標是縮小半監督學習和監督學習之間的差距，甚至超越這些結果。考慮到現有的方法如[49,46]，我們認為研究處于實現這一目標的轉折點。因此，在這個領域有很多正在進行的研究。這項綜述提供了一個概述，以跟蹤最新的在半監督，自監督和非監督學習的方法。

大多數綜述的研究主題在目標、應用上下文和實現細節方面存在差異，但它們共享各種相同的思想。這項調查對這一廣泛的研究課題進行了概述。這次調查的重點是描述這兩種方法的異同。此外，我們還將研究不同技術的組合。

2. 圖像分類技術

在這一節中，我們總結了關于半監督、自監督和非監督學習的一般概念。我們通過自己對某些術語的定義和解釋來擴展這一總結。重點在于區分可能的學習策略和最常見的實現策略的方法。在整個綜述中，我們使用術語學習策略，技術和方法在一個特定的意義。學習策略是算法的一般類型/方法。我們把論文方法中提出的每個算法都稱為獨立算法。方法可以分為學習策略和技術。技術是組成方法/算法的部分或思想。

2.1 分類方法

監督、半監督和自我監督等術語在文獻中經常使用。很少有人給出明確的定義來區分這兩個術語。在大多數情況下，一個粗略的普遍共識的意義是充分的，但我們注意到，在邊界情況下的定義是多種多樣的。為了比較不同的方法，我們需要一個精確的定義來區分它們。我們將總結關于學習策略的共識，并定義我們如何看待某些邊緣案例。一般來說，我們根據使用的標記數據的數量和訓練過程監督的哪個階段來區分方法。綜上所述，我們把半監督策略、自我學習策略和無監督學習策略稱為reduced減約監督學習策略。圖2展示了四種深度學習策略。

圖2: 插圖的四個深學習策略——紅色和深藍色的圓圈表示標記數據點不同的類。淺灰色的圓圈表示未標記的數據點。黑線定義了類之間的基本決策邊界。帶條紋的圓圈表示在訓練過程的不同階段忽略和使用標簽信息的數據點。

監督學習 Supervised Learning

監督學習是深度神經網絡圖像分類中最常用的方法。我們有一組圖像X和對應的標簽或類z。設C為類別數，f(X)為X∈X的某個神經網絡的輸出，目標是使輸出與標簽之間的損失函數最小化。測量f(x)和相應的z之間的差的一個常用的損失函數是交叉熵。

遷移學習

監督學習的一個限制因素是標簽的可用性。創建這些標簽可能很昂貴，因此限制了它們的數量。克服這一局限的一個方法是使用遷移學習。

遷移學習描述了訓練神經網絡的兩個階段的過程。第一個階段是在大型通用數據集(如ImageNet[26])上進行有無監督的訓練。第二步是使用經過訓練的權重并對目標數據集進行微調。大量的文獻表明，即使在小的領域特定數據集[40]上，遷移學習也能改善和穩定訓練。

半監督學習

半監督學習是無監督學習和監督學習的混合.

Self-supervised 自監督學習

自監督使用一個借托pretext任務來學習未標記數據的表示。借托pretext任務是無監督的，但學習表征往往不能直接用于圖像分類，必須進行微調。因此，自監督學習可以被解釋為一種無監督的、半監督的或其自身的一種策略。我們將自我監督學習視為一種特殊的學習策略。在下面，我們將解釋我們是如何得出這個結論的。如果在微調期間需要使用任何標簽，則不能將該策略稱為無監督的。這與半監督方法也有明顯的區別。標簽不能與未標記的數據同時使用，因為借托pretext任務是無監督的，只有微調才使用標簽。對我們來說，將標記數據的使用分離成兩個不同的子任務本身就是一種策略的特征。

2.2 分類技術集合

在減少監督的情況下，可以使用不同的技術來訓練模型。在本節中，我們將介紹一些在文獻中多種方法中使用的技術。

一致性正則化 Consistency regularization

一個主要的研究方向是一致性正則化。在半監督學習過程中，這些正則化被用作數據非監督部分的監督損失的附加損失。這種約束導致了改進的結果，因為在定義決策邊界時可以考慮未標記的數據[42,28,49]。一些自監督或無監督的方法甚至更進一步，在訓練中只使用這種一致性正則化[21,2]。

虛擬對抗性訓練(VAT)

VAT[34]試圖通過最小化圖像與轉換后的圖像之間的距離，使預測不受小轉換的影響。

互信息(MI)

MI定義為聯合分布和邊緣分布[8]之間的Kullback Leiber (KL)散度。

熵最小化(EntMin)

Grandvalet和Bengio提出通過最小化熵[15]來提高半監督學習的輸出預測。

Overclustering

過度聚類在減少監督的情況下是有益的，因為神經網絡可以自行決定如何分割數據。這種分離在有噪聲的數據中或在中間類被隨機分為相鄰類的情況下是有用的。

Pseudo-Labels

一種估計未知數據標簽的簡單方法是偽標簽

3. 圖像分類模型

3.1 半監督學習

 四種選擇的半監督方法的圖解——使用的方法在每張圖像下面給出。輸入在左邊的藍色方框中給出。在右側提供了該方法的說明。一般來說，這個過程是自上而下組織的。首先，輸入圖像經過無或兩個不同的隨機變換預處理。自動增廣[9]是一種特殊的增廣技術。下面的神經網絡使用這些預處理圖像(x, y)作為輸入。損失的計算(虛線)對于每種方法都是不同的，但是共享公共部分。所有的方法都使用了標記和預測分布之間的交叉熵(CE)。所有的方法還使用了不同預測輸出分布(Pf(x)， Pf(y))之間的一致性正則化。

3.2 自監督學習

四種選擇的自我監督方法的圖解——使用的方法在每張圖像下面給出。輸入在左邊的紅色方框中給出。在右側提供了該方法的說明。微調部分不包括在內。一般來說，這個過程是自上而下組織的。首先，對輸入圖像進行一兩次隨機變換預處理或分割。下面的神經網絡使用這些預處理圖像(x, y)作為輸入。損失的計算(虛線)對于每種方法都是不同的。AMDIM和CPC使用網絡的內部元素來計算損失。DeepCluster和IIC使用預測的輸出分布(Pf(x)、Pf(y))來計算損耗

3.3 21種圖像分類方法比較

21種圖像分類方法及其使用技術的概述——在左側，第3節中回顧的方法按學習策略排序。第一行列出了在2.2小節中討論過的可能的技術。根據是否可以使用帶標簽的數據，將這些技術分為無監督技術和有監督技術。技術的縮寫也在第2.2小節中給出。交叉熵(Cross-entropy, CE)將CE的使用描述為訓練損失的一部分。微調(FT)描述了交叉熵在初始訓練后(例如在一個借口任務中)對新標簽的使用。(X)指該技術不是直接使用，而是間接使用。個別的解釋由所指示的數字給出。1 - MixMatch通過銳化預測[3]，隱式地實現了熵最小化。2 - UDA預測用于過濾無監督數據的偽標簽。3 -盡量減少相互信息的目的作為借口任務，例如視圖之間的[2]或層之間的[17]。4 -信息的丟失使相互信息間接[43]最大化。5 - Deep Cluster使用K-Means計算偽標簽，以優化分配為借口任務。6 - DAC使用元素之間的余弦距離來估計相似和不相似的項。可以說DAC為相似性問題創建了偽標簽。

4. 實驗比較結果

報告準確度的概述——第一列說明使用的方法。對于監督基線，我們使用了最好的報告結果，作為其他方法的基線。原始論文在準確度后的括號內。第二列給出了體系結構及其參考。第三列是預印本的出版年份或發行年份。最后四列報告了各自數據集的最高準確度分數%。

5 結論

在本文中，我們概述了半監督、自監督和非監督技術。我們用21種不同的方法分析了它們的異同和組合。這項分析確定了幾個趨勢和可能的研究領域。

我們分析了不同學習策略(半監督學習策略、自監督學習策略和無監督學習策略)的定義，以及這些學習策略中的常用技術。我們展示了這些方法一般是如何工作的，它們使用哪些技術，以及它們可以被歸類為哪種策略。盡管由于不同的體系結構和實現而難以比較這些方法的性能，但我們確定了三個主要趨勢。

ILSVRC-2012的前5名正確率超過90%，只有10%的標簽表明半監督方法適用于現實問題。然而，像類別不平衡這樣的問題并沒有被考慮。未來的研究必須解決這些問題。

監督和半監督或自監督方法之間的性能差距正在縮小。有一個數據集甚至超過了30%。獲得可與全監督學習相比的結果的標簽數量正在減少。未來的研究可以進一步減少所需標簽的數量。我們注意到，隨著時間的推移，非監督方法的使用越來越少。這兩個結論使我們認為，無監督方法在未來的現實世界中對圖像分類將失去意義。

我們的結論是，半監督和自監督學習策略主要使用一套不同的技術。通常，這兩種策略都使用不同技術的組合，但是這些技術中很少有重疊。S4L是目前提出的唯一一種消除這種分離的方法。我們確定了不同技術的組合有利于整體性能的趨勢。結合技術之間的微小重疊，我們確定了未來可能的研究機會。

參考文獻：

[1] B. Athiwaratkun, M. Finzi, P. Izmailov, and A. G. Wilson. There are many consistent explanations of unlabeled data: Why you should average. In International Conference on Learning Representations, 2019.

[2] P. Bachman, R. D. Hjelm, and W. Buchwalter. Learning representations by maximizing mutual information across views. In Advances in Neural Information Processing Systems, pages 15509–15519, 2019.

[3] D. Berthelot, N. Carlini, I. Goodfellow, N. Papernot, A. Oliver, and C. A. Raffel. Mixmatch: A holistic approach to semi-supervised learning. In Advances in Neural Information Processing Systems, pages 5050–5060, 2019.

[4] M. Caron, P. Bojanowski, A. Joulin, and M. Douze. Deep clustering for unsupervised learning of visual features. In Proceedings of the European Conference on Computer Vision (ECCV), pages 132–149, 2018.

[5] J. Chang, L. Wang, G. Meng, S. Xiang, and C. Pan. Deep adaptive image clustering. 2017 IEEE International Conference on Computer Vision (ICCV), pages 5880–5888, 2017.