亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】聚類是機器學習的一項基本任務。深度學習的發展催生了深度聚類。來自浙江大學等學者發布了關于深度聚類的最新綜述論文，35頁pdf涵蓋246篇文獻概述了深度聚類的概念、方法、體系與應用，值得關注！

聚類是一種基本的機器學習任務，在文獻中得到了廣泛的研究。經典的聚類方法遵循這樣的假設:通過各種表示學習技術，數據被表示為向量化的特征。隨著數據變得越來越復雜和復雜，淺層(傳統)聚類方法不再能夠處理高維數據類型。隨著深度學習，尤其是深度無監督學習的巨大成功，在過去的十年中，許多具有深度架構的表示學習技術被提出。融入深度學習好處的一種直接方法是，在將其輸入淺層聚類方法之前，首先學習深度表示。然而，這是次優的，因為: 1) 表示不是直接學習的聚類，限制了聚類性能;(2)聚類依賴于實例間的復雜關系而非線性關系;3)聚類和表示學習是相互依賴的，應該相互促進。為了應對上述挑戰，深度聚類(Deep Clustering)的概念被提出，即聯合優化表征學習和聚類，因此受到越來越多的關注。基于深度學習在聚類(最基本的機器學習任務之一)中的巨大成功，以及該方向最近的大量進展，本文通過提出不同最新方法的新分類，對深度聚類進行了全面的調研。我們總結了深度聚類的基本組成部分，并通過設計深度表示學習和聚類之間的交互方式對現有方法進行分類。此外，該綜述還提供了流行的基準數據集、評估指標和開源實現，以清楚地說明各種實驗設置。最后，我們討論了深度聚類的實際應用，并提出了值得進一步研究的具有挑戰性的主題作為未來的方向。

//www.zhuanzhi.ai/paper/c46ee4cd4877641a916a18dd389c017e

聚類是機器學習中的一個基本問題，也是許多數據挖掘任務中的一個重要預處理步驟。聚類的主要目的是將實例分配到組中，使相似的樣本屬于同一個集群，而不同的樣本屬于不同的集群。樣本的聚類提供了數據實例的全局表征，可以顯著地促進對整個數據集的進一步分析，如異常檢測[166,201]、域適應[180,240]、社區檢測[121,178]和鑒別表示學習[133,164,214]等。

雖然淺聚類方法已經取得了巨大的成功，但它們假設實例已經在一個具有良好形狀的潛在矢量空間中表示。隨著過去幾十年互聯網和web服務的快速發展，研究人員對發現新的機器學習模型越來越感興趣，這些模型能夠處理沒有明確特征的非結構化數據，如圖像，以及具有數千維的高維數據等。因此，淺聚類方法不能再直接用于處理此類數據。近年來，深度學習的表示學習取得了成功，特別是在非結構化和高維數據中[166,201]。然而，在聚類過程中并沒有探索深度學習技術。由于不能很好地捕捉到實例間復雜的關系，導致聚類結果欠佳。

為了解決這一問題，深度聚類(Deep Clustering)技術應運而生，它旨在將深度表示學習和聚類聯合優化。更具體地說，深度聚類方法關注以下研究挑戰:(1)如何學習能夠產生更好聚類性能的判別表示?(2)如何在一個統一的框架下高效地進行聚類和表示學習?(3)如何打破聚類和表示學習之間的壁壘，使它們以交互迭代的方式相互增強?

為了解決上述挑戰，已經提出了許多具有不同深度架構和數據類型的深度聚類方法。受聚類(最基本的機器學習任務之一)中深度學習的巨大成功以及該方向最近取得的大量進展的激勵，本文通過提出各種最新方法的新分類，對深度聚類進行了全面的調研。

綜上所述，本文旨在從以下幾個方面為潛在讀者理解深度聚類全景圖提供支持:

• 深度集群的基石。我們總結了深度聚類的兩個基礎模塊，即表示學習模塊和聚類模塊。對于每個模塊，我們強調了從現有方法中總結出的具有代表性和通用性的設計，這些設計很容易推廣到新的模型中。

• 系統的分類。基于表示學習模塊和聚類模塊之間的交互方式，我們對現有的深度聚類方法進行了系統的分類，提出了四個具有代表性的方法分支。我們還在不同的場景中比較和分析每個分支的屬性。

• 豐富的資源和參考資料。我們收集了各種類型的基準數據集、評估指標和深度聚類最新論文的開源實現，這些數據與Github (1.8K Star)上的參考文獻一起組織。

• 未來的發展方向。基于表示學習模塊和聚類模塊的特性及其相互作用，我們討論了現有方法的局限性和挑戰，并對未來值得研究的有前景的研究方向提出了自己的見解和想法。

在這個調研中，我們關注深度學習技術的聚類，特別是深度表示學習和深度神經網絡聚類之間的相互作用。對于其他基礎研究問題，如初始化聚類、自動識別聚類數量等，我們在第8節中進行了討論，并將其留待以后的工作。關于淺聚類、深聚類和表示學習的調研比較見表1。

生成對抗網絡（GAN）是無監督學習領域最近幾年快速發展的一個研究方向，其主要特點是能夠以一種間接的方 式對一個未知分布進行建模。在計算機視覺研究領域中，生成對抗網絡有著廣泛的應用，特別是在圖像生成方面，與其他的 生成模型相比，生成對抗網絡不僅可以避免復雜的計算，而且生成的圖像質量也更好。因此，本文將對生成對抗網絡及其在 圖像生成中的研究進展做一個小結和分析；本文首先從模型的架構、目標函數的設計、生成對抗網絡在訓練中存在的問題， 以及如何處理模式崩潰問題等角度對生成對抗網絡進行一個詳細的總結和歸納；其次介紹生成對抗網絡在圖像生成中的兩 種方法；隨后對一些典型的、用來評估生成圖像質量和多樣性的方法進行小結；并且對基于圖像生成的應用進行詳細分析；最后對生成對抗網絡和圖像生成進行總結，同時對其發展趨勢進行一個展望。

【導讀】2020注定是寫入到歷史的一年，新冠變成主題詞。在2019年機器學習領域繼續快速發展，深度學習理論、對比學習、自監督學習、元學習、持續學習、小樣本學習等取得很多進展。在此，專知小編整理這一年這些研究熱點主題的綜述進展，共十篇，了解當下，方能向前。

1、Recent advances in deep learning theory（深度學習理論）

陶大程院士等最新《深度學習理論進展》綜述論文，41頁pdf255篇文獻闡述六大方面進展

作者：Fengxiang He,Dacheng Tao

摘要：深度學習通常被描述為一個實驗驅動的領域，并不斷受到缺乏理論基礎的批評。這個問題已經部分地被大量的文獻解決了，這些文獻至今沒有被很好地組織起來。本文對深度學習理論的最新進展進行了綜述和整理。文獻可分為六類: (1)基于模型復雜度和容量的深度學習泛化; (2)用于建模隨機梯度下降及其變量的隨機微分方程及其動力學系統，其特征是深度學習的優化和泛化，部分受到貝葉斯推理啟發; (3)驅動動力系統軌跡的損失的幾何結構; (4)深度神經網絡的過參數化從積極和消極兩個方面的作用; (5)網絡架構中幾種特殊結構的理論基礎; (6)對倫理和安全及其與泛化性的關系的日益關注。

網址： //www.zhuanzhi.ai/paper/b5ac0f259b59817b890b6c253123ee84

2、Learning from Very Few Samples: A Survey（少樣本學習）

清華大學張長水等最新《少樣本學習FSL》2020綜述論文，30頁pdf414篇參考文獻

作者：Jiang Lu,Pinghua Gong,Jieping Ye,Changshui Zhang

摘要：少樣本學習(FSL)在機器學習領域具有重要意義和挑戰性。成功地從很少的樣本中學習和歸納的能力是區分人工智能和人類智能的一個明顯的界限，因為人類可以很容易地從一個或幾個例子中建立他們對新穎性的認知，而機器學習算法通常需要數百或數千個監督樣本來保證泛化能力。盡管FSL的悠久歷史可以追溯到21世紀初，近年來隨著深度學習技術的蓬勃發展也引起了廣泛關注，但迄今為止，有關FSL的調研或評論還很少。在此背景下，我們廣泛回顧了2000年至2019年FSL的200多篇論文，為FSL提供了及時而全面的調研。在本綜述中，我們回顧了FSL的發展歷史和目前的進展，原則上將FSL方法分為基于生成模型和基于判別模型的兩大類，并特別強調了基于元學習的FSL方法。我們還總結了FSL中最近出現的幾個擴展主題，并回顧了這些主題的最新進展。此外，我們重點介紹了FSL在計算機視覺、自然語言處理、音頻和語音、強化學習和機器人、數據分析等領域的重要應用。最后，我們對調查進行了總結，并對未來的發展趨勢進行了討論，希望對后續研究提供指導和見解。

網址：

3、A Survey on Knowledge Graphs: Representation, Acquisition and Applications（知識圖譜研究綜述論文）

最新！知識圖譜研究綜述論文: 表示學習、知識獲取與應用，25頁pdf詳述Knowledge Graphs技術趨勢

作者：Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu

摘要：人類知識提供了對世界的認知理解。表征實體間結構關系的知識圖譜已經成為認知和人類智能研究的一個日益流行的方向。在本次綜述論文中，我們對知識圖譜進行了全面的綜述，涵蓋了知識圖譜表示學習、知識獲取與補全、時序知識圖譜、知識感知應用等方面的研究課題，并總結了最近的突破和未來的研究方向。我們提出對這些主題進行全視角分類和新的分類法。知識圖譜嵌入從表示空間、得分函數、編碼模型和輔助信息四個方面進行組織。對知識獲取，特別是知識圖譜的補全、嵌入方法、路徑推理和邏輯規則推理進行了綜述。我們進一步探討了幾個新興的主題，包括元關系學習、常識推理和時序知識圖譜。為了方便未來對知識圖的研究，我們還提供了不同任務的數據集和開源庫的集合。最后，我們對幾個有前景的研究方向進行了深入的展望。

網址：

4、A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications（生成式對抗網絡綜述論文）

密歇根大學28頁最新《GANs生成式對抗網絡綜述：算法、理論與應用》最新論文，帶你全面了解GAN技術趨勢

作者：Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye

摘要：生成對抗網絡（GANs）是最近的熱門研究主題。自2014年以來，人們對GAN進行了廣泛的研究，并且提出了許多算法。但是，很少有全面的研究來解釋不同GANs變體之間的聯系以及它們是如何演變的。在本文中，我們嘗試從算法，理論和應用的角度對各種GANs方法進行敘述。首先，詳細介紹了大多數GANs算法的動機，數學表示形式和結構。此外，GANs已與其他機器學習算法結合用于特定應用，例如半監督學習，遷移學習和強化學習。本文比較了這些GANs方法的共性和差異。其次，研究了與GANs相關的理論問題。第三，說明了GANs在圖像處理和計算機視覺，自然語言處理，音樂，語音和音頻，醫學領域以及數據科學中的典型應用。最后，指出了GANs未來的開放性研究問題。

網址：

5、A Survey on Causal Inference（因果推斷綜述論文）

最新「因果推斷Causal Inference」綜述論文38頁pdf，阿里巴巴、Buffalo、Georgia、Virginia

作者：Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang

摘要：數十年來，因果推理是一個跨統計、計算機科學、教育、公共政策和經濟學等多個領域的重要研究課題。目前，與隨機對照試驗相比，利用觀測數據進行因果關系估計已經成為一個有吸引力的研究方向，因為有大量的可用數據和較低的預算要求。隨著機器學習領域的迅速發展，各種針對觀測數據的因果關系估計方法層出不窮。在這項綜述中，我們提供了一個全面的綜述因果推理方法下的潛在結果框架，一個眾所周知的因果推理框架。這些方法根據是否需要潛在結果框架的所有三個假設分為兩類。對于每一類，分別對傳統的統計方法和最近的機器學習增強方法進行了討論和比較。并介紹了這些方法的合理應用，包括在廣告、推薦、醫藥等方面的應用。此外，還總結了常用的基準數據集和開放源代碼，便于研究者和實踐者探索、評價和應用因果推理方法。

網址：

6、Pre-trained Models for Natural Language Processing: A Survey（預訓練語言模型）

【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻

作者：Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang

摘要：近年來，預訓練模型(PTMs)的出現將自然語言處理(NLP)帶入了一個新的時代。在這項綜述中，我們提供了一個全面的PTMs調研。首先簡要介紹了語言表示學習及其研究進展。然后，我們根據四種觀點對現有的PTMs進行了系統的分類。接下來，我們將描述如何將PTMs的知識應用于下游任務。最后，我們概述了未來PTMs研究的一些潛在方向。本調查旨在為理解、使用和開發各種NLP任務的PTMs提供實際指導。

網址：

7、A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources（異質圖網絡嵌入）

異質圖嵌入綜述: 方法、技術、應用和資源, 23頁pdf

作者：Xiao Wang, Deyu Bo, Chuan Shi, Shaohua Fan, Yanfang Ye, Philip S. Yu

摘要：

異質圖（Heterogeneous Graph, HG）也稱為異質信息網絡（Heterogeneous Information Network, HIN），在現實世界中已經無處不在。異質圖嵌入(Heterogeneous Graph Embedding, HGE)，旨在在低維的空間中學習節點表示，同時保留異質結構和語義用于下游任務（例如，節點/圖分類，節點聚類，鏈接預測），在近年來受到了廣泛的關注。在綜述中，我們對異質圖嵌入的方法和技術的最新進展進行了全面回顧，探索了異質圖嵌入的問題和挑戰，并預測了該領域的未來研究方向。

該論文的主要貢獻如下：

討論了與同質圖相比，異質圖的異質性帶來的獨特挑戰 。該論文對現有的異質圖嵌入方法進行了全面的調研，并基于它們在學習過程中使用的信息進行分類，以解決異質性帶來的特定的挑戰。 對于每類代表性的異質圖嵌入方法和技術，提供詳細的介紹并進一步分析了其優缺點。此外，該論文首次探索了異質圖嵌入方法在現實工業環境中的可轉換性和適用性。 總結了開源代碼和基準數據集，并對現有的圖學習平臺進行了詳細介紹，以促進該領域的未來研究和應用。 探討異質圖嵌入的其他問題和挑戰，并預測該領域的未來研究方向。

網址：

8、Graph Neural Networks: Taxonomy, Advances and Trends（圖神經網絡）

太原理工最新《圖神經網絡:分類,進展,趨勢》綜述論文，50頁pdf400篇文獻

作者：Yu Zhou,Haixia Zheng,Xin Huang

摘要：圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

網址：

9、Efficient Transformers: A Survey（高效Transformer）

【Google】最新《高效Transformers》綜述大全，Efficient Transformers: A Survey

作者：Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler

摘要：Transformer模型架構最近引起了極大的興趣，因為它們在語言、視覺和強化學習等領域的有效性。例如，在自然語言處理領域，Transformer已經成為現代深度學習堆棧中不可缺少的主要部分。最近，提出的令人眼花繚亂的X-former模型如Linformer, Performer, Longformer等這些都改進了原始Transformer架構的X-former模型，其中許多改進了計算和內存效率。為了幫助熱心的研究人員在這一混亂中給予指導，本文描述了大量經過深思熟慮的最新高效X-former模型的選擇，提供了一個跨多個領域的現有工作和模型的有組織和全面的概述。

圖片

網址：

10、Self-supervised Learning: Generative or Contrastive（自監督學習）

作者：Xiao Liu, Fanjin Zhang, Zhenyu Hou, Zhaoyu Wang, Li Mian, Jing Zhang, Jie Tang

摘要：深度監督學習在過去的十年中取得了巨大的成功。然而，它依賴于手工標簽的缺陷和易受攻擊的弱點促使人們探索更好的解決方案。作為另一種學習方式，自監督學習以其在表征學習領域的飛速發展吸引了眾多研究者的關注。自監督表示學習利用輸入數據本身作為監督，并使得幾乎所有類型的下游任務從中受益。在這項綜述中，我們著眼于新的自監督學習方法，用于計算機視覺、自然語言處理和圖學習。我們全面回顧了現有的實證方法，并根據它們的目的將它們歸納為三大類:生成型、對比型和生成-對比型(對抗型)。我們進一步研究了相關的理論分析工作，以提供對自監督學習如何工作的更深層次的思考。最后，我們簡要討論了自監督學習有待解決的問題和未來的發展方向。

網址：

深度學習通常被描述為一個實驗驅動的領域，并不斷受到缺乏理論基礎的批評。這個問題已經部分地被大量的文獻解決了，這些文獻至今沒有被很好地組織起來。本文對深度學習理論的最新進展進行了綜述和整理。文獻可分為六類: (1)基于模型復雜度和容量的深度學習泛化; (2)用于建模隨機梯度下降及其變量的隨機微分方程及其動力學系統，其特征是深度學習的優化和泛化，部分受到貝葉斯推理啟發; (3)驅動動力系統軌跡的損失的幾何結構; (4)深度神經網絡的過參數化從積極和消極兩個方面的作用; (5)網絡架構中幾種特殊結構的理論基礎; (6)對倫理和安全及其與普遍性的關系的日益關注。

//arxiv.org/pdf/2012.10931.pdf

概述

深度學習可以廣義定義為使用人工神經網絡從經驗中發現知識以進行預測或決策的一系列算法[138]。經驗的規范形式可以是人類注解的電子記錄作為數據集，也可以是學習者或電子環境之間的交互作用，取決于場景[169]。在深度學習中，一般的人工神經網絡通常是把一個由非線性激活函數組成的序列的權值矩陣連接成一個網絡，這種網絡具有相當大的參數大小。

深度學習的術語是由Dechter[62]引入機器學習，然后由Aizenberg等人[5]引入腦啟發算法，其中幾個主要概念可以追溯到20世紀40年代早期。深度學習的研究在20世紀40 - 60年代[162,111,199]和80 - 90年代[201]經歷了兩次上升后下降。第三次和當前的浪潮開始于2006年[24,114,196]，一直持續到現在。最近的浪潮已經從本質上重塑了許多真實世界的應用領域，包括計算機視覺[110]、自然語言處理[63,184]、語音處理[64]、3D點云處理[98]、數據挖掘[232]、推薦系統[247]、自動駕駛汽車[152,215]、醫療診斷[135,209]和藥物發現[43]。

然而，到目前為止，深度學習的發展嚴重依賴實驗，缺乏堅實的理論基礎。深度學習機制的許多方面仍然是未知的。我們不斷地驚訝地發現啟發式方法可以在廣泛的領域實現出色的性能，盡管有時也相當不穩定。與此同時，直覺方法往往未被證實，甚至未被驗證。這種做法是可以容忍的，并且在深度學習研究中已經變得普遍。這種黑盒特性給深度學習應用帶來了未知的風險。這種不了解在很大程度上削弱了我們識別、管理和預防算法導致的災難的能力，并進一步嚴重損害了我們將最近的進展應用于許多工業部門的信心，特別是在安全關鍵領域，如自動駕駛汽車、醫療診斷和藥物發現。這也對深度學習算法設計的未來發展產生了沖擊。

理論基礎的一個主要部分是泛化，泛化是指通過深度學習算法對未見數據進行預測，在訓練數據上訓練好的模型的能力[224,169]。由于訓練數據不能覆蓋未來的所有情況，良好的泛化性保證了所學的模型能夠處理未知事件。在長尾事件經常出現并有可能造成致命災難的地方，這一點尤其重要。

統計學習理論建立了基于假設復雜度的泛化理論[224,169]。這些工具能解決深度學習理論中的問題嗎?答案是否定的。傳統工具通常根據假設復雜度構建泛化邊界，如vc維[28,223]、Rademacher復雜度[130,129,21]和覆蓋數[73,104]。在經典的結果中，這些復雜性很大程度上依賴于模型的大小。這就引入了奧卡姆剃刀原理:

如無必要，勿增實體

即，只要模型能夠擬合訓練樣本，就需要找到一個足夠小的模型來防止過擬合。然而，深度學習模型通常具有非常大的模型規模，這有時會使泛化界甚至大于損失函數的潛在最大值。此外，根據Occam 's razor原理，可泛化性與模型大小之間存在正相關關系，而這在深度學習中已經不存在了。相比之下，更深更廣的網絡往往具有優越的性能[38]。深度學習卓越的泛化能力與其極端的過參數化之間的矛盾，就像傳統復雜學習理論的一朵“云”。

早期的工作試圖建立深度學習的理論基礎[172,90,22,20,23,158,11]，但很大程度上由于深度學習研究的廣泛發展而停滯不前。

最近的研究始于Zhang等人在2017年的工作[244]。作者進行了系統的實驗來探索深度神經網絡的泛化能力。他們表明，即使訓練標簽是隨機的，神經網絡也能幾乎完美地擬合訓練數據。如何從理論上解釋深度神經網絡的成功，是學習理論界關注的一個重要話題。Kawaguchi等人[122]討論了許多關于深度神經網絡在容量大、復雜性、算法可能不穩定、非魯棒性和極小值尖銳的情況下仍具有出色泛化能力的開放問題。作者也提出了一些解決問題的見解。從那時起，深度學習理論的重要性得到了廣泛的認識。大量文獻的出現建立了深度學習的理論基礎。在本文中，我們回顧了相關文獻，并將其歸納為以下六類：

• **基于復雜度和容量的方法分析深度學習泛化性。**傳統的統計學習理論根據假設空間的復雜度，建立了一系列泛化誤差(泛化界)的上界，如vc維[28,223]，Rademacher復雜度[130,129,21]，覆蓋數[73,104]。通常，這些泛化范圍明確地依賴于模型的大小。他們認為，控制模型的大小可以幫助模型更好地泛化。然而，深度學習模型龐大的模型規模也使得泛化范圍顯得空洞。因此，如果我們能夠開發出大小無關的假設復雜度度量和泛化邊界是非常值得期待的。一種有前景的方法是刻畫深度學習中可以學習的“有效”假設空間的復雜性。有效假設空間可以明顯小于整個假設空間。因此，我們可以期望得到一個小得多的泛化保證。

• **隨機梯度下降(SGD)及其變體模型的隨機偏微分方程(SDE)在深度學習優化算法中占主導地位。**這些SDEs的動態系統決定了訓練神經網絡中權值的軌跡，其穩定分布代表了學習網絡。通過SDEs及其動力學，許多工作為深度學習的優化和泛化提供了保障。“有效”假設空間正是“SGD能找到的”假設空間。因此，通過SGD研究深度學習的普遍性將是直接的。此外，這一系列的方法部分受到貝葉斯推斷的啟發。這與前面的變異推斷相似，后者以優化的方式解決了貝葉斯推斷，以解決縮放問題。這種隨機梯度方法和貝葉斯推斷之間的相互作用將有助于這兩個領域的發展。

• **高度復雜的經驗風險曲面的幾何結構驅動動態系統的軌跡。**損失曲面觀的幾何形狀在驅動SDEs的軌跡方面起著重要作用:(1)損失的導數是SDEs的組成部分;(2)損失作為SDEs的邊界條件。因此，理解損失面是建立深度學習理論基礎的關鍵一步。通常，“正則化”問題的可學習性和優化能力是有保證的。1“正則化”可以用許多術語來描述，包括凸性、李普希茨連續性和可微性。然而，在深度學習中，這些因素不再得到保障，至少不是很明顯。神經網絡通常由大量的非線性激活組成。激活過程中的非線性使得損失曲面極其不光滑和非凸。所建立的凸優化保證失效。損失曲面令人望而卻步的復雜性，使社區長時間難以接觸到損失曲面的幾何形狀，甚至深度學習理論。然而，損失面復雜的幾何形狀恰恰表征了深度學習的行為。通過損失曲面是理解深度學習的“捷徑”。

• 深度神經網絡的過參數化作用。 過度參數化通常被認為是通過基于復雜性的方法為深度學習開發有意義的泛化邊界的主要障礙。然而，最近的研究表明，過度參數化將對塑造深度學習的損失曲面做出主要貢獻——使損失曲面更加光滑，甚至“類似”凸。此外，許多研究也證明了神經網絡在極端過參數化情況下與一些更簡單的模型(如高斯核)等效。

• **網絡架構中幾種特殊結構的理論基礎。**在前面的綜述中，我們主要關注的結果一般代表所有的神經網絡。同時，深度神經網絡的設計涉及到許多特殊的技術。這些結構也對深度學習的卓越性能做出了重要貢獻。我們回顧了卷積神經網絡、遞歸神經網絡和置換不變/等變函數網絡的理論成果。

• **深入關注倫理和安全以及它們與深度學習理論的關系。**深度學習已經被部署在越來越廣泛的應用領域。其中一些涉及高度隱私的個人數據，如手機上的圖像和視頻、健康數據和最終記錄。其他一些場景可能需要深度學習來提供高度敏感的決策，比如抵押貸款審批、大學入學和信用評估。此外，研究表明，深度學習模型容易受到對抗性例子的攻擊。如何保護深度學習系統免受隱私保護、公平保護和對抗攻擊等方面的破壞是非常重要的。

本文結構

本文綜述了深度學習理論基礎研究的最新進展。我們承認有一些論文回顧了深度學習理論。Alom等人[9]對深度學習中使用的技術進行了調查。Sun[214]綜述了深度學習中的優化理論。E等人[81]總結了深度學習中最優化的近似和ademacher復雜性、損失面以及收斂和隱式正則化相關的結果和挑戰。我們的調查是最全面的。我們以獨特的視角組織文獻，并為未來的作品提供新的見解。

深度學習的極好的泛化性就像傳統復雜學習理論的“云”:深度學習的過度參數化使得幾乎所有現有的工具都變得空洞。現有的工作試圖通過三個主要途徑來解決這一問題: (1)開發大小無關的復雜性測度，它可以表征可學習的“有效”假設空間的復雜性，而不是整個假設空間。第二節討論了相關工作; (2) 基于隨機微分函數和相關損失函數的幾何性質，利用深度學習中占主導地位的優化器隨機梯度方法對所學假設進行建模。有關的工作在第3及4節檢討; (3) 過度參數化出人意料地為損失函數帶來了許多良好的性質，進一步保證了優化和泛化性能。相關工作在第5節中給出。與此同時，第6節回顧了網絡體系結構特殊結構的理論基礎。

機器學習的另一個重要方面是對道德和安全問題的日益關注，包括隱私保護、對抗魯棒性和公平保護。具體地說，隱私保護和對抗魯棒性與可泛化性密切相關:泛化性好通常意味著隱私保護能力強;更穩健的算法可能會有。本文還討論了在深度學習場景中，如何理解這些問題之間的相互作用。相關工作將在第7節討論。

盡管在深度學習方面取得了最近的進展，但大多數方法仍然采用類似“筒倉”的解決方案，專注于孤立地學習每個任務:為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實問題需要多模態方法，因此需要多任務模型。多任務學習(MTL)旨在利用跨任務的有用信息來提高模型的泛化能力。在這個綜述中，我們提供了一個最先進的在深度神經網絡的背景下MTL技術的全面觀點。我們的貢獻涉及以下方面。首先，我們從網絡架構的角度來考慮MTL。我們包括了一個廣泛的概述，并討論了最近流行的MTL模型的優缺點。其次，我們研究了解決多任務聯合學習的各種優化方法。我們總結了這些工作的定性要素，并探討了它們的共性和差異。最后，我們在各種數據集上提供了廣泛的實驗評估，以檢查不同方法的優缺點，包括基于架構和優化的策略。

//arxiv.org/abs/2004.13379

概述

在過去的十年中，神經網絡在許多任務中都顯示了令人印象深刻的結果，例如語義分割[1]，實例分割[2]和單目深度估計[3]。傳統上，這些任務是單獨處理的，即為每個任務訓練一個單獨的神經網絡。然而，許多現實世界的問題本質上是多模態的。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，定位它們，了解它們是什么，估計它們的距離和軌跡，等等，以便在它的周圍安全導航。同樣的，一個智能廣告系統應該能夠在它的視點上檢測到人們的存在，了解他們的性別和年齡，分析他們的外貌，跟蹤他們正在看的地方，等等，從而提供個性化的內容。與此同時，人類非常擅長同時解決許多任務。生物數據處理似乎也遵循多任務處理策略: 不同的處理過程似乎共享大腦中相同的早期處理層，而不是將任務分開單獨處理。上述觀察結果促使研究人員開發了多任務學習(MTL)模型，即給定一個輸入圖像可以推斷出所有所需的任務輸出。

在深度學習時代之前，MTL工作試圖對任務之間的共同信息進行建模，希望通過聯合任務學習獲得更好的泛化性能。為了實現這一點，他們在任務參數空間上放置了假設，例如:任務參數應該彼此靠近w.r.t.一些距離度量[5]，[6]，[16]0，[16]2，共享一個共同的概率先驗[16]1，[10]，[11]，[12]，[13]，或駐留在一個低維子空間[14]，[15]，[16]或流形[17]。當所有任務都是相關的[5]、[14]、[18]、[19]時，這些假設可以很好地工作，但是如果在不相關的任務之間發生信息共享，則可能導致性能下降。后者是MTL中已知的問題，稱為負轉移。為了緩解這一問題，其中一些研究人員選擇根據先前對任務的相似性或相關性的認識將任務分組。

在深度學習時代，MTL轉化為能夠從多任務監控信號中學習共享表示的網絡設計。與單任務情況下，每個單獨的任務由自己的網絡單獨解決相比，這種多任務網絡理論上給表帶來了幾個優點。首先，由于它們固有的層共享，結果內存占用大大減少。其次，由于他們明確地避免重復計算共享層中的特征，每次都要計算一次，因此他們的推理速度有所提高。最重要的是，如果相關的任務能夠分享互補的信息，或者互相調節，它們就有可能提高績效。對于前者，文獻已經為某些對任務提供了證據，如檢測和分類[20]，[21]，檢測和分割[2]，[22]，分割和深度估計[23]，[24]，而對于后者，最近的努力指向了那個方向[25]。這些工作導致了第一個深度多任務網絡的發展，歷史上分為軟或硬參數共享技術。

在本文中，我們回顧了在深度神經網絡范圍內的MTL的最新方法。首先，我們對MTL基于架構和優化的策略進行了廣泛的概述。對于每種方法，我們描述了其關鍵方面，討論了與相關工作的共性和差異，并提出了可能的優點或缺點。最后，我們對所描述的方法進行了廣泛的實驗分析，得出了幾個關鍵的發現。我們在下面總結了我們的一些結論，并提出了未來工作的一些可能性。

• 首先，MTL的性能在很大程度上取決于任務字典。它的大小、任務類型、標簽源等等，都影響最終的結果。因此，最好根據每個案例選擇合適的架構和優化策略。盡管我們提供了具體的觀察結果，說明為什么某些方法在特定設置中工作得更好，但是MTL通常可以從更深的理論理解中獲益，從而在每種情況下最大化預期收益。例如，這些收益似乎取決于多種因素，例如數據量、任務關系、噪音等。未來的工作應該嘗試分離和分析這些不同因素的影響。

• 其次，當使用單一MTL模型處理多個密集預測任務時，基于解碼器的架構目前在多任務性能方面提供了更多優勢，與基于編碼器的架構相比，其計算開銷有限。如前所述，這是由于基于解碼器的體系結構促進了常見的跨任務模式的對齊，這自然很適合密集的預測任務。基于編碼器的架構在密集預測任務設置中仍然具有一定的優勢，但其固有的層共享似乎更適合處理多個分類任務。

• 最后，我們分析了多種任務均衡策略，并分離出對任務均衡學習最有效的要素，如降低噪聲任務的權重、平衡任務梯度等。然而，許多優化方面仍然缺乏了解。與最近的研究相反，我們的分析表明避免任務之間的梯度競爭會損害性能。此外，我們的研究顯示，一些任務平衡策略仍然存在不足，突出了現有方法之間的一些差異。我們希望這項工作能促進對這一問題的進一步研究。

生成對抗網絡(GANs)是近年來受到廣泛關注的一類新型的深度生成模型。GANs通過圖像、音頻和數據隱式地學習復雜的高維分布。然而，在GANs的訓練中存在著主要的挑戰。由于網絡結構設計不當，使用目標函數和選擇優化算法，導致模式崩潰，不收斂和不穩定。最近，為了解決這些挑戰，一些更好地設計和優化GANs的解決方案已經被研究，基于重新設計的網絡結構、新的目標函數和替代優化算法的技術。據我們所知，目前還沒有一項綜述特別側重于這些解決辦法的廣泛和系統的發展。在這項研究中，我們進行了一個全面的綜述，在GANs的設計和優化解決方案提出，以處理GANs的挑戰。我們首先確定每個設計和優化技術中的關鍵研究問題，然后根據關鍵研究問題提出新的分類結構解決方案。根據分類，我們將詳細討論每個解決方案中提出的不同GANs變體及其關系。最后，在已有研究成果的基礎上，提出了這一快速發展領域的研究方向。

//arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs)，如受限玻爾茲曼機(RBMs)、深度信念網絡(DBNs)、深度玻爾茲曼機(DBMs)、去噪自編碼器(DAE)和生成隨機網絡(GSN)，最近因捕獲音頻、圖像或視頻等豐富的底層分布和合成新樣本而引起了廣泛關注。這些深度生成模型采用基于馬爾科夫鏈蒙特卡羅(MCMC)的[1][2]算法進行建模。基于MCMC的方法計算訓練過程中梯度消失的對數似然梯度。這是由馬爾科夫鏈產生的樣本生成慢的主要原因，因為它不能足夠快地在模式間混合。另一個生成模型，變分自動編碼器(VAE)，使用帶有統計推理的深度學習來表示潛在空間[3]中的一個數據點，并在難以處理的概率計算的近似過程中體驗復雜性。此外，這些生成模型是通過最大化訓練數據可能性來訓練的，其中基于概率的方法在許多數據集(如圖像、視頻)中經歷了維數的詛咒。此外，在高維空間中，從馬爾可夫鏈進行的采樣是模糊的，計算速度慢且不準確。

為了解決上述問題，Goodfellow等人提出了生成對抗網(GANs)，這是生成模型的另一種訓練方法。GANs是一種新穎的深度生成模型，它利用反向傳播來進行訓練，以規避與MCMC訓練相關的問題。GANs訓練是生成模型和判別模型之間的極小極大零和博弈。GANs最近在生成逼真圖像方面得到了廣泛的關注，因為它避免了與最大似然學習[5]相關的困難。圖1顯示了GANs能力從2014年到2018年的一個進展示例。

GANs是一種結構化的概率模型，它由兩個對立的模型組成:生成模型(Generator (G))用于捕獲數據分布; 判別模型(Discriminator (D))用于估計生成數據的概率，以確定生成的數據是來自真實的數據分布，還是來自G的分布。D和G使用基于梯度的優化技術(同時梯度下降)玩一個兩人極小極大對策，直到納什均衡。G可以從真實分布中生成采樣后的圖像，而D無法區分這兩組圖像。為了更新G和D，由D通過計算兩個分布之間的差異而產生的損失來接收梯度信號。我們可以說，GANs設計和優化的三個主要組成部分如下:(i) 網絡結構，(ii) 目標(損失)函數，(iii)優化算法。

對多模態數據建模的任務，一個特定的輸入可以與幾個不同的正確和可接受的答案相關聯。圖2顯示了具有多個自然圖像流形(紅色)的插圖，結果由使用均方誤差(MSE)的基本機器學習模型實現，該模型在像素空間(即，導致圖像模糊)和GANs所獲得的結果，從而驅動重構向自然圖像流形方向發展。由于GANs的這一優勢，它在許多領域得到了廣泛的關注和應用。

GANs在一些實際任務中表現良好，例如圖像生成[8][9]、視頻生成[11]、域自適應[12]和圖像超分辨率[10]等。傳統的GANs雖然在很多方面都取得了成功，但是由于D和G訓練的不平衡，使得GANs在訓練中非常不穩定。D利用迅速飽和的邏輯損失。另外，如果D可以很容易的區分出真假圖像，那么D的梯度就會消失，當D不能提供梯度時，G就會停止更新。近年來，對于模式崩潰問題的處理有了許多改進，因為G產生的樣本基于少數模式，而不是整個數據空間。另一方面，引入了幾個目標(損失)函數來最小化與傳統GANs公式的差異。最后，提出了幾種穩定訓練的方法。

近年來，GANs在自然圖像的制作方面取得了突出的成績。然而，在GANs的訓練中存在著主要的挑戰。由于網絡結構設計不當，使用目標函數和選擇優化算法，導致模式崩潰，不收斂和不穩定。最近，為了解決這些挑戰，一些更好地設計和優化GANs的解決方案已經被研究，基于重新設計的網絡結構、新的目標函數和替代優化算法的技術。為了研究以連續一致的方式處理GANs挑戰的GANs設計和優化解決方案，本綜述提出了不同GANs解決方案的新分類。我們定義了分類法和子類尋址來構造當前最有前途的GANs研究領域的工作。通過將提出的GANs設計和優化方案分類，我們對其進行了系統的分析和討論。我們還概述了可供研究人員進一步研究的主要未決問題。

本文貢獻：

• GAN新分類法。在本研究中，我們確定了每個設計和優化技術中的關鍵研究問題，并提出了一種新的分類法，根據關鍵研究問題來構造解決方案。我們提出的分類將有助于研究人員增強對當前處理GANs挑戰的發展和未來研究方向的理解。

• GAN全面的調研。根據分類法，我們提供了對各種解決方案的全面審查，以解決GANs面臨的主要挑戰。對于每一種類型的解決方案，我們都提供了GANs變體及其關系的詳細描述和系統分析。但是，由于廣泛的GANs應用，不同的GANs變體以不同的方式被制定、訓練和評估，并且這些GANs之間的直接比較是復雜的。為此，我們進行了必要的比較，總結了相應的方法。他們提出了解決GANs挑戰的新方案。這個調查可以作為了解、使用和開發各種實際應用程序的不同GANs方法的指南。

深度神經網絡已經被證明可以有效的解決圖像、自然語言等不同領域的問題.同時伴隨著移動互聯網技術的不斷發展，便攜式設備得到了迅速的普及，用戶提出了越來越多的需求.因此，如何設計高效、高性能的輕量級神經網絡是解決問題的關鍵.本文詳細闡述了三種構建輕量級神經網絡的方法，分別是人工設計輕量級神經網絡、神經網絡模型壓縮算法和基于神經網絡架構搜索的自動化神經網絡架構設計，同時簡要總結和分析了每種方法的特點，并重點介紹了典型的構建輕量級神經網絡的算法.最后，總結現有的方法，并給出了未來發展的前景.