深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。

在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。

//arxiv.org/pdf/2112.01423.pdf

深度學習(Deep learning, DL)已經成為現代人工智能中最成功和被廣泛采用的方法之一。與這些成功相伴而來的是越來越復雜和昂貴的架構設計，其基礎是一個核心概念:層。本文對層次的這一基本作用提出了挑戰，并深入介紹了一種新的、無層次的深度學習范式，將輸出計算為動態系統的不動點:深度均衡(DEQ)模型。

首先，我們介紹深度均衡模型的一般公式。我們討論了這些模型如何表達“無限級”的神經網絡，向前和向后解耦傳遞，但與傳統層的成本和設計復雜性-即使在一些最具競爭力的設置(例如，語言建模，語義分割等)。

其次，我們進一步討論了這種均衡方式帶來的挑戰和機遇。我們表明，DEQ公式揭示了深度學習的許多新特性，這些特性長期以來被傳統的層-堆疊方案所掩蓋。利用它們，我們可以訓練和部署這些新的輕量級均衡算法，大大補充了深度學習的現有發展，并使我們能夠在最先進的水平上改善多個現有結果(例如，光流估計)。

DEQ方法已經在理論和實證兩方面引領了社區內隱深度學習的新研究領域(例如，NeurIPS 2020教程)。因此，我們通過討論未來的工作如何進一步利用這一平衡視角來構建更可擴展、高效和準確的下一代DL算法，包括科學計算，這通常是復雜的、高維動力系統的解決方案。

我們目前正處于一場數據革命之中。在科學、健康甚至日常生活中產生的海量和不斷增長的數據集將影響社會的許多領域。許多這樣的數據集不僅大，而且是高維的，每個數據點可能包含數百萬甚至數十億個數字。以成像為例，一張圖像可能包含數百萬個或更多的像素;一段視頻可能很容易包含10億個“體素”。為什么在高維空間學習具有挑戰性，這是有根本原因的(“維度詛咒”)。跨越信號處理、統計和優化的一個基本挑戰是在高維數據集中利用低維結構。低維信號建模推動了理論和應用領域的發展，從醫學和科學成像，到低功耗傳感器，再到生物信息學數據集的建模和解釋，這只是其中的一小部分。然而，大量的現代數據集帶來了額外的挑戰:隨著數據集的增長，數據收集技術變得越來越不受控制，經常會遇到嚴重錯誤或惡意破壞，以及非線性。傳統的技術在這種情況下完全崩潰，需要新的理論和算法。

為了應對這些挑戰，在過去的二十年里，高維空間中低維結構的研究取得了爆炸性的發展。在很大程度上，代表性低維模型的幾何和統計性質(如稀疏和低秩及其變體和擴展)現在已經被很好地理解。在何種條件下，這些模型可以有效地和高效地從(最小數量的抽樣)數據恢復已經明確的特征。為了從高維數據中恢復這種低維模型，人們開發了許多高效、可擴展的算法。這些算法的工作條件、數據和計算復雜度也得到了全面而精確的刻畫。這些新的理論成果和算法已經徹底改變了數據科學和信號處理的實踐，并對傳感、成像和信息處理產生了重大影響。另一方面，最近深度神經網絡和低維模型之間在學習表示、網絡架構和優化策略等多個層次上出現了強大的聯系。這種連接不僅有助于解釋深度學習中許多有趣的現象，而且為更好的網絡設計、優化、魯棒性和在監督和無監督場景下的深度網絡泛化提供了新的指導原則。

作為這樣的歷史進步的見證人，我們相信這是一個正確的時機，將這個新的知識體系交付給信號處理社區的下一代學生和研究人員。通過過去20年令人振奮的研究進展，信號處理界已經見證了稀疏和低維模型的力量。然而，與此同時，社區仍然處于擁抱現代機器學習的力量的過渡階段，尤其是深度學習，在建模和可解釋性方面面臨前所未有的新挑戰。與過去關于壓縮感知、凸優化和相關主題的教程相比，本教程(以及相關的書籍、練習和課程材料)的獨特之處在于，它將信號處理的基礎數學模型與非凸優化和深度學習的當代主題連接起來。目的是展示(i)這些低維模型和原理如何為制定問題和理解方法的行為提供一個有價值的視角，以及(ii)來自非凸性和深度學習的思想如何幫助這些核心模型實用于具有非線性數據和觀測模型、測量非理想性等的現實問題。

本課程首先介紹基本的線性低維模型(例如，基本的稀疏和低秩模型)和凸松弛方法，以及激勵工程應用，隨后介紹一套可擴展和有效的優化方法。基于此，從對稱和幾何角度介紹了若干基本學習和逆問題(如字典學習和稀疏盲反卷積)的非線性低維模型、非凸方法及其正確性保證和高效的非凸優化方法。在這些結果的基礎上，我們繼續討論低維結構和深度模型之間強大的概念、算法和理論聯系，為理解最先進的深度模型提供了新的視角，并為設計用于學習低維結構的深度網絡提供了新的原則，具有明確的可解釋性和實際效益。

引言

機器學習 (ML) 是人工智能 (AI) 的一個分支，它從數據中學習以識別模式、做出預測或做出決策，而人工干預最少。所有的機器學習技術都以數據為輸入，針對不同的任務，即分類、回歸、聚類、降維和排序等。

受益于海量數據和高計算資源，機器學習應用在我們的日常生活中變得無處不在。這些應用程序將人們從重復和復雜的工作中解放出來，并允許他們輕松獲取有用的信息。例如，人臉識別系統可以幫助人類進行識別和授權。搜索引擎通過索引、搜索和匹配來收集和組織與給定查詢相關的信息。導航應用程序為自動駕駛汽車推薦到達目的地的最佳路徑。

計算機視覺 (CV) 研究計算機如何獲取、處理、分析和理解數字圖像。 ML 的進步促進了 CV 的發展，尤其是圖像分類任務。深度學習（DL）是一種強大的機器學習技術。它允許設計可以自動識別圖像視覺內容的深度神經網絡（DNN）。從數千張動物、地點、人、植物等圖像中學習，DNN 能夠以高可信度檢測未知圖像包含的內容。

1.1 深度學習與深度神經網絡

在過去的幾十年中，DNN 在圖像分類領域迅速發展。卷積神經網絡 (CNN) [LBBH98] 獲得有用的語義視覺特征。典型的深度 CNN 具有許多層和復雜的架構，例如 AlexNet [KSH12]、Inception [SVI+16]、ResNet [HZRS16a]、DenseNet [HLVDMW17] 等。這些是少數著名的 DL 或 DNN 示例。這些網絡從圖像的高維表示空間計算梯度，以找到如何分離類別。最近的 DNN 模型以高置信度實現了分類、檢測和分割任務。 DNN 模型在 ImageNet [RDS+15]（一個具有挑戰性和現實性的數據集）上的性能接近于人類。

DNN 的性能通常與其深度有關：網絡越深，性能越好。然而，由于大量層的深度堆疊以獲得語義視覺特征，DNN 的高復雜性導致訓練困難。這可能是由于反向傳播期間梯度消失，稱為梯度消失問題。存在許多 DNN 原始架構的變體，試圖規避此類問題。這包括來自 ResNet [HZRS16a] 和Transformer [VSP+17] 的剩余單元。在訓練過程中跳過層的剩余單元有效地簡化了網絡，加快了訓練過程并提供了探索更大的特征空間。然而，它也使 ResNet 更容易受到擾動。 Transformer [VSP+17] 使用自我注意的概念，幫助網絡專注于重要特征。總體而言，DNN 的所有這些進步都增強了分類等任務的性能。 DL 不僅成功地處理了大量圖像數據，而且還設法處理包含噪聲、遮擋或其他視覺偽影的圖像。

1.2 對抗樣本

2013 年，研究人員發現，對圖像進行輕微修改會導致分類器做出錯誤的預測 [SZS+13]。令人驚訝的是，這些修改幅度很小，人眼幾乎察覺不到。這一發現揭示了 DNN 的脆弱性

對抗性現象廣泛影響 ML。這會影響不同的媒體，例如圖像[SZS+13、GSS14、TPG+17]、音頻[CW18、YS18、YLCS18]和文本[RDHC19、ZSAL20、ASE+18]。此外，攻擊者不僅會生成保存為數字數據的對抗性樣本，例如圖像，在計算機中，但也可以在物理世界中創建對抗性樣本，例如對抗性補丁 [TVRG19]。這些是打印的圖片和 3D 對象 [KGB16, SBBR16]，由相機等視覺傳感器捕獲，并影響使用它們的 ML 應用程序。

對抗性擾動是一種無形的擾動，它會誤導 DNN 將擾動的輸入分類為不正確的類別。例如，通過對抗性擾動，可以使分類器將貓分類為狗，如圖 1.1 所示。此外，對抗性現象在分類器之間轉移。利用 DNN 的某個漏洞的攻擊可能會欺騙其他 DNN，無論他們使用什么架構或訓練集。

圖 1.1 – 此圖片來自 Nicholas Carlini 的攻擊機器學習演講：關于神經網絡的安全性和隱私。它通過對抗性擾動顯示貓的圖像被歸類為狗。

將一個視覺內容修改為另一個是一個大問題 [EEF+18, TVRG19, TRC19a, YLDT18, GSS14]。攻擊者的目標是欺騙分類器做出不適當決策，可以方便地進行對抗性擾動。這是令人不安和危險的，尤其是當網絡決策危及生命時。例如，將特定形狀和顏色的小紙片放在一些路標上會阻止它們被識別 [BMR+17]。穿著具有特定紋理的徽章裝飾的布會使人對旨在檢測行人存在的算法不可見 [XZL+20]。考慮到所有這些潛在風險，了解對抗樣本的基本問題以確保算法公平、正確地處理內容至關重要。對抗性機器學習的典型研究任務包括攻擊和防御。研究人員研究這兩項任務是為了 i) 做出實際貢獻和 ii) 理解這一現象。

1.2.1 攻擊

攻擊旨在對目標 DNN 產生對抗性擾動。他們將不可見性和錯誤分類形式化為優化問題。攻擊的難度取決于攻擊者是否知道網絡的架構。基本情況是攻擊者可以訪問網絡的架構和參數，即白盒環境。他們受益于這些信息來制造對抗性擾動。

在不知道架構和參數的情況下攻擊網絡，即黑盒設置，是一個更復雜的情況。可遷移性意味著對抗樣本在不同的網絡和不同的機器學習模型[GSS14，TPG+17]中泛化得非常好。這表明為欺騙局部分類器而生成的對抗樣本也有一定的概率欺騙未知分類器。它提供了一種在黑盒環境中攻擊 DNN 的工具。

即使約束很嚴格，現有的攻擊也會成功地產生對抗性擾動。這些非同尋常的對抗性擾動表現出對抗性現象的不同特性和 DNN 的脆弱性。令人驚訝的是，例如，單像素攻擊 [SVS19] 通過僅修改輸入圖像的一個像素來改變網絡的預測。通用擾動 [MFFF17, HD18] 表明，一個特定的擾動足以導致給定數據集中的每張圖像都被錯誤分類。

1.2.2 防御

防御旨在提高 DNN 針對對抗性攻擊的魯棒性。他們要么添加一個額外的組件來幫助網絡抵御對抗性攻擊，要么提高網絡的內在魯棒性。

引入額外組件的防御保持網絡不變。對圖像應用預處理是該類別中的一種特殊防御方法。他們將對抗性擾動視為一種特殊類型的噪聲，并嘗試通過轉換 [MC17, GRCvdM17, STL+19] 將其去除。將對抗樣本視為惡意數據的人使用檢測器來識別對抗樣本并拒絕或糾正它們 [XEQ17, LLS+18]。這些防御很簡單的，很容易適應給定的網絡，但是，在白盒環境下通常很容易受到攻擊 [ACW18]。

提高內在魯棒性的防御嘗試改進訓練方法 [GSS14, MMS+17]、增強架構 [PMW+16] 或高級損失函數 [HXSS15, MMS+17, TKP+17]。對抗性訓練 [GSS14, MMS+17] 作為該類別的典型防御，通過將對抗性樣本作為訓練數據的一部分來改進訓練方法。這種防御背后的假設是，DNN 的脆弱性是由于訓練數據的不足造成的。這些防御措施在魯棒性和準確性方面都表現不錯，但是通常很復雜，因為它們需要從頭開始訓練網絡。

1.2 本論文貢獻

在本論文中，我們試圖理解對抗性現象。我們探討了如何生成對抗樣本以及如何保護它們。通過對對抗性 ML 的多個方面的分析，我們發現要研究的關鍵要素包括：

速度。速度對于對抗性攻擊和防御都很重要。盡管耗時的過程（例如優化創建對抗性擾動和訓練 DNN 模型）會產生高質量的結果，但如果需要很長時間來生成對抗性樣本、驗證輸入或構建魯棒的模型是不可行的。

不可見性。失真的大小被廣泛用于估計擾動的不可見性，但它并不等同于不可見性。不可見性表明從神經學和心理學的角度來看，人類無法察覺這種擾動。在計算機科學中衡量不可見性仍然是一個懸而未決的問題。

失真。作為衡量不可見性質量的替代計劃，許多攻擊估計了失真的程度。當幅度很小時，人類幾乎不會感知到擾動。失真的大小對防御也很重要。通常，對具有較大失真的對抗性擾動的防御對對抗性影響更為穩健。它是對抗性攻擊和防御的重要指標。

可轉移性。可轉移性描述了為欺騙目標網絡而生成的對抗性樣本成功欺騙其他網絡的可能性。可轉移性對于黑盒環境下的攻擊至關重要，即攻擊者只能獲取網絡的輸入輸出。

我們的工作受到速度、失真和不可見性的概念的啟發。我們測試了對抗性擾動的可轉移性。為了提高對抗性擾動的質量，我們在兩個方向上工作，即產生不可見的對抗性擾動和有效地創建低幅度的對抗性擾動。為了防御攻擊，我們提出了一種輕量級算法，該算法在魯棒性和準確性方面都取得了不錯的表現。我們強調速度和性能。

為了讓讀者更好地理解，我們首先在第 2 章中概述了 DL 中的對抗性上下文。這包括 1）理解我們的工作所需的 ML 和 DNN 的最低知識，2）對抗性問題的基本定義和3) 對現有相關工作的高級審查，包括產生對抗性擾動和增強對抗攻擊的魯棒性。

成功攻擊率和失真幅度是衡量對抗性擾動質量的兩個標準。在第 3 章中，我們介紹了對抗性擾動的標準評估，包括數據集、網絡和評估指標。此外，在第 3.3 節中，我們提出了我們的評估指標，允許在有針對性的失真攻擊和有針對性的成功攻擊之間進行公平比較。

我們研究了兩種執行攻擊的算法，以便了解不可見性（見第 4 章）和創造速度（見第 5 章）。

平滑的對抗性擾動。在第 4 章中，我們研究了不可見性的定義，并將其表述為一個約束函數，以便可以直接將其添加到現有攻擊中。我們推測，當擾動像素與其相鄰像素之間的相似性類似于其原始圖像的相似性圖時，對抗性擾動是不可見的。我們成功地產生了平滑的對抗性擾動，并且令人驚訝地產生了少量的失真。這些平滑的對抗性擾動是肉眼看不到的，即使對抗性樣本被人為放大。

快速、低失真的對抗樣本。為了在不降低對抗樣本質量的情況下加速攻擊，我們利用對抗擾動的具體知識改進了優化算法。在第 5 章中，我們提出了邊界投影（BP）攻擊，它根據當前的解決方案改變搜索方向。當當前解決方案不是對抗性的時，BP 攻擊會沿著梯度方向長搜索，以引導當前解決方案跨越網絡邊界。當當前解決方案是對抗性的時，BP 攻擊沿著邊界搜索以引導當前解決方案以減少失真的幅度。與最先進的攻擊相比，BP 攻擊避免了對僅跟隨梯度引起的振蕩計算的浪費。這為 BP 攻擊贏得了速度。實驗表明，BP攻擊成功地產生了幅度很小但攻擊成功率很高的對抗性擾動。

為了更全面地了解對抗性 ML 問題，我們研究了防御策略。第 6 章介紹了補丁替換防御。

補丁更換。與對抗性擾動相比，DNN 對隨機噪聲的魯棒性更強。為了理解它，我們研究了通過 DNN 的失真幅度（隨機噪聲/對抗性擾動）的轉變。受 DNN 內部隨機噪聲和對抗性擾動的不同行為啟發，我們在第 6 章提出了一種名為補丁更換的反應性防御。補丁替換試圖通過用合法訓練數據中最相似的鄰居替換可疑輸入（圖像/特征）的補丁，來消除推理中的對抗性影響。即使攻擊者知道補丁替換防御，訓練數據的使用也會增加攻擊的復雜性。由于我們不僅考慮圖像，還考慮網絡的中間特征，因此補丁替換比其他基于輸入轉換的防御更為穩健。一個缺點是在訓練時毒化數據集會給補丁替換策略帶來麻煩。這連接到對抗性后門。

最后，我們給出了結論，并在第 7 章提出了一些觀點。簡而言之，我們在理解對抗性 ML 問題方面的貢獻是 i）在另一個視圖中定義不可見性，并提出一種在我們的定義下產生平滑對抗性擾動的方法； ii) 提出一種算法，以高成功率和低失真快速生成對抗樣本； iii），我們成功地提出了一種不復雜的反應式防御，并在不嚴重降低網絡準確性的情況下提高了對攻擊的魯棒性。

圖 5.8 – ImageNet 上針對 InceptionV3 的原始（左）、對抗（頂行）和縮放擾動（下）圖像。這五幅圖像是需要最強失真的 BP 最差的 5 幅圖像，但這些圖像小于所有其他方法所需的失真（紅色表示偽造的圖像不是對抗性的）。擾動被反轉（低為白色；高為彩色，每個通道）并以相同的方式縮放以進行公平比較。

1 引言

深度學習已被廣泛應用到涉及圖像、視頻、語音等的諸多任務中并取得巨大成功。如 果我們問“深度學習是什么？”很可能會得到這樣的回答：“深度學習就是深度神經網 絡”。至少在目前，當“深度學習”作為一個術語時幾乎就是“深度神經網絡”的同義詞， 而當它指向一個技術領域時則如 SIAM News 頭版文章所稱[1]，是“機器學習中使用深度 神經網絡的子領域”。關于深度學習有很多問題還不清楚。例如深度神經網絡為什么要“深”？它成功背 后的關鍵因素是什么？深度學習只能是深度神經網絡嗎？本文將分享一些我們關于深度 學習的粗淺思考。

2 深度神經網絡

神經網絡并不是“新生事物”，它已經被研究了半個多世紀[2]。傳統神經網絡通常包 含一個或兩個隱層，其中每個“神經元”是非常簡單的計算單元。如圖 1 所示，神經元 接收來自其他神經元的輸入信號，這些信號通過連接權放大，到達神經元之后如果其總 量超過某個閾值，則當前神經元就被“激活”并向外傳遞其輸出信號。實際上每個神經 元就是圖 1 中非常簡單的計算式，而所謂神經網絡就是很多這樣的計算式通過嵌套迭代 得到的一個數學系統。

今天的“深度神經網絡”是指什么？簡單來說，就是有很多隱層的神經網絡。例如 2012 年在計算機視覺領域著名的 ImageNet 競賽奪冠的網絡用了 8 層、2015 年是 152 層、 2016 年是 1207 層……這樣的網絡明顯是非常龐大的計算系統，包含了大量參數需要通 過訓練來確定。但有一個好消息：神經網絡的基本計算單元是連續可微的。例如以往常 用圖 2 左邊的 Sigmoid 函數作為神經元模型的激活函數，它是連續可微的；現在深度神 經網絡里常用圖 2 右邊這樣的 ReLU 激活函數，它也是連續可微的。于是，在整個系統 中可以相對容易地計算出“梯度”，進而就能使用著名的 BP 算法通過梯度下降優化來對 神經網絡進行訓練。

有人以為深度神經網絡的成功主要是因為“算力”有了巨大發展，因為神經網絡早 就有了，現在只不過是由于算力強了導致能算得更好了。這是一個誤解。沒有強大的算 力當然難以訓練出很深的網絡，但更重要的是，現在人們懂得如何訓練這樣的模型。事 實上，在 Hinton 等的工作[3]之前，人們一直不知道如何訓練出超過五層的神經網絡；這并不是由于算力不足，而是由于神經網絡在訓練中會遭遇“梯度消失”現象：在 BP算法將神經網絡輸出層誤差通過鏈式反傳到遠離輸出層的部分時，可能會導出“零”調 整量，導致網絡遠離輸出層的部分無法根據輸出誤差進行調整，從而使得訓練失敗。這 是從傳統神經網絡發展到深層神經網絡所遇到的巨大技術障礙。Hinton 等通過“逐層訓 練后聯合微調”來緩解梯度消失，使人們看到訓練深層神經網絡是可能的，由此激發了 后來的研究，使得深度神經網絡得以蓬勃發展。事實上，深度神經網絡研究的主要內容 之一就是設計有效措施來避免/減緩梯度消失。例如該領域一個重要技術進步就是用圖 2 右邊的 ReLU 函數來代替以往常用的 Sigmoid 函數，由于前者在零值附近的導數比后者 更“平緩”，使得梯度不會因下降得太快而導致梯度消失。

顯然，基本計算單元的“可微性”（differentiability）對深度神經網絡模型至關重要， 因為它是梯度計算的基礎，而梯度計算是使用 BP 算法訓練神經網絡的基礎。最近有一 些研究嘗試在深度神經網絡中使用不可微激活函數，但其求解過程是在松弛變換后通過 可微函數逼近，實質上仍依賴于基本計算單元的可微性。

3 為何“深”

雖然深度神經網絡取得了巨大成功，但是“為什么必須使用很深的網絡”一直沒有 清楚的答案。關于這個問題，幾年前我們曾經嘗試從模型復雜度的角度進行解釋。

一般來說，機器學習模型復雜度與其“容量”（capacity）有關，而容量對模型的學 習能力有重大影響，因此，模型的學習能力與其復雜度有關。機器學習界早就知道，如 果能增強一個學習模型的復雜度，那它的學習能力往往能得到提升。怎樣提高復雜度呢？對神經網絡模型來說，很明顯有兩個辦法：把模型加“深”，或把模型加“寬”。從提升 模型復雜度的角度看，“加深”會更有效，因為簡單來說，“加寬”僅是增加了計算單元， 從而增加了基函數的數目；而在“加深”時不僅增加了基函數的數目，還增加了函數嵌 套的層數，于是泛函表達能力會更強。所以，為提升復雜度，應該把網絡“加深”。

有人可能會問，既然機器學習界早就知道能通過把神經網絡模型加深來提升學習能 力，為什么以往不這樣做呢？除了前面提到的“梯度消失”這個技術障礙，這還涉及另外一個問題：因為存在“過 擬合”（overfitting），在機器學習中把模型的學習能力變強未必一定是件好事。過擬合是 機器學習的大敵。簡單來說，給定一個數據集，機器學習希望把數據集里所包含的“一 般規律”學出來用于今后的數據對象，但有時候可能會把當前數據集本身的一些“特性” 學出來卻錯誤地當作一般規律去使用了，這就會犯錯誤，這就是過擬合。產生過擬合的重要因素之一，就是模型的學習能力太強了，把不該學的東西也學到了。所以，以往在 機器學習中都是盡量避免使用太復雜的模型。

現在為什么能使用深度神經網絡這樣的復雜模型了呢？有好幾個重要因素：首先， 現在有大數據了。機器學習中有很多緩解過擬合的策略，例如決策樹剪枝、支持向量機 正則化、神經網絡提早終止訓練等，但最簡單有效的就是使用更多的數據。比方說，數 據集中只有三千個樣本，從它里面學出來的“特性”不太可能是一般規律，但如果有三 千萬，甚至三千萬萬個樣本，那從它里面學出來的“特性”或許就已經是一般規律了。所以，現在有了大數據，我們不必再像以往那樣對復雜模型“敬而遠之”。第二，今天 有 GPU、CPU 集群等強力計算設備，使我們有足夠的算力來訓練復雜模型。第三，經過 機器學習界的努力，現在已經有很多有效訓練深度神經網絡這種復雜模型的技巧（trick）， 例如很多緩解神經網絡梯度消失的辦法。

小結一下，這套對“為什么深”的“復雜度解釋”主要強調三點：第一，今天有大 數據；第二，有強力的計算設備；第三，有很多有效的訓練技巧。這三點導致現在能夠 使用高復雜度模型，而深度神經網絡恰是一種便于實現的高復雜度模型。上面這套解釋有一定意義，例如它啟發我們從復雜度的角度來研究深度學習中的一 些機制如 dropout 等[4]。但這套解釋有個重要問題沒解決：為什么扁平的（寬的）網絡不 如深度神經網絡？因為把網絡“加寬”也能增加復雜度，雖然效率不如“加深”高。想 象一下，如果增加無限個隱層神經元，那么即便僅使用一個隱層，網絡的復雜度也可以 提升非常高，甚至超過很多深度神經網絡。然而在實踐中人們發現，“寬”的淺層網絡性 能比不上相對“窄”的深層網絡，這用復雜度難以解釋。因此，我們需要更深入一點的 思考。

我們問一個問題：深度神經網絡最重要的功用是什么？對此，機器學習界目前有一個基本共識，那就是“表示學習”（representation learning）。簡單來說，如圖 3 所示，以往我們拿到一個數據對象，比方說一幅圖像，先 要用很多特征比如說顏色、紋理等把它描述出來，這個步驟稱為“特征工程”（feature engineering），然后我們再進行分類器學習。設計特征是許多應用研究領域的重要內容， 例如計算機視覺與模式識別領域的研究中有相當一部分內容是關于設計視覺特征如 SIFT、HOG 等，而這個部分是機器學習研究所不關心的，后者主要關注相對通用、不依 賴于具體應用域的技術，以往主要是針對表示為“特征向量”的數據去做分析建模。現 在有了深度學習，只需把數據從一端扔進去，從另外一端就能得到模型，中間用到的特 征描述可以通過深度學習自己來解決，這就是所謂的“特征學習”或者表示學習。從某 種角度看，這是機器學習研究的疆域擴展到了一些應用研究領域的傳統范圍。與以往的機器學習技術相比，在應用上來說這是一個很大的進步，因為不再需要完全依賴人類專 家設計特征了，特征本身也可以跟學習器一起進行聯合優化。

進一步我們再問：對表示學習來說最關鍵的是什么？

我們的答案是：逐層加工處理。如圖 4 所示，比方說在輸入一幅圖像時，在神經網 絡最底層看到是一些像素，而一層層往上會逐步出現邊緣、輪廓等抽象級別越來越高的 描述。雖然在真實的神經網絡中未必有這么清晰的分層，但總體上確有自底向上不斷抽 象的趨勢。

事實上淺層神經網絡幾乎能做到深層神經網絡所做的別的任何事（例如提升復雜 度），唯有深度的逐層抽象這件事，它由于層數淺而做不了。我們認為，“逐層加工處理” 正是表示學習的關鍵，也是深度學習成功的關鍵因素之一。

但是在機器學習領域，逐層加工處理并不新鮮，以前已經有很多技術是在進行逐層 加工處理。例如決策樹、Boosting 都是“逐層加工處理”模型，但是與深度神經網絡相 比，它們有兩個弱點：一是模型復雜度不夠。例如決策樹，對給定數據集來說其模型深 度是受限的，假設僅考慮離散特征，則樹的深度不會超過特征的個數，不像深度神經網 絡那樣可以任意提升復雜度；二是在學習過程中缺乏特征變換，學習過程始終在同一個 特征空間中進行。我們認為這兩個因素對深度神經網絡的成功也至關重要。當我們同時考慮“逐層加工處理”和“內置特征變換”時就會發現，深度模型是非 常自然的選擇，因為基于深度模型可以容易地同時做到上面這兩點。在選用深度模型后，由于模型復雜度高、容易過擬合，所以我們要用大數據；它很 難訓練，所以我們要有訓練技巧；計算開銷大，所以我們要使用強力計算設備 …… 我們發現，這些是我們選擇深度模型之后的結果，而不是選用深度模型的原因！這跟以前 的認識不太一樣。以前認為因為具備了這些條件而導致我們能使用深度模型，現在看來 因果關系恰是反過來的。事實上，大訓練數據、訓練技巧，乃至強力計算設備都不僅限 服務于深度模型，同樣可以服務于淺層模型，因此，具備了這些條件并不必然導致深度 模型優于淺層模型。

還有一點值得一提：擁有很大的訓練數據時，需要使用復雜度高的模型，因為低復 雜度模型無法對大數據進行充分利用。比方說僅使用一個簡單的線性模型，那么有兩千 萬樣本還是兩億樣本恐怕沒有多少區別，因為模型已經“學不進去”了。而要模型有足 夠的復雜度，這又給使用深度模型加了一分，因為深度模型可以容易地通過加深層數來 提升復雜度。

小結一下，我們的討論分析導出的結論是，有三個關鍵因素：

?? 逐層加工處理

?? 內置特征變換

?? 模型復雜度夠

這是我們認為深度神經網絡能夠成功的關鍵原因，或者說是我們關于深度神經網絡 成功原因的猜想。有意思的是，這三個因素并沒有“要求”我們必須使用神經網絡模型。只要能同時做到這三點，別的模型應該也能做深度學習。

4 為何有必要探討 DNN 之外的深度模型

沒有任何模型是完美的，深度神經網絡模型也不例外。

首先，凡是用過深度神經網絡的人都知道，需花費大量的精力來調參。這會帶來很 多問題。第一，調參經驗很難共享，例如在圖像任務上調參的經驗很難在做語音任務時 借鑒。第二，今天無論是科學界還是工程技術界都非常關注研究結果的可重復性，而深 度學習恐怕是整個機器學習領域中可重復性問題最嚴重的子領域。常有這樣的情況：一 組研究人員發文章報告的結果，很難被其他研究人員重現，因為即便使用相同的數據、 相同的方法，超參數設置稍有不同就可能使結果有巨大差別。

其次，神經網絡的模型結構需要在訓練前預設。但是在任務完成前，怎么能知道模 型復雜度應該是多大呢？事實上，我們通常是在使用超過必需復雜度的網絡。深度神經 網絡的一些最新研究進展，例如網絡剪枝、權重二值化、模型壓縮等，實質上都是試圖 在訓練過程中適當減小網絡復雜度。顯然，使用過高復雜度的模型必然導致不必要地消 耗了更多計算開銷、導致對訓練樣本量不必要的高需求。有沒有可能先用一個簡單模型， 然后在學習過程中自適應地增加模型復雜度呢？遺憾的是這對神經網絡很困難，因為若 網絡結構未定，梯度求導對象在變化，那 BP 算法可就麻煩了。深度神經網絡的其他缺陷例如小數據上難以使用、黑箱模型、理論分析困難等就不 贅述了。

或許有人會說，學術創新研究可能要考慮上述問題，而對應用實踐來說只要性能好 就行，有深度神經網絡就足夠了……其實即便從應用角度來看，探討神經網絡之外的深 度學習模型也很有必要，因為雖然深度神經網絡現在很流行，但在許多任務上（例如 Kaggle 的很多數據分析競賽中）獲勝的并非深度神經網絡，而是隨機森林、XGBoost 這 些相對比較傳統的機器學習模型。事實上，目前深度神經網絡做得好的幾乎都是涉及圖 像、視頻、語音等的任務，都是典型的數值建模任務，而在其他涉及符號建模、離散建 模、混合建模的任務上，深度神經網絡的性能并沒有那么好。機器學習領域有一個著名的“沒有免費的午餐”定理[2]，它告訴我們，沒有任何一 個模型在所有任務上都優于其他模型。實際上，不同模型各有自己的適用任務范疇，深 度神經網絡也不例外。因此，有充分的理由去探討深度神經網絡之外的深度學習模型，因 為這樣的模型或許能讓我們在圖像、視頻、語音之外的更多任務上獲得深度學習的性能 紅利。

小結一下，今天我們談到的深度模型都是深度神經網絡，用技術術語來說，它是多 層可參數化可微分的非線性構件組成的模型，可以用 BP 算法來訓練。這里有兩個問題：一是現實世界中的問題多種多樣，其所涉性質并不都是可微的，或能用可微構件最優建 模的；二是機器學習領域幾十年的積累，有許多構件能作為復雜模型的基礎，其中相當 一部分是不可微的。

能否基于不可微構件來構建新型深度學習模型？這是一個基礎性挑戰問題。一旦得 到答案，就同時回答了其他一些問題，例如深度模型是否只能是深度神經網絡？是否能 不用 BP 算法訓練？有沒有可能讓深度學習在圖像、視頻、語音之外的更多數據分析任 務上發揮作用？……

我們最近在這方面進行了一些初步探索，提出了“深度森林”這種非神經網絡的新型深度學習模型[5,6]。深度森林的基礎構件是不可微的決策樹，其訓練過程不基于 BP 算 法，甚至不依賴于梯度計算。它初步驗證了上一節中關于深度學習奏效原因的猜想，即只要能做到逐層加工處理、內置特征變換、模型復雜度夠，就能構建出有效的深度學習模型，并非必須使用神經網絡。這種技術已經在大規模圖像任務（我們認為此類任務的首選技術是深度神經網絡）之外的許多任務中顯示出優秀性能，包括互聯網支付非法套現檢測等大規模數據分析任務。在一定程度上驗證了，在數值建模之外的任務上，有可能研制出新型深度學習模型來獲得更好的性能。需要注意的是，任何一種新技術要取得廣泛成功都需經過長期探索。以深度神經網 絡中最著名的卷積神經網絡為例，經過了三十來年、成千上萬研究者和工程師探索和改 進，才取得今天的成功。深度森林還在“嬰兒期”，雖然在某些問題上已得以應用，但是 不能期待它在廣泛任務上都能夠立即發揮作用。

實際上，我們以為深度森林探索的主要價值并不在于立即產生一種應用性能優越的 新算法，而是為深度學習的探索提供一個新思路。以往我們以為深度學習就是深度神經 網絡，只能基于可微構件搭建，現在我們知道了這里有更多的可能性。好比說深度學習 是一間黑屋子，里面有什么呢？以前我們都知道有深度神經網絡，并以為僅有深度神經 網絡。現在深度森林把這個屋子打開了一扇門，今后可能會涌現更多的東西。這或許是 這個探索在學科領域發展上更重要的意義。

參考文獻

[1] J. Sirignano. Deep learning models in finance. SIAM News, 2017, 50(5): 1.

[2] 周志華. 機器學習. 北京: 清華大學出版社, 2016.

[3] G. E. Hinton, S. Osindero, and Y.-W. Simon. A fast learning algorithm for deep belief nets. Neural Computation, 2006, 18(7): 1527-1554.

[4] W. Gao and Z.-H. Zhou. Dropout Rademacher complexity of deep neural networks. Science China Information Sciences, 2016, 59(7): 072104: 1-072104: 12.

[5] Z.-H. Zhou and J. Feng. Deep forest: Towards an alternative to deep neural networks. In: IJCAI, 2017: 3553-3559.

[6] Z.-H. Zhou and J. Feng. Deep forest. National Science Review, 2019.

生成模型是一類機器學習算法，它定義了圖像、序列和圖等復雜高維物體的概率分布。深度神經網絡和優化算法的最新進展顯著地增強了這些模型的能力，并重新激發了對它們的研究興趣。本課程探討深度生成模型的基本概率原理、它們的學習算法和流行的模型族，包括變分自編碼器、生成對抗網絡、自回歸模型和規范化流。本課程還涵蓋了計算機視覺、自然語言處理和生物醫學等領域的應用，并將其與強化學習領域聯系起來。

Introduction and Background Autoregressive Models Variational Autoencoders Normalizing Flow Models Energy-Based Models Generative Adversarial Networks Probabilistic Reasoning, Combining Generative Model Discreteness in Generative Modeling Evaluating Generative Models

深度生成建模是一類訓練深度神經網絡對訓練樣本分布進行建模的技術。

研究已經分成了各種相互關聯的方法，每一種方法都進行了權衡，包括運行時、多樣性和體系結構限制。

特別是，本綜述涵蓋了基于能量的模型、變分自編碼器、生成對抗網絡、自回歸模型、規格化流，以及許多混合方法。這些技術是在一個單一的內聚框架下繪制的，比較和對比來解釋每種技術背后的前提，同時回顧當前最先進的進展和實現。

引言

使用神經網絡的生成式建模起源于上世紀80年代，目的是在沒有監督的情況下學習數據，可能為標準分類任務提供好處。這是因為收集無監督學習的訓練數據自然要比收集標記數據花費更少的精力和成本，但仍然有大量可用的信息表明生成模型對于各種各樣的應用是至關重要的。

除此之外，生成模型有很多直接的應用;最近的一些工作包括圖像生成:超分辨率，文本到圖像和圖像到圖像轉換，修復，屬性操作，姿態估計; 視頻:合成與重定向;音頻:語音和音頻合成;文本:生成、翻譯;強化學習;計算機圖形學:快速渲染、紋理生成、人物運動、液體模擬;醫學:藥物合成、方式轉換;密度估計;數據增加;特征生成。

生成模型的核心思想是訓練一個生成模型，其樣本x ~ pθ(x )來自與訓練數據分布相同的分布，x ~ pd(x)。第一個神經生成模型，即基于能量的模型，通過在與似然成比例的數據點上定義能量函數來實現這一點，然而，這些模型難以縮放到復雜的高維數據，如自然圖像，并且在訓練和推理過程中都需要蒙特卡羅馬爾可夫鏈(MCMC)采樣，這是一個緩慢的迭代過程。近年來，人們對生成模型重新產生了興趣，總的來說，這是由于大型免費數據集的出現，以及通用深度學習架構和生成模型的進步，在視覺保真度和采樣速度方面開辟了新領域。在許多情況下，這是通過使用潛在變量z來實現的，這很容易從樣本和/或計算密度，而不是學習p(x, z);這就需要對未觀察到的潛在變量進行邊緣化，然而，一般來說，這很難做到。因此，生成模型通常會在執行時間、架構或優化代理功能方面進行權衡。選擇優化的對象對樣本質量有重要影響，直接優化可能性往往導致樣本質量顯著低于替代函數。

有許多綜述論文關注于特定的生成模型，如歸一化流[108]，[157]，生成對抗網絡[60]，[219]和基于能量的模型[180]，然而，這些自然地深入到各自方法的復雜性，而不是與其他方法進行比較;此外，有些人關注的是應用而不是理論。雖然最近有一個關于生成模型作為一個整體的綜述[155]，但它深入研究了一些特定的實現，而不是檢查整個領域。

本綜述提供了生成建模趨勢的全面概述，引入新的讀者到該領域，通過在單一統計框架下的方法，比較和對比，以便解釋建模決策背后的每個各自的技術。從理論上講，為了讓讀者了解最新的研究成果，本文對新舊文獻進行了討論。特別地，本調查涵蓋了基于能量的模型(第2節)、典型的單一非歸一化密度模型、變分自編碼器(第3節)、基于潛在模型的后驗的變分近似、生成對抗網絡(第4節)、在最小-最大博弈中設置的兩個模型、自回歸模型(第5節)、將模型數據分解為條件概率的產品，以及歸一化流(第6節)、使用可逆轉換的精確似然模型。這種細分被定義為與研究中的典型劃分緊密匹配，然而，存在著許多模糊這些界限的混合方法，這些將在最相關的章節中討論，或者在合適的情況下兩者都討論。

為了簡單地了解不同架構之間的差異，我們提供了表1，通過容易比較的星級評級對比了各種不同的技術。具體來說，訓練速度是根據報告的總訓練時間來評估的，因此要考慮多種因素，包括架構、每一步的函數評估數量、優化的便捷性和所涉及的隨機性;樣本速度是基于網絡速度和所需評估的數量;參數效率是由訓練數據集所需的參數總數決定的，而功能更強大的模型通常會有更多的參數，在模型類型之間與質量的相關性不強;一星-一些結構/紋理被捕捉，二星-一個場景可識別但缺少全局結構/細節，三星-重要結構被捕捉但場景看起來“怪異”，四星-與真實圖像的差別是可識別的，五星-差別是完全不可察覺的

在過去的十年里，神經網絡在視覺、語音、語言理解、醫學、機器人和游戲等領域取得了驚人的成果。人們原本以為，這種成功需要克服理論上存在的重大障礙。畢竟，深度學習優化是非凸的、高度非線性的、高維的，那么我們為什么能夠訓練這些網絡呢?在許多情況下，它們擁有的參數遠遠多于記憶數據所需的參數，那么為什么它們能夠很好地推廣呢?盡管這些主題已經占據了機器學習研究領域的大部分注意力，但當涉及到更簡單的模型時，神經網絡領域的原則是先數據訓練再說。顯然，這招奏效了。

//www.cs.toronto.edu/~rgrosse/courses/csc2541_2021/

結果，神經網絡的實際成功已經超過了我們理解它們如何工作的能力。這門課是關于開發概念工具來理解當神經網絡訓練時會發生什么。其中一些思想早在幾十年前就已經形成了(可能已經被社區的大部分人遺忘了)，而另一些思想今天才剛剛開始被理解。我將試圖傳達我們最好的現代理解，盡管它可能不完整。

這門課從優化中汲取靈感，它不是一門優化課。一方面，優化的研究通常是指令性的，從優化問題的信息和明確定義的目標(如在特定規范下快速收斂)開始，并找出保證實現該目標的計劃。對于現代神經網絡來說，分析通常是描述性的: 采用在使用的程序，并找出它們(似乎)有效的原因。希望這種理解能讓我們改進算法。

與優化研究的另一個區別是，目標不是簡單地擬合一個有限的訓練集，而是一般化。盡管神經網絡有巨大的能力，但為什么它能泛化與訓練的動態密切相關。因此，如果我們從優化中引入一個想法，我們不僅需要考慮它是否會更快地最小化成本函數，還需要考慮它是否以一種有利于泛化的方式實現。

這類應用不會為您提供在ImageNet上實現最先進性能的方法。它也不是那種為了證明定理而去證明定理的理論課。相反，我們的目的是為您提供概念性工具，以便您在任何特定情況下推斷出影響訓練的因素。

除了讓你的網絡更好地訓練之外，學習神經網絡訓練動力學的另一個重要原因是，許多現代架構本身就足夠強大，可以進行優化。這可能是因為我們在體系結構中明確地構建了優化，就像在MAML或深度均衡模型中那樣。或者，我們可能只是在大量數據上訓練一個靈活的架構，然后發現它具有驚人的推理能力，就像GPT3一樣。不管怎樣，如果網絡架構本身在優化某些東西，那么外部訓練過程就會與本課程中討論的問題糾纏在一起，不管我們喜歡與否。為了有希望理解它提出的解決方案，我們需要理解問題。因此，本課程將以雙層優化結束，利用課程中涵蓋的所有內容。

目錄內容：

• 線性回歸

我們將通過分析一個簡單的模型開始這門課，梯度下降動力學可以被精確地確定:線性回歸。盡管線性回歸很簡單，但它提供了對神經網絡訓練驚人的洞察力。我們將使用線性回歸來理解兩種神經網絡訓練現象: 為什么對輸入進行歸一化是一個好策略，以及增加維度可以減少過擬合。

• 泰勒近似

線性化是我們理解非線性系統最重要的工具之一。我們將涵蓋神經網絡的一階泰勒近似(梯度，方向導數)和二階近似(Hessian)。我們將看到如何用雅可比向量乘積有效地計算它們。我們將使用Hessian診斷緩慢收斂和解釋網絡預測。

• 度量

度量給出了流形上距離的一個局部概念。在許多情況下，兩個神經網絡之間的距離可以更有效地定義為它們所代表的函數之間的距離，而不是權重向量之間的距離。這就引出了一個重要的優化工具，叫做自然梯度。

• 二階優化

我們從幾個角度來激勵神經網絡的二階優化:最小化二階泰勒近似、預處理、不變性和近端優化。我們將看到如何使用共軛梯度或克羅內克因子近似來近似二階更新。

• 自適應梯度法、歸一化和權值衰減

我們看看已經成為神經網絡訓練的主要內容的三個算法特征。我們試圖理解它們對動力學的影響，并找出構建深度學習系統的一些陷阱。

• 無窮極限與過度參數化
• Stochastic Optimization and Scaling
• Bayesian Inference and Implicit Regularization
• Dynamical Systems and Momentum
• Differential Games
• Bilevel Optimization

這個半天的教程介紹了各種信息系統的深度貝葉斯學習的基礎知識和進展，這些信息系統包括語音識別、文檔摘要、文本分類、信息提取、圖像標題生成、句子/圖像生成、對話管理、情感分類、推薦系統、問題回答和機器翻譯等等。傳統上，“深度學習”被認為是從源輸入到目標輸出的學習過程，其推理或優化基于實值確定性模型。單詞、句子、實體、圖像、視頻、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能無法很好地表達或正確地優化。自然句子或圖像的離散或連續潛變量模型中的“分布函數”可能無法得到適當的分解和估計。為了滿足源域和目標域的要求，遷移學習需要系統和精細的遷移學習。本教程介紹了統計模型和神經網絡的基本知識，重點介紹了一系列高級貝葉斯模型和深度模型，包括變分自動編碼器(VAE)、隨機時間卷積網絡、隨機循環神經網絡、序列到序列模型、注意機制、記憶增強神經網絡、跳躍神經網絡、時間差異VAE、預測狀態神經網絡和生成或歸一化流。改進了先驗/后驗表示。我們將介紹這些模型是如何連接的，以及為什么它們在時間和空間數據的符號和復雜模式的信息和知識管理中起作用。為解決復雜模型的優化問題，提出了變分推理和抽樣方法。詞語嵌入、句子嵌入和圖像嵌入在結構或語義約束下合并。針對神經貝葉斯信息處理中的不同問題，提出了一系列的案例研究。最后，提出了今后研究的方向和展望。本教程的目的是向初學者介紹深度貝葉斯學習的主要主題，激發和解釋一個對數據挖掘和信息檢索日益重要的主題，并提出一個新的結合不同的機器學習工作的綜合。

本教程由五個部分組成。首先介紹了統計建模、深度神經網絡、信息處理和數據挖掘等方面的研究現狀，并說明了離散值觀測數據和潛在語義的深度貝葉斯學習的關鍵問題。現代神經信息模型的介紹，以解決數據分析是如何執行從語言處理到記憶網絡，語義理解和知識學習。其次，我們討論了從潛變量模型到變分推理、抽樣方法、深層展開、遷移學習和對抗性學習等現代學習理論。第三部分介紹了記憶網絡、序列到序列學習、卷積網絡、遞歸網絡、注意網絡、Transformer和BERT等一系列深度模型。接下來，第四部分重點介紹了各種高級研究，這些研究說明了如何開發深度貝葉斯學習來推斷復雜的遞歸模型，用于序列信息處理。特別是將貝葉斯遞歸網絡、VAE、神經變分學習、神經離散表示、隨機時間神經網絡、馬爾可夫遞歸神經網絡和時間差神經網絡引入到各種信息系統中，為閱讀理解、句子生成、對話系統、問題回答、機器翻譯和狀態預測等各種實際任務打開了一個窗口。研究了基于歸一化流和后驗變分混合的變分推理方法。補償了變分順序學習中的后塌陷問題。源輸入和目標輸出之間的滿足被追求和優化。在文章的最后，我們重點討論了深入貝葉斯挖掘和理解的一些未來方向，以應對大數據、異構條件和動態系統的挑戰。特別強調了深度學習、結構學習、時空建模、長歷史表征和隨機學習。