題目： Optimization for deep learning: theory and algorithms
摘要：
什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸、消失問題，然后討論了實際的解決方案，包括初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法以及這些算法的理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、無限寬度分析。
作者：
Ruoyu Sun是伊利諾伊大學厄本那香檳分校 (UIUC)電子與計算機工程系的助理教授，研究優化和機器學習，尤其是深度學習。最近，一直在研究深度學習中的最優化，例如神經網絡，GANs和Adam。
摘要
什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然后討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。
- 概述
本文的一個主要主題是了解成功訓練神經網絡的實際組成部分，以及可能導致訓練失敗的因素。假設你在1980年試圖用神經網絡解決一個圖像分類問題。如果你想從頭開始訓練一個神經網絡，很可能你最初的幾次嘗試都沒有得到合理的結果。什么本質的變化使算法能有效進行?在高層次上，你需要三樣東西(除了強大的硬件): 合適的神經網絡、合適的訓練算法和合適的訓練技巧。
合適的神經網絡。這包括神經結構和激活功能。對于神經結構，您可能想要用一個至少有5層和足夠神經元的卷積網絡來替換一個完全連接的網絡。為了獲得更好的性能，您可能希望將深度增加到20甚至100，并添加跳躍skip連接。對于激活函數，一個好的起點是ReLU激活，但是使用tanh或swish激活也是合理的。
訓練算法。一個大的選擇是使用隨機版本的梯度下降(SGD)并堅持它。良好調整的步長足夠好，而動量和自適應步長可以提供額外的好處。
訓練技巧。適當的初始化對于算法的訓練是非常重要的。要訓練一個超過10層的網絡，通常需要兩個額外的技巧:添加規范化層和添加跳過連接。
哪些設計選擇是必要的?目前我們已經了解了一些設計選擇，包括初始化策略、規范化方法、跳過連接、參數化(大寬度)和SGD，如圖1所示。我們將優化優勢大致分為三部分: 控制Lipschitz常數、更快的收斂速度和更好的landscape。還有許多其他的設計選擇是很難理解的，尤其是神經架構。無論如何，似乎不可能理解這個復雜系統的每個部分，目前的理解已經可以提供一些有用的見解。
圖1: 成功訓練具有理論理解的神經網絡的幾個主要設計選擇。它們對算法收斂的三個方面有影響:使收斂成為可能、更快的收斂和更好的全局解。這三個方面有一定的聯系，只是一個粗略的分類。請注意，還有其他一些重要的設計選擇，特別是神經體系結構，它們在理論上還沒有被理解，因此在該圖中被省略了。還有其他好處，比如泛化，也被忽略了。
為了使綜述調查簡單，我們將重點研究前饋神經網絡的監督學習問題。我們將不討論更復雜的公式，如GANs(生成對抗網絡)和深度強化學習，也不討論更復雜的體系結構，如RNN(遞歸神經網絡)、attention和Capsule。在更廣泛的背景下，監督學習理論至少包含表示、優化和泛化(參見1.1節)，我們不詳細討論表示和泛化。一個主要的目標是理解神經網絡結構(由許多變量連接的參數化)如何影響優化算法的設計和分析，這可能會超越監督學習。
這篇文章是為那些對神經網絡優化的理論理解感興趣的研究人員寫的。關于優化方法和基礎理論的先驗知識將非常有幫助(參見，[24,200,29]的準備)。現有的關于深度學習優化的調查主要針對一般的機器學習受眾，如Goodfellow等[76]的第8章。這些綜述通常不深入討論優化的理論方面。相反，在這篇文章中，我們更多地強調理論結果，同時努力使它對非理論讀者具有可訪問性。如果可能的話，我們將提供一些簡單的例子來說明這種直覺，我們將不解釋定理的細節。
1.1 大景觀：分解理論
分解是發展理論的一個有用且流行的元方法。首先簡要回顧了優化在機器學習中的作用，然后討論了如何分解深度學習的優化理論。
表示、優化和泛化。監督學習的目標是根據觀察到的樣本找到一個近似底層函數的函數。第一步是找到一個豐富的函數家族(如神經網絡)，可以代表理想的函數。第二步是通過最小化某個損失函數來識別函數的參數。第三步是使用第二步中找到的函數對不可見的測試數據進行預測，產生的錯誤稱為測試錯誤。測試誤差可以分解為表示誤差、優化誤差和泛化誤差，分別對應這三個步驟引起的誤差。
在機器學習中，表示、優化和泛化這三個學科經常被分開研究。例如，在研究一類函數的表示能力時，我們往往不關心優化問題能否很好地解決。在研究泛化誤差時，我們通常假設已經找到了全局最優值(概化調查見[95])。類似地，在研究優化屬性時，我們通常不明確地考慮泛化誤差(但有時我們假定表示誤差為零)。
優化問題的分解。深度學習的優化問題比較復雜，需要進一步分解。優化的發展可以分為三個步驟。第一步是使算法開始運行，并收斂到一個合理的解，如一個固定點。第二步是使算法盡快收斂。第三步是確保算法收斂到一個低目標值的解(如全局極小值)。要獲得良好的測試精度，還有一個額外的步驟，但是這超出了優化的范圍。簡而言之，我們將優化問題分為三個部分: 收斂性、收斂速度和全局質量。
大部分工作的回顧分為三個部分: 第四部分，第五部分和第六部分。大致說來，每個部分主要是由優化理論的三個部分之一。然而，這種劃分并不精確，因為這三個部分之間的邊界是模糊的。例如，第4節中討論的一些技術也可以提高收斂速度，第6節中的一些結果解決了收斂問題和全局問題。劃分的另一個原因是它們代表了神經網絡優化的三個相當獨立的子領域，并且在一定程度上是獨立發展的。
1.2 文章結構
這篇文章的結構如下。在第二節中，我們提出了一個典型的監督學習神經網絡優化問題。在第三節中，我們提出了反向傳播(BP)，并分析了將經典收斂分析應用于神經網絡梯度下降的困難。在第四節中，我們將討論訓練神經網絡的神經網絡特定技巧，以及一些基本理論。這些是神經網絡相關的方法，打開了神經網絡的黑盒子。特別地，我們討論了一個主要的挑戰，稱為梯度爆炸/消失和一個更普遍的挑戰，控制頻譜，并回顧了主要的解決方案，如仔細的初始化和歸一化方法。在第五節中，我們討論了將神經網絡視為一般非凸優化問題的泛型算法設計。特別地，我們回顧了SGD的各種學習速率調度、自適應梯度方法、大規模分布式訓練、二階方法以及現有的收斂和迭代復雜度結果。在第六節中，我們回顧了神經網絡的全局優化研究，包括全局景觀、模式連接、彩票假設和無限寬度分析(如神經正切核)。
?
更多請下載論文查看
便捷下載，請關注專知公眾號（點擊上方藍色專知關注）
后臺回復“
付費5元查看完整內容
相關內容
人工神經網絡（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經元網絡進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網絡。在工程與學術界也常直接簡稱為神經網絡或類神經網絡。神經網絡是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。
最近十多年來，人工神經網絡的研究工作不斷深入，已經取得了很大的進展，其在模式識別、智能機器人、自動控制、預測估計、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題，表現出了良好的智能特性。
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮)，它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的，因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
付費5元查看完整內容
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮)，它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的，因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
付費5元查看完整內容
主題： Hyper-Parameter Optimization: A Review of Algorithms and Applications
摘要： 自深度神經網絡發展以來，它們為人們的日常生活做出了巨大的貢獻。機器學習在日常生活的方方面面提供了比人類所能提供的更合理的建議。然而，盡管取得了這一成就，神經網絡的設計和訓練仍然具有挑戰性和不可預測的過程，這些過程被稱為煉金術。為了降低普通用戶的技術門檻，自動化超參數優化（HPO）已成為學術界和工業界的熱門話題。本文對高性能氧最基本的課題進行了綜述。第一節介紹了與模型訓練和結構有關的關鍵超參數，并討論了它們的重要性和定義取值范圍的方法。然后，重點研究了主要的優化算法及其適用性，包括它們的效率和精度，特別是對于深度學習網絡。本研究接下來回顧了HPO的主要服務和工具包，比較了它們對最新搜索算法的支持、與主要深度學習框架的可行性以及用戶設計的新模塊的可擴展性。本文總結了HPO應用于深度學習中存在的問題，優化算法的比較，以及在計算資源有限的情況下模型評估的突出方法。
付費5元查看完整內容
主題: On the information bottleneck theory of deep learning
摘要： 深度神經網絡的實際成功并沒有得到令人滿意地解釋其行為的理論進展。在這項工作中，我們研究了深度學習的信息瓶頸理論，它提出了三個具體的主張：第一，深度網絡經歷了兩個不同的階段，分別是初始擬合階段和隨后的壓縮階段；第二，壓縮階段與深網絡良好的泛化性能有著因果關系；第三，壓縮階段是由隨機梯度下降的類擴散行為引起的。在這里，我們證明這些聲明在一般情況下都不成立，而是反映了在確定性網絡中計算有限互信息度量的假設。當使用簡單的binning進行計算時，我們通過分析結果和模擬的結合證明，在先前工作中觀察到的信息平面軌跡主要是所采用的神經非線性的函數：當神經激活進入飽和時，雙邊飽和非線性如產生壓縮相但線性激活函數和單邊飽和非線性（如廣泛使用的ReLU）實際上沒有。此外，我們發現壓縮和泛化之間沒有明顯的因果關系：不壓縮的網絡仍然能夠泛化，反之亦然。接下來，我們表明，壓縮階段，當它存在時，不產生從隨機性在訓練中，通過證明我們可以復制IB發現使用全批梯度下降，而不是隨機梯度下降。最后，我們證明當輸入域由任務相關信息和任務無關信息的子集組成時，隱藏表示確實壓縮了任務無關信息，盡管輸入的總體信息可能隨著訓練時間單調增加，并且這種壓縮與擬合過程同時發生而不是在隨后的壓縮期間。
付費5元查看完整內容
When and why can a neural network be successfully trained? This article provides an overview of optimization algorithms and theory for training neural networks. First, we discuss the issue of gradient explosion/vanishing and the more general issue of undesirable spectrum, and then discuss practical solutions including careful initialization and normalization methods. Second, we review generic optimization methods used in training neural networks, such as SGD, adaptive gradient methods and distributed methods, and theoretical results for these algorithms. Third, we review existing research on the global issues of neural network training, including results on bad local minima, mode connectivity, lottery ticket hypothesis and infinite-width analysis.
題目： Reinforcement Learning:Theory and Algorithms
簡介：
強化學習是近幾年研究的熱點，特別是伴隨DeepMind AlphaGo的出現名聲大噪。強化學習(RL)是一種機器學習范式，在這種范式中，agent從經驗中學習完成順序決策任務，RL在機器人、控制、對話系統、醫療等領域有廣泛的應用。《強化學習：理論與算法》這本書講述了強化學習最新進展，包括MDP、樣本復雜度、策略探索、PG、值函數等關鍵議題，是了解強化學習的材料。
章節：
- 第一章：馬爾科夫決策過程MDP 預介紹
- 第二章：生成模型的樣本復雜度
- 第三章：強化學習的策略探索
- 第四章：策略梯度方法
- 第五章：值函數近似
- 第六章：RL的戰略探索和豐富的觀測資料
- 第七章：行為克隆和學徒學習
作者簡介：
Alekh Agarwal目前是微軟人工智能研究中心的研究員，領導強化學習研究小組。之前，在加州大學伯克利分校獲得計算機科學博士學位后，與彼得·巴特利特(Peter Bartlett)和馬丁·溫賴特(Martin Wainwright)一起在紐約微軟研究院(Microsoft Research)度過了六年美好的時光。
姜楠，UIUC助理教授，機器學習研究員。核心研究領域是強化學習(RL)，關注于RL的樣本效率，并利用統計學習理論中的思想來分析和開發RL算法。
沙姆·卡卡德(Sham M. Kakade)是華盛頓研究基金會(Washington Research Foundation)數據科學主席，同時在華盛頓大學(University of Washington)艾倫學院(Allen School)和統計學系任職。他致力于機器學習的理論基礎，專注于設計(和實現)統計和計算效率的算法。
付費5元查看完整內容
[付費5元查看完整內容]【電子書】理解機器學習：從理論到算法（Understanding Machine Learning: From Theory to Algorithms）449頁PDF免費下載
機器學習是計算機科學發展最快的領域之一，有著廣泛的應用。這本教科書的目的是以一種有原則的方式介紹機器學習和它提供的算法范例。這本書提供了一個基本的理論基礎的機器學習和數學推導，將這些原則轉化為實際的算法。在介紹了基礎知識之后，這本書涵蓋了以前教科書沒有涉及到的一系列廣泛的中心主題。這些包括討論學習的計算復雜性和凸性和穩定性的概念;重要的算法范例包括隨機梯度下降、神經網絡和結構化輸出學習;以及新興的理論概念，如PAC-Bayes方法和基于壓縮的邊界。為高級本科生或剛開始的研究生設計，文本使學生和非專業讀者在統計，計算機科學，數學和工程的機器學習的基礎和算法。
付費5元查看完整內容
報告主題： Scalable Deep Learning: from theory to practice
簡介：
人工智能的一個基本任務是學習。深度神經網絡已被證明可以完美地應對所有的學習范式，即監督學習、非監督學習和強化學習。然而，傳統的深度學習方法利用云計算設施不能很好地擴展到計算資源少的自主代理。即使在云計算中，它們也受到計算和內存的限制，不能用于為假定網絡中有數十億神經元的代理建立適當的大型物理世界模型。這些問題在過去幾年通過可擴展和高效的深度學習的新興主題得到了解決。本教程涵蓋了這些主題，重點是理論進步、實際應用和實踐經驗，分為兩部分。
-
第一部分 -可擴展的深度學習:從修剪到演化。
本教程的第一部分側重于理論。首先修正目前有多少代理使用深度神經網絡。然后介紹了神經網絡的基本概念，并從功能和拓撲的角度將人工神經網絡與生物神經網絡進行了比較。我們接著介紹了90年代早期的第一篇關于高效神經網絡的論文，這些論文使用稀疏執行或基于不同顯著性標準的全連通網絡的權值剪枝。然后，我們回顧了近年來一些從全連通網絡出發，利用剪枝再訓練循環壓縮深度神經網絡，使其在推理階段更有效的工作。然后我們討論另一種方法，即增強拓撲的神經進化及其后續，使用進化計算來增長有效的深度神經網絡。
-
第二部分:可擴展的深度學習:深度強化學習
到目前為止，一切都是在監督和非監督學習的背景下討論的。在此基礎上，我們引入了深度強化學習，為可擴展的深度強化學習奠定了基礎。我們描述了在深度強化學習領域的一些最新進展，這些進展可以用來提高強化學習主體在面對動態變化的環境時的性能，就像在能量系統中經常出現的情況一樣。
邀請嘉賓：
Decebal Constantin Mocanu是埃因霍芬理工大學(TU/e)數學與計算機科學系數據挖掘組人工智能與機器學習助理教授(2017年9月至今)，TU/e青年工程院院士。他的研究興趣是利用網絡科學、進化計算、優化和神經科學的原理，構想可擴展的深度人工神經網絡模型及其相應的學習算法。
Elena Mocanu是特溫特大學(University of Twente)數據科學小組的機器學習助理教授，也是艾恩德霍芬理工大學(Eindhoven University of Technology)的研究員。2013年10月，埃琳娜在德國理工大學開始了她在機器學習和智能電網方面的博士研究。2015年1月，她在丹麥技術大學進行了短暫的研究訪問，2016年1月至4月，她是美國奧斯汀德克薩斯大學的訪問研究員。2017年，埃琳娜在德國理工大學獲得了機器學習和智能電網的哲學博士學位。
Damien Ernst目前在列日大學(University of Liege)擔任全職教授。在列日大學獲得碩士學位，博士后研究期間，由FNRS資助，在CMU、美國麻省理工學院和蘇黎世聯邦理工學院度過。他現在正在做能源和人工智能領域的研究。
付費5元查看完整內容
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
We propose accelerated randomized coordinate descent algorithms for stochastic optimization and online learning. Our algorithms have significantly less per-iteration complexity than the known accelerated gradient algorithms. The proposed algorithms for online learning have better regret performance than the known randomized online coordinate descent algorithms. Furthermore, the proposed algorithms for stochastic optimization exhibit as good convergence rates as the best known randomized coordinate descent algorithms. We also show simulation results to demonstrate performance of the proposed algorithms.
This paper presents a new multi-objective deep reinforcement learning (MODRL) framework based on deep Q-networks. We propose the use of linear and non-linear methods to develop the MODRL framework that includes both single-policy and multi-policy strategies. The experimental results on two benchmark problems including the two-objective deep sea treasure environment and the three-objective mountain car problem indicate that the proposed framework is able to converge to the optimal Pareto solutions effectively. The proposed framework is generic, which allows implementation of different deep reinforcement learning algorithms in different complex environments. This therefore overcomes many difficulties involved with standard multi-objective reinforcement learning (MORL) methods existing in the current literature. The framework creates a platform as a testbed environment to develop methods for solving various problems associated with the current MORL. Details of the framework implementation can be referred to //www.deakin.edu.au/~thanhthi/drl.htm.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191