摘要：
本文將優化描述為一個過程。在許多實際應用中，環境是如此復雜，以致于無法制定一個全面的理論模型，并使用經典算法理論和數學優化。采取一種穩健的方法是必要的，也是有益的，方法是應用一種不斷學習的優化方法，在觀察到問題的更多方面時從經驗中學習。這種將優化視為一個過程的觀點在各個領域都很突出，并在建模和系統方面取得了一些驚人的成功，現在它們已經成為我們日常生活的一部分。
作者介紹：
Elad Hazan是普林斯頓大學計算機科學教授。他于2015年從Technion畢業，當時他是該校運籌學副教授。他的研究重點是機器學習和優化的基本問題的算法設計和分析。他的貢獻包括合作開發用于訓練學習機器的AdaGrad算法，以及第一個用于凸優化的次線性時間算法。他曾(兩次)獲得2012年IBM Goldberg最佳論文獎，以表彰他對機器學習的次線性時間算法的貢獻。2008年，他還獲得了歐洲研究理事會(European Research Council)的一筆撥款、瑪麗?居里(Marie Curie)獎學金和谷歌研究獎(兩次)。他是計算學習協會的指導委員會成員，并擔任COLT 2015的項目主席。
付費5元查看完整內容
相關內容
本課程從數據科學的角度介紹概率論與統計的基本概念。目的是熟悉在數據分析中廣泛使用的概率模型和統計方法。
付費5元查看完整內容
【導讀】深度學習中的優化問題是非常關鍵的。今年國立臺灣大學教授、IEEE Fellow、ACM Fellow、AAAI Fellow，也是大名鼎鼎LIBSVM作者林智仁教授開設了《深度學習優化方法》課程，講解深度學習涉及到非常難的非凸優化問題，研究了深度學習優化方法的實現，值得跟蹤學習。
//www.csie.ntu.edu.tw/~cjlin/courses/optdl2020/
Chih-Jen Lin，現任臺灣大學計算機科學系特聘教授。1993年獲國立臺灣大學學士學位，1998年獲密歇根大學博士學位。他的主要研究領域包括機器學習、數據挖掘和數值優化。他最著名的工作是支持向量機(SVM)數據分類。他的軟件LIBSVM是最廣泛使用和引用的支持向量機軟件包之一。由于他的研究工作，他獲得了許多獎項，包括ACM KDD 2010和ACM RecSys 2013最佳論文獎。因為他對機器學習算法和軟件設計的貢獻，他是IEEE fellow，AAAI fellow，ACM fellow。更多關于他的信息可以在
目錄內容：
- 正則化線性分類
- 全連接網絡優化問題
- 卷積神經網絡優化問題
付費5元查看完整內容
強化學習是現在人工智能領域里面最活躍的研究領域之一，它是一種用于學習的計算方法，其中會有一個代理在與復雜的不確定環境交互時試圖最大化其所收到的獎勵。現在，如果你是一個強化學習的初學者，由 Richard Sutton 和 Andrew Barto 合著的《Reinforcement Learning : An Introduction》可能就是你的最佳選擇。這本書提供了關于強化學習的簡單明了的關鍵思想和算法的解釋。他們討論了該領域的知識基礎的歷史延伸到了最新的發展的應用。
本書全文共分三部分，17章內容
-
第一部分：列表（Tabular）解決法，第一章描述了強化學習問題具體案例的解決方案，第二章描述了貫穿全書的一般問題制定——有限馬爾科夫決策過程，其主要思想包括貝爾曼方程（Bellman equation）和價值函數，第三、四、五章介紹了解決有限馬爾科夫決策問題的三類基本方法：動態編程，蒙特卡洛方法、時序差分學習。三者各有其優缺點，第六、七章介紹了上述三類方法如何結合在一起進而達到最佳效果。第六章中介紹了可使用適合度軌跡（eligibility traces）把蒙特卡洛方法和時序差分學習的優勢整合起來。第七章中表明時序差分學習可與模型學習和規劃方法（比如動態編程）結合起來，獲得一個解決列表強化學習問題的完整而統一的方案。
-
第二部分：近似求解法，從某種程度上講只需要將強化學習方法和已有的泛化方法結合起來。泛化方法通常稱為函數逼近，從理論上看，在這些領域中研究過的任何方法都可以用作強化學習算法中的函數逼近器，雖然實際上有些方法比起其它更加適用于強化學習。在強化學習中使用函數逼近涉及一些在傳統的監督學習中不常出現的新問題，比如非穩定性（nonstationarity）、引導（bootstrapping）和目標延遲（delayed targets）。這部分的五章中先后介紹這些以及其它問題。首先集中討論在線（on-policy）訓練，而在第九章中的預測案例其策略是給定的，只有其價值函數是近似的，在第十章中的控制案例中最優策略的一個近似已經找到。第十一章討論函數逼近的離線（off-policy）學習的困難。第十二章將介紹和分析適合度軌跡（eligibility traces）的算法機制，它能在多個案例中顯著優化多步強化學習方法的計算特性。這一部分的最后一章將探索一種不同的控制、策略梯度的方法，它能直接逼近最優策略且完全不需要設定近似值函數（雖然如果使用了一個逼近價值函數，效率會高得多）。
-
第三部分：深層次研究，這部分把眼光放到第一、二部分中介紹標準的強化學習思想之外，簡單地概述它們和心理學以及神經科學的關系，討論一個強化學習應用的采樣過程，和一些未來的強化學習研究的活躍前沿。
付費5元查看完整內容
統計學習是一套以復雜數據建模和數據理解為目的的工具集，是近期才發展起來的統計學的一個新領域。本書出自統計學習領域聲名顯赫的幾位專家，結合R語言介紹了分析大數據必不可少的工具，提供一些重要的建模和預測技術，并借助豐富的實驗來解釋如何用R語言實現統計學習方法。論題包括線性回歸、分類、重抽樣方法、壓縮方法、基于樹的方法、支持向量機、聚類等，作者借助彩圖和實際案例直觀解釋這些方法。為了讀者更好地理解書中內容，每章后還配有豐富的概念性和應用性練習題。
書中內容與《The Elements of Statistical Learning》的大部分內容相同，但是本書起點低，弱化了數學推導的細節，更注重方法的應用，所以更適合作為入門教材。當然，這本《統計學習導論》不僅是優秀的“統計學習”或“機器學習”課程的教材，也是數據挖掘、數據分析等相關從業者不可或缺的參考書。
Gareth James 斯坦福大學統計學博士畢業，師從Trevor Hastie。現為南加州大學馬歇爾商學院統計學教授，美國統計學會會士，數理統計協會終身會員，新西蘭統計協會會員。《Statistica Sinica》、《Applications and Case Studies》、《Theory and Methods》等期刊的副主編。
Daniela Witten 斯坦福大學統計學博士畢業，師從Robert Tibshirani。現為華盛頓大學生物統計學副教授，美國統計學會和國際數理統計協會會士，《Journal of Computational and Graphical Statistics》和《Biometrika》等期刊副主編。
Trevor Hastie 美國統計學家和計算機科學家，斯坦福大學統計學教授，英國皇家統計學會、國際數理統計協會和美國統計學會會士。Hastie參與開發了 R 中的大部分統計建模軟件和環境，發明了主曲線和主曲面。
Robert Tibshirani 斯坦福大學統計學教授，國際數理統計協會、美國統計學會和加拿大皇家學會會士，1996年COPSS總統獎得主，提出lasso方法。Hastie和Tibshirani都是統計學習領域的泰山北斗，兩人合著《The Elements of Statistical Learning》，還合作講授斯坦福大學的公開課《統計學習》。
付費5元查看完整內容
康奈爾大學Jon Kleinberg 與éva Tardos 兩位著名教授編著的算法設計《Algorithm Design》是關于算法經典的教科書。在普林斯頓大學wayne個人主頁下配備了關于算法設計的相關課件，以及電子書864頁pdf，值得查看學習。
算法設計通過觀察激發算法的現實問題來引入算法。這本書教學生在計算應用中出現的問題的一系列設計和分析技術。本文鼓勵對算法設計過程的理解和算法在更廣泛的計算機科學領域的作用的欣賞。
目錄：
Algorithm Design
-
Representative Problems
-
Algorithm Analysis
-
Graphs
-
Greedy Algorithms
-
Divide and Conquer
-
Dynamic Programming
-
Network Flow
-
Intractability
-
PSPACE
-
Limits of Tractability
-
Approximation Algorithms
-
Local Search
-
Randomized Algorithms
Extra Topics
Data Structures
Linear Programming
算法設計課件
算法設計 電子書
付費5元查看完整內容
簡介： 作者通過在線凸優化的現代觀點介紹在線學習的基本概念。這里，在線學習是指在最壞情況下的假設中將regret最小化的框架。作者介紹了在歐幾里得和非歐幾里得設置下具有凸損失的在線學習的一階和二階算法。清楚地表示了所有算法，以表示Online Mirror Descent或遵循正規領導及其變體。通過自適應和無參數的在線學習算法，特別關注調整算法參數和在無界域中學習的問題。非凸損失通過凸智能損失和隨機化處理。還簡要討論了非凸的情況，這些說明不需要先有凸分析的知識，并且對所有所需的數學工具進行了嚴格的解釋。而且，所有的防護措施都經過仔細選擇，以使其盡可能的簡單。
作者介紹： Francesco Orabona，目前是波士頓大學電氣與計算機工程系的助理教授， 之前，曾在石溪大學，紐約雅虎研究中心，芝加哥的豐田技術學院，米蘭大學，IDIAP研究所和熱那亞大學任教。研究興趣是無參數機器學習，尤其對在線學習，批處理/隨機優化和統計學習理論感興趣。個人主頁：
目錄：
付費5元查看完整內容
主題： Algorithmic Machine Learning and Data Science
介紹： 本課程數學嚴謹，需要以前的機器學習課程（例如CS-UY 4563、CS-GY 6923或ECE-GY 6143）和以前的算法設計和分析課程（例如CS-UY 2413、CS-GY 6033或CS-GY 6043）為基礎。
講師介紹： Christopher Musco，紐約大學坦頓工程學院計算機科學與工程的助理教授。他的研究是關于機器學習和數據科學的算法基礎。他在麻省理工學院完成了計算機科學博士學位。在麻省理工學院之前，他是Redfin的工程師。
付費5元查看完整內容
普林斯頓大學在19年春季學期,開設了COS 598D《機器學習優化》課程，課程主要介紹機器學習中出現的優化問題，以及解決這些問題的有效算法。前不久，課程教授Elad Hazan將其精心準備的課程講義開放了出來，講義內容詳實循序漸進，非常適合想要入門機器學習的同學閱讀。
COS 598D：Optimization for Machine Learning（機器學習優化）是普林斯頓大學在19年春季學期開設的課程。課程主要介紹機器學習中出現的優化問題，以及解決這些問題的有效算法。
課程內容涵蓋：
- Introduction to convex analysis
- first-order methods, convergence analysis
- generalization and regret minimization
- regularization
- gradient descent++:
- acceleration
- variance reduction
- adaptive preconditioning
- 2nd order methods in linear time
- projection-free methods and the Frank-Wolfe algorithm
- zero-order optimization, convex bandit optimization
- optimization for deep learning: large scale non-convex optimization
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191