普林斯頓大學在19年春季學期,開設了COS 598D《機器學習優化》課程，課程主要介紹機器學習中出現的優化問題，以及解決這些問題的有效算法。前不久，課程教授Elad Hazan將其精心準備的課程講義開放了出來，講義內容詳實循序漸進，非常適合想要入門機器學習的同學閱讀。
COS 598D：Optimization for Machine Learning（機器學習優化）是普林斯頓大學在19年春季學期開設的課程。課程主要介紹機器學習中出現的優化問題，以及解決這些問題的有效算法。
課程內容涵蓋：
- Introduction to convex analysis
- first-order methods, convergence analysis
- generalization and regret minimization
- regularization
- gradient descent++:
- acceleration
- variance reduction
- adaptive preconditioning
- 2nd order methods in linear time
- projection-free methods and the Frank-Wolfe algorithm
- zero-order optimization, convex bandit optimization
- optimization for deep learning: large scale non-convex optimization
付費5元查看完整內容
相關內容
摘要：
本文將優化描述為一個過程。在許多實際應用中，環境是如此復雜，以致于無法制定一個全面的理論模型，并使用經典算法理論和數學優化。采取一種穩健的方法是必要的，也是有益的，方法是應用一種不斷學習的優化方法，在觀察到問題的更多方面時從經驗中學習。這種將優化視為一個過程的觀點在各個領域都很突出，并在建模和系統方面取得了一些驚人的成功，現在它們已經成為我們日常生活的一部分。
作者介紹：
Elad Hazan是普林斯頓大學計算機科學教授。他于2015年從Technion畢業，當時他是該校運籌學副教授。他的研究重點是機器學習和優化的基本問題的算法設計和分析。他的貢獻包括合作開發用于訓練學習機器的AdaGrad算法，以及第一個用于凸優化的次線性時間算法。他曾(兩次)獲得2012年IBM Goldberg最佳論文獎，以表彰他對機器學習的次線性時間算法的貢獻。2008年，他還獲得了歐洲研究理事會(European Research Council)的一筆撥款、瑪麗?居里(Marie Curie)獎學金和谷歌研究獎(兩次)。他是計算學習協會的指導委員會成員，并擔任COLT 2015的項目主席。
付費5元查看完整內容
【導讀】2020新年伊始，多倫多大學Amir-massoud Farahmand和Emad A. M. Andrews博士開設了機器學習導論課程，介紹了機器學習的主要概念和思想，并概述了許多常用的機器學習算法。它還可以作為更高級的ML課程的基礎。
課程地址：
//amfarahmand.github.io/csc311/
機器學習(ML)是一組技術，它允許計算機從數據和經驗中學習，而不需要人工指定所需的行為。ML在人工智能作為一個學術領域和工業領域都變得越來越重要。本課程介紹了機器學習的主要概念和思想，并概述了許多常用的機器學習算法。它還可以作為更高級的ML課程的基礎。
本課程結束時，學生將學習(大致分類)
-
機器學習問題:監督(回歸和分類)，非監督(聚類，降維)，強化學習
-
模型:線性和非線性(基擴展和神經網絡)
-
損失函數:平方損失、交叉熵、鉸鏈、指數等。
-
Regularizers: l1和l2
-
概率觀點:最大似然估計，最大后驗，貝葉斯推理
-
偏差和方差的權衡
-
集成方法:Bagging 和 Boosting
-
ML中的優化技術: 梯度下降法和隨機梯度下降法
課程目錄：
參考資料：
(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.
(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.
(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.
(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning
(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.
(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.
() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.
(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.
付費5元查看完整內容
課程簡介： 本課程將向學生介紹NLP的基礎知識，涵蓋處理自然語言的標準框架以及解決各種NLP問題的算法和技術，包括最新的深度學習方法。 涵蓋的主題包括語言建模，表示學習，文本分類，序列標記，語法解析，機器翻譯，問題解答等。
課程安排：
- 概述與簡介
- 語言模型
- 文本分類
- 線性模型
- 詞嵌入
- 神經網絡基礎
- 序列模型
- EM模型
- RNN神經語言模型
- 解析介紹
- 機器翻譯
- 神經機器翻譯
- 文本詞嵌入
- 問答系統
- 對話系統
- 嘉賓講座
嘉賓介紹：
陳丹琦，普林斯頓大學計算機科學的助理教授，在此之前，是西雅圖Facebook AI Research（FAIR）的訪問科學家。 斯坦福大學計算機科學系獲得博士學位，并在斯坦福NLP集團工作。研究方向：自然語言處理，文本理解、知識解釋。
Karthik Narasimhan，普林斯頓大學計算機科學系助理教授，研究跨越自然語言處理和強化學習。
付費5元查看完整內容
課程介紹
在人工智能、統計學、計算機系統、計算機視覺、自然語言處理和計算生物學等許多領域中的問題，都可以被視為從局部信息中尋找一致的全局結論。概率圖模型框架為這些普遍問題提供了統一的視角解決方案，支持在具有大量屬性和龐大數據集的問題中進行有效的推理、決策和學習。本研究生課程將為您運用圖模型到復雜的問題和解決圖模型的核心研究課題提供堅實的基礎。
課程大綱
- 模塊1 - 簡介，表示形式和精確推斷
- 模塊2 - 近似推斷
- 模塊3 - 深度學習和生成模型
- 模塊4 - 通過GM中的推理進行強化學習和控制
- 模塊5 - 非參數方法
- 模塊6 - 模塊化和可擴展的算法和系統
講師：邢波
講師簡介
邢波，卡耐基梅隆大學教授，曾于2014年擔任國際機器學習大會（ICML）主席。主要研究興趣集中在機器學習和統計學習方法論及理論的發展，和大規模計算系統和架構的開發。他創辦了Petuum 公司，這是一家專注于人工智能和機器學習的解決方案研發的公司，騰訊曾投資了這家公司。
個人主頁：
付費5元查看完整內容
本課程涵蓋了機器學習和統計建模方面的廣泛主題。 雖然將涵蓋數學方法和理論方面，但主要目標是為學生提供解決實際中發現的數據科學問題所需的工具和原理。 本課程還可以作為基礎，以提供更多專業課程和進一步的獨立學習。 本課程是數據科學中心數據科學碩士學位課程核心課程的一部分。 此類旨在作為DS-GA-1001數據科學概論的延續，其中涵蓋了一些重要的基礎數據科學主題，而這些主題可能未在此DS-GA類中明確涵蓋。
課程大綱
- Week 1：統計學習理論框架
- Week 2：隨機梯度下降
- Week 3：正則化，Lasso, 和 Elastic網，次梯度方法
- Week 4：損失函數，SVM，代表定理
- Week 5：核方法
- Week 6：最大似然，條件概率
- Week 7：期中
- Week 8：貝葉斯方法
- Week 9：貝葉斯條件概率，多分類
- Week 10：分類和回歸樹
- Week 11：bagging和隨機森林，梯度提升
- Week 12：K-Means，高斯混合模型
- Week 13：EM算法
- Week 14：神經網絡，反向傳播
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191