【導讀】2020新年伊始,多倫多大學Amir-massoud Farahmand和Emad A. M. Andrews博士開設了機器學習導論課程,介紹了機器學習的主要概念和思想,并概述了許多常用的機器學習算法。它還可以作為更高級的ML課程的基礎。
課程地址:
//amfarahmand.github.io/csc311/
機器學習(ML)是一組技術,它允許計算機從數據和經驗中學習,而不需要人工指定所需的行為。ML在人工智能作為一個學術領域和工業領域都變得越來越重要。本課程介紹了機器學習的主要概念和思想,并概述了許多常用的機器學習算法。它還可以作為更高級的ML課程的基礎。
本課程結束時,學生將學習(大致分類)
機器學習問題:監督(回歸和分類),非監督(聚類,降維),強化學習
模型:線性和非線性(基擴展和神經網絡)
損失函數:平方損失、交叉熵、鉸鏈、指數等。
Regularizers: l1和l2
概率觀點:最大似然估計,最大后驗,貝葉斯推理
偏差和方差的權衡
集成方法:Bagging 和 Boosting
ML中的優化技術: 梯度下降法和隨機梯度下降法
課程目錄:
參考資料:
(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.
(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.
(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.
(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning
(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.
(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.
() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.
(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.
課程內容:
數學基礎:矩陣、向量、Lp范數、范數的幾何、對稱性、正確定性、特征分解。無約束最優化,graident下降法,凸函數,拉格朗日乘子,線性最小二乘法。概率空間,隨機變量,聯合分布,多維高斯。
線性分類器:線性判別分析,分離超平面,多類分類,貝葉斯決策規則,貝葉斯決策規則幾何,線性回歸,邏輯回歸,感知機算法,支持向量機,非線性變換。
魯棒性:對抗性攻擊、定向攻擊和非定向攻擊、最小距離攻擊、最大允許攻擊、基于規則的攻擊。通過納微擾。支持向量機的魯棒性。
學習理論:偏差和方差,訓練和測試,泛化,PAC框架,Hoeffding不等式,VC維。
參考書籍:
講者: Stanley Chan 教授 //engineering.purdue.edu/ChanGroup/stanleychan.html
課程目標: 您將能夠應用基本的線性代數、概率和優化工具來解決機器學習問題
?你將了解一般監督學習方法的原理,并能評論它們的優缺點。 ?你會知道處理數據不確定性的方法。 ?您將能夠使用學習理論的概念運行基本的診斷。 ?您將獲得機器學習算法編程的實際經驗。
普林斯頓大學在19年春季學期,開設了COS 598D《機器學習優化》課程,課程主要介紹機器學習中出現的優化問題,以及解決這些問題的有效算法。前不久,課程教授Elad Hazan將其精心準備的課程講義開放了出來,講義內容詳實循序漸進,非常適合想要入門機器學習的同學閱讀。
COS 598D:Optimization for Machine Learning(機器學習優化)是普林斯頓大學在19年春季學期開設的課程。課程主要介紹機器學習中出現的優化問題,以及解決這些問題的有效算法。
主題: Introduction to Machine Learning
課程簡介: 機器學習是指通過經驗自動提高性能的計算機程序(例如,學習識別人臉、推薦音樂和電影以及驅動自主機器人的程序)。本課程從不同的角度介紹機器學習的理論和實用算法。主題包括貝葉斯網絡、決策樹學習、支持向量機、統計學習方法、無監督學習和強化學習。本課程涵蓋理論概念,例如歸納偏差、PAC學習框架、貝葉斯學習方法、基于邊際的學習和Occam的剃刀。編程作業包括各種學習算法的實際操作實驗。這門課程的目的是讓一個研究生在方法論,技術,數學和算法方面有一個徹底的基礎,目前需要的人誰做的機器學習的研究。
邀請嘉賓: Hal Daumé III,紐約市微軟研究院的研究員,是機器學習小組的一員;他也是馬里蘭大學的副教授。他主要從事自然語言處理和機器學習。
Matt Gormley,卡內基梅隆大學計算機科學學院機器學習部(ML)助教。
Roni Rosenfeld,卡內基梅隆大學計算機學院機器學習系教授兼主任,個人主頁://www.cs.cmu.edu/~roni/。等