這門課的目的是為最廣泛使用的學習架構闡述學習理論的最新結果。本課程面向以理論為導向的學生,以及那些想要對整個碩士課程中使用的算法有基本數學理解的學生。
我們將特別從第一性原理證明許多結果,同時保持闡述盡可能簡單。這將自然地導致一個關鍵結果的選擇,以簡單但相關的實例來展示學習理論中的重要概念。在沒有證明的情況下,也將給出一些一般的結果。
本課程分為9節,每節3小時,除了最后一節專門介紹最近的學習理論成果外,每節都有一個精確的主題。見下面的暫定時間表。
目錄內容:
第一節課的重點是分析今天能夠進行并行計算的典型個人計算機中的算法行為,第二節課的重點是今天能夠進行分布式計算的典型公共云中的此類個人計算機集群中的算法行為。我們將從第1節中簡要介紹的基本原理開始,并努力理解過去幾十年來算法的重大突破。并行計算是指在一臺機器上使用多個處理器和共享內存進行計算。并行計算和分布式計算雖然密切相關,但它們都提出了獨特的挑戰——主要是并行計算情況下的共享內存管理和分布式計算情況下的網絡通信開銷最小化。理解并行計算的模型和挑戰是理解分布式計算的基礎。課程內容反映了這一點,首先在并行環境中涵蓋各種經典的、數值的和圖形的算法,然后在分布式環境中涵蓋相同的主題。目的是強調每個設置帶來的獨特挑戰。
//github.com/lamastex/scalable-data-science/blob/master/read/daosu.pdf
這份手冊最大的特點就是包含許多關于機器學習的經典公式和圖表,有助于您快速回憶有關機器學習的知識點。非常適合那些正在準備與機器學習相關的工作面試的人。
項目地址: //github.com/soulmachine/machine-learning-cheat-sheet
該手冊雖然只有 135 頁,但麻雀雖小五臟俱全,包含了 28 個主題內容,目錄如下:
為土木工程專業的學生和專業人士介紹概率機器學習的關鍵概念和技術;有許多循序漸進的例子、插圖和練習。
這本書向土木工程的學生和專業人員介紹了概率機器學習的概念,以一種對沒有統計學或計算機科學專業背景的讀者可訪問的方式提出了關鍵的方法和技術。通過一步步的例子、插圖和練習,它清晰而直接地展示了不同的方法。掌握了材料,讀者將能夠理解更高級的機器學習文獻,從這本書中提取。
本書介紹了概率機器學習的三個子領域的關鍵方法:監督學習、非監督學習和強化學習。它首先涵蓋了理解機器學習所需的背景知識,包括線性代數和概率論。接著介紹了有監督和無監督學習方法背后的貝葉斯估計,以及馬爾可夫鏈蒙特卡洛方法,該方法使貝葉斯估計能夠在某些復雜情況下進行。這本書接著涵蓋了與監督學習相關的方法,包括回歸方法和分類方法,以及與非監督學習相關的概念,包括聚類、降維、貝葉斯網絡、狀態空間模型和模型校準。最后,本書介紹了不確定環境下理性決策的基本概念,以及不確定和序列上下文下理性決策的基本概念。在此基礎上,這本書描述了強化學習的基礎,虛擬代理學習如何通過試驗和錯誤作出最優決策,而與它的環境交互。
目錄內容: Chapter 1: 引言 Introduction Part one: 背景 Background
Chapter 2: 線性代數 Chapter 3: 概率理論 Probability Theory Chapter 4: 概率分布 Probability Distributions Chapter 5: 凸優化 Convex Optimization Part two: 貝葉斯估計 Bayesian Estimation Chapter 6: 從數據中學習 Learning from Data Chapter 7: 馬爾科夫鏈蒙特卡洛 Markov Chain Monte Carlo
Part three: 監督學習 Supervised Learning Chapter 8: 回歸 Regression Chapter 9: 分類 Classification Part four: 無監督學習 Unsupervised Learning Chapter 10: 聚類 Clustering Chapter 11: 貝葉斯網絡 Bayesian Networks Chapter 12: 狀態空間 State-Space Models Chapter 13: 模型 Model Calibration Part five: 強化學習 Reinforcement Learning Chapter 14: 不確定上下文決策 Decision in Uncertain Contexts Chapter 15: 序列決策 Sequential Decisions
COMS 4771是一個研究生水平的機器學習入門。本課程涵蓋監督機器學習的基本統計原理,以及一些常見的算法范例。
//www.cs.columbia.edu/~djhsu/coms4771-f20/#description
主題:
盡管有很多嘗試[1-6],深度學習的有效性到目前為止還沒有明確的解釋。考慮到神經網絡是一個非常簡單且定義良好的數學對象,這相當令人驚訝[7-9]。使分析變得困難的是深度神經網絡通常是用大量的參數來描述的,例如權重矩陣、偏差向量、訓練數據等。對于這樣的系統,大多數分析技術不是很有用,必須依賴于數字。這種情況與物理中發生的情況非常相似。物理系統(包括經典系統和量子系統)通常可以在自由度很小的時候被精確地解決,但是當自由度很大的時候,這個問題就變得棘手了。幸運的是,有一組思想被證明對于分析具有多個自由度的物理系統非常有用。它是統計力學。本文的重點是將統計力學的方法應用于機器學習。在本節的其余部分,我們將總結主要結果,因為它可能有助于讀者瀏覽本文。
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮),它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的,因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
課程內容:
數學基礎:矩陣、向量、Lp范數、范數的幾何、對稱性、正確定性、特征分解。無約束最優化,graident下降法,凸函數,拉格朗日乘子,線性最小二乘法。概率空間,隨機變量,聯合分布,多維高斯。
線性分類器:線性判別分析,分離超平面,多類分類,貝葉斯決策規則,貝葉斯決策規則幾何,線性回歸,邏輯回歸,感知機算法,支持向量機,非線性變換。
魯棒性:對抗性攻擊、定向攻擊和非定向攻擊、最小距離攻擊、最大允許攻擊、基于規則的攻擊。通過納微擾。支持向量機的魯棒性。
學習理論:偏差和方差,訓練和測試,泛化,PAC框架,Hoeffding不等式,VC維。
參考書籍:
講者: Stanley Chan 教授 //engineering.purdue.edu/ChanGroup/stanleychan.html
課程目標: 您將能夠應用基本的線性代數、概率和優化工具來解決機器學習問題
?你將了解一般監督學習方法的原理,并能評論它們的優缺點。 ?你會知道處理數據不確定性的方法。 ?您將能夠使用學習理論的概念運行基本的診斷。 ?您將獲得機器學習算法編程的實際經驗。
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮),它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的,因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
【導讀】UC.Berkeley CS189 《Introduction to Machine Learning》是面向初學者的機器學習課程在本指南中,我們創建了一個全面的課程指南,以便與學生和公眾分享我們的知識,并希望吸引其他大學的學生對伯克利的機器學習課程感興趣。
講義目錄:
Note 1: Introduction
Note 2: Linear Regression
Note 3: Features, Hyperparameters, Validation
Note 4: MLE and MAP for Regression (Part I)
Note 5: Bias-Variance Tradeoff
Note 6: Multivariate Gaussians
Note 7: MLE and MAP for Regression (Part II)
Note 8: Kernels, Kernel Ridge Regression
Note 9: Total Least Squares
Note 10: Principal Component Analysis (PCA)
Note 11: Canonical Correlation Analysis (CCA)
Note 12: Nonlinear Least Squares, Optimization
Note 13: Gradient Descent Extensions
Note 14: Neural Networks
Note 15: Training Neural Networks
Note 16: Discriminative vs. Generative Classification, LS-SVM
Note 17: Logistic Regression
Note 18: Gaussian Discriminant Analysis
Note 19: Expectation-Maximization (EM) Algorithm, k-means Clustering
Note 20: Support Vector Machines (SVM)
Note 21: Generalization and Stability
Note 22: Duality
Note 23: Nearest Neighbor Classification
Note 24: Sparsity
Note 25: Decision Trees and Random Forests
Note 26: Boosting
Note 27: Convolutional Neural Networks (CNN)
討論目錄:
Discussion 0: Vector Calculus, Linear Algebra (solution)
Discussion 1: Optimization, Least Squares, and Convexity (solution)
Discussion 2: Ridge Regression and Multivariate Gaussians (solution)
Discussion 3: Multivariate Gaussians and Kernels (solution)
Discussion 4: Principal Component Analysis (solution)
Discussion 5: Least Squares and Kernels (solution)
Discussion 6: Optimization and Reviewing Linear Methods (solution)
Discussion 7: Backpropagation and Computation Graphs (solution)
Discussion 8: QDA and Logistic Regression (solution)
Discussion 9: EM (solution)
Discussion 10: SVMs and KNN (solution)
Discussion 11: Decision Trees (solution)
Discussion 12: LASSO, Sparsity, Feature Selection, Auto-ML (solution)
講義下載鏈接://pan.baidu.com/s/19Zmws53BUzjSvaDMEiUhqQ 密碼:u2xs
由Marc Peter Deisenroth,A Aldo Faisal和Cheng Soon Ong撰寫的《機器學習數學基礎》“Mathematics for Machine Learning” 最新版417頁pdf版本已經放出,作者表示撰寫這本書旨在激勵人們學習數學概念。這本書并不打算涵蓋前沿的機器學習技術,因為已經有很多書這樣做了。相反,作者的目標是通過該書提供閱讀其他書籍所需的數學基礎。這本書分為兩部分:數學基礎知識和使用數學基礎知識進行機器學習算法示例。值得初學者收藏和學習!