機器學習使用來自各種數學領域的工具。本文件試圖提供一個概括性的數學背景,需要在入門類的機器學習,這是在加州大學伯克利分校被稱為CS 189/289A。
//people.eecs.berkeley.edu/~jrs/189/
我們的假設是讀者已經熟悉多變量微積分和線性代數的基本概念(達到UCB數學53/54的水平)。我們強調,本文檔不是對必備類的替代。這里介紹的大多數主題涉及的很少;我們打算給出一個概述,并指出感興趣的讀者更全面的理解進一步的細節。
請注意,本文檔關注的是機器學習的數學背景,而不是機器學習本身。我們將不討論特定的機器學習模型或算法,除非可能順便強調一個數學概念的相關性。
這份文件的早期版本不包括校樣。我們已經開始在一些證據中加入一些比較簡短并且有助于理解的證據。這些證明不是cs189的必要背景,但可以用來加深讀者的理解。
本備忘單是機器學習手冊的濃縮版,包含了許多關于機器學習的經典方程和圖表,旨在幫助您快速回憶起機器學習中的知識和思想。
這個備忘單有兩個顯著的優點:
清晰的符號。數學公式使用了許多令人困惑的符號。例如,X可以是一個集合,一個隨機變量,或者一個矩陣。這是非常混亂的,使讀者很難理解數學公式的意義。本備忘單試圖規范符號的使用,所有符號都有明確的預先定義,請參見小節。
更少的思維跳躍。在許多機器學習的書籍中,作者省略了數學證明過程中的一些中間步驟,這可能會節省一些空間,但是會給讀者理解這個公式帶來困難,讀者會在中間迷失。
【導讀】UC.Berkeley CS189 《Introduction to Machine Learning》是面向初學者的機器學習課程在本指南中,我們創建了一個全面的課程指南,以便與學生和公眾分享我們的知識,并希望吸引其他大學的學生對伯克利的機器學習課程感興趣。
講義目錄:
Note 1: Introduction
Note 2: Linear Regression
Note 3: Features, Hyperparameters, Validation
Note 4: MLE and MAP for Regression (Part I)
Note 5: Bias-Variance Tradeoff
Note 6: Multivariate Gaussians
Note 7: MLE and MAP for Regression (Part II)
Note 8: Kernels, Kernel Ridge Regression
Note 9: Total Least Squares
Note 10: Principal Component Analysis (PCA)
Note 11: Canonical Correlation Analysis (CCA)
Note 12: Nonlinear Least Squares, Optimization
Note 13: Gradient Descent Extensions
Note 14: Neural Networks
Note 15: Training Neural Networks
Note 16: Discriminative vs. Generative Classification, LS-SVM
Note 17: Logistic Regression
Note 18: Gaussian Discriminant Analysis
Note 19: Expectation-Maximization (EM) Algorithm, k-means Clustering
Note 20: Support Vector Machines (SVM)
Note 21: Generalization and Stability
Note 22: Duality
Note 23: Nearest Neighbor Classification
Note 24: Sparsity
Note 25: Decision Trees and Random Forests
Note 26: Boosting
Note 27: Convolutional Neural Networks (CNN)
討論目錄:
Discussion 0: Vector Calculus, Linear Algebra (solution)
Discussion 1: Optimization, Least Squares, and Convexity (solution)
Discussion 2: Ridge Regression and Multivariate Gaussians (solution)
Discussion 3: Multivariate Gaussians and Kernels (solution)
Discussion 4: Principal Component Analysis (solution)
Discussion 5: Least Squares and Kernels (solution)
Discussion 6: Optimization and Reviewing Linear Methods (solution)
Discussion 7: Backpropagation and Computation Graphs (solution)
Discussion 8: QDA and Logistic Regression (solution)
Discussion 9: EM (solution)
Discussion 10: SVMs and KNN (solution)
Discussion 11: Decision Trees (solution)
Discussion 12: LASSO, Sparsity, Feature Selection, Auto-ML (solution)
講義下載鏈接://pan.baidu.com/s/19Zmws53BUzjSvaDMEiUhqQ 密碼:u2xs
簡介: 遷移學習作為機器學習的一大分支,已經取得了長足的進步。本手冊簡明地介紹遷移學習的概念與基本方法,并對其中的領域自適應問題中的若干代表性方法進行講述。最后簡要探討遷移學習未來可能的方向。 本手冊編寫的目的是幫助遷移學習領域的初學者快速入門并掌握基本方法,為自己的研究和應用工作打下良好基礎。 本手冊的編寫邏輯很簡單:是什么——介紹遷移學習;為什么——為什么要用遷移學習、為什么能用;怎么辦——如何進行遷移 (遷移學習方法)。其中,是什么和為什么解決概念問題,這是一切的前提;怎么辦是我們的重點,也占據了最多的篇幅。為了最大限度地方便初學者,我們還特別編寫了一章上手實踐,直接分享實現代碼和心得體會。
作者簡介: 王晉東,現于中國科學院計算技術研究所攻讀博士學位,研究方向為遷移學習、機器學習等。他在國際權威會議ICDM、UbiComp等發表多篇文章。同時,也是知乎等知識共享社區的機器學習達人(知乎用戶名:王晉東不在家)。他還在Github上發起建立了多個與機器學習相關的資源倉庫,成立了超過120個高校和研究所參與的機器學習群,熱心于知識的共享。個人主頁://jd92.wang
目錄:
由Marc Peter Deisenroth,A Aldo Faisal和Cheng Soon Ong撰寫的《機器學習數學基礎》“Mathematics for Machine Learning” 最新版417頁pdf版本已經放出,作者表示撰寫這本書旨在激勵人們學習數學概念。這本書并不打算涵蓋前沿的機器學習技術,因為已經有很多書這樣做了。相反,作者的目標是通過該書提供閱讀其他書籍所需的數學基礎。這本書分為兩部分:數學基礎知識和使用數學基礎知識進行機器學習算法示例。值得初學者收藏和學習!