——微積分,
-線性代數,還有
-概率推理(即概率的數學理論和如何使用它)。
我們將深入探討應用數學分支的關鍵部分,并在ML的背景下。
更具體地說,本課程的數學主題可以分為四個基本的學科領域:
數據表示和將數據映射到決策、估計或兩者的操作符。我們將從線性表示的深入討論開始;它們本身就很重要/有用,也被用作非線性表示的構建塊。這就是我們需要大量線性代數及其擴展的地方。
估計。從數據集中估計一個參數是什么意思?我們將盡量用統計學的語言,把這個問題建立在一個牢固的數學基礎上。
建模。
計算。最后,我們將看看如何計算解決ML中出現的問題。我們將從優化中了解一些基本的算法,并從數值線性代數中了解一些代數技術。
【作者簡介】
Seongjai Kim
個人主頁:
//skim.math.msstate.edu/index.html
【講稿】
【作者簡介】
Seongjai Kim
個人主頁:
//skim.math.msstate.edu/index.html
【講稿簡介】
在“微分方程的數值方法”這一領域,似乎很難找到一本將數值方法的數學、物理和工程問題結合在一起的教科書。因此,本講稿的第一個目標是為學生提供一本方便的教科書,介紹偏微分方程(PDEs)數值解法的物理和數學方面。
在數值求解偏微分方程時,需要考慮以下幾點:
由Marc Peter Deisenroth,A Aldo Faisal和Cheng Soon Ong撰寫的《機器學習數學基礎》“Mathematics for Machine Learning” 最新版417頁pdf版本已經放出,作者表示撰寫這本書旨在激勵人們學習數學概念。這本書并不打算涵蓋前沿的機器學習技術,因為已經有很多書這樣做了。相反,作者的目標是通過該書提供閱讀其他書籍所需的數學基礎。這本書分為兩部分:數學基礎知識和使用數學基礎知識進行機器學習算法示例。值得初學者收藏和學習!
前言(Foreword)
隨著機器學習變得越來越普遍,它的軟件包也越來越容易使用。一些低級的技術細節被抽象出來,并對實踐者隱藏起來,這是很自然的,也是可取的。然而,這帶來了一些風險,即實踐者不知道設計決策,因此不知道機器學習算法的局限性。
有興趣了解機器學習算法背后機制的實踐者需要具備如下的先驗知識:
在大學里,關于機器學習的入門課程往往會在課程的早期部分涉及到以上這些先驗知識。由于歷史原因,機器學習的課程傾向于在計算機科學系進行授課。在計算機科學系,學生通常在前兩個知識領域受到的訓練比較多,但在數學和統計學方面的訓練較少。目前的一些機器學習教科書試圖加入一到兩章的內容來介紹數學背景知識,但是這些介紹要么在書的開頭,要么作為附錄。本書將機器學習中的數學基礎知識放在首位,并且信息相對集中。
【為什么要寫一本關于機器學習的書?】
機器學習建立在數學語言的基礎上,用來表達直觀上顯而易見但卻難以形式化的概念。一旦正確地形式化,我們就可以使用數學工具來得出我們設計選擇的結果。這使我們能夠深入了解我們正在解決的任務以及智能的本質。全球數學系學生普遍抱怨的一個問題是,數學所涵蓋的主題似乎與實際問題沒有太多關聯。我們認為機器學習是人們學習數學的一個明顯而直接的動機。
作者希望這本書可以成為一本指導機器學習大量數學基礎的指南。作者通過直接指出數學概念在基本機器學習問題中的有用性來激發對數學概念的需求。為了使書簡短,許多細節和更先進的概念都被省略了。書中介紹了一些基本概念,以及這些概念如何適用于機器學習的大背景,讀者可以找到大量的資源進行進一步研究。對于有數學背景的讀者,這本書提供了一個簡短但精確的機器學習入門介紹。書中只提供四個代表性的經典的機器學習算法示例。作者關注的是模型本身背后的數學概念,目的是闡明它們的抽象美。作者希望所有的讀者都能對機器學習的基本問題有更深入的了解,并將機器學習的實際問題與數學模型的基本選擇聯系起來。
【誰是目標受眾】
隨著機器學習在社會中的廣泛應用,作者相信每個人都應該對它的基本原理有一些了解。這本書是用學術數學的風格來寫的,這使讀者能夠精確地了解機器學習背后的概念。作者鼓勵不熟悉這種簡潔的風格的讀者堅持閱讀下去,并牢記每個主題的目標。作者在整篇文章中都有標記和評論,希望這些評論能對讀者提供一些有用的指導。此外,本書假定讀者具備高中數學和物理中常用的數學知識。例如,導數和積分,以及二維或三維的幾何向量。因此,本書的目標受眾包括普通大學生、夜校生和機器學習在線課程的學習者等等。
目錄
Part I: 數據基礎
Part II: 機器學習問題
簡介(Introduction)
本書分為兩部分,第一部分是數學基礎的講解,第二部分是將第一部分的數學概念應用于基本的機器學習問題中,從而形成“機器學習四大支柱”,如下圖所示:
這本書的第一部分描述了關于機器學習系統的三個主要組成部分的數學概念和數學基礎:數據、模型和學習。在本書中,作者假設數據已經被適當地轉換成適合于閱讀的數字表示形式,并被轉換成計算機程序。在這本書中,作者認為數據是向量。模型是現實世界的簡化版本,它捕獲與任務相關的現實世界的各個方面。模型的用戶需要理解模型沒有捕捉到什么,從而理解模型的局限性。概括起來就是,作者使用領域知識將數據表示為向量。并選擇一個合適的模型,要么使用概率方法,要么使用優化方法。采用數值優化的方法,對過去的數據進行學習,目的是它在看不見的數據上表現良好。
本書第二部分介紹了上圖所示的機器學習四大支柱,如下表所示。表中的每一行區分了相關變量是連續的還是非連續的類別的問題。作者解釋了如何將本書第一部分介紹的數學概念應用于機器學習算法的設計中。在第8章中,作者以數學的方式重述了機器學習的三個組成部分(數據、模型和學習)。此外,作者還提供了一些建立實驗設置的指南,以防止對機器學習系統過于樂觀的評估。
此外,作者在第一部分提供了一些練習,這些練習大部分可以用筆和紙來完成。在第二部分中,作者提供了一些編程教程(jupyter記事本)來探索在本書中討論的機器學習算法的一些特性。
這本書的目的是介紹計算機科學家所需要的一些基本數學知識。讀者并不期望自己是數學家,我們希望下面的內容對你有用。
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮),它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的,因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
本課程涵蓋了機器學習和統計建模方面的廣泛主題。 雖然將涵蓋數學方法和理論方面,但主要目標是為學生提供解決實際中發現的數據科學問題所需的工具和原理。 本課程還可以作為基礎,以提供更多專業課程和進一步的獨立學習。 本課程是數據科學中心數據科學碩士學位課程核心課程的一部分。 此類旨在作為DS-GA-1001數據科學概論的延續,其中涵蓋了一些重要的基礎數據科學主題,而這些主題可能未在此DS-GA類中明確涵蓋。