斯坦福大學Stephen Boyd教授與加州大學Lieven Vandenberghe教授合著的應用線性代數導論：向量、矩陣和最小二乘法《Introduction to Applied Linear Algebra – Vectors, Matrices, and Least Squares》在2018年由劍橋大學出版社發行，開源書包含19章，473頁pdf，這本書的目的是提供一個介紹向量，矩陣，最小二乘方法，應用線性代數的基本主題。目標是讓學生通俗易懂，入門學習。讓學習者了解在包括數據擬合、機器學習和人工智能,斷層、導航、圖像處理、金融、和自動控制系統的應用。是一本不可多得好教材。?
Stephen P. Boyd是斯坦福大學電子工程Samsung 教授，信息系統實驗室電子工程教授，斯坦福大學電子工程系系主任。他在管理科學與工程系和計算機科學系任職，是計算與數學工程研究所的成員。他目前的研究重點是凸優化在控制、信號處理、機器學習和金融方面的應用。 //web.stanford.edu/~boyd/
Lieven Vandenberghe,美國加州大學洛杉磯分校電子與計算機工程系和數學系教授
這本書的目的是提供一個介紹向量，矩陣，最小二乘方法，應用線性代數的基本主題。我們的目標是讓很少或根本沒有接觸過線性代數的學生快速學習,以及對如何使用它們在許多應用程序中, 包括數據擬合、機器學習和人工智能, 斷層、導航、圖像處理、金融、和自動控制系統。
讀者所需要的背景知識是熟悉基本的數學符號。我們只在少數地方使用微積分，但它并不是一個關鍵的角色，也不是一個嚴格的先決條件。雖然這本書涵蓋了許多傳統上作為概率和統計的一部分來教授的話題，比如如何將數學模型與數據相匹配，但它并不需要概率和統計方面的知識或背景。
這本書涉及的數學比應用線性代數的典型文本還少。我們只使用線性代數中的一個理論概念，線性無關，和一個計算工具，QR分解;我們處理大多數應用程序的方法只依賴于一種方法，即最小二乘(或某種擴展)。從這個意義上說，我們的目標是知識經濟:僅用一些基本的數學思想、概念和方法，我們就涵蓋了許多應用。然而，我們所提供的數學是完整的，因為我們仔細地證明了每一個數學命題。然而，與大多數介紹性的線性代數文本不同，我們描述了許多應用程序，包括一些通常被認為是高級主題的應用程序，如文檔分類、控制、狀態估計和組合優化。
這本書分為三部分。第一部分向讀者介紹向量，以及各種向量運算和函數，如加法、內積、距離和角度。我們還將描述如何在應用程序中使用向量來表示文檔中的字數、時間序列、病人的屬性、產品的銷售、音軌、圖像或投資組合。第二部分對矩陣也做了同樣的處理，最終以矩陣的逆和求解線性方程的方法結束。第三部分，關于最小二乘，是回報，至少在應用方面。我們展示了近似求解一組超定方程的簡單而自然的思想，以及對這一基本思想的一些擴展，可以用來解決許多實際問題。
付費5元查看完整內容
相關內容
凸優化作為一個數學問題已經被研究了一個多世紀，并在許多應用領域的實踐中應用了大約半個世紀，包括控制、金融、信號處理、數據挖掘和機器學習。本文主要研究凸優化的幾個問題，以及機器學習的具體應用。
付費5元查看完整內容
機器學習使用來自各種數學領域的工具。本文件試圖提供一個概括性的數學背景，需要在入門類的機器學習，這是在加州大學伯克利分校被稱為CS 189/289A。
//people.eecs.berkeley.edu/~jrs/189/
我們的假設是讀者已經熟悉多變量微積分和線性代數的基本概念(達到UCB數學53/54的水平)。我們強調，本文檔不是對必備類的替代。這里介紹的大多數主題涉及的很少;我們打算給出一個概述，并指出感興趣的讀者更全面的理解進一步的細節。
請注意，本文檔關注的是機器學習的數學背景，而不是機器學習本身。我們將不討論特定的機器學習模型或算法，除非可能順便強調一個數學概念的相關性。
這份文件的早期版本不包括校樣。我們已經開始在一些證據中加入一些比較簡短并且有助于理解的證據。這些證明不是cs189的必要背景，但可以用來加深讀者的理解。
付費5元查看完整內容
本文采用了一種獨特的機器學習方法，它包含了對進行研究、開發產品、修補和玩耍所必需的所有基本概念的全新的、直觀的、但又嚴謹的描述。通過優先考慮幾何直觀，算法思維，和實際應用的學科，包括計算機視覺，自然語言處理，經濟學，神經科學，推薦系統，物理，和生物學，這篇文章為讀者提供了一個清晰的理解基礎材料以及實際工具需要解決現實世界的問題。通過深入的Python和基于MATLAB/ octave的計算練習，以及對前沿數值優化技術的完整處理，這是學生的基本資源，也是從事機器學習、計算機科學、電子工程、信號處理和數值優化的研究人員和實踐者的理想參考。其他資源包括補充討論主題、代碼演示和練習，可以在官方教材網站mlrefined.com上找到。
- 建立在清晰的幾何直覺上的講述
- 最先進的數值優化技術的獨特處理
- 邏輯回歸和支持向量機的融合介紹
- 將功能設計和學習作為主要主題
- 通過函數逼近的視角，先進主題的無與倫比的呈現
- 深度神經網絡和核方法的細化描述
付費5元查看完整內容
本書概述了現代數據科學重要的數學和數值基礎。特別是，它涵蓋了信號和圖像處理(傅立葉、小波及其在去噪和壓縮方面的應用)、成像科學(反問題、稀疏性、壓縮感知)和機器學習(線性回歸、邏輯分類、深度學習)的基礎知識。重點是對方法學工具(特別是線性算子、非線性逼近、凸優化、最優傳輸)的數學上合理的闡述，以及如何將它們映射到高效的計算算法。
//mathematical-tours.github.io/book/
它應該作為數據科學的數字導覽的數學伴侶，它展示了Matlab/Python/Julia/R對這里所涵蓋的所有概念的詳細實現。
付費5元查看完整內容
本文是由Terence Parr 和Jeremy Howard撰寫的《深度學習的矩陣運算》論文。我們知道，深度學習是基于線性代數和微積分的，反向傳播也離不開求導和矩陣運算，因此了解深度學習內部的數學原理也至關重要。
1.介紹
2.向量演算和偏導簡介
3.矩陣演算
-
雅可比定律
-
多元微分
-
向量
-
鏈式法則
4.損失函數求導
5.矩陣演算參考
6.符號
7.資源鏈接
本文從簡單函數求導到多元函數求偏導，再到矩陣的微積分運算，逐層深入，引導我們探索深度學習背后的學習規則與數學基礎。本文試圖解釋理解深度神經網絡的訓練所需要的所有矩陣演算，本文適用于對神經網絡基礎有所了解的人，不過即使沒有數學基礎的同學也不要緊，作者提供了相關數學知識鏈接。在文末作者提供的參考部分，總結了這里討論的所有關鍵矩陣演算規則和術語。
付費5元查看完整內容
簡介： 賓夕法尼亞大學計算邏輯研究院Jean Gallier等人近期在之前發布的書的基礎上進行修改，于2019年10月24日發布了一本長達753頁的書籍，詳細地列出了對機器學習等領域有重要意義的數學理論基礎知識。近年來，計算機視覺、機器人、機器學習和數據科學一直是推動技術重大進步的一些關鍵領域。任何看過上述領域的論文或書籍的人都會被一個奇怪的術語所困擾，這些術語涉及核主成分分析、嶺回歸、lasso回歸、支持向量機(SVM)、拉格朗日乘子、KKT條件等奇怪的術語。但人們很快就會發現，行話背后總是伴隨著一個新的領域，背后隱藏著許多經典的“線性代數和優化理論技術”。我們面臨的主要挑戰是：要從機器學習、計算機視覺等方面了解和使用工具，必須具備線性代數和優化理論的堅實背景。
本書的主要目標是介紹線性代數和優化理論的基本原理，同時考慮到機器學習、機器人和計算機視覺的應用。這項工作由兩部分組成，第一個是線性代數，第二個優化理論和應用，尤其是機器學習。 第一部分涉及經典的線性代數，包括主分解和Jordan形式。除了討論標準的一些主題外，我們還討論了一些對應用很重要的主題。這些主題包括：
- Haar基和相應的Haar小波
- Hadamard矩陣
- Affine maps
- 規范和矩陣規范
- 向量空間中序列和序列的收斂性。矩陣指數e_A及其基本性質
- The group of unit quaternions, SU(2), and the representation of rotations in SO(3) by unit quaternions
- 代數與譜圖論簡介
- SVD和偽逆的應用，尤其是主成分分析
- 特征值和特征向量的計算方法，重點是QR算法
另外有比平常更詳細介紹的四個主題：
- Duality
- Dual norms
- The geometry of the orthogonal groups O(n) and SO(n), and of the unitary groups U(n) and SU(n)
- 譜理論
作者介紹： Jean Gallier是賓夕法尼亞大學的教授，擁有法國和美國雙國籍，1978年取得博士后學位就從事于計算機領域工作，發表過許多研究論文和書籍，其中《Computational geometry》、《Low-dimensional topology》、《Discrete mathematics》、《Discrete mathematics》等書籍的作者就是Jean Gallier
付費5元查看完整內容
由Marc Peter Deisenroth，A Aldo Faisal和Cheng Soon Ong撰寫的《機器學習數學基礎》“Mathematics for Machine Learning” 最新版417頁pdf版本已經放出，作者表示撰寫這本書旨在激勵人們學習數學概念。這本書并不打算涵蓋前沿的機器學習技術，因為已經有很多書這樣做了。相反，作者的目標是通過該書提供閱讀其他書籍所需的數學基礎。這本書分為兩部分：數學基礎知識和使用數學基礎知識進行機器學習算法示例。值得初學者收藏和學習！
目錄
Part I: 數據基礎
- Introduction and Motivation
- Linear Algebra
- Analytic Geometry
- Matrix Decompositions
- Vector Calculus
- Probability and Distribution
- Continuous Optimization
Part II: 機器學習問題
- When Models Meet Data
- Linear Regression
- Dimensionality Reduction with Principal Component Analysis
- Density Estimation with Gaussian Mixture Models
- Classification with Support Vector Machines
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191