大量大維度數據是現代機器學習(ML)的默認設置。標準的ML算法,從支持向量機這樣的內核方法和基于圖的方法(如PageRank算法)開始,最初的設計是基于小維度的,在處理真實世界的大數據集時,即使不是完全崩潰的話,往往會表現失常。隨機矩陣理論最近提出了一系列廣泛的工具來幫助理解這種新的維數詛咒,幫助修復或完全重建次優算法,最重要的是提供了處理現代數據挖掘的新方向。本編著的主要目的是提供這些直覺,通過提供一個最近的理論和應用突破的隨機矩陣理論到機器學習摘要。針對廣泛的受眾,從對統計學習感興趣的本科生到人工智能工程師和研究人員,這本書的數學先決條件是最小的(概率論、線性代數和真實和復雜分析的基礎是足夠的):與隨機矩陣理論和大維度統計的數學文獻中的介紹性書籍不同,這里的理論重點僅限于機器學習應用的基本要求。這些應用范圍從檢測、統計推斷和估計,到基于圖和核的監督、半監督和非監督分類,以及神經網絡: 為此,本文提供了對算法性能的精確理論預測(在不采用隨機矩陣分析時往往難以實現)、大維度的洞察力、改進方法,以及對這些方法廣泛適用于真實數據的基本論證。該專著中提出的大多數方法、算法和圖形都是用MATLAB和Python編寫的,讀者可以查閱(//github.com/Zhenyu-LIAO/RMT4ML)。本專著也包含一系列練習兩種類型:短的練習與修正附加到書的最后讓讀者熟悉隨機矩陣的基本理論概念和工具分析,以及長期指導練習應用這些工具進一步具體的機器學習應用程序。
//www.worldscientific.com/page/pressroom/2018-07-31-01
這本書提供了一個機器學習和數據挖掘領域的數學分析。典型的計算機科學數學課程的數學分析部分省略了這些非常重要的思想和技術,這些思想和技術對于機器學習的專門領域是不可缺少的,以優化為中心,如支持向量機,神經網絡,各種類型的回歸,特征選擇和聚類。本書適用于研究者和研究生,他們將從書中討論的這些應用領域獲益。
數學分析可以被松散地描述為數學的一個領域,其主要對象是研究函數及其關于極限的行為。術語“函數”指的是實參數實函數的廣義集合,包括函數、運算符、測度等。在數學分析中,有幾個發展良好的領域對機器學習產生了特殊的興趣:拓撲(具有不同的風格:點集拓撲、組合拓撲和代數拓撲),賦范和內積空間的泛函分析(包括巴拿赫和希爾伯特空間),凸分析,優化,等等。此外,像測量和集成理論這樣的學科在統計學中發揮著至關重要的作用,這是機器學習的另一個支柱,在計算機科學家的教育中缺乏。我們的目標是為縮小這一差距做出貢獻,這是對研究感興趣的人的一個嚴重障礙。機器學習和數據挖掘文獻非常廣泛,包括各種各樣的方法,從非正式的到復雜的數學展示。然而,接近研究主題所需要的必要的數學背景通常以一種簡潔和無動機的方式呈現,或者干脆就不存在。本卷機器學習的通常介紹,并提供(通過其應用章節,討論優化,迭代算法,神經網絡,回歸,和支持向量機)的數學方面的研究。
《量子信息理論》這本書基本上是自成體系的,主要關注構成這門學科基礎的基本事實的精確數學公式和證明。它是為研究生和研究人員在數學,計算機科學,理論物理學尋求發展一個全面的理解關鍵結果,證明技術,和方法,與量子信息和計算理論的廣泛研究主題相關。本書對基礎數學,包括線性代數,數學分析和概率論有一定的理解。第一章總結了這些必要的數學先決條件,并從這個基礎開始,這本書包括清晰和完整的證明它提出的所有結果。接下來的每一章都包含了具有挑戰性的練習,旨在幫助讀者發展自己的技能,發現關于量子信息理論的證明。
這是一本關于量子信息的數學理論的書,專注于定義、定理和證明的正式介紹。它主要是為對量子信息和計算有一定了解的研究生和研究人員準備的,比如將在本科生或研究生的入門課程中涵蓋,或在目前存在的關于該主題的幾本書中的一本中。量子信息科學近年來有了爆炸性的發展,特別是在過去的二十年里。對這個問題的全面處理,即使局限于理論方面,也肯定需要一系列的書,而不僅僅是一本書。與這一事實相一致的是,本文所涉及的主題的選擇并不打算完全代表該主題。量子糾錯和容錯,量子算法和復雜性理論,量子密碼學,和拓撲量子計算是在量子信息科學的理論分支中發現的許多有趣的和基本的主題,在這本書中沒有涵蓋。然而,當學習這些主題時,人們很可能會遇到本書中討論的一些核心數學概念。
近年來,隨機矩陣理論(RMT)已經成為學習理論的前沿,作為一種工具來理解它的一些最重要的挑戰。從深度學習模型的泛化到優化算法的精確分析,RMT提供了易于分析的模型。
第一部分:介紹和經典隨機矩陣理論集合
本節介紹兩個經典的隨機矩陣理論集合,高斯正交集合和Wishart矩陣。通過數值實驗,我們將介紹隨機矩陣理論中一些最重要的分布,如半圓和馬爾欽科-帕斯圖,以及一些關鍵的概念,如通用性。 圖片
第2部分:隨機矩陣理論概論:斯蒂爾吉斯和R變換 本節介紹隨機矩陣理論中的一些核心證明技術: Stieltjes和R變換。
第3部分:數值算法分析 本節主要介紹隨機矩陣理論在數值算法分析中的應用。
第4部分:為什么深度學習有效? 本節討論深度神經網絡泛化的隨機矩陣理論模型。
機器學習中復雜的統計數據讓許多開發人員感到擔憂。了解統計學可以幫助你建立強大的機器學習模型,針對給定的問題陳述進行優化。這本書將教你所有需要執行復雜的統計計算所需的機器學習。您將獲得有關監督學習、非監督學習、強化學習等統計信息。了解真實世界的例子,討論機器學習的統計方面,并熟悉它。您還將設計用于執行諸如模型、參數擬合、回歸、分類、密度收集等任務的程序。
到本書結束時,你將掌握機器學習所需的統計數據,并能夠將你的新技能應用于任何類型的行業問題。
藍光輝教授的專著系統地介紹了機器學習算法基礎概念和近期進展,尤其是基于優化方法的算法。 機器學習算法領域近期出現了大量研發進展,但目前社區尚缺乏對機器學習算法基礎概念和近期進展的系統性介紹,尤其是基于隨機優化方法、隨機算法、非凸優化、分布式與在線學習,以及無投影方法的機器學習算法。
佐治亞理工終身教授藍光輝出版的一本關于機器學習算法的專著《First-order and Stochastic Optimization Methods for Machine Learning》。
這本專著具備以下特點:
系統梳理優化算法的進展
在該書序言部分,藍光輝教授介紹了寫作此書的初衷:
優化在數據科學中一直發揮重要作用。很多統計和機器學習模型的分析與解決方法都依賴于優化。但是,近期社區對計算數據分析優化的興趣往往伴隨著一些難題。高維度、大型數據規模、內在不確定性、無法避免的非凸問題,以及實時和分布式設置的要求,給現有的優化方法帶來了大量困難。 在過去十年中,為解決以上挑戰,優化算法在設計和分析方面出現了巨大進步。然而,這些進步分散在多個不同學科的大量文獻中,缺乏系統性的梳理。而這使得年輕研究人員更難進入優化算法領域,更難構建必要的基礎知識、了解目前的前沿成果,以及推動該領域的發展。 這本書嘗試用更有條理的方式介紹領域進展,主要聚焦于已得到廣泛應用或具備大規模機器學習和數據分析應用潛力的優化算法,包括一階方法、隨機優化方法、隨機和分布式方法、非凸隨機優化方法、無投影方法,以及算子滑動和分散式方法。 本書的寫作目標是介紹基礎算法機制,它們能在不同環境設置下提供最優性能保障。不過在探討算法之前,本書首先簡要介紹了多個常見的機器學習模型和一些重要的優化理論,希望借此為初學者提供良好的理論基礎。
此外,藍教授表示這本書的目標讀者是對優化算法及其在機器學習和人工智能中的應用感興趣的研究生和高年級本科生,也可以作為更高階研究人員的參考書目。這本書的最初版本已經作為佐治亞理工學院高年級本科生和博士課程的教材。
核心內容
這本書共包括八個章節,涵蓋機器學習模型、凸優化、非凸優化、無投影方法等內容,是對優化算法近期進展的一次系統性梳理。
書籍鏈接://www.springer.com/gp/book/9783030395674
作者簡介
本書作者藍光輝教授,博士畢業于佐治亞理工學院,目前任教于佐治亞理工 H. Milton Stewart 工業和系統工程學院。此外,他還擔任《Computational Optimization and Applications》、優化算法頂級期刊《Mathematical Programming》和《SIAM Journal on Optimization》等雜志的副主編,是國際機器學習和深度學習算法方向的頂級專家。
藍光輝教授專注于計算機科學領域的基礎研究,他的研究方向包括:隨機優化和非線性規劃的理論、算法和應用,包括隨機梯度下降和加速隨機梯度下降,以及用于解決隨機凸和非凸優化問題。
統計學是關于可觀測現象的數學建模,使用隨機模型,以及分析數據:估計模型的參數和檢驗假設。在這些注釋中,我們研究了各種評估和測試程序。我們考慮它們的理論性質,并研究各種最優化的概念。
在復雜的以人為中心的系統中,每天的決策都具有決策相關信息不完全的特點。現有決策理論的主要問題是,它們沒有能力處理概率和事件不精確的情況。在這本書中,我們描述了一個新的理論的決策與不完全的信息。其目的是將決策分析和經濟行為的基礎從領域二價邏輯轉向領域模糊邏輯和Z約束,從行為決策的外部建模轉向組合狀態的框架。
這本書將有助于在模糊邏輯,決策科學,人工智能,數學經濟學,和計算經濟學的專業人員,學者,經理和研究生。
讀者:專業人士,學者,管理者和研究生在模糊邏輯,決策科學,人工智能,數學經濟學,和計算經濟學。
機器學習是計算機科學中增長最快的領域之一,具有深遠的應用。本書的目的是介紹機器學習,以及它所提供的算法范例。本書對機器學習的基本原理和將這些原理轉化為實際算法的數學推導提供了理論解釋。在介紹了基礎知識之后,這本書涵蓋了以前教科書沒有涉及到的一系列廣泛的中心主題。這些包括討論學習的計算復雜性和凸性和穩定性的概念;重要的算法范例包括隨機梯度下降、神經網絡和結構化輸出學習;以及新興的理論概念,如PAC-Bayes方法和基于壓縮的界限。本文面向高級本科生或剛畢業的學生,使統計學、計算機科學、數學和工程學領域的學生和非專業讀者都能接觸到機器學習的基本原理和算法。
//www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html
概述
機器學習是指自動檢測數據中有意義的模式。在過去的幾十年里,它已經成為幾乎所有需要從大數據集中提取信息的任務的通用工具。我們被一種基于機器學習的技術包圍著:搜索引擎學習如何給我們帶來最好的結果(同時投放有利可圖的廣告),反垃圾郵件軟件學習如何過濾我們的電子郵件信息,信用卡交易被一種學習如何偵測欺詐的軟件保護著。數碼相機學會識別人臉,智能手機上的智能個人輔助應用學會識別語音指令。汽車配備了使用機器學習算法構建的事故預防系統。機器學習還廣泛應用于生物信息學、醫學和天文學等科學領域。
所有這些應用程序的一個共同特征是,與計算機的更傳統使用相比,在這些情況下,由于需要檢測的模式的復雜性,人類程序員無法提供關于這些任務應該如何執行的明確、詳細的規范。以智慧生物為例,我們的許多技能都是通過學習我們的經驗(而不是遵循給我們的明確指示)而獲得或改進的。機器學習工具關注的是賦予程序“學習”和適應的能力。
這本書的第一個目標是提供一個嚴格的,但易于遵循,介紹機器學習的主要概念: 什么是機器學習?
本書的第二個目標是介紹幾種關鍵的機器學習算法。我們選擇展示的算法一方面在實踐中得到了成功應用,另一方面提供了廣泛的不同的學習技術。此外,我們特別關注適合大規模學習的算法(又稱“大數據”),因為近年來,我們的世界變得越來越“數字化”,可用于學習的數據量也在急劇增加。因此,在許多應用中數據量大,計算時間是主要瓶頸。因此,我們明確地量化了學習給定概念所需的數據量和計算時間。
目錄:
Part I: Foundations
Part II: From Theory to Algorithms
Part III: Additional Learning Models
Part IV: Advanced Theory
Appendices
高斯過程(GPs)為核機器的學習提供了一種有原則的、實用的、概率的方法。在過去的十年中,GPs在機器學習社區中得到了越來越多的關注,這本書提供了GPs在機器學習中理論和實踐方面長期需要的系統和統一的處理。該書是全面和獨立的,針對研究人員和學生在機器學習和應用統計學。
這本書處理監督學習問題的回歸和分類,并包括詳細的算法。提出了各種協方差(核)函數,并討論了它們的性質。從貝葉斯和經典的角度討論了模型選擇。討論了許多與其他著名技術的聯系,包括支持向量機、神經網絡、正則化網絡、相關向量機等。討論了包括學習曲線和PAC-Bayesian框架在內的理論問題,并討論了幾種用于大數據集學習的近似方法。這本書包含說明性的例子和練習,和代碼和數據集在網上是可得到的。附錄提供了數學背景和高斯馬爾可夫過程的討論。