在理論計算機科學、概率、機器學習、離散數學、優化和壓縮感知等各個領域,對統計物理方法和概念的興趣正在迅速增長。本課程將涵蓋這一豐富而活躍的跨學科研究領域。
具體地說,我們將回顧統計物理方法對問題的處理,從圖論(滲透、社區檢測)到離散優化和約束滿足(可滿足性、著色性、二分法),再到推理和學習問題(神經網絡中的學習、數據和網絡的聚類、壓縮感知或稀疏線性回歸、低秩矩陣和張量分解等)。
本課程面向具有概率論和分析基礎知識的所有自然科學和工程學科的研究生和研究人員。
這套課程將討論概率模型,并關注來自統計、機器學習和使用統計物理工具和技術的約束優化的問題。重點將更多的是理論而不是實際,所以你已經被警告!我們的目標是展示一些統計物理學的方法是如何得到許多數學問題的精確答案的。正如阿基米德所指出的那樣,一旦給出了這些答案,即使它們是通過啟發式方法得到的,嚴格地證明它們也是一種更簡單(但仍然不平凡)的方法。在過去的幾十年里,理論物理和應用數學之間的興趣和方法日益趨同,許多統計物理和計算機科學的理論和應用工作都依賴于自旋玻璃統計物理的聯系。本講座的目的是介紹進入這個快速發展的領域所必需的背景知識。
//www.worldscientific.com/page/pressroom/2018-07-31-01
這本書提供了一個機器學習和數據挖掘領域的數學分析。典型的計算機科學數學課程的數學分析部分省略了這些非常重要的思想和技術,這些思想和技術對于機器學習的專門領域是不可缺少的,以優化為中心,如支持向量機,神經網絡,各種類型的回歸,特征選擇和聚類。本書適用于研究者和研究生,他們將從書中討論的這些應用領域獲益。
數學分析可以被松散地描述為數學的一個領域,其主要對象是研究函數及其關于極限的行為。術語“函數”指的是實參數實函數的廣義集合,包括函數、運算符、測度等。在數學分析中,有幾個發展良好的領域對機器學習產生了特殊的興趣:拓撲(具有不同的風格:點集拓撲、組合拓撲和代數拓撲),賦范和內積空間的泛函分析(包括巴拿赫和希爾伯特空間),凸分析,優化,等等。此外,像測量和集成理論這樣的學科在統計學中發揮著至關重要的作用,這是機器學習的另一個支柱,在計算機科學家的教育中缺乏。我們的目標是為縮小這一差距做出貢獻,這是對研究感興趣的人的一個嚴重障礙。機器學習和數據挖掘文獻非常廣泛,包括各種各樣的方法,從非正式的到復雜的數學展示。然而,接近研究主題所需要的必要的數學背景通常以一種簡潔和無動機的方式呈現,或者干脆就不存在。本卷機器學習的通常介紹,并提供(通過其應用章節,討論優化,迭代算法,神經網絡,回歸,和支持向量機)的數學方面的研究。
信息論和統計學之間的相互作用是兩個領域發展的永恒主題。本課程將討論基于信息理論的技術如何在理解高維統計問題的極大極小風險和樣本復雜性的基本極限方面發揮關鍵作用。特別地,我們將嚴格證明通過固有低維(稀疏性、平滑性、形狀等)或不太熟悉的外在低維(功能估計)來降維的現象。為了補充理解基礎極限的目標,另一個重要的方向是開發達到統計最優的計算效率程序。
大量大維度數據是現代機器學習(ML)的默認設置。標準的ML算法,從支持向量機這樣的內核方法和基于圖的方法(如PageRank算法)開始,最初的設計是基于小維度的,在處理真實世界的大數據集時,即使不是完全崩潰的話,往往會表現失常。隨機矩陣理論最近提出了一系列廣泛的工具來幫助理解這種新的維數詛咒,幫助修復或完全重建次優算法,最重要的是提供了處理現代數據挖掘的新方向。本編著的主要目的是提供這些直覺,通過提供一個最近的理論和應用突破的隨機矩陣理論到機器學習摘要。針對廣泛的受眾,從對統計學習感興趣的本科生到人工智能工程師和研究人員,這本書的數學先決條件是最小的(概率論、線性代數和真實和復雜分析的基礎是足夠的):與隨機矩陣理論和大維度統計的數學文獻中的介紹性書籍不同,這里的理論重點僅限于機器學習應用的基本要求。這些應用范圍從檢測、統計推斷和估計,到基于圖和核的監督、半監督和非監督分類,以及神經網絡: 為此,本文提供了對算法性能的精確理論預測(在不采用隨機矩陣分析時往往難以實現)、大維度的洞察力、改進方法,以及對這些方法廣泛適用于真實數據的基本論證。該專著中提出的大多數方法、算法和圖形都是用MATLAB和Python編寫的,讀者可以查閱(//github.com/Zhenyu-LIAO/RMT4ML)。本專著也包含一系列練習兩種類型:短的練習與修正附加到書的最后讓讀者熟悉隨機矩陣的基本理論概念和工具分析,以及長期指導練習應用這些工具進一步具體的機器學習應用程序。
近年來,隨機矩陣理論(RMT)已經成為學習理論的前沿,作為一種工具來理解它的一些最重要的挑戰。從深度學習模型的泛化到優化算法的精確分析,RMT提供了易于分析的模型。
第一部分:介紹和經典隨機矩陣理論集合
本節介紹兩個經典的隨機矩陣理論集合,高斯正交集合和Wishart矩陣。通過數值實驗,我們將介紹隨機矩陣理論中一些最重要的分布,如半圓和馬爾欽科-帕斯圖,以及一些關鍵的概念,如通用性。 圖片
第2部分:隨機矩陣理論概論:斯蒂爾吉斯和R變換 本節介紹隨機矩陣理論中的一些核心證明技術: Stieltjes和R變換。
第3部分:數值算法分析 本節主要介紹隨機矩陣理論在數值算法分析中的應用。
第4部分:為什么深度學習有效? 本節討論深度神經網絡泛化的隨機矩陣理論模型。
凸優化作為一個數學問題已經被研究了一個多世紀,并在許多應用領域的實踐中應用了大約半個世紀,包括控制、金融、信號處理、數據挖掘和機器學習。本文主要研究凸優化的幾個問題,以及機器學習的具體應用。
【導讀】《機器學習:貝葉斯和優化的視角》是雅典大學信息學和通信系的教授Sergios Theodoridis的經典著作,對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。非常值得學習。
Sergios Theodoridis教授是雅典大學信息學和通信系的教授,香港中文大學(深圳)客座教授。他的研究領域是信號處理和機器學習。他的研究興趣是自適應算法,分布式和稀疏性感知學習,機器學習和模式識別,生物醫學應用中的信號處理和學習以及音頻處理和檢索。
他的幾本著作與合著蜚聲海內外,包括《機器學習:貝葉斯和優化的視角》以及暢銷書籍《模式識別》。他是2017年EURASIP Athanasios Papoulis獎和2014年EURASIP Meritorious Service獎的獲得者。
機器學習:貝葉斯和優化方法
本書對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。其中,經典方法包括平均/小二乘濾波、卡爾曼濾波、隨機逼近和在線學習、貝葉斯分類、決策樹、邏輯回歸和提升方法等,新趨勢包括稀疏、凸分析與優化、在線分布式算法、RKH空間學習、貝葉斯推斷、圖模型與隱馬爾可夫模型、粒子濾波、深度學習、字典學習和潛變量建模等。全書構建了一套明晰的機器學習知識體系,各章內容相對獨立,物理推理、數學建模和算法實現精準且細致,并輔以應用實例和習題。本書適合該領域的科研人員和工程師閱讀,也適合學習模式識別、統計/自適應信號處理和深度學習等課程的學生參考。
本書涵蓋了這些領域中使用Python模塊演示的概率、統計和機器學習的關鍵思想。整本書包括所有的圖形和數值結果,都可以使用Python代碼及其相關的Jupyter/IPython Notebooks。作者通過使用多種分析方法和Python代碼的有意義的示例,開發了機器學習中的關鍵直覺,從而將理論概念與具體實現聯系起來。現代Python模塊(如panda、y和Scikit-learn)用于模擬和可視化重要的機器學習概念,如偏差/方差權衡、交叉驗證和正則化。許多抽象的數學思想,如概率論中的收斂性,都得到了發展,并用數值例子加以說明。本書適合任何具有概率、統計或機器學習的本科生,以及具有Python編程的基本知識的人。
機器學習是計算機科學中增長最快的領域之一,具有深遠的應用。本書的目的是介紹機器學習,以及它所提供的算法范例。本書對機器學習的基本原理和將這些原理轉化為實際算法的數學推導提供了理論解釋。在介紹了基礎知識之后,這本書涵蓋了以前教科書沒有涉及到的一系列廣泛的中心主題。這些包括討論學習的計算復雜性和凸性和穩定性的概念;重要的算法范例包括隨機梯度下降、神經網絡和結構化輸出學習;以及新興的理論概念,如PAC-Bayes方法和基于壓縮的界限。本文面向高級本科生或剛畢業的學生,使統計學、計算機科學、數學和工程學領域的學生和非專業讀者都能接觸到機器學習的基本原理和算法。
//www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html
概述
機器學習是指自動檢測數據中有意義的模式。在過去的幾十年里,它已經成為幾乎所有需要從大數據集中提取信息的任務的通用工具。我們被一種基于機器學習的技術包圍著:搜索引擎學習如何給我們帶來最好的結果(同時投放有利可圖的廣告),反垃圾郵件軟件學習如何過濾我們的電子郵件信息,信用卡交易被一種學習如何偵測欺詐的軟件保護著。數碼相機學會識別人臉,智能手機上的智能個人輔助應用學會識別語音指令。汽車配備了使用機器學習算法構建的事故預防系統。機器學習還廣泛應用于生物信息學、醫學和天文學等科學領域。
所有這些應用程序的一個共同特征是,與計算機的更傳統使用相比,在這些情況下,由于需要檢測的模式的復雜性,人類程序員無法提供關于這些任務應該如何執行的明確、詳細的規范。以智慧生物為例,我們的許多技能都是通過學習我們的經驗(而不是遵循給我們的明確指示)而獲得或改進的。機器學習工具關注的是賦予程序“學習”和適應的能力。
這本書的第一個目標是提供一個嚴格的,但易于遵循,介紹機器學習的主要概念: 什么是機器學習?
本書的第二個目標是介紹幾種關鍵的機器學習算法。我們選擇展示的算法一方面在實踐中得到了成功應用,另一方面提供了廣泛的不同的學習技術。此外,我們特別關注適合大規模學習的算法(又稱“大數據”),因為近年來,我們的世界變得越來越“數字化”,可用于學習的數據量也在急劇增加。因此,在許多應用中數據量大,計算時間是主要瓶頸。因此,我們明確地量化了學習給定概念所需的數據量和計算時間。
目錄:
Part I: Foundations
Part II: From Theory to Algorithms
Part III: Additional Learning Models
Part IV: Advanced Theory
Appendices
高斯過程(GPs)為核機器的學習提供了一種有原則的、實用的、概率的方法。在過去的十年中,GPs在機器學習社區中得到了越來越多的關注,這本書提供了GPs在機器學習中理論和實踐方面長期需要的系統和統一的處理。該書是全面和獨立的,針對研究人員和學生在機器學習和應用統計學。
這本書處理監督學習問題的回歸和分類,并包括詳細的算法。提出了各種協方差(核)函數,并討論了它們的性質。從貝葉斯和經典的角度討論了模型選擇。討論了許多與其他著名技術的聯系,包括支持向量機、神經網絡、正則化網絡、相關向量機等。討論了包括學習曲線和PAC-Bayesian框架在內的理論問題,并討論了幾種用于大數據集學習的近似方法。這本書包含說明性的例子和練習,和代碼和數據集在網上是可得到的。附錄提供了數學背景和高斯馬爾可夫過程的討論。