【導讀】《機器學習:貝葉斯和優化的視角》是雅典大學信息學和通信系的教授Sergios Theodoridis的經典著作,對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。非常值得學習。
Sergios Theodoridis教授是雅典大學信息學和通信系的教授,香港中文大學(深圳)客座教授。他的研究領域是信號處理和機器學習。他的研究興趣是自適應算法,分布式和稀疏性感知學習,機器學習和模式識別,生物醫學應用中的信號處理和學習以及音頻處理和檢索。
他的幾本著作與合著蜚聲海內外,包括《機器學習:貝葉斯和優化的視角》以及暢銷書籍《模式識別》。他是2017年EURASIP Athanasios Papoulis獎和2014年EURASIP Meritorious Service獎的獲得者。
機器學習:貝葉斯和優化方法
本書對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。其中,經典方法包括平均/小二乘濾波、卡爾曼濾波、隨機逼近和在線學習、貝葉斯分類、決策樹、邏輯回歸和提升方法等,新趨勢包括稀疏、凸分析與優化、在線分布式算法、RKH空間學習、貝葉斯推斷、圖模型與隱馬爾可夫模型、粒子濾波、深度學習、字典學習和潛變量建模等。全書構建了一套明晰的機器學習知識體系,各章內容相對獨立,物理推理、數學建模和算法實現精準且細致,并輔以應用實例和習題。本書適合該領域的科研人員和工程師閱讀,也適合學習模式識別、統計/自適應信號處理和深度學習等課程的學生參考。
作為布爾邏輯的替代
雖然邏輯是理性推理的數學基礎和計算的基本原理,但它僅限于信息既完整又確定的問題。然而,許多現實世界的問題,從金融投資到電子郵件過濾,本質上是不完整或不確定的。概率論和貝葉斯計算共同提供了一個處理不完整和不確定數據的框架。
不完全和不確定數據的決策工具和方法
貝葉斯編程強調概率是布爾邏輯的替代選擇,它涵蓋了為真實世界的應用程序構建概率程序的新方法。本書由設計并實現了一個高效概率推理引擎來解釋貝葉斯程序的團隊編寫,書中提供了許多Python示例,這些示例也可以在一個補充網站上找到,該網站還提供了一個解釋器,允許讀者試驗這種新的編程方法。
原則和建模
只需要一個基本的數學基礎,本書的前兩部分提出了一種新的方法來建立主觀概率模型。作者介紹了貝葉斯編程的原理,并討論了概率建模的良好實踐。大量簡單的例子突出了貝葉斯建模在不同領域的應用。
形式主義和算法
第三部分綜合了已有的貝葉斯推理算法的工作,因為需要一個高效的貝葉斯推理引擎來自動化貝葉斯程序中的概率演算。對于想要了解貝葉斯編程的形式主義、主要的概率模型、貝葉斯推理的通用算法和學習問題的讀者,本文提供了許多參考書目。
常見問題
第四部分連同詞匯表包含了常見問題的答案。作者比較了貝葉斯規劃和可能性理論,討論了貝葉斯推理的計算復雜性,討論了不完全性的不可約性,討論了概率的主觀主義和客觀主義認識論。
貝葉斯計算機的第一步
創建一個完整的貝葉斯計算框架需要新的建模方法、新的推理算法、新的編程語言和新的硬件。本書著重于方法論和算法,描述了實現這一目標的第一步。它鼓勵讀者探索新興領域,例如仿生計算,并開發新的編程語言和硬件架構。
高斯過程(GPs)為核機器的學習提供了一種有原則的、實用的、概率的方法。在過去的十年中,GPs在機器學習社區中得到了越來越多的關注,這本書提供了GPs在機器學習中理論和實踐方面長期需要的系統和統一的處理。該書是全面和獨立的,針對研究人員和學生在機器學習和應用統計學。
這本書處理監督學習問題的回歸和分類,并包括詳細的算法。提出了各種協方差(核)函數,并討論了它們的性質。從貝葉斯和經典的角度討論了模型選擇。討論了許多與其他著名技術的聯系,包括支持向量機、神經網絡、正則化網絡、相關向量機等。討論了包括學習曲線和PAC-Bayesian框架在內的理論問題,并討論了幾種用于大數據集學習的近似方法。這本書包含說明性的例子和練習,和代碼和數據集在網上是可得到的。附錄提供了數學背景和高斯馬爾可夫過程的討論。
統計學習是一套以復雜數據建模和數據理解為目的的工具集,是近期才發展起來的統計學的一個新領域。本書出自統計學習領域聲名顯赫的幾位專家,結合R語言介紹了分析大數據必不可少的工具,提供一些重要的建模和預測技術,并借助豐富的實驗來解釋如何用R語言實現統計學習方法。論題包括線性回歸、分類、重抽樣方法、壓縮方法、基于樹的方法、支持向量機、聚類等,作者借助彩圖和實際案例直觀解釋這些方法。為了讀者更好地理解書中內容,每章后還配有豐富的概念性和應用性練習題。
書中內容與《The Elements of Statistical Learning》的大部分內容相同,但是本書起點低,弱化了數學推導的細節,更注重方法的應用,所以更適合作為入門教材。當然,這本《統計學習導論》不僅是優秀的“統計學習”或“機器學習”課程的教材,也是數據挖掘、數據分析等相關從業者不可或缺的參考書。
Gareth James 斯坦福大學統計學博士畢業,師從Trevor Hastie。現為南加州大學馬歇爾商學院統計學教授,美國統計學會會士,數理統計協會終身會員,新西蘭統計協會會員。《Statistica Sinica》、《Applications and Case Studies》、《Theory and Methods》等期刊的副主編。
Daniela Witten 斯坦福大學統計學博士畢業,師從Robert Tibshirani。現為華盛頓大學生物統計學副教授,美國統計學會和國際數理統計協會會士,《Journal of Computational and Graphical Statistics》和《Biometrika》等期刊副主編。
Trevor Hastie 美國統計學家和計算機科學家,斯坦福大學統計學教授,英國皇家統計學會、國際數理統計協會和美國統計學會會士。Hastie參與開發了 R 中的大部分統計建模軟件和環境,發明了主曲線和主曲面。
Robert Tibshirani 斯坦福大學統計學教授,國際數理統計協會、美國統計學會和加拿大皇家學會會士,1996年COPSS總統獎得主,提出lasso方法。Hastie和Tibshirani都是統計學習領域的泰山北斗,兩人合著《The Elements of Statistical Learning》,還合作講授斯坦福大學的公開課《統計學習》。
本文采用了一種獨特的機器學習方法,它包含了對進行研究、開發產品、修補和玩耍所必需的所有基本概念的全新的、直觀的、但又嚴謹的描述。通過優先考慮幾何直觀,算法思維,和實際應用的學科,包括計算機視覺,自然語言處理,經濟學,神經科學,推薦系統,物理,和生物學,這篇文章為讀者提供了一個清晰的理解基礎材料以及實際工具需要解決現實世界的問題。通過深入的Python和基于MATLAB/ octave的計算練習,以及對前沿數值優化技術的完整處理,這是學生的基本資源,也是從事機器學習、計算機科學、電子工程、信號處理和數值優化的研究人員和實踐者的理想參考。其他資源包括補充討論主題、代碼演示和練習,可以在官方教材網站mlrefined.com上找到。
貝葉斯數據分析第三版,這本經典的書被廣泛認為是關于貝葉斯方法的主要著作,用實用的方法來分析數據和解決研究問題。貝葉斯數據分析,第三版繼續采取一種實用的方法來分析使用最新的貝葉斯方法。作者——統計界權威——在介紹高級方法之前,先從數據分析的角度介紹基本概念。在整個文本中,大量的工作示例來自實際應用和研究,強調在實踐中使用貝葉斯推理。
第三版新增
這本書有三種不同的用法。對于本科生,它介紹了從第一原則開始的貝葉斯推理。針對研究生,本文提出了有效的方法,目前貝葉斯建模和計算的統計和相關領域。對于研究人員來說,它提供了應用統計學中的各種貝葉斯方法。其他的資料,包括例子中使用的數據集,所選練習的解決方案,以及軟件說明,都可以在本書的網頁上找到。
貝葉斯數據分析課程
課程內容:
數學基礎:矩陣、向量、Lp范數、范數的幾何、對稱性、正確定性、特征分解。無約束最優化,graident下降法,凸函數,拉格朗日乘子,線性最小二乘法。概率空間,隨機變量,聯合分布,多維高斯。
線性分類器:線性判別分析,分離超平面,多類分類,貝葉斯決策規則,貝葉斯決策規則幾何,線性回歸,邏輯回歸,感知機算法,支持向量機,非線性變換。
魯棒性:對抗性攻擊、定向攻擊和非定向攻擊、最小距離攻擊、最大允許攻擊、基于規則的攻擊。通過納微擾。支持向量機的魯棒性。
學習理論:偏差和方差,訓練和測試,泛化,PAC框架,Hoeffding不等式,VC維。
參考書籍:
講者: Stanley Chan 教授 //engineering.purdue.edu/ChanGroup/stanleychan.html
課程目標: 您將能夠應用基本的線性代數、概率和優化工具來解決機器學習問題
?你將了解一般監督學習方法的原理,并能評論它們的優缺點。 ?你會知道處理數據不確定性的方法。 ?您將能夠使用學習理論的概念運行基本的診斷。 ?您將獲得機器學習算法編程的實際經驗。
簡介:
科學專業人員可以通過本書學習Scikit-Learn庫以及機器學習的基礎知識。該書將Anaconda Python發行版與流行的Scikit-Learn庫結合在一起,展示了各種有監督和無監督的機器學習算法。通過Python編寫的清晰示例向讀者介紹機器學習的原理,以及相關代碼。
本書涵蓋了掌握這些內容所需的所有應用數學和編程技能。不需要深入的面向對象編程知識,因為可以提供并說明完整的示例。必要時,編碼示例很深入且很復雜。它們也簡潔,準確,完整,是對引入的機器學習概念的補充。處理示例有助于建立理解和應用復雜機器學習算法所需的技能。
本書的學生將學習作為勝任力前提的基礎知識。讀者將了解專門為數據科學專業人員設計的Python Anaconda發行版,并將在流行的Scikit-Learn庫中構建技能,該庫是Python領域許多機器學習應用程序的基礎。
本書內容包括:
內容介紹:
這本書分為八章。 第1章介紹了機器學習,Anaconda和Scikit-Learn的主題。 第2章和第3章介紹算法分類。 第2章對簡單數據集進行分類,第3章對復雜數據集進行分類。 第4章介紹了回歸預測模型。 第5章和第6章介紹分類調整。 第5章調整簡單數據集,第6章調整復雜數據集。 第7章介紹了預測模型回歸調整。 第8章將所有知識匯總在一起,以整體方式審查和提出發現。
作者介紹:
David Paper博士是猶他州立大學管理信息系統系的教授。他寫了兩本書-商業網絡編程:Oracle的PHP面向對象編程和Python和MongoDB的數據科學基礎。他在諸如組織研究方法,ACM通訊,信息與管理,信息資源管理期刊,AIS通訊,信息技術案例與應用研究期刊以及遠程計劃等參考期刊上發表了70余篇論文。他還曾在多個編輯委員會擔任過各種職務,包括副編輯。Paper博士還曾在德州儀器(TI),DLS,Inc.和鳳凰城小型企業管理局工作。他曾為IBM,AT&T,Octel,猶他州交通運輸部和空間動力實驗室執行過IS咨詢工作。 Paper博士的教學和研究興趣包括數據科學,機器學習,面向對象的程序設計和變更管理。
目錄:
書籍介紹: 機器學習是一門人工智能的科學,該領域的主要研究對象是人工智能,特別是如何在經驗學習中改善具體算法的性能。機器學習是人工智能及模式識別領域的共同研究熱點,其理論和方法已被廣泛應用于解決工程應用和科學領域的復雜問題。本書從機器學習的基礎入手,分別講述了分類、排序、降維、回歸等機器學習任務,是入門機器學習的一本好書。
作者: Mehryar Mohri,是紐約大學庫蘭特數學科學研究所的計算機科學教授,也是Google Research的研究顧問。
大綱介紹:
作者主頁://cs.nyu.edu/~mohri/