本書介紹了在并行和分布式計算平臺上擴展機器學習和數據挖掘方法的代表性方法的集成集合。對并行學習算法的需求是高度特定于任務的:在某些情況下,并行學習算法是由龐大的數據集驅動的,而在另一些情況下,并行學習算法是由模型復雜性或實時性能需求驅動的。為大規模機器學習選擇適合于任務的算法和平臺,需要了解可用選項的好處、權衡和約束。本書提供的解決方案涵蓋了一系列的并行化平臺,從FPGAs和gpu到多核系統和商品集群,并發編程框架包括CUDA、MPI、MapReduce和DryadLINQ,以及學習設置(監督、非監督、半監督和在線學習)。廣泛的并行化的推進樹,支持向量機,譜聚類,信念傳播和其他流行的學習算法,并深入到幾個應用,這本書適合研究人員,學生,和從業者。
在復雜的以人為中心的系統中,每天的決策都具有決策相關信息不完全的特點。現有決策理論的主要問題是,它們沒有能力處理概率和事件不精確的情況。在這本書中,我們描述了一個新的理論的決策與不完全的信息。其目的是將決策分析和經濟行為的基礎從領域二價邏輯轉向領域模糊邏輯和Z約束,從行為決策的外部建模轉向組合狀態的框架。
這本書將有助于在模糊邏輯,決策科學,人工智能,數學經濟學,和計算經濟學的專業人員,學者,經理和研究生。
讀者:專業人士,學者,管理者和研究生在模糊邏輯,決策科學,人工智能,數學經濟學,和計算經濟學。
【導讀】《機器學習:貝葉斯和優化的視角》是雅典大學信息學和通信系的教授Sergios Theodoridis的經典著作,對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。非常值得學習。
Sergios Theodoridis教授是雅典大學信息學和通信系的教授,香港中文大學(深圳)客座教授。他的研究領域是信號處理和機器學習。他的研究興趣是自適應算法,分布式和稀疏性感知學習,機器學習和模式識別,生物醫學應用中的信號處理和學習以及音頻處理和檢索。
他的幾本著作與合著蜚聲海內外,包括《機器學習:貝葉斯和優化的視角》以及暢銷書籍《模式識別》。他是2017年EURASIP Athanasios Papoulis獎和2014年EURASIP Meritorious Service獎的獲得者。
機器學習:貝葉斯和優化方法
本書對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。其中,經典方法包括平均/小二乘濾波、卡爾曼濾波、隨機逼近和在線學習、貝葉斯分類、決策樹、邏輯回歸和提升方法等,新趨勢包括稀疏、凸分析與優化、在線分布式算法、RKH空間學習、貝葉斯推斷、圖模型與隱馬爾可夫模型、粒子濾波、深度學習、字典學習和潛變量建模等。全書構建了一套明晰的機器學習知識體系,各章內容相對獨立,物理推理、數學建模和算法實現精準且細致,并輔以應用實例和習題。本書適合該領域的科研人員和工程師閱讀,也適合學習模式識別、統計/自適應信號處理和深度學習等課程的學生參考。
機器學習是計算機科學中增長最快的領域之一,具有深遠的應用。本書的目的是介紹機器學習,以及它所提供的算法范例。本書對機器學習的基本原理和將這些原理轉化為實際算法的數學推導提供了理論解釋。在介紹了基礎知識之后,這本書涵蓋了以前教科書沒有涉及到的一系列廣泛的中心主題。這些包括討論學習的計算復雜性和凸性和穩定性的概念;重要的算法范例包括隨機梯度下降、神經網絡和結構化輸出學習;以及新興的理論概念,如PAC-Bayes方法和基于壓縮的界限。本文面向高級本科生或剛畢業的學生,使統計學、計算機科學、數學和工程學領域的學生和非專業讀者都能接觸到機器學習的基本原理和算法。
//www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html
概述
機器學習是指自動檢測數據中有意義的模式。在過去的幾十年里,它已經成為幾乎所有需要從大數據集中提取信息的任務的通用工具。我們被一種基于機器學習的技術包圍著:搜索引擎學習如何給我們帶來最好的結果(同時投放有利可圖的廣告),反垃圾郵件軟件學習如何過濾我們的電子郵件信息,信用卡交易被一種學習如何偵測欺詐的軟件保護著。數碼相機學會識別人臉,智能手機上的智能個人輔助應用學會識別語音指令。汽車配備了使用機器學習算法構建的事故預防系統。機器學習還廣泛應用于生物信息學、醫學和天文學等科學領域。
所有這些應用程序的一個共同特征是,與計算機的更傳統使用相比,在這些情況下,由于需要檢測的模式的復雜性,人類程序員無法提供關于這些任務應該如何執行的明確、詳細的規范。以智慧生物為例,我們的許多技能都是通過學習我們的經驗(而不是遵循給我們的明確指示)而獲得或改進的。機器學習工具關注的是賦予程序“學習”和適應的能力。
這本書的第一個目標是提供一個嚴格的,但易于遵循,介紹機器學習的主要概念: 什么是機器學習?
本書的第二個目標是介紹幾種關鍵的機器學習算法。我們選擇展示的算法一方面在實踐中得到了成功應用,另一方面提供了廣泛的不同的學習技術。此外,我們特別關注適合大規模學習的算法(又稱“大數據”),因為近年來,我們的世界變得越來越“數字化”,可用于學習的數據量也在急劇增加。因此,在許多應用中數據量大,計算時間是主要瓶頸。因此,我們明確地量化了學習給定概念所需的數據量和計算時間。
目錄:
Part I: Foundations
Part II: From Theory to Algorithms
Part III: Additional Learning Models
Part IV: Advanced Theory
Appendices
高斯過程(GPs)為核機器的學習提供了一種有原則的、實用的、概率的方法。在過去的十年中,GPs在機器學習社區中得到了越來越多的關注,這本書提供了GPs在機器學習中理論和實踐方面長期需要的系統和統一的處理。該書是全面和獨立的,針對研究人員和學生在機器學習和應用統計學。
這本書處理監督學習問題的回歸和分類,并包括詳細的算法。提出了各種協方差(核)函數,并討論了它們的性質。從貝葉斯和經典的角度討論了模型選擇。討論了許多與其他著名技術的聯系,包括支持向量機、神經網絡、正則化網絡、相關向量機等。討論了包括學習曲線和PAC-Bayesian框架在內的理論問題,并討論了幾種用于大數據集學習的近似方法。這本書包含說明性的例子和練習,和代碼和數據集在網上是可得到的。附錄提供了數學背景和高斯馬爾可夫過程的討論。
這本書在對算法工作原理的高層次理解和對優化模型的具體細節的了解之間找到一個平衡點。這本書將給你的信心和技能時,開發所有主要的機器學習模型。在這本Pro機器學習算法中,您將首先在Excel中開發算法,以便在用Python/R實現模型之前,實際了解可以在模型中調優的所有細節。
你將涵蓋所有主要的算法:監督和非監督學習,其中包括線性/邏輯回歸;k - means聚類;主成分分析;推薦系統;決策樹;隨機森林;“GBM”;和神經網絡。您還將通過CNNs、RNNs和word2vec等文本挖掘工具了解最新的深度學習。你不僅要學習算法,還要學習特征工程的概念來最大化模型的性能。您將看到該理論與案例研究,如情緒分類,欺詐檢測,推薦系統,和圖像識別,以便您得到最佳的理論和實踐為工業中使用的絕大多數機器學習算法。在學習算法的同時,您還將接觸到在所有主要云服務提供商上運行的機器學習模型。
你會學到什么?
這本書是給誰看的
希望轉換到數據科學角色的業務分析師/ IT專業人員。想要鞏固機器學習知識的數據科學家。
【導讀】這本書對自動化機器學習(AutoML)的一般化方法進行了全面的闡述,并且收集了以這些方法為基礎的系統的描述和一系列關于自動化機器學習系統領域的挑戰。最近,機器學習在商業領域取得的成就和該領域的快速增長對機器學習產生了大量的需求,尤其是可以很容易地使用,并且不需要專家知識的機器學習方法。然而,當前許多表現優異的機器學習方法的大多都依賴人類專家去手動選擇適當的機器學習架構以及模型的超參數(深度學習架構或者更加傳統的機器學習方法)。為了克服這個問題,AutoML基于優化原理和機器學習本身去逐步實現機器學習的自動化。這本書可以為為研究人員和高年級學生提供一個進入這個快速發展的領域的切入點,同時也為打算在工作中使用AutoML的從業者提供參考。
第一部分 自動機器學習方法
每個機器學習系統都有超參數,而自動化機器學習最基本的任務就是自動設置這些超參數來優化性能。尤其是最近的深度神經網絡嚴重依賴對于神經網絡的結構、正則化和優化等超參數的選擇。自動優化超參數(HPO)有幾個重要的用例:?
第二部分 自動化機器學習系統
越來越多的非領域專家開始學習使用機器學習工具,他們需要非獨立的解決方案。機器學習社區通過開源代碼為這些用戶提供了大量復雜的學習算法和特征選擇方法,比如WEKA和mlr。這些開源包需要使用者做出兩種選擇:選擇一種學習算法,并通過設置超參數對其進行定制。然而想要一次性做出正確的選擇是非常具有挑戰性的,這使得許多用戶不得不通過算法的聲譽或直覺來進行選擇,并將超參數設置為默認值。當然,采用這種方法所獲得的性能要比最佳方法進行超參數設置差得多。
第三部分 自動化機器學習面臨的挑戰
直到十年之前,機器學習還是一門鮮為人知的學科。對于機器學習領域的科學家們來說,這是一個“賣方市場”:他們研究產出了大量的算法,并不斷地尋找新的有趣的數據集。大的互聯網公司積累了大量的數據,如谷歌,Facebook,微軟和亞馬遜已經上線了基于機器學習的應用,數據科學競賽也吸引了新一代的年輕科學家。如今,隨著開放性數據的增加,政府和企業不斷發掘機器學習的新的應用領域。然而,不幸的是機器學習并不是全自動的:依舊很難確定哪個算法一定適用于哪種問題和如何選擇超參數。完全自動化是一個無界的問題,因為總是有一些從未遇到過的新設置。AutoML面臨的挑戰包括但不限于: