聯邦學習:方法和應用的全面概述為研究人員和實踐者提出了聯邦學習最重要的問題和方法的深入討論。
聯邦學習(FL)是一種機器學習方法,其中訓練數據不是集中管理的。數據由參與FL進程的數據方保留,不與任何其他實體共享。這使得FL成為機器學習任務中越來越受歡迎的解決方案,對于這些任務,將數據集中在一個集中存儲庫中是有問題的,無論是出于隱私、監管還是實際原因。
這本書解釋了最近的研究進展和聯邦學習(FL)的最先進的發展,從領域的最初概念到第一個應用和商業使用。為了獲得這一廣泛和深入的概述,領先的研究人員解決了聯邦學習的不同視角:核心機器學習視角、隱私和安全、分布式系統和特定的應用領域。讀者將了解這些領域面臨的挑戰,它們是如何相互聯系的,以及如何用最先進的方法解決它們。
在前言中概述了聯邦學習的基礎知識之后,在接下來的24章中,讀者將深入探討各種主題。第一部分解決了以聯合方式解決不同機器學習任務的算法問題,以及如何高效、大規模和公平地訓練。另一部分重點關注如何以一種可針對特定用例定制的方式選擇隱私和安全解決方案,而另一部分則考慮運行聯邦學習過程的系統的實用主義。本書還介紹了聯邦學習的其他重要用例,如分離學習和垂直聯邦學習。最后,本書包括了一些章節,重點介紹了FL在真實企業環境中的應用。
//link.springer.com/book/10.1007/978-3-030-96896-0
減少機器學習的時間成本可以縮短模型訓練的等待時間,加快模型更新周期。分布式機器學習使機器學習實踐者能夠將模型訓練和推理時間縮短幾個數量級。在本實用指南的幫助下,您將能夠將您的Python開發知識應用到分布式機器學習的實現中,包括多節點機器學習系統。首先,您將探索分布式系統如何在機器學習領域工作,以及分布式機器學習如何應用于最先進的深度學習模型。隨著學習的深入,您將看到如何使用分布式系統來增強機器學習模型訓練和服務速度。在優化本地集群或云環境中的并行模型訓練和服務管道之前,您還將掌握應用數據并行和模型并行方法。讀完這本書,您將獲得構建和部署高效數據處理管道所需的知識和技能,用于以分布式方式進行機器學習模型訓練和推理。
//www.packtpub.com/product/distributed-machine-learning-with-python/9781801815697
讀者
這本書是為數據科學家,機器學習工程師,和機器學習從業者在學術界和工業界。本文假設您基本了解機器學習概念和Python編程的工作知識。有使用TensorFlow或PyTorch實現機器學習/深度學習模型的經驗者優先。如果你對使用分布式系統來提高機器學習模型訓練和服務速度感興趣,你會發現這本書很有用。
內容目錄:
第1章,分割輸入數據,展示了如何將機器學習訓練或服務負載分配到輸入數據維上,稱為數據并行。第2章Parameter Server和All-Reduce描述了數據并行訓練過程中常用的兩種模型同步方案。第3章,構建數據并行訓練和服務管道,闡述了如何實現數據并行訓練和服務流程。第4章,瓶頸和解決方案,描述了如何使用一些高級技術來提高數據并行性能,例如更高效的通信協議,減少內存占用。第5章,模型分割,介紹了一般的模型并行方法。第6章,管道輸入和層拆分,展示了如何利用管道并行提高系統效率。第7章,實現模型并行培訓和服務流程,詳細討論了如何實現模型并行培訓和服務流程。第8章,實現更高的吞吐量和更低的延遲,涵蓋了在模型并行中減少計算和內存消耗的高級方案。第9章,數據和模型并行的混合,將數據和模型并行結合在一起作為一種高級的并行模型訓練/服務方案。第10章,聯邦學習和邊緣設備,討論了聯邦學習和邊緣設備如何參與這個過程。第11章,彈性模型訓練和服務,描述了一個更有效的方案,可以改變在飛行中使用的加速器的數量。第12章,進一步加速的高級技術,總結了幾個有用的工具,如性能調試工具,工作多路復用,和異構模型訓練。
如果你對機器學習很好奇,但不知道從哪里開始,這就是你一直在等待的書。它專注于被稱為深度學習的機器學習子領域,解釋了核心概念,并為您提供了開始構建自己的模型所需的基礎。而不是簡單地概述使用現有工具包的教程,實用深度學習教你為什么使用深度學習,并將激勵你進一步探索。
你所需要的是對計算機編程和高中數學的基本熟悉——這本書將涵蓋其余的內容。在介紹Python之后,您將瀏覽關鍵主題,如如何構建良好的訓練數據集,使用scikit-learn和Keras庫,并評估您的模型的性能。
您還將了解:
如何使用經典的機器學習模型,如k-最近鄰,隨機森林,和支持向量機 神經網絡是如何工作的,又是如何訓練的 如何使用卷積神經網絡 如何從零開始開發一個成功的深度學習模型 您將在此過程中進行實驗,構建最終的案例研究,其中包含您所學到的所有內容。 您將使用的所有代碼都可以在這里獲得: //github.com/rkneusel9/PracticalDeepLearningPython/
這是對這個動態的,不斷擴大的領域的完美介紹,實用深度學習將給你的技能和信心潛入自己的機器學習項目。
在過去的十年里,人們對人工智能和機器學習的興趣有了相當大的增長。從最廣泛的意義上說,這些領域旨在“學習一些有用的東西”,了解生物體所處的環境。如何處理收集到的信息導致了算法的發展——如何處理高維數據和處理不確定性。在機器學習和相關領域的早期研究階段,類似的技術在相對孤立的研究社區中被發現。雖然不是所有的技術都有概率論的自然描述,但許多都有,它是圖模型的框架(圖和概率論的結合),使從統計物理、統計、機器學習和信息理論的想法的理解和轉移。在這種程度上,現在有理由期待機器學習研究人員熟悉統計建模技術的基礎知識。這本書集中在信息處理和機器學習的概率方面。當然,沒有人說這種方法是正確的,也沒有人說這是唯一有用的方法。事實上,有人可能會反駁說,這是沒有必要的,因為“生物有機體不使用概率論”。無論情況是否如此,不可否認的是,圖模型和概率框架幫助機器學習領域出現了新算法和模型的爆炸式增長。我們還應該清楚,貝葉斯觀點并不是描述機器學習和信息處理的唯一方法。貝葉斯和概率技術在需要考慮不確定性的領域中發揮了自己的作用。
//www0.cs.ucl.ac.uk/staff/d.barber/brml/
本書結構
本書第一部分的目的之一是鼓勵計算機科學專業的學生進入這一領域。許多現代學生面臨的一個特別困難是有限的正規微積分和線性代數訓練,這意味著連續和高維分布的細節可能會讓他們離開。在以概率作為推理系統的一種形式開始時,我們希望向讀者展示他們可能更熟悉的邏輯推理和動態規劃的想法如何在概率環境中有自然的相似之處。特別是,計算機科學的學生熟悉的概念,算法為核心。然而,在機器學習中更常見的做法是將模型視為核心,而如何實現則是次要的。從這個角度來看,理解如何將一個數學模型轉換成一段計算機代碼是核心。
第二部分介紹了理解連續分布所需的統計背景,以及如何從概率框架來看待學習。第三部分討論機器學習的主題。當然,當一些讀者看到他們最喜歡的統計話題被列在機器學習下面時,他們會感到驚訝。統計學和機器學習之間的一個不同觀點是,我們最終希望構建什么樣的系統(能夠完成“人類/生物信息處理任務的機器),而不是某些技術。因此,我認為這本書的這一部分對機器學習者來說是有用的。第四部分討論了明確考慮時間的動態模型。特別是卡爾曼濾波器被視為圖模型的一種形式,這有助于強調模型是什么,而不是像工程文獻中更傳統的那樣把它作為一個“過濾器”。第五部分簡要介紹了近似推理技術,包括隨機(蒙特卡羅)和確定性(變分)技術。
藍光輝教授的專著系統地介紹了機器學習算法基礎概念和近期進展,尤其是基于優化方法的算法。 機器學習算法領域近期出現了大量研發進展,但目前社區尚缺乏對機器學習算法基礎概念和近期進展的系統性介紹,尤其是基于隨機優化方法、隨機算法、非凸優化、分布式與在線學習,以及無投影方法的機器學習算法。
佐治亞理工終身教授藍光輝出版的一本關于機器學習算法的專著《First-order and Stochastic Optimization Methods for Machine Learning》。
這本專著具備以下特點:
系統梳理優化算法的進展
在該書序言部分,藍光輝教授介紹了寫作此書的初衷:
優化在數據科學中一直發揮重要作用。很多統計和機器學習模型的分析與解決方法都依賴于優化。但是,近期社區對計算數據分析優化的興趣往往伴隨著一些難題。高維度、大型數據規模、內在不確定性、無法避免的非凸問題,以及實時和分布式設置的要求,給現有的優化方法帶來了大量困難。 在過去十年中,為解決以上挑戰,優化算法在設計和分析方面出現了巨大進步。然而,這些進步分散在多個不同學科的大量文獻中,缺乏系統性的梳理。而這使得年輕研究人員更難進入優化算法領域,更難構建必要的基礎知識、了解目前的前沿成果,以及推動該領域的發展。 這本書嘗試用更有條理的方式介紹領域進展,主要聚焦于已得到廣泛應用或具備大規模機器學習和數據分析應用潛力的優化算法,包括一階方法、隨機優化方法、隨機和分布式方法、非凸隨機優化方法、無投影方法,以及算子滑動和分散式方法。 本書的寫作目標是介紹基礎算法機制,它們能在不同環境設置下提供最優性能保障。不過在探討算法之前,本書首先簡要介紹了多個常見的機器學習模型和一些重要的優化理論,希望借此為初學者提供良好的理論基礎。
此外,藍教授表示這本書的目標讀者是對優化算法及其在機器學習和人工智能中的應用感興趣的研究生和高年級本科生,也可以作為更高階研究人員的參考書目。這本書的最初版本已經作為佐治亞理工學院高年級本科生和博士課程的教材。
核心內容
這本書共包括八個章節,涵蓋機器學習模型、凸優化、非凸優化、無投影方法等內容,是對優化算法近期進展的一次系統性梳理。
書籍鏈接://www.springer.com/gp/book/9783030395674
作者簡介
本書作者藍光輝教授,博士畢業于佐治亞理工學院,目前任教于佐治亞理工 H. Milton Stewart 工業和系統工程學院。此外,他還擔任《Computational Optimization and Applications》、優化算法頂級期刊《Mathematical Programming》和《SIAM Journal on Optimization》等雜志的副主編,是國際機器學習和深度學習算法方向的頂級專家。
藍光輝教授專注于計算機科學領域的基礎研究,他的研究方向包括:隨機優化和非線性規劃的理論、算法和應用,包括隨機梯度下降和加速隨機梯度下降,以及用于解決隨機凸和非凸優化問題。
通過使用Python開發用例,全面了解監督學習算法您將學習監督學習概念、Python代碼、數據集、最佳實踐、常見問題和缺陷的解決方案,以及實現結構化、文本和圖像數據集算法的實踐知識。
你將從介紹機器學習開始,強調監督學習、半監督學習和非監督學習之間的區別。在接下來的章節中,你將學習回歸和分類問題,它們背后的數學,像線性回歸、邏輯回歸、決策樹、KNN、樸素貝葉斯等算法,以及像隨機森林、支持向量機、梯度增強和神經網絡等高級算法。提供了所有算法的Python實現。最后,您將得到一個端到端模型開發流程,包括模型的部署和維護。在閱讀了Python的監督學習之后,你將會對監督學習和它的實際實現有一個廣泛的理解,并且能夠以一種創新的方式運行代碼和擴展它。
你將學習:
這本書是給誰的