這本開放存取的書提供了大量的實踐示例,說明了如何在實踐中應用超參數調優,并對機器學習(ML)和深度學習(DL)方法的工作機制提供了深入的見解。本書的目的是讓讀者能夠使用這里描述的方法,以更少的時間、成本、精力和資源取得更好的結果。本書中的案例可以在普通的臺式電腦或筆記本電腦上運行。不需要高性能計算設施。
編寫這本書的想法源于Bartz & Bartz GmbH為德國聯邦統計局(Destatis)進行的一項研究。在該研究的基礎上,這本書是針對行業從業者以及研究人員,教師和學生在學術界。內容集中在ML和DL算法的超參數調整,并分為兩個主要部分:理論(第一部分)和應用(第二部分)。涉及的基本主題包括:重要模型參數的調查;四項參數調優研究和一項廣泛的全局參數調優研究;基于嚴重性的ML和DL方法性能統計分析以及一種新的、基于共識排序的方法來匯總和分析來自多個算法的結果。本書對6種相關的ML和DL方法的30多個超參數進行了分析,并提供了源代碼,以便用戶可以重現結果。因此,它可以作為一本手冊和教科書。 //link.springer.com/book/10.1007/978-981-19-5170-1
這本書涵蓋了凸優化的介紹,凸優化是一種強大且易處理的優化問題,可以在計算機上高效求解。本書的目標是幫助讀者了解凸優化是什么以及如何在不斷擴大的實際應用場景中使用,特別強調在機器學習領域的應用。本書的第一部分涵蓋了凸集、凸函數和相關基本定義,這些概念有助于理解凸優化及其相應的模型。第二部分講述了一個非常有用的理論——對偶性,它使我們能夠:(1)獲得算法洞察;(2)為通常難以解決的非凸優化問題獲得近似解。最后一部分關注機器學習和深度學習的現代應用。這本書的一個特點是,它簡潔地講述了凸優化如何通過歷史示例和當前機器學習應用發揮作用的“故事”。另一個關鍵特點是,它包括了基于優化基礎原理啟發的各種機器學習算法的編程實現,以及所使用編程工具的簡要教程。實現基于Python,CVXPY和TensorFlow。本書并未遵循傳統教科書式的組織結構,而是通過一系列緊密相關的講義進行簡化,圍繞連貫的主題和概念展開。本書主要作為高年級本科生課程教材,同時也適用于一年級研究生課程。讀者需要具備良好的線性代數背景,一定程度的概率知識和對Python的基本熟悉。本書由三部分組成。在第一部分中,我們將學習基本概念和幾個數學定義,以便理解什么是凸優化,以及如何將感興趣的問題轉化為凸問題。然后,我們將探索凸優化問題的五個實例:LP、最小二乘、QP、SOCP和SDP。我們將專注于識別(和轉換)這類問題的技術。我們還將研究一些用于解決這些問題的著名算法。在第二部分中,我們將研究最優化領域中的一個關鍵理論,稱為對偶性。二元性有兩種類型:(1)強二元性;(2)弱對偶性。強對偶性對于獲得凸問題的算法見解是非常有用的。福利對偶性通過提供近似解來幫助處理困難的非凸問題。在最后的第三部分,我們將探討機器學習的應用:(1)監督學習,最流行的機器學習方法之一;(ii)生成對抗網絡(GANs),無監督學習的突破性模型之一;(iii)公平分類器,這是機器學習中的熱門話題之一。
這本教材旨在從數學的角度指出數據分析的最重要的原則。具體來說,它選擇了這些問題進行探索:哪些是理解應用的含義所必需的原則,哪些是理解所使用的方法成功的條件所必需的?理論只在適當應用的必要程度上呈現,力求在過度復雜和過度簡化之間取得平衡。它的主要重點是應用成功的關鍵原則。主題及特點:
雖然這本核心教材直接針對計算機科學和/或數據科學的學生,但它也將對該領域的研究人員具有真正的吸引力,他們希望獲得“超越”唯一計算經驗的數學基礎的正確理解。
//link.springer.com/book/10.1007/978-3-031-19074-2
這本開放存取的書提供了大量的實踐示例,說明了如何在實踐中應用超參數調優,并對機器學習(ML)和深度學習(DL)方法的工作機制提供了深入的見解。本書的目的是讓讀者能夠使用這里描述的方法,以更少的時間、成本、精力和資源取得更好的結果。本書中的案例可以在普通的臺式電腦或筆記本電腦上運行。不需要高性能計算設施。 編寫這本書的想法源于Bartz & Bartz GmbH為德國聯邦統計局(Destatis)進行的一項研究。在該研究的基礎上,這本書是針對行業從業者以及研究人員,教師和學生在學術界。內容集中在ML和DL算法的超參數調整,并分為兩個主要部分:理論(第一部分)和應用(第二部分)。涉及的基本主題包括:重要模型參數的調查;四項參數調優研究和一項廣泛的全局參數調優研究;基于嚴重性的ML和DL方法性能統計分析以及一種新的、基于共識排序的方法來匯總和分析來自多個算法的結果。本書對6種相關的ML和DL方法的30多個超參數進行了分析,并提供了源代碼,以便用戶可以重現結果。因此,它可以作為一本手冊和教科書。
深度學習:全面指南提供了深度學習(DL)和機器學習(ML)的概念的全面覆蓋。DL和ML是最受歡迎的領域,需要深刻的理解。這本書使讀者能夠基于ML和DL構建創新和有用的應用。從神經網絡的基礎開始,并繼續通過各種類型的CNN, RNNs, LSTM的架構,以及更多,直到書的結尾,每一個主題都給予了最大的照顧和專業和全面的塑造。
關鍵特征: 包括從ML概念到DL概念的平穩過渡
對于所有基于代碼的示例,都提供了逐行解釋
包括許多實際的例子和面試問題
即使是非計算機科學背景的人也可以從這本書中受益,學習理論、例子、案例研究和代碼片段
每一章都以目標開始,并以一組測試讀者理解力的測試問題結束
包括對提供額外指導的相關YouTube視頻的引用
人工智能是每個人的領域。這本書面向所有人,不論他們的專業領域是什么。畢業生和研究人員在深度學習將發現這本書有用。
機器學習是關于基于數據的學習、推理和行動。這是通過構建計算機程序來完成的,這些程序可以處理數據,提取有用的信息,對未知屬性做出預測,并建議采取的行動或做出的決定。將數據分析變成機器學習的原因是,這個過程是自動化的,計算機程序是從數據中學習的。這意味著使用通用計算機程序,這些程序根據觀察到的所謂訓練數據自動調整程序的設置,以適應特定的應用程序環境。因此可以說,機器學習是一種通過實例編程的方式。機器學習的美妙之處在于,數據所代表的內容是非常隨意的,我們可以設計出適用于不同領域的廣泛實際應用的通用方法。我們通過下面的一系列例子來說明這一點。上述“通用計算機程序”是指數據的數學模型。也就是說,當我們開發和描述不同的機器學習方法時,我們使用的是數學語言。數學模型描述了與觀測數據對應的相關數量或變量與感興趣的屬性(如預測、動作等)之間的關系。因此,模型是數據的緊湊表示,以精確的數學形式捕捉我們正在研究的現象的關鍵屬性。使用哪個模型通常由機器學習工程師在查看可用數據時產生的見解和從業者對問題的總體理解來指導。在實踐中實現該方法時,將該數學模型轉換為可在計算機上執行的代碼。然而,要理解計算機程序的實際作用,了解其基礎數學也很重要。
這本書的目的是介紹監督機器學習,而不需要在該領域的任何經驗。我們既關注基礎的數學,也關注實踐方面。本書是教科書,不是參考書,也不是編程手冊。因此,它只包含一個仔細(但全面)的監督機器學習方法的選擇,而沒有編程代碼。現在有許多精彩和證據確鑿的代碼包可用,我們深信,在很好地理解數學和內部運行的方法。在這本書中,我們從統計學的角度來討論方法的統計特性。因此,它需要一些統計和概率論的知識,以及微積分和線性代數。我們希望,從頭到尾閱讀這本書將給讀者一個良好的起點,作為一個機器學習工程師工作和/或繼續在該學科的進一步研究。下圖說明了章節之間的主要依賴關系。特別是在第二、三、四章中討論了最基本的主題,我們建議讀者先閱讀這些章節,然后再閱讀后面包含更高級的主題的章節(第5-9章)。第10章超越了機器學習的監督設置,第11章關注于設計一個成功的機器學習解決方案的一些更實際的方面,比前幾章的技術性更少。最后,第十二章(由David Sumpter撰寫)討論了現代機器學習的某些倫理方面。
深入機器學習模型的超參數調優,關注什么是超參數以及它們是如何工作的。這本書討論了超參數調優的不同技術,從基礎到高級方法。
這是一個循序漸進的超參數優化指南,從什么是超參數以及它們如何影響機器學習模型的不同方面開始。然后通過一些基本的(蠻力的)超參數優化算法。進一步,作者提出了時間和內存約束的問題,使用分布式優化方法。接下來,您將討論超參數搜索的貝葉斯優化,它從以前的歷史中學習。
這本書討論了不同的框架,如Hyperopt和Optuna,它們實現了基于順序模型的全局優化(SMBO)算法。在這些討論中,您將關注不同的方面,比如搜索空間的創建和這些庫的分布式優化。
機器學習中的超參數優化創建了對這些算法如何工作的理解,以及如何在現實生活中的數據科學問題中使用它們。最后一章總結了超參數優化在自動機器學習中的作用,并以創建自己的AutoML腳本的教程結束。
超參數優化是一項繁瑣的任務,所以請坐下來,讓這些算法來完成您的工作。
//link.springer.com/book/10.1007/978-1-4842-6579-6#about
你會:
了解超參數的變化如何影響模型的性能。
將不同的超參數調優算法應用于數據科學問題
使用貝葉斯優化方法創建高效的機器學習和深度學習模型
使用一組機器來分配超參數優化
利用超參數優化方法實現自動機器學習
深入機器學習模型的超參數調整,關注什么是超參數以及它們是如何工作的。這本書討論了不同的超參數調優技術,從基礎到高級方法。
這是一個關于超參數優化的分步指南,從什么是超參數以及它們如何影響機器學習模型的不同方面開始。然后介紹一些基本的超參數優化算法。此外,作者利用分布式優化方法解決了時間和內存約束的問題。接下來您將討論超參數搜索的貝葉斯優化,它從以前的歷史中吸取了教訓。
這本書討論了不同的框架,如Hyperopt和Optuna,它實現了基于順序模型的全局優化(SMBO)算法。在這些討論中,您將關注不同的方面,比如搜索空間的創建和這些庫的分布式優化。
機器學習中的超參數優化有助于理解這些算法是如何工作的,以及如何在現實數據科學問題中使用它們。最后一章總結了超參數優化在自動機器學習中的作用,并以一個創建自己的自動腳本的教程結束。
超參數優化是一項冗長乏味的任務,所以請坐下來,讓這些算法來完成您的工作。你將學到什么
這本書是給誰的
在構建機器學習模型時選擇正確的超參數是數據科學從業者面臨的最大問題之一。這本書是超參數優化(HPO)的指南。它從超參數的最基本定義開始,并帶您使用高級HPO技術構建您自己的AutoML腳本。這本書是打算為學生和數據科學專業人員。這本書由五章組成。
這本書的目的是讓讀者以一種直觀和實用的方式來理解HPO的概念,每個部分都提供了代碼實現。我希望你能喜歡。
當看到這些材料時,一個明顯的問題可能會出現:“為什么還要寫一本深度學習和自然語言處理的書呢?”一些優秀的論文已經出版,涵蓋了深度學習的理論和實踐方面,以及它在語言處理中的應用。然而,從我教授自然語言處理課程的經驗來看,我認為,盡管這些書的質量非常好,但大多數都不是針對最有可能的讀者。本書的目標讀者是那些在機器學習和自然語言處理之外的領域有經驗的人,并且他們的工作至少部分地依賴于對大量數據,特別是文本數據的自動化分析。這些專家可能包括社會科學家、政治科學家、生物醫學科學家,甚至是對機器學習接觸有限的計算機科學家和計算語言學家。
現有的深度學習和自然語言處理書籍通常分為兩大陣營。第一個陣營專注于深度學習的理論基礎。這對前面提到的讀者肯定是有用的,因為在使用工具之前應該了解它的理論方面。然而,這些書傾向于假設一個典型的機器學習研究者的背景,因此,我經常看到沒有這種背景的學生很快就迷失在這樣的材料中。為了緩解這個問題,目前存在的第二種類型的書集中在機器學習從業者;也就是說,如何使用深度學習軟件,而很少關注理論方面。我認為,關注實際方面同樣是必要的,但還不夠。考慮到深度學習框架和庫已經變得相當復雜,由于理論上的誤解而濫用它們的可能性很高。這個問題在我的課程中也很常見。
因此,本書旨在為自然語言處理的深度學習搭建理論和實踐的橋梁。我涵蓋了必要的理論背景,并假設讀者有最少的機器學習背景。我的目標是讓任何上過線性代數和微積分課程的人都能跟上理論材料。為了解決實際問題,本書包含了用于討論的較簡單算法的偽代碼,以及用于較復雜體系結構的實際Python代碼。任何上過Python編程課程的人都應該能夠理解這些代碼。讀完這本書后,我希望讀者能有必要的基礎,立即開始構建真實世界的、實用的自然語言處理系統,并通過閱讀有關這些主題的研究出版物來擴展他們的知識。
//clulab.cs.arizona.edu/gentlenlp/gentlenlp-book-05172020.pdf
本教程介紹了機器學習(ML)的一些主要概念。從工程的角度來看,ML領域圍繞著實現科學原理的軟件開發: (i) 對一些現象設定一個假設(選擇一個模型),(ii) 收集數據來驗證假設(驗證模型),(iii) 完善假設(迭代)。基于這一原理的一類重要算法是梯度下降法,它旨在迭代地細化由某個(權重)向量參數化的模型。通過結合假設空間(模型)、質量度量(損失)和模型優化(優化方法)的計算實現的不同選擇,可以得到大量的ML方法。目前許多被認為是(人工)智能的系統都是基于幾種基本機器學習方法的組合。在形式化ML問題的主要構建模塊之后,討論了ML方法的一些流行算法設計模式。本教程是在“機器學習:基本原理”和“人工智能”兩門課程的課堂筆記基礎上發起來的,這兩門課程我從2015年開始在阿爾托大學(Aalto University)與人合作授課。