//www.nowpublishers.com/article/BookDetails/9781638280521
本書介紹了凸優化,這是一個可以在計算機上高效解決的強大且易于處理的優化問題。本書的目標是幫助讀者理解什么是凸優化,以及如何將其應用于更廣泛的實際場景,特別是機器學習。
本書的第一部分涵蓋了凸集、凸函數的核心概念,以及用于理解凸優化及其相應模型的相關基本定義。第二部分討論一個非常有用的理論,稱為對偶性,它使我們能夠:(1)獲得算法的見解;(2)獲得了通常難以求解的非凸優化問題的近似解。最后一部分關注機器學習和深度學習的現代應用。
本書的一個定義性特征是,它通過歷史例子和機器學習應用的趨勢,簡潔地聯系了凸優化如何發揮作用的“故事”。另一個關鍵特性是,它包括受優化原理啟發的各種機器學習算法的編程實現,以及使用的編程工具的簡要教程。該實現基于Python、CVXPY和TensorFlow。
這本書沒有遵循傳統的教科書式的組織方式,而是通過一系列密切相關的講座筆記進行精簡,圍繞連貫的主題和概念。本教材主要適用于本科高年級課程,也適用于研究生一年級課程。如果讀者有良好的線性代數背景,對概率有一定的了解,并對Python有基本的了解,將受益匪淺。
Changho Suh (2022), "Convex Optimization for Machine Learning", Boston-Delft: now publishers,
內容結構: * 凸優化基礎(14節和4個問題集):凸優化簡史;凸集、凸函數的基本概念及凸優化的定義梯度下降法;線性規劃(LP), LP松弛,最小二乘,二次規劃,二階錐規劃,半正定規劃(SDP)和SDP松弛;CVXPY實現。 * 對偶性(7節和3個問題集):拉格朗日函數、對偶函數和對偶問題;強對偶性、KKT條件和內點法弱對偶性和拉格朗日松弛。 * 機器學習應用(14節和4個問題集):監督學習和優化在邏輯回歸和深度學習中的作用;反向傳播算法及其Python實現;無監督學習,生成對抗網絡(GANs), Wasserstein GAN,以及LP和對偶理論的作用;公平機器學習以及正則化技術和KKT條件的作用;TensorFlow實現的深度學習分類器,GANs, Wasserstein GAN和公平的機器學習算法。
優化技術是數據科學的核心,包括數據分析和機器學習。對基本優化技術及其基本特性的理解為這些領域的學生、研究人員和從業人員提供了重要的基礎。本文以緊湊、獨立的方式涵蓋了優化算法的基本原理,重點關注與數據科學最相關的技術。其中一章介紹了數據科學中的許多標準問題都可以表述為優化問題。其次,對優化中的許多基本方法進行了描述和分析,包括:光滑(特別是凸)函數的無約束優化的梯度法和加速梯度法;隨機梯度法,機器學習中的主要算法;坐標下降法;求解約束優化問題的若干關鍵算法數據科學中最小化非光滑函數的算法非光滑函數分析的基礎與優化對偶以及與神經網絡相關的反向傳播方法。 本書探討了非線性優化的理論和算法,特別關注機器學習和數據分析中出現的問題。本文平衡了最壞情況分析與實施問題,旨在強調為優化實踐提供合理指導的核心理論工具。
這本書涵蓋了適合計算機科學、工業工程、電氣工程和相關領域的研究生的四分之一長度的優化課程的材料。 //people.eecs.berkeley.edu/~brecht/opt4ml_book/ 目錄內容: 1. Introduction 1. Foundations 1. Elementary Descent Methods 1. Gradient Methods Using Momentum 1. Stochastic Gradient Methods 1. Coordinate Descent Methods 1. First-Order Methods for Constrained Optimization 1. Nonsmooth Functions and Subgradients 1. Nonsmooth Optimization Methods
Bibliography (still in progress)
機器學習和優化技術正在徹底改變我們的世界。就實際影響而言,其他類型的信息技術近年來發展得沒有那么快。這本書的目的是介紹優化和機器學習領域的一些創新技術,并演示如何在工程領域應用它們。
優化和機器學習展示了依賴于機器學習和優化的算法的選擇、配置和工程方面的現代進展。本書的第一部分致力于優化發揮主要作用的應用程序,第二部分描述和實現了幾個主要基于機器學習技術的應用程序。在這些章節中討論的方法與它們的競爭對手進行了比較,并說明了它們在其選擇的應用領域中的有效性。
在凸性假設下,幾何算法問題往往變得易于處理。優化,體積計算,幾何學習和尋找質心都是凸集明顯容易的問題的例子。我們將對這一現象進行深入的研究,探索三個相互聯系緊密的路徑。第一個是幾何不等式理論。我們從經典的主題開始,如Brunn-Minkowski不等式,然后處理更近期的發展,如凸體的等周定理及其對對數凹函數的推廣。第二個軌跡的動機是通過隨機游走對幾何分布進行抽樣。這里我們將開發一些通用工具并使用它們來分析幾何隨機游動。第一條軌跡的不等式在限定這些軌跡的收斂速度方面起著關鍵作用。最后一個方面是采樣和各種算法問題之間的聯系,最顯著的是,計算凸體的體積(或更普遍地說,積分一個對數凹函數)。有些令人驚訝的是,隨機抽樣將是用于這些問題的多項式時間算法的常見和基本特征。在某些情況下,包括體積問題,隨機游走采樣是唯一已知的得到多項式時間算法的方法。
UvA - Machine Learning 1課程是阿姆斯特丹大學人工智能碩士課程的一部分。該課程由阿姆斯特丹機器學習實驗室開發,目前由Erik Bekkers博士提供。
UvA - Machine Learning 1的課程主頁(//uvaml1.github.io)包括講課的鏈接(Youtube頻道)和相應的pdf注釋幻燈片。該系列講座密切關注Bishop的《模式識別和機器學習》一書。每個視頻的開頭都有相關章節。
課程內容如下:
第一周
第二周
第三周
第四周:
第五周
第六周
第七周
課程視頻和PDF下載鏈接在下方的PDF文件中
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮),它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的,因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
內容介紹:
計算機科學正在發展,以利用新的硬件,如GPU、TPUs、CPU和大型的集群。許多子領域,如機器學習和優化,已經調整了它們的算法來處理這樣的集群。
主題包括分布式和并行算法:優化、數值線性代數、機器學習、圖形分析、流形算法,以及其他在集群中難以擴展的問題。該類將重點分析程序,并使用Apache Spark和TensorFlow實現一些程序。
本課程將分為兩部分:首先,介紹并行算法的基礎知識和在單多核機器上的運行時分析。其次,我們將介紹在集群機器上運行的分布式算法。
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮),它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的,因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
掌握通過機器學習和深度學習識別和解決復雜問題的基本技能。使用真實世界的例子,利用流行的Python機器學習生態系統,這本書是你學習機器學習的藝術和科學成為一個成功的實踐者的完美伴侶。本書中使用的概念、技術、工具、框架和方法將教會您如何成功地思考、設計、構建和執行機器學習系統和項目。
使用Python進行的實際機器學習遵循結構化和全面的三層方法,其中包含了實踐示例和代碼。
第1部分側重于理解機器學習的概念和工具。這包括機器學習基礎,對算法、技術、概念和應用程序的廣泛概述,然后介紹整個Python機器學習生態系統。還包括有用的機器學習工具、庫和框架的簡要指南。
第2部分詳細介紹了標準的機器學習流程,重點介紹了數據處理分析、特征工程和建模。您將學習如何處理、總結和可視化各種形式的數據。特性工程和選擇方法將詳細介紹真實數據集,然后是模型構建、調優、解釋和部署。
第3部分探討了多個真實世界的案例研究,涵蓋了零售、交通、電影、音樂、營銷、計算機視覺和金融等不同領域和行業。對于每個案例研究,您將學習各種機器學習技術和方法的應用。動手的例子將幫助您熟悉最先進的機器學習工具和技術,并了解什么算法最適合任何問題。
實用的機器學習與Python將授權您開始解決您自己的問題與機器學習今天!
你將學習:
這本書是給誰看的 IT專業人士、分析師、開發人員、數據科學家、工程師、研究生
目錄:
Part I: Understanding Machine Learning
Chapter 12: Deep Learning for Computer Vision
由Marc Peter Deisenroth,A Aldo Faisal和Cheng Soon Ong撰寫的《機器學習數學基礎》“Mathematics for Machine Learning” 最新版417頁pdf版本已經放出,作者表示撰寫這本書旨在激勵人們學習數學概念。這本書并不打算涵蓋前沿的機器學習技術,因為已經有很多書這樣做了。相反,作者的目標是通過該書提供閱讀其他書籍所需的數學基礎。這本書分為兩部分:數學基礎知識和使用數學基礎知識進行機器學習算法示例。值得初學者收藏和學習!