課程內容:
數學基礎:矩陣、向量、Lp范數、范數的幾何、對稱性、正確定性、特征分解。無約束最優化,graident下降法,凸函數,拉格朗日乘子,線性最小二乘法。概率空間,隨機變量,聯合分布,多維高斯。
線性分類器:線性判別分析,分離超平面,多類分類,貝葉斯決策規則,貝葉斯決策規則幾何,線性回歸,邏輯回歸,感知機算法,支持向量機,非線性變換。
魯棒性:對抗性攻擊、定向攻擊和非定向攻擊、最小距離攻擊、最大允許攻擊、基于規則的攻擊。通過納微擾。支持向量機的魯棒性。
學習理論:偏差和方差,訓練和測試,泛化,PAC框架,Hoeffding不等式,VC維。
參考書籍:
講者: Stanley Chan 教授 //engineering.purdue.edu/ChanGroup/stanleychan.html
課程目標: 您將能夠應用基本的線性代數、概率和優化工具來解決機器學習問題
?你將了解一般監督學習方法的原理,并能評論它們的優缺點。 ?你會知道處理數據不確定性的方法。 ?您將能夠使用學習理論的概念運行基本的診斷。 ?您將獲得機器學習算法編程的實際經驗。
【導讀】《機器學習:貝葉斯和優化的視角》是雅典大學信息學和通信系的教授Sergios Theodoridis的經典著作,對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。非常值得學習。
Sergios Theodoridis教授是雅典大學信息學和通信系的教授,香港中文大學(深圳)客座教授。他的研究領域是信號處理和機器學習。他的研究興趣是自適應算法,分布式和稀疏性感知學習,機器學習和模式識別,生物醫學應用中的信號處理和學習以及音頻處理和檢索。
他的幾本著作與合著蜚聲海內外,包括《機器學習:貝葉斯和優化的視角》以及暢銷書籍《模式識別》。他是2017年EURASIP Athanasios Papoulis獎和2014年EURASIP Meritorious Service獎的獲得者。
機器學習:貝葉斯和優化方法
本書對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。其中,經典方法包括平均/小二乘濾波、卡爾曼濾波、隨機逼近和在線學習、貝葉斯分類、決策樹、邏輯回歸和提升方法等,新趨勢包括稀疏、凸分析與優化、在線分布式算法、RKH空間學習、貝葉斯推斷、圖模型與隱馬爾可夫模型、粒子濾波、深度學習、字典學習和潛變量建模等。全書構建了一套明晰的機器學習知識體系,各章內容相對獨立,物理推理、數學建模和算法實現精準且細致,并輔以應用實例和習題。本書適合該領域的科研人員和工程師閱讀,也適合學習模式識別、統計/自適應信號處理和深度學習等課程的學生參考。
機器學習是計算機科學中增長最快的領域之一,具有深遠的應用。本書的目的是介紹機器學習,以及它所提供的算法范例。本書對機器學習的基本原理和將這些原理轉化為實際算法的數學推導提供了理論解釋。在介紹了基礎知識之后,這本書涵蓋了以前教科書沒有涉及到的一系列廣泛的中心主題。這些包括討論學習的計算復雜性和凸性和穩定性的概念;重要的算法范例包括隨機梯度下降、神經網絡和結構化輸出學習;以及新興的理論概念,如PAC-Bayes方法和基于壓縮的界限。本文面向高級本科生或剛畢業的學生,使統計學、計算機科學、數學和工程學領域的學生和非專業讀者都能接觸到機器學習的基本原理和算法。
//www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html
概述
機器學習是指自動檢測數據中有意義的模式。在過去的幾十年里,它已經成為幾乎所有需要從大數據集中提取信息的任務的通用工具。我們被一種基于機器學習的技術包圍著:搜索引擎學習如何給我們帶來最好的結果(同時投放有利可圖的廣告),反垃圾郵件軟件學習如何過濾我們的電子郵件信息,信用卡交易被一種學習如何偵測欺詐的軟件保護著。數碼相機學會識別人臉,智能手機上的智能個人輔助應用學會識別語音指令。汽車配備了使用機器學習算法構建的事故預防系統。機器學習還廣泛應用于生物信息學、醫學和天文學等科學領域。
所有這些應用程序的一個共同特征是,與計算機的更傳統使用相比,在這些情況下,由于需要檢測的模式的復雜性,人類程序員無法提供關于這些任務應該如何執行的明確、詳細的規范。以智慧生物為例,我們的許多技能都是通過學習我們的經驗(而不是遵循給我們的明確指示)而獲得或改進的。機器學習工具關注的是賦予程序“學習”和適應的能力。
這本書的第一個目標是提供一個嚴格的,但易于遵循,介紹機器學習的主要概念: 什么是機器學習?
本書的第二個目標是介紹幾種關鍵的機器學習算法。我們選擇展示的算法一方面在實踐中得到了成功應用,另一方面提供了廣泛的不同的學習技術。此外,我們特別關注適合大規模學習的算法(又稱“大數據”),因為近年來,我們的世界變得越來越“數字化”,可用于學習的數據量也在急劇增加。因此,在許多應用中數據量大,計算時間是主要瓶頸。因此,我們明確地量化了學習給定概念所需的數據量和計算時間。
目錄:
Part I: Foundations
Part II: From Theory to Algorithms
Part III: Additional Learning Models
Part IV: Advanced Theory
Appendices
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮),它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的,因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
【導讀】2020新年伊始,多倫多大學Amir-massoud Farahmand和Emad A. M. Andrews博士開設了機器學習導論課程,介紹了機器學習的主要概念和思想,并概述了許多常用的機器學習算法。它還可以作為更高級的ML課程的基礎。
課程地址:
//amfarahmand.github.io/csc311/
機器學習(ML)是一組技術,它允許計算機從數據和經驗中學習,而不需要人工指定所需的行為。ML在人工智能作為一個學術領域和工業領域都變得越來越重要。本課程介紹了機器學習的主要概念和思想,并概述了許多常用的機器學習算法。它還可以作為更高級的ML課程的基礎。
本課程結束時,學生將學習(大致分類)
機器學習問題:監督(回歸和分類),非監督(聚類,降維),強化學習
模型:線性和非線性(基擴展和神經網絡)
損失函數:平方損失、交叉熵、鉸鏈、指數等。
Regularizers: l1和l2
概率觀點:最大似然估計,最大后驗,貝葉斯推理
偏差和方差的權衡
集成方法:Bagging 和 Boosting
ML中的優化技術: 梯度下降法和隨機梯度下降法
課程目錄:
參考資料:
(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.
(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.
(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.
(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning
(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.
(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.
() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.
(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.
機器學習是學習數據和經驗的算法的研究。它被廣泛應用于各種應用領域,從醫學到廣告,從軍事到行人。任何需要理解數據的領域都是機器學習的潛在的消費者。《A Course in Machine Learning》屬于入門級資料,它涵蓋了現代機器學習的大多數主要方面(監督學習,無監督學習,大間隔方法,概率建模,學習理論等)。它的重點是具有嚴格基礎的廣泛應用。
機器學習是一個廣闊而迷人的領域。即使在今天,機器學習技術仍然在你的生活中占據了相當大的一部分,而且常常是在你不知情的情況下。在某種程度上,任何看似合理的人工智能方法都必須包括學習,如果不是為了別的原因,而是因為如果一個系統不能學習,那么它就很難被稱為智能系統。機器學習本身也很吸引人,因為它提出了關于學習和成功完成任務的意義的哲學問題。
同時,機器學習也是一個非常廣泛的領域,試圖涵蓋所有領域對于教學來說將是一場災難。因為它發展得如此之快,以至于任何試圖報道最新發展的書籍在上線之前都會過時。因此,本書有兩個目標。首先,要通俗地介紹一個非常深的領域是什么。第二,為讀者提供必要的技能,以便在新技術發展過程中掌握新技術。
簡介: 賓夕法尼亞大學計算邏輯研究院Jean Gallier等人近期在之前發布的書的基礎上進行修改,于2019年10月24日發布了一本長達753頁的書籍,詳細地列出了對機器學習等領域有重要意義的數學理論基礎知識。近年來,計算機視覺、機器人、機器學習和數據科學一直是推動技術重大進步的一些關鍵領域。任何看過上述領域的論文或書籍的人都會被一個奇怪的術語所困擾,這些術語涉及核主成分分析、嶺回歸、lasso回歸、支持向量機(SVM)、拉格朗日乘子、KKT條件等奇怪的術語。但人們很快就會發現,行話背后總是伴隨著一個新的領域,背后隱藏著許多經典的“線性代數和優化理論技術”。我們面臨的主要挑戰是:要從機器學習、計算機視覺等方面了解和使用工具,必須具備線性代數和優化理論的堅實背景。
本書的主要目標是介紹線性代數和優化理論的基本原理,同時考慮到機器學習、機器人和計算機視覺的應用。這項工作由兩部分組成,第一個是線性代數,第二個優化理論和應用,尤其是機器學習。 第一部分涉及經典的線性代數,包括主分解和Jordan形式。除了討論標準的一些主題外,我們還討論了一些對應用很重要的主題。這些主題包括:
另外有比平常更詳細介紹的四個主題:
作者介紹: Jean Gallier是賓夕法尼亞大學的教授,擁有法國和美國雙國籍,1978年取得博士后學位就從事于計算機領域工作,發表過許多研究論文和書籍,其中《Computational geometry》、《Low-dimensional topology》、《Discrete mathematics》、《Discrete mathematics》等書籍的作者就是Jean Gallier
【北京郵電大學】機器學習在材料科學中的應用綜述,Machine learning in materials science //onlinelibrary.wiley.com/doi/pdf/10.1002/inf2.12028