本課程涵蓋了機器學習和數據挖掘的一系列選定主題,重點是部署真實系統的好方法和實踐。大部分章節是關于常用的監督學習技術,和較小程度上非監督方法。這包括線性回歸和邏輯回歸的基本算法、決策樹、支持向量機、聚類、神經網絡,以及特征選擇和降維、誤差估計和經驗驗證的關鍵技術。
//www.siamak.page/teachings/comp551f20/comp551f20/
Part 1.機器學習簡史 a short tour of ML Part 2. 線性模型、概率解釋與梯度優化,linear models, their probabilistic interpretation and gradient optimization Part 3. 神經網絡與深度學習,Neural networks and deep learning
本課程首先介紹了機器學習、安全、隱私、對抗性機器學習和博弈論等主題。然后從研究的角度,討論各個課題和相關工作的新穎性和潛在的拓展性。通過一系列的閱讀和項目,學生將了解不同的機器學習算法,并分析它們的實現和安全漏洞,并培養開展相關主題的研究項目的能力。
//aisecure.github.io/TEACHING/2020_fall.html
Evasion Attacks Against Machine Learning Models (Against Classifiers) Evasion Attacks Against Machine Learning Models (Non-traditional Attacks) Evasion Attacks Against Machine Learning Models (Against Detectors/Generative odels/RL) Evasion Attacks Against Machine Learning Models (Blackbox Attacks) Detection Against Adversarial Attacks Defenses Against Adversarial Attacks (Empirical) Defenses Against Adversarial Attacks (Theoretic) Poisoning Attacks Against Machine Learning Models
貝葉斯決策理論提供了一個統一的、直觀的吸引人的方法,從觀察中得出推論,并做出理性的、知情的決定。貝葉斯學派把統計推理看作是信念動力學中的一個問題,即使用有關現象的證據來修正和更新有關它的知識。貝葉斯統計是一種科學合理的方法,以整合知情的專家判斷與經驗數據。貝葉斯統計推斷不能完全獨立于將根據推斷作出的決策的上下文來處理。近年來,貝葉斯方法在各種嚴重依賴數據的學科中變得越來越普遍。本課程向學生介紹貝葉斯理論和方法論,包括貝葉斯推理的現代計算方法。學生將學習貝葉斯方法和頻率論方法在統計推斷方面的共性和差異,如何從貝葉斯的角度來處理統計問題,以及如何將數據與專家判斷以合理的方式結合起來,得出有用的和與政策相關的結論。學生將學習必要的理論,以發展一個堅定的理解何時和如何應用貝葉斯和頻率論方法,并將學習實際程序,為現象發展統計模型,得出推論,并評估證據支持假設。本課程涵蓋貝葉斯推理理論的基礎知識,包括以概率表示信任程度,似然原理,使用貝葉斯規則修正基于證據的信念,共同統計模型的共軛先驗分布,近似后驗分布的馬爾可夫鏈蒙特卡羅方法,貝葉斯層次模型,以及其他關鍵主題。引入圖形模型來表示復雜的概率和決策問題,將它們指定為模塊化組件。作業利用現代計算技術,并著重于將方法應用于實際問題。
//seor.vse.gmu.edu/~klaskey/SYST664/SYST664.html
目錄內容: Unit 1: A Brief Tour of Bayesian Inference and Decision Theory Unit 2: Random Variables, Parametric Models, and Inference from Observation Unit 3: Bayesian Inference with Conjugate Pairs: Single Parameter Models Unit 4: Introduction to Monte Carlo Approximation Unit 5: The Normal Model Unit 6: Gibbs Sampling Unit 7: Hierarchical Bayesian Models Unit 8: Bayesian Regression Unit 9: Conclusion: Multinomial Distribution and Latent Groups
本課程由四個部分組成。
數學基礎。矩陣、向量、Lp范數、范數的幾何、對稱性、正確定性、特征分解。無約束優化,graident下降,凸函數,拉格朗日乘數,線性最小二乘。概率空間,隨機變量,聯合分布,多維高斯函數。
線性分類器。線性判別分析、分離超平面、多類分類、貝葉斯決策規則、貝葉斯決策規則的幾何、線性回歸、邏輯回歸、感知器算法、支持向量機、非線性變換。
學習理論。偏差與方差、訓練與測試、泛化、PAC框架、Hoeffding不等式、VC維。
魯棒性。對抗性攻擊,有目標和無目標攻擊,最小距離攻擊,最大損失攻擊,規則攻擊。通過納微擾。支持向量機的魯棒性。
來自臺灣國立清華大學吳尚鴻副教授主講的《大規模機器學習》教程,內容包括深度學習概述與學習理論。
本課程介紹深度學習的概念和實踐。課程由三個部分組成。在第一部分中,我們快速介紹了經典機器學習,并回顧了一些需要理解深度學習的關鍵概念。在第二部分中,我們將討論深度學習與經典機器學習的不同之處,并解釋為什么它在處理復雜問題如圖像和自然語言處理時是有效的。我們將介紹各種CNN和RNN模型。在第三部分,我們介紹了深度強化學習及其應用。
本課程也提供了編程的實驗。在整個課程中,我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫,如Scikit-learn和Tensorflow 2.0將被使用并詳細解釋。
本課程也提供了編程的實驗。在整個課程中,我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫,如Scikit-learn和Tensorflow 2.0將被使用并詳細解釋。
目錄內容:
這是一門關于機器學習的入門課程。機器學習是一組技術,它允許機器從數據和經驗中學習,而不是要求人類手工指定所需的行為。在過去的20年里,機器學習技術在人工智能的學術領域和科技行業中都變得越來越重要。本課程提供了一些最常用的ML算法的廣泛介紹。
課程的前半部分側重于監督學習。我們從最近鄰、決策樹和集合開始。然后介紹了參數化模型,包括線性回歸、logistic回歸和softmax回歸以及神經網絡。然后我們轉向無監督學習,特別關注概率模型,以及主成分分析和k均值。最后,我們介紹了強化學習的基礎知識。
課程內容:
//www.cs.toronto.edu/~huang/courses/csc2515_2020f/
推薦閱讀材料: Hastie, Tibshirani, and Friedman: “The Elements of Statistical Learning” Christopher Bishop: “Pattern Recognition and Machine Learning”, 2006. Kevin Murphy: “Machine Learning: a Probabilistic Perspective”, 2012. David Mackay: “Information Theory, Inference, and Learning Algorithms”, 2003. Shai Shalev-Shwartz & Shai Ben-David: “Understanding Machine Learning: From Theory to Algorithms”, 2014.
學習路線圖:
為工程師寫的機器學習簡介(A Brief Introduction to Machine Learning for Engineers)
摘要
本專著的目標是介紹機器學習領域內的關鍵概念、算法和理論框架,涵蓋了監督學習與無監督學習、統計學習理論、概率圖模型和近似推斷等方向。本專著的目標讀者是具有概率學和線性代數背景的電氣工程師。本書基于第一原理(first principle)寫作,并按照有清晰定義的分類方式對其中的主要思想進行了組織,其中的類別包含鑒別式模型和生成式模型、頻率論者和貝葉斯方法、準確推斷和近似推斷、有向模型和無向模型、凸優化和非凸優化。本書中的數學框架使用了信息論的描述方式,以便工具具有統一性。書中提供了簡單且可重復的數值示例,以便讀者了解相關的關鍵動機和結論。本專著的目的并不是要為每個特定類別中已有的大量解決方案提供詳盡的細節描述(這些描述讀者可參閱教科書和論文了解),而是為了給工程師提供一個切入點,以便他們能借此進一步深入機器學習相關文獻。
【導讀】2020新年伊始,多倫多大學Amir-massoud Farahmand和Emad A. M. Andrews博士開設了機器學習導論課程,介紹了機器學習的主要概念和思想,并概述了許多常用的機器學習算法。它還可以作為更高級的ML課程的基礎。
課程地址:
//amfarahmand.github.io/csc311/
機器學習(ML)是一組技術,它允許計算機從數據和經驗中學習,而不需要人工指定所需的行為。ML在人工智能作為一個學術領域和工業領域都變得越來越重要。本課程介紹了機器學習的主要概念和思想,并概述了許多常用的機器學習算法。它還可以作為更高級的ML課程的基礎。
本課程結束時,學生將學習(大致分類)
機器學習問題:監督(回歸和分類),非監督(聚類,降維),強化學習
模型:線性和非線性(基擴展和神經網絡)
損失函數:平方損失、交叉熵、鉸鏈、指數等。
Regularizers: l1和l2
概率觀點:最大似然估計,最大后驗,貝葉斯推理
偏差和方差的權衡
集成方法:Bagging 和 Boosting
ML中的優化技術: 梯度下降法和隨機梯度下降法
課程目錄:
參考資料:
(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.
(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.
(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.
(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning
(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.
(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.
() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.
(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.