本課程介紹深度學習。學習本課程的學生將學習深度學習的理論、模型、算法、實現和最新進展,并獲得訓練深度神經網絡的經驗。課程從機器學習基礎知識和一些經典的深度模型開始,然后是訓練深度神經網絡的優化技術,大規模深度學習的實現,多任務深度學習,遷移深度學習,循環神經網絡,深度學習在計算機視覺和語音識別中的應用,以及理解深度學習的工作原理。要求學生具備微積分、線性代數、概率論、統計學和隨機過程的基本背景知識。2023年春季提供的課程特點:深度學習的最新進展,如深度強化學習、GAN、帶有語言模型的RNN、視頻分析等。掌握優化深度學習的經驗,使用流行的DL工具包(例如,PyTorch)。最終項目將帶領您完成整個研究流程:起草提案,討論想法,進行實驗,撰寫報告,并通過演示分享您的工作!
//dl.ee.cuhk.edu.hk/index.htmlIntroduction
1Machine Learning Basics 2Multi-Layer Perceptron
3Convolutional Neural Networks
4Network Architectures for Image Understanding 5Optimization of Deep Neural Networks
這是Mark Schmidt在UBC教機器學習的各種課程的課程材料的集合,包括100多個講座的材料,涵蓋了大量與機器學習相關的主題。
Part 1: Computer Science 340
Exploratory Data Analysis
Decision Trees (Notes on Big-O Notation)
Fundamentals of Learning (Notation Guide)
Probabilistic Classifiers (Probability Slides, Notes on Probability)
Non-Parametric Models
Ensemble Methods
More Clustering
Outlier Detection
Finding Similar Items
Nonlinear Regression
Gradient Descent
Robust Regression
Feature Selection
Regularization
More Regularization
Linear Classifiers
More Linear Classifiers
Feature Engineering
Convolutions
Kernel Methods
Stochastic Gradient
Boosting
MLE and MAP (Notes on Max and Argmax)
More PCA
Sparse Matrix Factorization
Recommender Systems
Nonlinear Dimensionality Reduction
More Deep Learning
Convolutional Neural Networks
More CNNs
Part 2: Data Science 573 and 575
Structure Learning
Sequence Mining
Tensor Basics
Semi-Supervised Learning
PageRank
Part 3: Computer Science 440
A. Binary Random Variables Binary Density Estimation
Bernoulli Distribution
MAP Estimation
Generative Classifiers
Discriminative Classifiers
Neural Networks
Double Descent Curves
Automatic Differentiation
Convolutional Neural Networks
Autoencoders
Fully-Convolutional Networks
B. Categorical Random Variables Monte Carlo Approximation
Conjugate Priors
Bayesian Learning
Empirical Bayes
Multi-Class Classification
What do we learn?
Recurrent Neural Networks
Long Short Term Memory
Attention and Transformers
C. Gaussian Random Variables Univariate Gaussian
Multivariate Gaussian (Motivation)
Multivairate Gaussian (Definition)
Learning Gaussians
Bayesian Linear Regression
End to End Learning
Exponential Family
D. Markov Models Markov Chains
Learning Markov Chains
Message Passing
Markov Chain Monte Carlo
Directed Acyclic Graphical Models
Learning Graphical Models
Log-Linear Models
E. Latent-Variable Models Mixture Models
EM and KDE (Notes on EM)
HMMs and RBMs (Forward-Backward for HMMs)
Topic Models and Variational Inference
VAEs and GANs
介紹口語技術,重點介紹對話和會話系統。深度學習等方法用于自動語音識別、語音合成、影響檢測、對話管理,以及數字助理和語音理解系統的應用。
本課程圍繞講座、作業和課程項目設計,為學生提供建立口語系統的實際經驗。我們將使用現代軟件工具和算法方法。沒有考試。我們的目標是讓每個學生都能做出自己引以為豪的東西。
有四份作業。作業題目: 介紹音頻分析和口語工具 使用Amazon Alexa Skills Kit構建一個完整的對話系統 利用PyTorch實現端到端深度神經網絡語音識別方法 使用高級深度學習工具包進行語音識別(speech brain)和語音克隆
講者:
目錄內容:
第一周: 介紹和聲學語音學 第二周: 對話入門 第三周: 對話中的機器學習 第四周: 課程項目和自動語音識別(ASR)介紹 第五周: 自動語音識別 第六周: 高級ASR 第七周: 帶有現代工具包的口語產品 第八周: 語音合成/從文本到語音(TTS) 第九周: 實用TTS和意義提取 第十周: 海報展示和總結
【導論】麻省理工學院最近開設一門深度學習課程MIT 6.S191,共包含十大主題課程,涵蓋深度學習導論、序列建模、深度視覺、生成模型、強化學習、圖神經網絡、對抗學習、貝葉斯模型、神經渲染、機器學習嗅覺等,圖文并茂,涵蓋最新的前沿內容,非常值得學習!最新一講是深度序列建模。
課程地址:
課程介紹:
麻省理工學院的深度學習方法的導論課程,應用到計算機視覺,自然語言處理,生物學,和更多! 學生將獲得深度學習算法的基礎知識和在TensorFlow中構建神經網絡的實踐經驗。先修習微積分(即求導數)和線性代數(即矩陣乘法),我們將在學習過程中嘗試解釋其它內容! Python方面的經驗是有幫助的,但不是必需的。歡迎聽眾!
本課程介紹了深度學習。通過本課程的學習,學生將學習深度學習的理論、模型、算法、實現以及最近的進展,并獲得深度神經網絡訓練的經驗。課程開始于機器學習的基本知識和一些經典深模型,其次是優化技術訓練神經網絡,實現大規模深度學習,多任務深度學習,深遷移度學習, 循環神經網絡, 應用深度學習計算機視覺和語音識別和理解深度學習工作的原因。課程要求學生具備微積分、線性代數、概率、統計和隨機過程的基礎知識。
//dl.ee.cuhk.edu.hk/index.html
2021年春季提供的課程:
近日,威斯康辛大學麥迪遜分校助理教授 Sebastian Raschka 在推特上宣布了威斯康辛大學《機器學習導論》2020 秋季課程的完結:「教授兩個班級和 230 個學生是相當不錯的體驗,對于那些感興趣的人,我整理了一頁記錄以供參考。」
課程筆記主頁://sebastianraschka.com/resources/ml-lectures-1.html(持續更新中)
Sebastian Raschka 是威斯康星大學麥迪遜分校的統計學助理教授,致力于機器學習和深度學習研究。他最近的一些研究方法已應用于生物識別領域,解決面部圖像隱私問題,其他的研究重點包括開發與機器學習中的模型評估、對抗攻擊和 AutoML 有關方法和應用程序。他也是《Python 機器學習》一書的作者,曾被科技博客 Analytics Vidhya 評為 GitHub 上具影響力的數據科學家之一。
對想要學習這門課程的學生,Sebastian Raschka 教授的建議是:你至少要熟悉基本編程知識并完成了編程入門課程。
目錄內容: Part I: Introduction
本課程探索了生成式模型的各種現代技術。生成模型是一個活躍的研究領域: 我們在本課程中討論的大多數技術都是在過去10年發展起來的。本課程與當前的研究文獻緊密結合,并提供閱讀該領域最新發展的論文所需的背景。課程將集中于生成式建模技術的理論和數學基礎。作業將包括分析練習和計算練習。本課程專題旨在提供一個機會,讓你可以將這些想法應用到自己的研究中,或更深入地研究本課程所討論的主題之一。