構建能夠從高維數據中提取有意義表示的智能機器是解決許多AI相關任務的核心。在過去的幾年里，許多不同領域的研究人員，從應用統計學到工程學，計算機科學和神經科學，已經提發出深度(層次)模型——這些模型由多層非線性處理組成。這些模型的一個重要特性是，它們可以通過重用和組合中間概念來學習有用的表示，從而允許這些模型成功地應用于各種領域，包括視覺對象識別、信息檢索、自然語言處理和語音感知。這是一門高級研究生課程，專為碩士和博士水平的學生設計，并將假定一個合理的數學成熟度。本課程的目標是向學生介紹各種深度學習方法的最新和令人興奮的發展。
本課程涵蓋了深度學習的一些理論和方法。所涉及的初步專題包括:
介紹
- 背景:線性代數，分布，概率規則。
- 回歸、分類。
- 前饋神經網絡，反向傳播算法。介紹流行的優化和正則化技術。
- 卷積模型及其在計算機視覺中的應用。
深度學習
- 圖模型:有向和無向。
- 線性因子模型，PPCA, FA, ICA，稀疏編碼及其擴展。
- 自動編碼器及其擴展。基于能量的模型, RBM。
- 蒙特卡羅方法。
- 學習與推理: 對比發散(CD)，隨機最大似然估計，分數匹配，比率匹配，偽似然估計，噪聲-對比估計。
- 退火重要性抽樣，分區函數估計。
- 深度生成模型: 深度信念網絡，深度玻爾茲曼機，Helmholtz霍茲機，變分自編碼器，重要性加權自編碼器，喚醒-睡眠算法。
- 生成對抗網絡(GANs)，生成矩匹配網絡，神經自回歸密度估計(NADE)。
額外的話題
- 更多關于深度網絡正則化和優化的內容。
- 序列建模: 循環神經網絡。序列到序列的架構，注意力模型。
- 深度強化學習。
付費5元查看完整內容
相關內容
Ruslan Salakhutdinov，卡內基梅隆大學教授，蘋果首任AI總監，加拿大統計機器學習研究主席，微軟學者和斯隆獎獲得者，主要研究領域為深度學習概率圖模型和大規模優化，師從Geoffrey Hinton，是剪枝、深度編碼等著名學習方法的提出者。他于2009年獲得多倫多大學的博士學位，隨后又在麻省理工大學開展了為期兩年的博士后研究。2016年，入職卡內基梅隆大學，同年獲得英偉達人工智能先驅獎，并加入蘋果公司擔任AI研究總監。目前Ruslan已累計發表學術論文300多篇，是深度學習領域年輕一代領軍科學家，主要的研究方向為：語音識別、計算機視覺、推薦系統、語言理解、藥物研發及生物圖像分析。
不可錯過！多模態機器學習課程！
多模態機器學習(MMML)是一個充滿活力的多學科研究領域，通過整合和建模多種交流模式(包括語言、視覺和聲學)來解決人工智能的一些最初目標。這一研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模式之間的偶然性經常被發現。本課程是一門研究生水平的課程，涵蓋了多模態機器學習的最新研究論文，包括表示、對齊、推理、生成、協同學習和量化方面的技術挑戰。本課程的主要目標是提高批判性思維能力，了解最新的技術成就，并了解未來的研究方向。
本課程將介紹機器學習和深度學習中與多模態機器學習中的五個主要挑戰相關的基本數學概念:(1)多模態表示學習，(2)平移與映射，(3)模態對齊，(4)多模態融合和(5)協同學習。這些包括但不限于，多模態自動編碼器，深度典型相關分析，多核學習，注意力模型和多模態遞歸神經網絡。本課程還將討論MMML的許多最新應用，包括多模式的情感識別、圖像和視頻字幕以及跨模式的多媒體檢索。
//cmu-multicomp-lab.github.io/adv-mmml-course/spring2022/schedule/
付費5元查看完整內容
Yann LeCun在紐約大學數據科學中心（CDS）主講的《深度學習》2021年春季課程現已全部在線可看！
該課程自2021年春季開始由Yann LeCun與Alfredo Canziani等共同執教。
CDS發布了Yann LeCun的深度學習（DS-GA 1008）課程的所有材料，包括帶英文字幕教學視頻、書面講義、課件以及帶有PyTorch實現的可執行Jupyter Notebooks。
課程關注深度學習和表示學習的最新技術，重點關注有監督和無監督深度學習、嵌入方法、度量學習、卷積和循環網，以及在計算機視覺、自然語言理解和語音識別方面的應用。前提條件包括:DS-GA 1001數據科學入門或研究生水平的機器學習課程。
地址： //cds.nyu.edu/deep-learning/
付費5元查看完整內容
機器學習是指通過經驗自動提高性能的計算機程序(例如，學習識別人臉、推薦音樂和電影，以及駕駛自動機器人的程序)。本課程從不同的角度涵蓋了機器學習的理論和實際算法。我們涵蓋的主題如貝葉斯網絡，決策樹學習，支持向量機，統計學習方法，無監督學習和強化學習。本課程涵蓋了歸納偏差、PAC學習框架、貝葉斯學習方法、基于邊際的學習和奧卡姆剃刀等理論概念。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員目前所需要的方法學、技術、數學和算法的全面基礎知識。
通過學習這門課程，能夠獲取：
實現和分析現有的學習算法，包括學習良好的分類、回歸、結構化預測、聚類和表示學習方法 將實際機器學習的多個方面整合到一個系統中:數據預處理、學習、正則化和模型選擇 描述用于學習的模型和算法的形式屬性，并解釋這些結果的實際含義 比較和對比不同的學習模式(有監督的，無監督的，等等) 設計實驗來評估和比較現實問題中不同的機器學習技術 運用概率、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出ML技術的描述，分析它以確定(1)形式主義的表達能力;(2)算法隱含的歸納偏差;(3)搜索空間的大小和復雜度;(5)關于終止、收斂、正確性、準確性或泛化能力的任何保證(或缺乏保證)。
課程地址：
付費5元查看完整內容
機器學習涉及的是通過經驗自動提高其性能的計算機程序(例如，學習人臉識別，推薦音樂和電影，以及驅動自主機器人的程序)。本課程從多種角度涵蓋了機器學習的理論和實際算法。我們涵蓋了貝葉斯網絡、決策樹學習、支持向量機、統計學習方法、無監督學習和強化學習等主題。課程涵蓋的理論概念如歸納偏差，PAC學習框架，貝葉斯學習方法，基于邊際的學習，和奧卡姆剃刀。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員所需要的方法論、技術、數學和算法的全面基礎知識。
學習成果: 課程結束時，學生應能夠:
實現并分析現有的學習算法，包括為分類、回歸、結構預測、聚類和表示學習而充分研究的方法 將實際機器學習的多個方面集成到一個系統中:數據預處理、學習、正則化和模型選擇 描述學習模型和算法的形式屬性，并解釋這些結果的實際含義 比較和對比不同的學習范式(監督的、非監督的，等等) 設計實驗評估和比較不同的機器學習技術在現實世界的問題 運用概率論、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出一種ML技術的描述，分析它，確定(1)形式主義的表達能力;(2)算法中隱含的歸納偏差;(3)搜索空間
參考書籍：
Machine Learning, Tom Mitchell. Machine Learning: a Probabilistic Perspective, Kevin Murphy. Full online access is free through CMU’s library – for the second link, you must be on CMU’s network or VPN. A Course in Machine Learning, Hal Daumé III. Online only.
目錄內容： Classification & Regression Linear Models 深度學習 強化學習 生成模型 概率圖模型 學習理論 學習方式
付費5元查看完整內容
以深度神經網絡為代表的“深度學習”系統正越來越多地接管所有人工智能任務，從語言理解、語音和圖像識別，到機器翻譯、規劃，甚至是游戲和自動駕駛。因此，在許多高級學術機構中，深度學習的專業知識正從深奧的要求迅速轉變為強制性的先決條件，并成為工業就業市場的一大優勢。
在本課程中，我們將學習深度神經網絡的基礎知識，以及它們在各種人工智能任務中的應用。在本課程結束時，預計學生將對這門學科非常熟悉，并能夠將深度學習應用于各種任務。他們也將被定位去理解關于這個主題的許多當前的文獻，并通過進一步的學習來擴展他們的知識。
如果你只對課程感興趣，你可以在YouTube頻道上觀看。
付費5元查看完整內容
這是一門關于機器學習的入門課程。機器學習是一組技術，它允許機器從數據和經驗中學習，而不是要求人類手工指定所需的行為。在過去的20年里，機器學習技術在人工智能的學術領域和科技行業中都變得越來越重要。本課程提供了一些最常用的ML算法的廣泛介紹。
課程的前半部分側重于監督學習。我們從最近鄰、決策樹和集合開始。然后介紹了參數化模型，包括線性回歸、logistic回歸和softmax回歸以及神經網絡。然后我們轉向無監督學習，特別關注概率模型，以及主成分分析和k均值。最后，我們介紹了強化學習的基礎知識。
課程內容：
- 最近鄰導論
- 決策樹集成
- 線性回歸線性分類
- Softmax回歸、SVM、Boosting
- PCA、Kmeans、最大似然
- 概率圖模型
- 期望最大化
- 神經網絡
- 卷積神經網絡
- 強化學習
- 可微分隱私
- 算法公平性
//www.cs.toronto.edu/~huang/courses/csc2515_2020f/
推薦閱讀材料： Hastie, Tibshirani, and Friedman: “The Elements of Statistical Learning” Christopher Bishop: “Pattern Recognition and Machine Learning”, 2006. Kevin Murphy: “Machine Learning: a Probabilistic Perspective”, 2012. David Mackay: “Information Theory, Inference, and Learning Algorithms”, 2003. Shai Shalev-Shwartz & Shai Ben-David: “Understanding Machine Learning: From Theory to Algorithms”, 2014.
學習路線圖：
付費5元查看完整內容
神經網絡為建模語言提供了強大的新工具，并已被用于改善一些任務的最新技術，并解決過去不容易解決的新問題。這門課(在卡內基梅隆大學語言技術學院)將從神經網絡的簡要概述開始，然后用大部分時間展示如何將神經網絡應用于自然語言問題。每個部分將介紹一個特定的問題或自然語言的現象，描述為什么很難建模，并演示幾個模型，旨在解決這個問題。在此過程中，本課程將涵蓋在創建神經網絡模型中有用的不同技術，包括處理不同大小和結構的句子、高效處理大數據、半監督和非監督學習、結構化預測和多語言建模。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191