介紹口語技術,重點介紹對話和會話系統。深度學習等方法用于自動語音識別、語音合成、影響檢測、對話管理,以及數字助理和語音理解系統的應用。
本課程圍繞講座、作業和課程項目設計,為學生提供建立口語系統的實際經驗。我們將使用現代軟件工具和算法方法。沒有考試。我們的目標是讓每個學生都能做出自己引以為豪的東西。
有四份作業。作業題目: 介紹音頻分析和口語工具 使用Amazon Alexa Skills Kit構建一個完整的對話系統 利用PyTorch實現端到端深度神經網絡語音識別方法 使用高級深度學習工具包進行語音識別(speech brain)和語音克隆
講者:
目錄內容:
第一周: 介紹和聲學語音學 第二周: 對話入門 第三周: 對話中的機器學習 第四周: 課程項目和自動語音識別(ASR)介紹 第五周: 自動語音識別 第六周: 高級ASR 第七周: 帶有現代工具包的口語產品 第八周: 語音合成/從文本到語音(TTS) 第九周: 實用TTS和意義提取 第十周: 海報展示和總結
課程概述
機器學習是研究計算機怎樣模擬或實現人類的學習行為,以獲取新的知識或技能,重新組織已有的知識結構使之不斷改善自身的性能。它是人工智能的核心,是使計算機具有智能的根本途徑,其應用遍及人工智能的各個領域。
這門課中,我們主要講解經典的機器學習算法,如線性回歸、邏輯回歸、決策樹等,也將講解近幾年才出現的如XGBoost、LightGBM等集成學習算法。此外,這門課還會講解利用機器學習解決問題的實用技術,還包括Python、Scikit-learn工具的使用等等。
通過這門課,學習者將初步理解主流的機器學習算法,并且可以用機器學習技術解決現實生活中的問題。
與國內外很多非常優秀的機器學習課程或作品相比(如吳恩達機器學習課程、李航老師的統計學習方法、周志華老師的《機器學習》等),本課程對初學者來說,屬于“雪中送炭”,而不是“錦上添花”,更適合初學者學習,主要解決初學者的三個問題:就是資料太多,難以取舍;理論性強,初學比較困難;代碼資料比較少。只要有本科三年級以上的數學知識,會一種編程語言,就可以掌握這門課程的絕大部分內容。
課程主講
黃海廣,博士,副教授,碩士生導師。
這個名字好熟悉,想起來了:原來是翻譯過吳恩達機器學習課程,整理過機器學習、深度學習筆記的黃海廣博士。
黃海廣博士善于指導初學者入門,深受讀者喜愛。
授課目標
1、掌握機器學習的基本問題定義、基本模型,對機器學習學科有概覽性的認識。
2、掌握目前主流的機器學習算法和模型,并能夠根據實際問題的需要選擇并實現相應的算法。
3、編程完成機器學習典型應用實例,對機器學習工程編程有初步的訓練。
4、慕課的課程一個課時一般在15分鐘以內,因此有些復雜理論是點到為止,但不影響讀者進一步學習,作者認為:只有入門了,才知道接下來應該怎樣走。
課程大綱
01 引言
1.1 機器學習概述
1.2 機器學習的類型
1.3 機器學習的背景知識
1.4 機器學習的開發流程
02 回歸
2.1 線性回歸
2.2 梯度下降
2.3 正則化
2.4 回歸的評價指標
03 邏輯回歸
3.1 分類問題
3.2 Sigmoid函數
3.3 邏輯回歸求解
3.4 邏輯回歸的代碼實現
04 樸素貝葉斯
4.1 貝葉斯方法
4.2 樸素貝葉斯原理
4.3 樸素貝葉斯案例
4.4 樸素貝葉斯代碼實現
05 機器學習實踐
5.1 數據集劃分
5.2 評價指標
5.3 正則化、偏差和方差
06 KNN算法
6.1 距離度量
6.2 KNN算法
6.3 KD樹劃分
6.4 KD樹搜索
07 決策樹
7.1 決策樹原理
7.2 ID3算法
7.3 C4.5算法
7.4 CART算法
08 集成學習
8.1 集成學習方法概述
8.2 AdaBoost和GBDT算法
8.3 XGBoost算法
8.4 LightGBM算法
09 人工神經網絡
9.1 人工神經網絡概述
9.2 感知機算法
9.3 反向傳播算法(BP算法)
10 支持向量機
10.1 支持向量機概述
10.2 線性可分支持向量機
10.3 線性支持向量機
10.4 線性不可分支持向量機
11聚類
11.1 無監督學習概述
11.2 K-means聚類
11.3 密度聚類和層次聚類
11.4 聚類的評價指標
12 降維
12.1 降維概述
12.2 SVD(奇異值分解)
12.3 PCA(主成分分析)
13 關聯規則
13.1 關聯規則概述
13.2 Apriori 算法
13.3 FP-Growth算法
14 機器學習項目流程
14.1 機器學習項目流程概述
14.2 數據清洗
14.3 特征工程
14.4 數據建模
課程大綱可能會有小范圍調整。
課程每個單元會有20道題目的測驗,課程相關資料已經公布在Github。
機器學習是指通過經驗自動提高性能的計算機程序(例如,學習識別人臉、推薦音樂和電影,以及駕駛自動機器人的程序)。本課程從不同的角度涵蓋了機器學習的理論和實際算法。我們涵蓋的主題如貝葉斯網絡,決策樹學習,支持向量機,統計學習方法,無監督學習和強化學習。本課程涵蓋了歸納偏差、PAC學習框架、貝葉斯學習方法、基于邊際的學習和奧卡姆剃刀等理論概念。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員目前所需要的方法學、技術、數學和算法的全面基礎知識。
通過學習這門課程,能夠獲取:
實現和分析現有的學習算法,包括學習良好的分類、回歸、結構化預測、聚類和表示學習方法 將實際機器學習的多個方面整合到一個系統中:數據預處理、學習、正則化和模型選擇 描述用于學習的模型和算法的形式屬性,并解釋這些結果的實際含義 比較和對比不同的學習模式(有監督的,無監督的,等等) 設計實驗來評估和比較現實問題中不同的機器學習技術 運用概率、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出ML技術的描述,分析它以確定(1)形式主義的表達能力;(2)算法隱含的歸納偏差;(3)搜索空間的大小和復雜度;(5)關于終止、收斂、正確性、準確性或泛化能力的任何保證(或缺乏保證)。
課程地址:
由吳恩達與 Kian Katanforoosh 指導的 CS230(深度學習)課程2021開始。
深度學習是人工智能中最受歡迎的技能之一。在CS230課程中,你將學習深度學習的基礎,了解如何構建神經網絡,以及如何完成一個成功的機器學習項目。你將學習卷積網絡、RNNs、LSTM、Adam、Dropout、BatchNorm、Xavier/He初始化等方法。
課程地址://web.stanford.edu/class/cs230/
課程簡介:深度學習是 AI 領域中最受歡迎的技能之一。這門課程將幫助你學好深度學習。你將學到深度學習的基礎,理解如何構建神經網絡,并學習如何帶領成功的機器學習項目。你將學到卷積神經網絡(CNN)、循環神經網絡(RNN)、長短期記憶網絡(LSTM)、Adam 優化器、Dropout 方法、BatchNorm 方法、Xavier/He 初始化方法等。你將在醫療、自動駕駛、手語識別、音樂生成和自然語言處理等領域中進行案例研究。你不僅能掌握理論,還能看到深度學習如何應用到產業中。我們將需要使用 Python 和 TensorFlow 來實現所有的項目,課程中也會教這一部分。完成這門課程后,你將能以創新的方式將深度學習應用到你的工作中。該課程是以翻轉課堂的形式教學的。你將先在家里觀看 Coursera 視頻、完成編程任務以及在線測驗,然后來到課堂上做進一步討論和完成項目。該課程將以開放式的最終項目結束,教學團隊會在過程中提供幫助。
《智能計算系統》課程由陳云霽老師親自“操刀”,讓大家融會貫通地理解智能計算系統完整的軟硬件技術棧,把割裂的知識點串起來打通任督二脈。據介紹,課程采用“應用驅動,全棧貫通”的思想,以一個圖像遷移風格的驅動范例帶動,重點圍繞智能計算系統的設計理論、方法、關鍵技術等展開討論,從基本概念開始,由淺入深幫助學生建立智能計算系統設計及應用的知識體系,培養智能時代急需的芯片設計、軟件開發、算法研發等各個層次的人才。
課程網站://novel.ict.ac.cn/aics/ 視頻鏈接:
課程簡介
智能計算系統是智能的核心物質載體,每年全球要制造數以十億計的智能計算系統(包括智能手機、智能服務器、智能可穿戴設備等),需要大量的智能計算系統的設計者和開發者。智能計算系統人才的培養直接關系到我國智能產業的核心競爭力。因此,對智能計算系統的認識和理解是智能時代計算機類專業學生培養方案中不可或缺的重要組成部分,是計算機類專業學生的核心競爭力。
本課程采用“應用驅動,全棧貫通”的思想,以一個圖像遷移風格的驅動范例帶動,重點圍繞智能計算系統的設計理論、方法、關鍵技術等展開討論,從基本概念開始,由淺入深幫助學生建立智能計算系統設計及應用的知識體系,培養智能時代急需的芯片設計、軟件開發、算法研發等各個層次的人才。
課程大綱
第一章:概述展開 1.1 人工智能 1.2 智能計算系統 1.3 驅動范例
第二章:神經網絡基礎展開 2.1 從機器學習到神經網絡 2.2 神經網絡訓練 2.3 神經網絡設計原則 2.4 過擬合與正則化 2.5 交叉驗證 下載課件
第三章:深度學習展開 3.1 適合圖像處理的卷積神經網絡 3.2 基于卷積神經網絡的圖像分類算法 3.3 基于卷積神經網絡的圖像目標檢測算法 3.4 序列模型:循環神經網絡 3.5 生成對抗網絡GAN 3.6驅動范例
第四章:編程框架使用展開 4.1 為什么需要編程框架 4.2 編程框架概述 4.3 TensorFlow編程模型及基本用法 4.4 基于TensorFlow實現深度學習預測 4.5 基于TensorFlow實現深度學習訓練
第五章:編程框架機理展開 5.1 TensorFlow的設計原則 5.2 TensorFlow計算圖機制 5.3 TensorFlow系統實現 5.4 編程框架對比
第六章:深度學習處理器原理展開 6.1 深度學習處理器概述 6.2 目標算法分析 6.3 深度學習處理器DLP結構 6.4 優化設計 6.5 性能評價 6.6 其他加速器
第七章:深度學習處理器架構展開 7.1 單核深度學習處理器 7.2 多核深度學習處理器
第八章:智能編程語言展開 8.1 為什么需要智能編程語言 8.2 智能計算系統抽象架構 8.3 智能編程模型 8.4 智能編程語言基礎 8.5 智能應用編程接口 8.6 智能應用功能調試 8.7 智能應用性能調優 8.8 基于智能編程語言的系統開發
第九章:實驗展開 9.1 基礎實驗:圖像風格遷移 9.2 拓展實驗:物體檢測 實驗講解 前序課程展開 線性代數 概率論與數理統計 計算機組成原理 機器學習 算法導論
機器學習涉及的是通過經驗自動提高其性能的計算機程序(例如,學習人臉識別,推薦音樂和電影,以及驅動自主機器人的程序)。本課程從多種角度涵蓋了機器學習的理論和實際算法。我們涵蓋了貝葉斯網絡、決策樹學習、支持向量機、統計學習方法、無監督學習和強化學習等主題。課程涵蓋的理論概念如歸納偏差,PAC學習框架,貝葉斯學習方法,基于邊際的學習,和奧卡姆剃刀。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員所需要的方法論、技術、數學和算法的全面基礎知識。
學習成果: 課程結束時,學生應能夠:
實現并分析現有的學習算法,包括為分類、回歸、結構預測、聚類和表示學習而充分研究的方法 將實際機器學習的多個方面集成到一個系統中:數據預處理、學習、正則化和模型選擇 描述學習模型和算法的形式屬性,并解釋這些結果的實際含義 比較和對比不同的學習范式(監督的、非監督的,等等) 設計實驗評估和比較不同的機器學習技術在現實世界的問題 運用概率論、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出一種ML技術的描述,分析它,確定(1)形式主義的表達能力;(2)算法中隱含的歸納偏差;(3)搜索空間
參考書籍:
Machine Learning, Tom Mitchell. Machine Learning: a Probabilistic Perspective, Kevin Murphy. Full online access is free through CMU’s library – for the second link, you must be on CMU’s network or VPN. A Course in Machine Learning, Hal Daumé III. Online only.
目錄內容: Classification & Regression Linear Models 深度學習 強化學習 生成模型 概率圖模型 學習理論 學習方式
高級的深度學習。本講座重點介紹計算機視覺的前沿深度學習技術,重點介紹統計學背景、遞歸神經網絡(RNNs)和生成模型(GANs)。課程的一部分是一個貫穿整個學期的項目,深入學習現代DL方法。
//dvl.in.tum.de/teaching/adl4cv-ss20/
目錄內容:
神經網絡為建模語言提供了強大的新工具,并已被用于改善一些任務的最新技術,并解決過去不容易解決的新問題。這門課(在卡內基梅隆大學語言技術學院)將從神經網絡的簡要概述開始,然后用大部分時間展示如何將神經網絡應用于自然語言問題。每個部分將介紹一個特定的問題或自然語言的現象,描述為什么很難建模,并演示幾個模型,旨在解決這個問題。在此過程中,本課程將涵蓋在創建神經網絡模型中有用的不同技術,包括處理不同大小和結構的句子、高效處理大數據、半監督和非監督學習、結構化預測和多語言建模。
本文為大家帶來了一份斯坦福大學的最新課程CS234——強化學習,主講人是斯坦福大學Emma Brunskill,她是斯坦福大學計算機科學助理教授,任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組,主要研究強化學習。要實現人工智能的夢想和影響,需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例,它與大量的任務相關,包括機器人、游戲、消費者建模和醫療保健。本課程通過講課、書面作業和編碼作業的結合,學生將精通強化學習的關鍵思想和技術。
1.課程介紹(Description)
要實現人工智能的夢想和影響,需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例,它與大量的任務相關,包括機器人、游戲、消費者建模和醫療保健。本課程將為強化學習領域提供扎實的介紹,學生將學習包括通用化和探索在內的核心挑戰和方法。通過講課、書面作業和編碼作業的結合,學生將精通強化學習的關鍵思想和技術。作業將包括強化學習和深度強化學習的基礎,這是一個極有前途的新領域,將深度學習技術與強化學習相結合。此外,學生將通過期末專題來增進對強化學習領域的理解。
課程地址:
//web.stanford.edu/class/cs234/schedule.html
2.預備知識(Prerequisites)
1)熟練Python
所有的課程都將使用Python(使用numpy和Tensorflow,也可以使用Keras)。這里有一個針對那些不太熟悉Python的人的教程。如果你有很多使用不同語言(如C/ c++ / Matlab/ Javascript)的編程經驗,可能會很好。
2)大學微積分,線性代數(如 MATH 51, CME 100)
你應該能夠熟練地進行(多變量)求導,理解矩陣/向量符號和運算。
3)基本概率及統計(例如CS 109 或同等課程)
你應該了解基本的概率,高斯分布,均值,標準差等。
4)機器學習基礎
我們將闡述成本函數,求導數,用梯度下降法進行優化。CS 221或CS 229均可涵蓋此背景。使用一些凸優化知識,一些優化技巧將更加直觀。
3.主講:Emma Brunskill
Emma Brunskill是斯坦福大學計算機科學助理教授,任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組。
主要研究強化學習系統,以幫助人們更好地生活。并處理一些關鍵技術。最近的研究重點包括:1)有效強化學習的基礎。一個關鍵的挑戰是要了解代理商如何平衡勘探與開發之間的局限性。2)如果要進行順序決策,該怎么辦。利用巨大數量的數據來改善在醫療保健,教育,維護和許多其他應用程序中做出的決策,這是一個巨大的機會。這樣做需要假設/反事實推理,以便在做出不同決定時對潛在結果進行推理。3)人在回路系統。人工智能具有極大地擴大人類智能和效率的潛力。我們正在開發一個系統,用其他眾包商(CHI 2016)生產的(機器)固化材料對眾包商進行訓練,并確定何時擴展系統規格以包括新內容(AAAI 2017)或傳感器。我們也有興趣研究確保機器學習系統在人類用戶的意圖方面表現良好(Arxiv 2017),也被稱為安全和公平的機器學習。
個人主頁:
4.課程安排
01: 強化學習導論(Introduction to Reinforcement Learning)
02: 表格MDP規劃(Tabular MDP planning)
03: 表格RL政策評估(Tabular RL policy evaluation)
04: Q-learning
05: 帶函數逼近的強化學習(RL with function approximation)
06: 帶函數逼近的強化學習(RL with function approximation)
07: 帶函數逼近的強化學習(RL with function approximation)
08: 從馬爾可夫決策過程到強化學習(Policy search)
09: 從馬爾可夫決策過程到強化學習(Policy search)
10: 課堂中期(In-class Midterm)
11: 模仿學習/探索(Imitation learning/Exploration)
12: 探索/開發(Exploration/Exploitation)
13: 探索/開發(Exploration/Exploitation)
14: 批處理強化學習(Batch Reinforcement Learning)
15: 嘉賓講座:Craig Boutilier(Guest Lecture: Craig Boutilier)
16: 課堂測驗(In-class Quiz)
17: 蒙特卡洛樹搜索算法(Monte Carlo Tree Search)
18: 墻報展示(Poster presentations)