本課程的中文名稱設定為 人工智能系統,主要講解支持人工智能的計算機系統設計,對應的英文課程名稱為 System for AI。本課程中將交替使用一下詞匯:人工智能系統,AI-System 和 System for AI。
近年來人工智能特別是深度學習技術得到了飛速發展,這背后離不開計算機硬件和軟件系統的不斷進步。在可見的未來,人工智能技術的發展仍將依賴于計算機系統和人工智能相結合的共同創新模式。需要注意的是,計算機系統現在正以更大的規模和更高的復雜性來賦能于人工智能,這背后不僅需要更多的系統上的創新,更需要系統性的思維和方法論。與此同時,人工智能也反過來為設計復雜系統提供支持。
我們注意到,現在的大部分人工智能相關的課程,特別是深度學習和機器學習相關課程主要集中在相關理論、算法或者應用,與系統相關的課程并不多見。我們希望人工智能系統這門課能讓人工智能相關教育變得更加全面和深入,以共同促進人工智能與系統交叉人才的培養。
本課程主要為本科生高年級和研究生設計,幫助學生:
完整的了解支持深度學習的計算機系統架構,并通過實際的問題,來學習深度學習完整生命周期下的系統設計。
介紹前沿的系統和人工智能相結合的研究工作,包括AI for Systems and Systems for AI,以幫助高年級的本科生和研究生更好的尋找和定義有意義的研究問題。
從系統研究的角度出發設計實驗課程。通過操作和應用主流和最新的框架、平臺和工具來鼓勵學生動手實現和優化系統模塊,以提高解決實際問題的能力,而不僅僅是了解工具使用。
先修課程: C/C++/Python, 計算機體系結構,算法導論
課程主要包括以下三大模塊:
第一部分,是人工智能的基礎知識和人工智能系統的全棧概述;以及深度學習系統的系統性設計和方法學。
第二部分,為高級課程,包括最前沿的系統和人工智能交叉的研究領域。
第三部分,是與之配套的實驗課程,包括最主流的框架、平臺和工具,以及一系列的實驗項目。
第一部分的內容將集中在基礎知識,而其他兩部分的內容將隨著學術界和工業界的技術進步而動態調整。后兩部分的內容將以模塊化的形式組織,以利于調整或與其他CS的課程(比如編譯原理等)相結合,作為高級講義或者實習項目。
本課程的設計也會借助微軟亞洲研究院在人工智能和系統交叉領域的研究成果和經驗,其中包括微軟及研究院開發的一部分平臺和工具。課程也鼓勵其他學校和老師根據自己的需求添加和調整更多的高級課題,或者其他的實驗。
基礎課程
高階課程
//www.math.arizona.edu/~hzhang/math574.html
隨著信息技術的飛速發展,在各個領域產生了大量的科學和商業數據。例如,人類基因組數據庫項目已經收集了千兆字節的人類遺傳密碼數據。萬維網提供了另一個例子,它擁有由數百萬人使用的文本和多媒體信息組成的數十億Web頁面。
本課程涵蓋了現代數據科學技術,包括基本的統計學習理論及其應用。將介紹各種數據挖掘方法、算法和軟件工具,重點在概念和計算方面。將涵蓋生物信息學、基因組學、文本挖掘、社交網絡等方面的應用。
本課程著重于現代機器學習的統計分析、方法論和理論。它是為學生誰想要實踐先進的機器學習工具和算法,也了解理論原理和統計性質的算法。主題包括回歸、分類、聚類、降維和高維分析。
本文為大家帶來了一份斯坦福大學的最新課程CS234——強化學習,主講人是斯坦福大學Emma Brunskill,她是斯坦福大學計算機科學助理教授,任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組,主要研究強化學習。要實現人工智能的夢想和影響,需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例,它與大量的任務相關,包括機器人、游戲、消費者建模和醫療保健。本課程通過講課、書面作業和編碼作業的結合,學生將精通強化學習的關鍵思想和技術。
1.課程介紹(Description)
要實現人工智能的夢想和影響,需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例,它與大量的任務相關,包括機器人、游戲、消費者建模和醫療保健。本課程將為強化學習領域提供扎實的介紹,學生將學習包括通用化和探索在內的核心挑戰和方法。通過講課、書面作業和編碼作業的結合,學生將精通強化學習的關鍵思想和技術。作業將包括強化學習和深度強化學習的基礎,這是一個極有前途的新領域,將深度學習技術與強化學習相結合。此外,學生將通過期末專題來增進對強化學習領域的理解。
課程地址:
//web.stanford.edu/class/cs234/schedule.html
2.預備知識(Prerequisites)
1)熟練Python
所有的課程都將使用Python(使用numpy和Tensorflow,也可以使用Keras)。這里有一個針對那些不太熟悉Python的人的教程。如果你有很多使用不同語言(如C/ c++ / Matlab/ Javascript)的編程經驗,可能會很好。
2)大學微積分,線性代數(如 MATH 51, CME 100)
你應該能夠熟練地進行(多變量)求導,理解矩陣/向量符號和運算。
3)基本概率及統計(例如CS 109 或同等課程)
你應該了解基本的概率,高斯分布,均值,標準差等。
4)機器學習基礎
我們將闡述成本函數,求導數,用梯度下降法進行優化。CS 221或CS 229均可涵蓋此背景。使用一些凸優化知識,一些優化技巧將更加直觀。
3.主講:Emma Brunskill
Emma Brunskill是斯坦福大學計算機科學助理教授,任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組。
主要研究強化學習系統,以幫助人們更好地生活。并處理一些關鍵技術。最近的研究重點包括:1)有效強化學習的基礎。一個關鍵的挑戰是要了解代理商如何平衡勘探與開發之間的局限性。2)如果要進行順序決策,該怎么辦。利用巨大數量的數據來改善在醫療保健,教育,維護和許多其他應用程序中做出的決策,這是一個巨大的機會。這樣做需要假設/反事實推理,以便在做出不同決定時對潛在結果進行推理。3)人在回路系統。人工智能具有極大地擴大人類智能和效率的潛力。我們正在開發一個系統,用其他眾包商(CHI 2016)生產的(機器)固化材料對眾包商進行訓練,并確定何時擴展系統規格以包括新內容(AAAI 2017)或傳感器。我們也有興趣研究確保機器學習系統在人類用戶的意圖方面表現良好(Arxiv 2017),也被稱為安全和公平的機器學習。
個人主頁:
4.課程安排
01: 強化學習導論(Introduction to Reinforcement Learning)
02: 表格MDP規劃(Tabular MDP planning)
03: 表格RL政策評估(Tabular RL policy evaluation)
04: Q-learning
05: 帶函數逼近的強化學習(RL with function approximation)
06: 帶函數逼近的強化學習(RL with function approximation)
07: 帶函數逼近的強化學習(RL with function approximation)
08: 從馬爾可夫決策過程到強化學習(Policy search)
09: 從馬爾可夫決策過程到強化學習(Policy search)
10: 課堂中期(In-class Midterm)
11: 模仿學習/探索(Imitation learning/Exploration)
12: 探索/開發(Exploration/Exploitation)
13: 探索/開發(Exploration/Exploitation)
14: 批處理強化學習(Batch Reinforcement Learning)
15: 嘉賓講座:Craig Boutilier(Guest Lecture: Craig Boutilier)
16: 課堂測驗(In-class Quiz)
17: 蒙特卡洛樹搜索算法(Monte Carlo Tree Search)
18: 墻報展示(Poster presentations)