本文為大家帶來了一份斯坦福大學的最新課程CS234——強化學習，主講人是斯坦福大學Emma Brunskill，她是斯坦福大學計算機科學助理教授，任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組，主要研究強化學習。要實現人工智能的夢想和影響，需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例，它與大量的任務相關，包括機器人、游戲、消費者建模和醫療保健。本課程通過講課、書面作業和編碼作業的結合，學生將精通強化學習的關鍵思想和技術。
1.課程介紹(Description)
要實現人工智能的夢想和影響，需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例，它與大量的任務相關，包括機器人、游戲、消費者建模和醫療保健。本課程將為強化學習領域提供扎實的介紹，學生將學習包括通用化和探索在內的核心挑戰和方法。通過講課、書面作業和編碼作業的結合，學生將精通強化學習的關鍵思想和技術。作業將包括強化學習和深度強化學習的基礎，這是一個極有前途的新領域，將深度學習技術與強化學習相結合。此外，學生將通過期末專題來增進對強化學習領域的理解。
課程地址：
//web.stanford.edu/class/cs234/schedule.html
2.預備知識(Prerequisites)
1）熟練Python
所有的課程都將使用Python(使用numpy和Tensorflow，也可以使用Keras)。這里有一個針對那些不太熟悉Python的人的教程。如果你有很多使用不同語言(如C/ c++ / Matlab/ Javascript)的編程經驗，可能會很好。
2）大學微積分，線性代數(如 MATH 51, CME 100)
你應該能夠熟練地進行(多變量)求導，理解矩陣/向量符號和運算。
3）基本概率及統計(例如CS 109 或同等課程)
你應該了解基本的概率，高斯分布，均值，標準差等。
4）機器學習基礎
我們將闡述成本函數，求導數，用梯度下降法進行優化。CS 221或CS 229均可涵蓋此背景。使用一些凸優化知識，一些優化技巧將更加直觀。
3.主講：Emma Brunskill
Emma Brunskill是斯坦福大學計算機科學助理教授，任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組。
主要研究強化學習系統，以幫助人們更好地生活。并處理一些關鍵技術。最近的研究重點包括：1）有效強化學習的基礎。一個關鍵的挑戰是要了解代理商如何平衡勘探與開發之間的局限性。2）如果要進行順序決策，該怎么辦。利用巨大數量的數據來改善在醫療保健，教育，維護和許多其他應用程序中做出的決策，這是一個巨大的機會。這樣做需要假設/反事實推理，以便在做出不同決定時對潛在結果進行推理。3）人在回路系統。人工智能具有極大地擴大人類智能和效率的潛力。我們正在開發一個系統，用其他眾包商（CHI 2016）生產的（機器）固化材料對眾包商進行訓練，并確定何時擴展系統規格以包括新內容（AAAI 2017）或傳感器。我們也有興趣研究確保機器學習系統在人類用戶的意圖方面表現良好（Arxiv 2017），也被稱為安全和公平的機器學習。
個人主頁：
4.課程安排
01: 強化學習導論(Introduction to Reinforcement Learning)
02: 表格MDP規劃(Tabular MDP planning)
03: 表格RL政策評估(Tabular RL policy evaluation)
04: Q-learning
05: 帶函數逼近的強化學習(RL with function approximation)
06: 帶函數逼近的強化學習(RL with function approximation)
07: 帶函數逼近的強化學習(RL with function approximation)
08: 從馬爾可夫決策過程到強化學習(Policy search)
09: 從馬爾可夫決策過程到強化學習(Policy search)
10: 課堂中期(In-class Midterm)
11: 模仿學習/探索(Imitation learning/Exploration)
12: 探索/開發(Exploration/Exploitation)
13: 探索/開發(Exploration/Exploitation)
14: 批處理強化學習(Batch Reinforcement Learning)
15: 嘉賓講座:Craig Boutilier(Guest Lecture: Craig Boutilier)
16: 課堂測驗(In-class Quiz)
17: 蒙特卡洛樹搜索算法(Monte Carlo Tree Search)
18: 墻報展示(Poster presentations)
付費5元查看完整內容
相關內容
強化學習（RL）是機器學習的一個領域，與軟件代理應如何在環境中采取行動以最大化累積獎勵的概念有關。除了監督學習和非監督學習外，強化學習是三種基本的機器學習范式之一。
強化學習與監督學習的不同之處在于，不需要呈現帶標簽的輸入/輸出對，也不需要顯式糾正次優動作。相反，重點是在探索（未知領域）和利用（當前知識）之間找到平衡。
該環境通常以馬爾可夫決策過程（MDP）的形式陳述，因為針對這種情況的許多強化學習算法都使用動態編程技術。經典動態規劃方法和強化學習算法之間的主要區別在于，后者不假設MDP的確切數學模型，并且針對無法采用精確方法的大型MDP。
最新課程CS224n——自然語言處理與深度學習，主講人是斯坦福大學Chris Manning，他是斯坦福大學機器學習教授，語言學和計算機科學教授，斯坦福人工智能實驗室（SAIL）主任，以人為本的人工智能研究所副所長。
近年來，深度學習方法在許多不同的NLP任務中獲得了非常高的性能，使用不需要傳統的、特定于任務的特征工程的單個端到端神經模型。在本課程中，學生將深入了解NLP深度學習的前沿研究。通過講座、作業和期末專題，學生將學習設計、實施和理解自己的神經網絡模型所需的必要技能。本課程使用Pytorch 進行教學。
付費5元查看完整內容
【導讀】本文為大家帶來了一份斯坦福大學的最新課程CS224n——自然語言處理與深度學習，主講人是斯坦福大學Chris Manning，他是斯坦福大學機器學習教授，語言學和計算機科學教授，斯坦福人工智能實驗室（SAIL）主任，以人為本的人工智能研究所副所長。
近年來，深度學習方法在許多不同的NLP任務中獲得了非常高的性能，使用不需要傳統的、特定于任務的特征工程的單個端到端神經模型。在本課程中，學生將深入了解NLP深度學習的前沿研究。通過講座、作業和期末專題，學生將學習設計、實施和理解自己的神經網絡模型所需的必要技能。本課程使用Pytorch 進行教學。
1. 課程介紹(Description)
自然語言處理（NLP）是信息時代最重要的技術之一，也是人工智能的重要組成部分。NLP的應用無處不在，因為人們幾乎用語言交流一切：網絡搜索、廣告、電子郵件、客戶服務、語言翻譯、虛擬代理、醫療報告等。近年來，深度學習方法在許多不同的NLP任務中獲得了非常高的性能，使用不需要傳統的、特定于任務的特征工程的單個端到端神經模型。在本課程中，學生將深入了解NLP深度學習的前沿研究。通過講座、作業和期末專題，學生將學習設計、實施和理解自己的神經網絡模型所需的必要技能。作為去年的試點，CS224n將在今年使用Pytorch進行教學。
課程鏈接：//web.stanford.edu/class/cs224n/
2. 之前的課程(Previous offerings)
本課程于2017年由早期的CS224n(自然語言處理)和CS224d(自然語言處理與深度學習)課程合并而成。下面你可以找到存檔的網站和學生項目報告。
CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000
CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier
CS224d Reports: Spring 2016 / Spring 2015
3. 預備知識(Prerequisites)
1）精通Python
所有的課堂作業都將使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python，或者您對NumPy不是很熟悉，則可以參加第1周的Python復習（在時間表中列出）。如果你有豐富的編程經驗，但使用不同的語言(如C/ c++ /Matlab/Java/Javascript)，你可能會很好。
2）大學微積分，線性代數(如MATH 51, CME 100)
你應該能夠熟練地進行(多變量)求導，理解矩陣/向量符號和運算。
3）基本概率及統計(例如CS 109 或同等課程)
你應該了解基本的概率，高斯分布，均值，標準差等。
4）機器學習的基礎(例如CS 221或CS 229)
我們將闡述成本函數，求導數，用梯度下降法進行優化。如果你已經有了基本的機器學習和/或深度學習的知識，課程將會更容易;但是，沒有它也可以使用CS224n。在網頁、書籍和視頻形式中，有很多關于ML的介紹。哈爾·道姆(Hal Daume)正在開設的機器學習課程是一種很好的入門方式。閱讀那本書的前5章將是很好的背景知識。知道前7章會更好!
4. 參考書籍(Reference Texts)
所有這些都可以在網上免費閱讀：
-
Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)
-
Jacob Eisenstein. Natural Language Processing
-
Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing
-
Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning
-
Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)
如果你沒有神經網絡方面的背景知識，但無論如何還是想要學習這門課程，你可能會發現這些書中的一本對你提供更多的背景知識很有幫助：
-
Michael A. Nielsen. Neural Networks and Deep Learning
-
Eugene Charniak. Introduction to Deep Learning
5. 主講：Christopher Manning
克里斯托弗·曼寧(Christopher Manning)是斯坦福大學(Stanford University)計算機科學和語言學系機器學習教授，斯坦福大學人工智能實驗室(SAIL)主任。他的研究目標是能夠智能處理、理解和生成人類語言材料的計算機。曼寧是將深度學習應用于自然語言處理領域的領軍人物，在樹遞歸神經網絡、詞向量手套模型、情感分析、神經網絡依賴分析、神經機器翻譯、問答和深度語言理解等領域都有著名的研究成果。他還專注于解析、自然語言推理和多語言處理的計算語言方法，包括斯坦福依賴關系和通用依賴關系的主要開發者。曼寧與人合著了《自然語言處理的統計方法》（Manning and Schütze 1999）和《信息檢索》（Manning，Raghavan and Schütze，2008）兩本領先的教科書，還合著了關于能性和復雜謂詞的語言學專著。他是ACM Fellow，AAAI Fellow，ACL Fellow，也是前ACL主席(2015)。他的研究曾獲得ACL、Coling、EMNLP和CHI最佳論文獎。1994年，他在澳大利亞國立大學獲得學士學位，在斯坦福大學獲得博士學位。在回到斯坦福大學之前，他曾在卡內基梅隆大學和悉尼大學擔任教職。他是斯坦福NLP小組的創始人，負責斯坦福大學CoreNLP軟件的開發。
個人主頁：
6. 課程安排
01： 介紹和詞向量（Introduction and Word Vectors）
Gensim字矢量示例（Gensim word vectors example）
02：單詞向量2和單詞意義(Word Vectors 2 and Word Senses)
03：Python復習課(Python review session)
04：詞窗口分類、神經網絡和矩陣演算(Word Window Classification, Neural Networks, and Matrix Calculus)
05：反向傳播和計算圖(Backpropagation and Computation Graphs)
06：語言結構:依存分析(Linguistic Structure: Dependency Parsing)
07：一個句子的概率?遞歸神經網絡和語言模型(The probability of a sentence? Recurrent Neural Networks and Language Models)
08：消失的梯度和花哨的RNNs (Vanishing Gradients and Fancy RNNs)
09：機器翻譯，Seq2Seq and Attention (Machine Translation, Seq2Seq and Attention)
10：最終項目的實用技巧(Practical Tips for Final Projects)
11：問答和默認的最終項目(Question Answering and the Default Final Project)
12：NLP的ConvNets（ConvNets for NLP）
13：部分單詞（子單詞模型）和轉換器結構的信息（部分單詞（子單詞模型）和轉換器結構的信息）
14：上下文單詞表示（Contextual Word Representations）
15：使用的建模上下文:上下文表示和預訓練（Modeling contexts of use: Contextual Representations and Pretraining）
16：自然語言生成（Natural Language Generation）
17：語言參考和共指解析（Reference in Language and Coreference Resolution）
18：AI中的公平和包容（Fairness and Inclusion in AI）
19：選區解析和樹遞歸神經網絡（Constituency Parsing and Tree Recursive Neural Networks）
20：NLP以及深度學習的未來（NLP+深度學習的未來）
PPT下載鏈接： 提取碼：re2l
付費5元查看完整內容
本文為大家帶來了一份斯坦福大學的最新課程CS236——深度生成模型，目前更新到第一課，感興趣的同學可以多多關注，跟隨學習。
生成式模型被廣泛應用到人工智能和機器學習的諸多領域當中。最近，通過結合隨機梯度下降的優化方法，使用深度神經網絡參數化這些模型所取得的進展，已經使得對于包括圖像，文本和語音在內的復雜，高維度數據建模成為可能。在本次課程中，我們將要學習深度生成式模型的概率基礎和學習算法，包括自動編碼器(AE)的各種變體，生成式對抗網絡，自回歸模型和標準化流模型(normalizing flow models)。本課程還將討論從深度生成式模型中獲益的應用領域，例如計算機視覺，語音，自然語言處理，圖挖掘和強化學習。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191