本課程涉及深度學習和表示學習的最新技術，重點包括監督式深度學習和無監督深度學習、（詞）嵌入、度量學習、卷積和遞歸網絡，以及在計算機視覺、自然語言理解和語音識別方面的應用。先修課程包括：DS-GA 1001 數據科學入門 或一門研究生級別的機器學習課程。
目錄內容：
第一周
- 講座 A 部分：關于深度學習背后動力的討論。我們從深度學習的歷史和想法開始談起，之后討論模式識別的歷史，以及梯度下降和其反向傳播計算。最后，我們會討論視皮質的層級結構。
- 講座 B 部分：我們首先會討論從福島邦彥到 LeCun 再到 AlexNet 過程中卷積神經網絡 (CNN) 的演變。之后我們會討論 CNN 的實際應用，例如圖像分割、自動駕駛和醫學影像分析。我們還會討論深度網絡的層級性質和使其具有優勢的特性。最后，我們會討論特征/表現的生成和學習。
- 動手做：我們會討論將數據點在空間中可視化的動機。我們還會談到以及線性代數以及線性變換和非線性變換的應用。我們會討論利用可視化來更好的理解函數及其變換效果。之后我們會在 Jupyter Notebook 中貫穿示例，最后會討論以神經網絡為代表的函數。
第二周
- 講座 A 部分：我們從理解什么是參數化的模型開始，然后討論什么是損失函數。之后我們會涉及基于梯度的方法以及這些方法是如何被應用到傳統神經網絡中的反向傳播算法中。最后，我們會學習如何使用PyTorch實現一個神經網絡以及討論一種反向傳播的更廣義的形式。
- 講座 B 部分：我們從一個反向傳播的具體例子開始，進而討論Jacobian矩陣的維度。然后，我們會著眼于多種基礎神經網絡模塊并計算它們的梯度，之后對softmax和logsoftmax進行簡短的討論。最后會在這個部分學習一些反向傳播的實用技巧。
- 動手做：我們給出了使用（人工）神經網絡進行監督學習的簡介，闡述相關問題的形成以及訓練這些網絡所用的經典數據。我們也討論了如何訓練一個神經網絡來解決多分類問題，以及在該網絡訓練好之后如何使用它進行推斷
第三周
- 講座A部分：首先，我們會看到一個6層神經網絡的可視化。接著，我們將開始卷積和卷積神經網絡(CNN)的主題。我們先回顧了CNN中幾種類型的參數變換，引入了卷積核的想法，將其用于以層次化的方式學習特征，進而將輸入數據進行分類，以上正是CNN的基本思想。
- 講座B部分：我們將介紹CNN的演變。我們通過舉例MNIST上的手寫數字識別任務，使用LeNet5的現代實現對CNN架構進行細致的討論。基于CNN的設計原理，我們講述了CNN的優勢：充分探索了自然圖像的組合性、穩定性、局域性特征。
- 動手做：我們對使用人工神經網絡進行監督學習給出簡單介紹。我們詳細講述了問題定義和用于訓練網絡的數據規約。我們還討論了如何為多分類任務訓練一個神經網絡，并在網絡訓練完成后如何進行推斷。
第四周
- 動手做：我們首先對線性代數做一個簡要回顧，然后利用音頻數據作為例子將討論擴展到卷積這個主題。如局部性、平穩性、Toeplitz矩陣這樣的關鍵概念將會被不斷重復。接著我們會給出一個基音分析中卷積性能的現場演示。最后，我們簡單討論一下不同數據的維度問題
第五周
-
講座A部分：我們以介紹梯度下降算法開始。我們將討論它的目的以及討論步長大小在獲得解答中所起到的重要作用。然后我們將繼續介紹隨機梯度下降算法以及它和全批次梯度下降算法比較下的表現。最后我們將討論動量更新，明確使用動量背后的兩條更新規則和目的，以及它對收斂的影響
-
講座B部分：我們將討論適用于隨機梯度下降的方法，比如RMSprop優化算法和ADAM優化算法。我們也會討論歸一化層和它們在神經網絡訓練進程中的作用。最后，我們將討論一個神經網絡在工業中使核磁共振掃描更快和更有效的例子。
-
動手做：我們將簡單復習一下矩陣乘法然后討論卷積。我們使用卷積核的關鍵是通過堆疊和滑動。我們先通過手寫推導理解一維卷積，然后使用PyTorch學習卷積核的維度以及一維和二維卷積例子中的輸出寬度。更多地，我們使用PyTorch學習自動梯度和自定義梯度是如何運作的。
第六周
- 講座A部分：我們討論過卷積神經網絡的三個應用。我們從數字識別開始，然后到5位郵政編碼識別。在「物體識別」中，我們討論了如何在面部檢測設置中使用多尺度體系結構。最后,我們看到卷積網也在機械人視覺系統和在城市環境中的「圖像語義分割」中，這些也作為其中之一的具體例子中實際用到。
- 講座B：我們研究了各種遞歸歸零神經網絡，它們的問題，以及改善這些問題的常用方法。然后，我們回顧了各種不同的模組，它們都是開發來解決遞歸歸零神經網絡（RNN）模型的問題。包括注意模組(Attention)，門控循環單元（Gated Recurrent Unit或簡稱GRU），長短期記憶(Long Short-Term Memory或簡稱LSTMs )和序列對序列（Seq2Seq）。
- 實習：我們討論了簡單基本版遞歸神經網絡（RNN）和長短期記憶(LSTM)的模型結構，并比較了兩者之間的性能。長短期記憶網路繼承了遞歸神經網絡的優點，同時改善了遞歸神經網絡弱點,它的方法就是用記憶單元將信息長時間存儲在記憶中。所以 長短期記憶網路顯著地優于遞歸神經網絡
付費5元查看完整內容
相關內容
（New York University），成立于 1831 年，是全美最大的私立大學之一，也是美國唯一一座坐落于紐約心臟地帶的名校。所設課程壓力不大，但要求甚高。而34名諾貝爾獎得主更是使紐約大學光芒四射，享譽世界。紐約大學較為偏重人文藝術及社會科學，研究生院享有很高的聲譽。屬下的帝勢藝術學院是全美最佳的美術學院之一；斯特恩商學院由于得到地靈人杰之助，是蜚聲世界的著名商學院，聚集著世界最頂尖的人才。
深度學習
·
【導讀】DeepMind開設了一系列深度學習課程。本次課講述了深度學習計算機視覺。
繼上一講之后，DeepMind研究科學家Viorica Patraucean介紹了圖像分類之外的經典計算機視覺任務(目標檢測、語義分割、光流估計)，并描述了每種任務的最新模型以及標準基準。她討論了視頻處理任務的類似模型，如動作識別、跟蹤和相關挑戰。她特別提到了最近提高視頻處理效率的工作，包括使用強化學習的元素。接下來，她介紹了單模態和多模態(vision+audio, visio+language)自監督學習的各種設置，在這些設置中，大規模學習是有益的。最后，Viorica討論了視覺中的開放問題，以及計算機視覺研究在構建智能代理這一更廣泛目標中的作用。
付費5元查看完整內容
本課程涉及深度學習和表示學習的最新技術，重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網，并應用于計算機視覺、自然語言理解和語音識別。
第五講：
第六講：
第七講：
付費5元查看完整內容
本課程涉及深度學習和表示學習的最新技術，重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網，并應用于計算機視覺、自然語言理解和語音識別。
● Course public folder: bit.ly/DLSP20.
● Class material available
● Piazza Q&A interface available here. Sign-up token: DLSP20.
Yann LeCun（//www.zhuanzhi.ai/topic/20021）
在人工智能研究領域，Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公認為深度學習三巨頭，一起獲得2018年圖靈獎。
Yann LeCun，自稱中文名“楊立昆”，計算機科學家，被譽為“卷積網絡之父”，為卷積神經網絡（CNN，Convolutional Neural Networks）和圖像識別領域做出了重要貢獻，以手寫字體識別、圖像壓縮和人工智能硬件等主題發表過 190 多份論文，研發了很多關于深度學習的項目，并且擁有14項相關的美國專利。他同Léon Bottou和Patrick Haffner等人一起創建了DjVu圖像壓縮技術，同Léon Bottou一起開發了一種開源的Lush語言，比Matlab功能還要強大，并且也是一位Lisp高手。（Backpropagation，簡稱BP）反向傳播這種現階段常用來訓練人工神經網絡的算法，就是 LeCun 和其老師“神經網絡之父”Geoffrey Hinton 等科學家于 20 世紀 80 年代中期提出的，而后 LeCun 在貝爾實驗室將 BP 應用于卷積神經網絡中，并將其實用化，推廣到各種圖像相關任務中。
下載鏈接：鏈接: 提取碼: i3ed
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191