亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

高級的深度學習。本講座重點介紹計算機視覺的前沿深度學習技術，重點介紹統計學背景、遞歸神經網絡(RNNs)和生成模型(GANs)。課程的一部分是一個貫穿整個學期的項目，深入學習現代DL方法。

//dvl.in.tum.de/teaching/adl4cv-ss20/

目錄內容：

• 課程及專題簡介
• 神經網絡可視化和可解釋性
• 相似的學習
• 注意力機制和transformers
• 圖神經網絡
• Autoencoders & VAE
• 生成式模型I
• 生成式模型 II
• 視頻，自回歸模型，多維度
• 領域適應和遷移學習

【導讀】慕尼黑大學開設的《高級深度學習》技術課程，重點介紹計算機視覺的前沿深度學習技術。最新一期介紹了《生成式對抗網絡》進展，講述了GAN的知識體系，值得關注。

本課程涉及深度學習和表示學習的最新技術，重點包括監督式深度學習和無監督深度學習、（詞）嵌入、度量學習、卷積和遞歸網絡，以及在計算機視覺、自然語言理解和語音識別方面的應用。先修課程包括：DS-GA 1001 數據科學入門 或一門研究生級別的機器學習課程。

目錄內容：

第一周

• 講座 A 部分：關于深度學習背后動力的討論。我們從深度學習的歷史和想法開始談起，之后討論模式識別的歷史，以及梯度下降和其反向傳播計算。最后，我們會討論視皮質的層級結構。
• 講座 B 部分：我們首先會討論從福島邦彥到 LeCun 再到 AlexNet 過程中卷積神經網絡 (CNN) 的演變。之后我們會討論 CNN 的實際應用，例如圖像分割、自動駕駛和醫學影像分析。我們還會討論深度網絡的層級性質和使其具有優勢的特性。最后，我們會討論特征/表現的生成和學習。
• 動手做：我們會討論將數據點在空間中可視化的動機。我們還會談到以及線性代數以及線性變換和非線性變換的應用。我們會討論利用可視化來更好的理解函數及其變換效果。之后我們會在 Jupyter Notebook 中貫穿示例，最后會討論以神經網絡為代表的函數。

第二周

• 講座 A 部分：我們從理解什么是參數化的模型開始，然后討論什么是損失函數。之后我們會涉及基于梯度的方法以及這些方法是如何被應用到傳統神經網絡中的反向傳播算法中。最后，我們會學習如何使用PyTorch實現一個神經網絡以及討論一種反向傳播的更廣義的形式。
• 講座 B 部分：我們從一個反向傳播的具體例子開始，進而討論Jacobian矩陣的維度。然后，我們會著眼于多種基礎神經網絡模塊并計算它們的梯度，之后對softmax和logsoftmax進行簡短的討論。最后會在這個部分學習一些反向傳播的實用技巧。
• 動手做：我們給出了使用（人工）神經網絡進行監督學習的簡介，闡述相關問題的形成以及訓練這些網絡所用的經典數據。我們也討論了如何訓練一個神經網絡來解決多分類問題，以及在該網絡訓練好之后如何使用它進行推斷

第三周

• 講座A部分：首先，我們會看到一個6層神經網絡的可視化。接著，我們將開始卷積和卷積神經網絡(CNN)的主題。我們先回顧了CNN中幾種類型的參數變換，引入了卷積核的想法，將其用于以層次化的方式學習特征，進而將輸入數據進行分類，以上正是CNN的基本思想。
• 講座B部分：我們將介紹CNN的演變。我們通過舉例MNIST上的手寫數字識別任務，使用LeNet5的現代實現對CNN架構進行細致的討論。基于CNN的設計原理，我們講述了CNN的優勢：充分探索了自然圖像的組合性、穩定性、局域性特征。
• 動手做：我們對使用人工神經網絡進行監督學習給出簡單介紹。我們詳細講述了問題定義和用于訓練網絡的數據規約。我們還討論了如何為多分類任務訓練一個神經網絡，并在網絡訓練完成后如何進行推斷。

第四周

• 動手做：我們首先對線性代數做一個簡要回顧，然后利用音頻數據作為例子將討論擴展到卷積這個主題。如局部性、平穩性、Toeplitz矩陣這樣的關鍵概念將會被不斷重復。接著我們會給出一個基音分析中卷積性能的現場演示。最后，我們簡單討論一下不同數據的維度問題

第五周

• 講座A部分：我們以介紹梯度下降算法開始。我們將討論它的目的以及討論步長大小在獲得解答中所起到的重要作用。然后我們將繼續介紹隨機梯度下降算法以及它和全批次梯度下降算法比較下的表現。最后我們將討論動量更新，明確使用動量背后的兩條更新規則和目的，以及它對收斂的影響

• 講座B部分：我們將討論適用于隨機梯度下降的方法，比如RMSprop優化算法和ADAM優化算法。我們也會討論歸一化層和它們在神經網絡訓練進程中的作用。最后，我們將討論一個神經網絡在工業中使核磁共振掃描更快和更有效的例子。

• 動手做：我們將簡單復習一下矩陣乘法然后討論卷積。我們使用卷積核的關鍵是通過堆疊和滑動。我們先通過手寫推導理解一維卷積，然后使用PyTorch學習卷積核的維度以及一維和二維卷積例子中的輸出寬度。更多地，我們使用PyTorch學習自動梯度和自定義梯度是如何運作的。

第六周

• 講座A部分：我們討論過卷積神經網絡的三個應用。我們從數字識別開始，然后到5位郵政編碼識別。在「物體識別」中，我們討論了如何在面部檢測設置中使用多尺度體系結構。最后,我們看到卷積網也在機械人視覺系統和在城市環境中的「圖像語義分割」中，這些也作為其中之一的具體例子中實際用到。
• 講座B：我們研究了各種遞歸歸零神經網絡，它們的問題，以及改善這些問題的常用方法。然后，我們回顧了各種不同的模組，它們都是開發來解決遞歸歸零神經網絡（RNN）模型的問題。包括注意模組(Attention)，門控循環單元（Gated Recurrent Unit或簡稱GRU），長短期記憶(Long Short-Term Memory或簡稱LSTMs )和序列對序列（Seq2Seq）。
• 實習：我們討論了簡單基本版遞歸神經網絡（RNN）和長短期記憶(LSTM)的模型結構，并比較了兩者之間的性能。長短期記憶網路繼承了遞歸神經網絡的優點，同時改善了遞歸神經網絡弱點,它的方法就是用記憶單元將信息長時間存儲在記憶中。所以 長短期記憶網路顯著地優于遞歸神經網絡

本課程涉及深度學習和表示學習的最新技術，重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網，并應用于計算機視覺、自然語言理解和語音識別。

● Course public folder: bit.ly/DLSP20.

● Class material available .

● Piazza Q&A interface available here. Sign-up token: DLSP20.

Yann LeCun（//www.zhuanzhi.ai/topic/20021）

在人工智能研究領域，Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公認為深度學習三巨頭，一起獲得2018年圖靈獎。

Yann LeCun，自稱中文名“楊立昆”，計算機科學家，被譽為“卷積網絡之父”，為卷積神經網絡（CNN，Convolutional Neural Networks）和圖像識別領域做出了重要貢獻，以手寫字體識別、圖像壓縮和人工智能硬件等主題發表過 190 多份論文，研發了很多關于深度學習的項目，并且擁有14項相關的美國專利。他同Léon Bottou和Patrick Haffner等人一起創建了DjVu圖像壓縮技術，同Léon Bottou一起開發了一種開源的Lush語言，比Matlab功能還要強大，并且也是一位Lisp高手。（Backpropagation，簡稱BP）反向傳播這種現階段常用來訓練人工神經網絡的算法，就是 LeCun 和其老師“神經網絡之父”Geoffrey Hinton 等科學家于 20 世紀 80 年代中期提出的，而后 LeCun 在貝爾實驗室將 BP 應用于卷積神經網絡中，并將其實用化，推廣到各種圖像相關任務中。

下載鏈接：鏈接: 提取碼: i3ed

課程介紹： 最近兩年，注意力模型（Attention Model）被廣泛使用在自然語言處理、圖像識別及語音識別等各種不同類型的深度學習任務中，是深度學習技術中最值得關注與深入了解的核心技術之一，本課程從基礎著手，由淺及深，詳細介紹注意力神經網絡。

主講人： Xavier Bresson，人工智能/深度學習方面的頂級研究員，培訓師和顧問。在“圖深度學習”上的NeurIPS'17和CVPR'17（2019年頂級人工智能會議排名）上的演講者，在劍橋，加州大學洛杉磯分校，布朗，清華，龐加萊，海德堡等地進行了30多次國際演講。

課程大綱：

• 神經網絡
• 神經網絡sets
• 記憶網絡
• Transformers
• seq2seq Transformers
• 語言模型Transformers
• 圖網絡VS神經網絡
• 總結