亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

一份來自FarizDarari的簡明教程

【導讀】深度學習中的優化問題是非常關鍵的。今年國立臺灣大學教授、IEEE Fellow、ACM Fellow、AAAI Fellow，也是大名鼎鼎LIBSVM作者林智仁教授開設了《深度學習優化方法》課程，講解深度學習涉及到非常難的非凸優化問題，研究了深度學習優化方法的實現，值得跟蹤學習。

//www.csie.ntu.edu.tw/~cjlin/courses/optdl2020/

Chih-Jen Lin，現任臺灣大學計算機科學系特聘教授。1993年獲國立臺灣大學學士學位，1998年獲密歇根大學博士學位。他的主要研究領域包括機器學習、數據挖掘和數值優化。他最著名的工作是支持向量機(SVM)數據分類。他的軟件LIBSVM是最廣泛使用和引用的支持向量機軟件包之一。由于他的研究工作，他獲得了許多獎項，包括ACM KDD 2010和ACM RecSys 2013最佳論文獎。因為他對機器學習算法和軟件設計的貢獻，他是IEEE fellow，AAAI fellow，ACM fellow。更多關于他的信息可以在

目錄內容：

• 正則化線性分類
• 全連接網絡優化問題
• 卷積神經網絡優化問題

【導讀】來自Jordi Pons一份循環神經網絡RNNs簡明教程，37頁ppt

本課程涉及深度學習和表示學習的最新技術，重點包括監督式深度學習和無監督深度學習、（詞）嵌入、度量學習、卷積和遞歸網絡，以及在計算機視覺、自然語言理解和語音識別方面的應用。先修課程包括：DS-GA 1001 數據科學入門 或一門研究生級別的機器學習課程。

目錄內容：

第一周

• 講座 A 部分：關于深度學習背后動力的討論。我們從深度學習的歷史和想法開始談起，之后討論模式識別的歷史，以及梯度下降和其反向傳播計算。最后，我們會討論視皮質的層級結構。
• 講座 B 部分：我們首先會討論從福島邦彥到 LeCun 再到 AlexNet 過程中卷積神經網絡 (CNN) 的演變。之后我們會討論 CNN 的實際應用，例如圖像分割、自動駕駛和醫學影像分析。我們還會討論深度網絡的層級性質和使其具有優勢的特性。最后，我們會討論特征/表現的生成和學習。
• 動手做：我們會討論將數據點在空間中可視化的動機。我們還會談到以及線性代數以及線性變換和非線性變換的應用。我們會討論利用可視化來更好的理解函數及其變換效果。之后我們會在 Jupyter Notebook 中貫穿示例，最后會討論以神經網絡為代表的函數。

第二周

• 講座 A 部分：我們從理解什么是參數化的模型開始，然后討論什么是損失函數。之后我們會涉及基于梯度的方法以及這些方法是如何被應用到傳統神經網絡中的反向傳播算法中。最后，我們會學習如何使用PyTorch實現一個神經網絡以及討論一種反向傳播的更廣義的形式。
• 講座 B 部分：我們從一個反向傳播的具體例子開始，進而討論Jacobian矩陣的維度。然后，我們會著眼于多種基礎神經網絡模塊并計算它們的梯度，之后對softmax和logsoftmax進行簡短的討論。最后會在這個部分學習一些反向傳播的實用技巧。
• 動手做：我們給出了使用（人工）神經網絡進行監督學習的簡介，闡述相關問題的形成以及訓練這些網絡所用的經典數據。我們也討論了如何訓練一個神經網絡來解決多分類問題，以及在該網絡訓練好之后如何使用它進行推斷

第三周

• 講座A部分：首先，我們會看到一個6層神經網絡的可視化。接著，我們將開始卷積和卷積神經網絡(CNN)的主題。我們先回顧了CNN中幾種類型的參數變換，引入了卷積核的想法，將其用于以層次化的方式學習特征，進而將輸入數據進行分類，以上正是CNN的基本思想。
• 講座B部分：我們將介紹CNN的演變。我們通過舉例MNIST上的手寫數字識別任務，使用LeNet5的現代實現對CNN架構進行細致的討論。基于CNN的設計原理，我們講述了CNN的優勢：充分探索了自然圖像的組合性、穩定性、局域性特征。
• 動手做：我們對使用人工神經網絡進行監督學習給出簡單介紹。我們詳細講述了問題定義和用于訓練網絡的數據規約。我們還討論了如何為多分類任務訓練一個神經網絡，并在網絡訓練完成后如何進行推斷。

第四周

• 動手做：我們首先對線性代數做一個簡要回顧，然后利用音頻數據作為例子將討論擴展到卷積這個主題。如局部性、平穩性、Toeplitz矩陣這樣的關鍵概念將會被不斷重復。接著我們會給出一個基音分析中卷積性能的現場演示。最后，我們簡單討論一下不同數據的維度問題

第五周

• 講座A部分：我們以介紹梯度下降算法開始。我們將討論它的目的以及討論步長大小在獲得解答中所起到的重要作用。然后我們將繼續介紹隨機梯度下降算法以及它和全批次梯度下降算法比較下的表現。最后我們將討論動量更新，明確使用動量背后的兩條更新規則和目的，以及它對收斂的影響

• 講座B部分：我們將討論適用于隨機梯度下降的方法，比如RMSprop優化算法和ADAM優化算法。我們也會討論歸一化層和它們在神經網絡訓練進程中的作用。最后，我們將討論一個神經網絡在工業中使核磁共振掃描更快和更有效的例子。

• 動手做：我們將簡單復習一下矩陣乘法然后討論卷積。我們使用卷積核的關鍵是通過堆疊和滑動。我們先通過手寫推導理解一維卷積，然后使用PyTorch學習卷積核的維度以及一維和二維卷積例子中的輸出寬度。更多地，我們使用PyTorch學習自動梯度和自定義梯度是如何運作的。

第六周

• 講座A部分：我們討論過卷積神經網絡的三個應用。我們從數字識別開始，然后到5位郵政編碼識別。在「物體識別」中，我們討論了如何在面部檢測設置中使用多尺度體系結構。最后,我們看到卷積網也在機械人視覺系統和在城市環境中的「圖像語義分割」中，這些也作為其中之一的具體例子中實際用到。
• 講座B：我們研究了各種遞歸歸零神經網絡，它們的問題，以及改善這些問題的常用方法。然后，我們回顧了各種不同的模組，它們都是開發來解決遞歸歸零神經網絡（RNN）模型的問題。包括注意模組(Attention)，門控循環單元（Gated Recurrent Unit或簡稱GRU），長短期記憶(Long Short-Term Memory或簡稱LSTMs )和序列對序列（Seq2Seq）。
• 實習：我們討論了簡單基本版遞歸神經網絡（RNN）和長短期記憶(LSTM)的模型結構，并比較了兩者之間的性能。長短期記憶網路繼承了遞歸神經網絡的優點，同時改善了遞歸神經網絡弱點,它的方法就是用記憶單元將信息長時間存儲在記憶中。所以 長短期記憶網路顯著地優于遞歸神經網絡

本課程涉及深度學習和表示學習的最新技術，重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網，并應用于計算機視覺、自然語言理解和語音識別。

第五講：

第六講：

第七講：