【導讀】IanGoodfellow、YoshuaBengio、AaronCourville的《深度學習》花書被奉為AI圣經。但是要掌握這本書卻并非易事。MingchaoZhu同學基于數學推導和產生原理重新描述了書中的概念,并用Python (numpy 庫為主) 復現了書本內容,在Github上開放,歡迎大家查看學習。
《深度學習》是深度學習領域唯一的綜合性圖書,全稱也叫做深度學習 AI圣經(Deep Learning),由三位全球知名專家IanGoodfellow、YoshuaBengio、AaronCourville編著,全書囊括了數學及相關概念的背景知識,包括線性代數、概率論、信息論、數值優化以及機器學習中的相關內容。同時,它還介紹了工業界中實踐者用到的深度學習技術,包括深度前饋網絡、正則化、優化算法、卷積網絡、序列建模和實踐方法等,并且調研了諸如自然語言處理、語音識別、計算機視覺、在線推薦系統、生物信息學以及視頻游戲方面的應用。最后,深度學習全書還提供了一些研究方向,涵蓋的理論主題包括線性因子模型、自編碼器、表示學習、結構化概率模型、蒙特卡羅方法、配分函數、近似推斷以及深度生成模型,適用于相關專業的大學生或研究生使用。
可以下載《深度學習》的中文版pdf和英文版直接閱讀。
《深度學習》可以說是深度學習與人工智能的入門寶典,許多算法愛好者、機器學習培訓班、互聯網企業的面試,很多都參考這本書。但本書晦澀,加上官方沒有提供代碼實現,因此某些地方較難理解。本站基于數學推導和產生原理重新描述了書中的概念,并用Python (numpy 庫為主) 復現了書本內容(推導過程和代碼實現均見pdf文件,重要部分的實現代碼也放入code文件夾中)。
然而我水平有限,但我真誠地希望這項工作可以幫助到更多人學習深度學習算法。我需要大家的建議和幫助。如果你在閱讀中遇到有誤或解釋不清的地方,希望可以匯總你的建議,提issue (最好不要一個一個地提)。如果你也想加入這項工作書寫中或有其他問題,可以聯系我的郵箱:。
寫的過程中參考了較多網上優秀的工作,所有參考資源保存在了reference.txt
文件中。
| 中文章節 | 英文章節 | 下載
(含推導與代碼實現) | | ------------ | ------------ | ------------ | | 第一章 前言 | 1 Introduction | | | 第二章 線性代數 | 2 Linear Algebra | | | 第三章 概率與信息論 | 3 Probability and Information Theory | | | 第四章 數值計算 | 4 Numerical Computation | | | 第五章 機器學習基礎 | 5 Machine Learning Basics | | | 第六章 深度前饋網絡 | 6 Deep Feedforward Networks | | | 第七章 深度學習中的正則化 | 7 Regularization for Deep Learning | | | 第八章 深度模型中的優化 | 8 Optimization for Training Deep Models | | | 第九章 卷積網絡 | 9 Convolutional Networks | | | 第十章 序列建模:循環和遞歸網絡 | 10 Sequence Modeling: Recurrent and Recursive Nets | | | 第十一章 實踐方法論 | 11 Practical Methodology | | | 第十二章 應用 | 12 Applications | | | 第十三章 線性因子模型 | 13 Linear Factor Models | | | 第十四章 自編碼器 | 14 Autoencoders | | | 第十五章 表示學習 | 15 Representation Learning | | | 第十六章 深度學習中的結構化概率模型 | 16 Structured Probabilistic Models for Deep Learning | | | 第十七章 蒙特卡羅方法 | 17 Monte Carlo Methods | | | 第十八章 直面配分函數 | 18 Confronting the Partition Function | | | 第十九章 近似推斷 | 19 Approximate Inference | | | 第二十章 深度生成模型 | 20 Deep Generative Models | |
尚未上傳的章節會在后續陸續上傳。
本文是由Terence Parr 和Jeremy Howard撰寫的《深度學習的矩陣運算》論文。我們知道,深度學習是基于線性代數和微積分的,反向傳播也離不開求導和矩陣運算,因此了解深度學習內部的數學原理也至關重要。
1.介紹
2.向量演算和偏導簡介
3.矩陣演算
雅可比定律
多元微分
向量
鏈式法則
4.損失函數求導
5.矩陣演算參考
6.符號
7.資源鏈接
本文從簡單函數求導到多元函數求偏導,再到矩陣的微積分運算,逐層深入,引導我們探索深度學習背后的學習規則與數學基礎。本文試圖解釋理解深度神經網絡的訓練所需要的所有矩陣演算,本文適用于對神經網絡基礎有所了解的人,不過即使沒有數學基礎的同學也不要緊,作者提供了相關數學知識鏈接。在文末作者提供的參考部分,總結了這里討論的所有關鍵矩陣演算規則和術語。