本課程涉及深度學習和表示學習的最新技術,重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網,并應用于計算機視覺、自然語言理解和語音識別。
● Course public folder: bit.ly/DLSP20.
● Class material available
● Piazza Q&A interface available here. Sign-up token: DLSP20.
Yann LeCun(//www.zhuanzhi.ai/topic/20021)
在人工智能研究領域,Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公認為深度學習三巨頭,一起獲得2018年圖靈獎。
Yann LeCun,自稱中文名“楊立昆”,計算機科學家,被譽為“卷積網絡之父”,為卷積神經網絡(CNN,Convolutional Neural Networks)和圖像識別領域做出了重要貢獻,以手寫字體識別、圖像壓縮和人工智能硬件等主題發表過 190 多份論文,研發了很多關于深度學習的項目,并且擁有14項相關的美國專利。他同Léon Bottou和Patrick Haffner等人一起創建了DjVu圖像壓縮技術,同Léon Bottou一起開發了一種開源的Lush語言,比Matlab功能還要強大,并且也是一位Lisp高手。(Backpropagation,簡稱BP)反向傳播這種現階段常用來訓練人工神經網絡的算法,就是 LeCun 和其老師“神經網絡之父”Geoffrey Hinton 等科學家于 20 世紀 80 年代中期提出的,而后 LeCun 在貝爾實驗室將 BP 應用于卷積神經網絡中,并將其實用化,推廣到各種圖像相關任務中。
本課程涉及深度學習和表示學習的最新技術,重點是有監督和無監督的深度學習、嵌入方法、度量學習、卷積網和遞歸網,并應用于計算機視覺、自然語言理解和語音識別。
第五講:
第六講:
第七講:
報告主題: Energy-Based Self-Supervised Learning
報告摘要:
在監督或多任務學習中,將不會獲得像人類一樣可以泛化的智能。監督學習是有效的,但需要許多帶標簽的樣本,通過舉例而不是編程來訓練機器,當輸出錯誤時,調整機器的參數。在整個領域中可能需要在基于能量的學習方法上做更多的工作,能量函數在AI領域已經存在數十年了,無需創建大量帶有標簽的數據集,也不用花費數千個小時訓練模型,而只是獲取一些豐富的原始數據,讓機器變得足夠大,由此可以訓練機器預測,預測與現實之間的兼容性就是所謂的能級。能量越少越好,更兼容、更準確,因此神經網絡需要努力達到理想的低能量狀態。
嘉賓介紹:
Yann Lecun是一位法裔美國計算機科學家,主要研究領域為機器學習、計算機視覺、移動機器人和計算神經科學。他是紐約大學Courant數學科學研究所的銀牌教授,也是Facebook的副總裁兼首席人工智能科學家。他以研究卷積神經網絡(CNN)的光學字符識別和計算機視覺而聞名,是卷積網絡的創始人之一。他也是DjVu圖像壓縮技術的主要創建者之一(與Leon Bottou和Patrick Haffner一起)。他與Leon Bottou共同開發了Lush編程語言。他是2018年ACM A.M.的聯合獲獎者因為他在深度學習方面的工作獲得了圖靈獎。
課程簡介
Geoffrey Hinton《神經網絡機器學習》經典課程共有16節,基本涵蓋了神經網絡相關的各個知識點,包括神經網絡、神經元模型、感知機、反向傳播算法等,雖然課程中有些算法已經過時,但其中的理論基礎仍然在為今天的各類主流算法提供著可靠的支持,對于算法研究者來說,有助于加深對這一領域的理解,并對未來的研究方向起到一定的借鑒意義。
課程講師:Geoffrey Hinton
講師簡介
Geoffrey Hinton,被稱為“神經網絡之父”、“深度學習鼻祖”,他曾獲得愛丁堡大學人工智能的博士學位,并且為多倫多大學的特聘教授。在2012年,Hinton還獲得了加拿大基廉獎(Killam Prizes,有“加拿大諾貝爾獎”之稱的國家最高科學獎)。2013年,Hinton 加入谷歌并帶領一個AI團隊,他將神經網絡帶入到研究與應用的熱潮,將“深度學習”從邊緣課題變成了谷歌等互聯網巨頭仰賴的核心技術,并將反向傳播算法應用到神經網絡與深度學習。
個人主頁:
Geoffrey Hinton://www.cs.toronto.edu/~hinton/