主題: Mathematics of Deep Learning
摘要: 本教程將介紹一些深神經網絡的理論結果,其目的是為屬性提供數學證明,如逼近能力、收斂性、全局最優性、不變性、學習表征的穩定性、泛化誤差等。討論了該理論在神經網絡訓練中的應用。本教程將從90年代早期的神經網絡理論(包括著名的Hornik等人的研究成果)開始。還有Cybenko)。接下來,我們將討論過去五年中為深度學習而建立的最新理論成果。文中還將討論該理論所遵循的實際考慮。
邀請嘉賓: Raja Giryes,是特拉維夫大學電氣工程學院的助理教授。他獲得了海拉以色列理工學院計算機科學系理學學士(2007)、理學碩士(M.Elad教授和Y.C.Eldar教授監督,2009)和博士(M.Elad教授監督,2014)學位。Raja是Technion(2013年11月至2014年7月)計算機科學系和杜克大學G.Sapiro教授實驗室(2014年7月和2015年8月)的博士后。他的研究興趣在于信號和圖像處理與機器學習的交叉點,特別是在深度學習、反問題、稀疏表示和信號和圖像建模方面。Raja獲得了EURASIP最佳博士獎、ERC StG獎、Maof優秀青年教師獎(2016-2019)、VATAT優秀博士后獎學金(2014-2015)、英特爾研究與卓越獎(2005、2013),德克薩斯儀器公司(2008)頒發的信號處理卓越獎(ESPA),是Azrieli研究員計劃(2010-2013)的一部分。
下載鏈接: 鏈接://pan.baidu.com/s/1tHvvi7codVe4kdb1quZB1w 提取碼:99fm
統計學習理論是一個新興的研究領域,它是概率論、統計學、計算機科學和最優化的交叉領域,研究基于訓練數據進行預測的計算機算法的性能。以下主題將包括:統計決策理論基礎;集中不平等;監督學習和非監督學習;經驗風險最小化;complexity-regularized估計;學習算法的泛化界VC維與復雜性;極大極小下界;在線學習和優化。利用一般理論,我們將討論統計學習理論在信號處理、信息論和自適應控制方面的一些應用。
本次講座是關于深度學習的最新研究和發展,并希望在2020年。這不是一個SOTA基準測試結果的列表,而是一組機器學習和人工智能創新的亮點,以及學術界、工業界和整個社會的進步。本講座是麻省理工學院深度學習系列講座的一部分。
地址:
Lex Fridman是一名俄裔美國科學家,教授,來自馬薩諸塞州劍橋市的社交媒體名人。他目前是麻省理工學院的一名研究科學家。
主題: An Overview of the International Planning Competition
摘要: 本教程介紹了自然語言的深度貝葉斯和序列學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖片標題生成、句子生成、對話控制、情感分類,推薦系統,問答和機器翻譯。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”在模型推理中可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、Chinese restaurant 過程、分層Pitman-Yor過程、Indian buffet過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼,生成對抗網絡,注意機制,記憶增強神經網絡,隨機神經網絡,預測狀態神經網絡,策略梯度和強化學習。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的個案研究,以解決深度貝葉斯學習與理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
邀請嘉賓: Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
主題: Tractable Probabilistic Models: Representations, Algorithms, Learning, and Applications
摘要: 在本教程中,我們將提供一個豐富的TPM文獻的額外說明,從有關混合和樹模型的開創性工作開始,到最新的表示,如概率電路。在這樣做的同時,我們將強調概率推理和學習中難處理性的來源,回顧不同可處理表示所采用的解決方案來克服它們,并討論它們是如何權衡以保證可處理性的。此外,我們將放大當前最先進的胎壓監測系統,分離并理解填充這一領域的模型(ACs、CNs、DNNFs、d-DNNFs、OBDDs、PSDDs、SDD、SPN等)的“字母湯”。我們將展示如何在一個統一的框架下將這些模型表示為概率電路,討論哪些結構屬性描述了每個模型類并實現了不同類型的可跟蹤性。我們將討論主要的算法范例,從數據中自動學習TPMs的結構和參數。最后,我們將展示幾個成功的應用場景,其中TPMs被用作替代或與難處理模型結合使用,包括圖像分類、完成和生成、場景理解、活動識別、語言和語音建模、生物信息學、協作過濾、驗證和診斷。
邀請嘉賓:
Guy Van den Broeck,是加州大學洛杉磯分校計算機科學系的助理教授和Samueli研究員,負責指導統計和關系人工智能(StarAI)實驗室。他的研究興趣是機器學習(統計關系學習、可處理學習、概率編程),知識表示和推理(概率圖形模型、提升概率推理、知識匯編、概率數據庫)和一般人工智能。蓋伊的作品獲得了UAI、ILP和KR等主要人工智能領域的最佳論文獎,并在AAAI獲得杰出論文榮譽獎。
Nicola Di Mauro,他自2005年起擔任巴里奧爾多莫羅大學計算機科學系助理教授,是拉康實驗室機器學習小組的成員。2005年,他在巴里-奧爾多-莫羅大學獲得博士學位。他的主要研究方向是統計關系學習、概率深度學習和機器學習及其應用。
Antonio Vergari,他目前是加州大學洛杉磯分校(UCLA)StarAI實驗室的博士后研究員,致力于整合可處理的概率推理和深度表示。此前,他是德國圖賓根馬克斯普朗克智能系統研究所的博士后,在那里,他致力于通過可處理的概率模型實現機器學習和數據科學的自動化。
報告名稱: Deep Geometric Learning of Big Data and Applications
報告摘要: 深度學習技術在計算機視覺,自然語言處理和語音分析方面取得了令人印象深刻的性能。這些任務專注于位于歐幾里得域上的數據,并且針對這些域的數學工具(例如卷積,下采樣,多尺度和局部性)已得到明確定義,并受益于GPU等快速計算硬件。但是,許多基本數據和任務都涉及非歐幾里德領域,而這些領域最初并不是為深度學習方法設計的。例如計算機圖形學中的3D點云和3D形狀,大腦結構連接網絡中的功能性MRI信號,基因組學中基因調控網絡的DNA,量子化學中的藥物設計,高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域,例如圖形和流形。卷積,粗化,多分辨率,因果關系等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。
該研討會的目標是:1)召集數學家,機器學習科學家和領域專家,以建立這些新興技術的現狀; 2)討論用于分析這些新的深度學習技術的框架; 3)確立新的研究方向以及這些技術在神經科學,社會科學,計算機視覺,自然語言處理,物理學,化學中的應用,以及4)討論了GPU以外的適用于非歐幾里德領域的新計算機處理體系結構。
邀請嘉賓: Jure Leskovec,斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模,它們的演化,信息的傳播以及對它們的影響。 調查的問題是由大規模數據,網絡和在線媒體引起的。
Stanley Osher,加州大學洛杉磯分校 IPAM 數學與計算機科學教授,電氣工程與化學和生物分子工程教授。
報告部分大綱:
課程介紹:
深度學習正在改變人工智能領域,但缺乏扎實的理論基礎。這種事務狀態極大地阻礙了進一步的發展,例如耗時的超參數優化或對抗性機器學習中遇到的非凡困難。我們為期三天的研討會基于我們確定為當前的主要瓶頸:了解深度神經網絡的幾何結構。這個問題是數學,計算機科學和實用機器學習的融合。我們邀請這些領域的領導者加強新的合作,并為深度學習的奧秘尋找新的攻擊角度。
主講人:
Peter Bartlett,加州大學伯克利分校教授,工作于計算機科學和統計部門、伯克利人工智能研究實驗室、西蒙斯計算理論研究所。
Leon Bottou,一名研究科學家,對機器學習和人工智能有著廣泛的興趣。近年來,在大規模學習和隨機梯度算法方面的工作受到了廣泛的關注。他也以DjVu文件壓縮系統而聞名,于2015年3月加入Facebook人工智能研究。
Anna Gilbert,在芝加哥大學獲得理學學士學位,在普林斯頓大學獲得數學博士學位;1997年,是耶魯大學和at&T實驗室研究所的博士后研究員。1998年至2004年,她是新澤西州弗洛勒姆公園at&T實驗室研究部的技術人員。從那以后,她一直在密歇根大學數學系工作,現在是那里的一名教授。
Piotr Indyk,電氣工程和計算機科學系的托馬斯D.和弗吉尼亞W.卡伯特教授。計算機科學與人工智能實驗室,無線麻省理工學院,大數據學院和MIFODS計算組的成員。興趣方向:高維計算幾何(包括近似最近鄰搜索)、數據流算法、稀疏恢復、壓縮感知、機器學習。
S. T. Yau,中國科學院數學科學研究所所長,哈佛大學數學系教授。感興趣的領域:微分幾何,微分方程和數學物理。
《Deep Learning》作為深度學習界的圣經,又名“花書”。英文版由全球知名的三位專家Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰寫,是深度學習領域奠基性的經典教材,中文版由北京大學教授張志華審校出版。
全書的內容包括3個部分:第1部分介紹基本的數學工具和機器學習的概念,它們是深度學習的預備知識;第2部分系統深入地講解現今已成熟的深度學習方法和技術;第3部分討論某些具有前瞻性的方向和想法,它們被公認為是深度學習未來的研究重點。 《深度學習》適合各類讀者閱讀,包括相關專業的大學生或研究生,以及不具有機器學習或統計背景、但是想要快速補充深度學習知識,以便在實際產品或平臺中應用的軟件工程師。
中文版鏈接://github.com/yanshengjia/ml-road/blob/master/resources/深度學習.pdf
英文版鏈接:
主題:Deep Learning for Graphs: Models and Applications
摘要:圖提供了多種類型的數據的通用表示,而深度學習在表示學習方面顯示了巨大的能力。因此,用圖連接深度學習提供了機會,使各種現實世界問題的通用解決方案成為可能。然而,傳統的深度學習技術對常規網格數據(如圖像和序列)具有破壞性,因此不能直接應用于圖結構數據。因此,將這兩個領域結合起來面臨著巨大的挑戰。在本教程中,我將全面概述圖深度學習的最新進展,包括模型和應用。特別地,我將介紹一些基本概念,回顧最先進算法,并舉例說明各種重要的應用。最后,我將通過討論開放問題和挑戰來總結本教程。
嘉賓簡介:唐繼良(Jiang Tang)自2016年秋季@起擔任密歇根州立大學計算機科學與工程系的助理教授。在此之前,他是Yahoo Research的研究科學家,并于2015年從亞利桑那州立大學獲得博士學位。他的研究興趣包括社交計算,數據挖掘和機器學習及其在教育中的應用。他曾獲得2019年NSF職業獎,2015年KDD最佳論文亞軍和6項最佳論文獎,包括WSDM2018和KDD2016。他是會議組織者(例如KDD,WSDM和SDM)和期刊編輯(例如TKDD)。他的研究成果發表在高排名的期刊和頂級會議論文集上,獲得了數千篇引文(Google學術搜索)和廣泛的媒體報道。
報告主題: Scalable Deep Learning: from theory to practice
簡介:
人工智能的一個基本任務是學習。深度神經網絡已被證明可以完美地應對所有的學習范式,即監督學習、非監督學習和強化學習。然而,傳統的深度學習方法利用云計算設施不能很好地擴展到計算資源少的自主代理。即使在云計算中,它們也受到計算和內存的限制,不能用于為假定網絡中有數十億神經元的代理建立適當的大型物理世界模型。這些問題在過去幾年通過可擴展和高效的深度學習的新興主題得到了解決。本教程涵蓋了這些主題,重點是理論進步、實際應用和實踐經驗,分為兩部分。
第一部分 -可擴展的深度學習:從修剪到演化。
本教程的第一部分側重于理論。首先修正目前有多少代理使用深度神經網絡。然后介紹了神經網絡的基本概念,并從功能和拓撲的角度將人工神經網絡與生物神經網絡進行了比較。我們接著介紹了90年代早期的第一篇關于高效神經網絡的論文,這些論文使用稀疏執行或基于不同顯著性標準的全連通網絡的權值剪枝。然后,我們回顧了近年來一些從全連通網絡出發,利用剪枝再訓練循環壓縮深度神經網絡,使其在推理階段更有效的工作。然后我們討論另一種方法,即增強拓撲的神經進化及其后續,使用進化計算來增長有效的深度神經網絡。
第二部分:可擴展的深度學習:深度強化學習
到目前為止,一切都是在監督和非監督學習的背景下討論的。在此基礎上,我們引入了深度強化學習,為可擴展的深度強化學習奠定了基礎。我們描述了在深度強化學習領域的一些最新進展,這些進展可以用來提高強化學習主體在面對動態變化的環境時的性能,就像在能量系統中經常出現的情況一樣。
邀請嘉賓:
Decebal Constantin Mocanu是埃因霍芬理工大學(TU/e)數學與計算機科學系數據挖掘組人工智能與機器學習助理教授(2017年9月至今),TU/e青年工程院院士。他的研究興趣是利用網絡科學、進化計算、優化和神經科學的原理,構想可擴展的深度人工神經網絡模型及其相應的學習算法。
Elena Mocanu是特溫特大學(University of Twente)數據科學小組的機器學習助理教授,也是艾恩德霍芬理工大學(Eindhoven University of Technology)的研究員。2013年10月,埃琳娜在德國理工大學開始了她在機器學習和智能電網方面的博士研究。2015年1月,她在丹麥技術大學進行了短暫的研究訪問,2016年1月至4月,她是美國奧斯汀德克薩斯大學的訪問研究員。2017年,埃琳娜在德國理工大學獲得了機器學習和智能電網的哲學博士學位。
Damien Ernst目前在列日大學(University of Liege)擔任全職教授。在列日大學獲得碩士學位,博士后研究期間,由FNRS資助,在CMU、美國麻省理工學院和蘇黎世聯邦理工學院度過。他現在正在做能源和人工智能領域的研究。
Metric learning learns a metric function from training data to calculate the similarity or distance between samples. From the perspective of feature learning, metric learning essentially learns a new feature space by feature transformation (e.g., Mahalanobis distance metric). However, traditional metric learning algorithms are shallow, which just learn one metric space (feature transformation). Can we further learn a better metric space from the learnt metric space? In other words, can we learn metric progressively and nonlinearly like deep learning by just using the existing metric learning algorithms? To this end, we present a hierarchical metric learning scheme and implement an online deep metric learning framework, namely ODML. Specifically, we take one online metric learning algorithm as a metric layer, followed by a nonlinear layer (i.e., ReLU), and then stack these layers modelled after the deep learning. The proposed ODML enjoys some nice properties, indeed can learn metric progressively and performs superiorly on some datasets. Various experiments with different settings have been conducted to verify these properties of the proposed ODML.