【導讀】MIT開設的深度學習課程邀請了眾多機器學習大拿進行報告。最近,統計學習理論之父-SVM作者Vladimir Vapnik 給了關于學習統計理論的報告《Complete Statistical Theory of Learning》,介紹了統計學習一系列的基礎理論,是當下深度學習時代探究學習理論值得認真思考的部分?。?
報告地址:
【導讀】機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自米蘭大學Nicoló Cesa-Bianchi教授講述《統計學習理論》,非常干貨,包括:
【導讀】《機器學習:貝葉斯和優化的視角》是雅典大學信息學和通信系的教授Sergios Theodoridis的經典著作,對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。非常值得學習。
Sergios Theodoridis教授是雅典大學信息學和通信系的教授,香港中文大學(深圳)客座教授。他的研究領域是信號處理和機器學習。他的研究興趣是自適應算法,分布式和稀疏性感知學習,機器學習和模式識別,生物醫學應用中的信號處理和學習以及音頻處理和檢索。
他的幾本著作與合著蜚聲海內外,包括《機器學習:貝葉斯和優化的視角》以及暢銷書籍《模式識別》。他是2017年EURASIP Athanasios Papoulis獎和2014年EURASIP Meritorious Service獎的獲得者。
機器學習:貝葉斯和優化方法
本書對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。其中,經典方法包括平均/小二乘濾波、卡爾曼濾波、隨機逼近和在線學習、貝葉斯分類、決策樹、邏輯回歸和提升方法等,新趨勢包括稀疏、凸分析與優化、在線分布式算法、RKH空間學習、貝葉斯推斷、圖模型與隱馬爾可夫模型、粒子濾波、深度學習、字典學習和潛變量建模等。全書構建了一套明晰的機器學習知識體系,各章內容相對獨立,物理推理、數學建模和算法實現精準且細致,并輔以應用實例和習題。本書適合該領域的科研人員和工程師閱讀,也適合學習模式識別、統計/自適應信號處理和深度學習等課程的學生參考。
統計學習理論是一個新興的研究領域,它是概率論、統計學、計算機科學和最優化的交叉領域,研究基于訓練數據進行預測的計算機算法的性能。以下主題將包括:統計決策理論基礎;集中不平等;監督學習和非監督學習;經驗風險最小化;complexity-regularized估計;學習算法的泛化界VC維與復雜性;極大極小下界;在線學習和優化。利用一般理論,我們將討論統計學習理論在信號處理、信息論和自適應控制方面的一些應用。
本備忘單是機器學習手冊的濃縮版,包含了許多關于機器學習的經典方程和圖表,旨在幫助您快速回憶起機器學習中的知識和思想。
這個備忘單有兩個顯著的優點:
清晰的符號。數學公式使用了許多令人困惑的符號。例如,X可以是一個集合,一個隨機變量,或者一個矩陣。這是非常混亂的,使讀者很難理解數學公式的意義。本備忘單試圖規范符號的使用,所有符號都有明確的預先定義,請參見小節。
更少的思維跳躍。在許多機器學習的書籍中,作者省略了數學證明過程中的一些中間步驟,這可能會節省一些空間,但是會給讀者理解這個公式帶來困難,讀者會在中間迷失。
書籍介紹: 機器學習是一門人工智能的科學,該領域的主要研究對象是人工智能,特別是如何在經驗學習中改善具體算法的性能。機器學習是人工智能及模式識別領域的共同研究熱點,其理論和方法已被廣泛應用于解決工程應用和科學領域的復雜問題。本書從機器學習的基礎入手,分別講述了分類、排序、降維、回歸等機器學習任務,是入門機器學習的一本好書。
作者: Mehryar Mohri,是紐約大學庫蘭特數學科學研究所的計算機科學教授,也是Google Research的研究顧問。
大綱介紹:
作者主頁://cs.nyu.edu/~mohri/
課程介紹:
深度學習正在改變人工智能領域,但缺乏扎實的理論基礎。這種事務狀態極大地阻礙了進一步的發展,例如耗時的超參數優化或對抗性機器學習中遇到的非凡困難。我們為期三天的研討會基于我們確定為當前的主要瓶頸:了解深度神經網絡的幾何結構。這個問題是數學,計算機科學和實用機器學習的融合。我們邀請這些領域的領導者加強新的合作,并為深度學習的奧秘尋找新的攻擊角度。
主講人:
Peter Bartlett,加州大學伯克利分校教授,工作于計算機科學和統計部門、伯克利人工智能研究實驗室、西蒙斯計算理論研究所。
Leon Bottou,一名研究科學家,對機器學習和人工智能有著廣泛的興趣。近年來,在大規模學習和隨機梯度算法方面的工作受到了廣泛的關注。他也以DjVu文件壓縮系統而聞名,于2015年3月加入Facebook人工智能研究。
Anna Gilbert,在芝加哥大學獲得理學學士學位,在普林斯頓大學獲得數學博士學位;1997年,是耶魯大學和at&T實驗室研究所的博士后研究員。1998年至2004年,她是新澤西州弗洛勒姆公園at&T實驗室研究部的技術人員。從那以后,她一直在密歇根大學數學系工作,現在是那里的一名教授。
Piotr Indyk,電氣工程和計算機科學系的托馬斯D.和弗吉尼亞W.卡伯特教授。計算機科學與人工智能實驗室,無線麻省理工學院,大數據學院和MIFODS計算組的成員。興趣方向:高維計算幾何(包括近似最近鄰搜索)、數據流算法、稀疏恢復、壓縮感知、機器學習。
S. T. Yau,中國科學院數學科學研究所所長,哈佛大學數學系教授。感興趣的領域:微分幾何,微分方程和數學物理。
在過去的十年里,計算和信息技術突飛猛進。它帶來了醫學、生物學、金融和營銷等各個領域的大量數據。理解這些數據的挑戰導致了統計領域新工具的發展,并催生了數據挖掘、機器學習和生物信息學等新領域。許多這些工具有共同的基礎,但經常用不同的術語表示。這本書在一個共同的概念框架中描述了這些領域的重要思想。雖然方法是統計的,但重點是概念而不是數學。許多例子都給出了,與自由使用彩色圖形。它應該是統計學家和任何對科學或工業數據挖掘感興趣的人的寶貴資源。這本書的覆蓋面很廣,從監督學習(預測)到非監督學習。許多主題包括神經網絡、支持向量機、分類樹和增強——這是任何一本書中對這個主題的首次全面論述。這個主要的新版本的特點,許多主題不包括在原來的,包括圖形模型,隨機森林,集成方法,最小角度回歸和用于lasso的路徑算法、非負矩陣分解和譜聚類。還有一章是關于“寬”數據的方法(p大于n),包括多重測試和錯誤發現率。Trevor Hastie、Robert Tibshirani和Jerome Friedman是斯坦福大學的統計學教授。他們是這一領域的杰出研究人員:Hastie和Tibshirani開發了廣義可加性模型,并就此寫了一本很受歡迎的書。Hastie在S-PLUS中編寫了大量的統計建模軟件,并發明了主曲線和曲面。Tibshirani提出了Lasso,并且是非常成功的Bootstrap介紹的合著者。弗里德曼是許多數據挖掘工具的共同發明者,包括CART、MARS和投影追蹤。
【北京郵電大學】機器學習在材料科學中的應用綜述,Machine learning in materials science //onlinelibrary.wiley.com/doi/pdf/10.1002/inf2.12028