機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自法國INRIA Francis Bach研究員述《大規模機器學習優化》,177頁ppt系統性講述了大規模機器學習優化算法,非常干貨。
Francis Bach 先生是INRIA(法國國家信息與自動化研究所)的研究員,自2011年起領導SIERRA項目團隊(該團隊是Ecole Normale Supérieure計算機科學系的一部分,也是CNRS、ENS和INRIA的聯合團隊)。自2016年起,成為Ecole Normale Supérieure的兼職教授。在伯克利大學完成了計算機科學博士學位,與邁克爾·喬丹教授合作,在巴黎礦業大學數學形態學組工作了兩年,然后從2007年到2010年加入了INRIA/Ecole Normale Superieure/CNRS的WILLOW項目組。從2009年到2014年,負責ERC項目SIERRA。對統計機器學習很感興趣,特別是在圖形模型、稀疏方法、基于核的學習、凸優化視覺和信號處理方面。
Optimization for Large Scale Machine Learning
機器學習是數學、計算機科學和工程相結合的一個快速發展的領域,它為計算機提供了無需明確編程就能進行學習的能力,以便做出預測或采取理性行動。從癌癥研究到金融、自然語言處理、市場營銷或自動駕駛汽車,如今許多領域都受到了機器學習算法近期進展的影響。機器學習算法得益于收集大量數據并從中“學習”的能力。
本報告概述了監督機器學習、面向凸優化的快速隨機梯度方法、更多超越凸優化的問題。
//www.math.arizona.edu/~hzhang/math574.html
隨著信息技術的飛速發展,在各個領域產生了大量的科學和商業數據。例如,人類基因組數據庫項目已經收集了千兆字節的人類遺傳密碼數據。萬維網提供了另一個例子,它擁有由數百萬人使用的文本和多媒體信息組成的數十億Web頁面。
本課程涵蓋了現代數據科學技術,包括基本的統計學習理論及其應用。將介紹各種數據挖掘方法、算法和軟件工具,重點在概念和計算方面。將涵蓋生物信息學、基因組學、文本挖掘、社交網絡等方面的應用。
本課程著重于現代機器學習的統計分析、方法論和理論。它是為學生誰想要實踐先進的機器學習工具和算法,也了解理論原理和統計性質的算法。主題包括回歸、分類、聚類、降維和高維分析。
機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自DeepMind Doina Precup博士講述《深度強化學習》,165頁ppt系統性講述了深度強化學習基礎知識和最新進展,非常干貨。
地址: //mlss.tuebingen.mpg.de/2020/schedule.html
作者介紹:
Doina Precup,McGill University計算機系副教授。
貝葉斯推斷
視頻地址:
機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自DeepMind Shakir Mohamed博士講述《貝葉斯推斷》,125頁ppt系統性講述了貝葉斯推斷基礎知識和最新進展,非常干貨。
地址: //mlss.tuebingen.mpg.de/2020/schedule.html
作者介紹:
Shakir Mohamed,統計機器學習和人工智能的研究科學家。
貝葉斯推斷
機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自帝國理工學院Michael Bronstein教授講述《幾何深度學習》,166頁ppt系統性講述了幾何深度學習基礎知識和最新進展,非常干貨。
地址: //mlss.tuebingen.mpg.de/2020/schedule.html
作者介紹 Michael Bronstein,倫敦帝國理工學院教授,Twitter 圖機器學習研究負責人,CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。
幾何深度學習
在過去的幾年,深度學習方法在多個領域取得了前所未有的成就,比如計算機視覺和語言識別。目前研究者主要將深度學習方法應用于歐氏結構數據,然而有些非常重要的應用需要處理非歐氏空間結構的數據,比如圖和流形。這些幾何數據在許多任務重的重要性越來越多高,比如3D視覺、傳感網絡、藥品研發、生物醫藥、推薦系統以及各種web程序。深度學習在這些方面的應用有著明顯的滯后,這是因為處理的對象的非歐性質使得在深層網絡中對其基本操作的定義相當麻煩。
本教程的目的是介紹幾何深度學習在圖和流形數據上的最新成果,并綜述針對這些問題的解決方法、關鍵難點和未來的研究方向。
機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自牛津大學Yee Whye Teh教授講述《元學習》,165頁ppt系統性講述了元學習基礎知識和最新進展,非常干貨。
地址: //mlss.tuebingen.mpg.de/2020/schedule.html
作者介紹
Yee Whye Teh是牛津大學統計學系的統計機器學習教授,也是DeepMind研究人工智能的科學家。他在多倫多大學(Geoffrey E. Hinton教授)獲得博士學位,并在加州大學伯克利分校(Michael I. Jordan教授)和新加坡國立大學(Lee Kuan Yew博士后研究員)從事博士后工作。在進入牛津大學和DeepMind之前,他是一名講師,后來在倫敦大學學院(UCL)蓋茨比計算神經科學單元(Gatsby computing Neuroscience Unit)擔任讀者。他計劃聯合主席(Michael Titterington教授)人工智能國際會議和統計(AISTATS) 2010年,項目主持國際會議(Precup試圖教授)在2017年機器學習(ICML),和am /貝葉斯分析的副主編,IEEE模式分析與機器智能,機器學習日報,統計科學,英國皇家統計學會期刊B輯和機器學習研究期刊。他曾多次擔任NIPS、ICML和AISTATS的區域主席。他的研究興趣橫跨機器學習和計算統計學,包括概率方法、貝葉斯非參數學和深度學習。他開發了新穎的模型以及高效的推理和學習算法。
機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自米蘭Sonia Petrone教授講述《流數據貝葉斯預測》,177頁ppt系統性講述了貝葉斯預測,非常干貨。
地址:
【導讀】機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自德國人工智能教授 Bernhard Sch?lkopf教授講述《因果性》,177頁ppt系統性講述了機器學習中的因果性,非常干貨。
由Judea Pearl開創的圖因果推理起源于人工智能(AI)的研究,在很長一段時間內與機器學習領域幾乎沒有聯系。本文認為,機器學習和人工智能的硬開放問題本質上與因果關系有關,并解釋了該領域是如何開始理解它們的。
近年來,機器學習社區對因果關系的興趣顯著增加。我對因果關系的理解是由Judea Pearl和許多合作者和同事所啟發的,其中的大部分內容來自與Dominik Janzing和Jonas Peters合著的一本書(Peters et al., 2017)。我已經在各種場合談論過這個話題,其中一些正在進入機器學習的主流,特別是因果建模可以提升機器學習模型的魯棒性。因果性和機器學習的交叉的發展令人興奮。這篇報告不僅能夠對討論因果思維對AI的重要性有所幫助,而且還可以為機器學習的觀眾介紹一些圖或結構因果模型的相關概念。
盡管最近取得了諸多成功,但如果我們將機器學習的能力與動物的能力進行比較,我們會發現,在一些動物擅長的關鍵技能上,前者相當糟糕。這包括遷移到新問題,任何形式的泛化,不是從一個數據點到下一個從相同的分布(采樣),而是從一個問題到下一個——都被稱為泛化。這個缺點并不是太令人吃驚,因為機器學習經常忽略生物大量使用的信息: 世界干預、領域遷移、時間結構。最后,機器學習也不擅長思考,在康拉德洛倫茨的意義上,即,在想象的空間中行動。我認為,因果性關注建模和推理,可以對理解和解決這些問題做出實質性的貢獻,從而將該領域帶入下一個層次。
視頻: //www.youtube.com/watch?v=btmJtThWmhA&feature=youtu.be
目錄內容:
【導讀】機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自米蘭大學Nicoló Cesa-Bianchi教授講述《統計學習理論》,非常干貨,包括:
課程介紹
在人工智能、統計學、計算機系統、計算機視覺、自然語言處理和計算生物學等許多領域中的問題,都可以被視為從局部信息中尋找一致的全局結論。概率圖模型框架為這些普遍問題提供了統一的視角解決方案,支持在具有大量屬性和龐大數據集的問題中進行有效的推理、決策和學習。本研究生課程將為您運用圖模型到復雜的問題和解決圖模型的核心研究課題提供堅實的基礎。
課程大綱
講師:邢波
講師簡介
邢波,卡耐基梅隆大學教授,曾于2014年擔任國際機器學習大會(ICML)主席。主要研究興趣集中在機器學習和統計學習方法論及理論的發展,和大規模計算系統和架構的開發。他創辦了Petuum 公司,這是一家專注于人工智能和機器學習的解決方案研發的公司,騰訊曾投資了這家公司。
個人主頁: