幾何深度學習
·
本文推薦來自Emanuele Rodolà博士講述《幾何深度學習》，100頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。 //lcsl.mit.edu/courses/regml/regml2020/
幾何深度學習
過去十年在計算機視覺研究已經見證了“深度學習”的重新崛起,特別是卷積神經網絡(CNN)技術, 它允許從大量的樣例中學習強大的圖像特征表示。CNNs在圖像分類、分割、檢測和標注等廣泛的應用中取得了性能上的突破。然而，當試圖將CNN范式應用于三維形狀、點云和圖形(基于特征的描述、相似度、對應、檢索等)時，必須面對圖像與幾何對象之間的根本差異。形狀分析、圖形分析和幾何處理帶來了圖像分析中不存在的新挑戰，而深度學習方法直到最近才開始滲透到這些領域。本教程的目的是概述非歐幾里得數據學習技術的基礎和目前的技術現狀。本教程將特別關注應用于歐氏和非歐氏流形的深度學習技術(CNN)，以完成形狀分類、檢索和對應的任務。本教程將從新的角度介紹3D計算機視覺和幾何數據處理的問題，強調與傳統2D設置的類比和區別，并展示如何適應流行的學習方案，以處理非歐幾里得結構。
付費5元查看完整內容
相關內容
機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自帝國理工學院Michael Bronstein教授講述《幾何深度學習》，166頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。
地址： //mlss.tuebingen.mpg.de/2020/schedule.html
作者介紹 Michael Bronstein，倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人，CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。
幾何深度學習
在過去的幾年，深度學習方法在多個領域取得了前所未有的成就，比如計算機視覺和語言識別。目前研究者主要將深度學習方法應用于歐氏結構數據，然而有些非常重要的應用需要處理非歐氏空間結構的數據，比如圖和流形。這些幾何數據在許多任務重的重要性越來越多高，比如3D視覺、傳感網絡、藥品研發、生物醫藥、推薦系統以及各種web程序。深度學習在這些方面的應用有著明顯的滯后，這是因為處理的對象的非歐性質使得在深層網絡中對其基本操作的定義相當麻煩。
本教程的目的是介紹幾何深度學習在圖和流形數據上的最新成果，并綜述針對這些問題的解決方法、關鍵難點和未來的研究方向。
付費5元查看完整內容
從這些令人興奮的課程中學習，讓自己沉浸在深度學習、強化學習、機器學習、計算機視覺和NLP中!!
付費5元查看完整內容
報告名稱： Geometry and Learning from Data in 3D and Beyond - Shape Analysis
報告背景： 快速的采集技術和廣泛的三維數據可用性強調了對處理和分析三維形狀的高級工具的需求。與圖像和信號處理不同，圖像和信號處理使用成熟的處理和學習工具處理平面域上的函數，三維形狀由于其不規則和弱結構而呈現出獨特的挑戰。盡管在為這些任務開發工具方面取得了驚人的進展，但在自動分析、處理和理解三維幾何圖形方面仍存在許多挑戰。特別是，機器學習的最新進展顯示了在信號和圖像處理方面的進步，而對三維形狀的處理則相對落后。本次研討會旨在將傳統的三維形狀分析與最新的學習進展相結合，讓世界領先的數學和計算機科學研究人員學習、探索、合作，并開發新的思路和研究方向。
報告大綱：
- 形狀差異和可變性
- 結構化數據問題的穩健方法
- 多管六面體網格的選擇填充
- 彈性形狀匹配：組合與直接方法
- 離散殼空間的主測地線分析
- 從非剛性空間到空空間
- 基于ADMM的功能圖與基礎設計
- 基于幾何建模和學習的非等距形狀匹配
- 學習變形形狀對應
- 利用結構隱函數學習形狀模板
- 用神經網絡分析、處理和生成三維形狀的幾何表示法
- 人工神經網絡中的幾何編碼
- 流形上的高斯過程標記
- 基于計算共形幾何的形狀分析
- 函數數據的彈性超對齊——形狀與信號
報告嘉賓：
Pierre Alliez（自動信息學研究所（INRIA）） Omri Azencot（加利福尼亞大學，洛杉磯大學（UCLA）） Mirela Ben Chen（技術-以色列理工學院） Alex Bronstein（技術-以色列理工學院） 邁克爾·布朗斯坦（倫敦帝國大學，盧加諾大學） Daniel Cremers（慕尼黑工業大學） Stanley Durrleman（AramisLab-ICM腦與脊柱研究所– INRIA – ICM神經信息學中心） 托馬斯·馮克豪斯（Google和普林斯頓大學） 顧憲峰（石溪大學） Leonidas Guibas（斯坦福大學，計算機科學） Shantanu Joshi（加利福尼亞大學，洛杉磯大學（UCLA）） Vova Kim（Adobe系統公司） Leif Kobbelt（亞琛工業大學） 賴榮杰（倫斯勒工業學院） Niloy Mitra（倫敦大學學院） Maks Ovsjanikov（高等理工學院） 赫爾穆特·波特曼（阿卜杜拉國王科技大學（KAUST）） Dan Raviv（特拉維夫大學） Emanuele Rodola（羅馬的薩皮恩扎大學） 馬丁·倫普（Martin Rumpf）（萊茵大學弗里德里希·威廉姆斯大學） Stefano Soatto（加利福尼亞大學洛杉磯分校（UCLA）） 賈斯汀·所羅門（麻省理工學院） 阿蘭·特勞夫（écoleNormaleSupérieurede Cachan）
付費5元查看完整內容
報告名稱： Geometry and Learning from Data in 3D and Beyond - Geometric Processing
報告背景：
在過去的幾十年中，將數據作為屬于幾何流形或更一般的非線性度量空間的樣本來處理已經變得很普遍。隨著計算機能力的提高，這為新的采集和表示方法以及新的數據處理技術開辟了道路；導致了非常具有挑戰性的理論和實踐問題，這些問題需要微分幾何和度量幾何、優化、偏微分方程、隨機分析和計算機科學之間的相互作用。本次研討會旨在匯集這些領域的頂尖專家和年輕研究人員，交流想法，創造協同效應，并加強當前和概述未來的研究方向。
報告大綱： -歐拉彈性模型的新算子分裂方法 -量值變分圖像處理 -旋轉總變化量 -差異內核的傅立葉展開 -樹狀形狀空間
- 注冊零類曲面
- 超越歐式高斯定律：在基于黎曼特征編碼的分類任務中的應用。
- 非歐空間上PCA類分析的極限定理
- 計算解剖學的幾何統計-概述和最新進展
- 離散曲率函數-應用程序和挑戰
- 各向異性指標的快速行進方法
- 受離散測地線啟發的流形圖像在圖像空間中的變形
- 計算擬形折疊
- 葉形彈性演化模型
- 黎曼流形的非光滑優化和流形值數據處理
- 3D變形模型
- 表面重建的深層幾何先驗
- 點云上曲面近似和曲率估計的一種變線方法
報告嘉賓：
Sophie Achard（國家科學研究中心（CNRS）） 羅尼·伯格曼（Chemnitz TechnischeUniversit?t） MarceloBertalmío（龐貝法布拉大學） Yannick Berthoumieu（波爾多大學） 瓊·布魯納（紐約大學） Blanche Buet（巴黎十一大學） David Coeurjolly（里昂大學CNRS） 基南·克蘭（基恩·梅隆大學） Bernhard Egger（麻省理工學院） 馬丁·埃勒（維也納大學） Stephan Huckemann（哥廷根喬治·奧古斯特大學） Misha Kazhdan（約翰·霍普金斯大學） 羅恩·金梅爾（Ron Kimmel）（技術-以色列理工學院，英特爾感知計算） 弗朗索瓦·勞茲（哥本哈根大學） Jan Lellmann（呂貝克大學） 林力恒（芝加哥大學） Ronald Lok Ming Li（香港中文大學數學系） Jean-Marie Mirebeau（奧賽大學） 塞巴斯蒂安·紐馬耶（Sebastian Neumayer）（凱撒斯勞滕大學，數學） Xavier Pennec（國家研究和信息學自動機研究所（INRIA），Epidaure項目） Thomas Pock（格拉茲技術大學，計算機圖形學與視覺研究所） ChristophSchn?rr（海德堡大學） 泰學成（卑爾根大學數學系） 馬克斯·沃德茨基（Max Wardetzky）（哥廷根喬治·奧古斯特大學） Benedikt Wirth（威斯特伐利亞威廉姆斯明斯特大學） 洛朗·尤恩斯（約翰·霍普金斯大學） Stefanos Zafeiriou（帝國大學）
付費5元查看完整內容
報告名稱： Deep Geometric Learning of Big Data and Applications
報告摘要： 深度學習技術在計算機視覺，自然語言處理和語音分析方面取得了令人印象深刻的性能。這些任務專注于位于歐幾里得域上的數據，并且針對這些域的數學工具（例如卷積，下采樣，多尺度和局部性）已得到明確定義，并受益于GPU等快速計算硬件。但是，許多基本數據和任務都涉及非歐幾里德領域，而這些領域最初并不是為深度學習方法設計的。例如計算機圖形學中的3D點云和3D形狀，大腦結構連接網絡中的功能性MRI信號，基因組學中基因調控網絡的DNA，量子化學中的藥物設計，高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域，例如圖形和流形。卷積，粗化，多分辨率，因果關系等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。
該研討會的目標是：1）召集數學家，機器學習科學家和領域專家，以建立這些新興技術的現狀； 2）討論用于分析這些新的深度學習技術的框架； 3）確立新的研究方向以及這些技術在神經科學，社會科學，計算機視覺，自然語言處理，物理學，化學中的應用，以及4）討論了GPU以外的適用于非歐幾里德領域的新計算機處理體系結構。
邀請嘉賓： Jure Leskovec，斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 調查的問題是由大規模數據，網絡和在線媒體引起的。
Stanley Osher，加州大學洛杉磯分校 IPAM 數學與計算機科學教授，電氣工程與化學和生物分子工程教授。
報告部分大綱：
- 自動微分，PyTorch和圖形神經網絡
- 深度學習作為稀疏性強制算法
- 語義3D重建
- 高維幾何的視角
- 穩健性與準確性
- 異質分子結構定位中的逆問題和無監督學習
付費5元查看完整內容
課程介紹：
深度學習正在改變人工智能領域，但缺乏扎實的理論基礎。這種事務狀態極大地阻礙了進一步的發展，例如耗時的超參數優化或對抗性機器學習中遇到的非凡困難。我們為期三天的研討會基于我們確定為當前的主要瓶頸：了解深度神經網絡的幾何結構。這個問題是數學，計算機科學和實用機器學習的融合。我們邀請這些領域的領導者加強新的合作，并為深度學習的奧秘尋找新的攻擊角度。
主講人：
Peter Bartlett，加州大學伯克利分校教授，工作于計算機科學和統計部門、伯克利人工智能研究實驗室、西蒙斯計算理論研究所。
Leon Bottou，一名研究科學家，對機器學習和人工智能有著廣泛的興趣。近年來，在大規模學習和隨機梯度算法方面的工作受到了廣泛的關注。他也以DjVu文件壓縮系統而聞名，于2015年3月加入Facebook人工智能研究。
Anna Gilbert，在芝加哥大學獲得理學學士學位，在普林斯頓大學獲得數學博士學位；1997年，是耶魯大學和at&T實驗室研究所的博士后研究員。1998年至2004年，她是新澤西州弗洛勒姆公園at&T實驗室研究部的技術人員。從那以后，她一直在密歇根大學數學系工作，現在是那里的一名教授。
Piotr Indyk，電氣工程和計算機科學系的托馬斯D.和弗吉尼亞W.卡伯特教授。計算機科學與人工智能實驗室，無線麻省理工學院，大數據學院和MIFODS計算組的成員。興趣方向：高維計算幾何（包括近似最近鄰搜索）、數據流算法、稀疏恢復、壓縮感知、機器學習。
S. T. Yau，中國科學院數學科學研究所所長，哈佛大學數學系教授。感興趣的領域：微分幾何，微分方程和數學物理。
付費5元查看完整內容
Metric learning learns a metric function from training data to calculate the similarity or distance between samples. From the perspective of feature learning, metric learning essentially learns a new feature space by feature transformation (e.g., Mahalanobis distance metric). However, traditional metric learning algorithms are shallow, which just learn one metric space (feature transformation). Can we further learn a better metric space from the learnt metric space? In other words, can we learn metric progressively and nonlinearly like deep learning by just using the existing metric learning algorithms? To this end, we present a hierarchical metric learning scheme and implement an online deep metric learning framework, namely ODML. Specifically, we take one online metric learning algorithm as a metric layer, followed by a nonlinear layer (i.e., ReLU), and then stack these layers modelled after the deep learning. The proposed ODML enjoys some nice properties, indeed can learn metric progressively and performs superiorly on some datasets. Various experiments with different settings have been conducted to verify these properties of the proposed ODML.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191