在將近兩千年的時間里，“幾何學”一詞一直是歐幾里得幾何學的同義詞，因為沒有其他類型的幾何學存在。歐幾里得的壟斷地位在19世紀結束了，許多非歐幾里得幾何學的例子被展示出來。盡管如此，這些研究很快就分化成不同的領域，數學家們爭論不同幾何形狀之間的關系和定義一個幾何的是什么。菲利克斯·克萊因在他的Erlangen程序中提出了一種擺脫困境的方法，該程序提出將幾何學作為使用群論語言研究不變量或對稱性的方法。在20世紀，這些思想是發展現代物理學的基礎，最終形成了標準模型。
深度學習目前的狀態有點像19世紀的幾何學領域:一方面，在過去十年中，深度學習給數據科學帶來了一場革命，使許多以前被認為無法完成的任務成為可能，包括計算機視覺、圍棋或蛋白質折疊。同時，我們有各種各樣的神經網絡架構，但很少有統一的原則。就像過去一樣，很難理解不同方法之間的關系，不可避免地導致了對相同概念的再創造和再品牌。
幾何深度學習的目標是在Erlangen計劃的思想下為深度學習帶來幾何統一。它提供了一個共同的數學框架來研究最成功的神經網絡架構，如CNNs、RNNs、GNNs和transformer，并提供了一個建設性的過程來將先前的知識融入到神經網絡中，并以一種原則性的方式構建未來的架構。
在這次演講中，我將概述幾何深度學習在網格、圖形和流形上的數學原理，并展示這些方法在計算機視覺、社會科學、生物學和藥物設計領域的一些令人興奮和開創性的應用。
付費5元查看完整內容
相關內容
【導讀】幾何深度學習是當下的研究熱點。關于GNN類有何進展？最近斯坦福CS224W課程上，來自DeepMind大牛Petar Veli?kovi?進行了關于幾何深度學習報告，講述幾何深度學習下GNN的相關特性，值得學習!
幾何深度學習的目標是在Erlangen項目的精神下將幾何統一引入深度學習。它提供了一個共同的數學框架來研究最成功的神經網絡架構，如CNNs、RNNs、GNNs和transformer，并提供了一個建設性的過程來將先前的知識融入到神經網絡中，并以一種原理性的方式構建未來的架構。
報告目錄內容：
1 高維空間學習難度 Learning in high dimensions is hard
2 對稱，群組和不變性，Symmetries, Groups and Invariances
3 幾何深度學習藍圖 The Blueprint of Geometric Deep Learning
4 及和深度學習5G。The “5G” of Geometric Deep Learning
5 圖神經網絡的幾何深度視角 Geometric DL Perspective on Graph Neural Networks
6 排列等變換是GNN Permutation equivariant NNs are GNNs
7 The Fourier connection: CNNs and Spectral GNNs
8 The Group connection: Spherical CNNs
9 Geometric Graphs, Geodesics and Gauges
A Further resources
付費5元查看完整內容
【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關于幾何深度學習系統性總結的書，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注！
重磅！《幾何深度學習》新書發布，帝國理工/DeepMind等圖ML大牛共同撰寫，160頁pdf闡述幾何DL基礎原理和統一框架
作為非洲機器智能碩士課程(AMMI 2021)的一部分，我們提供了一門關于幾何深度學習(GDL100)的課程，它緊跟我們的GDL原型書的內容。我們使所有的材料和課件從這門課程公開可用，作為我們的原型書的同伴材料，以及一種方式深入到一些內容的未來迭代的書。
幾何深度學習是從對稱性和不變性的角度對廣泛的ML問題進行幾何統一的嘗試。這些原理不僅是卷積神經網絡的突破性性能和圖神經網絡的近期成功的基礎，而且還為構造新型的特定于問題的歸納偏差提供了一種有原則的方法。
深度（表示）學習領域的現狀讓我們想起了19世紀的幾何情況：一方面，在過去的十年中，深度學習在數據科學領域帶來了一場革命， 以前認為可能無法完成的許多任務-無論是計算機視覺，語音識別，自然語言翻譯還是alpha Go。另一方面，我們現在擁有一個針對不同類型數據的不同神經網絡體系結構的動物園，但統一原理很少。結果，很難理解不同方法之間的關系，這不可避免地導致相同概念的重新發明。
幾何深度學習是我們在[5]中引入的總稱，指的是最近提出的ML幾何統一的嘗試，類似于Klein的Erlangen計劃。它有兩個目的：首先，提供一個通用的數學框架以推導最成功的神經網絡體系結構；其次，給出一個建設性的程序，以有原則的方式構建未來的體系結構。
付費5元查看完整內容
【導讀】幾何深度學習是當下的研究熱點。如何進行深度理解？ICLR2021大會上，來自倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人Michael Bronstein進行了關于幾何深度學習報告，并以視頻講解，生動形象，值得學習!
Michael Bronstein，倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人，CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。
//www.imperial.ac.uk/people/m.bronstein
ICLR2021《幾何深度學習》報告
“對稱，無論你如何定義它的意義，是一個概念，古今中外的人類試圖通過它來理解和創造秩序、美和完美。”這個詩意的定義來自于偉大的數學家赫爾曼·韋爾，他被認為奠定了現代宇宙理論的基礎。另一位偉大的物理學家菲利普·安德森(Philip Anderson)說:“把物理學說成是對對稱性的研究只是稍微夸張了一點。”
在數學中，對稱性在19世紀的幾何基礎中起著至關重要的作用。現在，它可能會對另一個新興領域產生類似的影響。深度學習在最近幾十年取得的成功意義重大——從革命性的數據科學，到計算機視覺、棋盤游戲和蛋白質折疊方面的里程碑式成就。與此同時，由于缺乏統一的原則，很難理解不同神經網絡架構之間的關系，從而導致對相同概念的再創造和再品牌化。
邁克爾·布朗斯坦(Michael Bronstein)是倫敦帝國理工學院(Imperial College London)的教授，也是推特(Twitter)圖ML研究的負責人，他致力于通過對稱的視角實現深度學習的幾何統一。在ICLR 2021年的主題演講中，他提出了一個共同的數學框架來研究最成功的網絡架構，給出了一個建設性的程序，以原則性的方式構建未來的機器學習，可以應用于新的領域，如社會科學，生物學和藥物設計。
近兩千年來，“幾何”這個詞一直是歐幾里得幾何的同義詞，因為沒有其他類型的幾何存在。歐幾里得的壟斷在19世紀結束了，當時有多個非歐幾里得幾何的例子被構造出來。然而，這些研究迅速分化到不同的領域，數學家們爭論不同幾何之間的關系和什么定義一個。Felix Klein在他的Erlangen程序中提出了一種擺脫這種困境的方法，他提出將幾何近似為使用群論語言研究不變量或對稱性。在20世紀，這些思想是現代物理學發展的基礎，并在標準模型(Standard Model)中達到頂峰。
深度學習的現狀與19世紀的幾何領域有些相似: 一方面，在過去的十年中，深度學習給數據科學帶來了一場革命，使許多以前被認為是無法實現的任務成為可能，包括計算機視覺、下圍棋或蛋白質折疊。與此同時，我們有各種各樣的神經網絡架構，但很少有統一的原則。在過去，很難理解不同的方法之間的關系，不可避免地導致相同概念的重新發明和重新命名。
幾何深度學習的目標是在Erlangen項目的精神下將幾何統一引入深度學習。它提供了一個共同的數學框架來研究最成功的神經網絡架構，如CNNs、RNNs、GNNs和transformer，并提供了一個建設性的過程來將先前的知識融入到神經網絡中，并以一種原理性的方式構建未來的架構。在這次演講中，我將概述關于網格、圖和流形幾何深度學習的數學原理，并展示這些方法在廣泛的領域中令人興奮和開創性的應用。
付費5元查看完整內容
幾何深度學習
·
幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。Simone Scardapane講述關于圖與幾何深度學習的報告。圖神經網絡是一種功能強大的深度學習模型。
付費5元查看完整內容
【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關于幾何深度學習系統性總結的書，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注！
幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。
在本文中，我們做了一個適度的嘗試，將Erlangen項目的思維模式應用到深度學習領域，最終目標是獲得該領域的系統化和“連接點”。我們將這種幾何化嘗試稱為“幾何深度學習”，并忠實于Felix Klein的精神，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地，我們將重點放在一類用于分析非結構集、網格、圖和流形的神經網絡上，并表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。
我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法，也許還會發現一些令人驚訝的聯系。實踐者可以獲得如何解決各自領域問題的新見解。
一些重要論述：
- 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質，并意識到，只要有一組合適的對稱，我們就可以等價它們，它們都可以用一個通用的幾何框架來表達。
- 更進一步，我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架，這表明框架可以很好地表達這些領域的最新進展，如球形CNN, SO(3)-變換器，和規范-等變網格CNNs。
- 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形，其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規范對稱來表現。
付費5元查看完整內容
-
圖神經網絡是一種功能強大的深度學習模型，驚人地普遍存在。
-
擴展和包含時間或異構信息是具有挑戰性的。
-
多種應用研究
付費5元查看完整內容
機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自帝國理工學院Michael Bronstein教授講述《幾何深度學習》，166頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。
地址： //mlss.tuebingen.mpg.de/2020/schedule.html
作者介紹 Michael Bronstein，倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人，CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。
幾何深度學習
在過去的幾年，深度學習方法在多個領域取得了前所未有的成就，比如計算機視覺和語言識別。目前研究者主要將深度學習方法應用于歐氏結構數據，然而有些非常重要的應用需要處理非歐氏空間結構的數據，比如圖和流形。這些幾何數據在許多任務重的重要性越來越多高，比如3D視覺、傳感網絡、藥品研發、生物醫藥、推薦系統以及各種web程序。深度學習在這些方面的應用有著明顯的滯后，這是因為處理的對象的非歐性質使得在深層網絡中對其基本操作的定義相當麻煩。
本教程的目的是介紹幾何深度學習在圖和流形數據上的最新成果，并綜述針對這些問題的解決方法、關鍵難點和未來的研究方向。
付費5元查看完整內容
報告名稱： Deep Geometric Learning of Big Data and Applications
報告摘要： 深度學習技術在計算機視覺，自然語言處理和語音分析方面取得了令人印象深刻的性能。這些任務專注于位于歐幾里得域上的數據，并且針對這些域的數學工具（例如卷積，下采樣，多尺度和局部性）已得到明確定義，并受益于GPU等快速計算硬件。但是，許多基本數據和任務都涉及非歐幾里德領域，而這些領域最初并不是為深度學習方法設計的。例如計算機圖形學中的3D點云和3D形狀，大腦結構連接網絡中的功能性MRI信號，基因組學中基因調控網絡的DNA，量子化學中的藥物設計，高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域，例如圖形和流形。卷積，粗化，多分辨率，因果關系等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。
該研討會的目標是：1）召集數學家，機器學習科學家和領域專家，以建立這些新興技術的現狀； 2）討論用于分析這些新的深度學習技術的框架； 3）確立新的研究方向以及這些技術在神經科學，社會科學，計算機視覺，自然語言處理，物理學，化學中的應用，以及4）討論了GPU以外的適用于非歐幾里德領域的新計算機處理體系結構。
邀請嘉賓： Jure Leskovec，斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 調查的問題是由大規模數據，網絡和在線媒體引起的。
Stanley Osher，加州大學洛杉磯分校 IPAM 數學與計算機科學教授，電氣工程與化學和生物分子工程教授。
報告部分大綱：
- 自動微分，PyTorch和圖形神經網絡
- 深度學習作為稀疏性強制算法
- 語義3D重建
- 高維幾何的視角
- 穩健性與準確性
- 異質分子結構定位中的逆問題和無監督學習
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191