亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關于幾何深度學習系統性總結的書，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注！

重磅！《幾何深度學習》新書發布，帝國理工/DeepMind等圖ML大牛共同撰寫，160頁pdf闡述幾何DL基礎原理和統一框架

作為非洲機器智能碩士課程(AMMI 2021)的一部分，我們提供了一門關于幾何深度學習(GDL100)的課程，它緊跟我們的GDL原型書的內容。我們使所有的材料和課件從這門課程公開可用，作為我們的原型書的同伴材料，以及一種方式深入到一些內容的未來迭代的書。

幾何深度學習是從對稱性和不變性的角度對廣泛的ML問題進行幾何統一的嘗試。這些原理不僅是卷積神經網絡的突破性性能和圖神經網絡的近期成功的基礎，而且還為構造新型的特定于問題的歸納偏差提供了一種有原則的方法。

深度（表示）學習領域的現狀讓我們想起了19世紀的幾何情況：一方面，在過去的十年中，深度學習在數據科學領域帶來了一場革命， 以前認為可能無法完成的許多任務-無論是計算機視覺，語音識別，自然語言翻譯還是alpha Go。另一方面，我們現在擁有一個針對不同類型數據的不同神經網絡體系結構的動物園，但統一原理很少。結果，很難理解不同方法之間的關系，這不可避免地導致相同概念的重新發明。

幾何深度學習是我們在[5]中引入的總稱，指的是最近提出的ML幾何統一的嘗試，類似于Klein的Erlangen計劃。它有兩個目的：首先，提供一個通用的數學框架以推導最成功的神經網絡體系結構；其次，給出一個建設性的程序，以有原則的方式構建未來的體系結構。

//geometricdeeplearning.com/lectures/

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。Simone Scardapane講述關于圖與幾何深度學習的報告。圖神經網絡是一種功能強大的深度學習模型。

//www.sscardapane.it/

盡管在深度學習方面取得了相當大的進步，但人工智能仍然是狹隘和脆弱的。一個基本的限制是它缺乏常識智能: 對人類來說微不足道，但對機器來說卻異常地困難。在這次演講中，我將討論關于常識性人工智能的真理——符號知識和神經知識的混合，知識和推理之間的連續體，推理和語言生成之間的相互作用。

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關于幾何深度學習系統性總結的書，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注！

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中，我們做了一個適度的嘗試，將Erlangen項目的思維模式應用到深度學習領域，最終目標是獲得該領域的系統化和“連接點”。我們將這種幾何化嘗試稱為“幾何深度學習”，并忠實于Felix Klein的精神，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地，我們將重點放在一類用于分析非結構集、網格、圖和流形的神經網絡上，并表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法，也許還會發現一些令人驚訝的聯系。實踐者可以獲得如何解決各自領域問題的新見解。

一些重要論述：

• 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質，并意識到，只要有一組合適的對稱，我們就可以等價它們，它們都可以用一個通用的幾何框架來表達。

• 更進一步，我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架，這表明框架可以很好地表達這些領域的最新進展，如球形CNN, SO(3)-變換器，和規范-等變網格CNNs。

• 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形，其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規范對稱來表現。

近年來，對圖表示學習的研究激增，包括深度圖嵌入技術、將CNNs泛化為為圖結構數據和神經消息傳遞方法。圖形神經網絡(GNNs)和相關技術的發展已經在許多領域帶來了最新的研究成果:化學合成、車輛路由、3d視覺、推薦系統、問答、連續控制、自動駕駛和社交網絡分析。因此，在幾乎所有頂級機器學習會議上，GNNs經常在增長最快的趨勢和研討會上名列前茅。

但是，什么是GNN呢? 快速在線搜索可以發現許多不同的定義。根據作者所假設的背景，這些定義可能大相徑庭(甚至使用完全不同的術語)。這并非巧合:我們現在所認為的圖神經網絡的概念，都是在過去十年里從各種機器學習方向獨立出現的。

在這次演講中，我將嘗試對GNNs提供一個“鳥瞰”的視角。在快速學習使用圖表示學習的動機之后，我將從排列不變性和等變性的第一原則推導出GNN。通過這一視角，我將描述來自不同領域 (圖嵌入、圖信號處理、概率圖模型和圖同構測試)的研究人員是如何獨立地得出本質上相同的GNN概念的。

這次演講的目標聽眾是一般的計算機科學聽眾，不過一些關于機器學習的神經網絡的基本知識也會很有用。我也希望經驗豐富的GNN從業人員可以從我將呈現的分類中受益。

神經架構搜索(NAS)是一個很有前途的領域。首先，我將討論圍繞NAS建立科學社區的各種工作，包括基準測試、最佳實踐和開放源碼框架。然后，我將討論該領域幾個令人興奮的方向:(1)廣泛的NAS加速技術;(2)在Auto-PyTorch中結合NAS +超參數優化，實現現成的AutoML;(3)神經集成搜索(NES)的擴展問題定義，它搜索一組互補的架構，而不是像NAS中搜索的單一架構。

機器學習領域最大的兩個難題是:為什么它會如此成功?為什么它會如此脆弱?

這個講座將提供一個框架，從高維函數近似的角度來解開這些難題。我們將討論關于假設空間的神經網絡類型的近似泛化特性已知的和未知的，以及訓練過程的動力學和泛化特性。我們還將討論淺神經網絡模型和深神經網絡模型的相對優點，并提出建立更魯棒的機器學習模型的方法。

阿姆斯特丹大學Max Welling教授為你講解圖神經網絡發展趨勢

Max Welling教授是阿姆斯特丹大學機器學習研究主席和高通公司技術副總裁。他還被任命為加拿大高級研究所(CIFAR)的高級研究員。他是“Scyfer BV”的聯合創始人，該公司是深度學習領域的大學子公司，于2017年夏天被高通收購。在過去，他在加州理工學院(98- 00)，倫敦大學學院(00- 01)和多倫多大學(01- 03)擔任博士后。他于1998年在諾貝爾獎得主g.t Hooft教授的指導下獲得博士學位。Max Welling 2011-2015年擔任IEEE TPAMI副主編(影響因子4.8)。自2015年(機器學習領域最大的會議)以來，他擔任NIPS基金會的董事會成員，2013年和2014年分別擔任NIPS項目主席和一般主席。他也是2009年AISTATS和2016年ECCV的項目主席，以及2018年MIDL的總主席。他曾在JMLR和JML的編委會任職，并擔任神經計算、JCGS和TPAMI的副編輯。他獲得了來自谷歌，Facebook, Yahoo, NSF, NIH, NWO和ONR-MURI的多次資助，其中NSF在2005年的職業資助。他是2010年ECCV Koenderink獎的獲得者。Max Welling是阿姆斯特丹數據科學研究中心的董事會成員，他主管阿姆斯特丹機器學習實驗室(AMLAB)，并共同指導高通- UvA深度學習實驗室(QUVA)和博世- UvA深度學習實驗室(DELTA)。Max Welling在機器學習、計算機視覺、統計學和物理學方面發表了超過250篇科學論文，H指數為62。

//staff.fnwi.uva.nl/m.welling/

Graph Nets: The Next Generation - Max Welling

在這次演講中，我將介紹下一代的圖神經網絡。GNN具有對圖中節點的排列和圖的整體旋轉不變的特性。我們認為這是不必要的限制，在這次談話中，我們將探索這些GNN的擴展，以更靈活的等變結構。特別地，一般圖的自然圖網絡在節點排列下是全局等變的，但仍然可以通過本地消息傳遞協議執行。我們在流形上的mesh-CNNs在SO(2)規范變換下是等變的，因此，與常規的GNN不同，它具有非各向同性的核。最后，我們的SE(3)轉換器是局部消息傳遞GNN，對排列不變性，但對全局SE(3)變換是等價的。這些發展清楚地強調了幾何和對稱作為圖(或其他)神經網絡設計原則的重要性。

幾何深度學習

很多數據不是序列和歐幾里得分布的，而是球面圖網絡分布，那如何使用卷積在這些數據結構上？

概覽

結論

本文推薦來自Emanuele Rodolà博士講述《幾何深度學習》，100頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。 //lcsl.mit.edu/courses/regml/regml2020/

幾何深度學習

過去十年在計算機視覺研究已經見證了“深度學習”的重新崛起,特別是卷積神經網絡(CNN)技術, 它允許從大量的樣例中學習強大的圖像特征表示。CNNs在圖像分類、分割、檢測和標注等廣泛的應用中取得了性能上的突破。然而，當試圖將CNN范式應用于三維形狀、點云和圖形(基于特征的描述、相似度、對應、檢索等)時，必須面對圖像與幾何對象之間的根本差異。形狀分析、圖形分析和幾何處理帶來了圖像分析中不存在的新挑戰，而深度學習方法直到最近才開始滲透到這些領域。本教程的目的是概述非歐幾里得數據學習技術的基礎和目前的技術現狀。本教程將特別關注應用于歐氏和非歐氏流形的深度學習技術(CNN)，以完成形狀分類、檢索和對應的任務。本教程將從新的角度介紹3D計算機視覺和幾何數據處理的問題，強調與傳統2D設置的類比和區別，并展示如何適應流行的學習方案，以處理非歐幾里得結構。

機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自帝國理工學院Michael Bronstein教授講述《幾何深度學習》，166頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。

地址： //mlss.tuebingen.mpg.de/2020/schedule.html

作者介紹 Michael Bronstein，倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人，CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。

幾何深度學習

在過去的幾年，深度學習方法在多個領域取得了前所未有的成就，比如計算機視覺和語言識別。目前研究者主要將深度學習方法應用于歐氏結構數據，然而有些非常重要的應用需要處理非歐氏空間結構的數據，比如圖和流形。這些幾何數據在許多任務重的重要性越來越多高，比如3D視覺、傳感網絡、藥品研發、生物醫藥、推薦系統以及各種web程序。深度學習在這些方面的應用有著明顯的滯后，這是因為處理的對象的非歐性質使得在深層網絡中對其基本操作的定義相當麻煩。

本教程的目的是介紹幾何深度學習在圖和流形數據上的最新成果，并綜述針對這些問題的解決方法、關鍵難點和未來的研究方向。