亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】幾何深度學習是當下的研究熱點。如何進行深度理解？ICLR2021大會上，來自倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人Michael Bronstein進行了關于幾何深度學習報告，并以視頻講解，生動形象，值得學習!

Michael Bronstein，倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人，CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。

//www.imperial.ac.uk/people/m.bronstein

ICLR2021《幾何深度學習》報告

“對稱，無論你如何定義它的意義，是一個概念，古今中外的人類試圖通過它來理解和創造秩序、美和完美。”這個詩意的定義來自于偉大的數學家赫爾曼·韋爾，他被認為奠定了現代宇宙理論的基礎。另一位偉大的物理學家菲利普·安德森(Philip Anderson)說:“把物理學說成是對對稱性的研究只是稍微夸張了一點。”

在數學中，對稱性在19世紀的幾何基礎中起著至關重要的作用。現在，它可能會對另一個新興領域產生類似的影響。深度學習在最近幾十年取得的成功意義重大——從革命性的數據科學，到計算機視覺、棋盤游戲和蛋白質折疊方面的里程碑式成就。與此同時，由于缺乏統一的原則，很難理解不同神經網絡架構之間的關系，從而導致對相同概念的再創造和再品牌化。

邁克爾·布朗斯坦(Michael Bronstein)是倫敦帝國理工學院(Imperial College London)的教授，也是推特(Twitter)圖ML研究的負責人，他致力于通過對稱的視角實現深度學習的幾何統一。在ICLR 2021年的主題演講中，他提出了一個共同的數學框架來研究最成功的網絡架構，給出了一個建設性的程序，以原則性的方式構建未來的機器學習，可以應用于新的領域，如社會科學，生物學和藥物設計。

近兩千年來，“幾何”這個詞一直是歐幾里得幾何的同義詞，因為沒有其他類型的幾何存在。歐幾里得的壟斷在19世紀結束了，當時有多個非歐幾里得幾何的例子被構造出來。然而，這些研究迅速分化到不同的領域，數學家們爭論不同幾何之間的關系和什么定義一個。Felix Klein在他的Erlangen程序中提出了一種擺脫這種困境的方法，他提出將幾何近似為使用群論語言研究不變量或對稱性。在20世紀，這些思想是現代物理學發展的基礎，并在標準模型(Standard Model)中達到頂峰。

深度學習的現狀與19世紀的幾何領域有些相似: 一方面，在過去的十年中，深度學習給數據科學帶來了一場革命，使許多以前被認為是無法實現的任務成為可能，包括計算機視覺、下圍棋或蛋白質折疊。與此同時，我們有各種各樣的神經網絡架構，但很少有統一的原則。在過去，很難理解不同的方法之間的關系，不可避免地導致相同概念的重新發明和重新命名。

幾何深度學習的目標是在Erlangen項目的精神下將幾何統一引入深度學習。它提供了一個共同的數學框架來研究最成功的神經網絡架構，如CNNs、RNNs、GNNs和transformer，并提供了一個建設性的過程來將先前的知識融入到神經網絡中，并以一種原理性的方式構建未來的架構。在這次演講中，我將概述關于網格、圖和流形幾何深度學習的數學原理，并展示這些方法在廣泛的領域中令人興奮和開創性的應用。

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。Simone Scardapane講述關于圖與幾何深度學習的報告。圖神經網絡是一種功能強大的深度學習模型。

//www.sscardapane.it/

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關于幾何深度學習系統性總結的書，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注！

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中，我們做了一個適度的嘗試，將Erlangen項目的思維模式應用到深度學習領域，最終目標是獲得該領域的系統化和“連接點”。我們將這種幾何化嘗試稱為“幾何深度學習”，并忠實于Felix Klein的精神，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地，我們將重點放在一類用于分析非結構集、網格、圖和流形的神經網絡上，并表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法，也許還會發現一些令人驚訝的聯系。實踐者可以獲得如何解決各自領域問題的新見解。

一些重要論述：

• 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質，并意識到，只要有一組合適的對稱，我們就可以等價它們，它們都可以用一個通用的幾何框架來表達。

• 更進一步，我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架，這表明框架可以很好地表達這些領域的最新進展，如球形CNN, SO(3)-變換器，和規范-等變網格CNNs。

• 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形，其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規范對稱來表現。

南京大學《量子計算課程》，值得關注！

近年來，對圖表示學習的研究激增，包括深度圖嵌入技術、將CNNs泛化為為圖結構數據和神經消息傳遞方法。圖形神經網絡(GNNs)和相關技術的發展已經在許多領域帶來了最新的研究成果:化學合成、車輛路由、3d視覺、推薦系統、問答、連續控制、自動駕駛和社交網絡分析。因此，在幾乎所有頂級機器學習會議上，GNNs經常在增長最快的趨勢和研討會上名列前茅。

但是，什么是GNN呢? 快速在線搜索可以發現許多不同的定義。根據作者所假設的背景，這些定義可能大相徑庭(甚至使用完全不同的術語)。這并非巧合:我們現在所認為的圖神經網絡的概念，都是在過去十年里從各種機器學習方向獨立出現的。

在這次演講中，我將嘗試對GNNs提供一個“鳥瞰”的視角。在快速學習使用圖表示學習的動機之后，我將從排列不變性和等變性的第一原則推導出GNN。通過這一視角，我將描述來自不同領域 (圖嵌入、圖信號處理、概率圖模型和圖同構測試)的研究人員是如何獨立地得出本質上相同的GNN概念的。

這次演講的目標聽眾是一般的計算機科學聽眾，不過一些關于機器學習的神經網絡的基本知識也會很有用。我也希望經驗豐富的GNN從業人員可以從我將呈現的分類中受益。

圖神經網絡(GNNs)是針對圖信號的信息處理體系結構。它們已經被開發出來，并在本課程中作為卷積神經網絡(CNNs)的推廣來介紹，它被用來在時間和空間上處理信號。這句話聽起來可能有些奇怪，這取決于你對神經網絡(NNs)和深度學習的了解程度。CNN不就是NN的特例嗎?GNN不也是這樣嗎?從嚴格意義上說，它們是存在的，但我們這門課的重點是涉及高維信號的大規模問題。在這些設置中，神經網絡無法伸縮。CNN為信號在時間和空間上提供可擴展的學習。GNNS支持圖信號的可擴展學習。

在本課程中，我們將在學習單特征和多特征GNN之前，介紹圖卷積濾波器和圖濾波器組。我們還將介紹相關的架構，如經常性的GNN。特別的重點將放在研究GNN的排列的等方差和圖變形的穩定性。這些特性提供了一個解釋的措施，可以觀察到的良好性能的GNNs經驗。我們還將在大量節點的極限范圍內研究GNN，以解釋不同節點數量的網絡間GNN的可遷移性。

//gnn.seas.upenn.edu/

Lecture 1: Machine Learning on Graphs 圖機器學習

圖神經網絡(GNNs)是一種具有廣泛適用性和非常有趣的特性的工具。可以用它們做很多事情，也有很多東西需要學習。在第一節課中，我們將回顧本課程的目標并解釋為什么我們應該關注GNN。我們還提供了未來的預覽。我們討論了在可擴展學習中利用結構的重要性，以及卷積是如何在歐幾里得空間中實現這一點的。我們進一步解釋如何將卷積推廣到圖，以及隨后將卷積神經網絡推廣到圖(卷積)神經網絡。

1.1 – Graph Neural Networks 圖神經網絡

在這門課程中，我希望我們能夠共同完成兩個目標。您將學習如何在實際應用程序中使用GNNs。也就是說，您將開發使用圖神經網絡在圖上表述機器學習問題的能力。你將學會訓練他們。你將學會評估它們。但你也會學到，你不能盲目地使用它們。你將學習到解釋他們良好的實證表現的基本原理。這些知識將允許您確定GNN適用或不適用的情況。

1.2 Machine Learning on Graphs: The Why 圖機器學習

我們關心GNN是因為它們使機器能夠在圖上學習。但我們為什么要關注圖機器學習呢?我們在這里詳述圖機器學習的原因。它為什么有趣?我們為什么要關心這個?我們關心的原因很簡單:因為圖表在信息處理中無處不在。

1.3 – Machine Learning on Graphs: The How

在討論了原因之后，我們來處理如何做。我們如何在圖上進行機器學習?這個問題的答案很簡單:我們應該使用神經網絡。我們應該這樣做，因為我們有豐富的經驗和理論證據證明神經網絡的價值。理解這些證據是本課程的目標之一。但在我們準備這么做之前，有一個潛在的阻礙因素:神經網絡必須利用結構來實現可擴展。

本文推薦來自Emanuele Rodolà博士講述《幾何深度學習》，100頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。 //lcsl.mit.edu/courses/regml/regml2020/

幾何深度學習

過去十年在計算機視覺研究已經見證了“深度學習”的重新崛起,特別是卷積神經網絡(CNN)技術, 它允許從大量的樣例中學習強大的圖像特征表示。CNNs在圖像分類、分割、檢測和標注等廣泛的應用中取得了性能上的突破。然而，當試圖將CNN范式應用于三維形狀、點云和圖形(基于特征的描述、相似度、對應、檢索等)時，必須面對圖像與幾何對象之間的根本差異。形狀分析、圖形分析和幾何處理帶來了圖像分析中不存在的新挑戰，而深度學習方法直到最近才開始滲透到這些領域。本教程的目的是概述非歐幾里得數據學習技術的基礎和目前的技術現狀。本教程將特別關注應用于歐氏和非歐氏流形的深度學習技術(CNN)，以完成形狀分類、檢索和對應的任務。本教程將從新的角度介紹3D計算機視覺和幾何數據處理的問題，強調與傳統2D設置的類比和區別，并展示如何適應流行的學習方案，以處理非歐幾里得結構。

自2006年以來，神經網絡是引發深度學習革命的模型，但它們的基礎可以追溯到20世紀60年代。在這堂課中，DeepMind研究科學家Wojciech Czarnecki將介紹這些模型如何操作、學習和解決問題的基礎知識。他還介紹了各種術語/命名慣例，為與會者進一步、更高級的會談做準備。最后，他簡要介紹了神經網絡設計和開發的更多研究方向。

圖卷積運算符將深度學習的優勢引入到各種以前認為無法實現的圖和網格處理任務中。隨著他們的不斷成功，人們希望設計更強大的架構，通常是通過將現有的深度學習技術應用于非歐幾里德數據。在這篇論文中，我們認為在新興的幾何深度學習領域，幾何應該保持創新的主要驅動力。我們將圖神經網絡與廣泛成功的計算機圖形學和數據近似模型:徑向基函數(RBFs)聯系起來。我們推測，與RBFs一樣，圖卷積層將受益于將簡單函數添加到強大的卷積內核中。我們引入了仿射跳躍連接，這是一種將全連通層與任意圖卷積算子相結合而形成的新型構造塊。通過實驗驗證了該方法的有效性，表明改進的性能不僅僅是參數數目增加的結果。在我們評估的每一項任務中，配備了仿射跳躍連接的操作人員都顯著地優于他們的基本性能。形狀重建，密集形狀對應，和圖形分類。我們希望我們的簡單而有效的方法將作為一個堅實的基線，并有助于緩解未來在圖神經網絡的研究。

課程介紹： 最近兩年，注意力模型（Attention Model）被廣泛使用在自然語言處理、圖像識別及語音識別等各種不同類型的深度學習任務中，是深度學習技術中最值得關注與深入了解的核心技術之一，本課程從基礎著手，由淺及深，詳細介紹注意力神經網絡。

主講人： Xavier Bresson，人工智能/深度學習方面的頂級研究員，培訓師和顧問。在“圖深度學習”上的NeurIPS'17和CVPR'17（2019年頂級人工智能會議排名）上的演講者，在劍橋，加州大學洛杉磯分校，布朗，清華，龐加萊，海德堡等地進行了30多次國際演講。

課程大綱：

• 神經網絡
• 神經網絡sets
• 記憶網絡
• Transformers
• seq2seq Transformers
• 語言模型Transformers
• 圖網絡VS神經網絡
• 總結