亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

現代深度學習已經在多個學科中帶來了許多發現:計算機視覺、語音識別、自然語言處理技術以及純粹通過自我游戲學習游戲的能力。這在很大程度上是由獲取大量數據的能力以及與問題域匹配的適當的歸納偏差所驅動的。在本教程中，我們將探討這一新興技術與信息論的相互作用。特別地，我們將討論兩個主題。

(1) 深度學習在信息論中的應用:信息論學界在編碼設計和解碼算法方面率先取得了幾項突破，徹底改變了現代數字通信。在這一主題中，我們將研究是否有可能利用現代深度學習技術來加速這種編碼方案的發現。我們將介紹這一領域的各種發展，展示Viterbi和BCJR算法可以從觀測數據中“學習”，以及如何為高密度編碼學習比消息傳遞更好的算法。此外，經過充分研究的信道編碼設置，我們基本上可以獲得無限數量的訓練數據，并且在一些設置中已經知道了接近最優的編碼策略，可以提供一個視角，通過它可以改進和增強目前的深度學習技術。除了代碼設計，深度學習作為一種通用函數逼近器在信息論中有更廣泛的應用潛力。我們將談到這個大致的概念。事實上，最近的一些研究已經將深度學習用于(條件)獨立檢驗、互信息估計、壓縮感知以及多假設檢驗中的誤發現率控制。

（2）在第二個主題中，我們將對信息論原理在理解和設計深度學習系統中的應用進行調研。這些工作大致可分為三類:(a)代表性(b)可學習性。(A)事實上，深度學習的一個基本結果是緊密逼近任何連續函數的能力。有幾個現代的表示定理的概括理解的數量和深度這樣的網絡需要近似各種函數類，以及一些不變的性質。我們將調研這些結果。(B)有一些新興的工作，包括張量方法，在一些數學假設下為神經網絡和混合專家提供了各種可學習性保證。

在科學研究中，從方法論上來講，都應“先見森林，再見樹木”。當前，人工智能學術研究方興未艾，技術迅猛發展，可謂萬木爭榮，日新月異。對于AI從業者來說，在廣袤的知識森林中，系統梳理脈絡，才能更好地把握趨勢。為此，我們精選國內外優秀的綜述文章，開辟“綜述專欄”，敬請關注。來源：知乎—努力努力再努力q

地址：//zhuanlan.zhihu.com/p/435040892

**聲明：**本文譯自教授Michael Bronstein在Medium上發布的博客。歡迎大家評論、批評指正翻譯中存在的任何問題。現代機器學習往往忽視了微分幾何和代數拓撲的相關知識，在本篇文章中，我會向讀者們展示如何以這兩個領域的相關知識為有力工具去重新解釋圖神經網絡以及圖神經網絡模型的一些共同困境。對稱性，無論我們考慮它的廣泛或者狹隘定義，它都是人類長久以來用于試圖理解和創造秩序、優美和完美的一種理念。Hermann Wey [1] 的這種富有詩意的描述強調了對稱性在科學研究中的基石作用。Felix Klein 在1872年的“Erlangen Programme”[2] 通過利用對稱性來描述了幾何學的特征，這不僅僅是數學上的突破，統一了幾何學領域而且還進一步導致了現代物理理論的發展，這些理論完全可以追溯到對稱的第一原理[3]。在幾何深度學習的發展中，類似的原理也出現在了機器學習中，幾何深度學習是通過組不變性和等方差性推導出大多數流行神經網絡架構的一般藍圖[4]。

圖神經網絡可以被視為幾何深度學習藍圖的一個特例，其構建組成是具有對稱群的域（在這種情況下特指具有置換群的圖）、域上的信號（節點特征）和此類信號的群-等變函數（消息傳遞）。幾何深度學習藍圖可以應用于不同的領域，例如結構化網格、非結構化網格或圖[5]。然而，雖然前兩者有明確的連續型模擬對象（結構化網格可以被認為是歐幾里德或更普遍的齊次空間如球體的離散化，而非結構化網格是二維流形的常見離散化），但對于圖卻沒有明確的的連續模擬對象[6]。這種不公平有點令人不安，并驅動我們仔細研究用于圖學習的連續模型。

Grid （結構化網格）、Mesh （非結構化網格）和圖是幾何深度學習藍圖中處理的領域的示例。然而，雖然前兩者具有連續類比（例如，結構化網格可以被視為歐幾里得空間的離散化，而非結構化網格是二維流形或曲面的常見離散化），但沒有針對圖的此類直接連續類比。

圖神經擴散----

圖神經網絡 (GNNs) 通過在圖上執行某種形式的消息傳遞來學習，特征在點與點之間依靠邊進行傳播。這種機制與圖上的擴散過程有關，可以用偏微分方程 (PDE) 的形式表示，稱為“擴散方程”。在最近的一篇論文 [7] 中，我們展示了這種具有非線性可學習擴散函數的 PDE 的離散化（稱為“圖神經擴散”或 GRAND）概括了一大類 GNN 架構，例如圖注意力網絡（GAT) [8]。PDE 思維方式提供了多種優勢，例如可以利用具有保證穩定性和收斂特性的高效數值求解器（例如隱式、多步、自適應和多重網格方案）。這些求解器中的一些在流行的 GNN 架構領域中沒有直接的類比，可能有望帶來新的有趣的圖神經網絡設計。由于我們考慮的擴散 PDE 可以被視為某些相關能量的梯度流 [9]，因此此類架構可能至少比典型架構更易于理解。同時，雖然 GRAND 模型在傳統 GNN 的層位置提供連續時間，但方程的空間部分仍然是離散的并且依賴于輸入圖。重要的是，在這個擴散模型中，域（圖）是固定的，并且在其上定義的一些屬性（特征）會演變。微分幾何中常用的一個概念是幾何流，它演化域本身的屬性 [10]。這個想法在 1990 年代被我的博士導師 Ron Kimmel 和他的合著者在圖像處理領域采納 [11]。他們將圖像建模為嵌入在聯合位置和顏色空間中的流形，并通過最小化嵌入的諧波能量的偏微分方程對其進行演化 [12]。這種稱為貝爾特拉米流的 PDE 具有各向同性非歐氏擴散的形式，并產生邊緣保留的圖像去噪。我們將此范式應用于“Beltrami 神經擴散”（BLEND）框架 [13] 中的圖形。圖的節點現在以位置和特征坐標為特征，兩者都是進化的，兩者都決定了擴散特性。在這種心態下，圖本身變成了一個輔助角色：它可以從位置坐標生成（例如作為 k 最近鄰圖）并在整個進化過程中重新連接。下圖說明了這個同步進化過程：

通過帶重新布線的 Beltrami 流對 Cora 圖的位置和特征分量的演變（顏色代表特征向量）。動畫：James Rowbottom。注：原文中有個非常漂亮的GIF動圖，由于尺寸過大超出知乎限制，請有心的同學們前往原文查看。如有解決方案也煩請告知，不勝感激。最近的工作格外關注圖神經網絡的表達能力問題。消息傳遞 GNNs 等效于 Weisfeiler-Lehman 圖同構測試 [14-16]，這是一種嘗試通過迭代顏色細化來確定兩個圖在結構上是否等效（“同構”）的經典方法。這個檢驗是必要但不充分的條件：事實上，Weisfeler-Lehman 可能認為一些非同構圖是等價的。下圖說明了傳遞 GNN 的消息“看到”了什么：兩個突出顯示的節點看起來無法區分，盡管圖顯然具有不同的結構：

Weisfeiler-Lehman 檢驗無法區分的兩個非同構圖的示例。圖改編自Sato [18]。

位置編碼----

解決此問題的常見方法是通過為節點分配一些表示圖中節點的角色或“位置”的附加特征來“著色”節點。在 Transformers [17]（它是在完整圖 [4] 上運行的注意力 GNN 的特例）中普及，位置編碼方法已成為增加圖神經網絡表達能力的常用方法。

位置編碼為圖的節點分配額外的特征，允許消息傳遞獲得比 Weisfeiler-Lehman 測試更高的表達能力。然而，在位置編碼的多種可能選擇中，沒有“規范”的。圖改編自Sato[18]。也許最直接的方法是賦予每個節點一個隨機特征[18]；然而，雖然更具表現力，但這種方法的泛化能力較差（因為不可能在兩個圖中重現隨機特征）。圖拉普拉斯算子 [19] 的特征向量提供了圖的鄰域保留嵌入，并已成功用作位置編碼。最后，我們在與 Giorgos Bouritsas 和 Fabrizio Frasca [20] 的論文中表明，圖的子結構計數可以用作位置或“結構”編碼的一種形式，可以證明它比基本的 Weisfeiler-Lehman 測試更強大。然而，對于位置編碼有多種選擇，如何選擇一個沒有明確的方法，也沒有明確的答案在哪種情況下哪種方法更有效。我相信像 BLEND 這樣的幾何流可以根據這個問題來解釋：通過非歐式擴散演化圖的位置坐標，位置編碼適用于下游任務。因此，答案是“視情況而定”：最佳位置編碼是手頭數據和任務的函數。

高階消息傳遞----

表達性的另一種選擇是停止從節點和邊的角度考慮圖。圖是被稱為細胞復合體的對象的例子，細胞復合體是代數拓撲領域的主要研究對象之一。在這個術語中，節點是 0-cells，邊是 1-cells。不必止步于此：我們可以構建如下圖所示的 2 個單元格（面），這使得我們之前示例中的兩個圖完全可區分：

在最近與 Cristian Bodnar 和 Fabrizio Frasca [21-22] 合著的兩篇論文中，我們表明有可能構建一種“提升變換”，用這種高階單元來增強圖，在其上可以執行更復雜的形式 的分層消息傳遞。這個方案可以證明比 Weisfeiler-Lehman 測試更具表現力，并且在計算化學中顯示出有希望的結果，其中許多分子表現出更好地建模為細胞復合物而不是圖形的結構。GNNs 的另一個常見困境是“過度擠壓”現象，或者由于輸入圖的某些結構特征（“瓶頸”）而導致消息傳遞無法有效傳播信息[23]。過度擠壓通常發生在體積呈指數增長的圖中，例如小世界網絡 [24] 以及依賴于遠程信息的問題。換句話說，GNN 在其上運行的輸入圖并不總是對消息傳遞友好。

“小世界”圖中快速增長的鄰居數量通常是 GNN 中觀察到的過度擠壓現象的根源。

過度擠壓、瓶頸和圖重繪----

根據經驗，觀察到將輸入圖與計算圖解耦并允許在不同的圖上傳遞消息有助于緩解問題；這種技術通常被稱為“圖重繪”。公平地說，許多流行的 GNNs 架構都實現了某種形式的圖重新布線，可以采用鄰域采樣（最初在 GraphSAGE 中提出以應對可擴展性 [25]）或多跳過濾器 [26] 的形式。上面討論的拓撲消息傳遞也可以看作是一種重新布線的形式，從而可以通過高階單元“捷徑”地在遠距離節點之間傳輸信息。Alon 和 Yahav [23] 表明，即使像使用全連接圖這樣簡單的方法也可能有助于改善圖機器學習問題中的過度擠壓。Klicpera 和合著者熱情地宣稱“擴散改進了圖學習”，提出了 GNNs（稱為“DIGL”）的通用預處理步驟，包括通過擴散過程對圖的連通性進行去噪 [27]。總體而言，盡管進行了重要的實證研究，但過度擠壓現象一直難以捉摸且理解不足。在最近的一篇論文 [28] 中，我們表明導致過度擠壓的瓶頸可歸因于圖的局部幾何特性。具體來說，通過定義 Ricci 曲率的圖類比，我們可以證明負彎曲的邊是罪魁禍首。這種解釋導致了類似于“反向 Ricci 流”的圖形重新布線程序，該程序通過外科手術去除了有問題的邊，并生成了一個更適合消息傳遞的圖形，同時在結構上與輸入的圖形相似。

使用基于擴散的方法（DIGL，中）和基于曲率的方法（Ricci，右）重新連接康奈爾圖（左）的示例。基于曲率的方法更顯著地減少了瓶頸，同時更忠實于原始圖結構。這些例子表明微分幾何和代數拓撲為圖機器學習中的重要和具有挑戰性的問題帶來了新的視角。在本系列的后續文章中，我將更詳細地展示如何使用這些領域的工具來解決圖神經網絡的上述問題。第二部分將討論代數拓撲如何提高 GNN 的表達能力。第三部分將處理幾何擴散偏微分方程。第四部分將展示過度擠壓現象如何與圖曲率相關，并提供一種受 Ricci 流啟發的圖形重新布線的幾何方法。

[1] H. Weyl, Symmetry (1952), Princeton University Press. [2]F. Klein, Vergleichende Betrachtungen über neuere geometrische Forschungen (1872). [3] J. Schwichtenberg, Physics from symmetry (2018), Springer. [4] M. M. Bronstein, J. Bruna, T. Cohen, and P. Veli?kovi?, Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges (2021); see an accompanying post and the project website. [5] In the above GDL proto-book, we call these the “5G” of Geometric Deep Learning. [6] Geometric graphs naturally arise as discrete models of objects living in a continuous space. A prominent example is molecules, modeled as graphs where every node represents an atom with 3D spatial coordinates. On the other hand, it is possible to embed general graphs into a continuous space, thus (approximately) realising their connectivity using the metric structure of some space. [7] B. Chamberlain, J. Rowbottom et al., GRAND: Graph Neural Diffusion (2021) ICML. [8] P. Veli?kovi? et al., Graph Attention Networks (2018) ICLR.[9] A gradient flow can be seen as a continuous analogy of gradient descent in variational problems. It arises from the optimality conditions (known in the calculus of variations as Euler-Lagrange equations) of a functional. [10] Geometric flows are gradient flows of functionals defined on manifolds. Perhaps the most famous of them is the Ricci flow, used by Grigori Perelman in the proof of the century-old Poincaré conjecture. Ricci flow evolves the Riemannian metric of the manifold and is structurally similar to the diffusion equation (hence often, with gross simplification, presented as “diffusion of the metric”). [11] N. Sochen et al., A general framework for low-level vision (1998) IEEE Trans. Image Processing 7(3):310–318 used a geometric flow minimising the embedding energy of a manifold as a model for image denoising. The resulting PDE is a linear non-euclidean diffusion equation ? = Δx (here Δ is the Laplace-Beltrami operator of the image represented as an embedded manifold), as opposed to the nonlinear diffusion ? = div(a(x)?x) used earlier by P. Perona and J. Malik, Scale-space and edge detection using anisotropic diffusion (1990) PAMI 12(7):629–639. [12] Beltrami flow minimises a functional known in string theory as the Polyakov action. In the Euclidean case, it reduces to the classical Dirichlet energy.

如何突破基于 WL 測試和消息傳遞機制的 GNN 的性能瓶頸？且看幾何深度學習旗手、牛津大學教授 Michael Brostein 如是說。

圖可以方便地抽象關系和交互的復雜系統。社交網絡、高能物理、化學等研究領域都涉及相互作用的對象（無論是人、粒子還是原子）。在這些場景下，圖結構數據的重要性日漸凸顯，相關方法取得了一系列初步成功，而一系列工業應用使得圖深度學習成為機器學習方向的熱門研究話題之一。

圖注：通過圖對復雜系統的關系、交互進行抽象。例如，「分子圖」中構成分子的原子至今的化學鍵，「社交網絡」中用戶之間的關系和交互，「推薦系統」中用戶和商品之間的聯系。

受物理啟發的圖上的持續學習模型可以克服傳統 GNN 的局限性。多年來，消息傳遞一直是圖深度學習領域的主流范式，使圖神經網絡（GNN）在粒子物理到蛋白質設計的廣泛應用中取得了巨大成功。

從理論角度來看，它建立了與 Weisfeiler-Lehman（WL）層次結構的聯系，我們可以以此分析 GNN 的表達能力。但是在 Michael Brostein 看來，當前圖深度學習方案「以節點和邊為中心」的思維方式帶來了無法克服的局限性，阻礙了該領域未來的發展。

另一方面，在關于幾何深度學習的最新綜述中，Brostein 提出了受物理啟發的持續學習模型，從微分幾何、代數拓撲和微分方程等領域出發開啟了一系列新工具的研究。到目前為止，圖機器學習領域中還鮮有此類研究。

幾何機器學習和基于圖的機器學習是當前最熱門的研究課題之一。在過去的一年中，該領域的研究發展迅猛。在本文中，幾何深度學習先驅 Michael Bronstein 和 Petar Veli?kovi? 合作，采訪了多位杰出的領域專家，總結了該領域過去一年中的研究亮點，并對該方向在 2022 年的發展趨勢進行了展望。

本文編譯自//towardsdatascience.com/predictions-and-hopes-for-geometric-graph-ml-in-2022-aa3b8b79f5cc#0b34

作者：Michael Bronstein 牛津大學DeepMind人工智能教授、Twitter圖機器學習負責人

編譯：熊宇軒

01

要點概述

1. 幾何在機器學習中變得越來越重要。 微分幾何和同源場為機器學習研究引入了新的思想，包括利用了對稱性和類似于圖中的曲率的新等變圖神經網絡（GNN）架構，以及在深度學習模型中理解和利用不確定性。

2. 消息傳遞仍然是 GNN 的主導范式。 在 2020 年，研究社區意識到了了消息傳遞 GNN 的不足之處，并尋求這種范式之外的更具表現力的架構。2021 年，很明顯，消息傳遞仍然占據主導地位，因為有的研究工作表明，將 GNN 應用于子圖可以獲得更好的表達能力。

3. 微分方程催生了新的 GNN 架構。NeuralODE 的趨勢擴展到了圖機器學習領域。一些工作說明了如何將 GNN 模型形式化定義為連續微分方程的離散形式。在短期內，這些工作將催生新的可以規避 GNN 中的常見問題（如過平滑和過壓縮）的架構。從長遠來看，我們可能會更好地理解 GNN 的工作原理，以及如何使它們更具表現力和可解釋性。

4. 信號處理、神經科學和物理學領域的舊思想煥發了新生。 許多研究者認為，圖信號處理重新點燃了最近對圖機器學習的興趣，并為該領域提供了第一套分析工具（例如，廣義傅里葉變換和圖卷積）。表征理論等其它經典信號處理和物理學中的基本技術已經在2021年取得了一些重要進展，并仍有很大的潛力。

5. 為復雜系統建模不僅需要圖。 2021 年的諾貝爾物理學獎授予 Giorgio Parisi，以表彰他對復雜系統的研究。雖然，這樣的系統通常可以被基本地抽象為圖。但我們有時必須考慮非成對關系和動態行為等更復雜的結構。2021 年的多項工作討論了動態關系系統，并展示了如何將 GNN 擴展到高階結構（如傳統上在代數拓撲領域處理的細胞和單純復雜結構）。我們可能會看到機器學習更多地采用該領域的其它思想。

6. 在圖機器學習領域中，推理、公理化和泛化的問題仍然是重要的有待解決的問題。 在這一年中，我們看到了受算法推理啟發的 GNN 架構的持續進步，以及在圖結構任務上更魯棒的與分布外泛化（OOD）相關的工作。如今，我們有了與廣義 Bellman-Ford 算法顯式一致的知識圖譜推理器，以及利用分布偏移的顯式因果模型的圖分類器。可以說，這些都是未來具有廣闊前景的更魯棒、更通用的 GNN 的發展方向。在2022年，這其中許多的課題可能將取得很大的進展。

7. 圖在強化學習中越來越流行，但可能還有很大的探索空間。 也許并不令人意外的是，強化學習中存在許多有關圖和對稱性的問題（通常在強化學習智能體的結構中，或在對環境的表征中）。2021 年，有一些研究方向試圖利用這種結構，并取得了不同程度的成功。我們現在對如何在強化學習中利用這些對稱性有了更好的理解（包括在多智能體系統中）。然而，將智能體建模為圖似乎不需要嚴格地使用圖結構。盡管如此，我們相信，圖和幾何賦能的強化學習在 2022 年具有廣闊的發展前景。

8. AlphaFold 2 是幾何機器學習領域的重要成果，也是結構生物學領域的范式轉變。 20 世紀 70 年代，諾貝爾化學獎得主 Christian Anfinsen 提出了預測蛋白質三維折疊結構的可能性。這是一項非常困難的計算任務，是結構生物學領域的「圣杯」。2021年，DeepMind 的 AlphaFold 2 打破了該問題之前的記錄，取得了讓領域專家們信服的準確率，并得到了廣泛的應用。AlphaFold 2 的核心正是一個基于等變注意力機制的幾何架構。

9. GNN 及其與 Transformer 模型的融合助力了藥物研發和設計。 實際上，GNN 的起源可以追溯到 20 世紀 90 年代的計算化學工作。因此，分子圖的分析是最流行的 GNN 應用之一，也就不足為奇了。2021 年，這一領域取得了持續的顯著進展，涌現出了數十個新架構和幾項超越對比基準的成果。將 Transformer 應用于圖數據也取得了巨大的成功，它有望模擬 Transformer 架構在自然語言處理領域成功的關鍵之處：能夠跨任務泛化的大型預訓練模型。

10. 人工智能主導的藥物發現技術越來越多地使用了幾何和圖機器學習。 AlphaFold 2 和分子圖神經網絡的成功讓人類距離通過人工智能設計新藥的夢想更近了一步。Alphabet 的新公司 Isomorphic Labs 標志著工業界「壓寶」于這項技術。然而，為了實現這類夢想，對分子間的相互作用建模是必須解決的重要前沿課題。

11. 基于圖的方法也助力了量子機器學習。 對于機器學習領域的大多數專家來說，量子機器學習仍然是一個神器的小眾方向，但隨著量子計算硬件的逐漸普及，它很快就成為了現實。Alphabet X 最近的工作顯示了圖結構歸納偏置在量子機器學習架構中的優勢，他們結合了這兩個貌似不相關的領域。從長遠來看，由于量子物理系統通常擁有豐富而深奧的群對稱性，我們可以將這種性質用于量子結構設計，幾何可能會扮演更重要的角色。

2021 年，幾何和基于圖的機器學習方法出現在一系列備受矚目的應用中

**

**

02

幾何在機器學習中的重要性與日俱增

如果我們必須選擇一個詞，它在 2021 年遍布圖表示學習的幾乎每個領域，毫無疑問，「幾何」一詞將是首選。

Melanie Weber：

「在過去的一年里，我們看到許多經典的幾何思想以新的方式在圖機器學習領域中得以應用」——Melanie Weber，牛津大學數學研究所 Hooke 研究員

Melanie 認為：值得注意的例子包括利用對稱性更高效地學習模型，最優傳輸相關概念的應用，或在表示學習中使用微分幾何中的曲率概念。

最近，人們對理解關系型數據的幾何特性和利用這些信息學習良好的（歐氏或非歐）表征產生了濃厚的興趣[1]。這催生了許多對特定幾何編碼的 GNN 架構。值得注意的例子是雙曲 GNN 模型[2]，該模型于 2019 年底作為學習層次化數據的高效表征的工具被首次提出。在過去的一年里，出現了大量的新模型和架構，它們能夠更高效地學習雙曲表征，或者能捕獲更復雜的幾何特征[3, 4]。此外，還有一類工作利用了等變性和對稱性等幾何信息[5]。

圖注：今年，在圖神經網絡領域，我們看到了幾何技術的激增。例如，等變信息傳遞在小分子性質預測、蛋白質折疊等生化應用中起到了關鍵作用。

Melanie 進一步研究了微分幾何，指出它在 2022 年存在許多潛在的應用方向：離散微分幾何（研究圖或單純復形等離散結構的幾何）已被用于分析 GNN。離散曲率概念是表征離散結構局部和整體幾何性質的重要工具。Topping 等人在論文「Understanding over-squashing and bottlenecks on graphs via curvature」中提出了曲率在圖機器學習中的一種重要應用[6]，在圖重連的背景下研究離散 Ricci 曲率，作者提出了一種新的方法來緩解 GNN 中的過壓縮效應。未來，離散曲率很可能與圖機器學習中的其它結構和拓撲問題聯系在一起。

Melanie 希望這些課題將在 2022 年繼續影響該領域，被應用于更多的圖機器學習任務。這可能會推動計算方面的進步，從而減輕實現非歐算法的計算挑戰，傳統的針對歐式數據設計的工具很難勝任這些工作。此外，離散曲率等幾何工具的計算成本很高，因此很難將它們集成到大規模應用中。計算技術的進步或專用程序庫的發展可以使相關從業者更容易使用這些幾何思想。

Pim de Haan：

「圖神經網絡設計者越來越重視圖豐富的對稱結構。」——Pim de Haan，阿姆斯特丹大學博士生

傳統上，GNN 采用具有置換不變性的消息傳遞方式，后來的工作利用群與表示理論構造節點置換群表示之間的等變映射。最近，類比于流形的局部對稱性（稱為度規對稱性），我們開始研究由同構子圖產生的圖的局部對稱性。我們發現應該用對稱理論而不是群分析某些圖中的問題，將對稱性整合到神經網絡架構中可以提高某些圖機器學習任務（例如，分子預測）的性能。

圖注：圖機器學習研究者利用圖中豐富的對稱結構。

Pim 預測道：在新的一年里，我希望看到范疇論成為一種廣泛應用于神經網絡的設計語言。這將給我們提供一種形式化的語言來討論和利用比以前更復雜的對稱。特別是，我很高興看到它被用于處理圖的局部和近似對稱，結合點云的幾何和組合結構，并幫助我們研究因果圖的對稱性。”

Francesco Di Giovanni：

「盡管圖是不可微的，但是許多在流形分析中被成功應用的思想正逐漸出現在 GNN 領域中。」——Francesco Di Giovanni，Twitter 機器學習研究員

Francesco 對偏微分方程方法特別感興趣，這種方法最初被用于研究曲面，Francesco 等人用它來處理圖像。他們探索了「圖重連」的思路，「圖重連」指的是對底層鄰接關系的修改，它屬于對幾何流方法的拓展。此外，他們還利用基于邊的曲率的新概念來研究 GNN 中的過壓縮問題，并提出了一種圖重連方法。對于保持和破壞對稱形式的分子，幾何也被認為是將 GNN 應用于分子的關鍵因素。

Francesco 認為，這個領域的研究剛剛興起。圖重連技術將可能在解決消息傳遞的一些主要缺陷方面發揮作用，這些缺陷包括在異類數據集上的性能和處理長距離依賴關系。我們希望能很快彌平在圖上的卷積和流形上的卷積之間的概念上的較大差異，這可能會導致下一代 GNN 的出現。最后，Francesco 很高興看到幾何變分方法進一步揭示了 GNN 內在的動力學，并希望能夠提供更有原則的方法來設計新的 GNN 架構、比較現有的架構。

圖注：Ricci 曲率、幾何流等微分幾何領域的概念被用于圖機器學習，改進 GNN 中的信息流。

Aasa Feragen:

**

**

「人們希望通過微分幾何等數學理論為那些精確的公式中存在非線性幾何的問題給出有理有據的解決方案。」——Aasa Feragen，哥本哈根大學助理教授

Aasa 認為，微分幾何在理解和利用深度學習模型的不確定性方面發揮著基礎性的作用。例如，使用模型不確定性生成數據的幾何表示，揭示在標準歐式表征下仍然十分模糊的生物信息。另一個例子是，利用由局部有向數據編碼的黎曼幾何對結構化的大腦連接的不確定性進行量化。

幾何模型通常用于經過深度預處理的數據，揭示其幾何結構。數據通常是根據原始數據估計的，而原始數據存在誤差和不確定性。Aasa 希望 2022 年有更多工作開始評估原始數據的不確定性對我們直接處理的數據的影響，以及這種不確定性應該如何傳播到模型上。Aasa 希望能夠將測量誤差納入對非歐數據的分析，努力打破統計和深度學習之間的鴻溝。

03

消息傳遞仍然是 GNN 的主導范式

Haggai Maron：

「我希望子圖 GNN 以及相應的重構猜想這一研究方向在新的一年里成果豐碩。」——Haggai Maron，英偉達研究科學家

由于等價于 Weisfeiler-Lehman 測試，圖機器學習領域遭遇到了消息傳遞范式的根本限制。Michael Brostein 在 2021 年預測道：想要繼續發展圖機器學習，就需要脫離 2020 年及之前在占據主導地位的消息傳遞機制。如今，這一預測在一定程度上得以實現。然而，盡管 2021 年已經出現了一些表達能力更強的 GNN 架構，但其中大多數仍然停留在消息傳遞機制的范圍內。

最近，一些研究者使用子圖來提高 GNN 的表達能力。Haggai Maron 曾指出：「子圖 GNN」底層的想法是將圖表示為其子結構的集合，在 Kelly 和 Ulam 在上世紀 60 年代有關圖重建猜想的工作就可以發現這一主題。如今，同樣的思想被用來構造富有表達能力的 GNN，而 GNN 的相關工作反過來又催生了新的、更精細的重構猜想。

04

微分方程催生了新的 GNN 架構

圖注：2021 年，一些研究工作通過離散擴散偏微分方程推導圖神經網絡。

Pierre Vandergheynst：

「這提出了一種新的觀點，讓我們可以使用 GNN 為下游機器學習任務提取有意義的信息，并將關注焦點從支撐信息的域轉移到使用圖作為針對信號的計算的支撐。」——Pierre Vandergheynst，洛桑聯邦理工學院

通過用微分方程表示的物理系統動力學重新構建圖上的學習，是 2021 年的另一個趨勢。正如常微分方程是理解殘差神經網絡的強大工具一樣（「Neural ODEs」被評為 NeurIPS 2019 的最佳論文），偏微分方程可以在圖上建立信息傳播的模型。我們可以通過迭代的數值計算求解這樣的偏微分方程，從而恢復出許多標準的 GNN 架構。此時，我們將圖看作對連續對象的離散化表示：

Pierre 認為，在 2022 年，使用圖作為針對給定數據集執行局部連貫的計算、交換信息的機制，并且關注數據的整體屬性，將成為一種新的趨勢。這將在無監督、零樣本學習領域激發人們的興趣。

05

信號處理、神經科學和物理學領域的舊觀點煥發新生

許多現代的 GNN 方法都起源于信號處理領域。圖信號處理（GSP）之父 Pierre Vandergheynst 從這個角度為圖機器學習方法的發展提供了一個有趣的視角：

圖信號處理對數字信號處理的擴展體現在兩個方面：（1）推廣了支撐信息的域。傳統的數字信號處理定義在低維歐式空間上，圖信號處理將其定義在了復雜得多、但是結構化的對象上。我們可以用圖（例如，網絡、網格曲面）來表示這些對象。（2）使用圖（某種最近鄰），從而拋開結構化域，直接處理一些數據集，表示樣本之間的相似性。這背后的思想是，標簽域繼承了一些可以使用圖定義并通過適當轉換捕獲的規律。因此，圖可以支撐整個數據集上的局部計算。GNN 中的一些有趣的思路可以追溯到這些早先的動機，2021 年有一些亮點工作延續了這一趨勢。 **

**

Pierre Vandergheynst：

「經典線性變換（例如，傅里葉變換、小波變換）提給出了一個具有某些數學特性（例如，平滑信號具有低頻傅里葉系數，分段平滑信號具有稀疏、局部的小波稀疏）的通用潛空間」——Pierre Vandergheynst，洛桑聯邦理工學院

過去，研究者們通過構建線性變換來揭示信號的特性。物理學家在設計基于群作用的不同對稱的等價變換方面尤為領先。這些群作用包括，仿射群上的小波變換、Weyl-Heisenberg 群的線性時頻分析等。關于數學物理中相干態領域的工作提出了一種通用的解決方法：通過使用群表示對函數進行參數化，從而構建某種線性變換。2021 年，一些出色的論文進一步引入了非線性和可學習的參數化函數，賦予了 GNN 對稱性，使它們在物理或化學問題中大放異彩：

圖注：群表示是一種信號處理和物理學領域的傳統工具，使我們可以推導出可以應用于流形的坐標無關的深度學習架構。

Pierre 認為，由于某些應用需求、適應性和可解釋性之間權衡（結構化變換域適應性較差但可解釋性很強，GNN 可以在二者之間取得很好的平衡），構建結構化潛空間的趨勢將會在 2022 年得以延續。

在傳統上，神經科學與信號處理密切相關。事實上，我們通過分析大腦傳遞的電信號來了解動物如何感知其周圍的世界。

Kim Stachenfeld：

「我的研究背景是計算神經科學，我首次在研究中用到圖是因為我希望表示任何動物如何學習結構。」——Kim Stachenfeld，DeepMind 研究科學家

我們可以通過圖這種數學對象來分析任何動物如何表示通過獨立的經驗片段獲取的相關概念，并將其拼接成一個全局連貫的、集成的知識體系。

2021 年，一些研究將神經網絡的局部操作和底層或內在的集合表征相結合。例如，一些有關 GNN 中不變性的工作使 GNN 可以利用圖結構以外的幾何和對稱性。此外，使用圖拉普拉斯特征向量作為圖 Transformer 的位置編碼，使 GNN 可以在不受其約束的條件下，利用關于內在、低維幾何性質的信息。

Kim 對 GNN 在神經科學和更廣闊的領域中的應用感到十分興奮，尤其是在超大規模真實數據上的應用。例如，使用 GNN 預測交通狀況、對復雜物理動力學進行仿真、解決超大規模圖上的問題。將 GNN 用于神經數據分析的工作也紛紛涌現。這些問題對現實世界產生影響，它們要求模型能夠高效擴展并泛化，同時仍然能夠捕獲真正的復雜的動力學。GNN 的優化目標是對結構和表達能力的平衡。

06

對復雜系統建模不僅需要圖

Tina Eliassi-Rad：

「2021 年諾貝爾物理學獎授予了對復雜系統的研究。從根本上說，復雜系統是由實體及其之間的交互組成的。復雜系統通常被表示為復雜網絡，而這為圖機器學習提供了動力。」——Tina Eliassi-Rad，東北大學教授

隨著圖機器學習逐漸成熟，我們需要仔細分析以不同形式體現的系統依賴（例如，子集、時間、空間），通用的數學表征（圖、單純復形、超圖），它們的底層假設。沒有完美的方法可以表示一個復雜系統，檢驗來襲一個系統的數據集時所作的建模決策可能并不一定能遷移到另一個系統上，甚至不能遷移到來自同一系統的另一個數據集上。然而，考慮與我們選擇的數學表示法相關的系統依賴，為圖機器學習指出了新的研究機會。

Pierre Vandergheynst：

圖并不能為所有的復雜系統提供適當的模型，我們需要圖之外的方式。2021 年，一些優秀的論文提出了通過圖的泛化獲取的新的結構化信息域。使用單純復形和代數拓撲的其它思想來構建新的神經網絡在理論和實踐上對 GNN 進行了提升。這一趨勢在 2022 年會延續下去，我們會深入研究通過代數拓撲或微分幾何提供的大量結構化數學對象。

圖注：將圖拓展到胞腔復形或單純復形，可以傳遞更復雜的拓撲消息，從而產生超越 WL 測試表達能力的 GNN 架構。

Cristian Bodanr：

「我們很可能會看到采用更奇特的數學對象，這些數學對象迄今為止還鮮為探索。我相信這些拓撲方法降維分析和理解 GNN 提供一套新的數學工具。」——Cristian Bodnar，劍橋大學博士

Cristian Bodnar 熱衷于代數研究拓撲和圖機器學習之間的聯系。在過去的一年中，單純復形和胞腔復形上的卷積和消息傳遞模型解決了許多 GNN 的缺陷（例如，檢測特定的子結構、捕獲長距離和高階交互、處理高階特征、跳出 WL 測試的層次）。他們在分子相關的問題、軌跡預測和分類等任務中取得了目前最優的結果。

2022 年，Cristian 預計這些方法將會擴展到令人激動的新應用上，例如：計算代數拓撲、鏈接預測、計算機圖形學，等。

Rose Yu：

「我對圖機器學習在學習時空動力學中扮演的角色感到十分興奮。」——Rose Yu，UCSD 助理教授

時空圖是一種重要的復雜網絡系統，它的結構會隨著時間演變。Rose 認為，COVID-19 預測、交通預測、軌跡建模等應用需要捕獲高度結構化的時序數據的復雜動力學。圖機器學習有能力捕獲時間序列、空間依賴之間的交互，以及動力學中的相關性。

2022 年，我們樂見時間序列和動態系統中的思想與圖機器學習融合。希望這些思想將催生新的模型設計、訓練算法，幫助我們更好地理解復雜動態系統的內在機制。圖神經網絡具有置換對稱性（不變性或等變性），對稱性發現是圖表示學習領域中一個被忽視的重要問題。但這種全局對稱性可能從根本上被限制，有一些優秀的工作將圖神經網絡推廣到置換之外的對稱群和局部對稱中。我們希望看到更多關于圖神經網絡對稱性的研究。

參考文獻： [1] M. Bogu?á et al., Network geometry (2021) Nature Reviews Physics 3:114–135. [2] Q. Liu, M. Nickel, D. Kiela, Hyperbolic Graph Neural Networks (2019) NeurIPS. [3] M. Law. Ultrahyperbolic Neural Networks (2021) NeurIPS. [4] Y. Zhang et al., Lorentzian Graph Convolutional Networks (2021) WWW. [5] V. G. Satorras, E. Hoogeboom, M. Welling, E(n) equivariant graph neural networks (2021) ICML.

在將近兩千年的時間里，“幾何學”一詞一直是歐幾里得幾何學的同義詞，因為沒有其他類型的幾何學存在。歐幾里得的壟斷地位在19世紀結束了，許多非歐幾里得幾何學的例子被展示出來。盡管如此，這些研究很快就分化成不同的領域，數學家們爭論不同幾何形狀之間的關系和定義一個幾何的是什么。菲利克斯·克萊因在他的Erlangen程序中提出了一種擺脫困境的方法，該程序提出將幾何學作為使用群論語言研究不變量或對稱性的方法。在20世紀，這些思想是發展現代物理學的基礎，最終形成了標準模型。

深度學習目前的狀態有點像19世紀的幾何學領域:一方面，在過去十年中，深度學習給數據科學帶來了一場革命，使許多以前被認為無法完成的任務成為可能，包括計算機視覺、圍棋或蛋白質折疊。同時，我們有各種各樣的神經網絡架構，但很少有統一的原則。就像過去一樣，很難理解不同方法之間的關系，不可避免地導致了對相同概念的再創造和再品牌。

幾何深度學習的目標是在Erlangen計劃的思想下為深度學習帶來幾何統一。它提供了一個共同的數學框架來研究最成功的神經網絡架構，如CNNs、RNNs、GNNs和transformer，并提供了一個建設性的過程來將先前的知識融入到神經網絡中，并以一種原則性的方式構建未來的架構。

在這次演講中，我將概述幾何深度學習在網格、圖形和流形上的數學原理，并展示這些方法在計算機視覺、社會科學、生物學和藥物設計領域的一些令人興奮和開創性的應用。

//www.epfl.ch/research/domains/cis/center-for-intelligent-systems-cis/events/colloquia-2/prof-michael-bronstein/

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關于幾何深度學習系統性總結的書，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注！

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中，我們做了一個適度的嘗試，將Erlangen項目的思維模式應用到深度學習領域，最終目標是獲得該領域的系統化和“連接點”。我們將這種幾何化嘗試稱為“幾何深度學習”，并忠實于Felix Klein的精神，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地，我們將重點放在一類用于分析非結構集、網格、圖和流形的神經網絡上，并表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法，也許還會發現一些令人驚訝的聯系。實踐者可以獲得如何解決各自領域問題的新見解。

一些重要論述：

• 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質，并意識到，只要有一組合適的對稱，我們就可以等價它們，它們都可以用一個通用的幾何框架來表達。

• 更進一步，我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架，這表明框架可以很好地表達這些領域的最新進展，如球形CNN, SO(3)-變換器，和規范-等變網格CNNs。

• 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形，其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規范對稱來表現。

圖神經網絡(GNNs)是針對圖信號的信息處理體系結構。它們已經被開發出來，并在本課程中作為卷積神經網絡(CNNs)的推廣來介紹，它被用來在時間和空間上處理信號。這句話聽起來可能有些奇怪，這取決于你對神經網絡(NNs)和深度學習的了解程度。CNN不就是NN的特例嗎?GNN不也是這樣嗎?從嚴格意義上說，它們是存在的，但我們這門課的重點是涉及高維信號的大規模問題。在這些設置中，神經網絡無法伸縮。CNN為信號在時間和空間上提供可擴展的學習。GNNS支持圖信號的可擴展學習。

在本課程中，我們將在學習單特征和多特征GNN之前，介紹圖卷積濾波器和圖濾波器組。我們還將介紹相關的架構，如經常性的GNN。特別的重點將放在研究GNN的排列的等方差和圖變形的穩定性。這些特性提供了一個解釋的措施，可以觀察到的良好性能的GNNs經驗。我們還將在大量節點的極限范圍內研究GNN，以解釋不同節點數量的網絡間GNN的可遷移性。

//gnn.seas.upenn.edu/

Lecture 1: Machine Learning on Graphs 圖機器學習

圖神經網絡(GNNs)是一種具有廣泛適用性和非常有趣的特性的工具。可以用它們做很多事情，也有很多東西需要學習。在第一節課中，我們將回顧本課程的目標并解釋為什么我們應該關注GNN。我們還提供了未來的預覽。我們討論了在可擴展學習中利用結構的重要性，以及卷積是如何在歐幾里得空間中實現這一點的。我們進一步解釋如何將卷積推廣到圖，以及隨后將卷積神經網絡推廣到圖(卷積)神經網絡。

1.1 – Graph Neural Networks 圖神經網絡

在這門課程中，我希望我們能夠共同完成兩個目標。您將學習如何在實際應用程序中使用GNNs。也就是說，您將開發使用圖神經網絡在圖上表述機器學習問題的能力。你將學會訓練他們。你將學會評估它們。但你也會學到，你不能盲目地使用它們。你將學習到解釋他們良好的實證表現的基本原理。這些知識將允許您確定GNN適用或不適用的情況。

1.2 Machine Learning on Graphs: The Why 圖機器學習

我們關心GNN是因為它們使機器能夠在圖上學習。但我們為什么要關注圖機器學習呢?我們在這里詳述圖機器學習的原因。它為什么有趣?我們為什么要關心這個?我們關心的原因很簡單:因為圖表在信息處理中無處不在。

1.3 – Machine Learning on Graphs: The How

在討論了原因之后，我們來處理如何做。我們如何在圖上進行機器學習?這個問題的答案很簡單:我們應該使用神經網絡。我們應該這樣做，因為我們有豐富的經驗和理論證據證明神經網絡的價值。理解這些證據是本課程的目標之一。但在我們準備這么做之前，有一個潛在的阻礙因素:神經網絡必須利用結構來實現可擴展。

阿姆斯特丹大學Max Welling教授為你講解圖神經網絡發展趨勢

Max Welling教授是阿姆斯特丹大學機器學習研究主席和高通公司技術副總裁。他還被任命為加拿大高級研究所(CIFAR)的高級研究員。他是“Scyfer BV”的聯合創始人，該公司是深度學習領域的大學子公司，于2017年夏天被高通收購。在過去，他在加州理工學院(98- 00)，倫敦大學學院(00- 01)和多倫多大學(01- 03)擔任博士后。他于1998年在諾貝爾獎得主g.t Hooft教授的指導下獲得博士學位。Max Welling 2011-2015年擔任IEEE TPAMI副主編(影響因子4.8)。自2015年(機器學習領域最大的會議)以來，他擔任NIPS基金會的董事會成員，2013年和2014年分別擔任NIPS項目主席和一般主席。他也是2009年AISTATS和2016年ECCV的項目主席，以及2018年MIDL的總主席。他曾在JMLR和JML的編委會任職，并擔任神經計算、JCGS和TPAMI的副編輯。他獲得了來自谷歌，Facebook, Yahoo, NSF, NIH, NWO和ONR-MURI的多次資助，其中NSF在2005年的職業資助。他是2010年ECCV Koenderink獎的獲得者。Max Welling是阿姆斯特丹數據科學研究中心的董事會成員，他主管阿姆斯特丹機器學習實驗室(AMLAB)，并共同指導高通- UvA深度學習實驗室(QUVA)和博世- UvA深度學習實驗室(DELTA)。Max Welling在機器學習、計算機視覺、統計學和物理學方面發表了超過250篇科學論文，H指數為62。

//staff.fnwi.uva.nl/m.welling/

Graph Nets: The Next Generation - Max Welling

在這次演講中，我將介紹下一代的圖神經網絡。GNN具有對圖中節點的排列和圖的整體旋轉不變的特性。我們認為這是不必要的限制，在這次談話中，我們將探索這些GNN的擴展，以更靈活的等變結構。特別地，一般圖的自然圖網絡在節點排列下是全局等變的，但仍然可以通過本地消息傳遞協議執行。我們在流形上的mesh-CNNs在SO(2)規范變換下是等變的，因此，與常規的GNN不同，它具有非各向同性的核。最后，我們的SE(3)轉換器是局部消息傳遞GNN，對排列不變性，但對全局SE(3)變換是等價的。這些發展清楚地強調了幾何和對稱作為圖(或其他)神經網絡設計原則的重要性。

幾何深度學習

很多數據不是序列和歐幾里得分布的，而是球面圖網絡分布，那如何使用卷積在這些數據結構上？

概覽

結論

機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自帝國理工學院Michael Bronstein教授講述《幾何深度學習》，166頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。

地址： //mlss.tuebingen.mpg.de/2020/schedule.html

作者介紹 Michael Bronstein，倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人，CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。

幾何深度學習

在過去的幾年，深度學習方法在多個領域取得了前所未有的成就，比如計算機視覺和語言識別。目前研究者主要將深度學習方法應用于歐氏結構數據，然而有些非常重要的應用需要處理非歐氏空間結構的數據，比如圖和流形。這些幾何數據在許多任務重的重要性越來越多高，比如3D視覺、傳感網絡、藥品研發、生物醫藥、推薦系統以及各種web程序。深度學習在這些方面的應用有著明顯的滯后，這是因為處理的對象的非歐性質使得在深層網絡中對其基本操作的定義相當麻煩。

本教程的目的是介紹幾何深度學習在圖和流形數據上的最新成果，并綜述針對這些問題的解決方法、關鍵難點和未來的研究方向。