亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在科學研究中，從方法論上來講，都應“先見森林，再見樹木”。當前，人工智能學術研究方興未艾，技術迅猛發展，可謂萬木爭榮，日新月異。對于AI從業者來說，在廣袤的知識森林中，系統梳理脈絡，才能更好地把握趨勢。為此，我們精選國內外優秀的綜述文章，開辟“綜述專欄”，敬請關注。來源：知乎—努力努力再努力q

地址：//zhuanlan.zhihu.com/p/435040892

**聲明：**本文譯自教授Michael Bronstein在Medium上發布的博客。歡迎大家評論、批評指正翻譯中存在的任何問題。現代機器學習往往忽視了微分幾何和代數拓撲的相關知識，在本篇文章中，我會向讀者們展示如何以這兩個領域的相關知識為有力工具去重新解釋圖神經網絡以及圖神經網絡模型的一些共同困境。對稱性，無論我們考慮它的廣泛或者狹隘定義，它都是人類長久以來用于試圖理解和創造秩序、優美和完美的一種理念。Hermann Wey [1] 的這種富有詩意的描述強調了對稱性在科學研究中的基石作用。Felix Klein 在1872年的“Erlangen Programme”[2] 通過利用對稱性來描述了幾何學的特征，這不僅僅是數學上的突破，統一了幾何學領域而且還進一步導致了現代物理理論的發展，這些理論完全可以追溯到對稱的第一原理[3]。在幾何深度學習的發展中，類似的原理也出現在了機器學習中，幾何深度學習是通過組不變性和等方差性推導出大多數流行神經網絡架構的一般藍圖[4]。

圖神經網絡可以被視為幾何深度學習藍圖的一個特例，其構建組成是具有對稱群的域（在這種情況下特指具有置換群的圖）、域上的信號（節點特征）和此類信號的群-等變函數（消息傳遞）。幾何深度學習藍圖可以應用于不同的領域，例如結構化網格、非結構化網格或圖[5]。然而，雖然前兩者有明確的連續型模擬對象（結構化網格可以被認為是歐幾里德或更普遍的齊次空間如球體的離散化，而非結構化網格是二維流形的常見離散化），但對于圖卻沒有明確的的連續模擬對象[6]。這種不公平有點令人不安，并驅動我們仔細研究用于圖學習的連續模型。

Grid （結構化網格）、Mesh （非結構化網格）和圖是幾何深度學習藍圖中處理的領域的示例。然而，雖然前兩者具有連續類比（例如，結構化網格可以被視為歐幾里得空間的離散化，而非結構化網格是二維流形或曲面的常見離散化），但沒有針對圖的此類直接連續類比。

圖神經擴散----

圖神經網絡 (GNNs) 通過在圖上執行某種形式的消息傳遞來學習，特征在點與點之間依靠邊進行傳播。這種機制與圖上的擴散過程有關，可以用偏微分方程 (PDE) 的形式表示，稱為“擴散方程”。在最近的一篇論文 [7] 中，我們展示了這種具有非線性可學習擴散函數的 PDE 的離散化（稱為“圖神經擴散”或 GRAND）概括了一大類 GNN 架構，例如圖注意力網絡（GAT) [8]。PDE 思維方式提供了多種優勢，例如可以利用具有保證穩定性和收斂特性的高效數值求解器（例如隱式、多步、自適應和多重網格方案）。這些求解器中的一些在流行的 GNN 架構領域中沒有直接的類比，可能有望帶來新的有趣的圖神經網絡設計。由于我們考慮的擴散 PDE 可以被視為某些相關能量的梯度流 [9]，因此此類架構可能至少比典型架構更易于理解。同時，雖然 GRAND 模型在傳統 GNN 的層位置提供連續時間，但方程的空間部分仍然是離散的并且依賴于輸入圖。重要的是，在這個擴散模型中，域（圖）是固定的，并且在其上定義的一些屬性（特征）會演變。微分幾何中常用的一個概念是幾何流，它演化域本身的屬性 [10]。這個想法在 1990 年代被我的博士導師 Ron Kimmel 和他的合著者在圖像處理領域采納 [11]。他們將圖像建模為嵌入在聯合位置和顏色空間中的流形，并通過最小化嵌入的諧波能量的偏微分方程對其進行演化 [12]。這種稱為貝爾特拉米流的 PDE 具有各向同性非歐氏擴散的形式，并產生邊緣保留的圖像去噪。我們將此范式應用于“Beltrami 神經擴散”（BLEND）框架 [13] 中的圖形。圖的節點現在以位置和特征坐標為特征，兩者都是進化的，兩者都決定了擴散特性。在這種心態下，圖本身變成了一個輔助角色：它可以從位置坐標生成（例如作為 k 最近鄰圖）并在整個進化過程中重新連接。下圖說明了這個同步進化過程：

通過帶重新布線的 Beltrami 流對 Cora 圖的位置和特征分量的演變（顏色代表特征向量）。動畫：James Rowbottom。注：原文中有個非常漂亮的GIF動圖，由于尺寸過大超出知乎限制，請有心的同學們前往原文查看。如有解決方案也煩請告知，不勝感激。最近的工作格外關注圖神經網絡的表達能力問題。消息傳遞 GNNs 等效于 Weisfeiler-Lehman 圖同構測試 [14-16]，這是一種嘗試通過迭代顏色細化來確定兩個圖在結構上是否等效（“同構”）的經典方法。這個檢驗是必要但不充分的條件：事實上，Weisfeler-Lehman 可能認為一些非同構圖是等價的。下圖說明了傳遞 GNN 的消息“看到”了什么：兩個突出顯示的節點看起來無法區分，盡管圖顯然具有不同的結構：

Weisfeiler-Lehman 檢驗無法區分的兩個非同構圖的示例。圖改編自Sato [18]。

位置編碼----

解決此問題的常見方法是通過為節點分配一些表示圖中節點的角色或“位置”的附加特征來“著色”節點。在 Transformers [17]（它是在完整圖 [4] 上運行的注意力 GNN 的特例）中普及，位置編碼方法已成為增加圖神經網絡表達能力的常用方法。

位置編碼為圖的節點分配額外的特征，允許消息傳遞獲得比 Weisfeiler-Lehman 測試更高的表達能力。然而，在位置編碼的多種可能選擇中，沒有“規范”的。圖改編自Sato[18]。也許最直接的方法是賦予每個節點一個隨機特征[18]；然而，雖然更具表現力，但這種方法的泛化能力較差（因為不可能在兩個圖中重現隨機特征）。圖拉普拉斯算子 [19] 的特征向量提供了圖的鄰域保留嵌入，并已成功用作位置編碼。最后，我們在與 Giorgos Bouritsas 和 Fabrizio Frasca [20] 的論文中表明，圖的子結構計數可以用作位置或“結構”編碼的一種形式，可以證明它比基本的 Weisfeiler-Lehman 測試更強大。然而，對于位置編碼有多種選擇，如何選擇一個沒有明確的方法，也沒有明確的答案在哪種情況下哪種方法更有效。我相信像 BLEND 這樣的幾何流可以根據這個問題來解釋：通過非歐式擴散演化圖的位置坐標，位置編碼適用于下游任務。因此，答案是“視情況而定”：最佳位置編碼是手頭數據和任務的函數。

高階消息傳遞----

表達性的另一種選擇是停止從節點和邊的角度考慮圖。圖是被稱為細胞復合體的對象的例子，細胞復合體是代數拓撲領域的主要研究對象之一。在這個術語中，節點是 0-cells，邊是 1-cells。不必止步于此：我們可以構建如下圖所示的 2 個單元格（面），這使得我們之前示例中的兩個圖完全可區分：

在最近與 Cristian Bodnar 和 Fabrizio Frasca [21-22] 合著的兩篇論文中，我們表明有可能構建一種“提升變換”，用這種高階單元來增強圖，在其上可以執行更復雜的形式 的分層消息傳遞。這個方案可以證明比 Weisfeiler-Lehman 測試更具表現力，并且在計算化學中顯示出有希望的結果，其中許多分子表現出更好地建模為細胞復合物而不是圖形的結構。GNNs 的另一個常見困境是“過度擠壓”現象，或者由于輸入圖的某些結構特征（“瓶頸”）而導致消息傳遞無法有效傳播信息[23]。過度擠壓通常發生在體積呈指數增長的圖中，例如小世界網絡 [24] 以及依賴于遠程信息的問題。換句話說，GNN 在其上運行的輸入圖并不總是對消息傳遞友好。

“小世界”圖中快速增長的鄰居數量通常是 GNN 中觀察到的過度擠壓現象的根源。

過度擠壓、瓶頸和圖重繪----

根據經驗，觀察到將輸入圖與計算圖解耦并允許在不同的圖上傳遞消息有助于緩解問題；這種技術通常被稱為“圖重繪”。公平地說，許多流行的 GNNs 架構都實現了某種形式的圖重新布線，可以采用鄰域采樣（最初在 GraphSAGE 中提出以應對可擴展性 [25]）或多跳過濾器 [26] 的形式。上面討論的拓撲消息傳遞也可以看作是一種重新布線的形式，從而可以通過高階單元“捷徑”地在遠距離節點之間傳輸信息。Alon 和 Yahav [23] 表明，即使像使用全連接圖這樣簡單的方法也可能有助于改善圖機器學習問題中的過度擠壓。Klicpera 和合著者熱情地宣稱“擴散改進了圖學習”，提出了 GNNs（稱為“DIGL”）的通用預處理步驟，包括通過擴散過程對圖的連通性進行去噪 [27]。總體而言，盡管進行了重要的實證研究，但過度擠壓現象一直難以捉摸且理解不足。在最近的一篇論文 [28] 中，我們表明導致過度擠壓的瓶頸可歸因于圖的局部幾何特性。具體來說，通過定義 Ricci 曲率的圖類比，我們可以證明負彎曲的邊是罪魁禍首。這種解釋導致了類似于“反向 Ricci 流”的圖形重新布線程序，該程序通過外科手術去除了有問題的邊，并生成了一個更適合消息傳遞的圖形，同時在結構上與輸入的圖形相似。

使用基于擴散的方法（DIGL，中）和基于曲率的方法（Ricci，右）重新連接康奈爾圖（左）的示例。基于曲率的方法更顯著地減少了瓶頸，同時更忠實于原始圖結構。這些例子表明微分幾何和代數拓撲為圖機器學習中的重要和具有挑戰性的問題帶來了新的視角。在本系列的后續文章中，我將更詳細地展示如何使用這些領域的工具來解決圖神經網絡的上述問題。第二部分將討論代數拓撲如何提高 GNN 的表達能力。第三部分將處理幾何擴散偏微分方程。第四部分將展示過度擠壓現象如何與圖曲率相關，并提供一種受 Ricci 流啟發的圖形重新布線的幾何方法。

[1] H. Weyl, Symmetry (1952), Princeton University Press. [2]F. Klein, Vergleichende Betrachtungen über neuere geometrische Forschungen (1872). [3] J. Schwichtenberg, Physics from symmetry (2018), Springer. [4] M. M. Bronstein, J. Bruna, T. Cohen, and P. Veli?kovi?, Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges (2021); see an accompanying post and the project website. [5] In the above GDL proto-book, we call these the “5G” of Geometric Deep Learning. [6] Geometric graphs naturally arise as discrete models of objects living in a continuous space. A prominent example is molecules, modeled as graphs where every node represents an atom with 3D spatial coordinates. On the other hand, it is possible to embed general graphs into a continuous space, thus (approximately) realising their connectivity using the metric structure of some space. [7] B. Chamberlain, J. Rowbottom et al., GRAND: Graph Neural Diffusion (2021) ICML. [8] P. Veli?kovi? et al., Graph Attention Networks (2018) ICLR.[9] A gradient flow can be seen as a continuous analogy of gradient descent in variational problems. It arises from the optimality conditions (known in the calculus of variations as Euler-Lagrange equations) of a functional. [10] Geometric flows are gradient flows of functionals defined on manifolds. Perhaps the most famous of them is the Ricci flow, used by Grigori Perelman in the proof of the century-old Poincaré conjecture. Ricci flow evolves the Riemannian metric of the manifold and is structurally similar to the diffusion equation (hence often, with gross simplification, presented as “diffusion of the metric”). [11] N. Sochen et al., A general framework for low-level vision (1998) IEEE Trans. Image Processing 7(3):310–318 used a geometric flow minimising the embedding energy of a manifold as a model for image denoising. The resulting PDE is a linear non-euclidean diffusion equation ? = Δx (here Δ is the Laplace-Beltrami operator of the image represented as an embedded manifold), as opposed to the nonlinear diffusion ? = div(a(x)?x) used earlier by P. Perona and J. Malik, Scale-space and edge detection using anisotropic diffusion (1990) PAMI 12(7):629–639. [12] Beltrami flow minimises a functional known in string theory as the Polyakov action. In the Euclidean case, it reduces to the classical Dirichlet energy.

幾何機器學習和基于圖的機器學習是當前最熱門的研究課題之一。在過去的一年中，該領域的研究發展迅猛。在本文中，幾何深度學習先驅 Michael Bronstein 和 Petar Veli?kovi? 合作，采訪了多位杰出的領域專家，總結了該領域過去一年中的研究亮點，并對該方向在 2022 年的發展趨勢進行了展望。

本文編譯自//towardsdatascience.com/predictions-and-hopes-for-geometric-graph-ml-in-2022-aa3b8b79f5cc#0b34

作者：Michael Bronstein 牛津大學DeepMind人工智能教授、Twitter圖機器學習負責人

編譯：熊宇軒

01

要點概述

1. 幾何在機器學習中變得越來越重要。 微分幾何和同源場為機器學習研究引入了新的思想，包括利用了對稱性和類似于圖中的曲率的新等變圖神經網絡（GNN）架構，以及在深度學習模型中理解和利用不確定性。

2. 消息傳遞仍然是 GNN 的主導范式。 在 2020 年，研究社區意識到了了消息傳遞 GNN 的不足之處，并尋求這種范式之外的更具表現力的架構。2021 年，很明顯，消息傳遞仍然占據主導地位，因為有的研究工作表明，將 GNN 應用于子圖可以獲得更好的表達能力。

3. 微分方程催生了新的 GNN 架構。NeuralODE 的趨勢擴展到了圖機器學習領域。一些工作說明了如何將 GNN 模型形式化定義為連續微分方程的離散形式。在短期內，這些工作將催生新的可以規避 GNN 中的常見問題（如過平滑和過壓縮）的架構。從長遠來看，我們可能會更好地理解 GNN 的工作原理，以及如何使它們更具表現力和可解釋性。

4. 信號處理、神經科學和物理學領域的舊思想煥發了新生。 許多研究者認為，圖信號處理重新點燃了最近對圖機器學習的興趣，并為該領域提供了第一套分析工具（例如，廣義傅里葉變換和圖卷積）。表征理論等其它經典信號處理和物理學中的基本技術已經在2021年取得了一些重要進展，并仍有很大的潛力。

5. 為復雜系統建模不僅需要圖。 2021 年的諾貝爾物理學獎授予 Giorgio Parisi，以表彰他對復雜系統的研究。雖然，這樣的系統通常可以被基本地抽象為圖。但我們有時必須考慮非成對關系和動態行為等更復雜的結構。2021 年的多項工作討論了動態關系系統，并展示了如何將 GNN 擴展到高階結構（如傳統上在代數拓撲領域處理的細胞和單純復雜結構）。我們可能會看到機器學習更多地采用該領域的其它思想。

6. 在圖機器學習領域中，推理、公理化和泛化的問題仍然是重要的有待解決的問題。 在這一年中，我們看到了受算法推理啟發的 GNN 架構的持續進步，以及在圖結構任務上更魯棒的與分布外泛化（OOD）相關的工作。如今，我們有了與廣義 Bellman-Ford 算法顯式一致的知識圖譜推理器，以及利用分布偏移的顯式因果模型的圖分類器。可以說，這些都是未來具有廣闊前景的更魯棒、更通用的 GNN 的發展方向。在2022年，這其中許多的課題可能將取得很大的進展。

7. 圖在強化學習中越來越流行，但可能還有很大的探索空間。 也許并不令人意外的是，強化學習中存在許多有關圖和對稱性的問題（通常在強化學習智能體的結構中，或在對環境的表征中）。2021 年，有一些研究方向試圖利用這種結構，并取得了不同程度的成功。我們現在對如何在強化學習中利用這些對稱性有了更好的理解（包括在多智能體系統中）。然而，將智能體建模為圖似乎不需要嚴格地使用圖結構。盡管如此，我們相信，圖和幾何賦能的強化學習在 2022 年具有廣闊的發展前景。

8. AlphaFold 2 是幾何機器學習領域的重要成果，也是結構生物學領域的范式轉變。 20 世紀 70 年代，諾貝爾化學獎得主 Christian Anfinsen 提出了預測蛋白質三維折疊結構的可能性。這是一項非常困難的計算任務，是結構生物學領域的「圣杯」。2021年，DeepMind 的 AlphaFold 2 打破了該問題之前的記錄，取得了讓領域專家們信服的準確率，并得到了廣泛的應用。AlphaFold 2 的核心正是一個基于等變注意力機制的幾何架構。

9. GNN 及其與 Transformer 模型的融合助力了藥物研發和設計。 實際上，GNN 的起源可以追溯到 20 世紀 90 年代的計算化學工作。因此，分子圖的分析是最流行的 GNN 應用之一，也就不足為奇了。2021 年，這一領域取得了持續的顯著進展，涌現出了數十個新架構和幾項超越對比基準的成果。將 Transformer 應用于圖數據也取得了巨大的成功，它有望模擬 Transformer 架構在自然語言處理領域成功的關鍵之處：能夠跨任務泛化的大型預訓練模型。

10. 人工智能主導的藥物發現技術越來越多地使用了幾何和圖機器學習。 AlphaFold 2 和分子圖神經網絡的成功讓人類距離通過人工智能設計新藥的夢想更近了一步。Alphabet 的新公司 Isomorphic Labs 標志著工業界「壓寶」于這項技術。然而，為了實現這類夢想，對分子間的相互作用建模是必須解決的重要前沿課題。

11. 基于圖的方法也助力了量子機器學習。 對于機器學習領域的大多數專家來說，量子機器學習仍然是一個神器的小眾方向，但隨著量子計算硬件的逐漸普及，它很快就成為了現實。Alphabet X 最近的工作顯示了圖結構歸納偏置在量子機器學習架構中的優勢，他們結合了這兩個貌似不相關的領域。從長遠來看，由于量子物理系統通常擁有豐富而深奧的群對稱性，我們可以將這種性質用于量子結構設計，幾何可能會扮演更重要的角色。

2021 年，幾何和基于圖的機器學習方法出現在一系列備受矚目的應用中

**

**

02

幾何在機器學習中的重要性與日俱增

如果我們必須選擇一個詞，它在 2021 年遍布圖表示學習的幾乎每個領域，毫無疑問，「幾何」一詞將是首選。

Melanie Weber：

「在過去的一年里，我們看到許多經典的幾何思想以新的方式在圖機器學習領域中得以應用」——Melanie Weber，牛津大學數學研究所 Hooke 研究員

Melanie 認為：值得注意的例子包括利用對稱性更高效地學習模型，最優傳輸相關概念的應用，或在表示學習中使用微分幾何中的曲率概念。

最近，人們對理解關系型數據的幾何特性和利用這些信息學習良好的（歐氏或非歐）表征產生了濃厚的興趣[1]。這催生了許多對特定幾何編碼的 GNN 架構。值得注意的例子是雙曲 GNN 模型[2]，該模型于 2019 年底作為學習層次化數據的高效表征的工具被首次提出。在過去的一年里，出現了大量的新模型和架構，它們能夠更高效地學習雙曲表征，或者能捕獲更復雜的幾何特征[3, 4]。此外，還有一類工作利用了等變性和對稱性等幾何信息[5]。

圖注：今年，在圖神經網絡領域，我們看到了幾何技術的激增。例如，等變信息傳遞在小分子性質預測、蛋白質折疊等生化應用中起到了關鍵作用。

Melanie 進一步研究了微分幾何，指出它在 2022 年存在許多潛在的應用方向：離散微分幾何（研究圖或單純復形等離散結構的幾何）已被用于分析 GNN。離散曲率概念是表征離散結構局部和整體幾何性質的重要工具。Topping 等人在論文「Understanding over-squashing and bottlenecks on graphs via curvature」中提出了曲率在圖機器學習中的一種重要應用[6]，在圖重連的背景下研究離散 Ricci 曲率，作者提出了一種新的方法來緩解 GNN 中的過壓縮效應。未來，離散曲率很可能與圖機器學習中的其它結構和拓撲問題聯系在一起。

Melanie 希望這些課題將在 2022 年繼續影響該領域，被應用于更多的圖機器學習任務。這可能會推動計算方面的進步，從而減輕實現非歐算法的計算挑戰，傳統的針對歐式數據設計的工具很難勝任這些工作。此外，離散曲率等幾何工具的計算成本很高，因此很難將它們集成到大規模應用中。計算技術的進步或專用程序庫的發展可以使相關從業者更容易使用這些幾何思想。

Pim de Haan：

「圖神經網絡設計者越來越重視圖豐富的對稱結構。」——Pim de Haan，阿姆斯特丹大學博士生

傳統上，GNN 采用具有置換不變性的消息傳遞方式，后來的工作利用群與表示理論構造節點置換群表示之間的等變映射。最近，類比于流形的局部對稱性（稱為度規對稱性），我們開始研究由同構子圖產生的圖的局部對稱性。我們發現應該用對稱理論而不是群分析某些圖中的問題，將對稱性整合到神經網絡架構中可以提高某些圖機器學習任務（例如，分子預測）的性能。

圖注：圖機器學習研究者利用圖中豐富的對稱結構。

Pim 預測道：在新的一年里，我希望看到范疇論成為一種廣泛應用于神經網絡的設計語言。這將給我們提供一種形式化的語言來討論和利用比以前更復雜的對稱。特別是，我很高興看到它被用于處理圖的局部和近似對稱，結合點云的幾何和組合結構，并幫助我們研究因果圖的對稱性。”

Francesco Di Giovanni：

「盡管圖是不可微的，但是許多在流形分析中被成功應用的思想正逐漸出現在 GNN 領域中。」——Francesco Di Giovanni，Twitter 機器學習研究員

Francesco 對偏微分方程方法特別感興趣，這種方法最初被用于研究曲面，Francesco 等人用它來處理圖像。他們探索了「圖重連」的思路，「圖重連」指的是對底層鄰接關系的修改，它屬于對幾何流方法的拓展。此外，他們還利用基于邊的曲率的新概念來研究 GNN 中的過壓縮問題，并提出了一種圖重連方法。對于保持和破壞對稱形式的分子，幾何也被認為是將 GNN 應用于分子的關鍵因素。

Francesco 認為，這個領域的研究剛剛興起。圖重連技術將可能在解決消息傳遞的一些主要缺陷方面發揮作用，這些缺陷包括在異類數據集上的性能和處理長距離依賴關系。我們希望能很快彌平在圖上的卷積和流形上的卷積之間的概念上的較大差異，這可能會導致下一代 GNN 的出現。最后，Francesco 很高興看到幾何變分方法進一步揭示了 GNN 內在的動力學，并希望能夠提供更有原則的方法來設計新的 GNN 架構、比較現有的架構。

圖注：Ricci 曲率、幾何流等微分幾何領域的概念被用于圖機器學習，改進 GNN 中的信息流。

Aasa Feragen:

**

**

「人們希望通過微分幾何等數學理論為那些精確的公式中存在非線性幾何的問題給出有理有據的解決方案。」——Aasa Feragen，哥本哈根大學助理教授

Aasa 認為，微分幾何在理解和利用深度學習模型的不確定性方面發揮著基礎性的作用。例如，使用模型不確定性生成數據的幾何表示，揭示在標準歐式表征下仍然十分模糊的生物信息。另一個例子是，利用由局部有向數據編碼的黎曼幾何對結構化的大腦連接的不確定性進行量化。

幾何模型通常用于經過深度預處理的數據，揭示其幾何結構。數據通常是根據原始數據估計的，而原始數據存在誤差和不確定性。Aasa 希望 2022 年有更多工作開始評估原始數據的不確定性對我們直接處理的數據的影響，以及這種不確定性應該如何傳播到模型上。Aasa 希望能夠將測量誤差納入對非歐數據的分析，努力打破統計和深度學習之間的鴻溝。

03

消息傳遞仍然是 GNN 的主導范式

Haggai Maron：

「我希望子圖 GNN 以及相應的重構猜想這一研究方向在新的一年里成果豐碩。」——Haggai Maron，英偉達研究科學家

由于等價于 Weisfeiler-Lehman 測試，圖機器學習領域遭遇到了消息傳遞范式的根本限制。Michael Brostein 在 2021 年預測道：想要繼續發展圖機器學習，就需要脫離 2020 年及之前在占據主導地位的消息傳遞機制。如今，這一預測在一定程度上得以實現。然而，盡管 2021 年已經出現了一些表達能力更強的 GNN 架構，但其中大多數仍然停留在消息傳遞機制的范圍內。

最近，一些研究者使用子圖來提高 GNN 的表達能力。Haggai Maron 曾指出：「子圖 GNN」底層的想法是將圖表示為其子結構的集合，在 Kelly 和 Ulam 在上世紀 60 年代有關圖重建猜想的工作就可以發現這一主題。如今，同樣的思想被用來構造富有表達能力的 GNN，而 GNN 的相關工作反過來又催生了新的、更精細的重構猜想。

04

微分方程催生了新的 GNN 架構

圖注：2021 年，一些研究工作通過離散擴散偏微分方程推導圖神經網絡。

Pierre Vandergheynst：

「這提出了一種新的觀點，讓我們可以使用 GNN 為下游機器學習任務提取有意義的信息，并將關注焦點從支撐信息的域轉移到使用圖作為針對信號的計算的支撐。」——Pierre Vandergheynst，洛桑聯邦理工學院

通過用微分方程表示的物理系統動力學重新構建圖上的學習，是 2021 年的另一個趨勢。正如常微分方程是理解殘差神經網絡的強大工具一樣（「Neural ODEs」被評為 NeurIPS 2019 的最佳論文），偏微分方程可以在圖上建立信息傳播的模型。我們可以通過迭代的數值計算求解這樣的偏微分方程，從而恢復出許多標準的 GNN 架構。此時，我們將圖看作對連續對象的離散化表示：

Pierre 認為，在 2022 年，使用圖作為針對給定數據集執行局部連貫的計算、交換信息的機制，并且關注數據的整體屬性，將成為一種新的趨勢。這將在無監督、零樣本學習領域激發人們的興趣。

05

信號處理、神經科學和物理學領域的舊觀點煥發新生

許多現代的 GNN 方法都起源于信號處理領域。圖信號處理（GSP）之父 Pierre Vandergheynst 從這個角度為圖機器學習方法的發展提供了一個有趣的視角：

圖信號處理對數字信號處理的擴展體現在兩個方面：（1）推廣了支撐信息的域。傳統的數字信號處理定義在低維歐式空間上，圖信號處理將其定義在了復雜得多、但是結構化的對象上。我們可以用圖（例如，網絡、網格曲面）來表示這些對象。（2）使用圖（某種最近鄰），從而拋開結構化域，直接處理一些數據集，表示樣本之間的相似性。這背后的思想是，標簽域繼承了一些可以使用圖定義并通過適當轉換捕獲的規律。因此，圖可以支撐整個數據集上的局部計算。GNN 中的一些有趣的思路可以追溯到這些早先的動機，2021 年有一些亮點工作延續了這一趨勢。 **

**

Pierre Vandergheynst：

「經典線性變換（例如，傅里葉變換、小波變換）提給出了一個具有某些數學特性（例如，平滑信號具有低頻傅里葉系數，分段平滑信號具有稀疏、局部的小波稀疏）的通用潛空間」——Pierre Vandergheynst，洛桑聯邦理工學院

過去，研究者們通過構建線性變換來揭示信號的特性。物理學家在設計基于群作用的不同對稱的等價變換方面尤為領先。這些群作用包括，仿射群上的小波變換、Weyl-Heisenberg 群的線性時頻分析等。關于數學物理中相干態領域的工作提出了一種通用的解決方法：通過使用群表示對函數進行參數化，從而構建某種線性變換。2021 年，一些出色的論文進一步引入了非線性和可學習的參數化函數，賦予了 GNN 對稱性，使它們在物理或化學問題中大放異彩：

圖注：群表示是一種信號處理和物理學領域的傳統工具，使我們可以推導出可以應用于流形的坐標無關的深度學習架構。

Pierre 認為，由于某些應用需求、適應性和可解釋性之間權衡（結構化變換域適應性較差但可解釋性很強，GNN 可以在二者之間取得很好的平衡），構建結構化潛空間的趨勢將會在 2022 年得以延續。

在傳統上，神經科學與信號處理密切相關。事實上，我們通過分析大腦傳遞的電信號來了解動物如何感知其周圍的世界。

Kim Stachenfeld：

「我的研究背景是計算神經科學，我首次在研究中用到圖是因為我希望表示任何動物如何學習結構。」——Kim Stachenfeld，DeepMind 研究科學家

我們可以通過圖這種數學對象來分析任何動物如何表示通過獨立的經驗片段獲取的相關概念，并將其拼接成一個全局連貫的、集成的知識體系。

2021 年，一些研究將神經網絡的局部操作和底層或內在的集合表征相結合。例如，一些有關 GNN 中不變性的工作使 GNN 可以利用圖結構以外的幾何和對稱性。此外，使用圖拉普拉斯特征向量作為圖 Transformer 的位置編碼，使 GNN 可以在不受其約束的條件下，利用關于內在、低維幾何性質的信息。

Kim 對 GNN 在神經科學和更廣闊的領域中的應用感到十分興奮，尤其是在超大規模真實數據上的應用。例如，使用 GNN 預測交通狀況、對復雜物理動力學進行仿真、解決超大規模圖上的問題。將 GNN 用于神經數據分析的工作也紛紛涌現。這些問題對現實世界產生影響，它們要求模型能夠高效擴展并泛化，同時仍然能夠捕獲真正的復雜的動力學。GNN 的優化目標是對結構和表達能力的平衡。

06

對復雜系統建模不僅需要圖

Tina Eliassi-Rad：

「2021 年諾貝爾物理學獎授予了對復雜系統的研究。從根本上說，復雜系統是由實體及其之間的交互組成的。復雜系統通常被表示為復雜網絡，而這為圖機器學習提供了動力。」——Tina Eliassi-Rad，東北大學教授

隨著圖機器學習逐漸成熟，我們需要仔細分析以不同形式體現的系統依賴（例如，子集、時間、空間），通用的數學表征（圖、單純復形、超圖），它們的底層假設。沒有完美的方法可以表示一個復雜系統，檢驗來襲一個系統的數據集時所作的建模決策可能并不一定能遷移到另一個系統上，甚至不能遷移到來自同一系統的另一個數據集上。然而，考慮與我們選擇的數學表示法相關的系統依賴，為圖機器學習指出了新的研究機會。

Pierre Vandergheynst：

圖并不能為所有的復雜系統提供適當的模型，我們需要圖之外的方式。2021 年，一些優秀的論文提出了通過圖的泛化獲取的新的結構化信息域。使用單純復形和代數拓撲的其它思想來構建新的神經網絡在理論和實踐上對 GNN 進行了提升。這一趨勢在 2022 年會延續下去，我們會深入研究通過代數拓撲或微分幾何提供的大量結構化數學對象。

圖注：將圖拓展到胞腔復形或單純復形，可以傳遞更復雜的拓撲消息，從而產生超越 WL 測試表達能力的 GNN 架構。

Cristian Bodanr：

「我們很可能會看到采用更奇特的數學對象，這些數學對象迄今為止還鮮為探索。我相信這些拓撲方法降維分析和理解 GNN 提供一套新的數學工具。」——Cristian Bodnar，劍橋大學博士

Cristian Bodnar 熱衷于代數研究拓撲和圖機器學習之間的聯系。在過去的一年中，單純復形和胞腔復形上的卷積和消息傳遞模型解決了許多 GNN 的缺陷（例如，檢測特定的子結構、捕獲長距離和高階交互、處理高階特征、跳出 WL 測試的層次）。他們在分子相關的問題、軌跡預測和分類等任務中取得了目前最優的結果。

2022 年，Cristian 預計這些方法將會擴展到令人激動的新應用上，例如：計算代數拓撲、鏈接預測、計算機圖形學，等。

Rose Yu：

「我對圖機器學習在學習時空動力學中扮演的角色感到十分興奮。」——Rose Yu，UCSD 助理教授

時空圖是一種重要的復雜網絡系統，它的結構會隨著時間演變。Rose 認為，COVID-19 預測、交通預測、軌跡建模等應用需要捕獲高度結構化的時序數據的復雜動力學。圖機器學習有能力捕獲時間序列、空間依賴之間的交互，以及動力學中的相關性。

2022 年，我們樂見時間序列和動態系統中的思想與圖機器學習融合。希望這些思想將催生新的模型設計、訓練算法，幫助我們更好地理解復雜動態系統的內在機制。圖神經網絡具有置換對稱性（不變性或等變性），對稱性發現是圖表示學習領域中一個被忽視的重要問題。但這種全局對稱性可能從根本上被限制，有一些優秀的工作將圖神經網絡推廣到置換之外的對稱群和局部對稱中。我們希望看到更多關于圖神經網絡對稱性的研究。

參考文獻： [1] M. Bogu?á et al., Network geometry (2021) Nature Reviews Physics 3:114–135. [2] Q. Liu, M. Nickel, D. Kiela, Hyperbolic Graph Neural Networks (2019) NeurIPS. [3] M. Law. Ultrahyperbolic Neural Networks (2021) NeurIPS. [4] Y. Zhang et al., Lorentzian Graph Convolutional Networks (2021) WWW. [5] V. G. Satorras, E. Hoogeboom, M. Welling, E(n) equivariant graph neural networks (2021) ICML.

多年來，消息傳遞范式一直是圖上深度學習的“戰馬”，使圖神經網絡在從粒子物理到蛋白質設計的廣泛應用中取得了巨大成功。從理論角度來看，它建立了與Weisfeiler-Lehman層次結構的聯系，從而可以分析GNN的表達能力。我認為，當前圖形深度學習方案的“節點和邊緣為中心”的思維模式帶來了不可逾越的限制，阻礙了該領域未來的發展。作為另一種選擇，我提出了受物理啟發的“連續”學習模型，它從微分幾何、代數拓撲和微分方程領域中開辟了一個新的工具庫，到目前為止在圖ML中還沒有探索。

近幾年來,將深度學習應用到處理和圖結構數據相關的任務中越來越受到人們的關注．圖神經 網絡的出現使其在上述任務中取得了重大突破,比如在社交網絡、自然語言處理、計算機視覺甚至生命 科學等領域得到了非常廣泛的應用．圖神經網絡可以把實際問題看作圖中節點之間的連接和消息傳播 問題,對節點之間的依賴關系進行建模,從而能夠很好地處理圖結構數據．鑒于此,系統綜述了圖神經網絡模型以及應用．首先從譜域、空間域和池化３方面對圖卷積神經網絡進行了闡述．然后,描述了基于注意 力機制和自編碼器的圖神經網絡模型,并補充了一些其他方法實現的圖神經網絡．其次,總結了針對圖 神經網絡能不能做大做深等問題的討論分析．進而,概括了圖神經網絡的４個框架．還詳細說明了在圖 神經網絡在自然語言處理、計算機視覺等方面的應用．最后,對圖神經網絡未來的研究進行了展望和總 結．相較于已有的圖神經網絡綜述文章,詳細闡述了譜理論知識,并對基于譜域的圖卷積神經網絡體系 進行全面總結．同時,給出了針對空間域圖卷積神經網絡效率低的改進模型這一新的分類標準．并總結 了針對圖神經網絡表達能力、理論保障等的討論分析,增加了新的框架模型．在應用部分,闡述了圖神經 網絡的最新應用．

在過去幾年,深度學習已經在人工智能和機器 學習上取得了成功,給社會帶來了巨大的進步．深度 學習的特點是堆積多層的神經網絡層,從而具有更 好的學 習 表 示 能 力．卷 積 神 經 網 絡 (convolutional neuralnetwork,CNN)的飛速發展更是將深度學習 帶上了一個新的臺階[１Ｇ２]．CNN 的平移不變性、局部 性和組合性使其天然適用于處理像圖像這樣的歐氏 結構數據的任務中[３Ｇ４],同時也可以應用于機器學習 的其他各個領域[５Ｇ７]．深度學習的成功一部分源自于 可以從歐氏數據中提取出有效的數據表示,從而對 其進行高效的處理．另一個原因則是得益于 GPU 的 快速發展,使得計算機具有強大的計算和存儲能力, 能夠在大規模的數據集中訓練和學習深度學習模 型．這使得深度學習在自然語言處理[８]、機器視覺[９] 和推薦系統[１０]等領域都表現出了良好的性能．

但是, 現有的神經網絡只能對常規的歐氏結構 數據進行處理．如圖１(a)歐氏數據結構,其特點就是 節點有固定的排列規則和順序,如２維網格和１維 序列．而當前越來越多的實際應用問題必須要考慮 非歐氏數據,如圖１(b)非歐氏數據結構中節點沒有 固定的排列規則和順序,這就使得不能直接將傳統 的深度學習模型遷移到處理非歐氏結構數據的任務 中．如若直接將 CNN 應用到其中,由于非歐氏數據中心節點的鄰居節點數量和排列順序不固定,不滿 足平移不變性,這就很難在非歐氏數據中定義卷積 核．針對圖神經網絡(graphneuralnetwork,GNN) 的研究工作,最開始就是在如何固定鄰居節點數量 以及如何給鄰居節點排序展開的,比如 PATCHYＧ SAN [１１],LGCN [１２],DCNN [１３]方法等．完成上述２項 工作之后,非歐氏結構數據就轉化為歐氏結構數據, 然后就可以利用 CNN 處理．圖是具有點和邊的典型 非歐氏數據,在實際中可以將各種非歐氏數據問題 抽象為圖結構．比如在交通系統中,利用基于圖的學 習模型可以對路況信息進行有效的預測[１４]．在計算 機視覺中,將人與物的交互看作一種圖結構,可以對 其進行有效地識別[１５]。

近期已有一些學者對圖神經網絡及其圖卷積神經網絡分支進行了綜述[１６Ｇ１９]．本文的不同之處在于,首先由于經典模型是很多變體模型的基石,所以給 出了經典模型的理論基礎以及詳細推理步驟．在１．２ 節基于空間方法的圖卷積神經網絡中,多用圖的形 式列出模型的實現過程,使模型更加通俗易懂．文獻 [１６Ｇ１９]并未對目前廣大學者熱點討論的問題進行 總結,所以在第５節針對圖神經網絡的討論部分,首 次列出了目前研究學者對 GNN 的熱點關注問題, 比如其表達能力、過平滑問題等．然后,在第６節中 總結了圖神經網絡新框架．同時,針對圖神經網絡的 應用,在第７節中較全面地介紹了 GNN 的應用場 景．最后,列出了圖神經網絡未來的研究方向．在圖２ 中列出了本文的主體結構．

研究圖神經網絡對推動深度學習的發展以及人 類的進步具有重大意義．首先,現實中越來越多的問 題可以抽象成非歐氏結構數據,由于圖數據的不規 則性,傳統的深度學習模型已經不能處理這種數據, 這就亟需研究設計一種新的深度神經網絡．而 GNN 所處理的數據對象就是具有不規則結構的圖數據,GNN 便在這種大背景下應運而生[２０Ｇ２１]．然后,圖數 據的結構和任務是十分豐富的．這種豐富的結構和 任務也正是和人們生活中要處理的實際問題相貼合 的．比如,圖數據有異質性以及邊的有向連接特性, 這和推薦系統中的場景完全類似．圖數據處理任務 中節點級別、邊級別以及整圖級別也同樣可以應用到深度學習的各個應用場景中．所以,GNN 的研究 為解決生活中的實際問題找到了一種新的方法和途 徑．最后,GNN 的應用領域是十分廣泛的,能夠處理 各種能抽象成圖數據的任務．不管是在傳統的自然 語言處理領域[２２Ｇ２４]或者圖像領域[２５Ｇ２６],還是在新興 的生化領域[２７Ｇ２８],GNN都能表現出強大的性能．

１ 圖卷積神經網絡

CNN 已經在圖像識別、自然語言處理等多個領 域取得了不俗的成績,但其只能高效地處理網格和 序列等這樣規則的歐氏數據．不能有效地處理像社 交多媒體網絡數據、化學成分結構數據、生物蛋白數 據以及知識圖譜數據等圖結構的非歐氏數據．為此, 無數學者經過不懈努力,成功地將 CNN 應用到圖 結構的非歐氏數據上,提出了圖卷積神經網絡(graph convolutionalnetwork,GCN)．GCN 是 GNN 中一 個重要分支,現有的大多數模型基本上都是在此基 礎上變化推導而來．下面我們將按照從基于譜方法、 空間方法和池化３方面對 GCN 進行總結和概括．

2 基于注意力實現的圖神經網絡

注意力機制在處理序列任務已經表現出強大的 能力[６０],比如在機器閱讀和學習 句 子 表 征 的 任 務 中．其強大的優勢在于允許可變大小的輸入,然后利 用注意力機制只關心最重要的部分,最后做出決策處理．一些研究發現,注意力機制可以改進卷積方 法,從而可以構建一個強大的模型,在處理一些任務 時能夠取得更好的性能．為此,文獻[６１]將注意力機 制引入到了圖神經網絡中對鄰居節點聚合的過程 中,提出了圖注意力網絡(graphattentionnetworks, GAT)．在傳統的 GNN 框架中,加入了注意力層,從 而可以學習出各個鄰居節點的不同權重,將其區別對待．進而在聚合鄰居節點的過程中只關注那些作 用比較大的節點,而忽視一些作用較小的節點．GAT 的核心思想是利用神經網絡學習出各個鄰居節點的 權重,然后利用不同權重的鄰居節點更新出中心節 點的表示。

３ 基于自編碼器實現的圖神經網絡

在無監督學習任務中,自編碼器(autoencoder, AE)及其變體扮演者非常重要的角色,它借助于神 經網絡模型實現隱表示學習,具有強大的數據特征 提取能力．AE 通過編碼器和解碼器實現對輸入數 據的有效表示學習,并且學習到的隱表示的維數可 以遠遠小于輸入數據的維數,實現降維的目的．AE 是目前隱表示學習的首選深度學習技術,當我們把 具有某些聯系的原始數據(X１,X２,…,Xn)輸入到 AE中進行重構學習時,可以完成特征提取的任務． 自編碼器的應用場景是非常廣泛的,經常被用于數據去噪、圖像重構以及異常檢測等任務中．除此之 外,當 AE被用于生成與訓練數據類似的數據時, 稱之為生成式模型．由于 AE具有上述優點,一些學 者便將 AE 及其變體模型應用到圖神經網絡當中 來．文 獻 [６９]第 １ 個 提 出 了 基 于 變 分 自 編 碼 器 (variationalautoencoder,VAE)的變分圖自編碼器 模型 (variationalgraphautoencoder,VGAE),將 VAE應用到對圖結構數據的處理上．VGAE利用隱 變量學習出無向圖的可解釋隱表示,使用了圖卷積 網絡編碼器和一個簡單的內積解碼器來實現這個模 型．

4. 未來研究展望 GNN

雖然起步較晚, 但由于其強大的性能, 已經取得了不俗的表現, 并且也在例如計算機視覺和推薦系統等實際應用中發揮著巨大的作用．不難發現, GNN 確實更符合當前實際應用的發展趨勢, 所 以 在 近 幾 年 才 會 得 到 越 來 越 多 人 的 關 注．但 是, GNN 畢竟起步較晚,還沒有時間積累,研究的深度 和領域還不夠寬廣．目前來看,它依然面臨著許多亟 待解決的問題,本節總結了 GNN 以后的研究趨勢．

１) 動態圖．目前,GNN 處理的圖結構基本上都 是靜態圖,涉及動態圖結構的模型較少[１３８Ｇ１３９],處理 動態圖對 GNN 來說是一個不小的挑戰．靜態圖的 圖結構是靜態不變的,而動態圖的頂點和邊是隨機 變化的,甚至會消失,并且有時還沒有任何規律可 循．目前針對 GNN 處理動態圖結構的研究還是比 較少的,還不夠成熟．如果 GNN 能夠成功應用于動 態圖結構上,相信這會使 GNN 的應用領域更加寬 廣．將 GNN 模型成功地推廣到動態圖模型是一個 熱點研究方向．

２) 異質圖．同質圖是指節點和邊只有一種類型, 這種數據處理起來較容易．而異質圖則是指節點和 邊的類型不只一種,同一個節點和不同的節點連接 會表現出不同的屬性,同一條邊和不同的節點連接 也會表現出不同的關系,這種異質圖結構處理起來 就相對復雜．但異質圖卻是和實際問題最為貼切的 場景,比如在社交網絡中,同一個人在不同的社交圈 中可能扮演著父親、老師等不同的角色．對于異質圖 的研究還處在剛起步的階段[１４０Ｇ１４１],模型方法還不 夠完善．所以,處理異質圖也是將來研究的一個熱點．

３) 構建更深的圖神經網絡模型．深度學習的強 大優勢在于能夠形成多層的不同抽象層次的隱表 示,從而才能表現出優于淺層機器學習的強大優勢． 但對于圖深度學習來說,現有的圖神經網絡模型大 多還是只限于淺層的結構．通過實驗發現,當構造多 層的神經網絡時,實驗結果反而變差．這是由過平滑 現象造成的,GNN 的本質是通過聚合鄰居節點信息 來表征中心節點．當構造多層的神經網絡之后,中心 節點和鄰 居 節 點 的 差 異 就 會 變 得 微 乎 其 微,從 而 會導致分類結果變差．如何解決過平滑現象,使圖神 經網絡能夠應用于更多層的結構,從而發揮出深度 學習的強大優勢．雖然已有文獻對其進行了討論[９１], 但構建更深的圖神經網絡模型仍是值得深入研究的 問題．

４) 將圖神經網絡應用到大圖上．隨著互聯網的 普及,圖神經網絡處理的數據也變得越來越大,致使 圖中的節點數量變得巨大,這就給圖神經網絡的計 算帶來了不小的挑戰．雖然一些學者對該問題進行 了研究改進[１４２],但針對將圖神經網絡應用到大圖 上的研究同樣是將來研究的熱點問題,在這方面,引 入摘要數據結構,構造局部圖數據,并能適當地融合 局部圖結構,形成整體圖神經網絡的表示是可能的 思路．

５) 探索圖中更多有用的信息．在當前諸多學者 對于圖神經網絡模型的研究中,僅僅利用了圖中節 點之間有無連接這一拓撲結構信息．但是,圖是一個 非常復雜的數據結構,里面還有很多有用的信息未 被人們發現利用．比如,圖中節點的位置信息．中心 節點的同階鄰居節點處于不同位置,距離中心節點 的遠近不同應該會對中心節點產生的影響程度不 同．如果能夠探索出圖中更多的有用信息,必會將圖 神經網絡的性能提升一個層次,這是一個非常值得 探討的問題．

６) 設計圖神經網絡的數學理論保障體系．任何 神經網絡模型必須有強大的數學理論支撐才能發展 得更快,走得更遠．現在對于圖神經網絡模型的設 計,大多還只是依靠研究者的經驗和基于機理邏輯 設計出來的,并且對于圖神經網絡模型的性能分析 僅僅是從實驗結果中得來,并沒有從數學理論層面 給出 一 個 合 理 的 解 釋．目 前,該 領 域 已 有 一 些 研 究[９０Ｇ９１],但為圖神經網絡設計出強大的數學理論,指 導圖神經網絡的構造、學習和推理過程．能夠給出圖 神經網絡學習結果正確性的數學理論保障,仍是未 來發展的一個重要方向．

7. 圖神經網絡的工業落地．當前對于圖神經網 絡的研究大多還只是停留在理論層面,首先設計出模型,然后在公開數據集上進行測試驗證,鮮有把工 業的實際情況考慮在內．雖然圖神經網絡在工業上 已有一小部分的實際應用,但還遠沒有達到大規模 應用的程度．任何研究只有真正地在工業界落地,才 能發揮它的應用價值,反之也會促進其進一步的研 究發展．盡快將圖神經網絡應用到實際的工業場景 中,是一個亟需解決的問題．

在將近兩千年的時間里，“幾何學”一詞一直是歐幾里得幾何學的同義詞，因為沒有其他類型的幾何學存在。歐幾里得的壟斷地位在19世紀結束了，許多非歐幾里得幾何學的例子被展示出來。盡管如此，這些研究很快就分化成不同的領域，數學家們爭論不同幾何形狀之間的關系和定義一個幾何的是什么。菲利克斯·克萊因在他的Erlangen程序中提出了一種擺脫困境的方法，該程序提出將幾何學作為使用群論語言研究不變量或對稱性的方法。在20世紀，這些思想是發展現代物理學的基礎，最終形成了標準模型。

深度學習目前的狀態有點像19世紀的幾何學領域:一方面，在過去十年中，深度學習給數據科學帶來了一場革命，使許多以前被認為無法完成的任務成為可能，包括計算機視覺、圍棋或蛋白質折疊。同時，我們有各種各樣的神經網絡架構，但很少有統一的原則。就像過去一樣，很難理解不同方法之間的關系，不可避免地導致了對相同概念的再創造和再品牌。

幾何深度學習的目標是在Erlangen計劃的思想下為深度學習帶來幾何統一。它提供了一個共同的數學框架來研究最成功的神經網絡架構，如CNNs、RNNs、GNNs和transformer，并提供了一個建設性的過程來將先前的知識融入到神經網絡中，并以一種原則性的方式構建未來的架構。

在這次演講中，我將概述幾何深度學習在網格、圖形和流形上的數學原理，并展示這些方法在計算機視覺、社會科學、生物學和藥物設計領域的一些令人興奮和開創性的應用。

//www.epfl.ch/research/domains/cis/center-for-intelligent-systems-cis/events/colloquia-2/prof-michael-bronstein/

圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

導論

圖作為一種復雜的數據結構，由節點(或頂點)和邊(或鏈接)組成。它可以用于建模現實世界中的許多復雜系統，如社會網絡、蛋白質相互作用網絡、大腦網絡、道路網絡、物理相互作用網絡和知識圖等。因此，分析復雜網絡成為一個有趣的研究前沿。隨著深度學習技術的快速發展，許多學者采用深度學習體系結構來處理圖形。圖神經網絡(GNN)就是在這種情況下出現的。到目前為止，GNN已經發展成為一種流行和強大的計算框架，用于處理不規則數據，如圖形和流形。

GNN可以通過層次迭代算子學習任務特定的節點/邊/圖表示，從而利用傳統的機器學習方法執行與圖相關的學習任務，如節點分類、圖分類、鏈路預測和聚類等。盡管GNNs在圖形相關學習任務上取得了很大的成功，但他們仍然面臨著巨大的挑戰。首先，圖數據結構的復雜性給大型圖數據帶來了昂貴的計算代價。其次，擾動圖結構和/或初始特征會導致性能急劇下降。第三，wesfeiller - leman (WL)圖同構檢驗阻礙了GNNs的性能提升。最后，GNN的黑盒工作機制阻礙了將其安全部署到實際應用中。

本文將傳統的深度體系結構推廣到非歐氏域，總結了圖神經網絡的體系結構、擴展和應用、基準和評估缺陷以及未來的研究方向。到目前為止，已經對GNN進行了幾次調查。然而，他們通常從不同的角度、不同的側重點來討論GNN模型。據我們所知，關于GNN的第一次調查是由Michael M. Bronstein等人進行的。Peng Cui等[2]從三個方面綜述了應用于圖形的各種深度學習模型: 包括圖卷積神經網絡在內的半監督學習方法，包括圖自動編碼器在內的非監督學習方法，以及包括圖循環神經網絡和圖強化學習在內的最新進展。本研究側重于半監督學習模型，即空間圖和光譜圖卷積神經網絡，而對其他兩個方面的研究相對較少。由于篇幅有限，本調查只列出了GNNs的幾個關鍵應用，但忽略了應用的多樣性。孫茂松等人[3]從圖類型、傳播步驟和訓練方法三個方面詳細回顧了光譜和空間圖卷積神經網絡，并將其應用分為結構場景、非結構場景和其他場景三種場景。然而，這篇文章沒有涉及其他GNN架構，如圖形自動編碼器，圖形循環神經網絡和圖形生成網絡。Philip S. Yu等人[4]對圖神經網絡進行了全面的調查，并調查了可用的數據集、開源實現和實際應用。然而，對于每個研究主題，他們只列出了少量的核心文獻。Davide Bacciu等人[367]溫和地介紹了圖形數據的深度學習領域。本文的目的是介紹為圖數據構造神經網絡的主要概念和構建模塊，因此它沒有對最近的圖神經網絡工作進行闡述。

值得注意的是，上述所有調研都不涉及GNN的能力和可解釋性、概率推理和GNN的組合以及對圖的對抗攻擊。本文從架構、擴展和應用、基準測試和評估缺陷、未來研究方向四個方面為讀者提供了GNN的全景圖，如圖1所示。對于GNNs的結構，我們研究了圖卷積神經網絡(GCNNs)、圖池算子、圖注意機制和圖循環神經網絡(GRNNs)等方面的研究。通過對上述體系結構的集成，實現了GNNs的擴展和應用，展示了一些值得關注的研究課題。具體來說，這一視角包括深度圖表示學習、深度圖生成模型、概率推理(PI)和gnn的組合、GNN的對抗攻擊、圖神經結構搜索和圖強化學習和應用。綜上所述，本文對GNNs進行了完整的分類，并對GNNs的研究現狀和發展趨勢進行了全面的綜述。這些是我們與上述調查的主要不同之處。

我們的主要貢獻可以歸結為以下三個方面。

1. 我們提出了一種新的GNN分類方法，它有三個層次。第一個包括架構、基準測試和評估缺陷以及應用程序。體系結構分為9類，基準測試和評估缺陷分為2類，應用程序分為10類。此外，圖卷積神經網絡作為一種經典的GNN體系結構，又被分為6類。

2. 我們提供了GNN的全面回顧。所有的文獻都屬于相應的類別。希望讀者通過閱讀本概覽，不僅了解GNNs的全貌，而且了解GNNs的基本原理和各種計算模塊。

3.根據目前GNNs所面臨的挑戰，我們總結了未來四個研究方向，其中大部分在其他研究中沒有提及。希望通過克服這些挑戰，使GNNs的研究進入一個新的階段

未來研究方向：

盡管GNNs在許多領域取得了巨大的成功，但仍存在一些有待解決的問題。本節總結了GNNs未來的研究方向。

• 高度可伸縮的GNN。現實世界的圖通常包含數億個節點和邊，并具有動態演化的特征。事實證明，現有的GNN架構很難擴展到巨大的真實世界圖。這促使我們設計高度可伸縮的GNN架構，能夠高效和有效地學習節點/邊/圖表示為巨大的動態演化圖。

• 健壯的GNN。現有的GNN架構容易受到對抗性攻擊。也就是說，一旦輸入圖的結構和/或初始特征受到攻擊，GNN模型的性能就會急劇下降。因此，我們應該將攻擊防御機制整合到GNN體系結構中，即構建健壯的GNN體系結構，以增強其對抗攻擊的能力。

• GNNs超過WL測試。空間廣義網格網絡的性能受單WL的限制，而高階WL檢驗的計算代價昂貴。因此，在適當的條件下，兩個非同構圖將產生相同的節點/邊/圖表示。這促使我們開發一個超越WL測試的新的GNN框架，或者設計一個優雅的高階GNN架構來對應高階WL測試。

• 可解釋的GNN。現有的GNN在一個黑盒中工作。我們不明白為什么它們在節點分類任務、圖分類任務和圖嵌入任務等方面都能達到如此先進的性能。可解釋性已經成為將GNNs應用于現實問題的一個主要障礙。雖然已有一些研究對某些特定的GNN模型進行了解釋，但它們不能解釋一般的GNN模型。這促使我們為gnn構建一個統一的可解釋框架。

機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自帝國理工學院Michael Bronstein教授講述《幾何深度學習》，166頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。

地址： //mlss.tuebingen.mpg.de/2020/schedule.html

作者介紹 Michael Bronstein，倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人，CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。

幾何深度學習

在過去的幾年，深度學習方法在多個領域取得了前所未有的成就，比如計算機視覺和語言識別。目前研究者主要將深度學習方法應用于歐氏結構數據，然而有些非常重要的應用需要處理非歐氏空間結構的數據，比如圖和流形。這些幾何數據在許多任務重的重要性越來越多高，比如3D視覺、傳感網絡、藥品研發、生物醫藥、推薦系統以及各種web程序。深度學習在這些方面的應用有著明顯的滯后，這是因為處理的對象的非歐性質使得在深層網絡中對其基本操作的定義相當麻煩。

本教程的目的是介紹幾何深度學習在圖和流形數據上的最新成果，并綜述針對這些問題的解決方法、關鍵難點和未來的研究方向。