亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

由于深度神經網絡（DNN）模型的訓練具有非凸性質，它們的有效性依賴于非凸優化啟發式方法的使用。傳統的DNN訓練方法通常需要昂貴的實證方法來生成成功的模型，并且沒有明確的理論基礎。在這篇論文中，我們研究了如何利用凸優化理論改進神經網絡的訓練，并提供對它們最優權重的更好解釋。在這篇論文中，我們專注于具有分段線性激活函數的兩層神經網絡，并表明它們可以被表述為有限維度的凸程序，帶有促進稀疏性的正則化項，這是一種群體Lasso的變體。我們首先利用半無限編程理論證明有限寬度神經網絡的強對偶性，然后將這些架構等價地描述為高維凸模型。值得注意的是，當數據矩陣的秩有界（這是卷積網絡中的情況）時，解決凸程序的最壞情況復雜度在樣本數量和神經元數量上是多項式的。為了將我們的方法擴展到任意秩的訓練數據，我們基于zonotope采樣開發了一種新的多項式時間近似方案，該方案具有保證的近似比率。我們的凸模型可以使用標準的凸求解器進行訓練，而無需像非凸方法那樣使用啟發式方法或進行大量的超參數調整。由于凸性，優化器超參數如初始化、批大小和步長計劃對最終模型沒有影響。通過大量的數值實驗，我們展示了凸模型可以勝過傳統的非凸方法，并且對優化器超參數不敏感。

在論文的其余部分，我們首先將分析擴展到某些標準的兩層和三層卷積神經網絡（CNN），這些網絡可以在全多項式時間內全局優化。與第一部分研究的全連接網絡不同，我們證明了這些CNN的等價表述在所有輸入維度上都具有全多項式復雜性，而無需依賴任何近似技術，因此在計算復雜性上有顯著的改進。然后，我們討論將我們的凸分析擴展到各種神經網絡架構，包括向量輸出網絡、批量歸一化、生成對抗網絡（GANs）、更深的架構和閾值網絡。

引言

深度神經網絡因其在大量機器學習任務中的出色實證成功而受到歡迎。然而，盡管它們在機器學習中的普遍存在，以及人們對其的熱情不斷激增，但我們對神經網絡模型的基本理解仍存在重大差距。理解其出色的泛化特性背后的機制仍是一個未解的問題。訓練深度神經網絡的非凸性引起了一項重大的挑戰。在非凸優化中，優化方法的選擇及其內部參數，如初始化、小批處理和步長，對學習模型的質量有著顯著的影響。這與凸優化問題形成了鮮明的對比，在凸優化問題中，這些優化參數沒有影響，可以以非常健壯、高效、透明和可復制的方式獲得全局最優解。因此，我們將通過凸優化理論的視角研究深度神經網絡的訓練問題，并引入精確的凸優化形式，其全局最優解可以通過標準的凸優化求解器實現。在下一部分，我們將為整篇論文中將要使用的概念提供背景。

這篇論文的主要貢獻可以總結如下：

• 神經網絡的全局最優訓練：我們引入了一個凸分析框架，用來描述帶有分段線性激活函數（包括ReLU，Leaky ReLU和絕對值激活）的神經網絡的訓練，將其視為等效的有限維凸規劃問題。
• 神經網絡的高效訓練：解決我們的凸規劃問題的一個潛在限制是，當應用到無界秩的數據時，最壞情況下的指數復雜性，這在全連接（FC）神經網絡中常常出現。我們引入了一種基于隨機錐體頂點采樣的近似算法，它是完全的多項式時間，用于解決這種復雜性。然后，我們證明了關于全局最優的強近似保證，并在實踐中展示了其可擴展性。
• 理解架構選擇對隱式正則化現象的影響：提出的凸模型通過多種凸正則化機制，揭示了神經網絡模型的新穎解釋。正則化器的范圍從組?p-范數到核范數，取決于網絡架構，如連接結構和輸出數量。因此，我們提供了對由架構選擇引起的隱式正則化機制的完全理解。

基于圖的深度學習已經在各種工業環境和應用中取得了成功。然而，由于來自不同領域的圖可能表現出不同的屬性，并且可能具有顯著的噪聲，深度模型很難實現泛化。這些挑戰限制了圖模型在各個領域的使用。**在本文中，我對圖的可泛化神經網絡提出了各種理論和經驗分析。我考慮了圖神經網絡(GNNs)的兩種類型的泛化能力:(1)數據泛化能力，其中圖模型具有有效處理具有不同屬性的各種圖的表達能力;(2)規模泛化性，圖模型可以從小規模的圖中學習并泛化到更大的圖。**論文的第一部分分別從節點和子圖兩個層面研究了數據的泛化問題。在節點層面，我分析了具有不同屬性的節點(如度、相鄰節點的標簽分布)時GNNs的性能是否會退化，并提出了有效的理論基礎設計，以緩解這種退化。在子圖層面，我考慮了數據有限和有噪聲的情況，并提出使用聚類使GNN克服這些問題并找到有意義的模式。在論文的第二部分中，研究了圖層次上的規模泛化問題。具體來說，我考慮了不同規模的圖，并研究如何將知識從小型圖遷移到大型圖。我首先說明了基于譜特性的GNN可能會受到譜和圖大小的相關性的影響，這限制了它們對大小的泛化能力。提出了一種學會消除與尺寸相關的分量的技術，提高了gnn的尺寸泛化能力。此外，我研究了transformer模型，它與gnn相關，但不依賴于圖譜。在這種情況下，我發現普通的transformer模型無法泛化到更大的序列和圖，因為它的注意力掩碼隨著輸入的增加逐漸失去保真度。基于我的發現，我引入了一個學習的條件掩蔽機制，它能夠在模型的訓練范圍之外實現強泛化。

//ai.engin.umich.edu/event/towards-generalizable-neural-networks-for-graph-applications

近年來，深度學習在各個領域得到了越來越多的關注，例如計算機視覺[52]，自然語言處理[155]和機器人[49]。與傳統方法相比，深度神經網絡模型通過從海量數據中學習獲得了高表達能力。在某些領域，深度模型甚至可以超越人類[137]，這為通用智能帶來了希望[139]。盡管深度學習在各個領域都顯示了其優勢，但它主要在規則結構數據上取得了成功，如序列和圖像。然而，并非所有數據都具有規則結構，圖數據就是一個值得注意的例子。圖被廣泛用于表示實體之間的交互[62,136,175]。例如，在社交網絡(Facebook, LinkedIn)中，用戶是節點，他們的友誼或職業關系是邊[174];在腦科學中，大腦中的感興趣區域(ROI)是節點，它們的活動相關性是邊[175];在程序合成中，寄存器是節點，它們的依賴關系是邊[136]。圖可以在不同的粒度上進行分析:節點或邊緣級別、子圖級別和圖級別。不同層次的分析已被用于幾個高影響的應用中，例如推斷電子郵件網絡中的專業角色63，發現社會網絡中的社區結構107，以及預測生物網絡中的圖屬性168。 受語言和圖像深度學習成功的啟發，研究人員對使神經網絡適應圖數據產生了極大的興趣[73,156,176,186]。在GNN的設計目標中，本文主要關注GNN的泛化能力，并考慮兩種類型的泛化能力:(1)數據泛化能力，圖模型具有有效處理具有不同屬性的各種圖的表達能力;(2)規模泛化性，圖模型可以從小規模的圖中學習并泛化到更大的圖。除了本文涵蓋的這兩種泛化類型外，GNN還存在其他類型的泛化。例如，在遷移學習中，泛化能力表征了GNN將知識從一個領域遷移到另一個領域的能力(例如，通過微調一些層[54,85]);在多任務學習中，泛化能力表示GNN利用其他任務中編碼的信息的程度。在表1 - 1中，我簡要概述了GNN的不同泛化類型。盡管所有這些都對構建通用GNN很重要，但數據的泛化能力和大小的泛化能力相對被忽視和探索不足。數據的泛化能力決定了一個模型是否可以有效地應用于各種應用。圖在不同的域中可能不同。例如，在大多數社交網絡中，度分布遵循冪律[87]，而在分子圖中，度并不存在偏斜。在引文網絡中，具有相似屬性的節點傾向于相互連接，而在在線交易網絡中，具有不同屬性的節點(欺詐者和共犯)傾向于形成鏈接[114]。在蛋白質網絡中，可以清楚地觀察到圖形，而在大腦網絡中，感興趣區域(ROIs)之間的連接是推斷的和嘈雜的[175]。盡管圖數據具有多變性，但大多數GNN[42, 51, 73, 156, 169]沒有考慮不同的圖屬性。他們持有圖數據的“同質性假設”，即有鏈接的節點通常屬于同一類或具有相似的特征(“物以類聚”)[99]，而忽略了違反該假設的圖的存在;他們忽略了圖具有不同的度分布，GNN對不同度的節點的反應不同的事實[177];它們沒有考慮圖結構和特征中的噪聲。為了設計更通用的GNN模型，需要考慮各種圖屬性。因此，本文的第一個問題是: **如何通過考慮不同的圖屬性來增強GNN的數據泛化能力?除了數據的泛化性，我研究的另一個關鍵屬性是大小的泛化性。與常規結構化數據不同，很難獲得相同大小的圖。例如，在生物學中，分子圖的大小從幾個節點到數百個節點[167];在算法推理中，圖可以小到幾個節點，也可以大到數千個節點[136,176]。隨著我們從各種來源收集越來越多的數據，訓練圖和測試圖的大小不可避免地不同[167]。此外，大多數gnn是不可擴展的，更大的圖通常需要更多的訓練時間和計算資源[40]。這些原因促使一系列研究尋求將知識從較小的圖轉換為較大的圖的方法[159,176,181]。GNN的大小泛化能力仍然有待探索。一方面，一些經驗工作報告了GNN在特定應用中的良好規模泛化性能[91,97,127]。另一方面，一些實證工作認為GNN在大小泛化方面有困難[66,71,159]。大多數現有工作專注于架構設計，沒有提供對GNN大小通用性的基本理解。因此，我在本文中要回答的第二個問題是: 是什么限制了GNN的大小泛化能力，以及有什么有效的設計可以提高它們泛化到更大圖的能力?**為了回答上述兩個問題，在本文中，我通過研究不同粒度的圖來研究數據的泛化性和大小泛化性(圖I.1)。論文的第一部分分別從節點和子圖兩個層面研究了數據的泛化問題。在節點層面，我分析了具有不同屬性的節點(如度、相鄰節點的標簽分布)時GNNs的性能是否會退化，并提出了有效的理論基礎設計，以緩解這種退化。在子圖層面，我考慮了數據有限和有噪聲的情況，并提出使用聚類使GNN克服這些問題，并找到有意義的模式。在論文的第二部分中，研究了圖層次上的規模泛化問題。具體來說，我考慮了不同規模的圖，并研究如何將知識從小型圖遷移到大型圖。我首先表明，基于譜特性的GNN模型可能會受到譜和圖大小的相關性的影響，這限制了它們對過大尺寸的泛化能力。提出了一種學會消除與尺寸相關的分量的技術，提高了GNN的尺寸泛化能力。此外，我研究了transformer模型，它與GNN相關，但不依賴于圖譜。在這種情況下，我發現普通的transformer模型無法泛化到更大的序列和圖，因為它的注意力掩碼隨著輸入的增加逐漸失去保真度。基于我的發現，我引入了一種習得的條件掩碼機制，它能在遠遠超出模型訓練范圍的地方實現強大的泛化。

**在機器學習技術不斷加速發展的今天，數據在構建智能模型、模擬現象、預測值、做出決策等方面起著至關重要的作用。**在越來越多的應用中，數據以網絡的形式出現。網絡數據固有的圖結構推動了圖表示學習領域的發展。它的作用范圍包括為圖及其組件(即節點和邊)生成有意義的表示。隨著消息傳遞框架在圖上的成功應用，即圖神經網絡，加速了圖表示學習的研究。學習圖上的信息和表達性表示在廣泛的現實世界應用中發揮著關鍵作用，從電信和社會網絡、城市設計、化學和生物學。本文研究了圖神經網絡更具表現力的各個方面，提出了新的方法來提高它們在標準圖學習任務中的性能。本論文的主要分支包括:圖表示的普適性，圖神經網絡感受野的增加，穩定的更深層次圖學習模型的設計，以及標準消息傳遞框架的替代方案。進行了理論和實驗研究，展示了所提出的方法如何成為設計更強大的圖學習模型的有價值和有效的工具。 **在論文的第一部分中，我們研究了圖表示質量作為辨別能力的函數，即，我們如何容易地區分非同構的圖。**首先，我們證明了標準的消息傳遞方案是不通用的，因為簡單的聚合器無法分離具有歧義的節點(相似的屬性向量和鄰域結構)。基于發現的局限性，我們提出了一個簡單的著色方案，可以提供普遍的表示，理論保證和實驗驗證的性能優勢。其次，超越了標準的消息傳遞范式，我們提出了一種將圖語料庫作為一個整體來處理的方法，而不是檢查圖對。為此，我們學習了每個圖的軟排列矩陣，并將所有圖投影到公共向量空間中，在圖分類任務中實現了穩定的性能。

//hal.inria.fr/tel-03666690/ **在論文的第二部分中，我們主要關注的是圖神經網絡的感受野，即一個節點有多少信息來更新其表示。**首先，研究了編碼鄰接信息的標準算子的譜特性，即圖移位算子。本文提出一種新的參數算子族，可以在整個訓練過程中自適應，并為依賴數據的鄰域表示提供一個靈活的框架。這種方法的合并對節點分類和圖分類任務都有很大的影響。研究了如何在節點表示中考慮k跳鄰域信息以輸出更強大的圖神經網絡模型。結果證明，該模型能夠識別結構特性，如連通性和無三角形性。在論文的第三部分，我們解決了長程交互的問題，即位于圖中較遠部分的節點可以相互影響。在這樣的問題中，我們要么需要設計更深層次的模型，要么需要重新表述圖中如何定義鄰近度。首先，研究了更深層次的注意力模型設計，以圖注意力為重點;通過引入一種新的歸一化來校準模型的梯度流，該歸一化可實現Lipschitz連續性。其次，提出一種基于局部熵測度的數據增強方法，利用包含結構信息的信息來豐富節點屬性;

在過去的十年中，我們目睹了人們對機器學習(ML)的興趣急劇上升。深度神經網絡已經在從圖像分類到游戲玩的各種任務上實現或超過了人類水平。在這些應用中，我們通常觀察到模型的輸入具有某種形式的規則結構:例如，圖像是一個2D網格。最近，人們有興趣將ML革命的成功擴展到沒有統一結構的數據，如圖。圖由一組節點和一組定義節點之間關系的邊組成，為建模提供了極大的靈活性。這些模型應用于從代碼分析到推薦系統再到藥物發現的各種問題，實現了最先進的性能并為ML打開了新的應用。

由于圖神經網絡(gnn)已被證明的潛力和可能應用的巨大空間，當我們打算將這些模型部署到研究背景之外時，自然會將注意力轉向出現的實際問題。一個主要的問題是效率:我們如何設計消耗更少資源(如時間和內存)的GNN，以將我們的訓練擴展到更大的模型和數據集，并將我們的模型部署到更資源受限的設備?此外，一旦我們將這些模型發布到野外，我們如何確保它們能夠抵御來自潛在對手的攻擊?這些是激勵本文工作的問題:哪些新技術是必要的，以解決這些效率和安全問題? 本文中反復出現的一個主題是，正則結構的丟失給GNNs帶來了幾個獨特的挑戰:適用于其他常見神經網絡架構的技術不一定適用于GNNs。本文首先嚴格評估了在其他神經網絡架構中流行的兩種軟硬件協同設計技術:量化，在推理時使用低精度的算法，以及剪枝，從網絡中刪除權重。研究了高效的架構設計，首先是通用gnn的架構設計，其次是專門為處理點云數據而設計的模型。最后，本文描述了與這些模型相關的一種新型安全漏洞，并討論了可能的緩解措施。

在許多現代應用中取得顯著成功的最主要的技術之一是深度學習。對圖像識別、語音處理和文本理解中的海量數據分析的癡迷，促使深度神經網絡在不同研究領域的不同學習任務中取得了顯著進展。深度學習技術聯盟產生了強大的卷積神經網絡和新興的圖神經網絡。圖神經網絡(Graph neural networks)，簡稱GNNs，是一種輸入包含內部結構關系的深度神經網絡。圖神經網絡(GNNs)的主流找到了圖的充分數值表示，這對統計或機器學習模型的預測性能至關重要。圖表示學習在現實世界中有許多應用，如藥物再利用、蛋白質分類、流行病傳播控制和社會網絡分析等。在過去五年中，GNN的快速發展過程中，發現了一些設計缺陷，如過度平滑、易受擾動、缺乏表現力和缺乏可解釋性。同時，對該研究領域的持續熱情為解決更復雜的問題積累了經驗，如大小可變圖壓縮和時變圖動態捕獲。

//ses.library.usyd.edu.au/handle/2123/28617

**這篇論文的目標是闡明一些關于數學的概述問題。**其中，圖壓縮的置換不變設計支持流形學習，魯棒的圖平滑依賴于凸優化原理，高效的動態圖表示學習借鑒了信號處理和矩陣分解的隨機冪方法。作者認為，深度學習技術的有效性不應該僅僅取決于在特定數據集上的性能，對黑盒模型的修改應該在皮膚層之下進行，并比超參數調整付出更多的努力。深度神經網絡的可靠性期待著在嚴格的數學支持下設計模型，以便有一天“計算機科學”成為真正的科學。

如何對不同設置下的序列數據建模是一個跨許多領域的重要機器學習問題，包括對時間序列數據、自然語言文本和事件流的預測。不同字段中的順序數據通常具有不同的特征。例如，自然語言文本可以被視為一個離散變量的序列，而傳感器網絡信號可以被視為一個連續向量空間中的多變量序列。為了在各種各樣的現實世界領域中開發成功的神經網絡模型，我們需要根據數據和問題的性質定制架構和算法。本文設計了新穎高效的神經網絡解決方案，用于序列建模和應用。具體來說，這些貢獻可以分為四部分。

第一部分重點研究了多變量序列數據中變量之間的相關性，如多傳感器的時間序列，并提出了新的算法，即深度可分圖卷積網絡(DSGC)(第二章)[60]和分解遞歸神經網絡(FRNN)(第三章)[63]，以利用相關模式，提高預測精度。

第二部分側重于將人類先驗知識用于時序數據依賴模式的時間建模。具體地說，我們提出了一種新的方法，命名為長期和短期時間序列網絡(LSTNet)(第4章)[59]，它被證明是特別有效的捕獲各種周期模式在不同的應用。

第三部分著重于序列分類任務中Transformers 的高效算法。具體來說，通過識別常用的Transformer架構中的計算冗余，并提出一種新的替代方案，即漏斗Transformers (第5章)[27]，我們實現了更好的計算與精度之間的權衡。

第四部分側重于事件之間時間關系的建模/預測，其中的主要挑戰是從稀疏標記的數據中有效學習。我們通過結合高級數據增強、半監督學習和人類先驗知識的引入來應對這一挑戰(第6章)。因此，我們大大提高了這項任務的最先進性能。

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關于幾何深度學習系統性總結的書，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注！

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中，我們做了一個適度的嘗試，將Erlangen項目的思維模式應用到深度學習領域，最終目標是獲得該領域的系統化和“連接點”。我們將這種幾何化嘗試稱為“幾何深度學習”，并忠實于Felix Klein的精神，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地，我們將重點放在一類用于分析非結構集、網格、圖和流形的神經網絡上，并表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法，也許還會發現一些令人驚訝的聯系。實踐者可以獲得如何解決各自領域問題的新見解。

一些重要論述：

• 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質，并意識到，只要有一組合適的對稱，我們就可以等價它們，它們都可以用一個通用的幾何框架來表達。

• 更進一步，我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架，這表明框架可以很好地表達這些領域的最新進展，如球形CNN, SO(3)-變換器，和規范-等變網格CNNs。

• 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形，其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規范對稱來表現。

在監督模式下訓練的深度模型在各種任務上都取得了顯著的成功。在標記樣本有限的情況下，自監督學習(self-supervised learning, SSL)成為利用大量未標記樣本的新范式。SSL在自然語言和圖像學習任務中已經取得了很好的效果。最近，利用圖神經網絡(GNNs)將這種成功擴展到圖數據的趨勢。

在本綜述論文中，我們提供了使用SSL訓練GNN的不同方法的統一回顧。具體來說，我們將SSL方法分為對比模型和預測模型。

在這兩類中，我們都為方法提供了一個統一的框架，以及這些方法在框架下的每個組件中的不同之處。我們對GNNs SSL方法的統一處理揭示了各種方法的異同，為開發新的方法和算法奠定了基礎。我們還總結了不同的SSL設置和每個設置中使用的相應數據集。為了促進方法開發和實證比較，我們為GNNs中的SSL開發了一個標準化測試床，包括通用基線方法、數據集和評估指標的實現。

//www.zhuanzhi.ai/paper/794d1d27363c4987efd37c67ec710a18

引言

深度模型以一些數據作為輸入，并訓練輸出期望的預測。訓練深度模型的一種常用方法是使用有監督的模式，在這種模式中有足夠的輸入數據和標簽對。

然而，由于需要大量的標簽，監督訓練在許多現實場景中變得不適用，標簽是昂貴的，有限的，甚至是不可用的。

在這種情況下，自監督學習(SSL)支持在未標記數據上訓練深度模型，消除了對過多注釋標簽的需要。當沒有標記數據可用時，SSL可以作為一種從未標記數據本身學習表示的方法。當可用的標記數據數量有限時，來自未標記數據的SSL可以用作預訓練過程，在此過程之后，標記數據被用來為下游任務微調預訓練的深度模型，或者作為輔助訓練任務，有助于任務的執行。

最近，SSL在數據恢復任務中表現出了良好的性能，如圖像超分辨率[1]、圖像去噪[2,3,4]和單細胞分析[5]。它在語言序列[6,7,8]、圖像[9,10,11,12]、帶有序列模型的圖[13,14]等不同數據類型的表示學習方面也取得了顯著進展。這些方法的核心思想是定義前置訓練任務，以捕獲和利用輸入數據的不同維度之間的依賴關系，如空間維度、時間維度或通道維度，具有魯棒性和平滑性。Doersch等人以圖像域為例，Noroozi和Favaro[16]，以及[17]等人設計了不同的前置任務來訓練卷積神經網絡(CNNs)從一幅圖像中捕捉不同作物之間的關系。Chen等人的[10]和Grill等人的[18]訓練CNN捕捉圖像的不同增強之間的依賴關系。

根據訓練任務的設計，SSL方法可以分為兩類;即對比模型和預測模型。這兩個類別之間的主要區別是對比模型需要數據-數據對來進行訓練，而預測模型需要數據-標簽對，其中標簽是自生成的，如圖1所示。對比模型通常利用自監督來學習數據表示或對下游任務進行預訓練。有了這些數據-數據對，對比模型就能區分出正面對和負面對。另一方面，預測模型是在監督的方式下訓練的，其中標簽是根據輸入數據的某些屬性或選擇數據的某些部分生成的。預測模型通常由一個編碼器和一個或多個預測頭組成。當應用于表示學習或預訓練方法時，預測模型的預測頭在下游任務中被刪除。

在圖數據分析中，SSL可能非常重要，它可以利用大量未標記的圖，如分子圖[19,20]。隨著圖神經網絡的快速發展[21,22,23,24,25,26,27]，圖神經網絡的基本組成[28,29,30,31,32,33]等相關領域[34,35]得到了深入的研究，并取得了長足的進展。相比之下，在GNNs上應用SSL仍然是一個新興領域。由于數據結構的相似性，很多GNN的SSL方法都受到了圖像領域方法的啟發，如DGI[36]和圖自動編碼器[37]。然而，由于圖結構數據的唯一性，在GNN上應用SSL時存在幾個關鍵的挑戰。為了獲得良好的圖表示并進行有效的預訓練，自監督模型可以從圖的節點屬性和結構拓撲中獲取必要的信息。對于對比模型來說，由于自監督學習的GPU內存問題并不是圖形的主要關注點，關鍵的挑戰在于如何獲得良好的圖形視圖以及針對不同模型和數據集的圖形編碼器的選擇。對于預測模型，至關重要的是應該生成什么標簽，以便了解非平凡的表示，以捕獲節點屬性和圖結構中的信息。

為了促進方法論的發展和促進實證比較，我們回顧GNN的SSL方法，并為對比和預測方法提供了統一的觀點。我們對這一問題的統一處理，可以揭示現有方法的異同，啟發新的方法。我們還提供了一個標準化的測試，作為一個方便和靈活的開源平臺，用于進行實證比較。我們將本次綜述論文總結如下:

• 我們提供關于圖神經網絡SSL方法的徹底和最新的回顧。據我們所知，我們的綜述查首次回顧了關于圖數據的SSL。

• 我們將GNN現有的對比學習方法與一般框架統一起來。具體來說，我們從互信息的角度統一對比目標。從這個新的觀點來看，不同的對比學習方式可以看作是進行三種轉換來獲得觀點。我們回顧了理論和實證研究，并提供見解來指導框架中每個組成部分的選擇。

• 我們將SSL方法與自生成標簽進行分類和統一，作為預測學習方法，并通過不同的標簽獲取方式來闡明它們之間的聯系和區別。

• 我們總結了常用的SSL任務設置以及不同設置下常用的各類數據集，為未來方法的發展奠定了基礎。

• 我們開發了一個用于在GNN上應用SSL的標準化測試平臺，包括通用基準方法和基準的實現，為未來的方法提供了方便和靈活的定制。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。