亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

有很多關于傅里葉變換的書; 然而，很少有面向多學科讀者的。為工程師寫一本關于代數概念的書是一個真正的挑戰，即使不是太難的事，也要比寫一本關于理論應用的代數書更有挑戰性。這就是本書試圖面對的挑戰。因此，每個讀者都能夠創建一個“按菜單”的程序，并從語句或計算機程序中提取特定元素，以建立他們在該領域的知識，或將其運用于更具體的問題。

本文敘述是非常詳細的。讀者可能偶爾需要一些關于有限組的高級概念，以及對組行為的熟悉程度。我強調了那些重要的定義和符號。例如，從多個角度(交換群、信號處理、非交換群)研究卷積的概念，每次都要放在它的背景知識中。因此，不同的段落，雖然遵循一個邏輯遞進，有一個真正的統一，但可以根據自己需要選取閱讀。

第一章用群論的語言來解釋主要概念，并解釋后面將用到的符號。第二章將所得結果應用于各種問題，并首次接觸快速算法(例如Walsh 變換)。第三章對離散傅里葉變換進行了闡述。第四章介紹了離散傅里葉變換的各種應用，并構成了對前一章的必要補充，以充分理解所涉及的機制以及在實際情況中使用。第五章圍繞傅里葉變換提出了更多新穎的思想和算法，產生了大量的應用。第六章需要一些更高級的知識，特別是對有限場理論的一些熟悉。它研究了有限域中的值變換，并給出了在校正碼中的應用。最后兩章(最困難的一章)，具有更多的代數性質，并建議推廣已經在有限非交換群的情況下進行的構造。第七章揭示了線性表示的理論。第八章和最后一章將這一理論應用于理論(群的簡潔性研究)和實際(光譜分析)領域。

//mathematical-tours.github.io/daft/

圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。

摘要：

當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。

形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。

圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。

本篇內容結構：

• (1) 簡明易懂的GNNs入門教程。
• (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
• (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
• (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。

//deepai.org/publication/a-practical-guide-to-graph-neural-networks

近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。

從社交網絡到分子，許多真實數據都是以非網格對象的形式出現的，比如圖。最近，從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注，這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程，而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。

在本教程中，我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎，重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說，我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后，我們將介紹DGL在各個領域的應用，包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。

//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目錄： 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 圖神經網絡簡介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表達性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs訓練 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可擴展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(無)監督學習 04:15 pm – 04:35 pm: GNN in Social Networks 社交網絡GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs圖像處理與未來方向 04:55 pm – 05:00 pm: Q&A

從社交網絡到分子，許多真實數據都是以非網格對象的形式出現的，比如圖。最近，從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注，這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程，而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。

在本教程中，我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎，重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說，我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后，我們將介紹DGL在各個領域的應用，包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。

//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目錄：

• 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 圖神經網絡介紹
• 09:00 am – 09:40 am: Robustness of Graph Neural Networks 圖神經網絡魯棒性
• 09:40 am – 10:00 am: Break
• 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 圖神經網絡自監督學習
• 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 圖神經網絡可擴展學習
• 11:20 am – 00:15 pm: Graph Structure Learning & NLP 圖結構學習

圖神經網絡一本簡明硬貨新書，快來學習！

William L. Hamilton McGill 大學計算機科學的助理教授，魁北克省Mila AI研究所的加拿大CIFAR AI主席。我開發了機器學習模型，可以對我們復雜、相互關聯的世界進行推理。

總的來說，研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域，目前重點關注快速增長的圖表示學習和圖神經網絡。

//www.cs.mcgill.ca/~wlh/

圖表示學習

在過去的7年里，圖表示學習領域以令人難以置信(有時難以控制)的速度發展，從從事一個相對小眾主題的一小部分研究人員，轉變為深度學習中增長最快的子領域之一。

這本書是我對圖表示學習的一個簡要而全面的介紹，包括嵌入圖數據的方法，圖神經網絡，以及圖的深層生成模型。

圖是一種普遍存在的數據結構和描述復雜系統的通用語言。在最普遍的觀點中，一個圖僅僅是對象的集合。，以及一組交互(例如，節點)。(邊)在這些對象對之間。例如，為了將一個社會網絡編碼為一個圖，我們可以使用節點來表示個體，使用邊來表示兩個個體是朋友(圖1.1)。在生物領域，我們可以使用圖中的節點來表示蛋白質，并使用邊緣來表示各種生物相互作用，例如蛋白質之間的動力學相互作用。

圖形式主義的力量在于它關注點之間的關系(而不是單個點的屬性)，以及它的一般性。同樣的圖表形式也可以用來表示社會網絡、藥物和蛋白質之間的相互作用、原子之間的相互作用。

然而，圖表不僅僅提供了一個優雅的理論框架。它們提供了一個數學基礎，我們可以在此基礎上分析、理解和學習現實世界的復雜系統。在過去的25年里，可供研究人員使用的圖形結構數據在數量和質量上有了顯著的增長。隨著大型社交網絡平臺的出現，大量的科學活動對交互體建模，食物網，分子圖結構的數據庫，以及數十億網絡連接設備的出現，有意義的圖數據供研究人員分析。挑戰在于釋放這些數據的潛力。

這本書是關于我們如何利用機器學習來應對這一挑戰。當然，機器學習不是分析圖表數據的唯一可能的方法。然而，鑒于我們試圖分析的圖形數據集的規模和復雜性不斷增長，很明顯，機器學習將在提高我們建模、分析和理解圖形數據的能力方面發揮重要作用。

目錄內容：

• Chapter 1: Introduction and Motivations 導論動機
• Chapter 2: Background and Traditional Approaches 背景介紹方法 Part I: Node Embeddings 節點嵌入
• Chapter 3: Neighborhood Reconstruction Methods 鄰域重建方法
• Chapter 4: Multi-Relational Data and Knowledge Graphs 多關系數據與知識圖譜 Part II: Graph Neural Networks 圖神經網絡
• Chapter 5: The Graph Neural Network Model 圖神經網絡模型
• Chapter 6: Graph Neural Networks in Practice 圖神經網路實踐
• Chapter 7: Theoretical Motivations 理論動機 Part III: Generative Graph Models 生成圖模型
• Chapter 8: Traditional Graph Generation Approaches 傳統圖生成方法
• Chapter 9: Deep Generative Models 深度生成模型
• Bibliography [Draft. Updated August 2020.]

題目： Introduction to Graph Neural Networks

簡介：

在復雜的實際應用中，圖是有用的數據結構，例如對物理系統進行建模，學習分子指紋，控制交通網絡以及在社交網絡中推薦朋友。但是，這些任務需要處理包含元素之間的豐富關系信息且無法通過傳統深度學習模型（例如卷積神經網絡（CNN）或遞歸神經網絡（RNN））妥善處理的非歐氏圖數據。圖中的節點通常包含有用的特征信息，這些信息在大多數無監督的表示學習方法（例如，網絡嵌入方法）中無法很好地解決。提出了圖神經網絡（GNN）來結合特征信息和圖結構，以通過特征傳播和聚集學習更好的圖表示。由于其令人信服的性能和高解釋性，GNN最近已成為一種廣泛應用的圖形分析工具。本書全面介紹了圖神經網絡的基本概念，模型和應用。首先介紹了香草GNN模型。然后介紹了vanil la模型的幾種變體，例如圖卷積網絡，圖遞歸網絡，圖注意力網絡，圖殘差網絡和一些通用框架。還包括不同圖類型的變體和高級訓練方法。對于GNN的應用，該書將min分為結構，非結構和其他場景，然后介紹了解決這些任務的幾種典型模型。最后，最后幾章提供了GNN的開放資源以及一些未來方向的展望。

深度學習在許多領域都取得了可喜的進展，例如計算機視覺和自然語言處理。這些任務中的數據通常以歐幾里得表示。但是，許多學習任務需要處理包含元素之間豐富的關系信息的非歐氏圖數據，例如建模物理系統，學習分子指紋，預測蛋白質界面等。圖神經網絡（GNN）是基于深度學習的方法，在圖域上運行。由于其令人信服的性能和高解釋性，GNN最近已成為一種廣泛應用的圖形分析方法。本書全面介紹了圖神經網絡的基本概念，模型和應用。它從數學模型和神經網絡的基礎開始。在第一章中，它對GNN的基本概念進行了介紹，目的是為讀者提供一個概覽。然后介紹了GNN的不同變體：圖卷積網絡，圖遞歸網絡，圖注意力網絡，圖殘差網絡和一些通用框架。這些最差的結果是將通用的深度學習技術轉化為圖形，例如卷積神經網絡，遞歸神經網絡，注意力機制和跳過連接。此外，這本書介紹了GNN在結構場景（物理，化學，知識圖譜），非結構場景（圖像，文本）和其他場景（生成模型，組合優化）中的不同應用。最后，這本書列出了相關的數據集，開源平臺和GNN的實現。本書組織如下。在第1章中進行了概述之后，在第2章中介紹了數學和圖論的一些基本知識。在第3章中介紹了神經網絡的基礎，然后在第4章中簡要介紹了香草GNN。四種類型的模型分別在第5、6、7和8章中介紹。在第9章和第10章中介紹了不同圖類型和高級訓練方法的其他變體。然后在第11章中提出了幾種通用的GNN框架。第12、13和14章介紹了GNN在結構場景，非結構場景和其他場景中的應用。最后，我們在第15章提供了一些開放資源，并在第16章總結了這本書。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。但是，大量的網絡數據為有效分析帶來了巨大的挑戰。因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。

• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。

• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。

• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。

傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、** Deep variational network embedding in wasserstein space**

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。