亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。

在本章中，我們將關注更復雜的編碼器模型。我們將介紹圖神經網絡(GNN)的形式，它是定義圖數據上的深度神經網絡的一般框架。關鍵思想是，我們想要生成實際上依賴于圖結構的節點的表示，以及我們可能擁有的任何特征信息。在開發復雜的圖結構數據編碼器的主要挑戰是，我們通常的深度學習工具箱不適用。例如，卷積神經網絡(CNNs)只在網格結構的輸入(如圖像)上定義良好，而遞歸神經網絡(RNNs)只在序列(如文本)上定義良好。要在一般圖上定義深度神經網絡，我們需要定義一種新的深度學習架構。

題目： Introduction to Graph Neural Networks

簡介：

在復雜的實際應用中，圖是有用的數據結構，例如對物理系統進行建模，學習分子指紋，控制交通網絡以及在社交網絡中推薦朋友。但是，這些任務需要處理包含元素之間的豐富關系信息且無法通過傳統深度學習模型（例如卷積神經網絡（CNN）或遞歸神經網絡（RNN））妥善處理的非歐氏圖數據。圖中的節點通常包含有用的特征信息，這些信息在大多數無監督的表示學習方法（例如，網絡嵌入方法）中無法很好地解決。提出了圖神經網絡（GNN）來結合特征信息和圖結構，以通過特征傳播和聚集學習更好的圖表示。由于其令人信服的性能和高解釋性，GNN最近已成為一種廣泛應用的圖形分析工具。本書全面介紹了圖神經網絡的基本概念，模型和應用。首先介紹了香草GNN模型。然后介紹了vanil la模型的幾種變體，例如圖卷積網絡，圖遞歸網絡，圖注意力網絡，圖殘差網絡和一些通用框架。還包括不同圖類型的變體和高級訓練方法。對于GNN的應用，該書將min分為結構，非結構和其他場景，然后介紹了解決這些任務的幾種典型模型。最后，最后幾章提供了GNN的開放資源以及一些未來方向的展望。

深度學習在許多領域都取得了可喜的進展，例如計算機視覺和自然語言處理。這些任務中的數據通常以歐幾里得表示。但是，許多學習任務需要處理包含元素之間豐富的關系信息的非歐氏圖數據，例如建模物理系統，學習分子指紋，預測蛋白質界面等。圖神經網絡（GNN）是基于深度學習的方法，在圖域上運行。由于其令人信服的性能和高解釋性，GNN最近已成為一種廣泛應用的圖形分析方法。本書全面介紹了圖神經網絡的基本概念，模型和應用。它從數學模型和神經網絡的基礎開始。在第一章中，它對GNN的基本概念進行了介紹，目的是為讀者提供一個概覽。然后介紹了GNN的不同變體：圖卷積網絡，圖遞歸網絡，圖注意力網絡，圖殘差網絡和一些通用框架。這些最差的結果是將通用的深度學習技術轉化為圖形，例如卷積神經網絡，遞歸神經網絡，注意力機制和跳過連接。此外，這本書介紹了GNN在結構場景（物理，化學，知識圖譜），非結構場景（圖像，文本）和其他場景（生成模型，組合優化）中的不同應用。最后，這本書列出了相關的數據集，開源平臺和GNN的實現。本書組織如下。在第1章中進行了概述之后，在第2章中介紹了數學和圖論的一些基本知識。在第3章中介紹了神經網絡的基礎，然后在第4章中簡要介紹了香草GNN。四種類型的模型分別在第5、6、7和8章中介紹。在第9章和第10章中介紹了不同圖類型和高級訓練方法的其他變體。然后在第11章中提出了幾種通用的GNN框架。第12、13和14章介紹了GNN在結構場景，非結構場景和其他場景中的應用。最后，我們在第15章提供了一些開放資源，并在第16章總結了這本書。

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。但是，大量的網絡數據為有效分析帶來了巨大的挑戰。因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。

• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。

• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。

• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。

傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、** Deep variational network embedding in wasserstein space**

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。