亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

題目： Introduction to Graph Neural Networks

簡介：

在復雜的實際應用中，圖是有用的數據結構，例如對物理系統進行建模，學習分子指紋，控制交通網絡以及在社交網絡中推薦朋友。但是，這些任務需要處理包含元素之間的豐富關系信息且無法通過傳統深度學習模型（例如卷積神經網絡（CNN）或遞歸神經網絡（RNN））妥善處理的非歐氏圖數據。圖中的節點通常包含有用的特征信息，這些信息在大多數無監督的表示學習方法（例如，網絡嵌入方法）中無法很好地解決。提出了圖神經網絡（GNN）來結合特征信息和圖結構，以通過特征傳播和聚集學習更好的圖表示。由于其令人信服的性能和高解釋性，GNN最近已成為一種廣泛應用的圖形分析工具。本書全面介紹了圖神經網絡的基本概念，模型和應用。首先介紹了香草GNN模型。然后介紹了vanil la模型的幾種變體，例如圖卷積網絡，圖遞歸網絡，圖注意力網絡，圖殘差網絡和一些通用框架。還包括不同圖類型的變體和高級訓練方法。對于GNN的應用，該書將min分為結構，非結構和其他場景，然后介紹了解決這些任務的幾種典型模型。最后，最后幾章提供了GNN的開放資源以及一些未來方向的展望。

深度學習在許多領域都取得了可喜的進展，例如計算機視覺和自然語言處理。這些任務中的數據通常以歐幾里得表示。但是，許多學習任務需要處理包含元素之間豐富的關系信息的非歐氏圖數據，例如建模物理系統，學習分子指紋，預測蛋白質界面等。圖神經網絡（GNN）是基于深度學習的方法，在圖域上運行。由于其令人信服的性能和高解釋性，GNN最近已成為一種廣泛應用的圖形分析方法。本書全面介紹了圖神經網絡的基本概念，模型和應用。它從數學模型和神經網絡的基礎開始。在第一章中，它對GNN的基本概念進行了介紹，目的是為讀者提供一個概覽。然后介紹了GNN的不同變體：圖卷積網絡，圖遞歸網絡，圖注意力網絡，圖殘差網絡和一些通用框架。這些最差的結果是將通用的深度學習技術轉化為圖形，例如卷積神經網絡，遞歸神經網絡，注意力機制和跳過連接。此外，這本書介紹了GNN在結構場景（物理，化學，知識圖譜），非結構場景（圖像，文本）和其他場景（生成模型，組合優化）中的不同應用。最后，這本書列出了相關的數據集，開源平臺和GNN的實現。本書組織如下。在第1章中進行了概述之后，在第2章中介紹了數學和圖論的一些基本知識。在第3章中介紹了神經網絡的基礎，然后在第4章中簡要介紹了香草GNN。四種類型的模型分別在第5、6、7和8章中介紹。在第9章和第10章中介紹了不同圖類型和高級訓練方法的其他變體。然后在第11章中提出了幾種通用的GNN框架。第12、13和14章介紹了GNN在結構場景，非結構場景和其他場景中的應用。最后，我們在第15章提供了一些開放資源，并在第16章總結了這本書。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

【導讀】Yann Lecun在紐約大學開設的2020春季《深度學習》課程，干貨滿滿。最新的一期是來自新加坡南洋理工大學的Xavier Bresson教授的圖卷積神經網絡課程，共76頁PPT，非常硬核干貨，講述了GCN近年來的研究進展，包括經典卷積網絡、譜圖卷積網、 空間域圖卷積網、GCN基準等。

圖卷積網絡

目錄：

• 第一部分傳統卷積網
  • 架構
  • 圖域
  • 卷積
• 譜域圖卷積網
• 譜卷積
• 譜GCN
• 空間域圖卷積網
  • 模板匹配
  • 各向同性 GCNs
  • 各向異性 GCNs
  • GatedGCNs
• 圖神經網絡基準
• 結論

來自密歇根州立大學的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu與 Tengfei Ma在AAAI2020做了關于圖神經網絡的Tutorial報告，總共305頁ppt，涵蓋使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用，非常值得學習。

摘要

圖結構數據如社交網絡和分子圖在現實世界中無處不在。設計先進的圖數據表示學習算法以方便后續任務的實現，具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據，為從節點層或圖層有效學習圖結構數據的表示開辟了新的途徑。由于其強大的表示學習能力，GNNs在從推薦、自然語言處理到醫療保健的各種應用中都具有實際意義。它已經成為一個熱門的研究課題，近年來越來越受到機器學習和數據挖掘界的關注。這篇關于GNNs的教程對于AAAI 2020來說是非常及時的，涵蓋了相關的和有趣的主題，包括使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用。

目錄：

1. 引言 Introduction

• 圖與圖結構數據 Graphs and Graph Structured Data
• 圖結構數據任務 Tasks on Graph Structured Data
• 圖神經網絡 Graph neural networks

2. 基礎理論Foundations

• Basic Graph Theory
• Graph Fourier Transform

3. 模型 Models

• Spectral-based GNN layers
• Spatial-based GNN layers
• Pooling Schemes for Graph-level Representation Learning
• Graph Neural Networks Based Encoder-Decoder models
• Scalable Learning for Graph Neural Networks
• Attacks and Robustness of Graph Neural Networks

4. 應用 Applications

• Natural Language Processing
• Recommendation
• Healthcare

百度網盤直接下載： 鏈接: //pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取碼: xrkz

講者介紹

Yao Ma是密歇根州立大學計算機科學與工程專業的博士生。他還在數據科學與工程實驗室(DSE實驗室)擔任研究助理，該實驗室由Tang Jiliang博士領導。他的研究興趣包括網絡嵌入和圖神經網絡在圖結構數據上的表示學習。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等頂級會議上發表創新工作。在加入密歇根州立大學之前，他在Eindhoven理工大學獲得碩士學位，在浙江大學獲得學士學位。

Wei Jin是密歇根州立大學計算機科學與工程專業的一年級博士生，導師是Tang Jiliang博士。他的興趣在于圖表示學習。現從事圖神經網絡的理論基礎、模型魯棒性和應用研究。

Jiliang Tang 自2016年秋季以來一直是密歇根州立大學計算機科學與工程系的助理教授。在此之前，他是雅虎研究院的一名研究科學家，2015年在亞利桑那州立大學獲得博士學位。他的研究興趣包括社會計算、數據挖掘和機器學習，以及它們在教育中的應用。他是2019年NSF Career獎、2015年KDD最佳論文亞軍和6個最佳論文獎(或亞軍)的獲得者，包括WSDM2018和KDD2016。他擔任會議組織者(如KDD、WSDM和SDM)和期刊編輯(如TKDD)。他在高排名的期刊和頂級會議上發表多項研究成果，獲得了成千上萬的引用和廣泛的媒體報道。

Lingfei Wu是IBM AI foundation Labs的研究人員，IBM T. J. Watson研究中心的推理小組。

Tengfei Ma現任美國紐約IBM沃森研究中心研究員。

課程介紹： 最近，圖神經網絡 (GNN) 在各個領域越來越受到歡迎，包括社交網絡、知識圖譜、推薦系統，甚至生命科學。GNN 在對圖形中節點間的依賴關系進行建模方面能力強大，使得圖分析相關的研究領域取得了突破性進展。本次課程對比傳統的卷積神經網絡以及圖譜圖卷積與空間圖卷積，從理論知識入手，并結合相關論文進行詳細講解。

主講人： Xavier Bresson，人工智能/深度學習方面的頂級研究員，培訓師和顧問。在“圖深度學習”上的NeurIPS'17和CVPR'17（2019年頂級人工智能會議排名）上的演講者，在劍橋，加州大學洛杉磯分校，布朗，清華，龐加萊，海德堡等地進行了30多次國際演講。

課程大綱：

• 傳統卷積神經網絡
• 譜圖圖卷積
• 空間圖卷積
• 總結

課程介紹： 最近兩年，注意力模型（Attention Model）被廣泛使用在自然語言處理、圖像識別及語音識別等各種不同類型的深度學習任務中，是深度學習技術中最值得關注與深入了解的核心技術之一，本課程從基礎著手，由淺及深，詳細介紹注意力神經網絡。

主講人： Xavier Bresson，人工智能/深度學習方面的頂級研究員，培訓師和顧問。在“圖深度學習”上的NeurIPS'17和CVPR'17（2019年頂級人工智能會議排名）上的演講者，在劍橋，加州大學洛杉磯分校，布朗，清華，龐加萊，海德堡等地進行了30多次國際演講。

課程大綱：

• 神經網絡
• 神經網絡sets
• 記憶網絡
• Transformers
• seq2seq Transformers
• 語言模型Transformers
• 圖網絡VS神經網絡
• 總結