亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

導論

圖作為一種復雜的數據結構，由節點(或頂點)和邊(或鏈接)組成。它可以用于建模現實世界中的許多復雜系統，如社會網絡、蛋白質相互作用網絡、大腦網絡、道路網絡、物理相互作用網絡和知識圖等。因此，分析復雜網絡成為一個有趣的研究前沿。隨著深度學習技術的快速發展，許多學者采用深度學習體系結構來處理圖形。圖神經網絡(GNN)就是在這種情況下出現的。到目前為止，GNN已經發展成為一種流行和強大的計算框架，用于處理不規則數據，如圖形和流形。

GNN可以通過層次迭代算子學習任務特定的節點/邊/圖表示，從而利用傳統的機器學習方法執行與圖相關的學習任務，如節點分類、圖分類、鏈路預測和聚類等。盡管GNNs在圖形相關學習任務上取得了很大的成功，但他們仍然面臨著巨大的挑戰。首先，圖數據結構的復雜性給大型圖數據帶來了昂貴的計算代價。其次，擾動圖結構和/或初始特征會導致性能急劇下降。第三，wesfeiller - leman (WL)圖同構檢驗阻礙了GNNs的性能提升。最后，GNN的黑盒工作機制阻礙了將其安全部署到實際應用中。

本文將傳統的深度體系結構推廣到非歐氏域，總結了圖神經網絡的體系結構、擴展和應用、基準和評估缺陷以及未來的研究方向。到目前為止，已經對GNN進行了幾次調查。然而，他們通常從不同的角度、不同的側重點來討論GNN模型。據我們所知，關于GNN的第一次調查是由Michael M. Bronstein等人進行的。Peng Cui等[2]從三個方面綜述了應用于圖形的各種深度學習模型: 包括圖卷積神經網絡在內的半監督學習方法，包括圖自動編碼器在內的非監督學習方法，以及包括圖循環神經網絡和圖強化學習在內的最新進展。本研究側重于半監督學習模型，即空間圖和光譜圖卷積神經網絡，而對其他兩個方面的研究相對較少。由于篇幅有限，本調查只列出了GNNs的幾個關鍵應用，但忽略了應用的多樣性。孫茂松等人[3]從圖類型、傳播步驟和訓練方法三個方面詳細回顧了光譜和空間圖卷積神經網絡，并將其應用分為結構場景、非結構場景和其他場景三種場景。然而，這篇文章沒有涉及其他GNN架構，如圖形自動編碼器，圖形循環神經網絡和圖形生成網絡。Philip S. Yu等人[4]對圖神經網絡進行了全面的調查，并調查了可用的數據集、開源實現和實際應用。然而，對于每個研究主題，他們只列出了少量的核心文獻。Davide Bacciu等人[367]溫和地介紹了圖形數據的深度學習領域。本文的目的是介紹為圖數據構造神經網絡的主要概念和構建模塊，因此它沒有對最近的圖神經網絡工作進行闡述。

值得注意的是，上述所有調研都不涉及GNN的能力和可解釋性、概率推理和GNN的組合以及對圖的對抗攻擊。本文從架構、擴展和應用、基準測試和評估缺陷、未來研究方向四個方面為讀者提供了GNN的全景圖，如圖1所示。對于GNNs的結構，我們研究了圖卷積神經網絡(GCNNs)、圖池算子、圖注意機制和圖循環神經網絡(GRNNs)等方面的研究。通過對上述體系結構的集成，實現了GNNs的擴展和應用，展示了一些值得關注的研究課題。具體來說，這一視角包括深度圖表示學習、深度圖生成模型、概率推理(PI)和gnn的組合、GNN的對抗攻擊、圖神經結構搜索和圖強化學習和應用。綜上所述，本文對GNNs進行了完整的分類，并對GNNs的研究現狀和發展趨勢進行了全面的綜述。這些是我們與上述調查的主要不同之處。

我們的主要貢獻可以歸結為以下三個方面。

1. 我們提出了一種新的GNN分類方法，它有三個層次。第一個包括架構、基準測試和評估缺陷以及應用程序。體系結構分為9類，基準測試和評估缺陷分為2類，應用程序分為10類。此外，圖卷積神經網絡作為一種經典的GNN體系結構，又被分為6類。

2. 我們提供了GNN的全面回顧。所有的文獻都屬于相應的類別。希望讀者通過閱讀本概覽，不僅了解GNNs的全貌，而且了解GNNs的基本原理和各種計算模塊。

3.根據目前GNNs所面臨的挑戰，我們總結了未來四個研究方向，其中大部分在其他研究中沒有提及。希望通過克服這些挑戰，使GNNs的研究進入一個新的階段

未來研究方向：

盡管GNNs在許多領域取得了巨大的成功，但仍存在一些有待解決的問題。本節總結了GNNs未來的研究方向。

• 高度可伸縮的GNN。現實世界的圖通常包含數億個節點和邊，并具有動態演化的特征。事實證明，現有的GNN架構很難擴展到巨大的真實世界圖。這促使我們設計高度可伸縮的GNN架構，能夠高效和有效地學習節點/邊/圖表示為巨大的動態演化圖。

• 健壯的GNN。現有的GNN架構容易受到對抗性攻擊。也就是說，一旦輸入圖的結構和/或初始特征受到攻擊，GNN模型的性能就會急劇下降。因此，我們應該將攻擊防御機制整合到GNN體系結構中，即構建健壯的GNN體系結構，以增強其對抗攻擊的能力。

• GNNs超過WL測試。空間廣義網格網絡的性能受單WL的限制，而高階WL檢驗的計算代價昂貴。因此，在適當的條件下，兩個非同構圖將產生相同的節點/邊/圖表示。這促使我們開發一個超越WL測試的新的GNN框架，或者設計一個優雅的高階GNN架構來對應高階WL測試。

• 可解釋的GNN。現有的GNN在一個黑盒中工作。我們不明白為什么它們在節點分類任務、圖分類任務和圖嵌入任務等方面都能達到如此先進的性能。可解釋性已經成為將GNNs應用于現實問題的一個主要障礙。雖然已有一些研究對某些特定的GNN模型進行了解釋，但它們不能解釋一般的GNN模型。這促使我們為gnn構建一個統一的可解釋框架。

圖神經網絡(GNNs)最近變得越來越受歡迎，因為它們能夠學習復雜的關系系統或相互作用，這些關系或作用來源于生物學和粒子物理學到社會網絡和推薦系統等廣泛問題。盡管在圖上進行深度學習的不同模型太多了，但迄今為止，很少有人提出方法來處理呈現某種動態性質的圖(例如，隨著時間的推移而進化的特征或連通性)。在本文中，我們提出了時序圖網絡(TGNs)，一個通用的，有效的框架，用于深度學習動態圖表示為時間事件序列。由于內存模塊和基于圖的運算符的新組合，TGNs能夠顯著優于以前的方法，同時在計算效率上也更高。此外，我們還展示了之前幾個用于學習動態圖的模型可以轉換為我們框架的具體實例。我們對框架的不同組件進行了詳細的消歧研究，并設計了最佳配置，在動態圖的幾個轉導和歸納預測任務中實現了最先進的性能。

//github.com/twitter-research/tgn

摘要：

圖神經網絡(GNNs)最近變得越來越受歡迎，因為它們能夠學習復雜的關系系統，這些關系產生于從生物學和粒子物理學到社會網絡和推薦系統的廣泛問題。盡管在圖上進行深度學習的不同模型太多了，但迄今為止，很少有人提出方法來處理呈現某種動態性質的圖(例如，隨著時間的推移而進化的特征或連通性)。在本文中，作者提出了時序圖網絡(TGNs)，一個通用的，有效的框架，用于深度學習動態圖表示為時間事件序列。在內存模塊和基于圖的操作符中，TGNs能夠顯著優于以前的方法，同時計算效率也更高。作者進一步表明，以前的幾個學習動態圖的模型可以轉換為TGN框架的具體實例。他們對TGN框架的不同組件進行了詳細的消融研究，并設計了最佳配置，在動態圖的幾個轉導和歸納預測任務上實現了最先進的性能。

討論的問題：

• 理解動態圖的需要和目前靜態GNN方法的局限
• TGN內存模塊和時間依賴嵌入模塊
• TGN先進的訓練策略

結論

• 時序圖網絡是動態時間圖的廣義GNN形式
• 內存模塊為每個節點介紹，并用于存儲內存的數據動態
• 圖嵌入可以基于內存狀態和下游時間的任務進行計算
• 節點內存也可以更新測試時間
• 作者介紹了計算內存的一般框架，但每個內存函數(消息、聚合和更新)可以根據手頭的問題進行修改

地址： //ai.science/e/tgn-temporal-graph-networks-for-deep-learning-on-dynamic-graphs--eqAnR859q8wk2jfcGnbx

最近，人們對在非歐幾里得空間中表示數據的方法(例如雙曲或球面)越來越感興趣，這些方法提供了對某些真實世界數據屬性(例如無尺度、分層或循環)有用的特定歸納偏差。然而，流行的圖神經網絡目前僅限于通過歐幾里得幾何和相關的向量空間操作來建模數據。在這里，我們通過提出將圖卷積網絡(GCN)在數學基礎上推廣為常曲率空間的(乘積)來彌補這一差距。我們通過i)引入一種統一的形式，可以在所有常曲率幾何之間平滑地插入，ii)利用陀螺質心坐標，推廣了經典的歐幾里德質心概念。當曲率從任何一邊變為零時，我們這類模型平滑地恢復它們的歐幾里得對應模型。根據其離散曲率，我們在非歐幾里得行為的符號數據上的節點分類和失真最小化的任務表現優于歐幾里得GCNs。

//arxiv.org/abs/1911.05076

概述

圖卷積網絡 針對圖像數據的卷積網絡和深度學習的成功啟發了對于共享參數與圖形幾何形狀一致的圖推廣。Bruna等人(2014);Henaff等人(2015)是利用圖上的局部譜濾波器在圖傅里葉空間中開發頻譜圖卷積神經網絡的先驅。然而，為了減少對拉普拉斯特征模式的圖依賴，Defferrard等人(2016)利用Hammond等人(2011)的結果使用Chebyshev多項式近似卷積濾波器。所得到的方法(在附錄A中討論)在計算效率和精度和復雜性方面是優越的。此外，Kipf和Welling(2017)通過考慮一階近似來簡化這種方法，從而獲得高可伸縮性。提出的圖卷積網絡(GCN)是通過對稱歸一化鄰接矩陣來插值節點嵌入，而這種權值共享可以理解為一種有效的擴散式正則化器。最近的工作擴展了GCNs，實現了鏈接預測(Zhang & Chen, 2018)、圖分類(Hamilton等，2017;和節點分類(Klicpera et al.， 2019;Velickoviˇc et al .′, 2018)。

ML中的歐幾里得幾何。在機器學習(ML)中，由于各種原因，數據通常在歐幾里得空間中表示。首先，有些數據本質上是歐幾里得的，比如經典力學中三維空間中的位置。其次，直覺在這樣的空間中更容易，因為它們擁有一個吸引人的矢量結構，允許基本的算術和豐富的線性代數理論。最后，許多感興趣的量，如距離和內積在封閉公式中是已知的，可以在現有的硬件上非常有效地計算。這些操作是當今大多數流行的機器學習模型的基本構建模塊。因此，歐幾里得幾何強大的簡單性和效率已經導致許多方法實現了最先進的任務，如機器翻譯(Bahdanau等，2015;wani et al.， 2017)，語音識別(Graves et al.， 2013)，圖像分類(He et al.， 2016)或推薦系統(He et al.， 2017)。

黎曼ML 盡管取得了成功，但某些類型的數據(例如分層數據、無標度數據或球形數據)被證明可以更好地用非歐幾里德幾何表示(Defferrard et al.， 2019;Bronstein等，2017;Nickel & Kiela, 2017;Gu et al.， 2019)，尤其帶來了豐富的流形學習理論(Roweis & Saul, 2000;和信息幾何(Amari & Nagaoka, 2007)。在活力操縱非歐幾里得幾何的數學框架被稱為黎曼幾何(Spivak, 1979)。雖然它的理論導致了許多強而優雅的結果，但它的一些基本量，如距離函數d(·，·)，通常不能以封閉的形式提供，這對許多計算方法都是禁止的。

常曲率幾何的代表性優勢。在一般黎曼流形和歐幾里得空間之間的一個有趣的權衡是由常截面曲率流形給出的。他們一起定義了所謂的雙曲(負曲率)，橢圓(正曲率)和歐幾里得(零曲率)幾何。正如下面和附錄B中所討論的，歐幾里得空間在嵌入某些類型的數據(如樹)時具有局限性，并且會產生很大的失真。在這些情況下，雙曲空間和球面空間具有代表性的優勢，為各自的數據提供了更好的歸納偏差。

雙曲空間可以直觀地理解為一棵連續樹:球的體積隨半徑呈指數增長，類似于二叉樹的節點數隨深度呈指數增長(圖1)。它的樹狀性質已經被數學研究了很長時間(Gromov, 1987;哈曼,2017;與歐幾里得幾何結構相比，它被證明能夠更好地嵌入復雜網絡(Krioukov et al., 2010)、無標度圖和分層數據(Cho et al., 2019; Sala et al., 2018; Ganea et al., 2018b; Gu et al., 2019; Nickel & Kiela, 2018; 2017; Tifrea et al., 2019)。一些重要的工具或方法找到了它們的雙曲線對應物，例如變分自編碼器(Mathieu et al.， 2019;、注意力機制(Gulcehre等，2018)、矩陣乘法、遞歸單位和多項logistic回歸(Ganea等，2018)。

常曲率空間中的GCNs。在這項工作中，我們引入了一個擴展的圖形卷積網絡，它允許學習存在于具有任何曲率符號的常曲率空間(乘積)中的表示。我們通過將導出的統一陀螺框架與GCNs的有效性相結合來實現這一點(Kipf & Welling, 2017)。與我們的工作同時，Chami等人(2019年);Liu等人(2019)考慮了通過切線空間聚合在雙曲空間中學習嵌入的圖神經網絡。他們的方法將在第3.4節中作更詳細的分析。我們的模型更一般化，因為它在一個包含雙曲空間的嚴格超集中產生表示。

題目

幾何圖形卷積網絡，GEOM-GCN: GEOMETRIC GRAPH CONVOLUTIONAL NETWORKS

關鍵字

消息傳遞神經網絡，圖卷積神經網絡，圖表示學習，深度學習

簡介

消息傳遞神經網絡（MPNN）已成功應用于各種現實應用中的圖表示學習。但是，MPNN聚合器的兩個基本弱點限制了它們表示圖結構數據的能力：丟失了鄰居中節點的結構信息，并且缺乏捕獲解離圖中的長期依賴關系的能力。很少有研究注意到不同觀點的弱點。通過對經典神經網絡和網絡幾何的觀察，我們提出了一種新穎的圖神經網絡幾何聚合方案，以克服這兩個缺點。背后的基本思想是圖形上的聚合可以受益于圖形下方的連續空間。提出的聚合方案是置換不變的，由節點嵌入，結構鄰域和雙層聚合三個模塊組成。我們還介紹了該方案在圖卷積網絡（稱為Geom-GCN）中的實現，以對圖執行轉導學習。實驗結果表明，Geom-GCN在各種開放的圖形數據集上均達到了最先進的性能。

作者

Hongbin Pei，Bingzhe Wei，Kevin Chen-Chuan Chang，Yu Lei，Bo Yang

數據挖掘領域的國際會議WSDM將于2020年2月3日-2月7日在美國休斯敦召開，WSDM 2020全稱為第13屆國際互聯網搜索與數據挖掘會議（The 13th International Conference on Web Search and Data Mining, WSDM 2020）。WSDM是CCF推薦的B類國際學術會議，由SIGIR、SIGKDD、SIGMOD和SIGWEB四個專委會協調籌辦，在互聯網搜索、數據挖掘領域享有較高學術聲譽。這次會議共收到來自615篇長文投稿，僅有91篇長文被錄用，錄用率約15%。

為此小編特意整理了近期五篇圖神經網絡（GNN）相關的接收論文，讓大家先睹為快。

1. A Structural Graph Representation Learning Framework

作者：Ryan A. Rossi, Nesreen K. Ahmed, Eunyee Koh, Sungchul Kim, Anup Rao and Yasin Abbasi-Yadkori;

摘要：許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入，而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中，我們闡述了高階網絡表示學習，并提出了一個稱為HONE的通用框架，用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法，該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外，HONE被證明是快速和有效的，最壞情況下的時間復雜度幾乎是線性的。實驗結果表明，該算法能有效地處理大量的網絡日志數據，包括鏈接預測和visitor stitching。

網址： //ryanrossi.com/pubs/WSDM20-structural-node-embedding-framework.pdf

2. Initialization for Network Embedding: A Graph Partition Approach

作者：Wenqing Lin, Feng He, Faqiang Zhang, Xu Cheng and Hongyun Cai;

摘要：網絡嵌入已經在文獻中得到了深入的研究，并廣泛用于各種應用中，如鏈接預測和節點分類。盡管先前的工作集中在新算法的設計上或針對各種問題設置進行了量身定制，但常常忽略了學習過程中對初始化策略的討論。在這項工作中，我們解決了這個重要的網絡嵌入初始化問題，它可以顯著地提高算法的有效性和效率。具體來說，我們首先利用graph partition技術將圖劃分為幾個不相交的子集，然后基于這些partition構造一個abstract graph。我們通過計算abstract graph上的網絡嵌入，得到圖中每個節點的嵌入初始化，abstract graph上的網絡嵌入比輸入圖小得多，然后將嵌入傳播到輸入圖的節點中。通過對各種數據集的大量實驗，我們證明了我們的初始化技術顯著提高了最先進算法在鏈接預測和節點分類方面的性能，分別提高了7.76%和8.74%。此外，我們證明了初始化技術至少減少了20%的運行時間。

網址：

3. Dynamic graph representation learning via self-attention networks

作者：Aravind Sankar, Yanhong Wu, Liang Gou, Wei Zhang and Hao Yang;

摘要：學習圖中節點的潛在表示是一項重要且普遍存在的任務，在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上，而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中，我們提出了Dynamic Self-Attention Network (DySAT)，這是一種新型的神經架構，它操作在動態圖上，并學習節點表示，以捕捉結構特性和時間演化模式。具體來說，DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗：通信網絡和二分評級網絡。我們的實驗結果表明，DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。

網址：

4. Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

作者：Carl Yang, Jieyu Zhang, Haonan Wang, Sha Li, Myungwan Kim, Ma? Walker, Yiou Xiao and Jiawei Han;

摘要：盡管節點語義已在社交網絡中得到了廣泛的探索，但對邊緣語義即社會關系的研究很少受到關注。理想的邊緣語義不僅應該顯示兩個用戶是連接的，而且還應該說明他么為什么彼此認識以及共享什么。然而，由于嘈雜的多模態信號和有限的用戶生成的ground-truth標簽，社交網絡中的關系往往很難分析。

在這項工作中，我們的目標是開發一個統一的且有原則的框架，通過在有噪聲和不完整數據存在的情況下整合多模態信號，將用戶關系描述為社交網絡中的邊緣語義。我們的框架對于半監督或無監督的情況也是靈活的。具體地說，我們假定每個用戶鏈接下的多個關系的潛在分布，并使用多模態圖邊緣變分自動編碼器來學習它們。我們用一個圖卷積網絡對網絡數據進行編碼，用多個重構網絡對任意信號進行解碼。在兩個公開的DBLP author network和兩個internal LinkedIn member network上的大量實驗和案例研究證明了我們提出的模型的優越性和有效性。

網址：

5. Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning

作者：Xianfeng Tang, Yandong Li, Yiwei Sun, Huaxiu Yao, Prasenjit Mitra and Suhang Wang;

摘要：圖神經網絡(GNNs)有著廣泛的應用。然而，他們在對抗攻擊的魯棒性方面是不行的。先前的研究表明，對圖拓撲或節點特征使用不明顯的修改會大大降低GNN的性能。設計強大的圖神經網絡以防止poisoning attack是一項非常具有挑戰性的工作。現有工作的目標是僅使用poisoned圖來減少adversarial edge的負面影響，這是次優的，因為它們無法區分adversarial edge和normal edge。另一方面，來自與目標poisoned圖類似領域的clean圖在現實世界中通常是可用的。通過擾動這些clean圖，我們創建了監督知識來訓練檢測adversarial edge的能力，從而提高了GNN的魯棒性。然而，現有的工作忽略了這種clean圖的潛力。為此，我們研究了一個新的問題，通過研究clean圖來提高GNNs對poisoning attack的魯棒性。具體而言，我們提出了PA-GNN，它基于一種懲罰性聚合機制，通過分配較低的注意力系數來直接限制adversarial edge的負面影響。為了優化一個poisoned圖的PA-GNN，我們設計了一種meta-optimization算法，訓練PA-GNN使用clean圖和其adversarial圖懲罰擾動，并將這種能力遷移到poisoned圖上，以提高PA-GNN的魯棒性。在四個真實數據集上的實驗結果證明了PA-GNN對圖數據poisoning attack的魯棒性。

網址：

論文鏈接： 提取碼：uzby