亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

題目： Hyperbolic Graph Attention Network

摘要： 圖神經網絡(GNN)在圖處理方面表現出了優越的性能，近年來引起了人們的廣泛關注。然而，大多數現有的GNN模型主要是為歐幾里得空間中的圖設計的。最近的研究已經證明，圖數據顯示非歐幾里得潛在的解剖學。不幸的是，到目前為止，很少有研究GNN在非歐幾里得的設置。為了彌補這一缺陷，本文首次對雙曲空間中具有注意機制的GNN進行了研究。雙曲GNN的研究有一些獨特的挑戰:由于雙曲空間不是向量空間，不能進行向量操作(如向量的加法、減法和標量乘法)。為了解決這個問題，我們使用回旋向量空間，它提供了一個優雅的代數形式的雙曲幾何，以轉換圖的特征;在此基礎上，我們提出了基于雙曲接近的注意力聚合機制。此外，由于雙曲空間中的數學運算比歐幾里得空間中的更為復雜，我們進一步設計了一種新的利用對數和指數映射的加速策略來提高模型的效率。通過與其他最先進的基線方法的比較，發現在四個真實數據集上的綜合實驗結果證明了我們提出的雙曲圖注意力網絡模型的性能。

題目： Heterogeneous Graph Attention Network

摘要： 圖神經網絡作為一種基于深度學習的功能強大的圖表示技術，表現出了優越的性能，引起了廣泛的研究興趣。然而，對于包含不同節點和鏈接類型的異構圖，圖神經網絡還沒有充分考慮到這一點。異構性和豐富的語義信息給異構圖的圖神經網絡設計帶來了很大的挑戰。最近，深度學習領域最令人興奮的進展之一是注意力機制，其巨大的潛力在各個領域都得到了很好的展示。本文首先提出了一種基于分層關注的異構圖神經網絡，包括節點級關注和語義級關注。具體來說，節點級注意的目的是學習節點與其基于元路徑的鄰居之間的重要性，而語義級注意能夠學習不同元路徑之間的重要性。通過對節點級和語義級注意的學習，可以充分考慮節點和元路徑的重要性。然后將基于元路徑的鄰域的特征分層聚合，生成節點嵌入。在三個真實世界的異構圖上的廣泛實驗結果不僅顯示了我們所提出的模型的優越性能，而且也顯示了它對圖分析的潛在良好的可解釋性。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

題目

幾何圖形卷積網絡，GEOM-GCN: GEOMETRIC GRAPH CONVOLUTIONAL NETWORKS

關鍵字

消息傳遞神經網絡，圖卷積神經網絡，圖表示學習，深度學習

簡介

消息傳遞神經網絡（MPNN）已成功應用于各種現實應用中的圖表示學習。但是，MPNN聚合器的兩個基本弱點限制了它們表示圖結構數據的能力：丟失了鄰居中節點的結構信息，并且缺乏捕獲解離圖中的長期依賴關系的能力。很少有研究注意到不同觀點的弱點。通過對經典神經網絡和網絡幾何的觀察，我們提出了一種新穎的圖神經網絡幾何聚合方案，以克服這兩個缺點。背后的基本思想是圖形上的聚合可以受益于圖形下方的連續空間。提出的聚合方案是置換不變的，由節點嵌入，結構鄰域和雙層聚合三個模塊組成。我們還介紹了該方案在圖卷積網絡（稱為Geom-GCN）中的實現，以對圖執行轉導學習。實驗結果表明，Geom-GCN在各種開放的圖形數據集上均達到了最先進的性能。

作者

Hongbin Pei，Bingzhe Wei，Kevin Chen-Chuan Chang，Yu Lei，Bo Yang

題目： Hyperbolic Graph Convolutional Neural Networks

摘要： 圖卷積神經網絡（GCNs）將圖中的節點嵌入到歐幾里德空間中，在嵌入具有無標度或層次結構的真實圖時，歐幾里德空間會產生很大的失真。雙曲幾何提供了一個令人興奮的選擇，因為它使嵌入具有更小的失真。然而，將廣義神經網絡擴展到雙曲幾何中，由于目前尚不清楚如何定義雙曲空間中的特征變換和聚集等神經網絡操作，因此提出了一些獨特的挑戰。此外，由于輸入特征通常是歐幾里德的，因此如何將特征轉換為具有適當曲率的雙曲型嵌入尚不清楚。本文提出了雙曲圖卷積神經網絡（HGCN），它是第一個同時利用GCN和雙曲幾何的表達能力來學習層次圖和無標度圖的歸納節點表示的雙曲型GCN。推導了雙曲空間雙曲面模型的GCN運算，并將歐氏輸入特征映射到每層可訓練曲率不同的雙曲空間中的嵌入。

作者簡介： Ines Chami，斯坦福大學ICME數據科學項目的碩士，她的研究方向包括計算機視覺，自然語言處理，更具體地說，多模態分析。個人主頁：//profiles.stanford.edu/ines-chami

Rex Ying，斯坦福大學計算機科學博士，他的研究主要集中在開發應用于圖結構數據的機器學習算法上。個人主頁：

題目： How Powerful are Graph Neural Networks?

摘要： 圖神經網絡（GNNs）是一種有效的圖表示學習框架。GNNs遵循鄰域聚合方案，通過遞歸地聚合和轉換鄰域節點的表示向量來計算節點的表示向量。許多GNN變體已經被提出，并且在節點和圖分類任務上都取得了最新的結果。然而，盡管GNNs給圖形表示學習帶來了革命性的變化，但是對于它們的表示性質和局限性的理解還是有限的。在這里，我們提出了一個理論框架來分析GNNs捕捉不同圖形結構的表現力。我們的結果描述了流行的GNN變體，如圖卷積網絡和圖年齡的辨別能力，并且表明它們不能學習辨別某些簡單的圖結構。然后，我們開發了一個簡單的體系結構，它可以證明是GNNs類中最具表現力的，并且與Weisfeiler-Lehman圖同構測試一樣強大。我們在一些圖形分類基準上實證驗證了我們的理論發現，并證明我們的模型達到了最先進的性能。

作者簡介： Keyulu Xu，麻省理工學院EECS系的研究生，也是CSAIL和機器學習小組的成員。他的興趣是智力和推理理論。

WeiHua Hu，哈爾濱工業大學（深圳）助理教授。