亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是，構造了結構圖，特征圖(feature graph)，以及兩者的組合來提取特定的和通用的嵌入，并使用注意機制來學習嵌入的自適應重要性權重。實驗發現，AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息，對應不同的參數取值。 //arxiv.org/abs/2007.02265

摘要：圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而，最近的一些研究提出了一個問題，即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中，我們首先提出一個實驗研究。令人驚訝的是，我們的實驗結果清楚地表明，當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的，甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息，這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷，設計出一種新型的GCNs，既能保留現有GCNs的優勢，又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題，我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入，并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明，AM-GCN從節點特征和拓撲結構中提取了最多的相關信息，顯著提高了分類精度。

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

題目： Hyperbolic Graph Attention Network

摘要： 圖神經網絡(GNN)在圖處理方面表現出了優越的性能，近年來引起了人們的廣泛關注。然而，大多數現有的GNN模型主要是為歐幾里得空間中的圖設計的。最近的研究已經證明，圖數據顯示非歐幾里得潛在的解剖學。不幸的是，到目前為止，很少有研究GNN在非歐幾里得的設置。為了彌補這一缺陷，本文首次對雙曲空間中具有注意機制的GNN進行了研究。雙曲GNN的研究有一些獨特的挑戰:由于雙曲空間不是向量空間，不能進行向量操作(如向量的加法、減法和標量乘法)。為了解決這個問題，我們使用回旋向量空間，它提供了一個優雅的代數形式的雙曲幾何，以轉換圖的特征;在此基礎上，我們提出了基于雙曲接近的注意力聚合機制。此外，由于雙曲空間中的數學運算比歐幾里得空間中的更為復雜，我們進一步設計了一種新的利用對數和指數映射的加速策略來提高模型的效率。通過與其他最先進的基線方法的比較，發現在四個真實數據集上的綜合實驗結果證明了我們提出的雙曲圖注意力網絡模型的性能。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

題目： Composition-Based Multi-Relational Graph Convolutional Networks

摘要： 圖卷積網絡(GCNs)最近被證明在對圖結構數據建模方面是非常成功的。然而，主要的重點是處理簡單的無向圖。多關系圖是一種更為普遍和流行的圖，其中每條邊都有一個與之相關的標簽和方向。現有的大多數處理此類圖的方法都存在參數過多的問題，并且僅限于學習節點的表示形式。在本文中，我們提出了一種新的圖卷積框架COMP-GCN，它將節點和關系共同嵌入到一個關系圖中。COMP-GCN利用知識圖譜嵌入技術中的各種實體關系組合操作，并根據關系的數量進行擴展。它還概括了幾種現有的多關系GCN方法。我們評估了我們提出的方法在多個任務，如節點分類，鏈接預測，和圖分類，并取得了明顯的結果。

題目： Dynamic Spatio-temporal Graph-based CNNs for Traffic Flow Prediction

摘要： 由于其時空結構的復雜性和動態性，預測未來交通流是一個具有挑戰性的問題。大多數現有的基于圖的CNN都試圖捕捉靜態關系，而忽略了序列數據下的動態關系。本文通過學習表達特征來表示時空結構，并從監控視頻數據中預測未來的交通流，提出了一種基于動態時空圖的神經網絡(DST-GCNNs)。特別是，DST-GCNN是一個雙流網絡。在流量預測流中，我們提出了一種新的基于圖形的時空卷積層來從流量的圖形表示中提取特征。然后將幾個這樣的層疊加在一起來預測未來的流動。同時，隨著交通條件的變化，圖中交通流之間的關系往往是時變的。為了捕獲圖的動態，我們使用圖預測流來預測動態圖結構，并將預測的結構輸入到流預測流中。在實際數據集上的實驗表明，該模型與現有的方法相比具有較強的競爭能力。

題目

幾何圖形卷積網絡，GEOM-GCN: GEOMETRIC GRAPH CONVOLUTIONAL NETWORKS

關鍵字

消息傳遞神經網絡，圖卷積神經網絡，圖表示學習，深度學習

簡介

消息傳遞神經網絡（MPNN）已成功應用于各種現實應用中的圖表示學習。但是，MPNN聚合器的兩個基本弱點限制了它們表示圖結構數據的能力：丟失了鄰居中節點的結構信息，并且缺乏捕獲解離圖中的長期依賴關系的能力。很少有研究注意到不同觀點的弱點。通過對經典神經網絡和網絡幾何的觀察，我們提出了一種新穎的圖神經網絡幾何聚合方案，以克服這兩個缺點。背后的基本思想是圖形上的聚合可以受益于圖形下方的連續空間。提出的聚合方案是置換不變的，由節點嵌入，結構鄰域和雙層聚合三個模塊組成。我們還介紹了該方案在圖卷積網絡（稱為Geom-GCN）中的實現，以對圖執行轉導學習。實驗結果表明，Geom-GCN在各種開放的圖形數據集上均達到了最先進的性能。

作者

Hongbin Pei，Bingzhe Wei，Kevin Chen-Chuan Chang，Yu Lei，Bo Yang