圖神經網絡(GNNs)通常應用于靜態圖，這些靜態圖可以認為是預先已知的。這種靜態輸入結構通常完全由機器學習從業者的洞察力決定，對于GNN正在解決的實際任務可能不是最佳的。在缺乏可靠的領域專家知識的情況下，人們可能求助于推斷潛在的圖結構，但由于可能的圖的搜索空間很大，這往往是困難的。這里我們引入了點針圖網絡(PGNs)，它增加了集合或圖的推斷邊的能力，以提高模型的表達能力。PGNs允許每個節點動態地指向另一個節點，然后通過這些點針傳遞消息。這種可適應圖結構的稀疏性使學習變得容易處理，同時仍然具有足夠的表現力來模擬復雜的算法。關鍵的是，指向機制可以直接監督的，以對經典數據結構上的長期操作序列建模，并結合了來自理論計算機科學的有用的結構歸納偏差。定性地說，我們證明了PGNs可以學習基于點針的數據結構的可并行變體，即不相交集并和鏈接/修剪樹。PGNs在動態圖連通性任務中將分布外概括為5個較大的測試輸入，優于不受限制的GNNs和深度集合。
付費5元查看完整內容
相關內容
圖池化是眾多圖神經網絡(GNN)架構的核心組件。由于繼承了傳統的CNNs，大多數方法將圖池化為一個聚類分配問題，將規則網格中的局部patch的思想擴展到圖中。盡管廣泛遵循了這種設計選擇，但沒有任何工作嚴格評估過它對GNNs成功的影響。我們以代表性的GNN為基礎，并引入了一些變體，這些變體挑戰了在補充圖上使用隨機化或聚類的局部保持表示的需要。引人注目的是，我們的實驗表明，使用這些變體不會導致任何性能下降。為了理解這一現象，我們研究了卷積層和隨后的池層之間的相互作用。我們證明了卷積在學習的表示法中起著主導作用。與通常的看法相反，局部池化不是GNNs在相關和廣泛使用的基準測試中成功的原因。
付費5元查看完整內容
圖的深度學習方法在許多節點級和圖級預測任務中都取得了顯著的效果。然而，盡管這些方法大量涌現并取得了成功，但主流的圖神經網絡(GNNs)忽略了子圖，使得子圖預測任務在許多有影響的應用中難以處理。此外，子圖預測任務提出了幾個獨特的挑戰，因為子圖可以有非平凡的內部拓撲，但也攜帶了相對于其存在的底層圖的位置和外部連接信息的概念。在這里，我們介紹了子GNN，一種學習解糾纏子圖表示的子圖神經網絡。特別是，我們提出了一種新的子圖路由機制，它在子圖的組件和隨機抽樣的基礎圖錨塊之間傳播神經信息，從而產生高度精確的子圖表示。SUB-GNN指定了三個通道，每個通道都設計用于捕獲子圖結構的不同方面，我們提供了經驗證據證明這些通道編碼了它們預期的屬性。我們設計了一系列新的合成的和真實的子圖數據集。對8個數據集進行子圖分類的實證結果表明，子GNN實現了可觀的性能提升，比最強的baseline方法(包括節點級和圖級gnn)的性能高出12.4%。當子圖具有復雜的拓撲結構，甚至包含多個斷開連接的組件時，子GNN在具有挑戰性的生物醫學數據集上表現得非常好。
//www.zhuanzhi.ai/paper/9c11ef35cfb6b6a3ac7f8d547b9b59e6
付費5元查看完整內容
圖神經網絡(GNNs)已被證明是有效的模型，用于對圖結構數據的不同預測任務。最近關于它們表達能力的工作集中在同構任務和可數特征空間。我們對這個理論框架進行了擴展，使其包含連續的特性——在真實世界的輸入域和gnn的隱藏層中定期出現——并演示了在此上下文中對多個聚合函數的需求。為此，我們提出了一種新的聚合器結構——主鄰域聚合(PNA)，它將多個聚合器與度標器相結合，從而推廣了總和聚合器。最后，我們通過一個新的基準來比較不同模型捕獲和利用圖結構的能力，該基準包含了來自經典圖理論的多個任務，以及來自現實領域的現有基準，所有這些都證明了我們模型的強大。通過這項工作，我們希望引導一些GNN研究轉向新的聚合方法，我們認為這對于尋找強大和健壯的模型至關重要。
//www.zhuanzhi.ai/paper/bee47b0e291d163fae01c
付費5元查看完整內容
題目： Multi-Channel Graph Neural Networks
摘要： 圖結構數據的分類在許多學科中已經變得越來越重要。據觀察，在真實世界圖中保留的隱式或顯式的層次社區結構對于下游分類應用是有用的。利用分層結構的一個直接方法是利用池化算法將節點聚類到固定的組中，并逐層縮小輸入圖以學習池化的圖。但池化收縮丟棄了圖的細節，難以區分兩個非同構圖，固定聚類忽略了節點固有的多重特性。為了彌補網絡的收縮損失和學習網絡節點的各種特性，我們提出了多通道圖神經網絡（MuchGNN）。在卷積神經網絡的基礎機制的驅動下，我們定義了定制的圖卷積來學習每一層的一系列圖通道，并分層縮小圖來編碼匯集的結構。在真實數據集上的實驗結果證明了MuchGNN的優越性。
付費5元查看完整內容
題目： Continuous Graph Neural Networks
摘要：
本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。
介紹
圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。
改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。
此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。
我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。
本文的主要貢獻是:
- 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
- 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
- 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。
付費5元查看完整內容
Graph neural networks (GNNs) are typically applied to static graphs that are assumed to be known upfront. This static input structure is often informed purely by insight of the machine learning practitioner, and might not be optimal for the actual task the GNN is solving. In absence of reliable domain expertise, one might resort to inferring the latent graph structure, which is often difficult due to the vast search space of possible graphs. Here we introduce Pointer Graph Networks (PGNs) which augment sets or graphs with additional inferred edges for improved model expressivity. PGNs allow each node to dynamically point to another node, followed by message passing over these pointers. The sparsity of this adaptable graph structure makes learning tractable while still being sufficiently expressive to simulate complex algorithms. Critically, the pointing mechanism is directly supervised to model long-term sequences of operations on classical data structures, incorporating useful structural inductive biases from theoretical computer science. Qualitatively, we demonstrate that PGNs can learn parallelisable variants of pointer-based data structures, namely disjoint set unions and link/cut trees. PGNs generalise out-of-distribution to 5x larger test inputs on dynamic graph connectivity tasks, outperforming unrestricted GNNs and Deep Sets.
題目： MEMORY-BASED GRAPH NETWORKS
摘 要:
圖神經網絡是一類對任意拓撲結構的數據進行操作的深度模型。我們為GNNs引入了一個有效的記憶層，它可以聯合學習節點表示并對圖進行粗化。在此基礎上，我們還引入了兩個新的網絡:基于記憶的GNN (MemGNN)和可以學習層次圖表示的圖存儲網絡(GMN)。實驗結果表明，所提出的模型在9個圖分類和回歸基準中有8個達到了最新的結果。我們也證明了這些表示學習可以對應于分子數據中的化學特征。
付費5元查看完整內容
論文題目： Graph Transformer Network
論文摘要：
圖神經網絡（GNNs）在圖表示學習中得到了廣泛的應用，實現了節點分類和連接預測等任務的最佳性能。然而，大多數現有的GNNs都被設計為在固定（fix）和同質（homogeneous）的圖上學習節點表示。當在不確定的圖或由各種類型的節點和邊組成的異構（heterogeneous）圖上學習表示時，這些限制尤其成問題。本文提出了能夠生成新的圖結構的圖變換網絡(Graph Transformer Networks, GTNs)，它涉及在原始圖上識別未連接節點之間的有用連接，同時以端到端方式學習新圖上的有效節點表示。圖變換層是GTNs的核心層，學習邊類型和復合關系的軟選擇，以產生有用的多跳連接，即所謂的元路徑。我們的實驗表明，GTNs基于數據和任務，在沒有領域知識（domain knowledge）的情況下學習新的圖結構，并通過在新圖上的卷積產生強大的節點表示。在沒有域特定的圖預處理的情況下，GTNs在所有三個benchmark節點分類任務中實現了對比需要領域知識的預定義的元路徑的現有技術方法的最佳性能。本文提出了能夠生成新的圖結構的圖變換網絡(Graph Transformer Networks, GTNs)，該方法將異構圖轉化為由任意邊類型和任意長度的元路徑定義的多個新圖，同時通過對學習到的元路徑圖進行卷積學習節點表示。GTN打破了手工構建元路徑的現狀，構建了自動化的圖生成及表示學習模式。
作者簡介：
Raehyun Kim目前在高麗大學計算機科學與工程學院，研究領域為股票市場預測，推薦系統，決策支持系統。
Hyunwoo J. Kim目前在高麗大學計算機科學與工程學院助理教授，研究興趣為機器學習、計算機視覺、數值優化、多方面統計數據、深度學習。
論文下載鏈接： //arxiv.org/pdf/1911.06455.pdf
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191