亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

鄰接矩陣排列的不變性，即圖同構，是圖神經網絡(GNNs)的首要要求。通常，聚合消息時，節點排列上的不變操作可以滿足這個前提條件。但是，這種不變性可能會忽略相鄰節點之間的關系，從而影響GNN的表達能力。在這項工作中，我們通過排列組設計了一種高效的排列敏感聚合機制，捕獲相鄰節點之間的成對關聯。我們證明了我們的方法嚴格地比二維Weisfeiler-Lehman (2-WL)圖同構檢驗更強大，且不低于3-WL檢驗。此外，我們證明了我們的方法實現了線性抽樣復雜度。在多個合成數據集和真實數據集上的綜合實驗證明了我們的模型的優越性。

//www.zhuanzhi.ai/paper/da818de2d710f7cb9087582587f6240f

雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。

//www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

本期小編挑選了幾篇ICML2021中關于GNN的論文（附論文下載地址）分享給大家~包括圖神經網絡規范化、圖表示能力增強、圖神經網絡的對抗攻擊能力、圖神經網絡與強化學習結合控制圖中動態傳播問題、分子圖卷積神經網絡 (GCNN) 的正則化方法~

論文清單

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

A Collective Learning Framework to Boost GNN Expressiveness

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training （論文下載地址：//arxiv.org/abs/2009.03294）

Normalization有助于優化深度神經網絡。但不同的結構需要不同的規范化方法。在本文中，我們研究什么規范化方法對圖神經網絡 (GNN) 是有效的。首先，我們將現有的規范化方法應用到GNN中，并對其進行評估。與BatchNorm和LayerNorm相比，InstanceNorm的收斂速度更快。InstanceNorm 作為 GNN 的preconditioner，但由于圖數據集中的大量的批處理噪聲，BatchNorm 的這種預處理效果就顯得較弱。其次，我們證明了InstanceNorm中的shift操作會導致GNN對于高度正則圖的表達能力退化。我們提出了一種learnable shift的GraphNorm來解決這個問題。實驗表明，使用GraphNorm的GNN比使用其他規范化方法的GNN收斂更快。此外，GraphhNorm還改進了GNN的泛化能力，在圖分類中獲得了更好的性能。

A Collective Learning Framework to Boost GNN Expressiveness （論文下載地址：

圖神經網絡 (GNN) 最近已成功用于節點和圖分類任務。但 GNN 建模的是相鄰節點的屬性之間的依賴關系，而不是觀察到的節點標簽之間的依賴關系。在本文中，我們考慮在監督和半監督下考慮到標簽依賴性，使用 GNN 進行inductive node classification。當前的 GNN 不是通用的（即最具表現力的）圖表示模型，我們提出了一種通用的collective learning方法，增強現有 GNN 的表示能力。我們的模型將collective classification的思想與自監督學習相結合，并使用蒙特卡羅方法對embeddings進行采樣，以進行圖之間的歸納學習。我們評估了模型在五個真實網絡數據集上的性能，結果證明了模型可以顯著提高節點分類的準確度。

Information Obfuscation of Graph Neural Networks （論文下載地址：

圖神經網絡 (GNN) 的出現極大地改進了許多應用中的節點和圖表示學習能力，但鄰域聚合方法向試圖提取敏感屬性node-level信息的對手暴露了額外的漏洞。在本文中，我們研究了在使用圖結構數據進行學習時，利用信息混淆來保護敏感屬性的問題。我們提出了一個基于total variation和 Wasserstein 距離的對抗性訓練框架，用于局部過濾掉預先確定的敏感屬性。該方法可以對推理攻擊形成了強大的防御。理論上，我們分析了該框架對抗最壞情況的有效性，并描述了最大化預測準確性和最小化信息泄漏之間的內在權衡。在來自推薦系統、知識圖譜和量子化學的多個數據集上進行實驗，實驗表明，該方法在為下游任務生成 GNN 編碼器的同時，可以為各種圖結構和任務提供強大的防御能力。

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

（論文下載地址：

我們考慮控制圖中partially-observed的動態傳播過程的問題。例如，在安排病毒測試或選擇應該被隔離的節點以遏制流行病蔓延；手動檢查發布的文章來檢測在線網絡上傳播的虛假新聞；鼓勵產品的傳播而進行的有針對性的營銷，在這些情況下，都會遇到這個問題。當只能測試或隔離一小部分人口時，遏制傳播并限制感染人群的比例變得具有挑戰性。

為了應對這一挑戰，我們將此問題建模為圖上的順序決策問題。面對指數級狀態空間、組合動作空間和部分可觀察性，我們提出了 RLGN，這是一種新穎的易處理強化學習 (RL) 方法，用于確定節點是否需要測試，并使用圖神經網絡 (GNN) 對圖節點進行排序。我們在三種類型的社交網絡中評估這種方法：社區結構、優先連接依賴preferential attachment 和 基于真實 cellular tracking的統計數據。實驗表明，RLGN始終優于所有基線方法。與使用相同資源的非學習方法相比，在時間圖上使用RL進行優先測試可以使健康人群的數量增加25%，控制疫情的頻率比監督方法高30%，比非學習基線高2.5倍。

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity （論文下載地址：

對分子的哪些部分驅動了分子圖卷積神經網絡 (GCNN) 的預測進行合理解釋是很困難。針對這個問題，論文提出了兩種正則化方法，用于訓練GCNN。Batch Representation Orthonormalization (BRO) 和 Gini regularization。受molecular orbital theory的啟發，BRO鼓勵用圖卷積運算生成正交節點嵌入。Gini regularization應用于輸出層的權重，并約束模型可用于進行預測的維數。Gini 和 BRO 正則化方法可以提高GCNN 歸因方法在人工基準數據集上的準確性。在現實世界中，我們證明了藥物化學家更傾向于從正則化模型中提取解釋。雖然論文只在 GCNN 中研究這兩種正則化方法，但Gini 和 BRO 正則化方法都可以應用于其他類型的神經網絡中。

由于消息傳遞—圖神經網絡（MPNN）應用在稀疏圖時相對于節點數量具有線性復雜性，因此它們已被廣泛使用， 不過它們的理論表達能力bounded by一階 Weisfeiler-Lehman 檢驗 (1-WL)。

在本文中，我們表明，如果自定義特征值相關的非線性函數設計圖卷積supports并使用任意大的感受野進行掩蔽，則 MPNN 在理論上比 1-WL 測試更強大。實驗表明該方法與3-WL 同樣強大，同時能夠保持空間局部化(spatially localized)。此外，通過設計自定義濾波器函數，輸出可以具有各種頻率分量，從而允許卷積過程學習給定輸入圖信號與其相關屬性的不同關系。

目前，最好的 3-WL 等效圖神經網絡的計算復雜度為 O(n^3 )，內存使用量為 O(n^2 )，考慮非局部更新機制，并且不提供輸出的頻譜。但是本文所提出的方法克服了所有上述問題，并在許多下游任務中達到了最先進的結果。

//honeine.fr/paul/publi/21.icml.gnn.pdf

論文題目：Graph Neural Networks Inspired by Classical Iterative Algorithms

作者：Yongyi Yang，Tang Liu，Yangkun Wang，Jinjing Zhou，Quan Gan，魏哲巍，Zheng Zhang，Zengfeng Huang，David Wipf

論文概述：圖神經網絡（GNN）作為建模實體間關系的代表性方法，已被成功應用于多個領域。然而現有方法仍存在一些局限性，例如過平滑問題、長距離依賴性問題等。本篇論文基于兩種經典迭代算法提出了首個unfolding視角的GNN集成框架TWIRLS，首先通過模仿近似梯度下降設計了一個可擴展的基礎GNN架構，能夠允許任意的傳播步驟以捕捉長距離依賴關系同時有效避免過平滑問題。在此基礎上，結合迭代加權最小二乘法的更新規則提出了新的注意力機制系列，無需引入額外參數或設計啟發式方法而對邊的不確定性表現魯棒。同時，本篇論文進行了大量實驗旨在評估不同情況下算法的性能，實驗結果表明，即使與特定任務SOTA模型相比，本篇論文所提算法均取得具有競爭力或更高的節點分類精度。

//www.zhuanzhi.ai/paper/49b1ba16194db9f330657396a37982dd

本文提出了一種基于框架小波變換（framelet transforms）的圖神經網絡。這種方法為結構化的圖數據提供了多尺度表示。我們利用這種變換方式把圖數據特征分解到低通和高通頻率（low-pass and high-pass frequency）空間上，并利用這些頻率信息定義相應的框架小波圖卷積層（graph framelet convolutional layer）。此外，圖上的特征通過框架小波分解，聚合出了低通和高通光譜（spectra）的信息。我們利用這一特征，進一步提出了相應的圖池化（graph pooling）方法。這種池化方法同時考慮了圖數據的特征信息（feature information）和幾何信息（topology information）。

我們在多種節點預測和圖預測任務上對本文提出的框架小波卷積和池化方法的圖神經網絡進行了測試。實驗結果表明，我們的方法在多種應用下都可以達到SOTA的表現。

//www.zhuanzhi.ai/paper/87ac4a31c20270d43bebe5279aca9ca2

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

我們討論關于圖神經網絡(GNNs)的兩個基本問題。首先，我們證明了幾個重要的圖屬性是不能由完全依賴于局部信息的GNN計算的。這樣的GNN包括標準的消息傳遞模型，以及更強大的空間變體，利用本地圖結構(例如，通過消息的相對方向，或本地端口排序)來區分每個節點的鄰居。我們的處理包括一種新的圖論形式主義。其次，我們為消息傳遞GNN提供了第一個依賴數據的泛化邊界。該分析明確地說明了GNN的局部置換不變性。我們的邊界比現有的基于VC維的GNN保證更緊，并且可與遞歸神經網絡的Rademacher邊界相媲美。

主題： Graph Neural Networks with Composite Kernels

摘要： 近年來，對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡（GCN）之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中，節點聚合方案通常用于捕獲結構信息：節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是，大多數聚合方案都將圖中的所有連接均等化，而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合，并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后，我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成，以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡（GAT）。實驗結果表明，在一些實際應用中，我們提出的框架具有更好的性能。