亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本期小編挑選了幾篇ICML2021中關于GNN的論文（附論文下載地址）分享給大家~包括圖神經網絡規范化、圖表示能力增強、圖神經網絡的對抗攻擊能力、圖神經網絡與強化學習結合控制圖中動態傳播問題、分子圖卷積神經網絡 (GCNN) 的正則化方法~

論文清單

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

A Collective Learning Framework to Boost GNN Expressiveness

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training （論文下載地址：//arxiv.org/abs/2009.03294）

Normalization有助于優化深度神經網絡。但不同的結構需要不同的規范化方法。在本文中，我們研究什么規范化方法對圖神經網絡 (GNN) 是有效的。首先，我們將現有的規范化方法應用到GNN中，并對其進行評估。與BatchNorm和LayerNorm相比，InstanceNorm的收斂速度更快。InstanceNorm 作為 GNN 的preconditioner，但由于圖數據集中的大量的批處理噪聲，BatchNorm 的這種預處理效果就顯得較弱。其次，我們證明了InstanceNorm中的shift操作會導致GNN對于高度正則圖的表達能力退化。我們提出了一種learnable shift的GraphNorm來解決這個問題。實驗表明，使用GraphNorm的GNN比使用其他規范化方法的GNN收斂更快。此外，GraphhNorm還改進了GNN的泛化能力，在圖分類中獲得了更好的性能。

A Collective Learning Framework to Boost GNN Expressiveness （論文下載地址：

圖神經網絡 (GNN) 最近已成功用于節點和圖分類任務。但 GNN 建模的是相鄰節點的屬性之間的依賴關系，而不是觀察到的節點標簽之間的依賴關系。在本文中，我們考慮在監督和半監督下考慮到標簽依賴性，使用 GNN 進行inductive node classification。當前的 GNN 不是通用的（即最具表現力的）圖表示模型，我們提出了一種通用的collective learning方法，增強現有 GNN 的表示能力。我們的模型將collective classification的思想與自監督學習相結合，并使用蒙特卡羅方法對embeddings進行采樣，以進行圖之間的歸納學習。我們評估了模型在五個真實網絡數據集上的性能，結果證明了模型可以顯著提高節點分類的準確度。

Information Obfuscation of Graph Neural Networks （論文下載地址：

圖神經網絡 (GNN) 的出現極大地改進了許多應用中的節點和圖表示學習能力，但鄰域聚合方法向試圖提取敏感屬性node-level信息的對手暴露了額外的漏洞。在本文中，我們研究了在使用圖結構數據進行學習時，利用信息混淆來保護敏感屬性的問題。我們提出了一個基于total variation和 Wasserstein 距離的對抗性訓練框架，用于局部過濾掉預先確定的敏感屬性。該方法可以對推理攻擊形成了強大的防御。理論上，我們分析了該框架對抗最壞情況的有效性，并描述了最大化預測準確性和最小化信息泄漏之間的內在權衡。在來自推薦系統、知識圖譜和量子化學的多個數據集上進行實驗，實驗表明，該方法在為下游任務生成 GNN 編碼器的同時，可以為各種圖結構和任務提供強大的防御能力。

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

（論文下載地址：

我們考慮控制圖中partially-observed的動態傳播過程的問題。例如，在安排病毒測試或選擇應該被隔離的節點以遏制流行病蔓延；手動檢查發布的文章來檢測在線網絡上傳播的虛假新聞；鼓勵產品的傳播而進行的有針對性的營銷，在這些情況下，都會遇到這個問題。當只能測試或隔離一小部分人口時，遏制傳播并限制感染人群的比例變得具有挑戰性。

為了應對這一挑戰，我們將此問題建模為圖上的順序決策問題。面對指數級狀態空間、組合動作空間和部分可觀察性，我們提出了 RLGN，這是一種新穎的易處理強化學習 (RL) 方法，用于確定節點是否需要測試，并使用圖神經網絡 (GNN) 對圖節點進行排序。我們在三種類型的社交網絡中評估這種方法：社區結構、優先連接依賴preferential attachment 和 基于真實 cellular tracking的統計數據。實驗表明，RLGN始終優于所有基線方法。與使用相同資源的非學習方法相比，在時間圖上使用RL進行優先測試可以使健康人群的數量增加25%，控制疫情的頻率比監督方法高30%，比非學習基線高2.5倍。

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity （論文下載地址：

對分子的哪些部分驅動了分子圖卷積神經網絡 (GCNN) 的預測進行合理解釋是很困難。針對這個問題，論文提出了兩種正則化方法，用于訓練GCNN。Batch Representation Orthonormalization (BRO) 和 Gini regularization。受molecular orbital theory的啟發，BRO鼓勵用圖卷積運算生成正交節點嵌入。Gini regularization應用于輸出層的權重，并約束模型可用于進行預測的維數。Gini 和 BRO 正則化方法可以提高GCNN 歸因方法在人工基準數據集上的準確性。在現實世界中，我們證明了藥物化學家更傾向于從正則化模型中提取解釋。雖然論文只在 GCNN 中研究這兩種正則化方法，但Gini 和 BRO 正則化方法都可以應用于其他類型的神經網絡中。

論文題目：Graph Neural Networks Inspired by Classical Iterative Algorithms

作者：Yongyi Yang，Tang Liu，Yangkun Wang，Jinjing Zhou，Quan Gan，魏哲巍，Zheng Zhang，Zengfeng Huang，David Wipf

論文概述：圖神經網絡（GNN）作為建模實體間關系的代表性方法，已被成功應用于多個領域。然而現有方法仍存在一些局限性，例如過平滑問題、長距離依賴性問題等。本篇論文基于兩種經典迭代算法提出了首個unfolding視角的GNN集成框架TWIRLS，首先通過模仿近似梯度下降設計了一個可擴展的基礎GNN架構，能夠允許任意的傳播步驟以捕捉長距離依賴關系同時有效避免過平滑問題。在此基礎上，結合迭代加權最小二乘法的更新規則提出了新的注意力機制系列，無需引入額外參數或設計啟發式方法而對邊的不確定性表現魯棒。同時，本篇論文進行了大量實驗旨在評估不同情況下算法的性能，實驗結果表明，即使與特定任務SOTA模型相比，本篇論文所提算法均取得具有競爭力或更高的節點分類精度。

//www.zhuanzhi.ai/paper/49b1ba16194db9f330657396a37982dd

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

由于不同道路間交通流時空分布格局具有復雜的空間相關性和動態趨勢，交通流時空數據預測是一項具有挑戰性的任務。現有框架通常利用給定的空間鄰接圖和復雜的機制為空間和時間相關性建模。然而，具有不完全鄰接連接的給定空間圖結構的有限表示可能會限制模型的有效時空依賴學習。此外，現有的方法在解決復雜的時空數據時也束手無策:它們通常利用獨立的模塊來實現時空關聯，或者只使用獨立的組件捕獲局部或全局的異構依賴關系。為了克服這些局限性，本文提出了一種新的時空融合圖神經網絡(STFGNN)用于交通流預測。首先，提出一種數據驅動的“時序圖”生成方法，以彌補空間圖可能無法反映的幾種現有相關性。SFTGNN通過一種新的時空圖融合操作，對不同的時間段進行并行處理，可以有效地學習隱藏的時空依賴關系。同時，該融合圖模塊與一種新的門控卷積模塊集成到一個統一的層中，SFTGNN可以通過層堆疊學習更多的時空依賴關系來處理長序列。在幾個公共交通數據集上的實驗結果表明，我們的方法達到了最先進的性能比其他基準一致。

//arxiv.org/pdf/2012.09641.pdf

多元時間序列建模一直是一個熱門主題，吸引了來自不同領域的研究人員，包括經濟、金融和交通。多元時間序列預測背后的一個基本假設是，其變量相互依賴，但仔細觀察，可以說現有方法無法完全利用變量對之間的潛在空間依賴性。同時，近年來，圖神經網絡（GNN）在處理關系依賴方面表現出了很高的能力。GNN需要用于信息傳播的定義明確的圖結構，這意味著它們無法直接應用于事先不知道相關性的多元時間序列。在本文中，我們提出了一個專門為多元時間序列數據設計的通用圖神經網絡框架。我們的方法通過圖形學習模塊自動提取變量之間的單向關系，可以輕松地將諸如變量屬性之類的外部知識整合到其中。進一步提出了一種新穎的混合跳躍傳播層和一個擴張的起始層來捕獲時間序列內的空間和時間依賴性。在端到端框架中共同學習圖學習，圖卷積和時間卷積模塊。實驗結果表明，我們提出的模型在4個基準數據集中的3個方面優于最新的基線方法，并在提供額外結構信息的兩個交通數據集上與其他方法相比具有同等的性能。

地址： //www.zhuanzhi.ai/paper/50fe383c75bcd2a665984f30eabe7d87

主題： Graph Neural Networks with Composite Kernels

摘要： 近年來，對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡（GCN）之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中，節點聚合方案通常用于捕獲結構信息：節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是，大多數聚合方案都將圖中的所有連接均等化，而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合，并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后，我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成，以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡（GAT）。實驗結果表明，在一些實際應用中，我們提出的框架具有更好的性能。

1、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing（MixHop: 通過稀疏鄰域混合實現的高階圖卷積結構）

作者：Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan

摘要：現有的基于圖神經網絡的半監督學習方法(如圖卷積網絡)不能學習一般的鄰域混合關系。為了解決這個缺點，我們提出了一個新的模型，MixHop，它可以通過在不同距離重復混合鄰居的特征表示來學習這些關系，包括不同的操作符。MixHop不需要額外的內存或計算復雜度，并且在一些具有挑戰性的baseline上性能更好。此外，我們建議使用稀疏正則化，使我們能夠可視化網絡如何跨不同的圖數據集對鄰居信息進行優先級排序。我們對所學體系結構的分析表明，每個數據集的鄰域混合是不同的。

網址：//proceedings.mlr.press/v97/abu-el-haija19a.html

代碼鏈接：

2、Compositional Fairness Constraints for Graph Embeddings（圖嵌入的組合公平性約束）

作者：Avishek Bose, William Hamilton

摘要：學習高質量的節點嵌入是基于圖數據(如社交網絡和推薦系統)的機器學習模型的關鍵步驟。然而，現有的圖嵌入技術無法處理公平約束，例如，確保所學習的表示與某些屬性(如年齡或性別)不相關。在這里，我們引入一個對抗框架來對圖嵌入實施公平性約束。我們的方法是組合的，這意味著它可以靈活地適應推理過程中公平約束的不同組合。例如，在社會推薦的上下文中，我們的框架允許一個用戶要求他們的推薦對他們的年齡和性別都是不變的，同時也允許另一個用戶只對他們的年齡要求不變。在標準知識圖和推薦系統基準測試上的實驗突出了我們提出的框架的實用性。

網址：

代碼鏈接：

3、Learning Discrete Structures for Graph Neural Networks（學習圖神經網絡的離散結構）

作者：Luca Franceschi, Mathias Niepert, Massimiliano Pontil, Xiao He

摘要：圖神經網絡(GNNs)是一種流行的機器學習模型，已成功地應用于一系列問題。它們的主要優勢在于能夠顯式地合并數據點之間的稀疏和離散依賴結構。不幸的是，只有在這種圖結構可用時才能使用GNN。然而，在實踐中，真實世界中的圖常常是嘈雜的、不完整的，或者根本就不可用。在此基礎上，我們提出通過近似求解一個學習圖邊緣離散概率分布的雙層程序來共同學習圖卷積網絡(GCNs)的圖結構和參數。這不僅允許在給定圖不完整或損壞的場景中應用GCNs，還允許在圖不可用的場景中應用GCNs。我們進行了一系列的實驗，分析了該方法的行為，并證明了它比相關的方法有顯著的優勢。

網址：

代碼鏈接：

4、Graph U-Nets

作者：Hongyang Gao, Shuiwang Ji

摘要：我們研究了圖數據的表示學習問題。卷積神經網絡可以很自然地對圖像進行操作，但在處理圖數據方面存在很大的挑戰。由于圖像是二維網格上節點圖的特殊情況，圖的嵌入任務與圖像的分割等像素級預測任務具有天然的對應關系。雖然像U-Nets這樣的編解碼器結構已經成功地應用于許多圖像的像素級預測任務，但是類似的方法在圖數據上還是很缺乏。這是由于池化操作和上采樣操作對圖數據不是自然的。為了解決這些挑戰，我們提出了新的圖池化(gPool)和反池化(gUnpool)操作。gPool層根據節點在可訓練投影向量上的標量投影值，自適應地選擇節點，形成較小的圖。我們進一步提出了gUnpool層作為gPool層的逆操作。gUnpool層使用在相應gPool層中選擇的節點位置信息將圖恢復到其原始結構。基于我們提出的gPool和gUnpool層，我們開發了一個基于圖的編解碼器模型，稱為Graph U-Nets。我們在節點分類和圖分類任務上的實驗結果表明，我們的方法比以前的模型具有更好的性能。

網址：

代碼鏈接：

5、Graph Neural Network for Music Score Data and Modeling Expressive Piano Performance（圖神經網絡用于樂譜數據和鋼琴演奏表現力的建模）

作者：Dasaem Jeong, Taegyun Kwon, Yoojin Kim, Juhan Nam

摘要：樂譜通常被處理為一維序列數據。與文本文檔中的單詞不同，樂譜中的音符可以由復調性質同時演奏，并且每個音符都有自己的持續時間。在本文中，我們使用圖神經網絡表示樂譜的獨特形式，并將其應用于從樂譜中渲染表現力的鋼琴演奏。具體地，我們設計了使用note-level門控圖神經網絡和采用迭代反饋方法的雙向LSTM測量級層次注意網絡的模型。此外，為了對給定輸入分數的不同性能風格建模，我們使用了一個變分自編碼器。聽力測試結果表明，與baseline模型和層次注意網絡模型相比，我們提出的模型生成了更多的類人性能，而層次注意網絡模型將音樂得分處理為類詞序列。

網址：

代碼鏈接：

6、Graph Matching Networks for Learning the Similarity of Graph Structured Objects（用于學習圖結構物體相似性的圖匹配網絡）

作者：Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli

摘要：本文針對圖結構物體的檢索與匹配這一具有挑戰性的問題，做了兩個關鍵的貢獻。首先，我們演示了如何訓練圖神經網絡(GNN)在向量空間中嵌入圖，從而實現高效的相似性推理。其次，提出了一種新的圖匹配網絡模型，該模型以一對圖作為輸入，通過一種新的基于注意力的交叉圖匹配機制，對圖對進行聯合推理，計算出圖對之間的相似度評分。我們證明了我們的模型在不同領域的有效性，包括具有挑戰性的基于控制流圖的功能相似性搜索問題，該問題在軟件系統漏洞檢測中發揮著重要作用。實驗分析表明，我們的模型不僅能夠在相似性學習的背景下利用結構，而且它們還比那些為這些問題精心手工設計的領域特定baseline系統表現得更好。

網址：

7、Disentangled Graph Convolutional Networks（Disentangled圖卷積網絡）

作者：Jianxin Ma, Peng Cui, Kun Kuang, Xin Wang, Wenwu Zhu

摘要：真實世界圖形的形成通常來自于許多潛在因素之間高度復雜的交互作用。現有的基于圖結構數據的深度學習方法忽略了潛在因素的糾纏，使得學習表示不魯棒，難以解釋。然而，在圖神經網絡的研究中，如何將潛在因素分解出來的學習表示方法面臨著巨大的挑戰，并且在很大程度上還沒有得到探索。本文引入解糾纏（Disentangled）圖卷積網絡(DisenGCN)來學習disentangled節點表示。特別地，我們提出了一種新的鄰域路由機制，它能夠動態地識別可能導致節點與其相鄰節點之間產生邊的潛在因素，并相應地將相鄰節點分配到一個提取和卷積特定于該因素的特性的信道。從理論上證明了該路由機制的收斂性。實驗結果表明，我們提出的模型可以獲得顯著的性能提升，特別是當數據表明存在許多糾纏因素時。

網址：

8、GMNN: Graph Markov Neural Networks（GMNN: 圖馬爾可夫神經網絡）

作者：Meng Qu, Yoshua Bengio, Jian Tang

摘要：本文研究關系數據中的半監督對象分類問題，這是關系數據建模中的一個基本問題。在統計關系學習(如關系馬爾可夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中，這一問題得到了廣泛的研究。統計關系學習方法可以通過條件隨機場對對象標簽的依賴關系進行有效的建模，用于集體分類，而圖神經網絡則通過端到端訓練學習有效的對象表示來分類。在本文中，我們提出了一種集兩種方法優點于一體的Graph Markov Neural Networks (GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模，利用變分EM算法對其進行有效訓練。在E-step中，一個圖神經網絡學習有效的對象表示，逼近對象標簽的后驗分布。在M-step中，利用另一個圖神經網絡對局部標簽依賴關系進行建模。在對象分類、鏈路分類和無監督節點表示學習等方面的實驗表明，GMNN取得了較好的效果。

網址：

代碼鏈接：

9、Simplifying Graph Convolutional Networks（簡化圖卷積網絡）

作者：Felix Wu, Amauri Souza, Tianyi Zhang, Christopher Fifty, Tao Yu, Kilian Weinberger

摘要：圖卷積網絡(GCNs)及其變體得到了廣泛的關注，已成為學習圖表示的實際方法。GCNs的靈感主要來自最近的深度學習方法，因此可能會繼承不必要的復雜性和冗余計算。在本文中，我們通過連續消除非線性和折疊連續層之間的權重矩陣來減少這種額外的復雜性。我們從理論上分析了得到的線性模型，結果表明它對應于一個固定的低通濾波器，然后是一個線性分類器。值得注意的是，我們的實驗評估表明，這些簡化不會對許多下游應用程序的準確性產生負面影響。此外，生成的模型可以擴展到更大的數據集，這是自然可解釋的，并且比FastGCN的速度提高了兩個數量級。

網址：

代碼鏈接：

10、Position-aware Graph Neural Networks（位置感知圖神經網絡）

作者：Jiaxuan You, Rex Ying, Jure Leskovec

摘要：學習節點嵌入，捕捉節點在更廣泛的圖結構中的位置，對于圖上的許多預測任務是至關重要的。然而，現有的圖神經網絡(GNN)結構在獲取給定節點相對于圖中所有其他節點的position/location方面的能力有限。本文提出了一種計算位置感知節點嵌入的新型神經網絡—Position-aware Graph Neural Networks (P-GNNs)。P-GNN首先對錨節點集進行采樣，計算給定目標節點到每個錨集的距離，然后學習錨集上的非線性距離加權聚集方案。通過這種方式，P-GNNs可以捕獲節點相對于錨節點的位置。P-GNN有幾個優點: 它們具有歸納性，可擴展性，并且可以包含節點特征信息。我們將P-GNNs應用于多個預測任務，包括鏈路預測和社區檢測。我們顯示，P-GNNs始終優于最先進的GNNs, 在ROC AUC分數方面提高了66％。

網址：

代碼鏈接：

論文下載

百度云鏈接：

提取碼：vcc3