亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡(GNNs)在許多圖學習任務中表現出令人印象深刻的性能。然而，當輸入的圖數據信息弱，即結構不完整、特征不完整和標簽不足時，GNNs的性能可能會下降。大多數先前的研究試圖從具有特定類型弱信息的圖數據中學習，但在處理各種數據缺陷并相互影響的場景時，這些研究效果不佳。為了填補這個空白，我們在這篇論文中，試圖針對弱信息圖學習（GLWI）問題，開發一種有效且原則性的方法。基于我們的實證分析，我們得出了解決GLWI問題的兩個設計重點，即使GNNs能夠進行長距離傳播，并允許信息傳播到那些與最大連接組件隔離的漂泊節點。據此，我們提出了D2PT，一種雙通道GNN框架，它不僅在具有不完整結構的輸入圖上執行長距離信息傳播，而且還在編碼全局語義相似性的全局圖上執行信息傳播。我們進一步開發了一個原型對比對齊算法，它將從兩個通道中學到的類級原型進行對齊，以便兩種不同的信息傳播過程可以相互受益，最終學習的模型可以很好地處理GLWI問題。在八個真實世界的基準數據集上的大量實驗表明，我們提出的方法在各種GLWI場景中都表現出了有效性和效率。

針對圖數據的Transformer正在被越來越廣泛地研究，并在許多學習任務中取得成功。圖歸納偏差對于Graph Transformers至關重要，之前的工作通過使用信息傳遞模塊和/或位置編碼來加入這些偏差。然而，使用信息傳遞的Graph Transformers繼承了信息傳遞的已知問題，并且與在其他領域中使用的Transformers顯著不同，這使得研究進展的遷移變得更加困難。另一方面，沒有使用信息傳遞的Graph Transformers在較小的數據集上的表現通常較差，在這種情況下，歸納偏差更為重要。為了彌合這個鴻溝，我們提出了Graph Inductive bias Transformer（GRIT）—一種新的Graph Transformer，它在不使用信息傳遞的情況下融合了圖歸納偏差。GRIT基于幾個從理論和實證上都得到證明的架構變化，包括：使用隨機游走概率初始化的學習相對位置編碼，一種可以更新節點和節點對表示的靈活的注意力機制，以及在每一層注入度信息。我們證明GRIT是有表現力的——它可以表示最短路徑距離和各種圖傳播矩陣。GRIT在各種圖數據集中實現了最新的實證性能，這顯示了不使用信息傳遞的Graph Transformers所能夠帶來的強大能力。

Transformer架構最近在圖表示學習中獲得了越來越多的關注，因為它通過避免圖神經網絡(GNN)的嚴格結構歸納偏差，而只通過位置編碼對圖結構進行編碼，從而自然地克服了圖神經網絡(GNN)的一些限制。在這里，我們展示了使用位置編碼的Transformer生成的節點表示不一定捕獲它們之間的結構相似性。為了解決這個問題，我們提出了結構感知Transformer (Structure-Aware Transformer)，這是一類建立在一種新的自注意力機制上的簡單而靈活的圖Transformer。這種新的自注意在計算自注意之前，通過提取基于每個節點的子圖表示，將結構信息融入到原始自注意中。我們提出了幾種自動生成子圖表示的方法，并從理論上表明，生成的表示至少與子圖表示一樣具有表現力。從經驗上講，我們的方法在5個圖預測基準上達到了最先進的性能。我們的結構感知框架可以利用任何現有的GNN來提取子圖表示，我們表明，相對于基本GNN模型，它系統地提高了性能，成功地結合了GNN和transformer的優勢。我們的代碼可以在這個 https: //github.com/BorgwardtLab/SAT. 中找到。

自監督學習(Self-supervised learning, SSL)是近年來的研究熱點。特別是，生成式SSL已經在自然語言處理和其他領域取得了成功，例如BERT和GPT的廣泛采用。盡管如此，對比學習(嚴重依賴結構化數據增強和復雜的訓練策略)一直是圖SSL的主要方法，而在圖上生成SSL的進展，特別是圖自編碼器(GAEs)，迄今尚未達到其他領域所承諾的潛力。在本文中，我們識別并研究了對GAEs發展產生負面影響的問題，包括它們的重建目標、訓練魯棒性和誤差度量。我們提出了一個掩碼圖自編碼器GraphMAE，它緩解了生成式自監督圖學習的這些問題。而不是重建結構，我們建議集中在特征重建與掩蔽策略和縮放余弦誤差，有利于GraphMAE的魯棒訓練。我們在21個公共數據集上進行了廣泛的實驗，用于三種不同的圖學習任務。結果表明，GraphMAE—一個經過我們精心設計的簡單圖自編碼器—能夠始終如一地生成優于對比基線和生成基線的性能。本研究提供了對圖自動編碼器的理解，并展示了在圖上生成式自監督學習的潛力。

雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。

//www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

本期小編挑選了幾篇ICML2021中關于GNN的論文（附論文下載地址）分享給大家~包括圖神經網絡規范化、圖表示能力增強、圖神經網絡的對抗攻擊能力、圖神經網絡與強化學習結合控制圖中動態傳播問題、分子圖卷積神經網絡 (GCNN) 的正則化方法~

論文清單

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training

Graph Convolution for Semi-Supervised Classification: Improved Linear Separability and Out-of-Distribution Generalization

A Collective Learning Framework to Boost GNN Expressiveness

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training （論文下載地址：//arxiv.org/abs/2009.03294）

Normalization有助于優化深度神經網絡。但不同的結構需要不同的規范化方法。在本文中，我們研究什么規范化方法對圖神經網絡 (GNN) 是有效的。首先，我們將現有的規范化方法應用到GNN中，并對其進行評估。與BatchNorm和LayerNorm相比，InstanceNorm的收斂速度更快。InstanceNorm 作為 GNN 的preconditioner，但由于圖數據集中的大量的批處理噪聲，BatchNorm 的這種預處理效果就顯得較弱。其次，我們證明了InstanceNorm中的shift操作會導致GNN對于高度正則圖的表達能力退化。我們提出了一種learnable shift的GraphNorm來解決這個問題。實驗表明，使用GraphNorm的GNN比使用其他規范化方法的GNN收斂更快。此外，GraphhNorm還改進了GNN的泛化能力，在圖分類中獲得了更好的性能。

A Collective Learning Framework to Boost GNN Expressiveness （論文下載地址：

圖神經網絡 (GNN) 最近已成功用于節點和圖分類任務。但 GNN 建模的是相鄰節點的屬性之間的依賴關系，而不是觀察到的節點標簽之間的依賴關系。在本文中，我們考慮在監督和半監督下考慮到標簽依賴性，使用 GNN 進行inductive node classification。當前的 GNN 不是通用的（即最具表現力的）圖表示模型，我們提出了一種通用的collective learning方法，增強現有 GNN 的表示能力。我們的模型將collective classification的思想與自監督學習相結合，并使用蒙特卡羅方法對embeddings進行采樣，以進行圖之間的歸納學習。我們評估了模型在五個真實網絡數據集上的性能，結果證明了模型可以顯著提高節點分類的準確度。

Information Obfuscation of Graph Neural Networks （論文下載地址：

圖神經網絡 (GNN) 的出現極大地改進了許多應用中的節點和圖表示學習能力，但鄰域聚合方法向試圖提取敏感屬性node-level信息的對手暴露了額外的漏洞。在本文中，我們研究了在使用圖結構數據進行學習時，利用信息混淆來保護敏感屬性的問題。我們提出了一個基于total variation和 Wasserstein 距離的對抗性訓練框架，用于局部過濾掉預先確定的敏感屬性。該方法可以對推理攻擊形成了強大的防御。理論上，我們分析了該框架對抗最壞情況的有效性，并描述了最大化預測準確性和最小化信息泄漏之間的內在權衡。在來自推薦系統、知識圖譜和量子化學的多個數據集上進行實驗，實驗表明，該方法在為下游任務生成 GNN 編碼器的同時，可以為各種圖結構和任務提供強大的防御能力。

How to Stop Epidemics: Controlling Graph Dynamics with Reinforcement Learning and Graph Neural Networks

（論文下載地址：

我們考慮控制圖中partially-observed的動態傳播過程的問題。例如，在安排病毒測試或選擇應該被隔離的節點以遏制流行病蔓延；手動檢查發布的文章來檢測在線網絡上傳播的虛假新聞；鼓勵產品的傳播而進行的有針對性的營銷，在這些情況下，都會遇到這個問題。當只能測試或隔離一小部分人口時，遏制傳播并限制感染人群的比例變得具有挑戰性。

為了應對這一挑戰，我們將此問題建模為圖上的順序決策問題。面對指數級狀態空間、組合動作空間和部分可觀察性，我們提出了 RLGN，這是一種新穎的易處理強化學習 (RL) 方法，用于確定節點是否需要測試，并使用圖神經網絡 (GNN) 對圖節點進行排序。我們在三種類型的社交網絡中評估這種方法：社區結構、優先連接依賴preferential attachment 和 基于真實 cellular tracking的統計數據。實驗表明，RLGN始終優于所有基線方法。與使用相同資源的非學習方法相比，在時間圖上使用RL進行優先測試可以使健康人群的數量增加25%，控制疫情的頻率比監督方法高30%，比非學習基線高2.5倍。

Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity （論文下載地址：

對分子的哪些部分驅動了分子圖卷積神經網絡 (GCNN) 的預測進行合理解釋是很困難。針對這個問題，論文提出了兩種正則化方法，用于訓練GCNN。Batch Representation Orthonormalization (BRO) 和 Gini regularization。受molecular orbital theory的啟發，BRO鼓勵用圖卷積運算生成正交節點嵌入。Gini regularization應用于輸出層的權重，并約束模型可用于進行預測的維數。Gini 和 BRO 正則化方法可以提高GCNN 歸因方法在人工基準數據集上的準確性。在現實世界中，我們證明了藥物化學家更傾向于從正則化模型中提取解釋。雖然論文只在 GCNN 中研究這兩種正則化方法，但Gini 和 BRO 正則化方法都可以應用于其他類型的神經網絡中。

論文題目：Graph Neural Networks Inspired by Classical Iterative Algorithms

作者：Yongyi Yang，Tang Liu，Yangkun Wang，Jinjing Zhou，Quan Gan，魏哲巍，Zheng Zhang，Zengfeng Huang，David Wipf

論文概述：圖神經網絡（GNN）作為建模實體間關系的代表性方法，已被成功應用于多個領域。然而現有方法仍存在一些局限性，例如過平滑問題、長距離依賴性問題等。本篇論文基于兩種經典迭代算法提出了首個unfolding視角的GNN集成框架TWIRLS，首先通過模仿近似梯度下降設計了一個可擴展的基礎GNN架構，能夠允許任意的傳播步驟以捕捉長距離依賴關系同時有效避免過平滑問題。在此基礎上，結合迭代加權最小二乘法的更新規則提出了新的注意力機制系列，無需引入額外參數或設計啟發式方法而對邊的不確定性表現魯棒。同時，本篇論文進行了大量實驗旨在評估不同情況下算法的性能，實驗結果表明，即使與特定任務SOTA模型相比，本篇論文所提算法均取得具有競爭力或更高的節點分類精度。

//www.zhuanzhi.ai/paper/49b1ba16194db9f330657396a37982dd

多種圖神經網絡(GNN)在圖結構數據的廣泛應用。本文作者提出了一個理論框架實現比較這些 GNN 架構的表達能力。首次證明了GNN 的函數逼近保證，為更好地理解其泛化能力鋪平了道路。論文的理論結果針對兩類 GNN 框架：一類是不變圖神經網絡(invariant GNNs)，用于計算圖級別嵌入，輸入圖的節點的排列變化不影響輸出結果；另一類是同變圖神經網絡(equivariant GNNs)，用來計算節點嵌入，輸入的排列變化會影響輸出；論文表明FGNN 是迄今為止對給定階數張量提出的表達能力最強的架構。實驗在二次分配問題上驗證了效果，達到比現有算法更好的平均性能。