圖神經網絡通過聚合和結合鄰居信息來學習節點特征，在許多圖的任務中取得了良好的性能。然而，GNN大多被視為黑盒，缺乏人類可理解的解釋。因此，如果不能解釋GNN模型，就不能完全信任它們并在某些應用程序域中使用它們。在這項工作中，我們提出了一種新的方法，稱為XGNN，在模型級別上解釋GNN。我們的方法可以為GNNs的工作方式提供高層次的見解和一般性的理解。特別地，我們提出通過訓練一個圖生成器來解釋GNN，使生成的圖模式最大化模型的某種預測。我們將圖形生成表述為一個強化學習任務，其中對于每一步，圖形生成器預測如何向當前圖形中添加一條邊。基于訓練后的GNN信息，采用策略梯度方法對圖生成器進行訓練。此外，我們還加入了一些圖規則，以促使生成的圖是有效的。在合成和真實數據集上的實驗結果表明，我們提出的方法有助于理解和驗證訓練過的GNN。此外，我們的實驗結果表明，所生成的圖可以為如何改進訓練的神經網絡提供指導。
概述
圖神經網絡(GNNs)在不同的圖任務(如節點分類[11,37]、圖分類[39,47]和鏈接預測[46])上顯示了其有效性并取得了最新的性能。此外，對不同的圖運算進行了大量的研究，如圖卷積[13,16,19]、圖池化[20,44]、圖注意力[10,36,37]。由于圖數據廣泛存在于不同的真實世界應用程序中，如社交網絡、化學和生物學，GNN變得越來越重要和有用。盡管它們的性能很好，GNNs也有和其他深度學習模型一樣的缺點;也就是說，它們通常被視為黑盒子，缺乏人類理解的解釋。如果不理解和驗證內部工作機制，就不能完全信任GNNs，這就阻礙了它們在涉及公平、隱私和安全的關鍵應用程序中的使用[7,40]。例如，我們可以訓練一個GNN模型來預測藥物的效果，我們將每種藥物視為一個分子圖。如果不探索其工作機理，我們就不知道分子圖中是什么化學基團導致了這些預測。那么我們就無法驗證GNN模型的規則是否與真實世界的化學規則一致，因此我們不能完全信任GNN模型。這就增加了開發GNN解釋技術的需要。
最近，人們提出了幾種解釋技術來解釋圖像和文本數據的深度學習模型。根據所提供的解釋的類型，現有的技術可以歸類為實例級[5,9,29,31,32,43,45,48]或模型級[8,24,25]方法。實例級解釋通過模型確定輸入中的重要特征或該輸入的決策過程來解釋對給定輸入示例的預測。這類常用技術包括基于梯度的方法[31,32,43]、中間特征圖可視化[29,48]和基于遮擋的方法[5,9,45]。與提供依賴于輸入的解釋不同，模型級別的解釋旨在通過研究哪些輸入模式可以導致某種預測來解釋模型的一般行為，而不考慮任何特定的輸入示例。輸入優化[8,24 - 26]是最常用的模型級解釋方法。這兩類解釋方法旨在從不同的角度解釋深層模型。由于解釋的最終目的是驗證和理解深度模型，我們需要手動檢查解釋結果，并得出深度模型是否按我們預期的方式工作的結論。對于示例級方法，我們可能需要探究大量示例的解釋，然后才能相信模型。然而，這需要時間和專家的廣泛努力。對于模型級方法，其解釋更加普遍和高級，因此需要較少的人力監督。然而，與實例級的解釋相比，模型級方法的解釋不那么精確。總的來說，模型級和實例級方法對于解釋和理解深度模型都很重要。
在圖數據上解釋深度學習模型變得越來越重要，但仍缺乏探索。就我們所知，目前還沒有在模型級解釋GNN的研究。現有研究[4,40]僅對圖模型提供了實例層次的解釋。作為對現有工作的徹底背離，我們提出了一種新的解釋技術，稱為XGNN，用于在模型級別上解釋深層圖模型。我們提出研究什么樣的圖模式可以最大化某個預測。具體地說，我們提出訓練一個圖生成器，以便生成的圖模式可以用來解釋深度圖模型。我們把它表示為一個強化學習問題，在每一步，圖生成器預測如何添加一條邊到給定的圖和形成一個新的圖。然后根據已訓練圖模型的反饋，使用策略梯度[35]對生成器進行訓練。我們還加入了一些圖規則，以鼓勵生成的圖是有效的。注意，XGNN框架中的圖生成部分可以推廣到任何合適的圖生成方法，這些方法由手邊的數據集和要解釋的GNN決定。最后，我們在真實數據集和合成數據集上訓練了GNN模型，取得了良好的性能。然后我們使用我們提出的XGNN來解釋這些訓練過的模型。實驗結果表明，我們提出的XGNN可以找到所需的圖模式，并解釋了這些模型。通過生成的圖形模式，我們可以驗證、理解甚至改進經過訓練的GNN模型。
付費5元查看完整內容
相關內容
實體交互預測在許多重要的應用如化學、生物、材料科學和醫學中是必不可少的。當每個實體由一個復雜的結構(即結構化實體)表示時，這個問題就變得非常具有挑戰性，因為涉及到兩種類型的圖:用于結構化實體的局部圖和用于捕獲結構化實體之間交互的全局圖。我們注意到，現有的結構化實體交互預測工作不能很好地利用圖的唯一圖模型。在本文中，我們提出了一個圖的神經網絡圖，即GoGNN，它以分層的方式提取了結構化實體圖和實體交互圖中的特征。我們還提出了雙重注意力機制，使模型在圖的兩個層次上都能保持相鄰的重要性。在真實數據集上的大量實驗表明，GoGNN在兩個有代表性的結構化實體交互作用預測任務上的表現優于最先進的方法:化學-化學交互作用預測和藥物-藥物交互作用預測。我們的代碼可以在Github上找到。
付費5元查看完整內容
圖卷積運算符將深度學習的優勢引入到各種以前認為無法實現的圖和網格處理任務中。隨著他們的不斷成功，人們希望設計更強大的架構，通常是通過將現有的深度學習技術應用于非歐幾里德數據。在這篇論文中，我們認為在新興的幾何深度學習領域，幾何應該保持創新的主要驅動力。我們將圖神經網絡與廣泛成功的計算機圖形學和數據近似模型:徑向基函數(RBFs)聯系起來。我們推測，與RBFs一樣，圖卷積層將受益于將簡單函數添加到強大的卷積內核中。我們引入了仿射跳躍連接，這是一種將全連通層與任意圖卷積算子相結合而形成的新型構造塊。通過實驗驗證了該方法的有效性，表明改進的性能不僅僅是參數數目增加的結果。在我們評估的每一項任務中，配備了仿射跳躍連接的操作人員都顯著地優于他們的基本性能。形狀重建，密集形狀對應，和圖形分類。我們希望我們的簡單而有效的方法將作為一個堅實的基線，并有助于緩解未來在圖神經網絡的研究。
付費5元查看完整內容
在多標簽文本分類(MLTC)中，一個樣本可以屬于多個類。可以看出，在大多數MLTC任務中，標簽之間存在依賴關系或相互關系。現有的方法往往忽略了標簽之間的關系。本文提出了一種基于圖的注意力網絡模型來捕獲標簽間的注意依賴結構。圖注意力網絡使用一個特征矩陣和一個相關矩陣來捕獲和探索標簽之間的關鍵依賴關系，并為任務生成分類器。將生成的分類器應用于文本特征提取網絡(BiLSTM)獲得的句子特征向量，實現端到端訓練。注意力允許系統為每個標簽分配不同的權值給相鄰節點，從而允許系統隱式地學習標簽之間的依賴關系。在5個實際的MLTC數據集上驗證了模型的結果。與以往的先進模型相比，該模型具有相似或更好的性能。
付費5元查看完整內容
圖神經網絡
·
圖神經網絡是解決各種圖學習問題的有效的機器學習模型。盡管它們取得了經驗上的成功，但是GNNs的理論局限性最近已經被揭示出來。因此，人們提出了許多GNN模型來克服這些限制。在這次調查中，我們全面概述了GNNs的表達能力和可證明的強大的GNNs變體。
付費5元查看完整內容
題目： Graph Neural Networks:A Review of Methods and Applications
簡介： 許多學習任務需要處理圖形數據，該圖形數據包含元素之間的關系信息。對物理系統進行建模，學習分子指紋，預測蛋白質界面以及對疾病進行分類，都需要從圖輸入中學習模型。在諸如從文本和圖像之類的非結構數據中學習的其他領域中，對提取結構的推理，例如句子的依存關系樹和圖像的場景圖，是一個重要的研究課題，它也需要圖推理模型。圖神經網絡（GNN）是連接器模型，可通過在圖的節點之間傳遞消息來捕獲圖的依賴性。與標準神經網絡不同，圖神經網絡保留一種狀態，該狀態可以表示來自其鄰域的任意深度的信息。盡管已經發現難以訓練原始圖神經網絡來固定點，但是網絡體系結構，優化技術和并行計算的最新進展已使他們能夠成功學習。近年來，基于圖卷積網絡（GCN）和門控圖神經網絡（GGNN）的系統已經在上述許多任務上展示了突破性的性能。在本綜述中，我們對現有的圖神經網絡模型進行了詳細的回顧，對應用程序進行了系統分類，并提出了四個未解決的問題，供以后研究。
作者簡介： 周杰，教授,清華大學自動化系黨委書記，教授，博士生導師。
付費5元查看完整內容
可解釋性是當前AI研究的熱點之一。倫敦大學學院Pasquale Minervini博士在可解釋AI研討會做了關于可解釋高效可驗證表示的報告《Back to Seminars Explainable, Verifiable, Relational Representation Learning from Knowledge Graphs》，共62頁PPT，
可解釋、數據有效、可驗證的表示學習
知識圖譜是圖結構化的知識庫，其中關于世界的知識以實體之間關系的形式進行編碼。我們將討論在大規模知識圖譜使用神經鏈接預測缺失鏈接的工作,以及如何結合背景知識——形式的一階邏輯規則或約束——神經鏈接預測,從更少的數據歸納和整合。最后，我們將討論如何通過端到端可微推理器共同學習表示和規則。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191