亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

模型可解釋問題一向都是一個玄學問題，主要核心問題在于怎么評估一個好的模型解釋器。在以往的工作中，圖解釋性模型往往是取一個邊集合，并且將邊集合得到的子圖預測結果與真實標簽做對比然后算一個acc，然而，本文作者則認為如果將解釋結果與真實情況對比的話實際上并不是特別靠譜。因此，本文主要提出了幾種更貼切于解釋性方法的評估數據，包括感染檢測，社區檢測，負樣本評估。

論文地址：//dl.acm.org/doi/pdf/10.1145/3447548.3467283

現有的GNN解釋方法側重于解釋圖的節點或邊的重要性，但忽略了圖子結構。事實上子結構更直觀且容易被人理解。論文提出了一種通過識別重要的子圖來解釋GNNs 的方法，即 Subgraph X。給定一個經過訓練的GNN模型和一個輸入圖，Subgraph X 通過蒙特卡洛樹搜索有效地探索不同的子圖來解釋其預測。為了使樹搜索更加有效，論文提出使用 Shapley 值作為子圖重要性的衡量標準，這也可以捕捉到不同子圖之間的相互作用。為了加快計算速度，論文提出了高效的近似方案來計算圖數據的 Shapley 值。該論文是通過識別子圖來解釋 GNN 的第一次嘗試，實驗結果表明，Subgraph X 明顯改善了解釋結果，同時將計算量也相對合理。

先說說為啥要關注圖神經網絡的可解釋性？

現有的 GNN 模型大多被視為黑盒子，其預測結果缺乏可解釋性。如果不理解和推理預測背后的關系，這些模型就不能被人們理解信任，阻礙了它們在關鍵領域的應用，因此研究深度圖模型的可解釋性十分必要。

本文的提出的解釋方法的獨特性在于？

很多文獻在研究圖像和文本上的深度模型的解釋技術方面做了工作，這些方法可以通過不同的策略解釋網絡行為和特定輸入的預測結果。然而，GNN 的可解釋性仍未得到充分的探索。與圖像和文本不同，圖數據不是網格狀的數據，它包含重要的結構信息。因此，圖像和文本領域的方法不能直接應用。目前存在的GNN 解釋方法，如 GNNExplainer、PGExplainer 和 PGM-Explainer，但它都是關注節點、邊或節點特征層面的可解釋性，沒有進行子圖層面的可解釋性研究。本文認為子圖層面的解釋更加直觀和有用，因為子圖是復雜圖的簡單構件，與圖的功能高度相關。

圖神經網絡（GNNs）在各種圖分析任務中得到了廣泛的關注，設計良好的消息傳播機制是GNNs中最基本的組成部分，并且被證明是十分有效的。雖然傳播機制多種多樣，但基本上都是以沿網絡拓撲傳播聚合節點特征的方式來利用拓撲與特征這兩種信息的。鑒于此，一個問題自然會被提出：盡管不同圖神經網絡有不同的傳播策略，是否存在統一的數學準則，能夠從本質上指導著不同的傳播機制？如果有的話，是什么？對這個問題較為完善的回答，可以幫助我們從宏觀的角度考察不同圖神經網絡之間的關系與差異。這樣的數學準則一旦被發現，就能夠幫助我們發現現有圖神經網絡的不足之處，進而激發更多新的圖神經網絡被設計出來。

本文中，我們首先分析了幾個具有代表性的圖神經網絡（例如GCN，SGC，PPNP）的傳播過程，并抽象出他們的共性。我們發現它們均可以歸結到一個統一的優化目標框架下，該優化目標由一個帶有靈活圖卷積核的特征擬合約束項和一個圖拉普拉斯正則項組成。特征擬合約束項旨在建立節點表示與原始節點特征之間的關系，而圖拉普拉斯正則項則起到拓撲平滑特征的作用。而對應圖神經網絡傳播后的節點表示則可以隱式地看做這個統一優化目標的最優解。

同時，基于該統一優化目標框架也較容易發現現有圖神經網絡傳播策略的不足之處，為設計新的圖神經網絡也提供了機會。通常來說，設計新的圖神經網絡往往側重于設計特定的譜圖濾波器或者空域聚合策略，而該統一框架為實現這一目標提供了另一種新的途徑，即通過設計傳播過程對應的優化目標函數來得到新的GNNs。這樣，我們就能夠清楚地知道傳播過程背后的優化目標，使新設計的圖神經網絡更具有可解釋性和可靠性。

本文的主要貢獻總結如下：

提出了一個包含特征擬合項與圖正則化項的統一優化目標框架，并從理論上證明了該框架能夠解釋多個圖神經網絡的傳播策略，為理解圖神經網絡提供了一個較宏觀的視角，也為設計新的圖神經網絡帶來新思路。 基于該統一優化框架，我們設計了兩種具有靈活圖卷積核擬合項的圖神經網絡傳播目標，并給出相應的網絡模型。同時對他們的收斂性，表達能力等進行了理論分析。 我們在六個數據集上驗證了提出兩種圖神經網絡模型的效果，實驗也表明他們具有較好的緩解過平滑的能力。這進一步驗證了基于該統一框架設計新圖神經網絡的可行性。

題目：Interpreting and Unifying Graph Neural Networks with An Optimization Framework

作者：Meiqi Zhu, Xiao Wang, Chuan Shi, Houye Ji, Peng Cui

簡介：圖神經網絡(GNNs)在各種圖分析任務中得到了相當廣泛的關注。設計良好的消息傳遞機制是經典圖神經網絡中最基本的組成成分，并且經驗與實驗證明該部分是非常有效的。雖然傳播機制多種多樣，但基本都是通過沿著網絡拓撲結構聚合節點特征來利用網絡結構與特征信息的。鑒于此，一個問題自然產生：”盡管圖神經網絡有著不同的傳播策略，是否存在一個統一的數學準則，從本質上指導這不同圖神經網絡的傳播過程？如果有的話，是什么？“ 對這個問題較為完善的答案，可以幫助我們從宏觀上有原則地考察不同圖神經網絡之間的關系和差異，并且這樣的數學準則一旦被提出，就能夠幫助我們發現現有圖神經網絡的不足之處，進而激發設計更多新的圖神經網絡。

在本文中，我們致力于建立不同圖神經網絡傳播機制之間的聯系，將他們的傳播過程建模成一個統一的優化問題。分析表明，多種經典圖神經網絡的傳播機制實際上是在優化一個結合了特征擬合約束項和圖拉普拉斯正則化約束項的優化目標，而他們傳播后的節點表示可以隱式地看作是這個統一優化目標的最優解。特征擬合項旨在建立節點表示與原始節點特征之間的關系，通常用于滿足特定圖神經網絡的不同需求。圖拉普拉斯正則化項則是這些圖神經網絡所共享的，它起到拓撲平滑特征的作用。

我們提出的統一優化目標框架，總結了幾種最具代表性的GNN之間的共性，不僅為探索不同GNN之間的關系提供了一個宏觀的視角，也進一步為靈活設計GNN提供了新的機會。傳統上，在提出一種新的圖神經網絡模型時，我們通常側重于設計特定的譜域濾波器或空域聚合策略。現在，統一的優化目標框架為實現這一目標提供了另一種新的途徑，即通過設計傳播目標函數而得到新的圖神經網絡。這樣，我們就清楚地知道傳播過程背后的優化目標，使新設計的圖神經網絡更具有可解釋性和可靠性。舉例來說，本文我們發現現有的工作通常使用非常簡單的圖卷積核來設計特征擬合約束項，因此基于現有的不足開發出兩個具有可調低通和高通濾波器性質的靈活優化目標函數。此外，我們提供了收斂證明和表達能力的比較。在基準數據集上進行的大量實驗表明，基于本文優化框架提出的GNN模型不僅性能優于現有的優化方法，而且能夠很好地緩解過度平滑問題，進一步驗證了采用統一優化框架設計GNN的可行性。

題目： 圖神經網絡的無冗余計算 會議： KDD2020 論文地址： //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由： 對于圖神經網絡中重復信息的聚合，這篇文章提出了一種簡單有效的層次化聚合的方法(HAG)，用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中，可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。

GNN在單層中基于遞歸鄰域聚合方案，每個節點聚合其鄰居的特征，并使用聚合值更新其自身的特征。這樣遞歸地傳播多次（多層），最后，GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務，例如節點分類、圖分類或鏈路預測。然而，如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是，許多當前的工作是使用整張圖的拉普拉斯矩陣，這樣即便是對于中等規模的圖，也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣，然后再聚合這些節點的鄰域信息，但是對于單個節點進行鄰域采樣是一個高復雜度的事情，因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。

【導讀】自然語言處理國際頂級會議EMNLP 2019于11月3日至11月7日在中國香港舉行。為了帶大家領略高質量論文，專知小編特意整理了六篇EMNLP 2019GNN相關論文，并附上論文鏈接供參考——命名實體識別、情感分類、對話圖卷積網絡、數據生成文本、短文本分類、Aspect-level情感分類等。

1、A Lexicon-Based Graph Neural Network for Chinese NER

作者：Tao Gui, Yicheng Zou, Qi Zhang;

摘要：遞歸神經網絡（RNN）用于中文命名實體識別（NER）中，能夠對文字信息進行順序跟蹤，取得了很大的成功。然而，由于鏈式結構的特點和缺乏全局語義，基于RNN的模型容易產生歧義。本文試圖通過引入一種全局語義的基于詞典的圖神經網絡來解決這一問題，該網絡利用詞典知識連接字符來捕獲局部成分，而全局中繼節點則可以捕獲全局句子語義和長距離依賴。基于字符、潛在單詞和整個句子語義之間的多重交互，可以有效地解決單詞歧義。在4個NER數據集的實驗表明，該模型與其他基線模型相比有顯著的改進。

網址：

//qizhang.info/paper/emnlp-2019.ner.pdf

2、Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks

作者：Chen Zhang, Qiuchi Li, Dawei Song;

摘要：注意機制和卷積神經網絡（CNNs）由于其固有的方面和上下文詞的語義對齊能力，被廣泛應用于基于方面的情感分類。然而，這些模型缺乏一種機制來解釋相關的句法約束和長距離的詞語依賴，因此可能會錯誤地將句法無關的上下文詞作為判斷方面情緒的線索。為了解決這個問題，我們提出在句子的依存樹上建立一個圖卷積網絡（GCN），以利用句法信息和詞的依存關系。在此基礎上，提出了一種新的面向方面的情感分類框架。在三個基準集合上的實驗表明，我們所提出的模型比一系列最先進的模型更具有相當的有效性，并且進一步證明了圖卷積結構能夠恰當地捕獲語法信息和長距離字的依賴關系。

網址：

3、DialogueGCN A Graph Convolutional Neural Network for Emotion Recognition in Conversation

作者：Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, Alexander Gelbukh;

摘要：會話情感識別（ECC）由于其在醫療、教育、人力資源等多個領域的廣泛應用，近年來受到了研究者的廣泛關注。在本文中，我們提出了對話圖卷積網絡（DialogueGCN），基于圖神經網絡的ERC方法。我們利用對話者的自言和對話人之間的依賴關系來為情緒識別建立會話環境模型。DialogueGCN通過圖形網絡解決了當前基于RNN的方法中存在的上下文傳播問題。我們經驗表明，這種方法緩解了這樣的問題，同時在一些基準的情緒分類數據集上超過了目前的狀態。

網址：

4、Enhancing AMR-to-Text Generation with Dual Graph Representations

作者：Leonardo F. R. Ribeiro, Claire Gardent, Iryna Gurevych;

摘要：基于圖的數據生成文本，如抽象意義表示（AMR），是一個具有挑戰性的任務，因為如何正確地對具有標記邊的圖的結構進行編碼存在固有的困難。為了解決這一難題，我們提出了一種新的圖-序列模型，該模型對AMR圖中包含的結構信息的不同但互補的透視圖進行編碼。該模型學習節點的自頂向下和自下而上的并行表示，以捕獲圖的對比視圖。我們還研究了不同節點消息傳遞策略的使用，使用不同的最先進的圖形編碼器來計算基于傳入和傳出透視圖的節點表示。在我們的實驗中，我們證明了對偶圖表示法可以改進AMR到文本的生成，從而在兩個AMR數據集上取得了最先進的效果。

網址：

5、Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification

作者：Linmei Hu, Tianchi Yang, Chuan Shi, Houye Ji, Xiaoli Li ;

摘要：短文本分類在新聞和推特標記中得到了豐富而重要的應用，以幫助用戶查找相關信息。由于在許多實際用例中缺乏標記的訓練數據，因此迫切需要研究半監督短文本分類。現有的研究大多集中在長文本上，由于標記數據的稀疏性和局限性，在短文本上的表現不盡人意。本文提出了一種新的基于異構圖神經網絡的半監督短文本分類方法，該方法充分利用了標記數據少和未標記數據大的優點，實現了信息在圖上的傳播。特別是，我們提出了一種靈活的HIN（異構信息網絡）框架，用于建模短文本，它可以集成任何類型的附加信息，并捕獲它們之間的關系來解決語義稀疏性。然后，我們提出了基于節點級和類型級注意的雙重注意機制的異構圖注意網絡(HGAT)嵌入HIN進行短文本分類。注意機制可以學習不同相鄰節點的重要性，以及不同節點(信息)類型對當前節點的重要性。大量的實驗結果表明，我們提出的模型在6個基準數據集上的性能顯著優于最先進的方法。

網址：

6、Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

作者：Binxuan Huang, Kathleen M. Carley ;

摘要：Aspect-level情感分類旨在識別向上下文語句給出的aspect表達的情緒。以往的基于神經網絡的方法在很大程度上忽略了句子的句法結構。在本文中，我們提出了一種新的目標依賴圖注意力網絡(TD-GAT)來進行方面層次的情感分類，該網絡明確利用了詞語之間的依賴關系。使用依賴圖，它直接從一個方面目標的語法上下文傳播情感特征。在我們的實驗中，我們證明了我們的方法優于使用GloVe嵌入的多個基線。我們還證明了使用BERT表示可以進一步顯著地提高性能。

網址：