亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文探討了

需要GNN的可解釋性 解釋GNN預測的挑戰 不同的GNN解釋方法 GNNExplainer的直觀解釋 使用GNNExplainer實現解釋節點分類和圖分類

如果你不解釋預測背后的原因，深度學習算法就像黑匣子，因此不能完全信任。不提供預測背后的原因，會阻止深度學習算法在涉及公平、隱私和跨領域安全的關鍵應用中使用。

深度學習模型的可解釋性有助于 增加對模型預測的信任 改進模型的透明度，用于與公平、隱私和其他安全挑戰相關的關鍵決策應用 在將模型部署之前，可以通過對網絡特征的理解來識別和糾正模型所犯的系統模式錯誤。

深度神經網絡的發展徹底改變了機器學習和人工智能領域。深度神經網絡在計算機視覺[1]、[2]、自然語言處理[3]、[4]、圖數據分析[5]、[6]等領域取得了良好的研究成果。這些事實促使我們開發深度學習方法，用于在跨學科領域的實際應用，如金融、生物學和農業[7]、[8]、[9]。然而，由于大多數深度模型是在沒有可解釋性的情況下開發的，所以它們被視為黑盒。如果沒有對預測背后的底層機制進行推理，深度模型就無法得到完全信任，這就阻止了它們在與公平性、隱私性和安全性有關的關鍵應用中使用。為了安全可靠地部署深度模型，有必要提供準確的預測和人類可理解的解釋，特別是為跨學科領域的用戶。這些事實要求發展解釋技術來解釋深度神經網絡。

深度模型的解釋技術通常研究深度模型預測背后的潛在關系機制。一些方法被提出來解釋圖像和文本數據的深度模型。這些方法可以提供與輸入相關的解釋，例如研究輸入特征的重要分數，或對深度模型的一般行為有較高的理解。例如，通過研究梯度或權重[10]，[11]，[18]，我們可以分析輸入特征和預測之間的靈敏度。現有的方法[12]，[13]，[19]映射隱藏特征圖到輸入空間和突出重要的輸入特征。此外，通過遮擋不同的輸入特征，我們可以觀察和監測預測的變化，以識別重要的特征[14]，[15]。與此同時，一些[10]、[16]研究側重于提供獨立于輸入的解釋，例如研究能夠最大化某類預測得分的輸入模式。進一步探究隱藏神經元的含義，理解[17]、[22]的整個預測過程。近年來對[23]、[24]、[25]、[26]等方法進行了較為系統的評價和分類。然而，這些研究只關注圖像和文本域的解釋方法，忽略了深度圖模型的可解釋性。

近年來，圖神經網絡(Graph Neural network, GNN)越來越受歡迎，因為許多真實世界的數據都以圖形的形式表示，如社交網絡、化學分子和金融數據。其中，節點分類[27]、[28]、[29]、圖分類[6]、[30]、鏈路預測[31]、[32]、[33]等與圖相關的任務得到了廣泛的研究。此外，許多高級的GNN操作被提出來提高性能，包括圖卷積[5]，[34]，[35]，圖注意力[36]，[37]，圖池化[38]，[39]，[40]。然而，與圖像和文本領域相比，圖模型的可解釋性研究較少，這是理解深度圖神經網絡的關鍵。近年來，人們提出了幾種解釋GNN預測的方法，如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。這些方法是從不同的角度發展起來的，提供了不同層次的解釋。此外，它仍然缺乏標準的數據集和度量來評估解釋結果。因此，需要對GNN解釋技術的方法和評價進行系統的綜述。

然而，將圖結構和特征信息結合在一起會導致復雜的模型;因此，解釋GNN的預測是具有挑戰性的。

• 圖數據不如圖像和文本直觀，這使得人類理解圖深度學習模型的解釋具有挑戰性。

• 圖像和文本使用類似網格的數據;然而，在一個圖、拓撲中，信息是用特征矩陣和鄰接矩陣表示的，每個節點有不同的鄰居。因此，圖像和文本的解釋方法不適合獲得高質量的圖的解釋。

• 圖節點和邊對GNN的最終預測有很大的貢獻;因此，GNN的可解釋性需要考慮這些交互作用。

• 節點分類任務通過從它的鄰居執行消息遍歷來預測節點的類。研究消息遍歷可以更好地理解為什么由GNN做出預測，但與圖像和文本相比具有挑戰性。

圖神經網絡可解釋性

圖的可解釋性需要回答諸如此類的問題

*哪些輸入邊對預測更關鍵，貢獻最大?哪個輸入節點更重要? *哪個Node特征更重要? *什么樣的圖模式能最大限度地預測某一類?

根據GNN提供的解釋類型，解釋GNN的方法可分為兩個分支。這些圖解釋方法集中在圖模型的不同方面，并提供了不同的視圖來理解GNN模型。

實例級方法: 給定一個輸入圖，實例級方法通過識別用于預測的重要輸入特征來解釋深度模型。

模型級方法 提供了一般的見解和高層次的理解來解釋深度圖模型。模型級方法專門研究哪些輸入圖模式可以通過GNN實現一定的預測。

首先，實例級方法為每個輸入圖提供依賴于輸入的解釋。給出一個輸入圖，這些方法通過識別用于預測的重要輸入特征來解釋深度模型。根據獲得的重要度分數，我們將方法分為4個不同的分支:基于梯度/特征的方法[53]1，[50]，基于微擾的方法[42]，[53]0，[53]3，[52]，[53]，分解方法[53]2，[50]，[54]，[55]，以及代理方法[56]，[57]，[58]。具體來說，基于梯度/特征的方法使用梯度或特征值來表示不同輸入特征的重要性。此外，基于擾動的方法監測預測的變化與不同的輸入擾動，以研究輸入的重要性得分。分解方法首先將預測得分(如預測概率)分解到最后一隱藏層的神經元中。然后逐層反向傳播這些分數，直到輸入空間，并使用這些分解后的分數作為重要分數。與此同時，對于給定的輸入示例，基于代理的方法首先從給定示例的鄰居中采樣數據集。接下來，這些方法擬合一個簡單的和可解釋的模型，如決策樹，以采樣數據集。然后使用代理模型的解釋來解釋最初的預測。第二，模型級方法不考慮任何特定的輸入實例來解釋圖神經網絡。獨立于輸入的解釋是高層次的，解釋一般行為。與instance level方法相比，這個方向的研究仍然較少。現有的模型級方法只有基于圖生成的XGNN[41]。它生成圖形模式來最大化某個類的預測概率，并使用這些圖模式來解釋該類。

總之，**這兩類方法從不同的角度解釋了深度圖模型。**實例級方法提供了特定于示例的解釋，而模型級方法提供了高層次的見解和對深度圖模型如何工作的一般理解。要驗證和信任深度圖模型，需要人工監督檢查解釋。對于實例級方法，需要更多的人工監督，因為專家需要探索不同輸入圖的解釋。對于模型級方法，由于解釋是高層次的，因此涉及的人力監督較少。此外，實例級方法的解釋基于真實的輸入實例，因此它們很容易理解。然而，對模型級方法的解釋可能不是人類能夠理解的，因為獲得的圖形模式甚至可能不存在于現實世界中。總之，這兩種方法可以結合起來更好地理解深度圖模型，因此有必要對兩者進行研究。

圖神經網絡可解釋性綜述

深度學習方法在許多人工智能任務中實現了不斷提高的性能。深度模型的一個主要限制是它們不具有可解釋性。這種限制可以通過開發事后技術來解釋預測來規避，從而產生可解釋的領域。近年來，深度模型在圖像和文本上的可解釋性研究取得了顯著進展。在圖數據領域，圖神經網絡(GNNs)及其可解釋性正經歷著快速的發展。然而，對GNN解釋方法并沒有統一的處理方法，也沒有一個標準的評價基準和試驗平臺。**在這個綜述中，我們提供了一個統一的分類的視角，目前的GNN解釋方法。**我們對這一問題的統一和分類處理，闡明了現有方法的共性和差異，并為進一步的方法論發展奠定了基礎。為了方便評估，我們為GNN的可解釋性生成了一組基準圖數據集。我們總結了當前的數據集和評價GNN可解釋性的指標。總之，這項工作為GNN的解釋提供了一個統一的方法處理和一個標準化的評價測試平臺。

地址：

//www.zhuanzhi.ai/paper/9a56925995fc3dfa1e88dbd945a2d358

本綜述提供了對深度圖模型的現有解釋技術的系統和全面的回顧。據我們所知，這是第一次也是唯一一次關于這一主題的綜述工作。

我們對現有的GNN解釋技術提出了一個新的分類方法。我們總結了每個類別的關鍵思想，并提供了深刻的分析。

我們詳細介紹了每種GNN解釋方法，包括其方法論、優缺點以及與其他方法的區別。

我們總結了常用的GNN解釋任務的數據集和評估指標。我們討論了它們的局限性，并推薦了幾個令人信服的度量標準。

通過將句子轉換為圖表，我們從文本領域構建了三個人類可理解的數據集。這些數據集不久將向公眾開放，并可直接用于GNN解釋任務。

參考文獻以及代碼：

圖神經網絡和強化學習都是機器學習中研究的主流模型，如何結合GNN和RL，是一個有趣的問題。最近來自美國堪薩斯州立大學發布了《基于圖神經網絡的強化學習》綜述，闡述相關算法與應用。

深度強化學習(DRL)已經增強了各種人工智能領域的能力，包括模式識別、機器人、推薦系統和游戲。類似地，圖神經網絡(GNN)也證明了它們在對圖結構數據進行監督學習方面的卓越性能。近年來，GNN與DRL在圖形結構環境中的融合引起了廣泛關注。本文對這些混合工作進行了全面的綜述。這些工作可以分為兩類: (1)算法增強，其中DRL和GNN相輔相成，發揮更好的效用;(2)特定于應用的增強，其中DRL和GNN相互支持。這種融合有效地解決了工程和生命科學中的各種復雜問題。在此基礎上，我們進一步分析了融合這兩個域的適用性和好處，特別是在提高通用性和降低計算復雜度方面。最后，強調了整合DRL和GNN的關鍵挑戰，以及潛在的未來研究方向，這將是更廣泛的機器學習社區的興趣。

近年來，深度學習的體系結構、算法和框架得到了爆炸式的發展，用于解決計算機視覺、建模和控制等一系列具有挑戰性的現實問題。在這些發展中，使用深度神經網絡(DNN)在強化學習(RL)框架內解決順序決策問題，導致深度強化學習(DRL)被認為是人工智能1中最先進的框架之一。該方法應用于組合優化[2]、游戲[3]、機器人[4]、自然語言處理[5]和計算機視覺[6]。DRL在這些應用中的巨大成功可以歸功于(1)以一種計算高效、可伸縮和靈活的方式處理復雜問題的能力，這在其他情況下是數值棘手的[7];(2)計算效率高，能夠快速生成高保真度解決方案，這在需要實時決策[8]的高動態環境中至關重要;(3)理解環境動力學的能力，并僅基于與環境的交互產生接近最優的行動，而不需要明確的基礎系統[9]，[10]的先驗知識。

雖然DRL的有效性在游戲中得到了最廣泛的證明，但它正在迅速地應用于其他各種現實應用中。其中一些應用程序涉及到顯示可以用圖形表示的顯式結構關系的環境。例如，旅行商問題(TSP)中的城市網絡或不完整的知識圖譜本質上具有基于圖的不同實體排列的特征。在歐幾里得空間中處理數據的方法并不適合這種環境，需要在編碼節點或聚合來自不同代理的信息方面進行特殊處理。這些方面用圖神經網絡(GNN)系統建模，詳見§II。這種結構關系的融入是一種輔助輸入，進一步提高了解決方案的質量。最近，研究人員一直在探索將強大的GNN模型與DRL融合的優勢，以有效地解決這類圖結構應用。這些混合工作的徹底調研可能是極其有益的，在識別挑戰和確定未來的研究方向。此外，一些與DRL相關的綜述作品也在[2]、[5]-[15]不斷發表。然而，這些綜述存在兩個主要缺陷:** (1)這些調研的大多數是通過特定應用領域的視角進行的。因此，他們被局限于特定的方法，忽視了跨領域的整體視角;(2)據我們所知，目前的文獻中還沒有關于DRL和GNN聯合研究的全面綜述**。

深度強化學習與圖神經網絡的融合

本文對DRL和GNN融合的相關文獻進行了系統綜述，主要貢獻如下:

對涉及DRL和GNN的橫跨理論發展(§III-A)和多個應用領域(§III-B)的文獻進行了嚴格的綜述。 * 對綜合DRL-GNN的理論和應用貢獻進行了分類(§III)。為此，對現有作品進行分類和分析的各種屬性被確定(§IV)。 * 該調研采取了一個整體的方法來回顧文獻，特別關注算法的關鍵方面，如計算效率，可擴展性，通用性和適用性。 * DRL和GNN仍處于發展的早期階段，兩者融合的研究也處于早期階段。因此，對相關挑戰進行了徹底的調研究，并確定了未來的研究方向(§V)。

DRL和GNN已經成為現代深度學習中極其強大的工具。DRL利用DNN的表達能力來解決RL的順序決策問題，而GNN是一種新穎的體系結構，特別適合處理圖結構數據。我們確定了兩大類聯合使用GNN和DRL的研究文章，如圖2所示。第一類文章利用GNN(或DRL)對DRL(或GNN)的應用進行算法和方法上的改進。另一方面，第二類文章同時使用DRL和GNN來解決不同應用領域的實際問題。表一描述了調研DRL和GNN融合工程的概況，表二概述了調研論文的個別組成部分。

A.算法發展

在本節中，我們將討論著重于開發改進DRL或GNN的新公式或算法的文章。在這些文章中，要么使用GNN來改進DRL的配方和性能，要么使用DRL來提高GNN的適用性。

1) DRL增強GNN:

利用DRL改進GNN的工作被用于不同的目的，包括神經體系結構搜索(NAS)，提高GNN預測的可解釋性和為GNN設計對抗樣本。

神經體系結構搜索(NAS): 指自動搜索神經網絡的最優體系結構的過程。層數，層中的節點數等)來解決一個特定的任務。[24]采用一種基于DRL的控制器，采用探索引導和保守利用的方法，對不同的GNN架構進行高效搜索。搜索空間由隱藏維度、注意力頭、注意力、聚合、組合和激活函數組成。作者將模型同質化作為一種方法，在子代和祖先體系結構之間執行引導參數共享。與現有的架構搜索方法[25]相比，該方法在基準數據集上具有更好的性能。

**解釋GNN預測: **為DNN預測生成解釋是提高ML模型透明度的一項重要任務。Shan等人[26]使用DRL來改進現有的解釋GNN預測的方法。為GNN預測生成解釋的問題涉及識別對生成預測影響最大的子圖。作者設計了一個基于DRL的迭代圖生成器，它從種子節點(預測的最重要節點)開始，并添加邊來生成解釋子圖。DRL模型僅基于解釋性子圖，利用預測的相互信息和預測的分布來學習具有策略梯度的子圖生成策略。作者表明，該方法在生成的子圖和基礎真理解釋之間的定性和定量相似性方面獲得了更好的可解釋性。

2) GNN增強DRL:

本小節討論與DRL算法改進相關的論文。具體而言，我們著重研究了GNN在關系型DRL問題(RDRL)中的應用，以有效地建模(1)多智能體深度強化學習(MADRL)框架中的不同智能體之間的關系，以及(2)多任務深度強化學習(MTDRL)框架中的不同任務之間的關系。

在MADRL中，agent之間的關系建模: 在MADRL中，一群agent為了實現一個共同的目標而相互合作或競爭。該框架最近被用于許多具有挑戰性的任務，包括交通燈控制、自動駕駛和網絡數據包傳輸[32]-[34]。在這種情況下，代理之間的通信提供關于其他代理的環境和狀態的附加信息。人們提出了幾種學習這種交流的方法。捕捉這些關系的第一個工作主體與基于注意力的方法[35]-[38]有關。ATOC[39]、DGN[40]和COMA-GAT[36]通過注意力機制提供通信。

**在MTDRL中對任務之間的關系進行建模:**該框架提供了一種優雅的方法來利用多個任務之間的共性，以便學習具有更高回報、泛化、數據效率和健壯性的策略。在大多數MTDRL工作中，一個固有的假設是相容的狀態-動作空間，即跨多個任務的相同維度的狀態和動作。然而，這在許多實際應用中被違背，如組合優化和機器人。這個問題已經通過使用能夠處理任意大小的圖的GNN得到了解決，從而在不兼容的狀態-動作環境[46]中支持MTDRL。由于GNN提供了合并結構信息的靈活性，它允許集成額外的領域知識，其中狀態被標記為圖。GNN在MTDRL中的使用已經在連續控制環境中得到證實，利用RL代理的物理形態來構建輸入圖[47]，[48]。

RDRL的關系符號輸入:RDRL的基本前提是將DRL與關系學習或歸納邏輯編程[49]集成，其中狀態、動作和策略用一階/關系語言[50]表示。該空間中的任務具有變化的狀態空間和動作空間的特點。在這些問題中，很難找到大多數現有DRL方法所需要的固定長度的表示。這個問題可以使用GNN來處理，方法是根據圖形結構數據制定關系問題。關系域的機制通常由關系動態影響圖語言(RDDL)[51]表示。

B .應用

第二大類論文利用DRL的多功能性和GNN的靈活編碼能力來解決不同應用領域的有趣挑戰。這些領域涵蓋了廣泛的范圍，包括組合優化、運輸、控制、知識圖譜和生命科學，我們將在接下來簡要回顧。

1) 組合優化(CO):

許多CO問題的計算是昂貴的，需要近似和啟發式來解決多項式時間。人們對使用機器學習技術解決CO問題越來越感興趣。在這方面，CO問題通常被定義為MDP，其中最優行動/解決方案可以通過DRL學習到。此外，底層環境表示為使用GNN處理的圖。

**2) 交通: **用DRL和GNN處理的運輸問題大致可以分為路由和速度預測兩類。

**

**

3) 制造與控制:由于過程和系統級之間日益增加的復雜性和相互依賴性，DRL也在現代制造系統中得到了探索[73]-[75]。

4. 知識圖譜補全 :在推薦系統[93]、社交網絡[94]、問答系統[95]、智能制造[96]、信息抽取[97]、語義解析[98]和命名實體消歧[99]等各種應用中，知識圖譜(Knowledge Graphs, KG)被越來越多地用于表示異構的圖結構數據。現實世界知識庫的一個關鍵問題是，它們是不完整，也就是說，很多關系都缺失了。知識圖譜(KGC)補全。是一個知識庫完成過程，旨在通過推斷缺失的條目與現有的幫助下，填補不完整的現實世界的知識庫。

**5)生命科學: **除了工程應用之外，ML最近的進展也展示了它在各種生命科學應用方面的革命性潛力，如藥物發現[101]-[103]和腦網絡分析[104]。為此，[101]提出了一種設計將DRL耦合到深度生成模型的抗病毒候選藥物的新方法。

?作者 | ****戴恩炎，趙天翔，王蘇杭 單位 | ****賓夕法尼亞州立大學

對于可信圖神經網絡（Trustworthy Graph Neural Networks）在隱私（privacy），魯棒性（robustness），公平（fairness）和可解釋性（explainability） 的研究工作，我們進行了系統的梳理和討論。對于可信賴所要求的各個方面，我們將現有概念和方法歸類并提煉出各類的通用框架。同時我們也給出了代表性工作和前沿方法的具體細節。對于未來的工作方向，我們也進行了探討。

論文標題：

A Comprehensive Survey on Trustworthy Graph Neural Networks: Privacy, Robustness, Fairness, and Explainability

論文鏈接：

在現實應用當中，大量的數據列如交通網絡，社交網絡，知識圖譜乃至蛋白質結構，都是以圖的形式存在的。圖神經網絡（GNNs）將深度學習拓展到圖結構數據的處理和建模。典型的圖神經網絡會匯聚鄰居節點（neighbor node）的信息來增強目標節點（target node）來獲取更強的特征。這種被稱作 message-passing 的機制使得圖神經網絡在處理圖結構數據上取得了巨大成功并被廣泛應用到日常生活。例如，Pinterest 就應用了 GNNs 在他們的圖片推薦系統當中。一些將 GNNs 應用到信用評估等金融領域的工作也已開展。但是正如深度學習那樣，GNNs 在于可信賴性方面仍然存在很多問題：

在 GNNs 的應用中，隱私和魯棒性并不能得到保證。黑客可以對基于 GNNs 的服務進行隱私攻擊或者對抗攻擊。如通過 GNNs 獲得的 node embedding，攻擊者可以推斷用戶的私人信息。他們也可以采取各種方式如添加虛假聯結去欺騙圖神經網絡模型。比如應用在金融風險評估的 GNNs 就可能被攻擊，對個人，企業和社會帶來重大損失。

圖神經網絡本身也有在公平性和可解釋性的缺陷。現有研究已經證明圖神經網絡的結構會進一步加強隱藏在數據中的偏見，從而導致做出對年齡、性別、種族等帶有歧視的決策。另一方面，由于模型深度導致的高度非線性， GNNs 模型給出預測難以被理解，這大大限制了 GNNs 在實際場景中的應用。

以上的這些問題都阻礙了 GNNs 在高風險場景如金融和醫療領域進一步的發展。因此可信賴圖神經網絡的構建已經成為了熱門方向。在我們的綜述中 [6]，我們對已有的可信賴圖神經網絡在隱私，魯棒性，公平性和可解釋性方面進行了總結歸納，并展望了進一步的工作方向。接下來在這篇博客中，我們將簡要的介紹綜述的框架及所包含的具體方向。

▲ Figure 1. 關于隱私章節的綜述結構.

隱私（Privacy）

模型訓練集中的隱私信息可能會在發布的模型或者提供的服務泄露。然而現有的綜述論文多以討論在圖像和文本這類數據的隱私問題，其中討論的方法難以拓展到圖數據結構和采用 message-passing 架構的圖神經網絡。因此我們對隱私攻擊（privacy attacks）以及圖神經網絡的隱私保護（privacy-preserving GNNs）進行了概述總結。囊括的概念和方法都列在圖 1 之中。首先，我們對隱私攻擊方法總結出了統一的框架。 然后，我們詳細介紹了四種隱私攻擊：Membership Inference Attack, Reconstruction Attack，Property Inference Attack 和 Model Extraction Attack。至于圖神經網絡的隱私保護，我們在綜述中按照采用的方法將其歸類為差分隱私（differential privacy），聯邦學習（federated learning）和對抗隱私保護（adversarial privacy preserving）。 部分在文章討論過得方法也列舉在圖 1 之中。對于更多的技術細節以及相關方法請見于綜述論文第三章。這一章節還包含了不同領域的數據集以及圖神經網絡隱私保護的實際應用。同時我們發現對于一些類型的隱私攻擊如 Property Inference Attack 及 Model Extraction Attack 現在都缺乏行之有效的防御辦法。因此對于不同的隱私攻擊的防御會是一個未來的研究方向。其他的未來研究方向也在文章中進行了討論。更多細節請見原文。

▲ Figure 2. 關于魯棒性章節的綜述組織結構.

魯棒性（Robustness）

魯棒性是可信賴模型的另一個重要方面。由于 message-passing 機制和圖結構，GNNs 可能會被節點特征和圖結構上的對抗性擾動影響。例如，詐騙犯可以通過創造和一些特定高信用用戶的交易來逃過基于 GNNs 的詐騙檢測。所以研發魯棒的圖神經網絡對于一些安全風險較高的領域如醫療和金融是十分有必要的。 現在已有一些綜述文章討論在圖學習上的魯棒性。因此，我們專注于討論在這個領域內新興的研究方向如大規模攻擊（scalable attack），圖后門攻擊（graph backdoor attack）和最近的提出的防御方法。擾動采樣（perturbation sampling）和減少候選擾動（perturbation candidate reduction）便是對已有方法進行改進，從而實現對大規模網絡攻擊。另外，節點插入攻擊（node injection attack）作為添加擾動的時間復雜度與圖規模線性相關的方法也具備對大規模網絡攻擊的潛力。至于圖后門攻擊，已有方法較少，我們對其進行了細致的介紹。 對于圖對抗攻擊的防御方法，如圖 2 所示，我們將其歸類為：對抗訓練（adversarial training），可驗證魯棒性（certifiable robustness），圖去噪（graph denoising）及其他方法。在這些方向中，基于自監督（self-supervision）的方法未在以往綜述中被討論過。因此我們討論了如 SimP-GNN [1] 的一些基于自監督的防御方法。對于其他的方向，我們則討論了些最新的進展，比如可以同時處理標簽稀少和對抗攻擊的 RS-GNN [2]。關于圖神經網絡魯棒性的未來研究方向也包含在綜述當中，詳情請見綜述第四章。

▲ Figure 2. 關于公平性章節的綜述組織結構.

公平（Fairness）

我們最近的研究 [3] 表明 GNNs 中的 message-passing 機制相較于多層感知機（MLP）會加劇數據中的偏見。這也證明了針對圖神經網絡實現公平性是十分有必要的。最近有很多研究保證 GNNs 滿足不同公平性標準的工作涌現。因此我們對與這些工作進行了系統的回顧和歸納，整體的結構可參見圖 3。 首先我們介紹了兩類可能存在于圖結構數據的偏見：一類是廣泛存在各類數據如表格，文本和圖數據的偏見；另一類則是圖結構數據所特有的偏見。對于算法公平性的研究，其中一個最重要的問題就是如何定義和量化算法公平與否。所以我們還列舉出被 GNNs 公平性文獻廣泛采用的定義。這些公平性的定義多數適用于各種數據結構。只有 Dyadic fairness 是為鏈接預測任務設計，僅適用于圖結構數據。 對于實現 GNNs 公平性的算法，我們將其分類為對抗去偏（adversarial debiasing），公平性約束（fairness constraints）以及其他方法。部分我們討論的代表性方法在圖三當中也有列舉。在對抗去偏和公平性約束的已有方法的介紹中，我們首先分別歸納了其目標函數的統一形式。關于具體方法的各自確切目標函數也一一進行了介紹。由于需要用戶的隱私信息用于訓練和驗證公平圖神經網絡，可以用圖神經網絡公平性研究的數據集較難獲得。因此我們還列舉了各應用領域可用的數據集來幫助未來的研究。

▲ Figure 4. 關于可解釋章節的綜述結構.

可解釋性（Explainability）

由于復雜圖結構的離散型和高度的非線性，再加上 message-passing 機制在 GNNs 中的應用，圖神經網絡普遍缺乏可解釋性。而開發可解釋圖神經網絡（explainable GNNs）是十分關鍵的。因為提供的解釋可以讓參與者更信任圖神經網絡模型所做的預測。并且提供的解釋可以用來了解模型所學到的知識，據此我們可以評估現有模型是否帶有偏見或者已經被對抗攻擊影響。 因此已經有一些工作開展了可解釋 GNNs 的研究，我們在這里則對其進行了總結性回顧。對于可解釋 GNNs 的討論框架可見于圖 4。其中我們首先對可解釋性的應該考慮的各個方面進行了探討。之后我們對已有的解釋 GNNs 的方法分為 實例級事后（instance-level post-hoc），模型級事后（model-level post-hoc）以及自解釋方法（self-explainable）。 值得強調的是，其中的 self-explainable GNNs 是一個未被討論的新方向。因此我們詳述了 self-explainable GNNs 如 SE-GNN [4] 和 ProtGNN [5] 的技術細節。對于其他種類的方法，我們根據其采用的方法進一步分為多個子類。由于在現實世界的圖中很難獲得可以作為檢驗標準的解釋，因此數據集及其評估指標也是可解釋性研究的一大挑戰。雖然已有人造數據集以及部分現實數據集被應用，但是創造可解釋性的基準數據集仍會一個重要的研究方向。更多內容詳見我們的綜述原文。

? 團隊簡介

該綜述論文主要由賓夕法尼亞州立大學（PSU）王蘇杭助理教授團隊協作完成。其他主要貢獻作者包括戴恩炎和趙天翔。

戴恩炎是來自 PSU 的第三年 PhD 學生，他目前的主要科研方向為 Trustworthy Graph Neural Networks。趙天翔也是來自 PSU 的第三年 PhD 學生，他主要從事 Weakly-Supervised Graph Learning 方向的研究。王蘇杭教授對于數據挖掘和機器學習有著廣泛的興趣，最近的研究主要集中于圖神經網絡的各個方向如 Trustworthiness, self-supervision, weak-supervision 和 heterophilic graph learning, deep generative models 和 causal recommender systems。

參考文獻

[1] Jin, Wei, Tyler Derr, Yiqi Wang, Yao Ma, Zitao Liu, and Jiliang Tang. "Node similarity preserving graph convolutional networks." In Proceedings of the 14th ACM International Conference on Web Search and Data Mining, pp. 148-156. 2021.

[2] Dai, Enyan, Wei Jin, Hui Liu, and Suhang Wang. "Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels." Proceedings of the 15th ACM International Conference on Web Search and Data Mining. 2022. [3] Dai, Enyan, and Suhang Wang. "Say no to the discrimination: Learning fair graph neural networks with limited sensitive attribute information." Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021. [4] Dai, Enyan, and Suhang Wang. "Towards Self-Explainable Graph Neural Network." Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 2021. [5] Zhang, Zaixi, Qi Liu, Hao Wang, Chengqiang Lu, and Cheekong Lee. "ProtGNN: Towards Self-Explaining Graph Neural Networks." arXiv preprint arXiv:2112.00911 (2021). [6] Dai, Enyan, Tianxiang Zhao, Huaisheng Zhu, Junjie Xu, Zhimeng Guo, Hui Liu, Jiliang Tang, and Suhang Wang. "A Comprehensive Survey on Trustworthy Graph Neural Networks: Privacy, Robustness, Fairness, and Explainability." arXiv preprint arXiv:2204.08570 (2022).

近幾年來,將深度學習應用到處理和圖結構數據相關的任務中越來越受到人們的關注．圖神經 網絡的出現使其在上述任務中取得了重大突破,比如在社交網絡、自然語言處理、計算機視覺甚至生命 科學等領域得到了非常廣泛的應用．圖神經網絡可以把實際問題看作圖中節點之間的連接和消息傳播 問題,對節點之間的依賴關系進行建模,從而能夠很好地處理圖結構數據．鑒于此,系統綜述了圖神經網絡模型以及應用．首先從譜域、空間域和池化３方面對圖卷積神經網絡進行了闡述．然后,描述了基于注意 力機制和自編碼器的圖神經網絡模型,并補充了一些其他方法實現的圖神經網絡．其次,總結了針對圖 神經網絡能不能做大做深等問題的討論分析．進而,概括了圖神經網絡的４個框架．還詳細說明了在圖 神經網絡在自然語言處理、計算機視覺等方面的應用．最后,對圖神經網絡未來的研究進行了展望和總 結．相較于已有的圖神經網絡綜述文章,詳細闡述了譜理論知識,并對基于譜域的圖卷積神經網絡體系 進行全面總結．同時,給出了針對空間域圖卷積神經網絡效率低的改進模型這一新的分類標準．并總結 了針對圖神經網絡表達能力、理論保障等的討論分析,增加了新的框架模型．在應用部分,闡述了圖神經 網絡的最新應用．

在過去幾年,深度學習已經在人工智能和機器 學習上取得了成功,給社會帶來了巨大的進步．深度 學習的特點是堆積多層的神經網絡層,從而具有更 好的學 習 表 示 能 力．卷 積 神 經 網 絡 (convolutional neuralnetwork,CNN)的飛速發展更是將深度學習 帶上了一個新的臺階[１Ｇ２]．CNN 的平移不變性、局部 性和組合性使其天然適用于處理像圖像這樣的歐氏 結構數據的任務中[３Ｇ４],同時也可以應用于機器學習 的其他各個領域[５Ｇ７]．深度學習的成功一部分源自于 可以從歐氏數據中提取出有效的數據表示,從而對 其進行高效的處理．另一個原因則是得益于 GPU 的 快速發展,使得計算機具有強大的計算和存儲能力, 能夠在大規模的數據集中訓練和學習深度學習模 型．這使得深度學習在自然語言處理[８]、機器視覺[９] 和推薦系統[１０]等領域都表現出了良好的性能．

但是, 現有的神經網絡只能對常規的歐氏結構 數據進行處理．如圖１(a)歐氏數據結構,其特點就是 節點有固定的排列規則和順序,如２維網格和１維 序列．而當前越來越多的實際應用問題必須要考慮 非歐氏數據,如圖１(b)非歐氏數據結構中節點沒有 固定的排列規則和順序,這就使得不能直接將傳統 的深度學習模型遷移到處理非歐氏結構數據的任務 中．如若直接將 CNN 應用到其中,由于非歐氏數據中心節點的鄰居節點數量和排列順序不固定,不滿 足平移不變性,這就很難在非歐氏數據中定義卷積 核．針對圖神經網絡(graphneuralnetwork,GNN) 的研究工作,最開始就是在如何固定鄰居節點數量 以及如何給鄰居節點排序展開的,比如 PATCHYＧ SAN [１１],LGCN [１２],DCNN [１３]方法等．完成上述２項 工作之后,非歐氏結構數據就轉化為歐氏結構數據, 然后就可以利用 CNN 處理．圖是具有點和邊的典型 非歐氏數據,在實際中可以將各種非歐氏數據問題 抽象為圖結構．比如在交通系統中,利用基于圖的學 習模型可以對路況信息進行有效的預測[１４]．在計算 機視覺中,將人與物的交互看作一種圖結構,可以對 其進行有效地識別[１５]。

近期已有一些學者對圖神經網絡及其圖卷積神經網絡分支進行了綜述[１６Ｇ１９]．本文的不同之處在于,首先由于經典模型是很多變體模型的基石,所以給 出了經典模型的理論基礎以及詳細推理步驟．在１．２ 節基于空間方法的圖卷積神經網絡中,多用圖的形 式列出模型的實現過程,使模型更加通俗易懂．文獻 [１６Ｇ１９]并未對目前廣大學者熱點討論的問題進行 總結,所以在第５節針對圖神經網絡的討論部分,首 次列出了目前研究學者對 GNN 的熱點關注問題, 比如其表達能力、過平滑問題等．然后,在第６節中 總結了圖神經網絡新框架．同時,針對圖神經網絡的 應用,在第７節中較全面地介紹了 GNN 的應用場 景．最后,列出了圖神經網絡未來的研究方向．在圖２ 中列出了本文的主體結構．

研究圖神經網絡對推動深度學習的發展以及人 類的進步具有重大意義．首先,現實中越來越多的問 題可以抽象成非歐氏結構數據,由于圖數據的不規 則性,傳統的深度學習模型已經不能處理這種數據, 這就亟需研究設計一種新的深度神經網絡．而 GNN 所處理的數據對象就是具有不規則結構的圖數據,GNN 便在這種大背景下應運而生[２０Ｇ２１]．然后,圖數 據的結構和任務是十分豐富的．這種豐富的結構和 任務也正是和人們生活中要處理的實際問題相貼合 的．比如,圖數據有異質性以及邊的有向連接特性, 這和推薦系統中的場景完全類似．圖數據處理任務 中節點級別、邊級別以及整圖級別也同樣可以應用到深度學習的各個應用場景中．所以,GNN 的研究 為解決生活中的實際問題找到了一種新的方法和途 徑．最后,GNN 的應用領域是十分廣泛的,能夠處理 各種能抽象成圖數據的任務．不管是在傳統的自然 語言處理領域[２２Ｇ２４]或者圖像領域[２５Ｇ２６],還是在新興 的生化領域[２７Ｇ２８],GNN都能表現出強大的性能．

１ 圖卷積神經網絡

CNN 已經在圖像識別、自然語言處理等多個領 域取得了不俗的成績,但其只能高效地處理網格和 序列等這樣規則的歐氏數據．不能有效地處理像社 交多媒體網絡數據、化學成分結構數據、生物蛋白數 據以及知識圖譜數據等圖結構的非歐氏數據．為此, 無數學者經過不懈努力,成功地將 CNN 應用到圖 結構的非歐氏數據上,提出了圖卷積神經網絡(graph convolutionalnetwork,GCN)．GCN 是 GNN 中一 個重要分支,現有的大多數模型基本上都是在此基 礎上變化推導而來．下面我們將按照從基于譜方法、 空間方法和池化３方面對 GCN 進行總結和概括．

2 基于注意力實現的圖神經網絡

注意力機制在處理序列任務已經表現出強大的 能力[６０],比如在機器閱讀和學習 句 子 表 征 的 任 務 中．其強大的優勢在于允許可變大小的輸入,然后利 用注意力機制只關心最重要的部分,最后做出決策處理．一些研究發現,注意力機制可以改進卷積方 法,從而可以構建一個強大的模型,在處理一些任務 時能夠取得更好的性能．為此,文獻[６１]將注意力機 制引入到了圖神經網絡中對鄰居節點聚合的過程 中,提出了圖注意力網絡(graphattentionnetworks, GAT)．在傳統的 GNN 框架中,加入了注意力層,從 而可以學習出各個鄰居節點的不同權重,將其區別對待．進而在聚合鄰居節點的過程中只關注那些作 用比較大的節點,而忽視一些作用較小的節點．GAT 的核心思想是利用神經網絡學習出各個鄰居節點的 權重,然后利用不同權重的鄰居節點更新出中心節 點的表示。

３ 基于自編碼器實現的圖神經網絡

在無監督學習任務中,自編碼器(autoencoder, AE)及其變體扮演者非常重要的角色,它借助于神 經網絡模型實現隱表示學習,具有強大的數據特征 提取能力．AE 通過編碼器和解碼器實現對輸入數 據的有效表示學習,并且學習到的隱表示的維數可 以遠遠小于輸入數據的維數,實現降維的目的．AE 是目前隱表示學習的首選深度學習技術,當我們把 具有某些聯系的原始數據(X１,X２,…,Xn)輸入到 AE中進行重構學習時,可以完成特征提取的任務． 自編碼器的應用場景是非常廣泛的,經常被用于數據去噪、圖像重構以及異常檢測等任務中．除此之 外,當 AE被用于生成與訓練數據類似的數據時, 稱之為生成式模型．由于 AE具有上述優點,一些學 者便將 AE 及其變體模型應用到圖神經網絡當中 來．文 獻 [６９]第 １ 個 提 出 了 基 于 變 分 自 編 碼 器 (variationalautoencoder,VAE)的變分圖自編碼器 模型 (variationalgraphautoencoder,VGAE),將 VAE應用到對圖結構數據的處理上．VGAE利用隱 變量學習出無向圖的可解釋隱表示,使用了圖卷積 網絡編碼器和一個簡單的內積解碼器來實現這個模 型．

4. 未來研究展望 GNN

雖然起步較晚, 但由于其強大的性能, 已經取得了不俗的表現, 并且也在例如計算機視覺和推薦系統等實際應用中發揮著巨大的作用．不難發現, GNN 確實更符合當前實際應用的發展趨勢, 所 以 在 近 幾 年 才 會 得 到 越 來 越 多 人 的 關 注．但 是, GNN 畢竟起步較晚,還沒有時間積累,研究的深度 和領域還不夠寬廣．目前來看,它依然面臨著許多亟 待解決的問題,本節總結了 GNN 以后的研究趨勢．

１) 動態圖．目前,GNN 處理的圖結構基本上都 是靜態圖,涉及動態圖結構的模型較少[１３８Ｇ１３９],處理 動態圖對 GNN 來說是一個不小的挑戰．靜態圖的 圖結構是靜態不變的,而動態圖的頂點和邊是隨機 變化的,甚至會消失,并且有時還沒有任何規律可 循．目前針對 GNN 處理動態圖結構的研究還是比 較少的,還不夠成熟．如果 GNN 能夠成功應用于動 態圖結構上,相信這會使 GNN 的應用領域更加寬 廣．將 GNN 模型成功地推廣到動態圖模型是一個 熱點研究方向．

２) 異質圖．同質圖是指節點和邊只有一種類型, 這種數據處理起來較容易．而異質圖則是指節點和 邊的類型不只一種,同一個節點和不同的節點連接 會表現出不同的屬性,同一條邊和不同的節點連接 也會表現出不同的關系,這種異質圖結構處理起來 就相對復雜．但異質圖卻是和實際問題最為貼切的 場景,比如在社交網絡中,同一個人在不同的社交圈 中可能扮演著父親、老師等不同的角色．對于異質圖 的研究還處在剛起步的階段[１４０Ｇ１４１],模型方法還不 夠完善．所以,處理異質圖也是將來研究的一個熱點．

３) 構建更深的圖神經網絡模型．深度學習的強 大優勢在于能夠形成多層的不同抽象層次的隱表 示,從而才能表現出優于淺層機器學習的強大優勢． 但對于圖深度學習來說,現有的圖神經網絡模型大 多還是只限于淺層的結構．通過實驗發現,當構造多 層的神經網絡時,實驗結果反而變差．這是由過平滑 現象造成的,GNN 的本質是通過聚合鄰居節點信息 來表征中心節點．當構造多層的神經網絡之后,中心 節點和鄰 居 節 點 的 差 異 就 會 變 得 微 乎 其 微,從 而 會導致分類結果變差．如何解決過平滑現象,使圖神 經網絡能夠應用于更多層的結構,從而發揮出深度 學習的強大優勢．雖然已有文獻對其進行了討論[９１], 但構建更深的圖神經網絡模型仍是值得深入研究的 問題．

４) 將圖神經網絡應用到大圖上．隨著互聯網的 普及,圖神經網絡處理的數據也變得越來越大,致使 圖中的節點數量變得巨大,這就給圖神經網絡的計 算帶來了不小的挑戰．雖然一些學者對該問題進行 了研究改進[１４２],但針對將圖神經網絡應用到大圖 上的研究同樣是將來研究的熱點問題,在這方面,引 入摘要數據結構,構造局部圖數據,并能適當地融合 局部圖結構,形成整體圖神經網絡的表示是可能的 思路．

５) 探索圖中更多有用的信息．在當前諸多學者 對于圖神經網絡模型的研究中,僅僅利用了圖中節 點之間有無連接這一拓撲結構信息．但是,圖是一個 非常復雜的數據結構,里面還有很多有用的信息未 被人們發現利用．比如,圖中節點的位置信息．中心 節點的同階鄰居節點處于不同位置,距離中心節點 的遠近不同應該會對中心節點產生的影響程度不 同．如果能夠探索出圖中更多的有用信息,必會將圖 神經網絡的性能提升一個層次,這是一個非常值得 探討的問題．

６) 設計圖神經網絡的數學理論保障體系．任何 神經網絡模型必須有強大的數學理論支撐才能發展 得更快,走得更遠．現在對于圖神經網絡模型的設 計,大多還只是依靠研究者的經驗和基于機理邏輯 設計出來的,并且對于圖神經網絡模型的性能分析 僅僅是從實驗結果中得來,并沒有從數學理論層面 給出 一 個 合 理 的 解 釋．目 前,該 領 域 已 有 一 些 研 究[９０Ｇ９１],但為圖神經網絡設計出強大的數學理論,指 導圖神經網絡的構造、學習和推理過程．能夠給出圖 神經網絡學習結果正確性的數學理論保障,仍是未 來發展的一個重要方向．

7. 圖神經網絡的工業落地．當前對于圖神經網 絡的研究大多還只是停留在理論層面,首先設計出模型,然后在公開數據集上進行測試驗證,鮮有把工 業的實際情況考慮在內．雖然圖神經網絡在工業上 已有一小部分的實際應用,但還遠沒有達到大規模 應用的程度．任何研究只有真正地在工業界落地,才 能發揮它的應用價值,反之也會促進其進一步的研 究發展．盡快將圖神經網絡應用到實際的工業場景 中,是一個亟需解決的問題．

現有的GNN解釋方法側重于解釋圖的節點或邊的重要性，但忽略了圖子結構。事實上子結構更直觀且容易被人理解。論文提出了一種通過識別重要的子圖來解釋GNNs 的方法，即 Subgraph X。給定一個經過訓練的GNN模型和一個輸入圖，Subgraph X 通過蒙特卡洛樹搜索有效地探索不同的子圖來解釋其預測。為了使樹搜索更加有效，論文提出使用 Shapley 值作為子圖重要性的衡量標準，這也可以捕捉到不同子圖之間的相互作用。為了加快計算速度，論文提出了高效的近似方案來計算圖數據的 Shapley 值。該論文是通過識別子圖來解釋 GNN 的第一次嘗試，實驗結果表明，Subgraph X 明顯改善了解釋結果，同時將計算量也相對合理。

先說說為啥要關注圖神經網絡的可解釋性？

現有的 GNN 模型大多被視為黑盒子，其預測結果缺乏可解釋性。如果不理解和推理預測背后的關系，這些模型就不能被人們理解信任，阻礙了它們在關鍵領域的應用，因此研究深度圖模型的可解釋性十分必要。

本文的提出的解釋方法的獨特性在于？

很多文獻在研究圖像和文本上的深度模型的解釋技術方面做了工作，這些方法可以通過不同的策略解釋網絡行為和特定輸入的預測結果。然而，GNN 的可解釋性仍未得到充分的探索。與圖像和文本不同，圖數據不是網格狀的數據，它包含重要的結構信息。因此，圖像和文本領域的方法不能直接應用。目前存在的GNN 解釋方法，如 GNNExplainer、PGExplainer 和 PGM-Explainer，但它都是關注節點、邊或節點特征層面的可解釋性，沒有進行子圖層面的可解釋性研究。本文認為子圖層面的解釋更加直觀和有用，因為子圖是復雜圖的簡單構件，與圖的功能高度相關。

深度學習方法在許多人工智能任務中實現了不斷提高的性能。深度模型的一個主要限制是它們不具有可解釋性。這種限制可以通過開發事后技術來解釋預測來規避，從而產生可解釋的領域。近年來，深度模型在圖像和文本上的可解釋性研究取得了顯著進展。在圖數據領域，圖神經網絡(GNNs)及其可解釋性正經歷著快速的發展。然而，對GNN解釋方法并沒有統一的處理方法，也沒有一個標準的評價基準和試驗平臺。在這個綜述中，我們提供了一個統一的分類的視角，目前的GNN解釋方法。我們對這一問題的統一和分類處理，闡明了現有方法的共性和差異，并為進一步的方法論發展奠定了基礎。為了方便評估，我們為GNN的可解釋性生成了一組基準圖數據集。我們總結了當前的數據集和評價GNN可解釋性的指標。總之，這項工作為GNN的解釋提供了一個統一的方法處理和一個標準化的評價測試平臺。

引言

深度神經網絡的發展徹底改變了機器學習和人工智能領域。深度神經網絡在計算機視覺[1]、[2]、自然語言處理[3]、[4]、圖數據分析[5]、[6]等領域取得了良好的研究成果。這些事實促使我們開發深度學習方法，用于在跨學科領域的實際應用，如金融、生物學和農業[7]、[8]、[9]。然而，由于大多數深度模型是在沒有可解釋性的情況下開發的，所以它們被視為黑盒。如果沒有對預測背后的底層機制進行推理，深度模型就無法得到完全信任，這就阻止了它們在與公平性、隱私性和安全性有關的關鍵應用中使用。為了安全可靠地部署深度模型，有必要提供準確的預測和人類可理解的解釋，特別是為跨學科領域的用戶。這些事實要求發展解釋技術來解釋深度神經網絡。

深度模型的解釋技術通常研究深度模型預測背后的潛在關系機制。一些方法被提出來解釋圖像和文本數據的深度模型。這些方法可以提供與輸入相關的解釋，例如研究輸入特征的重要分數，或對深度模型的一般行為有較高的理解。例如，通過研究梯度或權重[10]，[11]，[18]，我們可以分析輸入特征和預測之間的靈敏度。現有的方法[12]，[13]，[19]映射隱藏特征圖到輸入空間和突出重要的輸入特征。此外，通過遮擋不同的輸入特征，我們可以觀察和監測預測的變化，以識別重要的特征[14]，[15]。與此同時，一些[10]、[16]研究側重于提供獨立于輸入的解釋，例如研究能夠最大化某類預測得分的輸入模式。進一步探究隱藏神經元的含義，理解[17]、[22]的整個預測過程。近年來對[23]、[24]、[25]、[26]等方法進行了較為系統的評價和分類。然而，這些研究只關注圖像和文本域的解釋方法，忽略了深度圖模型的可解釋性。

近年來，圖神經網絡(Graph Neural network, GNN)越來越受歡迎，因為許多真實世界的數據都以圖形的形式表示，如社交網絡、化學分子和金融數據。其中，節點分類[27]、[28]、[29]、圖分類[6]、[30]、鏈路預測[31]、[32]、[33]等與圖相關的任務得到了廣泛的研究。此外，許多高級的GNN操作被提出來提高性能，包括圖卷積[5]，[34]，[35]，圖注意力[36]，[37]，圖池化[38]，[39]，[40]。然而，與圖像和文本領域相比，圖模型的可解釋性研究較少，這是理解深度圖神經網絡的關鍵。近年來，人們提出了幾種解釋GNN預測的方法，如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。這些方法是從不同的角度發展起來的，提供了不同層次的解釋。此外，它仍然缺乏標準的數據集和度量來評估解釋結果。因此，需要對GNN解釋技術的方法和評價進行系統的綜述。

為此，本研究提供了對不同GNN解釋技術的系統研究。我們的目的是提供對不同方法的直觀理解和高層次的洞察，讓研究者選擇合適的探索方向。這項工作的貢獻總結如下:

本綜述提供了對深度圖模型的現有解釋技術的系統和全面的回顧。據我們所知，這是第一次也是唯一一次關于這一主題的綜述工作。

我們對現有的GNN解釋技術提出了一個新的分類方法。我們總結了每個類別的關鍵思想，并提供了深刻的分析。

我們詳細介紹了每種GNN解釋方法，包括其方法論、優缺點以及與其他方法的區別。

我們總結了常用的GNN解釋任務的數據集和評估指標。我們討論了它們的局限性，并推薦了幾個令人信服的度量標準。

通過將句子轉換為圖表，我們從文本領域構建了三個人類可理解的數據集。這些數據集不久將向公眾開放，并可直接用于GNN解釋任務。

GNN解釋性分類法

近年來，人們提出了幾種解釋深圖模型預測的方法。這些方法關注于圖模型的不同方面，并提供不同的視圖來理解這些模型。他們通常會回答幾個問題;其中一些是，哪個輸入邊更重要?哪個輸入節點更重要?哪個節點特性更重要?什么樣的圖形模式將最大化某個類的預測?為了更好地理解這些方法，我們為GNN提供了不同解釋技術的分類。我們分類法的結構如圖1所示。根據提供的解釋類型，不同的技術分為兩大類:實例級方法和模型級方法。

首先，實例級方法為每個輸入圖提供依賴于輸入的解釋。給出一個輸入圖，這些方法通過識別用于預測的重要輸入特征來解釋深度模型。根據獲得的重要度分數，我們將方法分為4個不同的分支:基于梯度/特征的方法[53]1，[50]，基于微擾的方法[42]，[53]0，[53]3，[52]，[53]，分解方法[53]2，[50]，[54]，[55]，以及代理方法[56]，[57]，[58]。具體來說，基于梯度/特征的方法使用梯度或特征值來表示不同輸入特征的重要性。此外，基于擾動的方法監測預測的變化與不同的輸入擾動，以研究輸入的重要性得分。分解方法首先將預測得分(如預測概率)分解到最后一隱藏層的神經元中。然后逐層反向傳播這些分數，直到輸入空間，并使用這些分解后的分數作為重要分數。與此同時，對于給定的輸入示例，基于代理的方法首先從給定示例的鄰居中采樣數據集。接下來，這些方法擬合一個簡單的和可解釋的模型，如決策樹，以采樣數據集。然后使用代理模型的解釋來解釋最初的預測。第二，模型級方法不考慮任何特定的輸入實例來解釋圖神經網絡。獨立于輸入的解釋是高層次的，解釋一般行為。與instance level方法相比，這個方向的研究仍然較少。現有的模型級方法只有基于圖生成的XGNN[41]。它生成圖形模式來最大化某個類的預測概率，并使用這些圖形模式來解釋該類。

總之，這兩類方法從不同的角度解釋了深度圖模型。實例級方法提供了特定于示例的解釋，而模型級方法提供了高層次的見解和對深度圖模型如何工作的一般理解。要驗證和信任深度圖模型，需要人工監督檢查解釋。對于實例級方法，需要更多的人工監督，因為專家需要探索不同輸入圖的解釋。對于模型級方法，由于解釋是高層次的，因此涉及的人力監督較少。此外，實例級方法的解釋基于真實的輸入實例，因此它們很容易理解。然而，對模型級方法的解釋可能不是人類能夠理解的，因為獲得的圖形模式甚至可能不存在于現實世界中。總之，這兩種方法可以結合起來更好地理解深度圖模型，因此有必要對兩者進行研究。