亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

來自MIT等最新《可解釋AI: 深度神經網絡內部結構解釋》綜述論文， (1)為現有的內在可解釋性方法提供一個全面的參考資源，(2)為持續的、以安全為重點的研究提供指導方向。

在過去的十年里，機器學習的規模和能力都有了巨大的增長，深度神經網絡(DNNs)正在越來越多地應用于廣泛的領域。然而，DNN的內部工作原理通常很難理解，這引起了人們對使用這些系統的安全性的擔憂，因為他們沒有嚴格了解它們的功能。在這項綜述中，我們回顧了解釋DNN內部成分的技術，我們稱之為內部可解釋方法。具體而言，我們回顧了解釋權重、神經元、子網和潛在表示的方法，重點關注這些技術如何與設計更安全、更值得信賴的AI系統的目標相關聯。我們還強調了可解釋性與模塊化、對抗魯棒性、持續學習、網絡壓縮和人類視覺系統研究之間的聯系。最后，我們討論了關鍵的挑戰，并討論了未來在人工智能安全可解釋性方面的工作，重點是診斷、基準測試和魯棒性。

//www.zhuanzhi.ai/paper/c6db46946cd96a10ab425120dacad09a

過去十年深度學習的一個顯著特征是規模和能力的急劇增長[124]，[228]，從2010年到2022年，機器學習系統的訓練計算增長了100億倍[227]。與此同時，深度神經網絡(DNNs)越來越多地用于安全、可預測的行為至關重要的環境中。如果繼續快速發展，自動化的寬領域智能有可能對社會產生高度影響[33]，[51]，[179]，[195]，[210]，[239]。考慮到這些發展，從業者能夠理解AI系統如何做出決策，特別是它們的失敗模式是至關重要的。人工智能系統最典型的評估標準是它們在特定任務測試集上的表現。這引起了關注，因為在測試集中表現良好的黑盒并不意味著學習到的解決方案就足夠了。例如，部署分布可能不同于測試分布，并且/或者任務目標的規范可能導致意外行為(例如[135]，[147])。即使用戶意識到不足之處，系統的黑盒特性也會使修復缺陷變得困難。因此，建立安全可靠的人工智能系統的一個重要步驟是擁有檢測和解決這些缺陷的技術。為此，擁有一套多樣的嚴格解釋AI系統的技術將是有價值的(見I-A)。

我們將可解釋性方法定義為可以用人類可以理解的術語描述系統行為的任何過程。這包含了DNN文獻中廣泛的技術，所以在本文中，我們特別關注對理解內部結構和表示有用的方法。我們稱之為內部可解釋方法。我們討論了這些方法的分類，提供了文獻綜述，討論了可解釋性和深度學習中的其他主題之間的關鍵聯系，并總結了繼續工作的方向。我們的中心目標有兩方面: (1)為現有的內在可解釋性方法提供一個全面的參考資源，(2)為持續的、以安全為重點的研究提供指導方向。

可解釋性技術的一個主要動機是理解模型的潛在問題。因此，可解釋性方法將與構建更安全、更值得信賴的人工智能系統高度相關。

可解釋性技術應通過其產生新穎、有效和可操作見解的能力來評估。這可能是困難的，而且在文獻中評估常常做得很差。需要嚴格的測試和基準來評估解釋，應該包括重新發現DNN的已知缺陷。

可解釋性、模塊化、對抗魯棒性、持續學習、網絡壓縮和與人類視覺系統的相似性之間有許多豐富的聯系。

未來工作的引人注目的方向包括使用人類輸入的可擴展方法、逆向工程系統、檢測潛在知識、基準測試和研究技術之間的交互。

可解釋性對更安全人工智能的重要性

對于AI系統來說，它們需要正確的目標，并且需要有效地優化這些目標。主要是第二個需求，可解釋性技術為構建更值得信賴的AI提供了優勢[115]，[180]。我們在此概述主要動機。

展示失敗: 揭示為什么一個模型不能產生正確的輸出，讓研究人員能夠洞察失敗是什么樣子的，以及如何檢測它們。這些信息可以幫助研究人員避免這些問題，并幫助監管機構為部署的系統建立適當的規則。

修復bug:通過理解故障和/或生成利用它的例子，可以重新設計、微調和/或對抗性訓練網絡，使其更好地與用戶的目標保持一致。

提高基本理解: 通過向用戶提供更多關于DNN如何學習的知識，可解釋性技術可以開發改進的模型或更好地預測人工智能的進展。

確定責任:具有描述失敗的能力對于在誤用或部署失敗的情況下確定責任是至關重要的。

“顯微鏡式”AI: 嚴格理解AI系統如何完成任務可以提供額外的領域知識。這一目標被稱為“顯微鏡”AI[115]，它可以允許對更容易理解的模型進行逆向工程。這對于研究在某些領域具有超人性能的系統尤其有價值。

對于實現上述目標的可解釋性技術，它們應該滿足某些需求。

準確性-驗證，而不是說服: 可解釋性技術應該給出模型正在執行的計算的正確圖像，而不僅僅是看似合理地這樣做。給用戶錯誤的安全感是非常有害的。一個常見的例子是輸入歸因方法，它經常對模型[4]的決策提供誤導性的解釋[64]。此外，解釋應該伴隨著不確定性估計。

人類的可理解性: 另一方面，由可解釋技術產生的解釋應該易于人類理解。從某種意義上說，對模型最準確的“解釋”就是返回它的參數，但這對人類來說幾乎總是難以理解的。因此，準確性應該與可理解性相平衡。

深度: 內部可解釋性技術的“深度”指的是它解釋復雜子流程的能力。很可能DNN中的某些特征或計算比其他特征更容易被人類自然理解，這就增加了對模型理解過于簡單的可能性。解釋不應該偏向于模型中容易解釋的部分。

泛化性: 解釋應該能夠概括到不同的例子。這可以讓他們幫助診斷發生在訓練/驗證分發之外的故障。

競爭力 :可解釋性技術不應導致競爭力的顯著下降，如性能下降、計算需求增加或難以在現代深度學習框架中使用。競爭缺陷也可能導致“價值侵蝕”，即不采用更安全的人工智能實踐，而采用更具競爭力的模型。

產生可操作的見解:可解釋性方法的最終目標應該是產生有用的見解。關鍵是解釋可以用來對模型做出和驗證可測試的預測。有兩種方法可以做到這一點:使用解釋來指導新的對手的設計，或者手動微調模型來誘導可預測的變化。這與準確性密切相關;可解釋性方法的結果應該能夠明確地洞察模型的行為。在第VI節中，我們討論了可操作的見解的重要性，以及現有的工作如何典型地無法證明它們。

我們的重點是DNN的內部可解釋性方法。值得注意的是，模型無關技術、黑箱技術、輸入歸因方法、神經符號方法和“優秀的老式AI”超出了本次綜述的范圍。這并不是說它們在構建安全人工智能方面的價值低于我們所關注的方法——我們相信多樣化的技術是至關重要的。然而，我們專注于內部可解釋性方法(1)，因為該綜述的可跟蹤范圍，(2) 因為它們對某些目標(如理解如何修改模型、反向工程解決方案，以及檢測通常不會出現在系統部署行為中的潛在知識)有很好的裝備。也請參閱之前對可解釋性工作的一些調查和評論，它們與我們的[3]，[58]，[60]，[68]，[95]，[118]，[136]，[173]-[175]，[208]，[215]，[218]，[219]有重疊。然而，這項綜述的不同之處在于其對內部可解釋性、人工智能安全以及可解釋性和其他幾個研究范式之間的交叉的關注。參見我們在第VI節的討論。在接下來的章節中，我們根據DNN的計算圖解釋的部分來組織我們對技術的討論: 權重、神經元、電路或表示。圖1描述了內部方法是如何這樣組織的。除了這種分解，可解釋性技術還可以按照它們是在模型訓練期間使用還是在模型訓練之后使用來劃分。內在可解釋性技術包括訓練模型，使其更容易學習或具有自然的解釋。Post hoc技術的目的是在模型經過訓練后對其進行解釋。我們在分段層次上根據方法是內在的還是事后的來劃分方法。這兩種方法并不相互排斥。

來自悉尼科技大學最新《可解釋圖神經網絡研究》綜述，重點研究可解釋圖神經網絡，并基于可解釋方法對其進行分類。

圖神經網絡(GNNs)已經證明了對圖數據的預測性能的顯著提高。與此同時，這些模型做出的預測往往難以解釋。在這方面，已經有很多人從GNNExplainer、XGNN和PGExplainer等角度來解釋這些模型的預測機制。雖然這些工作提供了解釋GNN的系統框架，但對可解釋GNN的全面綜述還沒有。在這項綜述中**，我們提出了一個可解釋GNN的全面綜述。重點研究可解釋圖神經網絡，并基于可解釋方法對其進行分類**。在此基礎上，我們進一步給出了解釋GNN的常用性能指標，并指出了未來的研究方向。 圖G可以看作是一組節點Ni (i = 1,2，···，n)和邊Ej (j = 1,2，···，m)組成的某種關系的表示，它是一種理想的數據結構，可用于對各種現實世界的數據集(如分子)建模。隨著深度學習的復興，圖神經網絡(GNNs)已經成為對圖數據建模的強大工具，并在推薦、化學、醫學等許多領域和應用中取得了令人印象深刻的性能[27,7,24]。然而，將圖結構和特征信息結合在一起，產生了復雜的非線性模型，增加了理解其工作機制和預測的難度。另一方面，一個可解釋的模型是受歡迎的，甚至是必要的，特別是在實際場景中(例如，醫療診斷)，因為解釋可以在多種方面使用戶受益，例如提高模型的公平性/安全性，它還可以增強對模型建議的信任。因此，可解釋GNN(eXplainable gnn, XGNN)近年來得到了相當多的研究關注，可分為兩類:1)采用可解釋AI (eXplainable- AI, XAI)方法直接解釋GNN;2)基于圖的內在結構和特征制定策略，不涉及XAI方法。 雖然近年來對GNN可解釋性的研究越來越多，但對其進行系統的討論卻很少。我們認為，全面分析XGNN最近的這些工作，將有助于更好地理解這些方法，激發新的想法，并為開發新的可解釋的方法提供見解。因此，我們對目前研究GNN的可解釋方法進行了分析和總結。特別地，我們將它們分為兩組——第2節中的基于XAI的XGNN和第3節中的非基于XAI的XGNN。然后，我們將在第4節中介紹用于衡量XGNN可解釋性的指標。第5節討論了XGNN的常見問題，最后在第6節指出了今后的研究方向。 我們的貢獻可以概括為:

• 我們系統地分析了最新的XGNNs方法，并將其分為兩組: 基于XAI的XGNNs，利用現有的XAI方法來解釋GNN;基于非XAI的XGNNs，它脫離了當前的XAI方法，同時試圖通過利用圖的固有結構和特性來解釋GNN。

• 我們提出了XGNNs的評估指標，可以用來衡量XGNNs方法的性能，因為評估指標的知識對于教育XGNNs的最終用戶/從業者是必要的。

• 討論了XGNNs研究中經常出現的問題和可能的解決方案，最后指出了進一步提高XGNNs可解釋性的幾個潛在研究方向。

基于XAI的可解釋圖神經網絡

通過分析XGNNs的文獻，我們對可解釋GNN的方法進行了二元分類，分為基于XAI的方法和基于非XAI的方法兩類。XGNN的分類如圖1所示。我們首先簡要介紹XAI，然后介紹XGNN，因為它將有助于理解XGNN基于XAI的可解釋技術。

可解釋人工智能

在過去的幾年里，XAI已經成為一個熱門的研究課題，在這一領域的研究越來越多。多項研究綜述了它的歷史、分類、評價、挑戰和機遇，主要集中在深度神經網絡(DNNs)[1][4][6][20][8]的解釋。XAI技術可以按照[6]中討論的三種分類: (i)可解釋范圍的差異，(ii) 方法的差異，和 (iii) ML模型使用的差異(見圖2)。

根據ML模型使用的不同，我們還可以將XAI分為模型特定的XAI和模型無關的XAI。特定于模型的XAI是指專注于單個或一組特定AI模型的可解釋性的任何方法;而模型無關的XAI并不強調底層的AI模型。

模型無關的XAI可以用于評估大多數AI模型，通常在訓練后應用，因此它們通常被視為事后方法。模型無關的XAI依賴于分析輸入和輸出特征對，并且無法訪問AI模型的具體內部工作方式(例如，權重或結構信息)，否則將不可能將其與黑箱模型[21]解耦。通過分析模型特定型XAI和模型無關XAI的特點可以看出，模型特定型XAI方法對特定參數的依賴程度較高，而模型架構的任何變化都可能導致解釋方法本身或對應的可解釋算法發生顯著變化。因此，特定于模型的XAI方法無法擴展以解釋GNN。然而，一些模型無關的XAI方法可以被擴展來解釋GNN。

用XAI方法解釋圖神經網絡

卷積神經網絡(CNNs)通過將卷積運算擴展到圖和一般的非歐幾里得空間，可用于圖結構數據。將神經網絡擴展到非歐幾里得空間視為圖卷積神經網絡(GCNNs)。因此，我們可以將最初為CNN設計的常見解釋方法，擴展到GCNN。我們發現XAI的多種方法都可以很容易地推廣到GNN，如LRP [2]， LIME [16]， Grad-CAM[18]。表1總結了這些擴展。

分層關聯傳播(LRP)假設分類器可以分解為多個計算層，并將頂層的DNNs輸出傳播到輸入層。在每一層，應用一個傳播規則[2]。對目標輸出節點的貢獻反向傳播到輸入特征，形成對該節點貢獻的特征映射。因此，LRP在可視化輸入特征對模型預測的貢獻方面非常有用，特別是對于基于核的分類器和多層神經網絡。受此激勵，研究人員[22]在GNN中使用LRP來獲得GNN模型黑箱的洞見。Schnake等人[17]提出了基于GNN-LRP的高階泰勒展開法。GNN- LRP生成包含GNN模型和輸入圖之間復雜嵌套交互的詳細解釋。此外，Cho等人[5]使用LRP對個體預測進行了事后解釋。LRP通過網絡反向傳播計算每個神經元的相關性，從預測的輸出水平到輸入水平，相關性表示給定神經元對預測的定量貢獻。此外，Baldassarre等[3]也將LRP應用于圖模型。LRP方法通過將輸出預測分解為輸入的組合來計算顯著性映射。

局部可解釋模型無關解釋(LIME)是XAI中另一種流行的方法。LIME從黑盒模型中提取單個預測實例，并生成一個更簡單、可解釋的模型，如線性模型，以近似其決策特征。然后可以解釋這個簡單的模型，并使用它來解釋原始的黑盒預測[16]。許多其他的論文已經改進和擴展了LIME。Zhao等人[35]引入了BayLIME，將LIME與貝葉斯相結合。Zafar等人[33]使用了多個生成解釋之間的Jaccard相似性，并提出了一個確定性版本的LIME。此外，LIME也被廣泛應用于GNN中來解釋GNN模型。Huang等[9]提出了GraphLIME，一種使用Hilbert-Schmidt獨立準則(HSIC) Lasso的圖的局部可解釋模型解釋，這是一種非線性特征選擇方法來實現局部可解釋。它們的框架是通用的GNN模型解釋框架，該框架在被解釋節點的子圖中局部學習非線性可解釋模型。

梯度加權類激活映射(Gradient-weighted Class Activation Mapping, Grad-CAM)通過放松倒數第二層必須是卷積[18]的架構限制來改進CAM。通過將目標概念的梯度流到最終的卷積層，生成粗略的定位圖，以突出輸入圖像中的重要區域。CAM已廣泛應用于各種卷積神經網絡模型族[18]。Pasa[14]直接將其作為卷積神經網絡解釋的可視化工具。Vinogradova等人[25]進一步擴展了Grad-CAM，并將其應用于局部生成熱圖，顯示語義分割中單個像素的相關性。Grad-CAM也可以擴展到GNN。Pope等人[15]描述了將CNN可解釋方法擴展到GCNNs。他們為GCNNs的決策引入了解釋法(Grad-CAM)。Grad-CAM能夠生成關于網絡不同層的熱圖。

基于非XAI的可解釋圖神經網絡

大多數基于XAI的XGNN方法不需要知道GNN模型的內部參數，用于解釋的XAI方法也不是專門為CNN模型設計的。因此，當人們需要進一步探索GNN模型的結構時，尤其是對于大型和復雜的模型來說，這些方法可能無法給出令人滿意的解釋，這并不奇怪。為了緩解這一問題，近年來，研究人員開始考慮圖結構的特點，開發適合GNN模型的可解釋方法。有三種不同的方法來實現這個目標:(1)通過找到重要的子圖來解釋GNN模型;(2)通過生成新的圖來解釋GNN模型，而生成的圖應該保持最多的信息特征(如節點、節點特征和邊);(3)通過添加中間層次解釋GNN模型。

通過子圖可解釋的GNN

通過子圖可解釋的GNN是一組使用子圖添加GNN模型可解釋性的方法，它通常專注于局部特性，然后只產生最重要的子圖

通過圖生成可解釋的GNN

與關注子圖不同，通過圖生成解釋GNN需要考慮整個圖結構(或全局結構)。它考慮了圖的整體結構。然后生成一個新的圖，其中只包含GNN進行決策所需的結構。

可通過中間層解釋GNN

通過中間層注入解釋GNN可以直接將知識/信息作為因子圖編碼到模型體系結構中。如Ma等人[12]建立的因子圖神經網絡(Factor Graph Neural Network, FGNN)模型，將基因本體等生物知識直接編碼到模型架構中。因子圖神經網絡模型中的每個節點對應一些生物實體，如基因或基因本體術語，使模型具有透明性和可解釋性。

可解釋技術的評估指標

由于解釋者被用來解釋為什么做出了某個決定，而不是描述整個黑盒，所以解釋者本身的保真度存在不確定性。因此，使用正確的度量來評估可解釋性技術的正確性和完整性是至關重要的。此外，XAI[36]的一些評估指標也可以應用到XGNNs 中。本節簡要介紹xgnn解釋的常用評估指標。我們特別關注保真度、稀疏性、準確性、魯棒性和對比度。

討論

本綜述的重點是為可解釋GNN提供一個清晰的分類。通過對可解釋GNN相關文獻的分析，我們總結出以下問題。

如何解釋圖神經網絡? 主要有兩種觀點。

GNN可以被視為一個黑箱，并找到一種獨立的方式來解釋輸入和輸出之間的聯系，如GraphLIME或RelEx。

另一種方法試圖解釋GNN的細節，利用節點和邊本身的信息。

如何將XAI方法擴展到神經網絡圖?有一些研究使用XAI方法來解釋gnn(見第2.2節)。XAI方法包括Saliency Maps、LRP、LIME、Guided BP、Grad-CAM等，具有較好的性能，可以推廣用于解釋GNN。然而，這些方法并不是專門為gnn設計的，需要了解模型的內部參數。

如何找到影響圖神經網絡預測的最重要的子圖結構?正如我們在第3.2節中提到的，有幾種方法可以通過聚焦子圖結構來解釋GNN。例如，GNNExplainer識別出一個緊湊的子圖結構和一個小子集的節點特征，這可能在GNN的預測中發揮關鍵作用。此外，PGMExplainer和GISST通過生成與任何基于圖的任務相關的重要子圖和節點特征子集來生成解釋。然而，這些方法只關注局部信息的子圖結構，而沒有考慮任何全局特征。

如何從全局角度解釋圖神經網絡?相對于通過局部圖結構獲得的分段信息，全局結構往往可以提供更有趣、更完整的信息。例如，PGExplainer專注于解釋完整的圖結構，并提供了GNN所做預測的全局理解。它可以在一組實例上集體解釋GNN的預測，并很容易將學習到的解釋器模型推廣到其他實例。

現有的GNN解釋方法側重于解釋圖的節點或邊的重要性，但忽略了圖子結構。事實上子結構更直觀且容易被人理解。論文提出了一種通過識別重要的子圖來解釋GNNs 的方法，即 Subgraph X。給定一個經過訓練的GNN模型和一個輸入圖，Subgraph X 通過蒙特卡洛樹搜索有效地探索不同的子圖來解釋其預測。為了使樹搜索更加有效，論文提出使用 Shapley 值作為子圖重要性的衡量標準，這也可以捕捉到不同子圖之間的相互作用。為了加快計算速度，論文提出了高效的近似方案來計算圖數據的 Shapley 值。該論文是通過識別子圖來解釋 GNN 的第一次嘗試，實驗結果表明，Subgraph X 明顯改善了解釋結果，同時將計算量也相對合理。

先說說為啥要關注圖神經網絡的可解釋性？

現有的 GNN 模型大多被視為黑盒子，其預測結果缺乏可解釋性。如果不理解和推理預測背后的關系，這些模型就不能被人們理解信任，阻礙了它們在關鍵領域的應用，因此研究深度圖模型的可解釋性十分必要。

本文的提出的解釋方法的獨特性在于？

很多文獻在研究圖像和文本上的深度模型的解釋技術方面做了工作，這些方法可以通過不同的策略解釋網絡行為和特定輸入的預測結果。然而，GNN 的可解釋性仍未得到充分的探索。與圖像和文本不同，圖數據不是網格狀的數據，它包含重要的結構信息。因此，圖像和文本領域的方法不能直接應用。目前存在的GNN 解釋方法，如 GNNExplainer、PGExplainer 和 PGM-Explainer，但它都是關注節點、邊或節點特征層面的可解釋性，沒有進行子圖層面的可解釋性研究。本文認為子圖層面的解釋更加直觀和有用，因為子圖是復雜圖的簡單構件，與圖的功能高度相關。

圖是連接數據網絡結構的一種常用表示形式。圖數據可以在廣泛的應用領域中找到，如社會系統、生態系統、生物網絡、知識圖譜和信息系統。隨著人工智能技術的不斷滲透發展，圖學習(即對圖進行機器學習)越來越受到研究者和實踐者的關注。圖學習對許多任務都非常有效，如分類，鏈接預測和匹配。圖學習方法通常是利用機器學習算法提取圖的相關特征。在這個綜述中，我們提出了一個關于圖學習最全面的概述。特別關注四類現有的圖學習方法，包括圖信號處理、矩陣分解、隨機游走和深度學習。分別回顧了這些類別下的主要模型和算法。我們研究了諸如文本、圖像、科學、知識圖譜和組合優化等領域的圖學習應用。此外，我們還討論了該領域幾個有前景的研究方向。

真實的智能系統通常依賴于機器學習算法處理各種類型的數據。盡管圖數據無處不在，但由于其固有的復雜性，給機器學習帶來了前所未有的挑戰。與文本、音頻和圖像不同，圖數據嵌入在一個不規則的領域，使得現有機器學習算法的一些基本操作不適用。許多圖學習模型和算法已經被開發出來解決這些挑戰。本文系統地綜述了目前最先進的圖學習方法及其潛在的應用。這篇論文有多種用途。首先，它作為不同領域(如社會計算、信息檢索、計算機視覺、生物信息學、經濟學和電子商務)的研究人員和從業者提供圖學習的快速參考。其次，它提供了對該領域的開放研究領域的見解。第三，它的目的是激發新的研究思路和更多的興趣在圖學習。

圖，又稱網絡，可以從現實世界中豐富的實體之間的各種關系中提取。一些常見的圖表已經被廣泛用于表達不同的關系，如社會網絡、生物網絡、專利網絡、交通網絡、引文網絡和通信網絡[1]-[3]。圖通常由兩個集合定義，即頂點集和邊集。頂點表示圖形中的實體，而邊表示這些實體之間的關系。由于圖學習在數據挖掘、知識發現等領域的廣泛應用，引起了人們的廣泛關注。由于圖利用了頂點[4]，[5]之間的本質和相關關系，在捕獲復雜關系方面，圖學習方法變得越來越流行。例如，在微博網絡中，通過檢測信息級聯，可以跟蹤謠言的傳播軌跡。在生物網絡中，通過推測蛋白質的相互作用可以發現治療疑難疾病的新方法。在交通網絡中，通過分析不同時間戳[6]的共現現象，可以預測人類的移動模式。對這些網絡的有效分析很大程度上取決于網絡的表示方式。

一般來說，圖學習是指對圖進行機器學習。圖學習方法將圖的特征映射到嵌入空間中具有相同維數的特征向量。圖學習模型或算法直接將圖數據轉換為圖學習體系結構的輸出，而不將圖投影到低維空間。由于深度學習技術可以將圖數據編碼并表示為向量，所以大多數圖學習方法都是基于或從深度學習技術推廣而來的。圖學習的輸出向量在連續空間中。圖學習的目標是提取圖的期望特征。因此，圖的表示可以很容易地用于下游任務，如節點分類和鏈接預測，而無需顯式的嵌入過程。因此，圖學習是一種更強大、更有意義的圖分析技術。

在這篇綜述論文中，我們試圖以全面的方式檢驗圖機器學習方法。如圖1所示，我們關注現有以下四類方法:基于圖信號處理(GSP)的方法、基于矩陣分解的方法、基于隨機游走的方法和基于深度學習的方法。大致來說，GSP處理圖的采樣和恢復，并從數據中學習拓撲結構。矩陣分解可分為圖拉普拉斯矩陣分解和頂點接近矩陣分解。基于隨機游動的方法包括基于結構的隨機游動、基于結構和節點信息的隨機游動、異構網絡中的隨機游動和時變網絡中的隨機游動。基于深度學習的方法包括圖卷積網絡、圖注意力網絡、圖自編碼器、圖生成網絡和圖時空網絡。基本上，這些方法/技術的模型架構是不同的。本文對目前最先進的圖學習技術進行了廣泛的回顧。

傳統上，研究人員采用鄰接矩陣來表示一個圖，它只能捕捉相鄰兩個頂點之間的關系。然而，許多復雜和不規則的結構不能被這種簡單的表示捕獲。當我們分析大規模網絡時，傳統的方法在計算上是昂貴的，并且很難在現實應用中實現。因此，有效地表示這些網絡是解決[4]的首要問題。近年來提出的網絡表示學習(NRL)可以學習低維表示[7]-[9]的網絡頂點潛在特征。當新的表示被學習后，可以使用以前的機器學習方法來分析圖數據，并發現數據中隱藏的關系。

當復雜網絡被嵌入到一個潛在的、低維的空間中時，結構信息和頂點屬性可以被保留[4]。因此，網絡的頂點可以用低維向量表示。在以往的機器學習方法中，這些向量可以看作是輸入的特征。圖學習方法為新的表示空間中的圖分析鋪平了道路，許多圖分析任務，如鏈接預測、推薦和分類，都可以有效地解決[10]，[11]。網絡的圖形化表現方式揭示了社會生活的各個方面，如交流模式、社區結構和信息擴散[12]，[13]。根據頂點、邊和子圖的屬性，可以將圖學習任務分為基于頂點、基于邊和基于子圖三類。圖中頂點之間的關系可以用于分類、風險識別、聚類和社區檢測[14]。通過判斷圖中兩個頂點之間的邊的存在，我們可以進行推薦和知識推理。基于子圖[15]的分類，該圖可用于聚合物分類、三維可視化分類等。對于GSP，設計合適的圖形采樣方法以保持原始圖形的特征，從而有效地恢復原始圖形[16]具有重要意義。在存在不完整數據[17]的情況下，可以使用圖恢復方法構造原始圖。然后利用圖學習從圖數據中學習拓撲結構。綜上所述，利用圖學習可以解決傳統的圖分析方法[18]難以解決的以下挑戰。

深度學習方法在許多人工智能任務中實現了不斷提高的性能。深度模型的一個主要限制是它們不具有可解釋性。這種限制可以通過開發事后技術來解釋預測來規避，從而產生可解釋的領域。近年來，深度模型在圖像和文本上的可解釋性研究取得了顯著進展。在圖數據領域，圖神經網絡(GNNs)及其可解釋性正經歷著快速的發展。然而，對GNN解釋方法并沒有統一的處理方法，也沒有一個標準的評價基準和試驗平臺。在這個綜述中，我們提供了一個統一的分類的視角，目前的GNN解釋方法。我們對這一問題的統一和分類處理，闡明了現有方法的共性和差異，并為進一步的方法論發展奠定了基礎。為了方便評估，我們為GNN的可解釋性生成了一組基準圖數據集。我們總結了當前的數據集和評價GNN可解釋性的指標。總之，這項工作為GNN的解釋提供了一個統一的方法處理和一個標準化的評價測試平臺。

引言

深度神經網絡的發展徹底改變了機器學習和人工智能領域。深度神經網絡在計算機視覺[1]、[2]、自然語言處理[3]、[4]、圖數據分析[5]、[6]等領域取得了良好的研究成果。這些事實促使我們開發深度學習方法，用于在跨學科領域的實際應用，如金融、生物學和農業[7]、[8]、[9]。然而，由于大多數深度模型是在沒有可解釋性的情況下開發的，所以它們被視為黑盒。如果沒有對預測背后的底層機制進行推理，深度模型就無法得到完全信任，這就阻止了它們在與公平性、隱私性和安全性有關的關鍵應用中使用。為了安全可靠地部署深度模型，有必要提供準確的預測和人類可理解的解釋，特別是為跨學科領域的用戶。這些事實要求發展解釋技術來解釋深度神經網絡。

深度模型的解釋技術通常研究深度模型預測背后的潛在關系機制。一些方法被提出來解釋圖像和文本數據的深度模型。這些方法可以提供與輸入相關的解釋，例如研究輸入特征的重要分數，或對深度模型的一般行為有較高的理解。例如，通過研究梯度或權重[10]，[11]，[18]，我們可以分析輸入特征和預測之間的靈敏度。現有的方法[12]，[13]，[19]映射隱藏特征圖到輸入空間和突出重要的輸入特征。此外，通過遮擋不同的輸入特征，我們可以觀察和監測預測的變化，以識別重要的特征[14]，[15]。與此同時，一些[10]、[16]研究側重于提供獨立于輸入的解釋，例如研究能夠最大化某類預測得分的輸入模式。進一步探究隱藏神經元的含義，理解[17]、[22]的整個預測過程。近年來對[23]、[24]、[25]、[26]等方法進行了較為系統的評價和分類。然而，這些研究只關注圖像和文本域的解釋方法，忽略了深度圖模型的可解釋性。

近年來，圖神經網絡(Graph Neural network, GNN)越來越受歡迎，因為許多真實世界的數據都以圖形的形式表示，如社交網絡、化學分子和金融數據。其中，節點分類[27]、[28]、[29]、圖分類[6]、[30]、鏈路預測[31]、[32]、[33]等與圖相關的任務得到了廣泛的研究。此外，許多高級的GNN操作被提出來提高性能，包括圖卷積[5]，[34]，[35]，圖注意力[36]，[37]，圖池化[38]，[39]，[40]。然而，與圖像和文本領域相比，圖模型的可解釋性研究較少，這是理解深度圖神經網絡的關鍵。近年來，人們提出了幾種解釋GNN預測的方法，如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。這些方法是從不同的角度發展起來的，提供了不同層次的解釋。此外，它仍然缺乏標準的數據集和度量來評估解釋結果。因此，需要對GNN解釋技術的方法和評價進行系統的綜述。

為此，本研究提供了對不同GNN解釋技術的系統研究。我們的目的是提供對不同方法的直觀理解和高層次的洞察，讓研究者選擇合適的探索方向。這項工作的貢獻總結如下:

本綜述提供了對深度圖模型的現有解釋技術的系統和全面的回顧。據我們所知，這是第一次也是唯一一次關于這一主題的綜述工作。

我們對現有的GNN解釋技術提出了一個新的分類方法。我們總結了每個類別的關鍵思想，并提供了深刻的分析。

我們詳細介紹了每種GNN解釋方法，包括其方法論、優缺點以及與其他方法的區別。

我們總結了常用的GNN解釋任務的數據集和評估指標。我們討論了它們的局限性，并推薦了幾個令人信服的度量標準。

通過將句子轉換為圖表，我們從文本領域構建了三個人類可理解的數據集。這些數據集不久將向公眾開放，并可直接用于GNN解釋任務。

GNN解釋性分類法

近年來，人們提出了幾種解釋深圖模型預測的方法。這些方法關注于圖模型的不同方面，并提供不同的視圖來理解這些模型。他們通常會回答幾個問題;其中一些是，哪個輸入邊更重要?哪個輸入節點更重要?哪個節點特性更重要?什么樣的圖形模式將最大化某個類的預測?為了更好地理解這些方法，我們為GNN提供了不同解釋技術的分類。我們分類法的結構如圖1所示。根據提供的解釋類型，不同的技術分為兩大類:實例級方法和模型級方法。

首先，實例級方法為每個輸入圖提供依賴于輸入的解釋。給出一個輸入圖，這些方法通過識別用于預測的重要輸入特征來解釋深度模型。根據獲得的重要度分數，我們將方法分為4個不同的分支:基于梯度/特征的方法[53]1，[50]，基于微擾的方法[42]，[53]0，[53]3，[52]，[53]，分解方法[53]2，[50]，[54]，[55]，以及代理方法[56]，[57]，[58]。具體來說，基于梯度/特征的方法使用梯度或特征值來表示不同輸入特征的重要性。此外，基于擾動的方法監測預測的變化與不同的輸入擾動，以研究輸入的重要性得分。分解方法首先將預測得分(如預測概率)分解到最后一隱藏層的神經元中。然后逐層反向傳播這些分數，直到輸入空間，并使用這些分解后的分數作為重要分數。與此同時，對于給定的輸入示例，基于代理的方法首先從給定示例的鄰居中采樣數據集。接下來，這些方法擬合一個簡單的和可解釋的模型，如決策樹，以采樣數據集。然后使用代理模型的解釋來解釋最初的預測。第二，模型級方法不考慮任何特定的輸入實例來解釋圖神經網絡。獨立于輸入的解釋是高層次的，解釋一般行為。與instance level方法相比，這個方向的研究仍然較少。現有的模型級方法只有基于圖生成的XGNN[41]。它生成圖形模式來最大化某個類的預測概率，并使用這些圖形模式來解釋該類。

總之，這兩類方法從不同的角度解釋了深度圖模型。實例級方法提供了特定于示例的解釋，而模型級方法提供了高層次的見解和對深度圖模型如何工作的一般理解。要驗證和信任深度圖模型，需要人工監督檢查解釋。對于實例級方法，需要更多的人工監督，因為專家需要探索不同輸入圖的解釋。對于模型級方法，由于解釋是高層次的，因此涉及的人力監督較少。此外，實例級方法的解釋基于真實的輸入實例，因此它們很容易理解。然而，對模型級方法的解釋可能不是人類能夠理解的，因為獲得的圖形模式甚至可能不存在于現實世界中。總之，這兩種方法可以結合起來更好地理解深度圖模型，因此有必要對兩者進行研究。

機器學習在許多部署的決策系統中發揮著作用，其方式通常是人類利益相關者難以理解或不可能理解的。以一種人類可以理解的方式解釋機器學習模型的輸入和輸出之間的關系，對于開發可信的基于機器學習的系統是至關重要的。一個新興的研究機構試圖定義機器學習的目標和解釋方法。在本文中，我們試圖對反事實解釋的研究進行回顧和分類，這是一種特殊類型的解釋，它提供了在模型輸入以特定方式改變時可能發生的事情之間的聯系。機器學習中反事實可解釋性的現代方法與許多國家的既定法律原則相聯系，這使它們吸引了金融和醫療等高影響力領域的實地系統。因此，我們設計了一個具有反事實解釋算法理想性質的準則，并對目前提出的所有反事實解釋算法進行了綜合評價。我們的標題便于比較和理解不同方法的優缺點，并介紹了該領域的主要研究主題。我們也指出了在反事實解釋空間的差距和討論了有前途的研究方向。

機器學習作為一種在許多領域實現大規模自動化的有效工具，正日益被人們所接受。算法能夠從數據中學習，以發現模式并支持決策，而不是手工設計的規則。這些決定可以并確實直接或間接地影響人類;備受關注的案例包括信貸貸款[99]、人才資源[97]、假釋[102]和醫療[46]的申請。在機器學習社區中，新生的公平、責任、透明度和倫理(命運)已經成為一個多學科的研究人員和行業從業人員的團體，他們感興趣的是開發技術來檢測機器學習模型中的偏見，開發算法來抵消這種偏見，為機器決策生成人類可理解的解釋，讓組織為不公平的決策負責，等等。

對于機器決策，人類可以理解的解釋在幾個方面都有優勢。例如，關注一個申請貸款的申請人的用例，好處包括:

• 對于生活受到該決定影響的申請人來說，解釋是有益的。例如，它幫助申請人理解他們的哪些因素是做出決定的關鍵因素。

• 此外，如果申請人覺得受到了不公平待遇，例如，如果一個人的種族在決定結果時至關重要，它還可以幫助申請人對決定提出質疑。這對于組織檢查其算法中的偏見也很有用。

• 在某些情況下，解釋為申請人提供了反饋，他們可以根據這些反饋采取行動，在未來的時間內獲得預期的結果。

• 解釋可以幫助機器學習模型開發人員識別、檢測和修復錯誤和其他性能問題。

• 解釋有助于遵守與機器生產決策相關的法律，如GDPR[10]。

機器學習中的可解釋性大體上是指使用固有的可解釋的透明模型或為不透明模型生成事后解釋。前者的例子包括線性/邏輯回歸、決策樹、規則集等。后者的例子包括隨機森林、支持向量機(SVMs)和神經網絡。

事后解釋方法既可以是模型特定的，也可以是模型不可知的。特征重要性解釋和模型簡化是兩種廣泛的特定于模型的方法。與模型無關的方法可以分為視覺解釋、局部解釋、特性重要性和模型簡化。

特征重要性(Feature importance)是指對模型的整體精度或某個特定決策最有影響的特征，例如SHAP[80]、QII[27]。模型簡化找到了一個可解釋的模型，該模型緊致地模仿了不透明模型。依存圖是一種常用的直觀解釋，如部分依存圖[51]、累積局部效應圖[14]、個體條件期望圖[53]。他們將模型預測的變化繪制成一個特征，或者多個特征被改變。局部解釋不同于其他解釋方法，因為它們只解釋一個預測。局部解釋可以進一步分為近似解釋和基于實例的解釋。近似方法在模型預測需要解釋的數據點附近抽取新的數據點(以下稱為explainee數據點)，然后擬合線性模型(如LIME[92])或從中提取規則集(如錨[93])。基于實例的方法尋求在被解釋數據點附近找到數據點。它們要么以與被解釋數據點具有相同預測的數據點的形式提供解釋，要么以預測與被解釋數據點不同的數據點的形式提供解釋。請注意，后一種數據點仍然接近于被解釋的數據點，被稱為“反事實解釋”。

回想一下申請貸款的申請人的用例。對于貸款請求被拒絕的個人，反事實的解釋為他們提供反饋，幫助他們改變自己的特征，以過渡到決策邊界的理想一面，即獲得貸款。這樣的反饋被稱為可執行的。與其他幾種解釋技術不同，反事實解釋不能明確回答決策中的“為什么”部分;相反，他們提供建議以達到預期的結果。反事實解釋也適用于黑箱模型(只有模型的預測功能是可訪問的)，因此不限制模型的復雜性，也不要求模型披露。它們也不一定能近似底層模型，從而產生準確的反饋。由于反事實解釋具有直覺性，因此也符合法律框架的規定(見附錄C)。

在這項工作中，我們收集、審查和分類了最近的39篇論文，提出了算法，以產生機器學習模型的反事實解釋。這些方法大多集中在表格或基于圖像的數據集上。我們在附錄b中描述了我們為這項調查收集論文的方法。我們描述了這個領域最近的研究主題，并將收集的論文按照有效的反事實解釋的固定需求進行分類(見表1)。

人工智能(AI)為改善私人和公共生活提供了很多機會，以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件，目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而，這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策，以便我們能夠信任它們?在這個報告中，我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中，可以特別理解本報告的目的。然而，隨著方法的日益普及和復雜性，業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地，數據科學從業者通常不知道來自學術文獻的方法，或者可能很難理解不同方法之間的差異，所以最終使用行業標準，比如SHAP。在這里，我們進行了一項調查，以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域，并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述，并討論她如何通過提出正確的問題來解釋模型。

//arxiv.org/abs/2009.11698

在本章中，我們將關注更復雜的編碼器模型。我們將介紹圖神經網絡(GNN)的形式，它是定義圖數據上的深度神經網絡的一般框架。關鍵思想是，我們想要生成實際上依賴于圖結構的節點的表示，以及我們可能擁有的任何特征信息。在開發復雜的圖結構數據編碼器的主要挑戰是，我們通常的深度學習工具箱不適用。例如，卷積神經網絡(CNNs)只在網格結構的輸入(如圖像)上定義良好，而遞歸神經網絡(RNNs)只在序列(如文本)上定義良好。要在一般圖上定義深度神經網絡，我們需要定義一種新的深度學習架構。