亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

浙江大學最新《可解釋強化學習》綜述，37頁pdf1闡述XRL概念、算法、挑戰

強化學習(RL)是一種流行的機器學習范式，智能體與環境交互以實現長期目標。在深度學習復興的推動下，深度RL (DRL)在廣泛的復雜控制任務中取得了巨大成功。盡管取得了令人鼓舞的結果，但基于深度神經網絡的骨干網被廣泛認為是一個黑盒，它阻礙了從業者在高安全性和可靠性至關重要的現實場景中信任和使用經過訓練的智能體。為了緩解這個問題，通過構建內在解釋性或事后解釋性，大量的文獻致力于闡明智能智能體的內部工作方式。在本綜述中，我們對可解釋RL (XRL)的現有工作進行了全面的回顧，并引入了一種新的分類法，將先前的工作明確地分為模型解釋方法、獎勵解釋方法、狀態解釋方法和任務解釋方法。本文還回顧并強調了強化學習方法，這些方法反過來利用人類知識來提高智能體的學習效率和最終性能，而這種方法在XRL領域往往被忽略。討論了XRL中一些開放的挑戰和機遇。本綜述旨在對XRL進行高層次的總結和更好的理解，并推動未來對更有效的XRL解決方案的研究。相應的開放源代碼可以在//github.com/Plankson/awesome-explainable-reinforcement-learning上收集和分類。

概述

強化學習[193]受到人類試錯范式的啟發[143]。它基于這樣一個事實:與環境互動是人類在沒有他人指導的情況下學習的常見方式[98]。從互動中，人類獲得了關于因果關系、行動結果以及如何在環境中實現目標的信息。這類信息被隱式地用來構建我們的心智模型[155,218,225]，而更多這類信息將使這個心智模型更加精確[22,171]。RL類似于目標導向的學習，通過與環境的交互，敏銳地意識到環境如何響應我們的行為，并有目的地影響未來的事件。更準確地說，RL學會從環境狀態映射到行動，從而最大化數值獎勵信號[189]。近年來，深度學習的快速發展[15,194]促進了深度學習與強化學習的融合。因此，深度強化學習(DRL)[44, 60, 134, 135, 177]作為一種新的RL范式出現。憑借深度神經網絡強大的表示能力[7,51,230]，DRL在許多領域都取得了相當的性能[17,24,29,37,11,121,184]，特別是在AlphaZero[184]和OpenAI Five[17]等游戲任務中，基于DRL的方法成功擊敗了人類職業選手。然而，對于現實場景中更復雜的任務，如自動駕駛[25,39,79,213,214]和電力系統調度[109,115,226,227,239]，不僅要考慮高性能，還要考慮面向用戶的可解釋性，以考慮安全性和可靠性。這種可解釋性的要求是在真實世界而不是模擬環境中使用DRL的主要瓶頸。

由于深度神經網絡(DNN)的主干復雜，傳統的DRL方法的可解釋性較低[67,100,185,195]。追蹤和解釋一個神經系統中的每個參數，并將其擴展到整個網絡，這是非常棘手的。因此，我們不知道DNN考慮了哪些隱式特征，以及DNN如何處理這些特征。這個缺點導致DRL模型正在成為一個黑盒[84,232]，專家無法理解智能體如何知道環境或智能體為什么選擇特定的行動。這種不透明性限制了DRL的應用，因為大多數人不會輕易信任智能體，特別是當智能體在沒有解釋決策過程的原因的情況下與他們的期望完全相反時。例如，在自動導航任務中[32,156]，人們可能會對導航代理在沒有告訴他們原因的情況下進行的異常引導感到困惑，這可能只是為了避免交通堵塞。此外，可解釋性的缺乏也造成了在訓練過程中插入人類知識和指導的障礙[62,166]。盡管人類知識是以特定形式預先給定的[56,57,181,233,236]，但智能體無法提取有效信息并從中受益。

為了解決可解釋性低的問題，在計算機視覺(CV)中的可解釋性人臉識別[43,85,165,219]和自然語言處理(NLP)中的可解釋性文本分類[8,119,186]等機器學習領域開展了許多可解釋性研究。可解釋機器學習的目標是生成不同形式的解釋，使模型對專家甚至外行人都是可解釋和透明的。它查看黑箱代理模型內部，自動提取或生成解釋，解釋為什么代理在每個時間步中選擇這個動作或給出這個結論。解釋的形式可以多種多樣，如自然語言[38,53,66]、顯著圖[54,83]或視頻[178]。通過可解釋的模型，智能體可以發現潛在的缺陷，并向專家解釋這些缺陷以進行進一步的改進。

對于可解釋強化學習(XRL)領域，人們在構建可解釋強化學習(XRL)模型方面做了許多初步的研究，并在解釋生成方面取得了一定的成果。為了對它們有一個完整的認識并總結當前的XRL技術，對XRL進行了幾次綜述[33,49,74,158,208,217]。Heuillet等人[74]回顧了關注解釋和用戶類型的方法。他們只是根據生成解釋的方式將方法分為兩類。這是一個初步的分類，需要進一步改進。Puiutta和Veith[158]遵循了基于解釋時間和范圍的傳統可解釋AI分類法。他們只是描述了一些有代表性的方法，并不是為了呈現對XRL的全面忽視。Wells和Bednarz[217]也列舉了各種XRL方法。但他們只關注可用于XRL領域的可視化技術。voros[208]將范圍限定在最先進的XRL方法中，并為XRL提供了一個架構符號范式，而解釋內容可分為代理偏好和目標的影響。Dazeley等人[33]提出了一個稱為因果XRL框架的概念架構，該框架解釋了XRL如何通過關注因果行為來生成對行為的解釋。該理論體系結構清晰而嚴謹，不僅考慮了感知、行動和事件，還考慮了目標、期望和處置。然而，現有的XRL框架只關注事件結果的感知和行動原因，這意味著現有的XRL技術只能用一種更簡單的因果XRL框架形式來表示。Glanois等人[49]明確界定了可解釋性和可解釋性之間的界限。他們將這些方法分為三種:可解釋輸入、過渡模型和偏好模型。它啟發我們關注RL的過程和結構。這些研究都提出了基于XRL的新分類法，但大多數都沒有基于RL范式。此外，從以上的綜述中我們可以發現，XRL領域仍然缺乏標準的標準，特別是在XRL的定義和評價方法方面，雖然許多人提出了自己的XRL標準[116,131,138,208]，但沒有一個被整個DRL界所接受。目前的XRL框架大多沒有考慮人類參與的影響，只有少數論文試圖將基于人類知識的范式擴展到XRL領域，其研究結果有力地證明，這是一種既能獲得高解釋性又能獲得高性能的有效方法[237]。

為了使整個XRL體系結構得到進一步發展，系統地回顧了當前的XRL框架和綜述。明確了XRL模型可解釋性的概念，總結了模型可解釋性的評價指標。基于這些提出的XRL框架，我們提出了一種新的更適合于RL的XRL分類法。由于使整個RL范式可解釋目前是困難的，所有的工作都轉向對RL范式的組成部分可解釋。我們根據可解釋的目標部分對當前的XRL作品進行分類:模型、獎勵、狀態和任務。這四種部分解釋方法的目的是生成對主體行為的解釋。對于RL來說，這種分類法比一般的內在/事后/本地分類法要高級得多。考慮到基于人類知識的XRL工作的數量和它的重要性，我們將其分離出來，并試圖總結這些工作，并將它們組織到我們的分類法中。據我們所知，很少有研究者對這一領域進行了既包括人類知識又包括XRL的總結。我們的工作總結如下:

• 基于可解釋RL和可解釋機器學習的現有文獻，我們對XRL中的模型可解釋性進行了詳細的總結。當前的XRL評估指標也包含在這個總結中。

• 基于強化學習框架的不同部分(模型、獎勵、狀態和任務)的可解釋性，為當前的XRL作品引入了一種新的分類。可以在圖2中查看分類法。

• 注意到目前基于人類知識的XRL是一個不受歡迎的方向，只有少數作品和顯著的結果，我們將其作為論文的主要部分之一，對這些將XRL框架與人類知識相結合以獲得更高性能和更好解釋的方法進行了系統的綜述。

本次綜述的其余部分組織如下。在第二節中，我們回顧了強化學習的必要基礎知識。接下來，我們將討論XRL模型可解釋性的定義，并在第3節中給出解釋和XRL方法的一些可能的評估方面。在第4節中，我們描述了我們的分類，并詳細提供了每個類型和子類型的工作，我們分類法的抽象圖可以在圖2中看到。然后我們根據第5節的分類討論與人類知識相結合的XRL工作。在此之后，我們在第6節中總結了XRL當前的挑戰和未來的發展方向。最后，在第7部分對本文的工作進行了總結。本文的結構和我們的分類法工作如圖1所示。

圖1所示概述。本文概述了可解釋強化學習(XRL)。在我們的工作中，我們根據強化學習(RL)過程中不同部分的可解釋性將XRL分為四個部分:模型、獎勵、狀態和任務。這張圖用不同的顏色表示。圖中還展示了更具體的分類和作品，我們將在后面的部分中討論它們。

可解釋人工智能(XAI)通過增強終端用戶對機器的信任，正在改變人工智能(AI)領域。隨著連接設備數量的不斷增長，物聯網(IoT)市場需要對終端用戶來說是值得信任的。然而，現有文獻對于XAI在物聯網中的應用尚缺乏系統而全面的綜述性工作**。為了彌補這一不足，在本文中，我們關注了XAI框架的特點和對物聯網的支持。我們介紹了物聯網應用中廣泛使用的XAI服務，如安全增強、醫療物聯網(IoMT)、工業物聯網(IIoT)和城市物聯網(IoCT)**。通過適當的例子，提出了在這些應用中XAI模型優于物聯網系統的實現選擇，并總結了未來工作的關鍵推論。此外，我們介紹了邊緣XAI結構的前沿發展，以及對物聯網應用的第六代(6G)通信服務的支持，以及關鍵推論。簡而言之，本文構成了針對未來物聯網用例需求的基于XAI的框架開發的第一個整體匯編。

//www.zhuanzhi.ai/paper/60b70e12d1bbad0142aa263371444331

概述

可解釋人工智能(XAI)由于具有高度透明、可信賴、可解釋的系統開發等諸多優點，越來越受到人們的重視。人工智能(AI)系統每天都在進化，具有更復雜的功能。人工智能也已經發展到可以直接與機器交互的水平。它已經成為每一個商業運作和人類日常生活的一部分。然而，這些往往容易產生模型偏差，缺乏代碼信心和信任問題。為了管理這些風險并保持AI模型的透明度，XAI的出現為系統提供了許多有意義的解釋，而不會對所做的決策或任何采納的解決方案產生任何混亂[1]。XAI對當前業務的影響可能會取代傳統的AI系統，這些系統能夠在生產、制造、供應鏈、金融部門和財富管理方面產生更大的影響，帶來更好的增長和可持續發展。

近年來，XAI技術引起了業界和學術界的廣泛關注。該技術的發展已經取得了巨大的成功，從模型中做出了值得信賴的決策。XAI的出現目前跨越了大量的應用程序，這些應用程序推動了對各個研究領域的投資。XAI最流行的應用程序包括醫療保健[2]、金融[3]、安全[4]、軍事[5]和法律部門[6]。一般來說，XAI技術已經證明了其潛力，目前需要可解釋的AI模型。一個使用XAI的實際例子是國防部門[7]。此外，谷歌的云服務正在探索XAI部署可解釋和包容性AI模型的潛力[8]。作為XAI對物聯網(IoT)環境最成功的影響之一，可解釋和透明ML模型[9]承諾了新的策略來解釋黑箱決策系統[10]，基于新的解釋風格[11]的設計，用于評估AI系統的透明度和可解釋性。用于解釋的算法的技術方面可以被物聯網系統用于確保XAI模型中的倫理方面。物聯網中的XAI系統的一個例子是[4]，它已被證明可以使用統計理論在工業物聯網(IIoT)中提供模型不可知的解釋，從而促進透明度的有效性。然而，涉及的挑戰是隨機新樣本的考慮，這需要解決高風險物聯網應用。通過使用基于LIME的XAI模型，可以學習域不變特征來保證信息處理的可信度，并且能夠提供可靠的解釋[12]。

XAI模型的一個關鍵挑戰是定制用于處理非線性數據的模型，這可以通過開發數據驅動的XAI模型[13]來規避。特別是，盡管完全可解釋的模型還處于初級階段，XAI系統仍然需要能夠解決解釋和可解釋性的理論和實踐方面的新模型。例如，物聯網設備中的隱私和數據保護可能無法由AI模型對模型如何做出決策進行足夠安全的處理。對物聯網應用的一些解釋必須明確，特別是在醫療保健和軍事應用中，XAI可以大大受益。因此，XAI技術有望成為物聯網及其相關賦能技術的可靠技術。

A. 動機

由于黑箱模型的不透明性，人工智能系統帶來的重大挑戰常常從倫理角度對信任構成威脅[14]。XAI模型固有的可解釋性是通過透明的方式做出決策來建立的，它允許在沒有任何爭論的情況下分享解釋。最近，XAI模型在交付可靠、透明和合乎道德的決策方面取得了重大進展。例如，開發了大量新穎的XAI模型，以提高具有高度倫理考慮的決策的透明度。因此，XAI模型也非常適合于大量的應用程序[7]。然而，物聯網應用的XAI支持非常有限，由于智能設備的資源限制，XAI支持受到了限制。將XAI的支持擴展到物聯網應用及其他領域，使學術和工業研究進入一個新的維度，這有可能維護在醫療保健、國防、工業和其他物聯網驅動的工業應用中所做決策的倫理關切和透明度。基于這一動機，大量的XAI模型已經部署在物聯網應用中，如醫療保健[2]、金融[3]、安全[4]、軍事[5]和法律部門[6]。此外，文獻報道了使用物聯網傳感器[15]進行故障預測的深度XAI模型和用于物聯網云系統[16]的端到端ML模型。更廣泛地說，XAI模型的新范圍還可以用來提供可信的解釋，并可以在大量的應用領域取代傳統的AI模型。B. XAI在物聯網中的作用通過對部署在環境中不同類型的物聯網設備所積累的數據進行適當的調查，從而可以感知特定場景中的活動。大多數識別技術通常基于人工智能技術，如ML和DL，可以提供精確的決策。AI在物聯網應用中的作用可以分為以下三個發展階段。

• **在第一類中，從傳感器和物聯網收集數據，然后輸入AI算法或AI領域的ML算法。

• **第二個進步是利用AI改善物聯網服務。這可以像對傳感器數據進行調查一樣簡單，比如這些數據是否越界，并試圖確定越界的原因，以及是否應該將數據輸入AI領域。

• **AI模型的第三個作用是監督物聯網領域的AI元素，并在AI領域的算法和ML系統之間交換信息

通過為物聯網定義各種模型，我們可以觀察到AI領域推理物聯網領域細節的方法。例如，如果我們打算診斷故障，我們可以從物聯網領域的AI能力中提取數據。我們還可以開始查詢傳感器或數據源的可靠性和可信性。然而，傳統人工智能技術的使用缺乏對開發框架所做的決策向人類提供解釋。獲取做出此類決策的明顯解釋，可以滿足在開發過程中更好地解釋模型的多重目標的需求，并同時提供更直接的、精細的上下文感知服務的方法。例如，對醫療保健應用程序中的患者活動進行持續檢查對于理解健康狀態非常重要。對病人活動的更透明的監測使專家能夠完全了解病人的行為。集成了元學習策略的XAI模型主要用于信息物理系統，這些系統是工業4.0的核心組件。它們確保了豐富的模擬基礎設施，與機器的智能通信，更高水平的可視化，更好的服務質量分析和生產效率最大化。在[4]中作者提出的另一個類似的工作中，為了在工業物聯網框架中賦予更高級別的安全特性，處理了模型不可知論解釋，以解決智能行業的網絡安全威脅。在這里，通過統計理論提供透明度，甚至為隨機的新樣本集提供解釋，以確保在高風險的工業物聯網任務的安全性。在[4]中，作者提出了一個可信任的、明顯的體驗平臺，用于評估物IOT智能家居場景中的電力消費行為。此外，XAI在醫療健康部門的作用與物聯網在疾病預測和診斷方面的作用正變得越來越重要。[19]中的工作涉及XAI模型，使醫療領域使用的物聯網框架能夠應對疾病預測和診斷所涉及的挑戰。

隨著XAI的深遠影響逐漸顯現，人工智能技術決策階段(如ML和DL模型)背后的整個深刻邏輯可以被理解。此外，XAI算法允許模型在預測階段解釋每個單獨的決策。它們在物聯網框架中的重要性是解決資源受限物聯網設備中XAI實施所涉及的問題的一種具有挑戰性的手段。然而，XAI對物聯網的深遠影響使得終端用戶信任這些部署在商業和公共場景中的設備。有了XAI模型和物聯網數據的本質成分，從終端用戶的角度，突出了模型訓練的高性價比和透明化的問題。

C. 比較和我們的貢獻

受XAI和物聯網領域進展的推動，研究界提出了一些相關的綜述工作。特別是，在過去幾年中，各種研究人員對XAI框架進行了廣泛的研究。例如，一些論文對XAI系統及其特性進行了總體概述[20,21,22,23,24,25]，并對不同的XAI算法[26]進行了綜述。特別地，[20]中的作者總結了XAI在監督學習中的作用，以及它與人工一般智能相關的最新發展。同樣，[22]的作者回顧了XAI中最先進的方法在理論、概念、方法和評價上采用的聚類策略的貢獻。在[24]中，作者為解決XAI黑箱問題的辯論確定了四個主題。此外，基于嚴格的審查，這些發現有助于增強對XAI模型決策的認識。Angelov等人[25]將機器學習和深度學習研究的進展與可解釋性問題聯系起來。在此，作者闡述了可解釋性的原則，并提出了該研究領域未來的研究方向。在[26]中，Das等人提出了分類法，并根據XAI技術的固有特征對其進行分類，并將其配置為自解釋學習模型。此外，作者評估了8種XAI算法，并生成了解釋圖，并總結了這些方法的局限性。[21]中的作者概述了XAI、從AI中提取的背景細節、開發的起源和技術標準化，以及XAI體系結構、用例和研究挑戰。Arrieta等人[23]對XAI的分類進行了全面的調查，引出了負責任AI的概念框架。此外，它還激勵研究人員利用具有可解釋能力的人工智能系統。

考慮到倫理問題，XAI提供了可靠的系統，并提供了關于模型的解釋。對模型的改進，對系統決策的論證，對異常行為的控制，發現新的規律和隱藏的洞見[21]都需要解釋。在[27,28,29]中，作者就研究挑戰和應用領域從深度學習(DL)、自動化決策和個性化體驗的背景下比較了各種XAI框架。其他的則專注于特定的功能，如安全[30,31]、醫療保健[32,33,34]、增強[35]、機器人[36,37]以及與ML模型[38,39,40]相關的解決方案，以探索對系統所做決策的見解。此外，[41]的作者提供了在基于強化學習的應用中使用XAI的詳細總結。表1從XAI的角度簡要介紹了一些現有的調查文章，以及它們的主要貢獻和局限性。盡管XAI在文獻中已經被各種研究人員廣泛研究過，但據我們所知，目前還沒有關于在物聯網服務和應用中使用XAI的全面和專門的調研。XAI在各個領域的潛力，如物聯網網絡、安全、醫療保健和工業部門，還沒有在開放文獻中探索過。此外，從智能家居到智慧城市的角度，整體總結XAI與IoT的融合還有待探索。這些缺點促使我們對XAI與物聯網服務的集成進行了全面的審查。具體來說，我們包括了XAI在各種物聯網應用類別中的應用的最新調查，如安全、醫療保健、工業和智慧城市。本文的主要貢獻在于對XAI的使用進行了廣泛的總結，包括網絡安全增強、IoMT、IIoT和IoCT。我們還在每個物聯網應用結束時總結了本次調研的主要觀察結果。最后，討論了基于xai的物聯網服務的重要研究挑戰，并展望了未來的研究方向。就我們的熟練程度而言，我們是第一個提供物聯網系統中XAI專門和詳細調研的機構。這項調研的主要貢獻可以強調如下。

與該領域的其他相關綜述工作相比，該調查提供了物聯網、XAI及其集成的相關背景細節的廣泛總結，使研究人員能夠挖掘物聯網系統的可信性。

我們介紹了物聯網中XAI的需求和最近文獻中提出的一些關鍵挑戰，并總結了一些最近的研究工作。

此外，我們還探索了一些物聯網應用領域，如安全、醫療保健、工業和智慧城市。我們介紹了XAI在此類應用中的需求和作用，以便更好地對物聯網服務進行值得信賴的探索，以及所吸取的教訓。

我們還從使用XAI模型的角度詳細討論了可靠物聯網服務的前沿發展。

最后，我們概述了未來研究的挑戰，以考慮物聯網的XAI方向。

本綜述的組織如下:第二部分闡述了XAI和物聯網的初步概況。第三節討論了物聯網中XAI系統的發展以及相關領域的應用類別。本節還闡述了每個應用程序的未來研究范圍和相關的開放端挑戰。第四部分總結了本文在建立基于xai的物聯網架構的最佳措施方面的主要發現和成果。第五部分指出了XAI在物聯網上的未來發展方向。第六部分是全文的總結。

圖1顯示了傳統AI和基于XAI的系統所涉及的操作的一般順序。在傳統的人工智能系統中，最終用戶無法解釋學習過程，它看起來像一個不透明的黑盒子。與傳統AI不同的是，XAI模型使用革命性的ML過程和可解釋的模型，在學習過程和根據訓練數據做出的決策中為最終用戶提供可持續的透明度。

圖3顯示了XAI模型的精度前景，這取決于用于實現的算法。在流行的XAI模型中，深度學習[54]模型以較少的可解釋特征確保了更好的精度。然而，與深度學習模型相比，基于決策樹[55]、隨機森林[56]和集成模型[57]的XAI模型提供了更好的解釋性，但性能精度顯著降低。同樣明顯的是，在模型的復雜性、解釋系統的功能和性能方面存在著權衡。

圖4顯示了一個示例IoMT框架，該框架使用XAI模型來傳遞值得信任的醫療保健服務。準確地說，連接的物聯網醫療設備能夠使用無線個人區域網絡(PAN)進行通信。XAI框架根據IoMT設備積累的數據做出的決策為患者和醫療保健專業人員提供了更好的幫助。

來自MIT等最新《可解釋AI: 深度神經網絡內部結構解釋》綜述論文， (1)為現有的內在可解釋性方法提供一個全面的參考資源，(2)為持續的、以安全為重點的研究提供指導方向。

在過去的十年里，機器學習的規模和能力都有了巨大的增長，深度神經網絡(DNNs)正在越來越多地應用于廣泛的領域。然而，DNN的內部工作原理通常很難理解，這引起了人們對使用這些系統的安全性的擔憂，因為他們沒有嚴格了解它們的功能。在這項綜述中，我們回顧了解釋DNN內部成分的技術，我們稱之為內部可解釋方法。具體而言，我們回顧了解釋權重、神經元、子網和潛在表示的方法，重點關注這些技術如何與設計更安全、更值得信賴的AI系統的目標相關聯。我們還強調了可解釋性與模塊化、對抗魯棒性、持續學習、網絡壓縮和人類視覺系統研究之間的聯系。最后，我們討論了關鍵的挑戰，并討論了未來在人工智能安全可解釋性方面的工作，重點是診斷、基準測試和魯棒性。

//www.zhuanzhi.ai/paper/c6db46946cd96a10ab425120dacad09a

過去十年深度學習的一個顯著特征是規模和能力的急劇增長[124]，[228]，從2010年到2022年，機器學習系統的訓練計算增長了100億倍[227]。與此同時，深度神經網絡(DNNs)越來越多地用于安全、可預測的行為至關重要的環境中。如果繼續快速發展，自動化的寬領域智能有可能對社會產生高度影響[33]，[51]，[179]，[195]，[210]，[239]。考慮到這些發展，從業者能夠理解AI系統如何做出決策，特別是它們的失敗模式是至關重要的。人工智能系統最典型的評估標準是它們在特定任務測試集上的表現。這引起了關注，因為在測試集中表現良好的黑盒并不意味著學習到的解決方案就足夠了。例如，部署分布可能不同于測試分布，并且/或者任務目標的規范可能導致意外行為(例如[135]，[147])。即使用戶意識到不足之處，系統的黑盒特性也會使修復缺陷變得困難。因此，建立安全可靠的人工智能系統的一個重要步驟是擁有檢測和解決這些缺陷的技術。為此，擁有一套多樣的嚴格解釋AI系統的技術將是有價值的(見I-A)。

我們將可解釋性方法定義為可以用人類可以理解的術語描述系統行為的任何過程。這包含了DNN文獻中廣泛的技術，所以在本文中，我們特別關注對理解內部結構和表示有用的方法。我們稱之為內部可解釋方法。我們討論了這些方法的分類，提供了文獻綜述，討論了可解釋性和深度學習中的其他主題之間的關鍵聯系，并總結了繼續工作的方向。我們的中心目標有兩方面: (1)為現有的內在可解釋性方法提供一個全面的參考資源，(2)為持續的、以安全為重點的研究提供指導方向。

可解釋性技術的一個主要動機是理解模型的潛在問題。因此，可解釋性方法將與構建更安全、更值得信賴的人工智能系統高度相關。

可解釋性技術應通過其產生新穎、有效和可操作見解的能力來評估。這可能是困難的，而且在文獻中評估常常做得很差。需要嚴格的測試和基準來評估解釋，應該包括重新發現DNN的已知缺陷。

可解釋性、模塊化、對抗魯棒性、持續學習、網絡壓縮和與人類視覺系統的相似性之間有許多豐富的聯系。

未來工作的引人注目的方向包括使用人類輸入的可擴展方法、逆向工程系統、檢測潛在知識、基準測試和研究技術之間的交互。

可解釋性對更安全人工智能的重要性

對于AI系統來說，它們需要正確的目標，并且需要有效地優化這些目標。主要是第二個需求，可解釋性技術為構建更值得信賴的AI提供了優勢[115]，[180]。我們在此概述主要動機。

展示失敗: 揭示為什么一個模型不能產生正確的輸出，讓研究人員能夠洞察失敗是什么樣子的，以及如何檢測它們。這些信息可以幫助研究人員避免這些問題，并幫助監管機構為部署的系統建立適當的規則。

修復bug:通過理解故障和/或生成利用它的例子，可以重新設計、微調和/或對抗性訓練網絡，使其更好地與用戶的目標保持一致。

提高基本理解: 通過向用戶提供更多關于DNN如何學習的知識，可解釋性技術可以開發改進的模型或更好地預測人工智能的進展。

確定責任:具有描述失敗的能力對于在誤用或部署失敗的情況下確定責任是至關重要的。

“顯微鏡式”AI: 嚴格理解AI系統如何完成任務可以提供額外的領域知識。這一目標被稱為“顯微鏡”AI[115]，它可以允許對更容易理解的模型進行逆向工程。這對于研究在某些領域具有超人性能的系統尤其有價值。

對于實現上述目標的可解釋性技術，它們應該滿足某些需求。

準確性-驗證，而不是說服: 可解釋性技術應該給出模型正在執行的計算的正確圖像，而不僅僅是看似合理地這樣做。給用戶錯誤的安全感是非常有害的。一個常見的例子是輸入歸因方法，它經常對模型[4]的決策提供誤導性的解釋[64]。此外，解釋應該伴隨著不確定性估計。

人類的可理解性: 另一方面，由可解釋技術產生的解釋應該易于人類理解。從某種意義上說，對模型最準確的“解釋”就是返回它的參數，但這對人類來說幾乎總是難以理解的。因此，準確性應該與可理解性相平衡。

深度: 內部可解釋性技術的“深度”指的是它解釋復雜子流程的能力。很可能DNN中的某些特征或計算比其他特征更容易被人類自然理解，這就增加了對模型理解過于簡單的可能性。解釋不應該偏向于模型中容易解釋的部分。

泛化性: 解釋應該能夠概括到不同的例子。這可以讓他們幫助診斷發生在訓練/驗證分發之外的故障。

競爭力 :可解釋性技術不應導致競爭力的顯著下降，如性能下降、計算需求增加或難以在現代深度學習框架中使用。競爭缺陷也可能導致“價值侵蝕”，即不采用更安全的人工智能實踐，而采用更具競爭力的模型。

產生可操作的見解:可解釋性方法的最終目標應該是產生有用的見解。關鍵是解釋可以用來對模型做出和驗證可測試的預測。有兩種方法可以做到這一點:使用解釋來指導新的對手的設計，或者手動微調模型來誘導可預測的變化。這與準確性密切相關;可解釋性方法的結果應該能夠明確地洞察模型的行為。在第VI節中，我們討論了可操作的見解的重要性，以及現有的工作如何典型地無法證明它們。

我們的重點是DNN的內部可解釋性方法。值得注意的是，模型無關技術、黑箱技術、輸入歸因方法、神經符號方法和“優秀的老式AI”超出了本次綜述的范圍。這并不是說它們在構建安全人工智能方面的價值低于我們所關注的方法——我們相信多樣化的技術是至關重要的。然而，我們專注于內部可解釋性方法(1)，因為該綜述的可跟蹤范圍，(2) 因為它們對某些目標(如理解如何修改模型、反向工程解決方案，以及檢測通常不會出現在系統部署行為中的潛在知識)有很好的裝備。也請參閱之前對可解釋性工作的一些調查和評論，它們與我們的[3]，[58]，[60]，[68]，[95]，[118]，[136]，[173]-[175]，[208]，[215]，[218]，[219]有重疊。然而，這項綜述的不同之處在于其對內部可解釋性、人工智能安全以及可解釋性和其他幾個研究范式之間的交叉的關注。參見我們在第VI節的討論。在接下來的章節中，我們根據DNN的計算圖解釋的部分來組織我們對技術的討論: 權重、神經元、電路或表示。圖1描述了內部方法是如何這樣組織的。除了這種分解，可解釋性技術還可以按照它們是在模型訓練期間使用還是在模型訓練之后使用來劃分。內在可解釋性技術包括訓練模型，使其更容易學習或具有自然的解釋。Post hoc技術的目的是在模型經過訓練后對其進行解釋。我們在分段層次上根據方法是內在的還是事后的來劃分方法。這兩種方法并不相互排斥。

葡萄牙貝拉內大學最新《醫學診斷中可解釋深度學習方法》綜述，值得關注！

深度學習的顯著成功引發了人們對其在醫學診斷中的應用的興趣。即使最先進的深度學習模型在對不同類型的醫療數據進行分類時達到了人類水平的準確性，但這些模型在臨床工作流程中很難被采用，主要是因為它們缺乏可解釋性。深度學習模型的黑盒性提出了設計策略來解釋這些模型的決策過程的需要，這導致了可解釋人工智能(XAI)這個話題的產生。在此背景下，我們提供了XAI應用于醫療診斷的全面綜述，包括可視化、文本和基于示例的解釋方法。此外，這項工作回顧了現有的醫學成像數據集和現有的指標，以評估解釋的質量。作為對大多數現有綜述的補充，我們包含了一組基于報告生成方法之間的性能比較。最后，還討論了XAI在醫學影像應用中的主要挑戰。 //www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b

引言

人工智能(AI)領域在過去十年取得的進展，支持了大多數計算機視覺應用的準確性的顯著提高。醫學圖像分析是在對不同類型的醫學數據(如胸部X光片[80]、角膜圖像[147])進行分類時取得人類水平精確度的應用之一。然而，盡管有這些進展，自動化醫學成像在臨床實踐中很少被采用。Zachary Lipton[69]認為，對這一明顯的悖論的解釋很簡單，醫生在不了解決策過程的情況下，永遠不會相信算法的決策。這一事實提出了產生能夠解釋人工智能算法的決策過程的策略的必要性，隨后導致了一個新的研究主題的創建，稱為可解釋人工智能(XAI)。根據DARPA[41]的說法，XAI的目標是“在保持高水平的學習性能(預測精度)的同時，產生更多可解釋的模型;并使人類用戶能夠理解、適當、信任和有效地管理新一代人工智能伙伴”。盡管XAI具有普遍適用性，但它在高風險決策(如臨床工作流程)中尤其重要，在這種情況下，錯誤決策的后果可能導致人類死亡。這也得到了歐盟通用數據保護條例(GDPR)法律的證明，該法律要求解釋算法的決策過程，使其透明，然后才能用于患者護理[37]。

因此，在將深度學習方法應用于臨床實踐之前，投資研究新的策略以提高其可解釋性是至關重要的。近年來，對這一課題的研究主要集中在設計間接分析預建模型決策過程的方法。這些方法要么分析輸入圖像的特定區域對最終預測的影響(基于擾動的方法[77;101]和基于遮擋的方法[151])或檢查網絡激活(顯著性方法[112;153])。這些方法可以應用于任意網絡架構，而不需要對模型進行額外的定制，這一事實支持了它們在XAI早期的流行。然而，最近的研究表明，事后策略在解釋的重要性方面存在一些缺陷[2;105]。因此，研究人員將他們的注意力集中在能夠解釋其決策過程本身的模型/架構的設計上。現有的可解釋模型被認為在醫學成像中特別有用[105]，證明了最近集中于這一范式而不是傳統的后特殊策略的醫學成像作品數量的增長是合理的[53;144]。盡管近年來固有可解釋模型的流行，但現有的關于深度學習應用于醫學成像的可解釋性的研究并沒有全面回顧這一新的研究趨勢的進展。此外，專注于解釋應用于醫學成像的深度學習決策過程的著作數量顯著增加，因此有必要對最近一次關于該主題的綜述未涵蓋的最新方法進行更新調研。

**為了解決這些問題，我們全面回顧了可解釋深度學習應用于醫學診斷的最新進展。特別是，這項綜述提供了以下貢獻: **

回顧最近關于醫學成像中可解釋深度學習主題的調研，包括從每個工作中得出的主要結論，以及對我們調研的比較分析。 用于醫學成像的深度學習方法可解釋性研究中常用的數據集的詳盡列表。 全面調研最先進的可解釋醫學成像方法，包括事后模型和固有的可解釋模型。 對基準可解釋性方法常用的度量標準的完整描述，無論是可視化的還是文本的解釋。關于文本解釋質量的可解釋醫學成像方法的基準。 醫學影像中可解釋深度學習的未來研究方向

基于文獻綜述，XAI方法可以根據三個標準進行分類: (i) 模型無關性vs模型具體; （ii）全局可釋性與局部可釋性; (iii)事后對內在。圖1說明了XAI方法的分類法，

醫療診斷中的可解釋人工智能方法

正如前面提到的，深度學習模型在部署到現實場景時必須具有透明性和可信賴性。此外，這一要求在臨床實踐中尤其相關，在臨床實踐中，不知情的決定可能會將患者的生命置于危險之中。在綜述的文獻中，已經提出了幾種方法來賦予應用于醫學診斷的深度學習方法解釋性。以下部分總結和分類了應用于醫學診斷的可解釋模型范圍內最相關的工作。此外，我們特別關注內在可解釋的神經網絡及其在醫學成像中的適用性。我們根據解釋方式將這些方法分為:(i)特征歸因解釋，(ii)文本解釋，(iii)實例解釋，(iv)概念解釋，(v)其他解釋;受[86]提出的分類學啟發。根據所使用的算法、圖像形態和數據集分類的綜述方法列表見表4。

深度學習方法在許多人工智能任務中實現了不斷提高的性能。深度模型的一個主要限制是它們不具有可解釋性。這種限制可以通過開發事后技術來解釋預測來規避，從而產生可解釋的領域。近年來，深度模型在圖像和文本上的可解釋性研究取得了顯著進展。在圖數據領域，圖神經網絡(GNNs)及其可解釋性正經歷著快速的發展。然而，對GNN解釋方法并沒有統一的處理方法，也沒有一個標準的評價基準和試驗平臺。在這個綜述中，我們提供了一個統一的分類的視角，目前的GNN解釋方法。我們對這一問題的統一和分類處理，闡明了現有方法的共性和差異，并為進一步的方法論發展奠定了基礎。為了方便評估，我們為GNN的可解釋性生成了一組基準圖數據集。我們總結了當前的數據集和評價GNN可解釋性的指標。總之，這項工作為GNN的解釋提供了一個統一的方法處理和一個標準化的評價測試平臺。

引言

深度神經網絡的發展徹底改變了機器學習和人工智能領域。深度神經網絡在計算機視覺[1]、[2]、自然語言處理[3]、[4]、圖數據分析[5]、[6]等領域取得了良好的研究成果。這些事實促使我們開發深度學習方法，用于在跨學科領域的實際應用，如金融、生物學和農業[7]、[8]、[9]。然而，由于大多數深度模型是在沒有可解釋性的情況下開發的，所以它們被視為黑盒。如果沒有對預測背后的底層機制進行推理，深度模型就無法得到完全信任，這就阻止了它們在與公平性、隱私性和安全性有關的關鍵應用中使用。為了安全可靠地部署深度模型，有必要提供準確的預測和人類可理解的解釋，特別是為跨學科領域的用戶。這些事實要求發展解釋技術來解釋深度神經網絡。

深度模型的解釋技術通常研究深度模型預測背后的潛在關系機制。一些方法被提出來解釋圖像和文本數據的深度模型。這些方法可以提供與輸入相關的解釋，例如研究輸入特征的重要分數，或對深度模型的一般行為有較高的理解。例如，通過研究梯度或權重[10]，[11]，[18]，我們可以分析輸入特征和預測之間的靈敏度。現有的方法[12]，[13]，[19]映射隱藏特征圖到輸入空間和突出重要的輸入特征。此外，通過遮擋不同的輸入特征，我們可以觀察和監測預測的變化，以識別重要的特征[14]，[15]。與此同時，一些[10]、[16]研究側重于提供獨立于輸入的解釋，例如研究能夠最大化某類預測得分的輸入模式。進一步探究隱藏神經元的含義，理解[17]、[22]的整個預測過程。近年來對[23]、[24]、[25]、[26]等方法進行了較為系統的評價和分類。然而，這些研究只關注圖像和文本域的解釋方法，忽略了深度圖模型的可解釋性。

近年來，圖神經網絡(Graph Neural network, GNN)越來越受歡迎，因為許多真實世界的數據都以圖形的形式表示，如社交網絡、化學分子和金融數據。其中，節點分類[27]、[28]、[29]、圖分類[6]、[30]、鏈路預測[31]、[32]、[33]等與圖相關的任務得到了廣泛的研究。此外，許多高級的GNN操作被提出來提高性能，包括圖卷積[5]，[34]，[35]，圖注意力[36]，[37]，圖池化[38]，[39]，[40]。然而，與圖像和文本領域相比，圖模型的可解釋性研究較少，這是理解深度圖神經網絡的關鍵。近年來，人們提出了幾種解釋GNN預測的方法，如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。這些方法是從不同的角度發展起來的，提供了不同層次的解釋。此外，它仍然缺乏標準的數據集和度量來評估解釋結果。因此，需要對GNN解釋技術的方法和評價進行系統的綜述。

為此，本研究提供了對不同GNN解釋技術的系統研究。我們的目的是提供對不同方法的直觀理解和高層次的洞察，讓研究者選擇合適的探索方向。這項工作的貢獻總結如下:

本綜述提供了對深度圖模型的現有解釋技術的系統和全面的回顧。據我們所知，這是第一次也是唯一一次關于這一主題的綜述工作。

我們對現有的GNN解釋技術提出了一個新的分類方法。我們總結了每個類別的關鍵思想，并提供了深刻的分析。

我們詳細介紹了每種GNN解釋方法，包括其方法論、優缺點以及與其他方法的區別。

我們總結了常用的GNN解釋任務的數據集和評估指標。我們討論了它們的局限性，并推薦了幾個令人信服的度量標準。

通過將句子轉換為圖表，我們從文本領域構建了三個人類可理解的數據集。這些數據集不久將向公眾開放，并可直接用于GNN解釋任務。

GNN解釋性分類法

近年來，人們提出了幾種解釋深圖模型預測的方法。這些方法關注于圖模型的不同方面，并提供不同的視圖來理解這些模型。他們通常會回答幾個問題;其中一些是，哪個輸入邊更重要?哪個輸入節點更重要?哪個節點特性更重要?什么樣的圖形模式將最大化某個類的預測?為了更好地理解這些方法，我們為GNN提供了不同解釋技術的分類。我們分類法的結構如圖1所示。根據提供的解釋類型，不同的技術分為兩大類:實例級方法和模型級方法。

首先，實例級方法為每個輸入圖提供依賴于輸入的解釋。給出一個輸入圖，這些方法通過識別用于預測的重要輸入特征來解釋深度模型。根據獲得的重要度分數，我們將方法分為4個不同的分支:基于梯度/特征的方法[53]1，[50]，基于微擾的方法[42]，[53]0，[53]3，[52]，[53]，分解方法[53]2，[50]，[54]，[55]，以及代理方法[56]，[57]，[58]。具體來說，基于梯度/特征的方法使用梯度或特征值來表示不同輸入特征的重要性。此外，基于擾動的方法監測預測的變化與不同的輸入擾動，以研究輸入的重要性得分。分解方法首先將預測得分(如預測概率)分解到最后一隱藏層的神經元中。然后逐層反向傳播這些分數，直到輸入空間，并使用這些分解后的分數作為重要分數。與此同時，對于給定的輸入示例，基于代理的方法首先從給定示例的鄰居中采樣數據集。接下來，這些方法擬合一個簡單的和可解釋的模型，如決策樹，以采樣數據集。然后使用代理模型的解釋來解釋最初的預測。第二，模型級方法不考慮任何特定的輸入實例來解釋圖神經網絡。獨立于輸入的解釋是高層次的，解釋一般行為。與instance level方法相比，這個方向的研究仍然較少。現有的模型級方法只有基于圖生成的XGNN[41]。它生成圖形模式來最大化某個類的預測概率，并使用這些圖形模式來解釋該類。

總之，這兩類方法從不同的角度解釋了深度圖模型。實例級方法提供了特定于示例的解釋，而模型級方法提供了高層次的見解和對深度圖模型如何工作的一般理解。要驗證和信任深度圖模型，需要人工監督檢查解釋。對于實例級方法，需要更多的人工監督，因為專家需要探索不同輸入圖的解釋。對于模型級方法，由于解釋是高層次的，因此涉及的人力監督較少。此外，實例級方法的解釋基于真實的輸入實例，因此它們很容易理解。然而，對模型級方法的解釋可能不是人類能夠理解的，因為獲得的圖形模式甚至可能不存在于現實世界中。總之，這兩種方法可以結合起來更好地理解深度圖模型，因此有必要對兩者進行研究。

盡管在深度學習方面取得了最近的進展，但大多數方法仍然采用類似“筒倉”的解決方案，專注于孤立地學習每個任務:為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實問題需要多模態方法，因此需要多任務模型。多任務學習(MTL)旨在利用跨任務的有用信息來提高模型的泛化能力。在這個綜述中，我們提供了一個最先進的在深度神經網絡的背景下MTL技術的全面觀點。我們的貢獻涉及以下方面。首先，我們從網絡架構的角度來考慮MTL。我們包括了一個廣泛的概述，并討論了最近流行的MTL模型的優缺點。其次，我們研究了解決多任務聯合學習的各種優化方法。我們總結了這些工作的定性要素，并探討了它們的共性和差異。最后，我們在各種數據集上提供了廣泛的實驗評估，以檢查不同方法的優缺點，包括基于架構和優化的策略。

//arxiv.org/abs/2004.13379

概述

在過去的十年中，神經網絡在許多任務中都顯示了令人印象深刻的結果，例如語義分割[1]，實例分割[2]和單目深度估計[3]。傳統上，這些任務是單獨處理的，即為每個任務訓練一個單獨的神經網絡。然而，許多現實世界的問題本質上是多模態的。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，定位它們，了解它們是什么，估計它們的距離和軌跡，等等，以便在它的周圍安全導航。同樣的，一個智能廣告系統應該能夠在它的視點上檢測到人們的存在，了解他們的性別和年齡，分析他們的外貌，跟蹤他們正在看的地方，等等，從而提供個性化的內容。與此同時，人類非常擅長同時解決許多任務。生物數據處理似乎也遵循多任務處理策略: 不同的處理過程似乎共享大腦中相同的早期處理層，而不是將任務分開單獨處理。上述觀察結果促使研究人員開發了多任務學習(MTL)模型，即給定一個輸入圖像可以推斷出所有所需的任務輸出。

在深度學習時代之前，MTL工作試圖對任務之間的共同信息進行建模，希望通過聯合任務學習獲得更好的泛化性能。為了實現這一點，他們在任務參數空間上放置了假設，例如:任務參數應該彼此靠近w.r.t.一些距離度量[5]，[6]，[16]0，[16]2，共享一個共同的概率先驗[16]1，[10]，[11]，[12]，[13]，或駐留在一個低維子空間[14]，[15]，[16]或流形[17]。當所有任務都是相關的[5]、[14]、[18]、[19]時，這些假設可以很好地工作，但是如果在不相關的任務之間發生信息共享，則可能導致性能下降。后者是MTL中已知的問題，稱為負轉移。為了緩解這一問題，其中一些研究人員選擇根據先前對任務的相似性或相關性的認識將任務分組。

在深度學習時代，MTL轉化為能夠從多任務監控信號中學習共享表示的網絡設計。與單任務情況下，每個單獨的任務由自己的網絡單獨解決相比，這種多任務網絡理論上給表帶來了幾個優點。首先，由于它們固有的層共享，結果內存占用大大減少。其次，由于他們明確地避免重復計算共享層中的特征，每次都要計算一次，因此他們的推理速度有所提高。最重要的是，如果相關的任務能夠分享互補的信息，或者互相調節，它們就有可能提高績效。對于前者，文獻已經為某些對任務提供了證據，如檢測和分類[20]，[21]，檢測和分割[2]，[22]，分割和深度估計[23]，[24]，而對于后者，最近的努力指向了那個方向[25]。這些工作導致了第一個深度多任務網絡的發展，歷史上分為軟或硬參數共享技術。

在本文中，我們回顧了在深度神經網絡范圍內的MTL的最新方法。首先，我們對MTL基于架構和優化的策略進行了廣泛的概述。對于每種方法，我們描述了其關鍵方面，討論了與相關工作的共性和差異，并提出了可能的優點或缺點。最后，我們對所描述的方法進行了廣泛的實驗分析，得出了幾個關鍵的發現。我們在下面總結了我們的一些結論，并提出了未來工作的一些可能性。

• 首先，MTL的性能在很大程度上取決于任務字典。它的大小、任務類型、標簽源等等，都影響最終的結果。因此，最好根據每個案例選擇合適的架構和優化策略。盡管我們提供了具體的觀察結果，說明為什么某些方法在特定設置中工作得更好，但是MTL通常可以從更深的理論理解中獲益，從而在每種情況下最大化預期收益。例如，這些收益似乎取決于多種因素，例如數據量、任務關系、噪音等。未來的工作應該嘗試分離和分析這些不同因素的影響。

• 其次，當使用單一MTL模型處理多個密集預測任務時，基于解碼器的架構目前在多任務性能方面提供了更多優勢，與基于編碼器的架構相比，其計算開銷有限。如前所述，這是由于基于解碼器的體系結構促進了常見的跨任務模式的對齊，這自然很適合密集的預測任務。基于編碼器的架構在密集預測任務設置中仍然具有一定的優勢，但其固有的層共享似乎更適合處理多個分類任務。

• 最后，我們分析了多種任務均衡策略，并分離出對任務均衡學習最有效的要素，如降低噪聲任務的權重、平衡任務梯度等。然而，許多優化方面仍然缺乏了解。與最近的研究相反，我們的分析表明避免任務之間的梯度競爭會損害性能。此外，我們的研究顯示，一些任務平衡策略仍然存在不足，突出了現有方法之間的一些差異。我們希望這項工作能促進對這一問題的進一步研究。