機器學習在許多部署的決策系統中發揮著作用,其方式通常是人類利益相關者難以理解或不可能理解的。以一種人類可以理解的方式解釋機器學習模型的輸入和輸出之間的關系,對于開發可信的基于機器學習的系統是至關重要的。一個新興的研究機構試圖定義機器學習的目標和解釋方法。在本文中,我們試圖對反事實解釋的研究進行回顧和分類,這是一種特殊類型的解釋,它提供了在模型輸入以特定方式改變時可能發生的事情之間的聯系。機器學習中反事實可解釋性的現代方法與許多國家的既定法律原則相聯系,這使它們吸引了金融和醫療等高影響力領域的實地系統。因此,我們設計了一個具有反事實解釋算法理想性質的準則,并對目前提出的所有反事實解釋算法進行了綜合評價。我們的標題便于比較和理解不同方法的優缺點,并介紹了該領域的主要研究主題。我們也指出了在反事實解釋空間的差距和討論了有前途的研究方向。
機器學習作為一種在許多領域實現大規模自動化的有效工具,正日益被人們所接受。算法能夠從數據中學習,以發現模式并支持決策,而不是手工設計的規則。這些決定可以并確實直接或間接地影響人類;備受關注的案例包括信貸貸款[99]、人才資源[97]、假釋[102]和醫療[46]的申請。在機器學習社區中,新生的公平、責任、透明度和倫理(命運)已經成為一個多學科的研究人員和行業從業人員的團體,他們感興趣的是開發技術來檢測機器學習模型中的偏見,開發算法來抵消這種偏見,為機器決策生成人類可理解的解釋,讓組織為不公平的決策負責,等等。
對于機器決策,人類可以理解的解釋在幾個方面都有優勢。例如,關注一個申請貸款的申請人的用例,好處包括:
對于生活受到該決定影響的申請人來說,解釋是有益的。例如,它幫助申請人理解他們的哪些因素是做出決定的關鍵因素。
此外,如果申請人覺得受到了不公平待遇,例如,如果一個人的種族在決定結果時至關重要,它還可以幫助申請人對決定提出質疑。這對于組織檢查其算法中的偏見也很有用。
在某些情況下,解釋為申請人提供了反饋,他們可以根據這些反饋采取行動,在未來的時間內獲得預期的結果。
解釋可以幫助機器學習模型開發人員識別、檢測和修復錯誤和其他性能問題。
解釋有助于遵守與機器生產決策相關的法律,如GDPR[10]。
機器學習中的可解釋性大體上是指使用固有的可解釋的透明模型或為不透明模型生成事后解釋。前者的例子包括線性/邏輯回歸、決策樹、規則集等。后者的例子包括隨機森林、支持向量機(SVMs)和神經網絡。
事后解釋方法既可以是模型特定的,也可以是模型不可知的。特征重要性解釋和模型簡化是兩種廣泛的特定于模型的方法。與模型無關的方法可以分為視覺解釋、局部解釋、特性重要性和模型簡化。
特征重要性(Feature importance)是指對模型的整體精度或某個特定決策最有影響的特征,例如SHAP[80]、QII[27]。模型簡化找到了一個可解釋的模型,該模型緊致地模仿了不透明模型。依存圖是一種常用的直觀解釋,如部分依存圖[51]、累積局部效應圖[14]、個體條件期望圖[53]。他們將模型預測的變化繪制成一個特征,或者多個特征被改變。局部解釋不同于其他解釋方法,因為它們只解釋一個預測。局部解釋可以進一步分為近似解釋和基于實例的解釋。近似方法在模型預測需要解釋的數據點附近抽取新的數據點(以下稱為explainee數據點),然后擬合線性模型(如LIME[92])或從中提取規則集(如錨[93])。基于實例的方法尋求在被解釋數據點附近找到數據點。它們要么以與被解釋數據點具有相同預測的數據點的形式提供解釋,要么以預測與被解釋數據點不同的數據點的形式提供解釋。請注意,后一種數據點仍然接近于被解釋的數據點,被稱為“反事實解釋”。
回想一下申請貸款的申請人的用例。對于貸款請求被拒絕的個人,反事實的解釋為他們提供反饋,幫助他們改變自己的特征,以過渡到決策邊界的理想一面,即獲得貸款。這樣的反饋被稱為可執行的。與其他幾種解釋技術不同,反事實解釋不能明確回答決策中的“為什么”部分;相反,他們提供建議以達到預期的結果。反事實解釋也適用于黑箱模型(只有模型的預測功能是可訪問的),因此不限制模型的復雜性,也不要求模型披露。它們也不一定能近似底層模型,從而產生準確的反饋。由于反事實解釋具有直覺性,因此也符合法律框架的規定(見附錄C)。
在這項工作中,我們收集、審查和分類了最近的39篇論文,提出了算法,以產生機器學習模型的反事實解釋。這些方法大多集中在表格或基于圖像的數據集上。我們在附錄b中描述了我們為這項調查收集論文的方法。我們描述了這個領域最近的研究主題,并將收集的論文按照有效的反事實解釋的固定需求進行分類(見表1)。
機器學習的視覺分析最近已經發展成為可視化領域中最令人興奮的領域之一。為了更好地確定哪些研究課題是有前景的,并學習如何在視覺分析中應用相關技術,我們系統地回顧了近十年來發表的259篇論文以及2010年之前的代表性作品。我們構建一個分類法,其中包括三個第一級類別:構建模型之前的技術、構建建模期間的技術和構建模型之后的技術。每個類別的進一步特征是具有代表性的分析任務,每個任務都以一組最近有影響的著作為例。我們也討論并強調研究的挑戰和對視覺分析研究人員有用的潛在未來研究機會。
最近人工智能應用的成功依賴于機器學習模型[1]的性能和能力。在過去的十年里,各種視覺分析方法被提出,使機器學習更加可解釋、可信和可靠。這些研究努力充分結合交互式可視化和機器學習技術的優勢,便于分析和理解學習過程中的主要組件,以提高性能。例如,用于解釋深度卷積神經網絡內部工作原理的可視化分析研究增加了深度學習模型的透明度,并在最近受到了越來越多的關注[1-4]。
用于機器學習的視覺分析技術的快速發展產生了對這一領域進行全面回顧的需求,以支持理解可視化技術是如何設計并應用于機器學習管道的。已有幾項初步努力從不同的觀點總結這一領域的進展。例如,Liu等人[5]總結了文本分析的可視化技術。Lu等人對預測模型的可視化分析技術進行了調查。最近,Liu等人[1]發表了一篇從視覺分析的角度分析機器學習模型的論文。Sacha等[7]分析了一組示例系統,提出了一種用于視覺分析輔助機器學習的本體。然而,現有的調研要么專注于機器學習的一個特定領域(例如,文本挖掘[5],預測模型[6],模型理解[1]),要么僅基于一組示例技術來勾畫本體[7]。
本文旨在對機器學習的視覺分析技術進行全面的綜述,重點介紹機器學習管道的各個階段。我們主要關注可視化社區中的工作。然而,人工智能社區也對深度學習模型中視覺解釋特征檢測器的研究做出了堅實的貢獻。例如,Selvaraju等人[8]試圖通過計算類激活映射來識別圖像中分類結果敏感的部分。讀者可以參考張、朱[9]和Hohman等人[3]的調查。通過系統的程序,我們在過去的十年中收集了259篇來自相關頂級場所的論文。基于機器學習流水線,我們將這篇文獻分為建模前、建模中、建模后三個階段。我們分析了可視化分析技術在這三個階段的功能,并抽象了典型任務,包括在建模前提高數據質量和特征質量,建模過程中的模型理解、診斷和轉向,以及建模后的數據理解。每個任務都由一組精心挑選的例子來說明。我們強調了機器學習視覺分析領域六個突出的研究方向和開放問題。我們希望這項調查能夠促進機器學習相關視覺分析技術的討論,并為希望開發機器學習的視覺分析工具的從業者和研究人員提供一個起點。
通過人工神經網絡等獲得的預測具有很高的準確性,但人類經常將這些模型視為黑盒子。對于人類來說,關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域,對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義,概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述,回顧過去和最近可解釋的SML方法,并根據介紹的定義對它們進行分類。最后,我們通過一個解釋性的案例研究來說明原則,并討論未來的重要方向。
//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c
目前人工智能(AI)模型的準確性是顯著的,但準確性并不是最重要的唯一方面。對于高風險的領域,對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出,醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域,深刻理解人工智能的應用是至關重要的,對可解釋人工智能(XAI)的需求是顯而易見的。
可解釋性在許多領域很重要,但不是在所有領域。我們已經提到了可解釋性很重要的領域,例如衛生保健。在其他領域,比如飛機碰撞避免,算法多年來一直在沒有人工交互的情況下運行,也沒有給出解釋。當存在某種程度的不完整時,需要可解釋性。可以肯定的是,不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面,不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如,刑事風險評估工具應該是公正的,它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域,它是主觀的,很難正式化。相比之下,飛機避免碰撞是一個很容易理解的問題,也可以被精確地描述。如果一個系統能夠很好地避免碰撞,就不用再擔心它了。不需要解釋。
本文詳細介紹了可解釋SML的定義,并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義,將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋,區分局部解釋和全局解釋。
綜上所述,本文的貢獻如下:
人工智能(AI)為改善私人和公共生活提供了很多機會,以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件,目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而,這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策,以便我們能夠信任它們?在這個報告中,我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中,可以特別理解本報告的目的。然而,隨著方法的日益普及和復雜性,業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地,數據科學從業者通常不知道來自學術文獻的方法,或者可能很難理解不同方法之間的差異,所以最終使用行業標準,比如SHAP。在這里,我們進行了一項調查,以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域,并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述,并討論她如何通過提出正確的問題來解釋模型。
視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此,多年來出現了一系列廣泛的方法,這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述,但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域,如計算機視覺、自然語言處理等。然而,這項調查關注的是深度學習是如何改進的,并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外,還討論了常用的數據集以及常用的評價指標。然后,對最近的研究方法進行了綜合討論,以提供未來研究的方向和可能的領域。
圖神經網絡(GNNs)已被證明是有效的模型,用于對圖結構數據的不同預測任務。最近關于它們表達能力的工作集中在同構任務和可數特征空間。我們對這個理論框架進行了擴展,使其包含連續的特性——在真實世界的輸入域和gnn的隱藏層中定期出現——并演示了在此上下文中對多個聚合函數的需求。為此,我們提出了一種新的聚合器結構——主鄰域聚合(PNA),它將多個聚合器與度標器相結合,從而推廣了總和聚合器。最后,我們通過一個新的基準來比較不同模型捕獲和利用圖結構的能力,該基準包含了來自經典圖理論的多個任務,以及來自現實領域的現有基準,所有這些都證明了我們模型的強大。通過這項工作,我們希望引導一些GNN研究轉向新的聚合方法,我們認為這對于尋找強大和健壯的模型至關重要。
//www.zhuanzhi.ai/paper/bee47b0e291d163fae01c
當對大量的標記數據集合(如ImageNet)進行訓練時,深度神經網絡展示了它們在特殊監督學習任務(如圖像分類)上的卓越表現。然而,創建這樣的大型數據集需要大量的資源、時間和精力。這些資源在很多實際案例中可能無法獲得,限制了許多深度學習方法的采用和應用。為了尋找數據效率更高的深度學習方法,以克服對大型標注數據集的需求,近年來,我們對半監督學習應用于深度神經網絡的研究興趣日益濃厚,通過開發新的方法和采用現有的半監督學習框架進行深度學習設置。在本文中,我們從介紹半監督學習開始,對深度半監督學習進行了全面的概述。然后總結了在深度學習中占主導地位的半監督方法。
深度學習方法對各種醫學診斷任務都非常有效,甚至在其中一些任務上擊敗了人類專家。然而,算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發,討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。