隨著機器學習模型越來越多地用于在醫療保健和刑事司法等高風險環境中幫助決策者,確保決策者(最終用戶)正確理解并因此信任這些模型的功能是很重要的。本課程旨在讓學生熟悉可解釋和可解釋ML這一新興領域的最新進展。在本報告中,我們將回顧該領域的重要論文,理解模型可解釋和可解釋的概念,詳細討論不同類別的可解釋模型(如基于原型的方法、稀疏線性模型、基于規則的技術、廣義可加性模型),事后解釋(黑箱解釋包括反事實解釋和顯著性圖),并探索可解釋性與因果關系、調試和公平性之間的聯系。該課程還將強調各種應用,可以極大地受益于模型的可解釋性,包括刑事司法和醫療保健。
科學事業的核心是理性地努力去理解我們所觀察到的現象背后的原因。快速增加的觀測和模擬數據打開了新的數據驅動的因果方法的使用,超越了通常采用的相關技術。在這里,我們給出了一個因果推理框架的概述。
機器學習在許多部署的決策系統中發揮著作用,其方式通常是人類利益相關者難以理解或不可能理解的。以一種人類可以理解的方式解釋機器學習模型的輸入和輸出之間的關系,對于開發可信的基于機器學習的系統是至關重要的。一個新興的研究機構試圖定義機器學習的目標和解釋方法。在本文中,我們試圖對反事實解釋的研究進行回顧和分類,這是一種特殊類型的解釋,它提供了在模型輸入以特定方式改變時可能發生的事情之間的聯系。機器學習中反事實可解釋性的現代方法與許多國家的既定法律原則相聯系,這使它們吸引了金融和醫療等高影響力領域的實地系統。因此,我們設計了一個具有反事實解釋算法理想性質的準則,并對目前提出的所有反事實解釋算法進行了綜合評價。我們的標題便于比較和理解不同方法的優缺點,并介紹了該領域的主要研究主題。我們也指出了在反事實解釋空間的差距和討論了有前途的研究方向。
機器學習作為一種在許多領域實現大規模自動化的有效工具,正日益被人們所接受。算法能夠從數據中學習,以發現模式并支持決策,而不是手工設計的規則。這些決定可以并確實直接或間接地影響人類;備受關注的案例包括信貸貸款[99]、人才資源[97]、假釋[102]和醫療[46]的申請。在機器學習社區中,新生的公平、責任、透明度和倫理(命運)已經成為一個多學科的研究人員和行業從業人員的團體,他們感興趣的是開發技術來檢測機器學習模型中的偏見,開發算法來抵消這種偏見,為機器決策生成人類可理解的解釋,讓組織為不公平的決策負責,等等。
對于機器決策,人類可以理解的解釋在幾個方面都有優勢。例如,關注一個申請貸款的申請人的用例,好處包括:
對于生活受到該決定影響的申請人來說,解釋是有益的。例如,它幫助申請人理解他們的哪些因素是做出決定的關鍵因素。
此外,如果申請人覺得受到了不公平待遇,例如,如果一個人的種族在決定結果時至關重要,它還可以幫助申請人對決定提出質疑。這對于組織檢查其算法中的偏見也很有用。
在某些情況下,解釋為申請人提供了反饋,他們可以根據這些反饋采取行動,在未來的時間內獲得預期的結果。
解釋可以幫助機器學習模型開發人員識別、檢測和修復錯誤和其他性能問題。
解釋有助于遵守與機器生產決策相關的法律,如GDPR[10]。
機器學習中的可解釋性大體上是指使用固有的可解釋的透明模型或為不透明模型生成事后解釋。前者的例子包括線性/邏輯回歸、決策樹、規則集等。后者的例子包括隨機森林、支持向量機(SVMs)和神經網絡。
事后解釋方法既可以是模型特定的,也可以是模型不可知的。特征重要性解釋和模型簡化是兩種廣泛的特定于模型的方法。與模型無關的方法可以分為視覺解釋、局部解釋、特性重要性和模型簡化。
特征重要性(Feature importance)是指對模型的整體精度或某個特定決策最有影響的特征,例如SHAP[80]、QII[27]。模型簡化找到了一個可解釋的模型,該模型緊致地模仿了不透明模型。依存圖是一種常用的直觀解釋,如部分依存圖[51]、累積局部效應圖[14]、個體條件期望圖[53]。他們將模型預測的變化繪制成一個特征,或者多個特征被改變。局部解釋不同于其他解釋方法,因為它們只解釋一個預測。局部解釋可以進一步分為近似解釋和基于實例的解釋。近似方法在模型預測需要解釋的數據點附近抽取新的數據點(以下稱為explainee數據點),然后擬合線性模型(如LIME[92])或從中提取規則集(如錨[93])。基于實例的方法尋求在被解釋數據點附近找到數據點。它們要么以與被解釋數據點具有相同預測的數據點的形式提供解釋,要么以預測與被解釋數據點不同的數據點的形式提供解釋。請注意,后一種數據點仍然接近于被解釋的數據點,被稱為“反事實解釋”。
回想一下申請貸款的申請人的用例。對于貸款請求被拒絕的個人,反事實的解釋為他們提供反饋,幫助他們改變自己的特征,以過渡到決策邊界的理想一面,即獲得貸款。這樣的反饋被稱為可執行的。與其他幾種解釋技術不同,反事實解釋不能明確回答決策中的“為什么”部分;相反,他們提供建議以達到預期的結果。反事實解釋也適用于黑箱模型(只有模型的預測功能是可訪問的),因此不限制模型的復雜性,也不要求模型披露。它們也不一定能近似底層模型,從而產生準確的反饋。由于反事實解釋具有直覺性,因此也符合法律框架的規定(見附錄C)。
在這項工作中,我們收集、審查和分類了最近的39篇論文,提出了算法,以產生機器學習模型的反事實解釋。這些方法大多集中在表格或基于圖像的數據集上。我們在附錄b中描述了我們為這項調查收集論文的方法。我們描述了這個領域最近的研究主題,并將收集的論文按照有效的反事實解釋的固定需求進行分類(見表1)。
隨著機器學習模型越來越多地用于在醫療保健和刑事司法等高風險環境中幫助決策者,確保決策者(最終用戶)正確理解并因此信任這些模型的功能是很重要的。本報告旨在讓學生熟悉可解釋和可解釋ML這一新興領域的最新進展。在本報告中,我們將回顧該領域的重要論文,理解模型可解釋和可解釋的概念,詳細討論不同類別的可解釋模型(如基于原型的方法、稀疏線性模型、基于規則的技術、廣義可加性模型),事后解釋(黑箱解釋包括反事實解釋和顯著性圖),并探索可解釋性與因果關系、調試和公平性之間的聯系。該課程還將強調各種應用,可以極大地受益于模型的可解釋性,包括刑事司法和醫療保健。
人工智能(AI)為改善私人和公共生活提供了很多機會,以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件,目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而,這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策,以便我們能夠信任它們?在這個報告中,我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中,可以特別理解本報告的目的。然而,隨著方法的日益普及和復雜性,業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地,數據科學從業者通常不知道來自學術文獻的方法,或者可能很難理解不同方法之間的差異,所以最終使用行業標準,比如SHAP。在這里,我們進行了一項調查,以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域,并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述,并討論她如何通過提出正確的問題來解釋模型。
深度學習方法對各種醫學診斷任務都非常有效,甚至在其中一些任務上擊敗了人類專家。然而,算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發,討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。
隨著機器學習模型越來越多地用于在醫療保健和刑事司法等高風險環境中幫助決策者,確保決策者(最終用戶)正確理解并信任這些模型的功能非常重要。我們將回顧了解模型的可解釋性和explainability的概念,詳細討論不同類型的可說明的模型(例如,基于原型方法,稀疏線性模型、基于規則的技術,廣義可加模型),事后解釋(黑箱解釋,包括反事實解釋和顯著性映射),并探索可解釋性與因果性、調試和公平性之間的聯系。可解釋機器學習這些應用可以極大地受益于模型的可解釋性,包括刑事司法和醫療保健。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告,講述了XAI概念、方法以及面臨的挑戰和經驗教訓。
人工智能在我們的日常生活中扮演著越來越重要的角色。此外,隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及,人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見,以及對模型透明性和可解釋性的需求。此外,模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。
因此,人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上,以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性,(ii) 為理解模型行為制定可解釋性任務,并為這些任務開發解決方案,最后 (iii)設計評估模型在可解釋性任務中的性能的措施。
在本教程中,我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后,我們將關注可解釋性技術在工業中的應用,在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針,以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究,涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后,根據我們在工業界的經驗,我們將確定數據挖掘/機器學習社區的開放問題和研究方向。