隨著機器學習模型越來越多地用于在醫療保健和刑事司法等高風險環境中幫助決策者,確保決策者(最終用戶)正確理解并信任這些模型的功能非常重要。我們將回顧了解模型的可解釋性和explainability的概念,詳細討論不同類型的可說明的模型(例如,基于原型方法,稀疏線性模型、基于規則的技術,廣義可加模型),事后解釋(黑箱解釋,包括反事實解釋和顯著性映射),并探索可解釋性與因果性、調試和公平性之間的聯系。可解釋機器學習這些應用可以極大地受益于模型的可解釋性,包括刑事司法和醫療保健。
深度學習方法對各種醫學診斷任務都非常有效,甚至在其中一些任務上擊敗了人類專家。然而,算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發,討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告,講述了XAI概念、方法以及面臨的挑戰和經驗教訓。
人工智能在我們的日常生活中扮演著越來越重要的角色。此外,隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及,人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見,以及對模型透明性和可解釋性的需求。此外,模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。
因此,人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上,以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性,(ii) 為理解模型行為制定可解釋性任務,并為這些任務開發解決方案,最后 (iii)設計評估模型在可解釋性任務中的性能的措施。
在本教程中,我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后,我們將關注可解釋性技術在工業中的應用,在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針,以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究,涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后,根據我們在工業界的經驗,我們將確定數據挖掘/機器學習社區的開放問題和研究方向。
機器學習(ML)模型現在經常應用于從刑事司法到醫療保健的各個領域。隨著這種新發現的普遍性,ML已經超越了學術界,發展成為一門工程學科。為此,解釋工具設計來幫助數據科學家和機器學習實踐者更好地理解ML模型的工作方式。然而,很少有人評估這些工具在多大程度上實現了這一目標。我們研究數據科學家對兩種現有的可解釋性工具的使用,即GAMs的解釋性ml實現和SHAP Python包。我們對數據科學家進行了背景調查(N=11)和調查(N=197),以觀察他們如何使用可解釋性工具來發現在構建和評估ML模型時出現的常見問題。我們的結果表明,數據科學家過度信任和濫用解釋工具。此外,很少有參與者能夠準確地描述這些工具的可視化輸出。我們為數據科學家的可解釋工具心智模型強調定性主題。我們總結了對研究人員和工具設計者的啟示,并將我們的發現置于社會科學文獻的背景中。
題目: A Hierarchy of Limitations in Machine Learning
簡介:
“所有模型都是錯誤的,但有些模型是有用的,”喬治·E·普·博克斯(George E. P. Box)(1979)說。 機器學習專注于概率模型在社會系統中進行預測的有用性,但是直到現在才掌握了這些模型錯誤的方式以及這些缺點的后果。 本文嘗試對機器學習模型在應用于社會時的特定概念,過程和統計局限性進行全面,結構化的概述。 機器學習建模者本身可以使用所描述的層次結構來識別可能的故障點,并思考如何解決這些故障點,并且機器學習模型的使用者在面對有關是否,在何處以及如何應用機器學習的決策時可以知道要問什么。 局限性從量化本身固有的承諾到顯示未建模的依存關系如何導致交叉驗證作為評估模型性能的方式過于樂觀的局限性。
目錄:
機器學習可解釋性,Interpretability and Explainability in Machine Learning