可解釋性是構建可信人工智能系統的必要元素。來自普渡大學等幾位學者在SIGMOD2022《可解釋的人工智能》教程,130+PPT闡述XAI的基礎、應用、機會,非常值得關注!
算法決策系統被成功地應用于各種領域的不同任務。雖然算法決策的潛在好處很多,但信任這些系統的重要性直到最近才引起關注。人們越來越擔心這些系統復雜、不透明、不直觀,因此難以信任。最近,人們對可解釋人工智能(XAI)的興趣重新升溫。XAI旨在通過解釋模型的行為、預測或兩者兼有來減少模型的不透明性,從而使人類能夠仔細檢查并信任模型。近年來,針對模型的可解釋性和透明性問題,出現了一系列的技術進步和解釋方法。在本教程中,我們將介紹這些新穎的解釋方法,描述它們的優勢和局限性,將現有工作與數據庫(DB)社區聯系起來,并列舉在XAI環境下進行數據管理研究的機會。
引言
人工智能(AI)系統越來越多地用于關鍵領域的決策,如醫療保健、刑事司法和金融。然而,這些系統的不透明性和復雜性構成了新的威脅。越來越多的人擔心,這些系統的不透明可能會造成培訓數據[37]中反映的系統性偏見和歧視,從而損害分布在不同社會階層的利益攸關方。這些對透明度的呼吁重新激起了人們對可解釋人工智能(XAI -參見[50]最近的一項調查)的興趣,它旨在為算法決策系統的結果或過程提供人類可以理解的解釋。
XAI方法的發展受到技術、社會和倫理目標的推動[9,14,36,38,44]: (1)通過建立對決策結果的信任,提高社會對基于機器學習(ML)的決策算法的接受程度;(2)為用戶提供可操作的見解,以在未來改變算法的結果;(3)促進識別偏見和歧視等危害來源;(4)通過識別導致不利和意外行為的訓練數據中的錯誤或偏差,提供調試ML算法和模型的能力。政府法規要求企業使用自動化決策系統向最終用戶解釋其決策,進一步加劇了這一問題的緊迫性[1,16]。最近,人們提出了幾種方法來解釋ML模型的行為或預測。這些方法可以大致分為以下幾類:(a)可解釋性是通過設計(內在)還是通過事后系統分析(外在)實現的,(b)方法是否假設訪問系統內部(模型相關)或可以應用于任何黑箱算法系統(模型無關),以及(c)方法生成的解釋是否迎合對單個實例的預測(局部),解釋模型的整體行為(全局)或介于這兩個極端之間。
在本教程中,我們將詳細介紹當代XAI技術,并強調它們的優點和局限性。與現有的XAI教程相比,我們將在數據庫社區的背景下討論XAI的范圍,并概述一組利用XAI進展的數據管理研究的挑戰和機會,并為XAI研究的挑戰做出貢獻。本教程的學習結果如下。
涵蓋范圍
根據現有XAI技術[50]生成的結果,可以根據多個維度來解釋模型及其預測。目前有各種各樣的技術可以解決這些可解釋性的不同維度。例如,一些方法提供了代表用于訓練模型的數據的特征的全面總結,一些返回數據點以使模型可解釋,一些用固有的可解釋模型來近似模型,等等。本教程分為五個主題,涵蓋了這些不同維度的代表性技術。每個專題的內容總結如下。
2.1基于特征的解釋
解釋黑盒模型的一種常見方法是將模型輸出的責任歸因于它的輸入。這種方法類似于提供輸入特征的重要性。例如,在線性回歸的情況下,學習線性方程中的特征的系數可以作為特征重要性的指標。為訓練數據中的所有特征分配一個實數的最終目標可以通過多種方式實現。此外,該數字還可以表示該特征影響的程度和方向。我們將在本教程中介紹以下特征屬性方法。
2.2 基于規則的解釋
基于特征屬性的方法為每個特征值分配一個實值重要性分數。相反,基于規則的解釋生成一組規則作為對模型行為的解釋。輸出規則集滿足一個共同屬性,即只要遵守這些規則,模型就會提供一個特定的結果。理想情況下,這些規則應該簡明扼要,并適用于大量數據點。較長的規則(超過5個從句)是不可理解的,而非常具體的規則是不可概括的。錨[54]是一種試圖生成簡短且廣泛適用的規則的方法。它使用一種基于多武裝匪徒的算法來搜索這些規則。Lakkaraju等人使用可解釋的決策集來獲得一組if-then規則,這些規則可以用來解釋黑盒模型[43]。它們的目標函數旨在平衡和優化這些決策集的準確性和可解釋性。
2.3 基于訓練數據的解釋
與特征歸因方法相比,基于訓練數據的方法將ML算法的輸出歸為訓練數據集[10]的特定實例。基于數據的解釋的核心思想是,訓練數據影響模型,從而間接影響模型預測的結果。為了理解模型的預測,基于數據的解釋可以將模型參數和預測追溯到用于訓練模型的訓練數據。這些方法不是根據數據的特征(例如,年齡,性別等),而是根據特定的數據點(例如,列舉20個數據點負責特定的模型輸出)來解釋模型的行為。基于數據的解釋有助于調試ML模型,理解和解釋模型行為和模型預測。在本教程中,我們將介紹以下基于訓練數據的方法。
2.4 對非結構化數據的解釋
深度學習已經非常成功,特別是在圖像分類和涉及圖像和文本的語言翻譯等任務中。盡管現有的XAI方法主要關注結構化數據,但在解釋ML模型預測優于非結構化數據方面已經取得了重大進展。例如,對圖像分類模型的解釋可以在各種名稱下找到,如敏感性地圖、顯著性地圖、像素屬性地圖、基于梯度的屬性方法、特征相關性、特征屬性和特征貢獻[50]。這些解釋通常會根據輸入像素對分類結果的重要性突出并排序。然而,單個像素可能對分類器的結果沒有很大的直接影響,但可以通過貢獻神經網絡從原始像素學習到的抽象特征和概念,間接影響其結果。已有研究表明,這些方法的計算成本很高,而且極易引起誤解、脆弱和不可靠[2,22,52]。類似地,可以將LIME[53]應用于文本數據,以識別解釋文本分類模型結果的特定單詞。計算機視覺中另一種流行的解釋類型是反事實解釋,這種解釋是通過改變圖像的最小區域產生的,從而導致分類結果的改變[72]。在本教程中,我們將關注結構化數據,因為它與DB社區更相關。
[1] 2016. Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation). (2016). [2] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian J. Goodfellow, Moritz Hardt, and Been Kim. 2018. Sanity Checks for Saliency Maps. In Advances in NeuralInformation Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada, Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kristen Grauman, Nicolò Cesa-Bianchi, and Roman Garnett (Eds.). 9525–9536. [3] Rakesh Agrawal, Tomasz Imieliński, and Arun Swami. 1993. Mining association rules between sets of items in large databases. In Proceedings of the 1993 ACM SIGMOD international conference on Management of data. 207–216. [4] Rakesh Agrawal, Ramakrishnan Srikant, et al. 1994. Fast algorithms for mining association rules. PVLDB.
系統介紹可信推薦系統構建與技術
推薦系統(RS)服務于以人為中心的人工智能的最前沿,被廣泛部署在web的幾乎每個角落,并促進了人類的決策過程。然而,盡管RS具有巨大的能力和潛力,但它也可能會對用戶、物品、生產者、平臺,甚至整個社會產生不利影響,例如由于不透明而損害用戶信任,對不同消費者或生產者的不公平對待,因個性化廣泛使用用戶私人數據而造成的隱私問題,等等。所有這些都導致了對可信推薦系統(TRS)的迫切需求,以減輕或避免這些不利影響和風險。在本次綜述中,我們將介紹值得信賴和負責任推薦的相關技術,包括但不限于可解釋推薦、推薦公平性、隱私感知推薦、推薦穩健性、用戶可控推薦,以及這些不同視角在值得信賴和負責任推薦中的關系。我們希望通過此次綜述,讓讀者對研究領域有一個全面的認識,并引起社會對可信推薦的重要性、已有的研究成果和未來的研究方向的關注。
推薦系統(RS)廣泛應用于各種系統,如電子商務、社交網絡、搜索引擎、新聞門戶、招聘平臺、智能助手、智能家居和智能城市服務,以及醫療保健和金融應用,其提供高質量服務的能力已得到公認,通過為每個人提供量身定制的內容,彌合用戶和項目之間的差距。推薦系統不僅可以幫助用戶更高效地找到相關信息,還可以通過提供相關建議來直接影響人類的決策過程,甚至可以通過將所選擇的內容暴露給用戶來塑造用戶的世界觀。總的來說,推薦系統是以人類為中心的AI研究的前沿,是人類和AI之間的橋梁。
然而,RS有利有弊,它既可能帶來希望,也可能帶來風險。越來越多的人擔心,不負責任地使用推薦技術可能會帶來反作用和不可信的問題,例如不透明導致用戶信任受損,不同用戶、生產者或平臺受到不公平對待,大量使用用戶隱私數據進行個性化帶來的隱私問題,用戶缺乏可變性導致用戶已有興趣的反復強化而產生的回音室——這些問題還在繼續擴大。這些漏洞極大地限制了推薦算法的開發和部署,甚至可能導致嚴重的經濟和社會問題。因此,在開發現代推薦系統時,僅僅考慮推薦準確度是不夠的。我們還需要確保模型是公平的,沒有被篡改,不會在不同的條件下崩潰,可以被人類理解。此外,RS的設計和開發過程也需要透明和包容。除了準確性之外,所有這些使推薦系統安全、負責、值得我們信任的考慮因素都與值得信賴的推薦系統研究有關。由于推薦系統是以人為中心的人工智能研究的一個重要方向,直接涉及到人類的循環,值得信賴的推薦系統(TRS)在過去的幾年里一直領導著值得信賴的人工智能(TAI)的研究,包括可信性、公平性、魯棒性、隱私等方面的定義、方法和評估,以及人類如何與值得信賴的人工智能系統進行交互。
因此,作為推薦系統研究背景下值得信賴人工智能的一個重要實例,在本綜述中,我們將值得信賴的推薦系統引入為可解釋性、公平性、隱私性、魯棒性和可控性等可信賴核心方面的勝任RS。我們相信,在設計推薦系統時,將這些方面結合起來,將提高推薦系統的責任感,獲得人類用戶的信任,并顯著促進推薦系統的社會效益。與現有綜述的差異。最近已經有一些針對推薦場景中特定倫理問題的綜述,如可解釋性[61,340]、偏見和公平[54,77,178,225,288,328]、隱私保護[140,308]、用戶可控性[142,143]等。這些調查成功地強調了推薦系統社會責任的重要性,導致了這一重要研究方向的進一步發展。然而,這些問題只是以各自獨立的方式呈現出來,而對推薦中的可信度以及各種可信度觀點之間的內在關系的系統認識是非常必要的。與我們的研究最接近的是Dong等人[82]和Mobasher等人[207]。然而,【82】只涉及用戶社會關系、魯棒性和可解釋性,【207】只討論了推薦中的攻擊模型和算法魯棒性,并沒有考察這些概念之間的內在關系。相比之下,我們的工作在更全面的視角上引入了可信度,強調了視角之間的關系,并闡明了探索視角交叉的開放性問題和未來方向。
**與其他值得信賴的人工智能研究的關系。**由于它的重要性和必要性,關于值得信賴的人工智能(TAI)的含義有很多討論和爭論。特別是Toreini等人[273]研究了人工智能的信任,并將人工智能的屬性總結為能力、仁慈、正直和可預測性;Varshney[280]認為,一個值得信賴的機器學習系統應該具有足夠的基本性能、可靠性、人類互動和無私性;Liu等人[186]認為TAI是一種無威脅或無風險的項目,并關注實現可信度的六個維度:安全性與穩健性、非歧視與公平、可解釋性、隱私性、問責性與可審計性以及環境福祉。此外,在2019年,歐盟(EU)提出了《值得信賴的AI1倫理準則》,要求人工智能系統應滿足四項倫理原則:尊重人類自主權、防止傷害、可解釋性和公平性[6]。雖然現有文獻從不同角度探討了誠信的空間,但得到最多認可和共識的幾個關鍵方面是可解釋性、公平性、隱私性、魯棒性和可控性,我們認為這些也是TRS的關鍵組成部分。
該綜述的主要讀者是RS的研究人員、技術人員和專業人員,他們的目標是使推薦系統更值得信賴和負責任。另一方面,由于推薦系統是一個非常具有代表性和普遍性的以人為中心的AI系統,因此綜述的目標讀者還包括一般AI研究人員、實踐者、理論家以及對AI的可信度、倫理和法規感興趣的公共決策者。余下的綜述安排如下:第2節介紹了推薦系統的初步知識和一些有代表性的推薦算法。第3、4、5、6、7節分別關注可解釋性、公平性、隱私性、穩健性和可控性。最后一部分是對全文的總結。
可解釋性
可解釋推薦一直是業界和學術界的一個重要領域,旨在提高推薦系統的透明度、用戶滿意度和可信度[340,341]。具體來說,目標是提供可理解的理由以及推薦的項目,以幫助利益相關者做出更好和可靠的決策,同時提高推薦系統的透明度和可信度。推薦系統中的解釋可以幫助模型開發人員理解和調試決策過程的工作機制,也可以促進使用系統產生的結果的最終用戶更好地參與和信任。除了基于web門戶的推薦系統,解釋也被集成到對話式推薦界面中,如蘋果Siri、微軟Cortana和亞馬遜Alexa,作為終端用戶的直接交互門戶[62]。它們能夠提供清晰的用戶偏好,智能地與用戶進行交互,并結合一定的建議提供解釋。
公平性
長期以來,推薦系統一直被認為是“善意”的系統,它幫助用戶(例如,通過幫助他們找到相關的物品),并為企業創造價值(例如,提高銷售額或提高客戶留存率)[141]。然而,近年來,學術界和產業界都對建議書中的公平性問題提出了相當大的關注[178]。一些研究認為,RS可能在幾個方面容易受到不公平的影響,這可能會對代表性不足或弱勢群體造成不利后果[109,176,180,254]。例如,在電子商務系統中,RS可能主要促進某些生產者的利潤最大化[103],或者在在線就業市場中,RS可能會導致種族或性別歧視,不成比例地向某些用戶群體推薦低報酬的工作[109]。因此,為了提高RS[2]中不同利益相關者的滿意度,研究推薦中的公平性,建立可信負責的制度是很重要的。
隱私
隨著人們對收集和分析個人數據的機器學習方法的日益關注,數據隱私的道德需求已在強制性法規和法律中得到正式承認[22,281]。因此,近年來保護隱私的機器學習的研究得到了長足的發展[185]。人們相信,一個更值得信賴的網絡服務應該提供保護隱私的解決方案,以避免系統的任何參與者不希望的信息暴露。在推薦系統和一般的機器學習領域中,都存在多種隱私定義[5,148,255,257],在大多數情況下,它們具有相同的成分:
魯棒性
雖然推薦系統提高了信息搜索的效率,對客戶和生產者都有好處,但它也可能使系統的用戶在魯棒性方面受到威脅,這為第三方通過配置文件注入攻擊(又稱先令攻擊)操縱用戶的推薦結果留下了空間。這些攻擊的動機往往是惡意的,例如個人獲得不正當利潤、滲透某些商品/品牌的市場,甚至造成系統故障。由于推薦系統已經在許多高風險決策場景中被采用,這種漏洞引發了人們對如何在推薦系統中安全地采用機器學習技術的擔憂,以及如何精心設計推薦系統,使其在抵御攻擊者[13]的侵入時具有魯棒性和可信性的擔憂。
可控性
人工智能的可控性是人類面臨的最重要的問題之一[313],它是用戶與智能系統交互時必不可少的,在人機交互(HCI)領域已經研究了20多年[11,276]。在與人類互動的推薦系統中[154,199,245,250,258],可控性的重要性不可忽視。然而,盡管最近推薦性能有了成功的改進,但推薦系統中的可控性問題已經成為一個新的主要問題:目前大多數的RS大多是系統用戶不可控的,用戶只能被動地接收推薦結果。更具體地說,在使用非可控推薦系統時,用戶只能被動地選擇接受或不接受推薦結果,而很難控制自己收到的推薦結果是什么,更重要的是控制推薦系統對自己的了解。事實上,可控性是構建值得信賴的推薦系統的一個重要方面。最近的研究表明,即使推薦精度很高,用戶也可能不滿意[128,198],增加用戶對推薦系統的可控性可以增加用戶對推薦結果的滿意度和信任度[133,142,146,153,197,305,340]。
結論
本綜述總結了當前可信推薦系統研究的發展和趨勢,旨在促進和推進未來可信推薦系統的研究和實施。本綜述從技術角度為全面開發值得信賴的推薦系統提供了路線圖。我們首先定義推薦系統的可信性,并通過對可信性原則的分類來說明它們的特點。隨后,我們從可解釋性、公平性、隱私性、可控性和魯棒性等方面介紹并討論了可信推薦系統的最新進展。我們描述了每個組成部分的基本思想,詳細概述了每個組成部分的現有方法,并建議了這些組成部分未來的研究方向,特別是從跨方面的角度。總的來說,值得信賴的推薦系統的研究領域是重要的,并且隨著一系列不同的方法和應用而蓬勃發展,同時,使推薦系統負責任和值得我們信任是我們的研究界需要應對的最大挑戰之一。我們希望這項綜述能夠為這一領域感興趣的研究人員提供足夠的背景和知識來迎接這一挑戰。
來自華為的研究人員在KDD2021上將給出關于反事實解釋與XAI的教程,非常值得關注!
深度學習在許多領域都顯示出了強大的性能,但其黑箱特性阻礙了其進一步的應用。作為回應,可解釋人工智能應運而生,旨在解釋深度學習模型的預測和行為。在眾多的解釋方法中,反事實解釋被認為是最好的解釋方法之一,因為它與人類的認知過程相似:通過構建對比情境來進行解釋,人類可以認知地展示差異來解釋其背后的機制。
在本教程中,我們將介紹反事實解釋的認知概念和特點,反事實解釋的計算形式,主流方法,以及在不同解釋設置下的各種適應。此外,我們將展示幾個流行研究領域的反事實解釋的典型用例。最后,根據實踐,我們概述了反事實解釋的潛在應用,如數據增強或對話系統。我們希望本教程能幫助參與者對反事實解釋有一個大致的了解。
//sites.google.com/view/kdd-2021-counterfactual
反事實思維是人類理解世界的基本方式之一,因此,用反事實來解釋機器學習和深度學習模型成為近年來的流行[4]。一個反事實的解釋描述了一種因果情況,其形式為:“如果X沒有發生,Y就不會發生”[20]。Judea pearl 將反事實定義為對“如果發生了什么”問題[15]的概率回答。反事實陳述是尋找特征值的最小變化,以便它可以將預測變成期望的輸出。對于黑箱人工智能模型,反事實解釋通常是通過從數據集中檢索數據樣本或通過擾動原始輸入的特征生成樣本,使這些數據樣本的模型輸出與原始輸出相矛盾來獲得。由于計算和應用以及反事實解釋都與數據挖掘或數據處理密切相關,我們認為反事實解釋符合數據挖掘社區的興趣,因此值得在本教程中介紹。
幫助人類理解AI/ML模型及其預測的工具和方法集的高級指南。
我們給出了一個關于調查透明度和可解釋性的前沿教程,因為它們與NLP有關。研究團體和業界都在開發新的技術,以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告,我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后,我們將討論NLP任務的可解釋性,并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究,該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。
自然語言處理中可解釋AI的現狀調研
近年來,最領先的模型在性能上取得了重要的進步,但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述,在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類,以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術,以作為社區中模型開發人員的資源。最后,我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。
人工智能(AI)為改善私人和公共生活提供了很多機會,以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件,目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而,這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策,以便我們能夠信任它們?在這個報告中,我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中,可以特別理解本報告的目的。然而,隨著方法的日益普及和復雜性,業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地,數據科學從業者通常不知道來自學術文獻的方法,或者可能很難理解不同方法之間的差異,所以最終使用行業標準,比如SHAP。在這里,我們進行了一項調查,以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域,并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述,并討論她如何通過提出正確的問題來解釋模型。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告,講述了XAI概念、方法以及面臨的挑戰和經驗教訓。
人工智能在我們的日常生活中扮演著越來越重要的角色。此外,隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及,人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見,以及對模型透明性和可解釋性的需求。此外,模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。
因此,人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上,以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性,(ii) 為理解模型行為制定可解釋性任務,并為這些任務開發解決方案,最后 (iii)設計評估模型在可解釋性任務中的性能的措施。
在本教程中,我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后,我們將關注可解釋性技術在工業中的應用,在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針,以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究,涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后,根據我們在工業界的經驗,我們將確定數據挖掘/機器學習社區的開放問題和研究方向。
機器學習(ML)模型現在經常應用于從刑事司法到醫療保健的各個領域。隨著這種新發現的普遍性,ML已經超越了學術界,發展成為一門工程學科。為此,解釋工具設計來幫助數據科學家和機器學習實踐者更好地理解ML模型的工作方式。然而,很少有人評估這些工具在多大程度上實現了這一目標。我們研究數據科學家對兩種現有的可解釋性工具的使用,即GAMs的解釋性ml實現和SHAP Python包。我們對數據科學家進行了背景調查(N=11)和調查(N=197),以觀察他們如何使用可解釋性工具來發現在構建和評估ML模型時出現的常見問題。我們的結果表明,數據科學家過度信任和濫用解釋工具。此外,很少有參與者能夠準確地描述這些工具的可視化輸出。我們為數據科學家的可解釋工具心智模型強調定性主題。我們總結了對研究人員和工具設計者的啟示,并將我們的發現置于社會科學文獻的背景中。