論文題目: Definitions, methods, and applications in interpretable machine learning
論文摘要:
機器學習模型在學習復雜模式方面取得了巨大的成功,這些模式使機器能夠對未觀察到的數據做出預測。除了使用模型進行預測外,解釋模型所學內容的能力正受到越來越多的關注。然而,這種關注的增加導致了對可解釋性概念的相當大的混淆。特別是,目前還不清楚所提出的各種解釋方法是如何相互聯系的,以及可以用什么共同的概念來評價這些方法。我們的目標是通過定義機器學習環境中的可解釋性,并引入預測、描述和相關(PDR)框架來討論解釋性,從而解決這些問題。PDR框架為評估提供了3個主要的需求:預測準確性、描述準確性和相關性,以及相對于人類受眾判斷的相關性。此外,為了幫助管理大量的解釋方法,我們將現有的技術分為基于模型的和特定的類別,包括稀疏性、模塊化性和可模擬性。為了證明從業者如何使用PDR框架來評估和理解解釋,我們提供了大量的實際例子。這些例子突出了人類觀眾在討論可解釋性時常常被低估的作用。最后,基于我們的框架工作,我們討論了現有方法的局限性和未來工作的方向。我們希望這項工作將提供一個共同的詞匯,使從業者和研究人員更容易地討論和選擇全面的解釋方法。
論文作者:
W. James Murdoch是加州大學伯克利分校研究生,研究興趣為可解釋性,機器學習,自然語言處理和因果推理。
Chandan Singh在伯克利攻讀博士學位,研究計算系統,研究范圍是機器學習、可解釋性、計算神經科學。
【導讀】可解釋性是當下機器學習研究特點之一。最近,來自復旦大學的研究生朱明超,將業界《Interpretable Machine Learning》(可解釋機器學習)翻譯成了中文。
可解釋機器學習:打開黑盒之謎(238頁書籍下載)
這本書最初是由德國慕尼黑大學博士Christoph Molnar耗時兩年完成的,長達250頁,是僅有的一本系統介紹可解釋性機器學習的書籍。
這本書最初是由Christoph Molnar耗時兩年完成的《Interpretable Machine Learning》,長達250頁,在公開至今該書得到密切關注,這是在可解釋性領域可以找到的僅有的一本書。
這本書由復旦大學朱明超完成它的翻譯和校正工作,目前已經開源放到GitHub網頁上,《可解釋的機器學習》。作者Christoph Molnar 在其后也發到了推特上。
“可解釋”是這本書的核心論題。作者Molnar認為,可解釋性在機器學習甚至日常生活中都是相當重要的一個問題。建議機器學習從業者、數據科學家、統計學家和任何對使機器學習模型可解釋的人閱讀本書。
Molnar表示,雖然數據集與黑盒機器學習解決了很多問題,但這不是最好的使用姿勢,現在模型本身代替了數據成為了信息的來源,但可解釋性可以提取模型捕捉到的額外信息。當我們的日常生活中全都是機器和算法時,也需要可解釋性來增加社會的接受度。畢竟要是連科學家都研究不透“黑盒”,怎樣讓普通人完全信任模型做出的決策呢?
這本書的重點是機器學習的可解釋性。你將學習簡單的、可解釋的模型,如線性回歸、決策樹和決策規則等。后面幾章重點介紹了解釋黑盒模型的模型無關的一般方法,如特征重要性和累積局部效應,以及用 Shapley 值和 LIME 解釋單個實例預測。
對各種解釋方法進行了深入的解釋和批判性的討論。它們是如何工作的?優點和缺點是什么?如何解釋它們的輸出?本書將使你能夠選擇并正確應用最適合你的機器學習項目的解釋方法。你閱讀本書后,內化知識還使你能夠更好地理解和評估arxiv.org上發表的有關可解釋性的新論文。
這本書中用許多平實的語言,結合各類現實生活中的例子介紹了相關的概念,還配了參考鏈接可以進一步學習了解。
《可解釋的機器學習》該書總共包含 7 章內容。章節目錄如下:
傳送門 GitHub://github.com/MingchaoZhu/InterpretableMLBook
簡介: 機器學習可解釋性的新方法以驚人的速度發布。與所有這些保持最新將是瘋狂的,根本不可能。這就是為什么您不會在本書中找到最新穎,最有光澤的方法,而是找到機器學習可解釋性的基本概念的原因。這些基礎知識將為您做好使機器學??習模型易于理解的準備。
可解釋的是使用可解釋的模型,例如線性模型或決策樹。另一個選擇是與模型無關的解釋工具,該工具可以應用于任何監督的機器學習模型。與模型不可知的章節涵蓋了諸如部分依賴圖和置換特征重要性之類的方法。與模型無關的方法通過更改機器學習的輸入來起作用建模并測量輸出中的變化。
本書將教您如何使(監督的)機器學習模型可解釋。這些章節包含一些數學公式,但是即使沒有數學知識,您也應該能夠理解這些方法背后的思想。本書不適用于嘗試從頭開始學習機器學習的人。如果您不熟悉機器學習,則有大量書籍和其他資源可用于學習基礎知識。我推薦Hastie,Tibshirani和Friedman(2009)撰寫的《統計學習的要素》一書和Andrewra Ng在Coursera3上開設的“機器學習”在線課程,著手進行機器學習。這本書和課程都是免費的!在本書的最后,對可解釋機器學習的未來前景持樂觀態度。
目錄:
題目: Graph Summarization Methods and Applications: A Survey
摘要:
雖然計算資源的進步使處理大量數據成為可能,但人類識別這些數據模式的能力并沒有相應提高。因此,壓縮和簡化數據的高效計算方法對于提取可操作的見解變得至關重要。特別是,雖然對數據摘要技術進行了廣泛的研究,但直到最近才開始流行對相互關聯的數據或圖進行匯總。這項調查是一個結構化的,全面的概述了最先進的方法,以總結圖形數據。我們首先討論了圖形摘要背后的動機和挑戰。然后,我們根據作為輸入的圖形類型對摘要方法進行分類,并根據核心方法進一步組織每個類別。最后,我們討論了總結在真實世界圖上的應用,并通過描述該領域的一些開放問題進行了總結。
作者簡介:
Yike Liu是密西根大學物理系五年級的博士生,也是計算機科學與工程系的一名碩士研究生。我是葉杰平教授的顧問。主要研究方向是深度學習和強化學習,尤其是在交通數據上的應用。在此之前,從事過基于圖形的機器學習和數據挖掘,特別是圖形總結和圖形聚類,在這些工作中,開發了圖形挖掘算法,幫助更好地理解底層的圖形組織并理解它。
Tara Safavi是密西根大學博士研究生,研究重點是知識表示及其在以人為中心的任務中的使用、評估和解釋,還對更廣泛的AI+社會問題感興趣,比如隱私、偏見和環境可持續性。研究目前得到了美國國家科學基金會(NSF)研究生獎學金和谷歌女性科技創造者獎學金的支持。
題目: Causal Inference and Stable Learning
簡介:
在一個常見的機器學習問題中,使用一個根據訓練數據集估計的模型,根據觀察到的特征來預測未來的結果值。當測試數據和訓練數據來自相同的分布時,許多學習算法被提出并證明是成功的。然而,對于給定的訓練數據分布,性能最好的模型通常利用特征之間微妙的統計關系,這使得它們在應用于測試數據時更容易出現預測錯誤,因為測試數據的分布與訓練數據的分布不同。對于學術研究和實際應用來說,如何建立穩定、可靠的學習模型是至關重要的。因果推理是一種強大的統計建模工具,用于解釋和穩定的學習。因果推理是指基于某一效應發生的條件,對某一因果關系做出結論的過程。在本教程中,我們將重點討論因果推理和穩定學習,旨在從觀察數據中探索因果知識,以提高機器學習算法的可解釋性和穩定性。首先,我們將介紹因果推理,并介紹一些最近的數據驅動的方法來估計因果效應的觀測數據,特別是在高維設置。摘要為了彌補因果推理與機器學習在穩定學習上的差距,我們首先給出了學習算法的穩定性和魯棒性的定義,然后介紹了一些最近出現的穩定學習算法,以提高預測的穩定性和可解釋性。最后,我們將討論穩定學習的應用和未來方向,并為穩定學習提供基準。
邀請嘉賓:
張潼,香港科技大學計算機科學與數學教授。此前,他是羅格斯大學(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和騰訊(Tencent)工作。張潼的研究興趣包括機器學習算法和理論、大數據統計方法及其應用。他是ASA和IMS的研究員,曾在主要機器學習期刊的編委會和頂級機器學習會議的項目委員會任職。張潼在康奈爾大學獲得數學和計算機科學學士學位,在斯坦福大學獲得計算機科學博士學位。
崔鵬,清華大學計算機系長聘副教授,博士生導師。2010年于清華大學計算機系獲得博士學位。研究興趣包括社會動力學建模、大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域高水平會議和期刊發表論文60余篇,曾5次獲得頂級國際會議或期刊論文獎,并先后兩次入選數據挖掘領域頂級國際會議KDD最佳論文專刊。目前擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔尖人才,并當選中國科協全國委員會委員。
機器學習模型經常被批評是技術黑箱:只要輸入數據就能得到正確答案,但卻無法對其進行解釋。Christoph Molnar在其新書中呼吁大家當前是時候停止將機器學習模型視為黑盒子,在學會運用模型的同時更應去學會分析模型如何做出決策,并給出了將黑盒變得具有可解釋性的討論。
Machine-learning models have demonstrated great success in learning complex patterns that enable them to make predictions about unobserved data. In addition to using models for prediction, the ability to interpret what a model has learned is receiving an increasing amount of attention. However, this increased focus has led to considerable confusion about the notion of interpretability. In particular, it is unclear how the wide array of proposed interpretation methods are related, and what common concepts can be used to evaluate them. We aim to address these concerns by defining interpretability in the context of machine learning and introducing the Predictive, Descriptive, Relevant (PDR) framework for discussing interpretations. The PDR framework provides three overarching desiderata for evaluation: predictive accuracy, descriptive accuracy and relevancy, with relevancy judged relative to a human audience. Moreover, to help manage the deluge of interpretation methods, we introduce a categorization of existing techniques into model-based and post-hoc categories, with sub-groups including sparsity, modularity and simulatability. To demonstrate how practitioners can use the PDR framework to evaluate and understand interpretations, we provide numerous real-world examples. These examples highlight the often under-appreciated role played by human audiences in discussions of interpretability. Finally, based on our framework, we discuss limitations of existing methods and directions for future work. We hope that this work will provide a common vocabulary that will make it easier for both practitioners and researchers to discuss and choose from the full range of interpretation methods.