隨著機器學習黑盒越來越多地部署在醫療保健和刑事司法等領域,人們越來越重視構建工具和技術,以事后方式解釋這些黑盒。這些解釋正被領域專家用來診斷系統性錯誤和黑盒的潛在偏見。然而,最近的研究揭示了流行的事后解釋技術的弱點。在本教程中,我將簡要概述事后解釋方法,特別強調特征歸因方法,如LIME和SHAP。然后,我將討論最近的研究,這些研究表明,這些方法是脆弱的,不穩定的,并容易受到各種對抗性攻擊。最后,我將提出兩種解決方案,以解決這些方法的一些漏洞:(I)一個基于對抗性訓練的通用框架,旨在使事后解釋更穩定,更魯棒,以應對底層數據的變化,(ii) 貝葉斯框架,捕獲與事后解釋相關的不確定性,從而允許我們生成滿足用戶指定的置信水平的可靠解釋。總的來說,本教程將提供可解釋機器學習這一新興領域的最新技術的概述。
自動化機器學習支持用戶、開發人員和研究人員快速開發新的ML應用程序。然而,AutoML工具的輸出并不總是能夠很容易地用人類的直覺或專家知識來解釋,因此專家有時會對AutoML工具缺乏信任。因此,我們開發了一些方法,提高了AutoML系統的透明度和可解釋性,增加了對AutoML工具的信任,并對其他不透明的優化過程產生了有價值的見解。解釋AutoML的方法包括:
超參數的重要性: 哪些超參數(或其他設計決策)對提高ML系統的性能具有全局重要性?[Hutter等人2014]
自動消融研究: 如果一個AutoML工具從一個給定的配置開始(例如,由用戶或ML算法的原始開發人員定義),與AutoML工具返回的配置相比,哪些更改是重要的,以實現觀察到的性能改進?[Biedenkapp等人2017]
超參數效果的可視化: 我們如何可視化更改超參數設置的效果,無論是局部的還是全局的?[Hutter等人2014,Biedenkapp等人2018]
采樣過程的可視化: 在配置空間的哪些區域有一個AutoML工具在什么時候采樣,為什么采樣?我們在那兒能看到哪場演出?[Biedenkapp等人2018]
人工智能(AI)在決定我們日常體驗方面扮演著越來越重要的角色。人工智能的應用越來越多地不再局限于搜索和推薦系統,如網絡搜索、電影和產品推薦,但人工智能也被用于對個人、企業和社會至關重要的決策和流程。在招聘、借貸、刑事司法、醫療保健和教育等領域,基于web的人工智能解決方案對個人和專業的影響是深遠的。
在人工智能系統的開發和部署中,有許多因素發揮著作用,它們可能會表現出不同的、有時是有害的行為。例如,訓練數據往往來自社會和現實世界,因此它可能反映了社會對少數民族和弱勢群體的偏見和歧視。例如,少數族裔與多數族裔在類似行為上面臨更高的逮捕率,所以在沒有補償的情況下構建一個人工智能系統可能只會加劇這種偏見。
上述問題凸顯出需要監管、最佳實踐和實用工具,以幫助數據科學家和ML開發人員構建安全、隱私保護、透明、可解釋、公平和負責的人工智能系統,以避免可能對個人、企業和社會有害的意外后果和合規挑戰。
在這些原則中,模型的透明度和可解釋性是在需要可靠性和安全性的高風險領域(如醫療保健和自動化運輸)建立信任和采用人工智能系統的先決條件,以及具有重大經濟影響的關鍵工業應用(如預測性維護、自然資源勘探和氣候變化建模)。除了可解釋性,越來越多的利益相關者質疑他們的人工智能系統的公平性,因為有很多例子可以說明不考慮公平性的后果,從人臉識別對白人男性的效果明顯優于有色女性,到歧視特定群體的自動招聘系統。通過整合工具來確保模型的透明度和公平性,可以讓數據科學家、工程師和模型用戶更容易調試模型,并實現確保AI系統的公平性、可靠性和安全性等重要目標。
最后,人工智能產品通常由ML模型驅動,這些模型根據敏感用戶數據進行訓練。給定足夠的復雜性——無論是從參數的數量[例如。或者用戶級個性化——,該模型可以對用戶的私人信息進行編碼。此外,通常需要在ML生命周期的不同階段確保用戶隱私,并保護不同類型的不良行為者和威脅場景,需要隱私保護AI方法。
在本教程中,我們將概述負責任的人工智能,強調人工智能中模型的可解釋性、公平性和隱私性,關鍵的法規/法律,以及提供關于基于web的人工智能/ML系統的理解的技術/工具。然后,我們將關注可解釋性、公平評估/不公平緩解和隱私技術在行業中的應用,其中我們提出了有效使用這些技術的實際挑戰/指導方針,以及從部署幾個web規模的機器學習和數據挖掘應用模型中獲得的經驗教訓。我們將介紹不同公司的案例研究,包括搜索和推薦系統、招聘、銷售、借貸和欺詐檢測等應用領域。我們將強調,與負責任的人工智能相關的主題是社會技術的,也就是說,它們是社會和技術交叉的主題。潛在的挑戰不能由技術人員單獨解決;我們需要與所有關鍵的利益相關者一起工作——比如技術的客戶、受技術影響的人,以及具有道德和相關學科背景的人——并在設計這些系統時考慮他們的輸入。最后,基于我們在行業中的經驗,我們將為數據挖掘/機器學習社區確定開放的問題和研究方向。
//sites.google.com/view/ResponsibleAITutorial
神經架構搜索(NAS)是一個很有前途的領域。首先,我將討論圍繞NAS建立科學社區的各種工作,包括基準測試、最佳實踐和開放源碼框架。然后,我將討論該領域幾個令人興奮的方向:(1)廣泛的NAS加速技術;(2)在Auto-PyTorch中結合NAS +超參數優化,實現現成的AutoML;(3)神經集成搜索(NES)的擴展問題定義,它搜索一組互補的架構,而不是像NAS中搜索的單一架構。
隨著機器學習模型越來越多地用于在醫療保健和刑事司法等高風險環境中幫助決策者,確保決策者(最終用戶)正確理解并因此信任這些模型的功能是很重要的。本課程旨在讓學生熟悉可解釋和可解釋ML這一新興領域的最新進展。在本報告中,我們將回顧該領域的重要論文,理解模型可解釋和可解釋的概念,詳細討論不同類別的可解釋模型(如基于原型的方法、稀疏線性模型、基于規則的技術、廣義可加性模型),事后解釋(黑箱解釋包括反事實解釋和顯著性圖),并探索可解釋性與因果關系、調試和公平性之間的聯系。該課程還將強調各種應用,可以極大地受益于模型的可解釋性,包括刑事司法和醫療保健。
注意力是一種在廣泛的神經結構中使用的越來越流行的機制。由于這一領域的快速發展,仍然缺乏對注意力的系統概述。在本文中,我們定義了用于自然語言處理的注意力體系結構的統一模型,重點介紹了用于文本數據的向量表示的體系結構。我們討論了以往工作的不同方面,注意力機制的可能用途,并描述了該領域的主要研究工作和公開挑戰。
//web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf
人工智能(AI)為改善私人和公共生活提供了很多機會,以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件,目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而,這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策,以便我們能夠信任它們?在這個報告中,我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中,可以特別理解本報告的目的。然而,隨著方法的日益普及和復雜性,業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地,數據科學從業者通常不知道來自學術文獻的方法,或者可能很難理解不同方法之間的差異,所以最終使用行業標準,比如SHAP。在這里,我們進行了一項調查,以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域,并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述,并討論她如何通過提出正確的問題來解釋模型。
借助現代的高容量模型,大數據已經推動了機器學習的許多領域的革命,但標準方法——從標簽中進行監督學習,或從獎勵功能中進行強化學習——已經成為瓶頸。即使數據非常豐富,獲得明確指定模型必須做什么的標簽或獎勵也常常是棘手的。收集簡單的類別標簽進行分類對于數百萬計的示例來說是不可能的,結構化輸出(場景解釋、交互、演示)要糟糕得多,尤其是當數據分布是非平穩的時候。
自監督學習是一個很有前途的替代方法,其中開發的代理任務允許模型和代理在沒有明確監督的情況下學習,這有助于對感興趣的任務的下游性能。自監督學習的主要好處之一是提高數據效率:用較少的標記數據或較少的環境步驟(在強化學習/機器人技術中)實現可比較或更好的性能。
自監督學習(self-supervised learning, SSL)領域正在迅速發展,這些方法的性能逐漸接近完全監督方法。
深度神經網絡(DNN)是實現人類在許多學習任務上的水平的不可缺少的機器學習工具。然而,由于其黑箱特性,很難理解輸入數據的哪些方面驅動了網絡的決策。在現實世界中,人類需要根據輸出的dna做出可操作的決定。這種決策支持系統可以在關鍵領域找到,如立法、執法等。重要的是,做出高層決策的人員能夠確保DNN決策是由數據特征的組合驅動的,這些數據特征在決策支持系統的部署上下文中是適當的,并且所做的決策在法律上或倫理上是可辯護的。由于DNN技術發展的驚人速度,解釋DNN決策過程的新方法和研究已經發展成為一個活躍的研究領域。在定義什么是能夠解釋深度學習系統的行為和評估系統的“解釋能力”時所存在的普遍困惑,進一步加劇了這種復雜性。為了緩解這一問題,本文提供了一個“領域指南”,為那些在該領域沒有經驗的人提供深度學習解釋能力指南: i)討論了研究人員在可解釋性研究中增強的深度學習系統的特征,ii)將可解釋性放在其他相關的深度學習研究領域的背景下,iii)介紹了定義基礎方法空間的三個簡單維度。