本課程是關于可解釋人工智能(XAI)的,這是機器學習的一個分支領域,為復雜模型提供透明度。現代機器學習嚴重依賴于黑盒模型,如樹集成和深度神經網絡;這些模型提供了最先進的準確性,但它們使理解驅動其預測的特征、概念和數據示例變得困難。因此,用戶、專家和組織很難信任這樣的模型,并且了解我們正在建模的底層過程是具有挑戰性的。 對此,一些人認為,我們應該在高風險應用中依賴內在可解釋的模型,如醫藥和消費金融。其他人主張事后解釋工具,即使是為復雜的模型提供一定程度的透明度。本課程探討了這兩種觀點,我們將討論廣泛的工具,以解決模型如何進行預測的不同問題。我們將涵蓋該領域許多活躍的研究領域,包括特征歸因、反事實解釋、實例解釋和人類- ai合作。 本課程共設10節課(每節3小時),課程結構如下:
介紹與動機 特征重要性:基于刪除的解釋,基于傳播的解釋,評估指標 其他解釋范式:固有可解釋性模型、概念解釋、反事實解釋、實例解釋、神經元解釋 人機協作 工業應用
Lecture 1: Introduction * Lecture 2: Removal-based explanations * Lecture 3: Shapley values * Lecture 4: Propagation and gradient-based explanations * Lecture 5: Evaluating explanation methods * Lecture 6: Inherently interpretable models * Lecture 7: Concept-based explanations, neuron interpretation * Lecture 8: Counterfactual explanations, instance explanations * Lecture 9: Enhancing human-AI collaboration * Lecture 10: Model improvement, applications in industry and healthcare
可解釋性AI是打開AI黑盒的解釋性技術的實踐指南。本實用指南將前沿研究簡化為透明和可解釋的AI,提供實用的方法,您可以輕松地用Python和開源庫實現。從所有主要的機器學習方法的例子,這本書演示了為什么AI的一些方法是如此的不透明,教你識別你的模型已經學習的模式,并提出了建立公平和公正的模型的最佳實踐。當你完成這一任務時,你將能夠提高你的AI在訓練中的表現,并構建魯棒系統來抵消偏差、數據泄漏和概念漂移帶來的錯誤。
//www.manning.com/books/interpretable-ai
隨著圖像識別、自然語言理解和桌面游戲等領域的突破,人工智能和機器學習正在徹底改變醫療、制造、零售和金融等各個行業。隨著復雜的機器學習模型被部署到生產中,理解它們變得非常重要。缺乏深刻的理解會導致模型傳播偏見,我們在刑事司法、政治、零售、面部識別和語言理解中都見過這樣的例子。所有這些都對信任產生不利影響,從我的經驗來看,這是企業抵制在整個企業部署人工智能的主要原因之一。解釋人工智能是研究和行業的一個熱門話題,因為現代機器學習算法是黑盒,沒有人真正了解它們是如何工作的。此外,在GDPR的“解釋權”下,歐盟現在有解釋人工智能的規定。因此,對于人工智能從業者來說,可解釋性人工智能是一個非常重要的話題。有一些資源可以與這個活躍的研究領域保持同步,如調研論文、博客文章和一些書籍,但沒有一個單一的資源涵蓋所有對實踐者有價值的重要技術。也沒有關于如何實現這些尖端技術的實用指南。本書旨在通過提供對可解釋性技術的簡化解釋,以及如何在Python中使用開放的公共數據集和庫實現這些技術的實用指南,來填補這一空白。本書將展示代碼片段,并分享源代碼,以便您跟隨和再現書中的圖形和視覺效果。這本書旨在為您提供實現和部署最先進的可解釋性技術的實用技巧。具備概率論、統計學、線性代數、機器學習和Python的基本知識。
這是一門關于在不確定情況下強化學習(RL)和順序決策的入門課程,重點在于理解理論基礎。我們研究如何使用動態規劃方法,如價值和策略迭代,來解決具有已知模型的順序決策問題,以及如何擴展這些方法,以解決模型未知的強化學習問題。其他主題包括(但不限于)RL中的函數近似、策略梯度方法、基于模型的RL以及平衡探索-利用權衡。本課程將以講座和閱讀古典及近期論文的方式傳授給學生。因為重點是理解基礎,你應該期望通過數學細節和證明。本課程的要求背景包括熟悉概率論和統計、微積分、線性代數、最優化和(有監督的)機器學習。
//amfarahmand.github.io/IntroRL/
目錄內容:
強化學習入門筆記
這是多倫多大學計算機科學系于2021年春季教授的強化學習(RL)研究生課程介紹的講義。本課程是入門性的,因為它不需要預先接觸強化學習。然而,它不僅僅是算法的集合。相反,它試圖在RL中經常遇到的許多重要思想和概念背后建立數學直覺。在這些講義的過程中,我證明了很多基礎的,或者有時不那么基礎的,RL的結果。如果某個結果的證明過于復雜,我就證明一個簡化的版本。
強化學習(RL)既指一類問題,也指解決這類問題的一組計算方法。RL問題是指如何采取行動,使某些長期績效的概念得到最大化。RL問題,從它的定義來看,是關于一個實體的行為和交互,我們稱之為代理,與其周圍的環境,我們稱之為環境。這是一個非常普遍的目標。有人可能會說,解決AI問題等同于解決RL問題。強化學習也指解決RL問題的一套計算方法。一個代理需要做什么樣的計算才能確保它的行為能夠帶來良好的(甚至是最佳的)長期性能?實現這些的方法稱為RL方法。歷史上,在所有試圖解決RL問題的計算方法中,只有一個子集被稱為RL方法。例如Q-Learning這樣的方法(我們將在本課程中學習)是一種很好的RL方法,但是進化計算的方法,如遺傳算法,則不是。人們可以爭辯說,進化計算方法沒有太多的“學習”成分,或者它們不以個體生命的時間尺度行事,而是以世代的時間尺度行事。雖然這些是真正的區別,但這種劃分方式有些武斷。在本課堂講稿中,我們將重點放在“RL社區”中經常學習的方法上。
//sites.google.com/view/ift6268-a2020/schedule
近年來,表示學習取得了很大的進展。大多數都是以所謂的自監督表示學習的形式。在本課程中,我們將對什么是自我監督的學習方法有一個相當廣泛的解釋,并在適當的時候包括一些無監督學習方法和監督學習方法。我們感興趣的方法,學習有意義的和有效的語義表示,而不(專門)依賴標簽數據。更具體地說,我們將對以下方法感興趣,如: 數據增廣任務,知識蒸餾,自蒸餾,迭代學習,對比方法 (DIM, CPC, MoCo, SimCLR等),BYOL,以及自監督方法的分析。
我們的目標是了解自監督學習方法是如何工作的,以及起作用的基本原理是什么。
這是一個關于這一主題的高級研討會課程,因此,我們將閱讀和討論大量的最近的和經典的論文。講座將主要由學生主導。我們假設了解了機器學習的基礎知識 (特別是深度學習——正如你在IFT6135中看到的那樣),我們還將探索自監督表示學習在廣泛領域的應用,包括自然語言處理、計算機視覺和強化學習。
在本課程中,我們將廣泛討論自監督學習(SSL),特別是深度學習。最近,深度學習在許多應用領域取得了大量令人印象深刻的經驗收益,其中最引人注目的是在目標識別和圖像和語音識別的檢測領域。
在本課程中,我們將探討表示學習領域的最新進展。通過學生領導研討會,我們將回顧最近的文獻,并著眼于建立
本課程所涵蓋的特定主題包括以下內容:
目前,深度神經網絡廣泛應用于醫療、自動駕駛汽車、軍事等直接影響人類生活的關鍵任務系統。然而,深度神經網絡的黑箱特性對其在關鍵任務應用中的應用提出了挑戰,引發了道德和司法方面的擔憂,導致信任缺失。可解釋人工智能(XAI)是人工智能(AI)的一個領域,它促進了一套工具、技術和算法,可以生成高質量的可解釋的、直觀的、人類可以理解的人工智能決策解釋。除了在深度學習中提供當前XAI景觀的整體視圖外,本文還提供了開創性工作的數學總結。首先,我們根據XAI技術的解釋范圍、算法背后的方法論以及有助于構建可信、可解釋和自解釋的深度學習模型的解釋級別或用法,提出了一種分類和分類方法。然后,我們描述了在XAI研究中使用的主要原則,并給出了2007年至2020年XAI里程碑式研究的歷史時間表。在詳細解釋了每一類算法和方法之后,我們對8種XAI算法在圖像數據上生成的解釋圖進行了評估,討論了該方法的局限性,并為進一步改進XAI評估提供了潛在的方向。
基于人工智能(AI)的算法,尤其是使用深度神經網絡的算法,正在改變人類完成現實任務的方式。近年來,機器學習(ML)算法在科學、商業和社會工作流的各個方面的自動化應用出現了激增。這種激增的部分原因是ML領域(被稱為深度學習(DL))研究的增加,在深度學習中,數千(甚至數十億)個神經元參數被訓練用于泛化執行特定任務。成功使用DL算法在醫療(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],發育障礙(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主機器人和車輛(You2019、Grigorescu2019 Feng2020],在圖像處理的分類和檢測[Sahba2018 Bendre2020Human], 在語音和音頻處理(Boles2017, Panwar2017),網絡安全(Parra2020Detecting, Chacon2019Deep), 還有更多DL算法在我們日常生活中被成功應用。
深度神經網絡中大量的參數使其理解復雜,不可否認地更難解釋。不管交叉驗證的準確性或其他可能表明良好學習性能的評估參數如何,深度學習(DL)模型可能天生就能從人們認為重要的數據中學習表示,也可能無法從這些數據中學習表示。解釋DNNs所做的決策需要了解DNNs的內部運作,而非人工智能專家和更專注于獲得準確解決方案的最終用戶則缺乏這些知識。因此,解釋人工智能決策的能力往往被認為是次要的,以達到最先進的結果或超越人類水平的準確性。
對XAI的興趣,甚至來自各國政府,特別是歐洲通用數據保護條例(GDPR) [AIHLEG2019]的規定,顯示出AI的倫理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics], trust [Weld2019, Lui2018, Hengstler2016], bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要實現,以及對抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺騙分類器決策方面的影響。在[Miller2019], Miller等人描述了好奇心是人們要求解釋具體決策的主要原因之一。另一個原因可能是為了促進更好的學習——重塑模型設計并產生更好的結果。每種解釋都應該在相似的數據點上保持一致,并且隨著時間的推移對同一數據點產生穩定或相似的解釋[Sokol2020]。解釋應該使人工智能算法表達,以提高人類的理解能力,提高決策的信心,并促進公正和公正的決策。因此,為了在ML決策過程中保持透明度、信任和公平性,ML系統需要一個解釋或可解釋的解決方案。
解釋是一種驗證人工智能代理或算法的輸出決策的方法。對于一個使用顯微圖像的癌癥檢測模型,解釋可能意味著一個輸入像素的地圖,這有助于模型輸出。對于語音識別模型,解釋可能是特定時間內的功率譜信息對當前輸出決策的貢獻較大。解釋也可以基于參數或激活的訓練模型解釋或使用代理,如決策樹或使用梯度或其他方法。在強化學習算法的背景下,一個解釋可能會給出為什么一個代理做了一個特定的決定。然而,可解釋和可解釋的人工智能的定義通常是通用的,可能會引起誤解[Rudin2019],應該整合某種形式的推理[Doran2018]。
AI模型的集合,比如決策樹和基于規則的模型,本質上是可解釋的。但是,與深度學習模型相比,存在可解釋性與準確性權衡的缺點。本文討論了研究人員解決深度學習算法可解釋性問題的不同方法和觀點。如果模型參數和體系結構是已知的,方法可以被有效地使用。然而,現代基于api的人工智能服務帶來了更多的挑戰,因為該問題的相對“黑箱”(Castelvecchi2016)性質,即終端用戶只掌握提供給深度學習模型的輸入信息,而不是模型本身。
在這個綜述中,我們提供了一個可解釋算法的全面概述,并將重要事件的時間軸和研究出版物劃分為三個定義完好的分類,如圖1所示。不像許多其他的綜述,只分類和總結在一個高水平上發表的研究,我們提供額外的數學概述和算法的重大工作在XAI領域。調查中提出的算法被分成三個定義明確的類別,下面將詳細描述。文獻中提出的各種評價XAI的技術也進行了討論,并討論了這些方法的局限性和未來的發展方向。
我們的貢獻可以概括如下:
為了系統地分析深度學習中可解釋和可解釋的算法,我們將XAI分類為三個定義明確的類別,以提高方法的清晰度和可訪問性。
我們審查,總結和分類的核心數學模型和算法,最近XAI研究提出的分類,并討論重要工作的時間。
我們生成并比較了八種不同XAI算法的解釋圖,概述了這種方法的局限性,并討論了使用深度神經網絡解釋來提高信任、透明度、偏差和公平的未來可能的方向。
機器學習可解釋性,Interpretability and Explainability in Machine Learning