對因果推理的簡明和自成體系的介紹,在數據科學和機器學習中越來越重要。
因果關系的數學化是一個相對較新的發展,在數據科學和機器學習中變得越來越重要。這本書提供了一個獨立的和簡明的介紹因果模型和如何學習他們的數據。在解釋因果模型的必要性,討論潛在的因果推論的一些原則,這本書教讀者如何使用因果模型:如何計算干預分布,如何從觀測推斷因果模型和介入的數據,和如何利用因果思想經典的機器學習問題。所有這些主題都將首先以兩個變量的形式進行討論,然后在更一般的多元情況下進行討論。對于因果學習來說,二元情況是一個特別困難的問題,因為經典方法中用于解決多元情況的條件獨立不存在。作者認為分析因果之間的統計不對稱是非常有意義的,他們報告了他們對這個問題十年來的深入研究。
本書對具有機器學習或統計學背景的讀者開放,可用于研究生課程或作為研究人員的參考。文本包括可以復制和粘貼的代碼片段、練習和附錄,其中包括最重要的技術概念摘要。
首先,本書主要研究因果關系推理子問題,這可能被認為是最基本和最不現實的。這是一個因果問題,需要分析的系統只包含兩個可觀測值。在過去十年中,作者對這個問題進行了較為詳細的研究。本書整理這方面的大部分工作,并試圖將其嵌入到作者認為對研究因果關系推理問題的選擇性至關重要的更大背景中。盡管先研究二元(bivariate)案例可能有指導意義,但按照章節順序,也可以直接開始閱讀多元(multivariate)章節;見圖一。
第二,本書提出的解決方法來源于機器學習和計算統計領域的技術。作者對其中的方法如何有助于因果結構的推斷更感興趣,以及因果推理是否能告訴我們應該如何進行機器學習。事實上,如果我們不把概率分布描述的隨機實驗作為出發點,而是考慮分布背后的因果結構,機器學習的一些最深刻的開放性問題就能得到最好的理解。
前言
計算機是如何解決問題的?你的小GPS怎么能在無數可能的路線中找到最快的到達目的地的路線,而且只需要幾秒鐘?當你在網上購物時,如何保護你的信用卡號碼不被人截獲? 這些問題的答案,以及其他許多問題的答案,就是算法。我寫這本書是為了為你解開算法的奧秘。我與人合著了教科書《算法導論》。這是一本神奇的書(當然,我是有偏見的),但它在某些方面相當專業。這本書不是算法導論。甚至都不是教科書。它既不廣泛也不深入計算機算法領域,它沒有規定地教授設計計算機算法的技術,它包含為讀者解決一個問題或練習。那么這本書到底是什么呢? 這是一個你可以開始的地方,如果
一些關于計算機算法的書是概念性的,很少有技術細節。有些書充滿了技術上的精確性。有些介于兩者之間。每一種類型的書都有自己的位置。我會把這本書放在中間類別。是的,它有一些數學,而且在某些地方變得相當精確,但我避免深入討論細節(除了可能在書的最后,我無法控制自己)。 我覺得這本書有點像一道開胃菜。假設你去一家意大利餐館點了一份開胃菜,吃完再決定是否點剩下的菜。它來了,你吃了它。也許你不喜歡開胃菜,決定不點別的。也許你喜歡它,但是它讓你覺得很飽,所以你不需要點其他東西。也許你喜歡開胃菜,但它并沒有填飽你的肚子,你期待著這頓飯剩下的部分。把這本書當作開胃菜,我希望能得到后兩種結果中的一種: 要么你讀了這本書,感到滿意,覺得沒必要再深入研究算法的世界; 或者你非常喜歡你在這里讀到的東西,想要了解更多。每一章的結尾都有一個標題為“進一步閱讀”的章節,它將引導你閱讀深入主題的書籍和文章。
你能從這本書中學到什么?
我不能告訴你你將從這本書中學到什么。以下是我想讓你從這本書中學到的東西:
目錄
這本書全面介紹優化工程系統設計的實用算法。這本書從工程的角度進行優化,其目標是設計一個系統來優化受約束的一組指標。讀者將學習一系列挑戰的計算方法,包括高維搜索空間,處理有多個競爭目標的問題,以及適應指標中的不確定性。圖表、例子和練習傳達了數學方法背后的直覺。文本提供了Julia編程語言的具體實現。
//mitpress.mit.edu/books/algorithms-optimization
許多學科的核心都涉及到優化。在物理學中,系統被驅動到他們的最低能量狀態服從物理定律。在商業上,公司的目標是股東價值最大化。在生物學中,越健康的生物體越有可能生存下來。這本書將從工程的角度關注優化,目標是設計一個系統來優化受約束的一組指標。這個系統可以是一個復雜的物理系統,比如飛機,也可以是一個簡單的結構,比如自行車車架。這個系統甚至可能不是物理的;例如,我們可能會有興趣為自動化車輛設計一個控制系統,或設計一個計算機視覺系統來檢測腫瘤活檢的圖像是否為癌。我們希望這些系統能運行得盡可能好。根據應用程序的不同,相關的度量可能包括效率、安全性和準確性。對設計的限制可能包括成本、重量和結構堅固性。
這本書是關于優化的算法,或計算過程。給定系統設計的一些表示,如編碼機翼幾何的一組數字,這些算法將告訴我們如何搜索空間的可能設計,以找到最好的一個。根據應用程序的不同,這種搜索可能涉及運行物理實驗,比如風洞測試,也可能涉及計算解析表達式或運行計算機模擬。我們將討論解決各種挑戰的計算方法,例如如何搜索高維空間,處理有多個競爭目標的問題,以及適應指標中的不確定性。
這本書來自統計學習課程,這是一門統計機器學習的入門課程,面向具有一些微積分、線性代數和統計學背景的學生。這門課程的重點是監督學習:分類和回歸。本課程將涵蓋機器學習和數據科學中使用的一系列方法,包括:
這些方法將在整個課程中被研究并應用于來自各種應用的真實數據。課程還涵蓋了一些重要的實際問題,如交叉驗證、模型選擇和偏方差權衡。課程包括理論(例如,推導和證明)以及實踐(特別是實驗室和小型項目)。實際部分將使用Python實現。
本書涵蓋了這些領域中使用Python模塊演示的概率、統計和機器學習的關鍵思想。整本書包括所有的圖形和數值結果,都可以使用Python代碼及其相關的Jupyter/IPython Notebooks。作者通過使用多種分析方法和Python代碼的有意義的示例,開發了機器學習中的關鍵直覺,從而將理論概念與具體實現聯系起來。現代Python模塊(如panda、y和Scikit-learn)用于模擬和可視化重要的機器學習概念,如偏差/方差權衡、交叉驗證和正則化。許多抽象的數學思想,如概率論中的收斂性,都得到了發展,并用數值例子加以說明。本書適合任何具有概率、統計或機器學習的本科生,以及具有Python編程的基本知識的人。
高斯過程(GPs)為核機器的學習提供了一種有原則的、實用的、概率的方法。在過去的十年中,GPs在機器學習社區中得到了越來越多的關注,這本書提供了GPs在機器學習中理論和實踐方面長期需要的系統和統一的處理。該書是全面和獨立的,針對研究人員和學生在機器學習和應用統計學。
這本書處理監督學習問題的回歸和分類,并包括詳細的算法。提出了各種協方差(核)函數,并討論了它們的性質。從貝葉斯和經典的角度討論了模型選擇。討論了許多與其他著名技術的聯系,包括支持向量機、神經網絡、正則化網絡、相關向量機等。討論了包括學習曲線和PAC-Bayesian框架在內的理論問題,并討論了幾種用于大數據集學習的近似方法。這本書包含說明性的例子和練習,和代碼和數據集在網上是可得到的。附錄提供了數學背景和高斯馬爾可夫過程的討論。
決策理論是現代人工智能和經濟學的基礎。本課程主要從統計學的角度,也從哲學的角度,為決策理論打下堅實的基礎。本課程有兩個目的:
課程可分為兩部分。
第一部分,我們介紹了主觀概率和效用的概念,以及如何用它們來表示和解決決策問題。然后討論未知參數的估計和假設檢驗。最后,我們討論了順序抽樣、順序實驗,以及更一般的順序決策。
第二部分是不確定性下的決策研究,特別是強化學習和專家咨詢學習。首先,我們研究幾個有代表性的統計模型。然后,我們給出了使用這些模型做出最優決策的算法的概述。最后,我們來看看學習如何根據專家的建議來行動的問題,這個領域最近在在線廣告、游戲樹搜索和優化方面有很多應用。
本文件包含了圖論和加法組合學的課程筆記,這是一門研究生水平的課程,由Yufei Zhao教授于2019年秋季在麻省理工學院講授。課堂筆記是由學生根據課堂內容撰寫的,并在教授的幫助下進行編輯。這些筆記沒有經過徹底的準確性檢查,特別是結果的出處。它們的目的是作為研究資源,而不是作為專業出版物的替代品。我們為任何無心的不準確或不實的陳述道歉。關于這門課的更多信息,包括習題和演講視頻(即將出現),可以在課程網站上找到:
本課程審查圖論與加法組合學的經典與現代發展,并注重在連結這兩門學科的主題。本課程也介紹學生目前的研究課題和開放問題。
這個可訪問的文本/參考提供了從工程角度對概率圖模型(PGMs)的一般介紹。這本書涵蓋了每一個PGMs的主要類的基礎知識,包括表示、推理和學習原則,并回顧了每種類型模型的實際應用。這些應用來自廣泛的學科領域,突出了貝葉斯分類器、隱馬爾可夫模型、貝葉斯網絡、動態和時態貝葉斯網絡、馬爾可夫隨機域、影響圖和馬爾可夫決策過程的多種用途。
提出了一個統一的框架,包括所有的主要類別的PGMs;描述不同技術的實際應用;檢視該領域的最新發展,包括多維貝葉斯分類器、相關圖模型和因果模型;在每一章的結尾提供練習,進一步閱讀的建議,和研究或編程項目的想法。
本備忘單是機器學習手冊的濃縮版,包含了許多關于機器學習的經典方程和圖表,旨在幫助您快速回憶起機器學習中的知識和思想。
這個備忘單有兩個顯著的優點:
清晰的符號。數學公式使用了許多令人困惑的符號。例如,X可以是一個集合,一個隨機變量,或者一個矩陣。這是非常混亂的,使讀者很難理解數學公式的意義。本備忘單試圖規范符號的使用,所有符號都有明確的預先定義,請參見小節。
更少的思維跳躍。在許多機器學習的書籍中,作者省略了數學證明過程中的一些中間步驟,這可能會節省一些空間,但是會給讀者理解這個公式帶來困難,讀者會在中間迷失。