概率圖模型的形式化為捕獲隨機變量之間的復雜依賴關系和建立大規模多元統計模型提供了統一的框架。圖模型已經成為許多統計、計算和數學領域的研究焦點,包括生物信息學、通信理論、統計物理、組合優化、信號和圖像處理、信息檢索和統計機器學習。在特定情況下出現的許多問題- -包括計算邊緣值和概率分布模式的關鍵問題。利用指數族表示,并利用指數族累積函數和熵之間的共軛對偶性,我們提出了計算概率、邊際概率和最可能配置問題的一般變分表示。我們描述了各種各樣的算法,其中sum-product集群變分方法,expectation-propagation,平均場方法,max-product和線性規劃松弛——都可以理解的精確或近似形式的變分表示。變分方法提供了一個補充替代馬爾科夫鏈蒙特卡洛作為在大規模統計模型推理的方法。
模式識別對科學家和工程師來說是最重要的挑戰之一,并且已經提出了許多不同的方法。本書的目的是為這些方法的概率分析提供一個自成體系的描述。本書包括了距離度量,基于內核或最近鄰居的非參數方法,Vapnik-Chervonenkis理論,epsilon熵,參數分類,誤差估計,自由分類器和神經網絡的討論。在可能的情況下,可以導出無分布性質和不等式。大量的結果或分析是新的。
//link.springer.com/book/10.1007/978-1-4612-0711-5
這本書系統性講述了統計學理論,包括概率理論、分布式理論與統計模型,基本統計理論、貝葉斯理論、無偏點估計、最大似然統計推斷、統計假設與置信集、非參與魯棒推斷。
第一門課程以對統計中有用的測量論概率論的概念和結果的簡要概述開始。隨后討論了統計決策理論和推理中的一些基本概念。探討了估計的基本方法和原理,包括各種限制條件下的最小風險方法,如無偏性或等方差法,最大似然法,以及矩法和其他插件方法等函數法。然后詳細地考慮了貝葉斯決策規則。詳細介紹了最小方差無偏估計的方法。主題包括統計量的充分性和完全性、 Fisher信息、估計量的方差的界、漸近性質和統計決策理論,包括極大極小和貝葉斯決策規則。
第二門課程更詳細地介紹了假設檢驗和置信集的原理。我們考慮了決策過程的表征,內曼-皮爾森引理和一致最有力的測試,置信集和推理過程的無偏性。其他主題包括等方差、健壯性和函數估計。
除了數理統計的經典結果外,還討論了馬爾可夫鏈蒙特卡洛理論、擬似然、經驗似然、統計泛函、廣義估計方程、折刀法和自舉法。
這是我2004年,2006年和2009年在斯坦福大學教授的概率理論博士課程的講義。本課程的目標是為斯坦福大學數學和統計學系的博士生做概率論研究做準備。更廣泛地說,文本的目標是幫助讀者掌握概率論的數學基礎和在這一領域中證明定理最常用的技術。然后將此應用于隨機過程的最基本類的嚴格研究。
為此,我們在第一章中介紹了測度與積分理論中的相關元素,即事件的概率空間與格-代數、作為可測函數的隨機變量、它們的期望作為相應的勒貝格積分,以及獨立性的重要概念。
利用這些元素,我們在第二章中研究了隨機變量收斂的各種概念,并推導了大數的弱定律和強定律。
第三章討論了弱收斂的理論、分布函數和特征函數的相關概念以及中心極限定理和泊松近似的兩個重要特例。
基于第一章的框架,我們在第四章討論了條件期望的定義、存在性和性質,以及相關的規則條件概率分布。
第五章討論了過濾、信息在時間上的級數的數學概念以及相應的停止時間。關于后者的結果是作為一組稱為鞅的隨機過程研究的副產品得到的。討論了鞅表示、極大不等式、收斂定理及其各種應用。為了更清晰和更容易的表述,我們在這里集中討論離散時間的設置來推遲與第九章相對應的連續時間。
第六章簡要介紹了馬爾可夫鏈的理論,概率論的核心是一個龐大的主題,許多教科書都致力于此。我們通過研究一些有趣的特殊情況來說明這類過程的一些有趣的數學性質。
在第七章中,我們簡要介紹遍歷理論,將注意力限制在離散時間隨機過程的應用上。我們定義了平穩過程和遍歷過程的概念,推導了Birkhoff和Kingman的經典定理,并強調了該理論的許多有用應用中的少數幾個。
第八章建立了以連續時間參數為指標的右連續隨機過程的研究框架,引入了高斯過程族,并嚴格構造了布朗運動為連續樣本路徑和零均值平穩獨立增量的高斯過程。
第九章將我們先前對鞅和強馬爾可夫過程的處理擴展到連續時間的設定,強調了右連續濾波的作用。然后在布朗運動和馬爾可夫跳躍過程的背景下說明了這類過程的數學結構。
在此基礎上,在第十章中,我們利用不變性原理重新構造了布朗運動作為某些重新標定的隨機游動的極限。進一步研究了其樣本路徑的豐富性質以及布朗運動在clt和迭代對數定律(簡稱lil)中的許多應用。
隨著開放科學和開放資源的雙重運動將越來越多的科學過程帶入數字領域,科學本身的元科學研究(包括數據科學和統計)出現了新的機會。未來的科學很可能看到機器在處理、組織甚至創造科學知識方面發揮積極作用。為了使這成為可能,必須進行大量的工程努力來將科學工件轉化為有用的計算資源,并且必須在科學理論、模型、實驗和數據的組織方面取得概念上的進展。本論文的目標是將數據科學的兩大主要產物——統計模型和數據分析——數字化和系統化。使用來自代數的工具,特別是分類邏輯,在統計和邏輯的模型之間進行了精確的類比,使統計模型在邏輯意義上被視為理論的模型。統計理論,作為代數結構,服從機器表示,并配備了形式化不同統計方法之間的關系的形態。從數學轉向工程,設計和實現了一個軟件系統,用于以Python或R程序的形式創建數據分析的機器表示。表示的目的是捕獲數據分析的語義,獨立于實現它們的編程語言和庫。
凸優化作為一個數學問題已經被研究了一個多世紀,并在許多應用領域的實踐中應用了大約半個世紀,包括控制、金融、信號處理、數據挖掘和機器學習。本文主要研究凸優化的幾個問題,以及機器學習的具體應用。
在過去的20年里,基因組學、神經科學、經濟學和互聯網服務等許多領域產生了越來越多的大數據集,這些數據集有高維、大樣本,或者兩者兼之。這為我們從數據中檢索和推斷有價值的信息提供了前所未有的機會。同時,也對統計方法和計算算法提出了新的挑戰。一方面,我們希望建立一個合理的模型來捕獲所需的結構,并提高統計估計和推斷的質量。另一方面,面對越來越大的數據集,計算可能成為一個巨大的障礙,以得出有意義的結論。這篇論文站在兩個主題的交叉點,提出了統計方法來捕獲所需的數據結構,并尋求可擴展的方法來優化計算非常大的數據集。我們提出了一種可擴展的靈活框架,用于利用lasso/elastic-net解決大規模稀疏回歸問題; 提出了一種可伸縮的框架,用于在存在多個相關響應和其他細微差別(如缺失值)的情況下解決稀疏縮減秩回歸問題。分別在snpnet和multiSnpnet R包中以PLINK 2.0格式為基因組數據開發了優化的實現。這兩種方法在超大和超高維的英國生物樣本庫研究中得到了驗證,與傳統的預測建模方法相比有了顯著的改進。此外,我們考慮了一類不同的高維問題,異質因果效應的估計。與監督學習的設置不同,這類問題的主要挑戰在于,在歷史數據中,我們從未觀察到硬幣的另一面,因此我們無法獲得處理之間真正差異的基本真相。我們提出適應非參數統計學習方法,特別是梯度增強和多元自適應回歸樣條,以估計處理效果的預測器可用。實現被打包在一個R包causalLearning中。
【導讀】《機器學習:貝葉斯和優化的視角》是雅典大學信息學和通信系的教授Sergios Theodoridis的經典著作,對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。非常值得學習。
Sergios Theodoridis教授是雅典大學信息學和通信系的教授,香港中文大學(深圳)客座教授。他的研究領域是信號處理和機器學習。他的研究興趣是自適應算法,分布式和稀疏性感知學習,機器學習和模式識別,生物醫學應用中的信號處理和學習以及音頻處理和檢索。
他的幾本著作與合著蜚聲海內外,包括《機器學習:貝葉斯和優化的視角》以及暢銷書籍《模式識別》。他是2017年EURASIP Athanasios Papoulis獎和2014年EURASIP Meritorious Service獎的獲得者。
機器學習:貝葉斯和優化方法
本書對所有主要的機器學習方法和新研究趨勢進行了深入探索,涵蓋概率和確定性方法以及貝葉斯推斷方法。其中,經典方法包括平均/小二乘濾波、卡爾曼濾波、隨機逼近和在線學習、貝葉斯分類、決策樹、邏輯回歸和提升方法等,新趨勢包括稀疏、凸分析與優化、在線分布式算法、RKH空間學習、貝葉斯推斷、圖模型與隱馬爾可夫模型、粒子濾波、深度學習、字典學習和潛變量建模等。全書構建了一套明晰的機器學習知識體系,各章內容相對獨立,物理推理、數學建模和算法實現精準且細致,并輔以應用實例和習題。本書適合該領域的科研人員和工程師閱讀,也適合學習模式識別、統計/自適應信號處理和深度學習等課程的學生參考。
作為布爾邏輯的替代
雖然邏輯是理性推理的數學基礎和計算的基本原理,但它僅限于信息既完整又確定的問題。然而,許多現實世界的問題,從金融投資到電子郵件過濾,本質上是不完整或不確定的。概率論和貝葉斯計算共同提供了一個處理不完整和不確定數據的框架。
不完全和不確定數據的決策工具和方法
貝葉斯編程強調概率是布爾邏輯的替代選擇,它涵蓋了為真實世界的應用程序構建概率程序的新方法。本書由設計并實現了一個高效概率推理引擎來解釋貝葉斯程序的團隊編寫,書中提供了許多Python示例,這些示例也可以在一個補充網站上找到,該網站還提供了一個解釋器,允許讀者試驗這種新的編程方法。
原則和建模
只需要一個基本的數學基礎,本書的前兩部分提出了一種新的方法來建立主觀概率模型。作者介紹了貝葉斯編程的原理,并討論了概率建模的良好實踐。大量簡單的例子突出了貝葉斯建模在不同領域的應用。
形式主義和算法
第三部分綜合了已有的貝葉斯推理算法的工作,因為需要一個高效的貝葉斯推理引擎來自動化貝葉斯程序中的概率演算。對于想要了解貝葉斯編程的形式主義、主要的概率模型、貝葉斯推理的通用算法和學習問題的讀者,本文提供了許多參考書目。
常見問題
第四部分連同詞匯表包含了常見問題的答案。作者比較了貝葉斯規劃和可能性理論,討論了貝葉斯推理的計算復雜性,討論了不完全性的不可約性,討論了概率的主觀主義和客觀主義認識論。
貝葉斯計算機的第一步
創建一個完整的貝葉斯計算框架需要新的建模方法、新的推理算法、新的編程語言和新的硬件。本書著重于方法論和算法,描述了實現這一目標的第一步。它鼓勵讀者探索新興領域,例如仿生計算,并開發新的編程語言和硬件架構。
高斯過程(GPs)為核機器的學習提供了一種有原則的、實用的、概率的方法。在過去的十年中,GPs在機器學習社區中得到了越來越多的關注,這本書提供了GPs在機器學習中理論和實踐方面長期需要的系統和統一的處理。該書是全面和獨立的,針對研究人員和學生在機器學習和應用統計學。
這本書處理監督學習問題的回歸和分類,并包括詳細的算法。提出了各種協方差(核)函數,并討論了它們的性質。從貝葉斯和經典的角度討論了模型選擇。討論了許多與其他著名技術的聯系,包括支持向量機、神經網絡、正則化網絡、相關向量機等。討論了包括學習曲線和PAC-Bayesian框架在內的理論問題,并討論了幾種用于大數據集學習的近似方法。這本書包含說明性的例子和練習,和代碼和數據集在網上是可得到的。附錄提供了數學背景和高斯馬爾可夫過程的討論。