概率論起源于17世紀的法國,當時兩位偉大的法國數學家,布萊斯·帕斯卡和皮埃爾·德·費馬,對兩個來自機會博弈的問題進行了通信。帕斯卡和費馬解決的問題繼續影響著惠更斯、伯努利和DeMoivre等早期研究者建立數學概率論。今天,概率論是一個建立良好的數學分支,應用于從音樂到物理的學術活動的每一個領域,也應用于日常經驗,從天氣預報到預測新的醫療方法的風險。
本文是為數學、物理和社會科學、工程和計算機科學的二、三、四年級學生開設的概率論入門課程而設計的。它提出了一個徹底的處理概率的想法和技術為一個牢固的理解的主題必要。文本可以用于各種課程長度、水平和重點領域。
在標準的一學期課程中,離散概率和連續概率都包括在內,學生必須先修兩個學期的微積分,包括多重積分的介紹。第11章包含了關于馬爾可夫鏈的材料,為了涵蓋這一章,一些矩陣理論的知識是必要的。
文本也可以用于離散概率課程。材料被組織在這樣一種方式,離散和連續的概率討論是在一個獨立的,但平行的方式,呈現。這種組織驅散了對概率過于嚴格或正式的觀點,并提供了一些強大的教學價值,因為離散的討論有時可以激發更抽象的連續的概率討論。在離散概率課程中,學生應該先修一學期的微積分。
為了充分利用文中的計算材料和例子,假設或必要的計算背景很少。所有在文本中使用的程序都是用TrueBASIC、Maple和Mathematica語言編寫的。
這是我2004年,2006年和2009年在斯坦福大學教授的概率理論博士課程的講義。本課程的目標是為斯坦福大學數學和統計學系的博士生做概率論研究做準備。更廣泛地說,文本的目標是幫助讀者掌握概率論的數學基礎和在這一領域中證明定理最常用的技術。然后將此應用于隨機過程的最基本類的嚴格研究。
為此,我們在第一章中介紹了測度與積分理論中的相關元素,即事件的概率空間與格-代數、作為可測函數的隨機變量、它們的期望作為相應的勒貝格積分,以及獨立性的重要概念。
利用這些元素,我們在第二章中研究了隨機變量收斂的各種概念,并推導了大數的弱定律和強定律。
第三章討論了弱收斂的理論、分布函數和特征函數的相關概念以及中心極限定理和泊松近似的兩個重要特例。
基于第一章的框架,我們在第四章討論了條件期望的定義、存在性和性質,以及相關的規則條件概率分布。
第五章討論了過濾、信息在時間上的級數的數學概念以及相應的停止時間。關于后者的結果是作為一組稱為鞅的隨機過程研究的副產品得到的。討論了鞅表示、極大不等式、收斂定理及其各種應用。為了更清晰和更容易的表述,我們在這里集中討論離散時間的設置來推遲與第九章相對應的連續時間。
第六章簡要介紹了馬爾可夫鏈的理論,概率論的核心是一個龐大的主題,許多教科書都致力于此。我們通過研究一些有趣的特殊情況來說明這類過程的一些有趣的數學性質。
在第七章中,我們簡要介紹遍歷理論,將注意力限制在離散時間隨機過程的應用上。我們定義了平穩過程和遍歷過程的概念,推導了Birkhoff和Kingman的經典定理,并強調了該理論的許多有用應用中的少數幾個。
第八章建立了以連續時間參數為指標的右連續隨機過程的研究框架,引入了高斯過程族,并嚴格構造了布朗運動為連續樣本路徑和零均值平穩獨立增量的高斯過程。
第九章將我們先前對鞅和強馬爾可夫過程的處理擴展到連續時間的設定,強調了右連續濾波的作用。然后在布朗運動和馬爾可夫跳躍過程的背景下說明了這類過程的數學結構。
在此基礎上,在第十章中,我們利用不變性原理重新構造了布朗運動作為某些重新標定的隨機游動的極限。進一步研究了其樣本路徑的豐富性質以及布朗運動在clt和迭代對數定律(簡稱lil)中的許多應用。
這是一本專門為計算機科學學生設計的數學概率和統計課程的教科書。計算機科學的例子在整個領域被使用,例如:計算機網絡;數據和文本挖掘;計算機安全;遙感;計算機性能評價;軟件工程;數據管理;等。
為什么這本書不同于所有其他關于數學概率和統計的書?
首先,它強烈強調直覺,較少數學形式主義。根據我的經驗,通過樣本空間定義概率(標準方法)是做好應用工作的主要障礙。將期望值定義為加權平均值也是如此。相反,我使用一種直觀、非正式的方法,即長期頻率和長期平均值。我相信這在解釋條件概率和期望時特別有用,這些概念往往是學生們難以理解的。(他們通常認為自己理解了,直到他們實際上必須使用這些概念來解決一個問題。)另一方面,盡管相對缺乏形式主義,所有的模型等都被精確地用隨機變量和分布來描述。這部分內容實際上比這一層次上的大部分內容都更具有數學意義因為它廣泛地使用了線性代數。
第二,這本書強調了現實世界的應用。類似的課本,尤其是Mitzenmacher寫的那本優雅有趣的計算機科學學生的書,側重于概率,事實上是離散概率。他們預期的“應用”類別是算法的理論分析。相反,我關注的是這些材料在現實世界中的實際使用;它更傾向于連續而不是離散,更傾向于統計領域而不是概率。鑒于“大數據”和機器學習如今在計算機應用中發揮著重要作用,這一點應被證明尤其有價值。
第三,非常強調建模。相當多的重點放在這樣的問題上:在現實生活中,概率模型的真正含義是什么?如何選擇模型?我們如何評估模型的實用價值?這方面非常重要,因此有一個單獨的章節,叫做模型構建導論。貫穿全文,有相當多的討論的現實意義的概率概念。
當看到這些材料時,一個明顯的問題可能會出現:“為什么還要寫一本深度學習和自然語言處理的書呢?”一些優秀的論文已經出版,涵蓋了深度學習的理論和實踐方面,以及它在語言處理中的應用。然而,從我教授自然語言處理課程的經驗來看,我認為,盡管這些書的質量非常好,但大多數都不是針對最有可能的讀者。本書的目標讀者是那些在機器學習和自然語言處理之外的領域有經驗的人,并且他們的工作至少部分地依賴于對大量數據,特別是文本數據的自動化分析。這些專家可能包括社會科學家、政治科學家、生物醫學科學家,甚至是對機器學習接觸有限的計算機科學家和計算語言學家。
現有的深度學習和自然語言處理書籍通常分為兩大陣營。第一個陣營專注于深度學習的理論基礎。這對前面提到的讀者肯定是有用的,因為在使用工具之前應該了解它的理論方面。然而,這些書傾向于假設一個典型的機器學習研究者的背景,因此,我經常看到沒有這種背景的學生很快就迷失在這樣的材料中。為了緩解這個問題,目前存在的第二種類型的書集中在機器學習從業者;也就是說,如何使用深度學習軟件,而很少關注理論方面。我認為,關注實際方面同樣是必要的,但還不夠。考慮到深度學習框架和庫已經變得相當復雜,由于理論上的誤解而濫用它們的可能性很高。這個問題在我的課程中也很常見。
因此,本書旨在為自然語言處理的深度學習搭建理論和實踐的橋梁。我涵蓋了必要的理論背景,并假設讀者有最少的機器學習背景。我的目標是讓任何上過線性代數和微積分課程的人都能跟上理論材料。為了解決實際問題,本書包含了用于討論的較簡單算法的偽代碼,以及用于較復雜體系結構的實際Python代碼。任何上過Python編程課程的人都應該能夠理解這些代碼。讀完這本書后,我希望讀者能有必要的基礎,立即開始構建真實世界的、實用的自然語言處理系統,并通過閱讀有關這些主題的研究出版物來擴展他們的知識。
//clulab.cs.arizona.edu/gentlenlp/gentlenlp-book-05172020.pdf
Edwin Thompson Jaynes所著的Probability Theory: The Logic of Science,本書暫無中譯本,影印本名為《概率論沉思錄》也已絕版。這本書是作者的遺著,花費半個世紀的時間完成,從名字就可以看出是一部神書。作者從邏輯的角度探討了基于頻率的概率,貝葉斯概率和統計推斷,將概率論這門偏經驗的學科納入數理邏輯的框架之下。如果讀這本書,千萬要做好燒腦的準備。
《概率論沉思錄(英文版)》將概率和統計推斷融合在一起,用新的觀點生動地描述了概率論在物理學、數學、經濟學、化學和生物學等領域中的廣泛應用,尤其是它闡述了貝葉斯理論的豐富應用,彌補了其他概率和統計教材的不足。全書分為兩大部分。第一部分包括10章內容,講解抽樣理論、假設檢驗、參數估計等概率論的原理及其初等應用;第二部分包括12章內容,講解概率論的高級應用,如在物理測量、通信理論中的應用。《概率論沉思錄(英文版)》還附有大量習題,內容全面,體例完整。
《概率論沉思錄(英文版)》內容不局限于某一特定領域,適合涉及數據分析的各領域工作者閱讀,也可作為高年級本科生和研究生相關課程的教材。
這是第一本介紹隨機過程貝葉斯推理程序的書。貝葉斯方法有明顯的優勢(包括對先驗信息的最佳利用)。最初,這本書以貝葉斯推理的簡要回顧開始,并使用了許多與隨機過程分析相關的例子,包括四種主要類型,即離散時間和離散狀態空間以及連續時間和連續狀態空間。然后介紹了理解隨機過程所必需的要素,接著是專門用于此類過程的貝葉斯分析的章節。重要的是,這一章專門討論隨機過程中的基本概念。本文詳細描述了離散時間馬爾可夫鏈、馬爾可夫跳躍過程、常規過程(如布朗運動和奧恩斯坦-烏倫貝克過程)、傳統時間序列以及點過程和空間過程的貝葉斯推理(估計、檢驗假設和預測)。書中著重強調了許多來自生物學和其他科學學科的例子。為了分析隨機過程,它將使用R和WinBUGS。
管理統計和數據科學的原理包括:數據可視化;描述性措施;概率;概率分布;數學期望;置信區間;和假設檢驗。方差分析;簡單線性回歸;多元線性回歸也包括在內。另外,本書還提供了列聯表、卡方檢驗、非參數方法和時間序列方法。
教材:
這本書的第五版繼續講述如何運用概率論來深入了解真實日常的統計問題。這本書是為工程、計算機科學、數學、統計和自然科學的學生編寫的統計學、概率論和統計的入門課程。因此,它假定有基本的微積分知識。
第一章介紹了統計學的簡要介紹,介紹了它的兩個分支:描述統計學和推理統計學,以及這門學科的簡短歷史和一些人,他們的早期工作為今天的工作提供了基礎。
第二章將討論描述性統計的主題。本章展示了描述數據集的圖表和表格,以及用于總結數據集某些關鍵屬性的數量。
為了能夠從數據中得出結論,有必要了解數據的來源。例如,人們常常假定這些數據是來自某個總體的“隨機樣本”。為了確切地理解這意味著什么,以及它的結果對于將樣本數據的性質與整個總體的性質聯系起來有什么意義,有必要對概率有一些了解,這就是第三章的主題。本章介紹了概率實驗的思想,解釋了事件概率的概念,并給出了概率的公理。
我們在第四章繼續研究概率,它處理隨機變量和期望的重要概念,在第五章,考慮一些在應用中經常發生的特殊類型的隨機變量。給出了二項式、泊松、超幾何、正規、均勻、伽瑪、卡方、t和F等隨機變量。
從生態系統中的捕食者-被捕食者數量,到體內的激素調節,自然界中充滿了對我們產生深遠影響的動力系統。這本書為在生命科學中描述這些相互作用的系統并理解和預測他們的行為的學生開發必要的數學工具。復雜的反饋關系和反直覺的反應在自然界的動力系統中是常見的; 這本書發展了需要探索這些相互作用的定量技能。
微分方程是量化變化的自然數學工具,也是貫穿全書的驅動力。歐拉方法的使用使非線性實例易于處理,并可用于早期本科生的廣泛范圍,從而提供了一種實用的替代傳統微積分課程的程序方法。工具是在大量的,相關的例子中開發的,并強調整個數學模型的構建、評估和解釋。在情境中遇到這些概念,學生不僅學習定量技術,而且學習如何在生物學和數學思維方式之間架起橋梁。
例子范圍廣泛,探索神經元和免疫系統的動力學,通過人口動力學和谷歌PageRank算法。每個場景只依賴于對自然世界的興趣;學生或教師不假定有生物學專業知識。建立在一個單一的預微積分的前提下,這本書適合兩個季度的序列為一或二年級本科生,并滿足數學要求的醫學院入學。后面的材料為數學和生命科學的更高級的學生提供了機會,在一個豐富的、真實世界的框架中重溫理論知識。在所有情況下,焦點都很清楚:數學如何幫助我們理解科學?
本備忘單是機器學習手冊的濃縮版,包含了許多關于機器學習的經典方程和圖表,旨在幫助您快速回憶起機器學習中的知識和思想。
這個備忘單有兩個顯著的優點:
清晰的符號。數學公式使用了許多令人困惑的符號。例如,X可以是一個集合,一個隨機變量,或者一個矩陣。這是非常混亂的,使讀者很難理解數學公式的意義。本備忘單試圖規范符號的使用,所有符號都有明確的預先定義,請參見小節。
更少的思維跳躍。在許多機器學習的書籍中,作者省略了數學證明過程中的一些中間步驟,這可能會節省一些空間,但是會給讀者理解這個公式帶來困難,讀者會在中間迷失。