這本教科書介紹了Banach空間中優化問題的凸對偶性、積分理論,以及它們在靜態或動態設置中的隨機規劃問題的應用。對隨機規劃的主要算法進行了介紹和分析,并對理論方面進行了細致的論述。 讀者展示了如何這些工具可以應用到各種領域,包括近似理論,半定和二階錐規劃和線性決策規則。 本書推薦給那些愿意用嚴格的方法來研究對偶理論在不確定性優化中的應用中的數學的學生、工程師和研究人員。
凸優化工具箱本章在巴拿赫空間中,通過極大極小法和攝動法,給出優化問題的對偶理論。在一些穩定性(限定)假設下,證明了對偶問題具有一個非空有界解集。這就引出了次微分學,這似乎只是一個偏次微分法則。提供了應用的十進制卷積,以及衰退和透視函數。利用Shapley-Folkman定理,分析了一些非凸問題的松弛性。
半定規劃與半無限規劃本章討論正半定矩陣錐上的最優化問題,以及這類線性問題的對偶理論。我們將凸旋轉不變矩陣函數與譜的凸函數聯系起來;這使得我們可以計算對數勢壘函數的共軛和相關優化問題的對偶。給出了具有非凸二次型代價和約束的半定松弛問題。證明了二階錐優化是半定規劃的一個子類。第二部分研究有限支撐測度空間中的半無限規劃及其對偶問題,并應用于Chebyshev近似和一維多項式優化問題。 集成工具箱本章簡明地介紹了一般測度空間中的積分理論,包括關于積分極限的經典定理。它擴展了在巴拿赫空間中具有值的可測函數所需要的波奇納積分。然后,它展示了如何計算積分泛函的共軛和子微分,無論是在凸情況下,基于凸被積函數理論,或在Carathéodory被積函數的情況下。然后利用Shapley-Folkman定理分析了具有積分代價和約束函數的優化問題。
**風險度量 **將期望最小化幾乎無法控制遠低于期望值的回報的風險。因此,設計函數是很有用的,其最小化將允許人們在風險和期望值之間進行權衡。本章簡要介紹了相應的風險度量理論。在介紹了效用函數之后,引入了風險的貨幣度量,并與它們的接受集相聯系。然后討論了偏差和半偏差的情況,以及(條件)風險值。
抽樣和優化本章討論的不是最小化期望,而是最小化通過獲得獨立事件的樣本得到的樣本近似時會發生什么。該分析依賴于漸近定律理論(δ定理)及其在隨機規劃中的應用。我們將結果推廣到期望約束的情況。
動態隨機優化動態隨機優化問題具有以下信息約束:每個決策必須是相應時刻可用信息的函數。這可以表示為包含條件期望的線性約束。本章在充分觀察狀態的情況下發展了凸問題的相應理論。由此得到的最優系統涉及一個后向共態方程,控制變量是某個哈密頓函數的最小值點.
馬爾可夫決策過程
本章考慮一個受控馬爾可夫鏈過程的最小回報期望問題,無論是有限范圍的馬爾可夫鏈過程,還是有折扣的無限馬爾可夫鏈過程,包括退出時間和停止決策的情況。比較了值和策略(Howard)迭代。對于具有期望約束、局部觀察的問題,對于具有無折現代價的大視界問題的遍歷情況,給出了這些結果的推廣。 算法對于凸的動態隨機優化問題,Bellman函數是凸的,可以近似為仿射函數的有限上極值。從靜態和確定性問題開始,展示了這如何導致有效的隨機對偶動態規劃算法。本章第二部分討論了線性決策規則的一種很有前途的方法,它使我們可以得到隨機優化問題的值函數的上下界。
廣義凸性與運輸理論
本章首先介紹了用任意集上的一般耦合函數代替對偶積時凸性理論的推廣。優化問題的Fenchel共軛、循環單調性和對偶性的概念,對這種設置有一個自然的擴展,其中增廣拉格朗日方法有一個自然的解釋。度量空間上的凸函數,構造為連續函數的積分函數的Fenchel共軛,有時被證明等于其密度的函數的某個積分。這被用于在緊集上的最優運輸理論的表述,以及相關的懲罰問題。本章最后討論了多傳輸環境。
從應用的觀點來看,研究這本書的主要原因是幫助處理描述隨機、時變函數的復雜性。一個隨機變量可以被解釋為一個單一測量的結果。描述單個隨機變量的分布是相當簡單的。它完全由一個單變量的累積分布函數F(x)指定。在計算機上近似地表示一個累積分布函數是比較容易的。幾個隨機變量的聯合分布要復雜得多,一般用一個聯合累積概率分布函數F(x1, x2,…)來描述。它比n個單變量函數復雜得多。一個隨機過程,例如一個通信信道中的時變衰落模型,涉及許多,可能是無限多個隨機變量(在一個觀察區間內的每個時刻t都有一個)。
這本書幫助讀者準備理解和使用以下方法來處理隨機過程的復雜性:
這本書是為伊利諾伊大學香檳分校(University of Illinois at Urbana-Champaign)電子與計算機工程系(Department of Electrical and Computer Engineering)的隨機過程研究生第一學期課程而寫的。本課程假定學生上過概率論課程,在第一章簡要回顧。學生也應該熟悉實際分析和初級線性代數,如極限的概念、導數的定義、黎曼積分和對稱矩陣的對角化。這些主題將在附錄中回顧。最后,學生應該對變換方法和復變分析有一定的熟悉程度,盡管相關章節會對所使用的概念進行回顧。希望一些閱讀這本書的學生會發現,它們有助于理解系統工程的各種技術文獻,包括控制系統、信號和圖像處理、通信理論,以及各種網絡和算法的分析。希望一些學生能繼續設計系統,定義和分析隨機模型。希望其他人會有動力繼續學習概率論,繼續學習測度理論及其在概率論和分析中的應用。
本書的前四章在后面的章節中使用得非常多,所以大多數讀者在繼續閱讀之前應該先閱讀這些章節。第一章主要是對概率論第一課中發現的概念的回顧,重點是公理和期望的定義。希望對基本概率進行更廣泛回顧的讀者可以參考伊利諾斯大學ECE 313的作者筆記。第二章主要介紹隨機變量序列收斂的各種方法,以及概率論的基本極限定理:大數定律、中心極限定理和大偏差的漸近性態。第三章主要討論最小均方誤差估計和正交原理。基于創新序列從幾何角度解釋了卡爾曼濾波。第四章介紹了隨機過程的概念,并簡要介紹了幾個關鍵的例子和隨機過程的分類。本章將介紹馬爾可夫過程和鞅,但在以后的章節中將有更深入的討論。在第4章之后,下面的四個主題可以相互獨立地進行討論。第5章描述了馬爾可夫過程在建模和統計推斷中的使用。應用程序包括自然語言處理。第6章描述了馬爾可夫過程在動力學系統建模和分析中的應用。應用程序包括排隊系統的建模。第7-9章發展了基于均方收斂的隨機過程的演算,接著是線性濾波,正交展開,最后是因果和非因果維納濾波。第10章探討關于過濾的鞅,重點是初等集中不等式和可選抽樣定理。
這本書通過探索計算機科學理論和機器學習雙方可以相互傳授的內容,將理論和機器學習聯系起來。它強調了對靈活、易于操作的模型的需求,這些模型更好地捕捉使機器學習變得容易的東西,而不是讓機器學習變得困難的東西。
理論計算機科學家將被介紹到機器學習的重要模型和該領域的主要問題。機器學習研究人員將以一種可訪問的格式介紹前沿研究,并熟悉現代算法工具包,包括矩法、張量分解和凸規劃松弛。
超越最壞情況分析的處理方法是建立對實踐中使用的方法的嚴格理解,并促進發現令人興奮的、解決長期存在的重要問題的新方法。
在這本書中,我們將涵蓋以下主題:
(a)非負矩陣分解
(b)主題建模
(c)張量分解
(d)稀疏恢復
(e)稀疏編碼
(f)學習混合模型
(g)矩陣補全
這本書的第三版繼續演示如何應用概率論,以獲得洞察到真實的,日常統計問題和情況。這種方法最終導致了對統計程序和策略的直觀理解,最常用的是實踐工程師和科學家。這本書是為統計學或概率和統計的入門課程而寫的,為工程、計算機科學、數學、統計學和自然科學的學生而寫。因此,它假定你有初等微積分知識。
第一章簡要介紹統計學,介紹它的兩個分支,描述性統計和推理統計學,并簡要介紹該學科的歷史和一些人的早期工作為今天所做的工作奠定了基礎。描述性統計的主題將在第二章中討論。描述數據集的圖和表在本章中給出,以及用于總結數據集某些關鍵屬性的數量。要想從數據中得出結論,就必須了解數據的來源。例如,通常假設數據是來自某些總體的“隨機樣本”。為了準確理解這意味著什么,以及將樣本數據屬性與總體屬性相關聯的結果是什么,有必要對概率有一些了解,這是第三章的主題。本章介紹了概率實驗的思想,解釋了事件概率的概念,并給出了概率的公理。我們的概率研究將在第四章繼續,這一章涉及隨機變量和期望的重要概念,在第五章,考慮一些在應用中經常出現的特殊類型的隨機變量。給出了二項式、泊松、超幾何、正態、均勻、伽馬、卡方、t和F等隨機變量。在第6章中,我們研究了樣本均值和樣本方差等抽樣統計量的概率分布。我們將展示如何使用一個著名的概率理論結果,即中心極限定理,來近似樣本均值的概率分布。此外,我們還介紹了關節基礎數據來自正態分布總體的重要特殊情況下的樣本均值和樣本方差的概率分布。第7章展示了如何使用數據來估計感興趣的參數。第8章介紹了統計假設檢驗的重要主題,它涉及到使用數據來檢驗特定假設的可信性。第9章討論回歸的重要課題。簡單線性回歸(包括回歸到均值、殘差分析和加權最小二乘等子主題)和多元線性回歸都被考慮在內。第10章是方差分析。考慮了單向和雙向(有或沒有交互的可能性)問題。第11章是關于擬合優度檢驗,它可以用來檢驗所提出的模型是否與數據一致。文中給出了經典的卡方擬合優度檢驗,并將其應用于列聯表的獨立性檢驗。本章的最后一節介紹了Kolmogorov-Smirnov程序,用于測試數據是否來自特定的連續概率分布。第12章討論了非參數假設檢驗,當人們無法假設潛在的分布具有某些特定的參數形式(如正態分布)時,可以使用非參數假設檢驗。第13章考慮質量控制的主題,一個關鍵的統計技術在制造和生產過程。我們考慮了各種控制圖,不僅包括休哈特控制圖,還包括基于移動平均線和累積總和的更復雜的控制圖。第14章討論與壽命試驗有關的問題。在本章中,指數分布,而不是正態分布,起著關鍵作用。
本書逐步介紹了shell腳本如何幫助健康和生活專家解決日常工作中軟件依賴最小的許多數據處理任務。書中給出的示例顯示了如何使用簡單的命令行工具并將它們組合起來從Web資源中檢索數據和文本、過濾和挖掘文獻,以及探索生物醫學本體中編碼的語義。為了存儲數據,本書依賴于開放的標準文本文件格式,如TSV、CSV、XML和OWL,任何文本編輯器或電子表格應用程序都可以打開這些格式。前兩章,簡介和參考資料,簡要介紹了shell腳本,并描述了健康和生命科學中的流行數據資源。第三章,數據檢索,首先介紹了一個涉及多種數據資源的常見數據處理任務。然后,本章通過逐個介紹所需的命令行工具來說明如何自動化該任務的每個步驟。第四章,文本處理,展示了如何使用簡單的字符串匹配技術和正則表達式來過濾和分析文本。最后一章,語義處理,展示了XPath查詢和shell腳本是如何處理復雜數據的,比如用于指定本體的圖。除了在40多年的時間里幾乎是不可改變的,并且在我們的大多數個人計算機中都可以使用之外,健康和生活專家學習shell腳本相對容易,它是一組獨立的命令序列。理解它們就像通過測試和理解其程序步驟和變量,并結合它們的中間結果來執行一個新的實驗室方案。因此,這本書對想要輕松學習如何處理數據和文本的健康和生活專家或學生特別相關,而這反過來可能促進和激勵他們在未來獲得更深層次的生物信息學技能。
機器學習使用各種數學領域的工具。本文試圖對機器學習入門課程所需的數學背景進行總結,這門課在加州大學伯克利分校被稱為CS 189/289A。我們假設讀者已經熟悉多變量微積分和線性代數的基本概念(UCB數學53/54的水平)。這里介紹的大多數主題都很少涉及; 我們打算給出一個概述,并向感興趣的讀者指出更全面的處理以獲得進一步的細節。請注意,本文關注的是機器學習的數學背景,而不是機器學習本身。我們將不討論具體的機器學習模型或算法,除非可能通過強調數學概念的相關性。該文件的早期版本不包括校樣。我們已開始在有助于理解的相當短的證明里加上證明。這些證明不是cs189的必要背景,但可以用來加深讀者的理解。
這是我2004年,2006年和2009年在斯坦福大學教授的概率理論博士課程的講義。本課程的目標是為斯坦福大學數學和統計學系的博士生做概率論研究做準備。更廣泛地說,文本的目標是幫助讀者掌握概率論的數學基礎和在這一領域中證明定理最常用的技術。然后將此應用于隨機過程的最基本類的嚴格研究。
為此,我們在第一章中介紹了測度與積分理論中的相關元素,即事件的概率空間與格-代數、作為可測函數的隨機變量、它們的期望作為相應的勒貝格積分,以及獨立性的重要概念。
利用這些元素,我們在第二章中研究了隨機變量收斂的各種概念,并推導了大數的弱定律和強定律。
第三章討論了弱收斂的理論、分布函數和特征函數的相關概念以及中心極限定理和泊松近似的兩個重要特例。
基于第一章的框架,我們在第四章討論了條件期望的定義、存在性和性質,以及相關的規則條件概率分布。
第五章討論了過濾、信息在時間上的級數的數學概念以及相應的停止時間。關于后者的結果是作為一組稱為鞅的隨機過程研究的副產品得到的。討論了鞅表示、極大不等式、收斂定理及其各種應用。為了更清晰和更容易的表述,我們在這里集中討論離散時間的設置來推遲與第九章相對應的連續時間。
第六章簡要介紹了馬爾可夫鏈的理論,概率論的核心是一個龐大的主題,許多教科書都致力于此。我們通過研究一些有趣的特殊情況來說明這類過程的一些有趣的數學性質。
在第七章中,我們簡要介紹遍歷理論,將注意力限制在離散時間隨機過程的應用上。我們定義了平穩過程和遍歷過程的概念,推導了Birkhoff和Kingman的經典定理,并強調了該理論的許多有用應用中的少數幾個。
第八章建立了以連續時間參數為指標的右連續隨機過程的研究框架,引入了高斯過程族,并嚴格構造了布朗運動為連續樣本路徑和零均值平穩獨立增量的高斯過程。
第九章將我們先前對鞅和強馬爾可夫過程的處理擴展到連續時間的設定,強調了右連續濾波的作用。然后在布朗運動和馬爾可夫跳躍過程的背景下說明了這類過程的數學結構。
在此基礎上,在第十章中,我們利用不變性原理重新構造了布朗運動作為某些重新標定的隨機游動的極限。進一步研究了其樣本路徑的豐富性質以及布朗運動在clt和迭代對數定律(簡稱lil)中的許多應用。
概率論起源于17世紀的法國,當時兩位偉大的法國數學家,布萊斯·帕斯卡和皮埃爾·德·費馬,對兩個來自機會博弈的問題進行了通信。帕斯卡和費馬解決的問題繼續影響著惠更斯、伯努利和DeMoivre等早期研究者建立數學概率論。今天,概率論是一個建立良好的數學分支,應用于從音樂到物理的學術活動的每一個領域,也應用于日常經驗,從天氣預報到預測新的醫療方法的風險。
本文是為數學、物理和社會科學、工程和計算機科學的二、三、四年級學生開設的概率論入門課程而設計的。它提出了一個徹底的處理概率的想法和技術為一個牢固的理解的主題必要。文本可以用于各種課程長度、水平和重點領域。
在標準的一學期課程中,離散概率和連續概率都包括在內,學生必須先修兩個學期的微積分,包括多重積分的介紹。第11章包含了關于馬爾可夫鏈的材料,為了涵蓋這一章,一些矩陣理論的知識是必要的。
文本也可以用于離散概率課程。材料被組織在這樣一種方式,離散和連續的概率討論是在一個獨立的,但平行的方式,呈現。這種組織驅散了對概率過于嚴格或正式的觀點,并提供了一些強大的教學價值,因為離散的討論有時可以激發更抽象的連續的概率討論。在離散概率課程中,學生應該先修一學期的微積分。
為了充分利用文中的計算材料和例子,假設或必要的計算背景很少。所有在文本中使用的程序都是用TrueBASIC、Maple和Mathematica語言編寫的。
機器學習簡明指南,不可錯過!
A Machine Learning Primer
亞馬遜研究科學家Mihail Eric關于機器學習實踐重要經驗。包括監督學習、機器學習實踐、無監督學習以及深度學習。具體為:
監督學習
機器學習實踐
無監督學習
深度學習
管理統計和數據科學的原理包括:數據可視化;描述性措施;概率;概率分布;數學期望;置信區間;和假設檢驗。方差分析;簡單線性回歸;多元線性回歸也包括在內。另外,本書還提供了列聯表、卡方檢驗、非參數方法和時間序列方法。
教材:
本備忘單是機器學習手冊的濃縮版,包含了許多關于機器學習的經典方程和圖表,旨在幫助您快速回憶起機器學習中的知識和思想。
這個備忘單有兩個顯著的優點:
清晰的符號。數學公式使用了許多令人困惑的符號。例如,X可以是一個集合,一個隨機變量,或者一個矩陣。這是非常混亂的,使讀者很難理解數學公式的意義。本備忘單試圖規范符號的使用,所有符號都有明確的預先定義,請參見小節。
更少的思維跳躍。在許多機器學習的書籍中,作者省略了數學證明過程中的一些中間步驟,這可能會節省一些空間,但是會給讀者理解這個公式帶來困難,讀者會在中間迷失。