在人工智能、統計學、計算機系統、計算機視覺、自然語言處理和計算生物學等許多領域中,許多問題都可以被視為從局部信息中尋找一致的全局結論。概率圖模型框架為這一范圍廣泛的問題提供了一個統一的視圖,能夠在具有大量屬性和巨大數據集的問題中進行有效的推理、決策和學習。這門研究生水平的課程將為您在復雜問題中運用圖模型中解決核心研究主題提供堅實的基礎。本課程將涵蓋三個方面: 核心表示,包括貝葉斯網絡和馬爾科夫網絡,以及動態貝葉斯網絡;概率推理算法,包括精確和近似; 以及圖模型的參數和結構的學習方法。進入這門課程的學生應該預先具備概率、統計學和算法的工作知識,盡管這門課程的設計是為了讓有較強數學背景的學生趕上并充分參與。希望通過本課程的學習,學生能夠獲得足夠的實際應用的多變量概率建模和推理的工作知識,能夠用通用模型在自己的領域內制定和解決廣泛的問題。并且可以自己進入更專業的技術文獻。
這新版本的教科書/參考提供了從工程的角度對概率圖模型(PGMs)的介紹。它提供了關于馬爾科夫決策過程、圖模型和深度學習的新材料,以及更多的練習。
這本書涵蓋了PGM的每個主要類的基礎知識,包括表示、推理和學習原理,并回顧了每種類型的模型的實際應用。這些應用來自廣泛的學科,突出了貝葉斯分類器、隱藏馬爾可夫模型、貝葉斯網絡、動態和時間貝葉斯網絡、馬爾可夫隨機場、影響圖和馬爾可夫決策過程的許多使用。
概率圖模型(PGMs)及其在不確定性下進行智能推理的應用出現于20世紀80年代的統計和人工智能推理領域。人工智能的不確定性(UAI)會議成為這一蓬勃發展的研究領域的首要論壇。20歲的時候,我在圣何塞的UAI-92大學第一次見到了恩里克·蘇卡——我們都是研究生——在那里,他展示了他關于高層次視覺推理的關系和時間模型的研究成果。在過去的25年里,Enrique對我們的領域做出了令人印象深刻的研究貢獻,從客觀概率的基礎工作,到開發時態和事件貝葉斯網絡等高級形式的PGMS,再到PGMS的學習,例如,他的最新研究成果是用于多維分類的貝葉斯鏈分類器。
概率圖模型作為一種強大而成熟的不確定性推理技術已被廣泛接受。與早期專家系統中采用的一些特殊方法不同,PGM基于圖和概率論的強大數學基礎。它們可用于廣泛的推理任務,包括預測、監測、診斷、風險評估和決策。在開源軟件和商業軟件中有許多有效的推理和學習算法。此外,它們的力量和功效已通過其成功應用于大量現實世界的問題領域而得到證明。Enrique Sucar是PGM作為實用和有用技術建立的主要貢獻者,他的工作跨越了廣泛的應用領域。這些領域包括醫學、康復和護理、機器人和視覺、教育、可靠性分析以及從石油生產到發電廠的工業應用。
機器學習是一個令人興奮的話題,關于設計可以從數據中學習的機器。本課程涵蓋了機器學習的必要理論、原理和算法。這些方法是基于統計學和概率論的——它們現在已經成為設計顯示人工智能的系統的必要條件。
在過去的十年里,深度神經網絡已經成為人工智能許多領域不可或缺的工具,包括計算機視覺、計算機圖形學、自然語言處理、語音識別和機器人技術。本課程將介紹深度神經網絡的理論與實踐原理。在其他主題中,我們將涵蓋計算圖、激活函數、損失函數、訓練、正則化和數據增強,以及各種基本和最先進的深度神經網絡架構,包括卷積網絡和圖神經網絡。該課程還將解決深度生成模型,如自動編碼器,變分自動編碼器和生成對抗網絡。此外,在整個課程中,還將介紹來自不同領域的應用。本教程將通過在Python和PyTorch中實現和應用深度神經網絡來加深對它們的理解。
這是一門關于在不確定情況下強化學習(RL)和順序決策的入門課程,重點在于理解理論基礎。我們研究如何使用動態規劃方法,如價值和策略迭代,來解決具有已知模型的順序決策問題,以及如何擴展這些方法,以解決模型未知的強化學習問題。其他主題包括(但不限于)RL中的函數近似、策略梯度方法、基于模型的RL以及平衡探索-利用權衡。本課程將以講座和閱讀古典及近期論文的方式傳授給學生。因為重點是理解基礎,你應該期望通過數學細節和證明。本課程的要求背景包括熟悉概率論和統計、微積分、線性代數、最優化和(有監督的)機器學習。
//amfarahmand.github.io/IntroRL/
目錄內容:
強化學習入門筆記
這是多倫多大學計算機科學系于2021年春季教授的強化學習(RL)研究生課程介紹的講義。本課程是入門性的,因為它不需要預先接觸強化學習。然而,它不僅僅是算法的集合。相反,它試圖在RL中經常遇到的許多重要思想和概念背后建立數學直覺。在這些講義的過程中,我證明了很多基礎的,或者有時不那么基礎的,RL的結果。如果某個結果的證明過于復雜,我就證明一個簡化的版本。
強化學習(RL)既指一類問題,也指解決這類問題的一組計算方法。RL問題是指如何采取行動,使某些長期績效的概念得到最大化。RL問題,從它的定義來看,是關于一個實體的行為和交互,我們稱之為代理,與其周圍的環境,我們稱之為環境。這是一個非常普遍的目標。有人可能會說,解決AI問題等同于解決RL問題。強化學習也指解決RL問題的一套計算方法。一個代理需要做什么樣的計算才能確保它的行為能夠帶來良好的(甚至是最佳的)長期性能?實現這些的方法稱為RL方法。歷史上,在所有試圖解決RL問題的計算方法中,只有一個子集被稱為RL方法。例如Q-Learning這樣的方法(我們將在本課程中學習)是一種很好的RL方法,但是進化計算的方法,如遺傳算法,則不是。人們可以爭辯說,進化計算方法沒有太多的“學習”成分,或者它們不以個體生命的時間尺度行事,而是以世代的時間尺度行事。雖然這些是真正的區別,但這種劃分方式有些武斷。在本課堂講稿中,我們將重點放在“RL社區”中經常學習的方法上。
貝葉斯決策理論提供了一個統一的、直觀的吸引人的方法,從觀察中得出推論,并做出理性的、知情的決定。貝葉斯學派把統計推理看作是信念動力學中的一個問題,即使用有關現象的證據來修正和更新有關它的知識。貝葉斯統計是一種科學合理的方法,以整合知情的專家判斷與經驗數據。貝葉斯統計推斷不能完全獨立于將根據推斷作出的決策的上下文來處理。近年來,貝葉斯方法在各種嚴重依賴數據的學科中變得越來越普遍。本課程向學生介紹貝葉斯理論和方法論,包括貝葉斯推理的現代計算方法。學生將學習貝葉斯方法和頻率論方法在統計推斷方面的共性和差異,如何從貝葉斯的角度來處理統計問題,以及如何將數據與專家判斷以合理的方式結合起來,得出有用的和與政策相關的結論。學生將學習必要的理論,以發展一個堅定的理解何時和如何應用貝葉斯和頻率論方法,并將學習實際程序,為現象發展統計模型,得出推論,并評估證據支持假設。本課程涵蓋貝葉斯推理理論的基礎知識,包括以概率表示信任程度,似然原理,使用貝葉斯規則修正基于證據的信念,共同統計模型的共軛先驗分布,近似后驗分布的馬爾可夫鏈蒙特卡羅方法,貝葉斯層次模型,以及其他關鍵主題。引入圖形模型來表示復雜的概率和決策問題,將它們指定為模塊化組件。作業利用現代計算技術,并著重于將方法應用于實際問題。
//seor.vse.gmu.edu/~klaskey/SYST664/SYST664.html
目錄內容: Unit 1: A Brief Tour of Bayesian Inference and Decision Theory Unit 2: Random Variables, Parametric Models, and Inference from Observation Unit 3: Bayesian Inference with Conjugate Pairs: Single Parameter Models Unit 4: Introduction to Monte Carlo Approximation Unit 5: The Normal Model Unit 6: Gibbs Sampling Unit 7: Hierarchical Bayesian Models Unit 8: Bayesian Regression Unit 9: Conclusion: Multinomial Distribution and Latent Groups
以深度神經網絡為代表的“深度學習”系統正越來越多地接管所有人工智能任務,從語言理解、語音和圖像識別,到機器翻譯、規劃,甚至是游戲和自動駕駛。因此,在許多高級學術機構中,深度學習的專業知識正從深奧的要求迅速轉變為強制性的先決條件,并成為工業就業市場的一大優勢。
在本課程中,我們將學習深度神經網絡的基礎知識,以及它們在各種人工智能任務中的應用。在本課程結束時,預計學生將對這門學科非常熟悉,并能夠將深度學習應用于各種任務。他們也將被定位去理解關于這個主題的許多當前的文獻,并通過進一步的學習來擴展他們的知識。
如果你只對課程感興趣,你可以在YouTube頻道上觀看。
現代人工智能(AI)系統通常需要在一個未知的、不確定的、可能敵對的環境中,通過積極地與環境交互來收集相關數據,從而做出連續的決策。強化學習(RL)是一個通用框架,可以捕獲交互式學習設置,并已被用于設計智能代理,以實現超人水平的表現,在具有挑戰性的任務,如圍棋,電腦游戲,機器人操作。
這門研究生水平的課程著重于強化學習的理論和算法基礎。本課程的四個主題為: (1)可證明有效的探索; (2)策略優化(特別是策略梯度); (3)控制; (4)模仿學習。
通過本課程,學生將能夠理解經典的和最新的可證明正確的RL算法及其分析。學生將能夠對與RL相關的課題進行研究。
【導讀】卡內基梅隆大學(CMU),在2020年春季學習繼續開設了由Eric P. Xing教授執教的經典課程《Probabilistic Graphical Models》(概率圖模型)。這門課程從2005年開設至今,已經有十多個年頭了。它影響了一代又一代計算機學者,為學界培養了大量機器學習人才。直到如今,概率圖模型仍然是機器學習領域非常火熱的方向,感興趣的同學不要錯過。
課程簡介:
在人工智能、統計學、計算機系統、計算機視覺、自然語言處理和計算生物學等許多其他領域中,許多問題都可以看作是從局部信息中尋找一致的全局結論。概率圖模型框架為這一范圍廣泛的問題提供了統一的視角,支持對具有大量屬性和龐大數據集的問題進行有效的推理、決策和學習。無論是應用圖模型來解決復雜問題還是作為將圖模型作為核心研究課題,本課程都能為你打下堅實基礎。
邢波 Eric P. Xing 教授
Eric P.Xing是卡內基梅隆大學(Carnegie Mellon University)計算機科學教授,是2018年世界經濟論壇(World Economic Forum)技術先驅公司Petuum Inc.的創始人、首席執行官和首席科學家,該公司為廣泛和通用的工業人工智能應用構建標準化人工智能開發平臺和操作系統。美國新澤西州立大學分子生物學與生物化學博士;美國加州大學伯克利分校(UC,Berkeley)計算機科學博士。主要研究興趣集中在機器學習和統計學習方法論及理論的發展,和大規模計算系統和架構的開發,以解決在復雜系統中的高維、多峰和動態的潛在世界中的自動化學習、推理以及決策問題。目前或曾經擔任《美國統計協會期刊》(JASA)、《應用統計年鑒》(AOAS)、《IEEE模式分析與機器智能學報》(PAMI)和《PLoS計算生物學雜志》(the PLoS JournalofComputational Biology)的副主編,《機器學習雜志》(MLJ)和《機器學習研究雜志》(JMLR)的執行主編,還是美國國防部高級研究計劃署(DARPA)信息科學與技術顧問組成員,曾獲得美國國家科學基金會(NSF)事業獎、Alfred P. Sloan學者獎、美國空軍青年學者獎以及IBM開放協作研究學者獎等,以及多次論文獎。曾于2014年擔任國際機器學習大會(ICML)主席。
課程信息:
課程介紹
在人工智能、統計學、計算機系統、計算機視覺、自然語言處理和計算生物學等許多領域中的問題,都可以被視為從局部信息中尋找一致的全局結論。概率圖模型框架為這些普遍問題提供了統一的視角解決方案,支持在具有大量屬性和龐大數據集的問題中進行有效的推理、決策和學習。本研究生課程將為您運用圖模型到復雜的問題和解決圖模型的核心研究課題提供堅實的基礎。
課程大綱
講師:邢波
講師簡介
邢波,卡耐基梅隆大學教授,曾于2014年擔任國際機器學習大會(ICML)主席。主要研究興趣集中在機器學習和統計學習方法論及理論的發展,和大規模計算系統和架構的開發。他創辦了Petuum 公司,這是一家專注于人工智能和機器學習的解決方案研發的公司,騰訊曾投資了這家公司。
個人主頁: