貝葉斯統計分析方法是一本關于統計方法分析廣泛的各種數據的書。本書由12章組成,從基本概念開始,涵蓋了許多主題,包括貝葉斯估計,決策理論,預測,假設檢驗,層次模型,馬爾可夫鏈蒙特卡羅方法,有限總體推理,有偏抽樣和不可忽略的非響應。這本書包含了許多練習,所有的解決方案,包括完整的計算機代碼。適合自學或一個學期的課程,每周三小時的講座和一次輔導課,共13周。
//press.anu.edu.au/publications/bayesian-methods-statistical-analysis
這本書作為在線凸優化(OCO)的擴展理論的介紹。這本書是作為一門研究生課程的基礎教材編寫的,或者作為研究人員在機器學習優化的參考。這門課程在2010-2014年在Technion開設,每年略有變化,后來在2015-2020年在普林斯頓大學開設。
這本書是為計算機科學/電氣工程/運籌學/統計和相關領域的研究生提供一個完整的課程參考。因此,它的組織結構遵循了Technion教授的“決策分析”課程和普林斯頓大學教授的“理論機器學習”課程的結構。根據課程的深度和廣度,每一章應該上一到兩周的課。第1章是為該領域設計的一個難題,它沒有本書的其余部分那么嚴格。粗略地說,這本書可以設想為三個單元。第一部分,從第2章到第4章,包含了OCO的基本定義、框架和核心算法。第5章到第7章包含了更高級的算法和對框架及其對其他計算和信息訪問模型的擴展的深入分析。本書的其余部分涉及更高級的算法、更困難的設置,以及與著名的機器學習范例的關系。這本書可以幫助教育者設計在線凸優化主題的完整課程,或它可以作為一個組成部分在機器學習的綜合課程。在書中給出的選擇練習的解決方案的附帶手冊僅供教育者使用。
近年來,在所有科學學科和工業環境中,數據的數量和種類都出現了爆炸式增長。如此龐大的數據集給統計學和機器學習的研究人員帶來了許多挑戰。本書對高維統計領域進行了介紹,針對的是第一年的研究生水平。它包括的章節集中在核心方法論和理論-包括尾邊界,集中不等式,一致定律和經驗過程,和隨機矩陣-以及章節致力于深入探索特定的模型類-包括稀疏線性模型,矩陣模型與秩約束,圖形模型,以及各種類型的非參數模型。通過數百個工作示例和練習,本文旨在為課程和自學的研究生和研究人員在統計,機器學習,以及相關領域誰必須理解,應用和適應現代統計方法適合大規模數據。
這本書通過探索計算機科學理論和機器學習雙方可以相互傳授的內容,將理論和機器學習聯系起來。它強調了對靈活、易于操作的模型的需求,這些模型更好地捕捉使機器學習變得容易的東西,而不是讓機器學習變得困難的東西。
理論計算機科學家將被介紹到機器學習的重要模型和該領域的主要問題。機器學習研究人員將以一種可訪問的格式介紹前沿研究,并熟悉現代算法工具包,包括矩法、張量分解和凸規劃松弛。
超越最壞情況分析的處理方法是建立對實踐中使用的方法的嚴格理解,并促進發現令人興奮的、解決長期存在的重要問題的新方法。
在這本書中,我們將涵蓋以下主題:
(a)非負矩陣分解
(b)主題建模
(c)張量分解
(d)稀疏恢復
(e)稀疏編碼
(f)學習混合模型
(g)矩陣補全
在過去的十年里,人們對人工智能和機器學習的興趣有了相當大的增長。從最廣泛的意義上說,這些領域旨在“學習一些有用的東西”,了解生物體所處的環境。如何處理收集到的信息導致了算法的發展——如何處理高維數據和處理不確定性。在機器學習和相關領域的早期研究階段,類似的技術在相對孤立的研究社區中被發現。雖然不是所有的技術都有概率論的自然描述,但許多都有,它是圖模型的框架(圖和概率論的結合),使從統計物理、統計、機器學習和信息理論的想法的理解和轉移。在這種程度上,現在有理由期待機器學習研究人員熟悉統計建模技術的基礎知識。這本書集中在信息處理和機器學習的概率方面。當然,沒有人說這種方法是正確的,也沒有人說這是唯一有用的方法。事實上,有人可能會反駁說,這是沒有必要的,因為“生物有機體不使用概率論”。無論情況是否如此,不可否認的是,圖模型和概率框架幫助機器學習領域出現了新算法和模型的爆炸式增長。我們還應該清楚,貝葉斯觀點并不是描述機器學習和信息處理的唯一方法。貝葉斯和概率技術在需要考慮不確定性的領域中發揮了自己的作用。
//www0.cs.ucl.ac.uk/staff/d.barber/brml/
本書結構
本書第一部分的目的之一是鼓勵計算機科學專業的學生進入這一領域。許多現代學生面臨的一個特別困難是有限的正規微積分和線性代數訓練,這意味著連續和高維分布的細節可能會讓他們離開。在以概率作為推理系統的一種形式開始時,我們希望向讀者展示他們可能更熟悉的邏輯推理和動態規劃的想法如何在概率環境中有自然的相似之處。特別是,計算機科學的學生熟悉的概念,算法為核心。然而,在機器學習中更常見的做法是將模型視為核心,而如何實現則是次要的。從這個角度來看,理解如何將一個數學模型轉換成一段計算機代碼是核心。
第二部分介紹了理解連續分布所需的統計背景,以及如何從概率框架來看待學習。第三部分討論機器學習的主題。當然,當一些讀者看到他們最喜歡的統計話題被列在機器學習下面時,他們會感到驚訝。統計學和機器學習之間的一個不同觀點是,我們最終希望構建什么樣的系統(能夠完成“人類/生物信息處理任務的機器),而不是某些技術。因此,我認為這本書的這一部分對機器學習者來說是有用的。第四部分討論了明確考慮時間的動態模型。特別是卡爾曼濾波器被視為圖模型的一種形式,這有助于強調模型是什么,而不是像工程文獻中更傳統的那樣把它作為一個“過濾器”。第五部分簡要介紹了近似推理技術,包括隨機(蒙特卡羅)和確定性(變分)技術。
自然語言處理(Natural Language Processing,NLP)是計算機科學領域與人工智能領域中的一個重要方向。它研究能夠實現人與電腦之間用自然語言進行有效通信的各種理論和方法,涉及所有用計算機對自然語言進行的操作。
//www.datascienceassn.org/sites/default/files/Natural%20Language%20Processing%20with%20Python.pdf
伯德、克萊恩、洛佩爾編著的這本《Python自然語言處理》是自然語言處理領域的一本實用入門指南,旨在幫助讀者學習如何編寫程序來分析書面語言。《Python自然語言處理》基于Python編程語言以及一個名為NLTK的自然語言工具包的開源庫,但并不要求讀者有Python編程的經驗。全書共11章,按照難易程度順序編排。第1章到第3章介紹了語言處理的基礎,講述如何使用小的Python程序分析感興趣的文本信息。第4章討論結構化程序設計,以鞏固前面幾章中介紹的編程要點。第5章到第7章介紹語言處理的基本原理,包括標注、分類和信息提取等。第8章到第10章介紹了句子解析、句法結構識別和句意表達方法。第11章介紹了如何有效管理語言數據。后記部分簡要討論了NLP領域的過去和未來。
《Python自然語言處理》的實踐性很強,包括上百個實際可用的例子和分級練習。《Python自然語言處理》可供讀者用于自學,也可以作為自然語言處理或計算語言學課程的教科書,還可以作為人工智能、文本挖掘、語料庫語言學等課程的補充讀物。
近年來,自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中,我們將回顧這些框架,以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中,即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響,因為它們是最近大多數最先進的架構的基礎。因此,我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例,用于評估最先進的模型的訓練前資源和基準任務/數據集。
//compstat-lmu.github.io/seminar_nlp_ss20/
在過去的幾十年里,人工智能技術的重要性和應用不斷得到關注。在當今時代,它已經與構成人類塑造環境的大部分環境密不可分。因此,商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中,我們將仔細研究自然語言處理(NLP)的現代方法。
這本小冊子詳細介紹了用于自然語言處理的現代方法,如深度學習和遷移學習。此外,本研究亦會研究可用于訓練自然語言處理任務的資源,并會展示一個將自然語言處理應用于自然語言生成的用例。
為了分析和理解人類語言,自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練,因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的,深度神經網絡。為了解決容易的任務,可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性,采用了遞歸和卷積神經網絡。因此,遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型,卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中,將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。
遷移學習是每個任務或領域的學習模型的替代選擇。在這里,可以使用相關任務或領域的現有標記數據來訓練模型,并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練,并且可以節省訓練模型的時間,同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力,它使解碼器能夠注意到整個輸入序列,或自注意,它允許一個Transformer 模型處理所有輸入單詞,并建模一個句子中所有單詞之間的關系,這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合,介紹了BERT模型、GTP2模型和XLNet模型。
為NLP建模,需要資源。為了找到任務的最佳模型,可以使用基準測試。為了在基準實驗中比較不同的模型,需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標,深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA,以及可以找到資源的預訓練模型和數據庫,如“帶代碼的論文”和“大壞的NLP數據庫”。
在小冊子的最后一章中,介紹了生成性NLP處理自然語言生成,從而在人類語言中生成可理解的文本。因此,不同的算法將被描述,聊天機器人和圖像字幕將被展示,以說明應用的可能性。
本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法,并提供了一個更詳細的討論,以及各種示例的潛力和限制。
機器學習簡明指南,不可錯過!
A Machine Learning Primer
亞馬遜研究科學家Mihail Eric關于機器學習實踐重要經驗。包括監督學習、機器學習實踐、無監督學習以及深度學習。具體為:
監督學習
機器學習實踐
無監督學習
深度學習
前言 在這本書中,我們從圖形模型的基礎知識、它們的類型、為什么使用它們以及它們解決了什么類型的問題開始。然后我們在圖形模型的上下文中探索子問題,例如它們的表示、構建它們、學習它們的結構和參數,以及使用它們回答我們的推理查詢。
這本書試圖提供足夠的理論信息,然后使用代碼示例窺視幕后,以了解一些算法是如何實現的。代碼示例還提供了一個方便的模板,用于構建圖形模型和回答概率查詢。在文獻中描述的許多種類的圖形模型中,這本書主要關注離散貝葉斯網絡,偶爾也有來自馬爾科夫網絡的例子。
內容概述
第一章:概率論,涵蓋了理解圖形模型所需的概率論的概念。
第2章:有向圖形模型,提供了關于貝葉斯網絡的信息,他們的屬性相關的獨立性,條件獨立性,和D分離。本章使用代碼片段加載貝葉斯網絡并理解其獨立性。
第三章:無向圖模型,介紹了馬爾可夫網絡的性質,馬爾可夫網絡與貝葉斯網絡的區別,以及馬爾可夫網絡的獨立性。
第四章:結構學習,涵蓋了使用數據集來推斷貝葉斯網絡結構的多種方法。我們還學習了結構學習的計算復雜性,并在本章使用代碼片段來學習抽樣數據集中給出的結構。
第5章:參數學習,介紹了參數學習的最大似然法和貝葉斯方法。
第6章:使用圖形模型的精確推理,解釋了精確推理的變量消除算法,并探索了使用相同算法回答我們的推理查詢的代碼片段。
第7章:近似推理方法,探討了網絡太大而無法進行精確推理的近似推理。我們還將通過在馬爾科夫網絡上使用循環信念傳播運行近似推論的代碼樣本。
目錄
管理統計和數據科學的原理包括:數據可視化;描述性措施;概率;概率分布;數學期望;置信區間;和假設檢驗。方差分析;簡單線性回歸;多元線性回歸也包括在內。另外,本書還提供了列聯表、卡方檢驗、非參數方法和時間序列方法。
教材: