隨著開放科學和開放資源的雙重運動將越來越多的科學過程帶入數字領域,科學本身的元科學研究(包括數據科學和統計)出現了新的機會。未來的科學很可能看到機器在處理、組織甚至創造科學知識方面發揮積極作用。為了使這成為可能,必須進行大量的工程努力來將科學工件轉化為有用的計算資源,并且必須在科學理論、模型、實驗和數據的組織方面取得概念上的進展。本論文的目標是將數據科學的兩大主要產物——統計模型和數據分析——數字化和系統化。使用來自代數的工具,特別是分類邏輯,在統計和邏輯的模型之間進行了精確的類比,使統計模型在邏輯意義上被視為理論的模型。統計理論,作為代數結構,服從機器表示,并配備了形式化不同統計方法之間的關系的形態。從數學轉向工程,設計和實現了一個軟件系統,用于以Python或R程序的形式創建數據分析的機器表示。表示的目的是捕獲數據分析的語義,獨立于實現它們的編程語言和庫。
管理統計和數據科學的原理包括:數據可視化;描述性措施;概率;概率分布;數學期望;置信區間;和假設檢驗。方差分析;簡單線性回歸;多元線性回歸也包括在內。另外,本書還提供了列聯表、卡方檢驗、非參數方法和時間序列方法。
教材:
在復雜的以人為中心的系統中,每天的決策都具有決策相關信息不完全的特點。現有決策理論的主要問題是,它們沒有能力處理概率和事件不精確的情況。在這本書中,我們描述了一個新的理論的決策與不完全的信息。其目的是將決策分析和經濟行為的基礎從領域二價邏輯轉向領域模糊邏輯和Z約束,從行為決策的外部建模轉向組合狀態的框架。
這本書將有助于在模糊邏輯,決策科學,人工智能,數學經濟學,和計算經濟學的專業人員,學者,經理和研究生。
讀者:專業人士,學者,管理者和研究生在模糊邏輯,決策科學,人工智能,數學經濟學,和計算經濟學。
凸優化作為一個數學問題已經被研究了一個多世紀,并在許多應用領域的實踐中應用了大約半個世紀,包括控制、金融、信號處理、數據挖掘和機器學習。本文主要研究凸優化的幾個問題,以及機器學習的具體應用。
在過去的20年里,基因組學、神經科學、經濟學和互聯網服務等許多領域產生了越來越多的大數據集,這些數據集有高維、大樣本,或者兩者兼之。這為我們從數據中檢索和推斷有價值的信息提供了前所未有的機會。同時,也對統計方法和計算算法提出了新的挑戰。一方面,我們希望建立一個合理的模型來捕獲所需的結構,并提高統計估計和推斷的質量。另一方面,面對越來越大的數據集,計算可能成為一個巨大的障礙,以得出有意義的結論。這篇論文站在兩個主題的交叉點,提出了統計方法來捕獲所需的數據結構,并尋求可擴展的方法來優化計算非常大的數據集。我們提出了一種可擴展的靈活框架,用于利用lasso/elastic-net解決大規模稀疏回歸問題; 提出了一種可伸縮的框架,用于在存在多個相關響應和其他細微差別(如缺失值)的情況下解決稀疏縮減秩回歸問題。分別在snpnet和multiSnpnet R包中以PLINK 2.0格式為基因組數據開發了優化的實現。這兩種方法在超大和超高維的英國生物樣本庫研究中得到了驗證,與傳統的預測建模方法相比有了顯著的改進。此外,我們考慮了一類不同的高維問題,異質因果效應的估計。與監督學習的設置不同,這類問題的主要挑戰在于,在歷史數據中,我們從未觀察到硬幣的另一面,因此我們無法獲得處理之間真正差異的基本真相。我們提出適應非參數統計學習方法,特別是梯度增強和多元自適應回歸樣條,以估計處理效果的預測器可用。實現被打包在一個R包causalLearning中。
本書涵蓋了這些領域中使用Python模塊演示的概率、統計和機器學習的關鍵思想。整本書包括所有的圖形和數值結果,都可以使用Python代碼及其相關的Jupyter/IPython Notebooks。作者通過使用多種分析方法和Python代碼的有意義的示例,開發了機器學習中的關鍵直覺,從而將理論概念與具體實現聯系起來。現代Python模塊(如panda、y和Scikit-learn)用于模擬和可視化重要的機器學習概念,如偏差/方差權衡、交叉驗證和正則化。許多抽象的數學思想,如概率論中的收斂性,都得到了發展,并用數值例子加以說明。本書適合任何具有概率、統計或機器學習的本科生,以及具有Python編程的基本知識的人。
在二十一世紀,統計方法的范圍和影響都有了驚人的擴大。“大數據”、“數據科學”和“機器學習”已經成為新聞中常見的術語,因為統計方法被用于處理現代科學和商業的龐大數據集。我們是怎么走到這一步的?我們要去哪里?這本書帶領我們經歷了自20世紀50年代引入電子計算之后的數據分析革命。從經典的推論理論-貝葉斯,頻率主義者,費歇爾-個別章節采取了一系列有影響力的主題:生存分析,邏輯回歸,經驗貝葉斯,jackknife和bootstrap,隨機森林,神經網絡,馬爾科夫鏈蒙特卡羅,模型選擇后的推論,以及更多。本書將方法論和算法與統計推斷相結合,并以對統計和數據科學未來方向的推測作為結尾。
統計學習是一套以復雜數據建模和數據理解為目的的工具集,是近期才發展起來的統計學的一個新領域。本書出自統計學習領域聲名顯赫的幾位專家,結合R語言介紹了分析大數據必不可少的工具,提供一些重要的建模和預測技術,并借助豐富的實驗來解釋如何用R語言實現統計學習方法。論題包括線性回歸、分類、重抽樣方法、壓縮方法、基于樹的方法、支持向量機、聚類等,作者借助彩圖和實際案例直觀解釋這些方法。為了讀者更好地理解書中內容,每章后還配有豐富的概念性和應用性練習題。
書中內容與《The Elements of Statistical Learning》的大部分內容相同,但是本書起點低,弱化了數學推導的細節,更注重方法的應用,所以更適合作為入門教材。當然,這本《統計學習導論》不僅是優秀的“統計學習”或“機器學習”課程的教材,也是數據挖掘、數據分析等相關從業者不可或缺的參考書。
Gareth James 斯坦福大學統計學博士畢業,師從Trevor Hastie。現為南加州大學馬歇爾商學院統計學教授,美國統計學會會士,數理統計協會終身會員,新西蘭統計協會會員。《Statistica Sinica》、《Applications and Case Studies》、《Theory and Methods》等期刊的副主編。
Daniela Witten 斯坦福大學統計學博士畢業,師從Robert Tibshirani。現為華盛頓大學生物統計學副教授,美國統計學會和國際數理統計協會會士,《Journal of Computational and Graphical Statistics》和《Biometrika》等期刊副主編。
Trevor Hastie 美國統計學家和計算機科學家,斯坦福大學統計學教授,英國皇家統計學會、國際數理統計協會和美國統計學會會士。Hastie參與開發了 R 中的大部分統計建模軟件和環境,發明了主曲線和主曲面。
Robert Tibshirani 斯坦福大學統計學教授,國際數理統計協會、美國統計學會和加拿大皇家學會會士,1996年COPSS總統獎得主,提出lasso方法。Hastie和Tibshirani都是統計學習領域的泰山北斗,兩人合著《The Elements of Statistical Learning》,還合作講授斯坦福大學的公開課《統計學習》。
本書概述了現代數據科學重要的數學和數值基礎。特別是,它涵蓋了信號和圖像處理(傅立葉、小波及其在去噪和壓縮方面的應用)、成像科學(反問題、稀疏性、壓縮感知)和機器學習(線性回歸、邏輯分類、深度學習)的基礎知識。重點是對方法學工具(特別是線性算子、非線性逼近、凸優化、最優傳輸)的數學上合理的闡述,以及如何將它們映射到高效的計算算法。
//mathematical-tours.github.io/book/
它應該作為數據科學的數字導覽的數學伴侶,它展示了Matlab/Python/Julia/R對這里所涵蓋的所有概念的詳細實現。
本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文,主要研究兩個NLP任務:關系提取和主題建模。本文將神經網絡和主題模型兩種互補的學習范式結合在一個神經復合模型中,使我們能夠通過主題模型在文檔集合中共同學習主題結構,并通過語言模型在句子中共同學習單詞關系。
慕尼黑大學自19世紀以來便是德國和歐洲最具聲望大學之一,也是德國精英大學、U15大學聯盟和歐洲研究型大學聯盟成員,其社會科學、人文科學、物理,化學,生命科學,醫學,數學等領域均在國際上享有盛名。本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文。
自然語言處理(Natural language processing,NLP)涉及構建計算技術,允許計算機自動分析和有意義地表示人類語言。隨著數字時代數據的指數增長,基于NLP的系統的出現使我們能夠通過廣泛的應用程序,如網絡搜索引擎、語音助理等,輕松地訪問相關信息。為了實現這一目標,幾十年來的一項長期研究一直集中在NLP和機器學習交叉的技術上。
近年來,深度學習技術利用了人工神經網絡(ANNs)的表現力,在廣泛的NLP任務中取得了最先進的性能。深度神經網絡(DNNs)可以從輸入數據中自動提取復雜的特征,從而為手工特征工程提供了一種替代方法。除了ANN之外,概率圖形模型(PGMs)、圖論和概率方法的耦合還具有描述系統隨機變量之間因果結構的能力,并捕捉到不確定性的原則概念。考慮到DNNs和PGMs的特點,它們被有利地結合起來建立強大的神經模型,以了解數據的潛在復雜性。
傳統的基于機器學習的NLP系統采用了淺層計算方法(如SVM或Logistic回歸),并依賴于手工特征,這類方法耗時、復雜且往往是不夠完整的。基于深度學習和神經網絡的方法最近在機器翻譯、文本分類、命名識別、關系提取、文本相似性等NLP任務上取得了較好的效果。這些神經模型可以從訓練數據中自動提取有效的特征表示。
本文主要研究兩個NLP任務:關系提取和主題建模。前者的目的是識別句子或文檔中實體或名詞之間的語義關系。成功地提取語義關系有助于構建結構化知識庫,在網絡搜索、問答、推薦引擎等下游NLP應用領域很有用。另一方面,主題建模的任務旨在理解文檔集合中的主題結構。主題建模是一種流行的文本挖掘工具,它可以自動分析大量的文檔集合,并在不實際閱讀的情況下理解主題語義。主題建模分別生成用于文檔理解和信息檢索的Word集群(即主題)和文檔表示。
本質上,關系提取和主題建模主要基于從文本中學習到的表示的質量。在本文中,我們提出了特定于任務的學習表示神經模型,并分別在監督和非監督機器學習范式領域進行關系提取和主題建模任務。更具體地說,我們在開發NLP任務的神經模型方面做出了以下貢獻:
神經關系提取:首先,我們提出了一種新的基于遞歸神經網絡的table-filling體系結構,以便在句子中聯合執行實體和關系提取。然后,我們進一步擴展了跨句子邊界實體之間關系的提取范圍,并提出了一種新的基于依賴關系的神經網絡體系結構。這兩個貢獻在于機器學習的監督范式。此外,我們還在構建一個受缺乏標記數據約束的魯棒關系提取器方面做出了貢獻,其中我們提出了一種新的弱監督引導技術。考慮到這些貢獻,我們進一步探索了遞歸神經網絡的可解釋性,以解釋它們對關系提取的預測。
神經主題建模:除了有監督神經體系結構外,我們還開發了無監督神經模型,以學習主題建模框架中有意義的文檔表示。首先,我們提出了一種新的動態主題模型,它捕獲了隨著時間的推移的主題。接下來,我們在不考慮時間依賴性的情況下建立了靜態主題模型,其中我們提出了神經主題建模體系結構,這些體系結構也利用外部知識,即Word嵌入來解決數據稀疏性。此外,我們還開發了神經主題模型,其中包含了使用單詞嵌入和來自許多來源的潛在主題的知識遷移。最后,我們通過引入語言結構(如語序、局部句法和語義信息等)來改進神經主題建模。它處理傳統主題模型中的詞袋問題。本節中提出的神經NLP模型是基于PGMs、深度學習和ANN交叉技術。
在這里,神經關系提取的任務使用神經網絡來學習通常在句子級別上的表示,而不訪問更廣泛的文檔上下文。然而,主題模型可以訪問跨文檔的統計信息。因此,我們將兩種互補的學習范式結合在一個神經復合模型中是有利的,它由一個神經主題和一個神經語言模型組成,使我們能夠通過主題模型在文檔集合中共同學習主題結構,并通過語言模型在句子中共同學習單詞關系。
總的來說,我們在本論文中的研究貢獻擴展了基于NLP的系統,用于關系提取和主題建模任務,同時具有最先進的性能。
機器人和自主系統在現代經濟中扮演著重要的角色。定制機器人顯著提高了生產率、操作安全性和產品質量。然而,人們通常通過編程操作這些機器人來完成較小的領域的特定任務,而無法快速適應新任務和新情況。廉價、輕便和靈活的機器人硬件的出現為將機器人的自主能力提升到前所未有的水平提供了機會。新的機器人硬件在日常環境中的一個主要挑戰是處理現實世界的持續變化性和不確定性。為了應對這一挑戰,我們必須解決感知和行動之間的協同作用:一方面,機器人的感知自適應地指導其行動,另一方面,它的行動產生了新的感知信息,用于決策。我認為,實現通用機器人自治的關鍵一步是將感知和動作緊密地結合起來。
新興的人工智能計算工具已經證明了成功的希望,并構成了在非結構化環境中增強機器人感知和控制的理想候選。機器人的實體本質迫使我們超越現有的從無實體數據集學習的范式,并激勵我們開發考慮物理硬件和動態復雜系統的新算法。
本論文的研究工作是建立可通用的機器人感知和控制的方法和機制。我們的工作表明,感知和行動的緊密耦合,有助于機器人通過感官與非結構化的世界進行交互,靈活地執行各種任務,并適應地學習新任務。我們的研究結果表明,從低級的運動技能到高級的任務理解三個抽象層次上解剖感知-動作循環,可以有效地促進機器人行為的魯棒性和泛化。我們規劃的研究工作是處理日益復雜的任務,展現出我們朝著圣杯目標的路線圖:在現實世界中構建長期的、通用的機器人自治。