信息論研究了信息流動、表示和傳輸的數學規律,就像物理學研究物理宇宙行為的規律一樣。信息論的基礎是在通信背景下建立的,它描述了通信的基本限制,并提供了代碼(有時稱為算法)來實現它們。 該領域最重要的成就是數字通信的發明,它構成了我們日常生活中的數字產品,如智能手機、筆記本電腦和物聯網設備的基礎。近年來,信息論在過去幾十年發生革命性變革的一個熱門領域——數據科學中,也發揮了重要作用。
本書旨在展示信息論在不斷擴大的數據科學應用領域中的現代作用。本書的第一部分和第二部分涵蓋了信息論的核心概念:關于若干關鍵概念的基本概念;以及關于通信基本限制的著名源和信道編碼定理。最后一部分關注數據科學中出現的應用,包括社交網絡、排名和機器學習。 本書作為信息論和通信領域的高年級本科生和研究生的教材,同時也應該成為這些領域專業人士和工程師的寶貴參考資料。
這本書的寫作是由數據科學研究活動的激增以及信息理論在該領域中的作用所激發的。這構成了本書的動機,使其具有三個關鍵特點。
第一個特點是在數據科學應用場景下展示信息理論的原則和工具,例如社交網絡、DNA測序、搜索引擎和人工智能(AI)。信息理論是一個基礎性的領域,對科學和工程的廣泛領域產生了重要影響。它由克勞德·香農于1948年創立,研究信息流動、表示和傳輸的數學規律。該領域最重要的成就是數字通信的發明,它是我們日常生活中的數字產品如智能手機、筆記本電腦和物聯網(IoT)設備的基礎。盡管該領域起源于通信,但它已經擴展到原始領域之外,為各種各樣的背景做出貢獻,包括網絡、計算生物學、量子科學、經濟學、金融,甚至博彩。因此,過去幾十年里出版了幾本關于信息理論的書籍,涵蓋了廣泛的主題(Gallager,1968;Cover,1999;MacKay,2003;Yeung,2008;Csiszár和K?rner,2011;El Gamal和Kim,2011;Gray,2011;Gleick,2011;Pierce,2012;Wilde,2013)。然而,本書關注的是一個領域:數據科學。在豐富的內容中,我們強調與數據科學應用相關的信息論概念和工具。這些應用包括:社交網絡中的社區檢測、生物網絡中的DNA測序、搜索引擎中的排名、有監督學習、無監督學習和社交AI。
第二,本書采用講座式的格式編寫。關于這個主題的大多數書籍都涉及許多數學概念和理論,以及各種領域的各種應用。概念和相關理論以字典式的組織方式呈現,主題按順序列出。盡管這種字典式的組織方式便于查找特定材料,但它通常缺乏一個有凝聚力的敘述,無法吸引和激勵讀者。本書旨在吸引和激勵那些對數據科學及其與其他學科的相互聯系感興趣的人。我們的目標是創造一個引人入勝的敘述,強調該領域基礎知識的重要性。為實現這一目標,我們采用了講座式的格式,每個章節都作為一次約80分鐘的講座的筆記。通過主題和概念在各章節之間建立了一致的聯系。為確保從一個章節到另一個章節的順利過渡,我們包括了兩段內容:(i)“回顧”段落,總結了已經涉及的內容,并激發了當前章節的內容;(ii)“展望”段落,通過將其與之前的材料聯系起來,引入即將出現的內容。
本書的最后一個特點是通過兩種軟件語言包含許多編程練習:(i)Python;和(ii)TensorFlow。盡管C++和MATLAB在傳統領域得到了廣泛應用,但Python已成為數據科學的關鍵軟件。考慮到本書涉及的數據科學應用的廣度,我們選擇Python作為主要平臺。為了實現機器學習和深度學習算法,我們使用TensorFlow,這是最受歡迎的深度學習框架之一。TensorFlow為深度學習中的許多重要過程提供了許多內置功能,并與Keras(一種強調快速用戶實驗的高級庫)集成。通過Keras,我們可以輕松地從想法轉變為實現,步驟最少。
本書對深度學習模型可解釋性的最新研究工具進行了全面的策劃、闡述和說明性討論,重點是神經網絡架構。此外,還包括計算機視覺、光學和機器學習相關主題的應用導向型文章中的若干案例研究。
這本書可以作為深度學習中涵蓋最新主題的可解釋性的專題論文,也可以作為研究生的教科書。負責研究、開發和應用的科學家從它的系統闡述中受益。
本書的動機是深度學習架構的黑箱性質與其編碼的知識模型的人類可解釋性之間的巨大差距。人工智能模型的準確性和可理解性對于人工智能和人類智能的共存和協作變得越來越重要。在某些危及生命的應用中,可解釋性對于根本原因分析和人類決策至關重要。本書側重于對深度學習模型可解釋性的最新研究工具進行全面的策劃、闡述和說明性討論,重點是神經網絡架構。其中很大一部分工作補充了現有的深度學習和神經網絡教科書,并以過去十年的工作為基礎,其中重點是網絡中編碼的知識的可視化和可解釋性。這些工作來自計算機視覺、模式識別和深度學習領域的領先會議和期刊。此外,還包括來自不同領域的面向應用文章的幾個案例研究,包括計算機視覺、光學和自然語言處理。在目前與深度學習、機器學習和神經網絡相關的研究生課程中,缺乏處理可解釋性主題的教學材料。這主要是因為機器學習社區之前的重點是精度,而可解釋性的問題是一個新興的話題。然而,隨著書籍[81]、[428]、課堂講稿[532]、新課程以及觀點[520]的出版,它作為越來越相關的主題正在獲得吸引力。然而,這些工作中對通用機器學習的關注意味著,深度學習中的可解釋性問題目前仍然沒有得到足夠的深度解決,深度學習現在在各種機器學習應用中廣泛使用。因此,這本教科書將是致力于這一主題的先驅教科書之一。這可能會導致設立關于這一主題的專門研究生課程,因為人們認為需要這類課程,但缺乏關于這一主題的有組織的材料是一個突出的障礙。
在第一章中,我們介紹了本書的背景和動機,幫助讀者設定對本書的期望并理解材料的范圍。我們還通過總結深度學習的演變提供了一個簡短的歷史。在此過程中,我們也闡明了這種演變如何導致知識抽象化的增加,從而形成了眾所周知的黑箱模型,它編碼了知識但并未解釋知識。我們自然地將這個討論引向可解釋性的問題,確定了其必要性以及所面臨的挑戰。我們也澄清了本書的重點是解決現有深度學習架構中的可解釋性,而將新的天然可解釋的深度學習架構的設計主題委托給最后一章的一個小節(并可能在未來的本書第二卷中)。
在第二章中,我們介紹了深度學習的各種現代主題,包括傳統的神經網絡架構、學習機制以及深度學習的挑戰。本章的目標是介紹背景概念并為后續章節的技術闡述做準備。特別地,我們將會覆蓋卷積神經網絡、自編碼器、對抗神經網絡、圖神經網絡和神經模糊網絡,因為在接下來的章節中將詳細探討這些范式的可解釋性機制。同樣,具體的學習機制將會被解釋,以便在后續章節中識別可解釋性的損失或機會。出于全面性的考慮,我們還將包含一節關于其他類型的深度學習方法,即使在其他章節中并未詳述它們的可解釋性。
在第三章中,我們開始全面處理可解釋性。具體來說,我們在深度學習方法的一般特性的背景下討論可解釋性的概念。我們從討論神經元和特征級別的抽象知識編碼開始,然后討論抽象編碼的可解釋性和可視化。從理解概念、優點和缺點的角度出發,我們討論了諸如激活圖、顯著性、注意力模型等常規技術。然后,我們分析了在優化或學習過程中知識如何傳播,作為深入了解如何解釋使用深度學習模型學習的知識的挑戰和機會。神經網絡通過連續的非線性激活提取特征,這使得知識表示變得困難,同時對噪聲和不完整數據區域敏感。我們使用一個案例研究討論了知識與性能的關系。最后,我們討論了深度編碼與淺層編碼的解釋,這兩者的性能存在競爭。因此,本章涵蓋了一系列普遍適用于任何深度學習架構的可解釋性主題。
第四章專門介紹針對特定單一架構的可解釋性方法。本章選擇的架構有卷積神經網絡、自編碼器網絡、對抗網絡和圖學習技術。我們包括了與這些架構相關的相對較新的主題,例如卷積神經網絡的新概念“卷積追蹤”,自編碼器網絡潛在空間中抽象特征的可解釋性,對抗網絡中判別模型的可解釋性,以及圖神經網絡的圖嵌入解釋性。我們為每種架構給出了至少一個案例研究,包括來自各種應用領域的案例。我們也簡要地參考了注意力網絡,這種網絡在設計中固有地包含了某種可解釋性。
第五章專門討論模糊深度學習。這種方法與以神經網絡為中心的深度學習略有不同,因為模糊邏輯和基于規則的推理是這類網絡設計的核心。對解釋的需求導致了對基于規則的系統的再度關注。這也是一個被獨立研究的主題,很少在深度學習和可解釋性的特定背景下研究。我們通過闡述模糊深度學習的主題和相關的.
這本教材旨在從數學的角度指出數據分析的最重要的原則。具體來說,它選擇了這些問題進行探索:哪些是理解應用的含義所必需的原則,哪些是理解所使用的方法成功的條件所必需的?理論只在適當應用的必要程度上呈現,力求在過度復雜和過度簡化之間取得平衡。它的主要重點是應用成功的關鍵原則。主題及特點:
雖然這本核心教材直接針對計算機科學和/或數據科學的學生,但它也將對該領域的研究人員具有真正的吸引力,他們希望獲得“超越”唯一計算經驗的數學基礎的正確理解。
//link.springer.com/book/10.1007/978-3-031-19074-2
這本教科書介紹了適合高級本科生和研究生的信息論主題。它發展了經典的香農理論和最近在統計學習中的應用。全文共分為五個部分:信息化措施的基礎;(無損)數據壓縮;二元假設檢驗與大偏差理論;信道編碼和信道容量;有損數據壓縮;最后是統計應用。有超過150個練習,包括幫助讀者了解和關注文獻中的最新發現。這本書是信息論領域的現代導論。在過去的二十年里,信息論已經從一門主要處理信息存儲和傳輸問題(“編碼”)的學科發展到越來越關注信息提取和去噪(“學習”)的學科。這種轉變反映在本書的標題和內容上。這些內容來自于作者十多年來在麻省理工學院、伊利諾伊大學和耶魯大學教授常規課程,以及在EPFL(瑞士)和ENSAE(法國)教授短期課程的課堂筆記。我們的意圖是將這份手稿用作研究生(和高級本科生)的第一門信息論課程的教科書,或者用于深入研究特定領域的第二門(主題)課程。這本書的一個重要部分致力于信息理論方法的闡述,這些方法在其他領域,如統計學習和計算機科學,已經發現了有影響力的應用。(具體來說,我們涵蓋了Kolmogorov的度量熵,強數據處理不等式,以及統計估計的熵上界)。我們還包括一些不太知名的經典材料(例如,與遍歷性的聯系)以及最新的發展,這些材料通常在練習中涵蓋(遵循Csiszár和K?rner[81]的風格)。
《數據科學中的數學方法》介紹了一種基于網絡分析的新方法,將大數據整合到常微分方程和偏微分方程的框架中進行數據分析和預測。數學伴隨著數據科學中出現的例子和問題,以演示高等數學,特別是數據驅動的微分方程。章節還涵蓋網絡分析,常微分方程和偏微分方程基于最近發表和未發表的結果。最后,本書介紹了一種基于網絡分析的新方法,將大數據整合到常微分方程和偏微分方程的框架中進行數據分析和預測。在數據科學中有許多關于數學方法的書籍。目前,所有這些相關的書籍主要集中在線性代數,優化和統計方法。然而,網絡分析、常微分方程模型和偏微分方程模型在數據科學中發揮著越來越重要的作用。隨著COVID-19臨床、流行病學和社會數據的空前豐富,數據驅動的微分方程模型在感染預測和分析方面變得更加有用。 //www.elsevier.com/books/mathematical-methods-in-data-science/ren/978-0-443-18679-0
**機器學習和數據科學, **由一組在該領域的專家撰寫和編輯,這份論文集合反映了機器學習和數據科學的最新和全面的現狀,適用于工業、政府和學術界。
機器學習(ML)和數據科學(DS)是非常活躍的課題,在理論和應用方面都具有廣泛的應用范圍。它們已經成為一個重要的新興科學領域和范式,推動了統計、計算科學和智能科學等學科的研究演變,以及科學、工程、公共部門、商業、社會科學和生活方式等領域的實踐轉型。同時,它們的應用提供了一些重要的挑戰,這些挑戰通常只能通過創新的機器學習和數據科學算法來解決。
這些算法涵蓋了人工智能、數據分析、機器學習、模式識別、自然語言理解和大數據操作等更廣泛的領域。他們還解決了相關的新的科學挑戰,從數據捕獲、創建、存儲、檢索、共享、分析、優化和可視化,到跨異構和相互依賴的復雜資源的集成分析,以更好的決策、協作,并最終創造價值。
自1948年引入信息論以來,信息論已被證明在分析與壓縮、存儲和傳輸數據有關的問題方面起著重要作用。例如,信息論允許分析數據通信和壓縮的基本限制,并在幾十年的實際通信系統設計中發揮了作用。近年來,在使用信息理論方法解決數據壓縮、數據通信和網絡之外的問題方面出現了復興,例如壓縮感知、數據獲取、數據分析、機器學習、圖挖掘、社區檢測、隱私和公平。在這本書中,我們探索了信號處理、機器學習、學習理論和統計的接口上的一系列廣泛的問題,其中源自信息論的工具和方法可以提供類似的好處。幾十年來,信息論在這一界面上的作用確實得到了承認。一個突出的例子是在1980年代使用互信息、度量熵和容量等信息理論量來建立估計的極大極小率。在這里,我們打算探索這個界面的現代應用,這些應用正在塑造21世紀的數據科學。
當然,標準信息理論工具與信號處理或數據分析方法之間有一些顯著的差異。從整體上說,信息論傾向于關注漸近極限,使用大的塊長度,并假設數據是由有限的比特數表示,并通過一個噪聲信道觀看。標準結果不關心復雜性,而是更多地關注通過可實現性和反向結果表征的基本限制。另一方面,一些信號處理技術,如采樣理論,專注于離散時間表示,但不一定假設數據是量化的或系統中有噪聲。信號處理通常關注的是最優的具體方法,即達到開發的極限,并具有有限的復雜性。因此,很自然地將這些工具結合起來,以解決更廣泛的問題和分析,包括量化、噪聲、有限樣本和復雜性分析。
這本書的目的是為新興的數據科學問題的信息理論方法的最近的應用提供一個綜述。本書的潛在讀者可能是信息理論、信號處理、機器學習、統計學、應用數學、計算機科學或相關研究領域的研究人員,或尋求了解信息理論和數據科學并在此界面上找出開放問題的研究生。本卷的特殊設計確保它可以作為研究人員和學生的教科書的最先進的參考。
這本書包含了16個不同的章節,由世界范圍內公認的領先專家撰寫,涵蓋了信號處理、數據科學和信息論界面上的各種各樣的主題。本書以信息理論的介紹作為其余章節的背景開始,也設置了貫穿全書使用的符號。接下來的章節被分為四類: 數據獲取(第2-4章),數據表示和分析(第5-9章),信息論和機器學習(第10和11章),以及信息論、統計和壓縮(第12-15章)。最后一章,第16章,通過對范諾不等式在一系列數據科學問題中的調研,將本書的幾個主題聯系起來。章節是獨立的,涵蓋了各自主題的最新研究結果,并且可以彼此獨立地處理。
//link.springer.com/book/10.1007/978-3-319-55444-0
這本引人入勝的和清晰的書面教科書/參考提供了一個必要的介紹,迅速興起的跨學科領域的數據科學。它側重于成為一名優秀的數據科學家的基本原則,以及建立收集、分析和解釋數據的系統所需的關鍵技能。
《數據科學設計手冊》是一個實用的見解來源,它突出了分析數據中真正重要的東西,并提供了對如何使用這些核心概念的直觀理解。這本書沒有強調任何特定的編程語言或數據分析工具套件,而是著重于重要設計原則的高層討論。
《數據科學概論》是一門易于閱讀的課程,理想情況下,它能滿足本科生和早期研究生的需求。它揭示了這門學科如何處于統計學、計算機科學和機器學習的交叉點,具有自己獨特的分量和特點。這些和相關領域的從業者會發現這本書非常適合自學。
高維概率提供了對隨機向量、隨機矩陣、隨機子空間和用于量化高維不確定性的對象的行為的洞察。借鑒了概率、分析和幾何的思想,它適用于數學、統計學、理論計算機科學、信號處理、優化等領域。它是第一個將高維概率的理論、關鍵工具和現代應用集成起來的。集中不等式是其核心,它涵蓋了Hoeffding和Chernoff等經典不等式和Bernstein等現代發展。然后介紹了基于隨機過程的強大方法,包括Slepian的、Sudakov的和Dudley的不等式,以及基于VC維的泛鏈和界。整本書包含了大量的插圖,包括經典和現代的協方差估計、聚類、網絡、半定規劃、編碼、降維、矩陣補全、機器學習、壓縮感知和稀疏回歸等結果。
這是一本教科書在高維概率與數據科學的應用展望。它是為博士和高級碩士學生和數學,統計,電子工程,計算機科學,計算生物學和相關領域的初級研究人員,誰正在尋求擴大他們的理論方法在現代研究數據科學的知識。
本書致力于概率信息測度理論及其在信息源和噪聲信道編碼定理中的應用。最終的目標是全面發展香農的通信數學理論,但大部分篇幅都用于證明香農編碼定理所需的工具和方法。這些工具形成了遍歷理論和信息論的共同領域,并包含了隨機變量、隨機過程和動力系統中的信息的幾個定量概念。例如熵、互信息、條件熵、條件信息和相對熵(鑒別、Kullback-Leibler信息),以及這些量的極限標準化版本,如熵率和信息率。在考慮多個隨機對象時,除了考慮信息之外,我們還會考慮隨機對象之間的距離或變形,即一個隨機對象被另一個隨機對象表示的準確性。書的大部分與這些量的性質有關,特別是平均信息和扭曲的長期漸近行為,其中兩個樣本平均數和概率平均數是有興趣的。