主題: A Beginner’s Guide to the Mathematics of Neural Networks
摘要: 在這本書中,描述數學在幫助我們理解神經網絡如何運作方面的作用,我試圖用方程式來捕捉一般網絡所產生的奇怪的新數學概念。我的目標讀者是非專家,我將提供一個偏頗的選擇,相對簡單的例子,神經網絡的任務,模型和計算,而不是試圖給出一個完整的百科全書式的評論。
作者簡介: A.C.C.Coolen,倫敦國王學院數學系教授。個人主頁://toncoolen.wixsite.com/accc
第一章 判別式神經網絡 Discriminative Neural Networks
自2012年以來,深度神經網絡已經徹底改變了機器學習。盡管這項技術相對較老,但近年來在文字、聲音、圖像和視頻識別方面取得了令人矚目的進步。考慮到這些方法的利害關系,在數學和算法之間的銜接問題就出現了。在本文中,我將解釋這些網絡的結構以及它們的監督學習的關鍵概念。
1.1 算法和數學學習 Algorithmics and mathematics of learning 1.2 判別式神經網絡 Discriminative neural networks 1.3 神經網絡監督學習 Supervised learning of a neural network 1.4 神經網絡效率 The efficiency of neural networks
第二章 生成式神經網絡 Generative Neural Networks
在前一篇文章中,我們了解了如何以監督的方式訓練神經網絡。這使得有效地解決分類問題成為可能,例如圖像識別。也許更令人驚訝的是,這些神經網絡也以一種無人監督的方式被用來自動生成“虛擬”文本或圖像,這通常被稱為“深度偽造”。在第二篇文章中,我將把生成神經網絡的學習和最優運輸理論聯系起來。這個問題在18世紀由加斯帕德·蒙格提出,然后在20世紀中葉由列昂尼德·坎托羅維奇重新闡述。現在,它已經成為解決數據科學中重要問題的首選工具。
2.1 Generative neural networks 2.2 Unsupervised learning of generative networks 2.3 Monge’s optimal transport 2.4 The optimal transport of Kantorovitch 2.5 Adversarial networks
本章從數學角度描述了卷積神經網絡(CNN)的工作原理。這一章是自成一體的,重點是讓初學者能夠理解CNN領域。
卷積神經網絡(CNN)在許多計算機視覺、機器學習和模式識別問題上表現出優異的性能。關于這個主題已經發表了許多可靠的論文,并且已經提供了許多高質量的開源CNN軟件包。
也有寫得很好的CNN教程或CNN軟件手冊。但是,我們認為,專門為初學者準備的介紹CNN的材料仍然是需要的。研究論文通常很簡潔,缺乏細節。對于初學者來說,閱讀這樣的論文可能是困難的。針對有經驗的研究人員的教程可能無法涵蓋理解CNN如何運行的所有必要細節。
本章試圖提出一個文檔:
自成一體。所有需要的數學背景知識都將在本章(或本書其他章節)中介紹;
有所有衍生的細節。這一章的目的是詳細解釋所有必要的數學。我們盡量不忽略推導過程中的任何重要步驟。因此,初學者應該能夠跟上(盡管專家可能會發現這一章有點重復);
忽略實現細節。目的是讓讀者了解CNN是如何在數學層面運作的。我們將忽略這些實現細節。在CNN中,對各種實現細節做出正確的選擇是其高準確性的關鍵之一(即“細節決定成敗”)。然而,我們有意省略了這一部分,以便讀者關注數學。在了解了數學原理和細節之后,通過親身體驗CNN編程來學習這些實現和設計細節會更有優勢。本章的練習問題提供了動手制作CNN編程的機會。
CNNs在很多應用中都很有用,特別是在與圖像相關的任務中。CNNs的應用包括圖像分類、圖像語義分割、圖像中的目標檢測等。在本章中,我們將重點討論圖像分類。在圖像分類中,每幅圖像都有一個主要的對象,占圖像的很大一部分。一個圖像根據其主要對象的身份被分類到其中一個類中。狗、飛機、鳥等。
本書簡介:
這本書介紹了數據類型(簡單和結構化)和算法與圖形和文本的解釋。在下一節中,您將介紹簡單和復雜的標準算法及其流程圖:所有內容都與解釋和表集成在一起,以提供算法的逐步發展。
主要的算法有:循環中三個或n個數字的和、十進制到二進制的轉換、最大和最小搜索、線性/順序搜索、二進制搜索、冒泡排序、選擇排序、兩個排序數組的合并、從文件中讀取字符、堆棧管理、階乘和斐波那契序列。
C語言算法介紹的最后一部分是C語言的介紹和代碼的實現,這部分是與所研究的算法相關的。這本書充滿了屏幕截圖和說明代碼意義的插圖。
你會學到什么
這本書是給誰看的
初級入門:對于任何第一次學習計算機科學和信息系統的人來說,它都是一個起點。
目錄:
主題: What does it mean for a machine to “understand”?
摘要: 對人工智能的最新進展的批評者抱怨說,盡管這些進展對人工智能系統產生了顯著的改進,但這些系統仍然沒有表現出“真實”的意義。“真”這個詞的使用意味著“理解”是二元的。一個系統要么表現出“真正的”理解,要么沒有。這種思維方式的困難在于,人類的理解從來就不是完美無缺的。在這篇文章中,我認為“理解”沿著一個連續的能力譜存在。
作者簡介: Thomas G. Dietterich,俄勒岡州立大學杰出教授(榮譽退休)兼智能系統主任。個人主頁://web.engr.oregonstate.edu/~tgd/
講座題目
現代MDL與數據挖掘的結合--洞察力、理論和實踐:Modern MDL meets Data Mining -- Insights, Theory, and Practice
講座簡介
當考慮一個數據集時,通常不知道它是如何的,因此描述或捕獲其主要特征的模型應該有多復雜。通常,這些選擇會被掩蓋、忽略,交給領域專家處理,但在實踐中,這是非常不令人滿意的;領域專家不知道如何設置$k$,在選擇之前選擇什么,或者有多少自由度比我們做的更理想。 最小描述長度(MDL)原理能夠從清晰直觀的角度回答模型選擇問題。簡而言之,它斷言最好的模型是同時壓縮數據和模型的模型。在本教程中,我們不僅介紹了模型選擇的基本知識,展示了基于MDL的建模的重要特性、成功的例子以及如何應用MDL解決數據挖掘問題的陷阱,還介紹了現代MDL中重要新概念的高級主題(例如,歸一化最大似然(NML)、順序NML、分解NML和MDL變化統計)和動態設置中的新興應用。在本教程中,我們的目標是確保讀者不僅掌握基本理論,而且了解如何將其付諸實踐。
講座嘉賓
Jilles Vreeken ,在赫爾姆霍茲信息安全中心領導探索性數據分析研究小組。此外,是馬克斯·普朗克信息學研究所數據庫和信息系統組(D5)的高級研究員,薩爾蘭大學計算機科學系的教授。研究主要涉及數據挖掘和機器學習。特別是,喜歡開發理論和算法來回答關于數據的探索性問題,例如“我的數據中的因果依賴關系是什么”或“這是我的數據,告訴我需要知道什么”。為了確定什么是有價值的結構,經常采用基于信息論的有根據的統計方法。在此基礎上,可以開發出高效的算法,從大量復雜的數據中提取有用的、有見地的結果。