這是一門基于研究的機器學習數據系統(ML)課程,在ML/AI、數據管理和系統領域的交叉。這些系統為大型復雜數據集的現代數據科學應用提供了強大的動力,包括企業分析、推薦系統和社交媒體分析。學生們將了解這些系統的景觀和進化以及最新的研究。這是一門以講座為導向的課程,包括測驗、考試和論文復習。它主要是為碩士學生、博士學生和對可擴展數據科學和ML工程系統的最新技術感興趣的高級本科生量身定制的。
本課程將涵蓋基于ML的數據分析的整個生命周期的關鍵系統主題,包括ML的數據來源和準備,可擴展ML模型構建的編程模型和系統,以及快速ML部署的系統。還可能會涉及到諸如ML系統的治理、解釋和倫理等新興主題。本課程的一個主要部分是回顧最近在這些主題上的頂級會議的前沿研究論文。請參閱課程進度表頁面,了解整個主題列表,以及論文閱讀列表。
標準機器學習方法簡介。允許您找到適合您的應用程序的問題/方法。為更深入的學習提供必要的詞匯和工具。促進ML的良好實踐、解釋和重現性。
機器學習是指通過經驗自動提高性能的計算機程序(例如,學習識別人臉、推薦音樂和電影,以及駕駛自動機器人的程序)。本課程從不同的角度涵蓋了機器學習的理論和實際算法。我們涵蓋的主題如貝葉斯網絡,決策樹學習,支持向量機,統計學習方法,無監督學習和強化學習。本課程涵蓋了歸納偏差、PAC學習框架、貝葉斯學習方法、基于邊際的學習和奧卡姆剃刀等理論概念。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員目前所需要的方法學、技術、數學和算法的全面基礎知識。
通過學習這門課程,能夠獲取:
實現和分析現有的學習算法,包括學習良好的分類、回歸、結構化預測、聚類和表示學習方法 將實際機器學習的多個方面整合到一個系統中:數據預處理、學習、正則化和模型選擇 描述用于學習的模型和算法的形式屬性,并解釋這些結果的實際含義 比較和對比不同的學習模式(有監督的,無監督的,等等) 設計實驗來評估和比較現實問題中不同的機器學習技術 運用概率、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出ML技術的描述,分析它以確定(1)形式主義的表達能力;(2)算法隱含的歸納偏差;(3)搜索空間的大小和復雜度;(5)關于終止、收斂、正確性、準確性或泛化能力的任何保證(或缺乏保證)。
課程地址:
在人工智能、統計學、計算機系統、計算機視覺、自然語言處理和計算生物學等許多領域中,許多問題都可以被視為從局部信息中尋找一致的全局結論。概率圖模型框架為這一范圍廣泛的問題提供了一個統一的視圖,能夠在具有大量屬性和巨大數據集的問題中進行有效的推理、決策和學習。這門研究生水平的課程將為您在復雜問題中運用圖模型中解決核心研究主題提供堅實的基礎。本課程將涵蓋三個方面: 核心表示,包括貝葉斯網絡和馬爾科夫網絡,以及動態貝葉斯網絡;概率推理算法,包括精確和近似; 以及圖模型的參數和結構的學習方法。進入這門課程的學生應該預先具備概率、統計學和算法的工作知識,盡管這門課程的設計是為了讓有較強數學背景的學生趕上并充分參與。希望通過本課程的學習,學生能夠獲得足夠的實際應用的多變量概率建模和推理的工作知識,能夠用通用模型在自己的領域內制定和解決廣泛的問題。并且可以自己進入更專業的技術文獻。
機器學習涉及的是通過經驗自動提高其性能的計算機程序(例如,學習人臉識別,推薦音樂和電影,以及驅動自主機器人的程序)。本課程從多種角度涵蓋了機器學習的理論和實際算法。我們涵蓋了貝葉斯網絡、決策樹學習、支持向量機、統計學習方法、無監督學習和強化學習等主題。課程涵蓋的理論概念如歸納偏差,PAC學習框架,貝葉斯學習方法,基于邊際的學習,和奧卡姆剃刀。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員所需要的方法論、技術、數學和算法的全面基礎知識。
學習成果: 課程結束時,學生應能夠:
實現并分析現有的學習算法,包括為分類、回歸、結構預測、聚類和表示學習而充分研究的方法 將實際機器學習的多個方面集成到一個系統中:數據預處理、學習、正則化和模型選擇 描述學習模型和算法的形式屬性,并解釋這些結果的實際含義 比較和對比不同的學習范式(監督的、非監督的,等等) 設計實驗評估和比較不同的機器學習技術在現實世界的問題 運用概率論、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出一種ML技術的描述,分析它,確定(1)形式主義的表達能力;(2)算法中隱含的歸納偏差;(3)搜索空間
參考書籍:
Machine Learning, Tom Mitchell. Machine Learning: a Probabilistic Perspective, Kevin Murphy. Full online access is free through CMU’s library – for the second link, you must be on CMU’s network or VPN. A Course in Machine Learning, Hal Daumé III. Online only.
目錄內容: Classification & Regression Linear Models 深度學習 強化學習 生成模型 概率圖模型 學習理論 學習方式
機器學習系統設計的目標
機器學習系統設計是為機器學習系統定義接口、算法、數據、基礎設施和硬件以滿足特定要求的過程。
大多數ML課程只涵蓋ML算法部分。在本課程中,我們不會教你不同的ML算法,但我們會看看整個系統。
下是我們將要學習的系統應該具備的四個主要要求:
//stanford-cs329s.github.io/index.html
本課程由四個部分組成。
數學基礎。矩陣、向量、Lp范數、范數的幾何、對稱性、正確定性、特征分解。無約束優化,graident下降,凸函數,拉格朗日乘數,線性最小二乘。概率空間,隨機變量,聯合分布,多維高斯函數。
線性分類器。線性判別分析、分離超平面、多類分類、貝葉斯決策規則、貝葉斯決策規則的幾何、線性回歸、邏輯回歸、感知器算法、支持向量機、非線性變換。
學習理論。偏差與方差、訓練與測試、泛化、PAC框架、Hoeffding不等式、VC維。
魯棒性。對抗性攻擊,有目標和無目標攻擊,最小距離攻擊,最大損失攻擊,規則攻擊。通過納微擾。支持向量機的魯棒性。
本課程介紹構成現代計算機操作系統的基本概念和核心原理。這門課的目標是解釋那些可能在未來許多年仍然存在的概念和原則。本課程是操作系統和分布式系統研究的起點。具體地說,本課程介紹了進程、并發、同步、調度、多程序設計、內存管理和文件系統的概念。
以深度神經網絡為代表的“深度學習”系統正越來越多地接管所有人工智能任務,從語言理解、語音和圖像識別,到機器翻譯、規劃,甚至是游戲和自動駕駛。因此,在許多高級學術機構中,深度學習的專業知識正從深奧的要求迅速轉變為強制性的先決條件,并成為工業就業市場的一大優勢。
在本課程中,我們將學習深度神經網絡的基礎知識,以及它們在各種人工智能任務中的應用。在本課程結束時,預計學生將對這門學科非常熟悉,并能夠將深度學習應用于各種任務。他們也將被定位去理解關于這個主題的許多當前的文獻,并通過進一步的學習來擴展他們的知識。
如果你只對課程感興趣,你可以在YouTube頻道上觀看。
本課程是講座和編程作業的結合,其中我們將學習現代數據庫管理系統的內部原理。它將涵蓋在高性能事務處理系統(OLTP)和大型分析系統(OLAP)中使用的組件的核心概念和基礎。這個類將強調這些思想實現的效率和正確性。本課程適用于對系統編程感興趣的高級本科生和研究生。