本課程探索了生成式模型的各種現代技術。生成模型是一個活躍的研究領域: 我們在本課程中討論的大多數技術都是在過去10年發展起來的。本課程與當前的研究文獻緊密結合,并提供閱讀該領域最新發展的論文所需的背景。課程將集中于生成式建模技術的理論和數學基礎。作業將包括分析練習和計算練習。本課程專題旨在提供一個機會,讓你可以將這些想法應用到自己的研究中,或更深入地研究本課程所討論的主題之一。
這門課聚焦生成建模技術的理論和數學基礎,探討多種生成模型技術。
在概率統計理論中,生成模型是指能夠隨機生成觀測數據的模型,尤其是在給定某些隱含參數的條件下。它能夠給觀測值和標注數據序列指定一個聯合概率分布。在機器學習中,生成模型可用來直接對數據建模(例如根據某個變量的概率密度函數進行數據采樣),也可以用來建立變量間的條件概率分布。
生成模型是最近較為活躍的研究領域,從事機器學習研究的人有必要了解這一研究主題。去年秋季,華盛頓大學開設了一門主題為「生成模型」的課程 CSE 599,探討了多種生成模型相關技術。
課程地址://courses.cs.washington.edu/courses/cse599i/20au/
這門課與當前的生成模型研究緊密相關,并提供了閱讀該領域近期進展相關論文所需的背景知識。課程聚焦生成建模技術的理論和數學基礎,學生在開始本課程前最好了解機器學習領域的基礎概念。
本課程首先介紹了機器學習、安全、隱私、對抗性機器學習和博弈論等主題。然后從研究的角度,討論各個課題和相關工作的新穎性和潛在的拓展性。通過一系列的閱讀和項目,學生將了解不同的機器學習算法,并分析它們的實現和安全漏洞,并培養開展相關主題的研究項目的能力。
//aisecure.github.io/TEACHING/2020_fall.html
Evasion Attacks Against Machine Learning Models (Against Classifiers) Evasion Attacks Against Machine Learning Models (Non-traditional Attacks) Evasion Attacks Against Machine Learning Models (Against Detectors/Generative odels/RL) Evasion Attacks Against Machine Learning Models (Blackbox Attacks) Detection Against Adversarial Attacks Defenses Against Adversarial Attacks (Empirical) Defenses Against Adversarial Attacks (Theoretic) Poisoning Attacks Against Machine Learning Models
貝葉斯決策理論提供了一個統一的、直觀的吸引人的方法,從觀察中得出推論,并做出理性的、知情的決定。貝葉斯學派把統計推理看作是信念動力學中的一個問題,即使用有關現象的證據來修正和更新有關它的知識。貝葉斯統計是一種科學合理的方法,以整合知情的專家判斷與經驗數據。貝葉斯統計推斷不能完全獨立于將根據推斷作出的決策的上下文來處理。近年來,貝葉斯方法在各種嚴重依賴數據的學科中變得越來越普遍。本課程向學生介紹貝葉斯理論和方法論,包括貝葉斯推理的現代計算方法。學生將學習貝葉斯方法和頻率論方法在統計推斷方面的共性和差異,如何從貝葉斯的角度來處理統計問題,以及如何將數據與專家判斷以合理的方式結合起來,得出有用的和與政策相關的結論。學生將學習必要的理論,以發展一個堅定的理解何時和如何應用貝葉斯和頻率論方法,并將學習實際程序,為現象發展統計模型,得出推論,并評估證據支持假設。本課程涵蓋貝葉斯推理理論的基礎知識,包括以概率表示信任程度,似然原理,使用貝葉斯規則修正基于證據的信念,共同統計模型的共軛先驗分布,近似后驗分布的馬爾可夫鏈蒙特卡羅方法,貝葉斯層次模型,以及其他關鍵主題。引入圖形模型來表示復雜的概率和決策問題,將它們指定為模塊化組件。作業利用現代計算技術,并著重于將方法應用于實際問題。
//seor.vse.gmu.edu/~klaskey/SYST664/SYST664.html
目錄內容: Unit 1: A Brief Tour of Bayesian Inference and Decision Theory Unit 2: Random Variables, Parametric Models, and Inference from Observation Unit 3: Bayesian Inference with Conjugate Pairs: Single Parameter Models Unit 4: Introduction to Monte Carlo Approximation Unit 5: The Normal Model Unit 6: Gibbs Sampling Unit 7: Hierarchical Bayesian Models Unit 8: Bayesian Regression Unit 9: Conclusion: Multinomial Distribution and Latent Groups
//sites.google.com/view/ift6268-a2020/schedule
近年來,表示學習取得了很大的進展。大多數都是以所謂的自監督表示學習的形式。在本課程中,我們將對什么是自我監督的學習方法有一個相當廣泛的解釋,并在適當的時候包括一些無監督學習方法和監督學習方法。我們感興趣的方法,學習有意義的和有效的語義表示,而不(專門)依賴標簽數據。更具體地說,我們將對以下方法感興趣,如: 數據增廣任務,知識蒸餾,自蒸餾,迭代學習,對比方法 (DIM, CPC, MoCo, SimCLR等),BYOL,以及自監督方法的分析。
我們的目標是了解自監督學習方法是如何工作的,以及起作用的基本原理是什么。
這是一個關于這一主題的高級研討會課程,因此,我們將閱讀和討論大量的最近的和經典的論文。講座將主要由學生主導。我們假設了解了機器學習的基礎知識 (特別是深度學習——正如你在IFT6135中看到的那樣),我們還將探索自監督表示學習在廣泛領域的應用,包括自然語言處理、計算機視覺和強化學習。
在本課程中,我們將廣泛討論自監督學習(SSL),特別是深度學習。最近,深度學習在許多應用領域取得了大量令人印象深刻的經驗收益,其中最引人注目的是在目標識別和圖像和語音識別的檢測領域。
在本課程中,我們將探討表示學習領域的最新進展。通過學生領導研討會,我們將回顧最近的文獻,并著眼于建立
本課程所涵蓋的特定主題包括以下內容:
現代數據分析方法被期望處理大量的高維數據,這些數據被收集在不同的領域。這種數據的高維性帶來了許多挑戰,通常被稱為“維數災難”,這使得傳統的統計學習方法在分析時不切實際或無效。為了應對這些挑戰,人們投入了大量精力來開發幾何數據分析方法,這些方法對處理數據的固有幾何形狀進行建模和捕獲,而不是直接對它們的分布進行建模。在本課程中,我們將探討這些方法,并提供他們使用的模型和算法的分析研究。我們將從考慮監督學習開始,并從后驗和似然估計方法中區分基于幾何原則的分類器。接下來,我們將考慮聚類數據的無監督學習任務和基于密度估計的對比方法,這些方法依賴于度量空間或圖結構。最后,我們將考慮內在表示學習中更基本的任務,特別關注降維和流形學習,例如,使用擴散圖,tSNE和PHATE。如果時間允許,我們將包括與本課程相關的研究領域的客座演講,并討論圖形信號處理和幾何深度學習的最新發展。
目錄內容:
Topic 01 - Intoduction (incl. curse of dimensionality & overiew of data analysis tasks)
Topic 02 - Data Formalism ((incl. summary statistics, data types, preprocessing, and simple visualizations)
Topic 03 - Bayesian Classification (incl. decision boundaries, MLE, MAP, Bayes error rate, and Bayesian belief networks)
Topic 04 - Decision Trees (incl. random forests, random projections, and Johnson-Lindenstrauss lemma)
Topic 05 - Principal Component Analysis (incl. preprocessing & dimensionality reduction)
Topic 06 - Support Vector Machines (incl. the "kernel trick" & mercer kernels)
Topic 07 - Multidimensional Scaling (incl. spectral theorem & distance metrics)
Topic 08 - Density-based Clustering (incl. intro. to clustering & cluster eval. with RandIndex)
Topic 09 - Partitional Clustering (incl. lazy learners, kNN, voronoi partitions)
Topic 10 - Hierarchical Clustering (incl. large-scale & graph partitioning)
Topic 11 - Manifold Learning (incl. Isomap & LLE)
Topic 12 - Diffusion Maps
來自臺灣國立清華大學吳尚鴻副教授主講的《大規模機器學習》教程,內容包括深度學習概述與學習理論。
本課程介紹深度學習的概念和實踐。課程由三個部分組成。在第一部分中,我們快速介紹了經典機器學習,并回顧了一些需要理解深度學習的關鍵概念。在第二部分中,我們將討論深度學習與經典機器學習的不同之處,并解釋為什么它在處理復雜問題如圖像和自然語言處理時是有效的。我們將介紹各種CNN和RNN模型。在第三部分,我們介紹了深度強化學習及其應用。
本課程也提供了編程的實驗。在整個課程中,我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫,如Scikit-learn和Tensorflow 2.0將被使用并詳細解釋。
本課程也提供了編程的實驗。在整個課程中,我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫,如Scikit-learn和Tensorflow 2.0將被使用并詳細解釋。
目錄內容:
強化學習理論(RL),重點是樣本復雜性分析。
生成式模型是以圖模型和概率編程語言中的概率推理的重要范式。神經網絡對這些模型的參數化和基于梯度的隨機優化技術的進步使得高維數據的可擴展建模成為可能。
本教程的前半部分將全面回顧深度生成模型的主要家族,包括生成對抗網絡、變分自編碼器、標準化流和自回歸模型。對于每一個模型,我們將討論概率公式,學習算法,以及與其他模型的關系。本教程的后半部分將演示在科學發現中使用深度生成模型的方法,例如材料和藥物發現、壓縮感知等等。最后,我們將討論該領域目前的挑戰和未來研究的前景。
//dl4sci-school.lbl.gov/agenda