自然語言處理技術試圖用計算機模擬人類語言,解決從自動翻譯到問答等各種各樣的問題。CS11-711高級自然語言處理(在卡耐基梅隆大學的語言技術研究所)是一門自然語言處理的入門級研究生課程,目標是有興趣在該領域進行前沿研究的學生。其中,我們描述了自然語言處理的基本任務,如句法、語義和篇章分析,以及解決這些任務的方法。本課程著重于使用神經網絡的現代方法,并涵蓋基本的建模和學習所需的算法。課程以一個項目結束,在這個項目中,學生試圖在他們選擇的主題中重新實施和改進一篇研究論文。
//phontron.com/class/anlp2021/schedule.html
高級自然語言處理是一門關于自然語言處理的入門級研究生課程,面向有志于在該領域進行前沿研究的學生。其中,我們描述了自然語言處理的基本任務,如句法、語義和篇章分析,以及解決這些任務的方法。本課程著重于使用神經網絡的現代方法,并涵蓋基本的建模和學習所需的算法。課程以一個項目結束,在這個項目中,學生試圖在他們選擇的主題中重新實施和改進一篇研究論文。
目錄內容:
引言
Intro 1 - NLP 概述 Overview of NLP (8/31/2021) Intro 2 - 文本分類 Text Classification (9/2/2021) Intro 3 - 語言建模 Language Modeling and NN Basics (9/7/2021) Intro 4 - 神經網絡基礎 Neural Network Basics and Toolkit Construction (9/9/2021)
建模
Modeling 1 - 循環神經網絡 Recurrent Networks (9/14/2021) Modeling 2 - 條件生成 Conditioned Generation (9/16/2021) Modeling 3 - 注意力機制 Attention (9/21/2021)
表示
Representation 1 - 預訓練方法 Pre-training Methods (9/23/2021) Representation 2 - 多任務多領域Multi-task, Multi-domain, and Multi-lingual Learning (9/28/2021) Representation 3 - 提示學習Prompting + Sequence-to-sequence Pre-training (9/30/2021) Representation 4 - Interpreting and Debugging NLP Models (10/5/2021) Modeling 4 - 序列標注 Sequence Labeling (10/7/2021)
分析
Analysis 1 - Word Segmentation and Morphology (10/12/2021) Break -- No Class! (10/14/2021) Analysis 2 - Syntactic Parsing (10/19/2021) Analysis 3 - Semantic Parsing (10/21/2021) Analysis 4 - Discourse Structure and Analysis (10/26/2021)
應用
Applications 1 - 機器閱讀Machine Reading QA (10/28/2021) Applications 2 - Dialog (11/02/2021) Applications 3 - Computational Social Science, Bias and Fairness (11/4/2021) Applications 4 - Information Extraction and Knowledge-based QA (11/9/2021)
學習
Learning 1 - Modeling Long Sequences (11/11/2021) Learning 2 - Structured Learning Algorithms (11/16/2021) Learning 3 - Latent Variable Models (11/18/2021) Learning 4 - Adversarial Methods for Text (11/23/2021) Thanksgiving -- No Class!! (11/25/2021) Poster Presentations (11/30/2021 and 12/2/2021)
深度學習是一組令人興奮的神經網絡新技術。通過結合先進的訓練技術和神經網絡架構組件,現在可以創建神經網絡,該神經網絡可以處理表格數據、圖像、文本和音頻作為輸入和輸出。深度學習允許神經網絡以類似人腦功能的方式學習信息的層次結構。本課程將向學生介紹經典的神經網絡結構,卷積神經網絡(CNN),長短期記憶(LSTM),門通遞歸神經網絡(GRU),一般對抗網絡(GAN)和強化學習。本課程將涵蓋這些在計算機視覺、時間序列、安全、自然語言處理(NLP)和數據生成方面的應用。高性能計算(HPC)方面將演示如何在圖形處理單元(GPU)和網格上利用深度學習。重點主要放在深度學習對問題的應用上,并介紹一些數學基礎。學生將使用Python編程語言,使用谷歌TensorFlow和Keras實現深度學習。在學習這門課程之前,不需要了解Python;但是,假設您熟悉至少一種編程語言。本課程將以混合形式提供,包括課堂教學和在線教學。
這門研究生水平的課程將專注于NLP框架、算法和方法的高級研究,包括語言建模、文本分類、機器翻譯和問題回答等最先進的技術。本課程將包括多種編程作業、論文閱讀、期中和期末專題。在這門課之前,學生應該至少學習過一門自然語言處理/機器學習的入門課程,并且熟悉Python編程。
本課程包括相關主題的介紹性講座。這些講座是和COS 484聯合的,請看這里的課程安排。
//princeton-nlp.github.io/cos484/cos584.html
Date Topics Fri (2/5) Language Models Fri (2/12) Text classification Fri (2/19) Word embeddings Fri (2/26) Feedforward Neural Networks Fri (3/5) Conditional Random Fields Fri (3/12) No meeting (midterm) Fri (3/19) Recurrent neural networks and neural language models Fri (3/26) Dependency parsing Fri (4/2) Machine translation Fri (4/9) Transformers Fri (4/16) Pre-training Fri (4/23) Language Grounding
貝葉斯決策理論提供了一個統一的、直觀的吸引人的方法,從觀察中得出推論,并做出理性的、知情的決定。貝葉斯學派把統計推理看作是信念動力學中的一個問題,即使用有關現象的證據來修正和更新有關它的知識。貝葉斯統計是一種科學合理的方法,以整合知情的專家判斷與經驗數據。貝葉斯統計推斷不能完全獨立于將根據推斷作出的決策的上下文來處理。近年來,貝葉斯方法在各種嚴重依賴數據的學科中變得越來越普遍。本課程向學生介紹貝葉斯理論和方法論,包括貝葉斯推理的現代計算方法。學生將學習貝葉斯方法和頻率論方法在統計推斷方面的共性和差異,如何從貝葉斯的角度來處理統計問題,以及如何將數據與專家判斷以合理的方式結合起來,得出有用的和與政策相關的結論。學生將學習必要的理論,以發展一個堅定的理解何時和如何應用貝葉斯和頻率論方法,并將學習實際程序,為現象發展統計模型,得出推論,并評估證據支持假設。本課程涵蓋貝葉斯推理理論的基礎知識,包括以概率表示信任程度,似然原理,使用貝葉斯規則修正基于證據的信念,共同統計模型的共軛先驗分布,近似后驗分布的馬爾可夫鏈蒙特卡羅方法,貝葉斯層次模型,以及其他關鍵主題。引入圖形模型來表示復雜的概率和決策問題,將它們指定為模塊化組件。作業利用現代計算技術,并著重于將方法應用于實際問題。
//seor.vse.gmu.edu/~klaskey/SYST664/SYST664.html
目錄內容: Unit 1: A Brief Tour of Bayesian Inference and Decision Theory Unit 2: Random Variables, Parametric Models, and Inference from Observation Unit 3: Bayesian Inference with Conjugate Pairs: Single Parameter Models Unit 4: Introduction to Monte Carlo Approximation Unit 5: The Normal Model Unit 6: Gibbs Sampling Unit 7: Hierarchical Bayesian Models Unit 8: Bayesian Regression Unit 9: Conclusion: Multinomial Distribution and Latent Groups
本課程探索了生成式模型的各種現代技術。生成模型是一個活躍的研究領域: 我們在本課程中討論的大多數技術都是在過去10年發展起來的。本課程與當前的研究文獻緊密結合,并提供閱讀該領域最新發展的論文所需的背景。課程將集中于生成式建模技術的理論和數學基礎。作業將包括分析練習和計算練習。本課程專題旨在提供一個機會,讓你可以將這些想法應用到自己的研究中,或更深入地研究本課程所討論的主題之一。
來自臺灣國立清華大學吳尚鴻副教授主講的《大規模機器學習》教程,內容包括深度學習概述與學習理論。
本課程介紹深度學習的概念和實踐。課程由三個部分組成。在第一部分中,我們快速介紹了經典機器學習,并回顧了一些需要理解深度學習的關鍵概念。在第二部分中,我們將討論深度學習與經典機器學習的不同之處,并解釋為什么它在處理復雜問題如圖像和自然語言處理時是有效的。我們將介紹各種CNN和RNN模型。在第三部分,我們介紹了深度強化學習及其應用。
本課程也提供了編程的實驗。在整個課程中,我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫,如Scikit-learn和Tensorflow 2.0將被使用并詳細解釋。
本課程也提供了編程的實驗。在整個課程中,我們將使用Python 3作為主要的編程語言。一些流行的機器學習庫,如Scikit-learn和Tensorflow 2.0將被使用并詳細解釋。
目錄內容:
這是一門關于機器學習的入門課程。機器學習是一組技術,它允許機器從數據和經驗中學習,而不是要求人類手工指定所需的行為。在過去的20年里,機器學習技術在人工智能的學術領域和科技行業中都變得越來越重要。本課程提供了一些最常用的ML算法的廣泛介紹。
課程的前半部分側重于監督學習。我們從最近鄰、決策樹和集合開始。然后介紹了參數化模型,包括線性回歸、logistic回歸和softmax回歸以及神經網絡。然后我們轉向無監督學習,特別關注概率模型,以及主成分分析和k均值。最后,我們介紹了強化學習的基礎知識。
課程內容:
//www.cs.toronto.edu/~huang/courses/csc2515_2020f/
推薦閱讀材料: Hastie, Tibshirani, and Friedman: “The Elements of Statistical Learning” Christopher Bishop: “Pattern Recognition and Machine Learning”, 2006. Kevin Murphy: “Machine Learning: a Probabilistic Perspective”, 2012. David Mackay: “Information Theory, Inference, and Learning Algorithms”, 2003. Shai Shalev-Shwartz & Shai Ben-David: “Understanding Machine Learning: From Theory to Algorithms”, 2014.
學習路線圖:
//www.math.arizona.edu/~hzhang/math574.html
隨著信息技術的飛速發展,在各個領域產生了大量的科學和商業數據。例如,人類基因組數據庫項目已經收集了千兆字節的人類遺傳密碼數據。萬維網提供了另一個例子,它擁有由數百萬人使用的文本和多媒體信息組成的數十億Web頁面。
本課程涵蓋了現代數據科學技術,包括基本的統計學習理論及其應用。將介紹各種數據挖掘方法、算法和軟件工具,重點在概念和計算方面。將涵蓋生物信息學、基因組學、文本挖掘、社交網絡等方面的應用。
本課程著重于現代機器學習的統計分析、方法論和理論。它是為學生誰想要實踐先進的機器學習工具和算法,也了解理論原理和統計性質的算法。主題包括回歸、分類、聚類、降維和高維分析。
【導讀】陳丹琦博士是自然語言處理研究員領域的新星大神,她從斯坦福畢業后,到普林斯頓大學任助理教授。她將深度學習用于一系列自然語言處理重要問題,幫助機器獲取知識、更好地回答問題。她開設了COS 598C (Winter 2020)課程,深度學習自然語言處理, Deep Learning for Natural Language Processing,共有21講,講解最新NLP進展,非常值得follow。
本課程旨在介紹自然語言處理的前沿深度學習方法。本課程的主題包括詞的嵌入/上下文化的詞的嵌入、預訓練和微調、機器翻譯、問題回答、摘要、信息提取、語義分析和對話系統等。我們對每個主題進行了深入的討論,并討論了最近關于每個主題的重要論文,包括背景、方法、評價、目前的局限性和未來的發展方向。學生應定期閱讀和提交研究論文,并完成一篇期末論文。
學習目標:
本課程旨在為您在自然語言處理方面的前沿研究做準備。我們將討論在NLP的每個子領域中最有影響力的想法,最先進的技術和我們今天面臨的主要問題。
練習你的研究技能,包括閱讀研究論文,進行文獻調查,口頭和書面報告,以及提供建設性的反饋。