隨著機器學習模型越來越多地被用于協助在醫療、金融和法律等高風險領域的關鍵決策，確保相關利益相關者能夠理解這些模型的行為變得非常重要。這種理解有助于確定是否、何時以及在多大程度上依賴這些模型生成的輸出。本研究生課程旨在讓學生熟悉可解釋人工智能（XAI）這一新興領域的最新進展。在這門課程中，我們將回顧該領域的開創性立場論文，從不同終端用戶（如醫生、機器學習研究人員/工程師）的角度理解可解釋性的概念，詳細討論不同類型的可解釋模型和事后解釋（如基于規則和基于原型的模型、特征歸因、反事實解釋、機械可解釋性），并探討可解釋性與公平性、穩健性和隱私之間的聯系。本課程還將涵蓋對大型語言模型（如 GPT-3）和擴散模型（如 DALLE 2）的最新研究，并強調在解釋這種大型生成模型的行為時所面臨的獨特機會和挑戰。

機器學習的一個關鍵挑戰是結構化預測:將非結構化數據作為輸入并產生結構化輸出。結構化預測問題在自然語言處理、語音處理、計算生物學、計算機視覺、醫療保健等應用領域中比比皆是。在本課程中，我們將研究建立在概率圖模型、深度學習和搜索基礎上的結構化預測的現代方法。本課程將關注三個關鍵方面:模型、推理和學習。我們考慮的模型將集中于生成和判別模型，如貝葉斯網絡、馬爾可夫隨機場(MRFs)、條件隨機場(CRFs)和深度神經網絡，包括卷積神經網絡(CNNs)和循環神經網絡(RNNs)，以及圖形模型和神經網絡的混合。本課程將探討精確推理和近似推理的方法:連接樹算法、馬爾科夫鏈蒙特卡羅(MCMC)和變分方法的近似邊際推理、整數線性規劃(ILP)和搜索的近似MAP推理。我們將使用學習問題的不同形式來探索無監督、半監督和監督學習:MLE、貝葉斯推理、結構化感知器、M3Ns、搜索學習和自動編碼器。涵蓋的應用將包括機器翻譯，語音識別，DNA序列分析，場景理解，醫療診斷。這門課程被交叉列為10-418和10-618;注冊10-618的學生將做一個課程項目。

學習成果:

在本課程結束時，學生應該能夠…… * 將新任務形式化為結構化預測問題。 * 通過整合關于輸出之間的約束或交互的領域知識，開發新的圖模型 * 結合深度神經網絡和圖形模型 * 為概率圖形模型確定適當的推理方法，精確的或近似的 * 采用學習算法，充分利用可用數據 * 為結構化預測模型從頭開始實現最先進的學習和推理方法

在過去3-4年中，大型語言模型(LLMs)徹底改變了自然語言處理(NLP)領域。它們構成了最先進的系統的基礎，在解決廣泛的自然語言理解和生成任務時無處不在。隨著前所未有的潛力和能力，這些模型也帶來了新的道德和可擴展性挑戰。本課程旨在涵蓋圍繞預訓練語言模型的前沿研究課題。我們將討論它們的技術基礎(BERT、GPT、T5模型、專家混合模型、基于檢索的模型)、新出現的功能(知識、推理、少樣本學習、上下文學習)、微調和適應、系統設計以及安全和倫理。我們將涵蓋每個主題，并深入討論重要論文。學生將被期望定期閱讀和提交研究論文，并在結束時完成一個研究項目。 這是一門高級研究生課程，所有學生都應該上過機器學習和NLP課程，并熟悉諸如transformer等深度學習模型。

//www.cs.princeton.edu/courses/archive/fall22/cos597G/

學習目標

• 本課程旨在幫助您在自然語言處理方面進行前沿研究，特別是與預訓練語言模型相關的主題。我們將討論最先進的技術，它們的能力和局限性。

• 練習你的研究技能，包括閱讀研究論文，進行文獻調查，口頭報告，以及提供建設性的反饋。

• 通過期末項目獲得實踐經驗，從頭腦風暴到實施和實證評估，再到撰寫期末論文。

課程內容：

引言 BERT T5 (encoder-decoder models) GPT-3 (decoder-only models) Prompting for few-shot learning Prompting as parameter-efficient fine-tuning In-context learning Calibration of prompting LLMs Reasoning Knowledge Data

參考論文：On the Opportunities and Risks of Foundation Models

作者：Percy Liang、李飛飛等 * 論文鏈接：

**摘要：**最近，斯坦福大學的 Percy Liang、Rishi Bommasani（Percy Liang 的學生） 、李飛飛等 100 多位研究者聯名發布了一篇論文。在論文中，他們給大模型取了一個名字——「基礎模型（foundation model）」，并系統探討了基礎模型的機遇與風險。「基礎」代表至關重要，但并不完備。 論文正文分為四個部分，分別闡述了基礎模型的能力、應用、相關技術和社會影響，其具體內容如下：

能力：語言、視覺、機器人學、推理、交互、理解等； * 應用：醫療、法律、教育等； * 技術：建模、訓練、適應、評估、系統、數據、安全與隱私、穩健性、理論、可解釋性等； * 社會影響：不平等、濫用、環境、法規、經濟、倫理等。

這篇論文的問世將為負責任地發展、部署基礎模型提供一些借鑒。

大量自監督(預訓練)模型的興起改變了許多數據驅動領域，如自然語言處理、計算機視覺、機器人和醫療成像。這門高級研究生課程旨在提供與這些模型相關的問題的整體觀點:我們將從我們如何走到這里的歷史開始，然后深入研究最新的成功故事。然后我們將關注這些技術的影響:社會危害、安全風險、法律問題和環境影響。本課程將以對這一發展軌跡的未來影響的反思結束。

前提條件:學生必須在深度學習、機器學習、人工智能和自然語言處理方面有豐富的經驗。熟悉線性代數，統計學和概率，以及學習模型的設計和實現(通過學習庫之一，如PyTorch, Tensorflow, Keras, JAX)。學生必須能夠閱讀論文并從論文中提取關鍵概念和觀點。

講者

Daniel Khashabi 的研究重點是通過自然語言的視角，研究智能行為的計算基礎。目標是探索不同的方法，我們可以開發和評估系統，理解和推理(和關于)自然語言在不同的環境。主要認同自然語言處理(ACL、NAACL、EMNLP)和人工智能社區(AAAI、IJCAI)，在某種程度上，認同機器學習社區(ICLR、NeurIPS、ICML)。 //danielkhashabi.com/

目錄內容：

1. Course overview, plan and expectations

2. Preliminaries: Past, Architectures, Pre-training, Capabilities

3. Pretraining Language Models

4. Architectures

5. In-context Learning

6. Social Harms: Bias

7. Memorization and Privacy

8. Pretraining Coding Models

9. Pretraining Vision-Language Models

10. Pretraining Speech/Audio Models

11. Evolving Memory

機器學習是指通過經驗自動提高性能的計算機程序(例如，學習識別人臉、推薦音樂和電影，以及駕駛自動機器人的程序)。本課程從不同的角度涵蓋了機器學習的理論和實際算法。我們涵蓋的主題如貝葉斯網絡，決策樹學習，支持向量機，統計學習方法，無監督學習和強化學習。本課程涵蓋了歸納偏差、PAC學習框架、貝葉斯學習方法、基于邊際的學習和奧卡姆剃刀等理論概念。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員目前所需要的方法學、技術、數學和算法的全面基礎知識。

通過學習這門課程，能夠獲取：

實現和分析現有的學習算法，包括學習良好的分類、回歸、結構化預測、聚類和表示學習方法 將實際機器學習的多個方面整合到一個系統中:數據預處理、學習、正則化和模型選擇 描述用于學習的模型和算法的形式屬性，并解釋這些結果的實際含義 比較和對比不同的學習模式(有監督的，無監督的，等等) 設計實驗來評估和比較現實問題中不同的機器學習技術 運用概率、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出ML技術的描述，分析它以確定(1)形式主義的表達能力;(2)算法隱含的歸納偏差;(3)搜索空間的大小和復雜度;(5)關于終止、收斂、正確性、準確性或泛化能力的任何保證(或缺乏保證)。

課程地址：

//www.cs.cmu.edu/~mgormley/courses/10601/

機器學習涉及的是通過經驗自動提高其性能的計算機程序(例如，學習人臉識別，推薦音樂和電影，以及驅動自主機器人的程序)。本課程從多種角度涵蓋了機器學習的理論和實際算法。我們涵蓋了貝葉斯網絡、決策樹學習、支持向量機、統計學習方法、無監督學習和強化學習等主題。課程涵蓋的理論概念如歸納偏差，PAC學習框架，貝葉斯學習方法，基于邊際的學習，和奧卡姆剃刀。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員所需要的方法論、技術、數學和算法的全面基礎知識。

學習成果: 課程結束時，學生應能夠:

實現并分析現有的學習算法，包括為分類、回歸、結構預測、聚類和表示學習而充分研究的方法 將實際機器學習的多個方面集成到一個系統中:數據預處理、學習、正則化和模型選擇 描述學習模型和算法的形式屬性，并解釋這些結果的實際含義 比較和對比不同的學習范式(監督的、非監督的，等等) 設計實驗評估和比較不同的機器學習技術在現實世界的問題 運用概率論、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出一種ML技術的描述，分析它，確定(1)形式主義的表達能力;(2)算法中隱含的歸納偏差;(3)搜索空間

參考書籍：

Machine Learning, Tom Mitchell. Machine Learning: a Probabilistic Perspective, Kevin Murphy. Full online access is free through CMU’s library – for the second link, you must be on CMU’s network or VPN. A Course in Machine Learning, Hal Daumé III. Online only.

目錄內容： Classification & Regression Linear Models 深度學習 強化學習 生成模型 概率圖模型 學習理論 學習方式

本課程探索了生成式模型的各種現代技術。生成模型是一個活躍的研究領域: 我們在本課程中討論的大多數技術都是在過去10年發展起來的。本課程與當前的研究文獻緊密結合，并提供閱讀該領域最新發展的論文所需的背景。課程將集中于生成式建模技術的理論和數學基礎。作業將包括分析練習和計算練習。本課程專題旨在提供一個機會，讓你可以將這些想法應用到自己的研究中，或更深入地研究本課程所討論的主題之一。

• 自回歸模型 Autoregressive Model
  • The NADE Framework
  • RNN/LSTM and Transformers
• 變分自編碼器 Variational Autoencoders
  • The Gaussian VAE
  • ConvNets and ResNets
  • Posterior Collapse
  • Discrete VAEs
• 生成式對抗網絡 Generative Adversarial Nets
  • f-GANs
  • Wasserstein GANs
  • Generative Sinkhorn Modeling
• 生成流 Generative Flow
  • Autoregressive Flows
  • Invertible Networks
  • Neural Ordinary Differential Equations
• 基于能量的模型 Energy-Based Models
  • Stein's Method and Score Matching
  • Langevin Dynamics and Diffusions

醫療保健是人工智能最令人興奮的應用領域之一，在醫學圖像分析、基于電子健康記錄的預測和精確醫療等領域具有變革潛力。本課程將深入探討醫療領域人工智能的最新進展，特別關注醫療問題的深度學習方法。我們將從神經網絡基礎開始，然后在各種醫療保健數據(包括圖像、文本、多模態和時間序列數據)的背景下研究前沿的深度學習模型。在本課程的后半部分，我們將討論在社會應用(如醫療保健)中整合人工智能所面臨的開放挑戰，包括可解釋性、健壯性、隱私性和公平性。本課程旨在為來自不同背景的學生提供醫療領域人工智能前沿研究的概念理解和實踐基礎。

//web.stanford.edu/class/biods220/index.html

使用Python進行自然語言處理(NLP)，學習如何設置健壯環境來執行文本分析。這第二版經歷了一個重大的修改，并介紹了幾個重要的變化和基于NLP的最新趨勢的新主題。

您將了解如何在NLP中使用最新的、最先進的框架，以及機器學習和深度學習模型，用于Python支持的監督情感分析，以解決實際的案例研究。首先回顧Python中關于字符串和文本數據的NLP基礎知識，然后討論文本數據的工程表示方法，包括傳統的統計模型和新的基于深度學習的嵌入模型。本文還討論了解析和處理文本的改進技術和新方法。

文本摘要和主題模型已經全面修訂，因此本書展示了如何在NIPS會議論文的興趣數據集上下文中構建、調整和解釋主題模型。此外，這本書涵蓋了文本相似性技術與現實世界的電影推薦人的例子，以及情緒分析使用監督和非監督的技術。還有一章專門討論語義分析，您將了解如何從頭構建自己的命名實體識別(NER)系統。雖然該書的整體結構保持不變，但整個代碼庫、模塊和章節都已更新到最新的Python 3。x版本。

你將學習

• 理解NLP和文本的語法、語義和結構
• 發現文本清理和功能工程
• 回顧文本分類和文本聚類
• 評估文本摘要和主題模型
• 學習NLP的深度學習

這本書是給誰的

• IT專業人員、數據分析師、開發人員、語言學專家、數據科學家和工程師，以及任何對語言學、分析和從文本數據中產生見解有濃厚興趣的人。