推理和學習是(人工或自然)智能的兩個基本部分。本課程旨在介紹邏輯推理與機器學習相結合的前沿研究。我們將首先研究現代推理引擎背后的基本思想和工程技巧,如布爾可滿足性(SAT)求解器、可滿足性模理論(SMT)求解器和特定領域求解器。然后,我們將調研最近使用機器學習來改進推理系統的工作,以及反過來的工作。具體來說,本課程將涵蓋以下主題——布爾可滿足性(SAT)、可滿足性模塊理論(SMT)、程序分析與綜合、(歸納)邏輯程序設計和神經符號方法。
//www.cs.toronto.edu/~six/csc-2547hs-w23.html
學習目標: 在本課程結束時,您將: 了解SAT/SMT求解器的工作原理,并使用它們來解決有趣的挑戰。 了解當前機器學習和程序推理研究的前景和局限性。 建設性地評論研究論文,并進行指導式的演示。在一個完整的周期中實踐您的研究技能,即,提出?實施和評估?目前并獲得反饋?最終報告。
【課程描述】
在現實世界系統中部署機器學習需要一套互補的技術,以確保機器學習是值得信賴的。在這里,信任的概念被廣泛使用:該課程涵蓋了與機器學習中更廣泛的安全和隱私研究相關的新興研究領域的不同主題。學生將了解利用機器學習對計算機系統進行的攻擊,以及減輕此類攻擊的防御技術。
本課程假設學生已經對機器學習有基本的了解。學生將熟悉來自不同研究團體調查這些問題的新興文獻。該課程旨在幫助學生探索新的研究方向和應用。大部分課程閱讀將來自該領域的開創性和最近的論文。這門課不需要教科書。筆記和幻燈片以及研究論文將構成本課程中使用的材料。這些鏈接將在下面的時間表中提供。
【課程主題】
機器學習是一個令人興奮的話題,關于設計可以從數據中學習的機器。本課程涵蓋了機器學習的必要理論、原理和算法。這些方法是基于統計學和概率論的——它們現在已經成為設計顯示人工智能的系統的必要條件。
這是一門關于在不確定情況下強化學習(RL)和順序決策的入門課程,重點在于理解理論基礎。我們研究如何使用動態規劃方法,如價值和策略迭代,來解決具有已知模型的順序決策問題,以及如何擴展這些方法,以解決模型未知的強化學習問題。其他主題包括(但不限于)RL中的函數近似、策略梯度方法、基于模型的RL以及平衡探索-利用權衡。本課程將以講座和閱讀古典及近期論文的方式傳授給學生。因為重點是理解基礎,你應該期望通過數學細節和證明。本課程的要求背景包括熟悉概率論和統計、微積分、線性代數、最優化和(有監督的)機器學習。
//amfarahmand.github.io/IntroRL/
目錄內容:
強化學習入門筆記
這是多倫多大學計算機科學系于2021年春季教授的強化學習(RL)研究生課程介紹的講義。本課程是入門性的,因為它不需要預先接觸強化學習。然而,它不僅僅是算法的集合。相反,它試圖在RL中經常遇到的許多重要思想和概念背后建立數學直覺。在這些講義的過程中,我證明了很多基礎的,或者有時不那么基礎的,RL的結果。如果某個結果的證明過于復雜,我就證明一個簡化的版本。
強化學習(RL)既指一類問題,也指解決這類問題的一組計算方法。RL問題是指如何采取行動,使某些長期績效的概念得到最大化。RL問題,從它的定義來看,是關于一個實體的行為和交互,我們稱之為代理,與其周圍的環境,我們稱之為環境。這是一個非常普遍的目標。有人可能會說,解決AI問題等同于解決RL問題。強化學習也指解決RL問題的一套計算方法。一個代理需要做什么樣的計算才能確保它的行為能夠帶來良好的(甚至是最佳的)長期性能?實現這些的方法稱為RL方法。歷史上,在所有試圖解決RL問題的計算方法中,只有一個子集被稱為RL方法。例如Q-Learning這樣的方法(我們將在本課程中學習)是一種很好的RL方法,但是進化計算的方法,如遺傳算法,則不是。人們可以爭辯說,進化計算方法沒有太多的“學習”成分,或者它們不以個體生命的時間尺度行事,而是以世代的時間尺度行事。雖然這些是真正的區別,但這種劃分方式有些武斷。在本課堂講稿中,我們將重點放在“RL社區”中經常學習的方法上。
【導讀】陳丹琦博士是自然語言處理研究員領域的新星大神,她從斯坦福畢業后,到普林斯頓大學任助理教授。她將深度學習用于一系列自然語言處理重要問題,幫助機器獲取知識、更好地回答問題。她開設了COS 598C (Winter 2020)課程,深度學習自然語言處理, Deep Learning for Natural Language Processing,共有21講,講解最新NLP進展,非常值得follow。
本課程旨在介紹自然語言處理的前沿深度學習方法。本課程的主題包括詞的嵌入/上下文化的詞的嵌入、預訓練和微調、機器翻譯、問題回答、摘要、信息提取、語義分析和對話系統等。我們對每個主題進行了深入的討論,并討論了最近關于每個主題的重要論文,包括背景、方法、評價、目前的局限性和未來的發展方向。學生應定期閱讀和提交研究論文,并完成一篇期末論文。
學習目標:
本課程旨在為您在自然語言處理方面的前沿研究做準備。我們將討論在NLP的每個子領域中最有影響力的想法,最先進的技術和我們今天面臨的主要問題。
練習你的研究技能,包括閱讀研究論文,進行文獻調查,口頭和書面報告,以及提供建設性的反饋。
神經網絡為建模語言提供了強大的新工具,并已被用于改善一些任務的最新技術,并解決過去不容易解決的新問題。這門課(在卡內基梅隆大學語言技術學院)將從神經網絡的簡要概述開始,然后用大部分時間展示如何將神經網絡應用于自然語言問題。每個部分將介紹一個特定的問題或自然語言的現象,描述為什么很難建模,并演示幾個模型,旨在解決這個問題。在此過程中,本課程將涵蓋在創建神經網絡模型中有用的不同技術,包括處理不同大小和結構的句子、高效處理大數據、半監督和非監督學習、結構化預測和多語言建模。