課程名稱: Deep Learning and Bayesian Methods
課程介紹: 在Deep|Bayes暑期學校,我們將討論如何將Bayes方法與Deep Learning相結合,并在機器學習應用程序中帶來更好的結果。 最近的研究證明,貝葉斯方法的使用可以通過各種方式帶來好處。 學校參與者將學習對理解當前機器學習研究至關重要的方法和技術。 他們還將具有使用概率模型來構建神經生成和判別模型的動手經驗,學習神經網絡的現代隨機優化方法和正則化技術,并掌握推理神經網絡及其權重不確定性的方法,預測。
部分邀請嘉賓: Maurizio Filippone,AXA計算統計主席,EURECOM副教授
Novi Quadrianto,薩塞克斯大學助理教授
課程大綱:
從這些令人興奮的課程中學習,讓自己沉浸在深度學習、強化學習、機器學習、計算機視覺和NLP中!!
主題: Deep Sequence Modeling
簡介:
一個序列建模問題:預測下一個單詞
循環神經網絡(RNNs)
時間反向傳播(BPTT)
長短期記憶(LSTM)網絡
RNN應用
主題: 《UvA Deep Learning Course》
課程描述: 深度學習主要是對多層神經網絡的研究,它跨越了大量的模型結構。本課程在阿姆斯特丹大學人工智能碩士課程中授課。在本課程中,我們學習深度學習的理論,即在大數據上訓練的現代多層神經網絡的理論。
主講人簡介: Efstratios Gavves,阿姆斯特丹大學助理教授。個人主頁://www.egavves.com/
課程名稱: Deep Learning
課程簡介:
深度機器學習的最新發展使視覺識別、語音和文本理解或自主智能體系統取得了前所未有的巨大進步。在此背景下,本課程將深入探討深度學習架構的細節,重點是學習這些任務的端到端模型。學生將學習實施、訓練和調試自己的神經網絡,并對該領域的前沿研究有詳細的了解。該課程還將介紹推理方法的最新創新,包括微分推理、對抗性訓練和貝葉斯深度學習。
課程大綱:
講師介紹:
Gilles Louppe是比利時列日大學人工智能和深度學習的副教授。他曾是紐約大學物理系和數據科學中心的博士后助理,與歐洲核子研究中心的阿特拉斯實驗關系密切。他的研究處于機器學習、人工智能和物理科學的交叉點上,他目前的研究興趣包括使用和設計新的機器學習算法,以新的和變革性的方式處理來自基礎科學的數據驅動的問題。個人官網:
下載索引:鏈接:
講座題目
深層貝葉斯挖掘、學習與理解:Deep Bayesian Mining, Learning and Understanding
講座簡介
本教程介紹了自然語言的深度貝葉斯學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖像字幕生成、句子生成、對話控制、情感分類、推薦系統,問答和機器翻譯,舉幾個例子。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、中餐館過程、分層Pitman-Yor過程、印度自助餐過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼器,生成對抗網絡,注意機制,記憶增強神經網絡,跳躍神經網絡,隨機神經網絡,預測狀態神經網絡,策略神經網絡。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的案例研究,以解決深度貝葉斯挖掘、學習和理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
講座嘉賓
Jen-Tzung Chien,詹增建于一九九七年獲中華民國新竹國立清華大學電機工程博士學位。現任臺灣新竹國立交通大學電機與電腦工程系及電腦科學系主任教授。2010年,他在紐約約克敦高地IBM T.J.沃森研究中心擔任客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。
報告題目: Bayesian Deep Learning
報告摘要: 深度神經網絡是連接主義系統,通過它通過學習例子來完成任務,而不需要事先了解這些任務。它們可以很容易地擴展到數百萬個數據點,并且可以通過隨機梯度下降進行優化。貝葉斯方法可以用于學習神經網絡權重的概率分布。貝葉斯深度學習與貝葉斯深度學習(如何對DNNs進行貝葉斯推理?如何學習分層結構的貝葉斯模型?),本篇報告給出一定解釋。
嘉賓介紹: 朱軍博士是清華大學計算機系長聘副教授、智能技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年,入選IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要從事機器學習研究,在國際重要期刊與會議發表學術論文80余篇。擔任國際期刊IEEE TPAMI和Artificial Intelligence的編委、國際會議ICML 2014地區聯合主席、以及ICML、NIPS等國際會議的領域主席。
主題: An Overview of the International Planning Competition
摘要: 本教程介紹了自然語言的深度貝葉斯和序列學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖片標題生成、句子生成、對話控制、情感分類,推薦系統,問答和機器翻譯。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”在模型推理中可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、Chinese restaurant 過程、分層Pitman-Yor過程、Indian buffet過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼,生成對抗網絡,注意機制,記憶增強神經網絡,隨機神經網絡,預測狀態神經網絡,策略梯度和強化學習。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的個案研究,以解決深度貝葉斯學習與理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
邀請嘉賓: Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
課程介紹:
本課程介紹用于自然語言處理(NLP)的深度學習(DL)技術。與其他DL4NLP課程相反,我們將在一些講座中對所有神經體系結構(例如CNN,RNN,注意力)進行一次旋風之旅。 然后,我們將在使用貝葉斯和馬爾可夫網絡學習結構化預測方面做出巨大的努力,并應用順序標注,句法解析和句子生成。 在這個過程中,我們還將看到如何將這些傳統方法與簡單的神經網絡相結合并加以改進。
主講人:
Lili Mou博士是阿爾伯塔大學計算機科學系的助理教授。Lili分別于2012年和2017年在北京大學EECS學院獲得了學士和博士學位。之后,他在滑鐵盧大學(University of Waterloo)擔任博士后,并在Adeptmind(加拿大多倫多的一家初創公司)擔任研究科學家。他的研究興趣包括應用于自然語言處理以及編程語言處理的深度學習。他在頂級會議和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母順序)。
課程大綱:
神經網絡基礎
結構化預測
句子生成
離散空間
本課程涵蓋了機器學習和統計建模方面的廣泛主題。 雖然將涵蓋數學方法和理論方面,但主要目標是為學生提供解決實際中發現的數據科學問題所需的工具和原理。 本課程還可以作為基礎,以提供更多專業課程和進一步的獨立學習。 本課程是數據科學中心數據科學碩士學位課程核心課程的一部分。 此類旨在作為DS-GA-1001數據科學概論的延續,其中涵蓋了一些重要的基礎數據科學主題,而這些主題可能未在此DS-GA類中明確涵蓋。
主題: Introduction to Machine Learning
課程簡介: 機器學習是指通過經驗自動提高性能的計算機程序(例如,學習識別人臉、推薦音樂和電影以及驅動自主機器人的程序)。本課程從不同的角度介紹機器學習的理論和實用算法。主題包括貝葉斯網絡、決策樹學習、支持向量機、統計學習方法、無監督學習和強化學習。本課程涵蓋理論概念,例如歸納偏差、PAC學習框架、貝葉斯學習方法、基于邊際的學習和Occam的剃刀。編程作業包括各種學習算法的實際操作實驗。這門課程的目的是讓一個研究生在方法論,技術,數學和算法方面有一個徹底的基礎,目前需要的人誰做的機器學習的研究。
邀請嘉賓: Hal Daumé III,紐約市微軟研究院的研究員,是機器學習小組的一員;他也是馬里蘭大學的副教授。他主要從事自然語言處理和機器學習。
Matt Gormley,卡內基梅隆大學計算機科學學院機器學習部(ML)助教。
Roni Rosenfeld,卡內基梅隆大學計算機學院機器學習系教授兼主任,個人主頁://www.cs.cmu.edu/~roni/。等