課程介紹:
本課程介紹用于自然語言處理(NLP)的深度學習(DL)技術。與其他DL4NLP課程相反,我們將在一些講座中對所有神經體系結構(例如CNN,RNN,注意力)進行一次旋風之旅。 然后,我們將在使用貝葉斯和馬爾可夫網絡學習結構化預測方面做出巨大的努力,并應用順序標注,句法解析和句子生成。 在這個過程中,我們還將看到如何將這些傳統方法與簡單的神經網絡相結合并加以改進。
主講人:
Lili Mou博士是阿爾伯塔大學計算機科學系的助理教授。Lili分別于2012年和2017年在北京大學EECS學院獲得了學士和博士學位。之后,他在滑鐵盧大學(University of Waterloo)擔任博士后,并在Adeptmind(加拿大多倫多的一家初創公司)擔任研究科學家。他的研究興趣包括應用于自然語言處理以及編程語言處理的深度學習。他在頂級會議和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母順序)。
課程大綱:
神經網絡基礎
結構化預測
句子生成
離散空間
簡介:
在這本書中,從機器學習基礎開始,然后繼續學習神經網絡,深度學習,然后是卷積神經網絡。在基礎和應用的混合,在MATLAB深度學習這本書中使用MATLAB作為基礎編程語言和工具進行案例研究。
有了這本書,你將能夠解決當今現實世界中的一些大數據、智能機器人和其它復雜的數據問題。您將看到,對于現代智能數據分析和使用來說,深度學習是機器學習中多么復雜和智能的一個方面。
你將學習
作者:
Phil Kim博士是一位經驗豐富的MATLAB程序員。他還研究來自人工智能的大型數據集的算法以及機器學習。他曾在韓國航空航天研究所擔任高級研究員。在那里,他的主要任務是開發無人駕駛飛行器的自主飛行算法和機載軟件。在攻讀博士期間,他開發了一個名為“Clickey”的屏幕鍵盤程序。
課程名稱: Introduction to Articial Intelligence
課程簡介:
本課程主要講述了人工智能相關知識,包括基本理論、練習和項目。
課程部分大綱:
講師介紹:
Gilles Louppe是比利時列日大學人工智能和深度學習的副教授。他曾是紐約大學物理系和數據科學中心的博士后助理,與歐洲核子研究中心的阿特拉斯實驗關系密切。他的研究處于機器學習、人工智能和物理科學的交叉點上,他目前的研究興趣包括使用和設計新的機器學習算法,以新的和變革性的方式處理來自基礎科學的數據驅動的問題。
講座題目
深層貝葉斯挖掘、學習與理解:Deep Bayesian Mining, Learning and Understanding
講座簡介
本教程介紹了自然語言的深度貝葉斯學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖像字幕生成、句子生成、對話控制、情感分類、推薦系統,問答和機器翻譯,舉幾個例子。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、中餐館過程、分層Pitman-Yor過程、印度自助餐過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼器,生成對抗網絡,注意機制,記憶增強神經網絡,跳躍神經網絡,隨機神經網絡,預測狀態神經網絡,策略神經網絡。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的案例研究,以解決深度貝葉斯挖掘、學習和理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
講座嘉賓
Jen-Tzung Chien,詹增建于一九九七年獲中華民國新竹國立清華大學電機工程博士學位。現任臺灣新竹國立交通大學電機與電腦工程系及電腦科學系主任教授。2010年,他在紐約約克敦高地IBM T.J.沃森研究中心擔任客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。
課程簡介: 本課程將向學生介紹NLP的基礎知識,涵蓋處理自然語言的標準框架以及解決各種NLP問題的算法和技術,包括最新的深度學習方法。 涵蓋的主題包括語言建模,表示學習,文本分類,序列標記,語法解析,機器翻譯,問題解答等。
課程安排:
嘉賓介紹:
陳丹琦,普林斯頓大學計算機科學的助理教授,在此之前,是西雅圖Facebook AI Research(FAIR)的訪問科學家。 斯坦福大學計算機科學系獲得博士學位,并在斯坦福NLP集團工作。研究方向:自然語言處理,文本理解、知識解釋。
Karthik Narasimhan,普林斯頓大學計算機科學系助理教授,研究跨越自然語言處理和強化學習。
主題: An Overview of the International Planning Competition
摘要: 本教程介紹了自然語言的深度貝葉斯和序列學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖片標題生成、句子生成、對話控制、情感分類,推薦系統,問答和機器翻譯。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”在模型推理中可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、Chinese restaurant 過程、分層Pitman-Yor過程、Indian buffet過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼,生成對抗網絡,注意機制,記憶增強神經網絡,隨機神經網絡,預測狀態神經網絡,策略梯度和強化學習。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的個案研究,以解決深度貝葉斯學習與理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
邀請嘉賓: Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
教程題目:Deep Bayesian Natural Language Processing
教程簡介:
這個教學講座將會介紹用于自然語言處理的深度貝葉斯學習的發展,以及它在語音識別、文本總結、文本分類、文本分割、信息提取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、問答、機器翻譯等等許多任務中的廣泛應用。傳統上,“深度學習”被認為是一個基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的詞匯、句子、實體、動作和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能沒有被正確分解或估計。
本教程介紹了統計模型和神經網絡的基礎知識,并將重點講解一系列高級的貝葉斯模型以及深度模型。這些模型之間的聯系、能在自然語言的許多符號化表示和復雜模式中發揮作用的原因也會得到介紹。我們將介紹這些模型是如何連接的,以及它們為什么適用于自然語言中符號和復雜模式的各種應用程序。
為解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚被語言和語義約束合并。提出了一系列的案例研究來解決深度貝葉斯學習和理解中的不同問題。最后,指出了一些未來研究的方向和展望。
組織者:
Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
課程名稱: Deep Learning and Bayesian Methods
課程介紹: 在Deep|Bayes暑期學校,我們將討論如何將Bayes方法與Deep Learning相結合,并在機器學習應用程序中帶來更好的結果。 最近的研究證明,貝葉斯方法的使用可以通過各種方式帶來好處。 學校參與者將學習對理解當前機器學習研究至關重要的方法和技術。 他們還將具有使用概率模型來構建神經生成和判別模型的動手經驗,學習神經網絡的現代隨機優化方法和正則化技術,并掌握推理神經網絡及其權重不確定性的方法,預測。
部分邀請嘉賓: Maurizio Filippone,AXA計算統計主席,EURECOM副教授
Novi Quadrianto,薩塞克斯大學助理教授
課程大綱:
報告題目: Discreteness in Neural Natural Language Processin
報告摘要: 本教程對神經NLP離散化過程提供了全面的介紹。首先,我們將簡要介紹基于NLP的深度學習的背景,指出自然語言普遍存在的離散性及其在神經信息處理中的挑戰。特別地,我們將集中在這樣的離散性如何在一個神經網絡的輸入空間、潛在空間和輸出空間中發揮作用。在每個部分中,我們將提供示例,討論機器學習技術,并演示NLP應用程序。
*邀請嘉賓: Lili Mou博士是阿爾伯塔大學計算機科學系的助理教授。Lili分別于2012年和2017年在北京大學EECS學院獲得了學士和博士學位。之后,他在滑鐵盧大學(University of Waterloo)擔任博士后,并在Adeptmind(加拿大多倫多的一家初創公司)擔任研究科學家。他的研究興趣包括應用于自然語言處理以及編程語言處理的深度學習。他在頂級會議和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母順序)。
周浩是Bytedance AI實驗室的研究員 ,從事自然語言處理。2017年獲得南京大學計算機科學博士學位。他的研究興趣是機器學習及其在自然語言處理中的應用。目前,他專注于自然語言生成的深度生成模型。
李磊博士是今日頭條的研究科學家和今日頭條實驗室的主任。Lei擁有上海交通大學計算機科學與工程學士學位(ACM類)和博士學位。分別從卡內基梅隆大學獲得計算機科學博士學位。他的有關挖掘共同演化時間序列的快速算法的論文工作被ACM KDD授予最佳論文獎(排名提高)。在加入頭條之前,他曾在百度的硅谷深度學習研究所擔任首席研究科學家(“少帥學者”)。在此之前,他曾在Microsoft Research(亞洲和Redmond),Google(Mountain View)和IBM(TJ Watson Reserch Center)工作過。在加入百度之前,他曾在加州大學伯克利分校的EECS部門擔任博士后研究員。他的研究興趣在于深度學習,統計推斷,自然語言理解和時間序列分析。他曾在ICML 2014,ECML / PKDD 2014/2015,SDM 2013/2014,IJCAI 2011/2013/2016,KDD 2015 / 2016、2017 KDD Cup聯合主席的程序委員會中任職,并在2014年暑期學校擔任講師促進機器學習的概率編程研究。他發表了30多篇技術論文,并擁有3項美國專利。
主題:Deep Learning for Graphs: Models and Applications
摘要:圖提供了多種類型的數據的通用表示,而深度學習在表示學習方面顯示了巨大的能力。因此,用圖連接深度學習提供了機會,使各種現實世界問題的通用解決方案成為可能。然而,傳統的深度學習技術對常規網格數據(如圖像和序列)具有破壞性,因此不能直接應用于圖結構數據。因此,將這兩個領域結合起來面臨著巨大的挑戰。在本教程中,我將全面概述圖深度學習的最新進展,包括模型和應用。特別地,我將介紹一些基本概念,回顧最先進算法,并舉例說明各種重要的應用。最后,我將通過討論開放問題和挑戰來總結本教程。
嘉賓簡介:唐繼良(Jiang Tang)自2016年秋季@起擔任密歇根州立大學計算機科學與工程系的助理教授。在此之前,他是Yahoo Research的研究科學家,并于2015年從亞利桑那州立大學獲得博士學位。他的研究興趣包括社交計算,數據挖掘和機器學習及其在教育中的應用。他曾獲得2019年NSF職業獎,2015年KDD最佳論文亞軍和6項最佳論文獎,包括WSDM2018和KDD2016。他是會議組織者(例如KDD,WSDM和SDM)和期刊編輯(例如TKDD)。他的研究成果發表在高排名的期刊和頂級會議論文集上,獲得了數千篇引文(Google學術搜索)和廣泛的媒體報道。
報告主題: Scalable Deep Learning: from theory to practice
簡介:
人工智能的一個基本任務是學習。深度神經網絡已被證明可以完美地應對所有的學習范式,即監督學習、非監督學習和強化學習。然而,傳統的深度學習方法利用云計算設施不能很好地擴展到計算資源少的自主代理。即使在云計算中,它們也受到計算和內存的限制,不能用于為假定網絡中有數十億神經元的代理建立適當的大型物理世界模型。這些問題在過去幾年通過可擴展和高效的深度學習的新興主題得到了解決。本教程涵蓋了這些主題,重點是理論進步、實際應用和實踐經驗,分為兩部分。
第一部分 -可擴展的深度學習:從修剪到演化。
本教程的第一部分側重于理論。首先修正目前有多少代理使用深度神經網絡。然后介紹了神經網絡的基本概念,并從功能和拓撲的角度將人工神經網絡與生物神經網絡進行了比較。我們接著介紹了90年代早期的第一篇關于高效神經網絡的論文,這些論文使用稀疏執行或基于不同顯著性標準的全連通網絡的權值剪枝。然后,我們回顧了近年來一些從全連通網絡出發,利用剪枝再訓練循環壓縮深度神經網絡,使其在推理階段更有效的工作。然后我們討論另一種方法,即增強拓撲的神經進化及其后續,使用進化計算來增長有效的深度神經網絡。
第二部分:可擴展的深度學習:深度強化學習
到目前為止,一切都是在監督和非監督學習的背景下討論的。在此基礎上,我們引入了深度強化學習,為可擴展的深度強化學習奠定了基礎。我們描述了在深度強化學習領域的一些最新進展,這些進展可以用來提高強化學習主體在面對動態變化的環境時的性能,就像在能量系統中經常出現的情況一樣。
邀請嘉賓:
Decebal Constantin Mocanu是埃因霍芬理工大學(TU/e)數學與計算機科學系數據挖掘組人工智能與機器學習助理教授(2017年9月至今),TU/e青年工程院院士。他的研究興趣是利用網絡科學、進化計算、優化和神經科學的原理,構想可擴展的深度人工神經網絡模型及其相應的學習算法。
Elena Mocanu是特溫特大學(University of Twente)數據科學小組的機器學習助理教授,也是艾恩德霍芬理工大學(Eindhoven University of Technology)的研究員。2013年10月,埃琳娜在德國理工大學開始了她在機器學習和智能電網方面的博士研究。2015年1月,她在丹麥技術大學進行了短暫的研究訪問,2016年1月至4月,她是美國奧斯汀德克薩斯大學的訪問研究員。2017年,埃琳娜在德國理工大學獲得了機器學習和智能電網的哲學博士學位。
Damien Ernst目前在列日大學(University of Liege)擔任全職教授。在列日大學獲得碩士學位,博士后研究期間,由FNRS資助,在CMU、美國麻省理工學院和蘇黎世聯邦理工學院度過。他現在正在做能源和人工智能領域的研究。