講座題目
深層貝葉斯挖掘、學習與理解:Deep Bayesian Mining, Learning and Understanding
講座簡介
本教程介紹了自然語言的深度貝葉斯學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖像字幕生成、句子生成、對話控制、情感分類、推薦系統,問答和機器翻譯,舉幾個例子。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、中餐館過程、分層Pitman-Yor過程、印度自助餐過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼器,生成對抗網絡,注意機制,記憶增強神經網絡,跳躍神經網絡,隨機神經網絡,預測狀態神經網絡,策略神經網絡。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的案例研究,以解決深度貝葉斯挖掘、學習和理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
講座嘉賓
Jen-Tzung Chien,詹增建于一九九七年獲中華民國新竹國立清華大學電機工程博士學位。現任臺灣新竹國立交通大學電機與電腦工程系及電腦科學系主任教授。2010年,他在紐約約克敦高地IBM T.J.沃森研究中心擔任客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。
臺灣交通大學的Jen-Tzung Chien教授在WSDN 2020會議上通過教程《Deep Bayesian Data Mining》介紹了深度貝葉斯數據挖掘的相關知識,涵蓋了貝葉斯學習、深度序列學習、深度貝葉斯挖掘和學習等內容。
Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》(《深度貝葉斯數據挖掘》)介紹了面向自然語言的深度貝葉斯挖掘和學習,包括了它的基礎知識和進展,以及它無處不在的應用,這些應用包括語音識別、文檔摘要、文本分類、文本分割、信息抽取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、自動問答和機器翻譯等。
從傳統上,“深度學習”被認為是一個學習過程,過程中的推斷和優化都使用基于實數的判別模型。然而,從大量語料中提取出的詞匯、句子、實體、行為和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地被這種方式表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能不能被正確分解或估計。
該教程介紹了統計模型和神經網絡的基礎,并聚焦于一系列先進的貝葉斯模型和深度模型,包括層次狄利克雷過程、中國餐館過程、遞歸神經網絡、長短期記憶網絡、序列到序列模型、變分自編碼器、生成式對抗網絡、策略神經網絡等。教程還介紹了增強的先驗/后驗表示。教程展示了這些模型是如何連接的,以及它們為什么適用于自然語言中面向符號和復雜模式的各種應用程序。
變分推斷和采樣被提出解決解決復雜模型的優化問題。詞和句子的嵌入、聚類和聯合聚類被語言和語義約束合并。針對深度貝葉斯挖掘、搜索、學習和理解中的不同問題,一系列的案例研究、任務和應用被提出。最后,教程指出一些未來研究的方向和展望。教程旨在向初學者介紹深度貝葉斯學習中的主要主題,激發和解釋它對數據挖掘和自然語言理解正在浮現的重要性,并提出一種結合不同的機器學習工作的新的綜合方法。
教程的內容大致如下:
完整教程下載
請關注專知公眾號(點擊上方藍色專知關注) 后臺回復“DBDM20” 就可以獲取完整教程PDF的下載鏈接~
教程部分內容如下所示:
參考鏈接:
//chien.cm.nctu.edu.tw/home/wsdm-tutorial/
-END- 專 · 知
專知,專業可信的人工智能知識分發,讓認知協作更快更好!歡迎注冊登錄專知www.zhuanzhi.ai,獲取更多AI知識資料!
歡迎微信掃一掃加入專知人工智能知識星球群,獲取最新AI專業干貨知識教程視頻資料和與專家交流咨詢!
請加專知小助手微信(掃一掃如下二維碼添加),獲取專知VIP會員碼,加入專知人工智能主題群,咨詢技術商務合作~
點擊“閱讀原文”,了解注冊使用專知
講座題目
深強化學習及其在交通運輸中的應用:Deep Reinforcement Learning with Applications in Transportation
講座簡介
交通領域,特別是移動共享領域,有許多傳統上具有挑戰性的動態決策問題,這些問題有很長的研究文獻,很容易從人工智能(AI)中受益匪淺。一些核心例子包括在線乘車命令調度,它將可用的駕駛員與在共享平臺上請求乘客的行程實時匹配;路線規劃,它規劃行程的起點和終點之間的最佳路線;交通信號控制,它動態和自適應地調整實現低延遲的區域。所有這些問題都有一個共同的特點,即當我們關注某一特定時間范圍內的一些累積目標時,需要做出一系列的決定。強化學習(RL)是一種機器學習范式,它通過與環境的交互和獲取反饋信號,訓練agent學會在環境中采取最佳行動(以獲得的總累積回報衡量)。因此,它是一類求解序列決策問題的優化方法。
講座嘉賓
Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
報告題目: Bayesian Deep Learning
報告摘要: 深度神經網絡是連接主義系統,通過它通過學習例子來完成任務,而不需要事先了解這些任務。它們可以很容易地擴展到數百萬個數據點,并且可以通過隨機梯度下降進行優化。貝葉斯方法可以用于學習神經網絡權重的概率分布。貝葉斯深度學習與貝葉斯深度學習(如何對DNNs進行貝葉斯推理?如何學習分層結構的貝葉斯模型?),本篇報告給出一定解釋。
嘉賓介紹: 朱軍博士是清華大學計算機系長聘副教授、智能技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年,入選IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要從事機器學習研究,在國際重要期刊與會議發表學術論文80余篇。擔任國際期刊IEEE TPAMI和Artificial Intelligence的編委、國際會議ICML 2014地區聯合主席、以及ICML、NIPS等國際會議的領域主席。
主題: An Overview of the International Planning Competition
摘要: 本教程介紹了自然語言的深度貝葉斯和序列學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖片標題生成、句子生成、對話控制、情感分類,推薦系統,問答和機器翻譯。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”在模型推理中可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、Chinese restaurant 過程、分層Pitman-Yor過程、Indian buffet過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼,生成對抗網絡,注意機制,記憶增強神經網絡,隨機神經網絡,預測狀態神經網絡,策略梯度和強化學習。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的個案研究,以解決深度貝葉斯學習與理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
邀請嘉賓: Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
教程題目:Deep Bayesian Natural Language Processing
教程簡介:
這個教學講座將會介紹用于自然語言處理的深度貝葉斯學習的發展,以及它在語音識別、文本總結、文本分類、文本分割、信息提取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、問答、機器翻譯等等許多任務中的廣泛應用。傳統上,“深度學習”被認為是一個基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的詞匯、句子、實體、動作和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能沒有被正確分解或估計。
本教程介紹了統計模型和神經網絡的基礎知識,并將重點講解一系列高級的貝葉斯模型以及深度模型。這些模型之間的聯系、能在自然語言的許多符號化表示和復雜模式中發揮作用的原因也會得到介紹。我們將介紹這些模型是如何連接的,以及它們為什么適用于自然語言中符號和復雜模式的各種應用程序。
為解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚被語言和語義約束合并。提出了一系列的案例研究來解決深度貝葉斯學習和理解中的不同問題。最后,指出了一些未來研究的方向和展望。
組織者:
Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
課程名稱: Deep Learning and Bayesian Methods
課程介紹: 在Deep|Bayes暑期學校,我們將討論如何將Bayes方法與Deep Learning相結合,并在機器學習應用程序中帶來更好的結果。 最近的研究證明,貝葉斯方法的使用可以通過各種方式帶來好處。 學校參與者將學習對理解當前機器學習研究至關重要的方法和技術。 他們還將具有使用概率模型來構建神經生成和判別模型的動手經驗,學習神經網絡的現代隨機優化方法和正則化技術,并掌握推理神經網絡及其權重不確定性的方法,預測。
部分邀請嘉賓: Maurizio Filippone,AXA計算統計主席,EURECOM副教授
Novi Quadrianto,薩塞克斯大學助理教授
課程大綱:
課程介紹:
本課程介紹用于自然語言處理(NLP)的深度學習(DL)技術。與其他DL4NLP課程相反,我們將在一些講座中對所有神經體系結構(例如CNN,RNN,注意力)進行一次旋風之旅。 然后,我們將在使用貝葉斯和馬爾可夫網絡學習結構化預測方面做出巨大的努力,并應用順序標注,句法解析和句子生成。 在這個過程中,我們還將看到如何將這些傳統方法與簡單的神經網絡相結合并加以改進。
主講人:
Lili Mou博士是阿爾伯塔大學計算機科學系的助理教授。Lili分別于2012年和2017年在北京大學EECS學院獲得了學士和博士學位。之后,他在滑鐵盧大學(University of Waterloo)擔任博士后,并在Adeptmind(加拿大多倫多的一家初創公司)擔任研究科學家。他的研究興趣包括應用于自然語言處理以及編程語言處理的深度學習。他在頂級會議和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母順序)。
課程大綱:
神經網絡基礎
結構化預測
句子生成
離散空間
主題:Deep Learning for Graphs: Models and Applications
摘要:圖提供了多種類型的數據的通用表示,而深度學習在表示學習方面顯示了巨大的能力。因此,用圖連接深度學習提供了機會,使各種現實世界問題的通用解決方案成為可能。然而,傳統的深度學習技術對常規網格數據(如圖像和序列)具有破壞性,因此不能直接應用于圖結構數據。因此,將這兩個領域結合起來面臨著巨大的挑戰。在本教程中,我將全面概述圖深度學習的最新進展,包括模型和應用。特別地,我將介紹一些基本概念,回顧最先進算法,并舉例說明各種重要的應用。最后,我將通過討論開放問題和挑戰來總結本教程。
嘉賓簡介:唐繼良(Jiang Tang)自2016年秋季@起擔任密歇根州立大學計算機科學與工程系的助理教授。在此之前,他是Yahoo Research的研究科學家,并于2015年從亞利桑那州立大學獲得博士學位。他的研究興趣包括社交計算,數據挖掘和機器學習及其在教育中的應用。他曾獲得2019年NSF職業獎,2015年KDD最佳論文亞軍和6項最佳論文獎,包括WSDM2018和KDD2016。他是會議組織者(例如KDD,WSDM和SDM)和期刊編輯(例如TKDD)。他的研究成果發表在高排名的期刊和頂級會議論文集上,獲得了數千篇引文(Google學術搜索)和廣泛的媒體報道。