主題: Multimodal Deep Learning
摘要: 深層神經網絡促進了多媒體數據分析在自然語言、視覺和語音領域的統一框架中的融合。圖像字幕、唇讀或視頻聲處理是利用深度神經表征的泛化特性的一個新的令人興奮的研究領域的一些首次應用。本教程將首先回顧用于編碼和解碼視覺、文本和音頻的基本神經結構,然后回顧那些成功地跨模式轉換信息的模型。
作者簡介: Xavier Giro-i-Nieto,巴塞羅那加泰羅尼亞大學(UPC)的副教授,是智能數據科學和人工智能研究中心(IDEAI-UPC)的成員,也是巴塞羅那超級計算中心(BSC)的訪問研究員。他與都柏林城市大學數據分析洞察中心、哥倫比亞大學數字視頻和多媒體以及Vilynx、Mediapro和Crisalix的工業合作伙伴密切合作。他是UPC學校具有深度學習的人工智能研究生學位的主管,并負責協調UPC TelecomBCN的深度學習課程,以及2018年巴塞羅那深度學習研討會的總主席。他是IEEE多媒體事務的副主編,并為機器學習、計算機視覺和多媒體領域的頂級會議做評論。
主題: 11-785 Introduction to Deep Learning
簡介: 以深度神經網絡為代表的“深度學習”系統正日益接管所有人工智能任務,從語言理解、語音和圖像識別,到機器翻譯、規劃,甚至是游戲和自動駕駛。因此,在許多先進的學術環境中,深度學習的專業知識正迅速從一個深奧的理想轉變為一個強制性的先決條件,并在工業就業市場上占有很大優勢。在本課程中,我們將學習深層神經網絡的基礎知識,以及它們在各種人工智能任務中的應用。課程結束時,學生將對本課程有相當的了解,并能將深度學習應用到各種任務中。他們還將通過進一步的研究來了解關于這一主題的許多現有文獻并擴展他們的知識。
主講人簡介: Bhiksha Raj,卡內基梅隆大學計算機學院教授,IEEE研究員。個人主頁://mlsp.cs.cmu.edu/people/bhiksha/index.php
主題: Sixth Workshop on NLP for Similar Languages, Varieties and Dialects
會議簡介:
VarDial 2019將與NAACL 2019共同位于美國明尼阿波利斯。該研討會將于2019年6月7日舉行。VarDial是一個完善的系列研討會,旨在為從事與從計算角度研究非特應性語言變異相關的一系列主題的學者提供一個論壇。該研討會專題討論與計算方法和語言資源密切相關的語言、語言變種和方言。
主講嘉賓:
David Yarowsky目前是約翰斯·霍普金斯大學計算機科學系教授,基礎研究包括跨語言信息投影、跨域知識轉移、Co-training、主動學習和隨機計算、來自多個知識來源的創造性引導,應用于機器翻譯和自然語言處理。個人主頁://www.cs.jhu.edu/~yarowsky/。
報告題目: Bayesian Deep Learning
報告摘要: 深度神經網絡是連接主義系統,通過它通過學習例子來完成任務,而不需要事先了解這些任務。它們可以很容易地擴展到數百萬個數據點,并且可以通過隨機梯度下降進行優化。貝葉斯方法可以用于學習神經網絡權重的概率分布。貝葉斯深度學習與貝葉斯深度學習(如何對DNNs進行貝葉斯推理?如何學習分層結構的貝葉斯模型?),本篇報告給出一定解釋。
嘉賓介紹: 朱軍博士是清華大學計算機系長聘副教授、智能技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年,入選IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要從事機器學習研究,在國際重要期刊與會議發表學術論文80余篇。擔任國際期刊IEEE TPAMI和Artificial Intelligence的編委、國際會議ICML 2014地區聯合主席、以及ICML、NIPS等國際會議的領域主席。
教程題目:Unsupervised Cross-Lingual Representation Learning
教程簡介:
在本教程中,將會對弱監督、無監督跨語言詞表征領域的最新最前沿成果進行一次完整的綜述。在簡要介紹了監督跨語言詞表示的歷史之后,重點介紹以下內容:
組織者:
Sebastian Ruder是倫敦DeepMind的一名研究科學家。在Insight數據分析研究中心完成了自然語言處理和深度學習的博士學位,同時在柏林的文本分析初創公司AYLIEN擔任研究科學家。
Anders S?gaard是哥本哈根大學計算機科學自然語言處理與機器學習教授,同時是柏林谷歌的訪問科學家。
Ivan Vuli?目前擔任劍橋大學詞匯項目(2015-2020年跨語言詞匯習得)的高級研究員。在庫魯汶大學獲得了計算機科學博士學位,研究興趣是自然語言處理、人類語言理解、機器學習理論和應用,信息檢索,主要在多語言/跨語言和多模式設置,包括(但不限于)雙語詞典提取和跨語言語義建模、跨語言和多語言信息檢索,分布語義,跨語言文本挖掘和知識轉移,語言基礎和認知建模的語言,詞匯獲取、文本表示學習、潛在主題模型、文本數據的概率建模、術語挖掘和對齊、機器翻譯、資源稀缺語言的無監督技術、多習慣用法和多模態信息搜索和檢索、多模態和視覺/感知增強語義等。
主題: Mathematics of Deep Learning
摘要: 本教程將介紹一些深神經網絡的理論結果,其目的是為屬性提供數學證明,如逼近能力、收斂性、全局最優性、不變性、學習表征的穩定性、泛化誤差等。討論了該理論在神經網絡訓練中的應用。本教程將從90年代早期的神經網絡理論(包括著名的Hornik等人的研究成果)開始。還有Cybenko)。接下來,我們將討論過去五年中為深度學習而建立的最新理論成果。文中還將討論該理論所遵循的實際考慮。
邀請嘉賓: Raja Giryes,是特拉維夫大學電氣工程學院的助理教授。他獲得了海拉以色列理工學院計算機科學系理學學士(2007)、理學碩士(M.Elad教授和Y.C.Eldar教授監督,2009)和博士(M.Elad教授監督,2014)學位。Raja是Technion(2013年11月至2014年7月)計算機科學系和杜克大學G.Sapiro教授實驗室(2014年7月和2015年8月)的博士后。他的研究興趣在于信號和圖像處理與機器學習的交叉點,特別是在深度學習、反問題、稀疏表示和信號和圖像建模方面。Raja獲得了EURASIP最佳博士獎、ERC StG獎、Maof優秀青年教師獎(2016-2019)、VATAT優秀博士后獎學金(2014-2015)、英特爾研究與卓越獎(2005、2013),德克薩斯儀器公司(2008)頒發的信號處理卓越獎(ESPA),是Azrieli研究員計劃(2010-2013)的一部分。
下載鏈接: 鏈接://pan.baidu.com/s/1tHvvi7codVe4kdb1quZB1w 提取碼:99fm
題目: Multimodal Intelligence: Representation Learning, Information Fusion, and Applications
摘要: 自2010年以來,深度學習已經徹底改變了語音識別、圖像識別和自然語言處理,每一項都涉及到輸入信號中的單一模態。然而,人工智能中的許多應用都涉及到一種以上的模式。因此,研究跨多種模式的建模和學習這一更為困難和復雜的問題具有廣泛的興趣。本文對多模態智能的模型和學習方法進行了技術綜述。視覺與自然語言的結合已成為計算機視覺和自然語言處理研究領域的一個重要課題。本文從學習多模態表示、多模態信號在不同層次的融合以及多模態應用三個新的角度,對多模態深度學習的最新研究成果進行了綜合分析。在多模態表示學習中,我們回顧了嵌入的關鍵概念,它將多模態信號統一到同一向量空間中,從而實現跨模態信號處理。我們還回顧了為一般下游任務構造和學習的許多嵌入類型的特性。關于多模融合,本文著重介紹了用于集成特定任務的單模信號表示的特殊體系結構。在應用程序方面,涵蓋了當前文獻中廣泛關注的選定領域,包括標題生成、文本到圖像生成和可視化問題解答。我們相信,這項檢討有助于社區未來在新興多模態情報領域的研究。
作者簡介:
Zichao Yang (楊子超),他是芝加哥大學計算機科學系的博士生。他對機器學習、深度學習及其在計算機視覺、自然語言處理中的應用感興趣。在到CMU之前,他獲得了香港大學的碩士學位,上海交通大學的學士學位。他之前曾在谷歌DeepMind實習,與Chris Dyer和Phil Blunsom合作,MSR與He Xiaodong、Gao Jianfeng和Li Deng合作。 個人主頁://www.cs.cmu.edu/~zichaoy/
Xiaodong He(何曉東)是華盛頓大學西雅圖分校電氣工程系的副教授。他也是微軟研究中心的首席研究員,華盛頓州雷德蒙德。1996年獲清華大學(北京)學士學位,1999年獲中國科學院(北京)碩士學位,2003年獲密蘇里哥倫比亞大學博士學位。他的研究興趣在于人工智能領域,包括深度學習、語音、自然語言、計算機視覺、信息檢索和知識表示與管理。他撰寫/合著了100多篇論文和一本書,并在ACL、CVPR、SIGIR、WWW、CIKM、NIPS、ICLR、IEEE TASLP、Proc上發表。IEEE、IEEE SPM等場館。他和同事開發了MSR-NRC-SRI條目和MSR條目,分別在2008年NIST機器翻譯評估和2011年IWSLT評估(中英文)中獲得第一名,并開發了MSR圖像字幕系統,在2015年的MS COCO字幕挑戰賽中獲得一等獎。他曾在多家IEEE期刊擔任編輯職務,擔任NAACL-HLT 2015地區主席,并在主要演講和語言處理會議的組織委員會/項目委員會任職。他是IEEESLTC的當選成員,任期2015-2017年。他是IEEE高級成員,2016年IEEE西雅圖分部主席。 個人主頁:
Li Deng是一位經驗豐富的首席執行官,在高科技行業有著豐富的工作經驗。在人工智能、機器學習、數學建模、計算機科學、語音識別、自然語言處理、深度學習、神經網絡、大數據分析、財務和統計建模等方面具有較強的技術、執行管理和業務開發專業技能。等
題目: Machine Learning Meets Big Spatial Data
簡介: 生成數據量的激增推動了可伸縮的機器學習解決方案的興起,從而可以有效地分析此類數據并從中提取有用的見解。同時,近年來,空間數據已經變得無處不在,例如GPS數據。大空間數據的應用涉及廣泛的領域,包括跟蹤傳染病,模擬氣候變化,吸毒成癮等等。因此,通過提供對現有機器學習解決方案的空間擴展或從頭開始構建新的解決方案,人們付出了巨大的努力來支持這些應用程序內部的有效分析和智能。在這個90分鐘的教程中,我們全面回顧了機器學習和大空間數據交匯處的最新技術。我們涵蓋了機器學習三個主要領域中的現有研究工作和挑戰,即數據分析,深度學習和統計推斷,以及兩個高級空間機器學習任務,即空間特征提取和空間采樣。我們還強調了該領域未來研究中存在的開放性問題和挑戰。
嘉賓介紹: Ibrahim Sabek是明尼蘇達大學計算機科學與工程系的博士候選人。 他獲得了理學碩士學位。 他于2017年在同一部門獲得博士學位。他的研究興趣在于大空間數據管理,空間計算和可伸縮機器學習系統之間的交叉領域。 易卜拉欣已獲得ACM SIGSPATIAL 2018最佳論文獎的提名,并獲得了ACM SIGMOD學生研究競賽(SRC)2017決賽階段的資格。在博士期間,他與NEC Labs America和Microsoft Research(MSR)合作 )。 易卜拉欣在ACM TSAS,IEEE ICDE,ACM SIGSPATIAL,IEEE TMC等頂級研究機構發表了許多論文,并在VLDB和ACM SIGMOD上展示了他的工作。
Mohamed F.Mokbel是卡塔爾計算研究所的首席科學家,也是明尼蘇達大學的教授。 他目前的研究興趣集中于大空間數據和應用程序的系統和機器學習技術。 他的研究工作已獲得VLDB十年最佳論文獎,四個會議最佳論文獎和NSF職業獎。 除了在其他社區的一線場所(包括IEEE ICDM和ACM CCS)的教程之外,穆罕默德還在VLDB / SIGMOD / ICDE / EDBT會議上提供了六篇教程。 這些教程都不會與本教程建議重疊。 穆罕默德(Mohamed)是ACM SIGPATIAL的當選主席,目前是分布式和并行數據庫期刊的主編,并且是ACM Books,ACM TODS,VLDB Journal,ACM TSAS和GoeInformatica期刊的編輯委員會成員。
主題: Image-to-Image Translation
簡介:
圖像到圖像的轉換是指在輸入圖像的基礎上生成新的圖像。圖像處理中的許多任務都可以表示為圖像到圖像的轉換問題,包括圖像超分辨率、圖像補全和樣式轉換。在這門簡短的課程中,我們將涵蓋圖像到圖像轉換的基礎知識和應用。
我們將首先回顧Goodfellow等人提出的生成對抗網絡(GAN)框架,這是一種流行的生成式模型,是各種最先進的圖像到圖像的轉換方法的骨干模型,因為它具有生成脆銳圖像的非凡能力。GANs有各種各樣的變體。我們將介紹幾個流行的,還將討論它們的條件擴展。
接下來,我們將給出圖像到圖像轉換問題的正式定義。我們將根據現有作品的學習設置對其進行統一的標注和分類,包括監督設置(觀察輸入-輸出關系)、非監督設置(不觀察輸入-輸出關系)、半監督設置、多模態設置和少鏡頭設置。我們將討論每個場景中代表作品的細節,介紹他們的網絡設計、目標功能、培訓策略和局限性。將討論在各種圖像處理任務中的應用。
然后將討論視頻到視頻的轉換問題,這是圖像到圖像轉換問題的自然延伸。將生成令人信服的視覺動力學的技術,以及確保時間一致性的技術。然后展示一個現有的3D渲染引擎和一個視頻到視頻轉換模型的集成,以創建一種新的計算機圖形形式,并且討論將它作為圖形渲染引擎的優缺點。
最后,我們將通過討論圖像到圖像轉換工作所需的條件來結束本課程,討論滿足這些條件的實用方法,包括如何收集培訓數據和故障排除技巧。并且將敘述未來的挑戰和潛在的研究問題。
邀請嘉賓:
Ming-Yu Liu是英偉達著名的研究科學家。在2016年加入NVIDIA之前,他是三菱電機研究實驗室(MERL)的首席研究科學家。2012年,他獲得了馬里蘭大學帕克學院電子與計算機工程系的博士學位。2014年,他的機器人揀料系統獲得了《R&D》雜志頒發的R&D 100獎。他的語義圖像合成論文和場景理解論文分別在2019年CVPR和2015年RSS會議上入圍最佳論文決賽。在2019年的SIGGRAPH上,他的圖像合成作品獲得了實時直播秀的最佳表演獎和觀眾選擇獎。他的研究重點是生成圖像建模。他的目標是使機器具有類人的想象力。