摘要：在這次演講中，我將帶領聽眾回顧我在建立神經序列模型方面的早期和近期經歷。我從早期使用循環網絡進行seq2seq學習的經驗出發，討論了注意機制。我討論了這些早期方法成功背后的因素，以及這些方法是如何被社區所接受的，甚至是在它們還沒有成型之前。然后，我會轉向講非常規神經序列模型的最新研究方向以及該模型可以自動學習確定生成的順序。
報告人簡介：Kyunghyun Cho是紐約大學計算機科學和數據科學副教授，也是Facebook人工智能研究中心的研究科學家。在2015年夏之前，他一直是蒙特利爾大學的博士后研究員，在yobengio教授的指導下，并于2014年初在Juha Karhunen教授、Tapani Raiko博士和Alexander Ilin博士的指導下獲得了阿爾托大學的博士和碩士學位。
付費5元查看完整內容
相關內容
Attention機制最早是在視覺圖像領域提出來的，但是真正火起來應該算是google mind團隊的這篇論文《Recurrent Models of Visual Attention》[14]，他們在RNN模型上使用了attention機制來進行圖像分類。隨后，Bahdanau等人在論文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中，使用類似attention的機制在機器翻譯任務上將翻譯和對齊同時進行，他們的工作算是是第一個提出attention機制應用到NLP領域中。接著類似的基于attention機制的RNN模型擴展開始應用到各種NLP任務中。最近，如何在CNN中使用attention機制也成為了大家的研究熱點。下圖表示了attention研究進展的大概趨勢。
在本課中我們將專注在序列數據上并講解機器學習方法如何來處理這種類型的數據。我們首先介紹關于序列建模的基礎概念，包括常用架構如RNN、LSTM。隨后我們將介紹序列到序列解碼和他的應用。
付費5元查看完整內容
主題： Deep Sequence Modeling
簡介：
-
一個序列建模問題：預測下一個單詞
-
循環神經網絡（RNNs）
-
時間反向傳播（BPTT）
-
長短期記憶（LSTM）網絡
-
RNN應用
付費5元查看完整內容
題目主題： Small Data Challenges in Big Data Era: Unsupervised and Semi-Supervised Methods
簡介： 在本教程中，我們將回顧在訓練深度神經網絡中使用有限帶注釋的數據克服小數據挑戰的最新進展。我們將以無監督和半監督的方法來復習文獻，包括基本原理，標準，考慮因素和網絡設計，并希望對如何有效利用大量未標記的數據促進模型訓練和推斷提供一些啟示。
小數據挑戰已經在許多學習問題中出現，因為深度神經網絡的成功通常依賴于大量標記數據的可用性，而這些數據收集起來很昂貴。為了解決這些挑戰，以無監督和半監督的方式訓練帶有小數據的復雜模型方面已經做出了很多努力。在本教程中，我們將回顧這兩種主要方法的最新進展。各種各樣的小型數據模型將被概括為一幅大圖，在這里我們將展示它們如何相互作用。具體來說，我們將回顧學習變換等，自我監督和半監督表示形式的標準，這些標準為最近的發展奠定了基礎。
作者介紹： Guo-Jun Qi是華為的首席科學家，領導并監督著多個智能云服務領域的國際研發團隊，包括智能城市，視覺計算服務，醫療智能服務和互聯車輛服務。 他自2014年8月起擔任佛羅里達大學計算機科學系的教授，并擔任機械感知與學習（MAPLE）實驗室的主任。在此之前，他還是研究人員在IBM TJ紐約州約克敦高地的沃森研究中心。他的研究興趣包括從多模式數據源（例如圖像，視頻，文本和傳感器）中進行機器學習和知識發現，以構建智能，可靠的信息和決策系統。他的研究得到了政府機構和行業合作者（包括NSF，IARPA，微軟，IBM和Adobe）的資助和項目的贊助。
Jiebo Luo在柯達研究實驗室工作了十五年多之后，于2011年秋天加入羅切斯特大學，在那里他是負責研究和先進開發的高級首席科學家。 他參加過許多技術會議，并擔任ACM Multimedia 2010，IEEE CVPR 2012，ACM ICMR 2016和IEEE ICIP 2017的程序聯席主席。研究方向為智能系統和技術交易，模式識別，機器視覺和應用，知識和信息系統以及電子成像雜志。 羅博士是SPIE，IAPR，IEEE，ACM和AAAI的會員。
大綱介紹：
- 回顧：小樣本數據
- 無監督
- TER
- 等價圖卷積
- 自編碼器轉換
- 生成表示
- 自編碼器介紹
- 基于GAN的表示
- 生成模型
- 自監督方法
- TER
- 半監督
- 半監督生成模型
- 半監督自編碼器
- 半監督GAN
- 半監督Disentangled 表示
- teacher-student模型
- 嘈雜teacher
- teacher集成
- 對抗teacher
- 半監督生成模型
付費5元查看完整內容
主題： An Overview of the International Planning Competition
摘要： 本教程介紹了自然語言的深度貝葉斯和序列學習的進展，其應用廣泛，從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖片標題生成、句子生成、對話控制、情感分類，推薦系統，問答和機器翻譯。傳統上，“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”在模型推理中可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理，重點介紹了一系列先進的貝葉斯模型和深層模型，包括分層Dirichlet過程、Chinese restaurant 過程、分層Pitman-Yor過程、Indian buffet過程、遞歸神經網絡、長時短期記憶，序列到序列模型，變分自動編碼，生成對抗網絡，注意機制，記憶增強神經網絡，隨機神經網絡，預測狀態神經網絡，策略梯度和強化學習。我們將介紹這些模型是如何連接的，以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題，提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的個案研究，以解決深度貝葉斯學習與理解中的不同問題。最后，我們將指出未來研究的一些方向和展望。
邀請嘉賓： Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年，他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎，并在2018年獲得了AAPM Farrington Daniels獎。2015年，劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年，學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
付費5元查看完整內容
課程介紹： 最近兩年，注意力模型（Attention Model）被廣泛使用在自然語言處理、圖像識別及語音識別等各種不同類型的深度學習任務中，是深度學習技術中最值得關注與深入了解的核心技術之一，本課程從基礎著手，由淺及深，詳細介紹注意力神經網絡。
主講人： Xavier Bresson，人工智能/深度學習方面的頂級研究員，培訓師和顧問。在“圖深度學習”上的NeurIPS'17和CVPR'17（2019年頂級人工智能會議排名）上的演講者，在劍橋，加州大學洛杉磯分校，布朗，清華，龐加萊，海德堡等地進行了30多次國際演講。
課程大綱：
- 神經網絡
- 神經網絡sets
- 記憶網絡
- Transformers
- seq2seq Transformers
- 語言模型Transformers
- 圖網絡VS神經網絡
- 總結
付費5元查看完整內容
報告題目： Discreteness in Neural Natural Language Processin
報告摘要： 本教程對神經NLP離散化過程提供了全面的介紹。首先，我們將簡要介紹基于NLP的深度學習的背景，指出自然語言普遍存在的離散性及其在神經信息處理中的挑戰。特別地，我們將集中在這樣的離散性如何在一個神經網絡的輸入空間、潛在空間和輸出空間中發揮作用。在每個部分中，我們將提供示例，討論機器學習技術，并演示NLP應用程序。
*邀請嘉賓： Lili Mou博士是阿爾伯塔大學計算機科學系的助理教授。Lili分別于2012年和2017年在北京大學EECS學院獲得了學士和博士學位。之后，他在滑鐵盧大學（University of Waterloo）擔任博士后，并在Adeptmind（加拿大多倫多的一家初創公司）擔任研究科學家。他的研究興趣包括應用于自然語言處理以及編程語言處理的深度學習。他在頂級會議和期刊上都有出版物，包括AAAI，ACL，CIKM，COLING，EMNLP，ICASSP，ICML，IJCAI，INTERSPEECH，NAACL-HLT和TACL（按字母順序）。
周浩是Bytedance AI實驗室的研究員 ，從事自然語言處理。2017年獲得南京大學計算機科學博士學位。他的研究興趣是機器學習及其在自然語言處理中的應用。目前，他專注于自然語言生成的深度生成模型。
李磊博士是今日頭條的研究科學家和今日頭條實驗室的主任。Lei擁有上海交通大學計算機科學與工程學士學位（ACM類）和博士學位。分別從卡內基梅隆大學獲得計算機科學博士學位。他的有關挖掘共同演化時間序列的快速算法的論文工作被ACM KDD授予最佳論文獎（排名提高）。在加入頭條之前，他曾在百度的硅谷深度學習研究所擔任首席研究科學家（“少帥學者”）。在此之前，他曾在Microsoft Research（亞洲和Redmond），Google（Mountain View）和IBM（TJ Watson Reserch Center）工作過。在加入百度之前，他曾在加州大學伯克利分校的EECS部門擔任博士后研究員。他的研究興趣在于深度學習，統計推斷，自然語言理解和時間序列分析。他曾在ICML 2014，ECML / PKDD 2014/2015，SDM 2013/2014，IJCAI 2011/2013/2016，KDD 2015 / 2016、2017 KDD Cup聯合主席的程序委員會中任職，并在2014年暑期學校擔任講師促進機器學習的概率編程研究。他發表了30多篇技術論文，并擁有3項美國專利。
付費5元查看完整內容
主題： Building Useful Recommender Systems for Tourists
簡介： 推薦系統是信息搜索和過濾工具，應為要使用的項目提供建議。 最先進的推薦系統利用數據挖掘和信息檢索技術來預測商品在多大程度上適合用戶的需求和需求，但是通常它們最終會提出明顯而無趣的建議，尤其是在復雜領域（例如旅游業）。 在演講中，將介紹典推薦器系統的思想和技術。 我們將討論為游客建立有用的推薦系統所需的一些關鍵要素。 因此，我們將指出推薦系統研究的一些局限性和挑戰。 然后，我們將介紹一些新穎的技術，這些技術利用從觀察到的游客行為中收集的數據來生成更有用的個人和團體推薦。
嘉賓介紹： Francesco Ricci博士是Bozen-Bolzano自由大學（意大利）的正教授兼計算機科學學院院長。他與他人共同編輯了《推薦系統手冊》（Springer，2011年，2015年），并作為ACM推薦系統會議（2007年至2010年）指導委員會主席在社區中積極工作。他（2000年至2006年）曾是ITC-irst（意大利特倫托）的電子商務和旅游業研究實驗室（eCTRL）的高級研究員和技術總監。從1998年到2000年，他是Sodalia s.p.a.的研究和技術部門的系統架構師。
付費5元查看完整內容
We explore deep autoregressive Transformer models in language modeling for speech recognition. We focus on two aspects. First, we revisit Transformer model configurations specifically for language modeling. We show that well configured Transformer models outperform our baseline models based on the shallow stack of LSTM recurrent neural network layers. We carry out experiments on the open-source LibriSpeech 960hr task, for both 200K vocabulary word-level and 10K byte-pair encoding subword-level language modeling. We apply our word-level models to conventional hybrid speech recognition by lattice rescoring, and the subword-level models to attention based encoder-decoder models by shallow fusion. Second, we show that deep Transformer language models do not require positional encoding. The positional encoding is an essential augmentation for the self-attention mechanism which is invariant to sequence ordering. However, in autoregressive setup, as is the case for language modeling, the amount of information increases along the position dimension, which is a positional signal by its own. The analysis of attention weights shows that deep autoregressive self-attention models can automatically make use of such positional information. We find that removing the positional encoding even slightly improves the performance of these models.
Recurrent models for sequences have been recently successful at many tasks, especially for language modeling and machine translation. Nevertheless, it remains challenging to extract good representations from these models. For instance, even though language has a clear hierarchical structure going from characters through words to sentences, it is not apparent in current language models. We propose to improve the representation in sequence models by augmenting current approaches with an autoencoder that is forced to compress the sequence through an intermediate discrete latent space. In order to propagate gradients though this discrete representation we introduce an improved semantic hashing technique. We show that this technique performs well on a newly proposed quantitative efficiency measure. We also analyze latent codes produced by the model showing how they correspond to words and phrases. Finally, we present an application of the autoencoder-augmented model to generating diverse translations.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191