主題: Neural Approaches to Conversational AI
摘要: 開發一個智能對話系統,不僅可以模擬人類對話,還可以回答從電影明星的最新消息到愛因斯坦的相對論等各種主題的問題,并完成旅行計劃等復雜任務,一直是人工智能最長的目標之一。這一目標直到最近才實現。隨著大量的會話數據可用于訓練,深度學習(DL)和強化學習(RL)的突破被應用到會話人工智能中,我們在學術界和工業界都看到了有希望的結果。在本教程中,我們首先簡要介紹與對話人工智能相關的DL和RL的最新進展。然后,我們詳細描述了為三種對話系統或機器人開發的最先進的神經方法。第一個是問答機器人。QA bot具有從各種數據源(包括Web文檔和預編譯的知識圖)中提取的豐富知識,可以為用戶查詢提供簡潔直接的答案。第二個是面向任務的對話系統,它可以幫助用戶完成從會議安排到假期計劃等任務。第三種是社交聊天聊天機器人,它能與人進行無縫、恰當的對話,經常扮演聊天伙伴和推薦者的角色。
邀請嘉賓: Michel Galley是微軟研究人工智能的高級研究員。他的研究興趣在自然語言處理和機器學習領域,特別關注會話人工智能、神經生成、統計機器翻譯和總結。他獲得了哥倫比亞大學的碩士和博士學位,并獲得了電子計算機科學學士學位。在加入微軟研究之前,他是斯坦福大學計算機系的研究助理。他還是南加州大學/國際科學院NLP小組和貝爾實驗室口語對話系統小組的定期訪問研究員。他與人合著了50多篇科學論文,其中許多出現在頂級的NLP、AI和ML會議上。其中兩份出版物是最佳論文決賽(NAACL 2010,EMNLP 2013)。他還擔任全國人民解放大會(ACL、NAACL、EMNLP)的地區主席,并在SIGIR和IJCAI擔任高級PC成員。
高劍鋒是微軟人工智能研究院的合作伙伴研究經理。他領導了人工智能系統的開發,用于機器閱讀理解(MRC)、問答(QA)、社交機器人、目標導向對話和商業應用。2014年至2017年,他擔任微軟研究院(Microsoft Research)深度學習技術中心(Deep Learning Technology Center)的合作研究經理,領導文本和圖像處理深度學習研究。從2006年到2014年,他是微軟研究中心(Microsoft Research)自然語言處理組的首席研究員,主要從事網絡搜索、查詢理解和重組、廣告預測和統計機器翻譯。從2005年到2006年,他是微軟自然交互服務部門的一名研究負責人,在那里他參與了ProjectX,這是一項為Windows開發自然用戶界面的工作。2000年至2005年,他在微軟亞洲研究院自然語言計算組擔任研究負責人,與同事們共同開發了微軟Office發布的首個中文語音識別系統,即市場上領先的中文/日文輸入法編輯器(IME),以及微軟Windows的自然語言平臺。
教程題目:Graph-Based Meaning Representations: Design and Processing
教程簡介:
近年來,人們對以標記有向圖的形式對句子意義進行編碼和處理產生了廣泛的興趣。舉例說明這條研究路線的框架包括:抽象意義表示、基于圖的最小遞歸語義表示、雙向語義依賴圖和通用概念認知注釋。
作為對高級的基于向量的意義表征的補充,對這種層次結構和離散的語義表示的解析,從早期開始就是自然語言理解的基石,并將繼續為理解自然語言做出重要貢獻。本教程將
最終目標是提供不同語義圖庫和相關解析工作的統一視圖,從而減少NLP開發人員和用戶從這個令人興奮的領域最近的成功和最佳實踐中獲益的障礙。
組織者:
Alexander Koller是一名計算語言學教授,哥倫比亞大學和愛丁堡大學的博士后。研究興趣包括為自然語言現象提出簡潔的數學模型和解決自然語言處理中有用問題的有效算法。特別是在計算語義、語法形式和自然語言生成(NLG)方面做了大量的研究。
Stephan Oepen在柏林、伏爾加格勒和薩爾布呂肯學習了語言學、德語和俄語語言學、計算機科學和計算語言學。2011年至2017年,他在奧斯陸大學(University of Oslo)領導語言技術部門。在此之前,他曾在DFKI和Saarland大學(均為德國)、YY技術公司(山景城)和斯坦福大學(均為美國)工作。他的研究圍繞著語言學和計算機技術的結合,在那里他發表了大約90篇經過同行評審的研究論文和會議論文,并與其他人共同創建了全球網絡和北歐語言處理實驗室(NLPL)。Oepen已經指導完成了5個博士項目和12個理學碩士學位。他是計算語言學編輯委員會和歐洲計算語言學協會執行委員會的成員,同時也是ACL自然語言解析特別興趣小組的秘書和計算語言學協會歐洲分會2017年會議和自然語言處理經驗方法2018年會議的區域聯席主席。在2017-18學年,Oepen在挪威科學與文學院高級研究中心聯合指導一個國際研究小組。
孫薇薇,計算語言學家。目前在北京大學王選計算機研究所工作,也是北京大學中國語言學中心的兼職研究員。薩爾大學計算語言學系的博士研究生,導師是Hans Uszkoreit教授。研究集中于應用圖對語法和語義分析進行編碼,以及利用以圖為中心的形式主義和算法來明確地表達語言理論。
報告題目: Discreteness in Neural Natural Language Processin
報告摘要: 本教程對神經NLP離散化過程提供了全面的介紹。首先,我們將簡要介紹基于NLP的深度學習的背景,指出自然語言普遍存在的離散性及其在神經信息處理中的挑戰。特別地,我們將集中在這樣的離散性如何在一個神經網絡的輸入空間、潛在空間和輸出空間中發揮作用。在每個部分中,我們將提供示例,討論機器學習技術,并演示NLP應用程序。
*邀請嘉賓: Lili Mou博士是阿爾伯塔大學計算機科學系的助理教授。Lili分別于2012年和2017年在北京大學EECS學院獲得了學士和博士學位。之后,他在滑鐵盧大學(University of Waterloo)擔任博士后,并在Adeptmind(加拿大多倫多的一家初創公司)擔任研究科學家。他的研究興趣包括應用于自然語言處理以及編程語言處理的深度學習。他在頂級會議和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母順序)。
周浩是Bytedance AI實驗室的研究員 ,從事自然語言處理。2017年獲得南京大學計算機科學博士學位。他的研究興趣是機器學習及其在自然語言處理中的應用。目前,他專注于自然語言生成的深度生成模型。
李磊博士是今日頭條的研究科學家和今日頭條實驗室的主任。Lei擁有上海交通大學計算機科學與工程學士學位(ACM類)和博士學位。分別從卡內基梅隆大學獲得計算機科學博士學位。他的有關挖掘共同演化時間序列的快速算法的論文工作被ACM KDD授予最佳論文獎(排名提高)。在加入頭條之前,他曾在百度的硅谷深度學習研究所擔任首席研究科學家(“少帥學者”)。在此之前,他曾在Microsoft Research(亞洲和Redmond),Google(Mountain View)和IBM(TJ Watson Reserch Center)工作過。在加入百度之前,他曾在加州大學伯克利分校的EECS部門擔任博士后研究員。他的研究興趣在于深度學習,統計推斷,自然語言理解和時間序列分析。他曾在ICML 2014,ECML / PKDD 2014/2015,SDM 2013/2014,IJCAI 2011/2013/2016,KDD 2015 / 2016、2017 KDD Cup聯合主席的程序委員會中任職,并在2014年暑期學校擔任講師促進機器學習的概率編程研究。他發表了30多篇技術論文,并擁有3項美國專利。
論文題目:Challenges in Building Intelligent Open-domain Dialog Systems
論文摘要:由于大量的對話數據的可用性和最新的漸進式對話方法AI的興起,人們對開發智能的開放域對話系統產生了濃厚的興趣。與傳統的面向任務的機器人一樣,開放域對話系統旨在通過滿足人類對交流,情感和情感的需求與用戶建立長期聯系。社會歸屬感。本文回顧了有關神經方法的最新工作,該方法致力于解決開發此類系統的三個挑戰:語義,一致性和交互性。語義要求對話系統不僅要了解對話的內容,還要識別對話過程中用戶的情感和社交需求;一致性要求該系統表現出一致的個性以贏得用戶的信任并獲得他們的長期信任。該系統生成人際反應以實現特定社會目標(如娛樂性,順從性和任務完成性)的能力。我們在本次調查中選擇呈現的研究基于我們的獨特觀點,但絕不是完整的。盡管如此,我們希望該討論會激發新的研究,以開發更多的智能到筆域對話系統。
The present paper surveys neural approaches to conversational AI that have been developed in the last few years. We group conversational systems into three categories: (1) question answering agents, (2) task-oriented dialogue agents, and (3) chatbots. For each category, we present a review of state-of-the-art neural approaches, draw the connection between them and traditional approaches, and discuss the progress that has been made and challenges still being faced, using specific systems and models as case studies.