報告主題:預訓練語言模型的研究與應用
報告摘要:預訓練語言模型對自然語言處理領域產生了非常大的影響,華為諾亞方舟實驗首席科學家劉群分享了華為諾亞方舟實驗室在預訓練語言模型研究與應用。他從以下四個方面介紹了他們的工作:一是中文預訓練語言模型——哪吒;二是實體增強預訓練語言模型——ERINE;三是預訓練語言模型——樂府;四是TinyBERT:高效的BERT壓縮模型。最后,劉群對預訓練語言模型研究與應用做了展望。下一步他們希望研究更好、更強大的預訓練語言模型,融入更多的知識,同時跟語音和圖像也能夠有所結合;此外,也希望將這些預訓練模型能應用到更多領域。
邀請嘉賓:劉群,男,華為諾亞方舟實驗室,任語音語義首席科學家,主導語音和自然語言處理領域的前沿研究和技術創新。 1989 年畢業于中國科學技術大學計算機系,1992 年于中國科學院計算技術研究所獲得碩士學位。劉群博士是自然語言處理和機器翻譯領域的國際著名專家,他的研究方向包括多語言信息處理、機器翻譯模型、方法與評價等。
報告主題:NLP、多模態智能和機器學習
報告摘要:自然語言處理在未來可能會從文本創作、情感智能、多模態智能和對話智能等多個方向突破。首先是對于長文本內容的創作,要具備寫作邏輯。人工智能需要確立一個模型,使得主題、子主題的結構可以展開,并且能夠在模型上得到體現,最后才能真正寫出一篇前后邏輯嚴謹,有意義的文章。其次是要理解用戶的情感,知道用戶的訴求,生成共情的對話,配合情感進行相應表達。同時,多模態學習也是一個新興的領域,包括從基礎大跨模態語義表征學習,比如語言-視覺多模態預訓練,到多模態知識獲取和知識推理,再到多模態智能的應用,比如圖像到文字描述、文本到圖像生成、視覺-文本回答、語言=視覺導航等等。多模態智能技術獎之前各個子領域的相對孤立的研究進行融合,并將驅動一系列新技術的研究。
邀請嘉賓:何曉冬,京東集團技術副總裁,IEEE Fellow,京東人工智能研究員常務副院長,深度學習及語音和語言實驗室的負責人,并擔任華盛頓大學(西雅圖)、香港中文大學(深圳)和同濟大學兼職教授,及中央美術學院榮譽教授。曾在IEEE、ACM、ACL、AAAI等學會的期刊和學術會議擔任編委、組委或領域主席,主要從事人工智能領域,包括深度學習、自然語言處理、語音識別、計算機視覺、信息檢索和多模態智能等方面的研究。
報告主題:Recent Breakthroughs in Natural Language Processing
報告摘要:自然語言處理是計算機科學、語言學和機器學習的交叉點,它關注計算機與人類之間使用自然語言中的溝通交流。總之,NLP致力于讓計算機能夠理解和生成人類語言。NLP技術應用于多個領域,比如天貓精靈和Siri這樣的語音助手,還有機器翻譯和文本過濾等。機器學習是受NLP影響最深遠的領域之一,尤為突出的是深度學習技術。該領域分為以下三個部分:語音識別、自然語言理解、自然語言生成。本次報告結合NLP的最新突破,分別剖析不同領域的研究進展,并對未來的研究方向作出簡單概述。
邀請嘉賓:Christopher Manning,SAIL 新任負責人,于1989年在澳大利亞國立大學取得三個學士學位(數學、計算機和語言學),并于 1994 年獲得斯坦福大學語言學博士學位。 他曾先后在卡內基梅隆大學、悉尼大學等任教,1999 年回到母校斯坦福,就職于計算機科學和語言學系,是斯坦福自然語言處理組(Stanford NLP Group)的創始成員及負責人。重返斯坦福之后,他一待就是 19 年。
Manning 的研究目標是以智能的方式實現人類語言的處理、理解及生成,研究領域包括樹形 RNN 、情感分析、基于神經網絡的依存句法分析、神經機器翻譯和深度語言理解等,是一位 NLP 領域的深度學習開拓者。他是國際計算機學會 (ACM)、國際人工智協會(AAAI)、國際計算語言學會(ACL)等國際權威學術組織的 Fellow,曾獲 ACL、EMNLP、COLING、CHI 等國際頂會最佳論文獎,著有《統計自然語言處理基礎》、《信息檢索導論》等自然語言處理著名教材。
報告主題:智能客服在騰訊游戲的實踐
報告摘要:智能客服在各行各業都得到了較為廣泛的應用。在騰訊,智能客服技術在游戲領域的應用是實現「AI+社交」功能的一個重要方面,以1v1擬人對話形式,集攻略、資訊和功能于一身,提升了玩家體驗。目前此技術已覆蓋了騰訊內部90%的五星與六星游戲產品,為億級用戶提供服務,玩家滿意度高達91.6%。針對本次論壇主題“社交機器人”,報告人將介紹騰訊在游戲場景下的智能客服中的相關技術。
嘉賓簡介:唐國華,騰訊AI平臺部智能客服方向技術負責人,2012年畢業于哈爾濱工業大學社會計算與信息檢索研究中心。現在騰訊AI平臺部負責及參與智能客服、推薦系統、游戲AI等項目的研發。
論壇嘉賓:楊成 北京郵電大學 助理教授
報告主題:圖神經網絡在自然語言處理領域的前沿應用
報告摘要:很多真實世界的應用場景需要處理包含著元素間豐富關系信息的圖形式的數據。在例如物理系統建模、化學分子功能預測等領域中,數據都擁有顯式的圖結構;而在另一些例如文本的非結構數據中,如何從數據中抽取推理并利用如句法樹等結構信息,也是相關領域中重要的研究方向。圖神經網絡可以通過節點間的信息傳遞(message passing)有效地捕捉結構信息。自該概念提出以來,圖神經網絡技術已經在自然語言處理、數據挖掘等多個領域得到了廣泛的應用。本報告將重點介紹圖神經網絡技術在自然語言處理領域的前沿應用。
嘉賓簡介:楊成,博士,北京郵電大學計算機學院助理教授,2019年7月畢業于清華大學計算機科學與技術系,從事自然語言處理與社會計算相關方向的研究,博士期間在國內外頂級期刊會議上發表多篇論文,Google Scholar累計獲得引用近500次,并擔任國內外頂級會議包括ACL、EMNLP、SMP等在內的程序委員會成員和期刊的審稿人。