報告主題: 多模態--基于視覺的跨模態文本生成
報告摘要: 此次報告主要講述了多模態中基于視覺的跨模態文本生成,首先介紹了語言-視覺的跨模態任務,并提出了視覺的語義表示、視覺-語言的跨模態對齊等研究問題及其相關解決方案,然后介紹了幾種基于視覺的文本生成方法以及基于視覺的文本生成的其他關注點,最后提出了對未來的一些看法。
邀請嘉賓: 魏忠鈺,博士,復旦大學副教授。主要研究領域為自然語言處理,機器學習和社會媒體處理,專注于自動化文本生成、論辯挖掘和交叉學科應用研究。于哈爾濱工業大學獲得學士和碩士學位,于香港中文大學獲得博士學位,2015-2016年于美國德州大學達拉斯分校從事博士后工作,現任中文信息學會社交媒體處理專委會常務委員兼秘書,中國中文信息學會青年工作委員會委員。在自然語言處理、人工智能領域的國際會議、期刊如CL,ACL,SIGIR,EMNLP,AAAI,IJCAI, Bioinformatics等發表學術論文40余篇。擔任多個重要國際會議及期刊評審。獲得2017年度上海市青年揚帆計劃,2019年度全國社會媒體處理大會新銳獎。
社交媒體是人們用來創作、分享、交流意見、觀點及經驗 的網絡平臺。社交媒體已經涉及到現代人生活的方方面面, 成為信息傳播和維系社會關系的重要渠道。而文本是社交 媒體交流的主要載體。
情感分析是一種重要的信息組織方式,研究的目標是自動挖掘 和分析文本中的立場、觀點、看法、情緒和喜惡等主觀信息。 其一般的研究框架包含情感抽取、分類、檢索與歸納等任務。
主要內容:
作者介紹: 王偉平,博士,主要研究方向:數據庫、海量數據處理。分別于1997年、2001年和2006年獲得哈爾濱工業大學計算機科學與工程學院學士、碩士和博士學位。2002年7月至9月在香港理工大學訪問學習,2005年7月至12月在新加坡國立大學訪問學習。2007年6月至今,在高性能計算機研究開發中心工作,任并行數據組項目組長。負責國家自然科學基金青年基金項目、國家信息安全專項項目、國家242信息安全計劃項目多項,發表論文20余篇。曾獲得2004年度國家科技進步二等獎(排名第9),2008年度計算所優秀員工,2008年入選計算所“百星計劃”。
報告主題: 表示學習--自然語言處理中的圖神經網絡(Graph Neural Networks in NLP)
報告摘要: 圖神經網絡可以通過節點間的信息傳遞有效地捕捉結構信息。自該概念提出以來,圖神經網絡技術已經在自然語言處理、數據挖掘等多個領域得到了廣泛的應用。此次報告講述了自然語言處理中的圖神經網絡,首先介紹了幾種自然語言處理中的圖形結構并提出了一些在自然語言處理中所遇到的圖形問題,然后介紹了圖形表示的三種主要模型以及使用圖形編碼解決問題:神經機器翻譯、文本生成、問題回答、信息提取、情緒、社會分類、語義分析、語義角色標記、單詞嵌入、句子表示。
邀請嘉賓: 張岳,博士,西湖大學長聘副教授。研究領域包括自然語言處理和計算金融。2003年于清華大學獲得計算機科學學士學位,2006年于英國牛津大學獲得計算機科學碩士學位,2009年于英國牛津大學獲得計算機科學博士學位,2010年-2012年在英國劍橋大學從事博士后研究,2012年-2018年在新加坡科技與設計大學擔任助理教授。目前已在國際、國內頂級學術會議上發表論文百余篇,曾獲得IALP 2017和COLING 2018最佳論文獎、NLPCC青年新銳獎,且他的研究成果持續被谷歌、阿里巴巴、美國教育考試服務中心(ETS)等頂尖企業應用于工業生產前線。擔任Transactions of ACL執行主編,ACM Transactions on Asian and Low Resource Language Information Processing副主編,IEEE Transactions on Big Data副主編,以及COLING 2014/18,NAACL 2015/19,EMNLP 2015/17/19,ACL 2017/18/19等國際學會會議的區域主席。
報告主題: Text Generation: From the Perspective of Interactive Inference
報告摘要: 機器翻譯、文本摘要和圖片描述等文本生成任務近年來受到越來越多的關注。然而,在文本生成任務中,我們看到幾乎所有方法仍采用自左往右的推斷模式,缺乏與自右往左推斷的交互,限制了其對未來信息的開發和利用;此外, 在多語言翻譯或多語言圖片描述生成中,將同一個文本或圖片自動轉換為不同語言的文本時,不同語言的生成過程是相互獨立的,推斷過程缺乏交互,限制了語言間信息的共享和利用。這個報告首先介紹文本生成的基本范式,然后著重介紹同步雙向交互推斷的思想,并拓展泛化為通用的交互式推斷方法,介紹在(多語言)機器翻譯、文本摘要和圖片描述生成等任務上的應用。最后,展望文本生成中交互式推斷的難點和未來方向。
邀請嘉賓: 張家俊 博士,中科院自動化所模式識別國家重點實驗室副研究員。研究方向為自然語言處理和機器翻譯等。擔任中國中文信息學會機器翻譯專委會副主任等學術職務。在著名期刊與會議發表學術論文70余篇,曾四次獲得自然語言處理學 術會議最佳論文獎。被ACL-IJCNLP-2015、NAACL-2018和IJCAI-2018評為杰出審稿人和杰出高級程序委員會委員。2014年和2018年分別獲中國中文信息學會“錢偉長中文信息處理科學技術獎”一等獎(排名第三)和漢王青年創新獎一等獎。2015年入選首屆中國 科協“青年人才托舉工程”計劃。擔任COLING-2018和EMNLP-2019的領域主席和國際人工智能大會IJCAI (2017-2019)和AAAI (2019-2020)的高級程序委員會委員等。
報告主題: 語言與視覺多模態智能的進展
報告摘要: 基于近年來深度學習技術對語音,語言,視覺等子領域的推動,在語言和視覺跨模態交叉學科領域我們也取得了很多激動人心的進展,包括跨語言與圖像的理解、推理和生成。具體而言,語言與視覺多模態智能的研究可分為多個層次,包括從底層的多模態表征學習,到上層的語言和視覺表征的融合與對應,再到更上層的應用比如圖像描述、視覺問答、文字到圖像合成等。同時各個層次的模型并不是萬卻獨立,而往往是通過端到端的訓練聯合優化的。在報告中我將結合經典的語言與視覺多模態應用介紹跨語言和視覺的語義表示建模及跨模態信息融合。同時,我還將探討多模態智能中的可解釋性和可控性問題。最后,對多模態智能未來的突破進行了展望。
邀請嘉賓: 何曉冬博士是京東人工智能研究院常務副院長,深度學習及語音和語言實驗室的負責人。他還在華盛頓大學(西雅圖)、香港中文大學(深圳)、同濟大學、及中央美術學院任兼職教授和榮譽教授。在加入京東集團之前,他曾擔任微軟雷德蒙德研究院深度學習技術中心的首席研究員和負責人。他的研究主要集中在人工智能領域,包括深度學習,自然語言處理,語音識別,計算機視覺,信息檢索和多模態智能。他與合作者在這些領域發表了100多篇論文,谷歌學術統計引用數超過13000次,并多次獲得優秀論文獎及贏得重要的人工智能方面大賽。他與合作者發明的深層結構化語義模型(DSSM/C-DSSM),分層注意力網絡(HAN),CaptionBot,SAN,AttnGAN,BUTD Attention等廣泛應用于語言,視覺,IR和人機對話等任務。基于其在自然語言和視覺技術及多模態信息處理方面的貢獻,他于2018年入選IEEE Fellow。
報告主題:NLP、多模態智能和機器學習
報告摘要:自然語言處理在未來可能會從文本創作、情感智能、多模態智能和對話智能等多個方向突破。首先是對于長文本內容的創作,要具備寫作邏輯。人工智能需要確立一個模型,使得主題、子主題的結構可以展開,并且能夠在模型上得到體現,最后才能真正寫出一篇前后邏輯嚴謹,有意義的文章。其次是要理解用戶的情感,知道用戶的訴求,生成共情的對話,配合情感進行相應表達。同時,多模態學習也是一個新興的領域,包括從基礎大跨模態語義表征學習,比如語言-視覺多模態預訓練,到多模態知識獲取和知識推理,再到多模態智能的應用,比如圖像到文字描述、文本到圖像生成、視覺-文本回答、語言=視覺導航等等。多模態智能技術獎之前各個子領域的相對孤立的研究進行融合,并將驅動一系列新技術的研究。
邀請嘉賓:何曉冬,京東集團技術副總裁,IEEE Fellow,京東人工智能研究員常務副院長,深度學習及語音和語言實驗室的負責人,并擔任華盛頓大學(西雅圖)、香港中文大學(深圳)和同濟大學兼職教授,及中央美術學院榮譽教授。曾在IEEE、ACM、ACL、AAAI等學會的期刊和學術會議擔任編委、組委或領域主席,主要從事人工智能領域,包括深度學習、自然語言處理、語音識別、計算機視覺、信息檢索和多模態智能等方面的研究。