報告主題: Text Generation: From the Perspective of Interactive Inference
報告摘要: 機器翻譯、文本摘要和圖片描述等文本生成任務近年來受到越來越多的關注。然而,在文本生成任務中,我們看到幾乎所有方法仍采用自左往右的推斷模式,缺乏與自右往左推斷的交互,限制了其對未來信息的開發和利用;此外, 在多語言翻譯或多語言圖片描述生成中,將同一個文本或圖片自動轉換為不同語言的文本時,不同語言的生成過程是相互獨立的,推斷過程缺乏交互,限制了語言間信息的共享和利用。這個報告首先介紹文本生成的基本范式,然后著重介紹同步雙向交互推斷的思想,并拓展泛化為通用的交互式推斷方法,介紹在(多語言)機器翻譯、文本摘要和圖片描述生成等任務上的應用。最后,展望文本生成中交互式推斷的難點和未來方向。
邀請嘉賓: 張家俊 博士,中科院自動化所模式識別國家重點實驗室副研究員。研究方向為自然語言處理和機器翻譯等。擔任中國中文信息學會機器翻譯專委會副主任等學術職務。在著名期刊與會議發表學術論文70余篇,曾四次獲得自然語言處理學 術會議最佳論文獎。被ACL-IJCNLP-2015、NAACL-2018和IJCAI-2018評為杰出審稿人和杰出高級程序委員會委員。2014年和2018年分別獲中國中文信息學會“錢偉長中文信息處理科學技術獎”一等獎(排名第三)和漢王青年創新獎一等獎。2015年入選首屆中國 科協“青年人才托舉工程”計劃。擔任COLING-2018和EMNLP-2019的領域主席和國際人工智能大會IJCAI (2017-2019)和AAAI (2019-2020)的高級程序委員會委員等。
題目: TENER: Adapting Transformer Encoder for Named Entity Recognition
摘要:
雙向長短時記憶網絡(BiLSTM)在解決命名實體識別(NER)任務的模型編碼中得到了廣泛的應用。近年來,轉換器以其并行性和優越的性能被廣泛應用于各種自然語言處理(NLP)任務中。然而,在NER中變壓器的性能不如在其它NLP任務中。在本文中,我們提出了一種采用自適應變壓器編碼器對字符級特征和字級特征進行建模的NER結構TENER。通過結合方向感知、相對距離感知和非尺度感知,證明了該編碼器與其它NLP任務一樣有效。
作者:
邱錫鵬,復旦大學計算機科學技術學院副教授,博士生導師。于復旦大學獲得理學學士和博士學位。主要從事自然語言處理、深度學習等方向的研究,在ACL、EMNLP、AAAI、IJCAI等計算機學會A/B類期刊、會議上發表50余篇學術論文,引用 1900余次。開源中文自然語言處理工具FudanNLP作者,FastNLP項目負責人。2015年入選首屆中國科協人才托舉工程,2017年ACL杰出論文獎,2018年獲中國中文信息學會“錢偉長中文信息處理科學技術獎—漢王青年創新獎”。
報告簡介: 自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理是一門融語言學、計算機科學、數學于一體的科學。因此,這一領域的研究將涉及自然語言,即人們日常使用的語言,所以它與語言學的研究有著密切的聯系,但又有重要的區別。如何用好自然語言處理,讓機器明白文字,讀懂文字,自言語言處理已經應用在不同的領域,如推薦系統、醫療問答、機器翻譯等。
嘉賓介紹: 劉知遠,清華大學計算機系副教授、博士生導師。主要研究方向為表示學習、知識圖譜和社會計算。2011年獲得清華大學博士學位,已在ACL、IJCAI、AAAI等人工智能領域的著名國際期刊和會議發表相關論文60余篇,Google Scholar統計引用超過2700次。承擔多項國家自然科學基金。曾獲清華大學優秀博士學位論文、中國人工智能學會優秀博士學位論文、清華大學優秀博士后、中文信息學會青年創新獎,入選中國科學青年人才托舉工程、CCF-Intel青年學者提升計劃。擔任中文信息學會青年工作委員會執委、副主任,中文信息學會社會媒體處理專委會委員、秘書,SCI期刊Frontiers of Computer Science青年編委,ACL、COLING、IJCNLP領域主席。
報告主題: 機器翻譯前沿綜述
報告摘要: 機器翻譯利用計算機將一種自然語言(源語言)轉換為另一種自然語言(目標語言)的過程。它是計算語言學的一個分支,是人工智能的終極目標之一,具有重要的科學研究價值。同時,機器翻譯又具有重要的實用價值。隨著經濟全球化及互聯網的飛速發展,機器翻譯技術在促進政治、經濟、文化交流等方面起到越來越重要的作用。
邀請嘉賓: 馮洋,博士,中國科學院計算技術研究所“新百星人才引進計劃”入選者,副研究員、博士生導師,主要研究方向為機器翻譯和人機對話。在中科院計算所獲得博士學位后,先后在謝菲爾德大學和USC/ISI開展研究工作。在ACL、EMNLP、COLING、NAACL等自然語言處理主流學術會議上發表論文40余篇,獲得ACL 2019最佳長文獎,為國內迄今唯一獲獎。多次在NIST、IWSLT、CWMT等國內外權威機器翻譯評測中獲得第一名。擔任COLING 2018領域主席,并擔任CCL 2018、2019學生研討會主席、CCMT 2019研討會主席。
報告主題: 多模態--基于視覺的跨模態文本生成
報告摘要: 此次報告主要講述了多模態中基于視覺的跨模態文本生成,首先介紹了語言-視覺的跨模態任務,并提出了視覺的語義表示、視覺-語言的跨模態對齊等研究問題及其相關解決方案,然后介紹了幾種基于視覺的文本生成方法以及基于視覺的文本生成的其他關注點,最后提出了對未來的一些看法。
邀請嘉賓: 魏忠鈺,博士,復旦大學副教授。主要研究領域為自然語言處理,機器學習和社會媒體處理,專注于自動化文本生成、論辯挖掘和交叉學科應用研究。于哈爾濱工業大學獲得學士和碩士學位,于香港中文大學獲得博士學位,2015-2016年于美國德州大學達拉斯分校從事博士后工作,現任中文信息學會社交媒體處理專委會常務委員兼秘書,中國中文信息學會青年工作委員會委員。在自然語言處理、人工智能領域的國際會議、期刊如CL,ACL,SIGIR,EMNLP,AAAI,IJCAI, Bioinformatics等發表學術論文40余篇。擔任多個重要國際會議及期刊評審。獲得2017年度上海市青年揚帆計劃,2019年度全國社會媒體處理大會新銳獎。
報告主題: 預訓練模型--自然語言處理的新范式
報告摘要: 傳統的有監督自然語言處理模型依賴大規模的人工標注訓練數據,這些數據標注代價非常高,因此規模有限,這也限制了自然語言處理系統進一步提升精度。以Word2vec,GloVe等為代表的詞向量技術可以視為一種早期的預訓練模型, 從大規模未標注文本中預訓練的詞向量,在一定程度上提高了上層模型的精度。然而,這些模型假設“一個詞由唯一的向量表示”,忽略了它們在不同上下文下的差異。以ELMo為代表的上下文相關詞向量模型取消了以上的假設,在不同的上下文環境下,賦予相 同的詞以不同的詞向量,因此又被稱為“動態”詞向量。BERT等模型進一步使用更深層的網絡進行預訓練,并使用了語言模型之外的預訓練目標,在應用模式上也從簡單的特征提取轉換為精調整個網絡結構。這些新的預訓練模型在眾多自然語言處理任務上取得 了很好的效果,已成為自然語言處理的新范式。本報告首先介紹預訓練模型的演化過程,接著介紹預訓練模型在應用方面的最新研究進展,另外還列舉了一些對預訓練模型進行定性和定量分析的工作,最后對自然語言處理中預訓練模型的發展趨勢進行了展望。
邀請嘉賓: 車萬翔 博士,哈爾濱工業大學計算機學院教授,博士生導師,斯坦福大學訪問學者,合作導師Christopher Manning教授。現任中國中文信息學會計算語言學專業委員會委員、青年工作委員會副主任;中國計算機學會高級會員、曾任 YOCSEF哈爾濱主席(2016-2017年度)。在ACL、EMNLP、AAAI、IJCAI等國內外高水平期刊和會議上發表學術論文50余篇,其中AAAI 2013年的文章獲得了最佳論文提名獎,論文累計被引用2,100余次(Google Scholar數據),H-index值為26。出版教材 2 部,譯 著 2 部。承擔國家自然科學基金、973等多項科研項目。負責研發的語言技術平臺(LTP)已被600余家單位共享,提供的在線“語言云”服務已有用戶1萬余人,并授權給百度、騰訊、華為等公司使用。2018年,獲CoNLL多語種句法分析國際評測第1名。2015-16年, 連續兩年獲Google Focused Research Award(谷歌專注研究獎);2016年,獲黑龍江省科技進步一等獎(排名第2);2012年,獲黑龍江省技術發明獎二等獎(排名第2);2010年獲中國中文信息學會“錢偉長”中文信息處理科學技術獎一等獎(排名第2)、首屆 漢王青年創新獎(個人)等多項獎勵。2017年,所主講的《高級語言程序設計(Python)》課程獲國家精品在線開放課程。
報告主題: Frontiers in Network Embedding and GCN
報告摘要: 如今,越來越多的網絡廣泛地用于應用程序中。 眾所周知,網絡數據既復雜又具有挑戰性。 為了有效地處理圖形數據,第一個關鍵挑戰是網絡數據表示,即如何正確表示網絡,以便可以在時間和空間上高效執行高級分析任務,例如模式發現,分析和預測。 在本次演講中,我將介紹網絡嵌入和GCN的最新趨勢和成就,包括解散的GCN,反攻擊GCN以及用于網絡嵌入的自動機器學習。
邀請嘉賓: 崔鵬 清華大學計算機系長聘副教授,博士生導師。研究興趣聚焦于大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域頂級會議發表論文100余篇,先后5次獲得頂級國際會議或期刊論文獎,并先后兩次入選 數據挖掘領域頂級國際會議KDD最佳論文專刊。擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔 尖人才,并當選中國科協全國委員會委員。
報告主題: 生成對抗網絡
報告摘要: 生成對抗網絡(Generative Adversarial Network,GAN)是非監督式學習的一種生成模型,其由一個生成網絡與一個判別網絡組成,通過讓兩個神經網絡相互博弈的方式進行學習。生成網絡從潛在空間(latent space)中隨機取樣 作為輸入,其輸出結果需要盡量模仿訓練集中的真實樣本。判別網絡的輸入則為真實樣本或生成網絡的輸出,其目的是將生成網絡的輸出從真實樣本中盡可能分辨出來。而生成網絡則要盡可能地欺騙判別網絡。兩個網絡相互對抗、不斷調整參數,最終目的 是使判別網絡無法判斷生成網絡的輸出結果是否真實。雖然生成對抗網絡原先是為了無監督學習提出的,它也被證明對半監督學習、監督學習、強化學習同樣有用。本報告主要講述生成對抗網絡的基本原理和最新研究進展。
邀請嘉賓: 復旦大學計算機科學技術學院副教授,博士生導師。于復旦大學獲得理學學士和博士學位。主要從事自然語言處理、深度學習等方向的研究,在ACL、EMNLP、AAAI、IJCAI等計算機學會A/B類期刊、會議上發表50余篇學術論文,引用 1900余次。開源中文自然語言處理工具FudanNLP作者,FastNLP項目負責人。2015年入選首屆中國科協人才托舉工程,2017年ACL杰出論文獎,2018年獲中國中文信息學會“錢偉長中文信息處理科學技術獎—漢王青年創新獎”。
報告主題:任務型對話系統
報告簡介:對話系統一般可以分為兩種,即任務型對話系統(也稱作目標導向型對話系統)和閑聊對話系統。本講習班主要介紹任務型對話系統,其多用于垂直領域業務助理系統,如微軟小娜、百度度秘、阿里小蜜以及我們研發的對話技術平臺(DTP)等。這類系統具有明確需要完成的任務目標,如訂餐、訂票等。我們將首先介紹任務型對話系統的背景和定義,然后依次介紹其中的關鍵技術,包括自然語言理解(包括領域意圖的識別和語義槽的填充)、對話管理(包括對話狀態跟蹤和對話策略優化)以及自然語言生成;接著介紹任務型對話系統的評價方法和國內外相關技術評測任務;最后對任務型對話系統的技術和應用趨勢進行展望。
邀請嘉賓:車萬翔博士,哈爾濱工業大學計算機學院教授,博士生導師,斯坦福大學訪問學者,合作導師Christopher Manning教授。現任中國中文信息學會計算語言學專業委員會委員、青年工作委員會副主任;中國計算機學會高級會員、曾任YOCSEF哈爾濱主席(2016-2017年度)。在ACL、EMNLP、AAAI、IJCAI等國內外高水平期刊和會議上發表學術論文50余篇,其中AAAI 2013年的文章獲得了最佳論文提名獎,論文累計被引用2,100余次(Google Scholar數據),H-index值為26。出版教材 2 部,譯著 2 部。承擔國家自然科學基金、973等多項科研項目。負責研發的語言技術平臺(LTP)已被600余家單位共享,提供的在線“語言云”服務已有用戶1萬余人,并授權給百度、騰訊、華為等公司使用。2018年,獲CoNLL多語種句法分析國際評測第1名。2015-16年,連續兩年獲Google Focused Research Award(谷歌專注研究獎);2016年,獲黑龍江省科技進步一等獎(排名第2);2012年,獲黑龍江省技術發明獎二等獎(排名第2);2010年獲中國中文信息學會“錢偉長”中文信息處理科學技術獎一等獎(排名第2)、首屆漢王青年創新獎(個人)等多項獎勵。2017年,所主講的《高級語言程序設計(Python)》課程獲國家精品在線開放課程。
張偉男,哈爾濱工業大學計算機科學與技術學院副教授/博士。研究興趣包括人機對話及自然語言處理。在ACL、AAAI、IJCAI及IEEE TKDE等CCF A類國際會議及國際頂級期刊發表論文多篇,主導研發了人機對話系統“笨笨”。目前為中國中文信息學會(CIPS)信息檢索專委會委員、青年工作委員會委員,中國人工智能學會(CAAI)青年工作委員會委員。曾獲黑龍江省科技進步一等獎、中國人工智能學會最佳青年成果獎、中國人工智能學會“合創杯”第二屆全國青年創新創業大賽三等獎及首屆“百度獎學金”。
Consistency is a long standing issue faced by dialogue models. In this paper, we frame the consistency of dialogue agents as natural language inference (NLI) and create a new natural language inference dataset called Dialogue NLI. We propose a method which demonstrates that a model trained on Dialogue NLI can be used to improve the consistency of a dialogue model, and evaluate the method with human evaluation and with automatic metrics on a suite of evaluation sets designed to measure a dialogue model's consistency.