論文題目:大規模結構化知識的 表示學習、自動獲取與計算應用
論文作者:林衍凱,騰訊微信模式識別中心高級研究員。博士畢業于來自清華大學自然語言處理組, 由孫茂松教授和劉知遠副教授共同指導,主要研究方向為知識圖譜表示、構建和應用。目前已在人工智能、自然語言處理等領域的著名國際會議IJCAI,AAAI,EMNLP,ACL發表相關論文多篇,Google Scholar引用數超過1400。曾獲2017年百度獎學金、2018年清華大學學術新秀。
指導老師:孫茂松,教授,博士生導師,曾任清華大學計算機科學與技術系系主任,現任教育部在線教育研究中心副主任、清華大學計算機系黨委書記、清華大學大規模在線開放教育研究中心主任。
論文摘要:知識圖譜是人工智能研究和智能信息服務基礎核心技術,能夠賦予智能體精 準查詢、深度理解與邏輯推理等能力。目前,基于深度學習的自然語言處理技術只 能從數據中機械地學習完成特定任務的語義模式,不具備魯棒性和可解釋性,做 不到對語言的深層理解與推理。我們認為要想實現真正的自然語言理解,需要在 現有深度學習技術的基礎上融合知識圖譜信息。實現自然語言處理與知識圖譜的 融合并非輕而易舉,需要解決幾個關鍵問題: (1)知識表示。在深度學習模型中充分利用大規模知識圖譜,需要首先解決知 識圖譜表示的問題。在這方面,我的工作包括:a. 考慮知識圖譜復雜關系的知識 表示:我們提出了基于映射矩陣進行空間投影的知識圖譜表示模型,用于處理知 識圖譜中的復雜關系。b. 考慮知識圖譜復雜路徑的知識表示:我們認為實體之間 多步的關系路徑同樣包含著豐富的關系推理信息,并提出了一種基于路徑表示的 知識圖譜表示模型。c. 考慮知識圖譜復雜屬性的知識表示:我們提出了一種同時 學習知識圖譜中實體、關系和特性表示的知識圖譜表示模型,以提高知識圖譜表 示的質量。 (2)知識獲取。如何從互聯網大規模的結構化、半結構和無結構數據中自動獲 取知識,輔以少量人工校驗,是大規模知識圖譜構建的必由之路。在這方面,我的 工作包括:a. 基于選擇注意力機制的關系抽取:針對遠程監督數據中存在大量的 噪音的問題,我們提出了一個基于句子級別選擇注意力機制的神經網絡關系抽取 模型,用于過濾錯誤標注的句子。b. 基于多語言注意力機制的關系抽取:現有的 關系抽取系統通常專注于如何更好地利用單語言數據,忽略了多語言數據對于關 系抽取任務的幫助。針對這個問題,我們提出了一個基于多語言選擇注意力機制 的關系抽取模型。 (3)知識應用。面向不同自然語言處理任務,我們需要探索將知識合理地融合 到該任務下的深度學習模型中,實現知識指導的自然語言理解。在這方面,我的 工作包括:a. 基于知識的實體分類:我們提出了基于知識注意力機制的實體分類 模型,用于考慮命名實體和上下文之間的聯系以及知識圖譜中豐富的有關信息。b. 基于知識的開放域問答:我們借鑒人類回答問題的模式提出了一個基于 ‘‘粗讀-精 讀-總結’’ 模式的開放域問答系統。 我們的工作有效地解決了面向知識圖譜的知識表示、知識獲取、知識應用中 的關鍵問題,為邁向真正的自然語言理解打下了堅實的基礎。
題目: 基于知識智能的機器人技能學習
摘要: 人類的進化過程中,伴隨的操作任務越來越復雜,對靈巧性要求也越來越高,這個過程也改變和進化了大腦結構,促進了認知語言和知識的發展,增強了人類的智能。人手的操作是智能的直接體現,是人類進化的驅動力。靈巧手對機器人的同樣重要,可以說機器人的智能革命是從手的靈巧操作開始的。本報告面向機器人的主動技能學習,重點討論了操作示范與技能傳授、巧操作技能的運動規劃與協調控制、操作技能的多層次知識化表達、操作數據/知識庫和基于知識智能的多任務操作技能遷移學習與技能增強。最后,討論了機器人靈巧操作的未來發展。
個人簡介: 清華大學計算機科學與技術系教授,博士生導師,IEEE/CAAI Fellows, 國家杰出青年基金獲得者;兼任清華大學校學術委員會委員,計算機科學與技術系學術委員會主任,智能技術與系統國家重點實驗室常務副主任。兼任中國人工智能學會副理事長,中國自動化學會常務理事,國家重點研發計劃機器人總體專家組成員,國際刊物《Cognitive Computation and Systems》主編,國際刊物《IEEE Trans. on Cognitive and Developement Systems》,《IEEE Trans. on Systems, Man and Cybernetics: Systems》和《International Journal of Control, Automation, and Systems (IJCAS)》副主編或領域主編,國內刊物《中國科學:F輯》和《自動化學報》編委。
論文題目:富信息網絡表示學習及典型應用問題研究
論文作者:楊成,博士,北京郵電大學計算機學院助理教授,2019年7月畢業于清華大學計算機科學與技術系,從事自然語言處理與社會計算相關方向的研究,博士期間在國內外頂級期刊會議上發表多篇論文,Google Scholar累計獲得引用近500次,并擔任國內外頂級會議包括ACL、EMNLP、SMP等在內的程序委員會成員和期刊的審稿人。
指導老師:孫茂松,教授,博士生導師,曾任清華大學計算機科學與技術系系主任,現任教育部在線教育研究中心副主任、清華大學計算機系黨委書記、清華大學大規模在線開放教育研究中心主任。
論文摘要:網絡是表達對象與對象間關系的常用數據形式,在人們的日常生活與工作學 習中無處不在。除去網絡的拓撲結構信息之外,真實的網絡數據中一般還包含著 根據節點的屬性、行為等產生的豐富信息,統稱為富信息網絡。隨著互聯網技術 和移動智能設備的發展,富信息網絡的數據規模飛速增長,并帶來了豐富的應用 任務和巨大的市場價值。在富信息網絡數據的規模及其相關應用的研究需求日益 增長的同時,數據驅動的深度學習技術已經在計算機視覺、自然語言處理等多個 領域取得了巨大的成功。如何讓已經在多個領域展示出其有效性的機器學習,特 別是深度學習技術,服務于富信息網絡數據及其典型應用已經在近年來成為人工 智能領域的研究熱點。 傳統的鄰接矩陣形式的網絡表示具有維度過高和數據稀疏兩大缺點,使得研 究者們無法在網絡數據上應用機器學習和深度學習技術。因此,研究者們轉而將 網絡中的節點編碼為低維稠密的向量表示,稱為網絡表示或者網絡嵌入。為網絡 中的節點學習其向量表示的任務稱為網絡表示學習。本文針對現有的網絡表示學 習工作的缺點和不足,系統性地進行了以下五個工作: 針對缺乏對于已有網絡表示學習算法的理論分析的問題,本文提出了網絡表 示學習的統一框架和增強算法。本工作將大多數現有的只考慮拓撲結構信息的網 絡表示學習方法總結為一個統一的兩步框架:鄰近度矩陣構造和降維,并進一步 提出了網絡嵌入更新(NEU)算法,該算法從理論上隱含地近似了高階鄰近度,可 以應用于已有網絡表示學習方法以提高它們的性能。 針對現有網絡表示學習方法忽略了網絡拓撲結構以外的豐富信息的問題,本 文提出了結合富特征信息的網絡表示學習。受前一工作中得到的最先進的網絡表 示學習算法實際上等同于一種特殊的矩陣分解的結論的啟發,該工作以文本特征 為例,在矩陣分解的框架下將節點的特征信息結合到網絡表示學習中。 針對現有網絡表示學習方法難以應用于相對復雜的典型應用問題的缺點,本 文以網絡表示學習技術作為模型底層,并根據特定的富信息網絡場景利用包括循 環神經網絡、卷積神經網絡在內的深度學習模型進行建模,在推薦系統和傳播預 測兩個富信息網絡典型應用問題中,創新性地提出了基于位置的社交網絡的推薦 系統、微觀層面的信息傳播預測和多層面的信息傳播預測的應用模型。
報告主題:知識指導的自然語言處理
報告摘要:近年來深度學習技術席卷自然語言處理(NLP)各大領域。作為典型的數據驅動方法,深度學習面臨可解釋性不強等難題,如何將人類積累的大量語言知識和世界知識引入深度學習模型,是改進NLP深度學習模型性能的重要方向,同時也面臨很多挑戰。本報告將介紹知識指導的自然語言處理的最新進展與趨勢。
邀請嘉賓:林衍凱,騰訊微信模式識別中心高級研究員。博士畢業于來自清華大學自然語言處理組, 由孫茂松教授和劉知遠副教授共同指導,主要研究方向為知識圖譜表示、構建和應用。目前已在人工智能、自然語言處理等領域的著名國際會議IJCAI,AAAI,EMNLP,ACL發表相關論文多篇,Google Scholar引用數超過1400。曾獲2017年百度獎學金、2018年清華大學學術新秀。
論文題目: 漢語復合名詞短語語義關系知識庫構建與自動識別研究
論文摘要: 漢語復合名詞短語因其使用范圍廣泛、結構獨特、內部語義復雜的特點,一直是語言學分析和中文信息處理領域的 重要研究對象。國內關于復合名詞短語的語言資源極其匱乏,且現有知識庫只研究名名復合形式的短語,包含動詞的復合名詞短 語的知識庫構建仍處于空白階段,同時現有的復合名詞短語知識庫大部分脫離了語境,沒有句子級別的信息。針對這一現狀,該文從多個領域搜集語料,建立了一套新的語義關系體系標注,構建了一個具有相當規模的帶有句子信息的復合名詞語義關系知識庫。該庫的標注重點是標注句子中復合名詞短語的邊界以及短語內部成分之間的語義關系,總共收錄 27007 條句子。該文對標注后的知識庫做了詳細的計量統計分析。最后基于標注得到的知識庫,該文使用基線模型對復合名詞短語進行了自動定界和語義分類實驗,并對實驗結果和未來可能的改進方向做了總結分析。
作者簡介: 邵艷秋,女,博士,北京語言大學信息科學學院教授,博士導師。研究方向為自然語言處理。2006年博士畢業于哈爾濱工業大學計算機科學與技術學院。2009年北京大學計算語言學研究所博士后流動站出站。中國中文信息學會計算語言學專業委員會委員。近年來,主持國家自然科學基金、教育部人文社科基金、國家語委“十二五”科研規劃重點項目,博士后科學基金、校內重大專項等課題,入選北京語言大學中青年骨干基金支持計劃。在國內外會議和期刊上發表論文50余篇。曾獲黑龍江省科學技術二等獎、黑龍江省高校科學技術二等獎、北京大學信息科學技術學院優秀博士后一等獎等獎項。等
awesome-taxonomy