摘要: 近年來,隨著深度學習的快速發展,面向自然語言處理領域的預訓練技術獲得了長足的進步。早期的自然語言處理領域長期使用Word2Vec等詞向量方法對文本進行編碼,這些詞向量方法也可看作靜態的預訓練技術。然而,這種上下文無關的文本表示給其后的自然語言處理任務帶來的提升非常有限,并且無法解決一詞多義問題。ELMo提出了一種上下文相關的文本表示方法,可有效處理多義詞問題。其后,GPT和BERT等預訓練語言模型相繼被提出,其中BERT模型在多個典型下游任務上有了顯著的效果提升,極大地推動了自然語言處理領域的技術發展,自此便進入了動態預訓練技術的時代。此后,基于BERT的改進模型、XLNet等大量預訓練語言模型不斷涌現,預訓練技術已成為自然語言處理領域不可或缺的主流技術。文中首先概述預訓練技術及其發展歷史,并詳細介紹自然語言處理領域的經典預訓練技術,包括早期的靜態預訓練技術和經典的動態預訓練技術;然后簡要梳理一系列新式的有啟發意義的預訓練技術,包括基于BERT的改進模型和XLNet;在此基礎上,分析目前預訓練技術研究所面臨的問題;最后對預訓練技術的未來發展趨勢進行展望。
題目: 基于深度學習的主題模型研究
摘要: 主題模型作為一個發展二十余年的研究問題,一直是篇章級別文本語義理解的重要工具.主題模型善于從一組文檔中抽取出若干組關鍵詞來表達該文檔集的核心思想,因而也為文本分類、信息檢索、自動摘要、文本生成、情感分析等其他文本分析任務提供重要支撐.雖然基于三層貝葉斯網絡的傳統概率主題模型在過去十余年已被充分研究,但隨著深度學習技術在自然語言處理領域的廣泛應用,結合深度學習思想與方法的主題模型煥發出新的生機.研究如何整合深度學習的先進技術,構建更加準確高效的文本生成模型成為基于深度學習主題建模的主要任務.本文首先概述并對比了傳統主題模型中四個經典的概率主題模型與兩個稀疏約束的主題模型.接著對近幾年基于深度學習的主題模型研究進展進行綜述,分析其與傳統模型的聯系、區別與優勢,并對其中的主要研究方向和進展進行歸納、分析與比較.此外,本文還介紹了主題模型常用公開數據集及評測指標.最后,總結了主題模型現有技術的特點,并分析與展望了基于深度學習的主題模型的未來發展趨勢。
摘要: 線條畫作為一種簡單而有效的視覺傳達手段,通過突出主要的細節特征,使得人們可以快速地獲得主要信息;同時,風格線條畫作為一種藝術形式,讓人們能夠快速欣賞和理解其藝術特征。文中對線條畫的生成方法進行了綜述與分析。線條畫生成技術可以分為基于2D圖像的方法與基于3D模型的方法。其中,基于2D圖像的線條畫生成技術包括樣本學習方法、非樣本學習的數據驅動方法與非數據驅動方法;基于3D模型的線條畫生成技術包括圖像空間方法、對象空間方法以及兩者的混合方法。通過介紹與分析各種方法并對比分析其優缺點,總結了線條畫生成技術現階段存在的問題及其可能的解決方案,并在此基礎上對線條畫生成的未來發展趨勢進行了展望。
【導讀】這一份最新216頁的ppt概述《深度學習自然語言處理》,包括神經網絡基礎,詞向量表示,序列句子表示,分類標注、生成句子,預訓練。
自然語言處理(NLP)幫助智能機器更好地理解人類語言,實現基于語言的人機交流。計算能力的最新發展和大量語言數據的出現,增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域的應用取得了顯著的進步,數據驅動策略的應用已經非常普遍。本調查對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用,并描述了深度學習方法和模型如何推進這些領域。我們進一步分析和比較不同的方法和最先進的模型。
題目: A Survey of Deep Learning Techniques for Neural Machine Translation
摘要: 近年來,隨著深度學習技術的發展,自然語言處理(NLP)得到了很大的發展。在機器翻譯領域,出現了一種新的方法——神經機器翻譯(NMT),引起了學術界和工業界的廣泛關注。然而,在過去的幾年里提出的大量的研究,很少有人研究這一新技術趨勢的發展過程。本文回顧了神經機器翻譯的起源和主要發展歷程,描述了神經機器翻譯的重要分支,劃分了不同的研究方向,并討論了未來該領域的一些研究趨勢。
摘要 : 零樣本圖像分類指訓練集和測試集在數據的類別上沒有交集的情況下進行圖像分類 . 該技術 是解決類別標簽缺失問題的一種有效手段 , 因此受到了日益廣泛的關注 . 自提出此問題至今 , 零樣本 圖像分類的研究已經大致有十年時間 . 本文系統地對過去十年中零樣本圖像分類技術的研究進展進行 了綜述 , 主要包括以下 4 個方面 . 首先介紹零樣本圖像分類技術的研究意義及其應用價值 , 然后重點 總結和歸納零樣本圖像分類的發展過程和研究現狀 , 接下來介紹常用的數據集和評價準則 , 以及與零 樣本學習相關的技術的區別和聯系 , 最后分析有待深入研究的熱點與難點問題 , 并對未來的發展趨勢 進行了展望 .
關鍵詞: 零樣本圖像分類 , 屬性 , 詞向量 , 跨模態映射 , 領域適應學習
在過去的幾年里,自然語言處理領域由于深度學習模型的大量使用而得到了發展。這份綜述提供了一個NLP領域的簡要介紹和一個快速的深度學習架構和方法的概述。然后,篩選了大量最近的研究論文,并總結了大量相關的貢獻。NLP研究領域除了計算語言學的一些應用外,還包括幾個核心的語言處理問題。然后討論了目前的技術水平,并對該領域今后的研究提出了建議。
人機對話系統能夠讓機器通過人類語言與人進行交互,是人工智能領域的一項重要工作。因其在虛擬助手和社交聊天機器人等領域的商業價值而廣受工業界和學術界的關注。近年來,互聯網社交數據快速增長促進了數據驅動的開放領域對話系統研究,尤其是將深度學習技術應用到其中取得了突破性進展。基于深度學習的開放領域對話系統使用海量社交對話數據,通過檢索或者生成的方法建立對話模型學習對話模式。將深度學習融入檢索式系統中研究提高對話匹配模型的效果,將深度學習融入生成式系統中構建更高質量的生成模型,成為了基于深度學習的開放領域對話系統的主要任務。本文對近幾年基于深度學習的開放領域對話系統研究進展進行綜述,梳理、比較和分析主要方法,整理其中的關鍵問題和已有解決方案,總結評測指標,展望未來研究趨勢。