亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

哈工大訊飛聯合實驗室（HFL）資深級研究員、研究主管崔一鳴受邀在NLPCC 2020會議做題為《Revisiting Pre-trained Models for Natural Language Processing》的講習班報告（Tutorial），介紹了預訓練語言模型的發展歷程以及近期的研究熱點。本期推送文末提供了報告的下載方式。

NLPCC 2020 Tutorials:

//tcci.ccf.org.cn/conference/2020/tutorials.php

預訓練語言模型(PLM)已經成為最近自然語言處理研究的基本元素。在本教程中，我們將回顧文本表示的技術進展，即從一個熱點嵌入到最近的PLMs。我們將介紹幾種流行的PLMs(如BERT、XLNet、RoBERTa、ALBERT、ELECTRA等)及其技術細節和應用。另一方面，我們也將介紹中國plm的各種努力。在演講的最后，我們將分析目前PLMs的不足之處，并展望未來的研究方向。

自然語言處理中的預訓練模型

論文：【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻

目前預訓練模型在自然語言處理領域取得了廣泛的成功。本報告的內容主要涵蓋以下4部分內容：1）預訓練模型的原理介紹，包括模型結構、學習準則、發展歷程等；2）預訓練模型的遷移方法：包括如何通過任務轉換、多步遷移、改進精調等方法來進一步提高預訓練模型在下游任務上的性能；3）預訓練模型的改進模型：包括知識嵌入模型、多模態模型、多語言模型、語言特定模型、領域特定模型和模型壓縮等；4）對預訓練模型及其未來發展趨勢進行展望。

摘要： 近年來,隨著深度學習的快速發展,面向自然語言處理領域的預訓練技術獲得了長足的進步。早期的自然語言處理領域長期使用Word2Vec等詞向量方法對文本進行編碼,這些詞向量方法也可看作靜態的預訓練技術。然而,這種上下文無關的文本表示給其后的自然語言處理任務帶來的提升非常有限,并且無法解決一詞多義問題。ELMo提出了一種上下文相關的文本表示方法,可有效處理多義詞問題。其后,GPT和BERT等預訓練語言模型相繼被提出,其中BERT模型在多個典型下游任務上有了顯著的效果提升,極大地推動了自然語言處理領域的技術發展,自此便進入了動態預訓練技術的時代。此后,基于BERT的改進模型、XLNet等大量預訓練語言模型不斷涌現,預訓練技術已成為自然語言處理領域不可或缺的主流技術。文中首先概述預訓練技術及其發展歷史,并詳細介紹自然語言處理領域的經典預訓練技術,包括早期的靜態預訓練技術和經典的動態預訓練技術;然后簡要梳理一系列新式的有啟發意義的預訓練技術,包括基于BERT的改進模型和XLNet;在此基礎上,分析目前預訓練技術研究所面臨的問題;最后對預訓練技術的未來發展趨勢進行展望。

題目

自然語言處理中的遷移學習，41 頁PPT

關鍵字

自然語言處理，遷移學習

簡介

本教程，將系統地介紹在自然語言處理中，遷移學習的應用。

內容

• 概念與歷史：什么是遷移學習？
• 最先進的遷移學習方法：預培訓和適應
• Hugging Face and Transformers
• 當前遷移學習的趨勢、限制和開放性問題
• Takeaways

臺灣交通大學的Jen-Tzung Chien教授在WSDN 2020會議上通過教程《Deep Bayesian Data Mining》介紹了深度貝葉斯數據挖掘的相關知識，涵蓋了貝葉斯學習、深度序列學習、深度貝葉斯挖掘和學習等內容。

Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》（《深度貝葉斯數據挖掘》）介紹了面向自然語言的深度貝葉斯挖掘和學習，包括了它的基礎知識和進展，以及它無處不在的應用，這些應用包括語音識別、文檔摘要、文本分類、文本分割、信息抽取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、自動問答和機器翻譯等。

從傳統上，“深度學習”被認為是一個學習過程，過程中的推斷和優化都使用基于實數的判別模型。然而，從大量語料中提取出的詞匯、句子、實體、行為和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地被這種方式表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能不能被正確分解或估計。

該教程介紹了統計模型和神經網絡的基礎，并聚焦于一系列先進的貝葉斯模型和深度模型，包括層次狄利克雷過程、中國餐館過程、遞歸神經網絡、長短期記憶網絡、序列到序列模型、變分自編碼器、生成式對抗網絡、策略神經網絡等。教程還介紹了增強的先驗/后驗表示。教程展示了這些模型是如何連接的，以及它們為什么適用于自然語言中面向符號和復雜模式的各種應用程序。

變分推斷和采樣被提出解決解決復雜模型的優化問題。詞和句子的嵌入、聚類和聯合聚類被語言和語義約束合并。針對深度貝葉斯挖掘、搜索、學習和理解中的不同問題，一系列的案例研究、任務和應用被提出。最后，教程指出一些未來研究的方向和展望。教程旨在向初學者介紹深度貝葉斯學習中的主要主題，激發和解釋它對數據挖掘和自然語言理解正在浮現的重要性，并提出一種結合不同的機器學習工作的新的綜合方法。

教程的內容大致如下：

• 簡介
  • 動機和背景
  • 概率模型
  • 神經網絡
• 貝葉斯學習
  • 推斷和優化
  • 變分貝葉斯推斷
  • 蒙特卡羅馬爾科夫鏈推斷
• 深度序列學習
  • 深度非展開主題模型
  • 門遞歸神經網絡
  • 貝葉斯遞歸神經網絡
  • 記憶增強神經網絡
  • 序列到序列學習
  • 卷積神經網絡
  • 擴增神經網絡
  • 基于Transformer的注意力網絡
• 深度貝葉斯挖掘和學習
  • 變分自編碼器
  • 變分遞歸自編碼器
  • 層次變分自編碼器
  • 隨機遞歸神經網絡
  • 正則遞歸神經網絡
  • 跳躍遞歸神經網絡
  • 馬爾科夫遞歸神經網絡
  • 時間差分變分自編碼器
  • 未來挑戰和發展
• 總結和未來趨勢

完整教程下載

請關注專知公眾號（點擊上方藍色專知關注） 后臺回復“DBDM20” 就可以獲取完整教程PDF的下載鏈接~

教程部分內容如下所示：

參考鏈接：

//chien.cm.nctu.edu.tw/home/wsdm-tutorial/

-END- 專 · 知

專知，專業可信的人工智能知識分發，讓認知協作更快更好！歡迎注冊登錄專知www.zhuanzhi.ai，獲取更多AI知識資料！

歡迎微信掃一掃加入專知人工智能知識星球群，獲取最新AI專業干貨知識教程視頻資料和與專家交流咨詢！

請加專知小助手微信（掃一掃如下二維碼添加），獲取專知VIP會員碼，加入專知人工智能主題群，咨詢技術商務合作~

點擊“閱讀原文”，了解注冊使用專知

教程題目：Deep Bayesian Natural Language Processing

教程簡介：

這個教學講座將會介紹用于自然語言處理的深度貝葉斯學習的發展，以及它在語音識別、文本總結、文本分類、文本分割、信息提取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、問答、機器翻譯等等許多任務中的廣泛應用。傳統上，“深度學習”被認為是一個基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的詞匯、句子、實體、動作和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能沒有被正確分解或估計。

本教程介紹了統計模型和神經網絡的基礎知識，并將重點講解一系列高級的貝葉斯模型以及深度模型。這些模型之間的聯系、能在自然語言的許多符號化表示和復雜模式中發揮作用的原因也會得到介紹。我們將介紹這些模型是如何連接的，以及它們為什么適用于自然語言中符號和復雜模式的各種應用程序。

為解決復雜模型的優化問題，提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚被語言和語義約束合并。提出了一系列的案例研究來解決深度貝葉斯學習和理解中的不同問題。最后，指出了一些未來研究的方向和展望。

組織者：

Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年，他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎，并在2018年獲得了AAPM Farrington Daniels獎。2015年，劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年，學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。

題目： 自然語言處理中的表示學習進展：從Transfomer到BERT

報告人： 邱錫鵬 博士 復旦大學

摘要： 目前全連接自注意力模型（比如Transformer）在自然語言處理領域取得了廣泛的成功。本報告主要介紹我們在自注意力模型方面的一些工作，主要涵蓋兩部分內容：1）Transformer及其改進模型：通過分析Transformer的基本原理和優缺點，提出一些改進模型Star-Transformer、Multi-Scale Transformer等。2）預訓練的Transformer模型的遷移方法：雖然預訓練的Transformer模型（比如BERT、GPT等）在很多自然語言任務上都取得了非常好的性能，我們通過任務轉換、繼續預訓練、多任務學習等方法來進一步提高其遷移能力。最后，對Transformer模型及其未來發展趨勢進行展望。

神經網絡與深度學習，復旦大學邱錫鵬老師。近年來，以機器學習、知識圖譜為代表的人工智能技術逐漸變得普及。從車牌識別、人臉識別、語音識別、智能問答、推薦系統到自動駕駛，人們在日常生活中都可能有意無意地使用到了人工智能技術。這些技術的背后都離不開人工智能領域研究者們的長期努力。特別是最近這幾年，得益于數據的增多、計算能力的增強、學習算法的成熟以及應用場景的豐富，越來越多的人開始關注這一個“嶄新”的研究領域：深度學習。深度學習以神經網絡為主要模型，一開始用來解決機器學習中的表示學習問題。但是由于其強大的能力，深度學習越來越多地用來解決一些通用人工智能問題，比如推理、決策等。目前，深度學習技術在學術界和工業界取得了廣泛的成功，受到高度重視，并掀起新一輪的人工智能熱潮。

本課程主要介紹神經網絡與深度學習中的基礎知識、主要模型（前饋網絡、卷積網絡、循環網絡等）以及在計算機視覺、自然語言處理等領域的應用。

本書的寫作目的是使得讀者能夠掌握神經網絡與深度學習技術的基本原理，知其然還要知其所以然。全書共 15 章。第 1 章是緒論，介紹人工智能、機器學習、深度學習的概要，使讀者對相關知識進行全面的了解。第2、3章介紹機器學習的基礎知識。第4、5、6章分別講述三種主要的神經網絡模型：前饋神經 網絡、卷積神經網絡和循環神經網絡。第7章介紹神經網絡的優化與正則化方法。第8章介紹神經網絡中的注意力機制和外部記憶。第9章簡要介紹一些無監督學習方法。第10章介紹一些模型獨立的機器學習方法：集成學習、自訓練、協同訓練多任務學習、遷移學習、終身學習、元學習等，這些都是目前深度學習的難點和熱點問題。第11章介紹概率圖模型的基本概念，為后面的章節進行鋪墊。第12章介紹兩種早期的深度學習模型：玻爾茲曼機和深度信念網絡。第13章介紹最近兩年發展十分迅速的深度生成模型：變分自編碼器和生成對抗網絡。第14章介紹深度強化學習的知識。第15章介紹應用十分廣泛的序列生成模型。

• 緒論
• 機器學習概述
• 線性模型
• 前饋神經網絡
• 卷積神經網絡
• 循環神經網絡
• 網絡優化與正則化
• 注意力機制與外部記憶
• 無監督學習
• 模型獨立的學習方式
• 概率圖模型
• 深度信念網絡
• 深度生成模型
• 深度強化學習
• 序列生成模型 一個過時版本：詞嵌入與語言模型
• 數學基礎