對話人工智能系統通過完成用戶請求或進行簡單的聊天與人類用戶進行交互。這些系統的應用范圍從個人幫助、健康幫助到客戶服務等等。在這個由三部分組成的教程中，我們將首先概述最先進的模塊化對話AI方法，這些方法通常被面向任務的對話系統所采用。然后，我們將概述當前基于序列到序列、生成的對話AI方法。我們將討論普通的基于生成的模型的挑戰和缺點，如缺乏知識、一致性、同理心、可控性、多功能性等。然后我們將強調當前的工作，以解決這些挑戰，并在改進深度生成為基礎的ConvAI。在本教程的最后一部分，我們將指出對話AI的挑戰和未來研究的可能方向，包括如何減輕不適當的回復和終身學習。我們還將概述模塊化和基于生成的對話AI的共享任務和公開可用資源。
付費5元查看完整內容
相關內容
我們給出了一個關于調查透明度和可解釋性的前沿教程，因為它們與NLP有關。研究團體和業界都在開發新的技術，以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告，我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后，我們將討論NLP任務的可解釋性，并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究，該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。
自然語言處理中可解釋AI的現狀調研
近年來，最領先的模型在性能上取得了重要的進步，但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述，在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類，以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術，以作為社區中模型開發人員的資源。最后，我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。
付費5元查看完整內容
注意力機制
·
注意力是一種在廣泛的神經結構中使用的越來越流行的機制。由于這一領域的快速發展，仍然缺乏對注意力的系統概述。在本文中，我們定義了用于自然語言處理的注意力體系結構的統一模型，重點介紹了用于文本數據的向量表示的體系結構。我們討論了以往工作的不同方面，注意力機制的可能用途，并描述了該領域的主要研究工作和公開挑戰。
//web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf
付費5元查看完整內容
遷移學習
·
一份來自FarizDarari的簡明教程
付費5元查看完整內容
少標簽數據學習
·
人類的視覺系統證明，用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說，這種能力來自于看到了數百萬個其他類別，并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系，以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的，所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程，例如，一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸，并保證最終模型的性能。
付費5元查看完整內容
臺灣交通大學的Jen-Tzung Chien教授在WSDN 2020會議上通過教程《Deep Bayesian Data Mining》介紹了深度貝葉斯數據挖掘的相關知識，涵蓋了貝葉斯學習、深度序列學習、深度貝葉斯挖掘和學習等內容。
Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》（《深度貝葉斯數據挖掘》）介紹了面向自然語言的深度貝葉斯挖掘和學習，包括了它的基礎知識和進展，以及它無處不在的應用，這些應用包括語音識別、文檔摘要、文本分類、文本分割、信息抽取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、自動問答和機器翻譯等。
從傳統上，“深度學習”被認為是一個學習過程，過程中的推斷和優化都使用基于實數的判別模型。然而，從大量語料中提取出的詞匯、句子、實體、行為和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地被這種方式表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能不能被正確分解或估計。
該教程介紹了統計模型和神經網絡的基礎，并聚焦于一系列先進的貝葉斯模型和深度模型，包括層次狄利克雷過程、中國餐館過程、遞歸神經網絡、長短期記憶網絡、序列到序列模型、變分自編碼器、生成式對抗網絡、策略神經網絡等。教程還介紹了增強的先驗/后驗表示。教程展示了這些模型是如何連接的，以及它們為什么適用于自然語言中面向符號和復雜模式的各種應用程序。
變分推斷和采樣被提出解決解決復雜模型的優化問題。詞和句子的嵌入、聚類和聯合聚類被語言和語義約束合并。針對深度貝葉斯挖掘、搜索、學習和理解中的不同問題，一系列的案例研究、任務和應用被提出。最后，教程指出一些未來研究的方向和展望。教程旨在向初學者介紹深度貝葉斯學習中的主要主題，激發和解釋它對數據挖掘和自然語言理解正在浮現的重要性，并提出一種結合不同的機器學習工作的新的綜合方法。
教程的內容大致如下：
- 簡介
- 動機和背景
- 概率模型
- 神經網絡
- 貝葉斯學習
- 推斷和優化
- 變分貝葉斯推斷
- 蒙特卡羅馬爾科夫鏈推斷
- 深度序列學習
- 深度非展開主題模型
- 門遞歸神經網絡
- 貝葉斯遞歸神經網絡
- 記憶增強神經網絡
- 序列到序列學習
- 卷積神經網絡
- 擴增神經網絡
- 基于Transformer的注意力網絡
- 深度貝葉斯挖掘和學習
- 變分自編碼器
- 變分遞歸自編碼器
- 層次變分自編碼器
- 隨機遞歸神經網絡
- 正則遞歸神經網絡
- 跳躍遞歸神經網絡
- 馬爾科夫遞歸神經網絡
- 時間差分變分自編碼器
- 未來挑戰和發展
- 總結和未來趨勢
完整教程下載
請關注專知公眾號（點擊上方藍色專知關注） 后臺回復“DBDM20” 就可以獲取完整教程PDF的下載鏈接~
教程部分內容如下所示：
參考鏈接：
//chien.cm.nctu.edu.tw/home/wsdm-tutorial/
-END- 專 · 知
專知，專業可信的人工智能知識分發，讓認知協作更快更好！歡迎注冊登錄專知www.zhuanzhi.ai，獲取更多AI知識資料！
歡迎微信掃一掃加入專知人工智能知識星球群，獲取最新AI專業干貨知識教程視頻資料和與專家交流咨詢！
請加專知小助手微信（掃一掃如下二維碼添加），獲取專知VIP會員碼，加入專知人工智能主題群，咨詢技術商務合作~
點擊“閱讀原文”，了解注冊使用專知
付費5元查看完整內容
教程簡介： 最近AI對話技術的飛躍式發展，無疑與越來越復雜的深度學習算法有關，而深度學習算法所捕捉到的模式是由各種數據收集機制生成的。因此，本教程的目標是雙重的。首先，它旨在讓學術界熟悉基于統計學的對話系統算法設計的最新進展，其中包括開放性領域和基于任務的對話范例。本教程的重點是介紹對話系統端到端的學習機制，以及它們與更加常見的模塊系統之間的關聯。從理論上講，從數據中學習端到端可以為對話系統提供無縫的、空前的可移植性，有著非常廣闊的應用前景。從實踐的角度來看，該領域仍然存在大量的研究挑戰和機會:在本教程中，我們會分析理論和實踐之間的差異，并介紹當前端到端對話學習的主要優勢和實踐中的局限性。
目錄：
- 理解數據(帶注釋和不帶注釋的)收集對AI對話系統的重要性。
- 介紹最新的關于AI對話系統的數據收集范式。
- 闡述大規模無結構的對話數據在對話系統預訓練方面的可用性。
- 提供端到端數據驅動在AI對話學習模型的概述。
- 討論數據和算法選擇之間的重要性。
- 關于當前(任務導向)AI對話在實際操作中的一個行業視角。
下載鏈接: //pan.baidu.com/s/1qV4uQItQSZj0kWsXa4QgPg 提取碼: kk3v
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191