【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦，時間在 2 月 22 日-3 月 1 日，本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告，來自Yu Meng，韓家煒等等學者共同做了關于預訓練語言表示的進展報告，非常值得關注!
本教程旨在介紹預訓練文本嵌入和語言模型(例如BERT和GPT)的最新進展，以及它們在廣泛的文本挖掘任務中的應用。本教程將系統地介紹(1) 預訓練的文本表示學習的發展，(2) 預訓練的模型如何有效地增強基本文本挖掘應用，以及(3)新的技術和方法來用于預訓練的文本表示，用于文本挖掘任務，而無需人工注釋。目標受眾包括任何對人工智能(AI)和機器學習(ML)技術感興趣的研究人員和從業人員，這些技術用于使用最先進的預訓練語言模型的自然語言和數據挖掘應用程序。觀眾將不僅了解文本表示學習和文本挖掘的背景和歷史，還將了解最新的模型和方法及其應用。我們的教程特別關注文本挖掘中的弱監督方法，這種方法需要最少的人力來學習模型。我們還將用真實的數據集演示預訓練的文本表示如何幫助減輕人類注釋的負擔，并促進自動、準確和高效的文本分析。 目標受眾包括典型的人工智能實踐者，他們可能對偏好學習有一個高層次的概念，但通常沒有意識到問題的各種挑戰性方面。該教程的新穎之處在于將不同社區的不同范式翻譯成AI語言，從而使ML/AI社區受益。本教程將是自包含的，不需要任何先決條件。具有基本AI/ML知識的觀眾將能夠理解大部分材料。
目錄內容： 引言 Introduction 第一部分：預訓練語言模型 Part I: Pre-Trained Language Models [Slides] 第二部分 重溫文本挖掘基礎 Part II: Revisiting Text Mining Fundamentals with Pre-Trained Language Models 第三部分 嵌入驅動主題挖掘 Part III: Embedding-Driven Topic Discovery 第三部分 弱監督文本挖掘 Part IV: Weakly-Supervised Text Classification: Embeddings with Less Human Effort 第四部分 高級文本挖掘應用 Part V: Advanced Text Mining Applications Empowered by Pre-Trained Language Models [Slides]
付費5元查看完整內容
相關內容
【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦，時間在 2 月 22 日-3 月 1 日，本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告，來自Huan Zhang等學者共同做了關于神經網絡驗證研究進展報告，非常值得關注!
神經網絡已經成為現代人工智能的重要組成部分。然而，它們通常是黑盒，可能會出乎意料地行為，并產生令人驚訝的錯誤結果，例如對抗的例子。在本教程中，我們將介紹神經網絡驗證問題，其目的是保證神經網絡的特性，如魯棒性、安全性和正確性。我們的教程涵蓋了驗證問題的理論基礎和最先進算法的介紹。此外，我們還將為用戶友好的神經網絡驗證工具箱提供實踐編碼教程，允許從業者輕松地將正式的驗證技術應用到他們的定制應用中。我們的教程包括在谷歌Colab中編碼演示。我們將演示通用的auto_LiRPA庫和獲獎的α，β-CROWN驗證器的使用。
目錄內容： Part I: Introduction to Neural Network Verifier Part II: Neural Network Verification Algorithms Part III: Hands-on Tutorial on Using State-of-the-art Verification Tools
地址：
付費5元查看完整內容
【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦，時間在 2 月 22 日-3 月 1 日，本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告，來自?znur Alkan等學者共同做了關于人在環路機器學習進展報告，非常值得關注!
本教程面向人工智能研究人員和實踐者，以及對人在循環機器學習感興趣的領域專家，包括交互式推薦和主動學習。參與者將從豐富的人類反饋中了解交互式機器學習的當前發展——重點是白盒交互和解釋性學習——以及可用方法的多樣性和它們之間的關系的概念圖。主要目的是告訴觀眾關于交互式機器學習的最新解釋，開放的問題和研究方向，以及這些發展如何與更廣泛的機器學習和人工智能背景相關。
目錄內容： The tutorial is split into four main sessions, of roughly 22 minutes each, followed by a Q&A:
Welcome (5min).
Motivation and Challenges (22min), presented by ?znur Alkan.
Interacting via Local Explanations (22min), presented by Stefano Teso.
Interacting via Global Explanations (22min), presented by Elizabeth Daly.
Interaction via Concept-based Explanations (22min), presented by Wolfgang Stammer.
Q&A (12min).
地址：
付費5元查看完整內容
【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦，時間在 2 月 22 日-3 月 1 日，本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告，來自Freddy Lecue, Pasquale Minervini, Fosca Giannotti and Riccardo Guidotti博士共同做了關于可解釋人工智能的進展報告，非常值得關注!
人工智能的未來在于使人類能夠與機器合作解決復雜的問題。就像任何有效的合作一樣，這需要良好的溝通、信任、清晰和理解。可解釋人工智能(XAI)旨在通過結合符號人工智能和傳統機器學習的優點來應對此類挑戰。多年來，各種不同的AI社區都在研究這一主題，他們有著不同的定義、評估指標、動機和結果。
本教程是XAI迄今為止工作的一個概述，并綜述了AI社區所完成的工作，重點是機器學習和符號AI相關方法。我們將闡述XAI在現實世界和大規模應用中的需求，同時提供最先進的技術和最佳的XAI編碼實踐。在教程的第一部分，我們將介紹AI的不同方面的解釋。然后，我們將本教程重點介紹兩種具體方法:(i) XAI使用機器學習，(ii) XAI使用基于圖的知識表示和機器學習的組合。對于這兩種方法，我們都進入了具體的方法，目前的技術水平和下一步的研究挑戰。本教程的最后一部分概述了XAI的實際應用以及最佳XAI編碼實踐。
目錄內容：
第一部分: 介紹，動機和評估- 20分鐘 人工智能解釋的廣泛介紹。這將包括從理論和應用的角度描述和激發對可解釋人工智能技術的需求。在本部分中，我們還將總結前提條件，并介紹本教程其余部分所采用的不同角度。
第二部分: 人工智能解釋(不只是機器學習!)- 40分鐘 概述AI各個領域的解釋(優化、知識表示與推理、機器學習、搜索與約束優化、規劃、自然語言處理、機器人技術和視覺)，使大家對解釋的各種定義保持一致。對可解釋性的評估也將包括在內。本教程將涵蓋大多數定義，但只會深入以下領域: (i) 可解釋的機器學習，(ii) 可解釋的AI與知識圖譜和機器學習。
第三部分: 知識圖譜在可解釋機器學習中的作用- 40分鐘 在本教程的這一節中，我們將介紹將基于圖的知識庫與機器學習方法相結合的解釋力。
第四部分: XAI工具，編碼和工程實踐- 40分鐘 通過演示如何集成XAI，以及如何根據技術和業務挑戰實例化、調整和定制XAI，我們將了解XAI的編碼和工程實踐。本節將介紹開發代碼，這些代碼將與谷歌Colab共享，便于與AAAI用戶進行互動。本節需要使用谷歌帳號(用于訪問谷歌Colab)。
第五部分:應用、經驗教訓和研究挑戰- 40分鐘 我們將回顧一些在實際示例中應用的XAI開源和商業工具。我們將描述如何基于技術和業務挑戰實例化XAI。我們特別關注一些用例: (1) 解釋目標檢測，(2) 解釋自動駕駛列車的障礙檢測，(3)解釋飛行性能，(4) 解釋具有內置解釋功能的航班延誤預測系統，(5) 一個大規模的合同管理系統，通過知識圖譜上的語義推理預測和解釋企業項目的風險等級; (6) 一個費用系統，識別、解釋和預測500多個城市的大型組織員工的異常費用索賠; (7) 一個信貸決策解釋系統，(8) 醫療條件解釋系統，以及其他8個行業用例。
付費5元查看完整內容
來自華為的研究人員在UIUC2021上將給出關于預訓練模型與文本挖掘的教程，非常值得關注!
近年來，文本表示學習在廣泛的文本挖掘任務中取得了巨大的成功。早期的單詞嵌入學習方法將單詞表示為固定的低維向量，以捕獲它們的語義。然后，將學習到的詞嵌入作為特定任務模型的輸入特征。近年來，預訓練語言模型(pre-training language model, PLMs)在自然語言處理(natural language processing, NLP)領域發生了革命性的變化，自然語言處理(natural language processing, NLP)通過大規模文本語料庫上預訓練的基于transformer的神經模型來學習通用語言表示。這種預訓練過的表示對通用語言特征進行編碼，這些特征幾乎可以遷移到任何與文本相關的應用中。在許多應用中，PLM優于先前的任務特定模型，因為它們只需要對目標語料庫進行微調，而無需從頭開始訓練。
//yumeng5.github.io/kdd21-tutorial/
在本教程中，我們將介紹預訓練文本嵌入和語言模型的最新進展，以及它們在廣泛的文本挖掘任務中的應用。具體來說，我們首先概述了一組最近開發的自監督和弱監督文本嵌入方法和預訓練的語言模型，它們是下游任務的基礎。然后，我們提出了幾種基于預先訓練的文本嵌入和語言模型的新方法，用于各種文本挖掘應用，如主題發現和文本分類。我們關注的方法是弱監督、領域獨立、語言不可知、有效和可擴展的，用于從大規模文本語料庫中挖掘和發現結構化知識。我們將在真實的數據集上演示預先訓練的文本表示如何幫助減輕人工標注的負擔，并促進自動、準確和高效的文本分析。
目錄: Introduction [Slides] Part I: Text Embedding and Language Models [Slides] Part II: Revisiting Text Mining Fundamentals with Pre-Trained Language Models [Slides] Part III: Embedding-Driven Topic Discovery [Slides] Part IV: Weakly-Supervised Text Classification: Embeddings with Less Human Effort [Slides] Part V: Advanced Text Mining Applications Empowered by Embeddings [Slides]
付費5元查看完整內容
本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者，特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示，(ii) 自動提取、概念化和預測事件及其關系的各種方法，(iii) 事件過程和屬性的歸納，和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。
//cogcomp.seas.upenn.edu/page/tutorial.202108/
人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘述預測得益于學習事件的因果關系，從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上，事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系，它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及到它的參與者、粒度、位置和時間。
在本教程中，我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外，我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解，以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰，代表性工具和學習資源，以獲得即用模型，以及相關模型和技術如何使最終使用NLU應用程序受益。
目錄內容：
- 引言
- 事件信息提取
- 事件過程預測
- 事件知識獲取
- 事件摘要
- 事件研究問題
付費5元查看完整內容
近年來，在大量原始文本上預先訓練的大型語言模型徹底改變了自然語言處理。現有的方法，基于因果或隱藏的語言模型的變化，現在為每一個NLP任務提供了事實上的方法。在這個演講中，我將討論最近在語言模型預訓練方面的工作，從ELMo、GPT和BERT到更近期的模型。我的目標是對總體趨勢進行廣泛的報道，但提供更多關于我們最近在Facebook AI和華盛頓大學開發的模型的細節。其中特別包括序列到序列模型的預訓練方法，如BART、mBART和MARGE，它們提供了一些迄今為止最普遍適用的方法。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191