大型語言模型最近在許多自然語言處理基準測試中提高了技術水平。最新一代的模型可以應用于各種任務，幾乎不需要專門的訓練。該技術為數據管理上下文中的應用程序創造了各種機會。本教程將向參與者介紹語言模型的基本背景，討論使用語言模型的不同方法，并對可用的庫和api進行概述和簡短演示。生成自然語言的模型和GPT-3 Codex等完成程序代碼或從自然語言指令生成代碼的模型都將被考慮在內。最后，本教程將討論數據庫社區最近的研究，這些研究利用了傳統數據庫系統環境中的語言模型，或提出了基于它們的新系統架構。本教程針對數據庫研究人員。不需要有語言模型的背景知識。本教程的目標是向數據庫研究人員介紹最新一代的語言模型，以及它們在數據管理領域中的用例。
最近，隨著大型“語言模型”的出現，自然語言處理(NLP)領域發生了革命性的變化，這些“語言模型”使用大量的無標記文本[35]進行訓練。給定足夠多的訓練數據和可訓練的參數，這樣的模型能夠處理廣泛的任務，很少或不需要專門的訓練[2]。這種模型在數據庫領域的應用范圍非常廣泛。它的范圍從新的接口[25,30]到新的系統架構[29]，基于最新一代語言模型支持的數據表示和處理機制。本教程的目的是向數據庫研究人員介紹這些模型提供的可能性，提供使它們可訪問的庫和api的指針[22,35]，并回顧數據庫社區利用這些模型的最新研究。本教程將介紹處理和生成自然語言文本的語言模型[4,6]，以及從自然語言描述[3]生成程序代碼的最新模型。它將包括例子和現場演示，為與會者提供對可解決問題范圍的直覺。
付費5元查看完整內容
相關內容
人類通過多種渠道感知世界，如眼睛看到的圖像或耳朵聽到的聲音。盡管任何一個單獨的通道可能是不完整的或有噪聲的，但人類可以自然地將從多個通道收集的信息進行排列和融合，以便掌握更好地理解世界所需的關鍵概念。人工智能的核心愿望之一是開發算法，使計算機具有從多模態(或多通道)數據中有效學習的能力。這些數據類似于通過視覺和語言獲得的視覺和聲音，幫助人類理解周圍的世界。例如，計算機可以通過搜索最相似的圖像來進行文本查詢(反之亦然)，并通過使用自然語言描述圖像的內容來模擬這種能力。
視覺與語言(VL)，一個位于計算機視覺和自然語言處理(NLP)之間的熱門研究領域，旨在實現這一目標。視覺與語言預訓練(vision and language pre-training, VLP)受到語言模型預訓練在NLP中的巨大成功的啟發，近年來迅速引起了兩方面的關注。在本教程中，我們將涵蓋VLP前沿的最新方法和原則，包括(1) 基于區域特征和端到端圖像文本訓練前;(2) 統一的視覺語言建模;(3) 延伸到視頻語言預訓練; (4) 從語言監督中學習視覺模型;(5) 視覺合成。
//dvsml2022-tutorial.github.io/index.html/
付費5元查看完整內容
【作者介紹】
Pin-Yu Chen (陳品諭)：IBM Research AI，MIT-IBM Watson AI Lab研究員， RPI-IBM AIRC項目首席科學家。研究重點是對抗性機器學習和神經網絡的魯棒性，即可信賴機器學習。
【教程介紹】
對抗性機器學習 (AdvML) 是機器學習 (ML) 和人工智能 (AI) 中發展最快的研究領域之一。它研究最先進的機器學習模型（如神經網絡）的對抗魯棒性，從識別當前機器學習系統局限性的攻擊、增強模型對各種對抗性威脅的性能的防御到量化魯棒性水平的驗證工具用于不同的應用。
與專注于對抗性攻擊、防御或驗證方法的傳統對抗性機器學習 (AdvML) 教程不同，本教程旨在提供一個全新的概述，說明如何以完全不同的方式使用相同的技術來造福于主流機器學習任務并促進該研究領域的可持續發展。
除了 AdvML 的最新進展之外，本教程旨在提供有關“AdvML 的下一步是什么”的新方面，即永遠的對抗性機器學習。“永遠”一詞有雙重含義——新穎的創新和可持續性。
首先，本教程將介紹新興的和新穎的應用程序，這些應用程序利用 AdvML 的經驗來使主流 ML 任務受益，這與評估和提高對抗性魯棒性的最初目標不同。這些示例包括 (i) 生成對比解釋和反事實示例；(ii) 數據高效遷移學習的模型重新編程；(iii) 用于人工智能治理和所有權監管的模型水印和指紋識別；(iv) 隱藏數據以增強隱私。其次，隨著與對抗性魯棒性相關的提交數量呈爆炸式增長，本教程旨在從研究規范和倫理、當前趨勢、開放挑戰和未來等方面討論這一年輕研究領域在持續和有機增長方面的可持續性方向。目標受眾將是熟悉 AdvML 的 ML/AI 研究人員，以及有興趣進入該領域的研究人員。演講者還將分享他對工業實踐的看法。
【教程提綱】
- 當前趨勢:介紹對抗機器學習(攻擊、防御、驗證)的最新進展
- 受 AdvML 啟發的創新
- 生成對比解釋和反事實示例（Dhurandhar et al. 2018; Luss et al.2021）
- 用于數據高效遷移學習的模型重新編程（Tsai、Chen 和 Ho 2020；Yang、Tsai 和 Chen 2021； Vinod、Chen 和 Das 2020）
- 用于 AI 治理和所有權監管的模型水印和指紋識別（Aramoon、Chen 和 Qu 2021；Wang 等人 2021）
- 數據隱藏以增強隱私和數據安全性（Shan et al. 2020; Sablayrolles et al. 2020）
- 用于改進模型泛化的數據增強 (Hsu et al. 2021)
- 詞嵌入中的語義偏移檢測（Gruppi、Adali 和 Chen 2021）
- 魯棒文本驗證碼 (Shao et al. 2021)
- 分子優化 (Hoffman et al. 2022)
- AdvML研究的可持續性
付費5元查看完整內容
本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者，特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示，(ii) 自動提取、概念化和預測事件及其關系的各種方法，(iii) 事件過程和屬性的歸納，和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。
//cogcomp.seas.upenn.edu/page/tutorial.202108/
人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘述預測得益于學習事件的因果關系，從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上，事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系，它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及到它的參與者、粒度、位置和時間。
在本教程中，我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外，我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解，以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰，代表性工具和學習資源，以獲得即用模型，以及相關模型和技術如何使最終使用NLU應用程序受益。
目錄內容：
- 引言
- 事件信息提取
- 事件過程預測
- 事件知識獲取
- 事件摘要
- 事件研究問題
付費5元查看完整內容
GPT-3: Few-Shot Learning with a Giant Language Model
最近的工作表明，通過對大量文本語料庫進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了實質性進展。雖然這種方法在架構中通常與任務無關，但它仍然需要成千上萬個樣例的特定于任務的微調數據集。相比之下，人類通常只通過幾個例子或簡單的指令就能完成一項新的語言任務——這是目前的NLP系統在很大程度上難以做到的。我將討論GPT-3，這是一種具有1750億個參數的自回歸語言模型，它演示了如何擴大語言模型可以極大地改善與任務無關的、少樣本的性能，有時甚至可以達到與先前的最先進的微調方法相媲美的競爭力。GPT-3可以應用于沒有任何漸變更新或微調的任務，與少數樣本演示指定純粹通過文本與模型的交互。我將概述GPT-3是什么以及它是如何工作的，討論我們從這樣一個系統中看到的功能，以及它們如何啟用與語言模型交互的新方式，此外還將關注這些交互帶來的局限性和更廣泛的問題。
//nlp.stanford.edu/seminar/details/melaniesubbiah.shtml
付費5元查看完整內容
近年來，規模在自然語言處理的快速發展中發揮了核心作用。雖然基準測試被越來越大的模型所主導，但高效的硬件使用對于它們的廣泛采用和該領域的進一步發展至關重要。在這個尖端的教程中，我們將概括自然語言處理的最先進技術。在建立這些基礎之后，我們將介紹廣泛的提高效率的技術，包括知識蒸餾、量化、修剪、更高效的架構，以及案例研究和實際實現技巧。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191