CVPR 2022 線下會議將于 2022 年 6 月 21 日-24 日在美國新奧爾良舉行。而今年投稿量創新高超過了一萬，其中 2067 篇論文被接收。各位學者帶來了一系列教程。來自卡內基梅隆大學研究學者講述了《多模態機器學習》教程，200+頁ppt值得關注。
多模態機器學習是一個充滿活力的多學科研究領域，通過設計計算機agent來實現人工智能的一些原始目標，這些計算機agent能夠通過集成和建模多種通信模態(包括語言、聲學和視覺信息)來展示智能能力，如理解、推理和規劃。隨著視聽語音識別的初步研究，以及最近的語言和視覺項目，如圖像和視頻字幕、視覺問題回答和語言引導強化學習，該研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和通常發現的模態之間的偶然性。
本教程建立在卡內基梅隆大學教授的多模態機器學習年度課程的基礎上，是CVPR、ACL和ICMI會議上多模態學習以前教程的一個完全修訂版本。本教程基于多模態機器學習中存在的核心技術挑戰的修訂分類，圍繞這六個核心挑戰: 表示、對齊、推理、遷移、生成和量化。最近的技術成果將通過這種多模態核心挑戰的分類法來展示，使研究人員能夠理解方法和新模型之間的相似性和差異性。本教程還旨在對多模態機器學習的未來研究方向提供一個視角。
//cmu-multicomp-lab.github.io/mmml-tutorial/cvpr2022/
講者：
目錄內容：
1. 介紹
- 什么是多模態?定義，異質性的維度和跨模態的相互作用。
- 歷史觀與多模態研究任務。
- 核心技術挑戰: 表示、對齊、轉移、推理、生成和量化。
- 單模態語言、視覺和聽覺表征。
2. 表示
- 表示融合: 融合策略，多模態自編碼器。
- 表示協調: 對比學習，向量空間模型，典型相關分析。
- 表象裂變: 因式分解、成分分析、解纏。
3. 對齊
- 粒度: 分割、聚類、單元定義。
- 對應: 潛在對齊方法，注意力模型，多模態transformers。
- 依存類型: 圖神經網絡，多實例學習。
4. 推理
- 結構: 層次結構、圖形結構、時序結構和交互結構、結構發現。
- 概念: 密集和神經象征。
- 構成: 因果關系和邏輯關系。
- 知識: 外部知識基礎，常識推理。
5. 生成
- 總結、翻譯、創作。
- 模型評估和倫理問題。
6. 遷移
- 模態轉移: 損失，幻覺，跨模態轉移。
- 基礎模型:預訓練模型和適應。
- 模型歸納:協同訓練，跨模式學習。
7. 量化
輸出質量:泛化、魯棒性、復雜性。 內部機制:可解釋性，理解跨模型交互。 模態權衡: 數據集偏差、社會偏差、理論收益、優化挑戰。
付費5元查看完整內容
相關內容
人類通過多種渠道感知世界，如眼睛看到的圖像或耳朵聽到的聲音。盡管任何一個單獨的通道可能是不完整的或有噪聲的，但人類可以自然地將從多個通道收集的信息進行排列和融合，以便掌握更好地理解世界所需的關鍵概念。人工智能的核心愿望之一是開發算法，使計算機具有從多模態(或多通道)數據中有效學習的能力。這些數據類似于通過視覺和語言獲得的視覺和聲音，幫助人類理解周圍的世界。例如，計算機可以通過搜索最相似的圖像來進行文本查詢(反之亦然)，并通過使用自然語言描述圖像的內容來模擬這種能力。
視覺與語言(VL)，一個位于計算機視覺和自然語言處理(NLP)之間的熱門研究領域，旨在實現這一目標。視覺與語言預訓練(vision and language pre-training, VLP)受到語言模型預訓練在NLP中的巨大成功的啟發，近年來迅速引起了兩方面的關注。在本教程中，我們將涵蓋VLP前沿的最新方法和原則，包括(1) 基于區域特征和端到端圖像文本訓練前;(2) 統一的視覺語言建模;(3) 延伸到視頻語言預訓練; (4) 從語言監督中學習視覺模型;(5) 視覺合成。
//dvsml2022-tutorial.github.io/index.html/
付費5元查看完整內容
多模態機器學習是一個充滿活力的多學科研究領域，通過設計計算機代理來解決人工智能的一些原始目標，這些代理能夠通過整合和建模多種交互模態，包括語言、聽覺和視覺信息。隨著對視聽語音識別的初步研究，以及近年來對圖像和視頻字幕、視覺問答和語言引導強化學習等語言和視覺項目的研究，這一研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模態之間的偶然性經常被發現。
多模態機器學習(MMML)是一個充滿活力的多學科研究領域，研究從多個模態建模異構數據的計算方法。本課程介紹機器學習和深度學習的基本概念，涉及多模態機器學習的五個主要挑戰:(1)多模態表示，(2)模態對齊，(3)多模態推理，(4)翻譯和映射，(5)協同學習。本講座還討論了最新的多模態深度學習模型和方向。
付費5元查看完整內容
不可錯過！多模態機器學習課程！
多模態機器學習(MMML)是一個充滿活力的多學科研究領域，通過整合和建模多種交流模式(包括語言、視覺和聲學)來解決人工智能的一些最初目標。這一研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模式之間的偶然性經常被發現。本課程是一門研究生水平的課程，涵蓋了多模態機器學習的最新研究論文，包括表示、對齊、推理、生成、協同學習和量化方面的技術挑戰。本課程的主要目標是提高批判性思維能力，了解最新的技術成就，并了解未來的研究方向。
本課程將介紹機器學習和深度學習中與多模態機器學習中的五個主要挑戰相關的基本數學概念:(1)多模態表示學習，(2)平移與映射，(3)模態對齊，(4)多模態融合和(5)協同學習。這些包括但不限于，多模態自動編碼器，深度典型相關分析，多核學習，注意力模型和多模態遞歸神經網絡。本課程還將討論MMML的許多最新應用，包括多模式的情感識別、圖像和視頻字幕以及跨模式的多媒體檢索。
//cmu-multicomp-lab.github.io/adv-mmml-course/spring2022/schedule/
付費5元查看完整內容
EPFL的Lenka Zdeborová教授在UAI2021上的keynote報告《貝葉斯最優學習》
付費5元查看完整內容
人工智能研究的長期目標是構建能夠看到我們周圍豐富視覺環境的智能體，用自然語言將這種理解傳達給人類和其他智能體，并在物理或具身環境中行動。為此，計算機視覺和自然語言處理的最新進展取得了巨大的進展——從生成圖像/視頻的自然語言描述，到回答有關圖像/視頻的問題，再到就視覺內容進行自由形式的對話。
最近，在計算機視覺、自然語言處理和機器人領域，具身人工智能(即訓練具身代理在自我中心感知中執行各種任務)吸引了大量的興趣。視覺語言導航(VLN)是由Anderson和Wu等人提出的嵌入式人工智能的一個基本主題。
在本教程中，我們將不僅涵蓋視覺和語言研究前沿的最新方法和原則，還將對VLN領域進行全面概述。
付費5元查看完整內容
多模態機器學習(MMML)是一個充滿活力的多學科研究領域，通過整合和建模多種交流模態(包括語言、聲音和視覺信息)來實現人工智能的一些原始目標。隨著對視聽語音識別的初步研究，以及最近的語言和視覺項目，如圖像和視頻字幕，這個研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模式之間經常發現的偶然性。本課程將教授與MMML相關的基本數學概念，包括多模態對齊與融合、異質表示學習和多流時間建模。我們還將回顧最近描述最先進的MMML概率模型和計算算法的論文，并討論當前和即將面臨的挑戰。
本課程將介紹機器學習和深度學習中與多模態機器學習中的五個主要挑戰相關的基本數學概念:(1)多模態表示學習，(2)平移與映射，(3)模態對齊，(4)多模態融合和(5)協同學習。這些包括但不限于，多模態自動編碼器，深度典型相關分析，多核學習，注意力模型和多模態遞歸神經網絡。本課程還將討論MMML的許多最新應用，包括多模式的情感識別、圖像和視頻字幕以及跨模式的多媒體檢索。
課程目錄:
- 課程導論
- 多模態應用與數據集
- 基本概念：神經網絡
- 網絡優化
- 視覺單模態表示學習
- 語言單模態表示學習
- 多模態表示學習
- 多模態對齊
- 結構化表示
- 概率圖模型
- 判別性圖模型
- 神經生成模型
- 強化學習
- 多模態強化學習
- 融合與協同學習
- 多語言表示學習
付費5元查看完整內容
【導讀】CVPR2020workshop的視覺與語言研究，邀請了業界學者講述了視覺語言之間的研究進展。來自微軟和facebook的Licheng Yu, Yen-Chun Chen, Linjie Li講述了自監督學習在視覺語言建模中的技術進展，共115頁ppt，不容錯過！
//rohit497.github.io/Recent-Advances-in-Vision-and-Language-Research/
視覺和語言(V+L)研究是計算機視覺和自然語言處理之間聯系的一個有趣的領域，并迅速吸引了這兩個領域的關注。各種各樣的V+L任務，以大規模的人類注釋數據集為基準，已經推動了聯合多模態表示學習的巨大進步。本教程將重點介紹該領域中最近流行的一些任務，如視覺描述、視覺基準、視覺問題回答和推理、文本到圖像的生成以及通用圖像-文本表示的自監督學習。我們將涵蓋這些領域的最新方法，并討論集中體現多模態理解、推理和生成的核心挑戰和機遇的關鍵原則。
付費5元查看完整內容
【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 于美國紐約舉辦。遷移學習近年來受到了非常大的關注，今年AAAI也有很多相關論文，這場Tutorial全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，還討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示，是一個非常全面的遷移表示學習總結，講者最后也介紹了其未來發展趨勢，值得研究者關注和收藏。
遷移表示學習最新進展
Recent Advances in Transferable Representation Learning
Tutorial 目標
本教程針對有興趣將深度學習技術應用于跨域決策任務的AI研究人員和從業人員。這些任務包括涉及多語言和跨語言自然語言處理，特定領域知識以及不同數據模式的任務。本教程將為聽眾提供以下方面的整體觀點：（i）針對未標記的文本，多關系和多媒體數據的多種表示學習方法；（ii）在有限的監督下跨多種表示對齊和遷移知識的技術；以及（iii）在自然語言理解，知識庫和計算生物學中使用這些技術的大量AI應用程序。我們將通過概述該領域未來的研究方向來結束本教程。觀眾不需要有特定的背景知識。
概述
許多人工智能任務需要跨域決策。例如，許多NLP任務涉及跨多種語言的預測，其中可以將不同的語言視為不同的域;在人工智能輔助的生物醫學研究中，藥物副作用的預測常常與蛋白質和有機體相互作用的建模并行進行。為了支持機器學習模型來解決這種跨域任務，必須提取不同域中數據組件的特征和關系，并在統一的表示方案中捕獲它們之間的關聯。為了滿足這一需求，表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣，跨域的知識遷移可以通過向量搭配或變換來實現。這種可遷移的表現形式在涉及跨域決策的一系列人工智能應用中取得了成功。然而，這一領域的前沿研究面臨兩大挑戰。一是在學習資源很少的情況下如何有效地從特定領域中提取特性。另一個是在最少的監督下精確地對齊和傳遞知識，因為連接不同域的對齊信息常常是不充分和有噪聲的。
在本教程中，我們將全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，我們還將討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示。我們還將比較域內嵌入算法和跨域對齊算法的改進和聯合學習過程。此外，我們將討論如何利用獲得的可遷移表征來解決低資源和無標簽的學習任務。參會者將了解本主題的最新趨勢和挑戰，了解代表性工具和學習資源以獲取即用型模型，以及相關的模型和技術如何有益于現實世界AI應用程序。
講者介紹
Muhao Chen目前是美國賓夕法尼亞大學研究生院博士后。他于2019年在加州大學洛杉磯分校獲得了計算機科學博士學位。Muhao從事過機器學習和NLP方面的各種課題。他最近的研究也將相關技術應用于計算生物學。更多信息請訪問//muhaochen.github.io。
Kai-Wei Chang是加州大學洛杉磯分校計算機科學系的助理教授。他的研究興趣包括為大型復雜數據設計魯棒的機器學習方法，以及為社會公益應用程序構建語言處理模型。其他信息請訪問
Dan Roth是賓夕法尼亞大學CIS的Eduardo D. Glandt Distinguished Professor，也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然語言理解建模、機器學習和推理方面的重大概念和理論進展而被認可。更多信息可以參考: /.
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191