亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

CVPR 2022 線下會議將于 2022 年 6 月 21 日-24 日在美國新奧爾良舉行。而今年投稿量創新高超過了一萬，其中 2067 篇論文被接收。各位學者帶來了一系列教程。來自卡內基梅隆大學研究學者講述了《多模態機器學習》教程，200+頁ppt值得關注。

多模態機器學習是一個充滿活力的多學科研究領域，通過設計計算機agent來實現人工智能的一些原始目標，這些計算機agent能夠通過集成和建模多種通信模態(包括語言、聲學和視覺信息)來展示智能能力，如理解、推理和規劃。隨著視聽語音識別的初步研究，以及最近的語言和視覺項目，如圖像和視頻字幕、視覺問題回答和語言引導強化學習，該研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和通常發現的模態之間的偶然性。

本教程建立在卡內基梅隆大學教授的多模態機器學習年度課程的基礎上，是CVPR、ACL和ICMI會議上多模態學習以前教程的一個完全修訂版本。本教程基于多模態機器學習中存在的核心技術挑戰的修訂分類，圍繞這六個核心挑戰: 表示、對齊、推理、遷移、生成和量化。最近的技術成果將通過這種多模態核心挑戰的分類法來展示，使研究人員能夠理解方法和新模型之間的相似性和差異性。本教程還旨在對多模態機器學習的未來研究方向提供一個視角。

//cmu-multicomp-lab.github.io/mmml-tutorial/cvpr2022/

講者：

目錄內容：

1. 介紹

• 什么是多模態?定義，異質性的維度和跨模態的相互作用。
• 歷史觀與多模態研究任務。
• 核心技術挑戰: 表示、對齊、轉移、推理、生成和量化。
• 單模態語言、視覺和聽覺表征。

2. 表示

• 表示融合: 融合策略，多模態自編碼器。
• 表示協調: 對比學習，向量空間模型，典型相關分析。
• 表象裂變: 因式分解、成分分析、解纏。

3. 對齊

• 粒度: 分割、聚類、單元定義。
• 對應: 潛在對齊方法，注意力模型，多模態transformers。
• 依存類型: 圖神經網絡，多實例學習。

4. 推理

• 結構: 層次結構、圖形結構、時序結構和交互結構、結構發現。
• 概念: 密集和神經象征。
• 構成: 因果關系和邏輯關系。
• 知識: 外部知識基礎，常識推理。

5. 生成

• 總結、翻譯、創作。
• 模型評估和倫理問題。

6. 遷移

• 模態轉移: 損失，幻覺，跨模態轉移。
• 基礎模型:預訓練模型和適應。
• 模型歸納:協同訓練，跨模式學習。

7. 量化

輸出質量:泛化、魯棒性、復雜性。 內部機制:可解釋性，理解跨模型交互。 模態權衡: 數據集偏差、社會偏差、理論收益、優化挑戰。

不可錯過！多模態機器學習課程！

多模態機器學習(MMML)是一個充滿活力的多學科研究領域，通過整合和建模多種交流模式(包括語言、視覺和聲學)來解決人工智能的一些最初目標。這一研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模式之間的偶然性經常被發現。本課程是一門研究生水平的課程，涵蓋了多模態機器學習的最新研究論文，包括表示、對齊、推理、生成、協同學習和量化方面的技術挑戰。本課程的主要目標是提高批判性思維能力，了解最新的技術成就，并了解未來的研究方向。

本課程將介紹機器學習和深度學習中與多模態機器學習中的五個主要挑戰相關的基本數學概念:(1)多模態表示學習，(2)平移與映射，(3)模態對齊，(4)多模態融合和(5)協同學習。這些包括但不限于，多模態自動編碼器，深度典型相關分析，多核學習，注意力模型和多模態遞歸神經網絡。本課程還將討論MMML的許多最新應用，包括多模式的情感識別、圖像和視頻字幕以及跨模式的多媒體檢索。

//cmu-multicomp-lab.github.io/adv-mmml-course/spring2022/schedule/

引言

深度學習已經實現了廣泛的應用，并在近年來變得越來越流行。多模態深度學習的目標是創建可以使用各種模態處理和鏈接信息的模型。單模態學習雖然得到了廣泛的發展，但還不能涵蓋人類學習的所有方面。多模態學習有助于更好地理解和分析不同感官參與信息處理的過程。本文著重于多種模態，即圖像、視頻、文本、音頻、身體手勢、面部表情和生理信號。本文詳細分析了過去和當前的基準方法，并對多模態深度學習應用的最新進展進行了深入研究。提出了多種多模態深度學習應用的細粒度分類，并對不同的應用進行了更深入的闡述。還討論了這些應用中使用的架構和數據集，以及它們的評估指標。最后，分別對各個領域的主要問題和未來可能的研究方向進行了重點分析。

//www.zhuanzhi.ai/paper/eaf89268e664a48119b223b0c86a7ed1

概述

機器學習(ML)是近年來研究的熱點。它已經在圖像識別、多媒體概念檢索、社會網絡分析、視頻推薦、文本挖掘等領域得到了廣泛的應用。深度學習(Deep Learning, DL)在這些應用中得到了廣泛的應用[117]。計算技術的指數級增長、不可思議的發展和數據可用性促成了DL研究的興起。DL的成功已經成為解決更復雜的ML問題的一個激勵因素。此外，DL的主要優點是它以分層的形式表示，即它可以通過一個通用的學習過程有效地學習。各種新的DL方法已經被開發出來，并在多個應用中顯示出令人印象深刻的結果，如視覺數據處理、自然語言處理(NLP)、語音和音頻處理，以及許多其他廣為人知的應用。多模態深度學習(Multimodal Deep learning, MMDL)是近年來隨著深度學習的發展而引起的重要研究方向。

我們對周圍事物的體驗是多模態的;我們能看到、聽到、觸摸、聞到和嘗到東西。捕獲對象的多個方面，以圖像、文本、視頻、圖形、聲音等不同媒體形式傳遞信息。模態指定存儲特定類型信息的表示格式。因此，上面提到的各種媒體形式都與模態有關，而這些多模態的共同表示可以定義為multimodal[47]。然而，對人類的全部方面進行建模是不夠的。單模態工作更好的地方，方法的進展需要在一個模式。多模態學習表明，當多種感官參與信息處理時，我們能更好地理解和分析。本文著重討論了各種各樣的模態，本文從MMDL的角度探討了多種模態，包括圖像、視頻、文本、音頻、肢體動作、面部表情和生理信號。MMDL的主要目標是構建一個能夠處理來自不同模式的信息并將其關聯起來的模型。

人工智能(AI)的未來已經被DL徹底改變。它解決了AI社區中存在多年的幾個復雜問題。對于MMDL，快速設計了各種具有不同學習框架的深度架構。機器開發出來了在其他應用領域，如自動駕駛汽車、圖像處理、醫療診斷和預測預測等，表現得與人類相似，甚至更好[129]。MMDL的最新進展和發展趨勢包括視聽語音識別(AVSR)[173]、多模態情感識別[26]、圖像和視頻字幕[58,89]、視覺問答(VQA)[161]、多媒體檢索[134]等.

在本研究中，我們討論了多模態深度學習的最新進展和趨勢。各種DL模型被劃分為不同的應用程序組，并使用多種媒體進行了詳盡的解釋。本文重點介紹了使用圖像、音頻、視頻、文本、身體姿勢、面部表情和生理信號等多種形式的應用，并與之前的相關調查進行了比較。提出了一種新的多模式DL應用的細粒度分類方法。此外，還提供了在這些MMDL應用中使用的體系結構、數據集和評估指標的簡要討論。最后，針對每一組應用分別提出了有待解決的研究問題，并詳細列出了未來可能的研究方向。我們希望我們提出的分類和研究方向將促進未來多模態深度學習的研究，并有助于更好地理解這一特定領域尚未解決的問題。

這新版本的教科書/參考提供了從工程的角度對概率圖模型(PGMs)的介紹。它提供了關于馬爾科夫決策過程、圖模型和深度學習的新材料，以及更多的練習。

這本書涵蓋了PGM的每個主要類的基礎知識，包括表示、推理和學習原理，并回顧了每種類型的模型的實際應用。這些應用來自廣泛的學科，突出了貝葉斯分類器、隱藏馬爾可夫模型、貝葉斯網絡、動態和時間貝葉斯網絡、馬爾可夫隨機場、影響圖和馬爾可夫決策過程的許多使用。

概率圖模型(PGMs)及其在不確定性下進行智能推理的應用出現于20世紀80年代的統計和人工智能推理領域。人工智能的不確定性(UAI)會議成為這一蓬勃發展的研究領域的首要論壇。20歲的時候，我在圣何塞的UAI-92大學第一次見到了恩里克·蘇卡——我們都是研究生——在那里，他展示了他關于高層次視覺推理的關系和時間模型的研究成果。在過去的25年里，Enrique對我們的領域做出了令人印象深刻的研究貢獻，從客觀概率的基礎工作，到開發時態和事件貝葉斯網絡等高級形式的PGMS，再到PGMS的學習，例如，他的最新研究成果是用于多維分類的貝葉斯鏈分類器。

概率圖模型作為一種強大而成熟的不確定性推理技術已被廣泛接受。與早期專家系統中采用的一些特殊方法不同，PGM基于圖和概率論的強大數學基礎。它們可用于廣泛的推理任務，包括預測、監測、診斷、風險評估和決策。在開源軟件和商業軟件中有許多有效的推理和學習算法。此外，它們的力量和功效已通過其成功應用于大量現實世界的問題領域而得到證明。Enrique Sucar是PGM作為實用和有用技術建立的主要貢獻者，他的工作跨越了廣泛的應用領域。這些領域包括醫學、康復和護理、機器人和視覺、教育、可靠性分析以及從石油生產到發電廠的工業應用。

自監督學習由于能夠避免標注大規模數據集的成本而受到歡迎。它能夠采用自定義的偽標簽作為監督，并將學習到的表示用于幾個下游任務。具體來說，對比學習最近已成為計算機視覺、自然語言處理(NLP)等領域的自主監督學習方法的主要組成部分。它的目的是將同一個樣本的增廣版本嵌入到一起，同時試圖將不同樣本中的嵌入推開。這篇論文提供了一個廣泛的自我監督的方法綜述，遵循對比的方法。本研究解釋了在對比學習設置中常用的借口任務，以及到目前為止提出的不同架構。接下來，我們將對圖像分類、目標檢測和動作識別等多個下游任務的不同方法進行性能比較。最后，我們總結了目前方法的局限性和需要進一步的技術和未來方向取得實質性進展。

//arxiv.org/abs/2011.00362

概述：

隨著深度學習技術的發展，它已成為目前大多數智能系統的核心組件之一。深度神經網絡(DNNs)能夠從現有的大量數據中學習豐富的模式，這使得它在大多數計算機視覺(CV)任務(如圖像分類、目標檢測、圖像分割、動作識別)以及自然語言處理(NLP)任務(如句子分類、語言模型、機器翻譯等)中成為一種引人注目的方法。然而，由于手工標注數百萬個數據樣本的工作量很大，從標記數據中學習特征的監督方法已經幾乎達到了飽和。這是因為大多數現代計算機視覺系統(受監督的)都試圖通過查找大型數據集中數據點及其各自注釋之間的模式來學習某種形式的圖像表示。像GRAD-CAM[1]這樣的工作提出了一種技術，可以為模型所做的決策提供可視化的解釋，從而使決策更加透明和可解釋。

傳統的監督學習方法很大程度上依賴于可用的帶注釋的訓練數據的數量。盡管有大量的可用數據，但缺乏注解促使研究人員尋找替代方法來利用它們。這就是自監督方法在推動深度學習的進程中發揮重要作用的地方，它不需要昂貴的標注，也不需要學習數據本身提供監督的特征表示。

監督學習不僅依賴昂貴的注釋，而且還會遇到泛化錯誤、虛假的相關性和對抗攻擊[2]等問題。最近，自監督學習方法集成了生成和對比方法，這些方法能夠利用未標記的數據來學習潛在的表示。一種流行的方法是提出各種各樣的代理任務，利用偽標簽來幫助學習特征。諸如圖像inpainting、灰度圖像著色、拼圖游戲、超分辨率、視頻幀預測、視聽對應等任務已被證明是學習良好表示的有效方法。

生成式模型在2014年引入生成對抗網絡(GANs)[3]后得到普及。這項工作后來成為許多成功架構的基礎，如CycleGAN[4]、StyleGAN[5]、PixelRNN[6]、Text2Image[7]、DiscoGAN [8]等。這些方法激發了更多的研究人員轉向使用無標簽數據在自監督的設置下訓練深度學習模型。盡管取得了成功，研究人員開始意識到基于GAN的方法的一些并發癥。它們很難訓練，主要有兩個原因: (a)不收斂——模型參數發散很多，很少收斂; (b)鑒別器太過成功，導致生成網絡無法產生類似真實的假信號，導致學習無法繼續。此外，生成器和判別器之間需要適當的同步，以防止判別器收斂和生成器發散。

多模態機器學習(MMML)是一個充滿活力的多學科研究領域，通過整合和建模多種交流模態(包括語言、聲音和視覺信息)來實現人工智能的一些原始目標。隨著對視聽語音識別的初步研究，以及最近的語言和視覺項目，如圖像和視頻字幕，這個研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模式之間經常發現的偶然性。本課程將教授與MMML相關的基本數學概念，包括多模態對齊與融合、異質表示學習和多流時間建模。我們還將回顧最近描述最先進的MMML概率模型和計算算法的論文，并討論當前和即將面臨的挑戰。

本課程將介紹機器學習和深度學習中與多模態機器學習中的五個主要挑戰相關的基本數學概念:(1)多模態表示學習，(2)平移與映射，(3)模態對齊，(4)多模態融合和(5)協同學習。這些包括但不限于，多模態自動編碼器，深度典型相關分析，多核學習，注意力模型和多模態遞歸神經網絡。本課程還將討論MMML的許多最新應用，包括多模式的情感識別、圖像和視頻字幕以及跨模式的多媒體檢索。

課程目錄:

• 課程導論
• 多模態應用與數據集
• 基本概念：神經網絡
• 網絡優化
• 視覺單模態表示學習
• 語言單模態表示學習
• 多模態表示學習
• 多模態對齊
• 結構化表示
• 概率圖模型
• 判別性圖模型
• 神經生成模型
• 強化學習
• 多模態強化學習
• 融合與協同學習
• 多語言表示學習