亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

不可錯過！多模態機器學習綜述！

多模態機器學習是一個充滿活力的多學科研究領域，旨在通過整合多種交流模態，包括語言、聲學、視覺、觸覺和生理信息，設計具有理解、推理和學習等智能能力的計算機智能體。隨著最近人們對視頻理解、具身化自主智能體、文本到圖像生成以及醫療健康和機器人等應用領域的多傳感器融合的興趣，多模態機器學習給機器學習社區帶來了獨特的計算和理論挑戰，因為數據源的異質性和模式之間經常發現的相互聯系。然而，多模態研究的廣泛進展使得很難確定該領域的共同主題和開放問題。通過從歷史和最近的角度綜合廣泛的應用領域和理論框架，本文旨在提供一個多模態機器學習的計算和理論基礎的概述。我們首先定義了驅動后續創新的模態異質性和相互聯系的兩個關鍵原則，并提出了6個核心技術挑戰的分類: 表征、對齊、推理、生成、轉移和涵蓋歷史和近期趨勢的量化。最新的技術成果將通過這種分類法來展示，讓研究人員了解新方法的異同。最后，我們提出了幾個由我們的分類法確定的開放問題，以供未來研究。

//www.zhuanzhi.ai/paper/8a72b76a98720eeeaefee000936eb11e

開發具有智能能力的計算機智能體一直是人工智能的一個宏偉目標，如通過多模態經驗和數據進行理解、推理和學習，就像我們人類使用多種感官模式感知世界的方式一樣。隨著近年來在具身自主代理[77,512]、自動駕駛汽車[647]、圖像和視頻理解[16,482,557]、文本到圖像生成[486]以及機器人[335,493]和醫療健康[281,357]等應用領域的多傳感器融合方面的進展，我們現在比以往任何時候都更接近能夠集成許多感官形態并從中學習的智能體。多模態機器學習這一充滿活力的多學科研究領域帶來了獨特的挑戰，因為數據的異質性和通常在模態之間發現的相互聯系，并在多媒體[351,435]、情感計算[353,476]、機器人[308,334]、人機交互[445,519]和醫療健康[85,425]中有廣泛的應用。 然而，多模態研究的進展速度使得很難確定歷史和近期工作的共同主題，以及該領域的關鍵開放問題。通過從歷史和最近的角度綜合廣泛的應用領域和理論見解，本文旨在提供多模態機器學習的方法論、計算和理論基礎的概述，這很好地補充了最近在視覺和語言[603]、語言和強化學習[382]、多媒體分析[40]和人機交互[269]等面向應用的研究。

圖1:多模態學習的核心研究挑戰:(1)表示研究如何表示和總結多模態數據，以反映單個模態元素之間的異質性和相互聯系。(2)對齊旨在識別所有元素之間的聯系和相互作用。(3)推理的目的是將多模態證據組合成知識，通常通過對一個任務的多個推理步驟。(4)生成包括學習生成過程，以產生反映跨模態交互、結構和一致性的原始模態。(5)遷移旨在在模態及其表示之間遷移知識。(6)量化包括實證和理論研究，以更好地理解異質性、相互聯系和多模態學習過程。

為了建立多模態機器學習的基礎，我們首先為數據模式和多模態研究的定義奠定基礎，然后確定驅動后續技術挑戰和創新的兩個關鍵原則:(1)模態是異質的，因為在不同模態中出現的信息往往表現出不同的質量、結構和表征;(2)模態是相互聯系的，因為它們經常相關、共享共性，或在用于任務推斷時相互作用產生新信息。基于這些定義，我們提出了多模態機器學習中的六個核心挑戰的新分類:表示、對齊、推理、生成、遷移和量化(見圖1)。這些構成了傳統單模態機器學習中研究不足的核心多模態技術挑戰，為了推動該領域向前發展，需要解決這些挑戰:

1. 表征: 我們能學習反映個體模態元素之間的異質性和相互聯系的表征嗎?本文將涵蓋以下基本方法:(1)表示融合:整合來自2個或更多模態的信息，有效減少單獨表示的數量;(2)表示協調:互換跨模態信息，目標是保持相同的表示數量，但改善多模態語境化;創建一個新的不相交的表示集，其數量通常大于輸入集，反映有關內部結構的知識，如數據聚類或因子分解。

2. 對齊:我們如何識別樣式元素之間的連接和交互?模態之間的對齊具有挑戰性，涉及(1)識別模態元素之間的連接，(2)上下文表示學習以捕獲模態連接和交互，以及(3)處理具有歧義分割的模態輸入。

3. 推理被定義為從多模態證據中組合知識，通常通過多個推理步驟，為特定任務開發多模態對齊和問題結構。這種關系通常遵循某種層次結構，更抽象的概念在層次結構中被定義為較不抽象的概念的函數。推理包括(1)對推理發生的結構建模，(2)推理過程中的中間概念，(3)理解更抽象概念的推理范式，(4)在結構、概念和推理的研究中利用大規模的外部知識。

4. 生成:第四個挑戰涉及學習生成過程，以生成反映每個模態的獨特異質性和模態之間的相互聯系的原始模態。我們將其子挑戰分類為:(1)總結:總結多模態數據以減少信息內容，同時突出輸入中最突出的部分;(2)翻譯:從一種模態轉換到另一種模態并保持信息內容，同時與跨模態交互保持一致;(3)創造:同時生成多個模態以增加信息內容，同時保持模態內部和跨模態的一致性。

5. 遷移旨在在模態及其表示之間遷移知識，通常用于幫助可能有噪聲或資源有限的目標模態。以以下算法為例:(1)跨模態遷移:使模型適應涉及主要模態的下游任務;(2)共同學習:通過在兩種模態之間共享表示空間，將信息從次要模態轉移到主要模態;保持單個單模態模型獨立，但在這些模型之間傳遞信息，從一種模態學到的知識(例如，預測的標簽或表示)如何幫助以另一種模態訓練的計算模型?

6. 量化: 第六個挑戰涉及實證和理論研究，以更好地理解異質性、模態相互聯系和多模態學習過程。量化旨在理解(1)多模態數據集的異質性維度以及它們如何影響建模和學習，(2)多模態數據集和訓練過的模型中模態連接和交互的存在和類型，以及(3)異構數據涉及的學習和優化挑戰。 最后，我們對多模態學習的未來研究方向提出了一個長遠的展望。

【課程描述】

在現實世界系統中部署機器學習需要一套互補的技術，以確保機器學習是值得信賴的。在這里，信任的概念被廣泛使用：該課程涵蓋了與機器學習中更廣泛的安全和隱私研究相關的新興研究領域的不同主題。學生將了解利用機器學習對計算機系統進行的攻擊，以及減輕此類攻擊的防御技術。

本課程假設學生已經對機器學習有基本的了解。學生將熟悉來自不同研究團體調查這些問題的新興文獻。該課程旨在幫助學生探索新的研究方向和應用。大部分課程閱讀將來自該領域的開創性和最近的論文。這門課不需要教科書。筆記和幻燈片以及研究論文將構成本課程中使用的材料。這些鏈接將在下面的時間表中提供。

【課程主題】

機器學習是指通過經驗自動提高性能的計算機程序(例如，學習識別人臉、推薦音樂和電影，以及駕駛自動機器人的程序)。本課程從不同的角度涵蓋了機器學習的理論和實際算法。我們涵蓋的主題如貝葉斯網絡，決策樹學習，支持向量機，統計學習方法，無監督學習和強化學習。本課程涵蓋了歸納偏差、PAC學習框架、貝葉斯學習方法、基于邊際的學習和奧卡姆剃刀等理論概念。編程作業包括各種學習算法的動手實驗。本課程旨在為研究生提供機器學習研究人員目前所需要的方法學、技術、數學和算法的全面基礎知識。

通過學習這門課程，能夠獲取：

實現和分析現有的學習算法，包括學習良好的分類、回歸、結構化預測、聚類和表示學習方法 將實際機器學習的多個方面整合到一個系統中:數據預處理、學習、正則化和模型選擇 描述用于學習的模型和算法的形式屬性，并解釋這些結果的實際含義 比較和對比不同的學習模式(有監督的，無監督的，等等) 設計實驗來評估和比較現實問題中不同的機器學習技術 運用概率、統計學、微積分、線性代數和最優化來開發新的預測模型或學習方法 給出ML技術的描述，分析它以確定(1)形式主義的表達能力;(2)算法隱含的歸納偏差;(3)搜索空間的大小和復雜度;(5)關于終止、收斂、正確性、準確性或泛化能力的任何保證(或缺乏保證)。

課程地址：

//www.cs.cmu.edu/~mgormley/courses/10601/

CS391R: Robot Learning

機器人和自動系統在現代經濟中扮演著重要的角色。定制機器人極大地提高了生產率、操作安全性和產品質量。然而，這些機器人通常是在良好控制的環境中為特定任務編程，而不能在現實世界中執行不同的任務。我們怎樣才能把機器人從受約束的環境中帶到我們的日常生活中，作為我們的伴侶和助手來幫助我們完成各種現實生活中的任務?它要求一種新型的通用自主機器人，機器人通過感知來理解世界，并據此做出明智的決策。本課程研究了作為智能代理的自主機器人的現代機器學習和人工智能算法。它涵蓋了圍繞以下原則和技術的高級主題:1) 機器人如何從原始的感官數據感知非結構化的環境，2)機器人如何根據其感知做出決策，3)機器人如何在物理世界中主動地、持續地學習和適應。

//www.cs.utexas.edu/~yukez/cs391r_fall2021/index.html

在人工智能、統計學、計算機系統、計算機視覺、自然語言處理和計算生物學等許多領域中，許多問題都可以被視為從局部信息中尋找一致的全局結論。概率圖模型框架為這一范圍廣泛的問題提供了一個統一的視圖，能夠在具有大量屬性和巨大數據集的問題中進行有效的推理、決策和學習。這門研究生水平的課程將為您在復雜問題中運用圖模型中解決核心研究主題提供堅實的基礎。本課程將涵蓋三個方面: 核心表示，包括貝葉斯網絡和馬爾科夫網絡，以及動態貝葉斯網絡;概率推理算法，包括精確和近似; 以及圖模型的參數和結構的學習方法。進入這門課程的學生應該預先具備概率、統計學和算法的工作知識，盡管這門課程的設計是為了讓有較強數學背景的學生趕上并充分參與。希望通過本課程的學習，學生能夠獲得足夠的實際應用的多變量概率建模和推理的工作知識，能夠用通用模型在自己的領域內制定和解決廣泛的問題。并且可以自己進入更專業的技術文獻。

以深度神經網絡為代表的“深度學習”系統正越來越多地接管所有人工智能任務，從語言理解、語音和圖像識別，到機器翻譯、規劃，甚至是游戲和自動駕駛。因此，在許多高級學術機構中，深度學習的專業知識正從深奧的要求迅速轉變為強制性的先決條件，并成為工業就業市場的一大優勢。

在本課程中，我們將學習深度神經網絡的基礎知識，以及它們在各種人工智能任務中的應用。在本課程結束時，預計學生將對這門學科非常熟悉，并能夠將深度學習應用于各種任務。他們也將被定位去理解關于這個主題的許多當前的文獻，并通過進一步的學習來擴展他們的知識。

如果你只對課程感興趣，你可以在YouTube頻道上觀看。

//deeplearning.cs.cmu.edu/F20/

CS391R: Robot Learning

機器人和自動系統在現代經濟中扮演著重要的角色。定制機器人極大地提高了生產率、操作安全性和產品質量。然而，這些機器人通常是在良好控制的環境中為特定任務編程，而不能在現實世界中執行不同的任務。我們怎樣才能把機器人從受約束的環境中帶到我們的日常生活中，作為我們的伴侶和助手來幫助我們完成各種現實生活中的任務?它要求一種新型的通用自主機器人，機器人通過感知來理解世界，并據此做出明智的決策。本課程研究了作為智能代理的自主機器人的現代機器學習和人工智能算法。它涵蓋了圍繞以下原則和技術的高級主題:1) 機器人如何從原始的感官數據感知非結構化的環境，2)機器人如何根據其感知做出決策，3)機器人如何在物理世界中主動地、持續地學習和適應。

//www.cs.utexas.edu/~yukez/cs391r_fall2020/index.html

課程目錄：

• Introduction: Towards General-Purpose Robot Autonomy
• Overview of Robot Perception
• Object Detection
• 3D Data Processing
• Representation Learning I: Priors
• Representation Learning II: Motions
• Multimodal Perception
• Recursive State Estimation
• Pose Estimation
• Visual Tracking
• Active Perception
• Overview of Robot Decision Making
• Model-free Reinforcement Learning
• Model-based Reinforcement Learning
• Imitation as Supervised Learning
• Inverse Reinforcement Learning
• Adversarial Imitation Learning
• Learning to Learn I: Meta-Learning
• Learning to Learn II: Lifelong Learning
• Compositionality II: Task and Motion
• Causal Reasoning
• Simulation-Reality Gap
• Data-driven Grasping
• Building Robotic Systems
• Conclusion: Open Questions in Robot Learning

多模態機器學習(MMML)是一個充滿活力的多學科研究領域，通過整合和建模多種交流模態(包括語言、聲音和視覺信息)來實現人工智能的一些原始目標。隨著對視聽語音識別的初步研究，以及最近的語言和視覺項目，如圖像和視頻字幕，這個研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模式之間經常發現的偶然性。本課程將教授與MMML相關的基本數學概念，包括多模態對齊與融合、異質表示學習和多流時間建模。我們還將回顧最近描述最先進的MMML概率模型和計算算法的論文，并討論當前和即將面臨的挑戰。

本課程將介紹機器學習和深度學習中與多模態機器學習中的五個主要挑戰相關的基本數學概念:(1)多模態表示學習，(2)平移與映射，(3)模態對齊，(4)多模態融合和(5)協同學習。這些包括但不限于，多模態自動編碼器，深度典型相關分析，多核學習，注意力模型和多模態遞歸神經網絡。本課程還將討論MMML的許多最新應用，包括多模式的情感識別、圖像和視頻字幕以及跨模式的多媒體檢索。

課程目錄:

• 課程導論
• 多模態應用與數據集
• 基本概念：神經網絡
• 網絡優化
• 視覺單模態表示學習
• 語言單模態表示學習
• 多模態表示學習
• 多模態對齊
• 結構化表示
• 概率圖模型
• 判別性圖模型
• 神經生成模型
• 強化學習
• 多模態強化學習
• 融合與協同學習
• 多語言表示學習

本文為大家帶來了一份斯坦福大學的最新課程CS234——強化學習，主講人是斯坦福大學Emma Brunskill，她是斯坦福大學計算機科學助理教授，任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組，主要研究強化學習。要實現人工智能的夢想和影響，需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例，它與大量的任務相關，包括機器人、游戲、消費者建模和醫療保健。本課程通過講課、書面作業和編碼作業的結合，學生將精通強化學習的關鍵思想和技術。

1.課程介紹(Description)

要實現人工智能的夢想和影響，需要能夠學會做出正確決策的自主系統。強化學習是這樣做的一個強有力的范例，它與大量的任務相關，包括機器人、游戲、消費者建模和醫療保健。本課程將為強化學習領域提供扎實的介紹，學生將學習包括通用化和探索在內的核心挑戰和方法。通過講課、書面作業和編碼作業的結合，學生將精通強化學習的關鍵思想和技術。作業將包括強化學習和深度強化學習的基礎，這是一個極有前途的新領域，將深度學習技術與強化學習相結合。此外，學生將通過期末專題來增進對強化學習領域的理解。

課程地址：

//web.stanford.edu/class/cs234/schedule.html

2.預備知識(Prerequisites)

1）熟練Python

所有的課程都將使用Python(使用numpy和Tensorflow，也可以使用Keras)。這里有一個針對那些不太熟悉Python的人的教程。如果你有很多使用不同語言(如C/ c++ / Matlab/ Javascript)的編程經驗，可能會很好。

2）大學微積分，線性代數(如 MATH 51, CME 100)

你應該能夠熟練地進行(多變量)求導，理解矩陣/向量符號和運算。

3）基本概率及統計(例如CS 109 或同等課程)

你應該了解基本的概率，高斯分布，均值，標準差等。

4）機器學習基礎

我們將闡述成本函數，求導數，用梯度下降法進行優化。CS 221或CS 229均可涵蓋此背景。使用一些凸優化知識，一些優化技巧將更加直觀。

3.主講：Emma Brunskill

Emma Brunskill是斯坦福大學計算機科學助理教授，任職斯坦福大學人類影響力實驗室、斯坦福人工智能實驗室以及統計機器學習小組。

主要研究強化學習系統，以幫助人們更好地生活。并處理一些關鍵技術。最近的研究重點包括：1）有效強化學習的基礎。一個關鍵的挑戰是要了解代理商如何平衡勘探與開發之間的局限性。2）如果要進行順序決策，該怎么辦。利用巨大數量的數據來改善在醫療保健，教育，維護和許多其他應用程序中做出的決策，這是一個巨大的機會。這樣做需要假設/反事實推理，以便在做出不同決定時對潛在結果進行推理。3）人在回路系統。人工智能具有極大地擴大人類智能和效率的潛力。我們正在開發一個系統，用其他眾包商（CHI 2016）生產的（機器）固化材料對眾包商進行訓練，并確定何時擴展系統規格以包括新內容（AAAI 2017）或傳感器。我們也有興趣研究確保機器學習系統在人類用戶的意圖方面表現良好（Arxiv 2017），也被稱為安全和公平的機器學習。

個人主頁：

4.課程安排

01: 強化學習導論(Introduction to Reinforcement Learning)

02: 表格MDP規劃(Tabular MDP planning)

03: 表格RL政策評估(Tabular RL policy evaluation)

04: Q-learning

05: 帶函數逼近的強化學習(RL with function approximation)

06: 帶函數逼近的強化學習(RL with function approximation)

07: 帶函數逼近的強化學習(RL with function approximation)

08: 從馬爾可夫決策過程到強化學習(Policy search)

09: 從馬爾可夫決策過程到強化學習(Policy search)

10: 課堂中期(In-class Midterm)

11: 模仿學習/探索(Imitation learning/Exploration)

12: 探索/開發(Exploration/Exploitation)

13: 探索/開發(Exploration/Exploitation)

14: 批處理強化學習(Batch Reinforcement Learning)

15: 嘉賓講座:Craig Boutilier(Guest Lecture: Craig Boutilier)

16: 課堂測驗(In-class Quiz)

17: 蒙特卡洛樹搜索算法(Monte Carlo Tree Search)

18: 墻報展示(Poster presentations)