最優傳輸理論是連接幾何和概率的橋梁, 它用幾何的方法為概率分布的建模和衡量概率分布之間的距離提供了強有力的工具。 最近,最優傳輸理論的概念和方法日益滲透進機器學習領域,為機器學習原理的解釋提供了新的視角,為機器學習算法的改進提供了新的指導方向。
麥吉爾大學Kilian Fatras博士最新《最優傳輸導論》教程,63頁PPT。
EPFL的Lenka Zdeborová教授在UAI2021上的keynote報告《貝葉斯最優學習》
最優傳輸(OT)提供了一種強大而靈活的方法來比較各種形狀的概率度量:絕對連續的、退化的或離散的。最優傳輸(Optimal Transport)是多個學科交叉的研究領域,包括概率、分析以及優化等。最優傳輸研究的主要目標是建立有效比較概率分布的幾何工具。
許多ML任務與信號處理有共同的實際目標和理論基礎(例如,光譜和核方法、微分方程系統、順序采樣技術和控制理論)。信號處理方法是ML許多子領域中不可分割的一部分,例如,強化學習,哈密頓蒙特卡洛,高斯過程(GP)模型,貝葉斯優化,神經ODEs /SDEs。
本教程旨在涵蓋與離散時間和連續時間信號處理方法相聯系的機器學習方面。重點介紹了隨機微分方程(SDEs)、狀態空間模型和高斯過程模型的遞推估計(貝葉斯濾波和平滑)。目標是介紹基本原則之間的直接聯系信號處理和機器學習, (2) 提供一個直觀的實踐理解隨機微分方程都是關于什么, (3) 展示了這些方法在加速學習的真正好處,提高推理,模型建立,演示和實際應用例子。這將展示ML如何利用現有理論來改進和加速研究,并為從事這些方法交叉工作的ICML社區成員提供統一的概述。
本教程對基于模型的強化學習(MBRL)領域進行了廣泛的概述,特別強調了深度方法。MBRL方法利用環境模型來進行決策——而不是將環境視為一個黑箱——并且提供了超越無模型RL的獨特機會和挑戰。我們將討論學習過渡和獎勵模式的方法,如何有效地使用這些模式來做出更好的決策,以及規劃和學習之間的關系。我們還強調了在典型的RL設置之外利用世界模型的方式,以及在設計未來的MBRL系統時,從人類認知中可以得到什么啟示。
//sites.google.com/view/mbrl-tutorial
近年來,強化學習領域取得了令人印象深刻的成果,但主要集中在無模型方法上。然而,社區認識到純無模型方法的局限性,從高樣本復雜性、需要對不安全的結果進行抽樣,到穩定性和再現性問題。相比之下,盡管基于模型的方法在機器人、工程、認知和神經科學等領域具有很大的影響力,但在機器學習社區中,這些方法的開發還不夠充分(但發展迅速)。它們提供了一系列獨特的優勢和挑戰,以及互補的數學工具。本教程的目的是使基于模型的方法更被機器學習社區所認可和接受。鑒于最近基于模型的規劃的成功應用,如AlphaGo,我們認為對這一主題的全面理解是非常及時的需求。在教程結束時,觀眾應該獲得:
本文推薦來自Emanuele Rodolà博士講述《幾何深度學習》,100頁ppt系統性講述了幾何深度學習基礎知識和最新進展,非常干貨。 //lcsl.mit.edu/courses/regml/regml2020/
幾何深度學習
過去十年在計算機視覺研究已經見證了“深度學習”的重新崛起,特別是卷積神經網絡(CNN)技術, 它允許從大量的樣例中學習強大的圖像特征表示。CNNs在圖像分類、分割、檢測和標注等廣泛的應用中取得了性能上的突破。然而,當試圖將CNN范式應用于三維形狀、點云和圖形(基于特征的描述、相似度、對應、檢索等)時,必須面對圖像與幾何對象之間的根本差異。形狀分析、圖形分析和幾何處理帶來了圖像分析中不存在的新挑戰,而深度學習方法直到最近才開始滲透到這些領域。本教程的目的是概述非歐幾里得數據學習技術的基礎和目前的技術現狀。本教程將特別關注應用于歐氏和非歐氏流形的深度學習技術(CNN),以完成形狀分類、檢索和對應的任務。本教程將從新的角度介紹3D計算機視覺和幾何數據處理的問題,強調與傳統2D設置的類比和區別,并展示如何適應流行的學習方案,以處理非歐幾里得結構。
【導讀】來自Jordi Pons一份循環神經網絡RNNs簡明教程,37頁ppt