最優傳輸(OT)提供了一種強大而靈活的方法來比較各種形狀的概率度量:絕對連續的、退化的或離散的。最優傳輸(Optimal Transport)是多個學科交叉的研究領域,包括概率、分析以及優化等。最優傳輸研究的主要目標是建立有效比較概率分布的幾何工具。
對機器學習優化和無約束凸優化進行簡明導論介紹。
延遲問題是驅使許多公司從云轉移到邊緣的原因。“邊緣智能”(edge AI)或“邊緣機器學習”指的是,數據通過存儲在硬件設備上的算法在本地進行處理,而不是通過位于云中的算法進行處理。這不僅使實時操作成為可能,而且還有助于顯著降低與處理云數據相關的功耗和安全漏洞。
本課程深入介紹機器學習中的數學理論、算法和核方法的應用。該課程是為研究生開設的,由Julien Mairal和Jean-Philippe Vert于2021年教授,是巴黎高等師范學院“數學、計算機視覺和機器學習”碩士課程的一部分。
//members.cbio.mines-paristech.fr/~jvert/svn/kernelcourse/course/2021mva/index.html
機器學習在現實世界應用中的許多問題可以被形式化為經典的統計問題,例如模式識別、回歸或降維,但要注意的是數據通常不是數字的向量。例如,計算生物學中的蛋白質序列和結構、web挖掘中的文本和XML文檔、圖像處理中的分割圖像、語音識別和金融中的時間序列,都具有包含統計問題相關信息但難以編碼為有限維向量表示的特定結構。
內核方法是一類非常適合于此類問題的算法。實際上,它們將最初為向量設計的許多統計方法的適用性擴展到了幾乎任何類型的數據,而不需要對數據進行明確的向量化。向非向量擴展的代價是需要在對象之間定義一個所謂的正定核函數,形式上相當于數據的隱式向量化。近年來,各種對象內核設計的“藝術”取得了重要的進展,產生了許多最先進的算法,并在許多領域獲得了成功的應用。
本課程的目的是介紹核方法的數學基礎,以及到目前為止在核設計中出現的主要方法。我們將首先介紹正定核的理論和重建核希爾伯特空間,這將允許我們介紹幾種核方法,包括核主成分分析和支持向量機。然后我們再回到定義內核的問題。我們將介紹關于Mercer核和半群核的主要結果,以及字符串和圖的核的一些例子,從計算生物學的應用,文本處理和圖像分析。最后,我們將討論一些活躍的研究課題,如大規模核方法和深度核機器。
不確定性的概念在機器學習中是非常重要的,并且構成了現代機器學習方法論的一個關鍵元素。近年來,由于機器學習與實際應用的相關性越來越大,它的重要性也越來越大,其中許多應用都伴隨著安全要求。在這方面,機器學習學者們發現了新的問題和挑戰,需要新的方法發展。事實上,長期以來,不確定性幾乎被視為標準概率和概率預測的同義詞,而最近的研究已經超越了傳統的方法,也利用了更一般的形式主義和不確定性計算。例如,不確定性的不同來源和類型之間的區別,例如任意不確定性和認知不確定性,在許多機器學習應用中被證明是有用的。講習班將特別注意這方面的最新發展。
綜述論文:
不確定性的概念在機器學習中是非常重要的,并且構成了機器學習方法的一個關鍵元素。按照統計傳統,不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而,由于機器學習與實際應用和安全要求等相關問題的相關性穩步上升,機器學習學者最近發現了新的問題和挑戰,而這些問題可能需要新的方法發展。特別地,這包括區分(至少)兩種不同類型的不確定性的重要性,通常被稱為任意的和認知的。在這篇論文中,我們提供了機器學習中的不確定性主題的介紹,以及到目前為止在處理一般不確定性方面的嘗試的概述,并特別將這種區別形式化。
現代機器學習有兩個明顯的特點:它可以非常強大,也可以非常脆弱。前者不需要贅述。后者指的是現代機器學習算法的性能敏感地依賴于超參數的選擇。這個演講集中在機器學習的連續公式是“適定的”。我們將機器學習和相關的優化過程描述為表現良好的變分問題和類偏微分問題,并證明一些最流行的現代機器學習算法可以作為這些連續問題的離散化恢復。實驗結果表明,該方法對不同的超參數選擇具有更強的魯棒性。我們還討論了如何在這個框架下開發新的算法。
生成式模型是以圖模型和概率編程語言中的概率推理的重要范式。神經網絡對這些模型的參數化和基于梯度的隨機優化技術的進步使得高維數據的可擴展建模成為可能。
本教程的前半部分將全面回顧深度生成模型的主要家族,包括生成對抗網絡、變分自編碼器、標準化流和自回歸模型。對于每一個模型,我們將討論概率公式,學習算法,以及與其他模型的關系。本教程的后半部分將演示在科學發現中使用深度生成模型的方法,例如材料和藥物發現、壓縮感知等等。最后,我們將討論該領域目前的挑戰和未來研究的前景。
//dl4sci-school.lbl.gov/agenda
機器學習暑期學校(MLSS)系列開始于2002年,致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行,從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自牛津大學Yee Whye Teh教授講述《元學習》,165頁ppt系統性講述了元學習基礎知識和最新進展,非常干貨。
地址: //mlss.tuebingen.mpg.de/2020/schedule.html
作者介紹
Yee Whye Teh是牛津大學統計學系的統計機器學習教授,也是DeepMind研究人工智能的科學家。他在多倫多大學(Geoffrey E. Hinton教授)獲得博士學位,并在加州大學伯克利分校(Michael I. Jordan教授)和新加坡國立大學(Lee Kuan Yew博士后研究員)從事博士后工作。在進入牛津大學和DeepMind之前,他是一名講師,后來在倫敦大學學院(UCL)蓋茨比計算神經科學單元(Gatsby computing Neuroscience Unit)擔任讀者。他計劃聯合主席(Michael Titterington教授)人工智能國際會議和統計(AISTATS) 2010年,項目主持國際會議(Precup試圖教授)在2017年機器學習(ICML),和am /貝葉斯分析的副主編,IEEE模式分析與機器智能,機器學習日報,統計科學,英國皇家統計學會期刊B輯和機器學習研究期刊。他曾多次擔任NIPS、ICML和AISTATS的區域主席。他的研究興趣橫跨機器學習和計算統計學,包括概率方法、貝葉斯非參數學和深度學習。他開發了新穎的模型以及高效的推理和學習算法。
人類的視覺系統證明,用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說,這種能力來自于看到了數百萬個其他類別,并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系,以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的,所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程,例如,一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸,并保證最終模型的性能。