最優傳輸理論是連接幾何和概率的橋梁， 它用幾何的方法為概率分布的建模和衡量概 率分布之間的距離提供了強有力的工具。最 近，最優傳輸理論的概念和方法日益滲透進 機器學習領域，為機器學習原理的解釋提供 了新的視角，為機器學習算法的改進提供了新的指導方向。
來自Google AI的Marco Cuturi介紹最優傳輸理論的基本概念和原 理，解釋如何用最優傳輸理論的框架給出機器學習原理和特點的最優傳輸理論闡釋。
付費5元查看完整內容
相關內容
We present a framework for performing regression when both covariate and response are probability distributions on a compact interval $\Omega\subset\mathbb{R}$. Our regression model is based on the theory of optimal transportation and links the conditional Fr\'echet mean of the response distribution to the covariate distribution via an optimal transport map. We define a Fr\'echet-least-squares estimator of this regression map, and establish its consistency and rate of convergence to the true map, under both full and partial observation of the regression pairs. Computation of the estimator is shown to reduce to an isotonic regression problem, and thus our regression model can be implemented with ease. We illustrate our methodology using real and simulated data.
來自Google Balaji Lakshminarayanan對深度學習異常檢測做了細致講解，值得關注!
付費5元查看完整內容
【導讀】每年，CIFAR深度學習+強化學習(DLRL)暑期學校都會聚集研究生、博士后和專業人士，涵蓋深度學習和強化學習的基礎研究、新進展和現實應用。2021年DLRL暑期學校將于2021年7月26日至31日舉行。這所學校由CIFAR主辦，與我們的三個國家人工智能研究所合作:埃德蒙頓的Amii、蒙特利爾的Mila和多倫多的Vector研究所。
來自Google研究院Balaji Lakshminarayanan講述了《深度學習不確定》的報告，值得關注！
對深度學習中的不確定性進行量化是一個具有挑戰性且尚未解決的問題。預測的不確定性估計對于知道何時信任模型的預測是很重要的，特別是在實際應用中，在實際應用中，訓練和測試分布可能是非常不同的。報告的第一部分將集中于檢測分布外輸入(OOD)。深度生成模型被認為對OOD輸入更魯棒，但我將給出反例，其中生成模型可以為OOD輸入分配比訓練數據更高的可能性。具體來說，我們發現，在一個數據集(如CIFAR-10)上訓練的深度生成模型的模型密度賦予來自另一個數據集(如SVHN)的OOD輸入更高的可能性。我將討論一些最近的后續工作，其中我們將進一步詳細研究這些失效模式，并提出解決方案。演講的第二部分將集中討論判別模型的預測不確定性估計。我將討論我們在數據集漂移下校準的大規模基準研究的結果，并介紹我們在推進漂移校準的最先進一些工作。
Balaji Lakshminarayanan目前是谷歌Brain的研究人員。他最近的研究集中在概率深度學習，特別是不確定性估計，非分布魯棒性和深度生成模型。
付費5元查看完整內容
最優傳輸(OT)提供了一種強大而靈活的方法來比較各種形狀的概率度量:絕對連續的、退化的或離散的。最優傳輸（Optimal Transport）是多個學科交叉的研究領域，包括概率、分析以及優化等。最優傳輸研究的主要目標是建立有效比較概率分布的幾何工具。
付費5元查看完整內容
哥倫比亞大學Elias Bareinboim副教授ICML 2020教程《因果強化學習》！
因果推理提供了一套工具和原則，允許人們結合數據和環境的結構不變性來推理反事實性質的問題。如果現實不是這樣，會發生什么呢? 即使想象中的現實沒有數據可用。強化學習關心的是在交互和不確定的環境中有效地找到一個優化特定功能的策略(例如，獎勵，后悔)。這兩個學科是獨立發展的，它們之間幾乎沒有相互作用。然而，在現實中，它們對同一個構建塊的不同方面進行操作，這使得他們緊密相連。
在本教程中，我們將基于這一觀察結果引入統一的處理方法，并將這兩個學科置于相同的概念和理論框架下。我們表明，當這一聯系完全建立時，就會出現許多自然的和普遍的學習問題，而這不能單獨從任何一個學科中看到。特別地，我們將討論廣義策略學習(在線、非策略和做微積分學習的組合)、何時何地干預、反事實決策(自由意志、自主、人與人工智能協作)、策略通用性和因果模仿學習等等。這種新的理解導致了對什么是反事實學習的更廣泛的觀點，并暗示了因果關系和強化學習并行研究的巨大潛力。我們稱這種新的研究為“因果強化學習”(簡稱CRL)。
地址：
付費5元查看完整內容
圖神經網絡
·
當前的圖神經網絡(GNN)簡單地將節點嵌入到聚合的圖表示中——可能會丟失結構或語義信息。我們在這里介紹了OT-GNN，它通過GNN節點嵌入集合與“原型”點云之間的最佳傳輸距離作為自由參數來計算圖嵌入。這允許不同的原型突出顯示不同圖子部分的關鍵方面。證明了點云上的函數類滿足一個通用的近似定理，這是一個由于和和而失去的基本性質。然而，根據經驗，該模型在訓練過程中有一種崩潰回標準聚合的自然趨勢。我們通過提出一種有效的噪聲對比調節器來解決這一優化問題，從而使模型朝著真正挖掘最優運輸幾何的方向發展。我們的模型在幾個分子性質預測任務上始終表現出更好的泛化性能，也產生更平滑的表示。
付費5元查看完整內容
報告主題：A Geometric View of Optimal Transportation and Generative Adversarial Networks (GANs)
報告摘要：這項工作介紹了生成對抗網絡（GAN）的最佳運輸（OT）視圖。自然數據集具有內在模式，可以概括為流形分布原理：一類數據的分布接近于低維流形。 GAN主要完成兩項任務：流形學習和概率分布轉換。后者可以使用經典的最佳運輸方法進行。 從OT的角度來看，生成器計算最佳運輸圖，鑒別器計算生成的分布與實際數據分布之間的Wasserstein距離，兩者都可以簡化為凸幾何優化過程。此外，OT理論發現了生成器和鑒別器之間的內在協作關系而不是競爭關系，以及模式崩潰的根本原因。 此外，我們提出了一種新穎的生成模型，該模型使用自動編碼器進行流形學習，并使用OT映射進行分布轉換。 AE-OT模型提高了理論上的嚴格性和透明度，還提高了計算的穩定性和效率，尤其是消除了模式崩潰。實驗結果驗證了我們的假設，并證明了我們提出的模型的優勢。
邀請嘉賓：顧險峰，清華大學計算機系學士，哈佛大學博士，師承國際著名數學大師丘成桐先生。現為美國紐約州立大學石溪分校計算機系終身教授，曾獲美國NSFCAREER獎，中國海外杰青，“華人菲爾茲獎”-晨興應用數學金獎等。顧險峰教授團隊將微分幾何、代數拓撲、黎曼面理論，偏微分方程與計算機科學相結合，創立跨領域學科“計算共形幾何”，并廣泛應用于計算機圖形學，計算機視覺，三維幾何建模與可視化，無線傳感網絡，醫學圖像等領域。
PPT下載鏈接：
//www.sdlcv-workshop.com/slides/talk_Geometric_GANs.pdf
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191