【導讀】每年，CIFAR深度學習+強化學習(DLRL)暑期學校都會聚集研究生、博士后和專業人士，涵蓋深度學習和強化學習的基礎研究、新進展和現實應用。2021年DLRL暑期學校將于2021年7月26日至31日舉行。這所學校由CIFAR主辦，與我們的三個國家人工智能研究所合作:埃德蒙頓的Amii、蒙特利爾的Mila和多倫多的Vector研究所。
來自Google研究院Balaji Lakshminarayanan講述了《深度學習不確定》的報告，值得關注！
對深度學習中的不確定性進行量化是一個具有挑戰性且尚未解決的問題。預測的不確定性估計對于知道何時信任模型的預測是很重要的，特別是在實際應用中，在實際應用中，訓練和測試分布可能是非常不同的。報告的第一部分將集中于檢測分布外輸入(OOD)。深度生成模型被認為對OOD輸入更魯棒，但我將給出反例，其中生成模型可以為OOD輸入分配比訓練數據更高的可能性。具體來說，我們發現，在一個數據集(如CIFAR-10)上訓練的深度生成模型的模型密度賦予來自另一個數據集(如SVHN)的OOD輸入更高的可能性。我將討論一些最近的后續工作，其中我們將進一步詳細研究這些失效模式，并提出解決方案。演講的第二部分將集中討論判別模型的預測不確定性估計。我將討論我們在數據集漂移下校準的大規模基準研究的結果，并介紹我們在推進漂移校準的最先進一些工作。
Balaji Lakshminarayanan目前是谷歌Brain的研究人員。他最近的研究集中在概率深度學習，特別是不確定性估計，非分布魯棒性和深度生成模型。
付費5元查看完整內容
相關內容
來自Google Balaji Lakshminarayanan對深度學習異常檢測做了細致講解，值得關注!
付費5元查看完整內容
機器學習對偶性
·
Google 研究科學家Mathieu Blondel在PSL大學的“機器學習的對偶性”課程材料。主題包括共軛函數，平滑技術，Fenchel對偶性，Fenchel-Young損失和塊對偶坐標上升算法。
//mblondel.org/teaching/duality-2020.pdf
付費5元查看完整內容
深度生成模型
·
生成式模型是以圖模型和概率編程語言中的概率推理的重要范式。神經網絡對這些模型的參數化和基于梯度的隨機優化技術的進步使得高維數據的可擴展建模成為可能。
本教程的前半部分將全面回顧深度生成模型的主要家族，包括生成對抗網絡、變分自編碼器、標準化流和自回歸模型。對于每一個模型，我們將討論概率公式，學習算法，以及與其他模型的關系。本教程的后半部分將演示在科學發現中使用深度生成模型的方法，例如材料和藥物發現、壓縮感知等等。最后，我們將討論該領域目前的挑戰和未來研究的前景。
//dl4sci-school.lbl.gov/agenda
付費5元查看完整內容
伯克利2019三月份開設了《全棧深度學習訓練營》課程，由伯克利Pieter Abbeel, Sergey Karayev, Josh Tobin等教授講解，專門為熟悉深度學習基礎的開發人員提供的實踐訓練，學術工業界硬貨，包含15次課程，非常值得學習。
課程地址：
//fullstackdeeplearning.com/march2019
訓練模型只是深度學習項目的一部分。在本課程中，我們教授全棧生產深度學習:
- 確定問題并估算項目成本
- 查找、清理、標記和擴充數據
- 選擇正確的框架和計算基礎設設施
- 進行故障排除培訓，確保重現性
- 按規模部署模型
課件下載鏈接：
提取碼: nnya
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191