GBM梯度提升機（或梯度推進機）是一種集成學習法（Ensemble）。GBM（Gradient Boosting Machine）算法是Boosting算法（提升方法）的一種。GBM主要思想是基于之前建立的基學習器的損失函數的梯度下降方向來建立下一個新的基學習器，目的就是希望通過集成這些基學習器使得模型總體的損失函數不斷下降，模型不斷改進。
付費5元查看完整內容
相關內容
論文題目： Privacy-Preserving Gradient Boosting Decision Trees
論文作者： Qinbin Li, Zhaomin Wu, Zeyi Wen, Bingsheng He
論文摘要： 梯度提升決策樹（GBDT）是近年來用于各種任務的流行機器學習模型。在本文中，我們研究如何在保留差異性隱私的有力保證的同時提高GBDT的模型準確性。敏感度和隱私預算是差異化私人模型有效性的兩個關鍵設計方面。現有的具有差分隱私保護的GBDT解決方案由于過于寬松的敏感性界限和無效的隱私預算分配（尤其是GBDT模型中的不同樹）而導致嚴重的準確性損失。松散的靈敏度范圍導致更多的噪聲以獲得固定的優先級。無效的隱私預算分配使準確性降低，尤其是在樹的數量很大時。因此，我們提出了一種新的GBDT訓練算法，該算法可實現更嚴格的靈敏度范圍和更有效的噪聲分配。具體而言，通過研究梯度的屬性和每棵樹在GBDT中的貢獻，我們提出針對每個迭代和葉節點修剪自適應地控制訓練數據的梯度，以收緊敏感度范圍。此外，我們設計了一種新穎的增強框架，可以在樹之間分配隱私預算，從而可以減少準確性損失。我們的實驗表明，與其他基準相比，我們的方法可以實現更好的模型準確性。
付費5元查看完整內容
課程簡介
Geoffrey Hinton《神經網絡機器學習》經典課程共有16節，基本涵蓋了神經網絡相關的各個知識點，包括神經網絡、神經元模型、感知機、反向傳播算法等，雖然課程中有些算法已經過時，但其中的理論基礎仍然在為今天的各類主流算法提供著可靠的支持，對于算法研究者來說，有助于加深對這一領域的理解，并對未來的研究方向起到一定的借鑒意義。
課程講師：Geoffrey Hinton
講師簡介
Geoffrey Hinton，被稱為“神經網絡之父”、“深度學習鼻祖”，他曾獲得愛丁堡大學人工智能的博士學位，并且為多倫多大學的特聘教授。在2012年，Hinton還獲得了加拿大基廉獎(Killam Prizes，有“加拿大諾貝爾獎”之稱的國家最高科學獎)。2013年，Hinton 加入谷歌并帶領一個AI團隊，他將神經網絡帶入到研究與應用的熱潮，將“深度學習”從邊緣課題變成了谷歌等互聯網巨頭仰賴的核心技術，并將反向傳播算法應用到神經網絡與深度學習。
個人主頁：
Geoffrey Hinton：//www.cs.toronto.edu/~hinton/
付費5元查看完整內容
*《Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs》A Jolicoeur-Martineau, I Mitliagkas [Mila] (2019)
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191