亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

新理論揭開了深度學習的黑匣子。一個被稱為“信息瓶頸”的新想法正在幫助解釋當今人工智能算法令人困惑的成功，也可能解釋人類大腦是如何學習的。

紐約大學數據科學中心的CDS研究員，在那里我主要與Gordon Wilson 和 Yann Lecun合作，研究貝葉斯深度網絡、信息論和自監督學習。

//www.ravid-shwartz-ziv.com/

深度神經網絡信息流

盡管深度神經網絡已經取得了巨大的成功，但對它們如何工作或如何構建的全面的理論理解還不存在。深度網絡通常被視為黑盒，預測的解釋及其可靠性仍不清楚。今天，了解深度神經網絡的突破性性能是科學界面臨的最大挑戰之一。為了更有效地使用這些算法并改進它們，我們需要了解它們的動態行為以及它們學習新表示的能力。

本文通過將信息理論的原理和技術應用到深度學習模型來解決這些問題，以提高我們的理論理解，并使用它來設計更好的算法。本文的主要成果和貢獻分為三個部分，具體如下。

第二章和第三章介紹了深度學習模型的信息理論方法。作為對深度學習系統的解釋，我們提出使用信息瓶頸(IB)理論。這種分析網絡的新范式揭示了網絡的分層結構、泛化能力和學習動態。基于我們的分析，我們發現深度網絡優化了每一層輸入和輸出變量的互信息，導致了每一層壓縮和預測之間的權衡。我們對這些網絡的分析和數值研究表明，隨機梯度下降(SGD)算法遵循IB權衡原則，工作在兩個階段:一個快速經驗誤差最小化階段，然后是一個緩慢的表示壓縮階段。這些相位由每一層不同的信噪比(SNRs)來區分。此外，我們證明了SGD由于壓縮階段而達到了這個最優界，并在表示壓縮上導出了一個新的高斯界，并將其與壓縮時間聯系起來。此外，我們的結果表明，網絡的層收斂于IB的理論邊界，導致編碼器和譯碼器分布之間的自洽關系。

第四章討論了將IB應用到深度神經網絡中最困難的問題之一——在高維空間中估計互信息。盡管互信息在數據科學中是一個重要的數量，但它在歷史上給計算帶來了挑戰。互信息的計算只適用于離散變量或已知概率分布的有限數量的問題。為了更好地估計信息理論量和研究泛化信號，我們研究了幾個框架，并利用了最近的理論發展，如神經切線核(NTK)框架。在我們的研究中，我們發現對于無限寬的神經網絡的無限集合，我們可以得到許多信息理論量及其界的易于處理的計算。網絡的內核可以用一個封閉的形式來描述許多量。通過分析這些推導，我們可以了解網絡的重要信息論量，以及壓縮、泛化和樣本大小之間的關系。

第五章提出了一種新的信息理論框架——雙信息瓶頸(dualIB)。 盡管IB框架有優點，但它也有幾個缺點:IB是完全非參數的，并且只在概率空間上運行。此外，IB公式并不涉及預測看不見的模式的任務，并假定完全訪問聯合概率。因此，我們開發了dualIB，它解決了IB的一些缺點，通過僅僅在失真函數的項之間切換。dualIB可以解釋數據的已知特征，并利用它們對未見過的例子做出更好的預測。我們提供了dualIB自一致方程，使我們能夠得到解析解。局部穩定性分析揭示了解的臨界點的基本結構，得到了最優模式表示的完全分岔圖。我們發現了dualIB目標的幾個有趣的性質。首先，當以參數形式表示時，dualIB保留了它的結構。它還優化了平均預測誤差指數，從而提高了樣本量方面的預測精度。除了dualIB的解析解決方案，我們還提供了一個變分的dualIB框架，該框架使用深度神經網絡優化函數。該框架實現了對真實數據集的dualIB的實際實現。利用它，我們對其動力學進行了經驗評估，并驗證了現代深度神經網絡的理論預測。總之，本文提出了一個新的信息論視角來研究深度神經網絡，它利用了深度學習和IB框架之間的對應關系。我們獨特的視角可以提供許多好處，比如對深度神經網絡有更深入的理解，解釋它們的行為，并改善它們的性能。同時，我們的研究也開拓了新的理論和實踐研究問題。

學習表征是計算機視覺、自然語言處理、認知科學和機器學習中許多問題的核心(Bengio et al.; 2013）. 分類和預測需要復雜的數據表示，因為要考慮物理參數，如位置、大小、方向和強度(Salakhutdinov等;2013）. 然而，目前還不清楚什么構成了良好的表示，以及它與學習和特定問題類型的關系。

通過組合簡單神經元的多種轉換，深度神經網絡(DNN)可以產生更有用(并且在大多數情況下更抽象)的表示。由于它們的通用性和在各個領域的成功，這些系統在過去幾年中得到了普及。與傳統的機器學習方法相比，DNN的性能在圖像、音頻和文本等多個領域都有很大的改進(Devlin et al.; 2018; He et al.; 2016; Oord et al.; 2016)。最新的深度學習模型更加復雜，它們的架構也越來越復雜，需要優化的參數也越來越多。例如，ResNet-52網絡包含了經過數百萬張圖片優化的2300萬個參數。

然而，從理論的角度來理解這些性能的原因只是部分的，我們只是對它們有一個啟發式的理解。目前還不清楚為什么深度模型在真實世界的數據上表現得如此出色，以及它們的關鍵組件是什么。另外，當前的度量標準并沒有提供對網絡內部結構或網絡層質量的深入了解。因此，即使該模型非常準確，也很難將其作為進一步科學研究的基礎。為了使這些算法更有效并改進它們，我們必須理解它們的潛在動態行為以及它們如何學習表示。在本論文中，我們提出從信息論的角度研究DNN。作為對現代深度學習系統的解釋，我們提出了信息瓶頸(IB)理論。我們希望通過這種分析DNN的創新方法來闡明它們的分層結構、泛化能力和學習動態。為了更好地理解DNN，第一個問題是:如何使用信息論的一般理論，特別是IB框架來更好地理解DNN?

香農發明了信息論來確定在噪聲信道上傳輸信息所需的比特數。 這一理論后來被證明是衡量變量之間影響的無價方法(Shannon; 1948)。給定兩個隨機變量X和Y，它們之間的互信息度量它們的聯合概率分布P(X, Y)與其邊緣P(X)P(Y)的乘積的散度，以確定它們的相依或獨立程度。互信息的概念不同于相關性，它可以捕捉變量之間的非線性統計關系，增強我們分析復雜系統動力學的能力(Kinney and Atwal; 2014)。盡管互信息在數據科學中是一個基本的數量，但它在歷史上一直具有挑戰性的估計(Paninski;2003)。精確計算只適用于有限數量的具有明確定義的概率分布的問題(例如，指數族)。對于有限的數據樣本或一般問題，互信息的計算是不可能的。

這就引出了以下研究問題: 如何計算大規模DNN的互信息?為了得到信息理論量的精確計算和尋找泛化信號，我們研究了幾個框架并利用了當前的理論發展，包括神經切線核(NTK)框架(Lee等人;2019)。我們得到了無限寬神經網絡的無限集合中信息論量及其界的易于處理的計算。我們的分析表明，核以一種封閉的形式描述了許多量。此外，我們發現輸入的壓縮有助于該模型家族的泛化。

雖然IB框架有它的優點，但它也有一些缺點，包括無法保存數據的結構和有限數據的性能不夠理想。最后研究的問題是，我們是否可以推導出一個新的框架來解決這些問題，并將其應用到DNN中。

因此，我們開發了雙IB (DualIB)，它在失真函數中的項之間切換，以解決IB的一些問題。局部穩定性分析揭示了其底層結構和最優模式表示。我們發現，當以參數形式表示時，DualIB保留了它的結構。此外，它還優化了平均預測誤差指數，提高了相對于樣本容量的預測精度。DualIB可以在變分框架的幫助下，使用神經網絡應用于真實世界的數據集。利用這個框架，我們評估了DualIB的動力學，并驗證了理論預測。

參考鏈接：

旅行商問題(TSP)是最受歡迎和研究最多的組合問題，始于1951年的馮·諾依曼。它推動了幾種優化技術的發現，如切割平面、分支定界、局部搜索、拉格朗日松弛和模擬退火。

在過去的五年里，我們看到了一些有前途的技術的出現，在這些技術中(圖)神經網絡能夠學習新的組合算法。主要的問題是，深度學習能否從數據中學習更好的啟發式，即取代人類工程的啟發式?這很有吸引力，因為開發有效解決NP難題的算法可能需要多年的研究，而許多行業問題本質上是組合在一起的。

在這項工作中，我們提出將最近成功開發的用于自然語言處理的Transformer架構應用于組合TSP。訓練是通過強化學習完成的，因此沒有TSP訓練解決方案，解碼使用波束搜索。我們報告了與最近學習的啟發式相比性能的改進，TSP50的最佳差距為0.004%，TSP100為0.50%。

//www.ipam.ucla.edu/abstract/?tid=16703&pcode=DLC2021

圖神經網絡(GNNs)最近變得越來越受歡迎，因為它們能夠學習復雜的關系或交互系統，這些系統產生于廣泛的問題，從生物學和粒子物理到社會網絡和推薦系統。盡管關于圖的深度學習有很多不同的模型，但迄今為止，很少有人提出處理具有某種動態性質(例如，隨著時間的推移，進化的特征或連接性)的圖的方法。在本文中，我們提出了時序圖網絡(TGNs)，這是一個通用的、有效的框架，用于在以時間事件序列表示的動態圖上進行深度學習。由于內存模塊和基于圖形的操作符的新穎組合，TGN能夠顯著優于以前的方法，同時計算效率更高。我們進一步表明，幾個以前的模型學習動態圖可以鑄為我們的框架的具體實例。我們對我們的框架的不同組成部分進行了詳細的消融研究，并設計出最佳配置，以在動態圖形的幾個轉導和歸納預測任務上達到最先進的性能。

//www.zhuanzhi.ai/paper/b52c8ed9452450b0793e8f0470ef69d8

在過去的幾年里，圖表示學習(Bronstein et al., 2017; Hamilton et al., 2017b; Battaglia et al., 2018)已經取得了一系列成功，在機器學習領域越來越受歡迎。在許多領域，圖普遍被用作關系和交互系統的模型(Battaglia et al., 2016; Qi et al., 2018; Monti et al., 2016; Choma et al., 2018; Duvenaud et al., 2015; Gilmer et al., 2017; Parisot et al., 2018; Rossi et al., 2019)，特別是社會科學(Ying et al., 2018; Monti et al., 2019; Rossi et al., 2020)和生物學(Zitnik et al., 2018; Veselkov et al., 2019; Gainza et al., 2019)。神經網絡學習等數據可以使用圖(衛星系統)進行(漢密爾頓et al ., 2017),通常由一個消息傳遞機制運作(巴塔利亞et al ., 2018)聚合信息節點并創建節點的鄰居嵌入,然后用于節點分類(Monti et al., 2016; Velickovic et al., 2018; Kipf & Welling, 2017)，圖分類(Gilmer et al., 2017)，或邊緣預測(Zhang & Chen, 2018)任務。

大多數關于圖的深度學習方法都假設底層圖是靜態的。然而，大多數現實生活中的互動系統，如社會網絡或生物互動是動態的。雖然通常可能應用靜態圖深度學習模型(Liben-Nowell & jonkleinberg, 2007)動態圖,忽略了時間進化,這已被證明是最優(徐et al ., 2020),在某些情況下,它是關于系統的動態結構,其中包含關鍵的見解。動態圖的學習是最近才開始的，大多數的工作都局限于將離散時間動態圖設置(Liben-Nowell & Kleinberg, 2007; Dunlavy et al., 2011; Yu et al., 2019; Sankar et al., 2020; Pareja et al., 2019; Yu et al., 2018)。這種方法不適合有趣的現實世界設置，如社交網絡，動態圖是連續的(即邊可以隨時出現)和不斷進化的(即新節點不斷加入圖)。直到最近，人們才提出了幾種支持連續時間假設的方法(Xu et al., 2020; Trivedi et al., 2019; Kumar et al., 2019; Ma et al., 2018; Nguyen et al., 2018; Bastas et al., 2019)。

在本文中，我們首先提出了運行在連續時間動態圖上的時序圖網絡(TGNs)的一般歸納框架，并表明許多以前的方法都是TGNs的具體實例。其次，我們提出了一種新的訓練策略，允許模型從數據的順序性中學習，同時保持高效的并行處理。第三，我們對該框架的不同組成部分進行了詳細的消融研究，并分析了速度和精度之間的權衡。最后，我們展示了最先進的性能在多個任務和數據集在轉導和感應設置，同時比以前的方法快得多。

講座A部分: //atcold.github.io/pytorch-Deep-Learning/en/week13/13-1/

在本節中，我們將討論傳統卷積神經網絡的結構和卷積。然后我們擴展到圖域。我們理解了圖的特征，并定義了圖卷積。最后，我們介紹了頻譜圖卷積神經網絡，并討論了如何進行頻譜卷積。

0:00:50 -傳統ConvNets的架構 0:13:11 -傳統ConvNets的卷積 0:25:29 -光譜卷積

講座B部分: 本節介紹了圖卷積網絡(GCNs)的完整譜，首先介紹了通過譜網絡實現譜卷積。然后，它提供了關于模板匹配的其他卷積定義對圖的適用性的見解，從而導致空間網絡。詳細介紹了采用這兩種方法的各種體系結構及其優缺點、實驗、基準和應用。

0:44:30 - GCNs譜 1:06:04 -模板匹配，各向同性GCNs和基準GNNs 1:33:06 -各向異性GCNs和結論

課程地址：