時間序列數據的GANs通常使用滑動窗口或自我注意力來捕獲底層的時間依賴關系。雖然這些技術沒有明確的理論依據，但它們成功地大幅減小了判別器的尺寸，加快了訓練過程，提高了生成質量。本文給出了時間序列數據等由貝葉斯網絡捕獲的具有條件獨立結構的高維分布的廣義統計分析的理論基礎和實踐框架。我們證明了幾個概率發散滿足關于貝葉斯網絡圖鄰域的次可加性性質，給出了兩個貝葉斯網絡之間距離的一個上界，這個上界是圖上每個鄰域上它們的邊緣距離之和。這就引出了我們提出的次加性GAN框架，該框架在Bayes-net的鄰近區域使用一組簡單的判別器，而不是在整個網絡上使用一個巨大的鑒別器，從而提供了顯著的統計和計算優勢。我們證明了包括Jensen-Shannon, Total Variation, 和Wasserstein在內的幾個概率距離具有次加性或廣義次加性。此外，我們還證明了積分概率矩陣(IPMs)在某些溫和條件下也具有次可加性。此外，我們證明了幾乎所有的f-發散都滿足局部次加性，當分布相對接近時，局部次加性保持不變。我們在合成數據集和真實數據集上的實驗驗證了所提出的理論和次加性GANs的優點。
付費5元查看完整內容
相關內容
本課程的目的是提供非漸近方法的介紹，以研究在高維隨機結構出現的概率，統計，計算機科學，和數學。重點是開發一套已被證明在不同領域的廣泛應用程序中有用的公共工具。根據時間和聽眾的興趣，主題可能包括:措施的集中;功能性，運輸成本，鞅不等式;isoperimetry;馬爾可夫半群，混合時間，隨機場;hypercontractivity;閾值和影響;斯坦的方法;隨機過程的最高原則;高斯和拉德馬赫不等式;通用的鏈接;熵和組合維數;選擇應用程序。
付費5元查看完整內容
統計學習
·
題目： A Complete Characterization of Projectivity for Statistical Relational Models
摘要： 關系數據的生成概率模型由一系列不同大小域上的關系結構的概率分布組成。在現有的大多數統計關系學習(SRL)框架中，當尺寸為n的結構在尺寸為k < n的誘導子結構上的分布邊際與尺寸為k的結構的給定分布相等時，這些模型就不是投影的。投影性是非常有益的，因為它可以直接從子采樣的關系結構中進行提升推理和統計一致性學習。在早期的工作中，一些SRL語言的簡單片段被識別出來，它們代表了投影模型。然而，對于射影模型還沒有給出完整的描述和表示框架。在本文中，我們填補了這一空白:利用無窮可交換陣列的表示定理，我們引入了一類與投影關系模型完全對應的有向圖潛變量模型。作為一個副產品，我們還獲得了一個表征，當給定的尺寸為k的結構上的分布是尺寸為k的子結構在更大的size-n結構中的統計頻率分布。這些結果為如何將Halpern等人的隨機世界方法應用于一般關系簽名的概率推斷這一老的開放問題提供了新思路。
付費5元查看完整內容
題目： Bayesian Neural Networks With Maximum Mean Discrepancy Regularization
摘要： 貝葉斯神經網絡(BNNs)訓練來優化整個分布的權重，而不是一個單一的集合，在可解釋性、多任務學習和校準等方面具有顯著的優勢。由于所得到的優化問題的難解性，大多數BNNs要么通過蒙特卡羅方法采樣，要么通過在變分近似上最小化一個合適的樣本下界(ELBO)來訓練。在這篇論文中，我們提出了后者的一個變體，其中我們用最大平均偏差(MMD)估計器代替了ELBO項中的Kullback-Leibler散度，這是受到了最近的變分推理工作的啟發。在根據MMD術語的性質提出我們的建議之后，我們接著展示了公式相對于最先進的公式的一些經驗優勢。特別地，我們的BNNs在多個基準上實現了更高的準確性，包括多個圖像分類任務。此外，它們對權重上的先驗選擇更有魯棒性，而且它們的校準效果更好。作為第二項貢獻，我們提供了一個新的公式來估計給定預測的不確定性，表明與更經典的標準(如微分熵)相比，它在對抗攻擊和輸入噪聲的情況下表現得更穩定。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191