基于注意力的神經網絡已經在許多任務上取得了最先進的成果。這類模型大多采用確定性注意力，而隨機注意力由于優化困難或模型設計復雜，研究較少。本文介紹了貝葉斯注意力信念網絡，該網絡通過將非歸一化的注意力權值建立在伽馬分布的層次上來構造解碼器網絡，通過將具有確定性-向上-隨機-向下結構的Weibull分布疊加來近似后變分布來構造編碼器網絡。所得到的自編碼網絡可以以一種變分下界的可微方式進行優化。任何具有確定性注意力的模型，包括預訓練過的模型，都可以簡單地轉換為所提出的貝葉斯注意力信念網絡。在各種語言理解任務中，我們證明了我們的方法在準確性、不確定性估計、跨域泛化和對抗攻擊的魯棒性方面優于確定性注意和最新的隨機注意力。我們進一步證明了該方法在神經機器翻譯和視覺問答方面的普遍適用性，顯示了將該方法整合到各種注意力相關任務中的巨大潛力。
付費5元查看完整內容
相關內容
非隨機控制
·
近年來，在控制和強化學習中出現了新的方法，這些方法結合了遺憾(regret )最小化和在線凸優化技術。由此產生的理論為控制和強化學習中一些長期存在的問題提供了可證明的保證:對數后悔和快速速率，沒有系統知識的端到端LQG-LQR，帶有對抗噪聲的卡爾曼濾波，具有可證明的有限時間保證的黑盒控制，系統識別的緊下界，等等。
這些結果的主要創新之處在于在線控制模型將隨機擾動替換為對抗性擾動，并以后悔最小為最優控制目標。我們將描述設置，以及基于梯度和依賴于新的凸松弛的新方法。
付費5元查看完整內容
殘差神經網絡
·
用反向傳播方法訓練深度殘差神經網絡(ResNets)的記憶成本隨網絡深度的增加而線性增加。規避這個問題的一種方法是使用可逆的架構。本文提出通過增加動量項來改變ResNet的正向規則。所得到的網絡，動量剩余神經網絡(動量ResNets)是可逆的。與以前的可逆架構不同，它們可以作為任何現有的ResNet塊的替代。我們證明動量ResNets可以被解釋為二階常微分方程(ode)，并準確地描述了如何逐步增加動量增加動量ResNets的表示能力。我們的分析顯示，Momentum ResNets可以學習任何線性映射到一個倍增因子，而ResNets不能。在優化設置的學習中，需要收斂到一個不動點，我們從理論上和經驗上證明了我們的方法成功，而現有的可逆架構失敗。我們在CIFAR和ImageNet上展示了Momentum ResNets與ResNets具有相同的精度，但占用的內存要小得多，并展示了預訓練的Momentum ResNets對模型的微調是有前途的。
付費5元查看完整內容
圖神經網絡
·
雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。
付費5元查看完整內容
在統一魯棒半監督變分自編碼器(URSVAE)中，通過同時處理噪聲標簽和異常值，提出了一種新的噪聲魯棒半監督深度生成模型。輸入數據的不確定性通常是將不確定性優先于概率密度分布的參數，以確保變分編碼器對異常值的魯棒性。隨后，我們將噪聲轉換模型自然地集成到我們的模型中，以減輕噪聲標簽的有害影響。此外，為了進一步增強魯棒性，采用魯棒散度測度，推導并優化了新的變分下界來推斷網絡參數。通過證明對所提證據下界的影響函數是有界的，證明了所提模型在存在復合噪聲的情況下在分類方面的巨大潛力。通過對圖像分類任務的評價和與現有方法的比較，實驗結果表明了該框架的優越性。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
殘差網絡(ResNets)在模式識別方面顯示了令人印象深刻的結果，最近，由于與神經常微分方程(neural ODEs)的感知聯系，獲得了相當大的理論興趣。隨著層數的增加，這條鏈路依賴于網絡權值的收斂到平滑的函數。我們通過詳細的數值實驗研究了隨機梯度下降訓練權值的性質，以及它們隨網絡深度的變換。我們觀察到有明顯不同于神經ODE文獻中假設的標度區存在。根據網絡結構的某些特征，如激活函數的光滑性，人們可以得到另一個ODE極限，一個隨機微分方程或兩者都不能。這些發現對神經ODE模型作為深度ResNets的充分漸近描述的有效性提出了質疑，并指出了另一類微分方程作為深度網絡極限的更好描述。
付費5元查看完整內容
后驗貝葉斯神經網絡(BNN)參數是非常高維和非凸的。出于計算上的原因，研究人員使用廉價的小批量方法來近似這種后變方法，如平均場變分推斷或隨機梯度馬爾科夫鏈蒙特卡羅(SGMCMC)。為了研究貝葉斯深度學習中的基礎問題，我們在現代體系結構中使用全批量哈密頓蒙特卡羅(HMC)。我們證明: (1)與標準訓練和深度集成相比，BNNs可以獲得顯著的性能增益; (2)單一的HMC長鏈可以提供多個較短鏈后驗的可比性表示;(3)與最近的研究相比，我們發現不需要后驗回火來獲得接近最佳的性能，幾乎沒有證據表明存在“冷后驗”效應，這主要是數據增強的人為影響;(4) BMA對先驗尺度的選擇具有較強的魯棒性，對對角高斯、混合高斯和logistic先驗的選擇具有較強的相似性;(5)貝葉斯神經網絡在域移下泛化性能差;(6)雖然深度集成和SGMCMC等廉價方法可以提供良好的泛化，但它們提供的預測分布與HMC不同。值得注意的是，深度集成預測分布與標準SGLD的HMC相似，比標準變分推斷更接近。
付費5元查看完整內容
GNN的表示能力和泛化能力得到了廣泛的研究。但是，它們的優化其實研究的很少。通過研究GNN的梯度動力學，我們邁出分析GNN訓練的第一步。具體來說，首先，我們分析線性化（linearized）的GNN，并證明了：盡管它的訓練不具有凸性，但在我們通過真實圖驗證的溫和假設下，可以保證以線性速率收斂到全局最小值。其次，我們研究什么會影響GNN的訓練速度。我們的結果表明，通過跳過（skip）連接，更深的深度和/或良好的標簽分布，可以隱式地加速GNN的訓練。實驗結果證實，我們針對線性GNN的理論結果與非線性GNN的訓練行為一致。我們的結果在優化方面為具有跳過連接的GNN的成功提供了第一個理論支持，并表明具有跳過連接的深層GNN在實踐中將很有希望。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
臺灣交通大學的Jen-Tzung Chien教授在WSDN 2020會議上通過教程《Deep Bayesian Data Mining》介紹了深度貝葉斯數據挖掘的相關知識，涵蓋了貝葉斯學習、深度序列學習、深度貝葉斯挖掘和學習等內容。
Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》（《深度貝葉斯數據挖掘》）介紹了面向自然語言的深度貝葉斯挖掘和學習，包括了它的基礎知識和進展，以及它無處不在的應用，這些應用包括語音識別、文檔摘要、文本分類、文本分割、信息抽取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、自動問答和機器翻譯等。
從傳統上，“深度學習”被認為是一個學習過程，過程中的推斷和優化都使用基于實數的判別模型。然而，從大量語料中提取出的詞匯、句子、實體、行為和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地被這種方式表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能不能被正確分解或估計。
該教程介紹了統計模型和神經網絡的基礎，并聚焦于一系列先進的貝葉斯模型和深度模型，包括層次狄利克雷過程、中國餐館過程、遞歸神經網絡、長短期記憶網絡、序列到序列模型、變分自編碼器、生成式對抗網絡、策略神經網絡等。教程還介紹了增強的先驗/后驗表示。教程展示了這些模型是如何連接的，以及它們為什么適用于自然語言中面向符號和復雜模式的各種應用程序。
變分推斷和采樣被提出解決解決復雜模型的優化問題。詞和句子的嵌入、聚類和聯合聚類被語言和語義約束合并。針對深度貝葉斯挖掘、搜索、學習和理解中的不同問題，一系列的案例研究、任務和應用被提出。最后，教程指出一些未來研究的方向和展望。教程旨在向初學者介紹深度貝葉斯學習中的主要主題，激發和解釋它對數據挖掘和自然語言理解正在浮現的重要性，并提出一種結合不同的機器學習工作的新的綜合方法。
教程的內容大致如下：
- 簡介
- 動機和背景
- 概率模型
- 神經網絡
- 貝葉斯學習
- 推斷和優化
- 變分貝葉斯推斷
- 蒙特卡羅馬爾科夫鏈推斷
- 深度序列學習
- 深度非展開主題模型
- 門遞歸神經網絡
- 貝葉斯遞歸神經網絡
- 記憶增強神經網絡
- 序列到序列學習
- 卷積神經網絡
- 擴增神經網絡
- 基于Transformer的注意力網絡
- 深度貝葉斯挖掘和學習
- 變分自編碼器
- 變分遞歸自編碼器
- 層次變分自編碼器
- 隨機遞歸神經網絡
- 正則遞歸神經網絡
- 跳躍遞歸神經網絡
- 馬爾科夫遞歸神經網絡
- 時間差分變分自編碼器
- 未來挑戰和發展
- 總結和未來趨勢
完整教程下載
請關注專知公眾號（點擊上方藍色專知關注） 后臺回復“DBDM20” 就可以獲取完整教程PDF的下載鏈接~
教程部分內容如下所示：
參考鏈接：
//chien.cm.nctu.edu.tw/home/wsdm-tutorial/
-END- 專 · 知
專知，專業可信的人工智能知識分發，讓認知協作更快更好！歡迎注冊登錄專知www.zhuanzhi.ai，獲取更多AI知識資料！
歡迎微信掃一掃加入專知人工智能知識星球群，獲取最新AI專業干貨知識教程視頻資料和與專家交流咨詢！
請加專知小助手微信（掃一掃如下二維碼添加），獲取專知VIP會員碼，加入專知人工智能主題群，咨詢技術商務合作~
點擊“閱讀原文”，了解注冊使用專知
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191