自編碼器
·
題目： FEEDBACK RECURRENT AUTOENCODER
摘要： 在這項工作中，我們提出了一種新的遞歸自編碼器架構，稱為反饋遞歸自編碼器(FRAE)，用于時序數據的在線壓縮。FRAE的重流結構是為了有效地提取沿時間維的冗余，并允許對學習的數據進行緊湊的離散表示。我們證明了它在語音譜圖壓縮中的有效性。具體來說，我們證明了FRAE與一個強大的神經聲碼器相結合，可以在低的固定比特率下產生高質量的語音波形。我們進一步證明，通過增加一個潛在空間的學習先驗和使用熵編碼器，我們可以實現更低的可變比特率。
付費5元查看完整內容
相關內容
題目： Future Data Helps Training: Modelling Future Contexts for Session-based Recommendation
摘要： 基于會話的推薦系統近年來受到了廣泛的關注。為了捕獲順序依賴項，現有的方法要么采用數據擴充技術，要么采用從左到右的自回歸訓練。由于這些方法的目的是對用戶行為的順序性進行建模，因此在構建目標交互的預測模型時忽略了目標交互的未來數據。然而，我們認為在目標交互之后的未來交互(在培訓期間也可用)提供了關于用戶偏好的有價值的信號，可以用來提高推薦質量。
然而，正確地將未來的數據集成到模型訓練中是不容易實現的，因為它違反了機器學習的原則，很容易導致數據泄漏。為此，我們提出了一種新的編碼-解碼器框架——基于間隙填充的推薦器(GRec)，它通過一個間隙填充機制來訓練編碼器和解碼器。具體地說，編碼器采用部分完成的會話序列(其中一些項被目的屏蔽)作為輸入，并且解碼器根據編碼的表示來預測這些屏蔽項。我們使用具有稀疏內核的卷積神經網絡實例化了通用的GRec框架，同時考慮了準確性和效率。我們在兩個涵蓋短期、中期和長期用戶會話的真實數據集上進行了實驗，結果表明GRec顯著優于最先進的順序推薦方法。更多的實證研究驗證了在我們的GRec框架下建模未來環境的高實用性。
付費5元查看完整內容
題目： RecVAE: a New Variational Autoencoder for Top-NRecommendations with Implicit Feedback
摘要： 最近的研究表明，使用基于深度神經網絡的自動編碼器進行協同過濾具有優勢。特別地，最近提出的使用多項式似然變分自編碼的mult-VAEmodel，對top-N推薦給出了excel lent結果。在這項工作中，我們提出了一個來自于我們對變分自編碼器正則化技術的研究的etherecommender-VAE（RecVAE）模型。RecVAE提出了一些改進變分自編碼器正則化技術的新思想，包括一種新的潛在碼的復合先驗分布，一種為β-VAEframework設置β超參數的新方法，以及基于交替更新的訓練新方法。在實驗評估中，我們發現在經典的協同過濾數據集中，比先前提出的基于自動編碼器的模型（包括多個VAEandRaCT）有更大的優越性，并提出了一個詳細的消融研究來評估我們的新進展。
付費5元查看完整內容
題目： Brain-Like Object Recognition with High-Performing Shallow Recurrent ANNs
簡介： 盡管最初受到大腦解剖學的啟發，但在過去的幾年中，這些人工神經網絡已經從AlexNet中的簡單的八層體系結構演變為更加復雜的體系結構，由于機器學習的典型深層模型的層數眾多且缺少生物學上重要的連接，因此通常難以映射到大腦的解剖結構。在這里，我們證明，與大腦更好的解剖結構對齊以及在機器學習以及神經科學措施方面的高性能不一定是矛盾的。我們開發了CORnet-S，這是一種淺神經網絡，具有四個解剖學映射的區域和經常性連接，并在Brain-Score（一種新的大規模的神經和行為基準測試組合）的指導下進行了開發，用于量化靈長類動物腹側視覺流模型的功能保真度。盡管比大多數模型要淺得多，但CORnet-S是Brain-Score上的頂級模型，其性能優于ImageNet上類似模型。此外，我們對CORnet-S電路變體的廣泛分析表明，是Brain-Score和ImageNet top-1性能的主要預測因素。最后，我們報告了CORnet-S“ IT”的時間演變 神經種群類似于實際的猴子IT種群動態。綜上所述，這些結果使CORnet-S（一種緊湊的循環神經網絡）成為靈長類動物腹側視覺流的當前最佳模型。
付費5元查看完整內容
題目： Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data
摘要：
這篇論文探討了一個有趣的問題，即我們是否可以創建自動生成訓練數據、學習環境和課程的學習算法，以幫助人工智能智能體快速學習。我們證明了這種算法可以通過生成式教學網絡(GTNs)來實現，生成式教學網絡是一種理論上適用于有監督、無監督和強化學習的通用方法，盡管我們的實驗只關注有監督的情況。GTNS是生成數據和訓練環境的深度神經網絡，學習者(例如，一個新初始化的神經網絡)在對目標任務進行測試之前需要進行幾個SGD步驟的訓練。然后，我們通過元梯度來區分整個學習過程，更新GTN參數，以提高目標任務的性能。GTNS的有益特性是，理論上它們可以生成任何類型的數據或培訓環境，從而使它們的潛在影響很大。本文介紹了GTNS，討論了它們的潛力，并展示了它們可以極大地加速學習。我們還演示了一個實際的和令人興奮的應用:加速評估候選架構的神經架構搜索(NAS)，這是由這種評估的速度限制，使大量的加速在NAS。GTN-NAS改進了NAS的狀態，在控制搜索建議機制時可以找到性能更好的架構。GTN-NAS還可以與現有的最先進的方法相競爭，這些方法在使用比典型NAS方法少幾個數量級的計算量的情況下獲得最佳性能。展望未來，GTNs可能代表著朝著算法的宏偉目標邁出的第一步，算法可以生成自己的訓練數據，并在此過程中打開各種有趣的新研究問題和方向。
作者簡介：
Felipe Petroski Such是一位專注于深度神經進化、強化學習和高性能計算的科學家。在加入Uber AI實驗室之前，他獲得了RIT的BS/MS學位，在那里他開發了圖形應用和ICR的深度學習架構，以及使用fpga的硬件加速。
Aditya RawalAditya Rawal是Uber AI實驗室的研究科學家。他的興趣在于兩個研究領域的融合——神經進化和深度學習。在此之前，Aditya在奧斯汀的德克薩斯大學獲得了計算機科學的碩士/博士學位，在他的博士期間，他開發了神經進化算法來進化序列預測問題的遞推架構，并構建了合作、競爭和交流的多主體系統。
Joel Lehman之前是哥本哈根IT大學的助理教授，研究神經網絡、進化算法和強化學習。
付費5元查看完整內容
Recurrent neural networks (RNNs) provide state-of-the-art performance in processing sequential data but are memory intensive to train, limiting the flexibility of RNN models which can be trained. Reversible RNNs---RNNs for which the hidden-to-hidden transition can be reversed---offer a path to reduce the memory requirements of training, as hidden states need not be stored and instead can be recomputed during backpropagation. We first show that perfectly reversible RNNs, which require no storage of the hidden activations, are fundamentally limited because they cannot forget information from their hidden state. We then provide a scheme for storing a small number of bits in order to allow perfect reversal with forgetting. Our method achieves comparable performance to traditional models while reducing the activation memory cost by a factor of 10--15. We extend our technique to attention-based sequence-to-sequence models, where it maintains performance while reducing activation memory cost by a factor of 5--10 in the encoder, and a factor of 10--15 in the decoder.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191