[付費5元查看完整內容]【論文】深度卷積神經網絡的ImageNet分類（ImageNet Classification with Deep Convolutional Neural Networks）
題目： ImageNet Classification with Deep Convolutional Neural Networks
摘要：
我們訓練了一個大型的深度卷積神經網絡，將LSVRC-2010 ImageNet訓練集中的130萬幅高分辨率圖像分成1000個不同的類。在測試數據上，我們獲得了前1名和前5名的錯誤率，分別為39.7%和18.9%，這比之前的最新結果要好得多。該神經網絡有6000萬個參數和50萬個神經元，由5個卷積層組成，其中一些是最大池化層，還有兩個全局連接層，最后是1000路的softmax。為了加快訓練速度，我們使用了不飽和的神經元和一個非常高效的卷積網絡GPU實現。為了減少全局連通層中的過擬合，我們采用了一種新的正則化方法，該方法被證明是非常有效的。
作者：
Ilya Sutskever是OpenAI的聯合創始人和首席科學家，之前是斯坦福大學博士后，研究領域是機器學習，神經網絡。
付費5元查看完整內容
相關內容
題目： Graph Random Neural Networks
摘要：
圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。
付費5元查看完整內容
主題： TOPOLOGY OF DEEP NEURAL NETWORKS
摘要： 我們研究數據集M=Ma∪Mb?Rd的拓撲結構如何表示二進制分類問題中的兩個類別a和b，如何通過經過良好訓練的神經網絡的層而發生變化，即在訓練集和接近零的泛化誤差（≈0.01％）。目的是揭示深層神經網絡的兩個奧秘：（i）像ReLU這樣的非平滑激活函數要優于像雙曲正切這樣的平滑函數； （ii）成功的神經網絡架構依賴于多層結構，即使淺層網絡可以很好地近似任意函數。我們對大量點云數據集的持久同源性進行了廣泛的實驗，無論是真實的還是模擬的。結果一致地證明了以下幾點：（1）神經網絡通過更改拓撲結構來運行，將拓撲復雜的數據集在穿過各層時轉換為拓撲簡單的數據集。無論M的拓撲多么復雜，當通過訓練有素的神經網絡f：Rd→Rp時，Ma和Mb的貝蒂數都會大大減少；實際上，它們幾乎總是減小到可能的最低值：對于k≥1和β0（f（Mi））= 1，i = a，b，βk（f（Mi））= 0。此外，（2）ReLU激活的Betti數減少比雙曲線切線激活快得多，因為前者定義了改變拓撲的非同胚映射，而后者定義了保留拓撲的同胚映射。最后，（3）淺層和深層網絡以不同的方式轉換數據集-淺層網絡主要通過更改幾何結構并僅在其最終層中更改拓撲來運行，而深層網絡則將拓撲變化更均勻地分布在所有層中。
付費5元查看完整內容
題目： NETWORK DECONVOLUTION
摘 要:
卷積是卷積神經網絡(CNNs)的核心操作，它將一個核函數應用于圖像上移位的重疊區域。然而，由于實際圖像數據具有很強的相關性，卷積核實際上是對冗余數據的再學習。在這項工作中，我們證明了這種冗余使神經網絡訓練具有挑戰性，并提出了網絡反褶積，這是一種在數據被輸入到每一層之前最優地去除像素和信道相關的方法。網絡反褶積可以有效地計算在一個卷積層的計算成本的一小部分。我們還發現，網絡第一層的反褶積濾波器與大腦視覺區域的生物神經元中發現的中央環繞結構相似。使用這種內核進行過濾會得到一個稀疏表示，這是神經網絡訓練中所缺少的一個理想特性。在不使用批處理標準化的情況下，從稀疏表示中學習可以促進更快的收斂和更好的結果。我們將我們的網絡反褶積操作應用到10個現代神經網絡模型中，在每個模型中替換批量歸一化。大量的實驗表明，在CIFAR-10、CIFAR-100、MNIST、Fashion-MNIST、Cityscapes和ImageNet數據集的所有情況下，網絡反卷積操作都能夠提供性能改進。
付費5元查看完整內容
題目： A Survey of the Recent Architectures of Deep Convolutional Neural Networks
摘要：
深度卷積神經網絡(CNNs)是一種特殊類型的神經網絡，在計算機視覺和圖像處理等領域的多項競賽中均有出色的表現。CNN有趣的應用領域包括圖像分類與分割、目標檢測、視頻處理、自然語言處理、語音識別等。深度卷積神經網絡強大的學習能力很大程度上是由于它使用了多個特征提取階段，可以從數據中自動學習表示。大量數據的可用性和硬件技術的改進加速了CNNs的研究，最近出現了非常有趣的深度卷積神經網絡架構。事實上，人們已經探索了幾個有趣的想法來促進CNNs的發展，比如使用不同的激活和丟失函數、參數優化、正則化和架構創新。然而，深度卷積神經網絡的代表性能力的主要提升是通過架構上的創新實現的。特別是利用空間和信道信息、建筑的深度和寬度以及多路徑信息處理的思想得到了廣泛的關注。同樣，使用一組層作為結構單元的想法也越來越流行。因此，本次調查的重點是最近報道的深度CNN架構的內在分類，因此，將CNN架構的最新創新分為七個不同的類別。這七個類別分別基于空間開發、深度、多路徑、寬度、特征圖開發、通道提升和注意力。對CNN的組成部分、當前CNN面臨的挑戰和應用進行了初步的了解。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191