近年來，神經網絡在解決許多問題方面有了巨大的發展。不同類型的神經網絡被引入來處理不同類型的問題。然而，任何神經網絡的主要目標是將非線性可分的輸入數據轉換為更線性可分的抽象特征，使用層次結構。這些層是線性和非線性函數的組合。最流行和常見的非線性層是激活函數(AFs)，如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。本文對深度學習神經網絡中的激活函數AFs進行了全面的綜述和研究。不同類別的AFs，如Logistic Sigmoid和基于Tanh，基于ReLU，基于ELU，和基于Learning。指出了AFs的輸出范圍、單調性和平滑性等特點。并對18種最先進的AFs在不同網絡上的性能進行了比較。本文提出了AFs的見解，以幫助研究者進行進一步的研究，并幫助實踐者在不同的選擇中進行選擇。用于實驗比較的代碼。
近年來，深度學習在解決人臉分析[2][113]、預測評級[74]、情感分析[143]、[152]、高光譜圖像分析[144]、圖像合成和語義處理[1]、數字圖像增強[72]、圖像檢索[33]等具有挑戰性的問題方面取得了巨大的增長。深度學習中已經發展了各種類型的神經網絡來從數據中學習抽象特征，如多層感知器(Multilayer Perceptron, MLP)[30]，卷積神經網絡(CNN)[82]，[73]，循環神經網絡(RNN)[54]，生成對抗網絡(Generative Adversarial networks, GAN)[12]。神經網絡的重要方面包括權值初始化[104]、損失函數[130]、正則化[102]、過擬合控制[18]、激活函數[136]和優化[35]。
激活函數在神經網絡[36]中起著非常重要的作用，它通過非線性變換學習抽象的特征。AFs的一些共同性質如下: A)在優化中增加非線性曲率以提高網絡的訓練收斂性; B)它不應該廣泛地增加模型的計算復雜性; C)不妨礙訓練過程中的梯度流動;d)它應該保留數據的分布，以便更好地訓練網絡。近年來，為了實現上述特性，人們已經探索了幾種用于深度學習的AFs。本綜述致力于神經網絡中AFs領域的發展。不同AFs的見解和推理被提出，以使深度學習社區受益。這項綜述的主要貢獻概述如下:
-
本綜述為廣泛的AFs提供了詳細的分類。它還非常全面地包括了AFs，包括Logistic Sigmoid/Tanh, Rectified Unit, Exponential Unit, 和Adaptive AFs。
-
本綜述從不同角度對AFs進行分析，為讀者提供最新的AFs。它特別涵蓋了用于深度學習的AFs的進展。
-
本綜述還通過簡要的重點和重要的討論總結了AFs，以描述其對不同類型數據的適用性(參見表VI)。
-
將本次綜述與現有綜述/分析進行比較，顯示其重要性(見表七)。
-
本文還介紹了使用18種最先進的AFs和不同類型網絡在4個不同模式的基準數據集上的性能比較(參見表VIII, IX和XI)。
付費5元查看完整內容
相關內容
3D點云
·
隨著自動駕駛和機器人技術等實際應用的發展，人們越來越關注對3D點云的理解。雖然深度學習在基于圖像的任務上取得了顯著的成功，但深度神經網絡在處理大量、非結構化和噪聲的三維點時仍面臨著許多獨特的挑戰。為了展示深度學習在理解三維點云方面的最新進展，本文從幾個不同的方向(分類、分割、檢測、跟蹤、流量估計、配準、增強和補全)，以及常用的數據集、指標和最新性能，總結了該領域最近顯著的研究貢獻。
付費5元查看完整內容
深度學習利用多個處理層來學習具有多個層次特征的數據表示。自2014年以來，隨著Deepface和DeepID方法的突破，這一新興技術已經重塑了人臉識別的研究領域。從那時起，深度人臉識別(FR)技術，利用層次結構學習區分的人臉表示，已經極大地提高了最先進的性能，并培養了許多成功的現實世界的應用。在這篇論文中，我們提供了一個全面深度學習人臉識別綜述。首先，我們總結了在快速發展的深度FR方法中提出的不同的網絡結構和損耗函數。其次，相關的人臉處理方法被分為兩個類:“一對多增強”和“多對一歸一化”。然后，對常用的模型訓練和評價數據庫進行了總結和比較。第三，對跨因素場景、異質場景、多媒體場景和行業場景進行了深入分析。最后，指出了現有方法的潛在不足和未來的發展方向。
付費5元查看完整內容
題目： Meta-Learning in Neural Networks: A Survey
簡介： 近年來，元學習領域的興趣急劇上升。與使用固定學習算法從頭解決給定任務的傳統AI方法相反，元學習旨在根據多次學習事件的經驗來改善學習算法本身。這種范例為解決深度學習的許多傳統挑戰提供了機會，包括數據和計算瓶頸以及泛化的基本問題。在本次調查中，我們描述了當代的元學習環境。我們首先討論元學習的定義，并將其相對于相關領域（例如轉移學習，多任務學習和超參數優化）進行定位。然后，我們提出了一種新的分類法，該分類法為當今的元學習方法提供了更為全面的細分。我們調查了元學習的有希望的應用程序和成功案例，包括，強化學習和架構搜索。最后，我們討論了未來研究的突出挑戰和有希望的領域。
付費5元查看完整內容
自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。計算能力的最新發展和大量語言數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本調查對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們進一步分析和比較不同的方法和最先進的模型。
付費5元查看完整內容
1、題目： Advances and Open Problems in Federated Learning
簡介： 聯邦學習（Federated Learning）是一種新興的人工智能基礎技術，在 2016 年由谷歌最先提出，原本用于解決安卓手機終端用戶在本地更新模型的問題，其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下，在多參與方或多計算結點之間開展高效率的機器學習。其中，聯邦學習可使用的機器學習算法不局限于神經網絡，還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。最近來自斯坦福、CMU、Google等25家機構58位學者共同發表了關于聯邦學習最新進展與開放問題的綜述論文《Advances and Open Problems in Federated Learning》，共105頁pdf調研了438篇文獻，講解了最新聯邦學習進展，并提出大量開放型問題。
2、題目： Deep learning for time series classification: a review
簡介： 時間序列分類(Time Series Classification， TSC )是數據挖掘中的一個重要而富有挑戰性的問題。隨著時間序列數據可用性的提高，已經提出了數百種TSC算法。在這些方法中，只有少數考慮使用深度神經網絡來完成這項任務。這令人驚訝，因為在過去幾年里，深度學習得到了非常成功的應用。DNNs的確已經徹底改變了計算機視覺領域，特別是隨著新型更深層次的結構的出現，如殘差和卷積神經網絡。除了圖像，文本和音頻等連續數據也可以用DNNs處理，以達到文檔分類和語音識別的最新性能。在本文中，本文通過對TSC最新DNN架構的實證研究，研究了TSC深度學習算法的最新性能。在TSC的DNNs統一分類場景下，本文概述了各種時間序列領域最成功的深度學習應用。本文還為TSC社區提供了一個開源的深度學習框架，實現了本文所對比的各種方法，并在單變量TSC基準( UCR archive)和12個多變量時間序列數據集上對它們進行了評估。通過在97個時間序列數據集上訓練8730個深度學習模型，本文提出了迄今為止針對TSC的DNNs的最詳盡的研究。
3、 題目： Optimization for deep learning: theory and algorithms
簡介： 本文概述了用于訓練神經網絡的優化算法和理論。 首先，我們討論梯度爆炸/消失的問題以及不希望有的頻譜的更一般性的問題，然后討論實用的解決方案，包括仔細的初始化和歸一化方法。 其次，我們回顧了用于訓練神經網絡的通用優化方法，例如SGD，自適應梯度法和分布式方法，以及這些算法的現有理論結果。 第三，我們回顧了有關神經網絡訓練的全球性問題的現有研究，包括不良局部極小值，模式連通性，彩票假說和無限寬度分析的結果。
4、題目： Optimization for deep learning: theory and algorithms
簡介： 本文概述了用于訓練神經網絡的優化算法和理論。 首先，我們討論梯度爆炸/消失的問題以及不希望有的頻譜的一般性的問題，然后討論解決方案，包括初始化和歸一化方法。 其次，我們回顧了用于訓練神經網絡的通用優化方法，例如SGD，自適應梯度法和分布式方法，以及這些算法的現有理論結果。 第三，我們回顧了有關神經網絡訓練的現有研究。
5、題目： Normalizing Flows for Probabilistic Modeling and Inference
簡介： 歸一化流提供了一種定義表達概率分布的通用機制，只需要指定基本分布和一系列雙射變換。 最近有許多關于標準化流的工作，從提高其表達能力到擴展其應用。 我們認為該領域已經成熟，需要一個統一的觀點。 在這篇綜述中，我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理，并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯，我們還擴大了flow的概念框架。 最后，我們總結了在諸如生成模型，近似推理和監督學習等任務中使用歸一化流提供了一種定義表達概率分布的通用機制，只需要指定（通常是簡單的）基本分布和一系列雙射變換。 最近有許多關于標準化流的工作，從提高其表達能力到擴展其應用。 我們認為該領域已經成熟，需要一個統一的觀點。 在這篇綜述中，我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理，并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯，我們還擴大了流量的概念框架。 最后，我們總結了在諸如生成模型，近似推理和監督學習等任務中使用流。
6、題目： Fantastic Generalization Measures and Where to Find Them
簡介： 近年來，深度網絡的普遍性引起了人們極大的興趣，從而產生了許多從理論和經驗出發推動復雜性的措施。 但是，大多數提出此類措施的論文只研究了一小部分模型，而這些實驗得出的結論在其他情況下是否仍然有效的問題尚待解決。 我們提出了深度網絡泛化的第一個大規模研究。 我們研究了從理論界和實證研究中采取的40多種復雜性度量。 通過系統地改變常用的超參數，我們訓練了10,000多個卷積網絡。 為了揭示每個度量與泛化之間的潛在因果關系，我們分析了實驗，并顯示了有希望進行進一步研究的度量。
7、題目： Neural Style Transfer: A Review
簡介： Gatys等人的開創性工作通過分離和重新組合圖像內容和樣式，展示了卷積神經網絡（CNN）在創建藝術圖像中的作用。使用CNN渲染不同樣式的內容圖像的過程稱為神經樣式傳輸（NST）。從那時起，NST成為學術文獻和工業應用中的一個熱門話題。它正受到越來越多的關注，并且提出了多種方法來改進或擴展原始的NST算法。在本文中，我們旨在全面概述NST的最新進展。我們首先提出一種NST領域中當前算法的分類法。然后，我們提出幾種評估方法，并定性和定量地比較不同的NST算法。審查結束時討論了NST的各種應用和未解決的問題，以供將來研究。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191