傳統神經網絡具有過度依賴硬件資源和對應用設備性能要求較高的缺點,因此無法部署于算力有限的邊緣設備和移動終端上,人工智能技術的應用發展在一定程度上受到了限制。然而,隨著科技時代的到來,受用戶需求影響的人工智能迫切需要在便攜式設備上能成功進行如計算機視覺應用等方面的操作。為此,本文以近幾年流行的輕量化神經網絡中的卷積部分為研究對象,詳細比對了各類輕量化模型中卷積構成方式的不同,并針對卷積設計的主要思路和特點進行了較為詳細的闡述。首先,通過引入輕量化神經網絡的概念,介紹了輕量化神經網絡的發展現狀和網絡中卷積方面所面臨的問題;然后,將卷積分為卷積結構輕量化、卷積模塊輕量化和卷積運算輕量化三個方面進行介紹,具體通過對各類輕量化神經網絡模型中卷積設計的研究,來展示不同卷積的輕量化效果并對其中優化方法的優缺點進行闡述;最后,對文中所有輕量化模型卷積設計的主要思路和使用方式進行了總結分析,并對其未來的可能性發展進行了展望。
隨著教育信息化程度的不斷加深,以預測學生知識狀態為目標的知識追蹤正成為個性化教育中一項重要且富有挑戰性的任務。知識追蹤作為一項教育數據挖掘的時間序列任務,與深度學習模型強大的特征提取和建模能力相結合,在處理順序任務時具有得天獨厚的優勢。為此,簡要分析傳統知識追蹤模型的特點及局限性,以深度知識追蹤發展歷程為主線,總結基于循環神經網絡、記憶增強神經網絡、圖神經網絡的知識追蹤模型及其改進模型,并對該領域的已有模型按照方法策略歸類整理。同時梳理了可供研究者使用的公開數據集和模型評估指標,比較和分析不同建模方法的特點。對基于深度學習的知識追蹤的未來發展方向進行探討和展望,奠定進一步深入基于深度知識追蹤研究的基礎。
近年來,由于互聯網的高速發展和大數據時代的來臨,人工智能隨之大熱,而推動人工智能迅猛發展的正是深度學習的崛起。大數據時代需要迫切解決的問題是如何將極為復雜繁多的數據進行有效的分析使用,進而充分挖掘利用數據的價值并造福人類。深度學習作為一種實現機器學習的技術,正是解決這一問題的重要法寶,它在處理數據過程中發揮著重要作用并且改變了傳統的機器學習方法,已被廣泛應用于語音識別、圖像識別和自然語言處理等研究領域。如何有效加速深度學習的計算能力一直是科研研究的重點。FPGA憑借其強大的并行計算能力和低功耗等優勢成為GPU在加速深度學習領域的有力競爭者。從深度學習的幾種典型模型出發,在FPGA加速技術現有特點的基礎上從針對神經網絡模型的加速器、針對具體問題的加速器、針對優化策略的加速器和針對硬件模板的加速器四方面概括總結了FPGA加速深度學習的研究現狀,然后對比了不同加速技術和模型的性能,最后對未來可能發展的方向進行了展望。
圖像分類是計算機視覺中的一項重要任務,傳統的圖像分類方法具有一定的局限性。隨著人工智能技術的發展,深度學習技術越來越成熟,利用深度卷積神經網絡對圖像進行分類成為研究熱點,圖像分類的深度卷積神經網絡結構越來越多樣,其性能遠遠好于傳統的圖像分類方法。本文立足于圖像分類的深度卷積神經網絡模型結構,根據模型發展和模型優化的歷程,將深度卷積神經網絡分為經典深度卷積神經網絡模型、注意力機制深度卷積神經網絡模型、輕量級深度卷積神經網絡模型和神經網絡架構搜索模型等4類,并對各類深度卷積神經網絡模型結構的構造方法和特點進行了全面綜述,對各類分類模型的性能進行了對比與分析。雖然深度卷積神經網絡模型的結構設計越來越精妙,模型優化的方法越來越強大,圖像分類準確率在不斷刷新的同時,模型的參數量也在逐漸降低,訓練和推理速度不斷加快。然而深度卷積神經網絡模型仍有一定的局限性,本文給出了存在的問題和未來可能的研究方向,即深度卷積神經網絡模型主要以有監督學習方式進行圖像分類,受到數據集質量和規模的限制,無監督式學習和半監督學習方式的深度卷積神經網絡模型將是未來的重點研究方向之一;深度卷積神經網絡模型的速度和資源消耗仍不盡人意,應用于移動式設備具有一定的挑戰性;模型的優化方法以及衡量模型優劣的度量方法有待深入研究;人工設計深度卷積神經網絡結構耗時耗力,神經架構搜索方法將是未來深度卷積神經網絡模型設計的發展方向。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20211001&flag=1
摘要: 卷積神經網絡是深度學習算法應用最廣泛的方向之一,目前卷積神經網絡的應用不僅僅是停留在科技領域,已經擴展到醫學、軍事等領域,并且已在相關領域發揮著巨大的作用。卷積是卷積神經網絡中最為核心的一部分,卷積運算占整個網絡70%以上的時間,所以針對卷積運算的加速研究就顯得十分重要。首先介紹近年來的卷積算法,并對其復雜度進行分析,總結了這些算法各自的優點和不足,最后對其理論研究和應用領域可能存在的突破進行了探討和展望。
近年來,卷積神經網絡(CNN)憑借強大的特征提取和表達能力,在圖像分析領域的諸多應用中取得了令人矚目的成就。但是,CNN性能的不斷提升幾乎完全得益于網絡模型的越來越深和越來越大,在這個情況下,部署完整的CNN往往需要巨大的內存開銷和高性能的計算單元(如GPU)支撐,而在計算資源受限的嵌入式設備以及高實時要求的移動終端上,CNN的廣泛應用存在局限性。因此,CNN迫切需要網絡輕量化。目前解決以上難題的網絡壓縮和加速途徑主要有知識蒸餾、網絡剪枝、參數量化、低秩分解、輕量化網絡設計等。首先介紹了卷積神經網絡的基本結構和發展歷程,簡述和對比了五種典型的網絡壓縮基本方法;然后重點針對知識蒸餾方法進行了詳細的梳理與總結,并在CIFAR數據集上對不同方法進行了實驗對比;其后介紹了知識蒸餾方法目前的評價體系,給出多類型方法的對比分析和評價;最后對該技術未來的拓展研究給出了初步的思考。
摘要: 隨著深度神經網絡和智能移動設備的快速發展,網絡結構輕量化設計逐漸成為前沿且熱門的研究方向,而輕量化的本質是在保持深度神經網絡精度的前提下優化存儲空間和提升運行速度。闡述深度學習的輕量化網絡結構設計方法,對比與分析人工設計的輕量化方法、基于神經網絡結構搜索的輕量化方法和基于自動模型壓縮的輕量化方法的創新點與優劣勢,總結與歸納上述3種主流輕量化方法中性能優異的網絡結構并分析各自的優勢和局限性。在此基礎上,指出輕量化網絡結構設計所面臨的挑戰,同時對其應用方向及未來發展趨勢進行展望。
隨著卷積神經網絡(Convolutional Neural Network,CNN)的不斷發展,目標檢測作為計算機視覺中最基本的技術,已取得了令人矚目的進展。介紹了強監督目標檢測算法對數據集標注精度要求高的現狀。對基于弱監督學習的目標檢測算法進行研究,按照不同的特征處理方法將該算法歸為四類,并分析比較了各類算法的優缺點。通過實驗比
較了各類基于弱監督學習的目標檢測算法的檢測精度,并將其與主流的強監督目標檢測算法進行了比較。展望了基于弱監督學習的目標檢測算法未來的研究熱點。
近年來,隨著深度學習的飛速發展,深度神經網絡受到了越來越多的關注,在許多應用領域取得了顯著效果。通常,在較高的計算量下,深度神經網絡的學習能力隨著網絡層深度的增加而不斷提高,因此深度神經網絡在大型數據集上的表現非常卓越。然而,由于其計算量大、存儲成本高、模型復雜等特性,使得深度學習無法有效地應用于輕量級移動便攜設備。因此,壓縮、優化深度學習模型成為目前研究的熱點,當前主要的模型壓縮方法有模型裁剪、輕量級網絡設計、知識蒸餾、量化、體系結構搜索等。通過對以上方法的性能、優缺點和最新研究成果進行分析總結,對未來研究方向進行了展望。
摘要: 近年來, 卷積神經網絡(Convolutional neural network, CNNs)在計算機視覺、自然語言處理、語音識別等領域取得了突飛猛進的發展, 其強大的特征學習能力引起了國內外專家學者廣泛關注.然而, 由于深度卷積神經網絡普遍規模龐大、計算度復雜, 限制了其在實時要求高和資源受限環境下的應用.對卷積神經網絡的結構進行優化以壓縮并加速現有網絡有助于深度學習在更大范圍的推廣應用, 目前已成為深度學習社區的一個研究熱點.本文整理了卷積神經網絡結構優化技術的發展歷史、研究現狀以及典型方法, 將這些工作歸納為網絡剪枝與稀疏化、張量分解、知識遷移和精細模塊設計4個方面并進行了較為全面的探討.最后, 本文對當前研究的熱點與難點作了分析和總結, 并對網絡結構優化領域未來的發展方向和應用前景進行了展望.
摘要:卷積神經網絡在廣泛的應用中取得了優秀的表現,但巨大的資源消耗量使得其應用于移動端和嵌入式設備成為了挑戰。為了解決此類問題,需要對網絡模型在大小、速度和準確度方面做出平衡。首先,從模型是否預先訓練角度,簡要介紹了網絡壓縮與加速的兩類方法——神經網絡壓縮和緊湊的神經網絡。具體地,闡述了緊湊的神經網絡設計方法,展示了其中不同運算方式,強調了這些運算特點,并根據基礎運算不同,將其分為基于空間卷積的模型設計和基于移位卷積模型設計兩大類,然后每類分別選取三個網絡模型從基礎運算單元、核心構建塊和整體網絡結構進行論述。同時,分析了各網絡以及常規網絡在ImageNet數據集上的性能。最后,總結了現有的緊湊神經網絡設計技巧,并展望了未來的發展方向。