摘要: 隨著深度神經網絡和智能移動設備的快速發展,網絡結構輕量化設計逐漸成為前沿且熱門的研究方向,而輕量化的本質是在保持深度神經網絡精度的前提下優化存儲空間和提升運行速度。闡述深度學習的輕量化網絡結構設計方法,對比與分析人工設計的輕量化方法、基于神經網絡結構搜索的輕量化方法和基于自動模型壓縮的輕量化方法的創新點與優劣勢,總結與歸納上述3種主流輕量化方法中性能優異的網絡結構并分析各自的優勢和局限性。在此基礎上,指出輕量化網絡結構設計所面臨的挑戰,同時對其應用方向及未來發展趨勢進行展望。
圖像分類是計算機視覺中的一項重要任務,傳統的圖像分類方法具有一定的局限性。隨著人工智能技術的發展,深度學習技術越來越成熟,利用深度卷積神經網絡對圖像進行分類成為研究熱點,圖像分類的深度卷積神經網絡結構越來越多樣,其性能遠遠好于傳統的圖像分類方法。本文立足于圖像分類的深度卷積神經網絡模型結構,根據模型發展和模型優化的歷程,將深度卷積神經網絡分為經典深度卷積神經網絡模型、注意力機制深度卷積神經網絡模型、輕量級深度卷積神經網絡模型和神經網絡架構搜索模型等4類,并對各類深度卷積神經網絡模型結構的構造方法和特點進行了全面綜述,對各類分類模型的性能進行了對比與分析。雖然深度卷積神經網絡模型的結構設計越來越精妙,模型優化的方法越來越強大,圖像分類準確率在不斷刷新的同時,模型的參數量也在逐漸降低,訓練和推理速度不斷加快。然而深度卷積神經網絡模型仍有一定的局限性,本文給出了存在的問題和未來可能的研究方向,即深度卷積神經網絡模型主要以有監督學習方式進行圖像分類,受到數據集質量和規模的限制,無監督式學習和半監督學習方式的深度卷積神經網絡模型將是未來的重點研究方向之一;深度卷積神經網絡模型的速度和資源消耗仍不盡人意,應用于移動式設備具有一定的挑戰性;模型的優化方法以及衡量模型優劣的度量方法有待深入研究;人工設計深度卷積神經網絡結構耗時耗力,神經架構搜索方法將是未來深度卷積神經網絡模型設計的發展方向。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20211001&flag=1
傳統神經網絡具有過度依賴硬件資源和對應用設備性能要求較高的缺點,因此無法部署于算力有限的邊緣設備和移動終端上,人工智能技術的應用發展在一定程度上受到了限制。然而,隨著科技時代的到來,受用戶需求影響的人工智能迫切需要在便攜式設備上能成功進行如計算機視覺應用等方面的操作。為此,本文以近幾年流行的輕量化神經網絡中的卷積部分為研究對象,詳細比對了各類輕量化模型中卷積構成方式的不同,并針對卷積設計的主要思路和特點進行了較為詳細的闡述。首先,通過引入輕量化神經網絡的概念,介紹了輕量化神經網絡的發展現狀和網絡中卷積方面所面臨的問題;然后,將卷積分為卷積結構輕量化、卷積模塊輕量化和卷積運算輕量化三個方面進行介紹,具體通過對各類輕量化神經網絡模型中卷積設計的研究,來展示不同卷積的輕量化效果并對其中優化方法的優缺點進行闡述;最后,對文中所有輕量化模型卷積設計的主要思路和使用方式進行了總結分析,并對其未來的可能性發展進行了展望。
摘要: 圖像異常檢測是計算機視覺領域的一個熱門研究課題, 其目標是在不使用真實異常樣本的情況下, 利用現有的正常樣本構建模型以檢測可能出現的各種異常圖像, 在工業外觀缺陷檢測, 醫學圖像分析, 高光譜圖像處理等領域有較高的研究意義和應用價值. 本文首先介紹了異常的定義以及常見的異常類型. 然后, 本文根據在模型構建過程中有無神經網絡的參與, 將圖像異常檢測方法分為基于傳統方法和基于深度學習兩大類型, 并分別對相應的檢測方法的設計思路、優點和局限性進行了綜述與分析. 其次, 梳理了圖像異常檢測任務中面臨的主要挑戰. 最后, 對該領域未來可能的研究方向進行了展望.
醫學影像分割是計算機輔助診斷中的一項基礎且關鍵的任務,目的在于從像素級別準確識別出目標器官、組織或病變區域。不同于自然場景下的圖像,醫學影像往往紋理復雜,同時受限于成像技術和成像設備,醫學影像噪聲大,邊界模糊而不易判斷。除此之外,對醫學影像進行標注極大依賴于醫療專家的認知和經驗,因此可用于訓練中的標注數據少且存在標注誤差。由于上述的醫學影像邊緣模糊不清、訓練數據較少和標注誤差較大等特點,基于傳統圖像分割算法搭建的輔助診斷系統難以滿足臨床應用的要求。近年來隨著卷積神經網絡(CNN)在計算機視覺和自然語言處理領域的廣泛應用,基于深度學習的醫學影像分割算法取得了極大的成功。首先概述了近幾年基于深度學習的醫學影像分割的研究進展,包括這些醫學影像分割算法的基本結構、目標函數和優化方法。隨后針對醫學影像標注數據有限的問題,對目前半監督條件下醫學影像分割的主流工作進行了整理歸納和分析。此外,還介紹了針對標注誤差進行不確定度分析的相關工作。最后,總結分析了深度學習醫學影像分割的特點并展望了未來的研究趨勢。
新聞推薦(NR)可以有效緩解新聞信息過載,是當今人們獲取新聞資訊的重要方式,而深度學習(DL)成為近年來促進新聞推薦發展的主流技術,使新聞推薦的效果得到顯著提升,受到研究者們的廣泛關注。主要對基于深度學習的新聞推薦方法研究現狀進行分類梳理和分析歸納。根據對新聞推薦的核心對象——用戶和新聞的建模思路不同,將基于深度學習的新聞推薦方法分為“兩段式”方法、“融合式”方法和“協同式”方法三類。在每類方法中,根據建模過程中的具體子任務或基于的數據組織結構進行更進一步細分,對代表性模型進行分析介紹,評價其優點和局限性等,并詳細總結每類方法的特點和優缺點。另外還介紹了新聞推薦中常用數據集、基線算法和性能評價指標,最后分析展望了該領域未來可能的研究方向及發展趨勢。
精準地預判網絡流量變化趨勢可以幫助運營商準確預估網絡的使用情況,合理分配并高效利用網絡資源,以滿足日益增長且多樣化的用戶需求。以深度學習算法在網絡流量預測領域的進展為線索,闡述了網絡流量預測的評價指標和目前公開的網絡流量數據集及應用,具體分析了網絡流量預測中常用的深度信念網絡、卷積神經網絡、循環神經網絡和長短時記憶網絡共四種深度學習方法,并重點介紹了近年來針對不同問題所提出的改進神經網絡模型,總結了各模型特點及應用場景。最后對網絡流量預測未來發展進行了展望。
視頻目標檢測是為了解決每一個視頻幀中出現的目標如何進行定位和識別的問題。相比于圖像目標檢測,視頻具有高冗余度的特性,其中包含了大量的時空局部信息。隨著深度卷積神經網絡在靜態圖像目標檢測領域的迅速普及,在性能上相較于傳統方法顯示出了非常大的優越性,并逐步在基于視頻的目標檢測任務上也發揮了應有的作用。但現有的視頻目標檢測算法仍然面臨改進與優化主流目標檢測算法的性能、保持視頻序列的時空一致性、檢測模型輕量化等關鍵技術的挑戰。針對上述問題和挑戰,本文在調研大量文獻的基礎上系統地對基于深度學習的視頻目標檢測算法進行了總結。從基于光流、檢測等基礎方法對這些算法進行了分類,從骨干網絡、算法結構、數據集等角度細致探究了這些方法,結合在ImageNet VID等數據集上的實驗結果,分析了該領域具有代表性算法的性能優勢和劣勢,以及算法之間存在的聯系,對視頻目標檢測中待解決的問題與未來研究方向進行了闡述和展望。視頻目標檢測已成為眾多的計算機視覺領域學者追逐的熱點,將來會有更加高效,精度更高的算法被相繼提出,其發展方向也會越來越好。
摘要: 目標檢測技術是光學遙感圖像理解的基礎問題, 具有重要的應用價值. 本文對遙感圖像目標檢測算法發展進行了梳理和分析. 首先闡述了遙感圖像目標檢測的特點和挑戰; 之后系統總結了典型的檢測方法, 包括早期的基于手工設計特征的算法和現階段基于深度學習的方法, 對于深度學習方法首先介紹了典型的目標檢測模型, 進而針對遙感圖像本身的難點詳細梳理了優化改進方案; 接著介紹了常用的檢測數據集, 并對現有方法的性能進行比較; 最后對現階段問題進行總結并對未來發展趨勢進行展望.
信息論的經典結果表明,信源信道分離編碼是漸進最優的。但現代通信系統對時延、帶寬等愈發敏 感,分離設計對解碼具有無限計算能力這一假設難以成立。帶寬有限時,相對于信源信道聯合編碼,分離編 碼已被證明是次優的。傳統的聯合信源信道編碼需要復雜的編碼方案,相較之下,數據驅動的深度學習技術 則帶來了新的設計思路。適時地對相關研究成果進行總結,有助于進一步明確深度學習方法解決信源信道聯 合編碼問題的方式,為研究新的研究方向提供依據。首先介紹了基于深度學習的信源壓縮方案和端對端收發 信機模型,隨后分析不同信源類型下的兩種聯合編碼設計思路,最后探討了基于深度學習的信源信道聯合編 碼的潛在問題和未來的工作方向。
摘要: 近年來, 卷積神經網絡(Convolutional neural network, CNNs)在計算機視覺、自然語言處理、語音識別等領域取得了突飛猛進的發展, 其強大的特征學習能力引起了國內外專家學者廣泛關注.然而, 由于深度卷積神經網絡普遍規模龐大、計算度復雜, 限制了其在實時要求高和資源受限環境下的應用.對卷積神經網絡的結構進行優化以壓縮并加速現有網絡有助于深度學習在更大范圍的推廣應用, 目前已成為深度學習社區的一個研究熱點.本文整理了卷積神經網絡結構優化技術的發展歷史、研究現狀以及典型方法, 將這些工作歸納為網絡剪枝與稀疏化、張量分解、知識遷移和精細模塊設計4個方面并進行了較為全面的探討.最后, 本文對當前研究的熱點與難點作了分析和總結, 并對網絡結構優化領域未來的發展方向和應用前景進行了展望.