近年來,現場可編程邏輯門陣列(FPGA)在異構計算領域因其優異的可定制性和可重配置特點吸引了工業界和學術界廣泛的關注.基于FPGA的硬件加速系統設計涉及到深度的軟硬件協同開發,利用軟硬件各自開發工具分別開發再集成的傳統開發方式具有學習門檻高,集成、測試、部署耗時長等缺陷,開發人員難以利用FPGA可快速重配置的特點來實現系統開發過程中的快速原型和快速迭代.如何讓硬件加速系統的開發利用到現代軟件工程和程序語言領域的成果,研究者們已經經過了長期的探索,本文首先根據相關研究總結了硬件及硬件加速系統開發工具設計的歷史教訓和成功經驗,然后介紹我們的設計實踐,最后進行總結并提出對未來的展望.
摘要: 近年來, 卷積神經網絡(Convolutional neural network, CNNs)在計算機視覺、自然語言處理、語音識別等領域取得了突飛猛進的發展, 其強大的特征學習能力引起了國內外專家學者廣泛關注.然而, 由于深度卷積神經網絡普遍規模龐大、計算度復雜, 限制了其在實時要求高和資源受限環境下的應用.對卷積神經網絡的結構進行優化以壓縮并加速現有網絡有助于深度學習在更大范圍的推廣應用, 目前已成為深度學習社區的一個研究熱點.本文整理了卷積神經網絡結構優化技術的發展歷史、研究現狀以及典型方法, 將這些工作歸納為網絡剪枝與稀疏化、張量分解、知識遷移和精細模塊設計4個方面并進行了較為全面的探討.最后, 本文對當前研究的熱點與難點作了分析和總結, 并對網絡結構優化領域未來的發展方向和應用前景進行了展望.
摘要:隨著日益劇增的海量數據信息的產生以及數據挖掘算法的廣泛應用,人們已經進入了大數據時代.在數據規模飛速增長的前提下,如何高效穩定的存取數據信息以及加快數據挖掘算法的執行已經成為學術界和工業界急需解決的關鍵問題.機器學習算法作為數據挖掘應用的核心組成部分,吸引了越來越多研究者的關注,而利用新型的軟硬件手段來加速機器學習算法已經成為了目前的研究熱點之一.本文主要針對基于ASIC和FPGA等硬件平臺設計的機器學習加速器進行了歸納與總結.首先,本文先介紹了機器學習算法,對代表性的算法進行了分析和歸納.接下來對加速器可能的著眼點進行了列舉綜述,以各種機器學習硬件加速器為主要實例介紹了目前主流的加速器設計和實現,并圍繞加速器結構進行簡單分類和總結.最后本文對機器學習算法硬件加速這個領域進行了分析,并對目前的發展趨勢做出了展望.
摘要:卷積神經網絡在廣泛的應用中取得了優秀的表現,但巨大的資源消耗量使得其應用于移動端和嵌入式設備成為了挑戰。為了解決此類問題,需要對網絡模型在大小、速度和準確度方面做出平衡。首先,從模型是否預先訓練角度,簡要介紹了網絡壓縮與加速的兩類方法——神經網絡壓縮和緊湊的神經網絡。具體地,闡述了緊湊的神經網絡設計方法,展示了其中不同運算方式,強調了這些運算特點,并根據基礎運算不同,將其分為基于空間卷積的模型設計和基于移位卷積模型設計兩大類,然后每類分別選取三個網絡模型從基礎運算單元、核心構建塊和整體網絡結構進行論述。同時,分析了各網絡以及常規網絡在ImageNet數據集上的性能。最后,總結了現有的緊湊神經網絡設計技巧,并展望了未來的發展方向。
論文題目: A Survey on Edge Computing Systems and Tools
論文摘要: 在物聯網和5G通信的愿景驅動下,邊緣計算系統在網絡邊緣集成了計算,存儲和網絡資源,以提供計算基礎架構,從而使開發人員能夠快速開發和部署邊緣應用程序。 如今,邊緣計算系統已在業界和學術界引起了廣泛關注。 為了探索新的研究機會并幫助用戶選擇適合特定應用的邊緣計算系統,本調查報告對現有邊緣計算系統進行了全面概述,并介紹了代表性的項目。 根據開放源代碼工具的適用性進行了比較。 最后,我們重點介紹了邊緣計算系統的能源效率和深度學習優化。 本次調查還研究了用于分析和設計邊緣計算系統的未解決問題。
知識圖譜一直是研究的熱點,東南大學漆桂林老師等發表了一篇關于中文知識圖譜構建的綜述論文,詳細講述了當前中文知識圖譜的研究進展,是非常好的學習資料。
隨著智能技術的不斷發展,作為人工智能支柱的知識圖譜以其強大的知識表示和推理能力受到了學術界和產業界的廣泛關注。近年來,知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。構建中文知識圖譜的技術也在迅速發展,不同的中文知識圖譜以支持不同的應用。同時,我國在知識圖譜開發方面積累的經驗對非英語知識圖譜的開發也有很好的借鑒意義。本文旨在介紹中文知識圖譜的構建技術及其應用,然后介紹了典型的中文知識圖譜,此外我們介紹了構建中文知識圖譜的技術細節,并介紹了了中文知識圖譜的幾種應用。
A Survey of Model Compression and Acceleration for Deep Neural Networks 深度卷積神經網絡(CNNs)最近在許多視覺識別任務中取得了巨大的成功。然而,現有的深度神經網絡模型在計算上是昂貴的和內存密集型的,這阻礙了它們在低內存資源的設備或有嚴格時間延遲要求的應用程序中的部署。因此,在不顯著降低模型性能的情況下,在深度網絡中進行模型壓縮和加速是一種自然的思路。在過去幾年中,這方面取得了巨大的進展。本文綜述了近年來發展起來的壓縮和加速CNNs模型的先進技術。這些技術大致分為四種方案: 參數剪枝和共享、低秩因子分解、傳輸/緊湊卷積過濾器和知識蒸餾。首先介紹參數修剪和共享的方法,然后介紹其他技術。對于每種方案,我們都提供了關于性能、相關應用程序、優點和缺點等方面的詳細分析。然后我們將討論一些最近比較成功的方法,例如,動態容量網絡和隨機深度網絡。然后,我們調查評估矩陣、用于評估模型性能的主要數據集和最近的基準測試工作。最后,對全文進行總結,并對今后的研究方向進行了展望。