亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，隨著人工智能與大數據技術的發展，深度神經網絡在語音識別、自然語言處理、圖像理解、視 頻分析等應用領域取得了突破性進展. 深度神經網絡的模型層數多、參數量大且計算復雜，對硬件的計算能力、 內存帶寬及數據存儲等有較高的要求. FPGA 作為一種可編程邏輯器件，具有可編程、高性能、低能耗、高穩定、 可并行和安全性的特點. **FPGA 與深度神經網絡的結合成為推動人工智能產業應用的研究熱點. **本文首先簡述了人工神經網絡坎坷的七十年發展歷程與目前主流的深度神經網絡模型，并介紹了支持深度神經網絡發展與應用的主 流硬件；接下來，在介紹 FPGA 的發展歷程、開發方式、開發流程及型號選取的基礎上，從六個方向分析了 FPGA 與深度神經網絡結合的產業應用研究熱點；然后，基于 FPGA 的硬件結構與深度神經網絡的模型特點，總結了基 于 FPGA 的深度神經網絡的設計思路、優化方向和學習策略；接下來，歸納了 FPGA 型號選擇以及相關研究的評 價指標與度量分析原則；最后，我們總結了影響 FPGA 應用于深度神經網絡的五個主要因素并進行了概要分析.

引言**

隨著智能化時代的到來，人工智能的應用已經 深入到社會的各行各業. 作為人工智能的主要研究 分支，神經網絡的研究和發展成為主導當前智能化 程度的主要力量. 簡單來講，神經網絡是通過模擬 人腦中神經元的連接方式來實現類腦的信息處理過 程. 在過去的七十年發展歷史中，神經網絡的發展 也經歷了質疑和低谷，得幸于研究者的堅持探索才 使它被普遍認可并有機會更好的造福人類. 為讓機 器更好地模擬人腦來認識世界，神經網絡模型不斷 革新發展，經歷了從淺層神經網絡到深度神經網絡 的重要變革. 目前，深度神經網絡可以利用深層的 結構很好地提取和擬合數據特征，并在語音識別、 自然語言處理、圖像理解、視頻分析等應用領域取 得了突破性進展. 研究者在追求更好精度的同時， 深度神經網絡模型層數和參數數量也在不斷增加， 從而對硬件的計算能力、內存帶寬及數據存儲等的 要求也越來越高. 因此. 計算能力強、可并行加速、 數據吞吐高的高性能硬件平臺對于模型訓練和產業 應用來說顯得尤為重要. 本節將概述神經網絡的發 展史和當前流行的深度神經網絡模型，并分析推動 深度神經網絡產業應用的主流硬件平臺.

1.1 深度神經網絡的發展歷程**

相比今天神經網絡的發展速度，其基礎理論研 究初期卻經歷重重波折. 最早的神經網絡數學模型 是由心理學家 McCulloch 教授和數學家 Pitts 教授于 1943 年提出的模擬人類大腦神經元的 McCullochPitt 神經元模型，并被稱為 M-P 模型[1]. 該模型是通 過簡單的線性加權來實現對人類神經元處理信號的 模擬,該工作被稱為人工神經網絡（ANN）的起點，隨后出現的神經網絡模型均是以該模型為基礎的**. 然而，其性能的好壞完全由分配的權重決定，這就 使該模型很難達到最優的效果. 隨后，為了改善該 模型并讓計算機自動合理的設置權重，心理學家 Hebb 于 1949 年提出 Hebb 學習規則[2]并得到諾貝爾 醫學獎得主 Kandel 的認可. 康奈爾大學的實驗心理 學家 Rosenblatt 于 1958 年提出感知機模型[3]，該模 型是第一個真正意義上的人工神經網絡，標志著神 經網絡研究進入了第一次高潮期. Minsky 和 Papert 等學者對感知機模型進行了分析，結論為該模型無 法求解簡單的異或等線性不可分問題[4]，從此神經 網絡的發展進入低潮甚至幾乎處于停滯狀態. 隨 后，并行分布處理[5]、反向傳播算法[6]及 1982 年連 續和離散 Hopfield 神經網絡模型的提出為研究者重 新打開了思路，開啟了神經網絡發展的又一個春天， 此后的神經網絡模型研究開始向問題導向發展.

1985 年 Sejnowski 和 Hinton 受 Hopfield 神經網 絡模型的啟示提出的玻爾茲曼機模型[7]. 該模型通 過學習數據的固有內在表示來解決困難學習的問 題，隨后又針對模型局限性進一步提出受限玻爾茲 曼機模型[8]和深度玻爾茲曼機模型[9]. 反向傳播算 法于 1986 年得到進一步發展，成為后續神經網絡 模型發展的基石[10]，1990 年用于解決數據結構關 系的遞歸神經網絡出現[11]. 經過半個世紀的研究， 加拿大多倫多大學的教授 Hinton 等人在 2006 年提 出了深度置信網絡模型[12]，不但提出了多隱層的神 經網絡，而且提出了深層神經網絡在訓練問題上的 解決方法，該模型開啟了深度神經網絡的研究熱 潮.** 自此，針對特定研究問題的深度神經網絡模型 大量涌現**.

深度卷積神經網絡是一種受啟發于人類大腦對眼睛里接收到的信號的理解過程而提出的神經網絡 模型. 該網絡作為人工神經網絡的典型模型之一被 提出并出色地應用于計算機視覺領域. LeCun 等人 提出的 LeNet 模型作為卷積神經網絡的雛形起初被 應用于手寫體識別 . 2012 年 Hinton 等人提出 AlexNet 模型，并應用 ImageNet 圖像識別大賽中[13]， 其精確度顛覆了圖像識別領域，使卷積神經網絡進 入大眾視野. 隨后出現了大量經典卷積神經網絡模 型如在網絡層次上進行加深的 NIN[14]，GoogLeNet[15]， VGGNet[16] 等，通過拆分卷積核來提升效率的 Inception V2/V3[17]，在深層網絡中引入連跳結構來 緩解梯度消失的 ResNet[18]和 DenseNet[19]等. 除此 之外，還有建模特征通道間相互依賴關系的 SENet[20]、基于 ResNet 進行改進的 ResNext[21]及 ResNeSt[22]等. 在不同的研究領域也出現大量經典 的卷積神經網絡模型，如致力于全景分割的 UPSNet[23]、FPSNet[24]和 OANet[25]等，致力于目標 檢測的 Faster-RCNN[26] 、 YOLO v1/v2/v3[27–29] 、 SSD[30]、EfficientDet[31]、LRF-Net[32]等，致力于目 標跟蹤的 SimeseNet[33]、MDNet[34]. 目前，隨著社會 的不斷進步，卷積神經網絡的各種變型模型已經被 應用于無人駕駛、智能監控和機器人等領域. 膠囊 網絡是 Hinton 團隊于 2017 年為彌補卷積神經網絡 在物體空間關系上認知的不足而提出的一種新的網 絡體系結構. 其與卷積神經網絡的區別在于，該網 絡是一種由含有一小群神經元的膠囊組成新型的神 經網絡[35]，這些膠囊之間通過動態路由來傳遞特征. 膠囊網絡獨特的數據表示方式使其考慮了目標的位 置、方向、形變等特征，并能對提取的特征進行理 解. 隨后，為提升膠囊網絡的性能，對膠囊進行優 化[36–38]和對動態路由進行優化[39, 40]的方法被提出. 目前，膠囊網絡的成就主要有抵御對抗性攻擊、結 合圖卷積神經網絡進行圖像分類、結合注意力機制 進行零樣本意圖識別等。

深度強化學習是一種集感知能力和決策能力為 一體的神經網絡模型，其應用成果真正進入大眾視 野是在 Alpha Go 出現后. Google DeepMind 公司提 出的深度強化學習模型 Deep Q-Network[41]讓這一 更接近人類思維方式的模型得到更多學者的青睞. 隨后，針對 Deep Q-Network 計算方法、網絡結構 和數據結構進行改進出現了 Double DQN、Dueling Network 和 Prioritized Replay 三種強化學習模型. 另 外，Deep Q-Network 加入了遞歸思想生成了 Deep Recurrent Q-Network. 田春偉等人將強化學習思想 用于目標跟蹤領域并提出了 ADNet 模型[42]. 除此之 外，繼 Alpha Go 之后，DeepMind 又推出基于強化 學習的 AlphaZero[43]和 MuZero[44]，提高了深度神經 網絡的智能化水平. 生成對抗網絡（GAN）[45]是由 Goodfellow 等人在 2014 年提出的，是采用博弈對抗 理論的一種新型神經網絡模型. 該模型打破了已存 在的神經網絡對標簽的依賴性，一出現就受到業界 的歡迎并衍生出許多廣泛流行的構架模型，主要有：第一次將 GAN 和卷積神經網絡相結合的 DCGAN 模型[46]、利用 GAN 刷新人臉生成任務的 StyleGAN 模型[47]、探索文本和圖像合成的 StackGAN 模型[48]、 進行圖像風格轉化的 CycleGAN[49]、Pix2Pix[50]和 StyleGAN[47]，首次可生成具有高保真度低品種差距 圖像的 BigGAN[51]，用于解決視頻跟蹤問題中樣本 不均衡問題的 VITAL 網絡模型[52]. 圖神經網絡是針 對圖結構數據發展而來的一種神經網絡模型，該模 型可以對可轉化為圖結構的數據之間的關系進行處 理分析，它克服了已有的神經網絡模型在處理不規 則數據時的不足. 圖神經網絡模型最早起源于 2005 年[53]，隨后由 Franco 博士在 2009 年首次定義了該 模型的理論基礎[54]，提出之初，該模型并沒有引起 很大波瀾，直到 2013 年圖神經網絡才得到廣泛關注. 近年來圖神經網絡得到廣泛應用，同時結合已有網 絡模型. 圖神經網絡的不同拓展模型被不斷提出， 如圖卷積網絡（Graph Convolutional Networks）[55]、 圖注意力網絡（Graph Attention Networks）[56]、圖 自編碼器（Graph Auto-encoder）[57]、圖時空網絡 （Graph Spatial-Temporal Networks）[58]、圖強化學 習[59–61]、圖對抗網絡模型[62，63]等. 目前，圖神經網 絡模型應用比較廣泛，不僅被應用于計算機視覺、 推薦系統、社交網絡、智能交通等領域，還被應用 于物理、化學、生物和知識圖譜等領域.

輕量級神經網絡是在保證模型的精度下對神經 網絡結構進行壓縮、量化、剪枝、低秩分解、教師學生網絡、輕量化設計后的小體積網絡模型. 2015 年之前，隨著神經網絡模型性能的不斷提升，不斷 增大的網絡體積和復雜度對計算資源也有較高的需 求，這就限制了當前高性能的網絡模型在移動設備 上的靈活應用. 為了解決這一問題，在保證精確度 的基礎上，一些輕量級網絡應運而生. 從 2016 年開 始，SqueezeNet[64]、ShuffleNet[65]、NasNet[66]以及 MobileNet[67]、MobileNetV2[68]、MobileNetV3[69]等 輕量級網絡模型相繼出現，這些輕量級網絡的出現 使一些嵌入式設備和移動終端運行神經網絡成為可 能，也使神經網絡得到更廣泛的應用。

自動機器學習（Automatic Machine Learning，AutoML）是針對機器學習領域對機器學習從業者和 所需經費的需求不斷增長而提出的一種真正意義上 的自動化機器學習系統. AutoML 代替人工進行自動 的網絡模型選取、目標特征選擇、網絡參數優化和 模型評價. 也就是說，AutoML 可以自動構建具有有 限計算預算的機器學習模型結構. AutoML 通過 2017 年 5 月的 Google I/O 大會進入業界視野并得到 廣泛關注. 隨著神經網絡深度和模型數量的不斷增 加，大部分的 AutoML 研究將重點關注在了神經網 絡搜索算法（Neural Architecture Search algorithm, NAS），NAS 的開創性工作是 GoogleBrain 于 2016 年同時提出的[70]. 隨后 MIT 和 GoogleBrain 又在其 基礎上做了一系列的改進工作，加入了強化學習、 基于序列模型的優化、遷移學習等更多合理的邏輯 思路，隨之依次出現了 NasNet[66,71]、基于正則化 進化的 NasNet[72]、PNAS[73]和 ENAS[74]等. 賀鑫等 將目前神經網絡搜索算法的研究進展進行了詳細 總結[75]. Google 推出了 Cloud AutoML 平臺，只需 上傳你的數據，Google 的 NAS 算法就會為你找到 一個快速簡便的架構. AutoML 的出現降低了部分行 業對機器學習尤其是神經網絡的使用者的在數量 和知識儲備上的要求，進一步拓寬了機器學習和神 經網絡的適用范圍.

1.2 深度神經網絡的主流硬件平臺

**隨著硬件技術和深度神經網絡的發展，目前形 成了以“CPU+GPU”的異構模式服務器為主的深度 神經網絡的研究平臺，如英偉達的 DGX-2. 其具有 16 塊 Tesla V100 GPU，可以提供最高達 2 PFLOPs 的計算能力. 面對復雜的實際應用需求和不斷加深 的神經網絡結構，多樣化的深度神經網絡硬件平臺 也不斷發展起來，形成了以通用性芯片（CPU、 GPU）、半制定化芯片（FPGA）、全制定化芯片 （ASIC）、集成電路芯片（SoC）和類腦芯片等為主 的硬件平臺市場. 計算性能、靈活性、易用性、成 本和功耗等成為評價深度神經網絡硬件平臺的因素 和標準.

1.2.1 GPU

GPU（Graphic Processing Unit）起初專門用于 處理圖形任務，主要由控制器、寄存器和邏輯單元 構成. GPU 包含幾千個流處理器，可將運算并行化 執行，大幅縮短模型的運算時間. 由于其強大的計 算能力，目前主要被用于處理大規模的計算任務. 英偉達在 2006 年推出了統一計算設備構架 CUDA 及對應的 G80 平臺，第一次讓 GPU 具有可編程性， 使得 GPU 的流式處理器除了處理圖形也具備處理 單精度浮點數的能力. 在深度神經網絡中，大多數 計算都是矩陣的線性運算，它涉及大量數據運算， 但控制邏輯簡單. 對于這些龐大的計算任務，GPU 的并行處理器表現出極大的優勢. 自從 AlexNet[13] 在 2012 年的 ImageNet 比賽中取得優異成績以來， GPU 被廣泛應用于深層神經網絡的訓練和推理. 大 量依賴 GPU 運算的深度神經網絡軟件框架（如：TensorFlow、PyTorch、Caffe、Theano 和 Paddle-Paddle 等）的出現極大地降低了 GPU 的使用難度. 因此它 也成為人工智能硬件首選，在云端和終端各種場景 均被率先應用，也是目前應用范圍最廣、靈活度最 高的 AI 硬件.

1.2.2 FPGA

FPGA（Field Programmable Gate Array）是現場 可編程門陣列，它允許無限次的編程，并利用小型 查找表來實現組合邏輯. FPGA 可以定制化硬件流 水線，可以同時處理多個應用或在不同時刻處理不 同應用，具有可編程、高性能、低能耗、高穩定、 可并行和安全性的特點，在通信、航空航天、汽車 電子、工業控制、測試測量等領域取得了很大應用 市場. 人工智能產品中往往是針對一些特定應用場 景而定制的，定制化芯片的適用性明顯比通用芯片 的適用性高. FPGA 成本低并且具有較強的可重構 性，可進行無限編程. 因此，在芯片需求量不大或 者算法不穩定的時候，往往使用 FPGA 去實現半定 制的人工智能芯片，這樣可以大大降低從算法到芯 片電路的成本. 隨著人工智能技術的發展，FPGA 在加速數據處理、神經網絡推理、并行計算等方面 表現突出，并在人臉識別、自然語言處理、網絡安 全等領域取得了很好的應用.

1.2.3 ASIC

ASIC（Application Specific Integrated Circuit） 是專用集成電路，是指根據特定用戶要求和特定電 子系統的需要而設計、制造的集成電路. 相比于同 樣工藝 FPGA 實現，ASIC 可以實現 5~10 倍的計算 加速，且量產后 ASIC 的成本會大大降低. 不同于可 編程的 GPU 和 FPGA，ASIC 一旦制造完成將不能 更改，因此具有開發成本高、周期長、門檻高等問 題. 例如近些年類似谷歌的 TPU、寒武紀的 NPU、 地平線的 BPU、英特爾的 Nervana、微軟的 DPU、 亞馬遜的 Inderentia、百度的 XPU 等芯片，本質上 都屬于基于特定應用的人工智能算法的 ASIC 定制. 與通用集成電路相比，由于 ASIC 是專為特定目的 而設計，GoogleBrain 具有體積更小、功耗更低、性能提高、保密性增強等優點，具有很高的商業價值， 特別適合移動終端的消費電子領域的產業應用.

1.2.4 SoC

SoC（System on Chip）是系統級芯片，一般是 將中央處理器、儲存器、控制器、軟件系統等集成 在單一芯片上，通常是面向特殊用途的指定產品， 如手機 SoC、電視 SoC、汽車 SoC 等. 系統級芯片 能降低開發和生產成本，相比于 ASIC 芯片的開發 周期短，因此更加適合量產商用. 目前，高通、AMD、 ARM、英特爾、英偉達、阿里巴巴等都在致力于 SoC 硬件的研發，產品中集成了人工智能加速引擎，從 而滿足市場對人工智能應用的需求. 英特爾旗下子 公司 Movidius 在 2017 年推出了全球第一個配備專 用神經網絡計算引擎的 SoC（Myriad X），芯片上集 成了專為高速、低功耗的神經網絡而設計的硬件模 塊，主要用于加速設備端的深度神經網絡推理計算. 賽靈思推出的可編程片上系統（Zynq 系列）是基于 ARM 處理器的 SoC，具有高性能、低功耗、多核和 開發靈活的優勢. 華為推出的昇騰 310 是面向計算 場景的人工智能 SoC 芯片.

1.2.5 類腦芯片

類腦芯片（brain-inspired chip）是仿照人類大 腦的信息處理方式，打破了存儲和計算分離的架構， 實現數據并行傳送、分布式處理的低功耗芯片. 在 基于馮諾依曼結構的計算芯片中，計算模塊和存儲 模塊分離處理從而引入了延時及功耗浪費. 類腦芯 片側重于仿照人類大腦神經元模型及其信息處理的 機制，利用扁平化的設計結構，從而在降低能耗的 前提下高效地完成計算任務. 在人工智能火熱的時 代，各國政府、大學、公司紛紛投入到類腦芯片的 研究當中，其中典型的有 IBM 的 TrueNorth、英特 爾的 Loihi、高通的 Zeroth、清華大學的天機芯等. 目前，深度神經網絡芯片正在不斷研究開發中， 每種芯片均是針對一定的問題而設計的. 因此，不同 的芯片有其獨特的優勢和不足. 通過上述對不同芯 片的描述，我們可以了解到相比 GPU，FPGA 具有更 強的計算能力和較低的功耗. 相比 ASIC 和 SoC， FPGA 具有更低的設計成本和靈活的可編程性. 相比 類腦芯片，FPGA 的開發設計更簡單. 綜合當前深度 神經網絡芯片的特性可知，FPGA 的設計性能更適合 應用于深度神經網絡在普通領域的開發和應用. 隨著 FPGA 在深度神經網絡領域的應用，相關 學者對其進行了分析和整理. 文獻[76]對基于 FPGA 的卷積神經網絡加速過程進行分析總結. 文獻[77] 匯總了目前 FPGA 用于卷積神經網絡加速的發展研 究現狀. 文獻[78]對目前 FPGA 用于神經網絡的發 展現狀進行總結，并提出所面臨的問題和挑戰. 文 獻[79]總結了 FPGA 的設計理論及其用于神經網絡 加速的技術原理和實現方法. 文獻[80]分別介紹了 人工神經網絡和 FPGA 進行介紹的發展，同時總結 了 FPGA 用于人工神經網絡的發展和挑戰. 本文從 FPGA 應用于深度神經網絡的設計原理、型號選擇、 應用領域、加速器及具體加速原理、實驗評估指標 到最后的 FPGA 應用與深度神經網絡的影響因素等 方面進行歸納總結，對 FPGA 用于神經網絡加速進 行全面的介紹，為讀者提供理論和實踐指導.