深度神經網絡(DNNs)因其在機器學習(ML)中對各種認知任務的高性能而備受歡迎。近年來，DNN在許多任務上的進展已經超出了人類的精度，但代價是計算復雜度很高。因此，為了高效地執行DNN推理，越來越多的研究工作利用DNN固有的誤差恢復能力，并采用近似計算(AC)原理來解決DNN加速器的高能量需求。這篇文章提供了一個分析硬件近似技術的DNN加速器的全面綜述。首先，我們分析了目前的技術狀況，并通過識別近似族，我們聚類各自的工作與近似類型。接下來，我們分析執行評估的復雜性(與數據集和DNN大小有關)，以評估近似DNN加速器的效率、潛力和局限性。此外，還提供了一個廣泛的討論，關于更適合設計DNN加速器的近似單元的誤差度量，以及為DNN推理量身定制的精度恢復方法。最后，我們介紹了DNN加速器的近似計算如何超越能源效率，并解決可靠性和安全問題。
付費5元查看完整內容
相關內容
Feature propagation in Deep Neural Networks (DNNs) can be associated to nonlinear discrete dynamical systems. The novelty, in this paper, lies in letting the discretization parameter (time step-size) vary from layer to layer, which needs to be learned, in an optimization framework. The proposed framework can be applied to any of the existing networks such as ResNet, DenseNet or Fractional-DNN. This framework is shown to help overcome the vanishing and exploding gradient issues. Stability of some of the existing continuous DNNs such as Fractional-DNN is also studied. The proposed approach is applied to an ill-posed 3D-Maxwell's equation.
Over the years, many graph problems specifically those in NP-complete are studied by a wide range of researchers. Some famous examples include graph colouring, travelling salesman problem and subgraph isomorphism. Most of these problems are typically addressed by exact algorithms, approximate algorithms and heuristics. There are however some drawback for each of these methods. Recent studies have employed learning-based frameworks such as machine learning techniques in solving these problems, given that they are useful in discovering new patterns in structured data that can be represented using graphs. This research direction has successfully attracted a considerable amount of attention. In this survey, we provide a systematic review mainly on classic graph problems in which learning-based approaches have been proposed in addressing the problems. We discuss the overview of each framework, and provide analyses based on the design and performance of the framework. Some potential research questions are also suggested. Ultimately, this survey gives a clearer insight and can be used as a stepping stone to the research community in studying problems in this field.
Binary Neural Networks (BNNs) have emerged as a promising solution for reducing the memory footprint and compute costs of deep neural networks. BNNs, on the other hand, suffer from information loss because binary activations are limited to only two values, resulting in reduced accuracy. To improve the accuracy, previous studies have attempted to control the distribution of binary activation by manually shifting the threshold of the activation function or making the shift amount trainable. During the process, they usually depended on statistical information computed from a batch. We argue that using statistical data from a batch fails to capture the crucial information for each input instance in BNN computations, and the differences between statistical information computed from each instance need to be considered when determining the binary activation threshold of each instance. Based on the concept, we propose the Binary Neural Network with INSTAnce-aware threshold (INSTA-BNN), which decides the activation threshold value considering the difference between statistical data computed from a batch and each instance. The proposed INSTA-BNN outperforms the baseline by 2.5% and 2.3% on the ImageNet classification task with comparable computing cost, achieving 68.0% and 71.7% top-1 accuracy on ResNet-18 and MobileNetV1 based models, respectively.
摘要
Transformer模型架構最近引起了極大的興趣，因為它們在語言、視覺和強化學習等領域的有效性。例如，在自然語言處理領域，Transformer已經成為現代深度學習堆棧中不可缺少的主要部分。最近，提出的令人眼花繚亂的X-former模型如Linformer, Performer, Longformer等這些都改進了原始Transformer架構的X-former模型，其中許多改進了計算和內存效率。為了幫助熱心的研究人員在這一混亂中給予指導，本文描述了大量經過深思熟慮的最新高效X-former模型的選擇，提供了一個跨多個領域的現有工作和模型的有組織和全面的概述。
關鍵詞：深度學習，自然語言處理，Transformer模型，注意力模型
介紹
Transformer是現代深度學習領域中一股強大的力量。Transformer無處不在，在語言理解、圖像處理等許多領域都產生了巨大的影響。因此，在過去的幾年里，大量的研究致力于對該模型進行根本性的改進，這是很自然的。這種巨大的興趣也刺激了對該模式更高效變體的研究。
最近出現了大量的Transformer模型變體，研究人員和實踐者可能會發現跟上創新的速度很有挑戰性。在撰寫本文時，僅在過去6個月里就提出了近12種新的以效率為中心的模式。因此，對現有文獻進行綜述，既有利于社區，又十分及時。
自注意力機制是確定Transformer模型的一個關鍵特性。該機制可以看作是一種類似圖的歸納偏差，它通過基于關聯的池化操作將序列中的所有標記連接起來。一個眾所周知的自注意力問題是二次時間和記憶復雜性，這可能阻礙模型在許多設置的可伸縮性。最近，為了解決這個問題，出現了大量的模型變體。以下我們將這類型號命名為“高效Transformers”。
根據上下文，可以對模型的效率進行不同的解釋。它可能指的是模型的內存占用情況，當模型運行的加速器的內存有限時，這一點非常重要。效率也可能指計算成本，例如，在訓練和推理期間的失敗次數。特別是對于設備上的應用，模型應該能夠在有限的計算預算下運行。在這篇綜述中，我們提到了Transformer在內存和計算方面的效率，當它們被用于建模大型輸入時。
有效的自我注意力模型在建模長序列的應用中是至關重要的。例如，文檔、圖像和視頻通常都由相對大量的像素或標記組成。因此，處理長序列的效率對于Transformer的廣泛采用至關重要。
本篇綜述旨在提供這類模型的最新進展的全面概述。我們主要關注的是通過解決自我注意力機制的二次復雜性問題來提高Transformer效率的建模進展和架構創新，我們還將在后面的章節簡要討論一般改進和其他效率改進。
本文提出了一種高效Transformer模型的分類方法，并通過技術創新和主要用例對其進行了表征。特別地，我們回顧了在語言和視覺領域都有應用的Transformer模型，試圖對各個領域的文獻進行分析。我們還提供了許多這些模型的詳細介紹，并繪制了它們之間的聯系。
付費5元查看完整內容
題目
A Survey on Large-scale Machine ：大規模機器學習綜述
關鍵詞
機器學習，綜述調查
摘要
機器學習可以提供對數據的深刻見解，從而使機器能夠做出高質量的預測，并已廣泛用于諸如文本挖掘，視覺分類和推薦系統之類的實際應用中。 但是，大多數復雜的機器學習方法在處理大規模數據時會耗費大量時間。 這個問題需要大規模機器學習（LML），其目的是從具有可比性能的大數據中學習模式。 在本文中，我們對現有的LML方法進行了系統的調查，為該領域的未來發展提供了藍圖。 我們首先根據提高可伸縮性的方式來劃分這些LML方法：1）簡化計算復雜度的模型，2）優化計算效率的近似值，以及3）提高計算的并行性。 然后，根據目標場景對每種方法進行分類，并根據內在策略介紹代表性方法。最后，我們分析其局限性并討論潛在的方向以及未來有望解決的開放問題。
簡介
機器學習使機器能夠從數據中學習模式，從而無需手動發現和編碼模式。 盡管如此，相對于訓練實例或模型參數的數量，許多有效的機器學習方法都面臨二次時間復雜性[70]。 近年來，隨著數據規模的迅速增長[207]，這些機器學習方法變得不堪重負，難以為現實應用服務。 為了開發大數據的金礦，因此提出了大規模機器學習（LML）。 它旨在解決可用計算資源上的常規機器學習任務，特別著重于處理大規模數據。 LML可以以幾乎線性（甚至更低）的時間復雜度處理任務，同時獲得可比的精度。 因此，它已成為可操作的見解的大數據分析的核心。 例如，Waymo和Tesla Autopilot等自動駕駛汽車在計算機視覺中應用了卷積網絡，以實時圖像感知周圍環境[115]； 諸如Netflix和Amazon之類的在線媒體和電子商務站點從用戶歷史到產品推薦都建立了有效的協作過濾模型[18]。總而言之，LML在我們的日常生活中一直扮演著至關重要的和不可或缺的角色。
鑒于對從大數據中學習的需求不斷增長，對此領域的系統調查變得非常科學和實用。 盡管在大數據分析領域已經發表了一些調查報告[12]，[33]，[54]，[193]，但它們在以下方面還不夠全面。 首先，它們大多數只專注于LML的一個觀點，而忽略了互補性。它限制了它們在該領域的價值，并無法促進未來的發展。例如，[12]專注于預測模型而沒有發現優化問題，[33]在忽略并行化的同時回顧了隨機優化算法，[193]僅關注了 大數據處理系統，并討論系統支持的機器學習方法。 其次，大多數調查要么失去對所審查方法的洞察力，要么忽視了最新的高質量文獻。 例如，[12]缺乏討論模型的計算復雜性的討論，[33]忽略了處理高維數據的優化算法，[120]將其研究限于Hadoop生態系統中的分布式數據分析。 從計算角度回顧了200多篇Paperson LML，并進行了更深入的分析，并討論了未來的研究方向。 我們為從業者提供查找表，以根據他們的需求和資源選擇預測模型，優化算法和處理系統。 此外，我們為研究人員提供了有關當前策略的見解，以更有效地開發下一代LML的指南。
我們將貢獻總結如下。 首先，我們根據三個計算角度對LML進行了全面概述。 具體來說，它包括：1）模型簡化，通過簡化預測模型來降低計算復雜性； 2）優化近似，通過設計更好的優化算法來提高計算效率； 3）計算并行性，通過調度多個計算設備來提高計算能力。其次，我們對現有的LML方法進行了深入的分析。 為此，我們根據目標場景將每個角度的方法劃分為更精細的類別。 我們分析了它們促進機器學習過程的動機和內在策略。 然后，我們介紹了具有代表性的成就的特征。此外，我們還回顧了混合方法，這些方法共同改善了協同效應的多個視角。 第三，我們從各個角度分析了LML方法的局限性，并根據其擴展提出了潛在的發展方向。 此外，我們討論了有關LML未來發展的一些相關問題。
本文的結構如下。 我們首先在第2節中介紹了機器學習的一般框架，然后對其有效性和效率進行了高層次的討論。在第3節中，我們全面回顧了最新的LML方法并深入了解了它們的好處和優勢。 局限性。 最后，在第5節結束本文之前，我們討論了解決第4節中的局限性和其他有希望的未解決問題的未來方向。
付費5元查看完整內容
深度神經網絡
·
【導讀】深度神經網絡在很多監督任務都達到了SOTA性能，但是其計算量是個挑戰。來自MIT 教授 Vivienne Sze等學者發布了關于《深度神經網絡的高效處理》著作，本書為深度神經網絡(DNNs)的高效處理提供了關鍵原則和技術的結構化處理。值得關注。
//www.morganclaypoolpublishers.com/catalog_Orig/product_info.php?cPath=22&products_id=1530
本書為深度神經網絡(DNNs)的高效處理提供了關鍵原則和技術的結構化處理。DNNs目前廣泛應用于許多人工智能(AI)應用，包括計算機視覺、語音識別和機器人技術。雖然DNNs在許多人工智能任務中提供了最好的性能，但它以高計算復雜度為代價。因此，在不犧牲準確性或增加硬件成本的情況下，能夠有效處理深層神經網絡以提高指標(如能源效率、吞吐量和延遲)的技術對于在人工智能系統中廣泛部署DNNs至關重要。
本書中包括了DNN處理的背景知識;設計DNN加速器的硬件架構方法的描述和分類;評價和比較不同設計的關鍵指標;DNN處理的特點是服從硬件/算法的共同設計，以提高能源效率和吞吐量;以及應用新技術的機會。讀者將會發現對該領域的結構化介紹，以及對現有工作中關鍵概念的形式化和組織，從而提供可能激發新想法的見解。
深度神經網絡(DNNs)已經變得非常流行; 然而，它們是以高計算復雜度為代價的。因此，人們對有效處理DNNs產生了極大的興趣。DNN加速的挑戰有三:
- 為了實現高性能和效率
- 提供足夠的靈活性，以滿足廣泛和快速變化的工作負載范圍
- 能夠很好地集成到現有的軟件框架中。
目錄內容：
第一部分理解深層神經網絡
- 介紹
- 深度神經網絡概述
第二部分處理DNNs的硬件設計
- 關鍵量度和設計目標
- 內核計算
- 設計DNN加速器
- 專用硬件上的操作映射
第三部分，DNN硬件和算法的協同設計
- 減少精度
- 利用稀疏
- 設計高效的DNN模型
- 先進技術
- 結論
第一個模塊旨在提供DNN領域的總體背景和了解DNN工作負載的特點。
- 第一章提供了DNNs為什么重要的背景，他們的歷史和他們的應用。
- 第二章概述了神經網絡的基本組成部分和目前常用的神經網絡模型。還介紹了用于DNN研究和開發的各種資源。這包括各種軟件框架的討論，以及用于訓練和評估的公共數據集。
第二部分主要介紹處理DNNs的硬件設計。它根據定制程度(從通用平臺到完全定制硬件)討論各種架構設計決策，以及在將DNN工作負載映射到這些架構時的設計考慮。同時考慮了時間和空間架構。
- 第三章描述了在設計或比較各種DNN加速器時應該考慮的關鍵指標。
- 第四章描述了如何處理DNN內核，重點關注的是時序架構，比如cpu和gpu。為了獲得更高的效率，這類架構通常具有緩存層次結構和粗粒度的計算能力，例如向量指令，從而使計算結果更高效。對于這樣的架構，DNN處理通常可以轉化為矩陣乘法，這有很多優化的機會。本章還討論了各種軟件和硬件優化，用于加速這些平臺上的DNN計算，而不影響應用程序的精度。
- 第五章介紹了DNN處理專用硬件的設計，重點介紹了空間架構。它強調了用于處理DNN的硬件的處理順序和產生的數據移動，以及與DNN的循環嵌套表示的關系。循環嵌套中的循環順序稱為數據流，它決定了移動每個數據塊的頻率。循環嵌套中的循環限制描述了如何將DNN工作負載分解成更小的塊，稱為平鋪/阻塞，以說明在內存層次結構的不同級別上有限的存儲容量。
- 第六章介紹了將DNN工作負載映射到DNN加速器的過程。它描述了找到優化映射所需的步驟，包括枚舉所有合法映射，并通過使用預測吞吐量和能源效率的模型來搜索這些映射。
第三個模塊討論了如何通過算法和硬件的協同設計來提高堆棧的效率，或者通過使用混合信號電路新的存儲器或設備技術來降低堆棧的效率。在修改算法的情況下，必須仔細評估對精度的影響。
- 第七章描述了如何降低數據和計算的精度，從而提高吞吐量和能源效率。它討論了如何使用量化和相關的設計考慮來降低精度，包括硬件成本和對精度的影響。
- 第八章描述了如何利用DNNs的稀疏性來減少數據的占用，這為減少存儲需求、數據移動和算術操作提供了機會。它描述了稀疏的各種來源和增加稀疏的技術。然后討論了稀疏DNN加速器如何將稀疏轉化為能源效率和吞吐量的提高。它還提出了一種新的抽象數據表示，可用于表達和獲得關于各種稀疏DNN加速器的數據流的見解。
- 第九章描述了如何優化DNN模型的結構(即(例如DNN的“網絡架構”)，以提高吞吐量和能源效率，同時盡量減少對準確性的影響。它討論了手工設計方法和自動設計方法(例如。(如神經結構搜索)
- 第十章，關于先進技術，討論了如何使用混合信號電路和新的存儲技術，使計算更接近數據(例如，在內存中處理)，以解決昂貴的數據移動，支配吞吐量和DNNs的能源消耗。并簡要討論了在光域內進行計算和通信以降低能耗和提高吞吐量的前景。
Vivienne Sze，來自 MIT 的高效能多媒體系統組（Energy-Efficient Multimedia Systems Group）。她曾就讀于多倫多大學，在 MIT 完成 PhD 學業并獲得電氣工程博士學位，目前在 MIT 任教。Sze 教授的主要研究興趣是高效能算法和移動多媒體設備應用架構。
付費5元查看完整內容
題目
二值神經網絡綜述，Binary Neural Networks: A Survey
關鍵詞
二進制神經網絡，深度學習，模型壓縮，網絡量化，模型加速
簡介
二進制神經網絡在很大程度上節省了存儲和計算成本，是一種在資源有限的設備上部署深度模型的有前途的技術。 然而，二值化不可避免地導致嚴重的信息丟失，甚至更糟的是，其不連續性給深度網絡的優化帶來了困難。 為了解決這些問題，近年來提出了多種算法，并取得了令人滿意的進展。 在本文中，我們對這些算法進行了全面的概述，主要分為直接進行二值化的本機解決方案，以及使用使量化誤差最小化，改善網絡損耗函數和減小梯度誤差等技術進行優化的解決方案。 我們還將研究二進制神經網絡的其他實用方面，例如硬件友好的設計和訓練技巧。 然后，我們對不同的任務進行了評估和討論，包括圖像分類，對象檢測和語義分割。 最后，展望了未來研究可能面臨的挑戰。
作者
Haotong Qina , Ruihao Gonga , Xianglong Liu?a,b, Xiao Baie , Jingkuan Songc , Nicu Sebe
付費5元查看完整內容
題目： A survey of deep learning techniques for autonomous driving
簡介： 本文目的是研究自動駕駛中深度學習技術的最新技術。首先介紹基于AI的自動駕駛架構、CNN和RNN、以及DRL范例。這些方法為駕駛場景感知、路徑規劃、行為決策和運動控制算法奠定基礎。該文研究深度學習方法構建的模塊化“感知-規劃-執行”流水線以及將傳感信息直接映射到轉向命令的端到端系統。此外，設計自動駕駛AI架構遇到的當前挑戰，如安全性、訓練數據源和計算硬件等也進行了討論。該工作有助于深入了解深度學習和自動駕駛AI方法的優越性和局限性，并協助系統的設計選擇。
付費5元查看完整內容
A Survey of Model Compression and Acceleration for Deep Neural Networks 深度卷積神經網絡(CNNs)最近在許多視覺識別任務中取得了巨大的成功。然而，現有的深度神經網絡模型在計算上是昂貴的和內存密集型的，這阻礙了它們在低內存資源的設備或有嚴格時間延遲要求的應用程序中的部署。因此，在不顯著降低模型性能的情況下，在深度網絡中進行模型壓縮和加速是一種自然的思路。在過去幾年中，這方面取得了巨大的進展。本文綜述了近年來發展起來的壓縮和加速CNNs模型的先進技術。這些技術大致分為四種方案: 參數剪枝和共享、低秩因子分解、傳輸/緊湊卷積過濾器和知識蒸餾。首先介紹參數修剪和共享的方法，然后介紹其他技術。對于每種方案，我們都提供了關于性能、相關應用程序、優點和缺點等方面的詳細分析。然后我們將討論一些最近比較成功的方法，例如，動態容量網絡和隨機深度網絡。然后，我們調查評估矩陣、用于評估模型性能的主要數據集和最近的基準測試工作。最后，對全文進行總結，并對今后的研究方向進行了展望。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191