深度學習加速器旨在高效地執行深度學習，通常針對推理階段，并且通常通過利用傳統電子設備之外的物理基板。迄今為止的方法一直無法應用反向傳播算法來原位訓練非常規的新型硬件。反向傳播的優勢使其成為事實上的大規模神經網絡訓練方法，因此這一缺陷構成了主要障礙。康奈爾大學的研究人員介紹了一種混合原位-計算機算法，稱為物理感知訓練，它應用反向傳播來訓練可控的物理系統。該研究以「Deep physical neural networks trained with backpropagation」為題，于 2022 年 1 月 26 日發布在《Nature》。
深度學習模型已經成為科學和工程領域的普遍工具。然而，他們的能量需求現在越來越限制他們的可擴展性(Patterson et al., 2020)。深度學習加速器旨在高效地進行深度學習，通常以推理階段為目標，并經常通過利用傳統電子學以外的物理基質。迄今為止的方法都無法應用反向傳播算法來就地訓練非常規的新型硬件。逆傳播的優勢使其成為大規模神經網絡事實上的訓練方法，所以這一缺陷構成了一個主要障礙。在這里，作者介紹了一種混合的原位硅學算法，稱為物理感知訓練，它應用反向傳播來訓練可控的物理系統。正如深度學習實現了由數學函數層組成的深度神經網絡的計算一樣，該方法允許我們訓練由可控物理系統層組成的深度物理神經網絡，即使物理層與傳統的人工神經網絡層缺乏任何數學同構性。
為了證明該方法的普遍性，作者訓練了基于光學、機械學和電子學的各種物理神經網絡，以實驗方式執行音頻和圖像分類任務。物理感知訓練結合了反向傳播的可擴展性和原地算法可實現的缺陷和噪聲的自動緩解。物理神經網絡有可能比傳統的電子處理器更快、更節能地進行機器學習，更廣泛地說，可以賦予物理系統自動設計的物理功能，例如，機器人，材料和智能傳感器。
//www.nature.com/articles/s41586-021-04223-6
與人工智能的許多歷史發展一樣，深度神經網絡（DNNs）的廣泛采用部分是由協同硬件促成的。2012年，在早期工作的基礎上，Krizhevsky等人表明，反向傳播算法可以通過圖形處理單元有效執行，以訓練大型DNN進行圖像分類。自2012年以來，DNN模型的計算要求迅速增長，超過了摩爾定律。現在，DNNs越來越受到硬件能效的限制。新出現的DNN能源問題激發了特殊用途的硬件。DNN "加速器 "，其中大多數是基于硬件物理和DNN數學運算之間的直接數學同構（圖1a，b）。有幾個加速器提案使用了傳統電子學以外的物理系統，如光學和模擬電子橫梁陣列。大多數設備針對的是深度學習的推理階段，在商業部署中，推理階段占深度學習能源成本的90%以上(Patterson et al., 2020)，盡管越來越多的設備也在解決訓練階段的問題（e.g., Kohda et al., 2020）。
圖示：PNN 簡介。（來源：論文）
然而，通過為嚴格的、逐個操作的數學同構設計硬件，來實現訓練有素的數學變換，并不是執行高效機器學習的唯一方法。相反，研究人員可以直接訓練硬件的物理轉換來執行所需的計算。在這里，研究人員將這種方法稱為物理神經網絡（PNN），以強調訓練的是物理過程，而不是數學運算。 這種區別不僅僅是語義上的：通過打破傳統的軟件-硬件劃分，PNN 提供了從幾乎任何可控的物理系統構建神經網絡硬件的可能性。正如任何模擬復雜物理系統演變的人所了解的那樣，物理轉換通常比數字仿真更快，且消耗更少的能量。
這表明如果最直接地利用這些物理轉換的 PNN，可能會比傳統范式更有效地執行某些計算，從而為可擴展、更節能和更快的機器學習提供途徑。
圖示：使用寬帶光學 SHG 實驗實現的示例 PNN。（來源：論文）
PNN 尤其適用于類似 DNN 的計算，遠遠超過數字邏輯甚至其他形式的模擬計算。正如它們對自然數據的穩健處理所預期的那樣，DNN 和物理過程具有許多結構相似性，例如層次結構、近似對稱性、噪聲、冗余和非線性。
隨著物理系統的發展，它們執行的轉換有效地等效于 DNN 中常用的數學運算的近似、變體或組合，例如卷積、非線性和矩陣向量乘法。因此，使用受控物理變換序列，研究人員可以實現可訓練的分層物理計算，即深度 PNN。
雖然通過直接訓練物理轉換來構建計算機的范式起源于進化的計算材料，但它今天正在各個領域出現，包括光學、自旋電子納米振蕩器、納米電子器件和小型量子計算機。
一個密切相關的趨勢是物理儲層計算（PRC），其中未經訓練的物理「儲層」的轉換由可訓練的輸出層線性組合。盡管 PRC 利用通用物理過程進行計算，但它無法實現類似 DNN 的分層計算。
相比之下，訓練物理轉換本身的方法原則上可以克服這一限制。為了通過實驗訓練物理變換，研究人員經常依賴無梯度學習算法。基于梯度的學習算法，例如反向傳播算法，被認為對于大規模 DNN 的高效訓練和良好泛化至關重要。
因此，出現了在物理硬件中實現基于梯度的訓練的建議。然而，這些鼓舞人心的提議卻做出了排除許多物理系統的假設，例如線性、無耗散演化或梯度動力學很好地描述了系統。最普遍的建議通過在計算機上進行訓練來克服這些限制，即完全在數值模擬中學習。盡管計算機訓練的普遍性賦予了力量，但非線性物理系統的模擬很少足夠準確，無法使計算機訓練的模型準確地轉移到真實設備。
圖示：物理意識培訓。（來源：論文） 在這里，康奈爾大學的團隊演示了一個使用反向傳播直接訓練任意物理系統來執行 DNN 的通用框架，即 PNN。他們的方法是通過一種混合原位 - 計算機算法實現的，稱為物理感知訓練（PAT）。PAT 允許研究人員在任何物理輸入-輸出轉換序列上高效準確地執行反向傳播算法。
他們通過使用三個不同的系統實驗性地執行圖像分類，來證明這種方法的普遍性：驅動金屬板的多模機械振蕩、非線性電子振蕩器的模擬動力學和超快光學二次諧波產生 (SHG)。
研究人員獲得了準確的分層分類器，該分類器利用了每個系統獨特的物理變換，并從本質上減輕了每個系統的獨特噪聲過程和缺陷。
盡管 PNN 與傳統硬件大相徑庭，但很容易將它們集成到現代機器學習中。實驗表明，PNN 可以通過物理-數字混合架構與傳統硬件和神經網絡方法無縫結合，其中傳統硬件學習使用 PAT 與非傳統物理資源進行機會合作。
最終，PNN 提供了將機器學習的能源效率和速度提高多個數量級的途徑，以及自動設計復雜功能設備（例如功能性納米顆粒、機器人和智能傳感器）的途徑。
參考鏈接：
付費5元查看完整內容
相關內容
深度視覺生成是計算機視覺領域的熱門方向，旨在使計算機能夠根據輸入數據自動生成預期的視覺內容。深度視覺生成用人工智能技術賦能相關產業，推動產業自動化、智能化改革與轉型。生成對抗網絡(GAN)是深度視覺生成的有效工具，近年來受到了極大關注，成為快速發展的研究方向。GAN能夠接收多種模態的輸入數據，包括噪聲、圖像、文本、視頻，以對抗博弈的模式進行圖像生成和視頻生成，已成功應用于多項視覺生成任務，如廣告設計、藝術創作、動畫制作、虛擬現實等。利用GAN實現真實的、多樣化、可控的視覺生成具有重要的研究意義。本文通過系統調研，對近年來深度對抗視覺生成的相關工作進行綜述。首先介紹深度視覺生成背景及典型生成模型，然后根據深度對抗視覺生成的主流任務概述相關算法，總結深度對抗視覺生成目前面臨的痛點問題，在此基礎上分析深度對抗視覺生成的未來發展趨勢。
付費5元查看完整內容
幾十年來，不斷增長的計算能力一直是許多技術革命背后的推動力，包括最近在人工智能方面的進步。然而，由于集成電路進程規模的放緩，對于系統架構師來說，要繼續滿足當今應用不斷增長的計算需求，他們現在必須采用具有專門加速器的異構系統。
然而，建構這些加速器系統是極其昂貴和耗時的。首先，硬件的開發周期是出了名的長，這使得它很難跟上算法的快速發展。同時，現有的編譯器無法導航由新型加速器架構暴露的棘手映射空間。最后算法的設計通常沒有將硬件效率作為關鍵指標，因此，在設計高效硬件方面提出了額外的挑戰。
本文解決了聯合設計和優化算法、調度和加速硬件設計的重大挑戰。我們的目標是通過三管齊下的方法來推進最先進的技術: 開發從高層抽象自動生成加速器系統的方法和工具，縮短硬件開發周期; 適應機器學習和其他優化技術，以改進加速器的設計和編譯流程; 以及協同設計算法和加速器，以開發更多的優化機會。
本文的目標應用領域是深度學習，它在計算機視覺、神經語言處理等廣泛的任務中取得了前所未有的成功。隨著智能設備的普及，可以預見，深度學習將成為我們日常生活中的主要計算需求。因此，本文旨在通過硬件加速進行端到端系統優化，釋放前沿深度學習算法的普遍采用，改變生活的各個方面。
//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html
付費5元查看完整內容
題目： Optimization for deep learning: theory and algorithms
摘要：
什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸、消失問題，然后討論了實際的解決方案，包括初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法以及這些算法的理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、無限寬度分析。
作者：
Ruoyu Sun是伊利諾伊大學厄本那香檳分校 (UIUC)電子與計算機工程系的助理教授，研究優化和機器學習，尤其是深度學習。最近，一直在研究深度學習中的最優化，例如神經網絡，GANs和Adam。
摘要
什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然后討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。
- 概述
本文的一個主要主題是了解成功訓練神經網絡的實際組成部分，以及可能導致訓練失敗的因素。假設你在1980年試圖用神經網絡解決一個圖像分類問題。如果你想從頭開始訓練一個神經網絡，很可能你最初的幾次嘗試都沒有得到合理的結果。什么本質的變化使算法能有效進行?在高層次上，你需要三樣東西(除了強大的硬件): 合適的神經網絡、合適的訓練算法和合適的訓練技巧。
合適的神經網絡。這包括神經結構和激活功能。對于神經結構，您可能想要用一個至少有5層和足夠神經元的卷積網絡來替換一個完全連接的網絡。為了獲得更好的性能，您可能希望將深度增加到20甚至100，并添加跳躍skip連接。對于激活函數，一個好的起點是ReLU激活，但是使用tanh或swish激活也是合理的。
訓練算法。一個大的選擇是使用隨機版本的梯度下降(SGD)并堅持它。良好調整的步長足夠好，而動量和自適應步長可以提供額外的好處。
訓練技巧。適當的初始化對于算法的訓練是非常重要的。要訓練一個超過10層的網絡，通常需要兩個額外的技巧:添加規范化層和添加跳過連接。
哪些設計選擇是必要的?目前我們已經了解了一些設計選擇，包括初始化策略、規范化方法、跳過連接、參數化(大寬度)和SGD，如圖1所示。我們將優化優勢大致分為三部分: 控制Lipschitz常數、更快的收斂速度和更好的landscape。還有許多其他的設計選擇是很難理解的，尤其是神經架構。無論如何，似乎不可能理解這個復雜系統的每個部分，目前的理解已經可以提供一些有用的見解。
圖1: 成功訓練具有理論理解的神經網絡的幾個主要設計選擇。它們對算法收斂的三個方面有影響:使收斂成為可能、更快的收斂和更好的全局解。這三個方面有一定的聯系，只是一個粗略的分類。請注意，還有其他一些重要的設計選擇，特別是神經體系結構，它們在理論上還沒有被理解，因此在該圖中被省略了。還有其他好處，比如泛化，也被忽略了。
為了使綜述調查簡單，我們將重點研究前饋神經網絡的監督學習問題。我們將不討論更復雜的公式，如GANs(生成對抗網絡)和深度強化學習，也不討論更復雜的體系結構，如RNN(遞歸神經網絡)、attention和Capsule。在更廣泛的背景下，監督學習理論至少包含表示、優化和泛化(參見1.1節)，我們不詳細討論表示和泛化。一個主要的目標是理解神經網絡結構(由許多變量連接的參數化)如何影響優化算法的設計和分析，這可能會超越監督學習。
這篇文章是為那些對神經網絡優化的理論理解感興趣的研究人員寫的。關于優化方法和基礎理論的先驗知識將非常有幫助(參見，[24,200,29]的準備)。現有的關于深度學習優化的調查主要針對一般的機器學習受眾，如Goodfellow等[76]的第8章。這些綜述通常不深入討論優化的理論方面。相反，在這篇文章中，我們更多地強調理論結果，同時努力使它對非理論讀者具有可訪問性。如果可能的話，我們將提供一些簡單的例子來說明這種直覺，我們將不解釋定理的細節。
1.1 大景觀：分解理論
分解是發展理論的一個有用且流行的元方法。首先簡要回顧了優化在機器學習中的作用，然后討論了如何分解深度學習的優化理論。
表示、優化和泛化。監督學習的目標是根據觀察到的樣本找到一個近似底層函數的函數。第一步是找到一個豐富的函數家族(如神經網絡)，可以代表理想的函數。第二步是通過最小化某個損失函數來識別函數的參數。第三步是使用第二步中找到的函數對不可見的測試數據進行預測，產生的錯誤稱為測試錯誤。測試誤差可以分解為表示誤差、優化誤差和泛化誤差，分別對應這三個步驟引起的誤差。
在機器學習中，表示、優化和泛化這三個學科經常被分開研究。例如，在研究一類函數的表示能力時，我們往往不關心優化問題能否很好地解決。在研究泛化誤差時，我們通常假設已經找到了全局最優值(概化調查見[95])。類似地，在研究優化屬性時，我們通常不明確地考慮泛化誤差(但有時我們假定表示誤差為零)。
優化問題的分解。深度學習的優化問題比較復雜，需要進一步分解。優化的發展可以分為三個步驟。第一步是使算法開始運行，并收斂到一個合理的解，如一個固定點。第二步是使算法盡快收斂。第三步是確保算法收斂到一個低目標值的解(如全局極小值)。要獲得良好的測試精度，還有一個額外的步驟，但是這超出了優化的范圍。簡而言之，我們將優化問題分為三個部分: 收斂性、收斂速度和全局質量。
大部分工作的回顧分為三個部分: 第四部分，第五部分和第六部分。大致說來，每個部分主要是由優化理論的三個部分之一。然而，這種劃分并不精確，因為這三個部分之間的邊界是模糊的。例如，第4節中討論的一些技術也可以提高收斂速度，第6節中的一些結果解決了收斂問題和全局問題。劃分的另一個原因是它們代表了神經網絡優化的三個相當獨立的子領域，并且在一定程度上是獨立發展的。
1.2 文章結構
這篇文章的結構如下。在第二節中，我們提出了一個典型的監督學習神經網絡優化問題。在第三節中，我們提出了反向傳播(BP)，并分析了將經典收斂分析應用于神經網絡梯度下降的困難。在第四節中，我們將討論訓練神經網絡的神經網絡特定技巧，以及一些基本理論。這些是神經網絡相關的方法，打開了神經網絡的黑盒子。特別地，我們討論了一個主要的挑戰，稱為梯度爆炸/消失和一個更普遍的挑戰，控制頻譜，并回顧了主要的解決方案，如仔細的初始化和歸一化方法。在第五節中，我們討論了將神經網絡視為一般非凸優化問題的泛型算法設計。特別地，我們回顧了SGD的各種學習速率調度、自適應梯度方法、大規模分布式訓練、二階方法以及現有的收斂和迭代復雜度結果。在第六節中，我們回顧了神經網絡的全局優化研究，包括全局景觀、模式連接、彩票假設和無限寬度分析(如神經正切核)。
?
更多請下載論文查看
便捷下載，請關注專知公眾號（點擊上方藍色專知關注）
后臺回復“
付費5元查看完整內容
多目標跟蹤(MOT)的問題在于在一個序列中跟蹤不同目標的軌跡，通常是視頻。近年來，隨著深度學習的興起，為這一問題提供解決方案的算法受益于深度模型的表示能力。本文對利用深度學習模型解決單攝像機視頻MOT任務的作品進行了全面的綜述。提出了MOT算法的四個主要步驟，并對深度學習在每個階段的應用進行了深入的回顧。本文還對三種MOTChallenge數據集上的現有工作進行了完整的實驗比較，確定了一些最優的方法之間的相似性，并提出了一些可能的未來研究方向。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191