自從深度學習和深度強化學習出現以來，已經有大量的經驗成功地利用某種人工神經網絡來解決給定的優化問題。然而，許多公司的內部運作方式只被人們模糊地了解，并隱藏在成功的故事中。通過揭示各種含義，這篇論文試圖建立一個理解為什么某些神經網絡架構設計工作，以及關鍵的是為什么其他的不能工作。本文不關注實證結果，而是從研究反向傳播在架構設計和訓練中的簡單數學含義開始。然后，提出一種稀疏的全連接層替代方案，以避免信號傳播中的瓶頸。它進一步展示了如何設計單調神經網絡，以及如何使用這些網絡在連續動作空間控制設置中為智能體提供更靈活的策略表示。這本書進一步討論了將神經網絡分成多個模塊的權衡和設計。特別是，模塊化的需求在目標相互沖突的多任務設置中得到了體現。最后，討論了最近提出的注意力架構及其隱含含義。貫穿整篇論文的結果強調了超參數之間的關聯效應和定制架構設計的必要性。本文適合有技術背景的讀者。它被寫得讓剛開始接觸神經網絡的人也能理解。然而，即使是該領域的資深研究人員也可能對所呈現的獨特觀點感興趣。

//www.research-collection.ethz.ch/handle/20.500.11850/541752

作為一個由經驗結果驅動的領域，深度學習是眾多神經結構設計方案的發源地。幾乎每天都有新的論文發表，建議對某些架構組件進行輕微修改，以提高性能。然而，由于大量的混雜因素，通常不清楚性能的提高實際上是由于架構的變化，還是由于超參數的差異，數據預處理的變化，表示能力的增加，或者只是初始化參數的幸運抽獎。本文著眼于深度強化學習的應用前景，旨在更好地理解神經網絡的基本內部工作原理及其設計。

特別地，本文首先強調了反向傳播的隱式內存需求、常用激活函數的工作范圍以及體系結構組件對梯度傳播的影響。展示了架構瓶頸和門控機制如何導致梯度消失，并討論了殘差連接對梯度動態的影響。它還強調了通過體系結構提供算法結構的必要性，以及結構和有利的訓練動態之間的內在權衡。在第一個實際示例中，本文提出了一種全連接層的稀疏替代方案，可以減少參數計數，而不會引入不必要的瓶頸。在強化學習方面，本文提出了一種在連續動作空間環境中控制的新方法。該方法基于分位數回歸和神經網絡的單調性約束。這種組合允許在網絡參數中隱式地表示策略，從而提供了表示復雜動作分布的靈活性。這種策略的必要性在競爭游戲和約束內存設置中得到了證明。此外，該方法還提高了經典控制問題的學習性能。本文進一步探討了多任務學習的局限性，并針對干擾任務目標的問題提出了兩種解決方案——一種是基于注意力架構先驗的解決方案，另一種是基于與無監督任務聚類配對的神經網絡解決方案。這兩種方法都有效地緩解了這個問題，從而提高了性能，并在不同的環境中具有更廣泛的適用性。 本文最后深入研究了注意力架構和transformer對超參數的敏感性。它強調了將注意力權重約束到概率單形的含義，以及這些如何反映訓練表現。它進一步展示了內部softmax激活如何像sigmoid一樣容易飽和，以及transformer在初始化時如何不是序列長度獨立的。在對抽象任務的大規模實證研究中，將Transformer與可選架構設計進行比較。結果突出了超參數選擇的相關效應，不同架構對數據偏差的魯棒性，以及算法對齊對底層任務的重要性。

未來的 MDO 概念：

• 需要機動以滲透并在復雜和有爭議的地區開展行動。
• 嚴重依賴RAS。

正在探索的RAS是為了：

• 在所有陸軍相關環境中運行。
• 提供更好的態勢感知。
• 增加作戰人員的距離。
• 增加對敵方的覆蓋和困境。
• 實現更快的決策。
• 以尚未想象到的方式擴展機動性。

RAS將被要求：

• 評估場景并創建和分享本地和共同世界模型。
• 以戰斗的規模和速度協調各梯隊、團隊、分隊和單個系統（包括人類）的行動、決策和機動。
• 適應環境和敵方行動中的巨大干擾和變化，并具有復原力。

在過去的十年里，深度學習的興起重新定義了許多計算機視覺和自然語言處理任務中的最先進技術，其應用范圍從自動個人助理和社交網絡過濾到自動駕駛汽車和藥物開發。這些算法的普及源于GPU普及帶來可用于訓練的計算能力的指數級增長。準確度的提高創造了對適合部署在邊緣設備上的更快、更省電的硬件需求。在這篇論文中，我們提出了一系列創新和技術，這些創新和技術屬于這種需求所引發的眾多研究領域之一，重點是卷積神經網絡的高能效硬件。

我們首先研究了標準28納米CMOS工藝在深度學習加速器設計方面的表現，特別考慮了在使用降低精度的算術和短SRAM內存字節時，基于標準單元電路的功率和面積。這一分析的結果表明，降低位精度后的功率效率增益是如何非線性的，以及在使用16位精度時如何達到飽和。

我們提出了Nullhop，一個率先使用卷積神經網絡典型的特征圖稀疏性的加速器，并通過量化來提高硬件能力。Nullhop的創新之處在于它能夠跳過所有的乘法運算，包括零值激活。在6.3平方毫米的空間內，它的功率效率達到3 TOP/s/W，吞吐量幾乎達到0.5 TOP/s。

我們提出了一種基于硬件-軟件代碼設計方法的神經網絡量化算法。我們在分類、物體檢測、分割和圖像生成等各種任務上訓練幾個網絡，以證明其能力。該量化方案在Elements中實現，Elements是一個卷積神經網絡加速器架構，支持可變權重位精度和稀疏性。我們通過多種設計參數化來展示Elements的能力，適合于廣泛的應用。其中一個參數化被稱為Deuterium，僅用3.3平方毫米就達到了超過4 TOP/s/W的能源效率。

我們用第三個卷積神經網絡加速器架構進一步探索稀疏性的概念，該架構被稱為TwoNullhop，能夠跳過特征圖和內核的零值。我們用Carbon測試了TwoNullhop架構，這個加速器盡管只有128個乘積單元，而且運行頻率只有500MHz，但在只有4平方毫米的空間里，實現了超過2.4TOP/s的能效，10.2TOP/s/W。

論文最后概述了我們預見的未來深度學習硬件發展的挑戰和可能性，試圖預測哪些主題將在未來幾年主導該領域。

摘要

自主系統的開發者需要通過測試來訓練和驗證他們的算法。最終用戶在決定如何有效利用系統時也可以使用這些數據。模擬是在真實環境中進行實驗的另一種選擇，它更安全，成本更低，并允許執行可重復和可控的實驗。傳統上，機器人專家使用的模擬器專注于與系統相關的細節，同時簡化了與環境、通信和資產間關系相關的方面。作為替代方案，CMRE提出了一個海事仿真框架(MSF)，可與機器人中間件(即MOOS和ROS)互操作，采用了一種硬件和軟件循環仿真方法，允許模擬通常被簡化的重要外部因素。這些擴展元素包含內容可以發現自主系統的開發人員可能不知道的交互，從而提高開發中的系統的健壯性。這項工作的目的是建立一個可配置和可擴展的仿真框架，以訓練和測試海事系統的自主行為，以協助系統開發者和支持最終用戶的操作決策。

該框架由高級體系結構(HLA)中的專用模擬器、聯邦成員模擬環境、平臺動態、傳感仿真、通信和直觀的可視化組成。提出的框架提供了一種模擬情況，包括復雜的海上操作的挑戰，以水下領域為重點，提供了比傳統方法更全面和現實的能力。到目前為止，MSF已經被用于支持地雷對抗(MCM)和反潛戰(ASW)任務中自主系統算法的發展，具有單個或多個車輛配置。