亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習在許多領域都取得了重大突破和進展。這是因為深度學習具有強大的自動表示能力。實踐證明，網絡結構的設計對數據的特征表示和最終的性能至關重要。為了獲得良好的數據特征表示，研究人員設計了各種復雜的網絡結構。然而，網絡架構的設計在很大程度上依賴于研究人員的先驗知識和經驗。因此，一個自然的想法是盡量減少人為的干預，讓算法自動設計網絡的架構。因此，這需要更深入到強大的智慧。

近年來,大量相關的神經結構搜索算法(NAS)已經出現。他們對NAS算法進行了各種改進，相關研究工作復雜而豐富。為了減少初學者進行NAS相關研究的難度，對NAS進行全面系統的調查是必不可少的。之前的相關調查開始主要從NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類。這種分類方法比較直觀，但是讀者很難把握中間的挑戰和標志性作品。因此，在本次調查中，我們提供了一個新的視角:首先概述最早的NAS算法的特點，總結這些早期NAS算法存在的問題，然后為后續的相關研究工作提供解決方案。并對這些作品進行了詳細而全面的分析、比較和總結。最后，提出了今后可能的研究方向。

概述

深度學習已經在機器翻譯[1-3]、圖像識別[4,6,7]和目標檢測[8-10]等許多領域展示了強大的學習能力。這主要是因為深度學習對非結構化數據具有強大的自動特征提取功能。深度學習已經將傳統的手工設計特征[13,14]轉變為自動提取[4,29,30]。這使得研究人員可以專注于神經結構的設計[11,12,19]。但是神經結構的設計很大程度上依賴于研究者的先驗知識和經驗，這使得初學者很難根據自己的實際需要對網絡結構進行合理的修改。此外，人類現有的先驗知識和固定的思維范式可能會在一定程度上限制新的網絡架構的發現。

因此，神經架構搜索(NAS)應運而生。NAS旨在通過使用有限的計算資源，以盡可能少的人工干預的自動化方式設計具有最佳性能的網絡架構。NAS- RL[11]和MetaQNN[12]的工作被認為是NAS的開創性工作。他們使用強化學習(RL)方法得到的網絡架構在圖像分類任務上達到了SOTA分類精度。說明自動化網絡架構設計思想是可行的。隨后，大規模演化[15]的工作再次驗證了這一想法的可行性，即利用演化學習來獲得類似的結果。然而，它們在各自的方法中消耗了數百天的GPU時間，甚至更多的計算資源。如此龐大的計算量對于普通研究者來說幾乎是災難性的。因此，如何減少計算量，加速網絡架構的搜索[18-20,48,49,52,84,105]就出現了大量的工作。與NAS的提高搜索效率,NAS也迅速應用領域的目標檢測(65、75、111、118),語義分割(63、64、120),對抗學習[53],建筑規模(114、122、124),多目標優化(39、115、125),platform-aware(28日34、103、117),數據增加(121、123)等等。另外，如何在性能和效率之間取得平衡也是需要考慮的問題[116,119]。盡管NAS相關的研究已經非常豐富，但是比較和復制NAS方法仍然很困難[127]。由于不同的NAS方法在搜索空間、超參數技巧等方面存在很多差異，一些工作也致力于為流行的NAS方法提供一個統一的評估平臺[78,126]。

隨著NAS相關研究的不斷深入和快速發展，一些之前被研究者所接受的方法被新的研究證明是不完善的。很快就有了改進的解決方案。例如，早期的NAS在架構搜索階段從無到有地訓練每個候選網絡架構，導致計算量激增[11,12]。ENAS[19]提出采用參數共享策略來加快架構搜索的進程。該策略避免了從頭訓練每個子網，但強制所有子網共享權值，從而大大減少了從大量候選網絡中獲得性能最佳子網的時間。由于ENAS在搜索效率上的優勢，權值共享策略很快得到了大量研究者的認可[23,53,54]。不久，新的研究發現，廣泛接受的權重分配策略很可能導致候選架構[24]的排名不準確。這將使NAS難以從大量候選架構中選擇最優的網絡架構，從而進一步降低最終搜索的網絡架構的性能。隨后DNA[21]將NAS的大搜索空間模塊化成塊，充分訓練候選架構以減少權值共享帶來的表示移位問題。此外，GDAS-NSAS[25]提出了一種基于新的搜索架構選擇(NSAS)損失函數來解決超網絡訓練過程中由于權值共享而導致的多模型遺忘問題。

在快速發展的NAS研究領域中，類似的研究線索十分普遍，基于挑戰和解決方案對NAS研究進行全面、系統的調研是非常有用的。以往的相關綜述主要根據NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類[26,27]。這種分類方法比較直觀，但不利于讀者捕捉研究線索。因此，在本次綜述查中，我們將首先總結早期NAS方法的特點和面臨的挑戰。基于這些挑戰，我們對現有研究進行了總結和分類，以便讀者能夠從挑戰和解決方案的角度進行一個全面和系統的概述。最后，我們將比較現有的研究成果，并提出未來可能的研究方向和一些想法。

題目： Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization

簡介：

在過去的十年中，深度學習證明了計算機視覺和自然語言處理所帶來的挑戰的最新準確性，從而使這些領域發生了革命性變化。深度學習模型現在是自動駕駛，醫學成像和神經機器翻譯等應用程序的基本構建塊。但是，在生產中部署這些模型時，仍然存在許多挑戰。研究人員和從業人員必須解決各種各樣的問題，包括如何有效地設計，培訓和部署資源密集型深度學習模型，以及如何在確保對變化條件的魯棒性的同時使這些方法自動化。本文提供并評估了提高深度學習訓練和推理效率以及底層系統對環境變化的魯棒性的新方法。我們通過關注為優化模型的準確性和資源使用而優化的許多超參數來解決這些問題。這些超參數包括模型架構的選擇，訓練數據集，優化算法，優化算法的超參數（例如學習率和動量）以及訓練時間預算。當前，在實踐中，幾乎所有超參數在訓練之前都進行了一次調整，此后保持不變，然而最佳的超參數值會隨時間變化（例如，隨著訓練的進行或替換用于推理的硬件時）。我們將動態調整應用于傳統上被認為是靜態的超參數。通過三個案例研究，我們表明，使用運行時信息來動態適應傳統上靜態的超參數可以提高機器學習訓練和推理的效率。 首先，我們提出并分析Selective-Backprop，這是一種新的重要采樣方法，它以在線方式對高損失示例進行優先排序。在Selective-Backprop中，被認為具有挑戰性的示例是可調超參數。通過優先處理這些具有挑戰性的示例，Selective-Backprop可以將給定的目標錯誤率訓練到比靜態方法快3.5倍的目標。接下來，我們探索AdaptSB，它是Selective-Backprop的變體，可以動態調整我們對具有挑戰性的示例進行優先級排序的方式。在“選擇性反向傳播”中，分配給難度不同示例的優先級保持不變。在AdaptSB中，我們將分配給不同類別示例的優先級視為可調超參數。通過對數據集和訓練階段動態地調整示例優先級，AdaptSB在出現標簽錯誤的數據集上表現優于Selective-Backprop。 最后，我們提出并分析了Mainstream，這是一種視頻分析系統，可讓并發應用共享共享邊緣資源，以最大程度地提高匯總結果質量。在Mainstream中，我們認為應用程序共享的程度是一個可調參數。 Mainstream在部署時使用更專業的DNN自動確定正確的權衡方案，以提高每幀的準確性并保留更多的非專業基礎模型。結果顯示，與靜態ap方法相比，Mainstream將平均事件檢測F1分數提高了多達87倍。

主題： Comprehensive Review of Deep Reinforcement Learning Methods and Applicationsin Economic

摘要： 深度強化學習（DRL）方法在經濟學中的應用已成倍增加。 DRL通過從強化學習（RL）和深度學習（DL）的廣泛功能來處理復雜的動態業務環境提供了廣闊的機遇。 DRL的特點是可伸縮性，它有可能結合經濟數據的噪聲和非線性模式應用于高維問題。在這項工作中，我們首先考慮對經濟學中各種應用中的DL，RL和深層RL方法進行簡要回顧，以提供對最新技術水平的深入了解。此外，研究了應用于經濟應用的DRL體系結構，以突出其復雜性，魯棒性，準確性，性能，計算任務，風險約束和獲利能力。調查結果表明，與傳統算法相比，DRL可以提供更好的性能和更高的精度，同時在存在風險參數和不確定性不斷增加的情況下面臨實際的經濟問題。

深度神經網絡的發展，為人們的日常生活產生了巨大的影響。機器學習幾乎在日常生活的每一個方面都提供了比人類更合理的建議。然而，盡管取得了這些成就，神經網絡的設計和訓練仍然是具有挑戰性和不可預測的過程。為了降低普通用戶的技術門檻，自動化超參數優化(HPO)已成為學術界和工業界的熱門話題。本文對HPO中最基本的主題進行了綜述。第一部分介紹了與模型訓練和結構相關的關鍵超參數，并討論了它們的重要性和定義值范圍的方法。然后，研究了主要的優化算法及其適用性，包括它們的效率和準確性，特別是對于深度學習網絡。本研究接下來將回顧HPO的主要服務和工具包，比較它們對最先進的搜索算法的支持、與主要深度學習框架的可行性以及用戶設計的新模塊的可擴展性。本文總結了HPO在深度學習中存在的問題，優化算法的比較，以及在計算資源有限的情況下進行模型評估的突出方法。

題目： Optimization for deep learning: theory and algorithms

摘要：

什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸、消失問題，然后討論了實際的解決方案，包括初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法以及這些算法的理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、無限寬度分析。

作者：

Ruoyu Sun是伊利諾伊大學厄本那香檳分校 (UIUC)電子與計算機工程系的助理教授，研究優化和機器學習，尤其是深度學習。最近，一直在研究深度學習中的最優化，例如神經網絡，GANs和Adam。

摘要

什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然后討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。

1. 概述

本文的一個主要主題是了解成功訓練神經網絡的實際組成部分，以及可能導致訓練失敗的因素。假設你在1980年試圖用神經網絡解決一個圖像分類問題。如果你想從頭開始訓練一個神經網絡，很可能你最初的幾次嘗試都沒有得到合理的結果。什么本質的變化使算法能有效進行?在高層次上，你需要三樣東西(除了強大的硬件): 合適的神經網絡、合適的訓練算法和合適的訓練技巧。

合適的神經網絡。這包括神經結構和激活功能。對于神經結構，您可能想要用一個至少有5層和足夠神經元的卷積網絡來替換一個完全連接的網絡。為了獲得更好的性能，您可能希望將深度增加到20甚至100，并添加跳躍skip連接。對于激活函數，一個好的起點是ReLU激活，但是使用tanh或swish激活也是合理的。

訓練算法。一個大的選擇是使用隨機版本的梯度下降(SGD)并堅持它。良好調整的步長足夠好，而動量和自適應步長可以提供額外的好處。

訓練技巧。適當的初始化對于算法的訓練是非常重要的。要訓練一個超過10層的網絡，通常需要兩個額外的技巧:添加規范化層和添加跳過連接。

哪些設計選擇是必要的?目前我們已經了解了一些設計選擇，包括初始化策略、規范化方法、跳過連接、參數化(大寬度)和SGD，如圖1所示。我們將優化優勢大致分為三部分: 控制Lipschitz常數、更快的收斂速度和更好的landscape。還有許多其他的設計選擇是很難理解的，尤其是神經架構。無論如何，似乎不可能理解這個復雜系統的每個部分，目前的理解已經可以提供一些有用的見解。

圖1: 成功訓練具有理論理解的神經網絡的幾個主要設計選擇。它們對算法收斂的三個方面有影響:使收斂成為可能、更快的收斂和更好的全局解。這三個方面有一定的聯系，只是一個粗略的分類。請注意，還有其他一些重要的設計選擇，特別是神經體系結構，它們在理論上還沒有被理解，因此在該圖中被省略了。還有其他好處，比如泛化，也被忽略了。

為了使綜述調查簡單，我們將重點研究前饋神經網絡的監督學習問題。我們將不討論更復雜的公式，如GANs(生成對抗網絡)和深度強化學習，也不討論更復雜的體系結構，如RNN(遞歸神經網絡)、attention和Capsule。在更廣泛的背景下，監督學習理論至少包含表示、優化和泛化(參見1.1節)，我們不詳細討論表示和泛化。一個主要的目標是理解神經網絡結構(由許多變量連接的參數化)如何影響優化算法的設計和分析，這可能會超越監督學習。

這篇文章是為那些對神經網絡優化的理論理解感興趣的研究人員寫的。關于優化方法和基礎理論的先驗知識將非常有幫助(參見，[24,200,29]的準備)。現有的關于深度學習優化的調查主要針對一般的機器學習受眾，如Goodfellow等[76]的第8章。這些綜述通常不深入討論優化的理論方面。相反，在這篇文章中，我們更多地強調理論結果，同時努力使它對非理論讀者具有可訪問性。如果可能的話，我們將提供一些簡單的例子來說明這種直覺，我們將不解釋定理的細節。

1.1 大景觀：分解理論

分解是發展理論的一個有用且流行的元方法。首先簡要回顧了優化在機器學習中的作用，然后討論了如何分解深度學習的優化理論。

表示、優化和泛化。監督學習的目標是根據觀察到的樣本找到一個近似底層函數的函數。第一步是找到一個豐富的函數家族(如神經網絡)，可以代表理想的函數。第二步是通過最小化某個損失函數來識別函數的參數。第三步是使用第二步中找到的函數對不可見的測試數據進行預測，產生的錯誤稱為測試錯誤。測試誤差可以分解為表示誤差、優化誤差和泛化誤差，分別對應這三個步驟引起的誤差。

在機器學習中，表示、優化和泛化這三個學科經常被分開研究。例如，在研究一類函數的表示能力時，我們往往不關心優化問題能否很好地解決。在研究泛化誤差時，我們通常假設已經找到了全局最優值(概化調查見[95])。類似地，在研究優化屬性時，我們通常不明確地考慮泛化誤差(但有時我們假定表示誤差為零)。

優化問題的分解。深度學習的優化問題比較復雜，需要進一步分解。優化的發展可以分為三個步驟。第一步是使算法開始運行，并收斂到一個合理的解，如一個固定點。第二步是使算法盡快收斂。第三步是確保算法收斂到一個低目標值的解(如全局極小值)。要獲得良好的測試精度，還有一個額外的步驟，但是這超出了優化的范圍。簡而言之，我們將優化問題分為三個部分: 收斂性、收斂速度和全局質量。

大部分工作的回顧分為三個部分: 第四部分，第五部分和第六部分。大致說來，每個部分主要是由優化理論的三個部分之一。然而，這種劃分并不精確，因為這三個部分之間的邊界是模糊的。例如，第4節中討論的一些技術也可以提高收斂速度，第6節中的一些結果解決了收斂問題和全局問題。劃分的另一個原因是它們代表了神經網絡優化的三個相當獨立的子領域，并且在一定程度上是獨立發展的。

1.2 文章結構

這篇文章的結構如下。在第二節中，我們提出了一個典型的監督學習神經網絡優化問題。在第三節中，我們提出了反向傳播(BP)，并分析了將經典收斂分析應用于神經網絡梯度下降的困難。在第四節中，我們將討論訓練神經網絡的神經網絡特定技巧，以及一些基本理論。這些是神經網絡相關的方法，打開了神經網絡的黑盒子。特別地，我們討論了一個主要的挑戰，稱為梯度爆炸/消失和一個更普遍的挑戰，控制頻譜，并回顧了主要的解決方案，如仔細的初始化和歸一化方法。在第五節中，我們討論了將神經網絡視為一般非凸優化問題的泛型算法設計。特別地，我們回顧了SGD的各種學習速率調度、自適應梯度方法、大規模分布式訓練、二階方法以及現有的收斂和迭代復雜度結果。在第六節中，我們回顧了神經網絡的全局優化研究，包括全局景觀、模式連接、彩票假設和無限寬度分析(如神經正切核)。

?

更多請下載論文查看

便捷下載，請關注專知公眾號（點擊上方藍色專知關注）

后臺回復“

論文題目： Imbalance Problems in Object Detection: A Review

論文摘要： 在本文中，我們對物體檢測中的不平衡問題進行了全面回顧。 為了系統地分析問題，我們引入了兩種分類法； 一個解決問題，另一個解決方案。 按照問題的分類法，我們深入討論每個問題，并對文獻中的解決方案提出一個統一而又批判性的觀點。 此外，我們確定了有關現有不平衡問題以及以前未討論過的不平衡問題的主要開放問題。 此外，為了使我們的評論保持最新，我們提供了一個隨附的網頁。

AutoML: A Survey of the State-of-the-Art

深度學習已經滲透到我們生活的方方面面，給我們帶來了極大的便利。然而，針對某一特定任務構建高質量的深度學習系統的過程不僅耗時，而且需要大量的資源和人力，阻礙了深度學習在產業界和學術界的發展。為了緩解這一問題，越來越多的研究項目關注于自動化機器學習(AutoML)。在本文中，我們提供了一個全面的和最新的研究，在最先進的汽車。首先，根據機器學習的特點，詳細介紹了自動化技術。在此基礎上，總結了神經結構搜索(NAS)的研究現狀，這是目前自動化領域研究的熱點之一。我們還將NAS算法生成的模型與人工設計的模型進行了比較。最后，提出了有待進一步研究的幾個問題。