亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大多數大型在線推薦系統，如新聞推送排名、人員推薦、工作推薦等，通常都有多個實用工具或指標需要同時優化。經過訓練以優化單一效用的機器學習模型通過參數組合在一起，生成最終的排名函數。這些組合參數驅動業務指標。找到正確的參數選擇通常是通過在線A/B實驗，這是非常復雜和耗時的，特別是考慮到這些參數對指標的非線性影響。

在本教程中，我們將討論如何應用貝葉斯優化技術為這樣復雜的在線系統獲取參數，以平衡競爭性指標。首先，我們將深入介紹貝葉斯優化，包括一些基礎知識以及該領域的最新進展。其次，我們將討論如何將一個真實世界的推薦系統問題制定為一個可以通過貝葉斯優化解決的黑盒優化問題。我們將專注于一些關鍵問題，如新聞推送排名、人員推薦、工作推薦等。第三，我們將討論解決方案的架構，以及我們如何能夠為大規模系統部署它。最后，我們將討論該領域的擴展和一些未來的發展方向。

//sites.google.com/view/ijcai2020-linkedin-bayesopt/home

近年來，元學習方法取得了快速進展。元學習方法通過跨任務和領域遷移知識，以更有效地學習新任務，優化學習過程本身，甚至從頭開始生成新的學習方法。元學習可以被看作是機器學習在過去十年中所經歷的邏輯總結，從通過手工制作的特征學習分類器和策略，到學習分類器和策略操作的表示，最后到學習算法本身獲得表示、分類器和策略。元學習方法也很有實際意義。例如，它們已經被證明產生了新的最先進的自動機器學習算法和架構，并在很大程度上改進了少樣本的學習系統。此外，通過經驗提高自身學習能力的能力也可以被視為智慧生物的一個標志，而認知科學對人類學習的研究和神經科學對獎勵學習的研究都與此密切相關。

//meta-learn.github.io/2020/

視頻：

香港中文大學Bei Yu開設的深度學習課程，這一講重點對神經架構搜索進行講解。

//appsrv.cse.cuhk.edu.hk/~byu/CMSC5743/2020Fall/

深度學習在語音識別、計算機視覺等許多領域得到了廣泛的應用和突破。其中涉及的深度神經網絡結構和計算問題已經在機器學習中得到了很好的研究。但對于理解深度學習模型在網絡架構中的建模、逼近或泛化能力，缺乏理論基礎。在這里，我們對具有卷積結構的深度卷積神經網絡(CNNs)很感興趣。convolutional architecture使得deep CNNs和fully connected deep neural networks有本質的區別，而30年前發展起來的關于fully connected networks的經典理論并不適用。本講座介紹了深度神經網絡的數學理論與整流線性單元(ReLU)激活函數。特別是，我們首次證明了深度CNN的普遍性，即當神經網絡的深度足夠大時，深度CNN可以用來逼近任意的連續函數，達到任意的精度。我們還給出了顯式的逼近率，并表明對于一般函數，深度神經網絡的逼近能力至少與全連接多層神經網絡一樣好，對于徑向函數更好。我們的定量估計嚴格按照待計算的自由參數的數量給出，驗證了深度網絡神經網絡處理大數據的效率。

現代機器學習有兩個明顯的特點:它可以非常強大，也可以非常脆弱。前者不需要贅述。后者指的是現代機器學習算法的性能敏感地依賴于超參數的選擇。這個演講集中在機器學習的連續公式是“適定的”。我們將機器學習和相關的優化過程描述為表現良好的變分問題和類偏微分問題，并證明一些最流行的現代機器學習算法可以作為這些連續問題的離散化恢復。實驗結果表明，該方法對不同的超參數選擇具有更強的魯棒性。我們還討論了如何在這個框架下開發新的算法。

雖然大多數流行和成功的模型架構都是由人工專家設計的，但這并不意味著我們已經探索了整個網絡架構空間并確定了最佳選擇。如果我們采用一種系統的、自動的方式來學習高性能模型體系結構，那么我們將更有可能找到最佳的解決方案。

自動學習和演化網絡拓撲并不是一個新想法(Stanley & Miikkulainen, 2002)。近年來，Zoph & Le 2017和Baker等人在2017年的開創性工作吸引了神經架構搜索(NAS)領域的大量關注，為更好、更快、更經濟的NAS方法帶來了許多有趣的想法。

當我開始研究NAS時，我發現Elsken等人2019年的這項調查非常有幫助。它們將NAS描述為一個由三個主要成分組成的系統，簡潔明了，也被其他NAS論文廣泛采用。

• 搜索空間: NAS搜索空間定義了一組操作(例如卷積、全連接、池化)以及如何將操作連接起來形成有效的網絡架構。搜索空間的設計通常涉及人類的專業知識，以及不可避免的人類偏見。

• 搜索算法: NAS搜索算法對網絡體系結構候選對象進行采樣。它接受子模型性能指標作為獎勵(例如，高精度，低延遲)，并優化生成高性能架構候選。

• 評估策略: 我們需要測量、估計或預測提出的大量子模型的性能，以獲得反饋，供搜索算法學習。候選評估的過程可能非常昂貴，許多新的方法被提出來節省時間或計算資源。

深度學習在許多領域都取得了重大突破和進展。這是因為深度學習具有強大的自動表示能力。實踐證明，網絡結構的設計對數據的特征表示和最終的性能至關重要。為了獲得良好的數據特征表示，研究人員設計了各種復雜的網絡結構。然而，網絡架構的設計在很大程度上依賴于研究人員的先驗知識和經驗。因此，一個自然的想法是盡量減少人為的干預，讓算法自動設計網絡的架構。因此，這需要更深入到強大的智慧。

近年來,大量相關的神經結構搜索算法(NAS)已經出現。他們對NAS算法進行了各種改進，相關研究工作復雜而豐富。為了減少初學者進行NAS相關研究的難度，對NAS進行全面系統的調查是必不可少的。之前的相關調查開始主要從NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類。這種分類方法比較直觀，但是讀者很難把握中間的挑戰和標志性作品。因此，在本次調查中，我們提供了一個新的視角:首先概述最早的NAS算法的特點，總結這些早期NAS算法存在的問題，然后為后續的相關研究工作提供解決方案。并對這些作品進行了詳細而全面的分析、比較和總結。最后，提出了今后可能的研究方向。

概述

深度學習已經在機器翻譯[1-3]、圖像識別[4,6,7]和目標檢測[8-10]等許多領域展示了強大的學習能力。這主要是因為深度學習對非結構化數據具有強大的自動特征提取功能。深度學習已經將傳統的手工設計特征[13,14]轉變為自動提取[4,29,30]。這使得研究人員可以專注于神經結構的設計[11,12,19]。但是神經結構的設計很大程度上依賴于研究者的先驗知識和經驗，這使得初學者很難根據自己的實際需要對網絡結構進行合理的修改。此外，人類現有的先驗知識和固定的思維范式可能會在一定程度上限制新的網絡架構的發現。

因此，神經架構搜索(NAS)應運而生。NAS旨在通過使用有限的計算資源，以盡可能少的人工干預的自動化方式設計具有最佳性能的網絡架構。NAS- RL[11]和MetaQNN[12]的工作被認為是NAS的開創性工作。他們使用強化學習(RL)方法得到的網絡架構在圖像分類任務上達到了SOTA分類精度。說明自動化網絡架構設計思想是可行的。隨后，大規模演化[15]的工作再次驗證了這一想法的可行性，即利用演化學習來獲得類似的結果。然而，它們在各自的方法中消耗了數百天的GPU時間，甚至更多的計算資源。如此龐大的計算量對于普通研究者來說幾乎是災難性的。因此，如何減少計算量，加速網絡架構的搜索[18-20,48,49,52,84,105]就出現了大量的工作。與NAS的提高搜索效率,NAS也迅速應用領域的目標檢測(65、75、111、118),語義分割(63、64、120),對抗學習[53],建筑規模(114、122、124),多目標優化(39、115、125),platform-aware(28日34、103、117),數據增加(121、123)等等。另外，如何在性能和效率之間取得平衡也是需要考慮的問題[116,119]。盡管NAS相關的研究已經非常豐富，但是比較和復制NAS方法仍然很困難[127]。由于不同的NAS方法在搜索空間、超參數技巧等方面存在很多差異，一些工作也致力于為流行的NAS方法提供一個統一的評估平臺[78,126]。

隨著NAS相關研究的不斷深入和快速發展，一些之前被研究者所接受的方法被新的研究證明是不完善的。很快就有了改進的解決方案。例如，早期的NAS在架構搜索階段從無到有地訓練每個候選網絡架構，導致計算量激增[11,12]。ENAS[19]提出采用參數共享策略來加快架構搜索的進程。該策略避免了從頭訓練每個子網，但強制所有子網共享權值，從而大大減少了從大量候選網絡中獲得性能最佳子網的時間。由于ENAS在搜索效率上的優勢，權值共享策略很快得到了大量研究者的認可[23,53,54]。不久，新的研究發現，廣泛接受的權重分配策略很可能導致候選架構[24]的排名不準確。這將使NAS難以從大量候選架構中選擇最優的網絡架構，從而進一步降低最終搜索的網絡架構的性能。隨后DNA[21]將NAS的大搜索空間模塊化成塊，充分訓練候選架構以減少權值共享帶來的表示移位問題。此外，GDAS-NSAS[25]提出了一種基于新的搜索架構選擇(NSAS)損失函數來解決超網絡訓練過程中由于權值共享而導致的多模型遺忘問題。

在快速發展的NAS研究領域中，類似的研究線索十分普遍，基于挑戰和解決方案對NAS研究進行全面、系統的調研是非常有用的。以往的相關綜述主要根據NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類[26,27]。這種分類方法比較直觀，但不利于讀者捕捉研究線索。因此，在本次綜述查中，我們將首先總結早期NAS方法的特點和面臨的挑戰。基于這些挑戰，我們對現有研究進行了總結和分類，以便讀者能夠從挑戰和解決方案的角度進行一個全面和系統的概述。最后，我們將比較現有的研究成果，并提出未來可能的研究方向和一些想法。