亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）是世界數據挖掘領域的最高級別的學術會議，由 ACM 的數據挖掘及知識發現專委會（SIGKDD）主辦，被中國計算機協會推薦為 A 類會議。自 1995 年以來，KDD 已經連續舉辦了26屆，今年將于2021年8月14日至18日舉辦，今年的會議主辦地在新加坡。

來自阿里巴巴和ETH的研究人員在KDD2021上將給出關于自動機器學習的教程，非常值得關注!

從社交網絡、在線圖像/視頻分享平臺、電子商務到教育、醫療保健等，機器學習方法已被用于各種現實世界的應用。然而，機器學習方法的幾個組成部分，包括數據表示、超參數和模型體系架構，會在很大程度上影響它們在實踐中的性能。此外，數據規模和模型規模的爆炸式增長，使得機器學習開發人員對這些組件的優化越來越費時。為了應對這些挑戰，自動化機器學習(AutoML)旨在自動化應用機器學習方法解決現實應用任務的過程，在保持良好性能的同時減少機器學習方法的調試時間。在本教程中，我們將介紹AutoML的主要研究主題，包括超參數優化、神經架構搜索和元學習。AutoML的兩個新興主題，基于DNN的特征生成和機器學習引導的數據庫，也將被討論，因為它們是真實應用的重要組件。對于每一個主題，我們都將以來自行業的例子來激勵它，說明最先進的方法，并從行業和學術界的角度討論它們的優缺點。我們還將根據我們在業界的經驗和學術界的趨勢討論一些未來的研究方向。

//joneswong.github.io/KDD21AutoMLTutorial/

我們將首先從云計算和機器學習作為一種服務的角度，通過真實世界的例子來引出對AutoML的研究。然后介紹了AutoML的主要研究課題，包括超參數優化、神經結構搜索和元學習。我們還將涵蓋AutoML的兩個新興主題，自動特征生成和機器學習引導數據庫，這是現實世界工業應用的重要組成部分。

超參數優化

我們將現有的HPO方法大致分為超參數配置搜索和超參數調度搜索兩類。超參數配置搜索方法假設最優超參數是一組固定值，而超參數調度搜索方法放寬了這一假設，允許超參數在單個軌跡中改變。對于超參數配置搜索方法，我們將把現有方法作為三個子類進行討論:無模型[5,8]、貝葉斯優化[19]和基于梯度的方法。對于超參數調度，兩種具有代表性的超參數改變方法是基于梯度的方法，如自調整網絡[13]和基于突變的方法，如基于群體的訓練[7]和HyperMutation[21]。

神經架構搜索 NAS

我們從三個方面討論了現有的神經結構搜索算法的特點，即搜索空間、搜索策略和評估策略。對于搜索空間，我們不僅回顧了確定架構所考慮的維度，還強調了精細化的搜索空間，希望它在實踐中帶來一個競爭性的架構，盡管它在理論上不是最優的。對于搜索策略，我們將簡要介紹進化、強化學習和抽樣算法，但重點是可微分的方法，這是大多數商業客戶在工業中負擔得起的。在設計評估策略時，最關鍵的因素是考慮精度和效率之間的權衡。因此，我們將回顧加速性能估計的方法，包括學習曲線外推、低保真度估計和權重共享，其中權重共享的不穩定性問題將被詳細討論。

元學習

作為一個深刻的研究主題，對元學習的全面回顧超出了本教程的范圍。相反，我們將集中討論它在AutoML中的應用。從云計算的角度來看，云服務提供商可以為上述討論的任務積累大量的示例。雖然每個例子的學習任務可能不同，但元學習提供了一種從收集的例子中提取整體元知識的方法，這樣我們就可以用較少的嘗試來尋找新的學習任務的最優配置。一般來說，元學習假設的是獲得一堆來自相同分布的任務，由于學習任務的異質性，這在這種設置下不能完全滿足。因此，我們全面回顧了最近提出的針對新任務定制全局元知識的方法，包括MAML[3]、Reptile[16]、SNAIL[15]和Relational Meta-Learning[25]。

自動特征生成 目前關于自動特征生成的研究大致可以分為兩類:基于搜索的和基于DNN的。基于搜索的方法[12]專注于設計不同的搜索策略，盡可能多地剔除待評估的候選對象，同時保持最有用的交互特性。盡管這些機制可以減少要遍歷的搜索空間，但由于它們的反復試驗性質，在實踐中所需的時間和計算資源通常是無法忍受的。另一方面，基于DNN的方法[10,20]設計特定的神經結構來表達不同特征之間的相互作用。但這一優勢是以隱式特性交互為代價的，因為很難從注意力權重[23]中準確解釋哪些交互特性是有用的。我們將從云客戶的角度進一步討論這兩類產品，為研究院提供補充意見。

機器學習引導數據庫

最近，有許多利用機器學習促進數據庫組件的工作，如索引[2,4,6,9]，查詢優化[14,22]，和選擇性估計[24]。盡管在過去的幾十年里，數據庫社區已經對這些組件進行了廣泛的研究，但在機器學習的幫助下，通過學習隱藏的但有用的數據分布并將這些信息合并到數據庫系統中，有可能實現這些組件的自動化，這將帶來很有希望的性能改進。

目錄:

13:00PM--13:10PM Welcome from Organizers 13:10PM--13:40PM Hyperparameter Optimization (HPO) 13:40PM--14:10PM Neural Architecture Search (NAS) 14:10PM--14:30PM Meta-learning 14:30PM--15:00PM Auto Feature Generation 15:00PM--15:25PM End-to-End AutoML 15:25PM--15:50PM ML-Guided Database 15:50PM--15:55PM AutoML Tools 15:55PM--16:00PM Closing Remarks

近年來，由于多模態數據的快速增長，跨模態檢索受到了研究者的廣泛關注，它將一種模態的數據作為查詢去檢索其它模態的數據。例如，用戶可以用文本檢索圖像或/和視頻。由于查詢及其檢索結果模態表征的差異，如何度量不同模態之間的相似性是跨模態檢索的主要挑戰。隨著深度學習技術的推廣以及其在計算機視覺、自然語言處理等領域的顯著成果，研究者提出了一系列以深度學習為基礎的跨模態檢索方法，極大地緩解了不同模態間相似性度量的挑戰，本文稱之為深度跨模態檢索。本文將從以下角度綜述近些年來代表性的深度跨模態檢索論文，基于所提供的跨模態信息將這些方法分為三類：基于跨模態數據間一一對應的、基于跨模態數據間相似度的以及基于跨模態數據語義標注的深度跨模態檢索。一般來說，上述信息呈現遞增的情況，且提供學習的信息越多，跨模態檢索性能越優。在上述不同類別下，涵蓋了七類主流技術，即典型相關分析、一一對應關系保持、度量學習、似然分析、學習排序、語義預測以及對抗學習。不同類別下包含其中部分關鍵技術，其中代表性方法將被具體闡述。同時本文將對比提供不同跨模態數據信息下不同技術的區別，以闡述在提供了不同層次的跨模態數據信息下相關技術的關注點與使用異同。為評估不同的跨模態檢索方法，本文總結了部分代表性的跨模態檢索數據庫。最后本文討論了當前深度跨模態檢索待解決的問題以及未來的研究方向。

**從簡單的樣本到困難的樣本，以一種有意義的順序，使用課程學習可以提供比基于隨機數據變換的標準訓練方法更好的性能，而不需要額外的計算成本。**課程學習策略已成功地應用于機器學習的各個領域，廣泛的任務。然而，必須找到一種方法來對樣本從容易到難進行排序，以及正確的節奏函數來引入更難的數據，這可能會限制課程方法的使用。在本綜述中，我們展示了這些限制是如何在文獻中被處理的，并且我們為機器學習中的各種任務提供了不同的課程學習實例。我們根據不同的分類標準，手工構建了一個多角度的課程學習方法分類。我們進一步使用凝聚聚類算法建立課程學習方法的層次樹，將發現的聚類與我們的分類方法聯系起來。最后，我們對未來的工作提出了一些有趣的方向。

//www.zhuanzhi.ai/paper/737037858f92a59732f06559b38cfc15

背景和動機。深度神經網絡已經在各種各樣的任務成為最先進的方法，從對象識別圖像[1]，[2]，[3]，[4]和醫學成像[5]，[11]0，[11]1，[11]3到文本分類[11]2，[10]，[11]，[12]和語音識別[13]，[14]。這一研究領域的主要焦點是構建越來越深入的神經體系結構，這是最近性能改進的主要驅動力。例如，Krizhevsky等人的CNN模型[1]在只有8層結構的ImageNet[15]上達到了15.4%的top-5誤差，而最近的ResNet模型[4]達到了3.6%的top-5誤差，有152層。在過去的幾年里，CNN的架構已經進化到可以容納更多的卷積層，減少濾波器的尺寸，甚至消除完全連接的層，相比之下，人們對改進訓練過程的關注較少。上面提到的最先進的神經模型的一個重要限制是在訓練過程中以隨機順序考慮示例。事實上，訓練通常是用小批隨機梯度下降的某種變體來進行的，每個小批中的例子是隨機選擇的。

既然神經網絡的架構是受到人類大腦的啟發，那么我們似乎可以合理地認為，學習過程也應該受到人類學習方式的啟發。與機器通常接受的訓練方式的一個本質區別是，人類學習基本(簡單)概念的時間較早，學習高級(困難)概念的時間較晚。這基本上反映在世界上所有學校系統所教授的課程中，因為當例子不是隨機呈現，而是按照有意義的順序組織起來時，人類學習得更好。使用類似的策略訓練機器學習模型，我們可以實現兩個重要的好處: (i) 提高訓練過程的收斂速度和(ii) 更好的準確性。Elman[16]對這一方向進行了初步研究。據我們所知，Bengio等人[17]是第一個在機器學習的背景下形成易-難訓練策略的人，并提出了課程學習(CL)范式。這一開創性的工作激發了許多研究人員在各種應用領域研究課程學習策略，如弱監督對象定位[18]，[19]，[20]，對象檢測[21]，[22]，[23]，[24]和神經機器翻譯[25]，[26]，[27]，[18]0等。這些研究的實證結果表明，用課程學習取代基于隨機小批量抽樣的傳統訓練有明顯的好處。盡管課程學習在多個領域都取得了一致的成功，但這種訓練策略并沒有被主流作品所采用。這一事實促使我們撰寫了這篇關于課程學習方法的綜述，以提高課程學習方法的普及程度。另一方面，研究人員提出了相反的策略，強調更難的例子，如硬樣例挖掘(HEM)[29]，[30]，[31]，[32]或反課程[33]，[34]，在特定條件下顯示出改善的結果。

貢獻。我們的第一個貢獻是將現有的課程學習方法正式化。這使我們能夠定義課程學習的一般形式。從理論上講，我們將課程學習與任何機器學習方法的四個主要組成部分聯系起來:數據、模型、任務和性能度量。我們觀察到，課程學習可以應用于這些組成部分中的每一個，所有這些課程形式都有一個與損失函數平滑相關的聯合解釋。在此基礎上，結合數據類型、任務、課程策略、排名標準和課程安排的正交分析視角，對課程學習方法進行了分類。我們用自動構建的課程方法層次樹來驗證人工構建的分類方法。在很大程度上，層次樹確認了我們的分類，盡管它也提供了一些新的視角。在收集關于課程學習和定義課程學習方法分類的工作的同時，我們的綜述也旨在展示課程學習的優勢。因此，我們最后的貢獻是在主流工作中提倡課程學習。

多模態機器學習(MMML)是一個充滿活力的多學科研究領域，通過整合和建模多種交流模態(包括語言、聲音和視覺信息)來實現人工智能的一些原始目標。隨著對視聽語音識別的初步研究，以及最近的語言和視覺項目，如圖像和視頻字幕，這個研究領域給多模態研究人員帶來了一些獨特的挑戰，因為數據的異質性和模式之間經常發現的偶然性。本課程將教授與MMML相關的基本數學概念，包括多模態對齊與融合、異質表示學習和多流時間建模。我們還將回顧最近描述最先進的MMML概率模型和計算算法的論文，并討論當前和即將面臨的挑戰。

本課程將介紹機器學習和深度學習中與多模態機器學習中的五個主要挑戰相關的基本數學概念:(1)多模態表示學習，(2)平移與映射，(3)模態對齊，(4)多模態融合和(5)協同學習。這些包括但不限于，多模態自動編碼器，深度典型相關分析，多核學習，注意力模型和多模態遞歸神經網絡。本課程還將討論MMML的許多最新應用，包括多模式的情感識別、圖像和視頻字幕以及跨模式的多媒體檢索。

課程目錄:

• 課程導論
• 多模態應用與數據集
• 基本概念：神經網絡
• 網絡優化
• 視覺單模態表示學習
• 語言單模態表示學習
• 多模態表示學習
• 多模態對齊
• 結構化表示
• 概率圖模型
• 判別性圖模型
• 神經生成模型
• 強化學習
• 多模態強化學習
• 融合與協同學習
• 多語言表示學習

深度學習在許多領域都取得了重大突破和進展。這是因為深度學習具有強大的自動表示能力。實踐證明，網絡結構的設計對數據的特征表示和最終的性能至關重要。為了獲得良好的數據特征表示，研究人員設計了各種復雜的網絡結構。然而，網絡架構的設計在很大程度上依賴于研究人員的先驗知識和經驗。因此，一個自然的想法是盡量減少人為的干預，讓算法自動設計網絡的架構。因此，這需要更深入到強大的智慧。

近年來,大量相關的神經結構搜索算法(NAS)已經出現。他們對NAS算法進行了各種改進，相關研究工作復雜而豐富。為了減少初學者進行NAS相關研究的難度，對NAS進行全面系統的調查是必不可少的。之前的相關調查開始主要從NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類。這種分類方法比較直觀，但是讀者很難把握中間的挑戰和標志性作品。因此，在本次調查中，我們提供了一個新的視角:首先概述最早的NAS算法的特點，總結這些早期NAS算法存在的問題，然后為后續的相關研究工作提供解決方案。并對這些作品進行了詳細而全面的分析、比較和總結。最后，提出了今后可能的研究方向。

概述

深度學習已經在機器翻譯[1-3]、圖像識別[4,6,7]和目標檢測[8-10]等許多領域展示了強大的學習能力。這主要是因為深度學習對非結構化數據具有強大的自動特征提取功能。深度學習已經將傳統的手工設計特征[13,14]轉變為自動提取[4,29,30]。這使得研究人員可以專注于神經結構的設計[11,12,19]。但是神經結構的設計很大程度上依賴于研究者的先驗知識和經驗，這使得初學者很難根據自己的實際需要對網絡結構進行合理的修改。此外，人類現有的先驗知識和固定的思維范式可能會在一定程度上限制新的網絡架構的發現。

因此，神經架構搜索(NAS)應運而生。NAS旨在通過使用有限的計算資源，以盡可能少的人工干預的自動化方式設計具有最佳性能的網絡架構。NAS- RL[11]和MetaQNN[12]的工作被認為是NAS的開創性工作。他們使用強化學習(RL)方法得到的網絡架構在圖像分類任務上達到了SOTA分類精度。說明自動化網絡架構設計思想是可行的。隨后，大規模演化[15]的工作再次驗證了這一想法的可行性，即利用演化學習來獲得類似的結果。然而，它們在各自的方法中消耗了數百天的GPU時間，甚至更多的計算資源。如此龐大的計算量對于普通研究者來說幾乎是災難性的。因此，如何減少計算量，加速網絡架構的搜索[18-20,48,49,52,84,105]就出現了大量的工作。與NAS的提高搜索效率,NAS也迅速應用領域的目標檢測(65、75、111、118),語義分割(63、64、120),對抗學習[53],建筑規模(114、122、124),多目標優化(39、115、125),platform-aware(28日34、103、117),數據增加(121、123)等等。另外，如何在性能和效率之間取得平衡也是需要考慮的問題[116,119]。盡管NAS相關的研究已經非常豐富，但是比較和復制NAS方法仍然很困難[127]。由于不同的NAS方法在搜索空間、超參數技巧等方面存在很多差異，一些工作也致力于為流行的NAS方法提供一個統一的評估平臺[78,126]。

隨著NAS相關研究的不斷深入和快速發展，一些之前被研究者所接受的方法被新的研究證明是不完善的。很快就有了改進的解決方案。例如，早期的NAS在架構搜索階段從無到有地訓練每個候選網絡架構，導致計算量激增[11,12]。ENAS[19]提出采用參數共享策略來加快架構搜索的進程。該策略避免了從頭訓練每個子網，但強制所有子網共享權值，從而大大減少了從大量候選網絡中獲得性能最佳子網的時間。由于ENAS在搜索效率上的優勢，權值共享策略很快得到了大量研究者的認可[23,53,54]。不久，新的研究發現，廣泛接受的權重分配策略很可能導致候選架構[24]的排名不準確。這將使NAS難以從大量候選架構中選擇最優的網絡架構，從而進一步降低最終搜索的網絡架構的性能。隨后DNA[21]將NAS的大搜索空間模塊化成塊，充分訓練候選架構以減少權值共享帶來的表示移位問題。此外，GDAS-NSAS[25]提出了一種基于新的搜索架構選擇(NSAS)損失函數來解決超網絡訓練過程中由于權值共享而導致的多模型遺忘問題。

在快速發展的NAS研究領域中，類似的研究線索十分普遍，基于挑戰和解決方案對NAS研究進行全面、系統的調研是非常有用的。以往的相關綜述主要根據NAS的基本組成部分: 搜索空間、搜索策略和評估策略對現有工作進行分類[26,27]。這種分類方法比較直觀，但不利于讀者捕捉研究線索。因此，在本次綜述查中，我們將首先總結早期NAS方法的特點和面臨的挑戰。基于這些挑戰，我們對現有研究進行了總結和分類，以便讀者能夠從挑戰和解決方案的角度進行一個全面和系統的概述。最后，我們將比較現有的研究成果，并提出未來可能的研究方向和一些想法。

強化學習(RL)是一種流行的處理順序決策任務的范式，其中agent只有有限的環境反饋。盡管在過去的三十年里取得了許多進步，但是在許多領域的學習仍然需要大量的與環境的交互，這在現實的場景中是非常昂貴的。為了解決這個問題，遷移學習被應用于強化學習，這樣在一個任務中獲得的經驗可以在開始學習下一個更困難的任務時得到利用。最近，有幾項研究探索了如何將任務(或數據樣本本身)排序到課程中，以便學習一個可能很難從頭學起的問題。在本文中，我們提出了一個課程學習的強化學習框架，并利用它來調查和分類現有的課程學習方法的假設、能力和目標。最后，我們使用我們的框架來發現開放的問題，并為未來的RL課程學習研究提出方向。

AutoML: A Survey of the State-of-the-Art

深度學習已經滲透到我們生活的方方面面，給我們帶來了極大的便利。然而，針對某一特定任務構建高質量的深度學習系統的過程不僅耗時，而且需要大量的資源和人力，阻礙了深度學習在產業界和學術界的發展。為了緩解這一問題，越來越多的研究項目關注于自動化機器學習(AutoML)。在本文中，我們提供了一個全面的和最新的研究，在最先進的汽車。首先，根據機器學習的特點，詳細介紹了自動化技術。在此基礎上，總結了神經結構搜索(NAS)的研究現狀，這是目前自動化領域研究的熱點之一。我們還將NAS算法生成的模型與人工設計的模型進行了比較。最后，提出了有待進一步研究的幾個問題。