亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

EPFL的Lenka Zdeborová教授在UAI2021上的keynote報告《貝葉斯最優學習》

【導讀】ACL-IJCNLP 2021是CCF A類會議，是人工智能領域自然語言處理（ Natural Language Processing，NLP）方向最權威的國際會議。ACL2021計劃于今年8月1日-8月6日以線上會議形式召開. 最近字節跳動AI實驗室總監李磊重返學術界，進入加州大學圣巴巴拉分校擔任助理教授。他和王明軒給了關于預訓練時代機器翻譯的教程，非常值得關注！

預訓練是自然語言處理(NLP)[28,8,20]、計算機視覺(CV)[12,34]和自動語音識別(ASR)[3,6,24]的主導范式。通常，首先對模型進行大量未標記數據的預訓練，以捕獲豐富的輸入表示，然后通過提供上下文感知的輸入表示，或初始化下游模型的參數進行微調，將模型應用于下游任務。最近，自監督的預訓練和任務特定的微調范式終于完全達到了神經機器翻譯(NMT)[37,35,5]。

盡管取得了成功，但在NMT中引入一個通用的預訓練模型并非易事，而且不一定會產生有希望的結果，特別是對于資源豐富的環境。在幾個方面仍然存在獨特的挑戰。首先，大多數預訓練方法的目標不同于下游的NMT任務。例如，BERT[8]是一種流行的預訓練模型，其設計目的是僅使用一個轉換器編碼器進行語言理解，而NMT模型通常由一個編碼器和一個解碼器組成，以執行跨語言生成。這一差距使得運用NMT[30]的預訓練不夠可行。此外，機器翻譯本身就是一個多語言問題，但一般的NLP預訓練方法主要集中在英語語料庫上，如BERT和GPT。鑒于遷移學習在多語言機器翻譯中的成功，對NMT[7]進行多語言預訓練是非常有吸引力的。最后，語音翻譯近年來受到了廣泛的關注，而大多數的預訓練方法都側重于文本表示。如何利用預訓練的方法來提高口語翻譯水平成為一個新的挑戰。

本教程提供了一個充分利用神經機器翻譯的預訓練的全面指導。首先，我們將簡要介紹NMT的背景、預訓練的方法，并指出將預訓練應用于NMT的主要挑戰。在此基礎上，我們將著重分析預訓練在提高非語言教學績效中的作用，如何設計更好的預訓練模式來執行特定的非語言教學任務，以及如何更好地將預訓練模式整合到非語言教學系統中。在每一部分中，我們將提供例子，討論訓練技巧，并分析在應用預訓練時轉移了什么。

第一個主題是NMT的單語預訓練，這是研究最深入的領域之一。ELMo、GPT、MASS和BERT等單語文本表征具有優勢，顯著提高了各種自然語言處理任務的性能[25,8,28,30]。然而，NMT有幾個明顯的特點，如大的訓練數據(1000萬或更多)的可用性和基線NMT模型的高容量，這需要仔細設計預訓練。在這一部分，我們將介紹不同的預訓練方法，并分析它們在不同的機器翻譯場景(如無監督的NMT、低資源的NMT和富資源的NMT)中應用的最佳實踐[37,35]。我們將介紹使用各種策略對預訓練的模型進行微調的技術，如知識蒸餾和適配器[4,16]。

下一個話題是NMT的多語言預訓練。在此背景下，我們旨在緩解英語為中心的偏見，并建議可以建立不同語言的普遍表示，以改善大量多語言的NMT。在這部分中，我們將討論不同語言的一般表示，并分析知識如何跨語言遷移。這將有助于更好地設計多語言預訓練，特別是零樣本遷移到非英語語言對[15,27,7,26,13,17,19,23,18]。

本教程的最后一個技術部分是關于NMT的預訓練。特別地，我們關注于利用弱監督或無監督訓練數據來改進語音翻譯。在這一部分中，我們將討論在言語和文本中建立一個一般表示的可能性。并展示了文本或音頻預處理訓練如何引導NMT的文本生成[33,21,32,14,22,10,9,11,36]。

在本教程的最后，我們指出了在應用NMT預訓練時的最佳實踐。這些主題涵蓋了針對不同的NMT情景的各種預訓練方法。在本教程之后，觀眾將理解為什么NMT預訓練不同于其他任務，以及如何充分利用NMT預訓練。重要的是，我們將深入分析預訓練如何以及為什么在NMT中起作用，這將為未來設計特定的NMT預訓練范式提供啟發。

//sites.cs.ucsb.edu/~lilei/TALKS/2021-ACL/

報告嘉賓：

李磊，加州大學圣巴巴拉分校擔任助理教授，曾任字節跳動人工智能實驗室總監。本科博士分別畢業于上海交通大學和卡耐基梅隆大學計算機系。曾任加州大學伯克利分校作博士后研究員和百度美國深度學習實驗室少帥科學家。曾獲2012年美國計算機學會SIGKDD最佳博士論文第二名、2017年吳文俊人工智能技術發明二等獎、2017年CCF杰出演講者、2019年CCF青竹獎。在機器學習、數據挖掘和自然語言處理領域于國際頂級學術會議發表論文100余篇，擁有二十余項技術發明專利。擔任CCF自然語言處理專委委員和EMNLP, NeurIPS, AAAI, IJCAI, KDD等多個會議組委成員和領域主席。

王明軒，字節跳動人工智能實驗室資深研究員，博士畢業于中國科學院計算技術研究所，主要研究方向為機器翻譯。主導研發了火山翻譯系統，服務全球過億用戶，并多次帶領團隊在 WMT 機器翻譯評測中拿到過冠軍。在 ACL、EMNLP、NAACL 等相關領域發表論文 30 多篇。擔任CCF自然語言處理專委委員和國內外多個會議組委成員。

EMNLP（Conference on Empirical Methods in Natural Language Processing）是計算語言學和自然語言處理領域的頂級國際會議，由ACL旗下SIGDAT組織，每年舉辦一次，Google Scholar計算語言學刊物指標中排名第二，是CCF-B類推薦會議。今年EMNLP 2020將于2020年11月16日至20日以在線會議的形式舉辦。本篇為大家帶來EMNLP2020在線Tutorial《Interpreting Predictions of NLP Models》教程，系統性講解了自然語言處理模型可解釋性預測，不可錯過！

雖然神經NLP模型具有高度的表示學習能力和良好性能，但它們也會以違反直覺的方式系統性失敗，并且在決策過程中不透明。本教程將提供可解釋技術的背景知識，即可解釋NLP模型預測的方法。我們將首先將具體實例的解釋置于理解模型的其他方法的上下文中(例如，探測，數據集分析)。接下來，我們將全面研究具體例子的解釋，包括顯著性映射、輸入擾動(例如LIME、輸入減少)、對抗性攻擊和影響函數。除了這些描述之外，我們還將介紹為各種NLP任務創建和可視化解釋的源代碼。最后，我們將討論該領域的開放問題，如評價、擴展和改進解釋方法。

//github.com/Eric-Wallace/interpretability-tutorial-emnlp2020/

不確定性的概念在機器學習中是非常重要的，并且構成了現代機器學習方法論的一個關鍵元素。近年來，由于機器學習與實際應用的相關性越來越大，它的重要性也越來越大，其中許多應用都伴隨著安全要求。在這方面，機器學習學者們發現了新的問題和挑戰，需要新的方法發展。事實上，長期以來，不確定性幾乎被視為標準概率和概率預測的同義詞，而最近的研究已經超越了傳統的方法，也利用了更一般的形式主義和不確定性計算。例如，不確定性的不同來源和類型之間的區別，例如任意不確定性和認知不確定性，在許多機器學習應用中被證明是有用的。講習班將特別注意這方面的最新發展。

綜述論文：

不確定性的概念在機器學習中是非常重要的，并且構成了機器學習方法的一個關鍵元素。按照統計傳統，不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而，由于機器學習與實際應用和安全要求等相關問題的相關性穩步上升，機器學習學者最近發現了新的問題和挑戰，而這些問題可能需要新的方法發展。特別地，這包括區分(至少)兩種不同類型的不確定性的重要性，通常被稱為任意的和認知的。在這篇論文中，我們提供了機器學習中的不確定性主題的介紹，以及到目前為止在處理一般不確定性方面的嘗試的概述，并特別將這種區別形式化。

//www.zhuanzhi.ai/paper/8329095368761f81a7849fe5457949ed

為了適應不同領域的時間序列數據集的多樣性，已經開發了大量的深度學習體系結構。本文調查了單步和多水平時間序列預測中常用的編碼器和解碼器設計——描述了時間信息是如何被每個模型納入預測的。接下來，我們將重點介紹混合深度學習模型的最新發展，該模型將經過充分研究的統計模型與神經網絡組件相結合，以改進這兩類中的純方法。最后，我們概述了一些方法，其中，深度學習也可以促進決策支持與時間序列數據。

題目： Time Series Forecasting With Deep Learning: A Survey

摘要：

為了適應不同領域的時間序列數據集的多樣性，已經開發了大量的深度學習體系結構。在這篇文章中，我們調查了常用的編碼器和譯碼器設計，它們都被用于一階前和多視距的時間序列預測——描述了時間信息是如何被每個模型合并到預測中的。接下來，將重點介紹混合深度學習模型的最新發展，該模型將經過充分研究的統計模型與神經網絡組件相結合，以改進這兩類中的純方法。最后，我們概述了一些方法，即深度學習也可以促進決策支持與時間序列數據。

【導讀】CCF-A類頂會WWW2020最近在線舉行。來自CMU-Amazon五位學者給了《時間序列預測：理論與實踐》的Tutorial報告，共379頁PPT，闡述了解決大規模預測問題提供最重要的方法和工具的簡明和直觀的概述

時間序列預測是業務流程自動化和優化的一個關鍵因素: 在零售領域，決定訂購哪些產品以及將它們存儲在哪里取決于對不同地區未來需求的預測;在云計算中，對未來服務和基礎設施組件使用情況的估計將指導容量規劃;倉庫和工廠的勞動力調度需要預測未來的工作量。近年來，預測技術和應用的范式發生了變化，從基于計算機輔助模型和假設到數據驅動和全自動。這一轉變可以歸因于大型、豐富和多樣化的時間序列數據源的可用性，并導致了一系列需要解決的挑戰，如:我們如何建立統計模型，以有效地和有效地學習如何從大型和多樣化的數據源進行預測?在有限的觀測情況下，我們如何利用“相似”時間序列的統計能力來改進預測?建立能夠處理大量數據的預測系統意味著什么?

本教程的目標是為解決大規模預測問題提供最重要的方法和工具的簡明和直觀的概述。我們回顧了三個相關領域的研究現狀: (1)時間序列的經典建模，(2)預測的現代方法，包括張量分析和深度學習。此外，我們還討論了建立大規模預測系統的實際問題，包括數據集成、特征生成、回溯測試框架、誤差跟蹤和分析等。我們的重點是提供一個直觀的概述方法和實際問題，我們將通過案例研究和互動材料與Jupyter筆記本說明。

時間序列預測經典方法 Classical Methods for Big Time Series Forecasting

• Similarity search and indexing
• DSP: Fourier and wavelets
• Linear forecasting
• Non-linear forecasting
• Tensors

時間序列預測現代方法 Modern Methods for Big Time Series Forecasting

• Multi-layer perceptron (feedforward neural networks)
• Recurrent neural networks (RNN)s: canonical, Sequence-to-Sequence and other - - rchitectures
• Probibilistic Forecast with NNs
• Others structures: Convolution, WaveNet, Transfomers, and all that
• Deep Probabilistic Models for Forecasting

時間序列預測實踐 Forecasting in Practice

• Building Large Scale Forecasting Systems
• Getting start with Forecasting with
• GluonTS: A Probabilistic Time Series Library
• DeepAR on SageMaker
• Amazon Forecast

百度網盤下載地址： Part1：鏈接: //pan.baidu.com/s/1UJXbWGZe_n6n1DbkYqQamw 提取碼: x6n2 Part2：鏈接: 提取碼: pbjq

講座題目

大時間序列預測的理論與實踐：Forecasting Big Time Series: Theory and Practice

講座簡介

時間序列預測是業務流程自動化和優化的一個關鍵組成部分：在零售業，根據對不同地區未來需求的預測來決定要訂購哪些產品以及在哪里存儲這些產品；在云計算中，服務和基礎設施組件的估計未來使用量指導容量規劃；倉庫和工廠的勞動力調度需要對未來的工作量進行預測。近年來，預測技術和應用的范式發生了變化，從基于計算機輔助的模型和假設到數據驅動和全自動化。這種轉變可以歸因于大量、豐富和多樣的時間序列數據源的可用性，并導致一系列需要解決的挑戰，例如：我們如何建立統計模型，以便有效地學習從大量和多樣的數據源進行預測？在觀測有限的情況下，我們如何利用“相似”時間序列的統計能力來改進預測？對于構建能夠處理大量數據的預測系統有什么意義？ 本教程的目標是提供解決大規模預測問題的最重要方法和工具的簡明直觀概述。我們回顧了三個相關領域的研究現狀：（1）時間序列的經典建模，（2）包括張量分析和深度學習的現代預測方法。此外，我們還討論了建立大規模預測系統的實際方面，包括數據集成、特征生成、回溯測試框架、誤差跟蹤和分析等。

講座嘉賓

Christos Faloutsos 現任職務于卡內基梅隆大學 (Carnegie Mellon University)電子和計算機工程教授，研究領域：圖和流的數據挖掘，分形、自相似與冪律，視頻、生物和醫學數據庫的索引和數據挖掘，數據庫性能評估（數據放置、工作負載特征）。