題目: Comprehensive Analysis of Time Series Forecasting Using Neural Networks
摘要: 時間序列預測近年來受到了廣泛的關注,這是因為許多現實世界的現象都可以用時間序列來建模。大量的數據和計算機處理能力的最新進展使研究人員能夠開發出更復雜的機器學習算法,如神經網絡來預測時間序列數據。本文提出了利用動態測量數據進行時間序列預測的各種神經網絡結構,并介紹了如何將靜態和動態測量相結合進行預測的各種結構。我們還研究了異常檢測和聚類等技術對預測精度的重要性。結果表明,聚類可以提高神經網絡的整體預測時間,提高預測性能。此外,我們還發現基于特征的聚類在速度和效率上都優于基于距離的聚類。最后,我們的結果表明,增加更多的預測因子來預測目標變量并不一定會提高預測精度。
現實網絡由多種相互作用、不斷進化的實體組成,而現有的研究大多將其簡單地描述為特定的靜態網絡,而沒有考慮動態網絡的演化趨勢。近年來,動態網絡的特性跟蹤研究取得了重大進展,利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與被廣泛提出的靜態網絡嵌入方法相比,動態網絡嵌入努力將節點編碼為低維密集表示,有效地保持了網絡結構和時間動態,有利于處理各種下游機器學習任務。本文對動態網絡嵌入問題進行了系統的研究,重點介紹了動態網絡嵌入的基本概念,首次對現有的動態網絡嵌入技術進行了分類,包括基于矩陣分解的、基于躍格的、基于自動編碼器的、基于神經網絡的等嵌入方法。此外,我們仔細總結了常用的數據集和各種各樣的后續任務,動態網絡嵌入可以受益。在此基礎上,提出了動態嵌入模型、大規模動態網絡、異構動態網絡、動態屬性網絡、面向任務的動態網絡嵌入以及更多的嵌入空間等現有算法面臨的挑戰,并提出了未來可能的研究方向。
為了適應不同領域的時間序列數據集的多樣性,已經開發了大量的深度學習體系結構。本文調查了單步和多水平時間序列預測中常用的編碼器和解碼器設計——描述了時間信息是如何被每個模型納入預測的。接下來,我們將重點介紹混合深度學習模型的最新發展,該模型將經過充分研究的統計模型與神經網絡組件相結合,以改進這兩類中的純方法。最后,我們概述了一些方法,其中,深度學習也可以促進決策支持與時間序列數據。
題目: Time Series Forecasting With Deep Learning: A Survey
摘要:
為了適應不同領域的時間序列數據集的多樣性,已經開發了大量的深度學習體系結構。在這篇文章中,我們調查了常用的編碼器和譯碼器設計,它們都被用于一階前和多視距的時間序列預測——描述了時間信息是如何被每個模型合并到預測中的。接下來,將重點介紹混合深度學習模型的最新發展,該模型將經過充分研究的統計模型與神經網絡組件相結合,以改進這兩類中的純方法。最后,我們概述了一些方法,即深度學習也可以促進決策支持與時間序列數據。
題目: A Comprehensive Survey of Multilingual Neural Machine Translation
摘要: 本文綜述了近年來備受關注的多語言神經機器翻譯(MNMT)。由于翻譯知識的轉移(遷移學習),MNMT在提高翻譯質量方面發揮了重要作用。MNMT比統計機器翻譯更有前途,也更有趣,因為端到端建模和分布式表示為機器翻譯的研究開辟了新途徑。為了利用多語言并行語料庫來提高翻譯質量,人們提出了許多方法。但是,由于缺乏全面的綜述,很難確定哪些方法是有希望的,因此值得進一步探討。在這篇論文中,我們對現有的關于MNMT的文獻進行了深入的綜述。我們首先根據中心用例對各種方法進行分類,然后根據資源場景、基礎建模原則、核心問題和挑戰對它們進行進一步分類。只要有可能,我們就通過相互比較來解決幾種技術的優缺點。我們還討論了未來的方向,跨國公司的研究可能采取。本文的目標讀者既有初學者,也有專家。我們希望這篇論文能夠作為一個起點,同時也為那些對MNMT感興趣的研究人員和工程師提供新的思路。
主題: Comprehensive Review of Deep Reinforcement Learning Methods and Applicationsin Economic
摘要: 深度強化學習(DRL)方法在經濟學中的應用已成倍增加。 DRL通過從強化學習(RL)和深度學習(DL)的廣泛功能來處理復雜的動態業務環境提供了廣闊的機遇。 DRL的特點是可伸縮性,它有可能結合經濟數據的噪聲和非線性模式應用于高維問題。在這項工作中,我們首先考慮對經濟學中各種應用中的DL,RL和深層RL方法進行簡要回顧,以提供對最新技術水平的深入了解。此外,研究了應用于經濟應用的DRL體系結構,以突出其復雜性,魯棒性,準確性,性能,計算任務,風險約束和獲利能力。調查結果表明,與傳統算法相比,DRL可以提供更好的性能和更高的精度,同時在存在風險參數和不確定性不斷增加的情況下面臨實際的經濟問題。
題目: Dynamic Spatio-temporal Graph-based CNNs for Traffic Flow Prediction
摘要: 由于其時空結構的復雜性和動態性,預測未來交通流是一個具有挑戰性的問題。大多數現有的基于圖的CNN都試圖捕捉靜態關系,而忽略了序列數據下的動態關系。本文通過學習表達特征來表示時空結構,并從監控視頻數據中預測未來的交通流,提出了一種基于動態時空圖的神經網絡(DST-GCNNs)。特別是,DST-GCNN是一個雙流網絡。在流量預測流中,我們提出了一種新的基于圖形的時空卷積層來從流量的圖形表示中提取特征。然后將幾個這樣的層疊加在一起來預測未來的流動。同時,隨著交通條件的變化,圖中交通流之間的關系往往是時變的。為了捕獲圖的動態,我們使用圖預測流來預測動態圖結構,并將預測的結構輸入到流預測流中。在實際數據集上的實驗表明,該模型與現有的方法相比具有較強的競爭能力。
講座題目
大時間序列預測的理論與實踐:Forecasting Big Time Series: Theory and Practice
講座簡介
時間序列預測是業務流程自動化和優化的一個關鍵組成部分:在零售業,根據對不同地區未來需求的預測來決定要訂購哪些產品以及在哪里存儲這些產品;在云計算中,服務和基礎設施組件的估計未來使用量指導容量規劃;倉庫和工廠的勞動力調度需要對未來的工作量進行預測。近年來,預測技術和應用的范式發生了變化,從基于計算機輔助的模型和假設到數據驅動和全自動化。這種轉變可以歸因于大量、豐富和多樣的時間序列數據源的可用性,并導致一系列需要解決的挑戰,例如:我們如何建立統計模型,以便有效地學習從大量和多樣的數據源進行預測?在觀測有限的情況下,我們如何利用“相似”時間序列的統計能力來改進預測?對于構建能夠處理大量數據的預測系統有什么意義? 本教程的目標是提供解決大規模預測問題的最重要方法和工具的簡明直觀概述。我們回顧了三個相關領域的研究現狀:(1)時間序列的經典建模,(2)包括張量分析和深度學習的現代預測方法。此外,我們還討論了建立大規模預測系統的實際方面,包括數據集成、特征生成、回溯測試框架、誤差跟蹤和分析等。
講座嘉賓
Christos Faloutsos 現任職務于卡內基梅隆大學 (Carnegie Mellon University)電子和計算機工程教授,研究領域:圖和流的數據挖掘,分形、自相似與冪律,視頻、生物和醫學數據庫的索引和數據挖掘,數據庫性能評估(數據放置、工作負載特征)。
題目: Deep Learning for Visual Tracking: A Comprehensive Survey
簡介: 視覺目標跟蹤是計算機視覺領域中最受關注和最具挑戰性的研究課題之一。考慮到這個問題的不適定性質及其在現實世界中廣泛應用的情況,已經建立了大量的大型基準數據集,在這些數據集上已經開發了相當多的方法,并在近年來取得了顯著進展——主要是最近基于深度學習(DL)的方法。這項綜述的目的是系統地調查當前基于深度學習的視覺跟蹤方法、基準數據集和評估指標。它也廣泛地評價和分析領先的視覺跟蹤方法。首先,從網絡體系結構、網絡利用、視覺跟蹤網絡訓練、網絡目標、網絡輸出、相關濾波優勢利用六個關鍵方面,總結了基于dll的方法的基本特征、主要動機和貢獻。其次,比較了常用的視覺跟蹤基準及其各自的性能,總結了它們的評價指標。第三,在OTB2013、OTB2015、VOT2018和LaSOT等一系列成熟的基準上,全面檢查最先進的基于dll的方法。最后,通過對這些最先進的方法進行定量和定性的批判性分析,研究它們在各種常見場景下的優缺點。它可以作為一個溫和的使用指南,讓從業者在什么時候、在什么條件下選擇哪種方法。它還促進了對正在進行的問題的討論,并為有希望的研究方向帶來光明。