題目: Time Series Data Augmentation for Deep Learning: A Survey
摘要:
近年來,深度學習在許多時間序列分析任務中表現優異。深度神經網絡的優越性能很大程度上依賴于大量的訓練數據來避免過擬合。然而,許多實際時間序列應用的標記數據可能會受到限制,如醫學時間序列的分類和AIOps中的異常檢測。數據擴充是提高訓練數據規模和質量的有效途徑,是深度學習模型在時間序列數據上成功應用的關鍵。本文系統地綜述了時間序列的各種數據擴充方法。我們為這些方法提出了一個分類,然后通過強調它們的優點和局限性為這些方法提供了一個結構化的審查。并對時間序列異常檢測、分類和預測等不同任務的數據擴充方法進行了實證比較。最后,我們討論并強調未來的研究方向,包括時頻域的數據擴充、擴充組合、不平衡類的數據擴充與加權。
隨著web技術的發展,多模態或多視圖數據已經成為大數據的主要流,每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中于如何融合來自多模態空間的能量或信息,以提供比單一模態的同行更優越的性能。最近,深度神經網絡展示了一種強大的架構,可以很好地捕捉高維多媒體數據的非線性分布,對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢,從本質上深化了多模態深特征空間的融合。在這篇文章中,我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中,我們進一步指出,該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最后,我們就這一領域未來的一些方向分享我們的觀點。
當對大量的標記數據集合(如ImageNet)進行訓練時,深度神經網絡展示了它們在特殊監督學習任務(如圖像分類)上的卓越表現。然而,創建這樣的大型數據集需要大量的資源、時間和精力。這些資源在很多實際案例中可能無法獲得,限制了許多深度學習方法的采用和應用。為了尋找數據效率更高的深度學習方法,以克服對大型標注數據集的需求,近年來,我們對半監督學習應用于深度神經網絡的研究興趣日益濃厚,通過開發新的方法和采用現有的半監督學習框架進行深度學習設置。在本文中,我們從介紹半監督學習開始,對深度半監督學習進行了全面的概述。然后總結了在深度學習中占主導地位的半監督方法。
摘要:近年來,基于深度學習的表面缺陷檢測技術廣泛應用在各種工業場景中.本文對近年來基于深度學習的表面缺陷檢測方法進行了梳理,根據數據標簽的不同將其分為全監督學習模型方法、無監督學習模型方法和其他方法三大類,并對各種典型方法進一步細分歸類和對比分析,總結了每種方法的優缺點和應用場景.本文探討了表面缺陷檢測中三個關鍵問題,介紹了工業表面缺陷常用數據集.最后,對表面缺陷檢測的未來發展趨勢進行了展望.
為了適應不同領域的時間序列數據集的多樣性,已經開發了大量的深度學習體系結構。本文調查了單步和多水平時間序列預測中常用的編碼器和解碼器設計——描述了時間信息是如何被每個模型納入預測的。接下來,我們將重點介紹混合深度學習模型的最新發展,該模型將經過充分研究的統計模型與神經網絡組件相結合,以改進這兩類中的純方法。最后,我們概述了一些方法,其中,深度學習也可以促進決策支持與時間序列數據。
題目: Time Series Forecasting With Deep Learning: A Survey
摘要:
為了適應不同領域的時間序列數據集的多樣性,已經開發了大量的深度學習體系結構。在這篇文章中,我們調查了常用的編碼器和譯碼器設計,它們都被用于一階前和多視距的時間序列預測——描述了時間信息是如何被每個模型合并到預測中的。接下來,將重點介紹混合深度學習模型的最新發展,該模型將經過充分研究的統計模型與神經網絡組件相結合,以改進這兩類中的純方法。最后,我們概述了一些方法,即深度學習也可以促進決策支持與時間序列數據。
題目: Deep Learning for Biomedical Image Reconstruction: A Survey
摘要:
醫學影像是一種寶貴的醫學資源,因為它可以窺探人體內部,為科學家和醫生提供豐富的信息,這些信息對于理解、建模、診斷和治療疾病是必不可少的。重建算法需要將采集硬件收集的信號轉換成可解釋的圖像。考慮到問題的病態性和實際應用中缺乏精確的解析反變換,重構是一項具有挑戰性的任務。而最后幾十年目睹了令人印象深刻的進步的新形式,提高時間和空間分辨率,降低成本和更廣泛的適用性,幾個改進仍然可以設想,如減少采集和重建時間以減少病人的輻射和不適,同時增加診所吞吐量和重建精度。此外,在小功率手持設備中部署生物醫學成像需要在準確性和延遲之間取得良好的平衡。
1、題目: Advances and Open Problems in Federated Learning
簡介: 聯邦學習(Federated Learning)是一種新興的人工智能基礎技術,在 2016 年由谷歌最先提出,原本用于解決安卓手機終端用戶在本地更新模型的問題,其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下,在多參與方或多計算結點之間開展高效率的機器學習。其中,聯邦學習可使用的機器學習算法不局限于神經網絡,還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。最近來自斯坦福、CMU、Google等25家機構58位學者共同發表了關于聯邦學習最新進展與開放問題的綜述論文《Advances and Open Problems in Federated Learning》,共105頁pdf調研了438篇文獻,講解了最新聯邦學習進展,并提出大量開放型問題。
2、題目: Deep learning for time series classification: a review
簡介: 時間序列分類(Time Series Classification, TSC )是數據挖掘中的一個重要而富有挑戰性的問題。隨著時間序列數據可用性的提高,已經提出了數百種TSC算法。在這些方法中,只有少數考慮使用深度神經網絡來完成這項任務。這令人驚訝,因為在過去幾年里,深度學習得到了非常成功的應用。DNNs的確已經徹底改變了計算機視覺領域,特別是隨著新型更深層次的結構的出現,如殘差和卷積神經網絡。除了圖像,文本和音頻等連續數據也可以用DNNs處理,以達到文檔分類和語音識別的最新性能。在本文中,本文通過對TSC最新DNN架構的實證研究,研究了TSC深度學習算法的最新性能。在TSC的DNNs統一分類場景下,本文概述了各種時間序列領域最成功的深度學習應用。本文還為TSC社區提供了一個開源的深度學習框架,實現了本文所對比的各種方法,并在單變量TSC基準( UCR archive)和12個多變量時間序列數據集上對它們進行了評估。通過在97個時間序列數據集上訓練8730個深度學習模型,本文提出了迄今為止針對TSC的DNNs的最詳盡的研究。
3、 題目: Optimization for deep learning: theory and algorithms
簡介: 本文概述了用于訓練神經網絡的優化算法和理論。 首先,我們討論梯度爆炸/消失的問題以及不希望有的頻譜的更一般性的問題,然后討論實用的解決方案,包括仔細的初始化和歸一化方法。 其次,我們回顧了用于訓練神經網絡的通用優化方法,例如SGD,自適應梯度法和分布式方法,以及這些算法的現有理論結果。 第三,我們回顧了有關神經網絡訓練的全球性問題的現有研究,包括不良局部極小值,模式連通性,彩票假說和無限寬度分析的結果。
4、題目: Optimization for deep learning: theory and algorithms
簡介: 本文概述了用于訓練神經網絡的優化算法和理論。 首先,我們討論梯度爆炸/消失的問題以及不希望有的頻譜的一般性的問題,然后討論解決方案,包括初始化和歸一化方法。 其次,我們回顧了用于訓練神經網絡的通用優化方法,例如SGD,自適應梯度法和分布式方法,以及這些算法的現有理論結果。 第三,我們回顧了有關神經網絡訓練的現有研究。
5、題目: Normalizing Flows for Probabilistic Modeling and Inference
簡介: 歸一化流提供了一種定義表達概率分布的通用機制,只需要指定基本分布和一系列雙射變換。 最近有許多關于標準化流的工作,從提高其表達能力到擴展其應用。 我們認為該領域已經成熟,需要一個統一的觀點。 在這篇綜述中,我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理,并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯,我們還擴大了flow的概念框架。 最后,我們總結了在諸如生成模型,近似推理和監督學習等任務中使用歸一化流提供了一種定義表達概率分布的通用機制,只需要指定(通常是簡單的)基本分布和一系列雙射變換。 最近有許多關于標準化流的工作,從提高其表達能力到擴展其應用。 我們認為該領域已經成熟,需要一個統一的觀點。 在這篇綜述中,我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理,并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯,我們還擴大了流量的概念框架。 最后,我們總結了在諸如生成模型,近似推理和監督學習等任務中使用流。
6、題目: Fantastic Generalization Measures and Where to Find Them
簡介: 近年來,深度網絡的普遍性引起了人們極大的興趣,從而產生了許多從理論和經驗出發推動復雜性的措施。 但是,大多數提出此類措施的論文只研究了一小部分模型,而這些實驗得出的結論在其他情況下是否仍然有效的問題尚待解決。 我們提出了深度網絡泛化的第一個大規模研究。 我們研究了從理論界和實證研究中采取的40多種復雜性度量。 通過系統地改變常用的超參數,我們訓練了10,000多個卷積網絡。 為了揭示每個度量與泛化之間的潛在因果關系,我們分析了實驗,并顯示了有希望進行進一步研究的度量。
7、題目: Neural Style Transfer: A Review
簡介: Gatys等人的開創性工作通過分離和重新組合圖像內容和樣式,展示了卷積神經網絡(CNN)在創建藝術圖像中的作用。使用CNN渲染不同樣式的內容圖像的過程稱為神經樣式傳輸(NST)。從那時起,NST成為學術文獻和工業應用中的一個熱門話題。它正受到越來越多的關注,并且提出了多種方法來改進或擴展原始的NST算法。在本文中,我們旨在全面概述NST的最新進展。我們首先提出一種NST領域中當前算法的分類法。然后,我們提出幾種評估方法,并定性和定量地比較不同的NST算法。審查結束時討論了NST的各種應用和未解決的問題,以供將來研究。
簡介: 在許多將數據表示為圖形的領域中,學習圖形之間的相似性度量標準被認為是一個關鍵問題,它可以進一步促進各種學習任務,例如分類,聚類和相似性搜索。 最近,人們對深度圖相似性學習越來越感興趣,其中的主要思想是學習一種深度學習模型,該模型將輸入圖映射到目標空間,以使目標空間中的距離近似于輸入空間中的結構距離。 在這里,我們提供對深度圖相似性學習的現有文獻的全面回顧。 我們為方法和應用提出了系統的分類法。 最后,我們討論該問題的挑戰和未來方向。
在特征空間上學習足夠的相似性度量可以顯著確定機器學習方法的性能。從數據自動學習此類度量是相似性學習的主要目的。相似度/度量學習是指學習一種功能以測量對象之間的距離或相似度,這是許多機器學習問題(例如分類,聚類,排名等)中的關鍵步驟。例如,在k最近鄰(kNN)中分類[25],需要一個度量來測量數據點之間的距離并識別最近的鄰居;在許多聚類算法中,數據點之間的相似性度量用于確定聚類。盡管有一些通用度量標準(例如歐幾里得距離)可用于獲取表示為矢量的對象之間的相似性度量,但是這些度量標準通常無法捕獲正在研究的數據的特定特征,尤其是對于結構化數據。因此,找到或學習一種度量以測量特定任務中涉及的數據點的相似性至關重要。
論文主題: Deep Learning for Image Super-resolution: A Survey
論文摘要: 圖像超分辨率(SR)是提高圖像分辨率的一類重要的圖像處理技術以及計算機視覺中的視頻。近年來,基于深度學習的圖像超分辨率研究取得了顯著進展技術。在這項調查中,我們旨在介紹利用深度學習的圖像超分辨率技術的最新進展系統的方法。一般來說,我們可以粗略地將現有的SR技術研究分為三大類:監督SR、非監督SR和領域特定SR。此外,我們還討論了一些其他重要問題,如公開可用的基準數據集和性能評估指標。最后,我們通過強調幾個未來來結束這項調查未來社區應進一步解決的方向和公開問題.