1、題目: Advances and Open Problems in Federated Learning
簡介: 聯邦學習(Federated Learning)是一種新興的人工智能基礎技術,在 2016 年由谷歌最先提出,原本用于解決安卓手機終端用戶在本地更新模型的問題,其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下,在多參與方或多計算結點之間開展高效率的機器學習。其中,聯邦學習可使用的機器學習算法不局限于神經網絡,還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。最近來自斯坦福、CMU、Google等25家機構58位學者共同發表了關于聯邦學習最新進展與開放問題的綜述論文《Advances and Open Problems in Federated Learning》,共105頁pdf調研了438篇文獻,講解了最新聯邦學習進展,并提出大量開放型問題。
2、題目: Deep learning for time series classification: a review
簡介: 時間序列分類(Time Series Classification, TSC )是數據挖掘中的一個重要而富有挑戰性的問題。隨著時間序列數據可用性的提高,已經提出了數百種TSC算法。在這些方法中,只有少數考慮使用深度神經網絡來完成這項任務。這令人驚訝,因為在過去幾年里,深度學習得到了非常成功的應用。DNNs的確已經徹底改變了計算機視覺領域,特別是隨著新型更深層次的結構的出現,如殘差和卷積神經網絡。除了圖像,文本和音頻等連續數據也可以用DNNs處理,以達到文檔分類和語音識別的最新性能。在本文中,本文通過對TSC最新DNN架構的實證研究,研究了TSC深度學習算法的最新性能。在TSC的DNNs統一分類場景下,本文概述了各種時間序列領域最成功的深度學習應用。本文還為TSC社區提供了一個開源的深度學習框架,實現了本文所對比的各種方法,并在單變量TSC基準( UCR archive)和12個多變量時間序列數據集上對它們進行了評估。通過在97個時間序列數據集上訓練8730個深度學習模型,本文提出了迄今為止針對TSC的DNNs的最詳盡的研究。
3、 題目: Optimization for deep learning: theory and algorithms
簡介: 本文概述了用于訓練神經網絡的優化算法和理論。 首先,我們討論梯度爆炸/消失的問題以及不希望有的頻譜的更一般性的問題,然后討論實用的解決方案,包括仔細的初始化和歸一化方法。 其次,我們回顧了用于訓練神經網絡的通用優化方法,例如SGD,自適應梯度法和分布式方法,以及這些算法的現有理論結果。 第三,我們回顧了有關神經網絡訓練的全球性問題的現有研究,包括不良局部極小值,模式連通性,彩票假說和無限寬度分析的結果。
4、題目: Optimization for deep learning: theory and algorithms
簡介: 本文概述了用于訓練神經網絡的優化算法和理論。 首先,我們討論梯度爆炸/消失的問題以及不希望有的頻譜的一般性的問題,然后討論解決方案,包括初始化和歸一化方法。 其次,我們回顧了用于訓練神經網絡的通用優化方法,例如SGD,自適應梯度法和分布式方法,以及這些算法的現有理論結果。 第三,我們回顧了有關神經網絡訓練的現有研究。
5、題目: Normalizing Flows for Probabilistic Modeling and Inference
簡介: 歸一化流提供了一種定義表達概率分布的通用機制,只需要指定基本分布和一系列雙射變換。 最近有許多關于標準化流的工作,從提高其表達能力到擴展其應用。 我們認為該領域已經成熟,需要一個統一的觀點。 在這篇綜述中,我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理,并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯,我們還擴大了flow的概念框架。 最后,我們總結了在諸如生成模型,近似推理和監督學習等任務中使用歸一化流提供了一種定義表達概率分布的通用機制,只需要指定(通常是簡單的)基本分布和一系列雙射變換。 最近有許多關于標準化流的工作,從提高其表達能力到擴展其應用。 我們認為該領域已經成熟,需要一個統一的觀點。 在這篇綜述中,我們試圖通過概率建模和推理的視角描述流量來提供這樣的觀點。 我們特別強調流程設計的基本原理,并討論諸如表達能力和計算權衡等基本主題。 通過將流量與更一般的概率轉換相關聯,我們還擴大了流量的概念框架。 最后,我們總結了在諸如生成模型,近似推理和監督學習等任務中使用流。
6、題目: Fantastic Generalization Measures and Where to Find Them
簡介: 近年來,深度網絡的普遍性引起了人們極大的興趣,從而產生了許多從理論和經驗出發推動復雜性的措施。 但是,大多數提出此類措施的論文只研究了一小部分模型,而這些實驗得出的結論在其他情況下是否仍然有效的問題尚待解決。 我們提出了深度網絡泛化的第一個大規模研究。 我們研究了從理論界和實證研究中采取的40多種復雜性度量。 通過系統地改變常用的超參數,我們訓練了10,000多個卷積網絡。 為了揭示每個度量與泛化之間的潛在因果關系,我們分析了實驗,并顯示了有希望進行進一步研究的度量。
7、題目: Neural Style Transfer: A Review
簡介: Gatys等人的開創性工作通過分離和重新組合圖像內容和樣式,展示了卷積神經網絡(CNN)在創建藝術圖像中的作用。使用CNN渲染不同樣式的內容圖像的過程稱為神經樣式傳輸(NST)。從那時起,NST成為學術文獻和工業應用中的一個熱門話題。它正受到越來越多的關注,并且提出了多種方法來改進或擴展原始的NST算法。在本文中,我們旨在全面概述NST的最新進展。我們首先提出一種NST領域中當前算法的分類法。然后,我們提出幾種評估方法,并定性和定量地比較不同的NST算法。審查結束時討論了NST的各種應用和未解決的問題,以供將來研究。
智能視頻監控(IVS)是當前計算機視覺和機器學習領域的一個活躍研究領域,為監控操作員和取證視頻調查者提供了有用的工具。人的再識別(PReID)是IVS中最關鍵的問題之一,它包括識別一個人是否已經通過網絡中的攝像機被觀察到。PReID的解決方案有無數的應用,包括檢索顯示感興趣的個體的視頻序列,甚至在多個攝像機視圖上進行行人跟蹤。文獻中已經提出了不同的技術來提高PReID的性能,最近研究人員利用了深度神經網絡(DNNs),因為它在類似的視覺問題上具有令人信服的性能,而且在測試時執行速度也很快。鑒于再識別解決方案的重要性和廣泛的應用范圍,我們的目標是討論在該領域開展的工作,并提出一項最先進的DNN模型用于這項任務的調查。我們提供了每個模型的描述以及它們在一組基準數據集上的評估。最后,我們對這些模型進行了詳細的比較,并討論了它們的局限性,為今后的研究提供了指導。
【簡介】自然語言處理(NLP)能夠幫助智能型機器更好地理解人類的語言,實現基于語言的人機交流。目前隨著計算能力的發展和大量語言數據的出現,推動了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域取得了顯著的進步,數據驅動策略的應用已經非常的普遍。本綜述對NLP領域中所應用的深度學習進行了分類和討論。它涵蓋了NLP的核心任務和應用領域,并對深度學習方法如何推進這些領域的發展進行了細致的描述。最后我們進一步分析和比較了不同的方法和目前最先進的模型。
原文連接://arxiv.org/abs/2003.01200
介紹
自然語言處理(NLP)是計算機科學的一個分支,能夠為自然語言和計算機之間提高溝通的橋梁。它幫助機器理解、處理和分析人類語言。NLP通過深入地理解數據的上下文,使得數據變得更有意義,這反過來又促進了文本分析和數據挖掘。NLP通過人類的通信結構和通信模式來實現這一點。這篇綜述涵蓋了深度學習在NLP領域中所扮演的新角色以及各種應用。我們的研究主要集中在架構上,很少討論具體的應用程序。另一方面,本文描述了將深度學習應用于NLP問題中時所面臨的挑戰、機遇以及效果評估方式。
章節目錄
section 2: 在理論層面介紹了NLP和人工智能,并將深度學習視為解決現實問題的一種方法。
section 3:討論理解NLP所必需的基本概念,包括各種表示法、模型框架和機器學習中的示例性問題。
section 4:總結了應用在NLP領域中的基準數據集。
section 5:重點介紹一些已經被證明在NLP任務中有顯著效果的深度學習方法。
section 6:進行總結,同時解決了一些開放的問題和有希望改善的領域。
題目: Time Series Data Augmentation for Deep Learning: A Survey
摘要:
近年來,深度學習在許多時間序列分析任務中表現優異。深度神經網絡的優越性能很大程度上依賴于大量的訓練數據來避免過擬合。然而,許多實際時間序列應用的標記數據可能會受到限制,如醫學時間序列的分類和AIOps中的異常檢測。數據擴充是提高訓練數據規模和質量的有效途徑,是深度學習模型在時間序列數據上成功應用的關鍵。本文系統地綜述了時間序列的各種數據擴充方法。我們為這些方法提出了一個分類,然后通過強調它們的優點和局限性為這些方法提供了一個結構化的審查。并對時間序列異常檢測、分類和預測等不同任務的數據擴充方法進行了實證比較。最后,我們討論并強調未來的研究方向,包括時頻域的數據擴充、擴充組合、不平衡類的數據擴充與加權。
題目: A Survey of Deep Learning Techniques for Neural Machine Translation
摘要: 近年來,隨著深度學習技術的發展,自然語言處理(NLP)得到了很大的發展。在機器翻譯領域,出現了一種新的方法——神經機器翻譯(NMT),引起了學術界和工業界的廣泛關注。然而,在過去的幾年里提出的大量的研究,很少有人研究這一新技術趨勢的發展過程。本文回顧了神經機器翻譯的起源和主要發展歷程,描述了神經機器翻譯的重要分支,劃分了不同的研究方向,并討論了未來該領域的一些研究趨勢。
題目: A Survey on Distributed Machine Learning
簡介: 在過去十年中,對人工智能的需求已顯著增長,并且這種增長得益于機器學習技術的進步以及利用硬件加速的能力,但是,為了提高預測質量并在復雜的應用程序中提供可行的機器學習解決方案,需要大量的訓練數據。盡管小型機器學習模型可以使用一定數量的數據進行訓練,但用于訓練較大模型(例如神經網絡)的輸入與參數數量成指數增長。由于處理訓練數據的需求已經超過了計算機器的計算能力的增長,因此急需在多個機器之間分配機器學習工作量,并將集中式的精力分配到分配的系統上。這些分布式系統提出了新的挑戰,最重要的是訓練過程的科學并行化和相關模型的創建。本文通過概述傳統的(集中的)機器學習方法,探討了分布式機器學習的挑戰和機遇,從而對當前的最新技術進行了廣泛的概述,并對現有的技術進行研究。
聯邦學習(Federated Learning)是一種新興的人工智能基礎技術,在 2016 年由谷歌最先提出,原本用于解決安卓手機終端用戶在本地更新模型的問題,其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下,在多參與方或多計算結點之間開展高效率的機器學習。其中,聯邦學習可使用的機器學習算法不局限于神經網絡,還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。最近來自斯坦福、CMU、Google等25家機構58位學者共同發表了關于聯邦學習最新進展與開放問題的綜述論文《Advances and Open Problems in Federated Learning》,共105頁pdf調研了438篇文獻,講解了最新聯邦學習進展,并提出大量開放型問題。
摘要
聯邦學習(FL)是一種機器學習設置,在這種設置中,許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型,同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則,可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下,本文討論了近年來的進展,并提出了大量的開放問題和挑戰。
目錄
1 介紹
4 .保護用戶數據的隱私
7 結束語
Attention模型目前已經成為神經網絡中的一個重要概念,注意力模型(AM)自機器翻譯任務【Bahdanau et al 2014】首次引入進來,現在已經成為主流的神經網絡概念。這一模型在研究社區中非常受歡迎,適用領域非常廣泛,包括自然語言處理、統計學習、語音和計算機視覺方面的應用。本篇綜述提供了關于注意力模型的全面概述,并且提供了一種將現有注意力模型進行有效分類的分類法,調查了用于不同網絡結構的注意力模型,并顯示了注意力機制如何提高模型的可解釋性,最后,討論了一些受到注意力模型較大影響的應用問題。
題目: Deep Learning in Video Multi-Object Tracking: A Survey
簡介: 多對象跟蹤(MOT)的問題在于遵循序列中不同對象(通常是視頻)的軌跡。 近年來,隨著深度學習的興起,提供解決此問題的算法得益于深度模型的表示能力。 本文對采用深度學習模型解決單攝像機視頻中的MOT任務的作品進行了全面的調查。 確定了MOT算法的四個主要步驟,并對這些階段的每個階段如何使用深度學習進行了深入的回顧。 還提供了對三個MOTChallenge數據集上提出的作品的完整實驗比較,確定了表現最好的方法之間的許多相似之處,并提出了一些可能的未來研究方向。