卷積神經網絡(Convolutional Neural Network, CNN)是深度學習領域中最重要的網絡之一。由于CNN在計算機視覺和自然語言處理等諸多領域都取得了令人矚目的成就,因此在過去的幾年里,CNN受到了業界和學術界的廣泛關注。現有的綜述主要關注CNN在不同場景下的應用,并沒有從整體的角度來考慮CNN,也沒有涉及到最近提出的一些新穎的想法。在這篇綜述中,我們的目標是在這個快速增長的領域提供盡可能多的新想法和前景。不僅涉及到二維卷積,還涉及到一維和多維卷積。首先,這篇綜述首先簡單介紹了CNN的歷史。第二,我們提供CNN的概述。第三,介紹了經典的和先進的CNN模型,特別是那些使他們達到最先進的結果的關鍵點。第四,通過實驗分析,得出一些結論,并為函數選擇提供一些經驗法則。第五,介紹了一維、二維和多維卷積的應用。最后,討論了CNN的一些有待解決的問題和有發展前景的方向,為今后的工作提供參考。
多模態表示學習旨在縮小不同模態之間的異質性差距,在利用普遍存在的多模態數據方面起著不可或缺的作用。基于深度學習的多模態表示學習由于具有強大的多層次抽象表示能力,近年來受到了廣泛的關注。在本文中,我們提供了一個全面的深度多模態表示學習的綜述論文。為了便于討論如何縮小異質性差距,根據不同模態集成的底層結構,我們將深度多模態表示學習方法分為三種框架:聯合表示、協調表示和編解碼。此外,我們回顧了該領域的一些典型模型,從傳統模型到新開發的技術。本文強調在新開發的技術的關鍵問題,如encoder-decoder模型,生成對抗的網絡,和注意力機制學習的角度來看,多通道表示,我們所知,從來沒有審核之前,即使他們已經成為當代研究的主要焦點。對于每個框架或模型,我們將討論其基本結構、學習目標、應用場景、關鍵問題、優缺點,以使新研究者和有經驗的研究者都能從中受益。最后,提出了今后工作的一些重要方向。
當前自然語言處理的一個問題是處理低資源的語言,這些語言缺乏有用的訓練屬性,如受監督的數據、母語使用者或專家的數量等。這篇綜述論文簡明地總結了過去在解決這一問題上取得的突破性成就,并分析了未來研究方向的整體背景下的潛在改進。
摘要:過去幾年,卷積神經網絡因其強大的建模能力引起廣泛關注,在自然語言處理、圖像識別等領域成功應用。然而,傳統的卷積神經網絡只能處理歐氏空間數據,而現實生活中的許多場景,如交通網絡、社交網絡、引用網絡等,都是以圖數據的形式存在。將卷積神經網絡遷移到圖數據分析處理中的核心在于圖卷積算子的構建和圖池化算子的構建。本文對圖卷積神經網絡進行綜述,首先介紹了圖卷積神經網絡的背景并梳理了兩類經典方法——譜方法和空間方法,圖數據上平移不變性的缺失給圖卷積算子的定義帶來困難,譜方法借助卷積定理在譜域定義圖卷積,而空間方法通過在節點域定義節點相關性來實現圖卷積;進而,本文介紹了圖卷積神經網絡的最新進展,這其中包括如何利用圖卷積神經網絡建模圖上的復雜信息,如異質連接、高階連接等,以及如何在大規模圖上實現圖卷積神經網絡;此外,本文介紹了圖卷積神經網絡的相關應用,包括推薦系統領域,交通預測領域等;最后本文對圖卷積神經網絡的發展趨勢進行了總結和展望。
【導讀】強化學習最新綜述新鮮出爐。在這篇文章中,作者對強化學習進行了全面的研究,包括現有的挑戰、不同技術的最新發展以及未來的發展方向。文章致力于提供一個清晰簡單的研究框架,能夠為新的研究人員或者想全面了解強化學習領域的人提供一個參考。
摘要: 強化學習是設計強調實時響應的人工智能系統的核心組成部分之一。強化學習能夠影響系統在任意的環境中的行動,不管它之前是否了解環境模型。在這篇論文中,我們對強化學習進行了全面的研究,包括了現有挑戰、不同技術的最新發展情況以及未來的發展方向等多個維度。本論文的基本目標是提供一個足夠簡單和清晰的框架,以介紹現有的強化學習方法,從而為新的研究人員和學者了解該領域的核心進展。首先,我們以一種易于理解和比較的方式闡述了強化學習的核心技術。然后,我們分析并描述了強化學習方法的最新發展。我們的分析指出,大多數模型關注于調優策略值,而不是在特定的推理狀態下調優其他東西。
地址:
【導讀】隨著近幾年來AI技術的飛速發展,人們將計算機視覺技術應用于自動駕駛,使得自動駕駛的應用變得可行,很大程度地推進了自動駕駛技術的發展。本文介紹一篇關于自動駕駛計算機視覺的全面綜述,覆蓋了該領域相關的問題、數據集和最先進的技術。
近幾年來,我們目睹了AI相關領域取得的巨大的進步,如計算機視覺、機器學習、自動駕駛等。隨著這些領域的飛速發展,初學者很難了解領域最新的進展。在自動駕駛計算機視覺領域,盡管出現了一些關于特定子問題的綜述,但尚未發布關于問題、數據集和方法的全面和綜合的綜述。
綜述《Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art》試圖通過提供對目前最先進的相關技術和數據集的調研來縮小人們對該領域的認知鴻溝。綜述既包括了已有的最相關的文獻,也包含了一些特殊主題目前最先進的成果,如識別、重建、運動估計、跟蹤、場景理解和自動駕駛端到端學習。綜述還包含了對最先進技術在KITTI、MOT和Cityscapes等幾個具有挑戰性的基準數據集上的性能的分析。
另外,該綜述還討論了一些開放問題和目前的研究挑戰。綜述還提供了一個網站,方便人們訪問相關的主題,以及提供額外的信息。
綜述首先提供了自動駕駛的簡要歷史,然后介紹了相機模型和校準技術。接著,綜述介紹了與自動駕駛相關的數據集(重點關注與感知相關的數據集)、相關的感知任務和最新的解決方法。尤其是,綜述回顧了目標檢測、目標跟蹤、語義(實體)分割、重建、運動估計和場景理解。每個章節包含了問題定義、重要方法和主要設計選擇、頂尖技術在流行數據集上的定性和定量分析以及關于領域最先進技術的討論。最終,綜述提供了關于最先進端到端自動駕駛模型的概覽。
綜述的目錄大致如下:
在過去的幾年里,自然語言處理領域由于深度學習模型的大量使用而得到了發展。這份綜述提供了一個NLP領域的簡要介紹和一個快速的深度學習架構和方法的概述。然后,篩選了大量最近的研究論文,并總結了大量相關的貢獻。NLP研究領域除了計算語言學的一些應用外,還包括幾個核心的語言處理問題。然后討論了目前的技術水平,并對該領域今后的研究提出了建議。