自動駕駛一直是人工智能應用中最活躍的領域。幾乎在同一時間,深度學習的幾位先驅取得了突破,其中三位(也被稱為深度學習之父)Hinton、Bengio和LeCun獲得了2019年ACM圖靈獎。這是一項關于采用深度學習方法的自動駕駛技術的綜述。我們研究了自動駕駛系統的主要領域,如感知、地圖和定位、預測、規劃和控制、仿真、V2X和安全等。由于篇幅有限,我們將重點分析幾個關鍵領域,即感知中的二維/三維物體檢測、攝像機深度估計、數據、特征和任務級的多傳感器融合、車輛行駛和行人軌跡的行為建模和預測。
最新的技術進步提高了交通運輸的質量。新的數據驅動方法為所有基于控制的系統(如交通、機器人、物聯網和電力系統)帶來了新的研究方向。將數據驅動的應用與運輸系統相結合在最近的運輸應用程序中起著關鍵的作用。本文綜述了基于深度強化學習(RL)的交通控制的最新應用。其中,詳細討論了基于深度RL的交通信號控制(TSC)的應用,這在文獻中已經得到了廣泛的研究。綜合討論了TSC的不同問題求解方法、RL參數和仿真環境。在文獻中,也有一些基于深度RL模型的自主駕駛應用研究。我們的調查廣泛地總結了這一領域的現有工作,并根據應用程序類型、控制模型和研究的算法對它們進行了分類。最后,我們討論了基于深度可編程邏輯語言的交通應用所面臨的挑戰和有待解決的問題。
摘要: 目標檢測算法應用廣泛,一直是計算機視覺領域備受關注的研究熱點。近年來,隨著深度學習的發展,3D圖像的目標檢測研究取得了巨大的突破。與2D目標檢測相比,3D目標檢測結合了深度信息,能夠提供目標的位置、方向和大小等空間場景信息,在自動駕駛和機器人領域發展迅速。文中首先對基于深度學習的2D目標檢測算法進行概述;其次根據圖像、激光雷達、多傳感器等不同數據采集方式,分析目前具有代表性和開創性的3D目標檢測算法;結合自動駕駛的應用場景,對比分析不同 3D 目標檢測算法的性能、優勢和局限性;最后總結了3D目標檢測的應用意義以及待解決的問題,并對 3D 目標檢測的發展方向和新的挑戰進行了討論和展望。
【簡介】隨著深度表示學習的發展,強化學習(RL)已經成為了一個強大的學習框架,其可以在高維度空間中學習復雜的規則。這篇綜述總結了深度強化學習(DRL)算法,提供了采用強化學習的自動駕駛任務的分類方法,重點介紹了算法上的關鍵挑戰和在現實世界中將強化學習部署在自動駕駛方面的作用,以及最終評估,測試和加強強化學習和模仿學習健壯性的現有解決方案。
論文鏈接: //arxiv.org/abs/2002.00444
介紹:
自動駕駛(AD)系統由多個感知級任務組成,由于采用了深度學習架構,這些任務現在已經達到了很高的精度。除了感知任務之外,自主駕駛系統還包含多個其他任務,傳統的監督學習方法已經不再適用。首先,當對agent行為的預測發生變化時,從自動駕駛agent所處的環境中接收到的未來傳感器觀察到的結果,例如獲取市區最佳駕駛速度的任務。其次,監督信號(如碰撞時間(TTC),相對于agent最佳軌跡的側向誤差)表示agent的動態變化以及環境中的不確定性。這些問題都需要定義隨機損失函數來使其最大化。最后,agent需要學習當前環境新的配置參數,預測其所處的環境中每一時刻的最優決策。這表明在觀察agent和其所處環境的情況下,一個高維度的空間能夠給出大量唯一的配置參數。在這些場景中,我們的目標是解決一個連續決策的問題。在這篇綜述中,我們將介紹強化學習的概念,強化學習是一種很有前景的解決方案和任務分類方法,特別是在驅動策略、預測感知、路徑規劃以及低層控制器設計等領域。我們還重點回顧了強化學習在自動駕駛領域當中各種現實的應用。最后,我們通過闡述應用當前諸如模仿學習和Q學習等強化學習算法時所面臨的算力挑戰和風險來激勵使用者對強化學習作出改進。
章節目錄:
section2: 介紹一個典型的自動駕駛系統及其各個組件。
section3: 對深度強化學習進行介紹,并簡要討論關鍵概念。
section4: 探討在強化學習基本框架上對其進行更深層次,更加復雜的擴展。
section5: 對強化學習用于自動駕駛領域的所面臨的問題提供一個概述。
section6: 介紹將強化學習部署到真實世界自動駕駛系統中所面臨的挑戰。
section7: 總結
【導讀】辭九迎零,我們迎來2020,到下一個十年。在2019年機器學習領域繼續快速發展,元學習、遷移學習、小樣本學習、深度學習理論等取得很多進展。在此,專知小編整理這一年這些研究熱點主題的綜述進展,共十篇,了解當下,方能向前。
1、A guide to deep learning in healthcare(醫療深度學習技術指南)
斯坦福&谷歌Jeff Dean最新Nature論文:醫療深度學習技術指南(29頁綜述)
Google 斯坦福 Nature Medicine
作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean
摘要:我們介紹了醫療保健的深度學習技術,重點討論了計算機視覺、自然語言處理、強化學習和廣義方法的深度學習。我們將描述這些計算技術如何影響醫學的幾個關鍵領域,并探討如何構建端到端系統。我們對計算機視覺的討論主要集中在醫學成像上,我們描述了自然語言處理在電子健康記錄數據等領域的應用。同樣,在機器人輔助手術的背景下討論了強化學習,并綜述了基因組學的廣義深度學習方法。
網址:
//www.nature.com/articles/s41591-018-0316-z
2、Multimodal Machine Learning: A Survey and Taxonomy(多模態機器學習)
人工智能頂刊TPAMI2019最新《多模態機器學習綜述》
CMU TPAMI
作者:Tadas Baltru?aitis,Chaitanya Ahuja,Louis-Philippe Morency
摘要:我們對世界的體驗是多模態的 - 我們看到物體,聽到聲音,感覺質地,聞到異味和味道。情態是指某種事物發生或經歷的方式,并且當研究問題包括多種這樣的形式時,研究問題被描述為多模式。為了使人工智能在理解我們周圍的世界方面取得進展,它需要能夠將這種多模態信號一起解釋。多模態機器學習旨在構建可以處理和關聯來自多種模態的信息的模型。這是一個充滿活力的多學科領域,具有越來越重要的意義和非凡的潛力。本文不是關注特定的多模態應用,而是研究多模態機器學習本身的最新進展。我們超越了典型的早期和晚期融合分類,并確定了多模式機器學習所面臨的更廣泛的挑戰,即:表示,翻譯,對齊,融合和共同學習。這種新的分類法將使研究人員能夠更好地了解該領域的狀況,并確定未來研究的方向。
網址:
3、Few-shot Learning: A Survey(小樣本學習)
《小樣本學習(Few-shot learning)》最新41頁綜述論文,來自港科大和第四范式
香港科大 第四范式
作者:Yaqing Wang,Quanming Yao
摘要:“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。盡管最近的人工智能在許多數據密集型應用中取得了成功,但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題,我們必須求助于機器學習,它支持人工智能的科學研究。特別地,在這種情況下,有一個機器學習問題稱為小樣本學習(Few-Shot Learning,FSL)。該方法利用先驗知識,可以快速地推廣到有限監督經驗的新任務中,通過推廣和類比,模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能,是一種減少繁重的數據收集和計算成本高昂的培訓的方法,也是罕見案例學習有效方式。隨著FSL研究的廣泛開展,我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題,將問題從“如何解決FSL”轉變為“如何處理核心問題”。因此,從FSL誕生到最近發表的作品都被歸為一個統一的類別,并對不同類別的優缺點進行了深入的討論。最后,我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向,希望為初學者和有經驗的研究者提供一些見解。
網址:
4、meta Learning: A Survey(元學習)
元學習(Meta-Learning) 綜述及五篇頂會論文推薦
作者:Joaquin Vanschoren
摘要:元學習,或學習學習,是一門系統地觀察不同機器學習方法如何在廣泛的學習任務中執行的科學,然后從這種經驗或元數據中學習,以比其他方法更快的速度學習新任務。這不僅極大地加快和改進了機器學習管道或神經體系結構的設計,還允許我們用以數據驅動方式學習的新方法取代手工設計的算法。在本文中,我們將概述這一迷人且不斷發展的領域的最新進展。
網址:
5、A Comprehensive Survey on Transfer Learning(遷移學習)
中科院發布最新遷移學習綜述論文,帶你全面了解40種遷移學習方法
作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He
摘要:遷移學習的目的是通過遷移包含在不同但相關的源域中的知識來提高目標學習者在目標域上的學習表現。這樣,可以減少對大量目標域數據的依賴,以構建目標學習者。由于其廣泛的應用前景,遷移學習已經成為機器學習中一個熱門和有前途的領域。雖然已經有一些關于遷移學習的有價值的和令人印象深刻的綜述,但這些綜述介紹的方法相對孤立,缺乏遷移學習的最新進展。隨著遷移學習領域的迅速擴大,對相關研究進行全面的回顧既有必要也有挑戰。本文試圖將已有的遷移學習研究進行梳理使其系統化,并對遷移學習的機制和策略進行全面的歸納和解讀,幫助讀者更好地了解當前的研究現狀和思路。與以往的文章不同,本文從數據和模型的角度對40多種具有代表性的遷移學習方法進行了綜述。還簡要介紹了遷移學習的應用。為了展示不同遷移學習模型的性能,我們使用了20種有代表性的遷移學習模型進行實驗。這些模型是在三個不同的數據集上執行的,即Amazon Reviews,Reuters-21578和Office-31。實驗結果表明,在實際應用中選擇合適的遷移學習模型是非常重要的。。
網址:
6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications(多模態智能論文綜述:表示學習,信息融合與應用) 【IEEE Fellow何曉東&鄧力】多模態智能論文綜述:表示學習,信息融合與應用,259篇文獻帶你了解AI熱點技術
京東
作者:Chao Zhang,Zichao Yang,Xiaodong He,Li Deng
【摘要】自2010年以來,深度學習已經使語音識別、圖像識別和自然語言處理發生了革命性的變化,每種方法在輸入信號中都只涉及一種模態。然而,人工智能的許多應用涉及到多種模態。因此,研究跨多種模態的建模和學習的更困難和更復雜的問題具有廣泛的意義。本文對多模態智能的模型和學習方法進行了技術綜述。視覺與自然語言的結合已成為計算機視覺和自然語言處理研究的一個重要領域。本文從學習多模態表示、多模態信號在不同層次上的融合以及多模態應用三個新角度對多模態深度學習的最新研究成果進行了綜合分析。在多模態表示學習中,我們回顧了嵌入的關鍵概念,將多模態信號統一到同一個向量空間中,從而實現了多模態信號的交叉處理。我們還回顧了許多類型的嵌入的性質,構造和學習的一般下游任務。在多模態融合方面,本文著重介紹了用于集成單模態信號表示的特殊結構。在應用方面,涵蓋了當前文獻中廣泛關注的選定領域,包括標題生成、文本到圖像生成和可視化問題回答。我們相信這項綜述可促進未來多模態智能的研究。
網址:
7、Object Detection in 20 Years: A Survey(目標檢測)
密歇根大學40頁《20年目標檢測綜述》最新論文,帶你全面了解目標檢測方法
作者:Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye
摘要:目標檢測作為計算機視覺中最基本、最具挑戰性的問題之一,近年來受到了廣泛的關注。它在過去二十年的發展可以說是計算機視覺歷史的縮影。如果我們把今天的目標檢測看作是深度學習力量下的一種技術美學,那么讓時光倒流20年,我們將見證冷兵器時代的智慧。本文從目標檢測技術發展的角度,對近四分之一世紀(20世紀90年代至2019年)的400余篇論文進行了廣泛的回顧。本文涵蓋了許多主題,包括歷史上的里程碑檢測器、檢測數據集、度量、檢測系統的基本構建模塊、加速技術以及最新的檢測方法。本文還綜述了行人檢測、人臉檢測、文本檢測等重要的檢測應用,并對其面臨的挑戰以及近年來的技術進步進行了深入分析。
網址:
8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications(中文知識圖譜)
作者:Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang
摘要:隨著智能技術的不斷發展,作為人工智能支柱的知識圖譜以其強大的知識表示和推理能力受到了學術界和產業界的廣泛關注。近年來,知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。構建中文知識圖譜的技術也在迅速發展,不同的中文知識圖譜以支持不同的應用。同時,我國在知識圖譜開發方面積累的經驗對非英語知識圖譜的開發也有很好的借鑒意義。本文旨在介紹中文知識圖譜的構建技術及其應用,然后介紹了典型的中文知識圖譜,此外我們介紹了構建中文知識圖譜的技術細節,并介紹了了中文知識圖譜的幾種應用。
網址:
9、Advances and Open Problems in Federated Learning(聯邦學習)
【重磅】聯邦學習FL進展與開放問題萬字綜述論文,58位學者25家機構聯合出品,105頁pdf438篇文獻
摘要:聯邦學習(FL)是一種機器學習設置,在這種設置中,許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型,同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則,可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下,本文討論了近年來的進展,并提出了大量的開放問題和挑戰。
網址:
10、Optimization for deep learning: theory and algorithms(深度學習優化理論算法)
【2019年末硬貨】深度學習的最優化:理論和算法綜述論文,60頁pdf257篇文獻
摘要:什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先,我們討論了梯度爆炸/消失問題和更一般的不期望譜問題,然后討論了實際的解決方案,包括仔細的初始化和歸一化方法。其次,我們回顧了用于訓練神經網絡的一般優化方法,如SGD、自適應梯度方法和分布式方法,以及這些算法的現有理論結果。第三,我們回顧了現有的關于神經網絡訓練的全局問題的研究,包括局部極值的結果、模式連接、彩票假設和無限寬度分析。
網址:
【導讀】隨著近幾年來AI技術的飛速發展,人們將計算機視覺技術應用于自動駕駛,使得自動駕駛的應用變得可行,很大程度地推進了自動駕駛技術的發展。本文介紹一篇關于自動駕駛計算機視覺的全面綜述,覆蓋了該領域相關的問題、數據集和最先進的技術。
近幾年來,我們目睹了AI相關領域取得的巨大的進步,如計算機視覺、機器學習、自動駕駛等。隨著這些領域的飛速發展,初學者很難了解領域最新的進展。在自動駕駛計算機視覺領域,盡管出現了一些關于特定子問題的綜述,但尚未發布關于問題、數據集和方法的全面和綜合的綜述。
綜述《Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art》試圖通過提供對目前最先進的相關技術和數據集的調研來縮小人們對該領域的認知鴻溝。綜述既包括了已有的最相關的文獻,也包含了一些特殊主題目前最先進的成果,如識別、重建、運動估計、跟蹤、場景理解和自動駕駛端到端學習。綜述還包含了對最先進技術在KITTI、MOT和Cityscapes等幾個具有挑戰性的基準數據集上的性能的分析。
另外,該綜述還討論了一些開放問題和目前的研究挑戰。綜述還提供了一個網站,方便人們訪問相關的主題,以及提供額外的信息。
綜述首先提供了自動駕駛的簡要歷史,然后介紹了相機模型和校準技術。接著,綜述介紹了與自動駕駛相關的數據集(重點關注與感知相關的數據集)、相關的感知任務和最新的解決方法。尤其是,綜述回顧了目標檢測、目標跟蹤、語義(實體)分割、重建、運動估計和場景理解。每個章節包含了問題定義、重要方法和主要設計選擇、頂尖技術在流行數據集上的定性和定量分析以及關于領域最先進技術的討論。最終,綜述提供了關于最先進端到端自動駕駛模型的概覽。
綜述的目錄大致如下:
題目: A survey of deep learning techniques for autonomous driving
簡介: 本文目的是研究自動駕駛中深度學習技術的最新技術。首先介紹基于AI的自動駕駛架構、CNN和RNN、以及DRL范例。這些方法為駕駛場景感知、路徑規劃、行為決策和運動控制算法奠定基礎。該文研究深度學習方法構建的模塊化“感知-規劃-執行”流水線以及將傳感信息直接映射到轉向命令的端到端系統。此外,設計自動駕駛AI架構遇到的當前挑戰,如安全性、訓練數據源和計算硬件等也進行了討論。該工作有助于深入了解深度學習和自動駕駛AI方法的優越性和局限性,并協助系統的設計選擇。