【簡介】自然語言處理(NLP)能夠幫助智能型機器更好地理解人類的語言,實現基于語言的人機交流。目前隨著計算能力的發展和大量語言數據的出現,推動了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域取得了顯著的進步,數據驅動策略的應用已經非常的普遍。本綜述對NLP領域中所應用的深度學習進行了分類和討論。它涵蓋了NLP的核心任務和應用領域,并對深度學習方法如何推進這些領域的發展進行了細致的描述。最后我們進一步分析和比較了不同的方法和目前最先進的模型。
原文連接://arxiv.org/abs/2003.01200
介紹
自然語言處理(NLP)是計算機科學的一個分支,能夠為自然語言和計算機之間提高溝通的橋梁。它幫助機器理解、處理和分析人類語言。NLP通過深入地理解數據的上下文,使得數據變得更有意義,這反過來又促進了文本分析和數據挖掘。NLP通過人類的通信結構和通信模式來實現這一點。這篇綜述涵蓋了深度學習在NLP領域中所扮演的新角色以及各種應用。我們的研究主要集中在架構上,很少討論具體的應用程序。另一方面,本文描述了將深度學習應用于NLP問題中時所面臨的挑戰、機遇以及效果評估方式。
章節目錄
section 2: 在理論層面介紹了NLP和人工智能,并將深度學習視為解決現實問題的一種方法。
section 3:討論理解NLP所必需的基本概念,包括各種表示法、模型框架和機器學習中的示例性問題。
section 4:總結了應用在NLP領域中的基準數據集。
section 5:重點介紹一些已經被證明在NLP任務中有顯著效果的深度學習方法。
section 6:進行總結,同時解決了一些開放的問題和有希望改善的領域。
【簡介】在智能交通系統中交通預測扮演著重要的角色。精準的交通預測有助于優化通行路線,指導車輛調度,緩解交通擁堵。由于道路網絡中不同區域之間復雜且動態的時空依賴關系,這一問題具有很大挑戰性。最近幾年,有大量的研究工作推進了這一領域的發展,提高了交通系統預測交通的能力。這篇論文對于近些年的交通預測發展提供了一個全面的綜述。具體來說,我們對目前的交通預測方法進行了總結,并且對它們進行了分類。然后,我們列舉了應用交通預測的常見領域,以及這些應用任務的最新進展。同時,我們也收集和整理了幾個相關的公共數據集,并分別在兩個數據集上通過對相關的交通預測方法的表現進行了評估。最后,我們對這一領域未來的發展方向進行了探討。
自然語言處理(NLP)幫助智能機器更好地理解人類語言,實現基于語言的人機交流。計算能力的最新發展和大量語言數據的出現,增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域的應用取得了顯著的進步,數據驅動策略的應用已經非常普遍。本調查對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用,并描述了深度學習方法和模型如何推進這些領域。我們進一步分析和比較不同的方法和最先進的模型。
題目: Natural Language Processing Advancements By Deep Learning: A Survey
摘要: 自然語言處理(NLP)幫助智能機器更好地理解人類語言,實現基于語言的人機交流。算力的最新發展和語言大數據的出現,增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域的應用取得了顯著的進步,數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用,并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。
【簡介】隨著深度表示學習的發展,強化學習(RL)已經成為了一個強大的學習框架,其可以在高維度空間中學習復雜的規則。這篇綜述總結了深度強化學習(DRL)算法,提供了采用強化學習的自動駕駛任務的分類方法,重點介紹了算法上的關鍵挑戰和在現實世界中將強化學習部署在自動駕駛方面的作用,以及最終評估,測試和加強強化學習和模仿學習健壯性的現有解決方案。
論文鏈接: //arxiv.org/abs/2002.00444
介紹:
自動駕駛(AD)系統由多個感知級任務組成,由于采用了深度學習架構,這些任務現在已經達到了很高的精度。除了感知任務之外,自主駕駛系統還包含多個其他任務,傳統的監督學習方法已經不再適用。首先,當對agent行為的預測發生變化時,從自動駕駛agent所處的環境中接收到的未來傳感器觀察到的結果,例如獲取市區最佳駕駛速度的任務。其次,監督信號(如碰撞時間(TTC),相對于agent最佳軌跡的側向誤差)表示agent的動態變化以及環境中的不確定性。這些問題都需要定義隨機損失函數來使其最大化。最后,agent需要學習當前環境新的配置參數,預測其所處的環境中每一時刻的最優決策。這表明在觀察agent和其所處環境的情況下,一個高維度的空間能夠給出大量唯一的配置參數。在這些場景中,我們的目標是解決一個連續決策的問題。在這篇綜述中,我們將介紹強化學習的概念,強化學習是一種很有前景的解決方案和任務分類方法,特別是在驅動策略、預測感知、路徑規劃以及低層控制器設計等領域。我們還重點回顧了強化學習在自動駕駛領域當中各種現實的應用。最后,我們通過闡述應用當前諸如模仿學習和Q學習等強化學習算法時所面臨的算力挑戰和風險來激勵使用者對強化學習作出改進。
章節目錄:
section2: 介紹一個典型的自動駕駛系統及其各個組件。
section3: 對深度強化學習進行介紹,并簡要討論關鍵概念。
section4: 探討在強化學習基本框架上對其進行更深層次,更加復雜的擴展。
section5: 對強化學習用于自動駕駛領域的所面臨的問題提供一個概述。
section6: 介紹將強化學習部署到真實世界自動駕駛系統中所面臨的挑戰。
section7: 總結
【導讀】辭九迎零,我們迎來2020,到下一個十年。在2019年機器學習領域繼續快速發展,元學習、遷移學習、小樣本學習、深度學習理論等取得很多進展。在此,專知小編整理這一年這些研究熱點主題的綜述進展,共十篇,了解當下,方能向前。
1、A guide to deep learning in healthcare(醫療深度學習技術指南)
斯坦福&谷歌Jeff Dean最新Nature論文:醫療深度學習技術指南(29頁綜述)
Google 斯坦福 Nature Medicine
作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean
摘要:我們介紹了醫療保健的深度學習技術,重點討論了計算機視覺、自然語言處理、強化學習和廣義方法的深度學習。我們將描述這些計算技術如何影響醫學的幾個關鍵領域,并探討如何構建端到端系統。我們對計算機視覺的討論主要集中在醫學成像上,我們描述了自然語言處理在電子健康記錄數據等領域的應用。同樣,在機器人輔助手術的背景下討論了強化學習,并綜述了基因組學的廣義深度學習方法。
網址:
//www.nature.com/articles/s41591-018-0316-z
2、Multimodal Machine Learning: A Survey and Taxonomy(多模態機器學習)
人工智能頂刊TPAMI2019最新《多模態機器學習綜述》
CMU TPAMI
作者:Tadas Baltru?aitis,Chaitanya Ahuja,Louis-Philippe Morency
摘要:我們對世界的體驗是多模態的 - 我們看到物體,聽到聲音,感覺質地,聞到異味和味道。情態是指某種事物發生或經歷的方式,并且當研究問題包括多種這樣的形式時,研究問題被描述為多模式。為了使人工智能在理解我們周圍的世界方面取得進展,它需要能夠將這種多模態信號一起解釋。多模態機器學習旨在構建可以處理和關聯來自多種模態的信息的模型。這是一個充滿活力的多學科領域,具有越來越重要的意義和非凡的潛力。本文不是關注特定的多模態應用,而是研究多模態機器學習本身的最新進展。我們超越了典型的早期和晚期融合分類,并確定了多模式機器學習所面臨的更廣泛的挑戰,即:表示,翻譯,對齊,融合和共同學習。這種新的分類法將使研究人員能夠更好地了解該領域的狀況,并確定未來研究的方向。
網址:
3、Few-shot Learning: A Survey(小樣本學習)
《小樣本學習(Few-shot learning)》最新41頁綜述論文,來自港科大和第四范式
香港科大 第四范式
作者:Yaqing Wang,Quanming Yao
摘要:“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。盡管最近的人工智能在許多數據密集型應用中取得了成功,但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題,我們必須求助于機器學習,它支持人工智能的科學研究。特別地,在這種情況下,有一個機器學習問題稱為小樣本學習(Few-Shot Learning,FSL)。該方法利用先驗知識,可以快速地推廣到有限監督經驗的新任務中,通過推廣和類比,模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能,是一種減少繁重的數據收集和計算成本高昂的培訓的方法,也是罕見案例學習有效方式。隨著FSL研究的廣泛開展,我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題,將問題從“如何解決FSL”轉變為“如何處理核心問題”。因此,從FSL誕生到最近發表的作品都被歸為一個統一的類別,并對不同類別的優缺點進行了深入的討論。最后,我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向,希望為初學者和有經驗的研究者提供一些見解。
網址:
4、meta Learning: A Survey(元學習)
元學習(Meta-Learning) 綜述及五篇頂會論文推薦
作者:Joaquin Vanschoren
摘要:元學習,或學習學習,是一門系統地觀察不同機器學習方法如何在廣泛的學習任務中執行的科學,然后從這種經驗或元數據中學習,以比其他方法更快的速度學習新任務。這不僅極大地加快和改進了機器學習管道或神經體系結構的設計,還允許我們用以數據驅動方式學習的新方法取代手工設計的算法。在本文中,我們將概述這一迷人且不斷發展的領域的最新進展。
網址:
5、A Comprehensive Survey on Transfer Learning(遷移學習)
中科院發布最新遷移學習綜述論文,帶你全面了解40種遷移學習方法
作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He
摘要:遷移學習的目的是通過遷移包含在不同但相關的源域中的知識來提高目標學習者在目標域上的學習表現。這樣,可以減少對大量目標域數據的依賴,以構建目標學習者。由于其廣泛的應用前景,遷移學習已經成為機器學習中一個熱門和有前途的領域。雖然已經有一些關于遷移學習的有價值的和令人印象深刻的綜述,但這些綜述介紹的方法相對孤立,缺乏遷移學習的最新進展。隨著遷移學習領域的迅速擴大,對相關研究進行全面的回顧既有必要也有挑戰。本文試圖將已有的遷移學習研究進行梳理使其系統化,并對遷移學習的機制和策略進行全面的歸納和解讀,幫助讀者更好地了解當前的研究現狀和思路。與以往的文章不同,本文從數據和模型的角度對40多種具有代表性的遷移學習方法進行了綜述。還簡要介紹了遷移學習的應用。為了展示不同遷移學習模型的性能,我們使用了20種有代表性的遷移學習模型進行實驗。這些模型是在三個不同的數據集上執行的,即Amazon Reviews,Reuters-21578和Office-31。實驗結果表明,在實際應用中選擇合適的遷移學習模型是非常重要的。。
網址:
6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications(多模態智能論文綜述:表示學習,信息融合與應用) 【IEEE Fellow何曉東&鄧力】多模態智能論文綜述:表示學習,信息融合與應用,259篇文獻帶你了解AI熱點技術
京東
作者:Chao Zhang,Zichao Yang,Xiaodong He,Li Deng
【摘要】自2010年以來,深度學習已經使語音識別、圖像識別和自然語言處理發生了革命性的變化,每種方法在輸入信號中都只涉及一種模態。然而,人工智能的許多應用涉及到多種模態。因此,研究跨多種模態的建模和學習的更困難和更復雜的問題具有廣泛的意義。本文對多模態智能的模型和學習方法進行了技術綜述。視覺與自然語言的結合已成為計算機視覺和自然語言處理研究的一個重要領域。本文從學習多模態表示、多模態信號在不同層次上的融合以及多模態應用三個新角度對多模態深度學習的最新研究成果進行了綜合分析。在多模態表示學習中,我們回顧了嵌入的關鍵概念,將多模態信號統一到同一個向量空間中,從而實現了多模態信號的交叉處理。我們還回顧了許多類型的嵌入的性質,構造和學習的一般下游任務。在多模態融合方面,本文著重介紹了用于集成單模態信號表示的特殊結構。在應用方面,涵蓋了當前文獻中廣泛關注的選定領域,包括標題生成、文本到圖像生成和可視化問題回答。我們相信這項綜述可促進未來多模態智能的研究。
網址:
7、Object Detection in 20 Years: A Survey(目標檢測)
密歇根大學40頁《20年目標檢測綜述》最新論文,帶你全面了解目標檢測方法
作者:Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye
摘要:目標檢測作為計算機視覺中最基本、最具挑戰性的問題之一,近年來受到了廣泛的關注。它在過去二十年的發展可以說是計算機視覺歷史的縮影。如果我們把今天的目標檢測看作是深度學習力量下的一種技術美學,那么讓時光倒流20年,我們將見證冷兵器時代的智慧。本文從目標檢測技術發展的角度,對近四分之一世紀(20世紀90年代至2019年)的400余篇論文進行了廣泛的回顧。本文涵蓋了許多主題,包括歷史上的里程碑檢測器、檢測數據集、度量、檢測系統的基本構建模塊、加速技術以及最新的檢測方法。本文還綜述了行人檢測、人臉檢測、文本檢測等重要的檢測應用,并對其面臨的挑戰以及近年來的技術進步進行了深入分析。
網址:
8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications(中文知識圖譜)
作者:Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang
摘要:隨著智能技術的不斷發展,作為人工智能支柱的知識圖譜以其強大的知識表示和推理能力受到了學術界和產業界的廣泛關注。近年來,知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。構建中文知識圖譜的技術也在迅速發展,不同的中文知識圖譜以支持不同的應用。同時,我國在知識圖譜開發方面積累的經驗對非英語知識圖譜的開發也有很好的借鑒意義。本文旨在介紹中文知識圖譜的構建技術及其應用,然后介紹了典型的中文知識圖譜,此外我們介紹了構建中文知識圖譜的技術細節,并介紹了了中文知識圖譜的幾種應用。
網址:
9、Advances and Open Problems in Federated Learning(聯邦學習)
【重磅】聯邦學習FL進展與開放問題萬字綜述論文,58位學者25家機構聯合出品,105頁pdf438篇文獻
摘要:聯邦學習(FL)是一種機器學習設置,在這種設置中,許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型,同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則,可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下,本文討論了近年來的進展,并提出了大量的開放問題和挑戰。
網址:
10、Optimization for deep learning: theory and algorithms(深度學習優化理論算法)
【2019年末硬貨】深度學習的最優化:理論和算法綜述論文,60頁pdf257篇文獻
摘要:什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先,我們討論了梯度爆炸/消失問題和更一般的不期望譜問題,然后討論了實際的解決方案,包括仔細的初始化和歸一化方法。其次,我們回顧了用于訓練神經網絡的一般優化方法,如SGD、自適應梯度方法和分布式方法,以及這些算法的現有理論結果。第三,我們回顧了現有的關于神經網絡訓練的全局問題的研究,包括局部極值的結果、模式連接、彩票假設和無限寬度分析。
網址:
在過去的幾年里,自然語言處理領域由于深度學習模型的大量使用而得到了發展。這份綜述提供了一個NLP領域的簡要介紹和一個快速的深度學習架構和方法的概述。然后,篩選了大量最近的研究論文,并總結了大量相關的貢獻。NLP研究領域除了計算語言學的一些應用外,還包括幾個核心的語言處理問題。然后討論了目前的技術水平,并對該領域今后的研究提出了建議。