隨著多媒體技術的發展,可獲取的媒體數據在種類和量級上大幅提升。 受人類感知方式的啟發,多種媒 體數據互相融合處理,促進了人工智能在計算機視覺領域的研究發展,在遙感圖像解譯、生物醫學和深度估計等方 面有廣泛的應用。 盡管多模態數據在描述事物特征時具有明顯優勢,但仍面臨著較大的挑戰。 1)受到不同成像設 備和傳感器的限制,難以收集到大規模、高質量的多模態數據集;2)多模態數據需要匹配成對用于研究,任一模態 的缺失都會造成可用數據的減少;3)圖像、視頻數據在處理和標注上需要耗費較多的時間和人力成本,這些問題使 得目前本領域的技術尚待攻關。 本文立足于數據受限條件下的多模態學習方法,根據樣本數量、標注信息和樣本 質量等不同的維度,將計算機視覺領域中的多模態數據受限方法分為小樣本學習、缺乏強監督標注信息、主動學 習、數據去噪和數據增強 5 個方向,詳細闡述了各類方法的樣本特點和模型方法的最新進展。 并介紹了數據受限 前提下的多模態學習方法使用的數據集及其應用方向(包括人體姿態估計、行人重識別等),對比分析了現有算法 的優缺點以及未來的發展方向,對該領域的發展具有積極的意義。
**1. 引 言
**模態是事物的一種表現形式,是對事物某特定 角度的描述。 多模態通常包含兩個或者兩個以上的 模態形式,是指從多個視角出發對事物進行描述。 人們在感知世界時,多種感官總是同時接收外在信 息,如看見圖像、聽見聲音、聞到氣味和觸摸感知等。 隨著多媒體技術的發展,可獲取的媒體數據在種類 和量級上都大幅提升。 例如,傳感器不僅可以生成 圖像或者視頻,還包含與之匹配的深度、溫度信息 等。 為使人工智能技術更好地解譯數據,必須使人 工智能具有多模態學習的能力。在人工智能技術的早期研究中,學者通常使用 單一模態的數據。 受到人類感知方式的啟發,研究 認為每個模態對事物的描述具有相對獨立性,使用多模態數據的互補表述能夠使事物呈現更立體、表 現更全面(Baltru?aitis 等,2019)。 近年來,多模態數 據的處理和應用成為重點研究方向,在情感分析、機 器翻譯、自然語言處理和生物醫學等前沿方向取得 了重要突破。 計算機視覺是深度學習的重要應用領 域和熱點研究問題,本文重點圍繞多模態在計算機 視覺領域的發展進行介紹。 如圖 1 所示,計算機視覺領域內的多模態學習 主要是通過對圖像、視頻等多模態數據進行分析, 學習并互補不同模態間的信息,實現圖像檢測識 別、語 義 分 割 和 視 頻 動 作 預 測 等 任 務 ( Liu 和 Wang,2015;Eigen 和 Fergus,2015) ,并廣泛應用于 自動駕駛、農業監測、生物醫療、交通管理和災難 預測等領域。 如在醫學領域,醫學影像作為醫療 診斷的重要依據,相較于單角度描述病灶特征的 圖像,多模態醫療影像能有效輔助醫生從多個層 面聯合判斷病灶及其周邊部分,加快診斷時間;在 遙感領域,單傳感器依據設備特點從某種固定的 角度描述地理目標,獨立分析時會受到成像原理 限制,而對不同成像方式、不同傳感器獲取到的多 模態遙感影像進行分析,可以有效提取地物目標 的綜合信息。
圖 1 多模態數據受限解決方法及應用
盡管多模態數據在描述事物特征時有著明顯的 優勢,但目前仍面臨著較大的挑戰。 1)雖然成像技 術層出不窮,但其同步帶來的圖像、視頻數據的處 理和標注任務有著不容忽視的工作量,需要耗費 較多的時間成本和人力資源。 2)傳統深度學習模 型需要將多模態數據匹配成對用于研究,任一模 態的缺失都會造成可用數據的減少。 3)由于使用 目的是利用多模態互補的特性,因此對數據內部的 完整度要求較高,但受到不同成像設備和傳感器的 限制,數據量少、質量模糊和缺失現象嚴重,這些現 象都會對后續的研究造成不利影響。 因此,在數據 受限的前提下進行的多模態處理研究具有重要的現 實意義。 面對以上的難點問題,根據多模態樣本數量、標 注信息和樣本質量等不同的維度,目前處理多模態 數據受限的方法主要分為以下幾類:
1)小樣本學習方法。 在多模態數據不足的情 況下,小樣本學習方法僅通過學習少量樣本就能做 出正確判斷的認知能力,在數據量匱乏的情況下仍 能夠有效地學習目標特征。 2)缺乏強監督標注信息的方法。 由于數據標 注過程會產生高額的成本,較難獲取所有模態的全 部真值標簽對模型進行強監督學習。 常見的非完全 監督的方法有基于弱監督、無監督、半監督和自監督 的學習方法,這些方法可以有效改善模態缺乏標注 信息的問題,大大減少人工標注成本。 3)主動學習方法。 該類方法通過設計具有自 主學習能力的模型,將人類經驗與學習規則充分結 合,致力于研究如何使用標注盡可能少的樣本來獲 得盡可能較好的效果。 通過選擇最有用的樣本,可 以在保持性能的同時有效降低標注成本。 4)數據去噪方法。 在多模態數據的獲取和處 理的過程中,外界環境和設備內部因素都可能會引 入噪聲。 任何模態的數據受到噪聲污染都可能會影 響多模態數據處理的結果。 多模態數據去噪是指減 少數據中的噪聲,恢復原始數據,進而再提取感興趣 的信息。 5)數據增強。 在樣本較少的前提下,為進行有限 多模態數據的充分利用,數據增強方法通過對原始數 據集進行一系列變換操作,擴張數據的可使用性。
本文主要對數據受限下的多模態數據處理方法進行綜述。
已有研究者對相關領域進行了研究,在 多模態學習、小樣本學習、弱監督學習、主動學習、數 據去噪和增強等方面進行了深入研究。 Baltru?aitis 等人(2019)從整體的角度探討了多模態機器學習 的進展,并對多模態機器學習方法進行分類,但沒有 介紹具體的應用場景。 Wang 等人 (2020b)從網絡 架構的角度介紹了多模態模型,但沒有討論多模態 數據本身的特點。 Ramachandram 和 Taylor (2017) 對多模態深度學習現狀進行了總結,并提出網絡體 系結構的設計應該考慮融合模式、模態信息和對缺 失的數據或模態的處理,但沒有詳細綜述目前處理 缺失數據以提高模型的魯棒性的方法。 Gao 等人 (2020)總結了具有代表性的處理異構數據的深度 學習網絡架構,并認為一些深度學習模型只關注單 模態噪聲數據,未來迫切需要解決針對低質量多模 態數據的深度學習模型。 上述綜述缺乏對數據受限 條件下多模態數據發展的詳細介紹。 Wang 等人 (2021c)綜述了近年來小樣本學習方法的進展,并 進行統一分類。 Zhou 等人 (2019)綜述了弱監督學 習的一些研究進展。 Settles (2011)回顧了將主動學 習應用于實踐遇到的挑戰,并介紹為解決挑戰所做 的工作。 但上述文獻都僅基于單模態數據進行總 結,并沒有關注多模態數據背景問題。
針對在數據受限條件下多模態數據處理面臨的 各種挑戰和難題,已有研究者提供了一些解決思路, 但是尚未形成相關的綜述文獻。 因此,本文總結了 數據受限條件下多模態分析處理的研究方法和進 展,以及多模態數據在不同領域的應用情況。 首先 闡述了多模態數據在計算機視覺方向的研究現狀與 數據受限的難題挑戰,介紹了對不同數據受限情況 的處理方法,展示該研究的背景和目的。 然后分類 闡明不同數據受限處理方法的現狀與研究方法,區 分不同的受限情況所面臨的困難和挑戰。 最后對多 模態數據的各個應用領域的典型數據集進行介紹, 總結目前的研究成果,能夠啟發未來多模態的應用 前景,展望下一步研究方向。
**1 多模態數據的應用 **
首先介紹了多模態數據融合的方法,然后介紹 了多模態數據在計算機視覺領域常見的應用場景。
多模態數據檢測識別
圖像分類指的是計算機可以識別圖像所屬的 “類別”。 本質上是為圖像分配一個標簽,例如,“汽 車”、“動物”和“建筑”等。 在分類技術的基礎上延 伸出了目標檢測技術,它允許計算機在圖像或視頻 中識別和定位目標。 通過這種識別和定位,目標檢 測可以用來計算場景中的目標數量,確定并跟蹤它 們的精確位置,同時準確地標記。 檢測識別技術作 為計算機視覺中的重要技術,已經應用到如行人重 識別、場景識別和人體動作識別等多模態數據場景 下的任務中。
多模態圖像語義分割
圖像語義分割是指根據圖像的語義為其每個像 素分配類別標簽。 具體來說,在進行圖像分割的過 程中,每個像素歸類到某一個標簽下,歸屬于同一 標簽的像素在視覺特性上具有某些共同點。 同 樣,該技術也在如道路場景分割、醫學圖像分割和遙感圖像分割等多模態數據場景中得到了廣泛 應用。 多模態數據預測估計
在深度學習領域,預測估計是一個重要的應用 方向,經過訓練的深度學習模型可以根據輸入的數 據對當前或未來的某些狀態或參數進行估計或預 測。 在多模態數據預測估計領域,諸如單目深度估 計、3 維人體姿態估計和路徑規劃等技術都已經得 到了廣泛的應用。
2 多模態數據受限的處理方法
本文根據多模態樣本數量、標注信息和樣本質 量等不同的維度,將目前處理多模態數據受限的方 法主要分為小樣本學習方法、缺乏強監督信息的方 法、主動學習方法、數據去噪和數據增強方法。
**多模態數據集 **目前,在第 1 節提到的各個領域下的應用場景 對應的多模態數據集種類、數量繁多,本文按照數據 集的應用領域、數據集名稱、包含的模態、提出的年 份和其對應的應用場景等將這些領域常用的數據集 總結整理為如表 5 所示。
**4 結 語 **
多模態數據的處理和應用成為重點研究方向, 在情感分析、機器翻譯、自然語言處理和生物醫學等 前沿方向取得了重要突破。 國內外研究學者針對數 據受限條件下的多模態學習展開了大量研究。 本文 深入不同的數據受限形式,總結了計算機視覺領域 中數據受限下的多模態數據處理發展現狀。 此外, 基于以上分析,本文簡要介紹了多模態數據處理領 域未來仍需進一步研究的方向。
1)輕量級的多模態數據處理方法。 數據受限 條件下的多模態學習仍然存在模型應用于移動式設 備的挑戰性。 現有方法在融合多個模態的信息時, 普遍需要使用兩個及以上的網絡進行特征提取,進 而將特征進行融合,因此模型的參數量大、模型結構 復雜限制了其應用于移動式設備。 在未來工作中, 輕量化模型有待進一步研究。
2)通用的多模態智能處理模型。 現有多模態 數據處理方法多是為不同任務開發的不同算法,需 要在特定的任務上進行訓練。 這種針對特定任務的 訓練方法很大程度上增加了開發模型的成本,難以 滿足快速增長的應用場景的需求。 因此,針對不同 模態的數據,需要提出適合的通用感知模型,學習多 模態數據的通用表征,使得在不同的應用場景可以 共享通用模型的參數和特征。
3)知識與數據混合驅動的模型。 不同模態的 數據往往包含不同的特性,本文認為在進行多模態 數據處理時,除了使用多模態數據外,可以考慮引入 數據特性和知識,建立知識與數據混合驅動的模型, 增強模型的性能和可解釋性。
付費5元查看完整內容
相關內容
摘要： 隨著互聯網上多媒體數據的爆炸式增長,單一模態的檢索已經無法滿足用戶需求,跨模態檢索應運而生。跨模態檢索旨在以一種模態的數據去檢索另一種模態的相關數據,其核心任務是數據特征提取和不同模態間數據的相關性度量。文中梳理了跨模態檢索領域近期的研究進展,從傳統方法、深度學習方法、手工特征的哈希編碼方法以及深度學習的哈希編碼方法等角度歸納論述了跨模態檢索領域的研究成果。在此基礎上,對比分析了各類算法在跨模態檢索常用標準數據集上的性能。最后,分析了跨模態檢索研究存在的問題,并對該領域未來發展趨勢以及應用進行了展望。
付費5元查看完整內容
引言
深度學習已經實現了廣泛的應用，并在近年來變得越來越流行。多模態深度學習的目標是創建可以使用各種模態處理和鏈接信息的模型。單模態學習雖然得到了廣泛的發展，但還不能涵蓋人類學習的所有方面。多模態學習有助于更好地理解和分析不同感官參與信息處理的過程。本文著重于多種模態，即圖像、視頻、文本、音頻、身體手勢、面部表情和生理信號。本文詳細分析了過去和當前的基準方法，并對多模態深度學習應用的最新進展進行了深入研究。提出了多種多模態深度學習應用的細粒度分類，并對不同的應用進行了更深入的闡述。還討論了這些應用中使用的架構和數據集，以及它們的評估指標。最后，分別對各個領域的主要問題和未來可能的研究方向進行了重點分析。
//www.zhuanzhi.ai/paper/eaf89268e664a48119b223b0c86a7ed1
概述
機器學習(ML)是近年來研究的熱點。它已經在圖像識別、多媒體概念檢索、社會網絡分析、視頻推薦、文本挖掘等領域得到了廣泛的應用。深度學習(Deep Learning, DL)在這些應用中得到了廣泛的應用[117]。計算技術的指數級增長、不可思議的發展和數據可用性促成了DL研究的興起。DL的成功已經成為解決更復雜的ML問題的一個激勵因素。此外，DL的主要優點是它以分層的形式表示，即它可以通過一個通用的學習過程有效地學習。各種新的DL方法已經被開發出來，并在多個應用中顯示出令人印象深刻的結果，如視覺數據處理、自然語言處理(NLP)、語音和音頻處理，以及許多其他廣為人知的應用。多模態深度學習(Multimodal Deep learning, MMDL)是近年來隨著深度學習的發展而引起的重要研究方向。
我們對周圍事物的體驗是多模態的;我們能看到、聽到、觸摸、聞到和嘗到東西。捕獲對象的多個方面，以圖像、文本、視頻、圖形、聲音等不同媒體形式傳遞信息。模態指定存儲特定類型信息的表示格式。因此，上面提到的各種媒體形式都與模態有關，而這些多模態的共同表示可以定義為multimodal[47]。然而，對人類的全部方面進行建模是不夠的。單模態工作更好的地方，方法的進展需要在一個模式。多模態學習表明，當多種感官參與信息處理時，我們能更好地理解和分析。本文著重討論了各種各樣的模態，本文從MMDL的角度探討了多種模態，包括圖像、視頻、文本、音頻、肢體動作、面部表情和生理信號。MMDL的主要目標是構建一個能夠處理來自不同模式的信息并將其關聯起來的模型。
人工智能(AI)的未來已經被DL徹底改變。它解決了AI社區中存在多年的幾個復雜問題。對于MMDL，快速設計了各種具有不同學習框架的深度架構。機器開發出來了在其他應用領域，如自動駕駛汽車、圖像處理、醫療診斷和預測預測等，表現得與人類相似，甚至更好[129]。MMDL的最新進展和發展趨勢包括視聽語音識別(AVSR)[173]、多模態情感識別[26]、圖像和視頻字幕[58,89]、視覺問答(VQA)[161]、多媒體檢索[134]等.
在本研究中，我們討論了多模態深度學習的最新進展和趨勢。各種DL模型被劃分為不同的應用程序組，并使用多種媒體進行了詳盡的解釋。本文重點介紹了使用圖像、音頻、視頻、文本、身體姿勢、面部表情和生理信號等多種形式的應用，并與之前的相關調查進行了比較。提出了一種新的多模式DL應用的細粒度分類方法。此外，還提供了在這些MMDL應用中使用的體系結構、數據集和評估指標的簡要討論。最后，針對每一組應用分別提出了有待解決的研究問題，并詳細列出了未來可能的研究方向。我們希望我們提出的分類和研究方向將促進未來多模態深度學習的研究，并有助于更好地理解這一特定領域尚未解決的問題。
付費5元查看完整內容
摘要： 圖像描述生成結合了計算機視覺和自然語言處理2個研究領域，不僅要求完備的圖像語義理解，還要求復雜的自然語言表達，是進一步研究符合人類感知的視覺智能的關鍵任務．對圖像描述生成的研究進展做了回顧．首先，歸納分析了當前基于深度學習的圖像描述生成方法涉及的5個關鍵技術，包括整體架構、學習策略、特征映射、語言模型和注意機制．然后，按照發展進程將現有的圖像描述生成方法分為4大類，即基于模板的方法、基于檢索的方法、基于編碼器-解碼器架構的方法和基于復合架構的方法，并闡述了各類方法的基本概念、代表性方法和研究現狀，重點討論了基于編碼器-解碼器架構的各種方法及其創新思路，如多模態空間、視覺空間、語義空間、注意機制、模型優化等．接著，從實驗的角度給出圖像描述生成的常用數據集和評估措施，并在2個基準數據集上比較了一些典型方法的性能．最后，以提升圖像描述的準確性、完整性、新穎性、多樣性為依據，展示了圖像描述生成的未來發展趨勢.
隨著互聯網與信息技術的發展，多媒體數據呈現 爆炸性增長的趨勢，從各種信息源（如網絡、新聞、 相機等）上可獲得的圖像數據越來越多．由于圖像數 據具有海量特性和非結構化特性，如何快速有效的組 織、存儲和檢索圖像，成為重要的研究課題，而完備 的圖像語義理解則是其中的關鍵問題[1]．盡管從信息 源上獲取的大多數圖像并沒有對應的語義描述，但人 類仍然能夠在很大程度上理解它們．也就是說，人類 很容易就能完成涉及復雜視覺識別以及場景理解的 各種任務、涉及自然語言交流的各種任務以及 2 種模 態之間的轉換任務．例如，只需快速瀏覽圖像就足以 讓人指出并描述關于視覺場景的大量細節，而這對于 機器來說目前仍然是難以完成的任務．為了實現圖像 數據的結構化和半結構化，從語義上更完備地理解圖 像數據，從而進一步研究更符合人類感知的視覺智 能，迫切需要機器能夠為給定圖像自動地生成自然語 言描述．
計算機視覺研究如何理解圖像和視頻，而自然語 言處理研究如何分析和生成文本．盡管這 2 個領域的 研究都采用類似的人工智能和機器學習方法，但在很 長一段時間里它們都是各自發展而很少交叉．近幾 年，結合視覺和語言的跨模態問題受到了廣泛關 注．事實上，許多日常生活中的任務都具有這種跨模 態的特性．例如，看報紙時解釋圖片的上下文信息， 聽報告時為理解講話而搭配圖表，網頁上提供大量結 合視覺信息和自然語言的數據（帶標簽的照片、新聞 里的圖片視頻、具有多模態性質的社交媒體）等．為 完成結合視覺和語言的任務并充分利用多模態數據， 計算機視覺和自然語言處理 2 個領域的聯系越來越 緊密． 在這個新的視覺和語言交叉的研究領域中，圖像 描述生成是個重要的任務，該任務包括獲取圖像信 息、分析其視覺內容、生成文本描述以說明圖像中的 顯著物體和行為等步驟[2-5]．圖 1 給出了幾個根據圖 像內容生成描述語句的實例．
付費5元查看完整內容
【導讀】辭九迎零，我們迎來2020，到下一個十年。在2019年機器學習領域繼續快速發展，元學習、遷移學習、小樣本學習、深度學習理論等取得很多進展。在此，專知小編整理這一年這些研究熱點主題的綜述進展，共十篇，了解當下，方能向前。
1、A guide to deep learning in healthcare（醫療深度學習技術指南）
斯坦福&谷歌Jeff Dean最新Nature論文：醫療深度學習技術指南（29頁綜述）
Google 斯坦福 Nature Medicine
作者：Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean
摘要：我們介紹了醫療保健的深度學習技術，重點討論了計算機視覺、自然語言處理、強化學習和廣義方法的深度學習。我們將描述這些計算技術如何影響醫學的幾個關鍵領域，并探討如何構建端到端系統。我們對計算機視覺的討論主要集中在醫學成像上，我們描述了自然語言處理在電子健康記錄數據等領域的應用。同樣，在機器人輔助手術的背景下討論了強化學習，并綜述了基因組學的廣義深度學習方法。
網址：
//www.nature.com/articles/s41591-018-0316-z
2、Multimodal Machine Learning: A Survey and Taxonomy（多模態機器學習）
人工智能頂刊TPAMI2019最新《多模態機器學習綜述》
CMU TPAMI
作者：Tadas Baltru?aitis,Chaitanya Ahuja,Louis-Philippe Morency
摘要：我們對世界的體驗是多模態的 - 我們看到物體，聽到聲音，感覺質地，聞到異味和味道。情態是指某種事物發生或經歷的方式，并且當研究問題包括多種這樣的形式時，研究問題被描述為多模式。為了使人工智能在理解我們周圍的世界方面取得進展，它需要能夠將這種多模態信號一起解釋。多模態機器學習旨在構建可以處理和關聯來自多種模態的信息的模型。這是一個充滿活力的多學科領域，具有越來越重要的意義和非凡的潛力。本文不是關注特定的多模態應用，而是研究多模態機器學習本身的最新進展。我們超越了典型的早期和晚期融合分類，并確定了多模式機器學習所面臨的更廣泛的挑戰，即：表示，翻譯，對齊，融合和共同學習。這種新的分類法將使研究人員能夠更好地了解該領域的狀況，并確定未來研究的方向。
網址：
3、Few-shot Learning: A Survey（小樣本學習）
《小樣本學習(Few-shot learning)》最新41頁綜述論文，來自港科大和第四范式
香港科大 第四范式
作者：Yaqing Wang,Quanming Yao
摘要：“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。盡管最近的人工智能在許多數據密集型應用中取得了成功，但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題，我們必須求助于機器學習，它支持人工智能的科學研究。特別地，在這種情況下，有一個機器學習問題稱為小樣本學習(Few-Shot Learning，FSL)。該方法利用先驗知識，可以快速地推廣到有限監督經驗的新任務中，通過推廣和類比，模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能，是一種減少繁重的數據收集和計算成本高昂的培訓的方法，也是罕見案例學習有效方式。隨著FSL研究的廣泛開展，我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題，將問題從“如何解決FSL”轉變為“如何處理核心問題”。因此，從FSL誕生到最近發表的作品都被歸為一個統一的類別，并對不同類別的優缺點進行了深入的討論。最后，我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向，希望為初學者和有經驗的研究者提供一些見解。
網址：
4、meta Learning: A Survey（元學習）
元學習(Meta-Learning) 綜述及五篇頂會論文推薦
作者：Joaquin Vanschoren
摘要：元學習，或學習學習，是一門系統地觀察不同機器學習方法如何在廣泛的學習任務中執行的科學，然后從這種經驗或元數據中學習，以比其他方法更快的速度學習新任務。這不僅極大地加快和改進了機器學習管道或神經體系結構的設計，還允許我們用以數據驅動方式學習的新方法取代手工設計的算法。在本文中，我們將概述這一迷人且不斷發展的領域的最新進展。
網址：
5、A Comprehensive Survey on Transfer Learning（遷移學習）
中科院發布最新遷移學習綜述論文，帶你全面了解40種遷移學習方法
作者：Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He
摘要：遷移學習的目的是通過遷移包含在不同但相關的源域中的知識來提高目標學習者在目標域上的學習表現。這樣，可以減少對大量目標域數據的依賴，以構建目標學習者。由于其廣泛的應用前景，遷移學習已經成為機器學習中一個熱門和有前途的領域。雖然已經有一些關于遷移學習的有價值的和令人印象深刻的綜述，但這些綜述介紹的方法相對孤立，缺乏遷移學習的最新進展。隨著遷移學習領域的迅速擴大，對相關研究進行全面的回顧既有必要也有挑戰。本文試圖將已有的遷移學習研究進行梳理使其系統化，并對遷移學習的機制和策略進行全面的歸納和解讀，幫助讀者更好地了解當前的研究現狀和思路。與以往的文章不同，本文從數據和模型的角度對40多種具有代表性的遷移學習方法進行了綜述。還簡要介紹了遷移學習的應用。為了展示不同遷移學習模型的性能，我們使用了20種有代表性的遷移學習模型進行實驗。這些模型是在三個不同的數據集上執行的，即Amazon Reviews，Reuters-21578和Office-31。實驗結果表明，在實際應用中選擇合適的遷移學習模型是非常重要的。。
網址：
6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications（多模態智能論文綜述：表示學習，信息融合與應用） 【IEEE Fellow何曉東&鄧力】多模態智能論文綜述：表示學習，信息融合與應用，259篇文獻帶你了解AI熱點技術
京東
作者：Chao Zhang,Zichao Yang,Xiaodong He,Li Deng
【摘要】自2010年以來，深度學習已經使語音識別、圖像識別和自然語言處理發生了革命性的變化，每種方法在輸入信號中都只涉及一種模態。然而，人工智能的許多應用涉及到多種模態。因此，研究跨多種模態的建模和學習的更困難和更復雜的問題具有廣泛的意義。本文對多模態智能的模型和學習方法進行了技術綜述。視覺與自然語言的結合已成為計算機視覺和自然語言處理研究的一個重要領域。本文從學習多模態表示、多模態信號在不同層次上的融合以及多模態應用三個新角度對多模態深度學習的最新研究成果進行了綜合分析。在多模態表示學習中，我們回顧了嵌入的關鍵概念，將多模態信號統一到同一個向量空間中，從而實現了多模態信號的交叉處理。我們還回顧了許多類型的嵌入的性質，構造和學習的一般下游任務。在多模態融合方面，本文著重介紹了用于集成單模態信號表示的特殊結構。在應用方面，涵蓋了當前文獻中廣泛關注的選定領域，包括標題生成、文本到圖像生成和可視化問題回答。我們相信這項綜述可促進未來多模態智能的研究。
網址：
7、Object Detection in 20 Years: A Survey（目標檢測）
密歇根大學40頁《20年目標檢測綜述》最新論文，帶你全面了解目標檢測方法
作者：Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye
摘要：目標檢測作為計算機視覺中最基本、最具挑戰性的問題之一，近年來受到了廣泛的關注。它在過去二十年的發展可以說是計算機視覺歷史的縮影。如果我們把今天的目標檢測看作是深度學習力量下的一種技術美學，那么讓時光倒流20年，我們將見證冷兵器時代的智慧。本文從目標檢測技術發展的角度，對近四分之一世紀(20世紀90年代至2019年)的400余篇論文進行了廣泛的回顧。本文涵蓋了許多主題，包括歷史上的里程碑檢測器、檢測數據集、度量、檢測系統的基本構建模塊、加速技術以及最新的檢測方法。本文還綜述了行人檢測、人臉檢測、文本檢測等重要的檢測應用，并對其面臨的挑戰以及近年來的技術進步進行了深入分析。
網址：
8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications（中文知識圖譜）
作者：Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang
摘要：隨著智能技術的不斷發展，作為人工智能支柱的知識圖譜以其強大的知識表示和推理能力受到了學術界和產業界的廣泛關注。近年來，知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。構建中文知識圖譜的技術也在迅速發展，不同的中文知識圖譜以支持不同的應用。同時，我國在知識圖譜開發方面積累的經驗對非英語知識圖譜的開發也有很好的借鑒意義。本文旨在介紹中文知識圖譜的構建技術及其應用，然后介紹了典型的中文知識圖譜，此外我們介紹了構建中文知識圖譜的技術細節，并介紹了了中文知識圖譜的幾種應用。
網址：
9、Advances and Open Problems in Federated Learning（聯邦學習）
【重磅】聯邦學習FL進展與開放問題萬字綜述論文，58位學者25家機構聯合出品，105頁pdf438篇文獻
摘要：聯邦學習(FL)是一種機器學習設置，在這種設置中，許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型，同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則，可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下，本文討論了近年來的進展，并提出了大量的開放問題和挑戰。
網址：
10、Optimization for deep learning: theory and algorithms（深度學習優化理論算法）
【2019年末硬貨】深度學習的最優化:理論和算法綜述論文，60頁pdf257篇文獻
摘要：什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然后討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。
網址：
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191