亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

結構蛋白質組學以研究蛋白質和蛋白質復合物的結構-功能關系為重點，近年來發展迅速。自21世紀初以來，蛋白質數據庫(Protein Data Bank)等結構數據庫存儲了越來越多的蛋白質結構數據，模型結構也越來越可用。結合基于圖的機器學習模型的最新進展，這使得在預測模型中使用蛋白質結構數據成為可能，目標是創建工具，以促進我們對蛋白質功能的理解。與目前快速發展的分子圖使用圖學習工具類似，在蛋白質結構上使用圖學習方法的趨勢也越來越大。在這篇簡短的綜述論文中，我們調研了在蛋白質上使用圖學習技術的研究，并檢驗了它們的成功和不足，同時也討論了未來的方向。

蛋白質是我們體內所有細胞的基石。雖然DNA分子擁有生命所必需的所有信息，但卻是蛋白質執行遺傳物質[1]的編碼。蛋白質的功能在很大程度上取決于其三維構象，了解蛋白質的三級結構是了解其功能[2]的基本前提。雖然有許多專門的蛋白質結構數據庫[3,4]，但蛋白質數據庫(protein Data Bank, PDB)是事實上國際公認的存儲實驗確定的3D蛋白質結構[5]的數據庫。在過去的二十年中，我們已經看到PDB[6]中沉積的蛋白質結構有了顯著的增加，[7]領域的科學家對其使用也有了增加。此外，由于Alphafold[8,9]模型在從其氨基酸序列預測蛋白質結構方面的成功，最近創建了一個大型數據庫，其中包含幾乎整個人類蛋白質組[10]的模型結構。

與生物領域中結構化數據的增長并行的是，新型機器學習(ML)和深度學習(DL)方法正在開發中，它們可以利用大量數據來實現高預測性能[11,12]。在過去的幾年中，為了從復雜的結構數據中學習，特別是在結構組件較強的任務中，越來越多的人努力將DL技術擴展到幾何領域。因此，我們創建了傘形術語幾何深度學習，包括這些技術[13]，其中一個子集包括用于建模網絡關系、數據誘導相似性以及3D形狀[13]的圖學習模型。基于圖的學習方法受到了好評，并在基準網絡數據集上取得了巨大的成果，因此，鼓勵研究人員在不同的領域和應用中使用這些方法。基于圖的模型已經被用于推薦系統、社交網絡、材料研究等[14]。圖學習模型也被應用于生物領域，最近在生物相關領域取得的成功之一是分子圖學習，這是一個用圖學習模型預測分子生化性質的分支領域。這一領域的進展使得開發了更專門提取/使用分子結構信息[15]的分子特異性圖模型，并推動了整個圖學習領域以及[16]的發展。

**鑒于蛋白質結構數據的增加和圖學習方法的成功，在結構蛋白質組學領域使用圖學習模型的研究自然會出現。這次簡短回顧的目的是:提供基于蛋白質圖表示的相關工作。介紹圖表示學習(GRL)領域，并探討其在結構蛋白質組學中的潛在應用。報告研究在六個不同的蛋白質組學任務類別，圖學習模型已成功使用。

深度學習是人工智能的一個分支學科，它使用一種名為人工神經網絡的機器學習技術，從大型數據集中提取模式并做出預測。深度學習在醫療保健領域的日益普及，以及高度特征的癌癥數據集的可用性，加速了深度學習在復雜癌癥生物學分析中的應用研究。雖然早期的結果很有希望，但這是一個快速發展的領域，癌癥生物學和深度學習領域都出現了新知識。在這篇綜述中，我們概述了新興的深度學習技術以及它們是如何應用于腫瘤學的。我們專注于組學數據類型的深度學習應用，包括基因組、甲基化和轉錄組數據，以及基于組織病理學的基因組推斷，并提供了如何集成不同數據類型以開發決策支持工具的觀點。我們提供了具體的例子，如何深度學習可以應用于癌癥診斷，預后和治療管理。我們還評估了深度學習在精確腫瘤學中的應用目前的局限性和挑戰，包括缺乏表型豐富的數據和需要更多解釋的深度學習模型。最后，我們討論了如何克服目前的障礙，從而使深度學習在未來的臨床應用成為可能。

人工智能(AI)包含多種技術，其共同目標是計算模擬人類智能。機器學習(ML)是人工智能的一個分支，專注于通過使用數學算法識別數據中的模式來進行預測。深度學習(DL)是ML的一個亞組，專注于利用受大腦神經結構啟發的多層神經網絡算法進行預測。與其他ML方法(如邏輯回歸)相比，DL的神經網絡架構使模型能夠隨著數據[1]的數量和維數的增長呈指數級伸縮。這使得DL特別適用于解決復雜的計算問題，如大規模圖像分類、自然語言處理、語音識別和翻譯[1]。

由于包括基因組、轉錄組和組織病理學數據在內的多種數據類型的可用性和整合性不斷增加，癌癥護理正在向精準醫療轉變(圖1)。用于轉化研究或臨床任務的多種高維數據類型的使用和解釋需要大量的時間和專業知識。此外，多個數據類型的集成比單個數據類型的解釋更占用資源，并且需要能夠從大量復雜特征中學習的建模算法。使用ML算法來自動化這些任務并幫助癌癥檢測(識別癌癥的存在)和診斷(表征癌癥)已經變得越來越普遍[2,3]。令人興奮的是，DL模型有潛力利用這種復雜性來提供有意義的見解，并從多種數據類型中識別相關的粒度特征[4,5]。本文綜述了深度學習在癌癥診斷、預后和治療選擇方面的最新應用。我們專注于組學和組織病理學數據的DL應用，以及多種數據類型的集成。我們提供了一個簡短的介紹新興DL方法相關的應用程序涵蓋在這一綜述。接下來，我們將討論DL在腫瘤學中的具體應用，包括腫瘤起源檢測、分子亞型鑒定、預后和生存能力預測、基因組性狀的組織學推斷、腫瘤微環境分析以及未來在空間轉錄組學、宏基因組學和藥物基因組學中的應用。我們總結了目前的挑戰和潛在的策略，使DL在臨床環境中常規應用。

//pubmed.ncbi.nlm.nih.gov/34579788/

圖像配準是圖像引導手術、圖像融合、器官圖譜生成、腫瘤和骨骼生長監測等臨床任務應用的關鍵技術，也是一個極具挑戰性的問題。近年來，深度學習技術對醫學圖像處理方法的研究產生重要的影響，在醫學圖像配準領域發展迅速。來自美國辛辛那提兒童醫院醫療中心等發布了**《深度學習醫學圖像配準》**綜述，闡述了相關進展。

圖像配準是各種醫學圖像分析應用中的一個重要組成部分。近年來，基于深度學習(DL)的醫學圖像配準模型發展迅速。本文對醫學圖像配準技術進行了綜述。首先，討論了監督配準的分類，如完全監督配準、雙重監督配準和弱監督配準。接下來，基于相似度和基于生成對抗網絡(GAN)的配準被提出作為無監督配準的一部分。然后描述了深度迭代配準，重點是基于深度相似度和基于強化學習的配準。此外，對醫學圖像配準的應用領域進行了綜述。本文主要綜述單模態和多模態配準及其相關成像，如X線、CT掃描、超聲和MRI。本綜述強調了現有的挑戰，其中顯示，一個主要挑戰是缺乏具有已知轉換的訓練數據集。最后，討論了基于深度學習的醫學圖像配準的未來研究方向。

//www.zhuanzhi.ai/paper/1fb1db2059362b38007d8e59df7d6f61

引言

使用圖像配準，可以將不同的圖像集合合并到一個具有相同信息的單一坐標系中。當比較從不同角度多次拍攝的兩幅圖像或使用不同的模態/傳感器時，可能需要配準[1,2]。直到最近，大多數圖像配準都是由醫生手工完成的。人工對齊在很大程度上依賴于用戶的能力，這在臨床上可能不利于某些配準程序的質量。自動配準的產生是為了克服一些可能的缺點手動圖像配準。DL的復興改變了圖像配準研究的背景[3]，盡管事實上各種自動圖像配準方法已經被深入研究之前(和期間)。DL[4]使最近的工作在廣泛的計算機視覺任務中得以表現，包括但不限于: 圖像分類[4]，分割[5]，特征提取[6-8]，以及目標識別[9]。作為一個起點，DL在增強基于強度的配準性能方面被證明是有用的。這只是時間問題，直到其他研究人員看到使用強化學習的配準過程的應用[10-12]。由于獲取/創建地面真實數據的困難，人們對開發用于一步轉換估計的無監督框架越來越感興趣[13,14]。圖像相似度量化是這一范式中的一個眾所周知的障礙。應用基于信息理論的相似性度量[13]、生成對抗網絡(GAN)框架[16]和解剖特征分割[17]來解決這一難題，取得了良好的效果。

傳統的圖像配準是一個基于迭代的過程，包括收集必要的特征，確定相似度(以評估配準質量)，選擇變換模型，最后是搜索機制[18,149,153]。可以發送到系統的圖片有兩種: 移動和固定，如圖1所示。通過在靜止圖像上反復滑動移動圖像，可以獲得最佳對齊。考慮的相似性度量最初決定了輸入的照片之間的相似度。計算新轉換的參數是通過使用更新機制的優化方法完成的。通過將這些因素作用于運動圖像，就產生了具有改進對齊的圖像。否則，將開始一個新的算法迭代。如果滿足終止要求，則流程結束。直到不能再獲得配準或滿足一定的預定要求，運動圖像才會在每一個循環中改善與靜止圖像的對應關系。該系統的輸出既可以是變換參數，也可以是最終的插值融合圖像。

一個用于醫學圖像的圖像配準框架流程圖

有必要對使用DL的醫學圖像配準領域進行徹底的調研，突出專家面臨的常見問題，并討論可以解決這些挑戰的即將到來的研究可能性。它是一種利用多層神經網絡(NN)來學習數據描述的機器學習(ML)。許多不同種類的神經網絡可以用于不同的目的，最近已經開發出一些重要的設計來解決工程挑戰。在討論神經網絡時，也可以討論許多神經網絡的訓練過程。關于神經網絡類型、訓練范式、網絡結構以及方法的章節構成了DL的介紹。PyTorch[19]、Caffe[20]、Keras[21]、MXNet[22]和TensorFlow[23]都是可用于創建網絡的公共訪問庫。現有的文獻主要集中在醫學圖像分析中使用DL、reinforcement learning和GANs進行醫學圖像分析。

本文綜合回顧了現有文獻中基于離散域的圖像配準的研究進展。本文著重從方法和功能的角度對其創新進行了綜述。本文研究了不同形式的配準，包括無監督和監督變換估計，以及深度迭代配準。討論了當前圖像配準的趨勢、挑戰和局限性。最后，本文對未來的研究方向進行了展望。

監督配準模型

對于深度學習模型，監督訓練是各種配準模型的共同基礎。根據在訓練階段中使用的監督程度，有三個子類別的模型: 完全監督、雙重監督和弱監督。完全監督配準利用傳統配準算法中的真DVFs來監督學習過程。這些損失通常是由于地面真實值和預期SVF不匹配造成的，如圖2所示。弱監督配準使用隱式參考標簽，而不是使用廣泛使用的解剖輪廓參考DVF，如圖2所示。經常使用兩種以上的參考數據來訓練雙監督配準模型。這包括解剖結構輪廓、參考SVF以及圖像相似性。

弱監督和完全監督配準模型的示例工作圖

盡管為了解決有監督圖像配準的信息或數據稀缺問題，人們采取了許多策略(如弱監督和數據增強)[43-47]，但訓練樣本的創建仍然是一個耗時的過程。由于移動和固定的圖像配對是DL模型需要學習的所有變形，無監督配準是一種方法。表1提供了這個子類別的概述。在這一類別的訓練中仍然需要一個可與傳統迭代配準中使用的損失函數。一個DVF正則化項和一個圖像相似項和通常包括在損失函數中。由于固有卷積的性質，一些相似性度量，即局部NCC (LNCC)，被改變為專注于微小斑塊。可以引入各種損失項，如防止過擬合的同一性損失和減少奇異性的循環一致性損失。

基于(a) GAN和(b)相似矩陣的醫學圖像配準通用框架

各種醫學圖像配準通用框架

本文綜述了近年來在醫學圖像配準方面的研究進展。由于每個應用程序都有不同的問題，因此有必要謹慎地開發DL框架。多模態圖像配準，比如涉及TRUS和MRI的配準，也面臨著類似的挑戰，比如無法在多模態應用中使用穩健的相似性度量，缺乏大型數據集，難以獲得地面真實值配準和分割，以及量化模型的偏好。(36、37)。解決這些問題的常用方法包括補丁式框架、應用程序特定的相似性度量、注冊框架和受變分自動編碼器影響的無監督技術。插值和重采樣，盡管在本文中描述的許多方法復雜，通常不是由神經網絡學習。隨著該領域的成熟，我們預計會有更多的學者將這些組件包含到他們基于深度學習的解決方案中。每種策略都有自己的優點和局限性，但比較這兩種策略的研究人員總數大致相同。在這兩個領域，我們預計會出現更多結合這兩種策略的好處的研究和新方法。我們預測在這兩類中還會有進一步的研究。

隨著遙感(RS)技術的飛速發展，大量具有復雜的異質的地觀(EO)數據的出現，使得研究人員有機會以一種全新的方式處理當前的地球科學應用。近年來，隨著地觀數據的聯合利用，多模態遙感數據融合的研究取得了巨大的進展，但由于缺乏對這些強異構數據的綜合分析和解釋能力，這些已開發的傳統算法不可避免地遇到了性能瓶頸。因此，這一不可忽視的局限性進一步引發了對具有強大加工能力的替代工具的強烈需求。深度學習(Deep learning, DL)作為一項前沿技術，憑借其出色的數據表示和重構能力，在眾多計算機視覺任務中取得了顯著的突破。自然，該方法已成功應用于多模態遙感數據融合領域，與傳統方法相比有了很大的改進。本研究旨在對基于深度學習的多模態遙感數據融合進行系統的綜述。更具體地說，首先給出了關于這個主題的一些基本知識。隨后，通過文獻調研分析了該領域的發展趨勢。從擬融合數據模態的角度，綜述了多模態遙感數據融合中的一些流行子領域，即空間光譜、時空、光探測和測距光學。從融合數據模態的角度，綜述了多模態遙感數據融合的幾個子領域，即空間光譜、時空、光探測與測距-光學、合成孔徑雷達-光學、RS-地理空間大數據融合。在此基礎上，對多模態遙感數據融合技術的發展進行了有益的總結。最后，強調了剩余的挑戰和潛在的未來方向。

引言

由于RS在觀測地球環境方面的優勢，在各種EO任務中發揮著越來越重要的作用(Hong et al., 2021b; Zhang et al., 2019a)。隨著多模態RS數據的可用性不斷增加，研究人員可以方便地訪問這些數據，這適合于現有的應用。盡管有大量的多模態數據可用，但每個模態幾乎不能捕捉到一個或幾個特定的屬性，因此不能完全描述觀測到的場景，這對后續應用造成了很大的限制。自然，多模態遙感數據融合是突破單模態數據困境的一條可行途徑。通過整合從多模態數據中提取的互補信息，可以在許多任務中做出更穩健可靠的決策，如變化檢測、LULC分類等。與多源、多時相遙感不同，“模態”一詞一直缺乏明確、統一的定義。

基于深度學習的多模態遙感數據融合

本文在前人研究(G′omez-Chova et al., 2015; Dalla Mura et al., 2015)。遙感數據的主要特征有兩個主要因素，即傳感器的技術規格和實際采集條件。具體來說，前者決定了產品的內部特征，如成像機理和空間、光譜、輻射、時間等領域的分辨率。后者控制外部屬性，如采集時間、觀測角度、安裝平臺等。因此，上述因素有助于描述所捕獲的場景，可以被描述為“模態”。顯然，多模態遙感數據融合包括多源數據融合和多時數據融合。

一些典型的RS模態包括Pan、MS、HS、LiDAR、SAR、紅外、夜間燈光和衛星視頻數據。最近，GBD作為RS家族的新成員，在EO任務中受到越來越多的關注。為了整合這些模態提供的互補信息，傳統方法已經被深入研究，基于領域特定知識設計手工特征和利用粗糙融合策略，這不可避免地削弱了融合性能，特別是對于異構數據(Hong et al., 2021a)。隨著人工智能的發展，數字學習通過自適應的自動實現特征提取和融合，在為輸入和輸出數據之間的復雜關系建模方面顯示出巨大的潛力。因此，本文將重點介紹在每個融合子領域提出的方法，并簡要介紹每個模態和相關任務。 目前，有一些關于多模態數據融合的文獻綜述，根據不同的模態融合，綜述如表2所示。現有文獻對多模態遙感數據融合的發展方向關注較少，或只涉及少數子領域，缺乏對這一主題的全面、系統的描述。本研究的目的是全面回顧基于數據挖掘的多模態遙感數據融合研究的熱點領域，進一步推動和促進這一新興領域的相關研究。第二節收集和分析了與本課題相關的文獻，第三節闡述了多模態RS數據融合的代表性子領域。在第四節中，給出了一些有用的教程、數據集和代碼。最后，第五節提供了關于挑戰和前景的評論。為方便讀者，表1列出了本文使用的主要縮寫。

本文將現有的融合方法分為兩大類，即同質融合和異質融合。同質融合包括pansharpening、HS pansharpening、HS- ms和時空融合，異構融合包括HS-optical融合、SAR-optical融合和RS-GBD融合。由于上述子領域的發展差異很大，因此采用不同的標準來引入每個子領域，如圖5所示。為了方便讀者，我們還在每個方向列出了一些經典文獻。

日益增多的多模態遙感數據對地觀任務既是挑戰，也是機遇。近年來，雙方共同利用優勢互補的特點，取得了重大突破。特別是與人工智能相關的技術，由于其在特征提取方面的優勢，已經顯示出其相對于傳統方法的優勢。在上述遙感大數據和前沿工具的推動下，基于深度學習的遙感多模態數據融合成為遙感領域的一個重要課題。因此，本文對這一快速發展的研究領域進行了全面的介紹，包括文獻分析、系統總結了遙感融合研究的幾個主要子領域、現有的研究資源，并對未來的發展進行了展望。具體來說，我們重點研究了第二部分，即不同融合子領域中基于深度學習的方法，并從使用的模型、任務和數據類型等方面進行了詳細的研究。最后，令人鼓舞的是，近年來DL已經應用到多模態遙感數據融合的各個領域，并取得了巨大而有前景的成果，這為研究者今后進行深入研究提供了更多的信心。

摘要

生物醫學數據收集的最新進展允許收集大量數據集，測量數千到數百萬個單細胞中的數千個特征。這些數據有可能以以前不可能的分辨率推進我們對生物機制的理解。然而，了解這種規模和類型數據的方法很少。盡管神經網絡在監督學習問題上取得了巨大進步，但要使它們對更難表示監督的數據中的發現成為有用，還有很多工作要做。神經網絡的靈活性和表現力有時會成為這些監督較少的領域障礙，從生物醫學數據中提取知識就是這種情況。在生物數據中更常見的一種先驗知識以幾何約束的形式出現。

在本論文中，我們旨在利用這些幾何知識來創建可擴展和可解釋的模型來理解這些數據。將幾何先驗編碼到神經網絡和圖模型中，使我們能夠描述模型的解決方案，因為它們與圖信號處理和最優傳輸領域相關。這些鏈接使我們能夠理解和解釋這種數據類型。我們將這項工作分為三個部分。第一個借用圖信號處理的概念，通過約束和結構化架構來構建更具可解釋性和性能的神經網絡。第二個借鑒了最優傳輸理論，有效地進行異常檢測和軌跡推斷，并有理論保證。第三個研究如何比較基礎流形上的分布，這可用于了解不同的擾動或條件之間的關系。為此，我們設計了一種基于聯合細胞圖上擴散的最佳傳輸的有效近似。總之，這些工作利用我們對數據幾何的先前理解來創建更有用的數據模型。我們將這些方法應用于分子圖、圖像、單細胞測序和健康記錄數據。

引言

數據分析領域在不斷變化。有人問是否會有一天我們不再需要新算法，數據分析領域就像從現成的工具中挑選合適的工具并將其應用于一些新數據一樣簡單。答案當然是否定的，只要數據、計算機或問題不斷變化，我們將始終需要新的算法和方法。

數據生成、處理和存儲方面的進步為我們提供了前所未有的從這些數據中學習的能力。在某些領域，幾何數據分析領域試圖利用點之間的局部關系來理解數據。

隨著廉價測序技術的出現，單細胞數據分析領域直到最近才成為可能，使我們能夠同時測量單個細胞的許多特征。這導致來自底層連續流形的非常高維和嘈雜的數據集。這種對數據生成過程的假設是整個工作中的一個共同主題，我們將看到其他先驗知識開始發揮作用，這些先驗最好使用一種或另一種文獻進行描述。

本論文從第 2 章中對圖信號處理、深度學習和最優傳輸的概述開始。雖然這些領域是從不同的文獻中發展而來的，但每個領域都試圖理解從一些基礎度量空間中采樣的點或點的分布如何相互關聯。在本論文中，我們融合了來自這些領域的想法，以深入了解生物醫學數據，重點關注單細胞轉錄組數據以及其他圖形和圖像數據集。這些數據類型的共同點是它們要么在圖數據集中具有點之間的一些內在關系，要么假設是從一些可以在本地表示的底層低維流形中采樣的。

本論文分為三個部分，第一部分側重于融合深度學習和圖信號處理，通過借鑒圖信號處理的思想來制作更具可解釋性的深度學習組件，并借鑒深度學習的思想來制作從圖信號開發性能更高的固有可解釋模型加工。第二部分融合了深度學習和最優傳輸，以創建具有可解釋屬性的深度學習模型。最后，在第三部分中，我們將其完整循環，將最優傳輸和圖形信號處理相結合，以一種基于嵌入的快速方法來優化從底層流形采樣的點的傳輸。這種基于嵌入的方法使我們能夠快速逼近許多分布之間的 Wasserstein 距離，而無需解決成對優化問題。

在第 3 章中，我們首先使用來自圖信號處理的思想提出了一種更具可解釋性的深度學習架構。一層中的神經元在排列下是無序的和等效的，因此從Run-to-Run可能很難找到負責特定功能的神經元。我們通過在給定神經網絡層中的神經元之間施加圖結構來向層添加結構。這導致更多可重復和可解釋的層，其中神經元將通過打破標準架構中權重對稱性而不降低表達性，基于圖結構從Run-to-Run執行相同的功能。

在第 4 章中，我們將深度學習的思想引入幾何散射。先前的工作表明，幾何散射在性能方面與從深度學習文獻中開發的當前圖神經網絡架構具有競爭力 [73]，但對新數據不那么靈活，依賴于許多固定參數。在本章中，我們研究了更靈活的幾何散射網絡的好處，我們稱之為可學習幾何散射（LEGS），它允許我們學習固定的散射參數。我們表明這在生物醫學圖中特別有用，其中有各種各樣的圖，從小型密集連接圖到大型稀疏連接圖。事實證明，LEGS 的額外靈活性有助于適應這些不同的數據類型。

在第 5 章中，我們將來自最優傳輸的想法應用于無監督異常檢測問題。這里的目標是給定一個正常點的訓練樣本，建立一個可以檢測異常點的模型。例如，在給定一組狗圖像的圖像中，檢測測試集中的貓。一般來說，這個問題是使用基于重建的方法來解決的，訓練一個容量有限的模型來重建訓練集，然后根據這個模型重建它們的好壞對測試圖像進??行評分，這個想法是模型將無法重建遠離訓練集的點.我們指出了這種方法的三個問題，并提出了一種基于容量受限編碼器的不同方法，該編碼器直接對輸入點進行評分。我們將其與解決 Wasserstein 距離的對偶相關聯，并將其應用于理論以提供模型輸出的保證。

在第 6 章中，我們將稱為連續歸一化流 (CNF) [38] 的特定深度學習模型與動態最優傳輸聯系起來。然后，我們使用它來模擬單個細胞隨時間的軌跡。當前單細胞轉錄組測量的一個問題是它們具有破壞性——測量細胞的狀態會破壞細胞。這使得隨著時間的推移測量單個細胞變得困難。在這里，我們在多個時間點收集人口水平數據，并使用正則化 CNF 推斷單個細胞軌跡。我們表明，我們可以根據單細胞時間序列數據更準確地模擬細胞狀態隨時間的變化。

在第 7 章中，我們將流形上的最優傳輸與該圖上的一系列多尺度擴散聯系起來。通過比較圖上分布的擴散行為，我們可以快速估計推土機的距離，特別是當我們在 Wasserstein 度量中尋找具有多種測地線地面距離的最近鄰分布時。我們展示了如何將現有的多尺度方法推廣到推土機的距離計算中，并在將其擴展到圖形域的同時提高速度和準確性。

在第 8 章中，我們將第 7 章的工作擴展到不平衡最優傳輸，它融合了推土機距離（Earth-Mover distance）和無度量的總變化距離。直觀地說，這允許創建和銷毀（成本）而不是傳輸質量。我們將這種新的不平衡傳輸應用于醫學概念知識圖譜，以理解從患者筆記中提取的概念。

本論文的以下章節基于以下出版物和預印本。完整出版物的鏈接：//alextong.net/publications

圖 8.6：使用 TV 距離（頂部）和 UDEMD 距離（底部）在 Snomed-CT 圖上建模為信號的患者嵌入，由患者診斷著色。 UDEMD 更好地組織空間，如 (b-c) 中的選定項、(d) 中的混淆矩陣的差異以及 (e) 中診斷的 k-最近鄰分類精度所指出的那樣。在 (b) 中，請注意 TV 嵌入（頂部）在顯示無法通過診斷區分的顱內出血的患者子集之間產生虛假分離（由于信號中的噪聲）。另一方面，UDEMD 嵌入（底部）顯示了具有此診斷的患者的連續體。對于以綠色顯示的腦腫塊或腫瘤患者也是如此。 (c) UDEMD 嵌入將患有急性冠狀動脈綜合征的患者組織成一個連續的軌跡，出院的患者（較輕的病例）朝向底部，更嚴重的病例朝向頂部。TV嵌入再次分裂了這個軌跡。

引言

深度學習已經實現了廣泛的應用，并在近年來變得越來越流行。多模態深度學習的目標是創建可以使用各種模態處理和鏈接信息的模型。單模態學習雖然得到了廣泛的發展，但還不能涵蓋人類學習的所有方面。多模態學習有助于更好地理解和分析不同感官參與信息處理的過程。本文著重于多種模態，即圖像、視頻、文本、音頻、身體手勢、面部表情和生理信號。本文詳細分析了過去和當前的基準方法，并對多模態深度學習應用的最新進展進行了深入研究。提出了多種多模態深度學習應用的細粒度分類，并對不同的應用進行了更深入的闡述。還討論了這些應用中使用的架構和數據集，以及它們的評估指標。最后，分別對各個領域的主要問題和未來可能的研究方向進行了重點分析。

//www.zhuanzhi.ai/paper/eaf89268e664a48119b223b0c86a7ed1

概述

機器學習(ML)是近年來研究的熱點。它已經在圖像識別、多媒體概念檢索、社會網絡分析、視頻推薦、文本挖掘等領域得到了廣泛的應用。深度學習(Deep Learning, DL)在這些應用中得到了廣泛的應用[117]。計算技術的指數級增長、不可思議的發展和數據可用性促成了DL研究的興起。DL的成功已經成為解決更復雜的ML問題的一個激勵因素。此外，DL的主要優點是它以分層的形式表示，即它可以通過一個通用的學習過程有效地學習。各種新的DL方法已經被開發出來，并在多個應用中顯示出令人印象深刻的結果，如視覺數據處理、自然語言處理(NLP)、語音和音頻處理，以及許多其他廣為人知的應用。多模態深度學習(Multimodal Deep learning, MMDL)是近年來隨著深度學習的發展而引起的重要研究方向。

我們對周圍事物的體驗是多模態的;我們能看到、聽到、觸摸、聞到和嘗到東西。捕獲對象的多個方面，以圖像、文本、視頻、圖形、聲音等不同媒體形式傳遞信息。模態指定存儲特定類型信息的表示格式。因此，上面提到的各種媒體形式都與模態有關，而這些多模態的共同表示可以定義為multimodal[47]。然而，對人類的全部方面進行建模是不夠的。單模態工作更好的地方，方法的進展需要在一個模式。多模態學習表明，當多種感官參與信息處理時，我們能更好地理解和分析。本文著重討論了各種各樣的模態，本文從MMDL的角度探討了多種模態，包括圖像、視頻、文本、音頻、肢體動作、面部表情和生理信號。MMDL的主要目標是構建一個能夠處理來自不同模式的信息并將其關聯起來的模型。

人工智能(AI)的未來已經被DL徹底改變。它解決了AI社區中存在多年的幾個復雜問題。對于MMDL，快速設計了各種具有不同學習框架的深度架構。機器開發出來了在其他應用領域，如自動駕駛汽車、圖像處理、醫療診斷和預測預測等，表現得與人類相似，甚至更好[129]。MMDL的最新進展和發展趨勢包括視聽語音識別(AVSR)[173]、多模態情感識別[26]、圖像和視頻字幕[58,89]、視覺問答(VQA)[161]、多媒體檢索[134]等.

在本研究中，我們討論了多模態深度學習的最新進展和趨勢。各種DL模型被劃分為不同的應用程序組，并使用多種媒體進行了詳盡的解釋。本文重點介紹了使用圖像、音頻、視頻、文本、身體姿勢、面部表情和生理信號等多種形式的應用，并與之前的相關調查進行了比較。提出了一種新的多模式DL應用的細粒度分類方法。此外，還提供了在這些MMDL應用中使用的體系結構、數據集和評估指標的簡要討論。最后，針對每一組應用分別提出了有待解決的研究問題，并詳細列出了未來可能的研究方向。我們希望我們提出的分類和研究方向將促進未來多模態深度學習的研究，并有助于更好地理解這一特定領域尚未解決的問題。