在過去的幾年里,機器學習得到了迅猛的發展,并在各個領域得到了廣泛的應用。這股熱潮始于2009年,當時出現了一種新的模型,即深度人工神經網絡,它開始在一些重要的基準上超越其他已建立的成熟模型。后來,它被廣泛應用于學術界和工業界。從圖像分析到自然語言處理,它充分發揮了它的魔力,現在已經成為最先進的機器學習模型。深度神經網絡在醫學影像技術、醫療數據分析、醫療診斷等醫療保健問題上具有巨大的潛力,并在臨床前甚至臨床階段得到推廣。在這篇綜述中,我們概述了機器學習在醫學圖像分析中的應用的一些新進展和挑戰,特別是在光聲成像中的深度學習。
這篇綜述的目的有三個:(i)介紹了深度學習的一些重要基礎知識,(ii)回顧了近年來在光聲成像的整個生態鏈中應用深度學習的工作,從圖像重建到疾病診斷,(iii)為有興趣將深度學習應用于光聲成像的研究人員提供一些開源材料和其他資源。
深度學習是人工智能的一個分支學科,它使用一種名為人工神經網絡的機器學習技術,從大型數據集中提取模式并做出預測。深度學習在醫療保健領域的日益普及,以及高度特征的癌癥數據集的可用性,加速了深度學習在復雜癌癥生物學分析中的應用研究。雖然早期的結果很有希望,但這是一個快速發展的領域,癌癥生物學和深度學習領域都出現了新知識。在這篇綜述中,我們概述了新興的深度學習技術以及它們是如何應用于腫瘤學的。我們專注于組學數據類型的深度學習應用,包括基因組、甲基化和轉錄組數據,以及基于組織病理學的基因組推斷,并提供了如何集成不同數據類型以開發決策支持工具的觀點。我們提供了具體的例子,如何深度學習可以應用于癌癥診斷,預后和治療管理。我們還評估了深度學習在精確腫瘤學中的應用目前的局限性和挑戰,包括缺乏表型豐富的數據和需要更多解釋的深度學習模型。最后,我們討論了如何克服目前的障礙,從而使深度學習在未來的臨床應用成為可能。
人工智能(AI)包含多種技術,其共同目標是計算模擬人類智能。機器學習(ML)是人工智能的一個分支,專注于通過使用數學算法識別數據中的模式來進行預測。深度學習(DL)是ML的一個亞組,專注于利用受大腦神經結構啟發的多層神經網絡算法進行預測。與其他ML方法(如邏輯回歸)相比,DL的神經網絡架構使模型能夠隨著數據[1]的數量和維數的增長呈指數級伸縮。這使得DL特別適用于解決復雜的計算問題,如大規模圖像分類、自然語言處理、語音識別和翻譯[1]。
由于包括基因組、轉錄組和組織病理學數據在內的多種數據類型的可用性和整合性不斷增加,癌癥護理正在向精準醫療轉變(圖1)。用于轉化研究或臨床任務的多種高維數據類型的使用和解釋需要大量的時間和專業知識。此外,多個數據類型的集成比單個數據類型的解釋更占用資源,并且需要能夠從大量復雜特征中學習的建模算法。使用ML算法來自動化這些任務并幫助癌癥檢測(識別癌癥的存在)和診斷(表征癌癥)已經變得越來越普遍[2,3]。令人興奮的是,DL模型有潛力利用這種復雜性來提供有意義的見解,并從多種數據類型中識別相關的粒度特征[4,5]。本文綜述了深度學習在癌癥診斷、預后和治療選擇方面的最新應用。我們專注于組學和組織病理學數據的DL應用,以及多種數據類型的集成。我們提供了一個簡短的介紹新興DL方法相關的應用程序涵蓋在這一綜述。接下來,我們將討論DL在腫瘤學中的具體應用,包括腫瘤起源檢測、分子亞型鑒定、預后和生存能力預測、基因組性狀的組織學推斷、腫瘤微環境分析以及未來在空間轉錄組學、宏基因組學和藥物基因組學中的應用。我們總結了目前的挑戰和潛在的策略,使DL在臨床環境中常規應用。
1、光聲成像簡介 2、光聲成像分類 3、圖像重建算法 4、光聲成像系統三個典型問題 5、挑戰
圖像配準是圖像引導手術、圖像融合、器官圖譜生成、腫瘤和骨骼生長監測等臨床任務應用的關鍵技術,也是一個極具挑戰性的問題。近年來,深度學習技術對醫學圖像處理方法的研究產生重要的影響,在醫學圖像配準領域發展迅速。來自美國辛辛那提兒童醫院醫療中心等發布了**《深度學習醫學圖像配準》**綜述,闡述了相關進展。
圖像配準是各種醫學圖像分析應用中的一個重要組成部分。近年來,基于深度學習(DL)的醫學圖像配準模型發展迅速。本文對醫學圖像配準技術進行了綜述。首先,討論了監督配準的分類,如完全監督配準、雙重監督配準和弱監督配準。接下來,基于相似度和基于生成對抗網絡(GAN)的配準被提出作為無監督配準的一部分。然后描述了深度迭代配準,重點是基于深度相似度和基于強化學習的配準。此外,對醫學圖像配準的應用領域進行了綜述。本文主要綜述單模態和多模態配準及其相關成像,如X線、CT掃描、超聲和MRI。本綜述強調了現有的挑戰,其中顯示,一個主要挑戰是缺乏具有已知轉換的訓練數據集。最后,討論了基于深度學習的醫學圖像配準的未來研究方向。
//www.zhuanzhi.ai/paper/1fb1db2059362b38007d8e59df7d6f61
使用圖像配準,可以將不同的圖像集合合并到一個具有相同信息的單一坐標系中。當比較從不同角度多次拍攝的兩幅圖像或使用不同的模態/傳感器時,可能需要配準[1,2]。直到最近,大多數圖像配準都是由醫生手工完成的。人工對齊在很大程度上依賴于用戶的能力,這在臨床上可能不利于某些配準程序的質量。自動配準的產生是為了克服一些可能的缺點手動圖像配準。DL的復興改變了圖像配準研究的背景[3],盡管事實上各種自動圖像配準方法已經被深入研究之前(和期間)。DL[4]使最近的工作在廣泛的計算機視覺任務中得以表現,包括但不限于: 圖像分類[4],分割[5],特征提取[6-8],以及目標識別[9]。作為一個起點,DL在增強基于強度的配準性能方面被證明是有用的。這只是時間問題,直到其他研究人員看到使用強化學習的配準過程的應用[10-12]。由于獲取/創建地面真實數據的困難,人們對開發用于一步轉換估計的無監督框架越來越感興趣[13,14]。圖像相似度量化是這一范式中的一個眾所周知的障礙。應用基于信息理論的相似性度量[13]、生成對抗網絡(GAN)框架[16]和解剖特征分割[17]來解決這一難題,取得了良好的效果。
傳統的圖像配準是一個基于迭代的過程,包括收集必要的特征,確定相似度(以評估配準質量),選擇變換模型,最后是搜索機制[18,149,153]。可以發送到系統的圖片有兩種: 移動和固定,如圖1所示。通過在靜止圖像上反復滑動移動圖像,可以獲得最佳對齊。考慮的相似性度量最初決定了輸入的照片之間的相似度。計算新轉換的參數是通過使用更新機制的優化方法完成的。通過將這些因素作用于運動圖像,就產生了具有改進對齊的圖像。否則,將開始一個新的算法迭代。如果滿足終止要求,則流程結束。直到不能再獲得配準或滿足一定的預定要求,運動圖像才會在每一個循環中改善與靜止圖像的對應關系。該系統的輸出既可以是變換參數,也可以是最終的插值融合圖像。
一個用于醫學圖像的圖像配準框架流程圖
有必要對使用DL的醫學圖像配準領域進行徹底的調研,突出專家面臨的常見問題,并討論可以解決這些挑戰的即將到來的研究可能性。它是一種利用多層神經網絡(NN)來學習數據描述的機器學習(ML)。許多不同種類的神經網絡可以用于不同的目的,最近已經開發出一些重要的設計來解決工程挑戰。在討論神經網絡時,也可以討論許多神經網絡的訓練過程。關于神經網絡類型、訓練范式、網絡結構以及方法的章節構成了DL的介紹。PyTorch[19]、Caffe[20]、Keras[21]、MXNet[22]和TensorFlow[23]都是可用于創建網絡的公共訪問庫。現有的文獻主要集中在醫學圖像分析中使用DL、reinforcement learning和GANs進行醫學圖像分析。
本文綜合回顧了現有文獻中基于離散域的圖像配準的研究進展。本文著重從方法和功能的角度對其創新進行了綜述。本文研究了不同形式的配準,包括無監督和監督變換估計,以及深度迭代配準。討論了當前圖像配準的趨勢、挑戰和局限性。最后,本文對未來的研究方向進行了展望。
對于深度學習模型,監督訓練是各種配準模型的共同基礎。根據在訓練階段中使用的監督程度,有三個子類別的模型: 完全監督、雙重監督和弱監督。完全監督配準利用傳統配準算法中的真DVFs來監督學習過程。這些損失通常是由于地面真實值和預期SVF不匹配造成的,如圖2所示。弱監督配準使用隱式參考標簽,而不是使用廣泛使用的解剖輪廓參考DVF,如圖2所示。經常使用兩種以上的參考數據來訓練雙監督配準模型。這包括解剖結構輪廓、參考SVF以及圖像相似性。
弱監督和完全監督配準模型的示例工作圖
盡管為了解決有監督圖像配準的信息或數據稀缺問題,人們采取了許多策略(如弱監督和數據增強)[43-47],但訓練樣本的創建仍然是一個耗時的過程。由于移動和固定的圖像配對是DL模型需要學習的所有變形,無監督配準是一種方法。表1提供了這個子類別的概述。在這一類別的訓練中仍然需要一個可與傳統迭代配準中使用的損失函數。一個DVF正則化項和一個圖像相似項和通常包括在損失函數中。由于固有卷積的性質,一些相似性度量,即局部NCC (LNCC),被改變為專注于微小斑塊。可以引入各種損失項,如防止過擬合的同一性損失和減少奇異性的循環一致性損失。
基于(a) GAN和(b)相似矩陣的醫學圖像配準通用框架
各種醫學圖像配準通用框架
本文綜述了近年來在醫學圖像配準方面的研究進展。由于每個應用程序都有不同的問題,因此有必要謹慎地開發DL框架。多模態圖像配準,比如涉及TRUS和MRI的配準,也面臨著類似的挑戰,比如無法在多模態應用中使用穩健的相似性度量,缺乏大型數據集,難以獲得地面真實值配準和分割,以及量化模型的偏好。(36、37)。解決這些問題的常用方法包括補丁式框架、應用程序特定的相似性度量、注冊框架和受變分自動編碼器影響的無監督技術。插值和重采樣,盡管在本文中描述的許多方法復雜,通常不是由神經網絡學習。隨著該領域的成熟,我們預計會有更多的學者將這些組件包含到他們基于深度學習的解決方案中。每種策略都有自己的優點和局限性,但比較這兩種策略的研究人員總數大致相同。在這兩個領域,我們預計會出現更多結合這兩種策略的好處的研究和新方法。我們預測在這兩類中還會有進一步的研究。
最近,開發神經網絡驅動的組合優化問題求解器(如旅行銷售人員問題)引起了學術界的極大興趣。這篇博文介紹了一個神經組合優化管道,它將幾個最近提出的模型架構和學習范式統一到一個單一的框架中。我們分析了深度學習在路由問題上的最新進展,并提供了新的方向,以促進未來的研究走向實際影響。
人工神經網絡與其他學科領域聯系日益緊密,人們通過對人工神經網絡層結構的探索和改進來解決各個領域的問題。根據人工神經網絡相關文獻進行分析,綜述了人工神經網絡算法以及網絡模型結構的發展史,根據神經網絡的發展介紹了人工神經網絡相關概念,其中主要涉及到多層感知器、反向傳播神經網絡、卷積神經網絡以及遞歸神經網絡,描述了卷積神經網絡發展當中出現的部分卷積神經網絡模型和遞歸神經網絡中常用的相關網絡結構,分別綜述了各個人工神經網絡算法在相關領域的應用情況,總結了人工神經網絡的未來發展方向。
深度學習能自動從大樣本數據中學習獲得優良的特征表達,有效提升各種機器學習任務的性能,已廣泛應用于信號處理、計算機視覺和自然語言處理等諸多領域。基于深度學習的醫學影像智能計算是目前智慧醫療領域的研究熱點,其中深度學習方法已經應用于醫學影像處理、分析的全流程。由于醫學影像內在的特殊性、復雜性,特別是考慮到醫學影像領域普遍存在的小樣本問題,相關學習任務和應用場景對深度學習方法提出了新要求。本文以臨床常用的X射線、超聲、計算機斷層掃描和磁共振等4種影像為例,對深度學習在醫學影像中的應用現狀進行綜述, 特別面向圖像重建、病灶檢測、圖像分割、圖像配準和計算機輔助診斷這5大任務的主要深度學習方法的進展進行介紹,并對發展趨勢進行展望。
題目: A Survey of Deep Learning Techniques for Neural Machine Translation
摘要: 近年來,隨著深度學習技術的發展,自然語言處理(NLP)得到了很大的發展。在機器翻譯領域,出現了一種新的方法——神經機器翻譯(NMT),引起了學術界和工業界的廣泛關注。然而,在過去的幾年里提出的大量的研究,很少有人研究這一新技術趨勢的發展過程。本文回顧了神經機器翻譯的起源和主要發展歷程,描述了神經機器翻譯的重要分支,劃分了不同的研究方向,并討論了未來該領域的一些研究趨勢。