圖像配準是醫學影像處理與智能分析領域中的重要環節和關鍵技術.傳統的圖像配準算法由于復雜性較高、計算代價較大等問題,無法實現配準的實時性要求.隨著深度學習方法的發展,基于學習的圖像配準方法也取得顯著效果.文中系統總結基于深度學習的醫學圖像配準方法.具體地,將方法歸為3類:監督學習,無監督學習和對偶監督/弱監督學習.在此基礎上,分析和討論各自優缺點.進一步,著重討論近年來提出的正則化方法,特別是基于微分同胚表示的正則和基于多尺度的正則.最后,根據當前醫學圖像配準方法的發展趨勢,展望基于深度學習的醫學圖像配準方法.
//manu46.magtech.com.cn/Jweb_prai/CN/abstract/abstract12159.shtml
新聞推薦(NR)可以有效緩解新聞信息過載,是當今人們獲取新聞資訊的重要方式,而深度學習(DL)成為近年來促進新聞推薦發展的主流技術,使新聞推薦的效果得到顯著提升,受到研究者們的廣泛關注。主要對基于深度學習的新聞推薦方法研究現狀進行分類梳理和分析歸納。根據對新聞推薦的核心對象——用戶和新聞的建模思路不同,將基于深度學習的新聞推薦方法分為“兩段式”方法、“融合式”方法和“協同式”方法三類。在每類方法中,根據建模過程中的具體子任務或基于的數據組織結構進行更進一步細分,對代表性模型進行分析介紹,評價其優點和局限性等,并詳細總結每類方法的特點和優缺點。另外還介紹了新聞推薦中常用數據集、基線算法和性能評價指標,最后分析展望了該領域未來可能的研究方向及發展趨勢。
精準地預判網絡流量變化趨勢可以幫助運營商準確預估網絡的使用情況,合理分配并高效利用網絡資源,以滿足日益增長且多樣化的用戶需求。以深度學習算法在網絡流量預測領域的進展為線索,闡述了網絡流量預測的評價指標和目前公開的網絡流量數據集及應用,具體分析了網絡流量預測中常用的深度信念網絡、卷積神經網絡、循環神經網絡和長短時記憶網絡共四種深度學習方法,并重點介紹了近年來針對不同問題所提出的改進神經網絡模型,總結了各模型特點及應用場景。最后對網絡流量預測未來發展進行了展望。
小目標檢測一直是目標檢測領域中的熱點和難點,其主要挑戰是小目標像素少,難以提取有效的特征信息.近年來,隨著深度學習理論和技術的快速發展,基于深度學習的小目標檢測取得了較大進展,研究者從網絡結構、訓練策略、數據處理等方面入手,提出了一系列用于提高小目標檢測性能的方法.該文對基于深度學習的小目標檢測方法進行詳細綜述,按照方法原理將現有的小目標檢測方法分為基于多尺度預測、基于數據增強技術、基于提高特征分辨率、基于上下文信息,以及基于新的主干網絡和訓練策略等5類方法,全面分析總結基于深度學習的小目標檢測方法的研究現狀和最新進展,對比分析這些方法的特點和性能,并介紹常用的小目標檢測數據集.在總體梳理小目標檢測方法的研究進展的基礎上,對未來的研究方向進行展望.
摘要 在線社交網絡中的消息流行度預測研究,對推薦、廣告、檢索等應用場景都具有非常重要的作用。近年來,深度學習的蓬勃發展和消息傳播數據的積累,為基于深度學習的流行度預測研究提供了堅實的發展基礎。現有的流行度預測研究綜述,主要是圍繞傳統的流行度預測方法展開的,而基于深度學習的流行度預測方法目前仍未得到系統性地歸納和梳理,不利于流行度預測領域的持續發展。鑒于此,該文重點論述和分析現有的基于深度學習的流行度預測相關研究,對近年來基于深度學習的流行度預測研究進行了歸納梳理,將其分為基于深度表示和基于深度融合的流行度預測方法,并對該研究方向的發展現狀和未來趨勢進行了分析展望。
利用深度學習方法對醫學影像數據進行處理分析,極大地促進了精準醫療和個性化醫療的快速發展。深度學習在醫學圖像領域的應用較為廣泛,具有多病種、多模態、多組學和多功能的特點。為便于對深度學習在醫學圖像處理領域的應用進行更深入有效的探索,本文系統綜述了相關研究進展。首先,從深度學習在影像基因組學中的應用出發,理清了深度學習在醫學影像領域應用的一般思路和現狀,將醫學影像領域分為智能診斷、療效評估和預測預后等3個模塊,并對模塊內的各病種進行總結,展示了深度學習各算法的優缺點及面臨的問題和挑戰。其次,對深度學習中出現的新思路、新方法以及對傳統方法的改進進行了闡述。最后,總結了該領域現階段面臨的問題,并對未來的研究方向做出了展望。基于深度學習的醫學圖像智能處理與分析雖然取得了一些有價值的研究成果,但還需要根據臨床的實際需求,將深度學習與經典的機器學習算法及無創并且高效的多組學數據結合起來,對深度學習的理論和方法進行深入研究。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210206&flag=1
摘要:醫學影像分割是計算機視覺在醫學影像處理中的一個重要應用領域,其目標是從醫學影像中分割出目標區域,為后續的疾病診斷和治療提供有效的幫助。近年來深度學習技術在圖像處理方面取得了巨大進展,基于深度學習的醫學影像分割算法逐漸成為該領域研究的重點和熱點。首先敘述了計算機視覺下的醫學影像分割任務及其難點,然后重點綜述了基于深度學習的醫學影像分割算法,對當前具有代表性的相關方法進行了分類和總結,進而介紹了醫學影像分割算法常用的評價指標和數據集。最后,對該技術的發展進行了總結和展望。
信息論的經典結果表明,信源信道分離編碼是漸進最優的。但現代通信系統對時延、帶寬等愈發敏 感,分離設計對解碼具有無限計算能力這一假設難以成立。帶寬有限時,相對于信源信道聯合編碼,分離編 碼已被證明是次優的。傳統的聯合信源信道編碼需要復雜的編碼方案,相較之下,數據驅動的深度學習技術 則帶來了新的設計思路。適時地對相關研究成果進行總結,有助于進一步明確深度學習方法解決信源信道聯 合編碼問題的方式,為研究新的研究方向提供依據。首先介紹了基于深度學習的信源壓縮方案和端對端收發 信機模型,隨后分析不同信源類型下的兩種聯合編碼設計思路,最后探討了基于深度學習的信源信道聯合編 碼的潛在問題和未來的工作方向。
深度學習能自動從大樣本數據中學習獲得優良的特征表達,有效提升各種機器學習任務的性能,已廣泛應用于信號處理、計算機視覺和自然語言處理等諸多領域。基于深度學習的醫學影像智能計算是目前智慧醫療領域的研究熱點,其中深度學習方法已經應用于醫學影像處理、分析的全流程。由于醫學影像內在的特殊性、復雜性,特別是考慮到醫學影像領域普遍存在的小樣本問題,相關學習任務和應用場景對深度學習方法提出了新要求。本文以臨床常用的X射線、超聲、計算機斷層掃描和磁共振等4種影像為例,對深度學習在醫學影像中的應用現狀進行綜述, 特別面向圖像重建、病灶檢測、圖像分割、圖像配準和計算機輔助診斷這5大任務的主要深度學習方法的進展進行介紹,并對發展趨勢進行展望。
摘要:近年來,基于深度學習的表面缺陷檢測技術廣泛應用在各種工業場景中.本文對近年來基于深度學習的表面缺陷檢測方法進行了梳理,根據數據標簽的不同將其分為全監督學習模型方法、無監督學習模型方法和其他方法三大類,并對各種典型方法進一步細分歸類和對比分析,總結了每種方法的優缺點和應用場景.本文探討了表面缺陷檢測中三個關鍵問題,介紹了工業表面缺陷常用數據集.最后,對表面缺陷檢測的未來發展趨勢進行了展望.
【導讀】醫學圖像配準( Medical Image Registration)作為近年來的研究熱點之一,受到了廣泛關注,每年在各大會議上都有大量的相關文章發表。當前,基于深度學習的醫學圖像配準變得越來越流行,人們提出了許多方法來解決這一領域的不同問題。美國埃默里大學醫學院Xiaofeng Yang老師課題組新出的這篇論文對近幾年醫學圖像配準深度學習方法進行了全面綜述,根據其方法、特征和流行程度分為七類,對每個類別進行了詳細的調研,強調了其重要的點及其相應挑戰,幫助讀者更好地了解當前的研究現狀和思路,并且使用基準數據集對基于深度學習的肺和腦配準方法進行了全面比較,最后也介紹了未來的研究方向。
題目:Deep Learning in Medical Image Registration: A Review
作者:Yabo Fu, Yang Lei, Tonghe Wang, Walter J. Curran, Tian Liu, Xiaofeng Yang
【摘要】本文綜述了基于深度學習的醫學圖像配準方法和基于深度學習的配準方法在醫學領域的最新發展和應用。這些方法根據其方法、特征和流行程度分為七類。我們對每個類別進行了詳細的審查,強調了重要的貢獻和確定了具體的挑戰。在詳細檢查每一類別之后,提出了簡短的評價,以總結其成就和未來的潛力。我們使用基準數據集對基于深度學習的肺和腦配準方法進行了全面比較。最后,我們從各個方面對所有被引工作進行統計分析,揭示了基于深度學習的醫學圖像配準的普及和未來趨勢。
引言
圖像配準又稱圖像融合或圖像匹配,是基于圖像外觀對兩幅或多幅圖像進行配準的過程。醫學圖像配準試圖找到一個最佳的空間轉換,以最好地對齊底層的解剖結構。醫學圖像配準在很多臨床應用中都有使用,如image guidance [22,123,148,170],motiontracking [13,46,172],segmentation [44,57,174,171,173,176],dose accumulation [1,153],imagereconstruction [91]等。
醫學圖像配準是一個廣泛的課題,可以從不同的角度進行分類。從輸入圖像的角度來看,掛號方式可以分為單峰掛號、多峰掛號、患者間掛號、患者內掛號(如當天掛號或當日掛號)。從變形模型的角度看,配準方法可分為剛性配準方法、仿射配準方法和可變形配準方法。從感興趣區域(ROI)的角度來看,配準方法可以根據腦、肺等解剖部位進行分組。從圖像對維數的角度來看,配準方法可分為3D到3D、3D到2D、2D到2D/3D。不同的應用程序和配準方式面臨著不同的挑戰。對于多模態圖像配準,由于不同成像方式之間固有的外觀差異,很難設計出準確的圖像相似度度量。由于不同患者的基礎解剖結構不同,因此患者之間的配準可能很棘手。由于代謝過程、排便、患者增/減體重等引起的圖像外觀變化,患者不同天數的住院配準具有挑戰性。為了提供實時的圖像制導,配準的計算效率至關重要。
人們提出了許多方法來應對上述挑戰。目前比較流行的配準方法有optical flow [169,167]、demons [154]、ANTs[3]、HAMMER[131]、ELASTIX[75]等。盡管醫學圖像配準已被廣泛研究,但它仍然是一個熱門的研究主題。醫學圖像配準領域發展迅速,每年都有數百篇論文發表。近年來,基于深度學習的方法已經改變了醫學圖像處理研究的面貌,并在許多應用中取得了最新的成果[25、27、45、58、84、85、86、88、89、97、98、156、157、158、160、161]。然而,醫學圖像配準中的深度學習直到最近三到四年才得到廣泛的研究。雖然已有多篇關于醫學圖像分析中深度學習的綜述文獻發表[73、93、96、105、106、121、132、182],但針對醫學圖像配準[60]中深度學習的綜述文獻較少。本文的目的是總結基于深度學習的醫學圖像配準方法的最新發展、挑戰和趨勢。通過這篇綜述,我們旨在:
1)綜述了基于深度學習的醫學圖像配準的最新進展。
2)突出貢獻、確定挑戰并概述未來趨勢。
3)從不同角度提供最新出版物的詳細統計數據。
在這篇文章中,將DL-based醫學圖像配準方法按其方法,特征和受歡迎程度分為七類,包括1)基于RL的方法,2)基于深度相似性的方法,3) 監督變換預測, 4)無監督變換預測, 5) 醫學圖像配準中的GAN, 6) 使用深度學習的配準驗證,和7) 其他基于學習的方法。
圖1. 醫學圖像配準中基于深度學習的七類方法綜述
在每個類別中,我們提供了一個完整的表格,列出了所有屬于該類別的被綜述工作并總結了它們的重要特征。我們總共收集了150多篇與基于深度學習的醫學圖像配準密切相關的論文。這些工作大多發表于2016年至2019年之間。在圖2中,出版物的數量通過堆疊柱狀圖來表示。論文的數量是按類別計算的。
從圖2可以看出,人們對有監督變換預測(SupCNN)和無監督變換預測(UnsupCNN)的興趣明顯增加。與此同時,GAN逐漸受到歡迎。
圖2. 基于深度學習的醫學圖像配準中出版的文章數量。虛線表示近年來人們對基于深度學習的配準方法越來越感興趣。“ DeepSimilarity”是在傳統配準框架中使用基于DL的相似性度量的類別。“ RegValidation”代表使用DL進行配準驗證的類別。
表1. 基于深度相似性的方法概述
表2. RL在醫學圖像配準中的應用概況
表3. 監督變換預測方法綜述
表4. 無監督變換預測方法綜述
表5 GAN配準方法概述
表6使用深度學習的配準驗證方法概述
表7其他基于深度學習的圖像配準方法綜述
表8 DIRLAB數據集中不同方法的目標配準誤差(TRE)值比較,TRE單位:(mm), *:傳統DIR方法
表9用于腦配準的基準數據集和評價指標
圖4. 基于深度學習的圖像配準方法各屬性的百分比餅圖。
挑戰與機遇
對于有監督的基于深度學習的方法,最常見的挑戰之一是缺乏具有已知轉換的訓練數據集。這個問題可以通過各種數據擴充方法來緩解。然而,數據增強方法可能會引入額外的誤差,如不切實際的人工轉換的偏差和在訓練和測試階段之間的圖像域轉移。
配準驗證方法與配準方法同樣重要。我們注意到2019年越來越多的論文關注配準驗證。為了可靠地評價不同配準方法在不同參數配置下的性能,需要對配準驗證方法進行更多的研究。
趨勢
從被引文獻的統計數據來看,對于快速圖像配準,存在直接變換預測的明顯趨勢。到目前為止,有監督的和無監督的變換預測方法的研究幾乎是相等的,這兩種方法的發表數量都很接近。有監督方法和無監督方法各有優缺點。我們推測,在未來,更多的研究將集中在有監督和無監督相結合的方法上。由于GAN不僅可以用于引入額外的正則化,還可以用于圖像域轉換,從而實現多模態到單模態的圖像配準,因此基于GAN的配準方法逐漸得到了廣泛的應用。基于GAN的醫學圖像配準技術將穩步發展。由于配準問題的病態性,新的變換正則化技術一直是研究的熱點。