語義圖像分割任務包括將圖像的每個像素分類為一個實例,其中每個實例對應一個類。這個任務是場景理解或更好地解釋圖像的全局上下文概念的一部分。在醫學圖像分析領域,圖像分割可用于圖像引導干預、放療或改進的放射診斷。本綜述將基于深度學習的醫學和非醫學圖像分割解決方案分為六大組:深度架構、基于數據合成、基于損失函數、排序模型、弱監督和多任務方法,并對每一組的貢獻進行全面綜述。然后,針對每一組,我們分析了每一組的不同,并討論了當前方法的局限性和未來語義圖像分割的研究方向。
多模態表示學習旨在縮小不同模態之間的異質性差距,在利用普遍存在的多模態數據方面起著不可或缺的作用。基于深度學習的多模態表示學習由于具有強大的多層次抽象表示能力,近年來受到了廣泛的關注。在本文中,我們提供了一個全面的深度多模態表示學習的綜述論文。為了便于討論如何縮小異質性差距,根據不同模態集成的底層結構,我們將深度多模態表示學習方法分為三種框架:聯合表示、協調表示和編解碼。此外,我們回顧了該領域的一些典型模型,從傳統模型到新開發的技術。本文強調在新開發的技術的關鍵問題,如encoder-decoder模型,生成對抗的網絡,和注意力機制學習的角度來看,多通道表示,我們所知,從來沒有審核之前,即使他們已經成為當代研究的主要焦點。對于每個框架或模型,我們將討論其基本結構、學習目標、應用場景、關鍵問題、優缺點,以使新研究者和有經驗的研究者都能從中受益。最后,提出了今后工作的一些重要方向。
現實網絡由多種相互作用、不斷進化的實體組成,而現有的研究大多將其簡單地描述為特定的靜態網絡,而沒有考慮動態網絡的演化趨勢。近年來,動態網絡的特性跟蹤研究取得了重大進展,利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與被廣泛提出的靜態網絡嵌入方法相比,動態網絡嵌入努力將節點編碼為低維密集表示,有效地保持了網絡結構和時間動態,有利于處理各種下游機器學習任務。本文對動態網絡嵌入問題進行了系統的研究,重點介紹了動態網絡嵌入的基本概念,首次對現有的動態網絡嵌入技術進行了分類,包括基于矩陣分解的、基于躍格的、基于自動編碼器的、基于神經網絡的等嵌入方法。此外,我們仔細總結了常用的數據集和各種各樣的后續任務,動態網絡嵌入可以受益。在此基礎上,提出了動態嵌入模型、大規模動態網絡、異構動態網絡、動態屬性網絡、面向任務的動態網絡嵌入以及更多的嵌入空間等現有算法面臨的挑戰,并提出了未來可能的研究方向。
由于計算和存儲效率的提高,哈希被廣泛應用于大規模數據庫檢索中的近似近鄰搜索。深度哈希技術是一種利用卷積神經網絡結構來挖掘和提取圖像語義信息或特征的技術,近年來受到越來越多的關注。在這個綜述中,我們對幾種圖像檢索的深度監督哈希方法進行了評估,總結出深度監督哈希方法的三個主要不同方向。最后提出了幾點意見。此外,為了突破現有哈希方法的瓶頸,我提出了一種影子周期性哈希(SRH)方法作為嘗試。具體來說,我設計了一個CNN架構來提取圖像的語義特征,并設計了一個loss function來鼓勵相似的圖像投影接近。為此,我提出了一個概念: CNN輸出的影子。在優化的過程中,CNN的輸出和它的shadow互相引導,盡可能的達到最優解。在數據集CIFAR-10上的實驗表明,該算法具有良好的性能。
本文綜述了元學習在圖像分類、自然語言處理和機器人技術等領域的應用。與深度學習不同,元學習使用較少的樣本數據集,并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類: 黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合,以提供可行的集成問題解決方案。介紹了元學習方法的性能比較,并討論了今后的研究方向。
雖然像CNNs這樣的深度學習模型在醫學圖像分析方面取得了很大的成功,但是小型的醫學數據集仍然是這一領域的主要瓶頸。為了解決這個問題,研究人員開始尋找現有醫療數據集之外的外部信息。傳統的方法通常利用來自自然圖像的信息。最近的研究利用了來自醫生的領域知識,通過讓網絡模仿他們如何被訓練,模仿他們的診斷模式,或者專注于他們特別關注的特征或領域。本文綜述了將醫學領域知識引入疾病診斷、病變、器官及異常檢測、病變及器官分割等深度學習模型的研究進展。針對不同類型的任務,我們系統地對所使用的不同類型的醫學領域知識進行了分類,并給出了相應的整合方法。最后,我們總結了挑戰、未解決的問題和未來研究的方向。
題目: Meta-Learning in Neural Networks: A Survey
簡介: 近年來,元學習領域的興趣急劇上升。與使用固定學習算法從頭解決給定任務的傳統AI方法相反,元學習旨在根據多次學習事件的經驗來改善學習算法本身。這種范例為解決深度學習的許多傳統挑戰提供了機會,包括數據和計算瓶頸以及泛化的基本問題。在本次調查中,我們描述了當代的元學習環境。我們首先討論元學習的定義,并將其相對于相關領域(例如轉移學習,多任務學習和超參數優化)進行定位。然后,我們提出了一種新的分類法,該分類法為當今的元學習方法提供了更為全面的細分。我們調查了元學習的有希望的應用程序和成功案例,包括,強化學習和架構搜索。最后,我們討論了未來研究的突出挑戰和有希望的領域。
【導讀】醫學圖像配準( Medical Image Registration)作為近年來的研究熱點之一,受到了廣泛關注,每年在各大會議上都有大量的相關文章發表。當前,基于深度學習的醫學圖像配準變得越來越流行,人們提出了許多方法來解決這一領域的不同問題。美國埃默里大學醫學院Xiaofeng Yang老師課題組新出的這篇論文對近幾年醫學圖像配準深度學習方法進行了全面綜述,根據其方法、特征和流行程度分為七類,對每個類別進行了詳細的調研,強調了其重要的點及其相應挑戰,幫助讀者更好地了解當前的研究現狀和思路,并且使用基準數據集對基于深度學習的肺和腦配準方法進行了全面比較,最后也介紹了未來的研究方向。
題目:Deep Learning in Medical Image Registration: A Review
作者:Yabo Fu, Yang Lei, Tonghe Wang, Walter J. Curran, Tian Liu, Xiaofeng Yang
【摘要】本文綜述了基于深度學習的醫學圖像配準方法和基于深度學習的配準方法在醫學領域的最新發展和應用。這些方法根據其方法、特征和流行程度分為七類。我們對每個類別進行了詳細的審查,強調了重要的貢獻和確定了具體的挑戰。在詳細檢查每一類別之后,提出了簡短的評價,以總結其成就和未來的潛力。我們使用基準數據集對基于深度學習的肺和腦配準方法進行了全面比較。最后,我們從各個方面對所有被引工作進行統計分析,揭示了基于深度學習的醫學圖像配準的普及和未來趨勢。
引言
圖像配準又稱圖像融合或圖像匹配,是基于圖像外觀對兩幅或多幅圖像進行配準的過程。醫學圖像配準試圖找到一個最佳的空間轉換,以最好地對齊底層的解剖結構。醫學圖像配準在很多臨床應用中都有使用,如image guidance [22,123,148,170],motiontracking [13,46,172],segmentation [44,57,174,171,173,176],dose accumulation [1,153],imagereconstruction [91]等。
醫學圖像配準是一個廣泛的課題,可以從不同的角度進行分類。從輸入圖像的角度來看,掛號方式可以分為單峰掛號、多峰掛號、患者間掛號、患者內掛號(如當天掛號或當日掛號)。從變形模型的角度看,配準方法可分為剛性配準方法、仿射配準方法和可變形配準方法。從感興趣區域(ROI)的角度來看,配準方法可以根據腦、肺等解剖部位進行分組。從圖像對維數的角度來看,配準方法可分為3D到3D、3D到2D、2D到2D/3D。不同的應用程序和配準方式面臨著不同的挑戰。對于多模態圖像配準,由于不同成像方式之間固有的外觀差異,很難設計出準確的圖像相似度度量。由于不同患者的基礎解剖結構不同,因此患者之間的配準可能很棘手。由于代謝過程、排便、患者增/減體重等引起的圖像外觀變化,患者不同天數的住院配準具有挑戰性。為了提供實時的圖像制導,配準的計算效率至關重要。
人們提出了許多方法來應對上述挑戰。目前比較流行的配準方法有optical flow [169,167]、demons [154]、ANTs[3]、HAMMER[131]、ELASTIX[75]等。盡管醫學圖像配準已被廣泛研究,但它仍然是一個熱門的研究主題。醫學圖像配準領域發展迅速,每年都有數百篇論文發表。近年來,基于深度學習的方法已經改變了醫學圖像處理研究的面貌,并在許多應用中取得了最新的成果[25、27、45、58、84、85、86、88、89、97、98、156、157、158、160、161]。然而,醫學圖像配準中的深度學習直到最近三到四年才得到廣泛的研究。雖然已有多篇關于醫學圖像分析中深度學習的綜述文獻發表[73、93、96、105、106、121、132、182],但針對醫學圖像配準[60]中深度學習的綜述文獻較少。本文的目的是總結基于深度學習的醫學圖像配準方法的最新發展、挑戰和趨勢。通過這篇綜述,我們旨在:
1)綜述了基于深度學習的醫學圖像配準的最新進展。
2)突出貢獻、確定挑戰并概述未來趨勢。
3)從不同角度提供最新出版物的詳細統計數據。
在這篇文章中,將DL-based醫學圖像配準方法按其方法,特征和受歡迎程度分為七類,包括1)基于RL的方法,2)基于深度相似性的方法,3) 監督變換預測, 4)無監督變換預測, 5) 醫學圖像配準中的GAN, 6) 使用深度學習的配準驗證,和7) 其他基于學習的方法。
圖1. 醫學圖像配準中基于深度學習的七類方法綜述
在每個類別中,我們提供了一個完整的表格,列出了所有屬于該類別的被綜述工作并總結了它們的重要特征。我們總共收集了150多篇與基于深度學習的醫學圖像配準密切相關的論文。這些工作大多發表于2016年至2019年之間。在圖2中,出版物的數量通過堆疊柱狀圖來表示。論文的數量是按類別計算的。
從圖2可以看出,人們對有監督變換預測(SupCNN)和無監督變換預測(UnsupCNN)的興趣明顯增加。與此同時,GAN逐漸受到歡迎。
圖2. 基于深度學習的醫學圖像配準中出版的文章數量。虛線表示近年來人們對基于深度學習的配準方法越來越感興趣。“ DeepSimilarity”是在傳統配準框架中使用基于DL的相似性度量的類別。“ RegValidation”代表使用DL進行配準驗證的類別。
表1. 基于深度相似性的方法概述
表2. RL在醫學圖像配準中的應用概況
表3. 監督變換預測方法綜述
表4. 無監督變換預測方法綜述
表5 GAN配準方法概述
表6使用深度學習的配準驗證方法概述
表7其他基于深度學習的圖像配準方法綜述
表8 DIRLAB數據集中不同方法的目標配準誤差(TRE)值比較,TRE單位:(mm), *:傳統DIR方法
表9用于腦配準的基準數據集和評價指標
圖4. 基于深度學習的圖像配準方法各屬性的百分比餅圖。
挑戰與機遇
對于有監督的基于深度學習的方法,最常見的挑戰之一是缺乏具有已知轉換的訓練數據集。這個問題可以通過各種數據擴充方法來緩解。然而,數據增強方法可能會引入額外的誤差,如不切實際的人工轉換的偏差和在訓練和測試階段之間的圖像域轉移。
配準驗證方法與配準方法同樣重要。我們注意到2019年越來越多的論文關注配準驗證。為了可靠地評價不同配準方法在不同參數配置下的性能,需要對配準驗證方法進行更多的研究。
趨勢
從被引文獻的統計數據來看,對于快速圖像配準,存在直接變換預測的明顯趨勢。到目前為止,有監督的和無監督的變換預測方法的研究幾乎是相等的,這兩種方法的發表數量都很接近。有監督方法和無監督方法各有優缺點。我們推測,在未來,更多的研究將集中在有監督和無監督相結合的方法上。由于GAN不僅可以用于引入額外的正則化,還可以用于圖像域轉換,從而實現多模態到單模態的圖像配準,因此基于GAN的配準方法逐漸得到了廣泛的應用。基于GAN的醫學圖像配準技術將穩步發展。由于配準問題的病態性,新的變換正則化技術一直是研究的熱點。
論文主題: Deep Semantic Segmentation of Natural and Medical Images: A Review
論文摘要: (醫學)圖像語義分割任務包括將圖像的每個像素(或幾個像素)分類為一個實例,其中每個實例(或類別)對應于一個類。此任務是場景理解概念的一部分,或更好地解釋全局 圖像的上下文。在醫學圖像分析領域,圖像分割可用于圖像引導干預、放射治療或改進的放射診斷。在這篇綜述中,我們將領先的基于深度學習的醫學和非醫學圖像分割解決方案分為六大類:深度架構、基于數據合成、基于損失函數、序列模型、弱監督和多任務方法。此外,針對每一組,我們分析了這些組的每一個變體,并討論了當前語義圖像分割方法的局限性和未來的研究方向。
論文主題: Machine Learning Techniques for Biomedical Image Segmentation: An Overview of Technical Aspects and Introduction to State‐of‐Art Applications
論文摘要: 近年來,在開發更精確、更有效的醫學圖像和自然圖像分割的機器學習算法方面取得了重大進展。在這篇綜述文章中,我們強調了機器學習算法在醫學影像領域實現高效準確分割的重要作用。我們特別關注與機器學習方法在生物醫學圖像分割中的應用相關的幾個關鍵研究。我們回顧了經典的機器學習算法,如馬爾可夫隨機場、k-均值聚類、隨機森林等。盡管與深度學習技術相比,此類經典學習模型往往不太準確,但它們往往更具樣本效率,結構也不太復雜。我們還回顧了不同的深度學習結構,如人工神經網絡(ANNs)、卷積神經網絡(CNNs)和遞歸神經網絡(RNNs),并給出了這些學習模型在過去三年中取得的分割結果。我們強調了每種機器學習范式的成功和局限性。此外,我們還討論了與不同機器學習模型訓練相關的幾個挑戰,并提出了一些啟發式方法來解決這些挑戰。
摘要:近年來,在開發更準確、高效的醫學和自然圖像分割機器學習算法方面取得了重大進展。在這篇綜述文章中,我們強調了機器學習算法在醫學成像領域有效和準確分割中的重要作用。我們特別關注幾個關鍵的研究涉及到應用機器學習方法在生物醫學圖像分割。我們回顧了經典的機器學習算法,如馬爾可夫隨機場、k均值聚類、隨機森林等。盡管與深度學習技術相比,這種經典的學習模型往往精度較低,但它們通常更具有樣本效率,結構也更簡單。我們還回顧了不同的深度學習結構,如人工神經網絡(ANNs)、卷積神經網絡(CNNs)和遞歸神經網絡(RNNs),并給出了這些學習模型在過去三年中獲得的分割結果。我們強調每種機器學習范式的成功和局限性。此外,我們還討論了與不同機器學習模型訓練相關的幾個挑戰,并提出了一些解決這些挑戰的啟發方法。