論文主題: Machine Learning Techniques for Biomedical Image Segmentation: An Overview of Technical Aspects and Introduction to State‐of‐Art Applications
論文摘要: 近年來,在開發更精確、更有效的醫學圖像和自然圖像分割的機器學習算法方面取得了重大進展。在這篇綜述文章中,我們強調了機器學習算法在醫學影像領域實現高效準確分割的重要作用。我們特別關注與機器學習方法在生物醫學圖像分割中的應用相關的幾個關鍵研究。我們回顧了經典的機器學習算法,如馬爾可夫隨機場、k-均值聚類、隨機森林等。盡管與深度學習技術相比,此類經典學習模型往往不太準確,但它們往往更具樣本效率,結構也不太復雜。我們還回顧了不同的深度學習結構,如人工神經網絡(ANNs)、卷積神經網絡(CNNs)和遞歸神經網絡(RNNs),并給出了這些學習模型在過去三年中取得的分割結果。我們強調了每種機器學習范式的成功和局限性。此外,我們還討論了與不同機器學習模型訓練相關的幾個挑戰,并提出了一些啟發式方法來解決這些挑戰。
本文綜述了元學習在圖像分類、自然語言處理和機器人技術等領域的應用。與深度學習不同,元學習使用較少的樣本數據集,并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類: 黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合,以提供可行的集成問題解決方案。介紹了元學習方法的性能比較,并討論了今后的研究方向。
【導讀】元學習旨在學會學習,是當下研究熱點之一。最近來自愛丁堡大學的學者發布了關于元學習最新綜述論文《Meta-Learning in Neural Networks: A Survey》,值得關注,詳述了元學習體系,包括定義、方法、應用、挑戰,成為不可缺少的文獻。
近年來,元學習領域,或者說“學會學習的學習”,引起了人們極大的興趣。與傳統的人工智能方法(使用固定的學習算法從頭開始解決給定的任務)不同,元學習的目的是改進學習算法本身,考慮到多次學習的經驗。這個范例提供了一個機會來解決深度學習的許多傳統挑戰,包括數據和計算瓶頸,以及泛化的基本問題。在這項綜述中,我們描述了當代元學習的景觀。我們首先討論元學習的定義,并將其定位于相關領域,如遷移學習、多任務學習和超參數優化。然后,我們提出了一個新的分類法,對元學習方法的空間進行了更全面的細分。我們綜述了元學習的一些有前途的應用和成功案例,包括小樣本學習、強化學習和體系架構搜索。最后,我們討論了突出的挑戰和未來研究的有希望的領域。
概述
現代機器學習模型通常是使用手工設計的固定學習算法,針對特定任務從零開始進行訓練。基于深度學習的方法在許多領域都取得了巨大的成功[1,2,3]。但是有明顯的局限性[4]。例如,成功主要是在可以收集或模擬大量數據的領域,以及在可以使用大量計算資源的領域。這排除了許多數據本質上是稀有或昂貴的[5],或者計算資源不可用的應用程序[6,7]。
元學習提供了另一種范式,機器學習模型可以在多個學習階段獲得經驗——通常覆蓋相關任務的分布——并使用這些經驗來改進未來的學習性能。這種“學會學習”[8]可以帶來各種好處,如數據和計算效率,它更適合人類和動物的學習[9],其中學習策略在一生和進化時間尺度上都得到改善[10,9,11]。機器學習在歷史上是建立在手工設計的特征上的模型,而特征的選擇往往是最終模型性能的決定因素[12,13,14]。深度學習實現了聯合特征和模型學習的承諾[15,16],為許多任務提供了巨大的性能改進[1,3]。神經網絡中的元學習可以看作是集成聯合特征、模型和算法學習的下一步。神經網絡元學習有著悠久的歷史[17,18,8]。然而,它作為推動當代深度學習行業前沿的潛力,導致了最近研究的爆炸性增長。特別是,元學習有可能緩解當代深度學習[4]的許多主要批評,例如,通過提供更好的數據效率,利用先驗知識轉移,以及支持無監督和自主學習。成功的應用領域包括:小樣本圖像識別[19,20]、無監督學習[21]、數據高效[22,23]、自導向[24]強化學習(RL)、超參數優化[25]和神經結構搜索(NAS)[26, 27, 28]。
在文獻中可以找到許多關于元學習的不同觀點。特別是由于不同的社區對這個術語的使用略有不同,所以很難定義它。與我們[29]相關的觀點認為,元學習是管理“沒有免費午餐”定理[30]的工具,并通過搜索最適合給定問題或問題族的算法(歸納偏差)來改進泛化。然而,從廣義上來說,這個定義可以包括遷移、多任務、特征選擇和模型集成學習,這些在今天通常不被認為是元學習。另一個關于元學習[31]的觀點廣泛地涵蓋了基于數據集特性的算法選擇和配置技術,并且很難與自動機器學習(AutoML)[32]區分開來。在這篇論文中,我們關注當代的神經網絡元學習。我們將其理解為算法或歸納偏差搜索,但重點是通過端到端學習明確定義的目標函數(如交叉熵損失、準確性或速度)來實現的。
因此,本文提供了一個獨特的,及時的,最新的調查神經網絡元學習領域的快速增長。相比之下,在這個快速發展的領域,以往的研究已經相當過時,或者關注于數據挖掘[29、33、34、35、36、37、31]、自動[32]的算法選擇,或者元學習的特定應用,如小樣本學習[38]或神經架構搜索[39]。
我們討論元學習方法和應用。特別是,我們首先提供了一個高層次的問題形式化,它可以用來理解和定位最近的工作。然后,我們在元表示、元目標和元優化器方面提供了一種新的方法分類。我們調查了幾個流行和新興的應用領域,包括少鏡頭、強化學習和架構搜索;并對相關的話題如遷移學習、多任務學習和自動學習進行元學習定位。最后,我們討論了尚未解決的挑戰和未來研究的領域。
未來挑戰:
-元泛化 元學習在不同任務之間面臨著泛化的挑戰,這與傳統機器學習中在不同實例之間進行泛化的挑戰類似。
總結
元學習領域最近出現了快速增長的興趣。這帶來了一定程度的混亂,比如它如何與鄰近的字段相關聯,它可以應用到什么地方,以及如何對它進行基準測試。在這次綜述中,我們試圖通過從方法學的角度對這一領域進行徹底的調查來澄清這些問題——我們將其分為元表示、元優化器和元目標的分類;從應用的角度來看。我們希望這項調查將有助于新人和實踐者在這個不斷增長的領域中定位自己,并強調未來研究的機會。
題目: Image Segmentation Using Deep Learning: A Survey
摘要:
圖像分割是圖像處理和計算機視覺領域的一個重要課題,其應用領域包括場景理解、醫學圖像分析、機器人感知、視頻監控、增強現實和圖像壓縮等。文獻中已經發展了各種圖像分割算法。最近,由于深度學習模型在廣泛的視覺應用中取得了成功,已經有大量的工作致力于開發使用深度學習模型的圖像分割方法。在本次調查中,我們對撰寫本文時的文獻進行了全面的回顧,涵蓋了語義和實例級分割的廣泛的開創性著作,包括全卷積像素標記網絡,編碼器-解碼器架構,多尺度和基于金字塔的方法,遞歸網絡,視覺注意力模型,以及在對抗性環境下的生成模型。我們調查了這些深度學習模型的相似性、優勢和挑戰,研究了最廣泛使用的數據集,報告了性能,并討論了該領域未來的研究方向。
題目: Embracing Imperfect Datasets:A Review of Deep Learning Solutions for Medical Image Segmentation
摘要: 醫學影像文獻在基于卷積神經網絡的高性能分割模型方面取得了顯著進展。盡管新的性能很高,最近的高級分割模型仍然需要海量的、典型的,高質量的帶有標簽的數據集。然而,我們很少有一個完美的訓練數據集,特別是在醫學圖像領域,因為獲取數據和打標簽都是昂貴的。近年來,大量的研究對不完全數據集的醫學圖像分割問題進行了研究,解決了兩大數據集的局限性:一是訓練有標簽的數據太少,只有有限的標簽數據可用;二是訓練數據只有稀疏標簽、噪聲標簽或圖像級標簽的軟標簽。在本文中,我們對上述解決方案進行了詳細的回顧,總結了技術創新和經驗結果。我們進一步比較涉及的方法的好處和要求,并提供我們推薦的解決方案。我們希望這篇綜述文章能提高公眾對處理不完善的醫學圖像分割數據集的技術的認識。
簡介:
近年來,由于機器學習(ML)/深度學習(DL)技術使用多維醫學圖像,在從一維心臟信號的心臟驟停的預測到計算機輔助診斷(CADx)的各種醫療保健應用中的卓越性能,見證了機器學習(ML)/深度學習(DL)技術的廣泛采用。盡管ML / DL的性能令人印象深刻,但對于ML / DL在醫療機構中的健壯性仍然存有疑慮(由于涉及眾多安全性和隱私問題,傳統上認為ML / DL的挑戰性很大),尤其是鑒于最近的研究結果表明ML / DL容易受到對抗性攻擊。在本文中,我們概述了醫療保健中各個應用領域,這些領域從安全性和隱私性的角度利用了這些技術,并提出了相關的挑戰。此外,我們提出了潛在的方法來確保醫療保健應用程序的安全和隱私保護機器學習。最后,我們提供了有關當前研究挑戰的見解以及未來研究的有希望的方向。
內容大綱:
論文題目:
Machine Learning Techniques for Biomedical Image Segmentation: An Overview of Technical Aspects and Introduction to State-of-Art Applications
論文摘要: 近年來,在開發更精確、更有效的醫學圖像和自然圖像分割的機器學習算法方面取得了重大進展。在這篇綜述文章中,我們強調了機器學習算法在醫學圖像領域實現高效準確分割的重要作用。我們特別關注與機器學習方法在生物醫學圖像分割中的應用相關的幾個關鍵研究。我們回顧了經典的機器學習算法,如馬爾可夫隨機場、k-均值聚類、隨機森林等,雖然這些經典的學習模型往往比深度學習技術更不精確,但它們往往更具樣本效率,結構也更不復雜。我們還回顧了不同的深度學習結構,如人工神經網絡(ANNs)、卷積神經網絡(CNNs)和遞歸神經網絡(RNNs),并給出了這些學習模型在過去三年中取得的分割結果。我們強調了每種機器學習范式的成功和局限性。此外,我們還討論了與不同機器學習模型訓練相關的幾個挑戰,并提出了一些啟發式方法來解決這些挑戰。
論文主題: Recent Advances in Deep Learning for Object Detection
論文摘要: 機器學習社區已經被大量基于深度學習的方法所淹沒。卷積神經網絡、遞歸神經網絡、對抗神經網絡、自編碼等多種深部神經網絡正有效地解決無約束環境下目標的檢測、定位、識別和分割等具有挑戰性的計算機視覺任務。而關于目標檢測的分析研究已經有很多了或識別領域,許多新的深度學習技術已經浮出水面關于圖像分割技術。本文探討這些不同的圖像分割深度學習技術分析視角。這項工作的主要目標是提供一個對重要技術的直觀理解對圖像分割領域的貢獻。從一些在傳統的圖像分割方法的基礎上,本文對圖像分割技術進行了研究刻劃深度學習對圖像分割領域的影響。此后,大多數主要的分割算法已按照專用于其獨特貢獻的段落進行了邏輯分類。借助大量直觀的說明,可以期望讀者具有更好的可視化這些內部動態的能力流程。
摘要:深度學習是近年來應用最廣泛的心臟圖像分割方法。在這篇文章中,我們回顧了超過100篇使用深度學習的心臟圖像分割論文,這些論文涵蓋了常見的成像方式,包括磁共振成像(MRI)、計算機斷層掃描(CT)和超聲(US)以及感興趣的主要解剖結構(心室、心房和血管)。此外,公開可用的心臟圖像數據集和代碼庫的摘要也包括在內,為鼓勵重復性研究提供了基礎。最后,我們討論了當前基于深度學習的方法的挑戰和局限性(缺乏標簽、不同領域的模型可泛化性、可解釋性),并提出了未來研究的潛在方向。
摘要:近年來,在開發更準確、高效的醫學和自然圖像分割機器學習算法方面取得了重大進展。在這篇綜述文章中,我們強調了機器學習算法在醫學成像領域有效和準確分割中的重要作用。我們特別關注幾個關鍵的研究涉及到應用機器學習方法在生物醫學圖像分割。我們回顧了經典的機器學習算法,如馬爾可夫隨機場、k均值聚類、隨機森林等。盡管與深度學習技術相比,這種經典的學習模型往往精度較低,但它們通常更具有樣本效率,結構也更簡單。我們還回顧了不同的深度學習結構,如人工神經網絡(ANNs)、卷積神經網絡(CNNs)和遞歸神經網絡(RNNs),并給出了這些學習模型在過去三年中獲得的分割結果。我們強調每種機器學習范式的成功和局限性。此外,我們還討論了與不同機器學習模型訓練相關的幾個挑戰,并提出了一些解決這些挑戰的啟發方法。
題目: Understanding Deep Learning Techniques for Image Segmentation
簡介: 機器學習已被大量基于深度學習的方法所淹沒。各種類型的深度神經網絡(例如卷積神經網絡,遞歸網絡,對抗網絡,自動編碼器等)有效地解決了許多具有挑戰性的計算機視覺任務,例如在不受限制的環境中對對象進行檢測,定位,識別和分割。盡管有很多關于對象檢測或識別領域的分析研究,但相對于圖像分割技術,出現了許多新的深度學習技術。本文從分析的角度探討了圖像分割的各種深度學習技術。這項工作的主要目的是提供對圖像分割領域做出重大貢獻的主要技術的直觀理解。從一些傳統的圖像分割方法開始,本文進一步描述了深度學習對圖像分割域的影響。此后,大多數主要的分割算法已按照專用于其獨特貢獻的段落進行了邏輯分類。