亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

動態注意力機制和全局建模能力使Transformer表現出較強的特征學習能力。近年來，Transformer在計算機視覺方面已經可以媲美CNN方法。本文主要研究了Transformer在圖像和視頻應用中的研究進展，對Transformer在視覺學習理解中的應用進行了全面的綜述。首先，回顧了在Transformer中起著重要作用的注意力機制。然后介紹了視覺Transformer模型和各個模塊的工作原理。第三，研究了現有的基于Transformer的模型，并比較了它們在視覺學習理解應用中的性能。研究了計算機視覺的三個圖像任務和兩個視頻任務。前者主要包括圖像分類、目標檢測和圖像分割。后者包括目標跟蹤和視頻分類。它對于比較不同模型在多個公共基準數據集上的不同任務性能具有重要意義。最后，總結了視覺Transformer存在的10個普遍問題，并對其發展前景進行了展望。

引言

深度學習[1]發展迅速，卷積神經網絡(CNN)在深度學習[2]、[3]的各個領域都占據了主導地位。然而，近年來Transformer[4]逐漸打破了這種局面。它摒棄了以往深度學習任務中使用的CNN和RNN，在自然語言處理(NLP)、計算機視覺(CV)等領域取得了突破。逐漸地，基于Transformer的模型在最近三年中得到了很好的發展。最初的Transformer模型是在2017年[4]題為“Attention is all you need”的論文中正式提出的。它來自于NLP中的機器翻譯模型seq2seq[5]。此外，在Transformer模型中也采用了編碼器-解碼器架構。它主要是從一個注意力模塊演變而來的，自注意力，這是現有的注意力模式之一。在注意力機制方面，出現了多種注意力模型來提高識別效果。現有的注意力模型主要包括通道注意力、空間注意力和自注意力[6]。《Transformer》的核心是自注意力。

首先，Transformer是一種新穎的方法，在自然語言處理中取得了巨大的成功。后來又擴展到CV中的不同任務，如高分辨率圖像合成[7]、目標跟蹤[8]、目標檢測[9]-[11]、分類[12]、分割[13]、圖像處理[14]、再識別[15]-[17]等。在過去的三年里，Transformer已經進化出了一系列變體，也被稱為X-Transformer[18]。各種Transformer 應運而生，并在各項任務中取得了良好的應用進展。研究表明，預訓練的Transformer模型在各種任務中都達到了最先進的水平。Transformer模型的效果是顯著的，特別是在ImageNet分類任務中。ViT[19]、BoTNet[20]、Swin Transformer[21]相繼提出，并一次又一次實現性能突破。本文綜述了Transformer在視覺學習理解的圖像和視頻應用方面的發展進展。

對比[18]、[22]-[24]、[26]等相關綜述，從Transformer的模型機制、視覺學習理解應用的應用進展、各種模型在公共基準上的性能比較等方面進行了全面的研究。相關綜述及其主要內容見表一。這篇綜述旨在讓讀者全面了解Transformer、其原理以及現有的應用進展。此外，還為所研究的圖像和視頻研究提供了實驗比較。同時，也為深度學習研究者提供了進一步的思路。這項綜述的主要貢獻如下:

1. 全面研究了基于Transformer的視覺學習理解方法，并給出了一些評論。
2. 對注意力機制進行了回顧，它在Transformer中起著至關重要的作用。
3. 對原始可視化Transformer模型的每個部分進行了詳細說明。充分理解視覺Transformer的原理是至關重要的。
4. 總結了基于Transformer模型在視覺學習理解方面的應用進展，包括圖像分類、目標跟蹤、圖像分割、目標跟蹤、視頻分類等。然后，在每個小節中給出了各模型的性能比較，為相關研究人員提供了實驗比較。
5. 總結Transformer的十大公共問題。為研究人員提供進一步的研究思路。

注意力機制

注意力機制是20世紀90年代提出的。它指的是將人類的感知和注意行為應用到機器上，機器可以學習感知數據中重要和不重要的部分。在CV中，注意力機制讓機器感知圖像中的目標信息，抑制圖像的背景信息。引入注意力機制可以緩解深度學習中計算能力和優化算法的限制。

根據不同的角度[28]對現有的深度學習注意機制進行了分類。解碼時是否考慮編碼器的所有隱藏狀態，分為全局注意力機制和局部注意力機制。從注意力域的角度看，可分為注意力域、空間力域、通道域和混合域。根據編碼方式的不同，可分為軟注意力機制、硬注意力機制和自注意力機制。其中，自注意力是Transformer模型的研究核心。

Transformers

Transformers的視覺學習和理解框架。針對圖像任務，主要研究了基于Transformer的主干、圖像分類、目標檢測和圖像分割。針對視頻任務，綜述了基于Transformer的目標跟蹤、視頻分類方法。

圖像分類、目標檢測和圖像分割是圖像分類的三個基本任務。針對這三項任務的基于Transformer的方法已經得到了很好的發展。有基于Transformer的骨干和基于Transformer的頸部。前者在所有的三個任務中進行評估，而后者通常在其中任何一個任務中進行評估。研究了相關的Transformer模型及其相應的實驗結果。

基于Transformer的圖像分類的總體框架

Transformer在視頻學習和理解方面得到了發展，包括目標跟蹤、視頻分類和視頻分割。本節主要研究基于Transformer的目標跟蹤和視頻分類方法。

基于Transformer的視頻分類的總體框架

總結

本文對Transformer在視覺學習理解方面的發展進行了全面的研究，并提出了一些看法。值得注意的是，基于transformer方法的一些關鍵實驗性能統計數據在多個圖像和視頻任務中得到了展示，為研究人員提供了實驗性能參考。同時，提出了基于Transformer的模型計算復雜、局部表示能力弱、依賴于大量預訓練數據等10個開放性問題。當然，也提出了一些發展方向。本綜述旨在使研究者對基于Transformer的研究有一個全面的認識，這對促進Transformer的發展具有重要意義。

圍繞Transformer的模型架構是當下大家關注的焦點！阿聯酋阿布扎比大學發布了首篇《Transformer醫療影像》綜述論文，41頁pdf439篇文獻全面闡述ansformers在醫療影像中的應用，涵蓋了各個方面，從最近提出的架構設計到未解決的問題。具體來說，我們調研了Transformers在醫學圖像分割、檢測、分類、重建、合成、配準、臨床報告生成和其他任務中的使用。

在自然語言任務上取得了前所未有的成功之后，Transformers已經成功地應用于計算機視覺問題并取得了SOTA結果，并促使研究人員重新考慮卷積神經網絡(CNN)作為模型骨干的優勢。利用計算機視覺方面的這些進步，醫療影像領域也見證了人們對能夠捕獲全局上下文的Transformers 越來越感興趣，而與CNN相比，Transformers只能捕獲局部接收域。受這種轉變的啟發，在本次綜述中，我們試圖提供一個全面的回顧Transformers在醫療影像中的應用，涵蓋了各個方面，從最近提出的架構設計到未解決的問題。具體來說，我們調研了Transformers在醫學圖像分割、檢測、分類、重建、合成、配準、臨床報告生成和其他任務中的使用。特別是，對于每一個應用，我們將提出分類法，識別特定于應用的挑戰，并提供解決這些挑戰的見解，并強調最近的趨勢。此外，我們對該領域目前的整體狀態進行了批判性的討論，包括確定關鍵挑戰、開放的問題，并概述了有前途的未來方向。我們希望這一調研將點燃社區進一步的興趣，并為研究人員提供最新的參考，有關Transformers模型在醫學成像中的應用。最后，為了應對這一領域的快速發展，我們打算定期在//github.com/fahadshamshad/awesome-transformers-in-medical-imaging上更新相關的最新論文及其開源實現。

引言

卷積神經網絡(CNN)[1] -[4]因其能夠以數據驅動的方式學習高度復雜的表示形式，對醫學成像領域產生了重大影響。自其復興以來，CNN已經在許多醫學成像模式中表現出顯著的改進，包括x線攝影[5]，內窺鏡[6]，計算機斷層攝影(CT)[7]，[8]，乳房x線攝影圖像(MG)[9]，超聲圖像[10]，磁共振成像(MRI)[11]，[12]，正電子發射斷層攝影(PET)[13]，等等。CNN中的主力是卷積算子，它在局部進行運算并提供平移等方差。雖然這些特性有助于開發高效和可推廣的醫療成像解決方案，但卷積操作中的局部接受域限制了捕獲長程像素關系。此外，卷積濾波器在推理時具有不適應給定輸入圖像內容的固定權值。

與此同時，視覺界也做了大量的研究工作，將注意力機制[14]-[16]整合到CNN架構[17]-[22]中。這些基于注意力的“Transformer”模型已經成為一種有吸引力的解決方案，因為它們能夠編碼長期依賴關系，并學習高效的特征表示[23]。最近的研究表明，這些Transformer模塊可以通過對一系列圖像補丁進行操作，完全取代深度神經網絡中的標準卷積，從而產生Vision Transformer (ViTs)[22]。自誕生以來，ViT模型已被證明在許多視覺任務中推動了最先進的技術，包括圖像分類[22]、對象檢測[24]、語義分割[25]、圖像著色[26]、低級視覺[27]和視頻理解[28]等等。此外，最近的研究表明，ViTs的預測誤差比CNN[29] -[32]更符合人類的預測誤差。ViT的這些令人滿意的特性引起了醫學界的極大興趣，將其用于醫學成像應用，從而減輕CNN[33]固有的歸納偏差。

(左)餅狀圖顯示了根據醫學成像問題設置和數據模態所包括的調研論文的統計數據。最右邊的數字顯示了近期文獻(2021年)的持續增長。Seg:分割，Class:分類，Recons:重建，Reg:配準，Synth:合成，Det:檢測，Rep:報告生成，US:超聲

最近，醫學影像社區見證了基于Transformer的技術數量呈指數級增長，特別是在vit出現之后(見圖1)。這個主題現在在著名的醫學影像會議和期刊上占據主導地位，而且由于論文的迅速涌入，要跟上最近的進展越來越困難。因此，對現有有關工作的調研是及時的，以便全面介紹這一新興領域的新方法。為此，我們提供了Transformer模型在醫學成像中的應用的整體概述。我們希望這項工作可以為研究人員進一步探索這一領域提供一個路線圖。我們的主要貢獻包括:

• 這是第一篇全面涵蓋transformer在醫學成像領域的應用的綜述論文，從而在這個快速發展的領域彌合了視覺和醫學成像社區之間的差距。具體來說，我們提出了一個超過125篇相關論文的全面概述，以涵蓋最近的進展。

• 如圖2所示，我們根據論文在醫學成像中的應用對其進行了分類，從而對該領域進行了詳細的覆蓋。對于這些應用，我們開發了一種分類法，突出了特定于任務的挑戰，并根據文獻綜述提供了解決這些挑戰的見解。

• 最后，我們對該領域的整體現狀進行了批判性的討論，包括確定關鍵挑戰，突出開放的問題，并概述了有前景的未來方向。

• 盡管本次調研的主要焦點是Vision Transformer，但我們也是自最初的Transformer(大約五年前)誕生以來，首次在臨床報告生成任務中廣泛覆蓋其語言建模功能(見第9節)。

本綜述涵蓋了Transformer在醫學成像中的多種應用領域

ViT在各種醫學成像問題中的應用，以及基于CNN的基線方法。與基于CNN的方法相比，基于ViT的方法具有更好的性能，這是因為它們能夠建模全局上下文。圖來源:(a) [34], (b) [35], (c) [36], (d) [37], (e) [38], [39] (f)。

醫學圖像分割

精確的醫學圖像分割是計算機輔助診斷、圖像引導手術和治療規劃的關鍵步驟。Transformer的全局上下文建模能力對于精確的醫學圖像分割至關重要，因為通過建模空間距離遠的像素之間的關系(例如，肺分割)，可以有效地對分布在大接收域上的器官進行編碼。此外，醫學掃描的背景通常是分散的(如超聲掃描[94]);因此，學習與背景相對應的像素之間的全局上下文可以幫助模型防止誤分類。下面，我們將重點介紹在醫學圖像分割中整合基于ViT模型的各種嘗試。鑒于兩組方法所需的上下文建模水平不同，大致將基于vit的分割方法分為器官特異性和多器官類別，如圖5所示。

基于VIT的醫學圖像分割方法分類

醫學圖像分類

醫學圖像的準確分類是輔助臨床護理和治療的重要手段。本節將全面介紹VIT在醫學圖像分類中的應用。由于與這些分類相關的一系列不同挑戰，我們將這些方法大致分為基于COVID-19、腫瘤和視網膜疾病的分類方法，如圖13所示。

醫學圖像檢測

在醫學圖像分析中，目標檢測是指從x射線圖像中定位和識別感興趣的區域(如肺結節)，通常是診斷的一個重要方面。然而，這是臨床醫生最耗時的任務之一，因此需要準確的計算機輔助診斷(CAD)系統作為第二個觀察者，可能加快這一過程。隨著CNN在醫學圖像檢測方面的成功[278]，[279]，最近很少有人嘗試使用Transformer模型進一步提高性能。這些方法主要是基于檢測Transformer (DETR)框架[24]。

醫學圖像重建

醫學圖像重建的目標是從退化的輸入中獲得一幅干凈的圖像。例如，從采樣不足的版本中恢復高分辨率的MRI圖像。由于其不適定性，這是一項具有挑戰性的任務。在許多實際的醫學成像場景中，精確解析逆變換是未知的。最近，VIT已被證明可以有效地應對這些挑戰。我們將相關工作分為醫學圖像增強和醫學圖像恢復兩個領域，如圖18所示。

醫學圖像合成

在本節中，我們將概述VIT在醫學圖像合成中的應用。大多數這些方法都包含了對抗性損失，以合成真實和高質量的醫學圖像，盡管代價是訓練不穩定[314]。我們進一步將這些方法分為模態內合成和模態間合成。

醫學圖像配準

醫學圖像配準的目標是找到密集的逐體素位移，并在一對固定和移動圖像之間建立對齊。在醫學成像中，當分析不同時間、不同視角或不同模式(如MRI和CT)獲得的一對圖像時，配準可能是必要的[75]。由于難以從多模態醫學圖像中提取有區別的特征、復雜的運動以及缺乏魯棒的離群點拒絕方法，精確的醫學圖像配準是一項具有挑戰性的任務[329]。在本節中，我們將簡要介紹ViT在醫學圖像配準中的應用。

醫學圖像配準

最近，利用深度學習技術從醫學圖像中自動生成臨床報告取得了巨大進展[335]-[338]。這種自動生成報告的過程可以幫助臨床醫生做出準確的決策。然而，由于不同放射科醫生報告的多樣性、長序列長度(不像自然圖像標題)和數據集偏差(與異常數據相比，更多的是正常數據)，從醫學圖像數據生成報告(或標題)具有挑戰性。此外，一個有效的醫學報告生成模型有望處理兩個關鍵屬性:(1)語言流利性，便于人類閱讀(2)臨床準確性，以正確識別疾病及相關癥狀。在本節中，我們將簡要描述變壓器模型如何幫助實現這些預期目標，并有效地緩解前面提到的與生成醫療報告相關的挑戰。具體來說，這些基于transformers的方法在自然語言生成(NLG)和臨床療效(CE)指標方面都取得了最先進的性能。還要注意的是，與主要討論ViT的前幾節不同，在本節中，重點是將transformer作為一種強大的語言模型來利用句子生成的長期依賴關系。由于其潛在的訓練機制不同，我們將基于Transformers的臨床報告生成方法大致分為基于強化學習(RL)和有監督/無監督學習方法，如圖24所示。

結論與未來方向

最后，我們首次全面回顧了Transformers 在醫學成像中的應用。我們簡要介紹了Transformer模型成功背后的核心概念，然后提供了Transformer在廣泛的醫療成像任務中的全面文獻綜述。具體介紹了Transformers在醫學圖像分割、檢測、分類、重建、合成、配準、臨床報告生成等方面的應用。特別是，對于每一個應用，我們提出了分類法，確定了應用特定的挑戰，并給出了解決它們的見解，并指定了最近的趨勢。盡管它們的表現令人印象深刻，但我們預計，在醫學成像領域，Transformers仍有很多探索工作要做，我們希望這項調研為研究人員進一步推進這一領域提供了一個路線圖。

未來挑戰包括：

• 在大數據集上進行預訓練的挑戰，
• 基于ViT視覺技術的醫學成像方法的可解釋性，
• 對抗攻擊的魯棒性，
• 為實時醫療應用設計有效的ViT視覺技術架構，
• 在分布式設置中部署基于ViT技術的模型的挑戰，
• 以及領域適應