亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Transformer模型已經在各種領域得到廣泛應用。最新來自南京大學醫學院發布最新《Transformer醫學圖像處理應用》綜述論文，廣泛回顧了該領域中超過120種基于Transformers的現有方法，為醫療應用提供了解決方案，并展示了Transformers是如何在各種臨床環境中被采用的。

Transformers已經主導了自然語言處理領域，最近又影響了計算機視覺領域。在醫學圖像分析領域，Transformer也已成功應用于全面臨床應用，包括圖像合成/重建、配準、分割、檢測和診斷。我們的論文對Transformers在醫學圖像分析領域的應用進行了全面調研。具體來說，我們首先概述了Transformer和其他基本組件中內置的注意力機制的核心概念。其次，我們給出了為醫療圖像應用量身定制的各種Transformer架構的新分類，并討論了它們的局限性。在這篇綜述中，我們研究了圍繞在不同學習范式中使用Transformer、提高模型效率以及它們與其他技術的耦合的關鍵挑戰。我們希望這篇綜述能給醫學圖像分析領域的讀者一個全面的Transformer的概覽。

//www.zhuanzhi.ai/paper/13d269d51e808dd9dec1edf5a6d5b5eb

引言

Transformer[1]已經主導了自然語言處理(NLP)領域，包括語音識別[2]、合成[3]、文本到語音翻譯[4]和自然語言生成[5]。作為深度學習體系結構的一個引人注目的實例，Transformer首先被引入處理NLP中的序列推理任務。雖然循環神經網絡(RNN)6顯式地使用了一系列推理過程，但Transformer顯著地利用堆疊的自注意力層捕獲了順序數據的長期依賴關系。通過這種方式，Transformer既能一次性解決順序學習問題，又能有效地疊加非常深入的模型。在解決NLP任務方面，一些接受過大規模架構訓練的Transformer架構已經變得非常流行，例如BERT[8]和GPT[9]、[10]——僅舉幾個例子。

醫學圖像分析中Transformer的發展。圖中展示了在分類、檢測、分割和綜合應用中所選擇的方法。

卷積神經網絡(Convolutional neural network, cnn)及其變體已經在一些計算機視覺(computer vision, CV)任務[11]中達到了最先進的水平，這在一定程度上要歸功于它們逐漸擴大的感受野，可以將結構化圖像表示的層次結構作為語義來學習。在計算機視覺[12]中，圖像的視覺語義捕獲通常被認為是構建成功網絡的核心思想。然而，CNN忽略了圖像中的長期依賴關系，如圖像中物體的非局部相關。受上述Transformer在NLP中的成功啟發，Dosovitskiy et al.[13]提出了Vision Transformer (ViT)，將圖像分類作為圖像patch (region)序列的序列預測任務，從而捕獲輸入圖像中的長期依賴關系。ViT及其派生實例已經在幾個基準數據集上實現了最先進的性能。在各種各樣的計算機視覺任務中，transformer已經變得非常流行，包括圖像分類[13]、檢測[14]、分割[15]、生成[16]和描述生成[17]。此外，Transformer在基于視頻的應用[18]中也扮演著重要的角色。****

最近，Transformer還將醫學圖像分析領域用于疾病診斷[19]、[20]、[21]和其他臨床用途。如[22]，[23]的工作利用transformer通過CT或x線影像區分COVID-19和其他類型的肺炎，滿足了快速有效治療COVID-19患者的迫切需求。此外，transformer還成功地應用于圖像[24]分割、[25]檢測和[26]合成，取得了非常先進的效果。圖1顯示了Transformer對不同醫學圖像應用的時間適應性，將在第3節中進一步討論。

雖然很多研究都致力于將Transformers定制到醫學圖像分析任務中，但這種定制帶來了新的挑戰，仍然沒有得到解決。為了鼓勵和促進基于Transformers的醫學圖像分析應用的發展，我們廣泛回顧了該領域中超過120種基于Transformers的現有方法，為醫療應用提供了解決方案，并展示了Transformers是如何在各種臨床環境中被采用的。此外，我們還深入討論了如何設計基于Transformers的方法來解決更復雜的現實世界任務，包括弱監督/多任務/多模態學習范式。本文包括Transformers和CNN的比較，并討論了提高Transformers網絡的效率和解釋的新方法。

以下各節的組織如下。第二節介紹了《Transformers》的前期及其在視覺上的發展。第3節回顧了Transformers 在醫學圖像分析中的最新應用，第4節討論了Transformers未來的潛在發展方向。第五部分對全文進行總結。

Transformers 醫學圖像分類

Transformers 在醫學圖像分析中的應用

Transformers 已廣泛應用于全堆棧的臨床應用。在本節中，我們首先介紹基于Transformer的醫學圖像分析應用，包括分類、分割、圖像到圖像轉換、檢測、配準和基于視頻的應用。我們根據學習任務對這些應用程序進行分類，如上圖所示。

受基于Transformer的預訓練方法在自然語言任務和計算機視覺任務中的成功啟發，研究人員開始將Transformer應用于視頻處理。本研究旨在對基于transformer的視頻語言學習預訓練方法進行全面綜述。首先簡單介紹了transformer的結構作為背景知識，包括注意力機制、位置編碼等。然后從代理任務、下游任務和常用視頻數據集三個方面描述了典型的視頻語言處理預訓練和微調范式。接下來，我們將transformer模型分為單流和多流結構，突出它們的創新并比較它們的性能。最后，分析和討論了當前視頻語言前訓練面臨的挑戰和未來可能的研究方向。

//www.zhuanzhi.ai/paper/f7141b8c767225eb6839b5e7236d3b03

Transformer網絡(Vaswani et al. 2017)在性能上表現出了巨大的優勢，并在深度學習(Deep Learning, DL)中得到了廣泛的應用。與傳統的深度學習網絡如多層感知機(Multi-Layer Perceptrons, MLP)、卷積神經網絡(Convolutional Neural networks, CNNs)和遞歸神經網絡(Recurrent Neural networks, RNNs)相比，Transformer網絡結構容易加深，模型偏差小，更適合進行預訓練和微調。典型的預訓練和微調范式是，首先在大量(通常是自我監督的)訓練數據上對模型進行訓練，然后在較小的(通常是特定任務的)數據集上對下游任務進行微調。訓練前階段幫助模型學習通用表示，這有利于下游任務。

在自然語言處理(NLP)任務中首次提出了基于Transformer 的預訓練方法，并取得了顯著的性能提高。例如，Vaswani等(Vaswani et al. 2017)首先提出了具有自注意力機制的機器翻譯和英語選區解析任務的Transformer 結構。BERT - Bidirectional Encoder representation (Devlin et al. 2018)可以認為是NLP的一個里程碑，它采用Transformer 網絡對未標記文本語料庫進行預訓練，并在11個下游任務上取得了最先進的性能。GPT -生成預訓練Transformer v1-3 (Radford and Narasimhan 2018; Radford et al. 2019; Brown et al. 2020)設計為具有擴展參數的通用語言模型，在擴展訓練數據上進行訓練，其中GPT-3在45TB、1750億參數的壓縮純文本數據上進行訓練。受基于Transformer 的預訓練方法在自然語言處理領域的突破啟發，計算機視覺研究人員近年來也將Transformer 應用于各種任務中。例如，DETR (Carion et al. 2020)消除了基于Transformer 網絡的目標檢測的邊界盒生成階段。Dosovitskiy等人(Dosovitskiy et al. 2021)應用了一種純Transformer ViT，直接處理圖像斑塊序列，證明了其在基于大訓練集的圖像分類中的有效性。

視頻分析和理解更具挑戰性，因為視頻本身就含有多模態信息。對于具有代表性的視頻語言任務，如視頻字幕(Das et al. 2013)和視頻檢索(Xu et al. 2016)，現有的方法主要是基于視頻幀序列和相應字幕學習視頻的語義表示。在本文中，我們重點提供了基于transformer的視頻語言處理前訓練方法的最新進展，包括相應基準的常用指標，現有模型設計的分類，以及一些進一步的討論。我們希望跟蹤這一領域的進展，并為同行研究人員，特別是初學者提供相關工作的介紹性總結。

本文的其余部分組織如下: 第2節介紹了相關的基本概念，包括帶自注意力機制的標準transformer 、預訓練和微調方法的范式以及常用數據集。第三節根據現有的主要方法的模型結構進行了介紹，并指出了它們的優缺點。第四節進一步討論了幾個研究方向和挑戰，第五節總結了綜述結果

摘要

Transformers 在自然語言處理、計算機視覺和音頻處理等許多人工智能領域都取得了巨大的成功。因此，自然會引起學術界和工業界研究人員的極大興趣。到目前為止，各種各樣的Transformer變種(即X-formers)已經被提出，但是，關于這些Transformer器變種的系統和全面的文獻綜述仍然缺乏。在這項綜述中，我們提供了一個全面的Transformer綜述。我們首先簡單介紹了普通的Transformer，然后提出了一個x-former的新分類。接下來，我們將從三個方面介紹不同的x -former架構修改，預訓練和應用。最后，展望了未來的研究方向。

//www.zhuanzhi.ai/paper/f03a47eb6ddb5d23c07f51662f3220a0

引言

Transformer[136]是一種出色的深度學習模型，被廣泛應用于自然語言處理(NLP)、計算機視覺(CV)和語音處理等各個領域。Transformer最初是作為一種用于機器翻譯的序列到序列模型提出的[129]。后來的工作表明，基于Transformer的預訓練模型(PTMs)[100]可以在各種任務上實現最先進的性能。因此，Transformer已經成為NLP的首選架構，特別是對于PTMs。除了語言相關的應用，Transformer也被應用于CV[13, 33, 94]，音頻處理[15,31,41]，甚至其他學科，如化學[113]和生命科學[109]。

由于成功，各種各樣的Transformer 變種(即x -former)在過去幾年里被提出。這些X-formers從不同的角度改進了vanilla Transformer。

(1) 模型的效率。應用Transformer的一個關鍵挑戰是它在處理長序列時效率低下，這主要是由于自注意力模塊的計算和存儲復雜性。改進方法包括輕量級注意力(例如稀疏注意變體)和分治法(例如循環和分層機制)。

(2) 模型泛化。由于Transformer是一種靈活的體系結構，并且很少對輸入數據的結構偏差進行假設，因此很難對小規模數據進行訓練。改進方法包括引入結構偏差或正則化、對大規模無標記數據進行預處理等。

(3) 模型的適應。該工作旨在使Transformer適應特定的下游任務和應用程序。

在這個綜述中，我們的目的是提供一個Transformer及其變體的全面綜述。雖然我們可以根據上面提到的觀點來組織x-former，但許多現有的x前輩可能會解決一個或幾個問題。例如，稀疏注意變量不僅降低了計算復雜度，而且在輸入數據上引入了結構先驗，緩解了小數據集上的過擬合問題。因此，將現有的各種X-formers進行分類，并根據它們改進Transformer的方式提出新的分類方法會更有條理: 架構修改、預訓練和應用。考慮到本次綜述的受眾可能來自不同的領域，我們主要關注于一般的架構變體，而只是簡單地討論了預訓練和應用的具體變體。

到目前為止，基于普通Transformer的各種模型已經從三個角度被提出:架構修改的類型、預訓練的方法和應用。圖2給出了Transformer變種的分類說明。

盡管“x-formers”已經證明了他們在各種任務上的能力，但挑戰仍然存在。除了目前關注的問題(如效率和泛化)，Transformer的進一步改進可能在以下幾個方向:

(1) 理論分析。Transformer的體系結構已被證明能夠支持具有足夠參數的大規模訓練數據集。許多工作表明，Transformer比CNN和RNN有更大的容量，因此有能力處理大量的訓練數據。當Transformer在足夠的數據上進行訓練時，它通常比CNN或RNN有更好的性能。一個直觀的解釋是，Transformer對數據結構沒有什么預先假設，因此比CNN和RNN更靈活。然而，理論原因尚不明確，我們需要對Transformer能力進行一些理論分析。

(2) 注意力機制之外的全局交互機制更加完善。Transformer的一個主要優點是使用注意力機制來建模輸入數據中節點之間的全局依賴關系。然而，許多研究表明，對大多數節點來說，完全注意力是不必要的。在某種程度上，不可區分地計算所有節點的注意力是低效的。因此，在有效地建模全局交互方面仍有很大的改進空間。一方面，自注意力模塊可以看作是一個具有動態連接權的全連接神經網絡，通過動態路由聚合非局部信息; 因此，其他動態路由機制是值得探索的替代方法。另一方面，全局交互也可以通過其他類型的神經網絡來建模，比如記憶增強模型。

(3) 多模態數據統一框架。在許多應用場景中，集成多模態數據對于提高任務性能是非常有用和必要的。此外，一般的人工智能還需要能夠捕獲跨不同模式的語義關系。由于Transformer在文本、圖像、視頻和音頻方面取得了巨大的成功，我們有機會建立一個統一的框架，更好地捕捉多模態數據之間的內在聯系。但是，在設計中對模式內和模式間的注意還有待改進。

Transformer是一種主要基于自注意力機制的深度神經網絡，最初應用于自然語言處理領域。受Transformer強大的表征能力的啟發，研究人員提出將Transformer擴展到計算機視覺任務中。與卷積網絡和循環網絡等其他網絡類型相比，基于Transformer的模型在各種視覺基準上都具有競爭力，甚至表現出了更好的性能。在本文中，作者對這些視覺變換器模型進行了文獻綜述，將它們按照不同的任務進行分類，并分析了這些方法的優缺點。具體來說，主要包括基礎圖像分類（basic image classification）、高級視覺（high-level vision）、低級視覺（low-level vision）和視頻處理（video processing）。由于自注意力（self-attention）是變換器中的基礎部件，作者簡要重新審視了自注意力在計算機視覺中的位置。為變換器推向實際應用，本文包含了高效的變換器方法。最后，作者給出了視覺變換器的未來研究方向。

//arxiv.org/abs/2012.12556

深度神經網絡已成為現代人工智能系統的基礎設施。針對不同的任務，已經提出了不同的網絡類型。多層感知(Multi-layer perception, MLP)或稱全連接(full - connected, FC)網絡是由多個線性層和非線性激活疊加而成的經典神經網絡[104,105]。卷積神經網絡(CNNs)引入了卷積層和池化層，用于處理圖像等位移不變數據[68,65]。循環神經網絡(RNNs)利用循環細胞來處理順序數據或時間序列數據[106,49]。Transformer是一種新提出的神經網絡，主要利用自注意力機制[5,90]來提取內在特征[123]。其中轉換器網絡是新近發明的一種神經網絡，在人工智能方面具有廣泛的應用潛力。

Transformer最初應用于自然語言處理(natural language processing, NLP)任務，并帶來了顯著的改進[123,29,10]。例如，Vaswani等人[123]首先提出了完全基于注意力機制的轉換器，用于機器翻譯和英語分析任務。Devlin等人[29]引入了一種新的語言表示模型，稱為BERT，該模型通過聯合調節左右上下文，從未標記的文本中預訓練一個Transformer。BERT在當時的十一個NLP任務中獲得了最先進的結果。Brown等人[10]在45TB壓縮純文本數據上預訓練了一個具有1750億參數的基于巨型Transformer的GPT-3模型，在不進行微調的情況下，在不同類型的下游自然語言任務上實現了強大的性能。這些基于Transformer的模型顯示了較強的表示能力，并在自然語言處理領域取得了突破。

受自然語言處理中transformer 功能的啟發，近年來研究人員將transformer 擴展到計算機視覺任務中。CNN曾經是視覺應用的基礎組件[47,103]，但transformer作為CNN的替代品正在表現出它的能力。Chen等人[18]訓練序列轉換器進行自回歸預測像素，實現與CNN在圖像分類任務上的相匹配結果。ViT是Dosovitskiy等人[31]最近提出的一種視覺transformer 模型，它將純transformer 直接應用于圖像貼片序列，在多個圖像識別基準上獲得了最先進的性能。除了基本的圖像分類，transformer還被用于解決更多的計算機視覺問題，如目標檢測[14,155]、語義分割、圖像處理和視頻理解。由于其優異的性能，越來越多的基于transformer的模型被提出用于改進各種視覺任務。

基于transformer的視覺模型如雨后春筍般涌現，這讓我們很難跟上新發展的步伐。因此，對現有工作的調研是有益的，對社區是有益的。在本文中，我們對視覺transformer的最新進展進行了全面的概述，并討論了進一步改進的潛在方向。為了獲得更好的存檔并方便不同主題的研究人員，我們按應用場景對transformer模型進行分類，如表1所示。具體來說，主要內容包括基本圖像分類、高級視覺、低級視覺和視頻處理。高級視覺處理圖像中看到的東西的解釋和使用[121]，如對象檢測、分割和車道檢測。已經有許多transformer模型解決這些高級視覺任務，如DETR[14]，用于目標檢測的變形DETR[155]和用于分割的Max-DeepLab[126]。低級別圖像處理主要涉及從圖像(通常表示為圖像本身)[35]中提取描述，其典型應用包括超分辨率、圖像去噪和樣式轉換。很少有研究[17,92]在低級視覺中使用transformer，需要更多的研究。除了基于圖像的任務外，視頻處理也是計算機視覺的一個重要部分。由于視頻的時序性，transformer自然可以應用于視頻中[154,144]。與傳統的CNN或RNNs相比，Transformer在這些任務上開始表現出具有競爭力的性能。本文對基于Transformer的可視化模型的研究工作進行了綜述，以跟上這一領域的發展步伐。視覺Transformer的開發時間表如圖所示，我們相信會有越來越多的優秀作品被鐫刻在里程碑上。

本文的其余部分組織如下。第二節首先制定了自注意力機制和標準transformer。我們在第三節中描述了在自然語言處理中transformer的方法，因為研究經驗可能有助于視覺任務。接下來，第四部分是本文的主要部分，總結了圖像分類、高級視覺、低級視覺和視頻任務上的視覺變形模型。我們還簡要回顧了CV的自注意力機制和高效Transformer方法，因為它們與我們的主題密切相關。最后，對全文進行了總結，并對今后的研究方向和面臨的挑戰進行了討論。

與卷積神經網絡相比，Transformer 以其優異的性能和巨大的潛力成為計算機視覺領域的研究熱點。為了發現和利用Transformer的效用，正如在調研中總結的那樣，近年來已經提出了一些解決方案。這些方法在基礎圖像分類、高級視覺、低級視覺和視頻處理等視覺任務中表現出優異的性能。然而，計算機視覺Transformer的潛力還沒有被充分發掘，還有一些挑戰有待解決。

雖然研究者們已經提出了許多基于Transformer的模型來處理計算機視覺任務，但這些工作只是初步的解決方案，還有很大的改進空間。例如，ViT[31]的transformer 架構遵循NLP的標準transformer [123]。針對CV的改進版本還有待探索。除此之外，transformer 還需要應用在更多的任務上。

此外，現有的視覺transformer 模型大多是針對單一任務而設計的。許多NLP模型，如GPT-3[10]，都顯示了transformer在一個模型中處理多個任務的能力。在CV區域的IPT[17]還能夠處理多個低分辨率的視覺任務，如超分辨率、圖像去噪和去噪。我們認為，只有一種模式可以涉及更多的任務。最后，開發高效的CV轉換器模型也是一個有待解決的問題。transformer 模型通常是巨大的和計算昂貴的，例如，基本的ViT模型[31]需要180億次浮點運算來處理一個圖像。相比之下，輕量級的CNN模型GhostNet[44,45]只需約6億次FLOPs就能達到類似的性能。雖然有幾種壓縮transformer 的方法，但它們的復雜性仍然很大。而這些最初為自然語言處理設計的方法可能并不適用于CV。

注意力模型已經成為神經網絡中的一個重要概念，在不同的應用領域得到了廣泛的研究。本綜述提供了一個關于注意力建模的結構化的和全面的概述。特別地，我們提出了一種分類法，將現有的注意力技術分組到一致類別中。我們回顧了顯著的注意力融入的神經結構，并討論了建模注意力已顯示出重大影響的應用。最后，我們還描述了如何使用注意力來提高神經網絡的可解釋性。我們希望這個調查能提供一個關于注意力模型的簡明介紹，并在為其應用開發方法時指導從業者。

注意力模型(AM)首先被引入到機器翻譯中[Bahdanau et al. 2015]，現在已經成為神經網絡文獻中的一個主導概念。在人工智能(AI)領域，注意力作為神經架構的重要組成部分，在自然語言處理(Galassi et al. 2020)、語音(Cho et al. 2015)和計算機視覺(Wang and Tax 2016)等大量應用中非常受歡迎。

注意力背后的直覺可以用人類生物系統來最好地解釋。例如，我們的視覺處理系統傾向于選擇性地關注圖像的某些部分，而忽略其他可以幫助感知的無關信息[Xu et al. 2015]。同樣地，在涉及語言、言語或視覺的問題中，輸入的某些部分比其他部分更重要。例如，在翻譯和總結任務中，只有輸入序列中的特定單詞可能與預測下一個單詞相關。同樣，在圖像字幕問題中，輸入圖像的某些區域可能與生成標題中的下一個單詞更相關。AM通過允許模型動態地只關注幫助有效執行手頭任務的輸入的某些部分來合并相關性的概念。使用AM對Yelp評論進行情感分類的例子[Yang et al. 2016]如圖1所示。在這個例子中，AM了解到在五個句子中，第一個和第三個句子更相關。此外，這些句子中的delicious和amazing這兩個詞更有意義，更能決定評論的情緒。

目錄內容：

• 注意力基礎知識
• 注意力模型
• 注意力分類法
• 注意力網絡架構
• 應用
• 注意力可解釋

【簡介】自然語言處理(NLP)能夠幫助智能型機器更好地理解人類的語言，實現基于語言的人機交流。目前隨著計算能力的發展和大量語言數據的出現，推動了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域取得了顯著的進步，數據驅動策略的應用已經非常的普遍。本綜述對NLP領域中所應用的深度學習進行了分類和討論。它涵蓋了NLP的核心任務和應用領域，并對深度學習方法如何推進這些領域的發展進行了細致的描述。最后我們進一步分析和比較了不同的方法和目前最先進的模型。

原文連接：//arxiv.org/abs/2003.01200

介紹

自然語言處理（NLP）是計算機科學的一個分支，能夠為自然語言和計算機之間提高溝通的橋梁。它幫助機器理解、處理和分析人類語言。NLP通過深入地理解數據的上下文，使得數據變得更有意義，這反過來又促進了文本分析和數據挖掘。NLP通過人類的通信結構和通信模式來實現這一點。這篇綜述涵蓋了深度學習在NLP領域中所扮演的新角色以及各種應用。我們的研究主要集中在架構上，很少討論具體的應用程序。另一方面，本文描述了將深度學習應用于NLP問題中時所面臨的挑戰、機遇以及效果評估方式。

章節目錄

section 2: 在理論層面介紹了NLP和人工智能，并將深度學習視為解決現實問題的一種方法。

section 3:討論理解NLP所必需的基本概念，包括各種表示法、模型框架和機器學習中的示例性問題。

section 4:總結了應用在NLP領域中的基準數據集。

section 5:重點介紹一些已經被證明在NLP任務中有顯著效果的深度學習方法。

section 6:進行總結，同時解決了一些開放的問題和有希望改善的領域。