亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

BERT、GPT 等大規模預訓練模型（PTM）最近取得了巨大成功，成為人工智能領域的里程碑。由于復雜的預訓練目標和龐大的模型參數，大規模 PTM 可以有效地從大量標記和未標記的數據中捕獲知識。通過將知識存儲到大量的參數中并對特定任務進行微調，大量參數中隱式編碼的豐富知識可以使各種下游任務受益，這已通過實驗驗證和實證分析得到廣泛證明。現在人工智能社區的共識是采用 PTM 作為下游任務的支柱，而不是從頭開始學習模型。

在本文中，我們深入研究了預訓練的歷史，尤其是它與遷移學習和自監督學習的特殊關系，以揭示 PTM 在 AI 開發領域中的關鍵地位。此外，我們全面回顧了 PTM 的最新突破。這些突破是由計算能力的激增和數據可用性的增加推動的，朝著四個重要方向發展：設計有效的架構、利用豐富的上下文、提高計算效率以及進行解釋和理論分析。最后，我們討論了 PTMs 的一系列開放問題和研究方向，希望我們的觀點能夠啟發和推動 PTMs 的未來研究。

//www.zhuanzhi.ai/paper/ae20bc29350325ac02c0804c693c0cfb

文本排序的目標是生成從語料庫檢索到的有序文本列表，以響應特定任務的查詢。雖然文本排序最常見的形式是搜索，但在許多自然語言處理應用程序中也可以找到該任務的實例。

本書提供了Transformer神經網絡架構的文本排序的概述，其中BERT是最著名的例子。毫不夸張地說，Transformer和自監督預訓練的結合徹底改變了自然語言處理(NLP)、信息檢索(IR)等領域。在文本排名的上下文中，這些模型在許多領域、任務和設置中產生高質量的結果。

在這項綜述中，我們提供了現有工作的綜合，作為希望更好地理解如何將transformers應用于文本排序問題的從業者和希望在這一領域繼續工作的研究人員的單一切入點。我們涵蓋了廣泛的現代技術，分為兩個高級類別:在多階段排名體系結構中執行重新排名的transformer模型，以及嘗試直接執行排名的密集表示。有許多例子屬于第一類，包括基于相關性分類的方法、來自多個文本片段的證據聚合、語料庫分析和序列到序列模型。雖然第二類方法還沒有得到很好的研究，但使用transformers進行表示學習是一個新興的和令人興奮的方向，必將引起更多的關注。在我們的調研中，有兩個主題貫穿始終:處理長文檔的技術(在NLP中使用的典型逐句處理方法之外)，以及處理有效性(結果質量)和效率(查詢延遲)之間權衡的技術。

盡管transformer架構和預訓練技術是最近的創新，但它們如何應用于文本排序的許多方面已經被比較好地理解，并代表了成熟的技術。然而，仍然存在許多開放的研究問題，因此，除了為文本排序預先設定訓練transformers的基礎之外，該調研還試圖預測該領域的發展方向。

//www.zhuanzhi.ai/paper/fe2037d3186f4dd1fe3c3ea1fb69f79e

語言是一種固有的時間現象。當我們理解和產生口語時，我們處理不確定長度的連續輸入流。即使在處理書面文本時，我們通常也按順序處理。語言的時代性反映在我們使用的隱喻中;我們談論的是對話流、新聞源和twitter流，所有這些都喚起了這樣一種觀念:語言是一個隨時間展開的序列。這種時間性質反映在我們用來處理語言的算法中。例如，當應用于詞性標注問題時，維特比算法每次遞增地輸入一個單詞，并將沿途收集到的信息傳遞下去。另一方面，我們研究的用于情感分析和其他文本分類任務的機器學習方法沒有這種時間性質——它們假設同時訪問輸入的所有方面。前饋神經網絡尤其如此，包括它們在神經語言模型中的應用。這些完全連接的網絡使用固定大小的輸入，以及相關的權重，一次性捕獲示例的所有相關方面。這使得處理不同長度的序列變得困難，并且無法捕捉語言的重要時間方面。

本章涵蓋了兩個密切相關的深度學習架構，旨在解決這些挑戰:循環神經網絡和transformer網絡。這兩種方法都具有直接處理語言的順序性質的機制，允許它們處理可變長度的輸入，而不使用任意固定大小的窗口，并捕獲和利用語言的時間性質。

Transformer是一種主要基于自注意力機制的深度神經網絡，最初應用于自然語言處理領域。受Transformer強大的表征能力的啟發，研究人員提出將Transformer擴展到計算機視覺任務中。與卷積網絡和循環網絡等其他網絡類型相比，基于Transformer的模型在各種視覺基準上都具有競爭力，甚至表現出了更好的性能。在本文中，作者對這些視覺變換器模型進行了文獻綜述，將它們按照不同的任務進行分類，并分析了這些方法的優缺點。具體來說，主要包括基礎圖像分類（basic image classification）、高級視覺（high-level vision）、低級視覺（low-level vision）和視頻處理（video processing）。由于自注意力（self-attention）是變換器中的基礎部件，作者簡要重新審視了自注意力在計算機視覺中的位置。為變換器推向實際應用，本文包含了高效的變換器方法。最后，作者給出了視覺變換器的未來研究方向。

//arxiv.org/abs/2012.12556

深度神經網絡已成為現代人工智能系統的基礎設施。針對不同的任務，已經提出了不同的網絡類型。多層感知(Multi-layer perception, MLP)或稱全連接(full - connected, FC)網絡是由多個線性層和非線性激活疊加而成的經典神經網絡[104,105]。卷積神經網絡(CNNs)引入了卷積層和池化層，用于處理圖像等位移不變數據[68,65]。循環神經網絡(RNNs)利用循環細胞來處理順序數據或時間序列數據[106,49]。Transformer是一種新提出的神經網絡，主要利用自注意力機制[5,90]來提取內在特征[123]。其中轉換器網絡是新近發明的一種神經網絡，在人工智能方面具有廣泛的應用潛力。

Transformer最初應用于自然語言處理(natural language processing, NLP)任務，并帶來了顯著的改進[123,29,10]。例如，Vaswani等人[123]首先提出了完全基于注意力機制的轉換器，用于機器翻譯和英語分析任務。Devlin等人[29]引入了一種新的語言表示模型，稱為BERT，該模型通過聯合調節左右上下文，從未標記的文本中預訓練一個Transformer。BERT在當時的十一個NLP任務中獲得了最先進的結果。Brown等人[10]在45TB壓縮純文本數據上預訓練了一個具有1750億參數的基于巨型Transformer的GPT-3模型，在不進行微調的情況下，在不同類型的下游自然語言任務上實現了強大的性能。這些基于Transformer的模型顯示了較強的表示能力，并在自然語言處理領域取得了突破。

受自然語言處理中transformer 功能的啟發，近年來研究人員將transformer 擴展到計算機視覺任務中。CNN曾經是視覺應用的基礎組件[47,103]，但transformer作為CNN的替代品正在表現出它的能力。Chen等人[18]訓練序列轉換器進行自回歸預測像素，實現與CNN在圖像分類任務上的相匹配結果。ViT是Dosovitskiy等人[31]最近提出的一種視覺transformer 模型，它將純transformer 直接應用于圖像貼片序列，在多個圖像識別基準上獲得了最先進的性能。除了基本的圖像分類，transformer還被用于解決更多的計算機視覺問題，如目標檢測[14,155]、語義分割、圖像處理和視頻理解。由于其優異的性能，越來越多的基于transformer的模型被提出用于改進各種視覺任務。

基于transformer的視覺模型如雨后春筍般涌現，這讓我們很難跟上新發展的步伐。因此，對現有工作的調研是有益的，對社區是有益的。在本文中，我們對視覺transformer的最新進展進行了全面的概述，并討論了進一步改進的潛在方向。為了獲得更好的存檔并方便不同主題的研究人員，我們按應用場景對transformer模型進行分類，如表1所示。具體來說，主要內容包括基本圖像分類、高級視覺、低級視覺和視頻處理。高級視覺處理圖像中看到的東西的解釋和使用[121]，如對象檢測、分割和車道檢測。已經有許多transformer模型解決這些高級視覺任務，如DETR[14]，用于目標檢測的變形DETR[155]和用于分割的Max-DeepLab[126]。低級別圖像處理主要涉及從圖像(通常表示為圖像本身)[35]中提取描述，其典型應用包括超分辨率、圖像去噪和樣式轉換。很少有研究[17,92]在低級視覺中使用transformer，需要更多的研究。除了基于圖像的任務外，視頻處理也是計算機視覺的一個重要部分。由于視頻的時序性，transformer自然可以應用于視頻中[154,144]。與傳統的CNN或RNNs相比，Transformer在這些任務上開始表現出具有競爭力的性能。本文對基于Transformer的可視化模型的研究工作進行了綜述，以跟上這一領域的發展步伐。視覺Transformer的開發時間表如圖所示，我們相信會有越來越多的優秀作品被鐫刻在里程碑上。

本文的其余部分組織如下。第二節首先制定了自注意力機制和標準transformer。我們在第三節中描述了在自然語言處理中transformer的方法，因為研究經驗可能有助于視覺任務。接下來，第四部分是本文的主要部分，總結了圖像分類、高級視覺、低級視覺和視頻任務上的視覺變形模型。我們還簡要回顧了CV的自注意力機制和高效Transformer方法，因為它們與我們的主題密切相關。最后，對全文進行了總結，并對今后的研究方向和面臨的挑戰進行了討論。

與卷積神經網絡相比，Transformer 以其優異的性能和巨大的潛力成為計算機視覺領域的研究熱點。為了發現和利用Transformer的效用，正如在調研中總結的那樣，近年來已經提出了一些解決方案。這些方法在基礎圖像分類、高級視覺、低級視覺和視頻處理等視覺任務中表現出優異的性能。然而，計算機視覺Transformer的潛力還沒有被充分發掘，還有一些挑戰有待解決。

雖然研究者們已經提出了許多基于Transformer的模型來處理計算機視覺任務，但這些工作只是初步的解決方案，還有很大的改進空間。例如，ViT[31]的transformer 架構遵循NLP的標準transformer [123]。針對CV的改進版本還有待探索。除此之外，transformer 還需要應用在更多的任務上。

此外，現有的視覺transformer 模型大多是針對單一任務而設計的。許多NLP模型，如GPT-3[10]，都顯示了transformer在一個模型中處理多個任務的能力。在CV區域的IPT[17]還能夠處理多個低分辨率的視覺任務，如超分辨率、圖像去噪和去噪。我們認為，只有一種模式可以涉及更多的任務。最后，開發高效的CV轉換器模型也是一個有待解決的問題。transformer 模型通常是巨大的和計算昂貴的，例如，基本的ViT模型[31]需要180億次浮點運算來處理一個圖像。相比之下，輕量級的CNN模型GhostNet[44,45]只需約6億次FLOPs就能達到類似的性能。雖然有幾種壓縮transformer 的方法，但它們的復雜性仍然很大。而這些最初為自然語言處理設計的方法可能并不適用于CV。

視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此，多年來出現了一系列廣泛的方法，這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述，但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域，如計算機視覺、自然語言處理等。然而，這項調查關注的是深度學習是如何改進的，并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外，還討論了常用的數據集以及常用的評價指標。然后，對最近的研究方法進行了綜合討論，以提供未來研究的方向和可能的領域。

//arxiv.org/abs/2009.14146

摘要

Transformer模型架構最近引起了極大的興趣，因為它們在語言、視覺和強化學習等領域的有效性。例如，在自然語言處理領域，Transformer已經成為現代深度學習堆棧中不可缺少的主要部分。最近，提出的令人眼花繚亂的X-former模型如Linformer, Performer, Longformer等這些都改進了原始Transformer架構的X-former模型，其中許多改進了計算和內存效率。為了幫助熱心的研究人員在這一混亂中給予指導，本文描述了大量經過深思熟慮的最新高效X-former模型的選擇，提供了一個跨多個領域的現有工作和模型的有組織和全面的概述。

關鍵詞：深度學習，自然語言處理，Transformer模型，注意力模型

介紹

Transformer是現代深度學習領域中一股強大的力量。Transformer無處不在，在語言理解、圖像處理等許多領域都產生了巨大的影響。因此，在過去的幾年里，大量的研究致力于對該模型進行根本性的改進，這是很自然的。這種巨大的興趣也刺激了對該模式更高效變體的研究。

最近出現了大量的Transformer模型變體，研究人員和實踐者可能會發現跟上創新的速度很有挑戰性。在撰寫本文時，僅在過去6個月里就提出了近12種新的以效率為中心的模式。因此，對現有文獻進行綜述，既有利于社區，又十分及時。

自注意力機制是確定Transformer模型的一個關鍵特性。該機制可以看作是一種類似圖的歸納偏差，它通過基于關聯的池化操作將序列中的所有標記連接起來。一個眾所周知的自注意力問題是二次時間和記憶復雜性，這可能阻礙模型在許多設置的可伸縮性。最近，為了解決這個問題，出現了大量的模型變體。以下我們將這類型號命名為“高效Transformers”。

根據上下文，可以對模型的效率進行不同的解釋。它可能指的是模型的內存占用情況，當模型運行的加速器的內存有限時，這一點非常重要。效率也可能指計算成本，例如，在訓練和推理期間的失敗次數。特別是對于設備上的應用，模型應該能夠在有限的計算預算下運行。在這篇綜述中，我們提到了Transformer在內存和計算方面的效率，當它們被用于建模大型輸入時。

有效的自我注意力模型在建模長序列的應用中是至關重要的。例如，文檔、圖像和視頻通常都由相對大量的像素或標記組成。因此，處理長序列的效率對于Transformer的廣泛采用至關重要。

本篇綜述旨在提供這類模型的最新進展的全面概述。我們主要關注的是通過解決自我注意力機制的二次復雜性問題來提高Transformer效率的建模進展和架構創新，我們還將在后面的章節簡要討論一般改進和其他效率改進。

本文提出了一種高效Transformer模型的分類方法，并通過技術創新和主要用例對其進行了表征。特別地，我們回顧了在語言和視覺領域都有應用的Transformer模型，試圖對各個領域的文獻進行分析。我們還提供了許多這些模型的詳細介紹，并繪制了它們之間的聯系。

近年來, 隨著海量數據的涌現, 可以表示對象之間復雜關系的圖結構數據越來越受到重視并給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用于諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基于空間方法的圖神經網絡模型、基于譜方法的圖神經網絡模型和基于生成方法的圖神經網絡模型等,并提出可供未來進一步研究的問題.

//engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

圖是對對象及其相互關系的一種簡潔抽象的直觀數學表達. 具有相互關系的數據—圖結構數據在眾多領域普遍存在, 并得到廣泛應用. 隨著大量數據的涌現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方面有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵復雜特征和 實現對海量數據的快速處理等方面, 例如, 預測化學分子的特性 [1]、文本的關系提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.

圖神經網絡的概念最早于 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用于處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此后, 陸續有關于圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.

目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重于將所述各種方法置于一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 并根據發展歷史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 并將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 并總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.

本文將對圖神經網絡模型的理論及應用進行綜述, 并討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在于, 我們給出新的分類標準, 并且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基于空間方法的圖神經網絡、基于譜方法的圖神經網絡和基于生成方法的圖神經網絡等; 然后介紹模型在節點分類、鏈路預測和圖生成等方面的應用; 最后提出未來的研究方向.

Attention模型目前已經成為神經網絡中的一個重要概念，注意力模型（AM）自機器翻譯任務【Bahdanau et al 2014】首次引入進來，現在已經成為主流的神經網絡概念。這一模型在研究社區中非常受歡迎，適用領域非常廣泛，包括自然語言處理、統計學習、語音和計算機視覺方面的應用。本篇綜述提供了關于注意力模型的全面概述，并且提供了一種將現有注意力模型進行有效分類的分類法，調查了用于不同網絡結構的注意力模型，并顯示了注意力機制如何提高模型的可解釋性，最后，討論了一些受到注意力模型較大影響的應用問題。

異常檢測是一個在各個研究領域和應用領域內得到廣泛研究的重要問題。本研究的目的有兩個方面：首先，我們對基于深度學習的異常檢測的研究方法進行了系統全面的綜述。此外，我們還回顧了這些方法對不同應用領域異常的應用，并評估了它們的有效性。我們根據所采用的基本假設和方法，將最先進的研究技術分為不同的類別。在每一類中，我們概述了基本的異常檢測技術，以及它的變體，并給出了關鍵的假設，以區分正常行為和異常行為。對于我們介紹的每一類技術，我們還介紹了它們的優點和局限性，并討論了這些技術在實際應用領域中的計算復雜性。最后，我們概述了研究中的未決問題和采用這些技術時所面臨的挑戰。

在過去的幾年里，自然語言處理領域由于深度學習模型的大量使用而得到了發展。這份綜述提供了一個NLP領域的簡要介紹和一個快速的深度學習架構和方法的概述。然后，篩選了大量最近的研究論文，并總結了大量相關的貢獻。NLP研究領域除了計算語言學的一些應用外，還包括幾個核心的語言處理問題。然后討論了目前的技術水平，并對該領域今后的研究提出了建議。