亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

無源無監督領域自適應（SFUDA）旨在將預先訓練的源模型適配到未標記的目標域，而無需訪問標記良好的源數據，由于數據隱私、安全和傳輸問題，SFUDA有廣闊的應用領域。來自北卡羅來納大學教堂山分校等學者發布了《無源領域自適應綜述》，現有的SFUDA方法進行了及時和系統的文獻綜述

基于深度學習的無監督域適應(UDA)因解決不同域之間分布差異導致的域偏移問題而引起了人們的關注。現有UDA方法高度依賴源域數據的可訪問性，而在實際場景中，由于隱私保護、數據存儲和傳輸成本以及計算負擔等原因，可訪問性通常受到限制。為了解決這一問題，近年來提出了許多無源無監督域適應(source-free unsupervised domain adaptation，簡稱SFUDA)方法，在源數據不可訪問的情況下，從預訓練的源模型到無標記的目標域進行知識遷移。全面回顧這些研究工作具有重要意義。本文從技術角度對現有的SFUDA方法進行了及時和系統的文獻綜述。將當前的SFUDA研究分為兩組，即白盒SFUDA和黑盒SFUDA，并根據其使用的不同學習策略進一步將其劃分為更細的子類別。研究了每個子類別中方法的挑戰，討論了白盒和黑盒SFUDA方法的優缺點，總結了常用的基準數據集，并總結了不使用源數據提高模型泛化能力的流行技術。最后討論了該領域未來的研究方向。

//www.zhuanzhi.ai/paper/5eb2bf0d19cacbe56e88f7f3682ff005

1. 引言

基于深度神經網絡和表示學習的深度學習是近年來興起的一項有前途的技術，并取得了顯著進展，涵蓋了計算機視覺[1]、[2]、醫療數據分析[3]、[4]、自然語言處理[5]、[6]等領域。對于具有多個域(例如，不同的數據集或成像站點)的問題，深度神經網絡的典型學習過程是將源域上學習到的模型遷移到目標域。然而，當源域和目標域之間存在分布差距時，通常會觀察到性能下降，稱為"域偏移"問題[7]-[9]。針對這一問題，各種域適應算法[10]、[11]被提出，通過減少域間分布差異來進行知識遷移。為了避免密集的數據標注負擔，無監督域自適應已經取得了很大的進展[12]-[15]。如圖1 (a)所示，無監督域適應旨在在不訪問任何目標標簽信息的情況下，將知識從有標簽的源域遷移到目標域。現有的無監督領域自適應深度學習研究高度依賴源數據的可訪問性，在實際場景中通常受到限制，可能存在以下原因。(1)數據隱私保護。出于隱私和安全保護的考慮，許多包含機密信息的源數據集，如醫療數據、面部數據等，無法向第三方提供。(2)數據存儲和傳輸成本。ImageNet[16]等大規模源數據集的存儲和傳輸會帶來很大的經濟負擔。**(3)計算量。**在非常大的源數據集上進行訓練需要很高的計算資源，這是不現實的，尤其是在實時部署的情況下。因此，對無源無監督域適應(SFUDA)方法有很高的需求，這些方法在不訪問任何源數據[17]-[20]的情況下，將預訓練的源模型遷移到未標記的目標域。最近，許多有前途的SFUDA算法被開發出來，以解決語義分割[21]、圖像分類[22]、目標檢測[23]、人臉防偽[24]等領域的問題。迫切需要對當前sfudda研究的全面回顧和對未來研究方向的展望。Liu et al.[25]對無數據知識轉移進行了綜述，其中SFUDA只占了綜述的一部分，SFUDA的分類總體上比較粗糙。在過去的一年中出現了大量相關的研究，但相關的論文并未包括在該調查中。此外，他們的工作沒有涵蓋該研究領域常用的數據集。

為了填補這一空白，本文對現有的無源無監督領域自適應深度學習研究進行了及時而全面的文獻綜述。我們的目標是覆蓋過去幾年的SFUDA研究，并提供一個詳細和系統的SFUDA分類。具體而言，將現有的SFUDA方法分為兩大類:(1)白盒SFUDA，如圖1 (b)所示;(2)黑盒SFUDA，如圖1 (c)所示。它們之間的區別在于預訓練源模型的模型參數是否可用。根據它們使用的不同學習策略，我們進一步將白盒和黑盒SFUDA方法細分為更細的類別，總體分類如圖2所示。討論了每個類別中方法的挑戰和見解，對白盒和黑盒SFUDA方法進行了全面的比較，總結了該領域常用的數據集以及提高不同領域模型泛化能力的流行技術。需要指出的是，SFUDA仍處于蓬勃發展中，因此我們進一步討論了面臨的主要挑戰，并提出了未來可能的發展方向。

**本綜述的其余部分組織如下。**第2節和第3節分別回顧了現有的白盒和黑盒SFUDA方法。在第4節中，我們比較了白盒和黑盒SFUDA，并提出了提高模型泛化性的有用策略。第5節討論了現有研究面臨的挑戰和未來的研究方向。最后，在第6節對本文進行總結。2. 白盒與黑盒無源無監督域自適應將ΦS表示為經過標記的源域{XS, YS}訓練好的源模型，其中XS和YS分別表示源數據和相應的標簽信息。將{XT}表示為只有目標樣本XT的未標記目標域。SFUDA的目標是學習一個目標模型ΦT，以改進基于預訓練的源模型ΦS和未標記的目標數據XT的目標推理。在白盒無源域自適應設置中，源數據(即XS和YS)無法訪問，但源模型ΦS的訓練參數可用。如圖2中上所示，現有的SFUDA白盒研究可分為兩類: 數據生成方法(Data Generation Method)和模型微調方法(Model Fine-Tuning Method)。與白盒方法不同的是，在黑盒無源域適應的設置下，源數據{XS, YS}和源模型的詳細參數ΦS都是不可訪問的。只有來自源模型ΦS的目標數據XT的硬模型或軟模型預測用于域適應。根據黑盒預測器的使用，現有的黑盒SFUDA研究主要可以分為三類:自監督知識蒸餾、偽標簽去噪和生成分布對齊方法，

通過比較現有的白盒和黑盒SFUDA方法，我們有以下有趣的觀察。

• 與無法訪問任何源參數的黑盒SFUDA相比，白盒SFUDA能夠挖掘更多的源知識(如批量統計信息)，從而促進更有效的領域適應。

= 白盒SFUDA方法可能存在數據隱私泄露問題[118]。例如，Yin等人[190]揭示，可以通過深度反演技術根據源圖像分布恢復原始數據。使用隸屬度推斷攻擊策略[191]、[192]，可以推斷給定樣本是否存在于訓練數據集中，從而泄露隱私信息。黑盒SFUDA可以保護數據隱私，因為只有應用程序編程接口(API)是可訪問的，而詳細的模型權重被保留，但可能會受到跨域適應的性能下降。

• 大多數白盒SFUDA方法假設模型架構在源域和目標域之間是共享的，而黑盒SFUDA方法試圖設計特定于任務的目標模型進行知識遷移。黑盒SFUDA方法中這種靈活的模型設計對于計算資源較少的目標用戶非常有用，因為他們可以設計更高效和輕量級的目標模型進行域適應。

• 黑箱SFUDA方法既不需要數據合成也不需要模型微調，這有助于加速模型訓練的收斂過程。相比之下，白盒方法通常是計算密集型和耗時的。例如，有報道稱一種黑盒SFUDA方法[126]的計算量為0.83s，而兩種競爭的白盒方法的計算量分別為3.17s[94]和22.43s[193]，反映了黑盒SFUDA的計算效率。

總之，在使用白盒和黑盒SFUDA方法時，我們必須在獲得更好的性能、保護機密信息和減少計算和內存成本之間進行權衡。

[1] A. Voulodimos, N. Doulamis, A. Doulamis, and E. Protopapadakis, “Deep learning for computer vision: A brief review,”Computational Intelligence and Neuroscience, vol. 2018, 2018. [2] M. Hassaballah and A. I. Awad, Deep learning in computer vision: Principles and applications. CRC Press, 2020. [3] D. Shen, G. Wu, and H.-I. Suk, “Deep learning in medical image analysis,” Annual Review of Biomedical Engineering, vol. 19, p. 221,2017. [4] G. Litjens, T. Kooi, B. E. Bejnordi, A. A. A. Setio, F. Ciompi,M. Ghafoorian, J. A. Van Der Laak, B. Van Ginneken, and C. I.Sanchez, “A survey on deep learning in medical image analysis,” ′ Medical Image Analysis, vol. 42, pp. 60–88, 2017.

IJCAI 大會將 7 月23日到29日在奧地利維也納舉辦。IJCAI 2022 共收到 4535 篇提交，最終接收率為 15%，對比去年 13.9% 的接收率有所提高。來自微軟研究院、香港城市大學和南洋理工等最新IJCAI2022《領域泛化》教程，介紹了領域泛化(DG)的最新進展，非常值得關注！

機器學習模型在很大程度上依賴于海量訓練數據的可用性。對于資源匱乏、標簽良好的數據難以獲取的場景，進行跨領域知識轉移非常重要，即從現有領域向目標領域進行知識轉移。針對這一問題，遷移學習和領域適應研究取得了很大進展。除了這些進步之外，學習能夠在任何新的看不見的環境中很好地推廣的模型也是非常重要的。這促使研究社區開發算法，以更好地利用現有的訓練領域，同時處理它們的分布轉移。

本教程致力于介紹領域泛化(DG)的最新進展。與假設目標域數據可用性的遷移學習和域適應不同，DG更進一步，不需要訪問目標數據。DG的目的是從一個或多個具有不同概率分布的訓練域學習一個廣義模型，并能很好地實現非分布泛化。潛在受眾將是機器學習研究人員和行業從業者，對遷移學習、領域適應和泛化特別感興趣。我們的教程旨在使這些技術在實際應用中更容易學習和使用。

//dgresearch.github.io/ 視頻： 代碼：

引言 Introduction and background * 相關研究 Related research areas * 領域泛化 Methodology of DG * 應用 Applications * 數據集 Datasets, benchmarks, and evaluations * 理論與未來挑戰，Theory and future challenges

領域泛化問題與領域自適應（Domain Adaptation, DA）最大的不同：領域自適應在訓練中，源域和目標域數據均能訪問（無監督領域自適應中則只有無標記的目標域數據）；而在領域泛化問題中，我們只能訪問若干個用于訓練的源域數據，測試數據是不能訪問的。毫無疑問，領域泛化是比領域自適應更具有挑戰性和實用性的場景：畢竟我們都喜歡「一次訓練、到處應用」的足夠泛化的機器學習模型。

例如，在下圖中，領域自適應問題假定訓練集和測試集都可以在訓練過程中被訪問，而領域泛化問題中則只有訓練集。

圖1：PACS數據集中領域泛化示例。訓練集數據由簡筆畫、卡通畫、藝術畫作構成的圖片。領域泛化的目的是學習一個在未知目標域中表現良好的泛化模型。

領域泛化問題的示意圖如下所示，其形式化定義如下：

圖2：領域泛化示意圖

領域泛化不僅與領域自適應問題有相似之處，其與多任務學習、遷移學習、元學習、終身學習等，都有一些類似和差異之處。我們在下表中對它們的差異進行了總結。

表1：領域泛化與其它相關學習范式對比

領域泛化方法是我們的核心。我們將已有的領域泛化方法按照數據操作、表征學習、學習策略分為三大方面，如下圖所示。

圖3：領域泛化方法分類

其中：

• . 數據操作，指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。
• . 表征學習，指的是學習領域不變特征（Domain-invariant representation learning）以使得模型對不同領域都能進行很好地適配。領域不變特征學習方面主要包括四大部分：核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化（Invariant Risk Minimiation, IRM）。特征解耦與領域不變特征學習的目標一致、但學習方法不一致，我們將其單獨作為一大類進行介紹。
• . 學習策略，指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基于集成學習和元學習的方法。同時，我們還會介紹其他方法，例如自監督方法在領域泛化中的應用。

在文章中，我們對每大類方法都進行了詳細地介紹與總結。

來自香港科技大學、IDEA、中科院、清華、微軟等發表《視覺語言智能》綜述論文，從時間的角度對視覺語言智能進行了全面的研究。非常值得關注！

本文從時間的角度對視覺語言智能進行了全面的研究。這項研究的靈感來自于計算機視覺和自然語言處理的顯著進展，以及從單一模態處理到多模態理解的最新趨勢。我們將這一領域的發展總結為三個時期，即任務特定方法，視覺語言預訓練(VLP)方法，以及由大規模弱標記數據訓練的大模型。我們首先以一些常見的VL任務為例，介紹了特定于任務的方法。然后我們重點介紹了VLP方法，并全面回顧了模型結構和訓練方法的關鍵組成部分。之后，我們展示了最近的工作是如何利用大規模的原始圖像-文本數據來學習語言對齊的視覺表示，這種視覺表示在零或少數樣本學習任務中得到了更好的泛化。最后，我們討論了在模態協同、統一表示和知識整合方面的一些潛在的未來趨勢。我們相信這篇綜述將有助于人工智能和ML的研究人員和實踐者，特別是那些對計算機視覺和自然語言處理感興趣的人。

引言

計算機視覺(CV)和自然語言處理(NLP)是人工智能(AI)的兩個分支，它們專注于在視覺和語言上模擬人類智能。近十年來，深度學習在這兩個領域極大地推進了單模態學習，并在一系列任務上取得了最先進的成果。深度學習的顯著進步的核心在于快速發展的GPU和大規模數據集的可用性，這允許在大規模上加速深度模型的訓練。

隨著深度學習的發展，我們看到了一系列功能強大的神經網絡的發展。傳統的神經網絡通常是多層感知器(MLP)，由多個堆疊的線性層和非線性激活組成(Rosenblatt, 1957, 1961)。LeCun等人(1998)提出了卷積神經網絡(CNN)，將平移不變特性作為對2D視覺輸入更好的誘導偏差，這啟發了大量的深度神經網絡，包括AlexNet (Krizhevsky et al.， 2012)、VGGNet (Simonyan and Zisserman, 2015a)、googlet (Szegedy et al.， 2015)、和ResNet (He et al.， 2016a)。另一個突出的突破是自然語言處理(NLP)領域的循環神經網絡(RNN)，它提出了循環細胞用于順序數據建模(Rumelhart et al., 1985; Hochreiter and Schmidhuber, 1997a)。為了緩解長序列訓練中梯度的消失和爆炸問題，提出了RNN的一種變體LSTM (Hochreiter and Schmidhuber, 1997a)和LSTM的一種更高效的版本GRU (Chung et al.， 2014)。NLP的另一個重大突破是Transformer (Vaswani et al.， 2017)，它利用注意力機制追求更好的語言表征。使用多個堆疊的注意力層，Transformer可以以高并行性在全局范圍內融合語言標記上的信息，這有利于強大的表示和大規模的訓練。

雖然在單一模態領域取得了令人鼓舞的進展，但現實世界的問題往往涉及多種模態。例如，自動駕駛汽車應該能夠處理人類的命令(語言)、交通信號(視覺)、道路狀況(視覺和聲音)。即使是單模態學習也能從多模態學習中受益。例如，語言學習需要感知，而感知是許多語義公理的基礎(Bisk et al.， 2020)。感知是人類理解物質世界的方式，決定了人類語言背后的假設。因為我們都聽到和看到同樣的事情，我們會留下一些知識作為常識，這些知識在我們的語言中是不成文的(Bisk et al.， 2020)。即使局限于語言，言語也比文本包含更多有用的信息，例如，韻律可以暗示情感。注意到多模態感知在多模態和單模態任務中都有幫助，有大量的研究工作。多模的領域內, 視覺和語言的集成得到太多的關注, 因為視覺是人類最重要的感知理解環境和l語言對齊視覺特征可以極大地提高視覺任務的表現和視覺語言任務。此外，視覺語言智能的普及還得益于該領域豐富的數據集和基準。

解決許多特定于任務的VL問題的動力推動了VL學習的初步發展。這些VL問題包括圖像描述、視覺問答(VQA)、圖像-文本匹配等。Xu et al. (2015); Karpathy et al. (2014); Vinyals et al. (2015)集成了一個CNN圖像編碼器和一個RNN文本解碼器用于圖像描述。Antol et al. (2015); Yang et al. (2016); Anderson et al. (2018b) 通過將圖像和文本映射到相同的潛在空間并從潛在表征中預測答案來解決VQA任務。Kiros et al. (2014); Karpathy et al. (2014); Huang et al. (2016); Lee et al. (2018)通過計算圖像和文本在句子級別或標記級別上的相似度來進行圖像-文本匹配。這些模型是為各種數據集的特定問題量身定制的，每個模型只能解決一個任務。

受普遍存在的語言(Devlin et al.， 2018)和視覺的預訓練和微調的啟發，視覺和語言跨學科領域迎來了一個新時代:通過圖像-文本對的預訓練來學習視覺和語言的聯合表征。VLP模型的興起主要是受到了架構設計和訓練方法中的語言模型的啟發。例如，最近的許多研究(Li et al., 2019b; Lu et al., 2019; Zhang et al., 2021; Tan and Bansal, 2019; Li et al., 2020b; Yu et al., 2020; Chen et al., 2020)采用了BERT-like (Devlin et al.， 2018)架構和訓練方法。由于缺乏足夠大規模的人工標注數據，VL學習的發展面臨著嚴峻的挑戰。最近，一些研究(Radford et al., 2021; Jia et al., 2021; Wang et al., 2021; Li et al., 2021b)通過采用對比學習和利用大規模網絡爬行數據學習視覺語言特征，打破了這一限制，這些特征可用于零樣本學習。

VL領域的快速發展推動了對該領域現有研究的全面綜述。本文旨在提供一個結構化的綜述，在VL領域的最新進展，以幫助研究人員獲得一個整體的視圖，并更好地理解最近的研究。我們將VL學習的發展分為三個階段。第一個是從2014年到2018年，專門的模型被設計用于不同的任務。第二個時代是2019年至2021年，在此期間，通過對標記良好的VL數據集進行預訓練，學習視覺和語言的聯合表征。最后，隨著2021年CLIP的出現，第三個時代開始了(Shen等人，2021年)，研究人員尋求在更大的弱標記數據集上預先訓練VL模型，并通過預訓練VL獲得強大的零樣本/少樣本視覺模型。

回顧VL智能的整個發展過程，我們發現總體目標是學習良好的視覺表征。一個好的視覺表示應該具有(Li et al.， 2021b)中總結的三個屬性，即對象級、語言對齊和語義豐富。對象級意味著視覺和語言特性的粒度應該分別與對象級和詞級一樣細。語言對齊強調與語言對齊的視覺特征可以幫助完成視覺任務。語義豐富是指不受領域限制地從大規模數據中學習表示。在VL的第一個時代，研究工作的目的是解決具體的問題，而不是學習上述好的表征。在第二個時代，研究人員訓練模型的圖像-文本對，以獲得語言對齊的視覺特征。這個時代的一些作品采用檢測到的區域作為圖像表示，學習對象級的特征。只有在第三時代，研究人員才能處理大規模的數據集和預訓練的語義豐富的特征。

據我們所知，這是第一次從時間段的角度總結研究的VL綜述。本文的其余部分組織如下。我們從VL中的一些特定于任務的問題開始，如第二節中的圖像標題、VQA和圖像-文本檢索。然后，我們在第三節中全面解釋了預訓練增強的視覺-語言聯合表征學習。在第六節中，我們展示了一些直接從原始圖像-文本數據學習語言對齊的視覺表示的工作，以及大規模的視覺語言訓練。

VLP方法發展概覽

與特定任務問題的比較。任務分為四類。對于每個任務，我們總結了輸入、輸出、數據集、度量和主流方法。

未來發展

在過去的幾年中，我們見證了VLP模型如何擴展到使用大量弱標記和更多樣化的數據。在未來，模型和數據將繼續擴大，以實現更強的模態協作，甚至統一表示。此外，知識的整合可以進一步增強VLP模型的泛化能力。在本節中，我們將討論這些未來的趨勢。

模態合作

除了利用VL數據集改進跨模態任務外，模態合作還出現在訓練前以提高單模態任務和多模態任務的性能。模態合作是幫助不同模態的人互相幫助，學習更好的表現。例如，用視覺數據改進語言任務，用單模態數據改進跨模態任務

通用統一模態

由于Transformer架構，研究人員在單模態和多模態表示學習方面都取得了顯著進展。在前幾節中，我們討論了多模態表示和模態合作，它們以不同的方式連接視覺和語言。一個更雄心勃勃的目標是建立一個通用的表示模型，它可以統一多種模態。

VL+知識

許多VL任務需要常識和事實信息超出訓練數據集。

最近的研究表明，許多NLP系統對輸入的微小擾動非常敏感和脆弱，并且不能很好地在不同的數據集上進行泛化。這種魯棒性的缺乏阻礙了NLP系統在真實應用中的使用。本教程旨在讓人們意識到有關NLP魯棒性的實際問題。它的目標是對構建可靠的NLP系統感興趣的NLP研究人員和實踐者。特別地，我們將回顧最近關于分析NLP系統在面對對抗輸入和分布轉移數據時的弱點的研究。我們將為觀眾提供一個全面的視角

如何使用對抗性的例子來檢查NLP模型的弱點并促進調試; 如何增強現有NLP模型的魯棒性和對抗輸入的防御; 對魯棒性的考慮如何影響我們日常生活中使用的真實世界的NLP應用。 我們將通過概述這一領域未來的研究方向來結束本教程。

//robustnlp-tutorial.github.io

摘要：

域泛化(DG)，即分布外泛化，近年來引起了越來越多的關注。領域泛化處理一個具有挑戰性的設置，其中給出了一個或幾個不同但相關的領域，目標是學習一個可以泛化到看不見的測試領域的模型。近年來，取得了很大的進展。本文首次綜述了領域泛化的最新進展。首先，我們給出了領域泛化的形式化定義，并討論了幾個相關的領域。接下來，我們對領域泛化的相關理論進行了全面的回顧，并對泛化背后的理論進行了仔細的分析。然后，我們將最近出現的算法分為三類，分別是數據操作、表示學習和學習策略，每一類都包含了一些流行的算法。第三，介紹了常用的數據集及其應用。最后，對已有文獻進行了總結，并提出了未來的研究方向。

//www.zhuanzhi.ai/paper/5b8b8958327cabc8b6694d7fc5c7ac75

引言

機器學習(ML)在計算機視覺、自然語言處理和醫療保健等各個領域都取得了顯著的成功。ML的目標是設計一個可以從訓練數據中學習通用和預測性知識的模型，然后將該模型應用于新的(測試)數據。

傳統的ML模型訓練基于i.i.d.假設，訓練數據和測試數據是相同的，獨立分布的。然而，這種假設在現實中并不總是成立的。當訓練數據和測試數據的概率分布不同時，由于域分布的差異，ML模型的性能往往會下降。收集所有可能領域的數據來訓練ML模型是昂貴的，甚至是不可能的。因此，提高ML模型的泛化能力具有重要的工業和學術意義。

與廣義相關的研究課題有很多，如領域適應、元學習、遷移學習、協變量轉移等。近年來，領域泛化(DG)受到了廣泛的關注。如圖1所示，領域泛化的目標是從一個或幾個不同但相關的領域(即不同的訓練數據集)學習模型，這些領域將在看不見的測試領域上很好地泛化。

圖片

近年來，領域泛化在計算機視覺、自然語言處理等領域取得了長足的進展。除此之外，目前還沒有一項關于該領域的調查能夠全面介紹和總結其主要思想、學習算法等相關問題，為未來的研究提供見解。

本文首先介紹了領域泛化的研究概況，重點介紹了領域泛化的公式、理論、算法、數據集、應用以及未來的研究方向。希望本研究能為相關研究者提供一個全面的回顧，并對相關領域的研究有所啟發。

本文的結構組織如下。我們將在第2節中闡述領域概括并討論其與現有研究領域的關系。第3節介紹了領域泛化的相關理論。在第4節中，我們詳細描述了有代表性的DG方法。第5節介紹了應用程序，第6節介紹了DG的基準數據集。我們在第7節中總結了現有工作的見解，并提出了一些可能的未來方向。最后，在第8節對本文進行總結。

方法體系

領域泛化方法是我們的核心。本文將已有的領域泛化方法按照數據操作、表示學習、學習策略分為三大方面，如下圖所示。

數據操作，指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。

表示學習，指的是學習領域不變特征(Domain-invariant representation learning)以使得模型對不同領域都能進行很好地適配。領域不變特征學習方面主要包括四大部分：核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化(Invariant Risk Minimiation, IRM)。特征解耦與領域不變特征學習的目標一致、但學習方法不一致，我們將其單獨作為一大類進行介紹。 學習策略，指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基于集成學習和元學習的方法。同時，我們還會介紹其他方法，例如自監督方法在領域泛化中的應用。

在本教程中，我們旨在全面介紹專門為異常檢測(深度異常檢測)而設計的深度學習技術的進展。

深度學習在轉換許多數據挖掘和機器學習任務方面取得了巨大的成功，但由于異常具有一些獨特的特征，如罕見性、異質性、無限性以及收集大規模異常數據的高昂成本，目前流行的深度學習技術并不適用于異常檢測。

通過本教程，讀者將對該領域有一個系統的概述，了解目前最先進的12種不同類型的深度異常檢測方法的主要要點、目標函數、基本假設、優缺點，并認識到其在不同領域的廣泛適用性。我們還討論了當前的深度異常檢測方法可以從多個不同的角度解決和展望該領域的挑戰。

任何對深度學習、異常/離群值/新奇檢測、分布外檢測、帶有有限標記數據的表示學習以及自我監督表示學習感興趣的讀者，都會發現參加本教程非常有幫助。

金融、網絡安全、醫療保健領域的研究人員和從業者也會發現該教程在實踐中有幫助。

異常檢測，幾十年來一直是各個研究領域中一個持續而活躍的研究領域。但仍然有一些獨特的問題、復雜性和挑戰需要先進的方法。近年來，將深度學習應用于異常檢測(即深度異常檢測)已經成為關鍵方向。本文回顧了深度異常檢測方法的研究進展，并對檢測方法進行了分類，包括3個高級類別和11個細粒度類別。本文回顧了檢測方法的主要intuitions、目標函數、基本假設、優勢和劣勢，并討論了他們如何應對上述挑戰。并且進一步討論了一系列未來可能的機遇和應對挑戰的新觀點。

異常檢測，又稱離群值檢測或新穎性檢測，是指檢測與大多數數據實例顯著偏離的數據實例的過程。幾十年來，異常探測一直是一個活躍的研究領域，早期的探測可以追溯到20世紀60年代的[52]。由于在風險管理、合規、安全、金融監控、健康和醫療風險、人工智能安全等廣泛領域的需求和應用日益增長，異常檢測在數據挖掘、機器學習、計算機視覺和統計等各個領域發揮著越來越重要的作用。近年來，深度學習在學習高維數據、時間數據、空間數據和圖形數據等復雜數據的表達表示方面顯示出了巨大的能力，推動了不同學習任務的邊界。深度學習異常檢測，簡稱深度異常檢測，目的是通過神經網絡學習特征表示或異常分數來進行異常檢測。大量的深度異常檢測方法已經被引入，在解決各種現實世界應用中具有挑戰性的檢測問題上，表現出比傳統異常檢測顯著更好的性能。這項工作旨在對這一領域進行全面調研。我們首先討論了異常檢測的問題本質和主要的未解決的挑戰，然后系統地回顧了當前的深度方法及其解決這些挑戰的能力，最后提出了一些未來的機會。