多變量時間序列的異常檢測是許多領域的一個重要問題。系統的日益復雜和數據量的爆炸性增長使其自動化變得至關重要。基于深度學習的方法在檢測方面顯示出良好的效果，但由于其長時間的訓練和有限的魯棒性，并不能滿足工業需求。為了滿足工業需求，本論文提出了一種新的無監督方法，用于多變量時間序列的異常檢測，稱為USAD，基于自動編碼器架構和對抗性訓練。該方法符合工業界對魯棒性和訓練速度的要求，同時在檢測方面達到了最先進的性能。然而，深度神經網絡方法在從數據中提取特征的能力方面受到限制，因為它們只依賴局部信息。因此，為了提高這些方法的性能，本論文提出了一種引入非局部信息的特征工程策略。這一策略在不增加訓練時間的情況下提高了基于神經網絡的方法的性能。鑒于近年來深度學習方法在多變量時間序列異常檢測中的良好表現，研究人員在他們的基準中忽略了所有其他方法，導致所提出的方法的復雜性在目前的出版物中爆炸性增長。這種缺乏與文獻中更常規的方法的比較，不允許斷言基準中報告的進展不是虛幻的，這種不斷增加的復雜性是必要的。為了解決這個問題，本論文提出對多變量時間序列中的16種異常檢測方法進行比較，這些方法分為三類。傳統方法、機器學習方法和基于深度神經網絡的方法。本研究表明，沒有證據表明深度神經網絡是解決這一問題的必要條件。

關鍵詞：異常檢測，時間序列，多變量，深度學習，非監督性

第1章 簡介

1.1 背景和動機

由于數據的大量產生，時間序列及其分析正變得越來越重要。時間序列被用于大量的領域，如工業控制系統[2]、金融[3]和醫療保健[4]。

時間序列分析包括從按時間順序排列的點中提取信息，即時間序列，它可以有多種用途。最常見的是觀察一個變量的歷史，以便進行預測。這涉及到根據以前觀察到的變量值來預測其未來值。另一個常見的目的是發現時間序列之間的關聯性。這允許了解系統中不同變量之間的相互作用。許多其他目標解釋了時間序列分析的普及，如尋找趨勢、周期、季節性變化或檢測異常行為。

檢測意外行為或不符合預期行為的模式是一門活躍的研究學科，稱為時間序列中的異常檢測[5]。異常檢測是一個重要的領域。它包括檢測罕見的事件，或者更普遍的，與大多數數據不同的反常的觀察。這些罕見事件可以是各種類型的，它們存在于多個不同的領域（欺詐性金融交易、醫療問題或網絡入侵）。檢測這些罕見事件是許多領域的一個主要問題。例如，到2020年，檢測銀行交易欺詐可以為全球節省320億美元[6]。因此，對于行業來說，能夠檢測其系統中的異常情況是至關重要的。

本論文關注異常檢測這一關鍵任務。具體來說，它專注于時間序列異常檢測方法的一個子集，即無監督檢測。與監督檢測不同，無監督檢測方法不需要與數據樣本相關的標簽。這樣做的目的是為了檢測與以前觀察到的數據不同的行為[7]。最后，本論文關注多變量時間序列，因為它是最通用的背景，因為單變量時間序列只是2.1.1節中介紹的m=1的多變量背景的一個特例。

在過去的十年中，人們對深度神經網絡（DNNs）的熱情越來越高[8]，這要歸功于它們在潛在的大體積和大維度的復雜數據中推斷高階相關的能力[9, 10]。時間序列中的異常檢測也沒有逃過這一趨勢。基于DNN的方法旨在學習多變量時間序列的深度潛在表征，以推斷出一個變量模型，然后用于對未見數據的異常分級。越來越多地使用DNN架構的理由在于，需要學習多變量數據的時間演化中潛在的復雜數據模式。因此，出現了許多方法，主要是基于遞歸神經網絡來捕捉時間信息[11, 12, 13]。然而，這些方法以犧牲其訓練速度為代價獲得良好的結果。事實上，這些方法都沒有在其性能標準中考慮到訓練時間。這就是為什么有必要開發在異常檢測方面具有與技術水平相當的性能的方法，同時偏重于允許快速和節能的訓練的架構。

與任何機器學習方法一樣，深度學習方法的性能與提取的特征的質量相關[14]。增強時間序列數據的特征工程通常是通過將外部但相關的信息作為一個額外的變量帶到時間序列中來完成。然而，這需要關于測量過程的領域知識。機器學習方法的另一個策略是在時間序列上創建局部特征，如移動平均線或局部最大和最小值。這兩種策略，由于是手工操作，效率不高，耗時長，而且需要很高的領域知識專長[15]。從理論上講，鑒于DNN已被證明具有自動學習局部特征的能力，從而解決了更多傳統統計和機器學習方法的局限性，DNN已成為一種有希望的替代方案。盡管它們具有學習這種局部特征的能力，但事實證明，特征工程可以加速和提高DNN的學習性能[16]，DNN學習的特征的一個內在限制是它們只依賴局部信息。然而，目前文獻中還沒有成熟的方法來解決時間序列的這個問題。

由于DNN在多個領域表現出良好的性能[9, 10, 17, 18]，近年來，基于DNN的多變量時間序列異常檢測方法蓬勃發展（表1.1）。然而，這些工作已經遠離了與更傳統的方法，即機器學習[19]和傳統/統計方法（如[1, 2, 13]）的比較，同時提出了方法上的進步和基于DNN方法的改進性能。這種趨勢鼓勵社區開發更復雜的模型，以提高基于DNN的方法的性能，但沒有任何理論或經驗證據表明這些模型優于文獻中更成熟的方法體系。

基于DNN的模型訓練起來很復雜，涉及大量的參數估計，需要大量的訓練樣本和計算資源。此外，隨著更大的模型不斷被開發，它們的復雜性也在不斷增加。相反，傳統的模型更簡單、更輕便、更容易解釋，而且往往更能適應現實世界應用的限制。因此，關鍵是要確定基于DNN的方法所帶來的復雜性是否是為獲得性能而付出的必要代價，或者近年來報告的進展是虛幻的[20]，應該優先使用傳統方法。由于缺乏涵蓋所有方法系列的一般性比較，無法回答這個問題，阻礙了基于DNN的方法在實際應用中的轉化和使用。目前，文獻中還沒有關于這種特性的完整基準。

表1.1: 2018年至2021年同行評議的基于深度學習的多變量時間序列異常檢測方法

1.2 貢獻

本論文是CIFRE（Convention Industrielle de Formation par la Recherche）的論文，是Orange和EURECOM的合作。Orange是一家法國電信公司。它在全球擁有近2.7億客戶。因此，本論文的貢獻和開發的方法是為了融入Orange的工業環境中。本論文的所有貢獻如下。

• 一種快速而穩定的方法，稱為多變量時間序列的無監督異常檢測（USAD），基于對抗性訓練的自動編碼器。其自動編碼器結構使其能夠進行無監督學習。使用對抗性訓練和它的結構使它能夠在提供快速訓練的同時隔離異常現象。

• 在使用DNN進行異常檢測的情況下，一種新的特征工程策略來增強時間序列數據。其目標是雙重的。首先，將單變量時間序列轉化為多變量時間序列以提高DNN的性能。第二，使用一種特征工程策略，將非本地信息引入時間序列，這是DNN無法學習的。這是通過使用一個叫做Matrix-Profile的數據結構作為一個通用的非瑣碎特征來實現的。矩陣文件允許提取與時間序列的子序列之間的相似性相對應的非本地特征。與每個單獨的方法相比，性能顯示該方法在不增加計算時間的情況下實現了更好的性能。

• 對包括USAD在內的16種傳統的、基于機器學習的和基于深度神經網絡的方法在五個開放的真實世界數據集上的異常檢測性能的研究。對這16種方法中每一種的性能分析和比較表明，沒有哪一種方法的性能優于其他方法。當數據集包含上下文異常或數據集較大時，深層神經網絡似乎表現得更好，而傳統技術在數據集較小時表現得更好。因此，不可能說深度神經網絡優于以前的方法，社區應該重新將這三類方法納入多變量時間序列基準的異常檢測中。

1.3 論文結構

本節對以下各章的內容進行了總結：

• 第二章主要分為兩部分。第一部分介紹了時間序列和它們的特征。第二部分專門討論時間序列中的異常檢測，并介紹了分為三個主要類別的方法的技術現狀。傳統的、機器學習的和深度學習的方法。

• 第三章介紹了一種由不良訓練的自動編碼器架構組成的多變量時間序列的無監督異常檢測方法，并展示了該方法在五個真實世界的開放數據集以及Orange的專有數據上的性能。

• 第四章介紹了一種特征工程策略，通過引入非局部信息將單變量時間序列轉化為多變量時間序列，并表明這種策略解決了深度神經網絡的局限性，并證明了這種組合在不增加計算時間的情況下優于每種方法。

• 第五章質疑是否需要主要基于深度神經網絡的更復雜的方法來進行多變量時間序列的異常檢測，并提出對屬于第二章中提出的三類的16種方法進行研究。性能分析表明，這三類方法中沒有一種方法優于其他方法。并討論了基于深度神經網絡的方法在多變量時間序列異常檢測基準中可能出現的性能錯覺。

• 最后，第六章總結了這項工作的主要貢獻，并提出了對這項研究可能繼續進行的一些想法。

1.4 著作

本論文是在已發表文章的基礎上進行的研究。本論文中出現的部分內容曾在以下論文中發表過：

• Julien Audibert, Pietro Michiardi, Frédéric Guyard, Sébastien Marti, and Maria A. Zuluaga. USAD：多變量時間序列上的非監督性異常檢測。在第26屆ACM SIGKDD知識發現與數據挖掘國際會議（KDD '20）論文集中。

• Julien Audibert, Frédéric Guyard, Sébastien Marti, and Maria A. Zuluaga. 從單變量到多變量的時間序列異常檢測與非本地信息。在ECML PKDD 2021的第六屆高級分析和時態數據學習研討會上。

• Julien Audibert, Pietro Michiardi, Frédéric Guyard, Sébastien Marti, and Maria A. Zuluaga. 論深度神經網絡對多變量時間序列異常檢測的好處，正在模式識別2021年評審中。

1.5 參與挑戰

本論文開發的部分方法參加了KDDCUP2021的 "多數據集時間序列異常檢測 "挑戰賽。參與的方法在565名參賽者中獲得了第16名。

摘要： 隨著物聯網技術的不斷發展，監控設備在交通干道、學校醫院、商場超市、小區樓宇等公共區域進行了廣泛部署.這些監控設備為人們提供了一種隱性安全保障，也產生了大量的監控視頻.基于監控視頻的異常檢測一直是圖像處理、機器視覺、深度學習等相關領域的研究熱點.對視頻異常進行了直觀描述和異常檢測概述，對出現的一些綜述文章進行了分析，針對其覆蓋范圍不全和特征表示以及模型沒有清晰劃分.首先從異常檢測特征表示、異常檢測建模2方面對傳統經典的和新興的視頻異常檢測算法進行分類和描述.然后從基于距離、概率、重構3個方面將不同的算法進行比較，分析不同模型的優缺點以及每種模型的特性.并對現存算法的評估標準進行歸納并指出了新的更加準確有效的評估指標.最后，介紹了監控視頻異常檢測常用的數據集，匯總了不同算法在常用數據集上的檢測效果，并對未來的研究在實際應用中面臨的一些挑戰和研究方向進行了探討.

//crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200638

社團檢測（community detection）是網絡分析的基本任務，旨在將網絡劃分為多個子結構以幫助揭示其潛在功能，被廣泛用于推薦、異常檢測、恐怖組織識別等領域。經典的社團檢測方法通常利用概率圖模型，采用各種先驗知識來推斷社團結構。隨著網絡方法試圖解決的問題以及要分析的網絡數據變得越來越復雜，研究者們提出了新的社團檢測方法，特別是利用深度學習將網絡數據轉換為低維表征的方法。盡管這些方法促進了社團檢測的發展，但目前仍然缺乏對社團檢測理論和方法基礎的系統回顧。因此，我們提出了一個統一架構來概述社團檢測領域的最新發展。我們首先全面回顧了現有的社團檢測方法，并介紹了一種新的分類法，該分類法將現有方法分為兩類：概率圖模型和深度學習。其次，我們討論了兩類方法的主要思想，并針對不同方法進行了詳細概述。此外，我們還發布了一些社團檢測領域常用的基準數據集，重點介紹了社團檢測在各種網絡分析任務中的應用。最后，我們討論了社團檢測面臨的挑戰，并對未來可能的研究方向提出了建議。

摘要： 圖異常檢測旨在大圖或海量圖數據庫中尋找“陌生”或“不尋常”模式，具有廣泛的應用場景.深度學習可以從數據中學習隱含的規律，在提取數據中潛在復雜模式方面表現出優越的性能. 近年來隨著基于深度神經網絡的圖表示學習取得顯著進展，如何利用深度學習方法進行圖異常檢測引起了學術界和產業界的廣泛關注. 盡管最近一系列研究從圖的角度對異常檢測技術進行了調研，但是缺少對深度學習技術下的圖異常檢測技術的關注. 首先給出了靜態圖和動態圖上各類常見的異常定義，然后調研了基于深度神經網絡的圖表示學習方法，接著從靜態圖和動態圖的角度出發，梳理了基于深度學習的圖異常檢測的研究現狀，并總結了圖異常檢測的應用場景和相關數據集，最后討論了圖異常檢測技術目前面臨的挑戰和未來的研究方向.

//crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200685

圖作為一種通用的數據結構,被廣泛用于表示 復雜的結構化數據．相對于其他數據結構,它能更好 地存儲和表達實體及其聯系．現實世界中,圖在社交 網絡分析、Web網絡分析、交通路網優化、知識圖譜 構建等領域均有廣泛的應用．針對這些語義豐富、樣 式多樣、規模龐大的圖數據,如何快速、準確地檢測 其中的異常引起了學術界和產業界的廣泛關注．圖 異常檢測是指在一個大圖或海量圖數據庫中尋找包 含“陌生”或者“不尋常”模式的結構(包括節點、邊或 者子圖),具有廣泛的應用場景,例如英特網中的惡 意攻擊、社交網絡中的突發事件檢測、電子商務中的 水軍發現等．相較于傳統的異常檢測方法,基于圖的 異常檢測由于圖具有強大的表達能力,不僅可以將 復雜的數據加以直觀的呈現,同時也能將數據中隱 含的相關性融入到異常檢測過程中．

面向圖的異常檢測工作最早發表于２００３年[１], 現有工作大致可分為基于靜態圖和基于動態圖 ２ 類．在基于靜態圖的異常檢測工作中,一類方法利用 ego網絡[２]或者基于團體[３]研究問題;一類方法基 于圖的結構信息進行異常檢測[４Ｇ６],也有一些工作基 于子空間選擇,試圖在節點特征的子空間中發現異 常[７Ｇ９]．還有一些工作通過概率、統計方法獲取圖的 統計信息進行異常檢測[１０Ｇ１３]．盡管這些工作在異常 檢測上取得了不錯的進展,但這些方法如利用ego 網絡的方法,由于處理圖數據,必須考慮節點之間的 交互,在圖較為稀疏時難以實現較好的效果;或者如 子空間選擇和統計方法,由于淺層學習機制難以綜 合利用節點的屬性和結構信息．在基于動態圖的異 常檢測方面,同樣有一些工作基于團體[１４Ｇ１５]、基于結 構[６,１６]、或基于概率統計[１７Ｇ１９]進行異常檢測．另外一 類典型的方法是首先獲取圖的概要,然后通過聚類 和異常 檢 測 來 確 定 概 要 中 的 異 常,例 如 文 獻 [２０Ｇ ２１],但是這些方法獲得的概要無法保留重要的結構 信息,比如鄰接節點的信息．現有的基于動態圖的異 常檢測方法大多依賴于啟發式規則,通常只是簡單 地考慮某一類特征;雖然有部分方法[２２Ｇ２３]考慮了內 容甚至時間因素,但并不靈活,導致其應用局限于特 定的場景．

近年來,深度學習成為人工智能和機器學習中極為重要的部分,在提取數據中潛在復雜模式方面 表現出優越的性能,并在音頻、圖像和自然語言處理 等領域得到了廣泛應用．深度學習方法能夠合理處 理復雜的屬性信息,并且可以從數據中學習隱含的 規律;此外,通過神經網絡對圖進行嵌入不僅可以很 好地保留信息[２４Ｇ２６],還可以很好地處理節點或邊的 屬性,同時保留結構信息,進而方便檢查隱空間中節 點或邊表示的相似性．近年來隨著對圖進行嵌入表 示取得顯著進展,如何利用深度學習方法進行圖異 常檢測在過去幾年中吸引了廣泛關注．基于深度學 習的圖異常檢測方法通常使用圖的嵌入表示方法先 將圖表示為隱空間中的向量,然后使用該向量重構 圖從而剔除異常信息的影響,最后通過重構誤差進 行異常檢測．

關于異常和離群點檢測,已經存在非常全面的 綜述類文章,例如Zimek等人[２７]重點介紹了關于高 維離群值檢測,Schubert等人[２８]討論了局部離群值 檢測技術．但是,這些文章通常關注多維數據實例的 點,沒有或者不是直接地關注基于圖的檢測技術．盡管文獻[２９]從圖的角度對異常檢測技術進行了調 研,但是缺少對深度學習技術下的圖異常檢測技術 的關注．與以往關于異常檢測的綜述不同,本文專注 于大圖或海量圖數據庫中的異常檢測,并對基于深 度學習的圖異常檢測技術進行全面地梳理和總結, 是最早聚焦基于深度學習的圖異常檢測技術方面的研究綜述．

本文首先對圖上的異常定義做了全面的分析, 然后詳細介紹了基于深度神經網絡的圖表示學習方 法,接著從靜態圖和動態圖的角度出發,對現有基于 深度學習的圖異常檢測方法進行系統地總結和歸 類,并討論相關方法的局限性．接著簡單介紹圖異常 檢測技術的實際應用場景和相關的數據集,最后討論基于深度學習的圖異常檢測研究面臨的挑戰及未 來可行的研究方向．本文期望通過對目前基于深度 學習的圖異常檢測研究現狀的梳理,為后續研究提 供可借鑒的思路．

異常檢測最新綜述論文

摘要

異常檢測(AD)問題具有重要的意義，近年來引起了許多研究者的關注。

因此，在這一研究領域提出的方法數量穩步增加。AD與重要的計算機視覺和圖像處理任務(如圖像/視頻異常、不規則和突發事件檢測)密切相關。最近，深度神經網絡(DNNs)提供了一組高性能的解決方案，但代價是高昂的計算成本。然而，在前面提出的方法和可應用的實際方法之間有一個明顯的差距。

考慮到對AD的關注是一個持續的具有挑戰性的問題，尤其是在圖像和視頻中，是時候討論一下試圖處理視覺AD任務的方法的陷阱和前景了。因此，在本次綜述中，我們打算對基于圖像/視頻深度學習的AD方法進行深入調研。并對當前面臨的挑戰和未來的研究方向進行了深入探討。

引言

異常檢測(AD)是指檢測出可用的訓練數據中很少出現甚至不存在的樣本和事件。事實上，AD就是尋找看不見的概念的過程。一般來說，在AD環境中，有大量的數據實例遵循目標類分布，即正常數據。另一方面，屬于分布外類(離群值)的樣本不存在，或者很難訪問，但代價是很高的計算成本。總之，任何未知的分布都可能導致異常，從而導致非常復雜的學習過程。因此，研究人員建議將所有正常數據中的共享概念提取為一個(幾個)參考模型，而不是學習不規則性[Bertini et al., 2012; Sabokrou et al., 2015]。在測試階段，一個實例與該模型的偏差表明它是否是異常。圖1顯示了AD概念的總體草圖。

就數據類型而言，AD任務可能會遇到各種困難。AD算法普遍存在的缺點是: (1)高誤報率: 在大多數AD應用中，檢測異常事件被認為比識別正常數據更為重要和關鍵。例如，在監視系統中，如果只忽略一個異常行為，即將異常檢測為正常事件，就會完全損害監視系統的可靠性和安全性。因此，為了自信地檢測出所有的離群值，容忍更多一點的假陽性率是合理的。然而，高的誤報率帶來了不可靠和無效，(2) 高的計算成本: 以前的大多數工作過于復雜，無法在現實應用中快速而恰當地進行操作，(3) 標準數據集無法用于評估: 可用數據集與現實情況相差甚遠。事實上，為了全面研究該研究領域提出的解決方案，獲得更真實和有代表性的數據集是至關重要的。上述缺點證實AD任務面臨著若干需要有效解決的持續挑戰。此外，最近提出的方法只關注簡單場景中的性能。考慮圖像/視頻AD方法的不同方面是一個關鍵的步驟，以改善目前的尖端技術。

受深度神經網絡(DNNs)在不同研究領域的巨大成功的啟發，一系列基于深度學習的解決方案被提出來處理AD任務。他們中的一些人取得了很大的成績。然而，實現和再現性方面的困難，特別是基于生成對抗網絡(GANs)的困難[Goodfellow等人，2014a]，以及高計算開銷仍然被認為是嚴重的挑戰。調查的范圍。到目前為止，已經提供了一些信息豐富和有價值的調查。我們簡要地提一下這一領域的一些最新作品。[Chlapathy and Chawla, 2019]關注深度AD用于不同的任務，如入侵檢測系統、視頻監控、醫療等。[Ruff et al., 2019]提出了深度AD的框架以及一般半監督的深度AD問題的實驗場景。針對視頻AD的不同深度學習檢測技術已由[Suarez and Naval Jr, 2020]涵蓋。

為了彌補現有的差距，我們提出了一種新的基于深度學習的圖像/視頻AD分類方法。我們強調無監督方法，因為他們的普遍性，適用性在現實問題和日益流行。在具體研究了每一種類別和最新的方法之后，我們表達了圖像/視頻AD任務中具有挑戰性的方面、開放的問題和未來工作的有效方向。

【導讀】2020注定是寫入到歷史的一年，新冠變成主題詞。在2019年機器學習領域繼續快速發展，深度學習理論、對比學習、自監督學習、元學習、持續學習、小樣本學習等取得很多進展。在此，專知小編整理這一年這些研究熱點主題的綜述進展，共十篇，了解當下，方能向前。

1、Recent advances in deep learning theory（深度學習理論）

陶大程院士等最新《深度學習理論進展》綜述論文，41頁pdf255篇文獻闡述六大方面進展

作者：Fengxiang He,Dacheng Tao

摘要：深度學習通常被描述為一個實驗驅動的領域，并不斷受到缺乏理論基礎的批評。這個問題已經部分地被大量的文獻解決了，這些文獻至今沒有被很好地組織起來。本文對深度學習理論的最新進展進行了綜述和整理。文獻可分為六類: (1)基于模型復雜度和容量的深度學習泛化; (2)用于建模隨機梯度下降及其變量的隨機微分方程及其動力學系統，其特征是深度學習的優化和泛化，部分受到貝葉斯推理啟發; (3)驅動動力系統軌跡的損失的幾何結構; (4)深度神經網絡的過參數化從積極和消極兩個方面的作用; (5)網絡架構中幾種特殊結構的理論基礎; (6)對倫理和安全及其與泛化性的關系的日益關注。

網址： //www.zhuanzhi.ai/paper/b5ac0f259b59817b890b6c253123ee84

2、Learning from Very Few Samples: A Survey（少樣本學習）

清華大學張長水等最新《少樣本學習FSL》2020綜述論文，30頁pdf414篇參考文獻

作者：Jiang Lu,Pinghua Gong,Jieping Ye,Changshui Zhang

摘要：少樣本學習(FSL)在機器學習領域具有重要意義和挑戰性。成功地從很少的樣本中學習和歸納的能力是區分人工智能和人類智能的一個明顯的界限，因為人類可以很容易地從一個或幾個例子中建立他們對新穎性的認知，而機器學習算法通常需要數百或數千個監督樣本來保證泛化能力。盡管FSL的悠久歷史可以追溯到21世紀初，近年來隨著深度學習技術的蓬勃發展也引起了廣泛關注，但迄今為止，有關FSL的調研或評論還很少。在此背景下，我們廣泛回顧了2000年至2019年FSL的200多篇論文，為FSL提供了及時而全面的調研。在本綜述中，我們回顧了FSL的發展歷史和目前的進展，原則上將FSL方法分為基于生成模型和基于判別模型的兩大類，并特別強調了基于元學習的FSL方法。我們還總結了FSL中最近出現的幾個擴展主題，并回顧了這些主題的最新進展。此外，我們重點介紹了FSL在計算機視覺、自然語言處理、音頻和語音、強化學習和機器人、數據分析等領域的重要應用。最后，我們對調查進行了總結，并對未來的發展趨勢進行了討論，希望對后續研究提供指導和見解。

網址：

3、A Survey on Knowledge Graphs: Representation, Acquisition and Applications（知識圖譜研究綜述論文）

最新！知識圖譜研究綜述論文: 表示學習、知識獲取與應用，25頁pdf詳述Knowledge Graphs技術趨勢

作者：Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu

摘要：人類知識提供了對世界的認知理解。表征實體間結構關系的知識圖譜已經成為認知和人類智能研究的一個日益流行的方向。在本次綜述論文中，我們對知識圖譜進行了全面的綜述，涵蓋了知識圖譜表示學習、知識獲取與補全、時序知識圖譜、知識感知應用等方面的研究課題，并總結了最近的突破和未來的研究方向。我們提出對這些主題進行全視角分類和新的分類法。知識圖譜嵌入從表示空間、得分函數、編碼模型和輔助信息四個方面進行組織。對知識獲取，特別是知識圖譜的補全、嵌入方法、路徑推理和邏輯規則推理進行了綜述。我們進一步探討了幾個新興的主題，包括元關系學習、常識推理和時序知識圖譜。為了方便未來對知識圖的研究，我們還提供了不同任務的數據集和開源庫的集合。最后，我們對幾個有前景的研究方向進行了深入的展望。

網址：

4、A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications（生成式對抗網絡綜述論文）

密歇根大學28頁最新《GANs生成式對抗網絡綜述：算法、理論與應用》最新論文，帶你全面了解GAN技術趨勢

作者：Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye

摘要：生成對抗網絡（GANs）是最近的熱門研究主題。自2014年以來，人們對GAN進行了廣泛的研究，并且提出了許多算法。但是，很少有全面的研究來解釋不同GANs變體之間的聯系以及它們是如何演變的。在本文中，我們嘗試從算法，理論和應用的角度對各種GANs方法進行敘述。首先，詳細介紹了大多數GANs算法的動機，數學表示形式和結構。此外，GANs已與其他機器學習算法結合用于特定應用，例如半監督學習，遷移學習和強化學習。本文比較了這些GANs方法的共性和差異。其次，研究了與GANs相關的理論問題。第三，說明了GANs在圖像處理和計算機視覺，自然語言處理，音樂，語音和音頻，醫學領域以及數據科學中的典型應用。最后，指出了GANs未來的開放性研究問題。

網址：

5、A Survey on Causal Inference（因果推斷綜述論文）

最新「因果推斷Causal Inference」綜述論文38頁pdf，阿里巴巴、Buffalo、Georgia、Virginia

作者：Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang

摘要：數十年來，因果推理是一個跨統計、計算機科學、教育、公共政策和經濟學等多個領域的重要研究課題。目前，與隨機對照試驗相比，利用觀測數據進行因果關系估計已經成為一個有吸引力的研究方向，因為有大量的可用數據和較低的預算要求。隨著機器學習領域的迅速發展，各種針對觀測數據的因果關系估計方法層出不窮。在這項綜述中，我們提供了一個全面的綜述因果推理方法下的潛在結果框架，一個眾所周知的因果推理框架。這些方法根據是否需要潛在結果框架的所有三個假設分為兩類。對于每一類，分別對傳統的統計方法和最近的機器學習增強方法進行了討論和比較。并介紹了這些方法的合理應用，包括在廣告、推薦、醫藥等方面的應用。此外，還總結了常用的基準數據集和開放源代碼，便于研究者和實踐者探索、評價和應用因果推理方法。

網址：

6、Pre-trained Models for Natural Language Processing: A Survey（預訓練語言模型）

【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻

作者：Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang

摘要：近年來，預訓練模型(PTMs)的出現將自然語言處理(NLP)帶入了一個新的時代。在這項綜述中，我們提供了一個全面的PTMs調研。首先簡要介紹了語言表示學習及其研究進展。然后，我們根據四種觀點對現有的PTMs進行了系統的分類。接下來，我們將描述如何將PTMs的知識應用于下游任務。最后，我們概述了未來PTMs研究的一些潛在方向。本調查旨在為理解、使用和開發各種NLP任務的PTMs提供實際指導。

網址：

7、A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources（異質圖網絡嵌入）

異質圖嵌入綜述: 方法、技術、應用和資源, 23頁pdf

作者：Xiao Wang, Deyu Bo, Chuan Shi, Shaohua Fan, Yanfang Ye, Philip S. Yu

摘要：

異質圖（Heterogeneous Graph, HG）也稱為異質信息網絡（Heterogeneous Information Network, HIN），在現實世界中已經無處不在。異質圖嵌入(Heterogeneous Graph Embedding, HGE)，旨在在低維的空間中學習節點表示，同時保留異質結構和語義用于下游任務（例如，節點/圖分類，節點聚類，鏈接預測），在近年來受到了廣泛的關注。在綜述中，我們對異質圖嵌入的方法和技術的最新進展進行了全面回顧，探索了異質圖嵌入的問題和挑戰，并預測了該領域的未來研究方向。

該論文的主要貢獻如下：

討論了與同質圖相比，異質圖的異質性帶來的獨特挑戰 。該論文對現有的異質圖嵌入方法進行了全面的調研，并基于它們在學習過程中使用的信息進行分類，以解決異質性帶來的特定的挑戰。 對于每類代表性的異質圖嵌入方法和技術，提供詳細的介紹并進一步分析了其優缺點。此外，該論文首次探索了異質圖嵌入方法在現實工業環境中的可轉換性和適用性。 總結了開源代碼和基準數據集，并對現有的圖學習平臺進行了詳細介紹，以促進該領域的未來研究和應用。 探討異質圖嵌入的其他問題和挑戰，并預測該領域的未來研究方向。

網址：

8、Graph Neural Networks: Taxonomy, Advances and Trends（圖神經網絡）

太原理工最新《圖神經網絡:分類,進展,趨勢》綜述論文，50頁pdf400篇文獻

作者：Yu Zhou,Haixia Zheng,Xin Huang

摘要：圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

網址：

9、Efficient Transformers: A Survey（高效Transformer）

【Google】最新《高效Transformers》綜述大全，Efficient Transformers: A Survey

作者：Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler

摘要：Transformer模型架構最近引起了極大的興趣，因為它們在語言、視覺和強化學習等領域的有效性。例如，在自然語言處理領域，Transformer已經成為現代深度學習堆棧中不可缺少的主要部分。最近，提出的令人眼花繚亂的X-former模型如Linformer, Performer, Longformer等這些都改進了原始Transformer架構的X-former模型，其中許多改進了計算和內存效率。為了幫助熱心的研究人員在這一混亂中給予指導，本文描述了大量經過深思熟慮的最新高效X-former模型的選擇，提供了一個跨多個領域的現有工作和模型的有組織和全面的概述。

圖片

網址：

10、Self-supervised Learning: Generative or Contrastive（自監督學習）

作者：Xiao Liu, Fanjin Zhang, Zhenyu Hou, Zhaoyu Wang, Li Mian, Jing Zhang, Jie Tang

摘要：深度監督學習在過去的十年中取得了巨大的成功。然而，它依賴于手工標簽的缺陷和易受攻擊的弱點促使人們探索更好的解決方案。作為另一種學習方式，自監督學習以其在表征學習領域的飛速發展吸引了眾多研究者的關注。自監督表示學習利用輸入數據本身作為監督，并使得幾乎所有類型的下游任務從中受益。在這項綜述中，我們著眼于新的自監督學習方法，用于計算機視覺、自然語言處理和圖學習。我們全面回顧了現有的實證方法，并根據它們的目的將它們歸納為三大類:生成型、對比型和生成-對比型(對抗型)。我們進一步研究了相關的理論分析工作，以提供對自監督學習如何工作的更深層次的思考。最后，我們簡要討論了自監督學習有待解決的問題和未來的發展方向。

網址：

視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此，多年來出現了一系列廣泛的方法，這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述，但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域，如計算機視覺、自然語言處理等。然而，這項調查關注的是深度學習是如何改進的，并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外，還討論了常用的數據集以及常用的評價指標。然后，對最近的研究方法進行了綜合討論，以提供未來研究的方向和可能的領域。

//arxiv.org/abs/2009.14146

摘要

文本分類是自然語言處理中最基本、最基本的任務。過去十年，由于深度學習取得了前所未有的成功，這一領域的研究激增。大量的方法、數據集和評價指標已經在文獻中提出，提高了全面和更新綜述的需要。本文通過回顧1961年到2020年的先進方法的現狀來填補這一空白，側重于從淺到深的模型學習。我們根據所涉及的文本和用于特征提取和分類的模型創建文本分類的分類法。然后我們詳細討論每一個類別，處理支持預測測試的技術發展和基準數據集。本綜述還提供了不同技術之間的綜合比較，以及確定各種評估指標的優缺點。最后，總結了本研究的關鍵意義、未來研究方向和面臨的挑戰。

介紹

在許多自然語言處理(NLP)應用中，文本分類（為文本指定預定義標簽的過程）是一個基本和重要的任務, 如情緒分析[1][2][3],主題標簽[4][5][6],問答[7][8][9]和對話行為分類。在信息爆炸的時代，手工對大量文本數據進行處理和分類是一項耗時且具有挑戰性的工作。此外，手工文本分類的準確性容易受到人為因素的影響，如疲勞、專業知識等。人們希望使用機器學習方法來自動化文本分類過程，以產生更可靠和較少主觀的結果。此外，通過定位所需信息，可以提高信息檢索效率，緩解信息超載的問題。 圖1給出了在淺層和深層分析的基礎上，文本分類所涉及的步驟流程圖。文本數據不同于數字、圖像或信號數據。它需要NLP技術來仔細處理。第一個重要的步驟是對模型的文本數據進行預處理。淺層學習模型通常需要通過人工方法獲得良好的樣本特征，然后用經典的機器學習算法對其進行分類。因此，特征提取在很大程度上制約了該方法的有效性。然而，與淺層模型不同，深度學習通過學習一組直接將特征映射到輸出的非線性轉換，將特征工程集成到模型擬合過程中。

主要文本分類方法的示意圖如圖2所示。從20世紀60年代到21世紀10年代，基于淺層學習的文本分類模型占據了主導地位。淺層學習意味著在樂此不疲的模型,如 Na??ve Bayes(NB)[10], K-近鄰(KNN)[11],和支持向量機(SVM)[12]。與早期基于規則的方法相比，該方法在準確性和穩定性方面具有明顯的優勢。然而，這些方法仍然需要進行特征工程，這是非常耗時和昂貴的。此外，它們往往忽略文本數據中自然的順序結構或上下文信息，使學習詞匯的語義信息變得困難。自2010年代以來，文本分類逐漸從淺層學習模式向深度學習模式轉變。與基于淺層學習的方法相比，深度學習方法避免了人工設計規則和特征，并自動提供文本挖掘的語義意義表示。因此，大部分文本分類研究工作都是基于DNNs的，這是一種計算復雜度很高的數據驅動方法。很少有人關注于用淺層學習模型來解決計算和數據的局限性。

在文獻中，Kowsari等[13]考慮了不同的文本特征提取、降維方法、文本分類的基本模型結構和評價方法。Minaee等人[14]回顧了最近基于深度學習的文本分類方法、基準數據集和評估指標。與現有的文本分類研究不同，我們利用近年來的研究成果對現有的模型進行了從淺到深的總結。淺層學習模型強調特征提取和分類器設計。一旦文本具有精心設計的特征，就可以通過訓練分類器來快速收斂。在不需要領域知識的情況下，DNNs可以自動進行特征提取和學習。然后給出了單標簽和多標簽任務的數據集和評價指標，并從數據、模型和性能的角度總結了未來的研究挑戰。此外，我們在4個表中總結了各種信息，包括經典淺層和深度學習模型的必要信息、DNNs的技術細節、主要數據集的主要信息，以及在不同應用下的最新方法的一般基準。總而言之，本研究的主要貢獻如下:

• 我們在表1中介紹了文本分類的過程和發展，并總結了經典模式在出版年份方面的必要信息，包括地點、應用、引用和代碼鏈接。

• 根據模型結構，從淺層學習模型到深度學習模型，對主要模型進行了全面的分析和研究。我們在表2中對經典或更具體的模型進行了總結，并主要從基本模型、度量和實驗數據集方面概述了設計差異。

• 我們介紹了現有的數據集，并給出了主要的評價指標的制定，包括單標簽和多標簽文本分類任務。我們在表3中總結了基本數據集的必要信息，包括類別的數量，平均句子長度，每個數據集的大小，相關的論文和數據地址。

• 我們在表5中總結了經典模型在基準數據集上的分類精度得分，并通過討論文本分類面臨的主要挑戰和本研究的關鍵意義來總結綜述結果。