亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度神經網絡對分類任務的預測準確度有顯著的貢獻。然而，他們傾向于在現實世界中做出過度自信的預測，其中存在領域轉移和分布外(OOD)的例子。由于計算機視覺提供了對不確定性質量的視覺驗證，目前對不確定性估計的研究主要集中在計算機視覺上。然而，在自然語言過程領域卻鮮有研究。與貝葉斯方法通過權重不確定性間接推斷不確定性不同，當前基于證據不確定性的方法通過主觀意見明確地建模類別概率的不確定性。他們進一步考慮了不同根源的數據的固有不確定性，即vacuity(即由于缺乏證據而產生的不確定性)和不協調(即由于相互沖突的證據而產生的不確定性)。本文首次將證據不確定性運用于文本分類任務中的OOD檢測。我們提出了一種既采用輔助離群樣本，又采用偽離流形樣本的廉價框架來訓練具有特定類別先驗知識的模型，該模型對OOD樣本具有較高的空度。大量的經驗實驗表明，我們基于證據不確定性的模型在OOD實例檢測方面優于其他同類模型。我們的方法可以很容易地部署到傳統的循環神經網絡和微調預訓練的transformers。

//www.zhuanzhi.ai/paper/f1ead8805294e050cc18d08d3f221296

社區揭示了不同于網絡中其他社區成員的特征和聯系。社區檢測在網絡分析中具有重要意義。除了經典的譜聚類和統計推理方法，我們注意到近年來用于社區檢測的深度學習技術在處理高維網絡數據方面的優勢有了顯著的發展。因此，通過深度學習對社區檢測的最新進展進行全面概述，對學者和從業者都是及時的。本文設計并提出了一種新的分類方法，包括基于深度神經網絡的深度學習模型、深度非負矩陣分解和深度稀疏濾波。主要的類別，即深度神經網絡，進一步分為卷積網絡，圖注意力網絡，生成對抗網絡和自動編碼器。綜述還總結了流行的基準數據集、模型評估指標和開源實現，以解決實驗設置。然后討論了社區檢測在各個領域的實際應用，并提出了實現方案。最后，通過提出這一快速發展的深度學習領域中具有挑戰性的課題，我們概述了未來的發展方向。

//www.zhuanzhi.ai/paper/eb70a346cb2540dab57be737828445c6

引言

早在20世紀20年代，社會學和社會人類學就對社區進行了研究。然而，直到21世紀之后，研究人員才開始利用強大的數學工具和大規模數據操作來檢測社區，以解決具有挑戰性的問題[2]。自2002年[3]以來，Girvan和Newman將圖劃分問題引起了更廣泛的關注。在過去的10年里，計算機科學研究者廣泛研究了基于網絡拓撲結構[5]-[8]和實體語義信息[9]-[11]、靜態網絡[12]-[14]、小型網絡和大型網絡[15]-[17]的社區檢測問題[4]。越來越多的基于圖的方法被開發出來用于檢測具有復雜數據結構[18]，[19]環境中的社區。通過社區檢測，可以詳細分析網絡中社區的動態和影響，如謠言傳播、病毒爆發、腫瘤進化等。

社區的存在推動了社區檢測研究的發展，是一個越來越具有現實意義的研究領域。俗話說，物以類聚，人以群分。根據六度分離理論，世界上任何一個人都可以通過六個熟人認識其他人[21]。事實上，我們的世界是一個由一系列社區組成的巨大網絡。例如，通過檢測社交網絡[22]-[24]中的社區，如圖1所示，平臺贊助商可以向目標用戶推廣他們的產品。在引文網絡[25]中，社區檢測決定了研究主題的重要性、關聯性、演化和識別研究趨勢。在代謝網絡[26]、[27]和蛋白質-蛋白質相互作用(PPI)網絡[28]中，社區檢測揭示了具有相似生物學功能的代謝和蛋白質。同樣，腦網絡[19]、[29]中的社區檢測反映了腦區域的功能和解剖分離。

許多傳統的技術，如譜聚類[30]，[31]和統計推理[32]-[35]，被用于小型網絡和簡單的場景。然而，由于它們的計算和空間成本巨大，它們無法擴展到大型網絡或具有高維特征的網絡。現實網絡中非線性結構信息豐富，使得傳統模型在實際應用中不太適用。因此，需要更強大的具有良好計算性能的技術。目前，深度學習提供了最靈活的解決方案，因為深度學習模型: (1) 學習非線性網絡屬性，如節點之間的關系，(2) 提供一個低維的網絡表示，保持復雜的網絡結構，(3) 提高了從各種信息中檢測社區的性能。因此，深度學習用于社區檢測是一種新的趨勢，需要及時全面的調查。

據我們所知，本文是第一次全面調研深度學習在社區檢測方面的貢獻。以往的研究主要集中在傳統的社區檢測上，回顧了其在發現網絡固有模式和功能[36]、[37]方面的重要影響。這篇論文綜述了一些具體的技術，但不限于: 基于隨機塊模型(sms)的部分檢測[38]，標簽傳播算法(LPAs)[39]，[40]，以及單目標和多目標優化的進化計算[13]，[14]。在網絡類型方面，研究人員綜述了動態網絡[12]、有向網絡[41]和多層網絡[5]中的社區檢測方法。此外，[6]，[7]還回顧了一系列關于不相交和重疊的社區缺陷的概述。圍繞應用場景，以往的論文綜述了社交網絡[9]、[42]中的社區檢測技術。

本文旨在幫助研究人員和從業者從以下幾個方面了解社區檢測領域的過去、現在和未來趨勢:

• 系統性分類和綜合評價。我們為此項綜述提出了一個新的系統分類(見圖3)。對于每個類別，我們回顧、總結和比較代表性的工作。我們還簡要介紹了現實世界中的社區檢測應用。這些場景為未來的社區檢測研究和實踐提供了見解。

• 豐富的資源和高影響力的參考資料。該綜述不僅是文獻綜述，而且是基準數據集、評估指標、開源實現和實際應用的資源集合。我們在最新的高影響力國際會議和高質量同行評審期刊上廣泛調查社區檢測出版物，涵蓋人工智能、機器學習、數據挖掘和數據發現等領域。

• 未來的發展方向。由于深度學習是一個新的研究趨勢，我們討論了當前的局限性，關鍵的挑戰和開放的問題，為未來的方向。

社區檢測在網絡分析和數據挖掘中具有重要意義。圖4展示了傳統學習方法和深度學習方法的發展。傳統的方法是在網絡結構上探索社區。這七種方法(圖3左圖)僅以一種簡單的方式捕捉淺連接。傳統方法的檢測結果往往是次優的。我們將在本節簡要回顧它們的代表性方法。深度學習方法(圖3右圖)揭示了深度網絡信息，復雜關系，處理高維數據。

本文提出了一種深度社區檢測的分類方法。分類法將方法歸納為六類: 卷積網絡、圖注意力網絡(GAT)、生成對抗網絡(GAN)、自動編碼器(AE)、深度非負矩陣分解(DNMF)和基于深度稀疏濾波(DSF)的深度社區檢測方法。卷積網絡包括卷積神經網絡(CNN)和圖卷積網絡(GCN)。AE又分為堆疊型AE、稀疏型AE、去噪型AE、圖卷積型AE、圖關注型AE和變分型AE (VAE)。

在人類中，注意力是所有感知和認知操作的核心屬性。考慮到我們處理競爭性信息來源的能力有限，注意力機制選擇、調整和關注與行為最相關的信息。

幾十年來，哲學、心理學、神經科學和計算機科學都在研究注意力的概念和功能。在過去的六年中，這一特性在深度神經網絡中得到了廣泛的研究。目前，深度學習的研究進展主要體現在幾個應用領域的神經注意力模型上。

本研究對神經注意力模型的發展進行了全面的概述和分析。我們系統地回顧了該領域的數百個架構，識別并討論了那些注意力顯示出重大影響的架構。我們亦制訂了一套自動化方法體系，并將其公諸于眾，以促進這方面的研究工作。通過批判性地分析650部文獻，我們描述了注意力在卷積、循環網絡和生成模型中的主要用途，識別了使用和應用的共同子組。

此外，我們還描述了注意力在不同應用領域的影響及其對神經網絡可解釋性的影響。最后，我們列出了進一步研究的可能趨勢和機會，希望這篇綜述能夠對該領域的主要注意力模型提供一個簡明的概述，并指導研究者開發未來的方法，以推動進一步的改進。

深度學習在實踐中的顯著成功，從理論的角度揭示了一些重大的驚喜。特別是，簡單的梯度方法很容易找到非凸優化問題的接近最優的解決方案，盡管在沒有任何明確的努力控制模型復雜性的情況下，這些方法提供了近乎完美的訓練數據，這些方法顯示了優秀的預測精度。我們推測這些現象背后有特定的原理: 過度參數化允許梯度方法找到插值解，這些方法隱含地施加正則化，過度參數化導致良性過擬合，也就是說，盡管過擬合訓練數據，但仍能準確預測。在這篇文章中，我們調查了統計學習理論的最新進展，它提供了在更簡單的設置中說明這些原則的例子。我們首先回顧經典的一致收斂結果以及為什么它們不能解釋深度學習方法的行為方面。我們在簡單的設置中給出隱式正則化的例子，在這些例子中，梯度方法可以得到完美匹配訓練數據的最小范數函數。然后我們回顧顯示良性過擬合的預測方法，關注二次損失的回歸問題。對于這些方法，我們可以將預測規則分解為一個用于預測的簡單組件和一個用于過擬合的尖狀組件，但在良好的設置下，不會損害預測精度。我們特別關注神經網絡的線性區域，其中網絡可以用一個線性模型來近似。在這種情況下，我們證明了梯度流的成功，并考慮了雙層網絡的良性過擬合，給出了精確的漸近分析，精確地證明了過參數化的影響。最后，我們強調了在將這些見解擴展到現實的深度學習設置中出現的關鍵挑戰。

//www.zhuanzhi.ai/paper/324cdbb68665c1675a05bc147210d8c8

人體姿態估計的目的是通過圖像、視頻等輸入數據定位人體部位，構建人體表征(如人體骨架)。在過去的十年中，它受到了越來越多的關注，并被廣泛應用于人機交互、運動分析、增強現實和虛擬現實等領域。盡管最近開發的基于深度學習的解決方案在人體姿態估計方面取得了很高的性能，但由于訓練數據不足、深度模糊和遮擋，仍然存在挑戰。本綜述論文的目的是通過對基于輸入數據和推理的解決方案進行系統的分析和比較，對最近基于深度學習的二維和三維姿態估計解決方案進行全面的回顧。這項綜述涵蓋了自2014年以來的240多篇研究論文。此外，還包括了二維和三維人體姿態估計數據集和評估指標。本文總結和討論了現有方法在流行數據集上的定量性能比較。最后，對所涉及的挑戰、應用和未來的研究方向進行了總結。

//www.zhuanzhi.ai/paper/7459265d2fbd81f9b91bf0f7b461bcc7

通過人工神經網絡等獲得的預測具有很高的準確性，但人類經常將這些模型視為黑盒子。對于人類來說，關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域，對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義，概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述，回顧過去和最近可解釋的SML方法，并根據介紹的定義對它們進行分類。最后，我們通過一個解釋性的案例研究來說明原則，并討論未來的重要方向。

//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的準確性是顯著的，但準確性并不是最重要的唯一方面。對于高風險的領域，對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出，醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域，深刻理解人工智能的應用是至關重要的，對可解釋人工智能(XAI)的需求是顯而易見的。

可解釋性在許多領域很重要，但不是在所有領域。我們已經提到了可解釋性很重要的領域，例如衛生保健。在其他領域，比如飛機碰撞避免，算法多年來一直在沒有人工交互的情況下運行，也沒有給出解釋。當存在某種程度的不完整時，需要可解釋性。可以肯定的是，不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面，不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如，刑事風險評估工具應該是公正的，它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域，它是主觀的，很難正式化。相比之下，飛機避免碰撞是一個很容易理解的問題，也可以被精確地描述。如果一個系統能夠很好地避免碰撞，就不用再擔心它了。不需要解釋。

本文詳細介紹了可解釋SML的定義，并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義，將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋，區分局部解釋和全局解釋。

綜上所述，本文的貢獻如下:

• 對五種不同的解釋方法進行形式化，并對整個解釋鏈的相應文獻(分類和回歸)進行回顧。
• 可解釋性的原因，審查重要領域和可解釋性的評估
• 這一章僅僅強調了圍繞數據和可解釋性主題的各個方面，比如數據質量和本體
• 支持理解不同解釋方法的連續用例
• 回顧重要的未來方向和討論

在優化和決策過程中，不確定性量化(UQ)在減少不確定性方面起著至關重要的作用。它可以應用于解決科學和工程中的各種實際應用。貝葉斯逼近和集成學習技術是目前文獻中使用最廣泛的兩種UQ方法。在這方面，研究者們提出了不同的UQ方法，并在計算機視覺(如自動駕駛汽車和目標檢測)、圖像處理(如圖像恢復)、醫學圖像分析(如醫學圖像分類和分割)、自然語言處理(如文本分類、社交媒體文本和再犯風險評分)、生物信息學得到廣泛應用。本研究綜述了UQ方法在深度學習中的最新進展。此外，我們還研究了這些方法在強化學習(RL)中的應用。然后，我們概述了UQ方法的幾個重要應用。最后，我們簡要地強調了UQ方法面臨的基本研究挑戰，并討論了該領域的未來研究方向。

//arxiv.org/abs/2011.06225

摘要:

在日常情景中，我們處理很多領域的不確定性，從投資機會和醫療診斷到體育比賽和天氣預報，目的是根據收集的觀察和不確定的領域知識進行決策。現在，我們可以依靠使用機器和深度學習技術開發的模型來量化不確定性來完成統計推斷[1]。在人工智能(AI)系統使用[2]之前，對其效能進行評估是非常重要的。這種模型的預測具有不確定性，除了存在不確定性的歸納假設外，還容易出現噪聲和錯誤的模型推斷。因此，在任何基于人工智能的系統中，以一種值得信賴的方式表示不確定性是非常可取的。通過有效地處理不確定性，這樣的自動化系統應該能夠準確地執行。不確定性因素在人工智能中扮演著重要的角色

不確定性的來源是當測試和訓練數據不匹配，由于類重疊或由于數據[6]中存在噪聲而產生的不確定性。估計知識的不確定性要比數據的不確定性困難得多，數據的不確定性自然是通過極大似然訓練來度量的。預測中的不確定性來源對于解決不確定性估計問題[7]至關重要。不確定性有兩個主要來源，在概念上稱為aleatoric和epistemic不確定性8。

數據中的不可約不確定性導致預測中的不確定性是一種可選不確定性(也稱為數據不確定性)。這種類型的不確定性不是模型的屬性，而是數據分布的固有屬性;因此它是不可約的。不確定性的另一種類型是認知不確定性(也稱為知識不確定性)，它是由于知識和數據的不足而產生的。人們可以定義模型來回答基于模型預測中的不同人類問題。在數據豐富的情況下，有大量的數據收集，但它可能是信息差的[10]。在這種情況下，可以使用基于人工智能的方法定義有效的模型，表征數據特征。通常這些數據是不完整的，有噪聲的，不一致的和多模態的[1]。

不確定性量化(UQ)是當今許多關鍵決策的基礎。沒有UQ的預測通常是不可靠和不準確的。為了理解深度學習(DL)[11]，[12]過程生命周期，我們需要理解UQ在DL中的作用。DL模型首先收集可用于決策過程的最全面和潛在相關的數據集。DL場景的設計是為了滿足某些性能目標，以便在使用標記數據訓練模型之后選擇最合適的DL架構。迭代訓練過程優化不同的學習參數，這些參數將被“調整”，直到網絡提供令人滿意的性能水平。

在涉及的步驟中，有幾個不確定因素需要加以量化。很明顯的不確定性這些步驟如下:(i)選擇和訓練數據的集合,(ii)訓練數據的完整性和準確性,(3)理解DL(或傳統機器學習)模型與性能范圍及其局限性,和(iv)不確定性對應基于操作數據的性能模型[13]。數據驅動的方法，如與UQ相關的DL提出了至少四組重疊的挑戰:(1)缺乏理論，(2)缺乏臨時模型，(3)對不完美數據的敏感性，以及(4)計算費用。為了緩解這些挑戰，有時會采用模型變異性研究和敏感性分析等特殊解決方案。不確定性估計和量化在數字學習和傳統機器學習中得到了廣泛的研究。在下面，我們提供一些最近的研究的簡要總結，這些研究檢驗了處理不確定性的各種方法的有效性。

圖2給出了三種不同不確定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意圖比較。此外，不確定性感知模型(BNN)與OoD分類器的兩種圖形表示如圖3所示。

在大數據時代，ML和DL，智能使用不同的原始數據有巨大的潛力，造福于廣泛的領域。然而，UQ在不同的ML和DL方法可以顯著提高其結果的可靠性。Ning等人總結并分類了不確定性下數據驅動優化范式的主要貢獻。可以看出，本文只回顧了數據驅動的優化。在另一項研究中，Kabir等人[16]回顧了基于神經網絡的UQ。作者關注概率預測和預測區間(pi)，因為它們是UQ文獻中最廣泛使用的技術之一。

我們注意到，從2010年到2020年(6月底)，在各個領域(如計算機視覺、圖像處理、醫學圖像分析、信號處理、自然語言處理等)發表了超過2500篇關于AI中UQ的論文。與以往UQ領域的文獻綜述不同，本研究回顧了最近發表的使用不同方法定量AI (ML和DL)不確定性的文章。另外，我們很想知道UQ如何影響真實案例，解決AI中的不確定性有助于獲得可靠的結果。與此同時，在現有的研究方法中尋找重要的談話是一種很好的方式，為未來的研究指明方向。在這方面，本文將為ML和DL中UQ的未來研究人員提供更多的建議。我們調查了UQ領域應用于ML和DL方法的最新研究。因此，我們總結了ML和DL中UQ的一些現有研究。值得一提的是，本研究的主要目的并不是比較提出的不同UQ方法的性能，因為這些方法是針對不同的數據和特定的任務引入的。由于這個原因，我們認為比較所有方法的性能超出了本研究的范圍。因此，本研究主要關注DL、ML和強化學習(RL)等重要領域。因此，本研究的主要貢獻如下:

• 據我們所知，這是第一篇關于ML和DL方法中使用的UQ方法的全面綜述論文，值得該領域的研究人員使用。
• 對新提出的UQ方法進行了全面調研。
• 此外，UQ方法的重要應用的主要類別也進行了介紹
• 指出了UQ方法的主要研究空白。
• 最后，討論了很少確定的未來發展方向。

視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此，多年來出現了一系列廣泛的方法，這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述，但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域，如計算機視覺、自然語言處理等。然而，這項調查關注的是深度學習是如何改進的，并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外，還討論了常用的數據集以及常用的評價指標。然后，對最近的研究方法進行了綜合討論，以提供未來研究的方向和可能的領域。

//arxiv.org/abs/2009.14146

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

近年來，自然語言處理(NLP)和信息檢索(IR)領域取得了巨大的進展，這要歸功于深度學習模型，如回歸神經網絡(RNNs)、門控回歸單元(GRUs)和長短時記憶(LSTMs)網絡，以及基于Transformer (Vaswani et al.， 2017)的雙向編碼器表示模型(BERT) (Devlin et al.， 2018)。但這些模型都是巨大的。另一方面，現實世界的應用程序要求較小的模型尺寸、低響應時間和低計算功率。在這個綜述中，我們討論了六種不同類型的方法(剪枝、量化、知識蒸餾、參數共享、張量分解和基于線性變壓器的方法)來壓縮這些模型，使它們能夠在實際的工業NLP項目中部署。考慮到構建具有高效和小型模型的應用程序的迫切需要，以及最近在該領域發表的大量工作，我們相信，本論文調研組織了“NLP深度學習”社區在過去幾年里所做的大量工作，并將其作為一個連貫的故事呈現出來。

//www.zhuanzhi.ai/paper/3fba50f6f54fa8722b1c7fd56ec0bcfb