亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習模型通常限定在固定數據集中進行訓練，訓練完成之后模型無法隨著時間而擴展其行為. 將已訓練好的模型在新數據上訓練會出現災難性遺忘現象. 持續學習是一種能夠緩解深度學習模型災難性遺 忘的機器學習方法，它旨在不斷擴展模型的適應能力，讓模型能夠在不同時刻學習不同任務的知識. 目前，持 續學習算法主要分為 4 大方面，分別是正則化方法、記憶回放方法、參數孤立方法和綜合方法. 對這 4 大方面 方法的研究進展進行了系統總結與分析，梳理了衡量持續學習算法性能的評估方法，討論了持續學習的新興 研究趨勢. //www.yndxxb.ynu.edu.cn/yndxxbzrkxb/article/doi/10.7540/j.ynu.20220312?viewType=HTML 得益于更大的數據集、更強的計算能力以及 網絡結構創新，深度學習在圖像分類[1]、人臉識別[2] 等任務上已經實現了接近人類甚至超越人類的性 能. 然而大多數神經網絡只能在預先知道所有類的 批量學習設定下進行訓練直至擬合，當有新數據出 現時，必須使用全部數據重新訓練模型，以適應數 據分布變化[3] . 隨著移動設備和互聯網的飛速發展， 人們每天都會拍攝和分享大量圖片和視頻. 而從零 開始重新訓練模型是耗時且低效的，這就要求模型 擁有以序列方式進行持續學習和更新的能力，以適 應每天新產生的數據. 神經網絡從原來的批量學習模式轉變為序列 學習模式時，很容易出現對舊知識的遺忘，這意味 著，在使用新數據更新模型后，模型在先前學習的 任務中所達到的性能會急劇下降[4]，出現災難性遺 忘. 早在 30 多年前，人們就在多層感知器中發現了 災難性遺忘現象[5]，產生災難性遺忘的根本原因是 新任務訓練過程需要改變神經網絡權值，這不可避 免地修改了某些對于舊任務來說至關重要的權重， 使得模型不再適用于舊任務. 與此相反，人類可以 不斷學習和適應新知識，并且在自身積累新知識的 同時，也會對原有知識進行了補充和修正，學習新 知識很少會導致人類災難性地忘記之前的知識[6] . 如自然視覺系統，先前的知識得到了保留的同時， 新的視覺信息被不斷地整合到已有知識中. 為了克服災難性遺忘，學習系統一方面要在新 任務上表現出獲取新知識和提煉現有知識的能力， 另一方面要防止新任務對現有知識的顯著干擾. 持 續學習，也稱為終身學習，它建立在不斷學習外部 世界的想法之上，神經網絡通過持續學習算法能夠 漸進地學習新知識，并且保留過去學習的內容. 近 年來，如圖 1 所示，持續學習在計算機視覺領域獲 得了蓬勃發展，同時各單位也如火如荼開展著持續 學習的相關比賽[7] . 鑒于持續學習深刻的應用場景 和該領域飛速的發展，本文對持續學習的研究工作 進行綜述，從而幫助讀者掌握持續學習研究的最新 趨勢.

我們提出了提示分布學習，以有效地適應一個預訓練的視覺語言模型，以解決下游的識別任務。我們的方法不僅從一些樣本中學習低偏差提示，而且還捕獲不同提示的分布，以處理不同的視覺表示。這樣，我們提供了高質量的任務相關內容，便于識別。這種快速分布學習是通過一種學習提示的輸出嵌入而不是輸入嵌入的有效方法實現的。因此，我們可以使用高斯分布來有效地建模，并導出有效訓練的替代損失。在12個數據集上的大量實驗表明，我們的方法始終和顯著地優于現有的方法。例如，與人工制作的提示相比，每個類別有一個樣本，它的平均結果相對提高了9.1%。

//www.zhuanzhi.ai/paper/0c6359fedd7bfc3067c0c0ddaf8a29f4

摘要

與批量學習不同的是，在批量學習中所有的訓練數據都是一次性可用的，而持續學習代表了一組方法，這些方法可以積累知識，并使用序列可用的數據連續學習。與人類的學習過程一樣，不斷學習具有學習、融合和積累不同時間步的新知識的能力，被認為具有很高的現實意義。因此，持續學習在各種人工智能任務中得到了研究。本文綜述了計算機視覺中持續學習的最新進展。特別地，這些作品是根據它們的代表性技術進行分組的，包括正則化、知識蒸餾、記憶、生成重放、參數隔離以及上述技術的組合。針對每一類技術，分別介紹了其特點及其在計算機視覺中的應用。在概述的最后，討論了幾個子領域，在這些子領域中，持續的知識積累可能會有幫助，而持續學習還沒有得到很好的研究。

//www.zhuanzhi.ai/paper/a13ad85605ab12d401a6b2e74bc01d8a

引言

人類的學習是一個漸進的過程。在人類的一生中，人類不斷地接受和學習新知識。新知識在發揮自身積累作用的同時，也對原有知識進行補充和修正。相比之下，傳統的機器學習和深度學習范式通常區分知識訓練和知識推理的過程，模型需要在有限的時間內在預先準備好的數據集上完成訓練，然后使用這些數據集進行推理。隨著相機和手機的廣泛普及，每天都有大量新的圖片和視頻被捕捉和分享。這就產生了新的需求，特別是在計算機視覺領域，模型在推理過程中要連續不斷地學習和更新自己，因為從頭開始訓練模型以適應每天新生成的數據是非常耗時和低效的。

由于神經網絡與人腦的結構不同，神經網絡訓練不易從原來的批量學習模式轉變為新的連續學習模式。特別是存在兩個主要問題。首先，按照序列學習多個類別的數據容易導致災難性遺忘的問題[1,2]。這意味著，在從新類別的數據更新模型參數后，模型在先前學習類別上的性能通常會急劇下降。其次，當按順序從同一類別的新數據中學習時，也會導致概念漂移問題[3,4,5]，因為新數據可能會以不可預見的方式改變該類別的數據分布[6]。因此，持續學習的總體任務是解決穩定性-可塑性困境[7,8]，這就要求神經網絡在保持學習新知識的能力的同時，防止遺忘之前學習過的知識。

近年來，在計算機視覺的各個子領域中提出了越來越多的持續學習方法，如圖1所示。此外，2020年和2021年還舉辦了若干與計算機視覺中的持續學習有關的比賽[9,10]。因此，本文綜述了計算機視覺中持續學習的最新進展。我們將這一概述的主要貢獻總結如下。(1)系統地綜述了計算機視覺中持續學習的最新進展。(2)介紹了用于不同計算機視覺任務的各種持續學習技術，包括正則化、知識提取、基于記憶、生成重放和參數隔離。(3)討論了計算機視覺中持續學習可能有所幫助但仍未得到充分研究的子領域。

本文的其余部分組織如下。第二節給出了持續學習的定義。第3節介紹了這一領域常用的評估指標。第4節討論了各種類型的持續學習方法及其在計算機視覺中的應用。在第5節中討論了計算機視覺中沒有很好地利用持續學習的子領域。最后，第六部分對全文進行總結。

持續學習是一種學習模式，在這種模式下，學習系統按照一系列任務進行訓練。這里的目標是在當前任務上執行得很好，而不會受到前面任務的性能下降的影響。在神經網絡持續學習的最新進展中，有兩個值得注意的方向: (1) 基于變分貝葉斯的正則化，通過學習先前任務的先驗信息，以及(2)學習深度網絡的結構以適應新的任務。到目前為止，這兩種方法在很大程度上是相互正交的。我們提出了一個新的貝葉斯框架，基于不斷學習深度神經網絡的結構，以統一這些不同但互補的方法。該框架通過學習任務所使用的權值來學習任務的深層結構，并通過不同任務學習的權值的不同稀疏子集的重疊來支持任務間的遷移。我們提出的持續學習框架的一個吸引人的方面是，它既適用于甄別(有監督的)設置，也適用于生成(無監督的)設置。在有監督和無監督基準上的實驗結果表明，我們的方法在持續學習方面的表現與最近的進展相當或更好。

//proceedings.mlr.press/v139/kumar21a.html

持續學習——按序列學習許多任務的能力——對人工學習系統至關重要。然而，深度網絡的標準訓練方法往往會遭遇災難性的遺忘，即學習新的任務會抹去先前任務的知識。雖然災難性的遺忘給問題貼上了標簽，但任務之間相互干擾的理論原因仍不清楚。在這里，我們試圖通過在教師-學生的設置中學習持續學習來縮小理論和實踐之間的差距。我們將以前在教師-學生設置中對兩層網絡的分析工作擴展到多個教師。我們以每位教師代表不同的任務，研究教師之間的關系如何影響學生在任務轉換時表現出的遺忘和遷移量。根據最近的研究，我們發現當任務依賴于相似的特征時，中間任務相似導致最大的遺忘。然而，特征相似性只是任務之間關聯的一種方式。教師-學生方法允許我們在eadouts(隱藏到輸出的權重)和特征(輸入到隱藏的權重)這兩級分解任務相似性。我們發現兩種類型的相似性、初始轉移/遺忘率、最大轉移/遺忘和長時間(開關后)轉移/遺忘量之間存在復雜的相互作用。總之，這些結果有助于闡明導致災難性遺忘的各種因素。

//proceedings.mlr.press/v139/lee21e.html

人類具有不斷從經驗中學習的非凡能力。我們不僅可以把以前學到的知識和技能運用到新的情況下，我們也可以把這些作為以后學習的基礎。人工智能(AI)的宏偉目標之一是構建一個人工的“持續學習”代理，通過自主增量開發越來越復雜的知識和技能，從自身經驗構建對世界的復雜理解(Parisi, 2019年)。然而，盡管有早期的推測和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010)，很少有研究和努力致力于解決這一愿景。當前人工智能系統深受新數據或新環境的影響，這些新數據或新環境與他們所接受的訓練稍有不同(Goodfellow, 2013)。此外，學習過程通常被限制在限定和孤立的任務內的固定數據集，這可能很難導致出現更復雜和自主的智能行為。從本質上講，持續學習和適應能力，雖然經常被認為是每一個智能代理的基本支柱，但大多被排除在主要的人工智能研究重點之外。

在本教程中，我們提出根據機器學習研究和人工智能深度架構(Lomonaco, 2019)的最新進展總結這些想法的應用。從一個動機和一個簡短的歷史開始，我們將最近的持續學習進展與之前在相關主題上的研究努力聯系起來，并總結了主要方法、基準和關鍵結果方面的最新進展。在教程的第二部分，我們計劃涵蓋更多關于低監督信號的持續學習的探索性研究，以及與其他范式的關系，如無監督，半監督和強化學習。我們還將強調神經科學的最新發現對原始持續學習算法設計的影響，以及它們在現實應用中的部署。最后，我們將強調持續學習的概念，作為可持續機器學習的關鍵技術推動者及其社會影響，并概述有趣的研究問題和未來值得解決的方向。

//sites.google.com/view/cltutorial-icml2021

本文介紹了核持續學習，這是一種簡單但有效的持續學習變體，利用核方法的非參數特性來處理災難性遺忘。我們使用情景記憶單元來存儲每個任務的樣本子集，以學習基于核嶺回歸的任務分類器。這并不需要記憶重放，并且系統地避免了分類器中的任務干擾。我們進一步引入變分隨機特征來學習每個任務的數據驅動內核。為此，我們將核持續學習表述為一個變分推理問題，其中隨機傅里葉基被合并為潛在變量。從每個任務的核心推斷出隨機傅立葉基上的后驗分布。通過這種方式，我們能夠針對每個任務生成更多的信息內核，更重要的是，coreset的大小可以減少，以實現更緊湊的記憶，從而在情景記憶的基礎上實現更有效的持續學習。對四個基準的廣泛評估證明了內核對持續學習的有效性和前景。

//arxiv.org/abs/2107.05757

人工神經網絡在解決特定剛性任務的分類問題時，通過不同訓練階段的廣義學習行為獲取知識。由此產生的網絡類似于一個靜態的知識實體，努力擴展這種知識而不針對最初的任務，從而導致災難性的遺忘。

持續學習將這種范式轉變為可以在不同任務上持續積累知識的網絡，而不需要從頭開始再訓練。我們關注任務增量分類，即任務按順序到達，并由清晰的邊界劃分。我們的主要貢獻包括:

(1) 對持續學習技術的分類和廣泛的概述;

(2) 一個持續學習器穩定性-可塑性權衡的新框架;

(3) 對11種最先進的持續學習方法和4條基準進行綜合實驗比較。

考慮到微型Imagenet和大規模不平衡的非自然主義者以及一系列識別數據集，我們以經驗的方式在三個基準上仔細檢查方法的優缺點。我們研究了模型容量、權重衰減和衰減正則化的影響，以及任務呈現的順序，并從所需內存、計算時間和存儲空間等方面定性比較了各種方法。

//www.zhuanzhi.ai/paper/c90f25024b2c2364ce63299b4dc4677f

引言

近年來，據報道，機器學習模型在個人任務上表現出甚至超過人類水平的表現，如雅達利游戲[1]或物體識別[2]。雖然這些結果令人印象深刻，但它們是在靜態模型無法適應其行為的情況下獲得的。因此，這需要在每次有新數據可用時重新啟動訓練過程。在我們的動態世界中，這種做法對于數據流來說很快就變得難以處理，或者可能由于存儲限制或隱私問題而只能暫時可用。這就需要不斷適應和不斷學習的系統。人類的認知就是這樣一個系統的例證，它具有順序學習概念的傾向。通過觀察例子來重新審視舊的概念可能會發生，但對保存這些知識來說并不是必要的，而且盡管人類可能會逐漸忘記舊的信息，但完全丟失以前的知識很少被證明是[3]。相比之下，人工神經網絡則不能以這種方式學習:在學習新概念時，它們會遭遇對舊概念的災難性遺忘。為了規避這一問題，人工神經網絡的研究主要集中在靜態任務上，通常通過重組數據來確保i.i.d.條件，并通過在多個時期重新訪問訓練數據來大幅提高性能。

持續學習研究從無窮無盡的數據流中學習的問題，其目標是逐步擴展已獲得的知識，并將其用于未來[4]的學習。數據可以來自于變化的輸入域(例如，不同的成像條件)，也可以與不同的任務相關聯(例如，細粒度的分類問題)。持續學習也被稱為終身學習[18]0，[18]1，[18]2，[18]3，[18]5，[18]4，順序學習[10]，[11]，[12]或增量學習[13]，[14]，[15]，[16]，[17]，[18]，[19]。主要的標準是學習過程的順序性質，只有一小部分輸入數據來自一個或幾個任務，一次可用。主要的挑戰是在不發生災難性遺忘的情況下進行學習:當添加新的任務或域時，之前學習的任務或域的性能不會隨著時間的推移而顯著下降。這是神經網絡中一個更普遍的問題[20]的直接結果，即穩定性-可塑性困境，可塑性指的是整合新知識的能力，以及在編碼時保持原有知識的穩定性。這是一個具有挑戰性的問題，不斷學習的進展使得現實世界的應用開始出現[21]、[22]、[23]。

為了集中注意力，我們用兩種方式限制了我們的研究范圍。首先，我們只考慮任務增量設置，其中數據按順序分批到達，一個批對應一個任務，例如要學習的一組新類別。換句話說，我們假設對于一個給定的任務，所有的數據都可以同時用于離線訓練。這使得對所有訓練數據進行多個時期的學習成為可能，反復洗刷以確保i.i.d.的條件。重要的是，無法訪問以前或將來任務的數據。在此設置中優化新任務將導致災難性的遺忘，舊任務的性能將顯著下降，除非采取特殊措施。這些措施在不同情況下的有效性，正是本文所要探討的。此外，任務增量學習將范圍限制為一個多頭配置，每個任務都有一個獨占的輸出層或頭。這與所有任務共享一個頭的更有挑戰性的類增量設置相反。這在學習中引入了額外的干擾，增加了可供選擇的輸出節點的數量。相反，我們假設已知一個給定的樣本屬于哪個任務。

其次，我們只關注分類問題，因為分類可以說是人工神經網絡最既定的任務之一，使用相對簡單、標準和易于理解的網絡體系結構具有良好的性能。第2節對設置進行了更詳細的描述，第7節討論了處理更一般設置的開放問題。

持續學習變得越來越重要，因為它使NLP模型能夠隨著時間的推移不斷地學習和獲取知識。以往的持續學習方法主要是為了保存之前任務的知識，并沒有很好地將模型推廣到新的任務中。在這項工作中，我們提出了一種基于信息分解的正則化方法用于文本分類的持續學習。我們提出的方法首先將文本隱藏空間分解為對所有任務都適用的表示形式和對每個單獨任務都適用的表示形式，并進一步對這些表示形式進行不同的規格化，以更好地約束一般化所需的知識。我們還介紹了兩個簡單的輔助任務:下一個句子預測和任務id預測，以學習更好的通用和特定表示空間。在大規模基準上進行的實驗證明了我們的方法在不同序列和長度的連續文本分類任務中的有效性。

本文研究的是物體檢測的域自適應（Domain Adaptive）問題，其主要挑戰來自源域和目標域之間的巨大差異。先前工作主要是明確對齊了圖像層面和實例層面的遷移，以最終最小化域差異，但是依然忽略了跨域匹配關鍵的圖像區域和重要的實例，以至于嚴重影響了域遷移的緩解。本文提出一個簡單且有效的類正則化框架以緩解這一問題，它可以作為一個即插即用的組件應用于一系列域自適應Faster R-CNN方法上，這些方法對處理域自適應檢測非常重要。

具體而言，通過整合檢測backbone上的一個圖像層面的多標簽分類器，本文可以通過分類方式的弱定位能力，獲得對應于類信息的稀疏且關鍵的圖像區域。同時，在實例層面，本文把圖像預測和實例預測之間的類一致性作為一個正則化因子，以自動搜索目標域的硬對齊實例。大量不同域遷移方案的實驗表明，相較原始的域自適應Faster R-CNN檢測器，本文方法取得顯著的性能提升。此外，定性的可視化和分析表明，本文方法可應用于針對域適應的關鍵區域/實例。