亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要： 近年來，隨著信息技術的不斷發展，各種數據呈現爆炸式的增長，傳統的機器學習算法只有當測試數據與訓練數據分布類似時，學習算法才能取得較好的性能，換句話說，它們不能在動態環境中連續自適應地學習，然而，這種自適應學習的能力卻是任何智能系統都具備的特性.深度神經網絡在許多應用中顯示出最好的學習能力，然而，使用該方法對數據進行增量更新學習時，會面臨災難性的干擾或遺忘問題，導致模型在學習新任務之后忘記如何解決舊任務. 連續學習(continual learning, CL)的研究使這一問題得到緩解.連續學習是模擬大腦學習的過程，按照一定的順序對連續非獨立同分布的(independently and identically distributed, IID)流數據進行學習，進而根據任務的執行結果對模型進行增量式更新. 連續學習的意義在于高效地轉化和利用已經學過的知識來完成新任務的學習，并且能夠極大程度地降低遺忘帶來的問題.連續學習研究對智能計算系統自適應地適應環境改變具有重要的意義. 基于此，系統綜述了連續學習的研究進展，首先概述了連續學習的定義，介紹了無遺忘學習、彈性權重整合和梯度情景記憶3種典型的連續學習模型，并對連續學習存在的關鍵問題及解決方法進行了介紹，之后又對基于正則化、動態結構和記憶回放互補學習系統的3類連續學習模型進行了分類和闡述，并在最后指明了連續學習進一步研究中需要解決的問題以及未來可能的發展方向.

//crad.ict.ac.cn/CN/10.7544/issn1000-1239.20201058#1

近年來,隨著機器學習(machinelearning,ML) 領域的快速發展,機器學習在自然圖像分類、人臉識 別等領域取得了一定的成果,深度學習的成功使機 器學習的發展達到了另一個新的高度．然而,在現實 世界中,機器學習系統總是會遇到連續任務學習問 題,因此,如何對連續任務進行有效學習是當前研究 的重點之一．現有的機器學習方法雖然可以在任務 上取得較高的性能,但只有當測試數據與訓練數據 概率分布類似時,機器學習才能取得較好的性能．換 句話說,目前的機器學習算法不能在動態環境中持 續自適應地學習,因為在動態環境中,任務可能會發 生顯著變化,然而,這種自適應的學習能力卻是任何 智能系統都具有的能力,也是實現智能生物系統學 習的重要標志．

目前,深度神經網絡在許多應用中顯示出非凡 的預測和推理能力,然而,當通過基于梯度更新的方 法對模型進行增量更新時,模型會出現災難性的干 擾或遺忘問題,這一問題將直接導致模型性能的迅 速下降,即模型在學習新任務之后,由于參數更新對 模型引起的干擾,將使得學習的模型忘記如何解決 舊任務．人類和動物似乎學到了很多不同的知識,并 且總是能不遺忘過去學到的知識,并將其應用在未 來的學習任務中,受人和動物這種學習方式的啟發, 很自然地將這種想法運用到機器學習領域,即隨著 時間的推移,模型能夠不斷學習新知識,同時保留以 前學到的知識,這種不斷學習的能力被稱為連續學 習．連續學習最主要的目的是高效地轉化和利用已 經學過的知識來完成新任務的學習,并且能夠極大 程度地降低災難性遺忘帶來的問題．近年來,隨著深度學習的不斷發展,連續學習的研究已經受到極大 的關注,

因為連續學習主要有２點優勢: **１)不需要保存之前任務上學習過的訓練數據, 從而實現節約內存,同時解決了由于物理設備(例如 機器內存)或學習策略(例如隱私保護)的限制,導致 數據不能被長期存儲這一問題． **

２)模型能夠保存之前任務所學習的知識,并且 能夠極大程度地將之前任務學習到的知識運用到未 來任務的學習中,提高學習效率。

**

****１ 連續學習概述 **

**1.1 連續學習的形成與發展 **

在現實世界中,機器學習系統處于連續的信息 流中,因此需要從不斷改變的概率分布中學習和記 住多個任務．隨著時間的推移,不斷學習新知識,同 時保留以前學到知識,具備這種不斷學習的能力稱 為連續學習或終身學習．因此,使智能學習系統具備 連續學 習 的 能 力 一 直 是 人 工 智 能 系 統 面 臨 的 挑 戰[１Ｇ２]．災難性遺忘或災難性干擾一直是連續學習所 研究的重點,即當模型對新任務進行學習時會遺忘 之前任務所學習的知識,這種現象通常會導致模型 性能的突然下降,或者在最壞的情況下,導致新知識 完全覆蓋舊知識．因此,克服災難性遺忘是人工智能 系統邁向更加智能化的重要一步． 早期學者們曾嘗試為系統增加一個存儲模塊來 保存以前的數據,并定期對之前所學的知識與新樣 本的交叉數據進行回放來緩解災難性遺忘這一問 題[３],這類方法一直延續至今[４Ｇ５]．然而,基于存儲模塊連續學習方法的一個普遍缺點是它們需要顯式存 儲舊任務信息,這將導致較大的工作內存需求,此 外,在計算和存儲資源固定的情況下,應設計專門的 機制保護和鞏固舊的知識不被新學習的知識所覆 蓋．在此基 礎 上,Rusu 等 人[６Ｇ７]嘗 試 在 新 任 務 到 來 時,分配額外的資源來緩解災難性遺忘．然而,這種 方法隨著任務數量的不斷增加,神經網絡架構將不 斷增加,進而直接降低模型的可伸縮性．由于連續學 習場景中不能預先知道任務數量和樣本大小,因此, 在沒有對輸入訓練樣本的概率分布做出很強的假設 情況下,預先定義足夠的存儲資源是不可避免的．在 這種情況下,Richardson等人[８]提出了針對連續學 習模型避免災難性遺忘的３個關鍵方面:１)為新知 識分配額外的神經元;２)如果資源是固定的,則使用 新舊知識的非重疊表示;３)把舊的知識疊加到新的 知識上作為新的信息．在此基礎上,受神經科學理論 的啟發,基于正則化策略、動態結構策略以及記憶策 略等一系列連續學習的方法相繼被提出．

如圖１所示,在連續學習過程中,智能體逐個對 每個連續的非獨立均勻分布流數據示例進行學習, 并且該智能體對每個示例只進行一次訪問．這種學 習方式與動物學習過程更為接近．如果我們忽略各 個任務的先后次序問題,單獨訓練每個任務,這將導 致災難性遺忘,這也是連續學習一直以來所面臨的 最大問題．因此,連續學習的本質,是通過各種手段 高效地轉化和利用已經學過的知識來完成新任務的 學習,并且能夠極大程度地降低遺忘帶來的問題。

**1.2 連續學習場景 **

連續學習的問題是指模型能夠連續學習一系列 任務,其中,在訓練期間,只有當前任務數據可用,并 且假設任務間是有明顯的分界[９]．近年來,對這一問 題,研究者們已展開積極的研究,提出了許多緩解連 續學習過程中災難性遺忘的方法．然而,由于各實驗 方案的不同,因此直接對各方法進行比較評估顯然 不可行．尤其是模型任務標識不可用等問題,這將直 接影響模型實現的難易程度．因此,為了使評價更加 標準化,并且也為了使實驗結果比較更具意義,在此 首先對連續學習過程中的３個學習場景進行簡要概 括[１０],如表１所示:

在第１個學習場景中,模型總是被告知需要執 行哪些任務,這也是最簡單的連續學習場景,將其稱 為任務增量學習(taskＧincrementallearning,TaskＧ IL)．近年來,提出的大部分連續學習方法在此場景都是適用的,且都具有較好的實驗效果,例如正則化 方法和動態結構方法等． 在第２個學習場景中,通常將其稱之為域增量 學 習 (domainＧincrementallearning,DomainＧIL), 任務標識不可用,模型只需要解決手頭的任務,模型 也不需要推斷這是哪個任務．文獻[１１]的實驗結果 證明,基于情景記憶的方法在該場景下有較好的實 驗結果,例如 GER,DGR,RtF 等,然而基于正則化 方法,例如 EWC,LwF,SI等,模型學習的準確率相 對較差． 在第３個學習場景中,模型必須能夠解決到目 前為止所看到的每個任務,并且還能夠推斷出它們 所面臨 的 任 務,將 此 場 景 稱 為 類 增 量 學 習 (classＧ incrementallearning,ClassＧIL),在 該 場 景 中 包 含 一個很常見的實際問題,即增量地學習對象的新類． 此場景是這３個場景中最為復雜的,也是最接近現 實中的學習場景,近年來,針對此場景下的連續學習 方法也相繼提出．例如,通過存儲之前任務數據的樣 本,緩解系統遺忘方法:文獻[５]提出一種iCarl的 連續學習方法,該方法通過在每個類中找出 m 個最 具代表性的樣本,那么其平均特征空間將最接近類 的整個特征空間,最后的分類任務是通過最接近樣 本均值的分類器來完成的;文獻[１２]介紹了對遺忘 和不妥協量化的度量方法,進而提出一種稱為 RWalk 方法,完成類增量場景下的學習;文獻[１３]提出一種 動態網絡擴展機制,通過由所學習的二進制掩碼動 態確定網絡所需增加的容量,以確保足夠的模型容 量來適應不斷傳入的任務．

**1.3 連續學習相關領域研究 **

連續學習相關的領域研究主要包括多任務學習 和遷移學習． １) 多任務學習．多任務學習的目的是能夠結合 所有任務的共同知識,同時改進所有單個任務的學 習性能,因此,多任務學習要求每個任務與其他任務 共享模型參數,或每個任務有帶約束的模型參數,別 的任務能夠給當前學習任務提供額外的訓練數據, 以此來作為其他任務的正則化形式．也就是說,多任 務學習的良好效果依賴于單個函數的共享參數化以 及對多個損失同時進行估計和求平均．當同時訓練 多個任務的共享層時,必須學習一個公共表示,從而 有效地對每個任務進行交叉正則化,約束單個任務 的模型． 對于神經網絡而言,Caruana [１４]對多任務學習 進行了詳細的研究,指出網絡的底層是共享的,而頂層是針對于特定任務的,多任務學習需要所有任務 的數據,此外,多任務學習隨著時間的推移,不會積 累任何知識,也就是說沒有持續學習的概念,這也是 多任務學習的關鍵問題所在． ２)遷移學習．遷移學習是使用源域來幫助另一 個任務完成目標域學習的一種學習方式[１５]．它假設 源域S 中有大量的標記訓練數據,而目標域T 只有 很少或沒有標記的訓練數據,但有大量未標記的數 據．遷移學習可以利用被標記的數據來幫助完成目 標域中的學習．然而遷移學習與連續學習,主要有 ４個不同:①遷移學習不是連續的,它僅僅是使用了 源域來幫助完成目標域學習;②遷移學習并沒有將 過去所學的知識進行積累;③遷移學習是單向進行 的,也就是說,遷移學習僅可使用源域來幫助完成目 標域的學習,然而,連續學習是可以在任何方向上進 行學習的;④遷移學習假設源域與目標域非常相似, 且這種相似性是人為決定的,然而在連續學習中并 沒有做出這樣一個很強的限制性假設．

２ 連續學習的典型模型

**

**

**2.1 無遺忘學習 **

Li等人[１６]在２０１７年提出了一種由卷積神經網 絡(convolutionalneuralnetwork,CNN)組成的無 遺忘學習(learningwithoutforgetting,LwF)方法, 該方法將知識蒸餾(knowledgedistillation,KD)[１７] 與細調方法[１８]相結合,其中,利用知識蒸餾策略來 避免對之前知識的遺忘．

**2.2 彈性權重整合 **

Kirkpatrick等人[１９]在２０１７年提出了一種結合 監督學習和強化學習方法,即彈性權重整合(elastic weightconsolidation,EWC)方法．在提出的模型目 標函數中,包括了對新舊任務之間模型參數的懲罰 項,從而有效緩解對先前學習的知識中與當下任務 相關知識遺忘．彈性權重整合示意圖如圖３所示:

**2.3 梯度情景記憶 **

LopezＧPaz等人[２０]在２０１７年提出梯度情景記憶 模型(gradientepisodicmemory,GEM),該模型能 夠實現知識正向遷移到先前任務的功能,以及將先 前任務學習的知識正向地遷移到當前任務上。

**2.4 分析比較 **

LwF方法僅需要使用新任務的數據,對新任務 進行優化,以提高新任務上模型預測的準確性,并保 持神經網絡對以前任務的預測性能．這種方法類似 于聯合訓練方法,但是該學習方法不使用舊任務的 數據和標簽數據．實驗表明,LwF 方法可以極大地 提高算法的分類性能以及計算效率,簡化了學習過 程,一旦學習了一個新的任務,訓練過的數據將不需 要再被保存或者回放．然而,這種方法的缺點是學習 的性能高度依賴于任務的相關性,并且單個任務的 訓練時間隨著學習任務的個數線性增加．雖然蒸餾 方法為多任務學習提供了一個潛在的解決方案,但 它需要為每個學習任務持久存儲數據．另外需要注 意,LwF方法不能被直接運用到強化學習場景中; EWC方法通過使用 FIM 對網絡參數進行約束,降 低模型對以前所學知識的遺忘程度,此外,該方法在 訓練過程 中 不 增 加 任 何 計 算 負 擔,但 這 是 以 計 算 FIM 為代價的,需存儲FIM 的值以及以前學習模型 參數 的 副 本;LopezＧPaz 等 人[２０]的 實 驗 結 果 表 明 GEM 模型,相較于 LwF 和 EWC 方法具有較好的 實驗效果,但是,該方法在訓練時,由于對于每個任 務都需要進行情景記憶,因此需要更多的內存空間, 所需的內 存 是 EWC 用 于 保 存 過 去 信 息 大 小 的 ２ 倍,與其他方法相比內存開銷較大,并且隨著學習任 務數量的增加,訓練成本急劇增加,此外該方法也不 能增量地對新的類別進行學習;同時提高性能也將 加大計算負擔．

**３ 連續學習的關鍵問題 **

3.1 災難性遺忘

災難性遺忘是連續學習面臨的最大挑戰．避免 災難性遺忘的問題,也就是說,在不斷完成有序到達 的新任務學習的同時,也能夠在之前學習過的任務 中表現得足夠好． Venkatesan等人[２１]在２０１７年設計了一種結合 生成式模型和知識蒸餾技術的全新采樣策略,用其來產生 來 自 過 去 學 習 任 務 概 率 分 布 上 的 “幻 覺 數 據”,使模型在不訪問歷史數據的前提下,緩解連續 學習過程中的災難性遺忘問題;文獻[２２]從序列貝 葉斯學習規則出發,假定數據序列到達時,用前一個 任務模型參數的后驗概率分布作為新任務模型參數 的先驗概率分布,為緩解連續學習過程中的災難性 遺忘問題提供一種解決方案;文獻[１９]提出的正則 化方法在模型參數更新時增加約束,以此在保持已 有知識的前提下,實現對新任務的學習,來緩解災難 性遺忘等．

3.2 知識的正向遷移

連續學習過程中的知識正向遷移,即連續學習 應該能夠在學習新任務的同時,利用以前的任務中 學習到的知識來幫助新任務的學習,從而提高學習 的效率和質量． 文獻[２３]實驗證明簡單的細調可以實現知識的 正向遷移;文獻[２４]提出保留訓練好的模型基類信 息編碼,可將其知識遷移到模型要學習的新類中;文 獻[１６]提出的 LwF方法中,使用蒸餾損失來保存 基類信息,進而使用保存的基類信息用于新數據的 訓練;文獻[６]通過繼承之前任務所學的知識,完成 對新任務的學習;LGM 模型是基于學生 教師的雙 重體系結構[２５],教師的角色是保存過去的知識并幫 助學生學習未來的知識,該模型通過優化一個增廣 的 ELBO 目標函數很好地幫助完成師生知識的正 向遷移;文獻[２６]提出一種符號程序生成(symbolic programsynthesis,SPS)的方法,來實現知識的正 向遷移等．

3.3 知識的正向和反向遷移

知識在反向傳播過程中的正向遷移,即如何利 用當前任務所學到的知識來幫助之前任務的學習是 連續學習模型研究的重點之一． 在連續學習場景中提出的 LwF模型或者具有 更為復雜正則化項的 EWC 模型,雖然可以在一定 程度上緩解災難性遺忘這一問題,然而卻無法實現 利用當前 任 務 知 識 來 幫 助 之 前 任 務 的 學 習．Li等 人[２７]在２０１９年提出一種連續結構學習框架,當網 絡進行結構搜索時,l層被選擇“重用”,即第l層能 夠學習到一個與先前的某個任務非常相似的表示, 這要求l層的２個學習任務之間存在語義相關,因 此,在第l層上使用正則化項對模型進行相應的約 束來幫助之前任務的學習,該模型的提出為解決利 用當前任務知識來幫助之前任務的學習提供了思 路;LopezＧPaz等人[２０]提出梯度情景記憶模型,實現知識正向遷移到先前任務功能,進而提高模型對之 前任務學習的學習能力．

3.4 可伸縮性能力

連續學習方法應該具有可伸縮性或擴展能力, 也就是說,該方法既能完成小規模數據任務的訓練, 也能夠可伸縮地實現大規模任務上的訓練學習,同時 需要能夠保持足夠的能力來應付不斷增加的任務． Schwarz等人[２８]在２０１８年提出一種進步和壓 縮框架(progressandcompressframework,P&C) 的連續學習模型,P&C模型是由知識庫(knowledge base)和活動列(activecolumn)兩部分組成,這個由 快速學習和整合組成的循環結構,使模型不需要結 構的增長,也不需要訪問和存儲以前的任務或數據, 也不需要特定的任務參數來完成對新任務的學習, 此外,由于 P&C模型使用了２個固定大小的列,所 以可以擴展到大規模任務上;文獻[９]提出一種動態 生成記憶模型(dynamicgenerativememory,DGM), 在 DGM 模型中,利用一個生成對抗結構來替代之 前模型的記憶模塊,來緩解災難性遺忘問題．其中, 該模型中還結合一個動態網絡擴展機制,以確保有足夠的模型容量來適應不斷傳入 的 新 任 務;Yoon 等人[２９]在２０１８年提出了一種新型的面向終身連 續學 習 的 深 度 網 絡 結 構,稱 為 動 態 可 擴 展 網 絡 (dynamicallyexpandablenetwork,DEN),它 可 以 在對一系列任務進行訓練的同時動態地確定其網絡 容量,從而學習任務之間緊密重疊的知識共享結構, 進而有效地對各任務間的共享和私有知識進行學 習,不斷學習新任務的同時有效地緩解災難性遺忘．

４ 連續學習方法研究進展

本節將具體介紹多個代表性的連續學習方法, 本文將把目前的連續學習分為基于正則化方法、基 于動態結構方法和基于情景記憶方法三大類,并闡 明不同方法之間的關系,還比較了這些方法在減輕 災難性遺忘性能的差異性．圖４是對近年來提出的 一些流行的連續學習策略韋恩圖總結． 連續學習中各個子類的分類圖如圖５~７所示． 圖中從模型引出到下一模型的箭頭,代表了下一模 型是在上一模型的基礎上發展演變得來．

目前為緩解連續學習過程中的災難性遺忘問 題,主要集中在引入正則化策略、動態結構策略和基 于情景記憶策略這３個方向進行研究．正則化方法 在模型更新時,通過對權重進行約束,實現在保持已 有知識的前提下,完成對新任務的學習,從而緩解災 難性遺忘這一問題,此外,這類方法通常不需要保存 任何以前的數據,只需要對每個任務進行一次訓練． 然而,該類方法克服災難性遺忘的能力是有限的,例 如在類增量學習(classＧincrementallearning,ClassＧ IL)場景下性能不佳,此外,隨著任務數目的不斷增 加,對過去任務進行正則化處理,可能導致特征漂 移．動態地改變模型結構以便在不干擾之前任務的 學習知識的情況下學習新的任務,該類方法也可以 成功地緩解災難性遺忘這一問題,然而,該類方法不 能從任務之間的正向遷移中獲益,另外模型的大小 隨著觀察到的任務數量的增加而急劇增長,這使得它在實際問題中往往不可行．基于情景記憶的方法, 通過保存一些以前任務的樣例進行記憶回放來緩解 對之前所學習知識的遺忘,該類方法在減輕災難性 遺忘方面顯示出了巨大優勢,然而,計算成本卻隨著 先前任務的數量增加而快速增長,并且該方法需要 保存之前樣例,不利于數據安全保護．在基于情景記 憶的方法中,為替代存儲所學任務的樣例數據,提出 使用深層生成模型來記憶以前見過的數據分布,然 而該類方法往往需要從頭開始重新訓練生成模型, 訓練效率低,此外,在每次生成以前任務的新的真實 樣本時,還極易造成“語義漂移”,且隨著時間推移, 模型訓練準確性逐漸下降．

６ 連續學習的應用

作為機器學習領域中的一個極具潛力的研究方 向,連續學習方法已經受到學者的極大青睞．隨著人 工智能及機器學習不斷的發展,基于連續學習的方 法已經獲得了較多應用,例如圖像分類、目標識別以 及自然語言處理等．以下將對近年來連續學習在各 領域的主要應用進行介紹．

6.1 圖像分類

Li等人[１６]在２０１７年提出了一種由卷積神經網 絡組成的無遺忘學習方法,該方法將知識蒸餾與細 調方法相結合,利用知識蒸餾的方法來加強與當前 學習任務相關的已經學習過的知識,提高分類的準 確性;Kim 等人[７０]提出基于 DOS的最大熵正則化 增量學 習 模 型(),該 模型通過最大熵正則化來減少對不確定遷移知識的 優化,以及利用 DOS來通過從新任務中選擇性地刪 除樣例減少對舊類的遺忘,以此減少記憶樣例中類 的不平衡,有效地完成連續學習過程中的圖像分類; Smith等人[７１]在２０１９年提出一種新穎的自學習聯想 記憶框架(selfＧtaughtassociativememory,STAM), 有效解決在連續學習過程中的無監督學習分類問 題;Aljundi等人[３７]提出一種基于稀疏編碼的正則 化方法,實現利用具有固定容量的網絡進行有序學 習問題,在 CIFAR１００和 MNIST 數據集上進行分 類的結果表明,該模型能夠有效地提高模型的分類 能力;Rostami等人[７２]考慮到基于自編碼器的生成 模型能夠很好地對輸入樣例進行編碼,獲得較好的 隱特征表示,同時受并行分布式處理學習和互補學 習系統理論的啟發,提出一種新穎的計算模型,該模 型能夠將新學習的概念與之前模型學習的概念經過 統一編碼,進而形成一個統一的嵌入空間表示,實現 了利用之前學習的概念知識來有效地幫助只有少量 標簽樣例的新領域知識的學習,從而完成在連續學 習背景下的樣例分類．

6.2 目標識別

****Siam 等人[７３]提出一種新穎的教師 學生自適 應框架,在無需人工標注的情況下,完成人機交互)背景下的視頻 目標對象分割(videoobjectsegmentation);Parisi等 人[７]提出了一種適用于終身學習場景的雙記憶自組 織體系結構,該模型結構主要包括一個深度卷積特 征提取模塊和２個分層排列的遞歸自組織網絡,進而 實現在終身學習場景下的視頻序列中的目標對象的 識別;Tessler等人[７４]提出一種新穎的分層深度強化 學習網絡(hierarchicaldeepreinforcementlearning network,HＧDRLN)框架,該模型在 Minecraft游戲 場景中,通過重用在之前任務中學習到的知識,進而 完成對未來任務場景的目標對象學習,提高效率,同 時,該模型的實驗結果也展示了在不需要額外學習 的情況下在相關 Minecraft任務之間遷移知識的潛 力;Michiel等人[１０]將當前的基于任務標識已知的 序列學習方法推向了在線無任務標識的連續學習場 景中,首先,假設有一個無限輸入的數據流,其中該 數據流中包含現實場景中常見的逐漸或者突然的變 化．文獻[１０]中提出一種基于重要權重正則化的連續 學習方法,與傳統的任務標識已知場景中不同,在該 場景中,該模型需要有效地檢測何時、如何以及在哪 些數據上執行重要性權重更新,進而有效地在無任 務標識場景下進行在線連續學習．該文中在監督學 習和自監督學習過程中都成功地驗證了該方法的有 效性．其中,具體而言,相較于基準學習方法,在電視 劇人臉識別和機器人碰撞等具體應用中,該方法的穩 定性和學習性能都有所提高．Tahir等人[７５]考慮到 當下最先進的有關食物識別的深度學習模型不能實 現數據的增量學習,經常在增量學習場景中出現災難 性遺忘問題．因此,提出一種新的自適應簡化類增量 核極值學習機方法(adaptivereducedclassincremental kernelextremelearning machine,ARCIKELM), 進而完成目標食物對象的識別,其中在多個標準的 食物數據集的最終分類準確性證明了該模型可以有 效地進行增量學習．

6.3 自然語言處理

d??Autume等人[７６]介紹了一種連續學習背景下 的自然語言學習模型,該模型實現了對在線文本數據 的有效學習．在文獻[７６]中介紹了一種基于稀疏經 驗回放的方法有效地防止災難性遺忘,具體而言,對 于每１００００個新的樣本隨機均勻選擇１００個樣本在 固定的時間間隔進行稀疏經驗回放,實驗表明,該模 型在文本分類和問答系統等自然語言領域可以實現 較好的應用．Li等人[７７]考慮到現有的方法大多集中 在對輸入和輸出大小固定的標簽預測連續學習任務上,因此,提出了一個新的連續學習場景,它處理自 然語言學習中常見的序列到序列的學習任務．實驗 結果表明,該方法比現有方法有明顯的改進,它能有 效地促進知識正向遷移,防止災難性遺忘．Kruszewski 等人[７８]提出一種基于多語言和多領域背景下的語 言建模基準,該基準可以將任何明確的訓練樣例劃 分為不同的任務．與此同時,提出一種基于產品專家 (productofexperts,PoE)的多語言連續學習方法, Kruszewski等人的實驗結果證明,在進行多語言連 續學習時,該模型可以有效地緩解災難性遺忘．Hu 等人[７９]對個性化在線語言學習 問 題 (personalized onlinelanguagelearning,POLL)進行研究,涉及到 適應個性化的語言模型以適應隨著時間發展的用戶 群體．為了有效地對 POLL問題進行研究,文獻[７９] 的作者收集了大量的微博帖子作為訓練數據集,進 而對近年來流行的連續學習算法進行了嚴格評估, 并在此基礎上提出一種簡單的連續梯度下降算法 (continualgradientdescent,ConGraD),實驗結果 表明,該算法在 Firehose數據集和早期基準測試數 據集的實驗結果優于之前的連續學習方法．

**７ 未來的研究方向 **

作為機器學習領域中的一個新興方向,連續學 習近幾年受到研究者們的極大關注,目前來看,連續 學習在未來的研究中有１０個潛在的方向: １) 基于經驗回放(experiencereplay)的模型相 較于其他連續學習模型有較好的性能,然而,容量的 飽和是該類模型中所面臨的重要挑戰,因此如何在 保持原有知識的同時,不斷提高模型的能力是未來 重要的研究方向． ２)對于任務不可知場景下的連續學習算法尚 需進一步研究．目前,大多連續學習算法要求在任務 邊界(taskboundaries)已知的場景中來進行訓練和 預測,即當需要學習一個新的任務時,模型需要被告 知有新的學習任務,例如,改變損失函數中的參數 等,以便系統能夠采取某些行動．然而,在任務之間 沒有明顯邊界,即任務的轉變是逐漸的或者連續的, 這些模型將不再適用．然而,在實際應用中,往往需 面對的是任務邊界不可知場景學習問題．文獻[９]從 貝葉斯的角度提出一種貝葉斯梯度下降算法(Bayes gradientdesent,BGD),對沒有明確定義的任務邊 界的連續學習問題提供一種解決思路,然而,基于此 場景的連續學習算法仍相對缺乏,尚需進一步研究． ３)利用多模態信息．現有的連續學習方法通常 使用來自單一模態(如圖像或文本)的知識進行建 模,然而,雖然當下訓練集有一些當前模態的樣例, 但是,樣例可能還存在另一個模態．因此,來自多模 態的知識可以為連續學習提供較為豐富的樣例信 息,進而提高模型的建模能力．因此如何有效地利用 這些多模態信息也是未來研究的重要方向． ４)在未來可以對當下連續學習模型應用的靈 活性進行進一步擴展研究,例如多感知領域的擴展． 文獻[８０]可以從視聽流中不斷學習任務的特征,使 得連續學習的方法向更加廣泛的應用邁進一步．因 此,可以通過將連續學習方法部署在具體的代理中, 通過與環境的主動交互,在持續的時間內可以增量 地獲取和提取知識,以此來更好地完成對對象的識 別等任務． ５)數據集太小也是連續學習過程所面臨的挑 戰之一．例如,目前存在的iCubＧT 和 CORe５０數據 集,只包含幾十個常見的家庭對象類,缺乏大規模和 多樣性數據集．因此,創建一個更大的和更多樣化的 數據集,即可以包括數百個或數千個類,也可以包括 不同類型的識別,如人臉、場景以及活動等,對未來 的研究工作是至關重要的． ６)在實際分類問題中,數據的不平衡時常發生,易于導致數據的錯誤分類,因此如何從不平衡的 數據集中進行正確分類,也是未來連續學習研究的 一個重要方向． ７)在線學習．當前的連續學習方法多集中于對 每個單獨的任務進行離線訓練,然而,在實際應用中 數據往往以數據流的形式存在[８１]．因此,如何對連 續的數據流進行學習是未來的一個重要的研究方向． ８)正向遷移．在連續學習方法中,正向遷移即 知識的正向遷移能力,也就是對新任務進行學習時, 如何有效地利用之前所學習的知識來有效地加快對 當前任務的學習．近年來,元學習方法的出現,為進 一步提高知識的正向遷移提供了前景．因此,如何有 效地利用元學習技術來盡可能地加快對當前任務的 學習是未來的一個重要的研究方向． ９)權衡 模 型 的 穩 定 性 與 可 塑 性．模 型 的 可 塑 性,即模型對學習新知識的能力．模型的穩定性,即 模型對已經學習知識的保留能力．在連續學習過程 中,如何有效地對模型的穩定性和可塑性進行權衡 是一個值得研究的問題． １０)應用領域擴展．大多實際應用場景都涉及 連續學習的問題,計算機視覺中圖像分類是連續學習最常用的實驗平臺之一．連續學習最近在許多其他 應用中也引起了廣泛關注,如機器人技術、自然語言 處理和視頻信號處理．總之,連續學習還有很多值得 探索的領域和應用．

雖然在許多領域生成并提供了大量未標記數據，但對自動理解可視化數據的需求比以往任何時候都要高。大多數現有的機器學習模型通常依賴于大量帶標簽的訓練數據來實現高性能。不幸的是，這樣的需求在真實的應用中無法滿足。標簽的數量是有限的，手動注釋數據是昂貴和耗時的。通常需要將知識從現有的標記領域遷移到新的領域。然而，模型性能會因為域之間的差異而降低(域移位或數據集偏差)。為了克服標注的負擔，領域適應(Domain Adaptation, DA)旨在緩解知識從一個領域轉移到另一個相似但不同的領域時的領域轉移問題。無監督DA (UDA)處理有標記的源域和無標記的目標域。UDA的主要目標是減少帶標簽源數據和未帶標簽目標數據之間的域差異，并在訓練過程中學習跨兩個域的域不變表示。本文首先定義了UDA問題。其次，我們從傳統方法和基于深度學習的方法兩方面概述了用于不同類別UDA的最新方法。最后，我們收集了常用的基準數據集，并報告了UDA在視覺識別問題上的最新方法的結果。

//www.zhuanzhi.ai/paper/a3132aabda946e6540ff6c1a9b745303

在這個大數據時代，產生了大量的文本、圖像、聲音和其他類型的數據。工業和研究團體對多媒體數據的自動分類、分割和回歸有很大的需求[1;2) 1。監督學習是機器學習中最普遍的一種，在不同的應用領域都取得了很大的成功。近年來，我們已經見證了深度神經網絡在一些標準基準如ImageNet[4]和CIFAR-10[5]上取得的巨大成功。然而，在現實世界中，我們經常遇到一個嚴重的問題，即缺乏用于訓練的標記數據。眾所周知，機器學習模型的訓練和更新依賴于數據注釋。此外，機器學習模型的高性能依賴于大量帶標簽的訓練數據的存在。不幸的是，在許多實際場景中，這樣的要求無法滿足，因為收集的數據有限制或沒有標簽。此外，一個主要的假設是訓練和測試數據具有相同的分布。如果背景、質量或形狀變形在不同的域之間是不同的，那么這樣的假設很容易被扭曲。此外，手動注釋數據通常非常耗時且昂貴。這給正確訓練和更新機器學習模型帶來了挑戰。因此，一些應用領域由于沒有足夠的標注數據進行訓練而沒有得到很好的發展。因此，常常需要將知識從一個已有的標簽領域轉移到一個相似但不同的、有限或沒有標簽的領域。

然而，由于數據偏置或區域移位的現象6，機器學習模型并不能很好地從一個現有的域推廣到一個新的無標記域。對于傳統的機器學習方法，我們通常假設訓練數據(源域)和測試數據(目標域)來自相同的分布，并從訓練數據中優化模型，直接應用到測試數據中進行預測。忽略訓練數據和測試數據之間的差異。然而，源域和目標域之間常常存在差異，如果存在域遷移問題，傳統方法的性能較低。因此，減輕領域遷移問題對提高模型跨不同領域的性能非常重要。

域適應(DA)是遷移學習(TL)的一種特殊設置，其目的是利用豐富的帶標簽源域的知識，為標簽有限或無標簽的目標域學習有效的預測器，同時緩解域遷移問題。近年來，DA在計算機視覺領域受到越來越多的關注，如圖1所示。每年與DA相關的論文越來越多，說明了DA應用的重要性。有三種類型的DA(有監督的、半監督的和無監督的DA)，它們取決于目標域中的標簽數量。對于監督DA，所有的目標數據標簽都是可用的。對于半監督DA，部分目標數據標簽是可用的。對于無監督域適配(UDA)，目標域沒有標簽。為了克服標注不足所帶來的限制，技術將有標記的源域和來自目標域的未標記樣本結合起來。此外，UDA中源域和目標域的類別數量相同，也稱為閉集域適應。

現有的域自適應方法假設源域和目標域的數據分布不同，但共享相同的標簽空間。傳統的DA方法高度依賴于從原始圖像中提取特征。隨著深度神經網絡的發展，研究人員正在利用更高性能的深度特征(如AlexNet [7]， ResNet50 [8]， Xception [9]， InceptionResNetv2[10])來代替較低級別的SURF特征。然而，傳統方法的預測精度受到深度神經網絡[11]特征提取質量的影響。近年來，深度神經網絡方法在領域適應問題上取得了巨大的成功。特別是，對抗學習在嵌入深度神經網絡學習特征表示以最小化源域和目標域之間的差異方面表現出強大的能力[12;13)。但是，它只局限于將現有的解決方案從源域改進到目標域，而目標樣本的結構信息很難保存。此外，很難移除目標域中有噪聲的預測標簽。

本文主要研究了圖像識別中的域自適應問題。本次綜述的貢獻如下。(i)我們提出了一種基于傳統和深度學習的DA分類方法。(ii) 我們是第一個在特征選擇、分布適應和子空間學習三種不同背景下研究傳統技術的人。(iii)我們還討論了基于深度學習的方法，包括基于差異的方法、基于對抗的方法、基于偽標簽的方法、基于重構的方法、基于表征的方法和基于注意力的方法。(4)我們收集了幾個基準數據集，這些數據集在UDA中得到了廣泛的應用，并報告了最新方法的結果。本文的其余部分組織如下:在第2、3節中，我們介紹了DA問題的符號和泛化界。在第四部分，我們回顧了傳統的UDA方法。在第5節中，我們描述了用于圖像識別的深度DA方法。在第6節中，我們列出了DA的基準數據集，并報告了最新方法的準確性。

聯邦學習旨在在不犧牲本地數據隱私的情況下，從多個分散的邊緣設備（例如移動設備）或服務器中學習機器學習模型。最近的自然語言處理技術依賴于深度學習和大型預訓練語言模型。然而，大型深度神經模型和語言模型都是用大量數據訓練的，這些數據通常位于服務器端。由于文本數據廣泛來自最終用戶，在這項工作中，我們研究了最近使用聯邦學習作為學習框架的 NLP 模型和技術。我們的綜述討論了聯邦自然語言處理的主要挑戰，包括算法挑戰、系統挑戰以及隱私問題。我們還對現有的聯邦 NLP 評估方法和工具進行了嚴格審查。最后，我們強調了當前的研究差距和未來的方向。

//www.zhuanzhi.ai/paper/a7798d2845ab5942e6e095b0be202d08

經典機器學習算法假設訓練數據和測試數據具有相同的輸入特征空間和相同的數據分布。在諸多現實問題中，這一假設往往不能滿足，導致經典機器學習算法失效。領域自適應是一種新的學習范式，其關鍵技術在于通過學習新的特征表達來對齊源域和目標域的數據分布，使得在有標簽源域訓練的模型可以直接遷移到沒有標簽的目標域上，同時不會引起性能的明顯損失。本文介紹領域自適應的定義，分類和代表性算法，重點討論基于度量學習的領域自適應算法和基于對抗學習的領域自適應算法。最后，分析領域自適應的典型應用和存在挑戰，明確領域自適應的發展趨勢，并提出未來可能的研究方向。

隨著數據越來越多地存儲在不同的筒倉中，社會越來越關注數據隱私問題，傳統的人工智能(AI)模型集中訓練正面臨效率和隱私方面的挑戰。最近，聯邦學習(FL)作為一種替代解決方案出現，并在這種新的現實中繼續蓬勃發展。現有的FL協議設計已經被證明對系統內外的對抗是脆弱的，危及數據隱私和系統的魯棒性。除了訓練強大的全局模型外，最重要的是設計具有隱私保障和抵抗不同類型對手的FL系統。在本文中，我們對這一問題進行了第一次全面的綜述。通過對FL概念的簡明介紹，和一個獨特的分類涵蓋:1) 威脅模型; 2) 中毒攻擊與魯棒性防御; 3) 對隱私的推理攻擊和防御，我們提供了這一重要主題的可訪問的回顧。我們強調了各種攻擊和防御所采用的直覺、關鍵技術和基本假設。最后，我們對魯棒性和隱私保護聯合學習的未來研究方向進行了討論。

//www.zhuanzhi.ai/paper/678e6e386bbefa8076e699ebd9fd8c2a

引言

隨著計算設備變得越來越普遍，人們在日常使用中產生了大量的數據。將這樣的數據收集到集中的存儲設施中既昂貴又耗時。傳統的集中式機器學習(ML)方法不能支持這種普遍存在的部署和應用，這是由于基礎設施的缺點，如有限的通信帶寬、間歇性的網絡連接和嚴格的延遲約束[1]。另一個關鍵問題是數據隱私和用戶機密性，因為使用數據通常包含敏感信息[2]。面部圖像、基于位置的服務或健康信息等敏感數據可用于有針對性的社交廣告和推薦，造成即時或潛在的隱私風險。因此，私人數據不應該在沒有任何隱私考慮的情況下直接共享。隨著社會對隱私保護意識的增強，《通用數據保護條例》(GDPR)等法律限制正在出現，這使得數據聚合實踐變得不那么可行。

在這種情況下，聯邦學習(FL)(也被稱為協作學習)將模型訓練分發到數據來源的設備上，作為一種有前景的ML范式[4]出現了。FL使多個參與者能夠構建一個聯合ML模型，而不暴露他們的私人訓練數據[4]，[5]。它還可以處理不平衡、非獨立和同分布(非i.i.d)數據，這些數據自然出現在真實的[6]世界中。近年來，FL獲得了廣泛的應用，如下一個單詞預測[6]、[7]、安全視覺目標檢測[8]、實體解析[9]等。

根據參與者之間數據特征和數據樣本的分布，聯邦學習一般可以分為水平聯邦學習(HFL)、垂直聯邦學習(VFL)和聯邦遷移學習(FTL)[10]。

具有同構體系結構的FL: 共享模型更新通常僅限于同構的FL體系結構，也就是說，相同的模型被所有參與者共享。參與者的目標是共同學習一個更準確的模型。具有異構架構的FL: 最近的努力擴展了FL，以協同訓練具有異構架構的模型[15]，[16]。

FL提供了一個關注隱私的模型訓練的范式，它不需要數據共享，并且允許參與者自由地加入和離開聯盟。然而，最近的研究表明，FL可能并不總是提供足夠的隱私和健壯性保證。現有的FL協議設計容易受到以下攻擊: (1)惡意服務器試圖從個人更新中推斷敏感信息，篡改訓練過程或控制參與者對全局參數的看法;或者(2)一個敵對的參與者推斷其他參與者的敏感信息，篡改全局參數聚合或破壞全局模型。

在隱私泄露方面，在整個訓練過程中，通信模型的更新會泄露敏感信息[18]、[19]，并導致深度泄露[20]，無論是對第三方服務器還是中央服務器[7]、[21]。例如，如[22]所示，即使是很小一部分的梯度也可以揭示相當數量的有關本地數據的敏感信息。最近的研究表明，通過簡單地觀察梯度，惡意攻擊者可以在[20]，[23]幾次迭代內竊取訓練數據。

在魯棒性方面，FL系統容易受到[24]、[25]和[26]、[27]、[28]、[29]的模型中毒攻擊。惡意參與者可以攻擊全局模型的收斂性，或者通過故意改變其本地數據(數據中毒)或梯度上傳(模型中毒)將后門觸發器植入全局模型。模型投毒攻擊可以進一步分為:(1)Byzantine 攻擊，攻擊者的目標是破壞全局模型[13]、[30]的收斂性和性能;(2)后門攻擊，對手的目標是在全局模型中植入一個后門觸發器，以欺騙模型不斷預測子任務上的敵對類，同時在主要任務[26]，[27]上保持良好的性能。需要注意的是，后門模型投毒攻擊通常利用數據投毒來獲取有毒的參數更新[24]、[26]、[27]。

這些隱私和魯棒性攻擊對FL構成了重大威脅。在集中學習中，服務器控制參與者的隱私和模型魯棒性。然而，在FL中，任何參與者都可以攻擊服務器并監視其他參與者，有時甚至不涉及服務器。因此，理解這些隱私性和健壯性攻擊背后的原理是很重要的。

目前對FL的研究主要集中在系統/協議設計[10]、[31]、[32]。聯邦學習的隱私和穩健性威脅還沒有得到很好的探討。在本文中，我們調研了FL的隱私和魯棒性威脅及其防御方面的最新進展。特別地，我們關注由FL系統內部者發起的兩種特定威脅:1) 試圖阻止學習全局模型的中毒攻擊，或控制全局模型行為的植入觸發器;2) 試圖泄露其他參與者隱私信息的推理攻擊。表2總結了這些攻擊的特性。