亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

目前,以深度學習為代表的人工智能算法憑借超大規模數據集以及強大的計算資源,在圖像分類、生物特征識別、醫療 輔助診斷等領域取得了優秀的成果并成功落地.然而,在許多實際的應用場景中,因諸多限制,研究人員無法獲取到大量樣本 或者獲取樣本的代價過高,因此研究圖像分類任務在小樣本情形下的學習算法成為了推動智能化進程的核心動力,同時也成為 了當下的研究熱點.小樣本學習指在監督信息數量有限的情況下進行學習并解決問題的算法.首先,從機器學習理論的角度 描述了小樣本學習困難的原因;其次,根據小樣本學習算法的設計動機將現有算法歸為表征學習、數據擴充、學習策略三大類, 并分析其優缺點;然后,總結了常用的小樣本學習評價方法以及現有模型在公用數據集上的表現;最后,討論了小樣本圖像分類 技術的難點及未來的研究趨勢,為今后的研究提供參考。

近年來,人工智能技術在大數據時代迎來了高速發展,從 早期的學術探索迅速轉變為實際應用.目前,以深度學習為 代表的人工智能算法憑借超大規模數據集以及強大的計算資 源,在圖像分類、生物特征識別、醫療輔助診斷等領域取得了優秀的成果并成功落地. 然而,當今現實場景中通常并不具備獲得大規模可訓練 數據的條件,這不利于許多傳統行業的智能化轉型.另一方 面,由于圖像分類算法在實際應用中起著關鍵性的作用,因此 面向圖像分類的小樣本學習的關鍵算法研究成為了產業智能 化轉型的驅動引擎之一.

深度學習以大規模數據集為前提,在圖像分類、目標檢 測、文本分析[１Ｇ３]等領域取得了顯著的成功.然而在實際場景 中,首先,由于成本、隱私、安全或道德問題,相關研究者很難 或不可能獲得大規模、高質量的數據及標注.例如,在醫療領 域,醫學影像的產生來源于病例,但少量的病例并不能夠輔助 機器對醫療影像進行分析.其次,在算法設計層面,研究者期 望機器學會以人類的方式進行學習,即在獲取少量樣本的情 況下,對樣本進行分類和識別,并且具有快速理解新概念并將 其泛化的能力. 為了能夠在監督信息數量有限的情況下進行學習,針對 小樣本學習(FewＧshotLearning)[４Ｇ８]的研究應運而生.在小 樣本分類中,模型在一組具有豐富樣本的類別集上進行訓練, 這些類稱為基類,然后在類別不交叉的僅具有少量樣本的另 一組類別集(新類)上進行訓練與測試.

目前,針對小樣本學習的研究工作越來越豐富,隨著深度 學習的發展,涌現了很多新穎的小樣本學習方法[９Ｇ１１].例如, 在模型表征階段采用自監督學習以更好地表征出圖像[１２Ｇ１５]; 在數據 擴 充 階 段,采 用 從 原 始 域 擴 充 或 從 語 義 空 間 擴 充 等[１１,１６Ｇ１７]方式來處理小樣本學習任務;在學習階段,使用遷移 學習、度量學習、元學習等算法[１８Ｇ２４]以更好地尋找到一個有 良好泛化能力的模型.現有的小樣本綜述文獻[２５Ｇ２６]通常從 算法類別的角度進行歸納總結,而本文將從理論誤差分析以 及算法設計 動 機 的 角 度 來 進 行 綜 述,并 覆 蓋 近 年 來 取 得 的 成果. 本文首先從機器學習理論的角度描述了小樣本學習難以 泛化的原因;其次,依據小樣本學習算法的設計動機將現有算 法歸為表征學習、數據擴充、學習策略三大類,并評價其優缺 點;然后,總結了常用的小樣本學習評價方法以及現有模型在 公用數據集上的表現;最后,提出了一些有前景的研究方向, 為今后的研究提供參考。

華南師范大學等《知識蒸餾》最新綜述論文

高性能的深度學習網絡通常是計算型和參數密集型的，難以應用于資源受限的邊緣設備. 為了能夠在低 資源設備上運行深度學習模型，需要研發高效的小規模網絡. 知識蒸餾是獲取高效小規模網絡的一種新興方法， 其主要思想是將學習能力強的復雜教師模型中的“知識”遷移到簡單的學生模型中. 同時，它通過神經網絡的互 學習、自學習等優化策略和無標簽、跨模態等數據資源對模型的性能增強也具有顯著的效果. 基于在模型壓縮和 模型增強上的優越特性，知識蒸餾已成為深度學習領域的一個研究熱點和重點. 本文從基礎知識,理論方法和應用 等方面對近些年知識蒸餾的研究展開全面的調查，具體包含以下內容：****(1)回顧了知識蒸餾的背景知識，包括它的 由來和核心思想；(2)解釋知識蒸餾的作用機制；(3)歸納知識蒸餾中知識的不同形式，分為輸出特征知識、中間特 征知識、關系特征知識和結構特征知識；(4)詳細分析和對比了知識蒸餾的各種關鍵方法，包括知識合并、多教師 學習、教師助理、跨模態蒸餾、相互蒸餾、終身蒸餾以及自蒸餾；(5)介紹知識蒸餾與其它技術融合的相關方法， 包括生成對抗網絡、神經架構搜索、強化學習、圖卷積、其它壓縮技術、自動編碼器、集成學習以及聯邦學習；(6)對知識蒸餾在多個不同領域下的應用場景進行了詳細的闡述；(7)討論了知識蒸餾存在的挑戰和未來的研究方向.

1. 引言

深度學習由于對目標多樣性變化具有很好的魯 棒性，近年來得到廣泛的關注并取得快速的發展. 然而性能越好的深度學習模型往往需要越多的資 源，使其在物聯網、移動互聯網等低資源設備的應 用上受到限制. 因此研究人員開始對高效的(Efficient)深度學習模型展開研究，其目的是使具有高性能 的模型能夠滿足低資源設備的低功耗和實時性等要 求，同時盡可能地不降低模型的性能. 當前，主要 有 5 種方法可以獲得高效的深度學習模型**：直接手 工設計輕量級網絡模型、剪枝、量化、基于神經架 構搜索(Neural Architecture Search，NAS)[1]的網絡自 動化設計以及知識蒸餾(Knowledge Distillation，KD)[2]**. 其中，知識蒸餾作為一種新興的模型壓縮方 法，目前已成為深度學習領域的一個研究熱點和重 點. 國內外許多大學和研究機構已經對知識蒸餾展 開了深入研究，并且每年在機器學習和數據挖掘的 國際頂級會議和知名期刊中都有關于知識蒸餾的文 章發表.

知識蒸餾是一種教師-學生(Teacher-Student)訓 練結構，通常是已訓練好的教師模型提供知識，學 生模型通過蒸餾訓練來獲取教師的知識。它可以以 輕微的性能損失為代價將復雜教師模型的知識遷移 到簡單的學生模型中. 在后續的研究中，學術界和 工業界擴展了知識蒸餾的應用范疇，提出了利用知 識蒸餾來實現模型性能的增強. 基于此，本文根據 應用場景劃分出基于知識蒸餾的模型壓縮和模型增 強這兩個技術方向，即獲得的網絡模型是否為了應 用于資源受限的設備. 圖 1 給出了這兩種技術對比 的一個例子，其中的教師模型都是提前訓練好的復 雜網絡. 模型壓縮和模型增強都是將教師模型的知 識遷移到學生模型中. 所不同的是，模型壓縮是教 師網絡在相同的帶標簽的數據集上指導學生網絡的 訓練來獲得簡單而高效的網絡模型，如左圖的學生 是高效的小規模網絡. 模型增強則強調利用其它資 源(如無標簽或跨模態的數據)或知識蒸餾的優化策 略(如相互學習和自學習)來提高一個復雜學生模型 的性能. 如右圖中，一個無標簽的樣本同時作為教 師和學生網絡的輸入，性能強大的教師網絡通常能 預測出該樣本的標簽，然后利用該標簽去指導復雜 的學生網絡訓練.

本文重點收集了近些年在人工智能、機器學習 以及數據挖掘等領域的國際頂級會議(如 ICCV， ICML，EMNLP，KDD)與重要學術期刊(如 PAMI， TOIS，TKDE，TMM)上有關知識蒸餾的論文并加以 整理、歸納和分析. 據我們所知，目前國內沒有知 識蒸餾相關的中文綜述，而先前兩篇英文綜述[3,4] 和我們工作相似，但本文進一步完善了知識蒸餾的 綜述. 具體地，本文與先前的英文綜述[3,4]至少有以 下三點的不同：

• （1）先前的研究都忽略了知識蒸餾在模型增強 上的應用前景。在本文的研究調查中，知識蒸餾不 僅可以用于模型壓縮，它還能通過互學習和自學習 等優化策略來提高一個復雜模型的性能. 同時，知 識蒸餾可以利用無標簽和跨模態等數據的特征，對 模型增強也具有顯著的提升效果.

• （2）先前的研究都沒有關注到結構化特征知 識，而它在知識架構中又是不可或缺的。 某個結構 上的知識往往不是單一的，它們是有關聯的、多個 知識形式組合. 充分利用教師網絡中的結構化特征 知識對學生模型的性能提升是有利的，因此它在近 兩年的工作中越發重要[5,6].

• （3）本文從不同視角給出了基于知識蒸餾的描 述，并提供了更多的知識介紹。 在知識蒸餾的方法 上，本文增加了知識合并和教師助理的介紹；在技 術融合的小節，本文增加了知識蒸餾與自動編碼器、 集成學習和聯邦學習的技術融合；在知識蒸餾的應 用進展中，本文分別介紹了知識蒸餾在模型壓縮和 模型增強的應用，并增加了多模態數據和金融證券 的應用進展；在知識蒸餾的研究趨勢展望中，本文 給出了更多的研究趨勢，特別是介紹了模型增強的 應用前景.

總的來說，本文在文獻[3,4]基礎上，以不同的 視角，提供更加全面的綜述，以便為后續學者了解 或研究知識蒸餾提供參考指導.

本文組織結構如圖 2 所示. 第 2 節回顧了知識 蒸餾的背景知識，包括它的由來；第 3 節解釋知識 蒸餾的作用機制，即為什么知識蒸餾是有效的；第 4 節歸納知識蒸餾中知識的不同形式；第 5 節詳細 分析了知識蒸餾的各種方法，其強調的是知識遷移 的方式；第 6 節介紹知識蒸餾與其它技術融合的相 關方法；第 7 節歸納知識蒸餾的應用進展；第 8 節 給出了知識蒸餾的研究趨勢展望. 最后，第 9 節對 本文工作進行總結.

2. 知識蒸餾的提出

知識蒸餾與較早提出的并被廣泛應用的一種機 器學習方法的思想較為相似，即遷移學習[7]. 知識蒸 餾與遷移學習都涉及到知識的遷移，然而它們有以 下四點的不同： (1) 數據域不同. 知識蒸餾中的知識通常是在同 一個目標數據集上進行遷移，而遷移學習中的知識 往往是在不同目標的數據集上進行轉移. (2) 網絡結構不同. 知識蒸餾的兩個網絡可以是 同構或者異構的，而遷移學習通常是在單個網絡上 利用其它領域的數據知識. (3) 學習方式不同. 遷移學習使用其它領域的豐 富數據的權重來幫助目標數據的學習，而知識蒸餾 不會直接使用學到的權重. (4) 目的不同. 知識蒸餾通常是訓練一個輕量級 的網絡來逼近復雜網絡的性能，而遷移學習是將已 經學習到相關任務模型的權重來解決目標數據集的 樣本不足問題.

3. 知識蒸餾的作用機制

Hinton 等人[2]認為，學生模型在知識蒸餾的過 程中通過模仿教師模型輸出類間相似性的“暗知識” 來提高泛化能力. 軟目標攜帶著比硬目標更多的泛 化信息來防止學生模型過擬合. 雖然知識蒸餾已經 獲得了廣泛的應用，但是學生模型的性能通常是僅接 近于教師模型. 特別地，給定學生和教師模型相同的 大小卻能夠讓學生模型的性能超越教師模型[12]，性 能越差的教師模型反倒教出了更好的學生模型[13]. 為了更好地理解知識蒸餾的作用，一些工作從數學 或實驗上對知識蒸餾的作用機制進行了證明和解 釋. 本文歸納為以下幾類：

(1) 軟目標為學生模型提供正則化約束. 這一 結論最早可以追溯到通過貝葉斯優化來控制網絡超 參數的對比試驗[14]，其表明了教師模型的軟目標為 學生模型提供了顯著的正則化. 軟目標正則化的作 用是雙向的，即還能將知識從較弱的教師模型遷移 到能力更強大的學生模型中[15,16]. 一方面，軟目標 通過標簽平滑訓練提供了正則化[15,16]，標簽平滑是 通過避免了過分相信訓練樣本的真實標簽來防止訓 練的過擬合[15]. 另一方面，軟目標通過置信度懲罰 提供了正則化[12]，置信度懲罰讓學生模型獲得更好 的泛化能力，其主要依賴于教師模型對正確預測的 信心. 這兩種正則化的形式已經在數學上得到了證 明. 總的來說，軟目標通過提供標簽平滑和置信度 懲罰來對學生模型施加正則化訓練. 因此，即使沒 有強大的教師模型，學生模型仍然可以通過自己訓 練或手動設計的正則化項得到增強[16].

(2) 軟目標為學生模型提供了“特權信息” (Privileged Information). “特權信息”指教師模型 提供的解釋、評論和比較等信息[17]. 教師模型在訓 練的過程中將軟目標的“暗知識”遷移到學生模型 中，而學生模型在測試的過程中并不能使用“暗知 識”. 從這個角度看，知識蒸餾是通過軟目標來為 學生模型傳遞“特權信息”.

(3) 軟目標引導了學生模型優化的方向. Phuong 等人[18]從模型訓練的角度證明了軟目標能引導學生 模型的優化方向. 同時，Cheng 等人[19]從數學上驗 證了軟目標使學生模型比從原始數據中進行優化學 習具有更高的學習速度和更好的性能.

4 蒸餾的知識形式

原始知識蒸餾(Vanilla Knowledge Distillation)[2] 僅僅是從教師模型輸出的軟目標中學習出輕量級的 學生模型. 然而，當教師模型變得更深時，僅僅學 習軟目標是不夠的. 因此，我們不僅需要獲取教師 模型輸出的知識，還需要學習隱含在教師模型中的 其它知識，比如中間特征知識. 本節總結了可以使 用的知識形式有輸出特征知識、中間特征知識、關 系特征知識和結構特征知識. 知識蒸餾的 4 種知識 形式的關系如圖 5 所示. 從學生解題的角度，這 4 種知識形式可以形象比喻為：輸出特征知識提供了 解題的答案，中間特征知識提供了解題的過程，關 系特征知識提供了解題的方法，結構特征知識則提 供了完整的知識體系.

5 知識蒸餾的方法

本節從知識利用的方式，歸納和分析知識蒸 餾的主要方法，包括知識合并、多教師學習、教 師助理、跨模態蒸餾、相互蒸餾、終身蒸餾以及 自蒸餾.

6 知識蒸餾與其它技術的融合

近幾年，研究人員發現知識蒸餾結合其它主流 技術通常能夠提高其性能. 目前這些主流技術主要 有：生成對抗網絡、神經架構搜索、強化學習、圖 卷積、其它壓縮技術、自動編碼器、集成學習以及 聯邦學習.

7 知識蒸餾的應用進展

知識蒸餾的最初目的是壓縮深度學習網絡模 型，這在資源受限的終端設備上具有廣泛的應用. 但隨著研究的新進展，知識蒸餾不僅可以用于壓縮 模型，還可以通過神經網絡的互學習、自學習等優 化策略和無標簽、跨模態等數據資源對模型的性能 增強也具有顯著的提升效果. 目前知識蒸餾的主要 應用領域有計算機視覺、自然語言處理、語音識別、 推薦系統、信息安全、多模態數據和金融證券. 知 識蒸餾在計算機視覺、自然語言處理、語音識別和 推薦系統上的應用根據其目的的不同，可以分為模 型壓縮和模型增強. 模型壓縮是為了獲得簡單而高 效的網絡模型，以方便部署于資源受限的設備. 而 模型增強通常是利用其它資源(如無標簽或跨模態 的數據)來獲取復雜的高性能網絡.

8 知識蒸餾的研究趨勢展望

知識蒸餾是一個新興的研究領域，它仍有許多 值得深入探索和亟待解決的問題. 在這一節中，我 們提出一些值得進一步深入探討的研究點，也是我 們今后需要解決完善的研究方向.

• (1) 如何確定何種知識是最佳的。知識蒸餾中 的知識是一個抽象的概念，網絡參數，網絡的輸出 和網絡的中間特征等都可以理解為知識. 但是何種 知識是最佳的，或者哪些知識以互補的方式能成為 最佳的通用知識表示？為了回答這個問題，我們需 要了解每種知識以及不同種類組合知識的作用. 比 如說，基于特征的知識通常用于模仿教師特征產生 的過程，基于關系的知識常用于捕獲不同樣本之間 或網絡層之間特征的關系. 當教師和學生的模型容 量(“代溝”)較小的時候，學生只模仿教師的軟目 標就可以獲得有競爭力的性能. 而當師生的“代溝” 較大時，需要將多種蒸餾的知識形式和方法結合來 表示教師模型. 雖然能明白多種知識的組合方式通 常能提高學生網絡的性能，但是使用哪些知識形式， 方法和技術的組合是最優的，還尚無定論.

• (2) 如何確定何處的知識是最佳的。一些工作 隨機選擇中間網絡的某層特征作為知識，比如 FitNets[27]將教師前幾層的網絡特征作為特征蒸餾的 位置. 然而他們都沒有提供一個理由，即為什么能 夠成為代表性知識. 這主要是由于教師和學生模型 結構的不一致導致的，即教師模型通常比學生模型 擁有更多的網絡層. 因此，需要篩選教師模型中最 具有代表性的特征. 然而教師模型中哪些特征層是 最具有代表性的？這也是一個未解決的問題. 在基 于關系的知識蒸餾中，也一樣無法解釋該選擇哪些 層的關系知識作為學生模仿的對象. 如 FSP 矩陣[31] 隨機選擇教師模型的兩個網絡層作為關系蒸餾的位 置. 關系知識蒸餾是容量無關的，即關系蒸餾僅僅 需要獲取的是網絡層間或樣本間的關系知識. 因此 這不是師生間的“代溝”問題，而是歸咎于知識其實是一個“黑盒”問題.

• (3) 如何定義最佳的師生結構。知識蒸餾傳遞 的并不是參數，而是抽取到的知識. 因此知識蒸餾 是網絡架構無關的，即任何學生都可以向任何教師 學習. 通常，容量更大的學生模型可以學習更多的 知識，但復雜度過大會延長推理的時間. 容量更大 的教師模型隱含著較多的知識和更強的能力，但是 并非能力越強的教師就能產生更佳的學生模型[13]. 同時，每一個教師模型都有一個最強學生結構[100]. 因此，我們只能在給定的教師模型的前提下，找到 最佳的學生模型. 然而在未指定教師模型的情況 下，目前還無法確定最佳的學生模型.

• (4) 如何衡量師生間特征的接近程度。 知識蒸 餾是要將教師網絡中的知識遷移到學生模型中，遷 移效果的好壞最終可以通過學生網絡性能來體現. 然而在網絡訓練的過程中，只能通過損失函數去判 斷教師和學生之間特征的接近程度. 因此需要提前 設計好知識蒸餾的損失函數，如 KL 散度、均方誤 差(Mean Squared Error，MSE)和余弦相似性. 而損 失函數的選取受算法和離群點等因素的影響，并且， 不同損失函數的作用范圍是不一樣的. 例如，通過 KL 散度衡量的兩個隨機分布上的相似度是非對稱 的. 余弦相似性強調兩個向量的特征在方向上的差 異，卻沒有考慮向量大小. MSE 在高維特征中的作 用不明顯，且很容易被隨機特征混淆[4]. 因此，衡量 師生間特征接近程度的方法是多樣化的，我們需要 根據特定的問題和場景選取最合適的損失函數.

• (5) 蒸餾的知識形式、方法和融合技術還需要 深入探索。 原始知識蒸餾將類間的關系信息作為知 識，但這在“代溝”較大的師生網絡中效果不佳. 為 了解決這一問題，后續的研究者尋找不同形式的“知 識”來充實知識的內涵，如關系知識. 其知識的來 源應該是多樣化的，可以來自于單個或多個的樣本 和網絡本身. 同樣，知識蒸餾的方法和融合技術也 能緩解甚至解決師生間的“代溝”問題，它們強調 充分地利用知識來提高模型的表征能力. 新的知 識形式、方法和融合技術的發現可能會伴隨著新的 應用場景，這將豐富知識蒸餾的理論框架和實踐的 應用.

• (6) 模型壓縮和模型增強的深度融合. 模型壓 縮是將強大的復雜教師模型中的“知識”遷移到簡 單的學生模型中以滿足低資源設備的應用要求，而 模型增強用于獲取高性能的復雜網絡. 模型壓縮和 模型增強的融合是將教師模型中的“特權信息”遷 移或繼續強化輕量級學生模型的性能. 例如，Liu 等人[206]通過從文本翻譯模型中遷移“特權信息”來改 進輕量級的語音翻譯模型. 在未來的工作中，甚至 能將無標簽或其它領域數據的“特權信息”來繼續 加強一個輕量級學生模型的性能.

• (7) 知識蒸餾在數據樣本增強上的應用. 深度 學習是數據驅動型的，往往需要大規模的數據集才 能避免過度擬合. 由于隱私和法律等原因，在一些 領域上，通常無法獲取大規模的原始數據集，如醫 療數據. 知識蒸餾需要足夠的數據，才能將教師網 絡中的知識遷移到學生網絡中. 換句話說，數據是 連接教師網絡和學生網絡的橋梁. 先前的研究已經 證明了知識蒸餾在數據樣本增強上的廣闊應用前景， 如通過知識蒸餾產生原始數據集的近似樣本[207]、 使用其它相關數據的知識來減輕對目標數據集的依 賴[208]以及教師和學生間部分網絡的共同訓練來提 高具有小樣本學生網絡的性能[114]. 未來的工作需 要繼續探索知識蒸餾在數據樣本增強上的應用場景 和高效的蒸餾方法來實現小樣本學習(Few-Shot Learning)或零樣本學習(zero-shot learning).

• (8) 知識蒸餾在數據標簽上的應用. 給數據上 標簽需要特定領域的專業知識、大量的時間和成本. 可以利用知識蒸餾減少標注訓練數據的麻煩，解決 數據標簽的問題. 如果該領域存在著強大的教師網 絡，能通過知識蒸餾給無標簽的數據增加注釋. 具 體地，教師網絡對未標記數據進行預測，并使用它 們的預測信息充當學生模型數據的自動標注[209]. 以無標簽數據作為輸入的教師網絡會產生軟標簽， 這恰好能為學生網絡提供學習的指導信息. 即使該 領域沒有強大的教師網絡，也可以通過跨模態知識 蒸餾，將其它領域的知識充當無標簽數據的監督信 號[66]. 因此，知識蒸餾能夠減少對數據標簽的依賴， 需要繼續研究它在半監督或無監督學習上的應用.

在過去的十年中，許多深度學習模型在機器智能的各個領域得到了良好的訓練并取得了巨大的成功，特別是在計算機視覺和自然語言處理方面。為了更好地利用這些訓練有素的模型在域內或跨域遷移學習情況下的潛力，知識蒸餾(KD)和域自適應(DA)被提出并成為研究熱點。它們的目的都是利用原始的訓練數據從訓練有素的模型中傳遞有用的信息。然而，在許多情況下，由于隱私、版權或機密性，原始數據并不總是可用的。最近，無數據知識遷移范式引起了人們的關注，因為它處理的是從訓練有素的模型中提取有價值的知識，而不需要訪問訓練數據。它主要包括無數據知識蒸餾(DFKD)和無源數據領域適應(SFDA)。一方面，DFKD的目標是將原始數據的域內知識從一個繁瑣的教師網絡轉移到一個緊湊的學生網絡中，進行模型壓縮和高效推理。另一方面，SFDA的目標是重用存儲在經過良好訓練的源模型中的跨領域知識，并使其適應于目標領域。本文從知識蒸餾和無監督領域適應的角度對無數據知識遷移的研究進行了全面的綜述，以幫助讀者更好地了解目前的研究現狀和思路。本文將分別簡要回顧這兩個領域的應用和挑戰。在此基礎上，對未來的研究提出了一些看法。

圖1. 知識蒸餾(KD)和無監督領域自適應(UDA)綜述

隨著深度學習的復興，深度神經網絡(DNN)在人工智能的各個領域取得了顯著的進展，包括計算機視覺(CV)[1]和自然語言處理(NLP)[2]。特別是計算機視覺領域已經開發了大量深度卷積神經網絡的應用(如圖像分類[3]、目標檢測[4]、語義分割[5]等)，極大地促進了深度學習的繁榮。從LeNet[6]、AlexNet[1]到ResNet[7]和DenseNet[8]，深度神經網絡的顯著成功主要依賴于超參數化的架構和大規模標注的訓練數據。在實踐中，DNN的應用可能面臨兩個問題:1)笨重的模型不可能部署在存儲和計算能力有限的移動設備上，如自動駕駛汽車[9]和實時人臉識別系統[10]; 2) 由于標注成本過高，整個標注數據集無法用于訓練，例如用于語義分割的像素級標注。

圖2. 無數據知識蒸餾(DFKD)和無源領域適應(SFDA)概述

為了解決模型的深度部署問題，對[11]模型進行壓縮以降低存儲和計算成本，包括剪枝[12]、量化[13]和知識蒸餾[14]。知識蒸餾(Knowledge精餾，KD)[14]是一種流行的模型壓縮方法，它將有價值的信息從一個繁瑣的教師網絡傳輸到一個緊湊的學生網絡中。作為如圖1(a)所示的通用師生知識傳遞框架，它可以與其他模型壓縮方法相結合，無需進行任何具體設計[15]，[16]。學生網絡以訓練數據為輸入，模擬訓練良好的教師網絡，與人類的學習方案非常相似。大多數的蒸餾方法都是從教師網絡的中間特征圖或預測中提取和傳遞知識。在模型壓縮方面，近年來知識蒸餾技術的快速發展對半監督學習[17]、[18]、增量學習[19]、[20]、隱私保護[21]、[22]等產生了巨大的影響。

圖3. 2016 - 2021年無數據知識遷移工作發展

除了繁瑣的網絡架構外，大規模數據集的高成本標注也限制了深度學習的應用。例如，手動注釋cityscape[23]圖像進行語義分割需要大約90分鐘。解決這個問題的一種直觀的方法是，利用來自相關領域(源領域)的特定知識來研究被考慮的目標領域，這是受到人類研究能力的啟發。領域自適應[24]是一種很有前途的遷移學習范式，如圖1(b)所示。它旨在將知識從源領域轉移到目標領域，避免了勞動密集型的數據注釋。根據目標域數據的標注率，可以將域自適應進一步分為無監督域自適應、半監督域自適應和弱監督域自適應。實際上，只有UDA方法完全避免了標注的代價，本文主要考慮的是UDA的設置。

綜上所述，知識蒸餾和領域自適應是將有價值的知識從訓練良好的深度神經網絡遷移到域內或跨域網絡的兩個主要研究課題。上述方法都是基于數據驅動的，并依賴于原始數據或源數據可訪問的前提下進行蒸餾或域適應。然而，由于隱私或版權的原因，在很多實際案例中，原始的訓練數據是不可用的。例如，一些知名社區[26]-[29]發布了大量的預訓練的深度學習模型[4]、[5]、[7]、[25]。但并不是所有的訓練數據都可以用于壓縮或使其適應新的領域。此外，醫療或面部數據是公共或第三方機構無法訪問的，因為它涉及到患者或用戶的隱私。因此，如何利用訓練良好的模型(沒有訓練數據)進行知識遷移成為一個新的研究課題。將其概括為圖2所示的“無數據知識遷移(Data-Free Knowledge Transfer, DFKT)”。特別地，該方法還涉及兩個主要的研究領域:(1)沒有訓練數據的知識蒸餾方法稱為無數據知識蒸餾(data - free knowledge精餾，DFKD);(2)沒有源數據的域適應方法稱為無源數據域適應(source -free domain adaptation, SFDA)。DFKD的目標是將訓練數據集的原始信息提取并轉換為一個緊湊的學生模型，SFDA的目標是通過目標數據查詢和探索跨領域的知識。換句話說，DFKD在兩個模型之間傳遞域內知識，而SFDA通過體系結構共享模型傳遞跨域知識。

近年來，無數據知識轉移范式在深度學習的各個領域引起了人們的關注，特別是計算機視覺(包括圖像分類[30]-[32]、目標檢測[33]-[35]和超分辨率[36])。無數據知識轉移的時間軸如圖3所示。我們分別描述了DFKD和SFDA在上游和下游的發展。Lopes等人[37]在2016年首次提出了DNN的無數據知識蒸餾。它利用網絡激活的摘要來重建其訓練集。隨著生成式對抗網絡的興起，2019年以來，一些生成式DFKD方法如雨后春筍般涌現，試圖合成替代樣本進行知識轉移。還有一些研究是在[37]的基礎上，利用激活狀態總結[41]或批歸一化統計量(BNS)[32]、[42]從噪聲中恢復出原始圖像數據。此外，2021年還發布了兩個知識蒸餾綜述[43]、[44]。SFDA方面，Chidlovskii等人[45]在這方面做了開拓性的工作。2018年至2020年，研究人員主要關注分類[30]、[46]、[47]的無源域自適應。SFDA的語義分割算法[48]、[49]和目標檢測算法[33]、[35]從2020年開始研發。毫無疑問，未來將會有更多關于DFKT的研究發表。

雖然傳統的數據驅動的知識遷移一直是計算機視覺領域的一個長期挑戰，在模型壓縮和數據標注的成本降低方面取得了很大的成功，但大多數工作都忽視了數據隱私和商業版權問題，這些問題越來越受到關注。一些研究人員對傳統的數據驅動知識蒸餾[43]、[44]、[50]和領域適應[24]、[51]-[53]進行了全面、詳細的綜述，其中DFKD或SFDA只是冰山一角。然而，隨著DFKT的不斷成熟，相關的研究也越來越多，這使得研究和產業界都難以跟上新進展的步伐。有鑒于此，我們迫切需要對現有的工作進行調研，這對社區是有益的。在本綜述中，我們重點在一個統一的無數據知識遷移框架下，對現有的DFKD和SFDA方法進行分類和分析。我們分別討論了無數據知識蒸餾和無源領域自適應，并從數據重構算法和知識遷移策略兩個方面對它們進行了連接和比較。為了便于理解，我們根據DFKD和SFDA的實現對它們進行了分層分類，如圖4所示，并展示了我們調研的組織結構。總之，我們的貢獻有三方面:

• 我們對無數據知識遷移進行了系統的概述，包括分類、定義、兩類方法的DFKD和SFDA以及各種應用。據我們所知，這是第一次對DFKT進行調研。

• 從領域內和跨領域知識遷移的角度，提出了一種新的分類方法，將無數據的知識提煉和無源的領域適應結合起來。

• 全面總結了每種方法的優勢或面臨的挑戰，并分析了一些有前景的研究方向。

近年來，卷積神經網絡（CNN）憑借強大的特征提取和表達能力，在圖像分析領域的諸多應用中取得了令人矚目的成就。但是，CNN性能的不斷提升幾乎完全得益于網絡模型的越來越深和越來越大，在這個情況下，部署完整的CNN往往需要巨大的內存開銷和高性能的計算單元（如GPU）支撐，而在計算資源受限的嵌入式設備以及高實時要求的移動終端上，CNN的廣泛應用存在局限性。因此，CNN迫切需要網絡輕量化。目前解決以上難題的網絡壓縮和加速途徑主要有知識蒸餾、網絡剪枝、參數量化、低秩分解、輕量化網絡設計等。首先介紹了卷積神經網絡的基本結構和發展歷程，簡述和對比了五種典型的網絡壓縮基本方法；然后重點針對知識蒸餾方法進行了詳細的梳理與總結，并在CIFAR數據集上對不同方法進行了實驗對比；其后介紹了知識蒸餾方法目前的評價體系，給出多類型方法的對比分析和評價；最后對該技術未來的拓展研究給出了初步的思考。

//fcst.ceaj.org/CN/abstract/abstract2907.shtml

摘要

近年來，深度神經模型在幾乎每個領域都取得了成功，甚至解決了最復雜的問題。然而，這些模型的尺寸非常大，有數百萬(甚至數十億)個參數，需要強大的計算能力，以至于無法部署在邊緣設備上。此外，性能提升高度依賴于大量的標記數據。為了實現更快的速度和處理由于缺乏標記數據而引起的問題，知識蒸餾(KD)被提出，知識蒸餾是將從一個模型學到的信息遷移到另一個模型。KD通常以所謂的“學生-教師”(S-T)學習框架為特征，被廣泛應用于模型壓縮和知識轉移。本文是關于KD和S-T學習的研究，這兩種學習方法是近年來研究比較活躍的。首先，我們旨在解釋KD是什么以及它如何/為什么起作用。然后，我們對KD方法和S-T框架在視覺任務中的最新進展進行了全面的調研。總的來說，我們調研了推動這一研究領域的一些基本問題，并全面概括了研究進展和技術細節。系統分析了KD在視覺應用中的研究現狀。最后，我們討論了現有方法的潛力和開放挑戰，并展望了KD和S-T學習的未來方向。

引言

深度神經網絡(DNNs)的成功與否，通常取決于DNN體系結構的精心設計。在大規模機器學習中，特別是在圖像和語音識別等任務中，大多數基于DNN的模型都被過度參數化，以提取最顯著的特征，確保泛化。這種笨重的模型通常深度和寬度都很大，訓練時需要相當多的計算量，很難實時操作。因此，為了獲得更快的速度，許多研究人員一直試圖利用訓練過的笨重模型來獲得輕量級的DNN模型，這些模型可以部署在邊緣設備上。也就是說，當這個笨重的模型經過訓練后，可以使用它學習一個更適合實時應用或部署[1]的小模型，如圖1(a)所示。

另一方面，DNNs的性能也嚴重依賴于非常大且高質量的標簽來訓練數據集。由于這個原因，許多人都在努力減少標記訓練數據的數量，同時又不太影響DNNs的性能。處理這樣缺乏數據的情況的一種流行方法是從一個源任務轉移知識，以促進對目標任務的學習。一個典型的例子是半監督學習，在這種學習中，一個模型只用一小組有標記的數據和一大組沒有標記的數據來訓練。由于未標記的樣本的監督代價未定義，應用一致性代價或正則化方法來匹配標記和未標記數據的預測是至關重要的。在這種情況下，知識在假定教師和學生[2]雙重角色的模型內轉移。對于未標記的數據，學生照常學習;然而，教師產生目標，然后學生使用這些目標進行學習。如圖1(b)所示，這種學習度量的共同目標是在沒有額外訓練的情況下，從學生身上形成一個更好的教師模型。另一個典型的例子是自監督學習(self-supervised learning)，該模型是用輸入轉換(例如，旋轉、翻轉、顏色變化、裁剪)構建的人工標簽來訓練的。在這種情況下，來自輸入轉換的知識被轉移到監督模型本身，以提高其性能，如圖1?所示。

本論文是關于知識蒸餾(KD)和師生學習(S-T)的研究，這是近年來研究的熱點。一般來說，KD被廣泛認為是一種主要的機制，當只給予具有相同或不同類別[3]的小訓練集時，KD可以使人類快速學習新的復雜概念。在深度學習中，KD是一種有效的技術，被廣泛用于在進行建設性訓練的同時將信息從一個網絡轉移到另一個網絡。KD最初由[4]定義，由Hinton等人[1]推廣。KD被廣泛應用于兩個不同的領域:模型壓縮(見圖1(a))和知識轉移(見圖1(b)和?)。對于模型壓縮，一個較小的學生模型被訓練來模擬一個預先訓練過的更大的模型或模型集合。雖然基于目的定義了各種形式的知識，但KD的一個共同特征是通過它的S-T框架來表征的，其中提供知識的模型稱為教師，學習知識的模型稱為學生。

在本研究中，我們重點分析和分類現有的KD方法，并結合不同類型的S-T結構，用于模型壓縮和知識遷移。我們回顧和調研這一迅速發展的領域，并特別強調最近的進展。KD方法在視覺智能、語音識別、自然語言處理(natural language processing, NLP)等各個領域都有應用，但本文主要關注的是視覺領域的KD方法，因為大部分的演示都是在計算機視覺任務上進行的。利用視覺中的KD原型可以方便地解釋用于自然語言處理和語音識別的KD方法。由于目前研究最多的KD方法是用于模型壓縮，我們系統地討論了其技術細節、挑戰和潛力。同時，我們也關注了半監督學習、自我監督學習等知識轉移的KD方法，重點關注了以S-T學習作為學習度量方式的技術。

我們將探索推動這一研究領域發展的一些基本問題。具體來說，KD和S-T學習的理論原理是什么?是什么讓一種蒸餾方法比其他方法更好?使用多個老師比使用一個老師好嗎?更大的模型總是能造就更好的老師和更魯棒的學生嗎?只有在教師模型存在的情況下，學生才能學習知識嗎?學生能自學嗎?離線KD總是比在線學習好嗎?

在討論這些問題的同時，我們結合現有KD方法的潛力，并結合S-T框架展望KD方法的未來發展方向。我們特別強調最近開發的技術的重要性，如神經結構搜索(NAS)，圖神經網絡(GNNs)，和增強KD的門控機制。此外，我們也強調KD方法的潛力，以解決在特定的領域的挑戰性的問題，如軌道變化是在12個360°的視覺和基于事件的視覺。

本文的主要貢獻有三個方面:

(1)對KD和S-T學習方法進行了全面的概述，包括問題定義、理論分析、一系列具有深度學習的KD方法以及視覺應用。

(2) 對KD方法和S-T框架的最新進展進行了分層、結構化的系統綜述和分析，并對每個類別的潛力和挑戰提出了見解和總結。

(3) 討論問題和開放問題，確定新的趨勢和未來的方向，為該研究領域提供深刻的指導。

本文的組織結構如下。首先,在第二章我們解釋了為什么我們需要關注KD和S-T學習。

請解釋為什么我們需要在第二節中關注KD和S-T學習。第三章對KD進行了理論分析。從第4節到第8節，我們對一些現有的方法進行了分類，從**基于教師數量的KD、基于數據格式的KD、在線/離線KD、基于標簽的KD，到具有新穎學習指標的KD第三章對KD進行了理論分析。從第4節到第8節，我們對一些現有的方法進行了分類，從基于教師數量的KD、基于數據格式的KD、在線/離線KD、基于標簽的KD，到具有新穎學習指標的KD。在討論這些KD方法的技術細節的基礎上，我們也分析了它們的挑戰和潛力。在第9節中，根據分類法，我們將討論第1節中提出的問題的答案。第10節介紹了KD和S-T學習的未來潛力，并在第11節給出了結論。由于篇幅有限，關于KD方法相關的新學習指標和KD應用方法的詳細介紹在suppll材料的第8和9節中給出。這份手稿還包括分類法/比較表和一些插圖的數字，這是不包括在這里由于缺乏空間。

圖2展示了KD和S-T學習的分類圖。

近年來，隨著深度學習的飛速發展，深度神經網絡受到了越來越多的關注，在許多應用領域取得了顯著效果。通常，在較高的計算量下，深度神經網絡的學習能力隨著網絡層深度的增加而不斷提高，因此深度神經網絡在大型數據集上的表現非常卓越。然而，由于其計算量大、存儲成本高、模型復雜等特性，使得深度學習無法有效地應用于輕量級移動便攜設備。因此，壓縮、優化深度學習模型成為目前研究的熱點，當前主要的模型壓縮方法有模型裁剪、輕量級網絡設計、知識蒸餾、量化、體系結構搜索等。通過對以上方法的性能、優缺點和最新研究成果進行分析總結，對未來研究方向進行了展望。

摘要: 近年來, 卷積神經網絡(Convolutional neural network, CNNs)在計算機視覺、自然語言處理、語音識別等領域取得了突飛猛進的發展, 其強大的特征學習能力引起了國內外專家學者廣泛關注.然而, 由于深度卷積神經網絡普遍規模龐大、計算度復雜, 限制了其在實時要求高和資源受限環境下的應用.對卷積神經網絡的結構進行優化以壓縮并加速現有網絡有助于深度學習在更大范圍的推廣應用, 目前已成為深度學習社區的一個研究熱點.本文整理了卷積神經網絡結構優化技術的發展歷史、研究現狀以及典型方法, 將這些工作歸納為網絡剪枝與稀疏化、張量分解、知識遷移和精細模塊設計4個方面并進行了較為全面的探討.最后, 本文對當前研究的熱點與難點作了分析和總結, 并對網絡結構優化領域未來的發展方向和應用前景進行了展望.

【簡介】近些年深度神經網絡幾乎在各個領域都取得了巨大的成功。然而，這些深度模型在尺寸上過于巨大，有幾百萬甚至上億的參數，造成了巨大的計算開銷，致使模型難以部署和落地。除此之外，模型的表現還高度依賴于大量的標注數據。為了使模型得到更加高效的訓練和處理標記數據不足的難題，知識蒸餾(KD)被用來遷移從一個模型到另一個模型學習到的知識。這個過程也經常被描述為student-teacher(S-T）學習框架，并且已經被廣泛應用到模型壓縮和知識遷移中。這篇論文主要介紹了知識蒸餾和student-teacher學習模型。首先，我們對于KD是什么，它是如何工作的提供了一個解釋和描述。然后，我們對近些年知識蒸餾方法的研究進展和典型用于視覺任務的S-T學習框架進行了一個全面的調研。最后，我們討論了知識蒸餾和S-T模型未來的發展方向和研究前景，以及目前這些方法所面臨的開放性挑戰。

介紹

深度神經網絡的成功主要依賴于精心設計的DNN架構。在大規模機器學習任務中，尤其是圖像識別和語音識別任務，大多數基于DNN的模型都是憑借大量的參數來提取特征從而保證模型的泛化能力。這種笨重的模型通常都有非常深和非常寬的特點，需要花費大量的時間進行訓練，而且不可能實時操作。所以，為了加速模型訓練，許多研究人員嘗試著利用預訓練的復雜模型來獲得輕量級的DNN模型，從而使得這些模型可以被部署應用。這是一篇關于知識蒸餾(KD)和student-teacher(S-T)學習模型的論文。一般來講，知識蒸餾被視作一種機制：當只給出小型的訓練集，其中包含相同或不同種類的樣本的時候，這種機制能夠使得人類快速學習新的，復雜的概念。在深度學習中，知識蒸餾是一個有效的方法，目前已經被廣泛的應用在了從一個網絡到另一個網絡的信息轉移上。知識蒸餾主要被應用在模型壓縮和知識遷移這兩個領域，對于模型壓縮，一個較小的學生模型被訓練來模仿一個預先訓練好的較大的模型。盡管知識和任務種類多樣，但是S-T框架是他們的一個相同點，其中提供知識的模型被稱作teacher,學習知識的模型被稱作student。我們對現有的知識蒸餾方法進行了重點分析和分類，其中還伴隨著各種類型的S-T結構的模型壓縮和知識轉移。我們回顧和調查了這一迅速發展的領域，強調了該領域的最新進展。雖然知識蒸餾方法已經應用于視覺智能、語音識別、自然語言處理等各個領域，但本文主要關注的是視覺領域的知識蒸餾方法，所以論文中關于知識蒸餾的大多數闡釋都是基于計算機視覺任務。由于知識蒸餾方法研究最多的領域是模型壓縮，所以我們系統地討論了該領域的技術細節、關鍵性挑戰和發展潛力。同時，重點介紹了在半監督學習、自監督學習等領域的知識遷移方法，重點介紹了以S-T學習框架為基礎的技術。

文章結構

section 2:探討知識蒸餾和S-T學習框架為什么會吸引如此多的關注。 section 3:關于知識蒸餾的理論分析。 section 4-section14:對目前的方法進行分類，并且分析了面臨的挑戰以及該領域的發展前景。 section 15：根據上面的分類結果，我們回答了section 2中提出的問題。 section 16:介紹了知識蒸餾和S-T框架的潛力。 section 17:總結。