亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

模仿學習是強化學習與監督學習的結合，目標是通過觀察專家演示，學習專家策略，從而加速強化學習。通過引入 任務相關的額外信息，模仿學習相較于強化學習，可以更快地實現策略優化，為緩解低樣本效率問題提供了解決方案。近年 來，模仿學習已成為解決強化學習問題的一種流行框架，涌現出多種提高學習性能的算法和技術。通過與圖形圖像學的最新 研究成果相結合，模仿學習已經在游戲 AI (artificial intelligence)、機器人控制、自動駕駛等領域發揮了重要作用。**本綜述圍 繞模仿學習的年度發展，從行為克隆、逆強化學習、對抗式模仿學習、基于觀察量的模仿學習和跨領域模仿學習等多個角度 進行了深入探討。**綜述介紹了模仿學習在實際應用上的最新情況，比較了國內外研究現狀，并展望了該領域未來的發展方向。 報告旨在為研究人員和從業人員提供模仿學習的最新進展，從而為開展工作提供參考與便利。//www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=202301140000005&journal_id=jig

1. 引言

深度強化學習(deep reinforcement learning，DRL) 有著樣本效率低的問題，通常情況下，智能體為了 解決一個并不復雜的任務，需要遠遠超越人類進行 學習所需的樣本數。人類和動物天生就有著模仿其 它同類個體的能力，研究表明人類嬰兒在觀察父母 完成一項任務之后，可以更快地學會該項任務 (Meltzoff 等，1999)。基于神經元的研究也表明，一 類被稱為鏡像神經元的神經元，在動物執行某一特 定任務和觀察另一個體執行該任務的時候都會被激 活(Ferrari 等，2005)。這些現象都啟發了研究者希望 智能體能通過模仿其它個體的行為來學習策略，因 此模仿學(imitation learning，IL)的概念被提出。模仿 學習通過引入額外的信息，使用帶有傾向性的專家 示范，更快地實現策略優化，為緩解樣本低效問題 提供了一種可行的解決途徑。

由于模仿學習較高的實用性，其從誕生以來一 直都是強化學習重要的研究方向。傳統模仿學習方 法主要包括行為克隆(Bain 和 Sammut，1995)、逆強 化學習(Ng 等，2000)、對抗式模仿學習(Ho 和 Ermon， 2016)等，這類方法技術路線相對簡單，框架相對單 一，通常在一些簡單任務上能取得較好效果 (Attia and Dayan，2018；Levine，2018)。隨著近年來計算 能力的大幅提高以及上游圖形圖像任務(如物體識 別、場景理解等)的快速發展，融合了多種技術的模 仿學習方法也不斷涌現，被廣泛應用到了復雜任務， 相關領域的新進展主要包括基于觀察量的模仿學習 (Kidambi 等，2021)、跨領域模仿學習(Raychaudhuri 等，2021；Fickinger 等，2021)等。

基于觀察量的模仿學習(imitation learning from observation，ILfO)放松了對專家示范數據的要求， 僅從可被觀察到的專家示范信息（如汽車行駛的視 頻信息）進行模仿學習，而不需要獲得專家的具體 動作數據（如人開車的方向盤、油門控制數據） (Torabi 等，2019)。這一設定使模仿學習更貼近現實 情況，使相關算法更具備實際運用價值。根據是否 需要建模任務的環境狀態轉移動力學（又稱為“模 型”），ILfO 類算法可以被分為有模型和無模型兩類。 其中，有模型方法依照對智能體與環境交互過程中 構建模型的方式，可以進一步被分為正向動態模型 (forward dynamics models)(Edwards 等 ， 2019 ； Kidambi 等，2021)與逆向動態模型(inverse dynamics models)(Nair 等，2017；Torabi 等，2018；Guo 等，2019；Radosavovic 等，2021)；無模型的方法主要包 括對抗式方法(Merel 等，2017；Stadie 等，2017； Henderson 等，2018) 與獎勵函數工程法(Gupta 等， 2017；Aytar 等，2018；Schmeckpeper 等，2021)。

跨領域模仿學習(cross domain imitation learning， CDIL)主要聚焦于研究智能體與專家處于不同領域 （例如不同的馬爾可夫決策過程）的模仿學習方法。 當前的 CDIL 研究主要聚焦于以下三個方面的領域 差異性(Kim 等，2020)：1)狀態轉移差異(Liu 等， 2019)，即環境的狀態轉移不同；2)形態學差異(Gupta 等，2017)，即專家與智能體的狀態、動作空間不同； 3)視角差異(Stadie 等，2017；Sharma 等，2019；Zweig 和 Bruna，2020)，即專家與智能體的觀察量不同。 根據算法依賴的主要技術路徑，其解決方案主要可 以分為：1)直接法(Taylor 等，2007)，該類方法關注 形態學差異來進行跨領域模仿，通常使用簡單關系 函數（如線性函數）建立狀態到狀態之間的直接對 應關系；2)映射法(Gupta 等，2017；Sermanet 等， 2018；Liu 等，2018)，該類方法尋求不同領域間的 深層相似性，利用復雜的非線性函數（如深度神經 網絡）完成不同任務空間中的信息轉移，實現跨領 域模仿；3)對抗式方法(Sharma 等，2019；Kim 等， 2020)，該類方法通常包含專家行為判別器與跨領域 生成器，通過交替求解最小-最大化問題來訓練判別 器和生成器，實現領域信息傳遞；4)最優傳輸法 (Papagiannis 和 Li，2020；Dadashi 等，2021；Nguyen 等，2021；Fickinger 等，2021)，該類方法聚焦專家 領域專家策略占用測度(occupancy measure)與目標 領域智能體策略占用測度間的跨領域信息轉移，通 過最優傳輸度量來構建策略遷移模型。

當前，模仿學習的應用主要集中在游戲 AI、機 器人控制、自動駕駛等智能體控制領域。圖形圖像 學方向的最新研究成果，如目標檢測(Feng 等，2021； Li 等，2022)、視頻理解(Lin 等，2019；Bertasius 等， 2021) 、視頻分類 (Tran 等 ， 2019) 、視頻識別 (Feichtenhofer，2020)等，都極大地提升了智能體的 識別、感知能力，是模仿學習取得新進展與新應用 的重要基石。此外，近年來也有研究者開始探索直 接使用 IL 提高圖形/圖像任務的性能，如 3D/2D 模 型與圖像配準(Toth 等，2018)、醫學影像衰減校正 (Kl?ser 等，2021)、圖像顯著性預測(Xu 等，2021)等。 總體來說，模仿學習與圖像處理的有機結合，極大 地拓展了相關領域的科研范圍，為許多困難問題的 解決提供了全新的可能性。

本文的主要內容如下：首先簡要介紹模仿學習 概念，同時回顧必要的基礎知識；然后選取模仿學 習在國際上的主要成果，介紹傳統模仿學習與模仿 學習最新進展，同時也將展現國外最新的研究現狀； 接著選取國內高校與機構的研究成果，介紹模仿學 習的具體應用，同時也會比較國內外研究的現狀； 最后將總結本文，并展望模仿學習的未來發展方向 與趨勢，為研究者提供潛在的研究思路。本文是第 一個對模仿學習最新進展（即基于觀察量的模仿學 習與跨領域模仿學習）進行詳細調研的綜述，除本 文以外，(Ghavamzadeh 等，2015；Osa，2018；Attia 和 Dayan，2018；Levine，2018；Arora 和 Doshi， 2021)等文章也對模仿學習的其它細分領域進行了 調研。

**2 模仿學習新進展 **

隨著強化學習與模仿學習領域研究的不斷深入， 近些年模仿學習領域的研究取得了一些矚目的新進 展，相關的研究不再局限于理論分析與模擬環境， 而是轉向更貼近實際的方向，例如：基于觀察量的 模仿學習（2.1 節），跨領域模仿學習（2.2 節）。在 這些領域的許多工作，考慮了使用實際數據集進行 模仿學習訓練；同時其目標也并非局限于完成 Gym 等模擬環境上提供的標準任務，而是進一步轉向模 仿學習算法在機器人控制、自動駕駛等領域的實際 應用，為“模擬到現實”做出了堅實的推進。

**2.1 基于觀察量的模仿學習 **

當智能體試圖僅通過“觀察”來模仿專家的策略 時，就會出現基于觀察量的模仿學習(Imitation Learning from Observation，ILfO)這一任務(Torabi 等， 2019)。所謂的“觀察”，指的是僅包含狀態信息而不 包含動作信息的專家示范，它可以是僅包含狀態信 息的軌跡???????? = {????????}????=1 ???? ，也可以是單純的圖片或視頻。 相較于傳統模仿學習中既可以獲得專家所處的狀態， 又可以獲得專家在當前狀態下的策略（動作）的設 定，ILfO 放松了對專家示范數據的要求，從而成為 了一種更貼近現實情況、更具備實際運用價值的設 定。值得注意的是，ILfO 可以直接使用專家行為的 圖片數據作為輸入(Liu 等，2018；Torabi 等，2019； Karnan 等，2022)，這在引入海量數據集的同時，也 將模仿學習與圖像圖形學、計算機視覺等領域有機 地結合起來，從而極大地拓展了相關領域的潛在研 究方向，為相關領域的進一步發展開辟了新的土壤。

IL 的目標類似，ILfO 的目標是讓智能體通 過模仿僅包含狀態信息的專家示范數據，輸出一個具有相同行為的策略。既然 ILfO 是一種更貼近現實 的設定，如何從現實的專家行為中獲得示范數據是 首先要解決的問題。一些早期的工作通過直接在專 家身上設置傳感器的方式記錄專家的行為數據 (Ijspeert 等，2001；Calinon 和 Billard，2007)。上述 方法的升級版本是采用動作捕捉技術，專家需要佩 戴專業的動作捕捉設備，這樣做的好處是計算機系 統可以直接對專家的行為進行 3 維建模，從而轉換 成模擬系統易于識別的輸入(Field 等，2009；Merel 等，2017)。隨著前些年卷積神經網絡在處理圖像數 據上大放異彩，現在較為常見的是直接使用攝像頭 拍攝專家行為，進而直接使用圖像、視頻數據作為 輸入(Liu 等，2018；Sharma 等，2019；orabi 等，2019； Karnan 等，2022)。 由于 ILfO 無法獲得專家動作，因此將專家動作 視為狀態標簽的方法將不再適用，這也使得 ILfO 變 成了更具挑戰的任務。一般來說，基于 ILfO 設定的 算法可以被分為有模型和無模型兩類。所謂的“模 型”，一般指的是環境的狀態轉移，通過對智能體與 環境交互過程中學習模型的方式作區分，可以進一 步將有模型的方法分為：正向動態模型(forward dynamics models)與逆向動態模型(inverse dynamics models)；無模型的方法主要包括：對抗式方法與獎 勵函數工程法。

**2.2 跨領域模仿學習 **

跨領域模仿學習(cross domain imitation learning， CDIL)相關領域的研究最早可以追溯到機器人控制 領域通過觀察來讓機器人學習策略(Kuniyoshi 等， 1994；Argall 等，2009)。后來隨著對 ILfO(章節 2.1) 研究的深入，CDIL 的相關研究也越來越受重視。與 傳統設定下的 IL 相比，跨領域模仿學習與現實世界 中的學習過程兼容性更好(Raychaudhuri 等，2021)。 傳統的 IL 假設智能體和專家在完全相同的環境中 決策，而這一要求幾乎只可能在模擬系統(包括游戲) 中得到滿足。這一缺點嚴重地限制了傳統 IL 在現實 生活中可能的應用場景，并且將研究者的工作的重心轉移到對場景的準確建模，而并非算法本身的性 能上。CDIL 的產生打破了這一枷鎖，因為智能體可 以使用不同于自身領域的專家示范來學習策略。當 前 CDIL 所研究的領域差異主要集中在以下三個方 面(Kim 等，2020)：1)狀態轉移差異(Liu 等，2019)； 2)形態學差異(Gupta 等，2017)；3)視角差異(Stadie 等，2017；Sharma 等，2019；Zweig 和 Bruna，2020)。 這些差異也對應第 2.1 章中提及的 ILfO 所面臨的挑 戰。

在模仿學習變得為人熟知之前，這一研究領域 更廣泛地被稱為遷移學習(Taylor 等，2008)。例如， Konidaris 等人(2006)通過在任務之間共享的狀態表 示子集上學習價值函數，來為目標任務提供塑性后 獎勵。Taylor 等人(2007)人工設計了一個可以將某一 MDP 對應的動作價值函數轉移到另一 MDP 中的映 射來實現知識遷移。直觀地說，為了克服智能體環 境和專家環境之間的差異，需要在它們之間建立一 個轉移或映射。Taylor 等人 (2008)介紹了一種“直接 映射”的方法，來直接學習狀態到狀態之間的映射關 系。然而，在不同領域中建立狀態之間的直接映射 只能提供有限的轉移，因為兩個形態學上不同的智 能體之間通常沒有完整的對應關系，但這種方法卻 不得不學習從一個狀態空間到另一個狀態空間的映 射(Gupta 等，2017)，從而導致該映射關系是病態的。 早期的這些方法，大多都需要特定領域的知識，或 是人工構建不同空間之間的映射，這通常會使研究 變得繁瑣且泛化性較差，因此必須借助更為先進的 算法來提升性能。 隨著深度神經網絡的發展，更具表達性的神經 網絡被廣泛運用，CDIL 也迎來了較快的發展。 (Gupta 等，2017；Sermanet 等，2018；Liu 等，2018) 等文章研究機器人從視頻觀察中學習策略，為了解 決專家示范與智能體所處領域不同的問題，他們的 方法借助不同領域間成對的、時間對齊的示范來獲 得狀態之間對應關系，并且這些方法通常涉及與環 境進行交互的 RL 步驟。相較于“直接映射”的方法， 這些方法學習的映射并不是簡單的狀態對之間的關 系，而更多利用了神經網絡強大的表達性能，從而 取得更好的實驗效果。但不幸的是，成對且時間對 齊的數據集很難獲得，從而降低了該種方法的可實現性(Kim 等，2020)。

**3 模仿學習應用 **

隨著基于觀察量的模仿學習與跨領域模仿學習 的不斷發展，基于 IL 的算法也越來越符合現實場景 的應用要求，此外，圖形圖像學上的諸多最新研究 成果，也為 IL 的現實應用進一步賦能。模仿學習的 主要應用領域包括但不限于：1)游戲 AI；2)機器人 控制；3)自動駕駛；4)圖像圖形學等。本章節將列舉 有代表性的模仿學習應用類工作，同時由于現階段 國內關于模仿學習的研究主要集中在應用領域，因 此本章節將著重選取國內高校、機構的工作成果， 進而為國內該領域的研究者提供一些參考。 Gym(Brockman 等，2016)與 Mujoco(Todorov 等， 2012)是強化學習領域被最廣泛使用的訓練環境，其 為強化學習領域的研究提供了標準環境與基準任務， 使得不同的算法能在相同的設定下比較性能的優劣。 模仿學習作為強化學習最為熱門的分支領域，也廣 泛使用 Gym 與 Mujoco 作為訓練/測試環境。Gym 包 含多個基礎游戲環境以及雅達利游戲環境，Mujoco 包含多個智能體控制環境同時支持自建任務。值得 注意的是，Gym 與 Mujoco 都包含大量的圖像環境， 即以圖像的形式承載環境的全部信息，這就使得圖 像圖形學的眾多最新成果，直接推動了模仿學習的 應用。考慮到 Gym 與 Mujoco 的虛擬仿真特性，可 將其歸類為游戲環境。這些使用 Gym 與 Mujoco 進 行訓練或驗證的模仿學習算法，都能在一定程度上 推廣到其他游戲領域的應用。國內的諸多高校都在 該方面做出了自己的貢獻，包括 清華大學的 Yang 等人(2019)探究了基于逆向動態模型的 IL 算法性能， Jing 等人(2021)驗證了分層模仿學習的性能；上海交 通大學的 M.Liu 等人(2020)探究基于能量的模仿學 習算法性能，Liu 等人(2021)探究離線模仿學習算法 COIL(curriculum offline imitation learning)的性能， Liu等人(2022)探究通過解耦策略優化進行模仿學習。 南京大學的 Zhang 等人(2022)探究生成式對抗模仿 學習的性能，Xu 等人(2020) 探究模仿策略的誤差界 限，Jiang 等人(2020) 探究帶誤差的模擬器中的離線 模仿學習。

Gym 與 Mujoco 環境之外，模仿學習也被廣 泛用于訓練棋類與即時戰略類游戲 AI。這類游戲任 務的難度顯著增加，且通常包含較大信息量的圖像數據，因此也會更依賴于先進的圖像處理方法(例如 目標檢測)。對于這些復雜游戲環境，狀態動作空間 過于龐大，獎勵信息過于稀疏，智能體通常無法直 接通過強化學習獲得策略。進而，智能體首先通過 模仿人類選手的對局示范來學習較為基礎的策略， 然后使用強化學習與自我博弈等方式進一步提升策 略。其中最為代表的就是 Google 公司開發的圍棋游 戲 AI AlphaGo(Silver 等，2016)以及星際爭霸AI Alphastar(Vinyals 等，2019)。與國外的情況相似國內工業界也十分重視該類游戲 AI 的開發，包括 騰 訊公司開發的王者榮耀（復雜的多智能體對抗環境） 游戲 AI(Ye 等，2020)；華為公司基于多模式對抗模 仿學習開發的即時戰略游戲 AI(Fei 等，2020)，如圖 3 所示。考慮到該類游戲的超高復雜性，人工智能在 如此復雜的任務中完勝人類對手，可以預見人工智 能在游戲領域完全超越人類已經只是時間問題。 在機器人控制領域，由于機器人的價格昂貴， 部件易損且可能具備一定危險性，因此需要一種穩 定的方式獲得策略，模仿學習讓機器人直接模仿專 家的行為，可以快速、穩定地使其掌握技能，而不依 賴于過多的探索。斯坦福大學的 Abbeel 等人(2006)， 早在 2006 年就將逆強化學習方法用在直升機控制 任務上（如圖 4 所示）。加州大學伯克利分校的 Nair 等人(2017)，結合自監督學習與模仿學習的方法，讓 機器人通過模仿專家行為的視頻數據，學習完成簡 單的任務（如圖 5 所示）。國內高校也在該領域做出 了一定的貢獻，包括 清華大學的 Fang 等人(2019)調 研了模仿學習在機器人操控方面的研究。中國科學 院大學的 Jiayi Li 等人(2021)通過視頻數據進行元模 仿學習以控制機器（如圖 6 所示）。中科院自動化所 的 Y. Li 等人(2021)通過視頻數據進行模仿學習以精 確操控機器手臂的位置。 自動駕駛是當前人工智能最重要的應用領域 (Grigorescu 等，2020；Kiran 等，2021)，模仿學習憑 借其優秀的性能也在該領域占據一席之地，特別是 基于觀察量的模仿學習與跨領域模仿學習兼容自動 駕駛的絕大部分現實需求，從而使得 IL 在該領域大 放異彩(Codevilla 等，2018；Bhattacharyya 等，2018Liang 等，2018；Chen 等，2019；Kebria 等，2019； Pan 等，2020)。國內的高校與企業也十分重視模仿 學習在自動駕駛領域的研究，包括 清華大學的 Wu 等人(2018)結合模仿學習進行水下無人設備訓練。浙 江大學的 Li 等人(2020)探究了用于視覺導航的基于 無監督強化學習的可轉移元技能；Wang 等人(2021) 探究從分層的駕駛模型中進行模仿學習（如圖 7 所 示)；百度公司的 Zhou 等人(2021)使用模仿學習實現 自動駕駛。北京大學的 Zhu 等人(2021)關于深度強 化學習與模仿學習在自動駕駛領域的應用作了綜述。 事實上，近年來模仿學習也被直接用于圖像處 理上，在圖形圖像領域發揮出獨特的價值。Toth 等 人(2018)探究模仿學習在心臟手術的 3D/2D 模型與 圖像配準上的應用。Kl?ser 等人(2021)研究模仿學習 在改進3D PET/MR(positron emission tomography and magnetic resonance)衰減校正上的應用。北京航天航 空大學的Xu等人(2021)探究了生成對抗模仿學習在 全景圖像顯著性預測上的應用。 在其它領域，模仿學習也有著廣泛的應用，包 括電子有限集模型預測控制系統 (Novak 和 Dragicevic，2021)、云機器人系統(B. Liu 等，2020)、 異構移動平臺的動態資源管理(Mandal 等，2019)、 多智能體合作環境中的應用(Hao 等，2019)、信息檢 索(Dai 等，2021)、移動通信信息時效性(Wang 等， 2022)、黎曼流形(Zeestraten 等，2017)、運籌學 (Ingimundardottir 和 Runarsson，2018)、緩存替換(Liu 等，2020)等。

目前,以深度學習為代表的人工智能算法憑借超大規模數據集以及強大的計算資源,在圖像分類、生物特征識別、醫療 輔助診斷等領域取得了優秀的成果并成功落地.然而,在許多實際的應用場景中,因諸多限制,研究人員無法獲取到大量樣本 或者獲取樣本的代價過高,因此研究圖像分類任務在小樣本情形下的學習算法成為了推動智能化進程的核心動力,同時也成為 了當下的研究熱點.小樣本學習指在監督信息數量有限的情況下進行學習并解決問題的算法.首先,從機器學習理論的角度 描述了小樣本學習困難的原因;其次,根據小樣本學習算法的設計動機將現有算法歸為表征學習、數據擴充、學習策略三大類, 并分析其優缺點;然后,總結了常用的小樣本學習評價方法以及現有模型在公用數據集上的表現;最后,討論了小樣本圖像分類 技術的難點及未來的研究趨勢,為今后的研究提供參考。

近年來,人工智能技術在大數據時代迎來了高速發展,從 早期的學術探索迅速轉變為實際應用.目前,以深度學習為 代表的人工智能算法憑借超大規模數據集以及強大的計算資 源,在圖像分類、生物特征識別、醫療輔助診斷等領域取得了優秀的成果并成功落地. 然而,當今現實場景中通常并不具備獲得大規模可訓練 數據的條件,這不利于許多傳統行業的智能化轉型.另一方 面,由于圖像分類算法在實際應用中起著關鍵性的作用,因此 面向圖像分類的小樣本學習的關鍵算法研究成為了產業智能 化轉型的驅動引擎之一.

深度學習以大規模數據集為前提,在圖像分類、目標檢 測、文本分析[１Ｇ３]等領域取得了顯著的成功.然而在實際場景 中,首先,由于成本、隱私、安全或道德問題,相關研究者很難 或不可能獲得大規模、高質量的數據及標注.例如,在醫療領 域,醫學影像的產生來源于病例,但少量的病例并不能夠輔助 機器對醫療影像進行分析.其次,在算法設計層面,研究者期 望機器學會以人類的方式進行學習,即在獲取少量樣本的情 況下,對樣本進行分類和識別,并且具有快速理解新概念并將 其泛化的能力. 為了能夠在監督信息數量有限的情況下進行學習,針對 小樣本學習(FewＧshotLearning)[４Ｇ８]的研究應運而生.在小 樣本分類中,模型在一組具有豐富樣本的類別集上進行訓練, 這些類稱為基類,然后在類別不交叉的僅具有少量樣本的另 一組類別集(新類)上進行訓練與測試.

目前,針對小樣本學習的研究工作越來越豐富,隨著深度 學習的發展,涌現了很多新穎的小樣本學習方法[９Ｇ１１].例如, 在模型表征階段采用自監督學習以更好地表征出圖像[１２Ｇ１５]; 在數據 擴 充 階 段,采 用 從 原 始 域 擴 充 或 從 語 義 空 間 擴 充 等[１１,１６Ｇ１７]方式來處理小樣本學習任務;在學習階段,使用遷移 學習、度量學習、元學習等算法[１８Ｇ２４]以更好地尋找到一個有 良好泛化能力的模型.現有的小樣本綜述文獻[２５Ｇ２６]通常從 算法類別的角度進行歸納總結,而本文將從理論誤差分析以 及算法設計 動 機 的 角 度 來 進 行 綜 述,并 覆 蓋 近 年 來 取 得 的 成果. 本文首先從機器學習理論的角度描述了小樣本學習難以 泛化的原因;其次,依據小樣本學習算法的設計動機將現有算 法歸為表征學習、數據擴充、學習策略三大類,并評價其優缺 點;然后,總結了常用的小樣本學習評價方法以及現有模型在 公用數據集上的表現;最后,提出了一些有前景的研究方向, 為今后的研究提供參考。

摘要

作為一種比傳統機器學習方法更有效的訓練框架，元學習獲得了廣泛的歡迎。然而，在多模態任務等復雜任務分布中，其泛化能力尚未得到深入研究。近年來，基于多模態的元學習出現了一些研究。本綜述從方法論和應用方面提供了基于多模態的元學習景觀的全面概述。我們首先對元學習和多模態的定義進行了形式化的界定，并提出了這一新興領域的研究挑戰，如何豐富少樣本或零樣本情況下的輸入，以及如何將模型泛化到新的任務中。然后我們提出了一個新的分類系統，系統地討論了結合多模態任務的典型元學習算法。我們對相關論文的貢獻進行了調研，并對其進行了分類總結。最后，提出了該領域的研究方向。

//www.zhuanzhi.ai/paper/3cf8fdad89ed44f7ea803ce6e0ab21b5

引言

深度學習方法在語音、語言和視覺領域取得了顯著進展[1,2,3]。然而，這些方法的性能嚴重依賴于大量標記數據的可用性，而在大多數應用中，獲取這些數據可能不切實際或成本高昂。僅使用有限的標記數據往往會導致過擬合問題，導致泛化到新數據[4]或完全不同的分布的不確定性。另一方面，人類學習過程中使用的“學會學習”機制[5]使我們能夠從很少的樣本[6]中快速學習新的概念。已有證據表明，通過結合先驗知識和情境，人類可以在有限情景下獲得多個先驗任務的經驗，在有限情景下，習得的抽象經驗被一般化，以提高未來對新概念的學習表現。受此啟發，提出了一種名為元學習(meta-learning)的計算范式[7,8]，用來模擬人類學習廣義任務經驗的能力，旨在讓機器從類似任務中獲取先驗知識，并快速適應新任務。通過在動態選擇中提取跨領域任務目標，元學習過程比傳統機器學習模型更具數據效率[9,10]。

由于元學習能夠泛化到新的任務，我們的目的是了解元學習如何發揮作用，當任務更復雜時，例如，數據源不再是單模態的，或原始模態中的數據是有限的。最近的研究集中在將元學習框架應用于復雜任務的分配上[11,12]，但僅限于單一的模態。特別是，在多個應用[7]、學習優化步驟[13]的先驗知識、數據嵌入[14,15]或模型結構[16]的多任務和單任務場景中，元學習已經被證明是成功的。然而，在異構任務模態下，如何巧妙地利用元學習給研究人員帶來了獨特的挑戰。要在額外模態的幫助下從這些任務中學習新概念，示例應該以成對或多種方式提供，其中每個示例包含同一概念的兩個或多個項目，但在不同的模態。

首先在圖像分類的零樣本學習(ZSL) /廣義零樣本學習(GSZL)領域探討了不同模態的異質特征。語義模式被認為在模型訓練中提供強大的先驗知識和輔助視覺模式。為了更好地將知識從可見的類遷移到不可見的類，基于元的算法被廣泛引入來捕獲配對模態之間的屬性關系。然而，訓練過程大多將一個模態視為主要模態，并通過添加另一個模態來利用額外的信息。它不涉及在真實的復雜情景中對多種模態的分析，如未配對的模態、缺失的模態以及模態之間的關聯。因此，一些研究進一步將元學習方法應用于由其他模態構成的任務。具體來說，當不同任務的模態來自不同的數據分布，或者不同任務的模態被遺漏或不平衡時，通過充分利用元學習背景下的多模態數據，可以將不同模式的優勢整合到問題中，從而提高績效。另一方面，元學習本身的訓練框架有助于提高原多模態學習者在新任務中的泛化能力。雖然對這兩個概念的跨學科研究聽起來很有前景，但目前的研究大多將元學習算法和多模態學習算法分開進行總結，導致多模態與元學習結合的研究存在差距。

最后，我們希望在本次綜述中對基于多模態的元學習算法進行系統而全面的研究。我們旨在為不同的方法提供直觀的解釋，并有助于:

識別將元學習算法應用于多模態任務的挑戰; 提出一個新的分類，并為每個類別提供深刻的分析; 總結解決不同挑戰的具體貢獻，包括其方法和與其他方法的區別; 強調當前的研究趨勢和未來可能的方向。

本綜述的其余部分組織如下。在第二節中，我們首先對元學習和多模態的定義進行了形式化界定，然后給出了基于多模態的元學習挑戰的總體范式。然后我們在第3節提出了一個基于元學習算法可以學習的先驗知識的新分類。我們分別在第4節、第5節和第6節對如何使原始元學習方法適應多模態數據的相關研究進行了考察，在第7節對這些工作進行了總結。最后，我們總結了目前的研究趨勢在第8節和可能的方向，未來的工作在第9節。

目標檢測是一種廣泛應用于工業控制、航空航天等安全攸關場景的重要技術。近年來，隨著深度學習在目標檢 測領域的應用，檢測的精度得到了較大提升，但由于深度學習固有的脆弱性，使得基于深度學習的目標檢測技術的可靠性 和安全性面臨新的挑戰。本文通過對近幾年面向目標檢測的對抗樣本生成及防御的研究進行分析和總結，致力于為增強目 標檢測模型的魯棒性和提出更好的防御策略提供思路。首先，介紹了對抗樣本的概念、產生原因以及目標檢測領域對抗樣 本生成常用的評價指標和數據集。然后根據對抗樣本生成的擾動范圍將攻擊分為全局擾動攻擊和局部擾動攻擊。在這個分 類基礎上，又分別從攻擊的目標檢測器類型、損失函數設計等六個方面對目標檢測的對抗樣本生成方法進行了分析和總結， 并通過實驗對比了幾種典型目標檢測對抗攻擊方法的性能，同時比較了這幾種方法的跨模型的遷移攻擊能力。此外，本文 還對目前目標檢測領域常用的對抗防御策略進行了分析和歸納。最后，總結了目標檢測領域對抗樣本的生成及防御所面臨 的挑戰，并對未來發展方向做出了展望。

//www.cjig.cn/jig/ch/reader/download_new_edit_content.aspx?edit_id=202001&file_no=2024&journal_id=jig

摘要： 隨著互聯網上多媒體數據的爆炸式增長,單一模態的檢索已經無法滿足用戶需求,跨模態檢索應運而生。跨模態檢索旨在以一種模態的數據去檢索另一種模態的相關數據,其核心任務是數據特征提取和不同模態間數據的相關性度量。文中梳理了跨模態檢索領域近期的研究進展,從傳統方法、深度學習方法、手工特征的哈希編碼方法以及深度學習的哈希編碼方法等角度歸納論述了跨模態檢索領域的研究成果。在此基礎上,對比分析了各類算法在跨模態檢索常用標準數據集上的性能。最后,分析了跨模態檢索研究存在的問題,并對該領域未來發展趨勢以及應用進行了展望。

//www.jsjkx.com/CN/10.11896/jsjkx.200800165

近年來，深度學習技術得到了快速發展。在自然語言處理（NLP）任務中，隨著文本表征技術從詞級上升到了文檔級，利用大規模語料庫進行無監督預訓練的方式已被證明能夠有效提高模型在下游任務中的性能。首先，根據文本特征提取技術的發展，從詞級和文檔級對典型的模型進行了分析；其次，從預訓練目標任務和下游應用兩個階段，分析了當前預訓練模型的研究現狀，并對代表性的模型特點進行了梳理和歸納；最后，總結了當前預訓練模型發展所面臨的主要挑戰并提出了對未來的展望。

//www.joca.cn/CN/abstract/abstract24426.shtml

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

深度學習在大量領域取得優異成果，但仍然存在著魯棒性和泛化性較差、難以學習和適應未觀測任務、極其依賴大規模數據等問題.近兩年元學習在深度學習上的發展，為解決上述問題提供了新的視野.元學習是一種模仿生物利用先前已有的知識，從而快速學習新的未見事物能力的一種學習定式.元學習的目標是利用已學習的信息，快速適應未學習的新任務.這與實現通用人工智能的目標相契合，對元學習問題的研究也是提高模型的魯棒性和泛化性的關鍵.近年來隨著深度學習的發展，元學習再度成為熱點，目前元學習的研究百家爭鳴、百花齊放. 本文從元學習的起源出發，系統地介紹元學習的發展歷史，包括元學習的由來和原始定義，然后給出當前元學習的通用定義，同時總結當前元學習一些不同方向的研究成果，包括基于度量的元學習方法、基于強泛化新的初始化參數的元學習方法、基于梯度優化器的元學習方法、基于外部記憶單元的元學方法、基于數據增強的元學方法等. 總結其共有的思想和存在的問題，對元學習的研究思想進行分類，并敘述不同方法和其相應的算法.最后論述了元學習研究中常用數據集和評判標準，并從元學習的自適應性、進化性、可解釋性、連續性、可擴展性展望其未來發展趨勢.

引言

隨著計算設備并行計算性能的大幅度 進步，以及近些年深度神經網絡在各個領域 不斷取得重大突破，由深度神經網絡模型衍 生而來的多個機器學習新領域也逐漸成型， 如強化學習、深度強化學習[1] [2] 、深度監督 學習等。在大量訓練數據的加持下，深度神 經網絡技術已經在機器翻譯、機器人控制、 大數據分析、智能推送、模式識別等方面取 得巨大成果[3] [4] [5] 。

實際上在機器學習與其他行業結合的 過程中，并不是所有領域都擁有足夠可以讓 深度神經網絡微調參數至收斂的海量數據， 相當多領域要求快速反應、快速學習，如新 興領域之一的仿人機器人領域，其面臨的現 實環境往往極為復雜且難以預測，若按照傳 統機器學習方法進行訓練則需要模擬所有 可能遇到的環境，工作量極大同時訓練成本 極高，嚴重制約了機器學習在其他領域的擴 展，因此在深度學習取得大量成果后，具有 自我學習能力與強泛化性能的元學習便成 為通用人工智能的關鍵。

元學習（Meta-learning）提出的目的是 針對傳統神經網絡模型泛化性能不足、對新 種類任務適應性較差的特點。在元學習介紹 中往往將元學習的訓練和測試過程類比為 人類在掌握一些基礎技能后可以快速學習并適應新任務，如兒童階段的人類也可以快 速通過一張某動物照片學會認出該動物，即 機 器 學 習 中 的 小 樣 本 學 習 （ Few-shot Learning）[6] [7] ，甚至不需要圖像，僅憑描 述就可學會認識新種類，對應機器學習領域 中的（Zero-shot Learning）[8] ，而不需要大 量該動物的不同照片。人類在幼兒階段掌握 的對世界的大量基礎知識和對行為模式的 認知基礎便對應元學習中的“元”概念，即一 個泛化性能強的初始網絡加上對新任務的 快速適應學習能力，元學習的遠期目標為通 過類似人類的學習能力實現強人工智能，當 前階段體現在對新數據集的快速適應帶來 較好的準確度，因此目前元學習主要表現為 提高泛化性能、獲取好的初始參數、通過少 量計算和新訓練數據即可在模型上實現和 海量訓練數據一樣的識別準確度，近些年基 于元學習，在小樣本學習領域做出了大量研 究[9] [10] [11] [12] [13] [14] [15] [16] [17] ，同時為模擬 人類認知，在 Zero-shot Learning 方向也進行 了大量探索[18] [19] [20] [21] [22] 。

在機器學習盛行之前，就已產生了元學習的相關概念。當時的元學習還停留在認知 教育科學相關領域，用于探討更加合理的教 學方法。Gene V. Glass 在 1976 年首次提出 了“元分析”這一概念[23] ，對大量的分析結 果進行統計分析，這是一種二次分析辦法。G Powell 使用“元分析”的方法對詞匯記憶 進行了研究[24] ，指出“強制”和“誘導”意象有 助于詞匯記憶。Donald B.Maudsley 在 1979 年首次提出了“元學習”這一概念，將其描述 為“學習者意識到并越來越多地控制他們已 經內化的感知、探究、學習和成長習慣的過 程”，Maudsley 將元學習做為在假設、結構、 變化、過程和發展這 5 個方面下的綜合，并 闡述了相關基本原則[25] 。BIGGS J.B 將元學 習描述為“意識到并控制自己的學習的狀 態” [26] ，即學習者對學習環境的感知。P Adey 將元學習的策略用在物理教學上[27] ， Vanlehn K 探討了輔導教學中的元學習方法 [28] 。從元分析到元學習，研究人員主要關 注人是如何意識和控制自己學習的。一個具 有高度元學習觀念的學生，能夠從自己采用 的學習方法所產生的結果中獲得反饋信息，進一步評價自己的學習方法，更好地達到學 習目標[29] 。隨后元學習這一概念慢慢滲透 到機器學習領域。P.Chan 提出的元學習是一 種整合多種學習過程的技術，利用元學習的 策略組合多個不同算法設計的分類器，其整 體的準確度優于任何個別的學習算法[30] [31] [32] 。HilanBensusan 提出了基于元學習的決 策樹框架[33] 。Vilalta R 則認為元學習是通 過積累元知識動態地通過經驗來改善偏倚 的一種學習算法[34] 。

Meta-Learning 目前還沒有確切的定義， 一般認為一個元學習系統需結合三個要求：系統必須包含一個學習子系統；利用以前學 習中提取的元知識來獲得經驗，這些元知識 來自單個數據集或不同領域；動態選擇學習偏差。

元學習的目的就是為了設計一種機器學習模型，這種模型有類似上面提到的人的 學習特性，即使用少量樣本數據，快速學習 新的概念或技能。經過不同任務的訓練后， 元學習模型能很好的適應和泛化到一個新任務，也就學會了“Learning to learn”。

我們生活在一個由大量不同模態內容構建而成的多媒體世界中，不同模態信息之間具有高度的相關性和互補性，多模態表征學習的主要目的就是挖掘出不同模態之間的共性和特性，產生出可以表示多模態信息的隱含向量.該文章主要介紹了目前應用較廣的視覺語言表征的相應研究工作，包括傳統的基于相似性模型的研究方法和目前主流的基于語言模型的預訓練的方法.目前比較好的思路和解決方案是將視覺特征語義化然后與文本特征通過一個強大的特征抽取器產生出表征，其中Transformer[1]作為主要的特征抽取器被應用表征學習的各類任務中.文章分別從研究背景、不同研究方法的劃分、測評方法、未來發展趨勢等幾個不同角度進行闡述.

//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1