亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**摘要

擴散模型（Diffusion Models, DMs）已成為強大的生成模型，在圖像、視頻、音頻等內容生成任務中展現出卓越性能，并具有變革數字內容創作的潛力。然而，這些能力伴隨著高昂的計算資源消耗和較長的生成時間，這凸顯了開發高效擴散模型的必要性，以推動其實用化部署。 在本綜述中，我們對高效擴散模型的研究進展進行了系統性和全面性的回顧。我們基于現有研究，提出了一種三大類別的分類體系，分別涵蓋算法級優化、系統級優化以及框架級優化，以梳理不同層面上相互關聯的高效擴散技術：

1. 算法級優化（Algorithm-Level Efficiency）：包括加速采樣（如 DDIM、DPM-Solver）、自適應步長方法、潛空間擴散（LDMs）、知識蒸餾等。
2. 系統級優化（System-Level Efficiency）：涉及模型架構改進（輕量級 U-Net 變體、基于 Transformer 的優化）、并行計算、高效 GPU/TPU 部署策略等。
3. 框架級優化（Framework-Level Efficiency）：涵蓋優化工具鏈（如 ONNX、TensorRT）、分布式訓練技術，以及高效推理框架的集成。

此外，我們整理了本綜述中涉及的論文，并在 GitHub 倉庫 Efficient Diffusion Model Survey 中進行分類歸納，以便研究人員查閱和使用。 我們希望本綜述能夠成為研究者和從業者的重要資源，幫助他們系統性地理解高效擴散模型的研究進展，并激發更多人在這一重要且充滿前景的領域做出貢獻。

1. 引言

擴散模型（Diffusion Models, DMs）開啟了人工智能生成內容（AIGC, Artificial Intelligence Generative Content）領域的新時代，并受到了前所未有的關注（Yang et al., 2023b; Croitoru et al., 2023b）。特別是在圖像合成任務中，擴散模型展現出了強大且多樣化的生成能力。此外，擴散模型的跨模態生成能力進一步推動了眾多下游任務的發展（Chen et al., 2023b）。盡管擴散模型的各類變體經過多次迭代已日趨成熟（Zhang et al., 2023d; Xu et al., 2023），但生成高分辨率、復雜的自然場景仍然十分耗時，并需要大量計算資源，無論是像素級擴散方法（Ho et al., 2020）還是潛空間變體（Rombach et al., 2022）。因此，為了優化擴散模型的用戶級部署，研究者們一直在探索高效擴散模型的可能性。 近年來，擴散模型的普及度持續上升，但其中一個主要問題是其多步去噪過程：模型需要經歷多個時間步（timesteps）才能從隨機噪聲生成高質量樣本。這一多步生成機制不僅耗時，而且計算密集，導致計算負擔巨大。因此，提高擴散模型的計算效率至關重要。針對這一問題，已有多項研究嘗試提出解決方案，例如優化訓練過程中添加的噪聲（Hang & Gu, 2024; Chen et al., 2023a），以及選擇適當的采樣時間步（Watson et al., 2021; Sabour et al., 2024）等方法。 盡管已有許多關于擴散模型的全面綜述（Yang et al., 2023b; Chen et al., 2024; Croitoru et al., 2023a; Cao et al., 2024），以及針對特定領域和任務的綜述（Ulhaq et al., 2022; Lin et al., 2024c; Kazerouni et al., 2023; Lin et al., 2024b; Peng et al., 2024b; Daras et al., 2024），但關于擴散模型效率優化的系統性研究仍然較為稀缺。目前唯一一篇專門討論高效擴散模型的綜述（Ma et al., 2024c）僅為該領域的初步探索。在本研究中，我們提供了更全面和詳細的分類體系，涵蓋更廣泛、更新的研究文獻，并提供更系統的技術綜述。 本綜述的總體目標是全面梳理高效擴散模型的技術進展，從算法級、系統級、應用級和框架級四個不同視角進行討論，如圖 1 所示。這四個類別涵蓋了不同但緊密相關的研究主題，共同構成了系統化的高效擴散模型綜述：

• 算法級方法（Algorithm-Level Methods）：優化擴散模型的訓練和推理效率，涵蓋高效訓練、高效微調、高效采樣及模型壓縮等方向（見 §3）。
• 系統級方法（System-Level Methods）：優化計算基礎設施和資源利用，涵蓋硬件-軟件協同設計、并行計算、緩存優化等（見 §4）。
• 應用（Applications）：擴散模型在圖像、視頻、文本、音頻和 3D 生成等領域的優化方法，以在不損失生成質量的前提下提升效率（見 §5）。
• 框架（Frameworks）：專門針對擴散模型的高效訓練、微調、推理和部署框架，涵蓋**主流 AI 框架（如 TensorFlow 和 PyTorch）**的優化擴展，以及專門設計的高效擴散模型框架（見 §6）。

此外，我們創建了一個GitHub 論文資源庫，匯總了本綜述中涉及的相關論文，并將持續更新，以收錄最新的研究進展：Efficient Diffusion Model Survey。我們希望本綜述能夠成為研究者和從業者的重要資源，幫助他們系統理解高效擴散模型的研究進展，并激發更多研究人員在這一重要且前沿的領域做出貢獻。

摘要——近年來，自動駕駛領域的突破性進展徹底改變了車輛感知和與周圍環境互動的方式。特別是，世界模型作為一種關鍵技術應運而生，提供了對駕駛環境的高保真表示，能夠整合多傳感器數據、語義信息和時間動態。這類模型將感知、預測和規劃統一起來，使得自動駕駛系統能夠在復雜且經常不可預測的條件下快速做出知情決策。研究趨勢涉及多個領域，包括4D占用預測和生成數據合成，這些都能增強場景理解和軌跡預測。值得注意的是，近期的研究利用大規模預訓練和先進的自監督學習，擴大了模型在稀有事件模擬和實時互動方面的能力。在應對諸多關鍵挑戰時——包括領域適應、長尾異常檢測以及多模態融合——這些世界模型為更強大、可靠且適應性更強的自動駕駛解決方案鋪平了道路。本綜述系統地回顧了當前的技術前沿，將相關技術按其在未來預測、行為規劃以及兩者之間的互動方面的側重點進行了分類。我們還識別了未來研究的潛在方向，強調了整體集成、計算效率提升和高級仿真等方面。我們的綜合分析凸顯了世界模型在推動下一代自動駕駛系統朝著更安全、更公平的出行方向發展的變革性作用。

關鍵詞——自動駕駛、世界模型、自監督學習、行為規劃、生成方法 1 引言 1.1 概述 完全自動駕駛的追求已經迅速成為全球科學研究和工業努力的焦點。其核心目標是同時減少交通事故、緩解擁堵，并提升不同社會群體的出行能力[1]。現有統計數據顯示，人為錯誤仍然是道路事故的主要原因[2]，這表明，減少人工干預可以顯著降低與交通相關的死亡和傷害的發生率。除了安全性，經濟因素（例如，減少擁堵和優化物流）也推動了自動駕駛技術的發展[3]。 盡管這些激勵因素令人信服，實現高水平的自動駕駛仍需克服相當大的技術難題。最重要的挑戰之一是感知和理解動態交通場景，這要求將異構傳感器數據流（例如激光雷達、雷達、攝像頭）融合成一個統一的環境表示[4]，[5]。從復雜的城市布局到高速公路，自動駕駛車輛必須快速吸收多模態數據，檢測關鍵物體（如車輛、行人、自行車騎行者），并預測它們在不同條件下的運動——例如惡劣天氣、無結構道路或繁忙的交通[6]，[7]。此外，實時決策還帶來了嚴格的計算約束，要求系統在毫秒級響應時間內應對突發障礙物或異常行為[8]，[9]。同樣關鍵的是，系統在極端或長尾場景（例如嚴重天氣、施工區或異常駕駛行為）下的魯棒性，在這些情況下，性能不足可能會危及整體安全性[10]，[11]。 在這一背景下，構建穩健且穩定的世界模型已成為基礎性要素。世界模型的概念包括創建一個高保真的駕駛環境表示——涵蓋靜態結構（如道路、建筑）和動態實體（如車輛、行人）[3]，[8]。一個全面的世界模型不斷捕獲語義和幾何信息，同時實時更新這些表示，從而為下游任務（如物理世界預測）提供支持[12]，[13]。近期的進展通過集成多傳感器數據來細化這些表示，例如生成性方法[14]，[15]，這些方法通過模擬物理世界來進行訓練，將異構傳感器輸入統一為一致的自上而下的視角[16]，[17]。 這些穩健的世界模型利用環境表示來優化智能體的行為規劃，為更安全和更高效的自動駕駛應用奠定了基石。通過實現主動軌跡優化、實時危險檢測和自適應路線規劃，它們能夠直接降低突發危險所帶來的風險[5]，并與不斷發展的車聯網（V2X）系統相契合[9]。最終，世界模型促進了感知和控制子系統之間更緊密的集成，簡化了閉環自動駕駛管道[18]，[19]。 現有關于世界模型在自動駕駛中的綜述通常可分為兩類。一類主流綜述側重于描述廣泛應用于多個領域的世界模型[20]–[22]，其中自動駕駛只是一個特定應用領域。第二類綜述[23]，[24]則專注于世界模型在自動駕駛領域中的應用，嘗試總結該領域的現狀。目前，關于自動駕駛中世界模型的綜述較少，它們通常對這些研究進行大致分類，且常常僅關注世界仿真或缺乏對行為規劃與物理世界預測交互的討論，導致該領域缺乏清晰的分類體系。本文的目標不僅是正式定義和分類自動駕駛中的世界模型，還提供對近期技術進展的全面回顧，并探索其在多個領域的廣泛應用，特別強調它們在自動駕駛中的變革性潛力。這一結構化的分類方法使我們能夠突出這些模型如何根據汽車行業的挑戰進行塑造和適應。 1.2 貢獻 本文綜述的指導思想是世界模型是理解動態場景的核心，旨在提供一個全面、結構化的現有方法論回顧。我們將最前沿的研究分類為三個關鍵領域： 物理世界的未來預測：聚焦于動態物體和靜態實體的物理世界演化[11]，[25]； 智能體的行為規劃：研究生成式和基于規則的規劃方法，這些方法在不確定的駕駛條件下生成安全、有效的路徑[12]，[13]； 行為規劃與未來預測之間的交互：強調統一框架如何捕捉智能體之間的交互，并利用預測性洞察進行協同優化[18]，[26]，[27]。 具體來說，我們提供： 未來預測模型的深入分析：我們討論了基于圖像/鳥瞰圖/物體圖/點云的研究如何在動態場景中實現幾何和語義的高保真度，包括4D占用預測和基于擴散的生成方法。 行為規劃研究：我們探索了基于規則和基于學習的方法在行為規劃中的應用，展示了在魯棒性和避碰性能上的顯著提升。 交互模型研究的提案：我們系統回顧了交互模型，這些模型共同解決未來預測和智能體行為問題，并說明這種協同如何大幅提升現實世界的適應性和操作安全性。 我們總結了目前的開放挑戰，如自監督方法的無縫集成[26]、稀有事件增強的大規模仿真[10]，[28]、以及實時多智能體協調[27]，并為未來的研究提供了方向。隨著研究領域的不斷擴展以及現實世界應用的緊迫性，本綜述旨在為研究人員和實踐者提供有價值的參考，為更安全、更穩健的自動駕駛解決方案奠定基礎。 1.3 結構 本文的結構概覽見圖1，具體如下：第1節介紹了世界模型在自動駕駛中的重要性，并概述了它們解決的社會和技術挑戰。第2節提供了世界模型在自動駕駛中的背景知識，重點討論了物理世界的未來預測和智能體的行為規劃。第3節詳細介紹了方法的分類：第3.1節討論了物理世界的未來預測方法，涉及動態物體和靜態實體的物理世界演化；第3.2節討論了強調生成安全、有效駕駛策略的先進行為規劃方法；第3.3節研究了未來預測與行為規劃之間的交互關系，重點介紹了復雜場景下的協同優化技術。第4節探討了數據和訓練范式的不同方法，包括監督學習、自監督學習和數據生成技術。第5節考察了世界模型應用的領域和任務，討論了這些技術在感知、預測、仿真和系統集成等多個領域的影響。第6節對自動駕駛中的世界模型進行了詳細評估，評估了它們在不同任務和指標中的有效性。第7節探討了開放挑戰、潛在研究方向和進一步創新的有前景的方向。第8節總結了本綜述，并重申了世界模型在自動駕駛中不可或缺的作用。

摘要—基礎模型（FM）驅動的代理服務被視為一種有前景的解決方案，用于開發智能化和個性化的應用，推動人工通用智能（AGI）的發展。為了在部署這些代理服務時實現高可靠性和可擴展性，必須協同優化計算和通信資源，從而確保有效的資源分配和無縫的服務交付。為實現這一愿景，本文提出了一個統一框架，旨在提供一個全面的綜述，探討在異構設備上部署基于FM的代理服務，重點是模型和資源優化的集成，以建立一個強大的基礎設施支持這些服務。特別地，本文首先探索了推理過程中的各種低層次優化策略，并研究了增強系統可擴展性的方法，如并行化技術和資源擴展方法。接著，本文討論了幾種重要的基礎模型，并調查了專注于推理加速的研究進展，包括模型壓縮和標記減少等技術。此外，本文還研究了構建代理服務的關鍵組件，并突出了值得關注的智能應用。最后，本文提出了開發具有高服務質量（QoS）實時代理服務的潛在研究方向。 關鍵詞—基礎模型、AI代理、云/邊緣計算、服務系統、分布式系統、AGI。

I. 引言

人工智能（AI）的快速發展使得基礎模型（FM）成為創新的基石，推動了自然語言處理、計算機視覺和自主系統等多個領域的進步。這些模型的特點是參數空間龐大，并在廣泛的數據集上進行了深度訓練，孕育了從自動化文本生成到高級多模態問答和自主機器人服務等眾多應用[1]。一些流行的基礎模型，如GPT、Llama、ViT和CLIP，推動了AI能力的邊界，提供了處理和分析大量數據的復雜解決方案，涵蓋了不同格式和模態。基礎模型的持續進展顯著增強了AI在理解和與世界互動方面的能力，使其在某種程度上類似于人類認知。 然而，傳統的基礎模型通常僅限于提供問答服務，并根據已有知識生成回答，往往無法整合最新信息或利用先進工具。基礎模型驅動的代理服務旨在增強基礎模型的能力。這些代理具備動態記憶管理、長期任務規劃、高級計算工具以及與外部環境的交互功能[2]。例如，基礎模型驅動的代理能夠調用不同的外部API以訪問實時數據，執行復雜的計算，并根據最新的可用信息生成更新的響應。這種方法提高了響應的可靠性和準確性，并使與用戶的互動更加個性化。 開發具有低延遲、高可靠性、高彈性并且資源消耗最小的服務系統，對于向用戶提供高質量的代理服務至關重要。這樣的系統能夠有效地管理不同的查詢負載，同時保持快速響應并減少資源成本。此外，在異構的邊緣-云設備上構建服務系統，是利用邊緣設備的閑置計算資源和云端豐富計算集群的一種有前景的解決方案。邊緣-云設備的協同推理能夠通過根據計算負載和實時網絡條件動態分配任務，提升整體系統效率。 盡管許多研究已經探討了小型模型在邊緣-云環境中的協同推理，但在這種范式下部署基礎模型以支持多樣化的代理服務仍然面臨著一些嚴重挑戰。首先，波動的查詢負載極大地挑戰了模型服務。隨著越來越多的用戶希望體驗基礎模型驅動的智能代理服務，查詢負載急劇增加。例如，截至2024年4月，ChatGPT的用戶約為1.805億，其中每周活躍用戶約為1億[3]。這些用戶在不同時間訪問服務，導致請求速率變化。因此，彈性服務系統應根據當前的系統特性動態調整系統容量。其次，基礎模型的參數空間極為龐大，達到數百億規模，這對存儲系統提出了巨大挑戰。然而，邊緣設備和消費級GPU的存儲容量有限，無法容納整個模型。龐大的參數量導致了顯著的推理開銷和較長的執行延遲。因此，有必要設計模型壓縮方法，并在不同的執行環境中采用不同的并行化方法。此外，用戶在不同應用中有不同的服務需求和輸入。例如，有些應用優先考慮低延遲，而有些則優先考慮高精度。這要求動態資源分配并調整推理過程。此外，AI代理需要在復雜環境中處理大量艱巨任務，這要求有效管理大規模內存、實時處理更新的規則和特定領域知識。此外，代理具有不同的個性和角色，因此需要設計高效的多代理協作框架。

為了解決上述挑戰，并推動實時基礎模型驅動的代理服務的發展，本文提出了一個統一框架，并從不同優化角度調查了多項研究成果。該框架如圖1所示。底層是執行層，邊緣或云設備在此執行基礎模型推理。聯合計算優化、輸入/輸出優化和通信優化被應用于加速推理，并促進構建強大的基礎模型基礎設施。資源層由兩個組件組成，幫助在不同設備上部署模型。并行化方法設計了不同的模型拆分和放置策略，以利用可用資源并協同提高吞吐量。資源擴展根據查詢負載和資源利用情況動態調整硬件資源，從而提高整體可擴展性。模型層專注于優化基礎模型，提出了兩種輕量級方法，包括模型壓縮和標記減少，旨在推動基礎模型的廣泛應用。基于這些基礎模型，構建了許多AI代理來完成各種任務。為了增強代理的四個關鍵組件，提出了許多方法，包括多代理框架、規劃能力、記憶存儲和工具利用。最終，利用上述技術，可以開發各種應用，為用戶提供智能化和低延遲的代理服務。

A. 相關工作

許多研究集中于優化在邊緣-云環境中部署機器學習模型的系統。KACHRIS回顧了一些用于大規模語言模型（LLMs）計算加速的硬件加速器，以解決計算挑戰[4]。Tang等人總結了旨在優化網絡和計算資源的調度方法[5]。Miao等人提出了一些加速方法以提高大規模語言模型的效率[6]。這項綜述涵蓋了系統優化，如內存管理和內核優化，以及算法優化，如架構設計和壓縮算法，以加速模型推理。Xu等人關注人工智能生成內容（AIGC）的部署，并概述了AIGC的移動網絡優化，涵蓋了數據集收集、AIGC預訓練、AIGC微調和AIGC推理過程[7]。Djigal等人研究了機器學習和深度學習技術在多接入邊緣計算（MEC）系統中資源分配的應用[8]。該綜述包括了資源卸載、資源調度和協同分配。許多研究提出了不同的算法來優化基礎模型和代理的設計。[1]、[9]和[10]提出了流行的基礎模型，特別是大規模語言模型。[11]、[12]和[13]總結了大規模語言模型的模型壓縮和推理加速方法。[2]、[14]和[15]回顧了代理開發中的挑戰和進展。 總之，上述研究要么優化了邊緣-云資源分配和調度以支持小型模型，要么為大規模基礎模型設計了加速或效率方法。據我們所知，本文是首篇全面綜述和討論實時基礎模型驅動的代理服務在異構設備上部署的研究，近年來這一研究方向已經變得尤為重要。我們設計了一個統一框架，填補了這一研究空白，并從不同視角回顧當前的研究成果。該框架不僅勾畫了基礎模型部署的關鍵技術，還識別了基礎模型驅動的代理服務的關鍵組件和相應的系統優化方法。

B. 貢獻

本文全面綜述了在邊緣-云環境中部署基礎模型驅動的代理服務，涵蓋了從硬件到軟件層的優化方法。為方便讀者，本文提供了綜述的大綱（見圖2）。本文的貢獻總結如下：

• 本綜述提出了第一個全面的框架，旨在深度理解在邊緣-云環境中部署基礎模型驅動的代理服務。該框架具有促進人工通用智能（AGI）發展的巨大潛力。
• 從低層次硬件角度出發，本文展示了各種運行時優化方法和資源分配與調度方法，這些技術旨在為基礎模型構建可靠且靈活的基礎設施。
• 從高層次軟件角度出發，本文闡述了專注于模型優化和代理優化的研究工作，提供了構建智能化和輕量化代理應用的多種機會。

本文其余部分安排如下：第二節介紹了一些低層次的執行優化方法；第三節描述了資源分配和并行機制；第四節討論了當前的基礎模型及模型壓縮和標記減少技術；第五節闡明了代理的關鍵組件；第六節介紹了批處理方法及相關應用；最后，第七節討論了未來的研究方向并作結論總結。

摘要——隨著大規模語言模型（Large Language Model, LLM）的普及，世界模型（World Model, WM）的概念近年來在人工智能研究領域，尤其是人工智能代理（AI agents）的背景下，引起了極大的關注。可以說，WM正逐步演變為構建AI代理系統的重要基礎。WM旨在幫助代理預測環境狀態的未來演變，或者幫助代理填補缺失信息，從而使其能夠規劃行動并安全地運行。WM的安全屬性在其在關鍵應用中的有效使用中起著關鍵作用。在本研究中，我們基于全面的文獻調查和預期應用領域的分析，從可信性和安全性的角度對當前最先進的WM技術的影響進行了回顧和分析。我們對當前先進的WM進行了深入分析，并提出技術研究挑戰及其影響，以號召研究社區共同努力改進WM的安全性和可信性。 關鍵詞——人工智能安全、大規模語言模型（LLM）、具身人工智能（Embodied AI）、世界模型（World Model）、智能代理（Intelligent Agents）

I. 引言

近年來，基于Transformer的生成模型取得了快速進展[1]，其能力已從自然語言處理（Natural Language Processing, NLP）擴展到多模態應用[2]。前沿模型如SORA[3]、LINGO-1[4]和GAIA-1[5]展示了前所未有的生成高度逼真視頻的能力，這表明通過僅在視頻和語言數據集上的訓練，這些模型已初步掌握了基本的物理和時空連續性等世界性原理。這一新興能力為研究開辟了新途徑，因為理解世界模型對于開發下一代智能系統至關重要。 數據驅動的世界模型概念最早于2017年提出，基于遞歸神經網絡（Recurrent Neural Network, RNN）或長短期記憶網絡（Long-Short-Term Memory, LSTM）架構[6]。盡管這些早期嘗試在相對簡單的模擬游戲環境中展現了一定的潛力，但其表現受限于序列長度、內存和并行能力等約束。Transformer方法的出現帶來了顯著改進，最近的實驗結果顯示了令人鼓舞的進展。因此，許多當代AI代理架構已將世界模型作為核心組成部分[7]。 我們的研究集中于針對具身AI代理（embodied AI agents）的一類特定世界模型。這些代理能夠與物理世界交互。我們從安全性角度審視這些世界模型，填補當前研究中的關鍵空白。自回歸生成模型固有的缺陷（如幻覺現象）[8][9]，在機器人和自動駕駛系統（Autonomous Driving Systems, ADS）等安全關鍵應用中帶來了顯著風險[10]，并引發了廣泛爭議[11]。盡管目前對世界模型的關注度很高，但我們發現針對具身AI代理的世界模型在安全性方面缺乏全面分析。本文旨在通過簡明而深入的回顧與研究填補這一空白，并從安全性視角進行詳細分析。最后，我們確定了高優先級的研究方向。 本文的主要貢獻總結如下：

• 我們對近期世界模型研究成果進行了文獻調研，并按時間順序展示了實現世界模型的技術發展路徑。
• 我們探討了世界模型在具身AI應用（如自動駕駛）中的安全問題。
• 我們提出了未來研究的潛在方法，以推動可信世界模型的進一步發展。

本文結構安排如下：第二節對當前世界模型的定義進行闡述，并深入探討和分類當前最先進的方法。我們回顧了現代世界模型在不同應用背景下的發展路徑；第三節從批判性視角分析了當前方法在安全性方面的不足；第四節提出了一項研究議程，重點強調提高世界模型安全性的高優先級課題。通過解決這些關鍵問題，我們希望為當前關于具身AI中的世界模型的討論帶來清晰性，并促進更安全、更可信的智能系統的發展。

摘要——根據規模預測，大型模型在許多領域取得了突破性進展，特別是在自然語言生成任務中，它們的表現已接近甚至超越人類水平。然而，前所未有的參數規模帶來了顯著的計算和存儲成本。這些大型模型需要大量的計算資源和GPU內存來運行。在將大型模型適應于特定下游任務時，其龐大的參數規模在計算能力和GPU內存有限的硬件平臺上微調時面臨重大挑戰。為了解決這個問題，參數高效微調（PEFT）通過有效調整大型預訓練模型的參數以適應各種下游任務，提供了一種實用的解決方案。具體而言，PEFT調整預訓練大型模型的參數，以適應特定任務或領域，最小化額外參數的引入和所需的計算資源。本文主要介紹PEFT的基礎知識、各種PEFT算法的核心思想和原理、PEFT的應用以及未來研究方向。通過閱讀本綜述，我們相信感興趣的讀者能夠迅速掌握PEFT方法論，從而加速其發展和創新。 關鍵詞——微調、參數高效、大型語言模型、深度學習、人工智能。

最近幾年，大型預訓練模型（通常稱為“大模型”）作為人工智能領域的一項重要進展，逐漸受到廣泛關注。由于其在各種應用場景中的卓越表現和多樣性，這些模型引發了大量討論。這些模型具有強大的計算能力和豐富的數據資源，使其能夠在處理復雜任務時表現出色。在自然語言處理（NLP）領域，大型語言模型（LLMs）備受關注。這些模型在文本生成、機器翻譯、個性化聊天機器人、文本摘要、情感分析和問答系統等任務中展現出卓越的創造力。 然而，大模型的發展面臨著重大挑戰和爭議。這些模型需要大量的計算資源和數據支持，這可能對環境造成威脅并影響隱私保護。盡管在特定任務中表現出色，但這些模型仍然存在局限性和錯誤率，需要不斷優化和改進。在直接使用大模型處理特定任務時，其性能往往低于預期。因此，微調大模型已成為提高模型性能的關鍵方法。 PEFT（參數高效微調）是一種轉移學習方法，專門用于調整大型預訓練模型的參數，以適應新的任務和場景。這種方法涉及動態調整模型，以增強其在執行特定任務時的有效性，考慮到目標任務的獨特特征和要求。微調過程通常包括改進模型架構、優化參數和調整學習策略等多個方面，以在新任務中實現更好的性能。隨著深度學習領域的不斷發展，優化和微調大模型的技術也取得了顯著進展。值得注意的PEFT方法包括LoRA、適配器調優、前綴調優、提示調優、P-tuning、BitFit等。 然而，盡管在多個領域中，大模型微調技術取得了顯著成就，但仍然存在許多需要解決的挑戰和困難。例如，過擬合的緩解、微調效率的優化，以及在預訓練與微調任務之間找到學習平衡等問題都需要更多的研究。 近年來，關于PEFT的文章層出不窮，其中一些研究提供了對最流行方法的有益概述。以下是對這些研究的比較分析。丁寧等人引入了一種理論抽象，用于Delta Tuning，從優化和最優控制的角度進行分析。這一抽象提供了一種統一的方法，描述當前的參數高效微調方法，為未來的研究提供了獨特的視角。然而，盡管該研究主要集中在NLP應用上，但這些方法在不同領域的通用性和有效性仍需進一步探討。Lialin等人提供了全面的分析和分類，涵蓋了廣泛的方法，并比較了約30種方法在存儲效率、內存效率、計算效率、準確性和推理開銷等五個維度上的表現。然而，雖然文章主要關注于對數十億參數規模語言模型進行有效微調的詳細方法，但對真實應用場景的探討相對有限。徐玲玲等人對當前PEFT方法進行了全面的評估和分析，評估了它們在一系列NLP任務中的性能、參數效率和內存利用率。然而，該論文并未充分闡述這些方法在實際操作環境中的應用，也未深入探討它們的適應性及可能遇到的領域特定挑戰。辛怡等人提供了視覺PEFT的全面概述和未來方向，系統地回顧了最新的進展。盡管文章涵蓋了多種視覺任務，但實驗主要集中在幾個常見任務上，并未完全涵蓋更廣泛的潛在應用場景。韓澤宇等人詳細分類了PEFT方法，探討了PEFT技術在各種模型架構和下游任務中的應用，以及參數高效微調方法的系統設計挑戰。該研究為研究人員和工程師提供了PEFT方法的全面概述，但在實際應用覆蓋方面仍有改進空間。 我們的貢獻如下：

• 我們提供了與現有綜述論文相比，更全面和詳細的關于大模型和一般微調方法論的基礎知識概述。這部分內容不僅涵蓋了大模型的基本原理、結構和技術，還提供了它們在自然語言處理、多模態活動和其他領域的實際應用的深入概述。
• 我們的調查涵蓋了最新的研究方法論，突出展示了大模型領域的最新進展。這確保了我們的綜述內容全面且詳盡。我們的綜述范圍廣泛，涵蓋了自然語言處理、多模態任務和計算機視覺等多個場景，使讀者能夠全面理解大模型技術的現狀和未來前景。
• 在回顧和分析當前方法后，我們提出了一些創新和面向未來的研究方向。這些領域考慮到了先進模型技術的增長潛力，并結合了實際應用中行業需求和障礙，提出了可行和創新的研究途徑。

本調查旨在全面回顧大模型微調技術的最新進展。通過對現有研究的深入審查，我們的目標是識別并填補當前知識體系中的空白，從而開發出一個全面和系統的知識框架，為研究人員提供清晰的視角，并指導他們未來的研究。總之，我們的工作為相關領域提供了有價值的資源和視角，供學術和實踐用途。調查的剩余部分結構如下： 在第二部分中，我們提供大型語言模型基本組成部分的簡要總結，包括其過去的發展、新興能力以及支配其規模的擴展規律。隨后，我們簡要概述了全面語言模型的主要分類，并介紹了多模態綜合模型的基本原理和框架。此外，我們還探討了在大型語言模型微調領域采用的主要方法，包括指令微調、對齊和基于人類反饋的強化學習（RLHF）。最后，我們簡要總結了在大模型微調領域最常用的基準和評估數據集。 在第三部分中，我們提供了對PEFT方法的全面分析和總結，展示了當前PEFT方法的分類框架，涵蓋了2019年6月至2024年7月發布的100多篇研究文章。我們在傳統的加法、重新參數化和減法PEFT分類基礎上，納入了混合、量化和多任務分類PEFT方法的總結。 在第四部分中，我們對多模態、視覺和擴散模型領域的PEFT方法進行全面分析和描述。我們的目標是提供深刻的理解和針對不同應用場景的PEFT選擇和改進建議。 在第五部分中，我們總結了我們的廣泛調查，并提出了多個有前景的未來發展方向，包括算法改進和任務場景，旨在為這一蓬勃發展的領域的進一步研究和發展提供有價值的見解。

摘要—持續學習（CL）旨在使機器學習模型能夠從新數據中不斷學習，同時在不遺忘已獲得知識的基礎上進行擴展。隨著機器學習模型從小規模到大規模預訓練架構的演變，以及從支持單一模態數據到支持多模態數據，多模態持續學習（MMCL）方法最近開始出現。MMCL的主要挑戰在于，它超越了簡單的單模態持續學習方法的疊加，因為這種直接的方法通常會產生不理想的效果。在本研究中，我們首次對MMCL進行了全面綜述。我們提供了MMCL的基本背景知識和設定，并提出了結構化的MMCL方法分類法。我們將現有的MMCL方法分為四類，即基于正則化、基于架構、基于重放和基于提示的方法，闡述它們的方法論并強調其關鍵創新。此外，為了激發該領域的進一步研究，我們總結了開放的MMCL數據集和基準，并討論了若干未來有前景的研究和發展方向。我們還創建了一個GitHub倉庫，用于索引相關的MMCL論文和開放資源，網址為：//github.com/LucyDYu/Awesome-Multimodal-Continual-Learning。

關鍵詞—多模態持續學習，多模態數據，終身學習，增量學習

1 引言近年來，機器學習（ML）取得了顯著的進展，為解決各種實際問題作出了重要貢獻。在傳統設置中，大多數ML模型在所謂的“單一階段”范式下運行，即在靜態和單一數據集上進行訓練，并在獨立同分布（i.i.d.）假設下進行評估【1】。然而，這種“單一階段”范式無法賦予訓練模型適應新數據或執行新任務的能力，因此難以滿足開發能夠應對動態變化環境的智能體的需求。為解決這一問題，ML社區致力于發展持續學習（CL），也稱為終身學習或增量學習，它通過在新任務上逐步訓練模型并保留早期知識，無需對完整數據進行重新訓練【2-5】。 CL的主要挑戰是災難性遺忘：當任務按順序進行訓練時，針對新任務的訓練會嚴重影響之前已學習任務的性能【6, 7】，這是因為不受約束的微調會使參數遠離舊的最優狀態【8】。CL的目標是開發能夠持續獲取知識并保留已學習信息的學習系統。這一過程本質上模仿了生物大腦的認知靈活性，生物大腦在整個生命過程中不斷學習各種技能【9】。通過使模型能夠在不遺忘的情況下適應新任務，CL在資源和時間效率方面相較于傳統的模型全數據重新訓練方法具有顯著優勢。此外，由于存儲限制、隱私問題等原因，歷史訓練數據可能無法訪問，這使得全數據訓練變得不可行，進一步突顯了CL在記憶舊知識并從動態環境中獲取最新知識方面的效率和有效性。盡管CL取得了顯著進展，大多數研究仍集中在單一數據模態上，如視覺【10-13】、語言【14-16】、圖【17, 18】或音頻【19】。這種單模態的關注忽略了真實世界環境的多模態特性，這些環境本質上是復雜的，由多種數據模態組成而非單一模態。隨著多模態數據的快速增長，例如Meta和TikTok等平臺上圖像、文本和視頻數據的激增，開發能夠從多模態源中持續學習的AI系統變得至關重要，因此出現了多模態持續學習（MMCL）設置。這些MMCL系統需要有效地整合和處理多模態數據流【20, 21】，同時還要能夠保留先前獲取的知識。更重要的是，這種MMCL設置更接近于人類生物系統在應對現實世界復雜性時跨模態學習和整合信息的過程【22, 23】。MMCL的挑戰。盡管傳統單模態CL與MMCL之間存在聯系，MMCL的挑戰遠不止是簡單地將CL方法疊加在多模態數據上。事實證明，這種直接的嘗試通常會產生次優性能【31-33】。具體來說，如圖2所示，除CL中已有的災難性遺忘問題外，MMCL的多模態特性還引入了以下四個挑戰。這些挑戰不僅獨立存在，還可能加劇災難性遺忘問題：

• 挑戰1（模態不平衡）。模態不平衡指的是在多模態系統中對不同模態進行不均衡處理或表示，這種不平衡在數據和參數層面上都有體現。在數據層面，不同模態的數據可用性在CL過程中可能顯著不同，可能出現極端不平衡的情況，如某些模態的缺失【28】。在參數層面，不同模態特定組件的學習速率可能有所不同，導致跨所有模態的整體不平衡學習過程【34】。因此，MMCL模型可能會遭受性能下降，甚至在某些情況下其表現可能比單模態模型還要差【32, 36】。
• 挑戰2（復雜模態交互）。模態交互發生在模型組件中，即多模態輸入信息的表示之間進行顯式交互。這一交互在MMCL中引入了獨特的挑戰，主要體現在兩個交互過程中：模態對齊和模態融合【37】。在模態對齊中，不同模態的單一數據樣本的特征在持續學習過程中往往會發生偏離，這種現象被稱為MMCL中的空間紊亂【38】。在模態融合中，傳統的多模態融合方法在非CL環境中效果良好，但在MMCL環境中可能表現較差，因為不同的融合技術對解決遺忘問題的影響各不相同【36, 39】。
• 挑戰3（高計算成本）。MMCL中的多模態整合顯著增加了模型和任務特定層面的計算成本。在模型層面，增加模態不可避免地增加了可訓練參數的數量。許多MMCL方法利用預訓練的多模態模型作為基礎，但持續地微調這些大規模模型會導致沉重的計算負擔【42, 43】。這些不斷增加的計算需求對MMCL方法的實際部署提出了嚴格的可擴展性要求。
• 挑戰4（預訓練零樣本能力的退化）。隨著預訓練模型的進步，MMCL方法可以借助這些強大的基礎模型。預訓練的多模態模型通常具有在未見過的任務上實現零樣本能力的優勢【44, 45】。然而，在MMCL的連續微調過程中，預訓練基礎模型的一些初始能力可能會下降，這種退化風險可能導致未來任務的性能嚴重下降【45】。 貢獻。為了應對這些挑戰，研究人員正日益關注MMCL方法。我們首次提供了MMCL的全面綜述。我們總結了當前的數據集和基準測試，以促進研究和實驗，并在快速發展的MMCL領域內討論了未來的研究方向。總之，我們的綜述有以下主要貢獻：

1. 我們提供了第一個全面的MMCL綜述。我們詳細介紹了MMCL的背景知識，包括基本的設定、不同的MMCL場景和常用評估指標。
2. 在我們的MMCL方法分類體系中，我們將現有的MMCL工作分為四個類別，并提供了詳細的子類別解釋。
3. 我們總結了當前的數據集和基準，并討論了未來的研究方向，旨在激發創新性研究，從而促進更有效的MMCL方法的發展。

多模態持續學習根據輸入模態的不同，多模態持續學習可以分為五種主要場景：

• 類增量學習（Class-incremental Learning, CIL）：不同任務間的數據分布和標簽空間不同，且測試階段不提供任務ID。模型需能在所有已學類別間進行分類。
• 領域增量學習（Domain-incremental Learning, DIL）：不同任務間的數據分布不同，但共享相同的標簽空間。測試階段不需要任務ID。
• 任務增量學習（Task-incremental Learning, TIL）：不同任務的數據分布和標簽空間均不同，且測試階段提供任務ID，模型知道執行的是哪個任務。 此外，為了適應多模態數據，定義了兩種新的場景：
• 生成式領域增量學習（Generative Domain-incremental Learning, GDIL）：此場景用于生成式任務，例如視覺問答。與CIL不同，GDIL中的模型輸出來自一個較大的詞匯集。
• 模態動態任務增量學習（Modality-dynamic Task-incremental Learning, MDTIL）：任務序列中的模態可能變化，模型在測試階段獲得任務ID，并適應不同的模態組合。

3 方法學

在多模態持續學習（MMCL）中，有多種方法學策略。本文將MMCL方法分為四大類：基于正則化、基于架構、基于重放以及基于提示的方法。圖5對這些方法進行了分類，并在后續的小節中詳細說明。表2總結了各類MMCL方法的具體特性，而圖6展示了代表性架構，主要以視覺和語言模態為主。對于其他模態的方法，在表3中進行了匯總。在正式介紹MMCL方法之前，我們將首先介紹一些經典的單模態持續學習（CL）方法，因為它們既是MMCL方法的前身，也在MMCL研究中被廣泛用作對比。

**3.1 基于正則化的方法

基于正則化的方法旨在通過對參數施加約束來減少災難性遺忘現象【8】。這類方法根據約束方式的不同，分為顯式正則化和隱式正則化兩種。下圖（圖6a）總結了顯式和隱式正則化方法的代表性架構。3.1.1 顯式正則化顯式正則化方法通過直接為參數賦予重要性權重來抑制模型的參數變化。它通過懲罰那些偏離先前最優狀態的參數，以減緩模型的遺忘。其關鍵思想是對模型的參數偏移施加顯式約束，以保護模型在先前任務中的知識。在這種方法中，常用的技術包括：

• 彈性權重保持（Elastic Weight Consolidation, EWC）：通過利用Fisher信息矩陣對參數賦予權重，從而實現參數保護，避免重要參數發生顯著改變。EWC的變種方法例如EWCH和在線EWC通過單一正則化項的方式進一步提高了效率。
• 任務相關性調節（Task Importance Regularization, TIR）：這是MMCL中的一種方法，基于BLIP2等多模態模型。它通過計算新舊任務之間的相似性來動態調整正則化權重，以適應長期持續學習的需求。 3.1.2 隱式正則化隱式正則化方法主要關注于在訓練新任務時盡量保持模型對舊任務輸出的一致性，從而減少遺忘風險。與顯式正則化不同，隱式正則化方法僅在參數變化導致模型輸出改變時才施加懲罰，因此允許參數更自由地調整。隱式正則化常見的方式是知識蒸餾（KD），通常包括以下幾種策略：
• 基于logits的蒸餾（Logits-based KD）：通過對比新模型和舊模型在最后一層輸出的logits，盡量讓新模型在訓練新任務時保持與舊任務相似的輸出分布。
• 基于特征的蒸餾（Feature-based KD）：不僅關注最終輸出，還在中間層的特征上進行對比，從而保留中間表征。
• 基于關系的蒸餾（Relation-based KD）：使用樣本間的關系信息進行對比，如在視覺-語言模型中，可以利用圖像和文本之間的相似度來進行知識轉移。 典型的單模態模型中，LwF（Learning without Forgetting）是一種經典的隱式正則化方法，它在訓練新任務前使用當前數據生成舊任務的輸出，并在訓練時通過KD損失來最小化新任務下的輸出變化。LwF因其無需顯式存儲舊任務數據的特性，被廣泛應用于多模態和單模態CL模型中。在多模態模型中，隱式正則化方法進一步擴展并改進了KD策略以適應不同的模態。例如，ZSCL（Zero-Shot Continual Learning）和Mod-X都使用CLIP作為基礎模型，通過KD技術保留零樣本能力。此外，Mod-X還關注空間無序（Spatial Disorder）問題，以解決視覺和語言表征在持續訓練過程中逐漸偏離的問題。

3.2 基于架構的方法

架構方法通過引入任務特定組件來減少不同任務之間的干擾，通常分為固定架構和動態架構兩種。

**3.2.1 固定架構

固定架構方法在整個任務序列中保持相同的模型結構，通過任務掩碼選擇性地激活或抑制特定參數，從而使各個任務使用不同的參數組合。這種方式通過分配任務特定的參數部分來減輕遺忘現象。單模態模型中，HAT（Hard Attention to the Task）通過學習接近于二值的注意力向量，在模型層次上選擇性激活或抑制參數。它通過掩碼來固定特定參數，以保留早期任務的知識。在多模態模型中，RATT（Recurrent Attention Task Transformer）使用固定架構進行圖像描述生成。它結合了卷積神經網絡（CNN）和長短時記憶網絡（LSTM），并通過注意力掩碼實現特定任務的激活，以便針對不同任務分配不同的模型層激活狀態。

**3.2.2 動態架構

動態架構方法則允許模型結構隨著任務的引入而動態擴展，通常通過添加新模塊來增加模型容量。與固定架構不同，動態架構可以在新任務到來時擴展新的任務特定模塊，因此性能不會受到初始容量的限制。在單模態模型中，進步網絡（Progressive Network）是一種早期的動態架構，它通過為每個新任務初始化一個新網絡來避免遺忘。這種方法使用橫向連接來支持特征共享和知識轉移。多模態模型中的動態架構方法則可以通過任務特定、模態特定等多種策略來決定如何擴展網絡結構。例如，MoE-Adapters4CL在多模態模型CLIP的基礎上為每個新任務添加模塊，減少了新任務對已有知識的干擾。此外，ODU和CMR-MFN都設計了模態融合模塊，以應對多模態數據中模態組合多變的特性。

3.3 基于重放的方法

重放方法使用一個記憶緩沖區來存儲歷史實例，以幫助在學習新任務時維護早期任務的知識。這些方法無需動態調整網絡架構，也不需約束參數自由度。基于獲取重放數據的不同方式，重放方法可以分為直接重放和偽重放兩種。

**3.3.1 直接重放

直接重放方法通過將舊任務中的少量樣本存儲在記憶緩沖區中，以在新任務訓練時進行重放。此類方法的關鍵在于如何選擇代表性樣本以充分利用有限的記憶空間。在多模態模型中，例如VQACL和SAMM采用隨機選擇策略直接重放多模態樣本。實驗表明，與單模態重放相比，多模態重放能顯著提升模型的穩定性和靈活性。此外，KDR通過在跨模態相似度矩陣上引入KD，以確保模型更新前后的交互一致性，從而進一步鞏固知識。

**3.3.2 偽重放

偽重放方法利用生成模型學習舊任務的數據分布，從而在當前階段生成偽造數據，避免了直接重放方法的存儲需求和隱私問題。例如，單模態模型中DGR（Deep Generative Replay）通過訓練生成對抗網絡（GAN）來生成數據樣本以進行重放。后續研究擴展了偽重放策略，包括在特征層面進行偽重放，以強化特征表示，減少遺忘現象。在多模態模型中，SGP通過保存場景圖和語言模型生成偽造數據以進行偽重放。此外，AID通過偽原型重放策略處理模態不平衡問題，從而提升分類器的區分能力。這些方法解決了多模態學習環境中數據類型多樣性和平衡性的問題。

3.4 基于提示的方法

基于提示的方法利用預訓練大模型，通過修改輸入而非調整模型結構來保留原始知識并學習新任務。此類方法減少了大規模微調的需求，并能夠更好地保留預訓練模型的零樣本能力。在多模態模型中，例如Fwd-Prompt和S-liPrompts分別采用共享提示和任務特定提示策略，增強了視覺-語言模型在跨模態信息融合中的表現。CPE-CLIP通過將視覺提示設計為語言提示的函數來連接多模態信息，使模型在新任務中具備更好的適應性。

4 數據集和基準

本節對當前多模態持續學習（MMCL）領域的主要數據集和基準進行了綜述。MMCL中的大多數數據集都是從最初為非持續學習（CL）任務設計的知名數據集中改編而來，研究人員常常利用多個數據集或將單一數據集劃分為多個子集，以便在MMCL設置中模擬任務【39】。此外，也存在一些專門為MMCL構建的數據集，例如P9D【68】和UESTC-MMEA-CL【39】。表4匯總了涵蓋各種CL場景、模態和任務類型的MMCL基準。以下將具體介紹這些基準，若數據集和代碼為公開可訪問，將在相應位置標明。

**4.1 基于原始數據集的基準

這一部分總結了兩個專門為MMCL構建的數據集：

• P9D：Zhu等人【68】利用電商數據構建了首個視覺-語言持續預訓練數據集P9D，并建立了跨模態檢索與多模態檢索的VLCP基準。P9D包含超過一百萬對真實產品的圖像和文本數據，并根據行業類別劃分為9個任務。該數據集旨在支持多模態任務中不同類別的持續學習。
• UESTC-MMEA-CL：Xu等人【39】收集了來自佩戴智能眼鏡的10位參與者的視頻和傳感器數據，構建了包含視覺、加速度和陀螺儀模態的UESTC-MMEA-CL數據集，這是第一個用于持續自我活動識別的多模態數據集。作者還建立了CEAR基準，并使用了三種基礎CL方法：EWC【11】、LwF【10】和iCaRL【12】。研究結果顯示，與其他方法相比，iCaRL在重放基礎上能更有效地減輕遺忘問題。 這兩個數據集通過與常用CL方法的結合驗證了MMCL方法在不同模態組合上的有效性，也進一步揭示了多模態數據融合的挑戰及潛在研究方向。

**4.2 基于多個數據集的基準

除了專門的數據集外，也有一些基準通過使用多個數據集來模擬MMCL任務。以下是一些此類基準的簡要介紹：

• CLiMB【31】：該基準包括四個視覺-語言任務（VQAv2、NLVR2、SNLI-VE和VCR）、五個僅語言任務（IMDb、SST-2、HellaSwag、CommonsenseQA和PIQA）以及四個僅視覺任務（ImageNet-1000、iNaturalist2019、Places365和MS-COCO目標檢測）。CLiMB采用分類任務來評估模型在不同模態任務中的表現。
• CLOVE【63】：專注于生成任務，適用于不同模態的生成式任務，利用多個數據集進行評估。
• MTIL【45】：該基準在視覺-語言領域內使用了多個數據集進行任務增量學習，驗證模型在多任務設置中的表現。
• CEAR【39】：基準測試多模態數據集（視頻、加速度和陀螺儀）上的持續學習性能，評估模型對復雜運動數據的持續識別能力。 這些基準提供了多種任務和模態組合，用以驗證模型在各種復雜多模態環境中的持續學習能力。通過這些基準，研究人員可以深入探討MMCL方法在不同任務類型下的適用性和性能表現。

5 未來研究方向

隨著多模態模型的快速發展，多模態持續學習（MMCL）已成為一個活躍且前景廣闊的研究課題。在本節中，我們提出了幾個值得進一步探索和研究的未來方向。

**5.1 提升模態數量與質量

當前的MMCL研究中，多模態數據的數量和質量直接影響模型的性能。然而，由于不同模態的數據特性和收集難度，提升模態數量和質量仍面臨諸多挑戰：

1. 豐富模態種類：許多現有研究主要集中在視覺、語言和音頻模態上，但實際應用中往往需要結合更多模態，如生物信號、環境數據等。因此，未來研究可以探索如何將更多元的模態引入MMCL系統，以提高模型對復雜環境的適應性和泛化能力。
2. 提高數據質量：不同模態數據的噪聲和不完整性可能導致信息缺失或誤導模型學習。提高數據采集和預處理的質量，以及開發具有魯棒性的數據增強方法，將有助于改善模型對多模態數據的學習效果。
3. 模態互補性研究：多模態數據之間的互補性在MMCL中發揮著重要作用。研究如何更好地利用不同模態之間的相互補充來增強學習效果，例如通過模態間對齊和融合方法，以更好地利用數據多樣性，提升模型的整體性能。

**5.2 更高效的計算資源利用

MMCL中的模型往往依賴大規模預訓練模型，并在多個模態和任務上進行持續訓練，這對計算資源提出了更高要求。為提高資源利用效率，未來可以在以下幾個方面展開研究：

1. 參數高效的微調方法：開發參數高效的微調策略（如適配器模塊、低秩近似等），以減少訓練過程中對計算資源的需求。這類方法能夠使模型在進行任務增量學習時僅調整少量參數，從而減輕計算負擔。
2. 模型壓縮和加速：探索模型壓縮（如量化、剪枝）和加速（如蒸餾、混合精度訓練）技術，以降低MMCL模型的內存和計算成本，使其更適合實際部署。
3. 分布式與異構計算：結合分布式計算和異構計算設備（如GPU和TPU），分擔大規模多模態數據的處理任務，以應對計算負載挑戰。這可以使得MMCL模型在多任務和大數據量場景下保持較高的性能表現。

**5.3 增強零樣本能力和泛化性能

MMCL中的一個關鍵挑戰是如何在不忘舊任務的同時提升對新任務的零樣本適應能力及泛化性能：

1. 保持預訓練模型能力：隨著持續微調的進行，MMCL模型可能逐漸喪失預訓練模型的零樣本能力。研究如何在保持先前知識的基礎上，繼續增強模型對新任務的適應性，將是未來的重要方向。
2. 增強跨任務泛化：MMCL模型往往面對跨任務的知識遷移和適應性問題。如何設計有效的跨任務知識遷移機制，以增強模型在不同任務間的泛化能力，將有助于提高模型在多變環境下的實用性。
3. 任務間關系學習：許多現實任務之間存在一定的關聯性，未來可以探索如何利用任務間的關系信息（如標簽關系、特征共現）來更好地指導模型學習，從而提升模型對新任務的預測準確性。

**5.4 應對多模態數據中的模態失衡

在多模態環境下，模態數據的分布和數量可能存在不平衡，這會影響MMCL的表現。未來的研究可以關注以下方面：

1. 模態優先級與加權機制：不同模態對任務完成的重要性可能不同，因此可以研究如何為不同模態分配合適的權重和優先級，以提高模型在模態不平衡情況下的魯棒性。
2. 動態模態選擇與融合：設計動態的模態選擇策略，使模型能夠在缺少某些模態數據時，靈活地進行模態融合和任務處理。這種動態融合策略將提高模型在不同模態條件下的適應性。
3. 模態數據重采樣與合成：在模態不平衡的情況下，可以研究如何通過重采樣或合成方法生成缺少的模態數據，以保持模態之間的平衡性，提高模型的整體學習效果。

5.5 提高模型對隱私與數據安全的適應性

隨著隱私和數據安全需求的增加，未來MMCL研究需要更好地應對這些問題：

1. 隱私保護技術：研究如何在MMCL模型中引入隱私保護技術，如聯邦學習和差分隱私，以在多模態數據環境中保護用戶隱私。
2. 安全模型更新與遷移：開發安全的模型更新和遷移機制，以防止敏感數據泄露，同時保證模型在不同平臺或設備上的適應性和性能。
3. 數據合成與偽重放：為減輕隱私風險，可以利用數據合成與偽重放技術，在不依賴真實用戶數據的情況下，重建訓練數據分布，從而提高模型的隱私適應性。

結論

以上是未來研究方向的詳盡討論，為進一步發展多模態持續學習（MMCL）領域提供了切實可行的建議和探索路徑。通過提升模態數量與質量、提高計算資源效率、增強零樣本能力與泛化性能、應對模態失衡問題，以及加強隱私與數據安全的適應性，研究人員可以應對MMCL的挑戰，推動模型更好地適應現實環境的需求。這些方向的研究不僅能解決當前的技術難題，還將推動更為廣泛和深入的實際應用，從而實現更加智能化和多樣化的學習系統。

摘要——在過去的十年中，深度神經網絡取得了令人振奮的突破，數據增強作為一種正則化技術在缺乏大規模標注數據的情況下越來越受到關注。在現有的數據增強方法中，Mixup 及相關的數據混合方法通過凸組合選定樣本及其對應的標簽生成數據依賴的虛擬數據，廣泛應用于各種領域并取得了優異的性能。本綜述對基礎的Mixup方法及其應用進行了全面的回顧。我們首先詳細闡述了包含Mixup增強的訓練流程，作為一個包含模塊的統一框架。一個重構的框架可以容納各種Mixup方法，并給出直觀的操作步驟。然后，我們系統地研究了Mixup增強在視覺下游任務、各種數據模態上的應用，以及Mixup的分析與定理。同時，我們總結了當前Mixup研究的現狀和局限性，并指出了進一步提升Mixup增強有效性和效率的研究方向。本綜述可以為研究者提供Mixup方法的最新進展，并在Mixup領域中提供一些洞見和指導作用。本綜述的在線項目可在 //github.com/Westlake-AI/Awesome-Mixup 獲取。 關鍵詞——數據增強，Mixup，分類，自監督學習，計算機視覺，自然語言處理，圖結構

深度神經網絡（DNNs），如卷積神經網絡（CNNs）和Transformers，由于其強大的特征表示能力，已成功應用于諸多任務，如圖像分類、目標檢測和自然語言處理（NLP）等。為了完成越來越具有挑戰性的任務，DNNs使用了大量可學習的參數，這意味著如果沒有大量的訓練數據，模型容易過擬合，無法很好地泛化。然而，在某些情況下，訓練數據難以獲得且收集成本高昂。如何讓DNNs在有限的訓練數據之外實現泛化，是深度學習中的一個基本問題。

為了解決數據需求量大的問題，研究人員提出了數據增強（DA）技術。與“模型中心”和正則化方法相比，DA是一種“數據中心”的正則化技術，它通過合成虛擬訓練數據來防止過擬合。DA通過構建同一樣本的不同版本引入有用的不變特征。DA帶來的數據集大小增加和歸納偏差的引入也起到了一定的正則化效果，緩解了過擬合問題。最近，數據增強已被證明能夠提高深度學習模型的泛化能力，成為實現最先進性能的關鍵因素。數據增強可以通過對比組合、Mixup和生成等方式合成新數據。

在本綜述中，我們聚焦于一個新興領域——Mixup。Mixup [1] 通過對兩個樣本及其對應的one-hot標簽進行插值來生成增強樣本。本質上，基于Mixup的方法通過混合多個樣本來生成增強數據。與大多數現有的增強技術修改單個樣本但不改變其唯一標簽的做法不同，Mixup通過來自兩個或多個示例生成增強樣本，導致多個標簽的產生，從而更好地反映現實世界的情況。此外，Mixup在不同的數據集和領域中表現出很強的可遷移性。相比之下，其他組合方法通常需要大量時間來確定合適的增強策略。生成方法在應用于大數據集時具有挑戰性，因為它需要額外的生成器和判別器，從而限制了可遷移性和應用場景。而Mixup不依賴于保留標簽的操作，而是通過可學習的方法來創建更有效的增強樣本。與傳統的數據增強方法處理單個樣本不同，Mixup通過混合多個樣本生成虛擬訓練數據，無需領域知識即可生成大量的訓練數據。目前，Mixup已成功應用于多種任務和訓練范式，包括監督學習（SL）、自監督學習（SSL）、半監督學習（Semi-SL）、自然語言處理（NLP）、圖結構和語音處理等領域。

在圖1中，我們總結了這些訓練范式和數據模態下的一些主流方法的時間軸：

• SL（樣本）：2018年，Mixup [1] 提出了靜態線性插值的樣本混合方法。2019年，CutMix [2] 和 Manifold Mixup [3] 提出了基于切割和特征的Mixup改進。這些是特定的增強方法。但從2020年到2023年，許多方法進一步在靜態線性、切割和特征基礎上改進了Mixup，甚至逐步轉向自適應方式。到2024年，DiffuseMix [4] 結合了生成模型和Mixup方法。

• SL（標簽）：2019年，AdaMixup [5] 發現混合比例λ會影響模型性能，這被稱為“流形入侵”。因此，從2020年到2024年，許多基于CNNs或Vision Transformers（ViTs）的方法涌現出來，優化這些比例。此外，CAMixup [6] 在2021年和RankMixup [7] 在2023年提出了增強模型校準的方法。

• SSL（CL）與SSL（MIM）：對比學習（CL）在圖像分類任務中表現出強大的能力。為了提高模型性能，研究人員提出了大量結合Mixup的CL方法，這些方法通過Mixup獲得“半正樣本”以捕捉更多特征。CL + Mixup 通常會修改其損失項以適應SSL任務。遮掩圖像建模（MIM）通過從混合樣本中重建樣本，認為混合樣本將共享更多特征，能夠學習一些高維信息。MixMAE [8] 和MixedAE [9] 在2023年展示了這一觀點。

• Semi-SL：可以利用標注和未標注的信息。2019年，MixMatch [10] 使用這種方法提高了模型性能，并使其更具魯棒性，因為混合樣本可以作為帶噪聲圖像的干凈圖像使用。對于PUL，P3Mix [11] 在2021年通過混合來自決策邊界附近的樣本獲得了更好的準確性。DecoupledMix [12] 在2023年提出了通過解耦樣本預測來獲得更干凈的偽標簽。

• 數據模態：不僅限于圖像領域。對于NLP，WordMixup & SenMixup [13] 在2019年提出了兩種文本混合方式，分別基于句子混合和嵌入混合。基于這兩種基本方法，許多帶有特定修改的方法被提出。例如，SeqMix [14] 在2021年提出了基于顯著性的嵌入混合，TreeMix [15] 通過使用成分句法分析將句子分解為子結構，并通過混合重新組合成新句子。對于圖結構，GraphMix [16] 和 ProGCL [17] 在2021年和2022年提出了結合Mixup方法的圖分類，并提出了一些結合Mixup和圖結構的新損失項，用于困難樣本挖掘。GraphMixup [18]、G-Mixup [19] 和iGraphMix [20] 在2022年和2024年通過顯著性信息獲得混合圖樣本，以提高模型的分類能力和魯棒性。對于語音，BC [21] 和Contrastive-mixup [22] 通過線性插值直接混合語音數據。

總體而言，與已發表的三篇關于Mixup的綜述[23]、[24]和[25]相比，我們的貢獻包括：

• 我們提供了及時的文獻回顧，并使用SL作為示例，提出了兩種不同的Mixup改進策略（樣本和標簽）的綜合框架。這兩種策略可以對應不同的訓練范式和數據模態。

• 我們仔細回顧并討論了各種Mixup方法的技術細節，如靜態線性、顯著性和基于注意力的方式，以便研究人員能夠更好地了解所涉及的方法，進而獲得更深入的理解和洞見。

• 我們對Mixup方法在下游任務中的應用進行了系統性的綜述，提出了技術挑戰，并進一步展示了它們在視覺任務之外的廣泛適用性，如音頻、語音、圖形、生物學等領域。

• 我們進一步將Mixup方法總結為一種可訓練的范式，相比于其他綜述中將其作為數據增強工具和方法的處理方式，我們呼吁研究人員貢獻一個統一的Mixup框架，以解決多種任務，而不是離散的任務特定修改。

Mixup框架模塊 在本小節中，我們將詳細說明Mixup方法流程中的各個模塊功能，如圖2所示。

• 初始化：在進行Mixup之前，一些方法會選擇mini-batch中的原始樣本來篩選適合混合的樣本。例如，Co-Mix [26] 在mini-batch中選擇適合的樣本，以最大化所獲得的混合樣本的多樣性。除了篩選樣本外，一些基于顯著性的方式利用預訓練模型定位并獲取樣本的特征圖。最后，各種方法從Beta分布中獲取Mixup比例λ。

• 樣本Mixup策略：在監督學習中，我們將策略分為9類，詳細信息展示在圖A1中。靜態線性方法使用λ基于插值線性混合兩個或多個樣本。基于特征的方法使用由fθ(?)f_θ(·)fθ(?)獲得的原始樣本特征圖，并以插值線性的方式進行混合。切割方法通過不同方式（如切割、調整大小或堆疊）混合樣本，混合比例λ來自掩碼區域。K樣本Mixup方法使用兩個以上的樣本進行混合。隨機策略方法結合了多種不同的數據增強方法和一些手工制作的Mixup方法，策略的選擇由每種方法的權重因子決定。基于風格的混合方法通過額外的風格提取器從樣本的風格和內容中進行混合。顯著性方法使用樣本特征圖來定位顯著性信息，并獲得最大特征混合樣本。基于注意力的方法類似于顯著性方法，利用注意力得分而非顯著圖。生成樣本的方法使用生成模型，如基于GAN的模型[27]和基于擴散的模型[28]生成混合樣本。

• 標簽Mixup策略：在監督學習中，我們將策略分為8類，并在圖A1中展示了詳細內容。校準優化方法使用ECE指標對混合樣本進行排序，以提高分類性能和模型校準。基于區域的方法使用掩碼區域重新定義混合比例λ。損失對象方法重新定義新的Mixup分類損失或提出新的損失作為正則化方法。隨機策略方法將其他增強方法與Mixup方法結合或為Mixup提出新的訓練策略。混合比例優化方法使用可學習的參數作為λ，通過不同的混合樣本獲得可靠的混合比例。生成標簽方法通過混合樣本生成混合標簽，而不是使用one-hot標簽。注意力得分方法使用原始樣本的注意力圖來獲得比例，或者使用混合樣本的注意力圖通過每個樣本的得分計算混合比例。顯著性Token方法使用每個原始樣本的顯著圖并將其劃分為tokens，通過tokens計算混合比例。

• 采樣：一些方法僅專注于樣本策略，以提高模型的性能和能力。它們采用其他策略來固定比例λ或標簽，一些方法計算掩碼上的所有像素并固定λ，而另一些方法為混合樣本設置權重因子。

• 通道Mixup策略：與樣本或標簽不同，通道具有大量高級特征。Manifold Mixup [3] 通過插值線性獲得混合樣本，Catch up-Mix [29] 通過選擇一些特征圖進一步提高濾波器能力，獲得混合樣本。

Mixup方法的主要步驟

如圖2頂部所示，Mixup方法遵循以下步驟：

1. 從訓練數據集中加載mini-batch原始樣本；
2. 對于一些下游任務，包括選擇原始樣本和保留可靠樣本，一些基于顯著性或注意力的方法通過加載預訓練模型獲得特征區域或tokens。然后，定義從Beta分布或均勻分布采樣的混合比例λ；
3. 初始化后，原始樣本通過樣本Mixup策略與其他樣本混合。我們在3.1小節中展示了這些策略；
4. 當生成混合樣本x^\hat{x}x^ 后，有兩種選擇：一種是采樣，一些方法通過掩碼M的總像素更新混合比例，一些方法選擇混合樣本以保留更多的多樣性或具有挑戰性的樣本，另一些方法重新定義混合比例。另一種是標簽Mixup策略，我們在3.2小節中展示了這些策略并進一步挖掘標簽y^\hat{y}y^；
5. 最后一步是通道Mixup策略，混合樣本x^\hat{x}x^ 通過網絡編碼并映射到高維潛在空間，一些方法相互插值或選擇特征圖用于高維特征z^\hat{z}z^。然后繼續對特征向量進行編碼以執行不同的任務，并根據不同的損失函數優化網絡。

結論

在本綜述中，我們將Mixup方法重新表述為一個統一的框架，并總結了這些方法在2018年至2024年間在各種任務中的技術細節和數據模態。此外，我們將Mixup分為兩大類：樣本Mixup策略和標簽Mixup策略，這兩類可以涵蓋Mixup的不同改進版本，并在圖A1和圖A2中總結了本綜述中的所有Mixup方法。我們還總結了Mixup方法中經常使用的各種數據集類型，以及在常用數據集上基于主流模型進行圖像分類任務的主流Mixup方法的分類結果，顯示在表A2、表A3和表A4中。最后，我們討論了現有問題和未來有價值的研究方向，旨在為研究人員提供該領域中的一些前沿想法和思路。

摘要. 自動疾病診斷在臨床實踐中變得越來越有價值。大型語言模型（LLMs）的出現推動了人工智能領域的范式轉變，越來越多的證據支持LLMs在診斷任務中的有效性。盡管該領域受到越來越多的關注，但許多關鍵的研究問題仍未得到充分探索。例如，哪些疾病和LLM技術已被用于診斷任務的研究？如何為臨床決策選擇合適的LLM技術和評估方法？為解答這些問題，我們對基于LLM的疾病診斷方法進行了全面分析。本次范圍綜述審查了現有研究中報告的疾病類型、相關器官系統、臨床數據、LLM技術和評估方法。此外，我們為數據預處理、選擇適當的LLM技術和診斷任務的評估策略提供了指南。我們還評估了當前研究的局限性，并劃定了該研究領域的挑戰與未來方向。總之，我們的綜述為基于LLM的疾病診斷勾勒了藍圖，幫助簡化并指導未來的研究工作。

引言

自動疾病診斷通過將臨床數據輸入算法，分析數據模式并生成診斷結果，幾乎無需或完全不需要人工干預。其在臨床場景中的重要性是多方面的。首先，它提高了診斷的準確性，支持醫生的臨床決策，并通過提供更多高質量的診斷服務，解決了醫療資源獲取不平等的問題。其次，它提高了診斷效率，尤其是在人口老齡化和臨床醫生短缺的情況下，診斷的復雜性即便對經驗豐富的醫生來說也需要花費大量時間。最后，它通過在線診斷服務為患者提供了更大的便利，促進了早期診斷并減少了傳統臨床就診所帶來的延誤。 人工智能的進步推動了自動診斷系統的發展，經歷了兩個階段。最初，采用支持向量機（SVM）和決策樹等機器學習技術進行疾病分類1,2，通常包括四個步驟：數據處理、特征提取、模型優化和疾病預測。隨著數據集規模的擴大和計算能力的提升，深度學習方法后來在診斷任務中占據主導地位3,4。這些方法利用深度神經網絡（DNN），包括卷積神經網絡（CNN）5、循環神經網絡（RNN）6和生成對抗網絡（GAN）7，實現了端到端的特征提取和模型訓練。例如，具有34層的卷積神經網絡在心律失常診斷中達到了心臟病專家級別的表現8。然而，這些模型需要大量標注數據進行訓練，且通常針對特定任務，限制了它們在其他任務中的適應性5,8。 近年來，人工智能的范式從傳統的深度學習轉向了大型語言模型（LLM）的興起。與監督學習不同，LLM如生成式預訓練轉換器（GPT）和LLaMA9，是通過自監督學習在大量未標注數據上預訓練的生成模型。這些模型通常包含數十億個參數，擅長處理語言，并能夠適應多種任務。迄今為止，LLM在臨床場景中展示了卓越的性能，包括問答10、信息檢索11和臨床報告生成12,13。

最近，越來越多的研究驗證了LLM在診斷任務中的有效性。例如，PathChat14，一個經過數十萬條指令微調的視覺語言通用LLM，在人類病理學中取得了最先進的性能。Med-MLLM13，一個在廣泛的醫學數據（包括胸部X光片、CT掃描和臨床筆記）上預訓練和微調的多模態LLM，在COVID-19診斷中表現出了顯著的準確性。此外，Kim等人15使用GPT-4結合提示工程，發現它在識別強迫癥方面超越了心理健康專家。 盡管該研究領域備受關注，但許多關鍵問題仍未得到充分探索。例如，哪些疾病和LLM技術已被用于診斷任務？研究人員如何利用LLM分析各種類型的醫學數據進行疾病診斷？哪些評估方法適合評估模型性能？盡管已有大量關于LLM在醫學中應用的綜述論文16,17,18,19,20，它們通常提供了對各種臨床應用的廣泛概述，但并未特別強調疾病診斷。例如，Pressman等人21提供了LLM在臨床中的潛在應用的綜合總結，包括術前咨詢、治療、術后管理、出院和患者教育。然而，這些調查并未涉及LLM在疾病診斷中的細微差別和挑戰，未能回答上述問題，凸顯了研究中的一個關鍵空白。 本綜述的主要目的是對LLM在疾病診斷中的應用進行全面分析。我們審查了現有研究中涉及的各種疾病類型、相關器官系統、臨床數據、LLM技術和評估方法。此外，我們為數據預處理、選擇適當的LLM技術和采用合適的評估策略提供了指南。我們還分析了當前研究的局限性，全面呈現了該領域的挑戰和未來方向。總之，本綜述為基于LLM的疾病診斷勾勒了藍圖，并幫助啟發和簡化未來的研究工作。

研究范圍概述

本節概述了本研究中涉及的疾病、臨床數據和LLM。圖2展示了疾病相關的器官系統、臨床數據、所研究的LLM數據模式和相關LLM技術。值得注意的是，LLM涵蓋了多種數據模式，包括文本、圖像、視頻、音頻、表格數據和時間序列。圖3展示了隨時間變化的出版趨勢以及本綜述中數據隱私和評估方法的統計。表1總結了用于疾病診斷的主流LLM技術分類，而表2則展示了常用的評估指標。

摘要——目前，大多數工業物聯網（IIoT）應用仍然依賴于基于卷積神經網絡（CNN）的神經網絡。盡管基于Transformer的大模型（LMs），包括語言、視覺和多模態模型，已經在AI生成內容（AIGC）中展示了令人印象深刻的能力，但它們在工業領域（如檢測、規劃和控制）中的應用仍然相對有限。在工業環境中部署預訓練的大模型往往面臨穩定性與可塑性之間的挑戰，這主要是由于任務的復雜性、數據的多樣性以及用戶需求的動態性。為了應對這些挑戰，預訓練與微調策略結合持續學習已被證明是一種有效的解決方案，使模型能夠適應動態需求，同時不斷優化其推理和決策能力。本文綜述了大模型在工業物聯網增強的通用工業智能（GII）中的集成，重點關注兩個關鍵領域：大模型賦能GII和GII環境下的大模型。前者側重于利用大模型為工業應用中的挑戰提供優化解決方案，而后者則研究在涉及工業設備、邊緣計算和云計算的協同場景中，持續優化大模型的學習和推理能力。本文為GII的未來發展提供了洞見，旨在建立一個全面的理論框架和研究方向，從而推動GII向更加通用和適應性強的未來發展。 關鍵詞——通用工業智能、大語言模型、持續學習、工業物聯網、邊緣計算。

工業5.0將網絡-物理-社會元素集成到制造業中，強調數字與物理系統的交互以及人機協作，通過互聯網有效地連接設備、物體和人[1]。隨著物聯網（IIoT）的快速發展[2]-[4]、通信技術[5], [6]、AI生成內容（AIGC）[7]、機器人和數字孿生技術[8]-[10]，現代工業系統變得越來越復雜。這些系統不僅生成高頻的單模態數據，還包括文本、圖像、視頻、代碼和音頻等多模態數據類型。工業大數據可以用于創建數字化制造工作流程和工業流程，極大地推動了工業5.0和網絡-物理-社會系統中生產力、效率和效能的提升。 如圖1所示，數據集和模型構成了GII生態系統的基礎要素，推動了更高層次算法和應用的快速發展。這些應用包括智能控制系統、預測性維護[11]、故障診斷[12], [13]和異常檢測[14]，這些都高度依賴于對IIoT數據的提取和分析。GII的成功特別依賴于其從這些IIoT數據集中高效學習和提取有價值特征的能力。基于Transformer的大模型（LMs），例如大語言模型（LLMs）[16]–[18]、視覺模型[19], [20]、時間序列模型[21]以及多模態模型[22], [23]，由于其獨特優勢，受到廣泛關注。通過在大規模數據集上進行預訓練，這些擁有數十億到數萬億參數的模型積累了廣泛的知識，極大地推動了數據處理的自動化和多樣化，同時減少了對人類專業知識的依賴。

在工業領域，大模型的精度和可擴展性使其在提高工業流程的準確性方面非常有效。然而，在工業環境中部署預訓練大模型時，需要根據具體任務架構、動態數據分布和用戶偏好進行謹慎的適配。盡管大模型在多任務泛化、小樣本學習和推理方面具有優勢，但在這些環境中平衡穩定性和適應性仍然是一個顯著挑戰。受到大模型在自然語言處理（NLP）中成功的啟發，工業界越來越多地探索其在GII中的潛力。一種方法是從頭構建行業特定的基礎模型[24]，但特定領域數據規模的限制通常阻礙了涌現能力的發展。另一種方法是通過大數據集上的預訓練，然后進行特定任務的微調，這已顯示出在構建穩健的工業模型方面的巨大潛力，顯著提高了各類任務的性能。這種方法有效地應對了特定領域數據匱乏的挑戰，同時加速了工業應用中先進能力的發展。

為工業任務調整大模型是一個重要的研究方向[25]。這些模型在跨任務泛化、零樣本/小樣本學習和推理能力方面的優勢，為解決知識遷移、數據稀缺性和解釋性問題提供了新的途徑。 ****持續大模型（CLMs）****在維持和發展這些工業模型的能力方面發揮了關鍵作用。CLMs在大規模數據集上進行預訓練，并由Transformer架構驅動，設計用于持續學習和適應，確保工業大模型在滿足GII不斷變化的需求時仍然保持相關性和有效性。

A. 本綜述的目標

本文旨在建立一個全面的視角，并對IIoT增強的GII進行深入分析。它提出了將GII分為兩個主要類別的概念：

• 通用工業智能的大模型（LMs for GII）：該方向重點利用大模型的高級數據處理和分析能力來解決工業應用中固有的優化問題。具體來說，LMs通過其處理實時多模態IIoT數據、執行復雜特征提取并確保精確的模式識別和結果驗證的能力，提升了IIoT驅動的工業系統的智能化和運營效率，最終提高了不同工業環境中的測量精度和系統性能。
• 通用工業智能上的大模型（LMs on GII）：該視角探討了工業應用如何通過持續模型操作，在協同的IIoT設備-邊緣-云環境中擴展和優化大模型的能力。通過采用持續學習（CL）和在線學習策略，模型可以適應新數據和環境變化，而無需昂貴的再訓練。這種方法節省了計算資源，最小化了延遲，并高效處理了數據分布變化和性能退化，確保了動態工業場景中的穩健模型性能。

本文通過一個示意圖（圖2）進一步明確了這些類別的引入，幫助闡明了兩種方法之間的結構性差異和操作機制。

B. 本綜述的獨特特征

近年來，持續學習（CL）作為一個研究課題獲得了顯著關注，許多研究探討了其在設備健康管理[26]、機器人[27]和流數據[28]等領域的應用。在大模型的背景下，由于這些模型的規模巨大，頻繁的再訓練成本高昂，因此CL已被認為是至關重要的[29]。盡管CL的文獻廣泛，但我們的綜述獨特地關注了CL在IIoT增強的工業系統中的大模型的持續適應性——這是現有文獻中未被充分覆蓋的領域。本綜述首次為大模型在四個不同的IIoT工業場景中應用的CL方法提供了全面而系統的回顧。

如表I所示，本文通過以下幾個關鍵貢獻來區分自身：

• 新穎的分類體系：我們引入了一個新的GII理論框架。通過將大模型的應用分為兩個維度——“LMs for GII”和“LMs on GII”，本文不僅探討了如何利用大模型優化工業應用，還研究了這些應用如何反過來優化模型本身。這種雙向交互視角顯著豐富了現有文獻。

• 跨領域多模態集成：與大多數僅專注于特定類型大模型（如語言模型或視覺模型）的現有研究不同，本綜述涵蓋了大語言模型（LLMs）、視覺Transformer、多模態模型和時間序列模型。這種跨模態集成增強了復雜儀器和測量系統的設計、開發和評估，這些系統用于信號的生成、獲取、調理和處理。通過利用不同模型的獨特優勢，它為推進測量科學及其應用提供了更全面和深入的視角，從而更有效地應對復雜的工業挑戰。

• 持續學習的實際應用：本文強調了持續學習策略在IIoT增強的工業系統，特別是邊緣計算和云計算協同環境中的實際應用。這個重點確保了模型不僅能適應新數據和變化的條件，還能資源高效。通過減少計算需求和訓練成本，我們的方法解決了工業應用中的關鍵約束。

摘要—偽裝目標檢測（Camouflaged Object Detection, COD）指的是識別和分割那些與周圍環境無縫融合的目標的任務，這對計算機視覺系統構成了重大挑戰。近年來，由于其在監控、野生動物保護、自主系統等領域的潛在應用，COD引起了廣泛關注。盡管已有一些關于COD的綜述存在，但它們通常在所覆蓋的論文數量和范圍上存在局限性，特別是自2023年中期以來該領域的快速進展。為彌補這一空缺，我們呈現了迄今為止最全面的COD綜述，涵蓋了該領域的理論框架和實際貢獻。本文從傳統方法和深度學習方法的角度，探討了四個領域內的各種COD方法，包括圖像級別和視頻級別的解決方案。我們深入研究了COD與其他偽裝場景方法之間的關聯，從而為后續分析奠定理論基礎。此外，我們還探討了之前研究未充分涉及的新任務，如基于引用的COD和協作式COD。除了目標級別的檢測外，我們還總結了實例級別任務的擴展方法，包括偽裝實例分割、計數和排序。此外，我們概述了COD任務中常用的基準測試和評估指標，對圖像和視頻領域基于深度學習的技術進行了全面評估，考慮了定性和定量的表現。最后，我們討論了當前COD模型的局限性，并提出了9個未來研究的有前景方向，重點解決固有挑戰并探索新的、有意義的技術。這一全面的審查旨在加深對COD模型及其在偽裝場景中的相關方法的理解。對于感興趣的讀者，可以在//github.com/ChunmingHe/awesome-concealed-object-segmentation找到一份精心整理的COD相關技術、數據集和其他資源的列表。關鍵詞—偽裝目標檢測、偽裝場景理解、深度學習、人工智能

1 引言

目標檢測是計****算機視覺中的一項基礎任務，涉及識別和定位圖像或視頻中的目標。它包含多個細分領域：通用目標檢測（GOD）[1]–[4]、顯著目標檢測（SOD）[5]–[7]和偽裝目標檢測（COD）[8]–[10]。GOD的目標是檢測一般對象，而SOD識別那些從背景中突顯出來的顯著對象。相比之下，COD針對的是那些與周圍環境融合在一起的目標，這使得它成為一項極具挑戰性的任務。圖1展示了GOD、SOD和COD任務中目標狗與背景的關系，這些圖像來自經典數據集[11]–[13]。近年來，COD因其在促進視覺感知的細微差別識別方面的優勢，以及在實際生活應用中廣泛的價值，如工業中的隱蔽缺陷檢測[14]、農業中的害蟲監測[15]、[16]、醫學診斷中的病灶分割[17]以及藝術領域，如娛樂藝術[18]和照片真實感融合[19]，而獲得了越來越多的關注和快速發展。然而，與GOD和SOD不同，COD涉及檢測那些被設計成難以察覺的目標，如圖1右側的斑點狗因與周圍環境偽裝在一起而難以檢測到，這需要更為復雜的檢測策略。COD可進一步分為圖像和視頻任務[20]、[21]。普通的COD，即圖像級別COD，用于檢測靜態圖像中的偽裝目標，而視頻級別COD，稱為VCOD，則用于檢測視頻序列中的這些目標。后者由于時間連續性和動態變化的引入而增加了復雜性，要求模型能夠有效地提取空間和時間特征。

傳統的COD和VCOD方法，包括紋理[22]、強度[23]、顏色[24]、運動[25]、光流[26]和多模態分析[27]，在特定場景中展示了它們的優勢，但也表現出明顯的缺陷。這些依賴于手工設計操作符的方法在特征提取能力上有限，因此在處理復雜背景和變化的目標外觀時，準確性和魯棒性受到了限制。相比之下，基于深度學習的COD方法，如卷積神經網絡（CNN）、變換器（Transformer）和擴散模型（Diffusion Model），通過自動學習豐富的特征表示，提供了顯著優勢[8]、[10]。此外，這些方法采用了多種策略來應對這一挑戰性任務，例如，多尺度特征聚合[28]–[32]、仿生機制模擬[13]、[20]、[33]–[37]、多源信息融合[10]、[15]、[38]–[40]、多任務學習[9]、[41]–[44]、聯合SOD[40]、[45]–[47]以及新任務設定[48]–[52]。盡管這些方法具有優勢，但也面臨難以克服的挑戰，包括高計算需求[53]和對大量標注、干凈且成對數據集的需求[29]。已有幾篇關于COD的綜述文章，其中三篇開創性的工作[54]–[56]為該領域提供了寶貴的概述。然而，這些綜述由于涵蓋的范圍有限和涉及的論文數量不足而存在局限性。例如，這些綜述中討論的大多數方法來自2023年上半年之前，導致在歷史深度和領域廣度上存在不足。如圖2所示，COD領域在2023年發展迅速。為彌補這些空白，我們提出了一篇更為全面的綜述，涵蓋了圖像和視頻領域中的傳統和深度學習COD方法，并基準測試了這些領域中的深度學習模型。此外，據我們所知，這篇綜述是首篇深入探索如基于引用的COD[49]和協作式COD[51]等新任務的綜述。我們還對常用的COD數據集進行了更廣泛的回顧，并全面覆蓋了最新的進展、挑戰和未來趨勢。本文的動機源于COD的重要性以及現有綜述的不足。我們的綜述旨在對COD進行更為深入和詳細的探討，填補當前文獻中的空白，并強調最近的發展。我們系統地分類和分析了現有的前沿技術，識別關鍵挑戰，并提出未來研究方向，以推動該領域的發展。我們的貢獻總結如下：

• 我們對現有的COD方法和偽裝場景理解（CSU）相關任務，以及常用的數據集和評估指標進行了全面的綜述。據我們所知，這項工作代表了迄今為止最廣泛的調查，涵蓋了大約180篇CSU相關的前沿研究。

• 我們系統地基準測試了基于深度特征的40個代表性圖像級模型和8個代表性視頻級模型，使用6個特征性數據集和6個典型評估指標，并對它們進行了定量和定性分析。

• 我們系統地識別了現有COD方法的局限性，并提出了未來研究的潛在方向。通過揭示這些挑戰和機會，我們的工作旨在指導和激發進一步的研究，以推進COD技術的前沿發展。

• 我們創建了一個存儲COD方法、數據集和相關資源的庫，并將持續更新以確保最新信息的可獲取性。 我們希望這篇COD綜述不僅能加深對該領域的理解，還能在計算機視覺社區中激發更大的興趣，促進相關領域的進一步研究。注意：在制定我們的搜索策略時，我們對包括DBLP、Google Scholar和ArXiv Sanity Preserver在內的多種數據庫進行了深入調查。我們的重點特別放在可信來源上，如TPAMI和IJCV，以及CVPR、ICCV和ECCV等著名會議。我們優先考慮了那些提供官方代碼以增強可重復性的研究，以及那些引用率高且在Github上獲得較多星標的研究，這些都表明它們在學術界得到了顯著認可和采用。在初步篩選之后，我們的文獻選擇過程涉及對每篇論文的新穎性、貢獻和重要性的嚴格評估，并評估其在該領域中作為開創性工作的地位。盡管我們承認可能遺漏了一些值得注意的論文，但我們的目標是呈現對最具影響力和影響力的研究的全面概述，推動研究進展并提出未來的潛在趨勢和方向。