亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要：

人工智能（AI）正在重塑科學發現，其角色正從專門的計算工具演化為自主的科研伙伴。我們將**智能體科學（Agentic Science）**定位為“AI for Science”范式中的關鍵階段，在這一階段，AI 系統從部分輔助走向全面的科學自主性。借助大語言模型（LLMs）、多模態系統以及一體化研究平臺，智能體化 AI 展現出在假設生成、實驗設計、執行、分析與迭代改進等方面的能力——這些行為曾被認為是人類獨有的。本綜述從生命科學、化學、材料和物理等領域出發，對自主科學發現進行了面向學科的系統性回顧，綜合各學科的研究進展與突破。我們通過一個綜合框架統一了此前分散的三類視角——過程導向、自主性導向和機制導向——并將其與基礎能力、核心過程及領域特定實現聯系起來。在該框架的基礎上，我們：(i) 追溯 AI for Science 的演進，(ii) 識別支撐科學自主性的五大核心能力，(iii) 將科學發現建模為動態的四階段工作流，(iv) 回顧其在生命科學、化學、材料科學和物理學中的應用，(v) 綜合關鍵挑戰與未來機遇。本研究確立了一個面向學科的自主科學發現綜合視角，并將智能體科學定位為推動 AI 驅動科研進步的結構化范式。 關鍵詞： 智能體科學，自主科學發現，自然科學，AI for Science，智能體化 AI，大語言模型

1. 引言

科學發現正經歷著一場由人工智能（AI）快速演進所驅動的變革性轉變，AI 的角色正在從專門化的工具轉向科研合作者。這一進展標志著“AI for Science”范式中的關鍵階段，即 AI 系統已從充當面向特定任務的計算“神諭”【121, 306, 339, 42, 87, 281, 351】逐步走向智能體科學（Agentic Science）的興起（見圖 1）【229, 220, 81, 274, 157】。智能體科學指的是“AI for Science”演化中的特定階段——主要對應圖 1 中的第 3 級（完全智能體化發現），其前身是第 2 級（部分智能體化發現）。在這一階段，AI 作為自主科學智能體，能夠獨立提出假設、設計并執行實驗、解釋結果，并以更少的人類依賴性迭代完善理論【229, 22】。這種進展得益于諸如 Intern-Discovery 這樣的綜合平臺（其提供了對多樣化 AI 智能體和數據集的訪問），以及 Intern-S1 等展現出深度科學推理能力的多模態模型。 這一轉變受到基礎模型（尤其是大語言模型，LLMs）【82, 256, 351】的最新突破所推動。LLMs 在自然語言理解、復雜推理和工具使用方面提供了前所未有的能力【245, 348, 323, 338, 337】，從而催生出能夠超越靜態學習流程的 AI 智能體。這類智能體不再僅是被動的模型，而是作為動態的、目標驅動的實體，能夠自主探索科學方法【311, 89, 178, 358】。從假設生成【307, 209】，到自主實驗【22, 317】，再到合成數據集的構建【150】，這些智能體展現出曾被認為僅屬于人類的涌現行為。 與現有綜述的比較。 盡管該領域發展迅速，但關于如何理解與設計日益自主化的科學系統，目前仍缺乏統一的框架。現有綜述大體可分為三類互補視角。過程導向的綜述試圖將 LLM 的能力映射到經典的 與現有綜述的比較。 盡管研究進展迅速，但關于如何理解和設計日益自主的科學系統，仍缺乏統一框架。現有綜述可沿三條互補軸線加以歸類：過程導向的視角將 LLM 的能力映射到經典研究循環【172, 352, 39】；自主性導向的研究依據系統的主動性與責任劃分等級【346, 293】；機制導向的分析則剖析支撐智能體行為的架構基元及其演化角色【220, 331, 81, 274】。盡管這些工作奠定了重要基礎，但仍然碎片化——往往將工作流程、自主性分級或體系結構彼此割裂開來單獨考察。 我們的貢獻。 有別于既有綜述分別從過程、自主性或架構單點切入，本文通過圖 2 所示的綜合框架對上述視角進行統一與拓展，將自主科學發現中的基礎能力—核心過程—領域實現貫通起來。我們圍繞生命科學、化學、材料與物理四大領域，給出面向學科的自主科學發現綜述，系統綜合各學科的研究進展與代表性成果。該統一視角將智能體科學從一個抽象階段提升為貫穿“能力—過程—應用”的結構化研究范式。我們的具體貢獻如下： 1. 繪制 AI for Science 的演進圖譜。 我們追溯了從“計算神諭”到“自主科研伙伴”的演進，形式化地將智能體科學界定為 AI 系統展現自主性、目標驅動推理與迭代學習的階段。 1. 科學智能體的“機理解剖”：五大核心能力。 我們識別并分析科學智能體所需的五項基礎能力：(i) 推理與規劃，(ii) 工具整合，(iii) 記憶機制，(iv) 多智能體協作，以及 (v) 優化與進化。針對每一項能力，我們回顧最前沿的實現（如【169, 25, 189, 32】）與領域特定挑戰。 1. 智能體科學的動態工作流：四個核心階段。 我們將科學發現建模為由智能體驅動的動態四階段工作流：(i) 觀察與假設生成，(ii) 實驗規劃與執行，(iii) 數據與結果分析，(iv) 綜合、驗證與進化。我們強調，智能體可以靈活、動態地組合這些階段以解決復雜科學問題【12, 22, 74, 73】。 1. 跨自然科學的系統綜述。 我們在自然科學四大領域（見圖 4：生命科學、化學、材料、物理）系統回顧智能體系統，覆蓋十余個細分方向，從藥物發現【317】到材料設計【113】，展示了智能體科學的廣泛適用性與領域特定創新。 1. 挑戰與未來機遇。 我們綜合該領域面臨的主要技術、倫理與哲學挑戰——包括可復現性、新發現的驗證與人—智能體協作——并提出研究路線圖，以引導穩健、可信且具影響力的科學智能體的未來發展。

通過上述綜合，我們旨在為智能體科學奠定概念與方法論基礎，引導后續研究走向能夠與人類探究共進化的 AI 系統設計，從而加速科學發現前沿的推進。

摘要—— 作為機器人學和具身智能的關鍵前沿，機器人操作需要精確的運動控制，以及在動態環境中對視覺與語義線索的綜合理解。傳統方法依賴預定義的任務規范和僵化的控制策略，往往難以在非結構化、全新場景下擴展或泛化。近年來，基于大規模視覺-語言模型（VLMs）的視覺-語言-動作（VLA）模型逐漸成為一種變革性的范式。這類模型利用大規模 VLMs 在開放世界泛化、層級任務規劃、知識增強推理以及多模態融合方面的能力，使機器人能夠理解高層指令、識別未知環境并執行復雜的操作任務。本綜述首次從系統化、面向分類法的角度，對用于機器人操作的大規模 VLM 驅動 VLA 模型進行全面回顧。我們首先明確界定大規模 VLM 驅動的 VLA 模型，并劃分出兩類核心體系結構范式：（1）單體式模型，涵蓋單系統與雙系統設計，二者在集成程度上有所差異；（2）分層式模型，顯式地通過可解釋的中間表示將規劃與執行解耦。在此基礎上，我們深入探討大規模 VLM 驅動的 VLA 模型：（1）其與強化學習、免訓練優化、人類視頻學習以及世界模型集成等前沿領域的結合；（2）其獨特特征的綜合，包括體系結構特點、操作優勢，以及支撐其發展的數據集和基準；（3）未來的研究方向，包括記憶機制、四維感知、高效適應、多智能體協作以及其他新興能力。本綜述整合了近期進展，旨在彌合現有分類法的不一致性，緩解研究碎片化，并通過系統性地整合大規模 VLM 與機器人操作交叉領域的研究，填補關鍵空白。我們提供了一個定期更新的項目主頁以記錄最新進展：//github.com/JiuTian-VL/Large VLM-based VLA for Robotic Manipulation。 關鍵詞—— 視覺-語言-動作模型，機器人操作，具身智能，大規模視覺-語言模型

1 引言

機器人操作（Robotic Manipulation）處于機器人學與具身人工智能交匯處的關鍵挑戰 [1]–[5]。其實現不僅需要精確的運動控制，還需要對復雜動態環境中的多樣化視覺與語義線索具備深刻理解。機器人操作在諸多領域展現出廣泛應用價值，包括先進制造、高效物流、精準醫療和多樣化的家庭服務 [6]–[8]。傳統的操作方法 [9]–[16] 主要依賴精心設計的控制策略和嚴格預定義的任務規范。然而，這些方法在非結構化的真實世界場景中往往表現不佳——尤其是在面對新穎物體、模糊的自然語言指令或此前未見的環境配置時，暴露出其在可擴展性與泛化能力方面的固有限制。 近年來，大規模視覺-語言模型（Vision-Language Models, VLMs）[17]–[25] 崛起為一種變革性范式。基于大規模網頁級圖文數據集的預訓練，大規模 VLM 展現出卓越的能力，能夠彌合視覺感知與自然語言理解之間的語義鴻溝。這種創新能力使 VLM 不僅能結合文本描述理解復雜視覺場景，還能超越單純的目標識別，形成整體的上下文理解。大規模 VLM 與機器人系統的結合催生了一類新模型：基于大規模 VLM 的視覺-語言-動作（Vision-Language-Action, VLA）模型 [26]–[32]。如圖 1 所示，這一新興范式展現出克服傳統機器人流水線根本局限的巨大潛力。它使機器人能夠理解高層次的人類指令、泛化至未知物體與場景、推理復雜的空間關系，并在動態、非結構化環境中執行復雜的操作任務。例如，一個 VLA 模型可以完成如下指令：“把紅色的杯子從筆記本電腦旁邊放到最上層的架子上”，這一任務需要視覺定位、空間推理與序列動作規劃的復雜融合。 在本研究中，基于對近期工作的廣泛回顧 [26]–[37] 及對該領域的深入理解 [38]–[43]，我們提出了一個一致性的定義：大規模 VLM 驅動的 VLA 模型是指能夠（1）利用大規模 VLM 理解視覺觀測和自然語言指令；并且（2）通過推理過程直接或間接地服務于機器人動作生成的模型。我們進一步將其劃分為兩大類（見圖 2 與圖 3）： * 單體式模型（Monolithic Models）（圖 3 左）：包括單系統與雙系統實現。

單系統模型 [26], [27], [44], [45] 在統一架構中集成了環境理解（包括視覺感知、語言理解與機器人狀態感知）與動作生成。 * 雙系統模型 [29]–[32] 則采用 VLM 作為場景解釋的骨干網絡，并由一個動作專家負責動作生成，二者通過潛在表示的傳播進行信息交互。 * 分層式模型（Hierarchical Models）（圖 3 右）[46]–[50] 明確將規劃與策略執行解耦。它們區別于雙系統的端到端方法，具有以下特征：

結構化的中間輸出：規劃模塊生成可解釋的表示（如關鍵點檢測、可供性圖、軌跡提案），隨后由策略模塊處理以生成可執行的動作。 1. 解耦的訓練范式：通過專門的損失函數或 API 驅動的交互，實現對層級模塊的獨立優化。

這種分類法凸顯了 VLA 模型開發中的關鍵設計維度，尤其是系統集成的粒度與認知分解的顯式程度，同時保持與現代表征學習范式的緊密聯系。 在上述定義與分類的框架下，我們的全面綜述揭示了新興 VLA 領域中的若干關鍵缺口，其整體組織結構如圖 2 所示。首先，該領域的術語與建模假設尚不一致，研究工作分散在機器人學、計算機視覺與自然語言處理等學科。其次，已有綜述往往僅聚焦于 VLMs [51]–[55] 或機器人操作 [2], [56]–[59]，缺乏對二者交叉所帶來的獨特挑戰與進展的綜合分析。因此，亟需一份系統性和原則性的綜述，以闡明大規模 VLM 驅動 VLA 模型的基礎，組織相關方法的空間，并勾勒該融合范式的未來方向。本綜述旨在填補這一空白。我們提供了結構化且深入的回顧，以全景視角推動學界更深刻的理解并激發未來的突破。

本文的主要貢獻總結如下： * 縱向綜述： 我們系統回顧了 VLM 的演化軌跡、操作學習的技術進展，以及大規模 VLM 驅動 VLA 范式的興起。同時，分析了單體式模型與分層式模型的發展，識別關鍵挑戰并展望未來方向。 * 橫向綜述： 我們提供了單體式與分層式模型更精細的比較性分類法，從結構與功能兩個維度展開分析。進一步探討了大規模 VLM 驅動 VLA 模型的前沿研究方向，強調其獨特特征與支撐發展的數據集。該綜述為理解該領域的發展與結構組織提供了概念性路線圖。

本文余下部分的組織結構如圖 2 所示：第二節介紹 VLM 演化與機器人操作基礎知識；第三節分析單體式模型，包括單系統與雙系統架構的優劣與權衡；第四節探討分層式模型，將其分為僅規劃器與規劃-策略框架，并進一步根據中間表示類型（子任務、關鍵點、程序等）細分；第五節討論其他前沿方法，包括基于強化學習的優化、免訓練方法、從人類視頻學習以及基于世界模型的方法；第六節分析大規模 VLM 驅動 VLA 模型的核心特征，涵蓋多模態融合、指令跟隨和多維泛化；第七節分類與分析相關數據集與基準，涵蓋模擬、真實世界與人類交互數據；第八節探討關鍵開放挑戰與未來研究方向；第九節給出結論。

摘要——近年來，視覺-語言預訓練（Vision-Language Pretraining）作為一項融合視覺與文本模態優勢的變革性技術，催生了強大的視覺-語言模型（VLMs）。依托于網絡規模的預訓練數據，這些模型展現出卓越的零樣本推理能力。然而，在面對特定領域或專業任務時，其性能常常出現顯著下降。為解決該問題，研究社區日益關注如何將 VLM 中蘊含的豐富知識遷移或泛化到多樣的下游應用中。 本文旨在全面梳理 VLM 泛化的研究設定、方法體系、評測基準與實驗結果。我們首先分析典型的 VLM 架構，并依據遷移模塊的不同，將現有文獻劃分為基于 Prompt（提示）、基于參數、以及基于特征的方法三大類。隨后，結合經典遷移學習（Transfer Learning, TL）設定，進一步總結與探討各類方法的差異與特點，提出 VLM 時代下遷移學習的新解讀。此外，本文還系統介紹了主流 VLM 泛化評測基準，并對各類方法在不同任務中的表現進行了詳盡對比。

隨著大規模通用預訓練的不斷演進，本文也探討了視覺-語言模型與最新多模態大語言模型（Multimodal Large Language Models, MLLMs，如 DeepSeek-VL）之間的關聯與差異。通過從“泛化”這一全新且實用的視角系統梳理視覺-語言研究的快速進展，本文有助于清晰描繪當前與未來多模態研究的整體格局。 關鍵詞——視覺-語言模型，遷移學習，提示調優，魯棒微調，領域泛化，測試時自適應，無監督領域適應，多模態大語言模型

1 引言

深度神經網絡已在眾多實際應用中取得顯著成果。以視覺模型為例，從 AlexNet【1】到 ResNet【2】再到 Vision Transformer【3】，模型規模與表示能力都得到了極大提升。然而，高效訓練這些大規模模型往往需要大量標注數據與巨大的計算資源。為了解決這一問題，“基礎模型”（foundation model）的概念應運而生——即在大規模數據集上預訓練通用模型，以便將其知識遷移到各種下游任務中【4】。例如，預訓練于 ImageNet【5】上的 ResNet 系列已成為圖像分類【2】、目標識別【6】等視覺任務的重要基石。 自然語言處理領域也經歷了類似的發展，從 Transformer【7】、BERT【8】到 GPT-2【9】與 GPT-3【10】，均在各自的單模態任務中取得卓越表現，但它們本質上缺乏對多模態信息的感知與推理能力。 如圖 1 所示，對比式語言-圖像預訓練（contrastive language-image pretraining）范式的出現【11】徹底重塑了視覺-語言學習格局。Radford 等人提出的 CLIP【11】模型利用 4 億網頁爬取的圖文對進行對比學習：將語義匹配的圖文拉近、不匹配的拉遠，從而實現了跨任務的強大零樣本泛化能力，覆蓋圖像分類【11】、目標檢測【12】、視頻檢索【13】等任務。后續研究通過擴大與去噪預訓練數據集【14】【15】【16】、探索多樣的預訓練策略【17】【18】、引入多語言數據【19】【20】【21】，進一步增強了 VLM 的能力。 盡管 VLM 在通用任務上表現出色，但其預訓練知識在特定領域的下游任務上泛化能力有限。若無合適的遷移方式，預訓練的 VLM 往往難以處理分布外（OOD）數據，如遙感圖像【22】或精細類別圖像【23】【24】。傳統的“預訓練-微調”范式仍適用，但在 VLM 中直接微調可能破壞其對齊的視覺-語言表示，導致性能下降【25】【26】【27】。 因此，如何以盡可能低的計算與標注成本將 VLM 中的知識優雅地泛化至下游任務，已成為研究熱點。考慮到 VLM 的多模態特性，研究者們嘗試將單模態領域成熟的遷移策略，如 Prompt Tuning【28】、Adapter 插件【29】、知識蒸餾【30】，擴展應用于 VLM【26】【31】【32】【33】。借助其龐大的通識知識，VLM 正逐步成為“任務無關型”求解器，在無監督領域適應（UDA）【34】【35】【36】、領域泛化（DG）【37】【38】【39】、測試時自適應（TTA）【40】【41】【42】等遷移學習場景中設立了新基線。 面對這種趨勢，我們提出了關鍵問題：在 VLM 時代，知識遷移有何不同？

為此，本文對 VLM 的泛化能力展開系統文獻綜述。

---

研究動機與貢獻

現有綜述多聚焦于 VLM 的預訓練階段，如模型結構、預訓練目標與數據集【43】【44】【45】。雖然部分工作提及了遷移學習【43】，但其覆蓋面有限，尤其缺乏對不同遷移設定之間差異的探討。本文是首個專注于 VLM 遷移與泛化能力 的系統綜述。我們以主流的雙分支架構（如 CLIP【11】）為基礎，識別并歸類遷移的關鍵模塊，具體如下： 1. Prompt-based 方法：僅調節文本提示嵌入以控制模型行為【31】【32】【40】； 1. Parameter-based 方法：有策略地更新預訓練參數【46】【47】【48】，或通過知識蒸餾引入新參數【33】【38】【39】； 1. Feature-based 方法：對提取到的特征進行后處理，如引入可學習模塊【26】【35】或構建免訓練緩存機制【27】【41】【49】。

我們結合遷移學習研究中的經典設定【4】【50】【51】，重新審視這些 VLM 方法，并分析其在不同遷移設定中的特性差異。隨后，我們系統匯總了適用于各類遷移任務的主流基準數據集，并提供基于模型結構與方法設計的性能比較。

---

同時，本文還涵蓋了 VLM 與多模態大語言模型（MLLM）之間的融合。近年來，大語言模型（LLM）取得突破性進展【52】【53】【54】【55】，將對齊語言的視覺編碼器（如 CLIP）與 LLM 相連接，并以大規模多模態指令數據進行訓練，構建出視覺-語言大模型（MLLM）。這些模型在視頻理解、視覺問答、圖像字幕、分割與識別等任務中展現出強大的泛化能力【18】【56】【57】【58】。 作為另一類通用視覺-語言模型，本文對 MLLM 的基本構建框架、模型類型、使用的預訓練數據與目標，以及其在多任務中的表現進行全面總結，并呈現當前該領域的研究圖譜（如圖 3 所示）。

---

綜述貢獻總結如下：

系統回顧 VLM 泛化研究進展：涵蓋無監督領域適應、領域泛化、小樣本適應、測試時自適應等遷移學習任務；據我們所知，這是首個專注于 VLM 泛化的綜述工作。 1. 提出三類關鍵遷移方法分類：Prompt-based、Parameter-based 與 Feature-based，并在各類遷移設定下深入分析其技術細節與適用場景。 1. 收集主流評測基準并對比方法性能：從泛化設定、模型結構與設計角度出發，提供公平、系統的性能評估。 1. 引入并分析 MLLM 的發展與代表模型：總結其結構、組成模塊、泛化能力、訓練數據與目標，為理解視覺-語言研究的前沿進展提供參考。 1. 提出當前挑戰與未來方向：識別現階段研究瓶頸，并展望可行的研究路徑與潛力。

---

文章結構如下：

第 2 節介紹 VLM 相關基礎知識及所涉及的遷移學習設定； * 第 3 節討論 Prompt-based 方法，分為訓練時提示（3.1）與測試時提示（3.2）； * 第 4 節介紹 Parameter-based 方法，包括參數微調（4.1）與知識蒸餾（4.2）； * 第 5 節探討 Feature-based 方法，包括可學習適配器（5.1）與免訓練緩存機制（5.2）； * 第 6 節總結主流基準與方法性能評估； * 第 7 節介紹現代 LLM 如何增強與泛化 VLM，構成 MLLM； * 第 8 節總結當前進展并討論未來的研究方向。

摘要——視頻超分辨率（Video Super-Resolution，簡稱 VSR）是計算機視覺低層次任務中的一個重要研究方向，其中深度學習技術發揮了關鍵作用。近年來，深度學習的快速發展及其在 VSR 領域中的廣泛應用，推動了相關方法與技術的蓬勃發展。然而，這些方法的使用方式往往缺乏充分解釋，其設計決策更多是基于定量性能的提升。考慮到 VSR 在多個領域中具有廣泛而深遠的潛在影響，有必要對 VSR 研究中所采用的關鍵要素和深度學習方法進行系統的分析。這樣的系統性分析有助于針對具體應用需求開發更合適的模型。 本文對基于深度學習的視頻超分辨率模型進行了全面綜述，詳細探討了模型的各個組成部分及其潛在影響。同時，我們總結了當前主流以及早期 VSR 模型中所采用的關鍵技術和組件。通過對相關方法的解析與系統分類，我們揭示了該領域的發展趨勢、實際需求與面臨的挑戰。作為首個專門針對基于深度學習的 VSR 模型的綜述性工作，本文還建立了一個多層次的分類體系，為當前及未來的 VSR 研究提供指導，推動 VSR 技術在多種實際應用中的發展與理解。

關鍵詞——視頻超分辨率，深度學習，上采樣，融合，綜述，下采樣，對齊，損失函數

一、引言

近年來，隨著視頻采集技術、傳輸網絡以及顯示設備的不斷進步，視頻類多媒體內容的使用量顯著增加。這些技術的發展促使用戶對更高質量視頻信號的需求不斷增長。視頻質量可以從兩個角度來定義：服務質量（Quality of Service，QoS）和體驗質量（Quality of Experience，QoE）。 從 QoS 的角度看，較高的視頻質量意味著更高的碼率、更大的空間分辨率和/或更高的時間分辨率（即每秒幀數更多）。而從 QoE 的角度看，較高的質量則是一種主觀感受，難以量化，因為它取決于用戶的觀感體驗，這種體驗因人而異。

已有研究表明，在視頻信號的時空維度上進行增強，通常能夠提高 QoS，從而進一步改善用戶的 QoE 感知體驗【1】。更高的分辨率不僅提升了視頻的視覺效果，也增強了整體用戶體驗。因此，越來越多的視頻超分辨率（Video Super-Resolution，VSR）模型被提出和開發【2】【3】。VSR 的目標是從給定的低分辨率（Low-Resolution，LR）視頻輸入中生成高分辨率（High-Resolution，HR）的視頻輸出，從而提升圖像質量。

我們可以假設高分辨率視頻經歷了如下操作后生成低分辨率視頻： 其中，LR 表示低分辨率視頻，其來源是將高分辨率視頻 HR 的每一幀與模糊核進行卷積處理，隨后再進行其他降采樣操作。 其中，LR 表示低分辨率視頻，是在將高分辨率視頻 HR 的每一幀與模糊核或三次插值核 kkk 進行卷積處理后，接著執行下采樣操作 ddd，并疊加噪聲 nsn_sns 所得到的結果。因而，從 LR 視頻中重建出 HR 視頻的超分辨任務，實質上是對模糊核、下采樣過程以及噪聲的估計過程，是一個典型的逆問題。正如公式（1）所示，VSR 是一個病態的逆問題，是計算機視覺低層任務中的一個尚未完全解決的研究方向。 VSR 在研究中通常被視為單圖像超分辨（Single-Image Super-Resolution，SISR）和多圖像超分辨（Multi-Image Super-Resolution，MISR）的擴展。然而，與 SISR 和 MISR 不同，VSR 面臨更大的挑戰，因為它需要對視頻序列中高度相關但時空對齊不一致的幀進行有效建模【4】【5】。若直接將傳統 SISR 或 MISR 的方法應用于視頻超分辨任務，往往難以捕捉視頻幀之間的時間依賴性【6】【7】。因此，近年來研究者轉而采用基于學習的方法，充分挖掘低分辨率視頻中的時空特征，將其還原為高分辨率視頻【8】–【13】。

在傳統方法中，通常采用反投影（Back-Projection）方法【14】或基于最小均方（Least Mean Squares, LMS）的卡爾曼濾波方法【15】來插值圖像或視頻幀中的像素。這些方法主要基于確定性函數，將 LR 輸入映射為 HR 輸出。然而，傳統方法的確定性本質限制了它們在不同視頻內容上的泛化能力，所求得的逆函數也無法充分刻畫從 HR 到 LR 的非線性變換過程。

相比之下，近年來基于深度學習的視頻超分辨模型因其具有隨機性和數據驅動的特點，受到了廣泛關注。這類模型不僅具有良好的泛化能力，還能學習復雜的非線性映射函數，將 LR 視頻有效還原為 HR 視頻。學習型的 VSR 方法通常包括特征提取、對齊、融合、重建和上采樣等關鍵步驟。在這類模型中，從精確對齊的幀中提取相關特征并進行融合，是整個重建過程的核心【13】【16】【17】。 本文將深入探討基于深度學習的視頻超分辨模型的各個組成部分。迄今為止，僅有一項研究在該方向上進行過綜述【18】，但該研究僅以對齊過程為核心，采用了單層分類體系，未能充分覆蓋 VSR 領域中的多樣性與復雜性。而事實上，VSR 中的多個子模塊具有極高的多樣性，導致模型的行為和性能結果難以解釋與歸因。

因此，本文旨在彌補這些空白，具體目標包括： * 提出一個新的多層次分類體系，并全面梳理各 VSR 組件中的方法與研究趨勢； * 深入評述深度學習在視頻超分辨任務中的應用方法； * 系統總結 VSR 相關文獻中的研究現狀、發展趨勢、典型應用和挑戰； * 增強 VSR 模型及其性能的可解釋性； * 為未來 VSR 的研究提供基于當前需求與研究空白的實踐指導。

摘要—時空數據在交通、氣象、能源等諸多現實世界領域中日益增長。時空深度學習模型旨在利用這類數據中的有用模式，支持預測、補全、異常檢測等任務。然而，傳統面向特定任務的一對一深度學習模型通常需要針對每個用例單獨訓練，導致計算和存儲成本顯著增加。為了解決這一問題，近年來出現了一對多的時空基礎模型，它們提供了一個統一的框架，能夠同時解決多種時空任務。這類基礎模型通過在時空數據中學習通用知識，或遷移預訓練語言模型的通用能力，取得了顯著成功。盡管已有綜述分別探討了時空數據和方法，但對基礎模型的設計、選擇、預訓練與適應過程尚缺乏系統性的審視。因此，時空基礎模型的整體流程仍不清晰。 為彌補這一空白，本文創新性地從流程視角出發，系統回顧了現有的時空基礎模型。我們首先介紹了不同類型的時空數據，隨后詳述了數據預處理與嵌入技術。在此基礎上，提出了一個新穎的數據屬性分類體系，根據數據來源與依賴關系對現有方法進行劃分，從而為研究者提供高效有效的模型設計與選擇參考。隨后，我們進一步闡述了原始模型的訓練目標以及遷移模型的適配策略。 總體而言，本文構建了一個清晰且結構化的流程框架，有助于理解時空基礎模型各核心要素之間的聯系，并為研究者快速入門提供指導。此外，我們還介紹了時空基礎模型領域中如多目標訓練等新興研究機遇，為研究人員和實踐者提供了寶貴的見解。

GitHub 倉庫：//github.com/LMissher/AwesomeSpatio-Temporal-Foundation-Models 關鍵詞—基礎模型，時空數據，預訓練，適應方法。

一、引言

時空數據正持續從交通、能源和氣象等多個現實世界領域中產生。這類數據天然地展現出隨時間演化的復雜時間特性以及跨區域的空間交互關系【1】。多種形式的時空數據（如軌跡數據、交通數據和視頻數據）在捕捉時空依賴關系方面面臨共通挑戰，需要專門的技術方法以有效提取其內在關聯。挖掘與分析這些時空關聯對于構建智能系統至關重要，使得現實應用能夠在規劃、推理、異常檢測等基礎任務中輔助決策。

近年來，隨著深度學習的發展，基于專用模型的一對一時空數據挖掘取得了顯著進展。這些方法主要依賴于順序建模和空間建模的神經網絡能力，如循環神經網絡（RNN）【2】、Transformer【3】、卷積神經網絡（CNN）【4】以及圖神經網絡（GNN）【5】。然而，面對多樣化的應用場景與任務類型，往往需要訓練大量任務專屬模型，帶來了巨大的計算資源消耗和存儲成本。 幸運的是，隨著自監督學習策略的提出以及“縮放定律”（scaling laws）【6】的發現，基礎模型（Foundation Models）在自然語言處理和計算機視覺領域被設計出來，可以通過高效的少樣本微調（few-shot）甚至無需訓練的零樣本提示（zero-shot prompting）來通用地解決多種任務【7】【8】。 在自然語言處理領域的基礎模型（如 ChatGPT）取得巨大成功之后，“一對多”的基礎模型理念被引入到時空領域，成為一條頗具前景的研究路徑。如圖1所示，時空基礎模型（Spatio-Temporal Foundation Models，STFMs）的目標是在單一的通用模型中學習通用的時空知識，從而應對多樣化的任務與應用，顯著降低對多個任務特定模型的依賴，減少訓練與存儲開銷。通過擴大時空數據的訓練規模，并利用通用的自監督學習目標來構建原始基礎模型，或遷移其他領域（如 NLP）的預訓練基礎模型所具備的通用知識構建遷移型基礎模型，現有的 STFMs 在多種任務中展現了優異效果，展現出統一框架推進該領域的巨大潛力。 盡管 STFMs 已取得明顯進展，但現有綜述仍面臨若干關鍵問題： 1. 數據與模型之間的聯系薄弱：如表 I 所示，盡管已有綜述對不同類型的時空數據進行了分類介紹，但往往忽視了數據對齊中的關鍵步驟（如嵌入技術），這使得時空數據如何有效對接基礎模型變得模糊。 1. 缺乏數據屬性視角：已有綜述大多采用粗粒度的 STFMs 分類方式（例如基于數據類型或深度學習方法），但未解釋為何相似方法被應用于具備共性的數據類型，忽略了從數據屬性出發進行模型選擇或設計的深入洞見。 1. 內容呈現零散：時空數據、基礎模型、訓練目標與遷移適應技術往往被孤立討論，導致無法系統理解在不同任務、數據集與實際場景中應選用哪些模型、目標與策略。

為解決上述問題，本文從“流程視角”出發，系統性地審視 STFMs 的整體開發與應用流程，從數據對齊與模型構想到訓練、適配再到實際應用，全面梳理工作流程。除了簡要介紹時空數據與可用數據集外，如圖2底部所示，我們詳細說明了數據預處理、嵌入技術及多種時空數據類型的輔助信息，從而完成 STFMs 流程中的第一階段：數據對齊。通過引入輔助信息與合適的預處理方式，可顯著提升數據質量，進而增強模型性能。此外，時空數據獨特的空間與時間依賴特性使其嵌入技術在與基礎模型的對接中扮演關鍵角色，是連接原始數據與模型輸入表示的重要橋梁。 STFM 流程的第二階段是基于多樣數據構建模型。為解決粗粒度分類帶來的混淆，我們提出了一種新穎的數據屬性分類體系（如圖2中部所示）。在該體系頂層，我們將 STFMs 分為兩類：原始模型與遷移模型，依據是否直接在原始時空數據上訓練，或是否由其他領域（如語言或圖像模型）遷移而來。此外，我們將原始模型按時間、空間、時空依賴進一步劃分；遷移模型則根據模態分為視覺類、語言類與多模態類。該分類體系基于數據來源與依賴關系進行細粒度建模，便于模型設計與選擇，并可擴展至其他數據類型。 STFM 流程的第三階段聚焦于原始模型的訓練目標與遷移模型的適配技術（如圖2頂部所示）。我們對這些方法進行深入分析，強調其在不同數據類型、任務或應用場景下的優勢與挑戰。 在流程的最后階段，我們總結 STFMs 在現實世界中的典型應用，如能源、金融、氣象、醫療、交通與公共服務等領域（圖1所示），展示其廣泛影響力。 通過逐步明晰的流程式解析，本文不僅理清了 STFMs 的核心組成要素，也揭示了它們之間的深層聯系，有助于模型的快速部署與高效落地。此外，表 I 顯示，現有綜述常常遺漏如關鍵數據類型、訓練目標和適配技術等核心內容，導致對 STFMs 的理解不夠全面。本文通過覆蓋最全面的關鍵要素，提供了一種更具整體視角的理解框架。 最后，我們還討論了 STFMs 當前所面臨的挑戰與未來發展機遇。

---

本文的主要貢獻總結如下：

全面且最新的綜述：本文提供了當前最系統的 STFMs 綜述，涵蓋數據類型、模型、訓練目標和適配技術等廣泛內容。 * 創新的數據屬性分類體系：我們提出了基于數據來源與依賴關系，從粗到細的 STFMs 分類方法，有助于高效模型設計與選擇。 * 首次基于流程視角的綜述：據我們所知，本文是首個從流程出發系統分析 STFMs 的綜述，有助于理解模型為何表現優越、如何構建。 * 未來研究方向的識別：我們總結了 STFMs 當前應用中的關鍵挑戰，并提出了未來研究的潛在機遇，激勵后續更先進模型的發展。

文章結構如下：第二節回顧時空數據的對齊過程；第三節探討原始基礎模型的設計與訓練目標；第四節深入分析遷移型基礎模型的選擇與適配技術；第五節介紹 STFMs 的典型應用場景；第六節識別新興研究機會與開放挑戰；第七節總結本文的關鍵內容。

 摘要—生成性人工智能（AI）通過使機器能夠以空前的復雜性創建和解釋視覺數據，迅速推動了計算機視覺領域的發展。這一變革建立在生成模型的基礎上，能夠生成逼真的圖像、視頻以及3D/4D內容。傳統上，生成模型主要關注視覺逼真度，而往往忽視了生成內容的物理合理性。這一差距限制了其在需要遵守現實世界物理法則的應用中的效果，如機器人技術、自動化系統和科學模擬。隨著生成性人工智能不斷融入物理現實和動態仿真，其作為“世界模擬器”的潛力不斷擴大——能夠模擬由物理法則主導的交互，架起虛擬與物理現實之間的橋梁。本綜述系統地回顧了這一新興領域——計算機視覺中的物理感知生成性AI，按其如何融入物理知識對方法進行了分類——無論是通過顯式仿真還是隱式學習。我們分析了關鍵范式，討論了評估協議，并指出了未來的研究方向。通過提供全面的概述，本綜述旨在幫助未來在視覺領域的物理基礎生成方面的發展。綜述中提到的論文匯總在

//github.com/BestJunYu/Awesome-Physics-aware-Generation

1 引言生成學習一直是現代計算機視覺的基礎支柱，解決了理解、合成和操作視覺數據中的關鍵挑戰。在過去的十年里，該領域見證了多種生成模型的快速發展，包括變分自編碼器（VAE）[1]、生成對抗網絡（GAN）[3]、擴散模型（DM）[4]、[5]、[6]、神經輻射場（NeRF）[7]、高斯濺射（GS）[8] 和視覺自回歸模型（VAR）[9]。這些模型不斷推動生成學習的邊界，利用越來越強大的架構來捕捉視覺數據的潛在分布。其目標是使機器能夠以類似人類的創造性和理解方式推理視覺世界，通過在未見過的場景中想象新的視覺內容實例。在這些進展中，擴散模型因其能夠生成高度逼真的輸出而成為特別值得注意的技術。通過通過學習到的去噪過程迭代地精煉隨機噪聲，擴散模型展現出卓越的魯棒性和多功能性，成為近期生成方法學的基石。生成模型的應用跨越了多種視覺內容的模態，包括具有語義理解的圖像生成、具有動態時間理解的視頻生成、具有增強空間理解的3D內容生成[10]、[11]、[12]以及具有更復雜和綜合理解的4D內容[13]、[14]、[15]、[16]、[17]、[18]、[19]。這些進展突顯了生成學習在日益復雜的視覺任務中的巨大潛力。在這些不同的視覺模態中，視頻生成最近在生成學習領域獲得了顯著關注，它為擴展大型生成模型處理更高維數據提供了一個更加具有挑戰性的試驗平臺。這一復雜性不僅源于單個幀的空間復雜性，還來自于跨序列所需的時間一致性。許多商業視頻生成模型已被開發并引起了廣泛的公眾關注，如OpenAI的Sora [20]、Google的Veo2 [21]、騰訊的Hunyuan [22]和快手的Kling [23]。視頻生成已在多種形式和設置中得到深入研究，從最基本的無條件生成[24]、[25]到圖像到視頻生成[26]、[27]、[28]、[29]、[30]、[31]、[32]、[33]、文本到視頻生成[24]、[25]、[26]、[29]、[30]、[30]、[34]、[35]、[36]、[37]、視頻到視頻生成[38]、[39]、以及視頻編輯或定制[40]、[41]、[42]、[43]。這些設置各自解決了獨特的挑戰，從保持時間連續性到結合來自文本或視覺輸入的語義引導。更重要的是，視頻在生成AI視覺的未來中占據了關鍵地位。互聯網上可用的大量視頻數據封裝了關于現實世界的豐富信息，使視頻成為生成AI可以學習建模復雜現實世界現象的媒介。在這個背景下，視頻可以被視為現實世界決策的“語言”，具有彌合數字和物理領域的潛力[44]。視頻生成有望提供一個統一的接口作為“世界模型”[45]，處理物理知識，類似于文本大語言模型（LLM）處理抽象知識的方式。這種模型可以促進大量下游任務的執行，包括自動駕駛、科學仿真、機器人[46]、[47]、[48]、[49]、[50]以及其他形式的具身智能。為了實現這一潛力，生成過程應能夠與人類或其他系統的外部控制進行交互。這種互動性促進了動態決策制定和基于互動優化結果的能力，催生了可以描述為生成交互環境的概念[44]、[51]、[52]、[53]。視頻生成已經與多種交互控制信號相結合，如運動向量或軌跡[54]、[55]、[56]、[57]、[58]、手部掩碼[59]、潛在動作[53]、[60]、機器人操作[47]、相機運動[61]、演示[62]和自然語言描述[63]、[64]、[65]。這些互動元素突顯了生成視頻模型的多功能性和適應性，為其演變為世界模型鋪平了道路。然而，從生成到穩健世界建模的過渡仍然存在一個關鍵差距：真實世界物理的忠實理解和復制能力[66]（見圖1）。當前的最先進模型主要針對像素空間中的視覺真實感進行優化，而非在實體或概念空間中的物理合理性。為了使生成模型能夠作為物理世界的模擬器，它們必須融入對物理法則的深刻理解，如動力學、因果關系和材料屬性。這種物理意識對于超越僅生成視覺上吸引人的輸出至關重要，以確保內容與物理世界的約束和行為一致。因此，我們提供本綜述，作為對現有文獻的及時而全面的回顧，旨在將物理感知嵌入生成模型。通過審視這些努力，我們希望突出至今所取得的進展，提供清晰的范式結構，并識別未來的潛在研究方向。綜述范圍：本綜述的范圍是關于增強生成輸出物理感知的計算機視覺生成模型。因此，我們不包括將物理原理作為先驗知識或歸納偏置融入模型或神經架構設計的文獻，例如物理信息神經網絡（PINN）[67]、[68]，即使任務與生成學習相關，例如[69]、[70]、[71]。我們專注于生成任務，因此不包括圖像處理任務，如去模糊、去霧和增強，盡管我們注意到這些工作中有大量的物理相關內容。為了專注于計算機視覺，我們還排除了純圖形和渲染研究與物理仿真相結合的文獻。與其他綜述的比較：如同在我們的范圍中所述，本綜述與現有的關于物理信息機器學習[72]、物理信息計算機視覺[73]和物理信息人工智能[74]的綜述不同，因為它們強調的是在物理先驗知識下的模型設計方面。我們的綜述專注于具有物理感知的生成，因此與現有的關于生成模型[75]、擴散模型[76]、[77]、視頻擴散模型[78]、基于擴散的視頻編輯[79]的綜述有所不同。與專注于特定領域的綜述，如人類視頻或運動生成[80]、[81]、[82]相比，我們的綜述也有不同的范圍。

摘要——工業網絡正在經歷由新興技術的融合推動的快速轉型，這些技術正在革新傳統工作流程、提升操作效率，并在各個行業領域中根本性地重塑工業格局。在這場革命中，數字孿生（DT）作為一種變革性創新，成功地將現實世界系統與其虛擬對應物相結合，架起了物理世界與數字世界之間的橋梁。本文提供了一個全面的調查，介紹了各行業中基于數字孿生（DT）的新興服務和應用，從數字孿生的基本概念和組成部分概述，到對數字孿生關鍵 enabling 技術的討論。與現有文獻不同，本文深入探討并分析了數字孿生在廣泛工業服務中的應用能力，包括數據共享、數據卸載、集成感知與通信、內容緩存、資源分配、無線網絡以及元宇宙等領域。特別地，本文對數字孿生在各個工業應用領域中的作用進行了深入的技術討論，涵蓋制造、醫療保健、交通運輸、能源、農業、航天、石油與天然氣以及機器人等行業。在技術分析過程中，我們深入探討了物理與虛擬平臺之間的實時數據通信，以實現工業數字孿生網絡的構建。隨后，本文廣泛探討并分析了數字孿生在工業領域中的主要隱私與安全問題。文中還提供了分類表和調查的主要研究成果，強調了數字孿生在工業中的重要意義。最后，本文指出了未來的研究方向，旨在推動該前沿領域的進一步發展。

關鍵詞——數字孿生、工業網絡、無線通信、機器學習、安全性。

I. 引言

工業革命標志著由最近在工業物聯網（IIoT）方面的進展驅動的技術創新和自動化新時代的開始[1]。這一關鍵時期為現代經濟中持續發展的先進工業流程奠定了基礎。近年來，數字孿生（DT）作為這一演變的關鍵推動力，允許通過雙向通信、實時仿真和監控，將物理世界與數字世界連接起來。通過優化操作和增強決策，數字孿生推動了智能制造、預測性維護以及更高效的基礎設施管理[2]。 近期，數字孿生模型因其強大的潛力和多功能性引起了廣泛關注，在醫療保健、教育、農業和制造業等多個領域帶來了顯著的益處[3][4]。它們提供實時洞察、優化流程并增強決策能力，推動了其在眾多領域的應用和探索[5]。憑借其創新的操作方法，數字孿生模型為工業應用提供了多種重要的優勢，且在不同的部署層級下具有不同程度的虛擬化功能[6]：

• 監控：在這一層次上，數字孿生提供了物理對象的虛擬表示。此功能通過控制其在數字平臺上的數字對應物，實現對物理實體的監控。
• 仿真：數字孿生作為物理對象的仿真器，幫助理解、預測和優化。虛擬模型適應變化，但這些變化不會影響物理對象。
• 操作：這一層次特征是物理對象與其數字孿生通過以太網、Wi-Fi或無線蜂窩網絡進行雙向通信，狀態變化在虛擬實體和物理實體中同時反映。

借助其獨特的優勢，數字孿生技術已經被提出應用于廣泛的工業領域，包括智能制造、智能醫療、智能交通、能源管理、衛星通信等。例如，數字孿生在智能制造中扮演著至關重要的角色，通過創建制造系統、機器和流程的數字復制品，貫穿各行業[7]。在醫療保健中，數字孿生增強了病患數據管理并個性化治療方案，同時改善了手術規劃[8]。在交通運輸和物流中，數字孿生利用工業物聯網網絡和無線通信提高了資源監控和優化效率[9]。數字孿生在農業和食品生產中的應用通過無線傳感器網絡實現了精確監控和預測分析[10]，同時提升了生產力和可持續性[11]。在衛星操作中，數字孿生通過先進的監控和預測性維護提高了裝配過程和網絡性能的準確性和可靠性[12]。此外，在自動駕駛車輛、無人機和智能港口的管理中，數字孿生利用蜂窩網絡和無線通信提升了導航、安全性和操作效率[13]。所有這些數字孿生在各行各業中的顯著進展和成就，突顯了進一步深入探討這一革命性研究領域的理想時機。本文中將展示的數字孿生在各行業中的集成概覽如圖1所示。數字孿生憑借其強大的技術潛力，已顯著轉變了許多工業領域，包括能源、交通運輸、制造和機器人等。 A. 比較與我們的貢獻

在數字孿生技術的最新進展及其與各類應用的集成推動下，近期已發布了多項綜述，探討了數字孿生的變革性影響及其新興趨勢。例如，[14]的研究貢獻了數字孿生概念，強調其與工業4.0及關鍵技術的集成，特別是在制造業中的快速發展，探討了人工智能和工業物聯網等關鍵技術的作用。類似地，[15]的作者分析了數字孿生技術的當前定義和核心特征，探索其在各個領域的應用，并提出了與社會技術方面和生命周期設計相關的意義。其他研究文獻[16]到[17]則探討了數字孿生在工業物聯網等相關領域中的影響。在[16]中，研究人員呈現了數字孿生的定義和特征，擴展其在物聯網中的應用，并展示了數字孿生在軟硬件一體化過程中的作用。有關數字孿生在工業物聯網中的研究也在[17]中得到探討，重點討論了如人工智能和區塊鏈等技術的支撐作用，探索了智能和安全的數字孿生-IIoT實現方案。此外，[18]中的文章回顧了數字孿生系統中的安全與隱私問題，并討論了防御措施。[19]也集中研究了數字孿生在工業4.0范式下的安全形勢，重點分析了網絡物理系統、工業物聯網、邊緣計算和人工智能等多種技術融合的安全威脅，提出了初步的安全建議。數字孿生在無線網絡中的集成問題在[20]中也有所探討，討論了數字孿生技術在無線系統中的關鍵概念、分類、設計考慮和部署趨勢。而[21]的研究則從通信和計算角度探討了數字孿生在智能產業中的作用，回顧了下一代無線技術（如5G及其后續技術）和計算范式（如邊緣計算和云計算）中的應用研究進展。數字孿生在6G通信系統中的作用也在[22]中進行了探討，分析了數字孿生在6G系統中的部署潛力和應用場景。有關數字孿生在各行業集成與進展的研究在[23]、[24]和[25]中有所涉及，提供了數字孿生在產品設計、生產和健康管理等領域的應用回顧。 盡管已有諸多研究，但它們缺乏對數字孿生在工業服務和應用中的全面綜述。尤其是在數據共享、數據感知與卸載、內容緩存、資源管理、無線網絡、元宇宙等工業服務領域，數字孿生的潛力在公開文獻中仍然未得到充分探索[23]-[24]。此外，關于數字孿生在不同工業領域中的應用的全面討論，在[16]到[17]中也缺失。現有的研究僅提供了部分數字孿生應用分析，而尚未深入探討從機器人、制造到農業和航天等所有重要應用領域的全面綜述。 受到這些局限性的啟發，本文提供了一個更全面的數字孿生在工業網絡中的集成調查，包括工業服務和應用。我們特別強調了在每個工業用例中，物理實體與其數字對應物在統一數字孿生平臺上的雙向通信，提供了有關工業數字孿生網絡操作的有價值見解。此外，本文還突出了數字孿生在工業領域中的安全性和隱私問題，這些也正是我們的關鍵創新，使我們的文章在相關文獻中與眾不同。為此，本文的主要貢獻如下：

• 我們提供了一個全面的數字孿生在工業中的使用調查，討論了其基本原理、組成部分和主要支撐技術。
• 我們詳細討論了數字孿生在關鍵工業服務中的作用，包括數據共享、數據卸載、集成感知與通信、內容緩存、資源分配、無線網絡，以及新興概念如元宇宙，重點討論系統、機器、流程及其數字對應物之間的通信和網絡協議特性。
• 我們對數字孿生在廣泛工業領域中的應用進行了全面調查，包括制造業、醫療健康、運輸與物流、能源、農業與食品、航天、石油與天然氣以及機器人行業，突出了通信和網絡技術在提升數字孿生效果方面的關鍵作用。同時，我們提供了分類表，總結了每種數字孿生應用的技術要點、貢獻和局限。
• 我們還探討了各行業不同層級的安全和隱私挑戰，包括物理層、數字層、通信層和人機交互層，并提出了有效的對策來解決這些漏洞。
• 基于廣泛的調查，我們總結了研究成果，并指出了未來的研究方向，以推動這一充滿前景的領域的進一步發展。

B. 調查結構

我們的調查結構如圖2所示。第二節回顧了數字孿生的基本原理、組成部分和支撐技術。第三節深入分析了數字孿生在不同工業設置中的服務。第四節探討了數字孿生在各個工業應用中的潛力。第五節討論了工業網絡中各個層次的安全問題。第六節總結了主要發現，并指出了未來的研究方向。最后，第七節對本文進行了總結。

摘要——本綜述對機器學習中多模態對齊與融合的最新進展進行了全面回顧，尤其是在文本、圖像、音頻和視頻等數據類型日益多樣化的背景下。多模態集成通過利用不同模態之間的互補信息，提高了模型的準確性并擴展了其應用范圍，同時在數據稀缺的情況下也促進了知識遷移。我們系統地對現有的對齊與融合技術進行了分類和分析，并基于對200多篇相關論文的廣泛回顧，提取了有價值的見解。此外，本綜述還討論了多模態數據集成中的挑戰，包括對齊問題、噪聲魯棒性以及特征表示的差異，并著重于社交媒體分析、醫學影像和情感識別等領域的應用。文中提供的見解旨在指導未來的研究，優化多模態學習系統，以提高其在各類應用中的可擴展性、魯棒性和泛化能力。

關鍵詞——多模態對齊、 多模態融合、多模態性、機器學習、綜述

1 引言

技術的快速發展導致了多模態數據生成的指數增長，包括圖像、文本、音頻和視頻[1]。這種數據的豐富性為計算機視覺、自然語言處理（NLP）等多個領域的研究者和從業者帶來了機遇與挑戰。通過整合來自不同模態的信息，可以顯著提升機器學習模型的性能，增強其理解復雜現實場景的能力[2]。模態的結合通常有兩個主要目標：（i）不同的數據模態可以互補，從而提高模型在特定任務上的精度和效果[3]，[4]，[5]；（ii）某些模態的數據可能較為稀缺或收集起來具有挑戰性，因此，基于大規模語言模型（LLM）的訓練可以通過知識遷移在數據稀缺的任務中實現滿意的性能[5]，[6]。

例如，在社交媒體分析中，將文本內容與相關的圖像或視頻結合，可以更全面地理解用戶情感和行為[1]，[7]。除了社交網絡，多模態方法在醫療圖像自動注釋、視頻摘要和情感識別等應用中也取得了有希望的成果[8]，[9]，[10]，[11]，[12]。盡管取得了這些進展，但在有效整合和利用多模態數據方面仍然存在兩個主要的技術挑戰：對齊和融合。對齊側重于建立不同模態之間的語義關系，確保每個模態的表示在一個共同的空間內對齊；而融合則是將多模態信息整合為統一的預測，利用每個模態的優勢來提升整體模型的性能。 第一個組件是多模態對齊，涉及建立不同模態之間的關系[1]，[49]，[50]，[51]。例如，將視頻中的動作步驟與相應的文本描述進行對齊，由于輸入輸出分布的差異以及模態間可能存在的信息沖突，這一任務需要復雜的方法[52]。多模態對齊可大致分為顯式對齊和隱式對齊[1]，[53]。顯式對齊通過相似度矩陣直接度量模態間的關系，而隱式對齊則在翻譯或預測等任務中作為一個中間步驟。

第二個組件是多模態融合，涉及將不同模態的信息結合起來，進行統一的預測，同時解決模態之間噪聲變異性和可靠性差異等挑戰[1]，[54]，[55]。傳統上，融合方法根據其在數據處理流程中的階段進行分類[53]，[56]。例如，早期融合在特征提取階段將多個模態的數據整合在一起，盡早捕捉模態間的交互[56]。本綜述聚焦于當前融合技術的核心特征，以更有效地代表現代方法，并指導未來的發展。我們將融合方法分析為基于核、圖形、編碼-解碼器和注意力機制的融合框架。

圖1展示了三種典型的多模態模型結構。在（a）中，由于模態之間的交互不足，簡單的操作未能實現深入有效的融合。在（b）中，盡管設計了專門的融合網絡，但對齊問題仍然顯著。具體而言，由圖像和文本分別通過各自模態特定模型提取的特征可能在語義上沒有對齊，直接將這些特征傳遞給融合模塊可能無法產生最佳結果。在（c）中，模型使用共享編碼器或集成的編碼-解碼過程同時處理多模態輸入，這使得圖像和文本數據能夠轉化為共同的表示空間，從而更自然地結合。此類設計通常優先考慮模型的簡潔性和效率，特別是在模態間關系已被充分理解并有效建模的情況下。

本研究旨在通過對200多篇相關論文的回顧，提供現有方法、最新進展和潛在未來方向的全面概述，為該領域做出貢獻。本綜述幫助研究人員理解多模態對齊和融合的基本概念、關鍵方法及當前進展，重點討論視覺和語言模態，同時擴展到視頻和音頻等其他類型。

本綜述的組織結構如下：第二節介紹多模態學習的基礎概念，包括大規模語言模型（LLM）和視覺模型的最新進展，為對融合和對齊的討論奠定基礎；第三節探討為什么要進行對齊與融合的綜述研究；第四節審視對齊方法，重點討論顯式和隱式技術如何建立不同模態之間的關系；第五節探討融合策略，將其分為早期、晚期和混合融合，并介紹基于核、圖形和注意力機制的先進融合框架；第六節討論多模態融合和對齊中的關鍵挑戰，包括特征對齊、計算效率、數據質量和可擴展性；最后，第七節概述未來研究的潛在方向，并討論實踐意義，旨在指導該領域的進一步創新。

2 為什么需要對齊與融合

對齊與融合是多模態學習中的兩個基本概念，盡管它們各自獨立，但相互之間緊密相關，且常常相輔相成[1]，[50]。對齊涉及確保不同模態的數據正確匹配和同步，從而使它們傳達的信息具有一致性，并適合進行融合。另一方面，融合是指將來自不同模態的信息結合起來，創建一個統一的表示，全面捕捉數據的本質[1]，[54]，[55]。此外，許多最新的方法發現，在沒有對齊過程的情況下進行融合是非常具有挑戰性的[49]。

2.1 提升全面性與魯棒性

對齊確保來自不同源的數據在時間、空間或上下文上同步，從而實現有意義的組合。如果沒有適當的對齊，融合過程可能導致誤解或關鍵信息的丟失[53]。 一旦對齊完成，融合利用對齊后的數據生成更為魯棒和全面的表示[49]。通過整合多個視角，融合能夠彌補單一模態的弱點，從而提高準確性和可靠性。 2.2 解決數據稀缺與不平衡問題

在許多現實應用中，某些模態的數據可能稀缺或難以獲取。對齊有助于即使在數據有限的情況下，也能同步可用的數據，確保其能夠有效利用[106]，[107]。 隨后，融合使得模態之間能夠進行知識遷移，使模型能夠利用一種模態的優勢來彌補另一種模態的不足。這在某一模態擁有豐富數據而另一模態數據稀缺的場景中尤為有用。 2.3 改進模型的泛化能力和適應性

對齊確保了不同模態之間關系的準確理解與建模，這對于模型在不同上下文和應用中進行泛化至關重要[1]，[53]。 融合通過創建一個統一的表示，能夠更有效地捕捉數據的細微差異，從而提高模型的適應性。這個統一的表示可以更容易地適應新的任務或環境，增強模型的整體靈活性[1]，[53]。 2.4 支撐高級應用

對齊與融合共同推動了諸如跨模態檢索等高級應用的發展，在這些應用中，一種模態（例如，文本）中的信息被用于在另一種模態（例如，圖像）中搜索相關信息[108]。這些過程對于諸如情感識別等任務也至關重要，在這些任務中，將視覺和聽覺線索結合起來，能夠比單獨使用任何一種模態更準確地理解人類情感[109]。 3 多模態對齊

多模態對齊涉及建立兩種或更多不同模態之間的語義關系。它在多個領域得到了廣泛研究，包括網絡對齊[110]、圖像融合[50]和多模態學習中的特征對齊[111]。 為了將不同模態對齊到相同的語義表示中，需要衡量這些模態之間的相似性，同時考慮潛在的長程依賴關系和歧義。簡而言之，目標是構建一個映射，將一個模態的表示與另一個模態中共享相同語義的表示對齊。根據[1]，對齊可以分為兩種類型：顯式對齊和隱式對齊。顯式對齊通常通過使用相似度矩陣直接度量相似性，而隱式對齊則通常是在翻譯或預測等任務中作為一個中間步驟進行處理。 3.1 顯式對齊

顯式對齊有著早期的基礎，通常依賴于諸如動態時間規整（DTW）[112]，[113]和典型相關分析（CCA）[114]等統計方法。

DTW通過找到一個最優匹配來測量兩個序列之間的相似性，該過程涉及插入幀來對齊序列[112]。然而，原始的DTW公式需要預定義的相似性度量，因此它與典型相關分析（CCA）結合，后者由Harold Hotelling于1936年提出[114]，通過線性變換將兩個不同的空間投影到一個共同的空間中。CCA的目標是通過優化投影來最大化兩個空間之間的相關性。CCA促進了對齊（通過DTW）和模態間映射的聯合學習，并且可以以無監督的方式進行，正如在視頻-文本和視頻-音頻對齊等多模態應用中所見。圖2展示了CCA方法的可視化。具體而言，CCA的目標函數可以表示為： max?ρ=corr(uTX,vTY)\max \rho = \text{corr}(u^T X, v^T Y)maxρ=corr(uTX,vTY) 其中： ? X 和 Y 是來自兩個不同空間的數據矩陣； ? u 和 v 是線性變換向量（或典型向量），它們將 X 和 Y 投影到共同空間中； ? ρ 是投影uTXu^T XuTX 和vTYv^T YvTY 之間的相關系數； ? 目標是找到 u 和 v，使得投影后的數據之間的相關性ρ最大化。 然而，CCA只能捕捉兩個模態之間的線性關系，限制了它在涉及非線性關系的復雜場景中的應用。為了解決這一限制，引入了核典型相關分析（KCCA），它通過核方法將原始數據映射到更高維的特征空間，從而處理非線性依賴[115]，[116]。像多標簽KCCA和深度典型相關分析（DCCA）等擴展方法進一步改進了原始的CCA方法[115]，[116]，[117]，[118]，[119]。 此外，Verma和Jawahar展示了如何使用支持向量機（SVM）實現多模態檢索[120]。另外，像圖像對齊中基于特征模態的線性映射方法也被開發出來，旨在通過復雜的空間變換來處理多模態對齊問題[121]。 3.2 隱式對齊

隱式對齊是指在執行主要任務時作為中間步驟使用的方法，通常是以潛在方式進行。與直接對齊不同模態的數據不同，這些方法通過學習共享的潛在空間來改善主要任務的性能。隱式對齊技術可以大致分為兩類：基于圖模型的方法和基于神經網絡的方法。 3.2.1 基于圖模型的方法

圖結構的整合使得更復雜的模態間關系得以更好地建模，從而使多模態數據的處理更加準確和高效。這些方法常用于將圖像與文本或圖像與信號進行對齊。例如，某些模型通過對物體的圖表示進行對齊，實現了少樣本上下文模仿學習，從而使機器人在沒有事先訓練的情況下能夠執行新的任務[122]。基于顯式進化模型的GraphAlignment算法在識別同源頂點和解決副本問題方面表現出強大的性能，優于其他方法[123]。圖3展示了如何在對齊中使用圖結構。

這些任務中的一個主要挑戰是對齊不同模態之間的隱式信息，其中多模態信號并不總是直接對應。基于圖的模型通過將模態間的復雜關系表示為圖結構（圖中節點表示數據元素，如詞語、物體或幀，邊表示它們之間的關系，如語義、空間或時間關系）在解決這個問題上證明了其有效性。 近期的研究探索了使用圖結構進行多模態對齊的多個方面。例如，Tang等人[124]提出了一種基于圖的多模態順序嵌入方法，以提高手語翻譯。通過將多模態數據嵌入到統一的圖結構中，他們的模型更好地捕捉了復雜的關系。 另一個應用是在情感分析中，隱式多模態對齊起著至關重要的作用。Yang等人[125]提出了一種基于圖的多模態對齊模型（MGAM），該模型聯合建模了顯式方面（如物體、情感）和隱式多模態交互（如圖像-文本關系）。 在具身人工智能領域，Song等人[126]探討了如何構建基于場景的知識圖，以建模復雜多模態任務中的隱式關系。他們的工作將文本和視覺信息整合到一個知識圖中，并通過基于圖的推理進行多模態語義的對齊。對齊隱式線索（如場景中物體之間的空間和時間關系）對于提高具身人工智能系統中的決策和交互至關重要。 在命名實體識別（NER）任務中，Zhang等人[127]提出了一種基于圖的逐標記方法，該方法結合了與文本相關的圖像中的隱式視覺信息。該方法利用視覺域中的空間關系來改進命名實體的識別，這在使用孤立的文本數據時通常是模糊的。 在圖像描述生成和視覺問答（VQA）等任務中，場景圖也起著至關重要的作用。Xiong等人[128]提出了一種基于場景圖的模型，用于跨模態的語義對齊。通過將物體及其關系表示為圖中的節點和邊，該模型提高了視覺和文本模態的對齊效果。 總之，基于圖的方法為表示多樣化數據類型提供了強大的框架，并且在多模態對齊中具有巨大的潛力。然而，這種靈活性也帶來了重大的挑戰。 圖結構的稀疏性和動態性增加了優化的復雜性。與矩陣或向量不同，圖具有不規則的非結構化連接，導致計算復雜度高且內存開銷大，即使在先進的硬件平臺上也存在這些問題。此外，圖神經網絡（GNN）對超參數特別敏感。網絡架構、圖采樣和損失函數優化等選擇直接影響性能，這增加了GNN設計和實際部署的難度。 3.2.2 基于神經網絡的方法

近年來，基于神經網絡的方法已成為解決隱式對齊問題的主要方法，特別是在翻譯等任務中，將對齊作為潛在的中間步驟通常能獲得更好的結果。常見的神經網絡方法包括編碼器-解碼器模型和跨模態檢索。 當沒有隱式對齊時，翻譯過程會給編碼器帶來更大的負擔，需要它將整個圖像、句子或視頻總結為一個向量表示。 一個常見的解決方案是使用注意力機制，使解碼器能夠專注于源實例的特定子組件。這與傳統的編碼器-解碼器模型不同，后者將所有源子組件一起編碼。注意力模塊引導解碼器更多地關注被翻譯的源實例的特定子組件——例如圖像的區域、句子中的詞語、音頻的片段、視頻中的幀或指令的部分。例如，在圖像描述生成中，注意力機制允許解碼器（通常是遞歸神經網絡）在生成每個詞時專注于圖像的特定部分，而不是一次性編碼整個圖像[129]。 以前的工作通過設計特定模態的嵌入器和預測器，接口連接輸入和輸出的預訓練模型來實現這一目標。 生成對抗網絡（GAN）由于其能夠學習高維數據空間之間的復雜映射，因此已成功應用于多模態數據的合成[130]，[131]，[132]，[133]，[134]。例如，在MRI模態中，使用一個統一框架，其中單個生成器學習跨模態的映射，可以提高不同數據類型之間的對齊精度[130]。 另一種深度生成方法，C-Flow，利用標準化流進行多模態對齊，應用于3D點云重建等任務，從而對生成過程進行更細粒度的控制[135]。自編碼器及其變體，如變分自編碼器（VAE），也被用來學習潛在表示，捕捉跨模態的基礎語義結構。這種方法在組合表示學習中證明了其有效性，VAE幫助通過將圖像和文本模態映射到共享的潛在空間來對齊它們[136]。類似地，使用VAE的跨模態量化進行圖像-文本配對生成，展示了神經網絡如何通過學習量化的聯合表示對齊文本和視覺數據[137]。 此外，半監督流形對齊方法（如擴散傳輸對齊DTA）利用少量先驗知識對齊具有不同但相關結構的多模態數據域[138]。這種方法在僅能進行部分數據對齊的情況下尤為有效，因為它依賴于域之間的幾何相似性。 最近，Att-Sinkhorn方法結合了Sinkhorn度量和注意力機制，在通過解決不同模態的概率分布之間的最優傳輸問題來改進多模態特征對齊方面顯示了更高的準確性[139]。 總之，顯式和隱式對齊技術在多模態機器學習領域都至關重要。盡管顯式方法提供了一個明確的框架，用于度量相似性和建立對應關系，但隱式方法通常更靈活，并能適應更多的場景，特別是那些涉及復雜或模糊數據關系的任務。未來的研究可能會繼續探索結合兩種對齊策略優點的混合方法，以解決多模態數據中所面臨的各種挑戰[110]，[111]，[139]。

4 多模態融合

多模態數據涉及多種信息類型的整合，如圖像、文本和音頻，這些信息可以通過機器學習模型處理，從而提高多種任務的性能[1]，[53]，[140]，[141]，[142]，[143]。通過結合不同類型的信息，多模態融合利用了每種模態的優勢，同時彌補了依賴單一數據類型時可能出現的弱點或空白[1]，[53]，[144]。例如，每種模態在最終預測中可能會有不同的貢獻，某些模態可能在某一時刻比其他模態更具信息量或噪聲更小。 融合方法在有效結合不同模態的信息時至關重要。早期的方法通常將圖像和文本分開處理，兩個數據類型之間僅有基本的整合。像 CLIP [13] 這樣的架構采用了雙編碼器框架，其中視覺和文本信息分別編碼，它們的交互通過簡單的操作來處理，通常涉及點積計算[145]，[146]。因此，這兩種模態的融合在整體模型架構中所占的比重較小，主要由編碼器本身主導。盡管這種有限的集成策略在基于檢索的任務[147]，[148]中有效，但對于更復雜的多模態挑戰（需要深度理解和模態之間的交互）則不夠充分[149]，[150]。 如果通過獨立訓練每個模態的專門編碼器，然后進行表面化的集成就能實現強大的性能，那么深度多模態學習的需求就值得懷疑。然而，經驗數據表明，對于需要細致理解的任務，如視覺問答和視覺推理，必須對兩種模態進行更復雜、更深度的融合，才能充分捕捉視覺感知和語言處理之間的相互關系[152]。 傳統上，融合方法根據融合發生的數據處理管道階段進行分類。早期融合在特征級別進行數據整合，晚期融合則在決策級別進行整合，混合融合結合了兩者的特點[1]，[53]。早期融合涉及在特征提取階段將來自不同模態的數據合并[56]，從而讓模態之間的交互得以早期捕捉。如趙等人[93]所述，集成發生在特征級別。相比之下，晚期融合則在決策階段將各個模態模型的輸出結合起來，當預測時缺少一個或多個模態時，這種方法特別有優勢，正如 Morvant 等人[153]所展示的。混合融合則將早期融合和晚期融合的各個方面結合在一起，趙等人[93]研究了其在深度學習中的實現。 隨著技術和融合方法的演進，區分早期、晚期和混合融合變得越來越復雜。先進的方法通常超越了傳統的基于時序的分類，在特征級別和決策級別同時操作，這挑戰了僵化的分類。 為了解決這種復雜性，我們提出了一種基于當前融合技術核心特征的新分類框架，提供了對現代方法的更準確表征，并為未來的進展提供指導。特別是，盡管許多基于注意力的方法可以適配編碼器-解碼器或僅編碼器框架，但我們將它們單獨分類，因為它們在最近的顯著發展和獨特創新方面，傳統的分類方法無法充分捕捉。

4.1 編碼器-解碼器融合

編碼器-解碼器融合架構涉及一個編碼器，該編碼器從輸入數據中提取關鍵特征并將其壓縮成緊湊的形式，而解碼器則基于這種壓縮的表示重建輸出[26]。在該架構中，系統主要由兩個主要組件組成：編碼器和解碼器。編碼器通常作為一個高級特征提取器，將輸入數據轉換為一個潛在空間，其中包含重要特征[26]，[37]。換句話說，編碼過程在減少冗余的同時保留了重要的語義信息。一旦編碼步驟完成，解碼器就會基于潛在表示生成相應的“重建”輸出[26]，[31]。在像語義分割這樣的任務中，解碼器的輸出通常是一個語義標簽圖，它與輸入大小相匹配。 編碼器-解碼器融合通常有三種形式：（1）數據級融合，將來自不同模態的原始數據拼接在一起，并送入共享的編碼器；（2）特征級融合，分別從每個模態提取特征，可能包括中間層，然后將它們組合后再輸入到解碼器；（3）模型級融合，在處理后將各個模態特定模型的輸出進行拼接。圖4展示了這三種類型的編碼器-解碼器融合結構。特征級融合通常最為有效，因為它考慮了不同模態之間的關系，從而實現了更深層次的集成，而非表面上的組合。

4.1.1 數據級融合

在這種方法中，來自每個模態的數據或每個模態獨特預處理步驟后的處理數據在輸入級別進行合并[27]。在這種集成之后，來自所有模態的統一輸入將通過一個編碼器來提取更高層次的特征。換句話說，來自不同模態的數據在輸入階段被合并，并通過單一編碼器提取綜合特征。 最近的研究聚焦于數據級融合，以提高自動駕駛中物體檢測和感知的性能。一些研究探索了在神經網絡架構的早期階段融合相機和LiDAR數據，展示了在稀疏點云中，特別是對騎行者的三維物體檢測精度有所提升[35]。一個基于Yolo框架的聯合處理相機和LiDAR原始數據的系統比傳統的決策級融合提高了5%的車輛檢測精度[27]。此外，還開發了一個面向低級傳感器融合的開放硬件和軟件平臺，特別是利用原始雷達數據，推動了這一領域的研究[36]。這些研究突出了原始數據級融合在利用傳感器間協同作用并提高整體系統性能方面的潛力。

4.1.2 特征級融合

這種融合技術的核心思想是將來自多個抽象層次的數據進行組合，從而利用從深度網絡不同層次提取的特征，最終增強模型的性能。許多應用都實施了這一融合策略[32]，[163]。 特征級融合已成為多種計算機視覺任務中的一種強大方法。它涉及在不同的抽象層次上融合特征以提升性能。例如，在性別分類中，融合局部補丁的兩層層次結構證明是有效的[163]。在顯著性物體檢測中，融合來自不同VGG層次的特征的網絡能夠保留語義信息和邊緣信息[30]。在多模態情感計算中，一種“分而治之，合而為一”的策略探索了局部和全局交互，達到了最先進的性能[32]。對于自適應視覺跟蹤，開發了一種層次模型融合框架，通過層次更新對象模型，引導參數空間的搜索并減少計算復雜性[33]。 這些方法展示了層次特征融合在多個領域中的多樣性，展現了它在捕捉細粒度和高級信息方面的能力，從而在復雜的視覺任務中實現更好的性能。

4.1.3 模型級融合

模型級融合是一種通過集成多個模型的輸出提高準確性的技術。例如，在使用地面穿透雷達（GPR）進行地雷檢測時，Missaoui等人[34]證明了通過多流連續隱馬爾可夫模型（HMM）融合邊緣直方圖描述符和Gabor小波的方式，優于單一特征和等權重組合。 在多模態物體檢測中，Guo和Zhang[28]應用了平均、加權、級聯和堆疊等融合方法，將圖像、語音和視頻的模型結果結合起來，從而提高了在復雜環境中的性能。對于面部動作單元（AU）檢測，Jaiswal等人[29]發現，使用人工神經網絡（ANN）的模型級融合比簡單的特征級方法更有效。此外，對于涉及多保真度計算機模型的物理系統，Allaire和Willcox[25]開發了一種融合方法，利用模型不適配信息和合成數據，得到了比單獨模型更好的估計結果。在質量控制和預測性維護中，一種新穎的模型級融合方法優于傳統方法，減少了預測方差30%，并提高了45%的準確性[38]。這些研究證明了模型級融合在多個領域中的有效性。 本節回顧了基于編碼器-解碼器架構的融合模型。編碼器-解碼器融合架構在多模態任務中被廣泛應用，展示了不同融合技術的多樣性，包括數據級融合、特征級融合和模型級融合。這些方法在提高多模態學習模型的準確性和魯棒性方面起到了重要作用，為未來的研究和應用提供了有益的參考。

4.2 基于注意力機制的融合

基于注意力機制的融合方法近年來得到了廣泛應用，特別是在多模態學習任務中。注意力機制的核心思想是根據輸入數據的重要性動態調整其對模型的影響，而不是對所有輸入特征進行等權處理[154]。這種方式通過引導模型關注最相關的模態和特征，從而提高了模型的表現和魯棒性。 在多模態學習中，基于注意力的融合可以通過多種方式實現。最常見的方法包括加權融合、交互式融合以及跨模態注意力機制的應用。通過引入自注意力機制（Self-Attention）和跨模態注意力機制，模型能夠自動學習不同模態之間的相互關系，并在處理復雜任務時做出適當的決策[155]。 例如，在視覺問答（VQA）任務中，通過引入跨模態注意力機制，模型可以根據問題的內容自動選擇與之相關的圖像區域，從而提高了任務的精確度和準確性[156]。類似的，在多模態情感分析中，基于注意力的機制能夠幫助模型理解不同模態（如語音、文本和面部表情）之間的相互作用，從而對情感狀態進行更為精準的預測[157]。 此外，近年來，許多研究還將多頭注意力（Multi-Head Attention）擴展到多模態融合中，允許模型并行處理多個模態的不同子空間，從而增強了多模態交互的表達能力[158]。這種方法尤其適用于需要多方面信息整合的復雜任務，如視頻內容分析和跨模態檢索等。 總之，基于注意力機制的融合方法通過動態調整不同模態的貢獻，能夠有效提升模型在多模態學習中的表現，特別是在處理多層次、多類型信息時，能夠顯著改善性能。

4.3 圖神經網絡（GNN）在多模態融合中的應用

圖神經網絡（GNN）在處理具有復雜關系和結構的數據時，表現出極大的潛力，因此被廣泛應用于多模態融合任務中。GNN通過圖的節點和邊之間的傳播機制，能夠捕捉到數據的結構信息，在圖像、文本和其他模態數據之間建立有效的聯系。 在多模態融合的背景下，GNN可以將不同模態的特征表示作為圖的節點，并通過圖卷積操作（Graph Convolution）來學習模態間的關系。例如，在圖像和文本融合的任務中，可以將圖像中的不同區域和文本中的不同詞匯視為圖的節點，節點之間通過邊連接，表示它們之間的關系。通過圖卷積操作，模型能夠學習到圖像和文本之間的深層次關聯，從而在視覺問答、圖像描述等任務中取得更好的效果[159]。 GNN還可以應用于多模態信息的關聯學習和跨模態信息檢索等任務中。在這些任務中，GNN能夠通過圖結構有效地捕捉模態間的復雜交互，幫助模型從不同模態中提取有用的信息并進行融合。這種方法尤其適合處理帶有結構關系的多模態數據，如社交媒體上的多模態情感分析和醫學圖像分析中的跨模態信息融合。 隨著圖神經網絡在多模態學習中的不斷發展，越來越多的研究表明，圖結構能夠為不同模態間的交互提供一種自然且高效的表示方式，為多模態融合方法提供了新的思路。

4.4 自監督學習與多模態融合

自監督學習是一種無監督學習方法，它通過自我生成標簽來訓練模型，尤其在沒有大量標注數據的情況下表現出了強大的潛力[160]。這種方法通過構造輔助任務，使模型學習數據的深層次結構，并為多模態融合提供了新的思路。

在多模態學習中，自監督學習能夠通過從單一模態的輸入中生成任務相關的信息，并促進模態間的對齊和互補。通過構建自監督任務（例如圖像-文本對比學習），模型可以在無監督的情況下學習到不同模態之間的語義一致性，進而提高多模態融合的效果[161]。

例如，在圖像-文本對比學習中，模型可以通過構造圖像與文本之間的相關性任務，來學習它們之間的聯合表示。這樣，盡管模型不需要大量標注數據，它仍然能夠學習到跨模態的有效表示，并在多模態任務中進行更準確的預測。這種自監督學習方法在減少對標注數據依賴的同時，能夠顯著提高模型的泛化能力和跨模態表現。

4.5 持續學習與多模態融合

持續學習（Continual Learning）是指模型在不斷接收新數據時，能夠保持已有知識的同時，學習新知識，而不會遭遇災難性遺忘[162]。在多模態學習中，持續學習能夠有效處理隨時間變化的多模態數據，特別是當模型需要根據實時輸入調整其學習策略時。

在多模態融合任務中，持續學習能夠使模型隨著新模態或新領域的到來，靈活地調整其參數和融合策略，從而適應新的數據分布[163]。例如，自動駕駛系統中的傳感器數據（如雷達、相機、激光雷達等）可能隨著環境變化而發生變化，持續學習可以幫助模型保持對不同傳感器數據的有效融合，同時應對新的駕駛環境。 持續學習還能夠促進多模態模型的可擴展性和自適應性，使其能夠在新的多模態數據出現時，進行快速有效的調整，避免災難性遺忘的問題。這為多模態學習提供了更為強大的能力，特別是在需要處理動態變化的復雜數據環境時。

摘要——基于用戶指定要求的條件圖像生成是創建復雜視覺內容的關鍵組件。近年來，基于擴散的生成模型已成為條件圖像生成的一個非常有效的方法，導致了相關文獻的爆炸式增長。然而，擴散模型的復雜性、圖像生成任務的廣泛性以及條件機制的多樣性，為研究人員跟上快速發展的步伐并理解該主題的核心概念帶來了巨大挑戰。在本綜述中，我們根據條件如何融入擴散模型的兩個基本組件（即去噪網絡和采樣過程）對現有工作進行分類。我們特別強調了在訓練、重用和專門化階段構建理想去噪網絡時，各種條件方法的基本原理、優點和潛在挑戰。我們還總結了在核心采樣過程中使用的六種主流條件機制。所有討論都圍繞流行的應用展開。最后，我們指出了一些關鍵但仍未解決的未來問題，并提出了一些可能的解決方案。我們審閱的相關工作列在 //github.com/zju-pi/Awesome-Conditional-Diffusion-Models。

關鍵詞——生成模型，擴散模型，條件圖像生成，條件集成。

I. 引言

圖像生成是生成式人工智能的一個重要任務。當結合用戶提供的條件來生成符合不同用戶需求的圖像時，它的實用性會更大。早期的研究在各種條件圖像生成任務中取得了重大突破，如文本到圖像生成 [37, 41, 156, 159, 239]、圖像修復 [87, 88, 125, 210] 和圖像編輯 [1, 10, 107]。然而，早期基于深度學習的生成模型（如生成對抗網絡 (GANs) [49, 131]、變分自編碼器 (VAEs) [81, 185] 和自回歸模型 (ARMs) [199, 200]）在條件圖像生成中的表現并不令人滿意，這是由于它們的內在局限性：GANs 容易出現模式崩潰和訓練不穩定的問題 [49]；VAEs 通常生成模糊的圖像 [81]；而 ARMs 則存在順序誤差積累和耗時巨大的問題 [200]。

近年來，擴散模型 (DMs) 作為最先進的圖像生成模型嶄露頭角，憑借其強大的生成能力和多功能性，得到了廣泛認可 [20, 57, 71, 184, 191]。在擴散模型中，圖像是通過引導去噪網絡預測的迭代去噪步驟從高斯噪聲中生成的。這種獨特的多步采樣過程使得擴散模型能夠實現出色的生成性能，表現為穩定的訓練、豐富的輸出和卓越的樣本質量。此外，與一步生成模型相比，擴散模型在促進條件集成方面具有獨特優勢。這些優點使得擴散模型成為條件圖像生成的首選工具，近年來基于擴散的條件圖像生成 (DCIS) 研究得到了迅速發展 [25, 45, 56, 75, 118, 160, 167, 168, 209, 242, 247]。圖1展示了使用多種輸入模態的七個流行的 DCIS 任務。

隨著相關研究的快速擴展，模型架構、訓練方法和采樣技術的眾多變化，以及潛在的條件生成任務的廣泛性，研究人員很難全面掌握 DCIS 的全貌。這種復雜性對該領域的新手來說尤為具有挑戰性。當前需要的是一項系統性的綜述，提供對這一快速發展的研究領域的全面且結構化的概述。

已有一些關于特定條件圖像生成任務的綜述，如圖像修復 [238]、文本到圖像生成 [103] 和圖像編輯 [64]，或根據目標條件生成任務對計算機視覺領域的相關工作進行分類的研究 [32, 149]。雖然這些面向任務的綜述為其各自目標任務的方法提供了寶貴的見解，但它們并未涵蓋不同條件生成任務在模型框架中的共同特征，特別是在模型架構和條件機制方面。最近的兩篇綜述 [14, 182] 提供了基于擴散模型的廣泛任務的概述，但它們的范圍有限，主要集中于構建在文本到圖像 (T2I) 框架上的 DCIS 工作，忽略了早期將條件集成到無條件去噪網絡中的工作，或涉及從頭開始訓練特定任務的條件去噪網絡的工作。這些早期工作為當前使用 T2I 框架的 DCIS 進展奠定了基礎，并且在低級任務如圖像修復中仍然廣泛應用。此外，[182] 主要關注基于擴散模型的圖像編輯框架，缺乏對該領域其他任務統一框架的系統分析，而 [14] 并未深入探討模型架構的設計選擇和采樣過程中詳細的條件機制。因此，它們的分類方法缺乏系統性，并遺漏了 DCIS 領域中的一些關鍵相關工作。

相較之下，本綜述旨在提供一個全面且結構化的框架，涵蓋當前廣泛的 DCIS 研究工作，基于 DCIS 框架中條件集成的主流技術提供分類方法。我們對構建具有條件集成的 DCIS 框架所涉及的組件和設計選擇進行了清晰而系統的分解。具體來說，我們通過審查和總結現有的 DCIS 方法，探討條件如何集成到擴散建模的兩個基本組件中：去噪網絡和采樣過程。在去噪網絡方面，我們將構建條件去噪網絡的過程分為三個階段。在采樣過程中，我們將六種主流的采樣中條件機制進行分類，詳細說明控制信號如何集成到采樣過程的各個組件中。我們的目標是為讀者提供跨不同任務的現有 DCIS 工作的高層次和易于理解的概述，使他們能夠設計適用于其所需任務的條件生成框架，包括尚未探索的新任務。

本綜述的其余部分組織如下：首先在第二部分介紹擴散模型的背景和條件圖像生成任務。接下來，我們在第三部分總結去噪網絡中的條件集成方法，并在第四部分總結采樣過程中的方法。最后，我們在第五部分探討未來的潛在方向。圖2展示了本文提出的 DCIS 分類體系。

摘要——在過去的十年中，深度神經網絡取得了令人振奮的突破，數據增強作為一種正則化技術在缺乏大規模標注數據的情況下越來越受到關注。在現有的數據增強方法中，Mixup 及相關的數據混合方法通過凸組合選定樣本及其對應的標簽生成數據依賴的虛擬數據，廣泛應用于各種領域并取得了優異的性能。本綜述對基礎的Mixup方法及其應用進行了全面的回顧。我們首先詳細闡述了包含Mixup增強的訓練流程，作為一個包含模塊的統一框架。一個重構的框架可以容納各種Mixup方法，并給出直觀的操作步驟。然后，我們系統地研究了Mixup增強在視覺下游任務、各種數據模態上的應用，以及Mixup的分析與定理。同時，我們總結了當前Mixup研究的現狀和局限性，并指出了進一步提升Mixup增強有效性和效率的研究方向。本綜述可以為研究者提供Mixup方法的最新進展，并在Mixup領域中提供一些洞見和指導作用。本綜述的在線項目可在 //github.com/Westlake-AI/Awesome-Mixup 獲取。 關鍵詞——數據增強，Mixup，分類，自監督學習，計算機視覺，自然語言處理，圖結構

深度神經網絡（DNNs），如卷積神經網絡（CNNs）和Transformers，由于其強大的特征表示能力，已成功應用于諸多任務，如圖像分類、目標檢測和自然語言處理（NLP）等。為了完成越來越具有挑戰性的任務，DNNs使用了大量可學習的參數，這意味著如果沒有大量的訓練數據，模型容易過擬合，無法很好地泛化。然而，在某些情況下，訓練數據難以獲得且收集成本高昂。如何讓DNNs在有限的訓練數據之外實現泛化，是深度學習中的一個基本問題。

為了解決數據需求量大的問題，研究人員提出了數據增強（DA）技術。與“模型中心”和正則化方法相比，DA是一種“數據中心”的正則化技術，它通過合成虛擬訓練數據來防止過擬合。DA通過構建同一樣本的不同版本引入有用的不變特征。DA帶來的數據集大小增加和歸納偏差的引入也起到了一定的正則化效果，緩解了過擬合問題。最近，數據增強已被證明能夠提高深度學習模型的泛化能力，成為實現最先進性能的關鍵因素。數據增強可以通過對比組合、Mixup和生成等方式合成新數據。

在本綜述中，我們聚焦于一個新興領域——Mixup。Mixup [1] 通過對兩個樣本及其對應的one-hot標簽進行插值來生成增強樣本。本質上，基于Mixup的方法通過混合多個樣本來生成增強數據。與大多數現有的增強技術修改單個樣本但不改變其唯一標簽的做法不同，Mixup通過來自兩個或多個示例生成增強樣本，導致多個標簽的產生，從而更好地反映現實世界的情況。此外，Mixup在不同的數據集和領域中表現出很強的可遷移性。相比之下，其他組合方法通常需要大量時間來確定合適的增強策略。生成方法在應用于大數據集時具有挑戰性，因為它需要額外的生成器和判別器，從而限制了可遷移性和應用場景。而Mixup不依賴于保留標簽的操作，而是通過可學習的方法來創建更有效的增強樣本。與傳統的數據增強方法處理單個樣本不同，Mixup通過混合多個樣本生成虛擬訓練數據，無需領域知識即可生成大量的訓練數據。目前，Mixup已成功應用于多種任務和訓練范式，包括監督學習（SL）、自監督學習（SSL）、半監督學習（Semi-SL）、自然語言處理（NLP）、圖結構和語音處理等領域。

在圖1中，我們總結了這些訓練范式和數據模態下的一些主流方法的時間軸：

• SL（樣本）：2018年，Mixup [1] 提出了靜態線性插值的樣本混合方法。2019年，CutMix [2] 和 Manifold Mixup [3] 提出了基于切割和特征的Mixup改進。這些是特定的增強方法。但從2020年到2023年，許多方法進一步在靜態線性、切割和特征基礎上改進了Mixup，甚至逐步轉向自適應方式。到2024年，DiffuseMix [4] 結合了生成模型和Mixup方法。

• SL（標簽）：2019年，AdaMixup [5] 發現混合比例λ會影響模型性能，這被稱為“流形入侵”。因此，從2020年到2024年，許多基于CNNs或Vision Transformers（ViTs）的方法涌現出來，優化這些比例。此外，CAMixup [6] 在2021年和RankMixup [7] 在2023年提出了增強模型校準的方法。

• SSL（CL）與SSL（MIM）：對比學習（CL）在圖像分類任務中表現出強大的能力。為了提高模型性能，研究人員提出了大量結合Mixup的CL方法，這些方法通過Mixup獲得“半正樣本”以捕捉更多特征。CL + Mixup 通常會修改其損失項以適應SSL任務。遮掩圖像建模（MIM）通過從混合樣本中重建樣本，認為混合樣本將共享更多特征，能夠學習一些高維信息。MixMAE [8] 和MixedAE [9] 在2023年展示了這一觀點。

• Semi-SL：可以利用標注和未標注的信息。2019年，MixMatch [10] 使用這種方法提高了模型性能，并使其更具魯棒性，因為混合樣本可以作為帶噪聲圖像的干凈圖像使用。對于PUL，P3Mix [11] 在2021年通過混合來自決策邊界附近的樣本獲得了更好的準確性。DecoupledMix [12] 在2023年提出了通過解耦樣本預測來獲得更干凈的偽標簽。

• 數據模態：不僅限于圖像領域。對于NLP，WordMixup & SenMixup [13] 在2019年提出了兩種文本混合方式，分別基于句子混合和嵌入混合。基于這兩種基本方法，許多帶有特定修改的方法被提出。例如，SeqMix [14] 在2021年提出了基于顯著性的嵌入混合，TreeMix [15] 通過使用成分句法分析將句子分解為子結構，并通過混合重新組合成新句子。對于圖結構，GraphMix [16] 和 ProGCL [17] 在2021年和2022年提出了結合Mixup方法的圖分類，并提出了一些結合Mixup和圖結構的新損失項，用于困難樣本挖掘。GraphMixup [18]、G-Mixup [19] 和iGraphMix [20] 在2022年和2024年通過顯著性信息獲得混合圖樣本，以提高模型的分類能力和魯棒性。對于語音，BC [21] 和Contrastive-mixup [22] 通過線性插值直接混合語音數據。

總體而言，與已發表的三篇關于Mixup的綜述[23]、[24]和[25]相比，我們的貢獻包括：

• 我們提供了及時的文獻回顧，并使用SL作為示例，提出了兩種不同的Mixup改進策略（樣本和標簽）的綜合框架。這兩種策略可以對應不同的訓練范式和數據模態。

• 我們仔細回顧并討論了各種Mixup方法的技術細節，如靜態線性、顯著性和基于注意力的方式，以便研究人員能夠更好地了解所涉及的方法，進而獲得更深入的理解和洞見。

• 我們對Mixup方法在下游任務中的應用進行了系統性的綜述，提出了技術挑戰，并進一步展示了它們在視覺任務之外的廣泛適用性，如音頻、語音、圖形、生物學等領域。

• 我們進一步將Mixup方法總結為一種可訓練的范式，相比于其他綜述中將其作為數據增強工具和方法的處理方式，我們呼吁研究人員貢獻一個統一的Mixup框架，以解決多種任務，而不是離散的任務特定修改。

Mixup框架模塊 在本小節中，我們將詳細說明Mixup方法流程中的各個模塊功能，如圖2所示。

• 初始化：在進行Mixup之前，一些方法會選擇mini-batch中的原始樣本來篩選適合混合的樣本。例如，Co-Mix [26] 在mini-batch中選擇適合的樣本，以最大化所獲得的混合樣本的多樣性。除了篩選樣本外，一些基于顯著性的方式利用預訓練模型定位并獲取樣本的特征圖。最后，各種方法從Beta分布中獲取Mixup比例λ。

• 樣本Mixup策略：在監督學習中，我們將策略分為9類，詳細信息展示在圖A1中。靜態線性方法使用λ基于插值線性混合兩個或多個樣本。基于特征的方法使用由fθ(?)f_θ(·)fθ(?)獲得的原始樣本特征圖，并以插值線性的方式進行混合。切割方法通過不同方式（如切割、調整大小或堆疊）混合樣本，混合比例λ來自掩碼區域。K樣本Mixup方法使用兩個以上的樣本進行混合。隨機策略方法結合了多種不同的數據增強方法和一些手工制作的Mixup方法，策略的選擇由每種方法的權重因子決定。基于風格的混合方法通過額外的風格提取器從樣本的風格和內容中進行混合。顯著性方法使用樣本特征圖來定位顯著性信息，并獲得最大特征混合樣本。基于注意力的方法類似于顯著性方法，利用注意力得分而非顯著圖。生成樣本的方法使用生成模型，如基于GAN的模型[27]和基于擴散的模型[28]生成混合樣本。

• 標簽Mixup策略：在監督學習中，我們將策略分為8類，并在圖A1中展示了詳細內容。校準優化方法使用ECE指標對混合樣本進行排序，以提高分類性能和模型校準。基于區域的方法使用掩碼區域重新定義混合比例λ。損失對象方法重新定義新的Mixup分類損失或提出新的損失作為正則化方法。隨機策略方法將其他增強方法與Mixup方法結合或為Mixup提出新的訓練策略。混合比例優化方法使用可學習的參數作為λ，通過不同的混合樣本獲得可靠的混合比例。生成標簽方法通過混合樣本生成混合標簽，而不是使用one-hot標簽。注意力得分方法使用原始樣本的注意力圖來獲得比例，或者使用混合樣本的注意力圖通過每個樣本的得分計算混合比例。顯著性Token方法使用每個原始樣本的顯著圖并將其劃分為tokens，通過tokens計算混合比例。

• 采樣：一些方法僅專注于樣本策略，以提高模型的性能和能力。它們采用其他策略來固定比例λ或標簽，一些方法計算掩碼上的所有像素并固定λ，而另一些方法為混合樣本設置權重因子。

• 通道Mixup策略：與樣本或標簽不同，通道具有大量高級特征。Manifold Mixup [3] 通過插值線性獲得混合樣本，Catch up-Mix [29] 通過選擇一些特征圖進一步提高濾波器能力，獲得混合樣本。

Mixup方法的主要步驟

如圖2頂部所示，Mixup方法遵循以下步驟：

1. 從訓練數據集中加載mini-batch原始樣本；
2. 對于一些下游任務，包括選擇原始樣本和保留可靠樣本，一些基于顯著性或注意力的方法通過加載預訓練模型獲得特征區域或tokens。然后，定義從Beta分布或均勻分布采樣的混合比例λ；
3. 初始化后，原始樣本通過樣本Mixup策略與其他樣本混合。我們在3.1小節中展示了這些策略；
4. 當生成混合樣本x^\hat{x}x^ 后，有兩種選擇：一種是采樣，一些方法通過掩碼M的總像素更新混合比例，一些方法選擇混合樣本以保留更多的多樣性或具有挑戰性的樣本，另一些方法重新定義混合比例。另一種是標簽Mixup策略，我們在3.2小節中展示了這些策略并進一步挖掘標簽y^\hat{y}y^；
5. 最后一步是通道Mixup策略，混合樣本x^\hat{x}x^ 通過網絡編碼并映射到高維潛在空間，一些方法相互插值或選擇特征圖用于高維特征z^\hat{z}z^。然后繼續對特征向量進行編碼以執行不同的任務，并根據不同的損失函數優化網絡。

結論

在本綜述中，我們將Mixup方法重新表述為一個統一的框架，并總結了這些方法在2018年至2024年間在各種任務中的技術細節和數據模態。此外，我們將Mixup分為兩大類：樣本Mixup策略和標簽Mixup策略，這兩類可以涵蓋Mixup的不同改進版本，并在圖A1和圖A2中總結了本綜述中的所有Mixup方法。我們還總結了Mixup方法中經常使用的各種數據集類型，以及在常用數據集上基于主流模型進行圖像分類任務的主流Mixup方法的分類結果，顯示在表A2、表A3和表A4中。最后，我們討論了現有問題和未來有價值的研究方向，旨在為研究人員提供該領域中的一些前沿想法和思路。