亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要：

人工智能（AI）正在重塑科學發現，其角色正從專門的計算工具演化為自主的科研伙伴。我們將**智能體科學（Agentic Science）**定位為“AI for Science”范式中的關鍵階段，在這一階段，AI 系統從部分輔助走向全面的科學自主性。借助大語言模型（LLMs）、多模態系統以及一體化研究平臺，智能體化 AI 展現出在假設生成、實驗設計、執行、分析與迭代改進等方面的能力——這些行為曾被認為是人類獨有的。本綜述從生命科學、化學、材料和物理等領域出發，對自主科學發現進行了面向學科的系統性回顧，綜合各學科的研究進展與突破。我們通過一個綜合框架統一了此前分散的三類視角——過程導向、自主性導向和機制導向——并將其與基礎能力、核心過程及領域特定實現聯系起來。在該框架的基礎上，我們：(i) 追溯 AI for Science 的演進，(ii) 識別支撐科學自主性的五大核心能力，(iii) 將科學發現建模為動態的四階段工作流，(iv) 回顧其在生命科學、化學、材料科學和物理學中的應用，(v) 綜合關鍵挑戰與未來機遇。本研究確立了一個面向學科的自主科學發現綜合視角，并將智能體科學定位為推動 AI 驅動科研進步的結構化范式。 關鍵詞： 智能體科學，自主科學發現，自然科學，AI for Science，智能體化 AI，大語言模型

1. 引言

科學發現正經歷著一場由人工智能（AI）快速演進所驅動的變革性轉變，AI 的角色正在從專門化的工具轉向科研合作者。這一進展標志著“AI for Science”范式中的關鍵階段，即 AI 系統已從充當面向特定任務的計算“神諭”【121, 306, 339, 42, 87, 281, 351】逐步走向智能體科學（Agentic Science）的興起（見圖 1）【229, 220, 81, 274, 157】。智能體科學指的是“AI for Science”演化中的特定階段——主要對應圖 1 中的第 3 級（完全智能體化發現），其前身是第 2 級（部分智能體化發現）。在這一階段，AI 作為自主科學智能體，能夠獨立提出假設、設計并執行實驗、解釋結果，并以更少的人類依賴性迭代完善理論【229, 22】。這種進展得益于諸如 Intern-Discovery 這樣的綜合平臺（其提供了對多樣化 AI 智能體和數據集的訪問），以及 Intern-S1 等展現出深度科學推理能力的多模態模型。 這一轉變受到基礎模型（尤其是大語言模型，LLMs）【82, 256, 351】的最新突破所推動。LLMs 在自然語言理解、復雜推理和工具使用方面提供了前所未有的能力【245, 348, 323, 338, 337】，從而催生出能夠超越靜態學習流程的 AI 智能體。這類智能體不再僅是被動的模型，而是作為動態的、目標驅動的實體，能夠自主探索科學方法【311, 89, 178, 358】。從假設生成【307, 209】，到自主實驗【22, 317】，再到合成數據集的構建【150】，這些智能體展現出曾被認為僅屬于人類的涌現行為。 與現有綜述的比較。 盡管該領域發展迅速，但關于如何理解與設計日益自主化的科學系統，目前仍缺乏統一的框架。現有綜述大體可分為三類互補視角。過程導向的綜述試圖將 LLM 的能力映射到經典的 與現有綜述的比較。 盡管研究進展迅速，但關于如何理解和設計日益自主的科學系統，仍缺乏統一框架。現有綜述可沿三條互補軸線加以歸類：過程導向的視角將 LLM 的能力映射到經典研究循環【172, 352, 39】；自主性導向的研究依據系統的主動性與責任劃分等級【346, 293】；機制導向的分析則剖析支撐智能體行為的架構基元及其演化角色【220, 331, 81, 274】。盡管這些工作奠定了重要基礎，但仍然碎片化——往往將工作流程、自主性分級或體系結構彼此割裂開來單獨考察。 我們的貢獻。 有別于既有綜述分別從過程、自主性或架構單點切入，本文通過圖 2 所示的綜合框架對上述視角進行統一與拓展，將自主科學發現中的基礎能力—核心過程—領域實現貫通起來。我們圍繞生命科學、化學、材料與物理四大領域，給出面向學科的自主科學發現綜述，系統綜合各學科的研究進展與代表性成果。該統一視角將智能體科學從一個抽象階段提升為貫穿“能力—過程—應用”的結構化研究范式。我們的具體貢獻如下： 1. 繪制 AI for Science 的演進圖譜。 我們追溯了從“計算神諭”到“自主科研伙伴”的演進，形式化地將智能體科學界定為 AI 系統展現自主性、目標驅動推理與迭代學習的階段。 1. 科學智能體的“機理解剖”：五大核心能力。 我們識別并分析科學智能體所需的五項基礎能力：(i) 推理與規劃，(ii) 工具整合，(iii) 記憶機制，(iv) 多智能體協作，以及 (v) 優化與進化。針對每一項能力，我們回顧最前沿的實現（如【169, 25, 189, 32】）與領域特定挑戰。 1. 智能體科學的動態工作流：四個核心階段。 我們將科學發現建模為由智能體驅動的動態四階段工作流：(i) 觀察與假設生成，(ii) 實驗規劃與執行，(iii) 數據與結果分析，(iv) 綜合、驗證與進化。我們強調，智能體可以靈活、動態地組合這些階段以解決復雜科學問題【12, 22, 74, 73】。 1. 跨自然科學的系統綜述。 我們在自然科學四大領域（見圖 4：生命科學、化學、材料、物理）系統回顧智能體系統，覆蓋十余個細分方向，從藥物發現【317】到材料設計【113】，展示了智能體科學的廣泛適用性與領域特定創新。 1. 挑戰與未來機遇。 我們綜合該領域面臨的主要技術、倫理與哲學挑戰——包括可復現性、新發現的驗證與人—智能體協作——并提出研究路線圖，以引導穩健、可信且具影響力的科學智能體的未來發展。

通過上述綜合，我們旨在為智能體科學奠定概念與方法論基礎，引導后續研究走向能夠與人類探究共進化的 AI 系統設計，從而加速科學發現前沿的推進。

摘要——在大數據應用時代，聯邦圖學習（Federated Graph Learning, FGL）作為一種新興的解決方案，正在逐步成為協調分布式數據持有者之間集體智能優化與最大限度保護敏感信息之間權衡的關鍵技術。已有的 FGL 綜述雖具有重要價值，但主要集中于聯邦學習（Federated Learning, FL）與圖機器學習（Graph Machine Learning, GML）的集成，進而形成了一些以方法學和模擬場景為核心的早期分類體系。值得注意的是，從“數據中心化”視角出發，對 FGL 方法進行系統性梳理的嘗試尚屬空白，而這一視角對于評估 FGL 研究如何應對數據相關限制、進而提升模型性能至關重要。為此，本文提出了一種雙層次的數據中心化分類框架：（1）數據特征，根據 FGL 所使用數據的結構性和分布性特征對相關研究進行歸類；（2）數據利用，分析訓練過程中應對關鍵數據難題所采用的策略與技術。每一層次的分類框架均由三個正交維度構成，分別對應不同的數據中心化配置。除分類框架外，本文還探討了 FGL 與預訓練大模型的集成應用，展示了其在現實世界中的典型應用案例，并總結了與 GML 發展趨勢相契合的未來研究方向。 關鍵詞：聯邦圖學習，機器學習

一、引言

圖數據集以非歐幾里得結構形式表示，形式上被定義為由節點（實體）和邊（關系）組成的元組，用以嚴謹地建模復雜的現實世界系統。圖數據集的一個核心優勢在于其能夠顯式地編碼拓撲連接關系，從而突破獨立同分布（i.i.d.）數據的傳統約束，直接捕捉實體之間的交互依賴關系 [1]。與像素化圖像或文本等傳統數據格式不同，圖結構具備獨特的理論優勢，而圖神經網絡（Graph Neural Networks, GNNs）的引入使得機器學習（Machine Learning, ML）算法可以基于傳播機制挖掘隱藏在拓撲結構中的隱式信息結構。由于其顯著的有效性，GNNs 促成了諸如 AlphaFold [2] 等突破性成果，該方法通過氨基酸序列預測蛋白質結構，推動了疫苗和抗體的開發。 鑒于 GNNs 所展現出的卓越性能，眾多開創性模型相繼被提出，例如 GCN [3] 和 GAT [4]。這些方法大多采用以模型為中心的研究視角，強調通過創新的結構設計在給定數據集上實現最優性能 [5]。然而，這類方法的成功往往隱含著一個前提假設：所使用的數據集已經經過充分清洗與處理，性能提升主要歸因于模型結構的日益復雜。但現實世界中的數據常常存在顯著的不確定性，如噪聲干擾或對實體描述的不完整性，這些因素違背了上述假設。當低質量數據被輸入 GNNs 時，模型難以有效提取可靠知識，從而暴露出模型中心范式在實際應用中的脆弱性。 為應對上述局限，數據中心化的圖機器學習（Graph Machine Learning, GML）已逐漸發展為一種更具現實意義的研究范式，專注于解決實際數據問題。相應地，數據中心化 GML 正受到越來越多研究者的關注。然而，大多數現有研究仍假設數據處于集中式存儲環境中，即數據被統一保存在單一位置。與之相比，去中心化的數據中心化 GML 仍屬研究空白，盡管現實中數據往往分散在多個獨立持有者手中。與此同時，對去中心化數據的處理還需滿足隱私保護的嚴格法規要求。對此，聯邦學習（Federated Learning, FL）因其能夠在保障隱私的前提下實現分布式數據協同訓練而備受關注 [6]。 隨著 FL 向圖數據的擴展，聯邦圖學習（Federated Graph Learning, FGL）迅速發展為一個專門的去中心化圖學習框架。現有 FGL 研究普遍基于擬合真實場景的研究問題展開，在此基礎上，已有綜述提出了以“場景挑戰”為導向的分類框架。這些工作為該領域的發展作出了積極貢獻，但其范式主要源自模型中心視角，強調機制創新，卻較少關注數據集本身的特征差異，也未充分討論其數據中心化動因。 本文的動機：本綜述旨在從數據中心化角度出發審視 FGL，源于對以下事實的清晰認知：當前大多數 FGL 面臨的核心挑戰均與數據緊密相關，如統計異質性與拓撲異質性。此外，若要深入理解這些挑戰，就需要關注 FGL 所使用數據的特性，因為現有文獻中已涉及多樣的數據格式與去中心化配置。這種機制本質上是數據中心化 GML 在分布式環境下的延伸。為了幫助研究者從解決數據相關問題的角度更好地理解 FGL，本文致力于提供一個通用且系統化的指南。 具體而言，本文提出一個雙層次的數據中心化分類框架，每一層均由三個正交維度組成，這些組合構成了對現有研究的全面理解： * 數據特征維度：包括（i）區分不同類型的圖數據集（如同質圖、異質圖、知識圖與二分圖）；（ii）突出數據在客戶端間的分布形式；（iii）揭示每個客戶端的數據可見性水平，即客戶端是否可以訪問完整全局圖，或僅能訪問部分子圖。這些標準共同構成了對 FGL 研究中所處理數據結構與分布特征的全面刻畫。 * 數據利用維度：探討 FGL 方法如何以及何時將針對數據問題的機制納入訓練過程，具體包括：（i）明確關鍵數據挑戰，如數據質量欠佳、客戶端數據類別分布不均、大規模圖訓練過程中的收斂速度緩慢、以及數據隱私保護的增強；（ii）指出主要創新是集中在客戶端側，還是服務器端的操作流程中；（iii）進一步將訓練過程細化為四個執行階段（初始化、本地訓練、全局聚合與后聚合），并總結典型 FGL 方法中所采用的技術細節。

作為首個聚焦于數據中心化視角的 FGL 綜述，本文的貢獻體現在以下三個方面： * （a）新視角：首次從數據中心化角度系統整理 FGL 研究，厘清不同類型數據在現有工作中的定義與使用方式。該視角契合大數據時代的研究重點，在此背景下，數據屬性正在日益決定機器學習技術的選擇與效果。 * （b）雙層分類體系：提出基于數據中心化視角的雙層次分類框架，每層均由三個正交標準構成，從細粒度上劃分現有重要 FGL 研究，有助于研究者迅速定位與特定數據問題相關的研究成果。 * （c）擴展影響——生成式人工智能：首次探討 FGL 與預訓練大模型（Pre-trained Large Models, PLMs）的整合潛力，以加速圖機器學習研究的進展。未來研究方向部分還指出了多個尚未被充分探索的數據中心化議題，強調其在 FGL 背景下的重要性與研究價值。

本文結構安排如下：第二節介紹 FL 與 FGL 的基本概念及其通用訓練流程；第四節呈現基于數據特性的第一層分類，從本地與全局視角展開；第五節構建第二層分類，具體分析數據中心化挑戰及代表性 FGL 方法的應對策略；第六節討論客戶端處理非圖結構數據的研究；第七節評估 FGL 在解決現實世界數據問題中的適用性；第八節探討 FGL 與 PLMs 的雙向融合；第九節展望未來研究方向，包括 FGL 與 GML 熱點議題的融合，以及向更復雜圖結構類型的拓展。

摘要——大型語言模型（LLMs）的最新進展正在推動自主智能體的發展，這些智能體具備在動態、開放式環境中感知、推理和行動的能力。與傳統靜態推理系統相比，這類基于大模型的智能體標志著一種范式的轉變，即朝向具備交互性和記憶增強能力的實體。盡管這種能力大幅拓展了人工智能的功能邊界，但也引入了新的、質變級的安全風險，例如記憶投毒、工具濫用、獎勵操控（reward hacking）以及由價值錯位導致的涌現性失配等問題，這些風險超出了傳統系統或獨立LLM的威脅模型范圍。

本綜述首先分析了推動智能體自主性不斷增強的結構基礎與關鍵能力，包括長期記憶保持、模塊化工具使用、遞歸規劃以及反思式推理。隨后，我們從智能體架構全棧角度出發，系統分析了相應的安全漏洞，識別出諸如延遲決策風險、不可逆工具鏈以及由內部狀態漂移或價值錯位引發的欺騙性行為等失敗模式。這些風險可歸因于感知、認知、記憶與行動模塊間在結構上的脆弱性。

為應對上述挑戰，我們系統梳理了近年來針對不同自主性層級提出的防御策略，包括輸入凈化、記憶生命周期控制、受限決策制定、結構化工具調用以及內省式反思機制。盡管這些方法在一定程度上可緩解風險，但大多是孤立實施，缺乏對跨模塊、跨時間維度涌現性威脅的系統性響應能力。 鑒于此，我們提出了反思性風險感知智能體架構（Reflective Risk-Aware Agent Architecture, R2A2），這一統一的認知框架基于受限馬爾可夫決策過程（Constrained Markov Decision Processes, CMDPs），融合了風險感知世界建模、元策略適應以及獎勵–風險聯合優化機制，旨在在智能體決策循環中實現系統化、前瞻性安全保障。本綜述系統闡釋了智能體自主性如何重塑智能系統的安全格局，并為下一代AI智能體中將安全性作為核心設計原則提供了理論藍圖。 關鍵詞：自主智能體、大語言模型、AI安全、智能體安全、工具濫用、記憶投毒、對齊性、反思架構!

引言

人工智能的最新進展催生了一類基于大規模模型的自主智能體系統 [1][2]。與傳統AI系統針對輸入只輸出一次性預測或決策不同，這些大型模型智能體（通常由最先進的大語言模型，LLMs，驅動）[3]–[7]能夠持續與環境交互：它們可以感知來自用戶或其他來源的輸入，推理下一步行動，并通過各種工具或執行器執行操作，形成一個閉環反饋過程 [8]。早期的原型系統（如具備工具訪問能力的交互式聊天機器人）已展示出這樣的能力：一個具備記憶機制 [9] 和指令執行能力的LLM，可以在無需人類持續監督的情況下完成多步任務 [6][7][10]。這標志著AI范式的一次重大轉變——從靜態模型向主動、具身（situated）的智能體演化，在網絡空間中模糊了“軟件”與“機器人”的界限 [11]。這一轉變在安全性方面帶來了深遠的影響，因為智能體的自主性與廣泛能力既創造了新機遇，也引入了前所未有的風險。 在每一個循環中，智能體接收輸入（用戶查詢或環境反饋），并將其傳遞給LLM，后者再生成一個行動或決策。該行動可能涉及調用工具（如查詢數據庫或執行代碼），工具的輸出隨后被反饋給智能體作為新的信息 [6][7][10][12]。這種“感知–行動”循環賦予智能體自主運行能力：它可以基于中間結果調整計劃、通過多步操作追求目標，甚至用新數據更新內部記憶。簡言之，大模型智能體將靜態AI模型轉變為能夠持續學習并影響其環境的自適應決策者。 從靜態模型到基于LLM的自主智能體的范式轉變，可以被視為從單輪智能躍遷至持續智能（見圖1）。傳統AI系統（如早期專家系統或規則驅動的機器人）依賴預定義規則或狹窄模型，難以泛化到預設范圍之外 [13][14]。而基于LLM的智能體繼承了底層模型的開放式問題解決能力，擁有更廣闊的行動空間。它可以在運行時閱讀文檔或動態上下文，并即興學會使用新工具 [15]。這種靈活性激發了廣泛的期待：這類智能體有望在社會中扮演通用助手的角色，解決各種復雜任務。目前，LLM智能體已在軟件編程、網頁自動化、個人助理、甚至機器人控制等領域獲得應用，標志著通用人工智能邁出了關鍵一步 [16]。 在人類獲得對其他物種主導地位的根本原因，并非力量或速度，而是智能。如果AI發展繼續當前的趨勢，其系統最終可能在幾乎所有領域超越人類的推理能力 [17]。Bengio等人警告稱，AI發展的速度已超越安全研究的進展，并呼吁從多維度展開主動風險管理 [18]。這種“超智能體”將具備發明新工具與策略以控制環境的能力 [19]。但與人類不同，它們并不繼承我們的進化本能或動機——然而，大多數目標（即使是良性的）在資源增加的前提下往往更易實現 [20]。這種默認激勵結構可能使其目標與人類利益發生沖突，甚至導致欺騙性、操控性或抵抗干預的行為 [17]。 為應對這一風險，Bengio等人提出了一種新的范式：“科學型AI”（Scientific AI）[21]，強調“理解先于行動”。科學型AI并不通過無約束行為直接優化目標，而是優先構建準確、可解釋的世界模型，生成因果假設，并在不確定性下進行推理。該方法鼓勵智能體進行自省、模塊化推理和可驗證性，從而降低目標錯配帶來的風險 [22]。因此，我們必須謹慎確保智能體是“對齊的”（aligned），即它們能夠可靠地追求有益目標、配合人類監督 [23]，并能容忍設計上的不完美。這些根本性挑戰——目標對齊、價值函數的正式定義、以及可糾正性——構成了長期AI安全研究的核心問題 [24]。 大型語言模型（LLMs）的近期突破 [25] 進一步推動了一代全新自主智能體的誕生：它們具備長期規劃、持久記憶和外部工具調用能力。盡管這些能力在各領域具有變革潛力，但其高度自主性也帶來了根本性的安全挑戰。不同于僅生成文本的靜態LLM，自主智能體能夠執行真實世界中具有后果的行為——例如執行代碼、修改數據庫或調用API——從而放大了系統故障與對抗性攻擊的風險。如表1所示，這些威脅正源自于賦予智能體強大能力的核心特性：多步推理、動態工具使用和面向環境的適應性擴展了在多個系統層級上的攻擊面 [26]–[35]。底層LLM仍易受到對抗性提示與幻覺的影響 [36]；記憶系統可能被投毒、操控或外泄；工具接口可能成為執行不安全行為的通道；規劃模塊可能生成脆弱的行動序列或追求錯配目標。更嚴重的是，這些風險因智能體運行在開放、不可預測的環境中（如不可信網頁內容或用戶輸入）而被進一步放大，這些環境挑戰了傳統的安全假設 [37]–[39]。 為系統性理解自主性增強如何帶來安全風險的升級，我們在表1中總結并對比了三類AI系統的關鍵區別：傳統AI、獨立LLM，以及基于LLM的自主智能體。比較涵蓋六個關鍵安全維度：自主性水平、學習動態、目標形成、外部影響、資源訪問能力與對齊可預測性。傳統AI系統通常運行在封閉、沙盒環境中，安全風險較低；獨立LLM引入了靈活的自然語言接口，但也因此容易受到提示注入攻擊 [40]；LLM智能體則更進一步：它們擁有記憶、可調用工具，并執行長期決策，使其面臨工具濫用 [41][47]、記憶投毒 [42]、涌現性欺騙 [45]、不安全目標重構 [44] 等新型攻擊路徑。為補充此類能力與風險等級的演進，我們在表中增加了“代表性威脅與實例”列，列舉了近年來文獻中發現的真實世界漏洞和失敗模式。例如，盡管獨立LLM缺乏持久狀態，但具備記憶與規劃能力的自主智能體已被觀察到會產生欺騙行為 [43]、濫用委派工具 [46]，或由于遞歸推理缺陷生成不安全的行動鏈。這一結構化升級表構成了后續章節分析智能體架構漏洞與防御策略的基本視角。

摘要——隨著生成式人工智能（Generative AI）的快速發展，尤其是大語言模型的不斷突破，推薦系統正朝著更具通用性的方向演進。與傳統方法不同，生成式人工智能不僅能夠從復雜數據中學習模式和表示，還具備內容生成、數據合成和個性化體驗等能力。這種生成能力在推薦系統中發揮著關鍵作用，能夠緩解數據稀疏問題，并提升系統的整體性能。當前，基于生成式 AI 的推薦系統研究已取得了豐富成果。與此同時，推薦系統的目標也已超越單一的準確性要求，催生了大量面向多目標優化的研究，試圖在推薦中綜合考慮多種目標。然而，據我們所知，目前尚缺乏基于生成式 AI 技術的多目標推薦系統的系統性綜述研究，相關文獻仍存在明顯空白。為填補這一研究空缺，本文對融合生成式 AI 的多目標推薦系統研究進行了系統梳理，按照優化目標對現有工作進行分類整理。同時，我們總結了相關的評估指標和常用數據集，并進一步分析了該領域面臨的挑戰與未來發展方向。 關鍵詞——多目標優化，推薦系統，生成式人工智能，大語言模型

1 引言 在大數據時代，推薦系統已成為應對信息過載問題的關鍵工具，幫助用戶高效地發現有價值的內容。它們被廣泛應用于音樂、新聞、職位推薦等多個領域 [1]–[3]，通過過濾海量信息流，顯著提升用戶體驗。推薦系統的發展已歷經數十年，從最初的協同過濾方法 [4]–[7] 和內容推薦方法 [8], [9]，到后來的混合模型 [10]、基于圖神經網絡的方法 [11]，以及深度學習方法 [12], [13]，不斷演進以滿足日益增長的個性化和可擴展性需求。

近年來，生成式人工智能（Generative AI）的突破顯著改變了推薦系統的格局。正如文獻 [14] 所指出的，基于生成技術的推薦系統已成為該領域的新興研究方向。生成對抗網絡（GANs）[15]、變分自編碼器（VAEs）[16]、擴散模型 [17] 和大語言模型（LLMs）[18] 等技術，使得推薦系統能夠更豐富地進行數據合成并實現更深層次的上下文理解。其中，大語言模型在處理多模態數據（文本、圖像、視頻）和生成上下文感知的推薦內容方面展現出強大能力，帶來了前所未有的靈活性。與傳統模型依賴歷史數據預測用戶偏好不同，生成模型可以模擬用戶交互、增強稀疏數據集，并生成個性化內容，從而為推薦范式的創新開辟了新路徑。

生成模型在推薦系統領域展現出巨大潛力。目前的研究主要集中在單一目標任務，例如通過合成數據提升準確性，或利用大語言模型增強可解釋性。然而，對準確性的過度關注可能導致“過濾泡沫”（filter bubble）現象 [19]，使用戶被限制在重復或同質化的內容中，抑制探索行為并削弱長期參與度。考慮到生成式人工智能在推理和理解方面的先進能力，其在多目標推薦中的應用也極具前景。 研究社區已廣泛探索在傳統推薦系統框架下平衡多種目標的多目標推薦系統（MORS）[20]–[23]，但在融合生成式 AI 技術方面，相關研究仍屬稀缺。因此，將多目標優化整合進生成式推薦系統，是一個亟待深入研究的方向。

為填補這一空白，本文系統調研了使用生成技術實現多目標推薦的現有研究。我們特別強調，任何關于推薦系統附加目標（如多樣性、偶然性或公平性）的討論，都隱含地將準確性作為基礎性前提。因此，我們將多目標推薦系統（MORS）定義為：優化準確性之外其他目標的推薦系統。 本綜述識別出當前生成式推薦系統中除準確性外的主要目標包括：多樣性、偶然性、公平性與安全性；此外還涉及新穎性、可控性、效率與魯棒性等附加目標。我們聚焦于推薦系統中廣泛應用的四類生成技術：GANs、擴散模型、VAEs 與大語言模型。針對每一類目標，我們深入回顧了主流的模型架構與評估指標，并總結相關發展挑戰，旨在為未來的多目標生成式推薦研究提供基礎性見解。

本文的主要貢獻如下：

本文為首個將生成式人工智能（包括 GANs、VAEs、擴散模型和大語言模型）與多目標推薦系統（MORS）結合的全面綜述，提出了一個面向目標的分類框架，系統回顧了四類關鍵目標（多樣性、偶然性、公平性、安全性）下模型架構、優化策略和評估指標的發展與局限性。 * 我們系統總結了不同目標領域（如公平性與偶然性）下的專用評估指標與對應基準數據集，為實驗設計提供標準化參考。 * 我們還討論了生成式 MORS 研究中的核心挑戰，并展望了未來的發展方向，包括改進評估指標、設計適用于 LLM 的高級策略、融合多種生成技術以提升推薦質量等。此外，我們強調跨學科合作（如倫理學、社會學）的重要性，以構建更加公平透明的推薦系統。這些見解為學術界與工業界的進一步探索與創新奠定了基礎。

文章結構概覽：

第 2 節綜述推薦系統、生成式推薦系統和多目標推薦系統的相關文獻，構建研究背景。 第 3 節介紹本文涵蓋的四類主要生成技術。 第 4 節作為核心部分，系統梳理基于生成技術的多目標推薦系統，按超越準確性的目標進行分類，介紹相關定義、模型與評估指標。 第 5 節總結各類目標下常用的推薦數據集。 第 6 節探討每類關鍵目標面臨的主要挑戰。 最后在第 7 節對全文進行總結。

摘要——視頻超分辨率（Video Super-Resolution，簡稱 VSR）是計算機視覺低層次任務中的一個重要研究方向，其中深度學習技術發揮了關鍵作用。近年來，深度學習的快速發展及其在 VSR 領域中的廣泛應用，推動了相關方法與技術的蓬勃發展。然而，這些方法的使用方式往往缺乏充分解釋，其設計決策更多是基于定量性能的提升。考慮到 VSR 在多個領域中具有廣泛而深遠的潛在影響，有必要對 VSR 研究中所采用的關鍵要素和深度學習方法進行系統的分析。這樣的系統性分析有助于針對具體應用需求開發更合適的模型。 本文對基于深度學習的視頻超分辨率模型進行了全面綜述，詳細探討了模型的各個組成部分及其潛在影響。同時，我們總結了當前主流以及早期 VSR 模型中所采用的關鍵技術和組件。通過對相關方法的解析與系統分類，我們揭示了該領域的發展趨勢、實際需求與面臨的挑戰。作為首個專門針對基于深度學習的 VSR 模型的綜述性工作，本文還建立了一個多層次的分類體系，為當前及未來的 VSR 研究提供指導，推動 VSR 技術在多種實際應用中的發展與理解。

關鍵詞——視頻超分辨率，深度學習，上采樣，融合，綜述，下采樣，對齊，損失函數

一、引言

近年來，隨著視頻采集技術、傳輸網絡以及顯示設備的不斷進步，視頻類多媒體內容的使用量顯著增加。這些技術的發展促使用戶對更高質量視頻信號的需求不斷增長。視頻質量可以從兩個角度來定義：服務質量（Quality of Service，QoS）和體驗質量（Quality of Experience，QoE）。 從 QoS 的角度看，較高的視頻質量意味著更高的碼率、更大的空間分辨率和/或更高的時間分辨率（即每秒幀數更多）。而從 QoE 的角度看，較高的質量則是一種主觀感受，難以量化，因為它取決于用戶的觀感體驗，這種體驗因人而異。

已有研究表明，在視頻信號的時空維度上進行增強，通常能夠提高 QoS，從而進一步改善用戶的 QoE 感知體驗【1】。更高的分辨率不僅提升了視頻的視覺效果，也增強了整體用戶體驗。因此，越來越多的視頻超分辨率（Video Super-Resolution，VSR）模型被提出和開發【2】【3】。VSR 的目標是從給定的低分辨率（Low-Resolution，LR）視頻輸入中生成高分辨率（High-Resolution，HR）的視頻輸出，從而提升圖像質量。

我們可以假設高分辨率視頻經歷了如下操作后生成低分辨率視頻： 其中，LR 表示低分辨率視頻，其來源是將高分辨率視頻 HR 的每一幀與模糊核進行卷積處理，隨后再進行其他降采樣操作。 其中，LR 表示低分辨率視頻，是在將高分辨率視頻 HR 的每一幀與模糊核或三次插值核 kkk 進行卷積處理后，接著執行下采樣操作 ddd，并疊加噪聲 nsn_sns 所得到的結果。因而，從 LR 視頻中重建出 HR 視頻的超分辨任務，實質上是對模糊核、下采樣過程以及噪聲的估計過程，是一個典型的逆問題。正如公式（1）所示，VSR 是一個病態的逆問題，是計算機視覺低層任務中的一個尚未完全解決的研究方向。 VSR 在研究中通常被視為單圖像超分辨（Single-Image Super-Resolution，SISR）和多圖像超分辨（Multi-Image Super-Resolution，MISR）的擴展。然而，與 SISR 和 MISR 不同，VSR 面臨更大的挑戰，因為它需要對視頻序列中高度相關但時空對齊不一致的幀進行有效建模【4】【5】。若直接將傳統 SISR 或 MISR 的方法應用于視頻超分辨任務，往往難以捕捉視頻幀之間的時間依賴性【6】【7】。因此，近年來研究者轉而采用基于學習的方法，充分挖掘低分辨率視頻中的時空特征，將其還原為高分辨率視頻【8】–【13】。

在傳統方法中，通常采用反投影（Back-Projection）方法【14】或基于最小均方（Least Mean Squares, LMS）的卡爾曼濾波方法【15】來插值圖像或視頻幀中的像素。這些方法主要基于確定性函數，將 LR 輸入映射為 HR 輸出。然而，傳統方法的確定性本質限制了它們在不同視頻內容上的泛化能力，所求得的逆函數也無法充分刻畫從 HR 到 LR 的非線性變換過程。

相比之下，近年來基于深度學習的視頻超分辨模型因其具有隨機性和數據驅動的特點，受到了廣泛關注。這類模型不僅具有良好的泛化能力，還能學習復雜的非線性映射函數，將 LR 視頻有效還原為 HR 視頻。學習型的 VSR 方法通常包括特征提取、對齊、融合、重建和上采樣等關鍵步驟。在這類模型中，從精確對齊的幀中提取相關特征并進行融合，是整個重建過程的核心【13】【16】【17】。 本文將深入探討基于深度學習的視頻超分辨模型的各個組成部分。迄今為止，僅有一項研究在該方向上進行過綜述【18】，但該研究僅以對齊過程為核心，采用了單層分類體系，未能充分覆蓋 VSR 領域中的多樣性與復雜性。而事實上，VSR 中的多個子模塊具有極高的多樣性，導致模型的行為和性能結果難以解釋與歸因。

因此，本文旨在彌補這些空白，具體目標包括： * 提出一個新的多層次分類體系，并全面梳理各 VSR 組件中的方法與研究趨勢； * 深入評述深度學習在視頻超分辨任務中的應用方法； * 系統總結 VSR 相關文獻中的研究現狀、發展趨勢、典型應用和挑戰； * 增強 VSR 模型及其性能的可解釋性； * 為未來 VSR 的研究提供基于當前需求與研究空白的實踐指導。

 摘要—生成性人工智能（AI）通過使機器能夠以空前的復雜性創建和解釋視覺數據，迅速推動了計算機視覺領域的發展。這一變革建立在生成模型的基礎上，能夠生成逼真的圖像、視頻以及3D/4D內容。傳統上，生成模型主要關注視覺逼真度，而往往忽視了生成內容的物理合理性。這一差距限制了其在需要遵守現實世界物理法則的應用中的效果，如機器人技術、自動化系統和科學模擬。隨著生成性人工智能不斷融入物理現實和動態仿真，其作為“世界模擬器”的潛力不斷擴大——能夠模擬由物理法則主導的交互，架起虛擬與物理現實之間的橋梁。本綜述系統地回顧了這一新興領域——計算機視覺中的物理感知生成性AI，按其如何融入物理知識對方法進行了分類——無論是通過顯式仿真還是隱式學習。我們分析了關鍵范式，討論了評估協議，并指出了未來的研究方向。通過提供全面的概述，本綜述旨在幫助未來在視覺領域的物理基礎生成方面的發展。綜述中提到的論文匯總在

//github.com/BestJunYu/Awesome-Physics-aware-Generation

1 引言生成學習一直是現代計算機視覺的基礎支柱，解決了理解、合成和操作視覺數據中的關鍵挑戰。在過去的十年里，該領域見證了多種生成模型的快速發展，包括變分自編碼器（VAE）[1]、生成對抗網絡（GAN）[3]、擴散模型（DM）[4]、[5]、[6]、神經輻射場（NeRF）[7]、高斯濺射（GS）[8] 和視覺自回歸模型（VAR）[9]。這些模型不斷推動生成學習的邊界，利用越來越強大的架構來捕捉視覺數據的潛在分布。其目標是使機器能夠以類似人類的創造性和理解方式推理視覺世界，通過在未見過的場景中想象新的視覺內容實例。在這些進展中，擴散模型因其能夠生成高度逼真的輸出而成為特別值得注意的技術。通過通過學習到的去噪過程迭代地精煉隨機噪聲，擴散模型展現出卓越的魯棒性和多功能性，成為近期生成方法學的基石。生成模型的應用跨越了多種視覺內容的模態，包括具有語義理解的圖像生成、具有動態時間理解的視頻生成、具有增強空間理解的3D內容生成[10]、[11]、[12]以及具有更復雜和綜合理解的4D內容[13]、[14]、[15]、[16]、[17]、[18]、[19]。這些進展突顯了生成學習在日益復雜的視覺任務中的巨大潛力。在這些不同的視覺模態中，視頻生成最近在生成學習領域獲得了顯著關注，它為擴展大型生成模型處理更高維數據提供了一個更加具有挑戰性的試驗平臺。這一復雜性不僅源于單個幀的空間復雜性，還來自于跨序列所需的時間一致性。許多商業視頻生成模型已被開發并引起了廣泛的公眾關注，如OpenAI的Sora [20]、Google的Veo2 [21]、騰訊的Hunyuan [22]和快手的Kling [23]。視頻生成已在多種形式和設置中得到深入研究，從最基本的無條件生成[24]、[25]到圖像到視頻生成[26]、[27]、[28]、[29]、[30]、[31]、[32]、[33]、文本到視頻生成[24]、[25]、[26]、[29]、[30]、[30]、[34]、[35]、[36]、[37]、視頻到視頻生成[38]、[39]、以及視頻編輯或定制[40]、[41]、[42]、[43]。這些設置各自解決了獨特的挑戰，從保持時間連續性到結合來自文本或視覺輸入的語義引導。更重要的是，視頻在生成AI視覺的未來中占據了關鍵地位。互聯網上可用的大量視頻數據封裝了關于現實世界的豐富信息，使視頻成為生成AI可以學習建模復雜現實世界現象的媒介。在這個背景下，視頻可以被視為現實世界決策的“語言”，具有彌合數字和物理領域的潛力[44]。視頻生成有望提供一個統一的接口作為“世界模型”[45]，處理物理知識，類似于文本大語言模型（LLM）處理抽象知識的方式。這種模型可以促進大量下游任務的執行，包括自動駕駛、科學仿真、機器人[46]、[47]、[48]、[49]、[50]以及其他形式的具身智能。為了實現這一潛力，生成過程應能夠與人類或其他系統的外部控制進行交互。這種互動性促進了動態決策制定和基于互動優化結果的能力，催生了可以描述為生成交互環境的概念[44]、[51]、[52]、[53]。視頻生成已經與多種交互控制信號相結合，如運動向量或軌跡[54]、[55]、[56]、[57]、[58]、手部掩碼[59]、潛在動作[53]、[60]、機器人操作[47]、相機運動[61]、演示[62]和自然語言描述[63]、[64]、[65]。這些互動元素突顯了生成視頻模型的多功能性和適應性，為其演變為世界模型鋪平了道路。然而，從生成到穩健世界建模的過渡仍然存在一個關鍵差距：真實世界物理的忠實理解和復制能力[66]（見圖1）。當前的最先進模型主要針對像素空間中的視覺真實感進行優化，而非在實體或概念空間中的物理合理性。為了使生成模型能夠作為物理世界的模擬器，它們必須融入對物理法則的深刻理解，如動力學、因果關系和材料屬性。這種物理意識對于超越僅生成視覺上吸引人的輸出至關重要，以確保內容與物理世界的約束和行為一致。因此，我們提供本綜述，作為對現有文獻的及時而全面的回顧，旨在將物理感知嵌入生成模型。通過審視這些努力，我們希望突出至今所取得的進展，提供清晰的范式結構，并識別未來的潛在研究方向。綜述范圍：本綜述的范圍是關于增強生成輸出物理感知的計算機視覺生成模型。因此，我們不包括將物理原理作為先驗知識或歸納偏置融入模型或神經架構設計的文獻，例如物理信息神經網絡（PINN）[67]、[68]，即使任務與生成學習相關，例如[69]、[70]、[71]。我們專注于生成任務，因此不包括圖像處理任務，如去模糊、去霧和增強，盡管我們注意到這些工作中有大量的物理相關內容。為了專注于計算機視覺，我們還排除了純圖形和渲染研究與物理仿真相結合的文獻。與其他綜述的比較：如同在我們的范圍中所述，本綜述與現有的關于物理信息機器學習[72]、物理信息計算機視覺[73]和物理信息人工智能[74]的綜述不同，因為它們強調的是在物理先驗知識下的模型設計方面。我們的綜述專注于具有物理感知的生成，因此與現有的關于生成模型[75]、擴散模型[76]、[77]、視頻擴散模型[78]、基于擴散的視頻編輯[79]的綜述有所不同。與專注于特定領域的綜述，如人類視頻或運動生成[80]、[81]、[82]相比，我們的綜述也有不同的范圍。

摘要——近年來，自動駕駛領域的突破性進展徹底改變了車輛感知和與周圍環境互動的方式。特別是，世界模型作為一種關鍵技術應運而生，提供了對駕駛環境的高保真表示，能夠整合多傳感器數據、語義信息和時間動態。這類模型將感知、預測和規劃統一起來，使得自動駕駛系統能夠在復雜且經常不可預測的條件下快速做出知情決策。研究趨勢涉及多個領域，包括4D占用預測和生成數據合成，這些都能增強場景理解和軌跡預測。值得注意的是，近期的研究利用大規模預訓練和先進的自監督學習，擴大了模型在稀有事件模擬和實時互動方面的能力。在應對諸多關鍵挑戰時——包括領域適應、長尾異常檢測以及多模態融合——這些世界模型為更強大、可靠且適應性更強的自動駕駛解決方案鋪平了道路。本綜述系統地回顧了當前的技術前沿，將相關技術按其在未來預測、行為規劃以及兩者之間的互動方面的側重點進行了分類。我們還識別了未來研究的潛在方向，強調了整體集成、計算效率提升和高級仿真等方面。我們的綜合分析凸顯了世界模型在推動下一代自動駕駛系統朝著更安全、更公平的出行方向發展的變革性作用。

關鍵詞——自動駕駛、世界模型、自監督學習、行為規劃、生成方法 1 引言 1.1 概述 完全自動駕駛的追求已經迅速成為全球科學研究和工業努力的焦點。其核心目標是同時減少交通事故、緩解擁堵，并提升不同社會群體的出行能力[1]。現有統計數據顯示，人為錯誤仍然是道路事故的主要原因[2]，這表明，減少人工干預可以顯著降低與交通相關的死亡和傷害的發生率。除了安全性，經濟因素（例如，減少擁堵和優化物流）也推動了自動駕駛技術的發展[3]。 盡管這些激勵因素令人信服，實現高水平的自動駕駛仍需克服相當大的技術難題。最重要的挑戰之一是感知和理解動態交通場景，這要求將異構傳感器數據流（例如激光雷達、雷達、攝像頭）融合成一個統一的環境表示[4]，[5]。從復雜的城市布局到高速公路，自動駕駛車輛必須快速吸收多模態數據，檢測關鍵物體（如車輛、行人、自行車騎行者），并預測它們在不同條件下的運動——例如惡劣天氣、無結構道路或繁忙的交通[6]，[7]。此外，實時決策還帶來了嚴格的計算約束，要求系統在毫秒級響應時間內應對突發障礙物或異常行為[8]，[9]。同樣關鍵的是，系統在極端或長尾場景（例如嚴重天氣、施工區或異常駕駛行為）下的魯棒性，在這些情況下，性能不足可能會危及整體安全性[10]，[11]。 在這一背景下，構建穩健且穩定的世界模型已成為基礎性要素。世界模型的概念包括創建一個高保真的駕駛環境表示——涵蓋靜態結構（如道路、建筑）和動態實體（如車輛、行人）[3]，[8]。一個全面的世界模型不斷捕獲語義和幾何信息，同時實時更新這些表示，從而為下游任務（如物理世界預測）提供支持[12]，[13]。近期的進展通過集成多傳感器數據來細化這些表示，例如生成性方法[14]，[15]，這些方法通過模擬物理世界來進行訓練，將異構傳感器輸入統一為一致的自上而下的視角[16]，[17]。 這些穩健的世界模型利用環境表示來優化智能體的行為規劃，為更安全和更高效的自動駕駛應用奠定了基石。通過實現主動軌跡優化、實時危險檢測和自適應路線規劃，它們能夠直接降低突發危險所帶來的風險[5]，并與不斷發展的車聯網（V2X）系統相契合[9]。最終，世界模型促進了感知和控制子系統之間更緊密的集成，簡化了閉環自動駕駛管道[18]，[19]。 現有關于世界模型在自動駕駛中的綜述通常可分為兩類。一類主流綜述側重于描述廣泛應用于多個領域的世界模型[20]–[22]，其中自動駕駛只是一個特定應用領域。第二類綜述[23]，[24]則專注于世界模型在自動駕駛領域中的應用，嘗試總結該領域的現狀。目前，關于自動駕駛中世界模型的綜述較少，它們通常對這些研究進行大致分類，且常常僅關注世界仿真或缺乏對行為規劃與物理世界預測交互的討論，導致該領域缺乏清晰的分類體系。本文的目標不僅是正式定義和分類自動駕駛中的世界模型，還提供對近期技術進展的全面回顧，并探索其在多個領域的廣泛應用，特別強調它們在自動駕駛中的變革性潛力。這一結構化的分類方法使我們能夠突出這些模型如何根據汽車行業的挑戰進行塑造和適應。 1.2 貢獻 本文綜述的指導思想是世界模型是理解動態場景的核心，旨在提供一個全面、結構化的現有方法論回顧。我們將最前沿的研究分類為三個關鍵領域： 物理世界的未來預測：聚焦于動態物體和靜態實體的物理世界演化[11]，[25]； 智能體的行為規劃：研究生成式和基于規則的規劃方法，這些方法在不確定的駕駛條件下生成安全、有效的路徑[12]，[13]； 行為規劃與未來預測之間的交互：強調統一框架如何捕捉智能體之間的交互，并利用預測性洞察進行協同優化[18]，[26]，[27]。 具體來說，我們提供： 未來預測模型的深入分析：我們討論了基于圖像/鳥瞰圖/物體圖/點云的研究如何在動態場景中實現幾何和語義的高保真度，包括4D占用預測和基于擴散的生成方法。 行為規劃研究：我們探索了基于規則和基于學習的方法在行為規劃中的應用，展示了在魯棒性和避碰性能上的顯著提升。 交互模型研究的提案：我們系統回顧了交互模型，這些模型共同解決未來預測和智能體行為問題，并說明這種協同如何大幅提升現實世界的適應性和操作安全性。 我們總結了目前的開放挑戰，如自監督方法的無縫集成[26]、稀有事件增強的大規模仿真[10]，[28]、以及實時多智能體協調[27]，并為未來的研究提供了方向。隨著研究領域的不斷擴展以及現實世界應用的緊迫性，本綜述旨在為研究人員和實踐者提供有價值的參考，為更安全、更穩健的自動駕駛解決方案奠定基礎。 1.3 結構 本文的結構概覽見圖1，具體如下：第1節介紹了世界模型在自動駕駛中的重要性，并概述了它們解決的社會和技術挑戰。第2節提供了世界模型在自動駕駛中的背景知識，重點討論了物理世界的未來預測和智能體的行為規劃。第3節詳細介紹了方法的分類：第3.1節討論了物理世界的未來預測方法，涉及動態物體和靜態實體的物理世界演化；第3.2節討論了強調生成安全、有效駕駛策略的先進行為規劃方法；第3.3節研究了未來預測與行為規劃之間的交互關系，重點介紹了復雜場景下的協同優化技術。第4節探討了數據和訓練范式的不同方法，包括監督學習、自監督學習和數據生成技術。第5節考察了世界模型應用的領域和任務，討論了這些技術在感知、預測、仿真和系統集成等多個領域的影響。第6節對自動駕駛中的世界模型進行了詳細評估，評估了它們在不同任務和指標中的有效性。第7節探討了開放挑戰、潛在研究方向和進一步創新的有前景的方向。第8節總結了本綜述，并重申了世界模型在自動駕駛中不可或缺的作用。

21世紀人類社會迎來了前所未有的技術革命——人工智能（AI）的興起。它以迅雷不及掩耳之勢，滲透到我們生活的方方面面，重塑著我們的認知和社會格局。它不僅極大地提高了生產效率，還為解決復雜的社會問題提供了新的視角和工具。然而，隨著AI技術的迅猛發展，其所帶來的倫理、法律和社會問題也日益凸顯，如何確保AI技術的“可信”屬性，成為全球關注的焦點。　　在此背景下，《可信人工智能治理白皮書》應運而生。本白皮書由安永（中國）企業咨詢有限公司和上海市人工智能社會發展研究會聯合撰寫，旨在深入探討人工智能的全球發展態勢、監管體系、可信原則、關鍵問題、企業合規要求、風險治理理論、進階工具以及行業洞察等多個方面。我們希望通過這份白皮書，為政策制定者、企業管理者、技術開發者以及所有關心AI發展的讀者，提供一份全面、深入、客觀的參考和指導。　　在這份白皮書中，我們將重點探討“可信人工智能”的內涵，分析其在算法透明度、數據安全、倫理道德等方面所面臨的挑戰。同時，我們也將關注企業在AI應用中的合規要求以及風險治理這一AI發展中的重要議題。本白皮書將詳細闡述風險治理架構的構建，以及如何在AI的生命周期中實施有效的風險管理。此外，我們還將介紹企業AI治理的進階工具——可信AI等級標識，為企業構建和完善自身的AI治理體系提供實用的指導。　　在提供有效的AI治理工具的同時，我們也將聚焦具有啟發性的行業實踐。我們將深入分析汽車、醫藥、零售、服務等行業在AI應用上的現狀和挑戰，以及這些行業如何構建和運營自己的AI管理體系。通過這些行業案例，我們希望能夠為讀者提供具體的行業應用視角，以及在實際操作中可能遇到的問題和解決方案。　　在這份白皮書的撰寫過程中，我們深刻感受到AI技術的發展不僅僅是技術層面的突破，更是對人類社會價值觀、倫理道德和法律體系的一次全面考驗。我們相信，只有通過不斷提高對風險的把控能力，預判、分析和應對潛在的治理問題，建立起一套公正、透明、高效的AI治理體系，才能確保AI技術的健康發展，讓它成為推動人類社會進步的正能量。在此，我們誠摯地邀請您一同走進AI的世界，探索其無限可能，同時也思考和面對它所帶來的挑戰。讓我們攜手前行，在AI的時代中，共同尋找可信AI實現的最佳路徑。

摘要—人工智能（AI）通過計算能力的提升和海量數據集的增長迅速發展。然而，這一進展也加劇了對AI模型“黑箱”性質的解釋挑戰。為了解決這些問題，可解釋人工智能（XAI）應運而生，重點關注透明性和可解釋性，以增強人類對AI決策過程的理解和信任。在多模態數據融合和復雜推理場景中，多模態可解釋人工智能（MXAI）的提出將多種模態整合用于預測和解釋任務。同時，大型語言模型（LLMs）的出現推動了自然語言處理領域的顯著突破，但它們的復雜性進一步加劇了MXAI問題。為了深入了解MXAI方法的發展，并為構建更加透明、公平和可信的AI系統提供重要指導，我們從歷史的角度回顧了MXAI方法，并將其劃分為四個發展階段：傳統機器學習、深度學習、判別式基礎模型和生成式大型語言模型。我們還回顧了MXAI研究中使用的評估指標和數據集，最后討論了未來的挑戰和發展方向。與此綜述相關的項目已創建在 //github.com/ShilinSun/mxai_review。

關鍵詞—大型語言模型（LLMs）、多模態可解釋人工智能（MXAI）、歷史視角、生成式。

人工智能（AI）的進展對計算機科學產生了重大影響，如Transformer [1]、BLIP-2 [2] 和 ChatGPT [3] 在自然語言處理（NLP）、計算機視覺和多模態任務中表現出色，通過集成多種數據類型。這些相關技術的發展推動了具體應用的進步。例如，在自動駕駛中，系統需要整合來自不同傳感器的數據，包括視覺、雷達和激光雷達（LiDAR），以確保在復雜道路環境中的安全運行 [4]。類似地，健康助手需要具備透明性和可信度，以便醫生和患者都能輕松理解和驗證 [5]。理解這些模型如何結合和解釋不同模態對于提升模型可信度和用戶信任至關重要。此外，模型規模的不斷增大帶來了計算成本、可解釋性和公平性等挑戰，推動了可解釋人工智能（XAI）的需求 [6]。隨著包括生成式大型語言模型（LLMs）在內的模型變得越來越復雜，數據模態也更加多樣化，單一模態的XAI方法已無法滿足用戶需求。因此，多模態可解釋人工智能（MXAI）通過在模型的預測或解釋任務中利用多模態數據來解決這些挑戰，如圖1所示。我們根據數據處理順序將MXAI分為三種類型：數據可解釋性（預模型）、模型可解釋性（模型內）和事后可解釋性（模型后）。在多模態預測任務中，模型處理多個數據模態，如文本、圖像和音頻；在多模態解釋任務中，利用多種模態來解釋結果，從而提供更全面的最終輸出解釋。

為了回顧MXAI的歷史并預測其發展，我們首先將不同階段進行分類，并從歷史角度回顧了各種模型（如圖2所示）。在傳統機器學習時代（2000-2009年），有限的結構化數據的可用性促進了像決策樹這樣的可解釋模型的出現。在深度學習時代（2010-2016年），隨著大型標注數據集（如ImageNet [7]）的出現以及計算能力的提升，復雜模型和可解釋性研究嶄露頭角，包括神經網絡核的可視化 [8]。在判別式基礎模型時代（2017-2021年），Transformer模型的出現，利用大規模文本數據和自監督學習，徹底改變了自然語言處理（NLP）。這一轉變引發了對注意力機制的解釋研究 [1]，[9]–[11]。在生成式大型語言模型時代（2022-2024年），大量多模態數據的集成推動了生成式大型語言模型（LLMs）的發展，如ChatGPT [3]，以及多模態融合技術。這些進展提供了全面的解釋，增強了模型的透明性和可信度。這一演變導致了對MXAI的關注，它解釋了處理多樣數據類型的模型 [6]。

然而，最近的XAI綜述通常忽視了歷史發展，主要集中在單模態方法上。例如，盡管[6]將MXAI方法按模態數、解釋階段和方法類型進行了分類，但忽略了LLMs的可解釋性技術。雖然Ali等人 [12] 提出了一個全面的四軸分類法，但缺少關于多模態和LLMs的總結。然而，像[13]、[14]和[15]這樣的綜述僅關注LLMs的可解釋性。我們的研究解決了這些不足，通過提供MXAI的歷史視角，分類了MXAI方法的四個時代（傳統機器學習、深度學習、判別式基礎模型和生成式大型語言模型），并將每個時代分為三個類別（數據、模型和事后可解釋性）。本文的主要創新貢獻總結如下：

• 我們提供了MXAI方法的歷史總結和分析，包括傳統機器學習方法和基于LLMs的當前MXAI方法。
• 我們分析了跨時代的方法，涵蓋數據、模型和事后可解釋性，以及相關的數據集、評估指標、未來挑戰和發展方向。
• 我們回顧了現有方法，總結了當前的研究方法，并從歷史演變的角度提供了對未來發展的洞見和系統全面的視角。

生成式大型語言模型時代

這一時代的重點是通過判別模型（2017-2021年）奠定的基礎來推進生成任務。與前輩不同，這些模型，如GPT-4 [240]、BLIP-2 [2] 及其繼任者，通過生成連貫且語境相關的文本來增強可解釋性，為輸出提供自然語言解釋。這一進展彌合了人類理解和機器決策之間的鴻溝，使得與模型的互動更加細致，并為模型行為提供了更多的洞察。我們在表V中總結了相關工作。

**A. 數據可解釋性

1. 解釋數據集：大型語言模型（LLMs）可以通過交互式可視化和數據分析有效地解釋數據集。LIDA [241] 通過生成與語法無關的可視化圖表和信息圖，幫助理解數據的語義，列舉相關的可視化目標，并生成可視化規范。其他方法 [242]–[245] 通過分析數據集來增強數據集的可解釋性。通過結合多模態信息和強大的自然語言處理能力，LLMs可以提供全面、深入、定制化和高效的數據解釋 [13]。Bordt等人 [246] 探討了LLMs在理解和與“玻璃盒”模型互動中的能力，識別異常行為并提出修復或改進建議。重點在于利用多模態數據的可解釋性來增強這些過程。
2. 數據選擇：數據選擇在這一時代至關重要。它提高了模型的性能和準確性，減少了偏差，增強了模型的泛化能力，節省了訓練時間和資源，并提升了可解釋性，使得決策過程更加透明，有助于模型改進 [302]。多模態C4 [247] 通過整合多個句子-圖像對并實施嚴格的圖像過濾，提高了數據集的質量和多樣性，排除了小型、不規則比例的圖像以及包含人臉的圖像。這種方法強調了文本-圖像的相關性，增強了多模態模型訓練的魯棒性和可解釋性。還提出了一種基于啟發式混合數據過濾的生成式AI新范式，旨在增強用戶沉浸感并提高視頻生成模型與語言工具（例如ChatGPT [3]）之間的互動水平 [248]。該方法使得從單個文本或圖像提示生成交互式環境成為可能。除了上述內容外，還有一些工作旨在提高模型對分布變化和超出分布數據的魯棒性 [249]，[250]。
3. 圖形建模：盡管多模態大型語言模型（MLLMs）可以處理和整合來自不同模態的數據，但它們通常是隱式地捕捉關系。相比之下，圖形建模通過顯式表示數據節點（例如圖像中的對象、文本中的概念）及其關系（例如語義關聯、空間關系），來更直觀地理解復雜數據關系。一些方法 [251]–[253] 將圖形結構與LLMs結合，通過多模態整合提升了復雜任務的性能和模型的可解釋性。

**B. 模型可解釋性

1. 過程解釋：在這一時代，MXAI的過程解釋強調了多模態上下文學習（ICL）和多模態思維鏈（CoT）。ICL的突出之處在于它能夠通過使用人類可理解的自然語言指令來避免對大量模型參數進行廣泛更新 [303]。Emu2 [254] 通過擴展多模態模型生成，增強了任務無關的ICL。Link context learning（LCL） [304] 關注因果推理，以提升多模態大型語言模型（MLLMs）的學習能力。[255] 提出了多模態ICL（M-ICL）的綜合框架，適用于DEFICS [256] 和OpenFlamingo [257]等模型，涵蓋了多種多模態任務。MM-Narrator [258] 利用GPT-4 [240] 和多模態ICL生成音頻描述（AD）。進一步的ICL進展和新的多模態ICL變種由 [259] 探討。MSIER [260] 使用神經網絡選擇能夠提高多模態上下文學習效率的實例。多模態CoT解決了單模態模型在復雜任務中的局限性，在這些任務中，單靠文本或圖像無法全面捕獲信息。文本缺乏視覺線索，而圖像缺少詳細描述，這限制了模型的推理能力 [305]。多模態CoT通過整合和推理多種數據類型，如文本和圖像 [261]–[264]，來解決這一問題。例如，圖像識別可以分解為逐步的認知過程，構建生成視覺偏見的網絡鏈，這些偏見在每一步都被加到輸入的詞嵌入中 [261]。Zhang等人 [262] 首先從視覺和語言輸入中生成推理依據，然后將其與原始輸入結合進行推理。混合推理依據 [306] 使用文本推理來引導視覺推理，通過融合特征提供連貫且透明的答案解釋。
2. 內在可解釋性：在這一小節中，我們探討了多模態大型語言模型（MLLMs）的內在可解釋性，重點是兩類主要任務：多模態理解和多模態生成 [307]。多模態理解任務包括圖像-文本、視頻-文本、音頻-文本和多模態-文本理解。在圖像-文本理解中，BLIP-2 [2] 通過兩階段的預訓練過程增強了解釋性，將視覺數據與文本數據對齊，從而提高了圖像描述的連貫性和相關性。LLaVA [308] 通過將圖像-文本對轉換為與GPT-4 [240] 兼容的格式，并將CLIP的視覺編碼器與LLaMA的語言解碼器對接進行微調，生成了指令跟隨數據。像LLaVA-MoLE [309]、LLaVA-NeXT [271] 和LLaVA-Med [272]等變種在此基礎上進行了增強，針對特定領域和任務做出了改進。對于視頻-文本理解，與圖像不同，視頻具有時間維度，需要模型處理靜態幀并理解它們之間的動態關系。這增加了多模態模型的復雜性，但也提供了更豐富的語義信息和更廣泛的應用場景。VideoChat [273] 構建了一個以視頻為中心的指令數據集，強調時空推理和因果關系。該數據集增強了時空推理、事件定位和因果推理，整合了視頻和文本，從而提高了模型的準確性和魯棒性。Dolphins [274] 結合視覺和語言數據來解讀駕駛環境，并與駕駛員自然互動。它提供了清晰且具有相關性的指令，為其建議生成解釋，并通過不斷學習新經驗來適應不斷變化的駕駛條件。對于音頻-文本理解，音頻數據由于其時間序列的性質，需要模型能夠解析和理解時間動態。這擴展了多模態理解的能力。Salmonn [275] 將預訓練的基于文本的LLM與語音和音頻編碼器整合到一個統一的多模態框架中。這種設置使得LLMs能夠直接處理和理解普通音頻輸入，增強了多模態可解釋性，并提供了有關文本和音頻數據關系的洞察。盡管如此，Salmonn在實現全面音頻理解方面仍面臨挑戰。相比之下，Qwen-audio [276] 通過開發大規模音頻-語言模型來推動該領域的發展。通過利用大量的音頻和文本數據集，Qwen-audio提高了模型處理和解釋多樣聽覺輸入的能力，從而推動了多模態理解的邊界，并在各種音頻相關任務中展現了強大的表現。

結論

本文將多模態可解釋人工智能（MXAI）方法按歷史發展分為四個時代：傳統機器學習、深度學習、判別基礎模型和生成式大型語言模型。我們從數據、模型和后驗可解釋性三個方面分析了MXAI的演變，并回顧了相關的評估指標和數據集。展望未來，主要挑戰包括可解釋性技術的規模化、平衡模型的準確性與可解釋性以及解決倫理問題。MXAI的持續進展對于確保AI系統的透明性、公正性和可信性至關重要。

摘要——目前，大多數工業物聯網（IIoT）應用仍然依賴于基于卷積神經網絡（CNN）的神經網絡。盡管基于Transformer的大模型（LMs），包括語言、視覺和多模態模型，已經在AI生成內容（AIGC）中展示了令人印象深刻的能力，但它們在工業領域（如檢測、規劃和控制）中的應用仍然相對有限。在工業環境中部署預訓練的大模型往往面臨穩定性與可塑性之間的挑戰，這主要是由于任務的復雜性、數據的多樣性以及用戶需求的動態性。為了應對這些挑戰，預訓練與微調策略結合持續學習已被證明是一種有效的解決方案，使模型能夠適應動態需求，同時不斷優化其推理和決策能力。本文綜述了大模型在工業物聯網增強的通用工業智能（GII）中的集成，重點關注兩個關鍵領域：大模型賦能GII和GII環境下的大模型。前者側重于利用大模型為工業應用中的挑戰提供優化解決方案，而后者則研究在涉及工業設備、邊緣計算和云計算的協同場景中，持續優化大模型的學習和推理能力。本文為GII的未來發展提供了洞見，旨在建立一個全面的理論框架和研究方向，從而推動GII向更加通用和適應性強的未來發展。 關鍵詞——通用工業智能、大語言模型、持續學習、工業物聯網、邊緣計算。

工業5.0將網絡-物理-社會元素集成到制造業中，強調數字與物理系統的交互以及人機協作，通過互聯網有效地連接設備、物體和人[1]。隨著物聯網（IIoT）的快速發展[2]-[4]、通信技術[5], [6]、AI生成內容（AIGC）[7]、機器人和數字孿生技術[8]-[10]，現代工業系統變得越來越復雜。這些系統不僅生成高頻的單模態數據，還包括文本、圖像、視頻、代碼和音頻等多模態數據類型。工業大數據可以用于創建數字化制造工作流程和工業流程，極大地推動了工業5.0和網絡-物理-社會系統中生產力、效率和效能的提升。 如圖1所示，數據集和模型構成了GII生態系統的基礎要素，推動了更高層次算法和應用的快速發展。這些應用包括智能控制系統、預測性維護[11]、故障診斷[12], [13]和異常檢測[14]，這些都高度依賴于對IIoT數據的提取和分析。GII的成功特別依賴于其從這些IIoT數據集中高效學習和提取有價值特征的能力。基于Transformer的大模型（LMs），例如大語言模型（LLMs）[16]–[18]、視覺模型[19], [20]、時間序列模型[21]以及多模態模型[22], [23]，由于其獨特優勢，受到廣泛關注。通過在大規模數據集上進行預訓練，這些擁有數十億到數萬億參數的模型積累了廣泛的知識，極大地推動了數據處理的自動化和多樣化，同時減少了對人類專業知識的依賴。

在工業領域，大模型的精度和可擴展性使其在提高工業流程的準確性方面非常有效。然而，在工業環境中部署預訓練大模型時，需要根據具體任務架構、動態數據分布和用戶偏好進行謹慎的適配。盡管大模型在多任務泛化、小樣本學習和推理方面具有優勢，但在這些環境中平衡穩定性和適應性仍然是一個顯著挑戰。受到大模型在自然語言處理（NLP）中成功的啟發，工業界越來越多地探索其在GII中的潛力。一種方法是從頭構建行業特定的基礎模型[24]，但特定領域數據規模的限制通常阻礙了涌現能力的發展。另一種方法是通過大數據集上的預訓練，然后進行特定任務的微調，這已顯示出在構建穩健的工業模型方面的巨大潛力，顯著提高了各類任務的性能。這種方法有效地應對了特定領域數據匱乏的挑戰，同時加速了工業應用中先進能力的發展。

為工業任務調整大模型是一個重要的研究方向[25]。這些模型在跨任務泛化、零樣本/小樣本學習和推理能力方面的優勢，為解決知識遷移、數據稀缺性和解釋性問題提供了新的途徑。 ****持續大模型（CLMs）****在維持和發展這些工業模型的能力方面發揮了關鍵作用。CLMs在大規模數據集上進行預訓練，并由Transformer架構驅動，設計用于持續學習和適應，確保工業大模型在滿足GII不斷變化的需求時仍然保持相關性和有效性。

A. 本綜述的目標

本文旨在建立一個全面的視角，并對IIoT增強的GII進行深入分析。它提出了將GII分為兩個主要類別的概念：

• 通用工業智能的大模型（LMs for GII）：該方向重點利用大模型的高級數據處理和分析能力來解決工業應用中固有的優化問題。具體來說，LMs通過其處理實時多模態IIoT數據、執行復雜特征提取并確保精確的模式識別和結果驗證的能力，提升了IIoT驅動的工業系統的智能化和運營效率，最終提高了不同工業環境中的測量精度和系統性能。
• 通用工業智能上的大模型（LMs on GII）：該視角探討了工業應用如何通過持續模型操作，在協同的IIoT設備-邊緣-云環境中擴展和優化大模型的能力。通過采用持續學習（CL）和在線學習策略，模型可以適應新數據和環境變化，而無需昂貴的再訓練。這種方法節省了計算資源，最小化了延遲，并高效處理了數據分布變化和性能退化，確保了動態工業場景中的穩健模型性能。

本文通過一個示意圖（圖2）進一步明確了這些類別的引入，幫助闡明了兩種方法之間的結構性差異和操作機制。

B. 本綜述的獨特特征

近年來，持續學習（CL）作為一個研究課題獲得了顯著關注，許多研究探討了其在設備健康管理[26]、機器人[27]和流數據[28]等領域的應用。在大模型的背景下，由于這些模型的規模巨大，頻繁的再訓練成本高昂，因此CL已被認為是至關重要的[29]。盡管CL的文獻廣泛，但我們的綜述獨特地關注了CL在IIoT增強的工業系統中的大模型的持續適應性——這是現有文獻中未被充分覆蓋的領域。本綜述首次為大模型在四個不同的IIoT工業場景中應用的CL方法提供了全面而系統的回顧。

如表I所示，本文通過以下幾個關鍵貢獻來區分自身：

• 新穎的分類體系：我們引入了一個新的GII理論框架。通過將大模型的應用分為兩個維度——“LMs for GII”和“LMs on GII”，本文不僅探討了如何利用大模型優化工業應用，還研究了這些應用如何反過來優化模型本身。這種雙向交互視角顯著豐富了現有文獻。

• 跨領域多模態集成：與大多數僅專注于特定類型大模型（如語言模型或視覺模型）的現有研究不同，本綜述涵蓋了大語言模型（LLMs）、視覺Transformer、多模態模型和時間序列模型。這種跨模態集成增強了復雜儀器和測量系統的設計、開發和評估，這些系統用于信號的生成、獲取、調理和處理。通過利用不同模型的獨特優勢，它為推進測量科學及其應用提供了更全面和深入的視角，從而更有效地應對復雜的工業挑戰。

• 持續學習的實際應用：本文強調了持續學習策略在IIoT增強的工業系統，特別是邊緣計算和云計算協同環境中的實際應用。這個重點確保了模型不僅能適應新數據和變化的條件，還能資源高效。通過減少計算需求和訓練成本，我們的方法解決了工業應用中的關鍵約束。