亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要—視覺—語言模型（Vision-Language Models, VLMs）在廣泛任務中展現出卓越的泛化能力。然而，當直接應用于特定下游場景且未經過任務特定的適配時，其性能往往并不理想。為了在保持數據高效性的同時提升其實用性，近年來的研究日益聚焦于不依賴標注數據的無監督適配方法。盡管這一方向的關注度不斷上升，但仍缺乏一個面向任務的、專門針對無監督 VLM 適配的統一綜述。為彌補這一空白，本文對該領域進行了全面且結構化的梳理。我們提出了一種基于無標注視覺數據可得性及其性質的分類方法，將現有方法劃分為四種核心范式：無數據遷移（Data-Free Transfer，無數據）、無監督領域遷移（Unsupervised Domain Transfer，充足數據）、情景式測試時適配（Episodic Test-Time Adaptation，批量數據）和在線測試時適配（Online Test-Time Adaptation，流式數據）。在這一框架下，我們分析了各范式對應的核心方法與適配策略，旨在構建對該領域的系統化理解。此外，我們還回顧了多種應用場景下的代表性基準，并指出了開放挑戰與未來研究的潛在方向。相關文獻的持續更新倉庫可訪問：//github.com/tim-learn/Awesome-LabelFree-VLMs。 關鍵詞—無監督學習，測試時適配，多模態學習，視覺—語言模型。 I. 引言

視覺—語言模型（Vision-Language Models, VLMs），如 CLIP [1]、ALIGN [2]、Flamingo [3] 和 LLaVA [4]，憑借強大的跨模態推理能力，已在學術界和工業界引起了廣泛關注。這類模型通過大規模數據集 [5] 學習圖像—文本的聯合表示，并在多種任務中展現出令人印象深刻的零樣本（zero-shot）性能與泛化能力。VLMs 已成功應用于多個領域，包括自動駕駛 [6]、機器人技術 [7]、異常檢測 [8] 以及跨模態檢索 [9]。 然而，由于預訓練階段無法覆蓋下游任務與環境的全部多樣性，將 VLMs 適配于特定應用仍是一項核心挑戰。早期的研究主要依賴有監督微調 [10]–[13]，利用帶標注樣本挖掘更多知識。盡管該方法在性能上有效，但依然面臨高標注成本，以及在訓練與測試數據存在分布偏移（distribution shift）[14] 時的性能下降問題。為應對這些局限，越來越多的研究開始探索無監督適配技術 [15]–[20]。這些方法——通常被稱為零樣本推理 [21]–[23]、測試時方法（test-time methods）[18], [24], [25]，或無監督調優 [17], [26], [27]——旨在無需昂貴標注即可提升 VLMs 在下游任務中的表現。實踐表明，這類方法在圖像分類 [15], [17], [18]、圖像分割 [16], [28], [29]、醫學影像診斷 [30], [31] 以及動作識別 [32], [33] 等任務中均取得了顯著成效。 鑒于該研究領域的快速發展，本文旨在對現有 VLM 無監督適配方法進行全面且結構化的綜述。據我們所知，這是首個圍繞無標注視覺數據可得性提出分類體系的工作——這一因素在實際部署中至關重要，卻往往被忽視。如圖 1 所示，我們將現有方法劃分為四種范式： 1. 無數據遷移（Data-Free Transfer）[15], [16], [21]：僅利用文本類別名稱來適配模型； 1. 無監督領域遷移（Unsupervised Domain Transfer）[17], [34], [35]：利用來自下游任務的充足無標注數據； 1. 情景式測試時適配（Episodic Test-Time Adaptation）[18], [24], [36]：針對一批測試樣本進行適配； 1. 在線測試時適配（Online Test-Time Adaptation）[19], [23], [25]：應對流式到達的測試數據。

這一分類體系為理解 VLM 無監督適配的研究版圖提供了系統化框架，有助于實踐者選擇合適的技術路徑，同時也有助于未來在同一范式下進行公平比較。 本文的組織結構如圖 2 所示：第 II 節概述了與 VLM 無監督學習相關的研究主題；第 III 節介紹了 VLM 的零樣本推理，并提出基于無標注視覺數據可得性的分類體系；第 IV–VII 節為本文核心內容，分別分析無數據遷移、無監督領域遷移、情景式測試時適配以及在線測試時適配中的現有方法；第 VIII 節探討無監督技術在多種應用場景中的實踐及相關基準，擴展對其實際意義和應用價值的認識；第 IX 節總結該領域的新興趨勢，并指出可能激發未來研究的關鍵科學問題。 與已有綜述的對比。 近年來，一些綜述性工作 [37]–[40] 涉及了無監督適配與 VLM 微調的不同方面。現有研究 [40]–[42] 多聚焦于單模態模型遷移，雖然對該領域進行了深入分析，但對 VLM 的覆蓋較為有限。較早的工作 [37] 討論了 VLM 的預訓練階段，并簡要分析了其在視覺任務上的微調方法；另一篇綜述 [38] 涉及多模態模型的適配與泛化，但粒度較為粗略；近期工作 [39] 從參數空間視角審視 VLM 下游任務的泛化，并回顧了相關方法。盡管這些綜述提供了有價值的見解，但本文首次基于無標注視覺數據可得性提出了分類體系，并在每個范式下深入分析前沿技術，我們認為這是對該領域的一個新穎且關鍵的補充，尤其對 VLM 的實際部署具有重要意義。

摘要 —— 強化學習（Reinforcement Learning, RL）已成為對齊與增強大語言模型（Large Language Models, LLMs）的一種變革性方法，能夠應對指令遵循、倫理對齊以及推理能力等方面的關鍵挑戰。本文綜述了強化學習與語言模型結合的全面基礎，重點介紹了如近端策略優化（Proximal Policy Optimization, PPO）、Q學習（Q-Learning）和演員-評論家（Actor-Critic）等主流算法。此外，文章系統回顧了專為LLM定制的強化學習技術，包括基于人類反饋的強化學習（Reinforcement Learning from Human Feedback, RLHF）和基于AI反饋的強化學習（Reinforcement Learning from AI Feedback, RLAIF）等基礎方法，以及偏好直接優化（Direct Preference Optimization, DPO）和群體相對策略優化（Group Relative Policy Optimization, GRPO）等先進策略。我們系統性地分析了這些技術在各領域的應用，從代碼生成到工具增強推理不等。本文還基于獎勵建模、反饋機制與優化策略提出了一套對比性分類體系。評估結果揭示了一些關鍵趨勢：RLHF 仍然是主導性的對齊技術，而基于結果的強化學習（如 RL with Verified Rewards, RLVR）顯著提升了逐步推理能力。然而，獎勵欺騙、計算成本高昂以及反饋收集的可擴展性等持續性挑戰，凸顯了持續創新的必要性。我們進一步探討了若干新興方向，包括混合RL算法、驗證器引導訓練，以及多目標對齊框架。本綜述可為研究人員提供一份關于RL驅動的大語言模型開發的路線圖，致力于在提升能力的同時兼

性與可擴展性。

關鍵詞 —— 強化學習、大語言模型、RLHF、對齊、推理、自然語言處理、人工智能 **

**

一、引言

大語言模型（Large Language Models, LLMs）已成為人工智能領域的變革性技術，在理解和生成自然語言方面展現出卓越能力。從 GPT-3 擁有的 1750 億參數 [1]，到近年來如 LLaMA 3.1 的 4050 億參數 [2]，以及 DeepSeek-V3 的 6710 億參數 [3]，這些模型在規模和能力上持續擴展。盡管它們在多種任務中表現出色，LLMs 仍然面臨“對齊”（alignment）問題，即確保模型輸出始終反映人類的價值觀、偏好與意圖，仍是一項重大挑戰。LLMs 往往會產生“幻覺”（hallucination）[4]，存在生成有害內容的風險 [5]–[7]，并且在執行復雜指令方面常常表現不佳 [8]。

強化學習（Reinforcement Learning, RL）是一種智能體通過與環境交互中的試錯過程進行學習的范式，近年來成為應對對齊挑戰的強有力框架。與傳統依賴標注樣本的監督學習方法不同，強化學習能夠引入不可微分的反饋信號，并優化多目標的復雜任務。在 LLM 中引入強化學習，標志著人工智能對齊研究的一項重大進展，使模型能夠學習人類偏好、提升推理能力，并更好地遵循倫理規范。本文旨在全面審視應用于 LLM 的強化學習技術，聚焦于模型在“對齊人類價值”與“增強推理能力”兩方面的提升。

將強化學習應用于 LLM 面臨一系列區別于傳統 RL 場景的獨特挑戰。在 LLM 中，狀態空間通常由輸入提示或對話歷史構成，而動作空間則涵蓋模型完整的詞匯表，形成了一個極其龐大且離散的動作集合。這種高維動作空間對算法設計提出了更高要求，與機器人控制或游戲等傳統 RL 應用場景有顯著不同。此外，LLM 中的獎勵信號通常來自于人類對文本質量、有用性、無害性和誠實性等復雜維度的主觀判斷，這些屬性本質上難以量化。

基于人類反饋的強化學習（Reinforcement Learning from Human Feedback, RLHF）[9] 已成為對齊 LLM 與人類偏好的事實標準。該方法通常包含三個階段：首先基于高質量示范數據進行有監督微調，其次利用人類偏好數據訓練獎勵模型，最后使用如近端策略優化（PPO）[10]等算法對策略進行優化。RLHF 在提升指令遵循能力、減少有害輸出方面取得了顯著成效，OpenAI 的 InstructGPT 即為代表性成果 [9]。

然而，人類標注的可擴展性問題推動了替代方案的發展。基于 AI 反饋的強化學習（Reinforcement Learning from AI Feedback, RLAIF）[11] 用其他 AI 系統的評估結果來替代或增強人類反饋，在維持相近性能的同時大幅降低了標注成本。憲法 AI（Constitutional AI）[12] 是 RLAIF 的一種特化形式，模型根據預定義的原則對自身輸出進行批判與修正，尤其適用于無害性對齊。近期的研究進一步致力于簡化 RLHF 流程，例如偏好直接優化（Direct Preference Optimization, DPO）[13]，跳過顯式獎勵建模，直接通過偏好對進行策略優化，在計算效率和訓練穩定性方面具有優勢。實證研究顯示，DPO 在情感控制與摘要等任務中的表現可與基于 PPO 的 RLHF 相媲美甚至超越，同時大大降低了系統復雜度。

除了人類偏好對齊之外，RL 技術也越來越多地用于提升 LLM 的推理能力。基于結果的強化學習（Outcome-Based Reinforcement Learning）[14] 關注最終答案的正確性，即使中間推理步驟未被監督也可進行優化。更先進的方法如帶可驗證獎勵的強化學習（Reinforcement Learning with Verifiable Rewards, RLVR）[15]，能為推理過程中的每一步提供反饋，顯著提升模型在數學與邏輯推理任務上的表現。例如，RLVR 將 GPT-3.5 在數學推理基準 GSM8K 上的準確率從 56.8% 提升至 72.5%，且僅需少量訓練樣本。盡管已有顯著進展，將 RL 應用于 LLM 仍存在諸多挑戰，例如獎勵函數被模型“鉆空子”的獎勵欺騙現象（reward hacking）[16], [17]；以及 RL 訓練所需的龐大計算成本，尤其是在參數量級為數十億的模型上，給實際部署帶來困難。此外，不論是來自人類還是 AI 系統，確保反饋的質量與代表性 [18], [19] 仍是一個復雜難解的問題。

本文在該領域的貢獻包括以下幾點：第一，我們提供了一份關于 RL 技術在 LLM 中應用的全面技術綜述，涵蓋了如 RLHF 與 RLAIF 等基礎方法，以及 DPO 和群體相對策略優化（Group Relative Policy Optimization, GRPO）等前沿方法。第二，我們系統分析了 RL 技術在多個領域的應用，如代碼生成與工具增強推理，展現其廣泛適應性與有效性。第三，我們提出了一個基于獎勵建模、反饋機制與優化策略的對比分類體系，為理解 RL 在 LLM 中的技術生態提供結構化框架。最后，我們還討論了若干新興研究方向，包括混合 RL 算法、驗證器引導訓練，以及多目標對齊框架。

本文其余部分安排如下：第二節介紹 LLM 與強化學習的基礎概念；第三節詳細講解為 LLM 改編的具體 RL 算法；第四節探討用于對齊與推理增強的 RL 技術；第五節展示 RL 在各類應用場景中的實踐；第六節提供一套比較分析與評估；第七節討論現有挑戰與局限；第八節展望未來研究方向；第九節總結全文。我們希望通過本綜述為研究者與實踐者提供一份推動 RL 驅動 LLM 發展的技術路線圖，在提升模型能力的同時兼顧安全性與可擴展性。

摘要——近年來，視覺-語言預訓練（Vision-Language Pretraining）作為一項融合視覺與文本模態優勢的變革性技術，催生了強大的視覺-語言模型（VLMs）。依托于網絡規模的預訓練數據，這些模型展現出卓越的零樣本推理能力。然而，在面對特定領域或專業任務時，其性能常常出現顯著下降。為解決該問題，研究社區日益關注如何將 VLM 中蘊含的豐富知識遷移或泛化到多樣的下游應用中。 本文旨在全面梳理 VLM 泛化的研究設定、方法體系、評測基準與實驗結果。我們首先分析典型的 VLM 架構，并依據遷移模塊的不同，將現有文獻劃分為基于 Prompt（提示）、基于參數、以及基于特征的方法三大類。隨后，結合經典遷移學習（Transfer Learning, TL）設定，進一步總結與探討各類方法的差異與特點，提出 VLM 時代下遷移學習的新解讀。此外，本文還系統介紹了主流 VLM 泛化評測基準，并對各類方法在不同任務中的表現進行了詳盡對比。

隨著大規模通用預訓練的不斷演進，本文也探討了視覺-語言模型與最新多模態大語言模型（Multimodal Large Language Models, MLLMs，如 DeepSeek-VL）之間的關聯與差異。通過從“泛化”這一全新且實用的視角系統梳理視覺-語言研究的快速進展，本文有助于清晰描繪當前與未來多模態研究的整體格局。 關鍵詞——視覺-語言模型，遷移學習，提示調優，魯棒微調，領域泛化，測試時自適應，無監督領域適應，多模態大語言模型

1 引言

深度神經網絡已在眾多實際應用中取得顯著成果。以視覺模型為例，從 AlexNet【1】到 ResNet【2】再到 Vision Transformer【3】，模型規模與表示能力都得到了極大提升。然而，高效訓練這些大規模模型往往需要大量標注數據與巨大的計算資源。為了解決這一問題，“基礎模型”（foundation model）的概念應運而生——即在大規模數據集上預訓練通用模型，以便將其知識遷移到各種下游任務中【4】。例如，預訓練于 ImageNet【5】上的 ResNet 系列已成為圖像分類【2】、目標識別【6】等視覺任務的重要基石。 自然語言處理領域也經歷了類似的發展，從 Transformer【7】、BERT【8】到 GPT-2【9】與 GPT-3【10】，均在各自的單模態任務中取得卓越表現，但它們本質上缺乏對多模態信息的感知與推理能力。 如圖 1 所示，對比式語言-圖像預訓練（contrastive language-image pretraining）范式的出現【11】徹底重塑了視覺-語言學習格局。Radford 等人提出的 CLIP【11】模型利用 4 億網頁爬取的圖文對進行對比學習：將語義匹配的圖文拉近、不匹配的拉遠，從而實現了跨任務的強大零樣本泛化能力，覆蓋圖像分類【11】、目標檢測【12】、視頻檢索【13】等任務。后續研究通過擴大與去噪預訓練數據集【14】【15】【16】、探索多樣的預訓練策略【17】【18】、引入多語言數據【19】【20】【21】，進一步增強了 VLM 的能力。 盡管 VLM 在通用任務上表現出色，但其預訓練知識在特定領域的下游任務上泛化能力有限。若無合適的遷移方式，預訓練的 VLM 往往難以處理分布外（OOD）數據，如遙感圖像【22】或精細類別圖像【23】【24】。傳統的“預訓練-微調”范式仍適用，但在 VLM 中直接微調可能破壞其對齊的視覺-語言表示，導致性能下降【25】【26】【27】。 因此，如何以盡可能低的計算與標注成本將 VLM 中的知識優雅地泛化至下游任務，已成為研究熱點。考慮到 VLM 的多模態特性，研究者們嘗試將單模態領域成熟的遷移策略，如 Prompt Tuning【28】、Adapter 插件【29】、知識蒸餾【30】，擴展應用于 VLM【26】【31】【32】【33】。借助其龐大的通識知識，VLM 正逐步成為“任務無關型”求解器，在無監督領域適應（UDA）【34】【35】【36】、領域泛化（DG）【37】【38】【39】、測試時自適應（TTA）【40】【41】【42】等遷移學習場景中設立了新基線。 面對這種趨勢，我們提出了關鍵問題：在 VLM 時代，知識遷移有何不同？

為此，本文對 VLM 的泛化能力展開系統文獻綜述。

---

研究動機與貢獻

現有綜述多聚焦于 VLM 的預訓練階段，如模型結構、預訓練目標與數據集【43】【44】【45】。雖然部分工作提及了遷移學習【43】，但其覆蓋面有限，尤其缺乏對不同遷移設定之間差異的探討。本文是首個專注于 VLM 遷移與泛化能力 的系統綜述。我們以主流的雙分支架構（如 CLIP【11】）為基礎，識別并歸類遷移的關鍵模塊，具體如下： 1. Prompt-based 方法：僅調節文本提示嵌入以控制模型行為【31】【32】【40】； 1. Parameter-based 方法：有策略地更新預訓練參數【46】【47】【48】，或通過知識蒸餾引入新參數【33】【38】【39】； 1. Feature-based 方法：對提取到的特征進行后處理，如引入可學習模塊【26】【35】或構建免訓練緩存機制【27】【41】【49】。

我們結合遷移學習研究中的經典設定【4】【50】【51】，重新審視這些 VLM 方法，并分析其在不同遷移設定中的特性差異。隨后，我們系統匯總了適用于各類遷移任務的主流基準數據集，并提供基于模型結構與方法設計的性能比較。

---

同時，本文還涵蓋了 VLM 與多模態大語言模型（MLLM）之間的融合。近年來，大語言模型（LLM）取得突破性進展【52】【53】【54】【55】，將對齊語言的視覺編碼器（如 CLIP）與 LLM 相連接，并以大規模多模態指令數據進行訓練，構建出視覺-語言大模型（MLLM）。這些模型在視頻理解、視覺問答、圖像字幕、分割與識別等任務中展現出強大的泛化能力【18】【56】【57】【58】。 作為另一類通用視覺-語言模型，本文對 MLLM 的基本構建框架、模型類型、使用的預訓練數據與目標，以及其在多任務中的表現進行全面總結，并呈現當前該領域的研究圖譜（如圖 3 所示）。

---

綜述貢獻總結如下：

系統回顧 VLM 泛化研究進展：涵蓋無監督領域適應、領域泛化、小樣本適應、測試時自適應等遷移學習任務；據我們所知，這是首個專注于 VLM 泛化的綜述工作。 1. 提出三類關鍵遷移方法分類：Prompt-based、Parameter-based 與 Feature-based，并在各類遷移設定下深入分析其技術細節與適用場景。 1. 收集主流評測基準并對比方法性能：從泛化設定、模型結構與設計角度出發，提供公平、系統的性能評估。 1. 引入并分析 MLLM 的發展與代表模型：總結其結構、組成模塊、泛化能力、訓練數據與目標，為理解視覺-語言研究的前沿進展提供參考。 1. 提出當前挑戰與未來方向：識別現階段研究瓶頸，并展望可行的研究路徑與潛力。

---

文章結構如下：

第 2 節介紹 VLM 相關基礎知識及所涉及的遷移學習設定； * 第 3 節討論 Prompt-based 方法，分為訓練時提示（3.1）與測試時提示（3.2）； * 第 4 節介紹 Parameter-based 方法，包括參數微調（4.1）與知識蒸餾（4.2）； * 第 5 節探討 Feature-based 方法，包括可學習適配器（5.1）與免訓練緩存機制（5.2）； * 第 6 節總結主流基準與方法性能評估； * 第 7 節介紹現代 LLM 如何增強與泛化 VLM，構成 MLLM； * 第 8 節總結當前進展并討論未來的研究方向。

**摘要

擴散模型（Diffusion Models, DMs）已成為強大的生成模型，在圖像、視頻、音頻等內容生成任務中展現出卓越性能，并具有變革數字內容創作的潛力。然而，這些能力伴隨著高昂的計算資源消耗和較長的生成時間，這凸顯了開發高效擴散模型的必要性，以推動其實用化部署。 在本綜述中，我們對高效擴散模型的研究進展進行了系統性和全面性的回顧。我們基于現有研究，提出了一種三大類別的分類體系，分別涵蓋算法級優化、系統級優化以及框架級優化，以梳理不同層面上相互關聯的高效擴散技術：

1. 算法級優化（Algorithm-Level Efficiency）：包括加速采樣（如 DDIM、DPM-Solver）、自適應步長方法、潛空間擴散（LDMs）、知識蒸餾等。
2. 系統級優化（System-Level Efficiency）：涉及模型架構改進（輕量級 U-Net 變體、基于 Transformer 的優化）、并行計算、高效 GPU/TPU 部署策略等。
3. 框架級優化（Framework-Level Efficiency）：涵蓋優化工具鏈（如 ONNX、TensorRT）、分布式訓練技術，以及高效推理框架的集成。

此外，我們整理了本綜述中涉及的論文，并在 GitHub 倉庫 Efficient Diffusion Model Survey 中進行分類歸納，以便研究人員查閱和使用。 我們希望本綜述能夠成為研究者和從業者的重要資源，幫助他們系統性地理解高效擴散模型的研究進展，并激發更多人在這一重要且充滿前景的領域做出貢獻。

1. 引言

擴散模型（Diffusion Models, DMs）開啟了人工智能生成內容（AIGC, Artificial Intelligence Generative Content）領域的新時代，并受到了前所未有的關注（Yang et al., 2023b; Croitoru et al., 2023b）。特別是在圖像合成任務中，擴散模型展現出了強大且多樣化的生成能力。此外，擴散模型的跨模態生成能力進一步推動了眾多下游任務的發展（Chen et al., 2023b）。盡管擴散模型的各類變體經過多次迭代已日趨成熟（Zhang et al., 2023d; Xu et al., 2023），但生成高分辨率、復雜的自然場景仍然十分耗時，并需要大量計算資源，無論是像素級擴散方法（Ho et al., 2020）還是潛空間變體（Rombach et al., 2022）。因此，為了優化擴散模型的用戶級部署，研究者們一直在探索高效擴散模型的可能性。 近年來，擴散模型的普及度持續上升，但其中一個主要問題是其多步去噪過程：模型需要經歷多個時間步（timesteps）才能從隨機噪聲生成高質量樣本。這一多步生成機制不僅耗時，而且計算密集，導致計算負擔巨大。因此，提高擴散模型的計算效率至關重要。針對這一問題，已有多項研究嘗試提出解決方案，例如優化訓練過程中添加的噪聲（Hang & Gu, 2024; Chen et al., 2023a），以及選擇適當的采樣時間步（Watson et al., 2021; Sabour et al., 2024）等方法。 盡管已有許多關于擴散模型的全面綜述（Yang et al., 2023b; Chen et al., 2024; Croitoru et al., 2023a; Cao et al., 2024），以及針對特定領域和任務的綜述（Ulhaq et al., 2022; Lin et al., 2024c; Kazerouni et al., 2023; Lin et al., 2024b; Peng et al., 2024b; Daras et al., 2024），但關于擴散模型效率優化的系統性研究仍然較為稀缺。目前唯一一篇專門討論高效擴散模型的綜述（Ma et al., 2024c）僅為該領域的初步探索。在本研究中，我們提供了更全面和詳細的分類體系，涵蓋更廣泛、更新的研究文獻，并提供更系統的技術綜述。 本綜述的總體目標是全面梳理高效擴散模型的技術進展，從算法級、系統級、應用級和框架級四個不同視角進行討論，如圖 1 所示。這四個類別涵蓋了不同但緊密相關的研究主題，共同構成了系統化的高效擴散模型綜述：

• 算法級方法（Algorithm-Level Methods）：優化擴散模型的訓練和推理效率，涵蓋高效訓練、高效微調、高效采樣及模型壓縮等方向（見 §3）。
• 系統級方法（System-Level Methods）：優化計算基礎設施和資源利用，涵蓋硬件-軟件協同設計、并行計算、緩存優化等（見 §4）。
• 應用（Applications）：擴散模型在圖像、視頻、文本、音頻和 3D 生成等領域的優化方法，以在不損失生成質量的前提下提升效率（見 §5）。
• 框架（Frameworks）：專門針對擴散模型的高效訓練、微調、推理和部署框架，涵蓋**主流 AI 框架（如 TensorFlow 和 PyTorch）**的優化擴展，以及專門設計的高效擴散模型框架（見 §6）。

此外，我們創建了一個GitHub 論文資源庫，匯總了本綜述中涉及的相關論文，并將持續更新，以收錄最新的研究進展：Efficient Diffusion Model Survey。我們希望本綜述能夠成為研究者和從業者的重要資源，幫助他們系統理解高效擴散模型的研究進展，并激發更多研究人員在這一重要且前沿的領域做出貢獻。

摘要

本文綜述了在快速發展的領域中，如何通過強化學習（RL）增強大型語言模型（LLMs）的研究。強化學習是一種使LLMs能夠通過基于輸出質量的獎勵反饋來提高其性能的技術，從而生成更準確、一致、并在語境上更合適的回應。本文系統回顧了最新的強化學習增強LLMs的研究，試圖整合并分析這一快速發展的領域的研究成果，幫助研究人員理解當前的挑戰和進展。具體來說，我們：（1）詳細介紹了強化學習的基本原理；（2）介紹了流行的強化學習增強的大型語言模型；（3）回顧了基于獎勵模型的兩種廣泛使用的強化學習技術：來自人類反饋的強化學習（RLHF）和來自AI反饋的強化學習（RLAIF）；（4）探索了直接偏好優化（DPO）方法，這是一組繞過獎勵模型、直接使用人類偏好數據來調整LLM輸出以符合人類期望的方法。我們還將指出現有方法的挑戰和不足，并提出一些進一步改進的方向。

1. 引言

大型語言模型（Jiang et al., 2023; OpenAI, 2023; Dubey et al., 2024）是經過大規模文本數據預訓練的復雜語言模型，使其能夠對多種輸入生成連貫流暢的回應。然而，這些預訓練的大型語言模型的互動能力可能不一致，有時會產生雖然技術上正確，但可能有害、偏見、誤導或與用戶需求無關的回應。因此，在將其應用于各種自然語言任務之前，將預訓練大型語言模型的輸出與人類偏好對齊至關重要（Wang et al., 2023b; Wan et al., 2023; Sun et al., 2023c,b; Giray, 2023; Zhang, 2023; Long, 2023; Sun, 2023; Gao et al., 2023; Paranjape et al., 2023; Sun et al., 2023a; Diao et al., 2023; Wang et al., 2023a; Zhang et al., 2023b; Sun et al., 2023d; Liu et al., 2024d; Yao et al., 2024; Liu et al., 2024c; Lee et al., 2024; Kambhampati, 2024; Wang et al., 2024c）。 此前，將預訓練的大型語言模型的輸出與人類偏好對齊的廣泛采用的方法是監督微調（SFT）（Hu et al., 2021; Mishra et al., 2021; Wang et al., 2022; Du et al., 2022; Dettmers et al., 2023; Taori et al., 2023; Zhang et al., 2023a; Chiang et al., 2023; Xu et al., 2023; Peng et al., 2023; Mukherjee et al., 2023; Li et al., 2023; Ding et al., 2023; Luo et al., 2023; Wang et al., 2024d; Zhou et al., 2024）。這種方法通過（指令，答案）對進一步訓練LLMs，其中“指令”代表給模型的提示，“答案”是符合指令的目標輸出。SFT有助于引導LLMs生成符合特定特征或領域知識的回應，使得人類能夠與LLMs進行交互。盡管SFT有效，但它也有局限性：在訓練過程中，模型被限制為學習我們提供的特定答案，并且使用困惑度（PPL）等指標來懲罰同義詞的使用。一方面，這可能阻礙LLM的泛化能力，因為任務如寫作和總結有多種有效的表述方式。另一方面，它可能導致在與人類偏好對齊時表現不佳，因為訓練過程中沒有直接融入人類反饋。 為了緩解上述問題，采用了強化學習（RL）來將LLM的輸出與人類偏好對齊，強化學習過程可分為三個步驟：（1）首先，在微調之前，訓練一個獎勵模型（或獎勵函數），以近似人類偏好并為不同的LLM輸出評分；（2）然后，在每次微調迭代中，給定一個指令，LLM生成多個回應，每個回應都由訓練好的獎勵模型評分；（3）最后，使用強化學習的優化技術——策略優化，基于這些偏好評分更新LLM的權重，以改進預測。用強化學習微調LLM可以同時解決上述問題。一方面，強化學習不再限制模型僅學習一個特定答案，而是根據各種偏好評分調整LLM，獎勵任何有效且措辭恰當的回應。另一方面，獎勵模型被設計為近似人類偏好，從而使得可以直接在人工偏好上訓練，并增強LLM的創造力。 本文將整合強化學習（RL）在大型語言模型（LLMs）中的最新研究成果，試圖分析并總結這一快速發展的領域，幫助研究人員理解當前的研究進展、挑戰和前景。具體來說：

• 第二部分介紹強化學習（RL）的基本原理及關鍵術語，并概述強化學習如何適應LLM的管道。
• 第三部分介紹了強化學習增強的流行且強大的大型語言模型。
• 第四部分概述了基于人類反饋的強化學習（RLHF）的過程，這是一種將強化學習與人類反饋結合的訓練方法，用以將LLMs與人類的價值觀、偏好和期望對齊。
• 第五部分回顧了基于AI反饋的強化學習（RLAIF）的研究，RLAIF作為RLHF的有力補充，利用AI系統提供反饋，提供了可擴展性、一致性和成本效益的優勢。
• 第六部分分析了RLHF和RLAIF所面臨的挑戰。
• 第七部分討論了直接偏好優化（DPO）研究，這是一系列繞過獎勵模型、直接利用人類偏好數據將LLM輸出與人類期望對齊的方法。
• 第八部分總結了當前的挑戰，并討論了進一步改進的機會。

強化學習在大型語言模型中的應用

我們已經概述了強化學習（RL）的基本框架；現在，我們將深入探討如何使用RL微調大型語言模型（LLMs）的過程。此方法旨在將LLM與期望的行為對齊，提升其性能，并確保其輸出既有效又可靠。

在強化學習（RL）中，有六個關鍵組件：代理（Agent）、環境（Environment）、狀態（State）、動作（Action）、獎勵（Reward）和策略（Policy）。要將RL應用于微調大型語言模型（LLMs），第一步是將這些組件映射到LLM框架中。 LLMs在預測下一個詞元（next-token prediction）方面非常高效，它們將一系列詞元作為輸入，并根據給定的上下文預測下一個詞元。從RL的角度來看，我們可以將LLM本身視為策略（Policy）。當前的文本序列代表狀態（State），根據這個狀態，LLM生成一個動作（Action）——即下一個詞元。這個動作會更新狀態，形成一個新的狀態，其中包含新增的詞元。在生成完整的文本序列后，使用預訓練的獎勵模型來評估LLM輸出的質量，從而決定獎勵（Reward）。 圖2 展示了Ouyang等人（2022）提出的LLM強化學習框架。Ouyang等人（2022）首先使用通過監督學習訓練的指令微調模型，使其能夠生成結構化的響應。接著，Ouyang等人（2022）應用了以下兩個步驟： 步驟1：收集比較數據并訓練獎勵模型

Ouyang等人（2022）收集了一個數據集，包含指令微調模型輸出之間的比較，標注者指出對于給定輸入，他們更喜歡哪個輸出。然后，收集到的數據集用于訓練一個獎勵模型（Reward Model, RM），以預測人類偏好的輸出。 步驟2：使用PPO優化策略對抗獎勵模型

Ouyang等人（2022）將獎勵模型的輸出作為標量獎勵，并通過PPO算法（Schulman等人，2017）對指令微調模型進行微調，優化該獎勵。

強化學習增強的流行大型語言模型

近期流行的強大功能的大型語言模型（LLMs）幾乎都利用強化學習（RL）來進一步增強其在后期訓練過程中的表現。這些模型所采用的強化學習方法通常可以分為兩大類： 1. 傳統的RL方法，如基于人類反饋的強化學習（RLHF）和基于AI反饋的強化學習（RLAIF）。這些方法需要訓練一個獎勵模型，并且涉及復雜且通常不穩定的過程，使用如近端策略優化（PPO）（Schulman 等人，2017）等算法來優化策略模型。像InstructGPT（Ouyang 等人，2022）、GPT-4（OpenAI，2023）和Claude 3（Anthropic，2024）等模型都采用了這一方法。 1. 簡化的方法，如直接偏好優化（DPO）（Rafailov 等人，2024）和獎勵感知偏好優化（RPO）（Adler 等人，2024）。這些方法摒棄了獎勵模型，提供了一種穩定、性能強大且計算效率高的解決方案。像Llama 3（Dubey 等人，2024）、Qwen 2（Yang 等人，2024a）和Nemotron-4 340B（Adler 等人，2024）等模型都采用了這一方法。

在這一部分，我們將詳細描述每個模型，首先簡要概述這些強化學習增強的大型語言模型，并解釋強化學習如何在它們的后期訓練過程中應用。有關這些強化學習增強的LLMs的概覽見表1。

RLHF：基于人類反饋的強化學習

基于人類反饋的強化學習（RLHF）是一種訓練方法，它將強化學習（RL）與人類反饋相結合，以將大型語言模型（LLMs）與人類的價值觀、偏好和期望對齊。RLHF包含兩個主要組件： 1. 收集人類反饋以訓練獎勵模型：在人類評估者提供反饋時，他們通過根據質量、相關性等因素對LLM的輸出進行評分或排名。這些反饋隨后用于訓練一個獎勵模型，該模型用于預測輸出的質量，并作為RL過程中的獎勵函數。 1. 使用人類反饋進行偏好優化：訓練好的獎勵模型指導LLM輸出的優化，以最大化預測獎勵，從而使LLM的行為與人類的偏好對齊。

接下來，我們將通過近期的研究來闡述這兩個組件。

摘要—人工智能（AI）的快速發展已徹底改變了眾多領域，尤其是大規模語言模型（LLMs）和計算機視覺（CV）系統，分別推動了自然語言理解和視覺處理的進步。這些技術的融合催生了多模態人工智能，能夠實現跨文本、視覺、音頻和視頻等模態的更豐富的跨模態理解。尤其是多模態大規模語言模型（MLLMs）作為一種強大的框架，展現了在圖像-文本生成、視覺問答和跨模態檢索等任務中的卓越能力。盡管取得了這些進展，MLLMs的復雜性和規模也帶來了可解釋性和可解釋性方面的重大挑戰，而這些挑戰對于在高風險應用中建立透明性、可信度和可靠性至關重要。本文提供了關于MLLMs可解釋性和可解釋性的全面綜述，提出了一個新穎的框架，將現有研究從以下三個角度進行分類：(I) 數據，(II) 模型，(III) 訓練與推理。我們系統地分析了從詞匯級到嵌入級表示的可解釋性，評估了與架構分析和設計相關的方法，并探討了增強透明度的訓練和推理策略。通過比較各種方法論，我們識別了它們的優缺點，并提出了未來研究方向，以解決多模態可解釋性中尚未解決的挑戰。本文綜述為推動MLLMs的可解釋性和透明度提供了基礎資源，旨在引導研究人員和實踐者開發更加負責任和穩健的多模態人工智能系統。

關鍵詞—多模態大規模語言模型、可解釋性、可解釋性、綜述

引言 人工智能（AI）的快速發展已經顯著改變了眾多領域。最近，AI領域最具影響力的進展之一是大規模語言模型（LLMs）的發展，這些模型在文本生成、翻譯和對話式AI等一系列自然語言任務中表現出卓越的語言理解和生成能力[1]。同樣，計算機視覺（CV）的進展使得系統能夠有效處理和解釋復雜的視覺數據，推動了物體檢測、動作識別和語義分割等任務的高精度實現[2]。最近，這些技術的融合激發了對多模態人工智能的興趣，它旨在整合文本、視覺、音頻和視頻等多種模態，實現更加豐富和全面的多模態理解[3, 4, 5, 6, 7, 8, 9, 10, 11]。多模態大規模語言模型（MLLMs）在深度學習技術的重大進展推動下，經歷了快速的發展[12, 13, 14, 15, 16, 17]。通過整合多種數據源，MLLMs在一系列多模態任務中展示了先進的理解、推理和生成能力，包括圖像-文本生成[18, 19, 20]、視覺問答[21, 22, 23, 24, 25, 26, 27, 28]、跨模態檢索[29, 30, 31]、視頻理解[32, 33, 34, 35, 36, 37, 38]。因此，MLLMs在多個領域找到了廣泛的應用[39, 40, 41]，包括自然語言處理（NLP）[42, 43]、計算機視覺（CV）[44, 45]、視頻[15, 46, 47]、自動駕駛[3, 48, 49]、醫學[50, 51, 52]和機器人技術[53, 54, 55, 56, 57, 58]。然而，隨著MLLMs的復雜性和規模的增長，出現了一個關鍵挑戰：解碼MLLMs的決策過程[6, 59, 60]。 可解釋人工智能（XAI）領域已經成為使復雜AI系統的決策過程更加透明和易于理解的關鍵[61, 62, 63]。可解釋性和可解釋性被定義為能夠以人類可理解的方式解釋或呈現[64, 65]。盡管在單模態的可解釋性和可解釋性方面已經取得了顯著進展，例如在卷積神經網絡（CNN）[66, 67]和變換器（transformers）[68]在圖像上的應用，以及LLMs[69]在文本中的應用，但多模態領域存在獨特的挑戰，如不同模態的對齊和分解。此外，MLLMs的可解釋性和可解釋性對于確保透明性和可信度至關重要，特別是在人工智能決策對人類產生重大影響的高風險應用中，這涉及如何在模型中結合不同的數據類型，以及它們的相互作用如何影響輸出。根據近期的研究[64, 70, 71]，本文定義了在MLLMs中，可解釋性指的是那些本質上易于理解的內部結構，使得輸入如何轉化為輸出能夠直觀地理解。另一方面，MLLMs的可解釋性涉及提供關于模型決策背后的外部分析的后置技術。 本文提出了一種新的視角來分類MLLMs的可解釋性和可解釋性，通過整合數據、模型、訓練與推理的視角。正如圖1所示，我們從三個角度考察MLLMs的可解釋性和可解釋性：數據（第III節）、模型（第IV節）、訓練與推理（第V節）。繼數據驅動的可解釋性研究[72, 73, 74, 75]之后，我們探討了數據視角（第III節），分析輸入和輸出數據如何歸因于模型的決策。我們還分析了基準和應用，以評估各種任務中的可信度和可靠性，從而確保其在現實場景中的魯棒性和適用性[76, 77]。在模型的可解釋性和可解釋性方面[78, 79, 80, 81, 82, 83, 84]，從模型視角（第IV節），我們深入分析了從詞匯級、嵌入級、神經元級、層級到架構級的各個層面。在詞匯級[85, 86, 87, 88, 89]，我們研究了單個詞匯對模型輸出的影響，并探索了增強可解釋性的方法。在嵌入級[90]，我們評估了多模態嵌入如何影響MLLMs的性能和可解釋性，提供了對底層表示機制的更深刻理解。對于神經元級[91, 92, 93]，我們分析了單個單元和特定神經元組的作用，以理解它們對整體模型行為的貢獻。在層級級[67, 78, 94]，我們研究了不同層次如何影響模型內的決策過程。在架構方面，我們區分了架構分析和架構設計[95, 96, 97, 98]的可解釋性方法，強調了促進透明性和更好理解模型操作的策略。 此外，我們還探討了增強模型透明性和可解釋性的訓練與推理策略（第V節）。在訓練階段[79]，我們總結了各種訓練機制和權重調整如何影響MLLMs的可解釋性。我們討論了旨在改善對齊、減少幻覺并促進核心知識和泛化能力獲取的技術。在推理階段，我們研究了如何在不需要重新訓練的情況下，緩解諸如幻覺等問題，包括過度信任懲罰機制和鏈式推理技術。 通過整合這些視角[3, 99, 100]，我們的綜述提供了對MLLMs可解釋性和可解釋性挑戰與進展的全面理解。我們相信，這一全面分析將為致力于開發更透明、可靠和可信的多模態模型的研究人員和實踐者提供寶貴的資源。本研究的主要貢獻總結如下： * 我們首次提供了對現有多模態大規模語言模型（MLLMs）可解釋性和可解釋性的深入和全面回顧。 * 我們展示了當前多模態大規模語言模型可解釋性和可解釋性方法的結構化和比較分析，提出了一種新穎的分類方法，將這些方法組織為數據、模型、訓練與推理視角。 * 我們突出顯示了可能推動該領域發展的研究方向，為研究人員進一步發展MLLMs的可解釋性和可解釋性方法提供了有價值的指導。

II. 綜述框架

A. 綜述范圍 近年來，多模態模型和可解釋人工智能（XAI）取得了顯著進展，許多研究探索了使這些復雜模型更加透明和可解釋的方法[72, 73, 74]。為了將本綜述的范圍縮小到一個可管理的范圍，我們聚焦于多模態大規模語言模型（MLLMs）的可解釋性和可解釋性。MLLMs的可解釋性指的是那些本質上易于理解的內部結構，能夠為輸入如何被處理并轉化為輸出提供直觀的洞察[78, 79]。可解釋的MLLMs使研究人員和實踐者能夠深入理解這些跨模態的動態，澄清每個模態如何影響和塑造模型的決策過程[90]。可解釋性涉及使用外部技術來闡明模型決策背后的原因，這在MLLMs中對于理解多模態間復雜的交互作用至關重要[95]。這種重點不僅增強了我們對多模態集成的理解，也回應了對復雜AI系統透明度日益增長的需求[79]。 在本綜述中，我們集中探討MLLMs中四個主要維度的可解釋性和可解釋性： * 數據可解釋性 —— 探討來自不同模態的輸入數據如何預處理、對齊和表示，以支持跨模態的可解釋性，以及如何應用因果歸因方法來增強對模型決策的理解[72, 75]。 * 模型可解釋性 —— 闡明多模態模型本身的結構和功能，提供關于神經元、層次和架構如何貢獻于可解釋性的洞察[67, 78, 79, 80, 85, 86, 87, 90, 91, 95]。 * 訓練與推理可解釋性 —— 理解MLLMs的訓練和推理過程如何影響可解釋性，這對于在學習階段和實際應用中提升透明度至關重要。

為了保持焦點，我們將單一模態的可解釋性方法排除在本綜述的主要范圍之外，如變換器（Transformer）的可解釋性、卷積神經網絡（CNN）的可解釋性或LLMs的可解釋性，僅作為簡要的背景信息進行介紹。類似地，一些不涉及多模態交互獨特挑戰的通用可解釋性方法也不在本綜述的主要范圍之內。相反，我們將重點放在那些專門設計用于解釋和闡明多模態之間交互作用的方法和模型上。 B. 綜述方法論 為了提供對MLLMs可解釋性和可解釋性的全面概述，我們進行了廣泛的文獻回顧，涵蓋了機器學習、自然語言處理（NLP）、計算機視覺（CV）和多模態系統等領域的研究論文。我們重點審查了過去十年（2010–2024）間發表的論文，特別是研究這些領域中可解釋性和可解釋性的不斷增長的文獻。我們的研究方法包括幾個關鍵步驟。首先，我們使用“多模態大模型”、“可解釋性”和“可解釋性”等關鍵詞，在Google Scholar等數據庫中搜索相關論文，具體細節見表I。為了進一步確保綜述的完整性，我們還審查了關鍵論文的參考文獻，并包括了對該領域具有影響力的早期工作。 在收集候選論文后，我們進行了多步驟的篩選過程。首先通過標題篩選潛在相關的論文，然后進行摘要篩查以確認相關性。如果標題和摘要不足以做出決策，我們會進一步查閱完整的文本。如圖2所示，最終選擇的文獻涵蓋了應用于MLLMs的各種可解釋性和可解釋性技術，包括輸入輸出分析、模型組件和訓練動態等。

結論

本綜述系統地探討了多模態大規模語言模型（MLLMs）的可解釋性和可解釋性，強調了決策過程透明性的重要性。我們將可解釋性方法分為三個主要領域——數據、模型和訓練與推理——提供了一個結構化框架來組織研究并指導未來的研究工作。盡管已經取得了顯著進展，但在可解釋性方法和確保廣泛適用性方面仍然存在挑戰。未來的努力應著眼于填補這些空白，構建對MLLMs的統一理解，推動創新，使多模態系統變得更加可靠和可信。

大規模語言模型（LLM）的個性化近年來變得越來越重要，擁有廣泛的應用前景。盡管這一領域重要且取得了進展，大多數現有的個性化 LLM 研究主要集中于 (a) 個性化文本生成，或 (b) 利用 LLM 用于與個性化相關的下游應用（如推薦系統）。在本研究中，我們首次彌合了這兩大研究方向之間的差距，通過引入個性化 LLM 使用的分類體系，概述了關鍵差異與挑戰。我們正式化了個性化 LLM 的基礎，整合并拓展了 LLM 個性化的概念，定義并討論了個性化、使用方法和個性化 LLM 的理想特性等新穎方面。接著，我們通過提出系統的分類方法，將這些多樣化的研究領域和使用場景統一起來，包括個性化的粒度、個性化技術、數據集、評估方法和個性化 LLM 的應用。最后，我們指出了尚需解決的挑戰和重要的開放性問題。通過使用所提出的分類體系統一并綜述近期研究，我們旨在為現有文獻和 LLM 個性化的不同方面提供清晰的指導，助力研究人員和實踐者。

1 引言

大規模語言模型（LLM）已成為能夠執行廣泛自然語言處理（NLP）任務的強大工具，并展現了出色的能力（例如，Radford 等，2018；Devlin 等，2019；Lewis 等，2019；Radford 等，2019；Brown 等，2020；Raffel 等，2020；Achiam 等，2023；Touvron 等，2023；Groeneveld 等，2024）。實證上，這些模型已展示出作為通用模型的能力，使其能夠準確地完成諸如文本生成、翻譯、摘要和問答等多種任務。值得注意的是，LLM 在零樣本或少樣本環境中也能有效工作，即使沒有任務特定的訓練數據，它們也能夠理解并執行復雜的指令（Bommasani 等，2021；Liu 等，2023c）。這一能力消除了對模型參數進行廣泛微調的需求，使人與機器的交互通過簡單的輸入提示大大簡化。例如，用戶可以以對話形式與 LLM 互動，使交互更加直觀易用。LLM 的這種強大且多才多藝的能力已催生了諸多應用，包括通用人工智能助手（AutoGPT，2024）、協同工具（微軟，2024）以及基于個人的 LLM 代理（Li 等，2024f）。這些應用可以幫助用戶執行寫郵件、生成代碼、撰寫報告等各種任務。

最近，人們越來越關注將 LLM 適應用戶特定的上下文，以超越其作為 NLP 任務解決方案或通用聊天機器人的自然用途（Tseng 等，2024）。LLM 個性化正是為此而生，通過適應模型生成符合每位用戶或用戶群獨特需求和偏好的響應。這種個性化對于人機交互和用戶導向的應用至關重要。通過提供更相關和有意義的互動內容，個性化預計能提升用戶滿意度，確保用戶收到更符合其需求和期望的響應。這樣一來，LLM 可以在客戶支持（亞馬遜，2024）、教育（Wang 等，2022；2024b）和醫療（Tang 等，2023；Yuan 等，2023）等廣泛應用中提供更有效的支持，其中個性化響應可以顯著改善用戶體驗；在教育領域，定制內容可以更好地滿足個體學習需求；在醫療領域，個性化建議可以提高患者護理質量。

LLM 的個性化近來獲得了大量關注（Salemi 等，2023；Tseng 等，2024）。然而，現有的個性化 LLM 研究通常分為兩個類別：(a) 個性化文本生成，主要關注在個性化上下文中生成單輪或多輪文本，以及 (b) 在下游個性化任務（如推薦系統）中應用 LLM。這兩個領域的大量研究往往獨立發展，缺乏一個統一的視角。此外，現有綜述（Chen，2023；Chen 等，2024b；2024c）通常僅聚焦于其中一個方面，缺乏系統定義關鍵組成部分并整合兩個個性化 LLM 維度洞見的綜合視角。盡管這兩個領域在特征和目標上有所不同，但統一的視角對于彌合這些研究社區之間的差距至關重要，以促進協作和知識共享，從而開發出更具通用性和多功能性的系統。例如，用戶特定文本生成的進展可以通過對話互動為推薦系統提供更個性化和可解釋的建議。通過整合這兩個領域的洞見，研究人員可以開發不僅能夠生成符合個體偏好的文本，還能在各種應用中提升用戶滿意度的 LLM。此跨學科方法可促進更全面的解決方案，以互補方式兼顧個性化和性能。 在本研究中，我們通過為個性化 LLM 的個性化粒度、技術、評估、數據集和使用場景提出直觀的分類體系，統一了來自不同領域的文獻。本文的關鍵貢獻如下：

1. 個性化 LLM 使用的統一視角與分類體系（第二節）。我們基于生成文本是直接用于評估還是間接用于其他下游應用，提供了個性化 LLM 使用的統一視角與分類體系。這為理解和統一專注于 LLM 個性化的兩個獨立領域奠定了基礎。我們進一步分析了每種方法的局限性，包括特征、評估和數據集等因素。
2. 個性化 LLM 的形式化（第三節）。我們通過確立基礎概念，對個性化 LLM 進行了形式化，整合了現有的個性化概念，定義并討論了個性化的新方面，并概述了它們在各種使用場景中的理想特性。
3. LLM 個性化粒度的分析和分類體系（第四節）。我們提出了 LLM 個性化的三個不同粒度層次，包括 (i) 用戶級個性化，(ii) 角色級個性化，以及 (iii) 全局偏好個性化。我們形式化了這些層次，并討論了各粒度之間的權衡。值得注意的是，用戶級個性化是最細的粒度，但需要足夠的用戶級數據。相比之下，角色級個性化將用戶分組為角色，并根據角色分配來定制體驗；雖然不及用戶級個性化細致，但對于數據有限的用戶來說是一種有效的個性化方式。最后，全局偏好個性化針對大眾的整體偏好，不提供用戶特定的個性化。
4. LLM 個性化技術的調查與分類體系（第五節）。我們根據用戶信息的使用方式，對現有個性化 LLM 技術進行了分類并提供了全面的概述。分類涵蓋了各種方法，如檢索增強生成（RAG）、提示工程、監督微調、嵌入學習和基于人類反饋的強化學習（RLHF）。對于每種方法，我們討論了其特點、應用以及相關權衡。詳細分析有助于理解不同個性化技術的優缺點及其在不同任務中的適用性。
5. 個性化 LLM 評估指標的調查與分類體系（第六節）。我們對個性化 LLM 評估中使用的現有指標進行了分類和分析，提出了一種新的分類體系，以區分直接和間接的評估方法。我們強調了定性和定量指標的重要性，涵蓋用戶滿意度、生成文本的相關性和連貫性等方面。此外，我們討論了個性化 LLM 評估中的挑戰，并提出了改善評估過程穩健性和可靠性的潛在解決方案。
6. 個性化 LLM 數據集的調查與分類體系（第七節）。我們對用于訓練和評估個性化 LLM 的數據集進行了全面分類，基于其在直接或間接個性化文本生成評估中的用途。綜述涵蓋了廣泛的數據集，包括專門設計用于短文本和長文本生成、推薦系統、分類任務和對話生成的數據集。我們討論了每個數據集的優缺點、與不同個性化技術的相關性，以及為了推進該領域而需要更具多樣性和代表性的數據集。
7. 個性化 LLM 的應用調查（第八節）。我們調查了個性化 LLM 應用的關鍵領域，包括教育和醫療、金融、法律、編程環境中的人工智能助手。我們還探索了其在推薦系統和搜索引擎中的應用，突顯個性化 LLM 提供定制用戶體驗、增強參與度并改善特定任務效果的能力。
8. 未來工作的重要開放性問題和挑戰概述（第九節）。我們列出了個性化 LLM 中需要解決的關鍵挑戰和開放性研究問題，以推動該領域的發展。核心問題包括需要改進基準和指標以有效評估個性化，解決在用戶數據稀少時適應模型的冷啟動問題，以及解決可能在個性化輸出中出現的刻板印象和偏見問題。還探討了用戶數據隱私保護與個性化之間的平衡。此外，我們討論了將個性化擴展到多模態系統的獨特復雜性，其中跨越多種輸入類型整合用戶偏好仍是一個未解決的挑戰。

在本文的剩余部分，我們首先提出個性化 LLM 使用的統一視角和分類體系（第二節），然后深入探討個性化 LLM 的理論基礎（第三節）。接著，探討 LLM 個性化的粒度（第四節），并對個性化 LLM 技術進行全面的綜述與分類（第五節）。然后，我們對個性化 LLM 的評估指標和方法進行分類（第六節），并對個性化 LLM 的數據集進行詳細的分類（第七節）

個性化 LLM 的基礎

盡管先前的研究（Yang & Flek，2021；Chen 等，2024c；b）探討了個性化 LLM 的定義并分析了其各個方面，但仍缺乏一個全面的理論框架來理解和形式化這些模型中的個性化。在本節中，我們旨在填補這一空白，通過建立基礎原則、定義和形式結構來形式化 LLM 中的個性化問題。我們系統地發展必要的符號和概念框架，以形式化該問題和評估，為深入理解個性化如何在 LLM 中有效實施和分析奠定基礎。以下小節結構如下： §LLM 的一般原則：我們首先概述構成 LLM 基礎的核心原則。這為理解這些模型的功能及其能力驅動的基本機制提供了重要背景。 §LLM 中個性化的定義：我們在 LLM 的特定上下文中定義“個性化”這一術語，為后續討論奠定明確的理解基礎。 §個性化數據概述：我們提供當前用于個性化的數據概述，強調數據源的不同格式。 §個性化生成的形式化：我們形式化個性化生成的概念空間，為理解如何實現個性化提供結構化框架。 §個性化標準的分類體系：我們引入一個全面的個性化標準分類體系，分類影響個性化輸出的各種因素。

摘要—持續學習（CL）旨在使機器學習模型能夠從新數據中不斷學習，同時在不遺忘已獲得知識的基礎上進行擴展。隨著機器學習模型從小規模到大規模預訓練架構的演變，以及從支持單一模態數據到支持多模態數據，多模態持續學習（MMCL）方法最近開始出現。MMCL的主要挑戰在于，它超越了簡單的單模態持續學習方法的疊加，因為這種直接的方法通常會產生不理想的效果。在本研究中，我們首次對MMCL進行了全面綜述。我們提供了MMCL的基本背景知識和設定，并提出了結構化的MMCL方法分類法。我們將現有的MMCL方法分為四類，即基于正則化、基于架構、基于重放和基于提示的方法，闡述它們的方法論并強調其關鍵創新。此外，為了激發該領域的進一步研究，我們總結了開放的MMCL數據集和基準，并討論了若干未來有前景的研究和發展方向。我們還創建了一個GitHub倉庫，用于索引相關的MMCL論文和開放資源，網址為：//github.com/LucyDYu/Awesome-Multimodal-Continual-Learning。

關鍵詞—多模態持續學習，多模態數據，終身學習，增量學習

1 引言近年來，機器學習（ML）取得了顯著的進展，為解決各種實際問題作出了重要貢獻。在傳統設置中，大多數ML模型在所謂的“單一階段”范式下運行，即在靜態和單一數據集上進行訓練，并在獨立同分布（i.i.d.）假設下進行評估【1】。然而，這種“單一階段”范式無法賦予訓練模型適應新數據或執行新任務的能力，因此難以滿足開發能夠應對動態變化環境的智能體的需求。為解決這一問題，ML社區致力于發展持續學習（CL），也稱為終身學習或增量學習，它通過在新任務上逐步訓練模型并保留早期知識，無需對完整數據進行重新訓練【2-5】。 CL的主要挑戰是災難性遺忘：當任務按順序進行訓練時，針對新任務的訓練會嚴重影響之前已學習任務的性能【6, 7】，這是因為不受約束的微調會使參數遠離舊的最優狀態【8】。CL的目標是開發能夠持續獲取知識并保留已學習信息的學習系統。這一過程本質上模仿了生物大腦的認知靈活性，生物大腦在整個生命過程中不斷學習各種技能【9】。通過使模型能夠在不遺忘的情況下適應新任務，CL在資源和時間效率方面相較于傳統的模型全數據重新訓練方法具有顯著優勢。此外，由于存儲限制、隱私問題等原因，歷史訓練數據可能無法訪問，這使得全數據訓練變得不可行，進一步突顯了CL在記憶舊知識并從動態環境中獲取最新知識方面的效率和有效性。盡管CL取得了顯著進展，大多數研究仍集中在單一數據模態上，如視覺【10-13】、語言【14-16】、圖【17, 18】或音頻【19】。這種單模態的關注忽略了真實世界環境的多模態特性，這些環境本質上是復雜的，由多種數據模態組成而非單一模態。隨著多模態數據的快速增長，例如Meta和TikTok等平臺上圖像、文本和視頻數據的激增，開發能夠從多模態源中持續學習的AI系統變得至關重要，因此出現了多模態持續學習（MMCL）設置。這些MMCL系統需要有效地整合和處理多模態數據流【20, 21】，同時還要能夠保留先前獲取的知識。更重要的是，這種MMCL設置更接近于人類生物系統在應對現實世界復雜性時跨模態學習和整合信息的過程【22, 23】。MMCL的挑戰。盡管傳統單模態CL與MMCL之間存在聯系，MMCL的挑戰遠不止是簡單地將CL方法疊加在多模態數據上。事實證明，這種直接的嘗試通常會產生次優性能【31-33】。具體來說，如圖2所示，除CL中已有的災難性遺忘問題外，MMCL的多模態特性還引入了以下四個挑戰。這些挑戰不僅獨立存在，還可能加劇災難性遺忘問題：

• 挑戰1（模態不平衡）。模態不平衡指的是在多模態系統中對不同模態進行不均衡處理或表示，這種不平衡在數據和參數層面上都有體現。在數據層面，不同模態的數據可用性在CL過程中可能顯著不同，可能出現極端不平衡的情況，如某些模態的缺失【28】。在參數層面，不同模態特定組件的學習速率可能有所不同，導致跨所有模態的整體不平衡學習過程【34】。因此，MMCL模型可能會遭受性能下降，甚至在某些情況下其表現可能比單模態模型還要差【32, 36】。
• 挑戰2（復雜模態交互）。模態交互發生在模型組件中，即多模態輸入信息的表示之間進行顯式交互。這一交互在MMCL中引入了獨特的挑戰，主要體現在兩個交互過程中：模態對齊和模態融合【37】。在模態對齊中，不同模態的單一數據樣本的特征在持續學習過程中往往會發生偏離，這種現象被稱為MMCL中的空間紊亂【38】。在模態融合中，傳統的多模態融合方法在非CL環境中效果良好，但在MMCL環境中可能表現較差，因為不同的融合技術對解決遺忘問題的影響各不相同【36, 39】。
• 挑戰3（高計算成本）。MMCL中的多模態整合顯著增加了模型和任務特定層面的計算成本。在模型層面，增加模態不可避免地增加了可訓練參數的數量。許多MMCL方法利用預訓練的多模態模型作為基礎，但持續地微調這些大規模模型會導致沉重的計算負擔【42, 43】。這些不斷增加的計算需求對MMCL方法的實際部署提出了嚴格的可擴展性要求。
• 挑戰4（預訓練零樣本能力的退化）。隨著預訓練模型的進步，MMCL方法可以借助這些強大的基礎模型。預訓練的多模態模型通常具有在未見過的任務上實現零樣本能力的優勢【44, 45】。然而，在MMCL的連續微調過程中，預訓練基礎模型的一些初始能力可能會下降，這種退化風險可能導致未來任務的性能嚴重下降【45】。 貢獻。為了應對這些挑戰，研究人員正日益關注MMCL方法。我們首次提供了MMCL的全面綜述。我們總結了當前的數據集和基準測試，以促進研究和實驗，并在快速發展的MMCL領域內討論了未來的研究方向。總之，我們的綜述有以下主要貢獻：

1. 我們提供了第一個全面的MMCL綜述。我們詳細介紹了MMCL的背景知識，包括基本的設定、不同的MMCL場景和常用評估指標。
2. 在我們的MMCL方法分類體系中，我們將現有的MMCL工作分為四個類別，并提供了詳細的子類別解釋。
3. 我們總結了當前的數據集和基準，并討論了未來的研究方向，旨在激發創新性研究，從而促進更有效的MMCL方法的發展。

多模態持續學習根據輸入模態的不同，多模態持續學習可以分為五種主要場景：

• 類增量學習（Class-incremental Learning, CIL）：不同任務間的數據分布和標簽空間不同，且測試階段不提供任務ID。模型需能在所有已學類別間進行分類。
• 領域增量學習（Domain-incremental Learning, DIL）：不同任務間的數據分布不同，但共享相同的標簽空間。測試階段不需要任務ID。
• 任務增量學習（Task-incremental Learning, TIL）：不同任務的數據分布和標簽空間均不同，且測試階段提供任務ID，模型知道執行的是哪個任務。 此外，為了適應多模態數據，定義了兩種新的場景：
• 生成式領域增量學習（Generative Domain-incremental Learning, GDIL）：此場景用于生成式任務，例如視覺問答。與CIL不同，GDIL中的模型輸出來自一個較大的詞匯集。
• 模態動態任務增量學習（Modality-dynamic Task-incremental Learning, MDTIL）：任務序列中的模態可能變化，模型在測試階段獲得任務ID，并適應不同的模態組合。

3 方法學

在多模態持續學習（MMCL）中，有多種方法學策略。本文將MMCL方法分為四大類：基于正則化、基于架構、基于重放以及基于提示的方法。圖5對這些方法進行了分類，并在后續的小節中詳細說明。表2總結了各類MMCL方法的具體特性，而圖6展示了代表性架構，主要以視覺和語言模態為主。對于其他模態的方法，在表3中進行了匯總。在正式介紹MMCL方法之前，我們將首先介紹一些經典的單模態持續學習（CL）方法，因為它們既是MMCL方法的前身，也在MMCL研究中被廣泛用作對比。

**3.1 基于正則化的方法

基于正則化的方法旨在通過對參數施加約束來減少災難性遺忘現象【8】。這類方法根據約束方式的不同，分為顯式正則化和隱式正則化兩種。下圖（圖6a）總結了顯式和隱式正則化方法的代表性架構。3.1.1 顯式正則化顯式正則化方法通過直接為參數賦予重要性權重來抑制模型的參數變化。它通過懲罰那些偏離先前最優狀態的參數，以減緩模型的遺忘。其關鍵思想是對模型的參數偏移施加顯式約束，以保護模型在先前任務中的知識。在這種方法中，常用的技術包括：

• 彈性權重保持（Elastic Weight Consolidation, EWC）：通過利用Fisher信息矩陣對參數賦予權重，從而實現參數保護，避免重要參數發生顯著改變。EWC的變種方法例如EWCH和在線EWC通過單一正則化項的方式進一步提高了效率。
• 任務相關性調節（Task Importance Regularization, TIR）：這是MMCL中的一種方法，基于BLIP2等多模態模型。它通過計算新舊任務之間的相似性來動態調整正則化權重，以適應長期持續學習的需求。 3.1.2 隱式正則化隱式正則化方法主要關注于在訓練新任務時盡量保持模型對舊任務輸出的一致性，從而減少遺忘風險。與顯式正則化不同，隱式正則化方法僅在參數變化導致模型輸出改變時才施加懲罰，因此允許參數更自由地調整。隱式正則化常見的方式是知識蒸餾（KD），通常包括以下幾種策略：
• 基于logits的蒸餾（Logits-based KD）：通過對比新模型和舊模型在最后一層輸出的logits，盡量讓新模型在訓練新任務時保持與舊任務相似的輸出分布。
• 基于特征的蒸餾（Feature-based KD）：不僅關注最終輸出，還在中間層的特征上進行對比，從而保留中間表征。
• 基于關系的蒸餾（Relation-based KD）：使用樣本間的關系信息進行對比，如在視覺-語言模型中，可以利用圖像和文本之間的相似度來進行知識轉移。 典型的單模態模型中，LwF（Learning without Forgetting）是一種經典的隱式正則化方法，它在訓練新任務前使用當前數據生成舊任務的輸出，并在訓練時通過KD損失來最小化新任務下的輸出變化。LwF因其無需顯式存儲舊任務數據的特性，被廣泛應用于多模態和單模態CL模型中。在多模態模型中，隱式正則化方法進一步擴展并改進了KD策略以適應不同的模態。例如，ZSCL（Zero-Shot Continual Learning）和Mod-X都使用CLIP作為基礎模型，通過KD技術保留零樣本能力。此外，Mod-X還關注空間無序（Spatial Disorder）問題，以解決視覺和語言表征在持續訓練過程中逐漸偏離的問題。

---

3.2 基于架構的方法

架構方法通過引入任務特定組件來減少不同任務之間的干擾，通常分為固定架構和動態架構兩種。

**3.2.1 固定架構

固定架構方法在整個任務序列中保持相同的模型結構，通過任務掩碼選擇性地激活或抑制特定參數，從而使各個任務使用不同的參數組合。這種方式通過分配任務特定的參數部分來減輕遺忘現象。單模態模型中，HAT（Hard Attention to the Task）通過學習接近于二值的注意力向量，在模型層次上選擇性激活或抑制參數。它通過掩碼來固定特定參數，以保留早期任務的知識。在多模態模型中，RATT（Recurrent Attention Task Transformer）使用固定架構進行圖像描述生成。它結合了卷積神經網絡（CNN）和長短時記憶網絡（LSTM），并通過注意力掩碼實現特定任務的激活，以便針對不同任務分配不同的模型層激活狀態。

**3.2.2 動態架構

動態架構方法則允許模型結構隨著任務的引入而動態擴展，通常通過添加新模塊來增加模型容量。與固定架構不同，動態架構可以在新任務到來時擴展新的任務特定模塊，因此性能不會受到初始容量的限制。在單模態模型中，進步網絡（Progressive Network）是一種早期的動態架構，它通過為每個新任務初始化一個新網絡來避免遺忘。這種方法使用橫向連接來支持特征共享和知識轉移。多模態模型中的動態架構方法則可以通過任務特定、模態特定等多種策略來決定如何擴展網絡結構。例如，MoE-Adapters4CL在多模態模型CLIP的基礎上為每個新任務添加模塊，減少了新任務對已有知識的干擾。此外，ODU和CMR-MFN都設計了模態融合模塊，以應對多模態數據中模態組合多變的特性。

3.3 基于重放的方法

重放方法使用一個記憶緩沖區來存儲歷史實例，以幫助在學習新任務時維護早期任務的知識。這些方法無需動態調整網絡架構，也不需約束參數自由度。基于獲取重放數據的不同方式，重放方法可以分為直接重放和偽重放兩種。

**3.3.1 直接重放

直接重放方法通過將舊任務中的少量樣本存儲在記憶緩沖區中，以在新任務訓練時進行重放。此類方法的關鍵在于如何選擇代表性樣本以充分利用有限的記憶空間。在多模態模型中，例如VQACL和SAMM采用隨機選擇策略直接重放多模態樣本。實驗表明，與單模態重放相比，多模態重放能顯著提升模型的穩定性和靈活性。此外，KDR通過在跨模態相似度矩陣上引入KD，以確保模型更新前后的交互一致性，從而進一步鞏固知識。

**3.3.2 偽重放

偽重放方法利用生成模型學習舊任務的數據分布，從而在當前階段生成偽造數據，避免了直接重放方法的存儲需求和隱私問題。例如，單模態模型中DGR（Deep Generative Replay）通過訓練生成對抗網絡（GAN）來生成數據樣本以進行重放。后續研究擴展了偽重放策略，包括在特征層面進行偽重放，以強化特征表示，減少遺忘現象。在多模態模型中，SGP通過保存場景圖和語言模型生成偽造數據以進行偽重放。此外，AID通過偽原型重放策略處理模態不平衡問題，從而提升分類器的區分能力。這些方法解決了多模態學習環境中數據類型多樣性和平衡性的問題。

3.4 基于提示的方法

基于提示的方法利用預訓練大模型，通過修改輸入而非調整模型結構來保留原始知識并學習新任務。此類方法減少了大規模微調的需求，并能夠更好地保留預訓練模型的零樣本能力。在多模態模型中，例如Fwd-Prompt和S-liPrompts分別采用共享提示和任務特定提示策略，增強了視覺-語言模型在跨模態信息融合中的表現。CPE-CLIP通過將視覺提示設計為語言提示的函數來連接多模態信息，使模型在新任務中具備更好的適應性。

4 數據集和基準

本節對當前多模態持續學習（MMCL）領域的主要數據集和基準進行了綜述。MMCL中的大多數數據集都是從最初為非持續學習（CL）任務設計的知名數據集中改編而來，研究人員常常利用多個數據集或將單一數據集劃分為多個子集，以便在MMCL設置中模擬任務【39】。此外，也存在一些專門為MMCL構建的數據集，例如P9D【68】和UESTC-MMEA-CL【39】。表4匯總了涵蓋各種CL場景、模態和任務類型的MMCL基準。以下將具體介紹這些基準，若數據集和代碼為公開可訪問，將在相應位置標明。

**4.1 基于原始數據集的基準

這一部分總結了兩個專門為MMCL構建的數據集：

• P9D：Zhu等人【68】利用電商數據構建了首個視覺-語言持續預訓練數據集P9D，并建立了跨模態檢索與多模態檢索的VLCP基準。P9D包含超過一百萬對真實產品的圖像和文本數據，并根據行業類別劃分為9個任務。該數據集旨在支持多模態任務中不同類別的持續學習。
• UESTC-MMEA-CL：Xu等人【39】收集了來自佩戴智能眼鏡的10位參與者的視頻和傳感器數據，構建了包含視覺、加速度和陀螺儀模態的UESTC-MMEA-CL數據集，這是第一個用于持續自我活動識別的多模態數據集。作者還建立了CEAR基準，并使用了三種基礎CL方法：EWC【11】、LwF【10】和iCaRL【12】。研究結果顯示，與其他方法相比，iCaRL在重放基礎上能更有效地減輕遺忘問題。 這兩個數據集通過與常用CL方法的結合驗證了MMCL方法在不同模態組合上的有效性，也進一步揭示了多模態數據融合的挑戰及潛在研究方向。

**4.2 基于多個數據集的基準

除了專門的數據集外，也有一些基準通過使用多個數據集來模擬MMCL任務。以下是一些此類基準的簡要介紹：

• CLiMB【31】：該基準包括四個視覺-語言任務（VQAv2、NLVR2、SNLI-VE和VCR）、五個僅語言任務（IMDb、SST-2、HellaSwag、CommonsenseQA和PIQA）以及四個僅視覺任務（ImageNet-1000、iNaturalist2019、Places365和MS-COCO目標檢測）。CLiMB采用分類任務來評估模型在不同模態任務中的表現。
• CLOVE【63】：專注于生成任務，適用于不同模態的生成式任務，利用多個數據集進行評估。
• MTIL【45】：該基準在視覺-語言領域內使用了多個數據集進行任務增量學習，驗證模型在多任務設置中的表現。
• CEAR【39】：基準測試多模態數據集（視頻、加速度和陀螺儀）上的持續學習性能，評估模型對復雜運動數據的持續識別能力。 這些基準提供了多種任務和模態組合，用以驗證模型在各種復雜多模態環境中的持續學習能力。通過這些基準，研究人員可以深入探討MMCL方法在不同任務類型下的適用性和性能表現。

5 未來研究方向

隨著多模態模型的快速發展，多模態持續學習（MMCL）已成為一個活躍且前景廣闊的研究課題。在本節中，我們提出了幾個值得進一步探索和研究的未來方向。

**5.1 提升模態數量與質量

當前的MMCL研究中，多模態數據的數量和質量直接影響模型的性能。然而，由于不同模態的數據特性和收集難度，提升模態數量和質量仍面臨諸多挑戰：

1. 豐富模態種類：許多現有研究主要集中在視覺、語言和音頻模態上，但實際應用中往往需要結合更多模態，如生物信號、環境數據等。因此，未來研究可以探索如何將更多元的模態引入MMCL系統，以提高模型對復雜環境的適應性和泛化能力。
2. 提高數據質量：不同模態數據的噪聲和不完整性可能導致信息缺失或誤導模型學習。提高數據采集和預處理的質量，以及開發具有魯棒性的數據增強方法，將有助于改善模型對多模態數據的學習效果。
3. 模態互補性研究：多模態數據之間的互補性在MMCL中發揮著重要作用。研究如何更好地利用不同模態之間的相互補充來增強學習效果，例如通過模態間對齊和融合方法，以更好地利用數據多樣性，提升模型的整體性能。

**5.2 更高效的計算資源利用

MMCL中的模型往往依賴大規模預訓練模型，并在多個模態和任務上進行持續訓練，這對計算資源提出了更高要求。為提高資源利用效率，未來可以在以下幾個方面展開研究：

1. 參數高效的微調方法：開發參數高效的微調策略（如適配器模塊、低秩近似等），以減少訓練過程中對計算資源的需求。這類方法能夠使模型在進行任務增量學習時僅調整少量參數，從而減輕計算負擔。
2. 模型壓縮和加速：探索模型壓縮（如量化、剪枝）和加速（如蒸餾、混合精度訓練）技術，以降低MMCL模型的內存和計算成本，使其更適合實際部署。
3. 分布式與異構計算：結合分布式計算和異構計算設備（如GPU和TPU），分擔大規模多模態數據的處理任務，以應對計算負載挑戰。這可以使得MMCL模型在多任務和大數據量場景下保持較高的性能表現。

**5.3 增強零樣本能力和泛化性能

MMCL中的一個關鍵挑戰是如何在不忘舊任務的同時提升對新任務的零樣本適應能力及泛化性能：

1. 保持預訓練模型能力：隨著持續微調的進行，MMCL模型可能逐漸喪失預訓練模型的零樣本能力。研究如何在保持先前知識的基礎上，繼續增強模型對新任務的適應性，將是未來的重要方向。
2. 增強跨任務泛化：MMCL模型往往面對跨任務的知識遷移和適應性問題。如何設計有效的跨任務知識遷移機制，以增強模型在不同任務間的泛化能力，將有助于提高模型在多變環境下的實用性。
3. 任務間關系學習：許多現實任務之間存在一定的關聯性，未來可以探索如何利用任務間的關系信息（如標簽關系、特征共現）來更好地指導模型學習，從而提升模型對新任務的預測準確性。

**5.4 應對多模態數據中的模態失衡

在多模態環境下，模態數據的分布和數量可能存在不平衡，這會影響MMCL的表現。未來的研究可以關注以下方面：

1. 模態優先級與加權機制：不同模態對任務完成的重要性可能不同，因此可以研究如何為不同模態分配合適的權重和優先級，以提高模型在模態不平衡情況下的魯棒性。
2. 動態模態選擇與融合：設計動態的模態選擇策略，使模型能夠在缺少某些模態數據時，靈活地進行模態融合和任務處理。這種動態融合策略將提高模型在不同模態條件下的適應性。
3. 模態數據重采樣與合成：在模態不平衡的情況下，可以研究如何通過重采樣或合成方法生成缺少的模態數據，以保持模態之間的平衡性，提高模型的整體學習效果。

5.5 提高模型對隱私與數據安全的適應性

隨著隱私和數據安全需求的增加，未來MMCL研究需要更好地應對這些問題：

1. 隱私保護技術：研究如何在MMCL模型中引入隱私保護技術，如聯邦學習和差分隱私，以在多模態數據環境中保護用戶隱私。
2. 安全模型更新與遷移：開發安全的模型更新和遷移機制，以防止敏感數據泄露，同時保證模型在不同平臺或設備上的適應性和性能。
3. 數據合成與偽重放：為減輕隱私風險，可以利用數據合成與偽重放技術，在不依賴真實用戶數據的情況下，重建訓練數據分布，從而提高模型的隱私適應性。

結論

以上是未來研究方向的詳盡討論，為進一步發展多模態持續學習（MMCL）領域提供了切實可行的建議和探索路徑。通過提升模態數量與質量、提高計算資源效率、增強零樣本能力與泛化性能、應對模態失衡問題，以及加強隱私與數據安全的適應性，研究人員可以應對MMCL的挑戰，推動模型更好地適應現實環境的需求。這些方向的研究不僅能解決當前的技術難題，還將推動更為廣泛和深入的實際應用，從而實現更加智能化和多樣化的學習系統。

摘要. 自動疾病診斷在臨床實踐中變得越來越有價值。大型語言模型（LLMs）的出現推動了人工智能領域的范式轉變，越來越多的證據支持LLMs在診斷任務中的有效性。盡管該領域受到越來越多的關注，但許多關鍵的研究問題仍未得到充分探索。例如，哪些疾病和LLM技術已被用于診斷任務的研究？如何為臨床決策選擇合適的LLM技術和評估方法？為解答這些問題，我們對基于LLM的疾病診斷方法進行了全面分析。本次范圍綜述審查了現有研究中報告的疾病類型、相關器官系統、臨床數據、LLM技術和評估方法。此外，我們為數據預處理、選擇適當的LLM技術和診斷任務的評估策略提供了指南。我們還評估了當前研究的局限性，并劃定了該研究領域的挑戰與未來方向。總之，我們的綜述為基于LLM的疾病診斷勾勒了藍圖，幫助簡化并指導未來的研究工作。

引言

自動疾病診斷通過將臨床數據輸入算法，分析數據模式并生成診斷結果，幾乎無需或完全不需要人工干預。其在臨床場景中的重要性是多方面的。首先，它提高了診斷的準確性，支持醫生的臨床決策，并通過提供更多高質量的診斷服務，解決了醫療資源獲取不平等的問題。其次，它提高了診斷效率，尤其是在人口老齡化和臨床醫生短缺的情況下，診斷的復雜性即便對經驗豐富的醫生來說也需要花費大量時間。最后，它通過在線診斷服務為患者提供了更大的便利，促進了早期診斷并減少了傳統臨床就診所帶來的延誤。 人工智能的進步推動了自動診斷系統的發展，經歷了兩個階段。最初，采用支持向量機（SVM）和決策樹等機器學習技術進行疾病分類1,2，通常包括四個步驟：數據處理、特征提取、模型優化和疾病預測。隨著數據集規模的擴大和計算能力的提升，深度學習方法后來在診斷任務中占據主導地位3,4。這些方法利用深度神經網絡（DNN），包括卷積神經網絡（CNN）5、循環神經網絡（RNN）6和生成對抗網絡（GAN）7，實現了端到端的特征提取和模型訓練。例如，具有34層的卷積神經網絡在心律失常診斷中達到了心臟病專家級別的表現8。然而，這些模型需要大量標注數據進行訓練，且通常針對特定任務，限制了它們在其他任務中的適應性5,8。 近年來，人工智能的范式從傳統的深度學習轉向了大型語言模型（LLM）的興起。與監督學習不同，LLM如生成式預訓練轉換器（GPT）和LLaMA9，是通過自監督學習在大量未標注數據上預訓練的生成模型。這些模型通常包含數十億個參數，擅長處理語言，并能夠適應多種任務。迄今為止，LLM在臨床場景中展示了卓越的性能，包括問答10、信息檢索11和臨床報告生成12,13。

最近，越來越多的研究驗證了LLM在診斷任務中的有效性。例如，PathChat14，一個經過數十萬條指令微調的視覺語言通用LLM，在人類病理學中取得了最先進的性能。Med-MLLM13，一個在廣泛的醫學數據（包括胸部X光片、CT掃描和臨床筆記）上預訓練和微調的多模態LLM，在COVID-19診斷中表現出了顯著的準確性。此外，Kim等人15使用GPT-4結合提示工程，發現它在識別強迫癥方面超越了心理健康專家。 盡管該研究領域備受關注，但許多關鍵問題仍未得到充分探索。例如，哪些疾病和LLM技術已被用于診斷任務？研究人員如何利用LLM分析各種類型的醫學數據進行疾病診斷？哪些評估方法適合評估模型性能？盡管已有大量關于LLM在醫學中應用的綜述論文16,17,18,19,20，它們通常提供了對各種臨床應用的廣泛概述，但并未特別強調疾病診斷。例如，Pressman等人21提供了LLM在臨床中的潛在應用的綜合總結，包括術前咨詢、治療、術后管理、出院和患者教育。然而，這些調查并未涉及LLM在疾病診斷中的細微差別和挑戰，未能回答上述問題，凸顯了研究中的一個關鍵空白。 本綜述的主要目的是對LLM在疾病診斷中的應用進行全面分析。我們審查了現有研究中涉及的各種疾病類型、相關器官系統、臨床數據、LLM技術和評估方法。此外，我們為數據預處理、選擇適當的LLM技術和采用合適的評估策略提供了指南。我們還分析了當前研究的局限性，全面呈現了該領域的挑戰和未來方向。總之，本綜述為基于LLM的疾病診斷勾勒了藍圖，并幫助啟發和簡化未來的研究工作。

研究范圍概述

本節概述了本研究中涉及的疾病、臨床數據和LLM。圖2展示了疾病相關的器官系統、臨床數據、所研究的LLM數據模式和相關LLM技術。值得注意的是，LLM涵蓋了多種數據模式，包括文本、圖像、視頻、音頻、表格數據和時間序列。圖3展示了隨時間變化的出版趨勢以及本綜述中數據隱私和評估方法的統計。表1總結了用于疾病診斷的主流LLM技術分類，而表2則展示了常用的評估指標。

摘要——大型語言模型（LLMs）的快速進展有潛力革新各個領域，但其迅猛發展在監督、倫理開發和建立用戶信任方面帶來了顯著挑戰。本綜述全面調研了LLMs中的關鍵信任問題，重點關注意外傷害、缺乏透明性、易受攻擊、人類價值觀對齊和環境影響等問題。我們強調了可能破壞用戶信任的諸多障礙，包括社會偏見、決策過程中的不透明性、潛在的濫用以及技術快速演變帶來的挑戰。隨著LLMs在金融、醫療、教育和政策等敏感領域的普及，解決這些信任差距至關重要。 為了解決這些問題，我們建議采用綜合方法，包括倫理監督、行業問責、監管和公眾參與。我們主張重塑AI開發規范、對齊激勵措施，并在整個機器學習過程中整合倫理考量，這需要技術、倫理、法律和政策等不同領域專業人士的密切合作。我們的綜述通過提供一個評估LLMs信任的強大框架和對復雜信任動態的深入分析，為該領域作出了貢獻。我們提供了上下文化的指南和標準，旨在負責任地開發和部署這些強大的AI系統。 本綜述識別了在開發可信AI過程中面臨的關鍵限制和挑戰。通過應對這些問題，我們的目標是創建一個透明、負責的AI生態系統，在帶來社會利益的同時將風險降至最低。我們的研究成果為研究人員、政策制定者和行業領導者提供了寶貴的指導，幫助他們在各類應用中建立對LLMs的信任，并確保其負責任地使用造福社會。 關鍵詞——AI治理、算法偏見、可解釋的AI、大型語言模型、可信的AI。

人工智能（AI）的發展顯著受到了作出基礎性貢獻的關鍵人物的影響。AI的創始人約翰·麥卡錫提出了“人工智能”一詞，并倡導使用數學邏輯來表示知識，開創了知識表示領域。他還開發了LISP，這是一種對AI進展至關重要的編程語言[1]。麻省理工學院計算機科學與人工智能實驗室的聯合創始人馬文·明斯基通過理論AI研究推動了對機器智能和推理的理解[2]。由麥卡錫、明斯基、內森尼爾·羅切斯特和克勞德·香農提出的1956年達特茅斯會議是AI歷史上的一個關鍵時刻，將該領域從理論概念轉向實際應用[3]。這一時期見證了啟發式搜索技術和早期機器學習模型的進步，展示了AI向實際應用的轉變。

1970年代后期，AI進展放緩，被稱為“第一次AI寒冬”。這是由于未能達到預期和計算能力有限導致資金和興趣的減少。1980年代見證了向實際AI應用的轉變，如專家系統和自然語言處理，為大型語言模型（LLMs）奠定了基礎，推進了AI對語言理解和生成的能力。盡管在AI寒冬期間面臨挑戰，早期的專家系統在AI商業化方面起到了關鍵作用[4]。

最近的AI進展歸因于廣泛的數據集和日益增加的計算能力，特別是GPU的使用。這些因素在推動深度學習技術的發展中起到了關鍵作用，顯著影響了計算機視覺和語音識別[5]，[6]。另一個重要的里程碑是語言模型的創建，這些模型能夠處理和生成類人文本，從而擴展了AI的能力。深度神經網絡（DNNs）和LLMs的有效性導致了AI在醫療、金融、交通和零售等各個行業的廣泛采用，提高了效率和數據處理能力[8]-[10]。神經網絡（NNs）用于分析大量數據集并識別模式，而LLMs則用于為自動化客戶服務的聊天機器人提供動力[11]-[14]。這些技術革新了不同領域的技術互動，凸顯了深度學習和語言模型對AI進展的重大影響[9]。 DNN架構，包括LLMs，導致了“黑箱”問題，使得理解其工作原理及其結果變得困難[15]。雖然像決策樹這樣的簡單AI模型是透明的，但LLMs缺乏透明性，這在用于決策時引發了倫理問題。挑戰在于使這些系統更透明和可理解，同時考慮到潛在的偏見和錯誤。解決這些問題的努力包括開發使算法過程更透明的方法，但這在AI倫理和治理中仍然是一個重大挑戰[16]。要更好地理解這一點，請參見圖1，它展示了AI的演變和信任挑戰。

時間軸展示了AI在醫療、金融、交通、零售和電子商務領域的日益擴大影響。LLMs在利用先進的語言生成技術變革內容創建方面處于領先地位。時間軸強調了AI中的信任和監督挑戰以及建立信任策略的重要性[17]，[18]。它揭示了AI進展與政策和治理發展之間的差距。

LLMs的最新進展改善了其語言生成能力，但其復雜性阻礙了我們對其決策過程的理解。黃和王在2023年的調查[19]強調了解釋性對LLMs的重要性，特別是在需要透明度和信任的關鍵行業。主要發現包括：a）用于基于神經網絡的NLP模型的事后解釋工具如InSeq工具包；b）模型校準和不確定性估計技術；c）用于擴展和推理的指令微調LLMs研究，問題回答中的元推理；d）LLMs的數學推理能力，語義解析魯棒性研究，減少LLM使用危害的舉措，Aug-imodels等框架[19]用于高效和可解釋的模型，評估代碼訓練的LLMs，以及e）改進LLM推理性能的Chain-of-Thought樞紐措施。他們的研究強調了解釋性對LLMs的倫理和實際重要性。在LLMs被集成到多種應用中時，提供可理解和可解釋的響應是重要的。增強模型設計和交互、提高魯棒性和效率、指導訓練技術都是理解LLM操作的好處。他們的調查是揭開LLM復雜性的一個重要貢獻，為在醫療、金融和法律領域透明和倫理部署LLM奠定了基礎。它為未來研究奠定了基礎，以彌合原始LLM輸出與人類可理解解釋之間的差距。持續開發LLM解釋性對推進AI技術的可信性和可及性至關重要。

A. 構建大型語言模型的信任

黃和王的調查工作[19]及更廣泛的解決“黑箱”問題的努力指明了清晰的前進方向。然而，我們需要一種綜合方法，考慮倫理、技術和政策，以構建AI系統的信任，尤其是像LLMs這樣復雜的模型。 1）LLMs的倫理問題：LLMs在醫療、金融、政策制定和法律系統等領域的日益使用引發了關于隱私、偏見、公平和問責的倫理問題，原因是它們具有先進的自然語言能力。 LLMs可能會因為訓練文本數據中包含敏感信息而損害隱私。這可能導致隱私泄露，例如暴露醫療保健中的機密患者數據或在數據分析中泄露敏感的客戶記錄。為減少這些風險，有必要避免將個人可識別信息納入模型，并評估其隱私影響。確保LLM系統中的透明性和用戶對其數據的控制至關重要。明確的數據隱私指南和法規對于與用戶建立信任至關重要[20]-[30]。 偏見是LLMs的另一個倫理問題。它指的是LLMs在訓練數據中反映和延續的偏見，這可能導致偏見輸出或決策，損害邊緣化群體。性別、種族或文化偏見可能影響LLM模型，導致不公平或刻板印象的輸出和歧視性決策。例如，一個以人力資源為重點的LLM助手可能會對某些群體不利。為解決這一問題，公司應建立多元化的審查委員會，并定期使用偏見檢測工具審核LLM輸出[31]-[33]。 LLMs的另一個倫理問題是公平性，指的是公正待遇。LLM系統必須避免偏見并確保公平，通過公正對待每個人來實現。不公平的LLM模型可能會加劇不平等并造成傷害。例如，在公共政策中使用LLMs評估貸款或抵押申請可能會加劇經濟不平等。實現LLMs的公平性需要防止數據和算法中的偏見，使用對抗性去偏技術，并使用明確定義的指標持續評估公平性[34]-[37]。 問責在LLM系統中至關重要[38]-[40]。由于其復雜的推理過程，LLMs在醫療、司法和就業等影響人們生活的領域中尤其難以追究責任。用戶和利益相關者應知道誰對開發、部署和維護負責。他們應有錯誤、偏見或傷害的申訴機制。組織應建立明確的責任制和透明的治理，包括AI倫理委員會、模型性能的詳細記錄和跟蹤，以及關于LLM系統開發和部署的全面報告。 訓練和運行如GPT-3之類的LLMs需要大量的計算資源，導致高能耗和碳排放[41]。例如，GPT-3的訓練消耗了大約1287 MWh的電力，產生了502公噸的CO2排放，相當于112輛燃油車一年的排放。推理過程可能比訓練消耗更多的能量，估計約60%的AI能量用于推理，40%用于訓練[42]。一次ChatGPT請求的能耗可能是一次谷歌搜索的100倍。盡管LLMs目前對整個ICT行業的排放貢獻不到0.5%，對全球總排放的貢獻不到0.01%，但其影響正在迅速增加[43],[44]。為了促進AI的可持續性，行業應優先透明測量能耗和排放，利用可再生能源數據中心，開發更高效的AI硬件和算法，啟用排放跟蹤功能，并考慮轉向較小的專用模型而非大型通用LLMs。盡管LLMs目前對全球排放的貢獻很小，但其日益廣泛的使用需要積極努力減輕其環境影響，確保AI發展惠及世界而不加劇氣候變化。AI社區、政府和科技公司之間的合作對于實現更可持續的AI未來至關重要[45],[46]。

2）信任基礎上的LLMs技術進步：LLM系統需要解決技術挑戰以建立信任，例如解釋性。解釋性指的是理解和解釋LLM系統的決策過程。透明性通過使用戶理解系統的推理并識別潛在的偏見或錯誤來建立信任。可解釋的LLM系統可以幫助識別倫理問題并提供決策見解[20],[47],[48]。 可解釋AI（XAI）技術對于理解LLMs及建立其復雜系統的信任至關重要。注意力機制提供了對模型預測的見解[49]，但其解釋可能存在爭議[50]。更可靠的方法如綜合梯度[51]和代理模型[52]提供了特征相關性的量化指標，增強了我們對模型決策的理解。最新進展應用電路分析[53]來分解復雜的黑箱LLMs為可解釋的元素，提供了模型操作的詳細見解。使用提示技術生成的模型解釋允許全面的因果敘述[54]。然而，重要的是嚴格評估這些解釋的準確性和有用性[55]。使用各種XAI方法對于LLM的負責任使用至關重要。清晰的解釋通過描述模型的能力、局限性和風險來幫助建立終端用戶的信任[56]。它們對于調試[57]、識別偏見[58]和促進倫理使用至關重要。隨著LLMs的進步，開發可解釋的LLMs至關重要。這在技術上具有挑戰性，但在倫理和研究上必不可少。定制的XAI技術需要在各個層次提供解釋，反映模型的邏輯以增強用戶信心、確保安全并指導AI的倫理使用。

另一個技術挑戰是數據偏見。數據偏見指的是LLM訓練數據中的不公平偏向或歧視。它可能導致有偏見的結果并延續社會不平等。解決數據偏見需要采取措施，如數據審計、預處理以減輕偏見以及多樣化訓練數據集以實現代表性和包容性。明確定義的指標可以幫助評估LLM系統的公平性、準確性、可靠性和透明性，提供其倫理表現的量化指標[20],[37],[47],[48]。

最新研究探索了通過解決幻覺和缺乏可解釋性等問題來提高LLMs可信度的技術[59]。他們提出了一種稱為圖上的推理（RoG）的方法，通過知識圖譜與LLMs協同進行真實和可解釋的推理。在其檢索-推理優化方法中，RoG使用知識圖譜檢索推理路徑，以便LLMs生成答案。RoG中的推理模塊使LLMs能夠識別重要的推理路徑并提供可解釋的解釋，增強了AI系統的可信度。通過專注于知識圖譜中的推理過程并提供透明的解釋，像RoG這樣的方法展示了建立LLMs信任的有希望的方向[59]。

具有可靠日志記錄的可解釋系統增強了透明性、審計和問責制[60]。文檔和日志記錄提供了對決策過程的見解，支持錯誤解決，并確保遵守倫理和法規標準，從而建立用戶信任。這些機制使技術和非技術利益相關者能夠理解AI系統的內部運作，并確定影響其輸出的因素。

3）用戶信任的心理因素：用戶對LLMs的信任在很大程度上取決于心理因素，而不僅僅是技術的可靠性[61]-[65]。用戶必須對LLM系統的可靠性、準確性和可信度有信心。通過有效的溝通和透明性可以實現這一點。組織應清楚地傳達LLM系統的能力和局限性，提供有關系統工作原理和決策方式的信息。此外，組織應對其數據收集和使用實踐保持透明，讓用戶了解他們的數據如何被使用和保護。

4）信任基礎上的LLMs政策與治理：有效的治理對于管理部署LLM系統相關的倫理、技術和問責問題至關重要[36],[40],[47],[61],[66]-[69]。應建立結構和流程，以確保LLM系統的倫理和負責任開發、部署和監控。涉及關鍵利益相關者，如AI倫理委員會、監管機構和行業專家，可以提供指導和監督。為了確保公平和無偏見的決策，必須包括用戶反饋和多樣化的觀點。為了建立對LLMs的信任，我們必須解決解釋性和數據偏見等技術問題，同時建立強有力的治理框架。

5）社會經濟影響：必須評估LLMs的社會經濟影響，以了解其對勞動力和社會的影響。LLMs可能會取代人類工人，導致失業和社會動蕩。需要投資于技能發展，以幫助工人適應變化。再培訓計劃和其他培訓可以使工人能夠與LLMs協同工作或從事新角色。應實施優先考慮工作保障和社會支持的政策，以減輕影響。探索LLMs的潛在社會福利，如增加信息獲取，可以促進更包容的社會。在設計和實施LLMs時，倫理考量和負責任的部署至關重要。應建立促進透明、問責和公平的政策和法規。對LLMs影響的仔細考慮、技能發展的投資和負責任的部署對于對社會產生積極影響至關重要[70]-[72]。

B. 本綜述的主要貢獻

本綜述對AI系統的信任進行了全面分析，重點關注LLMs。通過審查倫理、技術和社會因素，我們為負責任的AI開發討論作出了貢獻。我們的綜述提供了應對構建AI系統信任挑戰的見解和建議，特別是LLMs。主要貢獻如下所述。

? 綜合評估框架：本綜述提供了一個用于分析高級AI系統，特別是LLMs中的算法偏見和漏洞的分類法。該框架由八個視角組成，涵蓋透明性、魯棒性、人類價值對齊和環境影響等方面。此方法使得能夠對LLMs的信任進行徹底評估，解決其開發和部署中的問題。通過整合多種視角，該框架提供了LLM可信度的全貌，對負責任的AI作出了重要貢獻。 ?** 綜合信任動態分析**：本綜述審查了影響用戶對AI系統信任的因素，包括心理、倫理、技術和政策方面。通過分析AI能力、法規和社會接受度的交叉點，識別了實現可信AI的障礙。此研究揭示了信任動態，為從事負責任的AI開發和實施的研究人員、政策制定者和行業專業人士提供了指導。 ? 針對LLMs的上下文化指南和標準：本綜述審查了現代AI系統，特別是不透明模型如LLMs的倫理指南和政策標準的應用。倫理指南在確保AI使用的責任方面發揮重要作用。然而，LLMs由于其類人文本生成和缺乏透明性，面臨獨特的挑戰，這使得理解和解釋其行為變得困難。本綜述探討了在實際LLM部署中實施倫理原則的實際意義，考慮了技術限制、社會影響和潛在風險。它識別了局限性并提供了解釋和操作化LLM開發和部署倫理指南的見解。目標是通過突出差距并倡導完善LLM特定指南來促進AI治理，促進AI使用的透明性、公平性和問責制。

C. 本綜述的局限性

本綜述對AI信任進行了全面審查，特別關注LLMs。然而，重要的是要承認我們研究的局限性。我們的分析基于現有的AI倫理和信任領域的文獻和研究，包括專門針對LLMs的相關工作。因此，本綜述可能無法完全捕捉這些快速發展的領域中最新的想法或進展。

我們的分析范圍限于學術出版物和行業報告，這限制了所考慮的觀點范圍。對于LLMs，這尤為相關，因為本綜述可能未包括未出版的研究或不太知名的觀點，這些觀點可能提供寶貴的見解。此外，鑒于AI技術發展和LLMs倫理考慮不斷演變的速度，本綜述中提出的一些討論和結論可能會隨著時間的推移而變得不再相關。盡管我們的綜述旨在涵蓋AI，包括LLMs，越來越多部署在高風險領域中的情況，但它并未詳盡地解決所有與LLMs相關的信任方面或行業特定挑戰。本綜述中提出的解釋和分析基于撰寫時可獲得的最佳數據和研究。讀者在評估這些發現和建議時應考慮這些局限性。

需要強調的是，本綜述的目標是對AI和LLMs的信任進行全面審查，同時保持對分析范圍的透明度。我們旨在通過探索現有的指南和框架、討論構建LLMs信任的方法和挑戰以及提出未來研究方向，為AI信任和倫理的持續對話作出貢獻。我們鼓勵在可能探索較少或快速發展的領域進行進一步研究和對話，因為這些討論對于AI系統負責任的開發和部署至關重要。在本綜述中，我們創建了一個敘述，捕捉了AI信任的當前狀態及其領域中的潛在發展。然而，AI倫理和信任的領域是復雜和多面的，我們的綜述可能未涵蓋每一個細微差別或觀點。盡管如此，我們希望這項工作能為研究人員、政策制定者和從業人員在應對與AI和LLMs信任相關的挑戰和機遇時，提供有價值的資源。