亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

基于大語言模型（LLM）的智能體的興起為人工智能應用開辟了全新的邊界，然而，這類智能體的評估仍是一個復雜且尚不成熟的研究領域。本文綜述了LLM智能體評估這一新興方向，提出了一個二維分類體系，從兩個維度組織已有研究：（1）評估目標——評估內容，包括智能體的行為、能力、可靠性與安全性；（2）評估過程——評估方法，涵蓋交互模式、數據集與基準、指標計算方法以及相關工具。此外，本文還特別強調了企業級場景中面臨的評估挑戰，如基于角色的數據訪問權限、對系統可靠性的要求、涉及動態與長期交互的任務，以及合規性問題，而這些問題在當前研究中往往被忽視。我們進一步指出了未來的研究方向，包括更全面、更真實且可擴展的評估方法。本文旨在為當前碎片化的智能體評估研究提供清晰的視角，并構建一個系統性評估框架，幫助研究人員與開發者更好地評估LLM智能體在現實世界中的部署能力。

1 引言

基于大語言模型（LLM）的智能體是能夠自主或半自主地進行推理、規劃與行動的系統，它們正成為人工智能領域快速發展的前沿方向之一 [69, 105]。從客戶服務機器人、編程助手到數字助理，LLM智能體正在重新定義智能系統的構建方式。 隨著這類智能體從研究原型逐步邁向真實應用場景 [23, 62]，如何對它們進行嚴謹的評估成為一項緊迫而復雜的任務。與孤立評估LLM模型不同，LLM智能體的評估更具挑戰性。傳統LLM評估通常聚焦于文本生成或問答性能，而LLM智能體則運行在動態、交互性的環境中，它們需要推理并制定計劃，調用工具、使用記憶，甚至與人類或其他智能體協作 [20]。這種復雜行為與現實環境緊密耦合，使得標準的LLM評估方法已難以勝任。打個比方，LLM評估就像是測試一臺引擎的性能，而LLM智能體的評估則更像是要在各種駕駛條件下全面評估一輛汽車的性能。

LLM智能體的評估方式也不同于傳統軟件系統的測試。傳統軟件測試依賴確定性的、靜態的行為，而LLM智能體本質上具有概率性和動態性，因此需要全新的評估方法。LLM智能體的評估處于自然語言處理（NLP）、人機交互（HCI）和軟件工程等多個領域的交匯點，這對評估方法提出了更高的多學科要求。 盡管該領域的研究興趣日益增長，目前的綜述多聚焦于LLM模型本身的評估，或零散地討論某些智能體能力，而缺乏系統化的整體視角 [121]。此外，企業級應用對智能體提出了額外的需求，如對數據和系統的安全訪問控制、高可靠性保障（以滿足審計和合規需求）、更復雜的交互模式等，這些在現有文獻中往往被忽略 [107]。本文旨在為從事智能體評估的研究人員與工程實踐者提供有價值的參考資料。

本綜述的主要貢獻包括：

提出了一套LLM智能體評估的分類體系，從兩個維度系統梳理已有研究： （1）評估目標（評估什么），包括智能體的行為、能力、可靠性與安全性； （2）評估過程（如何評估），涵蓋交互模式、數據集與基準、指標計算方法、評估工具與評估環境。

強調了企業級應用中的特有挑戰，包括基于角色的訪問控制、可靠性保障、長期交互支持以及合規性要求。

本文其余部分結構如下：第2節介紹用于分析當前智能體評估研究的分類體系；第3節探討第一個維度“評估目標”，聚焦于應當評估智能體的哪些方面；第4節討論第二個維度“評估過程”，聚焦評估方法的具體實現；第5節分析企業場景下的評估挑戰；第6節則總結當前未解的問題并提出未來研究方向，以推動LLM智能體評估的持續發展。

摘要 — 基礎模型的迅速出現，特別是大規模語言模型（LLMs）和視覺-語言模型（VLMs），為機器人技術帶來了變革性的范式。這些模型在語義理解、高級推理和跨模態泛化方面提供了強大的能力，推動了感知、規劃、控制和人機交互的重大進展。本綜述文章提供了近期發展的系統性總結，按仿真驅動設計、開放世界執行、模擬到現實遷移和適應性機器人等應用進行分類。與現有的側重于孤立能力的綜述不同，本工作強調了集成化、系統級的策略，并評估了它們在現實環境中的實際可行性。文中討論了諸如過程場景生成、策略泛化和多模態推理等關鍵推動趨勢，同時也分析了核心瓶頸，包括有限的體現性、缺乏多模態數據、安全風險和計算約束。從這一視角出發，本文揭示了基于基礎模型的機器人技術的架構優勢與關鍵局限，突出了實時操作、基礎性推理、魯棒性和信任等方面的開放挑戰。最后，本綜述提出了未來研究的路線圖，旨在通過更加穩健、可解釋和具體現化的模型，彌合語義推理和物理智能之間的鴻溝。 關鍵詞 — 機器人技術、大規模語言模型、視覺-語言模型、基礎模型。

I. 引言

大規模語言模型（LLMs）及一般基礎模型的迅速發展，標志著人工智能（AI）領域的重要里程碑，尤其是在自然語言理解和推理方面。這些模型基于具有數十億參數的變換器架構[1]，在海量的互聯網規模語料庫上進行預訓練，使其具備了廣泛的世界知識和超越小型模型的新興能力[2]。特別是，像GPT-3[3]這樣的LLM展示了令人印象深刻的少樣本學習能力，無需微調[4]，[5]，而更近期的模型如GPT-4[6]則展示了先進的推理能力，并支持多模態功能，在多個基準測試中達到了人類水平的表現。

與此同時，機器人技術的快速進展，特別是在感知、學習、控制和規劃方面，為智能物理系統創造了新的機會[7]，[8]。盡管如此，機器人系統仍未達到人類級別的智能，特別是在現實世界應用所需的靈活性、適應性和泛化能力方面[9]。它們通常難以跨任務轉移知識、適應不可預見的場景，或展示人類行為特征的細致決策能力。傳統上，機器人的自主性基于顯式編程或特定任務的狹窄學習[10]。這些方法在受限環境中有效，但在復雜、動態的環境中卻限制了可擴展性，并帶來了顯著的挑戰。

為了應對這些局限，LLM與機器人技術的最近集成引入了一種新范式，利用它們豐富的語義知識和推理能力來改善機器人智能體的溝通、規劃和適應性[2]。LLM能夠解讀高級人類指令、推理目標與行動，甚至生成低級控制代碼[11]，[12]。這使得機器人能夠應對更廣泛的任務和環境，借助從語言中學習到的廣泛先驗知識。 然而，LLM本身與物理上下文無關。它們缺乏體現性，無法理解度量、傳感器數據或動態物理[13]。因此，將LLM與機器人系統集成帶來了幾個關鍵挑戰。這些挑戰包括將語言融入感知與行動、實現實時響應性以及確保安全可靠的行為。早期的研究通過將LLM與視覺系統[14]、反饋機制[15]和外部知識源[16]結合，已顯示出有希望的結果。然而，如何在多變和不可預測的場景中可靠地將基于語言的智能與物理系統連接，仍是一個未解的問題。

這些挑戰突顯了對當前LLM驅動機器人技術狀態的全面且廣泛綜述的需求。現有的關鍵綜述[2]，[13]，[17]，[18]集中在感知和規劃等傳統子領域，或強調特定方法，往往忽略了在實際環境中這些組件的集成。需要一個更廣泛的視角，系統地審視高級推理與低級控制之間的關系，考慮語言先驗在塑造行為中的作用，并探索將通用LLM適應領域特定約束的可能性。

為了應對這些挑戰，本綜述提供了關于基礎模型及其多模態擴展如何轉變機器人技術的整體綜合。本文回顧了LLM和視覺-語言模型（VLM）的應用，重點討論它們在語義感知、自適應規劃、目標導向交互和自主控制中的應用。本文強調了集成策略，而非孤立地看待這些能力，聚焦于如何滿足實際環境中如基礎性、實時響應和安全等需求。通過模擬到開放世界等多樣環境中的進展，揭示了LLM驅動機器人技術的潛力與當前的局限。討論了關鍵瓶頸，如語義基礎和實時性能，并提出了有助于彌合語言理解與物理執行之間差距的新興解決方案。最后，本文概述了主要的趨勢和開放的研究問題，旨在將語言建模的進展與復雜、現實世界應用中具體現化智能的實際需求連接起來。

摘要 —— 強化學習（Reinforcement Learning, RL）已成為對齊與增強大語言模型（Large Language Models, LLMs）的一種變革性方法，能夠應對指令遵循、倫理對齊以及推理能力等方面的關鍵挑戰。本文綜述了強化學習與語言模型結合的全面基礎，重點介紹了如近端策略優化（Proximal Policy Optimization, PPO）、Q學習（Q-Learning）和演員-評論家（Actor-Critic）等主流算法。此外，文章系統回顧了專為LLM定制的強化學習技術，包括基于人類反饋的強化學習（Reinforcement Learning from Human Feedback, RLHF）和基于AI反饋的強化學習（Reinforcement Learning from AI Feedback, RLAIF）等基礎方法，以及偏好直接優化（Direct Preference Optimization, DPO）和群體相對策略優化（Group Relative Policy Optimization, GRPO）等先進策略。我們系統性地分析了這些技術在各領域的應用，從代碼生成到工具增強推理不等。本文還基于獎勵建模、反饋機制與優化策略提出了一套對比性分類體系。評估結果揭示了一些關鍵趨勢：RLHF 仍然是主導性的對齊技術，而基于結果的強化學習（如 RL with Verified Rewards, RLVR）顯著提升了逐步推理能力。然而，獎勵欺騙、計算成本高昂以及反饋收集的可擴展性等持續性挑戰，凸顯了持續創新的必要性。我們進一步探討了若干新興方向，包括混合RL算法、驗證器引導訓練，以及多目標對齊框架。本綜述可為研究人員提供一份關于RL驅動的大語言模型開發的路線圖，致力于在提升能力的同時兼

性與可擴展性。

關鍵詞 —— 強化學習、大語言模型、RLHF、對齊、推理、自然語言處理、人工智能 **

**

一、引言

大語言模型（Large Language Models, LLMs）已成為人工智能領域的變革性技術，在理解和生成自然語言方面展現出卓越能力。從 GPT-3 擁有的 1750 億參數 [1]，到近年來如 LLaMA 3.1 的 4050 億參數 [2]，以及 DeepSeek-V3 的 6710 億參數 [3]，這些模型在規模和能力上持續擴展。盡管它們在多種任務中表現出色，LLMs 仍然面臨“對齊”（alignment）問題，即確保模型輸出始終反映人類的價值觀、偏好與意圖，仍是一項重大挑戰。LLMs 往往會產生“幻覺”（hallucination）[4]，存在生成有害內容的風險 [5]–[7]，并且在執行復雜指令方面常常表現不佳 [8]。

強化學習（Reinforcement Learning, RL）是一種智能體通過與環境交互中的試錯過程進行學習的范式，近年來成為應對對齊挑戰的強有力框架。與傳統依賴標注樣本的監督學習方法不同，強化學習能夠引入不可微分的反饋信號，并優化多目標的復雜任務。在 LLM 中引入強化學習，標志著人工智能對齊研究的一項重大進展，使模型能夠學習人類偏好、提升推理能力，并更好地遵循倫理規范。本文旨在全面審視應用于 LLM 的強化學習技術，聚焦于模型在“對齊人類價值”與“增強推理能力”兩方面的提升。

將強化學習應用于 LLM 面臨一系列區別于傳統 RL 場景的獨特挑戰。在 LLM 中，狀態空間通常由輸入提示或對話歷史構成，而動作空間則涵蓋模型完整的詞匯表，形成了一個極其龐大且離散的動作集合。這種高維動作空間對算法設計提出了更高要求，與機器人控制或游戲等傳統 RL 應用場景有顯著不同。此外，LLM 中的獎勵信號通常來自于人類對文本質量、有用性、無害性和誠實性等復雜維度的主觀判斷，這些屬性本質上難以量化。

基于人類反饋的強化學習（Reinforcement Learning from Human Feedback, RLHF）[9] 已成為對齊 LLM 與人類偏好的事實標準。該方法通常包含三個階段：首先基于高質量示范數據進行有監督微調，其次利用人類偏好數據訓練獎勵模型，最后使用如近端策略優化（PPO）[10]等算法對策略進行優化。RLHF 在提升指令遵循能力、減少有害輸出方面取得了顯著成效，OpenAI 的 InstructGPT 即為代表性成果 [9]。

然而，人類標注的可擴展性問題推動了替代方案的發展。基于 AI 反饋的強化學習（Reinforcement Learning from AI Feedback, RLAIF）[11] 用其他 AI 系統的評估結果來替代或增強人類反饋，在維持相近性能的同時大幅降低了標注成本。憲法 AI（Constitutional AI）[12] 是 RLAIF 的一種特化形式，模型根據預定義的原則對自身輸出進行批判與修正，尤其適用于無害性對齊。近期的研究進一步致力于簡化 RLHF 流程，例如偏好直接優化（Direct Preference Optimization, DPO）[13]，跳過顯式獎勵建模，直接通過偏好對進行策略優化，在計算效率和訓練穩定性方面具有優勢。實證研究顯示，DPO 在情感控制與摘要等任務中的表現可與基于 PPO 的 RLHF 相媲美甚至超越，同時大大降低了系統復雜度。

除了人類偏好對齊之外，RL 技術也越來越多地用于提升 LLM 的推理能力。基于結果的強化學習（Outcome-Based Reinforcement Learning）[14] 關注最終答案的正確性，即使中間推理步驟未被監督也可進行優化。更先進的方法如帶可驗證獎勵的強化學習（Reinforcement Learning with Verifiable Rewards, RLVR）[15]，能為推理過程中的每一步提供反饋，顯著提升模型在數學與邏輯推理任務上的表現。例如，RLVR 將 GPT-3.5 在數學推理基準 GSM8K 上的準確率從 56.8% 提升至 72.5%，且僅需少量訓練樣本。盡管已有顯著進展，將 RL 應用于 LLM 仍存在諸多挑戰，例如獎勵函數被模型“鉆空子”的獎勵欺騙現象（reward hacking）[16], [17]；以及 RL 訓練所需的龐大計算成本，尤其是在參數量級為數十億的模型上，給實際部署帶來困難。此外，不論是來自人類還是 AI 系統，確保反饋的質量與代表性 [18], [19] 仍是一個復雜難解的問題。

本文在該領域的貢獻包括以下幾點：第一，我們提供了一份關于 RL 技術在 LLM 中應用的全面技術綜述，涵蓋了如 RLHF 與 RLAIF 等基礎方法，以及 DPO 和群體相對策略優化（Group Relative Policy Optimization, GRPO）等前沿方法。第二，我們系統分析了 RL 技術在多個領域的應用，如代碼生成與工具增強推理，展現其廣泛適應性與有效性。第三，我們提出了一個基于獎勵建模、反饋機制與優化策略的對比分類體系，為理解 RL 在 LLM 中的技術生態提供結構化框架。最后，我們還討論了若干新興研究方向，包括混合 RL 算法、驗證器引導訓練，以及多目標對齊框架。

本文其余部分安排如下：第二節介紹 LLM 與強化學習的基礎概念；第三節詳細講解為 LLM 改編的具體 RL 算法；第四節探討用于對齊與推理增強的 RL 技術；第五節展示 RL 在各類應用場景中的實踐；第六節提供一套比較分析與評估；第七節討論現有挑戰與局限；第八節展望未來研究方向；第九節總結全文。我們希望通過本綜述為研究者與實踐者提供一份推動 RL 驅動 LLM 發展的技術路線圖，在提升模型能力的同時兼顧安全性與可擴展性。

摘要

大型語言模型（LLMs）的出現為自然科學與社會科學研究帶來了變革性機遇，其通過提供理解復雜系統的新范式，正重塑相關領域的研究進程。尤其是生成式智能體模擬（GABMs）——通過整合LLMs模擬人類行為，因其能在多樣化人工環境中建模復雜交互而日益受到關注。本文綜述了LLMs在網絡科學、演化博弈論、社會動力學及流行病建模等領域的顛覆性作用，評估了其在社會行為預測、博弈合作增強、疾病傳播模擬等方面的最新進展。研究發現，LLMs不僅能復現人類典型行為（如公平偏好、合作傾向、社會規范遵循），還具有成本效益、可擴展性和倫理簡化等獨特優勢；但同時也存在因提示詞敏感性、幻覺問題甚至模型特性導致的行為不一致性，這為控制此類AI驅動的智能體帶來了挑戰。盡管潛力巨大，若要將LLMs有效整合至政府、社會或個人決策流程中，仍需解決數據偏見、提示詞設計難題及人機交互動力學理解等關鍵問題。未來研究需優化模型架構、標準化方法論，并探索LLMs與人類及彼此交互中可能涌現的新型合作行為，這些進展或將徹底改變各類系統的決策模式。

關鍵詞：大語言模型（LLMs），生成式智能體模擬（GABMs），復雜系統，網絡科學，合作博弈，社會動力學，流行病建模********************************

彭晨丨作者

論文題目：LLMs and generative agent-based models for complex systems research 發表時間：2024年10月28日 論文地址：//doi.org/10.1016/j.plrev.2024.10.013 會議名稱：Physics of Life Reviews **

**

近年來，大語言模型（LLMs）的突破性進展正在重塑自然科學與社會科學的研究范式。近期，發表在 Physics of Life Reviews 的綜述文章系統梳理了LLMs與生成式智能體模擬（Generative Agent-Based Models, GABMs）在復雜系統研究中的前沿應用。這類模型通過將LLMs嵌入智能體決策核心，能夠實現人類在復雜環境中的互動行為的模擬，為網絡演化、群體合作、社會動態傳播等經典問題提供了全新研究路徑。LLMs不僅能復現人類的公平性、合作傾向等社會規范，還展現出成本效益、可擴展性和倫理簡化等獨特優勢。然而，其行為的不一致性、提示敏感性以及“幻覺”問題也揭示了AI智能體控制的技術挑戰。

****

**

復雜網絡：LLM驅動的自組織網絡演化

在復雜網絡領域，傳統模型依賴固定規則生成節點連接，而GABMs首次實現了基于語義理解的網絡自組織。一項研究通過GPT-3.5模擬在線社交網絡生長：每個新加入的智能體（節點）在接收到包含現有成員好友數的提示后，自主決定連接對象。有趣的是，初始實驗發現網絡呈現獨特的**“中心-輻條”結構**，與傳統偏好連接模型（preferential attachment）的冪律分布明顯不同。深入分析揭示，這種偏差源于LLM對節點名稱的隱性偏好——當研究者將節點名稱隨機化后，網絡結構立即趨近經典模型。這種**“名稱偏見”**現象凸顯了LLMs在模擬人類行為時可能引入的隱性認知偏差。

圖 1. 生成式智能體模型（GABMs）。智能體并不根據一組固定的規則來決定它們之間的相互作用。相反，會向LLM發送包含所需詳細信息的提示，并返回智能體應該做出的決策。

****

**

博弈論：AI智能體的合作悖論

博弈論實驗成為檢驗LLMs社會認知能力的試金石。一項獨裁者博弈（Dictator Game）中發現，GPT-3.5智能體的平均分配公平性顯著高于人類，且從未選擇“獨占全部資源”的理性策略。

在一項囚徒困境（Prisoner's Dilemma）的單次博弈中，LLMs的合作率高達65.4%，遠超人類37%的歷史數據。這種超理性行為在另一團隊的迭代實驗中發生反轉：**當GPT-4智能體相互博弈時，表現出“一次背叛終身不合作”**的極端懲罰策略，揭示了模型版本更新帶來的行為變化。

這些矛盾結果暗示，LLMs的合作傾向高度依賴提示框架和模型微調策略，其“價值觀”本質上是開發者預設與社會訓練數據共同作用的產物。

圖3. 提示一個LLM參與獨裁者博弈。將Brookins等人提供的指令復制到使用GPT-3.5的LLM智能體中。雖然指令沒有明確提到公平，但LLM表現出公平分配的傾向，超過人類參與者。

****

**

社會動力學：人機混合決策的曙光

社會動態模擬方面，LLMs正在突破傳統智能體模型的局限。一項研究在流行病建模中構建了三層提示框架：基礎場景智能體僅考慮工作收入；健康反饋層加入個體癥狀感知；完整反饋層進一步引入社區感染數據。結果顯示，獲取群體信息的智能體自發產生居家隔離行為，使疫情傳播規模下降80%。這種無需預設規則的適應性決策，為公共衛生干預模擬提供了動態響應基礎。

圖5. LLM驅動智能體的疫情傳播模型。Williams等人提出一種模型，其中個體每天通過LLM決策是否外出互動或居家隔離。在基準場景中，LLM僅被告知個體需要工作賺錢；在健康狀態反饋場景中，提示詞額外包含個體的健康狀況；最終，完整反饋場景還會提供社區病毒傳播信息（研究者將其命名為"Catasat病毒"）及前一階段同區域（名為"Dewberry Hollow"）的感染人數數據。

而在群體決策領域，另一項研究證實GPT-3能精準模擬特定亞文化群體（如美國福音派基督徒）的政治傾向，其預測結果與真實民調誤差小于2%。這種細粒度的人群建模能力，使政策仿真可以觸及傳統問卷調查難以覆蓋的微觀社會結構。

****

**

挑戰與未來：人機共生的決策新生態

盡管前景廣闊，LLMs在復雜系統中的應用仍面臨三重挑戰。首先是提示工程的脆弱性：在最后通牒博弈（Ultimatum Game）中，同一LLM作為提議者與響應者時行為一致性僅50%，而雙智能體架構則提升至88%，顯示決策角色的語義隔離至關重要。

其次是價值觀的隱形編碼，在一項政治傾向量表檢測中發現，早期模型（如BERT）呈現保守傾向，而GPT-4則更趨自由主義，這種偏差可能扭曲社會模擬的客觀性。

**最后是群體涌現的不確定性，**在多智能體公共品博弈中發現，惡意節點的存在會使相鄰個體貢獻率下降40%，但另一團隊觀察到補償性合作增強，這種矛盾可能源于不同LLM版本的風險評估機制差異。

圖6. LLM在社會決策中的整合應用。左圖：智能體為政府或第三方組織提供決策支持，右圖：智能體輔助個人決策的過程。此類智能元素的整合機制，在概念上類似于領域專家委員會模式，但其規模可擴展至前所未有的水平。

因此，未來的研究需建立標準化的提示詞協議、開發偏差檢測工具，并深入探索人機混合群體中新型合作機制的涌現規律。當數十億LLM智能體在數字空間持續交互，可能催生超越人類經驗的社會動力學新模式。這場始于語言理解的革命，未來可能將重塑我們理解復雜性的方式。

參考文獻 [1] De Marzo, G., Pietronero, L., & Garcia, D. (2023). Emergence of scale-free networks in social interactions among large language models. arXiv preprint arXiv:2312.06619. [2] Guo, F. (2023). GPT in game theory experiments. arXiv preprint arXiv:2305.05516. [3] Williams, R., Hosseinichimeh, N., Majumdar, A., & Ghaffarzadegan, N. (2023). Epidemic modeling with generative agents. arXiv preprint arXiv:2307.04986. [4] Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337-351.**

**

摘要—隨著數據可用性的擴展，機器學習（ML）在學術界和工業界取得了顯著的突破。然而，不平衡的數據分布在各種原始數據中普遍存在，并且通過偏倚決策過程嚴重影響了機器學習的性能。為了深入理解不平衡數據并促進相關研究和應用，本文系統分析了各種現實世界的數據格式，并將現有研究針對不同數據格式的工作歸納為四個主要類別：數據重平衡、特征表示、訓練策略和集成學習。這一結構化分析幫助研究人員全面理解不平衡在不同數據格式中的廣泛存在，從而為實現特定研究目標鋪平了道路。我們還提供了相關開源庫的概述，突出當前面臨的挑戰，并提出了旨在推動該關鍵研究領域未來進展的新見解。 關鍵詞—機器學習、不平衡數據學習、深度學習。

I. 引言

隨著數據可用性的擴展，機器學習（ML）已成為學術界和工業界技術進步的前沿。這些機器學習模型被精心設計，以適應特定的數據分布，并隨后應用于各種下游任務，從預測分析到自動決策系統。因此，機器學習模型的性能受到訓練數據質量和分布的深刻影響。具有代表性、多樣化且經過精心預處理的數據確保模型不僅準確，而且在不同的環境和挑戰中具有魯棒性和廣泛的泛化能力。 然而，自然數據分布本質上復雜且經常存在缺陷。在這些挑戰中，不平衡數據分布尤其突出，反映了各個領域普遍存在和自然產生的差異。例如，在金融領域，欺詐行為的實例相較于合法交易來說相對稀少，這使得模型難以準確地檢測這些異常。在醫療領域，稀有疾病在醫學數據集中可能被低估，這為開發穩健的診斷模型帶來了重大挑戰。在工業領域，質量控制系統常常需要識別稀有的產品缺陷，而這些缺陷可能會被大量合格產品所掩蓋。這些情境不僅使機器學習模型的訓練更加復雜，而且對系統的魯棒性提出了更高要求。 通常，不平衡的數據分布顯著影響機器學習模型的性能和實用性。這些模型通常在高資源組上表現良好，這些組的數據充足，但在低資源組上表現較差，后者的數據稀缺，導致數據分布的界限模糊。因此，盡管機器學習模型可能在整體上表現令人滿意，但在這些低資源組中的有效性會顯著降低。然而，這些低資源組往往在現實世界的應用中更為重要。例如，在醫學診斷中，由于數據不足未能檢測到稀有疾病，可能導致漏診和不充分的患者護理。同樣，在金融系統中，無法識別稀有的欺詐實例可能導致重大財務損失和安全性受損。機器學習模型忽視這些稀有但關鍵的實例，降低了自動決策系統在實際應用中的效用和安全性。 為應對這些挑戰，機器學習領域已提出了一系列方法，我們將其組織為四個基本類別——數據重平衡、特征表示、訓練策略和集成學習——每個類別都與機器學習過程中的關鍵環節相對應。數據重平衡技術對于調整數據分布以更好地進行表示至關重要，采用了如過采樣少數類和欠采樣多數類等方法。這一調整對于防止模型過度偏向多數類樣本至關重要，符合機器學習中的數據準備階段。特征表示策略增強了準確捕捉和表示與少數類樣本相關信息的能力。這一改進在特征工程階段至關重要，使得模型能夠有效地從所有樣本中學習并做出預測。先進的訓練策略調整學習算法，以最小化其對多數類樣本的內在偏見。這一訓練階段的關鍵調整確保了學習過程的包容性，平等地考慮所有樣本。最后，集成方法通過組合多個模型，屬于機器學習過程中的模型集成部分。這些方法利用多個算法的優勢，以潛在地減少由不平衡數據引發的偏差，從而提高最終模型輸出的魯棒性和準確性。通過根據機器學習的基礎過程對方法進行分類，這一分類不僅有助于全面的領域調查，還闡明了這些策略背后的動機，幫助實現特定目標。此調查還探討了不平衡在不同數據格式中的表現，包括圖像、文本和圖形，突出了每種格式的差異、獨特的挑戰和所需的適應性。這一探索至關重要，因為它加深了對每種數據格式的理解，并有助于為復雜數據格式場景制定針對性的機器學習策略。 本調查的貢獻總結如下：

• 我們提供了關于不平衡數據學習的全面文獻綜述，系統地概述了基于機器學習基礎過程的方法。
• 我們對不平衡在各種數據格式中的表現進行了深入分析，包括圖像、文本和圖形，提供了每種格式特有的挑戰和方法的詳細探索。
• 我們突出了可用于解決不平衡數據問題的資源，并探討了當前面臨的挑戰和未來的研究方向。這一討論旨在幫助那些在應對不平衡問題時掙扎的研究人員，幫助他們有效和高效地開發策略。

本調查的結構安排如下：第二節對處理不平衡問題的方法進行了詳細調查，并按我們的分類法進行組織；第三節廣泛討論了不平衡在各種數據格式中的表現；第四節對不平衡數據方法的評估指標進行了詳細研究；第五節介紹了可用于學習不平衡數據的資源；最后，第六節總結了該領域的挑戰與未來發展方向。

近年來，大規模語言模型（LLMs）的快速發展已經徹底改變了科學研究的格局，為研究周期的各個階段提供了前所未有的支持。本文呈現了首個系統性綜述，專門探討大規模語言模型如何革新科學研究過程。我們分析了LLMs在四個關鍵研究階段中所發揮的獨特作用：假設發現、實驗規劃與實施、科學寫作以及同行評審。我們的綜述全面展示了任務特定的方法論和評估基準。通過識別當前面臨的挑戰并提出未來的研究方向，本綜述不僅突出了LLMs的變革潛力，還旨在激發并指導研究人員和實踐者利用LLMs推動科學探究的發展。相關資源可在以下倉庫訪問：//github.com/du-nlp-lab/LLM4SR。

1 引言

“如果我看得更遠，那是因為我站在巨人的肩膀上。” —— 艾薩克·牛頓科學研究流程是啟蒙時代系統性探究成就的見證 [17, 58, 58]。在這一傳統范式中，科學研究涉及一系列明確的步驟：研究人員首先收集背景知識，提出假設，設計并執行實驗，收集和分析數據，最后通過經過同行評審的手稿報告發現。這一循環過程促進了現代科學和技術的突破性進展，但仍受到人類研究人員所固有的創造力、專業知識、有限時間和資源的制約。幾十年來，科學界一直在努力通過自動化科學研究的各個方面來增強這一過程，旨在提高科學家的生產力。早期的計算機輔助研究可以追溯到1970年代，出現了如自動數學家（Automated Mathematician）[74, 75] 和 BACON [71] 等系統，這些系統展示了機器在定理生成和經驗法則識別等專門研究任務中的潛力。更近期，AlphaFold [62] 和 OpenFold [4] 等系統則展示了在某些特定研究任務中的開創性努力，顯著加速了相關領域的科學進展，提升速度達到數千倍。然而，直到基礎模型的出現和最近大規模語言模型（LLMs）[2, 154] 的爆發，跨多個研究領域的全面AI輔助才成為現實 [190]。近年來，LLMs取得了顯著的進展，改變了AI和自然語言處理（NLP）等多個領域。這些模型，如GPT-4 [2] 和LLaMA [154]，在理解、生成和與人類語言互動方面設立了新的基準。通過大規模數據集和創新架構的支持，這些模型的能力已經超越了傳統的NLP任務，涉及更復雜和領域特定的挑戰。尤其是LLMs處理海量數據、生成類人文本以及在復雜決策中提供支持的能力，已經引起了科學界的廣泛關注 [92, 141]。這些突破表明，LLMs有潛力徹底革新科學研究的開展、記錄和評估方式 [156, 165, 174]。在這篇綜述中，我們探討了LLMs當前在科學研究過程中各個階段的應用。具體來說，我們識別了LLMs展現出顯著潛力的四項任務。首先，我們探討它們在科學假設發現中的應用，LLMs利用現有知識和實驗觀察來提出新的研究思路。接下來，我們回顧它們在實驗規劃和實施中的貢獻，LLMs在優化實驗設計、自動化工作流程和數據分析方面發揮了重要作用。我們還涵蓋了LLMs在科學寫作中的應用，包括生成引用、相關工作部分，甚至起草整篇論文。最后，我們討論了LLMs在同行評審中的潛力，LLMs通過自動化評審和識別錯誤或不一致來支持對科學論文的評估。對于每項任務，我們提供了方法論、基準和評估方法的全面綜述。此外，本綜述還識別了每項任務中的局限性，并突出了需要改進的領域。通過分析LLMs在研究周期各階段的貢獻，本綜述旨在激發研究人員探索新興概念、開發評估指標，并設計創新方法，推動LLMs在研究工作流程中的有效整合。

與現有綜述的比較

與之前的專門研究相比，本綜述提供了更廣泛和更全面的視角，涉及LLMs在整個科學研究周期中的應用。例如，Zhang等人 [187] 綜述了超過260種LLM在各學科科學發現中的應用，主要關注模型架構和數據集等技術層面，未將其角色置于更廣泛的研究過程背景中。類似地，其他綜述通常采用更狹窄的范圍，考察LLMs在一般應用中的特定能力，如規劃 [55] 或自動化 [158]，而非其在科學研究工作流程中的集中應用。此外，一些研究討論了與特定研究階段相關的一般方法，但并未專注于LLMs本身，如相關工作和引用文本生成 [89] 或同行評審過程 [33]。相比之下，本綜述整合了這些零散的觀點，提供了LLMs在科學工作流程中貢獻的整體分析，并突出了它們在應對現代研究多樣化和不斷發展的需求中的潛力。

本綜述的結構

如圖2所示，本綜述的結構如下： * §2 討論了LLMs在科學假設發現中的應用，概述了相關方法論和關鍵挑戰。 * §3 聚焦于實驗規劃和實施，重點介紹LLMs如何優化和自動化這些過程。 * §4 深入探討了自動化論文寫作，包括引用和相關工作生成。 * §5 探索了LLMs輔助的同行評審。 對于每個主題，本綜述的結尾部分總結了當前的挑戰和未來方向，以應對這一快速發展的領域。

2. LLMs在科學假設發現中的應用

概述

在“LLMs用于科學假設發現”這一領域出現之前，最相關的前沿研究領域是“基于文獻的發現”和“歸納推理”。我們首先總結了這兩個相關領域的研究（作為歷史背景），然后總結了方法、基準、評估發展趨勢和重要進展，最后總結了發現任務中的主要挑戰。

科學發現的歷史

使用LLMs生成新的科學假設是一個新興的研究課題，主要源自兩個相關的研究領域，即“基于文獻的發現”和“歸納推理”。

**2.2.1 基于文獻的發現

基于文獻的發現（LBD）最早由Swanson[151]提出。其核心思想是“知識可以是公開的，但尚未被發現，如果獨立創建的片段在邏輯上相關但從未被檢索、匯集和解釋。”因此，如何檢索可以匯集以創造新知識的公共知識仍然是一個挑戰。Swanson[151]提出了LBD的經典形式化模型，即“ABC”模型，其中兩個概念A和C被假設為通過某個中間概念B在論文中共同出現而相關聯。最近的工作使用了詞向量[155]或鏈接預測模型[152; 160; 171]來發現概念之間的鏈接以組成假設。然而，經典的LBD方法沒有建模人類科學家在構思過程中考慮的上下文，并且僅限于預測離散概念之間的成對關系[47]。為了克服這些限制，Wang等人[159]首次嘗試將LBD置于自然語言上下文中以約束生成空間，并使用生成的句子作為輸出，而不僅僅是像傳統LBD那樣預測關系。LBD的另一個局限性是長期以來被認為僅適用于非常特定、狹窄類型的假設[159]。然而，科學發現的最新進展表明，LBD可能具有更廣泛的應用范圍。特別是，Yang等人[174]和Yang等人[176]分別與社會學和化學研究人員進行了廣泛討論，發現大多數現有的社會學和化學發表的假設（而不僅僅是狹窄類型的假設）都可以用LBD模式表述。這可能表明未來在社會學和化學中發表的假設也可能來自現有知識的正確鏈接和關聯。

**2.2.2 歸納推理

歸納推理是從特定的“觀察”中找到一個具有廣泛適用性的“規則”或“假設”[175]。例如，地心說、日心說和牛頓的萬有引力定律都是基于對恒星和行星運動的“觀察”提出的“規則”。科學發現是歸納推理的極端任務，其中每個“規則”都是一個新穎的科學發現。科學哲學界總結了歸納推理中“規則”的三個基本要求[113]：（1）“規則”不應與“觀察”相沖突；（2）“規則”應反映現實；（3）“規則”應呈現一個可以應用于比“特定”觀察更大范圍的通用模式，涵蓋觀察中不存在的新信息。之前的歸納推理研究主要由“歸納邏輯編程”社區進行[26]，該社區使用形式語言和符號推理器。Yang等人[173]首次在NLP領域進行了生成性歸納推理的研究，即從特定的自然語言觀察中生成自然語言規則，并引入了科學哲學界對歸納推理的要求。受語言模型傾向于生成模糊且不具體規則的經驗啟發，他們提出了第四個要求：（4）“規則”應清晰且足夠詳細。第四個要求可能被科學哲學界忽視了，因為它太明顯了。受這些要求的啟發，Yang等人[173]設計了一種過度生成然后過濾的機制，利用語言模型先生成許多初步規則，然后過濾掉不符合要求的規則。隨后，開發了使用自我精煉代替過濾并使用更多推理步驟以獲得更好規則的方法[120, 163, 191, 194]。然而，這些工作試圖歸納的“規則”要么是已知知識，要么不是科學知識，而是合成的模式。Yang等人[174]首次嘗試將經典的歸納推理任務設置（發現已知/合成知識）擴展到真實的科學發現設置：利用LLMs從公開的網頁數據中自主發現新穎且有效的社會科學科學假設。具體來說，他們收集了關于社會科學概念的新聞、商業評論和維基百科頁面作為網頁數據來發現假設。Majumder等人[107, 108]進一步提出了“數據驅動發現”的概念，即利用網絡上的所有公共實驗數據（以及手頭的私人實驗數據）跨學科發現假設。他們的動機是，大量公開可用的實驗數據的潛力尚未得到充分利用，許多新穎的科學假設可以從現有數據中發現。

方法的發展

在科學發現的方法中，有一個明確的方法發展軌跡。我們首先介紹這一軌跡，然后探討其他方法。

**2.3.1 主要軌跡

總的來說，科學發現的這一方法發展軌跡可以被視為將更多關鍵組件納入方法中。表1總結了我們認為重要的關鍵組件，并指出每種方法是否包含這些組件。具體來說，它們是“靈感檢索策略”、“新穎性檢查器”、“有效性檢查器”、“清晰度檢查器”、“進化算法”、“利用多個靈感”、“假設排名”和“自動研究問題構建”。在這里，每個“關鍵組件”指的是已被證明對科學發現任務有效的詳細且獨特的方法論。我們排除了可能直觀上有幫助但尚不清楚如何從概念中提取特定方法對該任務有效的廣泛通用概念（例如工具使用）。接下來，我們介紹這些關鍵組件。對于每個關鍵組件，我們使用一到兩段文字進行簡要概述，總結其發展軌跡。本節中提到的每種方法的參考信息可以在表1中找到。靈感檢索策略。除了依賴背景知識外，基于文獻的發現（LBD）還促進了額外知識的檢索，作為提出新假設的靈感來源。SciMON[159]首次將LBD的概念引入發現任務，展示了新知識可以通過現有知識的鏈接組成。至關重要的是，靈感不應在之前已知與背景相關，或者至少不應以已知的方式與背景相關聯[176]。否則，假設將不會新穎。受經典LBD形式化中“ABC”模型的啟發，給定背景知識，SciMON檢索語義相似的知識、知識圖譜鄰居和引用圖譜鄰居作為靈感。具體來說，如果兩個知識的SentenceBERT[127]嵌入具有高余弦相似度，則它們被識別為“語義相似”；他們構建的知識圖譜遵循“[方法，用于，任務]”格式。ResearchAgent嚴格遵循“ABC”模型，構建概念圖，其中鏈接表示兩個連接的概念節點曾在同一篇論文中出現過。它檢索與背景概念在概念圖上連接的概念（概念共現）。Scideator基于語義匹配（語義學者API推薦）和概念匹配（包含相似概念的論文，同一主題、同一子領域和不同子領域）檢索靈感論文。SciPIP[164]從語義相似的知識（基于SentenceBERT）、概念共現和引用圖譜鄰居中檢索靈感。它提出了過濾方法，以過濾掉對概念共現檢索無用的概念。與選擇語義或引用鄰居作為靈感不同，SciAgents隨機抽樣另一個與背景概念在引用圖譜中通過長或短路徑連接的概念作為靈感。MOOSE[174]提出使用LLM選擇的靈感：給定研究背景和一些靈感候選者，并要求LLM從候選者中選擇靈感。然后MOOSE-Chem[176]也采用了這種方法。MOOSE-Chem假設在訓練了數億篇科學論文后，最先進的LLMs可能已經具備了一定的能力來識別背景知識的靈感以組成新知識的發現。MOOSE-Chem通過注釋2024年發表的51篇化學論文（這些論文僅在2024年在線提供）的背景、靈感和假設，分析了這一假設，并查看僅使用截至2023年的訓練數據的LLMs是否可以在僅給出背景的情況下檢索到注釋的靈感。他們的結果顯示檢索率非常高，表明這一假設可能基本正確。然后Nova也采用了LLM選擇的靈感，動機是利用LLM的內部知識來確定新想法的有用知識，應該能夠超越傳統的實體或關鍵詞檢索方法。反饋模塊。下一個關鍵組件是對生成的假設在新穎性、有效性和清晰度方面的迭代反饋。這些反饋首先由MOOSE提出，受歸納推理中對假設的要求啟發[113, 173]。這三個方面足夠客觀，可以給出反饋，并且每個方面對于一個好的假設都是必不可少的。

• 新穎性檢查器。生成的假設應與現有文獻相比是一個新穎的發現。當假設傾向于與現有假設相似時，提供增強其新穎性的反饋可能有助于假設的制定。現有的新穎性反饋方法都基于LLMs。一般來說，有三種提供新穎性反饋的方法。第一種方法將每個生成的假設與相關綜述進行比較（MOOSE）；第二種方法迭代檢索相關論文進行比較（SciM SciAgents, Scideator, CoI）；第三種方法直接利用LLMs的內部知識進行評估（Qi, ResearchAgent, AIScientist, MOOSE-Chem, VirSci）。
• 有效性檢查器。生成的假設應是有效的科學/工程發現，準確反映客觀宇宙[113]。真正的有效性反饋應來自實驗結果。然而，為每個生成的假設進行實驗既耗時又昂貴。因此，目前有效性反饋幾乎完全依賴于LLMs或其他訓練過的神經模型的啟發式方法。例外是FunSearch, HypoGeniC, LLM-SR, 和 SGA。具體來說，FunSearch是關于生成數學問題的代碼。編譯器和驗證代碼自然是高效且有效的驗證器；HypoGeniC和LLM-SR專注于數據驅動發現，這意味著它們可以訪問觀察示例，用于檢查與每個生成假設的一致性；SGA創建了一個虛擬物理模擬環境來模擬真實實驗。然而，有效性檢查器仍然是科學發現社區的一個重大挑戰。未來的研究方向包括機器人技術和自動化實驗室，可以自動進行濕實驗（例如生物學和化學實驗）以驗證生成的假設。對于計算機科學相關的假設，未來的研究方向可能是更先進的自動代碼實現系統。
• 清晰度檢查器。生成的假設應足夠清晰地傳達信息并提供足夠的細節[173]。然而，LLMs傾向于生成細節不足的假設[159]。因此，提供清晰度反饋以細化假設并擴展細節將是有益的[174]。當前的方法（MOOSE, ResearchAgent, MOOSE-Chem, 和 VirSci）都采用LLMs進行自我評估清晰度。 進化算法。進化算法是受生物進化原理啟發的優化算法的一個子集。它假設存在一個“環境”，其中無法適應它的實體將被“淘汰”，而超級實體將從具有某種適應性的實體之間的特征“重組”中進化出來（此過程也稱為“突變”）。這一關鍵組件很重要，因為（1）真實的實驗評估和生成的假設的啟發式評估自然充當“環境”。（2）科學假設發現的本質從根本上可以看作是從僅已知知識輸入到未知但有效知識的突變。盡管目標相似，當前的科學發現方法以不同的方式利用進化算法。FunSearch首次將進化算法引入科學發現任務。他們采用了一種基于島嶼的進化算法，其中每個島嶼是一組相似的方法，每個島嶼不斷突變為新的假設。在某些時間間隔，一些排名最低的島嶼被“淘汰”，并由每個島嶼中表現最好的假設組成的新島嶼形成，鼓勵島嶼之間的優點“重組”。LLM-SR采用了類似的基于島嶼的進化算法。SGA將其作為“進化搜索”，即在每次迭代中生成多個后代并保留最佳選擇。他們還采用了進化交叉，其中LLMs從各種過去的實驗中生成新的假設，以更好地進行探索。MOOSE-Chem將其設計為“進化單元”，以更好地關聯背景知識和靈感知識。具體來說，給定背景和靈感知識，他們首先生成多個獨特的假設來關聯兩者。然后每個假設獨立細化，最后將細化的假設重新組合，以更好地將背景和靈感知識整合成一個連貫的假設。它鼓勵從相同輸入中進行不同的突變變體，并匯集每個突變變體的優點。利用多個靈感。這里討論的“利用多個靈感”（LMI）組件是關于明確識別多個靈感，以便這些識別的靈感將被全部利用到最終假設中（例如，以順序方式）。這很重要，不同的方法有不同的原因。MOOSE-Chem是第一個引入這一組件的，動機是觀察到許多學科如化學和材料科學通常需要多個靈感來制定一個完整且可發表的假設。具體來說，他們將看似無法解決的問題P(hypothesis|research background)分解為許多更小、更實際和可執行的步驟。他們通過為分解制定數學證明來實現這一點。一般來說，較小的步驟涉及識別起始靈感，基于背景和靈感組成初步假設，找到另一個靈感以解決初步假設中的空白，然后使用新靈感組成更新的假設，依此類推。他們通過利用多個靈感的目標是重新發現發表在《自然》或《科學》等高影響力期刊上的化學和材料科學假設。除了MOOSE-Chem，Nova還以連續的方式檢索多個靈感，但目標不同，即生成更多樣化和新穎的研究假設。他們的動機來自IGA的實驗結果，即生成的假設的多樣性趨于飽和。他們確定主要原因之一是輸入背景信息相同，而結合不同的靈感集可以通過引入靈活的輸入在很大程度上緩解這一問題。假設排名。這一關鍵組件是關于提供生成假設的完整排名。這很重要，因為LLMs可以在短時間內生成大量假設，而驗證每個假設的真實實驗室實驗既耗時又昂貴。因此，科學家們知道應該首先測試哪個假設將非常有益。一些方法（例如MOOSE）采用自動評估方法來提供對生成假設的初步理解。自動評估方法自然可以用于排名，但表1僅關注排名在方法論部分的使用方式（而不是在自動評估部分）。大多數方法采用LLMs的評分作為獎勵值，可以用于排名（MCR [145], AIScientist, MOOSE-Chem, CycleResearcher）。FunSearch專注于代碼生成問題，因此可以直接通過運行代碼并檢查結果來精確評估生成的代碼。ChemReasoner[146]微調了一個任務特定的圖神經網絡模型以獲得獎勵。HypoGeniC[193]和LLM-SR[140]專注于數據驅動發現，這意味著他們可以訪問觀察示例，用于檢查與生成假設的一致性，其中一致示例的數量可以用作排名的獎勵值。與直接預測獎勵分數不同，IGA采用成對比較，因為他們發現當直接要求預測最終分數或決策時，LLMs的校準效果較差，但在要求判斷哪篇論文更好時可以達到非平凡的準確性。受IGA[141]啟發，CoI[77]提出了一個成對自動評估系統，名為Idea Arena。Nova[49]也采用了成對自動評估方法。自動研究問題構建。這一關鍵組件是關于自動構建研究問題，以便自動化科學發現方法可以將其作為輸入來發現假設。這表明LLM系統在科學發現中的不同角色：沒有它，LLM作為副駕駛，依賴研究人員提出好的研究問題；有了它，系統以“全自動駕駛”模式運行，能夠獨立發現而無需人工輸入。“全自動駕駛”模式首先由MOOSE引入，并被視為科學發現的“自動化”設置。具體來說，他們采用基于LLM的代理不斷搜索與學科相關的網絡語料庫以找到有趣的研究問題。AIScientist通過利用起始代碼實現作為輸入來探索研究方向。MLR-Copilot通過分析輸入論文的研究空白來找到研究方向。SciAgents和Scideator通過直接基于概念配對生成假設來跳過研究問題。VirSci通過利用基于LLM的科學家代理進行頭腦風暴來生成研究問題。CoI通過收集方法的發展線并預測下一步來找到研究問題。Nova直接從輸入論文和常見想法提案模式生成種子想法，跳過研究問題構建步驟。

**2.3.2 其他方法

在本節中，我們介紹了與“主要軌跡”中的方法不同的方法（§2.3.1）。這些方法本身非常多樣化，專注于科學發現的不同方面。例如，Dong等人[30]嘗試使用GPT-4解決極具挑戰性的研究問題：“P是否等于NP”。他們提出了“蘇格拉底推理”，鼓勵LLMs遞歸地發現、解決和整合問題，同時促進自我評估和細化。他們的方法在嘗試證明一個極具挑戰性的現有假設時可能有用。IdeaSynth[118]是一個研究想法開發系統，將想法概念表示為畫布上的鏈接節點。其效果在一個人機交互場景中進行了調查。他們通過實驗室研究發現，使用IdeaSynth的人類參與者可以探索更多替代想法，并與使用強大LLM基線的參與者相比，擴展初始想法的細節。Liu等人[96]首次嘗試將基于文獻的發現和數據驅動發現統一起來。給定一組初始實驗結果，它檢索相關文獻并采用迭代細化方法，不斷改進假設以使其與實驗結果一致，并利用檢索到的文獻中的發現。Weng等人[167]提出了一個雙系統，包括CycleResearcher和CycleReviewer，其中CycleResearcher負責想法制定和論文寫作，CycleReviewer負責對撰寫的論文進行評分。雙系統具有協同作用，CycleReviewer的評分可以組成偏好數據來訓練CycleResearcher。雙系統僅專注于想法制定和論文寫作，跳過實驗規劃和實施。Li等人[80]提出了微調LLMs以成為更好的想法生成器，并引入了一個新穎的框架，采用兩階段方法結合監督微調（SFT）和可控強化學習（RL）。他們專注于可行性、新穎性和有效性維度。維度控制器能夠動態調整生成過程。

基準

總的來說，自動化科學發現中的任務可以分為“基于文獻的發現”和“數據驅動發現”。研究人員分別為每個任務設計了不同的基準。

**2.4.1 基于文獻的發現

基于文獻的發現通常是關于連接現有出版物中的知識（片段）并將它們關聯起來以創造新知識。在這個過程中，起始知識來自研究背景。研究背景可以看作由兩個部分組成：（1）一個研究問題，和（2）一個背景調查，討論研究問題的最先進方法或知識。有了研究背景中的起始知識，其他要連接的知識通常是通過搜索現有出版物獲得的。這里的其他知識被稱為“靈感”[159, 174]。然后研究背景和檢索到的靈感被關聯起來以創建一個“假設”。 表2總結了基于文獻的發現基準，旨在實現新穎的科學發現。關鍵組件是研究問題、背景調查、靈感識別和假設。假設從“摘要”部分[159]、“方法論”部分[174, 176]或“未來工作”和“局限性”部分[68]收集。表2還包括數據集的大小（分析的論文數量）、論文的學科和論文的發表日期。  一些基準可以用于訓練，因為它們的大小較大[119, 159]，而一些主要用于評估，因為它們由博士生注釋[68, 174, 176]。

**2.4.2 數據驅動發現

Majumder等人[107]提出了“數據驅動發現”的概念。這里的“數據”指的是實驗結果。他們的動機是，鑒于大量（公開和私人的）現有實驗結果在線可用，LLMs可能能夠找到這些數據的一般模式，其中一般模式可能是一個新穎的研究假設。鑒于具體觀察與一般假設之間的關系，“數據驅動發現”與歸納推理任務非常相關，其中觀察空間是網絡上所有公開可用的實驗結果和手頭的私人實驗結果。DiscoveryBench[108]是第一個數據驅動發現基準。它包含從20多篇已發表論文中手動提取的264個發現任務和903個合成任務。任務的輸入包括一個研究問題和一組實驗數據。目標是回答研究問題，并提供一個可以由實驗數據支持的假設。它還引入了生成假設的結構化形式化，即假設應由三個部分組成：上下文、變量和關系。具體來說，假設是關于在上下文中兩個變量之間的關系。DiscoveryWorld[57]是第一個具有虛擬環境的發現基準。其主要動機有兩個：（1）真實世界的實驗成本高昂且需要大量領域專業知識；（2）從任務特定細節中抽象出來鼓勵開發更通用的發現方法。為了解決這些挑戰，它建立了一個虛擬環境，供代理發現假設。它包括120個不同的挑戰任務，其中假設反映了世界的真實模式。

評估發展趨勢

科學發現任務的評估方法多種多樣。可以說，幾乎每篇提出新方法論的論文都使用了不同的評估方法。然而，它們的指標表現出顯著的交叉點，并且可以觀察到這些工作中評估方法的一些新興趨勢。評估標準的交叉點是“新穎性”、“有效性”、“清晰度”和“顯著性”。一些較少使用的評估標準包括“相關性”、“趣味性”和“有用性”。“有效性”的替代名稱是“可行性”。在許多情況下，它們可以互換使用。“有效性”指的是發現的科學知識是否準確反映客觀世界，而“可行性”關注工程發現的實用性。“有用性”是一種主觀評估，基于發現系統的目標是作為研究人員的副駕駛；因此，研究人員對其感知的有用性可能被認為是重要的。在評估者選擇方面，評估方法可以分為基于LLM的評估和基于專家的評估。LLM的直接評估在社會科學中顯示出與專家評估的高度一致性[174]。然而，在自然科學學科如化學中，LLMs被認為缺乏提供可靠評估的能力[146]。專家評估通常被認為是可靠的。然而，在化學等具有挑戰性的領域，即使是專家的直接評估也可能缺乏足夠的可靠性[176]。這是由于（1）學科的復雜性；（2）研究主題的微小變化可能需要完全不同的背景知識進行評估，而專家通常有專門的研究重點，可能無法涵蓋相對可靠評估所需的全部知識。基于參考的需要，評估方法可以分為直接評估和基于參考的評估。由于直接評估的可靠性問題，基于參考的評估作為一種替代方法[68, 108, 176]，它計算生成假設中提到的關鍵組件與真實假設的匹配程度。此外，除了直接為生成的假設分配標量評估分數外，Si等人[141]提出了基于比較的評估，以緩解LLM直接評分評估的不足：要求LLM評估者不斷比較生成的假設對，直到可以進行排名。它可以在比較兩種方法生成的假設質量時使用，但可能無助于判斷假設的絕對質量。然而，最終的評估應僅通過真實（濕實驗）實驗進行。這給機器人技術和自動實驗實施領域帶來了挑戰。

主要進展/成就

Yang等人[174]首次證明了LLMs能夠生成新穎且有效的科學假設，并通過專家評估確認。他們找到三名社會科學博士生直接評估生成的社會科學假設的新穎性和有效性。然后Si等人[141]提供了第一個關于LLM生成假設的大規模專家評估，雇傭了100多名NLP研究人員。他們得出了一個統計學上顯著的結論，即LLM可以生成比人類研究人員更新穎但略遜于有效性的研究假設。然后Yang等人[176]表明，基于LLM的框架可以重新發現2024年發表在《自然》、《科學》或類似水平上的許多化學和材料科學假設的主要創新（這些假設僅在2024年在線提供），使用僅在2023年10月之前的數據訓練的LLMs。

挑戰與未來工作

挑戰。科學發現是找到尚未通過濕實驗驗證的新知識。在某些學科如化學中，即使是專家對生成的新穎假設的評估也不夠可靠。這導致需要自動進行實驗以驗證大規模機器生成的假設。此外，當前的科學發現方法高度依賴現有可用LLMs的能力。在通用任務上能力更強的LLMs通常也能導致發現質量更好的假設[174]。因此，基于LLM的發現方法可能有一個性能上限，受限于最先進LLMs的能力。然而，我們如何增強LLMs在科學發現任務上的能力在很大程度上（如果不是完全）尚不清楚。第三，目前尚不清楚科學發現的充分內部推理結構：當前的工作嚴重依賴從高質量知識源（例如文獻）中檢索靈感以生成假設。但尚不清楚是否有任何更多的內部推理結構可以幫助這一過程。最后，構建準確且結構良好的基準高度依賴專家。然而，專家組成的基準的規模通常非常有限。目前尚不清楚如何擴展一個準確且結構良好的面向發現的基準。未來工作。第一條未來工作方向是增強自動實驗執行，因為它仍然是測試假設有效性的最可靠方法。這一過程可能因學科而異。在計算機科學中，瓶頸可能是編碼能力，尤其是編程大型系統的能力。在化學或生物學中，瓶頸可能在于進行實驗的機器人技術方法[14]。第二條未來工作方向是增強LLM在假設生成中的能力。目前，如何提高這一能力仍不十分清楚。可能的方面包括訓練數據收集方法和訓練策略。第三條未來工作方向是研究科學發現過程的其他內部推理結構。這可能需要一個跨學科的努力，涉及科學哲學（也稱為科學學）[36]。第四條未來工作方向是研究如何利用LLMs自動收集準確且結構良好的基準。

3. LLMs在實驗規劃與實施中的應用

概述

除了生成假設外，LLMs越來越多地用于科學研究中，以自動化實驗設計并簡化工作流程。LLMs具有全面的內部世界知識，使它們能夠在沒有特定領域數據訓練的情況下在現實世界中執行明智的行動。為了最大化其潛力，LLMs被設計為基于代理的形式，具有兩個關鍵屬性[64]：模塊化和工具集成。模塊化確保LLMs可以與外部系統（如數據庫、實驗平臺和計算工具）無縫交互，而工具增強框架使LLMs能夠作為工作流程中的中央控制器，與專門模塊接口，用于數據檢索、計算和實驗控制。本節探討了LLMs如何具體應用于支持研究想法的規劃和實施。

優化實驗設計

LLMs通過使科學研究中的工作流程更高效和自適應，正在改變實驗設計過程。它們處理和分析大量數據集的能力使研究人員能夠分解復雜任務，選擇最佳方法，并增強實驗的整體結構。本節探討了LLMs如何在不同領域中促進實驗設計優化。任務分解涉及將實驗分解為更小、可管理的子任務，這一過程通常由現實世界研究的復雜性所必需，以確保與特定研究目標的一致性[55]。許多研究[14, 15, 52, 125, 136, 168]展示了LLMs如何通過定義實驗條件和指定期望輸出來簡化復雜問題。例如，HuggingGPT[136]利用LLMs將用戶查詢解析為結構化任務列表，同時確定執行順序和資源依賴關系。同樣，CRISPR-GPT[52]通過促進選擇適當的CRISPR系統、設計引導RNA、推薦細胞傳遞方法、起草協議和規劃驗證實驗，自動化了基于CRISPR的基因編輯實驗設計。ChemCrow[15]采用迭代推理和動態規劃，使用結構化的“思考、行動、行動輸入、觀察”循環[177]根據實時反饋改進其方法。多LLM系統，如Coscientist[14]和LLM-RDF[131]，進一步利用專門代理從文獻中提取方法，將自然語言描述翻譯為標準協議，生成自動化平臺的執行代碼，并在執行過程中自適應地糾正錯誤。高級提示技術，如上下文學習、思維鏈[166]和ReAct[177]，通常用于上述研究中，以增強LLM輔助工作流程中實驗規劃的可靠性和準確性。此外，LLMs還能夠通過反思和細化[106, 139]增強實驗設計，這一過程使它們能夠持續評估和改進實驗計劃。例如，通過模擬專家討論，LLMs參與協作對話[81]，挑戰假設，并通過迭代分析[90]改進其輸出。這種方法模仿了現實世界中的科學問題解決，其中專家意見之間的差異促進了問題空間的深入探索，并通過嚴格的辯論和綜合不同觀點達成共識。

自動化實驗過程

LLMs通過自動化實驗過程中的重復和耗時的任務，徹底改變了科學研究。這種自動化顯著提高了生產力，使研究人員能夠將數據準備、實驗執行、分析和報告等勞動密集型過程委托給基于LLM的系統[158]。

**3.3.1 數據準備

研究中最耗時的方面之一是數據準備，包括清理[185, 21]、標記[153, 196]和特征工程[46]等任務。大語言模型（LLMs）可以自動化這些過程，特別是在處理大型數據集時，手動數據整理將效率低下。此外，在數據難以獲得的情況下，LLMs可以直接合成實驗數據[82, 85, 98]。例如，在社會科學中，進行人類受試者實驗通常既昂貴又不道德，Liu等人[98]設計了一個沙箱來模擬社交環境，并部署了多個代理（LLMs）進行交互。這種方法使研究人員能夠收集代理社交互動的數據以進行后續分析。

**3.3.2 實驗執行與工作流程自動化

為了自動化科學研究中的實驗工作流程，基于LLM的代理可以通過預訓練[95, 128]、微調[44, 35]和工具增強學習的組合獲得任務特定能力。在大規模數據集上的預訓練提供了基礎知識，而在領域特定數據集上的微調則針對目標科學應用改進了這些知識。為了增強任務執行，LLMs通常與領域特定知識庫[14, 15, 157]或預配置的工作流程[99, 14]結合使用。高級提示技術，如上下文學習和思維鏈提示[99, 179]，使LLMs能夠快速適應新的實驗協議。此外，具有任務特定反饋循環的迭代調整允許LLM根據實驗目標改進其輸出[124, 179]。基于這些原則，LLM在不同學科中自動化實驗工作流程中扮演了多樣化的角色。在化學中，ChemCrow[15]，一個LLM化學代理，利用18個專家設計的工具自主規劃和執行復雜的化學合成，橋接計算和實驗領域。同樣，Coscientist[14]將LLM與實驗室自動化集成，優化如鈀催化合成等反應。LLMs還被用于進化搜索策略，以探索廣闊的化學空間[157]，從而在減少實驗負擔的同時識別候選分子。Ramos等人[124]將自然語言輸入與貝葉斯優化相結合，用于催化劑合成，簡化了迭代設計周期。此外，LLMs還被用于假設情景測試和反應設計，通過假設預篩選最小化實驗迭代[145, 146]。在藥物發現中，ChatDrug[99]集成了提示、檢索和領域反饋模塊，以促進藥物編輯，而DrugAssist[179]通過人機對話迭代優化分子結構。在生物和醫學研究中，如ESM-1b[128]和ESM-2[95]等模型編碼蛋白質序列，捕捉結構特性以進行預測任務，如二級和三級結構預測，消除了勞動密集型實驗的需要。通過在蛋白質家族上微調LLMs，Ferruz和Hocker[35]生成了高度多樣化但功能性的蛋白質序列。此外，He等人[44]引入了一種抗體生成LLM，用于從頭設計SARS-CoV-2抗體，實現了特異性和多樣性，同時減少了對天然抗體的依賴。

**3.3.3 數據分析與解釋

除了自動化實驗執行外，LLMs還通過生成自然語言解釋和構建有意義的可視化來協助數據分析，這對于解釋復雜數據集并確保得出的見解可訪問和可操作至關重要[143]。傳統上，數據分析需要廣泛的統計專業知識、手動計算和大量實驗結果的解釋。LLMs通過自動化統計建模和假設檢驗等任務簡化了這一過程。例如，Li等人[79]展示了LLMs可以作為建模者，提出、擬合和細化基于現實世界數據的概率模型，同時通過后驗預測檢查等技術提供關于模型性能的關鍵反饋。此外，LLMs擅長揭示文本數據中的隱藏模式、趨勢和關系。在社交媒體數據分析中，LLMs提供了對公眾情緒和新興趨勢的見解[172]，在環境數據解釋中，它們有助于提高理解和決策能力[114]。此外，它們還在主題分析[27, 126]中發揮了重要作用，幫助識別定性數據中的主題和模式。它們的應用還擴展到金融數據分析，增強了預測和風險評估能力[188]。AutoGen[168]提供了一個通用框架，使多個可定制代理（LLMs）能夠創建多樣化的應用程序。這些代理可以通過自然語言和代碼進行交互，支持廣泛的下游任務，如數據建模和數據分析[61]。

基準

基準對于評估LLMs如何有效支持實驗工作流程的各個方面至關重要。雖然并非專門為LLM輔助的實驗實施創建，但許多基準足夠通用，可以應用于這些任務。例如，MLAgentBench[54]涵蓋了任務分解，幫助分解復雜的研究任務，數據處理，自動化數據加載和轉換等過程，以及工作流程管理，優化機器學習實驗執行。這些基準提供了不同的途徑，因此在方法上有所不同。評估方法從任務成功率、準確性和執行一致性到與人類基準的比較。這些差異突出了LLMs可以集成到研究過程中的多種方式。表3中提供了更多詳細信息。

挑戰與未來工作

挑戰。將LLMs用于實驗規劃和實施的挑戰既來自其固有局限性，也來自其在領域特定任務中的應用。一個基本限制是它們的規劃能力。正如Kambhampati等人[64]所澄清的那樣，處于自主模式的LLMs通常無法生成可執行的計劃。它們容易產生幻覺，這可能導致不合理的計劃、偏離任務提示或無法遵循復雜指令[55]。在多階段實驗環境中，提示的魯棒性構成了另一個關鍵挑戰。提示措辭的微小變化，即使傳達了相同的意圖，也可能導致整個規劃和執行過程中的指導不一致[195]，可能影響實驗結果。此外，自回歸LLMs的慢處理速度可能會阻礙迭代和多步驟實驗規劃中的實時反饋，限制其效率。應用特定挑戰包括適應專門角色的困難，因為LLMs難以模擬領域特定的科學專業知識和認知過程，這對于跨研究領域的泛化至關重要[167]。例如，某些實驗可能需要模擬倫理敏感或容易出錯的場景，這通常與LLMs中嵌入的安全對齊價值觀相沖突。未來工作。未來的研究應通過增強核心模型能力并針對實驗任務的獨特需求進行定制來解決這些挑戰。為了減輕幻覺風險，可以在工作流程中集成穩健的驗證機制，例如與外部聲音驗證器交叉引用輸出[64]或采用實時反饋循環動態糾正不準確性[59]。提高提示魯棒性可能涉及開發自適應系統，監控和修改提示結構以響應上下文變化，確保規劃階段的一致性。效率提升可以通過創建更快的、蒸餾版本的LLMs，優化多步推理或結合LLMs與更小的、任務特定模型的混合系統來實現，以平衡速度和準確性。為了更有效地適應角色，可以使用高質量領域特定數據集微調LLMs或開發模塊化框架，以更精確地模擬專門科學推理。此外，設計自適應對齊協議可能允許LLMs在解決特定實驗目標時安全地模擬倫理復雜場景。

4. LLMs在科學論文寫作中的應用

概述

本節探討了LLMs在科學論文寫作中的三個關鍵領域的集成：引用文本生成（§4.2）、相關工作生成（§4.3）和起草與寫作（§4.4）。我們研究了使用的方法、這些模型的有效性以及自動化科學寫作中面臨的挑戰。此外，我們還討論了這些任務中使用的評估指標和基準。

引用文本生成

在引用論文的上下文中，引用文本生成任務旨在為一組待引用論文生成準確的文本摘要。LLMs通過提供豐富的上下文理解和連貫性，在自動化引用文本生成的各個方面發揮了關鍵作用，采用了多種方法來增強準確性和可用性。Xing等人[170]的一項初步研究使用了一個指針生成器網絡，該網絡可以基于交叉注意力機制從手稿和引用論文的摘要中復制單詞來生成引用文本。Li和Ouyang[88]提示LLM生成強調引用網絡中論文對之間關系的自然語言描述。另一方面，像AutoCite[161]和BACO[40]這樣的模型通過采用多模態方法，將引用網絡結構與文本上下文相結合，生成上下文相關且語義豐富的引用文本。此外，Gu和Hahnloser[43]、Jung等人[63]允許用戶指定諸如引用意圖和關鍵詞等屬性，將這些屬性集成到結構化模板中，并微調語言模型以生成符合其需求的引用文本。

相關工作生成

該任務涉及基于前沿參考論文為科學論文創建相關工作部分[45]。與傳統的多文檔摘要模型[23, 51]相比，LLMs在處理科學文檔特有的廣泛輸入長度和提供豐富的上下文理解方面展示了顯著的能力。LLMs在各種自然語言理解和生成任務中的成功，結合其大上下文窗口，最近實現了更全面和細致的文獻綜述，促進了跨不同研究領域的深入見解和聯系。Martin-Boyle等人[109]、Zimmermann等人[197]開發了案例研究，探索使用ChatGPT進行文獻綜述任務和相關工作生成，展示了其通過快速掃描大量科學出版物數據集并生成相關工作部分的初稿來協助研究人員的能力。然而，直接在學術寫作中使用LLMs可能會導致幻覺問題，生成的內容可能不基于事實數據，無法準確反映最先進的研究。為了解決這些問題，許多工作基于檢索增強生成（RAG）[76]的原則，通過從外部來源檢索事實內容來增強基于LLM的文獻綜述生成[3, 50, 138, 150, 181]。例如，LitLLM[3]利用RAG從網站上檢索相關論文并重新排序，減少了進行全面文獻綜述所需的時間和精力，同時最小化幻覺問題。HiReview[50]進一步將基于RAG的LLMs與基于圖的層次聚類相結合。該系統首先檢索引用網絡中的相關子社區，并生成層次分類樹。然后，LLMs為每個聚類生成摘要，確保全面覆蓋和邏輯組織。Nishimura等人[112]集成了LLMs，強調相關工作部分中的新穎性聲明。通過將新研究與現有工作進行比較，LLMs幫助生成相關工作部分，明確突出新內容和不同之處，從而為目標論文與先前文獻之間的比較做出更有影響力的貢獻。

起草與寫作

在自動化科學寫作領域，LLMs被用于從生成特定文本元素到撰寫整篇研究論文的各種任務。對于更具體的寫作任務，August等人[8]提出了生成具有可控復雜性的科學定義，以適應不同的受眾，而SCICAP[48]則自動化了科學圖表的標題生成，能夠快速準確地描述視覺數據。更全面的系統，如PaperRobot[160]，引入了增量起草方法，LLMs根據用戶輸入幫助組織和起草論文的各個部分。同樣，CoAuthor[73]采用了一種協作的人機方法，LLMs通過生成建議和擴展文本來幫助作者。對于完全自主的寫作，Ifargan等人[56]探索了LLMs如何從數據分析到最終草稿生成完整的研究論文，而AutoSurvey[165]展示了LLMs通過綜合和組織現有研究來自主撰寫全面綜述的能力。最后，AI Scientist[103]和CycleResearcher[167]提出了一個更廣泛的系統，不僅起草科學論文，還參與了整個科學過程，包括假設生成和實驗設計，突顯了完全自動化科學發現和寫作的潛力。

基準

我們總結了自動化科學論文寫作系統的評估方法，涵蓋三個關鍵領域：引用文本生成、相關工作生成以及起草與寫作。表4提供了每個任務的具體數據集、指標和基準的全面總結。引用文本生成。ALCE[38]基準是主要標準。它從三個維度評估系統：流暢性、正確性和引用文本的質量。ALCE旨在測試模型在不同領域中生成帶有準確引用的長文本答案的能力。其數據集涵蓋了從維基百科到網絡規模文檔集合的廣泛問題類型。CiteBench[37]是另一個基準，它統一了多個現有任務，以標準化引用文本生成在不同設計和領域中的評估，使用定性和定量指標。相關工作生成。目前，沒有一個單一基準被普遍認可用于此任務，因為任務定義和簡化假設在各種研究中存在巨大差異[89]。然而，大多數工作都建立在語料庫級數據集上，常用的科學文章來源包括：ACL Anthology Network (AAN) Corpus[123]、SciSummNet[178]、Delve[5]、Semantic Scholar Open Research Corpus (S2ORC)[102]和Citation Oriented Related Work Annotation (CORWA)[86]。摘要指標ROUGE[93]是最常用的自動評估方法，一些工作還使用了翻譯指標BLEU[115]。此外，人工評估通常從流暢性、可讀性、與目標論文的一致性以及引用工作的相關性和信息量等方面進行評分，采用五點Likert量表。起草與寫作。SciGen[111]基準支持從科學表格中進行推理感知文本生成的評估，突顯了算術推理在文本生成中的挑戰。SciXGen[22]是另一個關鍵基準，評估上下文感知的文本生成，重點關注將外部信息集成到生成文本中。SciGen和SciXGen都使用了如BLEU[115]、METEOR[10]和MoverScore[189]等指標，以及人工評估。

挑戰與未來工作

挑戰。引用文本生成、相關工作生成以及起草與寫作中的挑戰主要源于LLMs的固有局限性，如保持事實準確性、確保上下文連貫性以及處理復雜信息。LLMs經常在幻覺[59]方面遇到困難，生成不正確或不相關的引用，并且受限于它們依賴的檢索系統[53]。有限的上下文窗口進一步限制了模型管理大量引用或全面整合相關文獻的能力[165]，可能導致引用順序錯誤和引用分組不當。此外，確保科學嚴謹性并避免依賴表面或瑣碎來源仍然是持續存在的障礙，因為LLMs難以捕捉學術寫作所需的深度和推理[103]。此外，LLMs在學術寫作中的使用引發了重大的倫理問題，特別是關于學術誠信和抄襲[89]。這模糊了作者身份的界限，因為研究人員可能將機器生成的文本作為自己的作品呈現。LLMs還可能生成與現有文獻非常相似的文本，增加了無意中抄襲的風險，生成的文本可能不夠原創。使用LLMs起草論文部分的便利性可能會削弱傳統學術寫作所需的嚴格智力努力，潛在地貶低了學術研究中對學習過程和批判性思維技能的重視。未來工作。為了克服這些挑戰，未來的進展應側重于改進檢索系統并增強模型從多樣化、長上下文來源中綜合信息的能力[87]。這包括開發更好的引用驗證機制、改進多文檔綜合以及引入實時文獻發現，以保持生成內容的最新性。此外，結合領域特定的微調和推理感知模型將有助于生成更準確、上下文相關的科學文本[111]。對寫作過程的細粒度控制，如調整語氣和風格，也將對提高LLMs適應不同學術需求的適應性至關重要[22, 38, 103]。此外，集成人在回路系統，其中人類監督和干預是寫作過程的重要組成部分，可以確保學術工作中固有的智力嚴謹性和批判性思維得以保留[89, 109]。最后，為了解決潛在的倫理問題，學術界必須制定明確的指導方針和倫理標準，以確保學術工作的完整性和原創性。

5. LLMs在同行評審中的應用

概述

同行評審是科學研究的基石。將LLMs集成到同行評審過程中代表了一項重大進展，解決了長期存在的挑戰，如評審者偏見、標準不一致和工作量不平衡[42, 117]。這種集成在學術界獲得了顯著關注，正如主要計算機科學會議采用LLM輔助評審實踐所證明的那樣。例如，ICLR 2025宣布實施基于LLM的系統以支持評審者的評估過程。LLMs在同行評審中的集成已經演變為兩種不同的方法，每種方法都針對評審過程中的特定需求。第一種方法，自動化評審生成，源于處理日益增加的提交量并通過使用LLMs獨立分析研究論文來減少評審者工作量的需求[66, 182]。這些系統旨在評估提交的多個方面，包括方法驗證、結果驗證和貢獻評估，從而在沒有直接人工干預的情況下提供全面的評審報告。第二種方法，LLM輔助評審工作流程，是在認識到人類專業知識在學術評估中仍然至關重要的同時，承認某些評審任務可以從自動化中受益[69]。這些工作流程將LLMs作為補充工具，協助人類評審者完成耗時但定義明確的任務，如論文摘要、參考文獻驗證和內部一致性檢查，同時將關鍵評估和判斷留給人類專家。這些方法采用多種方法來提高評審效率、一致性和質量。為了系統地評估和改進這些系統，研究社區開發了專門的同行評審基準，這些基準具有雙重目的：提供標準化的訓練數據集并建立性能評估指標。本章探討了這些方法、其評估框架，并總結了實施挑戰和未來研究方向。

自動化同行評審生成

自動化同行評審生成旨在通過探索LLMs如何以最少的人工干預生成全面的評審來簡化科學評估。通過輸入科學文章，這些系統專注于生成完整的同行評審或元評審，采用各種技術來增強反饋的深度、準確性和相關性。當前的自動化同行評審生成方法可以分為兩種主要策略：單一模型和多模型架構。單一模型方法通過復雜的提示技術和模塊化設計優化評審生成過程。這些系統通常采用精心設計的提示，以引導模型關注論文的特定方面，如方法、結果和貢獻[132]。在單一模型范式中，提出了幾種不同的架構方法。CGI2[184]超越了之前的方法：MetaGen[11]使用了兩階段管道，包括提取摘要和決策感知的細化；Kumar等人[67]開發了一種神經架構，用于聯合決策預測和評審生成；MReD[135]引入了使用句子級功能標簽的結構控制生成。基于這些基礎，CGI2通過模塊化設計實現了分階段評審過程，首先從論文中提取關鍵意見，然后總結優點和缺點，最后通過迭代反饋在清單引導的框架下細化這些輸出。這種迭代過程增強了評審的深度和相關性，但可能難以處理涉及高度復雜方法或超出上下文窗口的長篇內容。采用不同方法，CycleReviewer[167]使用強化學習實現了端到端的評審生成方法，通過反饋循環不斷改進評審質量。雖然CycleReviewer在提高評審精度和清晰度方面表現出色，但其對大量計算資源的依賴可能限制其可擴展性。同時，ReviewRobot[162]利用知識圖譜系統地識別和結構化知識元素，通過結構化生成過程將其轉化為詳細的評審評論。ReviewRobot展示了顯著的可解釋性和基于證據的推理，但其預定義模板的靈活性限制了其適應性。另一種策略采用多模型架構，通過利用多個專門模型來處理評審過程的不同方面，代表了一種更復雜的方法。這種方法提供了幾個優勢，包括更好地處理復雜論文和通過專門知識增強評審質量。Reviewer2[39]實施了兩階段過程：一個模型生成特定方面的提示，而另一個模型利用這些提示創建詳細、有針對性的反饋。這種提示生成和評審創建的分離允許更細致和有針對性的反饋，但由于缺乏集成框架，通常會導致部分或偏見的評審。為了解決這些限制，SEA[180]采用了單獨的模型進行標準化、評估和分析，提供了更全面和平衡的方法。該系統將多個評審統一為單一格式，顯著減少了反饋中的冗余和不一致性。此外，SEA引入了不匹配分數來衡量論文與生成評審之間的一致性，并結合自我糾正策略以迭代方式提高評審質量。雖然這些功能使SEA在一致性和全面性方面超越了Reviewer2，但協調多個模型的輸出增加了復雜性。基于專業化但解決不同挑戰，MARG[28]解決了處理超出典型LLM上下文限制的論文的問題。通過引入多代理框架，MARG將評審任務分配給多個專門模型，允許對較長論文進行全面評審，同時在整個文檔中保持對細節的關注。這種創新方法確保了詳細、特定方面的反饋，但也帶來了新的挑戰，如協調各種代理的通信和輸出，增加了確保一致性和對齊的難度。每種架構方法都提供了獨特的優勢并面臨獨特的挑戰。單一模型方法受益于更簡單的實現和對評審過程的更直接控制，但可能難以處理較長或更復雜的論文。多模型架構提供了更大的可擴展性和更好地處理復雜評審任務的能力，但它們需要仔細協調，并面臨組件之間的一致性挑戰。例如，ReviewRobot的結構化方法提供了可解釋性和可操作的見解，但不太適應不斷發展的研究領域，而CycleReviewer的迭代改進提高了動態適應性，而無需大量訓練資源。隨著這一領域的研究進展，結合單一模型的簡單性和多模型設計的適應性，為提高評審質量、一致性和全面性提供了一個有前途的途徑。

LLM輔助的同行評審工作流程

與完全自動化的評審生成不同，LLM輔助的同行評審工作流程專注于增強人類評審者的能力，而不是取代他們。最近的研究強調了這種人類-AI協作方法在學術同行評審中的關鍵重要性。[31, 12, 133]的研究強調，雖然LLM可以提高效率，但人類監督對于維護倫理標準和評審完整性仍然至關重要。像AgentReview[60]這樣的系統在實踐中展示了這種協同作用，其中LLM生成初步見解，人類評審者隨后進行細化和驗證。LLM輔助的同行評審工作流程增強了科學評審過程中的三個主要功能：（1）信息提取和摘要，幫助評審者快速掌握論文內容；（2）手稿驗證和質量保證，支持系統驗證論文主張；（3）評審寫作支持，協助生成結構良好的反饋。在信息提取和摘要功能中，系統自動化文檔理解和綜合以支持評審者理解。PaperMage[101]是一個基礎工具包，集成了自然語言處理和計算機視覺模型，處理視覺豐富的科學文檔，實現了跨多種模態的邏輯結構、圖表和文本內容的復雜提取。補充這種結構分析，CocoSciSum[29]專注于內容摘要，提供可定制的論文摘要，精確控制長度和關鍵詞包含，同時通過其組合控制架構保持高事實準確性。對于手稿驗證和質量保證功能，系統在不同分析層次上運作以確保科學嚴謹性。在局部層次上，ReviewerGPT[97]專門從事系統錯誤檢測和指南合規性，在驗證提交要求的同時有效識別單個手稿中的數學錯誤和概念不一致性。雖然ReviewerGPT專注于內部手稿驗證，PaperQA2[144]通過檢查主張與更廣泛的科學文獻進行全局驗證，采用復雜的語言代理檢測矛盾并驗證斷言。該系統通過識別每篇論文平均2.34個驗證矛盾，同時在其跨文獻分析中保持高事實準確性，展示了強大的性能。此外，Scideator[122]旨在促進想法驗證，通過面重組識別論文之間的新穎和科學基礎的類比。Scideator還包括一個新穎性檢查器，評估主張的獨特性和對既定研究范式的遵守，為評審者提供了增強的能力以嚴格審查手稿。在評審寫作支持功能中，系統采取不同但互補的方法，協助不同專業水平的評審者。ReviewFlow[149]通過上下文反思提示和筆記綜合指導提供智能支架，模擬專家實踐以幫助新手評審者生成結構良好的評審。該系統的逐步方法通過將復雜任務分解為可管理的組件，使那些剛接觸同行評審的人受益。雖然ReviewFlow專注于個別評審者指導，CARE[198]通過集成平臺強調評審寫作的協作方面，具有NLP增強的內聯注釋和實時協作功能，使評審者能夠更有效地合作，同時提供詳細和建設性的反饋[83, 19]。進一步補充這些功能，DocPilot[110]利用模塊化任務規劃和代碼生成能力，自動化文檔工作流程中的重復和復雜任務。其結構化方法管理和注釋科學PDF，確保評審者可以專注于實質性反饋而不是程序障礙，顯著提高了他們的效率。

基準

隨著自動化評審生成和LLM輔助工作流程的不斷發展，研究社區面臨一個關鍵挑戰：系統地評估和比較這些方法。這些基準的開發依賴于標準化的基準，評估LLM生成的評審的不同方面，從生成高質量評審到支持人類評審者的有效性。這些基準可以大致分為三種主要類型：（1）支持整體評估的綜合評審數據集，包括編輯決策、評分和語用分析；（2）專注于特定方面的專門評估數據集，如意見綜合和一致性分析；（3）通過缺陷識別和接受預測來衡量評審有效性的質量評估數據集。表5概述了這些關鍵基準及其相關的評估框架。這些數據集主要來自公開的學術會議，服務于同行評審任務中的多種目的。像MOPRD[94]和NLPeer[33]這樣的綜合數據集提供了廣泛的覆蓋范圍，支持從編輯決策預測到語用標簽的任務。更專門的數據集專注于評審過程的特定方面：ASAP-Review[183]和Reviewer2[39]強調接受預測和覆蓋評估。最近的補充，如ReviewCritique[32]，引入了比較人類和LLM生成評審的新機制。這些基準的評估框架涵蓋了多個維度，如表5所詳述。語義相似性衡量生成評審與參考文本的接近程度，通常使用ROUGE和BertScore等指標。連貫性和相關性評估評審的邏輯流程和主題適當性，而多樣性和特異性評估提供的反饋范圍和深度。人工評估，結合專家對評審質量的評估，提供了自動指標的關鍵驗證。這四個評估組件——語義相似性、連貫性和相關性、多樣性和特異性以及人工評估——形成了一個多方面的評估方法，確保全面評估LLM生成的評審在各種質量維度上的表現。

挑戰與未來工作

挑戰。將LLMs集成到學術同行評審中代表了學術評估的重大轉變[91, 92]。隨著學術機構和出版商探索這項技術，理解其局限性和潛力對于學術界至關重要。同行評審的核心在于需要深厚的專業知識、細致的理解和謹慎的判斷。雖然LLMs在支持這一過程中顯示出潛力，但其局限性揭示了自動化學術評估的復雜性。一個基本挑戰是LLMs通常難以完全掌握學術領域中的專門術語和復雜概念。例如，在生物化學中，LLMs可能會誤解特定蛋白質相互作用的重要性，而在理論物理中，它可能無法識別數學模型中微妙但關鍵的假設[192]。這種有限的技術理解直接影響LLMs評估研究方法的能力。當LLMs無法完全理解領域特定概念時，它無法可靠地評估研究方法是否適當或證據是否支持結論。例如，在跨學科研究中，方法標準因領域而異，LLMs通常難以識別關鍵問題，如樣本量不足、不適當的統計測試或缺失的實驗控制[129]。這一限制在確保研究質量和科學完整性的高風險的同行評審中尤為令人擔憂。學術寫作的復雜性引入了額外的挑戰，特別是在處理較長手稿時。即使上下文窗口擴展，LLMs也難以在跨多個部分的復雜論證中保持連貫分析。這一限制經常導致不一致或矛盾的評估[18]。更令人擔憂的是幻覺的持續問題——模型有時會生成令人信服但不正確的評估，特別是在評審新穎研究方法時[28]。此外，在同行評審中實施LLMs面臨超出技術性能限制的額外挑戰。一個基本的基礎設施問題是缺乏專門的訓練數據[65, 184]，這在學術學科中造成了不平衡的格局。這種數據稀缺性特別影響了研究社區較小或詞匯專門的領域。同樣令人擔憂的是LLM輔助同行評審的倫理影響。算法偏見和透明度問題[133]與新的學術不端行為形式一起出現，如“抄襲洗錢”[117]。此外，一個關鍵問題是，如果許多研究人員依賴相同的LLM系統進行同行評審，學術反饋的同質化潛力[91]。廣泛使用類似的AI工具可能會減少觀點的多樣性，并削弱來自個體人類評審者獨特思維過程的創造性見解。未來工作。為了推進LLMs在學術論文評審中的能力，必須優先解決幾個基本技術挑戰。首先，當前的LLMs在不同學術領域中的專門技術概念方面遇到困難，需要改進處理和理解領域特定術語的方法。其次，我們需要增強引用分析能力，以驗證參考文獻的相關性并評估引用如何有效支持論文的論點。第三，分析長學術文檔需要新的方法來保持連貫性——從跨部分引用到驗證方法、結果和結論之間的一致性。除了技術改進外，開發有效的人類-AI協作框架至關重要。下一代評審系統必須創建直觀的界面，突出潛在問題并無縫集成到人類工作流程中[31]。這些協作系統必須適應不同的學術領域，特別考慮計算資源有限的學科[132]。對這些人類-AI系統的嚴格評估框架必須確保它們真正提高評審者的效率和有效性[81, 169]。隨著LLM在同行評審中的普及，強大的治理機制變得至關重要。這包括開發可靠的方法來檢測LLM生成的內容，確保透明跟蹤LLM的貢獻，并保持評審者的真實性[91]。此外，我們需要標準化的協議，以安全地將LLM評審工具與現有期刊平臺集成[6]。最后，必須通過全面的評估框架來衡量這些領域的進展。對于技術能力，我們需要系統評估語言理解、引用分析和文檔連貫性方面的改進。人類-AI協作指標應評估LLM建議的質量及其對評審者效率的影響。治理評估必須評估LLM檢測系統的可靠性和平臺集成的安全性。關鍵的是，這些框架應檢查不同學術學科、出版格式和語言背景下的潛在偏見，以確保為所有學術社區提供公平的支持。通過這些有針對性的評估，我們可以指導LLM系統的開發，使其有意義地增強同行評審過程，同時保持其完整性。

6. 結論

本綜述全面探討了LLMs在整個科學生命周期中的變革作用，從假設生成、實驗到寫作和同行評審。通過識別將LLMs應用于這些任務的機遇和挑戰，我們強調了它們當前的能力、局限性和增強科學生產力的潛力。總之，LLMs代表了先進的生產力工具，提供了現代科學研究所有階段的新方法。盡管受到固有局限性、技術障礙和領域特定任務中的倫理考量的限制，LLM能力的持續進步有望徹底改變研究實踐。隨著這些系統的發展，它們集成到科學工作流程中不僅將加速發現，還將促進科學社區中前所未有的創新和合作。

摘要——本綜述對機器學習中多模態對齊與融合的最新進展進行了全面回顧，尤其是在文本、圖像、音頻和視頻等數據類型日益多樣化的背景下。多模態集成通過利用不同模態之間的互補信息，提高了模型的準確性并擴展了其應用范圍，同時在數據稀缺的情況下也促進了知識遷移。我們系統地對現有的對齊與融合技術進行了分類和分析，并基于對200多篇相關論文的廣泛回顧，提取了有價值的見解。此外，本綜述還討論了多模態數據集成中的挑戰，包括對齊問題、噪聲魯棒性以及特征表示的差異，并著重于社交媒體分析、醫學影像和情感識別等領域的應用。文中提供的見解旨在指導未來的研究，優化多模態學習系統，以提高其在各類應用中的可擴展性、魯棒性和泛化能力。

關鍵詞——多模態對齊、 多模態融合、多模態性、機器學習、綜述

1 引言

技術的快速發展導致了多模態數據生成的指數增長，包括圖像、文本、音頻和視頻[1]。這種數據的豐富性為計算機視覺、自然語言處理（NLP）等多個領域的研究者和從業者帶來了機遇與挑戰。通過整合來自不同模態的信息，可以顯著提升機器學習模型的性能，增強其理解復雜現實場景的能力[2]。模態的結合通常有兩個主要目標：（i）不同的數據模態可以互補，從而提高模型在特定任務上的精度和效果[3]，[4]，[5]；（ii）某些模態的數據可能較為稀缺或收集起來具有挑戰性，因此，基于大規模語言模型（LLM）的訓練可以通過知識遷移在數據稀缺的任務中實現滿意的性能[5]，[6]。

例如，在社交媒體分析中，將文本內容與相關的圖像或視頻結合，可以更全面地理解用戶情感和行為[1]，[7]。除了社交網絡，多模態方法在醫療圖像自動注釋、視頻摘要和情感識別等應用中也取得了有希望的成果[8]，[9]，[10]，[11]，[12]。盡管取得了這些進展，但在有效整合和利用多模態數據方面仍然存在兩個主要的技術挑戰：對齊和融合。對齊側重于建立不同模態之間的語義關系，確保每個模態的表示在一個共同的空間內對齊；而融合則是將多模態信息整合為統一的預測，利用每個模態的優勢來提升整體模型的性能。 第一個組件是多模態對齊，涉及建立不同模態之間的關系[1]，[49]，[50]，[51]。例如，將視頻中的動作步驟與相應的文本描述進行對齊，由于輸入輸出分布的差異以及模態間可能存在的信息沖突，這一任務需要復雜的方法[52]。多模態對齊可大致分為顯式對齊和隱式對齊[1]，[53]。顯式對齊通過相似度矩陣直接度量模態間的關系，而隱式對齊則在翻譯或預測等任務中作為一個中間步驟。

第二個組件是多模態融合，涉及將不同模態的信息結合起來，進行統一的預測，同時解決模態之間噪聲變異性和可靠性差異等挑戰[1]，[54]，[55]。傳統上，融合方法根據其在數據處理流程中的階段進行分類[53]，[56]。例如，早期融合在特征提取階段將多個模態的數據整合在一起，盡早捕捉模態間的交互[56]。本綜述聚焦于當前融合技術的核心特征，以更有效地代表現代方法，并指導未來的發展。我們將融合方法分析為基于核、圖形、編碼-解碼器和注意力機制的融合框架。

圖1展示了三種典型的多模態模型結構。在（a）中，由于模態之間的交互不足，簡單的操作未能實現深入有效的融合。在（b）中，盡管設計了專門的融合網絡，但對齊問題仍然顯著。具體而言，由圖像和文本分別通過各自模態特定模型提取的特征可能在語義上沒有對齊，直接將這些特征傳遞給融合模塊可能無法產生最佳結果。在（c）中，模型使用共享編碼器或集成的編碼-解碼過程同時處理多模態輸入，這使得圖像和文本數據能夠轉化為共同的表示空間，從而更自然地結合。此類設計通常優先考慮模型的簡潔性和效率，特別是在模態間關系已被充分理解并有效建模的情況下。

本研究旨在通過對200多篇相關論文的回顧，提供現有方法、最新進展和潛在未來方向的全面概述，為該領域做出貢獻。本綜述幫助研究人員理解多模態對齊和融合的基本概念、關鍵方法及當前進展，重點討論視覺和語言模態，同時擴展到視頻和音頻等其他類型。

本綜述的組織結構如下：第二節介紹多模態學習的基礎概念，包括大規模語言模型（LLM）和視覺模型的最新進展，為對融合和對齊的討論奠定基礎；第三節探討為什么要進行對齊與融合的綜述研究；第四節審視對齊方法，重點討論顯式和隱式技術如何建立不同模態之間的關系；第五節探討融合策略，將其分為早期、晚期和混合融合，并介紹基于核、圖形和注意力機制的先進融合框架；第六節討論多模態融合和對齊中的關鍵挑戰，包括特征對齊、計算效率、數據質量和可擴展性；最后，第七節概述未來研究的潛在方向，并討論實踐意義，旨在指導該領域的進一步創新。

2 為什么需要對齊與融合

對齊與融合是多模態學習中的兩個基本概念，盡管它們各自獨立，但相互之間緊密相關，且常常相輔相成[1]，[50]。對齊涉及確保不同模態的數據正確匹配和同步，從而使它們傳達的信息具有一致性，并適合進行融合。另一方面，融合是指將來自不同模態的信息結合起來，創建一個統一的表示，全面捕捉數據的本質[1]，[54]，[55]。此外，許多最新的方法發現，在沒有對齊過程的情況下進行融合是非常具有挑戰性的[49]。

2.1 提升全面性與魯棒性

對齊確保來自不同源的數據在時間、空間或上下文上同步，從而實現有意義的組合。如果沒有適當的對齊，融合過程可能導致誤解或關鍵信息的丟失[53]。 一旦對齊完成，融合利用對齊后的數據生成更為魯棒和全面的表示[49]。通過整合多個視角，融合能夠彌補單一模態的弱點，從而提高準確性和可靠性。 2.2 解決數據稀缺與不平衡問題

在許多現實應用中，某些模態的數據可能稀缺或難以獲取。對齊有助于即使在數據有限的情況下，也能同步可用的數據，確保其能夠有效利用[106]，[107]。 隨后，融合使得模態之間能夠進行知識遷移，使模型能夠利用一種模態的優勢來彌補另一種模態的不足。這在某一模態擁有豐富數據而另一模態數據稀缺的場景中尤為有用。 2.3 改進模型的泛化能力和適應性

對齊確保了不同模態之間關系的準確理解與建模，這對于模型在不同上下文和應用中進行泛化至關重要[1]，[53]。 融合通過創建一個統一的表示，能夠更有效地捕捉數據的細微差異，從而提高模型的適應性。這個統一的表示可以更容易地適應新的任務或環境，增強模型的整體靈活性[1]，[53]。 2.4 支撐高級應用

對齊與融合共同推動了諸如跨模態檢索等高級應用的發展，在這些應用中，一種模態（例如，文本）中的信息被用于在另一種模態（例如，圖像）中搜索相關信息[108]。這些過程對于諸如情感識別等任務也至關重要，在這些任務中，將視覺和聽覺線索結合起來，能夠比單獨使用任何一種模態更準確地理解人類情感[109]。 3 多模態對齊

多模態對齊涉及建立兩種或更多不同模態之間的語義關系。它在多個領域得到了廣泛研究，包括網絡對齊[110]、圖像融合[50]和多模態學習中的特征對齊[111]。 為了將不同模態對齊到相同的語義表示中，需要衡量這些模態之間的相似性，同時考慮潛在的長程依賴關系和歧義。簡而言之，目標是構建一個映射，將一個模態的表示與另一個模態中共享相同語義的表示對齊。根據[1]，對齊可以分為兩種類型：顯式對齊和隱式對齊。顯式對齊通常通過使用相似度矩陣直接度量相似性，而隱式對齊則通常是在翻譯或預測等任務中作為一個中間步驟進行處理。 3.1 顯式對齊

顯式對齊有著早期的基礎，通常依賴于諸如動態時間規整（DTW）[112]，[113]和典型相關分析（CCA）[114]等統計方法。

DTW通過找到一個最優匹配來測量兩個序列之間的相似性，該過程涉及插入幀來對齊序列[112]。然而，原始的DTW公式需要預定義的相似性度量，因此它與典型相關分析（CCA）結合，后者由Harold Hotelling于1936年提出[114]，通過線性變換將兩個不同的空間投影到一個共同的空間中。CCA的目標是通過優化投影來最大化兩個空間之間的相關性。CCA促進了對齊（通過DTW）和模態間映射的聯合學習，并且可以以無監督的方式進行，正如在視頻-文本和視頻-音頻對齊等多模態應用中所見。圖2展示了CCA方法的可視化。具體而言，CCA的目標函數可以表示為： max?ρ=corr(uTX,vTY)\max \rho = \text{corr}(u^T X, v^T Y)maxρ=corr(uTX,vTY) 其中： ? X 和 Y 是來自兩個不同空間的數據矩陣； ? u 和 v 是線性變換向量（或典型向量），它們將 X 和 Y 投影到共同空間中； ? ρ 是投影uTXu^T XuTX 和vTYv^T YvTY 之間的相關系數； ? 目標是找到 u 和 v，使得投影后的數據之間的相關性ρ最大化。 然而，CCA只能捕捉兩個模態之間的線性關系，限制了它在涉及非線性關系的復雜場景中的應用。為了解決這一限制，引入了核典型相關分析（KCCA），它通過核方法將原始數據映射到更高維的特征空間，從而處理非線性依賴[115]，[116]。像多標簽KCCA和深度典型相關分析（DCCA）等擴展方法進一步改進了原始的CCA方法[115]，[116]，[117]，[118]，[119]。 此外，Verma和Jawahar展示了如何使用支持向量機（SVM）實現多模態檢索[120]。另外，像圖像對齊中基于特征模態的線性映射方法也被開發出來，旨在通過復雜的空間變換來處理多模態對齊問題[121]。 3.2 隱式對齊

隱式對齊是指在執行主要任務時作為中間步驟使用的方法，通常是以潛在方式進行。與直接對齊不同模態的數據不同，這些方法通過學習共享的潛在空間來改善主要任務的性能。隱式對齊技術可以大致分為兩類：基于圖模型的方法和基于神經網絡的方法。 3.2.1 基于圖模型的方法

圖結構的整合使得更復雜的模態間關系得以更好地建模，從而使多模態數據的處理更加準確和高效。這些方法常用于將圖像與文本或圖像與信號進行對齊。例如，某些模型通過對物體的圖表示進行對齊，實現了少樣本上下文模仿學習，從而使機器人在沒有事先訓練的情況下能夠執行新的任務[122]。基于顯式進化模型的GraphAlignment算法在識別同源頂點和解決副本問題方面表現出強大的性能，優于其他方法[123]。圖3展示了如何在對齊中使用圖結構。

這些任務中的一個主要挑戰是對齊不同模態之間的隱式信息，其中多模態信號并不總是直接對應。基于圖的模型通過將模態間的復雜關系表示為圖結構（圖中節點表示數據元素，如詞語、物體或幀，邊表示它們之間的關系，如語義、空間或時間關系）在解決這個問題上證明了其有效性。 近期的研究探索了使用圖結構進行多模態對齊的多個方面。例如，Tang等人[124]提出了一種基于圖的多模態順序嵌入方法，以提高手語翻譯。通過將多模態數據嵌入到統一的圖結構中，他們的模型更好地捕捉了復雜的關系。 另一個應用是在情感分析中，隱式多模態對齊起著至關重要的作用。Yang等人[125]提出了一種基于圖的多模態對齊模型（MGAM），該模型聯合建模了顯式方面（如物體、情感）和隱式多模態交互（如圖像-文本關系）。 在具身人工智能領域，Song等人[126]探討了如何構建基于場景的知識圖，以建模復雜多模態任務中的隱式關系。他們的工作將文本和視覺信息整合到一個知識圖中，并通過基于圖的推理進行多模態語義的對齊。對齊隱式線索（如場景中物體之間的空間和時間關系）對于提高具身人工智能系統中的決策和交互至關重要。 在命名實體識別（NER）任務中，Zhang等人[127]提出了一種基于圖的逐標記方法，該方法結合了與文本相關的圖像中的隱式視覺信息。該方法利用視覺域中的空間關系來改進命名實體的識別，這在使用孤立的文本數據時通常是模糊的。 在圖像描述生成和視覺問答（VQA）等任務中，場景圖也起著至關重要的作用。Xiong等人[128]提出了一種基于場景圖的模型，用于跨模態的語義對齊。通過將物體及其關系表示為圖中的節點和邊，該模型提高了視覺和文本模態的對齊效果。 總之，基于圖的方法為表示多樣化數據類型提供了強大的框架，并且在多模態對齊中具有巨大的潛力。然而，這種靈活性也帶來了重大的挑戰。 圖結構的稀疏性和動態性增加了優化的復雜性。與矩陣或向量不同，圖具有不規則的非結構化連接，導致計算復雜度高且內存開銷大，即使在先進的硬件平臺上也存在這些問題。此外，圖神經網絡（GNN）對超參數特別敏感。網絡架構、圖采樣和損失函數優化等選擇直接影響性能，這增加了GNN設計和實際部署的難度。 3.2.2 基于神經網絡的方法

近年來，基于神經網絡的方法已成為解決隱式對齊問題的主要方法，特別是在翻譯等任務中，將對齊作為潛在的中間步驟通常能獲得更好的結果。常見的神經網絡方法包括編碼器-解碼器模型和跨模態檢索。 當沒有隱式對齊時，翻譯過程會給編碼器帶來更大的負擔，需要它將整個圖像、句子或視頻總結為一個向量表示。 一個常見的解決方案是使用注意力機制，使解碼器能夠專注于源實例的特定子組件。這與傳統的編碼器-解碼器模型不同，后者將所有源子組件一起編碼。注意力模塊引導解碼器更多地關注被翻譯的源實例的特定子組件——例如圖像的區域、句子中的詞語、音頻的片段、視頻中的幀或指令的部分。例如，在圖像描述生成中，注意力機制允許解碼器（通常是遞歸神經網絡）在生成每個詞時專注于圖像的特定部分，而不是一次性編碼整個圖像[129]。 以前的工作通過設計特定模態的嵌入器和預測器，接口連接輸入和輸出的預訓練模型來實現這一目標。 生成對抗網絡（GAN）由于其能夠學習高維數據空間之間的復雜映射，因此已成功應用于多模態數據的合成[130]，[131]，[132]，[133]，[134]。例如，在MRI模態中，使用一個統一框架，其中單個生成器學習跨模態的映射，可以提高不同數據類型之間的對齊精度[130]。 另一種深度生成方法，C-Flow，利用標準化流進行多模態對齊，應用于3D點云重建等任務，從而對生成過程進行更細粒度的控制[135]。自編碼器及其變體，如變分自編碼器（VAE），也被用來學習潛在表示，捕捉跨模態的基礎語義結構。這種方法在組合表示學習中證明了其有效性，VAE幫助通過將圖像和文本模態映射到共享的潛在空間來對齊它們[136]。類似地，使用VAE的跨模態量化進行圖像-文本配對生成，展示了神經網絡如何通過學習量化的聯合表示對齊文本和視覺數據[137]。 此外，半監督流形對齊方法（如擴散傳輸對齊DTA）利用少量先驗知識對齊具有不同但相關結構的多模態數據域[138]。這種方法在僅能進行部分數據對齊的情況下尤為有效，因為它依賴于域之間的幾何相似性。 最近，Att-Sinkhorn方法結合了Sinkhorn度量和注意力機制，在通過解決不同模態的概率分布之間的最優傳輸問題來改進多模態特征對齊方面顯示了更高的準確性[139]。 總之，顯式和隱式對齊技術在多模態機器學習領域都至關重要。盡管顯式方法提供了一個明確的框架，用于度量相似性和建立對應關系，但隱式方法通常更靈活，并能適應更多的場景，特別是那些涉及復雜或模糊數據關系的任務。未來的研究可能會繼續探索結合兩種對齊策略優點的混合方法，以解決多模態數據中所面臨的各種挑戰[110]，[111]，[139]。

4 多模態融合

多模態數據涉及多種信息類型的整合，如圖像、文本和音頻，這些信息可以通過機器學習模型處理，從而提高多種任務的性能[1]，[53]，[140]，[141]，[142]，[143]。通過結合不同類型的信息，多模態融合利用了每種模態的優勢，同時彌補了依賴單一數據類型時可能出現的弱點或空白[1]，[53]，[144]。例如，每種模態在最終預測中可能會有不同的貢獻，某些模態可能在某一時刻比其他模態更具信息量或噪聲更小。 融合方法在有效結合不同模態的信息時至關重要。早期的方法通常將圖像和文本分開處理，兩個數據類型之間僅有基本的整合。像 CLIP [13] 這樣的架構采用了雙編碼器框架，其中視覺和文本信息分別編碼，它們的交互通過簡單的操作來處理，通常涉及點積計算[145]，[146]。因此，這兩種模態的融合在整體模型架構中所占的比重較小，主要由編碼器本身主導。盡管這種有限的集成策略在基于檢索的任務[147]，[148]中有效，但對于更復雜的多模態挑戰（需要深度理解和模態之間的交互）則不夠充分[149]，[150]。 如果通過獨立訓練每個模態的專門編碼器，然后進行表面化的集成就能實現強大的性能，那么深度多模態學習的需求就值得懷疑。然而，經驗數據表明，對于需要細致理解的任務，如視覺問答和視覺推理，必須對兩種模態進行更復雜、更深度的融合，才能充分捕捉視覺感知和語言處理之間的相互關系[152]。 傳統上，融合方法根據融合發生的數據處理管道階段進行分類。早期融合在特征級別進行數據整合，晚期融合則在決策級別進行整合，混合融合結合了兩者的特點[1]，[53]。早期融合涉及在特征提取階段將來自不同模態的數據合并[56]，從而讓模態之間的交互得以早期捕捉。如趙等人[93]所述，集成發生在特征級別。相比之下，晚期融合則在決策階段將各個模態模型的輸出結合起來，當預測時缺少一個或多個模態時，這種方法特別有優勢，正如 Morvant 等人[153]所展示的。混合融合則將早期融合和晚期融合的各個方面結合在一起，趙等人[93]研究了其在深度學習中的實現。 隨著技術和融合方法的演進，區分早期、晚期和混合融合變得越來越復雜。先進的方法通常超越了傳統的基于時序的分類，在特征級別和決策級別同時操作，這挑戰了僵化的分類。 為了解決這種復雜性，我們提出了一種基于當前融合技術核心特征的新分類框架，提供了對現代方法的更準確表征，并為未來的進展提供指導。特別是，盡管許多基于注意力的方法可以適配編碼器-解碼器或僅編碼器框架，但我們將它們單獨分類，因為它們在最近的顯著發展和獨特創新方面，傳統的分類方法無法充分捕捉。

4.1 編碼器-解碼器融合

編碼器-解碼器融合架構涉及一個編碼器，該編碼器從輸入數據中提取關鍵特征并將其壓縮成緊湊的形式，而解碼器則基于這種壓縮的表示重建輸出[26]。在該架構中，系統主要由兩個主要組件組成：編碼器和解碼器。編碼器通常作為一個高級特征提取器，將輸入數據轉換為一個潛在空間，其中包含重要特征[26]，[37]。換句話說，編碼過程在減少冗余的同時保留了重要的語義信息。一旦編碼步驟完成，解碼器就會基于潛在表示生成相應的“重建”輸出[26]，[31]。在像語義分割這樣的任務中，解碼器的輸出通常是一個語義標簽圖，它與輸入大小相匹配。 編碼器-解碼器融合通常有三種形式：（1）數據級融合，將來自不同模態的原始數據拼接在一起，并送入共享的編碼器；（2）特征級融合，分別從每個模態提取特征，可能包括中間層，然后將它們組合后再輸入到解碼器；（3）模型級融合，在處理后將各個模態特定模型的輸出進行拼接。圖4展示了這三種類型的編碼器-解碼器融合結構。特征級融合通常最為有效，因為它考慮了不同模態之間的關系，從而實現了更深層次的集成，而非表面上的組合。

4.1.1 數據級融合

在這種方法中，來自每個模態的數據或每個模態獨特預處理步驟后的處理數據在輸入級別進行合并[27]。在這種集成之后，來自所有模態的統一輸入將通過一個編碼器來提取更高層次的特征。換句話說，來自不同模態的數據在輸入階段被合并，并通過單一編碼器提取綜合特征。 最近的研究聚焦于數據級融合，以提高自動駕駛中物體檢測和感知的性能。一些研究探索了在神經網絡架構的早期階段融合相機和LiDAR數據，展示了在稀疏點云中，特別是對騎行者的三維物體檢測精度有所提升[35]。一個基于Yolo框架的聯合處理相機和LiDAR原始數據的系統比傳統的決策級融合提高了5%的車輛檢測精度[27]。此外，還開發了一個面向低級傳感器融合的開放硬件和軟件平臺，特別是利用原始雷達數據，推動了這一領域的研究[36]。這些研究突出了原始數據級融合在利用傳感器間協同作用并提高整體系統性能方面的潛力。

4.1.2 特征級融合

這種融合技術的核心思想是將來自多個抽象層次的數據進行組合，從而利用從深度網絡不同層次提取的特征，最終增強模型的性能。許多應用都實施了這一融合策略[32]，[163]。 特征級融合已成為多種計算機視覺任務中的一種強大方法。它涉及在不同的抽象層次上融合特征以提升性能。例如，在性別分類中，融合局部補丁的兩層層次結構證明是有效的[163]。在顯著性物體檢測中，融合來自不同VGG層次的特征的網絡能夠保留語義信息和邊緣信息[30]。在多模態情感計算中，一種“分而治之，合而為一”的策略探索了局部和全局交互，達到了最先進的性能[32]。對于自適應視覺跟蹤，開發了一種層次模型融合框架，通過層次更新對象模型，引導參數空間的搜索并減少計算復雜性[33]。 這些方法展示了層次特征融合在多個領域中的多樣性，展現了它在捕捉細粒度和高級信息方面的能力，從而在復雜的視覺任務中實現更好的性能。

4.1.3 模型級融合

模型級融合是一種通過集成多個模型的輸出提高準確性的技術。例如，在使用地面穿透雷達（GPR）進行地雷檢測時，Missaoui等人[34]證明了通過多流連續隱馬爾可夫模型（HMM）融合邊緣直方圖描述符和Gabor小波的方式，優于單一特征和等權重組合。 在多模態物體檢測中，Guo和Zhang[28]應用了平均、加權、級聯和堆疊等融合方法，將圖像、語音和視頻的模型結果結合起來，從而提高了在復雜環境中的性能。對于面部動作單元（AU）檢測，Jaiswal等人[29]發現，使用人工神經網絡（ANN）的模型級融合比簡單的特征級方法更有效。此外，對于涉及多保真度計算機模型的物理系統，Allaire和Willcox[25]開發了一種融合方法，利用模型不適配信息和合成數據，得到了比單獨模型更好的估計結果。在質量控制和預測性維護中，一種新穎的模型級融合方法優于傳統方法，減少了預測方差30%，并提高了45%的準確性[38]。這些研究證明了模型級融合在多個領域中的有效性。 本節回顧了基于編碼器-解碼器架構的融合模型。編碼器-解碼器融合架構在多模態任務中被廣泛應用，展示了不同融合技術的多樣性，包括數據級融合、特征級融合和模型級融合。這些方法在提高多模態學習模型的準確性和魯棒性方面起到了重要作用，為未來的研究和應用提供了有益的參考。

4.2 基于注意力機制的融合

基于注意力機制的融合方法近年來得到了廣泛應用，特別是在多模態學習任務中。注意力機制的核心思想是根據輸入數據的重要性動態調整其對模型的影響，而不是對所有輸入特征進行等權處理[154]。這種方式通過引導模型關注最相關的模態和特征，從而提高了模型的表現和魯棒性。 在多模態學習中，基于注意力的融合可以通過多種方式實現。最常見的方法包括加權融合、交互式融合以及跨模態注意力機制的應用。通過引入自注意力機制（Self-Attention）和跨模態注意力機制，模型能夠自動學習不同模態之間的相互關系，并在處理復雜任務時做出適當的決策[155]。 例如，在視覺問答（VQA）任務中，通過引入跨模態注意力機制，模型可以根據問題的內容自動選擇與之相關的圖像區域，從而提高了任務的精確度和準確性[156]。類似的，在多模態情感分析中，基于注意力的機制能夠幫助模型理解不同模態（如語音、文本和面部表情）之間的相互作用，從而對情感狀態進行更為精準的預測[157]。 此外，近年來，許多研究還將多頭注意力（Multi-Head Attention）擴展到多模態融合中，允許模型并行處理多個模態的不同子空間，從而增強了多模態交互的表達能力[158]。這種方法尤其適用于需要多方面信息整合的復雜任務，如視頻內容分析和跨模態檢索等。 總之，基于注意力機制的融合方法通過動態調整不同模態的貢獻，能夠有效提升模型在多模態學習中的表現，特別是在處理多層次、多類型信息時，能夠顯著改善性能。

4.3 圖神經網絡（GNN）在多模態融合中的應用

圖神經網絡（GNN）在處理具有復雜關系和結構的數據時，表現出極大的潛力，因此被廣泛應用于多模態融合任務中。GNN通過圖的節點和邊之間的傳播機制，能夠捕捉到數據的結構信息，在圖像、文本和其他模態數據之間建立有效的聯系。 在多模態融合的背景下，GNN可以將不同模態的特征表示作為圖的節點，并通過圖卷積操作（Graph Convolution）來學習模態間的關系。例如，在圖像和文本融合的任務中，可以將圖像中的不同區域和文本中的不同詞匯視為圖的節點，節點之間通過邊連接，表示它們之間的關系。通過圖卷積操作，模型能夠學習到圖像和文本之間的深層次關聯，從而在視覺問答、圖像描述等任務中取得更好的效果[159]。 GNN還可以應用于多模態信息的關聯學習和跨模態信息檢索等任務中。在這些任務中，GNN能夠通過圖結構有效地捕捉模態間的復雜交互，幫助模型從不同模態中提取有用的信息并進行融合。這種方法尤其適合處理帶有結構關系的多模態數據，如社交媒體上的多模態情感分析和醫學圖像分析中的跨模態信息融合。 隨著圖神經網絡在多模態學習中的不斷發展，越來越多的研究表明，圖結構能夠為不同模態間的交互提供一種自然且高效的表示方式，為多模態融合方法提供了新的思路。

4.4 自監督學習與多模態融合

自監督學習是一種無監督學習方法，它通過自我生成標簽來訓練模型，尤其在沒有大量標注數據的情況下表現出了強大的潛力[160]。這種方法通過構造輔助任務，使模型學習數據的深層次結構，并為多模態融合提供了新的思路。

在多模態學習中，自監督學習能夠通過從單一模態的輸入中生成任務相關的信息，并促進模態間的對齊和互補。通過構建自監督任務（例如圖像-文本對比學習），模型可以在無監督的情況下學習到不同模態之間的語義一致性，進而提高多模態融合的效果[161]。

例如，在圖像-文本對比學習中，模型可以通過構造圖像與文本之間的相關性任務，來學習它們之間的聯合表示。這樣，盡管模型不需要大量標注數據，它仍然能夠學習到跨模態的有效表示，并在多模態任務中進行更準確的預測。這種自監督學習方法在減少對標注數據依賴的同時，能夠顯著提高模型的泛化能力和跨模態表現。

4.5 持續學習與多模態融合

持續學習（Continual Learning）是指模型在不斷接收新數據時，能夠保持已有知識的同時，學習新知識，而不會遭遇災難性遺忘[162]。在多模態學習中，持續學習能夠有效處理隨時間變化的多模態數據，特別是當模型需要根據實時輸入調整其學習策略時。

在多模態融合任務中，持續學習能夠使模型隨著新模態或新領域的到來，靈活地調整其參數和融合策略，從而適應新的數據分布[163]。例如，自動駕駛系統中的傳感器數據（如雷達、相機、激光雷達等）可能隨著環境變化而發生變化，持續學習可以幫助模型保持對不同傳感器數據的有效融合，同時應對新的駕駛環境。 持續學習還能夠促進多模態模型的可擴展性和自適應性，使其能夠在新的多模態數據出現時，進行快速有效的調整，避免災難性遺忘的問題。這為多模態學習提供了更為強大的能力，特別是在需要處理動態變化的復雜數據環境時。

摘要——根據規模預測，大型模型在許多領域取得了突破性進展，特別是在自然語言生成任務中，它們的表現已接近甚至超越人類水平。然而，前所未有的參數規模帶來了顯著的計算和存儲成本。這些大型模型需要大量的計算資源和GPU內存來運行。在將大型模型適應于特定下游任務時，其龐大的參數規模在計算能力和GPU內存有限的硬件平臺上微調時面臨重大挑戰。為了解決這個問題，參數高效微調（PEFT）通過有效調整大型預訓練模型的參數以適應各種下游任務，提供了一種實用的解決方案。具體而言，PEFT調整預訓練大型模型的參數，以適應特定任務或領域，最小化額外參數的引入和所需的計算資源。本文主要介紹PEFT的基礎知識、各種PEFT算法的核心思想和原理、PEFT的應用以及未來研究方向。通過閱讀本綜述，我們相信感興趣的讀者能夠迅速掌握PEFT方法論，從而加速其發展和創新。 關鍵詞——微調、參數高效、大型語言模型、深度學習、人工智能。

最近幾年，大型預訓練模型（通常稱為“大模型”）作為人工智能領域的一項重要進展，逐漸受到廣泛關注。由于其在各種應用場景中的卓越表現和多樣性，這些模型引發了大量討論。這些模型具有強大的計算能力和豐富的數據資源，使其能夠在處理復雜任務時表現出色。在自然語言處理（NLP）領域，大型語言模型（LLMs）備受關注。這些模型在文本生成、機器翻譯、個性化聊天機器人、文本摘要、情感分析和問答系統等任務中展現出卓越的創造力。 然而，大模型的發展面臨著重大挑戰和爭議。這些模型需要大量的計算資源和數據支持，這可能對環境造成威脅并影響隱私保護。盡管在特定任務中表現出色，但這些模型仍然存在局限性和錯誤率，需要不斷優化和改進。在直接使用大模型處理特定任務時，其性能往往低于預期。因此，微調大模型已成為提高模型性能的關鍵方法。 PEFT（參數高效微調）是一種轉移學習方法，專門用于調整大型預訓練模型的參數，以適應新的任務和場景。這種方法涉及動態調整模型，以增強其在執行特定任務時的有效性，考慮到目標任務的獨特特征和要求。微調過程通常包括改進模型架構、優化參數和調整學習策略等多個方面，以在新任務中實現更好的性能。隨著深度學習領域的不斷發展，優化和微調大模型的技術也取得了顯著進展。值得注意的PEFT方法包括LoRA、適配器調優、前綴調優、提示調優、P-tuning、BitFit等。 然而，盡管在多個領域中，大模型微調技術取得了顯著成就，但仍然存在許多需要解決的挑戰和困難。例如，過擬合的緩解、微調效率的優化，以及在預訓練與微調任務之間找到學習平衡等問題都需要更多的研究。 近年來，關于PEFT的文章層出不窮，其中一些研究提供了對最流行方法的有益概述。以下是對這些研究的比較分析。丁寧等人引入了一種理論抽象，用于Delta Tuning，從優化和最優控制的角度進行分析。這一抽象提供了一種統一的方法，描述當前的參數高效微調方法，為未來的研究提供了獨特的視角。然而，盡管該研究主要集中在NLP應用上，但這些方法在不同領域的通用性和有效性仍需進一步探討。Lialin等人提供了全面的分析和分類，涵蓋了廣泛的方法，并比較了約30種方法在存儲效率、內存效率、計算效率、準確性和推理開銷等五個維度上的表現。然而，雖然文章主要關注于對數十億參數規模語言模型進行有效微調的詳細方法，但對真實應用場景的探討相對有限。徐玲玲等人對當前PEFT方法進行了全面的評估和分析，評估了它們在一系列NLP任務中的性能、參數效率和內存利用率。然而，該論文并未充分闡述這些方法在實際操作環境中的應用，也未深入探討它們的適應性及可能遇到的領域特定挑戰。辛怡等人提供了視覺PEFT的全面概述和未來方向，系統地回顧了最新的進展。盡管文章涵蓋了多種視覺任務，但實驗主要集中在幾個常見任務上，并未完全涵蓋更廣泛的潛在應用場景。韓澤宇等人詳細分類了PEFT方法，探討了PEFT技術在各種模型架構和下游任務中的應用，以及參數高效微調方法的系統設計挑戰。該研究為研究人員和工程師提供了PEFT方法的全面概述，但在實際應用覆蓋方面仍有改進空間。 我們的貢獻如下：

• 我們提供了與現有綜述論文相比，更全面和詳細的關于大模型和一般微調方法論的基礎知識概述。這部分內容不僅涵蓋了大模型的基本原理、結構和技術，還提供了它們在自然語言處理、多模態活動和其他領域的實際應用的深入概述。
• 我們的調查涵蓋了最新的研究方法論，突出展示了大模型領域的最新進展。這確保了我們的綜述內容全面且詳盡。我們的綜述范圍廣泛，涵蓋了自然語言處理、多模態任務和計算機視覺等多個場景，使讀者能夠全面理解大模型技術的現狀和未來前景。
• 在回顧和分析當前方法后，我們提出了一些創新和面向未來的研究方向。這些領域考慮到了先進模型技術的增長潛力，并結合了實際應用中行業需求和障礙，提出了可行和創新的研究途徑。

本調查旨在全面回顧大模型微調技術的最新進展。通過對現有研究的深入審查，我們的目標是識別并填補當前知識體系中的空白，從而開發出一個全面和系統的知識框架，為研究人員提供清晰的視角，并指導他們未來的研究。總之，我們的工作為相關領域提供了有價值的資源和視角，供學術和實踐用途。調查的剩余部分結構如下： 在第二部分中，我們提供大型語言模型基本組成部分的簡要總結，包括其過去的發展、新興能力以及支配其規模的擴展規律。隨后，我們簡要概述了全面語言模型的主要分類，并介紹了多模態綜合模型的基本原理和框架。此外，我們還探討了在大型語言模型微調領域采用的主要方法，包括指令微調、對齊和基于人類反饋的強化學習（RLHF）。最后，我們簡要總結了在大模型微調領域最常用的基準和評估數據集。 在第三部分中，我們提供了對PEFT方法的全面分析和總結，展示了當前PEFT方法的分類框架，涵蓋了2019年6月至2024年7月發布的100多篇研究文章。我們在傳統的加法、重新參數化和減法PEFT分類基礎上，納入了混合、量化和多任務分類PEFT方法的總結。 在第四部分中，我們對多模態、視覺和擴散模型領域的PEFT方法進行全面分析和描述。我們的目標是提供深刻的理解和針對不同應用場景的PEFT選擇和改進建議。 在第五部分中，我們總結了我們的廣泛調查，并提出了多個有前景的未來發展方向，包括算法改進和任務場景，旨在為這一蓬勃發展的領域的進一步研究和發展提供有價值的見解。

摘要—多模態情感計算（MAC）由于其在人類行為和意圖分析中的廣泛應用，尤其是在以文本為主導的多模態情感計算領域中，受到了越來越多的關注。本綜述從自然語言處理（NLP）視角出發，介紹了多模態情感計算的最新趨勢，涵蓋四個熱門任務：多模態情感分析、多模態對話情感識別、多模態基于方面的情感分析以及多模態多標簽情感識別。本綜述的目標是探索當前多模態情感研究的現狀，識別發展趨勢，突出不同任務之間的相似性和差異性，并為多模態情感計算在NLP視角下的最新進展提供全面報告。本綜述涵蓋了任務的形式化，概述了相關研究工作，描述了基準數據集，并詳細介紹了每個任務的評估指標。此外，本文簡要討論了涉及面部表情、聲學信號、生理信號和情感原因的多模態情感計算研究。我們還討論了多模態情感計算中的技術方法、挑戰及未來發展方向。為了支持進一步的研究，我們發布了一個匯集了多模態情感計算相關工作的資源庫，提供了詳細的資源和參考文獻，供研究社區使用。

情感計算結合了計算機科學、心理學和認知科學的專業知識，其目標是賦予機器識別、解釋和模擬人類情感的能力【1】–【6】。當今世界充滿了各種模態——我們通過視覺感知物體，通過聽覺感受聲音，通過觸覺感受物體的質地，通過嗅覺聞到氣味，等等。模態是指體驗的感知或發生方式，通常與視覺或觸覺等感官模態相關，這些模態對交流和感知至關重要。在多個領域的多模態學習取得重大進展【7】【8】后，多模態情感計算的進展加速并受到越來越多的關注。

多模態情感計算旨在開發能夠在多種模態下解釋和推理情感或情緒狀態的模型。在其早期階段，情感計算的研究主要集中在單一模態任務上，分別研究基于文本、音頻和視覺的情感計算。例如，D-MILN【9】是一個文本情感分類模型，而工作【10】利用訓練在原始音頻上的雙向長短期記憶（BiLSTM）模型預測群體反應的平均情感。如今，情感分析已廣泛應用于各種模態中，用于市場研究、品牌監測、客戶服務分析和社交媒體監控等應用。多媒體技術的最新進展【11】–【14】拓寬了信息傳播的渠道，新聞、微博等社交媒體平臺以及視頻內容的涌現將文本（口語特征）、聲學（節奏、音高）和視覺（面部屬性）信息整合起來，用于全面分析人類情感。例如，Xu等人【15】將圖像模態數據引入傳統的基于文本的方面級情感分析，創建了多模態基于方面的情感分析新任務。同樣，Wang等人【16】將文本情感原因對提取擴展到多模態對話環境中，利用多模態信號（文本、音頻和視頻）增強模型理解情感及其原因的能力。

多模態情感計算任務與機器學習中的多個學習范式密切相關，包括遷移學習【17】–【19】、多模態學習【20】【21】、多任務學習【22】–【24】和語義理解【25】【26】。在遷移學習方面，它使得在一個領域訓練的情感分析模型能夠適應其他領域的有效表現。通過在目標領域有限的數據上微調預訓練模型，這些模型可以遷移到新領域，從而提升其在多模態情感計算任務中的表現。在多模態學習中，跨模態注意力動態對齊并聚焦于來自不同模態的相關信息，通過突出關鍵特征及其交互來增強模型捕捉情感的能力。在多任務學習中，跨情感計算任務和模態的共享表示通過從文本、音頻和視頻中捕捉共同的情感相關特征來提升表現。 最近，多模態學習的研究通過在大規模多模態數據集上預訓練多模態模型，進一步提升了下游任務的性能，如多模態情感分析【27】–【30】。隨著預訓練模型規模的擴大，參數高效的遷移學習方法如適配器【31】、提示【32】、指令微調【33】和上下文學習【34】【35】等不斷涌現。越來越多的多模態情感計算研究利用這些參數高效的遷移學習方法，將預訓練模型（如單模態預訓練模型或多模態預訓練模型）的知識遷移到下游情感任務中，通過進一步微調預訓練模型來提升模型性能。例如，Zou等人【36】設計了一個多模態提示Transformer（MPT）用于跨模態信息融合。UniMSE【37】提出了一種基于適配器的模態融合方法，它將聲學和視覺信號注入T5模型中，與多層次的文本信息進行融合。

多模態情感計算涵蓋了情感分析、觀點挖掘和情感識別等任務，使用的模態包括文本、音頻、圖像、視頻、生理信號和觸覺反饋。本綜述主要關注三種關鍵模態：自然語言、視覺信號和聲音信號。我們在本綜述中突出了四個主要任務：多模態情感分析（MSA）、多模態對話中的情感識別（MERC）、多模態基于方面的情感分析（MABSA）和多模態多標簽情感識別（MMER）。多模態情感計算領域已有大量研究，且已有多篇綜述【14】【38】–【40】發表。然而，這些綜述主要集中于特定的情感計算任務或單一模態，忽略了跨多任務的多模態情感計算的總體概況，以及這些任務之間的一致性和差異性。

本綜述的目標有兩點。首先，旨在為初學者提供多模態情感計算的全面概述，探索情感分析中的深度學習，詳細介紹任務、輸入、輸出及相關數據集。其次，為研究人員提供反思過去發展、探索未來趨勢的視角，并研究多模態情感分析和情感識別領域的技術方法、挑戰及研究方向。

---

綜述的結構

第III節概述了多模態情感任務的任務形式化及應用場景。第IV節介紹了特征提取方法和最近的多模態預訓練模型（如CLIP、BLIP、BLIP2）。第V節從多模態融合和多模態對齊兩個角度分析了多模態情感研究，并簡要總結了用于進一步微調預訓練模型的參數高效遷移方法。第VI節回顧了關于MSA、MERC、MABSA和MMER的文獻，重點討論了多任務學習、預訓練模型、增強知識和上下文信息。此外，第VII節總結了多模態數據集，第VIII節涵蓋了每個多模態情感計算任務的評估指標。在回顧多模態情感計算工作后，第IX節簡要回顧了基于面部表情、聲學信號、生理信號和情感原因的多模態情感計算工作，突出其一致性、差異性及其最新趨勢。第X節從三個方面展望了未來工作：多模態情感計算任務的統一、外部知識的引入以及較少研究的模態情感計算。最后，第XI節總結了本綜述及其對多模態情感計算社區的貢獻。

多模態情感計算中的多模態學習

多模態學習涉及從不同模態中學習表示。通常，多模態模型應首先基于語義對模態進行對齊，然后再融合多模態信號。在對齊后，模型將多個模態組合成一個表示向量。

A. 初步概述

隨著預訓練模型規模的擴大，出現了諸如適配器【31】、提示【32】、指令微調【33】和上下文學習【34】【35】等參數高效的遷移學習方法。在這種范式下，預訓練的語言模型（LMs）不再通過目標工程適應下游任務，而是通過提示、指令微調和上下文學習，將下游任務重新格式化，使其更像原始LM訓練期間解決的任務。例如，在視覺語言模型（VLMs）中，像GPT-4V【65】和Flamingo【67】的提示使用，使模型能夠基于視覺和文本輸入的結合來解釋和生成輸出。與提示不同，指令微調屬于提示學習范式。此外，像InstructBLIP【70】和FLAN【72】這樣的模型表明，指令微調不僅提高了模型對指令的遵循性，還增強了其跨任務的泛化能力。在多模態情感計算領域，研究人員可以利用這些參數高效的遷移學習方法（例如適配器、提示和指令微調），將預訓練模型（例如單模態預訓練模型或多模態預訓練模型）的知識遷移到下游情感任務中，并通過情感數據集進一步微調預訓練模型。鑒于多模態情感計算涉及多模態學習，因此我們從多模態融合和多模態對齊的角度分析多模態情感計算的相關工作，如圖1所示。

B. 多模態融合

多模態信號是異質的，來源于各種信息源，因此將多模態信號整合為一個表示至關重要。Tasi等人【74】根據融合階段將多模態融合總結為早期融合、晚期融合和中間融合。早期融合在模型處理之前，將來自不同模態的特征在輸入級別進行組合。晚期融合則通過單獨的子網絡分別處理來自不同模態的特征，并在做出最終決策之前的晚期階段將這些子網絡的輸出進行組合。晚期融合使用單模態的決策值，并通過如平均【121】、投票方案【122】、基于通道噪聲的加權【123】和信號方差【124】等機制將它們結合起來，或者通過學習模型【6】【125】進行融合。這兩種融合策略面臨一些問題。例如，特征級別的早期融合在融合操作后可能低估模態內的動態，而決策級別的晚期融合在融合操作之前可能難以捕捉模態間的動態。不同于前兩種方法的地方在于，中間融合是在模型學習器的中間層結合來自不同模態的特征，允許模態在不同的處理階段進行更多的交互，從而可能產生更豐富的表示【37】【126】【127】。基于這些融合策略，我們從三個方面回顧了多模態融合：跨模態學習、模態一致性與差異性、多階段模態融合。圖2展示了模態融合的三個方面。

**1) 跨模態學習

跨模態學習關注的是通過引入模態間的依賴關系和交互來實現更好的模態融合。早期的多模態融合工作【73】主要在特征空間中進行幾何操作，以融合多種模態。最近，跨模態學習的常見方式是引入基于注意力的學習方法來建模模態間和模態內的交互。例如，MuLT【74】提出了多模態Transformer，用于學習模態間的交互。Chen等人【75】通過三模態協同交互增強了模態內和模態間的特征，并統一了三種模態的特性（跨模態）。楊等人【76】提出了跨模態BERT（CM-BERT），旨在基于預訓練的BERT模型對文本和音頻模態的交互進行建模。Lin等人【77】探討了模態內和模態間表示的復雜關系，用于情感提取。最近，Tang等人【78】提出了多模態動態增強模塊，用于捕捉模態內的情感上下文，減少輔助模態的模態內冗余。Huang等人【79】提出了一個基于跨模態注意力的文本中心融合網絡（TeFNA），這個多模態融合網絡利用跨模態注意力建模未對齊的多模態時間信息。

在情感識別領域，CMCF-SRNet【80】是一個跨模態上下文融合和語義精煉網絡，包含一個跨模態局部約束Transformer和基于圖的語義精煉Transformer，旨在探索話語間的多模態交互和依賴關系。Shi等人【81】提出了一個基于注意力的相關性感知多模態融合框架MultiEMO，該框架基于雙向多頭跨注意力層捕捉文本、音頻和視覺模態間的映射關系。總之，跨模態學習主要關注模態間關系的建模。

**2) 模態一致性與差異性

模態一致性是指對于同一樣本，不同模態之間共享的特征空間，而模態差異性則突出每種模態提供的獨特信息。大多數多模態融合方法將表示分為模態不變（一致性）和模態特定（差異性）兩個組成部分。模態一致性有助于處理缺失模態，而模態差異性則利用每個模態的互補信息來改進整體數據理解。例如，幾項研究【86】【87】通過對比學習探索了模態一致性與差異性的學習。Han等人【85】通過最大化模態間及模態內的互信息來探索模態一致性。另一項研究【86】提出了一個混合對比學習框架，該框架同時進行模態內/模態間對比學習和半對比學習，建模跨模態交互，保持類間關系，并減少模態差距。此外，Zheng等人【87】將模態對之間的互信息最大化與輸入數據和相應特征之間的互信息最小化相結合。該方法旨在提取模態不變且任務相關的信息。模態一致性也可以被視為將多種模態投射到共同潛在空間（模態不變表示）的過程，而模態差異性則指將模態投射到模態特定的表示空間。例如，Hazarika等人【88】提出了一種方法，將每種模態投射到模態不變和模態特定的空間中。他們實現了一個解碼器，通過模態不變和模態特定特征來重建原始模態表示。AMuSE【84】提出了一個多模態注意力網絡，通過聯合學習模式特定的外周和中央網絡，捕捉不同層次空間抽象下的跨模態交互。對于細粒度的情感分析，Xiao等人【89】提出了CoolNet，以提高視覺語言模型在無縫整合視覺和語言信息方面的性能。Zhang等人【90】通過探索模態一致性，提出了一個基于融合判別注意力網絡的方面級情感分類模型。

**3) 多階段模態融合

多階段多模態融合【128】【129】指的是將從多個階段或多個尺度提取的模態信息結合起來，以融合模態表示。Li等人【94】設計了一個兩階段對比學習任務，學習相同情感類別數據的相似特征，并為不同情感類別的數據學習可區分的特征。HFFN【95】將多模態融合過程分為分解、征服和組合三個部分，在每個局部塊學習局部交互，并通過跨局部交互傳遞信息來探索全局交互。與HFFN的工作不同，Li等人【96】對齊并融合了文本和圖像的token級特征，設計了基于標簽的對比學習和基于數據的對比學習，以捕捉多模態數據中與情感相關的共同特征。一些工作【97】將融合過程分解為多個階段，每個階段專注于部分多模態信號，以實現更專門和有效的融合。此外，CTFN【130】提出了一種新的特征融合策略，按照層次化的方式進行，首先兩兩融合模態，然后再融合三種模態。此外，在多個層次的模態融合方面也取得了進展，例如，Li等人【99】提出了一種基于多層次相關性挖掘和自監督多任務學習的多模態情感分析方法，Peng等人【100】提出了一種細粒度模態標簽的多階段網絡（FmlMSN），利用來自文本、音頻、圖像及其組合的七種情感標簽，在不同粒度上進行信息整合。研究人員通常專注于模型決策前的尺度級模態對齊和模態融合。Sharafi等人【93】提出了一種新的融合方法，利用不同的尺度進行多模態情感識別。

C. 多模態對齊

多模態對齊涉及在融合多模態數據之前對模態語義進行同步。一個關鍵挑戰是處理缺失模態的情況，例如由于攝像頭關閉、用戶沉默或設備故障導致語音和文本同時缺失。由于始終擁有所有模態的假設在現實中通常不切實際，因此多模態對齊必須解決這些缺失。此外，它還涉及通過語義對齊來對齊圖像、文本和音頻中的對象。因此，我們從處理缺失模態和實現語義對齊的角度討論多模態對齊。圖3展示了多模態對齊的示意圖。

**1) 缺失模態的對齊

在實際場景中，數據收集有時會由于不可預見的事件同時丟失某些模態。雖然多模態情感計算通常假設所有模態都可用，但這一假設在實踐中經常失敗，這可能會導致在缺少某些模態時，模態融合和對齊模型出現問題。我們將現有的處理缺失模態的方法分為四類。第一類是數據增強方法，通過隨機刪除輸入來模擬缺失模態的情況。Parthasarathy等人【107】提出了一種策略，在訓練過程中隨機刪除視頻輸入的剪輯或幀，模擬現實世界場景。Wang等人【108】通過訓練情感識別模型，迭代性地進行數據增強，處理話語級模態缺失問題。第二類基于生成方法，直接預測給定可用模態的缺失模態【131】。例如，Zhao等人【106】提出了缺失模態想象網絡（MMIN），在不同缺失模態條件下，根據可用模態預測任何缺失模態的表示，以應對不確定的缺失模態問題。Zeng等人【109】提出了基于集成的缺失模態重建（EMMR）網絡，以檢測并恢復關鍵缺失模態的語義特征。Yuan等人【110】提出了一種基于Transformer的特征重建網絡（TFR-Net），該網絡通過增強模型在非對齊模態序列中隨機缺失的魯棒性。Luo等人【111】提出了多模態重建與對齊網絡（MRAN），專門處理缺失模態問題，尤其是緩解文本模態缺失帶來的性能下降。

第三類旨在學習聯合多模態表示，這些表示能夠包含基于組合的視覺和文本輸入的相關信息。例如，Ma等人【133】提出了一個統一的深度學習框架，通過相關分析有效處理音視頻情感識別中的缺失標簽和缺失模態問題。Zeng等人【113】提出了一個標簽輔助Transformer編碼器網絡（TATE），用于處理不確定的缺失模態問題，該網絡設計了一個標簽編碼模塊，以覆蓋單模態和多模態缺失的情況，從而引導網絡對缺失模態的關注。Zuo等人【114】提出使用不變特征的缺失模態想象網絡（IF-MMIN），該網絡包含不變特征學習策略和基于不變特征的想象模塊（IF-IM）。通過這兩種策略，IF-MMIN能夠在預測缺失模態時緩解模態差距，從而提高多模態聯合表示的魯棒性。Zhou等人【116】在缺失一種或多種模態的情況下，提出了一種新穎的腦腫瘤分割網絡。該網絡由三個子網絡組成：一個特征增強生成器、一個相關性約束模塊和一個分割網絡。 最后一類是基于翻譯的方法。Tang等人【98】提出了耦合翻譯融合網絡（CTFN），通過耦合學習建模雙向交互，確保在缺失模態情況下的魯棒性。Liu等人【115】提出了一種基于模態翻譯的多模態情感分析模型（MTMSA），該模型對不確定的缺失模態具有魯棒性。總而言之，關于缺失模態對齊的研究集中在基于現有模態信息的缺失模態重建和學習。

**2) 跨模態語義對齊

語義對齊旨在找到同一樣本中多種模態之間的連接，指的是通過一種模態信息搜索另一種模態信息，反之亦然。在多模態情感分析領域，Tsai等人【74】利用跨模態和多尺度模態對齊，分別在語義層面實現模態一致性。ScaleVLAD【200】提出了一種融合模型，通過共享的局部聚合描述符向量，從文本、視頻和音頻中聚集多尺度表示，以改進未對齊的多模態情感分析。Yang等人【104】將未對齊的多模態序列數據轉換為一個具有異質節點和邊的圖，捕捉模態間和時間上的豐富交互。Lee等人【201】將音頻和基礎文本信號按相同步長分段，使得順序信號的相同時間步覆蓋信號的相同時間跨度。Zong等人【202】利用多次雙向翻譯，與傳統的翻譯方法相比，產生了雙倍的多模態融合嵌入。Wang等人【203】提出了一種基于Transformer的多模態編碼–解碼翻譯網絡，并采用了以文本為主要信息、聲音和圖像為次要信息的聯合編碼–解碼方法。Zhang等人【120】提出了一種新穎的多級對齊方法，用于彌合聲學和詞匯模態之間的差距，該方法可以有效對比實例級和原型級的關系，在潛在空間中分離多模態特征。Yu等人【204】提出了一種無監督方法，通過最小化兩種模態之間的Wasserstein距離，強迫兩種編碼器產生更合適的表示，以便最終對文本和圖像進行對齊。 Lai等人【119】提出了一種基于協方差矩陣的深度模態共享信息學習模塊，用于捕捉模態之間的共享信息。此外，我們使用了一個基于自監督學習策略的標簽生成模塊，以捕捉模態的私有信息。我們的模塊在多模態任務中是即插即用的，并且通過改變參數化，它可以調整模式之間的信息交換關系，學習特定模式之間的私有或共享信息。我們還采用了多任務學習策略，幫助模型專注于模態差異的訓練數據。為了增強模型的魯棒性，Robust-MSA【118】提出了一個交互式平臺，可視化模態噪聲的影響，以幫助研究人員提高模型能力。

多模態情感計算中的模型

在多模態情感計算領域，相關工作在技術路線發展上表現出顯著的一致性。為了更清晰地展示，我們根據多任務學習、預訓練模型、增強知識、上下文信息這四個方面對這些工作進行了分類。同時，我們簡要總結了在多模態情感分析（MSA）、多模態對話情感識別（MERC）、多模態基于方面的情感分析（MABSA）和多模態多標簽情感識別（MMER）任務中的進展。圖4總結了在這些方面的典型多模態情感計算工作，表II展示了多模態情感計算的分類。

A. 多任務學習

多任務學習是在多個相關任務上同時訓練模型，通過共享信息來提升性能。損失函數結合了所有任務的損失，通過梯度下降來更新模型參數。在多模態情感計算中，多任務學習有助于區分模態不變和模態特定特征，并將與情感相關的子任務整合到統一框架中。圖5展示了多模態情感學習任務中多任務學習的范式。

**1) 多模態情感分析

在多模態情感分析領域，Self-MM【134】為單一模態生成偽標簽【205】–【207】，然后基于生成的和原始標簽共同訓練單模態和多模態表示。此外，還使用了一種模態間的翻譯框架ARGF，作為輔助任務將一種模態翻譯到另一種模態，從而規范多模態表示學習【135】。Akhtar等人【136】利用情感和情緒任務的相互依賴性來提高模型在這兩個任務上的性能。Chen等人【137】提出了一個基于視頻的跨模態輔助網絡（VCAN），該網絡由一個音頻特征映射模塊和一個跨模態選擇模塊組成，以利用輔助信息。Zheng等人【138】提出了帶有松弛重建的解耦翻譯網絡（DTN），用于捕捉期望的信息屬性，獲取統一的特征分布，并減少冗余。Zheng等人【87】結合了模態對之間的互信息最大化（MMMIE）與輸入數據和相應特征之間的互信息最小化，在單一架構中共同提取模態不變和任務相關的信息。

**2) 多模態對話情感識別

在多模態情感識別社區中，Zheng等人【24】提出了一個名為面部表情感知多模態多任務學習的兩階段框架（FacialMMT），該框架在統一架構中共同訓練多模態面部識別、無監督面部聚類和面部匹配，以利用幀級別的面部情感分布來幫助改進基于多任務學習的話語級情感識別。Zhang等人【208】設計了兩種多任務學習解碼器，即單級解碼器和多級解碼器，以探索其潛力。更具體地說，單級解碼器的核心是掩蔽的外模態自注意機制。Sun等人【139】設計了兩個輔助任務，以緩解模態間融合不足的問題，并引導網絡捕捉和對齊與情感相關的特征。Zhao等人【140】提出了基于Transformer的深度融合網絡（TDFNet）用于多模態情感識別，解決了上述問題。TDFNet中的多模態嵌入（ME）模塊通過使用大量無標簽數據為模型提供多模態信息的先驗知識，來緩解數據稀缺問題。Ren等人【141】提出了一種新穎的多模態對抗學習網絡（MALN），該網絡首先從上下文序列中挖掘說話者的特征，然后將其與單模態特征結合起來。Liu等人【142】提出了LGCCT，一種輕量級的門控和交叉互補Transformer，用于多模態語音情感識別。

**3) 多模態基于方面的情感分析

Yang等人【144】提出了一個名為跨模態多任務Transformer（CMMT）的多任務學習框架，該框架包含兩個輔助任務，用于學習方面/情感感知的模態內表示，并引入了一個文本引導的跨模態交互模塊，以動態控制視覺信息對每個詞的模態間交互表示的貢獻。Jain等人【145】提出了一個分層多模態生成方法（AbCoRD），用于基于方面的投訴和理由檢測，將多任務問題重新表述為多模態文本生成任務。Ju等人【146】是第一個聯合執行多模態ATE（MATE）和多模態ASC（MASC）的人，并提出了一個聯合框架JML，用于基于多模態方面級情感分析（MALSA）的輔助跨模態關系檢測，以控制視覺信息的適當利用。Zou等人【36】設計了一個多模態提示Transformer（MPT）進行跨模態信息融合。同時，該工作使用了混合對比學習（HCL）策略，以優化模型處理少量標簽樣本的能力。Chen等人【82】設計了音頻模塊應比文本模塊更具表現力，并將單一模態情感表示動態融合到多模態情感表示中，提出了相應的基于規則的多模態多任務網絡（MMRBN），用于限制表示學習。

**4) 多模態多標簽情感識別

對于多模態多標簽情感識別，Ge等人【92】設計了對抗性時間掩蔽策略和對抗性參數擾動策略，以分別增強其他模態的編碼和模型的泛化能力。MER-MULTI【147】是一種標簽分布自適應方法，適應了訓練集和測試集之間的標簽分布，以消除與測試集特征不匹配的訓練樣本。Akhtar等人【209】提出了一個深度多任務學習框架，該框架聯合執行情感和情緒分析，利用兩個相關任務（即情感和情緒）的相互依賴性來提高它們各自的性能。

B. 預訓練模型

近年來，大語言模型（LLM）【56】【210】和多模態預訓練模型【21】【26】【211】【212】取得了顯著進展【25】【210】【213】。與非預訓練模型相比，預訓練模型包含大量轉移知識【27】【31】，可以引入到多模態表示學習中，以探索更豐富的信息。圖6展示了預訓練模型在多模態情感學習任務中的使用。

**1) 多模態情感分析

在多模態情感分析領域，Rahman等人【21】提出了一種附加到預訓練模型BERT和XLNet上的多模態適應門（MAG），該適應門允許BERT和XLNet通過生成一個基于視覺和聲學模態的偏移來接受多模態的非語言數據。UniMSE【37】是基于T5模型【57】的統一情感共享框架，該框架將非語言信號注入預訓練的Transformer模型中，以探索LLM中存儲的知識。AOBERT【148】引入了一種單流Transformer結構，將所有模態整合到一個BERT模型中。Qian等人【149】在詞級別嵌入情感信息到預訓練的多模態表示中，以便在有限的標注數據上進行進一步學習。TEASAL【150】是一個基于Transformer的語音前綴語言模型，它利用一個傳統的預訓練語言模型作為跨模態Transformer編碼器。Yu等人【151】研究了面向目標的多模態情感分類（TMSC），并提出了一個多模態BERT架構，用于多模態情感分析任務。Cheng等人【152】設置了分層參數共享和分解的共同注意機制，以便在跨注意力塊之間共享參數，從而允許多模態信號在每一層進行交互。ALMT【153】結合了一個自適應超模態學習（AHL）模塊，用于在語言特征的指導下從視覺和音頻特征中學習無關性/沖突抑制的表示。

**2) 多模態對話情感識別

在多模態對話情感識別領域，FacialMMT【24】是一個兩階段框架，使用RoBERTa【214】和Swin Transformer作為表示學習的主干。Qiu等人【215】采用VATT【30】分別編碼視覺、文本和音頻，并使學到的模態表示進行對齊。QAP【19】是一個量子啟發的自適應優先學習模型，采用ALBERT作為文本編碼器，并引入了量子理論（QT）以自適應地學習模態優先級。UniMSE【37】提出了一種基于預訓練模型T5的多模態融合方法，旨在通過預訓練的知識融合模態信息。GraphSmile【154】采用RoBERTa【214】逐層跟蹤多模態對話中的復雜情感線索，逐層吸收模態內和模態間的情感依賴關系，充分捕捉跨模態線索，同時有效避免融合沖突。

**3) 多模態基于方面的情感分析

在多模態基于方面的情感分析研究中，Xu等人【47】首次提出了多模態基于方面的情感分析任務，并提出了一種新穎的多交互記憶網絡（MIMN），該網絡包含兩個交互記憶網絡，分別用于監督文本和視覺信息與給定方面的關聯，并學習跨模態數據之間的交互影響以及單模態數據中的自我影響。Yang等人【17】提出了一種新穎的生成多模態提示（GMP）模型，用于MABSA，該模型包含多模態編碼器模塊和N流解碼器模塊，并通過少量標注的多模態樣本執行三項MABSA相關任務。Liu等人【155】提出了一種基于視覺提示的實體相關無監督預訓練，用于MABSA。Ling等人【156】提出了一個任務特定的視覺-語言預訓練框架（VLPMABSA），這是一個統一的多模態編碼器-解碼器架構，適用于所有的預訓練和下游任務。Zhang等人【157】構建了一個動態重加權的BERT（DR-BERT），設計用于學習基于BERT的動態方面導向語義。

**4) 多模態多標簽情感識別

一些關于多模態多標簽情感識別的工作利用了預訓練模型來提高模型性能。據我們所知，TAILOR【91】是一個新穎的多模態學習框架，用于多標簽情感識別，它對多個模態之間的共性和差異進行了對抗性描繪。TAILOR通過對抗性地提取私有和共性模態表示來執行這些任務。

C. 增強知識

在機器學習和人工智能中，外部知識是指來自訓練數據集之外的信息，包括知識庫、文本語料庫、知識圖譜、預訓練模型和專家見解。整合這些知識可以提高模型的性能、泛化能力、可解釋性以及對噪聲或有限數據的魯棒性。圖7展示了在多模態情感學習任務中整合外部知識的常見方法。

**1) 多模態情感分析

在多模態情感分析研究領域，Rahmani等人【18】通過層次劃分用戶構建了自適應樹，并利用基于注意力的融合來在樹內轉移認知導向的知識。TETFN【163】是一種新穎的方法，名為文本增強Transformer融合網絡，它學習面向文本的成對跨模態映射，以獲得有效的統一多模態表示。Zhu等人【164】提出了情感知識增強的注意力融合網絡（SKEAFN），這是一個新穎的端到端融合網絡，通過整合來自外部知識庫的附加情感知識表示來增強多模態融合。

**2) 多模態對話情感識別

在多模態對話情感識別領域的研究中，Fu等人【166】將上下文建模、知識豐富和多模態（文本和音頻）學習集成到基于GCN的架構中。Li等人【167】提出了一種解耦的多模態蒸餾（DMD）方法，旨在通過靈活和自適應的跨模態知識蒸餾來增強每種模態的判別特征。Sun等人【168】研究了一種基于粗集理論的多模態融合Transformer網絡，通過粗集跨注意力促進了多模態信息的交互和特征引導。

**3) 多模態基于方面的情感分析

在多模態基于方面的情感分析研究中，Xu等人【172】引入了外部知識，包括文本語法和跨模態關聯知識，通過知識誘導矩陣切斷文本或跨模態模態之間的無關連接。Yang等人【173】提煉了視覺情感線索，并將其與文本內容對齊，以選擇性地與文本模態中的目標方面匹配和融合。CoolNet【174】是一個跨模態的細粒度對齊和融合網絡，旨在提高視覺-語言模型在無縫整合視覺和語言信息方面的表現。

**4) 多模態多標簽情感識別

在多模態多標簽情感識別研究領域，Zheng等人【176】提出通過使用效價-喚醒（VA）空間來表示每個情感類別，以捕捉情感類別之間的相關性，并設計了一種基于VA的對比學習算法。CARAT【177】提出了基于對比的特征重建和聚合機制，用于MMER任務。具體而言，CARAT設計了一種基于重建的融合機制，通過對比學習模態分離和標簽特定特征，來更好地建模細粒度的模態與標簽之間的依賴關系。

D. 上下文信息

上下文是指圍繞某個詞或短語的單詞、句子或段落，這些信息為該詞或短語賦予了特定的含義。理解上下文對于對話系統或情感分析等任務至關重要。在對話中，上下文包括之前話語的歷史，而對于新聞來說，它指的是整篇文章提供的總體描述。總的來說，上下文信息幫助機器做出更準確的預測。圖8展示了上下文信息在多模態情感學習任務中的重要性。

**1) 多模態情感分析

在多模態情感分析領域，Chauhan等人【180】采用了一個上下文感知的注意力模塊，通過編碼器-解碼器結構學習參與模態之間的模態內交互。Poria等人【181】提出了一個帶有多級多重注意的遞歸模型，以捕捉話語之間的上下文信息，并設計了一個遞歸模型來捕捉話語之間的上下文信息，引入了基于注意力的網絡，以提高上下文學習和動態特征融合的效果。

**2) 多模態對話情感識別

在多模態對話情感識別研究領域，Hu等人【185】有效利用了多模態依賴關系，并利用說話者信息來建模說話者之間和說話者內部的依賴關系。Zhang等人【80】提出了一個跨模態上下文融合和語義精煉網絡（CMCF-SRNet），解決了話語之間語義關系信息不足的局限性。Zhang等人【187】構建了多個特定模態的圖，以建模多模態上下文的異質性。Chen等人【188】提出了一個基于GNN的模型，該模型探索了多變量關系，并通過評估多頻信號的情感差異和共性的不同重要性來捕捉這些關系。

**3) 多模態基于方面的情感分析

在多模態基于方面的情感分析研究中，Yu等人【158】提出了一種無監督的方法，該方法最小化了兩個模態之間的Wasserstein距離，強制兩個編碼器生成更適合最終提取的表示。Xu等人【192】設計并構建了一個多模態中文產品評論數據集（MCPR），以支持MABSA的研究。

**4) 多模態多標簽情感識別

MMS2S【197】是一種多模態序列到集合的模型，用于有效建模標簽依賴和模態依賴。MESGN【198】首次提出了這一任務，該模型同時建模模態到標簽和標簽到標簽的依賴關系。Zhao等人【199】提出了一個通用的多模態對話感知交互框架（MDI），用于建模對話上下文對情感識別的影響。 結論

多模態情感計算（MAC）已成為人工智能領域中的一個重要研究方向，并在理解和解釋情感方面取得了顯著進展。本文綜述了與多模態情感計算相關的多種任務，涵蓋了其研究背景、定義、相關工作、技術方法、基準數據集和評估指標。我們將多模態情感計算中的任務劃分為四類：多任務學習、預訓練模型、增強知識和上下文信息，涉及多模態情感分析（MSA）、多模態對話情感識別（MERC）、多模態基于方面的情感分析（MABSA）和多模態多標簽情感識別（MMER）。此外，我們總結了不同情感計算任務之間的一致性和差異性，并報告了多模態情感分析中固有的挑戰，探索了未來研究和發展的潛在方向。

摘要——大型語言模型（LLMs）的快速進展有潛力革新各個領域，但其迅猛發展在監督、倫理開發和建立用戶信任方面帶來了顯著挑戰。本綜述全面調研了LLMs中的關鍵信任問題，重點關注意外傷害、缺乏透明性、易受攻擊、人類價值觀對齊和環境影響等問題。我們強調了可能破壞用戶信任的諸多障礙，包括社會偏見、決策過程中的不透明性、潛在的濫用以及技術快速演變帶來的挑戰。隨著LLMs在金融、醫療、教育和政策等敏感領域的普及，解決這些信任差距至關重要。 為了解決這些問題，我們建議采用綜合方法，包括倫理監督、行業問責、監管和公眾參與。我們主張重塑AI開發規范、對齊激勵措施，并在整個機器學習過程中整合倫理考量，這需要技術、倫理、法律和政策等不同領域專業人士的密切合作。我們的綜述通過提供一個評估LLMs信任的強大框架和對復雜信任動態的深入分析，為該領域作出了貢獻。我們提供了上下文化的指南和標準，旨在負責任地開發和部署這些強大的AI系統。 本綜述識別了在開發可信AI過程中面臨的關鍵限制和挑戰。通過應對這些問題，我們的目標是創建一個透明、負責的AI生態系統，在帶來社會利益的同時將風險降至最低。我們的研究成果為研究人員、政策制定者和行業領導者提供了寶貴的指導，幫助他們在各類應用中建立對LLMs的信任，并確保其負責任地使用造福社會。 關鍵詞——AI治理、算法偏見、可解釋的AI、大型語言模型、可信的AI。

人工智能（AI）的發展顯著受到了作出基礎性貢獻的關鍵人物的影響。AI的創始人約翰·麥卡錫提出了“人工智能”一詞，并倡導使用數學邏輯來表示知識，開創了知識表示領域。他還開發了LISP，這是一種對AI進展至關重要的編程語言[1]。麻省理工學院計算機科學與人工智能實驗室的聯合創始人馬文·明斯基通過理論AI研究推動了對機器智能和推理的理解[2]。由麥卡錫、明斯基、內森尼爾·羅切斯特和克勞德·香農提出的1956年達特茅斯會議是AI歷史上的一個關鍵時刻，將該領域從理論概念轉向實際應用[3]。這一時期見證了啟發式搜索技術和早期機器學習模型的進步，展示了AI向實際應用的轉變。

1970年代后期，AI進展放緩，被稱為“第一次AI寒冬”。這是由于未能達到預期和計算能力有限導致資金和興趣的減少。1980年代見證了向實際AI應用的轉變，如專家系統和自然語言處理，為大型語言模型（LLMs）奠定了基礎，推進了AI對語言理解和生成的能力。盡管在AI寒冬期間面臨挑戰，早期的專家系統在AI商業化方面起到了關鍵作用[4]。

最近的AI進展歸因于廣泛的數據集和日益增加的計算能力，特別是GPU的使用。這些因素在推動深度學習技術的發展中起到了關鍵作用，顯著影響了計算機視覺和語音識別[5]，[6]。另一個重要的里程碑是語言模型的創建，這些模型能夠處理和生成類人文本，從而擴展了AI的能力。深度神經網絡（DNNs）和LLMs的有效性導致了AI在醫療、金融、交通和零售等各個行業的廣泛采用，提高了效率和數據處理能力[8]-[10]。神經網絡（NNs）用于分析大量數據集并識別模式，而LLMs則用于為自動化客戶服務的聊天機器人提供動力[11]-[14]。這些技術革新了不同領域的技術互動，凸顯了深度學習和語言模型對AI進展的重大影響[9]。 DNN架構，包括LLMs，導致了“黑箱”問題，使得理解其工作原理及其結果變得困難[15]。雖然像決策樹這樣的簡單AI模型是透明的，但LLMs缺乏透明性，這在用于決策時引發了倫理問題。挑戰在于使這些系統更透明和可理解，同時考慮到潛在的偏見和錯誤。解決這些問題的努力包括開發使算法過程更透明的方法，但這在AI倫理和治理中仍然是一個重大挑戰[16]。要更好地理解這一點，請參見圖1，它展示了AI的演變和信任挑戰。

時間軸展示了AI在醫療、金融、交通、零售和電子商務領域的日益擴大影響。LLMs在利用先進的語言生成技術變革內容創建方面處于領先地位。時間軸強調了AI中的信任和監督挑戰以及建立信任策略的重要性[17]，[18]。它揭示了AI進展與政策和治理發展之間的差距。

LLMs的最新進展改善了其語言生成能力，但其復雜性阻礙了我們對其決策過程的理解。黃和王在2023年的調查[19]強調了解釋性對LLMs的重要性，特別是在需要透明度和信任的關鍵行業。主要發現包括：a）用于基于神經網絡的NLP模型的事后解釋工具如InSeq工具包；b）模型校準和不確定性估計技術；c）用于擴展和推理的指令微調LLMs研究，問題回答中的元推理；d）LLMs的數學推理能力，語義解析魯棒性研究，減少LLM使用危害的舉措，Aug-imodels等框架[19]用于高效和可解釋的模型，評估代碼訓練的LLMs，以及e）改進LLM推理性能的Chain-of-Thought樞紐措施。他們的研究強調了解釋性對LLMs的倫理和實際重要性。在LLMs被集成到多種應用中時，提供可理解和可解釋的響應是重要的。增強模型設計和交互、提高魯棒性和效率、指導訓練技術都是理解LLM操作的好處。他們的調查是揭開LLM復雜性的一個重要貢獻，為在醫療、金融和法律領域透明和倫理部署LLM奠定了基礎。它為未來研究奠定了基礎，以彌合原始LLM輸出與人類可理解解釋之間的差距。持續開發LLM解釋性對推進AI技術的可信性和可及性至關重要。

A. 構建大型語言模型的信任

黃和王的調查工作[19]及更廣泛的解決“黑箱”問題的努力指明了清晰的前進方向。然而，我們需要一種綜合方法，考慮倫理、技術和政策，以構建AI系統的信任，尤其是像LLMs這樣復雜的模型。 1）LLMs的倫理問題：LLMs在醫療、金融、政策制定和法律系統等領域的日益使用引發了關于隱私、偏見、公平和問責的倫理問題，原因是它們具有先進的自然語言能力。 LLMs可能會因為訓練文本數據中包含敏感信息而損害隱私。這可能導致隱私泄露，例如暴露醫療保健中的機密患者數據或在數據分析中泄露敏感的客戶記錄。為減少這些風險，有必要避免將個人可識別信息納入模型，并評估其隱私影響。確保LLM系統中的透明性和用戶對其數據的控制至關重要。明確的數據隱私指南和法規對于與用戶建立信任至關重要[20]-[30]。 偏見是LLMs的另一個倫理問題。它指的是LLMs在訓練數據中反映和延續的偏見，這可能導致偏見輸出或決策，損害邊緣化群體。性別、種族或文化偏見可能影響LLM模型，導致不公平或刻板印象的輸出和歧視性決策。例如，一個以人力資源為重點的LLM助手可能會對某些群體不利。為解決這一問題，公司應建立多元化的審查委員會，并定期使用偏見檢測工具審核LLM輸出[31]-[33]。 LLMs的另一個倫理問題是公平性，指的是公正待遇。LLM系統必須避免偏見并確保公平，通過公正對待每個人來實現。不公平的LLM模型可能會加劇不平等并造成傷害。例如，在公共政策中使用LLMs評估貸款或抵押申請可能會加劇經濟不平等。實現LLMs的公平性需要防止數據和算法中的偏見，使用對抗性去偏技術，并使用明確定義的指標持續評估公平性[34]-[37]。 問責在LLM系統中至關重要[38]-[40]。由于其復雜的推理過程，LLMs在醫療、司法和就業等影響人們生活的領域中尤其難以追究責任。用戶和利益相關者應知道誰對開發、部署和維護負責。他們應有錯誤、偏見或傷害的申訴機制。組織應建立明確的責任制和透明的治理，包括AI倫理委員會、模型性能的詳細記錄和跟蹤，以及關于LLM系統開發和部署的全面報告。 訓練和運行如GPT-3之類的LLMs需要大量的計算資源，導致高能耗和碳排放[41]。例如，GPT-3的訓練消耗了大約1287 MWh的電力，產生了502公噸的CO2排放，相當于112輛燃油車一年的排放。推理過程可能比訓練消耗更多的能量，估計約60%的AI能量用于推理，40%用于訓練[42]。一次ChatGPT請求的能耗可能是一次谷歌搜索的100倍。盡管LLMs目前對整個ICT行業的排放貢獻不到0.5%，對全球總排放的貢獻不到0.01%，但其影響正在迅速增加[43],[44]。為了促進AI的可持續性，行業應優先透明測量能耗和排放，利用可再生能源數據中心，開發更高效的AI硬件和算法，啟用排放跟蹤功能，并考慮轉向較小的專用模型而非大型通用LLMs。盡管LLMs目前對全球排放的貢獻很小，但其日益廣泛的使用需要積極努力減輕其環境影響，確保AI發展惠及世界而不加劇氣候變化。AI社區、政府和科技公司之間的合作對于實現更可持續的AI未來至關重要[45],[46]。

2）信任基礎上的LLMs技術進步：LLM系統需要解決技術挑戰以建立信任，例如解釋性。解釋性指的是理解和解釋LLM系統的決策過程。透明性通過使用戶理解系統的推理并識別潛在的偏見或錯誤來建立信任。可解釋的LLM系統可以幫助識別倫理問題并提供決策見解[20],[47],[48]。 可解釋AI（XAI）技術對于理解LLMs及建立其復雜系統的信任至關重要。注意力機制提供了對模型預測的見解[49]，但其解釋可能存在爭議[50]。更可靠的方法如綜合梯度[51]和代理模型[52]提供了特征相關性的量化指標，增強了我們對模型決策的理解。最新進展應用電路分析[53]來分解復雜的黑箱LLMs為可解釋的元素，提供了模型操作的詳細見解。使用提示技術生成的模型解釋允許全面的因果敘述[54]。然而，重要的是嚴格評估這些解釋的準確性和有用性[55]。使用各種XAI方法對于LLM的負責任使用至關重要。清晰的解釋通過描述模型的能力、局限性和風險來幫助建立終端用戶的信任[56]。它們對于調試[57]、識別偏見[58]和促進倫理使用至關重要。隨著LLMs的進步，開發可解釋的LLMs至關重要。這在技術上具有挑戰性，但在倫理和研究上必不可少。定制的XAI技術需要在各個層次提供解釋，反映模型的邏輯以增強用戶信心、確保安全并指導AI的倫理使用。

另一個技術挑戰是數據偏見。數據偏見指的是LLM訓練數據中的不公平偏向或歧視。它可能導致有偏見的結果并延續社會不平等。解決數據偏見需要采取措施，如數據審計、預處理以減輕偏見以及多樣化訓練數據集以實現代表性和包容性。明確定義的指標可以幫助評估LLM系統的公平性、準確性、可靠性和透明性，提供其倫理表現的量化指標[20],[37],[47],[48]。

最新研究探索了通過解決幻覺和缺乏可解釋性等問題來提高LLMs可信度的技術[59]。他們提出了一種稱為圖上的推理（RoG）的方法，通過知識圖譜與LLMs協同進行真實和可解釋的推理。在其檢索-推理優化方法中，RoG使用知識圖譜檢索推理路徑，以便LLMs生成答案。RoG中的推理模塊使LLMs能夠識別重要的推理路徑并提供可解釋的解釋，增強了AI系統的可信度。通過專注于知識圖譜中的推理過程并提供透明的解釋，像RoG這樣的方法展示了建立LLMs信任的有希望的方向[59]。

具有可靠日志記錄的可解釋系統增強了透明性、審計和問責制[60]。文檔和日志記錄提供了對決策過程的見解，支持錯誤解決，并確保遵守倫理和法規標準，從而建立用戶信任。這些機制使技術和非技術利益相關者能夠理解AI系統的內部運作，并確定影響其輸出的因素。

3）用戶信任的心理因素：用戶對LLMs的信任在很大程度上取決于心理因素，而不僅僅是技術的可靠性[61]-[65]。用戶必須對LLM系統的可靠性、準確性和可信度有信心。通過有效的溝通和透明性可以實現這一點。組織應清楚地傳達LLM系統的能力和局限性，提供有關系統工作原理和決策方式的信息。此外，組織應對其數據收集和使用實踐保持透明，讓用戶了解他們的數據如何被使用和保護。

4）信任基礎上的LLMs政策與治理：有效的治理對于管理部署LLM系統相關的倫理、技術和問責問題至關重要[36],[40],[47],[61],[66]-[69]。應建立結構和流程，以確保LLM系統的倫理和負責任開發、部署和監控。涉及關鍵利益相關者，如AI倫理委員會、監管機構和行業專家，可以提供指導和監督。為了確保公平和無偏見的決策，必須包括用戶反饋和多樣化的觀點。為了建立對LLMs的信任，我們必須解決解釋性和數據偏見等技術問題，同時建立強有力的治理框架。

5）社會經濟影響：必須評估LLMs的社會經濟影響，以了解其對勞動力和社會的影響。LLMs可能會取代人類工人，導致失業和社會動蕩。需要投資于技能發展，以幫助工人適應變化。再培訓計劃和其他培訓可以使工人能夠與LLMs協同工作或從事新角色。應實施優先考慮工作保障和社會支持的政策，以減輕影響。探索LLMs的潛在社會福利，如增加信息獲取，可以促進更包容的社會。在設計和實施LLMs時，倫理考量和負責任的部署至關重要。應建立促進透明、問責和公平的政策和法規。對LLMs影響的仔細考慮、技能發展的投資和負責任的部署對于對社會產生積極影響至關重要[70]-[72]。

B. 本綜述的主要貢獻

本綜述對AI系統的信任進行了全面分析，重點關注LLMs。通過審查倫理、技術和社會因素，我們為負責任的AI開發討論作出了貢獻。我們的綜述提供了應對構建AI系統信任挑戰的見解和建議，特別是LLMs。主要貢獻如下所述。

? 綜合評估框架：本綜述提供了一個用于分析高級AI系統，特別是LLMs中的算法偏見和漏洞的分類法。該框架由八個視角組成，涵蓋透明性、魯棒性、人類價值對齊和環境影響等方面。此方法使得能夠對LLMs的信任進行徹底評估，解決其開發和部署中的問題。通過整合多種視角，該框架提供了LLM可信度的全貌，對負責任的AI作出了重要貢獻。 ?** 綜合信任動態分析**：本綜述審查了影響用戶對AI系統信任的因素，包括心理、倫理、技術和政策方面。通過分析AI能力、法規和社會接受度的交叉點，識別了實現可信AI的障礙。此研究揭示了信任動態，為從事負責任的AI開發和實施的研究人員、政策制定者和行業專業人士提供了指導。 ? 針對LLMs的上下文化指南和標準：本綜述審查了現代AI系統，特別是不透明模型如LLMs的倫理指南和政策標準的應用。倫理指南在確保AI使用的責任方面發揮重要作用。然而，LLMs由于其類人文本生成和缺乏透明性，面臨獨特的挑戰，這使得理解和解釋其行為變得困難。本綜述探討了在實際LLM部署中實施倫理原則的實際意義，考慮了技術限制、社會影響和潛在風險。它識別了局限性并提供了解釋和操作化LLM開發和部署倫理指南的見解。目標是通過突出差距并倡導完善LLM特定指南來促進AI治理，促進AI使用的透明性、公平性和問責制。

C. 本綜述的局限性

本綜述對AI信任進行了全面審查，特別關注LLMs。然而，重要的是要承認我們研究的局限性。我們的分析基于現有的AI倫理和信任領域的文獻和研究，包括專門針對LLMs的相關工作。因此，本綜述可能無法完全捕捉這些快速發展的領域中最新的想法或進展。

我們的分析范圍限于學術出版物和行業報告，這限制了所考慮的觀點范圍。對于LLMs，這尤為相關，因為本綜述可能未包括未出版的研究或不太知名的觀點，這些觀點可能提供寶貴的見解。此外，鑒于AI技術發展和LLMs倫理考慮不斷演變的速度，本綜述中提出的一些討論和結論可能會隨著時間的推移而變得不再相關。盡管我們的綜述旨在涵蓋AI，包括LLMs，越來越多部署在高風險領域中的情況，但它并未詳盡地解決所有與LLMs相關的信任方面或行業特定挑戰。本綜述中提出的解釋和分析基于撰寫時可獲得的最佳數據和研究。讀者在評估這些發現和建議時應考慮這些局限性。

需要強調的是，本綜述的目標是對AI和LLMs的信任進行全面審查，同時保持對分析范圍的透明度。我們旨在通過探索現有的指南和框架、討論構建LLMs信任的方法和挑戰以及提出未來研究方向，為AI信任和倫理的持續對話作出貢獻。我們鼓勵在可能探索較少或快速發展的領域進行進一步研究和對話，因為這些討論對于AI系統負責任的開發和部署至關重要。在本綜述中，我們創建了一個敘述，捕捉了AI信任的當前狀態及其領域中的潛在發展。然而，AI倫理和信任的領域是復雜和多面的，我們的綜述可能未涵蓋每一個細微差別或觀點。盡管如此，我們希望這項工作能為研究人員、政策制定者和從業人員在應對與AI和LLMs信任相關的挑戰和機遇時，提供有價值的資源。