亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

當前的人工智能（AI）模型通常通過精細的參數調整和優化技術來提升性能。然而，模型背后的基本設計原則相對較少受到關注，這可能限制我們對其潛力和局限性的理解。本綜述探討了塑造現代AI模型的多樣化設計靈感，即腦啟發的人工智能（BIAI）。我們提出了一個分類框架，將BIAI方法分為物理結構啟發型和人類行為啟發型模型。我們還審視了不同BIAI模型在實際應用中的表現，突出其實際優勢和部署挑戰。通過深入探討這些領域，我們提供了新的見解，并提出了推動創新和解決當前領域內空白的未來研究方向。本綜述為研究人員和從業者提供了BIAI領域的全面概覽，幫助他們利用其潛力，加速AI開發的進步。

1 引言

人工智能（AI）的一個基本目標是創造能夠像人類一樣學習和思考的機器。為了實現這一目標，人工學習器在多個領域中取得了顯著的里程碑，包括目標和語音識別【131, 151】、圖像處理【115】、機器人技術【50】、醫學數據分析【161】、自然語言處理（NLP）【114】等。這些成功加速了AI的發展，使其在某些領域能夠與人類匹敵甚至超越。例如，AI模型現在在某些特定任務中表現優于人類，如語言翻譯【134】、圖像識別【63】甚至戰略游戲如國際象棋和圍棋【155】。最近，許多公司提出了一系列能夠理解圖像、音頻、視頻和文本的多模態模型，其能力類似于人類【3, 7, 169】。這種快速的進步彰顯了AI在各個領域中的變革潛力，推動了技術能實現的邊界。然而，旨在創造具有類似人類思維和推理能力的機器的一般AI方法在可擴展性、魯棒性、能效、可解釋性、學習效率和適應性方面仍然存在局限性【98】。 人類大腦被認為是最復雜的信息處理系統，能夠解決諸如學習、推理和感知等復雜任務。基于對人腦研究的最新進展，研究人員正在將神經科學的見解整合到AI系統中，旨在開發能夠更接近人類行為的感知、推理和行動的腦啟發人工智能（BIAI）系統【128, 163】。這一努力源于對生物智能的基本原理的理解，并希望利用這些原理來構建更智能、適應性更強和更魯棒的AI系統。什么是腦啟發人工智能（BIAI）？BIAI指的是從人類大腦和神經系統的生物結構、功能和原理中獲得靈感的AI系統和算法。它專注于復制或模仿生物體中觀察到的復雜過程和功能，以在人工系統中實現更類似于人類或大腦的行為【197】。與一般AI算法相比，BIAI通常集中于人類行為的特定方面，如從經驗中學習、適應新環境以及關注重要信息。在這篇全面綜述中，BIAI文獻大致分為物理結構（PS）啟發型模型和人類行為（HB）啟發型模型。PS啟發型模型是指模仿生物神經元、突觸和神經回路結構的模型，用于執行諸如學習、推理和決策等任務。代表性模型包括多層感知器（MLP）、人工神經網絡（ANNs）以及最近的脈沖神經網絡（SNNs）。HB啟發型模型被定義為復制人類行為中觀察到的生物機制和過程的模型。這些模型旨在捕捉生物系統的動態，同時提供對人類如何感知、學習、適應和與環境互動的見解。注意力機制、遷移學習和強化學習是常見的人類行為啟發的深度學習方法。BIAI與一般AI的區別在于它們在AI領域中的不同方法和目標【31, 77】。具體而言，一般AI并不一定受到人類大腦具體工作方式的啟發，而是旨在更廣泛的意義上達到或甚至超越人類水平的智能。相反，設計BIAI系統的目的是復制或模仿人類認知背后的生物機制和過程。這些系統通常在圖像識別和機器人控制等任務中表現出色，但它們可能不具備人類智能的全方位能力。BIAI與傳統AI的更全面比較見表1。為什么BIAI重要？BIAI的重要性主要體現在兩個方面。一方面，BIAI在適應性、泛化能力和可解釋性等許多方面有潛力超越傳統的AI方法。另一方面，BIAI模型旨在模仿大腦的結構和功能，從而增加其生物學的合理性。這種與生物學原理的契合不僅加深了我們對智能的科學理解，也為神經科學和AI研究之間的合作創造了新的機會。本質上，通過從人類大腦——最先進的信息處理系統——中汲取靈感，研究人員正在為開發可能達到甚至超越人類能力的智能系統奠定基礎【47, 103, 125】。

**1.1 動機

人類大腦是生物復雜性的頂峰。它不僅調節所有身體功能和過程，還使高級認知能力得以實現，如思維、記憶和情感【16】。將神經科學與AI系統相結合有助于解決許多現實應用中的緊迫問題和某些瓶頸【204】。一方面，人類大腦在處理大量信息時效率極高，同時消耗的能量相對較少。模仿其架構和過程可以使AI系統在操作上同樣高效和優雅。例如，傳統機器人無法在復雜環境中及時獲取環境知識，這限制了其做出準確快速決策的能力。此外，在該領域中，低學習效率、泛化能力差、難以制定目標導向的策略以及對動態環境的慢適應性等問題仍然存在。將BIAI整合到機器人系統中可以顯著提高機器人的運動和操控能力【132】。此外，BIAI還可以應用于解決許多其他現實問題，如醫學診斷、自動駕駛汽車、聊天機器人和虛擬助手、網絡威脅檢測、輔導系統、供應鏈優化、內容創作和個性化推薦。這些應用突顯了BIAI在不同方面的廣泛影響和相關性。另一方面，理解大腦的機制不僅為我們提供了有關智能如何產生的見解，還為解決AI中的復雜問題提供了線索。通過研究生物神經網絡，研究人員可以開發更好地捕捉認知和感知復雜性的算法和架構。例如，神經網絡作為AI的基礎和基本模型之一，汲取了大腦結構和計算過程的靈感。作為現代AI的基石，神經網絡推動了醫療、金融、交通和娛樂等領域的進步。它們從數據中學習并揭示有價值的見解的能力使其成為解決復雜挑戰和推動AI創新的關鍵。此外，人類大腦具有顯著的魯棒性和適應性，能夠從經驗中學習，處理噪聲和不確定數據，并將知識泛化到新情境【41】。通過模仿大腦的彈性和適應性，BIAI旨在創造更為魯棒和多功能的AI系統。這種方法還強調了透明性、可解釋性和責任感，從而優先考慮倫理AI的發展。以生物系統為模型的智能化推動了可信賴且符合人類價值觀的AI的創建。盡管BIAI在推動AI和機器人技術方面具有巨大的潛力【102】，但它也面臨著一些挑戰和局限性。人類大腦是一個極其復雜的器官，擁有數十億的神經元和數萬億的突觸，這些神經元和突觸組織成復雜的網絡，控制著認知、感知和行為。在人工神經網絡（ANNs）中復制這種復雜性帶來了巨大的計算和工程挑戰【160】。由于人腦的復雜性，盡管經過了數十年的研究，我們對大腦的理解仍然不完整。許多大腦功能方面，如學習、記憶和意識，仍然理解不充分【152】。這種理解的缺乏使得將神經科學的見解轉化為BIAI的實際算法和架構的努力變得更加復雜。此外，BIAI模型的復雜性和不透明性妨礙了我們理解其決策過程的能力。這種明顯缺乏可解釋性和透明性的情況在安全關鍵型應用（如醫療保健和自動駕駛車輛）中引發了對責任感、偏見和可信賴性方面的重大擔憂【78, 91】。這些不足促使我們對BIAI進行全面研究。在文獻中，已有幾篇綜述論文從不同的應用場景和不同的視角調查了BIAI的算法。然而，大多數研究僅關注某一特定方面，如算法、應用場景或代價函數，缺乏對當前BIAI研究進展的詳細介紹和討論的全面綜述。在這篇綜述文章中，我們基于算法的靈感來源和學習機制對當前BIAI研究進行了分類和審視。對于每個BIAI算法，在介紹其特點和適用場景后，我們討論了其優缺點。然后，我們討論了當前BIAI模型的開放問題，并列出了幾個未來的研究方向。我們希望這篇全面綜述能為相關領域的研究人員提供有用的見解。

**1.2 相關綜述與新穎性

之前的研究涵蓋了腦啟發/類腦學習或計算范圍內的類似主題【62, 74, 132, 149】，但沒有一篇集中探討神經科學為AI模型帶來的具體知識，也沒有全面詳細地介紹BIAI系統。在【132】中，作者試圖總結腦啟發算法在智能機器人中的進展，深入探討了視覺認知、情感調節決策、肌肉骨骼機器人技術和運動控制等關鍵領域。Ou等人【122】介紹了類腦計算模型和芯片、它們的演變歷史、常見應用場景和未來前景。Hassabis等人【62】探討了AI與神經科學之間的歷史聯系，并研究了受人類和其他動物神經計算研究啟發的AI的最新進展。在【106】中，作者展示了機器學習和神經網絡如何改變動物行為和神經成像研究領域。關于人工神經網絡中的腦啟發學習，可以在【149】中找到生物學基礎和算法介紹。這篇綜述主要集中在如何從人類大腦的物理結構中學習。然而，沒有一篇綜述注意到并審視了受人類行為和學習機制啟發的AI模型。此外，他們也未全面討論AI可以從人類大腦和神經系統中學習哪些部分來設計模型。在本綜述中，我們主要回答以下問題：什么是BIAI？BIAI與一般AI有什么區別？BIAI能為我們帶來哪些優勢？我們可以從人類大腦的哪些角度來設計AI模型？哪些BIAI模型已經在現實世界中使用？引入BIAI可以進一步推動哪些研究領域？當將神經科學與AI模型相結合時，研究人員面臨哪些挑戰？當前BIAI技術中存在哪些差距，未來可以在哪些方面開展工作？通過回答這些問題，我們希望研究人員能夠加深對BIAI系統的理解，并提高他們為不同應用設計更合適的BIAI算法的能力。

**1.3 貢獻

本文的覆蓋范圍如圖1所示。我們的主要貢獻總結如下：

• 我們引入了神經科學和人類行為研究中的知識和見解，強調了AI如何從神經結構、學習機制、注意力和焦點、記憶與回憶、認知過程以及人類大腦中觀察到的創造力和想象力中學習。
• 我們將BIAI研究分為兩大類：物理結構啟發型模型和人類行為啟發型模型，為理解該領域的不同方法提供了框架。
• 我們探討了BIAI模型的多種應用，包括它們在機器人技術、醫療保健、情感感知和創意內容生成中的應用，展示了這些模型在各個領域中的廣泛潛力。
• 我們討論了BIAI開發和實施過程中面臨的挑戰，例如理解大腦功能、與神經科學的整合以及構建高效、魯棒、倫理、具有意識且可解釋的模型。我們還概述了應對這些挑戰的未來研究方向。 本文的其余部分組織如下。第2節總結了可以為AI系統提供信息的神經科學和人類大腦功能知識。接下來，綜述按照圖1所示的分類結構展開。第3節討論了BIAI的主要類別，即物理結構啟發型模型和人類行為啟發型模型。第4節探討了BIAI在各個領域的實際應用。在第5節中，我們概述了當前BIAI方法面臨的一般挑戰。第6節重點介紹了未來研究的幾個有前途的方向。最后，在第7節中總結了本次綜述。

理解大規模語言模型（LLMs）中的知識機制對于邁向可信的通用人工智能（AGI）至關重要。本文從一個新的分類法角度回顧了知識機制的分析，包括知識利用和進化。知識利用探討了記憶、理解與應用及創造的機制。知識進化則關注個體和群體LLMs中知識的動態發展。此外，我們討論了LLMs所學到的知識、參數化知識脆弱的原因以及潛在的黑暗知識（假設）所帶來的挑戰。我們希望這項工作能幫助理解LLMs中的知識，并為未來的研究提供見解。

知識是智慧的基石和文明延續的基礎，為我們提供了導航復雜問題和應對新興挑戰的基本原則和指導（Davis et al., 1993; Choi, 2022）。在漫長的進化歷史中，我們致力于利用已獲得的知識和探索未知知識的前沿，以培養更高級的智慧（McGraw and Harbison-Briggs, 1990; Han et al., 2021）。 眾所周知，大規模語言模型（LLMs）也因其涵蓋了廣泛的參數化知識而聞名（Roberts et al., 2020; Sung et al., 2021; Cao et al., 2021; Zhong et al., 2021; Kandpal et al., 2023; Heinzerling and Inui, 2020; Petroni et al., 2019; Qiao et al., 2023; Kritharoula et al., 2023; He et al., 2024a），在應用上取得了前所未有的進展。然而，LLMs在學習、存儲、利用和進化方面的知識機制仍然是一個謎（Gould et al., 2023a）。大量研究試圖通過知識神經元（Dai et al., 2022; Chen et al., 2024a）和電路（Elhage et al., 2021; Yao et al., 2024; Zou et al., 2024）來揭示LLMs中各種類型的知識，但這些努力分散在各個任務中，尚待全面的回顧和分析。 如圖1所示，本文開創性地回顧了整個知識生命周期中的機制。我們還提出了一種新的LLMs知識機制分類法，如圖2所示，涵蓋了特定時間的知識利用和整個LLMs期間的知識進化。具體來說，我們首先介紹了該領域的基本知識（§2）并從新的角度回顧了知識利用機制（§3）。然后，我們深入探討了知識進化的基本原則（§4），討論了知識利用的挑戰，并提出了一些有前景的假設來探索開發強大且可信模型的潛在途徑（§5）。最后，我們還提供了一些未來方向（§6）和知識機制分析工具（§C）。我們的貢獻如下： * 據我們所知，我們是首個回顧LLMs中知識機制并提供整個生命周期內的新分類法的。 * 我們提出了一種新的視角，從記憶、理解與應用及創造三個層次分析知識利用機制。 * 我們討論了個體和群體LLMs中的知識進化，并分析了這一過程中固有的沖突和整合。 * 我們懷疑普遍的Transformer架構可能阻礙創造力，數據分布和數量可能導致參數化知識的脆弱性，引發幻覺和知識沖突。此外，黑暗知識將長期存在。

與現有綜述的比較以往的可解釋性綜述通常旨在從全局和局部分類法角度研究解釋LLMs中不同組件作用的各種方法（Ferrando et al., 2024; Zhao et al., 2024a; Luo and Specia, 2024; Murdoch et al., 2019; Bereska and Gavves, 2024; Vilas et al., 2024; Singh et al., 2024）。相比之下，本文側重于LLMs中的知識。因此，我們的分類法以LLMs中的目標知識為導向，回顧了知識的獲取、存儲、利用及后續進化。此外，以前的分類法大多探討推理階段（一個特定時期）的可解釋性，而忽略了預訓練階段的知識獲取和后訓練階段的進化（R?uker et al., 2023; Luo et al., 2024b; Apidianaki, 2023; Jiao et al., 2023; R?uker et al., 2023; Rai et al., 2024）。我們的分類法旨在探索從幼稚到成熟的各個階段的動態進化，無論是個體還是群體LLMs。 與最相似的綜述（Cao et al., 2024a）引入的知識生命周期相比，我們的工作重點是每個階段的底層機制。總體而言，本文可能有助于我們探索和操作LLMs中的高級知識，通過知識進化的歷史檢查當前的局限性，并為未來模型的更高效和可信的架構和學習策略提供靈感。請注意，本文中的大多數假設源自基于Transformer的LLMs。我們還驗證了這些假設在其他架構模型中的普適性，然后在§B中提出普遍智能。

生成式檢索（GR）是一種新興的信息檢索范式，利用生成模型直接將查詢映射到相關的文檔標識符（DocIDs），無需傳統的查詢處理或文檔重排序。本綜述提供了對GR的全面概述，重點介紹了關鍵發展、索引和檢索策略以及面臨的挑戰。我們討論了各種文檔標識符策略，包括數字和基于字符串的標識符，并探索了不同的文檔表示方法。我們的主要貢獻在于概述未來可能對該領域產生深遠影響的研究方向：改進查詢生成的質量、探索可學習的文檔標識符、增強可擴展性以及將GR與多任務學習框架集成。通過研究最先進的GR技術及其應用，本綜述旨在提供對GR的基礎性理解，并激發在這種變革性信息檢索方法上的進一步創新。我們還將諸如論文集等補充材料公開。

信息檢索（IR）的歷史經歷了顯著的演變，從基于統計詞關系的初步方法發展到利用先進深度學習技術的復雜系統。這一進程主要圍繞兩個主要訓練目標，如圖1所示：

目標1：向量相似度

最初，IR系統依賴于稀疏檢索技術，通過諸如詞袋模型和向量空間模型（VSM）（Salton, 1983）等方法利用詞之間的統計關系。在這些模型中，文檔被表示為稀疏向量，每個維度指示詞的存在或頻率。二元獨立模型（BIM）（Robertson和Jones, 1976）的發展和詞頻-逆文檔頻率（TF-IDF）的實現是這種方法的典型代表，強調了詞出現的獨立性和頻率。

隨著技術進步，重點轉向了稠密檢索。在這一階段，詞嵌入將詞轉化為稠密向量表示，捕捉到比單純關鍵詞匹配更深層次的語義相似性和上下文關系。在這一領域的重要發展包括Word2Vec（Mikolov et al., 2013）、GloVe（Pennington et al., 2014）以及變壓器網絡的進步如BERT（Devlin et al., 2018）。這些創新最終催生了如DPR（Dense Passage Retrieval）（Karpukhin et al., 2020）等復雜模型，通過采用稠密向量嵌入來理解復雜的查詢和文檔，顯著提高了信息檢索的精度和有效性。在DPR的基礎上，REALM（Guu et al., 2020）和RAG（Lewis et al., 2020）等模型將檢索與語言模型集成，進一步優化了相關性。ColBERT-QA（Khattab et al., 2021）通過上下文化嵌入進行精確答案檢索，提升了問答能力。

目標2：直接文檔映射

隨著信息檢索從向量相似度方法轉變，它采用了生成式檢索，這是一種利用生成模型直接生成與用戶查詢相關的文本響應或文檔標識符的方法。這標志著從匹配預先存在的向量表示到動態生成直接滿足用戶需求的文本輸出的重大轉變。在預檢索階段，生成模型通過諸如Xiao等人（2022）所示的使用掩碼自編碼器（MAE）的檢索導向預訓練范式等創新方法來提高稠密檢索的效率。該模型訓練從嵌入和掩碼輸入中重建句子，在各種基準測試中表現優異。在檢索階段，Lewis等人（2020）的檢索增強生成模型通過稠密段落檢索器選擇文檔并為復雜的自然語言處理任務生成答案，取得了頂級性能。此外，Tay等人（2022）的可微搜索索引（DSI）通過將查詢直接映射到相關文檔，顯著超越了傳統方法，并在零樣本設置中表現出強大的泛化能力。在后檢索階段，深度學習技術被應用于重新排序檢索到的文檔，如Guo等人（2016）通過分析查詢和文檔之間的復雜匹配模式來優化文檔排名。類似地，Mitra等人（2017）通過融合局部和分布式文本表示，利用局部和全局上下文來提高搜索結果質量，增強了網頁搜索重排序。通過這些創新，包括雙塔模型架構和可微搜索索引（DSI）（Tay等人，2022），生成式檢索不僅有效地響應查詢，還能在語料庫中識別相關信息，利用端到端訓練架構整合深度學習過程來簡化檢索體驗。

## 2 生成式檢索簡介

### 2.1 生成式檢索的定義

前一節展示了在各種信息檢索階段應用生成模型以促進任務執行。在本綜述論文中，我們旨在定義“生成式檢索”（GR），其背景是在Tay等人（2022）的可微搜索索引架構中，其中查詢通過seq2seq模型直接映射到相關文檔，無需預檢索查詢處理或后檢索文檔重排序。本質上，端到端架構足以完成信息檢索任務。我們正式定義GR為一個系統，其中，給定用戶查詢q作為輸入，seq2seq學習模型直接輸出若干文檔標識符（docids）。每個標識符j對應于語料庫D中的特定文檔dj，表明該文檔與查詢q相關（見圖2）。要實現這一點，GR需要兩個關鍵組件：索引和檢索。

#### 2.1.1 索引

在GR索引策略中，關鍵考慮因素是索引方法和索引目標。索引方法研究的是將文檔內容與其唯一標識符建立聯系的技術，基本上掌握了將每個文檔的文本與一個獨特的docid相關聯的過程。相反，索引目標關注文檔表示策略。這涉及有關索引細節級別的決策、索引特定文檔部分的重要性、處理重復信息的方式，以及語義理解在描繪文檔內容本質中的重要性。 在GR的索引方法中，重點是簡化將文檔內容與其唯一標識符連接的過程。我們可以將索引方法的過程公式化為對兩種類型的示例進行訓練。第一個是(dj, j)，其中dj ∈ D表示語料庫D中的第j個文檔，j表示對應的標識符。構建索引時，對文檔-docid配對進行訓練是至關重要的。這種配對過程是創建每個文檔內容與其在數據庫中的位置之間的可檢索鏈接的第一步，從而實現高效的存儲和檢索。 第二個訓練示例是(qi, j)，在這里我們將查詢qi與其相關的docid j鏈接。通過將查詢與相關的docid配對，系統學習定義用戶搜索意圖（通過查詢表達）和文檔內容（通過docid表示）之間相關性的上下文細微差別。這種訓練有助于模型理解哪些文檔與給定查詢最相關，這種理解僅通過索引是無法實現的。這些方法包括序列到序列轉換和雙向訓練的創新方法，以及基于跨度的去噪高級技術。第二個訓練示例的詳細信息將在第3節中討論。 對于索引目標，重點轉向系統中文檔的表示方式。由于模型容量和計算資源的限制，生成式檢索模型通常不可能以整個文檔作為直接輸入進行訓練。因此，有必要考慮其他有效表示文檔的方法，包括：

1. 直接索引：取文檔的前L個標記。
2. 集合索引：取前L個不重復的標記。
3. 倒排索引：從文檔中隨機開始取連續的k個標記。
4. 查詢作為表示：Zhuang等人（2022）提出了一種方法，使用生成的查詢來表示文檔，同時以DocID進行訓練。他們建議在訓練中使用查詢而不是整個文檔更符合檢索過程，因為檢索通常涉及使用查詢來查找相關文檔。 通過采用這些多樣化的索引方法，我們旨在提高生成式檢索系統的效率和準確性。直接索引和集合索引提供了簡單但有效的手段來捕獲重要的文檔內容，同時減少冗余。倒排索引提供了一種隨機但系統的方法來表示文檔，確保內容覆蓋多樣化。同時，利用查詢作為文檔表示將訓練階段與檢索階段對齊，促進更直觀和上下文感知的檢索過程。 最終，這些索引策略趨向于一個統一的目標：優化生成式檢索系統理解、索引和檢索文檔的能力，以高精度響應用戶查詢。通過平衡細節、相關性和全面性，我們可以確保系統不僅高效地存儲文檔內容，還能在用戶查詢時準確地檢索最相關的信息。這種平衡對于開發一個能夠處理多樣化和復雜信息需求的強大和可擴展的生成式檢索框架至關重要。

#### 2.1.2 檢索

完成索引階段后，我們將注意力轉向檢索階段。經典的GR模型采用seq2seq方法自回歸地解碼候選docids，其中這些docids的表示選擇對檢索效率至關重要。 在生成式檢索的開創性工作中，Tay等人（2022）引入了非結構化原子標識符方法，為每個文檔分配唯一整數。這一基礎方法得到了結構化標識符方法的補充，包括簡單結構的字符串標識符和語義結構的標識符，為細致的文檔表示鋪平了道路。隨著該領域的發展，后續工作在標識符表示上進行了多樣化探索，探索了字符串子集、文章標題等替代方案。第3節將詳細探討和比較這些擴展及其系列中的更廣泛工作，突出它們在生成式檢索背景下的貢獻和創新。

本文對生成式檢索（GR）進行了全面的綜述和分析，探討了其發展歷史、關鍵技術、挑戰和未來方向。以下是對信息檢索領域的五項重要貢獻：

• 信息檢索的發展歷程從稀疏檢索方法到稠密檢索技術，最終發展到生成式檢索，其中查詢通過seq2seq模型直接映射到相關文檔，無需預檢索查詢處理或后檢索文檔重排序。
• 解釋了GR的核心概念，詳細說明了端到端的檢索過程、索引和檢索技術，包括文檔標識符策略和seq2seq模型。
• 比較了各種文檔標識符類型，顯示具有語義信息的標識符通常表現更好，并探討了創建這些標識符的不同方法。
• 討論了GR中的評估指標和常用數據集，強調它們在評估檢索性能和比較不同標識符策略中的作用。
• 識別了諸如可擴展性和動態語料庫管理等挑戰。提出了未來的研究方向，如優化訓練方法、提高系統可擴展性以及整合多任務學習技術。

總之，這項研究提供了一個詳細的綜述，幫助讀者深入了解生成式檢索技術。它旨在激發該領域的進一步研究，并推動信息檢索技術的發展。

隨著大型語言模型（LLMs）的最新進展，結合LLMs與多模態學習的興趣日益增長。先前關于多模態大型語言模型（MLLMs）的綜述主要集中在理解方面。本綜述詳細闡述了不同領域的多模態生成，包括圖像、視頻、3D和音頻，并重點介紹了這些領域的里程碑式的顯著進展。具體來說，我們詳盡調查了這些方法背后的關鍵技術組件和研究中使用的多模態數據集。此外，我們深入探討了可以利用現有生成模型進行人機交互的工具增強型多模態代理。最后，我們還全面討論了人工智能安全的進展，并研究了新興應用及未來前景。我們的工作提供了對多模態生成的系統且深入的概述，預計將推動生成內容人工智能（AIGC）和世界模型的發展。所有相關論文的精選列表可以在//github.com/YingqingHe/Awesome-LLMs-meet-Multimodal-Generation找到。

人與物理世界的互動涉及來自多種模態的信息，例如語言、視覺和音頻。因此，實現一個世界模擬器也需要模型能夠以靈活的方式感知和響應多模態信息。最近，OpenAI提出了一個基礎視頻生成模型Sora [1]，能夠生成高度逼真的視頻作為世界模擬器。它在模擬或生成真實世界視頻方面取得了很大進展，但無法生成其他模態，如文本、3D和音頻。此外，它缺乏感知其他模態（如圖像、視頻、3D和音頻）的能力，使其成為一個無法全面理解的世界模擬器。

在過去的幾年中，研究人員專注于單一模態的生成并取得了很大的進展：在文本生成方面，我們見證了從BERT [2]、GPT1 [3]、GPT2 [4]、GPT3 [5]、GPT4 [6]到ChatGPT [7]、LLaMA [8]、[9]的定性飛躍，模型參數和訓練樣本數量迅速增長，導致模態能力和產品部署的不斷提升。在視覺生成領域，隨著擴散模型和大規模圖文數據集的快速進步，圖像生成取得了顯著成就，能夠根據各種用戶提供的提示文本合成高質量的圖像 [10]–[13]。隨后，通過視頻擴散模型和大規模視頻語言數據集，視頻生成領域也取得了重要進展，出現了許多開創性的工作，如 [14]–[22] 和Sora [1]。在3D生成方面，隨著CLIP [23]模型的出現，一些方法 [24]–[26] 嘗試將文本信息帶入3D表示的渲染圖像（即點云、網格、NeRF [27]和高斯投影 [28]），這些方法在文本到3D生成方面取得了顯著進展。此外，將Stable Diffusion (SD) [10]與文本到圖像渲染相結合，推動了一系列文本到3D生成的工作 [29]–[43]。強大的文本到圖像模型幫助3D生成實現了更高的性能和更好的結果。在音頻生成領域，一系列代表性工作涉及不同的音頻域，如 [44]–[46] 的文本到音頻、 [47]–[49] 的文本到音樂和 [50]–[55] 的文本到語音，它們在生成高質量的自然聲音、音樂和人類級語音方面取得了顯著的性能。

隨著大型語言模型（LLMs）的顯著進步，其他非文本模態開始利用LLMs的力量來增強其生成流程，或將文本生成與非文本生成集成到一個統一系統中，旨在實現更高級的功能和改進的生成性能。在圖像生成方面，有兩類方法與語言模型實現了顯著的整合。第一類方法涉及將視覺信息編碼為離散的令牌ID，試圖統一視覺理解與生成 [56]–[61]。具體來說，視覺信息被編碼為令牌表示，LLMs直接理解并生成視覺令牌，從而實現視覺理解與生成的同步。第二類方法專注于利用LLMs提升現有預訓練文本到圖像（T2I）模型的生成質量：一類工作涉及利用LLMs作為布局規劃器，結合對象的空間位置、數量和對象大小的知識，生成所需的邊界框 [62]–[66]。在獲得邊界框后，可以通過一個基于文本到圖像（T2I）模型生成圖像 [67]。另一種方法是利用LLMs擴展用戶輸入的提示 [68]：通過提供高度詳細和全面的用戶提示，LLMs通過豐富提示信息生成高質量的圖像。在LLMs的幫助下，視覺生成實現了更高的生成質量、改進的提示跟隨能力、對話功能和用戶友好界面。在視頻生成方面，LLMs作為統一的多模態聯合生成的通用骨干 [69]、[70]，用于視頻布局規劃 [63]、[71]–[74] 和動態指導的時間提示生成 [75]–[79]。在3D生成和編輯方面，LLMs作為用戶與3D資產之間的橋梁，提高了交互效率 [80]、[81] 并幫助用戶理解 [82]、[83] 3D資產。在音頻生成和編輯方面，語言模型主要作為多模態音頻的協調骨干 [84]–[96]，用于特定任務的條件器 [97]–[99]，用于音頻理解的標簽器 [100]–[102]，以及用于交互生成/編輯的代理 [103]–[108]，并作為新方法的靈感來源 [47]、[48]、[53]、[109]–[111]。LLMs在音頻領域的日益廣泛使用不僅改變了我們與聲音和音樂互動的方式，還擴展了AGI與音頻技術交叉點的邊界。此外，多模態代理將多種模態整合到一個系統中，開發出一個能夠理解和生成非文本模態的通用系統。因此，LLMs在生成各種模式的內容中扮演著越來越不可或缺的角色。

為了賦能世界模擬器并推動多模態生成的發展，在這項工作中，我們對涉及LLMs在多模態生成中的工作及其在這一過程中的角色進行了全面回顧。如圖1所示，我們將LLMs的角色總結為幾個關鍵方面，如評估者、標注者、指令處理器、規劃者、語義指導的提供者或骨干架構。此外，我們在第9節討論了AIGC時代的重要安全問題，在第10節和第11節探討了新興應用和未來前景。

我們總結了我們的貢獻如下：

• 我們首次系統性地回顧了LLMs在多模態生成中的應用，包括圖像、視頻、3D和音頻。
• 我們通過比較分析前LLM時代和后LLM時代的生成技術演變，提供了對這些方法進展和改進的清晰視角。
• 我們從技術角度總結了LLMs在各模態生成過程中的各種角色。
• 我們討論了重要的AI安全問題，研究了新興應用，并探索了未來方向，以促進多模態生成和世界模型的發展。 內容概述

我們首先在第2節回顧了關于特定模態生成和LLMs的相關綜述。接著在第3節簡要回顧了代表性生成模型、多模態編碼器、Transformer和LLMs的基本技術。然后，我們在第4節、第5節、第6節、第7節和第8節分別回顧了基于LLMs的不同視覺模態的視覺生成，包括圖像、視頻、3D、音頻和多模態代理。最后，我們在第9節討論了生成式AI的安全性，并在第11節探討了基于LLMs的多模態生成領域的幾個潛在未來方向。

范圍

本綜述探討了多種模態的生成，包括圖像、視頻、3D模型和音頻。我們的多模態生成綜述涵蓋了不同模態的單獨生成以及多模態的聯合生成。我們不會深入探討純文本生成，因為已有許多綜述專門關注該領域的進展 [112]–[114]。我們的主要關注點是近年來大型語言模型的出現如何幫助生成其他視覺和音頻模態，特別是在開放域生成方面。這將有助于我們設計更好的多模態統一生成模型。具體來說，我們關注以下任務：

• 圖像生成與編輯：圖像生成旨在根據用戶提供的文本描述創建各種開放域圖像內容，包括圖片、照片或風格化繪畫。圖像編輯旨在根據用戶指示修改輸入的圖像內容。
• 視頻生成與編輯：模型根據自由形式的文本描述生成或修改任意和各種動態視覺內容。
• 3D生成與編輯：生成和編輯3D對象、場景或頭像的任務，基于用戶提供的文本描述。
• 音頻生成與編輯：使用文本描述生成音頻，包括一般聲音、音樂和語音。音頻編輯任務如添加、刪除或修復涉及使用文本描述修改現有音頻。
• 多模態生成代理：使LLMs能夠通過利用各種專門的多模態工具處理不同模態的數據。
• 生成式AI安全：關注減少有害和偏見內容，保護版權，并解決多模態生成模型創建虛假內容的問題

人類通過多種感官，如視覺、嗅覺、聽覺和觸覺來感知世界。同樣，多模態大型語言模型（MLLMs）通過整合和處理包括文本、視覺、音頻、視頻和3D環境在內的多種模態數據，增強了傳統大型語言模型的能力。數據在這些模型的發展和優化中起到了關鍵作用。在這篇綜述中，我們從數據中心視角全面回顧了MLLMs的相關文獻。具體而言，我們探討了在MLLMs預訓練和適應階段準備多模態數據的方法。此外，我們還分析了數據集的評估方法，并回顧了評估MLLMs的基準測試。我們的綜述還概述了未來潛在的研究方向。本研究旨在為研究人員提供關于MLLMs數據驅動方面的詳細理解，促進該領域的進一步探索和創新。

近年來，我們見證了大型語言模型（LLMs）和多模態大型語言模型（MLLMs）的快速發展[280, 324]。諸如GPT-4 [208]、Flamingo [4]、BLIP2 [151]和X-InstructBLIP [212]等MLLMs整合了多模態信息，展示了令人印象深刻的理解和生成能力。這些模型在傳統的多模態任務中取得了競爭性表現，如視覺識別[320]、視頻理解[258, 289]、語音識別[200]和3D理解[89, 100]。此外，它們卓越的語言理解能力使其在文本豐富的任務中表現出色，如問答[104]、多輪對話和邏輯推理[156, 296]。

大多數現有的MLLMs主要關注修改模型架構以探索多模態信息的使用[121, 178, 246, 286, 287, 304]。盡管模型的有效性至關重要，數據也顯著影響了MLLMs的成功。例如，Hoffmann等人[99]展示了為了擴展模型，有必要增加訓練數據的規模。除了數據數量外，數據質量同樣重要。先前的研究[251]表明，精心策劃的數據集可以使較小的模型達到與較大模型相當的性能。然而，關于MLLMs數據策劃和利用的綜合研究仍然缺乏。因此，本研究旨在從數據中心視角提供對MLLMs的全面理解。

與優先考慮架構增強而依賴固定數據集的模型中心方法相比，數據中心視角強調對數據集的迭代改進以提高性能。在數據中心MLLMs的范圍內，我們關注利用數據模態的異質性、增強數據結構、增加數據數量和提高數據質量以改進MLLMs [316]。我們的討論從不同階段的MLLMs數據中心視角回答了三個關鍵問題：

• Q1：如何收集、選擇和管理MLLMs的數據？大量的數據需求和多模態數據的異質性在收集、選擇和有效管理模型訓練數據方面帶來了挑戰。MLLMs的不同訓練階段也導致了不同的數據類型需求。

• Q2：數據如何影響MLLMs的性能？理解數據特性與MLLMs性能之間的關系對于優化數據集和增強模型能力至關重要。

• Q3：如何評估MLLMs的數據？有必要開發全面的評估基準，以評估MLLMs在各種任務中的性能和魯棒性。 本綜述與現有綜述的區別。在模型中心視角下，已有若干綜述聚焦于LLMs [93, 203, 324]和MLLMs [280, 318]，但缺乏對數據中心方面的深入分析。最近，一些綜述開始關注LLMs的數據準備，如數據管理方法[274]、數據選擇方法[5]和LLM數據集的綜合綜述[174]。然而，這些綜述主要集中于僅文本LLMs的數據管理和選擇方法，沒有對MLLMs的數據處理管道進行徹底分析。盡管Zhang等人[318]總結了MLLMs的數據集，但未能提供對這些數據集的全面分析。與我們最相關的工作是數據中心人工智能（DCAI）[109, 111, 220, 279, 316]，它也關注AI研究的數據中心視角，但未具體分析LLMs和MLLMs。

隨著MLLMs的快速增長以及數據在這個大型模型時代越來越重要的角色，我們認為提供一個全面的MLLMs數據中心方法綜述是至關重要的。本綜述旨在從數據中心視角全面回顧MLLMs的進展文獻，并討論該領域的開放問題或未來方向。

貢獻。在這篇綜述中，我們從數據中心視角回顧了MLLMs的進展文獻。我們為研究人員和開發者提供了對MLLMs數據方面最新發展的總體和全面的理解。本綜述的主要貢獻總結如下：

• 新的數據中心視角。我們從數據中心視角提供了對MLLMs的全面綜述，考慮了文本、圖像、視頻和音頻等模態。
• 數據準備和管理管道。我們總結了在預訓練和適應階段MLLMs的數據準備和管理管道。
• 數據評估基準。我們概述了常用的從數據中心視角出發的評估基準。
• 開放問題和未來方向。我們討論了當前數據中心LLMs研究中的開放問題，并提出了若干未來研究方向。

本文的其余部分安排如下：第2節介紹LLMs和MLLMs的預備知識，并討論從數據中心視角分析它們的動機。第3至第5節總結了MLLMs訓練數據的收集、處理和選擇的主要階段。第6節總結了MLLMs的評估方法和現有的評估數據集。第7節討論了開放問題并強調了該領域的若干未來研究方向。最后，我們在第8節對本綜述進行了總結。我們的Github倉庫可以在//github.com/beccabai/Data-centric_multimodal_LLM找到。

多語言大型語言模型利用強大的大型語言模型處理和響應多種語言的查詢，這在多語言自然語言處理任務中取得了顯著的成功。盡管取得了這些突破，但在這一領域仍缺乏一個全面的綜述來總結現有方法和最近的發展。為此，在本文中，我們提出了一個徹底的審查，并提供了一個統一的視角來總結多語言大型語言模型（MLLMs）文獻中的最新進展和新興趨勢。本文的貢獻可以總結如下：（1）第一份綜述：據我們所知，我們采取了第一步，在多語言對齊的基礎上對MLLMs研究領域進行了徹底的審查；（2）新分類法：我們提出了一個新的統一視角來總結MLLMs的當前進展；（3）新前沿：我們突出了幾個新興的前沿并討論了相應的挑戰；（4）豐富資源：我們收集了大量的開源資源，包括相關論文、數據語料庫和排行榜。我們希望我們的工作能為社區提供快速訪問并推動MLLMs的突破性研究。

近年來，大型語言模型（LLMs）在各種自然語言處理任務上取得了優異的表現（Brown et al., 2020; Touvron et al., 2023a; Bang et al., 2023; Zhao et al., 2023b; Pan et al., 2023; Nguyen et al., 2023a; Trivedi et al., 2023），并展示出了令人驚訝的突發能力，包括上下文學習（Min et al., 2022; Dong et al., 2022）、思維鏈推理（Wei et al., 2022; Huang et al., 2023a; Qin et al., 2023a）以及規劃（Driess et al., 2023; Hu et al., 2023b）。然而，大多數LLMs主要關注英語任務（Held et al., 2023; Zhang et al., 2023i），使其在多語言環境，尤其是低資源環境下表現不足。

實際上，全球有超過7000種語言。隨著全球化的加速，大型語言模型的成功應考慮服務于不同國家和語言。為此，多語言大型語言模型（MLLMs）具有全面處理多種語言的優勢，越來越受到關注。具體來說，現有的MLLMs可以根據不同階段大致分為兩組。第一系列工作（Xue et al., 2020; Workshop et al., 2022; Zhang et al., 2023g; Muennighoff et al., 2022）利用多語言數據調整參數以提升整體多語言性能。第二系列工作（Shi et al., 2022a; Qin et al., 2023b; Huang et al., 2023a）還采用先進的提示策略，在參數凍結推理階段挖掘MLLMs的更深層次多語言潛力。

盡管在MLLMs上取得了顯著成功，但仍缺乏對最近努力的全面回顧和分析，這阻礙了MLLMs的發展。為了彌補這一差距，我們首次嘗試對MLLMs進行全面而詳盡的分析。具體來說，我們首先介紹廣泛使用的數據資源（§3）。此外，由于跨語言對齊的關鍵挑戰，我們根據對齊策略引入了新的分類法（§4），旨在提供文獻中的統一視角，包括參數調整對齊和參數凍結對齊（如圖1所示）。具體來說，參數調整對齊需要在預訓練、監督微調、人類反饋學習和下游微調過程中調整模型參數以增強英語和目標語言之間的對齊。參數凍結對齊指的是通過跨語言提示實現的對齊，無需調整參數。最后，我們指出了一些潛在的前沿領域以及MLLMs面臨的相應挑戰，希望激發后續研究（§5）。

本工作的貢獻可以總結如下：（1）首次綜述：據我們所知，我們是第一個根據多語言對齊在MLLMs文獻中提出全面綜述的；（2）新分類法：我們引入了將MLLMs分類為參數凍結和參數調整兩種對齊類型的新分類法，為理解MLLMs文獻提供了統一視角；（3）新前沿：我們討論了一些新興的前沿，并突出了它們的挑戰和機遇，希望為未來研究的發展鋪路；（4）詳盡資源：我們首次嘗試組織MLLMs資源，包括開源軟件、多樣的語料庫和相關出版物的精選列表，可在//multilingual-llm.net訪問。 我們希望這項工作能成為研究者的寶貴資源，并激發未來研究的更多突破。

如圖4所示，我們引入了一種新的分類法，包括參數調整對齊（§4.1）和參數凍結對齊（§4.2），旨在為研究人員提供一個統一的視角，以理解MLLMs文獻。具體來說，參數調整對齊（PTA）包括一系列逐步進階的訓練和對齊策略，包括預訓練對齊、監督微調（SFT）對齊、人類反饋學習（RLHF）對齊，以及最終的下游微調對齊。這些階段的共同目標是系統地優化模型參數，以對齊多語言性能。相反，參數凍結對齊（PFA）側重于基于PTA的四種提示策略：直接提示、代碼切換提示、翻譯對齊提示和檢索增強對齊。這種方法保持原始模型參數，以實現預期結果。

近期在基礎模型上的發展，如大型語言模型（LLMs）和視覺-語言模型（VLMs），它們基于大量數據訓練，促進了跨不同任務和模態的靈活應用。它們的影響覆蓋了多個領域，包括健康護理、教育和機器人技術。本文提供了基礎模型在現實世界機器人應用中的概覽，主要強調在現有機器人系統中替換特定組件。總結包括了基礎模型中輸入輸出關系的視角，以及它們在機器人技術領域內的感知、運動規劃和控制中的作用。本文最后討論了實際機器人應用面臨的未來挑戰和含義。

近期在人工智能領域的進步顯著擴展了機器人的操作能力，使它們能夠承擔多種多樣的活動【1-5】。雖然最初機器人的部署主要限于大規模生產環境【6-11】，但現在工業機器人的適用性已經擴展到小批量和高多樣性生產領域，包括室內空間和災難現場【12-15】。這種擴散不僅僅限于環境多樣性的增加；它還擴展到了任務范圍的擴大，包括日常活動，如整理【16-18】、洗滌【19,20】、擦拭【21,22】和烹飪【23,24】。機器學習為滿足這些機器人系統的需求提供了一種方式。然而，僅僅在特定領域數據上訓練每個模型對于多樣的機器人、任務和環境來說是不夠的。越來越多地需要開發可以使用單一的、預訓練的系統或模塊應用于各種機體、任務和環境的機器人。 解決這一挑戰的一個方案是引入基礎模型【25】。基礎模型是在大量數據上訓練的模型，可以通過上下文學習、微調或甚至零樣本的方式輕松應用于廣泛的下游任務【26,27】。顯著的例子包括大型語言模型（LLMs）如GPT【27】和視覺-語言模型（VLMs）如CLIP【28】，其中語言是結合各種類型模態的粘合劑。這些基礎模型的影響是顯著的，有幾篇綜述文章討論了它們在不同領域的影響【29-32】。Wang等人【29】和Zeng等人【30】進行了關于大型語言模型在機器人學中應用的綜述，而Firoozi等人【31】和Hu等人【32】進行了更廣泛的綜述，關注于基礎模型在機器人學中的應用。在本文中，我們總結了基礎模型對現實世界機器人的適用性，旨在加速它們在實際機器人應用中的采用。與其他綜述文章相比，我們提供了如何從基礎模型的輸入輸出關系以及機器人學中的感知、運動規劃和控制的角度，用基礎模型替換現有機器人系統中的特定組件的總結。 本研究的結構如圖1所示。在第2節中，我們將描述基礎模型本身。特別地，我們將根據它們使用的模態類型，例如視覺【33,34】、語言【35-41】等，以及它們可以應用的下游任務類型進行分類。在第3節中，我們將基于當前應用【2,3,42】描述如何將基礎模型應用于機器人學。一般來說，機器人需要配備感知模塊、規劃模塊和控制模塊。從這個角度，我們分類了可以將基礎模型應用于現實世界機器人學的方式，包括低級感知、高級感知、高級規劃和低級規劃。此外，我們還將解釋在訓練直接連接低級感知和低級規劃的映射時，對機器人學的數據增強。在第4節中，我們將描述包括機器人實體在內的基礎模型，即機器人基礎模型，包括關于如何就模型架構、數據集和學習目標制作這些機器人基礎模型的討論。在第5節中，我們將描述使用基礎模型的機器人、任務和環境。我們將任務分類為導航、操縱、帶有操縱的導航、運動和交流。最后，我們將討論未來的挑戰并提出我們的結論。

“基礎模型”一詞最初在【25】中被引入。在這項綜述中，我們將簡單描述在機器人應用中使用的基礎模型的類型，以及下游任務，將關于基礎模型本身的討論推遲到【25】。在2012年，深度學習因ILSVRC-2012比賽的獲勝模型而獲得機器學習社區的主流關注【43】。2017年，由【44】介紹的Transformer模型，促進了自然語言處理（NLP）【45】和計算機視覺【46】領域的重大進步。到2021年，一個經過大量數據訓練、能夠輕松應用于廣泛下游任務的模型被稱為“基礎模型”【25】。基礎模型的特點主要有三個：

上下文學習 * 規模定律 * 同質化

上下文學習使得僅用幾個例子就能完成新任務成為可能，無需重新訓練或微調。規模定律允許隨著數據、計算資源和模型大小的增加而持續提升性能。同質化允許某些基礎模型架構以統一的方式處理多種模態。 在這一章中，我們從在機器人學中的適用性的角度對基礎模型進行分類。機器人利用基礎模型的最關鍵標準是選擇使用哪些模態。本章從語言、視覺、音頻、3D表示和各種其他模態的角度討論了基礎模型的類型和它們可以執行的下游任務。在利用每種模態的背景下，我們進一步從網絡輸入和輸出的角度對基礎模型進行分類。概覽顯示在圖2中。請注意，我們的目標不是在這里全面覆蓋基礎模型；我們的重點仍然在于解決模態差異和基礎模型的分類。

通常，機器人的行為由感知、規劃和控制組成。在本研究中，我們將感知分為兩個類別：低級感知和高級感知。同時，我們將規劃和控制分別稱為高級規劃和低級規劃。加上對學習這些組成部分的數據增強，我們將機器人對基礎模型的利用分為以下五個類別。 * 低級感知 * 高級感知 * 高級規劃 * 低級規劃 * 數據增強

這些類別之間的關系如圖3所示。用于低級感知的基礎模型包括在圖像或3D表示中的語義分割和邊界框提取，以及在各種模態中的特征提取。用于高級感知的基礎模型涉及將從低級感知獲得的結果轉換和利用成如地圖、獎勵和運動約束等形式。用于高級規劃的基礎模型執行更高級別的抽象任務規劃，不包括直接控制。用于低級規劃的基礎模型執行較低級別的運動控制，包括關節和末端執行器控制。用于數據增強的基礎模型在執行連接低級感知和低級規劃的學習時，通過數據增強增強魯棒性。 在實踐中，通過組合這五種利用方法創建了各種應用。主要分為四種類型，如圖4所示。 (i) 進行低級感知，然后用高級規劃規劃行為。 (ii) 通過低級感知和高級感知提取獎勵和運動約束，并用于強化學習和軌跡優化。 (iii) 通過低級感知和高級感知生成地圖、場景圖等，并將它們作為任務規劃的基礎。 (iv) 使用數據增強，穩健地進行直接關聯低級感知的特征提取和控制輸入的端到端學習。 值得注意的是，也有一些研究方法不適用于這一框架。 從這些角度出發，我們選取了幾篇具有代表性的論文并在表1中進行了總結。

在快速發展的自然語言生成（NLG）評估領域中，引入大型語言模型（LLMs）為評估生成內容質量開辟了新途徑，例如，連貫性、創造力和上下文相關性。本綜述旨在提供一個關于利用LLMs進行NLG評估的全面概覽，這是一個缺乏系統分析的新興領域。我們提出了一個連貫的分類體系來組織現有的基于LLM的評估指標，提供了一個結構化的框架來理解和比較這些方法。我們的詳細探索包括批判性地評估各種基于LLM的方法論，以及比較它們在評估NLG輸出時的優勢和局限性。通過討論尚未解決的挑戰，包括偏見、穩健性、領域特定性和統一評估，本綜述旨在為研究人員提供洞見，并倡導更公平、更先進的NLG評估技術。

自然語言生成（NLG）處于現代AI驅動通信的前沿，近期在大型語言模型（LLMs）方面的進展徹底改變了NLG系統的能力（Ouyang et al., 2022; OpenAI, 2023）。這些模型，依靠深度學習技術和大量的訓練數據，展現出在廣泛應用中生成文本的卓越能力。隨著NLG技術的快速發展，建立可靠的評估方法以準確衡量生成內容的質量變得越來越重要。

傳統的NLG評估指標，如BLEU（Papineni et al., 2002）、ROUGE（Lin, 2004）和TER（Snover et al., 2006），主要關注表面層面的文本差異，通常在評估語義方面存在不足（Freitag et al., 2020）。這一局限性已被指出阻礙了研究進展，并可能導致誤導性的研究結論。此外，其他使用神經嵌入來計算分數的方法（Liu et al., 2016; Sellam et al., 2020; Zhang et al., 2020），盡管在評估諸如語義等價性和流暢性方面有所考慮，但它們的靈活性有限，適用范圍受限（Freitag et al., 2021a）。此外，這些傳統方法與人類判斷的一致性較低（Liu et al., 2023c），且對分數的解釋性不足（Xu et al., 2023）。這些缺點突顯了NLG領域需要更細膩和全面的評估方法的需求。

大型語言模型（LLMs）涌現的能力為基于LLM的NLG評估提供了有前景的途徑，例如Chain-of-Thought（CoT）（Wei et al., 2022b）、零次學習指令跟隨（Wei et al., 2022a）、更好地與人類偏好相一致（Ouyang et al., 2022）等。這些特性使LLMs成為評估NLG輸出的有力工具，與傳統方法相比提供了更為復雜和更好地與人類一致的評估（Liu et al., 2023c；Kocmi and Federmann, 2023；Fu et al., 2023）。例如，LLMs可以生成合理的解釋來支持最終評分（Xu et al., 2023），而利用人類反饋的強化學習（RLHF）可以使LLMs的偏好更好地與人類一致（Ouyang et al., 2022；Zheng et al., 2023）。如圖1所示，這些方法的關鍵策略涉及指示LLMs使用提示來從不同方面評估生成的文本，無論是否有參考資料和來源。然而，眾多基于LLM的NLG評估方法，針對不同的任務和目標，缺乏統一的概述。

鑒于LLMs在NLG評估領域的工作量不斷增加，迫切需要一個綜合總結來導航這一領域內的復雜性和多樣化方法。本綜述旨在提供這一有前景領域的全面概述，呈現一個用于組織現有工作的連貫分類體系。我們詳細勾勒了關鍵研究及其方法論，并深入分析了這些方法的各種優點、局限性和獨特屬性。此外，我們探索了該領域內尚未解決的挑戰和開放性問題，從而為未來的學術探索勾畫出潛在的途徑。這一全面探索旨在激發讀者對LLM在NLG評估中方法的細微差別和不斷變化的動態有深入的了解。

本綜述的組織：我們呈現了利用LLMs進行NLG評估的首個全面綜述。首先，我們建立了NLG評估的正式框架，并提出了一個分類體系來分類相關工作（第2節）。隨后，我們深入并詳細闡述這些工作（第3節）。此外，我們對評估LLM評估者有效性的各種元評估基準進行了系統回顧（第4節）。鑒于這一領域的快速發展，我們確定并討論了一些可能指導未來研究的潛在開放問題（第5節）。在結束這一系統綜述時，我們倡導通過開發更公正、更穩健、更專業和統一的基于LLM的評估者來推動這一領域的發展。此外，我們強調整合其他評估方法，如人類判斷，以實現更全面和多面的評估框架。

在大型語言模型（LLMs）迅速發展的背景下，越來越多的研究將重點放在利用這些模型作為NLG任務的評估者。這種關注特別源于LLMs的高容量生成能力，導致出現了使用它們來對NLG文本進行質量評估的工作——我們將這種范式稱為生成性評估。這一類別大致分為基于提示的評估和基于微調的評估，其核心在于LLM評估者的參數是否需要微調。基于提示的評估通常涉及使用精心設計的提示指導強大的基礎LLMs來評估生成的文本。另一方面，基于微調的評估依賴于專門為NLG評估校準的開源LLMs。這兩種方法都適用于不同的評估協議，用于衡量生成文本的質量。

當前方法考慮不同的評分協議來判斷生成假設文本的質量。一些嘗試部署LLM評估者產生連續的標量分數，代表單個生成文本的質量——稱為? 基于分數的評估。其他方法計算基于提示、來源或參考文本（可選）的生成文本的生成概率作為評估指標，稱為? 基于概率的評估。在多樣化的領域中，某些工作將NLG評估轉化為分類任務，使用類似李克特量表的多級別對文本質量進行分類。在這種情況下，LLM評估者通過將生成的文本分配到特定的質量級別來評估其質量——稱為? 李克特風格評估。同時，? 成對比較方法涉及使用LLM評估者比較一對生成文本的質量。此外，? 組合評估方法利用多個不同LLMs或提示的LLM評估者，協調評估者之間的溝通以產生最終評估結果。最后，一些最新的研究探索了? 高級評估方法（考慮細粒度標準或結合連續思考或上下文學習的能力），旨在獲得更全面和細致的評估結果。

本節深入探討了這兩個主要類別的評估方法，每種方法都伴隨其相應的評估協議。表2提供了當前基于提示和基于微調評估方法的全面概述。該表詳細說明了它們各自的適應任務、基礎模型、評分協議和評估方面，以便于清晰參考。

基于LLM的評估者已在多種NLG任務中找到應用。與此同時，眾多現有和近期引入的元評估基準用于驗證這些評估者的有效性。這些基準包括了對生成文本質量的人類注釋，以及評估自動評估者和人類偏好之間一致性的程度。根據涉及的任務，這些基準可以被分類為單一場景示例，如機器翻譯和摘要，以及多場景基準。本節將提供這些NLG任務及其相關元評估基準的概述。

結論

在本綜述中，我們詳盡地調查了LLMs在NLG評估中的作用。我們全面的分類體系按三個主要維度對作品進行分類：評估功能、評估參考和評估任務。這個框架使我們能夠系統地分類和理解基于LLM的評估方法論。我們深入探討了各種基于LLM的方法，審視它們的優勢并比較它們的差異。此外，我們總結了NLG評估的普遍元評估基準。

在我們的研究中，我們強調了這一快速發展領域的進步和現存挑戰。盡管LLMs在評估NLG輸出方面提供了開創性的潛力，但仍有一些未解決的問題需要關注，包括偏見、穩健性、混合評估方法的整合，以及LLM評估者內部對特定領域和統一評估的需求。我們預計，解決這些挑戰將為更通用、有效和可靠的NLG評估技術鋪平道路。這樣的進步將顯著促進NLG評估的發展以及LLMs的更廣泛應用。

大型語言模型（LLMs）在自然語言處理方面展示了令人印象深刻的能力。然而，它們的內部機制仍然不清楚，這種不透明性對下游應用帶來了不希望的風險。因此，理解和解釋這些模型對于闡明它們的行為、局限性和社會影響至關重要。在本文中，我們引入了可解釋性技術的分類體系，并提供了關于解釋基于Transformer的語言模型方法的結構化概述。我們根據LLMs的訓練范式對技術進行分類：傳統的微調范式和基于提示的范式。對于每個范式，我們總結了生成個體預測的局部解釋和總體模型知識的全局解釋的目標和主要方法。我們還討論了用于評估生成解釋的度量標準，并討論了如何利用解釋來調試模型和提高性能。最后，我們比較了LLMs時代解釋技術面臨的關鍵挑戰和新興機會與傳統機器學習模型。

大型語言模型（LLMs），如BERT（Devlin等，2019a）、GPT-3（Brown等，2020）、GPT-4（Bubeck等，2023）、LLaMA-2（Touvron等，2023b）和Claude（AnthropicAI，2023），在各種自然語言處理（NLP）任務中展示出了令人印象深刻的性能。主要科技公司，如微軟、谷歌和百度，已在其商業產品和服務中部署了LLMs以增強功能。例如，微軟利用GPT-3.5來改善新Bing的搜索相關性排名（Mehdi，2023）。由于LLMs通常是復雜的“黑盒子”系統，其內部工作機制是不透明的，高復雜性使模型解釋變得更加具有挑戰性。這種模型不透明性的缺乏有時會導致生成有害內容或幻覺的產生（Weidinger等，2021）。因此，開發解釋能力以揭示這些強大模型的工作方式至關重要。

可解釋性指的是以人類可理解的方式解釋或呈現模型行為的能力（Doshi-Velez和Kim，2017；Du等，2019a）。提高LLMs的可解釋性至關重要，有兩個關鍵原因。首先，對于一般終端用戶，可解釋性通過以可理解的方式闡明模型預測背后的推理機制來建立適當的信任，無需技術專業知識。通過這種方式，終端用戶能夠理解LLMs的能力、局限性和潛在缺陷。其次，對于研究人員和開發人員，解釋模型行為提供了洞察力，以識別意外偏見、風險和性能改進的領域。換句話說，可解釋性充當了一個調試輔助工具，可以快速提高下游任務上的模型性能（Strobelt等，2018；Bastings等，2022；Yuksekgonul等，2023）。它有助于追蹤模型能力隨時間的變化，進行不同模型之間的比較，并開發可靠、道德和安全的模型，以供實際部署使用。 由于LLMs的獨特屬性，其可解釋性技術與傳統機器學習（ML）模型的技術有所不同。LLMs和傳統ML模型之間的差異可以歸因于多個方面。從數據的角度來看，ML模型以監督方式依賴人工構建的特征，而LLMs旨在自動從原始輸入數據中學習特征（Chai和Li，2019）。解釋LLMs捕捉了哪些特征以及這些特征中包含了什么知識是重要的。從模型的角度來看，傳統ML模型通常是針對具體任務設計的，具有不同的模型架構（Liu和Sun，2023）。相比之下，經過廣泛數據集的預訓練的LLMs可以通過微調泛化到各種下游任務（Yang等，2023）。此外，LLMs的注意力機制已被廣泛用于通過為輸入的相關部分分配更高的值來確定輸入的重要性（Hu，2020）。由于注意力權重中編碼的知識和模式可能提示了模型的理解，注意力權重可以被認為是精細調校模型的另一個重要解釋標準。此外，由于LLMs的性能更好，還應進一步研究transformer的組件，包括神經元、層和模塊，學到了什么以及它們是否有不同的功能。從應用的角度來看，傳統ML模型專注于低級模式識別任務，如解析和形態分析，而LLMs可以處理高級推理任務，如回答問題和常識推理（Lauriola等，2022）。特別是，理解LLMs在上下文學習和思維鏈提示以及幻覺現象方面的獨特能力對于解釋和改進模型至關重要。為了更好地理解和改進LLMs，有必要回顧和總結專為LLMs定制的解釋技術。 在本文中，我們提供了一種解釋基于Transformer的語言模型的方法的全面概述。在第2節中，我們介紹了應用LLMs的兩個主要范式：1）傳統的下游微調范式和2）提示范式。基于這一分類，我們在第3節中回顧了適用于微調LLMs的解釋方法，并在第4節中回顧了適用于提示LLMs的解釋方法。在第5節中，我們討論了解釋方法的評估。最后，在第6節中，我們進一步討論了與傳統機器學習模型相比解釋LLMs所面臨的研究挑戰，并提供了有關潛在未來研究方向的見解。本文旨在全面整理關于解釋復雜語言模型的最新研究進展。 LLMs的訓練范式

LLMs的訓練可以基本分為兩個范式，傳統微調和提示，根據它們如何用于適應下游任務。由于這兩個范式之間存在重大區別，因此分別提出了各種類型的解釋（如圖1所示）。 傳統微調范式

在這個范式中，首先對語言模型進行了大規模無標簽文本數據的預訓練，然后在特定下游領域的一組標記數據上進行微調，例如GLUE基準測試中的SST-2、MNLI和QQP（Wang等人，2019）。在微調過程中，很容易在語言模型的最終編碼器層上方添加完全連接的層，使其適應各種下游任務（Rogers等人，2021）。這個范式已經在包含多達十億參數的中型語言模型上取得了成功。例如，包括BERT（Devlin等人，2019a）、RoBERTa（Liu等人，2019）、ELECTRA（Clark等人，2020）、DeBERTa（He等人，2021）等。對于這個范式的解釋重點在于兩個關鍵領域：1）理解自監督預訓練如何使模型獲得語言的基礎理解（例如句法、語義和上下文關系）；以及2）分析微調過程如何賦予這些預訓練模型有效解決下游任務的能力。

**提示范式 **

提示范式涉及使用提示，例如自然語言句子中的空白，以便模型填充，實現零樣本學習或少樣本學習，而無需額外的訓練數據。根據其開發階段，這個范式下的模型可以分為兩種類型： 基礎模型：隨著LLMs的規模和訓練數據的增加，它們展示了令人印象深刻的新能力，無需額外的訓練數據。其中一種能力是通過提示實現少樣本學習。這種類型的范式通常適用于大規模語言模型（擁有數十億參數）（例如GPT-3（Brown等人，2020）、OPT（Zhang等人，2022b）、LLaMA-1（Touvron等人，2023a）、LLaMA-2（Touvron等人，2023b）、Falcon（Almazrouei等人，2023））。這些模型被稱為基礎模型或基礎模型，它們可以與用戶進行對話，無需進一步與人類喜好對齊。大規模模型通常適用于這種范式，規模超過10億。例如，LLaMA-2（Touvron等人，2023b）擁有高達700億個參數。基礎模型的解釋旨在理解模型如何學習在回應提示時利用其預訓練知識。 助手模型：基礎模型存在兩個主要限制：1）它們不能按照用戶的指令進行操作，因為預訓練數據包含少量指令-響應示例，2）它們傾向于生成有偏見和有毒的內容（Carlini等人，2023）。為了解決這些限制，基礎模型通過監督微調進一步進行微調（見圖2），以實現人類級別的能力，例如開放域對話。關鍵思想是通過將模型的響應與人類反饋和喜好對齊來實現。這個過程最典型的方式是通過（提示，響應）演示對和來自人類反饋的強化學習（RLHF）進行指導調整。模型通過自然語言反饋進行訓練，以進行復雜的多輪對話。屬于這一類別的模型包括OpenAI的GPT-3.5和GPT4（Bubeck等人，2023）、Anthropic的Claude（AnthropicAI，2023）以及一些開源模型，如Meta的LLaMA-2-Chat（Touvron等人，2023b）、Alpaca（Taori等人，2023）和Vicuna（Chiang等人，2023）。這些模型也可以稱為助手模型、聊天助手或對話模型。助手模型的解釋重點在于理解模型如何從對話中學習開放式互動行為。

**傳統微調范式的解釋 **

在本節中，我們回顧了針對采用預訓練和下游微調范式訓練的LLMs的解釋技術。首先，我們介紹了提供局部解釋（第3.1節）和全局解釋（第3.2節）的方法。在這里，局部解釋旨在提供對語言模型如何對特定輸入實例進行預測的理解，而全局解釋旨在提供對LLM整體工作方式的廣泛理解。接下來，我們討論了如何利用解釋來調試和改進模型（第3.3節）。

局部解釋

解釋的第一類別涉及解釋LLMs生成的預測。讓我們考慮這樣一種情景，我們有一個語言模型，并將特定文本輸入模型。模型隨后產生分類輸出，例如情感分類或下一個標記的預測。在這種情景下，解釋的作用是闡明模型生成特定分類或標記預測的過程。由于目標是解釋LLM如何為特定輸入做出預測，我們將其稱為局部解釋。這個類別包括四個主要方法流，包括基于特征歸因的解釋、基于注意力的解釋、基于示例的解釋和自然語言解釋。

**全局解釋 **

不同于旨在解釋模型的個體預測的局部解釋，全局解釋有助于從模型的角度理解LLMs的工作方式。全局解釋旨在理解個體組件（神經元、隱藏層和較大模塊）編碼了什么，以及解釋了個體組件所學習的知識/語言屬性。我們考察了三種主要的全局解釋方法：探測方法，用于分析模型表示和參數；神經元激活分析，用于確定模型對輸入的響應性；以及基于概念的方法。

**提示范式的解釋 **

在本節中，我們介紹了解釋屬于提示范式的模型的技術，包括1）解釋基礎模型，如LLaMA-2（第4.1節），2）解釋助手模型，如LLaMA-2-Chat（第4.2節），以及3）如何利用LLMs的推理和解釋能力生成用戶友好的解釋（第4.3節）。

基礎模型解釋

隨著語言模型的規模增大，它們展示出了新的能力，如少樣本學習，即僅從少量示例中學習概念的能力。它們還展示了一種思維鏈（CoT）提示能力。鑒于這些新興屬性，解釋性研究有三個主要目標：1）研究提供解釋是否實際有助于模型自身更快地從僅有少量示例中“理解”新任務，2）理解這些大型語言模型如何能夠迅速從有限示例中掌握新任務，從而幫助終端用戶解釋模型的推理，以及3）解釋思維鏈提示。

**助手模型解釋 **

由于大規模無監督預訓練和有監督對齊微調，屬于這一范式的LLMs具有強大的推理能力。然而，它們的巨大規模也使它們容易生成問題輸出，如幻覺。解釋性研究旨在：1）闡明對齊微調的作用，2）分析幻覺產生的原因。

結論

在本文中，我們提供了對LLMs的可解釋性技術的全面概述。我們總結了基于模型訓練范式的局部和全局解釋方法。我們還討論了如何利用解釋來改進模型、評估以及主要挑戰。未來的重要發展選項包括開發針對不同LLMs的解釋方法、評估解釋的忠實性，以及提高人類可解釋性。隨著LLMs的不斷進步，可解釋性將變得極其重要，以確保這些模型具有透明性、公平性和益處。我們希望這份調查為這一新興研究領域提供了有用的組織，同時突顯了未來工作的開放性問題。

知識圖譜嵌入是監督學習模型，學習帶標簽、有向多圖的節點和邊的向量表示。我們描述了它們的設計原理，并解釋了為什么它們在圖表示學習和更廣泛的NLP社區中受到越來越多的關注。我們強調了它們的局限性、開放的研究方向和真實世界的用例。除了理論概述之外，我們還提供了一個handson會議，在那里我們展示了如何在實踐中使用這些模型。