亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要—大型語言模型（LLMs）在廣泛的任務中展現出了卓越的能力，但在專業領域的應用仍面臨挑戰，主要原因在于需要深厚的領域專業知識。檢索增強生成（RAG）作為一種有前景的解決方案，通過無縫集成外部知識庫，使大型語言模型能夠在推理過程中實時訪問領域特定的專業知識，從而實現定制化。然而，傳統基于平面文本檢索的RAG系統面臨三個關鍵挑戰：（i）專業領域中復雜的查詢理解，（ii）跨分布式源的知識整合困難，和（iii）大規模下的系統效率瓶頸。本綜述提出了一種系統性的分析，重點討論了基于圖的檢索增強生成（GraphRAG），這是一種通過圖結構革命性地改變領域特定大型語言模型應用的新范式。GraphRAG通過三項關鍵創新解決了傳統RAG的局限性：（i）圖結構的知識表示，顯式捕捉實體關系和領域層次，（ii）高效的基于圖的檢索技術，支持多跳推理的上下文保持型知識檢索，和（iii）結構感知的知識整合算法，通過利用檢索到的知識進行準確且邏輯連貫的LLM生成。本文對GraphRAG的技術基礎進行了系統分析，并考察了在多個專業領域中的現有實現，識別了關鍵的技術挑戰和有前景的研究方向。所有與GraphRAG相關的資源，包括研究論文、開源數據和項目，已匯集在//github.com/DEEP-PolyU/Awesome-GraphRAG供社區使用。

關鍵詞—檢索增強生成，知識圖譜，大型語言模型，GraphRAG

I. 引言

大型語言模型（LLMs），如GPT系列 [1]，憑借其在廣泛任務中的卓越能力，令世界為之一驚，在文本理解 [2]、問答 [3] 和內容生成 [4]–[6] 等領域取得了突破性進展。然而，盡管LLMs在許多任務上表現出色，它們在處理需要領域專業知識的知識密集型任務時仍面臨批評 [7]。具體而言，LLMs在專業領域中的應用仍然面臨三大挑戰： ? 知識局限性：LLMs的預訓練知識廣泛，但在專業領域中較為淺薄。它們的訓練數據主要來自通用領域內容，導致在專業領域的知識深度不足，并且可能與當前的領域特定標準和實踐存在不一致。 ? 推理復雜性：專業領域要求精確的多步驟推理，涉及領域特定的規則和約束。LLMs往往難以在擴展的推理鏈中保持邏輯一致性和專業準確性，尤其是在處理技術約束或領域特定協議時。 ? 上下文敏感性：專業領域通常涉及依賴于上下文的解釋，相同的術語或概念在特定情況下可能具有不同的含義或影響。LLMs往往無法捕捉這些細微的上下文差異，導致潛在的誤解或不當概括。 為了將LLMs適配到特定或私有領域，最初的策略是通過使用專業數據集對LLMs進行微調 [8]。這種方法通過增加有限的參數并固定預訓練中學習到的參數來提高性能 [9]。然而，領域特定數據集與預訓練語料庫之間的顯著分布差距使得LLMs在不妥協現有理解的情況下整合新知識變得困難 [10]。谷歌研究的一項最新研究進一步突出了使用監督微調更新知識的風險，特別是在新知識與已有信息沖突時；通過監督微調獲取新知識可能導致模型生成新的幻覺，甚至遭遇嚴重的災難性遺忘 [11]。 檢索增強生成（RAG） 提供了一個有前景的解決方案來定制LLMs以適應特定領域 [12]。RAG并不是通過重新訓練LLMs來整合更新，而是通過利用外部知識庫增強這些模型，無需修改其架構或參數。這種方法使LLMs不僅能利用其預訓練知識，還能實時檢索領域特定信息，從而生成更加準確和可靠的回答。傳統的RAG系統通過三個關鍵步驟進行操作：知識準備、檢索和整合。在知識準備階段，外部資源（如文檔、數據庫或網頁）被分割成可管理的文本塊，并轉換為向量表示以便高效索引。在檢索階段，當用戶提交查詢時，系統通過關鍵詞匹配或向量相似度度量來搜索相關的文本塊。整合階段將這些檢索到的文本塊與原始查詢結合，以生成用于LLM響應的知情提示。近年來，一些先進的RAG系統已經超越了簡單的文本塊檢索，提供了更為復雜的知識增強方法。這些方法包括：通過多級檢索保持文檔結構的層次化RAG [13][14]，實施兩階段檢索以提高召回率和精確度的重排序系統 [15][16]，自動分解復雜查詢的自查詢RAG [17]，以及根據查詢類型動態調整檢索策略的自適應RAG [18][19]。這些先進的RAG系統通過提升上下文感知能力、檢索準確性，并更有效地處理復雜查詢，旨在克服傳統RAG方法的局限性。 RAG的出現為定制LLMs提供了一個有前景的方法，但盡管如此，RAG仍面臨若干關鍵限制，影響其在實際應用中的效果。這些限制可大致分為四個主要挑戰，顯著影響RAG增強的LLMs的性能和實用性。主要挑戰在于復雜查詢理解。專業領域通常涉及復雜的術語和行業特定的行話，需要精確的解釋 [20]。這些領域中的用戶查詢通常包含大量技術性術語和行業特有的表達，解決方案往往需要跨多個相關概念進行推理。傳統的RAG方法依賴于簡單的關鍵詞匹配和向量相似度技術，這些方法無法有效捕捉準確和全面的深層語義差異和多步驟推理過程 [21]。例如，當詢問概念A與概念D之間的關系時，這些系統通常只檢索直接相關的信息，而忽略了可能橋接這一關系的關鍵中介概念，如B和C。這種狹隘的檢索范圍限制了RAG對廣泛上下文理解和復雜推理的能力。 另一個關鍵挑戰是從分布式來源整合領域知識。領域知識通常來自不同的資源，如教科書、研究論文、行業報告、技術手冊和維護日志。這些文本文檔可能具有不同的質量、準確性和完整性。檢索到的知識通常是平坦的、廣泛的且復雜的，而領域概念通常分散在多個文檔中，且不同概念之間缺乏清晰的層次關系 [7][22][23]。盡管RAG系統通過將文檔分割成較小的塊以便高效索引來管理這種復雜性，但這種方法不經意間犧牲了重要的上下文信息，顯著妥協了檢索準確性和上下文理解能力。這一限制妨礙了在相關知識點之間建立穩固聯系，導致理解片面，進而降低了領域專業知識的利用效果。 第三個限制來自LLMs固有的限制。盡管RAG系統可以從龐大的知識庫中檢索相關信息，但LLM處理這些信息的能力受限于其固定的上下文窗口（通常為2K-32K個token） [1][24]。復雜文檔中的長程依賴關系無法完全捕捉，因為超出上下文窗口的內容必須被截斷或總結，這會打斷自然的語義單元和邏輯流程。在專業領域中，保持跨廣泛知識背景的一致性變得更加棘手，因為在上下文窗口截斷過程中，關鍵信息可能會丟失。這一固有限制直接影響了系統從大規模知識庫中處理和綜合信息的能力。 最后的挑戰與系統效率和可擴展性有關。整個RAG管道——從初步的語料預處理和索引到實時檢索和生成——面臨顯著的效率瓶頸 [25][26]。外部知識庫中包含大量與領域無關的信息，而領域特定的術語通常在這些文檔中分布稀疏。RAG系統計算成本高且耗時 [25]，特別是在處理大規模知識源時，因為模型需要搜索大量未結構化的文本以尋找相關信息。此外，實時檢索和跨文檔推理可能引入相當大的延遲，影響用戶體驗。隨著知識庫規模的增長，RAG的可擴展性受到檢索質量和準確性的下降限制 [26]，這進一步限制了其在廣泛且動態的專業環境中的實際部署。 為了應對這些限制，圖檢索增強生成（GraphRAG）作為一種新范式應運而生，旨在通過組織良好的背景知識和改進的上下文推理定制LLMs [25][27]–[29]。基于圖結構，現有的GraphRAG模型可分為三大類：? 基于知識的GraphRAG，將圖作為知識載體；? 基于索引的GraphRAG，使用圖作為索引工具，從語料庫中檢索相關的原始文本；? 混合型GraphRAG，結合了基于知識和基于索引框架的優勢，為復雜推理任務提供了更先進的解決方案。基于知識的GraphRAG和基于索引的GraphRAG代表了兩種不同的增強LLMs的圖結構方法。基于知識的GraphRAG側重于將非結構化文本文檔轉化為明確且結構化的知識圖譜，其中節點表示領域概念，邊表示它們之間的語義關系，從而更好地表示層次關系和復雜的知識依賴性。相比之下，基于索引的GraphRAG保持原始文本形式，同時主要利用圖結構作為索引機制來高效地組織和檢索相關文本塊。通過將圖結構融入文本索引，基于索引的GraphRAG方法在文本塊之間建立語義連接，便于高效的查找操作和檢索。雖然基于知識的GraphRAG強調通過圖轉換明確建模領域知識和語義關系，而基于索引的GraphRAG則優先優化信息檢索和通過圖形索引策略提升文本信息的可訪問性。這兩種方法在目的上有所不同：基于知識的GraphRAG旨在通過圖結構推理能力創建結構化的知識表示，幫助更好地理解復雜關系；而基于索引的GraphRAG則側重于通過圖結構索引策略優化相關文本信息的檢索和可達性。 在本文中，我們系統地分析了GraphRAG的技術基礎，并考察了在各個專業領域中的當前實現，識別了關鍵的技術挑戰和有前景的研究方向。所有與GraphRAG相關的資源，包括研究論文、開源數據和項目，已匯集在

本綜述對GraphRAG進行了全面分析，詳細介紹了其分類、機制、挑戰和未來的研究方向，并將內容組織為七個主要部分，逐步從基礎概念到實際應用展開。具體來說，我們在第二部分（Section 2 II）首先建立了基礎框架，追溯了GraphRAG從傳統RAG系統的演變，探討了RAG在處理結構化知識時的局限性，并介紹了GraphRAG在復雜推理任務中的核心概念和優勢。接下來的三部分系統地探討了GraphRAG系統的關鍵組件：包括知識承載圖和索引圖（第三部分Section 3 IV）兩種主要的結構化知識組織范式；從結構化知識庫中提取與查詢相關的事實信息的檢索技術（第四部分Section 4 V）；以及有效地將檢索到的知識整合到LLM中的知識集成方法（第五部分Section 5 VI）。隨著向實際應用的推進，第六部分（Section 6 VIII）通過提供詳細的實施指南、回顧開源項目，并呈現由全面數據集和評估基準支持的領域特定案例研究，討論了GraphRAG的實施方面。最后，第七部分（Section 7 VII）通過識別未來的研究方向，并討論知識質量、檢索效率、系統泛化能力和安全性等潛在挑戰，結合實踐指導，總結了構建領域特定GraphRAG系統的建議。 本綜述在現有的綜述 [28]–[30] 基礎上進行了進一步擴展，采用了更加系統和全面的方法分析GraphRAG系統。盡管之前的綜述提供了Graph基索引、圖引導檢索和圖增強生成的基本工作流描述，我們引入了一個更為復雜且全面的分類法，將GraphRAG方法清晰地分為三類（基于知識的、基于索引的和混合型GraphRAG），從而提供了對該領域更加細致的理解。我們的綜述采用了更為系統的六部分結構，邏輯地從理論基礎到實踐應用展開，詳細探討了每個組成部分，包括知識組織范式、檢索技術和集成方法。

與之前的綜述不同，我們通過詳細回顧開源項目、領域特定案例研究以及提供全面的數據集和評估基準，提供了豐富的實踐指導。我們還對多個維度的挑戰和解決方案進行了更為深入的分析，包括知識質量、檢索效率、系統泛化能力和安全性問題。最后，盡管現有綜述廣泛討論了潛在應用，我們提供了更多基于實證證據和實施示例的可操作性見解，使我們的綜述成為在生產環境中部署GraphRAG系統的實踐者更具價值的資源。

摘要

本文綜述了在快速發展的領域中，如何通過強化學習（RL）增強大型語言模型（LLMs）的研究。強化學習是一種使LLMs能夠通過基于輸出質量的獎勵反饋來提高其性能的技術，從而生成更準確、一致、并在語境上更合適的回應。本文系統回顧了最新的強化學習增強LLMs的研究，試圖整合并分析這一快速發展的領域的研究成果，幫助研究人員理解當前的挑戰和進展。具體來說，我們：（1）詳細介紹了強化學習的基本原理；（2）介紹了流行的強化學習增強的大型語言模型；（3）回顧了基于獎勵模型的兩種廣泛使用的強化學習技術：來自人類反饋的強化學習（RLHF）和來自AI反饋的強化學習（RLAIF）；（4）探索了直接偏好優化（DPO）方法，這是一組繞過獎勵模型、直接使用人類偏好數據來調整LLM輸出以符合人類期望的方法。我們還將指出現有方法的挑戰和不足，并提出一些進一步改進的方向。

1. 引言

大型語言模型（Jiang et al., 2023; OpenAI, 2023; Dubey et al., 2024）是經過大規模文本數據預訓練的復雜語言模型，使其能夠對多種輸入生成連貫流暢的回應。然而，這些預訓練的大型語言模型的互動能力可能不一致，有時會產生雖然技術上正確，但可能有害、偏見、誤導或與用戶需求無關的回應。因此，在將其應用于各種自然語言任務之前，將預訓練大型語言模型的輸出與人類偏好對齊至關重要（Wang et al., 2023b; Wan et al., 2023; Sun et al., 2023c,b; Giray, 2023; Zhang, 2023; Long, 2023; Sun, 2023; Gao et al., 2023; Paranjape et al., 2023; Sun et al., 2023a; Diao et al., 2023; Wang et al., 2023a; Zhang et al., 2023b; Sun et al., 2023d; Liu et al., 2024d; Yao et al., 2024; Liu et al., 2024c; Lee et al., 2024; Kambhampati, 2024; Wang et al., 2024c）。 此前，將預訓練的大型語言模型的輸出與人類偏好對齊的廣泛采用的方法是監督微調（SFT）（Hu et al., 2021; Mishra et al., 2021; Wang et al., 2022; Du et al., 2022; Dettmers et al., 2023; Taori et al., 2023; Zhang et al., 2023a; Chiang et al., 2023; Xu et al., 2023; Peng et al., 2023; Mukherjee et al., 2023; Li et al., 2023; Ding et al., 2023; Luo et al., 2023; Wang et al., 2024d; Zhou et al., 2024）。這種方法通過（指令，答案）對進一步訓練LLMs，其中“指令”代表給模型的提示，“答案”是符合指令的目標輸出。SFT有助于引導LLMs生成符合特定特征或領域知識的回應，使得人類能夠與LLMs進行交互。盡管SFT有效，但它也有局限性：在訓練過程中，模型被限制為學習我們提供的特定答案，并且使用困惑度（PPL）等指標來懲罰同義詞的使用。一方面，這可能阻礙LLM的泛化能力，因為任務如寫作和總結有多種有效的表述方式。另一方面，它可能導致在與人類偏好對齊時表現不佳，因為訓練過程中沒有直接融入人類反饋。 為了緩解上述問題，采用了強化學習（RL）來將LLM的輸出與人類偏好對齊，強化學習過程可分為三個步驟：（1）首先，在微調之前，訓練一個獎勵模型（或獎勵函數），以近似人類偏好并為不同的LLM輸出評分；（2）然后，在每次微調迭代中，給定一個指令，LLM生成多個回應，每個回應都由訓練好的獎勵模型評分；（3）最后，使用強化學習的優化技術——策略優化，基于這些偏好評分更新LLM的權重，以改進預測。用強化學習微調LLM可以同時解決上述問題。一方面，強化學習不再限制模型僅學習一個特定答案，而是根據各種偏好評分調整LLM，獎勵任何有效且措辭恰當的回應。另一方面，獎勵模型被設計為近似人類偏好，從而使得可以直接在人工偏好上訓練，并增強LLM的創造力。 本文將整合強化學習（RL）在大型語言模型（LLMs）中的最新研究成果，試圖分析并總結這一快速發展的領域，幫助研究人員理解當前的研究進展、挑戰和前景。具體來說：

• 第二部分介紹強化學習（RL）的基本原理及關鍵術語，并概述強化學習如何適應LLM的管道。
• 第三部分介紹了強化學習增強的流行且強大的大型語言模型。
• 第四部分概述了基于人類反饋的強化學習（RLHF）的過程，這是一種將強化學習與人類反饋結合的訓練方法，用以將LLMs與人類的價值觀、偏好和期望對齊。
• 第五部分回顧了基于AI反饋的強化學習（RLAIF）的研究，RLAIF作為RLHF的有力補充，利用AI系統提供反饋，提供了可擴展性、一致性和成本效益的優勢。
• 第六部分分析了RLHF和RLAIF所面臨的挑戰。
• 第七部分討論了直接偏好優化（DPO）研究，這是一系列繞過獎勵模型、直接利用人類偏好數據將LLM輸出與人類期望對齊的方法。
• 第八部分總結了當前的挑戰，并討論了進一步改進的機會。

強化學習在大型語言模型中的應用

我們已經概述了強化學習（RL）的基本框架；現在，我們將深入探討如何使用RL微調大型語言模型（LLMs）的過程。此方法旨在將LLM與期望的行為對齊，提升其性能，并確保其輸出既有效又可靠。

在強化學習（RL）中，有六個關鍵組件：代理（Agent）、環境（Environment）、狀態（State）、動作（Action）、獎勵（Reward）和策略（Policy）。要將RL應用于微調大型語言模型（LLMs），第一步是將這些組件映射到LLM框架中。 LLMs在預測下一個詞元（next-token prediction）方面非常高效，它們將一系列詞元作為輸入，并根據給定的上下文預測下一個詞元。從RL的角度來看，我們可以將LLM本身視為策略（Policy）。當前的文本序列代表狀態（State），根據這個狀態，LLM生成一個動作（Action）——即下一個詞元。這個動作會更新狀態，形成一個新的狀態，其中包含新增的詞元。在生成完整的文本序列后，使用預訓練的獎勵模型來評估LLM輸出的質量，從而決定獎勵（Reward）。 圖2 展示了Ouyang等人（2022）提出的LLM強化學習框架。Ouyang等人（2022）首先使用通過監督學習訓練的指令微調模型，使其能夠生成結構化的響應。接著，Ouyang等人（2022）應用了以下兩個步驟： 步驟1：收集比較數據并訓練獎勵模型

Ouyang等人（2022）收集了一個數據集，包含指令微調模型輸出之間的比較，標注者指出對于給定輸入，他們更喜歡哪個輸出。然后，收集到的數據集用于訓練一個獎勵模型（Reward Model, RM），以預測人類偏好的輸出。 步驟2：使用PPO優化策略對抗獎勵模型

Ouyang等人（2022）將獎勵模型的輸出作為標量獎勵，并通過PPO算法（Schulman等人，2017）對指令微調模型進行微調，優化該獎勵。

強化學習增強的流行大型語言模型

近期流行的強大功能的大型語言模型（LLMs）幾乎都利用強化學習（RL）來進一步增強其在后期訓練過程中的表現。這些模型所采用的強化學習方法通常可以分為兩大類： 1. 傳統的RL方法，如基于人類反饋的強化學習（RLHF）和基于AI反饋的強化學習（RLAIF）。這些方法需要訓練一個獎勵模型，并且涉及復雜且通常不穩定的過程，使用如近端策略優化（PPO）（Schulman 等人，2017）等算法來優化策略模型。像InstructGPT（Ouyang 等人，2022）、GPT-4（OpenAI，2023）和Claude 3（Anthropic，2024）等模型都采用了這一方法。 1. 簡化的方法，如直接偏好優化（DPO）（Rafailov 等人，2024）和獎勵感知偏好優化（RPO）（Adler 等人，2024）。這些方法摒棄了獎勵模型，提供了一種穩定、性能強大且計算效率高的解決方案。像Llama 3（Dubey 等人，2024）、Qwen 2（Yang 等人，2024a）和Nemotron-4 340B（Adler 等人，2024）等模型都采用了這一方法。

在這一部分，我們將詳細描述每個模型，首先簡要概述這些強化學習增強的大型語言模型，并解釋強化學習如何在它們的后期訓練過程中應用。有關這些強化學習增強的LLMs的概覽見表1。

RLHF：基于人類反饋的強化學習

基于人類反饋的強化學習（RLHF）是一種訓練方法，它將強化學習（RL）與人類反饋相結合，以將大型語言模型（LLMs）與人類的價值觀、偏好和期望對齊。RLHF包含兩個主要組件： 1. 收集人類反饋以訓練獎勵模型：在人類評估者提供反饋時，他們通過根據質量、相關性等因素對LLM的輸出進行評分或排名。這些反饋隨后用于訓練一個獎勵模型，該模型用于預測輸出的質量，并作為RL過程中的獎勵函數。 1. 使用人類反饋進行偏好優化：訓練好的獎勵模型指導LLM輸出的優化，以最大化預測獎勵，從而使LLM的行為與人類的偏好對齊。

接下來，我們將通過近期的研究來闡述這兩個組件。

小型語言模型（SLMs）因其高效性和在執行各種語言任務時所需的計算資源較少，變得越來越重要，使它們非常適合于包括設備端、移動設備、邊緣設備等多種場景。在本文中，我們對小型語言模型進行了全面的綜述，重點介紹了它們的架構、訓練技術和模型壓縮技術。

我們提出了一種新的分類法，用于歸類優化SLMs的方法，包括模型壓縮、剪枝和量化技術。我們總結了適用于小型語言模型基準測試的標準數據集，以及常用的評估指標。此外，我們還強調了尚待解決的關鍵開放性挑戰。

本綜述旨在為有興趣開發和部署小型高效語言模型的研究人員和從業者提供寶貴的資源。

1 引言

盡管大型語言模型（LLMs）在廣泛的基準測試和現實場景中展示了出色的性能，它們的成功卻伴隨著顯著的成本。LLMs 的訓練和運行資源密集，需耗費大量計算和數據資源。這通常意味著它們的訓練和推理都需要在集中化和專業化的硬件上進行。

為了應對這些挑戰，越來越多的研究開始關注小型語言模型（SLMs）。小型語言模型的目標是保持大型語言模型的準確性和/或適應性，同時受到某些約束條件的限制，如訓練或推理硬件、數據可用性、帶寬或生成時間。提升模型在這些約束條件下的性能，可以幫助實現隱私保護、成本節約或在消費級設備上運行的目標。 對小型語言模型進行綜述的難點在于，“小型”和“大型”的定義是隨時間和上下文變化的。例如，GPT-2 在2019年作為一個擁有15億參數的“大型語言模型”，如今已經比本文綜述中許多所謂的“小型”語言模型要小。然而，雖然模型規模在變化，小型語言模型的訓練目標相對穩定。

在本綜述中，我們將探討支持構建和推理小型語言模型的架構、訓練和模型壓縮技術。此外，我們還總結了用于評估小型語言模型性能的基準數據集和常用的評估指標。為此，我們提出了一個新的分類法，用于沿著兩條主軸組織這些方法：

• 在小型語言模型的預處理（模型架構）、訓練和后處理（模型壓縮）中使用的技術；以及
• 該技術試圖優化的約束條件，如推理計算、訓練時間、速度等。

表1（技術）和表2（約束條件）展示了這些主軸的概覽。

需要注意的是，在任何一個目標上的進展不一定意味著在其他目標上也有進展。事實上，往往存在權衡。例如，量化感知訓練等內存高效的訓練方法（Dettmers等人，2022a，2024）通常比全精度方法更慢。然而，通過使用混合精度表示權重和梯度，它們允許使用更少的內存來進行訓練或微調。最后，雖然最近已經有幾篇關于大型語言模型及其學習方法的綜述（Rogers等，2020；Min等，2021；Zhu等，2023；Shen等，2023），但據我們所知，這是首篇專注于小型語言模型的綜述。

**綜述的組織結構

本綜述分為三個主要部分，每個部分都涵蓋了優化小型語言模型的關鍵方面。第2節關注模型架構，包括輕量化設計、高效的自注意力近似以及神經架構搜索以高效構建更小的模型。第3節涵蓋高效的預訓練和微調技術，以在資源受限的情況下提升小型語言模型的性能。第4節探討了模型壓縮技術，如剪枝、量化和知識蒸餾，它們可以在不顯著犧牲精度的情況下減少模型的大小和延遲。第5節提供了基準數據集和評估指標的概述，提供了評估這些方法有效性的綜合框架。第6節討論了小型語言模型所啟用的應用，按照約束條件進行分類。最后，第7節提出了針對小型語言模型的開放性挑戰討論。

**主要貢獻總結

本文的主要貢獻如下：

• 針對從業者提供了一篇全面的小型語言模型綜述。我們還綜述了文獻中提到的問題設置、評估指標和數據集。
• 我們引入了幾個直觀的小型語言模型分類法，并使用這些分類法對現有研究進行了綜述。
• 我們識別了小型語言模型的重要應用、開放問題和挑戰，為未來的研究提供了方向。

2 模型架構

本節討論了開發小型語言模型（SLMs）的架構設計。具體而言，我們涵蓋了輕量化架構（第2.1節）、高效自注意力近似（第2.2節）以及神經架構搜索（第2.3節）。

**2.1 輕量化架構

輕量化語言模型架構旨在通過減少參數量和計算開銷，實現高效性能，這對于在資源受限的設備（如手機、邊緣設備和嵌入式系統）上部署非常理想。代表性輕量化模型通常采用編碼器或解碼器的架構。 輕量化編碼器架構大多是BERT（Devlin等人，2019）的優化版本。例如，MobileBERT（Sun等人，2020）引入了一種倒瓶頸結構，以在自注意力和前饋網絡之間保持平衡，與基礎版BERT相比，實現了4.3倍的尺寸縮減和5.5倍的速度提升。DistilBERT（Sanh，2019）和TinyBERT（Jiao等人，2019）也分別實現了相似的優化。 輕量化解碼器架構遵循自回歸語言模型的結構，如GPT（Radford等人，2018，2019）和LLaMA系列（Touvron等人，2023b）。這些模型強調知識蒸餾、內存開銷優化、參數共享和嵌入共享，以增強效率和可擴展性。BabyLLaMA（Timiryasov和Tastet，2023a）和BabyLLaMA-2（Tastet和Timiryasov，2024）分別將多位教師模型的知識蒸餾到58M參數和345M參數的模型中，證明了在數據受限的情況下，蒸餾技術可以超越教師模型的性能。TinyLLaMA（Zhang等人，2024）僅有1.1B參數，通過優化內存開銷（例如使用FlashAttention，Dao等人，2022）實現了高效，同時在多種下游任務中保持了競爭力。MobilLLaMA（Thawakar等人，2024）應用了參數共享方案，減少了預訓練和部署成本，提出了一個適合資源受限設備的0.5B參數模型。MobileLLM（Liu等人，2024e）進一步引入嵌入共享和分組查詢注意機制，并通過分塊式權重共享降低了延遲。

**2.2 高效自注意力近似

部署大型語言模型的挑戰之一是自注意力層中的龐大參數量以及自注意力帶來的計算成本。本節討論了降低計算成本的策略，這些策略對于構建小型語言模型非常有用。 Reformer（Kitaev等人，2020）通過將點積注意力替換為使用局部敏感哈希的注意力，將自注意力的復雜度從O(N2)降低到O(N log N)。Roy等人（2021）使用了基于在線k-means聚類的稀疏路由模塊，減少了注意力計算的復雜性。 為進一步將自注意力層的計算復雜度從O(N2)降低到O(N)，多項研究（Wang等人，2020a；Katharopoulos等人，2020；Xiong等人，2021；Beltagy等人，2020）提出了線性注意力機制。特別是，Katharopoulos等人（2020）將自注意力表示為核特征映射的線性點積，從而降低了二次復雜度。作者還展示了采用這種線性注意力機制的Transformer可以被視為一種遞歸神經網絡，從而實現更快的推理。在這些基礎上，近期的進展引入了更為先進的架構。值得注意的例子包括Mamba（Gu和Dao，2023；Dao和Gu，2024），該模型引入了具有輸入依賴轉換的選擇性狀態空間模型，以及RWKV（Peng等人，2023），它結合了Transformer和RNN的元素與線性注意力機制。這些模型不僅實現了線性時間和空間復雜度，還在各種任務中表現出競爭力。 我們還注意到一些先前用于處理長文檔的編碼器架構的工作。Longformer（Beltagy等人，2020）使用了局部窗口注意力和任務特定的全局注意力相結合的機制，隨著輸入長度的增加，能夠線性擴展，因此具有內存效率。Wang等人（2020a）通過使用低秩矩陣來近似自注意力機制，將復雜度降低到O(N)。這些研究表明，帶有線性自注意力的Transformer在多種下游任務中的表現與原始自注意力機制相匹配。類似地，Xiong等人（2021）使用了流行的Nystrom方法（Nystr?m，1930）來近似自注意力操作，在與傳統Transformer的比較中顯示出強大的實驗性能。

**2.3 神經架構搜索技術

本節討論了用于發現最適合特定任務和硬件約束的高效模型架構的自動化方法。 先前的研究主要集中在用于視覺任務的神經架構搜索（NAS）（Tan和Le，2019；Zoph和Le，2016；Wu等人，2019；Guo等人，2020）和BERT模型（Xu等人，2021；Jawahar等人，2023；Ganesan等人，2021），這些模型的參數相對較少，減少了高效架構搜索過程的成本。然而，具有超過十億參數的大型語言模型在尋找更小、更高效的模型時面臨著顯著挑戰。其龐大的規模使搜索過程計算密集且昂貴。最近，MobileLLM（Liu等人，2024e）研究了模型深度（即層數）和寬度（即頭數）對性能的影響，有效地在數百萬參數范圍內進行了針對性架構搜索。與此同時，Shen等人（2024c）通過探索合適的初始化來減少搜索空間，從而加快了搜索過程的收斂。

**2.4 小型多模態模型

近年來，大型多模態模型（LMMs）在顯著減少參數量的同時，達到了與前代模型相當甚至更優的性能。值得注意的例子包括LLaVA-Next（Liu等人，2024a）、Idefics2（Lauren?on等人，2024）和InternVL2（Chen等人，2023）系列。這一進展部分歸功于更多高效的小型語言模型，如Gemma（Team等人，2024）和phi-3-mini（Abdin等人，2024），并強調了精心策劃的數據集的重要性。

此外，人們還努力在多模態融合過程中縮減視覺編碼器的規模。例如，InternVL2利用大規模視覺編碼器的中間層輸出，同時丟棄后續模塊。更小的模型，如PaliGemma（Beyer等人，2024）和Mini-Gemini（Li等人，2024c），采用了輕量級的視覺編碼器。單體多模態模型進一步推進了這一點，完全消除了視覺編碼器，轉而使用輕量級架構生成視覺token。例如，Chameleon（Team，2024a）采用VQ-VAE模型將圖像編碼并解碼為離散token，而Mono-InternVL（Luo等人，2024a）則使用MLP生成圖像塊的視覺token，結合了一種名為多模態專家混合的特定模態前饋網絡，以區分不同的模態。

3 訓練技術

本節回顧了用于語言模型預訓練和微調的關鍵訓練技術。雖然小型語言模型（SLMs）與大型語言模型（LLMs）采用類似的訓練方法，但我們將重點介紹在有限資源情況下促進SLMs學習的高效技術。

**3.1 預訓練技術

混合精度訓練是提升SLMs和LLMs預訓練效率的關鍵技術。該方法利用低精度表示進行前向和后向傳播，同時保持高精度的權重更新。例如，Micikevicius等人（2018）引入了自動混合精度（AMP），該方法初始時使用32位浮點（FP32）精度保存權重的主副本，而在進行算術運算時使用16位浮點（FP16）精度。然而，近期的研究（Rae等人，2021）觀察到，由于FP16的數值范圍有限，AMP在某些情況下會導致精度損失。為了解決這一問題，Burgess等人（2019）提出了大腦浮點（BFLOAT16），該格式具有比FP16更多的指數位，提供了更大的動態范圍。BFLOAT16在訓練性能和表示精度方面優于FP16。

現代GPU架構進一步通過專用的Tensor Cores增強了混合精度功能。例如，早期的架構支持FP16和BFLOAT16，而NVIDIA的最新Hopper架構引入了對8位浮點（FP8）精度的支持（Luo等人），從而為大規模語言模型帶來了更高的計算效率。

為了進一步提升訓練效率并防止模型崩潰，采用了各種優化和穩定技術。雖然Adam（Diederik，2014）和AdamW（Loshchilov和Hutter，2019）優化器廣泛使用，但內存高效的變體如Adafactor（Shazeer和Stern，2018）和Sophia（Liu等人，2024b）被引入以提高訓練速度和效率。為進一步穩定訓練，梯度裁剪（Zhang等人，2020）被廣泛應用，以防止梯度爆炸。此外，仔細的初始化策略可以為模型訓練提供良好的起點。這些結合技術旨在實現最佳的訓練效率，保持數值穩定性，并生成更穩健和強大的語言模型。

為了應對預訓練階段的計算需求，語言模型通常在多個計算節點上進行預訓練，利用分布式計算資源實現高效訓練。為此，開發了多種系統級優化技術。零冗余數據并行（ZeRO）（Rajbhandari等人，2020）提供了三種漸進式的優化階段，每個階段都將更多的訓練狀態分布到設備上：ZeRO-1劃分優化器狀態，ZeRO-2增加梯度劃分，ZeRO-3進一步劃分模型參數。PyTorch的全分片數據并行（FSDP）（Zhao等人，2023b）也實現了類似的概念。這些并行技術允許使用更大的批量尺寸進行訓練，大大提高了SLMs和LLMs的效率和可擴展性。

**3.2 微調技術

在較小的特定任務數據集上進行微調，允許LLMs利用預訓練中獲得的知識，從而在特定任務或領域中表現出色。微調技術旨在解決諸如計算資源有限、數據質量、可用性和魯棒性等挑戰，確保能夠有效地適應新任務而無需進行廣泛的再訓練。

3.2.1 參數高效微調

參數高效微調（PEFT）僅更新一小部分參數或添加輕量級模塊，同時保持大部分預訓練模型的參數不變。這種方法減少了SLM微調時的計算成本，保留了模型的知識，減少了過擬合，并提高了靈活性。LoRA（Hu等人，2021）使用低秩分解，Prompt Tuning（Lester等人，2021）在輸入中插入可學習的提示，而Llama-Adapter（Zhang等人，2023b；Gao等人，2023）將提示添加到LLaMA的注意力塊中。動態適配器（Kong等人，2024；Feng等人，2024；Gou等人，2023；Liu等人，2023b；Luo等人，2024b）自動將多個適配器組合為專家混合模型，支持多任務處理并防止遺忘（Han等人，2024；Yang等人，2024）。

3.2.2 數據增強 數據增強通過增加訓練數據的復雜性、多樣性和質量，提升模型在下游任務中的泛化能力和性能。AugGPT（Dai等人，2023）使用ChatGPT對訓練樣本進行改寫，Evol-Instruct（Xu等人，2023）通過多步修訂生成復雜度更高的多樣化開放域指令。Reflection-tuning（Li等人，2023a，2024a）通過基于預定義標準使用GPT-4對指令和響應進行優化，提升了數據質量和指令響應一致性。FANNO（Zhu等人，2024）通過檢索增強生成技術引入外部知識源，以增強指令并生成響應。LLM2LLM（Lee等人，2024b）在訓練過程中基于模型預測生成更難的樣本。

數據增強在訓練數據有限的情況下也非常有效，例如用于低資源語言（Whitehouse等人，2023）、醫療和臨床應用（Chintagunta等人，2021）以及隱私敏感數據（Song等人，2024），從而使模型能夠在受限場景下更好地泛化并表現出更強的魯棒性。

通過使用f散度（f-divergences）的廣義版本，序列級蒸餾損失可以得到改進，如Wen等人（2023）所示。Liang等人（2023）通過使用任務感知濾波器擴展了針對語言模型的逐層蒸餾策略，該濾波器僅蒸餾來自教師模型的特定任務知識。最近的研究（Wan等人，2024a,b）表明，通過戰略性地融合多個語言模型的輸出概率分布，可以將多個語言模型融合為教師模型，以蒸餾知識到小型語言模型中。

語言模型的知識蒸餾面臨的一個問題是，當（1）教師和學生語言模型共享相同的分詞器，且（2）教師模型的預訓練數據可用時，蒸餾策略效果最佳。Boizard等人（2024）通過引入一種受最優傳輸理論啟發的通用logit蒸餾損失，解決了這一問題。蒸餾常常還與剪枝技術相結合，以創建更小的語言模型。例如，Sreenivas等人（2024）和Muralidharan等人（2024）展示了通過對大型語言模型進行剪枝并結合蒸餾損失進行重訓練的迭代步驟，可以生成性能強大的小型模型。

最新的進展探索了超越傳統標簽蒸餾的方法，通過在蒸餾過程中加入額外的監督來創建小型語言模型。Hsieh等人（2023）發現，在蒸餾過程中使用“推理依據”（rationales）作為額外的監督來源，使得蒸餾過程更加樣本高效。此外，作者發現蒸餾后的模型在常用的自然語言推理（NLI）、常識問答和算術推理基準測試上超越了大型語言模型。同樣地，Dai等人（2024）、Magister等人（2023）、Ho等人（2023）和Fu等人（2023）將從大型語言模型中提取的推理鏈與標簽信息一起蒸餾到小型語言模型中。研究表明，這些蒸餾后的模型在算術、多步數學、符號推理和常識推理能力上有顯著提升。

結論

鑒于小型語言模型（SLMs）因其高效性和在廣泛設備與環境中的應用而變得愈發重要，本文綜述了SLMs，包括其模型架構、訓練技術以及用于優化SLMs的模型壓縮技術。我們還提出了一個直觀的SLM評估指標分類法，并總結了SLMs在各種設置和應用中的重要性。此外，我們總結了用于SLMs的訓練和基準數據集。最后，我們強調了SLMs領域中亟待解決的基本挑戰和開放性問題。我們希望這篇綜述能成為研究人員和從業者的寶貴資源，推動小型但功能強大的語言模型的進一步發展。

生成式檢索（GR）是一種新興的信息檢索范式，利用生成模型直接將查詢映射到相關的文檔標識符（DocIDs），無需傳統的查詢處理或文檔重排序。本綜述提供了對GR的全面概述，重點介紹了關鍵發展、索引和檢索策略以及面臨的挑戰。我們討論了各種文檔標識符策略，包括數字和基于字符串的標識符，并探索了不同的文檔表示方法。我們的主要貢獻在于概述未來可能對該領域產生深遠影響的研究方向：改進查詢生成的質量、探索可學習的文檔標識符、增強可擴展性以及將GR與多任務學習框架集成。通過研究最先進的GR技術及其應用，本綜述旨在提供對GR的基礎性理解，并激發在這種變革性信息檢索方法上的進一步創新。我們還將諸如論文集等補充材料公開。

信息檢索（IR）的歷史經歷了顯著的演變，從基于統計詞關系的初步方法發展到利用先進深度學習技術的復雜系統。這一進程主要圍繞兩個主要訓練目標，如圖1所示：

目標1：向量相似度

最初，IR系統依賴于稀疏檢索技術，通過諸如詞袋模型和向量空間模型（VSM）（Salton, 1983）等方法利用詞之間的統計關系。在這些模型中，文檔被表示為稀疏向量，每個維度指示詞的存在或頻率。二元獨立模型（BIM）（Robertson和Jones, 1976）的發展和詞頻-逆文檔頻率（TF-IDF）的實現是這種方法的典型代表，強調了詞出現的獨立性和頻率。

隨著技術進步，重點轉向了稠密檢索。在這一階段，詞嵌入將詞轉化為稠密向量表示，捕捉到比單純關鍵詞匹配更深層次的語義相似性和上下文關系。在這一領域的重要發展包括Word2Vec（Mikolov et al., 2013）、GloVe（Pennington et al., 2014）以及變壓器網絡的進步如BERT（Devlin et al., 2018）。這些創新最終催生了如DPR（Dense Passage Retrieval）（Karpukhin et al., 2020）等復雜模型，通過采用稠密向量嵌入來理解復雜的查詢和文檔，顯著提高了信息檢索的精度和有效性。在DPR的基礎上，REALM（Guu et al., 2020）和RAG（Lewis et al., 2020）等模型將檢索與語言模型集成，進一步優化了相關性。ColBERT-QA（Khattab et al., 2021）通過上下文化嵌入進行精確答案檢索，提升了問答能力。

目標2：直接文檔映射

隨著信息檢索從向量相似度方法轉變，它采用了生成式檢索，這是一種利用生成模型直接生成與用戶查詢相關的文本響應或文檔標識符的方法。這標志著從匹配預先存在的向量表示到動態生成直接滿足用戶需求的文本輸出的重大轉變。在預檢索階段，生成模型通過諸如Xiao等人（2022）所示的使用掩碼自編碼器（MAE）的檢索導向預訓練范式等創新方法來提高稠密檢索的效率。該模型訓練從嵌入和掩碼輸入中重建句子，在各種基準測試中表現優異。在檢索階段，Lewis等人（2020）的檢索增強生成模型通過稠密段落檢索器選擇文檔并為復雜的自然語言處理任務生成答案，取得了頂級性能。此外，Tay等人（2022）的可微搜索索引（DSI）通過將查詢直接映射到相關文檔，顯著超越了傳統方法，并在零樣本設置中表現出強大的泛化能力。在后檢索階段，深度學習技術被應用于重新排序檢索到的文檔，如Guo等人（2016）通過分析查詢和文檔之間的復雜匹配模式來優化文檔排名。類似地，Mitra等人（2017）通過融合局部和分布式文本表示，利用局部和全局上下文來提高搜索結果質量，增強了網頁搜索重排序。通過這些創新，包括雙塔模型架構和可微搜索索引（DSI）（Tay等人，2022），生成式檢索不僅有效地響應查詢，還能在語料庫中識別相關信息，利用端到端訓練架構整合深度學習過程來簡化檢索體驗。

## 2 生成式檢索簡介

### 2.1 生成式檢索的定義

前一節展示了在各種信息檢索階段應用生成模型以促進任務執行。在本綜述論文中，我們旨在定義“生成式檢索”（GR），其背景是在Tay等人（2022）的可微搜索索引架構中，其中查詢通過seq2seq模型直接映射到相關文檔，無需預檢索查詢處理或后檢索文檔重排序。本質上，端到端架構足以完成信息檢索任務。我們正式定義GR為一個系統，其中，給定用戶查詢q作為輸入，seq2seq學習模型直接輸出若干文檔標識符（docids）。每個標識符j對應于語料庫D中的特定文檔dj，表明該文檔與查詢q相關（見圖2）。要實現這一點，GR需要兩個關鍵組件：索引和檢索。

#### 2.1.1 索引

在GR索引策略中，關鍵考慮因素是索引方法和索引目標。索引方法研究的是將文檔內容與其唯一標識符建立聯系的技術，基本上掌握了將每個文檔的文本與一個獨特的docid相關聯的過程。相反，索引目標關注文檔表示策略。這涉及有關索引細節級別的決策、索引特定文檔部分的重要性、處理重復信息的方式，以及語義理解在描繪文檔內容本質中的重要性。 在GR的索引方法中，重點是簡化將文檔內容與其唯一標識符連接的過程。我們可以將索引方法的過程公式化為對兩種類型的示例進行訓練。第一個是(dj, j)，其中dj ∈ D表示語料庫D中的第j個文檔，j表示對應的標識符。構建索引時，對文檔-docid配對進行訓練是至關重要的。這種配對過程是創建每個文檔內容與其在數據庫中的位置之間的可檢索鏈接的第一步，從而實現高效的存儲和檢索。 第二個訓練示例是(qi, j)，在這里我們將查詢qi與其相關的docid j鏈接。通過將查詢與相關的docid配對，系統學習定義用戶搜索意圖（通過查詢表達）和文檔內容（通過docid表示）之間相關性的上下文細微差別。這種訓練有助于模型理解哪些文檔與給定查詢最相關，這種理解僅通過索引是無法實現的。這些方法包括序列到序列轉換和雙向訓練的創新方法，以及基于跨度的去噪高級技術。第二個訓練示例的詳細信息將在第3節中討論。 對于索引目標，重點轉向系統中文檔的表示方式。由于模型容量和計算資源的限制，生成式檢索模型通常不可能以整個文檔作為直接輸入進行訓練。因此，有必要考慮其他有效表示文檔的方法，包括：

1. 直接索引：取文檔的前L個標記。
2. 集合索引：取前L個不重復的標記。
3. 倒排索引：從文檔中隨機開始取連續的k個標記。
4. 查詢作為表示：Zhuang等人（2022）提出了一種方法，使用生成的查詢來表示文檔，同時以DocID進行訓練。他們建議在訓練中使用查詢而不是整個文檔更符合檢索過程，因為檢索通常涉及使用查詢來查找相關文檔。 通過采用這些多樣化的索引方法，我們旨在提高生成式檢索系統的效率和準確性。直接索引和集合索引提供了簡單但有效的手段來捕獲重要的文檔內容，同時減少冗余。倒排索引提供了一種隨機但系統的方法來表示文檔，確保內容覆蓋多樣化。同時，利用查詢作為文檔表示將訓練階段與檢索階段對齊，促進更直觀和上下文感知的檢索過程。 最終，這些索引策略趨向于一個統一的目標：優化生成式檢索系統理解、索引和檢索文檔的能力，以高精度響應用戶查詢。通過平衡細節、相關性和全面性，我們可以確保系統不僅高效地存儲文檔內容，還能在用戶查詢時準確地檢索最相關的信息。這種平衡對于開發一個能夠處理多樣化和復雜信息需求的強大和可擴展的生成式檢索框架至關重要。

#### 2.1.2 檢索

完成索引階段后，我們將注意力轉向檢索階段。經典的GR模型采用seq2seq方法自回歸地解碼候選docids，其中這些docids的表示選擇對檢索效率至關重要。 在生成式檢索的開創性工作中，Tay等人（2022）引入了非結構化原子標識符方法，為每個文檔分配唯一整數。這一基礎方法得到了結構化標識符方法的補充，包括簡單結構的字符串標識符和語義結構的標識符，為細致的文檔表示鋪平了道路。隨著該領域的發展，后續工作在標識符表示上進行了多樣化探索，探索了字符串子集、文章標題等替代方案。第3節將詳細探討和比較這些擴展及其系列中的更廣泛工作，突出它們在生成式檢索背景下的貢獻和創新。

本文對生成式檢索（GR）進行了全面的綜述和分析，探討了其發展歷史、關鍵技術、挑戰和未來方向。以下是對信息檢索領域的五項重要貢獻：

• 信息檢索的發展歷程從稀疏檢索方法到稠密檢索技術，最終發展到生成式檢索，其中查詢通過seq2seq模型直接映射到相關文檔，無需預檢索查詢處理或后檢索文檔重排序。
• 解釋了GR的核心概念，詳細說明了端到端的檢索過程、索引和檢索技術，包括文檔標識符策略和seq2seq模型。
• 比較了各種文檔標識符類型，顯示具有語義信息的標識符通常表現更好，并探討了創建這些標識符的不同方法。
• 討論了GR中的評估指標和常用數據集，強調它們在評估檢索性能和比較不同標識符策略中的作用。
• 識別了諸如可擴展性和動態語料庫管理等挑戰。提出了未來的研究方向，如優化訓練方法、提高系統可擴展性以及整合多任務學習技術。

總之，這項研究提供了一個詳細的綜述，幫助讀者深入了解生成式檢索技術。它旨在激發該領域的進一步研究，并推動信息檢索技術的發展。

視頻基礎模型（ViFMs）旨在為各種視頻理解任務學習通用表示。通過利用大規模數據集和強大的模型，ViFMs通過從視頻數據中提取穩健且通用的特征來實現這一目標。這篇綜述分析了超過200個視頻基礎模型，提供了針對14種不同視頻任務的基準和評估指標的全面概覽，并將其分為3個主要類別。此外，我們還對最常見的6種視頻任務的這些模型進行了深入的性能分析。我們將ViFMs分為三類：1）基于圖像的ViFMs，將現有的圖像模型應用于視頻任務；2）基于視頻的ViFMs，采用特定于視頻的編碼方法；3）通用基礎模型（UFMs），在單一框架內結合多種模態（圖像、視頻、音頻和文本等）。通過比較各種ViFMs在不同任務上的性能，這篇綜述提供了有關它們優缺點的寶貴見解，為視頻理解的未來進展提供指導。我們的分析結果令人驚訝地發現，基于圖像的基礎模型在大多數視頻理解任務上始終優于基于視頻的模型。此外，利用多模態的UFMs在視頻任務上表現出色。我們在以下地址分享了這項研究中所分析的ViFMs完整列表：//github.com/NeeluMadan/ViFM_Survey.git

強大的計算資源的日益普及和不斷增長的數據集推動了基礎模型的發展[10, 24]。這些多功能的AI模型使用自監督學習或半監督學習在海量數據上進行訓練，可以通過微調用于各種下游任務。最初的成功集中在靜態圖像上[123, 238]，例如CLIP[238]和SAM[139]等模型都取得了令人印象深刻的成果。最近的研究[322, 352]已將這一成果擴展到視頻領域，開發出了幾種針對視頻基礎模型（ViFMs）的預訓練策略。 盡管視頻分析和生成數十年來一直是計算機視覺社區關注的焦點[19, 30, 134, 142, 278, 281]，但由于任務的復雜性、額外的時間維度以及數據量龐大，這一問題在很大程度上一直具有挑戰性。最初開發的方法主要基于使用標準圖像分析技術處理各個幀并在其上加入時間維度[30, 80]。或者，專為視頻設計的更高級技術也被開發出來，例如3D卷積[338]、循環網絡、光流的使用以及Transformers[7, 19]，直接作用于視頻，從而提供更好的時間建模。此外，針對增強視頻理解的多模態角色的研究也有顯著發展[111, 245]。 我們在ViFMs的發展中也看到了類似的趨勢，延續了圖像（基于圖像的ViFMs）、獨立的視頻建模（基于視頻的ViFMs）以及結合額外模態（例如自動語音識別（ASR））（通用基礎模型，Universal FMs）的路徑。 動機和貢獻：視頻理解領域正在經歷顯著的進步，這可以從日益增長的專注于各類視頻理解任務的研究論文數量中看出（圖1）。這種增長與大規模預訓練技術的發展相吻合。這些技術在適應不同任務方面表現出非凡的能力，只需最少的額外訓練即可實現強大的泛化。因此，研究人員正在積極探索這些基礎模型在解決各種視頻理解挑戰中的作用。為了在這個快速發展的研究領域中導航（見圖2），對視頻理解模型進行系統的綜述是必要的。我們試圖通過對用于視頻理解任務的基礎模型進行全面分析來填補這一關鍵空白。我們希望這篇綜述能夠為視頻理解相關的未來研究方向提供路線圖。

我們綜述的主要貢獻： * 本文首次對部署于各種視頻理解任務的基礎模型（ViFMs）進行了全面的綜述。我們將ViFMs分為三類：1）基于圖像的ViFMs：僅在圖像數據上進行訓練。2）基于視頻的ViFMs：在訓練期間利用視頻數據。3）通用基礎模型（UFMs）：在預訓練期間結合多種模態（圖像、視頻、音頻、文本）。 * 我們獨特地根據視頻理解任務中對時間維度的涉入程度對其進行了分類。此外，還提供了與每個分類任務相關的數據集和評估指標的詳細列表。 * 我們對每個類別的ViFMs進行了全面的比較，分析了各種研究成果。這一分析揭示了有關最有效的ViFMs在不同視頻理解任務中的寶貴見解。 * 本綜述進一步指出了ViFMs面臨的關鍵挑戰，強調了需要進一步研究關注的開放性問題。此外，我們討論了ViFM開發的有前景的未來方向，為視頻理解的進步鋪平道路。

相關綜述：盡管一些綜述深入探討了特定的視頻理解任務[353, 366]或圖像的基礎模型[10]，如Shiappa等人[252]提供了關于自監督視頻理解方法的詳盡綜述，但近年來這一領域已經發生了顯著變化。隨著大規模基礎模型的興起，需要對這些模型在視頻理解背景下進行全面的綜述。據我們所知，我們的綜述是第一個提供用于視頻理解的基礎模型的全面概述。 論文組織結構：在論文的第一部分（第2節），我們涵蓋了從視頻分類到生成的各種視頻分析任務。我們討論了廣泛使用的架構和損失函數，以及與大規模預訓練相關的數據集。接下來，我們解釋了ViFMs的主要類別，即：基于圖像的ViFMs（第3節）、基于視頻的ViFMs（第4節）和通用基礎模型（UFMs）（第5節）（有關分類法請參見圖5）。最后（第6-7節），我們比較并討論了所介紹模型的性能，并展示了該領域的挑戰和未來方向。

多語言大型語言模型利用強大的大型語言模型處理和響應多種語言的查詢，這在多語言自然語言處理任務中取得了顯著的成功。盡管取得了這些突破，但在這一領域仍缺乏一個全面的綜述來總結現有方法和最近的發展。為此，在本文中，我們提出了一個徹底的審查，并提供了一個統一的視角來總結多語言大型語言模型（MLLMs）文獻中的最新進展和新興趨勢。本文的貢獻可以總結如下：（1）第一份綜述：據我們所知，我們采取了第一步，在多語言對齊的基礎上對MLLMs研究領域進行了徹底的審查；（2）新分類法：我們提出了一個新的統一視角來總結MLLMs的當前進展；（3）新前沿：我們突出了幾個新興的前沿并討論了相應的挑戰；（4）豐富資源：我們收集了大量的開源資源，包括相關論文、數據語料庫和排行榜。我們希望我們的工作能為社區提供快速訪問并推動MLLMs的突破性研究。

近年來，大型語言模型（LLMs）在各種自然語言處理任務上取得了優異的表現（Brown et al., 2020; Touvron et al., 2023a; Bang et al., 2023; Zhao et al., 2023b; Pan et al., 2023; Nguyen et al., 2023a; Trivedi et al., 2023），并展示出了令人驚訝的突發能力，包括上下文學習（Min et al., 2022; Dong et al., 2022）、思維鏈推理（Wei et al., 2022; Huang et al., 2023a; Qin et al., 2023a）以及規劃（Driess et al., 2023; Hu et al., 2023b）。然而，大多數LLMs主要關注英語任務（Held et al., 2023; Zhang et al., 2023i），使其在多語言環境，尤其是低資源環境下表現不足。

實際上，全球有超過7000種語言。隨著全球化的加速，大型語言模型的成功應考慮服務于不同國家和語言。為此，多語言大型語言模型（MLLMs）具有全面處理多種語言的優勢，越來越受到關注。具體來說，現有的MLLMs可以根據不同階段大致分為兩組。第一系列工作（Xue et al., 2020; Workshop et al., 2022; Zhang et al., 2023g; Muennighoff et al., 2022）利用多語言數據調整參數以提升整體多語言性能。第二系列工作（Shi et al., 2022a; Qin et al., 2023b; Huang et al., 2023a）還采用先進的提示策略，在參數凍結推理階段挖掘MLLMs的更深層次多語言潛力。

盡管在MLLMs上取得了顯著成功，但仍缺乏對最近努力的全面回顧和分析，這阻礙了MLLMs的發展。為了彌補這一差距，我們首次嘗試對MLLMs進行全面而詳盡的分析。具體來說，我們首先介紹廣泛使用的數據資源（§3）。此外，由于跨語言對齊的關鍵挑戰，我們根據對齊策略引入了新的分類法（§4），旨在提供文獻中的統一視角，包括參數調整對齊和參數凍結對齊（如圖1所示）。具體來說，參數調整對齊需要在預訓練、監督微調、人類反饋學習和下游微調過程中調整模型參數以增強英語和目標語言之間的對齊。參數凍結對齊指的是通過跨語言提示實現的對齊，無需調整參數。最后，我們指出了一些潛在的前沿領域以及MLLMs面臨的相應挑戰，希望激發后續研究（§5）。

本工作的貢獻可以總結如下：（1）首次綜述：據我們所知，我們是第一個根據多語言對齊在MLLMs文獻中提出全面綜述的；（2）新分類法：我們引入了將MLLMs分類為參數凍結和參數調整兩種對齊類型的新分類法，為理解MLLMs文獻提供了統一視角；（3）新前沿：我們討論了一些新興的前沿，并突出了它們的挑戰和機遇，希望為未來研究的發展鋪路；（4）詳盡資源：我們首次嘗試組織MLLMs資源，包括開源軟件、多樣的語料庫和相關出版物的精選列表，可在//multilingual-llm.net訪問。 我們希望這項工作能成為研究者的寶貴資源，并激發未來研究的更多突破。

如圖4所示，我們引入了一種新的分類法，包括參數調整對齊（§4.1）和參數凍結對齊（§4.2），旨在為研究人員提供一個統一的視角，以理解MLLMs文獻。具體來說，參數調整對齊（PTA）包括一系列逐步進階的訓練和對齊策略，包括預訓練對齊、監督微調（SFT）對齊、人類反饋學習（RLHF）對齊，以及最終的下游微調對齊。這些階段的共同目標是系統地優化模型參數，以對齊多語言性能。相反，參數凍結對齊（PFA）側重于基于PTA的四種提示策略：直接提示、代碼切換提示、翻譯對齊提示和檢索增強對齊。這種方法保持原始模型參數，以實現預期結果。

憑借廣泛的預訓練知識和高級通用能力，大型語言模型（LLMs）作為增強強化學習（RL）的一個有希望的途徑出現，在多任務學習、樣本效率和任務規劃等方面顯示出其潛力。在這篇綜述中，我們提供了一個關于LLM增強RL現有文獻的全面回顧，并總結了與傳統RL方法相比的特點，旨在明確研究范圍和未來研究的方向。利用經典的智能體-環境交互范式，我們提出了一個結構化的分類法，以系統地分類LLMs在RL中的功能，包括四個角色：信息處理器、獎勵設計師、決策者和生成器。另外，對于每個角色，我們總結了方法論，分析了被緩解的具體RL挑戰，并提供了對未來方向的洞見。最后，討論了LLM增強RL的潛在應用、前瞻性機會和挑戰。

強化學習（RL）是一種強大的學習范式，專注于控制和決策制定，其中智能體通過與環境的嘗試和錯誤交互學習優化指定目標。深度學習在自然語言處理（NLP）[1] 和計算機視覺（CV）[2] 等經典領域的最近成功，促成了深度強化學習的興起，深度強化學習將RL與高容量深度神經網絡近似器結合起來，使智能體能夠在復雜環境中做出決策。在游戲領域，深度強化學習算法在多種街機[3]、[4]、實時策略[5]、[6]、棋盤[7]、[8]以及非完全信息游戲[9]、[10]中實現了超越人類的決策能力。目前，強化學習的應用已擴展到機器人[11]、自動駕駛車輛[12]、醫療保健[13]和對話系統[14]等領域的現實世界任務中。

然而，當在涉及語言和視覺信息的現實世界應用中應用深度強化學習算法時，面臨著重大挑戰，因為智能體必須同時學習特征和控制策略。為了減輕視覺特征學習的負擔，參考文獻[15]將表示學習與強化學習解耦。為了處理涉及語言的任務，一項綜述[16]呼吁在RL中潛在使用NLP技術。盡管如此，當時語言模型的能力有限，以下四個挑戰仍未得到解決：1）樣本效率低：深度強化學習智能體需要與環境進行大量交互才能學習有效策略，這在數據收集昂貴或風險較高的場景中變得不切實際[17]、[18]、[19]。2）獎勵函數設計：策略學習的性能在很大程度上取決于獎勵函數的設計[20]。盡管獎勵函數的基礎性重要，但它們被認為難以設計[21]、[22]，因為它們需要對任務有深入了解，且經常需要手動嘗試和錯誤[23]。3）泛化：深度強化學習智能體的泛化仍然令人望而卻步，因為它們經常難以適應新的、未見過的環境，限制了智能體在動態真實世界設置中的適用性[24]、[25]。4）自然語言理解：深度強化學習在自然語言處理和理解場景中面臨困難，人類語言的細微差別和復雜性帶來了獨特的挑戰，這些挑戰未被當前的RL方法充分解決[26]。

大型語言模型（LLMs）的近期出現標志著自然語言處理領域的重要里程碑，并在許多實際應用中展現了強大的能力，如醫藥[27]、化學[28]以及機器人的體現控制[29]。與小型語言模型相比，LLMs擁有小型語言模型所不具備的突現能力[30]，例如上下文學習[31]、推理能力[32]等。此外，借助龐大的訓練數據，預訓練的LLMs裝備了廣泛的世界知識[33]。利用這些能力，語言模型的應用已從語言建模轉變為任務解決，范圍從基本的文本分類和情感分析到復雜的高級任務規劃[34]和決策制定[35]、[36]、[37]。

隨著LLMs的突現能力，最近LLMs解決RL固有挑戰的潛力開始受到關注[38]、[39]。LLMs尤其在自然語言理解、推理和任務規劃方面的能力，提供了解決上述RL問題的獨特方法。對于樣本效率低的問題，參考文獻[40]提出了一個框架，其中LLMs可以用來通過提供豐富、上下文信息豐富的預測或建議來提高RL智能體的樣本效率，從而減少對廣泛環境交互的需求。對于獎勵函數設計，LLMs可以幫助構建更細致和有效的獎勵函數，通過提供對復雜場景更深入的理解來增強學習過程[41]。對于泛化，參考文獻[42]提出了一個框架，該框架利用基于語言的反饋來提高RL策略在未見環境中的泛化。對于自然語言理解，Pang等[43]使用LLMs將復雜的基于自然語言的指令翻譯為簡單的任務指定語言以供RL智能體使用。這些工作表明，LLM是一個有前途和強大的角色，可以為長期存在的RL挑戰做出貢獻。

盡管將LLMs整合到RL范式中的領域取得了進步，但在這一迅速發展的領域目前顯著缺乏全面綜述。此外，盡管提出了各種方法將LLMs整合到RL范式中，但還沒有統一的框架進行這種整合。我們的綜述旨在填補這些空白，通過提供相關文獻的廣泛回顧，定義名為LLM增強RL的新范式的范圍，并進一步提出一個分類法來對LLMs在所提范式中的功能進行分類。

A. 貢獻

本綜述做出以下貢獻：

LLM增強RL范式：本文在整合LLM到RL范式的新興領域中提出了第一個全面綜述。為了明確研究范圍和未來工作的方向，我們定義了LLM增強RL這一術語來概括這類方法論，總結了特征并提供了一個相應的框架，清晰地說明了1）如何將LLMs整合到經典的智能體-環境互動中以及2）LLMs為傳統RL范式提供的多方面增強。

統一的分類法：進一步對LLM增強RL范式中LLMs的功能進行分類，我們提出了一個結構化的分類法，系統地將LLMs分類為信息處理器、獎勵設計者、決策者和生成器。通過這樣的分類，提供了一個清晰的視角，展示了LLMs如何整合到經典RL范式中。

算法回顧：對于LLM的每個角色，我們回顧了這一方向上的新興工作，并從能力的角度討論了不同的算法特性。基于這一基礎，分析了LLM增強RL的未來應用、機會和挑戰，以提供推進這一跨學科領域的潛在路線圖。

B. 文本組織余下的部分按以下方式組織。第二節提供了RL和LLM的基礎知識。第三節介紹了LLM增強RL的概念并提供了其整體框架。繼續，第四、五、六和七節深入分析了LLMs在RL上下文中的角色，探討了它們作為信息處理器、獎勵設計者、決策者和生成器的作用。最后，第八節討論了LLM增強RL的應用、機會和挑戰。最后，第九節總結了綜述。

大模型增強強化學習

強化學習（RL）智能體經常在實際應用中被賦予使用多模態信息做出穩健和深思熟慮決策的任務，無論是在馬爾可夫決策過程（MDP）設置中還是在特定任務描述的上下文中。例子包括設計用于在導航物理環境時遵循自然語言指令的機器人，或者具有用自然語言描述的任務的視覺游戲[68]、[69]、[70]。然而，對于傳統的RL方法來說，這是一個挑戰，因為智能體需要同時解釋復雜的多模態數據并在不斷變化的環境中優化控制策略[71]。這些挑戰還包括樣本效率低、制定能準確反映多模態輸入的獎勵函數的難度，以及在不同任務和設置中需要穩健泛化的需求。

大型語言模型（LLMs）的快速進步為這些挑戰提供了一個可行的解決方案，這得益于它們強大的自然語言理解和推理能力，以及最近在整合視覺數據處理方面的進展[72]。這種雙重能力使LLMs能夠有效地解釋和處理復雜的多模態信息，作為增強RL范式以適用于實際應用的強大助手。

然而，盡管LLMs具有強大的功能，當前的研究多種多樣，缺乏正確指定系統方法論的標準概念，這阻礙了這一領域研究的進步。因此，我們介紹了以下所謂的LLM增強RL的概念： LLM增強RL指的是利用預訓練、內含知識的AI模型的多模態信息處理、生成、推理等能力來協助RL范式的方法。

與傳統的基于模型的強化學習不同，LLM增強RL的一個關鍵特點是它利用了具有通用知識的模型，這意味著模型在學習過程開始時就具有相當水平的能力，并且與其他數據驅動模型相比具有更好的泛化能力。此外，LLM增強RL仍然使用AI模型，并且可以通過RL交互數據持續學習以提高其能力。

B. 框架

LLM增強RL的框架如圖2的中心所示，它建立在經典的智能體-環境互動范式之上。伴隨著嘗試和錯誤的學習過程，LLM處理狀態信息，重新設計獎勵，協助選擇行動，并在選擇行動后解釋策略。 具體來說，一方面，當智能體從環境接收狀態和獎勵信息時，LLM能夠處理或修改信息，以過濾不必要的基于自然語言的信息或設計適當的獎勵以加速學習過程，基于自然語言理解和推理能力。另一方面，當智能體基于觀察即將選擇一個行動時，LLM可以通過模擬世界模型或充當策略網絡來協助選擇行動過程，以基于建模能力和常識知識生成合理的行動。 此外，在選擇行動過程之后，綜合狀態、獎勵和行動信息，LLM可以解釋策略選擇背后的潛在可能原因，這有助于人類監督者理解進一步系統優化的場景。 基于LLM在框架中的功能，我們提取LLM增強RL的特性，并進一步將LLM在LLM增強RL中的四種不同角色細分為信息處理器、獎勵設計師、生成器和決策者，這將在下一小節中詳細闡述。

C. 特性

LLM增強RL范式增強了原始RL范式，具有以下特性：

多模態信息理解：LLMs增強了RL智能體對涉及多模態信息場景的理解，使它們能夠更有效地從用自然語言和視覺數據描述的任務或環境中學習。

多任務學習和泛化：受益于多學科預訓練知識，LLMs通過設計獎勵或生成參考行動，賦予RL智能體多任務學習和泛化的能力。

改善樣本效率：鑒于其固有的探索性質，RL范式需要大量樣本來學習。預訓練的LLM可以通過模擬增強數據生成或利用先驗知識來提高RL的樣本效率。

長期規劃處理：隨著軌跡長度的增加，由于信用分配問題，RL變得更具挑戰性。LLMs可以將復雜任務分解為子任務，協助RL智能體在更長的時間范圍內進行規劃，幫助在復雜的多步驟任務（如Minecraft游戲）中進行決策過程。

獎勵信號生成：基于上下文理解和領域知識，LLMs有助于獎勵塑形和獎勵函數設計，這有助于引導RL向有效的策略學習在稀疏獎勵環境中。

D. 分類 在本小節中，我們通過詳細說明它們的功能和它們解決的RL相應問題，展示LLMs在上述框架內的不同角色：

信息處理器：當觀察或任務描述涉及語言或視覺特征時，智能體同時理解復雜信息和優化控制策略變得具有挑戰。為了減輕智能體理解多模態數據的負擔，LLM可以作為環境信息或任務指令信息的信息處理器，通過1）提取有意義的特征表示以加速網絡學習；2）將基于自然語言的環境信息或任務指令信息翻譯為形式化的特定任務語言以降低學習復雜性。

獎勵設計師：在獎勵稀疏或難以定義高性能獎勵函數的復雜任務環境中，使用先驗世界知識、推理能力和代碼生成能力，LLM可以擔任兩種角色：1）隱式獎勵模型，根據環境信息提供獎勵值，通過訓練或提示；2）顯式獎勵模型，生成獎勵函數的可執行代碼，透明地指定基于環境規范和基于語言的指令或目標的獎勵標量的邏輯計算過程。

決策者：RL在探索長期環境時面臨樣本效率低和規劃的挑戰。通過擔任決策者，預訓練的LLMs可以執行：1）直接決策：使用強大的序列建模能力和常識知識來提高離線RL的樣本效率；2）間接決策：充當專家指導者，生成行動候選（高級任務規劃）以縮小行動選擇范圍或輸出參考策略以間接指導RL策略的更新方向。

生成器：基于模型的RL依賴于精確的世界模型來學習準確的環境動態并模擬高保真軌跡。此外，解釋性在RL中仍然是另一個重要問題。使用多模態信息理解能力和先驗常識推理能力，LLMs可以1）作為生成器在基于模型的RL中生成準確軌跡；2）在可解釋的RL中使用相關信息的提示生成策略解釋。

在快速發展的自然語言生成（NLG）評估領域中，引入大型語言模型（LLMs）為評估生成內容質量開辟了新途徑，例如，連貫性、創造力和上下文相關性。本綜述旨在提供一個關于利用LLMs進行NLG評估的全面概覽，這是一個缺乏系統分析的新興領域。我們提出了一個連貫的分類體系來組織現有的基于LLM的評估指標，提供了一個結構化的框架來理解和比較這些方法。我們的詳細探索包括批判性地評估各種基于LLM的方法論，以及比較它們在評估NLG輸出時的優勢和局限性。通過討論尚未解決的挑戰，包括偏見、穩健性、領域特定性和統一評估，本綜述旨在為研究人員提供洞見，并倡導更公平、更先進的NLG評估技術。

自然語言生成（NLG）處于現代AI驅動通信的前沿，近期在大型語言模型（LLMs）方面的進展徹底改變了NLG系統的能力（Ouyang et al., 2022; OpenAI, 2023）。這些模型，依靠深度學習技術和大量的訓練數據，展現出在廣泛應用中生成文本的卓越能力。隨著NLG技術的快速發展，建立可靠的評估方法以準確衡量生成內容的質量變得越來越重要。

傳統的NLG評估指標，如BLEU（Papineni et al., 2002）、ROUGE（Lin, 2004）和TER（Snover et al., 2006），主要關注表面層面的文本差異，通常在評估語義方面存在不足（Freitag et al., 2020）。這一局限性已被指出阻礙了研究進展，并可能導致誤導性的研究結論。此外，其他使用神經嵌入來計算分數的方法（Liu et al., 2016; Sellam et al., 2020; Zhang et al., 2020），盡管在評估諸如語義等價性和流暢性方面有所考慮，但它們的靈活性有限，適用范圍受限（Freitag et al., 2021a）。此外，這些傳統方法與人類判斷的一致性較低（Liu et al., 2023c），且對分數的解釋性不足（Xu et al., 2023）。這些缺點突顯了NLG領域需要更細膩和全面的評估方法的需求。

大型語言模型（LLMs）涌現的能力為基于LLM的NLG評估提供了有前景的途徑，例如Chain-of-Thought（CoT）（Wei et al., 2022b）、零次學習指令跟隨（Wei et al., 2022a）、更好地與人類偏好相一致（Ouyang et al., 2022）等。這些特性使LLMs成為評估NLG輸出的有力工具，與傳統方法相比提供了更為復雜和更好地與人類一致的評估（Liu et al., 2023c；Kocmi and Federmann, 2023；Fu et al., 2023）。例如，LLMs可以生成合理的解釋來支持最終評分（Xu et al., 2023），而利用人類反饋的強化學習（RLHF）可以使LLMs的偏好更好地與人類一致（Ouyang et al., 2022；Zheng et al., 2023）。如圖1所示，這些方法的關鍵策略涉及指示LLMs使用提示來從不同方面評估生成的文本，無論是否有參考資料和來源。然而，眾多基于LLM的NLG評估方法，針對不同的任務和目標，缺乏統一的概述。

鑒于LLMs在NLG評估領域的工作量不斷增加，迫切需要一個綜合總結來導航這一領域內的復雜性和多樣化方法。本綜述旨在提供這一有前景領域的全面概述，呈現一個用于組織現有工作的連貫分類體系。我們詳細勾勒了關鍵研究及其方法論，并深入分析了這些方法的各種優點、局限性和獨特屬性。此外，我們探索了該領域內尚未解決的挑戰和開放性問題，從而為未來的學術探索勾畫出潛在的途徑。這一全面探索旨在激發讀者對LLM在NLG評估中方法的細微差別和不斷變化的動態有深入的了解。

本綜述的組織：我們呈現了利用LLMs進行NLG評估的首個全面綜述。首先，我們建立了NLG評估的正式框架，并提出了一個分類體系來分類相關工作（第2節）。隨后，我們深入并詳細闡述這些工作（第3節）。此外，我們對評估LLM評估者有效性的各種元評估基準進行了系統回顧（第4節）。鑒于這一領域的快速發展，我們確定并討論了一些可能指導未來研究的潛在開放問題（第5節）。在結束這一系統綜述時，我們倡導通過開發更公正、更穩健、更專業和統一的基于LLM的評估者來推動這一領域的發展。此外，我們強調整合其他評估方法，如人類判斷，以實現更全面和多面的評估框架。

在大型語言模型（LLMs）迅速發展的背景下，越來越多的研究將重點放在利用這些模型作為NLG任務的評估者。這種關注特別源于LLMs的高容量生成能力，導致出現了使用它們來對NLG文本進行質量評估的工作——我們將這種范式稱為生成性評估。這一類別大致分為基于提示的評估和基于微調的評估，其核心在于LLM評估者的參數是否需要微調。基于提示的評估通常涉及使用精心設計的提示指導強大的基礎LLMs來評估生成的文本。另一方面，基于微調的評估依賴于專門為NLG評估校準的開源LLMs。這兩種方法都適用于不同的評估協議，用于衡量生成文本的質量。

當前方法考慮不同的評分協議來判斷生成假設文本的質量。一些嘗試部署LLM評估者產生連續的標量分數，代表單個生成文本的質量——稱為? 基于分數的評估。其他方法計算基于提示、來源或參考文本（可選）的生成文本的生成概率作為評估指標，稱為? 基于概率的評估。在多樣化的領域中，某些工作將NLG評估轉化為分類任務，使用類似李克特量表的多級別對文本質量進行分類。在這種情況下，LLM評估者通過將生成的文本分配到特定的質量級別來評估其質量——稱為? 李克特風格評估。同時，? 成對比較方法涉及使用LLM評估者比較一對生成文本的質量。此外，? 組合評估方法利用多個不同LLMs或提示的LLM評估者，協調評估者之間的溝通以產生最終評估結果。最后，一些最新的研究探索了? 高級評估方法（考慮細粒度標準或結合連續思考或上下文學習的能力），旨在獲得更全面和細致的評估結果。

本節深入探討了這兩個主要類別的評估方法，每種方法都伴隨其相應的評估協議。表2提供了當前基于提示和基于微調評估方法的全面概述。該表詳細說明了它們各自的適應任務、基礎模型、評分協議和評估方面，以便于清晰參考。

基于LLM的評估者已在多種NLG任務中找到應用。與此同時，眾多現有和近期引入的元評估基準用于驗證這些評估者的有效性。這些基準包括了對生成文本質量的人類注釋，以及評估自動評估者和人類偏好之間一致性的程度。根據涉及的任務，這些基準可以被分類為單一場景示例，如機器翻譯和摘要，以及多場景基準。本節將提供這些NLG任務及其相關元評估基準的概述。

結論

在本綜述中，我們詳盡地調查了LLMs在NLG評估中的作用。我們全面的分類體系按三個主要維度對作品進行分類：評估功能、評估參考和評估任務。這個框架使我們能夠系統地分類和理解基于LLM的評估方法論。我們深入探討了各種基于LLM的方法，審視它們的優勢并比較它們的差異。此外，我們總結了NLG評估的普遍元評估基準。

在我們的研究中，我們強調了這一快速發展領域的進步和現存挑戰。盡管LLMs在評估NLG輸出方面提供了開創性的潛力，但仍有一些未解決的問題需要關注，包括偏見、穩健性、混合評估方法的整合，以及LLM評估者內部對特定領域和統一評估的需求。我們預計，解決這些挑戰將為更通用、有效和可靠的NLG評估技術鋪平道路。這樣的進步將顯著促進NLG評估的發展以及LLMs的更廣泛應用。

大型語言模型（LLMs）在自然語言處理方面展示了令人印象深刻的能力。然而，它們的內部機制仍然不清楚，這種不透明性對下游應用帶來了不希望的風險。因此，理解和解釋這些模型對于闡明它們的行為、局限性和社會影響至關重要。在本文中，我們引入了可解釋性技術的分類體系，并提供了關于解釋基于Transformer的語言模型方法的結構化概述。我們根據LLMs的訓練范式對技術進行分類：傳統的微調范式和基于提示的范式。對于每個范式，我們總結了生成個體預測的局部解釋和總體模型知識的全局解釋的目標和主要方法。我們還討論了用于評估生成解釋的度量標準，并討論了如何利用解釋來調試模型和提高性能。最后，我們比較了LLMs時代解釋技術面臨的關鍵挑戰和新興機會與傳統機器學習模型。

大型語言模型（LLMs），如BERT（Devlin等，2019a）、GPT-3（Brown等，2020）、GPT-4（Bubeck等，2023）、LLaMA-2（Touvron等，2023b）和Claude（AnthropicAI，2023），在各種自然語言處理（NLP）任務中展示出了令人印象深刻的性能。主要科技公司，如微軟、谷歌和百度，已在其商業產品和服務中部署了LLMs以增強功能。例如，微軟利用GPT-3.5來改善新Bing的搜索相關性排名（Mehdi，2023）。由于LLMs通常是復雜的“黑盒子”系統，其內部工作機制是不透明的，高復雜性使模型解釋變得更加具有挑戰性。這種模型不透明性的缺乏有時會導致生成有害內容或幻覺的產生（Weidinger等，2021）。因此，開發解釋能力以揭示這些強大模型的工作方式至關重要。

可解釋性指的是以人類可理解的方式解釋或呈現模型行為的能力（Doshi-Velez和Kim，2017；Du等，2019a）。提高LLMs的可解釋性至關重要，有兩個關鍵原因。首先，對于一般終端用戶，可解釋性通過以可理解的方式闡明模型預測背后的推理機制來建立適當的信任，無需技術專業知識。通過這種方式，終端用戶能夠理解LLMs的能力、局限性和潛在缺陷。其次，對于研究人員和開發人員，解釋模型行為提供了洞察力，以識別意外偏見、風險和性能改進的領域。換句話說，可解釋性充當了一個調試輔助工具，可以快速提高下游任務上的模型性能（Strobelt等，2018；Bastings等，2022；Yuksekgonul等，2023）。它有助于追蹤模型能力隨時間的變化，進行不同模型之間的比較，并開發可靠、道德和安全的模型，以供實際部署使用。 由于LLMs的獨特屬性，其可解釋性技術與傳統機器學習（ML）模型的技術有所不同。LLMs和傳統ML模型之間的差異可以歸因于多個方面。從數據的角度來看，ML模型以監督方式依賴人工構建的特征，而LLMs旨在自動從原始輸入數據中學習特征（Chai和Li，2019）。解釋LLMs捕捉了哪些特征以及這些特征中包含了什么知識是重要的。從模型的角度來看，傳統ML模型通常是針對具體任務設計的，具有不同的模型架構（Liu和Sun，2023）。相比之下，經過廣泛數據集的預訓練的LLMs可以通過微調泛化到各種下游任務（Yang等，2023）。此外，LLMs的注意力機制已被廣泛用于通過為輸入的相關部分分配更高的值來確定輸入的重要性（Hu，2020）。由于注意力權重中編碼的知識和模式可能提示了模型的理解，注意力權重可以被認為是精細調校模型的另一個重要解釋標準。此外，由于LLMs的性能更好，還應進一步研究transformer的組件，包括神經元、層和模塊，學到了什么以及它們是否有不同的功能。從應用的角度來看，傳統ML模型專注于低級模式識別任務，如解析和形態分析，而LLMs可以處理高級推理任務，如回答問題和常識推理（Lauriola等，2022）。特別是，理解LLMs在上下文學習和思維鏈提示以及幻覺現象方面的獨特能力對于解釋和改進模型至關重要。為了更好地理解和改進LLMs，有必要回顧和總結專為LLMs定制的解釋技術。 在本文中，我們提供了一種解釋基于Transformer的語言模型的方法的全面概述。在第2節中，我們介紹了應用LLMs的兩個主要范式：1）傳統的下游微調范式和2）提示范式。基于這一分類，我們在第3節中回顧了適用于微調LLMs的解釋方法，并在第4節中回顧了適用于提示LLMs的解釋方法。在第5節中，我們討論了解釋方法的評估。最后，在第6節中，我們進一步討論了與傳統機器學習模型相比解釋LLMs所面臨的研究挑戰，并提供了有關潛在未來研究方向的見解。本文旨在全面整理關于解釋復雜語言模型的最新研究進展。 LLMs的訓練范式

LLMs的訓練可以基本分為兩個范式，傳統微調和提示，根據它們如何用于適應下游任務。由于這兩個范式之間存在重大區別，因此分別提出了各種類型的解釋（如圖1所示）。 傳統微調范式

在這個范式中，首先對語言模型進行了大規模無標簽文本數據的預訓練，然后在特定下游領域的一組標記數據上進行微調，例如GLUE基準測試中的SST-2、MNLI和QQP（Wang等人，2019）。在微調過程中，很容易在語言模型的最終編碼器層上方添加完全連接的層，使其適應各種下游任務（Rogers等人，2021）。這個范式已經在包含多達十億參數的中型語言模型上取得了成功。例如，包括BERT（Devlin等人，2019a）、RoBERTa（Liu等人，2019）、ELECTRA（Clark等人，2020）、DeBERTa（He等人，2021）等。對于這個范式的解釋重點在于兩個關鍵領域：1）理解自監督預訓練如何使模型獲得語言的基礎理解（例如句法、語義和上下文關系）；以及2）分析微調過程如何賦予這些預訓練模型有效解決下游任務的能力。

**提示范式 **

提示范式涉及使用提示，例如自然語言句子中的空白，以便模型填充，實現零樣本學習或少樣本學習，而無需額外的訓練數據。根據其開發階段，這個范式下的模型可以分為兩種類型： 基礎模型：隨著LLMs的規模和訓練數據的增加，它們展示了令人印象深刻的新能力，無需額外的訓練數據。其中一種能力是通過提示實現少樣本學習。這種類型的范式通常適用于大規模語言模型（擁有數十億參數）（例如GPT-3（Brown等人，2020）、OPT（Zhang等人，2022b）、LLaMA-1（Touvron等人，2023a）、LLaMA-2（Touvron等人，2023b）、Falcon（Almazrouei等人，2023））。這些模型被稱為基礎模型或基礎模型，它們可以與用戶進行對話，無需進一步與人類喜好對齊。大規模模型通常適用于這種范式，規模超過10億。例如，LLaMA-2（Touvron等人，2023b）擁有高達700億個參數。基礎模型的解釋旨在理解模型如何學習在回應提示時利用其預訓練知識。 助手模型：基礎模型存在兩個主要限制：1）它們不能按照用戶的指令進行操作，因為預訓練數據包含少量指令-響應示例，2）它們傾向于生成有偏見和有毒的內容（Carlini等人，2023）。為了解決這些限制，基礎模型通過監督微調進一步進行微調（見圖2），以實現人類級別的能力，例如開放域對話。關鍵思想是通過將模型的響應與人類反饋和喜好對齊來實現。這個過程最典型的方式是通過（提示，響應）演示對和來自人類反饋的強化學習（RLHF）進行指導調整。模型通過自然語言反饋進行訓練，以進行復雜的多輪對話。屬于這一類別的模型包括OpenAI的GPT-3.5和GPT4（Bubeck等人，2023）、Anthropic的Claude（AnthropicAI，2023）以及一些開源模型，如Meta的LLaMA-2-Chat（Touvron等人，2023b）、Alpaca（Taori等人，2023）和Vicuna（Chiang等人，2023）。這些模型也可以稱為助手模型、聊天助手或對話模型。助手模型的解釋重點在于理解模型如何從對話中學習開放式互動行為。

**傳統微調范式的解釋 **

在本節中，我們回顧了針對采用預訓練和下游微調范式訓練的LLMs的解釋技術。首先，我們介紹了提供局部解釋（第3.1節）和全局解釋（第3.2節）的方法。在這里，局部解釋旨在提供對語言模型如何對特定輸入實例進行預測的理解，而全局解釋旨在提供對LLM整體工作方式的廣泛理解。接下來，我們討論了如何利用解釋來調試和改進模型（第3.3節）。

局部解釋

解釋的第一類別涉及解釋LLMs生成的預測。讓我們考慮這樣一種情景，我們有一個語言模型，并將特定文本輸入模型。模型隨后產生分類輸出，例如情感分類或下一個標記的預測。在這種情景下，解釋的作用是闡明模型生成特定分類或標記預測的過程。由于目標是解釋LLM如何為特定輸入做出預測，我們將其稱為局部解釋。這個類別包括四個主要方法流，包括基于特征歸因的解釋、基于注意力的解釋、基于示例的解釋和自然語言解釋。

**全局解釋 **

不同于旨在解釋模型的個體預測的局部解釋，全局解釋有助于從模型的角度理解LLMs的工作方式。全局解釋旨在理解個體組件（神經元、隱藏層和較大模塊）編碼了什么，以及解釋了個體組件所學習的知識/語言屬性。我們考察了三種主要的全局解釋方法：探測方法，用于分析模型表示和參數；神經元激活分析，用于確定模型對輸入的響應性；以及基于概念的方法。

**提示范式的解釋 **

在本節中，我們介紹了解釋屬于提示范式的模型的技術，包括1）解釋基礎模型，如LLaMA-2（第4.1節），2）解釋助手模型，如LLaMA-2-Chat（第4.2節），以及3）如何利用LLMs的推理和解釋能力生成用戶友好的解釋（第4.3節）。

基礎模型解釋

隨著語言模型的規模增大，它們展示出了新的能力，如少樣本學習，即僅從少量示例中學習概念的能力。它們還展示了一種思維鏈（CoT）提示能力。鑒于這些新興屬性，解釋性研究有三個主要目標：1）研究提供解釋是否實際有助于模型自身更快地從僅有少量示例中“理解”新任務，2）理解這些大型語言模型如何能夠迅速從有限示例中掌握新任務，從而幫助終端用戶解釋模型的推理，以及3）解釋思維鏈提示。

**助手模型解釋 **

由于大規模無監督預訓練和有監督對齊微調，屬于這一范式的LLMs具有強大的推理能力。然而，它們的巨大規模也使它們容易生成問題輸出，如幻覺。解釋性研究旨在：1）闡明對齊微調的作用，2）分析幻覺產生的原因。

結論

在本文中，我們提供了對LLMs的可解釋性技術的全面概述。我們總結了基于模型訓練范式的局部和全局解釋方法。我們還討論了如何利用解釋來改進模型、評估以及主要挑戰。未來的重要發展選項包括開發針對不同LLMs的解釋方法、評估解釋的忠實性，以及提高人類可解釋性。隨著LLMs的不斷進步，可解釋性將變得極其重要，以確保這些模型具有透明性、公平性和益處。我們希望這份調查為這一新興研究領域提供了有用的組織，同時突顯了未來工作的開放性問題。

知識圖譜嵌入是監督學習模型，學習帶標簽、有向多圖的節點和邊的向量表示。我們描述了它們的設計原理，并解釋了為什么它們在圖表示學習和更廣泛的NLP社區中受到越來越多的關注。我們強調了它們的局限性、開放的研究方向和真實世界的用例。除了理論概述之外，我們還提供了一個handson會議，在那里我們展示了如何在實踐中使用這些模型。