亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大型語言模型（LLMs）自從2022年11月ChatGPT發布以來，因其在廣泛的自然語言任務上的強大表現而受到了大量關注。LLMs通過在海量文本數據上訓練數十億模型參數獲得了通用語言理解和生成的能力，正如擴展定律[1]、[2]所預測的。盡管LLMs的研究領域非常新近，但它正在多個不同的方向上迅速發展。在本文中，我們回顧了一些最突出的LLMs，包括三個受歡迎的LLM家族（GPT, LLaMA, PaLM），并討論了它們的特點、貢獻和限制。我們還概述了構建和增強LLMs的技術。接著，我們調研了為LLM訓練、微調和評估準備的流行數據集，回顧了廣泛使用的LLM評估指標，并比較了幾種受歡迎的LLMs在一組代表性基準測試上的性能。最后，我們通過討論開放性挑戰和未來研究方向來結束本文。

//www.zhuanzhi.ai/paper/6211cbd80a246ae8e282d1b2ebf0ab23

1. 引言

大型語言模型（LLMs）自ChatGPT于2022年11月發布以來，因其在廣泛的自然語言任務上的強大表現而吸引了大量關注。LLMs通過在大量文本數據上訓練數十億參數來獲得通用語言理解和生成能力，這與擴展定律的預測相符。雖然LLMs的研究領域非常新，但它在許多不同方面迅速發展。在本文中，我們回顧了一些最突出的LLMs，包括三個受歡迎的LLM家族（GPT, LLaMA, PaLM），并討論了它們的特點、貢獻和限制。我們還概述了用于構建和增強LLMs的技術。然后，我們調查了為LLM訓練、微調和評估準備的流行數據集，回顧了廣泛使用的LLM評估指標，并比較了幾種受歡迎的LLMs在一組代表性基準測試上的性能。最后，我們通過討論開放性挑戰和未來研究方向來結束本文。

LLMs是基于神經網絡的大規模預訓練統計語言模型。LLMs的成功是數十年語言模型研究和開發積累的結果，可以分為四個波浪，這些波浪有不同的起點和速度：統計語言模型、神經語言模型、預訓練語言模型和LLMs。

統計語言模型（SLMs）將文本視為單詞序列，并估計文本的概率為其單詞概率的乘積。SLMs的主要形式是馬爾可夫鏈模型，即n-gram模型，它計算一個詞的概率，條件是其前n-1個詞。由于單詞概率是根據從文本語料庫收集的單詞和n-gram計數估計的，模型需要通過使用平滑處理數據稀疏性（即，為未見單詞或n-gram分配零概率）。 早期的神經語言模型（NLMs）通過將單詞映射到低維連續向量（嵌入向量）并使用神經網絡基于其前序單詞的嵌入向量聚合來預測下一個單詞，來處理數據稀疏性。NLMs學習的嵌入向量定義了一個隱藏空間，其中向量之間的語義相似性可以通過它們的距離輕松計算。 預訓練語言模型（PLMs）與早期NLMs不同，它們是任務不可知的。PLMs的訓練和推理遵循預訓練和微調范式，其中基于循環神經網絡或變換器的語言模型在Web規模的未標記文本語料庫上進行預訓練，然后使用少量（標記的）特定任務數據進行微調。 大型語言模型（LLMs）主要指基于變換器的神經語言模型，包含數十億到數千億參數，預訓練于大量文本數據。與PLMs相比，LLMs不僅在模型大小上要大得多，而且在語言理解和生成能力上也更強，更重要的是，它們展示了在小規模語言模型中不存在的新興能力。這些新興能力包括在推理時從提示中給出的少量示例學習新任務的上下文內學習、在不使用明確示例的情況下遵循新類型任務指令的指令跟隨，以及通過將復雜任務分解為中間推理步驟來解決復雜任務的多步驟推理。 通過高級使用和增強技術，LLMs可以部署為所謂的AI代理：感知環境、做出決策并采取行動的人工實體。以前的研究集中在為特定任務和領域開發代理。LLMs展示的新興能力使基于LLMs構建通用AI代理成為可能。盡管LLMs被訓練以在靜態設置中產生響應，但AI代理需要采取行動與動態環境互動。因此，基于LLM的代理通常需要增強LLMs，例如，從外部知識庫獲取更新的信息，驗證系統操作是否產生預期結果，以及應對事情不如預期進行時的情況等。我們將在第四節詳細討論基于LLM的代理。 本文的其余部分，第二節介紹LLMs的最新進展，重點是三個LLM家族（GPT，LLaMA和PaLM）及其他代表性模型。第三節討論了如何構建LLMs。第四節討論了如何使用LLMs，并為現實世界的應用增強LLMs。第五節和第六節回顧了評估LLMs的流行數據集和基準，總結了報告的LLM評估結果。最后，第七節通過總結挑戰和未來研究方向來結束本文。

II. 大型語言模型在這一部分，我們首先回顧早期的預訓練神經語言模型，因為它們是LLMs的基礎，然后我們將討論三個LLMs家族：GPT、LlaMA和PaLM。表I提供了這些模型及其特性的概覽。

大型語言模型（LLMs）主要指基于變換器的預訓練語言模型（PLMs），包含數十億到數百億的參數。與上述的PLMs相比，LLMs不僅在模型大小上要大得多，而且還展示了更強的語言理解和生成能力以及在小規模模型中不存在的新興能力。下面，我們將回顧三個LLM家族：GPT、LLaMA和PaLM，如圖8所示。

如何構建LLMs？

在本節中，我們首先回顧用于LLMs的流行架構，然后討論從數據準備、標記化，到預訓練、指令調整和對齊等一系列數據和建模技術。 一旦選擇了模型架構，訓練LLM涉及的主要步驟包括：數據準備（收集、清洗、去重等）、標記化、模型預訓練（以自監督學習的方式）、指令調整和對齊。我們將在下面的各個小節中解釋每一個步驟。這些步驟也在圖25中示意。

如何使用和增強LLMs？

一旦LLMs被訓練好，我們就可以使用它們為各種任務生成所需的輸出。LLMs可以通過基本的提示直接使用。然而，為了充分發揮它們的潛力或解決某些缺陷，我們需要通過一些外部手段來增強模型。在本節中，我們首先簡要概述LLMs的主要缺點，更深入地探討了幻覺問題。然后，我們描述了如何通過提示和一些增強方法不僅解決這些限制，還可以增強LLMs的能力，甚至將LLM轉變為具有與外部世界交互能力的全功能AI代理。

評估不同的LLMs也可以從不同的角度進行。例如，參數數量大幅減少的LLM與參數數量更多的LLM并不完全可比。從這個角度出發，我們也將LLMs分為四類：小型（等于或少于10億參數）、中型（在10億到100億之間）、大型（在100億到1000億之間）和超大型（超過1000億）。我們使用的另一種LLM分類是它們的主要用途。我們認為每個LLM要么是：基礎模型（預訓練的語言模型，沒有指令微調和聊天微調）、指令模型（只有指令微調的預訓練語言模型）、聊天模型（有指令和聊天微調的預訓練語言模型）。除了所有描述的分類之外，還需要另一個分類來區分原始模型和調整過的模型。原始模型是那些作為基礎模型或微調模型發布的。調整過的模型是那些抓住原始模型并用不同的數據集或甚至不同的訓練方法進行調整的模型。同樣值得注意的是，原始模型通常是基礎模型，已經在特定數據集上進行了微調，甚至是不同的方法。模型權重的可用性，不論許可如何，是我們分類中的另一個類別。權重公開可用（即使通過請求）的模型被標記為公共模型，而其他的則被標記為私有模型。表III展示了本文余下部分使用的所有這些定義和縮寫。圖43直觀地說明了這些。

結論

本文對過去幾年發展的LLMs進行了綜述。我們首先提供了早期預訓練語言模型（例如，BERT）的概覽，然后回顧了三個受歡迎的LLM家族（GPT、LLaMA、PaLM）和其他代表性LLMs。接著，我們調研了構建、增強和使用LLMs的方法和技術。我們回顧了流行的LLM數據集和基準，并比較了一組杰出模型在公共基準上的性能。最后，我們提出了開放性挑戰和未來研究方向。

大型語言模型（LLMs）在廣泛的任務中取得了顯著的成功。由于LLMs令人印象深刻的規劃和推理能力，它們被用作自動執行許多任務的自主智能體。最近，基于將一個LLM作為單一規劃或決策智能體的發展，基于LLM的多智能體系統在復雜問題解決和世界模擬方面取得了相當的進展。為了向社區提供這一動態領域的概覽，我們呈現這篇綜述，以提供關于基于LLM的多智能體系統的基本方面及挑戰的深入討論。我們的目標是讓讀者對以下問題獲得實質性的見解：基于LLM的多智能體模擬哪些領域和環境？這些智能體如何被描述，它們如何通信？什么機制有助于智能體能力的增長？對于那些有興趣深入研究這一領域的人，我們還總結了常用的數據集或基準，以便他們方便地訪問。為了讓研究人員了解最新的研究，我們維護一個開源的GitHub倉庫，致力于概述基于LLM的多智能體系統的研究。

1 引言

最近，大型語言模型（LLMs）展現出了達到與人類相當的推理和規劃能力的顯著潛力。這種能力完全符合人類對能夠感知周圍環境、做出決策并作出響應的自主智能體的期待[Xi等，2023；Wooldridge和Jennings，1995；Russell和Norvig，2009；Guo等，2023；Liang等，2023]。因此，基于LLM的智能體已被研究和快速發展，以理解和生成類似人類的指令，促進在廣泛的上下文中進行復雜的互動和決策[Yao等，2023；Shinn等，2023；Li等，2023d]。及時的綜述文章系統地總結了基于LLM的智能體的進展，如在文獻[Xi等，2023；Wang等，2023b]中所見。

基于單個LLM智能體的啟發性能力，已提出基于LLM的多智能體，以利用多個智能體的集體智能和專業化輪廓及技能。與使用單一LLM驅動的智能體的系統相比，多智能體系統通過1) 將LLMs專業化為具有不同能力的各種不同智能體，以及2) 使這些多樣化的智能體之間進行互動，有效地模擬復雜的現實世界環境，提供了先進的能力。在這一背景下，多個自主智能體協作參與規劃、討論和決策，反映了人類團隊工作在解決問題任務中的合作本質。這種方法利用了LLMs的溝通能力，借助它們生成文本進行交流和對文本輸入的響應能力。此外，它利用了LLMs在各個領域的廣泛知識和專門化特定任務的潛力。最近的研究已經展示了使用基于LLM的多智能體解決各種任務的有希望的結果，如軟件開發[Hong等，2023; Qian等，2023]、多機器人系統[Mandi等，2023; Zhang等，2023c]、社會模擬[Park等，2023; Park等，2022]、政策模擬[Xiao等，2023; Hua等，2023]以及游戲模擬[Xu等，2023c; Wang等，2023c]。由于這個領域的跨學科研究性質，它吸引了來自社會科學、心理學和政策研究等不同背景的研究者，研究論文的數量正在迅速增加，如圖1所示（受[Gao等，2023b]設計的啟發），從而擴大了基于LLM的多智能體研究的影響。盡管如此，早期的工作是獨立進行的，導致缺乏系統回顧以總結它們，建立這個領域的全面藍圖，并檢查未來的研究挑戰。這強調了我們工作的重要性，并作為呈現這篇綜述論文的動機，致力于基于LLM的多智能體系統的研究。

我們期望我們的綜述能對LLMs的研究和開發以及利用LLMs進行的更廣泛的跨學科研究做出重大貢獻。讀者將獲得關于基于LLM的多智能體（LLM-MA）系統的全面概覽，把握基于LLMs建立多智能體系統所涉及的基本概念，并捕捉到這一動態領域中最新的研究趨勢和應用。我們認識到這個領域正處于初級階段，并且隨著新方法和應用的迅速發展。為了提供一種持續的資源來補充我們的綜述論文，我們維護了一個開源的GitHub倉庫。我們希望我們的綜述能激發進一步的探索和創新，以及在廣泛的研究領域中的應用。

為了幫助來自不同背景的個人理解LLM-MA技術，并補充現有的綜述通過解決未解決的問題，我們以以下方式組織了我們的綜述論文。在第2節中闡述背景知識后，我們提出了一個關鍵問題：LLM-MA系統如何與協作任務解決環境對齊？為了回答這個問題，我們在第3節提出了一個全面的框架，用于定位、區分和連接LLM-MA系統的各個方面。我們通過討論： 1）智能體-環境界面，詳細說明智能體如何與任務環境互動； 2）智能體輪廓，解釋一個智能體如何被LLM描述以以特定方式行為； 3）智能體通信，考察智能體如何交換信息和協作；以及 4）智能體能力獲取，探索智能體如何發展其解決問題的能力。

關于LLM-MA研究的另一個視角是它們的應用。在第4節，我們將當前應用分為兩個主要流：用于問題解決的多智能體和用于世界模擬的多智能體。為了指導個人識別合適的工具和資源，我們在第5節提出了用于研究LLM-MA的開源實現框架，以及可用的數據集和基準。基于前面的總結，我們在第6節開放了對未來研究挑戰和機會的討論。結論在第7節中總結。

解析LLM-MA系統：界面、輪廓、通信和能力

在本節中，我們深入探討LLM-MA系統的復雜性，其中多個自主智能體參與類似于人類群體動力學的協作活動，應對問題解決場景。我們要解決的一個關鍵問題是，這些LLM-MA系統如何與它們的操作環境以及它們旨在實現的集體目標對齊。為了闡明這一點，我們在圖2中展示了這些系統的通用架構。我們的分析解剖了這些系統的操作框架，重點關注四個關鍵方面：智能體-環境界面、智能體輪廓、智能體通信和智能體能力獲取。

應用

LLM-MA系統已在廣泛的應用中被使用。我們在表1中總結了兩類應用：問題解決和世界模擬。我們將在下面詳細闡述這些應用。請注意，這是一個快速發展的研究領域，幾乎每天都有新應用出現。我們維護一個開源倉庫來報告最新的工作。

使用LLM-MA進行問題解決的主要動機是利用具有專門專業知識的智能體的集體能力。這些智能體，每個都作為個體行動，協作以有效地解決復雜問題，例如軟件開發、具體化智能體、科學實驗和科學辯論。 LLM-MA的另一個主流應用場景是世界模擬。這一領域的研究正在迅速增長，涵蓋了包括社會科學、游戲、心理學、經濟學、政策制定等在內的多種領域。在世界模擬中使用LLM-MA的關鍵原因在于它們出色的角色扮演能力，這對于現實地描繪模擬世界中的各種角色和觀點至關重要。世界模擬項目的環境通常被設計來反映被模擬的特定場景，智能體以各種輪廓設計以匹配這一背景。與專注于智能體合作的問題解決系統不同，世界模擬系統涉及多種智能體管理和通信方法，反映了現實世界交互的復雜性和多樣性。

結論

基于LLM的多智能體展現了激勵人心的集體智能，并迅速在研究者中獲得了越來越多的興趣。在這篇綜述中，我們首先系統回顧了LLM-MA系統的發展，通過從不同方面定位、區分和連接它們，涉及智能體-環境界面、LLMs對智能體的描述、管理智能體通信的策略以及能力獲取的范式。我們還總結了LLM-MA在問題解決和世界模擬中的應用。通過突出常用的數據集和基準，并討論挑戰和未來機會，我們希望這篇綜述能成為各個研究領域的研究者們的有用資源，激發未來的研究去探索基于LLM的多智能體的潛力。

大型語言模型（LLMs）的出現代表了自然語言處理（NLP）領域的一個顯著突破，為文本理解和生成方面的顯著進展做出了貢獻。然而，在這些進展中，值得注意的是，LLMs在上下文長度外推方面常常面臨限制。理解并擴展LLMs的上下文長度對于提高它們在各種NLP應用中的性能至關重要。在這份調查報告中，我們深入探討了為什么它是重要的多方面因素以及卓越技術可能為NLP應用帶來的潛在變革。我們研究了與擴展上下文長度相關的固有挑戰，并對研究人員采用的現有策略進行了有組織的概述。此外，我們討論了評估上下文擴展技術的復雜性，并強調了研究人員在該領域面臨的未解之謎。此外，我們探討了研究社區是否就評估標準達成共識，并確定了需要進一步協商的領域。這份全面的調查旨在為研究人員提供有價值的資源，引導他們了解上下文長度擴展技術的細微之處，并促進對這一不斷發展領域未來進展的討論。

大型語言模型（LLMs）的成功案例隨處可見，隨著現代LLMs的出現，它們顯著推動了眾多自然語言處理（NLP）挑戰的發展，達到了前所未有的高度。科學努力的自然進展是朝著新的和具有挑戰性的領域前進。在雄心勃勃的倡議中，一個值得注意的努力是擴展LLMs的可理解性以包括非常長的上下文。OpenAI提出了128頁上下文可理解性的概念，而Anthropic最近提出了超過200頁的更長上下文。然而，這些商業發布和公告中存在顯著的科學嚴謹不足。在這個背景下，引發了幾個問題：(a) 有哪些應用需要理解如此擴展的上下文？(b) 當LLMs理解更長的上下文時，我們如何有效地衡量應用程序的改進性能？(c) 雖然注意力機制在NLP中得到了廣泛研究，但是否需要設計一種專門針對更長上下文的新型注意力形式？

采用旨在處理長上下文的高級技術有望重塑語言模型的格局。改進的長上下文管理方法可以提高模型性能，從而實現更準確和細致入微的語言理解。這些進步有望增強模型捕捉長距離依賴性的能力，從而提高其在各種語言任務中的整體有效性，如：(接下來列舉具體的任務)。

? 文檔摘要：改進長上下文處理有助于更加連貫和簡明地進行文檔摘要，捕捉擴展文本段落中的關鍵信息，并提高生成摘要的質量。全面理解整個文檔，同時識別關鍵詞和主題，需要熟練管理廣泛的上下文范圍。在這種情況下使用較短的窗口將限制生成能力，可能導致關鍵細節的忽視。此外，使用較長的上下文窗口有助于減少歧義，因為它妨礙了沒有對文檔的復雜性進行全面把握的情況下利用微妙信息。這反過來使LLM能夠以更高的洞察力和準確性進行摘要過程的導航。

? 問答系統：考慮長上下文的能力提高了模型對復雜的問答關系的理解，從而產生更準確和上下文相關的回答。此外，LLMs在處理問答任務方面表現出更高的熟練度，因為解決代詞的共指問題與上下文實體密切相關。此外，在面對多輪對話時，擴展上下文窗口在促進連續對話中話題一致性跟蹤方面發揮了關鍵作用。

? 語言翻譯：在更大文本段落中改進上下文保留增強了模型提供準確翻譯的能力，特別是在上下文微妙性起關鍵作用的情況下。多義詞匯在翻譯領域（Falkum和Vicente，2015）中構成了重要障礙，而擴展上下文窗口是在上下文中定位這種詞匯的明顯輔助。此外，在面對技術術語時，LLMs在擁有擴展的輸入范圍時表現出更高的效能，尤其是在容納特定領域上下文微妙性方面。

? 指代消解：高級處理長上下文有助于解決擴展文本跨度內對實體的引用，從而提高了指代消解的準確性。指代消解過程涉及建立代詞與其對應的先行詞之間的聯系。LLMs中上下文窗口的擴展有助于更全面地評估信息，因此通過包括遠程引用和上下文相關的詳細信息來協助精確的代詞解析。

? 對話型人工智能：通過長上下文模型促進對擴展對話的更好跟蹤和理解，可以在對話型人工智能系統中產生更具上下文適應性的回應。擴展上下文窗口在為LLMs定位幽默、諷刺或微妙表達在對話環境中的作用方面起到關鍵作用。這對于生成符合正在進行的對話中的語氣和風格微妙之處的回應至關重要。

盡管持續的研究工作，仍然缺乏一份全面的涵蓋了用于外推上下文長度的技術范圍的概述。此外，LLMs的不斷發展已經引入了用于外推上下文長度的創新方面，這給現有的擴展方法帶來了挑戰，并強調了需要全面、多樣化的外推方法的必要性。 本文標志著LLMs上下文長度擴展技術的第一次全面調查。如圖1所示，我們深入研究了在微調期間可以實現的上下文長度擴展的現有工作。隨后，我們探討了LLMs上下文長度外推的潛在未來挑戰。 當代技術 已經引入了多種方法來增強LLMs的上下文能力。為了進行系統分類和增強清晰度，我們提出了一個分類法，如圖1所示。該分類法劃分為兩個主要類別：插值和外推技術。插值包括從不同的來源或上下文中融合信息以提高預測精度。這種技術適用于混合來自不同文本段落或包含不同上下文長度的不同模型的信息。相反，外推涉及對觀察數據的范圍之外的值進行預測，旨在擴展模型的理解能力超出其規定的訓練上下文長度。然后，還有用于進一步分類的零樣本（Rashid等人，2021）和微調技術。分類法中的其他小節將在隨后的部分中討論。

位置技術

與絕對位置嵌入不同，相對位置嵌入是基于鍵（keys）和查詢（queries）之間的差異制定的（Shaw等人，2018）。相對位置嵌入的一種普遍變體在Transformer-XL中引入（Dai等人，2019b；Yang等人，2019）。計算鍵和查詢之間的注意力得分已經改變，以集成與相對位置對應的可訓練嵌入。與絕對位置嵌入相比，配備相對位置嵌入的Transformer展示了能夠推廣到超出訓練中遇到的長度的序列的能力，表現出了外推的熟練性（Press等人，2021b）。與位置編碼相關的一個重復約束是無法擴展到訓練期間觀察到的上下文窗口之外。已經進行了一些工作來克服這些限制。

外推在這次探索中，我們將其分類并深入探討了兩種主要策略：外推和插值。外推技術旨在擴展模型對超出其最初觀察到的長度的序列的理解，采用創新策略來捕捉在擴展范圍內的依賴關系。另一方面，插值技術集中于改進模型在觀察范圍內平滑擴展對上下文的理解能力，從而提高了在最初遇到的上下文長度內的序列性能。以下部分詳細介紹了每個類別內的技術，提供了有關應對LLMs上下文長度動態特性所采用的多種方法的見解。

插值在上下文長度外推的背景下，插值技術專注于對模型進行微調或優化，以有效處理在訓練期間遇到的上下文長度范圍內的序列。重點是改進模型平滑擴展其對觀察范圍內上下文的理解能力，從而提高其在最初遇到的上下文長度內序列的性能。這些技術有助于更加微妙和改進的上下文理解，確保模型在訓練期間接觸到的上下文長度內表現最佳。

總結而言，本文全面審查了擴展LLMs上下文長度的多種技術和方法。所提供的分類法將這些方法分為兩種廣泛的策略 - 外推和插值。外推技術旨在擴展模型處理超出其最初訓練上下文長度的序列的能力。這包括利用專門組件，如位置編碼、注意機制和記憶增強來實現即時泛化的零樣本方法。還探討了微調策略，以使模型適應在預訓練期間未遇到的更長上下文。插值技術專注于優化模型，以在觀察訓練長度內平滑擴展上下文理解。專門的注意機制和提示壓縮有助于高效處理長上下文。微調插值適應模型以在序列開始超過訓練長度時實現優雅過渡。本調查提供了有關技術的多樣性的見解，涵蓋提示工程、注意機制、位置編碼和記憶增強等領域。它突出了模型體系結構和訓練方法的創新，旨在解決上下文長度的限制。廣泛的經驗分析證實了這些多樣化技術在基準測試和下游任務上的有效性。通過提供結構化分類法和對現有文獻的綜述，本文有助于更清晰地理解LLMs上下文長度擴展領域的不斷演變。討論確定了有前景的研究方向，強調了繼續努力開發能夠處理廣泛上下文信息的模型的重要性。隨著對長篇文本生成和對大型語料庫進行推理的興趣不斷增加，改進的上下文處理將在未來幾年繼續是一個活躍的研究領域。

大型基礎模型，包括大型語言模型（LLMs）、視覺轉換器（ViTs）、擴散以及基于LLM的多模態模型，正在徹底改變整個機器學習生命周期，從訓練到部署。然而，這些模型在多功能性和性能上的顯著進步，卻以硬件資源的巨大成本為代價。為了以可擴展且環境可持續的方式支持這些大型模型的發展，開發資源高效的策略已成為重點。本綜述深入探討了此類研究的關鍵重要性，考察了算法和系統層面的方面。它提供了對現有文獻的全面分析和寶貴見解，涵蓋了從前沿模型架構和訓練/服務算法到實際系統設計和實現的廣泛主題。此綜述的目標是提供對當前方法如何應對大型基礎模型所帶來的資源挑戰的全面理解，并可能激發此領域未來的突破。

//www.zhuanzhi.ai/paper/92a73bb1c3daa8cff7f79eaa9c9c5053

在人工智能（AI）這一快速發展的領域中，一場范式轉變正在進行中。我們正在見證從專門化、碎片化的深度學習模型向通用、一體適用的基礎模型的過渡。這些先進的AI系統能夠在開放世界的背景下操作，與開放詞匯和圖像像素進行交互，應對未見的AI任務，即零樣本能力。這些模型的例子包括：（1）大型語言模型（LLMs），如GPTs [39]，能夠以提示的形式處理幾乎所有NLP任務；（2）視覺變換器模型（ViTs），如掩蔽自編碼器 [133]，能夠處理各種下游視覺任務；（3）潛在擴散模型（LDMs），如穩定擴散 [310]，能夠用任意基于文本的提示生成高質量圖像；（4）多模態模型，如CLIP [296]和ImageBind [116]，將不同模態數據映射到同一潛在空間，并廣泛用作跨模態任務（如圖像檢索/搜索和視覺問題回答）的支撐。這種靈活性和通用性標志著AI早期時代的顯著轉變，為AI與世界交互設定了新的標準。 這些基礎模型的成功深深植根于它們的可擴展性：與前代模型不同，這些模型的準確性和泛化能力可以隨著更多數據或參數的增加而持續擴展，而無需改變底層簡單的算法和架構。一個令人印象深刻的證據是擴展定律 [166]：它描述了基于變換器的模型性能如何可以預測地隨模型規模和數據量的增加而改善；直到今天，這一定律依然成立。這種可擴展性不僅是模型大小的問題；它還擴展到它們處理日益復雜任務的能力，使它們成為走向人工通用智能（AGI）之路的基石。

然而，可擴展性的代價是巨大的資源需求。基礎模型的本質是對訓練和部署的資源極度饑渴。這些資源不僅包括計算處理器，如GPU和TPU，還包括內存、能源和網絡帶寬。例如，LLaMa-2-70B的預訓練需要1.7×百萬GPU小時，并消耗2.5×1012焦耳的能量。估計的總排放量是291噸二氧化碳當量。超出訓練階段，數據處理、實驗和推理階段的電力消耗相當甚至更多，據Meta AI [388]稱。最近的一項分析 [77]揭示，為了滿足當前AI能力和采用的持續趨勢，英偉達需要在2027年前每年交付150萬AI服務器單元。這些服務器滿負荷運行將至少消耗85.4太瓦時的電力——超過許多國家，如新西蘭和奧地利，一整年的用電量，如圖1所示。隨著基礎模型在規模和復雜性上的持續增長，它們的資源需求通常呈指數級增長，這在它們的發展和部署中構成了重大挑戰。 大型基礎模型巨大的資源足跡也阻礙了其民主化。截至2023年底，只有少數主要參與者有能力訓練和部署最先進的基礎模型，從而對公眾擁有強大的控制權，有可能以他們偏好的方式操縱公眾。與許多輕量級DNN不同，這些模型是在云端而非設備上提供服務的 [403, 440]；這使得數據隱私保護幾乎不可能。盡管最近，智能手機廠商一直在吹噓在本地運行大型基礎模型，一些先驅引擎也被開發出來用于設備上的LLMs [114, 11, 10]，但展示的模型限于相對較小的規模（例如<10B），且尚未在現實世界中部署。 因此，大量研究致力于提高這些基礎模型的效率。這些努力涵蓋了從優化算法到系統級創新的廣泛方法，專注于在不損害性能的情況下減少這些模型的資源足跡。本綜述旨在深入探討這些研究工作，探索使基礎模型更高效的多樣化策略。我們將審視算法效率、系統優化、數據管理技術的進步，以及開發較少資源密集的新型架構。綜述還涵蓋了從云到邊緣和設備的范圍，大型基礎模型在這些領域也獲得了巨大關注。通過這一探索，我們旨在提供對基礎模型領域中資源高效算法和系統的當前狀態和未來方向的全面理解。 范圍和理念。本綜述的范圍主要由以下幾個方面定義。(i) 我們只調查算法和系統創新；我們排除了大量在硬件設計方面的工作，這同樣重要，但已被很好地總結 [174]。(ii) 本綜述中的資源定義主要限于物理資源，包括計算、內存、存儲、帶寬等；我們排除了可以被視為資源的訓練數據（標簽）和隱私。(iii) 我們主要調查在頂級計算機科學會議上發表的論文，即CSRankings包含的論文。我們還手動挑選了arXiv上相關且可能產生高影響的論文。(iv) 我們主要調查2020年之后發表的論文，因為AI的創新正在快速進行，舊知識和方法經常被推翻。 盡管如此，我們計劃將來擴展本綜述的范圍；我們也將積極維護和更新它。 組織。圖2展示了本綜述的組織結構。 全開源。本綜述的所有材料都可在以下網址免費獲取： https：github.com/UbiquitousLearning/Efficient_Foundation_Model_Survey

模型架構是資源高效的大型基礎模型（FMs）的核心，包括注意力機制、解碼器及其替代方案。主要目標是降低計算和內存開銷。圖8直觀地展示了這種資源高效架構的分類，考慮到了大型基礎模型的標準核心模塊和傳統分類。資源高效架構由高效注意力機制、動態神經網絡、特定于擴散的優化和特定于視覺變換器（ViT）的優化構成。

本節重點介紹在算法層面上的資源高效大型基礎模型（FMs）技術。與傳統的深度神經網絡（DNNs）相比，大型基礎模型表現出新的特征，如其龐大的參數集和自回歸推理。這種差異導致了大量資源高效算法的出現，這些算法根據基礎模型的生命周期進行分類：預訓練、微調、服務算法以及模型壓縮，如圖11所示。

本綜述為資源高效的大型基礎模型的最新文獻提供了全面、系統的概覽。我們首先介紹了流行基礎模型的初步背景和成本分析，包括大型、視覺和多模態模型。然后我們深入探討了模型架構、算法和系統設計，以實現更高效的大型基礎模型生命周期。未來，這一領域的研究將繼續（甚至更加）重要，因為擴展定律保證了更強大的AI與越來越大的模型的光明未來。這種研究也高度跨學科，涉及多個計算機科學社區，如機器學習、NLP/CV/語音、網絡、云計算、邊緣計算等。

資源高效的大型基礎模型研究機會極大，尤其值得關注的是： （1）云-邊緣混合部署。為了實現無處不在、隱私保護、高可用性的通用智能，許多基礎模型最終將沉入靠近用戶的設備 [406, 403, 404, 441]。已經進行了初步努力，將LLaMA-7B帶到智能手機和個人電腦上。關鍵應用包括個人助手/代理 [219, 383]、多模態信息檢索 [198] 等。未來，基礎模型在設備上運行的規模和速度將成為硬件供應商商業模式中的關鍵競爭力。 （2）利用模型稀疏性。隨著模型變大，對于給定任務的模型激活比率會變小。最近的文獻 [244] 發現，即使是密集訓練的非MoE模型也表現出運行時激活稀疏性，可以利用這一點來減少推理時間和內存占用。我們認為，利用模型和激活稀疏性將是實現可持續模型規模擴展的有前景的方向。可能會出現比MoE更高效的稀疏架構。 （3）大型基礎模型作為一種服務。在云端和設備上，大型基礎模型正在統一DNN生態系統 [427]。最終，它將成為像今天的Web和數據庫一樣的通用服務。一方面，它為高度硬件-算法協同設計和優化提供了機會；同時，它也在系統和基礎設施設計方面提出了新的挑戰，如調度、負載均衡和安全性&隔離。 （4）作為整體系統優化的代理。未來，尤其是LLMs將作為建立代理的關鍵構建塊 [219, 383]。其效率不應被視為獨立的LLM服務；相反，算法和系統設計需要適應特定的代理工作流。例如，一個代理系統可能需要多個基礎模型協同工作，在這個過程中存在內在的邏輯依賴性。在這個過程中，選擇適合每個任務的適當基礎模型，并在給定的硬件資源集上調度它們以最大化代理性能的設計空間是巨大的。 （5）實用的隱私保護FM。隨著用戶數據上傳到云端進行FM處理的數量持續增加，隱私問題的嚴重性相應升級。現有方法包括聯邦學習、同態加密和解糾纏學習。盡管在理論上是健全的，但這些方法仍然面臨顯著的性能挑戰，阻礙了它們的大規模野外部署。一個有前景的方向涉及為大型FMs專門設計的創新隱私保護技術的開發，或現有方法的改進，以有效地平衡隱私與性能。 （6）理解擴展定律。擴展定律推動了大型FMs的成功，同時它似乎也是輕量級FMs的一個基本限制 - 小規模模型不太可能比更大的模型具有更高級別的智能。理解擴展定律背后的機制和理論將有助于解釋（并希望打破）這一限制。同時，設計具有更好甚至最優擴展性能的新型模型架構將是一個值得廣泛研究的方向。

對話系統（DS），包括面向任務的對話系統（TOD）和開放領域對話系統（ODD），一直是自然語言處理（NLP）中的基礎任務，實際應用廣泛。由于復雜的訓練和精心設計的模型架構，語言模型（LM）通常被作為構建對話系統的必要支撐。因此，LM中的每一個突破都會引起對話系統學習范式和研究重點的轉變，尤其是預訓練語言模型（PLMs）和大型語言模型（LLMs）的出現。在這篇論文中，我們深入探討對話系統的歷史，特別是其與語言模型進步的特殊關系。具體來說，我們描述了基于LM的對話系統的演化軌跡，將其分為四個獨特階段，每個階段都由語言模型的關鍵突破標志：1）早期階段，以統計LM為主，導致基于規則或機器學習驅動的DS；2）基于神經語言模型（NLM；如LSTM和GRU）的TOD和ODD的獨立發展，因為NLM在其參數中缺乏內在知識；3）隨著預訓練語言模型（PLMs）的出現，不同類型對話系統的融合，從TOD內部四個子任務的融合開始，然后是TOD與ODD的融合；4）當前基于LLM的對話系統，其中LLMs可以無縫地進行TOD和ODD。通過這種方式，我們的綜述提供了一個系統的視角，按照LM突破的時間順序對階段進行分類，全面回顧了最新研究成果。此外，我們關注新興話題并討論開放性挑戰，為基于LLM的對話系統的未來方向提供有價值的見解。總之，這篇綜述深入探討了語言模型和對話系統之間的動態相互作用，揭示了這一重要關系的演化路徑。通過這種探索，我們為該領域的更深入理解鋪平了道路，指導基于LM的對話系統的未來發展。

構建一個具有會話能力的智能系統一直是自然語言處理領域的基本目標[1, 2]。與機器自然而無縫地交互的能力已經為人機通信開辟了新的途徑，從Siri、小冰[3]到最新的新必應1和谷歌巴德2，引領著不同行業的變革應用。這一演進的核心是對話系統發揮的關鍵作用，這些系統旨在促進交互，其特點包括無害性[4]、有幫助性[5]、可信度[6]和個性化[7]。這些系統旨在模仿人與人之間的對話，從而提供增強用戶體驗、簡化任務并根據對話上下文提供個性化幫助的潛力，涵蓋了不同領域，如客戶支持、虛擬助手、醫療保健、教育等，具體取決于表1中所示的對話上下文類型[8]。

具體而言，實際中有兩種主要類型的對話：任務導向對話和閑聊對話。任務導向對話圍繞著幫助用戶實現特定任務或目標，例如預訂或購票。在這種情況下，對話系統更像是一個有益的助手，為用戶提供相關信息和指導[2, 9]。相反，閑聊對話涉及到隨意和非正式的對話，主要旨在建立和維護社交聯系。在這里，對話系統扮演友好的聊天機器人的角色，以更輕松和對話的方式與用戶互動[1]。基于它們的不同角色，提出了兩種類型的對話系統：任務導向對話系統（TOD）和開放領域對話系統（ODD）。TOD旨在高效處理任務導向的對話，通過檢測用戶意圖、跟蹤對話狀態、執行適當的操作并做出相應的回應，引導用戶實現特定目標。相反，ODD旨在進行開放領域的互動，通過將對話上下文直接映射到回應，而不需要預定義的任務或目標，在各種主題上進行自由流動的對話。這兩種類型滿足不同的用例和用戶需求，展示了對話系統在各種場景中的多功能性和適用性。因此，在2020年前的大部分早期研究（圖2之前）旨在獨立設計和構建這些對話系統，使用不同的基礎結構考慮了它們的不同角色[1, 2]。

然而，語言模型（LM）方面的革命性進展已經引發了對話系統的深刻演變，重新塑造了它們的根基。LM的核心目標是預測單詞序列的概率，這對對話系統產生了深刻的影響[10, 11]，賦予它們從預訓練語料庫[12]中學習世界知識并生成更具上下文相關性和有幫助性的響應的能力[13]。同時，LM發展中的每個里程碑都在對話系統中引發了變革性的變化，在它們的快速演變和持續趨勢中發揮了關鍵作用，尤其是最新的大型語言模型（LLMs），如ChatGPT的出現。與其深入研究語言模型的發展，我們的重點在于對話系統經歷這一變革過程的迷人之旅，可以分為四個主要發展階段，對應于圖1中所示的LM的四個階段[14]：

?** 早期階段 - 統計語言模型（SLMs）**。第一個對話系統 - Eliza，由麻省理工學院于1966年提出，早于20世紀90年代SLMs的興起，允許人與機器之間進行似是而非的對話。隨后，構建了一系列對話系統，包括協助客戶制定前往加利福尼亞州一個城市的簡單往返行程的旅行代理商[15]，以及配置了個性化的基于規則的聊天機器人，采用啟發式模式匹配規則來回答有關年齡、愛好、興趣等方面的詢問[16] 3。除了學術工作之外，越來越多的公司關注對話系統領域，并開發了自己的產品。例如，IBM開發了WATSON，蘋果擁有Siri，微軟有小冰。這些早期虛擬助手功能有限，遵循嚴格的流程，主要幫助用戶執行單一而簡單的任務，如安排約會、設置提醒以及提供基本答案。在這個階段，大多數對話系統都是任務導向的，這些對話系統的主導性質主要是任務導向的，采用了模塊化的方法或基于SLMs的機器學習方法。

? TOD和ODD的獨立發展 - 神經語言模型（NLMs）。大約在2015年，有一個巨大的變革，當提出了序列到序列（seq2seq）框架時，其中顯著的特征與模型培訓一起學習 - NLM[17, 18]。具體而言，NLM通過神經網絡表征了單詞序列的概率，例如，兩種典型的循環神經網絡（RNNs），如長短時記憶網絡（LSTM）[19]和門控循環單元（GRU）[20]。這些NLM作為將可變長度的輸入序列映射到可變長度的輸出序列的骨干，通過使用兩個主要組件實現：編碼器和解碼器。這種范式轉變促使了開放領域對話（ODD）系統的出現（～2015年，圖2），因其seq2seq網絡啟用的明確定義的端到端框架而引起關注。與此同時，NLM也應用于TOD，目標是在多個領域中實現更好的性能并執行復雜的任務[21, 22, 23]。

?** 對話系統的融合 - 預訓練語言模型 （PLMs）**。傳統的NLM需要大量手工選擇特征和領域特定知識，使其在每個任務中開發變得繁瑣和耗時。然而，隨著深度學習和大規模語言語料庫的出現，預訓練語言模型（PLMs）出現，成為一種突破性的解決方案。這些模型在大量未標記的文本數據上進行了預訓練，捕捉了豐富的語義和句法模式[11, 24, 25]。通過利用預訓練，隨后對特定任務的微調變得更加可行，使模型能夠迅速適應并以最少的任務特定數據取得卓越的結果。在對話系統領域，DialoGPT通過在Reddit評論鏈中提取的1.47億個類似對話的交換進行預訓練，然后通過幾個訓練示例進行微調，以生成更相關、信息更多且上下文一致的響應[13]，這是這種方法的典型示例，通常被稱為預訓練和微調[26]，導致最終模型成為預訓練對話模型（PDM），通過對話語料庫進行微調。值得注意的是，PDM之間的主要區別在于用于訓練的語料庫和采用的骨干語言模型，例如PLATO [27, 28]、BlenderBot [29]、Meena [30]、Pangu-bot [31]、PLUG [32]等等。此外，在TOD內部（例如，端到端TOD）、TOD與ODD之間融合，以及在此期間提出統一對話系統（UniDS）等方面，人們越來越關注不同任務的融合（圖2）。

?** 基于LLM的對話系統 - 大型語言模型 （LLM）**。認識到預訓練語料庫規模和模型大小與不同NLP任務的性能提高之間的相關性[33]，研究人員嘗試同時擴展模型大小和預訓練語料庫的大小，以提高樣本效率，使模型能夠從數據中學到更復雜的模式和表示。因此，PLMs變成了大型語言模型（LLMs），如GLM [34]、LLaMA [35]和InstructGPT [4]。由于較大的模型大小和使用大規模高質量的預訓練語料庫，這些LLMs在許多語言理解和生成任務方面提供了前所未有的能力，包括但不限于問答和命名實體識別，從而重塑了對話系統的格局。通過使用數據進行進一步的指導調整，這些LLMs能夠回答各種問題并遵循各種指令，例如撰寫電子郵件和講笑話。此時，LLMs可以直接用作對話系統。此外，通過使用領域內數據，即對話/會話語料庫，對LLM進行微調，可以進一步增強其對話能力。例如，GPT-3.5演變為InstructGPT，然后演變為ChatGPT，恰好遵循這一路徑。同樣，ChatGLM [36]也是使用基于相應LLM - GLM的公開可用的中文對話數據集進行微調的。為了增強與人類偏好和價值觀的一致性，引入強化學習變得至關重要，尤其是在模型精煉的最后階段。這涉及利用來自人類評估員[4]或自動化系統[37]的反饋，以迭代改進模型的性能并確保其符合期望的標準。畢竟，這種基于LLM的對話系統（LLM-based DS）在任務導向對話和閑聊方面表現出色，使其成為通用會話AI的理想基礎。

值得注意的是，基于LM的對話系統的發展是一個持續不斷的演進過程，各個階段之間并沒有被具體的轉折點劃分得嚴格。相反，在這些階段之間存在重疊和不斷的進展，尤其是在后期階段。一般來說，隨著LM的進步，TOD與ODD之間的邊界和DM與LM之間的邊界變得日益模糊，開啟了基于LLM的對話系統的新時代。盡管現有的研究已經徹底研究了不同類型的對話系統的發展和挑戰，例如TOD [2]和ODD [1]，但在提供對話系統的演進軌跡的整體視角方面，特別是在考慮到LM的進展時，仍然存在明顯的文獻差距。通過批判性地分析和理解關鍵里程碑的影響，我們可以獲得有關未來可能出現的可能性以及對各種領域和應用產生變革性影響的對話系統的有價值見解。本綜述旨在提供關于LM基礎對話系統領域的全面概述[4]，為當前領域正在前進的重要方向提供光明。這包括對現有文獻的細致審查，旨在闡明在LM基礎對話系統的不同階段觀察到的范式轉變。這些轉變涵蓋了各種層面的整合，尤其是任務、數據和框架維度。

本綜述的其余部分組織如下：第2節描述了不同類型的對話，并以統一的方式定義了問題，隨后在第3節中介紹了兩種類型的LM基礎對話系統的早期發展：TOD和ODD。第4節回顧和總結了當PLMs擴展到LLMs時不同對話系統的演變。然后，我們在第5節中調查了LLM-based DS中新興的趨勢和開放性挑戰。然后，第6節討論了LLM-based對話系統的開放問題。最后，在第7節中，我們通過總結主要發現并討論未來工作的未解決問題來總結綜述。

隨著大型語言模型（LLMs）和視覺基礎模型（VFMs）的出現，利用大型模型的多模態AI系統有潛力像人類一樣感知現實世界、做出決策和控制工具。近幾個月來，LLMs在自動駕駛和地圖系統中顯示出廣泛的關注。盡管潛力巨大，但對關鍵挑戰、機會和未來應用于LLM駕駛系統的努力仍缺乏全面理解。在這篇論文中，我們對這一領域進行了系統性的研究。我們首先介紹多模態大型語言模型（MLLMs）的背景、使用LLMs的多模態模型開發以及自動駕駛的歷史。然后，我們概述了現有的MLLM工具，用于駕駛、交通和地圖系統，以及現有的數據集和基準測試。此外，我們總結了第一屆WACV關于自動駕駛的大型語言和視覺模型研討會（LLVM-AD）的工作，這是首個關于自動駕駛中LLMs的綜述。為了進一步推動這一領域的發展，我們還討論了在自動駕駛系統中使用MLLMs需要由學術界和工業界解決的幾個重要問題。論文集可以在Awesome-Multimodal-LLM-Autonomous-Driving中找到。

大型語言模型（LLMs）最近獲得了顯著的關注，顯示出在模仿類似人類的智能方面的顯著潛力。這些進展激發了對多模態大型語言模型（MLLMs）[199]的熱情，這些模型將LLMs的復雜推理能力與圖像、視頻和音頻數據結合起來。模態對齊使它們能夠以更高的熟練度執行各種任務，包括分類圖像、匹配文本和對應視頻以及語音檢測。此外，[174] 證明LLMs可以處理機器人領域的簡單任務，包括基本的邏輯、幾何和數學推理，到復雜的任務，如空中導航、操縱和具體化的代理。然而，LLMs融入交通和自動駕駛車輛領域還處于開創階段。將語言交流與全景圖像、激光雷達點云和駕駛行為等多模態感官輸入相結合，可以徹底改變當前自動駕駛系統的基礎模型。 最近，更有能力的基礎模型的出現使SAE L3駕駛自動化成為可能[28]。然而，多模態LLMs在自動駕駛中的集成并沒有跟上這些進展，一個自然的問題是，基于LLM的模型如GPT-4、PaLM-2和LLaMA-2是否有潛力增強自動駕駛？圖2為我們提供了一個很好的例子。不可否認，將LLMs整合到自動駕駛車輛行業可以帶來車輛智能、決策和乘客互動方面的重大范式轉變[30,31]，提供一個更以用戶為中心、適應性強和值得信賴的交通未來。 在自動駕駛的背景下，LLMs將在關鍵模塊上帶來變革性影響：感知、運動規劃和運動控制[180]。在感知方面，LLMs可以利用外部API訪問實時基于文本的信息源，如高清地圖、交通報告和天氣更新，使車輛獲得對周圍環境更全面的了解[30]。一個很好的例子是改進車載地圖中的導航。LLMs可以處理實時交通數據，識別擁擠的路線，并提出替代路徑，最終優化導航的效率和安全性[159]。在運動規劃方面，LLMs通過利用它們的自然語言理解和推理[110]發揮作用。它們促進以用戶為中心的溝通，并使乘客能夠使用日常語言表達他們的意圖和偏好。此外，LLMs還處理文本數據源，如地圖、交通報告和實時信息，然后為優化路線規劃做出高層決策[124]。

在運動控制的背景下，大型語言模型（LLMs）首先使控制器參數的定制化成為可能，以符合駕駛者的偏好，實現駕駛體驗的個性化。此外，LLMs還可以通過解釋運動控制過程的每一步提供透明度。多模態大型語言模型（MLLMs）代表了LLMs的下一個發展層次，將語言理解的能力與處理和整合多樣數據模式的能力結合在一起。在自動駕駛的領域內，MLLMs的重要性是巨大且變革性的。裝備了MLLMs的車輛可以處理來自文本輸入的信息以及車載攝像頭和其他傳感器捕獲的其他特征，使復雜交通場景和駕駛行為的學習變得更加容易。在自動駕駛之外，MLLMs還可以通過語音通信和用戶偏好分析，顯著增強個性化的人車交互。在未來的SAE L4-L5級自動駕駛車輛中，乘客可以在駕駛過程中通過語言、手勢甚至目光來傳達他們的請求，而MLLMs可以通過集成視覺顯示或語音響應提供實時的車內反饋。

在我們將自動駕駛和高級建模領域橋接起來的追求中，我們聯合舉辦了2024年IEEE/CVF冬季計算機視覺應用會議（WACV）上的首屆大型語言和視覺模型自動駕駛研討會（LLVM-AD）。該活動旨在增強學術研究人員和行業專業人士之間的合作，探索在自動駕駛領域實施多模態大型語言模型的可能性和挑戰。LLVM-AD還發布了一個后續的開源真實世界交通語言理解數據集，催化了實際進展。

本文的主要貢獻可以概括如下：

• 提供了當前多模態大型語言模型（MLLMs）和自動駕駛技術背景的簡要概述。
• 概述了在自動駕駛中使用大型語言模型（LLMs）和MLLMs的好處，突出它們在感知、運動規劃、運動控制以及最近宣布的行業應用中的角色和當前工作。
• 總結了與自動駕駛相關的數據集，特別強調了交通場景的駕駛語言數據集。
• 回顧了WACV LLVM-AD研討會接受的論文，提供了有關LLMs和MLLMs在自動駕駛未來發展方向的洞見。

如圖1所示，我們的綜述論文旨在為自動駕駛的MLLMs提供全面概述，并討論不斷增長的趨勢和未來方向。接下來的兩個部分分別簡要描述了自動駕駛和MLLMs的發展歷史。第4節介紹了關于自動駕駛中MLLMs的當前已發表作品，涵蓋感知、運動規劃和運動控制。第5節介紹了利用MLLMs的相關自動駕駛行業應用。在最后三個部分中，我們總結了第一屆WACV LLVM-AD研討會的論文，并討論了LLMs和MLLMs在自動駕駛領域的潛在研究方向。 自動駕駛的發展 自動駕駛的追求是一個逐步前進的旅程，它由愿景抱負和技術能力之間的持續互動所標志。自動駕駛的第一波全面研究始于20世紀末。例如，由卡內基梅隆大學發起的自主陸地車輛（ALV）項目利用來自立體攝像頭、聲納和ERIM激光掃描儀的傳感器讀數執行諸如車道保持和障礙物避讓等任務。然而，這些研究受限于傳感器精度和計算能力的限制。

自動駕駛發展

在過去的二十年中，自動駕駛系統取得了快速的改進。2014年由汽車工程師學會（SAE）發布的分類系統定義了六個級別的自動駕駛系統。這種分類方法現已被廣泛接受，并揭示了研究和開發進程的重要里程碑。深度神經網絡（DNNs）的引入也發揮了重要作用。借助深度學習，計算機視覺對于解釋復雜的駕駛環境至關重要，為諸如目標檢測、場景理解和車輛定位等問題提供了最先進的解決方案。深度強化學習（DRL）在提升自動駕駛車輛的控制策略方面也發揮了關鍵作用，完善了運動規劃和決策過程，以適應動態和不確定的駕駛條件。此外，傳感器精度和計算能力的提高使得車輛上能運行更大、更準確的模型。隨著這些改進，更多L1至L2級別的高級駕駛輔助系統（ADAS）如車道居中和自適應巡航控制現在已在日常車輛上可用。諸如Waymo、Zoox、Cruise和百度等公司也在推出具有3級或更高自主性的Robotaxis。然而，這些自動駕駛系統在許多駕駛邊緣情況下仍然會失敗，例如極端天氣、糟糕的光照條件或罕見情況。

受當前局限性的啟發，自動駕駛研究的一部分現在專注于解決自動系統的安全性和增強自動系統的安全性。由于深度神經網絡通常被視為黑盒，可信AI旨在使系統更加可靠、可解釋和可驗證。例如，為自動駕駛系統生成對抗性的安全關鍵場景，以便系統更有能力處理低概率事件。另一種提高整體安全性的方法是通過車對基礎設施和車對車通信。通過來自附近實例的信息，系統將具有改進的魯棒性，并可以接收早期警告。與此同時，隨著大型語言模型展示出其強大的推理和場景理解能力，正在進行研究以利用它們來提高自動駕駛系統的安全性和整體性能。

多模態大型語言模型

最近，多模態大型語言模型（MLLMs）已成為一個重要的研究領域。這些模型利用了大型語言模型（LLMs）的力量，如ChatGPT、InstructGPT、FLAN和OPT-IML，來執行跨越多種模態（如文本和圖像）的任務。它們展現出了令人驚訝的新興能力，例如基于圖像編寫故事和執行無需光學字符識別的數學推理，這在傳統方法中很罕見。這表明了通往人工通用智能的潛在路徑。MLLMs中的關鍵技術和應用包括多模態指令調整（Multimodal Instruction Tuning），它調整模型以跟隨不同模態的指令；多模態上下文學習（Multimodal In-Context Learning），允許模型從多模態數據的上下文中學習；多模態思維鏈（Multimodal Chain of Thought），使模型能夠跨不同模態保持思維鏈；以及LLM輔助視覺推理（LLM-Aided Visual Reasoning, LAVR），利用LLMs來幫助視覺推理任務。MLLMs更符合人類感知世界的方式，提供了比LLMs更友好的用戶界面，并支持更廣泛的任務范圍。MLLMs的最新進展得益于GPT-4V的發展，盡管它沒有開放的多模態界面，但已展示出驚人的能力。研究社區已經做出了重大努力，開發了功能強大的開源MLLMs，并展示了驚人的實際能力。

**多模態語言模型在自動駕駛領域 **

在自動駕駛行業中，多模態語言模型（MLLMs）有潛力理解交通場景，改善駕駛決策過程，并徹底改變人與車輛的互動方式。這些模型接受了大量交通場景數據的訓練，使它們能夠從地圖、視頻和交通規則等不同來源提取有價值的信息。因此，它們可以增強車輛的導航和規劃能力，確保安全性和效率。此外，它們能夠適應不斷變化的道路條件，并具有與人類直覺非常相似的理解水平。

多模態語言模型在感知方面的應用 傳統的感知系統通常僅限于識別一組預定義的特定對象類別，這限制了它們的適應性，并需要收集和注釋新數據的繁瑣過程以識別不同的視覺概念。因此，它們的通用性和實用性受到了削弱。相比之下，一種新的范式正在興起，它涉及從原始文本描述和各種模態中學習，提供更豐富的監督來源。

多模態大型語言模型（MLLMs）由于能夠通過文本分析來分析非文本數據（如圖像和點云）而受到了顯著關注。這些進展極大地提高了零樣本和少樣本圖像分類、分割和對象檢測。

開創性的模型如CLIP已經表明，通過訓練將圖像與標題匹配，可以有效地從頭開始創建圖像表示。在此基礎上，Liu等人引入了LLaMa，它結合了視覺編碼器和LLM，增強了對視覺和語言概念的理解。Zhang等人進一步擴展了這項工作，開發了Video-LLaMa，使MLLMs能夠處理視頻中的視覺和聽覺信息。這代表了機器感知在整合語言和視覺模態方面的重大進展。

多模態語言模型用于規劃和控制 在機器人學領域，語言在規劃和控制任務中的使用已有悠久的歷史，可以追溯到早期展示人機互動的自然語言詞匯解析的使用[187]，并且它已經被廣泛研究用于機器人領域。關于這個主題存在廣泛的綜述性研究[104, 164]。已經被充分證明，語言作為非專業人員與機器人交流的有價值接口[82]。此外，通過基于語言的控制實現機器人系統對新任務的泛化能力已經在各種研究中得到證明[2, 66]。已經廣泛研究了實現特定規劃或控制任務或策略，包括基于模型的[5, 121, 153]、模仿學習[105, 155]和強化學習[47, 67, 116]。

由于多模態語言模型在零樣本學習[167]、上下文學習[114]和推理[184]方面具有顯著的能力，許多研究表明LLM（多模態語言模型）可以啟用規劃[152, 176]和通過文本描述來感知環境[157]，以開發用戶在機器人控制中的參與[174]。[81]通過文本完成和語義翻譯的組合將自然語言命令分解為可執行操作序列，以控制機器人。SayCan [2]利用加權LLMs來生成合理的動作并控制機器人，而[62]使用環境反饋，LLMs可以發展內心的自言自語，增強了它們在機器人控制場景中進行更全面處理的能力。Socratic Models [202]使用視覺語言模型替代用于機器人行動生成的語言提示中的感知信息。[96]介紹了一種使用LLMs直接生成機器人執行任務的策略代碼、指定反饋循環和編寫低級控制原語的方法。

在自動駕駛方面，LLMs可以作為支持人機交互的橋梁。對于通用目的，LLMs可以是任務無關的規劃器。在[60]中，作者發現預訓練的LLMs包含了關于一致和可執行行動計劃的可操作知識，無需額外的訓練。黃等人[61]提出了使用LLMs將任意自然語言命令或任務描述轉化為具體和詳細列出的目標和約束。[185]提出將LLMs集成為決策解碼器，以生成沿著自主車輛中的思維鏈提示的行動序列。在[31]中，作者展示了LLMs可以將駕駛員的任意命令分解為一系列中間階段，其中包括實現目標的行動的詳細描述。

同時，增強自動駕駛的安全性和可解釋性也是至關重要的。多模態語言模型提供了理解環境及決策過程透明性的潛力。[77]顯示，視頻到文本模型可以幫助生成與下游控制器對齊的環境文本解釋。Deruyttere等人[33]比較了基線模型，并顯示LLMs可以識別與自然語言命令或描述相關的環境中的特定對象。為了提高模型的可解釋性，Xu等人[193]提出了集成LLMs以生成關于計劃行動的解釋的方法。在[31]中，作者提出了一個框架，LLMs可以提供關于它們如何感知和對環境因素（如天氣和交通狀況）做出反應的描述。

此外，自動駕駛中的LLMs還可以促進控制器參數的微調，使其與駕駛員的偏好相一致，從而獲得更好的駕駛體驗。[150]通過引導參數矩陣適應將LLMs集成到低級控制器中。除了LLMs的發展，多模態語言-圖像模型（MLLMs）也取得了巨大進展。MLLMs具有作為自動駕駛的通用和安全規劃模型的潛力。處理和融合視覺信號，如圖像，可以通過結合視覺線索和語言指令[69, 84]增強導航任務。在自動規劃過程中，互操作性挑戰一直是一個問題[23, 46]。然而，近年來在解決自動規劃中的互操作性挑戰方面取得了巨大進展，利用MLLMs在自動駕駛規劃階段的出色推理能力[22, 41]。在一個顯著的方法中，陳等人[22]將矢量化的對象級2D場景表示集成到預訓練的LLM中，通過適配器實現直接解釋和全面推理各種駕駛場景。此外，付等人[41]利用LLMs進行推理，并將這種推理轉化為可執行的駕駛行為，展示了LLMs在增強自動駕駛規劃方面的多功能性。

此外，GPT-Driver [110]將運動規劃重新構想為一個語言建模問題，并利用LLMs在運動規劃中以自然語言描述高精度軌跡坐標及其內部決策過程。SurrealDriver [68]模擬了基于MLLM的生成駕駛代理，可以感知復雜的交通情景并生成相應的駕駛操作。[76]研究了在自動駕駛中使用文本描述與預訓練的語言編碼器進行運動預測的可能性。

隨著ChatGPT的成功普及，基于Transformer的大型語言模型（LLMs）為通往人工通用智能（AGI）鋪平了一條革命性的道路，并已在諸多領域中得到應用，比如作為知識庫、人機界面和動態代理。然而，一個普遍的限制存在：許多當前的LLMs，由于資源的限制，主要是在較短的文本上進行預訓練的，這使得它們在處理更長上下文的提示時效果不佳，而這種情況在現實世界中是常見的。在本文中，我們提供了一份綜述，專注于基于Transformer的LLMs模型架構的進步，以優化從預訓練到推理的所有階段的長上下文處理能力。首先，我們描述并分析了當前基于Transformer模型處理長上下文輸入和輸出的問題。然后，我們主要提供了一個全面的分類，以解決這些問題的Transformer升級架構的領域。之后，我們提供了對長上下文LLMs廣泛使用的評估必需品的調查，包括數據集、度量標準和基線模型，以及一些驚人的優化工具包，如庫、系統和編譯器，以提高LLMs在不同階段的效率和效果。最后，我們進一步討論了這一領域的主要挑戰和未來研究的潛在途徑。此外，我們建立了一個存儲庫，在 //github.com/Strivin0311/long-llms-learning 處實時更新相關文獻。

近年來，借助深度學習技術[93]，特別是基于Transformer的模型（如BERT [45]、GPT [134, 135, 17]及其變體[97, 105, 137]）的興起，自然語言處理（NLP）已經取得了顯著進步，使機器能夠理解和生成人類語言[170, 98]，從而在自然語言理解（NLU）的眾多任務中引起了革命，例如情感分析[206]，自然語言生成（NLG）如文檔摘要[51]，以及其他領域如計算機視覺[81]和自動駕駛[67]。此外，在ChatGPT [121]、PaLM [36]、GPT4 [123, 122]等的推動下，基于Transformer的大型語言模型（LLMs），其規模擴大到1B～100B參數以激發新能力[183]，已顯示出通向人工通用智能（AGI）[18]的新興路線，并迅速被應用于眾多人機交互應用中，如聊天機器人[146, 95]、編程助手[184, 196]和教育導師[1, 117]。 Transformer是一個精密的深度神經網絡模型，它結合了許多偉大的先前設計[8, 65, 7]，并包含多種新穎的組件，最初是為了解決機器翻譯中的序列到序列語言建模問題[175]。當代的LLMs大多基于Transformer架構的基礎上，采用其全部或部分模塊[45, 134, 137]。在這些組件中，基于Transformer的LLMs主要因其核心設計良好的注意力機制而成功，該機制捕獲整個輸入中每對標記之間的全局依賴性，使模型能夠處理具有復雜關系的序列。雖然注意力機制提供了顯著的性能，但其與輸入序列長度成二次方的時間和空間復雜度導致了顯著的計算資源瓶頸，這不僅限制了訓練期間允許的輸入文本長度，而且由于生成標記增加時的效率不足和昂貴的緩存內存消耗，也限制了提示的有效上下文窗口。對于推理來說更糟糕的是，當LLMs面對比訓練中的序列更長的序列時，也會因為輸入長度的普遍化機制設計不良而性能下降。

然而，隨著LLMs在需要長上下文理解[193, 87]和生成[106, 68]的各種應用中深入人心，對能夠有效和高效地理解和生成極長序列的長上下文LLMs的需求變得越來越必不可少和迫切。因此，研究人員投入了大量努力來增強Transformer架構，以解決LLMs中的長上下文問題，包括對注意力效率的優化（第3節）、通過額外內存機制擴展上下文窗口（第4節）、通過外推位置嵌入實現有效的長度泛化（第5節）、上下文預/后處理（第6節），以及其他雜項方法（第7節），如特定的預訓練目標、專家混合、量化、并行等。

這段文字是關于長上下文語言模型（LLMs）領域的一篇綜述。它提到了長上下文LLMs是一個非常熱門且發展迅速的研究領域，其中一些現有的綜述文獻匯總了相關文獻工作。這些綜述中，有的提供了關于長文檔摘要的概述，但沒有深入探討長文本建模的內在技術。其他綜述主要集中在提高長文本場景下Transformer的計算效率上。還有的綜述強調LLMs在處理長序列時面臨的挑戰，討論的方法主要與高效的Transformer相關。最近的一項工作更接近于這篇綜述的研究，介紹了長文本建模和Transformer應用的方法，涵蓋了預處理技術、部分高效的Transformer和長文檔的特殊特性。然而，目前還缺乏全面的研究來回顧文獻，探索從操作角度改進Transformer架構，以打破上下文長度的限制，實現更復雜、可擴展的基于Transformer的LLMs。

這篇綜述的目標是全面回顧文獻中關于擴大現有基于Transformer的LLMs有效上下文窗口長度的架構演變。主要貢獻包括：

建立了一個全面的分類法，將Transformer架構分解為五部分，并探討在每個階段（包括預訓練、微調、推理和預/后處理）增強長上下文LLMs的現有方法。

探索廣泛使用的評估需求，包括數據集、度量標準和特別評估LLMs長上下文能力的基線，以及一些流行的優化工具包，以提高LLMs在訓練和推理過程中的效率和效果。

確定改造Transformer結構以處理廣泛上下文的關鍵挑戰，并提出相應的未來方向以推動前沿。

考慮到這個領域的極速發展，構建了一個收集該特定領域相關文獻的倉庫，并將持續更新，幫助讀者跟上最新進展。

綜述的組織結構如下：第2節概述了長上下文LLMs，包括語言建模的目標和階段、基于Transformer的LLMs的關鍵組成部分、LLMs處理長上下文的結構限制分析以及現有努力提升Transformer架構的分類。接下來的五個部分（第3、4、5、6、7節）主要深入討論分類中的每一部分方法。第8節總結了長上下文能力評估的必要條件，并收集了一些流行的優化工具包，以提高LLMs在訓練和推理過程中的效果和效率。第9節探討了關鍵挑戰及其帶來的潛在機遇，并從現有突破中得出洞見。最后，第10節以對這個領域全景的總體結論以及這項研究的動機結束了這篇綜述。

總述

在本節中，我們首先從基礎語言模型目標、典型模型階段到變換器(Transformer)基礎的僅解碼器大型語言模型(LLMs)中關鍵的架構模塊進行初步介紹（見圖1 (a)）。隨后，我們對于當LLMs遇到廣泛上下文窗口時的架構限制進行了簡要分析（見2.2節）。最后，我們提出了一個全面的方法學分類（見2.3節），旨在通過架構創新提高LLMs的長上下文處理能力（見圖1 (b)）。此分類將作為接下來的五個部分——第3、4、5、6、7節的指導方針。

基于2.1節所提出的基礎見解和2.2節討論的限制，有多種途徑可以探索，以提升變換器(Transformer)結構，賦予大型語言模型(LLMs)更強的長上下文處理能力。例如，通過減少訓練期間的注意力復雜性、設計高效的記憶機制、增強長度外推能力，正如[129]所概述的那樣，模型在短序列上進行訓練，但在推理時測試更長的序列。因此，在本文中，我們提供了對最近旨在改善LLMs長上下文能力的方法學進展的全面回顧，并將它們組織成統一的分類法，如圖1 (b)所示。具體來說，這些方法被分為以下五個主要類別： ? 高效注意力（第3節）：這些方法側重于實施計算需求降低的高效注意力機制，甚至實現線性復雜性。通過這樣做，它們在預訓練階段直接增加了Lmax，從而擴展了LLMs在推理期間有效上下文長度邊界。 第一類方法致力于優化注意力機制，特別是關注那些使變換器(Transformer)模塊成為計算瓶頸的核心操作（見公式4）。這種方法在推理過程中通過直接增加預訓練階段的超參數Lmax，使大型語言模型（LLMs）的有效上下文長度邊界得以擴展。我們進一步將這些方法分為五種不同的策略，每種都有特定的焦點：局部注意力（第3.1節）、分層注意力（第3.2節）、稀疏注意力（第3.3節）、近似注意力（第3.4節）和IO-感知注意力（第3.5節）。

? 長期記憶（第4節）：為了解決上下文工作記憶的限制，一些方法旨在設計明確的記憶機制，以彌補LLMs中高效和有效的長期記憶的缺乏。 由于在上下文工作記憶中的作用，Transformer架構通常難以捕捉長期依賴性，正如第2.2節所強調的。研究人員探索了兩個主要途徑來應對這一挑戰，同時不損害全注意力的優勢。首先，受到RNNs的啟發，一些研究者將遞歸機制引入到注意力中，通過將內部記憶緩存整合進注意力層。這種方法使模型能夠在更長的序列上維護和檢索信息，彌補了內建長期記憶的固有缺乏。其次，另一種方法涉及利用現有模型作為外部知識庫的接口，如特定文檔或數據集。在推理過程中，模型可以從這些知識庫中讀取信息以豐富其上下文輸入，并且可以根據用戶的響應向它們寫入信息以刷新其長期記憶。通過以這種方式整合外部知識，模型獲得了訪問更廣泛上下文的能力，從而有效提升其處理長期依賴性的能力。

? 外推性位置編碼（第5節）：最近的努力旨在通過改進現有位置編碼方案的外推性能力，提高LLMs的長度泛化能力。 認識到需要將推理長度的邊界推向超出Lmax的范圍，研究社區在這方面做出了顯著努力。值得注意的是，根據[5]，他們已經確定，在偶數任務的長度泛化中失敗的主要原因是分心因素。然而，通過像scratchpad提示[120]這樣的方法，這些問題可以被大幅度減輕。盡管如此，在本節中，我們的重點仍然在于當前位置編碼（PEs）在更普遍場景中長度泛化中不可否認的作用。

? 上下文處理（第6節）：除了提升特定低級變換器模塊的方法外，一些方法涉及將現成的LLMs與額外的上下文預/后處理相結合。這些方法確保每次調用時提供給LLMs的輸入始終滿足最大長度要求，并通過引入多次調用開銷來打破上下文窗口限制。 早前討論的許多方法論提出了圍繞Transformer架構中的注意力模塊的復雜設計，包括高效的注意力核心（第3節）、長期記憶機制（第4節）和外推性位置編碼（PEs）（第5節）。相比之下，還存在一些更簡單、更直接的方法，將預訓練的大型語言模型（LLMs）視為黑盒或灰盒模型。這些方法通過多次調用模型來解決處理超出模型長度限制的長上下文輸入的挑戰，確保每次調用時提供給LLM的實際輸入不超過Lmax。盡管這些方法沒有顯式地增強LLMs處理長上下文的固有能力，但它們利用LLMs顯著的在上下文中的學習能力來解決這個問題，盡管代價是增加了計算量和可能減少了答案的準確性。 ? 其他（第7節）：這一部分探索了各種不完全符合前四個類別的通用且有價值的方法，為在LLMs中提高長上下文能力提供了更廣泛的視角。

結論

在這篇綜述中，我們全面地導航了基于Transformer的大型語言模型（LLMs）的架構進步領域，以增強在各個發展階段處理廣泛上下文窗口的能力，采用了一個全面的分類法，將這些針對Transformer中不同模塊設計的方法論進行分類。然后，我們探討了長文本任務特有的評估必要性以及一些集成了多種工具的優化工具包，用以增強LLMs的效率和有效性。我們進一步確定了關鍵挑戰及其對應的未來方向。此外，我們的存儲庫確保讀者能夠及時了解這一動態領域的最新研究。隨著LLMs的快速發展，我們真誠地希望我們的綜述能成為研究人員的寶貴資源，幫助他們利用LLMs的力量構建強大的長上下文LLMs，最終推動走向通用人工智能（AGI）時代的追求。

近年來，大型語言模型（LLMs）因其出色的理解、分析和基于其廣泛知識和推理能力的文本生成能力，已經重塑了學術和工業領域。盡管如此，LLMs的一個主要缺點是由于其前所未有的參數量，其預訓練的計算成本相當高。當需要經常向預訓練的模型中引入新知識時，這一缺點會被放大。因此，開發有效且高效的技術來更新預訓練的LLMs至關重要。傳統方法通過直接微調將新知識編碼到預訓練的LLMs中。然而，重新訓練LLMs可能在計算上很密集，并且面臨退化與模型更新無關的寶貴預訓練知識。最近，基于知識的模型編輯（KME）受到了越來越多的關注，其目的是精確修改LLMs以納入特定的知識，而不負面影響其他無關的知識。在這次綜述中，我們旨在提供關于KME領域近期進展的全面且深入的概述。我們首先介紹KME的一般公式，以涵蓋不同的KME策略。之后，我們根據新知識如何被引入到預訓練的LLMs中提供了KME技術的創新分類，并研究現有的KME策略，同時分析每個類別的方法的關鍵見解、優點和局限性。此外，相應地介紹了KME的代表性指標、數據集和應用。最后，我們對KME的實用性和剩余挑戰進行了深入的分析，并建議在這一領域進一步發展的有前景的研究方向。

近期，大型語言模型（LLMs）已成為一個熱門話題，徹底改變了學術界和工業界[10, 78, 106, 122]。通過在大型語料庫上進行預訓練，獲得了大量的事實知識和推理能力，LLMs展示了對文本信息的前所未有的理解，能夠像人類專家一樣分析和生成文本。然而，LLMs的一個主要缺點是由于參數數量龐大，訓練過程的計算開銷極高。隨著世界的不斷進化，經常出現更新預訓練LLMs以糾正過時信息或納入新知識以保持其相關性的需求，這使得該問題進一步加劇[124]。例如，在圖1中，一個過時的LLM無法準確描述Lionel Messi的最新成就，這需要明確注入新知識以生成正確的答案。

更新預訓練的大型語言模型（LLMs）的一個可行而直接的策略是通過樸素的微調[15, 26, 103, 116]，在此，預訓練LLMs的參數直接被優化，以從新數據中編碼新知識[5, 72, 80, 122]。例如，提出了各種基于指令調整的方法，以在新收集的語料庫上以有監督的學習方式微調預訓練的LLMs[73, 81, 112, 114]。盡管這樣的微調技術被廣泛使用，并且能夠將新知識注入到LLMs中，但它們因以下缺點而聞名：(1) 即使提出了一些參數高效策略來提高效率[66, 113, 120]，微調LLMs可能仍需要大量的計算資源[70, 75, 123]。 (2) 細調模型可能會過擬合新數據，尤其是當用于細調的數據集規模較小時[19, 71, 74]。 (3) 更重要的是，微調LLMs會不受約束地改變預訓練的權重，這有可能喪失LLMs中的寶貴現有知識[24, 48, 69]。這些挑戰限制了使用微調技術更新LLMs新知識的實用性。

為了解決更新LLMs的微調的缺點，更多的注意力已被賦予基于知識的模型編輯(KME)，也被稱為知識編輯。一般來說，KME旨在精確修改預訓練LLMs的行為，以更新特定的知識，而不負面影響與更新無關的其他預訓練知識[85, 111, 119]。在KME中，LLMs中特定知識的更新通常被制定為一個編輯，例如將“誰是美國總統？”的答案從“特朗普”更正為“拜登”。關于特定的編輯，KME策略通常通過引入輔助網絡（或一組參數）到預訓練模型[41, 63, 124]，或更新（部分）參數以存儲新知識[16, 39, 40, 64]來修改模型輸出。通過這些策略，KME技術可以在內存中存儲新知識或在模型參數中定位它進行更新，從而精確地將知識注入模型。此外，某些方法還引入明確的損失以包含更新過程，從而使編輯后的模型在未修改的知識上保持一致的行為。借助這些優勢，KME技術可以提供一種高效且有效的方法，不斷地用新知識更新LLMs，而無需明確地重新訓練模型。

盡管KME與微調策略有某些相似之處，但它在更新LLMs方面具有獨特的優勢，值得深入研究。特別是，KME和模型微調都尋求通過注入新知識來更新預訓練的LLMs。然而，除了這一共同目標外，KME更加關注兩個關鍵屬性，這兩個屬性不能容易地由微調來解決。 (1) 局部性要求編輯過的模型不會無意中影響具有不同語義的其他不相關輸入的輸出。例如，當有關美國總統的編輯得到更新時，編輯過的模型不應改變其關于英國首相的知識。KME方法的實用性在很大程度上依賴于它們維持與不相關輸入的輸出的能力，這是KME和微調之間的主要區別[86]。 (2) 通用性代表編輯過的模型是否可以泛化到與編輯知識相關的更廣泛的輸入范圍。具體來說，它表示模型在具有語義相似性的輸入上表現出一致行為的能力。例如，當模型關于總統的部分被編輯時，對總統配偶的查詢的答案也應相應地改變。在實踐中，確保KME方法使編輯過的模型能夠很好地適應這些相關的輸入文本是很重要的。總之，由于這兩個獨特的目標，KME仍然是一個具有挑戰性的任務，需要特定的策略才能獲得令人滿意的有效性。

與現有綜述的區別：已經進行了幾次綜述來檢查(大型)語言模型的各個方面[11, 29, 51, 53, 104, 122]。盡管如此，仍然缺乏徹底的綜述，可以全面涵蓋現有的文獻和LLM編輯領域的持續進展。例如，最近的工作[73, 114]已經討論了在預訓練的LLMs中使用更多的數據樣本合并新知識的微調策略。然而，KME的獨特性，即局部性和普遍性，并沒有得到充分的討論，這將在這次綜述中得到徹底的分析。另外兩項綜述[30, 47]回顧了知識增強的語言模型。但是，他們的主要關注點是利用外部知識來增強預訓練的LLMs的性能，而沒有解決基于特定知識的編輯任務。據我們所知，與我們的綜述最相關的論文是[119]，它提供了KME的簡要概述，并簡潔地討論了KME方法的優勢和它們的挑戰。盡管如此，這項綜述缺乏對KME的更多細節，例如分類、數據集和應用程序的徹底審查。另一項最近的工作[111]提出了一個統一了幾種代表性方法的KME框架。這項工作側重于KME技術的實現，而對不同策略的技術細節的重視較少。最近，一項工作[85]討論了KME方法在編輯模型的忠實性方面的局限性，而它相對較短，缺乏對所有現有方法的更全面的介紹。考慮到KME技術的快速進展，我們認為有必要回顧所有代表性KME方法的細節，總結共同點，同時討論每種方法的獨特性，并討論KME領域的開放挑戰和前瞻性方向，這將促進該領域的進一步發展。

本次綜述的貢獻：本次綜述提供了對預訓練LLMs的編輯技術、挑戰和機會的全面和深入的分析。我們首先提供了KME任務的概述，以及一個創新的公式化。特別是，我們將一般的KME任務公式化為一個受限制的優化問題，同時結合了準確性、局部性和普遍性的目標。然后，我們將現有的KME策略分類為三個主要類別，即外部記憶、全局優化和局部修改。重要的是，我們證明了每個類別中的方法都可以被公式化為一個專門的受限制的優化問題，其中的特性基于一般的公式化理論總結。此外，我們提供了關于每個類別中方法的有效性和可行性的有價值的見解，這可以幫助實踐者選擇最適合特定任務的KME方法。我們對KME方法的優點和缺點的分析也為KME研究社區的持續進展起到了催化劑作用。總之，我們的主要貢獻可以總結為以下三個方面：

?** 新的分類法**：我們引入了一個全面和結構化的分類框架，系統地總結了LLM編輯的現有工作。具體來說，基于如何將新知識引入預訓練的LLMs，我們的分類包括三個不同的類別：外部記憶、全局優化和局部修改，其中這些類別的共性和差異在這次調查中都得到了徹底的討論。

? 深入分析：我們將LLM編輯任務公式化為一個受約束的優化問題，其中每個類別的方法都可以被視為具有細化約束的特殊情況。此外，我們強調了每個類別的主要見解、優點和局限性。在這個背景下，我們深入研究了每個類別的代表性方法，并系統地分析了它們之間的聯系。 ? 未來方向：我們分析了現有KME技術在各種數據集和應用程序中的實用性。我們還全面討論了現有KME技術的挑戰，并提出了未來探索的有前景的研究方向。

本文的其余部分組織如下。第2部分介紹了LLM編輯的背景知識。第3部分提供了KME任務的一般公式，可以適應各種應用場景。第4部分為KME策略提供了一個全面的評價指標總結，這對于公正地比較各種方法至關重要。在深入探討具體方法之前，我們在第5.1節為現有方法提供了一個全面的分類，其中討論了它們的關系和差異。然后我們詳細介紹了三個類別中的方法，其中總結了每個類別的優點和局限性。第6部分介紹了廣泛使用的公共數據集。第7部分詳細介紹了可以從KME技術中受益的各種實際任務。第8部分討論了現有技術尚未解決的KME的潛在挑戰。這一部分還提供了一些可以激發未來研究的潛在方向。最后，我們在第9部分總結了這次綜述。

面對舊信息的快速折舊和新知識的出現，各種KME方法已經被提議來更新預先訓練的LLMs，以保持它們的最新性和相關性。KME確保新知識能夠高效地融入預訓練的LLMs，而不會負面影響與編輯無關的預訓練知識。 在這份調查中，我們將現有的KME方法分為以下三個主要類別：

? 基于外部記憶的方法利用外部存儲器來存儲新的知識，以進行編輯，而不修改預訓練的權重，其中預訓練的知識可以在LLM權重中完全保留。通過使用外部參數存儲新知識，基于記憶的策略能夠準確地表示新知識，并具有良好的可伸縮性，因為記憶容易擴展以融入新知識。

?** 全局優化方法通過優化在新知識的指導下尋求將新知識普遍地合并到預訓練的LLMs中**，其中引入了定制策略來限制其他預訓練知識的影響，與簡單的微調區分開來。然而，由于需要優化的參數數量眾多，這些方法在應用于LLMs時可能在編輯效率上有所不足。

? 基于局部修改的方法旨在找到LLMs中特定知識的相關參數，并相應地更新它以融入與編輯相關的新知識。局部修改的主要優勢是只可能更新模型參數的一小部分，從而與基于記憶的方法相比提供了相當的內存效率，并與全局優化相比提供了計算效率。

上述分類是基于新信息被引入LLM的位置（例如，外部參數或內部權重）和方式（例如，通過優化或直接合并）進行的。具體而言，每個類別的方法在Sec. 4中引入的四個關鍵評估指標方面都展現出不同的優勢和劣勢。例如，當計算資源有限而需要大量編輯時，外部記憶在場景中占優勢，因為記憶的大小可以控制以適應不同的要求。另一方面，當實踐者更關注編輯知識的普遍性時，全局優化是有利的，因為優化可以促進相關知識的學習[2]。該分類法在圖3中進行了直觀的說明，并在表2中總結了所有方法的具體特點。

在這次綜述中，我們對知識為基礎的模型編輯（KME）技術進行了全面而深入的調研，以準確且高效地更新預訓練LLMs中的新知識。我們首先將KME問題構建為一個受約束的優化目標，該目標同時確保編輯的準確性和保留，這適用于包括不同KME策略。接著，我們提供了KME的評估指標概述，這有助于了解編輯模型的理想屬性。隨后，我們提出了一個結構化的分類框架，以系統地分類現有的KME技術。在每個類別中，我們概述了核心挑戰，詳細說明了代表性方法，并討論了它們的優勢和劣勢。此外，我們總結了廣泛用于評估KME技術的數據集，強調某些技術需要特定的數據集結構進行訓練或評估。為了激勵研究人員設計更多的實際實現，我們還強調了KME技術的實際應用。最后，我們確定了未來研究的幾個潛在挑戰，并提供了有助于進一步推進該領域的有見地的方向。

現如今，已有超過20種商業向量數據庫管理系統（VDBMSs），它們都是在過去五年內推出的。但基于嵌入的檢索（EBR）已經被研究了超過十年，而相似性搜索更是達到了驚人的半個世紀甚至更久。從算法轉向系統的這一變革是由新的數據密集型應用驅動的，尤其是大型語言模型（LLMs），它們需要大量的非結構化數據，以及可靠、安全、快速且可擴展的查詢處理能力。現有各種新的數據管理技術來滿足這些需求，但尚無全面的調查來徹底審查這些技術和系統。

//www.zhuanzhi.ai/paper/e86f04dba5c47ab29a19fe1db3890804

我們首先識別向量數據管理的五個主要障礙，即語義相似性的模糊性、向量的大尺寸、相似性比較的高成本、缺乏可用于索引的自然劃分，以及有效應答要求屬性和向量的“混合”查詢的困難。克服這些障礙已經導致了新的查詢處理、存儲和索引以及查詢優化和執行的方法。對于查詢處理，各種相似性分數和查詢類型現已被充分理解；對于存儲和索引，技術包括向量壓縮，即量化，以及基于隨機化、學習劃分和“可導航”的劃分技術；對于查詢優化和執行，我們描述了混合查詢的新運算符，以及計劃枚舉、計劃選擇和硬件加速查詢執行的技術。這些技術導致了各種VDBMSs在設計和運行時特性的光譜上，包括專門為向量設計的“原生”系統和將向量功能整合到現有系統中的“擴展”系統。 然后，我們討論基準測試，并最后概述了幾個研究挑戰，并指出未來工作的方向。

隨著用于信息檢索 [36] 的大型語言模型（LLMs）[71] 的崛起，以及電子商務和推薦平臺 [133,125,63] 等經濟驅動因素背后的非結構化數據的增長，有需要新的向量數據庫管理系統 (VDBMSs) 來提供傳統的功能，如查詢優化、事務處理、可擴展性、容錯能力，以及隱私和安全性，但這是針對非結構化數據的。 由于這些數據并不是由固定模式中的屬性表示的，因此它們不是通過結構化查詢而是通過相似性搜索來檢索的，在這種搜索中，與查詢具有相似語義意義的數據被檢索 [95]。為了支持這種類型的搜索，實體如圖片和文檔首先通過嵌入模型編碼為D維特征向量，然后存儲在VDBMS中。雙編碼器模型 [42] 描述了這個過程，也稱為密集檢索 [73]。

因此，VDBMS中的模塊分為查詢處理器和存儲管理器。查詢處理器包括查詢規范、邏輯運算符、它們的物理實現以及查詢優化器；而存儲管理器則維護搜索索引并管理向量的物理存儲。這在圖1中有所示。這些模塊的設計影響了VDBMS的運行時特性。許多應用，如LLMs，都是讀取密集型的，需要高查詢吞吐量和低延遲。其他應用，如電子商務，也是寫入密集型的，需要高寫入吞吐量。此外，一些應用需要高查詢準確性，這意味著檢索到的實體與查詢在語義上真正匹配，而其他應用可能對錯誤更為寬容。因此，開發合適的VDBMS需要了解技術的整體情況以及它們如何影響系統的特性。

雖然對于處理傳統的結構化數據有成熟的理解，但對于向量數據并非如此。我們提出了五個關鍵障礙。(1) 模糊的搜索條件。結構化查詢使用精確的布爾謂詞，但向量查詢依賴于一個難以準確捕捉的模糊語義相似性概念。(2) 昂貴的比較。屬性謂詞（例如 <, >, = 和 ∈）大多可以在O(1)時間內評估，但相似性比較通常需要O(D)時間，其中D是向量的維度。(3) 大尺寸。結構化查詢通常只訪問少量屬性，從而可以設計如列存儲這樣的高效讀取存儲結構。但向量搜索需要完整的特征向量。向量有時甚至跨越多個數據頁面，使磁盤檢索更加昂貴，同時也增加了內存的壓力。(4) 缺乏結構。結構化屬性主要是可排序或序數的，導致通過數字范圍或類別的劃分來設計搜索索引。但向量沒有明顯的排序順序，也不是序數，這使得難以設計既準確又高效的索引。(5) 與屬性的不兼容。在多個屬性索引上的結構化查詢可以使用簡單的集合操作，如并集或交集，將中間結果收集到最終結果集中。但向量索引通常在找到k個最相似的向量后停止，與屬性索引掃描的結果結合起來可能會導致預期結果減少。另一方面，修改索引掃描運算符以考慮屬性謂詞可能會降低索引性能。如何在既高效又準確的方式下支持既有屬性又有向量的“混合”查詢仍然不清楚。

現在已經有各種技術圍繞這些問題開發，旨在在支持大量向量的同時實現低查詢延遲、高結果質量和高吞吐量。其中一些是關于相似性搜索幾十年研究的結果。其他技術，包括混合查詢處理、基于向量壓縮的索引、基于硬件加速的技術以及分布式架構，都是較近期的發明。

在本文中，我們首先從通用VDBMS的角度對這些技術進行調研，將它們分為適用于查詢處理和適用于存儲和索引的技術。查詢優化和執行與核心查詢處理器分開處理。在這些討論之后，我們將這些技術的理解應用于描述現有的VDBMS。

查詢處理。查詢處理器主要處理如何首先指定搜索條件以及如何執行搜索查詢。對于前者，有各種相似性分數、查詢類型和查詢接口可供選擇。對于后者，基本運算符是相似性投影，但由于它可能效率不高，因此已經開發了各種基于索引的運算符。我們在第2節中討論查詢處理器。

存儲和索引。存儲管理器主要處理如何組織和存儲向量集合以支持高效準確的搜索。對于大多數系統，這是通過向量搜索索引實現的。我們將索引分類為基于表的索引，如E2LSH [49]、SPANN [44] 和IVFADC [69]，這些索引通常容易更新；基于樹的索引，如FLANN [96]、RPTree [47,48] 和ANNOY [1]，旨在提供對數搜索；以及基于圖的索引，如KGraph [52]、FANNG [66] 和HNSW [90]，已經被證明在經驗上表現良好，但理論理解較少。為了解決劃分向量集合的難題，技術包括隨機化[67,49,31,96,48,52,123,115]、學習劃分[127,69,91,96,112]以及我們稱之為“可導航”的劃分[51,89,90]。為了處理大存儲大小，已經為壓縮向量上的索引開發了幾種技術，包括量化[62,69,91,113,129,133]，以及基于磁盤的索引[61,44]。我們在第3節中討論索引。

優化和執行。查詢優化器和執行器主要處理計劃枚舉、計劃選擇和物理執行。為了支持混合查詢，已經開發了幾種混合運算符，基于我們所說的“塊優先”掃描[133,125,61] 和“訪問優先”掃描[136]。還有幾種枚舉和選擇的技術，包括基于規則和基于成本的選擇[133,125]。對于查詢執行，有幾種技術旨在利用大向量的存儲局部性設計硬件加速運算符，利用處理器緩存[125]、SIMD [125,34,35] 和GPUs [70]等功能。還有分布式搜索技術和支持高吞吐量更新的技術，即基于異地更新。我們在第4節中討論優化和執行。 當前系統。我們將現有的VDBMSs分類為原生系統，這些系統專門圍繞向量管理設計，包括Vearch [81]、Milvus [125] 和Manu [63]；擴展系統在現有的數據管理系統之上增加向量功能，包括AnalyticDB-V [133] 和PASE [139]；以及搜索引擎和庫，旨在僅提供搜索功能，如Apache Lucene [2]、Elasticsearch [3] 和Meta Faiss [4]。原生系統往往更傾向于針對特定功能的高性能技術，而擴展系統往往更傾向于適應不同工作負載但不一定是最快的技術。我們在第5節中調查當前的系統。

相關綜述。有一個高級調查可用，主要關注VDBMS的基本概念和用例。同樣，有一些教程專門針對相似性搜索[106,107]。我們通過關注與整體向量數據管理相關的具體問題和技術來補充這些內容。還有一些調查涵蓋了與向量相關的數據類型，如時間序列和字符串，但VDBMS不支持。與這些其他數據類型的系統不同，VDBMS不能對特征向量維度做出任何假設2。我們建議讀者參考[54,53]。對于剩下的部分，我們在第6節簡要討論基準測試，然后在第7節總結研究挑戰和尚未解決的問題。我們在第8節結束這篇調查。

自主智能體長期以來一直是學術界一個顯著的研究課題。在這個領域，以往的研究往往側重于在孤立環境中訓練智能體，使其具備有限的知識，這與人類的學習過程有很大不同，從而使得智能體難以做出類似人類決策的能力。最近，通過獲取大量的網絡知識，大型語言模型（LLMs）展現出在實現人類水平智能方面的非凡潛力。這引發了對基于LLMs的自主智能體研究的高潮。為了充分發揮LLMs的全部潛能，研究人員設計了多樣化的智能體架構，以適應不同的應用。在本文中，我們呈現了對這些研究的全面調查，從整體的角度對自主智能體領域進行了系統回顧。更具體地說，我們的關注重點在于基于LLMs的智能體構建，為此我們提出了一個統一的框架，涵蓋了大部分先前工作。此外，我們還總結了基于LLMs的人工智能智能體在社會科學、自然科學和工程領域中的各種應用。最后，我們討論了常用的基于LLMs的人工智能智能體評估策略。基于以前的研究，我們還提出了該領域面臨的若干挑戰和未來發展方向。為了跟蹤該領域的發展并不斷更新我們的調查，我們在//github.com/Paitesanshi/LLM-Agent-Survey上維護了一個相關參考文獻的存儲庫。

自主智能體長期以來被視為通向人工通用智能（AGI）的一條有前途的道路，能夠通過自主規劃和指令來完成任務。在早期的范式中，指導智能體行動的策略函數是通過啟發式方法構建的，隨后通過與環境的互動進行了改進。然而，出現了明顯的差距，這些函數往往無法在特別是在非受限的開放領域環境中復制人類水平的熟練程度。這種差異可以追溯到啟發式設計固有的潛在不準確性，以及訓練環境提供的受限知識所導致的。

近年來，大型語言模型（LLMs）取得了顯著的成功，表明它們具有實現類人智能的潛力。這種能力源于綜合的訓練數據集和大量的模型參數的利用。受到這種能力的推動，近年來出現了一個蓬勃發展的趨勢（見圖1，顯示了這一領域的增長趨勢），在這個趨勢中，LLMs被應用作為創建自主智能體的核心協調者。這種戰略性的應用旨在模擬類人決策過程，從而為更復雜和適應性更強的人工智能系統提供一條路徑。在基于LLM的自主智能體方向上，人們設計了許多有前途的模型，重點是增強LLMs的關鍵能力，比如記憶和規劃，使它們能夠模擬人類的行為并熟練地執行各種任務。然而，這些模型是獨立提出的，對它們進行全面的總結和比較的努力有限。為現有基于LLM的自主智能體作品進行全面的總結分析是至關重要的，這在發展對這一領域的綜合理解以及為未來的研究提供靈感方面具有重要意義。

在本文中，我們對基于LLM的自主智能體領域進行了全面的綜述。具體來說，我們根據構建、應用和評估這三個方面來組織我們的調查。對于智能體的構建，我們提出了一個由四個組件組成的統一框架，包括一個用于表示智能體屬性的配置模塊，一個用于存儲歷史信息的記憶模塊，一個用于規劃未來動作的規劃模塊，以及一個用于執行計劃決策的執行模塊。通過禁用一個或多個模塊，大部分先前的研究可以被視為這個框架的具體示例。在介紹典型的智能體模塊后，我們還總結了常用的微調策略，以增強智能體在不同應用場景下的適應性。除了構建智能體，我們還概述了自主智能體的潛在應用，探討了這些智能體如何提升社會科學、自然科學和工程領域。最后，我們討論了評估自主智能體的方法，重點關注主觀和客觀策略。總之，本調查提供了對基于LLM的自主智能體領域現有研究的系統回顧，并建立了清晰的分類。它關注智能體的構建、應用和評估三個方面。基于以前的研究，我們確定了該領域面臨的若干挑戰，并討論了未來的發展方向。我們認為該領域仍處于早期階段，因此我們維護一個存儲庫，以持續跟蹤該領域的研究，網址為

基于LLM的自主智能體構建

近期語言模型（LLMs）的進步展示了它們在完成廣泛任務方面的潛力。然而，僅僅基于LLMs，由于其架構的限制，實現一個有效的自主智能體是困難的。為了填補這一差距，先前的工作開發了許多模塊，以激發和增強LLMs的能力，用于構建自主智能體。在本節中，我們提出了一個統一的框架，以總結先前工作中提出的架構。具體而言，我們的框架的總體結構如圖2所示，由配置模塊、記憶模塊、規劃模塊和執行模塊組成。配置模塊的目的是識別智能體的角色。記憶和規劃模塊將智能體置于一個動態環境中，使其能夠回顧過去的行為并規劃未來的動作。執行模塊負責將智能體的決策轉化為具體的輸出。在這些模塊內部，配置模塊影響記憶和規劃模塊，而這三個模塊共同影響執行模塊。接下來，我們詳細介紹這些模塊。

基于LLM的自主智能體在各個領域的應用代表了我們解決問題、做決策和創新方式的范式轉變。這些智能體具備語言理解、推理和適應能力，通過提供前所未有的見解、輔助和解決方案，正在顛覆行業和學科。在本節中，我們將探討LLM-based自主智能體在社會科學、自然科學和工程領域的變革性影響（請參見圖3左側部分，以獲取整體概覽）。