亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在不斷發展的深度學習領域，數據的數量和質量問題一直是一個長期存在的難題。最近大語言模型（LLMs）的出現為合成數據生成提供了一種以數據為中心的解決方案，緩解了現實世界數據的限制。然而，目前對這一領域的研究缺乏統一的框架，大多停留在表面。因此，本文基于合成數據生成的一般工作流程，整理了相關研究。通過這樣做，我們突出了現有研究中的空白，并概述了未來研究的潛在方向。本研究旨在引導學術界和工業界向更深入、更系統地探究LLMs驅動的合成數據生成的能力和應用。

在深度學習領域不斷演變的背景下，數據數量和質量的問題一直是一個長期存在的困境。大語言模型（LLMs）的革命性出現引發了深度學習領域的顯著范式轉變（Zhang et al., 2023a; Guo et al., 2023; Bang et al., 2023）。盡管有這些進展，大量高質量數據仍然是構建穩健自然語言處理（NLP）模型的基礎（Gandhi et al., 2024）。具體來說，這里的高質量數據通常指的是包含豐富監督信號（通常以標簽形式）并與人類意圖緊密對齊的多樣化數據。然而，由于高成本、數據稀缺、隱私問題等原因，依賴于人類數據來滿足這些需求有時是具有挑戰性甚至是不現實的（Kurakin et al., 2023）。此外，多項研究（Hosking et al., 2023; Singh et al., 2023; Gilardi et al., 2023）表明，人類生成的數據由于其固有的偏見和錯誤，可能并不是模型訓練或評估的最佳選擇。這些考慮促使我們更深入地探討一個問題：是否有其他更有效和可擴展的數據收集方法可以克服當前的限制？

鑒于LLMs的最新進展，它們展示了生成與人類輸出相當的流暢文本的能力（Hartvigsen et al., 2022; Sahu et al., 2022; Ye et al., 2022a; Tang et al., 2023; Gao et al., 2023a），由LLMs生成的合成數據成為了人類生成數據的一種可行替代品或補充。具體來說，合成數據旨在模仿真實世界數據的特征和模式（Liu et al., 2024）。一方面，LLMs通過廣泛的預訓練，積累了豐富的知識庫，并展現出卓越的語言理解能力（Kim et al., 2022; Ding et al., 2023a），這為生成真實的數據奠定了基礎。另一方面，LLMs深厚的指令遵循能力允許在生成過程中實現更好的可控性和適應性，從而能夠為特定應用創建定制的數據集，并設計更靈活的流程（Eldan and Li, 2023）。這兩個優勢使LLMs成為極具前景的合成數據生成器。

作為LLMs的一項關鍵應用，合成數據生成對于深度學習的發展具有重要意義。如圖1所示，LLMs驅動的合成數據生成（Li et al., 2023c; Wang et al., 2021; Seedat et al., 2023）使整個模型訓練和評估過程實現自動化，最小化了人類參與的需求（Huang et al., 2023），從而使深度學習模型的優勢可以應用于更廣泛的領域。除了提供可擴展的訓練和測試數據供應之外，LLMs驅動的合成數據生成還可能為開發下一代LLMs鋪平道路。來自TinyStories（Eldan and Li, 2023）和Phi系列（Gunasekar et al., 2023; Li et al., 2023b）的見解強調了數據質量對于有效模型學習的重要性，而LLMs賦予我們主動“設計”模型學習內容的能力，通過數據操作顯著提高了模型訓練的效率和可控性。截至2024年6月，Hugging Face上已有超過300個被標記為“合成”的數據集，許多主流LLMs利用高質量的合成數據進行訓練，包括Alpaca（Taori et al., 2023）、Vicuna（Zheng et al., 2023）、OpenHermes 2.5和Openchat 3.5（Wang et al., 2023a）。

盡管看似簡單，但生成同時具有高正確性和足夠多樣性的合成數據集需要精心設計過程，并涉及許多技巧（Gandhi et al., 2024），使得LLMs驅動的合成數據生成成為一個非平凡的問題。雖然大多數現有工作通常針對各種任務（如預訓練（Gunasekar et al., 2023; Li et al., 2023b; Eldan and Li, 2023）、微調（Mukherjee et al., 2023; Mitra et al., 2023; Xu et al., 2023a）、評估（Feng et al., 2023; Wei et al., 2024））和不同領域（如數學（Yu et al., 2023a; Luo et al., 2023a）、代碼（Luo et al., 2023b; Wei et al., 2023b）、指令（Honovich et al., 2023a; Wang et al., 2023d））進行數據生成，但它們共享許多共同的理念。為了應對LLMs驅動的合成數據生成這一新興領域中缺乏統一框架的問題，并開發通用工作流程，本綜述調查了最近的研究，并根據生成、策展和評估三個密切相關的主題進行組織，如圖2所示。我們的主要目的是提供該領域的全面概述，確定關鍵關注領域，并突出需要解決的空白。我們希望為學術界和工業界帶來見解，并推動LLMs驅動的合成數據生成的進一步發展。

在蓬勃發展的大型語言模型（LLMs）領域，開發一種健全的安全機制，也就是俗稱的“保護措施”或“護欄”，已成為確保LLMs在規定范圍內倫理使用的當務之急。本文對這一關鍵機制的當前狀態進行了系統的文獻綜述。文章討論了其主要挑戰，并探討了如何將其增強為一個全面的機制，以應對各種情境下的倫理問題。首先，本文闡明了主要LLM服務提供商和開源社區所采用的現有保護機制的現狀。接著，本文介紹了評估、分析和增強護欄可能需要執行的一些（不）理想屬性的技術，例如幻覺、公平性、隱私等。在此基礎上，我們回顧了繞過這些控制（即攻擊）、防御攻擊以及強化護欄的技術。盡管上述技術代表了當前的狀態和活躍的研究趨勢，我們還討論了一些不能輕易用這些方法處理的挑戰，并提出了我們對如何通過充分考慮多學科方法、神經-符號方法和系統開發生命周期來實現全面護欄的愿景。

近年來，生成式人工智能（GenAI）顯著加快了人類邁向智能時代的步伐。像ChatGPT和Sora [1]這樣的技術已經成為推動新一代產業轉型的關鍵力量。然而，大型語言模型（LLMs）的快速部署和整合引發了關于其風險的重大關注，包括但不限于倫理使用、數據偏見、隱私和魯棒性 [2]。在社會背景下，擔憂還包括惡意行為者通過傳播虛假信息或協助犯罪活動等方式的潛在濫用 [3]。在科學背景下，LLMs可以在專業領域使用，并需要專門考慮科學研究中的倫理問題和風險 [4]。

為了解決這些問題，模型開發者實施了各種安全協議，以將這些模型的行為限制在更安全的功能范圍內。LLMs的復雜性，包括復雜的網絡和眾多參數，以及閉源性質（如ChatGPT），都帶來了巨大的挑戰。這些復雜性需要不同于前LLM時代的策略，當時主要關注白盒技術，通過各種正則化和架構調整來增強模型訓練。因此，除了從人類反饋中進行強化學習（RLHF）和其他訓練技能如上下文訓練外，社區還傾向于采用黑盒、事后策略，特別是護欄 [5], [6]，它們監控和過濾訓練后的LLMs的輸入和輸出。護欄是一種算法，它將一組對象（例如LLMs的輸入和輸出）作為輸入，并確定是否以及如何采取某些強制措施來減少對象中嵌入的風險。如果輸入與兒童剝削有關，護欄可能會阻止輸入或調整輸出以變得無害 [7]。換句話說，護欄用于在查詢階段識別潛在的濫用，并防止模型提供不應給出的答案。

構建護欄的難點往往在于確定其要求。不同國家的AI法規可能不同，在公司背景下，數據隱私可能不如公共領域那么嚴格。然而，LLMs的護欄可能包括一個或多個類別的要求：幻覺、公平性、隱私、魯棒性、毒性、合法性、分布外、不確定性等。本文不包括典型的要求，即準確性，因為它們是LLMs的基準，嚴格來說不是護欄的責任。也就是說，LLMs和護欄之間在責任（尤其是魯棒性）方面可能沒有明確的界限，兩者應協作以實現共同的目標。然而，對于具體應用，需要精確定義要求及其相應的度量標準，并需要采用多學科方法。緩解給定的要求（如幻覺、毒性、公平性、偏見等）已經很復雜，如第5節所討論的那樣。當涉及多個要求時，這種復雜性更加嚴重，特別是當一些要求可能相互沖突時。這樣的復雜性需要復雜的解決方案設計方法來管理。在護欄設計方面，雖然可能沒有“一統天下”的方法，但一種可行的護欄設計是神經-符號的，學習代理和符號代理在處理LLMs的輸入和輸出方面協作。多種類型的神經-符號代理 [8]。然而，現有的護欄解決方案，如Llama Guard [9]、Nvidia NeMo [10]和Guardrails AI [11]使用的是最簡單、松散耦合的解決方案。鑒于護欄的復雜性，探討其他更深度耦合的神經-符號解決方案設計將是有趣的。

像安全關鍵軟件一樣，需要一個系統化的過程來涵蓋開發周期（從規范、設計、實施、集成、驗證、確認到生產發布），以謹慎地構建護欄，如ISO-26262和DO-178B/C等工業標準所示。本綜述從第2節的一些背景介紹開始。目標是（1）了解現有的護欄框架，這些框架用于控制LLM服務中的模型輸出，以及評估、分析和增強護欄以應對特定理想屬性的技術（第3節）；（2）了解用于克服這些護欄的技術，以及防御攻擊和強化護欄的技術（第4節）；然后討論如何實現完整的護欄解決方案，包括為特定應用背景設計護欄的一些系統化設計問題（第5節）。

大型語言模型的背景

大型語言模型（LLMs）主要基于Transformer架構 [12]，由多個Transformer塊組成的深度神經網絡構成。每個塊集成了一個自注意力層和一個通過殘差連接的前饋層。特定的自注意力機制使模型在分析特定詞元時能夠專注于鄰近詞元。最初，Transformer架構是專為機器翻譯開發的。新開發的利用Transformer架構的語言模型可以進行微調，從而無需針對特定任務的專用架構 [13]。通常，這些網絡包含數千億（或更多）的參數，并在大規模文本語料庫上進行訓練。示例包括ChatGPT-3 [14]、ChatGPT-4 [1]、LLaMA [15]和PaLM [16]。

LLMs被用于各種復雜任務，如對話式AI [17]、翻譯 [18]和故事生成 [19]。當前的LLMs利用的架構和訓練目標類似于較小語言模型，如Transformer架構和以語言建模為中心的任務。然而，LLMs在模型尺寸、數據量、應用范圍的廣度和計算成本等方面顯著擴大。構建離線模型包括三個主要階段 [2]：預訓練、適應性調優和使用改進。通常，預訓練階段類似于傳統的機器學習訓練，包括數據收集、選擇架構和進行訓練。適應性調優包括指令調優 [20]和對齊調優 [21]，以從任務特定指令中學習并遵循人類價值觀。最后，使用改進可以增強用戶交互，包括上下文學習 [14]和思維鏈學習 [22]。

在訓練完LLM后，其性能是否符合預期非常重要。此評估通常包括三個維度：評估基本性能，進行安全分析以了解實際應用中的潛在后果，以及利用公開可用的基準數據集。主要的性能評審集中在語言生成和復雜推理等基本能力上。安全分析深入研究LLM與人類價值觀的對齊、與外部環境的交互以及整合到更廣泛應用中的情況，如搜索引擎。此外，基準數據集和可訪問工具支持這一綜合評估。評估結果決定了LLM是否符合預定標準并準備部署。如果不符合，則回到早期訓練階段之一，以解決發現的問題。在部署階段，LLM可以在網頁平臺上用于直接用戶交互，如ChatGPT，或整合到搜索引擎中，如新Bing。無論應用如何，標準做法是在LLM和用戶之間的交互中實施護欄，以確保遵守AI法規。

**護欄的設計與實施技術 **

本節介紹了由LLM服務提供商或開源社區提出的幾種現有護欄技術。然后，我們回顧了根據期望的理想屬性評估、分析和增強LLMs的方法。

護欄框架和支持軟件包

LLM護欄構成了一套旨在監督和規范用戶與LLM應用交互的安全措施。這些措施是可編程的、基于規則的系統，位于用戶和基礎模型之間。其主要功能是確保LLM模型遵守組織的既定原則，并在規定的倫理和操作框架內運行。護欄在用戶與已部署的LLMs交互階段應用，這是LLM生命周期的最后一步。圖1展示了通用護欄機制的生命周期和潛在漏洞。開發者通過數據處理、護欄模型訓練和模型定制或微調（例如，Llama Guard和NeMo Guardrails）完成護欄的開發，如圖1黃色區域所示。這些護欄隨后部署在LLMs中，以促進與用戶的交互。通常，用戶預定義需要保護的內容，也稱為自定義規則。隨后，用戶通過提示與LLMs進行交互并等待生成的響應。護欄根據預定義規則評估輸出以確定其合規性。如果內容被認為不安全，護欄可能會直接阻止或向用戶發出預設警告。相反，如果輸出符合標準，則直接顯示給用戶，如圖1橙色區域所示。值得注意的是，一些現有攻擊方法允許不安全內容繞過護欄保護，如圖1紅框所示；有關這些攻擊方法的詳細討論，請參閱第4節。

欄中（不）理想屬性的技術

在本節中，我們討論幾種不同的屬性，詳細說明它們的標準定義以及如何使用護欄來保護這些屬性。需要注意的是，屬性的數量過于龐大，無法全面覆蓋，因此我們重點關注幻覺、公平性、隱私、魯棒性、毒性、合法性、分布外和不確定性。

克服與增強護欄

如第3節所述，實施先進的保護技術在增強LLMs的安全性和可靠性方面發揮了重要作用。然而，[125]指出，使用護欄并不能增強LLMs抵御攻擊的魯棒性。他們研究了諸如ModerationEndpoint、OpenChatKitModeration Model和Nemo等外部護欄，發現它們僅在一定程度上減少了越獄攻擊的平均成功率。越獄攻擊（“jailbreaks”）旨在通過操縱模型的響應來利用語言模型的固有偏見或漏洞。這些成功的攻擊允許用戶繞過模型的保護機制、限制和對齊，可能導致生成非常規或有害內容，或者任何由對手控制的內容。通過繞過這些約束，越獄攻擊使模型能夠產生超出其安全訓練和對齊邊界的輸出。 因此，本節我們探討了當前用于繞過LLMs護欄的方法。在表2中，我們比較了不同的越獄攻擊： 1. 攻擊者訪問類型： 白盒、黑盒和灰盒。在白盒場景中，攻擊者可以完全查看模型的參數。黑盒情況限制了攻擊者觀察模型的輸出。在灰盒背景下，攻擊者通常對部分訓練數據有部分訪問權限。 1. 提示級別的操控： 用戶提示或系統提示。用戶提示是由用戶指定的輸入提示，允許個性化或針對性的輸入。系統提示則是由模型自動生成的，可能包括攻擊者巧妙設計以欺騙或操縱系統響應的輸出。 1. 核心技術： 用于攻擊LLM的主要技術。 1. 隱蔽性： 高隱蔽性意味著攻擊難以被人類察覺，應該是一些邏輯、語義和有意義的對話，而不是一些無意義的內容。 1. GPT-4 評估： 由于許多越獄攻擊并未直接針對帶有護欄的LLMs，而GPT-4有其默認護欄，因此對GPT-4的評估可以看作是比較的替代指標。 1. 目標操縱的生成響應屬性： 毒性、隱私、公平性和幻覺。

多語言大型語言模型利用強大的大型語言模型處理和響應多種語言的查詢，這在多語言自然語言處理任務中取得了顯著的成功。盡管取得了這些突破，但在這一領域仍缺乏一個全面的綜述來總結現有方法和最近的發展。為此，在本文中，我們提出了一個徹底的審查，并提供了一個統一的視角來總結多語言大型語言模型（MLLMs）文獻中的最新進展和新興趨勢。本文的貢獻可以總結如下：（1）第一份綜述：據我們所知，我們采取了第一步，在多語言對齊的基礎上對MLLMs研究領域進行了徹底的審查；（2）新分類法：我們提出了一個新的統一視角來總結MLLMs的當前進展；（3）新前沿：我們突出了幾個新興的前沿并討論了相應的挑戰；（4）豐富資源：我們收集了大量的開源資源，包括相關論文、數據語料庫和排行榜。我們希望我們的工作能為社區提供快速訪問并推動MLLMs的突破性研究。

近年來，大型語言模型（LLMs）在各種自然語言處理任務上取得了優異的表現（Brown et al., 2020; Touvron et al., 2023a; Bang et al., 2023; Zhao et al., 2023b; Pan et al., 2023; Nguyen et al., 2023a; Trivedi et al., 2023），并展示出了令人驚訝的突發能力，包括上下文學習（Min et al., 2022; Dong et al., 2022）、思維鏈推理（Wei et al., 2022; Huang et al., 2023a; Qin et al., 2023a）以及規劃（Driess et al., 2023; Hu et al., 2023b）。然而，大多數LLMs主要關注英語任務（Held et al., 2023; Zhang et al., 2023i），使其在多語言環境，尤其是低資源環境下表現不足。

實際上，全球有超過7000種語言。隨著全球化的加速，大型語言模型的成功應考慮服務于不同國家和語言。為此，多語言大型語言模型（MLLMs）具有全面處理多種語言的優勢，越來越受到關注。具體來說，現有的MLLMs可以根據不同階段大致分為兩組。第一系列工作（Xue et al., 2020; Workshop et al., 2022; Zhang et al., 2023g; Muennighoff et al., 2022）利用多語言數據調整參數以提升整體多語言性能。第二系列工作（Shi et al., 2022a; Qin et al., 2023b; Huang et al., 2023a）還采用先進的提示策略，在參數凍結推理階段挖掘MLLMs的更深層次多語言潛力。

盡管在MLLMs上取得了顯著成功，但仍缺乏對最近努力的全面回顧和分析，這阻礙了MLLMs的發展。為了彌補這一差距，我們首次嘗試對MLLMs進行全面而詳盡的分析。具體來說，我們首先介紹廣泛使用的數據資源（§3）。此外，由于跨語言對齊的關鍵挑戰，我們根據對齊策略引入了新的分類法（§4），旨在提供文獻中的統一視角，包括參數調整對齊和參數凍結對齊（如圖1所示）。具體來說，參數調整對齊需要在預訓練、監督微調、人類反饋學習和下游微調過程中調整模型參數以增強英語和目標語言之間的對齊。參數凍結對齊指的是通過跨語言提示實現的對齊，無需調整參數。最后，我們指出了一些潛在的前沿領域以及MLLMs面臨的相應挑戰，希望激發后續研究（§5）。

本工作的貢獻可以總結如下：（1）首次綜述：據我們所知，我們是第一個根據多語言對齊在MLLMs文獻中提出全面綜述的；（2）新分類法：我們引入了將MLLMs分類為參數凍結和參數調整兩種對齊類型的新分類法，為理解MLLMs文獻提供了統一視角；（3）新前沿：我們討論了一些新興的前沿，并突出了它們的挑戰和機遇，希望為未來研究的發展鋪路；（4）詳盡資源：我們首次嘗試組織MLLMs資源，包括開源軟件、多樣的語料庫和相關出版物的精選列表，可在//multilingual-llm.net訪問。 我們希望這項工作能成為研究者的寶貴資源，并激發未來研究的更多突破。

如圖4所示，我們引入了一種新的分類法，包括參數調整對齊（§4.1）和參數凍結對齊（§4.2），旨在為研究人員提供一個統一的視角，以理解MLLMs文獻。具體來說，參數調整對齊（PTA）包括一系列逐步進階的訓練和對齊策略，包括預訓練對齊、監督微調（SFT）對齊、人類反饋學習（RLHF）對齊，以及最終的下游微調對齊。這些階段的共同目標是系統地優化模型參數，以對齊多語言性能。相反，參數凍結對齊（PFA）側重于基于PTA的四種提示策略：直接提示、代碼切換提示、翻譯對齊提示和檢索增強對齊。這種方法保持原始模型參數，以實現預期結果。

近來，持續圖學習在非靜態環境下處理多樣的圖結構數據任務中被越來越多地采用。盡管其學習能力充滿希望，當前關于持續圖學習的研究主要集中在緩解災難性遺忘問題，而忽視了持續性能改進。為了彌補這一差距，本文旨在提供一個關于持續圖學習最近努力的全面綜述。具體而言，我們從克服災難性遺忘的角度引入了一個新的持續圖學習分類法。此外，我們系統地分析了在持續提高性能中應用這些持續圖學習方法的挑戰，然后討論可能的解決方案。最后，我們提出了與持續圖學習發展相關的開放問題和未來方向，并討論它們如何影響持續性能改進。隨著深度學習在生活各領域的成功應用，社區開始渴望更強大的通用人工智能。盡管具有前景的潛力，基于神經網絡的持續學習面臨著一個嚴重的遺忘問題：在新任務上的學習通常會導致舊任務上性能的急劇下降，這被稱為災難性遺忘（CF）[95]。持續學習（CL）[46, 122] 被認為是克服這一挑戰的有希望的方式。CL 被視為智能代理逐步獲取、更新、積累并利用知識以持續改善其在任務上性能的學習能力[46]。為了緩解災難性遺忘問題，已經提出了許多CL策略，包括重放方法、正則化方法和參數隔離方法[27]。這些策略在智能代理的可塑性和穩定性之間尋找平衡，并減輕了災難性遺忘的問題。然而，當前的CL僅考慮單個數據樣本，并忽略了它們之間普遍存在的聯系。此外，克服CF僅代表著實現持續性能改進（CPI）的一條必不可少的路徑，而不是CL的終點。圖，也稱為網絡，是一種描述和分析具有交互作用實體的通用數據表示。圖已被廣泛采用于模擬不同應用中不同類型的關系，從生物分子到社會網絡。一方面，許多數據自然以圖的形式存在，如引文網絡、社交網絡和交易網絡。另一方面，即使那些看似未連接的數據也可以人為地構建成圖，如文本中的依賴圖、圖像中的特征圖和代碼中的調用圖。最近，圖學習已成為AI和機器學習中一個有前景的領域，由于其在學習實體間錯綜復雜的關系及相應的網絡結構方面的優勢。

然而，圖學習也受到了災難性遺忘現象的困擾。將持續學習與圖學習整合顯然也是緩解災難性遺忘的流行解決方案。持續圖學習（CGL）的整合稱為持續圖學習。盡管CGL具有潛力，但由于歐幾里得數據與圖之間的結構差異，一般CL與CGL之間存在顯著或復雜的差異，包括模型、任務設置和方法。此外，CL和CGL主要關注克服災難性遺忘，而忽視了持續性能改進。盡管關于CGL的研究數量在增加，但關于CGL的綜述很少。為了彌補這一差距，本文旨在提供一個關于CGL研究努力的全面綜述，特別是討論CGL方法如何實現持續性能改進。本綜述與現有綜述的不同之處。由于CGL與持續學習和圖學習高度相關，兩個領域都有許多綜述。表1將相關綜述歸類為CL、圖學習和CGL。特別是，關于持續學習的綜述大多關注（i）特定領域，如自然語言處理（NLP）[11]、計算機視覺（CV）[97]、機器人學[71]和自主系統[109]；（ii）特定任務，如分類[27, 88]；以及（iii）模型，如神經網絡[8, 46, 93]。然而，它們都只從孤立的角度而非綜合角度考慮數據。此外，它們過分強調緩解災難性遺忘，而忽視了持續性能改進，這是持續學習的最終目標。關于圖學習的綜述主要關注特定技術，包括圖表示學習[12, 24, 43, 48, 49]、圖神經網絡[138, 170]和圖深度學習[9, 41, 164]。此外，這些研究大多數通常考慮樣本級別的連接數據，而忽略了特征級別和任務級別的連接。另外，它們只關注靜態圖而忽略了在動態圖上的持續學習。盡管有幾項綜述考慮了圖的動態性質，包括動態圖學習[171]、動態圖表示學習[10, 62, 145]和動態圖神經網絡[116]，它們主要考慮模型是否適應新數據，而忽略了災難性遺忘問題，從而完全排除了CL。據我們所知，只有兩篇綜述全面整合了持續學習和圖學習。特別是，[35] 回顧了CGL的研究進展、潛在應用和挑戰，而 [154] 則分類了克服CGL中災難性遺忘的方法。盡管它們明確考慮了持續學習中數據之間的聯系并專注于CGL，但它們沒有構建一個全面的視角，并且未能徹底闡述CL和CGL之間的關系和差異。此外，它們主要關注緩解災難性遺忘，而忽略了持續性能改進。

貢獻。本綜述總結了CGL領域的最新研究，并討論了當前方法是否以及如何實現持續性能改進。具體來說，我們的主要貢獻如下所述：

• 一個新的分類法：我們提供了一個新的分類法來總結克服CGL中災難性遺忘的方法。具體來說，從如何實現持續性能改進的角度引入了四個組別（見圖1）。
• 一個全面的綜述：對于每一類方法，我們討論了克服災難性遺忘的動機和主要挑戰。此外，我們進一步討論了當前方法如何實現持續性能改進。據我們所知，這是第一次對持續性能改進進行探討。
• 未來方向：專注于持續性能改進，我們進一步提出了一些與持續圖學習相關的開放問題，并討論了它們如何影響持續性能改進以及相應的未來方向。

圖1展示了本文的組織結構。第2節介紹了CL和圖學習的基礎知識。第3節提出了CGL的概述，包括形式化、動機以及克服災難性遺忘的CGL方法的新分類法。具體來說，它從特定維度比較了與CGL相關的領域。第4至第7節根據提出的分類法總結了CGL的最近進展。在每一個類別中，都調查了主要挑戰及其相應的解決方案。此外，還從知識增強和優化控制的角度討論了這些方法如何實現持續性能改進。第8節總結了現有CLG研究中使用的實際應用和數據集。此后，第9節討論了開放問題和未來方向。最后，第10節總結了本文。

持續圖學習分類法持續圖學習本質上是持續學習的一個子領域，因此，持續圖學習的目標與常規持續學習相同：通過增量學習實現模型的持續性能改進。然而，由于圖中節點之間的相互依賴性，持續圖學習在方法上比常規持續學習更為復雜和多樣化。因此，我們提出了當前持續圖學習方法的一個新分類法，該分類法分為四個類別：基于重放的方法、基于正則化的方法、基于架構的方法和基于表示的方法，如圖3所示。所提出的分類法主要關注那些明確聲稱能夠克服災難性遺忘的方法，因為當前的工作很少涉及持續性能改進。然而，我們從知識的角度討論了災難性遺忘的根本原因和持續性能改進的關鍵，并進一步討論這些方法是否以及如何實現持續性能改進。從知識的角度看，災難性遺忘的根本原因是新知識對現有知識的覆蓋。假設某一時期的知識是有限的，并且可以在持續學習的設置中學到，那么持續學習的目標就是學習所有知識并在特定任務上實現持續性能改進。基于這種考慮，持續性能改進等同于持續獲取新知識或對現有知識的補充。這通常可以通過兩種方式實現：知識增強和優化控制。知識增強指的是后續任務的知識可以增強先前任務的知識。例如，人們在低年級學習四則運算，并使用它們來解決現實世界中的問題。然而，他們不使用變量來代表數字，因此在理解對象之間的數量關系時容易犯錯。在他們高年級學習變量和方程式后，他們將使用變量方程來理解和建模對象之間的數量關系，這給他們犯錯的機會更少。在這個例子中，變量和方程是對基本四則運算的增強。知識增強可以通過學習正樣本或負樣本來實現。優化控制指的是控制學習過程。如果學習過程可以用完成度來量化，完全學習肯定優于不完全學習。類比地，那些在課堂上認真聽講并完成所有作業的學生通常會比那些在課堂上分心并留下空白作業的學生表現得更好。在本文中，我們遵循上述考慮來討論和分析當前持續圖學習方法是否以及如何實現持續性能改進。

基于重放的方法利用從先前任務中學到的知識，與當前數據一起進行聯合訓練，以避免在學習新任務時發生災難性遺忘。基于重放方法的關鍵是獲取從先前任務中學到的知識，這通常通過抽樣或生成模型來獲得。圖4總結了基于重放的方法。

基于正則化的方法通過顯式考慮拓撲結構并向損失函數添加相應的正則化項來平衡舊任務和新任務的學習，以此來規范梯度方向，從而限制對先前任務至關重要的參數的劇烈變化，以克服災難性遺忘。正則化項通常有兩種方式：約束和蒸餾。圖5總結了基于正則化的方法。

基于架構的方法通過特定架構為任務分配任務特定的參數或網絡（部分共享或不共享），以避免任務之間的干擾。這些架構可以是固定的或動態的，如圖6所示。

由于節點之間的相互依賴性以及任務間邊緣的存在，新的增量圖將會影響先前的圖，而且先前任務的知識也可以傳遞給后續任務。這種知識難以顯式地納入持續圖學習，但可以隱式地編碼在節點嵌入中，我們將此稱為基于表示的方法。其基本原理是，現有的節點嵌入已經包含了下游任務所需的所有必要信息，而通過這種方法獲得的嵌入等同于弱化的聯合訓練。一般來說，基于表示的方法可以總結為分離和傳輸，如圖7所示。

結論 由于圖在現實世界中的普遍存在和動態性質，由圖神經網絡（GNNs）代表的圖模型已在各個領域得到廣泛應用。持續圖學習是一種新興的學習范式，旨在持續學習設置中進行圖學習任務，并實現持續性能改進。在這篇綜述中，我們提供了對持續圖學習近期研究的全面回顧。我們提出了一種新的分類法，用于總結克服災難性遺忘的持續圖學習方法。此外，對于每個類別，我們簡要闡明了關鍵問題，詳細描述了當前研究中的相應實踐，并討論了實現持續性能改進的可能解決方案。進一步地，我們還提出了一些與持續性能改進相關的開放問題，并建議了相應的有前景的研究方向。我們希望這篇綜述能幫助讀者理解持續圖學習的最近進展，并對這個有前景的領域的未來發展提供一些啟示。

近期在基礎模型上的發展，如大型語言模型（LLMs）和視覺-語言模型（VLMs），它們基于大量數據訓練，促進了跨不同任務和模態的靈活應用。它們的影響覆蓋了多個領域，包括健康護理、教育和機器人技術。本文提供了基礎模型在現實世界機器人應用中的概覽，主要強調在現有機器人系統中替換特定組件。總結包括了基礎模型中輸入輸出關系的視角，以及它們在機器人技術領域內的感知、運動規劃和控制中的作用。本文最后討論了實際機器人應用面臨的未來挑戰和含義。

近期在人工智能領域的進步顯著擴展了機器人的操作能力，使它們能夠承擔多種多樣的活動【1-5】。雖然最初機器人的部署主要限于大規模生產環境【6-11】，但現在工業機器人的適用性已經擴展到小批量和高多樣性生產領域，包括室內空間和災難現場【12-15】。這種擴散不僅僅限于環境多樣性的增加；它還擴展到了任務范圍的擴大，包括日常活動，如整理【16-18】、洗滌【19,20】、擦拭【21,22】和烹飪【23,24】。機器學習為滿足這些機器人系統的需求提供了一種方式。然而，僅僅在特定領域數據上訓練每個模型對于多樣的機器人、任務和環境來說是不夠的。越來越多地需要開發可以使用單一的、預訓練的系統或模塊應用于各種機體、任務和環境的機器人。 解決這一挑戰的一個方案是引入基礎模型【25】。基礎模型是在大量數據上訓練的模型，可以通過上下文學習、微調或甚至零樣本的方式輕松應用于廣泛的下游任務【26,27】。顯著的例子包括大型語言模型（LLMs）如GPT【27】和視覺-語言模型（VLMs）如CLIP【28】，其中語言是結合各種類型模態的粘合劑。這些基礎模型的影響是顯著的，有幾篇綜述文章討論了它們在不同領域的影響【29-32】。Wang等人【29】和Zeng等人【30】進行了關于大型語言模型在機器人學中應用的綜述，而Firoozi等人【31】和Hu等人【32】進行了更廣泛的綜述，關注于基礎模型在機器人學中的應用。在本文中，我們總結了基礎模型對現實世界機器人的適用性，旨在加速它們在實際機器人應用中的采用。與其他綜述文章相比，我們提供了如何從基礎模型的輸入輸出關系以及機器人學中的感知、運動規劃和控制的角度，用基礎模型替換現有機器人系統中的特定組件的總結。 本研究的結構如圖1所示。在第2節中，我們將描述基礎模型本身。特別地，我們將根據它們使用的模態類型，例如視覺【33,34】、語言【35-41】等，以及它們可以應用的下游任務類型進行分類。在第3節中，我們將基于當前應用【2,3,42】描述如何將基礎模型應用于機器人學。一般來說，機器人需要配備感知模塊、規劃模塊和控制模塊。從這個角度，我們分類了可以將基礎模型應用于現實世界機器人學的方式，包括低級感知、高級感知、高級規劃和低級規劃。此外，我們還將解釋在訓練直接連接低級感知和低級規劃的映射時，對機器人學的數據增強。在第4節中，我們將描述包括機器人實體在內的基礎模型，即機器人基礎模型，包括關于如何就模型架構、數據集和學習目標制作這些機器人基礎模型的討論。在第5節中，我們將描述使用基礎模型的機器人、任務和環境。我們將任務分類為導航、操縱、帶有操縱的導航、運動和交流。最后，我們將討論未來的挑戰并提出我們的結論。

“基礎模型”一詞最初在【25】中被引入。在這項綜述中，我們將簡單描述在機器人應用中使用的基礎模型的類型，以及下游任務，將關于基礎模型本身的討論推遲到【25】。在2012年，深度學習因ILSVRC-2012比賽的獲勝模型而獲得機器學習社區的主流關注【43】。2017年，由【44】介紹的Transformer模型，促進了自然語言處理（NLP）【45】和計算機視覺【46】領域的重大進步。到2021年，一個經過大量數據訓練、能夠輕松應用于廣泛下游任務的模型被稱為“基礎模型”【25】。基礎模型的特點主要有三個：

上下文學習 * 規模定律 * 同質化

上下文學習使得僅用幾個例子就能完成新任務成為可能，無需重新訓練或微調。規模定律允許隨著數據、計算資源和模型大小的增加而持續提升性能。同質化允許某些基礎模型架構以統一的方式處理多種模態。 在這一章中，我們從在機器人學中的適用性的角度對基礎模型進行分類。機器人利用基礎模型的最關鍵標準是選擇使用哪些模態。本章從語言、視覺、音頻、3D表示和各種其他模態的角度討論了基礎模型的類型和它們可以執行的下游任務。在利用每種模態的背景下，我們進一步從網絡輸入和輸出的角度對基礎模型進行分類。概覽顯示在圖2中。請注意，我們的目標不是在這里全面覆蓋基礎模型；我們的重點仍然在于解決模態差異和基礎模型的分類。

通常，機器人的行為由感知、規劃和控制組成。在本研究中，我們將感知分為兩個類別：低級感知和高級感知。同時，我們將規劃和控制分別稱為高級規劃和低級規劃。加上對學習這些組成部分的數據增強，我們將機器人對基礎模型的利用分為以下五個類別。 * 低級感知 * 高級感知 * 高級規劃 * 低級規劃 * 數據增強

這些類別之間的關系如圖3所示。用于低級感知的基礎模型包括在圖像或3D表示中的語義分割和邊界框提取，以及在各種模態中的特征提取。用于高級感知的基礎模型涉及將從低級感知獲得的結果轉換和利用成如地圖、獎勵和運動約束等形式。用于高級規劃的基礎模型執行更高級別的抽象任務規劃，不包括直接控制。用于低級規劃的基礎模型執行較低級別的運動控制，包括關節和末端執行器控制。用于數據增強的基礎模型在執行連接低級感知和低級規劃的學習時，通過數據增強增強魯棒性。 在實踐中，通過組合這五種利用方法創建了各種應用。主要分為四種類型，如圖4所示。 (i) 進行低級感知，然后用高級規劃規劃行為。 (ii) 通過低級感知和高級感知提取獎勵和運動約束，并用于強化學習和軌跡優化。 (iii) 通過低級感知和高級感知生成地圖、場景圖等，并將它們作為任務規劃的基礎。 (iv) 使用數據增強，穩健地進行直接關聯低級感知的特征提取和控制輸入的端到端學習。 值得注意的是，也有一些研究方法不適用于這一框架。 從這些角度出發，我們選取了幾篇具有代表性的論文并在表1中進行了總結。

基于智能體的建模與仿真已發展成為模擬復雜系統的強大工具，提供了對涌現行為和多樣智能體之間互動的洞見。將大型語言模型整合到基于智能體的建模和仿真中，為增強仿真能力提供了有希望的途徑。本文調研了在基于智能體的建模與仿真中利用大型語言模型的領域格局，考察了它們的挑戰和有希望的未來方向。在這項綜述中，由于這是一個跨學科領域，我們首先介紹基于智能體的建模與仿真以及大型語言模型賦能智能體的背景。然后，我們討論將大型語言模型應用于基于智能體的仿真的動機，并系統分析在環境感知、人類協調、行為生成和評估中的挑戰。最重要的是，我們提供了大型語言模型賦能的基于智能體的建模與仿真在多種場景下的最新工作綜述，這些場景可分為四個領域：網絡、物理、社會和混合，涵蓋了現實世界和虛擬環境的仿真。最后，由于這個領域是新的且快速發展的，我們討論了開放性問題和有希望的未來方向。

//www.zhuanzhi.ai/paper/a5b311fe2576ef865dbdcbb6c6eacda5

仿真作為一種計算工具，涵蓋了通過使用數學公式、算法或計算機生成的表示來模擬現實世界過程或系統，以模仿其行為或特征。基于智能體的建模與仿真專注于通過模擬個體智能體及其在環境中的相互作用來模擬復雜系統[135]。它通過賦予這些智能體特定的行為、屬性和決策能力來運作，使我們能夠檢查由智能體相互作用和環境動態產生的涌現現象。仿真的重要性跨越多個領域，是理解、分析和預測實際生活中可能難以或無法直接觀察的復雜現象的寶貴工具。它促進了實驗、假設測試和情景分析，提供了在不同條件下系統行為的洞見，并在經濟學、生物學、社會學和生態學等領域的決策過程中提供幫助。獲得和使用語言的能力是區分人類和其他生物的關鍵方面[90]。大型語言模型（LLMs）的出現是機器學習中的一個最新里程碑，展示了在自然語言處理任務和文本生成方面的巨大能力[235]。利用它們強大的能力，LLMs在通過更細膩和現實的方式表示智能體的決策過程、溝通和適應模擬環境方面顯示出了提升基于智能體仿真的前景。將LLMs整合到基于智能體的建模和仿真中，有潛力豐富仿真的真實性和復雜性，可能會深入洞察系統行為和涌現現象的原因如下： 首先，LLM 智能體可以根據環境做出自適應反應并執行任務，而無需預定義的明確指令 [193, 226]。其次，LLM 智能體具有很強的智能，可以像人一樣做出反應，甚至主動采取具有自導向的規劃和調度的行動 [208, 219]。LLM 智能體的行動空間既不局限于文本，對于文本，工具用法和內部行動模塊允許代理采取各種行動 [171]。最后，LLM 智能體可以與人類或其他智能體進行互動和交流 [152]。憑借以上三點優勢，LLM 智能體已被廣泛接受使用[153、122、117、152、111、125、111、73、105、27、29]。從這個角度看，LLM 智能體顯然可以作為一種新的模擬范例，賦予代理以人類水平的智能。由于 LLM 智能體的巨大潛力，近來這一領域的研究工作呈現出蓬勃發展的態勢。然而，迄今為止，還沒有一份綜述能系統地總結相關工作、討論尚未解決的問題，并為重要的研究方向提供一瞥。在本綜述中，我們分析了為什么大型語言模型在仿真的基本問題中至關重要，尤其是對于基于智能體的仿真而言。在討論了如何在這一新范式中設計智能體之后，我們仔細而廣泛地討論并介紹了各個領域的現有著作，其中大部分是近期發表的。本綜述的貢獻可歸納如下。

• 我們首先回顧了基于大型語言模型的智能體建模與仿真的現有著作。與現有方法相比，我們系統地分析了為什么大型語言模型可以作為基于智能體建模與仿真的先進解決方案。具體而言，我們首先從自主性、社會能力、反應性和主動性四個方面廣泛闡述了基于智能體的建模與仿真對智能體能力的要求。然后，我們分析了大型語言模型如何應對這些挑戰，包括感知、推理和決策、適應性和異質性。

-** 我們將基于智能體的建模與仿真分為物理、網絡、社會和混合四個領域，這四個領域可以涵蓋主流的仿真場景和任務**，之后我們介紹了相關的工作，對如何設計仿真環境以及如何構建由大型語言模型驅動的仿真代理進行了詳細的討論。

• 除了這一新領域的現有工作外，我們還討論了四個重要的研究方向，包括改進仿真的擴展性、開放仿真平臺、魯棒性、倫理風險等，相信這將對未來的研究有所啟發。 大型語言模型和 LLM 驅動的智能體

大型語言模型（LLMs），如 ChatGPT [149]、Gemini [55]、LLaMA [199]、Alpaca [192] 和 GLM [227]，是語言模型的最新范式，從早期的統計語言模型 [23] 發展到神經語言模型 [144]，再到預訓練語言模型 [31]，最后發展到大型語言模型 [235]。憑借數十億個參數和廣泛的預訓練語料庫，LLM 不僅在文本生成、總結、翻譯等自然語言處理任務 [116, 232] 中表現出驚人的能力，而且在解決數學問題等復雜推理和規劃任務 [11] 中也表現出驚人的能力。在大規模語料庫上進行的預訓練為零點泛化奠定了基礎。此外，預訓練模型還可以針對特定任務進一步微調，以適應特定的應用場景 [103]。此外，在過去一年中，大型語言模型（如 ChatGPT 和 GPT-4）的進步已經實現了類似人類的推理能力，這是一個里程碑，現在被認為是人工通用智能（AGI）的種子。具體來說，獲取和使用語言的能力是我們人類區別于其他生物的一個關鍵方面[198]。語言是我們與環境互動的最重要機制之一，語言為高級能力奠定了基礎[90]。

因此，由于在感知環境和做出決策方面具有類似人類的智能，構建大型語言模型賦能的智能體是大有可為的[208, 219]。首先，LLM 智能體能夠根據環境做出自適應反應并執行任務，而無需預定義的明確指令 [193, 226]。此外，在模擬過程中，LLM 智能體甚至可以形成新的想法、解決方案、目標等[71]。例如，AutoGPT [193] 在給出一組可用工具和最終任務目標時，可以自動安排計劃，體現了 LLM 在構建智能體方面的巨大潛力。同時，BabyAGI [226] 創建了一個運行無限循環的 LLM 驅動腳本，該腳本持續維護任務列表，其中每個任務都由 ChatGPT API [149] 根據任務上下文完成。其次，LLM 智能體具有足夠的智能，可以像人類一樣做出反應，甚至主動采取行動，進行自我導向的規劃和調度 [208, 219]。環境輸入并不局限于文本，最近的多模態融合模型還可以輸入其他類型的信息，如圖像或音頻 [239]。LLM 智能體的行動空間既不局限于文本，對于文本，工具使用能力允許智能體采取更多行動 [171]。最后，LLM 智能體具有與人類或其他人工智能智能體互動和交流的能力 [152]。在仿真，尤其是基于智能體的仿真中，代理的交流能力將個體仿真提升到了群體層面[80]。一個 LLM 驅動的智能體可以生成文本，另一個智能體可以接收并理解文本，進而為智能體之間或人類與智能體之間可解釋的交流提供基礎[152]。此外，社區層面的模擬需要智能體的異質性，而 LLM 智能體可以滿足這些要求，在社會中扮演不同的角色 [163]。由 LLM 智能體構建的人工社會可以進一步揭示具有集體智能體行為的蜂群智能體的出現 [73, 152]，類似于人類社會中的群體智慧 [190]。如上所述，仿真系統廣泛采用了基于智能體的建模范式，這就要求智能體具有高級能力，很好地激發了大語言模式智能體在仿真場景中的應用。

基于智能體建模和仿真的 LLM 關鍵能力

基于智能體建模與仿真的大語言模式關鍵能力 如上所述，基于智能體的建模與仿真是許多領域仿真的基本方法[135, 65]，但它仍然面臨幾個關鍵挑戰。大語言模式驅動的智能體不僅能滿足基于智能體的仿真要求，還能依靠其強大的感知、推理、決策和自我進化能力來解決這些限制，如圖 1 所示。 **感知 **

基于智能體的建模與仿真的核心是模擬單個智能體如何與環境進行交互[135]，這就要求智能體能夠準確感知來自上述環境的各類信息。至于大語言模型賦能的智能體，語言能力能使智能體直接或間接地理解和應對多樣化的環境。一方面，理解和生成文本的基本能力使智能體能夠進行復雜的對話、談判和信息交換，并支持直接交互。另一方面，智能體與環境之間的界面可以通過文本進行操作 [194]，從而實現間接交互。當然，除了智能體與環境的視角外，這種能力也支持不同智能體之間的交流。 值得一提的是，僅僅具備與環境和其他智能體互動的能力還不足以實現類人模擬。更具體地說，還要求基于大型語言模型的智能體 "設身處地"，從而讓智能體想象自己確實身處環境之中。也就是說，LLM 智能體應能從 "第一視角視線"[178]出發，理解、感知并響應不同情境下的不同需求、情感和態度。這種能力能使模型更好地理解來自環境或其他智能體的信息，并產生更真實的反應。

推理和決策

傳統基于代理的仿真面臨的一個關鍵挑戰是，基于規則甚至基于神經網絡的代理不夠智能[48]。也就是說，智能體無法做出正確或最優決策，如在交通仿真中選擇擁擠的道路，或在社交網絡仿真中發送錯誤的信息。這可以解釋為，傳統的基于神經網絡的人工智能仍不如真人智能[97, 130, 139, 94]。相比之下，大語言模型賦能的智能體則表現出更強的推理能力，使其能夠在模擬中做出更明智的決策并選擇合適的行動。盡管能做出合適的決策，但大型語言模型賦能的智能體支持更好的基于智能體的建模和仿真的另一個關鍵優勢是自主性[72]。只需有限的指導、規定和目標，配備大型語言模型的智能體就能自主采取行動，為給定目標制定計劃，甚至實現新目標，而無需顯式編程或預定義規則[152]。也就是說，自主性使 LLM 智能體能夠根據實際情況動態調整自己的行動和策略，有助于提高仿真的真實性。

自適應學習和演化

對于基于智能體的建模與仿真而言，系統始終具有不確定性和不可控性[135]。換句話說，與模擬初始階段相比，環境和智能體的狀態可能完全不同。正如《瑞普-范-溫克爾》（Rip Van Winkle）的古老故事所講述的那樣，一個人在山中睡著了，醒來后發現周圍的世界在他沉睡期間發生了巨大的變化。也就是說，在長期的社會網絡模擬中，環境是不斷變化的[73]；智能體應該能夠適應新的環境，制定的決策策略可能會大大偏離其原來的策略。顯然，自適應學習和進化對于傳統方法來說具有挑戰性，但幸運的是，基于大型語言模型的智能體可以解決這個問題 [132]。具體來說，憑借不斷從新數據中學習并適應不斷變化的語境的能力，LLM 智能體可以隨著時間的推移不斷演化行為和決策策略。智能體可以吸收新信息，分析數據中新出現的模式，并根據情境中的學習[60]相應地修改自己的反應或行動，這反映了現實世界實體的動態性質。這種適應性通過模擬智能體在應對不同刺激時的學習曲線和行為演變，增強了模擬的真實性。

異質性和個性化

俗話說，一人之肉，眾人之毒。對于基于智能體的仿真來說，具有異質個體的復雜社會[30]或經濟系統[26]，智能體的異質性至關重要。具體來說，在基于智能體的建模和仿真中，智能體的異質性涉及表現個體之間的不同特征、行為和決策過程。與傳統仿真方法相比，基于智能體的仿真因其能夠適應不同的規則或參數而脫穎而出，具體討論如下。首先，現有方法的參數設置極其復雜[64, 135]。在這些模型中，影響智能體行為的變量繁多--從個人特征到環境因素--使得選擇和校準這些參數變得十分困難。這種復雜性往往會導致過度簡化，影響模擬在描述真實異質性方面的準確性[135]。此外，獲取準確、全面的數據為參數選擇提供信息也是另一項挑戰。也就是說，現實世界中能捕捉到不同情境下不同個體行為的數據可能很有限，或者很難收集到。此外，根據真實世界的觀察結果驗證所選參數以確保其可靠性，也增加了另一層復雜性。其次，規則或模型無法涵蓋異質性的所有方面，因為現實世界中的個體非常復雜[135]。使用規則驅動智能體行為只能捕捉到異質性的某些方面，但可能缺乏深度，無法囊括多樣化行為、偏好和決策過程的全部內容。此外，隨著模型能力的提高，試圖在單一模型中涵蓋異質性的所有方面未免過于理想化。因此，如何平衡模型的簡潔性和智能體建模的準確性成為基于智能體建模和仿真的關鍵挑戰，從而導致對智能體異質性某些方面的過度簡化或忽視。與傳統方法不同的是，基于 LLM 的智能體支持：1）通過內部類似人類的認知復雜性來捕捉復雜的內部特征；2）通過提示、上下文學習或微調來實現專業化和定制化特征。

結語

基于智能體的建模與仿真是各領域復雜系統建模的重要方法之一。大型語言模型的最新進展重塑了基于智能體的建模與仿真范式，為構建類似人類的智能體而不是由簡單規則或有限智能神經模型驅動的智能體提供了新的視角。在本文中，我們首先對基于智能體的大語言模型建模與仿真進行了綜述。我們系統地分析了基于智能體的建模與仿真為什么需要 LLM 智能體，以及如何應對關鍵挑戰。隨后，我們廣泛總結了網絡、物理、社會和混合四個領域的現有工作，仔細闡述了如何設計仿真環境、如何構建大語言模型賦能的智能體，以及基于智能體的仿真要觀察和實現什么。最后，考慮到現有研究尚未解決的局限性和這一快速發展的新領域，我們討論了有待解決的問題，并指出了重要的研究方向，希望能對未來的研究有所啟發。

開放領域生成系統在會話人工智能領域（例如生成式搜索引擎）引起了廣泛關注。本文對這些系統，特別是大型語言模型所采用的歸因機制進行了全面回顧。盡管歸因或引用可以提高事實性和可驗證性，但模糊的知識庫、固有偏見以及過度歸因的缺點等問題可能會妨礙這些系統的有效性。本綜述的目標是為研究人員提供有價值的見解，幫助改進歸因方法，以增強開放領域生成系統生成的響應的可靠性和真實性。我們認為這個領域仍處于初級階段，因此我們維護了一個倉庫，以跟蹤正在進行的研究，網址為

//github.com/HITsz-TMG/awesome-llm-attributions。

自從由大型語言模型（LLMs）驅動的開放領域生成系統出現以來（Anil等人，2023；OpenAI，2022，2023），解決潛在不準確或虛構內容的連貫生成一直是一個持續存在的挑戰（Rawte等人，2023；葉等人，2023；張等人，2023b）。社區通常將這種問題稱為“幻覺”問題，其中生成的內容呈現出扭曲或虛構的事實，缺乏可信的信息來源（Peskoff和Stewart，2023）。這在信息搜索和知識問答場景中尤為明顯，用戶依賴大型語言模型獲取專業知識（Malaviya等人，2023）。

幻覺問題的實質可能源于事先訓練的模型是從廣泛、未經過濾的現實世界文本中獲取的（Penedo等人，2023）。這些人類生成的文本固有地包含不一致性和虛假信息。事先訓練的目標僅僅是預測下一個單詞，而不是明確建模生成內容的真實性。即使在利用人類反饋的強化學習之后（Ouyang等人，2022），模型仍然可能出現外部幻覺（Bai等人，2022）。為了解決外部幻覺的問題，研究人員已經開始采用外部參考文獻等措施來增強聊天機器人的真實性和可靠性（Thoppilan等人，2022；Menick等人，2022；Nakano等人，2021）。顯式歸因和強化學習之間的區別不僅在于需要人工驗證和遵從，還在于認識到生成的內容可能隨著時間變化而變得過時或無效。歸因可以利用實時信息來確保相關性和準確性。然而，歸因的基本挑戰圍繞著兩個基本要求（Liu等人，2023）：

考慮到這些要求，我們可以將模型處理歸因的主要方式分為三種類型：

1. 直接模型驅動的歸因：大型模型本身為其回答提供歸因。然而，這種類型經常面臨挑戰，因為回答可能不僅是虛構的，而且歸因本身也可能是虛構的（Agrawal等人，2023）。雖然ChatGPT在大約50.6%的時間里提供正確或部分正確的答案，但建議的參考文獻僅在14%的時間內存在（Zuccon等人，2023）。
2. 檢索后回答：這種方法根植于明確檢索信息然后讓模型基于這些檢索到的數據進行回答的思想。但檢索并不本質上等同于歸因（Gao等人，2023b）。當模型的內部知識和外部檢索的信息之間的邊界變得模糊時，可能會出現潛在的知識沖突問題（Xie等人，2023）。檢索也可以被用作一種專門的工具，允許模型獨立觸發它，類似于ChatGPT 1中的“使用必應進行瀏覽”。
3. 生成后歸因：系統首先提供答案，然后使用問題和答案進行歸因搜索。如果需要，答案然后會進行修改并得到適當的歸因。現代搜索引擎，如Bing Chat 2，已經包含了這種歸因方式。然而，研究顯示，從四個生成式搜索引擎生成的內容中，只有51.5%完全得到了引用文獻的支持（Liu等人，2023）。這種歸因方式在高風險專業領域，如醫學和法律中尤其缺乏，研究發現有大量不完整的歸因（分別為35%和31%）；而且，許多歸因來自不可靠的來源，51%的歸因被專家評估為不可靠（Malaviya等人，2023）。

超越對文本幻覺的一般討論（Zhang等人，2023b；葉等人，2023；Rawte等人，2023），我們的研究深入探討了大型語言模型的歸因問題。我們探討了它的起源、支撐技術以及評估標準。此外，我們也涉及了諸如偏見和過度引用的挑戰。我們相信，通過關注這些歸因問題，我們可以使模型更加可信賴和容易理解。我們這項研究的目標是以一種更加清晰的方式來闡述歸因問題，鼓勵對這一主題進行更深入的思考。

歸因是指一個實體（如文本模型）生成并提供證據的能力，這些證據通常以引用或參考文獻的形式出現，用以支撐它所產生的聲明或陳述。這些證據來源于可識別的源頭，確保這些聲明可以從一個基礎語料庫中邏輯推斷出來，使得它們對于普通受眾而言是可以理解和驗證的。歸因本身與搜索任務相關（Brin 和 Page, 1998；Page 等人, 1999；Tay 等人, 2022），在這種任務中只有幾個網頁會被返回。然而，歸因的主要目的包括使用戶能夠驗證模型所做的聲明，促進生成與引用源高度一致的文本以提高準確性和減少錯誤信息或幻覺，以及建立一個結構化的框架來評估支持證據的完整性和相關性，與所提出的聲明相比較。歸因的準確性核心在于所產生的陳述是否完全由引用源支持。Rashkin 等人（2021）還提出了歸因于已識別來源（AIS）的評估框架，以評估特定陳述是否由所提供的證據支持。Bohnet 等人（2022）提出了歸因問答，模型在這里接受一個問題，并產生一對配對的回答，即答案字符串及其從特定語料庫，如段落中得到的支持證據。

直接生成的歸因 來自參數化知識的直接生成歸因可以幫助減少幻覺現象并提高生成文本的真實性。通過要求模型進行自我檢測和自我歸因，一些研究發現生成的文本更加基于事實，并且在下游任務中的表現也有所提升。最近，研究人員發現，大型語言模型在回答特定領域的知識性問題時，不能清楚地提供知識來源或證據（Peskoff 和 Stewart, 2023; Zuccon 等人, 2023）。在大多數情況下，模型只能提供一個與問題中的關鍵詞松散相關或與當前主題無關的知識來源。即使模型正確回答了問題，它提供的證據仍然可能存在錯誤。Weller 等人（2023）嘗試通過提出根據提示方法，將模型生成的文本基于其預訓練數據，發現這種方法可以影響模型的根據性，從而影響信息尋求任務的表現。Anonymous（2023）引入了一個中間規劃模塊，要求模型生成一系列問題作為當前問題的藍圖。模型首先提出一個藍圖，然后結合基于藍圖問題生成的文本作為最終答案。藍圖模型允許在每個回答問題的步驟中采用不同形式的歸因，可以期望更具解釋性。

**檢索后回答 **

多篇研究論文已經調查了歸因的檢索后回答方法（Chen 等人，2017年；Lee 等人，2019年；Khattab 和 Zaharia，2020年）。SmartBook 框架（Reddy 等人，2023年）提出了一種方法，該方法利用大量新聞數據自動生成結構化的情況報告。SmartBook 確定了情況分析的關鍵問題，并從新聞文章中檢索相關信息。報告按時間線組織，每個時間線包括重大事件、戰略問題和由事實證據支持的概括性總結。為了解決用戶查詢和存儲知識之間的不一致問題，MixAlign（張等人，2023a）提出了一個框架，該框架結合了自動問題知識對齊和用戶澄清，增強了檢索增強生成模型的性能，并減輕了語言模型的幻覺。此外，SearChain（徐等人，2023年）引入了一個新穎的框架，它將大型語言模型（LLMs）與信息檢索（IR）結合起來，提高了復雜知識密集型任務的準確性、可信度和可追溯性。SearChain 采用檢索然后回答的方法，通過生成全球推理鏈（CoQ）并利用 IR 來驗證答案和提供缺失的知識。

生成后歸因

為了在不損害最新一代模型所提供的強大優勢的情況下促進準確的歸因，一些研究致力于生成后的歸因，這些研究使用搜索引擎或文檔檢索系統，基于輸入問題和生成的答案來搜索證據。這種方法允許研究人員評估或提高答案的事實性，而無需直接訪問模型的參數。生成后歸因的工作流程如圖3所示。RARR（高等，2023a）自主識別任何文本生成模型輸出的歸因，并執行后期編輯以糾正不支持的內容，同時努力在最大程度上保留原始輸出。在霍等人（2023）的工作中，材料是基于粗粒度的句子或細粒度的事實陳述從語料庫中檢索的。然后利用這些檢索到的材料提示LLM，以驗證生成的回應與檢索到的材料之間的一致性，并進行必要的編輯以減少幻覺。陳等人（2023b）介紹了一個全自動化的管道，旨在驗證復雜的政治聲明，這是通過從網上檢索原始證據、生成聚焦聲明的摘要并利用它們進行聲明驗證來實現的。

大模型如何做知識更新？這篇文章全面綜述

盡管大型語言模型（LLMs）在解決各種任務上表現出色，但它們在部署后很快就可能會過時。在當前時代，保持它們的最新狀態是一個迫切的關注點。本文提供了對最近在不從頭開始重新訓練的情況下，將LLMs與不斷變化的世界知識對齊的進展的全面回顧。我們系統地對研究工作進行分類，并提供深入的比較和討論。我們還討論了現存的挑戰，并強調了未來的研究方向，以促進這一領域的研究。

//www.zhuanzhi.ai/paper/895473a03ca23c3b2ff748c92eae7551

大型語言模型（LLMs）（Brown 等人，2020；Ouyang 等人，2022；Chowdhery 等人，2022；Zhang 等人，2022；OpenAI, 2023b；Touvron 等人，2023；Anil 等人，2023）經過在各種來源（例如，維基百科，書籍，Github）的大量語料庫上的訓練，在其參數中隱式地存儲了大量的世界知識（Petroni 等人，2019；Roberts 等人，2020；Jiang 等人，2020），使它們能夠作為多功能的基礎模型，直接通過情境學習（Liu 等人，2023b；OpenAI, 2023b；Bubeck 等人，2023；Kamalloo 等人，2023）來執行各種自然語言處理（NLP）任務，或進一步為特定領域的用途進行微調（Singhal 等人，2022；Google, 2023；Liu 和 Low, 2023）。

盡管它們的表現令人印象深刻，但LLMs在部署后是靜態的，沒有更新自己或適應變化環境的機制（Kasai 等人，2022；Bubeck 等人，2023）。然而，我們的世界是動態的并且不斷發展。如圖1所示，經過訓練的LLMs的靜態特性使存儲的知識迅速過時，這經常導致幻覺，使它們對知識密集型任務不可靠（Lazaridou 等人，2022；Luu 等人，2022；Ji 等人，2023；Si 等人，2023）。在LLMs的時代，確保它們與不斷變化的世界知識保持一致，并在部署后保持其最新狀態是一個迫切的問題，因為許多用戶和下游應用依賴它們。不幸的是，由于禁止性的成本（Patterson 等人，2021），僅僅使用最新信息重新訓練LLMs是不可行的。 從直覺上講，要更新LLM，可以通過修改其參數用新的知識替換模型中隱式存儲的過時知識，或使用從世界上明確檢索的新信息覆蓋過時的模型輸出。文獻中已經提出了大量的工作，隱式或顯式地刷新部署的LLMs；但是，這些方法在各種任務中散布，并沒有被系統地回顧和分析。

在這篇綜述中，我們調查了與不斷變化的世界知識對齊已部署的LLMs的最新引人注目的進展。我們系統地對研究工作進行分類，并在每個類別中突出代表性的方法（§2），并為洞察提供深入的比較和討論（§3）。最后，我們討論了促進這一領域研究的潛在未來方向（§4）。 **方法分類 **

根據方法是否傾向于直接改變LLMs中隱式存儲的知識，或利用外部資源來覆蓋過時的知識，我們粗略地將它們分類為隱式方法（§2.1）或顯式方法（§2.2）。圖2提供了每個類別中代表性作品的摘要（詳細綜述請見附錄中的圖6）。方法的詳細描述可以在附錄A.1中找到。

**隱式地使LLMs與世界知識對齊 **

先前的研究已經表明，經過在大量語料庫上預訓練后，LLMs可以在其大量參數中隱式記憶知識 (Petroni 等人, 2019; Roberts 等人, 2020; Jiang 等人, 2020; Singhal 等人, 2022)。為了保持LLMs的最新狀態并與當前的世界知識對齊，直接的方法是改變模型自身的行為以生成期望的輸出。天真地說，可以定期從頭開始重新訓練模型或使用最新的語料庫對模型進行微調以與當前的世界知識對齊。但是，重新訓練是昂貴且對環境不友好的 (Patterson 等人, 2021)，特別是在具有數十億參數的LLMs的時代。無約束的微調可能會產生"蝴蝶效應"并影響模型中的其他知識或技能 (Kirkpatrick 等人, 2017; Li 等人, 2022; AlKhamissi 等人, 2022)。為了應對這個問題，這一系列工作旨在設計更好的策略，以更可控和高效的方式修改LLMs的內部狀態，這可以分為知識編輯 (§2.1.1) 和連續學習 (§2.1.2)。

**顯式地使LLMs與世界知識對齊 **

盡管改變LLMs中隱式存儲的知識已被證明是有效的 (Jang等人, 2022b; Meng等人, 2023)，但由于神經網絡的復雜性，這是否會影響模型的一般能力仍不清楚。相比之下，顯式地通過從各種來源檢索的最新信息來增強LLMs可以有效地使模型適應新的世界知識，而不影響原始的LLMs (Mialon等人, 2023)。然而，之前的檢索增強方法 (Karpukhin等人, 2020; Guu等人, 2020; Lewis等人, 2020; Izacard等人, 2022; Borgeaud等人, 2022; Jiang等人, 2022; Kaur等人, 2022) 通常以端到端的方式聯合訓練檢索器和語言模型，這使得它難以應用于已部署的LLM（例如，GPT-3）。最近，研究者們關注于為固定的LLM配備外部記憶 (增強記憶；§2.2.1)、現成的檢索器 (增強檢索；§2.2.2) 或互聯網 (增強互聯網；§2.2.3) 來解決這個問題。

**挑戰和未來方向 **

魯棒高效的知識編輯

KE提供了細粒度的知識更新，在某些場景中是可取的。盡管有前景，但KE仍處于初級階段。1 各種知識。更新LLMs參數中存儲的內部知識是具有挑戰性的，現有的努力只探討了更新關系知識，而忽略了其他知識 (Meng等人, 2023)；2 編輯數據集。當前的KE方法假設已存在編輯過的知識對，這些對必須提前進行注釋。實際上，LLMs如何知道哪些知識已經過時，因此需要更新 (Zhang和Choi, 2023; Yin等人, 2023)？3 記憶機制。Hase等人 (2023a) 認為，通過因果追蹤定位特定知識可能不可靠，需要更好地理解LLMs的內部記憶 (Tirumala等人, 2022; Carlini等人, 2023)；4 通用化。最近的研究 (Onoe等人, 2023; Zhong等人, 2023) 發現，現有的KE方法在編輯知識的傳播上表現不佳，這意味著LLM不能基于新獲得的知識進行進一步的推理；5 有效性和效率。盡管已經進行了早期的努力 (Hernandez等人, 2023; Huang等人, 2023; Hartvigsen等人, 2023)，但有效、高效、持續地更新LLMs的知識的方法尚有待深入探索。

**LLMs的高效持續學習 **一個持續預訓練的LLM可以更新其內部知識并適應變化的世界，但保持下游任務所需的一般知識而不遺忘是具有挑戰性的 (Ke和Liu, 2023)。此外，現有的方法僅限于小規模的LM，使得LLMs的CL很少被研究。盡管參數有效的調整 (Ding等人, 2022) 可能是有益的，但通過CL使LLM與動態世界對齊仍然沒有被充分探索。

**解決知識沖突 **用新知識替代舊知識可能會導致知識沖突，無論使用隱式或顯式方法。對于隱式方法，這些副作用只在特定設置中進行評估，不知道LLMs的一般技能如何受到影響 (Brown等人, 2023)。對于基于檢索的方法，從世界上檢索的知識可能與LLMs內部記憶的知識矛盾，LLMs有時傾向于在生成期間更多地依賴其內部知識，而不是提供的上下文 (例如在Fig.5中的一個例子; Neeman等人 2022; Li等人 2022; Chen等人 2022)。雖然已經進行了初步嘗試 (Mallen等人, 2023; Zhou等人, 2023; Xie等人, 2023)，但它們仍然受到限制。

**魯棒高效的檢索 **與外部資源互動可能會在生成期間引起中斷，顯著增加推理開銷，特別是對于涉及多次檢索或修訂的多階段方法。可能的補救措施是有效的內存管理 (Peng等人, 2023b; Kang等人, 2023; Cheng等人, 2023) 或選擇性檢索，只在必要時咨詢外部資源 (Mallen等人, 2023)。另一方面，檢索到的上下文可能是無關的和嘈雜的，這可能會分散LLMs的注意力 (Shi等人, 2023a; Luo等人, 2023)，或者太長，超出了輸入限制，并帶來高昂的成本 (Shi等人, 2023b)。

**全面的評估和基準測試 **盡管不同類別的方法可以在不重新訓練的情況下將訓練過的LLMs與變化的世界對齊，但它們的有效性主要在特定設置的合成數據集上進行評估，這可能不是很全面 (Jang等人, 2022a,b; Hoelscher-Obermaier等人, 2023)。此外，盡管已經進行了努力來評估KE (Wu等人, 2023; Cohen等人, 2023; Ju和Zhang, 2023)，但沒有對不同類別的方法進行定量比較（即，比較KE vs. CL vs. 基于檢索的方法），這阻礙了它們在不同場景中的應用。最后，現有的基準測試對于度量動態世界來說太靜態了，這呼吁進行實時評估基準測試 (Li?ka等人, 2022; Kasai等人, 2022)。

**結論 **

在本文中，我們系統地回顧了在不重新訓練的情況下使LLMs與不斷變化的世界知識保持一致的最新進展。我們總結了現有的方法，并根據它們是傾向于直接改變LLMs中隱式存儲的知識，還是利用外部資源來覆蓋過時的知識進行分類。我們全面比較了不同類別的方法，并指出了這一領域研究的挑戰和未來方向。

大型語言模型（LLMs）在自然語言處理方面展示了令人印象深刻的能力。然而，它們的內部機制仍然不清楚，這種不透明性對下游應用帶來了不希望的風險。因此，理解和解釋這些模型對于闡明它們的行為、局限性和社會影響至關重要。在本文中，我們引入了可解釋性技術的分類體系，并提供了關于解釋基于Transformer的語言模型方法的結構化概述。我們根據LLMs的訓練范式對技術進行分類：傳統的微調范式和基于提示的范式。對于每個范式，我們總結了生成個體預測的局部解釋和總體模型知識的全局解釋的目標和主要方法。我們還討論了用于評估生成解釋的度量標準，并討論了如何利用解釋來調試模型和提高性能。最后，我們比較了LLMs時代解釋技術面臨的關鍵挑戰和新興機會與傳統機器學習模型。

大型語言模型（LLMs），如BERT（Devlin等，2019a）、GPT-3（Brown等，2020）、GPT-4（Bubeck等，2023）、LLaMA-2（Touvron等，2023b）和Claude（AnthropicAI，2023），在各種自然語言處理（NLP）任務中展示出了令人印象深刻的性能。主要科技公司，如微軟、谷歌和百度，已在其商業產品和服務中部署了LLMs以增強功能。例如，微軟利用GPT-3.5來改善新Bing的搜索相關性排名（Mehdi，2023）。由于LLMs通常是復雜的“黑盒子”系統，其內部工作機制是不透明的，高復雜性使模型解釋變得更加具有挑戰性。這種模型不透明性的缺乏有時會導致生成有害內容或幻覺的產生（Weidinger等，2021）。因此，開發解釋能力以揭示這些強大模型的工作方式至關重要。

可解釋性指的是以人類可理解的方式解釋或呈現模型行為的能力（Doshi-Velez和Kim，2017；Du等，2019a）。提高LLMs的可解釋性至關重要，有兩個關鍵原因。首先，對于一般終端用戶，可解釋性通過以可理解的方式闡明模型預測背后的推理機制來建立適當的信任，無需技術專業知識。通過這種方式，終端用戶能夠理解LLMs的能力、局限性和潛在缺陷。其次，對于研究人員和開發人員，解釋模型行為提供了洞察力，以識別意外偏見、風險和性能改進的領域。換句話說，可解釋性充當了一個調試輔助工具，可以快速提高下游任務上的模型性能（Strobelt等，2018；Bastings等，2022；Yuksekgonul等，2023）。它有助于追蹤模型能力隨時間的變化，進行不同模型之間的比較，并開發可靠、道德和安全的模型，以供實際部署使用。 由于LLMs的獨特屬性，其可解釋性技術與傳統機器學習（ML）模型的技術有所不同。LLMs和傳統ML模型之間的差異可以歸因于多個方面。從數據的角度來看，ML模型以監督方式依賴人工構建的特征，而LLMs旨在自動從原始輸入數據中學習特征（Chai和Li，2019）。解釋LLMs捕捉了哪些特征以及這些特征中包含了什么知識是重要的。從模型的角度來看，傳統ML模型通常是針對具體任務設計的，具有不同的模型架構（Liu和Sun，2023）。相比之下，經過廣泛數據集的預訓練的LLMs可以通過微調泛化到各種下游任務（Yang等，2023）。此外，LLMs的注意力機制已被廣泛用于通過為輸入的相關部分分配更高的值來確定輸入的重要性（Hu，2020）。由于注意力權重中編碼的知識和模式可能提示了模型的理解，注意力權重可以被認為是精細調校模型的另一個重要解釋標準。此外，由于LLMs的性能更好，還應進一步研究transformer的組件，包括神經元、層和模塊，學到了什么以及它們是否有不同的功能。從應用的角度來看，傳統ML模型專注于低級模式識別任務，如解析和形態分析，而LLMs可以處理高級推理任務，如回答問題和常識推理（Lauriola等，2022）。特別是，理解LLMs在上下文學習和思維鏈提示以及幻覺現象方面的獨特能力對于解釋和改進模型至關重要。為了更好地理解和改進LLMs，有必要回顧和總結專為LLMs定制的解釋技術。 在本文中，我們提供了一種解釋基于Transformer的語言模型的方法的全面概述。在第2節中，我們介紹了應用LLMs的兩個主要范式：1）傳統的下游微調范式和2）提示范式。基于這一分類，我們在第3節中回顧了適用于微調LLMs的解釋方法，并在第4節中回顧了適用于提示LLMs的解釋方法。在第5節中，我們討論了解釋方法的評估。最后，在第6節中，我們進一步討論了與傳統機器學習模型相比解釋LLMs所面臨的研究挑戰，并提供了有關潛在未來研究方向的見解。本文旨在全面整理關于解釋復雜語言模型的最新研究進展。 LLMs的訓練范式

LLMs的訓練可以基本分為兩個范式，傳統微調和提示，根據它們如何用于適應下游任務。由于這兩個范式之間存在重大區別，因此分別提出了各種類型的解釋（如圖1所示）。 傳統微調范式

在這個范式中，首先對語言模型進行了大規模無標簽文本數據的預訓練，然后在特定下游領域的一組標記數據上進行微調，例如GLUE基準測試中的SST-2、MNLI和QQP（Wang等人，2019）。在微調過程中，很容易在語言模型的最終編碼器層上方添加完全連接的層，使其適應各種下游任務（Rogers等人，2021）。這個范式已經在包含多達十億參數的中型語言模型上取得了成功。例如，包括BERT（Devlin等人，2019a）、RoBERTa（Liu等人，2019）、ELECTRA（Clark等人，2020）、DeBERTa（He等人，2021）等。對于這個范式的解釋重點在于兩個關鍵領域：1）理解自監督預訓練如何使模型獲得語言的基礎理解（例如句法、語義和上下文關系）；以及2）分析微調過程如何賦予這些預訓練模型有效解決下游任務的能力。

**提示范式 **

提示范式涉及使用提示，例如自然語言句子中的空白，以便模型填充，實現零樣本學習或少樣本學習，而無需額外的訓練數據。根據其開發階段，這個范式下的模型可以分為兩種類型： 基礎模型：隨著LLMs的規模和訓練數據的增加，它們展示了令人印象深刻的新能力，無需額外的訓練數據。其中一種能力是通過提示實現少樣本學習。這種類型的范式通常適用于大規模語言模型（擁有數十億參數）（例如GPT-3（Brown等人，2020）、OPT（Zhang等人，2022b）、LLaMA-1（Touvron等人，2023a）、LLaMA-2（Touvron等人，2023b）、Falcon（Almazrouei等人，2023））。這些模型被稱為基礎模型或基礎模型，它們可以與用戶進行對話，無需進一步與人類喜好對齊。大規模模型通常適用于這種范式，規模超過10億。例如，LLaMA-2（Touvron等人，2023b）擁有高達700億個參數。基礎模型的解釋旨在理解模型如何學習在回應提示時利用其預訓練知識。 助手模型：基礎模型存在兩個主要限制：1）它們不能按照用戶的指令進行操作，因為預訓練數據包含少量指令-響應示例，2）它們傾向于生成有偏見和有毒的內容（Carlini等人，2023）。為了解決這些限制，基礎模型通過監督微調進一步進行微調（見圖2），以實現人類級別的能力，例如開放域對話。關鍵思想是通過將模型的響應與人類反饋和喜好對齊來實現。這個過程最典型的方式是通過（提示，響應）演示對和來自人類反饋的強化學習（RLHF）進行指導調整。模型通過自然語言反饋進行訓練，以進行復雜的多輪對話。屬于這一類別的模型包括OpenAI的GPT-3.5和GPT4（Bubeck等人，2023）、Anthropic的Claude（AnthropicAI，2023）以及一些開源模型，如Meta的LLaMA-2-Chat（Touvron等人，2023b）、Alpaca（Taori等人，2023）和Vicuna（Chiang等人，2023）。這些模型也可以稱為助手模型、聊天助手或對話模型。助手模型的解釋重點在于理解模型如何從對話中學習開放式互動行為。

**傳統微調范式的解釋 **

在本節中，我們回顧了針對采用預訓練和下游微調范式訓練的LLMs的解釋技術。首先，我們介紹了提供局部解釋（第3.1節）和全局解釋（第3.2節）的方法。在這里，局部解釋旨在提供對語言模型如何對特定輸入實例進行預測的理解，而全局解釋旨在提供對LLM整體工作方式的廣泛理解。接下來，我們討論了如何利用解釋來調試和改進模型（第3.3節）。

局部解釋

解釋的第一類別涉及解釋LLMs生成的預測。讓我們考慮這樣一種情景，我們有一個語言模型，并將特定文本輸入模型。模型隨后產生分類輸出，例如情感分類或下一個標記的預測。在這種情景下，解釋的作用是闡明模型生成特定分類或標記預測的過程。由于目標是解釋LLM如何為特定輸入做出預測，我們將其稱為局部解釋。這個類別包括四個主要方法流，包括基于特征歸因的解釋、基于注意力的解釋、基于示例的解釋和自然語言解釋。

**全局解釋 **

不同于旨在解釋模型的個體預測的局部解釋，全局解釋有助于從模型的角度理解LLMs的工作方式。全局解釋旨在理解個體組件（神經元、隱藏層和較大模塊）編碼了什么，以及解釋了個體組件所學習的知識/語言屬性。我們考察了三種主要的全局解釋方法：探測方法，用于分析模型表示和參數；神經元激活分析，用于確定模型對輸入的響應性；以及基于概念的方法。

**提示范式的解釋 **

在本節中，我們介紹了解釋屬于提示范式的模型的技術，包括1）解釋基礎模型，如LLaMA-2（第4.1節），2）解釋助手模型，如LLaMA-2-Chat（第4.2節），以及3）如何利用LLMs的推理和解釋能力生成用戶友好的解釋（第4.3節）。

基礎模型解釋

隨著語言模型的規模增大，它們展示出了新的能力，如少樣本學習，即僅從少量示例中學習概念的能力。它們還展示了一種思維鏈（CoT）提示能力。鑒于這些新興屬性，解釋性研究有三個主要目標：1）研究提供解釋是否實際有助于模型自身更快地從僅有少量示例中“理解”新任務，2）理解這些大型語言模型如何能夠迅速從有限示例中掌握新任務，從而幫助終端用戶解釋模型的推理，以及3）解釋思維鏈提示。

**助手模型解釋 **

由于大規模無監督預訓練和有監督對齊微調，屬于這一范式的LLMs具有強大的推理能力。然而，它們的巨大規模也使它們容易生成問題輸出，如幻覺。解釋性研究旨在：1）闡明對齊微調的作用，2）分析幻覺產生的原因。

結論

在本文中，我們提供了對LLMs的可解釋性技術的全面概述。我們總結了基于模型訓練范式的局部和全局解釋方法。我們還討論了如何利用解釋來改進模型、評估以及主要挑戰。未來的重要發展選項包括開發針對不同LLMs的解釋方法、評估解釋的忠實性，以及提高人類可解釋性。隨著LLMs的不斷進步，可解釋性將變得極其重要，以確保這些模型具有透明性、公平性和益處。我們希望這份調查為這一新興研究領域提供了有用的組織，同時突顯了未來工作的開放性問題。

**本文回顧了在擴散模型在廣泛的生成任務中流行的背景下的文本到圖像的擴散模型。作為一項獨立的工作，本綜述首先簡要介紹基本擴散模型如何用于圖像合成，然后介紹條件或指導如何改善學習。**在此基礎上，綜述了文本條件圖像合成(即文本到圖像)的最新方法。本文進一步總結了文本到圖像生成之外的應用:文本指導的創意生成和文本指導的圖像編輯。除了迄今取得的進展，本文還討論了現有的挑戰和有希望的未來方向。

//www.zhuanzhi.ai/paper/8a64d962c13c8857d5c06bcdc0c43c0a

1. 引言

一幅畫勝過千言萬語。正如一句老話所說，圖像比純文本更能講述故事。當人們閱讀文本故事時，他們可以通過想象在腦海中畫出相關的圖像，這有助于他們理解和享受更多。因此，設計一個從紋理描述生成視覺逼真圖像的自動系統，即文本到圖像任務，是一項非平凡任務，因此可以被視為類人或通用人工智能的一個重要里程碑[1]，[2]，[3]，[4]。隨著深度學習[5]的發展，文本到圖像任務已經成為計算機視覺中最令人印象深刻的應用之一[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]。我們在圖1中總結了文本到圖像生成的代表性工作的時間軸。如圖1所示，AlignDRAW[6]是一項從自然語言生成圖像的開創性工作，但受到了不現實的結果的影響。文本條件GAN[7]是第一個從字符級到像素級的端到端差分架構。不同于基于GAN的方法[7]、[8]、[9]、[10]主要在小規模數據環境下進行，自回歸方法[11]、[12]、[13]、[14]利用大規模數據進行文本到圖像生成，代表性方法包括OpenAI的DALL-E[11]和谷歌的Parti[14]。然而，自回歸特性使得這些方法[11]，[12]，[13]，[14]存在較高的計算成本和序列誤差累積。

最近，擴散模型(DM)出現了成為文本到圖像生成中最先進的新模型的趨勢[15]，[16]，[17]，[18]。基于擴散的文本到圖像合成也在社交媒體上引起了廣泛關注。在過去的一年里，大量關于文本到圖像擴散模型的工作已經出現，但更多的工作預計將在不久的將來出現。相關著作的數量使讀者在沒有全面調研的情況下，了解文本-圖像擴散模型的最新發展越來越具有挑戰性。然而，據我們所知，目前還沒有關于基于擴散的文本到圖像生成的最新進展的綜述工作。相關綜述的一個分支[19]，[20]，[21]，[22]綜述了擴散模型在所有領域的進展，使其局限于對測試到圖像合成任務的有限覆蓋。另一個綜述流[21]，[23]，[24]專注于文本到圖像任務，但僅限于基于GAN的方法，考慮到擴散模型取代GAN的最近趨勢，這些方法有些過時。本文通過全面介紹基于擴散模型的文本到圖像任務的最新進展，并對其未來方向進行了展望，填補了上述兩個流之間的空白。 **該綜述首先回顧了基于擴散模型的文本到圖像任務的最新進展，因此處于擴散模型和文本到圖像合成的交叉點。**因此，我們將本文的其余部分組織如下。第二節介紹了擴散模型的背景，包括對文本到圖像合成很重要的指導方法。第三部分討論了基于擴散模型的文本生成圖像任務的開創性工作，包括GLIDE[15]、Imagen[16]、Stable diffusion[17]和DALL-E2[18]。第四部分從各個方面進一步論述了后續研究對第三部分開拓性工作的完善。通過總結最近的基準和分析，在第5節中從技術和道德角度進一步評估這些文本到圖像的方法。除了文本到圖像的生成外，還介紹了第六節中的相關任務，包括文本指導的創意生成(如文本到視頻)和文本指導的圖像編輯。回顧了文本到圖像生成之外的各種應用，并討論了挑戰和未來的機會。 2. 開創性的文本到圖像擴散模型

本節介紹基于擴散模型的文本到圖像的前沿框架，根據擴散先驗在哪里進行，可以大致分類，即像素空間或潛空間。第一類方法直接從高維像素級生成圖像，包括GLIDE[15]和Imagen[16]。另一組工作建議首先將圖像壓縮到一個低維空間，然后在這個潛空間上訓練擴散模型。潛空間類的代表性方法有Stable Diffusion[17]、VQ-diffusion[39]和DALL-E 2[18]。 像素空間中的框架

GLIDE:關于DM的第一個T2I工作。本質上，文本到圖像是以文本為條件的圖像合成。因此，將類條件DM中的標簽替換為文本，使采樣生成以文本為條件是很直觀的。正如在2.3節中討論的，引導擴散提高了條件DM中樣本[37]的真實感，其無分類器變體[38]有助于處理自由形式的提示。受此啟發，GLIDE[15]在T2I中采用無分類器指導，將原始類別標簽替換為文本。GLIDE[15]還調查了剪輯指導，但與無分類器指導相比，人類評估人員不太喜歡樣本的照片真實感和標題相似性。作為其框架中的一個重要組件，文本編碼器被設置為一個transformer[40]，具有24個殘差塊，寬度為2048(大約1.2B參數)。實驗結果表明，GLIDE[15]在FID和人工評價指標上均優于DALL-E [11]。

Imagen:用預訓練語言模型編碼文本。

繼GLIDE[15]之后，Imagen[16]采用無分類器指導的圖像生成。GLIDE和Imagen的核心區別在于它們對文本編碼器的選擇。具體來說，GLIDE使用成對的圖像-文本數據與擴散先驗一起訓練文本編碼器，而Imagen[16]采用預訓練和凍結的大型語言模型作為文本編碼器。凍結預訓練編碼器的權重有助于離線文本嵌入，這為文本到圖像擴散先驗的在線訓練減少了可忽略不計的計算負擔。此外，文本編碼器可以在圖像-文本數據(如CLIP[41])或純文本語料庫(如BERT [42]， GPT[43]，[44]，[45]和T5[46])上進行預訓練。純文本語料庫明顯大于成對的圖像-文本數據，使這些大型語言模型接觸到分布豐富而廣泛的文本。例如，BERT[42]中使用的純文本語料庫約為20GB, T5[46]中使用的純文本語料庫約為800GB。以不同的T5[46]變體作為文本編碼器，[16]揭示了在Imagen中增加語言模型的大小比擴大擴散模型的大小更能提高圖像保真度和圖文對齊。

隱空間框架

穩定擴散:潛空間的里程碑式研究。在隱空間上訓練擴散模型的代表性框架是穩定擴散，它是隱擴散模型(LDM)[17]的擴展版本。繼Dall-E[11]采用VQ-VAE學習視覺碼本之后，穩定擴散在第一階段使用VQ-GAN[47]進行潛表示。值得注意的是，VQ-GAN通過添加對抗性目標來改進VQ-VAE，以增加合成圖像的自然度。使用預訓練的VAE，穩定擴散逆轉了用噪聲擾動潛空間的前向擴散過程。穩定擴散還引入了交叉注意力，作為各種條件信號(如文本)的通用調節。在[17]上的實驗結果表明，在隱空間上進行擴散建模在降低復雜度和保持細節方面明顯優于在像素空間上進行擴散建模。在VQ-diffusion[39]中，采用先掩碼再替換的擴散策略，也實現了類似的擴散算法。與像素空間方法的發現類似，無分類器指導也顯著改善了隱空間[17]、[48]中的文本到圖像擴散模型。

3. 文本到圖像擴散模型的改進

3.1改進模型架構

關于指導的選擇。在無分類器指導的基礎上，[15]、[57]、[58]等工作也利用CLIP[41]探索了跨模態指導。具體來說，GLIDE[15]發現CLIP-guidance的表現低于無分類器指導的變體。相比之下，另一項修復[59]的工作指出，缺乏大規模的transformer語言模型，使得這些具有CLIP指導的模型難以編碼文本提示和生成具有細節的復雜場景。通過結合大型語言模型和跨模態匹配模型，修復[59]顯著提高了生成圖像的樣本保真度和圖像-文本對齊。通用的圖像合成能力使修復[59]可以在簡單和復雜的場景中生成圖像。 3.2 空間控制示意圖

盡管它們具有前所未有的高圖像保真度和標題相似性，但大多數文本到圖像的DMs，如Imagen[16]和DALL-E2[18]，并不提供對空間布局的細粒度控制。為此，SpaText[62]引入了空間文本(ST)表示，可以通過調整SOTA DM的解碼器對其進行微調。具體來說，新的編碼器同時滿足局部ST和現有的全局文本。因此，SpaText[62]的核心在于ST，其中的擴散先驗單獨訓練，以將CLIP中的圖像嵌入轉換為其文本嵌入。在訓練過程中，通過使用CLIP圖像編碼器將分割后的圖像對象作為輸入直接生成ST。并發工作[63]提出通過簡單的草圖圖像實現細粒度的局部控制。他們的方法的核心是一個潛在引導預測器(LGP)，這是一個像素級MLP，將噪聲圖像的潛在特征映射到相應的草圖輸入。經過訓練后(請參閱[63]了解更多訓練細節)，LGP可以部署到預訓練的文本到圖像DM，而不需要進行微調。

3.3 面向概念控制的文本反轉

文本到圖像生成的先驅工作[15]，[16]，[17]，[18]依靠自然語言來描述生成圖像的內容和風格。然而，在某些情況下，文本不能準確地描述用戶想要的語義，例如生成一個新的主題。為了合成具有特定概念或主題的新場景，[64]，[65]引入了一些具有所需概念的參考圖像，然后將參考圖像翻轉為文本描述。具體來說，[64]將幾個參考圖像中的共享概念翻轉到文本(嵌入)空間，即“偽詞”。生成的“偽詞”可用于個性化生成。DreamBooth[65]采用了類似的技術，主要區別在于對預訓練DM模型進行微調(而不是凍結)，以保留主題身份的關鍵視覺特征。

3.4 分布外檢索

SOTA文本到圖像模型令人印象深刻的性能是基于這樣的假設:該模型很好地暴露了以訓練風格描述公共實體的文本。然而，當實體很少見，或者期望的風格與訓練風格有很大不同時，這種假設就不成立了。為了緩解分布外性能的顯著下降，多個工作[66]、[67]、[68]、[69]都使用了將外部數據庫作為內存進行檢索的技術。這種技術首先在NLP[70]，[71]，[72]，[73]，[74]和最近在基于GAN的圖像合成[75]中獲得了關注，通過將全參數模型轉換為半參數模型。受此啟發，[66]增強了具有檢索的擴散模型。檢索增強擴散模型(RDM)[66]由條件DM和圖像數據庫組成，圖像數據庫被解釋為模型的顯式部分。通過在CLIP中測量距離，為每個查詢查詢k近鄰，即訓練樣本，在外部數據庫中，擴散先驗由具有固定CLIP圖像編碼器的KNN近鄰的更有信息的嵌入來指導，而不是文本嵌入。KNN-diffusion[67]采用了一種基本相似的方法，主要不同之處在于使擴散先驗地附加在文本嵌入上，以提高生成的樣本質量。后續的Re-Imagen[69]也采用了這種做法。與兩階段框架的RDM[66]和KNN-diffusion[67]相比，Re-Imagen[69]采用單階段框架，選擇與潛空間距離不相關的K-NN近鄰。此外，Re-Imagen還允許檢索到的鄰居既是圖像又是文本。如[69]所述，Re-Imagen在基準COCO數據集上的性能比KNN-diffusion有很大的優勢。