亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

低秩適應（Low-Rank Adaptation，LoRA）通過可插拔的低秩矩陣更新密集神經網絡層，是當前參數高效微調范式中表現最佳的方法之一。此外，它在跨任務泛化和隱私保護方面具有顯著優勢。因此，LoRA 最近受到了廣泛關注，相關文獻的數量呈指數增長。對LoRA的當前進展進行全面綜述是必要的。本綜述從以下幾個方面分類并回顧了LoRA的進展：（1）改進LoRA在下游任務性能的變體；（2）通過混合多種LoRA插件實現跨任務泛化的方法；（3）提高LoRA計算效率的方法；（4）在聯邦學習中使用LoRA的數據隱私保護方法；（5）應用。此外，本綜述還討論了該領域的未來研究方向。 預訓練語言模型參數規模的迅速增加提升了它們的泛化能力，并帶來了新的能力。近年來，預訓練語言模型的參數規模增加了數千倍（例如，從具有3.3億參數的BERT[1]到具有5400億參數的PaLM[2]）。這些具有大參數規模的預訓練語言模型被稱為大語言模型（LLMs）。然而，由于LLMs的知識邊界，它們在某些下游任務中的能力仍然有限。為了擴展知識邊界，仍然有必要在下游任務上微調LLMs。

然而，對LLM進行全參數微調（即全量微調）計算開銷極其巨大，例如，對LLaMA2-7B[3]模型進行全量微調需要大約60GB的內存，超出了普通消費級GPU的容量[4]。為了減少計算成本，提出了各種參數高效微調（PEFT）方法[5]。這些方法通過只微調少量（額外的）模型參數來使LLMs適應下游任務。從是否涉及額外參數的角度來看，PEFT方法可以分為兩類：額外參數方法和內部參數方法。額外參數方法凍結LLM的所有原始參數，并插入一組可學習的參數來優化模型輸入或模型層，如適配器調優[6]和提示調優[7]。相比之下，內部參數方法凍結LLM的大部分原始參數，只微調LLM的一小部分參數，如BitFit[8]、LISA[4]和LoRA[9]。 在無法修改模型架構的情況下，內部參數方法是理想的。在內部參數方法中，LoRA是使用最廣泛的方法，因為它在多個下游任務上可以實現與全量微調相當或更好的下游適應性能[9]，且易于實施。此外，還提出了許多變體，以進一步提高LoRA在更具挑戰性的下游任務中的適應能力。

LoRA通過使用可插拔的低秩矩陣更新LLM的密集神經網絡層來實現參數效率。這些矩陣（即LoRA插件）是獨立于LLM的，可以存儲并在其他相關的下游任務中重用。此外，這些LoRA插件可以組合以實現跨任務泛化，從而促進多任務學習、領域適應和LLMs的持續學習。

隨著LoRA插件的累積，管理LoRA插件的計算成本也在增加。盡管LoRA計算效率高，但管理大量LoRA插件的計算成本不可忽視。因此，有必要進一步提高LoRA的計算效率。改進可以通過減少單個LoRA插件的計算成本和加速多個插件的可擴展服務來實現。這可以促進LoRA在現實世界中的應用，如生成即服務（GaaS）云產品。 在某些情況下，訓練數據由多個客戶端私有且無法集中。為了使用分布式訓練數據使LLMs適應，我們可以采用聯邦學習來保護每個客戶端的數據隱私。然而，聯邦學習會產生高昂的通信和計算成本。為了降低成本，LoRA是一個自然的選擇。其參數高效特性有助于降低每個客戶端的計算成本和跨客戶端共享參數的通信成本。此外，LoRA的可插拔特性有助于在聯邦學習中保留每個客戶端的參數隱私。因此，LoRA在隱私保護方面具有巨大潛力。

在本綜述中，我們對LoRA的當前進展進行了全面概述，包括：（1）提高LoRA下游適應性能的方法；（2）混合LoRA插件以實現跨任務泛化的方法；（3）提高LoRA計算效率的方法；（4）在聯邦學習中采用LoRA的方法。此外，還簡要介紹了LoRA的應用。圖1展示了LoRA相關方法的分類。本綜述旨在提供LoRA的全面背景知識、研究趨勢和技術見解。

本綜述的其余部分組織如下。第2節介紹了LoRA的背景知識，第3節介紹了旨在提高下游適應性能的LoRA變體。在第4節中，我們回顧了混合LoRA插件以實現跨任務泛化的方法。第6節介紹了LoRA驅動的聯邦學習方法。第7節報告了LoRA的應用。第8節總結了本綜述并討論了未來的研究方向。

低秩適應（LoRA）

低維固有維度假說[186]提出，過度參數化模型存在于低固有維度上，這表明我們可以通過僅更新與固有秩相關的參數來實現適當的學習性能。基于這一假說，LoRA[9]提出用低秩矩陣更新模型中的密集層。它可以同時實現參數和計算效率。在本節中，我們首先介紹LoRA的細節，然后介紹現有的聚焦于LoRA理論分析的工作。此外，我們展示了LoRA在實踐中的效率。最后，本節介紹了LoRA在微調之外的其他用例。

LoRA在參數上非常高效，因為它僅更新模型參數的一小部分，從而在不增加推理延遲的情況下減少了微調所需的內存和計算要求[187]。此外，可以通過從低秩矩陣擴展到低秩張量[188]或與克羅內克分解結合[189, 190]進一步提高參數效率。除了參數效率，LoRA也是可插拔的，因為LoRA參數在訓練后可以從模型中分離出來。LoRA的可插拔特性使其可以被多個用戶共享和重用[191]。當我們擁有多個任務的LoRA插件時，可以組合這些插件，并期望獲得適當的跨任務泛化性能[58]。此外，LoRA的低秩機制兼容其他參數高效方法，如適配器[192, 193]。 在實踐中，對于基于Transformer的LLM，密集層通常由兩種類型的權重矩陣組成：注意力模塊中的投影矩陣和前饋神經（FFN）模塊。在原始研究中，LoRA應用于注意力層的權重矩陣。后續工作表明，在FFN層中使用它可以進一步提高模型性能[194]。

下游適應性改進

盡管LoRA在某些下游任務上可以實現適當的適應性能，但在許多下游任務上（如數學推理[200-202]），LoRA與全量微調之間仍存在性能差距。為填補這一差距，許多方法被提出以進一步提高LoRA在下游任務中的適應性能。通常，現有方法從以下幾個角度改進下游適應性能： 1. 突破低秩瓶頸，參見圖2（c）； 1. 自適應分配不同LoRA模塊的秩，參見圖2（d）； 1. 優化LoRA的學習過程； 1. 與其他學習范式結合。

結論與未來方向

在本綜述中，我們系統地回顧了LoRA在下游適應性改進、跨任務泛化、效率提升、聯邦學習和應用等方面的最新進展。從這一綜述中，我們可以發現LoRA在參數效率、可插拔性、兼容性和實現跨任務泛化的簡便性方面具有顯著優勢，使其成為LLMs應用中最重要的技術之一。最近的進展進一步提升了LoRA的泛化能力和效率，并激發了其在更多場景中應用的潛力。以下列出了LoRA在未來將不可或缺的三個發展方向。

**用于生成即服務（GaaS）的LoRA

在生成即服務（GaaS）中，基于云的平臺為用戶提供生成性人工智能（AGI）服務。GaaS使用戶無需部署本地計算資源即可享受AGI服務。由于用戶的需求多樣化，提供各種功能的GaaS是必要的。為了實現這些各種功能，我們可以為每個功能構建一個LoRA插件。LoRA的參數效率和可插拔性可以促進高效的功能構建和執行。此外，GaaS平臺上的服務會隨時間迅速變化。為了跟上這些變化，我們可以通過組合先前的插件來初始化新的LoRA插件。LoRA的跨任務泛化能力可以促進服務更新的快速適應。

**用于持續預訓練的LoRA

在持續預訓練中，基礎模型通過無標簽的用戶數據持續訓練，以使模型適應特定領域。通常，自監督訓練目標與預訓練相同，學習率則比預訓練小得多。持續預訓練是構建垂直領域LLMs的重要階段。然而，這在計算上非常昂貴，阻礙了垂直領域LLMs的發展，尤其是對于計算資源有限的組織。增強LoRA以進行持續預訓練并降低其計算成本是值得探索的方向。

**用于自主代理的LoRA

在基于LLM的自主代理中，代理被賦予特定角色。根據角色和環境，代理會采取行動來回應用戶或其他代理的請求。這些行動可以基于自我知識或為特定領域任務設計的工具。這些請求和行動被存儲在內存中，以支持未來的請求。 在當前的代理中，角色通常通過提示來分配；然而，當角色復雜且相關數據量大時，提示可能無法全面描述角色。通過從與角色相關的數據中訓練LoRA插件來分配角色可能是更好的選擇。此外，代理的工具也可以是LoRA插件。通常，內存通過檢索增強生成（RAG）來增強代理；然而，由于輸入令牌的限制和上下文學習的缺點，基于RAG的支持可能效果不佳。相比之下，我們可以使用基于LoRA的持續學習來構建內存插件，從而解決RAG的問題。因此，值得探索LoRA驅動的代理。 總之，LoRA在生成即服務、持續預訓練和自主代理等領域展現出巨大的潛力，未來的研究將進一步挖掘和擴展LoRA的應用，使其在越來越多的實際場景中發揮重要作用。

大語言模型（LLMs）與知識表示學習（KRL）的整合，標志著人工智能領域的重要進展，增強了捕捉和利用復雜知識結構的能力。這種協同作用利用了LLMs的高級語言和語境理解能力，以提升KRL的準確性、適應性和效能，從而擴展其應用和潛力。盡管有越來越多的研究集中在將LLMs嵌入到知識表示領域，但關于這些增強模型基本組件和過程的徹底審查明顯缺乏。我們的綜述通過基于三種不同的Transformer架構對這些模型進行分類，并分析來自各種KRL下游任務的實驗數據，以評估每種方法的優勢和劣勢。最后，我們確定并探討了這一新興但尚未深入探討的領域的潛在未來研究方向，提出了持續進展的路徑。

介紹

大語言模型（LLMs）（例如，BERT [18]，LLaMA [59]），代表了一個不斷增長模型大小的方向，這些模型在更大的語料庫上進行預訓練，已經展示出在解決自然語言處理（NLP）任務中的強大能力，包括問答 [99]，文本生成 [100] 和文檔理解 [101]。關于模型大小，沒有明確和靜態的閾值。早期的LLMs（例如BERT，RoBERTa）采用了編碼器架構，并展示了在文本表示學習和自然語言理解方面的能力。近年來，更多的關注點轉向了更大的編碼器-解碼器 [102] 或僅解碼器 [103] 架構。隨著模型大小的增加，這些LLMs還展示了推理能力甚至更高級的新興能力 [104]，展示出對人工通用智能（AGI）的強大潛力。

這個拐點，隨著LLMs的到來，標志著從顯式知識表示向重新關注顯式知識和參數化知識混合表示的范式轉變。作為顯式知識表示的一種流行方法，知識圖譜（KGs）現在被廣泛研究，用于與基于Transformer的LLMs結合，包括預訓練的掩蔽語言模型（PLMs）如BERT和RoBERTa，以及更近期的生成式LLMs如GPT系列和LLaMA。一些工作利用LLMs來增強知識圖譜表示學習。在這篇綜述中，考慮到三個方向，即基于編碼器的方法、基于編碼器-解碼器的方法和基于解碼器的方法。我們對從顯式知識表示向重新關注顯式知識和參數化知識混合表示的轉變有了更深入的理解。

Cao等人 [22] 和Biswas等人 [40] 討論了知識圖譜表示學習的最新進展，但他們對與大型模型整合相關的方面處理不足。Pan等人 [42] 和Pan等人 [43] 探討了知識圖譜與大型模型的結合，特別是LLM4KG和KG4LLM；然而，他們在表示學習方面的覆蓋有限。因此，目前還沒有專門概述知識圖譜表示學習領域最新發展的綜述文章。

貢獻 本綜述的顯著貢獻總結如下：

• 知識表示學習的分類。我們系統總結了大語言模型可以采用的知識表示學習方法，包括基于編碼器、基于編碼器-解碼器和基于解碼器的方法。
• 技術的系統回顧。我們提供了關于大語言模型在知識圖譜表示學習技術中的最全面概述。針對不同方法，我們總結了代表性模型，提供了詳細的說明，并進行了必要的比較。
• 未來方向。我們深入探討了語言模型在圖譜上的基礎原理，并提出了六個未來探索的前景方向。

組織結構 本綜述的結構如下：

• 第2節介紹基礎，包括知識圖譜、大語言模型和基于文本的表示學習等相關概念。
• 第3節綜述當前研究中采用的核心方法，將其分為三種Transformer類型。每個部分進一步探討了各種子方法。
• 在第4節，我們從每個下游任務的性能評估結果討論了每種方法的優勢。
• 第5節概述了與討論的類別相一致的潛在未來研究方向，并提出了有望實現顯著進展的領域。
• 第6節的結論綜合了綜述中得出的見解，并突出了對未來研究的影響。

隨著大語言模型（LLM）在各個領域的應用不斷擴大，它們適應數據、任務和用戶偏好的持續變化的能力變得至關重要。使用靜態數據集的傳統訓練方法不足以應對現實世界信息的動態特性。終身學習或持續學習通過使LLM能夠在其運行生命周期內持續學習和適應，整合新知識，同時保留先前學習的信息并防止災難性遺忘來解決這一問題。我們的綜述探討了終身學習的現狀，根據新知識的整合方式將策略分為兩類：內在知識，LLM通過完全或部分訓練將新知識吸收到其參數中；外部知識，通過將新知識作為外部資源（如維基百科或API）引入而不更新模型參數。我們的綜述的主要貢獻包括：（1）引入了一種新穎的分類法，將終身學習的大量文獻劃分為12種情景；（2）識別了所有終身學習情景中的常見技術，并將現有文獻分類到不同的技術組中；（3）強調了在LLM之前時代較少探索的模型擴展和數據選擇等新興技術。資源可在//github.com/qianlima-lab/awesome-lifelong-learningmethods-for-llm找到。

隨著大語言模型（LLM）在各個領域的應用不斷擴大，這些模型適應數據、任務和用戶偏好持續變化的能力變得至關重要。傳統的訓練方法依賴靜態數據集來訓練LLM，越來越無法應對現實世界信息的動態特性。終身學習（也稱為持續學習、增量學習），或LLM在其運行生命周期內持續和自適應學習的能力，解決了這一挑戰，通過整合新知識，同時保留先前學習的信息，從而防止災難性遺忘。圖1提供了終身學習的示意圖。 本綜述深入探討了終身學習的復雜領域，根據新知識的整合方式將策略分為兩大類：內在知識和外部知識。每個類別包含不同的方法，旨在增強LLM在各種情境下的適應性和有效性。圖2展示了LLM終身學習方法的分類。 內在知識類通過完全或部分訓練將新知識吸收到LLM的參數中，包括持續預訓練和持續微調等策略。例如，在工業應用中，常采用持續垂直領域預訓練，公司經常使用金融等領域的特定數據重新訓練其LLM。盡管這提高了特定領域的性能，但也有可能削弱模型的廣泛知識基礎，說明了在專業適應性和通用知識保留之間保持平衡的挑戰。持續微調涵蓋了特定情境的方法，如文本分類、命名實體識別、關系抽取和機器翻譯等，以及任務無關的方法，如指令微調、對齊和知識編輯。此外，在持續對齊中使用了人類反饋的強化學習，以確保LLM遵守人類價值觀，如安全和禮貌，突顯了所謂的“對齊稅”，即過于專注于特定價值觀可能會導致模型的通用能力下降。

外部知識類通過將新知識作為外部資源（如維基百科或API）引入，而不更新模型參數，包括基于檢索和工具的終身學習，利用外部數據源和計算工具來擴展模型的能力。基于檢索的策略，如檢索增強生成，通過提供上下文相關、準確和最新的外部數據庫（如維基百科）信息來增強文本生成，確保模型輸出隨時間保持相關性。同時，工具學習類借鑒人類工具使用的類比，模型學習使用外部計算工具，從而無需直接修改其核心知識庫，拓寬了其問題解決能力。

通過對這些組及其各自類別的詳細檢查，本文旨在強調將終身學習能力整合到LLM中，從而增強其在實際應用中的適應性、可靠性和整體性能。通過解決與終身學習相關的挑戰并探索該領域的創新，本綜述旨在為開發更強大和多功能的LLM做出貢獻，使其能夠在不斷變化的數字環境中蓬勃發展。

本綜述與現有綜述的差異。近年來，終身學習已成為一個越來越受歡迎的研究主題。大量綜述探討了神經網絡的終身學習。大多數現有綜述主要集中在卷積神經網絡（CNN）的終身學習，探討了CNN的各種終身學習情景，包括圖像分類、分割、目標檢測、自動系統、機器人和智慧城市。此外，一些綜述探討了圖神經網絡的終身學習。然而，只有少量文獻關注語言模型的終身學習。Biesialska等是關于自然語言處理（NLP）中終身學習的早期綜述，但他們只關注詞和句子表示、語言建模、問答、文本分類和機器翻譯。Ke等關注終身學習情景，包括情感分類、命名實體識別和摘要。他們還討論了知識轉移和任務間類分離的技術。Zhang等提供了關于將LLM與不斷變化的世界知識對齊的技術的全面回顧，包括持續預訓練、知識編輯和檢索增強生成。Wu等從持續預訓練、持續指令微調和持續對齊三個方面重新審視了終身學習。Shi等從垂直方向（或垂直持續學習）和水平方向（或水平持續學習）兩個方向研究了LLM的終身學習。Jovanovic等回顧了幾種實時學習范式，包括持續學習、元學習、參數高效學習和專家混合學習。雖然最近的綜述收集了終身學習的最新文獻，但它們沒有涵蓋持續文本分類、持續命名實體識別、持續關系抽取和持續機器翻譯等情景，并且對持續對齊、持續知識編輯、基于工具的終身學習和基于檢索的終身學習的討論較少。據我們所知，我們是第一個提供對LLM終身學習方法從12種情景進行徹底和系統檢查的綜述。

本綜述的貢獻。我們的綜述的主要貢獻包括：

• 新穎的分類法：我們引入了一個詳細且結構化的框架，將終身學習的廣泛文獻劃分為12種情景。

-** 常見技術**：我們在所有終身學習情景中識別了常見技術，并將現有文獻分類到每個情景內的各種技術組中。

• 未來方向：我們強調了模型擴展和數據選擇等在LLM之前時代較少探索的新興技術。

本綜述的組織結構如下。第二節介紹問題的形成、評價指標、常見技術、基準和數據集。第三節、第四節和第五節檢查了持續預訓練、持續微調和基于外部知識的終身學習的現有技術。第六節討論了LLM終身學習的現有挑戰、當前趨勢和未來方向，并總結了本綜述。

近年來，基礎語言模型（LMs）在自然語言處理（NLP）和計算機視覺（CV）領域取得了顯著成就。與傳統神經網絡模型不同，基礎語言模型通過在大量無監督數據集上進行預訓練，獲得了豐富的常識知識，并且具有強大的遷移學習能力。然而，由于災難性遺忘，基礎語言模型仍然無法模擬人類的持續學習能力。因此，各種基于持續學習（CL）的方法被開發出來，以改進語言模型，使其能夠在適應新任務的同時不遺忘以前的知識。然而，現有方法的系統分類和性能比較仍然缺乏，這正是本綜述旨在填補的空白。我們深入綜述、總結并分類了現有文獻中應用于基礎語言模型的持續學習方法，如預訓練語言模型（PLMs）、大語言模型（LLMs）和視覺-語言模型（VLMs）。我們將這些研究分為離線持續學習和在線持續學習，其中包括傳統方法、基于參數高效的方法、基于提示調優的方法和持續預訓練方法。離線持續學習包括領域增量學習、任務增量學習和類別增量學習，而在線持續學習則細分為硬任務邊界和模糊任務邊界設置。此外，我們概述了持續學習研究中使用的典型數據集和指標，并詳細分析了基于語言模型的持續學習所面臨的挑戰和未來工作。

** 1 引言**

近年來，基礎語言模型（LMs）在自然語言處理（NLP）[136, 226, 232]和計算機視覺（CV）[188]領域設立了新的基準。基礎語言模型主要包括三大類：預訓練語言模型（PLMs）[136]、大語言模型（LLMs）[226]和視覺-語言模型（VLMs）[42]。PLMs如BERT [88]、RoBERTa [120]和BART [102]專注于文本任務，通過利用掩碼語言建模等任務進行預訓練，對于理解和生成語言至關重要。LLMs如GPT-4 [1]和LLaMA [173]通過擴大模型架構和訓練數據的規模，擴展了PLMs的能力，從而增強了它們在更廣泛任務中的普適性和適應性。VLMs如VisualBERT [106]、CLIP [154]、LLaVA [113]和DALL-E [156]集成了文本和圖像模態，使視覺和文本信息之間能夠進行復雜交互。這些模型的基本范式是通過在廣泛的、通常是無標簽的數據集上進行預訓練來捕獲豐富的語義信息，然后針對具體任務或領域進行微調。這種方法不僅提升了各類應用的性能，還顯著增強了模型的靈活性和任務適應性 。 然而，這些基礎模型在具有一系列任務的動態環境中往往表現出局限性，主要原因是訓練完成后參數固定。這些模型通常缺乏在不進行重新訓練的情況下整合新數據或概念的能力。一個重要挑戰是“災難性遺忘”[92]，即模型在學習新信息時會喪失先前獲得的知識。這與人類的持續學習過程形成鮮明對比，人類學習過程本質上是連續且適應性的。盡管多任務學習（MTL）和遷移學習（TL）在某些應用中取得了成功，但它們在現實場景中有其局限性。MTL需要在開始時就提供所有任務及其數據，這在推出新服務時構成挑戰，因為模型必須重新訓練所有數據。此外，TL通常只涉及兩個任務，即源任務和目標任務，這對于擁有多個目標任務的現實在線平臺來說是不切實際的。為了解決這些挑戰，模型需要處理和學習不斷擴展和多樣化的數據集。這需要允許模型在適應新語言現象和趨勢的同時，不影響對歷史數據的準確性和敏感性的機制。

因此，持續學習（CL）[175, 186]，也被稱為終身學習[145]或增量學習[230]，是人工智能中的一個關鍵領域，旨在開發能夠持續更新自身并獲取新知識的系統，而不遺忘先前學到的信息，類似于人類學習[34]。這一范式在基礎語言模型（LMs）的背景下尤為重要，因為它們面臨災難性遺忘（CF）和跨任務知識轉移（KT）等特定問題。災難性遺忘是一個顯著挑戰，模型在學習新信息時傾向于喪失先前獲得的知識。為了解決這一問題，語言模型必須在適應新的語言趨勢的同時，保持對過去語言數據的穩固掌握。此外，跨任務知識轉移對于增強持續學習過程至關重要。有效的知識轉移不僅加速新任務的學習曲線（前向轉移），還通過新知識的反饋提高模型在先前任務上的性能（反向轉移）。

持續學習方法的最新進展大大提升了基礎語言模型（LMs）的適應性和知識保留能力。這些進展對于解決CL中先前觀察到的復雜挑戰至關重要。研究人員制定了創新策略來減輕這些挑戰，從而使LMs能夠在各種任務中保持高性能，同時持續整合新知識[30, 99, 134]。在不同的下游任務中記錄了顯著的成功，例如基于方面的情感分析，其中持續學習使動態適應不斷變化的方面和情感成為可能[84]。同樣，在對話生成中，新技術通過持續交互幫助模型改進和擴展其對話能力[164]。在文本分類中，持續學習促進了新類別的整合和對文本分布變化的調整，而無需完全重新訓練[158]。此外，在視覺問答領域，持續學習對于更新模型處理和響應新類型視覺內容和查詢的能力至關重要[148, 220]。上述工作強調了持續學習對提升基礎語言模型性能的潛力。

在持續學習領域，傳統方法向整合基礎語言模型的方法發生了顯著的范式轉變（見圖1）。首先，基礎語言模型由于在大規模數據集上的廣泛預訓練，展示了增強的泛化和遷移學習能力。模型具有快速適應下游任務的專門遷移能力，只需少量樣本。因此，在促進新技能獲取的同時，減輕零樣本遷移和歷史任務能力的退化至關重要。其次，由于基礎語言模型中大量的參數，采用參數高效技術[59]如提示調優[119]和適配器[140]，無需全面重新訓練即可更新參數。第三，基礎語言模型具備通過指令學習[39, 144]進行動態和上下文感知交互的能力。

本綜述系統地將這些策略和技術分類為兩個核心領域：離線持續學習和在線持續學習（圖2）。我們首先給出離線和在線CL的詳細定義和場景，其中離線CL包括領域增量、任務增量和類別增量CL，而在線CL包括硬任務邊界和模糊任務邊界。這些學習策略進一步細分為基于預訓練語言模型（PLMs）、大語言模型（LLMs）和視覺-語言模型（VLMs）的方法。然后，我們總結了與傳統方法、持續預訓練方法、參數高效調優方法和基于指令方法相關的論文。最后，我們從多個角度統計了主要數據集，并回顧了評估模型遺忘和知識轉移的關鍵指標。

本綜述論文的主要貢獻如下：

• 我們全面回顧了現有的基于基礎語言模型的持續學習方法文獻，這些方法將基礎語言模型與CL整合起來，在不重新訓練模型的情況下學習新知識。這與傳統CL大不相同，因為基礎語言模型具有強大的遷移學習、零樣本和指令跟隨能力，并且參數龐大。
• 我們定義了不同的設置，并將這些研究分類為各種類型，以便更好地理解該領域的發展。除了傳統方法如重放、正則化和參數隔離算法外，我們還總結了持續預訓練方法、參數高效調優方法和基于指令調優的方法。
• 我們提供了現有持續學習數據集的特征，并展示了評估防止遺忘和知識轉移性能的主要指標。
• 我們討論了基于基礎語言模型的持續學習面臨的最具挑戰性的問題，并指出了該領域未來有前景的研究方向。 本文結構如下：在第2節中，我們回顧了與持續學習相關的主要綜述。然后，在第3節中，我們介紹了持續學習的基本設置和學習模式，包括CL的定義和場景。此外，我們在第4節中展示了與離線持續學習相關的研究，這些研究可以分為領域增量學習、任務增量學習和類別增量學習。在第5節中，我們重點介紹了在線持續學習，包括硬任務邊界和模糊任務邊界設置。第6和第7節提供了典型數據集和指標。最后，我們在第8節分析了挑戰和進一步的工作，并在第9節給出結論。

自動程序修復（APR）試圖修補軟件缺陷并減少手動調試的工作。最近，隨著大型語言模型（LLMs）的進步，提出了越來越多的APR技術，顯著地促進了軟件開發和維護，并展示了卓越的性能。然而，由于基于LLM的APR領域的持續探索，研究人員很難理解當前的成就、挑戰以及潛在的機會。本項工作提供了第一個系統的文獻綜述，總結了2020年至2024年間LLMs在APR中的應用。我們分析了127篇關于LLMs、APR及其整合視角的相關論文。首先，我們分類了現有的流行LLMs，這些模型被應用于支持APR，并概述了三種部署策略。此外，我們詳細描述了一些從LLMs受益的特定修復場景，例如，語義錯誤和安全漏洞。進一步地，我們討論了幾個將LLMs整合到APR研究中的關鍵方面，例如，輸入形式和開放科學。最后，我們強調了仍需研究的一系列挑戰和未來研究的潛在指南。總體而言，我們的論文為APR社區提供了一個系統的研究概覽，幫助研究者全面理解成就并推動未來的研究。我們的工具在GitHub倉庫公開可用：//github.com/iSEngLab/AwesomeLLM4APR。

軟件缺陷被公認為不可避免且具有破壞性，為全球用戶帶來安全問題，并每年造成數十億美元的經濟損失【11, 156】。對開發者而言，手動修復檢測到的軟件缺陷既非小事也耗時【13】。自動程序修復（APR）在軟件開發和維護中扮演著至關重要的角色，旨在無需人工干預下修復軟件缺陷。自2009年基礎工作GenProg【80, 155】以來，過去幾十年中APR已被廣泛研究【43, 105】，研究者們提出了多種APR技術，包括基于啟發式的【64, 80, 98, 177】、基于約束的【31, 99, 169, 171】以及基于模式的【76, 91, 92】。最近，受到深度學習（DL）進步的啟發，越來越多基于學習的APR技術被提出，這些技術利用神經網絡模型自動學習修復缺陷的模式【18, 66, 84, 85, 96, 142, 174, 175, 199, 200】。得益于DL模型從大量代碼庫中學習隱藏修復模式的強大能力，基于學習的APR在過去幾年中取得了顯著的表現【182】，吸引了學術界和工業界的廣泛關注【69, 70, 73】。 最近，大型語言模型（LLMs）已成功應用于廣泛的源代碼相關任務【147, 184】，如代碼生成【82, 148, 150, 201】、代碼總結【132, 133, 146】和測試生成【4, 24, 57, 108, 128】。得益于龐大的模型參數和廣闊的訓練數據，LLMs展示了令人印象深刻的性能，并從根本上改變了軟件工程（SE）社區的研究范式。在APR領域，從先驅研究開始，例如TFix【7】、CIRCLE【176】和AlphaRepair【163】，社區已經見證了利用LLMs的修復研究的爆炸性增長，已經取得了相當的優勢，并進一步顯示了未來研究的重大潛力。然而，LLMs在APR中的整合是一個相當復雜的任務，使得有興趣的研究者難以理解現有工作。例如，現有基于LLM的APR研究涵蓋了不同的研究視角（例如，經驗性【162】、技術性【163】和基準研究【187】）、修復階段（例如，補丁生成【186】和正確性評估【183】）、修復場景（例如，靜態警告【69】和語法錯誤【70】）、模型架構（例如，僅編碼器【185】和僅解碼器【100】）以及模型使用范式（例如，微調【176】、少量樣本【108】和零樣本【186】）。盡管該領域的探索仍在進行中，目前的文獻中缺乏關于LLMs在APR中應用的詳盡和系統的綜述，這使得研究人員難以理解現有工作的多樣化設計選擇和進行后續研究。 本文。為了彌補這一差距，我們的工作提供了第一個系統的文獻綜述，關于迅速出現的基于LLM的APR研究的部署。基于此，社區可以全面了解現有基于LLM的APR技術的優勢、劣勢和空白。我們討論了在最先進的APR研究中廣泛采用的LLMs是哪些，以及它們如何被整合到修復工作流中。我們收集了127篇相關論文，并從LLMs、APR和整合視角進行了系統分析。通過我們的分析，我們揭示了當前的挑戰，并指出了基于LLM的APR研究可能的未來方向。總體來說，這項工作為LLM基于APR社區正在進行的進展提供了一個徹底的概覽，幫助研究者在這個迅速發展的領域中導航，并推動創新實踐。 貢獻。總結來說，本工作做出了以下貢獻： * 調查方法論。我們進行了第一個系統的文獻綜述，涵蓋了127篇高質量的APR論文，這些論文利用近期的LLMs應對2020年至2024年4月的修復挑戰。 * 趨勢分析。我們就發布趨勢、出版地點分布和貢獻類型對選定的APR研究進行了詳細分析。 * LLMs視角。我們總結了46種用于支持程序修復的LLMs，并提供了APR領域不同LLM類別的典型使用和趨勢的概述。 * APR視角。我們描述了LLMs應用的常見修復場景，涵蓋了18種錯誤類型，如安全漏洞和編程問題。 * 整合視角。我們討論了一些關鍵因素，包括數據集、輸入表現形式和開放科學，這些因素影響LLMs整合到APR中的性能。 * 挑戰與機遇。我們總結了在APR領域應用LLMs的一些關鍵挑戰，并指出了未來基于LLM的APR研究的一些潛在指南。

論文組織。第2節介紹了關于APR和LLMs的一些基本概念。然后，根據上述貢獻，第3節列出了我們的研究問題（RQs）和收集與我們工作相關論文的研究方法。第4節調查了基于LLM的APR研究的趨勢和分布。第5節總結了現有APR研究所使用的LLMs。第6節闡述了LLMs應用的主要修復場景，并對每項工作進行了簡要描述。第7節討論了LLMs與APR整合過程中的一些關鍵因素，包括數據集、輸入表現形式、補丁正確性和開放科學。第8節討論了一些挑戰和實用指南。第9節得出結論。 我們試圖通過總結相關研究并進一步提供后續研究的指南，提供近期LLMs在APR應用的全面概覽。為了實現這一點，這個系統的文獻綜述回答了以下研究問題（RQs）： * RQ1：利用LLMs的APR研究的趨勢是什么？

(1) LLMs在修復軟件缺陷方面顯示出蓬勃的發展趨勢，從2020年到2024年間共有127篇論文。 (2) 在APR中使用LLMs的會議論文數量顯著超過期刊論文，其中ICSE和TOSEM分別是最受歡迎的會議和期刊場所。 (3) 基于LLM的APR論文發表在不同的研究領域，包括軟件工程（SE）、人工智能（AI）和安全性。 (4) 有18種編程語言已被基于LLM的APR應用，其中Java、Python、C和C++是最常被目標的。 (5) LLMs已被應用于一些代表性較低的編程語言，如Verilog和Rust。 (6) 收集的大多數研究主要集中于引入新技術和進行實證研究，而有兩篇論文執行了用戶研究，以了解從業者對利用各種LLMs解決修復缺陷任務的態度和經驗。 * RQ2：哪些受歡迎的LLMs已被應用于支持APR？

(1) 我們總結了46種不同的LLMs，這些模型已被用于修復缺陷，并且可以根據模型架構分為三類，即僅編碼器、編碼器-解碼器和僅解碼器。 (2) 僅解碼器的LLMs是最常使用的模型架構，其中四種最受歡迎的LLMs均為僅解碼器模型。 (3) ChatGPT、GPT-4、CodeT5和Codex是現有基于LLM的APR研究中最受歡迎的LLMs，分別被使用了37次、25次、23次和21次。 (4) 我們總結了三種典型的利用LLMs中封裝的廣泛知識來處理特定程序修復任務的方法，即微調、少量樣本和零樣本。 * RQ3：哪些修復場景已由LLMs促進？

總體來看，我們觀察到LLMs已在文獻中的廣泛修復場景中得到應用，涉及18種錯誤類型。在一些由傳統APR主導的常見場景中，例如語義錯誤，研究者繼續投入大量努力研究LLMs的應用。此外，由于LLMs從所有可能的互聯網數據中學到的通用知識，基于LLM的APR已擴展到一些以前未探索的罕見場景，如硬件缺陷和Web UI。 * RQ4：哪些關鍵因素有助于LLMs在APR中的整合？

(1) 我們總結了78種不同的數據集，這些數據集被用來基準測試LLMs在修復缺陷中的應用。 (2) 在基于LLM的APR中，Defects4J、QuixBugs、BFP、CVEfixes和Big-Vul是最常使用的。 (3) 我們將所有收集的論文中的輸入形式分類為五組：原始修復輸入、提示輸入、掩碼輸入、對話式輸入和結構感知輸入。 (4) 提示輸入是在應用LLMs進行程序修復時最常用的形式，這表明設計有效的提示對于利用LLMs的自然語言處理能力尤為重要。 (5) 我們總結了一些利用LLMs預測補丁正確性的研究。 (6) 所有收集的論文中有62.99%已經開源了其工具，而在頂級SE出版物中，這一比例增加到了86.84%。

大型語言模型（LLMs）已在自然語言處理（NLP）領域催生了重大進展，然而它們面臨著諸如幻覺錯誤和對特定領域知識需求等挑戰。為了緩解這些問題，最近的方法學已將從外部資源檢索到的信息與LLMs整合，顯著提升了它們在NLP任務中的表現。這篇綜述論文針對缺乏對檢索增強語言模型（RALMs）、包括檢索增強生成（RAG）和檢索增強理解（RAU）的全面概述，提供了它們的范式、演變、分類和應用的深入考察。文章討論了RALMs的基本組件，包括檢索器、語言模型和增強組件，以及它們的互動如何導致多樣化的模型結構和應用。RALMs在從翻譯和對話系統到知識密集型應用的廣泛任務中顯示出其實用性。綜述還包括了幾種評估RALMs的方法，強調在評估中穩健性、準確性和相關性的重要性。同時也指出了RALMs的限制，特別是在檢索質量和計算效率方面，提供了未來研究的方向。總之，這篇綜述旨在提供對RALMs的結構化洞見、其潛力以及NLP未來發展的途徑。論文還附帶了一個包含已調研工作和進一步研究資源的Github倉庫：//github.com/2471023025/RALM_Survey。

自然語言處理（NLP）是計算機科學和人工智能領域內的一個重要研究方向，致力于研究使人與計算機之間能夠使用自然語言有效溝通的理論和方法學框架。作為一個多學科領域，NLP整合了語言學、計算機科學和數學，旨在實現人類語言與計算機數據之間的相互轉換。其最終目標是賦予計算機處理和“理解”自然語言的能力，從而便于執行自動翻譯、文本分類和情感分析等任務。NLP的復雜性體現在它包括的眾多步驟上，如詞匯分割、詞性標注、解析、詞干提取、命名實體識別等，這些都增加了在人工智能系統中復制人類語言理解的難度。

傳統的自然語言處理任務通常使用基于統計的算法（Hogenboom et al., 2010）（Serra et al., 2013）（Aussenac-Gilles and S?rgel, 2005）和深度學習算法，如卷積神經網絡（CNN）（Yin et al., 2017）、遞歸神經網絡（RNN）（Banerjee et al., 2019）、長短時記憶網絡（LSTM）（Yao and Guan, 2018）等。最近，隨著變壓器架構（Vaswani et al., 2017）作為自然語言處理的代表性技術的出現，其受歡迎程度顯著提高。變壓器架構作為一個突出的大語言模型（Lewis et al., 2019）（Raffel et al., 2020）在自然語言處理領域已經持續展示出優越的性能，吸引了越來越多研究者的關注，他們致力于研究其能力。

當前最流行的語言模型是GPT系列（Radford et al., 2019）（Brown et al., 2020）（Achiam et al., 2023）和Bert系列（Liu et al., 2019）（Devlin et al., 2018）（Sanh et al., 2019），這些模型已經在多種自然語言處理任務中表現出色。其中，自編碼語言模型特別擅長于自然語言理解任務，而自回歸語言模型更適合于自然語言生成任務。雖然增加參數（Touvron et al., 2023b）和模型調優（Han et al., 2023）可以提升LLMs的性能，但“幻覺”現象（Ji et al., 2023）仍然存在。此外，語言模型在有效處理知識密集型工作（Feng et al., 2023）和更新其知識的能力不足（Mousavi et al., 2024）方面的限制也一直很明顯。因此，許多研究者（Lewis et al., 2020）（Izacard and Grave, 2020b）（Khandelwal et al., 2019）采用了檢索技術來獲取外部知識，這可以幫助語言模型在多種任務中獲得更好的性能。

當前關于使用檢索增強來提升LLMs性能的綜述還很少。Zhao et al.（2023）提供了關于多模態RAG的全面概述。Zhao et al.（2024a）專注于人工智能生成內容（AIGC）領域的檢索增強生成技術的利用。這篇文章提供了最近RAG工作的全面概述，但它沒有覆蓋所有相關領域。此外，文章缺乏足夠的細節來提供整體發展的全面時間線。Gao et al.（2023）研究了對大模型的RAG的增強。這篇文章總結了一些最近的RAG工作，但它獨立地介紹了檢索器和生成器，這不利于后續工作的組件升級和互動。Li et al.（2022b）專注于文本生成。文章中的圖表較少，內容更抽象，不利于讀者的理解。

關于NLP中的檢索增強方法，僅有關于RAG的綜述只講述了部分故事。不僅與自然語言生成（NLG）相關的任務需要檢索增強技術，自然語言理解（NLU）任務也需要外部信息。迄今為止，全面綜述NLP全譜系中應用增強檢索技術的文章還很少。為了改善當前狀況，本文提出以下貢獻： (1) 本文不僅關注與RAG相關的工作，還重點強調了RALM，并與NLP的概念保持一致。與生成相關的工作與NLG對齊，而其余的工作與NLU對齊。 (2) RALM的兩個組成部分，檢索器和語言模型，都進行了詳細描述，這兩個組件的不同交互模式也首次被準確定義。 (3) 提供了RALM工作計劃的全面概述，總結了當前RALM的常見和新穎應用，并分析了相關限制。提出了這些限制的潛在解決方案，并推薦了未來研究方向。

圖1提供了RALM方法框架的總體概述。以下是本文的摘要：第2節定義RALM。第3節提供了RALM中檢索器的詳細分類和總結。第4節提供了RALM中語言模型的詳細分類和總結。第5節對RALM的特定增強進行了分類和總結。第6節是RALM檢索數據來源的分類和總結。第7節是RALM應用的總結。第8節是RALM評估和基準的總結。最后，第9節討論了現有RALM的限制和未來工作的方向。

RALMs的整合代表了NLP系統能力的重大進步。本綜述提供了對RALMs的廣泛回顧，突出了它們的架構、應用和所面臨的挑戰。通過檢索和整合外部知識，RALMs增強了語言模型，從而在包括翻譯、對話生成和知識圖譜補全等多種NLP任務中提升了性能。

盡管取得了成功，RALMs仍面臨幾個限制。值得注意的是，它們對對抗性輸入的魯棒性、檢索結果的質量、部署相關的計算成本以及應用領域多樣性的缺乏被認為是需要進一步關注的領域。為了解決這些問題，研究社區提出了幾種策略，例如改進評估方法、完善檢索技術和探索在性能與效率之間保持平衡的成本效益解決方案。 未來，RALMs的進步將依賴于增強其魯棒性、提高檢索質量和擴展其應用范圍。通過采用更復雜的技術并將RALMs與其他AI技術整合，這些模型可以被用來應對更廣泛的挑戰。在這一領域持續的研究和開發預計將帶來更具韌性、效率和多功能性的RALMs，從而推動NLP及其它領域所能達到的界限。隨著RALMs的不斷演進，它們有望賦予AI系統更深入的理解力和更接近人類的語言能力，從而在廣泛的領域中開辟新的可能性。

大型語言模型（LLMs）在靜態、預先收集的通用數據集上的訓練取得的最近成功，已經引發了眾多研究方向和應用。其中一個方向解決了將預訓練的LLMs整合到動態數據分布、任務結構和用戶偏好中的非平凡挑戰。這個問題的主要挑戰在于平衡模型適應性和知識保存。為特定需求量身定制的預訓練LLMs經常在之前的知識領域經歷顯著的性能退化——這一現象被稱為“災難性遺忘”。雖然在持續學習（CL）社區進行了廣泛研究，但在LLMs領域呈現出新的表現形式。在這篇綜述中，我們提供了一個關于大型語言模型在持續學習背景下當前研究進展的全面概覽和詳細討論。除了介紹初步知識外，這篇綜述被分為四個主要部分：我們首先描述了持續學習LLMs的概覽，包括兩個連續性方向：垂直連續性（或垂直持續學習），即從一般到特定能力的持續適應；和水平連續性（或水平持續學習），即跨時間和領域的持續適應（第3節）。在垂直連續性之后，我們總結了在現代CL背景下學習LLMs的三個階段：持續預訓練（CPT）、領域適應性預訓練（DAP）和持續微調（CFT）（第4節）。然后我們提供了LLMs的持續學習評估協議的概覽，以及當前可用的數據來源（第5節）。最后，我們討論了有關LLMs持續學習的引人深思的問題（第6節）。這篇綜述揭示了持續預訓練、適應和微調大型語言模型這一相對未受到足夠研究的領域，表明需要社區更多的關注。需要立即關注的關鍵領域包括開發實用且易于訪問的評估基準，以及專門設計的方法論，以對抗遺忘和在不斷演變的LLM學習范式中啟用知識轉移。在這項綜述中檢查的完整論文列表可在//github.com/Wang-ML-Lab/llm-continual-learning-survey找到。

近期大型語言模型（LLMs）的進步顯示了實現人工普遍智能（AGI）的巨大潛力。研究人員觀察到，隨著參數規模的增加，多步驟推理、小樣本上下文學習和指令跟隨等復雜能力有所提高。LLMs的發展具有重大影響和革命性，促使機器學習從業者重新考慮傳統的計算范式，用于處理一些曾經具有挑戰性的人類水平任務，如問答、機器翻譯和對話系統。然而，LLMs通常在包含通用領域的靜態、預先收集的數據集上進行訓練，導致性能隨時間逐漸降低，并且在不同內容領域之間也會降低。此外，單一的預訓練大模型無法滿足每個用戶的需求，需要進一步的微調。盡管重新收集預訓練數據和根據額外的具體需求重新訓練模型是一種潛在的解決方案，但這種方法在現實世界場景中代價高昂且不切實際。為了有效地適應LLMs到下游任務，同時盡量減少對以前知識領域的性能退化，研究者采用了持續學習的方法，也稱為終身學習或增量學習。持續學習受到人類大腦中觀察到的增量學習模式的啟發，涉及按順序在一系列任務上訓練機器學習模型，期望在所有任務中保持性能。在訓練過程中，模型對以前的數據有限或無法訪問，這在保留過去知識時構成了一個挑戰，因為在當前任務學習時，來自未見過的以前數據的優化約束是不存在的。這一挑戰，被稱為災難性遺忘，自持續學習研究開始以來一直是研究的中心焦點。多年來，研究者探索了各種技術來減輕機器學習模型中的遺忘，這些技術包括基于重放的方法、參數規范化和模型架構擴展。這些技術共同顯著推進了在不同任務、模型架構和學習范式中實現零遺忘的持續學習目標。在順序訓練和適應LLMs的背景下，CL的重要性也正在發生自身的語義轉變。為了更好地突出這一持續的轉變，在這篇綜述中，我們提供了一個關于LLMs在CL背景下當前研究進展的全面概覽和詳細討論。對于持續學習LLMs的總體情況，我們將其分為兩個需要由從業者解決的連續性方向（第3節）：

• 垂直連續性（或垂直持續學習），指的是LLMs從大規模通用領域到小規模特定領域的持續適應，涉及學習目標和執行實體的轉變。例如，醫療機構可能開發專門為醫療領域定制的LLMs，同時保留其一般推理和問答能力，以服務用戶。
• 水平連續性（或水平持續學習），指的是跨時間和領域的持續適應，通常涉及多個訓練階段和對災難性遺忘的增加脆弱性。例如，社交媒體平臺不斷更新LLMs以反映最近的趨勢，確保精確地定位下游服務如廣告和推薦，同時為現有用戶提供無縫的用戶體驗。

在圖1中，繼垂直連續性之后，我們勾畫了現代CL中LLM學習的三個關鍵階段：持續預訓練（CPT）、領域適應性預訓練（DAP）和持續微調（CFT）（第4節）。在CPT中，現有研究主要調查三種類型的分布式轉變：時間、內容層次和語言層次。每種都呈現出獨特的焦點和挑戰。在DAP中，雖然它主要被視為為下游任務準備LLMs的過程，但頻繁地使用CL評估和技術。然而，這些技術的多樣性明顯不足，考慮到傳統CL社區的成熟度。在CFT中，我們關注的是學習LLMs的新興領域，涵蓋持續指令調整（CIT）、持續模型精煉（CMR）、持續模型對齊（CMA）和持續多模態LLMs（CMLLMs）等主題。接下來，我們呈現了一系列公開可用的評估協議和基準（第5節）。我們總結我們的綜述，討論了LLMs持續學習的最新出現的特性，傳統增量學習類型和LLMs持續學習中的記憶約束的角色變化，以及這個主題的潛在研究方向（第6節）。總結而言，本文提供了一份詳盡的現有持續學習研究LLMs的綜述，顯著區別于相關主題的現有文獻。我們的綜述突出了持續開發LLMs的研究領域，特別是在持續預訓練（CPT）和領域適應性預訓練（DAP）領域的研究。我們強調需要社區更多的關注，迫切需要包括開發實用、易于訪問且廣為認可的評估基準。此外，需要定制方法來解決在新興的大型語言模型學習范式中的遺忘問題。我們希望這篇綜述能提供一個系統而新穎的持續學習視角，在迅速變化的LLMs領域中，幫助持續學習社區為開發更有效、可靠和可持續的LLMs做出貢獻。

組織結構

本文的其余部分安排如下。我們首先在第2節介紹大型語言模型和持續學習的背景和初步知識。然后我們在第3節展示了大型語言模型的現代持續學習概覽。從垂直角度來看，它可以大致分為三個階段的LLMs持續訓練，我們將在第4節逐一介紹每個階段。在4.3節中，將介紹持續微調LLMs的獨特方面，包括持續指令調整（4.3.3節）、持續模型精煉（4.3.4節）、持續模型對齊（4.3.5節）和持續多模態大型語言模型（4.3.6節）。在第5節中，我們提供了公開可用的LLMs持續學習評估協議和基準的全面介紹。最后，在第6節中，我們討論了在大型語言模型時代持續學習的角色，包括大規模持續LLMs的新興能力（6.1節）、三種類型的持續學習（6.2節）、LLMs持續學習中的記憶角色（6.3節）以及未來的研究方向（6.4節）。 持續學習與大型語言模型相遇：概覽****大型語言模型（LLMs）在多個維度上都非常龐大，包括模型參數的大小、預訓練數據集、計算資源、項目團隊和開發周期。LLMs的巨大規模為開發團隊帶來了顯著的挑戰，特別是在快速變化的環境中保持更新。舉例來說，2023年，用戶發布的新推文的平均每日流量超過5億，即使是在這么大量數據的“小”子集上進行訓練也是不可承受的。在考慮到它們對下游應用的連鎖影響時，有效且可靠地適應LLMs變得更為關鍵。下游用戶通常缺乏收集和存儲大規模數據、維護大規模硬件系統以及自行訓練LLMs的專業知識。《可回收調整》是首個明確概述現代LLM生產流水線供應商-消費者結構的先導研究。在供應商側，模型在一系列大規模未標記數據集上持續進行預訓練。每次預訓練模型發布后，消費者需要利用更新、更強大的上游模型以獲得更好的下游性能。為了提高下游消費者微調的效率，他們最初對持續預訓練的LLMs進行了幾項關鍵觀察，聚焦于模式連接性和功能相似性。此外，他們提出在上游預訓練LLM進行重大更新后，復用過時的微調組件。基于《可回收調整》引入的概念框架，我們在本綜述中提出了一個包含各種研究的現代生產流水線的全面框架，涉及持續LLM預訓練、適應和部署，如圖1所示。我們的框架與現有研究的不同之處在于融入了兩個連續性方向：垂直連續性和水平連續性。

結論

在這項工作中，我們提供了一份關于持續LLMs的綜述，從持續學習的角度總結了它們在訓練和部署方面的最新進展。我們根據它們在我們提出的現代分層持續學習LLMs的更廣框架內的位置，對問題和任務進行了分類。雖然這一領域在社區中的興趣廣泛且日益增長，但我們也注意到幾個缺失的基石，包括算法多樣性以及對大模型行為（如知識遺忘、轉移和獲取）的基本理解。通過全面而詳細的方法，我們希望這篇綜述能激勵更多從業者探索持續學習技術，最終有助于構建健壯和自我進化的人工智能系統。

人工智能（AI）模型現在被用于我們生活的所有方面，如醫療保健、教育和就業。由于它們被用于許多敏感的環境中，并做出可能改變生活的決策，潛在的偏見結果是一個緊迫的問題。開發者應確保這些模型不會表現出任何意料之外的歧視性做法，如對某些性別、種族或殘疾人的偏見。隨著AI系統的普遍傳播，研究人員和從業者越來越意識到不公平的模型，并努力減少其中的偏見。已經進行了大量研究來解決這些問題，以確保模型不會有意或無意地延續偏見。本綜述提供了研究人員促進AI系統公平性的不同方法的概要。我們探討了當前文獻中存在的不同公平性定義。我們通過對不同類型的偏見進行分類并研究不同應用領域中偏見AI的案例，創建了一個綜合性的分類體系。對研究人員減少AI模型中偏見所采用的方法和技術進行了徹底的研究。此外，我們還深入了解了偏見模型對用戶體驗的影響以及在開發和部署這些模型時需要考慮的倫理問題。我們希望這篇綜述能幫助研究人員和從業者理解AI系統中公平性和偏見的復雜細節。通過分享這篇徹底的綜述，我們旨在促進公平和負責任的AI領域的額外討論。 自動化系統的使用在各個領域迅速推進，影響著從招聘員工到推薦系統的一切。AI系統嵌入到我們的日常活動中，并極大地影響著我們的生活，特別是當用于做出改變生活的決策時。這些模型具有巨大潛力，因為它們可以整合大量數據并比人類更有效、更快地執行非常復雜的計算。然而，在AI的潛力中，關于這些系統中的公平性和偏見問題也隨之而來。由于這些系統在醫療保健、金融和刑事司法等領域被用于為個人做出重要決策，確保這些模型的公平性至關重要。 近年來，AI偏見的多個案例被曝光，它對個人和社區的重大影響是不可避免的。例如，在美國，用于判定重新犯罪評分的算法被發現對黑人被告有偏見。谷歌Bard被看到通過陳述男孩想要實現目標并在生活中做出改變，而女孩想要愛和關懷來描繪性別刻板印象。這只是兩個例子，但像這樣的眾多問題導致了在開發和部署公平AI模型方面的興趣不斷增長。圖1顯示了過去七年在這一領域發表的論文數量。多年來，該領域發表的論文量穩步增加。到2021年，論文數量激增超過1000篇。穩定增長的結果是，去年發表的論文接近驚人的2000篇。該圖強調了這些主題多年來在研究社區中的重要性。 在評估模型的公平性時，已經使用了多個公平性定義。本綜述探討了文獻中討論的所有不同的公平性標準。許多研究人員一直在努力解決自動化模型中的公平性問題。在公平AI的廣泛領域內，研究人員提出了多種策略來解決和減少其中的偏見。同時，也重要的是要意識到，某些策略只適用于某些類型的偏見。本文詳細描述了不同類型的偏見和用于減少這些偏見的所有常見方法。此外，本綜述還涵蓋了不公平的原因、包括但不限于醫療保健、教育和金融等不同領域內偏見案例的詳細信息。努力使AI模型公平也可以增強用戶體驗。在本文中，我們討論了偏見模型對用戶的影響以及應遵循的確保用戶信任的倫理指南。在論文的最后，我們提到了當前文獻的挑戰和局限性。總的來說，本文的目的是闡明在AI模型的背景下關于偏見和公平性所做的現有工作。我們希望這篇論文能為研究人員和實踐者提供這一領域的豐富視角，并鼓勵他們確定自己的研究方向，并開發創新想法以減少意外后果。

將大型語言模型（LLMs）與圖表示學習（GRL）的整合標志著分析復雜數據結構的一次重要進化。這種合作利用LLMs的復雜語言能力來提高圖模型的上下文理解和適應性，從而擴大了GRL的范圍和潛力。盡管越來越多的研究致力于將LLMs整合到圖領域，但顯著缺乏一篇深入分析這些模型內核組成部分和操作的全面綜述。我們的綜述通過提出一種新穎的分類法來填補這一空白，該分類法從新的技術角度將這些模型分解為主要組成部分和操作技術。我們進一步將近期文獻分解為兩個主要組成部分，包括知識提取器和組織器，以及兩種操作技術，包括整合和訓練策略，揭示了有效的模型設計和訓練策略。此外，我們識別并探索了這一新興但尚未充分探索的領域中潛在的未來研究方向，提出了持續進步的路徑。

高效的分子建模和設計對于新分子的發現和探索至關重要，深度學習方法的引入已經徹底改革了這一領域。特別是，大型語言模型（LLMs）提供了一種全新的方法來從自然語言處理（NLP）的角度解決科學問題，引入了一種稱為科學語言建模（SLM）的研究范式。然而，仍有兩個關鍵問題：如何量化模型與數據模態之間的匹配度以及如何識別模型的知識學習偏好。為了應對這些挑戰，我們提出了一個多模態基準，命名為ChEBI-20-MM，并進行了1263次實驗來評估模型與數據模態和知識獲取的兼容性。通過模態轉換概率矩陣，我們提供了關于任務最適合的模態的見解。此外，我們引入了一種統計上可解釋的方法，通過局部特征過濾發現特定上下文的知識映射。我們的先驅性分析提供了對學習機制的探索，并為推進分子科學中的SLM鋪平了道路。 Transformers[8]以其強大的文本編碼和生成能力提供了優勢。這些模型可以通過最小的任務特定調整進行微調，使它們在分子建模和設計中更加多才多藝和高效。此外，自從ChatGPT[9]和GPT-4[10]的出現以來，大型語言模型（LLMs）已成為尤其在分子科學中的一種突破性趨勢。LLMs憑借其在處理和生成類人文本的先進能力，提出了一個理解和設計分子結構的新范式。它們吸收和分析大量文本數據的能力可以提供前所未有的洞察，克服了傳統AI方法的一些限制。這種新能力結合了準確性和新穎性，以改善結果，被稱為化學知識。其有效性取決于輸入數據、模型架構和訓練策略等因素。然而，對這一能力的當前綜述和基準評估并不全面。 分子科學中現有的綜述，如分子生成綜述[11]，通常缺乏全面的模型比較，并且任務范圍有限。知識驅動的綜述[12]對分子學習進行了分類，但缺少詳細的方法比較和數據集討論。而最近的基準測試，如測試ChatGPT的[13]，涵蓋了八個化學任務，每個任務都提供了獨特的化學洞察。Mol-Instructions[14]提供了一個用于微調的數據集，包含各種分子和蛋白質指令，增強了LLMs中的生物分子理解。然而，這些綜述和基準測試缺乏多模態內容，也沒有充分探索模型的化學知識。 總結來說，本研究全面回顧了Transformers和LLMs在分子建模與設計中的應用。我們將六個常見的分子任務分類為三個不同的目標：描述、嵌入和生成，如圖1所生動描繪。此外，我們建立了一個統一的多模態基準ChEBI-20-MM，并進行實驗評估數據模態、模型架構和不同任務類型的兼容性，考察它們對任務性能的影響。此外，我們的端到端可視化方法展示了嵌入化學知識的建模洞察的發現。總體來說，我們的主要貢獻包括： ? 本工作分析了LLMs在分子建模中的應用，分類現有模型，并提出了一個多模態基準（ChEBI-20-MM）進行性能評估，支持1263次實驗。 ? 我們分析了模態轉換概率矩陣，并確定了不同數據模態和模型架構之間的最佳匹配。 ? 我們引入了一種統計上可解釋的方法，通過局部特征過濾展示了知識獲取。 本文的其余部分如下組織。第2節介紹相關定義和背景。然后，我們探討分子建模和設計中的六個關鍵任務。第3節展示了我們的基準測試和洞察。第4節討論了關鍵結果和限制，第5節總結了我們的貢獻和未來研究方向。