亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大型語言模型（LLMs）在各種與代碼相關的任務中取得了顯著進展，特別是在從自然語言描述生成源代碼的代碼生成任務中，這些模型被稱為代碼LLMs。由于其在軟件開發中的實際意義（例如GitHub Copilot），這個新興領域吸引了學術研究人員和行業專業人士的廣泛關注。盡管從自然語言處理（NLP）或軟件工程（SE）或兩者的角度，研究人員對各種代碼任務的LLMs進行了積極探索，但目前缺乏一篇專門針對代碼生成LLM的全面且最新的文獻綜述。在本綜述中，我們旨在彌補這一空白，通過提供一篇系統的文獻綜述，為研究人員調查代碼生成LLM的最新進展提供有價值的參考。我們引入了一個分類法，對代碼生成LLM的最新發展進行分類和討論，涵蓋數據整理、最新進展、性能評估和實際應用等方面。此外，我們還提供了代碼生成LLM發展的歷史概覽，并使用廣泛認可的HumanEval和MBPP基準進行經驗比較，以突出代碼生成LLM能力的逐步提升。我們識別了學術界與實際開發之間的關鍵挑戰和有前景的機會。此外，我們建立了一個專門的資源網站（//codellm.github.io），以持續記錄和傳播該領域的最新進展。

引言

大型語言模型（LLMs），例如ChatGPT[171]的出現，深刻改變了自動化代碼相關任務的格局[45]，包括代碼補全[78, 152, 233, 244]、代碼翻譯[48, 121, 211]和代碼修復[109, 170, 176]。LLMs一個特別有趣的應用是代碼生成，這項任務涉及從自然語言描述中生成源代碼。盡管各研究對其定義有所不同[47, 191, 204, 232]，但在本綜述中，我們采用一致的定義，將代碼生成定義為自然語言到代碼（NL2Code）任務[15, 16, 264]。這一領域因其在學術界和工業界都引起了廣泛興趣，開發了如GitHub Copilot[45]、CodeGeeX[275]和Amazon CodeWhisperer等工具，這些工具利用先進的代碼LLMs來促進軟件開發。 最初對代碼生成的研究主要利用啟發式規則或專家系統，例如基于概率文法的框架[9, 57, 113]和專門的語言模型[59, 74, 106]。這些早期技術通常較為僵化且難以擴展。然而，基于Transformer的大型語言模型的引入改變了這一范式，使其成為首選方法，因其具備更高的能力和靈活性。LLMs的一個顯著特點是其跟隨指令的能力[51, 164, 173, 238, 250]，即使是新手程序員也可以通過簡單表達需求來編寫代碼。這一新興能力使編程變得更加大眾化，使更廣泛的受眾能夠接觸編程[264]。在代碼生成任務中的LLMs表現出顯著改進，如HumanEval排行榜所示，從PaLM 8B[49]的3.6%到LDB[279]的95.1%在Pass@1指標上的提升。由此可見，HumanEval基準[45]已成為評估LLMs代碼能力的事實標準[45]。

為了提供全面的時間演變概覽，我們展示了LLMs用于代碼生成的發展概覽，如圖1所示。代碼生成LLMs的格局由一系列模型組成，其中一些模型如ChatGPT[173]、GPT4[5]、LLaMA[217, 218]和Claude 3[13]用于通用應用，而其他如StarCoder[132, 151]、Code LLaMA[196]、DeepSeek-Coder[79]和Code Gemma[54]則專門針對代碼任務。代碼生成與最新LLM進展的融合尤為關鍵，特別是當編程語言可以被視為多語言自然語言的不同方言時[15, 275]。這些模型不僅符合軟件工程（SE）的要求，還推動了LLMs向實際生產的進步[271]。

盡管近期的綜述從自然語言處理（NLP）、軟件工程（SE）或兩者結合的視角對代碼LLMs進行了探討[91, 264, 271, 278]，它們通常涵蓋了廣泛的代碼相關任務。仍然缺乏專門回顧代碼生成高級主題的文獻，如精細數據整理、指令調優、與反饋對齊、提示技術、自主編碼代理的發展、檢索增強代碼生成、LLM作為代碼生成的評審等。一個相關的重要研究[15, 264]也集中在文本到代碼生成（NL2Code）的LLMs上，但主要考察了2020年至2022年發布的模型。因此，這一顯著的時間差距導致了缺乏考慮最新進展的最新文獻綜述，包括如CodeQwen[215]、WizardCoder[154]和PPOCoder[204]等模型，以及前述高級主題的全面探索。

鑒于需要一個專門且最新的文獻綜述，本綜述旨在填補這一空白。我們提供了一篇系統綜述，為研究人員快速探索代碼生成LLMs的最新進展提供了基礎性參考。我們引入了一個分類法，對最近的進展進行分類和審視，涵蓋數據整理[154, 231, 240]、高級主題[42, 47, 94, 125, 146, 152, 164, 166, 177, 205, 266]、評估方法[45, 85, 111, 284]和實際應用[45, 275]。這一分類法與代碼生成LLM的完整生命周期相一致。此外，我們指出了關鍵挑戰并識別了橋接研究與實際應用之間的有前景機會。因此，本綜述使NLP和SE研究人員能夠全面了解代碼生成LLM，突出前沿方向和當前的障礙與前景。 綜述的其余部分按照我們在圖3中概述的分類法結構組織。在第2節中，我們介紹了LLM與Transformer架構的基礎知識，并制定了代碼生成LLM的任務。接下來在第3節中，我們提出了一種分類法，對代碼生成LLMs的完整過程進行分類。在第4節中，我們在該分類框架內深入探討代碼生成LLMs的具體細節。在第5節中，我們強調了橋接研究與實際應用差距的關鍵挑戰和有前景的機會，并在第6節總結本工作。

分類

近期大型語言模型（LLMs）開發的激增導致大量這些模型通過持續預訓練或微調被重新用于代碼生成任務。這一趨勢在開源模型領域尤為明顯。例如，Meta AI最初公開了LLaMA [217]模型，隨后發布了專為代碼生成設計的Code LLaMA [196]。類似地，DeepSeeker開發并發布了DeepSeek LLM [25]，隨后擴展為專門用于代碼生成的變體DeepSeek Coder [79]。Qwen團隊基于其原始的Qwen [19]模型開發并發布了Code Qwen [215]。微軟則推出了WizardLM [250]，并正在探索其面向編程的對應模型WizardCoder [154]。谷歌也加入了這一行列，發布了Gemma [214]，隨后發布了Code Gemma [54]。除了簡單地將通用LLMs適用于代碼相關任務外，還出現了大量專門為代碼生成設計的模型。值得注意的例子包括StarCoder [132]、OctoCoder [164]和CodeGen [169]。這些模型強調了以代碼生成為重點開發的LLMs的趨勢。 認識到這些發展的重要性，我們提出了一種分類法，對代碼生成LLMs的最新進展進行分類和評估。此分類法如圖3所示，作為研究人員快速熟悉該動態領域最新技術的全面參考。 在接下來的章節中，我們將對與代碼生成相關的每個類別進行深入分析。這將包括問題的定義、要解決的挑戰以及對最突出的模型及其性能評估的比較。

大型語言模型（LLMs）與Transformer架構在多個領域引發了革命性變革，其在代碼生成中的應用尤為顯著。這些模型遵循一個全面的過程，從代碼數據的整理和合成開始，然后是包括預訓練和微調在內的結構化訓練方法，并使用復雜的提示工程技術。最近的進展包括集成了庫級和檢索增強的代碼生成，以及自主編碼代理的發展。此外，評估LLMs的編碼能力已成為該研究領域的重要組成部分。 在接下來的章節中，我們將詳細探討這些與代碼生成相關的LLMs各個方面。第4.1節將介紹在LLMs開發的各個階段中使用的數據整理和處理策略。第4.2節將討論旨在緩解高質量數據稀缺性的數據合成方法。第4.3節將概述用于代碼生成的LLMs的流行模型架構。第4.4節將探討全參數微調和參數高效微調的技術，這些技術對于將LLMs調整為代碼生成任務至關重要。第4.5節將通過強化學習和利用反饋的力量，闡述提升代碼質量的方法。第4.6節將深入研究通過策略性使用提示來最大化LLMs的編碼能力。第4.7和4.8節將分別詳細說明庫級和檢索增強代碼生成的創新方法。此外，第4.9節將討論自主編碼代理這一令人興奮的領域。最后，第4.11節將提供一些利用LLMs進行代碼生成的實際應用見解，展示這些復雜模型的現實世界影響。通過這一全面探索，我們旨在強調LLMs在自動化代碼生成領域的意義和潛力。 結論

在本綜述中，我們提供了一篇系統的文獻綜述，為研究代碼生成LLMs最新進展的研究人員提供了寶貴的參考。我們詳細介紹和分析了數據整理、最新進展、性能評估和實際應用。此外，我們還展示了近年來代碼生成LLMs演變的歷史概覽，并使用廣泛認可的HumanEval和MBPP基準進行經驗比較，以突出代碼生成LLMs能力的漸進提升。我們還識別了學術界與實際開發之間的關鍵挑戰和有前景的機會，以供未來研究。此外，我們建立了一個專門的資源網站，以持續記錄和傳播該領域的最新進展。我們希望本綜述能夠為代碼生成LLMs提供一個全面而系統的概覽，促進其蓬勃發展。我們樂觀地相信，LLMs最終將改變編碼的各個方面，自動編寫安全、有用、準確、可信且可控的代碼，如同專業程序員一樣，甚至解決當前人類無法解決的編碼問題。

在過去的一年中，多模態大型語言模型（MLLMs）在視覺問答、視覺理解和推理等任務中表現出色。然而，龐大的模型規模和高昂的訓練與推理成本阻礙了MLLMs在學術界和工業界的廣泛應用。因此，研究高效且輕量級的MLLMs具有巨大的潛力，特別是在邊緣計算場景中。在這篇綜述中，我們對當前高效MLLMs的研究現狀進行了全面而系統的回顧。具體來說，我們總結了代表性高效MLLMs的時間線、高效結構和策略的研究現狀以及應用。最后，我們討論了當前高效MLLM研究的局限性和未來有前景的研究方向。更多詳情請參考我們的GitHub倉庫：//github.com/lijiannuist/Efficient-Multimodal-LLMs-Survey。

大規模預訓練作為人工智能（AI）領域的一種領先方法，使得像大型語言模型和多模態模型這樣的通用模型在許多任務中超越了專門的深度學習模型。大型語言模型（LLM）的卓越能力激發了將它們與其他基于模態的模型結合起來以增強多模態能力的努力。這一概念得到了OpenAI的GPT-4V[1]和Google的Gemini[2]等專有模型顯著成功的進一步支持。因此，多模態大型語言模型（MLLMs）應運而生，包括mPLUG-Owl系列[3, 4]、InternVL[5]、EMU[6]、LLaVA[7]、InstructBLIP[8]、MiniGPT-v2[9]和MiniGPT-4[10]。這些模型通過有效利用每種模態的預訓練知識，繞過了從頭開始訓練的計算成本。MLLMs繼承了LLM的認知能力，展示了許多顯著特性，如強大的語言生成和遷移學習能力。此外，通過與其他基于模態的模型建立強大的表示連接和對齊，MLLMs能夠處理來自多種模態的輸入，顯著拓寬了它們的應用范圍。 MLLMs的成功主要歸因于規模定律：隨著數據、計算能力或模型規模等資源的增加，AI模型的性能會提高。然而，可擴展性伴隨著高資源需求，這阻礙了大型模型的發展和部署。例如，MiniGPT-v2的訓練需要基于NVIDIA A100 GPU計算出的總計超過800個GPU小時[9]。這對主要企業外的研究人員來說是一個巨大的費用負擔。除了訓練之外，推理也是MLLMs資源消耗的主要部分。考慮一個典型場景，模型輸入包括一個尺寸為336 × 336像素的圖像和一個長度為40個tokens的文本提示，使用LLaVA-1.5和Vicuna-13B LLM骨干進行推理需要18.2T的FLOPS和41.6G的內存使用量。大規模模型的資源密集型特性也引發了關于民主化和隱私保護的擔憂，因為當前主流的MLLMs，如GPT-4V和Gemini，由少數幾家主導企業控制，并在云端運行。如上述實驗所示，即使是開源的MLLMs，對計算資源的高要求也使得在邊緣設備上運行它們變得具有挑戰性。這進一步加劇了確保公平訪問和保護用戶隱私的挑戰。

鑒于這些挑戰，高效MLLMs的研究受到了越來越多的關注。這些努力的主要目標是減少MLLMs的資源消耗，擴大其適用性，同時盡量減少性能下降。高效MLLMs的研究始于用輕量級替代品替換大型語言模型，并進行典型的視覺指令微調。隨后，研究進一步通過以下方式增強了能力并擴展了用例：(1)引入更輕量的架構，注重效率，旨在減少參數數量或計算復雜度[25, 13, 18]；(2)開發了更專業的組件，聚焦于高級架構的效率優化或賦予特定屬性，如局部性[19, 17, 12]；(3)支持資源敏感任務，一些工作采用視覺token壓縮來提高效率，使MLLM的能力能夠轉移到資源密集型任務中，如高分辨率圖像和視頻理解[35, 39, 14, 40]。

在本綜述中，我們旨在呈現快速發展的高效MLLMs領域的最新進展，如圖2所示。我們將文獻組織成六個主要類別，涵蓋高效MLLMs的各個方面，包括架構、高效視覺、高效LLMs、訓練、數據和基準測試以及應用。Architecture 關注通過高效技術開發的MLLM框架，以降低計算成本。該架構由多個基于模態的基礎模型組成，具有不同于單模態模型的特征，從而促進了新技術的發展。

Efficient Vision 探討優化高效視覺特征提取策略，強調在保持準確性的同時提高效率的方法。它解決了集成高質量視覺數據以實現有效跨模態理解的問題。

Efficient LLMs 探索提高語言模型計算效率和可擴展性的策略。它研究了模型復雜性與性能之間的權衡，并提出了平衡這些競爭因素的有前景途徑。

Training 調查了對高效MLLMs開發至關重要的訓練方法的現狀。它解決了與預訓練階段、指令微調階段及整體訓練策略相關的挑戰，以實現最先進的結果。

Data and Benchmarks 評估用于多模態語言模型評估的數據集和基準測試的效率。它評估了數據集規模、復雜性和計算成本之間的權衡，同時倡導開發優先考慮效率和與現實世界應用相關性的基準測試。

Application 研究高效MLLMs在各個領域的實際影響，強調性能和計算成本之間的平衡。通過解決諸如高分辨率圖像理解和醫療問答等資源密集型任務，本節強調了高效MLLMs在拓寬其應用范圍和解決現實問題方面的潛力。

總之，這篇綜述深入探討了這些研究工作，探索了多種使MLLMs更具資源效率的策略。我們回顧了高效MLLMs的發展歷史，提供了高效MLLMs策略的分類法，并全面比較了現有高效MLLMs的性能。通過這一探索，我們希望提供對當前最先進技術的全面理解，從而揭示這一新興領域的復雜細微之處。此外，這篇綜述還充當了路線圖，突出了未來研究的潛在途徑，促進了對高效MLLMs領域挑戰和機遇的更深入理解。除了這篇綜述，我們還建立了一個GitHub倉庫，收錄了綜述中提到的論文，并按照相同的分類法進行整理，地址為：

按照標準的MLLM框架，高效MLLMs可以分為三個主要模塊：視覺編碼器g，負責接收和處理視覺輸入；預訓練語言模型，管理接收到的多模態信號并進行推理；視覺-語言投影器P，作為連接兩種模態的橋梁。為了提高通用MLLMs的效率，主要的優化在于處理高分辨率圖像、壓縮視覺令牌、實施高效結構以及使用緊湊的語言模型等策略。圖3展示了架構圖。表1概述了高效MLLMs的總結，包括基礎LLM、視覺編碼器、圖像分辨率和用于連接視覺和語言的投影器。這些高效MLLMs包括：MobileVLM[20]、LLaVA-Phi[21]、Imp-v1[22]、TinyLLaVA[23]、Bunny[24]、Gemini Nano-2[2]、MobileVLMv2[17]、MoE-LLaVA-3.6B[25]、Cobra[13]、Mini-Gemini[26]、Vary-toy[27]、TinyGPT-V[28]、SPHINX-Tiny[14]、ALLaVA[29]、MM1-3B[30]、LLaVA-Gemma[31]、Mipha-3B[32]、VLMamba[18]、MiniCPM-V2.0[70]、DeepSeek-VL[34]、KarmaVLM[71]、moondream2[72]。在本節中，我們將按順序全面概述這三個模塊以及其他高效組件。

Vision Transformer (ViT) [94] 架構在計算機視覺應用中獲得了顯著的關注并被廣泛使用。然而，隨著ViT模型規模的增長，可訓練參數和操作數量也隨之增加，影響了它們的部署和性能。此外，自注意力機制的計算和內存成本隨著圖像分辨率的增加呈二次增長。參考論文[95]，本綜述旨在探索可用于高效MLLMs的最有效的視覺編碼方法。

視覺變換器（Vision Transformers，ViTs）最近引起了相當大的關注，作為卷積神經網絡（CNNs）的有希望替代品，在幾個與視覺相關的應用中顯現出來。然而，它們龐大的模型尺寸以及高計算和內存需求阻礙了部署，特別是在資源受限的設備上。這強調了針對ViTs的算法-硬件協同設計的必要性，旨在通過定制算法結構和底層硬件加速器來優化它們的性能，以彼此的優勢為依托。模型量化通過將高精度數值轉換為低精度，減少了ViTs的計算需求和內存需求，允許創建專門為這些量化算法優化的硬件，提高效率。本文提供了ViTs量化及其硬件加速的全面綜述。我們首先深入探討ViTs的獨特架構屬性及其運行特性。隨后，我們檢查模型量化的基本原理，接著是對ViTs最先進量化技術的比較分析。此外，我們探索了量化ViTs的硬件加速，強調了硬件友好算法設計的重要性。最后，本文將討論持續的挑戰和未來研究方向。我們在

//github.com/DD-DuDa/awesome-vit-quantization-acceleration 上持續維護相關的開源材料。

在計算機視覺領域，卷積神經網絡（CNNs）歷來是基石，已在眾多任務中展示出顯著的效果。然而，隨著變換器（Transformer）架構的出現，情況開始發生變化。變換器在自然語言處理（NLP）中取得了巨大成功之后，被適配用于計算機視覺，形成了視覺變換器（Vision Transformers，ViTs）。ViTs的關鍵特性是自注意力（self-attention），它允許模型通過學習圖像標記序列中元素之間的復雜關系，從而在上下文中分析視覺數據。這種把握更廣泛上下文及圖像內部依賴關系的能力，推動了基于變換器的視覺模型的迅速發展，并隨后將它們確立為多種任務的新基礎，包括圖像分類、對象檢測、圖像生成、自動駕駛和視覺問題回答，展示了它們在計算機視覺中的多功能性和變革性影響。 盡管ViTs具備卓越的能力，但由于其本質上龐大的模型尺寸以及自注意力機制導致的計算和內存需求呈二次方增長，特別是在圖像分辨率提高時，這些因素顯著阻礙了其在計算和內存資源受限的設備上的部署，尤其是在如自動駕駛和虛擬現實等實時應用中，滿足低延遲需求和提供高質量用戶體驗至關重要。這強調了對模型壓縮技術如剪枝、量化、知識蒸餾和低秩分解等進步的迫切需要。此外，ViTs的迅速采用不僅歸功于算法創新和數據可用性，還歸功于處理器性能的提升。雖然CPU和GPU提供廣泛的計算多樣性，但它們固有的靈活性可能導致效率低下。鑒于ViTs的重復性但又獨特的操作特性，利用專門設計的硬件來優化數據重用，從而提高ViT部署的效率，存在明顯的機會。 量化是一種將高精度映射為低精度的技術，已成功地促進了輕量級和計算效率高的模型的創建，增強了算法與硬件的交互。在算法方面，有多種專門為ViTs設計的技術，旨在在數據壓縮至較低位寬后保持應用的準確性。其中一些技術被設計得更符合硬件友好，考慮到現有的架構，如GPU的INT8/FP8 Tensorcore。在硬件方面，高級量化算法的優化推動了更高效處理器的設計，可能包括更有效的數據重用模塊，用于并行處理低位數據。算法和硬件的共同設計是現代硬件加速器開發中的常見方法，顯著提高了它們的性能。 然而，近年來發布的大量相關工作使得初學者難以獲得全面的概述和清晰的比較結果。此外，一些在不考慮實際硬件的情況下模擬算法設計的方法，在部署時可能導致意外的精度低下。迫切需要一項全面的綜述，總結、分析并比較這些方法。本文力求填補這一空白，提供了關于ViTs量化及其硬件加速的廣泛回顧。具體而言，我們深入探討了ViTs量化的細微挑戰，從算法和硬件兩個角度出發，提供了不同量化方法的縱向比較，并在圖1中進行了說明。此外，我們展示了先進的硬件設計解決方案，并推測未來的趨勢和潛在機會。與近期的綜述相比——有些專注于各種高效技術但不考慮硬件，有些僅限于推理優化且算法細節有限，還有些提供了主要針對大型語言模型的模型壓縮的廣泛概覽——本文提供了詳細的描述和比較，以協同的方式處理算法與硬件的相互作用，從而提供了對ViTs量化領域更清晰、更有結構的洞見。 本文的組織結構如下所述。第二部分深入探討了視覺變換器的架構，介紹了其變體，并通過分析其運行特性和瓶頸進行了剖析。第三部分闡述了模型量化的基本原理。隨后，第四部分檢查了與ViTs量化相關的迫切挑戰，并提供了先前方法性能的比較回顧。第五部分探索了可用于硬件加速的方法范圍。最后，第六部分總結了本文，突出了潛在的機會和挑戰。

大型語言模型（LLMs）已在自然語言處理（NLP）領域催生了重大進展，然而它們面臨著諸如幻覺錯誤和對特定領域知識需求等挑戰。為了緩解這些問題，最近的方法學已將從外部資源檢索到的信息與LLMs整合，顯著提升了它們在NLP任務中的表現。這篇綜述論文針對缺乏對檢索增強語言模型（RALMs）、包括檢索增強生成（RAG）和檢索增強理解（RAU）的全面概述，提供了它們的范式、演變、分類和應用的深入考察。文章討論了RALMs的基本組件，包括檢索器、語言模型和增強組件，以及它們的互動如何導致多樣化的模型結構和應用。RALMs在從翻譯和對話系統到知識密集型應用的廣泛任務中顯示出其實用性。綜述還包括了幾種評估RALMs的方法，強調在評估中穩健性、準確性和相關性的重要性。同時也指出了RALMs的限制，特別是在檢索質量和計算效率方面，提供了未來研究的方向。總之，這篇綜述旨在提供對RALMs的結構化洞見、其潛力以及NLP未來發展的途徑。論文還附帶了一個包含已調研工作和進一步研究資源的Github倉庫：//github.com/2471023025/RALM_Survey。

自然語言處理（NLP）是計算機科學和人工智能領域內的一個重要研究方向，致力于研究使人與計算機之間能夠使用自然語言有效溝通的理論和方法學框架。作為一個多學科領域，NLP整合了語言學、計算機科學和數學，旨在實現人類語言與計算機數據之間的相互轉換。其最終目標是賦予計算機處理和“理解”自然語言的能力，從而便于執行自動翻譯、文本分類和情感分析等任務。NLP的復雜性體現在它包括的眾多步驟上，如詞匯分割、詞性標注、解析、詞干提取、命名實體識別等，這些都增加了在人工智能系統中復制人類語言理解的難度。

傳統的自然語言處理任務通常使用基于統計的算法（Hogenboom et al., 2010）（Serra et al., 2013）（Aussenac-Gilles and S?rgel, 2005）和深度學習算法，如卷積神經網絡（CNN）（Yin et al., 2017）、遞歸神經網絡（RNN）（Banerjee et al., 2019）、長短時記憶網絡（LSTM）（Yao and Guan, 2018）等。最近，隨著變壓器架構（Vaswani et al., 2017）作為自然語言處理的代表性技術的出現，其受歡迎程度顯著提高。變壓器架構作為一個突出的大語言模型（Lewis et al., 2019）（Raffel et al., 2020）在自然語言處理領域已經持續展示出優越的性能，吸引了越來越多研究者的關注，他們致力于研究其能力。

當前最流行的語言模型是GPT系列（Radford et al., 2019）（Brown et al., 2020）（Achiam et al., 2023）和Bert系列（Liu et al., 2019）（Devlin et al., 2018）（Sanh et al., 2019），這些模型已經在多種自然語言處理任務中表現出色。其中，自編碼語言模型特別擅長于自然語言理解任務，而自回歸語言模型更適合于自然語言生成任務。雖然增加參數（Touvron et al., 2023b）和模型調優（Han et al., 2023）可以提升LLMs的性能，但“幻覺”現象（Ji et al., 2023）仍然存在。此外，語言模型在有效處理知識密集型工作（Feng et al., 2023）和更新其知識的能力不足（Mousavi et al., 2024）方面的限制也一直很明顯。因此，許多研究者（Lewis et al., 2020）（Izacard and Grave, 2020b）（Khandelwal et al., 2019）采用了檢索技術來獲取外部知識，這可以幫助語言模型在多種任務中獲得更好的性能。

當前關于使用檢索增強來提升LLMs性能的綜述還很少。Zhao et al.（2023）提供了關于多模態RAG的全面概述。Zhao et al.（2024a）專注于人工智能生成內容（AIGC）領域的檢索增強生成技術的利用。這篇文章提供了最近RAG工作的全面概述，但它沒有覆蓋所有相關領域。此外，文章缺乏足夠的細節來提供整體發展的全面時間線。Gao et al.（2023）研究了對大模型的RAG的增強。這篇文章總結了一些最近的RAG工作，但它獨立地介紹了檢索器和生成器，這不利于后續工作的組件升級和互動。Li et al.（2022b）專注于文本生成。文章中的圖表較少，內容更抽象，不利于讀者的理解。

關于NLP中的檢索增強方法，僅有關于RAG的綜述只講述了部分故事。不僅與自然語言生成（NLG）相關的任務需要檢索增強技術，自然語言理解（NLU）任務也需要外部信息。迄今為止，全面綜述NLP全譜系中應用增強檢索技術的文章還很少。為了改善當前狀況，本文提出以下貢獻： (1) 本文不僅關注與RAG相關的工作，還重點強調了RALM，并與NLP的概念保持一致。與生成相關的工作與NLG對齊，而其余的工作與NLU對齊。 (2) RALM的兩個組成部分，檢索器和語言模型，都進行了詳細描述，這兩個組件的不同交互模式也首次被準確定義。 (3) 提供了RALM工作計劃的全面概述，總結了當前RALM的常見和新穎應用，并分析了相關限制。提出了這些限制的潛在解決方案，并推薦了未來研究方向。

圖1提供了RALM方法框架的總體概述。以下是本文的摘要：第2節定義RALM。第3節提供了RALM中檢索器的詳細分類和總結。第4節提供了RALM中語言模型的詳細分類和總結。第5節對RALM的特定增強進行了分類和總結。第6節是RALM檢索數據來源的分類和總結。第7節是RALM應用的總結。第8節是RALM評估和基準的總結。最后，第9節討論了現有RALM的限制和未來工作的方向。

RALMs的整合代表了NLP系統能力的重大進步。本綜述提供了對RALMs的廣泛回顧，突出了它們的架構、應用和所面臨的挑戰。通過檢索和整合外部知識，RALMs增強了語言模型，從而在包括翻譯、對話生成和知識圖譜補全等多種NLP任務中提升了性能。

盡管取得了成功，RALMs仍面臨幾個限制。值得注意的是，它們對對抗性輸入的魯棒性、檢索結果的質量、部署相關的計算成本以及應用領域多樣性的缺乏被認為是需要進一步關注的領域。為了解決這些問題，研究社區提出了幾種策略，例如改進評估方法、完善檢索技術和探索在性能與效率之間保持平衡的成本效益解決方案。 未來，RALMs的進步將依賴于增強其魯棒性、提高檢索質量和擴展其應用范圍。通過采用更復雜的技術并將RALMs與其他AI技術整合，這些模型可以被用來應對更廣泛的挑戰。在這一領域持續的研究和開發預計將帶來更具韌性、效率和多功能性的RALMs，從而推動NLP及其它領域所能達到的界限。隨著RALMs的不斷演進，它們有望賦予AI系統更深入的理解力和更接近人類的語言能力，從而在廣泛的領域中開辟新的可能性。

大型語言模型（LLMs）在靜態、預先收集的通用數據集上的訓練取得的最近成功，已經引發了眾多研究方向和應用。其中一個方向解決了將預訓練的LLMs整合到動態數據分布、任務結構和用戶偏好中的非平凡挑戰。這個問題的主要挑戰在于平衡模型適應性和知識保存。為特定需求量身定制的預訓練LLMs經常在之前的知識領域經歷顯著的性能退化——這一現象被稱為“災難性遺忘”。雖然在持續學習（CL）社區進行了廣泛研究，但在LLMs領域呈現出新的表現形式。在這篇綜述中，我們提供了一個關于大型語言模型在持續學習背景下當前研究進展的全面概覽和詳細討論。除了介紹初步知識外，這篇綜述被分為四個主要部分：我們首先描述了持續學習LLMs的概覽，包括兩個連續性方向：垂直連續性（或垂直持續學習），即從一般到特定能力的持續適應；和水平連續性（或水平持續學習），即跨時間和領域的持續適應（第3節）。在垂直連續性之后，我們總結了在現代CL背景下學習LLMs的三個階段：持續預訓練（CPT）、領域適應性預訓練（DAP）和持續微調（CFT）（第4節）。然后我們提供了LLMs的持續學習評估協議的概覽，以及當前可用的數據來源（第5節）。最后，我們討論了有關LLMs持續學習的引人深思的問題（第6節）。這篇綜述揭示了持續預訓練、適應和微調大型語言模型這一相對未受到足夠研究的領域，表明需要社區更多的關注。需要立即關注的關鍵領域包括開發實用且易于訪問的評估基準，以及專門設計的方法論，以對抗遺忘和在不斷演變的LLM學習范式中啟用知識轉移。在這項綜述中檢查的完整論文列表可在//github.com/Wang-ML-Lab/llm-continual-learning-survey找到。

近期大型語言模型（LLMs）的進步顯示了實現人工普遍智能（AGI）的巨大潛力。研究人員觀察到，隨著參數規模的增加，多步驟推理、小樣本上下文學習和指令跟隨等復雜能力有所提高。LLMs的發展具有重大影響和革命性，促使機器學習從業者重新考慮傳統的計算范式，用于處理一些曾經具有挑戰性的人類水平任務，如問答、機器翻譯和對話系統。然而，LLMs通常在包含通用領域的靜態、預先收集的數據集上進行訓練，導致性能隨時間逐漸降低，并且在不同內容領域之間也會降低。此外，單一的預訓練大模型無法滿足每個用戶的需求，需要進一步的微調。盡管重新收集預訓練數據和根據額外的具體需求重新訓練模型是一種潛在的解決方案，但這種方法在現實世界場景中代價高昂且不切實際。為了有效地適應LLMs到下游任務，同時盡量減少對以前知識領域的性能退化，研究者采用了持續學習的方法，也稱為終身學習或增量學習。持續學習受到人類大腦中觀察到的增量學習模式的啟發，涉及按順序在一系列任務上訓練機器學習模型，期望在所有任務中保持性能。在訓練過程中，模型對以前的數據有限或無法訪問，這在保留過去知識時構成了一個挑戰，因為在當前任務學習時，來自未見過的以前數據的優化約束是不存在的。這一挑戰，被稱為災難性遺忘，自持續學習研究開始以來一直是研究的中心焦點。多年來，研究者探索了各種技術來減輕機器學習模型中的遺忘，這些技術包括基于重放的方法、參數規范化和模型架構擴展。這些技術共同顯著推進了在不同任務、模型架構和學習范式中實現零遺忘的持續學習目標。在順序訓練和適應LLMs的背景下，CL的重要性也正在發生自身的語義轉變。為了更好地突出這一持續的轉變，在這篇綜述中，我們提供了一個關于LLMs在CL背景下當前研究進展的全面概覽和詳細討論。對于持續學習LLMs的總體情況，我們將其分為兩個需要由從業者解決的連續性方向（第3節）：

• 垂直連續性（或垂直持續學習），指的是LLMs從大規模通用領域到小規模特定領域的持續適應，涉及學習目標和執行實體的轉變。例如，醫療機構可能開發專門為醫療領域定制的LLMs，同時保留其一般推理和問答能力，以服務用戶。
• 水平連續性（或水平持續學習），指的是跨時間和領域的持續適應，通常涉及多個訓練階段和對災難性遺忘的增加脆弱性。例如，社交媒體平臺不斷更新LLMs以反映最近的趨勢，確保精確地定位下游服務如廣告和推薦，同時為現有用戶提供無縫的用戶體驗。

在圖1中，繼垂直連續性之后，我們勾畫了現代CL中LLM學習的三個關鍵階段：持續預訓練（CPT）、領域適應性預訓練（DAP）和持續微調（CFT）（第4節）。在CPT中，現有研究主要調查三種類型的分布式轉變：時間、內容層次和語言層次。每種都呈現出獨特的焦點和挑戰。在DAP中，雖然它主要被視為為下游任務準備LLMs的過程，但頻繁地使用CL評估和技術。然而，這些技術的多樣性明顯不足，考慮到傳統CL社區的成熟度。在CFT中，我們關注的是學習LLMs的新興領域，涵蓋持續指令調整（CIT）、持續模型精煉（CMR）、持續模型對齊（CMA）和持續多模態LLMs（CMLLMs）等主題。接下來，我們呈現了一系列公開可用的評估協議和基準（第5節）。我們總結我們的綜述，討論了LLMs持續學習的最新出現的特性，傳統增量學習類型和LLMs持續學習中的記憶約束的角色變化，以及這個主題的潛在研究方向（第6節）。總結而言，本文提供了一份詳盡的現有持續學習研究LLMs的綜述，顯著區別于相關主題的現有文獻。我們的綜述突出了持續開發LLMs的研究領域，特別是在持續預訓練（CPT）和領域適應性預訓練（DAP）領域的研究。我們強調需要社區更多的關注，迫切需要包括開發實用、易于訪問且廣為認可的評估基準。此外，需要定制方法來解決在新興的大型語言模型學習范式中的遺忘問題。我們希望這篇綜述能提供一個系統而新穎的持續學習視角，在迅速變化的LLMs領域中，幫助持續學習社區為開發更有效、可靠和可持續的LLMs做出貢獻。

組織結構

本文的其余部分安排如下。我們首先在第2節介紹大型語言模型和持續學習的背景和初步知識。然后我們在第3節展示了大型語言模型的現代持續學習概覽。從垂直角度來看，它可以大致分為三個階段的LLMs持續訓練，我們將在第4節逐一介紹每個階段。在4.3節中，將介紹持續微調LLMs的獨特方面，包括持續指令調整（4.3.3節）、持續模型精煉（4.3.4節）、持續模型對齊（4.3.5節）和持續多模態大型語言模型（4.3.6節）。在第5節中，我們提供了公開可用的LLMs持續學習評估協議和基準的全面介紹。最后，在第6節中，我們討論了在大型語言模型時代持續學習的角色，包括大規模持續LLMs的新興能力（6.1節）、三種類型的持續學習（6.2節）、LLMs持續學習中的記憶角色（6.3節）以及未來的研究方向（6.4節）。 持續學習與大型語言模型相遇：概覽****大型語言模型（LLMs）在多個維度上都非常龐大，包括模型參數的大小、預訓練數據集、計算資源、項目團隊和開發周期。LLMs的巨大規模為開發團隊帶來了顯著的挑戰，特別是在快速變化的環境中保持更新。舉例來說，2023年，用戶發布的新推文的平均每日流量超過5億，即使是在這么大量數據的“小”子集上進行訓練也是不可承受的。在考慮到它們對下游應用的連鎖影響時，有效且可靠地適應LLMs變得更為關鍵。下游用戶通常缺乏收集和存儲大規模數據、維護大規模硬件系統以及自行訓練LLMs的專業知識。《可回收調整》是首個明確概述現代LLM生產流水線供應商-消費者結構的先導研究。在供應商側，模型在一系列大規模未標記數據集上持續進行預訓練。每次預訓練模型發布后，消費者需要利用更新、更強大的上游模型以獲得更好的下游性能。為了提高下游消費者微調的效率，他們最初對持續預訓練的LLMs進行了幾項關鍵觀察，聚焦于模式連接性和功能相似性。此外，他們提出在上游預訓練LLM進行重大更新后，復用過時的微調組件。基于《可回收調整》引入的概念框架，我們在本綜述中提出了一個包含各種研究的現代生產流水線的全面框架，涉及持續LLM預訓練、適應和部署，如圖1所示。我們的框架與現有研究的不同之處在于融入了兩個連續性方向：垂直連續性和水平連續性。

結論

在這項工作中，我們提供了一份關于持續LLMs的綜述，從持續學習的角度總結了它們在訓練和部署方面的最新進展。我們根據它們在我們提出的現代分層持續學習LLMs的更廣框架內的位置，對問題和任務進行了分類。雖然這一領域在社區中的興趣廣泛且日益增長，但我們也注意到幾個缺失的基石，包括算法多樣性以及對大模型行為（如知識遺忘、轉移和獲取）的基本理解。通過全面而詳細的方法，我們希望這篇綜述能激勵更多從業者探索持續學習技術，最終有助于構建健壯和自我進化的人工智能系統。

檢索增強型生成（Retrieval-Augmented Generation, RAG） 將檢索方法與深度學習的進展結合起來，旨在解決大型語言模型（LLMs）的靜態限制，通過動態整合最新的外部信息。這種方法主要關注文本領域，提供了一個成本效益高的解決方案，用以改進LLMs生成的可能正確但實際錯誤的回答，從而通過使用真實世界數據提高其輸出的準確性和可靠性。隨著RAG在復雜性上的增長，并融入多個可能影響其性能的概念，本文將RAG范式組織為四個類別：預檢索（pre-retrieval）、檢索（retrieval）、后檢索（post-retrieval）和生成（generation），從檢索的視角提供了詳細的觀點。文中概述了RAG的發展，并通過分析重要研究討論了該領域的進展。此外，本文還介紹了對RAG的評估方法，討論了所面臨的挑戰，并提出了未來的研究方向。通過提供一個有組織的框架和分類，該研究旨在整合現有關于RAG的研究，闡明其技術基礎，并強調其擴展LLMs的適應性和應用潛力。

//www.zhuanzhi.ai/paper/64e819fddc014c8a615b8e9beb7c5deb

ChatGPT的出現因其交互能力和廣泛的應用而顯著影響了學術界和工業界，已成為領先的人工智能工具（Laskar等人，2023年；Jahan等人，2023年；Huang與Huang，2024年）。ChatGPT的核心是大型語言模型（LLM）GPT-4，正如（OpenAI等人，2023年）所詳述，它在其前身的基礎上進行了多項增強，展示了在各種自然語言處理（NLP）任務中的卓越能力（Laskar等人，2020年）。盡管有這些進步，LLMs的采用突顯了幾個關鍵問題，主要是由于它們依賴于大量數據集。這種依賴限制了它們在訓練后納入新信息的能力，導致三個主要挑戰。首先，側重于廣泛和通用數據以最大化可訪問性和適用性，結果在專業領域的性能不佳。其次，網絡數據的快速創建，加上數據注釋和模型訓練所需的大量資源，阻礙了LLMs的更新能力。第三，LLMs易于生成令人信服但不準確的回答，這種情況被稱為“幻覺”，可能會誤導用戶。 解決這些挑戰對于LLMs在各個領域的有效利用至關重要。一個有前景的解決方案是整合檢索增強型生成（Retrieval-Augmented Generation，RAG）技術，該技術通過在回應查詢時獲取外部數據來補充模型，從而確保輸出更準確、更及時。圖1演示了RAG如何使ChatGPT能夠提供超出其初始訓練數據的精確答案。自從Lewis等人（Lewis等人，2020b）在2020年引入RAG技術以來，特別是受到ChatGPT成功的影響，RAG技術已經取得了重大進展。然而，在文獻中關于RAG機制的徹底分析以及后續研究所取得的進展方面存在明顯的差距。此外，該領域的研究重點多樣，對類似方法使用的術語含糊其辭，導致混淆。本文旨在通過提供RAG的結構化概述、分類各種方法，并對這一研究領域提供深入理解，以闡明這些方面。本綜述主要關注RAG的文本應用，反映了當前這一領域研究工作的重點. RAG結合檢索方法和先進的深度學習來解決兩個主要問題：有效檢索相關信息和生成準確的回應。RAG的工作流程在第2節中概述，將方法分類為預檢索、檢索、后檢索和生成階段。從第3節到第6節，對這些階段內的技術進行了深入分析。第7節提供了所審查研究的總結，以及使用的檢索器和生成器。第8節詳述了RAG的評估方法。第9節探討未來研究方向，專注于基于文本的研究，并擴展到圖像和多模態數據的考慮。結論在第10節提出。 本文的貢獻有三個方面：本文為理解RAG領域提供了一個全面的框架，確定了改進的領域和未來研究的挑戰。它對RAG的核心技術進行了詳細分析，考察了它們在解決檢索和生成問題上的優勢。此外，它介紹了RAG研究中使用的評估方法，突出了當前的挑戰，并提出了未來研究的有希望的方向。 2 RAG框架

幻覺問題主要歸因于LLMs無法獲取最新信息的問題。這一限制源自模型依賴其訓練數據集。RAG通過利用檢索模型補充LLM的訓練數據與外部來源的當前信息，提出了解決這一問題的方案，從而使生成的回答更準確。RAG提供了一個成本效率更高的選擇，相比通常需要的大量訓練和微調過程而言。它允許通過傳統的檢索方法或預訓練的語言模型（LMs），動態地合并新鮮信息，無需直接將這些新數據整合到LLM中。這一特性使RAG具有靈活性和可擴展性，便于在不同的LLM上針對各種目的進行應用。通過RAG檢索的信息來自實際的人類編寫的數據，這不僅簡化了生成過程，還提高了生成回答的可靠性。圖2展示了統一的RAG框架以及基本工作流程和范式。 Khandelwal等人的研究（Khandelwal等人，2020年）表明，從訓練數據集本身獲取相關信息可以顯著提高LLM的性能，凸顯了RAG的有效性。隨著時間的推移，RAG已從提供補充信息的手段發展成為使檢索和生成組件之間進行多次交互的工具。這涉及進行多輪檢索以提煉檢索信息的準確性，并迭代提高生成輸出的質量。如LangChain1和LlamaIndex2等平臺已將RAG方法模塊化，增強了其適應性并擴展了應用范圍。盡管這些平臺采用多種方法解決RAG的不同方面——從多次搜索迭代到迭代生成——它們保持對基本RAG工作流程的遵守。這種一致性對于理解它們的操作和指明進一步發展的機會至關重要。

2.1 基本RAG工作流程RAG的基本工作流程從創建一個包含外部資源的索引開始。這個索引是基于特定查詢通過檢索模型檢索相關信息的基礎。最終步驟涉及一個生成模型，該模型將檢索到的信息與查詢結合，以產生所需的輸出。 2.1.1 索引高效的檢索始于全面的索引，其中數據準備是關鍵。這一階段涉及文本規范化過程，如分詞、詞干提取和停用詞移除，以增強文本的索引適用性（Manning等人，2008年）。然后，文本段落被組織成句子或段落，以便進行更有針對性的搜索，允許精確定位包含相關關鍵詞的段落。深度學習的整合通過使用預訓練的語言模型為文本生成語義向量表示，徹底革新了索引技術。這些向量被存儲，使從龐大的數據集中快速且精確地檢索成為可能，顯著提高了檢索效率。

2.1.2 檢索傳統的檢索方法，如BM25算法（Hancock-Beaulieu等人，1996年），側重于文檔排名的術語頻率和存在性，但通常忽視了查詢的語義信息。當前策略利用像BERT（Devlin等人，2019年）這樣的預訓練語言模型，更有效地捕捉查詢的語義本質。這些模型通過考慮同義詞和短語結構，提高搜索精度，通過檢測語義相似性來精細化文檔排名。這通常是通過測量文檔和查詢之間的向量距離實現的，將傳統檢索指標與語義理解結合，以產生既相關又符合用戶意圖的搜索結果。

2.1.3 生成生成階段的任務是產生既與查詢相關又反映檢索文檔中信息的文本。常用方法包括將查詢與檢索信息連接起來，然后輸入到一個LLM中進行文本生成（Li等人，2022年）。盡管確保生成文本的一致性和準確性面臨挑戰，但在嚴格遵循源材料和注入輸出創造性之間找到平衡也是必要的。生成的文本應準確傳達檢索文檔的信息并與查詢意圖一致，同時也提供引入未在檢索數據中明確包含的新見解或視角的靈活性。 2.2 RAG范式RAG范式在領域內組織研究，提供一個簡單而強大的框架以增強LLM的性能。RAG的核心是其搜索機制，對生成高質量結果至關重要。因此，從檢索角度看，這一范式被結構化為四個主要階段：預檢索、檢索、后檢索和生成。單跳和多跳檢索方法，包括迭代檢索-生成周期，遵循這四個階段的結構。圖3是RAG核心技術的分類樹。

2.2.1 預檢索檢索增強生成的預檢索階段為成功的數據和查詢準備奠定基礎，確保信息檢索的效率。這一階段包括準備有效數據訪問的必要任務。索引：過程從索引開始，建立一個有組織的系統，以實現信息的快速和準確檢索。索引的具體性取決于任務和數據類型。例如，針對問答系統，句子級索引有助于精確定位答案，而文檔級索引更適合于總結文檔以理解其主要概念和思想。查詢操作：索引后，進行查詢操作以更好地匹配索引數據。這涉及查詢重構（Jansen等人，2009年；Yu等人，2020年），它重寫查詢以更緊密地符合用戶意圖；查詢擴展（Huang等人，2013年），通過同義詞或相關術語擴展查詢以捕獲更相關的結果；以及查詢規范化，解決拼寫或術語上的差異以實現一致的查詢匹配。數據修改：數據修改在提高檢索效率方面也至關重要。這一步包括預處理技術，如移除無關或冗余信息以提高結果質量，并通過如元數據等附加信息豐富數據，以增強檢索內容的相關性和多樣性（Bevilacqua等人，2022a）。

2.2.2 檢索搜索與排名：檢索階段是搜索與排名的結合。它專注于從數據集中選擇和優先考慮文檔，以提高生成模型輸出的質量。這一階段使用搜索算法來導航索引數據，查找與用戶查詢匹配的文檔。識別相關文檔后，開始對這些文檔進行初步排名，按其與查詢的相關性進行排序。

2.2.3 后檢索后檢索階段旨在完善最初檢索的文檔，提高文本生成的質量。這一階段包括重新排序和過濾，每項都旨在優化文檔選擇以完成最終的生成任務。重新排序：在重新排序步驟中，之前檢索的文檔被重新評估、評分并重新組織。其目標是更準確地突出與查詢最相關的文檔，并降低不太相關文檔的重要性。這一步涉及結合額外的度量和外部知識源以提高精確性。在這種情況下，可以有效地使用精確度更高但效率較低的預訓練模型，因為可用的候選文檔集有限（Huang和Hu，2009年）。過濾：過濾旨在移除未達到特定質量或相關性標準的文檔。這可以通過幾種方法完成，例如設定最低相關性分數閾值以排除低于某一相關性級別的文檔。此外，使用用戶或先前相關性評估的反饋有助于調整過濾過程，確保只保留用于文本生成的最相關文檔（Khattab和Zaharia，2020年；Huang和Huang，2023年）。

2.2.4 生成生成階段是RAG流程的關鍵組成部分，負責利用檢索到的信息增強生成響應的質量。這一階段包括幾個旨在產生可讀、吸引人及富有信息量的內容的子步驟。增強：生成階段的核心是增強步驟，其目標是將檢索到的信息與用戶的查詢合并，創建一個連貫且相關的響應。這包括闡述過程，向檢索內容添加額外的細節以豐富它。努力專注于通過重述和重組等方法提高輸出的質量，增加其清晰度、連貫性和風格吸引力。將來自各種來源的信息結合在一起，提供全面的視角，并進行驗證，以確保內容的準確性和相關性。定制：定制是一個可選步驟，涉及調整內容以符合用戶的特定偏好或請求的上下文。這種調整包括根據目標觀眾的需求或內容呈現的格式調整內容，并壓縮信息以簡潔地傳達內容的本質。這個過程還包括創建強調關鍵點或論點的摘要或概要，確保輸出既信息豐富又簡潔。

圖是一種自然表示方式，適用于基于連接實體之間關系的系統。當考慮與感興趣的過程相關的目標函數時，會出現組合優化問題，這些問題通常具有挑戰性，因為解決方案空間的迅速增長。強化學習的試錯范式最近已經成為一種有前景的替代傳統方法，如精確算法和（元）啟發式算法，用于在化學、計算機科學和統計學等多種學科中發現更好的決策策略。盡管這些技術源自截然不同的領域，但它們具有顯著的共性。因此，我們著手將這些工作綜合在我們稱之為圖強化學習的統一視角中，將其解釋為圖問題的一種構造性決策方法。在介紹相關的技術背景后，我們回顧了這些研究工作，并沿著是否旨在優化給定過程的圖結構，或在固定圖結構下優化過程本身的結果這一分界線進行了評述。最后，我們討論了該領域面臨的共同挑戰和開放性研究問題。與其他綜述不同，本工作關注于非典型圖問題，對于這些問題，通常沒有已知的高效算法，而強化學習能夠提供高效且有效的解決方案。

圖是一個數學概念，用于形式化由關系（邊）連接的實體（節點）的系統。超越原始拓撲結構，圖中的節點和邊常常與屬性相關聯：例如，一個邊可以與距離度量的值相關聯（Barthélemy, 2011）。通過這樣的特性增強，圖成為了一種強大的形式主義，能夠表示各種系統。這種靈活性使得它們被廣泛應用于計算機科學、生物學和社會科學等多樣的領域（Newman, 2018）。這種類型的數學建模可以用來分析性地檢查網絡的結構和行為，構建預測模型和算法，并將它們應用于實際問題。除了描述在圖上發生的過程外，一個自然的問題是如何介入網絡以優化給定過程的結果。這類在離散結構上的組合優化問題通常具有挑戰性，因為解決方案空間的迅速增長。一個著名的例子是旅行商問題（TSP），它要求在一個完全連通的圖中找到一個哈密頓回路，使得路徑長度總和最小化。

近年來，機器學習（ML）開始作為解決組合優化問題的有價值工具而興起，研究人員預計其影響將是革命性的（Bengio et al., 2021; Cappart et al., 2021）。特別是，強化學習（RL）的范式已顯示出通過試錯發現能夠勝過傳統精確方法和（元）啟發式方法的算法的潛力。一個常見的模式是將感興趣的問題表達為一個馬爾可夫決策過程（MDP），在其中，一個代理逐步構建解決方案，并根據其優化目標函數的能力獲得獎勵。從MDP公式開始，可以透明地應用各種RL算法，這使得這種方法在可以解決的問題類型上非常靈活。與此同時，開始出現了使用RL解決圖組合優化問題的工作，涵蓋了從化學（You et al., 2018a），計算機科學（Valadarsky et al., 2017），經濟學（Darvariu et al., 2021b）到統計學（Zhu et al., 2020）等多種科學領域。

本綜述的目標是提出一個統一框架，我們稱之為圖強化學習（Graph RL），用于處理圖上的決策問題。我們將綜合可以在這個新興范式的背景下解釋的各種方法。我們將討論幾個組合優化問題，重點是那些通常不知道有效、高性能算法的非典型問題。事實上，最近的綜述關注的是應用RL解決典型問題的作品，我們使用“典型問題”這一術語來指代可能已經被研究了幾十年的問題。例如，僅關于解決上述TSP的研究就可以追溯到近70年前Dantzig等人的論文（1954），并且存在非常有效的算法可以最優地（Applegate et al., 2009）或近似地（Lin & Kernighan, 1973; Helsgaun, 2000）解決多達數千萬節點的實例。其他值得注意的典型問題包括最大獨立集（Ahn et al., 2020）、最大割（Khalil et al., 2017; Ahn et al., 2020）以及諸如車輛路徑問題（VRP）（Kool et al., 2019; Kim & Park, 2021）等路由問題。除了少數例外，盡管在這些基準問題上的工作對于推動基于ML方法的極限很重要，但目前它們還不能直接與成熟的、高度優化的啟發式和精確求解器競爭。因此，本文與其他綜述（Mazyavkina et al., 2021; Wang & Tang, 2021）和觀點（Bengio et al., 2021; Cappart et al., 2021）相輔相成，無論是在提出統一范式還是關注非典型問題方面。

本文的其余部分如下組織。在第2節中，我們提供了關于圖上的組合優化問題及其使用RL方法的相關技術背景。隨后，在第3節中，我們回顧了考慮優化圖結構的工作（即，從頭開始創建圖或修改現有圖）以使目標函數最大化。然后，在第4節中，我們綜述了在固定圖結構下優化過程的論文。第5節討論了在應用這些技術時面臨的常見挑戰，這些也可以視為未來工作中需要解決的重要研究問題，此外還總結了一些關鍵的應用領域。我們在第6節以圖強化學習作為解決圖上組合優化問題的統一范式的討論來結束本文。

圖結構優化在機器學習（ML）處理典型圖組合優化問題的工作中，一個共有的特點是它們通常不涉及對圖的拓撲結構進行改變。具體來說，需要在假設網絡結構保持固定的情況下找到解決方案。學習構建圖或修改其結構以優化給定目標函數的問題在ML文獻中相對較少關注。在這一部分，我們回顧了處理修改圖拓撲結構以優化感興趣的量的問題的工作，并使用強化學習（RL）來發現實施這一過程的策略。這是通過與環境的互動來執行的。

在高層次上，這類問題可以被表述為尋找滿足argmaxG∈G F(G)的圖G，其中G是要搜索的可能圖的集合，F如前所述，是目標函數。我們在圖2中示意了這一過程。精確的框架取決于問題，并可能涉及從一個空圖開始還是從一個現有的圖開始選擇，以及對圖的有效性如空間限制、非循環性或平面性施加約束。如圖3所示，動作空間的設計也可以變化。代理可能被允許進行邊的添加、移除和重連，或者這些操作的某種組合。 鑒于范圍的自然限制，我們只考慮那些（1）使用圖表示問題；（2）通過RL訓練策略進行結構優化的工作。讓我們簡要討論一下相關但不在討論范圍內的一系列工作。ML文獻中的幾項工作考慮了生成與提供的數據集具有類似屬性的圖。這通常使用深度生成模型執行，并可被視為經典圖生成模型的基于ML的替代方法，例如Barabási & Albert（1999）的模型。這些工作主要使用最終圖（即“成品”）的示例數據集，并不使用中間的，從某種意義上說，對應于生成過程本身的步驟。它們還需要大量相關的示例集合，這些可能并不總是可用的，具體取決于領域。

在這一領域，使用自回歸模型（如LSTM或GRU）的工作類似于MDP公式；例如添加邊的決策可以被視為序列中的一個標記，由模型學習。這一領域的一些值得注意的工作包括Li等人（2018）提出的技術，GraphRNN（You等人，2018b），以及圖重復注意網絡（Liao等人，2019）。其他類型的生成模型，如變分自編碼器和生成對抗網絡，也被用于生成分子（Kusner等人，2017; Guimaraes等人，2018; De Cao & Kipf, 2018; Jin等人，2018）。

本節的其余部分深入回顧了相關論文，按問題家族分組。我們涵蓋了旨在學習如何攻擊GNN、設計網絡結構、發現因果圖和構建分子圖的工作。考慮的論文根據其采用的技術和特點在表1中進行了總結。 在這項綜述中，我們討論了圖強化學習這一新興領域，這是一種通過試錯學習來解決圖上計算挑戰性優化問題的方法。我們特別關注那些尚未知曉高效算法的問題，以及傳統的啟發式和元啟發式算法通常無法提供滿意性能的問題。我們將這些工作分為兩類。第一類是圖結構優化，包括需要找到最優圖結構的問題，這在對抗性攻擊圖神經網絡、網絡設計、因果發現和分子優化等領域有顯著應用。第二類是圖過程優化，將圖結構視為固定不變，代理在離散的可能控制行動空間中進行搜索，以優化過程的結果。這包括網絡路由、游戲、傳播過程和圖搜索等問題。最后，我們討論了該領域面臨的主要挑戰，其解決可能具有非常重大的影響。

數據可視化以圖表形式在數據分析中發揮著關鍵作用，提供關鍵洞察并輔助做出知情決策。隨著近年來大型基礎模型的興起，自動圖表理解取得了顯著進展。基礎模型，如生成預訓練變換器（Generative Pre-trained Transformers, GPT），已經革新了多種自然語言處理（NLP）任務，并越來越多地應用于圖表理解任務中。這篇綜述文章提供了這些基礎模型背景下圖表理解最近發展、挑戰和未來方向的全面概覽。文章從背景部分開始，定義圖表理解，概述問題表述，并討論研究圖表理解任務至關重要的基本構建塊，包括視覺編碼器、圖表到表格的翻譯、OCR模塊、文本編碼器和文本解碼器。在任務和數據集部分，我們探討了圖表理解內的各種任務，包括圖表問答、圖表字幕制作、圖表到表格轉換、圖表事實核查和圖表字幕事實錯誤校正。我們討論了評價指標和圖表及文本輸入的來源。然后檢視了建模策略，包括分類基礎和生成基礎的方法，以及增強圖表理解性能的工具增強技術。此外，我們討論了每項任務的最新性能并探討如何提升性能。在一個專門的部分中，我們討論了挑戰和未來方向，強調了諸如特定領域圖表、以及關于真實性、覆蓋范圍、相關性、穩健性、公平性和數據偏見的評價標準等問題。我們還深入探討了這些多模態基礎模型的組成部分，包括調整LM主干的必要性、多階段訓練過程的有效性，以及合成數據的潛在充分性。探索了與用戶或其他系統交互的代理導向設置。最后，我們討論了如自然圖像理解、表格理解和文檔理解等相關任務，提供了對視覺和文本數據理解更廣闊景觀的洞察。這篇綜述文章為自然語言處理、計算機視覺和數據分析領域的研究人員和實踐者提供了一個全面的資源，為利用大型基礎模型進行圖表理解的未來研究提供了寶貴的見解和方向。本文提及的研究以及新興的研究將持續更新于： //github.com/khuangaf/Awesome-Chart-Understanding。

在信息交流中圖表理解的重要性：在我們當代的多媒體信息世界里，數據的體量和復雜性持續膨脹，圖表在促進事實信息的連貫且富有洞察力的交流、傳達見解和做出決策中的角色至關重要。跨越學術界、科學研究、數字媒體和商業領域，圖表作為將原始數據轉換成可理解的視覺敘事的不可或缺的工具。它們能夠以簡潔直觀的格式封裝復雜的數據集，使決策者能夠迅速把握關鍵見解，輔助知情推理和戰略規劃。認識到圖表在現代信息傳播中的關鍵作用，計算社區持續對自動圖表理解表現出興趣，如自動圖表理解的大量研究所證明。特別是，關于圖表問答、圖表字幕制作、圖表到表格轉換、圖表事實核查和圖表字幕事實錯誤校正的工作奠定了探索圖表理解技術中圖表語義復雜性的基礎框架。

在大型基礎模型時代的圖表理解挑戰與機遇：傳統的圖表理解工作聚焦于微調方法，通常在領域可移植性和推理魯棒性方面遇到限制。令人興奮的是，大視覺-語言基礎模型（例如，GPT-4V、LLaVA）的出現引發了在自動推理能力上的范式轉變，催化了包括通過基于文本的提示實現強零/少次推理能力在內的各種多媒體認知任務的前所未有的進步。但在這一變革性創新的景觀中，圖表理解領域仍舊深陷固有的復雜性和巨大挑戰。圖表因其多面向的視覺表現和細膩的語義呈現出一系列獨特的障礙。從條形圖、折線圖到餅圖和散點圖，每種圖表類型都采用獨特的視覺語法來傳達數據關系，需要超越簡單的像素級模式識別的復雜解釋機制。圖表作為揭示如新興趨勢、挑戰假設的異常值和變量間可能不會從僅僅是表格形式的原始數據立即顯現的關系的深刻見解的渠道。它們使得可以進行跨數據點的比較分析，為簡潔地并置不同實體或時間段提供一個視覺平臺。此外，從簡單的數字關系到復雜的多維實體，底層數據集的內在多樣性為圖表理解任務增加了另一層復雜性。盡管面臨這些挑戰，自動圖表理解位于機遇與影響的交匯處，提供了一扇解鎖埋藏在視覺敘事像素中的可行動見解的大門。通過利用大型基礎模型的能力，圖表理解展示了在彌合原始視覺數據與有意義見解之間的差距方面的提升潛力，從而使技術可擴展地用于易于訪問的應用和增強人類認知。

盡管已有數項研究綜述了圖表理解研究的領域，但這些綜述往往在全面性或特定性上表現出一定的缺口。一些綜述沒有涵蓋在圖表理解研究中使用的現代數據集，以及最新的建模方法，如涉及預訓練的視覺-語言模型和大型基礎模型。相反，其他綜述主要集中在可視化方面（即數據轉換為圖表的過程），因此忽視了圖表解釋的細膩任務。本綜述旨在彌合這些缺口。我們首先在第2節定義自動圖表理解和問題表述的基本構建塊。我們討論了圖表理解的多面性，包括從解釋圖表視覺到分析底層數據的任務，以及概述了圖表理解的結構性建模組件，如視覺編碼器、OCR模塊、文本解碼器及其在將原始圖表圖像和文本查詢轉換為有意義見解中的角色。然后，在第3節，我們檢查了推動圖表理解研究的數據集和模型評估指標。本節分析了這些數據集的來源、多樣性和局限性，提供了對當前圖表理解數據景觀的見解。它還回顧了各種評估指標，強調了魯棒且細膩的評估方法的必要性。有了這些特征的見解，我們進一步提供了自動圖表理解的流行建模策略。第4節深入探討了圖表理解中的多樣化建模策略，包括從自然圖像理解、視覺-語言預訓練和基礎模型，如大型語言模型（LLMs）和大型視覺-語言模型（LVLMs）的調整。特別是，我們強調了視覺編碼器和文本解碼器在模型有效性上的選擇影響，并討論了工具增強在圖表理解中的作用。我們通過展示不同圖表理解任務上的最新性能以及我們如何改進它們來結束這一部分。最后，第5節討論了圖表理解中的挑戰和未來方向。我們強調了特定領域圖表的重要性、對全面評估指標的需求，以及對增強模型魯棒性和多功能性的敵對設置的潛力。我們還在第6節討論了圖表理解如何位于與自然圖像理解、表格理解和文檔理解相關工作的交匯處。本綜述文章通過確定未來研究的關鍵領域結束，如為復雜圖表開發模型、完善評估指標和多樣化數據集。我們不僅提供了對圖表理解當前狀態的深入概覽，而且為這一激動人心的數據可視化與機器學習交叉領域的未來進展奠定了基礎。

將文本和視覺模態連接起來在生成智能中扮演著至關重要的角色。因此，受到大型語言模型成功的啟發，大量研究努力正被投入到多模態大型語言模型（MLLMs）的開發中。這些模型能夠無縫整合視覺和文本模態，無論是作為輸入還是輸出，同時提供基于對話的界面和遵循指令的能力。在這篇論文中，我們提供了近期基于視覺的MLLMs的全面回顧，分析它們的架構選擇、多模態對齊策略和訓練技巧。我們還對這些模型在廣泛的任務范圍內進行了詳細分析，包括視覺定位、圖像生成和編輯、視覺理解和領域特定應用。此外，我們編制并描述了訓練數據集和評估基準，就性能和計算需求在現有模型之間進行了比較。總的來說，這篇綜述提供了當前藝術狀態的全面概述，為未來MLLMs的發展奠定了基礎。

//www.zhuanzhi.ai/paper/3c58ed684809b9b936259fd61a4bb074

注意力操作符和Transformer架構（Vaswani et al., 2017）的引入，使得創建能夠處理各種模態的模型成為可能，并且這種處理能力在不斷擴大的規模上得到應用。這一進步很大程度上歸功于操作符的多功能性和架構的適應性。最初，這一突破被用于語言特定模型（Devlin et al., 2018; Brown et al., 2020），但很快擴展到支持視覺處理骨干（Dosovitskiy et al., 2021），最終用于集成多種模態的模型（Radford et al., 2021）。復雜大型語言模型（LLMs）的涌現，特別是它們進行上下文學習的能力，鼓勵研究人員將這些模型的應用范圍拓寬到多模態，包括作為輸入和輸出。這一擴展導致了如GPT-4V（Achiam et al., 2023）和Gemini（Anil et al., 2023）等尖端模型的開發，展示了最先進的性能。多模態大型語言模型（MLLMs）的開發涉及將視覺和語言的單模態架構合并，通過視覺到語言的適配器建立它們之間的有效連接，并設計創新的訓練方法。這些方法對于確保模態對齊和準確遵循指令的能力至關重要。在新模型快速發布的背景下，我們的目標是提供關于MLLM領域的全面概述，重點關注利用視覺模態的模型。這一概述既是對當前狀態的更新，也是對未來發展的靈感來源。我們確定了定義這些模型的三個核心方面：它們的架構、訓練方法以及它們被設計來執行的任務。我們首先詳細介紹了流行的視覺編碼器選擇和為LLMs裝備跨模態能力的適配器模塊。接著，我們深入訓練過程和使用的數據。然后，我們探索MLLMs處理的任務范圍。綜述以對該領域持續存在的挑戰和未來研究的有希望方向的討論結束。關于訓練數據、評估數據集以及性能和計算要求的進一步細節在補充材料中報告。

賦予大型語言模型多模態能力

** 前言**

大型語言模型。Brown等人（2020）發現上下文學習，即在提示前附加一些示例以演示大型語言模型（LLM）的期望輸出（Chowdhery等人，2023；Hoffmann等人，2022；Tay等人，2022），可以提高其性能，特別是在未見過的任務上。通過為每個訓練樣本提供所需任務的自然語言描述，可以進一步提高泛化能力。這種技術，稱為指令調優（Chung等人，2022；Wang等人，2022b,a；Jiang等人，2024），對于使LLM的行為與人類的行為對齊至關重要，目前賦能了最先進的LLM，最終通過來自人類反饋的強化學習（RLHF）（Ouyang等人，2022；Achiam等人，2023；Chen等人，2023j；Bai等人，2023a）得到提升。PEFT。當一個預訓練的LLM需要適應特定領域或應用時，參數高效微調（PEFT）方案代表了訓練整個LLM的一個重要替代方案，因為這些策略只引入少量新參數。其中，提示調優（Hambardzumyan等人，2021；Lester等人，2021；Li和Liang，2021；Liu等人，2023j）學習一小組向量作為軟提示在輸入文本之前輸入模型。不同的是，LoRA（Hu等人，2021）通過學習低秩矩陣限制了新權重的數量。這種技術與如QLoRA（Dettmers等人，2023）等量化方法正交，進一步減少了LLM的內存占用，與通常的半精度權重相比。走向多模態LLM。MLLM的發展與LLM的發展路徑類似，Flamingo（Alayrac等人，2022）是首個在視覺-語言領域探索大規模上下文學習的模型。然后，視覺指令調優（Liu等人，2023e）迅速成為多模態領域中最突出的訓練范式，以及使用PEFT技術微調LLM。任何MLLM至少包含三個組件（圖1）：作為與用戶接口的LLM主干，一個（或多個）視覺編碼器，以及一個或多個視覺到語言的適配器模塊。對LLM主干的流行選擇通常屬于LLaMA家族（Touvron等人，2023a,b），鑒于它們的權重是自由可獲取的，它們僅在公開數據上進行了訓練，并且它們擁有不同的大小以適應各種用例。此外，它們的衍生版本也很受歡迎，例如Alpaca（Taori等人，2023）和Vicuna（Chiang等人，2023）。前者在GPT-3編寫的指令上微調LLaMA，而后者利用用戶與ChatGPT（OpenAI，2022）的共享對話。其他選擇包括OPT（Zhang等人，2022b），Magneto（Wang等人，2023b），MPT（MosaicML，2023），以及經過指令調優（Chung等人，2022）或多語言（Xue等人，2020）版本的T5（Raffel等人，2020），一種為多個任務預訓練的編解碼器語言模型。 本調查中涵蓋的MLLM的總結報告在表1中，指出每個模型基于哪個LLM，視覺編碼器，用于連接視覺和語言組件的適配器，MLLM是否經過視覺指令調優訓練，以及主要任務和能力的簡短列表。視覺編碼器在MLLM中，一個關鍵組件是視覺編碼器，它專門設計用于為LLM提供提取的視覺特征。通常采用凍結的預訓練視覺編碼器，同時只訓練一個可學習的接口，將視覺特征與底層LLM連接起來。最常用的視覺編碼器基于預訓練的Vision Transformer（ViT）模型，具有CLIP-based目標，以利用CLIP嵌入的固有對齊。流行的選擇包括CLIP（Radford等人，2021）的ViT-L模型，OpenCLIP（Wortsman等人，2022）的ViT-H主干，以及EVA-CLIP（Fang等人，2023）的ViT-g版本。CLIP和OpenCLIP編碼器在從網絡收集的圖像上訓練，采用對比方法對正確的圖像-文本對進行對齊。相反，EVA-CLIP是一系列模型，提供了訓練CLIP模型的實用有效解決方案。特別是，EVA模型預訓練為重建被遮擋的圖像-文本對齊視覺特征，條件是可見的圖像塊。 正如（Li等人，2023f）所示，更強大的圖像編碼器導致更好的性能。基于這一見解，Lin等人（2023b）和Gao等人（2024）提出了一個凍結視覺主干的集合，以捕獲魯棒的視覺表示和不同級別的信息粒度。同時，PaLI模型（Chen等人，2023i,g），注意到語言和視覺參數之間的不平衡，分別提出將視覺主干擴展到4億和220億參數的ViT。使用如此大且強大的模型是通過在訓練期間保持視覺編碼器凍結的常見做法變得可行的，如（Li等人，2023f；Huang等人，2023a；Gao等人，2023；Chen等人，2023f）中所觀察到的。然而，使用凍結的視覺編碼器有一些局限性，主要是由于參數數量有限，導致視覺和語言模態之間對齊不足。具體來說，從視覺模型提取的密集特征可能會碎片化細粒度圖像信息，并由于輸入語言模型的長序列而帶來大量計算。為了緩解這個問題，其他方法（Ye等人，2023c,d）采用兩階段訓練范式。在第一階段，他們結合了可訓練的視覺主干，同時保持預訓練的LLM凍結。根據他們的發現，使視覺編碼器可訓練可以提高諸如視覺問題回答或視覺描述等任務的性能。然而，它可能導致其他任務的性能下降，表明一定程度的遺忘和對通用視覺表示的損害。

視覺到語言的適配器

來自不同模態的輸入的同時存在強調了需要納入一個能夠勾畫出這些單模態領域內潛在對應關系的模塊的必要性。這些模塊，稱為“適配器”，旨在促進視覺和文本領域之間的互操作性。在常見的MLLM中使用了不同適配器的范圍，從基本架構（如線性層或MLP）到高級方法（如基于Transformer的解決方案），如Q-Former模型，以及添加到LLM的條件交叉注意力層。線性和MLP投影。將視覺輸入投影到文本嵌入中的最直接方法涉及學習線性映射，將視覺特征轉換為與文本對應部分相同的維度。一些方法，如LLaMA-Adapter（Gao等人，2023）和FROMAGe（Koh等人，2023b）只使用單個線性層來執行多模態連接，而LLaVA-1.5（Liu等人，2023d）采用了兩層MLP，顯示出改進的多模態能力。盡管在早期MLLM中廣泛采用線性投影，但即使在對視覺輸入有更深入理解的最新方法中，線性投影的使用也被證明非常有效（Chen等人，2023f；Lin等人，2023a；Wang等人，2023c；You等人，2023；Zhao等人，2023a）。因此，它是一種簡單而有效的技術，用于將視覺特征與文本對應部分對齊。不同的方法（Cha等人，2023）提議用卷積層替換線性層，顯示出適度的改進。 Q-Former。它是BLIP-2（Li等人，2023f）中提出的基于Transformer的模型，然后在幾種其他方法（Chen等人，2023d；Dai等人，2023；Hu等人，2024）中使用。它的特點是具有可適應的架構，由兩個共享相互注意力層的Transformer塊組成，促進視覺和文本表示之間的對齊過程。它涉及一組可學習的查詢，在自注意力層內部交互，并通過交叉注意力機制與視覺特征接口。文本和視覺元素通過模塊內的共享自注意進行通信。從Q-Former中汲取靈感，引入了各種修改版本。在這方面，mPLUG-Owl模型（Ye等人，2023c,d）簡化了Q-Former架構，并提出了一個視覺抽象器組件，通過將視覺信息壓縮為不同的可學習令牌來操作，以獲得更富語義的視覺表示。同一線上，Qwen-VL（Bai等人，2023b）使用具有可學習查詢的單層交叉注意力模塊壓縮視覺特征，還結合了2D位置編碼。附加交叉注意力層。這種方法在Flamingo（Alayrac等人，2022）中被提出，通過在現有預訓練LLM層中集成密集交叉注意力塊。新添加的層通常與零初始化的tanh門控機制結合使用，以確保在初始化時，條件模型的行為如其原始版本。使用附加交叉注意力層需要從頭開始訓練它們，與其他替代方案相比，增加了可訓練參數的數量。為了減少計算復雜性，這種策略通常與基于Perceiver的組件（Jaegle等人，2021）配對使用，該組件在將視覺令牌輸入LLM之前減少了它們的數量。自從引入以來，幾個模型（Awadalla等人，2023；Chen等人，2023b；Lauren?on等人，2023；Li等人，2023a）采用這種技術將視覺模態與底層LLM連接起來，顯示出提高了訓練穩定性和改善了性能。

多模態訓練

從預訓練的LLM開始，MLLM的訓練經歷了單階段或兩階段過程。在這兩種情況下，都使用標準的交叉熵損失來預測下一個令牌，作為自回歸目標。 單階段訓練。這種可能性由LLaMA-Adapter（Gao等人，2023）探索，它引入了額外的可訓練參數以封裝視覺知識并同時管理僅文本指令學習。為了實現這一點，模型使用圖像-文本對和指令進行聯合訓練，操作獨立的參數。同時，（Koh等人，2023b）中提出的模型通過整合兩個對比損失來適應最終損失函數，用于圖像-文本檢索。在訓練期間，只更新三個線性層。另一方面，Kosmos-1（Huang等人，2023a）考慮了一個凍結的視覺主干，并從頭開始訓練1.3B參數的語言模型。 Flamingo（Alayrac等人，2022）及其開源變體（Awadalla等人，2023；Lauren?on等人，2023），相反，訓練交叉注意力層和基于Perceiver的組件以將視覺特征與凍結的LLM塊連接起來。此外，Otter（Li等人，2023a）擴展了Flamingo的訓練以增加其上下文能力。 鑒于目前可用的訓練數據量，像SPHINX-X（Gao等人，2024）這樣的方法選擇執行單一的一體化訓練階段，在此階段更新所有模型組件，可能還使用僅文本數據以保留LLM的對話能力。

兩階段訓練。在兩個訓練階段中的第一個，目標是將圖像特征與文本嵌入空間對齊。經過這一階段后，輸出往往是碎片化的且不連貫的。因此，進行第二步以提高多模態對話能力。LLaVA（Liu等人，2023e,d）是首批引入視覺指令遵循訓練方案的方法之一，作為第二訓練階段執行，更新多模態適配器和LLM的參數。在第一階段，相反，只有多模態適配器是可訓練的。不同的是，MiniGPT4（Zhu等人，2023a）值得注意的是，在兩個階段中僅訓練負責多模態對齊的線性層。在第二階段，它使用經過模型自身在第一階段后收集和精煉的過濾數據。

另一種方法，如InstructBLIP（Dai等人，2023）所示，涉及凍結視覺編碼器和LLM。在兩個訓練階段中，只有Q-Former和連接模塊是可訓練的。與之前保持視覺主干凍結的方法相比，mPLUG-Owl（Ye等人，2023c,d）在初始階段更新它，便于捕獲低層次和高層次的視覺信息。此外，在第二階段聯合使用僅文本和多模態數據以增加對齊。不同地，Shikra（Chen等人，2023f）在兩個階段中更新所有權重，唯一的例外是視覺主干保持凍結。

訓練數據。在第一階段（或單一階段）訓練中，通常使用來自不同來源的圖像-文本對，使用的數據集包括LAION-2B（Schuhmann等人，2022）、LAION-400M（Schuhmann等人，2021）、Conceptual Captions（Sharma等人，2018）、COYO-700M（Byeon等人，2022）和DataComp（Gadre等人，2023）。一些方法（Lin等人，2023a）將這些與一個或多個數據集結合使用，這些數據集的特點是文本與圖像交錯，通常從網絡上抓取，如WebLI（Chen等人，2023i）、MMC4（Zhu等人，2023d）、MMDialog（Feng等人，2023b）和OBELICS（Lauren?on等人，2023）。

為了解決以前數據集中的偏差和噪聲問題，StableLLaVA（Li等人，2023h）引入了在第一階段使用的新收集數據。這種方法利用ChatGPT生成包含圖像生成提示和基于內容的對話的數據，并使用Stable Diffusion（Rombach等人，2022）生成相應的圖像。隨后的階段則利用數據集進行視覺指令調優。其中，常用的LLaVA-Instruct（Liu等人，2023e）擴展了COCO（Lin等人，2014）并加入了由GPT-4生成的指令。遵循這一趨勢，Zhao等人（2023a）通過結合手動生成的數據和高質量多樣性的數據，擴大了尺寸。此外，還提出了其他多輪對話數據集，如（Dai等人，2023）中介紹的將26個公開可用數據集轉換為其視覺指令遵循版本的數據集，LRV-Instruction（Liu等人，2023c）旨在通過更穩健的指令減少幻覺，而LLaVAR（Zhang等人，2023h）則專注于文本豐富的圖像。

用多模態大型語言模型處理視覺任務

標準的多模態大型語言模型可以處理視覺理解任務，例如視覺問答（VQA）、圖像描述和多輪對話。然而，最近對處理更細粒度的視覺任務，如視覺定位和圖像生成，有了更大的興趣。

結論與未來方向

在本綜述中，我們提供了最近多模態大型語言模型（MLLMs）進化的全面概述，首先關注如何為LLMs裝備多模態能力，然后探討這些模型處理的主要任務。基于所呈現的分析，以下我們概述了重要的開放挑戰和有前景的未來研究方向，以進一步增強MLLMs的能力。 修正幻覺現象。幾項研究（Liu等人，2023b；Zhu等人，2023a）表明MLLMs傾向于展現高幻覺率，特別是在生成較長的描述時。盡管一些解決方案正在出現以緩解這個問題（Liu等人，2023b；Wang等人，2023a；Wu等人，2023c；Yin等人，2023a），但理解和糾正幻覺的根本原因仍然是一個重要的開放挑戰，值得解決，以允許這些模型在更關鍵的背景中（例如，醫學）應用，并保證它們的準確性和可信度。 預防有害和有偏見的生成。確保大規模模型的安全性和公平性是社區的基本興趣。近期工作表明，基于網絡爬取數據訓練的模型傾向于生成不適當和有偏見的內容。盡管最近正在努力在文本到圖像生成模型中減少這種現象（Schramowski等人，2023；Friedrich等人，2023），但需要進一步探索以防止MLLMs中出現相同的行為（Pi等人，2024）。 減少計算負荷。如補充材料所示，MLLMs高度依賴于計算。需要有效的策略（Chu等人，2024）來減少計算需求，使MLLMs的開發更加易于獲取。可能的方向包括減少訓練要求，無論是在模型規模還是數據量方面，以及優化推理階段。

多模態（視覺-語言）模型，如CLIP，正逐漸取代傳統的監督預訓練模型（例如，基于ImageNet的預訓練）成為新一代的視覺基礎模型。這些模型通過從數十億個互聯網圖像-文本對中學習，形成了強大且一致的語義表示，并可以在零樣本的情況下應用于各種下游任務。然而，在醫學成像和遙感等一些細粒度領域，多模態基礎模型的性能往往不盡人意。因此，許多研究者開始探索這些模型的少樣本適應方法，逐漸衍生出三種主要技術途徑：1）基于提示的方法；2）基于適配器的方法；3）基于外部知識的方法。盡管如此，這一迅速發展的領域產生了大量結果，但尚無全面的綜述來系統地整理研究進展**。因此，在這篇綜述中，我們介紹并分析了多模態模型少樣本適應方法的研究進展，總結了常用的數據集和實驗設置，并比較了不同方法的結果**。此外，由于現有方法缺乏可靠的理論支持，我們推導了多模態模型的少樣本適應泛化誤差界限。該定理揭示了多模態基礎模型的泛化誤差受三個因素的約束：域間差異、模型容量和樣本大小。基于此，我們從以下幾個方面提出了三種可能的解決方案：1）自適應領域泛化；2）自適應模型選擇；3）自適應知識利用。

人工智能正在越來越多地應用于廣泛的關鍵行業，包括語音識別、圖像識別、自動駕駛、智能制造、醫學診斷、金融風險控制等。在用人工智能技術賦能各個領域的過程中，經常會遇到與碎片化和多樣化需求相關的挑戰。過去，模型通常具有較小的參數規模和有限的泛化能力。一個模型只能應對單一場景，導致成本高昂和泛化性能差。近年來，越來越多的研究者開始關注具有更強泛化能力的預訓練基礎模型。

自2018年以來，如BERT [1]、盤古 [2]、PaLM [3]、GPT4 [4]等基礎模型的訓練數據和參數規模呈指數級增長，導致在各種自然語言理解任務中的性能顯著提高。與此同時，基礎模型的發展也逐漸從單一模態（如文本、語音、視覺等）演變為多模態融合。越來越多的研究機構開始關注多模態預訓練基礎模型，如ViLBERT [5]、CLIP [6]、DeCLIP [7]、FILIP [8]、PyramidCLIP [9]、OFA [10]、BEiT-3 [11]、ERNIE-ViL [12]和Data2vec [13]。

2021年初，OpenAI發布了CLIP，這是一個大規模的多模態模型，用于對齊圖像和文本，它使用數十億互聯網數據進行預訓練，通過對比學習獲得豐富的視覺語言知識。雖然預訓練的CLIP模型可以在推理階段通過使用文本特征作為分類權重來實現零樣本預測，但這種方法通常只在諸如ImageNet之類的通用領域中表現出色，在處理某些細粒度領域的數據時表現不佳。這是因為這些模型在預訓練階段主要使用通用領域的數據，而在面對特定的下游任務時，數據分布往往與預訓練數據不同。因此，有必要使用下游任務的特定數據對模型進行微調。為了通過微調提高模型的泛化性能，研究人員首先提出了基于提示的微調適應方法（例如，CoOp [14]），該方法將CLIP文本端的固定文本輸入視為可學習的向量，然后使用少量樣本進行微調，以適應下游任務。另一種常用于增強少樣本適應能力的方法是基于適配器的微調，如CLIP-Adapter [15]。這種方法涉及在預訓練模型中添加簡單的適配器結構，然后使用少量樣本數據微調適配器參數，使基礎模型適應下游任務。此外，引入基礎語言模型或外部知識（如知識圖譜，例如，CuPL [16]）的方法可以幫助模型更好地處理未見樣本，增強其語義理解和魯棒性，從而提高其在少樣本適應任務中的性能。上述三種方法已廣泛用于各種下游適應任務，但缺乏一個全面的綜述來系統地整理這些方法。因此，我們詳細闡述并比較這些方法，并探索它們的未來發展方向，以進一步提高預訓練模型的性能和泛化能力。

本文的貢獻如下：

? 我們全面回顧和整理了多模態少樣本適應方法，并將現有方法分類為基于提示的微調適應方法、基于適配器的微調適應方法、基于外部知識的適應方法以及其他方法。在基于提示的微調適應方法中，我們進一步將其細分為文本提示微調、視覺提示微調、多模態提示和多任務提示方法。關于基于適配器的微調適應方法，我們將其分類為單模態適配器微調和多模態適配器微調。在使用外部知識的方法中，我們區分了帶有外部知識的預訓練方法和利用外部知識的下游適應方法。

? 我們回顧了11個常用數據集，用于評估多模態基礎模型的下游泛化性能。我們提供了四種實驗設置的詳細描述，以驗證多模態基礎模型在少樣本條件下的適應性能。展示了四種不同設置的實驗結果，并對這些結果進行了比較分析。我們強調了不同類型方法能有效提高多模態基礎模型泛化性能的原因。

? 我們討論了現有多模態基礎模型的少樣本適應方法的共同缺點，并分析了域適應問題。從統計機器學習理論中跨域泛化的誤差界限出發，我們推導了多模態基礎模型的少樣本適應誤差界限，揭示了現有方法面臨的主要挑戰是上游和下游域分布的無效適應、模型選擇的適應性不足以及數據和知識利用不足。

II. 多模態基礎模型的預訓練

近年來，大規模預訓練模型已受到學術界和工業界的廣泛關注。最初，基礎模型預訓練的相關工作主要集中在自然語言處理領域，在這個領域，如BERT [1]和GPT [17]這樣的自監著學習語言模型展現出比傳統方法更好的自然語言理解和生成能力。在計算機視覺領域，范式也從監督預訓練轉變為自監督預訓練。自監督預訓練的視覺模型性能顯著提高，從最初基于數據增強的模型（如SimCLR [18]和MoCo [19]）演變到最近基于隨機掩蔽方法的模型（如MAE [20]和BEiT [21]）。然而，預訓練的語言模型無法接收視覺輸入，導致它們無法將語言理解的優勢擴展到多模態下游任務（如視覺問答VQA）。另一方面，用于視覺預訓練的監督信號通常僅限于數據增強和隨機掩蔽，這阻止了它們在開放世界中學習更豐富的語義表征。因此，我們最近見證了大規模預訓練多模態模型的迅速發展，這些模型結合了視覺和語言模態，如表I所示。

III. 多模態基礎模型的少樣本適應方法

為了有效提高模型在特定領域的泛化性能，有必要使用有限的樣本對多模態基礎模型進行微調，使其具有更廣泛的應用。這些方法可以定義為多模態基礎模型的少樣本適應方法。本章將分為四個部分，提供現有多模態基礎模型方法的詳細概述，即：基于提示的微調適應方法、基于適配器的微調適應方法、基于外部知識的適應方法，以及其他方法。

A. 基于提示的微調適應方法

1. 文本提示基微調適應：在自然語言處理領域，基于提示的微調適應[34]–[38]是解決大型語言模型少樣本泛化問題的經典方法。它涉及將文本輸入的一部分作為可學習向量，并使用下游任務數據對其參數進行微調，使模型能夠適應特定的下游任務。這種方法的優勢在于它避免了文本提示的手動設計，有效地通過僅對模型輸入的特定部分進行微調來減輕過擬合風險。受此啟發，一些研究人員也開始為多模態基礎模型設計基于提示的微調適應方法。CoOp [14]首次將提示學習的思想納入多模態預訓練基礎模型的下游任務適應中。它使用可學習的詞嵌入來自動構建上下文提示，而不是為每個任務手動設計提示模板。如圖1所示，單個類別標簽{object}被轉換為綜合文本提示“[V]1, [V]2, ..., [V]m, {object}”。其中，[V]i代表可調整的詞向量。然后計算分類損失以使用下游任務數據微調這些詞向量，使模型能夠自主獲取適應下游任務的文本輸入。隨后，Zhou等人[39]引入了條件性上下文優化（CoCoOp），該方法構建了一個元網絡來學習圖像的特征。這些特征然后與提示向量結合以增強CoOp在新類別數據上的泛化性能。為了有效利用預訓練模型的零樣本能力，Huang等人[40]提出了無監督提示學習（UPL）。它選擇高置信度的零樣本預測結果作為偽標簽來監督提示向量的學習。類似地，Prompt-aligned Gradient（ProGrad）[41]使用零樣本預測結果來約束模型梯度更新的方向，從而避免少樣本模型與泛化知識之間的沖突，并減輕過擬合問題。然而，由于視覺信息的豐富多樣性，學習僅一個文本提示難以匹配復雜的視覺數據。為解決這一問題，Chen等人[42]提出了使用最優傳輸的提示學習（PLOT）。它用于學習多個不同的文本提示，其中不同的文本提示被視為圖像位置的描述，使用最優傳輸理論來匹配文本提示與局部圖像特征。Lu等人[43]引入了提示分布學習（ProDA），以學習提示分布并從這些分布中采樣不同的文本提示。此外，為了充分利用多任務數據之間的相關性，Ding等人[44]提出了用于提示調整的軟上下文共享（SoftCPT），該方法設計了一個任務共享元網絡，將預定義任務名稱和可學習的元提示作為輸入，以借助多任務數據微調提示。

2. 視覺提示基微調適應：上述所有方法僅微調CLIP的文本部分，而CLIP作為多模態模型，視覺和文本兩方面同等重要。僅微調文本提示無法改善視覺編碼器提取特征的能力，提取的視覺特征可能與下游任務的目標特征不匹配。因此，受到文本提示微調適應的啟發，一系列視覺提示微調適應方法應運而生。現有的視覺提示微調適應方法主要包括令牌級微調適應和像素級微調適應。視覺提示調整（VPT）[45]引入了以令牌形式的可學習視覺提示。類感知視覺提示調整（CAVPT）[46]在此基礎上進一步包括一個交叉注意模塊，使視覺提示更加關注下游任務的目標。與基于令牌的方法相反，Bahng等人[47]建議直接在圖像周圍以填充格式添加像素級視覺提示，以增強視覺提示。Wu等人[48]進一步提出了增強視覺提示（EVP），通過縮放和填充而不是直接在原始圖像周圍填充。

3. 多模態提示基微調適應：除了單獨學習文本和視覺提示外，還可以同時學習多模態提示，以更好地對齊文本和視覺特征。文本和視覺特征具有固有的差異，為了在學習多模態提示時加強它們之間的聯系，多模態提示學習（MAPLE）[49]使用copula函數將文本提示轉換為視覺提示。統一提示調整（UPT）[50]首先學習一個通用提示，然后將其分解為文本和視覺提示。另一方面，多任務視覺語言提示調整（MVLPT）[51]引入了多任務學習的概念，使用跨任務知識微調文本和視覺提示。

B. 基于適配器的微調適應方法

1. 單模態適配器基微調適應：在自然語言處理（NLP）領域，適配器的概念最初由谷歌團隊于2019年引入，用于微調大型語言模型[52]。在下游任務訓練中，該方法凍結原始語言模型的參數，僅更新作為適配器模塊添加的少量參數。由于其參數效率高、設計靈活性和高魯棒性等優點，這種方法近年來在NLP領域受到了廣泛的研究關注[53]。最近，基于適配器的方法也被應用于計算機視覺領域的視覺變換器（ViTs）中。Jie等人[54]通過引入卷積旁路（Convpass）解決了ViTs中適配器結構缺乏歸納偏置的問題。此外，他們提出了因子調整（FacT，引用為[55]），以進一步提高參數效率的遷移學習效率，以滿足實際應用中的存儲約束。

2. 多模態適配器基微調適應：上述基于適配器的方法都適用于自然語言處理或計算機視覺中的單模態基礎模型。近年來，基于適配器的方法也被擴展到多模態基礎模型中，以增強下游泛化能力。Gao等人[15]引入了CLIP-Adapter，該適配器在凍結骨干網絡后添加了一個全連接層適配器來學習額外知識。然后，它基于殘差連接將這些知識與零樣本預測結果合并，如圖2所示。基于這些發展，張等人引入了Tip-Adapter[56]。該方法基于下游少樣本訓練數據構建分類器，并以線性加權方式將其預測與原始零樣本分類器的結果結合，以增強模型的預測性能。SVL-Adapter[57]在適配器之前融合了一個預訓練的自監督視覺編碼器，以提取更魯棒的視覺特征。然而，上述方法僅使用跨模態對比損失，沒有考慮少樣本數據集的視覺特定對比損失。為解決這一問題，彭等人[58]提出了語義引導的視覺適應（SgVA-CLIP），通過隱式知識蒸餾引導視覺適配器的參數更新，以確保圖像-文本關系的一致性。為了增強適配器的跨模態交互能力，CALIP[59]利用注意力圖融合文本和圖像特征，并在融合前后插入兩個可微調的線性層。此外，跨模態適配器（CMA）[60]和多模態視頻適配器（MV-Adapter）[61]通過在兩種模態之間共享適配器權重實現跨模態交互。這些方法考慮了單模態和多模態場景，但沒有充分整合每種模態的優勢。為解決這一問題，陸等人[62]提出了UniAdapter，以統一單模態和多模態適配器。

C. 基于外部知識的適應方法

1. 基于外部知識的預訓練方法：預訓練基礎模型通過從互聯網上大量數據中挖掘相關信息，具有學習通用表征的能力。然而，在這些數據驅動的模型中，知識通常是隱性的，沒有明確鏈接到人類對世界的理解或常識性知識。近年來，數據和知識驅動的預訓練方法不斷涌現，研究人員開始探索將更全面的外部知識，如知識圖譜，融入基礎模型中。這種整合旨在使這些模型更加魯棒、可靠和可解釋。ERNIE[63]融合了一個知識編碼器，用于實體知識提取和異構信息融合。K-BERT[64]檢索與模型輸入相關的外部知識，并構建具有豐富上下文知識的句子樹作為模型輸入。近年來，一些工作也開始為多模態基礎模型的預訓練注入知識。例如，ERNIE-ViL[65]整合了來自場景圖的知識，KM-BART[66]通過創建額外的預訓練任務來模擬一般視覺知識，K-LITE[67]融合了包括WordNet和維基百科定義在內的各種外部知識源。

2. 基于外部知識的下游適應方法：上述方法在預訓練階段引入外部知識。然而，在數據樣本有限的下游少樣本適應場景中，也有必要增強外部知識以確保模型的性能。最常見的方法之一是通過查詢大型語言模型為每個類別生成更豐富的文本描述。圖3展示了這種方法的示例。通過語言模型定制提示（CuPL）[16]是第一個將外部知識融入多模態基礎模型下游泛化過程的方法。CuPL通過向GPT-3提問生成每個類別的多個描述性陳述，豐富類別的語義，從而提高零樣本分類性能。然而，CuPL使用GPT-3生成的句子可能存在描述性差和可靠性問題。為解決這些問題，Menon等人[68]進一步完善了基于GPT-3的知識增強過程。他們提示GPT-3以短語形式生成語義屬性描述，增強了模型的可解釋性。為了在可解釋性和性能之間取得平衡，語言引導瓶頸（LaBo）[69]使用GPT-3生成大量候選特征描述符空間，同時考慮特征相對于其他類別的區分性和當前類別的覆蓋率。它篩選出最佳子描述符空間以進行分類決策，從而揭示模型的決策邏輯。ELEVATER[70]還融合了來自GPT-3、WordNet和維基詞典等來源的定義。實驗結果表明，外部知識可以增強多模態基礎模型的下游泛化性能。然而，不同知識來源有不同的側重點和特性。例如，WordNet具有相對豐富和準確的知識，但覆蓋率較低，而GPT-3具有更廣泛的知識覆蓋范圍，但可能缺乏可靠性。此外，與上述使用外部知識增強文本語義的方法不同，SuS-X[71]專注于增強多模態模型的視覺樣本。