亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，我們見證了大型語言模型（LLM）的快速發展。基于強大的LLM，多模態LLM（MLLM）將模態從文本擴展到更廣泛的領域，因其廣泛的應用場景而引起廣泛關注。由于LLM和MLLM依賴大量的模型參數和數據來實現突現能力，數據的重要性正受到越來越廣泛的關注和認可。追蹤和分析最近針對MLLM的數據導向工作，我們發現模型和數據的發展并不是兩條獨立的路徑，而是相互關聯的。一方面，更大量和更高質量的數據有助于MLLM的更好表現；另一方面，MLLM可以促進數據的發展。多模態數據和MLLM的共同發展需要明確以下幾點：1）在MLLM的哪個發展階段可以采用哪些以數據為中心的方法來增強哪些能力，2）通過利用哪些能力和扮演哪些角色，模型可以對多模態數據作出貢獻。為了促進MLLM社區的數據-模型共同發展，我們系統地回顧了現有與MLLM相關的工作，從數據-模型共同發展的視角進行分析。本調查相關的一個定期維護的項目可以在 //github.com/modelscope/data-juicer/blob/main/docs/awesome llm data.md 訪問。

近年來，大型語言模型（LLM）在廣泛的任務中展示了令人印象深刻的性能，并且相關技術取得了顯著的進展。由于人類的感官不僅限于文本模態，多模態LLM（MLLM）逐漸進入視野，例如能夠處理超越文本模態輸入或輸出的Gemini-1.5 [1] 和 Sora [2]，以及能夠在輸入和輸出之間進行多模態交互的GPT-4o [3] 和 NExT-GPT [4]。在過去兩年中，MLLM受到廣泛關注。正如圖1所示，自2023年初以來，與MLLM相關的研究正在以越來越快的速度涌現。 MLLM的卓越性能源于LLM在參數數量擴大帶來的解決一系列任務的突現能力[5]。許多研究表明，擴大模型規模需要更加海量的數據來補充[6], [7], [8]，例如擴展法則[9], [10]。具體而言，研究表明，多模態模型需要指數級更多的數據才能在下游任務中實現線性零樣本改進[11]。鑒于此，一系列工作將重點從僅僅關注模型架構和訓練技術轉移到數據中心方法，專注于高質量數據的策劃[12], [13], [14], [15], [16], [17]，以提供進一步釋放大型模型潛力的數據基礎。從圖1可以看出，在現有關注MLLM的論文中，與數據中心方法密切相關的論文也表現出強勁的增長趨勢，并占據了重要的部分。 隨著與MLLM相關的大量技術工作不斷涌現，一些針對MLLM的綜述也逐漸出現[18], [19], [20], [21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31], [32], [33], [34]。這些綜述主要從模型中心的角度進行，而數據的重要性需要進一步強調。一項最近的綜述將數據中心的視角從單模態擴展到多模態，重點關注現有的數據中心方法，并根據所提出的數據管道階段進行組織[35]。實際上，數據和模型的發展是交織在一起的，而不是分開的。更大數量和更高質量的數據提高了模型性能，而從高質量數據中受益的良好訓練的模型可以進一步改進數據。這減少了人工成本，擴大了數據量，并通過使用需要標注的分割掩碼進行訓練的Segment Anything模型（SAM）[36]的訓練成功展示了這一點。隨著SAM在訓練中的熟練程度提高，它逐漸取代人在標注任務中的角色，從而形成一個改進模型和數據集的循環。這樣的漸進和良性循環促進了MLLM的發展，即受益于高質量數據集的MLLM可以幫助改進訓練數據，反過來進一步增強MLLM。 數據-模型共同發展范式很有前途，但尚未得到充分研究。根據我們的調查，目前還缺乏從數據-模型共同發展視角對MLLM的綜述。現有綜述尚未建立數據中心方法與MLLM能力之間的關系，也沒有清晰闡明MLLM的能力如何幫助構建數據集。實現MLLM數據-模型共同發展的關鍵在于闡明哪些數據方法可以增強每種特定的MLLM能力，以及了解模型可以扮演的角色，以改進多模態數據。因此，本綜述旨在通過綜合回顧回答以下研究問題，推進MLLM的數據-模型共同發展： * RQ1：在MLLM的生命周期中，哪些數據中心方法可以在哪個階段用于增強哪些MLLM能力？ * RQ2：模型可以扮演哪些角色以促進不同的數據中心方法，并在每種情況下利用模型的哪些特定能力？

為了回答這兩個關鍵研究問題，我們首先提出一個基于MLLM數據-模型共同發展范式的新分類法。我們將先前的努力分為兩個主要類型：數據對模型的貢獻和模型對數據的互惠貢獻，建立其在MLLM能力中的深層連接。隨后，我們從數據-模型共同發展的視角對現有MLLM工作進行全面審查，揭示了推進數據-模型共同發展范式的巨大潛力，主要歸因于缺乏對數據和模型之間協同作用的專注。基于獲得的見解，我們描繪了若干進步的未來方向，以更好地利用數據和模型之間的互補，從基礎設施到各種自我增強程度的數據-模型共同發展。該綜述的主要貢獻有三點： * MLLM開發的新視角：我們提出了一種新分類法，強調多模態數據與MLLM之間的協同作用，旨在理解和挖掘數據和模型開發的互惠優勢。該分類法系統地基于開發MLLM所需的數據相關技術的層次結構進行組織，為研究人員和開發人員提供了推進MLLM的清晰視角。 * 從數據-模型共同發展視角對MLLM的最新綜述：我們系統地回顧了快速增長的MLLM工作，闡明1）哪些MLLM能力可以通過特定的數據中心方法增強，2）經過良好訓練的模型的能力如何反過來支持數據中心方法。據我們所知，這是第一篇從數據-模型共同發展視角對MLLM進行綜述的論文。 * MLLM未來的路線圖：我們提供了一個進步組織的路線圖，涵蓋若干先進和有前途的子方向，重點關注數據和MLLM之間的內部互動。通過這項工作，我們希望為學術研究人員和工業從業者在MLLM不斷發展的領域提供靈感和指導。

組織結構。本文余下部分的組織如下。第二節提供了背景，包括背景知識、分類法以及與現有相關綜述的定性比較。第三節介紹了擴展MLLM的數據中心方法。第四節總結了提高MLLM可用性的數據中心方法。第五節描述了模型直接幫助策劃MLLM數據集的能力。第六節整理了模型作為數據科學家輔助策劃MLLM數據集的應用。第七節列出了一些公開的MLLM數據集，并標明模型在數據策劃中的參與。第八節討論了MLLM未來發展的路線圖。

隨著大語言模型（LLM）在各個領域的應用不斷擴大，它們適應數據、任務和用戶偏好的持續變化的能力變得至關重要。使用靜態數據集的傳統訓練方法不足以應對現實世界信息的動態特性。終身學習或持續學習通過使LLM能夠在其運行生命周期內持續學習和適應，整合新知識，同時保留先前學習的信息并防止災難性遺忘來解決這一問題。我們的綜述探討了終身學習的現狀，根據新知識的整合方式將策略分為兩類：內在知識，LLM通過完全或部分訓練將新知識吸收到其參數中；外部知識，通過將新知識作為外部資源（如維基百科或API）引入而不更新模型參數。我們的綜述的主要貢獻包括：（1）引入了一種新穎的分類法，將終身學習的大量文獻劃分為12種情景；（2）識別了所有終身學習情景中的常見技術，并將現有文獻分類到不同的技術組中；（3）強調了在LLM之前時代較少探索的模型擴展和數據選擇等新興技術。資源可在//github.com/qianlima-lab/awesome-lifelong-learningmethods-for-llm找到。

隨著大語言模型（LLM）在各個領域的應用不斷擴大，這些模型適應數據、任務和用戶偏好持續變化的能力變得至關重要。傳統的訓練方法依賴靜態數據集來訓練LLM，越來越無法應對現實世界信息的動態特性。終身學習（也稱為持續學習、增量學習），或LLM在其運行生命周期內持續和自適應學習的能力，解決了這一挑戰，通過整合新知識，同時保留先前學習的信息，從而防止災難性遺忘。圖1提供了終身學習的示意圖。 本綜述深入探討了終身學習的復雜領域，根據新知識的整合方式將策略分為兩大類：內在知識和外部知識。每個類別包含不同的方法，旨在增強LLM在各種情境下的適應性和有效性。圖2展示了LLM終身學習方法的分類。 內在知識類通過完全或部分訓練將新知識吸收到LLM的參數中，包括持續預訓練和持續微調等策略。例如，在工業應用中，常采用持續垂直領域預訓練，公司經常使用金融等領域的特定數據重新訓練其LLM。盡管這提高了特定領域的性能，但也有可能削弱模型的廣泛知識基礎，說明了在專業適應性和通用知識保留之間保持平衡的挑戰。持續微調涵蓋了特定情境的方法，如文本分類、命名實體識別、關系抽取和機器翻譯等，以及任務無關的方法，如指令微調、對齊和知識編輯。此外，在持續對齊中使用了人類反饋的強化學習，以確保LLM遵守人類價值觀，如安全和禮貌，突顯了所謂的“對齊稅”，即過于專注于特定價值觀可能會導致模型的通用能力下降。

外部知識類通過將新知識作為外部資源（如維基百科或API）引入，而不更新模型參數，包括基于檢索和工具的終身學習，利用外部數據源和計算工具來擴展模型的能力。基于檢索的策略，如檢索增強生成，通過提供上下文相關、準確和最新的外部數據庫（如維基百科）信息來增強文本生成，確保模型輸出隨時間保持相關性。同時，工具學習類借鑒人類工具使用的類比，模型學習使用外部計算工具，從而無需直接修改其核心知識庫，拓寬了其問題解決能力。

通過對這些組及其各自類別的詳細檢查，本文旨在強調將終身學習能力整合到LLM中，從而增強其在實際應用中的適應性、可靠性和整體性能。通過解決與終身學習相關的挑戰并探索該領域的創新，本綜述旨在為開發更強大和多功能的LLM做出貢獻，使其能夠在不斷變化的數字環境中蓬勃發展。

本綜述與現有綜述的差異。近年來，終身學習已成為一個越來越受歡迎的研究主題。大量綜述探討了神經網絡的終身學習。大多數現有綜述主要集中在卷積神經網絡（CNN）的終身學習，探討了CNN的各種終身學習情景，包括圖像分類、分割、目標檢測、自動系統、機器人和智慧城市。此外，一些綜述探討了圖神經網絡的終身學習。然而，只有少量文獻關注語言模型的終身學習。Biesialska等是關于自然語言處理（NLP）中終身學習的早期綜述，但他們只關注詞和句子表示、語言建模、問答、文本分類和機器翻譯。Ke等關注終身學習情景，包括情感分類、命名實體識別和摘要。他們還討論了知識轉移和任務間類分離的技術。Zhang等提供了關于將LLM與不斷變化的世界知識對齊的技術的全面回顧，包括持續預訓練、知識編輯和檢索增強生成。Wu等從持續預訓練、持續指令微調和持續對齊三個方面重新審視了終身學習。Shi等從垂直方向（或垂直持續學習）和水平方向（或水平持續學習）兩個方向研究了LLM的終身學習。Jovanovic等回顧了幾種實時學習范式，包括持續學習、元學習、參數高效學習和專家混合學習。雖然最近的綜述收集了終身學習的最新文獻，但它們沒有涵蓋持續文本分類、持續命名實體識別、持續關系抽取和持續機器翻譯等情景，并且對持續對齊、持續知識編輯、基于工具的終身學習和基于檢索的終身學習的討論較少。據我們所知，我們是第一個提供對LLM終身學習方法從12種情景進行徹底和系統檢查的綜述。

本綜述的貢獻。我們的綜述的主要貢獻包括：

• 新穎的分類法：我們引入了一個詳細且結構化的框架，將終身學習的廣泛文獻劃分為12種情景。

-** 常見技術**：我們在所有終身學習情景中識別了常見技術，并將現有文獻分類到每個情景內的各種技術組中。

• 未來方向：我們強調了模型擴展和數據選擇等在LLM之前時代較少探索的新興技術。

本綜述的組織結構如下。第二節介紹問題的形成、評價指標、常見技術、基準和數據集。第三節、第四節和第五節檢查了持續預訓練、持續微調和基于外部知識的終身學習的現有技術。第六節討論了LLM終身學習的現有挑戰、當前趨勢和未來方向，并總結了本綜述。

人類通過多種感官，如視覺、嗅覺、聽覺和觸覺來感知世界。同樣，多模態大型語言模型（MLLMs）通過整合和處理包括文本、視覺、音頻、視頻和3D環境在內的多種模態數據，增強了傳統大型語言模型的能力。數據在這些模型的發展和優化中起到了關鍵作用。在這篇綜述中，我們從數據中心視角全面回顧了MLLMs的相關文獻。具體而言，我們探討了在MLLMs預訓練和適應階段準備多模態數據的方法。此外，我們還分析了數據集的評估方法，并回顧了評估MLLMs的基準測試。我們的綜述還概述了未來潛在的研究方向。本研究旨在為研究人員提供關于MLLMs數據驅動方面的詳細理解，促進該領域的進一步探索和創新。

近年來，我們見證了大型語言模型（LLMs）和多模態大型語言模型（MLLMs）的快速發展[280, 324]。諸如GPT-4 [208]、Flamingo [4]、BLIP2 [151]和X-InstructBLIP [212]等MLLMs整合了多模態信息，展示了令人印象深刻的理解和生成能力。這些模型在傳統的多模態任務中取得了競爭性表現，如視覺識別[320]、視頻理解[258, 289]、語音識別[200]和3D理解[89, 100]。此外，它們卓越的語言理解能力使其在文本豐富的任務中表現出色，如問答[104]、多輪對話和邏輯推理[156, 296]。

大多數現有的MLLMs主要關注修改模型架構以探索多模態信息的使用[121, 178, 246, 286, 287, 304]。盡管模型的有效性至關重要，數據也顯著影響了MLLMs的成功。例如，Hoffmann等人[99]展示了為了擴展模型，有必要增加訓練數據的規模。除了數據數量外，數據質量同樣重要。先前的研究[251]表明，精心策劃的數據集可以使較小的模型達到與較大模型相當的性能。然而，關于MLLMs數據策劃和利用的綜合研究仍然缺乏。因此，本研究旨在從數據中心視角提供對MLLMs的全面理解。

與優先考慮架構增強而依賴固定數據集的模型中心方法相比，數據中心視角強調對數據集的迭代改進以提高性能。在數據中心MLLMs的范圍內，我們關注利用數據模態的異質性、增強數據結構、增加數據數量和提高數據質量以改進MLLMs [316]。我們的討論從不同階段的MLLMs數據中心視角回答了三個關鍵問題：

• Q1：如何收集、選擇和管理MLLMs的數據？大量的數據需求和多模態數據的異質性在收集、選擇和有效管理模型訓練數據方面帶來了挑戰。MLLMs的不同訓練階段也導致了不同的數據類型需求。

• Q2：數據如何影響MLLMs的性能？理解數據特性與MLLMs性能之間的關系對于優化數據集和增強模型能力至關重要。

• Q3：如何評估MLLMs的數據？有必要開發全面的評估基準，以評估MLLMs在各種任務中的性能和魯棒性。 本綜述與現有綜述的區別。在模型中心視角下，已有若干綜述聚焦于LLMs [93, 203, 324]和MLLMs [280, 318]，但缺乏對數據中心方面的深入分析。最近，一些綜述開始關注LLMs的數據準備，如數據管理方法[274]、數據選擇方法[5]和LLM數據集的綜合綜述[174]。然而，這些綜述主要集中于僅文本LLMs的數據管理和選擇方法，沒有對MLLMs的數據處理管道進行徹底分析。盡管Zhang等人[318]總結了MLLMs的數據集，但未能提供對這些數據集的全面分析。與我們最相關的工作是數據中心人工智能（DCAI）[109, 111, 220, 279, 316]，它也關注AI研究的數據中心視角，但未具體分析LLMs和MLLMs。

隨著MLLMs的快速增長以及數據在這個大型模型時代越來越重要的角色，我們認為提供一個全面的MLLMs數據中心方法綜述是至關重要的。本綜述旨在從數據中心視角全面回顧MLLMs的進展文獻，并討論該領域的開放問題或未來方向。

貢獻。在這篇綜述中，我們從數據中心視角回顧了MLLMs的進展文獻。我們為研究人員和開發者提供了對MLLMs數據方面最新發展的總體和全面的理解。本綜述的主要貢獻總結如下：

• 新的數據中心視角。我們從數據中心視角提供了對MLLMs的全面綜述，考慮了文本、圖像、視頻和音頻等模態。
• 數據準備和管理管道。我們總結了在預訓練和適應階段MLLMs的數據準備和管理管道。
• 數據評估基準。我們概述了常用的從數據中心視角出發的評估基準。
• 開放問題和未來方向。我們討論了當前數據中心LLMs研究中的開放問題，并提出了若干未來研究方向。

本文的其余部分安排如下：第2節介紹LLMs和MLLMs的預備知識，并討論從數據中心視角分析它們的動機。第3至第5節總結了MLLMs訓練數據的收集、處理和選擇的主要階段。第6節總結了MLLMs的評估方法和現有的評估數據集。第7節討論了開放問題并強調了該領域的若干未來研究方向。最后，我們在第8節對本綜述進行了總結。我們的Github倉庫可以在//github.com/beccabai/Data-centric_multimodal_LLM找到。

時間序列數據在各個領域中無處不在，使得時間序列分析至關重要。傳統的時間序列模型是針對特定任務的，具有單一的功能和有限的泛化能力。最近，大型語言基礎模型顯示出了其在跨任務轉移、零次/少次學習和決策解釋性方面的顯著能力。這一成功激發了探索基礎模型以同時解決多個時間序列挑戰的興趣。主要有兩個研究方向，即從頭開始預訓練時間序列的基礎模型和將大型語言基礎模型適配到時間序列。這兩者都有助于開發一個高度泛化、多功能且易于理解的統一模型用于時間序列分析。本綜述提供了一個3E分析框架，用于全面檢查相關研究。具體來說，我們從三個維度——有效性、效率和解釋性——檢查現有工作。在每個維度中，我們專注于討論相關工作如何通過考慮時間序列領域的獨特挑戰來設計定制解決方案。此外，我們提供了一個領域分類法，以幫助后來者跟進領域特定的進展。此外，我們還介紹了促進該領域發展的廣泛資源，包括數據集、開源時間序列庫。同時維護一個GitHub倉庫以更新資源（//github.com/start2020/Awesome-TimeSeries-LLM-FM）。

1 引言

時間序列數據指的是在連續時間間隔記錄的數據點序列。時間序列分析有著悠久的研究歷史，與現實世界的應用密切相關[51]。最早的時間序列挖掘可以追溯到古埃及時期，當時人們分析尼羅河的波動來指導農業生產[35]。早期，時間序列研究主要集中在商業和經濟活動[57]、氣象和人口統計等領域，當時收集的數據相對較小，結構簡單（例如，單變量序列）。那時，統計學是主導方法論，促成了各種經典模型的發展，包括ARIMA、ARCH[50]和馬爾可夫轉換模型[64]。然而，大規模工業系統的出現，涵蓋了交通[216]、醫療保健[101]、物聯網（IoT）[59]和電子商務[8]等行業，導致了龐大而復雜的時間序列數據的產生。除了時間序列數據，一些系統還生成包括文本[82]、圖像[150]和圖表[98]在內的不同模態的數據。數據爆炸推動了具有日益復雜模式的新型時間序列應用的出現。例如，交通擁堵檢測[7]、心電圖（ECGs）分類[74]、電子商務銷售需求預測[17]。統計方法難以管理如此龐大和異質的數據集，且依賴于預定義模式假設，限制了它們在處理動態和復雜模式的應用中的實用性。 在過去幾十年中，機器學習和深度學習在各個領域取得了顯著進展，特別是在計算機視覺（CV）和自然語言處理（NLP）[196]。與統計方法不同，這些方法可以以更自動化的方式處理更大、更多樣化的數據集，減少了人力和專業知識的需求。這些技術引入了能夠檢測更復雜模式的先進架構，激發了時間序列社區的極大興趣[79, 106, 125, 160]。因此，出現了多種針對時間序列建模的有效架構，包括不同基礎架構的RNNs[108]、CNNs[29, 109, 207]、GNNs[28, 32]、Transformers[182]、擴散模型[107]。

盡管這些強大的架構將時間序列分析推向了一個新的水平，但在這一領域仍然存在未解決的挑戰。 第一個挑戰是關于知識的可遷移性[149]。時間序列通常表現出季節性（在特定間隔的規律波動）[56]和趨勢（數據的長期方向）[132]。除了這些可識別的模式外，時間序列數據還表現出一定程度的隨機性或噪聲，這通常歸因于未知的因素或模式。這些特征在不同領域之間甚至在同一領域隨時間的變化可能差異很大，由于分布的變化[88]，使得將從一個特定任務中學到的模型或時間序列表示遷移到其他任務變得具有挑戰性。例如，對股市數據訓練的時間序列模型[188]學習到的模式受到經濟指標、投資者情緒等高度不穩定因素的影響。而氣候模型[131]則關注長期模式、季節循環，這些循環受物理定律而非人類行為的約束。由于數據性質的根本不同，不同領域間的知識可遷移性依然是一個挑戰。 ? 第二個挑戰與數據稀疏性有關。在許多傳統時間序列場景中[49, 157]，數據的收集可能是每日、每月或每年進行的（例如，經濟指標[18]），這導致數據本質上的稀疏性。另外，獲取和標注數據可能存在隱私限制。例如，對心電圖（ECGs）[136]的分類需要臨床診斷，但這些診斷成本高昂，且數據可用性受到患者隱私的限制。這種數據稀缺性阻礙了深度學習模型的有效訓練。實際上，在大多數情況下，可用的數據集仍然不足以學習高質量的模型[110]。 ? 第三個挑戰是關于多模態學習[16]。在多模態時間序列分析的背景下，利用不同模態間的互補見解可以增強解釋性并提升模型性能。例如，在股票行情預測中，社交媒體上的新聞和評論可以直接影響交易活動，將它們整合到模型中可以實現更精確的預測[170, 189]。然而，對各種頻率或間隔收集的多模態數據進行對齊，以準確反映不同模態之間的時間關系，是具有挑戰性的。此外，不同模態可能需要不同的技術來有效捕捉信息，將這些信息無縫整合成一個統一的模型可能很復雜。 ?** 最后，解釋性也是非常需要的[210]**。詳細解釋模型如何生成預測或識別模式可以顯著增強時間序列的實用性和可接受性。一個案例是，如果一個公用事業公司使用一個能源需求預測模型[77]來計劃電力生成或設定價格，它需要向監管機構和消費者證明這些決策是基于合理且可理解的因素。然而，大多數現有的時間序列模型本質上是黑盒，缺乏對模型行為或預測的解釋。

為了應對上述挑戰，已經有一些努力，如時間序列的遷移學習[78, 120, 177, 193]、時間序列數據增強[181]、多模態時間序列分析[26, 42]以及時間序列的可解釋人工智能[143]。然而，這些工作大多集中在單一挑戰上。時間序列社區期待一個能同時解決多個挑戰的多方面模型。理想的模型應具有強大的泛化能力，能在訓練期間處理未見過的時間序列任務和數據稀缺的任務。此外，它還應該能夠無縫整合來自不同模態的數據，并為其決策過程提供可理解的解釋。 在過去幾年中，為了促進知識遷移，出現了一種結合遷移學習和自監督學習的新學習范式，即預訓練和微調范式[65]。它首先在一個數據豐富的源域上預訓練模型，然后在與源域相關的目標任務上進行微調[39]。BERT[41]是一個在大規模語料庫上預訓練的語言模型。研究人員發現，它可以適應廣泛的下游NLP任務，并大幅提升它們的性能水平。這項研究激發了NLP[97, 138, 212]和CV[14, 137]領域中大量的后續工作。這類模型被稱為基礎模型（FM）[22]。它們在各種下游任務上展示出強大的泛化能力。當NLP研究者通過增加數據或模型規模來擴展基礎模型時，他們觀察到這些更大的基礎模型獲得了一些在較小模型中不存在的令人驚訝的能力。這些意外的能力被稱為突現能力[179]，包括上下文學習[24]、指令跟隨[69]、思維鏈（CoT）[128]。它們將語言基礎模型從一個可遷移的NLP任務解決者轉變為跨領域的通用任務解決者，現在廣泛被稱為大型語言模型（LLM）。LLM的發展迅速而強勁，催生了許多強大的LLM，如GPT系列[24, 138]。 受到大型語言基礎模型在NLP中顯著成功的啟發，時間序列社區越來越關注基礎模型在時間序列分析中的潛力[25, 82, 112]。一個研究方向是從零開始用時間序列數據預訓練一個基礎模型，仿照語言基礎模型。如TimesFM[36]和TimeGPT[58]等開創性的努力已經啟動了在時間序列領域內基礎模型的預訓練。然而，與NLP領域可用的龐大語料相比，時間序列領域的數據規模相對較小，使得難以產生具有LLM那樣突現能力的基礎模型。此外，基于時間序列數據預訓練的基礎模型缺乏語言生成能力，限制了它們生成人類可讀解釋的能力。受到大型語言基礎模型在各種下游任務中強大的泛化能力的吸引，另一個研究方向集中于將大型語言基礎模型（即LLM）適配于時間序列任務。大型語言基礎模型在跨任務泛化、零次/少次學習和推理方面的優勢可以解決知識遷移、數據稀缺性和可解釋性等時間序列分析中的挑戰。廣義上，有兩種將LLM適配于時間序列任務的范式，即嵌入可見的LLM適配和文本可見的LLM適配[113, 190, 192]。它們在LLM的使用上有所不同，使用微調的提示策略來適配LLM于時間序列任務。它們都面臨著時間與LLM空間對齊、時間序列屬性和模式識別、多模態數據融合的挑戰。盡管這兩條研究線探索了基于不同結構數據集（即時間序列或文本語料）預訓練的基礎模型，但它們都致力于實現一個統一且易于理解的架構，以解決多個時間序列挑戰，并具有強大的泛化能力。

本綜述對時間序列的基礎模型的發展進行了深入分析。該評審以圖2中的四個研究問題為指導，涵蓋三個分析維度（即有效性、效率、可解釋性）和一個分類法（即領域分類法）。(1) 如何在時間序列分析的背景下有效地適應基礎模型？我們將相關工作分為兩條研究線：從頭開始為時間序列預訓練基礎模型和將大型語言基礎模型（即LLMs）適用于時間序列。對于第一條線，我們通過兩個關鍵階段討論有效性：數據收集與對齊、架構設計。對于第二條線，我們識別了兩種適配范式，即嵌入可見的LLM適配和文本可見的LLM適配。在每種適配范式下，我們討論了LLM的利用、時間序列提取和多模態數據融合。時間序列提取包括獲取適當的時間序列表示、對齊時間空間和LLM空間、識別時間序列屬性和模式等挑戰。此外，我們還研究了LLM的多樣化角色，這進一步增加了LLM適配的有效性。(2) 如何高效地為時間序列任務預訓練或微調基礎模型？鑒于這一領域正在興起，當前的高效技術是從NLP領域借鑒的。因此，我們首先提供了一份可轉移至此背景的NLP領域尖端高效方法的簡要概覽。然后，我們討論了不同調整范式下的效率，并總結了已經使用的高效方法。(3) 如何獲得時間序列應用中基礎模型行為或決策的可解釋性？模型的實際部署需要可解釋性。我們從探索AI中的可解釋性概念開始，強調全局和局部解釋。然后，我們繼續回顧和提煉現有研究中的可解釋性進展。(4) 每個時間序列應用領域中基礎模型的發展情況如何？為回答這個問題，我們引入了一個領域分類法。這個分類法使我們能夠比較每個領域內現有研究的目標、貢獻和局限。此外，我們還提供了豐富的資源，如代碼、基準數據集、時間序列庫和加速LLM的工具，以支持未來的研究工作。圖4提供了基于四個研究問題的作品的綜合概覽。

論文組織 本綜述的其余部分安排如下：第2節介紹與基礎模型和時間序列分析相關的綜述，指導讀者了解每個領域的更多研究。第3節為讀者提供關于基礎模型和時間序列任務的基本知識。第4節深入探討了時間序列的基礎模型預訓練的關鍵階段。第5節檢查了LLM向時間序列任務的適配。第6節討論了模型微調和推理的效率。第7節總結了關于解釋模型行為或決策的研究。第8節介紹了各個領域內的進展。最后，第9節提供了包括基準數據集、代碼和時間序列庫以及LLM工具在內的資源。

預訓練的大型語言模型（LLM）和大型多模態模型（LMM）的迅速發展開啟了智能應用的新時代，從自然語言處理到內容生成等領域都發生了變革。LLM供應鏈代表了當代人工智能領域的一個關鍵方面。它包括預訓練模型的整個生命周期，從最初的開發和訓練到最終的部署和在各個領域的應用。本文提供了LLM供應鏈的全面概述，突出了其三個核心元素：1）模型基礎設施，包括用于訓練、優化和部署的數據集和工具鏈；2）模型生命周期，涵蓋訓練、測試、發布和持續維護；3）下游應用生態系統，使預訓練模型能夠集成到各種智能應用中。然而，這個快速發展的領域在這些關鍵組成部分中面臨著許多挑戰，包括數據隱私和安全、模型可解釋性和公平性、基礎設施的可擴展性，以及監管合規性。解決這些挑戰對于充分發揮LLM的潛力并確保其道德和負責任的使用至關重要。本文為LLM供應鏈提供了未來的研究議程，旨在推動這些變革性LLM的持續進步和負責任的部署。

預訓練的大型語言模型（LLM）和大型多模態模型（LMM），如GPT4 [2]、Gemini [183]和LLaMA [187]的快速進步，已經徹底改變了人工智能（AI）領域，開啟了智能應用的新時代。這些強大的模型，經過大量數據的訓練，已在從自然語言處理到多模態內容生成的廣泛任務中展示了卓越的能力。 隨著LLM的不斷普及，支持其開發、部署和維護的強大且高效的供應鏈的需求變得越來越明顯。LLM供應鏈涵蓋了從模型訓練到測試、發布及持續維護的整個生命周期。這一復雜的生態系統涉及多種利益相關者，包括模型開發者、數據提供者和終端用戶，他們都必須應對一系列獨特的挑戰，以釋放這些變革性技術的全部潛力。 在本文中，我們將全面概述LLM供應鏈，強調必須解決的關鍵組成部分和關鍵挑戰，以確保LLM的安全、可靠和公平部署。我們將探索這一供應鏈的技術、倫理和操作方面，借鑒軟件工程、系統架構、安全和數據治理領域的見解。我們的目標是全面理解LLM供應鏈，并識別可以推動這一快速發展領域未來的最有前景的研究和開發機會。 LLM供應鏈的定義類似于開源軟件（OSS）供應鏈[93, 164, 204]，LLM供應鏈指的是圍繞模型的開發、分發和部署的關系網絡。這一供應鏈包括上游的模型開發社區、模型倉庫、分發平臺和應用市場，以及數據提供者、工具鏈/模型開發者、維護者和終端用戶。如圖1所示，這一供應鏈可以進一步分為三個關鍵組成部分：

基礎設施基礎：LLM供應鏈的基礎是堅實的模型基礎設施，包括多樣化數據集的策劃和管理，以及支持模型高效訓練、優化和部署的工具鏈（如PyTorch [158]、TensorFlow [184]和LangChain [94]）；

模型生命周期：模型生命周期是復雜LLM供應鏈生態系統中的關鍵節點。這一全面的生命周期，覆蓋了模型從概念到退役的整個過程，是供應鏈復雜相互依存關系的匯聚點。它不僅涵蓋了模型重用引入的依賴關系，而且與基礎設施層的數據集和開發工具供應鏈緊密交織；

• 下游應用生態系統：在模型基礎設施和生命周期之上，LLM供應鏈包括一個活躍的下游應用生態系統。這一生態系統包括由LLM驅動的應用和服務，例如GPTs [144]，以及直接將這些變革性技術的能力帶給終端用戶的領域特定模型（DSMs）。這些組成部分之間的復雜相互依存關系和互動構成了LLM供應鏈的支柱。通過這樣定義LLM供應鏈，我們可以借鑒現有的OSS供應鏈研究的見解，并將其應用于LLM生態系統的獨特需求和復雜性。這一全面的理解將為隨后探索LLM供應鏈內的機會和挑戰提供基礎。

本文的其余部分安排如下。我們將在第3、第4和第5節分別深入討論模型基礎設施、模型生命周期和下游應用生態系統。每一節的結構依次為愿景、挑戰和機會。最后，在第6節中我們將結束本文。

在本文中，我們對LLM供應鏈進行了全面探討，深入研究了模型基礎設施、生命周期和下游應用生態系統的復雜階段。我們在每個階段都確定了關鍵挑戰，突出了未來研究的機會。在基礎設施領域，我們強調了高質量數據集和魯棒安全的工具鏈的至關重要性。LLM的生命周期，通過開發、測試、發布和維護階段，顯示出持續創新和警惕的需要，以確保模型保持有效、安全，并符合道德標準。對下游應用生態系統的探索，包括LLM應用市場、設備上的LLM和DSM，打開了一個窗口，展示了LLM在各行各業和各種應用中的未來潛力。總之，我們認為LLM供應鏈代表了一個充滿活力和復雜的生態系統，希望本文能為未來研究提供一個議程。

近年來，大型語言模型（LLMs）已取得了顯著的進展。這些進展，雖然引起了極大的關注，同時也引發了各種擔憂。這些模型的潛力無疑是巨大的；然而，它們可能會產生不準確、誤導性或甚至有害的文本。因此，采用對齊技術來確保這些模型表現出與人類價值觀一致的行為變得至關重要。 本調查旨在為大型語言模型的對齊方法提供廣泛的探討，結合現有的能力研究。通過AI對齊的視角，我們將現行的方法和新出現的大型語言模型的對齊提案分類為外部和內部對齊。我們還探討了一些顯著問題，包括模型的可解釋性和潛在的對抗攻擊的脆弱性。為了評估大型語言模型的對齊，我們提出了各種基準和評估方法。在討論了大型語言模型的對齊研究狀況之后，我們最終展望未來，思考了未來有前途的研究方向。 我們對本次調查的愿景不僅僅是激發在這一領域的研究興趣。我們還希望彌合AI對齊研究社群和致力于探索大型語言模型能力的研究人員之間的差距，為能力強大且安全的大型語言模型牽線搭橋。

1 引言

以OpenAI的ChatGPT（OpenAI，2022年）和GPT-4（OpenAI，2023a年）為例的大型語言模型（LLMs）已經迅速發展，重新點燃了對人工通用智能（AGI）的熱忱和期望。雖然LLMs作為通向AGI的路徑仍是一個討論的話題，但這些模型，憑借著擴展規律（Kaplan等，2020年；Hoffmann等，2022年），越來越展現出類似AGI的特征（Bubeck等，2023年）。在大量數據的訓練下，LLMs不僅展示出了強大的語言能力，而且在數學、推理、醫學、法律和編程等多個領域迅速接近人類水平的熟練度（Bubeck等，2023年）。 伴隨著LLMs在技術上的突破，人們越來越關注它們可能對人類構成的潛在威脅和倫理風險。有明確的倫理風險已被發現。研究表明，LLMs可能會無意中傳播它們訓練數據中的有害信息，例如偏見、歧視和有毒內容（Weidinger等，2021年）。它們可能會泄露訓練數據中的私人和敏感信息，或生成誤導性、虛假或低質量的信息。此外，部署LLMs也引入了社會和倫理挑戰，例如LLMs的潛在濫用和對嚴重依賴LLM代理的用戶的負面影響，以及對環境、信息傳播和就業的更廣泛影響（Bubeck等，2023年）。

對于長期影響，人們普遍擔憂未對齊的AGI構成存在風險。超越人類智力和知識的AI代理可能會發展出自己的目標，與人類設定的目標產生分歧。在追求其目標的過程中，這樣的代理可能會壟斷資源，確保其保存和自我增強。這一軌跡可能導致人類完全失權，不可避免地導致人類存在的災難性后果（Carlsmith，2022年）。

作為解決這些問題的技術解決方案，AI對齊，即確保AI系統產生與人類價值觀一致的輸出，越來越受到關注。在LLMs的背景下，對齊確保模型的響應不僅準確和連貫，而且從開發人員和用戶的角度來看是安全、道德和可取的。隨著語言代理越來越融入我們日常生活的各個方面，從內容創建到決策支持，任何未對齊都可能導致意想不到的后果。正確地將大型語言模型與人類價值觀對齊，確保了這些模型的巨大潛力得到可信賴和負責任的利用。

響應這一領域日益增長的興趣，最近有一些文章回顧了（或偶然討論了）LLMs的對齊方法（Pan等，2023年；Zhao等，2023b年；Fernandes等，2023年；Liu等，2023d年；Wang等，2023d年）。然而，一個值得注意的觀察是，這些評論主要集中在外部對齊上，常常忽略了AI對齊中的其他重要主題，如內部對齊和機械解釋性。雖然無可否認，外部對齊在LLM對齊中占據了關鍵地位，并且一直是深入和深刻研究的主題，但從更廣泛的AI對齊角度來看，它只是整個對齊景觀的一部分。

為了彌補這一差距，我們從AI對齊的角度提供了LLM對齊的全面概述。我們認為，對齊的全面理解不僅應該包括廣泛研究的外部對齊，還應該深入探討目前還處于起步階段的領域。諸如內部對齊和機械解釋性這樣的主題，雖然目前還處于研究的初級階段，但卻擁有巨大的潛力。在這個階段，這些領域的許多提案仍然是理論性的，或者僅僅是思考實驗。然而，我們認為，它們對LLM對齊研究的未來軌跡是不可或缺的。通過揭示這些被忽視的領域，我們希望呈現出一個更為全面的對齊視角。因此，除了現有的LLM對齊方法，我們還將介紹幾個對齊主題，盡管這些主題尚未應用于LLMs，但顯示出前景，并可能在可預見的未來成為LLM對齊的組成部分。通過這樣做，我們致力于豐富AI對齊及其在大型語言模型領域的多方面應用的論述。

總結所有這些因素，我們在圖1中提出了一個LLM對齊的分類法。具體來說，本調查將首先討論LLM對齊研究的必要性（第2節）。為了提供AI/LLM對齊的歷史和鳥瞰視圖，我們介紹了AI對齊的起源和相關概念（第3節）。根據我們提出的分類法，將對齊LLMs的理論和技術方法分為外部對齊（第4節）、內部對齊（第5節）和機械解釋性（第6節），遵循AI對齊的哲學（Krakovna，2022年）。除了這些理論和實證方法外，我們還進一步討論了LLMs當前對齊方法的潛在副作用和脆弱性，包括對抗攻擊（第7節），以及LLM對齊評估的方法和基準（第8節）。最后，我們提出了我們對LLM對齊研究未來趨勢的有限觀點（第9節）。

為什么LLM對齊？

LLMs不僅在文本生成方面變得越來越有能力，還在許多其他任務中展現出能力，例如，文本到代碼生成（Poesia等，2022年），計劃（Huang等，2022年；Song等，2022年），工具學習（Qin等，2023年），推理（Mialon等，2023年）。然而，LLMs的訓練目標（Radford等，2019年；Devlin等，2019年），例如，下一個單詞預測（Radford等，2019年）或確定兩個句子在上下文中是否相關（Devlin等，2019年），并不一定符合人類價值觀。因此，LLMs可能會生成人類希望避免的不良內容或冒險行為。LLM風險通常可以從兩個方面來看：已建立的風險和預期的風險（Weidinger等，2021年）。前者主要是觀察到的社會和倫理風險（Weidinger等，2021年），而后者是與高級LLM相關的未來潛在風險（Hendrycks等，2023年）。 什么是LLM對齊？

為了深入理解大型語言模型（LLMs）中的技術對齊，我們需要討論更廣泛的概念，即AI對齊。盡管這是一個新興領域，但在LLMs出現之前就已經進行了研究。我們簡要介紹AI對齊的起源、研究格局和要點，以及與AI對齊相關的概念，這些都為LLM對齊及其最近出現的子領域提供了背景。

AI對齊的起源

AI對齊的起源可以追溯到激發AI革命的最初愿望：創建能夠像人類一樣思考和行動，甚至超越人類的機器。如果我們成功創建了這樣強大的機器，我們如何確保它們按照我們的最佳利益行事，而不是反對我們呢？這個未解之謎不僅引發了好奇心，而且強調了我們在塑造AI未來時所承擔的深遠責任。

賽博格學之父Norbert Wiener在一篇發表在《科學》雜志上的論文中提出了這樣的擔憂（Wiener, 1960）： “如果我們為了實現我們的目的，使用了一個我們一旦啟動就無法有效干預其操作的機械機構，因為這個行動如此迅速和不可逆，以至于我們在行動完成之前沒有數據進行干預，那么我們最好確保放入機器的目的是我們真正的愿望，而不僅僅是它的多彩模仿。”

這個聲明強調了確保“機械機構”的目標與我們為它設定的真正目標一致的重要性，強調了機器和人類目標之間的對齊。

2014年，人工智能：一種現代的方法（Russell和Norvig，2010）的作者之一Stuart Russell在一次采訪中表示：要深入了解LLMs中的技術對齊，我們需要討論AI對齊這一更為廣泛的概念。即便這是一個新興領域，但AI對齊的研究在LLMs出現之前就已經開始。我們簡要介紹了AI對齊的起源、研究景觀和成分以及相關概念，為LLM對齊及其新興的子領域提供背景。

“正確的響應似乎應該是改變該領域本身的目標；我們需要構建的不是純粹的智能，而是可以證明與人類價值觀相一致的智能。由于實際原因，我們需要解決即便是在人類環境中操作的相對不那么智能的AI系統的價值對齊問題。如果我們理解這個問題是AI固有的一部分，就像容納是現代核聚變研究的固有部分一樣，那么我們有理由保持樂觀。世界不需要走向悲傷。” —— Stuart Russell, 2014。 他定義了“價值對齊問題”（VAP），強調了建造不僅聰明而且與人類價值觀一致的AI系統的需要。盡管AI對齊的概念在AI誕生之初就已經種下，但過去幾十年基本上沒有進行研究。長時間以來，AI在各種能力方面都沒有達到人類水平，甚至被嘲笑稱為“人工白癡”。

然而，最近的進展，尤其是大型語言模型的崛起，已經將AI能力推向了接近甚至超過人類在許多任務上的表現的水平。這種復蘇使得AI對齊的重要性和緊迫性浮出水面。從2012年開始，在相關論壇和arXiv上已經開始出現了關于AI對齊的討論和研究文章。到2017年，關于AI對齊的出版物已經爆炸性地增長，論文數量從每年不到20篇增加到了超過400篇（Kirchner等，2022），與Transformer（Vaswani等，2017）和GPT（Radford等，2018）的發明相吻合。

相較于其他AI研究領域，如自然語言處理，AI對齊還處于前范例階段（Kirchner等，2022）。這個新興領域中的許多關鍵概念和術語還沒有達成共識。術語如“對齊”，“AI對齊”，和“價值對齊”在討論中經常可以互換使用。在某些上下文中，“人機對齊”作為“AI對齊”的替代詞出現。而“對齊”一詞在AI對齊的上下文中是合適的，但在更廣泛的上下文中可能會產生歧義，可能與機器翻譯中的雙語對齊等其他對齊概念混淆。 此外，對AI對齊的定義還沒有達成共識。Paul Christiano將AI對齊定義為“如果A在嘗試做H希望它做的事，那么A就與H一致。”這個定義過于泛泛了然，因為幾乎所有的AI模型都在盡力做其創建者希望它們做的事。

在此調查中，我們從其內在的角度定義AI對齊：AI對齊確保AI代理的內外目標都與人類價值觀一致。外部目標是基于人類價值觀由AI設計師定義的，而內部目標則是AI代理內部優化的。這一定義雖然區分了AI代理的內外目標，但并未準確定義人類價值觀，因此略顯不精確。將AI系統的目標分類為外部目標和內部目標的原因在于AI對齊的技術性質（Hubinger等，2019c）。在這個定義中沒有指定人類價值觀，是因為AI對齊固有的社會和技術挑戰（Hendrycks等，2021）。

AI對齊的研究格局和成分

眾所周知，從廣泛的角度來看，AI對齊的關鍵研究議程包括外部對齊、內部對齊和可解釋性（Hubinger, 2020b; Ngo, 2022; Krakovna, 2022）。

外部對齊

這是選擇正確的損失函數或獎勵函數，并確保AI系統的訓練目標符合人類價值觀。換句話說，外部對齊試圖將指定的訓練目標與其設計者的目標對齊。至少出于以下原因，這在實踐中非常困難： ? 通常很難理解和定義人類價值觀或意圖。 ? 人類價值觀有很多不同的細粒度維度。我們需要將指定的目標與所有這些維度對齊嗎？ ? 人類價值觀通常受社會和文化限制。我們需要將指定的目標與所有不同的文化和社會對齊，還是只對其中的一部分對齊？考慮到文化和社會的多樣性，我們如何確保價值對齊的公平性？ ? 由于人類價值觀/意圖通常是定性的，而要優化的損失或獎勵必須是可衡量和可計算的，我們如何彌合它們之間的差距？這被稱為目標規范問題。 ? 外部對齊可能會遭受規范游戲的困擾，其中由于古德哈特定律，可能會出現無法預見的目標或后果。古德哈特定律起源于經濟學，其內容是“當一項衡量變成一個目標時，它就不再是一個好的衡量”。這與外部對齊有關，因為某個價值的代理是要被優化的目標，它可能不再是一個好的代理。

**內部對齊

這是為了確保AI系統實際上經過培訓以實現設計師設定的目標。一旦我們指定了培訓目標，我們需要確保AI系統的行為實際上符合這些規范。由于AI系統，尤其是深度學習模型，可以開發出難以從其訓練數據或目標中預測的行為，這是具有挑戰性的。例如，一個經過訓練來贏得游戲的AI系統可能會找到一個意想不到的漏洞或者逃避通道，這在技術上滿足了它的目標，但違反了游戲的精神。目標錯誤泛化問題（Shah等人，2022）是另一個例子，即使我們有正確的目標規范，由于在未見情況下的魯棒性失敗，仍然可能產生無意的目標。內部對齊確保AI的“內部”目標（它在學習過程中推導或優化的目標）符合設計師設定的“外部”目標。 外部和內部對齊對于構建安全可靠的AI至關重要。如果失敗，我們冒著創造的系統的行為與人類價值觀或意圖不一致的風險。隨著LLMs變得更加有能力，這些對齊問題的重要性增加，使得LLM對齊的研究與LLM能力的研究一樣關鍵。

**可解釋性

在AI對齊的背景下，可解釋性廣泛地指的是促使人們理解AI系統的內部運作、決定和行為的方法、模型和工具。它可以進一步分為： ? 透明性：這是通過追蹤AI系統的內部狀態來理解黑盒中的AI系統的內部運作，從而引導其行為和決定。透明性的一個新興而有趣的方法是機械可解釋性，它尋求將機器學習系統（特別是神經網絡）的輸出和行為逆向工程到其內部狀態、權重和組件（Nanda等人，2023）。由于LLMs中參數的巨大數量以及LLMs作為大型神經網絡的系統復雜性，逆向工程LLMs是非常困難的。當前的機械可解釋性通常在LLMs的小型和簡化模型上進行（例如，去除了FFN子層的兩個神經層）（Elhage等人，2021; 2022a）。然而，這是一個相當有前途的方向，為神經網絡的對齊提供了深刻的見解，并有望在未來取得突破。 ? 可解釋性：這涉及AI系統為其決定提供人類可理解的解釋的能力。在許多關鍵領域，例如醫療保健、金融和執法，AI做出的決定對許多方面都有深遠的影響。例如，考慮一個醫療診斷AI。如果這個系統預測一個患者患有特定的醫療病癥，僅僅輸出這樣的預測結果是不夠的。醫療專業人員、患者和其他利益相關者會想要知道這個預測是如何做出的。它是否考慮了患者的病史、最近的實驗室結果或特定的癥狀來做出全面的決定？ 解釋通常被視為模型輸出的事后分析，該模型允許模型更多地了解其預測。透明度是查看模型內部以揭示模型的運作方式。盡管這種劃分不是絕對的（Lipton，2017），透明度更多地與對齊相關，因為透明度工具不僅使我們了解模型的內部結構，還提供了模型在培訓過程中變化的見解（Hubinger，2022a）。

**外部對齊、內部對齊和可解釋性之間的關系

外部和內部對齊共同確保模型的行為與人類的價值觀和意圖一致。外部對齊專注于從人類目標到模型的規范，而內部對齊深入研究模型的內部優化過程，以保證模型本質上試圖做設計師希望它做的事情。盡管存在這種差異，他們的二元和形式主義二分法并不建議，因為對齊失敗的分類有時是模糊的，構建安全和可信賴的系統時，整體對齊觀點是重要的。8雖然可解釋性不直接針對對齊，但其工具和技術可以幫助外部和內部對齊。通過了解模型如何演化和做出決定，我們可以更好地識別何時以及在哪里發生不對齊。例如，如果模型采取意想不到的捷徑來實現其目標，可解釋性可能會幫助我們了解這何時以及如何發生。此外，可解釋性可以向我們提供模型的內部推理過程的見解。

近年來，LLM（大型語言模型）的快速發展無疑揭開了新技術力量的新紀元。然而，隨著這一力量的出現，我們也承擔著確保這些模型在人類倫理和期望的范圍內運作的責任。本文提供了針對LLM的對齊方法的全面概述，強調了將能力研究與倫理考慮相結合的重要性。我們通過將對齊技術分類為外部對齊和內部對齊，揭示了研究社區目前所采用的多方面方法。同時，我們也討論了新興的主題，如模型的可解釋性和對抗性攻擊的脆弱性，突出了對齊過程中的復雜性。此外，本文不僅記錄了當前對齊研究的現狀，還展望了未來，確定了有望進一步完善和提高LLM對齊的潛在研究軌跡。我們真誠希望這份調查能作為催化劑，促進AI對齊社區與LLM研究人員之間的合作。這樣的合作方法是實現LLM全部潛力的必要條件，確保它們以道德合規和有益的方式服務于人類。總之，當我們繼續推動LLM的可能性邊界時，我們必須始終堅守對其負責任和有原則的部署的承諾。

我們提出了一種方法，將凍結的僅文本大型語言模型（LLMs）與預訓練的圖像編碼器和解碼器模型融合，通過在它們的嵌入空間之間進行映射。我們的模型展示了一系列多模態功能：圖像檢索、新穎的圖像生成和多模態對話。我們的方法是首個能夠根據任意交錯的圖像和文本輸入生成連貫的圖像（和文本）輸出的方法。為了在圖像生成上取得強大的性能，我們提出了一個高效的映射網絡，將LLM與現成的文本到圖像生成模型相連接。這個映射網絡將文本的隱藏表示轉換為視覺模型的嵌入空間，使我們能夠利用LLM的強大文本表示來進行視覺輸出。我們的方法在涉及更長和更復雜語言的任務上超越了基線生成模型。除了新穎的圖像生成，我們的模型還能夠從預先指定的數據集中檢索圖像，并在推理時決定是檢索還是生成。這是通過一個基于LLM的隱藏表示進行條件化的學習決策模塊完成的。與之前的多模態語言模型相比，我們的模型展現了更廣泛的功能。它可以處理圖像和文本輸入，并生成檢索到的圖像、生成的圖像和生成的文本——在測量上下文依賴性的幾項文本到圖像任務中，超越了非LLM基礎的生成模型。

在過去的幾年中，在自然語言處理(NLP)和計算機視覺(CV)中使用的方法取得了一些突破。除了這些對單模態模型的改進之外，大規模的多模態方法已經成為一個非常活躍的研究領域。

這本書是一個研討會的結果，在會上，我們回顧了多模態方法，并試圖創建一個該領域的堅實概述，從深度學習的兩個子領域的當前最先進的方法開始。此外，還討論了一種模態轉換為另一種模態的建模框架，以及利用一種模態來增強另一種模態的表示學習的模型。為總結第二部分，介紹了專注于同時處理兩種模態的架構。最后，還介紹了其他模態以及通用多模態模型，這些模型能夠在一個統一的架構內處理不同模態上的不同任務。

1. 引言

人類有五種基本的感官:聽覺、觸覺、嗅覺、味覺和視覺。擁有這五種模態，我們就能夠感知和理解周圍的世界。因此，“多模態”意味著同時結合不同的信息通道來理解我們的環境。例如，當幼兒學習單詞“cat”時，他們使用不同的模態，大聲說出這個單詞，指著貓，發出“喵”的聲音。利用人類的學習過程作為角色模型，人工智能(AI)研究人員還嘗試結合不同的模態來訓練深度學習模型。從表面上看，深度學習算法是基于一個神經網絡，該神經網絡被訓練來優化一些通過所謂的損失函數在數學上定義的目標。優化，即最小化損失，是通過稱為梯度下降的數值過程來完成的。因此，深度學習模型只能處理數值輸入，并且只能產生數值輸出。然而，在多模態任務中，我們經常面臨圖片或文本等非結構化數據。因此，第一個主要問題是如何用數字表示輸入。關于多模態任務的第二個問題是如何準確地結合不同的模態。例如，一個典型的任務可能是訓練一個深度學習模型來生成一張貓的圖片。首先，計算機需要理解輸入的文本“貓”，然后以某種方式將這些信息轉換為特定的圖像。因此，需要識別文本輸入中單詞之間的上下文關系和圖像輸出中像素之間的空間關系。對學齡前兒童來說可能很容易的事情，對電腦來說卻是一個巨大的挑戰。雙方都必須了解“貓”這個詞，它包含了動物的含義和外觀。現代深度學習中的一種常見方法是生成嵌入，將貓以數字形式表示為某些潛空間中的向量。然而，為了實現這一點，近年來開發了不同的方法和算法架構。本書概述了最先進的(SOTA)多模態深度學習中使用的不同方法，以克服來自非結構化數據和組合不同模態輸入的挑戰。

**由于多模態模型通常使用文本和圖像作為輸入或輸出，因此第2章將介紹自然語言處理(NLP)和計算機視覺(CV)方法作為基礎。**NLP領域的方法試圖處理文本數據，而CV處理的是圖像處理。關于NLP(第2.1節)，一個重要的概念是所謂的詞嵌入，這是當今(幾乎)所有多模態深度學習架構的一個重要部分。這一概念也為基于transformer的模型奠定了基礎，如BERT (Devlin等人，2018a)，它在幾個NLP任務中取得了巨大的改進。特別是transformer的(自)注意力機制(Vaswani et al., 2017a)徹底改變了NLP模型，這就是為什么大多數模型都依賴transformer作為骨干。在計算機視覺(第2.2小節)中，將介紹不同的網絡架構，即ResNet (He等人，2015)、EfficientNet (Tan和Le, 2019a)、SimCLR (Chen等人，2020a)和BYOL (Grill等人，2020b)。在這兩個領域，比較不同的方法及其在具有挑戰性的基準上的性能是非常有趣的。因此，第2章的最后2.3小節對CV和NLP的不同數據集、預訓練任務和基準進行了總體概述。 第二章(見3)側重于不同的多模態架構，涵蓋了文本和圖像如何結合的各種各樣。所提出的模型結合并改進了NLP和CV的不同方法。首先，查看Img2Text任務(第3.1小節)，介紹用于物體識別的數據集Microsoft COCO (Lin等人，2014a)和用于圖像描述的網格記憶transformer (M2 transformer) (Cornia等人，2019)。相反，研究人員開發了基于短文本提示(第3.2節)的圖像生成方法。完成這項任務的第一個模型是生成對抗網絡(GANs) (Goodfellow等人，2014b)和變分自編碼器(vae) (Kingma和Welling, 2019)。這些方法是近年來改進的，今天的SOTA transformer架構和文本引導擴散模型，如DALL-E (Ramesh et al.， 2021a)和GLIDE (Nichol et al.， 2021a)取得了顯著的結果。另一個有趣的問題是如何利用圖像來支持語言模型(第3.3節)。這可以通過順序嵌入、更高級的接地嵌入或transformer內部來實現。另一方面，也可以查看支持CV模型的文本，如CLIP (Radford et al.， 2021b)、ALIGN (Jia et al.， 2021a)和Florence (Yuan et al.， 2021)(第3.4小節)。他們使用基礎模型，這意味著重用模型(例如DALL-E 2中的CLIP)以及用于連接文本和圖像的對比損失。此外，零樣本使對新的和未見過的數據進行分類成為可能，而無需昂貴的微調。特別是用于圖像分類和生成的開源架構CLIP (Radford et al.， 2021b)去年吸引了很多關注。在第二章的最后，我們會介紹一些可以同時處理文本和圖像的架構(第3.5節)。例如，Data2Vec對語音、視覺和語言使用相同的學習方法，以這種方式旨在找到一種通用方法來處理一個架構中的不同模態。此外，VilBert (Lu等人，2019a)擴展了流行的BERT架構，通過實現共同注意力(co-attention)來處理圖像和文本作為輸入。該方法也用于谷歌的Deepmind Flamingo (Alayrac等人，2022)。此外，Flamingo旨在通過少樣本學習和凍結預訓練的視覺和語言模型，用單個視覺語言模型解決多個任務。

在最后一章(見4)中，介紹了能夠處理文本和圖像以外的模態的方法，如視頻、語音或表格數據。這里的總體目標是基于挑戰而不是模態找到一個通用的多模態架構。因此，人們需要處理多模態融合和對齊的問題，并決定是使用連接表示還是協調表示(第4.1節)。此外，我們將更詳細地討論如何準確地組合結構化和非結構化數據(第4.2節)。因此，將提出近年來發展起來的不同融合策略。本書通過生存分析和經濟學中的兩個用例說明了這一點。除此之外，另一個有趣的研究問題是如何在一個所謂的多用途模型(第4.3小節)中解決不同的任務，就像谷歌研究人員(Barham et al.， 2022)在他們的“路徑”模型中所打算創建的那樣。展示了多模態深度學習在藝術場景中的一個示例應用，其中DALL-E (Ramesh et al., 2021a)等圖像生成模型被用于生成藝術領域的藝術作品(第4.4節)。

我們提出了一種新的參數化方案來解決在大型神經網絡上運用差分私有SGD所面臨的挑戰，這些挑戰包括1) 存儲單個梯度的巨大存儲成本，2) 附加的噪聲嚴重依賴于維數。具體地說，我們用兩個小維的梯度載波矩陣和一個殘差權矩陣來重新參數化每個權矩陣。我們認為，這樣的重新參數化保持向前/向后過程不變，同時使我們能夠在不計算梯度本身的情況下計算投影梯度。為了學習差分隱私，我們設計了重參數梯度擾動(RGP)，它擾亂梯度載體矩陣上的梯度，并從有噪聲的梯度中重建原始權重的更新。重要的是，我們使用歷史更新來尋找梯度載波矩陣，其最優性在線性回歸下得到嚴格證明，并通過深度學習任務得到經驗驗證。RGP顯著降低了內存成本并改進了實用程序。例如，我們首次能夠在BERT模型上應用差分隱私，并在e = 8的四個下游任務上實現了83.9%的平均精度，與非私有基準相比，損失在5%以內，但隱私泄漏風險要低得多。

//www.zhuanzhi.ai/paper/3daeb1dc335f94ac104faf7abb027f98

我們為構建帶有深度學習組件的結構性因果模型(SCMs)制定了一個總體框架。所提出的方法采用了流歸一化和變分推理，以實現對外生噪聲變量的可處理推理——這是反事實推理的關鍵一步，而這正是現有的深度因果學習方法所缺少的。我們的框架在構建在MNIST上的合成數據集以及真實世界的腦核磁共振掃描醫學數據集上得到驗證。我們的實驗結果表明，我們可以成功地訓練深度SCMs，使其具備Pearl因果關系階梯的所有三個層次:關聯、干預和反事實，從而為在成像應用和其他方面回答因果問題提供了一種強大的新方法。

//github.com/biomedia-mira/deepscm.