亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在多模態模型訓練和推理過程中，由于傳感器限制、成本約束、隱私問題、數據丟失以及時間和空間因素，數據樣本可能會缺失某些模態，導致模型性能下降。本綜述概述了在缺失模態的多模態學習（MLMM）領域的最新進展，重點關注深度學習技術。這是第一個全面的綜述，涵蓋了MLMM的歷史背景以及其與標準多模態學習設置的區別，隨后詳細分析了當前的MLMM方法、應用和數據集，并討論了該領域面臨的挑戰和未來可能的發展方向。

1 引言

多模態學習已成為人工智能（AI）領域的關鍵領域，專注于整合和分析各種數據類型，包括視覺、文本、聽覺和傳感器信息（圖1a）。這種方法反映了人類通過結合多種感官來更好地理解和與環境互動的能力。現代多模態模型利用深度學習的強大泛化能力，揭示單模態系統可能無法檢測到的復雜模式和關系。這種能力推動了多個領域的工作進展，包括計算機視覺。最近在這些領域的調查顯示，多模態方法的顯著影響，證明了它們能夠提高性能并實現更復雜的AI應用【7，224】。

然而，多模態系統在實際應用中往往面臨數據缺失或不完整的問題。這種情況的發生可能是由于傳感器故障、硬件限制、隱私問題、環境干擾和數據傳輸問題等多種因素造成的。如圖1b所示，在三模態的情況下，數據樣本可以分為全模態（包含所有三種模態的信息）或缺失模態（完全缺失一種或多種模態的數據）。這些問題可能在數據收集到部署的任何階段發生，顯著影響模型性能。現實世界中此類問題在多個領域廣泛存在。在情感計算領域，研究人員【31，150】發現，由于相機遮擋或麥克風噪聲過大，樣本中僅包含可用的圖像或音頻。同樣，在太空探索中，NASA的“機智號”火星直升機【36】由于火星上的極端溫度循環導致其傾角儀失效，面臨缺失模態的挑戰。為了解決這一問題，NASA應用了一項軟件補丁，修改了導航算法的初始化【169】。在醫療AI領域，由于隱私問題，某些數據樣本中某些模態可能不可用，導致多模態數據集中固有的模態缺失【222】。現實場景的不可預測性和數據來源的多樣性進一步加劇了這一挑戰。因此，開發能夠在模態缺失情況下有效運行的多模態系統，已成為該領域的關鍵研究方向。

在本綜述中，我們將處理缺失模態的挑戰稱為“缺失模態問題”。我們將解決該問題的方法稱為“缺失模態的多模態學習”（MLMM）。這一方法與傳統的全模態多模態學習（MLFM）形成對比。具體而言，在MLFM任務中，給定一個包含HHH模態的數據集，通常要求訓練模型能夠處理和融合所有HHH種模態的信息以進行預測。在訓練和測試過程中，使用來自所有HHH種模態的完整信息樣本。而在MLMM任務中，由于數據收集限制或部署環境中的約束，在訓練或測試時使用少于HHH種模態的數據。MLMM的主要挑戰在于在訓練和測試過程中動態且穩健地處理和融合任意數量的可用模態信息，同時保持與全模態樣本相當的性能。

本綜述涵蓋了MLMM的最新進展及其在信息檢索、遙感和機器人視覺等多個領域的應用。我們提供了對MLMM方法論、應用場景和相關數據集的細致分類。我們的工作擴展了現有專注于特定領域（如醫學診斷【5，151，235】、情感分析【179】和多視圖聚類【17】）的MLMM綜述。通過提供對當前研究的全面概述并識別未來工作的有前景方向，本綜述旨在為開發更穩健且適應性強的多模態學習系統做出貢獻。這些進展對于將智能系統部署在從行星探索的惡劣條件到日常生活中的動態和不可預測環境中至關重要。

本綜述的主要貢獻有三點：

1. 對MLMM在各個領域的應用進行了全面的綜述，并收集了大量相關數據集，突顯了MLMM在應對現實挑戰中的多功能性。
2. 提出了一個新穎的、細致的MLMM方法論分類體系，基于恢復策略、集成階段、參數效率方法和注意力機制等多方面的分類框架。
3. 在所提出的分類框架下，深入分析了當前的MLMM方法、其挑戰以及未來的研究方向。

2 方法論

我們根據四個主要維度的分類框架對現有的深度缺失模態多模態學習（MLMM）方法進行分類和討論：模態增強、特征空間工程、架構工程和模型選擇。

**2.1 模態增強

我們將解決缺失模態問題的模態增強方法分為兩類，針對模態層次上的原始數據。第一類是模態組成方法，該方法使用零值/隨機值、從相似實例中直接復制的數據，或通過檢索算法獲得的匹配樣本，與缺失模態樣本組合形成全模態樣本。第二類是模態生成方法，它使用生成模型（如自動編碼器（AEs）[55]，生成對抗網絡（GANs）[42]，或擴散模型[56]）生成缺失模態的原始數據。

2.1.1 模態組成方法 當數據集中缺失模態樣本較少時，刪除這些樣本是多模態數據集預處理中的常見方法。但這種方法會減少數據集的規模，并在數據集中包含許多缺失模態樣本時導致一些稀有樣本消失。模態組成方法因其簡單有效而廣泛使用，且可以保持數據集的規模。典型方法之一是零值/隨機值組成方法，用零值/隨機值替換缺失模態數據，如圖3所示。在最近的研究中[28, 102, 114, 163]，這些方法經常作為基線與提出的方法進行比較。針對缺失序列數據問題，例如視頻中的缺失幀，提出了類似的幀-零值方法[135]，用零幀替換缺失幀并與可用幀組合。這些方法在典型的多模態學習訓練過程中非常常見。通過這些方法，多模態模型可以在預測時平衡和整合來自不同模態的信息，從而避免模型過度依賴一個或幾個模態，增強其魯棒性。然而，當數據集中大多數樣本都是缺失模態樣本時，這些方法難以很好地泛化。另一種組成方法基于檢索算法（圖3），通過從具有相同模態和類別的檢索樣本中復制/平均原始數據來填充缺失模態數據。一些簡便的方法會隨機選擇一個具有相同類別和所需模態的樣本，并與輸入的缺失模態組合，形成用于訓練的全模態樣本。例如，研究人員[204]提出了Modal-mixup，隨機補充缺失模態樣本來完成訓練數據集。然而，這類方法在測試階段無法解決缺失模態問題。針對視頻等流數據中的缺失幀問題，研究人員提出了使用幀重復法[135]，通過使用過去的幀來補足缺失幀。一些工作[14, 41, 204]嘗試使用K近鄰（KNN）或其變體來檢索最佳匹配樣本進行組合。實驗表明，基于KNN的方法在處理測試階段的缺失模態問題時，表現優于隨機選擇等方法。但簡單的聚類方法往往存在高計算復雜度、對不平衡數據敏感及高內存開銷等問題。此外，基于檢索的模態組合方法不適用于像素級任務（如分割），僅適用于簡單任務（如分類），因為它們可能導致模型混淆。此外，上述所有方法雖然能夠完成缺失模態的數據集，但它們會降低數據集的多樣性。這對于高模態缺失率（大部分樣本都是缺失模態樣本）的數據集尤其成問題，因為這增加了過擬合到某些少量全模態樣本類別的風險。

2.1.2 模態生成方法 在缺失數據研究中，提出了各種矩陣填充方法[41]，利用矩陣元素之間的潛在相關性。然而，在多模態數據集中，缺失數據通常以大塊形式出現，使得傳統方法在大規模處理和高維計算中效率低下。隨著深度學習的發展，生成缺失模態變得更加高效。當前生成缺失模態原始數據的方法分為單模態生成方法和統一模態生成方法。單模態生成方法為每個模態訓練單獨的生成模型，以應對任意缺失模態的情況，如圖5a所示。早期工作使用高斯過程[117]或玻爾茲曼機[159]從可用輸入生成缺失模態數據。隨著深度學習的發展，諸如AEs和U-Net[147]等方法被用于生成原始模態數據。Li等人[87]使用3D-CNN從磁共振成像（MRI）數據生成正電子發射斷層掃描（PET）數據。Chen等人[24]通過訓練U-Net模型，從MRI數據中生成其他兩種模態以解決MRI分割中的缺失模態問題。最近的工作[113]將AEs作為基線方法之一，通過為每個模態訓練一個AE來完成數據集。在領域自適應中，Zhang等人[220]提出了一個多模態數據生成模塊，通過領域對抗學習生成每個缺失模態，學習領域不變特征。GANs通過使用生成器創建逼真的數據，并讓鑒別器區分其與真實數據，顯著提高了圖像生成的質量。研究人員開始用GANs代替AEs和U-Nets生成缺失模態。例如，GANs通過現有模態的潛在表示生成缺失模態的原始數據，在乳腺癌預測中得到了應用[3]，而WGANs則應用于情感分析[184]。在遙感領域，Bischke等人[8]使用GANs生成深度數據，改善了RGB模型的分割性能。GANs還用于機器人識別中生成RGB和深度圖像[45]。最近的研究[113]表明，GANs在生成更真實的缺失模態時表現優于AEs，并能帶來更好的下游任務模型性能。最近，擴散模型的引入進一步提高了圖像生成質量。Wang等人提出了IMDer方法[190]，利用可用模態作為條件，幫助擴散模型生成缺失模態。實驗表明，擴散模型減少了恢復模態與缺失模態之間的語義模糊性，并且在泛化性能方面優于以往的方法。然而，為每個模態訓練一個單獨的生成器效率低下，且無法捕捉模態之間的潛在相關性。研究人員開發了另一種生成方法，即統一模態生成方法，訓練一個統一模型可以同時生成所有模態（圖5b）。代表性模型之一是Cascade AE[174]，通過堆疊AEs來捕捉缺失模態與現有模態之間的差異，從而生成所有缺失模態。最近的研究人員，如Zhang等人[221]，嘗試使用注意力機制和最大池化層來整合現有模態的特征，使得模態特定的解碼器能夠生成每個缺失模態。實驗表明，該方法比僅使用最大池化[19]來整合多個模態特征生成缺失模態更加有效。盡管上述方法在一定程度上能夠緩解性能下降的問題，但訓練能夠生成高質量、類似真實世界分布的缺失模態的生成器仍然具有挑戰性，尤其是在訓練數據集中包含較少全模態樣本的情況下。此外，模態生成模型顯著增加了存儲需求。隨著模態數量的增加，這些生成模型的復雜性也隨之增加，進一步增加了訓練過程和資源需求的復雜性。

**2.2 特征空間工程

以下介紹在特征空間層次解決缺失模態問題的方法。首先，我們介紹兩種基于約束的方法，通過施加特定約束來增強更具辨別力和魯棒性的表示學習（圖6）。一種方法是通過正則化來提高學習表示的有效性和泛化能力。另一種方法側重于最大化相關性，使用特定的度量來加強特征之間的關系。接下來，表示組成方法可以借鑒2.1.1節討論的解決方案，在模態的特征層次上操作，或使用算術運算來處理動態數量的模態。最后，我們介紹表示生成方法，該方法能夠生成缺失模態的特征表示。

**2.3 架構工程

與上述生成模態或模態表示的方法不同，一些研究人員通過調整模型架構來適應缺失模態的情況。根據其在處理缺失模態中的核心貢獻，我們將其分為四類：基于注意力的方法、基于蒸餾的方法、基于圖學習的方法和多模態大語言模型（MLLMs）。

**2.4 模型選擇

模型選擇方法旨在使用一個或多個選定的模型進行下游任務，同時增強其魯棒性和性能。這些方法可以分為集成方法、專用方法和離散調度方法。集成方法通過投票、加權平均等方式組合多個選定模型的預測結果，以提高最終決策的準確性和穩定性。專用方法則為不同的子任務（如不同的缺失模態情況）分配專門的個體模型，專注于特定的子任務或子數據集。在離散調度方法中，用戶可以使用自然語言指令讓大型語言模型（LLMs）根據模態類型和下游任務自主選擇合適的模型。

3 應用與數據集

在過去十年中，基于深度學習的多模態學習經歷了爆炸式增長，在學術界和工業界得到了廣泛應用。與這些應用相伴的是各種形式的多模態數據集的出現。然而，此類數據集的收集往往需要大量人力和成本。在某些特定的應用方向上，諸如用戶隱私問題、數據收集設備的傳感器故障等因素，可能導致數據集中存在缺失模態。在嚴重的情況下，多達90%的樣本可能存在缺失模態問題，使得傳統的全模態多模態學習（MLFM）在模型訓練時難以取得良好的性能。這催生了缺失模態多模態學習（MLMM）的任務。由于導致數據集不完整的因素通常來自不同的應用方向，下面我們根據這些應用方向介紹相應的數據集：情感分析、醫療診斷、檢索/描述、遙感、機器人視覺等。我們還根據應用和數據類型在表3中對這些數據集進行了分類。

結論

在本綜述中，我們首次對缺失模態的深度多模態學習進行了全面回顧。我們首先簡要介紹了缺失模態問題的歷史發展及其在現實世界中的重要性原因。隨后，我們從兩個角度對該領域的當前進展進行了細致的分類和總結：方法論、應用與數據集。最后，我們討論了該領域現存的挑戰和未來可能的發展方向。盡管越來越多的研究人員參與到缺失模態問題的研究中，我們也關注到一些亟待解決的緊迫問題，例如統一的測試基準（如多模態大語言模型）以及更廣泛的應用需求（如自然科學）。通過我們的全面且詳細的綜述，我們希望能夠激勵更多的研究人員探索缺失模態的深度多模態學習技術，最終為開發出魯棒且高性能的AI系統做出貢獻。

最近的技術進步增強了我們收集和分析豐富多模態數據（如語音、視頻和眼動）的能力，以更好地改進學習和訓練體驗。盡管之前的綜述已經關注了多模態處理流程的部分內容（如概念模型和數據融合），但尚未有關于多模態學習和訓練環境方法的全面文獻綜述。本文提供了對這些環境中的研究方法的深入分析，提出了一個涵蓋該領域最新方法進展的分類法和框架，并根據五個模態組對多模態領域進行了描述：自然語言、視頻、傳感器、人本中心和環境日志。我們引入了一種新的數據融合類別——中級融合（mid fusion），以及一種用于優化文獻綜述的基于圖的技術，稱為引文圖剪枝。我們的分析表明，利用多種模態可以更全面地理解學習者和受訓者的行為和結果。即使多模態未能提高預測準確性，它通常也能揭示模式，以情境化和解釋單模態數據，揭示單一模態可能遺漏的細微差別。然而，仍需進一步研究以彌合多模態學習和訓練研究與基礎AI研究之間的差距。

1 引言與背景

1.1 簡史

隨著技術進步推動學習科學的發展，教育和訓練課程的個性化正在不斷推進，以滿足學習者和受訓者的獨特需求。這種轉變由數據驅動的方法支撐，這些方法已被整合到學習分析領域[61]。學習分析專注于收集和評估學習者和受訓者的行為數據——特別是他們在學習和訓練任務中的表現[94, 166]。例如，智能輔導系統如Practical Algebra Tutor [78]專注于診斷學生錯誤，開放式環境如Betty’s Brain [84]自適應地支架學習，而教師反饋工具（如[72, 124]）則通過提供學生行為的洞察來幫助教育者改進教學。 學習分析中的一個核心研究問題是，哪些類型的數據對于深入了解學習者的行為和表現，以及在不同情境下促進學生學習和訓練提供有意義的支持是必要的？[108, 151]。最初，數據收集和分析的范圍受到教育環境中可用技術和計算方法的限制。早期的學習分析主要分析基于計算機環境的日志數據，將學生的行為與其數字交互建立關聯，從而為該領域的許多現代理論和方法奠定了基礎[71, 108]。 傳感器和數據收集技術的進步正將學習分析擴展到傳統的基于日志的分析之外[108]。在實際的學習空間中，日志數據不足以捕捉所有學習者的行為、情感狀態和協作行為。研究人員現在整合了額外的數據收集設備，如用于捕捉物理互動的視頻、用于記錄對話的麥克風、用于檢測壓力水平的生物傳感器和用于跟蹤注意力的眼動儀[151]。這種豐富的數據收集提供了對學生情感、認知、心理運動和元認知狀態的更全面理解，推進了多模態學習分析（MMLA）[12, 13, 158]。經過十年的研究，MMLA已經成熟，并通過期刊專題[52, 96, 109]、會議[60]、編輯書籍[64]和系統綜述[4, 22, 39, 50, 100, 130, 158]得到了廣泛傳播。本文基于這一堅實的基礎，重點關注MMLA中的應用研究方法。1.2 相關工作最近的MMLA研究、調查和綜述通過不同的視角探索了MMLA的全貌：多模態數據融合[22]、概念模型和分類法[50]、統計和定性評估[121, 131]、虛擬現實[118]、技術和數據工程[26]以及倫理考量[4]。我們的綜述集中在多模態學習和訓練環境中支持數據收集和分析的應用方法，特別關注使用學習理論收集、融合、分析和解釋多模態數據的方法。我們擴展和修改了現有的分類法，以反映MMLA的最新進展。 Di Mitri等人[50]提出了多模態學習分析模型（MLeAM），這是一個概念框架，概述了MMLA中行為、數據、機器學習和反饋之間的關系。該框架提供了一種分類法，并引入了數據可觀測性（data observability）的概念，將可量化的輸入證據與推斷的注釋（如情感、認知）區分開來。可觀測性線劃分了這些領域，對于MMLA研究中從輸入到假設的AI介導轉化至關重要。Chango等人[22]調查了MMLA中的融合方法，將研究按融合類型和在多模態管道中的應用階段進行分類。他們提出了三種融合類型：早期融合（特征級整合）、后期融合（決策級整合）和混合融合（兩者的結合）。這一分類澄清了融合方法及其在教育數據挖掘中的相關性。 整合了這兩項調查的見解后，我們提出了一種聚焦于特征可觀測性的分類法，區分感官數據和人類推斷的注釋。這一改進的分類方案精煉了我們對MMLA中數據融合的理解，并在第2節中展示了一個精細的分類法。

1.3 本綜述的范圍

在本文中，我們將數據收集媒介定義為一種獨特的原始數據流（如視頻、音頻、光體積描記（PPG）傳感器）。模態是從一個或多個數據流中派生出的獨特屬性，每個流傳達不同的信息，即使來自相同的媒介[108]。模態組是通過歸納編碼派生出的傳達相似信息的模態的獨立集合（見圖1）。多模態是多種模態或多種數據流的組合。例如，同一視頻數據流可以用來派生情感和姿勢模態，情感模態可以從音頻和視頻流中派生。這兩個例子都被認為是多模態的。我們在文中將“論文”和“作品”交替使用，包括會議和期刊之外的出版物（如書籍和書籍章節）。我們的定義旨在描述我們綜述的范圍，而不是建立“通用”的多模態和多模態分析的定義。 我們的綜述包括所有未被排除標準（見附錄B.2.2）排除的文獻搜索結果中的論文。這包括“順帶”進行的多模態學習和訓練分析。例如，一篇專注于多模態創作環境的論文，如果在此過程中進行了多模態學習分析，也會被納入。我們感興趣的是多模態分析所使用的方法，而不僅僅是其作為主要研究焦點的研究。我們審查了跨越多種媒介和模態的數據收集和分析的研究，包括完全物理環境（如物理治療）、混合現實環境（如基于假人的護理模擬）以及在線教育平臺（如基于計算機的物理教學）。值得注意的是，由于當前虛擬現實環境在教育環境中的可擴展性挑戰[37]，我們的綜述排除了虛擬現實環境。

1.4 貢獻本文對多模態學習和訓練環境的方法進行了系統的文獻綜述，并做出了以下幾個新穎的貢獻：

• 對多模態學習和訓練環境中使用的研究方法、遇到的挑戰以及文獻中報告的相關結果進行了全面綜述。同時，我們還識別了數據收集和分析方法中的研究空白；
• 提出一個反映多模態學習和訓練方法最新進展的統一框架和分類法；
• 引入了一種稱為中級融合（mid fusion）的額外數據融合分類（即介于早期融合和后期融合之間），用于區分相對于可觀測性線的已處理特征；
• 提出一種基于圖的語料庫縮減程序，稱為引文圖剪枝（citation graph pruning），該程序允許通過程序化方式修剪文獻綜述語料庫。詳細描述見第3.2.1節。

視覺與語言導航（VLN）近年來受到越來越多的關注，許多方法已經涌現出來以推動其發展。基礎模型的顯著成就已經塑造了VLN研究的挑戰和提出的方法。在本綜述中，我們提供了一種自上而下的審視方法，采用了一種原則性框架進行具身規劃和推理，并強調了利用基礎模型應對VLN挑戰的當前方法和未來機會。我們希望通過深入的討論提供有價值的資源和見解：一方面，用以標記進展里程碑，探索基礎模型在該領域的機會和潛在作用；另一方面，為基礎模型研究者整理VLN中的各種挑戰和解決方案。

開發能夠與人類及其周圍環境互動的具身代理是人工智能（AI）的長期目標之一（Nguyen et al., 2021; Duan et al., 2022）。這些AI系統在實際應用中具有巨大的潛力，可以作為多功能助手在日常生活中發揮作用，如家庭機器人（Szot et al., 2021）、自動駕駛汽車（Hu et al., 2023）和個人助理（Chu et al., 2023）。一個推進這一研究方向的正式問題設置是視覺與語言導航（VLN）（Anderson et al., 2018），這是一項多模態和協作任務，要求代理根據人類指令探索三維環境，并在各種模糊情況下進行在場通信。多年來，VLN在仿真環境（Chang et al., 2017; Savva et al., 2019; Xia et al., 2018）和實際環境（Mirowski et al., 2018; Banerjee et al., 2021）中都進行了探索，產生了許多基準測試（Anderson et al., 2018; Ku et al., 2020; Krantz et al., 2020），每個基準測試都提出了稍有不同的問題表述。

近年來，基礎模型（Bommasani et al., 2021）從早期的預訓練模型如BERT（Kenton and Toutanova, 2019）到當代的大型語言模型（LLMs）和視覺語言模型（VLMs）（Achiam et al., 2023; Radford et al., 2021）展現出了在多模態理解、推理和跨領域泛化方面的非凡能力。這些模型在海量數據上進行了預訓練，如文本、圖像、音頻和視頻，并可以進一步適應廣泛的具體應用，包括具身AI任務（Xu et al., 2024）。將這些基礎模型整合到VLN任務中標志著具身AI研究的一個關鍵進展，表現出顯著的性能提升（Chen et al., 2021b; Wang et al., 2023f; Zhou et al., 2024a）。基礎模型還為VLN領域帶來了新的機會，例如從多模態注意力學習和策略政策學習擴展到預訓練通用的視覺和語言表征，從而實現任務規劃、常識推理以及泛化到現實環境。

盡管基礎模型對VLN研究產生了最近的影響，以往關于VLN的綜述（Gu et al., 2022; Park and Kim, 2023; Wu et al., 2024）來自基礎模型時代之前，主要關注VLN基準測試和傳統方法，即缺少利用基礎模型解決VLN挑戰的現有方法和機會的全面概述。特別是隨著LLMs的出現，據我們所知，尚未有綜述討論它們在VLN任務中的應用。此外，與以前將VLN任務視為孤立的下游任務的努力不同，本綜述的目標有兩個：首先，標記進展里程碑，探索基礎模型在該領域的機會和潛在作用；其次，在系統框架內為基礎模型研究者組織VLN中的不同挑戰和解決方案。為建立這種聯系，我們采用LAW框架（Hu and Shu, 2023），其中基礎模型作為世界模型和代理模型的骨干。該框架提供了基礎模型中推理和規劃的一般景觀，并與VLN的核心挑戰緊密相關。

具體而言，在每一步導航中，AI代理感知視覺環境，接收來自人類的語言指令，并基于其對世界和人類的表征進行推理，以規劃行動并高效完成導航任務。如圖1所示，世界模型是代理理解周圍外部環境以及其行動如何改變世界狀態的抽象（Ha and Schmidhuber, 2018; Koh et al., 2021）。該模型是一個更廣泛的代理模型的一部分，該代理模型還包含一個人類模型，該模型解釋其人類伙伴的指令，從而告知代理的目標（Andreas, 2022; Ma et al., 2023）。為了回顧VLN領域不斷增長的工作并理解所取得的里程碑，我們采用自上而下的方法進行綜述，重點關注從三個角度出發的基本挑戰：

• 學習一個世界模型來表示視覺環境并泛化到未見過的環境。
• 學習一個人類模型以有效地從基礎指令中解釋人類意圖。
• 學習一個VLN代理，利用其世界和人類模型來實現語言的基礎、溝通、推理和規劃，使其能夠按指示導航環境。

我們在圖2中展示了一個分層和細粒度的分類法，基于基礎模型討論每個模型的挑戰、解決方案和未來方向。為了組織本綜述，我們首先簡要概述該領域的背景和相關研究工作以及可用的基準測試（第2節）。我們圍繞提出的方法如何解決上述三個關鍵挑戰進行結構化審查：世界模型（第3節）、人類模型（第4節）和VLN代理（第5節）。最后，我們討論了當前的挑戰和未來的研究機會，特別是在基礎模型興起的背景下（第6節）。

VLN任務定義

一個典型的視覺與語言導航（VLN）代理在指定位置接收來自人類指令者的（一系列）語言指令。代理使用以自我為中心的視覺視角在環境中導航。通過遵循指令，代理的任務是在一系列離散視圖或較低級別的動作和控制（例如，前進0.25米）上生成軌跡，以到達目的地。如果代理到達距離目的地指定距離（例如3米）以內的位置，則任務被認為成功。此外，代理可以在導航過程中與指令者交換信息，可以請求幫助或進行自由形式的語言交流。此外，人們對VLN代理集成額外任務（如操作任務（Shridhar et al., 2020）和物體檢測（Qi et al., 2020b））的期望也在不斷增加。

基準測試

如表1所示，現有的VLN基準測試可以根據幾個關鍵方面進行分類：（1）導航發生的世界，包括領域（室內或室外）和環境的具體情況。（2）涉及的人機交互類型，包括交互回合（單次或多次）、通信格式（自由對話、限制對話或多重指令）和語言粒度（動作導向或目標導向）。（3）VLN代理，包括其類型（如家庭機器人、自動駕駛車輛或自主飛行器）、動作空間（基于圖形、離散或連續）和額外任務（操作和物體檢測）。（4）數據集的收集，包括文本收集方法（人類生成或模板化）和路徑演示（人類執行或規劃生成）。有代表性的是，Anderson等人（2018）基于Matterport3D模擬器（Chang et al., 2017）創建了Room-to-Room（R2R）數據集，代理需要遵循精細的導航指令到達目標。Room-across-Room（RxR）（Ku et al., 2020）是一個多語言版本，包括英語、印地語和泰盧固語指令。它提供了更大的樣本量，并為虛擬姿態提供了時間對齊的指令，豐富了任務的語言和空間信息。Matterport3D允許VLN代理在離散環境中操作，并依賴預定義的連接圖進行導航，代理通過在相鄰節點之間的傳送在圖上移動，被稱為VLN-DE。為了使簡化的設置更現實，Krantz等人（2020）、Li等人（2022c）、Irshad等人（2021）通過將離散的R2R路徑轉移到連續空間（Savva等人，2019）提出了連續環境中的VLN（VLN-CE）。Robo-VLN（Irshad等人，2021）通過引入在機器人環境中更現實的連續動作空間的VLN，進一步縮小了模擬到現實的差距。最近的VLN基準測試經歷了幾次設計變更和期望，我們在第6節中討論這些變更。

評估指標

三種主要指標用于評估導航路徑規劃性能（Anderson等人，2018）：（1）導航誤差（NE），代理最終位置與目標位置之間最短路徑距離的平均值；（2）成功率（SR），最終位置足夠接近目標位置的百分比；（3）成功率加權路徑長度（SPL），通過軌跡長度標準化成功率。一些其他指標用于衡量指令遵循的忠實度和預測軌跡與真實軌跡之間的一致性，例如：（4）按長度加權的覆蓋得分（CLS）（Jain等人，2019）；（5）歸一化動態時間規整（nDTW）（Ilharco等人，2019），對偏離真實軌跡的情況進行懲罰；以及（6）按成功率加權的歸一化動態時間規整（sDTW）（Ilharco等人，2019），對偏離真實軌跡的情況進行懲罰，并考慮成功率。

**引言

擴散模型（Diffusion Models）是近年來在各種視覺任務中廣受關注的生成建模方法。由于這些模型不依賴標簽注釋，因此可以被視為一種獨特的自監督學習方法。本文綜述了擴散模型與表示學習之間的相互關系，概述了擴散模型的基本方面，包括數學基礎、流行的去噪網絡架構和指導方法。此外，本文還詳細介紹了與擴散模型和表示學習相關的各種方法，包括利用預訓練擴散模型學習的表示進行后續識別任務的框架，以及利用表示學習和自監督學習進展來增強擴散模型的方法。本文旨在提供擴散模型與表示學習之間分類法的全面概述，識別現有問題和潛在探索的關鍵領域。

擴散模型（Diffusion Models）最近在生成建模領域中脫穎而出，展示了在圖像合成、自然語言處理、計算化學和音頻合成等領域的非凡成果。擴散模型的卓越生成能力表明，它們不僅可以學習輸入數據的低層次特征，還可以學習高層次特征，使其成為通用表示學習的理想候選者。與生成對抗網絡（GANs）和變分自編碼器（VAEs）等其他生成模型不同，擴散模型沒有固定的架構組件來捕獲數據表示，這使得基于擴散模型的表示學習具有挑戰性。然而，利用擴散模型進行表示學習的方法受到了越來越多的關注，同時也得益于擴散模型在訓練和采樣方面的進展。

目前最先進的自監督表示學習方法展示了良好的可擴展性，因此，擴散模型也可能表現出類似的擴展特性。用于獲得最先進的生成結果的控制生成方法（如分類器指導和無分類器指導）依賴于帶注釋的數據，這成為擴展擴散模型的瓶頸。利用表示學習的指導方法無需注釋，提供了一種解決方案，可能使擴散模型能夠在更大的、無注釋的數據集上進行訓練。

本文旨在闡明擴散模型與表示學習之間的關系和相互作用。我們重點介紹兩個核心觀點：利用擴散模型本身進行表示學習，以及利用表示學習來改進擴散模型。我們介紹了當前方法的分類，并總結了展示當前方法共性的通用框架。

自Ho等人、Sohl-Dickstein等人和Song等人最初提出擴散模型以來，對探索擴散模型表示學習能力的興趣不斷增加。正如圖1所示，我們預計這一趨勢將在今年繼續。擴散模型和表示學習方面發表的作品數量增加，使得研究人員更難識別最先進的方法并跟上當前的發展。這可能會阻礙這一領域的進展，這也是為什么我們認為需要對這一領域進行全面概述和分類。

擴散模型和表示學習的研究還處于初期階段。許多當前的方法僅依賴于為生成合成訓練的擴散模型進行表示學習。因此，我們假設未來在這一領域有顯著的進步機會，擴散模型可以越來越多地挑戰當前表示學習的最先進水平。圖2展示了現有方法的定性結果。我們希望這份綜述可以通過澄清當前方法的共性和差異，促進基于擴散的表示學習的進展。總結而言，本文的主要貢獻如下：

全面概述：提供擴散模型與表示學習相互作用的全面綜述，澄清如何利用擴散模型進行表示學習，反之亦然。

方法分類：我們引入了基于擴散表示學習的當前方法的分類，突出它們之間的共性和差異。

通用框架：本文為擴散模型特征提取和基于分配的指導提出了通用框架，提供了對大量擴散模型和表示學習作品的結構化視角。

未來方向：我們確定了這一領域進一步發展的關鍵機會，鼓勵探索擴散模型和流匹配作為表示學習的新前沿。

時間序列數據在各個領域中無處不在，使得時間序列分析至關重要。傳統的時間序列模型是針對特定任務的，具有單一的功能和有限的泛化能力。最近，大型語言基礎模型顯示出了其在跨任務轉移、零次/少次學習和決策解釋性方面的顯著能力。這一成功激發了探索基礎模型以同時解決多個時間序列挑戰的興趣。主要有兩個研究方向，即從頭開始預訓練時間序列的基礎模型和將大型語言基礎模型適配到時間序列。這兩者都有助于開發一個高度泛化、多功能且易于理解的統一模型用于時間序列分析。本綜述提供了一個3E分析框架，用于全面檢查相關研究。具體來說，我們從三個維度——有效性、效率和解釋性——檢查現有工作。在每個維度中，我們專注于討論相關工作如何通過考慮時間序列領域的獨特挑戰來設計定制解決方案。此外，我們提供了一個領域分類法，以幫助后來者跟進領域特定的進展。此外，我們還介紹了促進該領域發展的廣泛資源，包括數據集、開源時間序列庫。同時維護一個GitHub倉庫以更新資源（//github.com/start2020/Awesome-TimeSeries-LLM-FM）。

1 引言

時間序列數據指的是在連續時間間隔記錄的數據點序列。時間序列分析有著悠久的研究歷史，與現實世界的應用密切相關[51]。最早的時間序列挖掘可以追溯到古埃及時期，當時人們分析尼羅河的波動來指導農業生產[35]。早期，時間序列研究主要集中在商業和經濟活動[57]、氣象和人口統計等領域，當時收集的數據相對較小，結構簡單（例如，單變量序列）。那時，統計學是主導方法論，促成了各種經典模型的發展，包括ARIMA、ARCH[50]和馬爾可夫轉換模型[64]。然而，大規模工業系統的出現，涵蓋了交通[216]、醫療保健[101]、物聯網（IoT）[59]和電子商務[8]等行業，導致了龐大而復雜的時間序列數據的產生。除了時間序列數據，一些系統還生成包括文本[82]、圖像[150]和圖表[98]在內的不同模態的數據。數據爆炸推動了具有日益復雜模式的新型時間序列應用的出現。例如，交通擁堵檢測[7]、心電圖（ECGs）分類[74]、電子商務銷售需求預測[17]。統計方法難以管理如此龐大和異質的數據集，且依賴于預定義模式假設，限制了它們在處理動態和復雜模式的應用中的實用性。 在過去幾十年中，機器學習和深度學習在各個領域取得了顯著進展，特別是在計算機視覺（CV）和自然語言處理（NLP）[196]。與統計方法不同，這些方法可以以更自動化的方式處理更大、更多樣化的數據集，減少了人力和專業知識的需求。這些技術引入了能夠檢測更復雜模式的先進架構，激發了時間序列社區的極大興趣[79, 106, 125, 160]。因此，出現了多種針對時間序列建模的有效架構，包括不同基礎架構的RNNs[108]、CNNs[29, 109, 207]、GNNs[28, 32]、Transformers[182]、擴散模型[107]。

盡管這些強大的架構將時間序列分析推向了一個新的水平，但在這一領域仍然存在未解決的挑戰。 第一個挑戰是關于知識的可遷移性[149]。時間序列通常表現出季節性（在特定間隔的規律波動）[56]和趨勢（數據的長期方向）[132]。除了這些可識別的模式外，時間序列數據還表現出一定程度的隨機性或噪聲，這通常歸因于未知的因素或模式。這些特征在不同領域之間甚至在同一領域隨時間的變化可能差異很大，由于分布的變化[88]，使得將從一個特定任務中學到的模型或時間序列表示遷移到其他任務變得具有挑戰性。例如，對股市數據訓練的時間序列模型[188]學習到的模式受到經濟指標、投資者情緒等高度不穩定因素的影響。而氣候模型[131]則關注長期模式、季節循環，這些循環受物理定律而非人類行為的約束。由于數據性質的根本不同，不同領域間的知識可遷移性依然是一個挑戰。 ? 第二個挑戰與數據稀疏性有關。在許多傳統時間序列場景中[49, 157]，數據的收集可能是每日、每月或每年進行的（例如，經濟指標[18]），這導致數據本質上的稀疏性。另外，獲取和標注數據可能存在隱私限制。例如，對心電圖（ECGs）[136]的分類需要臨床診斷，但這些診斷成本高昂，且數據可用性受到患者隱私的限制。這種數據稀缺性阻礙了深度學習模型的有效訓練。實際上，在大多數情況下，可用的數據集仍然不足以學習高質量的模型[110]。 ? 第三個挑戰是關于多模態學習[16]。在多模態時間序列分析的背景下，利用不同模態間的互補見解可以增強解釋性并提升模型性能。例如，在股票行情預測中，社交媒體上的新聞和評論可以直接影響交易活動，將它們整合到模型中可以實現更精確的預測[170, 189]。然而，對各種頻率或間隔收集的多模態數據進行對齊，以準確反映不同模態之間的時間關系，是具有挑戰性的。此外，不同模態可能需要不同的技術來有效捕捉信息，將這些信息無縫整合成一個統一的模型可能很復雜。 ?** 最后，解釋性也是非常需要的[210]**。詳細解釋模型如何生成預測或識別模式可以顯著增強時間序列的實用性和可接受性。一個案例是，如果一個公用事業公司使用一個能源需求預測模型[77]來計劃電力生成或設定價格，它需要向監管機構和消費者證明這些決策是基于合理且可理解的因素。然而，大多數現有的時間序列模型本質上是黑盒，缺乏對模型行為或預測的解釋。

為了應對上述挑戰，已經有一些努力，如時間序列的遷移學習[78, 120, 177, 193]、時間序列數據增強[181]、多模態時間序列分析[26, 42]以及時間序列的可解釋人工智能[143]。然而，這些工作大多集中在單一挑戰上。時間序列社區期待一個能同時解決多個挑戰的多方面模型。理想的模型應具有強大的泛化能力，能在訓練期間處理未見過的時間序列任務和數據稀缺的任務。此外，它還應該能夠無縫整合來自不同模態的數據，并為其決策過程提供可理解的解釋。 在過去幾年中，為了促進知識遷移，出現了一種結合遷移學習和自監督學習的新學習范式，即預訓練和微調范式[65]。它首先在一個數據豐富的源域上預訓練模型，然后在與源域相關的目標任務上進行微調[39]。BERT[41]是一個在大規模語料庫上預訓練的語言模型。研究人員發現，它可以適應廣泛的下游NLP任務，并大幅提升它們的性能水平。這項研究激發了NLP[97, 138, 212]和CV[14, 137]領域中大量的后續工作。這類模型被稱為基礎模型（FM）[22]。它們在各種下游任務上展示出強大的泛化能力。當NLP研究者通過增加數據或模型規模來擴展基礎模型時，他們觀察到這些更大的基礎模型獲得了一些在較小模型中不存在的令人驚訝的能力。這些意外的能力被稱為突現能力[179]，包括上下文學習[24]、指令跟隨[69]、思維鏈（CoT）[128]。它們將語言基礎模型從一個可遷移的NLP任務解決者轉變為跨領域的通用任務解決者，現在廣泛被稱為大型語言模型（LLM）。LLM的發展迅速而強勁，催生了許多強大的LLM，如GPT系列[24, 138]。 受到大型語言基礎模型在NLP中顯著成功的啟發，時間序列社區越來越關注基礎模型在時間序列分析中的潛力[25, 82, 112]。一個研究方向是從零開始用時間序列數據預訓練一個基礎模型，仿照語言基礎模型。如TimesFM[36]和TimeGPT[58]等開創性的努力已經啟動了在時間序列領域內基礎模型的預訓練。然而，與NLP領域可用的龐大語料相比，時間序列領域的數據規模相對較小，使得難以產生具有LLM那樣突現能力的基礎模型。此外，基于時間序列數據預訓練的基礎模型缺乏語言生成能力，限制了它們生成人類可讀解釋的能力。受到大型語言基礎模型在各種下游任務中強大的泛化能力的吸引，另一個研究方向集中于將大型語言基礎模型（即LLM）適配于時間序列任務。大型語言基礎模型在跨任務泛化、零次/少次學習和推理方面的優勢可以解決知識遷移、數據稀缺性和可解釋性等時間序列分析中的挑戰。廣義上，有兩種將LLM適配于時間序列任務的范式，即嵌入可見的LLM適配和文本可見的LLM適配[113, 190, 192]。它們在LLM的使用上有所不同，使用微調的提示策略來適配LLM于時間序列任務。它們都面臨著時間與LLM空間對齊、時間序列屬性和模式識別、多模態數據融合的挑戰。盡管這兩條研究線探索了基于不同結構數據集（即時間序列或文本語料）預訓練的基礎模型，但它們都致力于實現一個統一且易于理解的架構，以解決多個時間序列挑戰，并具有強大的泛化能力。

本綜述對時間序列的基礎模型的發展進行了深入分析。該評審以圖2中的四個研究問題為指導，涵蓋三個分析維度（即有效性、效率、可解釋性）和一個分類法（即領域分類法）。(1) 如何在時間序列分析的背景下有效地適應基礎模型？我們將相關工作分為兩條研究線：從頭開始為時間序列預訓練基礎模型和將大型語言基礎模型（即LLMs）適用于時間序列。對于第一條線，我們通過兩個關鍵階段討論有效性：數據收集與對齊、架構設計。對于第二條線，我們識別了兩種適配范式，即嵌入可見的LLM適配和文本可見的LLM適配。在每種適配范式下，我們討論了LLM的利用、時間序列提取和多模態數據融合。時間序列提取包括獲取適當的時間序列表示、對齊時間空間和LLM空間、識別時間序列屬性和模式等挑戰。此外，我們還研究了LLM的多樣化角色，這進一步增加了LLM適配的有效性。(2) 如何高效地為時間序列任務預訓練或微調基礎模型？鑒于這一領域正在興起，當前的高效技術是從NLP領域借鑒的。因此，我們首先提供了一份可轉移至此背景的NLP領域尖端高效方法的簡要概覽。然后，我們討論了不同調整范式下的效率，并總結了已經使用的高效方法。(3) 如何獲得時間序列應用中基礎模型行為或決策的可解釋性？模型的實際部署需要可解釋性。我們從探索AI中的可解釋性概念開始，強調全局和局部解釋。然后，我們繼續回顧和提煉現有研究中的可解釋性進展。(4) 每個時間序列應用領域中基礎模型的發展情況如何？為回答這個問題，我們引入了一個領域分類法。這個分類法使我們能夠比較每個領域內現有研究的目標、貢獻和局限。此外，我們還提供了豐富的資源，如代碼、基準數據集、時間序列庫和加速LLM的工具，以支持未來的研究工作。圖4提供了基于四個研究問題的作品的綜合概覽。

論文組織 本綜述的其余部分安排如下：第2節介紹與基礎模型和時間序列分析相關的綜述，指導讀者了解每個領域的更多研究。第3節為讀者提供關于基礎模型和時間序列任務的基本知識。第4節深入探討了時間序列的基礎模型預訓練的關鍵階段。第5節檢查了LLM向時間序列任務的適配。第6節討論了模型微調和推理的效率。第7節總結了關于解釋模型行為或決策的研究。第8節介紹了各個領域內的進展。最后，第9節提供了包括基準數據集、代碼和時間序列庫以及LLM工具在內的資源。

多語言大型語言模型利用強大的大型語言模型處理和響應多種語言的查詢，這在多語言自然語言處理任務中取得了顯著的成功。盡管取得了這些突破，但在這一領域仍缺乏一個全面的綜述來總結現有方法和最近的發展。為此，在本文中，我們提出了一個徹底的審查，并提供了一個統一的視角來總結多語言大型語言模型（MLLMs）文獻中的最新進展和新興趨勢。本文的貢獻可以總結如下：（1）第一份綜述：據我們所知，我們采取了第一步，在多語言對齊的基礎上對MLLMs研究領域進行了徹底的審查；（2）新分類法：我們提出了一個新的統一視角來總結MLLMs的當前進展；（3）新前沿：我們突出了幾個新興的前沿并討論了相應的挑戰；（4）豐富資源：我們收集了大量的開源資源，包括相關論文、數據語料庫和排行榜。我們希望我們的工作能為社區提供快速訪問并推動MLLMs的突破性研究。

近年來，大型語言模型（LLMs）在各種自然語言處理任務上取得了優異的表現（Brown et al., 2020; Touvron et al., 2023a; Bang et al., 2023; Zhao et al., 2023b; Pan et al., 2023; Nguyen et al., 2023a; Trivedi et al., 2023），并展示出了令人驚訝的突發能力，包括上下文學習（Min et al., 2022; Dong et al., 2022）、思維鏈推理（Wei et al., 2022; Huang et al., 2023a; Qin et al., 2023a）以及規劃（Driess et al., 2023; Hu et al., 2023b）。然而，大多數LLMs主要關注英語任務（Held et al., 2023; Zhang et al., 2023i），使其在多語言環境，尤其是低資源環境下表現不足。

實際上，全球有超過7000種語言。隨著全球化的加速，大型語言模型的成功應考慮服務于不同國家和語言。為此，多語言大型語言模型（MLLMs）具有全面處理多種語言的優勢，越來越受到關注。具體來說，現有的MLLMs可以根據不同階段大致分為兩組。第一系列工作（Xue et al., 2020; Workshop et al., 2022; Zhang et al., 2023g; Muennighoff et al., 2022）利用多語言數據調整參數以提升整體多語言性能。第二系列工作（Shi et al., 2022a; Qin et al., 2023b; Huang et al., 2023a）還采用先進的提示策略，在參數凍結推理階段挖掘MLLMs的更深層次多語言潛力。

盡管在MLLMs上取得了顯著成功，但仍缺乏對最近努力的全面回顧和分析，這阻礙了MLLMs的發展。為了彌補這一差距，我們首次嘗試對MLLMs進行全面而詳盡的分析。具體來說，我們首先介紹廣泛使用的數據資源（§3）。此外，由于跨語言對齊的關鍵挑戰，我們根據對齊策略引入了新的分類法（§4），旨在提供文獻中的統一視角，包括參數調整對齊和參數凍結對齊（如圖1所示）。具體來說，參數調整對齊需要在預訓練、監督微調、人類反饋學習和下游微調過程中調整模型參數以增強英語和目標語言之間的對齊。參數凍結對齊指的是通過跨語言提示實現的對齊，無需調整參數。最后，我們指出了一些潛在的前沿領域以及MLLMs面臨的相應挑戰，希望激發后續研究（§5）。

本工作的貢獻可以總結如下：（1）首次綜述：據我們所知，我們是第一個根據多語言對齊在MLLMs文獻中提出全面綜述的；（2）新分類法：我們引入了將MLLMs分類為參數凍結和參數調整兩種對齊類型的新分類法，為理解MLLMs文獻提供了統一視角；（3）新前沿：我們討論了一些新興的前沿，并突出了它們的挑戰和機遇，希望為未來研究的發展鋪路；（4）詳盡資源：我們首次嘗試組織MLLMs資源，包括開源軟件、多樣的語料庫和相關出版物的精選列表，可在//multilingual-llm.net訪問。 我們希望這項工作能成為研究者的寶貴資源，并激發未來研究的更多突破。

如圖4所示，我們引入了一種新的分類法，包括參數調整對齊（§4.1）和參數凍結對齊（§4.2），旨在為研究人員提供一個統一的視角，以理解MLLMs文獻。具體來說，參數調整對齊（PTA）包括一系列逐步進階的訓練和對齊策略，包括預訓練對齊、監督微調（SFT）對齊、人類反饋學習（RLHF）對齊，以及最終的下游微調對齊。這些階段的共同目標是系統地優化模型參數，以對齊多語言性能。相反，參數凍結對齊（PFA）側重于基于PTA的四種提示策略：直接提示、代碼切換提示、翻譯對齊提示和檢索增強對齊。這種方法保持原始模型參數，以實現預期結果。

本文提供了一個關于大型語言模型（LLMs）在軟件工程（SE）中應用的新興領域的調查。它還提出了將LLMs應用于軟件工程師面臨的技術問題的開放性研究挑戰。LLMs的新興屬性帶來了創新性和創造力，其應用覆蓋了軟件工程活動的全譜，包括編碼、設計、需求、修復、重構、性能提升、文檔和分析。然而，這些同樣的新興屬性也帶來了重大的技術挑戰；我們需要能夠可靠地剔除錯誤的解決方案，如幻覺。我們的調查揭示了混合技術（傳統的SE與LLMs相結合）在開發和部署可靠、高效和有效的基于LLM的SE中的關鍵作用。本文調查了基于LLM的SE的最近發展、進展和實證結果；即大型語言模型（LLMs）在軟件工程（SE）應用的應用。我們使用這次調查來突出這個迅速發展但尚屬初級階段的研究文獻中的空白。基于文獻中的空白和技術機會，我們還確定了軟件工程研究社區的開放問題和挑戰。盡管對這樣一個迅速擴張的領域的任何調查都既不能渴望也不能聲稱是全面的，但我們希望這次調查能為這個令人興奮的新軟件工程子學科——基于LLM的軟件工程提供一個有用且相對完整的早期概述。盡管該領域的科學和技術結構仍在形成中，但我們已經可以識別出趨勢、對未來研究的有益方向以及需要解決的重要技術挑戰。特別是，我們已經能夠辨別出與軟件工程內的現有趨勢和既定方法及子學科的重要連接（和共鳴）。盡管總的來說，我們找到了很多樂觀的理由，但仍然存在重要的技術挑戰，這些挑戰很可能在未來幾年內影響研究議程。許多作者都從科學和軼事的角度指出，LLMs普遍存在幻覺問題[1]，而且它對基于LLM的SE也帶來了特定的問題[2]。與人類智慧一樣，幻覺意味著LLM可以產生虛構的輸出。在軟件工程的背景下，這意味著創造的工程制品可能是錯誤的，但看起來是合理的；LLMs可能引入錯誤。然而，與LLMs的許多其他應用不同，軟件工程師通常有可自動化的真實依據（軟件執行），大部分軟件工程制品都可以基于此進行評估。此外，軟件工程研究社區已經花了很多時間開發自動化和半自動化技術，以檢查人類可能產生的錯誤結果。這意味著，對于這個學科和研究社區，當面對像幻覺這樣的問題所帶來的挑戰時，有大量的經驗和專業知識可以借鑒。

顯然，自動化測試技術 [3]–[5] 將在確保正確性中發揮核心作用，就像它們已經為人工設計的制品所做的那樣。在生成全新的功能和系統時，由于缺乏可自動化的oracle [6]（一種自動技術，用于確定給定輸入刺激的輸出行為是否正確），自動測試數據生成受到限制。考慮到LLMs的幻覺傾向，Oracle問題仍然非常相關，對它的解決方案將變得更加有影響力。但是，一些SE應用關心現有軟件系統的適應、改進和開發，對于這些應用，有一個現成的可自動化的oracle：原始系統的功能行為。在本文中，我們稱其為“自動回歸Oracle”，這種方法已在遺傳改進領域得到證明是有益的 [7]。自動回歸Oracle簡單地使用軟件系統的現有版本作為參考，以對任何后續的適應和更改的輸出進行基準測試。當然，有“烘焙”功能錯誤的風險，因為自動回歸Oracle無法檢測系統應該做什么，只能捕捉它當前做什么。因此，自動回歸Oracle只能測試功能退化，所以它最適合于需要保持現有功能的用例。例如，對于性能優化和語義保持不變的重構。LLM的輸入將成為越來越多研究的焦點，我們可以預期關于prompt工程和prompt優化文獻的迅速發展 [8]。在這次調查中，我們突出了關于軟件工程的幾個特定方面的prompt工程的現有工作和開放挑戰。LLM的輸出不僅可以限于代碼，還可以包括其他軟件工程制品，如需求、測試用例、設計圖和文檔。總的來說，LLM的基于語言的特性使其能夠生成任何語言定義的軟件工程制品。我們通常認為軟件工程制品是LLM的主要輸出，但它不是唯一的輸出。與主要輸出一起提供的解釋也是LLM的重要輸出。我們的調查突出了需要進行更多的研究的需求，不僅要優化prompt工程（專注于LLM的輸入），還要優化與主要輸出一起提供的解釋的工作。LLMs本質上是非確定性的：相同的prompt在不同的推斷執行中產生不同的答案（除非溫度設為零，這在多次執行中經常被發現是次優的）[9]。此外，無論溫度設置如何，prompt的微妙變化都可能導致非常不同的輸出[9]。除了激勵‘prompt工程’和輸出處理，這種非確定性行為為基于LLM的軟件工程的科學評估帶來了挑戰：如果每次我們運行整個工程過程時結果都會變化，我們如何確定所提議的技術是否超越了現有的技術？這是一個在經驗軟件工程[10]和基于搜索的軟件工程(SBSE)[11]的背景下已經被深入研究的問題。特別是，SBSE與基于LLM的軟件工程有很多相似之處，在存在嘈雜、非確定性和不完整的結果[12]、[13]的情況下實現穩健的科學評估都與之有關。因此，已經有一個成熟的軟件工程文獻專門研究適用于基于LLM的科學評估所需的穩健的科學評估技術。例如，參數和非參數的推斷統計技術現在經常被用來在SBSE學科中提供在高度非確定性算法存在的情況下的穩健的科學結論。為了找出與LLM相關的計算機科學論文，我們過濾了出版物，將其細分為以下子類別：人工智能 (cs.AI)、機器學習 (cs.LG)、神經和進化計算 (cs.NE)、軟件工程 (cs.SE) 和編程語言 (cs.PL)。我們使用查詢“Large Language Model”、“LLM”和“GPT”在標題或摘要中進行篩選（我們手動排除了重載縮寫，例如將GPT誤認為是通用規劃工具），結果是L列。最后，我們使用相同的查詢來識別基于LLM的軟件工程論文，這些論文位于軟件工程 (cs.SE) 和編程語言 (cs.PL) 類別中。這些查詢本質上是近似的，因此我們只局限于基于總體趨勢得出的結論，而這些總體趨勢有強有力的證據支持，而不是觀察到的數字的具體細節。盡管如此，我們報告了觀察到的原始數字，以支持其他人的復制。

圖2展示了arXiv上發布的計算機科學論文數量（|A|，以藍色表示）和LLM相關論文的數量（|L|，以橙色表示）的增長。特別是與軟件工程和LLM相關的論文以綠色表示（|L ∩ S|）。考慮到總體發表量的快速增長，我們為縱軸使用了對數刻度。不出所料，我們看到了計算機科學出版物數量的整體增長。同時，鑒于LLM最近受到的關注增多，LLM相關論文數量的指數增長也相對不足為奇。或許更有趣的是LLM在軟件工程應用中的快速采納，如圖中的綠色所示。為了更詳細地檢查這一趨勢，我們在圖3中畫出了LLM出版物（L）與所有計算機科學出版物（A）的比例（以藍色表示），以及基于LLM的軟件工程出版物（L ∩ S）與所有LLM出版物的比例（以橙色表示）。如圖所示，自2019年以來，基于LLM的軟件工程論文的比例已經急劇上升。目前，所有關于LLM的論文中已有超過10%與基于LLM的軟件工程有關。由于這一增長，我們可以預期將有更多其他的基于LLM的軟件工程調查。文獻的快速擴展使得進一步的全面軟件工程研究不太可能適應單篇論文的空間限制，但我們可以預期會有許多關于感興趣的子領域的全面調查，以及針對系統評審中的主要文獻提出具體研究問題的系統文獻回顧（SLRs）。例如，Hou等人[14]提供了一個出色的最新SLR，涵蓋了2017年至2023年的229篇研究論文，報告了所處理的軟件工程任務、數據收集和預處理技術，以及優化LLM性能的策略（例如提示工程）。本文的其余部分按照主要的頂級軟件開發活動和研究領域進行組織。圖1顯示了軟件開發活動、研究領域和我們論文結構之間的映射。

大型語言模型（LLMs）在自然語言處理方面展示了令人印象深刻的能力。然而，它們的內部機制仍然不清楚，這種不透明性對下游應用帶來了不希望的風險。因此，理解和解釋這些模型對于闡明它們的行為、局限性和社會影響至關重要。在本文中，我們引入了可解釋性技術的分類體系，并提供了關于解釋基于Transformer的語言模型方法的結構化概述。我們根據LLMs的訓練范式對技術進行分類：傳統的微調范式和基于提示的范式。對于每個范式，我們總結了生成個體預測的局部解釋和總體模型知識的全局解釋的目標和主要方法。我們還討論了用于評估生成解釋的度量標準，并討論了如何利用解釋來調試模型和提高性能。最后，我們比較了LLMs時代解釋技術面臨的關鍵挑戰和新興機會與傳統機器學習模型。

大型語言模型（LLMs），如BERT（Devlin等，2019a）、GPT-3（Brown等，2020）、GPT-4（Bubeck等，2023）、LLaMA-2（Touvron等，2023b）和Claude（AnthropicAI，2023），在各種自然語言處理（NLP）任務中展示出了令人印象深刻的性能。主要科技公司，如微軟、谷歌和百度，已在其商業產品和服務中部署了LLMs以增強功能。例如，微軟利用GPT-3.5來改善新Bing的搜索相關性排名（Mehdi，2023）。由于LLMs通常是復雜的“黑盒子”系統，其內部工作機制是不透明的，高復雜性使模型解釋變得更加具有挑戰性。這種模型不透明性的缺乏有時會導致生成有害內容或幻覺的產生（Weidinger等，2021）。因此，開發解釋能力以揭示這些強大模型的工作方式至關重要。

可解釋性指的是以人類可理解的方式解釋或呈現模型行為的能力（Doshi-Velez和Kim，2017；Du等，2019a）。提高LLMs的可解釋性至關重要，有兩個關鍵原因。首先，對于一般終端用戶，可解釋性通過以可理解的方式闡明模型預測背后的推理機制來建立適當的信任，無需技術專業知識。通過這種方式，終端用戶能夠理解LLMs的能力、局限性和潛在缺陷。其次，對于研究人員和開發人員，解釋模型行為提供了洞察力，以識別意外偏見、風險和性能改進的領域。換句話說，可解釋性充當了一個調試輔助工具，可以快速提高下游任務上的模型性能（Strobelt等，2018；Bastings等，2022；Yuksekgonul等，2023）。它有助于追蹤模型能力隨時間的變化，進行不同模型之間的比較，并開發可靠、道德和安全的模型，以供實際部署使用。 由于LLMs的獨特屬性，其可解釋性技術與傳統機器學習（ML）模型的技術有所不同。LLMs和傳統ML模型之間的差異可以歸因于多個方面。從數據的角度來看，ML模型以監督方式依賴人工構建的特征，而LLMs旨在自動從原始輸入數據中學習特征（Chai和Li，2019）。解釋LLMs捕捉了哪些特征以及這些特征中包含了什么知識是重要的。從模型的角度來看，傳統ML模型通常是針對具體任務設計的，具有不同的模型架構（Liu和Sun，2023）。相比之下，經過廣泛數據集的預訓練的LLMs可以通過微調泛化到各種下游任務（Yang等，2023）。此外，LLMs的注意力機制已被廣泛用于通過為輸入的相關部分分配更高的值來確定輸入的重要性（Hu，2020）。由于注意力權重中編碼的知識和模式可能提示了模型的理解，注意力權重可以被認為是精細調校模型的另一個重要解釋標準。此外，由于LLMs的性能更好，還應進一步研究transformer的組件，包括神經元、層和模塊，學到了什么以及它們是否有不同的功能。從應用的角度來看，傳統ML模型專注于低級模式識別任務，如解析和形態分析，而LLMs可以處理高級推理任務，如回答問題和常識推理（Lauriola等，2022）。特別是，理解LLMs在上下文學習和思維鏈提示以及幻覺現象方面的獨特能力對于解釋和改進模型至關重要。為了更好地理解和改進LLMs，有必要回顧和總結專為LLMs定制的解釋技術。 在本文中，我們提供了一種解釋基于Transformer的語言模型的方法的全面概述。在第2節中，我們介紹了應用LLMs的兩個主要范式：1）傳統的下游微調范式和2）提示范式。基于這一分類，我們在第3節中回顧了適用于微調LLMs的解釋方法，并在第4節中回顧了適用于提示LLMs的解釋方法。在第5節中，我們討論了解釋方法的評估。最后，在第6節中，我們進一步討論了與傳統機器學習模型相比解釋LLMs所面臨的研究挑戰，并提供了有關潛在未來研究方向的見解。本文旨在全面整理關于解釋復雜語言模型的最新研究進展。 LLMs的訓練范式

LLMs的訓練可以基本分為兩個范式，傳統微調和提示，根據它們如何用于適應下游任務。由于這兩個范式之間存在重大區別，因此分別提出了各種類型的解釋（如圖1所示）。 傳統微調范式

在這個范式中，首先對語言模型進行了大規模無標簽文本數據的預訓練，然后在特定下游領域的一組標記數據上進行微調，例如GLUE基準測試中的SST-2、MNLI和QQP（Wang等人，2019）。在微調過程中，很容易在語言模型的最終編碼器層上方添加完全連接的層，使其適應各種下游任務（Rogers等人，2021）。這個范式已經在包含多達十億參數的中型語言模型上取得了成功。例如，包括BERT（Devlin等人，2019a）、RoBERTa（Liu等人，2019）、ELECTRA（Clark等人，2020）、DeBERTa（He等人，2021）等。對于這個范式的解釋重點在于兩個關鍵領域：1）理解自監督預訓練如何使模型獲得語言的基礎理解（例如句法、語義和上下文關系）；以及2）分析微調過程如何賦予這些預訓練模型有效解決下游任務的能力。

**提示范式 **

提示范式涉及使用提示，例如自然語言句子中的空白，以便模型填充，實現零樣本學習或少樣本學習，而無需額外的訓練數據。根據其開發階段，這個范式下的模型可以分為兩種類型： 基礎模型：隨著LLMs的規模和訓練數據的增加，它們展示了令人印象深刻的新能力，無需額外的訓練數據。其中一種能力是通過提示實現少樣本學習。這種類型的范式通常適用于大規模語言模型（擁有數十億參數）（例如GPT-3（Brown等人，2020）、OPT（Zhang等人，2022b）、LLaMA-1（Touvron等人，2023a）、LLaMA-2（Touvron等人，2023b）、Falcon（Almazrouei等人，2023））。這些模型被稱為基礎模型或基礎模型，它們可以與用戶進行對話，無需進一步與人類喜好對齊。大規模模型通常適用于這種范式，規模超過10億。例如，LLaMA-2（Touvron等人，2023b）擁有高達700億個參數。基礎模型的解釋旨在理解模型如何學習在回應提示時利用其預訓練知識。 助手模型：基礎模型存在兩個主要限制：1）它們不能按照用戶的指令進行操作，因為預訓練數據包含少量指令-響應示例，2）它們傾向于生成有偏見和有毒的內容（Carlini等人，2023）。為了解決這些限制，基礎模型通過監督微調進一步進行微調（見圖2），以實現人類級別的能力，例如開放域對話。關鍵思想是通過將模型的響應與人類反饋和喜好對齊來實現。這個過程最典型的方式是通過（提示，響應）演示對和來自人類反饋的強化學習（RLHF）進行指導調整。模型通過自然語言反饋進行訓練，以進行復雜的多輪對話。屬于這一類別的模型包括OpenAI的GPT-3.5和GPT4（Bubeck等人，2023）、Anthropic的Claude（AnthropicAI，2023）以及一些開源模型，如Meta的LLaMA-2-Chat（Touvron等人，2023b）、Alpaca（Taori等人，2023）和Vicuna（Chiang等人，2023）。這些模型也可以稱為助手模型、聊天助手或對話模型。助手模型的解釋重點在于理解模型如何從對話中學習開放式互動行為。

**傳統微調范式的解釋 **

在本節中，我們回顧了針對采用預訓練和下游微調范式訓練的LLMs的解釋技術。首先，我們介紹了提供局部解釋（第3.1節）和全局解釋（第3.2節）的方法。在這里，局部解釋旨在提供對語言模型如何對特定輸入實例進行預測的理解，而全局解釋旨在提供對LLM整體工作方式的廣泛理解。接下來，我們討論了如何利用解釋來調試和改進模型（第3.3節）。

局部解釋

解釋的第一類別涉及解釋LLMs生成的預測。讓我們考慮這樣一種情景，我們有一個語言模型，并將特定文本輸入模型。模型隨后產生分類輸出，例如情感分類或下一個標記的預測。在這種情景下，解釋的作用是闡明模型生成特定分類或標記預測的過程。由于目標是解釋LLM如何為特定輸入做出預測，我們將其稱為局部解釋。這個類別包括四個主要方法流，包括基于特征歸因的解釋、基于注意力的解釋、基于示例的解釋和自然語言解釋。

**全局解釋 **

不同于旨在解釋模型的個體預測的局部解釋，全局解釋有助于從模型的角度理解LLMs的工作方式。全局解釋旨在理解個體組件（神經元、隱藏層和較大模塊）編碼了什么，以及解釋了個體組件所學習的知識/語言屬性。我們考察了三種主要的全局解釋方法：探測方法，用于分析模型表示和參數；神經元激活分析，用于確定模型對輸入的響應性；以及基于概念的方法。

**提示范式的解釋 **

在本節中，我們介紹了解釋屬于提示范式的模型的技術，包括1）解釋基礎模型，如LLaMA-2（第4.1節），2）解釋助手模型，如LLaMA-2-Chat（第4.2節），以及3）如何利用LLMs的推理和解釋能力生成用戶友好的解釋（第4.3節）。

基礎模型解釋

隨著語言模型的規模增大，它們展示出了新的能力，如少樣本學習，即僅從少量示例中學習概念的能力。它們還展示了一種思維鏈（CoT）提示能力。鑒于這些新興屬性，解釋性研究有三個主要目標：1）研究提供解釋是否實際有助于模型自身更快地從僅有少量示例中“理解”新任務，2）理解這些大型語言模型如何能夠迅速從有限示例中掌握新任務，從而幫助終端用戶解釋模型的推理，以及3）解釋思維鏈提示。

**助手模型解釋 **

由于大規模無監督預訓練和有監督對齊微調，屬于這一范式的LLMs具有強大的推理能力。然而，它們的巨大規模也使它們容易生成問題輸出，如幻覺。解釋性研究旨在：1）闡明對齊微調的作用，2）分析幻覺產生的原因。

結論

在本文中，我們提供了對LLMs的可解釋性技術的全面概述。我們總結了基于模型訓練范式的局部和全局解釋方法。我們還討論了如何利用解釋來改進模型、評估以及主要挑戰。未來的重要發展選項包括開發針對不同LLMs的解釋方法、評估解釋的忠實性，以及提高人類可解釋性。隨著LLMs的不斷進步，可解釋性將變得極其重要，以確保這些模型具有透明性、公平性和益處。我們希望這份調查為這一新興研究領域提供了有用的組織，同時突顯了未來工作的開放性問題。

隨著大型語言模型（LLM）發展的日益普及，吸引了大量關注，各種應用領域的模型不斷涌現。然而，將大型語言模型與語義技術相結合以進行推理和推斷仍然是一項具有挑戰性的任務。本文分析了當前在基礎LLM方面的進展，如ChatGPT，如何與專用預訓練模型，如REBEL，進行比較，以實現實體和關系的聯合提取。為了評估這種方法，我們使用與可持續性相關的文本作為案例，進行了多個實驗。我們創建了從原始文本自動生成知識圖譜的流程，并發現使用先進的LLM模型可以提高從非結構化文本創建這些圖譜的過程的準確性。此外，我們還探討了使用基礎LLM模型進行自動本體創建的潛力，從而生成更相關且準確的知識圖譜。本節描述了本研究中使用的方法，包括數據收集過程以及用于分析收集到的數據的實體-關系提取算法。

**A. 數據收集過程 **為了對實體-關系提取的兩種方法進行實驗性比較，我們從網絡上收集了有關可持續性主題的新聞數據。為此，我們使用了News API [21]系統。News API是一個HTTP REST API，用于從網絡上搜索和檢索實時文章。它提供了通過指定以下選項在網絡上發布的文章中進行搜索的功能：關鍵詞或短語、發布日期、來源域名和語言。通過使用News API，我們收集了2023-02-15至2023-03-19關于可持續性主題的94篇新聞文章。收集到的文本包含各種字數，從50個到超過4200個不等。由于輸入到語言模型中的令牌數量受到限制，因此需要進行額外的預處理步驟來處理包含大量單詞的文本。

**B. 關系提取方法 **關系提取是自然語言處理（NLP）中的一項基本任務，旨在識別句子或文檔中實體之間的語義關系。這項任務具有挑戰性，因為它需要理解實體出現的上下文以及它們之間存在的關系類型。在本小節中，我們將介紹如何利用REBEL和ChatGPT進行關系提取任務。1) REBEL：我們首先嘗試使用REBEL從非結構化新聞文章中提取關系。為了讓REBEL能夠使用提供的文本，需要使用相應的分詞器功能對其進行分詞。分詞是將原始文本分割成稱為令牌的較小單位的過程。令牌可以是單詞、字符或子詞。模型對令牌的限制為512個令牌，這意味著在將較長的收集到的文章發送到模型進行三元組提取之前，需要對其進行預處理。為了解決這個限制，我們將原始文本進行分詞，并將令牌劃分為256個令牌的批次。這些批次分別由REBEL模型處理，然后合并結果以提取較長文本的關系。還向提取的關系添加元數據，引用生成關系的令牌批次。采用這種方法，由于令牌批次可能在句子的中間開始或結束，某些關系可能無法準確提取。然而，這種情況發生的次數微乎其微。因此，我們將其處理留給未來的工作。實體-關系提取過程完成后，提取的信息存儲在三元組結構中。為了進一步規范提取的實體，我們執行實體鏈接[22]。實體鏈接是指將原始文本中提到的實體與知識庫中相應實體進行識別和關聯的過程。實體鏈接過程不屬于REBEL模型的一部分，它是用于優化提取關系的額外后處理步驟。在本研究中，我們使用DBpedia作為知識庫，并認為如果兩個實體具有相同的DBpedia URL，則它們是相同的。這方法不適用于DBpedia上不存在的實體。

2. ChatGPT：本文采用的第二種方法使用了OpenAI的ChatGPT [12]。我們使用ChatGPT創建了兩個實驗。第一個實驗提示ChatGPT從收集到的新聞文章中提取關系。在提取關系之后，我們遵循與REBEL模型相同的步驟，以創建一個全面的知識庫。第二個實驗側重于創建一個直接生成整個知識庫并編寫描述文本中識別到的概念的本體的提示。這種方法的目標是減少為了獲得最終知識圖譜而需要執行的手動步驟的數量。對于這兩個實驗，我們將參數“溫度”的值設為0，以獲得更具確定性的輸出，因為OpenAI模型本質上是非確定性的。

知識圖譜嵌入是監督學習模型，學習帶標簽、有向多圖的節點和邊的向量表示。我們描述了它們的設計原理，并解釋了為什么它們在圖表示學習和更廣泛的NLP社區中受到越來越多的關注。我們強調了它們的局限性、開放的研究方向和真實世界的用例。除了理論概述之外，我們還提供了一個handson會議，在那里我們展示了如何在實踐中使用這些模型。