亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大語言模型（LLMs）為可解釋人工智能（XAI）提供了一種前景廣闊的研究路徑——通過將復雜的機器學習輸出轉化為易于理解的敘述，使模型預測更貼近用戶認知，從而彌合先進模型行為與人類可解釋性之間的鴻溝。 當前，最先進的神經網絡與深度學習模型等AI系統常因缺乏透明度被視為“黑箱”。由于用戶無法充分理解模型的決策邏輯，其對AI結論的信任度往往不足，進而導致決策效率降低、責任歸屬模糊以及潛在偏見難以察覺。因此，如何構建可解釋AI（XAI）模型以贏取用戶信任并揭示模型的內在機制，已成為關鍵研究挑戰。隨著大語言模型的發展，我們得以探索基于人類語言的LLMs在模型可解釋性領域的應用潛力。

本綜述系統性回顧了LLMs賦能XAI的現有方法體系與解釋生成評估技術，剖析了相關挑戰與局限，并考察了實際應用案例。 最后，我們展望未來研究方向，強調需通過LLMs發展更具可解釋性、自動化、以用戶為中心且融合多學科智慧的XAI新范式。

1 引言 近年來，人工智能（AI）技術的飛速進步推動了深度學習等復雜模型的快速發展。AI模型已在醫療、金融等諸多領域展現出卓越能力[72][30]。然而，隨著模型復雜度的提升，其決策過程因缺乏透明度而難以追溯[12]——這種被稱為"黑箱"的問題嚴重制約了用戶信任，尤其在醫療和金融等關鍵領域的應用推廣[15]。盡管學界持續致力于提升AI模型的可解釋性[59]，但缺乏機器學習背景的專家仍難以理解系統決策邏輯。

透明度的缺失將直接導致三重困境：

在醫療場景中，醫生可能無法理解模型推薦特定治療方案的原因，導致難以采信其建議；

在金融領域，分析師若無法解讀AI市場預測的依據，則可能對模型輸出猶豫不決；

更廣泛而言，這會降低決策效率、模糊責任歸屬，并掩蓋潛在偏見。

可解釋人工智能（XAI）正通過創新方法提升神經網絡等前沿模型（如圖像識別中的卷積神經網絡CNN、序列數據處理中的循環神經網絡RNN、圖像生成中的對抗生成網絡GAN）的可解釋性，力求在保持準確率等性能指標的同時增強透明度[12]。XAI的核心在于平衡模型效能與可理解性，這一挑戰貫穿所有應用場景[119][144][27]。有效的解釋機制能建立用戶信任、確保責任追溯，并促進AI倫理應用。

大語言模型（LLMs）的革新價值： 作為連接復雜AI系統與XAI的橋梁，LLMs憑借其自然語言處理能力[90]正在多個領域發揮關鍵作用：

醫療：輔助診斷與個性化診療[130]，例如在醫學影像分析中，LLMs可解釋模型為何將肺部掃描標記為異常，并指出特定疾病關聯特征；

金融：支持風險評估與市場預測[143]；

自然語言處理（NLP）：賦能文本分類、摘要生成與情感分析等任務。

LLMs通過以下方式推動XAI發展：

動態解釋生成：理解用戶問題后生成情境化解釋[109][123][125]；

架構可視化：直接解析復雜機器學習模型的結構與輸出邏輯[77]；

反事實推演：通過簡單提示即可識別預測關鍵特征并生成對比解釋（如研究[16][97]所示）。

這些實踐印證了LLMs在提升AI決策透明度和可信度方面的巨大潛力，為構建跨領域可解釋AI系統開辟了新路徑。

如圖2與表1所示，本研究系統探討了基于大語言模型（LLMs）的可解釋性實現路徑，重點論述以下三類方法：

1. 事后解釋法（Post-hoc Explanations） 對應因果可解釋性，通過分析特定輸入如何導致特定輸出，為機器學習（ML）模型的預測結果提供歸因解釋。例如：當圖像分類模型將某病理切片判定為惡性腫瘤時，該方法可定位影響決策的關鍵圖像區域。

2. 內在可解釋設計（Intrinsic Explainability） 面向工程師的可解釋性需求，通過LLMs參與機器學習模型架構設計，使模型自身具備解釋能力。典型實踐包括：利用注意力機制可視化神經網絡決策路徑，或構建模塊化推理鏈條。

3. 人本敘事生成（Human-Centered Narratives） 旨在建立信任導向的可解釋性，借助自然語言將模型輸出轉化為符合用戶認知的敘事。以醫療場景為例：當AI預測患者未來五年高血壓風險較高時（基于高膽固醇史、家族病史、年齡體重等因素），即使當前血壓正常，系統可生成如下解釋：

"盡管患者目前血壓值在正常范圍內，但結合其高膽固醇病史（+37%風險權重）、一級親屬高血壓家族史（+28%風險權重）及BMI指數（+15%風險權重），模型預測五年內患病概率達68%。建議加強生活方式干預與定期監測。" 此類敘事幫助醫生理解預測依據，從而建立決策信任。

本綜述還將探討解釋效果的評估技術及其在實際場景中的應用范式。

圖片 挑戰與局限分析 如圖3所示，我們圍繞三個維度討論LLMs實現AI可解釋性的瓶頸：

隱私與社會規范沖突：醫療數據脫敏需求與解釋詳盡性之間的平衡；

系統復雜性管理：多模態模型（如結合CT影像與電子病歷的診斷系統）的跨模態解釋生成；

領域適配難題：金融領域術語（如"量化寬松"）與法律文書語義的精準轉換。

通過圖4的顯著圖（Saliency Maps）對比，我們進一步分析不同LLM架構（如Transformer、MoE）在可解釋性側重上的差異。最后提出未來研究方向：通過模型架構創新與敘事策略的協同優化，構建兼具性能與透明度的新一代可解釋AI系統。

基礎模型（Foundation Models）最早于 2021 年提出，是指大規模的預訓練模型（如大語言模型（LLMs）和視覺-語言模型（VLMs））。這些模型通過無監督方法從海量的未標注數據中學習，使其在多種下游任務中表現卓越。例如，GPT 等基礎模型可以適應各種應用場景，如問答系統和視覺理解，相較于傳統的任務專用 AI 模型具有更強的泛化能力，因此得名“基礎模型”，體現了其在多個領域的廣泛適用性。 生物醫學基礎模型的出現標志著人工智能（AI）在解析復雜生物現象、推進醫學研究與臨床實踐方面邁出了重要一步。本綜述探討了基礎模型在生物醫學領域的多種應用，包括計算生物學、藥物發現與開發、臨床信息學、醫學影像以及公共健康等方向。本文的目標是激發研究人員進一步探索基礎模型在健康科學中的應用潛力，推動該領域的持續發展。

1 引言（Introduction）

“基礎模型”（Foundation Model）這一術語最早于 2021 年提出 [1]，通常指大語言模型（LLMs）和視覺-語言模型（VLMs）。這些模型基于大規模數據集進行預訓練，通常采用無監督學習方法，使其能夠勝任多種下游任務。通過從海量未標注數據中學習，基礎模型具備了強大的能力，可將輸入映射到潛在嵌入空間，從而能夠無縫適配各種任務，并持續優于傳統的任務專用 AI 模型 [2,3]。例如，GPT [4] 經過大規模語言與視覺數據的預訓練，在問答系統、信息檢索和視覺理解等任務中均表現出色。由于其變革性的潛力和廣泛的適用性，這些模型被統稱為“基礎模型”。 基礎模型的興起與發展可歸因于以下幾個關鍵因素：

1. 海量未標注數據：雖然數據資源極其豐富，但監督訓練由于標注成本高昂而難以實現 [1]。
2. AI 模型規模增長：AI 模型架構日趨龐大，但有限的標注數據限制了其充分利用模型能力 [5]。
3. 通用化的擴展規律：研究發現，通過大規模訓練，模型性能會隨著模型尺寸、數據規模和計算資源的增加而穩定提升 [6]。
4. 高效的下游任務適配：預訓練后，只需少量標注數據進行高效微調，即可在特定任務上超越傳統任務專用 AI 模型。

在自然語言和圖像處理領域，基礎模型（如 GPT 和 Claude）的成功，使得其在醫療健康領域的應用成為了直觀的延展方向。基礎模型在醫療健康中的應用涵蓋多個子領域：

• 計算生物學：基礎模型的卓越自然語言處理能力可以促進計算生物學的發展。DNA、RNA 和蛋白質序列可被視為一種“自然語言”，基礎模型能夠學習其潛在模式，從而深入解析基因組信息。
• 藥物發現與開發：基礎模型可加速靶點識別、優化分子設計，并預測分子間的相互作用與性質，從而降低新藥開發的時間和成本 [7]。
• 臨床信息學：基礎模型能夠高效處理數百萬乃至數十億條臨床與患者數據（包括結構化和非結構化數據），提取癥狀模式，從而提升疾病評估能力，并助力個性化治療方案的制定。
• 醫學影像分析：基礎模型可用于醫學影像的分割、異常檢測及跨模態（如 MRI、CT）診斷預測 [8]，從而提高診斷準確性并優化醫療工作流。
• 公共健康：基礎模型在疾病監測、流行病建模、錯誤信息檢測等方面的應用，有助于制定更有效的公共健康干預措施。

因此，生物醫學基礎模型正在不斷拓展應用邊界，為臨床醫生、研究人員和患者提供更強的支持。 本綜述旨在回顧現有生物醫學基礎模型的研究進展，概述其發展歷程，總結當前面臨的挑戰，并探討潛在的研究方向，以為健康科學領域的研究人員提供理論基礎。具體而言，本文將重點討論基礎模型在計算生物學、藥物發現與開發、臨床信息學、醫學影像和公共健康等多個生物醫學領域的應用（見圖 1）。

2 計算生物學（Computational Biology）

**

**

分子生物學的中心法則（central dogma）提供了一個基礎框架，描述了遺傳信息在生物體內的流動過程 [9]（圖 2）。基因組信息以 DNA 形式編碼，并轉錄（transcription）為 RNA，隨后翻譯（translation）為蛋白質。這個過程將 DNA 的四種核苷酸代碼轉換為由 20 種氨基酸組成的蛋白質代碼，而蛋白質最終折疊成三維結構，以執行各種細胞功能。理解中心法則對于推進遺傳學、醫學、生物技術和進化生物學的發展至關重要，同時也是基因工程、基因治療和藥物開發等創新領域的基石。因此，諸如三維染色質遺傳信息、RNA 介導的基因表達譜，以及支撐細胞功能的蛋白質結構等主題，構成了計算生物學的核心內容。本節探討基礎模型（foundation models）在這些領域的應用，包括基因組信息、基于 RNA 的基因表達譜分析，以及蛋白質結構與功能的研究。

基因組信息（Genome Information）

盡管編碼蛋白質合成的遺傳密碼是通用的，但調控基因表達時間和方式的調控代碼在不同細胞類型和生物體之間存在差異 [10]。這種調控代碼主要存在于非編碼 DNA 區域，后者約占整個基因組的 98%，其中包含關鍵的功能元件，如增強子（enhancers）、啟動子（promoters）和絕緣子（insulators）。這些元件在調控基因表達和抑制過程中發揮重要作用，因此研究非編碼 DNA 對于理解基因調控、個體發育、疾病機理和進化過程至關重要。 鑒于 DNA 的巨大潛力和影響，研究者們開發了基礎模型來增強我們對 DNA 語言的理解。例如，BigBird [11] 率先在 DNA 序列編碼方面提出了一種基于 Transformers 的方法，能夠處理更長的序列。在此基礎上，一系列 DNA 語言模型相繼問世，并在多個下游任務（如 RNA 表達預測、增強子活性預測等）中展現了強大的能力。其他相關研究列于表 1。為了公平比較不同的模型，GenBench [12] 提出了一個全面的基準測試套件，以評估不同的基因組基礎模型。 除了 1D DNA 序列研究外，HiCFoundation [13] 最近被提出用于研究 3D DNA 及其功能意義。結合這些基礎模型的研究，有助于深入理解基因組序列與結構對基因調控和表達的影響。

RNA 介導的基因表達譜（Gene Expression Profiles by RNA）

基因表達譜 [14] 是研究基因動態活動的重要工具，能夠直接反映基因活性。通過對不同樣本或條件下 RNA 分子的豐度進行定量和比較，基因表達譜分析可以識別哪些基因被激活或抑制、哪些基因具有差異表達，或者哪些基因參與特定的生物過程。 傳統的整體 RNA 測序（bulk RNA-seq）提供的是樣本的平均基因表達水平，但這可能掩蓋細胞異質性，導致關鍵信息的丟失。相比之下，單細胞 RNA 測序（scRNA-seq）能夠在單細胞水平上解析基因表達模式，為研究細胞多樣性和變異性提供了更細粒度的信息。SCimilarity [15] 是單細胞基因表達分析領域最具代表性的基礎模型之一，能夠在不同單細胞 RNA 測序數據集中比較轉錄相似的細胞。其他相關基礎模型列于表 2。這些模型所生成的基因和細胞嵌入（embeddings）極大地促進了我們對不同細胞類型基因表達動態的理解，并在揭示個體發育、疾病機制和治療反應的分子基礎方面展現出巨大潛力。

蛋白質結構與蛋白質設計（Protein Structure and Protein Design）

預測蛋白質的三維結構和功能在解析生物學過程方面發揮著關鍵作用 [16]。蛋白質的三維結構決定了其具體功能，例如催化化學反應、傳遞信號等。準確的結構預測能夠揭示疾病的分子基礎，并進一步指導藥物發現。近年來，計算方法為填補蛋白質結構知識的空白、揭示分子層面的生命復雜性提供了一種高效且可擴展的方式。 AlphaFold2 [17] 作為高精度蛋白質結構預測的大規模模型，已在結構生物學領域引發革命。它能夠以接近實驗水平的準確度預測蛋白質結構，大幅加速了人們對蛋白質功能和相互作用的研究。在蛋白質結構預測取得突破的基礎上，蛋白質設計（protein design）也迅速發展為一個互補學科，研究人員可以通過計算方法創造或改造具有特定功能或性質的蛋白質。蛋白質設計使得新型酶、治療性分子和藥物的開發成為可能，為醫學、生物技術和合成生物學提供了新的解決方案，從而推動疾病治療和可持續工業流程的發展。 最近的研究進一步推動了大規模模型和基礎模型在蛋白質結構預測與蛋白質設計方面的應用，相關進展總結于表 3。

基礎模型的崛起已經改變了機器學習研究，推動了揭示其內部機制的努力，并開發出更高效、更可靠的應用以實現更好的控制。盡管在解釋大規模語言模型（LLMs）方面已取得顯著進展，但多模態基礎模型（MMFMs）——如對比視覺-語言模型、生成視覺-語言模型和文本到圖像模型——在可解釋性上提出了超越單模態框架的獨特挑戰。盡管已有初步研究，但LLMs與MMFMs的可解釋性之間仍存在顯著差距。本綜述探索了兩個關鍵方面：（1）將LLM可解釋性方法適應到多模態模型；（2）理解單模態語言模型與跨模態系統之間的機制差異。通過系統回顧當前的MMFM分析技術，我們提出了一種結構化的可解釋性方法分類法，比較了單模態與多模態架構中的洞察，并突出了關鍵的研究空白。

1. 引言

多模態基礎模型（MMFMs）的快速發展與廣泛應用——尤其是圖像和文本模態的融合——已經推動了眾多實際應用的實現。例如，文本到圖像模型（Rombach等，2022；Ramesh等，2022；Podell等，2023）促進了圖像生成和編輯，生成式視覺-語言模型（VLMs）（Zhu等，2023；Agrawal等，2024）支持視覺問答（VQA）或圖像描述等任務，而對比（即非生成式）VLMs，如CLIP（Radford等，2021），則廣泛用于圖像檢索。隨著多模態模型的不斷進步，人們對理解其內部機制和決策過程的需求也日益增加（Basu等，2024a）。機制可解釋性不僅對解釋模型行為至關重要，還對啟用下游應用（如模型編輯（Basu等，2024a）、減少虛假相關（Balasubramanian等，2024）、以及提高組合泛化能力（Zarei等，2024））具有重要意義。 機器學習中的可解釋性，LLMs和多模態模型的可解釋性是一個廣泛且依賴上下文的概念，因任務、目標和利益相關者需求的不同而有所變化。在本綜述中，我們采用Murdoch等（2019）提出的定義：“提取并闡明模型所學習的相關知識、機制、特征和關系的過程，無論這些知識是編碼在其參數中還是通過輸入模式表現出來，從而解釋模型是如何以及為什么生成輸出的。”該定義強調了提取和理解模型知識，但“相關知識”的定義取決于應用的背景。例如，在記憶編輯應用中，可解釋性使得可以精確地修改內部表示而不會干擾模型的其他功能；而在安全性場景中，它有助于突出信號對抗性輸入的輸入特征和激活。通過這種視角，本綜述探討了可解釋性方法，研究它們如何揭示模型機制、促進實際應用并揭示關鍵的研究挑戰。 盡管在單模態大規模語言模型（LLMs）（Meng等，2022a；Marks等，2024）方面，關于可解釋性的研究取得了顯著進展，但對MMFMs的研究仍然相對滯后。鑒于大多數多模態模型都是基于變換器（Transformer）的，出現了幾個關鍵問題：LLM的可解釋性方法能否適應多模態模型？如果能，它們是否能提供類似的見解？多模態模型與單模態語言模型在機制上是否存在根本的差異？此外，分析跨模態交互等多模態特有過程時，是否需要全新的方法？最后，我們還探討了可解釋性的實際影響，提出問題——多模態可解釋性方法如何增強下游應用？ 為了解答這些問題，我們進行了一項全面的綜述，并引入了一個三維的多模態模型機制可解釋性分類法：（1）模型家族——涵蓋文本到圖像擴散模型、生成式VLMs和非生成式VLMs；（2）可解釋性技術——區分從單模態LLM研究中適應的技術與專門為多模態模型設計的方法；（3）應用——分類多模態機制見解增強的實際任務。 我們的綜述綜合了現有的研究，并揭示了以下見解：（i）基于LLM的可解釋性方法可以通過適度調整擴展到MMFMs，特別是在將視覺和文本輸入類似對待時。（ii）出現了新的多模態挑戰，如如何將視覺嵌入轉化為人類可理解的形式，這需要全新的專門分析方法。（iii）盡管可解釋性有助于下游任務，但在多模態模型中，像幻覺緩解和模型編輯這樣的應用相比語言模型仍然較為欠缺。這些發現可以為未來多模態機制可解釋性研究提供指導。 最近，Dang等（2024）提供了一個關于MMFMs的可解釋性方法的廣泛概述，涵蓋了數據、模型架構和訓練范式。另一項并行工作（Sun等，2024）從歷史視角回顧了多模態可解釋性方法，涵蓋了2000年至2025年的研究。盡管具有啟發性，我們的工作在重點和范圍上有所不同。具體來說，我們的工作考察了現有的LLM可解釋性技術如何適應不同的多模態模型，分析了單模態和多模態系統在技術、應用和研究發現上的關鍵差異。 我們的貢獻總結如下：

• 我們提供了一份關于多模態基礎模型的機制可解釋性的全面綜述，涵蓋了生成式VLMs、對比VLMs和文本到圖像擴散模型。
• 我們引入了一個簡單直觀的分類法，有助于區分單模態和多模態基礎模型中的機制方法、發現和應用，突出了關鍵的研究空白。
• 基于LLMs和多模態基礎模型之間的機制差異，我們識別了多模態可解釋性中的基本開放挑戰和局限性，并為未來的研究提供了方向。

2. 分類法

在我們的綜述中，我們提出了一個易于理解的分類法，用于從三個維度對機制可解釋性技術進行分類：（i）維度1提供了對各種多模態模型家族的機制見解，包括非生成式VLMs（例如CLIP）、文本到圖像模型（例如Stable-Diffusion）和多模態語言模型（例如LLaVa）。我們在第3節描述了本文研究的架構；（ii）維度2分類了技術是否用于語言模型（第4節）或是專門為多模態模型設計的（第5節）；（iii）維度3將這些機制方法的見解與下游實際應用（第6節）相鏈接。分類法在圖1中進行了可視化。特別是，見解和應用的分布與第4、5、6節相對應。 我們相信這種簡單的分類將有助于讀者：（i）理解語言模型與多模態模型在機制見解和應用方面的差距，以及（ii）識別機制可解釋性（及其應用）尚未充分探索的多模態模型。 3 模型架構細節

在本節中，我們介紹了本綜述涵蓋的多模態模型的三個主要類別，包括（i）對比（即非生成）視覺-語言模型，（ii）生成視覺-語言模型，以及（iii）文本到圖像擴散模型。我們選擇這三個家族，因為它們涵蓋了當前社區使用的大多數最先進的架構。 非生成視覺-語言模型 非生成視覺-語言模型（如CLIP，Radford等，2021；ALIGN，Jia等，2021；FILIP，Yao等，2021；SigCLIP，Zhai等，2023；DeCLIP，Li等，2022；LLIP，Lavoie等，2024）通常包含一個基于語言模型的文本編碼器和一個基于視覺模型的視覺編碼器。這些模型特別適用于現實世界的應用，如文本引導的圖像檢索、圖像引導的文本檢索和零樣本圖像分類。 文本到圖像擴散模型 最先進的文本引導圖像生成模型主要基于擴散目標（Rombach等，2022；Ho等，2020），該目標預測在前向擴散過程中添加的噪聲，使其能夠在反向擴散過程中逐漸將隨機高斯噪聲去噪為干凈的圖像。一個擴散模型通常包含一個文本編碼器（如CLIP）和一個基于CNN的U-Net（Ronneberger等，2015）用于去噪以生成圖像。具有此目標的早期文本到圖像生成模型變體包括Stable-Diffusion-1（Rombach等，2022）（在壓縮的潛在空間中執行擴散過程）和Dalle-2（Ramesh等，2022）（在圖像空間中執行擴散過程，而不是在壓縮的潛在空間中）。最近，SD-XL（Podell等，2023）通過使用更大的去噪UNet和改進的條件（如文本或圖像）機制，改進了早期的Stable-Diffusion變體。最近的模型如Stable-Diffusion-3（Esser等，2024）通過（i）使用修正流公式，（ii）可擴展的Transformer架構作為擴散骨干，以及（iii）使用強大的文本編碼器集合（如T5，Raffel等，2020；Chung等，2022），獲得了比以前的Stable-Diffusion變體更強的圖像生成結果。除了圖像生成，文本到圖像模型還可以應用于圖像編輯（Hertz等，2022）和風格遷移（Zhang等，2023）。 生成視覺-語言模型 在我們的論文中，我們研究了最常見的生成VLMs，這些模型通過橋接模塊將視覺編碼器（如CLIP）連接到大型語言模型。這個橋接模塊（如幾個MLP層，Liu等，2023a；或Q-former，Li等，2023b）然后在大規模圖像-文本對上進行訓練。Frozen（Tsimpoukelli等，2021）是最早利用大型語言模型進行圖像理解任務（如少樣本學習）的工作之一。后續工作如MiniGpt（Zhu等，2023）、BLIP變體（Li等，2023b）和LLava（Liu等，2023a）通過修改訓練數據的規模和類型以及底層架構，改進了Frozen。最近，許多工作集中在策劃高質量圖像-文本對，涵蓋各種視覺-語言任務。Owen（Yang等，2024a）、Pixtral（Agrawal等，2024）和Molmo（Deitke等，2024）是一些最近的多模態語言模型，專注于高質量的圖像-文本策劃數據。多模態語言模型具有各種現實世界的應用，如VQA和圖像字幕。 注意。我們承認能夠同時進行圖像生成和多模態理解的統一Transformer多模態模型的出現，如Xie等（2024a）；Team（2024）；Dong等（2024）。然而，由于缺乏對這些模型的機制可解釋性研究，我們將它們排除在討論之外。此外，另一種模型架構變體，旨在生成交錯的圖像和文本，如GILL（Koh等，2024），將MLLM和擴散模型結合到一個系統中。我們將根據其分析的組件對此類模型進行分類。

4 多模態模型的LLM可解釋性方法

我們首先研究了最初為大型語言模型開發的機制可解釋性方法及其對多模態模型的適應性，重點關注現有LLM可解釋性技術如何為多模態模型提供有價值的機制見解。 具體來說，我們首先討論診斷工具（線性探測，第4.1節；Logit Lens，第4.2節），這些工具被動地映射模型表示中編碼的知識及其在層中的分布。然后，我們介紹因果干預方法（因果追蹤和電路分析，第4.3節），這些方法主動擾動模型狀態，以揭示知識存儲的位置以及多模態模型中特定預測的產生方式。這些見解隨后啟發了以表示為中心的表示分解方法（第4.4節），通過數學方法將激活分解為可解釋的組件，揭示模型知識的構建塊。這種結構理解直接為行為控制范式提供了信息：通用任務向量（第4.5節）利用顯式的任務驅動算術來編輯模型輸出，而稀疏自編碼器（作為其無監督對應物，第4.6節）提供了機器發現的特征基礎，用于細粒度操作，將分析與應用聯系起來。最后，神經元級描述（第4.7節）將這些解釋錨定在經驗現實中，通過微觀激活模式（如概念特定神經元）驗證宏觀假設，并確保機制保真度。 線性探測

探測通過在凍結的LLM表示上訓練輕量級分類器（通常是線性探測器）來評估它們是否編碼語言屬性，如語法、語義和事實知識（Hao等，2021；Liu等，2023b；Zhang等，2023a；Liu等，2023c；Beigi等，2024）。線性探測的圖示如圖2（a）所示。這種方法已擴展到多模態模型，引入了新的挑戰，如解耦每個模態（即視覺或文本）的相對貢獻。為了解決這些挑戰，Salin等（2022）開發了探測方法，專門評估視覺-語言模型如何合成和合并視覺輸入與文本數據以增強理解，而Dahlgren Lindstrom等（2020）研究了圖像-字幕配對中視覺-語義嵌入中語言特征的處理。與LLMs中上層主要編碼抽象語義（Jawahar等，2019；Tenney等，2019）不同，多模態探測研究（Tao等，2024；Salin等，2022）表明，多模態模型中的中間層更有效地捕捉全局跨模態交互，而上層通常強調局部細節或文本偏差。此外，盡管LLMs中的探測應用集中在特定語言分析上，但多模態模型中的探測范圍擴展到更多樣化的方面。例如，Dai等（2023）研究了視覺-語言模型中的對象幻覺，分析了圖像編碼如何影響文本生成準確性和令牌對齊。 主要發現和差距。線性探測的主要缺點是需要監督探測數據和訓練單獨的分類器來理解層中的概念編碼。因此，通過多模態探測數據策劃和訓練跨不同多模態模型的單獨分類器進行擴展是一個挑戰。 Logit Lens

Logit Lens是一種無監督的可解釋性方法，用于通過檢查輸出的logits值來理解LLMs的內部工作原理。如圖2（b）所示，該方法進行逐層分析，通過使用解嵌入投影矩陣將中間表示投影到詞匯空間，跟蹤每層的logits，以觀察預測如何在網絡中演變。通過將中間表示解碼為輸出詞匯上的分布，它揭示了網絡在每個階段的“思考”內容（Belrose等，2023）。在多模態模型的背景下，研究表明，與最終層相比，早期層的預測通常對誤導性輸入表現出更強的魯棒性（Halawi等，2024）。研究還表明，異常輸入會改變預測軌跡，使該方法成為異常檢測的有用工具（Halawi等，2024；Belrose等，2023）。此外，對于簡單示例——模型可以從初始層自信地預測結果的情況——正確答案通常出現在早期層，從而通過自適應早期退出實現計算效率（Schuster等，2022；Xin等，2020）。此外，Logit Lens已擴展到分析多個輸入。Huo等（2024）將其應用于研究前饋網絡（FFN）層中的神經元激活，識別專門用于不同領域的神經元以增強模型訓練。進一步的研究整合了上下文嵌入以改進幻覺檢測（Phukan等，2024；Zhao等，2024a）。此外，“注意力透鏡”（Jiang等，2024b）引入了研究視覺信息處理的方法，揭示了幻覺令牌在關鍵層中表現出較弱的注意力模式。 主要發現和差距。除了多模態語言模型，logit-lens還可以潛在地用于機制性地理解現代模型，如統一理解和生成模型（Xie等，2024a；Team，2024）。 因果追蹤

與被動診斷工具不同，因果追蹤分析（Pearl，2014）植根于因果推理，研究在對中間變量（中介）進行主動干預后響應變量的變化。圖2（c）展示了因果追蹤應用于基于Transformer的生成VLM的示例。該方法已廣泛應用于語言模型，以精確定位負責特定任務的網絡組件——如FFN層。例如，Meng等（2022a）證明了LLMs中的中層MLPs對于事實回憶至關重要，而Stolfo等（2023）識別了數學推理的重要層。基于此技術并使用監督探測數據集，Basu等（2023）發現，與LLMs不同，視覺概念（如風格、受版權保護的對象）在擴散模型的噪聲模型中分布在各個層中，但可以在條件文本編碼器中定位。此外，Basu等（2024b）識別了編碼藝術風格和一般事實等概念的關鍵交叉注意力層。最近的工作還將因果追蹤擴展到機制性地理解生成VLMs的VQA任務（Basu等，2024a；Palit等，2023；Yu和Ananiadou，2024c），揭示了在VQA任務中指導模型決策的關鍵層。 擴展到電路分析。雖然因果追蹤有助于識別特定任務的單個“因果”組件，但它不會自動導致提取模型的底層計算圖的子圖，該子圖對任務具有“因果”性。在這方面，語言建模中有許多工作致力于提取任務特定電路（Syed等，2023；Wang等，2024a；Conmy等，2023a）。然而，將這些方法擴展到獲取任務特定電路仍然是MMFMs的一個開放問題。 主要發現和差距。盡管因果追蹤已廣泛用于分析LLMs中的事實性和推理，但其在多模態模型中的應用仍然相對有限。將該方法擴展到更新、更復雜的多模態架構和多樣化任務仍然是一個重要的挑戰。 表示分解

在基于Transformer的LLMs中，如圖3所示，表示分解的概念涉及分析模型的內部機制，特別是將單個Transformer層分解為核心有意義的組件，旨在理解Transformer的內部過程。在單模態LLMs中，研究主要將模型的架構和表示分解為兩個主要組件：注意力機制和多層感知器（MLP）層。大量研究工作集中在分析這些組件，以了解它們對模型決策過程的個體貢獻。研究發現，雖然注意力不應直接等同于解釋（Pruthi等，2019；Jain和Wallace，2019；Wiegreffe和Pinter，2019），但它提供了對模型操作行為的重要見解，并有助于錯誤診斷和假設開發（Park等，2019；Voita等，2019；Vig，2019；Hoover等，2020；Vashishth等，2019）。此外，研究表明，Transformer MLP層中的前饋網絡（FFNs）作為鍵值存儲器，編碼和檢索事實和語義知識（Geva等，2021）。實驗研究建立了FFN輸出分布修改與后續令牌概率之間的直接相關性，表明模型的輸出是通過每層的累積更新精心制作的（Geva等，2022a）。這一核心特性是識別與特定任務相關的語言模型電路的基礎（Syed等，2023；Wang等，2024a；Conmy等，2023a）。 在多模態模型中，表示分解在分析模態處理和各層特定屬性方面發揮了重要作用。Gandelsman等（2024a）；Balasubramanian等（2024）利用監督探測數據集，提出了一種分層分解方法——跨越層、注意力頭和令牌——以提供對模型行為的細粒度見解。

5. 專門針對多模態模型的可解釋性方法

許多近期的研究提出了針對多模態模型的內部機制解釋分析方法。與第4節中介紹的基于LLM（大型語言模型）的方法不同，這些方法僅為多模態基礎模型設計和應用。這些方法包括：用于用人類可理解的語言注釋嵌入或神經元的技術（第5.1節和第5.2節）；利用跨注意力層等獨特的多模態架構組件以獲得更深層的見解（第5.3節）；開發量身定制的多模態模型數據歸因方法，例如文本到圖像擴散模型（第5.4節）；以及特定的可視化方法（第5.5節）。

6. 基于機制見解的多模態模型應用

在本節中，我們重點介紹受第4節和第5節中可解釋性分析方法啟發的下游應用。首先，我們在6.1節介紹上下文學習，接著是模型編輯（6.2節）和幻覺檢測（6.3節）。然后，我們在6.4節總結了在多模態基礎模型中提高安全性和隱私的應用，并在6.5節討論了提高組合能力的應用。最后，我們在6.6節列出了其他幾種應用類型。 7. 工具和基準

在LLMs領域，已有許多可解釋性工具涵蓋了注意力分析（Nanda 和 Bloom，2022；Fiotto-Kaufman等，2024）、SEA分析（Joseph Bloom 和 Chanin，2024）、電路發現（Conmy等，2023a）、因果追蹤（Wu等，2024）、向量控制（Vogel，2024；Zou等，2023）、logit鏡頭（Belrose等，2023）和token重要性（Lundberg 和 Lee，2017）等。然而，針對MMFMs的可解釋性工具較為狹窄。Yu和Ananiadou（2024d）；Stan等（2024）主要聚焦于生成式VLMs中的注意力機制。Aflalo等（2022）提出了一種工具，用于可視化生成式VLMs的注意力和隱藏狀態。Joseph（2023）提出了一種針對視覺變換器（Vision Transformers）的工具，主要集中于注意力圖、激活補丁和logit鏡頭。此外，對于擴散模型，Lages（2022）提供了一種可視化生成圖像過程中的內部擴散步驟的工具。 統一的可解釋性基準也是一個非常重要的研究方向。在LLMs中，Huang等（2024b）提出了一個基準，用于評估可解釋性方法在解耦LLMs表示方面的效果。Thurnherr和Scheurer（2024）提出了一種新方法，用于生成LLMs的可解釋性測試平臺，節省了手動設計實驗數據的時間。Nauta等（2023）；Schwettmann等（2024）也提供了LLMs可解釋性的基準。然而，目前尚未有針對多模態模型的基準，這是未來的重要研究方向。 總體來說，與LLMs領域中的全面工具和基準相比，多模態基礎模型的工具和基準相對較少。提供一個全面、統一的評估基準和工具是未來的研究方向。

8. 主要開放挑戰

盡管機制可解釋性是語言模型中一個成熟且廣泛的研究領域，但對于多模態模型而言，它仍處于早期階段。本節總結了該領域中的關鍵開放挑戰，重點關注利用機制見解的下游應用。這些挑戰包括解釋擴散變換器（Diffusion Transformers）的內部層次，用于諸如模型編輯等任務；將機制見解擴展到超出視覺問答（VQA）或簡單圖像生成的任務；開發多模態模型的順序批次模型編輯技術——包括擴散模型和多模態語言模型；探索稀疏自編碼器及其變體在控制和引導多模態模型中的有效性；設計基于機制見解的透明數據歸因方法；以及通過更深的機制理解改進多模態上下文學習。此外，擴展機制可解釋性技術以分析統一的視覺-文本理解和生成模型（例如Xie等，2024a）也是一個開放的研究方向。

9. 結論

我們的綜述回顧了多模態基礎模型（MMFMs）中的機制理解方法，包括對比性VLMs、生成式VLMs和文本到圖像擴散模型，重點關注下游應用。我們引入了一種新穎的分類法，區分了從語言模型適應過來的可解釋性方法和為多模態模型設計的可解釋性方法。此外，我們還比較了語言模型和多模態模型的機制見解，識別了理解上的差距及其對下游應用的影響。

隨著人工智能系統日益融入日常生活，可解釋性領域受到了極大的關注。這一趨勢尤其受到現代AI模型及其決策過程復雜性的驅動。基礎模型的出現，以其廣泛的泛化能力和新興應用，進一步加劇了這一領域的復雜性。基礎模型在可解釋性領域占據著模糊的位置：它們的復雜性使得這些模型天生難以解釋，但它們也越來越多地被用作構建可解釋模型的工具。在這篇綜述中，我們探討了基礎模型與可解釋AI（XAI）在視覺領域的交集。我們首先編制了一份全面的文獻合集，涵蓋了這些領域的交叉研究。接下來，我們根據模型的架構特征對這些研究進行了分類。然后，我們討論了當前研究在將XAI整合進基礎模型時所面臨的挑戰。此外，我們還回顧了這些結合方法的常見評估方法。最后，我們提出了本次綜述的關鍵觀察和見解，并為這一快速發展的領域提供了未來研究的方向。 關鍵詞: 可解釋性, 可解釋AI, XAI, 基礎模型, 視覺, 綜述

1. 引言

深度神經網絡（DNNs），即具有大量可訓練參數的網絡，近年來對計算機視覺領域產生了重大影響【1】。它們在語義分割【2】、分類【3】和圖像生成【4】等各種任務中取得了最先進的性能。然而，DNN的深度和復雜性也導致了決策過程和預測可解釋性的缺乏透明度【5】【6】。在那些性能和可解釋性都至關重要的高風險環境中，對透明度的需求日益增加【7】。為了增強透明度和可解釋性，廣泛采用的各種方法被統稱為可解釋人工智能（XAI）【8】（見圖1）。 XAI方法為自動化系統與人類用戶之間搭建了橋梁，因為人類的感知和解釋本質上是主觀的。滿足一個用戶需求的解釋可能并不一定能滿足另一個用戶【9】。因此，為了提高有效性，XAI方法應確保不同用戶之間的解釋一致性【10】。XAI引起了越來越多的關注，尤其是在倫理問題至關重要的領域，例如醫療診斷【11】和自動駕駛【12】。因為不透明的模型可能隱藏與道德原則相悖的功能。例如，在【13】中觀察到的性別偏見結果。 在文獻中，已經識別出一些XAI的關鍵屬性【14】【6】，例如可信性、復雜性、魯棒性、泛化能力和客觀性。我們將在4.1節進一步探討這些問題。 深度學習中的一個顯著趨勢是模型規模越來越大（見圖2）。這一趨勢始于1998年的LeNet（60,000個參數），然后是2014年的InceptionV3（6.23M參數），2016年的ResNet（42.70M參數）。隨后，2017年自然語言處理領域采用了Transformers（65M參數），2018年的BERT（340M參數），2019年的GPT-2（1.5T參數），2023年的QWEN（72B參數）。這些“大型語言模型”的成功激發了將高參數量和大量訓練數據的優勢應用到其他領域的興趣，例如視覺問答【15】和目標檢測【16】。這促使了這些架構在更廣泛的分類下被統稱為“基礎模型”。 基礎模型在XAI領域處于一個模糊的位置。一方面，基礎模型的復雜性使其特別難以解釋；另一方面，文獻中越來越多地將其作為構建可解釋模型的工具。這篇綜述提供了計算機視覺領域基礎模型中可解釋性技術的全景，特別是預訓練基礎模型（PFM）。結構安排如下：第2節提供了基礎模型和XAI方法的背景，回顧現有的綜述，并提出XAI方法的分類法；第3節定義了識別的XAI方法類別，描述了它們的背景、它們如何使用PFM、它們的應用以及評估方法；第4節討論了評估生成的解釋質量所采用的不同方法；第5節介紹了我們綜述中的一些觀察結果；第6節描述了XAI方法面臨的不同挑戰，包括仍未解決的問題；最后，第7節總結了我們的結論，并提出了進一步研究的潛在方向。

生成方法（生成式人工智能，Gen-AI）在解決機器學習和貝葉斯推斷任務中的應用進行了綜述。生成模型需要模擬一個大規模的訓練數據集，并使用深度神經網絡來解決監督學習問題。為了實現這一目標，我們需要高維回歸方法和用于降維的工具（即特征選擇）。生成式人工智能方法的主要優勢在于它們能夠不依賴具體模型，并利用深度神經網絡來估計條件密度或感興趣的后驗分位數。為了說明生成方法的應用，我們分析了著名的埃博拉數據集。最后，我們總結了未來研究的方向。

關鍵詞：生成式人工智能，神經網絡，深度學習，ABC，INN，歸一化流，擴散模型，分位貝葉斯，擬似推斷，埃博拉

1 引言

機器學習中的一個重要任務是：給定輸入-輸出對，其中輸入是高維的，構建一個“查找”表（即字典）來存儲輸入-輸出示例。這是一個編碼（即數據壓縮問題），用于快速搜索和檢索。另一個常見問題是找到一個簡單的預測規則（即算法），即：我們能否找到一個好的預測函數f(x)f(x)f(x)，用來在給定xxx 的情況下預測輸出yyy？給定一個訓練數據集(yi,xi)i=1N(y_i, x_i)_{i=1}^{N}(yi,xi)i=1N 的輸入-輸出對，我們能否訓練一個模型，即找到函數fff？從計算角度來看，我們有一個高維的多變量函數f(x)f(x)f(x)，其中x=(x1,…,xd)x = (x_1, \dots, x_d)x=(x1,…,xd)。 給定(y,x)(y, x)(y,x)-輸入-輸出對，我們有一個模式匹配（即監督學習）非參數回歸形式：

為了實現良好的泛化能力，我們需要能夠進行非線性降維，并找到一組合適的特征/因素。關鍵問題是：我們如何表示一個多變量函數，以便使訓練過程高效？許多高維統計模型需要數據降維方法。根據 Breiman（2001），我們將數據表示為由一個黑箱生成，其中輸入向量xxx 被黑箱轉化為輸出yyy，或生成一個描述從xxx 預測yyy 的不確定性的預測分布p(Y∣X)p(Y | X)p(Y∣X)。Fisher（1922）和Cook（2007）清楚地描述了降維問題。雖然通過篩選和將預測值與輸出變量繪制來尋找預測器是典型的做法。 統計推斷中的一個核心問題是計算一個感興趣的后驗分布。給定似然函數p(y∣θ)p(y | \theta)p(y∣θ) 或前向模型y=f(θ)y = f(\theta)y=f(θ)，以及先驗分布π(θ)\pi(\theta)π(θ)，目標是進行逆概率計算，即計算后驗分布p(θ∣y)p(\theta | y)p(θ∣y)。對于高維模型來說，這一任務非常困難。馬爾科夫鏈蒙特卡羅（MCMC）方法通過生成后驗樣本來解決這個問題，使用密度評估。 另一方面，生成式人工智能技術直接學習從均勻分布到目標分布的映射。生成式人工智能的主要優勢是它是無模型的，并且不需要使用迭代密度方法。逆貝葉斯映射被通過深度學習的輸入輸出映射的模式識別所替代。深度分位神經網絡（Deep Quantile NNs）提供了一個用于推斷決策的通用框架。分位神經網絡提供了一種替代不可逆神經網絡（如歸一化流）的方式。 生成方法通過以下方式解決這兩個問題。設Z～PZZ \sim P_ZZ～PZ 是潛變量ZZZ 的基礎度量，通常是標準多變量正態分布或均勻分布的向量。生成方法的目標是從訓練數據(Xi,Yi)i=1N～PX,Y(X_i, Y_i){i=1}^{N} \sim P{X,Y}(Xi,Yi)i=1N～PX,Y 中表征后驗度量PX∣YP_{X|Y}PX∣Y，其中NNN 被選擇為適當的大值。使用深度學習器來估計f^\hat{f}f^，通過非參數回歸X=f(Y,Z)X = f(Y, Z)X=f(Y,Z)。深度學習器通過從三元組(Xi,Yi,Zi)i=1N～PX,Y×PZ(X_i, Y_i, Z_i){i=1}^{N} \sim P{X,Y} \times P_Z(Xi,Yi,Zi)i=1N～PX,Y×PZ 中學習來估計。隨后的估計器H^N\hat{H}NH^N 可以看作是從基礎分布到所需后驗分布的傳輸映射。在ZZZ 為均勻分布的情況下，這相當于逆累積分布函數（CDF）采樣，即X=FX∣Y?1(U)X = F{X|Y}^{-1}(U)X=FX∣Y?1(U)。 設(X,Y)～PX,Y(X, Y) \sim P_{X,Y}(X,Y)～PX,Y 是輸入-輸出對，且PX,YP_{X,Y}PX,Y 是聯合度量，我們可以從中模擬一個訓練數據集(Xi,Yi)i=1N～PX,Y(X_i, Y_i){i=1}^{N} \sim P{X,Y}(Xi,Yi)i=1N～PX,Y。標準的預測技術是條件后驗均值X^(Y)=E(X∣Y)=f(Y)\hat{X}(Y) = E(X|Y) = f(Y)X^(Y)=E(X∣Y)=f(Y)，即給定輸出YYY 時預測輸入XXX。為此，考慮多變量非參數回歸X=f(Y)+?X = f(Y) + \epsilonX=f(Y)+?，并提供估計條件均值的方法。通常的估計器f^\hat{f}f^ 包括 KNN 和核方法。最近，提出了深度學習器，并提供了關于仿射函數疊加（即嶺函數）的理論屬性（見 Montanelli 和 Yang（2020），Schmidt-Hieber（2020），Polson 和 Rockova（2018））。一般來說，我們可以為任何輸出YYY 表征后驗映射。只需通過使用傳輸映射：

從新的基礎抽樣ZZZ 中評估網絡。這里，ψ\psiψ 表示余弦嵌入，因此潛變量的架構對應于離散傅里葉近似。另一方面，生成方法通過構建訓練數據的“查找”表，并將深度神經網絡擬合到該表上，來解決監督學習問題。這提供了一種傳輸映射到基礎分布，基礎分布由潛變量zzz 的已知分布p(z)p(z)p(z) 給出。由于我們可以選擇樣本大小NNN，因此理解這些深度學習估計器的貝葉斯風險屬性及其插值屬性（稱為雙重下降）非常重要。 本文的其余部分安排如下：第 1.1 節描述了降維技術；第 2 節介紹了架構設計的多種選擇。例如，自動編碼器（Albert et al. 2022；Akesson et al. 2021）或隱式模型（參見 Diggle 和 Gratton 1984；Baker et al. 2022；Schultz et al. 2022）；它還與間接推斷方法相關（參見 Pastorello et al. 2003；Stroud et al. 2003；Drovandi et al. 2011, 2015）。常用的生成方法包括：變分自動編碼器（VAE）、獨立成分分析（ICA）、非線性獨立成分估計（NICE）、歸一化流（NF）、可逆神經網絡（INN）、生成對抗網絡（GAN）、條件生成對抗網絡、近似貝葉斯計算（ABC）和深度擬似推斷（DFI）。第 3 節回顧了使用無密度深度分位 ReLU 網絡的生成貝葉斯計算（GBC）；第 4 節提供了經典埃博拉數據集的應用。最后，第 5 節總結了未來研究的方向。 深度學習的民間傳說：淺層深度學習器能夠很好地表示多變量函數，并且在外推時表現良好。因此，我們可以在任何新的輸入上評估網絡并預測輸出，同時我們仍然可以學習感興趣的后驗映射。 雙重下降：關于深度神經網絡的逼近和插值屬性的問題依然存在。最近關于分位神經網絡插值屬性的研究，參見 Padilla 等（2022）和 Shen 等（2021），Schmidt-Hieber（2020）。另見 Bach（2024）；Belkin 等（2019）。 **

**

摘要—基于大規模預訓練基礎模型（PFMs）的生成性人工智能（AI）系統，如視覺-語言模型、大型語言模型（LLMs）、擴散模型和視覺-語言-行動（VLA）模型，已經展示了在廣泛領域和情境中解決復雜且真正非平凡的AI問題的能力。特別是，多模態大型語言模型（MLLMs）通過從大量且多樣的數據源中學習，能夠提供豐富且細致的世界表示，從而具備廣泛的能力，包括推理、進行有意義的對話、與人類及其他代理共同協作解決復雜問題，并理解人類的社會和情感方面。盡管取得了這一令人印象深刻的成就，但基于大規模數據集訓練的最先進LLMs的認知能力仍然表面化且脆弱。因此，通用LLMs在其通才能力方面存在嚴重限制。要使LLMs實現人類級別的通用智能，需要解決一些基礎性問題——具身性、符號基礎、因果性和記憶機制。這些概念更符合人類認知，并為LLMs提供了固有的人類認知特性，從而支持實現具有物理可行性、語義意義、靈活性和更強泛化能力的知識和智能。在本研究中，我們討論了上述基礎性問題，并綜述了實現這些概念的最先進方法。具體而言，我們討論了如何利用具身性、符號基礎、因果性和記憶的原則，以有機的方式促進人工通用智能（AGI）的實現。

關鍵詞—大型語言模型、具身性、符號基礎、因果推理、記憶機制、人工通用智能。

1 引言

**1.1 背景

智能與一個系統（無論是生物系統還是其他類型的系統）在特定環境（或多個環境）中實現一個或多個預期目標的能力相關。一個智能系統能夠推斷自身的狀態以及環境的狀態，并能夠將這些推斷轉化為適當的響應，從而實現預期目標。智能是高級生物體的獨特特征，在開發其人工對應物——人工智能的過程中，研究人員常常借鑒生物學的概念。生物智能的一個重要特征是其普遍性，即它能夠處理廣泛不同的問題，適應多種環境。尤其是人類的智能，其復雜性、豐富性和多樣性令人驚嘆，能夠輕松處理許多新穎的任務。人類智能相較于其他高級動物的普遍優越性，主要源于人類通過社會和文化構建（如藝術、規范、儀式、信仰體系和習俗）來組織和傳遞知識的能力 [1]。語言在這些過程中起著至關重要的作用。 盡管創造這種類型的通用智能的想法具有吸引力，但在機器中實現如此高度的復雜性和普適性是極其具有挑戰性的。直到最近，取得顯著成果的AI技術往往集中于特定領域或受限領域，解決單一問題（如面部識別、醫學圖像分割、文本翻譯、股市預測、行人跟蹤等）。近來，基于變分自編碼器（VAE） [2] 和生成對抗網絡（GAN） [3] 的生成式AI技術在革命化AI能力方面作出了巨大貢獻，使得單一模型能夠同時處理多種復雜任務 [4]。更近期的進展是，大規模預訓練基礎模型的出現，如大型語言模型（LLMs） [5]、擴散模型（DMs） [6]、視覺-語言模型（VLMs） [7] 和視覺-語言-行動（VLA）模型 [8]，為復制人工智能中的通用性特征帶來了現實的前景。由于它們能夠處理廣泛的開放領域問題 [9]，[10]，[11]，[12]，尤其是多模態大型語言模型，大規模預訓練基礎模型重新激發了對發展人工通用智能的興趣 [10]。本文的主要目的是介紹支撐人工通用智能實現的認知基本原理，并綜述在大型語言模型中實現這些概念的最先進技術。

**1.2 語言作為生物系統通用智能的基礎

1.2.1 語言作為知識獲取、表示和組織的媒介 研究表明，使用自然語言進行交流是學習現實世界通用知識最有效的方式之一 [13]，雖然人類的感官和運動能力通常不優于其他高級動物（包括靈長類動物）（見 [14]，[15]，[16]，[17]，[18]，[19]，[20]），但人類的認知能力遠遠超越其他動物。人類認知能力優于其他動物王國成員，尤其是與人類最親近的靈長類動物，這主要歸因于人類使用語言的能力 [21]，[22]，[23]。 語言在人體內的抽象概念表示、解釋和推理中發揮著核心作用 [24]。在人的社會中，語言最重要的功能之一是促進新知識的獲取與共享。通過語言——無論是文學、演講還是藝術——人類能夠輕松從他人處學習，不僅通過觀察或與世界的互動，還能獲取其他人積累的知識。此外，語言為表示和內化知識提供了概念框架 [22]。研究表明，一個群體所使用的特定語言結構和詞匯會影響他們對世界的推理和解釋。實際上，語言差異（例如詞匯差異）已被證明影響不同語言群體成員如何記住和描述他們的經歷 [25]，[26]，[27]，[28]。在這方面，語言可以塑造或重塑認知 [29]，從而影響主體如何理解和與世界互動 [30]，[31]。1.2.2 語言作為認知信息處理工具

除了創建抽象表示來組織感知信息和知識的表示外，語言在促進認知計算操作中起著根本作用 [24]。Lupyan [31] 認為，基本語言元素（如詞語）為其他認知成分提供了構建意義的線索。因此，語言不僅僅是一個用于指代現實世界物體、現象和經驗的靜態符號集合，它還是一個操作這些符號的工具。Clark [24] 專門描述了語言在促進人類認知信息處理和推理中的六種不同方式。研究表明，語言不僅有助于晶化智能（即與表示相關的認知機制），如經驗/刺激的分類 [26] 和記憶 [25]，[28]，還促進流動智能（即分析性問題解決技能），如感知 [32]，[33]，[34] 和推理 [24]，[31]。此外，接觸多種語言框架已被證明能夠拓寬個體的視野，并幫助他們以更細致的方式理解概念。由于其在生物學認知能力中的中心地位，語言被多次描述為“認知接口” [21]、“智能放大器” [35]，并且人類認知本身也被描述為“語言增強的認知” [31]。

**1.3 人工通用智能的概念

雖然文獻中對人工通用智能（AGI）有不同的解釋 [9]，[36]，[37]，[38]，[39]，[40]，但這一概念通常理解為具有廣泛智力能力的AI系統，能夠執行高級認知任務，如感知——包括情境理解和一定程度的自我意識 [41]，[42]，推理、規劃，以及在新情境下應用學習到的知識。AGI系統是能夠在多個領域成功完成復雜和多樣化的認知任務的強大模型，無需額外訓練。術語“人類水平的智能” [37]，[43]，[44] 經常被松散地用來指代展示通用智能的AI系統。AGI不應理解為超級全知和全能的機器。這種假設級別的能力被稱為人工超智能 [45]，[46]。實際的AGI系統是具備有限但足夠強大且靈活的知識系統，能夠解決涉及傳感-運動控制、感知、情境理解、常識和分析推理能力的廣泛問題。對人工通用智能的這種理解，實際上反映了不僅在嵌入或學習所有相關知識和技能時的實際困難，也反映了這種方法的性能限制。此外，將人工通用智能概念化為有限范圍但適應性強、靈活且可擴展，與生物智能在高級生物體（如人類）中的性質和特性是一致的。盡管文獻中有各種定義，但幾乎對AGI的一些定義特征達成了一致。具體而言，典型AGI系統的最重要特征是（參見例如 [9]，[36]，[43]，[47]，[48]）：它能夠學習并靈活應用有限且不確定的知識，解決不同情境下的廣泛問題；它的學習和行動是自主且目標驅動的；它能在記憶中保留并積累相關信息，并在未來任務中重新使用這些知識；它能夠理解情境并執行高級認知任務，如抽象和常識推理。 需要強調的是，AGI本質上與強AI（參見 [49]，[50]，[51]）不同。AGI的重點是開發具有廣泛認知能力、能夠解決真正非平凡問題的智能系統，而強AI旨在創造極其強大的智能，不僅在功能層面模仿人類的認知能力，還具有如內在心理狀態和主觀經驗（包括意圖性、道德、情感和自我意識等） [52]，[53]，在意識和感知方面具有真實的人類認知特征。對此感興趣的讀者可以參考 [54]，[55]，[56]，[57]，[58]，以獲得關于強AI概念的更詳細討論，包括意識 [54]，[56]，[57]，意識 [55]，[57]，[59] 和AI系統的道德問題 [60]，[61]。

**1.4 工作的范圍和大綱

在這項工作中，我們詳細討論了實現通用智能的核心原理。我們還討論了在人工智能和LLM系統中實現這些概念的各種方法。這里討論的概念不是實現AGI的算法解決方案，而是生物智能的一般原理和特性，這些原理和特性必須嵌入到基于大型語言模型的AI系統中 事實上，這些核心概念本質上是與算法無關的，即它們的實現并不局限于任何特定的技術或一組方法。然而，需要注意的是，特定的認知功能（如感知、推理、規劃、行動等）可以通過這些通用概念和原理得到增強。本文的其余部分安排如下： 在第2節，我們概述了大型語言模型（LLM）的關鍵要素，這些要素使其具有強大的能力，并能夠解決需要人類水平通用智能的復雜問題。 第3至第6節討論了實現通用智能所需的重要基礎性原則，包括具身性（第3節）、符號基礎（第4節）、因果性（第5節）和記憶機制（第6節）。 在第7節，我們探討了這些認知原則之間的相互關系和交互作用，并基于這些相互作用合成了一個整體的認知模型。 最后，在第8節中，我們對所討論的概念進行了總結，并在第9節給出了結論。

自回歸模型（Autoregressive Models）在自然語言處理（NLP）領域中展現了卓越的性能，具有令人印象深刻的可擴展性、適應性和泛化能力。受其在NLP領域顯著成功的啟發，自回歸模型近年來在計算機視覺領域得到了廣泛研究。這些模型通過將視覺數據表示為視覺標記并執行下一個標記預測，為圖像生成、視覺理解以及最近將視覺生成與理解統一為單一自回歸模型的多模態生成等多種視覺任務提供了支持。 本文對視覺自回歸模型進行了系統綜述，包括對現有方法的發展分類，并突出了它們的主要貢獻、優勢與局限性，涵蓋了圖像生成、視頻生成、圖像編輯、動作生成、醫學圖像分析、三維生成、機器人操作、統一多模態生成等多種視覺任務。此外，我們調查并分析了自回歸模型的最新進展，包括在各種評估數據集上的方法基準測試和深入討論。最后，我們總結了關鍵挑戰和未來研究的潛在方向，為視覺自回歸模型的進一步發展提供了路線圖。

1 引言

自回歸（AR）模型近年來在人工智能領域取得了顯著進展，尤其是在像GPT系列 [1][2][3][4][5] 及其他大語言模型（LLMs） [6][7][8] 中表現突出，這些模型在解決各種自然語言處理任務上表現出色。它們采用簡單而強大的“下一個詞預測”策略，通過預測序列中的下一個單詞生成連貫且上下文相關的文本。AR模型的成功主要歸因于兩個關鍵特性：（1）可擴展性，擴展法則 [9][10] 使研究人員能夠基于小模型預測大模型的性能，從而優化資源分配并指導模型開發；（2）泛化能力，AR模型無需任務特定的訓練即可適應新任務和未見任務 [1][3]。這些特點使AR模型在語言任務中表現出前所未有的效果，并展現出朝著通用人工智能（AGI）系統發展的潛力。

受AR模型在自然語言處理領域成功的啟發，近年來的研究將AR模型擴展到了視覺生成任務。典型示例包括VQVAE [11]、VQGAN [12]、DALL-E [13] 和Parti [14] 等模型，這些模型通過圖像標記器將連續圖像轉換為離散標記，從而使AR模型能夠像處理語言一樣，通過“下一個標記預測”方法生成圖像。視覺標記化通過將文本和圖像都視為離散標記序列，統一了它們的表示方式，使其適配序列到序列（sequence-to-sequence）建模技術。因此，這些模型能夠利用類似于GPT系列 [1][2][3] 的架構，從大規模文本-圖像對中高效學習。

除了視覺生成，AR模型還推動了視覺理解的發展，尤其是在多模態理解領域 [15][16][17][18][19]，它們可以感知并整合多種模態信息。在多模態任務中，AR模型通過訓練解讀視覺輸入并生成連貫的文本序列，成為在視覺和文本信息結合方面極具潛力的工具。例如，多模態大語言模型（MLLM）如LLaVA [15]，利用LLMs同時解讀視覺和文本輸入，從而實現對圖像的問答、生成描述性字幕以及在詳細視覺上下文中進行對話。通過這一設計，基于AR的MLLM在推動AI應用中的多樣化視覺理解能力方面表現出色。

鑒于AR模型在視覺生成和理解方面的成就，近期的研究嘗試將這兩種能力整合到一個統一的AR模型中，使其能夠同時處理視覺生成和理解任務。例如，Transfusion [20] 通過結合語言建模中常用的“下一個標記預測”目標與圖像生成中的擴散過程，實現了這一整合。通過對文本和圖像數據進行聯合訓練，Transfusion [20] 在單一Transformer架構中處理離散文本標記和連續圖像數據，從而能夠執行廣泛的多模態任務，并彌合視覺理解與生成之間的差距。此外，AR模型在視頻等其他領域也表現出強大的理解與生成能力 [21]，如視頻字幕生成、視頻生成及場景解讀等任務。

盡管AR模型在視覺研究中取得了顯著進展并吸引了越來越多的關注，但目前缺乏系統的綜述來全面概述現有方法、挑戰以及未來可能的研究方向。本文旨在填補這一空白，全面綜述AR模型在各種視覺任務中的應用，并按任務類型進行分類，包括圖像生成、圖像理解及其他領域。我們從多個角度展開綜述，包括AR模型的背景、相關數據集、方法論、基準測試，以及當前的研究挑戰與未解難題。我們的目標是為學術界和工業界提供清晰的現狀概覽，展示已經取得的成果、面臨的挑戰以及未來研究的潛力方向。

主要貢獻

本文的主要貢獻總結如下：

1. 系統全面地回顧了AR模型在視覺領域的應用，建立了現有方法的分類體系，突出了它們的主要貢獻、優勢和局限性。
2. 深入分析了AR模型的最新進展，包括跨各種評估數據集的方法性能基準測試和討論。
3. 闡明了AR模型領域的若干挑戰和未來研究的潛力方向，旨在幫助學術界解決開放性問題并推動該領域的發展。

Transformer架構在自然語言處理和計算機視覺等多個領域展現了顯著的成功。當涉及到圖學習時，transformer不僅需要捕捉節點對之間的交互，還需要保持揭示它們之間潛在關系和鄰近性的圖結構，顯示出捕捉不同圖結構的表達能力。因此，已經提出并廣泛應用了各種結構保持圖transformer，用于生物信息學和化學信息學中的圖級任務。然而，與圖結構保持相關的策略在文獻中尚未得到良好的組織和系統化。在本文中，我們提供了結構保持圖transformer的全面概述，并從它們的設計目標的角度對這些方法進行了概括。首先，我們將策略分為四個主要組：節點特征調制、上下文節點采樣、圖重寫以及transformer架構改進。然后，我們根據圖結構保持的覆蓋范圍和目標進一步細分策略。此外，我們還討論了圖transformer模型在保持圖結構和理解圖的本質方面的挑戰和未來方向。

近年來，圖神經網絡在社區檢測、分子分類和鏈接預測等任務中表現突出。然而，這些模型的黑箱特性阻礙了它們在衛生和金融等領域的應用，在這些領域，理解模型的決策是至關重要的。反事實解釋(CE)通過實例提供了這些理解。此外，關于CE的文獻也在不斷涌現出適合圖學習的新穎解釋方法。在本綜述中，我們分析了現有的圖反事實解釋方法，根據定義、數據集和度量的統一正式符號，為讀者提供了文獻組織，從而簡化了方法優缺點的潛在比較。我們討論了7種方法和16個合成和真實的數據集，提供了可能的生成策略的細節。我們強調了最常見的評估策略，并將文獻中使用的9個指標形式化。我們首先介紹了評估框架GRETEL，以及如何擴展和使用它，同時提供包含可再現性方面的進一步比較維度。最后，在深入討論公開挑戰和未來工作之前，我們將討論反事實解釋如何與隱私和公平性相互作用。

//www.zhuanzhi.ai/paper/d26c10ba36d2f1b81804d35a4cddfa5d

人工智能在過去十年中得到了巨大的貢獻。特別是深度神經網絡在計算機視覺[53,117,118]、自然語言處理[16,33,127]、推薦系統[56,77,4]和異常檢測[79,96,112]等領域被大量采用。最近，圖神經網絡(以下稱GNN)在許多圖挖掘任務中克服了大量挑戰，這些任務包括頂點分類[50,97,109,139,162,160,165]、鏈接預測[55,59,97,142,151,157]、社區檢測[20,22,122,155]和圖分類[10,69,146,151]。智能系統可以用于決策支持場景，在這些場景中，處理請求對人類來說非常繁瑣和耗時[42]。例如，醫院可以采用一種自動系統，根據患者當前的醫療狀況和過去的病史，幫助醫護人員判斷患者是否易患心臟相關疾病。銀行可能有一個系統來決定客戶的貸款是否被批準。社交網絡可以采用一種智能策略來檢測違反其服務條款的用戶，并因此禁止他們使用該平臺。最后，制藥公司可以使用這種決策支持系統(DSS)進行藥物再用。

盡管智能系統已經達到了出色的性能，但廣泛應用的深度神經網絡卻存在所謂的黑箱問題[5,101]。黑箱模型阻礙了人們對預測結果[39]時所采用的決策過程的理解。神經網絡從一層到下一層利用不可逆和非線性激活函數來學習非線性向量空間中的特征表示[23,34]，這對用戶來說是不透明的，屬于黑盒模型類。與黑箱相反的是一個由我們可以輕易檢查的內部進程組成的系統。這些模型通常被稱為白盒或透明模型[74]。一般來說，黑盒和白盒模型在數據科學中處于光譜的極端(見圖1)。當做出可能改變業務事件進程的關鍵決策時，人們更喜歡使用白盒模型[32,129,130]，而黑盒模型在預測蛋白質關系[3,81,140,159]、學生輟學預測[15,105,104,135]和趨勢預測[7,70,131,148]等場景中，性能更高，甚至可以在高維輸入特征下進行泛化。

如前所述，GNN在多個圖挖掘任務中都取得了出色的性能。GNN以一個包含代表概念的頂點和描述概念之間關系的邊的圖結構作為輸入。例如Facebook的用戶友誼網絡和收集蛋白質及其關系的PPI。換句話說，頂點是用戶(或蛋白質)，而邊是它們之間的友誼(或化學關系)。Facebook圖中一個有趣的預測任務是預測兩個用戶在不久的將來是否會成為朋友:即鏈接預測。通過這種方式，模型可能會發現兩個有相似興趣的用戶之間的關系，并幫助失散已久的朋友重新點燃他們兒時的關系。具體地說，GNN接受一個圖，它具有與頂點和邊相關的屬性，并生成一個轉換后的圖，該圖已經學習了所有這些屬性的潛在特征。這些潛在的特征可以用來進行預測。注意，從圖的邊緣引出的連通性模式被用來加強通過圖轉換學到的特征在潛在向量空間中的關系(參見2.1節了解更多細節)。

解釋預測的能力對于允許用戶和服務提供者在關鍵領域做出可信的決策至關重要[85,46]。因此，由于法律的限制，目前在健康和金融等關鍵領域，深度模型尚未廣泛投入生產[98]。在通過基于特征的分析[45]和反事實解釋解釋黑箱模型方面，文獻已經收到了許多貢獻[29,44,63,66,75,137]。通過分析影響結果的特征，對黑箱模型所做的預測提供解釋的模型稱為基于特征的解釋器。然而，揭示預測原因的解釋并不足以理解如何改變特定模型的結果。因此，為了描述輸入數據和結果之間的因果關系[21,85]，解釋器必須提供例子，說明要改變什么輸入特征來預測不同的結果。換句話說，反事實的可解釋性表明輸入應該有哪些差異，從而導致模型預測的變化。提供這種可解釋性的機制被稱為反事實解釋器。 根據前面三個例子場景，反事實可解釋性可以幫助我們得到以下建議:

心臟病臨床DSS (CDSS)——讓我們假設一個身體質量指數(BMI)為31.4(當前醫療狀況)的患者是CDSS的輸入。對這個例子的一個反事實的解釋可能是，如果病人將她的BMI降低20%，那么她在不久的將來患心臟病或其并發癥的幾率就會大大降低。這種解釋可能會為醫護人員提供正確的輸入，為患者制定個性化的減肥計劃。

貸款DSS——在本例中，一個銀行客戶有15,000美元的存款，信用評分為25，他要求貸款150,000美元。讓我們假設，被雇用的DSS拒絕了請求，并提供了一個反事實的解釋，如果客戶將她的信用評分提高了2%，并將她的銀行存款提高到25,000美元，那么她的貸款將被批準。這個特殊的反事實的例子為客戶提供了直接的輸入，讓她知道如何采取行動使她有資格獲得貸款批準。從這個意義上說，反事實解釋提供了實現可控行為的確切步驟:例如，上述客戶需要額外的1萬美元，在這樣做的時候，她應該償還她的信用卡債務，使她的信用達到25.5分。

在上面解釋的場景中，反事實可解釋性提供了比基于特征的可解釋性更詳細的研究。反事實使得黑箱模型通過建立信任、透明和向非專家提供明確的反饋，在關鍵領域取得突破。此外，反事實系統有助于揭示預測模型的內在偏差。特別是，考慮CDSS為患者決定心臟病并發癥的例子。想象一下，現在，有心臟病傾向的人可能會拒絕某個挽救生命的病人的手術。因此，如果CDSS認為病人可能患有心臟病，她的手術就會被拒絕。雖然患者可以控制他們的BMI并降低到一個正常的區間，這樣CDSS就可以排除心臟相關疾病，但CDSS可能會判定心臟疾病與種族有關[94,143]。在這些情況下，種族是一個不可控的變量，它破壞了預測模型的公平性，而公平性是當今國家所必需的支柱[24,18]。

因此，重要的是，決策支持服務不應延續和加劇現有的偏見和不平等，例如，在醫療健康工具、治療方法和系統中，某些群體接受不到標準或根本沒有治療[95]。如前所述，反事實解釋可以幫助識別產生偏見的情況，并幫助解決依賴倫理原則而不是業績驅動概念的挑戰。然而，從數據中消除偏見是一個完全不同的挑戰，這超出了本次調查的范圍。最后，從市場角度來看，截至2018年，開發一種新藥的平均成本在3.14億美元到28億美元之間[144]。此外，一種藥物進入臨床開發的批準率僅為12%，這清楚地表明，投入的大部分資金都被浪費了。與此同時，一種藥物完成一個完整周期的臨床試驗的平均數量減少了，這意味著制藥公司在將其藥物商業化之前需要重新進行試驗。在價格上漲中起重要作用的因素包括但不限于臨床試驗復雜性的增加、試驗規模的擴大、為收集衛生技術評估信息而在方案設計上的改變，以及對比較藥物進行測試以減輕客戶需求7。在藥物再利用等應用場景中，擁有清晰的反事實方法來解釋結果的原因，為降低成本和提高批準率提供了很大的可能性。因此，制藥公司有興趣采用新的可解釋的圖學習方法來理解試驗場景，而不必深入研究昂貴的試驗。基于上述原因，本文探索了幾何深度學習的反事實解釋，幾何深度學習是新興技術的總稱，試圖將深度神經模型推廣到非歐幾里得領域。在這里，我們主要關注圖數據以及通過GNN對它們的預測。據我們所知，這是第一個在圖上處理反事實解釋的綜述。為了完整起見，在第1.1節中，我們討論了幾項研究[9,44,121,133]，這些研究處理了黑盒深度神經網絡的解釋，但并沒有同時專門關注GNN和反事實解釋。最后，在1.2節中，我們通過強調該綜述的貢獻來結束對該綜述的介紹。

據我們所知，這個綜述是第一個研究GCE的文獻。如前一節所述，我們的工作超越了圖中基于特征(事實)的解釋性，提供了與文獻中其他調研相比的深入討論和更系統的回顧。綜上所述，這項調研的主要貢獻如下:

1. 我們根據統一的正式符號組織文獻中現有的反事實示例定義，從而促進了對它們的優點和缺陷的直接比較。
2. 據我們所知，我們是第一個根據多類預測問題提出GCE形式化的人。我們還根據黑盒預測模型推導出特定圖上的全局最小反事實例子。 3.本文提出根據幾個維度對文獻中現有方法進行分類，幫助讀者輕松采用更適合其場景的替代方法。
3. 我們為讀者提供了反事實解釋方法的優點和缺點的總結。
4. 我們廣泛討論了采用文獻中使用的合成和真實數據集的評估協議的好處，以及支持的方法。為此，我們描述了GRETEL，一個完全可擴展和可復制的GCE評估框架。我們認為GRETEL是文獻中第一個專注于提供高度模塊化體系結構的框架，允許未來的研究人員即插即用定制解釋器模型。
5. 我們認為，在文獻中缺失的一個基本方面——即隱私、公平和可信度——是遵守全球正在采用的人工智能法規所必需的。
6. 最后，我們為讀者提供了關于開放挑戰的見解，如多標簽分類中的反事實性，這一研究領域在不久的將來將被解決。

摘要

預訓練語言模型(Pretrained Language Models, PLM)通過在大規模文本語料庫上學習信息語境化表示，建立了一種新的范式。這種新的范式已經徹底改變了整個自然語言處理領域，并為各種NLP任務設置了新的最先進的性能。然而，盡管PLM可以從訓練語料庫中存儲一定的知識/事實，但它們的知識意識還遠遠不能令人滿意。為了解決這個問題，將知識集成到PLM中已經成為一個非常活躍的研究領域，并且已經開發了各種各樣的方法。在本文中，我們對這一新興和快速發展的領域-知識增強的預訓練語言模型(KE-PLMs)提供了一個全面的文獻綜述。我們引入三種分類法來對現有工作進行分類。此外，我們還調研了各種NLU和NLG應用，在這些應用上，KE-PLM表現出了優于普通PLM的性能。最后，討論了KE-PLMs面臨的挑戰和未來的研究方向。

引言

近年來，大規模預訓練語言模型(大規模預訓練語言模型，簡稱PLM)給自然語言處理領域帶來了革命性的變化。預先訓練的模型如BERT [16]， RoBERTa [50]， GPT2/3[68][7]和T5[69]獲得了巨大的成功，極大地提升了各種NLP應用的最先進性能[67]。前訓練在NLP中的廣泛成功也啟發了自我監督前訓練在其他領域的應用，如圖表示學習[30][31]和推薦系統[81][98]。對大量文本數據的訓練也使這些plm能夠記住訓練語料庫中包含的某些事實和知識。最近的研究表明，這些經過訓練的語言模型可以擁有相當數量的詞匯知識[48][92]和事實知識[63][71][95]。然而，進一步的研究發現，PLM在知識意識方面也存在以下局限性:

對于NLU來說，最近的研究發現PLM傾向于依賴于表面信號/統計線索[62][55][58]，并且很容易被否定的信息(例如，“Birds can [MASK]”vs .“Birds cannot [MASK]”)和錯誤啟動的探針[35]所愚弄。此外，已有研究發現，PLM在推理任務中往往會失敗[84]。

對于NLG，盡管PLM能夠生成語法正確的句子，但生成的文本可能不符合邏輯或不合理。例如，在[46]中提到，給定一組概念{dog, frisbee, catch, throw}， GPT2生成“a dog throw a frisbee at a football player”和T5生成“dog catch a frisbee and throw it to a dog”，這兩者都不符合人類的常識。

這些觀察結果促使人們設計更有知識意識的預訓練模型。最近，越來越多的研究致力于明確地將知識納入PLMs[100][108][61][90][96][49][33]。他們利用百科知識、常識知識和語言知識等多種來源，采用不同的注入策略。這種知識集成機制成功地增強了現有PLM的知識意識，提高了包括但不限于實體輸入[100]、問題回答[101][45]、故事生成[22]和知識圖完成[102]在內的各種任務的性能。

本文旨在對這一新興領域的知識增強預訓練語言模型(KE-PLMs)進行全面綜述。現有的KE-PLMs工作已經開發了一套不同的技術，用于在不同的知識來源上進行知識集成。為了深入了解這些模型并促進未來的研究，我們構建了三種分類法來對現有的KE-PLMs進行分類。圖1說明了我們提出的關于知識增強預訓練語言模型(KE-PLMs)的分類法。在現有的KE-PLMs中，已經探索了不同類型的知識來源(如語言學、常識、百科全書、特定應用)，以增強PLMs在不同方面的能力。第一種分類法幫助我們理解在構建KE-PLMs時考慮了哪些知識來源。在第二種分類法中，我們認識到一個知識源可以被不同程度地利用，并基于知識粒度對已有的工作進行分類: 基于文本塊、基于實體、基于關系三元和基于子圖。最后，我們介紹了第三種分類法，它根據方法的應用領域對它們進行分組。這種分類法展示了現有的KE-PLMs在知識集成的幫助下旨在改進的一系列應用。通過認識到哪些應用領域已經被KE-PLMs很好地解決了，我們相信這將為未來將KE-PLMs應用于未解決領域的研究機會提供支持。