亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

自2017年引入以來，物理信息神經網絡（PINNs）已成為科學機器學習中的關鍵工具，使得利用稀疏測量高效求解常微分方程和偏微分方程成為可能。近年來，PINNs在訓練和優化方面取得了顯著進展，包括網絡架構、自適應細化、域分解，以及自適應權重和激活函數的使用。一個顯著的近期發展是物理信息Kolmogorov–Arnold網絡（PIKANs），該網絡利用了Kolmogorov在1957年提出的表示模型，為傳統PINNs提供了一種有前景的替代方案。在本綜述中，我們全面介紹了PINNs的最新進展，重點關注網絡設計、特征擴展、優化技術、不確定性量化以及理論見解的改進。我們還概述了其在多個領域中的關鍵應用，包括生物醫學、流體和固體力學、地球物理學、動力系統、熱傳導、化學工程等。最后，我們回顧了由學術界和工業界開發的支持PINN研究和應用的計算框架和軟件工具。

關鍵詞：物理信息神經網絡；Kolmogorov-Arnold網絡；優化算法；可分解的PINNs；自適應權重；不確定性量化

1. 引言

有限元方法（FEM）在過去幾十年里一直是計算科學與工程（CSE）的基石，但在20世紀60年代初期首次發表相關研究時曾受到質疑。盡管FEM在學術研究和工業應用中取得了成功，但除非使用復雜的數據同化方法，否則FEM無法輕易整合測量數據，使得大規模計算成本高昂。FEM和其他傳統數值方法在解決已知邊界和初始條件以及所有材料參數的良定問題上效果顯著。然而，在實際應用中，這些條件往往存在缺漏，因此需要做出任意假設。例如，在功率電子冷卻應用中，需要假設墻壁的熱邊界條件。這可能導致錯誤的結果，因為在此類問題中，關注點通常是位于表面的最高溫度或最高熱流，而錯誤的假設恰恰應用于此類區域。相反，可用的可能只是一些稀疏的測溫數據，無論是在表面上還是在感興趣區域內部。不幸的是，當前的數值方法（如FEM）無法有效利用這些測量數據，從而導致系統的關鍵實驗信息丟失。另一方面，神經網絡基于任何精度或模式的數據進行訓練，因此數據同化在此設置中是一個自然過程。

物理信息神經網絡（PINNs）正是為了滿足這一需求而開發的，考慮了模擬場景中的部分已知物理定律，但并非完整知識，且對某些狀態變量存在稀疏測量，而非全部。因此，PINNs為將物理定律編碼到神經網絡中提供了一個框架【1】，并彌合了傳統物理模型和現代純數據驅動方法之間的脫節。具體而言，PINNs通過在目標函數中加入一個額外的“殘差”損失項，將底層偏微分方程（PDE）作為軟約束納入其中。PINNs在所有科學領域中都能夠有效解決正向和反向問題。它們可以結合稀疏和噪聲數據，因此在獲取準確測量結果困難或昂貴的情況下尤為有效。PINNs的一項關鍵創新是基于計算圖的自動微分的使用，使其能夠精確處理守恒定律中的微分算子，并且消除了耗時且限制解精度的網格生成需求。

自2017年在arXiv上出現的兩篇原創論文【2, 3】以及2019年隨后的聯合出版論文【1】以來，CSE社區充滿了興奮，來自全球各科學領域的研究團隊提出了許多關于該方法不同方面的重要改進。在撰寫本文時，論文【1】的引用量已超過11000次，許多研究探討了PINNs在不同科學領域的適用性，同時提出了算法改進以應對原始設計的局限性。在本綜述中，我們匯編了大多數主要的算法開發成果，并列出PINNs在不同學科領域的廣泛應用。附錄中展示了一些關于PINNs的重要文獻時間線，從PINNs【2】到PIKANs【4】。

現有的綜述，如【5-8】，總結了PINNs的關鍵方面，而本文的不同之處在于我們對最新的算法進展進行了更廣泛的概述，并涵蓋了PINNs在更多科學學科中的應用。綜述【5】和【6】主要關注PINNs在各領域的方法和應用，較少強調最近的算法改進。綜述【8】簡要概述了PINNs及其擴展，并以數據驅動的方程發現為例，但并未深入探討PINNs的應用。綜述【7】則包括了算法發展的討論，但其應用范圍局限于熱管理和計算流體力學。此外，一些綜述聚焦于特定應用領域。例如，【9】和【10】回顧了PINNs在流體動力學中的應用，而【11】則專注于電力系統的應用。相較之下，【12】進行了120篇研究論文的文獻計量分析，突出了PINNs研究中的主要出版趨勢、高被引作者和主要國家。

本文的結構如圖1所示。在第2節中，我們概述了物理信息機器學習的一般框架。第3節對旨在改進PINNs的主要技術進行了全面總結。第4節概述了PINNs的多樣化應用。第5節重點介紹了PINNs中的不確定性量化方法。第6節總結了PINNs背后的理論發展。第7節回顧了各種計算框架和軟件。最后，在第8節中，我們提供了討論和未來展望。

2. 物理信息機器學習（PIML）

物理信息機器學習（PIML）已成為求解正問題和逆問題中偏微分方程（PDEs）的傳統數值方法的強大替代方案。PIML最早由Raissi、Perdikaris和Karniadakis在一系列論文中提出【13】，基于高斯過程回歸（GPR）；另見同一作者的專利【14】。然而，本文將回顧PIML利用神經網絡和自動微分的后續發展，起始于2017年在arXiv上的兩篇論文【2, 3】，隨后于2019年合并為一篇論文【1】。值得注意的是，早期論文【15, 16】嘗試求解PDE（正問題），但未進行數據融合或自動微分。本文介紹的PIML采用表示模型，如多層感知器（MLP）或Kolmogorov-Arnold網絡（KAN）【4】，以最小化包含多項的損失函數來逼近常微分方程（ODEs）或偏微分方程（PDEs）的解，并符合給定的數據和約束條件。特別地，該損失函數旨在擬合可觀測數據或其他物理或數學約束，同時滿足底層物理定律，例如守恒定律【1, 17】。

與傳統數值方法不同，大多數PIML模型不依賴于預定義的網格或網格劃分，從而能夠高效處理復雜幾何和高維問題。通過自動微分，PIML模型無需離散化即可準確計算導數，將物理定律與數據無縫整合。這種靈活性使PIML模型能夠利用部分信息來逼近解，非常適合揭示隱藏參數【1】，以及從現實世界數據中重建【18】或推斷隱藏場【19】。此外，PIML模型在處理高維PDE【20】、耦合系統【21, 22】、隨機微分方程【23】和分數階PDE【24】方面表現出色，同時通過在現代硬件（如GPU）上的并行化實現了可擴展性【25】。這使得PIML模型能夠以較低的計算開銷高效處理多物理問題和大規模模擬，相比傳統方法更為高效。PIML對特定的控制方程無偏見，因此在此我們考慮以下非線性ODE/PDE：

其中，u是表示模型，θ為其可學習參數。由于u是連續且可微的，因此可以通過自動微分計算源項和邊界項f和b，表示為Fτ [u]和Bτ [u]【1】。PIML訓練的目標是找到最優的可學習參數，以最小化逼近解與真解的已知組成部分之間的累積誤差，如控制方程、邊界條件或數據殘差。該框架還可以通過為每個逼近解疊加約束，輕松擴展到ODE/PDE系統【19】。

一般來說，當方程參數τ已知且邊界條件已規定時，稱為正問題，此時不需要域內的觀測數據【1, 27】。相反，當ODE/PDE系統中的τ、邊界條件或隱藏場等部分信息未知時，稱為逆問題，目標是從現有數據或觀測中同時推斷未知信息和解【19】。整個PIML框架的示意圖如圖2所示。

PIML的算法發展

根據第2節概述的PIML框架，可以確定其三個關鍵組成部分：(1) 一個用于逼近解的表示模型，(2) 控制方程（例如ODE或PDE），以及(3) 一個優化過程，通過最小化多目標損失函數以找到最優的可學習參數（見圖2）。當前研究通過針對這三方面的多種方法顯著提升了PIML的基礎性能，即對表示模型的改進、控制方程處理的進步，以及優化過程的改善。

PIML的應用

大量研究表明，PIML在廣泛的領域中取得了成功。本文對PIML在生物醫學、力學、地球物理學、動力系統、控制與自主性、傳熱學、物理學、化學工程及其他相關領域的應用進行了精選而全面的回顧。

摘要—遙感 (RS) 是一種關鍵技術，用于觀測、監測和解讀我們的星球，廣泛應用于地球科學、經濟學、人道主義等領域。雖然人工智能 (AI)，特別是深度學習，在遙感領域取得了顯著進展，但開發更智能的遙感系統仍面臨諸多挑戰，包括地球環境的復雜性、多樣的傳感器模式、獨特的特征模式、不同的空間和光譜分辨率以及時間動態等問題。同時，隨著大型基礎模型 (Foundation Models, FMs) 的最新突破，由于其卓越的泛化能力和零樣本遷移能力，AI 在多個領域的潛力得到了擴展。然而，它們的成功主要局限于自然數據，如圖像和視頻，而對于各種非光學模式的遙感數據表現較差，甚至失敗。這激發了開發遙感基礎模型 (RSFMs) 的興趣，以應對覆蓋地表、大氣和海洋等地球觀測 (EO) 任務的復雜需求。本綜述系統性地回顧了新興的 RSFMs 領域。首先，概述了它們的動機和背景，隨后介紹了其基礎概念。接著對現有的 RSFM 研究進行分類和評審，包括它們的數據集及其在視覺基礎模型 (VFMs)、視覺-語言模型 (VLMs)、大型語言模型 (LLMs) 等方面的技術貢獻。此外，我們基于公開數據集對這些模型進行了基準測試，討論了現有的挑戰，并提出了這一快速發展的領域未來的研究方向。

關鍵詞—基礎模型、遙感、地球科學、多模態、視覺識別、視覺-語言模型、大型語言模型、地球觀測、人工智能。

1 引言

深度學習的快速發展為遙感 (RS) 和各種地球觀測 (EO) 應用帶來了顯著進展。然而，當前的大多數模型依賴于明確設計的、任務特定的學習目標。這種方法需要大量的人力進行數據集收集和標注，同時也需要大量的計算資源進行模型訓練和評估。此外，這些模型在不同任務之間的泛化和遷移能力有限，從而限制了 RS 系統的廣泛采用。RS 數據來自多種傳感器和平臺，具有大規模、復雜、動態和異構的特性。如何以協同、穩健和多功能的方式準確智能地解讀 RS 數據，仍是推動 RS 解讀系統進步的一個關鍵但尚未充分探索的挑戰。

隨著深度學習的持續進展，一種革命性趨勢正朝向大型基礎模型 (Foundation Models, FMs) 演進，定義為“任何基于廣泛數據訓練（通常使用大規模自監督學習）并能夠適應多種下游任務的模型（例如，通過微調）”[1]。FMs 包括大型語言模型 (LLMs)、視覺基礎模型 (VFMs) 和視覺-語言模型 (VLMs)，在不同任務上展示了顯著的泛化能力和小樣本遷移能力。這一轉變標志著從單一用途模型向通用模型的過渡，以及從監督預訓練向自監督預訓練的過渡，大大減少了訓練資源的需求，同時擴展了模型的應用范圍。

然而，這些進展主要集中在自然數據領域，如圖像和文本，面對分布外領域如 RS 時常面臨重大挑戰。例如，RS 與自然圖像的根本區別——如傳感器模式、捕捉視角、空間分辨率、光譜帶以及時間規律性——阻礙了 FMs 在 RS 應用中的直接應用。盡管存在這些挑戰，FMs 在自然領域的成功為遙感基礎模型 (RSFMs) 的開發提供了有希望的啟示，RSFMs 在利用大規模地理空間數據、建模復雜動態地球表面、提高數據效率、擴展應用范圍、增強任務性能和減少碳足跡方面顯示出巨大潛力。

相比于一般領域的 FMs，開發 RSFM 面臨幾大關鍵挑戰：(1) 自然數據與 RS 數據之間的顯著領域差異；(2) 缺乏用于 RSFM 預訓練的大規模數據集；(3) 缺少適合 RSFMs 的深度架構；(4) 需要應對不同于自然領域通用 FMs 的獨特 RS 應用。為了應對這些挑戰，近年來不斷有努力致力于開發先進的 RSFMs，并在 RS 領域內更好地整合各種 FMs，如圖 1 所示。

盡管取得了快速進展，RSFMs 領域仍然缺乏一篇全面的綜述，提供對這一新興且多方面領域的深入概述。本文旨在彌補這一空白，通過呈現對 RSFMs 最新進展的廣泛調查，涵蓋學習范式、數據集、技術方法、基準測試以及未來研究方向。如圖 2 所示，我們根據模型類型將現有方法分為三大類：用于 RS 的 VFMs、用于 RS 的 VLMs，以及其他 RSFMs，如 LLMs 和生成式 FMs。這些類別將在后續章節中詳細回顧。 本文的主要貢獻有三方面：首先，它對 RSFMs 的最新進展進行了全面系統的回顧。根據我們所知，這是首篇跨越不同類型 FMs 的綜述，涵蓋了這一快速發展的領域。其次，它對各種傳感器模式和任務下應用的 RSFMs 進行了基準測試和深入分析。第三，它確定了多個研究挑戰，并提出了 RSFMs 領域的潛在研究方向。

本綜述的結構如下：第二部分介紹 RSFMs 的背景知識，包括學習范式、常見的 RS 傳感器模式以及相關綜述。第三部分探討了 RSFMs 的基礎，涵蓋了深度網絡架構和典型的 RS 解讀任務。第四、第五和第六部分系統性地回顧了用于 RS 的 VFMs、用于 RS 的 VLMs 及其他類型的 RSFMs 的方法。第七部分總結并比較了現有方法在多個基準數據集上的性能。最后，第八部分提出了 RSFMs 的幾個有前途的未來研究方向。

摘要—持續學習（CL）旨在使機器學習模型能夠從新數據中不斷學習，同時在不遺忘已獲得知識的基礎上進行擴展。隨著機器學習模型從小規模到大規模預訓練架構的演變，以及從支持單一模態數據到支持多模態數據，多模態持續學習（MMCL）方法最近開始出現。MMCL的主要挑戰在于，它超越了簡單的單模態持續學習方法的疊加，因為這種直接的方法通常會產生不理想的效果。在本研究中，我們首次對MMCL進行了全面綜述。我們提供了MMCL的基本背景知識和設定，并提出了結構化的MMCL方法分類法。我們將現有的MMCL方法分為四類，即基于正則化、基于架構、基于重放和基于提示的方法，闡述它們的方法論并強調其關鍵創新。此外，為了激發該領域的進一步研究，我們總結了開放的MMCL數據集和基準，并討論了若干未來有前景的研究和發展方向。我們還創建了一個GitHub倉庫，用于索引相關的MMCL論文和開放資源，網址為：//github.com/LucyDYu/Awesome-Multimodal-Continual-Learning。

關鍵詞—多模態持續學習，多模態數據，終身學習，增量學習

1 引言近年來，機器學習（ML）取得了顯著的進展，為解決各種實際問題作出了重要貢獻。在傳統設置中，大多數ML模型在所謂的“單一階段”范式下運行，即在靜態和單一數據集上進行訓練，并在獨立同分布（i.i.d.）假設下進行評估【1】。然而，這種“單一階段”范式無法賦予訓練模型適應新數據或執行新任務的能力，因此難以滿足開發能夠應對動態變化環境的智能體的需求。為解決這一問題，ML社區致力于發展持續學習（CL），也稱為終身學習或增量學習，它通過在新任務上逐步訓練模型并保留早期知識，無需對完整數據進行重新訓練【2-5】。 CL的主要挑戰是災難性遺忘：當任務按順序進行訓練時，針對新任務的訓練會嚴重影響之前已學習任務的性能【6, 7】，這是因為不受約束的微調會使參數遠離舊的最優狀態【8】。CL的目標是開發能夠持續獲取知識并保留已學習信息的學習系統。這一過程本質上模仿了生物大腦的認知靈活性，生物大腦在整個生命過程中不斷學習各種技能【9】。通過使模型能夠在不遺忘的情況下適應新任務，CL在資源和時間效率方面相較于傳統的模型全數據重新訓練方法具有顯著優勢。此外，由于存儲限制、隱私問題等原因，歷史訓練數據可能無法訪問，這使得全數據訓練變得不可行，進一步突顯了CL在記憶舊知識并從動態環境中獲取最新知識方面的效率和有效性。盡管CL取得了顯著進展，大多數研究仍集中在單一數據模態上，如視覺【10-13】、語言【14-16】、圖【17, 18】或音頻【19】。這種單模態的關注忽略了真實世界環境的多模態特性，這些環境本質上是復雜的，由多種數據模態組成而非單一模態。隨著多模態數據的快速增長，例如Meta和TikTok等平臺上圖像、文本和視頻數據的激增，開發能夠從多模態源中持續學習的AI系統變得至關重要，因此出現了多模態持續學習（MMCL）設置。這些MMCL系統需要有效地整合和處理多模態數據流【20, 21】，同時還要能夠保留先前獲取的知識。更重要的是，這種MMCL設置更接近于人類生物系統在應對現實世界復雜性時跨模態學習和整合信息的過程【22, 23】。MMCL的挑戰。盡管傳統單模態CL與MMCL之間存在聯系，MMCL的挑戰遠不止是簡單地將CL方法疊加在多模態數據上。事實證明，這種直接的嘗試通常會產生次優性能【31-33】。具體來說，如圖2所示，除CL中已有的災難性遺忘問題外，MMCL的多模態特性還引入了以下四個挑戰。這些挑戰不僅獨立存在，還可能加劇災難性遺忘問題：

• 挑戰1（模態不平衡）。模態不平衡指的是在多模態系統中對不同模態進行不均衡處理或表示，這種不平衡在數據和參數層面上都有體現。在數據層面，不同模態的數據可用性在CL過程中可能顯著不同，可能出現極端不平衡的情況，如某些模態的缺失【28】。在參數層面，不同模態特定組件的學習速率可能有所不同，導致跨所有模態的整體不平衡學習過程【34】。因此，MMCL模型可能會遭受性能下降，甚至在某些情況下其表現可能比單模態模型還要差【32, 36】。
• 挑戰2（復雜模態交互）。模態交互發生在模型組件中，即多模態輸入信息的表示之間進行顯式交互。這一交互在MMCL中引入了獨特的挑戰，主要體現在兩個交互過程中：模態對齊和模態融合【37】。在模態對齊中，不同模態的單一數據樣本的特征在持續學習過程中往往會發生偏離，這種現象被稱為MMCL中的空間紊亂【38】。在模態融合中，傳統的多模態融合方法在非CL環境中效果良好，但在MMCL環境中可能表現較差，因為不同的融合技術對解決遺忘問題的影響各不相同【36, 39】。
• 挑戰3（高計算成本）。MMCL中的多模態整合顯著增加了模型和任務特定層面的計算成本。在模型層面，增加模態不可避免地增加了可訓練參數的數量。許多MMCL方法利用預訓練的多模態模型作為基礎，但持續地微調這些大規模模型會導致沉重的計算負擔【42, 43】。這些不斷增加的計算需求對MMCL方法的實際部署提出了嚴格的可擴展性要求。
• 挑戰4（預訓練零樣本能力的退化）。隨著預訓練模型的進步，MMCL方法可以借助這些強大的基礎模型。預訓練的多模態模型通常具有在未見過的任務上實現零樣本能力的優勢【44, 45】。然而，在MMCL的連續微調過程中，預訓練基礎模型的一些初始能力可能會下降，這種退化風險可能導致未來任務的性能嚴重下降【45】。 貢獻。為了應對這些挑戰，研究人員正日益關注MMCL方法。我們首次提供了MMCL的全面綜述。我們總結了當前的數據集和基準測試，以促進研究和實驗，并在快速發展的MMCL領域內討論了未來的研究方向。總之，我們的綜述有以下主要貢獻：

1. 我們提供了第一個全面的MMCL綜述。我們詳細介紹了MMCL的背景知識，包括基本的設定、不同的MMCL場景和常用評估指標。
2. 在我們的MMCL方法分類體系中，我們將現有的MMCL工作分為四個類別，并提供了詳細的子類別解釋。
3. 我們總結了當前的數據集和基準，并討論了未來的研究方向，旨在激發創新性研究，從而促進更有效的MMCL方法的發展。

多模態持續學習根據輸入模態的不同，多模態持續學習可以分為五種主要場景：

• 類增量學習（Class-incremental Learning, CIL）：不同任務間的數據分布和標簽空間不同，且測試階段不提供任務ID。模型需能在所有已學類別間進行分類。
• 領域增量學習（Domain-incremental Learning, DIL）：不同任務間的數據分布不同，但共享相同的標簽空間。測試階段不需要任務ID。
• 任務增量學習（Task-incremental Learning, TIL）：不同任務的數據分布和標簽空間均不同，且測試階段提供任務ID，模型知道執行的是哪個任務。 此外，為了適應多模態數據，定義了兩種新的場景：
• 生成式領域增量學習（Generative Domain-incremental Learning, GDIL）：此場景用于生成式任務，例如視覺問答。與CIL不同，GDIL中的模型輸出來自一個較大的詞匯集。
• 模態動態任務增量學習（Modality-dynamic Task-incremental Learning, MDTIL）：任務序列中的模態可能變化，模型在測試階段獲得任務ID，并適應不同的模態組合。

3 方法學

在多模態持續學習（MMCL）中，有多種方法學策略。本文將MMCL方法分為四大類：基于正則化、基于架構、基于重放以及基于提示的方法。圖5對這些方法進行了分類，并在后續的小節中詳細說明。表2總結了各類MMCL方法的具體特性，而圖6展示了代表性架構，主要以視覺和語言模態為主。對于其他模態的方法，在表3中進行了匯總。在正式介紹MMCL方法之前，我們將首先介紹一些經典的單模態持續學習（CL）方法，因為它們既是MMCL方法的前身，也在MMCL研究中被廣泛用作對比。

**3.1 基于正則化的方法

基于正則化的方法旨在通過對參數施加約束來減少災難性遺忘現象【8】。這類方法根據約束方式的不同，分為顯式正則化和隱式正則化兩種。下圖（圖6a）總結了顯式和隱式正則化方法的代表性架構。3.1.1 顯式正則化顯式正則化方法通過直接為參數賦予重要性權重來抑制模型的參數變化。它通過懲罰那些偏離先前最優狀態的參數，以減緩模型的遺忘。其關鍵思想是對模型的參數偏移施加顯式約束，以保護模型在先前任務中的知識。在這種方法中，常用的技術包括：

• 彈性權重保持（Elastic Weight Consolidation, EWC）：通過利用Fisher信息矩陣對參數賦予權重，從而實現參數保護，避免重要參數發生顯著改變。EWC的變種方法例如EWCH和在線EWC通過單一正則化項的方式進一步提高了效率。
• 任務相關性調節（Task Importance Regularization, TIR）：這是MMCL中的一種方法，基于BLIP2等多模態模型。它通過計算新舊任務之間的相似性來動態調整正則化權重，以適應長期持續學習的需求。 3.1.2 隱式正則化隱式正則化方法主要關注于在訓練新任務時盡量保持模型對舊任務輸出的一致性，從而減少遺忘風險。與顯式正則化不同，隱式正則化方法僅在參數變化導致模型輸出改變時才施加懲罰，因此允許參數更自由地調整。隱式正則化常見的方式是知識蒸餾（KD），通常包括以下幾種策略：
• 基于logits的蒸餾（Logits-based KD）：通過對比新模型和舊模型在最后一層輸出的logits，盡量讓新模型在訓練新任務時保持與舊任務相似的輸出分布。
• 基于特征的蒸餾（Feature-based KD）：不僅關注最終輸出，還在中間層的特征上進行對比，從而保留中間表征。
• 基于關系的蒸餾（Relation-based KD）：使用樣本間的關系信息進行對比，如在視覺-語言模型中，可以利用圖像和文本之間的相似度來進行知識轉移。 典型的單模態模型中，LwF（Learning without Forgetting）是一種經典的隱式正則化方法，它在訓練新任務前使用當前數據生成舊任務的輸出，并在訓練時通過KD損失來最小化新任務下的輸出變化。LwF因其無需顯式存儲舊任務數據的特性，被廣泛應用于多模態和單模態CL模型中。在多模態模型中，隱式正則化方法進一步擴展并改進了KD策略以適應不同的模態。例如，ZSCL（Zero-Shot Continual Learning）和Mod-X都使用CLIP作為基礎模型，通過KD技術保留零樣本能力。此外，Mod-X還關注空間無序（Spatial Disorder）問題，以解決視覺和語言表征在持續訓練過程中逐漸偏離的問題。

3.2 基于架構的方法

架構方法通過引入任務特定組件來減少不同任務之間的干擾，通常分為固定架構和動態架構兩種。

**3.2.1 固定架構

固定架構方法在整個任務序列中保持相同的模型結構，通過任務掩碼選擇性地激活或抑制特定參數，從而使各個任務使用不同的參數組合。這種方式通過分配任務特定的參數部分來減輕遺忘現象。單模態模型中，HAT（Hard Attention to the Task）通過學習接近于二值的注意力向量，在模型層次上選擇性激活或抑制參數。它通過掩碼來固定特定參數，以保留早期任務的知識。在多模態模型中，RATT（Recurrent Attention Task Transformer）使用固定架構進行圖像描述生成。它結合了卷積神經網絡（CNN）和長短時記憶網絡（LSTM），并通過注意力掩碼實現特定任務的激活，以便針對不同任務分配不同的模型層激活狀態。

**3.2.2 動態架構

動態架構方法則允許模型結構隨著任務的引入而動態擴展，通常通過添加新模塊來增加模型容量。與固定架構不同，動態架構可以在新任務到來時擴展新的任務特定模塊，因此性能不會受到初始容量的限制。在單模態模型中，進步網絡（Progressive Network）是一種早期的動態架構，它通過為每個新任務初始化一個新網絡來避免遺忘。這種方法使用橫向連接來支持特征共享和知識轉移。多模態模型中的動態架構方法則可以通過任務特定、模態特定等多種策略來決定如何擴展網絡結構。例如，MoE-Adapters4CL在多模態模型CLIP的基礎上為每個新任務添加模塊，減少了新任務對已有知識的干擾。此外，ODU和CMR-MFN都設計了模態融合模塊，以應對多模態數據中模態組合多變的特性。

3.3 基于重放的方法

重放方法使用一個記憶緩沖區來存儲歷史實例，以幫助在學習新任務時維護早期任務的知識。這些方法無需動態調整網絡架構，也不需約束參數自由度。基于獲取重放數據的不同方式，重放方法可以分為直接重放和偽重放兩種。

**3.3.1 直接重放

直接重放方法通過將舊任務中的少量樣本存儲在記憶緩沖區中，以在新任務訓練時進行重放。此類方法的關鍵在于如何選擇代表性樣本以充分利用有限的記憶空間。在多模態模型中，例如VQACL和SAMM采用隨機選擇策略直接重放多模態樣本。實驗表明，與單模態重放相比，多模態重放能顯著提升模型的穩定性和靈活性。此外，KDR通過在跨模態相似度矩陣上引入KD，以確保模型更新前后的交互一致性，從而進一步鞏固知識。

**3.3.2 偽重放

偽重放方法利用生成模型學習舊任務的數據分布，從而在當前階段生成偽造數據，避免了直接重放方法的存儲需求和隱私問題。例如，單模態模型中DGR（Deep Generative Replay）通過訓練生成對抗網絡（GAN）來生成數據樣本以進行重放。后續研究擴展了偽重放策略，包括在特征層面進行偽重放，以強化特征表示，減少遺忘現象。在多模態模型中，SGP通過保存場景圖和語言模型生成偽造數據以進行偽重放。此外，AID通過偽原型重放策略處理模態不平衡問題，從而提升分類器的區分能力。這些方法解決了多模態學習環境中數據類型多樣性和平衡性的問題。

3.4 基于提示的方法

基于提示的方法利用預訓練大模型，通過修改輸入而非調整模型結構來保留原始知識并學習新任務。此類方法減少了大規模微調的需求，并能夠更好地保留預訓練模型的零樣本能力。在多模態模型中，例如Fwd-Prompt和S-liPrompts分別采用共享提示和任務特定提示策略，增強了視覺-語言模型在跨模態信息融合中的表現。CPE-CLIP通過將視覺提示設計為語言提示的函數來連接多模態信息，使模型在新任務中具備更好的適應性。

4 數據集和基準

本節對當前多模態持續學習（MMCL）領域的主要數據集和基準進行了綜述。MMCL中的大多數數據集都是從最初為非持續學習（CL）任務設計的知名數據集中改編而來，研究人員常常利用多個數據集或將單一數據集劃分為多個子集，以便在MMCL設置中模擬任務【39】。此外，也存在一些專門為MMCL構建的數據集，例如P9D【68】和UESTC-MMEA-CL【39】。表4匯總了涵蓋各種CL場景、模態和任務類型的MMCL基準。以下將具體介紹這些基準，若數據集和代碼為公開可訪問，將在相應位置標明。

**4.1 基于原始數據集的基準

這一部分總結了兩個專門為MMCL構建的數據集：

• P9D：Zhu等人【68】利用電商數據構建了首個視覺-語言持續預訓練數據集P9D，并建立了跨模態檢索與多模態檢索的VLCP基準。P9D包含超過一百萬對真實產品的圖像和文本數據，并根據行業類別劃分為9個任務。該數據集旨在支持多模態任務中不同類別的持續學習。
• UESTC-MMEA-CL：Xu等人【39】收集了來自佩戴智能眼鏡的10位參與者的視頻和傳感器數據，構建了包含視覺、加速度和陀螺儀模態的UESTC-MMEA-CL數據集，這是第一個用于持續自我活動識別的多模態數據集。作者還建立了CEAR基準，并使用了三種基礎CL方法：EWC【11】、LwF【10】和iCaRL【12】。研究結果顯示，與其他方法相比，iCaRL在重放基礎上能更有效地減輕遺忘問題。 這兩個數據集通過與常用CL方法的結合驗證了MMCL方法在不同模態組合上的有效性，也進一步揭示了多模態數據融合的挑戰及潛在研究方向。

**4.2 基于多個數據集的基準

除了專門的數據集外，也有一些基準通過使用多個數據集來模擬MMCL任務。以下是一些此類基準的簡要介紹：

• CLiMB【31】：該基準包括四個視覺-語言任務（VQAv2、NLVR2、SNLI-VE和VCR）、五個僅語言任務（IMDb、SST-2、HellaSwag、CommonsenseQA和PIQA）以及四個僅視覺任務（ImageNet-1000、iNaturalist2019、Places365和MS-COCO目標檢測）。CLiMB采用分類任務來評估模型在不同模態任務中的表現。
• CLOVE【63】：專注于生成任務，適用于不同模態的生成式任務，利用多個數據集進行評估。
• MTIL【45】：該基準在視覺-語言領域內使用了多個數據集進行任務增量學習，驗證模型在多任務設置中的表現。
• CEAR【39】：基準測試多模態數據集（視頻、加速度和陀螺儀）上的持續學習性能，評估模型對復雜運動數據的持續識別能力。 這些基準提供了多種任務和模態組合，用以驗證模型在各種復雜多模態環境中的持續學習能力。通過這些基準，研究人員可以深入探討MMCL方法在不同任務類型下的適用性和性能表現。

5 未來研究方向

隨著多模態模型的快速發展，多模態持續學習（MMCL）已成為一個活躍且前景廣闊的研究課題。在本節中，我們提出了幾個值得進一步探索和研究的未來方向。

**5.1 提升模態數量與質量

當前的MMCL研究中，多模態數據的數量和質量直接影響模型的性能。然而，由于不同模態的數據特性和收集難度，提升模態數量和質量仍面臨諸多挑戰：

1. 豐富模態種類：許多現有研究主要集中在視覺、語言和音頻模態上，但實際應用中往往需要結合更多模態，如生物信號、環境數據等。因此，未來研究可以探索如何將更多元的模態引入MMCL系統，以提高模型對復雜環境的適應性和泛化能力。
2. 提高數據質量：不同模態數據的噪聲和不完整性可能導致信息缺失或誤導模型學習。提高數據采集和預處理的質量，以及開發具有魯棒性的數據增強方法，將有助于改善模型對多模態數據的學習效果。
3. 模態互補性研究：多模態數據之間的互補性在MMCL中發揮著重要作用。研究如何更好地利用不同模態之間的相互補充來增強學習效果，例如通過模態間對齊和融合方法，以更好地利用數據多樣性，提升模型的整體性能。

**5.2 更高效的計算資源利用

MMCL中的模型往往依賴大規模預訓練模型，并在多個模態和任務上進行持續訓練，這對計算資源提出了更高要求。為提高資源利用效率，未來可以在以下幾個方面展開研究：

1. 參數高效的微調方法：開發參數高效的微調策略（如適配器模塊、低秩近似等），以減少訓練過程中對計算資源的需求。這類方法能夠使模型在進行任務增量學習時僅調整少量參數，從而減輕計算負擔。
2. 模型壓縮和加速：探索模型壓縮（如量化、剪枝）和加速（如蒸餾、混合精度訓練）技術，以降低MMCL模型的內存和計算成本，使其更適合實際部署。
3. 分布式與異構計算：結合分布式計算和異構計算設備（如GPU和TPU），分擔大規模多模態數據的處理任務，以應對計算負載挑戰。這可以使得MMCL模型在多任務和大數據量場景下保持較高的性能表現。

**5.3 增強零樣本能力和泛化性能

MMCL中的一個關鍵挑戰是如何在不忘舊任務的同時提升對新任務的零樣本適應能力及泛化性能：

1. 保持預訓練模型能力：隨著持續微調的進行，MMCL模型可能逐漸喪失預訓練模型的零樣本能力。研究如何在保持先前知識的基礎上，繼續增強模型對新任務的適應性，將是未來的重要方向。
2. 增強跨任務泛化：MMCL模型往往面對跨任務的知識遷移和適應性問題。如何設計有效的跨任務知識遷移機制，以增強模型在不同任務間的泛化能力，將有助于提高模型在多變環境下的實用性。
3. 任務間關系學習：許多現實任務之間存在一定的關聯性，未來可以探索如何利用任務間的關系信息（如標簽關系、特征共現）來更好地指導模型學習，從而提升模型對新任務的預測準確性。

**5.4 應對多模態數據中的模態失衡

在多模態環境下，模態數據的分布和數量可能存在不平衡，這會影響MMCL的表現。未來的研究可以關注以下方面：

1. 模態優先級與加權機制：不同模態對任務完成的重要性可能不同，因此可以研究如何為不同模態分配合適的權重和優先級，以提高模型在模態不平衡情況下的魯棒性。
2. 動態模態選擇與融合：設計動態的模態選擇策略，使模型能夠在缺少某些模態數據時，靈活地進行模態融合和任務處理。這種動態融合策略將提高模型在不同模態條件下的適應性。
3. 模態數據重采樣與合成：在模態不平衡的情況下，可以研究如何通過重采樣或合成方法生成缺少的模態數據，以保持模態之間的平衡性，提高模型的整體學習效果。

5.5 提高模型對隱私與數據安全的適應性

隨著隱私和數據安全需求的增加，未來MMCL研究需要更好地應對這些問題：

1. 隱私保護技術：研究如何在MMCL模型中引入隱私保護技術，如聯邦學習和差分隱私，以在多模態數據環境中保護用戶隱私。
2. 安全模型更新與遷移：開發安全的模型更新和遷移機制，以防止敏感數據泄露，同時保證模型在不同平臺或設備上的適應性和性能。
3. 數據合成與偽重放：為減輕隱私風險，可以利用數據合成與偽重放技術，在不依賴真實用戶數據的情況下，重建訓練數據分布，從而提高模型的隱私適應性。

結論

以上是未來研究方向的詳盡討論，為進一步發展多模態持續學習（MMCL）領域提供了切實可行的建議和探索路徑。通過提升模態數量與質量、提高計算資源效率、增強零樣本能力與泛化性能、應對模態失衡問題，以及加強隱私與數據安全的適應性，研究人員可以應對MMCL的挑戰，推動模型更好地適應現實環境的需求。這些方向的研究不僅能解決當前的技術難題，還將推動更為廣泛和深入的實際應用，從而實現更加智能化和多樣化的學習系統。

當談到由生成式 AI 驅動的應用程序時，當前最流行的框架之一是智能體。智能體可以定義為高度專業化的實體，能夠通過規劃和與周圍生態系統的互動來實現用戶的目標。在本次討論中，您將探討 AI 智能體的主要組成部分，如大語言模型（LLMs）、提示（Prompts）、記憶（Memory）和工具（Tools）。我們還將討論構建健壯、企業級智能體的架構最佳實踐，重點關注語義緩存（semantic caching）和 GraphRag 等新興趨勢。

摘要——視頻異常檢測 (VAD) 旨在發現視頻中偏離正常行為或事件的異常現象。作為計算機視覺領域中一個長期存在的任務，VAD 已經取得了許多顯著的進展。在深度學習的時代，隨著具備持續增長的能力和容量的架構的爆發，基于深度學習的各種方法不斷涌現于 VAD 任務中，極大地提升了檢測算法的泛化能力并拓寬了應用場景。因此，面對如此多樣的方法和大量的文獻，一篇全面的綜述變得迫在眉睫。本文提供了一篇廣泛而全面的研究綜述，涵蓋了五種不同類別的范疇，即半監督、弱監督、全監督、無監督以及開放集監督的 VAD 方法，并深入探討了基于預訓練大模型的最新 VAD 工作，彌補了過去僅關注于半監督 VAD 和小模型方法的綜述的局限性。針對不同監督級別的 VAD 任務，我們構建了一個有條理的分類體系，深入討論了不同類型方法的特點，并展示了它們的性能對比。此外，本綜述還涉及了公共數據集、開源代碼以及覆蓋所有上述 VAD 任務的評估指標。最后，我們為 VAD 社區提供了若干重要的研究方向。 關鍵詞——視頻異常檢測，異常檢測，視頻理解，深度學習。

異常代表著偏離標準、正常或預期的事物。正常性有多種多樣，而異常現象則非常稀少。然而，當異常出現時，往往會產生負面影響。異常檢測旨在通過機器學習發現這些稀有的異常，從而減少人工判斷的成本。異常檢測在多個領域中有著廣泛的應用【1】，例如金融欺詐檢測、網絡入侵檢測、工業缺陷檢測和人類暴力檢測。在這些應用中，視頻異常檢測 (VAD) 占據著重要地位，異常在此指的是時間或空間維度上的異常事件。VAD 不僅在智能安防中起著至關重要的作用（例如暴力、入侵和徘徊檢測），還廣泛應用于其他場景，如在線視頻內容審查和自動駕駛中的交通異常預測【2】。由于其在各個領域中顯著的應用潛力，VAD 吸引了來自工業界和學術界的廣泛關注。

在深度學習時代之前，常規的方法是將特征提取與分類器設計分離，形成一個兩階段的過程，并在推理階段將它們結合起來。首先進行特征提取，將原始的高維度視頻數據轉換為基于專家先驗知識的緊湊手工特征。盡管手工特征缺乏魯棒性，且在面對復雜場景時難以有效捕捉行為表達，但這些早期工作極大啟發了后續基于深度學習的研究工作。

在過去十年中，隨著深度學習的崛起，傳統的機器學習算法逐漸失去了吸引力。隨著計算機硬件的快速發展以及互聯網時代大量數據的涌現，近年來基于深度學習的方法在 VAD 領域取得了顯著進展。例如，ConvAE【3】作為第一個基于卷積神經網絡 (CNN) 的深度自編碼器，首次用于捕捉視頻中的規律；FuturePred【4】首次利用 U-Net 預測未來的異常；DeepMIL【5】是第一個探索用于現實世界異常的深度多實例學習 (MIL) 框架的工作。為了更直觀地展現深度學習時代對 VAD 任務的研究熱情，我們通過 Google Scholar 和 IEEE Xplore1 對過去十年中與 VAD 相關的出版物數量進行了統計調查（這個時期由基于深度學習方法的崛起所驅動）。我們選擇了五個相關主題，即視頻異常檢測、異常事件檢測、異常行為檢測、異常事件檢測和異常行為檢測，并在圖 1 中展示了出版物統計數據。不難看出，從這兩個來源統計的相關出版物數量呈現出穩步快速增長的趨勢，表明 VAD 已經引起了廣泛的關注。此外，我們還展示了在兩種常見監督方式下常用數據集上年度最先進方法的檢測性能趨勢，并在圖 2 中呈現了性能趨勢。檢測性能在所有數據集上均表現出穩步上升的趨勢，未顯示出任何性能瓶頸。例如，CUHK Avenue【6】上的半監督方法性能在過去七年間顯著提升，從 70.2% AUC【3】上升到 90.1% AUC【7】。此外，針對后續提出的弱監督 VAD，研究也取得了顯著進展。這表明，隨著架構的發展，深度學習方法的能力不斷提升，同時也展示了對 VAD 任務中深度學習方法的持續探索熱情。

上述統計數據清楚地表明，深度學習驅動的 VAD 是當前研究的熱點。因此，迫切需要對現有工作進行系統分類并進行全面總結，以便為新手提供指導并為現有研究人員提供參考。基于此，我們首先收集了近年來一些高影響力的 VAD 綜述，見表 I。Ramachandra 等人【8】主要聚焦于單一場景下的半監督 VAD，缺乏對跨場景的討論。Santhosh 等人【9】回顧了針對道路交通場景中實體的 VAD 方法。其綜述缺乏足夠的深度分析，主要關注 2020 年之前的方法，忽略了最近的進展。Nayak 等人【10】對基于深度學習的半監督 VAD 方法進行了全面調查，但未考慮弱監督 VAD 方法。隨后 Tran 等人【11】介紹了新興的弱監督 VAD 綜述，但其重點不僅限于視頻，還涉及圖像異常檢測，導致對 VAD 任務的系統性組織不足。最近，Chandrakala 等人【12】和 Liu 等人【13】構建了涵蓋多種 VAD 任務的分類體系，例如無監督 VAD、半監督 VAD、弱監督 VAD 和全監督 VAD，并對大多數監督 VAD 任務的深度學習方法進行了綜述。然而，他們的研究范圍局限于傳統的閉集場景，未涵蓋最新的開放集監督 VAD 研究，也未引入基于預訓練大模型和可解釋學習的全新框架。

為全面解決這一差距，我們對深度學習時代的 VAD 研究進行了深入綜述。我們的綜述涵蓋了幾個關鍵方面，以提供對 VAD 研究的全面分析。具體而言，我們對深度學習時代 VAD 任務的發展趨勢進行了深入調查，并提出了一個統一的框架，將不同的 VAD 任務整合在一起，填補了現有綜述在分類方面的空白。我們還收集了最全面的開源資源，包括基準數據集、評估指標、開源代碼和性能對比，以幫助該領域的研究人員避免走彎路并提高效率。此外，我們系統地對各種 VAD 任務進行分類，將現有工作劃分為不同類別，并建立了一個清晰的結構化分類體系，以提供對各種 VAD 模式的連貫和有條理的概述。除了這個分類體系，我們還對每種模式進行了全面分析。此外，在整個綜述中，我們重點介紹了對 VAD 研究進展做出重大貢獻的影響力工作。 本綜述的主要貢獻總結如下三個方面：

• 我們對 VAD 進行了全面綜述，涵蓋了基于不同監督信號的五種任務，即半監督 VAD、弱監督 VAD、全監督 VAD、無監督 VAD 和開放集監督 VAD。研究重點已經從傳統的單任務半監督 VAD 擴展到了更廣泛的多任務 VAD。

• 跟隨研究趨勢，我們回顧了最新的開放集監督 VAD 研究。此外，我們還重新審視了基于預訓練大模型和可解釋學習的最新 VAD 方法。這些方法的出現提升了 VAD 的性能和應用前景。據我們所知，這是首次對開放集監督 VAD 和基于預訓練大模型的 VAD 方法進行的全面綜述。

• 針對不同任務，我們系統地回顧了現有的基于深度學習的方法，更重要的是，我們引入了一個統一的分類框架，從模型輸入、架構、方法論、模型改進和輸出等多個方面對各種 VAD 模式的方法進行了分類。這一精細的科學分類體系有助于對該領域的全面理解。

半監督視頻異常檢測

基于我們對以往綜述的深入調查，我們發現現有的綜述大多缺乏科學的分類體系。許多綜述只是根據使用方法將半監督視頻異常檢測 (VAD) 作品分為不同的組別，例如基于重建、基于距離和基于概率的方法，有些綜述則根據輸入進行分類，例如基于圖像、基于光流和基于片段的方法。顯然，現有的分類綜述相對簡單且表面化，因此難以全面有效地涵蓋所有方法。為了解決這個問題，我們建立了一個全面的分類體系，涵蓋了模型輸入、方法論、架構、模型優化和模型輸出。詳細說明見圖 4。

如前所述，在半監督 VAD 任務中，只有正常樣本可用于訓練，這使得監督分類范式不可適用。常見的方法是利用訓練樣本的內在信息，學習深度神經網絡 (DNN) 來解決前置任務。例如，正常性重建是一個經典的前置任務【3】。在此過程中，需要考慮幾個關鍵方面：樣本信息的選擇（模型輸入）、前置任務的設計（方法論）、深度網絡的利用（網絡架構）、方法的改進（優化）和異常結果的表達（模型輸出）。這些關鍵要素共同決定了半監督 VAD 解決方案的有效性。在接下來的章節中，我們將根據上述分類體系系統地介紹現有的基于深度學習的 VAD 方法。

IV. 弱監督視頻異常檢測

弱監督視頻異常檢測 (VAD) 是當前 VAD 領域中備受關注的研究方向，其起源可追溯到 DeepMIL【5】。相比于半監督 VAD，這是一個較新的研究方向，因此現有的綜述缺乏全面而深入的介紹。如表 I 所示，Chandrakala 等人【12】和 Liu 等人【13】都提到了弱監督 VAD 任務。然而，前者僅簡要描述了 2018 至 2020 年間的一些成果，而后者盡管涵蓋了近期的工作，卻缺乏科學的分類體系，僅根據不同的模態將其簡單地分為單模態和多模態。鑒于此背景，我們從 2018 年至今調查了相關工作，包括基于預訓練大模型的最新方法，并從四個方面對現有工作進行了分類：模型輸入、方法論、優化策略和模型輸出。弱監督 VAD 的分類體系如圖 8 所示。 與半監督 VAD 相比，弱監督 VAD 在訓練過程中明確定義了異常，為檢測算法提供了明確的方向。然而，與全監督 VAD 相比，粗糙的弱監督信號為檢測過程引入了不確定性。現有的大多數方法利用 MIL 機制來優化模型。這個過程可以視為從正常包（正常視頻）中選擇看起來最異常的最困難區域（視頻片段），以及從異常包（異常視頻）中選擇最有可能異常的區域。然后，目標是最大化它們之間的預測置信差異（即使最困難的正常區域的置信度接近 0，最異常區域的置信度接近 1），這可以被視為二元分類優化。通過逐步挖掘所有正常和異常區域的不同特征，異常區域的異常置信度逐漸增加，而正常區域的置信度則逐漸下降。不幸的是，由于缺乏強監督信號，檢測模型在上述優化過程中不可避免地會涉及盲目猜測。

VII. 開集監督視頻異常檢測

讓經過充分訓練的監督模型在開放環境中檢測未見過的異常是一項具有挑戰性的任務。在現實場景中，未見過的異常很可能會出現，因此，關于開集異常檢測的研究引起了廣泛關注。開集監督視頻異常檢測 (VAD) 是一項具有挑戰性的任務，其目標是在訓練階段未見過的異常事件中進行檢測。與傳統的（閉集）VAD 不同，傳統 VAD 中的異常類型是已知且定義明確的，而開集 VAD 必須處理不可預見和未知的異常。這對現實世界的應用至關重要，因為在訓練過程中預見并標注所有可能的異常是不現實的。因此，開集 VAD 的研究引起了極大的關注。然而，現有的綜述工作并未對開集 VAD 進行深入研究。基于此，我們進行了深入的調查，并對現有的開集 VAD 工作進行了系統分類。據我們所知，這是第一個包含詳細介紹開集監督 VAD 的綜述。在本節中，我們根據不同的研究方向，將開集監督 VAD 大致分為兩類：開集 VAD 和小樣本 VAD。在圖 10 中，我們展示了六種經典的開集監督 VAD 方法。

IX. 結論

我們對深度學習時代的視頻異常檢測方法進行了全面綜述。與之前主要集中于半監督視頻異常檢測的綜述不同，我們提出了一個系統的分類體系，將現有的工作根據監督信號分為五類：半監督、弱監督、無監督、全監督和開集監督視頻異常檢測。對于每個類別，我們進一步根據模型的不同特征進行細分，例如模型輸入和輸出、方法論、優化策略和架構，并展示了各種方法的性能對比。最后，我們討論了基于深度學習的視頻異常檢測未來的一些有前景的研究方向。

摘要——目前，大多數工業物聯網（IIoT）應用仍然依賴于基于卷積神經網絡（CNN）的神經網絡。盡管基于Transformer的大模型（LMs），包括語言、視覺和多模態模型，已經在AI生成內容（AIGC）中展示了令人印象深刻的能力，但它們在工業領域（如檢測、規劃和控制）中的應用仍然相對有限。在工業環境中部署預訓練的大模型往往面臨穩定性與可塑性之間的挑戰，這主要是由于任務的復雜性、數據的多樣性以及用戶需求的動態性。為了應對這些挑戰，預訓練與微調策略結合持續學習已被證明是一種有效的解決方案，使模型能夠適應動態需求，同時不斷優化其推理和決策能力。本文綜述了大模型在工業物聯網增強的通用工業智能（GII）中的集成，重點關注兩個關鍵領域：大模型賦能GII和GII環境下的大模型。前者側重于利用大模型為工業應用中的挑戰提供優化解決方案，而后者則研究在涉及工業設備、邊緣計算和云計算的協同場景中，持續優化大模型的學習和推理能力。本文為GII的未來發展提供了洞見，旨在建立一個全面的理論框架和研究方向，從而推動GII向更加通用和適應性強的未來發展。 關鍵詞——通用工業智能、大語言模型、持續學習、工業物聯網、邊緣計算。

工業5.0將網絡-物理-社會元素集成到制造業中，強調數字與物理系統的交互以及人機協作，通過互聯網有效地連接設備、物體和人[1]。隨著物聯網（IIoT）的快速發展[2]-[4]、通信技術[5], [6]、AI生成內容（AIGC）[7]、機器人和數字孿生技術[8]-[10]，現代工業系統變得越來越復雜。這些系統不僅生成高頻的單模態數據，還包括文本、圖像、視頻、代碼和音頻等多模態數據類型。工業大數據可以用于創建數字化制造工作流程和工業流程，極大地推動了工業5.0和網絡-物理-社會系統中生產力、效率和效能的提升。 如圖1所示，數據集和模型構成了GII生態系統的基礎要素，推動了更高層次算法和應用的快速發展。這些應用包括智能控制系統、預測性維護[11]、故障診斷[12], [13]和異常檢測[14]，這些都高度依賴于對IIoT數據的提取和分析。GII的成功特別依賴于其從這些IIoT數據集中高效學習和提取有價值特征的能力。基于Transformer的大模型（LMs），例如大語言模型（LLMs）[16]–[18]、視覺模型[19], [20]、時間序列模型[21]以及多模態模型[22], [23]，由于其獨特優勢，受到廣泛關注。通過在大規模數據集上進行預訓練，這些擁有數十億到數萬億參數的模型積累了廣泛的知識，極大地推動了數據處理的自動化和多樣化，同時減少了對人類專業知識的依賴。

在工業領域，大模型的精度和可擴展性使其在提高工業流程的準確性方面非常有效。然而，在工業環境中部署預訓練大模型時，需要根據具體任務架構、動態數據分布和用戶偏好進行謹慎的適配。盡管大模型在多任務泛化、小樣本學習和推理方面具有優勢，但在這些環境中平衡穩定性和適應性仍然是一個顯著挑戰。受到大模型在自然語言處理（NLP）中成功的啟發，工業界越來越多地探索其在GII中的潛力。一種方法是從頭構建行業特定的基礎模型[24]，但特定領域數據規模的限制通常阻礙了涌現能力的發展。另一種方法是通過大數據集上的預訓練，然后進行特定任務的微調，這已顯示出在構建穩健的工業模型方面的巨大潛力，顯著提高了各類任務的性能。這種方法有效地應對了特定領域數據匱乏的挑戰，同時加速了工業應用中先進能力的發展。

為工業任務調整大模型是一個重要的研究方向[25]。這些模型在跨任務泛化、零樣本/小樣本學習和推理能力方面的優勢，為解決知識遷移、數據稀缺性和解釋性問題提供了新的途徑。 ****持續大模型（CLMs）****在維持和發展這些工業模型的能力方面發揮了關鍵作用。CLMs在大規模數據集上進行預訓練，并由Transformer架構驅動，設計用于持續學習和適應，確保工業大模型在滿足GII不斷變化的需求時仍然保持相關性和有效性。

A. 本綜述的目標

本文旨在建立一個全面的視角，并對IIoT增強的GII進行深入分析。它提出了將GII分為兩個主要類別的概念：

• 通用工業智能的大模型（LMs for GII）：該方向重點利用大模型的高級數據處理和分析能力來解決工業應用中固有的優化問題。具體來說，LMs通過其處理實時多模態IIoT數據、執行復雜特征提取并確保精確的模式識別和結果驗證的能力，提升了IIoT驅動的工業系統的智能化和運營效率，最終提高了不同工業環境中的測量精度和系統性能。
• 通用工業智能上的大模型（LMs on GII）：該視角探討了工業應用如何通過持續模型操作，在協同的IIoT設備-邊緣-云環境中擴展和優化大模型的能力。通過采用持續學習（CL）和在線學習策略，模型可以適應新數據和環境變化，而無需昂貴的再訓練。這種方法節省了計算資源，最小化了延遲，并高效處理了數據分布變化和性能退化，確保了動態工業場景中的穩健模型性能。

本文通過一個示意圖（圖2）進一步明確了這些類別的引入，幫助闡明了兩種方法之間的結構性差異和操作機制。

B. 本綜述的獨特特征

近年來，持續學習（CL）作為一個研究課題獲得了顯著關注，許多研究探討了其在設備健康管理[26]、機器人[27]和流數據[28]等領域的應用。在大模型的背景下，由于這些模型的規模巨大，頻繁的再訓練成本高昂，因此CL已被認為是至關重要的[29]。盡管CL的文獻廣泛，但我們的綜述獨特地關注了CL在IIoT增強的工業系統中的大模型的持續適應性——這是現有文獻中未被充分覆蓋的領域。本綜述首次為大模型在四個不同的IIoT工業場景中應用的CL方法提供了全面而系統的回顧。

如表I所示，本文通過以下幾個關鍵貢獻來區分自身：

• 新穎的分類體系：我們引入了一個新的GII理論框架。通過將大模型的應用分為兩個維度——“LMs for GII”和“LMs on GII”，本文不僅探討了如何利用大模型優化工業應用，還研究了這些應用如何反過來優化模型本身。這種雙向交互視角顯著豐富了現有文獻。

• 跨領域多模態集成：與大多數僅專注于特定類型大模型（如語言模型或視覺模型）的現有研究不同，本綜述涵蓋了大語言模型（LLMs）、視覺Transformer、多模態模型和時間序列模型。這種跨模態集成增強了復雜儀器和測量系統的設計、開發和評估，這些系統用于信號的生成、獲取、調理和處理。通過利用不同模型的獨特優勢，它為推進測量科學及其應用提供了更全面和深入的視角，從而更有效地應對復雜的工業挑戰。

• 持續學習的實際應用：本文強調了持續學習策略在IIoT增強的工業系統，特別是邊緣計算和云計算協同環境中的實際應用。這個重點確保了模型不僅能適應新數據和變化的條件，還能資源高效。通過減少計算需求和訓練成本，我們的方法解決了工業應用中的關鍵約束。

從符號型和反應型智能體到基于強化學習和遷移學習的智能體，再到當前基于大模型 的智能體，AI智能體經歷了三代發展，逐漸成為人工智能研究和應用的核心。其中基于大模型的智能 體是能夠更準確地感知環境、進行反應和判斷、形成并執行決策的智能計算實體，在多個領域展現出 廣泛的應用前景，包括圖像生成、視頻生成、數據分析、圖文修改輔助、談判指導、教育教學、學術 研究、生活助手、網站開發等。OpenAI、Google、Apple、NVIDIA等國外廠商，以及騰訊、百度、商 湯、聯想、訊飛等國內廠家，都在大模型智能體領域進行了積極的探索與實踐，推出了各自的大模型 智能體產品，涵蓋了游戲、生活、線上助手、營銷、教育等多個領域。本文將回顧AI智能體的定義與 發展，著重介紹大模型智能體的概念和發展前沿，以及大模型智能體在產業實踐方面的代表性成果， 為有志于大模型智能體研究和開發的讀者提供參考。

摘要——大型語言模型（LLMs）的快速進展有潛力革新各個領域，但其迅猛發展在監督、倫理開發和建立用戶信任方面帶來了顯著挑戰。本綜述全面調研了LLMs中的關鍵信任問題，重點關注意外傷害、缺乏透明性、易受攻擊、人類價值觀對齊和環境影響等問題。我們強調了可能破壞用戶信任的諸多障礙，包括社會偏見、決策過程中的不透明性、潛在的濫用以及技術快速演變帶來的挑戰。隨著LLMs在金融、醫療、教育和政策等敏感領域的普及，解決這些信任差距至關重要。 為了解決這些問題，我們建議采用綜合方法，包括倫理監督、行業問責、監管和公眾參與。我們主張重塑AI開發規范、對齊激勵措施，并在整個機器學習過程中整合倫理考量，這需要技術、倫理、法律和政策等不同領域專業人士的密切合作。我們的綜述通過提供一個評估LLMs信任的強大框架和對復雜信任動態的深入分析，為該領域作出了貢獻。我們提供了上下文化的指南和標準，旨在負責任地開發和部署這些強大的AI系統。 本綜述識別了在開發可信AI過程中面臨的關鍵限制和挑戰。通過應對這些問題，我們的目標是創建一個透明、負責的AI生態系統，在帶來社會利益的同時將風險降至最低。我們的研究成果為研究人員、政策制定者和行業領導者提供了寶貴的指導，幫助他們在各類應用中建立對LLMs的信任，并確保其負責任地使用造福社會。 關鍵詞——AI治理、算法偏見、可解釋的AI、大型語言模型、可信的AI。

人工智能（AI）的發展顯著受到了作出基礎性貢獻的關鍵人物的影響。AI的創始人約翰·麥卡錫提出了“人工智能”一詞，并倡導使用數學邏輯來表示知識，開創了知識表示領域。他還開發了LISP，這是一種對AI進展至關重要的編程語言[1]。麻省理工學院計算機科學與人工智能實驗室的聯合創始人馬文·明斯基通過理論AI研究推動了對機器智能和推理的理解[2]。由麥卡錫、明斯基、內森尼爾·羅切斯特和克勞德·香農提出的1956年達特茅斯會議是AI歷史上的一個關鍵時刻，將該領域從理論概念轉向實際應用[3]。這一時期見證了啟發式搜索技術和早期機器學習模型的進步，展示了AI向實際應用的轉變。

1970年代后期，AI進展放緩，被稱為“第一次AI寒冬”。這是由于未能達到預期和計算能力有限導致資金和興趣的減少。1980年代見證了向實際AI應用的轉變，如專家系統和自然語言處理，為大型語言模型（LLMs）奠定了基礎，推進了AI對語言理解和生成的能力。盡管在AI寒冬期間面臨挑戰，早期的專家系統在AI商業化方面起到了關鍵作用[4]。

最近的AI進展歸因于廣泛的數據集和日益增加的計算能力，特別是GPU的使用。這些因素在推動深度學習技術的發展中起到了關鍵作用，顯著影響了計算機視覺和語音識別[5]，[6]。另一個重要的里程碑是語言模型的創建，這些模型能夠處理和生成類人文本，從而擴展了AI的能力。深度神經網絡（DNNs）和LLMs的有效性導致了AI在醫療、金融、交通和零售等各個行業的廣泛采用，提高了效率和數據處理能力[8]-[10]。神經網絡（NNs）用于分析大量數據集并識別模式，而LLMs則用于為自動化客戶服務的聊天機器人提供動力[11]-[14]。這些技術革新了不同領域的技術互動，凸顯了深度學習和語言模型對AI進展的重大影響[9]。 DNN架構，包括LLMs，導致了“黑箱”問題，使得理解其工作原理及其結果變得困難[15]。雖然像決策樹這樣的簡單AI模型是透明的，但LLMs缺乏透明性，這在用于決策時引發了倫理問題。挑戰在于使這些系統更透明和可理解，同時考慮到潛在的偏見和錯誤。解決這些問題的努力包括開發使算法過程更透明的方法，但這在AI倫理和治理中仍然是一個重大挑戰[16]。要更好地理解這一點，請參見圖1，它展示了AI的演變和信任挑戰。

時間軸展示了AI在醫療、金融、交通、零售和電子商務領域的日益擴大影響。LLMs在利用先進的語言生成技術變革內容創建方面處于領先地位。時間軸強調了AI中的信任和監督挑戰以及建立信任策略的重要性[17]，[18]。它揭示了AI進展與政策和治理發展之間的差距。

LLMs的最新進展改善了其語言生成能力，但其復雜性阻礙了我們對其決策過程的理解。黃和王在2023年的調查[19]強調了解釋性對LLMs的重要性，特別是在需要透明度和信任的關鍵行業。主要發現包括：a）用于基于神經網絡的NLP模型的事后解釋工具如InSeq工具包；b）模型校準和不確定性估計技術；c）用于擴展和推理的指令微調LLMs研究，問題回答中的元推理；d）LLMs的數學推理能力，語義解析魯棒性研究，減少LLM使用危害的舉措，Aug-imodels等框架[19]用于高效和可解釋的模型，評估代碼訓練的LLMs，以及e）改進LLM推理性能的Chain-of-Thought樞紐措施。他們的研究強調了解釋性對LLMs的倫理和實際重要性。在LLMs被集成到多種應用中時，提供可理解和可解釋的響應是重要的。增強模型設計和交互、提高魯棒性和效率、指導訓練技術都是理解LLM操作的好處。他們的調查是揭開LLM復雜性的一個重要貢獻，為在醫療、金融和法律領域透明和倫理部署LLM奠定了基礎。它為未來研究奠定了基礎，以彌合原始LLM輸出與人類可理解解釋之間的差距。持續開發LLM解釋性對推進AI技術的可信性和可及性至關重要。

A. 構建大型語言模型的信任

黃和王的調查工作[19]及更廣泛的解決“黑箱”問題的努力指明了清晰的前進方向。然而，我們需要一種綜合方法，考慮倫理、技術和政策，以構建AI系統的信任，尤其是像LLMs這樣復雜的模型。 1）LLMs的倫理問題：LLMs在醫療、金融、政策制定和法律系統等領域的日益使用引發了關于隱私、偏見、公平和問責的倫理問題，原因是它們具有先進的自然語言能力。 LLMs可能會因為訓練文本數據中包含敏感信息而損害隱私。這可能導致隱私泄露，例如暴露醫療保健中的機密患者數據或在數據分析中泄露敏感的客戶記錄。為減少這些風險，有必要避免將個人可識別信息納入模型，并評估其隱私影響。確保LLM系統中的透明性和用戶對其數據的控制至關重要。明確的數據隱私指南和法規對于與用戶建立信任至關重要[20]-[30]。 偏見是LLMs的另一個倫理問題。它指的是LLMs在訓練數據中反映和延續的偏見，這可能導致偏見輸出或決策，損害邊緣化群體。性別、種族或文化偏見可能影響LLM模型，導致不公平或刻板印象的輸出和歧視性決策。例如，一個以人力資源為重點的LLM助手可能會對某些群體不利。為解決這一問題，公司應建立多元化的審查委員會，并定期使用偏見檢測工具審核LLM輸出[31]-[33]。 LLMs的另一個倫理問題是公平性，指的是公正待遇。LLM系統必須避免偏見并確保公平，通過公正對待每個人來實現。不公平的LLM模型可能會加劇不平等并造成傷害。例如，在公共政策中使用LLMs評估貸款或抵押申請可能會加劇經濟不平等。實現LLMs的公平性需要防止數據和算法中的偏見，使用對抗性去偏技術，并使用明確定義的指標持續評估公平性[34]-[37]。 問責在LLM系統中至關重要[38]-[40]。由于其復雜的推理過程，LLMs在醫療、司法和就業等影響人們生活的領域中尤其難以追究責任。用戶和利益相關者應知道誰對開發、部署和維護負責。他們應有錯誤、偏見或傷害的申訴機制。組織應建立明確的責任制和透明的治理，包括AI倫理委員會、模型性能的詳細記錄和跟蹤，以及關于LLM系統開發和部署的全面報告。 訓練和運行如GPT-3之類的LLMs需要大量的計算資源，導致高能耗和碳排放[41]。例如，GPT-3的訓練消耗了大約1287 MWh的電力，產生了502公噸的CO2排放，相當于112輛燃油車一年的排放。推理過程可能比訓練消耗更多的能量，估計約60%的AI能量用于推理，40%用于訓練[42]。一次ChatGPT請求的能耗可能是一次谷歌搜索的100倍。盡管LLMs目前對整個ICT行業的排放貢獻不到0.5%，對全球總排放的貢獻不到0.01%，但其影響正在迅速增加[43],[44]。為了促進AI的可持續性，行業應優先透明測量能耗和排放，利用可再生能源數據中心，開發更高效的AI硬件和算法，啟用排放跟蹤功能，并考慮轉向較小的專用模型而非大型通用LLMs。盡管LLMs目前對全球排放的貢獻很小，但其日益廣泛的使用需要積極努力減輕其環境影響，確保AI發展惠及世界而不加劇氣候變化。AI社區、政府和科技公司之間的合作對于實現更可持續的AI未來至關重要[45],[46]。

2）信任基礎上的LLMs技術進步：LLM系統需要解決技術挑戰以建立信任，例如解釋性。解釋性指的是理解和解釋LLM系統的決策過程。透明性通過使用戶理解系統的推理并識別潛在的偏見或錯誤來建立信任。可解釋的LLM系統可以幫助識別倫理問題并提供決策見解[20],[47],[48]。 可解釋AI（XAI）技術對于理解LLMs及建立其復雜系統的信任至關重要。注意力機制提供了對模型預測的見解[49]，但其解釋可能存在爭議[50]。更可靠的方法如綜合梯度[51]和代理模型[52]提供了特征相關性的量化指標，增強了我們對模型決策的理解。最新進展應用電路分析[53]來分解復雜的黑箱LLMs為可解釋的元素，提供了模型操作的詳細見解。使用提示技術生成的模型解釋允許全面的因果敘述[54]。然而，重要的是嚴格評估這些解釋的準確性和有用性[55]。使用各種XAI方法對于LLM的負責任使用至關重要。清晰的解釋通過描述模型的能力、局限性和風險來幫助建立終端用戶的信任[56]。它們對于調試[57]、識別偏見[58]和促進倫理使用至關重要。隨著LLMs的進步，開發可解釋的LLMs至關重要。這在技術上具有挑戰性，但在倫理和研究上必不可少。定制的XAI技術需要在各個層次提供解釋，反映模型的邏輯以增強用戶信心、確保安全并指導AI的倫理使用。

另一個技術挑戰是數據偏見。數據偏見指的是LLM訓練數據中的不公平偏向或歧視。它可能導致有偏見的結果并延續社會不平等。解決數據偏見需要采取措施，如數據審計、預處理以減輕偏見以及多樣化訓練數據集以實現代表性和包容性。明確定義的指標可以幫助評估LLM系統的公平性、準確性、可靠性和透明性，提供其倫理表現的量化指標[20],[37],[47],[48]。

最新研究探索了通過解決幻覺和缺乏可解釋性等問題來提高LLMs可信度的技術[59]。他們提出了一種稱為圖上的推理（RoG）的方法，通過知識圖譜與LLMs協同進行真實和可解釋的推理。在其檢索-推理優化方法中，RoG使用知識圖譜檢索推理路徑，以便LLMs生成答案。RoG中的推理模塊使LLMs能夠識別重要的推理路徑并提供可解釋的解釋，增強了AI系統的可信度。通過專注于知識圖譜中的推理過程并提供透明的解釋，像RoG這樣的方法展示了建立LLMs信任的有希望的方向[59]。

具有可靠日志記錄的可解釋系統增強了透明性、審計和問責制[60]。文檔和日志記錄提供了對決策過程的見解，支持錯誤解決，并確保遵守倫理和法規標準，從而建立用戶信任。這些機制使技術和非技術利益相關者能夠理解AI系統的內部運作，并確定影響其輸出的因素。

3）用戶信任的心理因素：用戶對LLMs的信任在很大程度上取決于心理因素，而不僅僅是技術的可靠性[61]-[65]。用戶必須對LLM系統的可靠性、準確性和可信度有信心。通過有效的溝通和透明性可以實現這一點。組織應清楚地傳達LLM系統的能力和局限性，提供有關系統工作原理和決策方式的信息。此外，組織應對其數據收集和使用實踐保持透明，讓用戶了解他們的數據如何被使用和保護。

4）信任基礎上的LLMs政策與治理：有效的治理對于管理部署LLM系統相關的倫理、技術和問責問題至關重要[36],[40],[47],[61],[66]-[69]。應建立結構和流程，以確保LLM系統的倫理和負責任開發、部署和監控。涉及關鍵利益相關者，如AI倫理委員會、監管機構和行業專家，可以提供指導和監督。為了確保公平和無偏見的決策，必須包括用戶反饋和多樣化的觀點。為了建立對LLMs的信任，我們必須解決解釋性和數據偏見等技術問題，同時建立強有力的治理框架。

5）社會經濟影響：必須評估LLMs的社會經濟影響，以了解其對勞動力和社會的影響。LLMs可能會取代人類工人，導致失業和社會動蕩。需要投資于技能發展，以幫助工人適應變化。再培訓計劃和其他培訓可以使工人能夠與LLMs協同工作或從事新角色。應實施優先考慮工作保障和社會支持的政策，以減輕影響。探索LLMs的潛在社會福利，如增加信息獲取，可以促進更包容的社會。在設計和實施LLMs時，倫理考量和負責任的部署至關重要。應建立促進透明、問責和公平的政策和法規。對LLMs影響的仔細考慮、技能發展的投資和負責任的部署對于對社會產生積極影響至關重要[70]-[72]。

B. 本綜述的主要貢獻

本綜述對AI系統的信任進行了全面分析，重點關注LLMs。通過審查倫理、技術和社會因素，我們為負責任的AI開發討論作出了貢獻。我們的綜述提供了應對構建AI系統信任挑戰的見解和建議，特別是LLMs。主要貢獻如下所述。

? 綜合評估框架：本綜述提供了一個用于分析高級AI系統，特別是LLMs中的算法偏見和漏洞的分類法。該框架由八個視角組成，涵蓋透明性、魯棒性、人類價值對齊和環境影響等方面。此方法使得能夠對LLMs的信任進行徹底評估，解決其開發和部署中的問題。通過整合多種視角，該框架提供了LLM可信度的全貌，對負責任的AI作出了重要貢獻。 ?** 綜合信任動態分析**：本綜述審查了影響用戶對AI系統信任的因素，包括心理、倫理、技術和政策方面。通過分析AI能力、法規和社會接受度的交叉點，識別了實現可信AI的障礙。此研究揭示了信任動態，為從事負責任的AI開發和實施的研究人員、政策制定者和行業專業人士提供了指導。 ? 針對LLMs的上下文化指南和標準：本綜述審查了現代AI系統，特別是不透明模型如LLMs的倫理指南和政策標準的應用。倫理指南在確保AI使用的責任方面發揮重要作用。然而，LLMs由于其類人文本生成和缺乏透明性，面臨獨特的挑戰，這使得理解和解釋其行為變得困難。本綜述探討了在實際LLM部署中實施倫理原則的實際意義，考慮了技術限制、社會影響和潛在風險。它識別了局限性并提供了解釋和操作化LLM開發和部署倫理指南的見解。目標是通過突出差距并倡導完善LLM特定指南來促進AI治理，促進AI使用的透明性、公平性和問責制。

C. 本綜述的局限性

本綜述對AI信任進行了全面審查，特別關注LLMs。然而，重要的是要承認我們研究的局限性。我們的分析基于現有的AI倫理和信任領域的文獻和研究，包括專門針對LLMs的相關工作。因此，本綜述可能無法完全捕捉這些快速發展的領域中最新的想法或進展。

我們的分析范圍限于學術出版物和行業報告，這限制了所考慮的觀點范圍。對于LLMs，這尤為相關，因為本綜述可能未包括未出版的研究或不太知名的觀點，這些觀點可能提供寶貴的見解。此外，鑒于AI技術發展和LLMs倫理考慮不斷演變的速度，本綜述中提出的一些討論和結論可能會隨著時間的推移而變得不再相關。盡管我們的綜述旨在涵蓋AI，包括LLMs，越來越多部署在高風險領域中的情況，但它并未詳盡地解決所有與LLMs相關的信任方面或行業特定挑戰。本綜述中提出的解釋和分析基于撰寫時可獲得的最佳數據和研究。讀者在評估這些發現和建議時應考慮這些局限性。

需要強調的是，本綜述的目標是對AI和LLMs的信任進行全面審查，同時保持對分析范圍的透明度。我們旨在通過探索現有的指南和框架、討論構建LLMs信任的方法和挑戰以及提出未來研究方向，為AI信任和倫理的持續對話作出貢獻。我們鼓勵在可能探索較少或快速發展的領域進行進一步研究和對話，因為這些討論對于AI系統負責任的開發和部署至關重要。在本綜述中，我們創建了一個敘述，捕捉了AI信任的當前狀態及其領域中的潛在發展。然而，AI倫理和信任的領域是復雜和多面的，我們的綜述可能未涵蓋每一個細微差別或觀點。盡管如此，我們希望這項工作能為研究人員、政策制定者和從業人員在應對與AI和LLMs信任相關的挑戰和機遇時，提供有價值的資源。

人工智能（AI）智能體是一種軟件實體，它根據預定義的目標和數據輸入自主執行任務或做出決策。AI智能體能夠感知用戶輸入、推理和計劃任務、執行動作，并在算法開發和任務性能方面取得了顯著進展。然而，它們所帶來的安全挑戰仍未得到充分探索和解決。本綜述深入探討了AI智能體面臨的新興安全威脅，將其分為四個關鍵知識空白：多步用戶輸入的不可預測性、內部執行的復雜性、操作環境的多變性以及與不可信外部實體的交互。通過系統性地審視這些威脅，本文不僅突出了在保護AI智能體方面所取得的進展，還揭示了現有的局限性。所提供的見解旨在激發進一步的研究，以解決與AI智能體相關的安全威脅，從而促進更加健全和安全的AI智能體應用的發展。

人工智能（AI）智能體是通過自主性、反應性、主動性和社交能力展示智能行為的計算實體。它們通過感知輸入、推理任務、規劃行動和使用內部和外部工具執行任務，與其環境和用戶互動以實現特定目標。以GPT-4等大型語言模型（LLMs）為動力的AI智能體，在包括醫療、金融、客戶服務和智能體操作系統等各個領域的任務完成方式上實現了革命性變化。這些系統利用LLMs在推理、規劃和行動方面的先進能力，使它們能夠以卓越的性能執行復雜任務。

//www.zhuanzhi.ai/paper/2cdbfa599ada6be5d12a7ba7d7606445

盡管AI智能體取得了顯著進展，但其日益復雜化也引入了新的安全挑戰。由于AI智能體部署在各種關鍵應用中，確保其安全至關重要。AI智能體安全指的是旨在保護AI智能體免受可能損害其功能、完整性和安全性的漏洞和威脅的措施和實踐。這包括確保智能體能夠安全處理用戶輸入、執行任務，并與其他實體交互，而不會受到惡意攻擊或意外有害行為的影響。這些安全挑戰源于四個知識空白，如果不加以解決，可能導致漏洞和潛在的濫用。

如圖1所示，AI智能體的四個主要知識GAP分別是：1）多步用戶輸入的不可預測性，2）內部執行的復雜性，3）操作環境的多變性，4）與不可信外部實體的交互。以下幾點詳細說明了這些知識空白。 - 空白1. 多步用戶輸入的不可預測性。用戶在與AI智能體互動中起著關鍵作用，不僅在任務啟動階段提供指導，還通過多輪反饋在任務執行過程中影響方向和結果。用戶輸入的多樣性反映了不同背景和經驗，引導AI智能體完成多種任務。然而，這些多步輸入也帶來了挑戰，尤其是在用戶輸入描述不足時，可能導致潛在的安全威脅。用戶輸入的不充分說明不僅會影響任務結果，還可能引發一系列意外反應，導致更嚴重的后果。此外，存在故意引導AI智能體執行不安全代碼或操作的惡意用戶，這增加了額外的威脅。因此，確保用戶輸入的清晰性和安全性對于AI智能體的有效和安全運行至關重要。這需要設計高度靈活的AI智能體生態系統，能夠理解和適應用戶輸入的多樣性，同時確保有健全的安全措施以防止惡意活動和誤導性用戶輸入。 - 空白2. 內部執行的復雜性。AI智能體的內部執行狀態是一個復雜的鏈式結構，包括從提示的重格式化到LLM任務規劃和工具的使用。許多內部執行狀態是隱含的，難以觀察詳細的內部狀態。這導致許多安全問題無法及時發現。AI智能體安全需要審核單個AI智能體的復雜內部執行。

- 空白3. 操作環境的多變性。在實踐中，許多智能體的開發、部署和執行階段跨越各種環境。這些環境的多變性可能導致行為結果的不一致。例如，執行代碼的智能體可能在遠程服務器上運行給定代碼，可能導致危險操作。因此，跨多個環境安全完成工作任務是一個重大挑戰。

- 空白4. 與不可信外部實體的交互。AI智能體的一個關鍵能力是教大模型如何使用工具和其他智能體。然而，當前AI智能體與外部實體的交互過程假設了一個可信的外部實體，導致了廣泛的實際攻擊面，如間接提示注入攻擊。AI智能體與其他不可信實體交互是一個挑戰。

雖然已有一些研究工作針對這些空白，但針對AI智能體安全的全面回顧和系統分析仍然缺乏。一旦這些空白得到彌補，AI智能體將因更清晰和更安全的用戶輸入、增強的安全性和對潛在攻擊的魯棒性、一致的操作環境行為以及用戶的信任和可靠性增加而受益。這些改進將促進AI智能體在關鍵應用中的更廣泛采用和整合，確保它們能夠安全有效地執行任務。

現有關于AI智能體的綜述主要集中在其架構和應用上，未深入探討安全挑戰和解決方案。我們的綜述旨在填補這一空白，通過詳細回顧和分析AI智能體安全，識別潛在解決方案和緩解這些威脅的策略。所提供的見解旨在激發進一步的研究，以解決與AI智能體相關的安全威脅，從而促進更加健全和安全的AI智能體應用的發展。

在本綜述中，我們基于四個知識空白系統性地回顧和分析了AI智能體安全的威脅和解決方案，覆蓋了廣度和深度方面。我們主要收集了從2022年1月到2024年4月期間在頂級AI會議、頂級網絡安全會議和高度引用的arXiv論文。AI會議包括但不限于NeurIPs、ICML、ICLR、ACL、EMNLP、CVPR、ICCV和IJCAI。網絡安全會議包括但不限于IEEE S&P、USENIX Security、NDSS和ACM CCS。

本文組織如下。第二節介紹了AI智能體的概述。第三節描述了與空白1和空白2相關的單智能體安全問題。第四節分析了與空白3和空白4相關的多智能體安全問題。第五節提出了該領域發展的未來方向。

### 2.1 統一概念框架下的AI智能體概述

術語

為了便于理解，我們在本文中介紹以下術語。如圖2所示，用戶輸入可以使用輸入格式化工具重新格式化，以通過提示工程提升輸入質量。這一步也稱為感知。推理指的是設計用于分析和推導信息的大型語言模型，幫助從給定提示中得出邏輯結論。另一方面，規劃指的是一個大型語言模型，旨在通過評估可能的結果并優化特定目標，幫助制定策略和決策。用于規劃和推理的LLMs的組合被稱為大腦。外部工具調用則統稱為行動。在本綜述中，我們將感知、大腦和行動的組合稱為內部執行。另一方面，除了內部執行，AI智能體還可以與其他AI智能體、記憶和環境互動；我們稱之為交互。這些術語也可以在文獻[186]中詳細探討。 1986年，Mukhopadhyay等人的研究提出了多個智能節點文檔服務器，通過用戶查詢有效地從多媒體文檔中檢索知識。隨后的一項工作[10]也發現了計算機助手在用戶與計算機系統交互中的潛力，突出了計算機科學領域的重要研究和應用方向。隨后，Wooldridge等人[183]將表現出智能行為的計算機助手定義為智能體。在人工智能發展的領域中，智能體被引入為具有自主性、反應性、主動性和社交能力的計算實體[186]。如今，得益于大型語言模型的強大能力，AI智能體已成為幫助用戶高效完成任務的主要工具。如圖2所示，AI智能體的一般工作流程通常包括兩個核心組成部分：內部執行和交互。AI智能體的內部執行通常表示在單一智能體架構內運行的功能，包括感知、大腦和行動。具體來說，感知向大腦提供有效的輸入，而行動則通過LLM的推理和規劃能力處理這些輸入并進行子任務。然后，這些子任務由行動按順序運行以調用工具。①和②表示內部執行的迭代過程。交互指的是AI智能體與其他外部實體互動的能力，主要通過外部資源。這包括在多智能體架構內的合作或競爭、在任務執行過程中檢索記憶，以及從外部工具中部署環境及其數據使用。請注意，在本綜述中，我們將記憶定義為外部資源，因為大多數與記憶相關的安全風險源于外部資源的檢索。 從核心內部邏輯的角度來看，AI智能體可以分為基于強化學習的智能體和基于大型語言模型的智能體。基于RL的智能體使用強化學習，通過與環境互動學習和優化策略，旨在最大化累積獎勵。這些智能體在具有明確目標的環境中效果顯著，例如指令執行[75, 124]或構建世界模型[108, 140]，它們通過試錯進行適應。相反，基于LLM的智能體依賴于大型語言模型[92, 173, 195]，它們在自然語言處理任務中表現出色，利用大量文本數據掌握語言復雜性，以實現有效的溝通和信息檢索。每種類型的智能體都有不同的能力，以實現特定的計算任務和目標。

### 2.2 AI智能體的威脅概述

目前，有幾篇關于AI智能體的綜述[87, 105, 160, 186, 211]。例如，Xi等人[186]提供了一個針對基于LLM的智能體應用的全面系統回顧，旨在審查現有研究和未來可能性。在文獻[105]中總結了當前AI智能體的架構。然而，它們沒有充分評估AI智能體的安全性和可信度。Li等人[87]未能考慮多智能體場景的能力和安全性。一項研究[160]僅總結了科學LLM智能體固有的潛在風險。Zhang等人[211]則僅調查了AI智能體的記憶機制。

我們的主要關注點是與四個知識空白相關的AI智能體的安全挑戰。如表1所示，我們總結了討論AI智能體安全挑戰的論文。威脅來源列識別了在AI智能體通用工作流程的各個階段使用的攻擊策略，分為四個空白。威脅模型列識別了潛在的對手攻擊者或易受攻擊的實體。目標效果總結了與安全相關問題的潛在結果。 我們還提供了AI智能體威脅的新分類法（見圖3）。具體來說，我們根據其來源位置識別威脅，包括內部執行和交互。

近年來，大型語言模型（LLM）的集成徹底改變了機器人技術領域，使機器人能夠以類似人類的熟練程度進行交流、理解和推理。本文探討了LLM對機器人學的多方面影響，討論了利用這些模型的關鍵挑戰和機遇。通過對LLM在機器人核心元素——通信、感知、規劃和控制中的應用進行分類和分析，我們旨在為尋求將LLM集成到其機器人系統中的研究者提供可行的見解。

我們的研究主要集中在GPT-3.5之后開發的LLM上，主要是基于文本的模式，同時也考慮了用于感知和控制的多模態方法。我們提供全面的指導原則和示例，以便初學者能夠輕松接觸基于LLM的機器人解決方案。通過教程級別的示例和結構化的提示構建，我們展示了如何將LLM引導的增強功能無縫集成到機器人應用中。本綜述為研究人員在不斷發展的LLM驅動的機器人技術領域中的導航提供了路線圖，提供了全面的概述和實用的指導，以利用語言模型在機器人開發中的潛力。

在過去的十年中，我們見證了機器人學領域在應用語言模型（LMs）方面取得了顯著的進展。這些進展不僅包括類似人類的交流能力，還包括機器人的理解和推理能力，從而顯著提高了它們在從家庭雜務到工業操作等各種任務中的效率。在早期工作中，這些成功源于統計模型分析和預測語言表達中的詞匯。這些模型使機器人能夠解釋人類命令，理解上下文，表征世界，并與人類互動，盡管理解的深度有限。隨后，采用了具有自我注意機制的Transformer架構，尤其是像BERT這樣的預訓練語言模型，提高了捕捉復雜模式的能力，同時為特定任務進行微調。然而，這些模型的性能通常取決于有限的數據集，限制了它們把握更深層次上下文理解和在不同場景中泛化的能力。

隨著大型語言模型（LLMs）的發展，基于語言的機器人引入了各個領域的創新變化，如信息檢索、推理任務、環境適應、持續學習和改進等。這些LLMs，以其龐大的參數規模和在互聯網規模數據集上的訓練為特征，為下游任務提供了零次和少次學習能力，而不需要額外的參數更新。這些顯著的進步來自于文獻中定義為“在小模型中不存在但在大模型中出現的能力”的突現能力。這些能力顯著增強了機器人在理解、推斷和響應開放式指令方面的性能，利用了廣泛的常識知識。此外，稱為提示工程的提示創建技術使LLMs能夠通過自由形式的語言描述或互動對話，整合更豐富的上下文信息，促進了泛化推理。引入上下文學習能力使LLMs能夠根據提供的指示或示例中的提示生成預期格式的輸出，如JSON、YAML或PDDL，甚至代碼。最近的LLMs，如GPT-4，通過與外部機器人工具（如規劃器或翻譯器）的整合，進一步擴展了能力。

盡管LLMs具有多樣的能力，但它們的利用面臨幾個挑戰。首先，LLMs經常生成不準確或意外的響應。由于機器人執行的安全性是最重要的部署因素，基于LLM的機器人應用需要過濾和糾正機制以確保安全。其次，如上下文學習等突現能力尚不可預測且不一致。即使是對輸入文本的輕微更改也可能導致響應的不可預測變化。第三，精心設計的提示使機器人能夠有效地利用LLMs的能力，但缺乏支持機器人系統關鍵組件的系統化指導，阻礙了無縫集成。因此，我們需要研究LLMs在機器人中的逐部件參與，以了解其限制和安全性。 當前，各種綜述已開始探索LLMs與機器人的交集，主要關注LLM驅動的機器人應用或互動維度。然而，仍然存在在機器人系統的關鍵元素，包括通信、感知、規劃和控制方面提供全面評論和可操作見解的空白。此外，研究者們還在探索廣泛的預訓練大容量模型領域，稱為基礎模型，尋求跨模態Transformer模型的泛化能力。然而，這一廣闊領域涵蓋了廣泛的機器人學和多樣的方法論，使得新興研究者錯過深入的評論和指導。 在本文中，如圖1所示，我們旨在分類和分析LLMs如何增強機器人系統的核心元素，以及我們如何指導新興研究者在每個領域內整合LLMs，以促進智能機器人的發展。我們根據三個關鍵問題結構化本文： ? Q1: LLMs在每個機器人領域中如何被利用？ ? Q2: 研究人員如何克服LLMs的集成限制？ ? Q3: 在每個領域產生最低功能所需的基本提示結構是什么？

為了回答這些問題，我們專注于在引入GPT-3.5之后開發的LLMs。我們主要考慮基于文本的模式，但也審查了感知和控制領域的多模態。然而，為了進行深入審查，我們將調查限制在LLMs而非基礎模型上。 此外，我們提供了全面的提示工程指南和示例，旨在使初學者能夠訪問基于LLM的機器人解決方案。我們的教程級示例展示了如何通過引入四種類型的示例提示——對話提示用于互動定位，指令提示用于場景圖生成，計劃提示用于少次計劃，以及代碼生成提示用于獎勵生成——增強或替換機器人組件的基本功能。通過提供提示構建的規則和技巧，我們概述了生成預期格式輸出的良好設計提示的過程。這些原則確保了機器人應用中有效的LLM引導增強，無需參數調整。

本文的其余部分安排如下。第2節概述了機器人學中LMs和LLMs的歷史背景。第3節評審了LLMs賦能機器人通過語言理解和生成進行交流的方式。第4節調查了LLMs如何感知各種傳感器模態并推進感知行為。第5節和第6節分別組織了基于LLM的計劃和控制研究。在第7節中，我們提供了提示工程的全面指南，作為LLM在機器人中集成的起點。最后，第8節總結了這篇綜述。