亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

具身智能（Embodied AI）旨在發展能夠具備物理形態、并能在真實環境中進行感知、決策、行動與學習的智能系統，這為通用人工智能（AGI）的實現提供了一條有前景的路徑。盡管經過數十年的探索，具身智能體在開放動態環境中執行通用任務時，仍然難以達到人類水平的智能。近年來，大模型的突破性進展徹底革新了具身智能，顯著增強了其在感知、交互、規劃與學習方面的能力。 本文對大模型賦能的具身智能進行了全面綜述，重點聚焦于自主決策與具身學習。在決策方面，我們探討了分層決策與端到端決策兩類范式：具體而言，大模型如何增強分層決策中的高層規劃、低層執行與反饋機制；以及大模型如何提升視覺-語言-行動（Vision-Language-Action, VLA）模型以支持端到端決策。在具身學習方面，我們介紹了主流的學習方法，并深入闡述大模型如何提升模仿學習與強化學習。首次地，我們將**世界模型（World Models）**納入具身智能的綜述，介紹其設計方法及其在增強決策與學習中的關鍵作用。 盡管該領域已取得了實質性進展，但仍然存在諸多挑戰。本文最后對這些挑戰進行了討論，并展望了未來可能的研究方向。 附加關鍵詞與短語：具身智能，大模型，分層決策，端到端，模仿學習，強化學習，世界模型

1 引言

具身智能（Embodied AI）[209] 旨在發展具備物理形態的智能系統，使其能夠在真實環境中進行感知、決策、行動與學習。該領域認為，真正的智能源于智能體與環境的交互，因此為實現通用人工智能（AGI）[184] 提供了一條前景可期的路徑。盡管具身智能的探索已經持續了數十年，但要賦予智能體類人水平的智能，使其能夠在開放、非結構化且動態的環境中執行通用任務，仍然面臨巨大挑戰。 早期的具身智能系統[21, 200] 基于符號推理與行為主義，依賴僵化的預編程規則，因而表現出有限的適應性與表層智能。盡管機器人已廣泛應用于制造、物流和特定操作，但它們的功能依然局限于可控環境。機器學習[133]，尤其是深度學習[99] 的進展，為具身智能帶來了重要轉折點。基于視覺引導的規劃和基于強化學習的控制[173] 顯著降低了智能體對精確環境建模的依賴。然而，這些模型往往依賴任務特定的數據集進行訓練，在泛化性與可遷移性方面仍然存在不足，限制了其在多樣化場景下的適應能力。 近年來，大模型[149, 150, 182, 183] 的突破性進展顯著提升了具身智能的能力。憑借更強的感知、交互與規劃能力，這些模型為通用型具身智能體[137] 的發展奠定了基礎。然而，大模型賦能的具身智能仍處于萌芽階段，在泛化性、可擴展性以及無縫環境交互方面依舊面臨挑戰[177]。因此，亟需對近年來大模型賦能具身智能的研究進行全面、系統的綜述，以揭示其差距、挑戰與機遇，從而推動 AGI 的實現。 通過對相關領域的系統調研，我們發現現有研究分散、主題復雜，但缺乏系統性分類。已有綜述大多聚焦于大模型自身，例如大語言模型（LLM）[29, 151, 225] 與視覺語言模型（VLM）[104, 113, 191]，而較少關注大模型與具身智能體的協同作用。即便有些綜述涉及該方向，它們也往往集中于特定組件，如規劃[188]、學習[7, 26, 204]、模擬器[201]與應用[157, 201, 209]，而缺乏對整體范式及各組件如何交互以提升智能的系統性分析。此外，一些較早的綜述遺漏了最新進展，尤其是自 2024 年以來迅速興起的視覺-語言-行動（Vision-Language-Action, VLA）模型[117]與端到端決策。例如，綜述 [119] 對 VLA 模型進行了詳細介紹，但缺少與分層范式的比較以及對學習方法的深入探討。同時，由于該領域發展迅速，早期的綜述[48, 220] 已難以跟上最新研究。 在本文中，我們聚焦于大模型賦能的具身智能中的決策與學習，對相關研究進行分析與分類，厘清最新進展，指出尚存挑戰與未來方向，為研究者提供清晰的理論框架與實踐指導。我們與相關綜述的對比見表1。 本文的主要貢獻如下： 1. 從具身智能視角探討大模型賦能。 在分層決策方面，具身智能涉及高層規劃、低層執行與反饋增強，我們據此對相關工作進行回顧與分類。在端到端決策方面，具身智能依賴于 VLA 模型，因此我們綜述 VLA 模型及其增強方法。在具身學習方面，我們重點考察模仿學習（IL）與強化學習（RL）：在 IL 中，大模型如何賦能策略與網絡構建；在 RL 中，大模型如何賦能獎勵函數設計與策略網絡構建。 1. 全面綜述具身決策與具身學習。 本文不僅回顧了大模型賦能下的分層與端到端決策范式并進行對比，還系統性地討論了具身學習方法，包括模仿學習、強化學習，以及遷移學習與元學習。此外，我們首次將**世界模型（World Models）**納入具身智能的綜述，探討其在決策與學習中的作用。 1. 采用水平與垂直結合的雙重分析方法。 水平分析比較了多種方法，包括不同類型的大模型、分層與端到端決策、模仿學習與強化學習，以及多樣化的具身學習策略；垂直分析則追蹤核心模型或方法的演化過程，闡述其起源、進展與開放問題。這一雙重方法論既提供了宏觀綜述，也帶來了對主流方法的深入洞察。

本文的組織結構如圖1所示：第2節介紹具身智能的概念，綜述大模型并討論其通用能力提升，隨后分析大模型與具身智能的協同關系。第3節探討分層決策范式，詳細闡述大模型如何增強動態高層規劃、低層執行與基于反饋的迭代優化。第4節聚焦端到端決策，先介紹并分解 VLA 模型，再探討在感知、動作生成與部署效率方面的最新增強，并在最后與分層決策進行系統對比。第5節介紹具身學習方法，特別是大模型增強的模仿學習與強化學習。第6節討論世界模型及其在具身智能決策與學習中的作用。第7節總結開放挑戰與未來前景，第8節給出結論。

摘要——人工智能（AI）的快速發展顯著擴展了其在各個領域的能力。然而，這也帶來了復雜的技術漏洞，例如算法偏見與對抗脆弱性，它們可能引發重大社會風險，包括虛假信息傳播、不平等、計算機安全問題、現實世界中的事故，以及公眾信任度下降。這些挑戰凸顯了 AI 治理的緊迫性，以指導 AI 技術的研發與部署。為滿足這一需求，我們提出了一個同時整合技術與社會維度的綜合 AI 治理框架。具體而言，我們將治理劃分為三個相互關聯的方面：內生安全（內部系統可靠性）、衍生安全（外部現實危害）和社會倫理（價值對齊與問責制）。我們的獨特之處在于，將技術方法、新興評測基準和政策視角相結合，構建了一個能夠主動促進透明性、問責性與公眾信任的治理框架。通過對 300 多篇參考文獻的系統性回顧，我們識別了三大關鍵系統性挑戰：(1) 泛化差距——現有防御措施難以適應不斷演變的威脅；(2) 評測協議不足——未能充分反映真實部署風險；(3) 監管格局碎片化——導致監督與執法的不一致。我們將這些失敗歸因于當前實踐中的根本性錯位——治理被視為事后補充，而非基礎性設計原則。由此，現有工作往往呈現被動且零散的特征，難以應對技術可靠性與社會信任之間本質上的相互關聯性。對此，我們的研究提供了全面的格局分析，并提出了一個融合技術嚴謹性與社會責任的綜合研究議程。該框架為研究人員、工程師與政策制定者提供了可操作的洞見，用于設計既具備性能穩健性，又符合倫理要求并贏得公眾信任的 AI 系統。代碼倉庫可訪問：//github.com/ZTianle/Awesome-AI-SG。 關鍵詞——AI 治理，內生安全，衍生安全，社會倫理，負責任的人工智能

1 引言

人工智能（AI）的快速發展，尤其是大型語言模型（Large Language Models, LLMs）的出現，正在推動科學 [1]、工業 [2] 和社會 [3] 發生深刻變革。這些模型如今已支持從教育、醫療到法律與公共服務等廣泛的應用場景，并在推理 [4]、內容生成 [5] 和決策支持 [6] 等方面展現出前所未有的能力。 然而，伴隨這些進步而來的，是一系列與傳統軟件系統根本不同的新型安全與可靠性挑戰。這些挑戰包括對抗性脆弱性 [7]、幻覺問題 [8] 以及輸出偏差 [9] 等，而這些問題可能被惡意利用并造成嚴重后果。例如，LLM 可能通過提示注入（prompt injection）被操縱以繞過內容過濾，從而生成有害或非法的建議 [10]。由生成模型驅動的深度偽造（Deepfake）技術 [11] 可能被用于虛假信息傳播或非自愿圖像生成，侵蝕公眾信任與隱私。在醫療場景中，錯誤的 AI 生成診斷甚至可能導致錯誤的臨床決策，從而危及生命 [12]。這些案例凸顯了一個重要事實：AI 系統帶來的風險已不再是理論假設——它們正在大規模地影響個人、社區和機構。 針對這些風險，“AI 治理”概念應運而生，作為一個多學科框架，旨在確保 AI 系統不僅在技術上穩健可靠，而且在倫理上對齊、法律上合規，并對社會有益 [13]。AI 治理涵蓋了貫穿 AI 全生命周期的規則、實踐與技術 [14]，旨在將透明性、問責制與公平性等原則嵌入系統設計，并在真實部署中推動公眾監督與價值對齊。與將安全視為事后附加措施不同，AI 治理提倡對 AI 風險進行前瞻性、集成化管理 [15]。 更重要的是，AI 治理不僅僅是 AI 安全的延伸 [16]。AI 安全側重于系統層面的穩健性，確保模型在分布偏移、對抗攻擊或數據噪聲下依然表現可靠；而治理的視野更為廣闊，關注 AI 部署過程中的社會、倫理與制度層面。它涵蓋了衍生風險，如隱私侵犯、虛假信息傳播與算法歧視，同時引入法律責任、利益相關方問責機制與倫理審議等手段。因此，治理在技術與社會領域之間架起了橋梁，提供了一種既強大又可被負責任地控制的 AI 構建路徑。 如圖 1 所示，對相關文獻的時間分布分析揭示了 LLM 治理研究領域的演化趨勢。2017—2024 年間，該領域的學術關注度顯著上升，尤其是 2020 年之后。預計到 2025 年底，相關學術論文數量將超過 8,000 篇，顯示出 LLM 在現實應用中的快速部署已經引發了對其治理的迫切討論。 盡管 AI 治理在學界、產業界和政策領域獲得了越來越多關注，但一個能夠跨越這些領域、系統整合且技術扎實的綜合性綜述仍然明顯缺失。現有研究 [17], [18] 往往將技術安全與更廣泛的治理問題割裂開來，或僅聚焦于特定風險（如公平性或對抗魯棒性），缺乏統一的框架。同時，另一類主要源于倫理與法律研究的成果，雖然提供了高層次的規范性分析，但很少涉及新興的實證評估方法、標準化基準與系統級防御手段 [18]。因此，迫切需要一篇綜合性綜述，以全面描繪 AI 治理的整體格局，并將其置于當代 AI 系統快速演進的背景之中。

本研究正是在這種需求下提出的，旨在提供一份全面、系統的 AI 治理綜述，構建一個貫通內生系統可靠性、衍生社會風險與規范治理機制的統一框架，為研究人員、開發者與政策制定者提供參考，從而確保 AI 系統既穩健可靠，又具備可問責性，并與公共利益保持一致。具體而言，我們試圖回答三個關鍵問題： 1. 為何迫切需要研究 AI 治理？ 我們識別出研究空白，即治理通常被視為事后補充而非核心設計原則，導致現有防御存在監管碎片化與評估不足的問題。這促使我們將 AI 治理定位為可信 AI 的基礎。 1. 從大量現有工作中可以提煉出哪些開放挑戰與未來治理指引？ 我們定義了一個涵蓋三大關鍵維度的統一治理框架：內生安全（如對抗魯棒性、幻覺、可解釋性）、衍生安全（如隱私、偏見、濫用）與社會倫理（如法律規范、問責機制、新興倫理關注點）。借助該分類法，我們對技術與社會風險進行結構化的綜合回顧。 1. 如何定義一個統一的治理框架？ 我們系統回顧了 300 多篇參考文獻，分析了視覺、語言與多模態系統中的代表性基準與評估指標，對比了現有方法的優劣，并綜合提出開放挑戰與未來研究方向。

這項多維度的綜述為研究人員、工程師與政策制定者提供了可操作的洞見，幫助他們構建不僅穩健可靠，而且具備社會責任感與倫理對齊的 AI 系統，其整體結構如圖 3 所示。 本研究的貢獻總結如下： * 全面性：從技術視角對 AI 治理進行統一且系統的綜述，涵蓋內生安全（如對抗攻擊、幻覺）、衍生安全（如隱私、偏見）與社會倫理（如倫理與法律問題）。 * 基準整合：整理并對比了相關的最新評測基準（如魯棒性、幻覺、公平性與濫用檢測等基準），促進治理相關主題的可復現研究與標準化評估。 * 治理導向視角：融合技術方法與社會及政策視角，推動 AI 系統設計與透明性、問責性及安全性等原則保持一致的治理框架發展。

我們的綜述圍繞 AI 治理的三大支柱展開，即內生安全、衍生安全與社會倫理。具體而言（參見圖 1）：內生安全研究保持持續增長，尤其是在對抗性漏洞、模型魯棒性與透明性方面。安全攻擊與漏洞研究的論文數量從 2021 年的 230 篇增加到 2024 年的 353 篇，魯棒性研究也呈類似上升趨勢，反映了人們對對抗操縱與敏感數據保護的日益關注。盡管透明性與可解釋性相關研究發表數量較少，但自 2017 年以來保持穩定，顯示出學界持續探索理解與審計 LLM 行為的努力。相比之下，衍生安全（如隱私與虛假信息）在近幾年獲得了更快的關注增長。例如，虛假信息問題在 2021 年前幾乎未被關注，但相關論文數量在 2024 年急劇上升至 249 篇，體現了提升 LLM 輸出可信度的現實緊迫性。在社會倫理方面，偏見、責任與問責等主題的研究也在逐漸增多，顯示其受到的關注度不斷提升。 本文的剩余部分安排如下：第 2 節介紹 AI 治理的背景及其與 AI 安全的關系，強調其關鍵動機與基礎原則；第 3 節討論內生安全，包括對抗性漏洞、魯棒性、幻覺與可解釋性問題；第 4 節探討衍生安全，重點關注隱私風險、偏見與歧視，以及濫用與誤用問題；第 5 節涉及社會倫理，包括社會與經濟影響、倫理與法律問題，以及責任與問責機制；第 6 節總結開放挑戰與未來方向，包括技術缺口、監管與倫理考量以及研究機會；最后，第 7 節對本文進行總結。

摘要——近年來，視覺-語言預訓練（Vision-Language Pretraining）作為一項融合視覺與文本模態優勢的變革性技術，催生了強大的視覺-語言模型（VLMs）。依托于網絡規模的預訓練數據，這些模型展現出卓越的零樣本推理能力。然而，在面對特定領域或專業任務時，其性能常常出現顯著下降。為解決該問題，研究社區日益關注如何將 VLM 中蘊含的豐富知識遷移或泛化到多樣的下游應用中。 本文旨在全面梳理 VLM 泛化的研究設定、方法體系、評測基準與實驗結果。我們首先分析典型的 VLM 架構，并依據遷移模塊的不同，將現有文獻劃分為基于 Prompt（提示）、基于參數、以及基于特征的方法三大類。隨后，結合經典遷移學習（Transfer Learning, TL）設定，進一步總結與探討各類方法的差異與特點，提出 VLM 時代下遷移學習的新解讀。此外，本文還系統介紹了主流 VLM 泛化評測基準，并對各類方法在不同任務中的表現進行了詳盡對比。

隨著大規模通用預訓練的不斷演進，本文也探討了視覺-語言模型與最新多模態大語言模型（Multimodal Large Language Models, MLLMs，如 DeepSeek-VL）之間的關聯與差異。通過從“泛化”這一全新且實用的視角系統梳理視覺-語言研究的快速進展，本文有助于清晰描繪當前與未來多模態研究的整體格局。 關鍵詞——視覺-語言模型，遷移學習，提示調優，魯棒微調，領域泛化，測試時自適應，無監督領域適應，多模態大語言模型

1 引言

深度神經網絡已在眾多實際應用中取得顯著成果。以視覺模型為例，從 AlexNet【1】到 ResNet【2】再到 Vision Transformer【3】，模型規模與表示能力都得到了極大提升。然而，高效訓練這些大規模模型往往需要大量標注數據與巨大的計算資源。為了解決這一問題，“基礎模型”（foundation model）的概念應運而生——即在大規模數據集上預訓練通用模型，以便將其知識遷移到各種下游任務中【4】。例如，預訓練于 ImageNet【5】上的 ResNet 系列已成為圖像分類【2】、目標識別【6】等視覺任務的重要基石。 自然語言處理領域也經歷了類似的發展，從 Transformer【7】、BERT【8】到 GPT-2【9】與 GPT-3【10】，均在各自的單模態任務中取得卓越表現，但它們本質上缺乏對多模態信息的感知與推理能力。 如圖 1 所示，對比式語言-圖像預訓練（contrastive language-image pretraining）范式的出現【11】徹底重塑了視覺-語言學習格局。Radford 等人提出的 CLIP【11】模型利用 4 億網頁爬取的圖文對進行對比學習：將語義匹配的圖文拉近、不匹配的拉遠，從而實現了跨任務的強大零樣本泛化能力，覆蓋圖像分類【11】、目標檢測【12】、視頻檢索【13】等任務。后續研究通過擴大與去噪預訓練數據集【14】【15】【16】、探索多樣的預訓練策略【17】【18】、引入多語言數據【19】【20】【21】，進一步增強了 VLM 的能力。 盡管 VLM 在通用任務上表現出色，但其預訓練知識在特定領域的下游任務上泛化能力有限。若無合適的遷移方式，預訓練的 VLM 往往難以處理分布外（OOD）數據，如遙感圖像【22】或精細類別圖像【23】【24】。傳統的“預訓練-微調”范式仍適用，但在 VLM 中直接微調可能破壞其對齊的視覺-語言表示，導致性能下降【25】【26】【27】。 因此，如何以盡可能低的計算與標注成本將 VLM 中的知識優雅地泛化至下游任務，已成為研究熱點。考慮到 VLM 的多模態特性，研究者們嘗試將單模態領域成熟的遷移策略，如 Prompt Tuning【28】、Adapter 插件【29】、知識蒸餾【30】，擴展應用于 VLM【26】【31】【32】【33】。借助其龐大的通識知識，VLM 正逐步成為“任務無關型”求解器，在無監督領域適應（UDA）【34】【35】【36】、領域泛化（DG）【37】【38】【39】、測試時自適應（TTA）【40】【41】【42】等遷移學習場景中設立了新基線。 面對這種趨勢，我們提出了關鍵問題：在 VLM 時代，知識遷移有何不同？

為此，本文對 VLM 的泛化能力展開系統文獻綜述。

研究動機與貢獻

現有綜述多聚焦于 VLM 的預訓練階段，如模型結構、預訓練目標與數據集【43】【44】【45】。雖然部分工作提及了遷移學習【43】，但其覆蓋面有限，尤其缺乏對不同遷移設定之間差異的探討。本文是首個專注于 VLM 遷移與泛化能力 的系統綜述。我們以主流的雙分支架構（如 CLIP【11】）為基礎，識別并歸類遷移的關鍵模塊，具體如下： 1. Prompt-based 方法：僅調節文本提示嵌入以控制模型行為【31】【32】【40】； 1. Parameter-based 方法：有策略地更新預訓練參數【46】【47】【48】，或通過知識蒸餾引入新參數【33】【38】【39】； 1. Feature-based 方法：對提取到的特征進行后處理，如引入可學習模塊【26】【35】或構建免訓練緩存機制【27】【41】【49】。

我們結合遷移學習研究中的經典設定【4】【50】【51】，重新審視這些 VLM 方法，并分析其在不同遷移設定中的特性差異。隨后，我們系統匯總了適用于各類遷移任務的主流基準數據集，并提供基于模型結構與方法設計的性能比較。

同時，本文還涵蓋了 VLM 與多模態大語言模型（MLLM）之間的融合。近年來，大語言模型（LLM）取得突破性進展【52】【53】【54】【55】，將對齊語言的視覺編碼器（如 CLIP）與 LLM 相連接，并以大規模多模態指令數據進行訓練，構建出視覺-語言大模型（MLLM）。這些模型在視頻理解、視覺問答、圖像字幕、分割與識別等任務中展現出強大的泛化能力【18】【56】【57】【58】。 作為另一類通用視覺-語言模型，本文對 MLLM 的基本構建框架、模型類型、使用的預訓練數據與目標，以及其在多任務中的表現進行全面總結，并呈現當前該領域的研究圖譜（如圖 3 所示）。

綜述貢獻總結如下：

系統回顧 VLM 泛化研究進展：涵蓋無監督領域適應、領域泛化、小樣本適應、測試時自適應等遷移學習任務；據我們所知，這是首個專注于 VLM 泛化的綜述工作。 1. 提出三類關鍵遷移方法分類：Prompt-based、Parameter-based 與 Feature-based，并在各類遷移設定下深入分析其技術細節與適用場景。 1. 收集主流評測基準并對比方法性能：從泛化設定、模型結構與設計角度出發，提供公平、系統的性能評估。 1. 引入并分析 MLLM 的發展與代表模型：總結其結構、組成模塊、泛化能力、訓練數據與目標，為理解視覺-語言研究的前沿進展提供參考。 1. 提出當前挑戰與未來方向：識別現階段研究瓶頸，并展望可行的研究路徑與潛力。

文章結構如下：

第 2 節介紹 VLM 相關基礎知識及所涉及的遷移學習設定； * 第 3 節討論 Prompt-based 方法，分為訓練時提示（3.1）與測試時提示（3.2）； * 第 4 節介紹 Parameter-based 方法，包括參數微調（4.1）與知識蒸餾（4.2）； * 第 5 節探討 Feature-based 方法，包括可學習適配器（5.1）與免訓練緩存機制（5.2）； * 第 6 節總結主流基準與方法性能評估； * 第 7 節介紹現代 LLM 如何增強與泛化 VLM，構成 MLLM； * 第 8 節總結當前進展并討論未來的研究方向。

摘要——隨著生成式人工智能（Generative AI）的快速發展，尤其是大語言模型的不斷突破，推薦系統正朝著更具通用性的方向演進。與傳統方法不同，生成式人工智能不僅能夠從復雜數據中學習模式和表示，還具備內容生成、數據合成和個性化體驗等能力。這種生成能力在推薦系統中發揮著關鍵作用，能夠緩解數據稀疏問題，并提升系統的整體性能。當前，基于生成式 AI 的推薦系統研究已取得了豐富成果。與此同時，推薦系統的目標也已超越單一的準確性要求，催生了大量面向多目標優化的研究，試圖在推薦中綜合考慮多種目標。然而，據我們所知，目前尚缺乏基于生成式 AI 技術的多目標推薦系統的系統性綜述研究，相關文獻仍存在明顯空白。為填補這一研究空缺，本文對融合生成式 AI 的多目標推薦系統研究進行了系統梳理，按照優化目標對現有工作進行分類整理。同時，我們總結了相關的評估指標和常用數據集，并進一步分析了該領域面臨的挑戰與未來發展方向。 關鍵詞——多目標優化，推薦系統，生成式人工智能，大語言模型

1 引言 在大數據時代，推薦系統已成為應對信息過載問題的關鍵工具，幫助用戶高效地發現有價值的內容。它們被廣泛應用于音樂、新聞、職位推薦等多個領域 [1]–[3]，通過過濾海量信息流，顯著提升用戶體驗。推薦系統的發展已歷經數十年，從最初的協同過濾方法 [4]–[7] 和內容推薦方法 [8], [9]，到后來的混合模型 [10]、基于圖神經網絡的方法 [11]，以及深度學習方法 [12], [13]，不斷演進以滿足日益增長的個性化和可擴展性需求。

近年來，生成式人工智能（Generative AI）的突破顯著改變了推薦系統的格局。正如文獻 [14] 所指出的，基于生成技術的推薦系統已成為該領域的新興研究方向。生成對抗網絡（GANs）[15]、變分自編碼器（VAEs）[16]、擴散模型 [17] 和大語言模型（LLMs）[18] 等技術，使得推薦系統能夠更豐富地進行數據合成并實現更深層次的上下文理解。其中，大語言模型在處理多模態數據（文本、圖像、視頻）和生成上下文感知的推薦內容方面展現出強大能力，帶來了前所未有的靈活性。與傳統模型依賴歷史數據預測用戶偏好不同，生成模型可以模擬用戶交互、增強稀疏數據集，并生成個性化內容，從而為推薦范式的創新開辟了新路徑。

生成模型在推薦系統領域展現出巨大潛力。目前的研究主要集中在單一目標任務，例如通過合成數據提升準確性，或利用大語言模型增強可解釋性。然而，對準確性的過度關注可能導致“過濾泡沫”（filter bubble）現象 [19]，使用戶被限制在重復或同質化的內容中，抑制探索行為并削弱長期參與度。考慮到生成式人工智能在推理和理解方面的先進能力，其在多目標推薦中的應用也極具前景。 研究社區已廣泛探索在傳統推薦系統框架下平衡多種目標的多目標推薦系統（MORS）[20]–[23]，但在融合生成式 AI 技術方面，相關研究仍屬稀缺。因此，將多目標優化整合進生成式推薦系統，是一個亟待深入研究的方向。

為填補這一空白，本文系統調研了使用生成技術實現多目標推薦的現有研究。我們特別強調，任何關于推薦系統附加目標（如多樣性、偶然性或公平性）的討論，都隱含地將準確性作為基礎性前提。因此，我們將多目標推薦系統（MORS）定義為：優化準確性之外其他目標的推薦系統。 本綜述識別出當前生成式推薦系統中除準確性外的主要目標包括：多樣性、偶然性、公平性與安全性；此外還涉及新穎性、可控性、效率與魯棒性等附加目標。我們聚焦于推薦系統中廣泛應用的四類生成技術：GANs、擴散模型、VAEs 與大語言模型。針對每一類目標，我們深入回顧了主流的模型架構與評估指標，并總結相關發展挑戰，旨在為未來的多目標生成式推薦研究提供基礎性見解。

本文的主要貢獻如下：

本文為首個將生成式人工智能（包括 GANs、VAEs、擴散模型和大語言模型）與多目標推薦系統（MORS）結合的全面綜述，提出了一個面向目標的分類框架，系統回顧了四類關鍵目標（多樣性、偶然性、公平性、安全性）下模型架構、優化策略和評估指標的發展與局限性。 * 我們系統總結了不同目標領域（如公平性與偶然性）下的專用評估指標與對應基準數據集，為實驗設計提供標準化參考。 * 我們還討論了生成式 MORS 研究中的核心挑戰，并展望了未來的發展方向，包括改進評估指標、設計適用于 LLM 的高級策略、融合多種生成技術以提升推薦質量等。此外，我們強調跨學科合作（如倫理學、社會學）的重要性，以構建更加公平透明的推薦系統。這些見解為學術界與工業界的進一步探索與創新奠定了基礎。

文章結構概覽：

第 2 節綜述推薦系統、生成式推薦系統和多目標推薦系統的相關文獻，構建研究背景。 第 3 節介紹本文涵蓋的四類主要生成技術。 第 4 節作為核心部分，系統梳理基于生成技術的多目標推薦系統，按超越準確性的目標進行分類，介紹相關定義、模型與評估指標。 第 5 節總結各類目標下常用的推薦數據集。 第 6 節探討每類關鍵目標面臨的主要挑戰。 最后在第 7 節對全文進行總結。

摘要——隨著大型模型的迅速發展，得益于它們通過大規模預訓練在學習和泛化方面的卓越能力，人工智能（AI）領域的格局發生了巨大變化。這些模型現在已經成為多種應用的基礎，包括對話式AI、推薦系統、自動駕駛、內容生成、醫學診斷和科學發現。然而，它們的廣泛部署也使其面臨顯著的安全風險，引發了關于模型的魯棒性、可靠性和倫理問題的擔憂。本文對當前的大型模型安全研究進行了系統性綜述，涵蓋了視覺基礎模型（VFMs）、大型語言模型（LLMs）、視覺-語言預訓練模型（VLP）、視覺-語言模型（VLMs）、擴散模型（DMs）和基于大型模型的智能體等領域。我們的貢獻總結如下：（1）我們提出了一個關于這些模型安全威脅的全面分類，包括對抗性攻擊、數據投毒、后門攻擊、越獄和提示注入攻擊、能耗-延遲攻擊、數據與模型提取攻擊，以及新興的智能體特定威脅。（2）我們回顧了針對各類攻擊提出的防御策略（如果有），并總結了用于安全研究的常用數據集和基準。（3）在此基礎上，我們識別并討論了大型模型安全面臨的開放性挑戰，強調了對全面安全評估、可擴展且有效的防御機制以及可持續數據實踐的需求。更重要的是，我們突出了研究社區和國際合作的共同努力的必要性。我們的工作可為研究人員和從業者提供有價值的參考，促進全面防御系統和平臺的持續發展，以保障AI模型的安全。

關鍵詞——大型模型安全，人工智能安全，攻擊與防御  1 引言人工智能（AI）已經進入大型模型的時代，典型的代表包括視覺基礎模型（VFMs）、大型語言模型（LLMs）、視覺-語言預訓練模型（VLP）、視覺-語言模型（VLMs）以及圖像/視頻生成擴散模型（DMs）。通過在大規模數據集上進行預訓練，這些模型在從語言理解和圖像生成到復雜問題解決和決策制定等任務中，展現出了前所未有的能力。它們在理解和生成類人內容（例如文本、圖像、音頻和視頻）方面的能力，使得它們在客戶服務、內容創作、醫療保健、教育等領域得到了廣泛應用，突顯了它們在商業和社會領域的變革潛力。然而，大型模型的部署也帶來了顯著的挑戰和風險。隨著這些模型越來越多地應用于關鍵領域，關于它們在面對對抗性攻擊、越獄攻擊、后門攻擊、數據隱私泄露及生成有害或誤導性內容等方面的脆弱性，已經引發了廣泛的關注。這些問題構成了重大威脅，包括系統行為異常、隱私泄露以及有害信息的傳播。確保這些模型的安全至關重要，以防止此類不良后果，保持公眾信任并促進負責任的AI使用。為了應對這些挑戰，AI安全研究領域得到了擴展，涵蓋了多種攻擊方法、防御策略和評估基準，旨在識別和緩解大型模型的脆弱性。鑒于各種大型模型的安全相關技術迅速發展，我們的目標是提供一項全面的調查，重點介紹這些技術的優勢、劣勢和空白，同時推動研究和促進合作。鑒于我們調查的廣泛范圍，本文的結構考慮了以下幾個方面，以增強清晰度和組織性：模型：我們聚焦于六類廣泛研究的模型，包括VFMs、LLMs、VLPs、VLMs、DMs和智能體，分別審查每類模型的攻擊與防御方法。這些模型代表了各領域最受關注的大型模型。組織結構：對于每類模型，我們將回顧的工作分為攻擊與防御兩部分，并識別10種攻擊類型：對抗攻擊、后門攻擊、數據投毒、越獄攻擊、提示注入攻擊、能耗-延遲攻擊、成員推斷攻擊、模型提取攻擊、數據提取攻擊和智能體攻擊。當某一模型類別同時存在后門攻擊和數據投毒攻擊時，我們將其歸為“后門與數據投毒”類別，因這兩種攻擊具有相似性。我們在介紹每種攻擊類型后，緊接著回顧對應的防御策略。分類法：對于每種攻擊或防御，我們采用兩級分類法：類別 → 子類別。類別根據威脅模型（如白盒、灰盒、黑盒）或特定子任務（如檢測、凈化、魯棒訓練/調優和魯棒推理）進行區分。子類別則基于技術手段提供更詳細的分類。粒度：為了確保清晰度，我們簡化了每篇文獻的介紹，僅突出其核心觀點。我們的調查方法結構如下。首先，我們進行了基于關鍵詞的搜索，針對特定模型類型和威脅類型，篩選出相關論文。接著，我們手動剔除了與安全無關或非技術性的論文。對于每篇剩余的論文，我們通過分析其設置和攻擊/防御類型，將其提出的方法或框架分類，并分配到合適的類別和子類別中。最終，我們共收集了390篇技術論文，并通過圖1展示了它們在年份、模型類型和攻擊/防御策略上的分布。正如所示，自2023年ChatGPT發布以來，大型模型的安全研究顯著增加。在模型類型中，LLMs和DMs受到了最多關注，占據了被調查論文的60%以上。關于攻擊類型，越獄攻擊、對抗攻擊和后門攻擊是研究最廣泛的。在防御方面，越獄攻擊的防御受到了最多關注，其次是對抗攻擊的防御。圖2呈現了模型類型和攻擊/防御類別的時間趨勢，詳細分解了所回顧的工作。值得注意的是，攻擊研究占據了研究總量的60%。在防御方面，盡管防御研究只占40%，這一顯著差距突顯了防御策略亟待更多關注的必要性。本文的總體結構如圖3所示。與現有綜述的區別：大型模型安全是一個迅速發展的領域，已有多篇綜述文獻推動了該領域的研究。近期，Slattery等人[406]提出了一個AI風險框架，系統性地涵蓋了所有類型的風險。相比之下，我們的重點是技術層面，特別是文獻中提出的攻擊和防御技術。表1列出了我們所識別的技術性綜述，它們分別聚焦于特定類型的模型或威脅（例如LLMs、VLMs或越獄攻擊/防御）。與這些工作相比，我們的綜述提供了更廣泛的范圍——涵蓋了更多的模型類型和威脅，并且從更高層次的角度，專注于整體方法論，而非具體的技術細節。

**摘要

擴散模型（Diffusion Models, DMs）已成為強大的生成模型，在圖像、視頻、音頻等內容生成任務中展現出卓越性能，并具有變革數字內容創作的潛力。然而，這些能力伴隨著高昂的計算資源消耗和較長的生成時間，這凸顯了開發高效擴散模型的必要性，以推動其實用化部署。 在本綜述中，我們對高效擴散模型的研究進展進行了系統性和全面性的回顧。我們基于現有研究，提出了一種三大類別的分類體系，分別涵蓋算法級優化、系統級優化以及框架級優化，以梳理不同層面上相互關聯的高效擴散技術：

1. 算法級優化（Algorithm-Level Efficiency）：包括加速采樣（如 DDIM、DPM-Solver）、自適應步長方法、潛空間擴散（LDMs）、知識蒸餾等。
2. 系統級優化（System-Level Efficiency）：涉及模型架構改進（輕量級 U-Net 變體、基于 Transformer 的優化）、并行計算、高效 GPU/TPU 部署策略等。
3. 框架級優化（Framework-Level Efficiency）：涵蓋優化工具鏈（如 ONNX、TensorRT）、分布式訓練技術，以及高效推理框架的集成。

此外，我們整理了本綜述中涉及的論文，并在 GitHub 倉庫 Efficient Diffusion Model Survey 中進行分類歸納，以便研究人員查閱和使用。 我們希望本綜述能夠成為研究者和從業者的重要資源，幫助他們系統性地理解高效擴散模型的研究進展，并激發更多人在這一重要且充滿前景的領域做出貢獻。

1. 引言

擴散模型（Diffusion Models, DMs）開啟了人工智能生成內容（AIGC, Artificial Intelligence Generative Content）領域的新時代，并受到了前所未有的關注（Yang et al., 2023b; Croitoru et al., 2023b）。特別是在圖像合成任務中，擴散模型展現出了強大且多樣化的生成能力。此外，擴散模型的跨模態生成能力進一步推動了眾多下游任務的發展（Chen et al., 2023b）。盡管擴散模型的各類變體經過多次迭代已日趨成熟（Zhang et al., 2023d; Xu et al., 2023），但生成高分辨率、復雜的自然場景仍然十分耗時，并需要大量計算資源，無論是像素級擴散方法（Ho et al., 2020）還是潛空間變體（Rombach et al., 2022）。因此，為了優化擴散模型的用戶級部署，研究者們一直在探索高效擴散模型的可能性。 近年來，擴散模型的普及度持續上升，但其中一個主要問題是其多步去噪過程：模型需要經歷多個時間步（timesteps）才能從隨機噪聲生成高質量樣本。這一多步生成機制不僅耗時，而且計算密集，導致計算負擔巨大。因此，提高擴散模型的計算效率至關重要。針對這一問題，已有多項研究嘗試提出解決方案，例如優化訓練過程中添加的噪聲（Hang & Gu, 2024; Chen et al., 2023a），以及選擇適當的采樣時間步（Watson et al., 2021; Sabour et al., 2024）等方法。 盡管已有許多關于擴散模型的全面綜述（Yang et al., 2023b; Chen et al., 2024; Croitoru et al., 2023a; Cao et al., 2024），以及針對特定領域和任務的綜述（Ulhaq et al., 2022; Lin et al., 2024c; Kazerouni et al., 2023; Lin et al., 2024b; Peng et al., 2024b; Daras et al., 2024），但關于擴散模型效率優化的系統性研究仍然較為稀缺。目前唯一一篇專門討論高效擴散模型的綜述（Ma et al., 2024c）僅為該領域的初步探索。在本研究中，我們提供了更全面和詳細的分類體系，涵蓋更廣泛、更新的研究文獻，并提供更系統的技術綜述。 本綜述的總體目標是全面梳理高效擴散模型的技術進展，從算法級、系統級、應用級和框架級四個不同視角進行討論，如圖 1 所示。這四個類別涵蓋了不同但緊密相關的研究主題，共同構成了系統化的高效擴散模型綜述：

• 算法級方法（Algorithm-Level Methods）：優化擴散模型的訓練和推理效率，涵蓋高效訓練、高效微調、高效采樣及模型壓縮等方向（見 §3）。
• 系統級方法（System-Level Methods）：優化計算基礎設施和資源利用，涵蓋硬件-軟件協同設計、并行計算、緩存優化等（見 §4）。
• 應用（Applications）：擴散模型在圖像、視頻、文本、音頻和 3D 生成等領域的優化方法，以在不損失生成質量的前提下提升效率（見 §5）。
• 框架（Frameworks）：專門針對擴散模型的高效訓練、微調、推理和部署框架，涵蓋**主流 AI 框架（如 TensorFlow 和 PyTorch）**的優化擴展，以及專門設計的高效擴散模型框架（見 §6）。

此外，我們創建了一個GitHub 論文資源庫，匯總了本綜述中涉及的相關論文，并將持續更新，以收錄最新的研究進展：Efficient Diffusion Model Survey。我們希望本綜述能夠成為研究者和從業者的重要資源，幫助他們系統理解高效擴散模型的研究進展，并激發更多研究人員在這一重要且前沿的領域做出貢獻。

摘要——近年來，自動駕駛領域的突破性進展徹底改變了車輛感知和與周圍環境互動的方式。特別是，世界模型作為一種關鍵技術應運而生，提供了對駕駛環境的高保真表示，能夠整合多傳感器數據、語義信息和時間動態。這類模型將感知、預測和規劃統一起來，使得自動駕駛系統能夠在復雜且經常不可預測的條件下快速做出知情決策。研究趨勢涉及多個領域，包括4D占用預測和生成數據合成，這些都能增強場景理解和軌跡預測。值得注意的是，近期的研究利用大規模預訓練和先進的自監督學習，擴大了模型在稀有事件模擬和實時互動方面的能力。在應對諸多關鍵挑戰時——包括領域適應、長尾異常檢測以及多模態融合——這些世界模型為更強大、可靠且適應性更強的自動駕駛解決方案鋪平了道路。本綜述系統地回顧了當前的技術前沿，將相關技術按其在未來預測、行為規劃以及兩者之間的互動方面的側重點進行了分類。我們還識別了未來研究的潛在方向，強調了整體集成、計算效率提升和高級仿真等方面。我們的綜合分析凸顯了世界模型在推動下一代自動駕駛系統朝著更安全、更公平的出行方向發展的變革性作用。

關鍵詞——自動駕駛、世界模型、自監督學習、行為規劃、生成方法 1 引言 1.1 概述 完全自動駕駛的追求已經迅速成為全球科學研究和工業努力的焦點。其核心目標是同時減少交通事故、緩解擁堵，并提升不同社會群體的出行能力[1]。現有統計數據顯示，人為錯誤仍然是道路事故的主要原因[2]，這表明，減少人工干預可以顯著降低與交通相關的死亡和傷害的發生率。除了安全性，經濟因素（例如，減少擁堵和優化物流）也推動了自動駕駛技術的發展[3]。 盡管這些激勵因素令人信服，實現高水平的自動駕駛仍需克服相當大的技術難題。最重要的挑戰之一是感知和理解動態交通場景，這要求將異構傳感器數據流（例如激光雷達、雷達、攝像頭）融合成一個統一的環境表示[4]，[5]。從復雜的城市布局到高速公路，自動駕駛車輛必須快速吸收多模態數據，檢測關鍵物體（如車輛、行人、自行車騎行者），并預測它們在不同條件下的運動——例如惡劣天氣、無結構道路或繁忙的交通[6]，[7]。此外，實時決策還帶來了嚴格的計算約束，要求系統在毫秒級響應時間內應對突發障礙物或異常行為[8]，[9]。同樣關鍵的是，系統在極端或長尾場景（例如嚴重天氣、施工區或異常駕駛行為）下的魯棒性，在這些情況下，性能不足可能會危及整體安全性[10]，[11]。 在這一背景下，構建穩健且穩定的世界模型已成為基礎性要素。世界模型的概念包括創建一個高保真的駕駛環境表示——涵蓋靜態結構（如道路、建筑）和動態實體（如車輛、行人）[3]，[8]。一個全面的世界模型不斷捕獲語義和幾何信息，同時實時更新這些表示，從而為下游任務（如物理世界預測）提供支持[12]，[13]。近期的進展通過集成多傳感器數據來細化這些表示，例如生成性方法[14]，[15]，這些方法通過模擬物理世界來進行訓練，將異構傳感器輸入統一為一致的自上而下的視角[16]，[17]。 這些穩健的世界模型利用環境表示來優化智能體的行為規劃，為更安全和更高效的自動駕駛應用奠定了基石。通過實現主動軌跡優化、實時危險檢測和自適應路線規劃，它們能夠直接降低突發危險所帶來的風險[5]，并與不斷發展的車聯網（V2X）系統相契合[9]。最終，世界模型促進了感知和控制子系統之間更緊密的集成，簡化了閉環自動駕駛管道[18]，[19]。 現有關于世界模型在自動駕駛中的綜述通常可分為兩類。一類主流綜述側重于描述廣泛應用于多個領域的世界模型[20]–[22]，其中自動駕駛只是一個特定應用領域。第二類綜述[23]，[24]則專注于世界模型在自動駕駛領域中的應用，嘗試總結該領域的現狀。目前，關于自動駕駛中世界模型的綜述較少，它們通常對這些研究進行大致分類，且常常僅關注世界仿真或缺乏對行為規劃與物理世界預測交互的討論，導致該領域缺乏清晰的分類體系。本文的目標不僅是正式定義和分類自動駕駛中的世界模型，還提供對近期技術進展的全面回顧，并探索其在多個領域的廣泛應用，特別強調它們在自動駕駛中的變革性潛力。這一結構化的分類方法使我們能夠突出這些模型如何根據汽車行業的挑戰進行塑造和適應。 1.2 貢獻 本文綜述的指導思想是世界模型是理解動態場景的核心，旨在提供一個全面、結構化的現有方法論回顧。我們將最前沿的研究分類為三個關鍵領域： 物理世界的未來預測：聚焦于動態物體和靜態實體的物理世界演化[11]，[25]； 智能體的行為規劃：研究生成式和基于規則的規劃方法，這些方法在不確定的駕駛條件下生成安全、有效的路徑[12]，[13]； 行為規劃與未來預測之間的交互：強調統一框架如何捕捉智能體之間的交互，并利用預測性洞察進行協同優化[18]，[26]，[27]。 具體來說，我們提供： 未來預測模型的深入分析：我們討論了基于圖像/鳥瞰圖/物體圖/點云的研究如何在動態場景中實現幾何和語義的高保真度，包括4D占用預測和基于擴散的生成方法。 行為規劃研究：我們探索了基于規則和基于學習的方法在行為規劃中的應用，展示了在魯棒性和避碰性能上的顯著提升。 交互模型研究的提案：我們系統回顧了交互模型，這些模型共同解決未來預測和智能體行為問題，并說明這種協同如何大幅提升現實世界的適應性和操作安全性。 我們總結了目前的開放挑戰，如自監督方法的無縫集成[26]、稀有事件增強的大規模仿真[10]，[28]、以及實時多智能體協調[27]，并為未來的研究提供了方向。隨著研究領域的不斷擴展以及現實世界應用的緊迫性，本綜述旨在為研究人員和實踐者提供有價值的參考，為更安全、更穩健的自動駕駛解決方案奠定基礎。 1.3 結構 本文的結構概覽見圖1，具體如下：第1節介紹了世界模型在自動駕駛中的重要性，并概述了它們解決的社會和技術挑戰。第2節提供了世界模型在自動駕駛中的背景知識，重點討論了物理世界的未來預測和智能體的行為規劃。第3節詳細介紹了方法的分類：第3.1節討論了物理世界的未來預測方法，涉及動態物體和靜態實體的物理世界演化；第3.2節討論了強調生成安全、有效駕駛策略的先進行為規劃方法；第3.3節研究了未來預測與行為規劃之間的交互關系，重點介紹了復雜場景下的協同優化技術。第4節探討了數據和訓練范式的不同方法，包括監督學習、自監督學習和數據生成技術。第5節考察了世界模型應用的領域和任務，討論了這些技術在感知、預測、仿真和系統集成等多個領域的影響。第6節對自動駕駛中的世界模型進行了詳細評估，評估了它們在不同任務和指標中的有效性。第7節探討了開放挑戰、潛在研究方向和進一步創新的有前景的方向。第8節總結了本綜述，并重申了世界模型在自動駕駛中不可或缺的作用。

摘要—基礎模型（FM）驅動的代理服務被視為一種有前景的解決方案，用于開發智能化和個性化的應用，推動人工通用智能（AGI）的發展。為了在部署這些代理服務時實現高可靠性和可擴展性，必須協同優化計算和通信資源，從而確保有效的資源分配和無縫的服務交付。為實現這一愿景，本文提出了一個統一框架，旨在提供一個全面的綜述，探討在異構設備上部署基于FM的代理服務，重點是模型和資源優化的集成，以建立一個強大的基礎設施支持這些服務。特別地，本文首先探索了推理過程中的各種低層次優化策略，并研究了增強系統可擴展性的方法，如并行化技術和資源擴展方法。接著，本文討論了幾種重要的基礎模型，并調查了專注于推理加速的研究進展，包括模型壓縮和標記減少等技術。此外，本文還研究了構建代理服務的關鍵組件，并突出了值得關注的智能應用。最后，本文提出了開發具有高服務質量（QoS）實時代理服務的潛在研究方向。 關鍵詞—基礎模型、AI代理、云/邊緣計算、服務系統、分布式系統、AGI。

I. 引言

人工智能（AI）的快速發展使得基礎模型（FM）成為創新的基石，推動了自然語言處理、計算機視覺和自主系統等多個領域的進步。這些模型的特點是參數空間龐大，并在廣泛的數據集上進行了深度訓練，孕育了從自動化文本生成到高級多模態問答和自主機器人服務等眾多應用[1]。一些流行的基礎模型，如GPT、Llama、ViT和CLIP，推動了AI能力的邊界，提供了處理和分析大量數據的復雜解決方案，涵蓋了不同格式和模態。基礎模型的持續進展顯著增強了AI在理解和與世界互動方面的能力，使其在某種程度上類似于人類認知。 然而，傳統的基礎模型通常僅限于提供問答服務，并根據已有知識生成回答，往往無法整合最新信息或利用先進工具。基礎模型驅動的代理服務旨在增強基礎模型的能力。這些代理具備動態記憶管理、長期任務規劃、高級計算工具以及與外部環境的交互功能[2]。例如，基礎模型驅動的代理能夠調用不同的外部API以訪問實時數據，執行復雜的計算，并根據最新的可用信息生成更新的響應。這種方法提高了響應的可靠性和準確性，并使與用戶的互動更加個性化。 開發具有低延遲、高可靠性、高彈性并且資源消耗最小的服務系統，對于向用戶提供高質量的代理服務至關重要。這樣的系統能夠有效地管理不同的查詢負載，同時保持快速響應并減少資源成本。此外，在異構的邊緣-云設備上構建服務系統，是利用邊緣設備的閑置計算資源和云端豐富計算集群的一種有前景的解決方案。邊緣-云設備的協同推理能夠通過根據計算負載和實時網絡條件動態分配任務，提升整體系統效率。 盡管許多研究已經探討了小型模型在邊緣-云環境中的協同推理，但在這種范式下部署基礎模型以支持多樣化的代理服務仍然面臨著一些嚴重挑戰。首先，波動的查詢負載極大地挑戰了模型服務。隨著越來越多的用戶希望體驗基礎模型驅動的智能代理服務，查詢負載急劇增加。例如，截至2024年4月，ChatGPT的用戶約為1.805億，其中每周活躍用戶約為1億[3]。這些用戶在不同時間訪問服務，導致請求速率變化。因此，彈性服務系統應根據當前的系統特性動態調整系統容量。其次，基礎模型的參數空間極為龐大，達到數百億規模，這對存儲系統提出了巨大挑戰。然而，邊緣設備和消費級GPU的存儲容量有限，無法容納整個模型。龐大的參數量導致了顯著的推理開銷和較長的執行延遲。因此，有必要設計模型壓縮方法，并在不同的執行環境中采用不同的并行化方法。此外，用戶在不同應用中有不同的服務需求和輸入。例如，有些應用優先考慮低延遲，而有些則優先考慮高精度。這要求動態資源分配并調整推理過程。此外，AI代理需要在復雜環境中處理大量艱巨任務，這要求有效管理大規模內存、實時處理更新的規則和特定領域知識。此外，代理具有不同的個性和角色，因此需要設計高效的多代理協作框架。

為了解決上述挑戰，并推動實時基礎模型驅動的代理服務的發展，本文提出了一個統一框架，并從不同優化角度調查了多項研究成果。該框架如圖1所示。底層是執行層，邊緣或云設備在此執行基礎模型推理。聯合計算優化、輸入/輸出優化和通信優化被應用于加速推理，并促進構建強大的基礎模型基礎設施。資源層由兩個組件組成，幫助在不同設備上部署模型。并行化方法設計了不同的模型拆分和放置策略，以利用可用資源并協同提高吞吐量。資源擴展根據查詢負載和資源利用情況動態調整硬件資源，從而提高整體可擴展性。模型層專注于優化基礎模型，提出了兩種輕量級方法，包括模型壓縮和標記減少，旨在推動基礎模型的廣泛應用。基于這些基礎模型，構建了許多AI代理來完成各種任務。為了增強代理的四個關鍵組件，提出了許多方法，包括多代理框架、規劃能力、記憶存儲和工具利用。最終，利用上述技術，可以開發各種應用，為用戶提供智能化和低延遲的代理服務。

A. 相關工作

許多研究集中于優化在邊緣-云環境中部署機器學習模型的系統。KACHRIS回顧了一些用于大規模語言模型（LLMs）計算加速的硬件加速器，以解決計算挑戰[4]。Tang等人總結了旨在優化網絡和計算資源的調度方法[5]。Miao等人提出了一些加速方法以提高大規模語言模型的效率[6]。這項綜述涵蓋了系統優化，如內存管理和內核優化，以及算法優化，如架構設計和壓縮算法，以加速模型推理。Xu等人關注人工智能生成內容（AIGC）的部署，并概述了AIGC的移動網絡優化，涵蓋了數據集收集、AIGC預訓練、AIGC微調和AIGC推理過程[7]。Djigal等人研究了機器學習和深度學習技術在多接入邊緣計算（MEC）系統中資源分配的應用[8]。該綜述包括了資源卸載、資源調度和協同分配。許多研究提出了不同的算法來優化基礎模型和代理的設計。[1]、[9]和[10]提出了流行的基礎模型，特別是大規模語言模型。[11]、[12]和[13]總結了大規模語言模型的模型壓縮和推理加速方法。[2]、[14]和[15]回顧了代理開發中的挑戰和進展。 總之，上述研究要么優化了邊緣-云資源分配和調度以支持小型模型，要么為大規模基礎模型設計了加速或效率方法。據我們所知，本文是首篇全面綜述和討論實時基礎模型驅動的代理服務在異構設備上部署的研究，近年來這一研究方向已經變得尤為重要。我們設計了一個統一框架，填補了這一研究空白，并從不同視角回顧當前的研究成果。該框架不僅勾畫了基礎模型部署的關鍵技術，還識別了基礎模型驅動的代理服務的關鍵組件和相應的系統優化方法。

B. 貢獻

本文全面綜述了在邊緣-云環境中部署基礎模型驅動的代理服務，涵蓋了從硬件到軟件層的優化方法。為方便讀者，本文提供了綜述的大綱（見圖2）。本文的貢獻總結如下：

• 本綜述提出了第一個全面的框架，旨在深度理解在邊緣-云環境中部署基礎模型驅動的代理服務。該框架具有促進人工通用智能（AGI）發展的巨大潛力。
• 從低層次硬件角度出發，本文展示了各種運行時優化方法和資源分配與調度方法，這些技術旨在為基礎模型構建可靠且靈活的基礎設施。
• 從高層次軟件角度出發，本文闡述了專注于模型優化和代理優化的研究工作，提供了構建智能化和輕量化代理應用的多種機會。

本文其余部分安排如下：第二節介紹了一些低層次的執行優化方法；第三節描述了資源分配和并行機制；第四節討論了當前的基礎模型及模型壓縮和標記減少技術；第五節闡明了代理的關鍵組件；第六節介紹了批處理方法及相關應用；最后，第七節討論了未來的研究方向并作結論總結。

摘要——目前，大多數工業物聯網（IIoT）應用仍然依賴于基于卷積神經網絡（CNN）的神經網絡。盡管基于Transformer的大模型（LMs），包括語言、視覺和多模態模型，已經在AI生成內容（AIGC）中展示了令人印象深刻的能力，但它們在工業領域（如檢測、規劃和控制）中的應用仍然相對有限。在工業環境中部署預訓練的大模型往往面臨穩定性與可塑性之間的挑戰，這主要是由于任務的復雜性、數據的多樣性以及用戶需求的動態性。為了應對這些挑戰，預訓練與微調策略結合持續學習已被證明是一種有效的解決方案，使模型能夠適應動態需求，同時不斷優化其推理和決策能力。本文綜述了大模型在工業物聯網增強的通用工業智能（GII）中的集成，重點關注兩個關鍵領域：大模型賦能GII和GII環境下的大模型。前者側重于利用大模型為工業應用中的挑戰提供優化解決方案，而后者則研究在涉及工業設備、邊緣計算和云計算的協同場景中，持續優化大模型的學習和推理能力。本文為GII的未來發展提供了洞見，旨在建立一個全面的理論框架和研究方向，從而推動GII向更加通用和適應性強的未來發展。 關鍵詞——通用工業智能、大語言模型、持續學習、工業物聯網、邊緣計算。

工業5.0將網絡-物理-社會元素集成到制造業中，強調數字與物理系統的交互以及人機協作，通過互聯網有效地連接設備、物體和人[1]。隨著物聯網（IIoT）的快速發展[2]-[4]、通信技術[5], [6]、AI生成內容（AIGC）[7]、機器人和數字孿生技術[8]-[10]，現代工業系統變得越來越復雜。這些系統不僅生成高頻的單模態數據，還包括文本、圖像、視頻、代碼和音頻等多模態數據類型。工業大數據可以用于創建數字化制造工作流程和工業流程，極大地推動了工業5.0和網絡-物理-社會系統中生產力、效率和效能的提升。 如圖1所示，數據集和模型構成了GII生態系統的基礎要素，推動了更高層次算法和應用的快速發展。這些應用包括智能控制系統、預測性維護[11]、故障診斷[12], [13]和異常檢測[14]，這些都高度依賴于對IIoT數據的提取和分析。GII的成功特別依賴于其從這些IIoT數據集中高效學習和提取有價值特征的能力。基于Transformer的大模型（LMs），例如大語言模型（LLMs）[16]–[18]、視覺模型[19], [20]、時間序列模型[21]以及多模態模型[22], [23]，由于其獨特優勢，受到廣泛關注。通過在大規模數據集上進行預訓練，這些擁有數十億到數萬億參數的模型積累了廣泛的知識，極大地推動了數據處理的自動化和多樣化，同時減少了對人類專業知識的依賴。

在工業領域，大模型的精度和可擴展性使其在提高工業流程的準確性方面非常有效。然而，在工業環境中部署預訓練大模型時，需要根據具體任務架構、動態數據分布和用戶偏好進行謹慎的適配。盡管大模型在多任務泛化、小樣本學習和推理方面具有優勢，但在這些環境中平衡穩定性和適應性仍然是一個顯著挑戰。受到大模型在自然語言處理（NLP）中成功的啟發，工業界越來越多地探索其在GII中的潛力。一種方法是從頭構建行業特定的基礎模型[24]，但特定領域數據規模的限制通常阻礙了涌現能力的發展。另一種方法是通過大數據集上的預訓練，然后進行特定任務的微調，這已顯示出在構建穩健的工業模型方面的巨大潛力，顯著提高了各類任務的性能。這種方法有效地應對了特定領域數據匱乏的挑戰，同時加速了工業應用中先進能力的發展。

為工業任務調整大模型是一個重要的研究方向[25]。這些模型在跨任務泛化、零樣本/小樣本學習和推理能力方面的優勢，為解決知識遷移、數據稀缺性和解釋性問題提供了新的途徑。 ****持續大模型（CLMs）****在維持和發展這些工業模型的能力方面發揮了關鍵作用。CLMs在大規模數據集上進行預訓練，并由Transformer架構驅動，設計用于持續學習和適應，確保工業大模型在滿足GII不斷變化的需求時仍然保持相關性和有效性。

A. 本綜述的目標

本文旨在建立一個全面的視角，并對IIoT增強的GII進行深入分析。它提出了將GII分為兩個主要類別的概念：

• 通用工業智能的大模型（LMs for GII）：該方向重點利用大模型的高級數據處理和分析能力來解決工業應用中固有的優化問題。具體來說，LMs通過其處理實時多模態IIoT數據、執行復雜特征提取并確保精確的模式識別和結果驗證的能力，提升了IIoT驅動的工業系統的智能化和運營效率，最終提高了不同工業環境中的測量精度和系統性能。
• 通用工業智能上的大模型（LMs on GII）：該視角探討了工業應用如何通過持續模型操作，在協同的IIoT設備-邊緣-云環境中擴展和優化大模型的能力。通過采用持續學習（CL）和在線學習策略，模型可以適應新數據和環境變化，而無需昂貴的再訓練。這種方法節省了計算資源，最小化了延遲，并高效處理了數據分布變化和性能退化，確保了動態工業場景中的穩健模型性能。

本文通過一個示意圖（圖2）進一步明確了這些類別的引入，幫助闡明了兩種方法之間的結構性差異和操作機制。

B. 本綜述的獨特特征

近年來，持續學習（CL）作為一個研究課題獲得了顯著關注，許多研究探討了其在設備健康管理[26]、機器人[27]和流數據[28]等領域的應用。在大模型的背景下，由于這些模型的規模巨大，頻繁的再訓練成本高昂，因此CL已被認為是至關重要的[29]。盡管CL的文獻廣泛，但我們的綜述獨特地關注了CL在IIoT增強的工業系統中的大模型的持續適應性——這是現有文獻中未被充分覆蓋的領域。本綜述首次為大模型在四個不同的IIoT工業場景中應用的CL方法提供了全面而系統的回顧。

如表I所示，本文通過以下幾個關鍵貢獻來區分自身：

• 新穎的分類體系：我們引入了一個新的GII理論框架。通過將大模型的應用分為兩個維度——“LMs for GII”和“LMs on GII”，本文不僅探討了如何利用大模型優化工業應用，還研究了這些應用如何反過來優化模型本身。這種雙向交互視角顯著豐富了現有文獻。

• 跨領域多模態集成：與大多數僅專注于特定類型大模型（如語言模型或視覺模型）的現有研究不同，本綜述涵蓋了大語言模型（LLMs）、視覺Transformer、多模態模型和時間序列模型。這種跨模態集成增強了復雜儀器和測量系統的設計、開發和評估，這些系統用于信號的生成、獲取、調理和處理。通過利用不同模型的獨特優勢，它為推進測量科學及其應用提供了更全面和深入的視角，從而更有效地應對復雜的工業挑戰。

• 持續學習的實際應用：本文強調了持續學習策略在IIoT增強的工業系統，特別是邊緣計算和云計算協同環境中的實際應用。這個重點確保了模型不僅能適應新數據和變化的條件，還能資源高效。通過減少計算需求和訓練成本，我們的方法解決了工業應用中的關鍵約束。

智能規劃又叫自動規劃，主要研究在復雜環境下，如何通過自動化的方式生成可行的行動序列，以實現從初始狀態到達目標狀態。大語言模型是指使用大量文本數據訓練的深度學習生成式模型，可以生成自然語言文本或理解語言文本的含義。當前圍繞如何讓大語言模型在強大的常識性知識基礎上獲得生成式智能規劃能力已然成為當下研究的熱潮。本文從大語言模型的視角入手，首先對智能規劃的定義和發展進行概述、簡要介紹了傳統智能規劃的方法；其次基于大語言智能體與智能規劃的緊密關系，介紹了大語言模型的架構和典型的大模型智能體；再次重點圍繞大模型的智能規劃，梳理了規劃語言學習、思維鏈推理、反饋優化和流程自動化共4類規劃方法；最后結合當前的挑戰與困難，介紹大模型進行智能規劃的前沿研究展望。