亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

具身多智能體系統（EMAS）因其在物流、機器人等領域解決復雜現實問題的潛力，吸引了越來越多的關注。近期基礎模型的進展為生成型智能體提供了更豐富的溝通能力和自適應問題解決能力，開辟了新的方向。本綜述系統性地探討了EMAS如何從這些生成型能力中受益。我們提出了一個分類法，通過系統架構和具身方式對EMAS進行分類，重點強調協作如何跨越物理和虛擬環境。接著，我們分析了感知、規劃、溝通和反饋等核心構件，展示了生成技術如何增強系統的魯棒性和靈活性。通過具體實例，我們展示了將基礎模型集成到具身多智能體框架中的變革性影響。最后，我們討論了挑戰和未來發展方向，強調了EMAS在重塑人工智能驅動協作領域的巨大潛力。

1 引言

具身多智能體系統（EMAS）因其在智能交通、物流和制造等領域的巨大潛力，吸引了越來越多的關注 [YJ+13, IS+18]。通過將物理具身（從自動駕駛車輛到機器人操作臂）與多智能體系統（MAS）[DKJ18] 集成，EMAS 提供了一種去中心化、協作的方法，能夠高效地處理復雜任務。盡管這些優勢顯而易見，但設計和實現有效的 EMAS 仍然是一項非凡的挑戰，通常需要對控制論的專業知識、廣泛的訓練數據以及精心設計的強化學習范式 [LB08, OD23]。 在傳統的 MAS 中，智能體通過分配責任、共享狀態信息并共同適應動態環境來協作 [DKJ18]。雖然這些原則在某些特定領域取得了顯著成功，但傳統方法在以下方面面臨關鍵的局限性：難以推廣到新任務 [MS+22]，難以擴展到大規模的智能體群體 [CTE+22]，以及應對突發環境變化 [WR04]。這些方法通常依賴于狹窄訓練的模型，可能表現脆弱或僅限于特定領域 [YZ+23]。這些不足凸顯了需要更加靈活和穩健的解決方案的緊迫性，這些解決方案能夠在開放式和快速變化的具身場景中蓬勃發展。 近期基礎模型（FMs，例如大型語言模型、大型模型或視覺語言模型（VLMs））[ZLL+24] 的突破為推進 MAS 向更加自適應和生成行為的發展開辟了新的途徑。通過為智能體提供自然語言能力、情境推理以及生成新解決方案的能力，基于基礎模型的 MAS 超越了純信號驅動或強化學習框架中固有的局限性 [GCW+24, CLH+24, LP+24]。這些“生成型智能體”能夠以語義豐富的方式進行溝通，與人類級別的流暢度協作，并能夠迅速應對突發挑戰，調整策略。因此，基于 FM 的智能體可能會徹底改變多智能體協作的方式——無論是在由具身設備組成的物理空間，還是在智能體共享抽象知識和任務的虛擬空間中。 在此背景下，EMAS 領域將能夠從這些 FM 方面的最新進展中獲益。通過將物理具身與生成型多模態智能結合，未來的系統可能會采用更廣泛的設計空間，整合復雜的感知、高級語言和視覺推理能力，以及自適應決策能力。然而，現有文獻中關于具身 AI 和多智能體系統的綜述通常將這些領域視為孤立的，未能在它們的交集處進行系統性的探討 [IS+18, DYT+22, GCW+24, MS+24, HRS24]。基于 FM 的生成型智能體如何最好地融入 EMAS 的系統化視角仍在不斷發展中。 本綜述旨在提供對生成型多智能體協作在具身 AI 中現狀的全面和結構化的分析，如圖 1 所示。首先，在第 2 節中，我們提出了一種分類法，根據模型數量和具身類型對現有的 EMAS 解決方案進行分類，強調協作如何在物理智能體和純粹虛擬語義環境中產生。接下來，在第 3 節中，我們探討了多智能體協作的主要構建塊——系統感知、規劃、溝通和反饋，并分析了如何設計這些組件以利用基于 FM 的生成能力。超越理論視角，在第 4 節中，我們深入探討了實踐應用，展示了生成型多智能體協作如何增強不同具身場景中的功能。根據我們的了解，這是首次系統性地探討 MAS、具身 AI 和基礎模型的融合。最后，在第 5 節中，我們總結了開放的研究挑戰，勾畫了關鍵的未來發展方向，并討論了 EMAS 對更廣泛的 AI 和機器人領域的潛在影響。我們的目標是通過呈現這個迅速發展的領域的整體概述，來為研究人員、從業人員和利益相關者提供信息并激發靈感。

2 協作架構

在前一節中概述的關鍵挑戰和機遇的基礎上，本節介紹了具身多智能體系統（EMAS）中的協作架構，如圖 2 所示。特別地，我們探討了生成型多智能體系統如何利用外部協作（跨多個具身實體）或內部協作（在單一具身實體內多個基礎模型之間）。我們還涵蓋了結合這些策略的混合方法，以滿足多樣化的系統需求。我們的目標是提供一種結構化的理解，說明如何協調多智能體協作，以最大化適應性、可擴展性和任務一致性，尤其是在與基礎模型（FM）集成時。

**2.1 外部協作

在多個具身實體之間展開的協作場景中，我們稱之為外部協作，智能體在物理或虛擬環境中互動，以實現共享的目標。借鑒長期以來的多機器人和傳統多智能體系統（MAS）文獻，外部協作可以通過集中式或去中心化策略組織。這些方法在可擴展性、通信開銷以及全局控制與局部控制之間存在不同的權衡。集中式架構 在集中式策略框架中，單一的統一模型控制多個機器人或智能體，提供集中式的任務分配和決策制定。該集中模型根據智能體的能力和系統目標分配任務，通過提供全局視角確保智能體之間的協調。已有研究探索了基于語言的任務分配方法 [LTW+24, OA+24, CYZ+24] 和基于代碼的任務分配方法 [KVM24, ZQW+24]。 集中式模型還在決策制定中發揮關鍵作用，通過整合來自所有智能體的信息來做出最終決策，確保一致性。例如，[YKC23] 使用集中式模型來確定導航目標，[TXL+20] 使用它來進行基于 3D-CNN-LSTM 的互動問答，[GAZ+24] 使用它在多機器人系統中通過引導領導機器人行動來解決死鎖問題。 集中控制策略通過使用單一模型進行任務分配和決策制定來確保協調。其優勢包括任務的最優分配和一致的決策。然而，它可能受到系統復雜性、高計算需求以及在大規模或動態環境中的可擴展性問題的限制。

去中心化架構

在去中心化策略中，每個模型獨立控制其相應的具身實體，從而提供更大的靈活性和可擴展性。早期的研究使用強化學習進行去中心化控制，但基礎模型（FM）的興起使得智能體能夠自主處理多樣化的任務 [CJ+24]，形成了更為先進的去中心化系統。 基礎模型通過利用推理能力來增強去中心化系統，基于局部部分觀察來改善個體決策。例如，[ZWL+24] 利用世界模型來輔助多智能體規劃，在該模型中，每個個體通過世界模型預測其他智能體的行為，并推斷自己的計劃。類似地，[AF+23] 引入了一個輔助的心智理論推理基礎模型來解釋合作伙伴智能體的行動和需求，從而支持個體決策。 此外，憑借基礎模型的推理和通信能力，基于FM的智能體表現出涌現的社交性。[CJ+23] 發現，當沒有明確指導采用哪種策略時，FM驅動的智能體主要遵循平均策略，這代表了智能體之間的一種平等主義組織結構。其他研究 [GHL+24, CJ+24] 強調了團隊中更為結構化角色的潛在好處。這表明，類似于人類的社會結構，FM智能體可以表現出涌現行為，通過適應組織框架來優化協作，從而增強它們在處理復雜任務時的集體能力。

2.2 內在協作

外在協作涉及多個機器人和具身實體之間的合作，而內在協作則發生在單一系統的內部結構中，該系統可能包含多個基礎模型（FM）。這一概念與最近推動的各個FM模塊之間的協作工作流程密切相關，這些模塊各自專注于不同的角色，共同處理日益復雜的任務。這樣的內部協調擴展了傳統的多智能體協調概念，側重于在單一具身體內進行集中的決策。 在這一工作流程中，每個FM承擔特定的功能或角色，共同完成任務。研究已將這一范式應用于具身學習系統，例如 [QZL+24]，該系統使用規劃者、部分處理器和執行者等模塊來解決Minecraft沙盒中的任務，和 [SSY+24]，它將任務分解為觀察者、規劃者和執行者角色。LLaMAR [NO+24] 還采用了計劃-行動-糾正-驗證框架進行自我修正，無需預言機或模擬器。 內在協作可以通過提高規劃準確性、安全性和適應性來提升系統功能。例如，[LY+23] 使用基于FM的快思維和慢思維進行協作計劃生成和評估，而LLaMAC [ZMR+23] 則采用多個批評者和評估者來提供反饋并提高魯棒性。

2.3 混合協作架構

在許多現實世界的應用中，嚴格區分外在協作和內在協作既不現實也沒有優勢。因此，混合協作架構結合了這些策略，利用了集中式、去中心化和內部FM工作流程的優勢。 隨著具身任務復雜性的增加，混合不同協作層次的靈活性——無論是在機器人之間，還是在智能體的內部結構中——變得越來越有價值。 內在協作通過模塊化FM增強模型能力，并且可以應用于集中式和去中心化系統。例如，CoELA [ZDS+24] 使用五個模塊——感知、記憶、通信、規劃和執行——而 [YPY+24] 為去中心化機器人協作構建了具有觀察、記憶和規劃模塊的智能體。集中式模型也可以使用模塊化FM，例如 [WTL+24]，它使用任務和行動FM進行任務分配。 集中式和去中心化策略可以結合使用，不同階段的任務可以采用不同的方法。受到多智能體強化學習（MARL）中的集中訓練與去中心化執行（CTDE）框架的啟發，[CYZ+24] 和 [ZC+24] 提出了集中規劃與去中心化執行的方案，其中全球規劃指導任務執行，最大化全球監督與地方自治之間的協同效應。 通過展示這些不同的架構，我們闡明了實踐者如何在不同粒度和控制層級上有效地協調EMAS中的多智能體協作。下一節將基于這一架構視角，探討如何設計關鍵的系統組件——感知、規劃、通信和反饋——以利用基于FM的生成能力，進一步提升多智能體協作的魯棒性和適應性。

3 推進協作功能

在第二節中，我們從結構層面探討了如何協調多智能體協作，接下來我們將轉向推動具身智能體之間有效團隊合作的功能性構建模塊。具體來說，我們重點介紹感知、規劃、通信和反饋機制如何被設計來利用基礎模型（FM）的生成能力。通過聚焦于這些關鍵模塊，我們展示了EMAS解決方案如何更加穩健地解讀物理環境、制定并適應計劃、交換信息，并從自身行為以及環境中迭代學習。這種方法補充了前述的協作架構，提供了一個更細化的視角，以促進具身智能體之間的動態和上下文感知協作。

3.1 感知

盡管生成模型可以從文本和視覺中獲取語義知識，但具身智能體必須主動感知并解讀物理世界。這需要處理三維結構、動態條件和實時互動 [LCB+24]。因此，感知模塊至關重要，它將環境的詳細特征傳遞給后續的模型，確保生成能力植根于具體的上下文中 [PH+24]。

**基于FM的物理感知

向FM提供物理上下文的最簡單方法是提供環境的口頭描述。盡管這些提示可以手動編寫，但許多方法使用自動化工具增強語言描述。例如，一些研究 [MJ+24, CZR+23] 使用視覺模型來檢測和描述物體，而其他研究 [BCF+23, HW+23] 則利用可操作性學習來豐富FM對物體在物理環境中如何被操作的理解。除了被動接收信息，最近的工作使智能體能夠決定何時以及觀察何種類型的信息，從而促進主動感知。例如，[QZL+24] 允許FM查詢經過微調的模型，獲取環境細節；這些響應逐步構建場景描述。

**協作感知

在多智能體系統中，協作感知旨在融合來自不同智能體的互補傳感輸入，從而提升整體性能 [YYZ+23]。在自動駕駛或無人機編隊中，這通常通過傳感器級的數據共享或輸出級融合實現 [SRC24]。在基于FM的系統中，協作智能體可以通過聚合每個智能體的本地地圖或視覺數據，共同構建環境的全局記憶。例如，[YKC23] 融合了來自多個智能體RGBD輸入的語義地圖，[TXL+20] 使用每個智能體觀察的3D重建形成共享環境的整體3D狀態和語義記憶。

3.2 規劃

規劃是多智能體具身系統的核心模塊，使得智能體能夠基于狀態、目標和個體能力進行戰略部署。有效的規劃對于任務分配、協調以及無縫整合生成FM的能力至關重要。

**規劃格式

規劃方法通常采用基于語言或基于代碼的格式。基于語言的規劃使用自然語言引導任務流，具有直觀性和易適應性，尤其是在先進FM的出現之后 [MJ+24, YKC23]。相比之下，基于代碼的方法利用結構化編程或領域特定符號（例如PDDL）來實現更高的精確度。[KVM24] 使用Python代碼框架來描述整體任務流程，[ZQW+24] 將任務轉換為PDDL問題，以便分配給多個機器人。

**規劃過程

除了個體決策外，多智能體協作還要求達成共識、解決沖突和共享資源。在集中式系統中，單一模型通常負責分配子任務。例如，[LTW+24] 根據每個智能體的能力生成行動列表，[OA+24] 集成FM和線性規劃來解決任務劃分，[CYZ+24] 則利用“機器人簡歷”來進行FM驅動的任務分配討論。在去中心化系統中，智能體直接溝通以優化集體計劃，并通過強大的信息交換得到支持，這將在下一小節中進一步探討。

3.3 通信

通信是MAS的核心，使得智能體能夠共享情況更新、協調任務并達成共識。與傳統方法需要繁瑣的通信協議設計不同，生成智能體可以利用FM的零-shot語言生成能力，降低了構建高效通信接口的復雜度。 參考 [SWJ+22]，我們將具身AI中的多生成智能體通信模式分為三種主要結構：

• 星型結構：一個虛擬的中央智能體控制消息流動，向其他智能體廣播計劃或指令。許多集中式架構的工作都探索了這種方法 [KVM24, YKC23]。
• 完全連接（FC）：每個智能體與其他所有智能體自由通信，利用FM驅動的消息。例如，[MJ+24] 使用兩個機器人臂之間的FM對話來協調操作任務。在CoELA [ZDS+24] 中，每個智能體通過記憶檢索當前狀態信息，并通過FM生成通信內容。
• 層次結構：通過建立領導結構來提升可擴展性并減少通信開銷。[CJ+24, LYZ+24, GHL+24] 顯示了如何通過領導角色來引導或過濾通信，從而提高效率和結果。

3.4 反饋

具身任務復雜且不確定，因此反饋機制對智能體改進至關重要。反饋使智能體能夠調整和優化行為，允許它們根據當前狀態、環境變化或外部指導進行持續學習。

**系統反饋

系統反饋是指在采取行動之前由系統內部生成的信息。這涉及到智能體或集中模型重新審視其初始計劃，以識別缺陷或潛在改進之處。多個研究 [LZD+24, CYZ+24, ZMR+23] 實現了任務生成后的多智能體討論階段，通過同行反饋完善行動列表。[CAD+24] 和 [ZQW+24] 使用FM檢查器來驗證基于代碼的計劃，確保語法正確性。同時，[ZYB+24] 提出了優勢函數來評估并迭代優化計劃，[LY+23] 使用FM來預測計劃結果，隨后通過另一個FM評估計劃質量，從而推動迭代改進。

**環境反饋

環境反饋發生在執行物理（或模擬）世界中的行動后。許多研究記錄現實世界的結果以指導未來決策。例如，[LTW+24] 和 [YPY+24] 將行動結果存儲在記憶中，以便未來規劃參考，而 [QZL+24] 和 [NO+24] 則評估失敗的根本原因并相應調整行動計劃。此外，多智能體的組織結構可以在任務執行過程中根據環境信號重新配置。[CSZ+23] 動態更新角色，[GHL+24] 使用FM批評者來評估智能體表現，甚至重新組織領導角色。

**人類反饋

外部人類指導可以提供細致的干預和戰略方向，這是純自動化系統無法實現的。例如，[PL+23] 識別模糊或不可行的任務指令，要求人類提供幫助，而 [WHK24] 和 [RDB+23] 則結合了符合預測來衡量任務的不確定性并觸發人類幫助請求。除了請求幫助，[CK+23] 和 [SH+24] 允許人類操作者通過口頭指令實時調整機器人的動作，從而提高任務成功率。 總之，感知、規劃、通信和反饋成為將高層次協作架構轉化為實際生成多智能體解決方案的基礎支柱。無論智能體是通過分布式配置進行外在協作，還是通過單一具身內部的多個FM進行內在協作，強大的支持模塊都確保了在現實環境中的適應性和魯棒性。 下一節將深入探討具體的應用領域，展示這些功能模塊如何協同工作以應對多樣的具身任務。通過將架構原理（第2節）與模塊化功能結合，并將其植根于實際場景，我們旨在提供一個全面的視角，展示如何在EMAS中有效實現生成多智能體協作。

4 下游任務：從仿真到現實世界部署

在前面的架構和功能模塊的基礎上，本節探討了生成式多智能體協作如何從受控的仿真環境過渡到現實世界應用。盡管許多進展是在虛擬平臺上驗證的，但這些仿真洞察為解決智能交通、家庭機器人學和具身問答等復雜問題奠定了基礎。

**4.1 仿真平臺

前面的部分介紹了多智能體協作如何在結構和功能上得到啟用。現在，仿真環境作為一個關鍵層次，用于測試這些設計，使研究人員能夠系統地改進智能體交互，而無需承擔現實世界操作的成本或風險。網格世界范式 網格世界具有基于單元格的結構，重點是決策制定和路徑規劃，同時抽象掉了物理細節。通過采用基于FM的翻譯和檢查框架，[CAD+24] 改進了多智能體在網格任務中的表現，[ZMR+23] 引入了反饋機制來增強網格運輸任務的表現。[CAZ+24] 進一步評估了在網格設置中各種基于FM的多機器人架構，強調了這些簡化的世界如何幫助快速驗證協作設計。基于游戲的協作場景 像《Overcooked》這樣的基于游戲的平臺提供了明確的規則、時間限制和智能體間強制協調的任務 [YJ+24, AF+23, ZYB+24]。FM協調還擴展到其他結構化游戲，如《Hanabi》和《Collab Games》，展示了生成式方法如何適應不同的基于團隊的挑戰。對于更具開放性的任務，《Minecraft》 [WXJ+23, PC+24] 推動了更大環境和無盡目標的應用。最近的研究 [PC+24, ZC+24, QZL+24] 聚焦于協作探索，而其他研究 [CJ+24, CSZ+23, ZMC+24] 則解決了資源收集或結構構建的問題。高級3D環境與機器人仿真 現實感仿真器旨在更緊密地模仿現實生活中的復雜性。AI2-THOR [KM+17] 提供了精細渲染的室內場景，并用于多智能體家庭任務 [KVM24, WHK24, LLG+22, SSY+24]。類似地，VirtualHomeSocial [GHL+24]、BEHAVIOR-1K [LTW+24] 和基于Habitat的基準平臺 [CYZ+24] 使智能體能夠在物體操作和導航中發展協作策略。這些平臺幫助架起了算法開發與物理部署之間的橋梁。

**4.2 新興應用

憑借驗證過的架構和強大的功能模塊，研究人員已開始面臨終極挑戰：將仿真學習轉化為可行的物理部署。從智能交通到家庭機器人學，以下小節展示了生成式多智能體協作如何適應現實世界的需求，突顯了這些系統的成熟度和面臨的挑戰。智能交通與配送 智能交通中的多智能體協作涵蓋了無人機/地面無人車（UAV/UGV）的協調任務，如貨物配送和環境監測。早期的研究主要利用多智能體強化學習（MARL），但現在基于FM的解決方案開始出現。[GW+24] 探討了基于FM的初步任務分配用于監視任務，[WTL+24] 將生成模型應用于跟蹤目標分配，表明基于語言的策略能夠迅速適應動態場景。家庭輔助機器人 許多3D仿真基準平臺，包括AI2-THOR和Habitat，最初是為了模擬家庭環境而設計的。家庭任務，如“清理桌子”或執行指令“打開書桌和地板燈并看電視”，要求具備強大的感知、規劃和通信能力。研究 [KVM24, WHK24, LGZL24, MJ+24, ZYB+24] 展示了多個智能體如何共享角色、解讀指令并劃分復雜任務。生成模型進一步簡化了協調，使得任務分配更具適應性，并豐富了人機交互。超越探索：具身問答（EQA） 具身問答（EQA）涉及在3D空間中的主動探索和推理。與強調物理交互的任務不同，EQA側重于信息的收集與解讀，通常需要對空間布局、物體關系或事件歷史有深刻的理解。多智能體版本通常利用基于團隊的感知來建立全局記憶和達成共識 [TGG+23, TXL+20, PD+24]。[CZR+23] 將專職功能的智能體定位在關鍵位置進行信息貢獻，展示了如何通過FM驅動的協作將觀察結果整合成連貫的答案。 本節通過強調這些仿真基準平臺和現實世界應用，突出了EMAS中的一個關鍵發展軌跡：首先通過結構化的測試平臺進行概念驗證，然后將解決方案過渡到高風險領域。既然已經明確了生成式多智能體協作可以部署的場所和方式，接下來的部分將討論剩余的挑戰，并勾畫出EMAS研究的前景。

5 開放挑戰與未來趨勢

隨著具身人工智能（AI）系統中多智能體協作領域的不斷發展，仍然存在一些開放的挑戰和有前景的未來方向。盡管取得了不少進展，但仍然存在諸多現實世界的障礙，限制了具身系統的應用。本節識別了關鍵挑戰，并概述了潛在的探索和創新領域，以應對這些問題。

**基準測試與評估

一個主要的挑戰是缺乏標準化的評估標準。盡管在單一智能體系統和個體代理的基準測試方面取得了顯著進展，但對于具身多智能體協作的評估仍存在明顯的空白。現有的基準測試通常專注于特定任務的度量，未能充分考慮多智能體環境中互動、協調和涌現行為的復雜性。因此，亟需建立統一的評估標準來全面評估多智能體系統的性能，包括可擴展性、適應性、魯棒性和集體智能等因素。基準測試的發展對于確保不同領域的一致性至關重要，并能夠實現不同多智能體框架之間的有意義比較。

**數據收集與異質性

多智能體協作的另一個挑戰是數據稀缺性和異質性。收集具有不同物理特性和能力的多種系統的大規模、高質量數據是一項艱巨的任務。硬件、傳感器和環境交互的差異導致了數據的不一致性，這使得跨系統和任務的泛化變得困難。現實世界中可用的數據可能有限，阻礙了有效的訓練和評估。此外，由于實際限制，多數多智能體協作的研究是在仿真環境中進行的，只有少數研究采用了現實世界數據。因此，亟需建立標準化的數據收集方法，并且需要創新的方法來彌合仿真與現實應用之間的差距，連接理論與現實。

**具身AI的基礎模型

基礎模型的發展，尤其是面向具身智能體的基礎模型，預計將成為多智能體協作領域的一項突破性進展。目前，生成式智能體主要依賴FM來執行復雜任務，下一步自然是構建專門為具身系統設計的基礎模型。這些模型將作為多智能體協作的核心框架，整合感知、決策和行動。近期的工作，如RT-1 [BB+22] 和RDT [LW+24]，在適應性和可擴展性系統的機器人基礎模型方面取得了顯著進展。基礎模型的演進將為更無縫的多智能體協作奠定基礎，使得智能體能夠在動態環境中進行全面的協作和工作。然而，將單智能體FM擴展到多智能體系統仍然面臨挑戰，這需要新的架構和方法。

**智能體的可擴展性

目前，參與協作的智能體數量較少。隨著智能體數量的增加，計算、通信、協調、任務分配和資源管理的復雜性和難度也將增加。此外，在大規模多智能體系統中保持穩定性和魯棒性需要復雜的協調與調度技術。針對可擴展架構、有效的通信協議和協作策略的研究將是解鎖大規模具身系統全部潛力的關鍵。優化智能體工作流程和模式的發展對于在資源意識下擴展這些系統至關重要。

**以人為中心的協作

將機器人集成到以人為中心的環境中仍然是一個重要話題。在許多應用中，多智能體系統不僅需要相互協作，還需要與人類協作。確保機器人能夠在動態和非結構化的環境中與人類無縫合作，需要開發考慮人類認知能力、偏好和局限性的機器人-人類交互（HRI）協議。人機協作引入了額外的挑戰，如安全性、適應性和信任性。在人機團隊合作、共享自主性和直觀接口方面的研究將對促進機器人與人類之間的安全、富有成效的協作至關重要，特別是在醫療保健、工業自動化和服務機器人領域。

**理論基礎與可解釋性

當前的具身多智能體協作方法，尤其是涉及FM的系統，通常缺乏堅實的理論基礎。盡管在開發實際系統方面取得了重大進展，但關于支配智能體交互的潛在原理和集體智能的理解仍然非常有限。對動態協作的深入理論探索，包括通信、協調和共識的作用，是推動該領域發展的關鍵。此外，具身多智能體系統和模型的可靠性與可解釋性在安全關鍵型環境中尤為重要，如自動駕駛和智能鐵路等應用場景。 6 結論

本綜述調查了一個具有潛力的研究領域——具身系統中的多智能體協作，重點探討了如何將生成式基礎模型（FM）集成到具身多智能體系統中。我們強調了基于FM的生成式智能體如何促進動態協作和涌現智能，并從內在和外在兩個角度系統地探索了多智能體協作架構，重點關注感知、規劃、通信和反饋機制等關鍵技術。通過研究從網格世界探索到家庭助理等多種應用場景，展示了基于FM的具身多智能體系統（EMAS）解決復雜問題的潛力，并討論了該領域快速發展過程中所面臨的挑戰和機遇。我們希望本綜述能為研究人員、從業者和相關方提供寶貴的參考，幫助他們全面了解當前的研究現狀，并激發更多先進且可擴展的解決方案，以實現具身多智能體AI的動態無縫協作。

推薦系統是許多在線平臺的核心組成部分，但傳統方法在理解復雜用戶偏好和提供可解釋推薦方面仍然面臨困難。大型語言模型（LLM）驅動的智能體的出現為此提供了一種有前景的方法，通過實現自然語言交互和可解釋推理，可能會徹底改變推薦系統領域的研究。本文綜述系統地回顧了LLM驅動的智能體在推薦系統中日益增長的應用。我們識別并分析了當前研究中的三種關鍵范式：（1）面向推薦的方式，利用智能體增強基礎推薦機制；（2）面向交互的方式，通過自然對話和可解釋建議促進動態用戶參與；（3）面向仿真的方式，采用多智能體框架來模擬復雜的用戶-物品交互和系統動態。除了范式分類之外，我們還分析了LLM驅動的推薦智能體的架構基礎，研究其核心組成部分：個人資料構建、記憶管理、戰略規劃和行動執行。我們的研究還擴展到對該領域基準數據集和評估框架的全面分析。這一系統性研究不僅闡明了LLM驅動的推薦系統智能體的當前狀態，還為該變革性領域中的關鍵挑戰和有前景的研究方向提供了指引。

1 引言

在信息爆炸的時代，推薦系統[Wu et al., 2022] 已成為數字平臺中不可或缺的組成部分，幫助用戶在電子商務、社交媒體和娛樂領域中瀏覽海量內容。盡管傳統的推薦方法[He et al., 2017]通過分析用戶偏好和歷史行為，成功地提供了個性化建議，但在實際應用中仍面臨諸多挑戰，如對復雜用戶意圖的理解不足、交互能力有限以及無法提供可解釋的推薦[Zhu et al., 2024b]。 近期，大型語言模型（LLM）的進展[Achiam et al., 2023]激發了越來越多的研究興趣，旨在利用LLM驅動的智能體[Wang et al., 2024a]來解決推薦系統中的上述挑戰。將LLM驅動的智能體融入推薦系統，相比傳統方法，具有若干顯著優勢[Zhu et al., 2024b]。首先，LLM智能體能夠理解復雜的用戶偏好，并通過其精密的推理能力生成上下文推薦，從而使得決策過程更加細致，超越簡單的特征匹配。其次，它們的自然語言交互能力促進了多輪對話，能夠主動探索用戶興趣并提供可解釋的解釋，增強了推薦準確性和用戶體驗。第三，這些智能體通過生成更加真實的用戶畫像，結合情感狀態和時間動態，徹底改變了用戶行為模擬，從而提高了系統評估的有效性。此外，LLM的預訓練知識和強大的泛化能力促進了跨領域的知識轉移，能夠以最少的額外訓練應對冷啟動等長期存在的挑戰[Shu et al., 2024]。 在本綜述中，我們全面回顧了LLM驅動的智能體在推薦系統中的應用。首先，我們介紹了傳統推薦系統的背景，并討論了它們在理解復雜用戶意圖、交互能力和可解釋性方面的局限性。接著，我們系統地審視了LLM驅動的智能體如何通過三種主要范式解決這些挑戰：面向推薦的（如[Wang et al., 2024b; Wang et al., 2024c]）、面向交互的（如[Zeng et al., 2024; Friedman et al., 2023]）和面向仿真的（如[Yoon et al., 2024; Guo et al., 2024]）方法。然后，我們提出了一種統一的智能體架構，包含四個核心模塊（個人資料[ Cai et al., 2024; Zhang et al., 2024c]、記憶[ Shi et al., 2024; Fang et al., 2024]、規劃[ Wang et al., 2023b; Shi et al., 2024]、行動[ Zhu et al., 2024a; Zhao et al., 2024]），并分析了現有方法如何實現這些模塊。進一步地，我們編制了現有基準數據集（包括Amazon系列、MovieLens、Steam等）和評估方法的全面比較，涵蓋了傳統推薦指標和新興的評估方法。最后，我們探討了該領域幾個有前景的未來研究方向。

• 我們提出了一個系統的LLM驅動推薦智能體分類，識別出三種基本范式：面向推薦的、面向交互的和面向仿真的方法。這個分類框架為理解當前的研究提供了結構化的視角。
• 我們使用統一的架構框架分析LLM驅動的推薦智能體，將其分解為四個核心模塊：個人資料構建、記憶管理、戰略規劃和行動執行。通過這一框架，我們系統地審視了現有方法如何集成和實現這些組件。
• 我們提供了現有方法、基準數據集和評估方法的全面比較分析，涵蓋了傳統推薦指標和專為LLM驅動推薦智能體設計的新興評估方法。

近年來，深度學習取得了顯著進展。然而，其理論基礎，尤其在大模型領域，仍然相對滯后。本文的研究重點在于將堅實的理論基礎與大模型高效擴展的實際應用相結合。 在論文的第一部分中，我們聚焦于神經網絡的訓練動態，討論了過參數化神經網絡的理論。我們將簡要介紹神經切線核（Neural Tangent Kernel，NTK）的理論，并深入探討超參數遷移，這是一種重要的張量程序框架應用。我們將回顧一些奠定 NTK 作為研究領域的早期論文，并討論 NTK 的局限性。超參數遷移是一種新穎且高效的超參數調整范式，它提供了擴展模型的最優策略。我們將介紹深度神經網絡訓練動態的特征化，并提出一種高效的超參數選擇方案，其中通過在淺層網絡上調優選定的最優超參數同樣適用于深層網絡。 論文的第二部分集中于大模型擴展中的數據方面。我們首先介紹 Skill-Mix，這是一種新穎且獨特的評估方法，避免了傳統大型語言模型（LLM）評估中的數據污染和為排行榜“臨時抱佛腳”的問題。Skill-Mix 隨機選擇 k 種語言技能，然后提示 LLM 生成展示所選技能的簡潔文本。技能組合數量的指數級增長有效防止了數據污染，并進一步揭示了強大的 LLM 成功作答的創新性。接著，我們介紹了 ConceptMix，這是 Skill-Mix 的擴展，用于評估文本生成圖像模型結合 k 個隨機選定視覺概念的能力。最后，我們探討了 LLM 在給出優質 Skill-Mix 回答的情況下，學習和泛化技能組合的能力。結果表明，幾千條這樣的數據足以顯著提高模型在未見過的技能組合上的表現，甚至超越了尺寸更大的模型。這表明，將富含技能的合成文本融入訓練數據，是一種高效擴展數據規模的途徑。

引言

在過去的十年里，深度學習在多個領域取得了顯著進展，尤其是在計算機視覺和自然語言處理方面。這些成就通常歸因于模型規模和數據的擴展。ImageNet [Deng et al., 2009] 通過提供一個大規模且標注豐富的數據集，極大推動了計算機視覺的發展，促成了更優模型的產生。ResNet [He et al., 2016a] 通過引入殘差連接，革新了深度學習，使得超深網絡的有效訓練成為可能，從而利用增加的模型規模提升性能。最近，隨著大規模語言模型（LLM）規模的不斷擴展，并在更大規模的語料庫上進行訓練，LLM 展現出了新的能力，例如少樣本上下文學習、推理和解決數學問題 [Brown et al., 2020, OpenAI, 2023]。

總的來說，擴展過程——即模型規模和數據集的擴大——對于開發能夠執行具有人類或超人準確性與適應性的強大 AI 模型至關重要。然而，這個過程的代價高昂，訓練大型 AI 模型，如 LLaMA-2 [Touvron et al., 2023] 和 GPT-4 [OpenAI, 2023]，需要耗費數千萬甚至數億美元的計算資源。 本論文旨在深入理解擴展背后的原理，并使擴展過程更為高效，以較少的計算資源實現更高的性能。我們的工作分為兩個部分，分別探討擴展的兩個關鍵方面：模型規模和數據。

1. 首先，我們研究了高效擴展模型規模的優化策略，重點是選擇隨著模型規模增長的理論最優超參數。 實際上，計算資源的限制使得對巨大模型進行廣泛的超參數搜索變得困難。為了解決這個問題，通常會對不同規模的小模型進行最優超參數的搜索，并外推得出大模型的近似最優超參數。然而，隨著模型規模的增長，超參數的最佳變化方式——即超參數的擴展策略——往往無法通過少量數據點準確測量。因此，我們旨在建立擴展策略的理論理解，從而能夠通過一個小模型的最優超參數來預測大模型的最優超參數。正式地說，我們回答以下問題：**在數據集和模型架構固定的情況下，隨著模型規模的增長，超參數的最優擴展策略是什么？**為了解決這一問題，我們研究了模型在優化過程中規模趨于無窮大時的漸近行為。我們發現這些行為受超參數擴展策略（即超參數如何隨模型規模變化）的控制。我們根據其導致的漸近行為對這些擴展策略進行了分類，并確定了最優擴展策略。通過這種最優擴展策略，可以廣泛搜索一個小模型的最優超參數，并將其直接轉換為大模型的近似最優超參數。這樣的超參數調整方案被稱為“超參數遷移”，它大大降低了大型模型開發的計算成本。
2. 接下來，我們探討了當訓練數據擴展時，大型 AI 模型的技能組合能力。 對于模型如何從更多數據中學習到新的能力，有兩種不同的解釋：一種是“隨機鸚鵡”觀點 [Bender et al., 2021]，另一種是技能組合觀點 [Arora 和 Goyal, 2023]。前者認為模型學習的是訓練數據中已有的能力，因此更多的數據意味著更多的能力。后者則使用隨機圖論構建了一個統計框架，證明技能組合能力可以通過擴展模型規模而涌現。隨著組合更多技能的能力，模型能夠解決訓練中未曾見過的新任務。在論文的第二部分中，我們首先構建了評估方法，來測量 AI 模型組合 k 個隨機選擇的技能的能力。評估結果驗證了技能組合觀點，并表明像 GPT-4 這樣的頂級模型已經超越了“隨機鸚鵡”的行為。此外，我們的評估具有靈活性、可控的難度等級，并且通過選擇足夠大的 k 避免了數據污染問題。我們觀察到，較小的模型在組合 3 個技能時遇到了困難。一個自然的問題是，這些較小的模型是否可以通過從技能豐富的數據中學習來獲得技能組合能力。我們基于評估生成技能豐富的訓練數據，并觀察到其在提升模型技能組合能力方面的有效性。這為通過生成高質量訓練數據來高效擴展數據規模，提供了一個有前景的方向。

當前的人工智能（AI）模型通常通過精細的參數調整和優化技術來提升性能。然而，模型背后的基本設計原則相對較少受到關注，這可能限制我們對其潛力和局限性的理解。本綜述探討了塑造現代AI模型的多樣化設計靈感，即腦啟發的人工智能（BIAI）。我們提出了一個分類框架，將BIAI方法分為物理結構啟發型和人類行為啟發型模型。我們還審視了不同BIAI模型在實際應用中的表現，突出其實際優勢和部署挑戰。通過深入探討這些領域，我們提供了新的見解，并提出了推動創新和解決當前領域內空白的未來研究方向。本綜述為研究人員和從業者提供了BIAI領域的全面概覽，幫助他們利用其潛力，加速AI開發的進步。

1 引言

人工智能（AI）的一個基本目標是創造能夠像人類一樣學習和思考的機器。為了實現這一目標，人工學習器在多個領域中取得了顯著的里程碑，包括目標和語音識別【131, 151】、圖像處理【115】、機器人技術【50】、醫學數據分析【161】、自然語言處理（NLP）【114】等。這些成功加速了AI的發展，使其在某些領域能夠與人類匹敵甚至超越。例如，AI模型現在在某些特定任務中表現優于人類，如語言翻譯【134】、圖像識別【63】甚至戰略游戲如國際象棋和圍棋【155】。最近，許多公司提出了一系列能夠理解圖像、音頻、視頻和文本的多模態模型，其能力類似于人類【3, 7, 169】。這種快速的進步彰顯了AI在各個領域中的變革潛力，推動了技術能實現的邊界。然而，旨在創造具有類似人類思維和推理能力的機器的一般AI方法在可擴展性、魯棒性、能效、可解釋性、學習效率和適應性方面仍然存在局限性【98】。 人類大腦被認為是最復雜的信息處理系統，能夠解決諸如學習、推理和感知等復雜任務。基于對人腦研究的最新進展，研究人員正在將神經科學的見解整合到AI系統中，旨在開發能夠更接近人類行為的感知、推理和行動的腦啟發人工智能（BIAI）系統【128, 163】。這一努力源于對生物智能的基本原理的理解，并希望利用這些原理來構建更智能、適應性更強和更魯棒的AI系統。什么是腦啟發人工智能（BIAI）？BIAI指的是從人類大腦和神經系統的生物結構、功能和原理中獲得靈感的AI系統和算法。它專注于復制或模仿生物體中觀察到的復雜過程和功能，以在人工系統中實現更類似于人類或大腦的行為【197】。與一般AI算法相比，BIAI通常集中于人類行為的特定方面，如從經驗中學習、適應新環境以及關注重要信息。在這篇全面綜述中，BIAI文獻大致分為物理結構（PS）啟發型模型和人類行為（HB）啟發型模型。PS啟發型模型是指模仿生物神經元、突觸和神經回路結構的模型，用于執行諸如學習、推理和決策等任務。代表性模型包括多層感知器（MLP）、人工神經網絡（ANNs）以及最近的脈沖神經網絡（SNNs）。HB啟發型模型被定義為復制人類行為中觀察到的生物機制和過程的模型。這些模型旨在捕捉生物系統的動態，同時提供對人類如何感知、學習、適應和與環境互動的見解。注意力機制、遷移學習和強化學習是常見的人類行為啟發的深度學習方法。BIAI與一般AI的區別在于它們在AI領域中的不同方法和目標【31, 77】。具體而言，一般AI并不一定受到人類大腦具體工作方式的啟發，而是旨在更廣泛的意義上達到或甚至超越人類水平的智能。相反，設計BIAI系統的目的是復制或模仿人類認知背后的生物機制和過程。這些系統通常在圖像識別和機器人控制等任務中表現出色，但它們可能不具備人類智能的全方位能力。BIAI與傳統AI的更全面比較見表1。為什么BIAI重要？BIAI的重要性主要體現在兩個方面。一方面，BIAI在適應性、泛化能力和可解釋性等許多方面有潛力超越傳統的AI方法。另一方面，BIAI模型旨在模仿大腦的結構和功能，從而增加其生物學的合理性。這種與生物學原理的契合不僅加深了我們對智能的科學理解，也為神經科學和AI研究之間的合作創造了新的機會。本質上，通過從人類大腦——最先進的信息處理系統——中汲取靈感，研究人員正在為開發可能達到甚至超越人類能力的智能系統奠定基礎【47, 103, 125】。

**1.1 動機

人類大腦是生物復雜性的頂峰。它不僅調節所有身體功能和過程，還使高級認知能力得以實現，如思維、記憶和情感【16】。將神經科學與AI系統相結合有助于解決許多現實應用中的緊迫問題和某些瓶頸【204】。一方面，人類大腦在處理大量信息時效率極高，同時消耗的能量相對較少。模仿其架構和過程可以使AI系統在操作上同樣高效和優雅。例如，傳統機器人無法在復雜環境中及時獲取環境知識，這限制了其做出準確快速決策的能力。此外，在該領域中，低學習效率、泛化能力差、難以制定目標導向的策略以及對動態環境的慢適應性等問題仍然存在。將BIAI整合到機器人系統中可以顯著提高機器人的運動和操控能力【132】。此外，BIAI還可以應用于解決許多其他現實問題，如醫學診斷、自動駕駛汽車、聊天機器人和虛擬助手、網絡威脅檢測、輔導系統、供應鏈優化、內容創作和個性化推薦。這些應用突顯了BIAI在不同方面的廣泛影響和相關性。另一方面，理解大腦的機制不僅為我們提供了有關智能如何產生的見解，還為解決AI中的復雜問題提供了線索。通過研究生物神經網絡，研究人員可以開發更好地捕捉認知和感知復雜性的算法和架構。例如，神經網絡作為AI的基礎和基本模型之一，汲取了大腦結構和計算過程的靈感。作為現代AI的基石，神經網絡推動了醫療、金融、交通和娛樂等領域的進步。它們從數據中學習并揭示有價值的見解的能力使其成為解決復雜挑戰和推動AI創新的關鍵。此外，人類大腦具有顯著的魯棒性和適應性，能夠從經驗中學習，處理噪聲和不確定數據，并將知識泛化到新情境【41】。通過模仿大腦的彈性和適應性，BIAI旨在創造更為魯棒和多功能的AI系統。這種方法還強調了透明性、可解釋性和責任感，從而優先考慮倫理AI的發展。以生物系統為模型的智能化推動了可信賴且符合人類價值觀的AI的創建。盡管BIAI在推動AI和機器人技術方面具有巨大的潛力【102】，但它也面臨著一些挑戰和局限性。人類大腦是一個極其復雜的器官，擁有數十億的神經元和數萬億的突觸，這些神經元和突觸組織成復雜的網絡，控制著認知、感知和行為。在人工神經網絡（ANNs）中復制這種復雜性帶來了巨大的計算和工程挑戰【160】。由于人腦的復雜性，盡管經過了數十年的研究，我們對大腦的理解仍然不完整。許多大腦功能方面，如學習、記憶和意識，仍然理解不充分【152】。這種理解的缺乏使得將神經科學的見解轉化為BIAI的實際算法和架構的努力變得更加復雜。此外，BIAI模型的復雜性和不透明性妨礙了我們理解其決策過程的能力。這種明顯缺乏可解釋性和透明性的情況在安全關鍵型應用（如醫療保健和自動駕駛車輛）中引發了對責任感、偏見和可信賴性方面的重大擔憂【78, 91】。這些不足促使我們對BIAI進行全面研究。在文獻中，已有幾篇綜述論文從不同的應用場景和不同的視角調查了BIAI的算法。然而，大多數研究僅關注某一特定方面，如算法、應用場景或代價函數，缺乏對當前BIAI研究進展的詳細介紹和討論的全面綜述。在這篇綜述文章中，我們基于算法的靈感來源和學習機制對當前BIAI研究進行了分類和審視。對于每個BIAI算法，在介紹其特點和適用場景后，我們討論了其優缺點。然后，我們討論了當前BIAI模型的開放問題，并列出了幾個未來的研究方向。我們希望這篇全面綜述能為相關領域的研究人員提供有用的見解。

**1.2 相關綜述與新穎性

之前的研究涵蓋了腦啟發/類腦學習或計算范圍內的類似主題【62, 74, 132, 149】，但沒有一篇集中探討神經科學為AI模型帶來的具體知識，也沒有全面詳細地介紹BIAI系統。在【132】中，作者試圖總結腦啟發算法在智能機器人中的進展，深入探討了視覺認知、情感調節決策、肌肉骨骼機器人技術和運動控制等關鍵領域。Ou等人【122】介紹了類腦計算模型和芯片、它們的演變歷史、常見應用場景和未來前景。Hassabis等人【62】探討了AI與神經科學之間的歷史聯系，并研究了受人類和其他動物神經計算研究啟發的AI的最新進展。在【106】中，作者展示了機器學習和神經網絡如何改變動物行為和神經成像研究領域。關于人工神經網絡中的腦啟發學習，可以在【149】中找到生物學基礎和算法介紹。這篇綜述主要集中在如何從人類大腦的物理結構中學習。然而，沒有一篇綜述注意到并審視了受人類行為和學習機制啟發的AI模型。此外，他們也未全面討論AI可以從人類大腦和神經系統中學習哪些部分來設計模型。在本綜述中，我們主要回答以下問題：什么是BIAI？BIAI與一般AI有什么區別？BIAI能為我們帶來哪些優勢？我們可以從人類大腦的哪些角度來設計AI模型？哪些BIAI模型已經在現實世界中使用？引入BIAI可以進一步推動哪些研究領域？當將神經科學與AI模型相結合時，研究人員面臨哪些挑戰？當前BIAI技術中存在哪些差距，未來可以在哪些方面開展工作？通過回答這些問題，我們希望研究人員能夠加深對BIAI系統的理解，并提高他們為不同應用設計更合適的BIAI算法的能力。

**1.3 貢獻

本文的覆蓋范圍如圖1所示。我們的主要貢獻總結如下：

• 我們引入了神經科學和人類行為研究中的知識和見解，強調了AI如何從神經結構、學習機制、注意力和焦點、記憶與回憶、認知過程以及人類大腦中觀察到的創造力和想象力中學習。
• 我們將BIAI研究分為兩大類：物理結構啟發型模型和人類行為啟發型模型，為理解該領域的不同方法提供了框架。
• 我們探討了BIAI模型的多種應用，包括它們在機器人技術、醫療保健、情感感知和創意內容生成中的應用，展示了這些模型在各個領域中的廣泛潛力。
• 我們討論了BIAI開發和實施過程中面臨的挑戰，例如理解大腦功能、與神經科學的整合以及構建高效、魯棒、倫理、具有意識且可解釋的模型。我們還概述了應對這些挑戰的未來研究方向。 本文的其余部分組織如下。第2節總結了可以為AI系統提供信息的神經科學和人類大腦功能知識。接下來，綜述按照圖1所示的分類結構展開。第3節討論了BIAI的主要類別，即物理結構啟發型模型和人類行為啟發型模型。第4節探討了BIAI在各個領域的實際應用。在第5節中，我們概述了當前BIAI方法面臨的一般挑戰。第6節重點介紹了未來研究的幾個有前途的方向。最后，在第7節中總結了本次綜述。

本文探討了通過機器學習（ML）技術增強計算流體力學（CFD）任務的最新進展。我們首先介紹了基本概念、傳統方法和基準數據集，然后考察了ML在改進CFD中的各種角色。本文系統地回顧了近五年內的文獻，并為前向建模提出了一種新的分類方法：數據驅動的代理模型、物理驅動的代理模型和ML輔助數值解。此外，我們還回顧了逆向設計和控制中的最新ML方法，提出了新的分類，并進行了深入討論。接著，我們重點介紹了ML在CFD中的實際應用，涵蓋了空氣動力學、燃燒、大氣與海洋科學、生物流體、等離子體、符號回歸和降階建模等關鍵科學和工程領域。除此之外，我們還識別了關鍵挑戰，并倡導未來研究方向來應對這些挑戰，例如多尺度表示、物理知識編碼、科學基礎模型和自動科學發現。本綜述旨在為快速擴展的ML在CFD領域的社區提供指南，激發未來進步的洞見。我們得出的結論是，ML有望通過提高仿真精度、減少計算時間并實現對流體動力學更復雜的分析，顯著變革CFD研究。論文資源可在//github.com/WillDreamer/Awesome-AI4CFD查看。

流體動力學是一門研究流體流動運動和行為的基礎學科，它為包括空氣動力學、化學工程、生物學和環境科學在內的廣泛科學與工程領域提供了基礎。計算流體力學（CFD）通過偏微分方程（PDEs）來模擬流體動力學的數學模型。CFD的主要目標是在各種工況下獲得模擬結果，從而減少實際實驗的高昂成本，并加速工程設計和控制過程。

盡管在研究和工程實踐中取得了幾十年的進展，CFD技術仍然面臨重大挑戰。這些挑戰包括由于對空間或時間分辨率的嚴格限制導致的高計算成本，捕捉湍流等次級動力學的困難，以及數值算法的穩定性問題等。另一方面，ML因其從觀測數據中學習模式和動力學的能力而聞名，最近已經成為可以重塑或增強任何一般科學學科的趨勢。ML技術與近年來積累的大量流體動力學數據的結合，提供了一種變革性的方式來增強CFD實踐（見圖1）。隨著ML領域的迅速擴展，研究人員越來越難以跟上最新進展。因此，本綜述旨在揭示ML在增強CFD中的多方面作用。

實際上，已有一些關于ML在CFD領域應用的綜述。然而，這些綜述大多有以下兩點局限性：1）僅限于早期嘗試。例如，Wang等人和Huang等人都詳細討論了將物理建模融入ML的方法，強調了動態系統和混合方法。同樣，Vinuesa等人從CFD領域的角度探討了ML的前景方向，如直接數值模擬、大渦模擬（LES）、湍流譜圖、雷諾平均Navier-Stokes（RANS）模擬以及降維方法。然而，他們僅回顧了2021年前PDEs的早期ML應用。2）概述不完整。現有關于ML在CFD中的應用綜述主要集中在物理知識的整合和PDEs的常見模型架構上。Zhang等人研究了PDEs的前向建模和逆向建模中的ML，強調了四個關鍵挑戰，但忽略了系統分類及其在這一領域的潛在應用。同時，Lino等人大致區分了物理驅動和數據驅動的方法，并討論了一些方法學上的限制，但同樣忽略了對每種方法動機的系統分類。盡管這些貢獻存在，但ML在CFD中的全面、前沿和深刻的系統化仍然存在空白。我們的工作代表了第一個將這些分散的見解整合為一個連貫框架的綜述。我們系統地回顧了該領域的基礎知識、數據、方法、應用、挑戰和未來方向。本文的結構如圖2所示，組織如下：

在第2部分中，我們介紹了CFD的基本概念和知識，并附有所回顧文獻中涉及的所有類型PDEs的注釋列表。然后，我們系統地回顧了近五年的文獻，將所選研究分為三個主要類別，并在圖4中展示：數據驅動的代理模型（第3部分），依賴于觀測數據進行訓練；物理驅動的代理模型（第4部分），將選定的物理先驗整合到ML建模中；以及ML輔助數值解（第5部分），部分替代傳統的數值求解器，以在效率、準確性和泛化之間實現平衡。此外，我們介紹了逆向設計和控制問題的設置（第6部分），這是將CFD應用于現實世界問題的兩個基本問題。前者優化設計參數，如初始和邊界條件，以達到特定的設計目標；后者則通過施加時變外力來控制物理系統以實現特定目標。

接著，第7部分討論了這些方法在關鍵科學和工程領域中的應用，展示了它們的影響和潛力。最后，第8部分探討了當前技術狀態中的關鍵挑戰和局限性，并概述了未來的研究方向。我們旨在引起更廣泛的ML社區對本綜述的關注，通過豐富的CFD基礎知識和先進的發展，激發該領域未來的研究。

與現有綜述的不同之處。與現有綜述相比，我們的綜述具有四個獨特特點：（1）最新總結。本綜述基于當前的發展狀況，重點關注2020年至2024年的最新論文。相比之下，現有的相關綜述均在2022年之前發表。（2）創新分類。本綜述系統地回顧了CFD領域中的ML方法，并首次根據前向建模和逆向問題的方法設計動機提出了新的分類。（3）全面討論。本綜述提供了全面的討論，涵蓋背景、數據、前向建模/逆向設計方法和應用，幫助研究人員快速而全面地理解該領域。（4）未來指導。我們的工作總結了CFD的最新進展，強調了當前CFD研究中的挑戰，并為該領域未來的工作提供了指導和方向，例如科學基礎模型。 廣泛影響。我們的綜述的影響體現在兩點：（1）對科學相關社區。我們的綜述總結了CFD中的有效ML方法，可以幫助物理和力學領域的研究人員找到解決方案并從ML中受益。（2）對ML社區。我們的綜述還可以為ML研究人員提供指導，幫助他們將知識應用于CFD中的現實科學應用。

數據驅動的代理模型

數據驅動的代理模型是完全依賴觀測數據來訓練算法，以模擬復雜的流體動力學模型。這些模型在近年來取得了迅速的發展，具有重要的影響。根據其對空間離散化的處理方式，這些模型可以大致分為兩類：1）依賴離散化的方法，2）獨立于離散化的方法。前者需要將數據域劃分為特定的網格、網片或粒子結構，并設計相應的模型架構，而后者則不依賴離散化技術，而是直接在連續空間中學習解。

物理驅動的代理模型

盡管數據驅動模型在CFD模擬中展現了潛力，但它們也面臨一些挑戰，如數據收集的高成本以及對模型泛化能力和魯棒性的擔憂。因此，將物理先驗知識融入模型至關重要，這有助于利用物理定律的力量來提高模型的可靠性和適用性。我們根據嵌入知識的類型將這些方法分為兩類：1）物理信息驅動，2）約束信息驅動。前者將物理知識轉化為神經網絡的約束，確保預測符合已知的物理原理。后者則從傳統的PDE求解器中汲取靈感，將這些方法整合到神經網絡的訓練過程中。

結論

總之，本文系統地探討了利用機器學習（ML）在計算流體力學（CFD）中取得的重要進展。我們提出了一種針對前向建模和逆問題的新分類方法，并詳細介紹了過去五年中開發的最新方法。我們還重點介紹了ML在關鍵科學和工程領域中的有前途的應用。此外，我們討論了這一快速發展的領域中的挑戰和未來研究方向。總體而言，顯而易見的是，ML具有顯著變革CFD研究的潛力。

視覺與語言導航（VLN）近年來受到越來越多的關注，許多方法已經涌現出來以推動其發展。基礎模型的顯著成就已經塑造了VLN研究的挑戰和提出的方法。在本綜述中，我們提供了一種自上而下的審視方法，采用了一種原則性框架進行具身規劃和推理，并強調了利用基礎模型應對VLN挑戰的當前方法和未來機會。我們希望通過深入的討論提供有價值的資源和見解：一方面，用以標記進展里程碑，探索基礎模型在該領域的機會和潛在作用；另一方面，為基礎模型研究者整理VLN中的各種挑戰和解決方案。

開發能夠與人類及其周圍環境互動的具身代理是人工智能（AI）的長期目標之一（Nguyen et al., 2021; Duan et al., 2022）。這些AI系統在實際應用中具有巨大的潛力，可以作為多功能助手在日常生活中發揮作用，如家庭機器人（Szot et al., 2021）、自動駕駛汽車（Hu et al., 2023）和個人助理（Chu et al., 2023）。一個推進這一研究方向的正式問題設置是視覺與語言導航（VLN）（Anderson et al., 2018），這是一項多模態和協作任務，要求代理根據人類指令探索三維環境，并在各種模糊情況下進行在場通信。多年來，VLN在仿真環境（Chang et al., 2017; Savva et al., 2019; Xia et al., 2018）和實際環境（Mirowski et al., 2018; Banerjee et al., 2021）中都進行了探索，產生了許多基準測試（Anderson et al., 2018; Ku et al., 2020; Krantz et al., 2020），每個基準測試都提出了稍有不同的問題表述。

近年來，基礎模型（Bommasani et al., 2021）從早期的預訓練模型如BERT（Kenton and Toutanova, 2019）到當代的大型語言模型（LLMs）和視覺語言模型（VLMs）（Achiam et al., 2023; Radford et al., 2021）展現出了在多模態理解、推理和跨領域泛化方面的非凡能力。這些模型在海量數據上進行了預訓練，如文本、圖像、音頻和視頻，并可以進一步適應廣泛的具體應用，包括具身AI任務（Xu et al., 2024）。將這些基礎模型整合到VLN任務中標志著具身AI研究的一個關鍵進展，表現出顯著的性能提升（Chen et al., 2021b; Wang et al., 2023f; Zhou et al., 2024a）。基礎模型還為VLN領域帶來了新的機會，例如從多模態注意力學習和策略政策學習擴展到預訓練通用的視覺和語言表征，從而實現任務規劃、常識推理以及泛化到現實環境。

盡管基礎模型對VLN研究產生了最近的影響，以往關于VLN的綜述（Gu et al., 2022; Park and Kim, 2023; Wu et al., 2024）來自基礎模型時代之前，主要關注VLN基準測試和傳統方法，即缺少利用基礎模型解決VLN挑戰的現有方法和機會的全面概述。特別是隨著LLMs的出現，據我們所知，尚未有綜述討論它們在VLN任務中的應用。此外，與以前將VLN任務視為孤立的下游任務的努力不同，本綜述的目標有兩個：首先，標記進展里程碑，探索基礎模型在該領域的機會和潛在作用；其次，在系統框架內為基礎模型研究者組織VLN中的不同挑戰和解決方案。為建立這種聯系，我們采用LAW框架（Hu and Shu, 2023），其中基礎模型作為世界模型和代理模型的骨干。該框架提供了基礎模型中推理和規劃的一般景觀，并與VLN的核心挑戰緊密相關。

具體而言，在每一步導航中，AI代理感知視覺環境，接收來自人類的語言指令，并基于其對世界和人類的表征進行推理，以規劃行動并高效完成導航任務。如圖1所示，世界模型是代理理解周圍外部環境以及其行動如何改變世界狀態的抽象（Ha and Schmidhuber, 2018; Koh et al., 2021）。該模型是一個更廣泛的代理模型的一部分，該代理模型還包含一個人類模型，該模型解釋其人類伙伴的指令，從而告知代理的目標（Andreas, 2022; Ma et al., 2023）。為了回顧VLN領域不斷增長的工作并理解所取得的里程碑，我們采用自上而下的方法進行綜述，重點關注從三個角度出發的基本挑戰：

• 學習一個世界模型來表示視覺環境并泛化到未見過的環境。
• 學習一個人類模型以有效地從基礎指令中解釋人類意圖。
• 學習一個VLN代理，利用其世界和人類模型來實現語言的基礎、溝通、推理和規劃，使其能夠按指示導航環境。

我們在圖2中展示了一個分層和細粒度的分類法，基于基礎模型討論每個模型的挑戰、解決方案和未來方向。為了組織本綜述，我們首先簡要概述該領域的背景和相關研究工作以及可用的基準測試（第2節）。我們圍繞提出的方法如何解決上述三個關鍵挑戰進行結構化審查：世界模型（第3節）、人類模型（第4節）和VLN代理（第5節）。最后，我們討論了當前的挑戰和未來的研究機會，特別是在基礎模型興起的背景下（第6節）。

VLN任務定義

一個典型的視覺與語言導航（VLN）代理在指定位置接收來自人類指令者的（一系列）語言指令。代理使用以自我為中心的視覺視角在環境中導航。通過遵循指令，代理的任務是在一系列離散視圖或較低級別的動作和控制（例如，前進0.25米）上生成軌跡，以到達目的地。如果代理到達距離目的地指定距離（例如3米）以內的位置，則任務被認為成功。此外，代理可以在導航過程中與指令者交換信息，可以請求幫助或進行自由形式的語言交流。此外，人們對VLN代理集成額外任務（如操作任務（Shridhar et al., 2020）和物體檢測（Qi et al., 2020b））的期望也在不斷增加。

基準測試

如表1所示，現有的VLN基準測試可以根據幾個關鍵方面進行分類：（1）導航發生的世界，包括領域（室內或室外）和環境的具體情況。（2）涉及的人機交互類型，包括交互回合（單次或多次）、通信格式（自由對話、限制對話或多重指令）和語言粒度（動作導向或目標導向）。（3）VLN代理，包括其類型（如家庭機器人、自動駕駛車輛或自主飛行器）、動作空間（基于圖形、離散或連續）和額外任務（操作和物體檢測）。（4）數據集的收集，包括文本收集方法（人類生成或模板化）和路徑演示（人類執行或規劃生成）。有代表性的是，Anderson等人（2018）基于Matterport3D模擬器（Chang et al., 2017）創建了Room-to-Room（R2R）數據集，代理需要遵循精細的導航指令到達目標。Room-across-Room（RxR）（Ku et al., 2020）是一個多語言版本，包括英語、印地語和泰盧固語指令。它提供了更大的樣本量，并為虛擬姿態提供了時間對齊的指令，豐富了任務的語言和空間信息。Matterport3D允許VLN代理在離散環境中操作，并依賴預定義的連接圖進行導航，代理通過在相鄰節點之間的傳送在圖上移動，被稱為VLN-DE。為了使簡化的設置更現實，Krantz等人（2020）、Li等人（2022c）、Irshad等人（2021）通過將離散的R2R路徑轉移到連續空間（Savva等人，2019）提出了連續環境中的VLN（VLN-CE）。Robo-VLN（Irshad等人，2021）通過引入在機器人環境中更現實的連續動作空間的VLN，進一步縮小了模擬到現實的差距。最近的VLN基準測試經歷了幾次設計變更和期望，我們在第6節中討論這些變更。

評估指標

三種主要指標用于評估導航路徑規劃性能（Anderson等人，2018）：（1）導航誤差（NE），代理最終位置與目標位置之間最短路徑距離的平均值；（2）成功率（SR），最終位置足夠接近目標位置的百分比；（3）成功率加權路徑長度（SPL），通過軌跡長度標準化成功率。一些其他指標用于衡量指令遵循的忠實度和預測軌跡與真實軌跡之間的一致性，例如：（4）按長度加權的覆蓋得分（CLS）（Jain等人，2019）；（5）歸一化動態時間規整（nDTW）（Ilharco等人，2019），對偏離真實軌跡的情況進行懲罰；以及（6）按成功率加權的歸一化動態時間規整（sDTW）（Ilharco等人，2019），對偏離真實軌跡的情況進行懲罰，并考慮成功率。

近年來，大型語言模型（LLM）的集成徹底改變了機器人技術領域，使機器人能夠以類似人類的熟練程度進行交流、理解和推理。本文探討了LLM對機器人學的多方面影響，討論了利用這些模型的關鍵挑戰和機遇。通過對LLM在機器人核心元素——通信、感知、規劃和控制中的應用進行分類和分析，我們旨在為尋求將LLM集成到其機器人系統中的研究者提供可行的見解。

我們的研究主要集中在GPT-3.5之后開發的LLM上，主要是基于文本的模式，同時也考慮了用于感知和控制的多模態方法。我們提供全面的指導原則和示例，以便初學者能夠輕松接觸基于LLM的機器人解決方案。通過教程級別的示例和結構化的提示構建，我們展示了如何將LLM引導的增強功能無縫集成到機器人應用中。本綜述為研究人員在不斷發展的LLM驅動的機器人技術領域中的導航提供了路線圖，提供了全面的概述和實用的指導，以利用語言模型在機器人開發中的潛力。

在過去的十年中，我們見證了機器人學領域在應用語言模型（LMs）方面取得了顯著的進展。這些進展不僅包括類似人類的交流能力，還包括機器人的理解和推理能力，從而顯著提高了它們在從家庭雜務到工業操作等各種任務中的效率。在早期工作中，這些成功源于統計模型分析和預測語言表達中的詞匯。這些模型使機器人能夠解釋人類命令，理解上下文，表征世界，并與人類互動，盡管理解的深度有限。隨后，采用了具有自我注意機制的Transformer架構，尤其是像BERT這樣的預訓練語言模型，提高了捕捉復雜模式的能力，同時為特定任務進行微調。然而，這些模型的性能通常取決于有限的數據集，限制了它們把握更深層次上下文理解和在不同場景中泛化的能力。

隨著大型語言模型（LLMs）的發展，基于語言的機器人引入了各個領域的創新變化，如信息檢索、推理任務、環境適應、持續學習和改進等。這些LLMs，以其龐大的參數規模和在互聯網規模數據集上的訓練為特征，為下游任務提供了零次和少次學習能力，而不需要額外的參數更新。這些顯著的進步來自于文獻中定義為“在小模型中不存在但在大模型中出現的能力”的突現能力。這些能力顯著增強了機器人在理解、推斷和響應開放式指令方面的性能，利用了廣泛的常識知識。此外，稱為提示工程的提示創建技術使LLMs能夠通過自由形式的語言描述或互動對話，整合更豐富的上下文信息，促進了泛化推理。引入上下文學習能力使LLMs能夠根據提供的指示或示例中的提示生成預期格式的輸出，如JSON、YAML或PDDL，甚至代碼。最近的LLMs，如GPT-4，通過與外部機器人工具（如規劃器或翻譯器）的整合，進一步擴展了能力。

盡管LLMs具有多樣的能力，但它們的利用面臨幾個挑戰。首先，LLMs經常生成不準確或意外的響應。由于機器人執行的安全性是最重要的部署因素，基于LLM的機器人應用需要過濾和糾正機制以確保安全。其次，如上下文學習等突現能力尚不可預測且不一致。即使是對輸入文本的輕微更改也可能導致響應的不可預測變化。第三，精心設計的提示使機器人能夠有效地利用LLMs的能力，但缺乏支持機器人系統關鍵組件的系統化指導，阻礙了無縫集成。因此，我們需要研究LLMs在機器人中的逐部件參與，以了解其限制和安全性。 當前，各種綜述已開始探索LLMs與機器人的交集，主要關注LLM驅動的機器人應用或互動維度。然而，仍然存在在機器人系統的關鍵元素，包括通信、感知、規劃和控制方面提供全面評論和可操作見解的空白。此外，研究者們還在探索廣泛的預訓練大容量模型領域，稱為基礎模型，尋求跨模態Transformer模型的泛化能力。然而，這一廣闊領域涵蓋了廣泛的機器人學和多樣的方法論，使得新興研究者錯過深入的評論和指導。 在本文中，如圖1所示，我們旨在分類和分析LLMs如何增強機器人系統的核心元素，以及我們如何指導新興研究者在每個領域內整合LLMs，以促進智能機器人的發展。我們根據三個關鍵問題結構化本文： ? Q1: LLMs在每個機器人領域中如何被利用？ ? Q2: 研究人員如何克服LLMs的集成限制？ ? Q3: 在每個領域產生最低功能所需的基本提示結構是什么？

為了回答這些問題，我們專注于在引入GPT-3.5之后開發的LLMs。我們主要考慮基于文本的模式，但也審查了感知和控制領域的多模態。然而，為了進行深入審查，我們將調查限制在LLMs而非基礎模型上。 此外，我們提供了全面的提示工程指南和示例，旨在使初學者能夠訪問基于LLM的機器人解決方案。我們的教程級示例展示了如何通過引入四種類型的示例提示——對話提示用于互動定位，指令提示用于場景圖生成，計劃提示用于少次計劃，以及代碼生成提示用于獎勵生成——增強或替換機器人組件的基本功能。通過提供提示構建的規則和技巧，我們概述了生成預期格式輸出的良好設計提示的過程。這些原則確保了機器人應用中有效的LLM引導增強，無需參數調整。

本文的其余部分安排如下。第2節概述了機器人學中LMs和LLMs的歷史背景。第3節評審了LLMs賦能機器人通過語言理解和生成進行交流的方式。第4節調查了LLMs如何感知各種傳感器模態并推進感知行為。第5節和第6節分別組織了基于LLM的計劃和控制研究。在第7節中，我們提供了提示工程的全面指南，作為LLM在機器人中集成的起點。最后，第8節總結了這篇綜述。

視頻生成是一個迅速發展的研究領域，由于其廣泛的應用范圍而獲得了重大關注。這一領域的一個關鍵方面是長時視頻的生成，這呈現了獨特的挑戰和機遇。本文呈現了對長視頻生成近期進展的第一個綜述，并將其總結為兩個關鍵范式：分而治之或時間自回歸。我們深入探討了每個范式中常用的模型，包括網絡設計和條件技術的方面。此外，我們提供了數據集和評估指標的全面概述和分類，這對于推進長視頻生成研究至關重要。以現有研究的總結結束，我們還討論了這一動態領域中出現的挑戰和未來方向。我們希望這篇綜述能成為長視頻生成領域的研究人員和實踐者的重要參考。

//www.zhuanzhi.ai/paper/6fcdf09712b06f301551fccf2dc693f8

計算機視覺和人工智能領域經歷了變革性的增長，特別是在視頻生成領域。最近，開發出能夠產生高質量和逼真視頻序列的算法激增。值得注意的是，長視頻的生成，以其延長的持續時間和復雜的內容為特征，為社區提出了新的挑戰并激發了新的研究方向。

盡管如此，關于長視頻生成的研究仍存在差距。當前研究中的一個缺口是缺乏長視頻的標準定義。長短視頻之間的區別通常依賴于不同工作中的相對度量，如幀數（例如，512，1024或3376幀）或持續時間（例如，3、5分鐘），與較短視頻（例如，30、48或64幀）相比。考慮到研究標準的多樣性，我們在圖1中總結了現有研究中聲稱的長視頻生成的視頻長度，基于此我們提出了長視頻的定義。具體而言，如果視頻的持續時間超過10秒，假設標準幀率為10fps，或者等價地，如果視頻包含超過100幀，則將視頻分類為“長”視頻。這一定義旨在為各種研究背景中長視頻的識別提供一個明確的基準。

根據這一定義，長視頻長度已取得顯著進展。Yin等人（2023）提出了一種分而治之的擴散結構，專門針對長視頻進行訓練，以消除推理和訓練之間的差距，成功生成長達1024幀的視頻。Zhuang等人（2024）利用大型語言模型（LLM）的強大能力，將輸入文本擴展為腳本，以指導生成分鐘級長視頻。最近，Sora（OpenAI，2024）實現了高保真且無縫生成長達一分鐘的長視頻，特色包括多分辨率和鏡頭轉換等高質量效果。此外，許多杰出的研究在現有視頻生成模型上引入了新的結構和思想，為長視頻生成鋪平了道路。

即便如此，長視頻的生成仍面臨諸多挑戰。其核心是，長視頻的固有多維復雜性對處理和生成的硬件資源提出了巨大的需求，導致訓練和生成成本在時間和資源上的顯著增加。這提出了在現有資源約束下生成長視頻的挑戰。此外，長視頻數據集的稀缺性未能滿足訓練要求，阻止研究人員直接獲得支持長視頻模型生成的最優參數。在這種情況下，當生成的視頻長度超過某些閾值時，難以保持長視頻生成的時間一致性、連續性和多樣性。此外，當前研究表面上出現了幾種偏離現實世界既定物理定律的現象，提出了尚未被現有方法理解或直接操縱的未預見挑戰。因此，長視頻生成研究仍處于早期階段，有許多挑戰待解決，需要進一步的探索和發展。 在這項綜述中，我們對長視頻生成的現有研究進行了全面調查，旨在提供當前發展狀態的清晰概述，并為其未來進展做出貢獻。本文其余部分的組織概述在圖2中。最初，我們在第1節中定義了長視頻持續時間。第2節討論了四種不同類型的視頻生成模型和控制信號。根據第1節和第2節，我們在第3.1節和第3.2節中分別介紹了簡化長視頻生成任務的兩種常見范式：分而治之和時間自回歸。第4節和第5節討論了視頻質量改進和硬件要求。最后，本文以長視頻生成的總結和對新興趨勢及機會的討論結束。

我們詳細介紹了四種流行的視頻生成模型，包括擴散模型、自回歸模型、生成對抗網絡（GAN）和掩碼建模。 擴散模型用于視頻生成，采用了傳統擴散技術的迭代細化過程，這些技術最初是為靜態圖像設計的（Ho等，2020），適應了視頻的動態領域。這些模型的核心是從一系列隨機噪聲開始，通過一系列步驟逐步去噪，以生成一個連貫的視頻序列。每一步都由學習到的梯度指導，這些梯度能夠基于單個幀的空間內容及連續幀之間的時間關系預測性地去噪。這種方法允許生成的視頻不僅每一幀在視覺上與其前序幀一致，而且還有助于整個序列的流暢性。 在視頻生成中，空間自回歸模型（Alex Graves，2013）采用了一種獨特的方法，通過基于補丁的方法合成內容，每個補丁的創建依賴于與之前生成的補丁的空間關系。這個過程類似于遞歸算法，一次生成一個補丁。因此，它一幀一幀地構建視頻，直至完成。在這個框架內，補丁之間的空間關系至關重要，因為每個后續補丁必須與其鄰居無縫對齊，以確保整個幀在視覺上的連貫性。這種方法利用了視頻內容中固有的空間依賴性，確保視頻在時間上進展時，每一幀都與其前序幀保持一致和連續，不僅僅是在時間上，也在空間上。 GAN（生成對抗網絡）（Creswell等，2020）在使用GAN進行視頻生成的過程中，從生成器開始，將簡單的噪聲模式轉換為一系列視頻幀。這個本質上隨機的噪聲作為視頻制作的初始空白狀態。通過神經網絡的層，生成器逐漸將這個噪聲塑造成看起來像視頻幀的圖像，確保每一幀邏輯上緊跟上一幀，創造平滑的動作和可信的敘述。 這種從噪聲到視頻的演變通過來自鑒別器的反饋進行精煉，鑒別器是一個判斷生成的視頻看起來是真實還是假的組件。生成器從這個判斷中學習，隨著時間的推移提高其產生更逼真視頻的能力。最終目標是生成的視頻與真實視頻無法區分，并展示自然的動作和過渡。 掩碼建模在視頻生成中，掩碼建模利用了選擇性遮蓋視頻幀部分區域以增強模型學習過程的概念。這種技術通過在視頻的某些段落應用掩碼開始，有效地在訓練期間將它們隱藏起來。模型隨后學習基于可見的上下文和視頻的時間流動來預測這些遮蓋的部分。這個過程不僅迫使模型理解視頻內容的基本結構和動態，還提高了其生成連貫和連續視頻序列的能力。通過在部分可見數據上進行迭代訓練，模型變得擅長填補缺失的信息，確保生成的視頻保持場景和動作的自然進展。 長視頻生成范式

在長視頻生成的領域中，有限的計算資源的挑戰以及現有模型直接生成顯著持續時間視頻的能力不足，導致提出了兩個不同的范式：分而治之和時間自回歸，如圖3所示。這些范式旨在將長視頻生成的復雜任務解構為更易管理的過程，專注于創建單個幀或短片段，這些片段可以邏輯上組裝以完成長視頻的生成。 分而治之范式首先通過識別概述主要敘事的關鍵幀開始，然后生成介于關鍵幀之間的幀，以編織出一個連貫的長視頻。另一方面，時間自回歸范式，也簡稱為自回歸，采用序列方法基于先前條件生成短視頻段。這一范式旨在確保片段之間的流暢過渡，從而實現連續的長視頻敘述。與分而治之采取層次化方法通過區分故事線關鍵幀和補充填充幀不同，時間自回歸范式放棄了層次結構，轉而專注于直接生成由前序幀信息指導的詳細片段。 在這一部分，討論集中在兩個范式上，考察當前研究如何策略性地將長視頻生成任務簡化為更小、更易管理的任務。此外，它還突出了現有模型是如何被用于生成的，這些輸出隨后被組裝成完整的視頻敘述。

結論與未來方向

本文提供了長視頻生成領域最新研究進展的全面回顧。我們系統地回顧了四種視頻生成模型，并深入探討了基于這些模型生成長視頻的范式，將它們歸類為兩大類型：分而治之和自回歸。此外，我們的工作包括了長視頻生成質量特性的綜合總結。為旨在增強這些質量的現有研究提供了詳細解釋。還討論了聚焦于資源需求解決方案的研究。為了進一步推進該領域，我們識別了幾個未來發展的有希望方向。 數據資源擴展現有方法面臨著在訓練長視頻生成模型時由于長視頻數據集資源不足的挑戰，這些數據集未能滿足通過訓練數據獲得最優模型參數的要求。因此，這導致了如長視頻生成不連貫和內容重復等問題。為了解決這一問題，Gu等人（2023）提出了一種使用大型語言模型并轉換現有視頻內容以擴展數據集的方法，有效解決了數據稀缺問題。未來的研究可以探索更有效的方法來豐富長視頻數據集。 統一生成方法的開發長視頻生成的現有范式被總結為兩大類：分而治之和自回歸。雖然它們能夠利用現有模型生成長視頻，但每種方法都有其缺點。具體而言，分而治之受制于長視頻訓練數據集的稀缺性，需要顯著的生成時間，面臨在長時間跨度上預測關鍵幀的挑戰，且關鍵幀的質量顯著影響填充幀的質量。自回歸傾向于累積錯誤，并在多次推斷后遭受內容退化。總體而言，每種范式都有其優勢和弱點。未來的研究可能旨在開發一種高質量的統一范式，整合兩種范式的優勢以解決它們各自的局限性。 具有靈活長度和寬高比的生成當前的研究主要側重于訓練和創建具有預定尺寸的長視頻內容。然而，對多樣化視頻內容和模擬現實世界的日益增長的需求，要求生成具有可變長度和寬高比的視頻。Sora（OpenAI，2024）和FiT（Lu等人，2024）在這一領域取得了進展，Sora實現了靈活視頻大小的生成，FiT在圖像生成的兩個維度上展示了適應性。未來的研究可能會強調改善視頻生成的靈活性，旨在提高生成模型在現實世界設置中的適用性，并進一步激發視頻內容利用的創新。 超長視頻的生成在圖1中描述的調查中，現有研究中長視頻的最長持續時間為1小時（Skorokhodov等人，2022）。然而，在現實生活中，如電影和駕駛模擬中，視頻持續時間通常為90分鐘甚至更長。我們將這些稱為“超長視頻”。因此，未來的研究可以集中于生成超長視頻，并解決隨著持續時間延長而出現的視角轉換、角色和場景發展以及動作和情節豐富化的挑戰。 增強的可控性和現實世界模擬在長視頻生成中，當前模型在生成過程中和內部操作像黑盒一樣，使得理解錯誤的原因（如違反物理定律的錯誤，由Sora（OpenAI，2024）展示）變得具有挑戰性。現有解決方案缺乏對問題起源的洞察以及直觀、可控的補救措施。因此，需要新的方法和技術來增強我們對生成模型的理解和控制，使它們更適合于現實世界的應用。

隨著大型語言模型（LLM）發展的日益普及，吸引了大量關注，各種應用領域的模型不斷涌現。然而，將大型語言模型與語義技術相結合以進行推理和推斷仍然是一項具有挑戰性的任務。本文分析了當前在基礎LLM方面的進展，如ChatGPT，如何與專用預訓練模型，如REBEL，進行比較，以實現實體和關系的聯合提取。為了評估這種方法，我們使用與可持續性相關的文本作為案例，進行了多個實驗。我們創建了從原始文本自動生成知識圖譜的流程，并發現使用先進的LLM模型可以提高從非結構化文本創建這些圖譜的過程的準確性。此外，我們還探討了使用基礎LLM模型進行自動本體創建的潛力，從而生成更相關且準確的知識圖譜。本節描述了本研究中使用的方法，包括數據收集過程以及用于分析收集到的數據的實體-關系提取算法。

**A. 數據收集過程 **為了對實體-關系提取的兩種方法進行實驗性比較，我們從網絡上收集了有關可持續性主題的新聞數據。為此，我們使用了News API [21]系統。News API是一個HTTP REST API，用于從網絡上搜索和檢索實時文章。它提供了通過指定以下選項在網絡上發布的文章中進行搜索的功能：關鍵詞或短語、發布日期、來源域名和語言。通過使用News API，我們收集了2023-02-15至2023-03-19關于可持續性主題的94篇新聞文章。收集到的文本包含各種字數，從50個到超過4200個不等。由于輸入到語言模型中的令牌數量受到限制，因此需要進行額外的預處理步驟來處理包含大量單詞的文本。

**B. 關系提取方法 **關系提取是自然語言處理（NLP）中的一項基本任務，旨在識別句子或文檔中實體之間的語義關系。這項任務具有挑戰性，因為它需要理解實體出現的上下文以及它們之間存在的關系類型。在本小節中，我們將介紹如何利用REBEL和ChatGPT進行關系提取任務。1) REBEL：我們首先嘗試使用REBEL從非結構化新聞文章中提取關系。為了讓REBEL能夠使用提供的文本，需要使用相應的分詞器功能對其進行分詞。分詞是將原始文本分割成稱為令牌的較小單位的過程。令牌可以是單詞、字符或子詞。模型對令牌的限制為512個令牌，這意味著在將較長的收集到的文章發送到模型進行三元組提取之前，需要對其進行預處理。為了解決這個限制，我們將原始文本進行分詞，并將令牌劃分為256個令牌的批次。這些批次分別由REBEL模型處理，然后合并結果以提取較長文本的關系。還向提取的關系添加元數據，引用生成關系的令牌批次。采用這種方法，由于令牌批次可能在句子的中間開始或結束，某些關系可能無法準確提取。然而，這種情況發生的次數微乎其微。因此，我們將其處理留給未來的工作。實體-關系提取過程完成后，提取的信息存儲在三元組結構中。為了進一步規范提取的實體，我們執行實體鏈接[22]。實體鏈接是指將原始文本中提到的實體與知識庫中相應實體進行識別和關聯的過程。實體鏈接過程不屬于REBEL模型的一部分，它是用于優化提取關系的額外后處理步驟。在本研究中，我們使用DBpedia作為知識庫，并認為如果兩個實體具有相同的DBpedia URL，則它們是相同的。這方法不適用于DBpedia上不存在的實體。

2. ChatGPT：本文采用的第二種方法使用了OpenAI的ChatGPT [12]。我們使用ChatGPT創建了兩個實驗。第一個實驗提示ChatGPT從收集到的新聞文章中提取關系。在提取關系之后，我們遵循與REBEL模型相同的步驟，以創建一個全面的知識庫。第二個實驗側重于創建一個直接生成整個知識庫并編寫描述文本中識別到的概念的本體的提示。這種方法的目標是減少為了獲得最終知識圖譜而需要執行的手動步驟的數量。對于這兩個實驗，我們將參數“溫度”的值設為0，以獲得更具確定性的輸出，因為OpenAI模型本質上是非確定性的。

摘要：

域泛化(DG)，即分布外泛化，近年來引起了越來越多的關注。領域泛化處理一個具有挑戰性的設置，其中給出了一個或幾個不同但相關的領域，目標是學習一個可以泛化到看不見的測試領域的模型。近年來，取得了很大的進展。本文首次綜述了領域泛化的最新進展。首先，我們給出了領域泛化的形式化定義，并討論了幾個相關的領域。接下來，我們對領域泛化的相關理論進行了全面的回顧，并對泛化背后的理論進行了仔細的分析。然后，我們將最近出現的算法分為三類，分別是數據操作、表示學習和學習策略，每一類都包含了一些流行的算法。第三，介紹了常用的數據集及其應用。最后，對已有文獻進行了總結，并提出了未來的研究方向。

//www.zhuanzhi.ai/paper/5b8b8958327cabc8b6694d7fc5c7ac75

引言

機器學習(ML)在計算機視覺、自然語言處理和醫療保健等各個領域都取得了顯著的成功。ML的目標是設計一個可以從訓練數據中學習通用和預測性知識的模型，然后將該模型應用于新的(測試)數據。

傳統的ML模型訓練基于i.i.d.假設，訓練數據和測試數據是相同的，獨立分布的。然而，這種假設在現實中并不總是成立的。當訓練數據和測試數據的概率分布不同時，由于域分布的差異，ML模型的性能往往會下降。收集所有可能領域的數據來訓練ML模型是昂貴的，甚至是不可能的。因此，提高ML模型的泛化能力具有重要的工業和學術意義。

與廣義相關的研究課題有很多，如領域適應、元學習、遷移學習、協變量轉移等。近年來，領域泛化(DG)受到了廣泛的關注。如圖1所示，領域泛化的目標是從一個或幾個不同但相關的領域(即不同的訓練數據集)學習模型，這些領域將在看不見的測試領域上很好地泛化。

圖片

近年來，領域泛化在計算機視覺、自然語言處理等領域取得了長足的進展。除此之外，目前還沒有一項關于該領域的調查能夠全面介紹和總結其主要思想、學習算法等相關問題，為未來的研究提供見解。

本文首先介紹了領域泛化的研究概況，重點介紹了領域泛化的公式、理論、算法、數據集、應用以及未來的研究方向。希望本研究能為相關研究者提供一個全面的回顧，并對相關領域的研究有所啟發。

本文的結構組織如下。我們將在第2節中闡述領域概括并討論其與現有研究領域的關系。第3節介紹了領域泛化的相關理論。在第4節中，我們詳細描述了有代表性的DG方法。第5節介紹了應用程序，第6節介紹了DG的基準數據集。我們在第7節中總結了現有工作的見解，并提出了一些可能的未來方向。最后，在第8節對本文進行總結。

方法體系

領域泛化方法是我們的核心。本文將已有的領域泛化方法按照數據操作、表示學習、學習策略分為三大方面，如下圖所示。

數據操作，指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。

表示學習，指的是學習領域不變特征(Domain-invariant representation learning)以使得模型對不同領域都能進行很好地適配。領域不變特征學習方面主要包括四大部分：核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化(Invariant Risk Minimiation, IRM)。特征解耦與領域不變特征學習的目標一致、但學習方法不一致，我們將其單獨作為一大類進行介紹。 學習策略，指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基于集成學習和元學習的方法。同時，我們還會介紹其他方法，例如自監督方法在領域泛化中的應用。