亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

擴散模型是一種通過模擬擴散過程的概率模型，逐步向數據中添加和去除噪聲，從而生成逼真的樣本。這些模型由于能夠生成高質量的樣本，已經在圖像處理、語音合成和自然語言處理等領域中獲得了廣泛的關注。隨著擴散模型在各個領域的廣泛應用，現有的文獻綜述往往集中在特定領域，如計算機視覺或醫學影像，因此可能無法滿足跨多個領域的更廣泛受眾。因此，本綜述對擴散模型進行了全面概述，涵蓋了其理論基礎和算法創新。我們重點介紹了它們在媒體質量、真實性、合成、圖像轉換、醫療保健等各個領域的應用。通過整合當前的知識并識別新興趨勢，本綜述旨在促進對擴散模型的更深入理解和更廣泛的應用，并為來自不同學科的未來研究人員和實踐者提供指導。

關鍵詞：擴散模型 · 生成建模 · 合成數據生成 · 圖像合成 · 圖像到圖像轉換 · 文本到圖像生成 · 音頻合成 · 時間序列預測 · 異常檢測 · 醫學影像 · 數據增強 · 計算效率 · 不確定性量化 · 黎曼流形 · 分子動力學 · 超分辨率 · 語義圖像合成 · 零樣本分類 · 大氣湍流校正

1 引言

擴散模型（Diffusion Model，DM）是一類通過逆向擴散過程生成數據的生成模型，該過程逐步向數據中添加噪聲，直至其變為高斯分布。這些模型首次由Sohl-Dickstein等人于2015年提出，已在圖像、音頻和視頻合成等多個領域展示了出色的性能，能夠生成高質量的樣本 [1, 2]。該過程涉及一個迭代程序，模型在每一步訓練時預測已添加到樣本中的噪聲，實質上是在學習對數據進行去噪。這種方法顯著推動了生成細致且連貫輸出的能力，使得DM成為諸如文本到圖像合成和提高低分辨率圖像等任務的強大工具 [3]。圖1展示了用于高分辨率圖像合成的擴散模型。

擴散模型（DM）已在多個領域中變得流行，尤其是在圖像生成領域，它們能夠基于文本描述創建逼真的圖像、藝術作品和編輯內容 [3, 5]。在自然語言處理（NLP）中，DM也逐漸流行，用于文本生成和增強，展現了生成連貫且上下文相關文本的能力 [6]。在音頻合成中，DM被用于生成逼真的聲景、音樂和擬人化的語音，推動了創意和交流人工智能（AI）應用的邊界 [7]。此外，它們的應用還擴展到分子和材料科學領域，用于設計新的化學化合物和材料，展示了其多樣性。DM的流行源于其穩健性、靈活性和生成高保真度輸出的能力，使其成為AI驅動的創意和科學領域中的突破性工具 [8]。

圖2提供了過去五年在各種學科中發表的關于DM的論文的統計概覽。從圖2(a)中可以看出，自2020年以來，發表的論文數量一直在不斷增長。圖2(b)顯示，醫學領域的論文占比29%，居首位，其次是計算機科學，占17%，以及工程學，占14%。化學和材料科學等領域的論文較少，分別占總量的4%和6%。這些趨勢突顯了DM在醫學和計算機科學中的廣泛應用，而在其他領域的潛力尚未得到充分探索。

本綜述旨在為DM在各個領域的應用提供全面概述，幫助廣泛受眾理解其能力和多樣性。通過展示多樣的應用，本綜述鼓勵跨學科合作和創新，潛在地解決超出傳統應用如計算機視覺領域的未探索領域中的開放挑戰。

1.1 本綜述的動機與獨特性

DM在各個領域的快速進展展示了其潛力和多樣性。盡管相關出版物數量不斷增加，但現有的綜述通常集中于特定應用或狹窄領域，未能涵蓋DM應用的廣泛范圍。考慮到這一機會，本綜述旨在通過提供DM的全面概述來填補現有文獻中的空白。

我們的貢獻總結如下： ? 本綜述涵蓋了DM的多個關鍵方面，包括理論、算法、創新、媒體質量、圖像轉換、醫療應用等。我們概述了截至2024年3月的相關文獻，突出最新的技術和進展。 ? 我們將DM分為三大類：去噪擴散概率模型（DDPM）、噪聲條件分數網絡（NCSN）和隨機微分方程（SDE），有助于理解其理論基礎和算法變種。 ? 我們重點介紹了與DM應用相關的創新方法和實驗方法，涵蓋數據類型、算法、應用、數據集、評估和限制。 ? 最后，我們討論了研究結果，識別了未解決的問題，并提出了關于DM未來研究方向的疑問，旨在為研究人員和實踐者提供指導。 圖3基于本研究中引用的文獻展示了DM的框架，在第2至第8節中進行了討論。

1.2 搜索策略

數據來源于Scopus，初步通過標題、摘要和關鍵詞使用搜索詞“Diffusion Model” AND (“image” OR “audio” OR “text” OR “speech”)篩選出3746篇文章。將搜索范圍限制為2020年至2024年間發表的英文、同行評審和開放獲取的論文后，數量減少至473篇。進一步過濾排除了“human”（人類）、“controlled study”（對照研究）、“job analysis”（工作分析）、“quantitative analysis”（定量分析）、“comparative study”（比較研究）、“specificity”（特異性）等無關的關鍵詞，最終篩選出326篇文章。

一位研究人員（Y.L.）將這326篇期刊文章導入Excel CSV文件以供詳細分析。隨后，利用Excel的重復檢測工具識別并刪除重復項。兩位獨立評審者（M.A.和Z.S.）評估了剩余論文的標題和摘要，確定了65篇相關文獻。此外，還納入了另外20篇相關文獻，最終涵蓋了來自各個領域的85篇論文。

擴散模型概述

** **擴散模型（DM）是一類通過模擬擴散過程來構建或重建數據分布的生成模型，這一過程通過隨機過程實現。這包括一個雙階段操作，在該操作中逐步添加噪聲，并隨后進行反向操作 [9]。DM的算法骨干包含幾個關鍵階段 [1, 9]：

初始化：從原始數據形式x0x_0x0 開始。

前向過程（噪聲添加）：在TTT 個時間步內逐漸添加噪聲，根據預定義的噪聲計劃β\betaβ，將數據從x0x_0x0 轉化為xTx_TxT。

反向過程（去噪）：利用學習到的參數θ\thetaθ 從xtx_txt 順序估計xt?1x_{t-1}xt?1，有效地逆轉噪聲添加，以重建原始數據或生成新的數據樣本。

輸入：原始數據X={x1,x2,…,xn}X = {x_1, x_2, \dots, x_n}X={x1,x2,…,xn}、總時間步數TTT、噪聲計劃β\betaβ。

輸出：去噪或合成的數據X′X'X′。

訓練：通過學習條件分布pθ(xt?1∣xt)p_\theta(x_{t-1}|x_t)pθ(xt?1∣xt) 來訓練模型，以近似逆向噪聲添加過程，對每個時間步ttt 從TTT 到 1 進行訓練。 * 數據合成：從一個隨機噪聲樣本xTx_TxT 開始，迭代地應用學習到的逆向過程：xt?1′=從pθ(xt?1∣xt)中采樣x'{t-1} = 從 p\theta(x_{t-1}|x_t) 中采樣xt?1′=從pθ(xt?1∣xt)中采樣最終得到x0′x'_0x0′，即最終的合成或重建數據。

擴散模型的類型

多年來，已經提出了幾種基于擴散的模型，每一種都在生成建模的進步中作出了獨特貢獻。圖4展示了一些重要和有影響力的擴散模型及其時間線。其中，有三種擴散模型因其對各種應用的影響而非常流行并廣泛采用：去噪擴散概率模型（DDPMs）、噪聲條件分數網絡（NCSNs）和隨機微分方程（SDEs）。

擴散模型應用

近年來，由于擴散模型（DM）能夠生成高質量、逼真且多樣化的數據樣本，其受到了極大的關注，使得它們在多個前沿應用領域中得到了廣泛部署。DM廣泛應用于以下幾個最受歡迎的領域： ? 圖像合成：DM用于從噪聲分布中創建詳細的高分辨率圖像。它們可以生成新圖像或通過提高清晰度和分辨率來改善現有圖像，使其在數字藝術和圖形設計等領域中尤為有用 [13]。 ? 文本生成：DM能夠生成連貫且上下文相關的文本序列。這使其適用于諸如創作文學內容、在虛擬助手中生成逼真的對話以及自動生成新聞文章或創意寫作的內容 [14]。 ? 音頻合成：DM能夠從噪聲信號中生成清晰且逼真的音頻。這在音樂制作中非常有價值，因為需要創建新的聲音或改善錄制音頻的清晰度，還包括在各種輔助設備中使用的語音合成技術 [7]。 ? 醫療保健應用：盡管不限于醫學影像，DM在合成醫療數據方面發揮了重要作用，包括磁共振成像（MRI）、計算機斷層掃描（CT）以及其他影像模態。這種能力對于培訓醫療專業人員、改進診斷工具以及開發更精確的治療策略至關重要，同時不會影響患者隱私 [15]。

表1總結了2020年至2023年間一些著名的DM論文，提出的算法、使用的數據集和應用。不同顏色用于區分各種算法和應用類型。從表1中可以看出，大多數論文主要集中在基于圖像的應用上，如圖像生成、分割和重建。

結論

擴散模型（DM）通過生成逼真的樣本來解決數據生成和處理中的挑戰，有望在許多領域帶來變革。因此，解決當前的局限性并在DM的優勢基礎上進行改進，將使其在未來各個領域得到更廣泛的應用并產生更大的影響。我們的研究發現，DM生成高質量合成數據的能力提高了應用中的表現，如文本到圖像生成，其中像Diffusion Transformers（DT）用于穩定擴散的模型在數據隱私方面展示了進展 [35]。在網絡物理系統安全中，時序和特征TFDPM通過使用圖注意網絡（Graph Attention Networks）關聯通道數據來幫助檢測攻擊 [36]。此外，在云服務異常檢測中，像Maat這樣的模型通過結合度量預測和異常檢測來實現更高的準確性 [37]。 在圖像處理方面，基于擴散的技術在圖像去模糊和超分辨率等任務中表現出色。例如，使用DM進行的隨機圖像去模糊在感知圖像塊相似性和結構相似性指數測量上取得了高分 [31]。此外，用于MRI重建的加速CMD在提高圖像質量方面展現了潛力 [32]。此外，選擇性擴散蒸餾方法在平衡圖像保真度和可編輯性方面表現出色，適用于各種圖像操作任務 [33]。 然而，盡管DM可以生成逼真的數據，它們也引發了倫理問題。一個主要問題是潛在的濫用，例如創建深度偽造和合成媒體，可能會傳播虛假信息或侵犯隱私。為了降低這一風險，建立強大的檢測機制至關重要。確保模型保持公正性也同樣重要，這可以通過引入公平性算法和多樣化的訓練數據來實現。此外，DM的透明度和可解釋性至關重要，LIME和SHAP等技術可以提供模型生成結果的洞見。除此之外，還需要確保數據符合GDPR和健康隱私保護法（HIPAA）等法規的要求 [99, 100, 98]。 高計算需求和對更好采樣或網絡架構的需求是DM中反復出現的問題。模型通常需要廣泛的超參數調優，并且可能在離散信號建模或在不同上下文中泛化方面遇到困難 [36, 37]。此外，對某些模型而言，為語義引導選擇正確的時間步可能會限制其靈活性 [33]。較慢的推理速度和高資源需求阻礙了實時部署和可擴展性 [32, 31]。 因此，未來的研究應通過開發更高效的算法和利用計算技術的進步來解決這些局限性。探索半監督或無監督學習方法，并結合預訓練模型的遷移學習，可以幫助克服數據稀缺問題。提高DM對噪聲的魯棒性及其處理不同數據類型的能力至關重要。此外，持續的跨學科合作和明確的倫理準則對于在各個領域中負責任且有效地使用DM至關重要。

大型語言模型（LLMs）在靜態、預先收集的通用數據集上的訓練取得的最近成功，已經引發了眾多研究方向和應用。其中一個方向解決了將預訓練的LLMs整合到動態數據分布、任務結構和用戶偏好中的非平凡挑戰。這個問題的主要挑戰在于平衡模型適應性和知識保存。為特定需求量身定制的預訓練LLMs經常在之前的知識領域經歷顯著的性能退化——這一現象被稱為“災難性遺忘”。雖然在持續學習（CL）社區進行了廣泛研究，但在LLMs領域呈現出新的表現形式。在這篇綜述中，我們提供了一個關于大型語言模型在持續學習背景下當前研究進展的全面概覽和詳細討論。除了介紹初步知識外，這篇綜述被分為四個主要部分：我們首先描述了持續學習LLMs的概覽，包括兩個連續性方向：垂直連續性（或垂直持續學習），即從一般到特定能力的持續適應；和水平連續性（或水平持續學習），即跨時間和領域的持續適應（第3節）。在垂直連續性之后，我們總結了在現代CL背景下學習LLMs的三個階段：持續預訓練（CPT）、領域適應性預訓練（DAP）和持續微調（CFT）（第4節）。然后我們提供了LLMs的持續學習評估協議的概覽，以及當前可用的數據來源（第5節）。最后，我們討論了有關LLMs持續學習的引人深思的問題（第6節）。這篇綜述揭示了持續預訓練、適應和微調大型語言模型這一相對未受到足夠研究的領域，表明需要社區更多的關注。需要立即關注的關鍵領域包括開發實用且易于訪問的評估基準，以及專門設計的方法論，以對抗遺忘和在不斷演變的LLM學習范式中啟用知識轉移。在這項綜述中檢查的完整論文列表可在//github.com/Wang-ML-Lab/llm-continual-learning-survey找到。

近期大型語言模型（LLMs）的進步顯示了實現人工普遍智能（AGI）的巨大潛力。研究人員觀察到，隨著參數規模的增加，多步驟推理、小樣本上下文學習和指令跟隨等復雜能力有所提高。LLMs的發展具有重大影響和革命性，促使機器學習從業者重新考慮傳統的計算范式，用于處理一些曾經具有挑戰性的人類水平任務，如問答、機器翻譯和對話系統。然而，LLMs通常在包含通用領域的靜態、預先收集的數據集上進行訓練，導致性能隨時間逐漸降低，并且在不同內容領域之間也會降低。此外，單一的預訓練大模型無法滿足每個用戶的需求，需要進一步的微調。盡管重新收集預訓練數據和根據額外的具體需求重新訓練模型是一種潛在的解決方案，但這種方法在現實世界場景中代價高昂且不切實際。為了有效地適應LLMs到下游任務，同時盡量減少對以前知識領域的性能退化，研究者采用了持續學習的方法，也稱為終身學習或增量學習。持續學習受到人類大腦中觀察到的增量學習模式的啟發，涉及按順序在一系列任務上訓練機器學習模型，期望在所有任務中保持性能。在訓練過程中，模型對以前的數據有限或無法訪問，這在保留過去知識時構成了一個挑戰，因為在當前任務學習時，來自未見過的以前數據的優化約束是不存在的。這一挑戰，被稱為災難性遺忘，自持續學習研究開始以來一直是研究的中心焦點。多年來，研究者探索了各種技術來減輕機器學習模型中的遺忘，這些技術包括基于重放的方法、參數規范化和模型架構擴展。這些技術共同顯著推進了在不同任務、模型架構和學習范式中實現零遺忘的持續學習目標。在順序訓練和適應LLMs的背景下，CL的重要性也正在發生自身的語義轉變。為了更好地突出這一持續的轉變，在這篇綜述中，我們提供了一個關于LLMs在CL背景下當前研究進展的全面概覽和詳細討論。對于持續學習LLMs的總體情況，我們將其分為兩個需要由從業者解決的連續性方向（第3節）：

• 垂直連續性（或垂直持續學習），指的是LLMs從大規模通用領域到小規模特定領域的持續適應，涉及學習目標和執行實體的轉變。例如，醫療機構可能開發專門為醫療領域定制的LLMs，同時保留其一般推理和問答能力，以服務用戶。
• 水平連續性（或水平持續學習），指的是跨時間和領域的持續適應，通常涉及多個訓練階段和對災難性遺忘的增加脆弱性。例如，社交媒體平臺不斷更新LLMs以反映最近的趨勢，確保精確地定位下游服務如廣告和推薦，同時為現有用戶提供無縫的用戶體驗。

在圖1中，繼垂直連續性之后，我們勾畫了現代CL中LLM學習的三個關鍵階段：持續預訓練（CPT）、領域適應性預訓練（DAP）和持續微調（CFT）（第4節）。在CPT中，現有研究主要調查三種類型的分布式轉變：時間、內容層次和語言層次。每種都呈現出獨特的焦點和挑戰。在DAP中，雖然它主要被視為為下游任務準備LLMs的過程，但頻繁地使用CL評估和技術。然而，這些技術的多樣性明顯不足，考慮到傳統CL社區的成熟度。在CFT中，我們關注的是學習LLMs的新興領域，涵蓋持續指令調整（CIT）、持續模型精煉（CMR）、持續模型對齊（CMA）和持續多模態LLMs（CMLLMs）等主題。接下來，我們呈現了一系列公開可用的評估協議和基準（第5節）。我們總結我們的綜述，討論了LLMs持續學習的最新出現的特性，傳統增量學習類型和LLMs持續學習中的記憶約束的角色變化，以及這個主題的潛在研究方向（第6節）。總結而言，本文提供了一份詳盡的現有持續學習研究LLMs的綜述，顯著區別于相關主題的現有文獻。我們的綜述突出了持續開發LLMs的研究領域，特別是在持續預訓練（CPT）和領域適應性預訓練（DAP）領域的研究。我們強調需要社區更多的關注，迫切需要包括開發實用、易于訪問且廣為認可的評估基準。此外，需要定制方法來解決在新興的大型語言模型學習范式中的遺忘問題。我們希望這篇綜述能提供一個系統而新穎的持續學習視角，在迅速變化的LLMs領域中，幫助持續學習社區為開發更有效、可靠和可持續的LLMs做出貢獻。

組織結構

本文的其余部分安排如下。我們首先在第2節介紹大型語言模型和持續學習的背景和初步知識。然后我們在第3節展示了大型語言模型的現代持續學習概覽。從垂直角度來看，它可以大致分為三個階段的LLMs持續訓練，我們將在第4節逐一介紹每個階段。在4.3節中，將介紹持續微調LLMs的獨特方面，包括持續指令調整（4.3.3節）、持續模型精煉（4.3.4節）、持續模型對齊（4.3.5節）和持續多模態大型語言模型（4.3.6節）。在第5節中，我們提供了公開可用的LLMs持續學習評估協議和基準的全面介紹。最后，在第6節中，我們討論了在大型語言模型時代持續學習的角色，包括大規模持續LLMs的新興能力（6.1節）、三種類型的持續學習（6.2節）、LLMs持續學習中的記憶角色（6.3節）以及未來的研究方向（6.4節）。 持續學習與大型語言模型相遇：概覽****大型語言模型（LLMs）在多個維度上都非常龐大，包括模型參數的大小、預訓練數據集、計算資源、項目團隊和開發周期。LLMs的巨大規模為開發團隊帶來了顯著的挑戰，特別是在快速變化的環境中保持更新。舉例來說，2023年，用戶發布的新推文的平均每日流量超過5億，即使是在這么大量數據的“小”子集上進行訓練也是不可承受的。在考慮到它們對下游應用的連鎖影響時，有效且可靠地適應LLMs變得更為關鍵。下游用戶通常缺乏收集和存儲大規模數據、維護大規模硬件系統以及自行訓練LLMs的專業知識。《可回收調整》是首個明確概述現代LLM生產流水線供應商-消費者結構的先導研究。在供應商側，模型在一系列大規模未標記數據集上持續進行預訓練。每次預訓練模型發布后，消費者需要利用更新、更強大的上游模型以獲得更好的下游性能。為了提高下游消費者微調的效率，他們最初對持續預訓練的LLMs進行了幾項關鍵觀察，聚焦于模式連接性和功能相似性。此外，他們提出在上游預訓練LLM進行重大更新后，復用過時的微調組件。基于《可回收調整》引入的概念框架，我們在本綜述中提出了一個包含各種研究的現代生產流水線的全面框架，涉及持續LLM預訓練、適應和部署，如圖1所示。我們的框架與現有研究的不同之處在于融入了兩個連續性方向：垂直連續性和水平連續性。

結論

在這項工作中，我們提供了一份關于持續LLMs的綜述，從持續學習的角度總結了它們在訓練和部署方面的最新進展。我們根據它們在我們提出的現代分層持續學習LLMs的更廣框架內的位置，對問題和任務進行了分類。雖然這一領域在社區中的興趣廣泛且日益增長，但我們也注意到幾個缺失的基石，包括算法多樣性以及對大模型行為（如知識遺忘、轉移和獲取）的基本理解。通過全面而詳細的方法，我們希望這篇綜述能激勵更多從業者探索持續學習技術，最終有助于構建健壯和自我進化的人工智能系統。

圖是一種自然表示方式，適用于基于連接實體之間關系的系統。當考慮與感興趣的過程相關的目標函數時，會出現組合優化問題，這些問題通常具有挑戰性，因為解決方案空間的迅速增長。強化學習的試錯范式最近已經成為一種有前景的替代傳統方法，如精確算法和（元）啟發式算法，用于在化學、計算機科學和統計學等多種學科中發現更好的決策策略。盡管這些技術源自截然不同的領域，但它們具有顯著的共性。因此，我們著手將這些工作綜合在我們稱之為圖強化學習的統一視角中，將其解釋為圖問題的一種構造性決策方法。在介紹相關的技術背景后，我們回顧了這些研究工作，并沿著是否旨在優化給定過程的圖結構，或在固定圖結構下優化過程本身的結果這一分界線進行了評述。最后，我們討論了該領域面臨的共同挑戰和開放性研究問題。與其他綜述不同，本工作關注于非典型圖問題，對于這些問題，通常沒有已知的高效算法，而強化學習能夠提供高效且有效的解決方案。

圖是一個數學概念，用于形式化由關系（邊）連接的實體（節點）的系統。超越原始拓撲結構，圖中的節點和邊常常與屬性相關聯：例如，一個邊可以與距離度量的值相關聯（Barthélemy, 2011）。通過這樣的特性增強，圖成為了一種強大的形式主義，能夠表示各種系統。這種靈活性使得它們被廣泛應用于計算機科學、生物學和社會科學等多樣的領域（Newman, 2018）。這種類型的數學建模可以用來分析性地檢查網絡的結構和行為，構建預測模型和算法，并將它們應用于實際問題。除了描述在圖上發生的過程外，一個自然的問題是如何介入網絡以優化給定過程的結果。這類在離散結構上的組合優化問題通常具有挑戰性，因為解決方案空間的迅速增長。一個著名的例子是旅行商問題（TSP），它要求在一個完全連通的圖中找到一個哈密頓回路，使得路徑長度總和最小化。

近年來，機器學習（ML）開始作為解決組合優化問題的有價值工具而興起，研究人員預計其影響將是革命性的（Bengio et al., 2021; Cappart et al., 2021）。特別是，強化學習（RL）的范式已顯示出通過試錯發現能夠勝過傳統精確方法和（元）啟發式方法的算法的潛力。一個常見的模式是將感興趣的問題表達為一個馬爾可夫決策過程（MDP），在其中，一個代理逐步構建解決方案，并根據其優化目標函數的能力獲得獎勵。從MDP公式開始，可以透明地應用各種RL算法，這使得這種方法在可以解決的問題類型上非常靈活。與此同時，開始出現了使用RL解決圖組合優化問題的工作，涵蓋了從化學（You et al., 2018a），計算機科學（Valadarsky et al., 2017），經濟學（Darvariu et al., 2021b）到統計學（Zhu et al., 2020）等多種科學領域。

本綜述的目標是提出一個統一框架，我們稱之為圖強化學習（Graph RL），用于處理圖上的決策問題。我們將綜合可以在這個新興范式的背景下解釋的各種方法。我們將討論幾個組合優化問題，重點是那些通常不知道有效、高性能算法的非典型問題。事實上，最近的綜述關注的是應用RL解決典型問題的作品，我們使用“典型問題”這一術語來指代可能已經被研究了幾十年的問題。例如，僅關于解決上述TSP的研究就可以追溯到近70年前Dantzig等人的論文（1954），并且存在非常有效的算法可以最優地（Applegate et al., 2009）或近似地（Lin & Kernighan, 1973; Helsgaun, 2000）解決多達數千萬節點的實例。其他值得注意的典型問題包括最大獨立集（Ahn et al., 2020）、最大割（Khalil et al., 2017; Ahn et al., 2020）以及諸如車輛路徑問題（VRP）（Kool et al., 2019; Kim & Park, 2021）等路由問題。除了少數例外，盡管在這些基準問題上的工作對于推動基于ML方法的極限很重要，但目前它們還不能直接與成熟的、高度優化的啟發式和精確求解器競爭。因此，本文與其他綜述（Mazyavkina et al., 2021; Wang & Tang, 2021）和觀點（Bengio et al., 2021; Cappart et al., 2021）相輔相成，無論是在提出統一范式還是關注非典型問題方面。

本文的其余部分如下組織。在第2節中，我們提供了關于圖上的組合優化問題及其使用RL方法的相關技術背景。隨后，在第3節中，我們回顧了考慮優化圖結構的工作（即，從頭開始創建圖或修改現有圖）以使目標函數最大化。然后，在第4節中，我們綜述了在固定圖結構下優化過程的論文。第5節討論了在應用這些技術時面臨的常見挑戰，這些也可以視為未來工作中需要解決的重要研究問題，此外還總結了一些關鍵的應用領域。我們在第6節以圖強化學習作為解決圖上組合優化問題的統一范式的討論來結束本文。

圖結構優化在機器學習（ML）處理典型圖組合優化問題的工作中，一個共有的特點是它們通常不涉及對圖的拓撲結構進行改變。具體來說，需要在假設網絡結構保持固定的情況下找到解決方案。學習構建圖或修改其結構以優化給定目標函數的問題在ML文獻中相對較少關注。在這一部分，我們回顧了處理修改圖拓撲結構以優化感興趣的量的問題的工作，并使用強化學習（RL）來發現實施這一過程的策略。這是通過與環境的互動來執行的。

在高層次上，這類問題可以被表述為尋找滿足argmaxG∈G F(G)的圖G，其中G是要搜索的可能圖的集合，F如前所述，是目標函數。我們在圖2中示意了這一過程。精確的框架取決于問題，并可能涉及從一個空圖開始還是從一個現有的圖開始選擇，以及對圖的有效性如空間限制、非循環性或平面性施加約束。如圖3所示，動作空間的設計也可以變化。代理可能被允許進行邊的添加、移除和重連，或者這些操作的某種組合。 鑒于范圍的自然限制，我們只考慮那些（1）使用圖表示問題；（2）通過RL訓練策略進行結構優化的工作。讓我們簡要討論一下相關但不在討論范圍內的一系列工作。ML文獻中的幾項工作考慮了生成與提供的數據集具有類似屬性的圖。這通常使用深度生成模型執行，并可被視為經典圖生成模型的基于ML的替代方法，例如Barabási & Albert（1999）的模型。這些工作主要使用最終圖（即“成品”）的示例數據集，并不使用中間的，從某種意義上說，對應于生成過程本身的步驟。它們還需要大量相關的示例集合，這些可能并不總是可用的，具體取決于領域。

在這一領域，使用自回歸模型（如LSTM或GRU）的工作類似于MDP公式；例如添加邊的決策可以被視為序列中的一個標記，由模型學習。這一領域的一些值得注意的工作包括Li等人（2018）提出的技術，GraphRNN（You等人，2018b），以及圖重復注意網絡（Liao等人，2019）。其他類型的生成模型，如變分自編碼器和生成對抗網絡，也被用于生成分子（Kusner等人，2017; Guimaraes等人，2018; De Cao & Kipf, 2018; Jin等人，2018）。

本節的其余部分深入回顧了相關論文，按問題家族分組。我們涵蓋了旨在學習如何攻擊GNN、設計網絡結構、發現因果圖和構建分子圖的工作。考慮的論文根據其采用的技術和特點在表1中進行了總結。 在這項綜述中，我們討論了圖強化學習這一新興領域，這是一種通過試錯學習來解決圖上計算挑戰性優化問題的方法。我們特別關注那些尚未知曉高效算法的問題，以及傳統的啟發式和元啟發式算法通常無法提供滿意性能的問題。我們將這些工作分為兩類。第一類是圖結構優化，包括需要找到最優圖結構的問題，這在對抗性攻擊圖神經網絡、網絡設計、因果發現和分子優化等領域有顯著應用。第二類是圖過程優化，將圖結構視為固定不變，代理在離散的可能控制行動空間中進行搜索，以優化過程的結果。這包括網絡路由、游戲、傳播過程和圖搜索等問題。最后，我們討論了該領域面臨的主要挑戰，其解決可能具有非常重大的影響。

將文本和視覺模態連接起來在生成智能中扮演著至關重要的角色。因此，受到大型語言模型成功的啟發，大量研究努力正被投入到多模態大型語言模型（MLLMs）的開發中。這些模型能夠無縫整合視覺和文本模態，無論是作為輸入還是輸出，同時提供基于對話的界面和遵循指令的能力。在這篇論文中，我們提供了近期基于視覺的MLLMs的全面回顧，分析它們的架構選擇、多模態對齊策略和訓練技巧。我們還對這些模型在廣泛的任務范圍內進行了詳細分析，包括視覺定位、圖像生成和編輯、視覺理解和領域特定應用。此外，我們編制并描述了訓練數據集和評估基準，就性能和計算需求在現有模型之間進行了比較。總的來說，這篇綜述提供了當前藝術狀態的全面概述，為未來MLLMs的發展奠定了基礎。

//www.zhuanzhi.ai/paper/3c58ed684809b9b936259fd61a4bb074

注意力操作符和Transformer架構（Vaswani et al., 2017）的引入，使得創建能夠處理各種模態的模型成為可能，并且這種處理能力在不斷擴大的規模上得到應用。這一進步很大程度上歸功于操作符的多功能性和架構的適應性。最初，這一突破被用于語言特定模型（Devlin et al., 2018; Brown et al., 2020），但很快擴展到支持視覺處理骨干（Dosovitskiy et al., 2021），最終用于集成多種模態的模型（Radford et al., 2021）。復雜大型語言模型（LLMs）的涌現，特別是它們進行上下文學習的能力，鼓勵研究人員將這些模型的應用范圍拓寬到多模態，包括作為輸入和輸出。這一擴展導致了如GPT-4V（Achiam et al., 2023）和Gemini（Anil et al., 2023）等尖端模型的開發，展示了最先進的性能。多模態大型語言模型（MLLMs）的開發涉及將視覺和語言的單模態架構合并，通過視覺到語言的適配器建立它們之間的有效連接，并設計創新的訓練方法。這些方法對于確保模態對齊和準確遵循指令的能力至關重要。在新模型快速發布的背景下，我們的目標是提供關于MLLM領域的全面概述，重點關注利用視覺模態的模型。這一概述既是對當前狀態的更新，也是對未來發展的靈感來源。我們確定了定義這些模型的三個核心方面：它們的架構、訓練方法以及它們被設計來執行的任務。我們首先詳細介紹了流行的視覺編碼器選擇和為LLMs裝備跨模態能力的適配器模塊。接著，我們深入訓練過程和使用的數據。然后，我們探索MLLMs處理的任務范圍。綜述以對該領域持續存在的挑戰和未來研究的有希望方向的討論結束。關于訓練數據、評估數據集以及性能和計算要求的進一步細節在補充材料中報告。

賦予大型語言模型多模態能力

** 前言**

大型語言模型。Brown等人（2020）發現上下文學習，即在提示前附加一些示例以演示大型語言模型（LLM）的期望輸出（Chowdhery等人，2023；Hoffmann等人，2022；Tay等人，2022），可以提高其性能，特別是在未見過的任務上。通過為每個訓練樣本提供所需任務的自然語言描述，可以進一步提高泛化能力。這種技術，稱為指令調優（Chung等人，2022；Wang等人，2022b,a；Jiang等人，2024），對于使LLM的行為與人類的行為對齊至關重要，目前賦能了最先進的LLM，最終通過來自人類反饋的強化學習（RLHF）（Ouyang等人，2022；Achiam等人，2023；Chen等人，2023j；Bai等人，2023a）得到提升。PEFT。當一個預訓練的LLM需要適應特定領域或應用時，參數高效微調（PEFT）方案代表了訓練整個LLM的一個重要替代方案，因為這些策略只引入少量新參數。其中，提示調優（Hambardzumyan等人，2021；Lester等人，2021；Li和Liang，2021；Liu等人，2023j）學習一小組向量作為軟提示在輸入文本之前輸入模型。不同的是，LoRA（Hu等人，2021）通過學習低秩矩陣限制了新權重的數量。這種技術與如QLoRA（Dettmers等人，2023）等量化方法正交，進一步減少了LLM的內存占用，與通常的半精度權重相比。走向多模態LLM。MLLM的發展與LLM的發展路徑類似，Flamingo（Alayrac等人，2022）是首個在視覺-語言領域探索大規模上下文學習的模型。然后，視覺指令調優（Liu等人，2023e）迅速成為多模態領域中最突出的訓練范式，以及使用PEFT技術微調LLM。任何MLLM至少包含三個組件（圖1）：作為與用戶接口的LLM主干，一個（或多個）視覺編碼器，以及一個或多個視覺到語言的適配器模塊。對LLM主干的流行選擇通常屬于LLaMA家族（Touvron等人，2023a,b），鑒于它們的權重是自由可獲取的，它們僅在公開數據上進行了訓練，并且它們擁有不同的大小以適應各種用例。此外，它們的衍生版本也很受歡迎，例如Alpaca（Taori等人，2023）和Vicuna（Chiang等人，2023）。前者在GPT-3編寫的指令上微調LLaMA，而后者利用用戶與ChatGPT（OpenAI，2022）的共享對話。其他選擇包括OPT（Zhang等人，2022b），Magneto（Wang等人，2023b），MPT（MosaicML，2023），以及經過指令調優（Chung等人，2022）或多語言（Xue等人，2020）版本的T5（Raffel等人，2020），一種為多個任務預訓練的編解碼器語言模型。 本調查中涵蓋的MLLM的總結報告在表1中，指出每個模型基于哪個LLM，視覺編碼器，用于連接視覺和語言組件的適配器，MLLM是否經過視覺指令調優訓練，以及主要任務和能力的簡短列表。視覺編碼器在MLLM中，一個關鍵組件是視覺編碼器，它專門設計用于為LLM提供提取的視覺特征。通常采用凍結的預訓練視覺編碼器，同時只訓練一個可學習的接口，將視覺特征與底層LLM連接起來。最常用的視覺編碼器基于預訓練的Vision Transformer（ViT）模型，具有CLIP-based目標，以利用CLIP嵌入的固有對齊。流行的選擇包括CLIP（Radford等人，2021）的ViT-L模型，OpenCLIP（Wortsman等人，2022）的ViT-H主干，以及EVA-CLIP（Fang等人，2023）的ViT-g版本。CLIP和OpenCLIP編碼器在從網絡收集的圖像上訓練，采用對比方法對正確的圖像-文本對進行對齊。相反，EVA-CLIP是一系列模型，提供了訓練CLIP模型的實用有效解決方案。特別是，EVA模型預訓練為重建被遮擋的圖像-文本對齊視覺特征，條件是可見的圖像塊。 正如（Li等人，2023f）所示，更強大的圖像編碼器導致更好的性能。基于這一見解，Lin等人（2023b）和Gao等人（2024）提出了一個凍結視覺主干的集合，以捕獲魯棒的視覺表示和不同級別的信息粒度。同時，PaLI模型（Chen等人，2023i,g），注意到語言和視覺參數之間的不平衡，分別提出將視覺主干擴展到4億和220億參數的ViT。使用如此大且強大的模型是通過在訓練期間保持視覺編碼器凍結的常見做法變得可行的，如（Li等人，2023f；Huang等人，2023a；Gao等人，2023；Chen等人，2023f）中所觀察到的。然而，使用凍結的視覺編碼器有一些局限性，主要是由于參數數量有限，導致視覺和語言模態之間對齊不足。具體來說，從視覺模型提取的密集特征可能會碎片化細粒度圖像信息，并由于輸入語言模型的長序列而帶來大量計算。為了緩解這個問題，其他方法（Ye等人，2023c,d）采用兩階段訓練范式。在第一階段，他們結合了可訓練的視覺主干，同時保持預訓練的LLM凍結。根據他們的發現，使視覺編碼器可訓練可以提高諸如視覺問題回答或視覺描述等任務的性能。然而，它可能導致其他任務的性能下降，表明一定程度的遺忘和對通用視覺表示的損害。

視覺到語言的適配器

來自不同模態的輸入的同時存在強調了需要納入一個能夠勾畫出這些單模態領域內潛在對應關系的模塊的必要性。這些模塊，稱為“適配器”，旨在促進視覺和文本領域之間的互操作性。在常見的MLLM中使用了不同適配器的范圍，從基本架構（如線性層或MLP）到高級方法（如基于Transformer的解決方案），如Q-Former模型，以及添加到LLM的條件交叉注意力層。線性和MLP投影。將視覺輸入投影到文本嵌入中的最直接方法涉及學習線性映射，將視覺特征轉換為與文本對應部分相同的維度。一些方法，如LLaMA-Adapter（Gao等人，2023）和FROMAGe（Koh等人，2023b）只使用單個線性層來執行多模態連接，而LLaVA-1.5（Liu等人，2023d）采用了兩層MLP，顯示出改進的多模態能力。盡管在早期MLLM中廣泛采用線性投影，但即使在對視覺輸入有更深入理解的最新方法中，線性投影的使用也被證明非常有效（Chen等人，2023f；Lin等人，2023a；Wang等人，2023c；You等人，2023；Zhao等人，2023a）。因此，它是一種簡單而有效的技術，用于將視覺特征與文本對應部分對齊。不同的方法（Cha等人，2023）提議用卷積層替換線性層，顯示出適度的改進。 Q-Former。它是BLIP-2（Li等人，2023f）中提出的基于Transformer的模型，然后在幾種其他方法（Chen等人，2023d；Dai等人，2023；Hu等人，2024）中使用。它的特點是具有可適應的架構，由兩個共享相互注意力層的Transformer塊組成，促進視覺和文本表示之間的對齊過程。它涉及一組可學習的查詢，在自注意力層內部交互，并通過交叉注意力機制與視覺特征接口。文本和視覺元素通過模塊內的共享自注意進行通信。從Q-Former中汲取靈感，引入了各種修改版本。在這方面，mPLUG-Owl模型（Ye等人，2023c,d）簡化了Q-Former架構，并提出了一個視覺抽象器組件，通過將視覺信息壓縮為不同的可學習令牌來操作，以獲得更富語義的視覺表示。同一線上，Qwen-VL（Bai等人，2023b）使用具有可學習查詢的單層交叉注意力模塊壓縮視覺特征，還結合了2D位置編碼。附加交叉注意力層。這種方法在Flamingo（Alayrac等人，2022）中被提出，通過在現有預訓練LLM層中集成密集交叉注意力塊。新添加的層通常與零初始化的tanh門控機制結合使用，以確保在初始化時，條件模型的行為如其原始版本。使用附加交叉注意力層需要從頭開始訓練它們，與其他替代方案相比，增加了可訓練參數的數量。為了減少計算復雜性，這種策略通常與基于Perceiver的組件（Jaegle等人，2021）配對使用，該組件在將視覺令牌輸入LLM之前減少了它們的數量。自從引入以來，幾個模型（Awadalla等人，2023；Chen等人，2023b；Lauren?on等人，2023；Li等人，2023a）采用這種技術將視覺模態與底層LLM連接起來，顯示出提高了訓練穩定性和改善了性能。

多模態訓練

從預訓練的LLM開始，MLLM的訓練經歷了單階段或兩階段過程。在這兩種情況下，都使用標準的交叉熵損失來預測下一個令牌，作為自回歸目標。 單階段訓練。這種可能性由LLaMA-Adapter（Gao等人，2023）探索，它引入了額外的可訓練參數以封裝視覺知識并同時管理僅文本指令學習。為了實現這一點，模型使用圖像-文本對和指令進行聯合訓練，操作獨立的參數。同時，（Koh等人，2023b）中提出的模型通過整合兩個對比損失來適應最終損失函數，用于圖像-文本檢索。在訓練期間，只更新三個線性層。另一方面，Kosmos-1（Huang等人，2023a）考慮了一個凍結的視覺主干，并從頭開始訓練1.3B參數的語言模型。 Flamingo（Alayrac等人，2022）及其開源變體（Awadalla等人，2023；Lauren?on等人，2023），相反，訓練交叉注意力層和基于Perceiver的組件以將視覺特征與凍結的LLM塊連接起來。此外，Otter（Li等人，2023a）擴展了Flamingo的訓練以增加其上下文能力。 鑒于目前可用的訓練數據量，像SPHINX-X（Gao等人，2024）這樣的方法選擇執行單一的一體化訓練階段，在此階段更新所有模型組件，可能還使用僅文本數據以保留LLM的對話能力。

兩階段訓練。在兩個訓練階段中的第一個，目標是將圖像特征與文本嵌入空間對齊。經過這一階段后，輸出往往是碎片化的且不連貫的。因此，進行第二步以提高多模態對話能力。LLaVA（Liu等人，2023e,d）是首批引入視覺指令遵循訓練方案的方法之一，作為第二訓練階段執行，更新多模態適配器和LLM的參數。在第一階段，相反，只有多模態適配器是可訓練的。不同的是，MiniGPT4（Zhu等人，2023a）值得注意的是，在兩個階段中僅訓練負責多模態對齊的線性層。在第二階段，它使用經過模型自身在第一階段后收集和精煉的過濾數據。

另一種方法，如InstructBLIP（Dai等人，2023）所示，涉及凍結視覺編碼器和LLM。在兩個訓練階段中，只有Q-Former和連接模塊是可訓練的。與之前保持視覺主干凍結的方法相比，mPLUG-Owl（Ye等人，2023c,d）在初始階段更新它，便于捕獲低層次和高層次的視覺信息。此外，在第二階段聯合使用僅文本和多模態數據以增加對齊。不同地，Shikra（Chen等人，2023f）在兩個階段中更新所有權重，唯一的例外是視覺主干保持凍結。

訓練數據。在第一階段（或單一階段）訓練中，通常使用來自不同來源的圖像-文本對，使用的數據集包括LAION-2B（Schuhmann等人，2022）、LAION-400M（Schuhmann等人，2021）、Conceptual Captions（Sharma等人，2018）、COYO-700M（Byeon等人，2022）和DataComp（Gadre等人，2023）。一些方法（Lin等人，2023a）將這些與一個或多個數據集結合使用，這些數據集的特點是文本與圖像交錯，通常從網絡上抓取，如WebLI（Chen等人，2023i）、MMC4（Zhu等人，2023d）、MMDialog（Feng等人，2023b）和OBELICS（Lauren?on等人，2023）。

為了解決以前數據集中的偏差和噪聲問題，StableLLaVA（Li等人，2023h）引入了在第一階段使用的新收集數據。這種方法利用ChatGPT生成包含圖像生成提示和基于內容的對話的數據，并使用Stable Diffusion（Rombach等人，2022）生成相應的圖像。隨后的階段則利用數據集進行視覺指令調優。其中，常用的LLaVA-Instruct（Liu等人，2023e）擴展了COCO（Lin等人，2014）并加入了由GPT-4生成的指令。遵循這一趨勢，Zhao等人（2023a）通過結合手動生成的數據和高質量多樣性的數據，擴大了尺寸。此外，還提出了其他多輪對話數據集，如（Dai等人，2023）中介紹的將26個公開可用數據集轉換為其視覺指令遵循版本的數據集，LRV-Instruction（Liu等人，2023c）旨在通過更穩健的指令減少幻覺，而LLaVAR（Zhang等人，2023h）則專注于文本豐富的圖像。

用多模態大型語言模型處理視覺任務

標準的多模態大型語言模型可以處理視覺理解任務，例如視覺問答（VQA）、圖像描述和多輪對話。然而，最近對處理更細粒度的視覺任務，如視覺定位和圖像生成，有了更大的興趣。

結論與未來方向

在本綜述中，我們提供了最近多模態大型語言模型（MLLMs）進化的全面概述，首先關注如何為LLMs裝備多模態能力，然后探討這些模型處理的主要任務。基于所呈現的分析，以下我們概述了重要的開放挑戰和有前景的未來研究方向，以進一步增強MLLMs的能力。 修正幻覺現象。幾項研究（Liu等人，2023b；Zhu等人，2023a）表明MLLMs傾向于展現高幻覺率，特別是在生成較長的描述時。盡管一些解決方案正在出現以緩解這個問題（Liu等人，2023b；Wang等人，2023a；Wu等人，2023c；Yin等人，2023a），但理解和糾正幻覺的根本原因仍然是一個重要的開放挑戰，值得解決，以允許這些模型在更關鍵的背景中（例如，醫學）應用，并保證它們的準確性和可信度。 預防有害和有偏見的生成。確保大規模模型的安全性和公平性是社區的基本興趣。近期工作表明，基于網絡爬取數據訓練的模型傾向于生成不適當和有偏見的內容。盡管最近正在努力在文本到圖像生成模型中減少這種現象（Schramowski等人，2023；Friedrich等人，2023），但需要進一步探索以防止MLLMs中出現相同的行為（Pi等人，2024）。 減少計算負荷。如補充材料所示，MLLMs高度依賴于計算。需要有效的策略（Chu等人，2024）來減少計算需求，使MLLMs的開發更加易于獲取。可能的方向包括減少訓練要求，無論是在模型規模還是數據量方面，以及優化推理階段。

多標簽學習是一個迅速發展的研究領域，旨在從單個輸入數據點預測多個標簽。在大數據時代，涉及多標簽分類（MLC）或排名的任務提出了重大而復雜的挑戰，在多個領域吸引了相當多的注意力。MLC固有的困難包括處理高維數據、解決標簽相關性和處理部分標簽，傳統方法在這些方面效果不佳。近年來，采用深度學習（DL）技術來更有效地解決MLC中的這些挑戰的嘗試顯著增加。值得注意的是，有一個增長中的努力旨在利用DL的強大學習能力，以改進對標簽依賴性及MLC中其他挑戰的建模。 然而，值得注意的是，專門針對多標簽學習的DL的綜合研究相對有限。因此，這項綜述旨在徹底回顧DL在多標簽學習中的最新進展，以及MLC中開放研究問題的總結。 該綜述整合了DL在MLC中的現有研究努力，包括深度神經網絡、變換器（Transformer）、自編碼器、卷積和循環架構。最后，該研究提出了現有方法的比較分析，以提供有洞察力的觀察，并激發該領域未來研究方向的思考。

在許多實際應用中，一個對象可能同時與多個標簽關聯，這類問題被認為是多標簽學習（MLL）【1】。MLL是標準單標簽學習范式的擴展，在這個范式中，通常有一個有限的潛在標簽集，這些標簽可以應用于多標簽數據（MLD）的實例。基本目標是同時預測給定單個輸入的輸出向量，這意味著它可以解決更復雜的決策問題。這與單標簽分類相對，單標簽分類中每個實例只與一個標簽關聯。在多標簽任務的上下文中，一個實例通常與一組標簽相關聯，構成稱為相關標簽（活動標簽）的不同組合，而與實例未鏈接的標簽被稱為不相關標簽。相關和不相關標簽都表示為一個二進制向量，其大小與MLD中標簽的總數對齊。根據目標的不同，MLL中存在兩個主要任務：多標簽分類（MLC）和多標簽排名（MLR）【2】。MLC是主要的學習任務，涉及學習一個模型，該模型輸出一個標簽集的二分劃分，將其分為與查詢實例相關和不相關的標簽。另一方面，MLR關注于學習一個模型，該模型輸出類標簽的排序，根據它們對查詢實例的相關性進行排序。

盡管MLC應用傳統上集中在文本分析、多媒體和生物學上，但它們的重要性正在逐漸增長，涵蓋了多個領域，如文檔分類【3】【4】【5】、醫療保健【6】【7】【8】、環境建模【9】【10】、情感識別【11】【12】、商業【13】【14】、社交媒體【15】【16】【17】等。許多其他要求嚴格的應用，如視頻注釋、網頁分類和語言建模，也可以從被構建為MLC任務中獲益，這涉及到數百、數千甚至數百萬的標簽。如此廣泛的標簽空間提出了研究挑戰，例如與數據稀疏性和可擴展性相關的問題。MLC還包含額外的復雜性，包括建模標簽相關性【18】【19】、不平衡標簽【20】和噪聲標簽【21】。傳統的MLC方法，如問題轉換和算法適配【22】【23】，在解決這些挑戰時表現出次優性能。

除了傳統方法外，深度學習（DL）技術在解決MLC挑戰中越來越受歡迎。深度學習的強大學習能力特別適用于解決MLC挑戰，這通過它們在解決單標簽分類任務中的顯著成功得到了證明。目前，MLC中的一個主要趨勢是廣泛地結合DL技術，即使是對于更具挑戰性的問題，如極端MLC【24】【25】【26】、不平衡MLC【27】【28】、弱監督MLC【29】【30】【31】和缺失標簽的MLC【32】【33】。有效地利用DL的強大學習能力對于更好地理解和建模標簽相關性至關重要，從而使DL能夠有效地解決MLC問題。一些研究表明，專門設計用于捕獲標簽依賴性的MLC方法通常展示出更優越的預測性能【34】【19】。本文對現有文獻進行了簡要回顧，旨在識別一系列基于DL的技術用于MLC問題，以激發對MLC的創新DL基方法的進一步探索。已有一些關于MLC傳統方法的綜述，如在【35】【23】【36】中引用的那些。此外，還有一些綜述包含了傳統方法和DL方法【37】【38】，但這些綜述對MLC的DL方法的覆蓋有限，并且集中在特定領域。然而，本文獨特地關注于一系列DL架構，包括循環和卷積網絡、變換器、自編碼器和混合模型，用于解決多個領域中的MLC挑戰。在圖1中，我們提出了一個包含傳統方法和DL方法的多標簽學習方法的分類。

本文的主要貢獻可以概括如下：

據作者所知，本綜述是第一個全面覆蓋用于解決MLC任務的DL方法的，涵蓋了多種領域和數據模態，包括文本、音樂、圖像和視頻。

提供了一個關于多個公開可用數據集上最新DL方法的綜合總結（表I、II和III），簡要概述了每種DL方法并進行了深刻的討論。因此，本綜述為讀者提供了最先進的方法。

我們提供了當前面臨MLC領域挑戰的簡要描述。此外，我們還總結了在MLC中使用的多標簽數據集，以及評估這些數據集特性所用的屬性定義。 最后，本文提供了一項涉及各種DL技術的現有方法的比較研究，并調查了每種方法的優缺點（表V）。它提供了可以指導選擇合適技術和在未來研究中開發更好DL方法的見解。 本文的后續部分組織如下。 第II部分介紹多標簽學習的基本概念。第III部分介紹了研究方法論，重點是數據來源和搜索策略、選擇標準以及出版物的統計趨勢。第IV部分是本綜述的主要部分，討論了解決MLC挑戰的各種DL方法。第V部分關注MLC中的開放性挑戰和數據集。第VI部分提供了解決方案的比較分析，包括優勢和局限。最后，第VII部分給出了本文的結論。

近年來，DL（深度學習）的進步顯著豐富了MLC（多標簽分類）的領域景觀。DL架構在生成輸入特征和輸出空間的嵌入表示方面發揮了關鍵作用。DL的強大學習能力在各個領域的MLC任務中得到了廣泛應用，例如圖像、文本、音樂和視頻。用于MLC的最常用DL方法包括深度神經網絡、卷積、循環、自編碼器和變壓器架構，以及混合模型。有效地利用這些DL方法的優勢對于解決MLC中的標簽依賴性和其他挑戰至關重要。本節提供了這些突出DL方法在MLC中的應用概覽，并對每種技術進行了專門針對MLC的詳細考察。

智能交通系統（ITS）對于改善交通擁堵、減少交通事故、優化城市規劃等方面至關重要。然而，由于交通網絡的復雜性，傳統機器學習和統計方法已經逐漸退居二線。隨著人工智能時代的到來，許多深度學習框架在各個領域取得了顯著進展，現在被認為是許多領域中有效的方法。作為一種深度學習方法，自2019年以來，圖神經網絡（GNNs）在ITS領域成為一種極具競爭力的方法，這得益于它們在處理圖相關問題上的強大能力。因此，越來越多的學者開始關注GNNs在交通領域的應用，這些應用已經顯示出卓越的性能。然而，這一領域的大多數研究仍然集中在交通預測上，而ITS的其他領域，如自動駕駛和城市規劃，仍需要更多關注。本文旨在綜述GNNs在六個代表性和新興的ITS領域的應用：交通預測、自動駕駛、交通信號控制、交通安全、需求預測和停車管理。我們回顧了2018至2023年的廣泛的圖相關研究，總結了它們的方法、特點和貢獻，并以信息豐富的表格或列表的形式呈現。最后，我們確定了將GNNs應用于ITS的挑戰，并提出了潛在的未來方向。 隨著城市的擴張和交通系統的發展，一些交通系統問題逐漸暴露出來，包括交通擁堵、環境污染和日益增加的交通事故數量。為了緩解上述問題，改善交通流量，規劃路線，提高交通安全，五十多年前美國提出了智能交通系統（ITS）。ITS是一個涵蓋許多領域的智能系統，包括交通預測、自動駕駛、交通信號控制等。值得注意的是，交通預測是吸引最多關注的最熱門研究領域之一，因為它在交通領域具有基礎應用，如優化路線規劃，促進道路交通，減少交通事故。然而，在這些ITS子領域中實現高精度和高置信度仍然是一大挑戰。根據Verses等人[147]的說法，處理大量嘈雜數據以及可擴展性和泛化方面存在許多實際挑戰。因此，應進一步開發高效的算法和可擴展的模型，以充分利用大數據的潛力，建立準確高效的ITS。 在過去三十年中，提出了統計方法，如簡單線性時間序列模型，包括自回歸積分移動平均（ARIMA）[84, 167]，傳統機器學習方法，包括邏輯回歸（LR），支持向量回歸（SVR），k-最近鄰（KNN）[21, 68, 170]來解決這些問題。然而，數據的增長和復雜的道路條件使傳統方法逐漸退居二線。此外，計算技術的進步，如圖形處理單元（GPU），使得深度機器學習模型成為現象。根據[33]總結的深度學習驅動的交通預測的重要里程碑，自2015年以來，交通預測的深度學習模型蓬勃發展，2019年之后最受歡迎的模型是圖神經網絡（GNNs）。GNNs的優勢不僅在于能夠很好地建模基于圖的問題，還在于能夠捕捉時空依賴性并在非歐幾里得空間中表示關系[33, 69, 120]。

在對ITS領域的工作進行詳細調查后，我們發現大部分研究集中在交通預測上。然而，我們認為ITS的其他領域需要更多關注。此外，盡管最近的研究已轉向深度學習和強化學習等有前景的技術，但GNNs仍需要更多關注和應用。考慮到交通網絡的圖結構和上述GNNs的優勢，我們認為它們是ITS下一個新興且具有高度競爭力的解決方案。我們主要調查了2018年至2023年在ITS領域發表的基于GNNs的論文，并進行了詳細總結。我們還確定了ITS領域面臨的研究挑戰，并提出了一些潛在的未來發展方向。 根據以上討論，我們的主要貢獻可以總結如下： ? 綜合性綜述。對2018至2023年智能交通系統的廣泛研究工作或調查進行了詳細調研。這項研究不僅涵蓋了ITS的一般和典型研究領域，而且對所綜述的研究進行了詳細闡述，總結了它們的方法和挑戰，并形成了信息豐富的表格和列表。 ? 全面的分類法。我們根據研究領域相關性、使用的圖方法和遇到的特定領域挑戰仔細分類了研究學術文獻，幫助讀者從多維度充分理解ITS的每個領域。 ? 挑戰和未來方向。在進行全面綜述后，我們總結了將GNNs應用于ITS時面臨的重大挑戰，并提出了潛在的未來方向，這對于那些想要跟進并深入研究這一研究領域的人來說是有益的。

多模態3D場景理解由于其在自動駕駛和人機交互等多個領域的廣泛應用而受到了廣泛關注。與傳統的單一模態3D理解相比，引入額外的模態不僅提高了場景解釋的豐富性和精確性，而且確保了更為魯棒和有彈性的理解。在多變和具有挑戰性的環境中，這尤為重要，因為僅依賴3D數據可能是不夠的。盡管在過去三年中，多模態3D方法的發展呈現上升趨勢，尤其是那些整合多攝像頭圖像（3D+2D）和文本描述（3D+語言）的方法，但值得注意的是，缺乏一個全面且深入的綜述。在這篇文章中，我們提供了最近進展的系統性調研，以填補這一空白。我們首先簡要介紹一個背景，正式定義各種3D多模態任務并總結其固有的挑戰。之后，我們提出了一個新穎的分類法，根據模態和任務對現有方法進行了全面分類，探索了它們各自的優勢和局限性。此外，我們還提供了最近方法在幾個基準數據集上的比較結果，以及深入的分析。最后，我們討論了尚未解決的問題，并為未來的研究提供了幾個可能的方向。

//www.zhuanzhi.ai/paper/db0ef107bb8313585581f0bab52ab996

給定一個3D點云和來自另一模態的信息，如2D圖像和自然語言，多模態3D場景理解旨在理解每個物體及其周圍環境的語義含義 [1], [2], [3]。對3D場景的全面理解使代理能夠識別實體的類別和位置，并創建場景的新品牌內容和風格。與僅使用3D點云相比，2D圖像的加入提供了額外的顏色和紋理信息，而自然語言的引入則實現了人機交互。因此，多模態3D場景理解已成為計算機視覺中的一個重要研究領域，應用于自動駕駛[4]、機器人導航[5]和人機交互[6]。

多模態3D場景理解可進一步分為：(1) 3D+2D場景理解。3D LiDAR點云提供了充足的深度和幾何結構信息，這有助于獲得3D物體的形狀和姿態。但它們缺乏顏色信息和紋理細節，對于遠距離的物體往往稀疏而無序[7], [8], [9], [10], [11]。相反，2D相機圖像通常包含豐富的顏色、紋理和背景，但缺乏幾何信息，且易受天氣和光線條件的影響[12], [13], [14], [15]。自然地，利用LiDAR點云和相機圖像之間的互補性可以更好地、更完整地感知3D環境。但這兩種傳感器捕獲的同一個3D場景的表示之間經常會出現差異，因為LiDAR傳感器通過360度旋轉捕獲點云，而相機從透視視圖捕獲圖像，沒有深度感[16]。為了解決這個問題，提出了一些3D+2D場景理解方法，通過基于幾何的對齊[17]和基于語義的對齊[18]來進行LiDAR-相機融合。基于融合的特征，這些方法可以進一步執行3D物體檢測和分割[19], [20], [21]，這通常用于自動駕駛和機器人導航。(2) 3D+語言場景理解。傳統的3D場景理解通常要求用戶具有專業知識，這對普通用戶不友好[22], [23], [24], [25], [26], [27]。用戶現在期望有一種更便捷的方式將他們的意圖傳達給計算機，實現信息交換并獲得個性化的結果。為了實現便捷的人機交互，研究人員提出了3D+語言場景理解。它結合3D視覺信息和自然語言作為輸入[28], [29], [30]，因為自然語言可以作為背景知識和查詢條件來反映用戶意圖。通過多模態交互，經常采用如Transformer[31], [32]或圖神經網絡[33], [34]等技術，3D+語言場景理解方法不僅可以定位用戶提到的實體（例如，視覺定位和開放詞匯識別），還可以生成用戶所需的內容（例如，密集字幕，視覺問題回答，場景生成）。

盡管近年來出現了眾多方法，但多模態3D場景理解的很大一部分仍然分散在不同的任務中，并且沒有此類系統的調查存在。因此，有必要系統地總結近期的研究，全面評估不同方法的性能，并有前瞻性地指出未來的研究方向。這激發了本次調查，將填補這一空白。本文的主要貢獻可以總結為：

? 關于多模態3D場景理解的系統性調查。據我們所知，這是第一篇全面討論多模態3D場景理解近期進展的調查。為了使讀者對我們的文章有清晰的理解，我們從所需數據模態和目標下游任務的角度將算法分類為不同的分類，如圖1所示。

? 全面的性能評估和分析。我們比較了幾個公開可用的數據集上現有的多模態3D場景理解方法。我們的深入分析可以幫助研究者為其特定應用選擇合適的基線，同時也提供了關于修改現有方法的有價值的見解。

?** 對未來前景的有洞察力的討論**。基于系統調查和全面的性能比較，討論了一些有前途的未來研究方向，包括大規模3D基礎模型、數據高效訓練、3D建模的計算效率以及添加額外模態。

本文的結構組織如下。第2節總結了多模態3D場景理解中的問題定義和主要挑戰。第3節和第4節分別對3D+2D和3D+語言場景理解中用于不同下游任務的典型方法進行了深入探討。第5節介紹了基準數據集、評估指標以及不同技術的比較分析。最后，第6節總結了這篇文章并討論了未來研究的有前途的方向。

3D+2D多模態場景理解可以細分為多模態室外/室內3D對象檢測和多模態室外/室內3D語義分割。從2020年至今的現有3D+2D多模態方法的時間性概述如圖2所示。

3D+語言多模態場景理解可以分為3D視覺錨定、3D密集標注、3D問題回答、文本驅動的3D場景生成、開放詞匯的3D識別以及其他類別。從2020年至今的現有3D+語言多模態方法的時間性概述如圖5所示。

**結論與展望 **

本綜述為您提供了多模態3D場景理解的最新深入了解。我們首先總結了3D+2D和3D+語言情況下的任務定義和固有挑戰。接著是對每個任務的關鍵技術的結構化分類。此外，我們提供了對幾個基準數據集的最新進展的比較結果，并提供了有洞察力的觀察。我們希望這項調查能為新手和經驗豐富的從業者提供一個全面的指導。在多模態3D場景理解中，仍有許多進一步探索的可能性。以下提供了一些有前途的未來研究方向。 大規模3D-語言基礎模型。基于2D到3D轉移的當前3D VLMs在零射擊能力和下游應用中受到限制，主要是由于數據規模有限和幾何信息保留不足[41]。這強調了大規模3D-語言基礎模型的必要性。解決這一挑戰的主要解決方案在于創建可以支持從零開始訓練VLMs的大型數據集。此外，高效的遷移學習方法，包括像提示調整[177]和LORA[178]這樣的技術，通過利用預訓練的知識為特定任務提供了很大的應用前景。

數據高效訓練。考慮到與數據收集和注釋相關的顯著成本，當前的許多研究都局限于小規模數據集。因此，強調為有限數據量量身定制的健壯模型訓練和優化的開發變得越來越重要，從而減少對大規模數據集的依賴。最近的研究已經在解決數據注釋挑戰方面展現出了有前途的結果，通過無監督和弱監督學習方法。此外，使用文本到圖像或文本到3D生成合成逼真樣本有望進一步被研究，這可能緩解數據收集問題。

3D建模的計算效率。鑒于點云的大量體積，計算需求可能會顯著增加。因此，計算效率高的3D模型變得至關重要。為了應對這一挑戰，采用模型壓縮技術，如量化[179]、修剪[180]和高效結構[181]，對于減少計算復雜性至關重要。此外，利用硬件優化如Flash attention[182]可以促進應用在邊緣設備上的部署，為提高效率提供另一種途徑。

納入其他模式。盡管在多模態3D建模方面取得了令人印象深刻的進展，但主要的重點仍然是圖像和語言。我們設想將更多的模式，如音頻，納入一個綜合模型來適應它們的聯合分布，這對于理解復雜的3D場景更為有助。鑒于訓練新模型時的復雜訓練要求和成對數據的稀缺，提高現有的多模態3D模型的效果可能更為有效，通過集成其他模式。一個可行的方法[183]是使用最小的成對數據集對齊每一個定義良好的、特定模式的模型。

深度模型融合/合并是一種新興的技術，它將多個深度學習模型的參數或預測合并成一個。它結合了不同模型的能力，以補償單一模型的偏差和錯誤，以實現更好的性能。然而，對于大規模深度學習模型（例如，LLMs 和基礎模型）的深度模型融合面臨著幾個挑戰，包括高計算成本、高維參數空間、不同異構模型之間的干擾等。盡管模型融合由于其解決復雜實際任務的潛力而引起了廣泛關注，但關于這種技術的完整和詳細的調查研究仍然缺乏。因此，為了更好地理解模型融合方法并推動其發展，我們提出了一項全面的調查以總結最近的進展。具體來說，我們將現有的深度模型融合方法分類為四種：（1）“模式連接”，通過非遞增損失的路徑連接權重空間中的解，以獲得模型融合的更好初始化；（2）“對齊”匹配神經網絡之間的單元以為融合創造更好的條件；（3）“權重平均”，一種經典的模型融合方法，對多個模型的權重進行平均，以獲得更接近最優解的精確結果。 （4）**“集成學習”**結合了多種模型的輸出，這是一種改善最終模型的準確性和魯棒性的基礎技術。另外，我們分析了深度模型融合面臨的挑戰，并提出了未來模型融合的可能研究方向。我們的評論對于深入理解不同模型融合方法之間的關系和實際應用方法是有幫助的，這可以啟發深度模型融合領域的研究。

//www.zhuanzhi.ai/paper/43bab5b376b2213134e1f99b305d4deb

近年來，深度神經網絡（DNNs）[129] 取得了顯著的發展，廣泛應用于計算機視覺（CV）[175]、自然語言處理（NLP）[30] 等領域。一般來說，單一深度學習模型通常具有一定的局限性，不能完全捕獲復雜網絡背后的所有潛在信息[195]。因此，經典的集成學習[15, 193, 198] 合并多個模型的輸出，以改善深度學習（DL）中模型的最終性能。但在測試時存儲和運行多個模型的成本很高[65, 204]，尤其是模型的復雜性和大小增加時。例如，GPT-3[172] 有數十億參數，PaLM[31] 甚至達到5400億參數和7800億令牌。此外，從深度神經網絡[134, 196] 的損失景觀的角度來看，梯度優化的解通常聚集在寬平區域的邊界附近的點，而不是中心點[99]。這意味著經過訓練的網絡并不完全接近具有最小測試錯誤的最優解。需要融合相對最優點附近的解，以得到更好的結果。這激發了研究人員不僅將融合范圍限制于預測（例如，logits等），而且還包括模型參數的融合，而無需訪問訓練數據或保持所有單獨模型[110]。因此，深度模型融合[111, 159] 旨在將多個DNNs融合成一個網絡，保留其原始功能，甚至超越多任務訓練[3, 135]。此外，深度模型融合可以減少單一模型過度擬合特定樣本或噪聲的傾向，從而提高預測的準確性、多樣性和穩健性[207, 223]。由于數據隱私和實際節約資源的問題，深度模型融合引起了越來越多的關注。盡管深度模型融合的發展帶來了許多技術突破，但它也產生了一系列的挑戰，例如高計算負荷、模型異構性和通過組合優化對齊的速度慢[133, 204]等。

有些方法僅限于特定場景[227, 254]，這激發了研究人員研究不同案例中模型融合的原理。然而，目前缺乏綜合評論來總結方法，以指示深度模型融合的內部機制。一些工作只關注從單一視角（例如，特征融合等）[45, 195] 和特定場景[213] 的模型融合，或者不同方式的信息融合（多模態融合[1, 103]）而不是參數的融合。為了給開發者深入了解深度模型融合，我們分析了深度模型融合的原理和方法。此外，我們回顧了最近的進展和代表性應用，例如聯邦學習（FL）[160] 和微調[29] 等。我們的調查旨在說明深度模型融合的最新趨勢和潛在方向，并為研究人員提供指南，以提高性能和降低成本。因此，我們根據內部機制和目的將方法分為四類，如圖1所示。對于相互之間不在附近的獨立訓練的模型，“模式連接”和“對齊”使解更加接近，以獲得更好的平均原始條件。對于權重空間中存在某些差異的類似模型，“權重平均（WA）”傾向于直接平均模型，并在損失函數值較低的參數空間區域獲得更接近最優點的解[118]。此外，對于現有模型的預測，“集成學習”集成了模型的不同形式的預測，以獲得更好的結果。具體來說，這四個類別如下：

模式連接性

模式連接性指的是通過基于梯度的優化得到的解可以在權重空間中通過一條無障礙的路徑（連接器）進行連接。我們可以沿著低損失路徑獲得更適合模型融合的其他模型。根據路徑的數學形式和連接器所在的空間，我們將此部分劃分為“線性模式連接性”，“非線性模式連接性”和“子空間中的模式連接性”。模式連接性可以在訓練過程中解決局部優化問題。模式連接性的路徑的幾何關系也可以用來加速優化過程，如隨機梯度下降（SGD）的收斂、穩定性和準確性。簡而言之，模式連接性為解釋和理解模型融合的行為提供了一個新的視角。但是，特別是在大數據集上訓練模型時，應解決計算復雜性和參數調整的困難。

對齊

對齊是將多個模型的單元進行匹配，并對模型進行平均以獲得最終模型。對齊后，不同模型之間的特定數學度量（例如，歐幾里得距離）可以更為接近，從而減小模型之間的差異，進而增強深度模型融合的效果。對齊可分為“激活匹配”和“權重匹配”，取決于是否需要考慮數據分布。此外，Re-basin基于對齊引入，探討解決方案可以通過排列不變性被傳輸到一個單一的盆地（即，參數空間中相對低損失的區域）。然而，對齊通常面臨著計算量大、組合優化速度慢和架構差異的障礙，使得它不易擴展到具有不同目標的其他場景。例如，伴隨圖匹配而來的記憶負擔限制了深度模型融合的應用。

權重平均

權重平均是將幾個母網絡融合成一個單一網絡的最直接和高效的方式。與模式連接性和對齊相比，權重平均不需要額外的計算復雜性或訓練來找到一個優越的起點，在模型包含一定程度的相似性時表現良好。根據聚合空間，權重平均可分為“權重平均”和“子空間中的平均”。此外，典型的方法“模型湯”，“模型算術”和“隨機權重平均”也對現有方法進行了顯著改進。然而，當參數被規范化和合并時，可能會在模型結構或參數數量存在較大差異的情況下引入一些偏差。盡管如此，權重平均仍然是深度模型融合的主流方法，因為它簡單且高效。

集成學習

集成學習結合了幾種不同模型的輸出，以改善預測性能和魯棒性。我們專注于深度學習中的集成學習。基于集成學習，“模型重用”為每個模型提供了規格，這樣在給定新的學習任務時，有用的模型可以從模型池中被識別和合并。集成學習具有各種框架和便捷的界面，經常用于實際領域，例如物體檢測等。盡管集成學習需要維護多個訓練過的模型并在測試時運行每個模型，但它仍然是在深度學習中被廣泛采用的強大技術之一。

模型融合的應用

作為一項提高深度模型的準確性和魯棒性的技術，模型融合促進了許多應用領域的改進。聯邦學習，一種在中央服務器上聚合客戶端模型的應用，使得各方可以貢獻數據到功能的計算中（例如，各種統計、分類器），而無需泄露隱私。微調對預訓練模型進行小的調整，結合模型融合以減少訓練成本并適應特定任務或領域的需求。模型融合還涉及到“蒸餾”。即，將來自多個復雜模型的軟目標知識結合起來，為特定要求訓練一個小模型。模型融合在foundation/LLMs上的應用包括在大型基礎模型或大型語言模型（LLMs）上的工作，例如視覺變壓器（ViT）和GPT等。模型融合的應用幫助開發人員適應各種任務和領域的需求，并促進深度學習的發展。簡而言之，我們的調查回顧了深度模型融合技術。在前三節“模式連接性”，“對齊”和“權重平均”中，我們主要從模型參數融合的角度進行全面研究。在“集成學習”中，我們主要從模型輸出聚合的角度探討了這個問題。

本工作的主要貢獻總結如下：

? 我們從“模式連接性”，“對齊”，“權重平均”和“集成學習”的角度提出了一種新的深度模型融合分類方法，該方法涵蓋了模型融合的理論綜合方法，并為實現DNNs的高泛化和準確訓練提供了指導。

? 我們比較了融合方法的優缺點，并解釋了它們之間的機制和關系，為未來設計先進的模型融合方法提供了靈感。

? 我們總結了深度模型融合的廣泛應用。我們還討論了當前的研究趨勢，以便在未來引起更多的關注和反思。此外，本文的其余部分組織如下：在第2節到第5節，我們根據“模式連接性”、“對齊”、“權重平均”和“集成學習”的四個角度介紹深度模型融合的方法。第6節介紹了深度模型融合的應用：“聯邦學習”、“微調”、“蒸餾”和“在foundation/LLMs上的模型融合”。最后，在第7節中，我們總結了深度模型融合，并討論了未來的挑戰和潛在方向。另外，我們在全文中說明了符號及其相應的定義。Wi是第i個具有權重Wi ∈ R^d（i = 1, 2, ...k）和偏置項b的神經網絡。λ表示加權參數。σ表示非線性神經元激活函數。L是損失函數，用于量化預測值和實際值之間的差異。

機器學習是實現人工智能的重要技術手段之一，在計算機視覺、自然語言處理、搜索引擎與推薦系統等領域有著重要應用.現有的機器學習方法往往注重數據中的相關關系而忽視其中的因果關系，而隨著應用需求的提高，其弊端也逐漸開始顯現，在可解釋性、可遷移性、魯棒性和公平性等方面面臨一系列亟待解決的問題.為了解決這些問題，研究者們開始重新審視因果關系建模的必要性，相關方法也成為近期的研究熱點之一.在此對近年來在機器學習領域中應用因果技術和思想解決實際問題的工作進行整理和總結，梳理出這一新興研究方向的發展脈絡．首先對與機器學習緊密相關的因果理論做簡要介紹；然后以機器學習中的不同問題需求為劃分依據對各工作進行分類介紹，從求解思路和技術手段的視角闡釋其區別與聯系；最后對因果機器學習的現狀進行總結，并對未來發展趨勢做出預測和展望．

地址：//crad.ict.ac.cn/CN/10.7544/issn1000-1239.202110780

0. 引言

機器學習是一門研究如何設計算法、利用數據 使機器在特定任務上取得更優表現的學科，其中以 深度學習[1] 為代表的相關技術已成為人們研究實現 人工智能方法的重要手段之一.至今機器學習研究已 經取得大量令人矚目的成就：在圖像分類任務上的 識別準確率超過人類水平[2] ；能夠生成人類無法輕易 識別的逼真圖像[3] 和文本[4] ；在圍棋項目中擊敗人類 頂尖棋手[5] ；蛋白質結構預測結果媲美真實實驗結 果 [6] 等.目前機器學習在計算機視覺、自然語言處理、 搜索引擎與推薦系統等領域發揮著不可替代的作用， 相關應用涉及互聯網、安防、醫療、交通和金融等眾 多行業，對社會發展起到了有力的促進作用. 盡管機器學習研究獲得了一系列豐碩的成果， 其自身的問題卻隨著應用需求的提高而日益凸顯.機 器學習模型往往在給出預測結果的同時不會解釋其 中的理由，以至于其行為難以被人理解[7] ；同時機器 學習模型還十分脆弱，在輸入數據受到擾動時可能 完全改變其預測結果，即使這些擾動在人看來是難以 察覺的[8] ；機器學習模型還容易產生歧視行為，對不 同性別或種族的人群給予不同的預測傾向，即使這 些敏感特征不應當成為決策的原因[9] .這些問題嚴重 限制了機器學習在實際應用中發揮進一步的作用.造成這一系列問題的一個關鍵原因是對因果關 系的忽視.因果關系，指的是 2 個事物之間，改變一 者將會影響另一者的關系.然而其與相關關系有所不 同，即使 2 個事物之間存在相關關系，也未必意味著 它們之間存在因果關系.例如圖像中草地與牛由于常 在一起出現而存在正相關關系，然而兩者之間卻沒 有必然的因果關系，單純將草地改為沙地并不會改 變圖像中物體為牛的本質.機器學習的問題在于其模 型的訓練過程僅僅是在建模輸入與輸出變量之間的 相關關系，例如一個識別圖像中物體類別的機器學 習模型容易將沙地上的牛識別為駱駝，是因為訓練 數據中的牛一般出現在草地上而沙地上更常見的是 駱駝.這種具備統計意義上的相關性卻不符合客觀的 因果規律的情況也被稱為偽相關（spurious correlation）. 偽相關問題的存在對只考慮相關性的機器學習模型 帶來了災難性的影響：利用偽相關特征進行推斷的 過程與人的理解不相符，引發可解釋性問題；在偽相 關特征發生變化時模型預測結果會隨之改變從而導 致預測錯誤，引發可遷移性和魯棒性問題；如果偽相 關特征恰好是性別和膚色等敏感特征，則模型決策 還會受到敏感特征的影響，引發公平性問題.忽視因 果關系導致的這些問題限制了機器學習在高風險領 域及各類社會決策中的應用.圖靈獎得主 Bengio 指出， 除非機器學習能夠超越模式識別并對因果有更多的 認識，否則無法發揮全部的潛力，也不會帶來真正的 人工智能革命.因此，因果關系的建模對機器學習是 必要的，需求也是十分迫切的. **因果理論即是描述、判別和度量因果關系的理 論，由統計學發展而來.長期以來，由于缺乏描述因果 關系的數學語言，因果理論在統計學中的發展十分 緩慢.**直到 20 世紀末因果模型被提出后，相關研究才 開始蓬勃興起，為自然科學和社會科學領域提供了 重要的數據分析手段，同時也使得在機器學習中應 用因果相關的技術和思想成為可能.圖靈獎得 主 Pearl 將這一發展歷程稱為“因果革命” [10] ，并列舉了 因果革命將為機器學習帶來的 7 個方面的幫助[11] . 本文將在機器學習中引入因果技術和思想的研究方 向稱為因果機器學習（causal machine learning）.目前機 器學習領域正處于因果革命的起步階段，研究者們 逐漸認識到了因果關系建模的必要性和緊迫性，而 因果機器學習的跨領域交叉特點卻限制了其自身的 前進步伐.本文希望通過對因果理論和因果機器學習 前沿進展的介紹，為相關研究者掃清障礙，促進因果 機器學習方向的快速發展.目前針對因果本身的研究 已有相關綜述文獻 [12?14]，內容主要涵蓋因果發現 和因果效應估計的相關方法，但很少涉及在機器學習任務上的應用.綜述文獻 [15?16] 詳細地介紹了因 果理論對機器學習發展的指導作用，著重闡述現有 機器學習方法的缺陷和因果理論將如何發揮作用， 但缺少對這一方向最前沿工作進展的整理和介紹， 而這正是本文重點介紹的內容.

1 因果理論簡介

因果理論發展至今已成為統計學中的一個重要 分支，具有獨有的概念、描述語言和方法體系.對于 因果關系的理解也已經不再僅停留在哲學概念的層 面，而是有著明確的數學語言表述和清晰的判定準 則.當前廣泛被認可和使用的因果模型有 2 種：潛在 結果框架（potential outcome framework）和結構因果模 型（structural causal model, SCM）.Splawa-Neyman 等 人 [17] 和 Rubin[18] 提出的潛在結果框架又被稱為魯賓 因果模型（Rubin causal model, RCM），主要研究 2 個 變量的平均因果效應問題；Pearl[19] 提出的結構因果 模型使用圖結構建模一組變量關系，除了效應估計 也會關注結構發現問題.RCM 與 SCM 對因果的理解 一致，均描述為改變一個變量是否能夠影響另一個 變量，這也是本文所考慮的因果范疇.兩者的主要區 別在于表述方法不同，RCM 更加簡潔直白，相關研究 更為豐富；而 SCM 表達能力更強，更擅長描述復雜 的問題.雖然目前依然存在對因果的其他不同理解， 這些理解通常不被視為真正的因果，例如格蘭杰因 果（Granger causality） [20] 描述的是引入一個變量是否 對另一個變量的預測有促進作用，本質上仍是一種 相關關系. 本節將對因果相關概念以及 RCM 與 SCM 的相 關理論和技術進行簡要介紹.由于本文關注的主要內 容是因果機器學習而不是因果本身，本節將側重于 介紹機器學習中所使用的因果的概念和思想，而不 會過多關注因果領域自身的前沿研究.

**2 因果機器學習相關工作介紹 **

近年來隨著因果理論和技術的成熟，機器學習 領域開始借助因果相關技術和思想解決自身的問題， 這一研究方向逐漸受到研究者越來越多的關注.至今，因果問題被認為是機器學習領域亟待解決的重要問 題，已成為當下研究的前沿熱點之一.機器學習可以 從因果技術和思想中獲得多個方面的益處.首先，因 果理論是一種針對數據中規律的普適分析工具，借 助因果圖等語言可以對研究的問題做出細致的分析， 有利于對機器學習模型的目標進行形式化以及對問 題假設的表述.其次，因果推斷提供了消除混雜因素 以及進行中介分析的手段，對于機器學習任務中需 要準確評估因果效應及區分直接與間接效應的場景 有十分重要的應用價值.再者，反事實作為因果中的 重要概念，也是人在思考求解問題時的常用手段，對 于機器學習模型的構建和問題的分析求解有一定的 指導意義. 本節將對近年來因果機器學習的相關工作進行 整理介紹，涉及應用領域包括計算機視覺、自然語言 處理、搜索引擎和推薦系統等.按照所解決問題的類 型進行劃分，因果機器學習主要包括以下內容：可解 釋性問題主要研究如何對已有機器學習模型的運作 機制進行解釋；可遷移性問題主要研究如何將模型 在特定訓練數據上學到的規律遷移到新的特定環境； 魯棒性問題主要研究尋找普適存在的規律使模型能 夠應對各種未知的環境；公平性問題主要研究公平 性度量指標并設計算法避免歧視；反事實評估問題 主要研究如何在存在數據缺失的場景中進行反事實 學習.這些問題與因果理論的關系如圖 4 所示，下面 針對這些問題分別展開介紹.

**2.1　可解釋性問題 **

機器學習模型會根據給定輸入計算得到對應的 輸出，但一般不會給出關于“為什么會得到此輸出” 的解釋.然而這種解釋有助于人們理解模型的運作機 制，合理的解釋能夠使結果更具有說服力.因此近年 來涌現出許多致力于為現有模型提供解釋方法的工 作，為模型的診斷分析提供了有效手段[39] .解釋的核 心在于“模型得到此輸出，是因為輸入具有什么樣的 特征”，這本質上是在探討在此模型參與過程中輸入 特征與輸出結果之間的因果關系，例如估計特征對 輸出變量的因果效應強度. 由于機器學習模型對輸入數據的處理過程是一 個獨立而完整的過程，輸入與輸出變量之間一般不 會受到混雜因素的影響，因此即使不使用因果術語 也可以對任務進行描述.這體現為早期的模型解釋方 法并不強調因果，少數強調因果的方法也并不一定依賴因果術語.因果理論的引入為可解釋性問題領域 帶來的貢獻主要有 2 個方面：一是在基于歸因分析 的解釋方法中建模特征內部的因果關系；二是引入 一類新的解釋方法即基于反事實的解釋.基于歸因分 析和基于反事實的解釋構成了當前最主要的 2 大類 模型解釋方法如表 1 所示，以下分別展開介紹.

2.2　可遷移性問題

機器學習研究通常會在一個給定的訓練數據集 上訓練模型，然后在同數據分布的驗證集或測試集 上進行測試，這種情況下模型的表現稱為分布內泛 化（in-distribution generalization）.在一般的應用場景中， 機器學習模型會部署在特定數據環境中，并使用該 環境中產生的數據進行模型訓練，其性能表現可以用分布內泛化能力來度量.然而在一些場景中，目標 環境中的標注數據難以獲取，因此更多的訓練數據 只能由相似的替代環境提供.例如訓練自動駕駛的智 能體時由于風險過高不能直接在真實道路上行駛收 集數據，而只能以模擬系統中所獲取的數據為主進 行訓練.這種場景下的機器學習任務又稱為域適應 （domain adaptation），屬于遷移學習（transfer learning） 的范疇，即將源域（source domain）中所學到知識遷移 至目標域（target domain）.這里的域（domain）和環境 （environment）的含義相同，可以由產生數據的不同概 率分布來描述，下文將沿用文獻中各自的習慣稱呼， 不再對這 2 個概念進行區分. 在可遷移性問題中，因果理論的主要價值在于 提供了清晰的描述語言和分析工具，使研究者能夠 更準確地判斷可遷移和不可遷移的成分，有助于設 計針對不同場景的解決方案.因果推斷中關注的效應 估計問題本質上是在研究改變特定環境作用機制而 保持其他機制不變的影響，這與遷移學習中域的改 變的假設相符，即目標域和源域相比繼承了部分不 變的機制可以直接遷移，而剩余部分改變的機制則 需要進行適應.因此在因果理論的指導下，遷移學習 中的關鍵問題就是建模并識別變與不變的機制.目前 因果遷移學習一般假設輸入 與輸出 之間有直接 因果關系，重點關注無混雜因素情況下變量的因果 方向和不變機制，如表 2 所示，以下介紹相關工作

2.3　魯棒性問題

遷移學習允許模型獲得目標環境的少量數據以 進行適應學習，然而在一些高風險場景中，可能需要 機器學習模型在完全陌生的環境中也能正常工作， 如醫療、法律、金融及交通等.以自動駕駛為例，即使 有大量的真實道路行駛數據，自動駕駛智能體仍會 面臨各種突發情況，這些情況可能無法被預見但仍 需要被正確處理.這類任務無法提供目標環境下的訓 練數據 ，此時模型的表現稱為分布外泛化（out-ofdistribution generalization）.如果模型具有良好的分布 外泛化能力，則稱其具有魯棒性（robustness）. X Y P ′ (X, Y) P(X, Y) Y X P ′ (X|Y) = P(X|Y) 這類問題在未引入因果術語的情況下就已經展 開了廣泛的研究.如分布魯棒性研究[79-81] 考慮當數據 分布改變在一定幅度之內時如何學習得到魯棒的模 型，常見思路是對訓練樣本做加權處理；對抗魯棒性 研究[8,82-83] 考慮當樣本受到小幅度擾動時模型不應當 改變輸出結果，常見思路是將對抗攻擊樣本加入訓 練.這類研究常常忽略變量間的因果結構，面臨的主 要問題是很難決定數據分布或者樣本的擾動幅度大 小和度量準則，這就使得研究中所做的假設很難符 合真實場景，極大地限制了在實際中的應用.因果理 論的引入為建模變量間的結構提供了可能，同時其 蘊含的“機制不變性”原理為魯棒性問題提供了更合 理的假設，因為真實數據往往是從遵循物理規律不 變的現實世界中采集獲得.例如針對輸入為 、輸出 為 的預測問題，不考慮結構的分布魯棒性方法會假 設未知環境 應當與真實環境 的差異較 小，如限制聯合分布的 KL 散度小于一定閾值；而考 慮結構的因果方法則通常會假設機制不變，例如當 是 的因時假設 ，在因果關系成立的 情況下后者通常是更合理的. 一些從偽相關特征入手研究魯棒性問題的工作 雖然未使用因果術語，實際上已經引入了因果結構 的假設.這些工作針對的往往是已知的偽相關特征， 如圖像分類任務中的背景、文本同義句判斷 SNLI 數 據集中的單條文本[84]、重復問題檢測 QuaraQP 數據 集中的樣本頻率[85] 等.在實際場景中針對這些偽相關 特征進行偏差去除（debias），以避免其分布發生變化 時影響模型表現.這類工作隱含的假設是偽相關特征 與目標預測變量沒有因果關系.一種直接的解決方法 是調整訓練數據的權重，使得偽相關特征不再與預 測變量相關[85] .還有一類方法會單獨訓練一個僅使用 偽相關特征預測的模型，然后將其與主模型融合在 一起再次訓練，完成后僅保留主模型[86-87] .然而由于實 際應用中通常很難預先確定偽相關特征，這類工作 在解決魯棒性問題上具有明顯的局限性. 因果理論的引入對于解決魯棒性問題提供了新 的思路，主要的優勢在于對變量結構的建模和更合 理的假設.這類方法包括反事實數據增強（counterfactual data augmentation）、因果效應校準和不變性學 習.如表 3 所示 ，反事實數據增強考慮從數據入手消 除偽相關關系，因果效應校準通過調整偏差特征的 作用來減輕偏差，不變性學習通過改變建模方式學 習不變的因果機制，以下分別展開介紹.

2.4　公平性問題

機器學習中的公平性（fairness）指的是，對于特 定的敏感特征如性別、年齡、種族等，不同的取值不 應該影響某些任務中機器學習模型的預測結果，如 貸款發放、法律判決、招生招聘等.公平性對于機器 學習在社會決策中的應用是十分重要的考慮因素， 與因果有密切的關系，直觀上體現為敏感特征不應 成為預測結果的因變量.模型中存在的不公平常常由 偽相關特征問題導致，因此公平性也可以視為針對 敏感特征的魯棒性，但有著自己獨有的術語和研究 體系.下面首先介紹一下公平性的基本概念，然后介 紹因果理論在公平性問題中的應用. A X Y f Y? = f(A, X) f(A, X) = f(X) 公平性的定義和度量指標目前十分多樣化，并 沒有完全統一確定，不同的定義所反映的問題也有 所不同，甚至可能是相互不兼容的[139] .為便于表述， 記敏感特征為 ，其他觀測特征為 ，真實輸出結果 為 ，模型為 ，模型預測結果為 （本節所用 符號與前文無關）.早期公平性問題的相關工作并沒 有考慮因果，最簡單直白的方式是在決策時避免使 用敏感特征[140] ，即 .然而這一方案顯然 是不夠的，因為其他特征中也可能會包含敏感特征 的信息.因此一般會考慮個體級別的公平性或者群體 級別的公平性的度量，并設計方法實現.個體公平性 （individual fairness）通常會限制相似的個體之間應該 P(Y?|A = 0) = P(Y?|A = 1) P (Y?|A = 0, Y = 1) = P(Y?|A = 1, Y = 1) F P(Y?|A = 0, F) = P(Y?|A = 1, F) 有相似的預測結果[141] ，難點在于相似性指標的設計. 群體公平性（group fairness）會定義不同的群體并設置 度量指標使得各個群體之間差異盡可能小，一種思 路是人群平等（demographic parity） [142] ，希望在不同敏 感特征取值的群體中預測結果的分布一致 ，即 ； 另 一 種 思 路 是 機 會 均 等 （equality of opportunity） [143] ，希望在那些本該有機會 的人群所獲得的機會不受敏感特征的影響 ，即 ；還有一種思路是條件 公平（conditional fairness） [144] ,希望在任意公平變量 條 件下不同敏感特征群體的結果一致，即 .這些定義并不考慮特征內部的依賴關系， 對模型的決策機制也沒有區分性，在更細致的公平 性分析中難以滿足要求.因果理論的引入為公平性研 究起到了極大的推動作用，許多概念必須借助因果 的語言才能表達，如表 4 所示:

2.5　反事實評估問題

反事實評估（counterfactual evaluation）指的是機 器學習模型的優化目標本身是反事實的，這通常出 現在使用有偏差的標注數據訓練得到無偏模型的情 景，例如基于點擊數據的檢索和推薦系統學習任 務.由于任務本身需要反事實術語進行表述，因果理 論對這類問題的建模和研究起到了關鍵性的作用， 如表 5 所示：

3 總結與展望

本文介紹了因果相關的概念、模型和方法，并著 重對因果機器學習在各類問題上的前沿研究工作展 開詳細介紹，包括可解釋性問題、可遷移性問題、魯 棒性問題、公平性問題和反事實評估問題等.從現有 的應用方式來看，因果理論對于機器學習的幫助在 不同的問題上具有不同的表現，包括建模數據內部 結構、表達不變性假設、引入反事實概念和提供效 應估計手段等，這在缺少因果術語和方法的時代是 難以實現的.有了因果理論的幫助，機器學習甚至可 以探討過去無法討論的問題，如干預和反事實操作 下的預測問題. 對于可解釋性、公平性和反事實評估問題，因果 理論和方法已成為描述和求解問題所不可缺少的一 部分，且應用方式也漸趨成熟.這是由于對特征的重 要程度的估計、對模型公平性的度量和對反事實策 略效用的評估均屬于因果效應估計的范疇，問題本 身需要使用因果的術語才能得到清晰且完整的表達， 因果推斷的相關方法自然也可以用于問題的求解.可 以預見，未來這些問題將繼續作為因果理論和方法 的重要應用場景，伴隨因果推斷技術的發展，向著更 加準確和高效的目標前進. 對于可遷移性和魯棒性問題，目前所采用的因 果相關方法大多還處于較淺的層次，有待深入挖掘 探索.在這些問題上，因果推斷的相關技術不易直接 得到應用，這是由于這類問題的目標不再是單純估 計因果效應或者發現因果結構，而是需要識別跨環 境不變的機制.這對于因果而言是一項全新的任務， 需要研究新的方法來求解.在機器學習尤其是深度學 習中，這項任務的主要難點在于數據的高維復雜性. 對于圖像和文本等數據而言，其顯式特征高度耦合， 難以從中提取出有效的因果變量，阻礙了效應估計 和結構發現等后續分析手段.目前所采用的反因果遷 移、反事實數據增強和因果效應校準等手段大多只 能針對可觀測的已知變量進行處理，適用范圍受到 很大限制.相對地，不變性學習有能力處理未知的偽 相關特征并識別因果特征，具有良好的發展前景.然 而目前的不變性學習方法也存在局限性，主要在于 對數據做了較強的因果結構假設，一方面數據可能 無法滿足假設而又缺少驗證假設的手段，另一方面 需要為滿足不同假設的數據設計不同的方法而缺乏 通用性.因此，未來在這些方向上都值得開展研究.一 種思路是繼續針對具體任務做出不同的因果結構假 設，并設計對應的學習算法，這就需要構建成體系的 解決方案并配備驗證假設的手段；另一種思路是從 數據本身出發，推斷和發現潛在的因果結構，這就需要研究全新的方法來突破由數據的高維復雜性帶來 的障礙. 從因果機器學習的研究進展來看，機器學習領 域的因果革命將大有可為.不可否認，當前正處于因 果革命的起步階段，由于現實問題存在極高的復雜 性，這一革命的歷程也將曲折而艱辛，需要更多的研 究和支持.希望更多的研究者能夠加入到因果機器學 習的研究中來，共同創造和見證因果革命的新時代.

盡管有很多嘗試[1-6]，深度學習的有效性到目前為止還沒有明確的解釋。考慮到神經網絡是一個非常簡單且定義良好的數學對象，這相當令人驚訝[7-9]。使分析變得困難的是深度神經網絡通常是用大量的參數來描述的，例如權重矩陣、偏差向量、訓練數據等。對于這樣的系統，大多數分析技術不是很有用，必須依賴于數字。這種情況與物理中發生的情況非常相似。物理系統(包括經典系統和量子系統)通常可以在自由度很小的時候被精確地解決，但是當自由度很大的時候，這個問題就變得棘手了。幸運的是，有一組思想被證明對于分析具有多個自由度的物理系統非常有用。它是統計力學。本文的重點是將統計力學的方法應用于機器學習。在本節的其余部分，我們將總結主要結果，因為它可能有助于讀者瀏覽本文。