亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要—近年來，三維視覺已成為計算機視覺領域的關鍵方向，推動了自動駕駛、機器人技術、增強現實（AR）和醫學成像等廣泛應用。該領域依賴于從圖像和視頻等二維數據源中準確感知、理解和重建三維場景。擴散模型最初設計用于二維生成任務，但它們提供了更靈活的概率方法，更好地捕捉了真實世界三維數據中的多樣性和不確定性。然而，傳統方法往往在效率和可擴展性方面面臨挑戰。本文綜述了當前最先進的擴散模型在三維視覺任務中的應用，包括但不限于三維物體生成、形狀補全、點云重建和場景理解。我們深入討論了擴散模型的基本數學原理，概述了其前向和反向過程，并介紹了支持這些模型處理三維數據集的各種架構進展。我們還探討了擴散模型在三維視覺中應用所面臨的主要挑戰，如處理遮擋和點密度變化，以及高維數據的計算需求。最后，我們討論了包括提升計算效率、增強多模態融合、探索大規模預訓練以改善三維任務泛化能力在內的潛在解決方案。本文為這一快速發展的領域的未來探索和開發奠定了基礎。

關鍵詞—擴散模型，三維視覺，生成模型。

I. 引言

近年來，三維視覺已成為計算機視覺領域中的重要方向，推動了自動駕駛、機器人、增強現實和醫學成像等各種應用。這些應用依賴于從圖像和視頻等二維數據源中對三維場景的準確感知、理解和重建。隨著三維視覺任務的日益復雜，傳統方法常常在效率和可擴展性方面遇到挑戰。 擴散模型[1]–[5]最初在生成建模領域提出，并迅速發展，展現出在許多計算機視覺領域的顯著潛力。基于通過一系列隨機步驟轉換數據的理念，這些模型在圖像生成[6]–[9]、去噪[10]和修復任務[11]中取得了成功。尤其是，擴散模型在生成高質量、多樣化輸出方面表現出強大的生成能力，同時對噪聲具備魯棒性。 近年來，擴散模型的發展已從二維拓展到更具挑戰性的三維任務[12]–[14]，如三維物體生成[15]–[17]、形狀補全[18]、點云重建[20]等，標志著擴散建模與三維視覺的新時代的到來。 將擴散模型應用于三維視覺任務展現出前景，主要原因在于它們能夠建模復雜的數據分布，并且在噪聲處理上具備固有的魯棒性。擴散模型為需要三維數據合成、補全或增強的任務（如形狀生成[21]或深度估計[22]）提供了強大的框架。與依賴確定性算法的傳統三維建模技術不同，擴散模型提供了更靈活的概率方法，可以更好地捕捉真實三維數據中的多樣性和不確定性。 對擴散模型的日益關注源于它們在二維任務中生成精細高質量結果的能力，這促使研究人員探索其在三維中的應用。本文綜述了將擴散模型用于三維視覺的最新方法，討論了其潛在的優勢，如在三維重建中提升精度、更好地處理遮擋和稀疏數據等。 盡管將擴散模型應用于三維視覺前景廣闊，但其并非沒有挑戰。其中一個主要技術障礙是三維數據的復雜性增加，它可以以多種形式表示，如網格、體素或點云，每種形式都有其特定的處理需求。將擴散模型與這些異構數據結構集成仍然是一個挑戰，同時三維任務的計算需求常常遠遠高于二維任務，導致可擴展性問題。 另一個挑戰在于建模三維數據中的長距離依賴關系，擴散模型并非原生具備該能力。此外，許多三維視覺任務缺乏大規模標注數據集，這進一步增加了擴散模型的訓練難度，要求大量高質量數據以實現有效泛化。 本綜述聚焦于擴散模型在廣泛三維視覺任務中的應用，包括但不限于三維物體生成、點云去噪、三維重建及場景理解[23]。我們回顧了多種擴散模型架構及其在三維視覺中的適應性，涵蓋了過去五年的早期階段和最新進展。特別關注于這些模型如何應對三維數據的特定挑戰以及大規模三維視覺問題的計算限制。本文的主要貢獻如下： * 對現有將擴散模型應用于三維視覺任務的研究進行了全面分類和總結，分析其優缺點。 * 深入分析和比較了用于三維數據的關鍵技術、框架和方法。 * 詳細討論了該領域當前的挑戰和開放問題，以及未來研究方向，以改進三維視覺應用中的擴散模型。 * 對用于評估三維視覺任務中擴散模型的相關數據集和基準進行了廣泛的回顧。

為完成本綜述，我們采用了全面的文獻檢索策略，以確保深入探索該領域。首先確定了與主題相關的關鍵詞和短語，如“擴散模型”、“三維視覺”以及相關概念（如“生成模型”和“三維數據的神經網絡”）。我們在多個學術數據庫（包括IEEE Xplore、arXiv和Google Scholar）中進行檢索，重點關注過去五年的出版物，以捕捉最新進展。此外，我們優先選擇經過同行評審的期刊文章、會議論文和預印本，確保包含高質量的前沿研究。通過此策略，我們旨在提供關于三維視覺中擴散模型的全面、最新的綜述。 本文其余部分的組織結構如下：第二節概述擴散模型的理論基礎及其在二維和三維視覺任務中的關鍵發展。第三節深入探討三維視覺的核心概念，討論不同數據表示及其挑戰。第四節對擴散模型在不同三維視覺任務中的應用進行了詳細回顧。第五節總結了用于評估的可用數據集和基準。最后，第六節討論了未來方向和開放問題。

第七節為結論。

**擴散模型基礎

A. 擴散模型簡介 擴散模型（Diffusion Models）是一類生成模型，通過逐步將隨機噪聲轉換為結構化數據來學習生成數據的分布。該過程包括前向擴散過程，在此過程中噪聲逐步添加到數據中，以及反向過程，利用去噪算法從噪聲中重建數據。這種方法旨在通過迭代去噪來建模數據分布，已證明能夠在多個領域（包括三維視覺）生成高質量的樣本。 擴散模型最早作為一種受非平衡熱力學啟發的隨機過程被引入，發展迅速。尤其是在Ho等人提出去噪擴散概率模型（DDPMs）之后，擴散模型在可擴展性和采樣效率方面有了顯著提升。擴散模型的關鍵特性在于其迭代生成過程，主要包括： * 前向過程：逐步向數據添加高斯噪聲。 * 反向過程：通過去噪還原數據，生成新樣本。

這種框架允許擴散模型避免模式崩潰，與生成對抗網絡（GANs）相比，生成出多樣性更高的樣本。B. 擴散模型的數學基礎

 C. 擴散模型的變體 1. 去噪擴散概率模型（DDPMs）：在DDPM中，前向過程逐步將高斯噪聲添加到數據中，使原始數據分布轉變為已知先驗（通常為標準高斯分布）。反向過程則由神經網絡參數化，并訓練為逐步去噪。DDPM通過優化變分下界，實現高保真度圖像生成(Diffusion Models in 3D …)。 1. 基于得分的生成模型（Score-Based Generative Models）：這種變體使用得分匹配技術，以更直接地估計數據分布的梯度(Diffusion Models in 3D …)。 1. 隨機微分方程（SDE）：此類擴散模型的連續時間公式使其在三維生成任務中更具靈活性，例如生成點云和體素網格(Diffusion Models in 3D …)。 D. 三維視覺中的生成過程 與生成對抗網絡（GANs）和變分自編碼器（VAEs）相比，擴散模型在三維視覺任務中具有更強的生成能力，能夠生成光滑的連續表面，并處理復雜的高維數據。這對于需要詳細幾何結構的應用（如三維形狀重建）特別有利。

三維視覺基礎

三維視覺領域是現代計算機視覺中不可或缺的一部分，涉及各種數據表示方法及深度學習技術，以理解和處理三維信息。三維視覺廣泛應用于增強現實、虛擬現實以及自動駕駛等領域，這些應用都依賴于準確的三維場景感知與分析。

**A. 三維表示

三維數據表示是三維視覺的核心，提供了建模、分析和交互的手段。不同的表示方式各有其特點、優缺點，通常用于不同的三維任務。 二維表示

二維表示使用平面圖像推斷三維信息，適用于渲染與理解三維場景。通過多視圖圖像或深度圖，可以從多個角度獲取場景或物體的三維結構。

深度圖：深度圖表示從特定視角到場景中物體的距離，將深度信息編碼成圖像。它在三維重建、場景理解等應用中十分重要，因為它提供了一種整合二維圖像處理技術的有效方式。 顯式表示

顯式表示直接定義了三維模型的幾何形狀，如點云、體素網格和網格。它們直觀易操作，但存儲復雜形狀時空間需求較大。

點云：點云通過三維坐標表示物體或場景的形狀。其主要優勢在于對幾何數據的直接捕獲。然而，由于缺乏拓撲信息，點云通常需要進一步處理，以實現渲染或仿真。 1. 隱式表示 隱式表示通過數學函數定義三維幾何，例如有符號距離場（SDF）和占用場。它們通常用于生成平滑、連續的表面，并能處理復雜的幾何形狀。

**B. 三維視覺中的深度學習方法

深度學習的進步推動了三維視覺的發展，使得自動駕駛、機器人導航等領域能夠高效地分析和解釋三維數據。

基于卷積的神經網絡 三維卷積神經網絡（3D CNN）將二維卷積擴展到體素數據，捕捉三維空間的關系，適用于體素網格處理任務。然而，三維CNN計算需求高，因此多視圖CNN和球面CNN等變體在實際應用中被廣泛采用。

直接點云處理方法 點云數據的處理逐步由PointNet等方法引領，這些方法通過直接操作點云數據而無需將其轉換為其他形式，從而保留了數據的稀疏性與不規則性。

圖神經網絡 在點云上應用圖神經網絡（GNN）通過捕獲非歐幾里得結構中的關系，適合于對拓撲信息的建模。

占用網絡與深度有符號距離場 占用網絡和深度有符號距離場（DeepSDF）模型能有效地在復雜場景中生成詳細的三維形狀，在物體重建和場景理解中具有優勢。

基于Transformer的架構 Transformer的引入使得長距離依賴關系的建模成為可能，尤其在三維點云數據上，表現出在自適應分割和語義理解方面的能力。

**C. 三維視覺中的挑戰

遮擋 遮擋問題在三維視覺中普遍存在，尤其在物體間相互重疊的場景中。這會導致數據缺失或失真，影響物體識別和場景重建。多視圖聚合和深度完成是應對此問題的常用技術。

點密度變化 由于掃描設備距離和角度的不同，點云密度可能不均勻，導致重建和特征提取的復雜度增加。點云上采樣和表面插值技術被用來處理這些問題。

噪聲與離群值 三維數據采集過程中常伴有噪聲和離群值，影響數據的準確性。去噪濾波和離群值去除是常見的應對手段，但在精度和計算需求之間的平衡仍具挑戰性。

三維視覺的復雜性及其數據的高維特性使得這一領域充滿了挑戰，但隨著深度學習技術的不斷進步，三維視覺的準確性和效率正在顯著提高，為實際應用帶來了新的突破。

三維擴散生成任務

擴散模型在三維數據生成任務中表現出極大的潛力，能夠生成高質量的三維模型及其相關內容。這些任務涵蓋了各種生成和處理三維數據的方式，使擴散模型成為三維視覺研究的重要工具。

**A. 無條件生成

無條件生成指的是不依賴于任何輸入或條件（如類標簽、圖像或文本提示）生成三維形狀或物體。在這種生成模式下，模型從隨機噪聲或潛在變量出發，基于學習到的數據模式生成多樣化的三維結構。無條件生成常用于三維設計、虛擬環境和游戲等應用，其目的是在沒有外部指導的情況下捕捉數據的底層分布，生成逼真且多樣的三維輸出。

Zhou等人提出的Point-Voxel Diffusion框架，是最早利用擴散模型生成三維物體的工作之一。該方法將去噪擴散模型與三維形狀的概率生成模型結合，使用點-體素混合表示進行生成。模型通過一系列去噪步驟，將觀察到的點云數據逆擴散回到高斯噪聲狀態，從而生成新的三維形狀。

**B. 條件生成

在條件生成任務中，擴散模型會根據特定輸入（例如圖像或文本提示）生成對應的三維數據。該方法通常用于圖像到三維、文本到三維轉換等場景。這類任務對于三維數據合成的控制性較強，允許模型根據輸入生成具有特定特征的三維結構。例如，Ren等人提出的模型結合卷積和Transformer架構，生成動態掩模以在生成過程中實現特征融合，從而在不同階段優化全局和局部特征的平衡(Diffusion Models in 3D …)。

**C. 三維編輯與操作

三維編輯任務涉及對已有的三維數據進行修改或增強。擴散模型在這一領域展示了顯著的靈活性，允許對三維場景進行細致的控制。Zheng等人開發的PointDif方法，應用擴散模型進行點云預訓練，有助于在分類、分割和檢測等任務中提高性能。該方法將點云預訓練任務視為條件點對點生成問題，通過循環均勻采樣優化策略，使模型在不同噪聲水平下實現一致的恢復(Diffusion Models in 3D …)。

**D. 新視角合成

新視角合成任務主要集中于從給定的視角生成不同角度的三維圖像。擴散模型能夠有效處理三維數據的長距離依賴關系，并生成新的視角。Shue等人提出的Triplane Diffusion模型將三維訓練場景轉換為一組二維特征平面（稱為triplanes），然后利用現有的二維擴散模型對這些表示進行訓練，從而生成高質量的三維神經場。

**E. 深度估計

擴散模型在深度估計任務中的應用表現在通過噪聲抑制的方式改善深度信息提取質量。在復雜的場景中，模型可以利用擴散過程生成連續的深度數據，有效應對噪聲和不完整信息的問題。擴散模型通過生成更為平滑和準確的深度圖，為三維視覺系統在動態場景中的應用提供了新的解決方案。 綜上所述，擴散模型為三維視覺中的多項任務提供了有效的生成和增強工具。模型的應用不僅在無條件生成和條件生成方面取得了顯著成果，還在三維數據的編輯、合成和估計等任務中展現了出色的性能。這一領域的研究仍在不斷發展，未來可通過結合物理約束和多模態數據進一步提升模型的表現，為復雜和動態場景中的三維任務提供更強大的支持。

結論

本文對擴散模型在三維視覺任務中的應用進行了全面綜述。擴散模型最初是為二維生成任務設計的，但隨著三維數據（如點云、網格和體素網格）的處理需求增長，這些模型逐步適應了三維數據的復雜性。我們詳細回顧了將擴散模型應用于三維對象生成、形狀補全、點云重建和場景生成等任務的關鍵方法，并深入討論了擴散模型的數學基礎，包括其前向和反向過程及架構改進，使之能夠處理三維數據。

此外，本文分類和分析了擴散模型在不同三維任務中的顯著影響，包括從文本生成三維數據、網格生成以及新視角合成等。我們還探討了擴散模型在三維視覺中面臨的主要挑戰，如遮擋處理、點密度變化以及高維數據的計算需求。針對這些挑戰，我們提出了一些潛在解決方案，包括提升計算效率、增強多模態融合，以及探索使用大規模預訓練以更好地在三維任務中實現泛化。

通過整合當前擴散模型在三維視覺領域的研究現狀，并識別出其中的不足與機遇，本文為未來在這一快速發展的領域進行更深入的探索和開發奠定了基礎。擴散模型在三維視覺中的應用還在不斷進步，未來的研究有望繼續優化模型的計算效率和多任務處理能力，為三維數據的生成、重建和理解開拓新的可能性。

摘要——基于用戶指定要求的條件圖像生成是創建復雜視覺內容的關鍵組件。近年來，基于擴散的生成模型已成為條件圖像生成的一個非常有效的方法，導致了相關文獻的爆炸式增長。然而，擴散模型的復雜性、圖像生成任務的廣泛性以及條件機制的多樣性，為研究人員跟上快速發展的步伐并理解該主題的核心概念帶來了巨大挑戰。在本綜述中，我們根據條件如何融入擴散模型的兩個基本組件（即去噪網絡和采樣過程）對現有工作進行分類。我們特別強調了在訓練、重用和專門化階段構建理想去噪網絡時，各種條件方法的基本原理、優點和潛在挑戰。我們還總結了在核心采樣過程中使用的六種主流條件機制。所有討論都圍繞流行的應用展開。最后，我們指出了一些關鍵但仍未解決的未來問題，并提出了一些可能的解決方案。我們審閱的相關工作列在 //github.com/zju-pi/Awesome-Conditional-Diffusion-Models。

關鍵詞——生成模型，擴散模型，條件圖像生成，條件集成。

I. 引言

圖像生成是生成式人工智能的一個重要任務。當結合用戶提供的條件來生成符合不同用戶需求的圖像時，它的實用性會更大。早期的研究在各種條件圖像生成任務中取得了重大突破，如文本到圖像生成 [37, 41, 156, 159, 239]、圖像修復 [87, 88, 125, 210] 和圖像編輯 [1, 10, 107]。然而，早期基于深度學習的生成模型（如生成對抗網絡 (GANs) [49, 131]、變分自編碼器 (VAEs) [81, 185] 和自回歸模型 (ARMs) [199, 200]）在條件圖像生成中的表現并不令人滿意，這是由于它們的內在局限性：GANs 容易出現模式崩潰和訓練不穩定的問題 [49]；VAEs 通常生成模糊的圖像 [81]；而 ARMs 則存在順序誤差積累和耗時巨大的問題 [200]。

近年來，擴散模型 (DMs) 作為最先進的圖像生成模型嶄露頭角，憑借其強大的生成能力和多功能性，得到了廣泛認可 [20, 57, 71, 184, 191]。在擴散模型中，圖像是通過引導去噪網絡預測的迭代去噪步驟從高斯噪聲中生成的。這種獨特的多步采樣過程使得擴散模型能夠實現出色的生成性能，表現為穩定的訓練、豐富的輸出和卓越的樣本質量。此外，與一步生成模型相比，擴散模型在促進條件集成方面具有獨特優勢。這些優點使得擴散模型成為條件圖像生成的首選工具，近年來基于擴散的條件圖像生成 (DCIS) 研究得到了迅速發展 [25, 45, 56, 75, 118, 160, 167, 168, 209, 242, 247]。圖1展示了使用多種輸入模態的七個流行的 DCIS 任務。

隨著相關研究的快速擴展，模型架構、訓練方法和采樣技術的眾多變化，以及潛在的條件生成任務的廣泛性，研究人員很難全面掌握 DCIS 的全貌。這種復雜性對該領域的新手來說尤為具有挑戰性。當前需要的是一項系統性的綜述，提供對這一快速發展的研究領域的全面且結構化的概述。

已有一些關于特定條件圖像生成任務的綜述，如圖像修復 [238]、文本到圖像生成 [103] 和圖像編輯 [64]，或根據目標條件生成任務對計算機視覺領域的相關工作進行分類的研究 [32, 149]。雖然這些面向任務的綜述為其各自目標任務的方法提供了寶貴的見解，但它們并未涵蓋不同條件生成任務在模型框架中的共同特征，特別是在模型架構和條件機制方面。最近的兩篇綜述 [14, 182] 提供了基于擴散模型的廣泛任務的概述，但它們的范圍有限，主要集中于構建在文本到圖像 (T2I) 框架上的 DCIS 工作，忽略了早期將條件集成到無條件去噪網絡中的工作，或涉及從頭開始訓練特定任務的條件去噪網絡的工作。這些早期工作為當前使用 T2I 框架的 DCIS 進展奠定了基礎，并且在低級任務如圖像修復中仍然廣泛應用。此外，[182] 主要關注基于擴散模型的圖像編輯框架，缺乏對該領域其他任務統一框架的系統分析，而 [14] 并未深入探討模型架構的設計選擇和采樣過程中詳細的條件機制。因此，它們的分類方法缺乏系統性，并遺漏了 DCIS 領域中的一些關鍵相關工作。

相較之下，本綜述旨在提供一個全面且結構化的框架，涵蓋當前廣泛的 DCIS 研究工作，基于 DCIS 框架中條件集成的主流技術提供分類方法。我們對構建具有條件集成的 DCIS 框架所涉及的組件和設計選擇進行了清晰而系統的分解。具體來說，我們通過審查和總結現有的 DCIS 方法，探討條件如何集成到擴散建模的兩個基本組件中：去噪網絡和采樣過程。在去噪網絡方面，我們將構建條件去噪網絡的過程分為三個階段。在采樣過程中，我們將六種主流的采樣中條件機制進行分類，詳細說明控制信號如何集成到采樣過程的各個組件中。我們的目標是為讀者提供跨不同任務的現有 DCIS 工作的高層次和易于理解的概述，使他們能夠設計適用于其所需任務的條件生成框架，包括尚未探索的新任務。

本綜述的其余部分組織如下：首先在第二部分介紹擴散模型的背景和條件圖像生成任務。接下來，我們在第三部分總結去噪網絡中的條件集成方法，并在第四部分總結采樣過程中的方法。最后，我們在第五部分探討未來的潛在方向。圖2展示了本文提出的 DCIS 分類體系。

摘要——在過去的十年中，深度神經網絡取得了令人振奮的突破，數據增強作為一種正則化技術在缺乏大規模標注數據的情況下越來越受到關注。在現有的數據增強方法中，Mixup 及相關的數據混合方法通過凸組合選定樣本及其對應的標簽生成數據依賴的虛擬數據，廣泛應用于各種領域并取得了優異的性能。本綜述對基礎的Mixup方法及其應用進行了全面的回顧。我們首先詳細闡述了包含Mixup增強的訓練流程，作為一個包含模塊的統一框架。一個重構的框架可以容納各種Mixup方法，并給出直觀的操作步驟。然后，我們系統地研究了Mixup增強在視覺下游任務、各種數據模態上的應用，以及Mixup的分析與定理。同時，我們總結了當前Mixup研究的現狀和局限性，并指出了進一步提升Mixup增強有效性和效率的研究方向。本綜述可以為研究者提供Mixup方法的最新進展，并在Mixup領域中提供一些洞見和指導作用。本綜述的在線項目可在 //github.com/Westlake-AI/Awesome-Mixup 獲取。 關鍵詞——數據增強，Mixup，分類，自監督學習，計算機視覺，自然語言處理，圖結構

深度神經網絡（DNNs），如卷積神經網絡（CNNs）和Transformers，由于其強大的特征表示能力，已成功應用于諸多任務，如圖像分類、目標檢測和自然語言處理（NLP）等。為了完成越來越具有挑戰性的任務，DNNs使用了大量可學習的參數，這意味著如果沒有大量的訓練數據，模型容易過擬合，無法很好地泛化。然而，在某些情況下，訓練數據難以獲得且收集成本高昂。如何讓DNNs在有限的訓練數據之外實現泛化，是深度學習中的一個基本問題。

為了解決數據需求量大的問題，研究人員提出了數據增強（DA）技術。與“模型中心”和正則化方法相比，DA是一種“數據中心”的正則化技術，它通過合成虛擬訓練數據來防止過擬合。DA通過構建同一樣本的不同版本引入有用的不變特征。DA帶來的數據集大小增加和歸納偏差的引入也起到了一定的正則化效果，緩解了過擬合問題。最近，數據增強已被證明能夠提高深度學習模型的泛化能力，成為實現最先進性能的關鍵因素。數據增強可以通過對比組合、Mixup和生成等方式合成新數據。

在本綜述中，我們聚焦于一個新興領域——Mixup。Mixup [1] 通過對兩個樣本及其對應的one-hot標簽進行插值來生成增強樣本。本質上，基于Mixup的方法通過混合多個樣本來生成增強數據。與大多數現有的增強技術修改單個樣本但不改變其唯一標簽的做法不同，Mixup通過來自兩個或多個示例生成增強樣本，導致多個標簽的產生，從而更好地反映現實世界的情況。此外，Mixup在不同的數據集和領域中表現出很強的可遷移性。相比之下，其他組合方法通常需要大量時間來確定合適的增強策略。生成方法在應用于大數據集時具有挑戰性，因為它需要額外的生成器和判別器，從而限制了可遷移性和應用場景。而Mixup不依賴于保留標簽的操作，而是通過可學習的方法來創建更有效的增強樣本。與傳統的數據增強方法處理單個樣本不同，Mixup通過混合多個樣本生成虛擬訓練數據，無需領域知識即可生成大量的訓練數據。目前，Mixup已成功應用于多種任務和訓練范式，包括監督學習（SL）、自監督學習（SSL）、半監督學習（Semi-SL）、自然語言處理（NLP）、圖結構和語音處理等領域。

在圖1中，我們總結了這些訓練范式和數據模態下的一些主流方法的時間軸：

• SL（樣本）：2018年，Mixup [1] 提出了靜態線性插值的樣本混合方法。2019年，CutMix [2] 和 Manifold Mixup [3] 提出了基于切割和特征的Mixup改進。這些是特定的增強方法。但從2020年到2023年，許多方法進一步在靜態線性、切割和特征基礎上改進了Mixup，甚至逐步轉向自適應方式。到2024年，DiffuseMix [4] 結合了生成模型和Mixup方法。

• SL（標簽）：2019年，AdaMixup [5] 發現混合比例λ會影響模型性能，這被稱為“流形入侵”。因此，從2020年到2024年，許多基于CNNs或Vision Transformers（ViTs）的方法涌現出來，優化這些比例。此外，CAMixup [6] 在2021年和RankMixup [7] 在2023年提出了增強模型校準的方法。

• SSL（CL）與SSL（MIM）：對比學習（CL）在圖像分類任務中表現出強大的能力。為了提高模型性能，研究人員提出了大量結合Mixup的CL方法，這些方法通過Mixup獲得“半正樣本”以捕捉更多特征。CL + Mixup 通常會修改其損失項以適應SSL任務。遮掩圖像建模（MIM）通過從混合樣本中重建樣本，認為混合樣本將共享更多特征，能夠學習一些高維信息。MixMAE [8] 和MixedAE [9] 在2023年展示了這一觀點。

• Semi-SL：可以利用標注和未標注的信息。2019年，MixMatch [10] 使用這種方法提高了模型性能，并使其更具魯棒性，因為混合樣本可以作為帶噪聲圖像的干凈圖像使用。對于PUL，P3Mix [11] 在2021年通過混合來自決策邊界附近的樣本獲得了更好的準確性。DecoupledMix [12] 在2023年提出了通過解耦樣本預測來獲得更干凈的偽標簽。

• 數據模態：不僅限于圖像領域。對于NLP，WordMixup & SenMixup [13] 在2019年提出了兩種文本混合方式，分別基于句子混合和嵌入混合。基于這兩種基本方法，許多帶有特定修改的方法被提出。例如，SeqMix [14] 在2021年提出了基于顯著性的嵌入混合，TreeMix [15] 通過使用成分句法分析將句子分解為子結構，并通過混合重新組合成新句子。對于圖結構，GraphMix [16] 和 ProGCL [17] 在2021年和2022年提出了結合Mixup方法的圖分類，并提出了一些結合Mixup和圖結構的新損失項，用于困難樣本挖掘。GraphMixup [18]、G-Mixup [19] 和iGraphMix [20] 在2022年和2024年通過顯著性信息獲得混合圖樣本，以提高模型的分類能力和魯棒性。對于語音，BC [21] 和Contrastive-mixup [22] 通過線性插值直接混合語音數據。

總體而言，與已發表的三篇關于Mixup的綜述[23]、[24]和[25]相比，我們的貢獻包括：

• 我們提供了及時的文獻回顧，并使用SL作為示例，提出了兩種不同的Mixup改進策略（樣本和標簽）的綜合框架。這兩種策略可以對應不同的訓練范式和數據模態。

• 我們仔細回顧并討論了各種Mixup方法的技術細節，如靜態線性、顯著性和基于注意力的方式，以便研究人員能夠更好地了解所涉及的方法，進而獲得更深入的理解和洞見。

• 我們對Mixup方法在下游任務中的應用進行了系統性的綜述，提出了技術挑戰，并進一步展示了它們在視覺任務之外的廣泛適用性，如音頻、語音、圖形、生物學等領域。

• 我們進一步將Mixup方法總結為一種可訓練的范式，相比于其他綜述中將其作為數據增強工具和方法的處理方式，我們呼吁研究人員貢獻一個統一的Mixup框架，以解決多種任務，而不是離散的任務特定修改。

Mixup框架模塊 在本小節中，我們將詳細說明Mixup方法流程中的各個模塊功能，如圖2所示。

• 初始化：在進行Mixup之前，一些方法會選擇mini-batch中的原始樣本來篩選適合混合的樣本。例如，Co-Mix [26] 在mini-batch中選擇適合的樣本，以最大化所獲得的混合樣本的多樣性。除了篩選樣本外，一些基于顯著性的方式利用預訓練模型定位并獲取樣本的特征圖。最后，各種方法從Beta分布中獲取Mixup比例λ。

• 樣本Mixup策略：在監督學習中，我們將策略分為9類，詳細信息展示在圖A1中。靜態線性方法使用λ基于插值線性混合兩個或多個樣本。基于特征的方法使用由fθ(?)f_θ(·)fθ(?)獲得的原始樣本特征圖，并以插值線性的方式進行混合。切割方法通過不同方式（如切割、調整大小或堆疊）混合樣本，混合比例λ來自掩碼區域。K樣本Mixup方法使用兩個以上的樣本進行混合。隨機策略方法結合了多種不同的數據增強方法和一些手工制作的Mixup方法，策略的選擇由每種方法的權重因子決定。基于風格的混合方法通過額外的風格提取器從樣本的風格和內容中進行混合。顯著性方法使用樣本特征圖來定位顯著性信息，并獲得最大特征混合樣本。基于注意力的方法類似于顯著性方法，利用注意力得分而非顯著圖。生成樣本的方法使用生成模型，如基于GAN的模型[27]和基于擴散的模型[28]生成混合樣本。

• 標簽Mixup策略：在監督學習中，我們將策略分為8類，并在圖A1中展示了詳細內容。校準優化方法使用ECE指標對混合樣本進行排序，以提高分類性能和模型校準。基于區域的方法使用掩碼區域重新定義混合比例λ。損失對象方法重新定義新的Mixup分類損失或提出新的損失作為正則化方法。隨機策略方法將其他增強方法與Mixup方法結合或為Mixup提出新的訓練策略。混合比例優化方法使用可學習的參數作為λ，通過不同的混合樣本獲得可靠的混合比例。生成標簽方法通過混合樣本生成混合標簽，而不是使用one-hot標簽。注意力得分方法使用原始樣本的注意力圖來獲得比例，或者使用混合樣本的注意力圖通過每個樣本的得分計算混合比例。顯著性Token方法使用每個原始樣本的顯著圖并將其劃分為tokens，通過tokens計算混合比例。

• 采樣：一些方法僅專注于樣本策略，以提高模型的性能和能力。它們采用其他策略來固定比例λ或標簽，一些方法計算掩碼上的所有像素并固定λ，而另一些方法為混合樣本設置權重因子。

• 通道Mixup策略：與樣本或標簽不同，通道具有大量高級特征。Manifold Mixup [3] 通過插值線性獲得混合樣本，Catch up-Mix [29] 通過選擇一些特征圖進一步提高濾波器能力，獲得混合樣本。

Mixup方法的主要步驟

如圖2頂部所示，Mixup方法遵循以下步驟：

1. 從訓練數據集中加載mini-batch原始樣本；
2. 對于一些下游任務，包括選擇原始樣本和保留可靠樣本，一些基于顯著性或注意力的方法通過加載預訓練模型獲得特征區域或tokens。然后，定義從Beta分布或均勻分布采樣的混合比例λ；
3. 初始化后，原始樣本通過樣本Mixup策略與其他樣本混合。我們在3.1小節中展示了這些策略；
4. 當生成混合樣本x^\hat{x}x^ 后，有兩種選擇：一種是采樣，一些方法通過掩碼M的總像素更新混合比例，一些方法選擇混合樣本以保留更多的多樣性或具有挑戰性的樣本，另一些方法重新定義混合比例。另一種是標簽Mixup策略，我們在3.2小節中展示了這些策略并進一步挖掘標簽y^\hat{y}y^；
5. 最后一步是通道Mixup策略，混合樣本x^\hat{x}x^ 通過網絡編碼并映射到高維潛在空間，一些方法相互插值或選擇特征圖用于高維特征z^\hat{z}z^。然后繼續對特征向量進行編碼以執行不同的任務，并根據不同的損失函數優化網絡。

結論

在本綜述中，我們將Mixup方法重新表述為一個統一的框架，并總結了這些方法在2018年至2024年間在各種任務中的技術細節和數據模態。此外，我們將Mixup分為兩大類：樣本Mixup策略和標簽Mixup策略，這兩類可以涵蓋Mixup的不同改進版本，并在圖A1和圖A2中總結了本綜述中的所有Mixup方法。我們還總結了Mixup方法中經常使用的各種數據集類型，以及在常用數據集上基于主流模型進行圖像分類任務的主流Mixup方法的分類結果，顯示在表A2、表A3和表A4中。最后，我們討論了現有問題和未來有價值的研究方向，旨在為研究人員提供該領域中的一些前沿想法和思路。

摘要. 自動疾病診斷在臨床實踐中變得越來越有價值。大型語言模型（LLMs）的出現推動了人工智能領域的范式轉變，越來越多的證據支持LLMs在診斷任務中的有效性。盡管該領域受到越來越多的關注，但許多關鍵的研究問題仍未得到充分探索。例如，哪些疾病和LLM技術已被用于診斷任務的研究？如何為臨床決策選擇合適的LLM技術和評估方法？為解答這些問題，我們對基于LLM的疾病診斷方法進行了全面分析。本次范圍綜述審查了現有研究中報告的疾病類型、相關器官系統、臨床數據、LLM技術和評估方法。此外，我們為數據預處理、選擇適當的LLM技術和診斷任務的評估策略提供了指南。我們還評估了當前研究的局限性，并劃定了該研究領域的挑戰與未來方向。總之，我們的綜述為基于LLM的疾病診斷勾勒了藍圖，幫助簡化并指導未來的研究工作。

引言

自動疾病診斷通過將臨床數據輸入算法，分析數據模式并生成診斷結果，幾乎無需或完全不需要人工干預。其在臨床場景中的重要性是多方面的。首先，它提高了診斷的準確性，支持醫生的臨床決策，并通過提供更多高質量的診斷服務，解決了醫療資源獲取不平等的問題。其次，它提高了診斷效率，尤其是在人口老齡化和臨床醫生短缺的情況下，診斷的復雜性即便對經驗豐富的醫生來說也需要花費大量時間。最后，它通過在線診斷服務為患者提供了更大的便利，促進了早期診斷并減少了傳統臨床就診所帶來的延誤。 人工智能的進步推動了自動診斷系統的發展，經歷了兩個階段。最初，采用支持向量機（SVM）和決策樹等機器學習技術進行疾病分類1,2，通常包括四個步驟：數據處理、特征提取、模型優化和疾病預測。隨著數據集規模的擴大和計算能力的提升，深度學習方法后來在診斷任務中占據主導地位3,4。這些方法利用深度神經網絡（DNN），包括卷積神經網絡（CNN）5、循環神經網絡（RNN）6和生成對抗網絡（GAN）7，實現了端到端的特征提取和模型訓練。例如，具有34層的卷積神經網絡在心律失常診斷中達到了心臟病專家級別的表現8。然而，這些模型需要大量標注數據進行訓練，且通常針對特定任務，限制了它們在其他任務中的適應性5,8。 近年來，人工智能的范式從傳統的深度學習轉向了大型語言模型（LLM）的興起。與監督學習不同，LLM如生成式預訓練轉換器（GPT）和LLaMA9，是通過自監督學習在大量未標注數據上預訓練的生成模型。這些模型通常包含數十億個參數，擅長處理語言，并能夠適應多種任務。迄今為止，LLM在臨床場景中展示了卓越的性能，包括問答10、信息檢索11和臨床報告生成12,13。

最近，越來越多的研究驗證了LLM在診斷任務中的有效性。例如，PathChat14，一個經過數十萬條指令微調的視覺語言通用LLM，在人類病理學中取得了最先進的性能。Med-MLLM13，一個在廣泛的醫學數據（包括胸部X光片、CT掃描和臨床筆記）上預訓練和微調的多模態LLM，在COVID-19診斷中表現出了顯著的準確性。此外，Kim等人15使用GPT-4結合提示工程，發現它在識別強迫癥方面超越了心理健康專家。 盡管該研究領域備受關注，但許多關鍵問題仍未得到充分探索。例如，哪些疾病和LLM技術已被用于診斷任務？研究人員如何利用LLM分析各種類型的醫學數據進行疾病診斷？哪些評估方法適合評估模型性能？盡管已有大量關于LLM在醫學中應用的綜述論文16,17,18,19,20，它們通常提供了對各種臨床應用的廣泛概述，但并未特別強調疾病診斷。例如，Pressman等人21提供了LLM在臨床中的潛在應用的綜合總結，包括術前咨詢、治療、術后管理、出院和患者教育。然而，這些調查并未涉及LLM在疾病診斷中的細微差別和挑戰，未能回答上述問題，凸顯了研究中的一個關鍵空白。 本綜述的主要目的是對LLM在疾病診斷中的應用進行全面分析。我們審查了現有研究中涉及的各種疾病類型、相關器官系統、臨床數據、LLM技術和評估方法。此外，我們為數據預處理、選擇適當的LLM技術和采用合適的評估策略提供了指南。我們還分析了當前研究的局限性，全面呈現了該領域的挑戰和未來方向。總之，本綜述為基于LLM的疾病診斷勾勒了藍圖，并幫助啟發和簡化未來的研究工作。

研究范圍概述

本節概述了本研究中涉及的疾病、臨床數據和LLM。圖2展示了疾病相關的器官系統、臨床數據、所研究的LLM數據模式和相關LLM技術。值得注意的是，LLM涵蓋了多種數據模式，包括文本、圖像、視頻、音頻、表格數據和時間序列。圖3展示了隨時間變化的出版趨勢以及本綜述中數據隱私和評估方法的統計。表1總結了用于疾病診斷的主流LLM技術分類，而表2則展示了常用的評估指標。

多模態融合致力于整合來自多種模態的信息，目的是實現更準確的預測。在包括自動駕駛和醫療診斷等廣泛的場景中，多模態融合已取得顯著進展。然而，在低質量數據環境下，多模態融合的可靠性大部分仍未被探索。本文綜述了開放多模態融合面臨的常見挑戰和最新進展，并將它們呈現在一個全面的分類體系中。從數據中心的視角，我們確定了低質量數據上多模態融合面臨的四個主要挑戰，即**（1）噪聲多模態數據，它們被不同種類的噪聲污染；（2）不完整的多模態數據，某些模態缺失；（3）不平衡的多模態數據，不同模態的質量或屬性有顯著差異；以及（4）質量變化的多模態數據**，每種模態的質量會根據不同樣本動態變化。這一新的分類體系將使研究人員能夠理解該領域的現狀，并識別出幾個潛在的研究方向。我們還討論了這一領域的開放問題以及有趣的未來研究方向。

//arxiv.org/abs/2404.18947 我們對世界的感知基于多種模態，例如觸覺、視覺、聽覺、嗅覺和味覺。即使某些感官信號不可靠，人類也能從不完美的多模態輸入中提取有用線索，并進一步拼湊出正在發生事件的整個場景【1】。隨著感知技術的發展，我們可以輕松收集各種形式的數據進行分析。為了充分釋放每種模式的價值，多模態融合作為一種有前景的范式出現，通過整合所有可用線索進行下游分析任務，以獲得精確和可靠的預測，例如醫學圖像分析、自動駕駛車輛【2】【3】和情感識別【4】【5】【6】。直觀地說，融合來自不同模式的信息提供了探索跨模態相關性并獲得更好性能的可能性。然而，人們越來越認識到，廣泛使用的AI模型常常被低質量數據中的假相關性和偏見所誤導。在現實世界中，由于意外的環境因素或傳感器問題，不同模態的質量通常存在差異。一些最近的研究實證和理論上表明，傳統的多模態融合可能在野外的低質量多模態數據上失敗，例如不平衡【7】【8】【9】【10】、噪聲【11】或甚至損壞【12】的多模態數據。為了克服這一限制，并向實際應用中強大且通用的多模態學習邁進一步，我們確定了低質量多模態數據的特性，并專注于現實世界多模態機器融合的一些獨特挑戰。我們還強調了可能有助于使多模態融合在開放環境中更加可靠和值得信賴的技術進展。在本文中，我們識別并探索了圍繞低質量多模態數據的多模態融合的四個核心技術挑戰。它們總結如下（也在圖1中直觀展示）： (1) 噪聲多模態數據。第一個基本挑戰是學習如何減輕多模態數據中任意噪聲的潛在影響。高維多模態數據往往包含復雜的噪聲。多模態數據的異質性使得識別和減少潛在噪聲成為挑戰，同時也提供了通過探索不同模態之間的相關性來識別和減少噪聲的機會。 (2) 不完整的多模態數據。第二個基本挑戰是如何學習帶有部分缺失模態的多模態數據（即不完整的多模態數據）。例如，在醫療領域，即使是患有同一疾病的患者也可能選擇不同的醫療檢查，產生不完整的多模態數據。開發能夠處理不完整多模態數據的靈活且可靠的多模態學習方法是一個具有挑戰性但充滿希望的研究方向。 (3) 不平衡的多模態數據。第三個基本挑戰是如何減輕模態間偏差和差異的影響。例如，視覺模態通常比聽覺模態更有效，導致模型采取捷徑且缺乏對音頻的探索。盡管現有融合方法表現出有希望的性能，但它們可能無法在某些偏好特定模態的應用上比單模態主導模型表現更好。 (4) 質量動態變化的多模態數據。第四個基本挑戰是如何適應多模態數據的質量動態變化性質。在實踐中，由于不可預見的環境因素或傳感器問題，一個模態的質量通常會因不同樣本而變化。例如，在低光或逆光條件下，RGB圖像的信息量不如熱成像模態。因此，在實際應用中，意識到融合中的質量變化并動態整合多模態數據是必要的。 為了應對這些日益重要的多模態融合問題，本研究系統地組織了通過幾個分類體系的關鍵挑戰。與以往討論各種多模態學習任務【13】【14】的相關工作不同，這項綜述主要關注多模態學習中最基本的問題以及在下游任務中低質量多模態數據所引起的獨特挑戰，包括聚類、分類、對象檢測和語義分割。在以下部分中，我們通過最近的進展和多模態融合面臨的技術挑戰詳細介紹了這一領域：在噪聲多模態數據上的學習（第2節）、缺失模態插補（第3節）、平衡多模態融合（第4節）和動態多模態融合（第5節）。第6節提供了一個作為結論的討論。 在噪聲多模態數據上的學習

在現實世界場景中收集高質量的多模態數據不可避免地面臨著由噪聲帶來的重大挑戰。多模態數據【15】的噪聲可能源于傳感器錯誤【16】、環境干擾或傳輸損失。對于視覺模態，傳感器中的電子噪聲會導致細節丟失。此外，音頻模態可能因環境因素受到意外的扭曲。更糟糕的是，弱對齊甚至未對齊的多模態樣本也常見，這存在于更高級別的語義空間中。幸運的是，考慮多模態之間的相關性或更好地利用多模態數據可以幫助融合噪聲多模態數據。各種相關工作【16】【17】【18】表明，多模態模型超越了它們的單模態對應物。這可以歸因于多模態數據利用不同模態之間的相關性，識別和減輕潛在噪聲的能力。 多模態噪聲大致可以根據其來源分為兩類：1) 模態特定噪聲，來源于各個模態的傳感器錯誤、環境因素或傳輸；2) 跨模態噪聲，來源于未對齊的多模態對，可以被視為語義級別的噪聲。

不完整多模態學習

在真實應用中收集的多模態數據常常不完整，某些樣本的部分模態因意外因素（如設備損壞、數據傳輸和存儲損失）而缺失。例如，在面向用戶的推薦系統中，瀏覽行為歷史和信用評分信息可能并不總是對某些用戶可用【48】。同樣地，雖然結合多種模態的數據，例如磁共振成像（MRI）掃描、正電子發射斷層掃描（PET）和腦脊液（CSF）信息，可以為阿爾茨海默病提供更準確的診斷【49】【50】，但由于PET掃描的高測量成本和CSF的不適感侵入性測試，一些患者可能拒絕進行這些檢查。因此，在阿爾茨海默病診斷中常見不完整的多模態數據【51】。通常，傳統的多模態學習模型假設多模態數據的完整性，因此不能直接適用于部分模態缺失的情況。針對這一問題，旨在探索具有部分缺失模態的不完整多模態數據的信息的不完整多模態學習出現，并在近年來獲得了越來越多的研究關注【52】。在本節中，我們主要關注不完整多模態學習研究的當前進展。從是否對缺失數據進行插補的角度來看，我們將現有方法分為兩大類，包括基于插補的和無插補的不完整多模態學習，其中基于插補的方法進一步分為兩組，如圖2所示，包括實例和模態級別的插補。 平衡多模態學習

不同的模態之間緊密相關，因為它們從不同的視角描述同一概念。這一屬性激發了多模態學習的興盛，其中多種模態被整合，旨在增強對相關事件或對象的理解。然而，盡管存在自然的跨模態相關性，每種模態都有其獨特的數據來源和形式。例如，音頻數據通常表現為一維波形，而視覺數據則由像素組成的圖像構成。一方面，這種差異賦予了每種模態不同的屬性，如收斂速度，然后使得同時處理和學習所有模態變得困難，給聯合多模態學習帶來了難度。另一方面，這種差異也反映在單模態數據的質量上。盡管所有模態描述相同的概念，它們與目標事件或對象相關的信息量不同。例如，考慮一個標有會議的音視覺樣本，視覺數據明顯顯示了會議的視覺內容，這很容易被識別（見圖1c）。而相應的音頻數據是嘈雜的街道汽車聲，很難與會議標簽建立聯系。視覺模態的信息量顯然比音頻模態多。由于深度神經網絡的貪婪本性【9】，多模態模型傾向于僅依賴具有充足與目標相關信息的高質量模態，同時對其他模態欠擬合。為了應對這些挑戰并提高多模態模型的效能，最近的研究集中于策略上，以平衡模態之間的差異并增強模型的整體性能。 動態多模態融合

當前的多模態融合方法常基于一種假設，即多模態數據的質量是靜態的，這在現實世界場景中并不總是成立的。處理具有動態變化質量的多模態數據是多模態智能系統不可避免的問題。由于意外的環境因素和傳感器問題，一些模態可能會遭受可靠性差和丟失任務特定信息的問題。此外，不同模態的質量會根據場景動態變化，如圖5所示。這一現象激發了一種新的多模態學習范式，即動態多模態融合，其目標是適應多模態數據質量的動態變化并有選擇性地整合任務特定信息。在本節中，我們關注動態多模態融合的挑戰，并將當前文獻中的進展分類為三個主要方向，包括啟發式、基于注意力和意識到不確定性的動態融合。

開放領域生成系統在會話人工智能領域（例如生成式搜索引擎）引起了廣泛關注。本文對這些系統，特別是大型語言模型所采用的歸因機制進行了全面回顧。盡管歸因或引用可以提高事實性和可驗證性，但模糊的知識庫、固有偏見以及過度歸因的缺點等問題可能會妨礙這些系統的有效性。本綜述的目標是為研究人員提供有價值的見解，幫助改進歸因方法，以增強開放領域生成系統生成的響應的可靠性和真實性。我們認為這個領域仍處于初級階段，因此我們維護了一個倉庫，以跟蹤正在進行的研究，網址為

//github.com/HITsz-TMG/awesome-llm-attributions。

自從由大型語言模型（LLMs）驅動的開放領域生成系統出現以來（Anil等人，2023；OpenAI，2022，2023），解決潛在不準確或虛構內容的連貫生成一直是一個持續存在的挑戰（Rawte等人，2023；葉等人，2023；張等人，2023b）。社區通常將這種問題稱為“幻覺”問題，其中生成的內容呈現出扭曲或虛構的事實，缺乏可信的信息來源（Peskoff和Stewart，2023）。這在信息搜索和知識問答場景中尤為明顯，用戶依賴大型語言模型獲取專業知識（Malaviya等人，2023）。

幻覺問題的實質可能源于事先訓練的模型是從廣泛、未經過濾的現實世界文本中獲取的（Penedo等人，2023）。這些人類生成的文本固有地包含不一致性和虛假信息。事先訓練的目標僅僅是預測下一個單詞，而不是明確建模生成內容的真實性。即使在利用人類反饋的強化學習之后（Ouyang等人，2022），模型仍然可能出現外部幻覺（Bai等人，2022）。為了解決外部幻覺的問題，研究人員已經開始采用外部參考文獻等措施來增強聊天機器人的真實性和可靠性（Thoppilan等人，2022；Menick等人，2022；Nakano等人，2021）。顯式歸因和強化學習之間的區別不僅在于需要人工驗證和遵從，還在于認識到生成的內容可能隨著時間變化而變得過時或無效。歸因可以利用實時信息來確保相關性和準確性。然而，歸因的基本挑戰圍繞著兩個基本要求（Liu等人，2023）：

考慮到這些要求，我們可以將模型處理歸因的主要方式分為三種類型：

1. 直接模型驅動的歸因：大型模型本身為其回答提供歸因。然而，這種類型經常面臨挑戰，因為回答可能不僅是虛構的，而且歸因本身也可能是虛構的（Agrawal等人，2023）。雖然ChatGPT在大約50.6%的時間里提供正確或部分正確的答案，但建議的參考文獻僅在14%的時間內存在（Zuccon等人，2023）。
2. 檢索后回答：這種方法根植于明確檢索信息然后讓模型基于這些檢索到的數據進行回答的思想。但檢索并不本質上等同于歸因（Gao等人，2023b）。當模型的內部知識和外部檢索的信息之間的邊界變得模糊時，可能會出現潛在的知識沖突問題（Xie等人，2023）。檢索也可以被用作一種專門的工具，允許模型獨立觸發它，類似于ChatGPT 1中的“使用必應進行瀏覽”。
3. 生成后歸因：系統首先提供答案，然后使用問題和答案進行歸因搜索。如果需要，答案然后會進行修改并得到適當的歸因。現代搜索引擎，如Bing Chat 2，已經包含了這種歸因方式。然而，研究顯示，從四個生成式搜索引擎生成的內容中，只有51.5%完全得到了引用文獻的支持（Liu等人，2023）。這種歸因方式在高風險專業領域，如醫學和法律中尤其缺乏，研究發現有大量不完整的歸因（分別為35%和31%）；而且，許多歸因來自不可靠的來源，51%的歸因被專家評估為不可靠（Malaviya等人，2023）。

超越對文本幻覺的一般討論（Zhang等人，2023b；葉等人，2023；Rawte等人，2023），我們的研究深入探討了大型語言模型的歸因問題。我們探討了它的起源、支撐技術以及評估標準。此外，我們也涉及了諸如偏見和過度引用的挑戰。我們相信，通過關注這些歸因問題，我們可以使模型更加可信賴和容易理解。我們這項研究的目標是以一種更加清晰的方式來闡述歸因問題，鼓勵對這一主題進行更深入的思考。

歸因是指一個實體（如文本模型）生成并提供證據的能力，這些證據通常以引用或參考文獻的形式出現，用以支撐它所產生的聲明或陳述。這些證據來源于可識別的源頭，確保這些聲明可以從一個基礎語料庫中邏輯推斷出來，使得它們對于普通受眾而言是可以理解和驗證的。歸因本身與搜索任務相關（Brin 和 Page, 1998；Page 等人, 1999；Tay 等人, 2022），在這種任務中只有幾個網頁會被返回。然而，歸因的主要目的包括使用戶能夠驗證模型所做的聲明，促進生成與引用源高度一致的文本以提高準確性和減少錯誤信息或幻覺，以及建立一個結構化的框架來評估支持證據的完整性和相關性，與所提出的聲明相比較。歸因的準確性核心在于所產生的陳述是否完全由引用源支持。Rashkin 等人（2021）還提出了歸因于已識別來源（AIS）的評估框架，以評估特定陳述是否由所提供的證據支持。Bohnet 等人（2022）提出了歸因問答，模型在這里接受一個問題，并產生一對配對的回答，即答案字符串及其從特定語料庫，如段落中得到的支持證據。

直接生成的歸因 來自參數化知識的直接生成歸因可以幫助減少幻覺現象并提高生成文本的真實性。通過要求模型進行自我檢測和自我歸因，一些研究發現生成的文本更加基于事實，并且在下游任務中的表現也有所提升。最近，研究人員發現，大型語言模型在回答特定領域的知識性問題時，不能清楚地提供知識來源或證據（Peskoff 和 Stewart, 2023; Zuccon 等人, 2023）。在大多數情況下，模型只能提供一個與問題中的關鍵詞松散相關或與當前主題無關的知識來源。即使模型正確回答了問題，它提供的證據仍然可能存在錯誤。Weller 等人（2023）嘗試通過提出根據提示方法，將模型生成的文本基于其預訓練數據，發現這種方法可以影響模型的根據性，從而影響信息尋求任務的表現。Anonymous（2023）引入了一個中間規劃模塊，要求模型生成一系列問題作為當前問題的藍圖。模型首先提出一個藍圖，然后結合基于藍圖問題生成的文本作為最終答案。藍圖模型允許在每個回答問題的步驟中采用不同形式的歸因，可以期望更具解釋性。

**檢索后回答 **

多篇研究論文已經調查了歸因的檢索后回答方法（Chen 等人，2017年；Lee 等人，2019年；Khattab 和 Zaharia，2020年）。SmartBook 框架（Reddy 等人，2023年）提出了一種方法，該方法利用大量新聞數據自動生成結構化的情況報告。SmartBook 確定了情況分析的關鍵問題，并從新聞文章中檢索相關信息。報告按時間線組織，每個時間線包括重大事件、戰略問題和由事實證據支持的概括性總結。為了解決用戶查詢和存儲知識之間的不一致問題，MixAlign（張等人，2023a）提出了一個框架，該框架結合了自動問題知識對齊和用戶澄清，增強了檢索增強生成模型的性能，并減輕了語言模型的幻覺。此外，SearChain（徐等人，2023年）引入了一個新穎的框架，它將大型語言模型（LLMs）與信息檢索（IR）結合起來，提高了復雜知識密集型任務的準確性、可信度和可追溯性。SearChain 采用檢索然后回答的方法，通過生成全球推理鏈（CoQ）并利用 IR 來驗證答案和提供缺失的知識。

生成后歸因

為了在不損害最新一代模型所提供的強大優勢的情況下促進準確的歸因，一些研究致力于生成后的歸因，這些研究使用搜索引擎或文檔檢索系統，基于輸入問題和生成的答案來搜索證據。這種方法允許研究人員評估或提高答案的事實性，而無需直接訪問模型的參數。生成后歸因的工作流程如圖3所示。RARR（高等，2023a）自主識別任何文本生成模型輸出的歸因，并執行后期編輯以糾正不支持的內容，同時努力在最大程度上保留原始輸出。在霍等人（2023）的工作中，材料是基于粗粒度的句子或細粒度的事實陳述從語料庫中檢索的。然后利用這些檢索到的材料提示LLM，以驗證生成的回應與檢索到的材料之間的一致性，并進行必要的編輯以減少幻覺。陳等人（2023b）介紹了一個全自動化的管道，旨在驗證復雜的政治聲明，這是通過從網上檢索原始證據、生成聚焦聲明的摘要并利用它們進行聲明驗證來實現的。

摘要： 隨著人工智能的快速發展，從可行的算法中選擇滿足應用需求的算法已經成為各領域亟待解決的關鍵問題，即算法選擇問題。基于元學習的方法是解決算法選擇問題的重要途徑，被廣泛應用于算法選擇研究并取得了良好成果。方法通過構建問題特征到候選算法性能的映射模型來選擇合適的算法，主要包括提取元特征、計算候選算法性能、構建元數據集以及訓練元模型等步驟。首先，闡述基于元學習的算法選擇概念和框架，回顧簡述相關綜述工作；其次，從元特征、元算法和元模型性能指標三方面總結研究進展，對其中典型的方法進行介紹并比較不同類型方法的優缺點和適用范圍；然后，概述基于元學習的算法選擇在不同學習任務中的應用情況；繼而，使用140個分類數據集、9種候選分類算法和5種性能指標開展算法選擇實驗，對比不同算法選擇方法的性能；最后，分析目前存在的挑戰和問題，探討未來的發展方向。 //fcst.ceaj.org/CN/abstract/abstract3212.shtml

人工智能是數據處理與分析的重要技術，為人 們利用數據進行決策和研究提供了有力支撐。在人 工智能的不同領域中，研究人員提出了大量算法，然 而，不同算法在有限數量的問題上具備優越性能，不 存在一個適用于所有問題的可行算法，該現象被稱 為算法的性能互補性（performance complementarity） 現象[1] ，與“沒有免費午餐”（no free lunch）定理相印 證[2] 。算法的性能互補性現象普遍存在于不同領域， 如何為給定問題從大量可行算法中選擇滿足應用需 求的算法成為了各領域面臨的重要挑戰，即算法選 擇問題（algorithm selection problem）[3] 。算法選擇問 題通常采用人工選擇或自動選擇的方法解決。人工 選擇方法通過實驗試錯或依賴專家選擇合適的算 法，然而實驗試錯方法成本較高，專家選擇與專家的 經驗知識相關且靈活性較低[4] 。自動選擇方法通過 設計算法和模型，根據問題的特點自動選擇滿足應 用需求的算法，包括活躍測試（active test）方法、推薦 系統方法以及基于元學習（meta-learning）的方法[5-7] 。 其中基于元學習的方法研究基礎較為深厚，具備開 銷低和靈活度高等優點，成為了解決算法選擇問題 的主要方法[8-9] 。 本文對基于元學習的算法選擇進行綜述總結， 為研究人員了解相關領域的發展現狀提供參考。

摘要

遷移學習是指從源領域提取可遷移知識并將其重用到目標領域的行為，已成為人工智能領域的研究熱點。概率圖模型(PGMs)作為一種建模復雜系統的強大工具，具有處理不確定性的能力和良好的可解釋性。考慮到上述兩個研究領域的成功，將PGMs應用于遷移學習似乎是很自然的。然而，盡管在文獻中已經有一些優秀的遷移學習特異性PGMs，但PGMs在這一問題上的潛力仍然被嚴重低估。本文旨在通過以下幾個方面促進遷移學習的知識遷移模型的發展:1)考察遷移學習的知識遷移模型的試點研究，即分析和總結現有的專門設計的知識遷移機制;2)討論現有PGM成功應用于實際遷移問題的例子;3)利用PGM探討遷移學習的幾個潛在研究方向。

引言

遷移學習是從源領域中提取可遷移的知識，并在目標領域中重用該知識的行為，這是一種自然的人類現象，即使對于非常小的兒童(Brown & Kane, 1988)。形式定義如下(Pan & Yang, 2010):“給定源域DS = {XS, PS(X)}和目標域DT = {XT, PT (X)}，遷移學習的目的是借助DS改進DT中的學習任務，其中X為特征空間，P(X)為數據分布。”當XS = XT時，為同質遷移學習;當XS= XT時，為異質遷移學習。需要注意的是，遷移學習可以被看作是前面提到的問題，也可以看作是解決這個問題的方法。一個經典的激勵例子是產品評論的跨領域(如電影和計算機領域) 情感預測: 1) 在電影領域有大量的標簽產品評論，因此可以訓練一個分類器，并應用于該領域的預測; 2)新計算機的評論標簽不足以訓練分類器進行進一步的情感預測; 3) 一個簡單的想法是直接來自電影領域的分類器應用到新電腦領域考慮兩個域之間的相似之處(例如,人們傾向于使用類似的詞語來表達他們的喜歡或不喜歡在不同的產品), 但它并不總是工作很可能導致負遷移(Weiss, Khoshgoftaar, & Wang, 2016). 因為它們在不同的上下文中存在差異(例如，在電影領域中，“觸摸我的心”是褒義詞，而在計算機領域中，“觸摸板”是中義詞)。如何結合源域和目標域提取可遷移知識是遷移學習的藝術。在文獻中，有幾個與遷移學習密切相關的概念誤導了讀者，如樣本選擇偏差、協變量轉移、類別不平衡、領域適應和多任務學習。(Pan & Yang, 2010)的研究試圖根據源域和目標域的設置來區分和組織它們，例如目標域中是否有標記數據。本文并沒有明確區分它們，但我們認為它們都是遷移學習。對這些概念及其區別的進一步討論可以在(Pan & Yang, 2010;Weiss et al.， 2016)。識別、建模和利用兩個領域之間可遷移的知識的能力不僅提高了具體現實問題的性能，而且在促進機器人在沒有任何人類干預的情況下的自學習(像人類)方面邁出了重要的一步。想象一下這樣的場景:一個智能機器人面臨一個自己沒有知識的新問題，它向其他類似領域的機器人尋求幫助，并向他們學習，問題就解決了。因此，我們認為遷移學習不僅在統計機器學習領域，而且在機器人甚至一般人工智能領域都有很好的前景。

概率圖模型(PGM) (Wainwright, Jordan等，2008;Koller & Friedman, 2009)是統計機器學習的一個重要分支，它是一個豐富的框架，用于通過概率分布或隨機過程來建模(表達)來自領域的有限或無限個(可觀察或潛在)變量之間的復雜交互作用。它的名字來自于它的結構——一個以隨機變量為節點，以概率相關性為邊的圖，如圖1所示。根據節點/變量之間的邊緣類型(即有向或無向)，概率圖模型分為有向和無向兩類。例如，隱馬爾可夫模型(Rabiner, 1989)是一種有向圖模型; 條件隨機場(Lafferty, McCallum， & Pereira, 2001)是無向圖模型的一個例子。將概率圖模型應用于目標任務包括以下兩個步驟: 1)模型設計和 2)模型推理。給定一個任務，第一步是分析問題的本質，然后設計一些變量及其關系來捕捉這種本質。換句話說，這一步是設計PGM的圖結構，該結構應共同考慮觀測數據和目標任務的附加知識。請注意，這個步驟沒有確切的過程，因為它嚴重依賴于處理同一問題的不同人員的視圖/理解。例如，在Latent Dirichlet Allocation模型(Blei, Ng， & Jordan, 2003)中，文檔由滿足Dirichlet或多項分布的隨機變量建模，變量之間通過Dirichlet-多項關系連接;在Gamma-Poisson模型(Ogura, Amano， & Kondo, 2013)中，文檔由滿足Gamma或Poisson分布的隨機變量建模，變量之間通過Gamma-Poisson關系連接。在不考慮具體任務的情況下，討論優點和缺點通常是困難和毫無意義的。PGM的輸出是給定觀測數據的圖模型定義的感興趣的邊際或關節后驗分布。另外，從第一步開始的PGM實際上是一組模型，因為所設計的概率分布通常帶有未知的參數，不同的參數設置會導致不同的模型。有了觀測數據(圖模型中的一些變量/節點的值是已知的)，第二步是推斷潛在變量的后驗分布，并估計模型參數。對于一些稀疏圖，有一個精確的算法來學習PGM: 結點樹算法(Paskin & Lawrence, 2003; Wainwright et al., 2008)。但該算法不適用于任務復雜的復雜圖模型。因此，一些近似算法被發展來解決這個問題:期望最大化(Dempster, Laird， & Rubin, 1977)，拉普拉斯近似，期望傳播(Minka, 2001)，蒙特卡洛馬爾可夫鏈(Neal, 1993)，變分推理(Blei, Kucukelbir， & McAuliffe, 2017)。此外，設計的變量之間的概率相關性也可能不是固定的，而是從數據中學習的(所謂結構學習)。一個例子是貝葉斯網絡，其中的網絡結構(即變量之間的依賴關系)可以從數據中學習。由于其強大的建模能力和堅實的理論基礎，概率圖模型受到了分子生物學(Friedman, 2004)、文本挖掘(Blei et al.， 2003)、自然語言處理(Sultan, Boyd-Graber， & Sumner, 2016) 和 計算機視覺(Gupta, Phung， & Venkatesh, 2012) 等多個領域研究者的關注。

與機器學習中的其他模型(如支持向量機)相比，概率圖模型具有以下優點，這些優點可能有利于遷移學習: 1) 處理不確定性。不確定性幾乎出現在任何現實世界的問題中，當然也出現在他們的觀察(數據)中。例如，人們在編寫關于特定主題的文檔時可能會使用不同的詞匯，所以我們在構建模型以揭示隱藏的主題時需要考慮這種不確定性。PGMs能夠借助概率分布或隨機過程很好地處理(模型)這種不確定性; 2) 處理缺失數據。丟失數據的一個典型例子是來自推薦系統，用戶只對有限數量的項目進行評級，因此對其他項目的評級也會丟失。PGM可以通過潛在變量設計很好地處理這一問題(Mohan, Pearl， & Tian, 2013); 3) 可解釋性。PGM由定義的概率分布(或隨機過程)組成，因此人類專家可以評估其語義和屬性，甚至將他們的知識納入模型。通過PGM的結構，人們可以很容易地理解問題和領域; 4) 泛化能力。定向PGMs(也稱為生成模型)具有很好的泛化能力，可以比較鑒別模型，特別是在數據數量有限的情況下(Ng & Jordan, 2002)。盡管在文獻中已經發表了一些關于遷移學習的優秀研究，如: 綜合研究(Pan & Yang, 2010;Weiss et al.， 2016)，應用，如強化學習(Taylor & Stone, 2009)，協同過濾(Li, 2011)，視覺分類(Shao, Zhu， & Li, 2015)，人臉和物體識別(Patel, Gopalan, Li， & Chellappa, 2015)，語音和語言處理(Wang & Zheng, 2015)，活動識別(Cook, Feuz， & Krishnan, 2013)，和方法論，如計算智能(Lu, Behbood, Hao, Zuo, Xue， & Zhang, 2015)，在使用PGMs進行遷移學習方面沒有一個具體的工作。本文綜述了該領域的主要研究成果，總結了已有的遷移研究的基本方法，為今后在該領域的進一步研究奠定了基礎。本文對遷移學習領域的研究人員進行了綜述，并對遷移學習方法的應用進行了推廣。本文還綜述了已有的遷移學習理論在遷移學習中的成功應用，并促進了遷移學習理論的發展。本文假設讀者已經具備遷移學習的基本知識。

本文的其余部分結構如下。第2節討論了現有的最先進的方法使用的概率圖模型遷移學習。第3節介紹了現實世界中使用概率圖模型解決的遷移學習問題。最后，第四部分對本文進行了總結，并提出了進一步研究可能面臨的挑戰。

摘要： 數據庫自然語言接口(natural language interface to database, NLIDB)能夠憑借自然語言描述實現數據庫查詢操作，是促進用戶無障礙地與數據庫交互的重要工具.因為NLIDB具有較高的應用價值，近年來一直受到學術與商業領域的關注.目前成熟的NLIDB系統大部分基于經典自然語言處理方法，即通過指定的規則實現自然語言查詢到結構化查詢的轉化.但是基于規則的方法仍然存在拓展性不強的缺陷.深度學習方法具有分布式表示和深層次抽象表示等優勢，能深入挖掘自然語言中潛在的語義特征.因此近年來在NLIDB中，引入深度學習技術成為了熱門的研究方向.針對基于深度學習的NLIDB研究進展進行總結：首先以解碼方法為依據，將現有成果歸納為4種類型分別進行分析；然后匯總了7種模型中常用的輔助方法；最后根據目前尚待解決的問題，提出未來仍需關注的研究方向.

//crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200209