亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要—近年來，三維視覺已成為計算機視覺領域的關鍵方向，推動了自動駕駛、機器人技術、增強現實（AR）和醫學成像等廣泛應用。該領域依賴于從圖像和視頻等二維數據源中準確感知、理解和重建三維場景。擴散模型最初設計用于二維生成任務，但它們提供了更靈活的概率方法，更好地捕捉了真實世界三維數據中的多樣性和不確定性。然而，傳統方法往往在效率和可擴展性方面面臨挑戰。本文綜述了當前最先進的擴散模型在三維視覺任務中的應用，包括但不限于三維物體生成、形狀補全、點云重建和場景理解。我們深入討論了擴散模型的基本數學原理，概述了其前向和反向過程，并介紹了支持這些模型處理三維數據集的各種架構進展。我們還探討了擴散模型在三維視覺中應用所面臨的主要挑戰，如處理遮擋和點密度變化，以及高維數據的計算需求。最后，我們討論了包括提升計算效率、增強多模態融合、探索大規模預訓練以改善三維任務泛化能力在內的潛在解決方案。本文為這一快速發展的領域的未來探索和開發奠定了基礎。

關鍵詞—擴散模型，三維視覺，生成模型。

I. 引言

近年來，三維視覺已成為計算機視覺領域中的重要方向，推動了自動駕駛、機器人、增強現實和醫學成像等各種應用。這些應用依賴于從圖像和視頻等二維數據源中對三維場景的準確感知、理解和重建。隨著三維視覺任務的日益復雜，傳統方法常常在效率和可擴展性方面遇到挑戰。 擴散模型[1]–[5]最初在生成建模領域提出，并迅速發展，展現出在許多計算機視覺領域的顯著潛力。基于通過一系列隨機步驟轉換數據的理念，這些模型在圖像生成[6]–[9]、去噪[10]和修復任務[11]中取得了成功。尤其是，擴散模型在生成高質量、多樣化輸出方面表現出強大的生成能力，同時對噪聲具備魯棒性。 近年來，擴散模型的發展已從二維拓展到更具挑戰性的三維任務[12]–[14]，如三維物體生成[15]–[17]、形狀補全[18]、點云重建[20]等，標志著擴散建模與三維視覺的新時代的到來。 將擴散模型應用于三維視覺任務展現出前景，主要原因在于它們能夠建模復雜的數據分布，并且在噪聲處理上具備固有的魯棒性。擴散模型為需要三維數據合成、補全或增強的任務（如形狀生成[21]或深度估計[22]）提供了強大的框架。與依賴確定性算法的傳統三維建模技術不同，擴散模型提供了更靈活的概率方法，可以更好地捕捉真實三維數據中的多樣性和不確定性。 對擴散模型的日益關注源于它們在二維任務中生成精細高質量結果的能力，這促使研究人員探索其在三維中的應用。本文綜述了將擴散模型用于三維視覺的最新方法，討論了其潛在的優勢，如在三維重建中提升精度、更好地處理遮擋和稀疏數據等。 盡管將擴散模型應用于三維視覺前景廣闊，但其并非沒有挑戰。其中一個主要技術障礙是三維數據的復雜性增加，它可以以多種形式表示，如網格、體素或點云，每種形式都有其特定的處理需求。將擴散模型與這些異構數據結構集成仍然是一個挑戰，同時三維任務的計算需求常常遠遠高于二維任務，導致可擴展性問題。 另一個挑戰在于建模三維數據中的長距離依賴關系，擴散模型并非原生具備該能力。此外，許多三維視覺任務缺乏大規模標注數據集，這進一步增加了擴散模型的訓練難度，要求大量高質量數據以實現有效泛化。 本綜述聚焦于擴散模型在廣泛三維視覺任務中的應用，包括但不限于三維物體生成、點云去噪、三維重建及場景理解[23]。我們回顧了多種擴散模型架構及其在三維視覺中的適應性，涵蓋了過去五年的早期階段和最新進展。特別關注于這些模型如何應對三維數據的特定挑戰以及大規模三維視覺問題的計算限制。本文的主要貢獻如下： * 對現有將擴散模型應用于三維視覺任務的研究進行了全面分類和總結，分析其優缺點。 * 深入分析和比較了用于三維數據的關鍵技術、框架和方法。 * 詳細討論了該領域當前的挑戰和開放問題，以及未來研究方向，以改進三維視覺應用中的擴散模型。 * 對用于評估三維視覺任務中擴散模型的相關數據集和基準進行了廣泛的回顧。

為完成本綜述，我們采用了全面的文獻檢索策略，以確保深入探索該領域。首先確定了與主題相關的關鍵詞和短語，如“擴散模型”、“三維視覺”以及相關概念（如“生成模型”和“三維數據的神經網絡”）。我們在多個學術數據庫（包括IEEE Xplore、arXiv和Google Scholar）中進行檢索，重點關注過去五年的出版物，以捕捉最新進展。此外，我們優先選擇經過同行評審的期刊文章、會議論文和預印本，確保包含高質量的前沿研究。通過此策略，我們旨在提供關于三維視覺中擴散模型的全面、最新的綜述。 本文其余部分的組織結構如下：第二節概述擴散模型的理論基礎及其在二維和三維視覺任務中的關鍵發展。第三節深入探討三維視覺的核心概念，討論不同數據表示及其挑戰。第四節對擴散模型在不同三維視覺任務中的應用進行了詳細回顧。第五節總結了用于評估的可用數據集和基準。最后，第六節討論了未來方向和開放問題。

第七節為結論。

**擴散模型基礎

A. 擴散模型簡介 擴散模型（Diffusion Models）是一類生成模型，通過逐步將隨機噪聲轉換為結構化數據來學習生成數據的分布。該過程包括前向擴散過程，在此過程中噪聲逐步添加到數據中，以及反向過程，利用去噪算法從噪聲中重建數據。這種方法旨在通過迭代去噪來建模數據分布，已證明能夠在多個領域（包括三維視覺）生成高質量的樣本。 擴散模型最早作為一種受非平衡熱力學啟發的隨機過程被引入，發展迅速。尤其是在Ho等人提出去噪擴散概率模型（DDPMs）之后，擴散模型在可擴展性和采樣效率方面有了顯著提升。擴散模型的關鍵特性在于其迭代生成過程，主要包括： * 前向過程：逐步向數據添加高斯噪聲。 * 反向過程：通過去噪還原數據，生成新樣本。

這種框架允許擴散模型避免模式崩潰，與生成對抗網絡（GANs）相比，生成出多樣性更高的樣本。B. 擴散模型的數學基礎

 C. 擴散模型的變體 1. 去噪擴散概率模型（DDPMs）：在DDPM中，前向過程逐步將高斯噪聲添加到數據中，使原始數據分布轉變為已知先驗（通常為標準高斯分布）。反向過程則由神經網絡參數化，并訓練為逐步去噪。DDPM通過優化變分下界，實現高保真度圖像生成(Diffusion Models in 3D …)。 1. 基于得分的生成模型（Score-Based Generative Models）：這種變體使用得分匹配技術，以更直接地估計數據分布的梯度(Diffusion Models in 3D …)。 1. 隨機微分方程（SDE）：此類擴散模型的連續時間公式使其在三維生成任務中更具靈活性，例如生成點云和體素網格(Diffusion Models in 3D …)。 D. 三維視覺中的生成過程 與生成對抗網絡（GANs）和變分自編碼器（VAEs）相比，擴散模型在三維視覺任務中具有更強的生成能力，能夠生成光滑的連續表面，并處理復雜的高維數據。這對于需要詳細幾何結構的應用（如三維形狀重建）特別有利。

三維視覺基礎

三維視覺領域是現代計算機視覺中不可或缺的一部分，涉及各種數據表示方法及深度學習技術，以理解和處理三維信息。三維視覺廣泛應用于增強現實、虛擬現實以及自動駕駛等領域，這些應用都依賴于準確的三維場景感知與分析。

**A. 三維表示

三維數據表示是三維視覺的核心，提供了建模、分析和交互的手段。不同的表示方式各有其特點、優缺點，通常用于不同的三維任務。 二維表示

二維表示使用平面圖像推斷三維信息，適用于渲染與理解三維場景。通過多視圖圖像或深度圖，可以從多個角度獲取場景或物體的三維結構。

深度圖：深度圖表示從特定視角到場景中物體的距離，將深度信息編碼成圖像。它在三維重建、場景理解等應用中十分重要，因為它提供了一種整合二維圖像處理技術的有效方式。 顯式表示

顯式表示直接定義了三維模型的幾何形狀，如點云、體素網格和網格。它們直觀易操作，但存儲復雜形狀時空間需求較大。

點云：點云通過三維坐標表示物體或場景的形狀。其主要優勢在于對幾何數據的直接捕獲。然而，由于缺乏拓撲信息，點云通常需要進一步處理，以實現渲染或仿真。 1. 隱式表示 隱式表示通過數學函數定義三維幾何，例如有符號距離場（SDF）和占用場。它們通常用于生成平滑、連續的表面，并能處理復雜的幾何形狀。

**B. 三維視覺中的深度學習方法

深度學習的進步推動了三維視覺的發展，使得自動駕駛、機器人導航等領域能夠高效地分析和解釋三維數據。

基于卷積的神經網絡 三維卷積神經網絡（3D CNN）將二維卷積擴展到體素數據，捕捉三維空間的關系，適用于體素網格處理任務。然而，三維CNN計算需求高，因此多視圖CNN和球面CNN等變體在實際應用中被廣泛采用。

直接點云處理方法 點云數據的處理逐步由PointNet等方法引領，這些方法通過直接操作點云數據而無需將其轉換為其他形式，從而保留了數據的稀疏性與不規則性。

圖神經網絡 在點云上應用圖神經網絡（GNN）通過捕獲非歐幾里得結構中的關系，適合于對拓撲信息的建模。

占用網絡與深度有符號距離場 占用網絡和深度有符號距離場（DeepSDF）模型能有效地在復雜場景中生成詳細的三維形狀，在物體重建和場景理解中具有優勢。

基于Transformer的架構 Transformer的引入使得長距離依賴關系的建模成為可能，尤其在三維點云數據上，表現出在自適應分割和語義理解方面的能力。

**C. 三維視覺中的挑戰

遮擋 遮擋問題在三維視覺中普遍存在，尤其在物體間相互重疊的場景中。這會導致數據缺失或失真，影響物體識別和場景重建。多視圖聚合和深度完成是應對此問題的常用技術。

點密度變化 由于掃描設備距離和角度的不同，點云密度可能不均勻，導致重建和特征提取的復雜度增加。點云上采樣和表面插值技術被用來處理這些問題。

噪聲與離群值 三維數據采集過程中常伴有噪聲和離群值，影響數據的準確性。去噪濾波和離群值去除是常見的應對手段，但在精度和計算需求之間的平衡仍具挑戰性。

三維視覺的復雜性及其數據的高維特性使得這一領域充滿了挑戰，但隨著深度學習技術的不斷進步，三維視覺的準確性和效率正在顯著提高，為實際應用帶來了新的突破。

三維擴散生成任務

擴散模型在三維數據生成任務中表現出極大的潛力，能夠生成高質量的三維模型及其相關內容。這些任務涵蓋了各種生成和處理三維數據的方式，使擴散模型成為三維視覺研究的重要工具。

**A. 無條件生成

無條件生成指的是不依賴于任何輸入或條件（如類標簽、圖像或文本提示）生成三維形狀或物體。在這種生成模式下，模型從隨機噪聲或潛在變量出發，基于學習到的數據模式生成多樣化的三維結構。無條件生成常用于三維設計、虛擬環境和游戲等應用，其目的是在沒有外部指導的情況下捕捉數據的底層分布，生成逼真且多樣的三維輸出。

Zhou等人提出的Point-Voxel Diffusion框架，是最早利用擴散模型生成三維物體的工作之一。該方法將去噪擴散模型與三維形狀的概率生成模型結合，使用點-體素混合表示進行生成。模型通過一系列去噪步驟，將觀察到的點云數據逆擴散回到高斯噪聲狀態，從而生成新的三維形狀。

**B. 條件生成

在條件生成任務中，擴散模型會根據特定輸入（例如圖像或文本提示）生成對應的三維數據。該方法通常用于圖像到三維、文本到三維轉換等場景。這類任務對于三維數據合成的控制性較強，允許模型根據輸入生成具有特定特征的三維結構。例如，Ren等人提出的模型結合卷積和Transformer架構，生成動態掩模以在生成過程中實現特征融合，從而在不同階段優化全局和局部特征的平衡(Diffusion Models in 3D …)。

**C. 三維編輯與操作

三維編輯任務涉及對已有的三維數據進行修改或增強。擴散模型在這一領域展示了顯著的靈活性，允許對三維場景進行細致的控制。Zheng等人開發的PointDif方法，應用擴散模型進行點云預訓練，有助于在分類、分割和檢測等任務中提高性能。該方法將點云預訓練任務視為條件點對點生成問題，通過循環均勻采樣優化策略，使模型在不同噪聲水平下實現一致的恢復(Diffusion Models in 3D …)。

**D. 新視角合成

新視角合成任務主要集中于從給定的視角生成不同角度的三維圖像。擴散模型能夠有效處理三維數據的長距離依賴關系，并生成新的視角。Shue等人提出的Triplane Diffusion模型將三維訓練場景轉換為一組二維特征平面（稱為triplanes），然后利用現有的二維擴散模型對這些表示進行訓練，從而生成高質量的三維神經場。

**E. 深度估計

擴散模型在深度估計任務中的應用表現在通過噪聲抑制的方式改善深度信息提取質量。在復雜的場景中，模型可以利用擴散過程生成連續的深度數據，有效應對噪聲和不完整信息的問題。擴散模型通過生成更為平滑和準確的深度圖，為三維視覺系統在動態場景中的應用提供了新的解決方案。 綜上所述，擴散模型為三維視覺中的多項任務提供了有效的生成和增強工具。模型的應用不僅在無條件生成和條件生成方面取得了顯著成果，還在三維數據的編輯、合成和估計等任務中展現了出色的性能。這一領域的研究仍在不斷發展，未來可通過結合物理約束和多模態數據進一步提升模型的表現，為復雜和動態場景中的三維任務提供更強大的支持。

結論

本文對擴散模型在三維視覺任務中的應用進行了全面綜述。擴散模型最初是為二維生成任務設計的，但隨著三維數據（如點云、網格和體素網格）的處理需求增長，這些模型逐步適應了三維數據的復雜性。我們詳細回顧了將擴散模型應用于三維對象生成、形狀補全、點云重建和場景生成等任務的關鍵方法，并深入討論了擴散模型的數學基礎，包括其前向和反向過程及架構改進，使之能夠處理三維數據。

此外，本文分類和分析了擴散模型在不同三維任務中的顯著影響，包括從文本生成三維數據、網格生成以及新視角合成等。我們還探討了擴散模型在三維視覺中面臨的主要挑戰，如遮擋處理、點密度變化以及高維數據的計算需求。針對這些挑戰，我們提出了一些潛在解決方案，包括提升計算效率、增強多模態融合，以及探索使用大規模預訓練以更好地在三維任務中實現泛化。

通過整合當前擴散模型在三維視覺領域的研究現狀，并識別出其中的不足與機遇，本文為未來在這一快速發展的領域進行更深入的探索和開發奠定了基礎。擴散模型在三維視覺中的應用還在不斷進步，未來的研究有望繼續優化模型的計算效率和多任務處理能力，為三維數據的生成、重建和理解開拓新的可能性。

摘要——基于用戶指定要求的條件圖像生成是創建復雜視覺內容的關鍵組件。近年來，基于擴散的生成模型已成為條件圖像生成的一個非常有效的方法，導致了相關文獻的爆炸式增長。然而，擴散模型的復雜性、圖像生成任務的廣泛性以及條件機制的多樣性，為研究人員跟上快速發展的步伐并理解該主題的核心概念帶來了巨大挑戰。在本綜述中，我們根據條件如何融入擴散模型的兩個基本組件（即去噪網絡和采樣過程）對現有工作進行分類。我們特別強調了在訓練、重用和專門化階段構建理想去噪網絡時，各種條件方法的基本原理、優點和潛在挑戰。我們還總結了在核心采樣過程中使用的六種主流條件機制。所有討論都圍繞流行的應用展開。最后，我們指出了一些關鍵但仍未解決的未來問題，并提出了一些可能的解決方案。我們審閱的相關工作列在 //github.com/zju-pi/Awesome-Conditional-Diffusion-Models。

關鍵詞——生成模型，擴散模型，條件圖像生成，條件集成。

I. 引言

圖像生成是生成式人工智能的一個重要任務。當結合用戶提供的條件來生成符合不同用戶需求的圖像時，它的實用性會更大。早期的研究在各種條件圖像生成任務中取得了重大突破，如文本到圖像生成 [37, 41, 156, 159, 239]、圖像修復 [87, 88, 125, 210] 和圖像編輯 [1, 10, 107]。然而，早期基于深度學習的生成模型（如生成對抗網絡 (GANs) [49, 131]、變分自編碼器 (VAEs) [81, 185] 和自回歸模型 (ARMs) [199, 200]）在條件圖像生成中的表現并不令人滿意，這是由于它們的內在局限性：GANs 容易出現模式崩潰和訓練不穩定的問題 [49]；VAEs 通常生成模糊的圖像 [81]；而 ARMs 則存在順序誤差積累和耗時巨大的問題 [200]。

近年來，擴散模型 (DMs) 作為最先進的圖像生成模型嶄露頭角，憑借其強大的生成能力和多功能性，得到了廣泛認可 [20, 57, 71, 184, 191]。在擴散模型中，圖像是通過引導去噪網絡預測的迭代去噪步驟從高斯噪聲中生成的。這種獨特的多步采樣過程使得擴散模型能夠實現出色的生成性能，表現為穩定的訓練、豐富的輸出和卓越的樣本質量。此外，與一步生成模型相比，擴散模型在促進條件集成方面具有獨特優勢。這些優點使得擴散模型成為條件圖像生成的首選工具，近年來基于擴散的條件圖像生成 (DCIS) 研究得到了迅速發展 [25, 45, 56, 75, 118, 160, 167, 168, 209, 242, 247]。圖1展示了使用多種輸入模態的七個流行的 DCIS 任務。

隨著相關研究的快速擴展，模型架構、訓練方法和采樣技術的眾多變化，以及潛在的條件生成任務的廣泛性，研究人員很難全面掌握 DCIS 的全貌。這種復雜性對該領域的新手來說尤為具有挑戰性。當前需要的是一項系統性的綜述，提供對這一快速發展的研究領域的全面且結構化的概述。

已有一些關于特定條件圖像生成任務的綜述，如圖像修復 [238]、文本到圖像生成 [103] 和圖像編輯 [64]，或根據目標條件生成任務對計算機視覺領域的相關工作進行分類的研究 [32, 149]。雖然這些面向任務的綜述為其各自目標任務的方法提供了寶貴的見解，但它們并未涵蓋不同條件生成任務在模型框架中的共同特征，特別是在模型架構和條件機制方面。最近的兩篇綜述 [14, 182] 提供了基于擴散模型的廣泛任務的概述，但它們的范圍有限，主要集中于構建在文本到圖像 (T2I) 框架上的 DCIS 工作，忽略了早期將條件集成到無條件去噪網絡中的工作，或涉及從頭開始訓練特定任務的條件去噪網絡的工作。這些早期工作為當前使用 T2I 框架的 DCIS 進展奠定了基礎，并且在低級任務如圖像修復中仍然廣泛應用。此外，[182] 主要關注基于擴散模型的圖像編輯框架，缺乏對該領域其他任務統一框架的系統分析，而 [14] 并未深入探討模型架構的設計選擇和采樣過程中詳細的條件機制。因此，它們的分類方法缺乏系統性，并遺漏了 DCIS 領域中的一些關鍵相關工作。

相較之下，本綜述旨在提供一個全面且結構化的框架，涵蓋當前廣泛的 DCIS 研究工作，基于 DCIS 框架中條件集成的主流技術提供分類方法。我們對構建具有條件集成的 DCIS 框架所涉及的組件和設計選擇進行了清晰而系統的分解。具體來說，我們通過審查和總結現有的 DCIS 方法，探討條件如何集成到擴散建模的兩個基本組件中：去噪網絡和采樣過程。在去噪網絡方面，我們將構建條件去噪網絡的過程分為三個階段。在采樣過程中，我們將六種主流的采樣中條件機制進行分類，詳細說明控制信號如何集成到采樣過程的各個組件中。我們的目標是為讀者提供跨不同任務的現有 DCIS 工作的高層次和易于理解的概述，使他們能夠設計適用于其所需任務的條件生成框架，包括尚未探索的新任務。

本綜述的其余部分組織如下：首先在第二部分介紹擴散模型的背景和條件圖像生成任務。接下來，我們在第三部分總結去噪網絡中的條件集成方法，并在第四部分總結采樣過程中的方法。最后，我們在第五部分探討未來的潛在方向。圖2展示了本文提出的 DCIS 分類體系。

摘要——視頻異常檢測 (VAD) 旨在發現視頻中偏離正常行為或事件的異常現象。作為計算機視覺領域中一個長期存在的任務，VAD 已經取得了許多顯著的進展。在深度學習的時代，隨著具備持續增長的能力和容量的架構的爆發，基于深度學習的各種方法不斷涌現于 VAD 任務中，極大地提升了檢測算法的泛化能力并拓寬了應用場景。因此，面對如此多樣的方法和大量的文獻，一篇全面的綜述變得迫在眉睫。本文提供了一篇廣泛而全面的研究綜述，涵蓋了五種不同類別的范疇，即半監督、弱監督、全監督、無監督以及開放集監督的 VAD 方法，并深入探討了基于預訓練大模型的最新 VAD 工作，彌補了過去僅關注于半監督 VAD 和小模型方法的綜述的局限性。針對不同監督級別的 VAD 任務，我們構建了一個有條理的分類體系，深入討論了不同類型方法的特點，并展示了它們的性能對比。此外，本綜述還涉及了公共數據集、開源代碼以及覆蓋所有上述 VAD 任務的評估指標。最后，我們為 VAD 社區提供了若干重要的研究方向。 關鍵詞——視頻異常檢測，異常檢測，視頻理解，深度學習。

異常代表著偏離標準、正常或預期的事物。正常性有多種多樣，而異常現象則非常稀少。然而，當異常出現時，往往會產生負面影響。異常檢測旨在通過機器學習發現這些稀有的異常，從而減少人工判斷的成本。異常檢測在多個領域中有著廣泛的應用【1】，例如金融欺詐檢測、網絡入侵檢測、工業缺陷檢測和人類暴力檢測。在這些應用中，視頻異常檢測 (VAD) 占據著重要地位，異常在此指的是時間或空間維度上的異常事件。VAD 不僅在智能安防中起著至關重要的作用（例如暴力、入侵和徘徊檢測），還廣泛應用于其他場景，如在線視頻內容審查和自動駕駛中的交通異常預測【2】。由于其在各個領域中顯著的應用潛力，VAD 吸引了來自工業界和學術界的廣泛關注。

在深度學習時代之前，常規的方法是將特征提取與分類器設計分離，形成一個兩階段的過程，并在推理階段將它們結合起來。首先進行特征提取，將原始的高維度視頻數據轉換為基于專家先驗知識的緊湊手工特征。盡管手工特征缺乏魯棒性，且在面對復雜場景時難以有效捕捉行為表達，但這些早期工作極大啟發了后續基于深度學習的研究工作。

在過去十年中，隨著深度學習的崛起，傳統的機器學習算法逐漸失去了吸引力。隨著計算機硬件的快速發展以及互聯網時代大量數據的涌現，近年來基于深度學習的方法在 VAD 領域取得了顯著進展。例如，ConvAE【3】作為第一個基于卷積神經網絡 (CNN) 的深度自編碼器，首次用于捕捉視頻中的規律；FuturePred【4】首次利用 U-Net 預測未來的異常；DeepMIL【5】是第一個探索用于現實世界異常的深度多實例學習 (MIL) 框架的工作。為了更直觀地展現深度學習時代對 VAD 任務的研究熱情，我們通過 Google Scholar 和 IEEE Xplore1 對過去十年中與 VAD 相關的出版物數量進行了統計調查（這個時期由基于深度學習方法的崛起所驅動）。我們選擇了五個相關主題，即視頻異常檢測、異常事件檢測、異常行為檢測、異常事件檢測和異常行為檢測，并在圖 1 中展示了出版物統計數據。不難看出，從這兩個來源統計的相關出版物數量呈現出穩步快速增長的趨勢，表明 VAD 已經引起了廣泛的關注。此外，我們還展示了在兩種常見監督方式下常用數據集上年度最先進方法的檢測性能趨勢，并在圖 2 中呈現了性能趨勢。檢測性能在所有數據集上均表現出穩步上升的趨勢，未顯示出任何性能瓶頸。例如，CUHK Avenue【6】上的半監督方法性能在過去七年間顯著提升，從 70.2% AUC【3】上升到 90.1% AUC【7】。此外，針對后續提出的弱監督 VAD，研究也取得了顯著進展。這表明，隨著架構的發展，深度學習方法的能力不斷提升，同時也展示了對 VAD 任務中深度學習方法的持續探索熱情。

上述統計數據清楚地表明，深度學習驅動的 VAD 是當前研究的熱點。因此，迫切需要對現有工作進行系統分類并進行全面總結，以便為新手提供指導并為現有研究人員提供參考。基于此，我們首先收集了近年來一些高影響力的 VAD 綜述，見表 I。Ramachandra 等人【8】主要聚焦于單一場景下的半監督 VAD，缺乏對跨場景的討論。Santhosh 等人【9】回顧了針對道路交通場景中實體的 VAD 方法。其綜述缺乏足夠的深度分析，主要關注 2020 年之前的方法，忽略了最近的進展。Nayak 等人【10】對基于深度學習的半監督 VAD 方法進行了全面調查，但未考慮弱監督 VAD 方法。隨后 Tran 等人【11】介紹了新興的弱監督 VAD 綜述，但其重點不僅限于視頻，還涉及圖像異常檢測，導致對 VAD 任務的系統性組織不足。最近，Chandrakala 等人【12】和 Liu 等人【13】構建了涵蓋多種 VAD 任務的分類體系，例如無監督 VAD、半監督 VAD、弱監督 VAD 和全監督 VAD，并對大多數監督 VAD 任務的深度學習方法進行了綜述。然而，他們的研究范圍局限于傳統的閉集場景，未涵蓋最新的開放集監督 VAD 研究，也未引入基于預訓練大模型和可解釋學習的全新框架。

為全面解決這一差距，我們對深度學習時代的 VAD 研究進行了深入綜述。我們的綜述涵蓋了幾個關鍵方面，以提供對 VAD 研究的全面分析。具體而言，我們對深度學習時代 VAD 任務的發展趨勢進行了深入調查，并提出了一個統一的框架，將不同的 VAD 任務整合在一起，填補了現有綜述在分類方面的空白。我們還收集了最全面的開源資源，包括基準數據集、評估指標、開源代碼和性能對比，以幫助該領域的研究人員避免走彎路并提高效率。此外，我們系統地對各種 VAD 任務進行分類，將現有工作劃分為不同類別，并建立了一個清晰的結構化分類體系，以提供對各種 VAD 模式的連貫和有條理的概述。除了這個分類體系，我們還對每種模式進行了全面分析。此外，在整個綜述中，我們重點介紹了對 VAD 研究進展做出重大貢獻的影響力工作。 本綜述的主要貢獻總結如下三個方面：

• 我們對 VAD 進行了全面綜述，涵蓋了基于不同監督信號的五種任務，即半監督 VAD、弱監督 VAD、全監督 VAD、無監督 VAD 和開放集監督 VAD。研究重點已經從傳統的單任務半監督 VAD 擴展到了更廣泛的多任務 VAD。

• 跟隨研究趨勢，我們回顧了最新的開放集監督 VAD 研究。此外，我們還重新審視了基于預訓練大模型和可解釋學習的最新 VAD 方法。這些方法的出現提升了 VAD 的性能和應用前景。據我們所知，這是首次對開放集監督 VAD 和基于預訓練大模型的 VAD 方法進行的全面綜述。

• 針對不同任務，我們系統地回顧了現有的基于深度學習的方法，更重要的是，我們引入了一個統一的分類框架，從模型輸入、架構、方法論、模型改進和輸出等多個方面對各種 VAD 模式的方法進行了分類。這一精細的科學分類體系有助于對該領域的全面理解。

半監督視頻異常檢測

基于我們對以往綜述的深入調查，我們發現現有的綜述大多缺乏科學的分類體系。許多綜述只是根據使用方法將半監督視頻異常檢測 (VAD) 作品分為不同的組別，例如基于重建、基于距離和基于概率的方法，有些綜述則根據輸入進行分類，例如基于圖像、基于光流和基于片段的方法。顯然，現有的分類綜述相對簡單且表面化，因此難以全面有效地涵蓋所有方法。為了解決這個問題，我們建立了一個全面的分類體系，涵蓋了模型輸入、方法論、架構、模型優化和模型輸出。詳細說明見圖 4。

如前所述，在半監督 VAD 任務中，只有正常樣本可用于訓練，這使得監督分類范式不可適用。常見的方法是利用訓練樣本的內在信息，學習深度神經網絡 (DNN) 來解決前置任務。例如，正常性重建是一個經典的前置任務【3】。在此過程中，需要考慮幾個關鍵方面：樣本信息的選擇（模型輸入）、前置任務的設計（方法論）、深度網絡的利用（網絡架構）、方法的改進（優化）和異常結果的表達（模型輸出）。這些關鍵要素共同決定了半監督 VAD 解決方案的有效性。在接下來的章節中，我們將根據上述分類體系系統地介紹現有的基于深度學習的 VAD 方法。

IV. 弱監督視頻異常檢測

弱監督視頻異常檢測 (VAD) 是當前 VAD 領域中備受關注的研究方向，其起源可追溯到 DeepMIL【5】。相比于半監督 VAD，這是一個較新的研究方向，因此現有的綜述缺乏全面而深入的介紹。如表 I 所示，Chandrakala 等人【12】和 Liu 等人【13】都提到了弱監督 VAD 任務。然而，前者僅簡要描述了 2018 至 2020 年間的一些成果，而后者盡管涵蓋了近期的工作，卻缺乏科學的分類體系，僅根據不同的模態將其簡單地分為單模態和多模態。鑒于此背景，我們從 2018 年至今調查了相關工作，包括基于預訓練大模型的最新方法，并從四個方面對現有工作進行了分類：模型輸入、方法論、優化策略和模型輸出。弱監督 VAD 的分類體系如圖 8 所示。 與半監督 VAD 相比，弱監督 VAD 在訓練過程中明確定義了異常，為檢測算法提供了明確的方向。然而，與全監督 VAD 相比，粗糙的弱監督信號為檢測過程引入了不確定性。現有的大多數方法利用 MIL 機制來優化模型。這個過程可以視為從正常包（正常視頻）中選擇看起來最異常的最困難區域（視頻片段），以及從異常包（異常視頻）中選擇最有可能異常的區域。然后，目標是最大化它們之間的預測置信差異（即使最困難的正常區域的置信度接近 0，最異常區域的置信度接近 1），這可以被視為二元分類優化。通過逐步挖掘所有正常和異常區域的不同特征，異常區域的異常置信度逐漸增加，而正常區域的置信度則逐漸下降。不幸的是，由于缺乏強監督信號，檢測模型在上述優化過程中不可避免地會涉及盲目猜測。

VII. 開集監督視頻異常檢測

讓經過充分訓練的監督模型在開放環境中檢測未見過的異常是一項具有挑戰性的任務。在現實場景中，未見過的異常很可能會出現，因此，關于開集異常檢測的研究引起了廣泛關注。開集監督視頻異常檢測 (VAD) 是一項具有挑戰性的任務，其目標是在訓練階段未見過的異常事件中進行檢測。與傳統的（閉集）VAD 不同，傳統 VAD 中的異常類型是已知且定義明確的，而開集 VAD 必須處理不可預見和未知的異常。這對現實世界的應用至關重要，因為在訓練過程中預見并標注所有可能的異常是不現實的。因此，開集 VAD 的研究引起了極大的關注。然而，現有的綜述工作并未對開集 VAD 進行深入研究。基于此，我們進行了深入的調查，并對現有的開集 VAD 工作進行了系統分類。據我們所知，這是第一個包含詳細介紹開集監督 VAD 的綜述。在本節中，我們根據不同的研究方向，將開集監督 VAD 大致分為兩類：開集 VAD 和小樣本 VAD。在圖 10 中，我們展示了六種經典的開集監督 VAD 方法。

IX. 結論

我們對深度學習時代的視頻異常檢測方法進行了全面綜述。與之前主要集中于半監督視頻異常檢測的綜述不同，我們提出了一個系統的分類體系，將現有的工作根據監督信號分為五類：半監督、弱監督、無監督、全監督和開集監督視頻異常檢測。對于每個類別，我們進一步根據模型的不同特征進行細分，例如模型輸入和輸出、方法論、優化策略和架構，并展示了各種方法的性能對比。最后，我們討論了基于深度學習的視頻異常檢測未來的一些有前景的研究方向。

摘要——目前，大多數工業物聯網（IIoT）應用仍然依賴于基于卷積神經網絡（CNN）的神經網絡。盡管基于Transformer的大模型（LMs），包括語言、視覺和多模態模型，已經在AI生成內容（AIGC）中展示了令人印象深刻的能力，但它們在工業領域（如檢測、規劃和控制）中的應用仍然相對有限。在工業環境中部署預訓練的大模型往往面臨穩定性與可塑性之間的挑戰，這主要是由于任務的復雜性、數據的多樣性以及用戶需求的動態性。為了應對這些挑戰，預訓練與微調策略結合持續學習已被證明是一種有效的解決方案，使模型能夠適應動態需求，同時不斷優化其推理和決策能力。本文綜述了大模型在工業物聯網增強的通用工業智能（GII）中的集成，重點關注兩個關鍵領域：大模型賦能GII和GII環境下的大模型。前者側重于利用大模型為工業應用中的挑戰提供優化解決方案，而后者則研究在涉及工業設備、邊緣計算和云計算的協同場景中，持續優化大模型的學習和推理能力。本文為GII的未來發展提供了洞見，旨在建立一個全面的理論框架和研究方向，從而推動GII向更加通用和適應性強的未來發展。 關鍵詞——通用工業智能、大語言模型、持續學習、工業物聯網、邊緣計算。

工業5.0將網絡-物理-社會元素集成到制造業中，強調數字與物理系統的交互以及人機協作，通過互聯網有效地連接設備、物體和人[1]。隨著物聯網（IIoT）的快速發展[2]-[4]、通信技術[5], [6]、AI生成內容（AIGC）[7]、機器人和數字孿生技術[8]-[10]，現代工業系統變得越來越復雜。這些系統不僅生成高頻的單模態數據，還包括文本、圖像、視頻、代碼和音頻等多模態數據類型。工業大數據可以用于創建數字化制造工作流程和工業流程，極大地推動了工業5.0和網絡-物理-社會系統中生產力、效率和效能的提升。 如圖1所示，數據集和模型構成了GII生態系統的基礎要素，推動了更高層次算法和應用的快速發展。這些應用包括智能控制系統、預測性維護[11]、故障診斷[12], [13]和異常檢測[14]，這些都高度依賴于對IIoT數據的提取和分析。GII的成功特別依賴于其從這些IIoT數據集中高效學習和提取有價值特征的能力。基于Transformer的大模型（LMs），例如大語言模型（LLMs）[16]–[18]、視覺模型[19], [20]、時間序列模型[21]以及多模態模型[22], [23]，由于其獨特優勢，受到廣泛關注。通過在大規模數據集上進行預訓練，這些擁有數十億到數萬億參數的模型積累了廣泛的知識，極大地推動了數據處理的自動化和多樣化，同時減少了對人類專業知識的依賴。

在工業領域，大模型的精度和可擴展性使其在提高工業流程的準確性方面非常有效。然而，在工業環境中部署預訓練大模型時，需要根據具體任務架構、動態數據分布和用戶偏好進行謹慎的適配。盡管大模型在多任務泛化、小樣本學習和推理方面具有優勢，但在這些環境中平衡穩定性和適應性仍然是一個顯著挑戰。受到大模型在自然語言處理（NLP）中成功的啟發，工業界越來越多地探索其在GII中的潛力。一種方法是從頭構建行業特定的基礎模型[24]，但特定領域數據規模的限制通常阻礙了涌現能力的發展。另一種方法是通過大數據集上的預訓練，然后進行特定任務的微調，這已顯示出在構建穩健的工業模型方面的巨大潛力，顯著提高了各類任務的性能。這種方法有效地應對了特定領域數據匱乏的挑戰，同時加速了工業應用中先進能力的發展。

為工業任務調整大模型是一個重要的研究方向[25]。這些模型在跨任務泛化、零樣本/小樣本學習和推理能力方面的優勢，為解決知識遷移、數據稀缺性和解釋性問題提供了新的途徑。 ****持續大模型（CLMs）****在維持和發展這些工業模型的能力方面發揮了關鍵作用。CLMs在大規模數據集上進行預訓練，并由Transformer架構驅動，設計用于持續學習和適應，確保工業大模型在滿足GII不斷變化的需求時仍然保持相關性和有效性。

A. 本綜述的目標

本文旨在建立一個全面的視角，并對IIoT增強的GII進行深入分析。它提出了將GII分為兩個主要類別的概念：

• 通用工業智能的大模型（LMs for GII）：該方向重點利用大模型的高級數據處理和分析能力來解決工業應用中固有的優化問題。具體來說，LMs通過其處理實時多模態IIoT數據、執行復雜特征提取并確保精確的模式識別和結果驗證的能力，提升了IIoT驅動的工業系統的智能化和運營效率，最終提高了不同工業環境中的測量精度和系統性能。
• 通用工業智能上的大模型（LMs on GII）：該視角探討了工業應用如何通過持續模型操作，在協同的IIoT設備-邊緣-云環境中擴展和優化大模型的能力。通過采用持續學習（CL）和在線學習策略，模型可以適應新數據和環境變化，而無需昂貴的再訓練。這種方法節省了計算資源，最小化了延遲，并高效處理了數據分布變化和性能退化，確保了動態工業場景中的穩健模型性能。

本文通過一個示意圖（圖2）進一步明確了這些類別的引入，幫助闡明了兩種方法之間的結構性差異和操作機制。

B. 本綜述的獨特特征

近年來，持續學習（CL）作為一個研究課題獲得了顯著關注，許多研究探討了其在設備健康管理[26]、機器人[27]和流數據[28]等領域的應用。在大模型的背景下，由于這些模型的規模巨大，頻繁的再訓練成本高昂，因此CL已被認為是至關重要的[29]。盡管CL的文獻廣泛，但我們的綜述獨特地關注了CL在IIoT增強的工業系統中的大模型的持續適應性——這是現有文獻中未被充分覆蓋的領域。本綜述首次為大模型在四個不同的IIoT工業場景中應用的CL方法提供了全面而系統的回顧。

如表I所示，本文通過以下幾個關鍵貢獻來區分自身：

• 新穎的分類體系：我們引入了一個新的GII理論框架。通過將大模型的應用分為兩個維度——“LMs for GII”和“LMs on GII”，本文不僅探討了如何利用大模型優化工業應用，還研究了這些應用如何反過來優化模型本身。這種雙向交互視角顯著豐富了現有文獻。

• 跨領域多模態集成：與大多數僅專注于特定類型大模型（如語言模型或視覺模型）的現有研究不同，本綜述涵蓋了大語言模型（LLMs）、視覺Transformer、多模態模型和時間序列模型。這種跨模態集成增強了復雜儀器和測量系統的設計、開發和評估，這些系統用于信號的生成、獲取、調理和處理。通過利用不同模型的獨特優勢，它為推進測量科學及其應用提供了更全面和深入的視角，從而更有效地應對復雜的工業挑戰。

• 持續學習的實際應用：本文強調了持續學習策略在IIoT增強的工業系統，特別是邊緣計算和云計算協同環境中的實際應用。這個重點確保了模型不僅能適應新數據和變化的條件，還能資源高效。通過減少計算需求和訓練成本，我們的方法解決了工業應用中的關鍵約束。

現代人工智能為產生不同風格的數字藝術提供了一種新穎的方式。神經網絡的表達能力使得視覺風格轉移方法成為可能，這些方法可以用來編輯圖像、視頻和3D數據，使它們更具藝術性和多樣性。本文報道了3D數據神經風格化的最新進展。我們提供了一種神經風格化的分類法，考慮了幾個重要的設計選擇，包括場景表示、指導數據、優化策略和輸出風格。基于這種分類法，我們的綜述首先回顧了2D圖像神經風格化的背景，然后對3D數據的最新神經風格化方法進行了深入討論，并提供了一個關于藝術風格化方法的小型基準測試。基于綜述中獲得的洞見，我們接著討論了開放性挑戰、未來研究，以及神經風格化的潛在應用和影響。

//www.zhuanzhi.ai/paper/d5ea0c58d303f46ebcf7e8cc629aa08c

數字藝術和視覺設計在我們的日常生活空間中盛行，表達了視覺上引人入勝的美學、獨特的品味和人類的情感。隨著計算硬件的最新進展，使用計算工具或算法創作高質量的數字藝術越來越受到公眾關注。人工智能（AI）技術的出現進一步推動了這一計算設計過程，并顯示出加速或自動化創作數字藝術的強大潛力。最近出現的視覺合成和編輯AI產品，如LUMA AI [Lum23]、DALL·E 3 [Ope23]、Midjourney [Mid23] 和 RunwayML [Run23] 已成功展示了它們加速高質量視覺設計和生成的能力。

本報告深入探討了利用AI創作3D數字藝術的最新進展，特別是通過風格化。一個典型的3D場景風格化涉及編輯場景幾何和/或外觀以匹配某些指定的藝術風格。風格化可以通過現代深度學習中的神經網絡實現，因此稱為神經風格化。放在傳統計算機圖形管線的背景下，3D神經風格化可以被視為傳統渲染管線的替代品，使用可編程著色器用于風格化的后處理。因此，3D神經風格化有助于減少在風格化3D場景中的勞動密集型手工工作，包括3D建模、紋理化、渲染或模擬。3D神經風格化因此對于各種工業應用具有實際價值，包括電影制作中的3D紋理設計和藝術模擬 [NR21,KAOT23,HHK?23]，混合現實體驗 [THC?22, Tan19]（圖2），逼真的視覺特效（VFX）和虛擬制作 [Man23]，藝術品創作 [GC22] 以及視頻游戲開發 [OBW22,MLS?22]。從2D神經風格化擴展到3D，使用傳統3D表示和渲染進行的3D神經風格化通常面臨視角一致性和逼真渲染問題。多虧了神經渲染技術的進步，對于不同3D表示（包括網格、體積、點云和神經場）的3D神經風格化取得了高質量結果的顯著改進。它也適用于各種3D場景，從小型物體場景到大型野外場景，甚至應用于工業生產 [HHK?23]。

在本報告中，我們涵蓋了3D神經風格化領域的風格化基礎、最新進展、現有挑戰和未來研究方向。我們從神經風格化的基本技術（第2節）開始，包括2D視覺風格轉移算法和3D神經渲染。在第3節中，我們介紹了神經風格化的分類法，并為3D神經風格化的最新技術提供了分類。使用這種分類法，我們深入討論了先進的3D神經風格化方法，并提出了我們對3D風格化最近困難的分析。在第4節中，我們總結了3D風格化評估中常用的數據集。我們還提供了一個小型基準測試，作為評估最新3D風格化算法性能的標準。最后，在第5節中，我們討論了開放的挑戰和未來的研究方向。我們將隨報告發布我們的評估代碼和其他實施資源。

本報告的范圍專注于應用于3D場景的神經風格轉移。目標是探索基于深度學習的技術和方法，這些技術和方法能夠自動將藝術或逼真風格和語義特征轉移到3D數字世界中。盡管承認專用于風格化的3D訓練數據集的稀缺性和挑戰，本報告旨在突出現成的大型數據模型驅動的圖像引導和文本引導神經風格化的潛力，以實現視覺上吸引人的3D風格化結果。神經風格化基礎在神經風格化的基礎上，視覺風格轉移指的是編輯場景的紋理或顏色以匹配由參考圖像定義的風格，同時保持整體場景結構不變。在這一節中，我們首先提供2D神經風格化的概覽作為基礎。我們重點關注圖像引導和文本引導的風格轉移，因為它們是兩種主要的風格化方法，分別通過一張圖片或一段文字來指示目標風格參考。我們從使用經典特征提取器（如VGG分類器和CLIP編碼器）的簡單方法開始討論基礎知識。我們還根據它們的優化方法對這些2D神經風格轉移技術進行分類。最后，我們簡要介紹神經輻射場的基礎知識，這是一種重要的3D神經表示形式，在第3節中將深入討論3D神經風格化。我們參考了[JYF?19,SJJ?21,ZYW?23]中關于條件圖像合成和風格化的更多討論，以及[TTM?22,XTS?22]中關于場景表示和神經渲染的更多討論。

3D神經風格化

3D神經風格化指的是將神經風格化技術應用于修改現有3D數字表示的視覺外觀和美學特征。這個過程涉及利用神經網絡及相關風格化算法來操縱顏色、紋理、形狀等3D模型的視覺和幾何屬性。3D神經風格化促進了3D數字內容的視覺風格化自動生成，為計算機圖形學領域的創意表達和視覺設計提供了新的途徑。為了將3D表示與新風格融合，需要考慮兩個重要因素：3D幾何保留和風格轉換。與視覺風格轉移類似，我們關注基于圖像和文本的3D神經風格化方法。大多數方法依賴現有的大型預訓練模型（例如VGG和CLIP）進行零樣本特征提取，并且不需要任何額外的3D數據預訓練。與3D數據上的預訓練3D特征提取器相比（例如體素[WSK?15]、網格[MBBV15]、點云[QSMG17, ZJJ?21]），圖像和文本預訓練模型是廣泛可訪問的，它們以多級視覺模式和語義特征提取而聞名。在這一節中，我們首先引入神經風格化的分類法，并給出現有3D神經風格化方法的分類示例。在后續章節中，我們將介紹最先進的3D神經風格化技術，涵蓋了如網格、體積數據、點云和隱式場等多種3D表示，重點關注外觀和/或幾何風格化的轉變。最后，我們將深入總結和分析3D神經風格化的技術。

分類法 我們從2D對應物擴展了3D神經風格化的術語。3D神經風格化方法的分類法如圖9所示，詳細內容如下。

• 表示形式可以是顯式圖像或隱式2D場，構建的3D資產如網格、體積模擬、多視圖3D重建（如重建的網格），以及隱式3D場。

• 神經風格特征指的是來自預訓練特征提取器的圖像視覺嵌入或文本語義嵌入，通常是神經分類器。

• 優化指的是基于優化的（類似于第2.1節）或基于預測的風格化方法（類似于第2.2節），支持單一、多個或任意風格。

• 風格化類型指的是不同類型的風格化，從從藝術作品中檢索的風格（例如圖1中的梵高星夜雕塑場景），到逼真風格（包括傳統基于顏色的風格轉移和逼真的幾何與外觀變化，例如圖1中的“燃燒的松果”），再到具有風格語義對應的語義風格轉移，使用顯式標簽或掩碼，或隱式文本或視覺語義定位和映射。我們進一步將方法分類為幾何風格化和外觀風格化，其中幾何風格化指的是變換原始形狀以對齊風格參考，如改變頂點、體素的位置，外觀風格化指的是重新著色、圖案和圖騰轉移，如圖像像素、紋理映射、頂點顏色、點顏色和輻射場。 圖10展示了3D神經風格化方法的層次分類。表1詳細突出了基于我們在圖9中提出的分類法標準的選定3D風格化方法的分類和比較。

結論

本最新報告探討了3D神經風格化的進展，特別是針對3D數據的圖像引導和文本引導神經風格化技術。通過對最新3D神經風格化技術及其相應應用的全面綜述，我們強調了神經風格化在加速創造過程、實現風格化的細粒度控制、以及在電影制作、虛擬制作和視頻游戲開發等多個領域增強藝術表達的重要性。此外，我們介紹了神經風格化的分類法，為神經風格化領域的新作品提供了一個分類框架。我們對先進技術的分析和討論強調了持續的研究努力，旨在解決限制并推動3D數字領域神經風格化的邊界。最后，我們提出了一個3D藝術風格化的小型基準測試，我們的目標是為其他3D風格化作品提供靈感和評估標準。

摘要： 隨著人工智能的快速發展，從可行的算法中選擇滿足應用需求的算法已經成為各領域亟待解決的關鍵問題，即算法選擇問題。基于元學習的方法是解決算法選擇問題的重要途徑，被廣泛應用于算法選擇研究并取得了良好成果。方法通過構建問題特征到候選算法性能的映射模型來選擇合適的算法，主要包括提取元特征、計算候選算法性能、構建元數據集以及訓練元模型等步驟。首先，闡述基于元學習的算法選擇概念和框架，回顧簡述相關綜述工作；其次，從元特征、元算法和元模型性能指標三方面總結研究進展，對其中典型的方法進行介紹并比較不同類型方法的優缺點和適用范圍；然后，概述基于元學習的算法選擇在不同學習任務中的應用情況；繼而，使用140個分類數據集、9種候選分類算法和5種性能指標開展算法選擇實驗，對比不同算法選擇方法的性能；最后，分析目前存在的挑戰和問題，探討未來的發展方向。 //fcst.ceaj.org/CN/abstract/abstract3212.shtml

人工智能是數據處理與分析的重要技術，為人 們利用數據進行決策和研究提供了有力支撐。在人 工智能的不同領域中，研究人員提出了大量算法，然 而，不同算法在有限數量的問題上具備優越性能，不 存在一個適用于所有問題的可行算法，該現象被稱 為算法的性能互補性（performance complementarity） 現象[1] ，與“沒有免費午餐”（no free lunch）定理相印 證[2] 。算法的性能互補性現象普遍存在于不同領域， 如何為給定問題從大量可行算法中選擇滿足應用需 求的算法成為了各領域面臨的重要挑戰，即算法選 擇問題（algorithm selection problem）[3] 。算法選擇問 題通常采用人工選擇或自動選擇的方法解決。人工 選擇方法通過實驗試錯或依賴專家選擇合適的算 法，然而實驗試錯方法成本較高，專家選擇與專家的 經驗知識相關且靈活性較低[4] 。自動選擇方法通過 設計算法和模型，根據問題的特點自動選擇滿足應 用需求的算法，包括活躍測試（active test）方法、推薦 系統方法以及基于元學習（meta-learning）的方法[5-7] 。 其中基于元學習的方法研究基礎較為深厚，具備開 銷低和靈活度高等優點，成為了解決算法選擇問題 的主要方法[8-9] 。 本文對基于元學習的算法選擇進行綜述總結， 為研究人員了解相關領域的發展現狀提供參考。

摘要： 編碼計算將編碼理論融于分布式計算中，利用靈活多樣的編碼方式降低數據洗牌造成的高通信負載，緩解掉隊節點導致的計算延遲，有效提升分布式計算系統的整體性能，并通過糾錯機制和數據掩藏等技術為分布式計算系統提供安全保障.鑒于其在通信、存儲和計算復雜度等方面的優勢，受到學術界的廣泛關注，成為分布式計算領域的熱門方向.對此,首先介紹編碼計算的研究背景，明確編碼計算的內涵與定義；隨后對現有編碼計算方案進行評述，從核心挑戰入手，分別對面向通信瓶頸，計算延遲和安全隱私的編碼計算方案展開介紹、總結和對比分析；最后指出未來可能的研究方向和技術挑戰，為相關領域的研究提供有價值的參考.

//crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20210496

摘要： 圖異常檢測旨在大圖或海量圖數據庫中尋找“陌生”或“不尋常”模式，具有廣泛的應用場景.深度學習可以從數據中學習隱含的規律，在提取數據中潛在復雜模式方面表現出優越的性能. 近年來隨著基于深度神經網絡的圖表示學習取得顯著進展，如何利用深度學習方法進行圖異常檢測引起了學術界和產業界的廣泛關注. 盡管最近一系列研究從圖的角度對異常檢測技術進行了調研，但是缺少對深度學習技術下的圖異常檢測技術的關注. 首先給出了靜態圖和動態圖上各類常見的異常定義，然后調研了基于深度神經網絡的圖表示學習方法，接著從靜態圖和動態圖的角度出發，梳理了基于深度學習的圖異常檢測的研究現狀，并總結了圖異常檢測的應用場景和相關數據集，最后討論了圖異常檢測技術目前面臨的挑戰和未來的研究方向.

//crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200685

圖作為一種通用的數據結構,被廣泛用于表示 復雜的結構化數據．相對于其他數據結構,它能更好 地存儲和表達實體及其聯系．現實世界中,圖在社交 網絡分析、Web網絡分析、交通路網優化、知識圖譜 構建等領域均有廣泛的應用．針對這些語義豐富、樣 式多樣、規模龐大的圖數據,如何快速、準確地檢測 其中的異常引起了學術界和產業界的廣泛關注．圖 異常檢測是指在一個大圖或海量圖數據庫中尋找包 含“陌生”或者“不尋常”模式的結構(包括節點、邊或 者子圖),具有廣泛的應用場景,例如英特網中的惡 意攻擊、社交網絡中的突發事件檢測、電子商務中的 水軍發現等．相較于傳統的異常檢測方法,基于圖的 異常檢測由于圖具有強大的表達能力,不僅可以將 復雜的數據加以直觀的呈現,同時也能將數據中隱 含的相關性融入到異常檢測過程中．

面向圖的異常檢測工作最早發表于２００３年[１], 現有工作大致可分為基于靜態圖和基于動態圖 ２ 類．在基于靜態圖的異常檢測工作中,一類方法利用 ego網絡[２]或者基于團體[３]研究問題;一類方法基 于圖的結構信息進行異常檢測[４Ｇ６],也有一些工作基 于子空間選擇,試圖在節點特征的子空間中發現異 常[７Ｇ９]．還有一些工作通過概率、統計方法獲取圖的 統計信息進行異常檢測[１０Ｇ１３]．盡管這些工作在異常 檢測上取得了不錯的進展,但這些方法如利用ego 網絡的方法,由于處理圖數據,必須考慮節點之間的 交互,在圖較為稀疏時難以實現較好的效果;或者如 子空間選擇和統計方法,由于淺層學習機制難以綜 合利用節點的屬性和結構信息．在基于動態圖的異 常檢測方面,同樣有一些工作基于團體[１４Ｇ１５]、基于結 構[６,１６]、或基于概率統計[１７Ｇ１９]進行異常檢測．另外一 類典型的方法是首先獲取圖的概要,然后通過聚類 和異常 檢 測 來 確 定 概 要 中 的 異 常,例 如 文 獻 [２０Ｇ ２１],但是這些方法獲得的概要無法保留重要的結構 信息,比如鄰接節點的信息．現有的基于動態圖的異 常檢測方法大多依賴于啟發式規則,通常只是簡單 地考慮某一類特征;雖然有部分方法[２２Ｇ２３]考慮了內 容甚至時間因素,但并不靈活,導致其應用局限于特 定的場景．

近年來,深度學習成為人工智能和機器學習中極為重要的部分,在提取數據中潛在復雜模式方面 表現出優越的性能,并在音頻、圖像和自然語言處理 等領域得到了廣泛應用．深度學習方法能夠合理處 理復雜的屬性信息,并且可以從數據中學習隱含的 規律;此外,通過神經網絡對圖進行嵌入不僅可以很 好地保留信息[２４Ｇ２６],還可以很好地處理節點或邊的 屬性,同時保留結構信息,進而方便檢查隱空間中節 點或邊表示的相似性．近年來隨著對圖進行嵌入表 示取得顯著進展,如何利用深度學習方法進行圖異 常檢測在過去幾年中吸引了廣泛關注．基于深度學 習的圖異常檢測方法通常使用圖的嵌入表示方法先 將圖表示為隱空間中的向量,然后使用該向量重構 圖從而剔除異常信息的影響,最后通過重構誤差進 行異常檢測．

關于異常和離群點檢測,已經存在非常全面的 綜述類文章,例如Zimek等人[２７]重點介紹了關于高 維離群值檢測,Schubert等人[２８]討論了局部離群值 檢測技術．但是,這些文章通常關注多維數據實例的 點,沒有或者不是直接地關注基于圖的檢測技術．盡管文獻[２９]從圖的角度對異常檢測技術進行了調 研,但是缺少對深度學習技術下的圖異常檢測技術 的關注．與以往關于異常檢測的綜述不同,本文專注 于大圖或海量圖數據庫中的異常檢測,并對基于深 度學習的圖異常檢測技術進行全面地梳理和總結, 是最早聚焦基于深度學習的圖異常檢測技術方面的研究綜述．

本文首先對圖上的異常定義做了全面的分析, 然后詳細介紹了基于深度神經網絡的圖表示學習方 法,接著從靜態圖和動態圖的角度出發,對現有基于 深度學習的圖異常檢測方法進行系統地總結和歸 類,并討論相關方法的局限性．接著簡單介紹圖異常 檢測技術的實際應用場景和相關的數據集,最后討論基于深度學習的圖異常檢測研究面臨的挑戰及未 來可行的研究方向．本文期望通過對目前基于深度 學習的圖異常檢測研究現狀的梳理,為后續研究提 供可借鑒的思路．

摘要： 深度卷積神經網絡(Deep convolutional neural networks, DCNNs)通過制作各種破紀錄的模型，主導了計算機視覺領域的最新發展。然而，在資源有限的環境下，如嵌入式設備和智能手機上，實現強大的DCNNs仍然是一個巨大的挑戰。研究人員已經認識到，1位CNNs是解決這一問題的一個可行方案;然而，與全精度DCNNs相比，它們的性能較差。在本文中，我們提出了一種新的方法，稱為貝葉斯優化1位CNNs(簡稱BONNs)，利用貝葉斯學習這一成熟的解決困難問題的策略來顯著提高極端1位CNNs的性能。我們在貝葉斯框架中加入了全精度內核的先驗分布和特征，以端到端的方式構造了1位CNNs，這在以前的相關方法中都沒有考慮到。在理論支持下，實現了連續和離散空間同時優化網絡的貝葉斯損失，將不同的損失聯合起來，提高了模型的容量。在ImageNet和CIFAR數據集上的大量實驗表明，與最先進的1位CNNs相比，BONNs具有最佳的分類性能。