亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器視覺通過使機器能夠解讀和處理視覺數據，增強了工業應用中的自動化、質量控制和運營效率。盡管傳統的計算機視覺算法和方法仍被廣泛使用，但機器學習在當前的研究活動中已變得至關重要。特別是，生成式人工智能（AI）展示了通過數據增強、提高圖像分辨率以及識別質量控制中的異常，從而改善模式識別能力的潛力。然而，由于數據多樣性、計算需求以及對穩健驗證方法的必要性等挑戰，生成式AI在機器視覺中的應用仍處于早期階段。為全面了解生成式AI在工業機器視覺中的現狀，特別是最近的進展、應用和研究趨勢，進行了一次基于PRISMA指南的文獻綜述，分析了超過1200篇關于工業機器視覺中生成式AI的論文。我們的研究發現揭示了當前研究中的各種模式，生成式AI的主要用途是數據增強，用于分類和目標檢測等機器視覺任務。此外，我們收集了一系列應用挑戰及數據需求，以促進生成式AI在工業機器視覺中的成功應用。本綜述旨在為研究人員提供對當前研究中不同領域和應用的深入見解，突出重要進展并識別未來工作的機會。

關鍵詞：機器視覺，生成式人工智能，深度學習，機器學習，制造業 1 引言

視覺檢查由受過培訓的檢查員執行，仍在工業中廣泛使用，但自20世紀70年代以來，自動化機器視覺已被系統地引入[1]。工業機器視覺是現代制造過程中的關鍵組成部分，涉及圖像的處理和分析，以自動化任務，包括質量檢查、物體或缺陷檢測以及過程控制[2]。傳統的計算機視覺系統依賴于需要手工設計特征的經典算法和技術，雖然這些方法在實踐中很有效，但在處理具有顯著變化性和不可預見情況的復雜場景時存在局限性[2, 3]。在20世紀80年代和90年代，隨著數字圖像處理、紋理和顏色分析等技術的進步，并有更好的硬件和軟件支持，機器視覺技術得到了發展[4]。當時，任務如質量檢測和物體識別主要依賴于預定義的算法[3, 5]。 20世紀90年代末和2000年代初，機器學習逐漸興起，支持向量機（SVM）[6]、隨機森林[7]和人工神經網絡（ANN）等模型使系統能夠以數據驅動的方式進行學習，提高了它們應對現實世界中變化和復雜性的能力[2]。機器視覺領域的真正革命出現在2010年代，隨著深度學習（DL）的發展。卷積神經網絡（CNN）在圖像處理任務中表現出極強的能力。CNN使機器能夠從原始圖像數據中自動學習層次特征，大大提高了在圖像分類、圖像分割、目標檢測、缺陷檢測和姿態估計等任務中的性能[4, 9-11]。像AlexNet、VGG和ResNet這樣的里程碑模型展示了深度學習的潛力，迅速在學術研究和工業界得到了廣泛應用[2]。 生成式人工智能（GenAI）代表了機器視覺演變中的最新前沿。與傳統的區分性模型用于分類或識別模式不同，GenAI模型能夠創建新的數據實例。雖然大多數流行的GenAI模型和創新設計是為了與人類互動，但探索GenAI如何改變工業制造領域具有重要的機會。類似于數據生成的替代方法如模擬需要專家領域知識和手動執行，因此在工業制造應用中，它們的使用僅限于預處理和后處理步驟。而GenAI方法一旦訓練完成，具有在制造過程中自動化當前手動處理步驟的潛力。由于其前景廣闊，GenAI已被應用于不同的機器視覺用例，其中每個提出的解決方案都是在特定用例約束下開發的。這些在機器視覺研究領域中積累的發現和經驗為其他從業者提供了寶貴的見解，幫助他們在自己的研究中使用GenAI。盡管已有關于將GenAI應用于各種機器視覺用例的知識，但據我們所知，目前尚無專門針對工業機器視覺中GenAI的綜述，匯總已有的應用經驗。現有的文獻綜述中提及GenAI在工業機器視覺中的應用時，主要關注的是AI在特定制造領域（如印刷電路板[12]、硅片[13]、一般缺陷識別[14]或表面缺陷識別[15]）中的應用。 本綜述的貢獻包括：（i）概述了工業機器視覺應用中使用的GenAI方法，（ii）提供了應用GenAI時的工具、潛力和挑戰的概述，以及（iii）展示了GenAI在典型機器視覺應用中的益處，為從業者提供參考。 基于這些目標，我們提出了以下在本綜述中探討的研究問題：

1. 在工業機器視覺應用中使用了哪些GenAI模型架構？
2. GenAI方法需要滿足哪些要求和特性才能適用于工業機器視覺領域？
3. GenAI已成功應用于哪些工業機器視覺任務？

本文結構如下：第2節首先概述了GenAI領域及其方法。第3節介紹了文獻綜述的方法，包括對排除標準的推導和選擇信息提取的詳細理由。第4節展示了搜索結果及其特征，并對提取的數據進行了廣泛分析。第5節討論了文獻綜述的結果，并結合研究問題進行探討。討論還包括對所用文獻綜述方法中的偏見和局限性的反思。最后，本文總結了本綜述的主要結果，并提出了在工業機器視覺任務中應用GenAI的指導原則。

2 生成式人工智能

生成式人工智能（GenAI）領域代表了旨在學習給定數據集 x∈Xx \in Xx∈X 的概率分布 p(x)p(x)p(x) 的半監督和無監督深度學習技術。在深度學習的背景下，GenAI方法使用參數化的人工神經網絡（ANNs）來近似概率分布 p(x)p(x)p(x)，這些網絡通過權重 Θ\ThetaΘ 進行參數化，從而得到一個參數化模型 pΘ(x)p_\Theta(x)pΘ(x)。與判別式深度學習技術相比，判別式技術近似的是在給定輸入 xxx 的情況下，屬性（或標簽） yyy 上的概率分布 p(y∣x)p(y|x)p(y∣x)，而生成模型 GGG 可以用于從訓練數據分布中抽取類似樣本 x~～pΘ(x~)\tilde{x} \sim p_\Theta(\tilde{x})x~～pΘ(x~) [16]。 對 p(x)p(x)p(x) 的估計可以分為顯式和隱式兩種方法。顯式估計模型嘗試提供概率密度 pΘ(x)p_\Theta(x)pΘ(x) 的參數化，而隱式估計模型則構建一個合成數據的隨機過程[17]。生成式人工智能的分類概述（參見圖1）總結了現有估計 pΘ(x)p_\Theta(x)pΘ(x) 的方法。不論模型類型如何，它們生成逼真高分辨率圖像的能力使得它們在解決諸如圖像修復、圖像去噪、圖像到圖像翻譯以及其他圖像編輯問題等經典計算機視覺任務中得到了廣泛應用。它們在學術基準測試中的出色表現，使其在機器視覺領域中具有重要意義。每種模型架構的進一步描述及其優缺點將在以下小節中進行探討。 3 研究方法

如引言中所述，本篇文獻綜述旨在概述生成式人工智能（GenAI）在工業機器視覺領域中的方法和應用，特別是針對制造業應用。該綜述采用了系統評價和薈萃分析的首選報告項目（PRISMA）方法進行，PRISMA方法旨在以透明、完整和準確的方式呈現和生成系統性綜述[36]。基于該方法，以下各節將介紹系統性綜述的實施方法。首先，介紹了以排除標準形式出現的適用性衡量標準，以及搜索策略和所使用的文獻數據庫（參見第3.1節）。接下來是研究選擇過程（參見第3.2節）和數據提取（參見第3.3節）。

摘要——從演示中學習（Learning from Demonstrations），即通過數據學習機器人行為模型的領域，隨著深度生成模型的出現，正在越來越受到關注。盡管這一問題在“模仿學習”、“行為克隆”或“逆強化學習”等名稱下已經被研究了多年，但傳統方法依賴的模型往往難以有效捕捉復雜的數據分布，或者無法很好地擴展至大量演示數據。近年來，機器人學習社區對于使用深度生成模型來捕捉大數據集的復雜性表現出了越來越濃厚的興趣。在本綜述中，我們旨在提供對去年機器人領域中使用深度生成模型的進展的統一且全面的回顧。我們介紹了社區探索的不同類型的模型，如基于能量的模型、擴散模型、動作值圖、生成對抗網絡等。我們還展示了深度生成模型在不同應用中的使用情況，從抓取生成到軌跡生成或成本學習等。生成模型的一個重要元素是分布外的泛化能力。在我們的綜述中，我們回顧了社區為改善所學模型的泛化能力而做出的不同決策。最后，我們強調了研究中的挑戰，并提出了未來在機器人領域學習深度生成模型的一些研究方向。關鍵詞——機器人，生成模型，決策制定，控制，模仿學習，行為克隆，從演示中學習

I. 引言**

從演示中學習（Learning from Demonstration, LfD）[1], [2]，也稱為模仿學習（Imitation Learning）[3], [4]，是通過觀察和模仿一組專家演示來學習期望的機器人行為模型的領域**。基于場景的觀察和所需任務的條件，模型（通常稱為策略）被訓練生成與專家演示中行為相似的動作。根據任務的不同，這些動作可能代表期望的末端執行器姿態 [5], [6]、機器人軌跡 [7], [8] 或期望的場景安排 [9], [10] 等。LfD 包括幾種解決這一問題的方法。行為克隆（Behavioral Cloning, BC）方法 [1] 將條件生成模型擬合到基于觀察的動作上。盡管在序列決策問題中存在一些缺點（例如，錯誤累積導致的協變量偏移 [11]），但在實踐中，由于其穩定且高效的訓練算法，它已經展示了一些最為令人印象深刻的結果 [6], [12], [7], [13]。另一種方法是逆強化學習（Inverse Reinforcement Learning, IRL）[14], [15], [16] 或其變體 [17], [18], [19]，結合了演示數據與環境中的試錯（即強化學習（Reinforcement Learning, RL）），生成的策略比 BC 更具魯棒性，但受到訓練算法穩定性較差的限制。與直接模仿演示動作的 BC 不同，IRL 側重于推斷演示行為所優化的潛在獎勵函數，并應用 RL 來推斷策略。IRL 的一個關鍵優勢在于它能夠僅通過觀察進行學習 [20], [21]，而無需明確的演示動作信息。在 LfD 中，演示的固有特性帶來了重大挑戰。通常，收集的數據是次優的、噪聲較大的、基于高維觀察條件的，并且包含多種行為模式 [22], [23], [24]。這種多樣性可以在對給定物體的多種抓取方式、專家提供演示的偏好或專家之間的分歧中體現出來。數據的這些固有屬性促使研究人員尋找能夠恰當地捕捉其分布的模型。傳統上，在深度學習成為主流之前，LfD 方法通常使用高斯過程（Gaussian Process, GP）[25], [26]、隱馬爾可夫模型（Hidden Markov Model, HMM）[27], [28] 或高斯混合模型（Gaussian Mixture Models, GMM）[29] 來表示生成模型。然而，這些模型無法擴展至大數據集，也無法在圖像等高維上下文中表示條件分布。基于神經網絡的模型允許在圖像 [30], [31] 或文本 [32], [33] 等高維變量上進行條件設定，但它們通常被訓練為單峰模型。這些模型與收集的演示數據的多模式特性相沖突。這些模型無法捕捉數據中的固有多樣性和多模式，導致研究人員不得不將自己局限于較小的 [34] 或高度策劃的數據集，以確保單峰性，從而簡化建模過程。

近年來，深度生成模型（Deep Generative Models, DGM）在圖像 [35] 和文本生成 [36] 中的成功展示了其捕捉高度多模態數據分布的能力。近年來，這些表現力強的模型在機器人領域的模仿學習應用中引起了廣泛關注（見圖2）。例如，擴散模型（Diffusion Models, DM）[37], [35] 已被有效用于學習高維軌跡分布 [38], [7], [8]；基于語言和圖像的策略使用類似GPT的模型來表示動作空間中的類別分布 [39]；變分自編碼器（Variational Autoencoders, VAE）[40] 被應用于生成任意物體的六自由度（6-DoF）抓取姿態 [5]。本文統一且全面地回顧了機器人領域中為捕捉數據固有的多模態性而從演示中學習 DGM 的各種方法。盡管其中一些模型借鑒了其他機器學習領域的成果，如 DM，但我們也重點介紹了在機器人動作分布表示中特別有影響力的方法，如動作價值圖（Action Value Maps）[41], [42], [43]。本綜述主要關注使用離線數據的方法，即不收集額外的在線或交互數據，以及離線監督，即除了專家動作外不使用額外的監督。盡管在從視覺到文本生成的各個領域中，從離線數據集中學習 DGM 已被廣泛研究，但機器人領域有其固有的挑戰，需要謹慎的設計選擇。為了激發機器人應用中的具體設計選擇，我們將在 I-A 節中介紹從演示中學習策略的基本挑戰。我們將綜述分為六個部分（見圖1）： 在第二部分中，我們將形式化問題并提供整個綜述中使用的術語。 在第三部分中，我們介紹了機器人領域中最常用的 DGM，展示了它們的固有屬性，簡要列出了應用這些方法的各種工作，并介紹了每種模型的訓練和采樣算法。 在第四部分中，我們展示了深度生成模型應用的不同類型，重點介紹了模型生成的數據類型以及考慮的條件變量類型。 在第五部分中，我們提出了一系列設計和算法歸納偏差，以提高從學習模型的數據分布中的泛化能力。我們如何保證在上下文觀察中生成有用的動作，而這些動作在演示中沒有出現？我們提出的選項包括生成模型的模塊化組合、從觀察中提取有用特征以及利用觀察與動作之間的對稱性。 最后，在第六部分中，我們強調了該領域當前的研究挑戰，并提出了未來的研究方向。

A. 從離線演示中學習的挑戰從離線演示中學習機器人策略面臨著若干挑戰。盡管其中許多挑戰（例如演示中的多模態）與其他研究領域（如圖像生成或文本生成）共享，但在機器人領域中，我們還需要考慮一些特有的挑戰。以下是從離線數據中學習機器人策略的主要挑戰。演示的多樣性。主要挑戰之一是演示本身的固有變化。不同的演示者可能具有不同的技能水平、偏好和完成相同任務的策略，導致數據集中包含廣泛的方法。單峰分布缺乏表達能力，無法捕捉演示中的這種變化，從而導致性能不佳。DGM 是解決這一挑戰的有前景的方法。通過捕捉復雜的多模態分布，這些模型可以學習表示演示中展現的不同策略和行為。異質的動作和狀態空間。與數據空間定義明確的計算機視覺不同，在機器人領域中，沒有單一的狀態-動作空間。機器人動作可以包括從力矩命令到期望的目標位置或期望的軌跡。此外，機器人行為可以在機器人的配置空間和任務空間中建模。這種多樣性導致了異質的數據集和用于學習機器人策略的異質解決方案。部分可觀察的演示。當人類執行演示時，其動作不僅基于可觀察到的元素，還受到任務知識和觀察歷史影響的內部狀態驅動。此外，人類可以整合環境中的信息，這些信息可能無法被機器人的傳感器輕易獲得或觀察到，例如人類視覺捕捉到的外圍細節但被機器人的攝像頭遺漏。這種不匹配往往導致演示僅部分代表任務的上下文，從而導致機器人學習的策略中出現歧義。關于部分可觀測性的問題已經在文獻中得到了廣泛研究 [44]。一種常見的實際方法是將觀察歷史編碼為上下文，而不是單一的觀察，允許模型提取內部狀態，從而減少歧義 [45]。時間依賴性和長視距規劃。機器人任務通常涉及序列決策，其中動作在時間上是相互關聯的。這種序列性可能導致錯誤的累積，將機器人引向訓練演示中未遇到的情況。為解決此問題，已有多種方法提出。一些工作建議學習短視距技能，然后與高層規劃器連接。另一方向是，許多工作 [38], [13] 提出學習生成動作軌跡而不是單步動作的策略，從而減少序列累積錯誤。此外，其他選項包括在生成演示時注入噪聲 [46] 或交互式擴展數據集 [11]。訓練和評估目標之間的不匹配。從離線演示中學習通常被定義為密度估計問題。學習的模型經過訓練以生成類似于訓練數據集的樣本。然而，學習的模型用于解決特定任務，最大化的度量是任務成功率。這種訓練目標與評估目標之間的不匹配可能導致在機器人用于解決特定任務時表現不佳。解決這一問題的一個可能方向是將行為克隆階段與后續強化學習微調相結合 [47]。分布偏移和泛化。從離線演示中學習的一個基本挑戰是演示數據與實際場景之間的分布偏移，在這些場景中，學習的策略被部署。演示通常在受控環境或特定上下文中收集，但機器人必須在演示未覆蓋的潛在新環境中運行。這種不匹配可能導致泛化失敗和性能下降。解決這一挑戰需要能夠從給定演示中推斷并適應新環境的技術。我們將在第五部分中探討提高機器人應用中泛化能力的不同方法。

B. 相關綜述

LfD 領域有著悠久的歷史，已有多篇綜述對此進行了探討。在基于深度學習的方法成為主流之前，已有幾篇綜述 [50], [51], [52], [53] 探討了模仿學習的基本問題。這些綜述回答了諸如我們應該如何獲取數據？我們應該學習什么模型？或我們應該如何學習策略？等問題。近年來，一些最新的研究 [54], [3], [55] 更新了基于深度學習模型在 LfD 問題中的應用的綜述。特別是 [3] 從算法的角度審視了模仿學習，使得不同算法的比較可以從信息論的角度進行。機器人學習社區的當前階段，隨著大規模機器人演示數據集的增加（無論是在模擬中還是在現實中），模仿學習方法的重要性日益增加，以及廉價機器人硬件的日益普及，當前適時提供一個涵蓋過去幾年研究進展并專注于該領域當前面臨挑戰（多模態性、泛化、異質數據集等）的綜述。最近，幾篇綜述 [56], [57] 探討了學習機器人基礎模型的問題，主要集中在將互聯網規模的視覺和語言基礎模型整合到機器人問題中。盡管將視覺-語言基礎模型應用于機器人問題具有潛力，但我們的綜述關注于不同的問題。本綜述的興趣在于探索如何直接從具體現體機器人的數據中學習策略（部分原因是大規模數據集的日益豐富 [24], [58]），而不是將視覺-語言模型適應于機器人。

生成式人工智能（GenAI）在近年來取得了顯著進展，并在計算機視覺和計算設計等不同領域的各種生成任務中表現出色。許多研究人員嘗試將GenAI集成到可視化框架中，利用其卓越的生成能力來執行不同操作。同時，近期在GenAI領域的重大突破，如擴散模型和大型語言模型，也極大地提升了GenAI4VIS的潛力。 從技術角度來看，本文回顧了以往利用GenAI的可視化研究，并討論了未來研究的挑戰與機遇。具體而言，我們涵蓋了不同類型的GenAI方法在不同可視化任務中的應用，包括序列生成、表格生成、空間生成和圖生成技術，并將這些任務總結為四個主要階段：數據增強、視覺映射生成、風格化和交互。對于每個具體的可視化子任務，我們展示了典型的數據和具體的GenAI算法，旨在提供對最新GenAI4VIS技術及其局限性的深入理解。 此外，基于綜述，我們討論了評估、數據集以及端到端GenAI與生成算法之間差距這三個主要方面的挑戰和研究機會。通過總結不同的生成算法、它們的當前應用及其局限性，本文旨在為未來的GenAI4VIS研究提供有用的見解。

引言

VizDeck [1]。可視化是通過渲染空間或抽象數據的圖形表示來輔助探索性數據分析的過程。最近，許多研究人員嘗試將人工智能（AI）應用于可視化任務[2, 3, 4, 5, 6]。特別是由于可視化本質上涉及對原始數據的表示和交互，許多可視化研究人員開始采用快速發展的生成式人工智能（GenAI）技術，這是一種通過學習現有的人造樣本生成合成內容和數據的AI技術[7, 8]。近幾年，GenAI在人工智能領域嶄露頭角，對各種研究和應用領域如工件設計和交互設計產生了深遠而廣泛的影響（例如[9, 10, 11]）。 最近，多模態AI生成模型如Stable Diffusion [12]或DaLL-E 2 [13]使得沒有傳統藝術和設計技能的普通用戶可以通過簡單的文本提示輕松生成高質量的數字繪畫或設計。在自然語言生成方面，大型語言模型如GPT [14]和LLaMa [15]也展示了驚人的對話、推理和知識嵌入能力。在計算機圖形學領域，最近的模型如DreamFusion [16]也在3D生成方面展示了令人印象深刻的潛力。GenAI的獨特優勢在于其靈活的能力，可以基于從現實世界數據中隱含獲得的知識進行數據建模和設計生成。這一特性使GenAI成為一種變革力量，能夠減輕傳統計算方法的工作負擔和復雜性，并通過比以往方法更具創意的生成結果擴展設計的多樣性。 GenAI的巨大潛力在其增強和簡化數據可視化過程中的操作能力中尤為明顯。從數據處理到映射階段及其后，GenAI可以在數據推理和增強、自動可視化生成以及圖表問答等任務中發揮關鍵作用。例如，自動可視化生成在當前的GenAI方法浪潮之前一直是研究重點，為非專業用戶提供了一種有效進行數據分析和創建視覺表示的方法（例如[17, 18]）。傳統上，自動可視化方法依賴于基于設計原則的專家設計規則[19]。然而，這些方法受到基于知識系統的限制，難以在復雜規則或過于簡化的目標函數中全面整合專家知識[20]。GenAI的出現引入了一種范式轉變，不僅提高了效率，還在一個前所未有的技術進步時代提供了一種更直觀和可訪問的可視化方法。

盡管GenAI表現出色，但在可視化應用中它可能面臨許多挑戰，因為可視化有其獨特的數據結構和分析需求。例如，可視化圖像的生成與自然或藝術圖像的生成有顯著不同。首先，GenAI在可視化任務中的評估比自然圖像生成更復雜，因為需要考慮許多超出圖像相似性的因素，如效率[21]和數據完整性[22]。其次，與在具有簡單注釋的大型數據集上訓練的通用GenAI任務相比，可視化任務的多樣性和復雜性需要更復雜的訓練數據[23]，這更難以策劃。第三，傳統可視化管道與強規則約束之間的差距使得與端到端GenAI方法的完全整合變得困難。這些獨特的特性使得利用最新的通用預訓練GenAI模型來實現特定可視化生成變得不那么直接。因此，了解以前的工作如何利用GenAI進行各種可視化應用，面臨的挑戰是什么，尤其是如何調整GenAI方法以適應這些任務是很重要的。

雖然之前的一些綜述涵蓋了AI在可視化中的一般應用[3]，但據我們所知，沒有研究專門集中在綜述GenAI方法在可視化中的應用。本文廣泛綜述了文獻并總結了為可視化開發的AI驅動生成方法。我們根據具體任務將各種GenAI方法分類，這些任務對應于可視化生成的不同階段。通過這種方式，我們收集了81篇關于GenAI4VIS的研究論文。我們特別關注在特定任務中使用的不同算法，希望幫助研究人員理解最新技術的發展及其挑戰。我們還討論并突出潛在的研究機會。 本文的結構如下。第二部分概述了我們綜述的范圍和分類，并定義了關鍵概念。從第三部分到第六部分，每一部分對應于GenAI在可視化管道中的一個階段。具體來說，第三部分討論了GenAI在數據增強中的應用。第四部分總結了利用GenAI進行視覺映射生成的工作。第五部分重點介紹了GenAI如何用于風格化和與可視化的交流。第六部分涵蓋了支持用戶交互的GenAI技術。第三至第六部分的每個小節涵蓋了該階段中的一個特定任務。為了全面理解當前GenAI方法如何處理特定結構的數據以及在特定任務中仍然存在的挑戰，小節的結構分為兩部分：數據和算法以及討論。最后，第七部分討論了未來研究的主要挑戰和研究機會。

范圍與分類

范圍與定義

生成式人工智能（GenAI）是一種通過分析訓練樣本，學習其模式和分布，然后創建逼真仿制品的AI技術。GenAI利用生成建模和深度學習（DL）的進步，通過利用現有的文本、圖形、音頻和視頻等媒體，在大規模上生成多樣化的內容[7, 8]。GenAI的一個關鍵特征是通過從數據中學習而不是通過顯式編程來生成新內容。

** GenAI方法分類**

盡管生成目標在文本、代碼、多媒體到3D生成等不同領域有所不同，但生成的具體算法實際上依賴于數據結構，這些數據結構在不同領域中表現出共同的特征。特別是在GenAI4VIS應用中，基于數據結構的分類可以促進對不同可視化任務中涉及的不同類型數據的算法的更具體理解。這里，我們概述了與數據可視化相關的典型數據結構的不同類型GenAI。

• 序列生成：此類別包括有序數據的生成，例如文本、代碼、音樂、視頻和時間序列數據。序列生成模型，如LSTMs和Transformers，可用于創建具有順序或時間結構的內容。
• 表格生成：此類別涵蓋以行和列形式生成結構化數據，如電子表格或數據庫表。應用包括數據增強、匿名化和數據插補。
• 圖生成：此類別涉及生成圖和網絡結構，如社交網絡、分子結構或推薦系統。像圖神經網絡（GNNs）和圖卷積網絡（GCNs）這樣的模型可以用來生成或操作圖結構數據。
• 空間生成：此類別涵蓋2D圖像和3D模型的生成。這些數據具有在歐幾里得空間中進行2D或3D投影的空間數據的共同特征，可以表示為具有2D/3D坐標的像素、體素或點。2D生成包括圖像合成、風格遷移和數字藝術，而3D生成涵蓋計算機圖形、虛擬現實和3D打印。像GANs、VAEs和PointNet [24]等技術可以用于創建2D和3D內容。 GenAI4VIS任務分類

為了對收集到的文章進行分類和組織，我們借鑒了描述不同基本階段的經典可視化管道[25]。然而，由于GenAI被應用于不同于傳統操作的更廣泛場景中，我們也修改了該管道以涵蓋一些最新的研究主題，包括數據增強、視覺映射生成、風格化和交互。值得注意的是，數據轉換部分被概括為數據增強的概念，這一術語靈感來自McNabb等人的研究[26]。此外，由于很少有GenAI用于可視化的工作專注于基本視圖轉換，我們將此部分替換為更廣泛的風格化與交流概念。在不同階段下，我們進一步將工作分類為具體任務，如圖1所示。

• 數據增強：數據增強是指改善數據質量或完整性，或增強數據的特征表示以便后續可視化的過程。這可以包括數據增強、嵌入或其他變換，使其更適合可視化。
• 視覺映射生成：這是指使用算法和軟件工具自動生成可視化，而無需大量手動干預。自動視覺映射生成允許用戶利用如何創建適當可視化的常識來減少工作量和人為違反設計原則的情況。
• 風格化：擴展了[27]中提出的呈現概念，我們在可視化中定義了風格化，這涉及應用設計原則和美學選擇，使可視化更具吸引力和有效傳達信息。它包括關于顏色方案、字體、布局和其他視覺或文本元素的決策，以增強信息輔助可視化[20]。 -** 交互**：在數據可視化的背景下，交互是指用戶與可視化數據之間的動態參與和交流。它包括用戶操縱、探索和解釋視覺表示的能力。這可以涉及各種形式的交互，例如圖形交互（如縮放、平移、點擊）和自然語言交互（如圖表問答）。 這些任務的早期方法側重于具有復雜專家設計規則反映設計原則的基于規則的算法，這在許多應用（如色彩映射生成[28]）中仍然有效。一些研究還利用基于優化的方法來最小化專家定義的顯式目標函數。然而，這些類型的方法與GenAI方法不同，因為它們是自上而下的，并不從現實世界的數據中學習。為了縮小我們綜述的范圍，我們排除所有純粹基于規則或優化的生成算法。 ** 不同GenAI方法與任務的關系**

由于GenAI4VIS的廣泛多樣化應用，不同GenAI方法與任務之間沒有明確的一對一關系。然而，我們可以觀察到一些有趣的關聯。首先，序列生成主要應用于視覺映射或與交互相關的任務。這是因為如翻譯模型和最新的大型語言模型（LLMs）或視覺-語言模型在生成指定視覺映射的代碼序列或交互流程和輸出序列方面非常有用。其次，表格生成主要用于數據增強。這是因為具有屬性列的表格數據是可視化的最常見初始輸入數據，通過數據增強（如代理數據生成）可以為后續任務帶來好處。接下來，圖生成也主要用于數據增強，因為數據推理和增強可以促進圖數據的后續分析。然而，盡管其使用相對較少，它在視覺映射和風格化方面具有巨大潛力，因為圖結構（如知識圖譜或場景圖）可以優化視覺編碼和布局。最后，空間生成主要應用于數據增強和風格化任務。這是因為2D和3D數據（如圖像和體數據）也是VIS4AI和SciVis應用中常見的輸入類型，而將基本圖表修飾為風格化圖表則依賴于基于圖像的生成方法。圖2通過桑基圖展示了GenAI4VIS任務與方法之間的關系，并例示了不同方法涉及的具體數據類型。表1進一步列出了每種數據結構和任務的詳細方法。

近年來，大型語言模型（LLM）的集成徹底改變了機器人技術領域，使機器人能夠以類似人類的熟練程度進行交流、理解和推理。本文探討了LLM對機器人學的多方面影響，討論了利用這些模型的關鍵挑戰和機遇。通過對LLM在機器人核心元素——通信、感知、規劃和控制中的應用進行分類和分析，我們旨在為尋求將LLM集成到其機器人系統中的研究者提供可行的見解。

我們的研究主要集中在GPT-3.5之后開發的LLM上，主要是基于文本的模式，同時也考慮了用于感知和控制的多模態方法。我們提供全面的指導原則和示例，以便初學者能夠輕松接觸基于LLM的機器人解決方案。通過教程級別的示例和結構化的提示構建，我們展示了如何將LLM引導的增強功能無縫集成到機器人應用中。本綜述為研究人員在不斷發展的LLM驅動的機器人技術領域中的導航提供了路線圖，提供了全面的概述和實用的指導，以利用語言模型在機器人開發中的潛力。

在過去的十年中，我們見證了機器人學領域在應用語言模型（LMs）方面取得了顯著的進展。這些進展不僅包括類似人類的交流能力，還包括機器人的理解和推理能力，從而顯著提高了它們在從家庭雜務到工業操作等各種任務中的效率。在早期工作中，這些成功源于統計模型分析和預測語言表達中的詞匯。這些模型使機器人能夠解釋人類命令，理解上下文，表征世界，并與人類互動，盡管理解的深度有限。隨后，采用了具有自我注意機制的Transformer架構，尤其是像BERT這樣的預訓練語言模型，提高了捕捉復雜模式的能力，同時為特定任務進行微調。然而，這些模型的性能通常取決于有限的數據集，限制了它們把握更深層次上下文理解和在不同場景中泛化的能力。

隨著大型語言模型（LLMs）的發展，基于語言的機器人引入了各個領域的創新變化，如信息檢索、推理任務、環境適應、持續學習和改進等。這些LLMs，以其龐大的參數規模和在互聯網規模數據集上的訓練為特征，為下游任務提供了零次和少次學習能力，而不需要額外的參數更新。這些顯著的進步來自于文獻中定義為“在小模型中不存在但在大模型中出現的能力”的突現能力。這些能力顯著增強了機器人在理解、推斷和響應開放式指令方面的性能，利用了廣泛的常識知識。此外，稱為提示工程的提示創建技術使LLMs能夠通過自由形式的語言描述或互動對話，整合更豐富的上下文信息，促進了泛化推理。引入上下文學習能力使LLMs能夠根據提供的指示或示例中的提示生成預期格式的輸出，如JSON、YAML或PDDL，甚至代碼。最近的LLMs，如GPT-4，通過與外部機器人工具（如規劃器或翻譯器）的整合，進一步擴展了能力。

盡管LLMs具有多樣的能力，但它們的利用面臨幾個挑戰。首先，LLMs經常生成不準確或意外的響應。由于機器人執行的安全性是最重要的部署因素，基于LLM的機器人應用需要過濾和糾正機制以確保安全。其次，如上下文學習等突現能力尚不可預測且不一致。即使是對輸入文本的輕微更改也可能導致響應的不可預測變化。第三，精心設計的提示使機器人能夠有效地利用LLMs的能力，但缺乏支持機器人系統關鍵組件的系統化指導，阻礙了無縫集成。因此，我們需要研究LLMs在機器人中的逐部件參與，以了解其限制和安全性。 當前，各種綜述已開始探索LLMs與機器人的交集，主要關注LLM驅動的機器人應用或互動維度。然而，仍然存在在機器人系統的關鍵元素，包括通信、感知、規劃和控制方面提供全面評論和可操作見解的空白。此外，研究者們還在探索廣泛的預訓練大容量模型領域，稱為基礎模型，尋求跨模態Transformer模型的泛化能力。然而，這一廣闊領域涵蓋了廣泛的機器人學和多樣的方法論，使得新興研究者錯過深入的評論和指導。 在本文中，如圖1所示，我們旨在分類和分析LLMs如何增強機器人系統的核心元素，以及我們如何指導新興研究者在每個領域內整合LLMs，以促進智能機器人的發展。我們根據三個關鍵問題結構化本文： ? Q1: LLMs在每個機器人領域中如何被利用？ ? Q2: 研究人員如何克服LLMs的集成限制？ ? Q3: 在每個領域產生最低功能所需的基本提示結構是什么？

為了回答這些問題，我們專注于在引入GPT-3.5之后開發的LLMs。我們主要考慮基于文本的模式，但也審查了感知和控制領域的多模態。然而，為了進行深入審查，我們將調查限制在LLMs而非基礎模型上。 此外，我們提供了全面的提示工程指南和示例，旨在使初學者能夠訪問基于LLM的機器人解決方案。我們的教程級示例展示了如何通過引入四種類型的示例提示——對話提示用于互動定位，指令提示用于場景圖生成，計劃提示用于少次計劃，以及代碼生成提示用于獎勵生成——增強或替換機器人組件的基本功能。通過提供提示構建的規則和技巧，我們概述了生成預期格式輸出的良好設計提示的過程。這些原則確保了機器人應用中有效的LLM引導增強，無需參數調整。

本文的其余部分安排如下。第2節概述了機器人學中LMs和LLMs的歷史背景。第3節評審了LLMs賦能機器人通過語言理解和生成進行交流的方式。第4節調查了LLMs如何感知各種傳感器模態并推進感知行為。第5節和第6節分別組織了基于LLM的計劃和控制研究。在第7節中，我們提供了提示工程的全面指南，作為LLM在機器人中集成的起點。最后，第8節總結了這篇綜述。

隨著ChatGPT和Sora的卓越成就，生成式人工智能（GAI）受到了越來越多的關注。GAI的應用不僅限于內容生成領域，由于其強大的學習和泛化能力，它還廣泛用于解決無線通信場景中的問題。因此，本文討論了GAI在改善無人機（UAV）通信和網絡性能中的關鍵應用。具體來說，我們首先回顧了GAI的關鍵技術和UAV網絡的重要作用。然后，我們展示了GAI如何改善UAV系統的通信、網絡和安全性能。隨后，我們提出了一個用于先進UAV網絡的新型GAI框架，并基于該框架提出了一個UAV啟用的頻譜圖估計和傳輸率優化的案例研究，以驗證GAI啟用的UAV系統的有效性。最后，我們討論了一些重要的未解決方向。

從基于規則的算法到先進的學習模型，人工智能（AI）能夠解決的任務變得越來越復雜，這顯示了它在工業、商業和日常生活中解決問題的巨大潛力。傳統的AI方法，如判別式AI（DAI）或預測式AI（PAI），可以從大規模數據集中學習特定的范式，利用深度神經網絡處理分類和預測任務。雖然這些AI方法為現代數據驅動環境提供了基礎，并在處理動態需求中表現出良好的性能，但它們仍然面臨一些問題，例如依賴廣泛標注的數據集。 幸運的是，生成式AI（GAI）的出現緩解了DAI和PAI面臨的限制，標志著AI發展的新階段。具體來說，GAI可以從訓練數據中學習概率分布而不是類別邊界，然后基于學習到的分布生成可信的新樣本。與傳統AI方法相比，GAI的優勢可以總結如下：

• 數據增強：GAI能夠基于學習到的分布生成新數據。這一過程可以擴展訓練集，有助于增強模型的泛化能力并解決數據集稀缺問題。
• 潛在空間表征：GAI能夠在訓練過程中將輸入數據映射到潛在空間，有助于學習訓練樣本的潛在結構和特征。請注意，傳統AI方法通常缺乏這種精細控制。
• 創造性：鑒于GAI強大的生成能力及其在無監督學習中的卓越表現，GAI在探索性數據分析和新領域應用中具有優勢。

得益于上述優勢，GAI在處理復雜任務中的重要性逐漸顯現。特別是ChatGPT和Sora的巨大成功激發了GAI研究，并催生了包括人機交互、圖像處理和視頻生成在內的多種應用。值得注意的是，除了在內容創作方面表現出色外，強大的生成和探索能力使其在處理復雜的通信和網絡優化問題上具有印象深刻的潛力，例如天線陣列優化[1]。 然而，對于無人機（UAV）通信和網絡的GAI研究還很少。目前，DAI、凸優化和博弈論常用于解決UAV優化問題。然而，這些傳統方法可能在處理UAV網絡問題時有限制，因為UAV的移動性和高度動態的環境。此外，如DAI等學習方法可能無法捕捉數據的潛在結構和特征，從而導致對問題的理解不全面，處理未知情況的能力弱。 GAI顯示出解決上述問題的巨大潛力。特別是，GAI所展示的強大學習和泛化能力可以用來優化UAV網絡的資源管理問題，以提高通信性能。例如，考慮到UAV的資源有限，GAI可以根據從目標區域部分收集的數據準確推斷整個目標區域的狀況，從而進行合理的資源分配和軌跡規劃。盡管將GAI整合到UAV通信和網絡中提供了顯著的優勢，但仍有一些問題需要進一步討論：

• Q1：為什么GAI適合UAV通信和網絡？
• Q2：GAI可以處理哪些UAV通信和網絡問題？
• Q3：GAI如何處理這些問題？

因此，我們提供了一個系統的教程來回答上述問題。據我們所知，這是第一項系統展示采用GAI解決UAV通信和網絡優化問題的工作。我們的貢獻總結如下：

• 我們首先介紹了GAI的一些具體技術和應用。隨后，展示了UAV的角色和特征。最后，我們簡要介紹了DAI的局限性并簡要介紹了用于UAV通信和網絡的GAI。
• 我們從通信、網絡和安全的角度討論了GAI解決與UAV相關問題的潛力。
• 我們提出了一個利用GAI的UAV通信和網絡的新框架。此外，我們構建了一個案例研究來展示基于所提框架的GAI增強UAV啟用的頻譜感知和通信的有效性。****

GAI與UAV網絡概述在本節中，我們首先介紹GAI的關鍵技術和應用。隨后，介紹了UAV在網絡中的角色。最后，我們在物理層、網絡層和應用層展示了UAV上的GAI應用。 A.** GAI及其應用GAI基于從大規模訓練數據集獲得的廣泛通用知識，能夠執行滿足用戶需求的任務**。此外，它主要依賴于以下關鍵AI技術：

• 大型語言模型（LLM）：LLM基于大量文本數據訓練，學習各種語言模式和結構，以理解和生成自然語言。基于出色的理解和推理生成能力，LLM廣泛應用于文本生成和人機交互等領域。
• Transformer：Transformer是一種帶有自注意機制的序列到序列模型，能夠同時處理輸入序列中各個位置的信息。因此，Transformer在自然語言處理（NLP）中取得了巨大成功，如機器翻譯和文本摘要。
• 生成對抗網絡（GAN）：GAN包括一個生成模型和一個判別模型。具體來說，前者負責生成與原始數據相似的數據，后者則判斷數據的真實性。因此，GAN通過訓練對抗性神經網絡能生成復雜和逼真的數據。當前，GAN在視頻和網絡安全等領域有廣泛應用。
• 變分自編碼器（VAE）：VAE是一個由編碼器和解碼器組成的生成模型。具體來說，VAE的訓練過程依賴于一種特定的損失函數，該函數測量重建數據和原始數據之間的差異，同時考慮潛在空間的分布特性。因此，VAE能學習數據的潛在表示，并生成與訓練數據相似的新數據點，因此在處理信號處理和異常檢測等任務中具有顯著優勢。
• 生成擴散模型（GDM）：GDM通過一系列可逆轉換將簡單的噪聲分布轉換為目標數據分布。在GDM的訓練過程中，逐漸向原始數據添加噪聲，然后學習逆向擴散過程，以從噪聲中構建所需的數據樣本。由于生成過程的靈活性和生成數據的高質量，GDM常用于圖像處理、數據增強和恢復以及問題優化等領域。 目前，采用上述模型的GAI方法在各個領域催生了大量應用并取得了令人印象深刻的成果。接下來，我們將從人工智能生成內容（AIGC）和人工智能生成一切（AIGX）的角度簡要介紹一些GAI應用。
• AIGC：AIGC指的是GAI生成滿足用戶需求的內容，主要包括文本、圖像、視頻和音頻等媒體內容的生成。例如，基于LLM的chatGPT可以與用戶互動，并根據用戶的提示生成相關文本內容，如翻譯、摘要和寫作文章。
• AIGX：隨著GAI的發展，它已進化到一個新階段，在該階段，GAI被用來處理其他領域中更復雜的問題，并生成更復雜的數據類型，而不僅限于媒體內容。值得注意的是，GDM可以用于無線網絡優化，如最大化傳輸速率、通信容量和能效。

B. UAV通信和網絡UAV通信和網絡系統受到學術界越來越多的關注，并且已在實際應用中取得顯著成果。具體來說，UAV系統在通信和網絡領域的幾個主要角色如圖1所示，可以具體描述如下。

• 中繼：UAV可用作移動中繼站，連接地面基站和遠程設備之間的通信鏈路。例如，在一些特殊區域，如山區，傳統基站難以覆蓋且成本高昂，UAV可被指派為中繼，以擴大覆蓋范圍并實現長距離信號傳輸。
• 空中基站：UAV可用作空中基站，向地面用戶提供穩定高效的通信服務。例如，UAV可以在人口密集的地區臨時用作通信基站，以增強通信覆蓋和容量，滿足高峰通信需求。
• 邊緣計算：UAV可以作為邊緣計算設備，收集用戶數據進行實時分析和處理。例如，在智能交通管理中，UAV可以根據獲得的交通流統計數據分析當前交通狀況，及時調整交通控制，以緩解交通壓力。
• 攻擊檢測器：鑒于其多功能性，UAV可用于協助預防、檢測和恢復對5G和6G無線網絡的攻擊。 UAV通信和網絡系統的廣泛應用是不可避免的，因為它們相比傳統地面系統具有以下優勢。
• 靈活性：由于其高度移動性和靈活的部署能力，UAV可以迅速移動到特定區域以滿足通信需求。
• 適應性：UAV可以為一些意外情況建立臨時網絡，支持UAV節點的臨時增加或撤回，同時保持高可用性。
• 高性價比：與地面固定系統相比，UAV可以攜帶多種設備提供靈活多樣的服務。此外，UAV系統的成本通常較低。 請注意，由于上述優勢和廣泛的應用范圍，UAV通信和網絡系統被認為在6G的空天地海一體化網絡中扮演重要角色。因此，高效解決UAV通信和網絡問題至關重要。

C. GAI在UAV通信和網絡中的應用請注意，DAI方法已廣泛用于解決UAV通信和網絡優化問題。例如，人工神經網絡被用來解決UAV通信的信道行為預測問題，支持向量機被用來解決超密集網絡中UAV輔助的資源分配問題。然而，采用DAI進行UAV網絡仍面臨以下限制：

• 數據依賴性：DAI方法通常依賴廣泛注釋的數據集，并需要大量良好標注的數據來學習數據之間的關系。然而，在UAV通信和網絡領域，獲得大量良好標注的數據是困難的。特別是，UAV網絡的物理層數據通常很嘈雜，這對一些對噪聲敏感且易受數據不完整性影響的DAI模型構成挑戰。
• 適應性不足：DAI更多地關注已知數據的模式和特征，這導致在處理未知情況時面臨挑戰。特別是，UAV所面對的網絡層環境通常非常動態，因此DAI可能難以提供靈活的解決方案。
• 建模能力不足：DAI專注于學習數據的特征，對數據生成過程的理解有限。因此，DAI方法更適合建模明確且簡單的問題。對于通常涉及多種資源約束的UAV網絡應用層，數據通常龐大且復雜。在這種情況下，DAI可能無法完全理解數據所攜帶的信息，從而進行準確建模。

DAI方法在解決UAV通信和網絡問題中所面臨的限制促使GAI的出現。接下來，我們將從物理層、網絡層和應用層三個角度展示GAI可以為UAV提供的服務，并分析UAV系統與其他無線系統在這些服務中的差異。

1. 物理層：與地面通信系統相比，UAV網絡的高度動態性和靈活性使得信道特性更為復雜。因此，信道估計需要實時考慮飛行狀態的變化，以維持穩定和高效的通信連接。在這種情況下，采用VAE模型的GAI可以通過生成更精確的信道參數來提高UAV通信的性能，根據預測的鏈路狀態進行調整。
2. 網絡層：在傳統地面系統中，節點位置通常是固定的，通信路徑相對穩定。相比之下，由于UAV的移動性，UAV系統的網絡拓撲更為靈活和動態。在這種情況下，GAI能夠實時生成適應不同通信場景的自適應網絡拓撲管理方案，根據任務需求進行調整。例如，提出WaveGAN方法優化動態飛行自組織網絡中的網絡拓撲。
3. 應用層：UAV在應用層的多樣化任務需求和實時數據處理能力使其與其他無線系統顯著不同。此外，由于UAV資源受限的特性，對資源分配過程以及多目標之間的權衡提出了更高要求。在這種情況下，GAI能夠根據當前任務和環境變化的實時需求生成智能資源分配和任務調度解決方案，確保UAV系統的各種性能。具體來說，一個典型的例子是基于GAN的方法，以最小化UAV的能耗和地面用戶的任務延遲。

隨著近年來人工智能（AI）和機器人技術的發展，無人系統集群因其提供人類難以完成且危險的服務的潛力而受到學術界和工業界的極大關注。然而，在復雜多變的環境中學習和協調大量無人系統的動作和行動，給傳統的人工智能方法帶來了巨大的挑戰。生成式人工智能（GAI）具有復雜數據特征提取、轉換和增強的能力，為解決無人系統集群的這些難題提供了巨大的潛力。為此，本文旨在全面考察 GAI 在無人系統集群中的應用、挑戰和機遇。具體來說，我們首先概述了無人系統和無人系統集群及其使用案例和現有問題。然后，深入介紹各種 GAI 技術的背景及其在增強無人系統集群方面的能力。然后，我們全面回顧了 GAI 在無人系統集群中的應用和挑戰，并提出了各種見解和討論。最后，我們強調了無人系統集群中 GAI 的開放性問題，并討論了潛在的研究方向。

圖1:本文的總體結構。

近年來，無人系統（UVs）已成為一種顛覆性技術，為日常生活的各個領域帶來了革命性的變化，其應用范圍從包裹遞送、民用物聯網（IoT）到軍事用途[1, 2]。具體來說，無人車指的是可以在有限或無人干預的情況下運行的車輛、設備或機器，例如，車上沒有人類駕駛員或機組人員。得益于這一特殊屬性，UV 可用于在具有挑戰性或危險的環境中執行任務。一般來說，無人系統可分為無人飛行器（UAV）、無人地面車輛（UGV）、無人水面航行器（USV）和無人水下航行器（UUV）。正如其名稱所示，每種無人系統都是為特定任務和環境而設計的。例如，UAV 被廣泛用于航拍、環境和野生動物監測以及監視 [3, 4]，而 UGV 則可用于運輸和炸彈探測等任務。不同的是，USV 和 UUV 分別用于水面和水下作業，包括海洋學數據收集、水下勘探和潛艇監視 [5，6]。

隨著近年來人工智能（AI）和機器人技術的發展，無人潛航器的概念已經發展到了一個全新的層次，即無人系統集群。從本質上講，無人系統集群是通過協調一組無人飛行器（如機器人、無人機和其他自主飛行器）來實現一個共同目標而設計的[7, 8]。實際上，無人集群中的每個系統都可以配備自己的傳感器、處理器和通信能力。為了讓它們高效地協同工作，人們采用了人工智能和機器人學的先進技術來協調它們的行為，并執行自主導航、自組織和故障管理等復雜任務 [7，9]。因此，與傳統的無人系統相比，無人系統集群擁有各種優勢。特別是，它們可以根據具體任務和要求動態調整車輛數量，從而提供可擴展性和操作靈活性。此外，如果無人系統群中有幾個無人系統無法運行，剩余的無人系統仍然可以協同工作，確保任務成功。這對于需要高彈性和魯棒性的任務尤其有用。最后，通過允許無人系統集群相互學習和協作，無人系統集群可以實現集群智能，即所謂的集體智能[10, 11]，從而大大提高運行效率和可靠性。

雖然在無人系統集群中發揮著重要作用，但傳統的人工智能技術仍面臨諸多挑戰。特別是，這些技術需要大量標注的訓練數據，而且只能在特定環境下才能獲得良好的性能。因此，它們極易受到環境的動態性和不確定性的影響，而環境的動態性和不確定性正是無人系統集群的特點，例如無人系統之間的動態連接、風和洋流的影響以及物聯網應用中傳感器的不確定性和多樣性。此外，傳統的人工智能方法在具有大量 UV 的復雜場景以及水下、偏遠地區和受災地區等具有挑戰性的環境中可能表現不佳。為了克服傳統人工智能技術面臨的這些挑戰，生成式人工智能（GAI）在理解、捕捉和生成復雜的高維數據分布方面具有開創性的能力，因此最近在文獻中被廣泛采用。鑒于 GAI 在 UV 集群中的潛力，本文旨在從不同角度全面探討 GAI 在實現群體智能方面的挑戰、應用和機遇。

文獻中有一些調查側重于人工智能在 UV 中的應用[12, 13, 14, 15]。例如，文獻[12]的作者研究了深度學習、深度強化學習和聯邦學習等傳統人工智能技術在基于無人機的網絡中的應用，而文獻[13]的作者則對機器學習（ML）在無人機操作和通信中的應用進行了更全面的調查。不同的是，在文獻[15]中，作者綜述了物聯網網絡中人工智能無人機優化方法，重點關注人工智能在無人機通信、群體路由和聯網以及避免碰撞方面的應用。同樣，文獻[7]也討論了 AI/ML 在無人機群體智能中的應用。值得注意的是，上述調查和其他文獻主要關注無人機和傳統人工智能方法。據我們所知，目前還沒有任何文獻對無人機群的 GAI 發展進行全面的調查。本文的主要貢獻可歸納如下。

• 介紹了 UV 集群的基本原理，包括其在空中、地面、水面和水下領域的設計和運行以及實際應用案例。
• 深入概述了常見的 GAI 技術，包括生成對抗網絡 (GAN)、變異自動編碼器 (VAE)、生成擴散模型、變換器和歸一化流。我們還詳細介紹了每種技術在 UV 群體中的主要優勢和挑戰。
• 全面回顧了 GAI 在 UV 集群各種問題中的應用，如狀態估計、環境感知、任務/資源分配、網絡覆蓋和點對點通信以及安全和隱私。通過回顧這些 GAI 應用，我們深入了解了如何將 GAI 應用于解決 UV 集群中新出現的問題。
• 介紹了 UV 集群中 GAI 的基本開放問題和未來研究方向，包括可擴展性、自適應 GAI、可解釋群體智能、安全/隱私和異構群體智能。

本文的整體結構如圖 1 所示。第二節介紹了 UV 集群的基本原理。第三節深入概述了不同的 GAI 技術及其優勢。然后，第四節深入探討了 GAI 在 UV 集群新問題中的應用。第五節強調了 GAI 在UV集群中的未決問題和未來研究方向。此外，表 I 列出了本文中使用的所有縮寫。

圖2:UV系統的基礎結構及其應用。

圖 5：探索創新范圍：本圖展示了 12 個突破性的模型結構，每個方面都有兩種不同的方法，以展示 GAI 在提高性能和應對UV集群挑戰方面的各種應用。每個模型都包含獨特的策略和解決方案，全面展示了該領域的技術進步。

狀態估計

狀態估計對 UVs 集群的應用至關重要，尤其是在自動駕駛和交通估計等領域。在導航或軌跡規劃過程中，位置、速度和方向等狀態變量對橫向決策起著至關重要的作用 [128]。然而，系統測量和機器人動態的隨機性會導致實際狀態的不確定性。因此，狀態估計的主要目標是根據現有的時間觀測結果推導出狀態變量的分布 [127]。

將 GAI 集成到 UV 的狀態估計中提供了廣泛的創新方法，每種方法都是針對特定挑戰和操作環境量身定制的。例如，在應對 UGV 交通狀態估計中數據不足的挑戰時，[121] 中的作者利用圖嵌入 GAN，通過捕捉道路網絡中的空間互連，為代表性不足的路段生成真實的交通數據。在這一提議的框架中，生成器使用類似路段的嵌入向量來模擬真實交通數據。同時，判別器會區分合成數據和實際數據，并對生成器進行迭代訓練，以優化這兩個部分，直到生成的數據在統計上與真實數據無異。與 Deeptrend2.0 等傳統模型[129]相比，這種方法不僅填補了數據空白，還大大提高了估計精度，平均絕對誤差的減少就是明證。交通狀態估計的這種進步凸顯了 GAI 在復雜交通場景中改善 UGV 導航和決策的潛力 [121]。

除標準 GAN 外，cGAN 也可用于根據原始測量結果生成相應的系統狀態估計變量 [123]。cGAN 框架采用傳感器的原始測量值作為條件約束，解決了在動態環境中準確估計多個無人機運動的難題。文獻[124]中的作者將 Social LSTM 網絡[130]的單個運動預測與 Siamese 網絡[131]的全局運動洞察相結合，實現了綜合運動狀態預測。這種方法在準確預測無人飛行器軌跡方面表現出色，這對有效的集群導航至關重要。通過有效地分離和融合單個運動和全局運動，基于 cGAN 的框架表現出色，與原始的 Social LSTM 相比，提高了多目標跟蹤的性能。

此外，VAE 在捕捉無人機無線信道中的時間相關性方面的應用凸顯了 GAI 在通信系統中的重要性，它通過生成真實、多樣的信道樣本，改善了信道狀態估計和信號清晰度[125]。這種探索延伸到了基于擴散的分數模型和深度歸一化流，用于生成復雜的狀態變量分布，展示了 GAI 以更靈活的方式建模和估計狀態的能力，從狀態變量（即位置、速度和方向）到這些分布的復雜高維梯度[126, 127]。

GAI 在 UV 集群狀態估計方面的多功能性體現在兩個方面：通過對抗機制生成缺失信息的能力和融合各種數據源進行綜合狀態分析的能力。這些能力可以在復雜的運行場景中實現更精確的狀態估計。

環境感知

UV 的環境感知通常是指飛行器實時感知和了解周圍環境的能力 [142]。這是 UV 集群實現自主導航和完成任務的關鍵技術。這種技術通常涉及使用激光雷達、攝像頭和毫米波雷達等傳感器與外部環境進行交互 [143]。GAI 的各種創新應用明顯推進了 UV 的環境感知領域，詳見表 III。例如，由于運動造成的運動模糊、不利的天氣條件和不同的飛行高度等內在限制，無人機經常捕捉到低分辨率的圖像。為解決這一問題，作者在 [132] 中介紹了一種名為 Latent Encoder Coupled Generative Adversarial Network（LE-GAN）的框架，旨在實現高效的高光譜圖像（HSI）超分辨率。LE-GAN 中的生成器使用短期光譜空間關系窗口機制來利用局部-全局特征并增強信息帶特征。判別器采用真實圖像和生成圖像的概率分布之間基于瓦瑟斯坦距離的損失。這種框架不僅提高了 SR 質量和魯棒性，而且通過學習潛空間中高分辨率 HSI 的特征分布，緩解了模式坍縮問題造成的光譜空間失真[132]。

除了通過提高遙感分辨率來改善 UV 的精度外，GAI 更常見的應用是生成合成數據集，這表明了數據不足導致模型精度降低的難題[138]。例如，一個名為軌跡 GAN（Trajectory GAN，TraGAN）的框架用于從高速公路交通數據中生成逼真的變道軌跡[133]。另一個基于 GAN 的框架名為 DeepRoad，用于自動駕駛系統的測試和輸入驗證 [134]，通過生成不同天氣條件下的駕駛場景來提高測試的可靠性。VAE 也被用于生成更真實、更多樣的碰撞數據，以解決傳統數據增強方法的局限性 [136]。此外，結合 VAE 和 GANs 的圖像轉換框架可用于將模擬圖像轉換為真實的合成圖像，以訓練和測試變化檢測模型 [135，137]，不過它們仍需要真實圖像作為參考。此外，[139] 中的作者介紹了一種利用文本到圖像擴散模型的方法，用于生成逼真、多樣的無人機圖像，這些圖像以不同的背景和姿勢為背景。通過合并背景描述和基于地面實況邊界框的二進制掩碼生成的 20,000 多張合成圖像，檢測器在真實世界數據上的平均精度提高了 12%。

GAI 的另一個應用領域是場景理解或字幕制作。這種方法包括使用 CLIP 前綴進行圖像字幕處理，將 UV 捕捉到的圖像的視覺內容轉化為準確的文本描述，以便在 UV 中進行決策[140]。另一種方法是部署生成知識支持變換器（GKST），通過融合來自不同車輛視角的圖像信息來增強特征表示和檢索性能。[141]. 這些技術的一個有趣方面是，它們能夠處理和解釋復雜的視覺輸入，提供與人類感知非常相似的上下文理解水平。這種能力在動態環境中尤為有益，因為在動態環境中，快速準確地解讀視覺數據對有效決策至關重要。

總之，GAI 的生成能力在 UV 的環境感知領域證明是非常寶貴的。從提高圖像分辨率到生成合成數據集、創建多樣化的測試環境以及推進場景理解，GAI 是推動 UV 演進和提高其理解周圍環境并與之互動的效率的基石技術。

自主程度

自主性是指系統在沒有人類干預的情況下執行任務或決策的能力[152]。自主水平代表了 UV 在完全依賴機載傳感器、算法和計算資源的情況下獨立運行的能力。在 UV 蜂群中，自主水平取決于各種因素，如任務的類型和復雜程度、規劃和執行路線的能力等 [153]。表 IV 說明了 GAI 的集成在推進這些自主能力方面的關鍵作用。

在 UV 集群合作戰略領域，GAI 的應用體現在生成對抗模仿學習（GAIL）與多智能體 DRL 的集成上。例如，作者在 [144] 中介紹了一種基于多智能體 PPO 的生成式對抗仿真學習（MAPPO-GAIL）算法，該算法采用多智能體近似策略優化來同時采樣軌跡，完善策略和價值模型。與傳統的 DRL 搜索算法相比，該算法將網格概率用于環境目標表示，將平均目標發現概率提高了 73.33%，而平均損壞概率僅降低了 1.11%。此外，GAIL 還可用于在虛擬環境中訓練無人機執行導航任務，從而適應復雜多變的場景 [146]。

此外，還提出了一種基于 VAE 的模型，名為 BézierVAE，用于車輛軌跡建模，特別是安全驗證。BézierVAE 將軌跡編碼到潛在空間，并使用貝塞爾曲線對其進行解碼，從而生成多樣化的軌跡。與傳統模型 TrajVAE 相比，BézierVAE 顯著減少了 91.3% 的重構誤差和 83.4% 的不平滑度[133]，大大提高了自動駕駛車輛的安全性驗證[147]。在自主機器人調度方面，COIL 利用 VAE 生成優化的定時調度，大大提高了運行效率 [148]。最后，在多智能體軌跡預測中，考慮到意圖和社會關系的復雜性，采用了受條件 VAE 啟發的 GRIN 模型來預測智能體軌跡。雖然復雜系統面臨挑戰，如遵守物理定律等上下文規則，但可以通過使用特定解碼器或代理模型來近似這些限制，從而應對挑戰[149]。

在 UV 的路由規劃中，變壓器架構與 DRL 相結合，用于優化多個合作無人機的路由。與傳統算法相比，該方法性能優越，并行處理效率高，可持續獲得高回報 [150]。

增強 UV 的自主性對其獨立和合作的集群行動至關重要。GAI 的生成能力應用于多個方面，從生成新軌跡到完善路由策略，以及在不同場景中模仿智能體的路由行為。這些多樣化的應用展示了動態和適應性強的解決方案，對于 UV 在復雜多變的環境中高效、獨立地導航和運行至關重要。

任務/資源分配

在多智能體 UV 群的任務和資源分配領域，GAI 引入了有效的方法，提高了這些系統的效率和適應性。傳統方法通常依賴于固定算法和啟發式方法，但這些方法并不總能滿足動態和復雜環境的要求 [159]。如表 V 所示，GAI 為這些具有挑戰性的場景提供了必要的靈活性。

有人提出了一種基于 GAIL 的算法，用于為 DRL 重建虛擬環境，其中生成器生成專家軌跡，判別器將專家軌跡與生成的軌跡區分開來 [154]。這種方法可以創建一個接近真實世界條件的虛擬邊緣計算環境。它為計算資源分配多智能體 DRL 方法提供了探索和推斷獎勵函數的場所，同時避免了任意探索造成的對用戶體驗的損害。此外，一種基于自動編碼器的方法被應用到匈牙利算法中，以減輕數據速率矩陣中出現的相同權重造成的信息模糊問題，尤其是在蜂窩用戶（CU）和設備到設備用戶（D2DU）之間的帶寬和功率資源分配中[155]。該方法利用潛空間作為超參數，提供了一個最佳的重構成本矩陣，以協助資源分配決策。

此外，作者在 [156] 中提出了一種基于擴散模型的人工智能生成最優決策（AGOD）算法。該算法可根據實時環境變化和用戶需求進行自適應和響應式任務分配。正如深度擴散軟行為者批判（D2SAC）算法所展示的那樣，該算法通過整合 DRL 進一步提高了功效。與傳統的 SAC 方法相比，D2SAC 算法在任務完成率方面提高了約 2.3%，在效用收益方面提高了 5.15%[156]。傳統的任務分配方法假定所有任務及其相應的效用值都是事先已知的，而 D2SAC 則不同，它可以解決選擇最合適服務提供商的問題，因為任務是實時動態到達的。與傳統方法相比，D2SAC 在完成率和效用方面都有顯著的性能提升。

在聯合計算和通信資源分配領域，由于 UV 的獨立性質和電池限制，有效管理的重要性在 UV 中更加突出。文獻[157]中提出的基于擴散的模型提供了一種先進的方法，用于設計語義信息傳輸的最佳能源分配策略。該模型的一個主要優勢是能夠迭代改進功率分配，確保在 UV 群動態環境造成的不同條件下優化傳輸質量。在傳輸距離為 20 米、傳輸功率為 4 千瓦的條件下，這種基于擴散模型的人工智能生成方案超過了其他傳統的傳輸功率分配方法，如平均分配（名為 Avg-SemCom）和基于置信度的語義通信（Confidence-SemCom）[157]，迭代次數約為 500 次，傳輸質量提高了 0.25。

另一方面，作者在論文[158]中提出結合 LLM 探索提升 GAI 在多智能體 UV 群任務和資源分配方面的能力。利用 LLM 先進的決策和分析能力，為每個用戶創建了獨立的 LLM 實例，以實現 "通過以下方式減少網絡能耗 "的初衷Δp=0.85W"轉化為一系列細節任務，如調整發射功率和信道測量。然后將結果提示給 LLM，由 LLM 添加后續任務并指示相關執行器采取行動。通過在 LLM 上的集成，無人機智能體成功地在 2 個回合內實現了省電目標。盡管進一步的仿真結果表明，當智能體數量增加時，當前的 GPT-4 在維持多個目標方面會遇到一些困難。這種整合標志著 UV 蜂群在自主性和功能性方面的顯著進步。

總之，GAI 大大推進了多智能體 UV 群的任務和資源分配領域。從創建生動的仿真環境供分配算法探索，到迭代調整分配策略和打破粗略的任務細節意圖，GAI 展示了處理動態環境和各種挑戰的強大能力。

網絡覆蓋和點對點通信

如第二節所述，UV 的一個關鍵應用是作為移動基站重建通信網絡[46, 47, 48, 49, 164]。在這種情況下，有效的定位策略至關重要，它能以有限的 UV 實現最大的用戶覆蓋范圍，從而確保無縫接入。此外，當 UV 蜂群以分層結構部署時，領導 UV 充當指揮中心，確保子 UV 之間的有效通信覆蓋對于任務分配和協作至關重要。如表 VI 所示，各種 GAI 可滿足高效網絡覆蓋和車對車（V2V）通信的需求。

雖然利用無人機作為移動站來提供動態無線通信中的臨時網絡鏈接正變得越來越流行，但由于無人機高度、移動模式、空間域干擾分布和外部環境條件等因素的不同，優化網絡可能非常復雜，這帶來了獨特的挑戰。為解決有限無人機的網絡覆蓋優化問題，作者在 [160] 中提出使用 cGAN。該框架包括一個用于建模和預測最佳網絡配置的生成器、一個用于評估這些配置在真實世界場景中的效率的判別器，以及一個用于適應性和可擴展性的編碼機制。基于 cGAN 的方法不僅保證了無人機的最佳定位，還簡化了計算復雜度。作者在文獻 [163] 中提出的另一種解決方案利用基于自我注意的變壓器來預測用戶的移動性，并改進空中基站的布置。變壓器模型能夠捕捉時空相關性并處理長輸入和輸出序列。與常規部署方案相比，基于變壓器的方案在覆蓋率方面取得了顯著提高，比常規方案提高了 31% 以上[167]，比基于 LSTM 的方案提高了 9% 以上。

在對 UV 蜂群中的安全導航至關重要的 V2V 通信領域，車輛經常會通過轉發圖像來交流環境數據。然而，由于傳輸中斷、環境噪聲和車輛運動造成的噪聲，這些圖像可能會被破壞。為解決這一問題，作者在 [162] 中整合了用于圖像復原和網絡優化的 GDM。GDM 可使車輛通過減少數據傳輸和通信延遲，將傳輸的圖像恢復到原始質量。基于隨機微分方程的 GDM 具有迭代特性，善于完善車聯網網絡解決方案，特別是在路徑規劃等領域。例如，GDM 以初步路徑啟動優化，然后根據關鍵性能指標逐步改進。該過程利用這些指標梯度來引導路徑修改，以實現最優解。與傳統的 DQN 方法相比 [168]，所提出的基于 GDM 的方法在 300 個歷時[162]的平均累積獎勵中實現了 100% 的增長。

總之，對于網絡覆蓋和可達性，GAI 可以直接生成定位策略，也可以充當編碼器，通過捕捉空間信息來增強傳統算法。在效率方面，GAI 可作為一個框架，利用語義信息減少數據傳輸，同時通過引導生成保持通信。然而，盡管這些發展代表了管理 UV 蜂群的飛躍，但仍有一些領域有待進一步探索。例如，[162] 中的作者提出了整合其他模式以提高通信效率的問題。這為未來研究在 UV 網絡中整合多模態數據處理提供了機會。這種探索可以大大提高這些技術對不同網絡拓撲結構和環境條件的適應性。此外，GAI 有可能促進 UV 蜂群部署中的自主決策，這為推動該領域的發展提供了一條大有可為的途徑。通過擴大 GAI 的應用范圍，研究人員可以針對各種復雜的現實世界場景進一步優化 UV。

安全/隱私

安全和隱私是 UV 蜂群的重要方面，尤其是在軍事和監控應用中。將 GAI 集成到這些領域可為增強系統安全性和確保隱私提供創新解決方案。如圖 6 所示，一個有趣的潛在應用是利用 GAI 生成虛假數據或模擬通信活動的能力來充當 "蜜罐"，誤導潛在攻擊者并加強系統安全性[176]。LLM 生成的 "蜜罐 "可作為額外的保護層，傳播虛假信息，迷惑和誘捕攻擊者，從而增強蜂群的集體安全性。在蜂群網絡中創新性地使用語言處理技術，是保護自動駕駛汽車免受復雜網絡威脅的一個新領域。表七詳細介紹了 GAI 在 UV 蜂群安全和隱私保護中的應用。

自動駕駛 GAN（ADGAN）[169]是 GAI 在隱私保護領域的一個顯著應用。ADGAN 是一種基于 GAN 的圖像到圖像轉換方法，旨在保護車輛攝像頭位置數據的隱私。ADGAN 通過移除或修改圖像中的背景建筑物來實現這一目標，同時保留了識別交通標志和行人等其他物體的功能。語義通信是增強 UV 群安全性的有效手段，因為它能去除與任務無關的背景圖像。此外，ADGAN 引入了多判別器設置，提高了圖像合成性能，并提供了更強的隱私保護保障，可抵御更強大的攻擊者[169]。另一個類似的應用是基于 GAN 的框架，該框架通過改變可識別的特征來保護街景圖像中的身份隱私，例如用逼真的背景替換移動的物體 [172]。

在軌跡數據隱私方面，TrajGAN 通過生成合成軌跡來保護軌跡數據的隱私[170]。這些軌跡遵循與真實數據相同的分布，同時掩蓋了用戶的個人位置和身份。它們保留了真實數據的統計屬性，并捕捉到了人類的移動模式。不過，TrajGANs 在創建密集的軌跡表示時可能會面臨挑戰，特別是在時間戳和路段方面，而且可能無法識別數據中的一些罕見或特殊事件。為了進一步加強保護，作者在 [171] 中提出了 LSTM-TrajGAN 框架。該框架由三部分組成：一個生成器，用于生成和預測真實的軌跡配置；一個判別器，用于將這些配置與真實數據進行比較，以驗證其真實性和實用性；以及一個專門的編碼機制，利用 LSTM [177] 循環神經網絡對軌跡數據及其各自的時間戳進行時空嵌入。使用軌跡-用戶鏈接（TUL）算法作為攻擊者，對其隱私保護效果進行了評估[178]。在真實世界的語義軌跡數據集上進行評估后發現，與隨機擾動（66.8%）和高斯地理掩碼（48.6%）等傳統地理掩碼方法相比，所提出的方法能將攻擊者的準確率從 99.8% 降低到 45.9%，從而實現更好的隱私保護[179]。這些結果表明，LSTM-TrajGAN 可以更好地防止用戶被重新識別，同時保留真實軌跡數據的基本時空特征。

VAE 也被用于保護 UV 軌跡隱私。文獻[173]中的作者利用 VAE 創建合成車輛軌跡，通過在數據中添加噪聲來確保不同的隱私。這種方法有助于有效模糊車輛位置，但由于添加了噪聲，可能會導致一些數據失真。如文獻[174]所述，聯合學習中的變形器通過在網絡間只共享基本數據特征來提高自動駕駛的隱私性。這種方法提高了隱私性，但面臨著通信鏈路穩定性和外部干擾的挑戰。

為了保護車輛網絡安全，作者在文獻 [175] 中提出了一種基于變壓器的入侵檢測系統，為車輛網絡提供了一種復雜的解決方案。該系統采用自我注意機制分析控制器局域網（CAN）報文，將其準確地分類為各種車內攻擊，如拒絕服務、欺騙和重放攻擊。作者在 [174] 中提出的另一個基于變壓器的模型是將變壓器集成到聯合學習設置中。這種方法可以在自動駕駛汽車網絡中共享關鍵數據特征而不是原始數據。這種方法能最大限度地減少敏感數據的暴露，同時還能實現協同決策和計算，從而大大提高了隱私保護。

總之，GAI 在 UV 群中的應用徹底改變了安全和隱私措施，特別是在軍事和監控等敏感領域。"蜜罐 "和基于 GAN 的框架等技術展示了 GAI 在數據處理方面的能力，從而增強了安全性。此外，在針對軌跡隱私的聯合學習中實施 VAE 和轉換器，以及先進的入侵檢測系統，都凸顯了 GAI 在防范復雜網絡威脅方面的適應性和有效性。

UV安全和故障檢測

UV安全是另一個關鍵問題，包括系統故障的檢測、隔離和解決。與避免碰撞或為 UV 集群制定安全路徑規劃策略等與這些系統的自主水平更密切相關的其他安全問題不同[184]，UV 安全研究突出了 UV 系統內部漏洞（包括算法和硬件故障）帶來的獨特挑戰。該領域的研究旨在通過開發方法和技術，使這些系統能夠在潛在故障影響車輛性能或安全之前有效識別并排除故障，從而提高 UV 運行的整體可靠性和安全性。

監測運行參數以檢測 UV 系統故障對于確保其安全性和效率至關重要。有人提出了一種新穎的框架，該框架使用 LSTM 網絡與自動編碼器相結合，能夠從車輛性能數據中持續學習 [181]。這一框架增強了系統精確定位和逐步處理故障的能力。LSTM 在處理時間序列數據方面的能力使這種方法在各種因素都可能影響車輛性能的動態環境中尤為有效。LSTM 自動編碼器可以生成代表潛在故障場景的合成數據點，從而增強訓練數據集，使模型能夠從更廣泛的條件中學習，并根據模擬數據在檢測不同類型的無人機誤操作方面達到 90% 的準確率，在分類方面達到 99% 的準確率。這大大提高了 UV 系統的安全性和運行效率。在隨后的發展中[182]，無人機故障檢測和分類取得了進展，特別是通過基于 FPGA 的硬件加速，速度提高了四倍，而能耗卻降低了一半。這項研究進一步確定了 GAI 的關鍵考慮因素，表明模型計算可針對實時操作進行優化。在無人機群中的成功部署也表明，類似的策略可以提高 GAI 在動態環境和復雜任務協調中的性能。

另一方面，VAE 提出了在 UV 蜂群中進行故障和異常檢測的復雜方法。作者在 [180] 中提出了一種新方法，即在代表 UV 正常運行的數據上訓練 VAE。這種方法有助于 VAE 理解什么是標準性能。學習過程涉及輸入數據的重建，其中模型準確復制原始數據的能力是識別操作一致性的基礎。重構誤差與標準值的重大偏差預示著潛在的故障或異常。通過對輸入數據進行重構并計算所產生的誤差，基于 VAE 的方法在檢測故障和異常方面的平均準確率達到了 95.6%[180]。利用 VAE 映射關系能力的優勢在于，它們能熟練發現訓練數據集中不存在或未考慮的新故障或問題。這一特點確保了基于 VAE 的系統能夠在各種不可預測的場景中保持高水平的安全性和可靠性。在經常會遇到各種環境條件和操作挑戰的 UV 操作中，這一特性顯得彌足珍貴。然而，必須承認的是，VAE 的性能會受到各種因素的影響，其中包括 VAE 模型本身的復雜性、用于訓練的數據的質量和多樣性，以及將重建錯誤標記為潛在故障的特定閾值。

此外，作者在文獻[183]中利用時空變壓器網絡對電動汽車的電池故障進行診斷和故障預報，因為該網絡具有專門的架構，在提取多個時空尺度的關鍵特征方面表現出色。采用時空變壓器網絡進行車輛電池故障診斷和故障預報，在識別預警信號和預測不同時空尺度的故障方面表現出色。它利用車載傳感器數據分析和預測電池故障演變的能力完全符合 UV 的需求，因為 UV 的運行嚴重依賴于電池的完整性。通過集成這樣一個模型，預測性維護策略得到了極大的增強，可以在 24 小時到一周的精確時間窗口內及早發現異常并預測電池故障。這種方法不僅可以通過優化車輛計劃來減少停機時間，從而提高運營效率，而且在防范可能危及車輛安全的潛在電池故障方面也發揮著至關重要的作用。

在 UV 運行中，確保安全性和可靠性不僅包括檢測故障，還包括隔離受影響的組件以防止出現更多問題，并實施有針對性的解決方案來解決問題。例如，在傳感器故障導致信息丟失等相對較小的問題上，VAE 和 GAN 的使用說明了 GAI 在故障管理中的創新應用[185]。通過優化 VAE-CGAN 結構，這些模型可以重新生成缺失的時間序列數據，從而證明了它們在運行故障損害數據完整性的情況下的有效性。這一功能尤其適用于無人機農業監控等應用，在這些應用中，數據收集的連續性至關重要。

在解決危及 UV 蜂群運行的嚴重問題時，當前研究中一個引人入勝的方面是為脫穎而出的 "在哪里墜毀 "決策協議制定策略[186]。這一概念針對的是在發生嚴重故障時，UV 應如何以及在何處終止運行的預定協議需求，以最大限度地減少次生危害。這些協議包括無人機的緊急著陸區、USV 和 UUV 的特定下沉點以及 UGV 的受控停止措施。然而，這些預定義協議可能無法適應所有可能出現的情況。因此，將 GAI 集成到 UV 星群故障管理策略中為提高安全性提供了一種先進的方法。例如，通過分析實時傳感器數據和了解蜂群動態的復雜性，變形金剛能夠做出情境感知決策，為受損的 UV 準確識別最安全的終止點 [187]。采用這種 GAI 不僅可以改善關鍵故障的管理，還能降低二次事故的風險。

近期在基礎模型上的發展，如大型語言模型（LLMs）和視覺-語言模型（VLMs），它們基于大量數據訓練，促進了跨不同任務和模態的靈活應用。它們的影響覆蓋了多個領域，包括健康護理、教育和機器人技術。本文提供了基礎模型在現實世界機器人應用中的概覽，主要強調在現有機器人系統中替換特定組件。總結包括了基礎模型中輸入輸出關系的視角，以及它們在機器人技術領域內的感知、運動規劃和控制中的作用。本文最后討論了實際機器人應用面臨的未來挑戰和含義。

近期在人工智能領域的進步顯著擴展了機器人的操作能力，使它們能夠承擔多種多樣的活動【1-5】。雖然最初機器人的部署主要限于大規模生產環境【6-11】，但現在工業機器人的適用性已經擴展到小批量和高多樣性生產領域，包括室內空間和災難現場【12-15】。這種擴散不僅僅限于環境多樣性的增加；它還擴展到了任務范圍的擴大，包括日常活動，如整理【16-18】、洗滌【19,20】、擦拭【21,22】和烹飪【23,24】。機器學習為滿足這些機器人系統的需求提供了一種方式。然而，僅僅在特定領域數據上訓練每個模型對于多樣的機器人、任務和環境來說是不夠的。越來越多地需要開發可以使用單一的、預訓練的系統或模塊應用于各種機體、任務和環境的機器人。 解決這一挑戰的一個方案是引入基礎模型【25】。基礎模型是在大量數據上訓練的模型，可以通過上下文學習、微調或甚至零樣本的方式輕松應用于廣泛的下游任務【26,27】。顯著的例子包括大型語言模型（LLMs）如GPT【27】和視覺-語言模型（VLMs）如CLIP【28】，其中語言是結合各種類型模態的粘合劑。這些基礎模型的影響是顯著的，有幾篇綜述文章討論了它們在不同領域的影響【29-32】。Wang等人【29】和Zeng等人【30】進行了關于大型語言模型在機器人學中應用的綜述，而Firoozi等人【31】和Hu等人【32】進行了更廣泛的綜述，關注于基礎模型在機器人學中的應用。在本文中，我們總結了基礎模型對現實世界機器人的適用性，旨在加速它們在實際機器人應用中的采用。與其他綜述文章相比，我們提供了如何從基礎模型的輸入輸出關系以及機器人學中的感知、運動規劃和控制的角度，用基礎模型替換現有機器人系統中的特定組件的總結。 本研究的結構如圖1所示。在第2節中，我們將描述基礎模型本身。特別地，我們將根據它們使用的模態類型，例如視覺【33,34】、語言【35-41】等，以及它們可以應用的下游任務類型進行分類。在第3節中，我們將基于當前應用【2,3,42】描述如何將基礎模型應用于機器人學。一般來說，機器人需要配備感知模塊、規劃模塊和控制模塊。從這個角度，我們分類了可以將基礎模型應用于現實世界機器人學的方式，包括低級感知、高級感知、高級規劃和低級規劃。此外，我們還將解釋在訓練直接連接低級感知和低級規劃的映射時，對機器人學的數據增強。在第4節中，我們將描述包括機器人實體在內的基礎模型，即機器人基礎模型，包括關于如何就模型架構、數據集和學習目標制作這些機器人基礎模型的討論。在第5節中，我們將描述使用基礎模型的機器人、任務和環境。我們將任務分類為導航、操縱、帶有操縱的導航、運動和交流。最后，我們將討論未來的挑戰并提出我們的結論。

“基礎模型”一詞最初在【25】中被引入。在這項綜述中，我們將簡單描述在機器人應用中使用的基礎模型的類型，以及下游任務，將關于基礎模型本身的討論推遲到【25】。在2012年，深度學習因ILSVRC-2012比賽的獲勝模型而獲得機器學習社區的主流關注【43】。2017年，由【44】介紹的Transformer模型，促進了自然語言處理（NLP）【45】和計算機視覺【46】領域的重大進步。到2021年，一個經過大量數據訓練、能夠輕松應用于廣泛下游任務的模型被稱為“基礎模型”【25】。基礎模型的特點主要有三個：

上下文學習 * 規模定律 * 同質化

上下文學習使得僅用幾個例子就能完成新任務成為可能，無需重新訓練或微調。規模定律允許隨著數據、計算資源和模型大小的增加而持續提升性能。同質化允許某些基礎模型架構以統一的方式處理多種模態。 在這一章中，我們從在機器人學中的適用性的角度對基礎模型進行分類。機器人利用基礎模型的最關鍵標準是選擇使用哪些模態。本章從語言、視覺、音頻、3D表示和各種其他模態的角度討論了基礎模型的類型和它們可以執行的下游任務。在利用每種模態的背景下，我們進一步從網絡輸入和輸出的角度對基礎模型進行分類。概覽顯示在圖2中。請注意，我們的目標不是在這里全面覆蓋基礎模型；我們的重點仍然在于解決模態差異和基礎模型的分類。

通常，機器人的行為由感知、規劃和控制組成。在本研究中，我們將感知分為兩個類別：低級感知和高級感知。同時，我們將規劃和控制分別稱為高級規劃和低級規劃。加上對學習這些組成部分的數據增強，我們將機器人對基礎模型的利用分為以下五個類別。 * 低級感知 * 高級感知 * 高級規劃 * 低級規劃 * 數據增強

這些類別之間的關系如圖3所示。用于低級感知的基礎模型包括在圖像或3D表示中的語義分割和邊界框提取，以及在各種模態中的特征提取。用于高級感知的基礎模型涉及將從低級感知獲得的結果轉換和利用成如地圖、獎勵和運動約束等形式。用于高級規劃的基礎模型執行更高級別的抽象任務規劃，不包括直接控制。用于低級規劃的基礎模型執行較低級別的運動控制，包括關節和末端執行器控制。用于數據增強的基礎模型在執行連接低級感知和低級規劃的學習時，通過數據增強增強魯棒性。 在實踐中，通過組合這五種利用方法創建了各種應用。主要分為四種類型，如圖4所示。 (i) 進行低級感知，然后用高級規劃規劃行為。 (ii) 通過低級感知和高級感知提取獎勵和運動約束，并用于強化學習和軌跡優化。 (iii) 通過低級感知和高級感知生成地圖、場景圖等，并將它們作為任務規劃的基礎。 (iv) 使用數據增強，穩健地進行直接關聯低級感知的特征提取和控制輸入的端到端學習。 值得注意的是，也有一些研究方法不適用于這一框架。 從這些角度出發，我們選取了幾篇具有代表性的論文并在表1中進行了總結。

深度學習技術發展迅速，在醫學圖像處理領域取得了顯著成果。但是由于醫學圖像樣本少，標注困難，使得深度學習的效果遠未達到預期。近年，利用遷移學習方法緩解醫學圖像樣本不足的問題，提高深度學習技術在醫學圖像領域的效果，成為了研究熱點之一。介紹了遷移學習方法的基本概念、類型、常用策略及模型，根據遷移學習方法的類型，對當前醫學圖像領域具有代表性的相關研究進行了梳理與小結，對該領域的未來發展進行了總結和展望。

//cea.ceaj.org/CN/10.3778/j.issn.1002-8331.2107-0300

信道建模是設計無線通信系統的基礎，傳統的信道建模方法無法自動學習特定類型信道的規律，特別是在針對特殊應用場景，如物聯網、毫米波通信、車聯網等，存在一定的局限性。此外，機器學習具有有效處理大數據、創建模型的能力，基于此，探討了機器學習如何與信道建模進行有機融合，分別從信道多徑分簇、參數估計、模型的構造及信道的場景識別展開了討論，對當前該領域的重要研究成果進行了闡述，并對未來發展提出了展望。

//www.infocomm-journal.com/txxb/CN/10.11959/j.issn.1000-436x.2021001