亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要—檢索增強生成（RAG）已迅速成為大規模語言模型（LLM）開發中的關鍵范式。盡管當前該領域的大部分研究主要集中在性能優化，尤其是在準確性和效率方面，但RAG系統的可信度仍是一個尚待深入探索的領域。從積極的角度來看，RAG系統有望通過從廣泛的外部數據庫中提供有用的、最新的知識，增強LLM的能力，從而緩解長期存在的幻覺問題。而從消極的角度來看，如果檢索到的信息不合適或使用不當，RAG系統有可能生成不良內容。為了解決這些問題，我們提出了一個統一框架，用于從六個關鍵維度評估RAG系統的可信度：真實性、魯棒性、公平性、透明性、問責性和隱私性。在此框架下，我們全面回顧了現有文獻中對每個維度的研究。此外，我們針對這六個維度創建了評估基準，并對多種專有和開源模型進行了全面評估。最后，基于我們的調查結果，我們確定了未來研究可能面臨的挑戰。通過這項工作，我們旨在為未來的研究奠定一個結構化的基礎，并提供提升RAG系統在實際應用中可信度的實用見解。

關鍵詞—可信度；大規模語言模型；檢索增強生成

1 引言

大規模語言模型（LLM）的出現代表了人工智能，特別是在自然語言處理（NLP）和理解領域的重大進展。隨著時間的推移，這些模型從簡單的基于規則的系統演變為復雜的深度學習架構，其進步得益于諸如Transformer架構[1]、在多樣化數據集上的廣泛預訓練以及先進的微調技術[2]等創新。這些進展極大地增強了LLM的能力，影響了自動內容生成[3]和高級語言翻譯[4]等應用，從而改變了機器對人類語言的解讀與生成方式。

盡管取得了這些進展，LLM仍面臨持續的“幻覺”挑戰，即模型生成看似合理但實際上不正確或無意義的信息[5, 6]。幻覺產生的原因包括訓練數據中的偏差[7]以及語言模型的概率性質[8]。在需要高度精確和可靠性的應用場景中，如醫療和法律領域[9]，這一問題尤為關鍵。為減輕這一問題，檢索增強生成（RAG）系統應運而生[10]。RAG系統通過集成外部信息檢索機制，確保生成的內容基于事實數據，從而提高LLM輸出的準確性和可信度[11]。

隨著LLM越來越多地融入金融系統[12]和醫療保健[13]等應用，LLM的可信度已成為一個關鍵問題。根據各種框架，可信度通過多個關鍵維度進行評估，包括真實性、安全性、公平性、魯棒性、隱私性、機器倫理、透明性和問責性[14]。這些維度確保LLM提供準確、無偏見且安全的輸出，同時保護用戶隱私并符合倫理標準[15]。強化學習（RLHF）[16]、數據過濾[17]和對抗性訓練[18]等技術已被用于提高可信度，其中專有模型如GPT-4在某些高風險應用中通常優于開源替代品[19]。隨著LLM繼續影響關鍵社會功能，學術界與工業界之間的持續研究與透明、協作努力對于確保其可靠和倫理的部署至關重要[20]。

然而，目前關于RAG系統的研究主要集中于優化檢索器和生成器組件以及精煉它們的交互策略[3, 21]。對于這些系統的可信度關注較少[22]。可信度對于RAG系統的實際部署至關重要，尤其是在法律咨詢或醫療保健等高風險或敏感應用中，錯誤可能會產生嚴重后果[23]。因此，必須確定定義RAG系統可信度的關鍵要素，并開發評估這些維度的可信度方法[24]。在此背景下，出現了兩個主要挑戰：（1）定義一個全面的框架，涵蓋RAG系統可信度的所有相關方面；（2）設計實際且穩健的評估方法，有效衡量各維度的可信度[25]。 為應對這些挑戰，我們提出了一個統一框架，支持對RAG系統可信度的全面分析，框架包括三個關鍵部分：

RAG系統可信度六個關鍵維度的定義：如圖1所示，我們從六個維度定義了RAG系統的可信度：（1）真實性：通過與可靠來源進行驗證，確保生成信息的準確性和真實性。（2）魯棒性：確保系統對錯誤、對抗性攻擊和其他外部威脅的可靠性。（3）公平性：在檢索和生成階段盡量減少偏見，確保公平的結果。（4）透明性：使RAG系統的過程和決策對用戶清晰易懂，促進信任和問責。（5）問責性：實施機制，確保系統的行為和輸出負有責任且可追溯。（6）隱私性：在檢索和生成過程中保護個人數據和用戶隱私。

現有工作的調查：我們對與RAG系統可信度相關的現有文獻和研究進行了全面回顧。我們分析了為增強六個關鍵維度的可信度而提出或實施的各種方法、技術和技術路線。

各種LLM的基準評測和評估：為提供對RAG系統可信度的實際評估，我們構建了一個基準并建立了全面的評估框架。該框架評估了10種不同的LLM，包括專有和開源模型，涵蓋各種模型規模和訓練策略。該基準為不同模型在實際應用中的可信度表現提供了寶貴的見解。

本次綜述的貢獻主要有三方面：（1）我們引入了一個統一框架，定義了RAG系統可信度的六個關鍵維度。（2）我們對現有RAG可信度文獻進行了詳細回顧，識別了研究空白并突出了有前途的方法。（3）我們建立了一個實用的基準評測框架，并對10個LLM進行了全面評估，為未來RAG系統可信度提升提供了可操作的見解和指南。 可信的RAG系統

一個完整的RAG系統包括三個主要階段：將外部知識注入生成器，生成器生成答案，以及對生成的答案進行評估。每個階段都面臨與可信性相關的挑戰。在外部知識注入階段，存在注入噪聲或私人信息的風險。在答案生成階段，引入的外部知識可能導致偏見推理，并破壞通過人類反饋強化學習（RLHF）所實現的一致性。最后，在答案評估階段，生成的答案可能包含事實錯誤或缺乏足夠的外部知識依據。 如圖2所示，我們確定了RAG系統可信性的六個關鍵維度：魯棒性、公平性、真實性、隱私性、透明性和問責性。對于每個維度，我們將探討以下幾個方面：適用于LLM的一般定義、RAG背景下的具體定義以及詳盡的文獻回顧。為了更清楚地對相關研究進行分類和總結，我們首先在圖3中展示了這些研究的時間線，以確定該領域的趨勢。然后，在表1中，我們根據三個標準對每項研究進行了分類：可信性維度、方法類型和對象。以下章節將深入探討每個可信性維度的細節。

摘要——目前，大多數工業物聯網（IIoT）應用仍然依賴于基于卷積神經網絡（CNN）的神經網絡。盡管基于Transformer的大模型（LMs），包括語言、視覺和多模態模型，已經在AI生成內容（AIGC）中展示了令人印象深刻的能力，但它們在工業領域（如檢測、規劃和控制）中的應用仍然相對有限。在工業環境中部署預訓練的大模型往往面臨穩定性與可塑性之間的挑戰，這主要是由于任務的復雜性、數據的多樣性以及用戶需求的動態性。為了應對這些挑戰，預訓練與微調策略結合持續學習已被證明是一種有效的解決方案，使模型能夠適應動態需求，同時不斷優化其推理和決策能力。本文綜述了大模型在工業物聯網增強的通用工業智能（GII）中的集成，重點關注兩個關鍵領域：大模型賦能GII和GII環境下的大模型。前者側重于利用大模型為工業應用中的挑戰提供優化解決方案，而后者則研究在涉及工業設備、邊緣計算和云計算的協同場景中，持續優化大模型的學習和推理能力。本文為GII的未來發展提供了洞見，旨在建立一個全面的理論框架和研究方向，從而推動GII向更加通用和適應性強的未來發展。 關鍵詞——通用工業智能、大語言模型、持續學習、工業物聯網、邊緣計算。

工業5.0將網絡-物理-社會元素集成到制造業中，強調數字與物理系統的交互以及人機協作，通過互聯網有效地連接設備、物體和人[1]。隨著物聯網（IIoT）的快速發展[2]-[4]、通信技術[5], [6]、AI生成內容（AIGC）[7]、機器人和數字孿生技術[8]-[10]，現代工業系統變得越來越復雜。這些系統不僅生成高頻的單模態數據，還包括文本、圖像、視頻、代碼和音頻等多模態數據類型。工業大數據可以用于創建數字化制造工作流程和工業流程，極大地推動了工業5.0和網絡-物理-社會系統中生產力、效率和效能的提升。 如圖1所示，數據集和模型構成了GII生態系統的基礎要素，推動了更高層次算法和應用的快速發展。這些應用包括智能控制系統、預測性維護[11]、故障診斷[12], [13]和異常檢測[14]，這些都高度依賴于對IIoT數據的提取和分析。GII的成功特別依賴于其從這些IIoT數據集中高效學習和提取有價值特征的能力。基于Transformer的大模型（LMs），例如大語言模型（LLMs）[16]–[18]、視覺模型[19], [20]、時間序列模型[21]以及多模態模型[22], [23]，由于其獨特優勢，受到廣泛關注。通過在大規模數據集上進行預訓練，這些擁有數十億到數萬億參數的模型積累了廣泛的知識，極大地推動了數據處理的自動化和多樣化，同時減少了對人類專業知識的依賴。

在工業領域，大模型的精度和可擴展性使其在提高工業流程的準確性方面非常有效。然而，在工業環境中部署預訓練大模型時，需要根據具體任務架構、動態數據分布和用戶偏好進行謹慎的適配。盡管大模型在多任務泛化、小樣本學習和推理方面具有優勢，但在這些環境中平衡穩定性和適應性仍然是一個顯著挑戰。受到大模型在自然語言處理（NLP）中成功的啟發，工業界越來越多地探索其在GII中的潛力。一種方法是從頭構建行業特定的基礎模型[24]，但特定領域數據規模的限制通常阻礙了涌現能力的發展。另一種方法是通過大數據集上的預訓練，然后進行特定任務的微調，這已顯示出在構建穩健的工業模型方面的巨大潛力，顯著提高了各類任務的性能。這種方法有效地應對了特定領域數據匱乏的挑戰，同時加速了工業應用中先進能力的發展。

為工業任務調整大模型是一個重要的研究方向[25]。這些模型在跨任務泛化、零樣本/小樣本學習和推理能力方面的優勢，為解決知識遷移、數據稀缺性和解釋性問題提供了新的途徑。 ****持續大模型（CLMs）****在維持和發展這些工業模型的能力方面發揮了關鍵作用。CLMs在大規模數據集上進行預訓練，并由Transformer架構驅動，設計用于持續學習和適應，確保工業大模型在滿足GII不斷變化的需求時仍然保持相關性和有效性。

A. 本綜述的目標

本文旨在建立一個全面的視角，并對IIoT增強的GII進行深入分析。它提出了將GII分為兩個主要類別的概念：

• 通用工業智能的大模型（LMs for GII）：該方向重點利用大模型的高級數據處理和分析能力來解決工業應用中固有的優化問題。具體來說，LMs通過其處理實時多模態IIoT數據、執行復雜特征提取并確保精確的模式識別和結果驗證的能力，提升了IIoT驅動的工業系統的智能化和運營效率，最終提高了不同工業環境中的測量精度和系統性能。
• 通用工業智能上的大模型（LMs on GII）：該視角探討了工業應用如何通過持續模型操作，在協同的IIoT設備-邊緣-云環境中擴展和優化大模型的能力。通過采用持續學習（CL）和在線學習策略，模型可以適應新數據和環境變化，而無需昂貴的再訓練。這種方法節省了計算資源，最小化了延遲，并高效處理了數據分布變化和性能退化，確保了動態工業場景中的穩健模型性能。

本文通過一個示意圖（圖2）進一步明確了這些類別的引入，幫助闡明了兩種方法之間的結構性差異和操作機制。

B. 本綜述的獨特特征

近年來，持續學習（CL）作為一個研究課題獲得了顯著關注，許多研究探討了其在設備健康管理[26]、機器人[27]和流數據[28]等領域的應用。在大模型的背景下，由于這些模型的規模巨大，頻繁的再訓練成本高昂，因此CL已被認為是至關重要的[29]。盡管CL的文獻廣泛，但我們的綜述獨特地關注了CL在IIoT增強的工業系統中的大模型的持續適應性——這是現有文獻中未被充分覆蓋的領域。本綜述首次為大模型在四個不同的IIoT工業場景中應用的CL方法提供了全面而系統的回顧。

如表I所示，本文通過以下幾個關鍵貢獻來區分自身：

• 新穎的分類體系：我們引入了一個新的GII理論框架。通過將大模型的應用分為兩個維度——“LMs for GII”和“LMs on GII”，本文不僅探討了如何利用大模型優化工業應用，還研究了這些應用如何反過來優化模型本身。這種雙向交互視角顯著豐富了現有文獻。

• 跨領域多模態集成：與大多數僅專注于特定類型大模型（如語言模型或視覺模型）的現有研究不同，本綜述涵蓋了大語言模型（LLMs）、視覺Transformer、多模態模型和時間序列模型。這種跨模態集成增強了復雜儀器和測量系統的設計、開發和評估，這些系統用于信號的生成、獲取、調理和處理。通過利用不同模型的獨特優勢，它為推進測量科學及其應用提供了更全面和深入的視角，從而更有效地應對復雜的工業挑戰。

• 持續學習的實際應用：本文強調了持續學習策略在IIoT增強的工業系統，特別是邊緣計算和云計算協同環境中的實際應用。這個重點確保了模型不僅能適應新數據和變化的條件，還能資源高效。通過減少計算需求和訓練成本，我們的方法解決了工業應用中的關鍵約束。

摘要——從演示中學習（Learning from Demonstrations），即通過數據學習機器人行為模型的領域，隨著深度生成模型的出現，正在越來越受到關注。盡管這一問題在“模仿學習”、“行為克隆”或“逆強化學習”等名稱下已經被研究了多年，但傳統方法依賴的模型往往難以有效捕捉復雜的數據分布，或者無法很好地擴展至大量演示數據。近年來，機器人學習社區對于使用深度生成模型來捕捉大數據集的復雜性表現出了越來越濃厚的興趣。在本綜述中，我們旨在提供對去年機器人領域中使用深度生成模型的進展的統一且全面的回顧。我們介紹了社區探索的不同類型的模型，如基于能量的模型、擴散模型、動作值圖、生成對抗網絡等。我們還展示了深度生成模型在不同應用中的使用情況，從抓取生成到軌跡生成或成本學習等。生成模型的一個重要元素是分布外的泛化能力。在我們的綜述中，我們回顧了社區為改善所學模型的泛化能力而做出的不同決策。最后，我們強調了研究中的挑戰，并提出了未來在機器人領域學習深度生成模型的一些研究方向。關鍵詞——機器人，生成模型，決策制定，控制，模仿學習，行為克隆，從演示中學習

I. 引言**

從演示中學習（Learning from Demonstration, LfD）[1], [2]，也稱為模仿學習（Imitation Learning）[3], [4]，是通過觀察和模仿一組專家演示來學習期望的機器人行為模型的領域**。基于場景的觀察和所需任務的條件，模型（通常稱為策略）被訓練生成與專家演示中行為相似的動作。根據任務的不同，這些動作可能代表期望的末端執行器姿態 [5], [6]、機器人軌跡 [7], [8] 或期望的場景安排 [9], [10] 等。LfD 包括幾種解決這一問題的方法。行為克隆（Behavioral Cloning, BC）方法 [1] 將條件生成模型擬合到基于觀察的動作上。盡管在序列決策問題中存在一些缺點（例如，錯誤累積導致的協變量偏移 [11]），但在實踐中，由于其穩定且高效的訓練算法，它已經展示了一些最為令人印象深刻的結果 [6], [12], [7], [13]。另一種方法是逆強化學習（Inverse Reinforcement Learning, IRL）[14], [15], [16] 或其變體 [17], [18], [19]，結合了演示數據與環境中的試錯（即強化學習（Reinforcement Learning, RL）），生成的策略比 BC 更具魯棒性，但受到訓練算法穩定性較差的限制。與直接模仿演示動作的 BC 不同，IRL 側重于推斷演示行為所優化的潛在獎勵函數，并應用 RL 來推斷策略。IRL 的一個關鍵優勢在于它能夠僅通過觀察進行學習 [20], [21]，而無需明確的演示動作信息。在 LfD 中，演示的固有特性帶來了重大挑戰。通常，收集的數據是次優的、噪聲較大的、基于高維觀察條件的，并且包含多種行為模式 [22], [23], [24]。這種多樣性可以在對給定物體的多種抓取方式、專家提供演示的偏好或專家之間的分歧中體現出來。數據的這些固有屬性促使研究人員尋找能夠恰當地捕捉其分布的模型。傳統上，在深度學習成為主流之前，LfD 方法通常使用高斯過程（Gaussian Process, GP）[25], [26]、隱馬爾可夫模型（Hidden Markov Model, HMM）[27], [28] 或高斯混合模型（Gaussian Mixture Models, GMM）[29] 來表示生成模型。然而，這些模型無法擴展至大數據集，也無法在圖像等高維上下文中表示條件分布。基于神經網絡的模型允許在圖像 [30], [31] 或文本 [32], [33] 等高維變量上進行條件設定，但它們通常被訓練為單峰模型。這些模型與收集的演示數據的多模式特性相沖突。這些模型無法捕捉數據中的固有多樣性和多模式，導致研究人員不得不將自己局限于較小的 [34] 或高度策劃的數據集，以確保單峰性，從而簡化建模過程。

近年來，深度生成模型（Deep Generative Models, DGM）在圖像 [35] 和文本生成 [36] 中的成功展示了其捕捉高度多模態數據分布的能力。近年來，這些表現力強的模型在機器人領域的模仿學習應用中引起了廣泛關注（見圖2）。例如，擴散模型（Diffusion Models, DM）[37], [35] 已被有效用于學習高維軌跡分布 [38], [7], [8]；基于語言和圖像的策略使用類似GPT的模型來表示動作空間中的類別分布 [39]；變分自編碼器（Variational Autoencoders, VAE）[40] 被應用于生成任意物體的六自由度（6-DoF）抓取姿態 [5]。本文統一且全面地回顧了機器人領域中為捕捉數據固有的多模態性而從演示中學習 DGM 的各種方法。盡管其中一些模型借鑒了其他機器學習領域的成果，如 DM，但我們也重點介紹了在機器人動作分布表示中特別有影響力的方法，如動作價值圖（Action Value Maps）[41], [42], [43]。本綜述主要關注使用離線數據的方法，即不收集額外的在線或交互數據，以及離線監督，即除了專家動作外不使用額外的監督。盡管在從視覺到文本生成的各個領域中，從離線數據集中學習 DGM 已被廣泛研究，但機器人領域有其固有的挑戰，需要謹慎的設計選擇。為了激發機器人應用中的具體設計選擇，我們將在 I-A 節中介紹從演示中學習策略的基本挑戰。我們將綜述分為六個部分（見圖1）： 在第二部分中，我們將形式化問題并提供整個綜述中使用的術語。 在第三部分中，我們介紹了機器人領域中最常用的 DGM，展示了它們的固有屬性，簡要列出了應用這些方法的各種工作，并介紹了每種模型的訓練和采樣算法。 在第四部分中，我們展示了深度生成模型應用的不同類型，重點介紹了模型生成的數據類型以及考慮的條件變量類型。 在第五部分中，我們提出了一系列設計和算法歸納偏差，以提高從學習模型的數據分布中的泛化能力。我們如何保證在上下文觀察中生成有用的動作，而這些動作在演示中沒有出現？我們提出的選項包括生成模型的模塊化組合、從觀察中提取有用特征以及利用觀察與動作之間的對稱性。 最后，在第六部分中，我們強調了該領域當前的研究挑戰，并提出了未來的研究方向。

A. 從離線演示中學習的挑戰從離線演示中學習機器人策略面臨著若干挑戰。盡管其中許多挑戰（例如演示中的多模態）與其他研究領域（如圖像生成或文本生成）共享，但在機器人領域中，我們還需要考慮一些特有的挑戰。以下是從離線數據中學習機器人策略的主要挑戰。演示的多樣性。主要挑戰之一是演示本身的固有變化。不同的演示者可能具有不同的技能水平、偏好和完成相同任務的策略，導致數據集中包含廣泛的方法。單峰分布缺乏表達能力，無法捕捉演示中的這種變化，從而導致性能不佳。DGM 是解決這一挑戰的有前景的方法。通過捕捉復雜的多模態分布，這些模型可以學習表示演示中展現的不同策略和行為。異質的動作和狀態空間。與數據空間定義明確的計算機視覺不同，在機器人領域中，沒有單一的狀態-動作空間。機器人動作可以包括從力矩命令到期望的目標位置或期望的軌跡。此外，機器人行為可以在機器人的配置空間和任務空間中建模。這種多樣性導致了異質的數據集和用于學習機器人策略的異質解決方案。部分可觀察的演示。當人類執行演示時，其動作不僅基于可觀察到的元素，還受到任務知識和觀察歷史影響的內部狀態驅動。此外，人類可以整合環境中的信息，這些信息可能無法被機器人的傳感器輕易獲得或觀察到，例如人類視覺捕捉到的外圍細節但被機器人的攝像頭遺漏。這種不匹配往往導致演示僅部分代表任務的上下文，從而導致機器人學習的策略中出現歧義。關于部分可觀測性的問題已經在文獻中得到了廣泛研究 [44]。一種常見的實際方法是將觀察歷史編碼為上下文，而不是單一的觀察，允許模型提取內部狀態，從而減少歧義 [45]。時間依賴性和長視距規劃。機器人任務通常涉及序列決策，其中動作在時間上是相互關聯的。這種序列性可能導致錯誤的累積，將機器人引向訓練演示中未遇到的情況。為解決此問題，已有多種方法提出。一些工作建議學習短視距技能，然后與高層規劃器連接。另一方向是，許多工作 [38], [13] 提出學習生成動作軌跡而不是單步動作的策略，從而減少序列累積錯誤。此外，其他選項包括在生成演示時注入噪聲 [46] 或交互式擴展數據集 [11]。訓練和評估目標之間的不匹配。從離線演示中學習通常被定義為密度估計問題。學習的模型經過訓練以生成類似于訓練數據集的樣本。然而，學習的模型用于解決特定任務，最大化的度量是任務成功率。這種訓練目標與評估目標之間的不匹配可能導致在機器人用于解決特定任務時表現不佳。解決這一問題的一個可能方向是將行為克隆階段與后續強化學習微調相結合 [47]。分布偏移和泛化。從離線演示中學習的一個基本挑戰是演示數據與實際場景之間的分布偏移，在這些場景中，學習的策略被部署。演示通常在受控環境或特定上下文中收集，但機器人必須在演示未覆蓋的潛在新環境中運行。這種不匹配可能導致泛化失敗和性能下降。解決這一挑戰需要能夠從給定演示中推斷并適應新環境的技術。我們將在第五部分中探討提高機器人應用中泛化能力的不同方法。

B. 相關綜述

LfD 領域有著悠久的歷史，已有多篇綜述對此進行了探討。在基于深度學習的方法成為主流之前，已有幾篇綜述 [50], [51], [52], [53] 探討了模仿學習的基本問題。這些綜述回答了諸如我們應該如何獲取數據？我們應該學習什么模型？或我們應該如何學習策略？等問題。近年來，一些最新的研究 [54], [3], [55] 更新了基于深度學習模型在 LfD 問題中的應用的綜述。特別是 [3] 從算法的角度審視了模仿學習，使得不同算法的比較可以從信息論的角度進行。機器人學習社區的當前階段，隨著大規模機器人演示數據集的增加（無論是在模擬中還是在現實中），模仿學習方法的重要性日益增加，以及廉價機器人硬件的日益普及，當前適時提供一個涵蓋過去幾年研究進展并專注于該領域當前面臨挑戰（多模態性、泛化、異質數據集等）的綜述。最近，幾篇綜述 [56], [57] 探討了學習機器人基礎模型的問題，主要集中在將互聯網規模的視覺和語言基礎模型整合到機器人問題中。盡管將視覺-語言基礎模型應用于機器人問題具有潛力，但我們的綜述關注于不同的問題。本綜述的興趣在于探索如何直接從具體現體機器人的數據中學習策略（部分原因是大規模數據集的日益豐富 [24], [58]），而不是將視覺-語言模型適應于機器人。

受大型語言模型（LLM）快速發展的啟發，LLM代理已發展到能夠執行復雜任務的階段。LLM代理現在廣泛應用于各個領域，處理大量數據以與人類互動并執行任務。LLM代理的廣泛應用展示了其顯著的商業價值；然而，這也暴露了其安全和隱私漏洞。在當前階段，非常需要對LLM代理的安全和隱私進行全面研究。本次調查旨在全面概述LLM代理面臨的新出現的隱私和安全問題。我們首先介紹LLM代理的基本知識，然后對威脅進行分類和分析。接著，我們討論這些威脅對人類、環境和其他代理的影響。隨后，我們回顧現有的防御策略，最后探討未來的發展趨勢。此外，調查結合了多樣的案例研究，以便更易于理解。通過強調這些關鍵的安全和隱私問題，本次調查旨在激發未來研究，以增強LLM代理的安全性和隱私性，從而在未來應用中提高其可靠性和可信度。

受到大型語言模型（LLM）快速發展的啟發，LLM智能體已經發展到能夠執行復雜任務的階段。LLM智能體基于GPT-4 [67]、Claude 3 [6] 和Llama 3 [5] 等大型語言模型，利用其所訓練的海量文本數據執行各種任務，從自然語言理解和生成到更復雜的決策制定、問題解決以及以人類方式與用戶互動等[95]。LLM智能體在眾多應用中都能見到，包括虛擬助手、客戶服務機器人和教育工具，因為它們能夠以高級水平理解和生成人類語言[22, 99, 115]。LLM智能體的重要性在于其能夠通過自動化需要人類理解和互動的任務，轉變各個行業。它們能夠提高生產力、改善用戶體驗并提供個性化的幫助。此外，它們從海量數據中學習的能力使得它們能夠不斷改進和適應新任務，成為在快速發展的技術環境中的多功能工具[107]。

為了直觀地展示LLM智能體如何整合到實際場景中，可以參考圖1所示的例子。此圖展示了一個像素化的虛擬城鎮來模擬LLM智能體應用。該城鎮包括現實生活中的聚集場所，如商店、辦公室、餐館、博物館和公園。每個LLM智能體充當獨立的居民，扮演各種角色并執行不同的功能，行為與社區中的真實人類非常相似。這些智能體可以手動控制以與特定角色互動并完成任務，或自主運行，按照自己的計劃行事并通過在虛擬社區中的互動獲取新知識。

LLM智能體的部署由于其在各個領域的廣泛應用，導致其用戶基礎廣泛且具有高商業價值。鑒于LLM智能體仍處于早期階段，其顯著的商業和應用價值使其成為攻擊者的有吸引力的目標。然而，由于LLM智能體建立在LLM之上，它們容易受到針對LLM的攻擊。例如，越獄攻擊可以繞過LLM的安全和審查功能，生成有爭議的回應。這種威脅被LLM智能體繼承，使得攻擊者能夠采用各種方法對智能體執行越獄攻擊。然而，與靜態LLM不同，LLM智能體具有動態能力，其即時響應可以影響未來的決策和行動，從而帶來更廣泛的風險。此外，LLM智能體的獨特功能，例如在任務執行過程中思考和利用工具的能力，使其容易受到針對智能體的特定攻擊。例如，當LLM智能體使用外部工具時，攻擊者可以操縱這些工具的功能以泄露用戶隱私或執行惡意代碼。根據智能體的應用領域，此類攻擊可能對物理安全、金融安全或整體系統完整性構成嚴重威脅。

本文將LLM智能體面臨的安全威脅分為繼承自LLM的攻擊和特定于智能體的獨特威脅。繼承自LLM的威脅可以進一步分為技術漏洞和故意的惡意攻擊。技術漏洞包括幻覺、災難性遺忘和誤解等問題[107]，這些問題源于初始模型的創建并受到模型結構的影響。這些漏洞可能導致用戶在長時間使用LLM智能體時觀察到錯誤輸出，影響用戶信任和決策過程。此外，技術漏洞還可能為惡意攻擊提供機會。目前，針對LLM的惡意攻擊包括數據盜竊和響應篡改，例如數據提取攻擊和一系列調優的指令攻擊[119]。

針對LLM智能體的特定威脅，我們受到了LLM智能體工作流程的啟發，該流程包括智能體的思考、行動和感知[40]。這些威脅可以分為知識中毒、功能操縱和輸出操縱。知識中毒涉及污染LLM智能體的訓練數據和知識庫，導致創建者故意加入惡意數據。這可以輕易地通過有害信息欺騙用戶，甚至引導他們走向惡意行為。輸出操縱干擾智能體的思考和感知階段的內容，影響最終輸出。這可以導致用戶接收到經過精心設計的偏見或欺騙信息，從而誤導他們。功能操縱利用LLM智能體使用的接口和工具執行未經授權的操作，如第三方數據盜竊或執行惡意代碼。

LLM智能體的研究仍處于初期階段。當前的研究主要集中在針對LLM的攻擊上，而缺乏全面討論智能體特定的安全和隱私問題的綜述，這些問題呈現出更復雜的場景。進行本次調查的動機是提供LLM智能體相關隱私和安全問題的全面概述，幫助研究人員理解和緩解相關威脅。

本次調查旨在：

• 強調當前威脅：識別并分類LLM智能體面臨的新興威脅。
• 探討現實世界影響：通過考慮涉及人類、環境和其他智能體的現實場景，詳細說明這些威脅的影響。
• 分析緩解策略：討論現有的緩解策略，確保LLM智能體的負責任開發和部署。
• 指導未來研究：作為未來研究工作的基礎，旨在增強更先進架構和應用的LLM智能體的隱私和安全。 通過解決這些方面，本次調查旨在提供對LLM智能體所面臨的獨特挑戰的深入理解，并促進更安全和可靠的通用人工智能（AGI）系統的發展。

本文的結構如下：第二部分將深入探討LLM智能體的基本方面，包括其定義、結構和能力。第三部分將識別并分類LLM智能體面臨的新興威脅，討論從基礎LLM繼承的威脅和特定于智能體的獨特威脅，并為每個類別提供詳細的示例和場景。第四部分將詳細說明這些威脅的現實世界影響，探討這些威脅如何影響用戶、環境和其他智能體，突出未減輕風險的潛在后果。第五部分將回顧現有的緩解策略和解決方案，以應對上述威脅。第六部分將討論當前研究的空白并提出未來的趨勢。第七部分將總結全文。

圖機器學習（Graph ML）近年來取得了重大進展。由于其在處理圖結構數據方面的顯著能力，圖機器學習技術已被廣泛應用于各種領域，包括金融、醫療和交通等關鍵領域。盡管這些技術帶來了社會效益，但近期研究突顯了廣泛使用圖機器學習模型所帶來的重大安全隱患。這些模型缺乏以安全為中心的設計，可能會產生不可靠的預測、表現出較差的泛化能力，并危及數據機密性。在金融欺詐檢測等高風險場景中，這些漏洞可能會危及個人和社會。因此，優先開發安全導向的圖機器學習模型以減輕這些風險并增強公眾對其應用的信心是至關重要的。在這篇綜述論文中，我們探討了增強圖機器學習安全性的三個關鍵方面：可靠性、泛化能力和機密性。我們將對每個方面的威脅進行分類和分析，分為模型威脅、數據威脅和攻擊威脅三個類別。這一新穎的分類法指導了我們對有效保護策略的審查。我們的系統審查為未來開發實用的、安全導向的圖機器學習模型奠定了基礎。此外，我們強調了安全圖機器學習實踐的重要性，并提出了進一步研究這一關鍵領域的有前景方向。 近年來，圖結構數據在包括藥物發現[15]、交通預測[76]和疾病診斷[96]等廣泛的現實應用中變得越來越普遍。在這些領域中，圖機器學習（Graph ML）在建模這些數據和執行基于圖的預測任務中起著關鍵作用[83],[187]。然而，隨著圖機器學習應用范圍的擴大，人們對其潛在安全問題的擔憂也在加劇[37]。如果這些問題得不到充分解決，可能會產生嚴重影響，尤其是在關鍵決策場景中[203]。例如，在金融欺詐檢測中，圖機器學習模型會分析交易網絡，其中節點代表用戶，邊表示交易[151]。數據分布的變化可能會錯誤地將合法交易標記為欺詐[37]。此外，這些模型還可能對用戶隱私構成風險[124]。這些安全問題都會嚴重削弱人們對金融系統的信任。

盡管社會關注日益增加[147],[183]，但對圖機器學習（Graph ML）安全性的全面理解仍在形成中。這種缺乏理解阻礙了研究人員和從業者系統地識別和解決與圖機器學習方法相關的基本安全問題。為了縮小這一差距，我們的綜述旨在解決兩個關鍵問題：(1) 圖機器學習安全問題涉及的主要方面是什么？(2) 在每個方面可能出現哪些具體威脅，以及如何有效應對這些威脅？為了解決第一個問題，我們引入了一種新穎的分類法，有助于對圖機器學習中的安全問題進行全面分類。為了解答第二個問題，我們對在我們分類法中確定的每個方面的潛在威脅及其相應的防護措施進行了系統回顧。

我們現在深入探討第一個問題，確定圖機器學習（Graph ML）安全問題的三個關鍵方面：可靠性、泛化能力和機密性。我們分別討論每個方面如下：

(1) 可靠性：圖機器學習模型經常面臨低質量訓練數據的挑戰，這可能源于數據噪聲[47], [188]或惡意攻擊[13], [49]。在此，我們將可靠性定義為模型即使在面對劣質輸入時也能始終產生高質量輸出的能力。可靠性在圖機器學習任務中高質量訓練數據稀缺時尤為關鍵[6], [11]。例如，在藥物發現中，圖機器學習模型預測新化合物的化學性質，并以分子圖的形式建模[91]。這包括評估毒性以排除有嚴重副作用的藥物[115]。由于實驗驗證成本高昂，高質量的訓練數據標簽難以獲得。因此，在面對低質量數據時保持模型的可靠性對于確保準確預測至關重要[75]。 (2) 泛化能力：泛化能力指圖機器學習模型在各種場景中，尤其是在基礎數據分布發生變化時，仍能表現良好的能力[91]。這在新出現的未見過的圖數據頻繁出現的環境中特別重要[175]。例如，在疫情預防中，準確預測未來感染病例對于有效分配醫療資源至關重要[198]。圖機器學習廣泛用于利用不同地理區域（如縣、市、州或國家）之間的遷移路徑連接的拓撲數據來預測確診病例[145]。然而，疫情通常會在不同地區同步爆發，導致圖機器學習模型的訓練和推理數據來自不同區域[128]。這些模型缺乏泛化能力可能導致預測的感染率與實際情況顯著偏離，可能導致醫療資源的錯誤分配。 (3) 機密性：這一方面側重于保護圖機器學習模型的完整性和其處理的敏感數據的隱私[35], [43]。機密性在處理個人數據的圖機器學習應用中特別重要[203]。例如，圖機器學習廣泛用于管理電子健康記錄（EHR），用于疾病診斷和治療預測等任務[107]。在這些應用中，各種信息（如患者姓名和診斷結果）被互相連接形成異構圖[103]。然而，圖機器學習中的機密性面臨的一個重大挑戰是消息傳遞機制的廣泛使用，這促進了節點之間的信息流動[9], [37], [140]。這個過程可能會無意中讓敏感數據到達惡意節點，導致未經授權實體可能泄露私人信息，從而危及患者隱私[54]。 我們接著通過識別三種類型的威脅來解決第二個問題，這些威脅會損害圖機器學習的安全性，適用于之前討論的所有方面。具體來說，威脅包括：(1) 模型威脅，源于為圖結構設計的固有學習機制，如大多數圖機器學習模型中普遍存在的消息傳遞；(2) 數據威脅，源于圖拓撲中節點之間的復雜相互關系；(3) 攻擊威脅，因圖機器學習模型在面對對抗性攻擊時的脆弱性而發生。在本綜述中，我們旨在全面理解每種威脅類型的起源，并系統概述當前的防護技術以減輕這些風險。 貢獻：在本綜述中，我們對圖機器學習中的安全問題進行了全面調查，并以結構化框架組織了圖機器學習安全的關鍵方面（如圖1所示）。此外，我們概述了每個方面的三種安全威脅，并深入探討了在圖機器學習背景下解決這些問題的具體防護技術。總之，我們的工作對研究社區做出了三項重要貢獻。

圖機器學習安全性的新分類法：我們引入了一種新的分類法來分類圖機器學習中的安全問題，詳細說明了三個核心方面：可靠性、泛化能力和機密性。

威脅與防護措施的全面概述：我們識別了所有安全方面共有的三種不同類型的威脅。在此基礎上，我們進一步探討了針對每種特定威脅的防護技術。

圖機器學習安全性的未來研究潛力：我們探討了在圖機器學習領域提升安全性方面的未解決挑戰和新興機會，旨在激發未來的研究項目。

與其他綜述的比較：已有一些綜述調查了圖機器學習的不同類型的安全問題及其對策[61], [80], [91], [147], [167], [182], [210]。然而，這些綜述通常缺乏對圖機器學習安全性的全面理解。其他相關綜述則側重于一個不同但相關的話題：可信度[37], [203]。大多數這些研究主要關注對抗性攻擊，而通常忽視了專門針對圖機器學習和圖數據的安全問題。與上述工作不同，在本綜述中，我們不僅借助新提出的分類法系統回顧了圖機器學習的更廣泛的安全概念，還詳細闡述了不同類型的威脅及其適當的防護技術。我們在表1中提供了詳細的差異比較。

由于圖數據的復雜性，獲取高質量的訓練數據是一個重大挑戰[47], [49]。當模型在質量較差的數據上訓練時，其性能可能會受到嚴重影響[188]。我們將可靠性定義為模型即使在低質量數據上訓練時也能保持一致性能的能力。缺乏可靠性會使模型面臨噪聲或被篡改數據帶來的風險，可能導致錯誤預測。在決策過程中，這個問題尤為關鍵，因為這種不準確可能導致不可接受的結果[42], [67]。例如，在金融欺詐檢測中，準確識別欺詐交易至關重要。缺乏可靠性的模型可能無法檢測到欺詐活動，或錯誤地將合法交易標記為欺詐，從而導致財務損失。因此，增強圖機器學習模型的可靠性對于確保其在關鍵應用中的安全性和可信賴性至關重要，最終減少錯誤結果的風險[120], [126]。

圖機器學習的可靠性可能從多個角度受到影響。首先，模型在處理不確定數據方面的固有限制可能導致在不熟悉情況下的過度自信預測[65]。與圖像或文本數據不同，圖數據涉及節點之間的復雜交互，這些連接中的不確定性會影響模型預測[226]。其次，訓練數據中的異常情況，例如顯著偏離典型分布的節點和圖，對模型性能和可靠性構成重大威脅[6], [47]。由于圖機器學習模型從相鄰節點聚合信息，異常節點可能影響整個圖中學習到的表示，進而影響整體模型可靠性。第三，毒化攻擊涉及將惡意構造的數據插入訓練集以破壞模型的可靠性[93]。在圖拓撲中，攻擊者可以操縱少數節點以不利地影響其他遠處節點，使這些攻擊特別難以檢測[80]。

大多數現有的圖機器學習模型是基于推理時的數據分布與訓練時相同的假設而開發的[91]。然而，由于圖數據結構的復雜性，這一假設在實踐中常常不成立。因此，泛化能力——即在不同數據分布中保持模型性能一致的能力——對于圖機器學習模型的安全部署至關重要。例如，在藥物發現中，圖機器學習模型通常負責預測新藥的毒性，這些新藥可能與訓練數據分布顯著不同。未能有效地泛化到這些新藥會導致不可靠的預測，從而可能危及醫療治療的開發[30], [63]。

盡管泛化能力對于確保圖機器學習模型的安全性至關重要，但實現一致模型泛化能力的過程中存在各種威脅。首先，模型本身的威脅源于其設計中的固有限制，導致模型可能無法有效適應訓練過程中遇到的目標（未標記）分布[111], [222]。當訓練涉及來自不同分布的數據時，設計增強泛化能力的模型對于圖機器學習模型的廣泛應用至關重要[110]。其次，數據威脅源于在訓練過程中未曾見過的數據分布，可能會削弱圖機器學習模型在新場景中的表現[92]。由于在訓練過程中無法觀測到目標分布，圖機器學習模型在有限數據的情況下提升泛化能力變得具有挑戰性。第三，規避攻擊對圖機器學習模型的泛化能力構成重大威脅。這些攻擊在推理過程中故意操縱輸入數據以引發預測錯誤并損害模型安全性[52], [98]。這些威脅從多個角度損害模型的泛化能力，因此需要量身定制的防護技術來解決這些問題。下文中，我們介紹了一些增強圖機器學習模型泛化能力的策略。

在圖機器學習（Graph ML）中，保密性包括對數據、模型預測和模型本身的敏感信息的保護【122】。這種保護對于確保用戶隱私和滿足法律合規性要求至關重要【183】。例如，在使用圖機器學習模型進行社交網絡用戶分類時，必須防止在訓練和推理階段無意泄露用戶信息【22】。

在這里，我們介紹如圖4所示的三種保密性威脅。首先，模型威脅來源于模型固有的設計缺陷，這些缺陷可能通過模型的預測或架構泄露敏感信息，從而引發隱私問題【169】。這一問題在基于圖的模型中特別明顯，因為消息傳遞機制可能無意中暴露來自鄰近節點的敏感信息【22】【41】【141】。其次，當訓練數據分布在多個源時，數據威脅會出現，可能導致敏感信息的無意曝光【70】。鑒于圖數據的結構性，確保每個數據源的保密性是一項重大挑戰【5】【87】。第三，攻擊威脅直接通過未經授權的模型克隆或功能克隆危害模型的保密性【185】。這不僅侵犯了隱私，還違反了知識產權，因為被復制的模型可能會在未經許可的情況下被使用或出售【43】【166】。

結論

在這篇綜述中，我們對快速發展的圖機器學習（Graph ML）領域的安全性進行了全面回顧。由于安全問題日益加劇，這一主題正受到越來越多的關注。我們對Graph ML應用中的三個關鍵安全方面進行了結構化分析：可靠性、可推廣性和保密性。為了增強安全性，我們將每個方面的威脅分類為三種主要類型：數據威脅、模型威脅和攻擊威脅，每種威脅都對Graph ML模型的安全性提出了獨特的挑戰。對于每個識別出的威脅，我們詳細介紹了具體的解決方案，提供了應對這些安全挑戰的研究努力的詳盡匯編。我們的討論將這些見解綜合成一個統一的框架，旨在加深對Graph ML安全性考慮的理解，并引導未來在這一重要領域的研究。此外，我們還強調了實際應用并提出了未來研究的方向。通過這篇綜述，我們的目標不僅是總結現有的Graph ML安全研究，還希望鼓勵進一步的研究，以確保Graph ML技術能夠安全地開發和實施。

大型語言模型（LLMs）的迅速發展為在多種應用領域利用人工智能提供了新機遇，包括網絡安全領域。隨著網絡威脅的數量和復雜性不斷增長，迫切需要能夠自動檢測漏洞、分析惡意軟件并響應攻擊的智能系統。在這項綜述中，我們對LLMs在網絡安全（LLM4Security）中的應用進行了全面的文獻回顧。通過全面收集超過30,000篇相關論文，并系統分析來自頂級安全和軟件工程領域的127篇論文，我們旨在提供一個關于LLMs如何被用于解決網絡安全領域多樣化問題的整體視角。

通過我們的分析，我們識別出幾個關鍵發現。首先，我們觀察到LLMs被應用于網絡安全的廣泛任務中，包括漏洞檢測、惡意軟件分析、網絡入侵檢測和釣魚檢測。其次，我們發現這些任務中用于訓練和評估LLMs的數據集往往在大小和多樣性上有限，這突顯了需要更全面和具有代表性的數據集的必要性。第三，我們識別出幾種將LLMs適應特定網絡安全領域的有希望的技術，如微調、遷移學習和領域特定的預訓練。最后，我們討論了LLM4Security未來研究的主要挑戰和機遇，包括需要更多可解釋和可說明的模型、解決數據隱私和安全問題的重要性，以及利用LLMs進行主動防御和威脅狩獵的潛力。

總體而言，我們的綜述提供了LLM4Security當前最先進狀態的全面概述，并識別了未來研究的幾個有希望的方向。我們相信，這項綜述中呈現的見解和發現將有助于增加LLMs在網絡安全應用方面的知識體系，并為在該領域工作的研究人員和實踐者提供寶貴的指導。

1 引言

在過去十年中，自然語言處理（NLP）的快速發展主要得益于大型語言模型（LLMs）的發展。通過利用變換器架構[205]和在大量文本數據上的訓練，像BERT[49]、GPT-3,4[147, 149]、PaLM[40]、Claude[15]和Chinchilla[78]這樣的LLMs在廣泛的NLP任務中取得了顯著的表現，包括語言理解、生成和推理。這些基礎模型學習了豐富的語言表征，可以通過最小的微調來適應下游應用，實現了如開放域問答[1]、對話系統[151, 230]和程序合成[5]等領域的突破。特別是在網絡安全這一重要領域，LLMs開始顯示出潛力。隨著網絡威脅的數量和復雜性的增長，迫切需要智能系統自動檢測漏洞、分析惡意軟件并響應攻擊[19, 35, 137]。近期的研究已經探索了LLMs在廣泛的網絡安全任務中的應用，即此后稱為LLM4Security。在軟件安全領域，LLMs已被用于從自然語言描述和源代碼中檢測漏洞，以及生成安全相關的代碼，如補丁和漏洞利用代碼。這些模型在識別易受攻擊的代碼片段和為常見漏洞類型生成有效補丁方面表現出高精度[29, 39, 64]。在代碼級分析之外，LLMs還被應用于理解和分析更高層次的安全文檔，如安全政策和隱私政策，幫助分類文件和檢測潛在違規[74, 134]。在網絡安全領域，LLMs已展示出從網絡流量數據中檢測和分類各種類型攻擊的能力，包括DDoS攻擊、端口掃描和僵尸網絡流量[9, 10, 139]。惡意軟件分析是LLMs顯示出前景的另一個關鍵領域，模型被用于基于文本分析報告和行為描述對惡意軟件家族進行分類，以及檢測惡意域名和URLs[22, 122]。LLMs還在社交工程領域被用于通過分析電子郵件內容和識別欺騙性語言模式來檢測和防御釣魚攻擊[89, 171]。此外，研究人員正在探索使用LLMs來增強安全系統本身的魯棒性和復原力，通過生成對抗性樣本來測試安全分類器的魯棒性，并模擬現實攻擊場景以用于培訓和評估[30, 178, 197]。這些多樣的應用展示了LLMs在通過處理和提取大量非結構化文本的洞見、從龐大數據集中學習模式以及生成用于測試和培訓的相關示例方面，提高網絡安全實踐的效率和效果的顯著潛力。

盡管已有幾項寶貴的努力在文獻中對LLM4Security進行了調查[42, 50, 140, 229]，鑒于這一方向工作的日益增多，這些研究通常具有更加聚焦的范圍。許多現有的綜述主要集中于審查LLMs可以應用的任務類型，而沒有提供關于這些任務的其他關鍵方面的廣泛分析，如所使用的數據和領域特定技術[145, 231]，如表1所示。例如，Divakaran等人[50]僅分析了LLMs在各種安全任務中的前景和挑戰，分別討論了每個任務的特點。然而，它缺乏對這些安全任務的要求與數據之間的聯系以及LLMs在領域特定技術中的應用的洞察。 為了解決這些限制并提供對LLM4Security最新研究的深入了解，我們進行了一項系統而廣泛的文獻調查。通過全面收集38,112篇相關論文并系統分析來自頂級安全和軟件工程領域的127篇論文，我們的調查旨在提供一個關于LLMs如何被用于解決網絡安全領域多樣化問題的整體視角。除了識別LLMs正在使用的任務類型外，我們還檢查了每種情況中使用的具體數據集、預處理技術和領域適應方法。這使我們能夠提供不同方法的優勢和限制的更細致分析，并識別未來研究最有前景的方向。具體來說，我們專注于回答四個關鍵研究問題（RQs）：

**? RQ1：哪些LLMs被用于支持安全任務？ ** **? RQ2：哪些類型的安全任務已通過基于LLM的方法得到了促進？ ** **? RQ3：使用了哪些領域規范技術來適應LLMs到安全任務？ ** ? RQ4：在將LLMs應用到安全任務時，數據收集和預處理有何不同？

對于每個研究問題，我們提供了對調查論文中使用的方法、數據集和評估協議的細致分析。我們識別常見主題并按不同維度對論文進行分類，以提供景觀的結構化概覽。此外，我們強調當前方法的主要挑戰和限制，以指導未來的研究彌補這些差距。我們相信我們的調查可以為在NLP、AI和網絡安全交叉領域工作的研究人員提供寶貴的資源。此項工作的貢獻總結如下： ?** 我們進行了一項全面的系統性文獻綜述（SLR），以調查LLM4Security的最新研究，提供了當前景觀的映射**。我們的搜索涵蓋了超過38,112篇論文，通過進一步基于質量和相關性的篩選，我們保留了127篇論文以供后續詳細審查。 ?** 我們制定了四個關鍵RQs**，以了解LLM在安全中的各個不同維度的應用，包括使用的LLM類型、得到促進的安全任務、領域規范技術以及數據收集和預處理的差異。 ? 我們分析了127篇選定論文在會議地點和時間上的分布，揭示了特別是在2022-2023年LLM4Security研究的迅速增長，并對主流LLMs在安全領域的使用特征進行了分類。 調查按以下框架進行。我們在第2節概述了我們的調查方法，包括搜索策略、包含/排除標準和數據提取過程。第3至6節可以找到對四個研究問題的分析和發現。第7至8節探討了我們結果的約束和意義，同時也識別了未來研究的有前景的方向。最后，第9節總結了本文。

在這項研究中，我們進行了一項系統性文獻綜述（SLR），以調查LLM4Security的最新研究。這項綜述旨在提供一個全面的景觀映射，識別LLMs如何被部署以增強網絡安全措施。根據既定的SLR指南[98, 163]，我們的方法論被結構化為三個關鍵階段，如圖2所示：規劃（§2.1）、執行（§2.2, §2.3）和報告（§2.4），每個階段都被精心設計以確保對這一新興領域的研究狀態進行全面覆蓋和深入分析。

規劃 最初，我們制定了精確的研究問題，以理解LLMs如何在安全任務中被利用、所得益處及相關挑戰。隨后，我們制定了一個詳細的協議，描述了我們的搜索策略，包括具體的數據庫和關鍵詞、包含和排除標準以及數據提取。每位合作者都審查了這一協議，以增強其穩健性并與我們的研究目標保持一致。 執行 我們精心設計了文獻搜索，以確保全面性，采用了手動和自動策略，跨越多個數據庫，涵蓋了廣泛的研究。識別的每項研究都經歷了嚴格的篩選過程，最初基于標題和摘要，隨后對全文進行徹底審查，以確保符合我們預定義的標準。為了防止忽視相關論文，我們還對收集的論文進行了前向和后向滾動式引用搜索。 報告 我們通過結構化的敘述呈現我們的發現，輔以流程圖和表格等視覺輔助工具，提供了現有文獻的清晰和全面概覽。討論深入探討了我們的發現的含義，解決了LLMs革新網絡安全實踐的潛力，并識別了需要進一步調查的空白。

隨著大型語言模型（LLMs）在編寫類似人類的文本方面不斷進步，它們傾向于“幻覺”——生成看似事實卻無根據的內容的傾向仍然是一個關鍵挑戰。幻覺問題可以說是將這些強大的LLMs安全部署到影響人們生活的實際生產系統中的最大障礙。向LLMs在實際設置中廣泛采用的旅程嚴重依賴于解決和緩解幻覺。與專注于有限任務的傳統AI系統不同，LLMs在訓練期間已經接觸了大量的在線文本數據。雖然這使它們能夠展現出令人印象深刻的語言流利度，但這也意味著它們能夠從訓練數據中的偏見中推斷出信息，誤解模糊的提示，或修改信息以表面上與輸入對齊。當我們依賴語言生成能力進行敏感應用時，這變得極其令人擔憂，例如總結醫療記錄、客戶支持對話、財務分析報告和提供錯誤的法律建議。小錯誤可能導致傷害，揭示了LLMs盡管在自我學習方面取得了進步，但實際上缺乏真正的理解。本文提出了一項對超過三十二種旨在緩解LLMs中幻覺的技術的全面綜述。其中值得注意的是檢索增強生成（RAG）（Lewis et al., 2021）、知識檢索（Varshney et al., 2023）、CoNLI（Lei et al., 2023）和CoVe（Dhuliawala et al., 2023）。此外，我們引入了一種詳細的分類法，根據各種參數對這些方法進行分類，如數據集利用、常見任務、反饋機制和檢索器類型。這種分類有助于區分專門設計用于解決LLMs中幻覺問題的多種方法。此外，我們分析了這些技術固有的挑戰和限制，為未來在LLMs領域解決幻覺和相關現象的研究提供了堅實的基礎。

1 引言 大型語言模型（LLMs）中的幻覺涉及到在多個主題上創造事實上錯誤的信息。鑒于LLMs的廣泛領域覆蓋，它們的應用橫跨眾多學術和專業領域。這些包括但不限于學術研究、編程、創意寫作、技術咨詢以及技能獲取的促進。因此，LLMs已成為我們日常生活中不可或缺的組成部分，在提供準確可靠信息方面扮演著關鍵角色。然而，LLMs的一個根本問題是它們傾向于產生關于現實世界主題的錯誤或捏造細節。這種提供錯誤數據的傾向，通常被稱為幻覺，為該領域的研究人員提出了重大挑戰。這導致了像GPT-4等先進模型可能生成不準確或完全沒有根據的引用（Rawte et al., 2023）的情況。這一問題是由于訓練階段的模式生成技術和缺乏實時互聯網更新，從而導致信息輸出中的差異（Ray，2023）。 在當代計算語言學中，緩解幻覺是一個關鍵焦點。研究人員提出了各種策略，包括反饋機制、外部信息檢索和語言模型生成早期細化，來應對這一挑戰。本文通過整合和組織這些不同技術為一個全面的分類法而具有重要意義。本文對于LLMs幻覺領域的貢獻有三方面：

引入了一個系統的分類法，旨在對LLMs的幻覺緩解技術進行分類，包括視覺語言模型（VLMs）。

綜合了這些緩解技術的基本特征，從而指導該領域未來更有結構性的研究努力。

對這些技術固有的局限性和挑戰進行了討論，并提出了潛在的解決方案和未來研究的方向建議。

大型語言模型（LLMs）由于其在語言理解和生成方面的卓越能力，正在成為現代通信網絡不可或缺的一部分。在這些網絡的背景下，由于經常需要使用第三方數據和計算資源，后門攻擊的風險變得非常重要。這樣的策略可能會使網絡中的模型暴露于惡意操縱的訓練數據和處理中，為攻擊者提供了一個機會，將一個隱藏的后門嵌入到模型中，這被稱為后門攻擊。LLMs中的后門攻擊是指在LLMs中嵌入一個隱藏的后門，使模型在良性樣本上正常執行，但在被毒害的樣本上表現下降。在通信網絡中，可靠性和安全性至關重要，這一問題尤為令人擔憂。盡管關于后門攻擊有大量的研究，但在通信網絡中使用的LLMs的背景下，仍缺乏深入的探索，而且目前還沒有關于這種攻擊的系統性綜述。在這次調查中，我們系統地提出了一個LLMs在通信網絡中使用的后門攻擊的分類法，將其分為四個主要類別：輸入觸發、提示觸發、指令觸發和演示觸發攻擊。此外，我們對網絡領域內的基準數據集進行了全面分析。最后，我們確定了潛在的問題和尚未解決的挑戰，為未來增強通信網絡中LLMs的安全性和完整性的研究方向提供了有價值的見解。

//www.zhuanzhi.ai/paper/5a5536928883a6ab3c18866ceeeac87f

圖神經網絡（GNN）在多個領域的復雜任務中已經得到成功的應用，但研究表明其易受到對抗攻擊而導致性能嚴重下降，這種脆弱性影響了包含節點分類、鏈路預測和社團探測在內的所有應用。圖對抗攻擊已經可以高效地實施，這帶來了嚴重的安全隱患和隱私問題，圖對抗防御致力于提高GNN的魯棒性和泛化能力以抵御對抗攻擊。綜述了圖對抗防御算法研究進展，首先，介紹了圖對抗防御的背景和相關概念，并對圖對抗防御研究發展脈絡進行梳理和分析。然后，根據防御算法的不同防御策略將算法分為四類，包括攻擊檢測、對抗訓練、可認證魯棒性以及免疫防御，對每類防御算法原理進行分析總結。在此基礎上，分析了每種防御算法的原理和實現，并從防御策略、目標任務、優缺點和實驗數據等方面對典型算法進行全面的比較。最后，通過對現有圖對抗防御算法全面、系統的分析，對防御算法當前存在的問題及未來發展方向進行了總結和探討，為圖對抗防御進一步的發展提供幫助。

//fcst.ceaj.org/CN/abstract/abstract2978.shtml

深度學習作為人工智能技術的重要組成部分，被廣泛應用于計算機視覺和自然語言處理等領域。盡管深度學習在圖像分類和目標檢測等任務中取得了較好性能，但是對抗攻擊的存在對深度學習模型的安全應用構成了潛在威脅，進而影響了模型的安全性。在簡述對抗樣本的概念及其產生原因的基礎上，分析對抗攻擊的主要攻擊方式及目標，研究具有代表性的經典對抗樣本生成方法。描述對抗樣本的檢測與防御方法，并闡述對抗樣本在不同領域的應用實例。通過對對抗樣本攻擊與防御方法的分析與總結，展望對抗攻擊與防御領域未來的研究方向。

//www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059156