亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

多智能體強化學習（MARL）近年來大受歡迎。雖然已開發出許多方法，但它們大致可分為三大類：集中式訓練和執行（CTE）、分布式執行的集中式訓練（CTDE）以及分布式訓練和執行（DTE）。

CTE 方法假定在訓練和執行期間是集中的（例如，具有快速、自由和完美的通信），并且在執行期間擁有最多的信息。也就是說，每個智能體的行動可以依賴于所有智能體的信息。因此，通過使用具有集中行動和觀測空間的單智能體 RL 方法（在部分可觀測的情況下保持集中的行動觀測歷史），可以實現一種簡單形式的 CTE。CTE 方法有可能優于分散執行方法（因為它們允許集中控制），但可擴展性較差，因為（集中的）行動和觀察空間會隨著智能體數量的增加而呈指數級擴展。CTE 通常只用于合作式 MARL 情況，因為集中控制意味著要協調每個智能體將選擇哪些行動。

CTDE 方法是最常見的方法，因為它們在訓練過程中利用集中信息，同時實現分散執行--在執行過程中只使用該智能體可用的信息。CTDE 是唯一一種需要單獨訓練階段的模式，在訓練階段可以使用任何可用信息（如其他智能體策略、底層狀態）。因此，它們比 CTE 方法更具可擴展性，不需要在執行過程中進行通信，而且通常性能良好。CTDE 最自然地適用于合作情況，但也適用于競爭或混合情況，這取決于假定觀察到哪些信息。

分布式訓練和執行方法所做的假設最少，通常也很容易實現。事實上，只要讓每個智能體分別學習，任何單智能體 RL 方法都可以用于 DTE。當然，這些方法各有利弊，下面將對此進行討論。值得注意的是，如果沒有集中訓練階段（如通過集中模擬器），就需要 DTE，要求所有智能體在沒有事先協調的情況下在在線交互過程中學習。DTE 方法可用于合作、競爭或混合情況。MARL 方法可進一步分為基于價值的方法和策略梯度方法。基于價值的方法（如 Q-learning）學習一個價值函數，然后根據這些價值選擇行動。策略梯度法學習明確的策略表示，并試圖沿著梯度方向改進策略。這兩類方法在 MARL 中都得到了廣泛應用。

本文介紹的是合作 MARL-MARL，其中所有智能體共享一個單一的聯合獎勵。它旨在解釋 CTE、CTDE 和 DTE 設置的設置、基本概念和常用方法。它并不涵蓋合作 MARL 的所有工作，因為該領域相當廣泛。

• 商業和軍事系統簇（SoS）的復雜性已發展到包含先進、多樣和新興技術的程度。

• 要對這些 SoS 及其相關行為進行工程設計，就需要為人類決策提供支持，而這種支持遠遠超出了人類的推理能力。

  • 人工智能和機器學習（AI/ML）可以幫助系統工程（SOSE）系統
    • 在操作中實現 SoS 能力的全部潛力（如速度、規模和準確性）

• 本文

  • 回顧復雜 SoS 的概念和相關的突發行為
  • 介紹AI/ML 的基本原理
  • 通過具體的商業和軍事用例，介紹人工智能/ML 在 SoSE 中支持人類決策的作用

系統簇（SoS）定義：

• 系統集合，其中各組成系統必須：(i) 操作獨立；(ii) 管理獨立；(iii) 物理解耦，且地理分布合理。
• SoS 作為一個整體必須 (iv) 具有進化發展性；(v) 能產生突發行為。

系統簇工程（SoSE）

• 用于管理和指導企業的工程方法
• 將獨立、不同的組織和實體聚集在一起，為它們提供一種與復雜系統問題和挑戰相關的“壓力”感，以及一套解決這些壓力的流程。

自主適應（涌現行為的動態性質）：自修復的行動方案修訂（SCOAR）

提供一種自主方法，用于在任務執行過程中生成和修改任務計劃，有時也稱為行動方案（COA）。

• 為了應對高科技對手的威脅，軍事指揮官需要一個先進的系統簇（SoS）來協調陸、海、空、天和網絡空間等多個戰場領域的作戰。
• 本用例解決的問題是，在任務執行過程中，尤其是在意外事件發生變化（如交戰規則發生變化）時，提供一種自主生成和修訂任務計劃（有時稱為行動方案 (COA)）的方法。

• 修改 COA 流程需要 7 個步驟：
  • 啟動計劃、分析任務、COA 生成（包括 COA 制定、COA 分析和 COA 比較）、COA 批準和制定 COA 計劃命令
• 任務啟動后，如果事件發生意外變化，則沒有機會對 COA 進行調整
  • 交戰規則 (RoE) 發生變化
• SCOAR 可對 COA 進行動態調整
  • 在任務執行過程中持續評估任務事件
  • 應用機器學習，動態調整當前執行的 COA。
    • 資產位置、維護和任務分配--主動監控
    • 如果主要資產出現損耗或無法完成目標，則下一個最佳資產會自動嘗試取而代之
    • 如果沒有可用資產，則將正在執行的 COA 活動換成能實現相同最終狀態的不同 COA 中的活動

通過強化學習提高目標識別和檢測能力 (ORDERLY)

基于人工智能/機器學習的系統，可自主篩選來自系統的大量傳感器數據，并將這些原始數據轉化為可操作的信息。

• 傳感器觀測和收集技術的進步帶來的一個結果就是數據超載。

• 國防部門尋求一種解決方案，將大量的 ISR 數據轉化為可操作的 ISR 信息，同時提高工作人員的能力。

• 此前，推出了 MiData（多因素信息分布式分析技術輔助工具）應用于本地/區域/全球聯合目標識別（MAJOR），以滿足這一需求。

  • 系統（SoS）自主篩選來自多種不同數據源的海量傳感器數據集合，將原始數據轉化為可操作的信息
  • 分析人員利用這些信息及時定位任意地理位置上的物體

• ORDERLY 提供了一種元算法，用于增強 MAJOR 算法的應用，以檢測和分類感興趣的對象。

  • 利用強化學習（RL）的產物，即 RL 在訓練過程中產生的策略。
  • 該策略是可操作的

• 提供一種元算法，在操作中應用 RL 策略，以加強用于檢測和分類感興趣對象的算法的應用。

  • 運行過程：

    • 使用算法進行迭代分析，以檢測感興趣的對象并對其進行分類；從而將搜索范圍縮小到最有可能的區域
    • 算法鏈，根據算法元數據串聯最相關的算法
    • 通過分布式節點進行并行處理，以實現高效的數據分析

  • 訓練過程：

    • 利用獎勵信號的反饋和隨機試錯算法選擇來訓練系統，以制定策略

分布式人工智能聊天使能系統 (D2ACE)

通過強化學習和反壓力進行分布式分類通信 (D2CRaB)

D2CRaB 提供了一種新方法，用于

• 彌合服務質量和路由協議之間的差距，重新路由流量，而不是丟棄數據包，以消除擁塞和相關問題
• 限制控制數據包泛洪漏洞，如性能和安全漏洞（如分布式拒絕服務 (DDoS)

在擁塞節點丟棄數據包后應用反向壓力方案

• 提供高效的自適應控制系統，使資產分配決策能夠動態適應不斷變化的網絡環境

應用強化學習 (RL) 策略，持續調整流量重定向的有效時間 (ET)

• 當 ET 到期時，數據包可恢復原來的路徑

新的背壓方案和強化學習 (RL) 策略可解決流量擁堵問題并保持高效通信

檢測人工智能生成的文本（AIGT）主要有三種方法：水印、統計和文體分析以及使用預訓練的語言模型（LM）。檢測水印需要了解水印提取算法；除此之外，不需要額外的數據。不過，其他兩種廣泛的檢測方法需要數據集，以便學習將 AIGT 與人類撰寫的文本區分開來的模式--最好是由我們希望檢測的人工智能模型生成的數據集，而且數據集的設置要盡可能接近我們在現實世界中遇到這些文本的方式。以往的研究表明，最有效的檢測器是在與測試數據相同的領域（新聞文章、社交媒體帖子、學術論文等）、語言（英語、中文、法語等）和模型設置（解碼算法、提示、輸出長度等）的數據上訓練出來的。同時，研究還表明，為了獲得最大的通用性和魯棒性，必須在各種數據上訓練檢測器，使其不局限于（或者用機器學習的術語來說，是overft）一個非常狹窄的數據樣本范圍。因此，對于任何給定的應用，選擇適當的數據來訓練檢測器以及測試檢測器的準確性都是非常重要的。

在本報告中，列舉了在進行文獻綜述時遇到的數據集。將提供每個數據集的詳細摘要，解釋其創建過程和訪問方法。不過，在此首先介紹一些可用數據集的簡要統計數據。從圖 1.1 中可以看出，絕大多數可用的數據集都是英文版的，還有相當大的一部分是多語種的（包括英語和其他語言）。在自然語言處理（NLP）領域有一個眾所周知的偏見，即大部分研究都集中在英語上，而忽略了其他語言。

圖 1.1： 英語與其他語言數據集的比例。

毫無疑問，用于生成這些數據集的許多大型語言模型（LLMs）至少在一開始只有英語版本，這加劇了這種偏差。不過，隨著越來越多的多語種 LLM 可用，我們預計情況會繼續發生變化。

圖 1.2 顯示了除英語以外的其他語言在數據集中所占的比例。中文在其中所占比例最大，其次是阿拉伯語。在本報告總結的數據集中，許多其他語言只出現在其中的一個或兩個數據集中。

圖 1.2：非英語數據集的語言比例。

如上所述，另一個重要因素是數據集的領域。圖 1.3 顯示了數據集中的不同領域。錯誤信息是最常見的，這無疑是由于我們將重點放在了錯誤信息這一感興趣的領域。我們還注意到，在這個大類別中，還有多個子類別（如假新聞、社交媒體錯誤信息等）。相當大比例的數據集也包含多個域（因此也包含子域）。除了這些類別外，我們還觀察到新聞、學術寫作和論文等領域的受歡迎程度。社交媒體雖然從實用的角度來看非常有趣，但卻沒有得到很好的體現，這可能是由于在短文中檢測 AIGT 的困難，或者在創建數據集時模擬真實的社交媒體帖子的困難。

圖 1.3：不同文本領域數據集的比例。

在圖 1.4 中，探討了數據集規模的分布情況，數據集規模分為四個等級，從小型（少于 50,000 個樣本）到超大型（超過 500,000 個樣本）。這只是一個粗略的描述，因為我們是通過將人類生成的示例和人工智能生成的示例結合起來計算總規模的，而某些數據集可能會偏重于其中的一個或另一個。此外，有些數據集包含來自單一模型或語言的大量樣本，而有些數據集則包含來自大量不同模型的少量樣本。不過，我們看到一個總體趨勢，即由少于 50,000 個樣本組成的數據集，同時也有相當大比例的 “大型 ”數據集（樣本數在 100,000 到 500,000 之間）。雖然有些檢測方法聲稱自己是零樣本或少樣本方法，需要較少的數據樣本來校準算法，但一般認為盡可能多的數據是有益的。

圖 1.4 不同規模數據集的比例 不同規模數據集的比例，其中 “小 ”表示少于 50,000 個樣本，“中 ”表示介于 50,000 至 100,000 個樣本之間，“大 ”表示介于 100,000 至 500,000 個樣本之間，“特大 ”表示超過 500,000 個樣本。.

值得注意的是，除了極少數例外，所有這些數據集都是為研究目的而生成的，而不是從網上收集的。這樣做的原因不言自明：如果我們一開始就沒有一個準確的 AIGT 檢測器，我們就無法確定互聯網上的任何特定文本是由人類還是由人工智能撰寫的。通過自己生成 AIGT，研究人員可以保證它確實是 AIGT，而且通過將人類數據樣本限制在 2020 年之前的文本，他們可以合理地確信這些文本確實是由人類撰寫的。一個值得注意的例外是 TweepFake 數據集（見第 2.5.2 節），該數據集的 AIGT 部分包含了從 Twitter 上已知機器人賬戶中抓取的數據。其他工作也嘗試通過自動技術識別被偽裝成僵尸的賬戶，從而從社交媒體中收集數據（Cui 等，2023 年），但我們在此不包括該工作，因為其方法似乎是相當循環的（通過依賴算法來檢測僵尸賬戶，隨后在數據上訓練的任何系統的實用性都會與初始算法一樣，出現假陽性和假陰性錯誤）。

相反，大多數數據集都是先定義一個人類生成文本的 “parent”或 “anchor”數據集，然后再人工生成平行的 AIGT 文本。例如，在新聞領域，研究人員可以從新聞故事語料庫開始。然后，他們將標題（或標題加首句）輸入 LLM，并要求 LLM 撰寫文章的其余部分。這樣，他們就能為同一組標題生成一個由人類和人工智能撰寫文章的并行數據集。同樣，在問題解答領域，如果研究人員有一個由人類撰寫答案的問題數據集，他們就可以要求人工智能回答同樣的問題。正如數據集摘要中詳細介紹的那樣，有些生成方法包括更具體的風格提示，以模仿人類數據集，如 “以《紐約時報》的風格寫一篇新聞文章”，還有一些數據集包括人工智能對人類文本的轉述以及人類-人工智能協作文本。所有這些生成文本的方法都允許對檢測 AIGT 進行精確、受控的研究實驗；但是，目前還不清楚這些方法在多大程度上代表了互聯網上實際存在的人工生成文本。

另一個需要考慮的相關因素是，檢測器不僅要從訓練數據中學習 AIGT 模型，還要學習人類寫作的模型。因此，舉例來說，如果訓練數據只包括來自專業記者的樣本（許多新聞數據集就是這種情況），我們就不能指望檢測器能準確識別普通非專業人士撰寫的文本。人類生成的樣本缺乏多樣性很可能是造成偏差的原因，例如 AIGT 檢測器會將英語學習者的文章誤判為 AIGT。因此，訓練數據最好能代表來自人工智能和人類的各種文本。

本報告中的大多數數據集要么是公開的，要么是用于研究目的的。

人工智能（AI）是公認的先進技術，可幫助決策過程實現高精度和高準確性。然而，由于依賴于復雜的推理機制，許多人工智能模型通常被評價為黑盒。 人類用戶往往無法理解這些人工智能模型是如何以及為何做出決策的，從而擔心其決策的可接受性。以往的研究表明，由于缺乏人類可理解的相關解釋，最終用戶無法接受這些決策。在此，可解釋人工智能（XAI）研究領域提供了一系列方法，其共同主題是研究人工智能模型如何做出決策或解釋決策。這些解釋方法旨在提高決策支持系統（DSS）的透明度，這在道路安全（RS）和空中交通流量管理（ATFM）等安全關鍵領域尤為重要。盡管決策支持系統在不斷發展，但在安全關鍵型應用中仍處于演變階段。在 XAI 的推動下，透明度的提高已成為使這些系統在實際應用中切實可行、解決可接受性和信任問題的關鍵因素。此外，根據歐盟委員會目前的 “解釋權 ”授權和全球各組織的類似指令，認證機構不太可能批準這些系統用于一般用途。這種將解釋滲透到現有系統中的沖動，為 XAI 與 DSS 相結合的研究鋪平了道路。

為此，本論文主要為 RS 和 ATFM 應用領域開發了可解釋模型。特別是，通過分類和回歸任務，開發了用于評估駕駛員車內心理工作量和駕駛行為的可解釋模型。此外，還提出了一種利用互信息（MI）從車輛和腦電圖（EEG）信號生成混合特征集的新方法。該特征集的使用成功地減少了復雜的腦電圖特征提取計算所需的工作量。互信息（MI）的概念被進一步用于生成人類可理解的心理工作量分類解釋。在 ATFM 領域，本論文開發并展示了一個可解釋的模型，用于從歷史飛行數據中預測航班起飛時間延誤。通過開發和評估這兩個領域的可解釋應用所獲得的啟示強調了進一步研究 XAI 方法的必要性。

在本博士論文的研究中，DSS 的可解釋應用是通過加法特征歸因（AFA）方法開發的，該方法是當前 XAI 研究中流行的一類 XAI 方法。盡管如此，仍有一些文獻斷言，特征歸因方法通常會產生不一致的結果，需要進行合理的評估。然而，關于評估技術的現有文獻仍不成熟，提出了許多建議方法，卻未就其在各種場景中的最佳應用達成標準化共識。為了解決這個問題，我們還根據 XAI 文獻的建議，為 AFA 方法制定了全面的評估標準。建議的評估流程考慮了數據的基本特征，并利用了基于案例推理的加法形式，即 AddCBR。本論文提出了 AddCBR，并將其作為評估流程的補充進行演示，以此作為比較 AFA 方法生成的特征歸因的基線。iXGB 生成決策規則和反事實，以支持 XGBoost 模型的輸出，從而提高其可解釋性。通過功能評估，iXGB 展示了用于解釋任意樹狀集合方法的潛力。

從本質上講，這篇博士論文最初有助于為兩個不同的安全關鍵領域開發經過理想評估的可解釋模型。其目的是提高相應 DSS 的透明度。此外，論文還引入了新穎的方法，以不同的形式生成更易于理解的解釋，超越了現有的方法。論文還展示了 XAI 方法的穩健評估方法。

圖 1.1： 研究課題、研究貢獻和收錄論文的一般映射。

決策輔助系統是國防指揮與控制裝置的基礎，為各級決策過程提供信息。圍繞人工智能（AI）在決策輔助系統中的應用開展的現有研究認為，人工智能是此類系統性能和應用的關鍵驅動因素。然而，很少有研究探討時間因素和中間決策的存在對決策者對此類系統信任度的影響，或者當決策由另一個人輔助時，與由人工智能輔助時的影響有何不同。現有文獻認為，對人工智能的信任不同于其他信任對象。本論文通過探究信任的產生是否更多地取決于信任的對象或來源來探索這一假設。之前的一項實驗研究了當決策支持僅由人工智能系統提供時，時間和中間判斷對信任的影響。本論文對該實驗進行了擴展，同時操縱了決策輔助的來源，即人類，而不僅僅是人工智能。通過加入人與人之間信任的基礎案例，本研究可以就中間判斷和時間對決策輔助系統信任的相對影響進行比較分析。

決策輔助系統是美國防部（DOD）指揮與控制機構的基礎，為各級決策過程提供信息。團隊是美國軍隊組織和完成任務的主要要素。美國防部打算通過將人工智能嵌入戰術、組織和戰略層面的組織結構（團隊），更快地做出更好的決策，從而獲得優勢（國防部，2022、2023a、2023b）。圍繞人工智能（AI）在決策支持系統中應用的現有研究表明，信任是此類系統性能和采用的關鍵驅動因素。

問題在于，人們尚未充分認識到若干設計參數對信任和性能的影響，這可能會延遲或抵消人工智能決策支持系統的優勢（Ashoori & Weisz, 2019; Tangredi & Galdorisi, 2021）。由于這些系統將用于做出關鍵決策，或在動態、混亂的環境中為人類提供支持，因此這些系統必須值得信賴且性能良好（Babo?，2021；人工智能特設委員會，2023）。本研究的目的是，與人工智能（AI）相比，當人類的決策過程得到人類分析師的支持時，研究自變量（中間判斷和時機）對因變量（信任）的影響。這項研究旨在促進人機系統的整合，實現有效的機器/人工智能設計并更快地應用于軍事領域，加強這些機器的穩健性和復原力，并為設計有效的人機系統提供支持理論。

之前的一項調查試圖了解在僅與人工智能輔助決策系統互動時，信任是如何隨著時間的推移而演變的（Humr 等人，2023 年）。本調查比較了當決策支持來源是人類分析師和人工智能分析師時，信任度是如何演變的。通過操縱決策支持的來源，本調查旨在比較人類和人工智能群體的信任度和表現，并分析人類和人工智能群體本身的自變量的影響。

現有文獻的基本假設是，人類決策者對人工智能決策支持系統產生信任的過程不同于決策者對提供相同決策支持的另一個人類產生信任的過程。這一假設在人工智能研究中基本上沒有受到質疑。雖然人工智能系統中信任和性能的關鍵驅動因素須要并將繼續得到確定，但值得確定的是，它們與現有的以人類之間的信任為基本情況的信任模型相比有何不同。這種調查可能會挑戰現有的假設，即人類建立信任的過程因信任對象的不同而不同。按理說，無論是人類還是人工智能，信任決定都是由人類主體做出的，可能會也可能不會受到人類所信任的對象的影響。

現有文獻表明，人類建立信任的過程更多地取決于信任的對象（被信任的人或事物），而不是信任的來源（決定信任的人類）。鑒于人工智能系統的新穎性和細微差別，以及它們與人類的生物和社會稟賦的截然不同，當決策支持、信任對象是人工智能系統而非人類時，決策背景下的信任模型會有所不同這一假設通過了表面有效性的檢驗。然而，本次調查對現有文獻中這一近乎教條的假設提出了質疑，直接探討了人類對人工智能的信任是否與人類對其他人的信任有本質區別。畢竟，人類的信任過程已經發展了數千年，而機器和人工智能的存在不過是進化過程中的一眨眼。

這項研究試圖擴展之前的一項實驗（Humr 等人，2023 年），在這項實驗中，人工智能分析師為人類決策者提供意見。在該研究中，操縱的自變量是中間判斷形式的選擇和分配的時間。因變量是信任評價，其形式是詢問受試者在與決策支持體互動后，未來將某項任務委托給人工智能的可能性有多大。這項研究重復了之前的實驗，但用人類分析師代替了人工智能分析師。其他一切保持不變，以便在人類支持組和人工智能支持組之間進行比較。

這項研究發現，在由人類與人工智能系統支持決策的受試者之間，信任評價在統計學上沒有顯著差異。這些發現與人工智能信任研究領域的傳統假設相沖突，即人工智能信任是一種與一般信任根本不同的現象，因此需要獨立表達。

雖然這些發現并不能概括所有類型的信任、人工智能的使用案例或人類可能與之互動的人工智能類型，但它確實表明，與試圖重新發現人工智能或人工智能系統中可能使其值得信任的方面相比，更努力地識別人類之間信任的關鍵驅動因素對于設計可信任的人工智能可能更有價值。本研究建議未來的實驗探索信任的另一個關鍵驅動因素，即決策支持（人工智能或人類）的性能，并將其對信任的影響與本實驗中使用的自變量進行比較。此外，本研究還建議調查選擇和時機這兩個自變量如何影響決策者的整體決策表現。畢竟，信任是影響績效的一個中介變量，因此，通過直接觀察這些自變量對績效的影響，決策支持系統的設計者就能建立盡可能好的系統。

在人工智能（AI）研究領域，制造人工通用智能（AGI）一直是一個難以實現的目標。AGI 將像人類一樣，有能力接觸新的問題領域，學習相關知識，然后使用推理過程做出決策。雖然人工智能技術已被廣泛應用于各種問題領域，但 AGI 要求人工智能能夠在編程和訓練之外進行推理。本文向制造 AGI 邁出了一小步。它描述了一種人工智能學習和開發推理路徑的機制，以便在先驗未知領域做出決策。它結合了一種經典的人工智能技術--專家系統和一種現代的改良技術--梯度下降訓練專家系統（GDTES），并利用生成式人工智能（GAI）為該系統創建網絡和訓練數據集。這些數據集可以從現有資源中創建，也可以借鑒 GAI 自己的預訓練模型中的知識。GDTES 中的學習過程用于優化人工智能的決策。雖然這種方法并不符合許多人對人工智能所定義的標準，但它提供了某種類似的能力，盡管在使用前需要一個學習過程。

自適應多域人工智能技術

本節介紹并描述 AMAIT 的設計，如圖 3 所示。首先，將提供一個概覽。然后，第 3.1 至 3.5 小節將更詳細地介紹 AMIT 系統的關鍵組成部分。

AMAIT 系統結合了 GAI、GDTES 和專家系統技術。為此，AMAIT 系統采用了 GDTES 形式的規則-事實專家系統，該系統利用小數/分數值（DFV）來表示規則。根據特定的應用領域和網絡設計，這些值可以代表部分成員資格、模糊性、置信度或其他類似內容。每種技術都發揮著關鍵作用。從根本上說，AMAIT 的長期目標是建立一個 DFV 專家系統，該系統可以對問題領域進行推理，除了設置所需的初始參數和幫助系統獲取相關數據外，無需人工干預。不過，可以在多個地方加入人工審核，以幫助學習過程并確保準確性和合規性。

系統首先要有一個 GAI 模型，能夠生成與問題領域相關的內容。這可以是一個預先訓練好的通用模型，也可以是一個為特定用途或應用領域創建的模型。該模型向翻譯/轉換器模塊提供內容，該模塊采用良好的數據格式、人類可讀的英語文本，并將其翻譯/轉換為專家系統網絡。

接下來，GAI 可用于以數據格式良好、人類可讀的英文文本形式創建訓練數據集。該數據集將提供給監督學習集創建者翻譯/轉換模塊，該模塊將為所有系統輸入生成輸入值，并為監督學習生成目標輸出。最初，該模塊用于優化應用于 GDTES 系統內規則的權重。

值得注意的是，如果有人工收集的數據，也可用于這一步驟。此外，也可以使用其他合成數據生成技術。

第三個主要步驟是利用 GAI 創建訓練數據集（同樣是格式化良好、人類可讀的英文文本），并將其提供給監督學習集創建翻譯器/轉換器模塊。在這種情況下，它被用來生成用于優化網絡本身的數據（如 [29] 中所述）。值得注意的是，在進行網絡優化后，應再次執行優化權重的過程，以最大限度地提高系統性能。為簡潔起見，圖中沒有單獨描述這一步驟。

如上所述，人工收集的數據或其他合成生成技術也可用于這一步驟。

最后，對 GDTES 模型進行測試，以確保其在投入使用前適合使用。首先，使用 GAI 提供的新數據（或人工收集的數據或以其他方式合成的數據）對其進行測試。然后，使用真實世界的數據（如果有的話）進行測試。如果適用于問題領域，還可在系統運行期間利用反饋機制對系統進行改進。

強化學習（RL）和人在回路（HitL）學習方面的最新進展使人類與人工智能體的合作變得更加容易。在智能系統中利用人類與人工智能的專業知識和經驗，既高效又有益。不過，人類與人工智能的協作能在多大程度上取得成功，以及這種組隊與僅有人類或人工智能體的組隊相比表現如何，目前仍不清楚。在這項工作中，我們證明了向人類學習是有效的，而且在復雜的模擬環境中，人類-人工智能協作的表現優于人類控制的和完全自主的人工智能體。此外，我們還開發了一種新的關鍵基礎設施保護模擬器，重點關注人工智能驅動的無人機和人類團隊合作抵御敵方無人機攻擊機場的場景。我們開發了一個用戶界面，讓人類能夠有效地協助人工智能體。我們證明，與向人類或智能體學習相比，智能體在向政策校正學習時學習速度更快。此外，與人類直接控制所有智能體相比，人類與人工智能的協作需要更低的精神和時間要求，減少了人類的努力，并產生了更高的性能。總之，我們的研究表明，人類可以為 RL 智能體提供有益的建議，讓它們在多智能體環境中提高學習能力。

保護機場等關鍵基礎設施免受安全威脅是一項復雜、敏感和昂貴的任務，因此人們一直在探索自動和自主解決方案[1]。然而，由于目前技術成熟度和訓練有素的操作員方面的限制，在關鍵應用中采用全自動和自主解決方案并不可取。這可能會導致性能低下、基礎設施嚴重受損以及其他附帶損害風險增加。此外，培訓人類如何有效地使用這些解決方案仍然是一個相當大的挑戰。另一方面，對此類系統的持續監控、快速評估和處理潛在威脅將受益于人工智能能力。在許多情況下，由于系統的復雜性或數據的稀缺性，人工智能體需要在合理的時間范圍內實現完全自主的協助[2]。另一個重大挑戰是人工智能體捕捉上下文理解的能力。例如，考慮一個機場安防場景，隸屬于機場當局的人工智能系統在夜間通過監控攝像頭或無人機檢測到快速移動。該系統可能會將這一移動歸類為入侵者，但由于缺乏上下文的細微差別，無法將其識別為當地警察在機場周邊的例行巡邏。

人類通常擁有解決復雜問題的領域專長、經驗和對上下文的理解，而這些是智能體難以學習或復制的。例如，考慮到上述例子，人類操作員可能會根據無人機出現和行為的相關情況，將無人機識別為例行巡邏。與此同時，智能體缺乏做出適當反應的知識。在安全關鍵型應用中，人的決策變得至關重要，因為在這種應用中，可能會出現部分預料不到的情況。考慮到人類專業知識的價值，有必要在協作環境中有效利用人類知識和態勢感知，尤其是在國防或安全等關鍵應用中。結合人類操作員和自主系統優勢的系統可能會使這些應用受益。這種整合旨在降低系統成本，提高任務性能，同時在危險或關鍵操作中保持有意義的人工控制。這種混合方法對于降低這些高風險環境中的潛在風險至關重要[3]。

最近，強化學習（RL）成功地解決了許多復雜的決策問題，例如掌握圍棋[4]、在平流層部署超壓氣球[5]和生成合成藥物[6, 7]。雖然 Atari 和 Mujoco 等成熟領域已成為前沿 RL 研究的基準[8, 9]，但針對復雜領域引入模擬器以促進人類人工智能協作的探索還較少[10, 11]。然而，深度 RL 面臨的一個顯著挑戰是樣本效率低下 [12]，需要與環境進行數百萬次交互，因此難以適應現實世界的問題。為了緩解這一問題，示范[13-15]、行動建議[16-18]、偏好[19-21]和獎勵塑造[22-25]等給出建議的技術已被用于引導 RL 智能體進入狀態空間的相關部分。然而，這些工作大多局限于游戲領域和由訓練有素的智能體提供建議。一個重要且相對尚未探索的方面是，在復雜的真實世界環境中，通過人類示范來提高人類與智能體協作的潛力。此外，目前有關人類與智能體協作的文獻顯示，在為人類提供有效建議而進行的智能用戶界面設計和集成方面存在明顯的不足。這種稀缺性經常導致人類與智能體之間的誤解，阻礙了人類操作員專業知識的使用。

為了應對復雜現實世界領域的挑戰，我們針對機場禁區保護系統這一特定問題開發了一種新型模擬器和用戶界面。使用案例包括一個由盟友無人機組成的機群，試圖保護限制空域免受多架無人機的入侵。根據防空領域專家的建議，模擬器的設計模擬了真實世界的動態場景。這包括無人機的速度、飛行動態、地面雷達傳感器的規格、傳感有效載荷（雷達和光電），以及嵌入 "藍色 "無人機的中和有效載荷。這種真實世界的動態變化使得環境變得復雜。環境的復雜性意味著一個天真的 RL 智能體需要多次環境交互才能學習到最優策略。考慮到在指定領域中這些交互所帶來的成本和風險，經過訓練的智能體需要具有樣本效率。我們證明，對于所提到的復雜環境，從人類或智能體演示中學習可以最大限度地減少所需的環境交互次數。一些研究[26-28]表明，當一個人監督復雜系統中的多個智能體時，監控需求的增加會對他們的工作量和認知負荷產生負面影響--這最終會阻礙工作表現。

我們證明，訓練有素的智能體具有更好的決策能力，可以減少人類操作員的工作量，提高人類-智能體團隊的績效。創建人類-智能體協作的主要目標是利用智能體和人類的優勢，同時減輕它們的劣勢。例如，智能體擅長分析龐大的數據集和根據特定模式快速做出決策等任務，表現優于人類[29]。相反，與智能體相比，人類則表現出植根于道德價值觀和語境理解的卓越決策能力 [30]。特定國防領域用例的一個特點是，作戰行動是多變的，往往極難預測，而且道德風險可能極高。為了保持人類行使權力和指揮權，我們還使用人類策略修正來糾正受訓智能體的策略。我們的研究表明，在線策略修正是提高智能體學習效果、實現最佳性能的最有效建議形式。此外，我們還證明，與人類控制未經訓練的智能體（本領域中的無人機）相比，人類在進行策略修正時的認知工作量更低。我們使用非專家人類和智能體演示，以展示我們的方法在解決人類專家有限可用性方面的穩健性。

貢獻 本文有以下貢獻：

1.介紹了一種新型多智能體模擬器，用于國防特定機場保護用例建模，模擬多個盟友和敵方無人機智能體的真實世界動態。

2.使用最先進的深度 RL 算法在新型模擬器內訓練多個智能體。

3.在模擬器內開發用戶界面，使人類操作員能夠動態控制單個或多個智能體，進行情境演示，從而實現人機協作。

4.通過經驗證明，訓練有素的智能體演示或人類與智能體的混合演示有助于智能體更快地學習。

5.比較和評估多種建議提供技術，即從演示中學習和策略修正。

6.通過一項用戶研究，比較各種建議提供技術的人類認知工作量，證明與人類完全控制智能體相比，策略修正所需的工作量更少。

在世人的記憶中，2022 年可能是生成式人工智能（AI）之年：在這一年里，大型語言模型（LLM）（如 OpenAI 的 GPT-3）和文本到圖像模型（如 Stable Diffusion）標志著社交媒體操縱潛力的巨大變化。針對對話進行了優化的 LLM（如 ChatGPT）可以大規模生成自然、人性化的文本內容，而開源的文本到圖像模型可以生成任何（真實或想象的）逼真圖像，并且可以大規模生成。利用現有技術，美國對手可以建立數字基礎設施來制造逼真但不真實（虛假）的內容，從而為類似的逼真但不真實的在線人類角色推波助瀾：Twitter、Reddit 或 Facebook 上的賬戶看似真實，實則是由人工智能生成的合成建構，并推進符合這些政府利益的敘事。

在本視角中，作者認為無處不在、功能強大的生成式人工智能的出現構成了潛在的國家安全威脅，即美國對手濫用的風險（尤其是用于操縱社交媒體），美國政府和更廣泛的技術和政策界現在就應積極應對。作者重點以中國作為潛在“威脅”的示例，但各種行為體都可能利用生成式人工智能操縱社交媒體，包括技術成熟的非國家行為體（國內和國外）。本視角中討論的能力和威脅很可能也與俄羅斯和伊朗等其他已經參與社交媒體操縱的行為體相關。

選擇社交媒體操縱策略和生成人工智能的潛在影響

隨著ChatGPT等大型人工智能（AI）模型的廣泛應用，人工智能生成內容（AIGC）越來越受到關注，正引領著內容創建和知識表示的范式轉變。AIGC使用生成性大型AI算法，根據用戶提供的提示，以更快的速度和更低的成本輔助或替代人類創建大量的、高質量的、類似人類的內容。盡管AIGC最近取得了顯著的進步，但其安全性、隱私性、道德和法律挑戰仍需得到解決。本文深入調研了AIGC的工作原理、安全和隱私威脅、最先進的解決方案以及AIGC范式的未來挑戰。具體而言，我們首先探討了AIGC的啟用技術、通用架構，并討論其工作模式和關鍵特征。然后，我們調研了AIGC的安全和隱私威脅的分類，并強調了GPT和AIGC技術的道德和社會影響。此外，我們回顧了關于AIGC模型及其生成內容的可規范AIGC范式的最新AIGC水印方法。最后，我們確定了與AIGC相關的未來挑戰和開放的研究方向。

//www.zhuanzhi.ai/paper/b8bd2d1b3785e54627ad947b1997f5d9

1. 引言

人工智能生成內容（AIGC）指的是利用生成性AI算法來協助或替代人類，基于用戶的輸入或需求，以更快的速度和更低的成本創建豐富的個性化和高質量內容[1]-[3]。AIGC包含了廣泛的合成內容，包括文本（如詩歌），圖片（如藝術品），音頻（如音樂），視頻（如動畫），增強訓練樣本和交互式3D內容（如虛擬化身，資產和環境）。作為傳統內容創作范例，如專業生成內容（PGC）和用戶生成內容（UGC）的補充，充滿前景的AIGC范例允許以自動化和有效的方式生產大量的內容，且成本低[4]，這對各種新興應用如元宇宙[5]和數字孿生[6]都非常有益。例如，在Roblox（一款交互式元宇宙游戲）中，AIGC可以為化身產生個性化皮膚和3D游戲場景，使用戶能在一個沉浸式的虛擬空間中玩耍，合作和社交。根據Gartner的數據[7]，到2025年，生成性AI算法預計將生產約10%的所有數據。

從技術角度看，AIGC通常由兩個階段組成[3]：(i) 提取和理解用戶的意圖信息，以及 (ii) 根據提取的意圖生成所需的內容。2022年11月，OpenAI發布了ChatGPT，這是一個多功能的語言模型，能夠生成代碼，編寫故事，執行機器翻譯，進行語義分析等等。到2023年1月，每天有近1300萬用戶在與ChatGPT交互[8]。ChatGPT是生成預訓練Transformer（GPT）的一個變種，GPT是一個基于Transformer的大型語言模型（LLM），能夠理解人類語言并創造類似人類的文本（例如，故事和文章）[9]，如圖1所示。隨著最近大型語言模型（如ChatGPT和其后繼者GPT-4）的進步，AIGC的能力得到了顯著加強，可以執行更復雜的任務（例如，多模態任務）并具有更高的準確性，這得益于LLM提供的更好的意圖提取[10]。由于技術進步和需求增加，AIGC已經引起了全球的關注，并在娛樂，廣告，藝術和教育等各種應用中展現出了巨大的潛力。包括OpenAI，Google，Microsoft，NVIDIA和百度在內的科技巨頭都已經宣布他們將探索AIGC，并開發了他們自己的AIGC產品。

在AIGC時代，更大的數據集是"燃料"，更大的基礎模型是"引擎"，而廣泛的計算能力則起到了"加速器"的作用。對于從GPT-3.5模型微調的ChatGPT，其訓練數據集包括近1萬億個詞，大約45TB大小[11]，并且在預訓練GPT中整合了自我監督學習，強化學習和提示學習等多種AI技術。ChatGPT的訓練所需的計算能力大約是每天3640 PetaFLOPs，相當于每秒計算10萬億次，需要3640天才能完成[12]。在大數據，大模型和大計算能力的工程組合下，ChatGPT展示了強大的新功能和更高級模式的學習能力，并能根據用戶的多模態提示自動創作有價值的內容。除了大規模訓練數據和廣泛計算能力帶來的好處外，ChatGPT還整合了一系列新技術。例如，ChatGPT使用了思維鏈（CoT）提示[13]，這使得預訓練的LLM能夠通過逐步推理來解釋其推理過程，在少示例和零示例學習設置中。此外，從人類反饋中的強化學習（RLHF）[14]被整合進來，通過訓練一個包含人類反饋的獎勵模型并通過強化學習對LLM進行微調，幫助ChatGPT更好地理解人類的偏好。更進一步的，在計算機視覺（CV）領域，由創業公司Stability AI開發的穩定擴散[15]和由OpenAI在2022年開發的DALL-E 2[16]已經成功地從復雜和多樣的文本描述中生成高分辨率和自然看起來的圖像。

A.動機 盡管AIGC的前景光明，但安全和隱私問題對其廣泛應用構成了重大障礙。在AIGC服務的生命周期中，可能會出現一些安全漏洞、隱私泄露、信任問題和道德問題，這些問題可能源自普遍的數據收集，智能模型/數據盜竊，到大量的網絡釣魚郵件的分發。

• 安全漏洞。AIGC模型在生命周期的每個階段都面臨著安全威脅。例如，在模型訓練過程中，攻擊者可能使用有毒或敵對的樣本來降低模型性能[17]，或發起后門攻擊以操縱模型結果[18]；在模型部署后，攻擊者可能通過智能模型盜竊攻擊來竊取AIGC模型或其部分功能[19]。由于大型AIGC模型如ChatGPT采用的策略比通用模型更復雜，可能會出現更多的安全威脅（如越獄[20]和提示注入[21]），這些威脅可能是全新的。此外，生成型AI模型仍然面臨著關于透明度、魯棒性和偏見/歧視的技術限制。

• 隱私侵權。AIGC模型的成功在很大程度上依賴于可能無可避免地包含用戶敏感和私人信息的大量訓練數據集。例如，ChatGPT在與用戶交互時，能夠記住與會話相關的項目以及用戶輸入、cookie和日志[22]，[23]。這為在AIGC中的數據濫用和犯罪活動帶來了新的可能。根據最近的一項研究[24]，對黑盒GPT-2模型，攻擊者可以使用提示注入和公共文本特征從AI記憶中恢復最多67%的訓練文本，包括個人名字、地址和電話號碼。2023年3月，由于對隱私合規的擔憂，意大利禁止使用ChatGPT[25]。

• 信任問題。AIGC技術的快速發展使得創造和傳播虛假信息和假證據，如深度偽造內容和假新聞[26]變得越來越容易。這導致了新類型的犯罪活動的出現，如AI欺詐、誹謗、身份盜竊和冒充[27]。例如，ChatGPT可以產生誤導和不道德的回應，具有惡意意圖的個人可以利用其生成無瑕疵文本的能力進行欺詐，復制語音模式進行冒充，和開發惡意代碼進行黑客攻擊。這極大地增加了為由生成性AI模型產生的材料建立可追溯來源和規定的需求，以確保其問責制。

• 道德影響。作為一把雙刃劍，AIGC技術也對人類社會產生了負面影響，并可能被濫用用于分發惡意軟件、勒索軟件和網絡釣魚郵件。例如，ChatGPT產生即時和令人信服的對話的能力可以使其更容易制作釣魚郵件，誘騙收件人點擊有害鏈接，下載惡意軟件，或者泄露機密信息[28]。此外，AIGC可以促進課堂上的作弊，藝術中的抄襲，和學術論文的欺詐，使得這樣的行為更容易被犯下，也更難被發現。

本文的其余部分按如下方式組織。在第二部分，我們介紹AIGC的工作原理。第三部分討論了AIGC中安全和隱私問題的分類，以及最新的對策。第四部分介紹了AIGC模型和內容的IP保護和規定。第五部分探討了未來的研究方向。最后，第六部分得出結論。本文的組織結構在圖2中展示。

2. AI生成內容：工作原理

在這一部分，我們首先介紹AIGC的發展路線圖和啟用技術。然后，我們討論內容創建范式以及知識表示和使用范式的范式轉變。之后，我們展示了AIGC的一般架構，工作模式，關鍵特性，應用，以及現代原型。

如圖3所示，人工智能生成內容即服務（AIGCaaS）的一般架構包括以下三層：（i）基礎設施層，（ii）AIGC引擎層，和（iii）AIGC服務層。

? 基礎層。隨著大型AI模型（如參數達1750B的GPT-3）的規模持續擴大，對廣泛的計算能力，強大的AI算法，和大量訓練數據的需求日益增長。對于ChatGPT，大計算能力，大數據，和大模型的組合釋放出了其在學習用戶提供的多模態提示并自動生成高質量內容方面的強大的突現能力。AI算法包括AI框架（如TensorFlow，Pytorch，和Keras），有監督/無監督學習算法，和生成AI模型（如transformer和擴散模型）。配備了強大的GPU，TPU，AI芯片和大量存儲的云服務器，使得基礎AIGC模型的高效訓練成為可能。所涉及的訓練數據可以是已標注的數據，或從互聯網收集的數據，可以是非結構化和多模態的。

? AIGC引擎層。多模態基礎模型（如GPT-4）在大量的多模態數據上進行預訓練，并能在不需要任務特定微調的情況下執行多種不同的任務[33]。此外，各種底層技術，如CoT提示，人類反饋的強化學習（RLHF），和多模態技術，都被集成到訓練和優化基礎模型中。多模態基礎模型作為AIGCaaS的引擎，為上層AIGC服務賦予了越來越強的實時學習能力。此外，多模態基礎模型可以通過與數十億用戶的實時和密集交互進行逐步的演化和優化，因為它允許從更多的私有數據（如用戶輸入和歷史對話）以及個人和機構的反饋中學習[38]。

? AIGC服務層。從能力的角度看，AIGC服務包括生成文本，音頻，圖像，視頻，代碼，3D內容，數字人，和多模態內容。從終端用戶的角度看，AIGC服務可以分為兩種類型：ToB（面向業務）和ToC（面向消費者）。雖然基礎模型為各種任務提供了一種一刀切的解決方案，但它可能在特定任務上的表現不如專用AI模型。① 對于ToB情況，一個機構或機構聯盟可以通過在包含標注業務數據的較小數據集上對基礎模型進行微調，訓練出一個專用AI模型來執行特定任務，如醫療診斷或財務分析。例如，一個機構聯盟可以通過聯邦學習和遷移學習技術使用本地業務數據共同訓練一個在基礎模型之上的專用AI模型[39]。此外，還可以結合兩種方法以獲得更好的結果。例如，可以使用一個專用AI模型進行特定任務，并將其輸出作為輸入提供給基礎模型，以生成更全面的響應。 ② 對于ToC情況，每個用戶都可以定制一個網絡分身[6]（即智能手機或PC中的程序），并使用自然語言與之交流。網絡分身有自己的記憶存儲用戶的偏好，興趣和歷史行為，以及任務特定的專業知識。利用這些知識，網絡分身為用戶生成個性化的提示，從而提供高效和定制的AIGC服務。此外，它還實現了一個反饋環，用戶可以對AI提供的建議進行評價。網絡分身也可以通過構建一個連接的網絡并自由分享所學習的知識和技能，來協同完成更復雜的任務[6]。 對于ToB和ToC兩種情況，以倫理和保護隱私的方式處理個人和機構的私有數據都至關重要。此外，在提供AIGC服務時，保護基礎模型和專用AI模型的知識產權，以及AI生成內容的出處，也是非常重要的。

在未來，AIGC有可能完全取代簡單和非創新的人類工作，同時也加速了人機協作時代的到來。AIGC在內容生成方面有兩種主要模式：輔助生成和自主生成[5]。

? AI-Assisted Content Creation（需要人類干預）。在這種模式下，AI算法為創造內容的人類提供建議或幫助。然后，人類可以根據AI提出的建議編輯和改進內容，以提高最終產品的質量。然而，這種模式在內容創建上往往比較慢且成本更高。

? Autonomous Content Creation by AI（不需要人類干預）。在這種模式下，AI完全自主地創造內容，沒有任何人類的干預。AI機器人可以自主快速且低成本地創建大量內容，而產生的內容質量取決于生成的AI模型。

在此部分，我們將討論不同類型的AI生成內容以及其應用： 1）文本生成。大型語言模型（LLM）可以比人類作者更快、更有效地生成高質量的文本 [10]。這包括博客、新聞、代碼、文章、營銷副本和產品描述。此外，它使聊天機器人和虛擬助手能夠通過AI生成的文本以人類的方式與客戶和客戶進行溝通。 2）圖像生成。大型視覺模型（LVM）可以將草圖轉化為數字繪制的圖像，用于各種目的，包括創造視覺藝術、廣告圖片、游戲場景、駕駛模擬環境以及增加訓練樣本。 3）音頻生成。AI生成的音頻有著廣泛的應用，包括語音合成、音樂創作和聲音設計。如Amper Music這樣的音樂創作AI程序，允許用戶使用AI創建原創音樂。 4）視頻生成。AI生成的視頻可以廣泛用于虛擬現實、增強現實、營銷、廣告、娛樂和教育等各種領域。 5）3D內容生成。AIGC可以通過分析照片和視頻等真實世界的數據來創建逼真的3D模型，AI生成的3D模型可以用來創建動畫、游戲資產和產品設計。 6）數字人生成。AIGC可以生成具有高度逼真動作和表情的數字人，可用于游戲、虛擬現實和廣告等各種領域。 7）跨模態生成。AIGC中的跨模態內容生成指的是使用基礎AIGC模型在多種模態之間生成新內容 [3]。它包括文本到圖像、圖像到文本、文本到代碼、文本到視頻、文本到音頻等。 總的來說，AIGC讓生活變得更加便捷和高效，但也帶來了新的安全/隱私威脅、倫理問題以及潛在的偏見，這些將在下一節中展示。

近年來，針對工業生態系統的高級持續性威脅（APT）的復雜性急劇增加。這使得開發超越傳統解決方案的高級安全服務成為必須，輿論動力學（Opinion Dynamics）就是其中之一。這種新穎的方法提出了一個多智能體協作框架，允許跟蹤APT的整個生命周期。在本文中，我們介紹了TI&TO，這是一個攻擊者和防御者之間的雙人博弈，代表了一個現實的場景，雙方都在爭奪現代工業結構中的資源控制權。通過使用博弈論來驗證這種技術，我們證明，在大多數情況下，輿論動力學包括有效的第一項措施，以阻止和減少APT對基礎設施的影響。為了實現這一目標，攻擊者和防御者的模型都被標準化，并應用了一個公平的評分系統，后者用不同的策略和網絡配置運行了幾個模擬測試案例。

引言

世界各地的公司面對的網絡安全攻擊數量明顯增長，導致了巨大的經濟損失[2]。當涉及到關鍵的基礎設施（即核電站、電網、運輸和制造系統）時，這種情況變得更加嚴重，其工業控制系統必須在所有條件下保持工作。在這里，我們處理的是SCADA（監督控制和數據采集）系統，幾十年來一直在與外部網絡隔離的情況下工作；反過來，如今它們正越來越多地整合新技術，如物聯網（IoT）或云計算，在削減成本的同時外包各種服務。因此，需要做出更大的努力來跟上這種進步，以應對這些系統可能帶來的最新的攻擊載體和可利用的漏洞。

近年來最關鍵的問題之一是高級持續性威脅（APTs），這是一種復雜的攻擊，特別是針對目標基礎設施，由一個資源豐富的組織實施。它們的特點是利用零日漏洞（零時差攻擊），采用隱蔽技術，使威脅在受害者網絡中長期無法被發現。Stuxnet是第一個報道的這種性質的威脅[6]，但許多其他的威脅在之后被發現，通常是在攻擊完全執行后的幾個月[7]。在網絡安全方面，只是提出了一些機制來從整體上解決這個問題，超越了傳統的機制（如防火墻、入侵防御系統（IPS）、入侵檢測系統（IDS）、防病毒），這些機制只代表了在第一階段對APT的準時保護[21]。

在這些新穎的機制中，輿論動力學（Opinion Dynamics）[15]包括一個多智能體協作系統，通過分布式異常關聯，使攻擊的整個生命周期都可以被追蹤。在本文中，我們提出了一個理論但現實的方案，以證明該方法在不同類型的攻擊模式下的有效性，使用結構可控性領域[8]和博弈論[14]支持的概念。為了這個目標，我們開發了TI&TO，這是一個雙人博弈，攻擊者和防御者為控制現代工業結構中的資源而競爭。兩個玩家都有自己的動作和相關的分數，分別根據APT和基于Opinion Dynamics的檢測系統的行為。這個博弈最終在不同的模擬中運行，旨在展示算法的能力，同時也建議將該技術與其他防御方案結合起來進行最佳配置。因此，我們可以把我們的貢獻總結為：

• 正式定義TI&TO博弈，指定游戲板、每個玩家的目標和得分規則。
• 設計一個攻擊者模型，以一組階段的形式，靈活地表示APT的各個階段，以表示攻擊者的行動，這些行動受制于一個確定的分數。
• 設計一個基于使用意見動態和響應技術（即本地檢測、冗余鏈接、蜜罐）的防御者模型，以減少APT在網絡中的影響，這也意味著博弈中的相關得分。
• 進行的實驗驗證了該算法，并推薦了返回最佳結果的防御者的配置。

本文的其余部分組織如下。第2節介紹了 "輿論動力學"的概念，并強調了應用博弈論來檢測網絡攻擊的建議。在第3節中，定義了博弈，包括規則以及攻擊和防御模型。然后，進行了幾次模擬，并在第4節進行了討論。最后，在第5節中提出了結論和未來的工作。