亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

多智能體強化學習（MARL）近年來大受歡迎。雖然已開發出許多方法，但它們大致可分為三大類：集中式訓練和執行（CTE）、分布式執行的集中式訓練（CTDE）以及分布式訓練和執行（DTE）。

CTE 方法假定在訓練和執行期間是集中的（例如，具有快速、自由和完美的通信），并且在執行期間擁有最多的信息。也就是說，每個智能體的行動可以依賴于所有智能體的信息。因此，通過使用具有集中行動和觀測空間的單智能體 RL 方法（在部分可觀測的情況下保持集中的行動觀測歷史），可以實現一種簡單形式的 CTE。CTE 方法有可能優于分散執行方法（因為它們允許集中控制），但可擴展性較差，因為（集中的）行動和觀察空間會隨著智能體數量的增加而呈指數級擴展。CTE 通常只用于合作式 MARL 情況，因為集中控制意味著要協調每個智能體將選擇哪些行動。

CTDE 方法是最常見的方法，因為它們在訓練過程中利用集中信息，同時實現分散執行--在執行過程中只使用該智能體可用的信息。CTDE 是唯一一種需要單獨訓練階段的模式，在訓練階段可以使用任何可用信息（如其他智能體策略、底層狀態）。因此，它們比 CTE 方法更具可擴展性，不需要在執行過程中進行通信，而且通常性能良好。CTDE 最自然地適用于合作情況，但也適用于競爭或混合情況，這取決于假定觀察到哪些信息。

分布式訓練和執行方法所做的假設最少，通常也很容易實現。事實上，只要讓每個智能體分別學習，任何單智能體 RL 方法都可以用于 DTE。當然，這些方法各有利弊，下面將對此進行討論。值得注意的是，如果沒有集中訓練階段（如通過集中模擬器），就需要 DTE，要求所有智能體在沒有事先協調的情況下在在線交互過程中學習。DTE 方法可用于合作、競爭或混合情況。MARL 方法可進一步分為基于價值的方法和策略梯度方法。基于價值的方法（如 Q-learning）學習一個價值函數，然后根據這些價值選擇行動。策略梯度法學習明確的策略表示，并試圖沿著梯度方向改進策略。這兩類方法在 MARL 中都得到了廣泛應用。

本文介紹的是合作 MARL-MARL，其中所有智能體共享一個單一的聯合獎勵。它旨在解釋 CTE、CTDE 和 DTE 設置的設置、基本概念和常用方法。它并不涵蓋合作 MARL 的所有工作，因為該領域相當廣泛。

大型語言模型（LLM）是當代人工智能（AI）系統中最突出的類型之一。它們最著名的功能是在嵌入聊天機器人時生成內容或總結文本，但這項技術的應用范圍要廣泛得多--包括對國際安全有影響的新興和潛在用例。

情報和軍事組織對 LLM 越來越感興趣，包括用于分析、規劃和其他行動任務。LLM 也與國際安全息息相關，因為惡意行為者可以利用 LLM 提供的能力達到一系列邪惡目的，例如加強虛假信息宣傳、在網絡領域進行攻擊或尋求協助生產武器，包括生物武器。

本入門指南旨在概述 LLM 及其與國際安全的相關性：首先，介紹和解釋該技術的基本原理，包括其工作原理和關鍵漏洞所在；其次，通過精選的使用和應用實例說明 LLM 對國際安全的影響。

第二部分探討與國際安全的聯系，分為兩節，反映了該技術的雙重用途特點： A 部分重點介紹國防或安全組織使用的主要實例，因此側重于作為（國家）組織工作一部分的合法使用領域，如國防規劃、情報和戰爭游戲。B 部分通過精選實例，探討了惡意行為者如何為惡意目的（包括可能違反國際法的目的）部署該技術，如生物武器擴散、網絡攻擊和虛假信息。

這篇入門文章面向廣大讀者，尤其是有興趣更好地了解為 LLM 提供動力的技術以及與這一人工智能領域相關的關鍵概念的外交和政策界人士。

這篇短文的范圍僅限于介紹主要的使用案例以及目前和可預見的風險領域。該技術的快速發展很可能為使用和濫用帶來新的可能性。

對應用和潛在濫用領域的概述對如何部署 LLM 進行了概括而簡潔的描述。單獨來看，每個案例研究都可以進行進一步的深入探討和分析。就本入門指南而言，這些例子旨在說明和澄清該技術的使用（或濫用）方式、可識別的主要風險以及該技術目前仍存在的局限性。

人工智能（AI）是公認的先進技術，可幫助決策過程實現高精度和高準確性。然而，由于依賴于復雜的推理機制，許多人工智能模型通常被評價為黑盒。 人類用戶往往無法理解這些人工智能模型是如何以及為何做出決策的，從而擔心其決策的可接受性。以往的研究表明，由于缺乏人類可理解的相關解釋，最終用戶無法接受這些決策。在此，可解釋人工智能（XAI）研究領域提供了一系列方法，其共同主題是研究人工智能模型如何做出決策或解釋決策。這些解釋方法旨在提高決策支持系統（DSS）的透明度，這在道路安全（RS）和空中交通流量管理（ATFM）等安全關鍵領域尤為重要。盡管決策支持系統在不斷發展，但在安全關鍵型應用中仍處于演變階段。在 XAI 的推動下，透明度的提高已成為使這些系統在實際應用中切實可行、解決可接受性和信任問題的關鍵因素。此外，根據歐盟委員會目前的 “解釋權 ”授權和全球各組織的類似指令，認證機構不太可能批準這些系統用于一般用途。這種將解釋滲透到現有系統中的沖動，為 XAI 與 DSS 相結合的研究鋪平了道路。

為此，本論文主要為 RS 和 ATFM 應用領域開發了可解釋模型。特別是，通過分類和回歸任務，開發了用于評估駕駛員車內心理工作量和駕駛行為的可解釋模型。此外，還提出了一種利用互信息（MI）從車輛和腦電圖（EEG）信號生成混合特征集的新方法。該特征集的使用成功地減少了復雜的腦電圖特征提取計算所需的工作量。互信息（MI）的概念被進一步用于生成人類可理解的心理工作量分類解釋。在 ATFM 領域，本論文開發并展示了一個可解釋的模型，用于從歷史飛行數據中預測航班起飛時間延誤。通過開發和評估這兩個領域的可解釋應用所獲得的啟示強調了進一步研究 XAI 方法的必要性。

在本博士論文的研究中，DSS 的可解釋應用是通過加法特征歸因（AFA）方法開發的，該方法是當前 XAI 研究中流行的一類 XAI 方法。盡管如此，仍有一些文獻斷言，特征歸因方法通常會產生不一致的結果，需要進行合理的評估。然而，關于評估技術的現有文獻仍不成熟，提出了許多建議方法，卻未就其在各種場景中的最佳應用達成標準化共識。為了解決這個問題，我們還根據 XAI 文獻的建議，為 AFA 方法制定了全面的評估標準。建議的評估流程考慮了數據的基本特征，并利用了基于案例推理的加法形式，即 AddCBR。本論文提出了 AddCBR，并將其作為評估流程的補充進行演示，以此作為比較 AFA 方法生成的特征歸因的基線。iXGB 生成決策規則和反事實，以支持 XGBoost 模型的輸出，從而提高其可解釋性。通過功能評估，iXGB 展示了用于解釋任意樹狀集合方法的潛力。

從本質上講，這篇博士論文最初有助于為兩個不同的安全關鍵領域開發經過理想評估的可解釋模型。其目的是提高相應 DSS 的透明度。此外，論文還引入了新穎的方法，以不同的形式生成更易于理解的解釋，超越了現有的方法。論文還展示了 XAI 方法的穩健評估方法。

圖 1.1： 研究課題、研究貢獻和收錄論文的一般映射。

隨著人類-智能體團隊（HAT）研究的不斷發展，模擬 HAT 行為和衡量 HAT 效果的計算方法也在不斷發展。其中一種正在興起的方法涉及使用人類數字孿生（HDT）來近似模擬人工智能驅動的智能體團隊成員的人類行為和社會情感認知反應（Barricelli & Fogli, 2024）。本文將探討與使用數字孿生為 HAT 建立信任模型相關的三個研究問題。首先，為了解決如何通過 HDT HAT 實驗對 HAT 信任進行適當建模和操作的問題，對團隊交流數據進行了因果分析，以了解移情、社會認知和情感建構對信任形成的影響。此外，還反思了HAT信任科學的現狀，討論了HAT信任必須通過HDT才能復制的特征，如信任傾向的個體差異（如信任傾向，Jessup等人，2019年）、新興信任模式（如信任侵犯和修復，Wildman等人，2024年）以及對這些特征的適當測量（如增長建模，Abramov等人，2020年）。其次，為了解決人類發展工具信任的測量方法在近似人類對 HATs 信任方面的有效性問題，討論了人類發展工具信任的特性：自我報告測量方法、基于互動的測量方法和遵從型行為測量方法。此外，還分享了初步模擬的結果，其中比較了用于生成 HDT 通信的不同 LLM 模型，并分析了它們復制類人信任動態的能力。第三，針對 HAT 實驗操作將如何擴展到人類數字孿生研究，分享了實驗設計，重點關注 HDT 的信任傾向與人工智能體的透明度和基于能力的信任。

將人工智能（AI）融入作戰環境在各個領域變得越來越重要，從根本上改變了人類與機器合作實現共同目標的方式。在過去十年中，人類與人工智能團隊（HAT）研究已成為一個重要領域，學者們運用認知科學原理來理解這些新型合作關系的復雜性。這一不斷增長的研究成果反映了了解人類和人工智能如何有效、安全、高效地合作的緊迫性。

隨著 HAT 文獻的擴展和人工智能能力的進步，出現了研究這些互動的創新方法。其中一種很有前景的方法是使用人類數字雙胞胎（HDTs）--旨在復制人類在 HAT 環境中的反應和行為的計算模型。這些 HDTs 可以進行配置，以模擬基于狀態的反應（如瞬時認知和情感反應）和基于特征的特性（包括性格上的個體差異），為傳統的人類受試者研究提供了一個多功能的替代方案[1, 2]。

人類發展工具在人類活動能力研究中的優勢是顯著的。除了解決人類受試者研究的實際限制（如成本和招募挑戰）外，HDT 還提供了前所未有的實驗變量控制和快速測試多種情景的能力。這種能力對于研究復雜的團隊現象尤為重要，而信任則是一個關鍵的重點領域。信任--愿意對另一個智能體的行動處于弱勢--是 HAT 有效性和成功的基本決定因素。

然而，使用人類發展工具來研究 HAT 中的信任動態是否有效，還需要仔細研究。

本文探討了在信任研究中實施 HDT 的三個關鍵問題：

• (1) 如何使用基于 HDT 的方法有效地模擬和測量 HAT 信任？
• (2) HAT 信任的基本特征是什么，必須在 HDT 信任模型中加以操作化？
• (3) 傳統 HAT 研究中的實驗操作如何轉化為基于 HDT 的研究？

通過研究這些問題，我們旨在建立一個框架，用于在 HAT 信任研究中驗證和實施 HDT，最終促進我們對人類與人工智能協作和信任發展的理解。

圖 1：移情建構如何影響 HAT 信任度的因果分析結果。

決策輔助系統是國防指揮與控制裝置的基礎，為各級決策過程提供信息。圍繞人工智能（AI）在決策輔助系統中的應用開展的現有研究認為，人工智能是此類系統性能和應用的關鍵驅動因素。然而，很少有研究探討時間因素和中間決策的存在對決策者對此類系統信任度的影響，或者當決策由另一個人輔助時，與由人工智能輔助時的影響有何不同。現有文獻認為，對人工智能的信任不同于其他信任對象。本論文通過探究信任的產生是否更多地取決于信任的對象或來源來探索這一假設。之前的一項實驗研究了當決策支持僅由人工智能系統提供時，時間和中間判斷對信任的影響。本論文對該實驗進行了擴展，同時操縱了決策輔助的來源，即人類，而不僅僅是人工智能。通過加入人與人之間信任的基礎案例，本研究可以就中間判斷和時間對決策輔助系統信任的相對影響進行比較分析。

決策輔助系統是美國防部（DOD）指揮與控制機構的基礎，為各級決策過程提供信息。團隊是美國軍隊組織和完成任務的主要要素。美國防部打算通過將人工智能嵌入戰術、組織和戰略層面的組織結構（團隊），更快地做出更好的決策，從而獲得優勢（國防部，2022、2023a、2023b）。圍繞人工智能（AI）在決策支持系統中應用的現有研究表明，信任是此類系統性能和采用的關鍵驅動因素。

問題在于，人們尚未充分認識到若干設計參數對信任和性能的影響，這可能會延遲或抵消人工智能決策支持系統的優勢（Ashoori & Weisz, 2019; Tangredi & Galdorisi, 2021）。由于這些系統將用于做出關鍵決策，或在動態、混亂的環境中為人類提供支持，因此這些系統必須值得信賴且性能良好（Babo?，2021；人工智能特設委員會，2023）。本研究的目的是，與人工智能（AI）相比，當人類的決策過程得到人類分析師的支持時，研究自變量（中間判斷和時機）對因變量（信任）的影響。這項研究旨在促進人機系統的整合，實現有效的機器/人工智能設計并更快地應用于軍事領域，加強這些機器的穩健性和復原力，并為設計有效的人機系統提供支持理論。

之前的一項調查試圖了解在僅與人工智能輔助決策系統互動時，信任是如何隨著時間的推移而演變的（Humr 等人，2023 年）。本調查比較了當決策支持來源是人類分析師和人工智能分析師時，信任度是如何演變的。通過操縱決策支持的來源，本調查旨在比較人類和人工智能群體的信任度和表現，并分析人類和人工智能群體本身的自變量的影響。

現有文獻的基本假設是，人類決策者對人工智能決策支持系統產生信任的過程不同于決策者對提供相同決策支持的另一個人類產生信任的過程。這一假設在人工智能研究中基本上沒有受到質疑。雖然人工智能系統中信任和性能的關鍵驅動因素須要并將繼續得到確定，但值得確定的是，它們與現有的以人類之間的信任為基本情況的信任模型相比有何不同。這種調查可能會挑戰現有的假設，即人類建立信任的過程因信任對象的不同而不同。按理說，無論是人類還是人工智能，信任決定都是由人類主體做出的，可能會也可能不會受到人類所信任的對象的影響。

現有文獻表明，人類建立信任的過程更多地取決于信任的對象（被信任的人或事物），而不是信任的來源（決定信任的人類）。鑒于人工智能系統的新穎性和細微差別，以及它們與人類的生物和社會稟賦的截然不同，當決策支持、信任對象是人工智能系統而非人類時，決策背景下的信任模型會有所不同這一假設通過了表面有效性的檢驗。然而，本次調查對現有文獻中這一近乎教條的假設提出了質疑，直接探討了人類對人工智能的信任是否與人類對其他人的信任有本質區別。畢竟，人類的信任過程已經發展了數千年，而機器和人工智能的存在不過是進化過程中的一眨眼。

這項研究試圖擴展之前的一項實驗（Humr 等人，2023 年），在這項實驗中，人工智能分析師為人類決策者提供意見。在該研究中，操縱的自變量是中間判斷形式的選擇和分配的時間。因變量是信任評價，其形式是詢問受試者在與決策支持體互動后，未來將某項任務委托給人工智能的可能性有多大。這項研究重復了之前的實驗，但用人類分析師代替了人工智能分析師。其他一切保持不變，以便在人類支持組和人工智能支持組之間進行比較。

這項研究發現，在由人類與人工智能系統支持決策的受試者之間，信任評價在統計學上沒有顯著差異。這些發現與人工智能信任研究領域的傳統假設相沖突，即人工智能信任是一種與一般信任根本不同的現象，因此需要獨立表達。

雖然這些發現并不能概括所有類型的信任、人工智能的使用案例或人類可能與之互動的人工智能類型，但它確實表明，與試圖重新發現人工智能或人工智能系統中可能使其值得信任的方面相比，更努力地識別人類之間信任的關鍵驅動因素對于設計可信任的人工智能可能更有價值。本研究建議未來的實驗探索信任的另一個關鍵驅動因素，即決策支持（人工智能或人類）的性能，并將其對信任的影響與本實驗中使用的自變量進行比較。此外，本研究還建議調查選擇和時機這兩個自變量如何影響決策者的整體決策表現。畢竟，信任是影響績效的一個中介變量，因此，通過直接觀察這些自變量對績效的影響，決策支持系統的設計者就能建立盡可能好的系統。

在人工智能（AI）研究領域，制造人工通用智能（AGI）一直是一個難以實現的目標。AGI 將像人類一樣，有能力接觸新的問題領域，學習相關知識，然后使用推理過程做出決策。雖然人工智能技術已被廣泛應用于各種問題領域，但 AGI 要求人工智能能夠在編程和訓練之外進行推理。本文向制造 AGI 邁出了一小步。它描述了一種人工智能學習和開發推理路徑的機制，以便在先驗未知領域做出決策。它結合了一種經典的人工智能技術--專家系統和一種現代的改良技術--梯度下降訓練專家系統（GDTES），并利用生成式人工智能（GAI）為該系統創建網絡和訓練數據集。這些數據集可以從現有資源中創建，也可以借鑒 GAI 自己的預訓練模型中的知識。GDTES 中的學習過程用于優化人工智能的決策。雖然這種方法并不符合許多人對人工智能所定義的標準，但它提供了某種類似的能力，盡管在使用前需要一個學習過程。

自適應多域人工智能技術

本節介紹并描述 AMAIT 的設計，如圖 3 所示。首先，將提供一個概覽。然后，第 3.1 至 3.5 小節將更詳細地介紹 AMIT 系統的關鍵組成部分。

AMAIT 系統結合了 GAI、GDTES 和專家系統技術。為此，AMAIT 系統采用了 GDTES 形式的規則-事實專家系統，該系統利用小數/分數值（DFV）來表示規則。根據特定的應用領域和網絡設計，這些值可以代表部分成員資格、模糊性、置信度或其他類似內容。每種技術都發揮著關鍵作用。從根本上說，AMAIT 的長期目標是建立一個 DFV 專家系統，該系統可以對問題領域進行推理，除了設置所需的初始參數和幫助系統獲取相關數據外，無需人工干預。不過，可以在多個地方加入人工審核，以幫助學習過程并確保準確性和合規性。

系統首先要有一個 GAI 模型，能夠生成與問題領域相關的內容。這可以是一個預先訓練好的通用模型，也可以是一個為特定用途或應用領域創建的模型。該模型向翻譯/轉換器模塊提供內容，該模塊采用良好的數據格式、人類可讀的英語文本，并將其翻譯/轉換為專家系統網絡。

接下來，GAI 可用于以數據格式良好、人類可讀的英文文本形式創建訓練數據集。該數據集將提供給監督學習集創建者翻譯/轉換模塊，該模塊將為所有系統輸入生成輸入值，并為監督學習生成目標輸出。最初，該模塊用于優化應用于 GDTES 系統內規則的權重。

值得注意的是，如果有人工收集的數據，也可用于這一步驟。此外，也可以使用其他合成數據生成技術。

第三個主要步驟是利用 GAI 創建訓練數據集（同樣是格式化良好、人類可讀的英文文本），并將其提供給監督學習集創建翻譯器/轉換器模塊。在這種情況下，它被用來生成用于優化網絡本身的數據（如 [29] 中所述）。值得注意的是，在進行網絡優化后，應再次執行優化權重的過程，以最大限度地提高系統性能。為簡潔起見，圖中沒有單獨描述這一步驟。

如上所述，人工收集的數據或其他合成生成技術也可用于這一步驟。

最后，對 GDTES 模型進行測試，以確保其在投入使用前適合使用。首先，使用 GAI 提供的新數據（或人工收集的數據或以其他方式合成的數據）對其進行測試。然后，使用真實世界的數據（如果有的話）進行測試。如果適用于問題領域，還可在系統運行期間利用反饋機制對系統進行改進。

數據是開發和支持人工智能（AI）系統的重要組成部分，因此數據生命周期（包括收集、準備和整理）是人工智能生命周期的重要組成部分。確保數據的一致性、正確性和預期用途的代表性對于確保人工智能系統的有效性至關重要。數據驗證、確認和認證（VV&A）就是為了滿足這一需求。由于高質量的數據是人工智能模型的基礎，因此整個美國防部人工智能功能和分析工具的普及率急劇上升，這強調了統一理解數據 VV&A 的必要性。在實踐中，數據 VV&A 和相關活動通常以臨時方式使用，這可能會限制支持開發和測試人工智能能力的能力。然而，現有的美國防部數據 VV&A 框架和政策適用于人工智能生命周期，并體現了對人工智能系統測試和評估的重要支持活動。我們強調了數據 VV&A 的重要性，并討論了 DODI 5000.61 對人工智能模型及其相關數據的適用性。僅僅依靠政策中的定義會在解釋和實施方面留下問題，因此討論了一些潛在的關注點和最佳實踐，包括在人工智能系統生命周期的背景下考慮數據的 VV&A，鼓勵可重復性和透明度，以及利用現有框架和工具支持 VV&A。

美國防部對VV&A 數據的需求

• 目的：為模型、模擬、分布式模擬及其相關數據的 VV&A 制定政策、分配職責并規定程序。

• 適用性： 國防部各部門開發、使用、提供或管理的模型和模擬及相關數據，包括非國防部組織為支持國防部流程、產品或程序而使用的模型和模擬及相關數據。

• 政策：

  • 用于支持國防部流程、產品和決策的模型、模擬和相關數據應在其整個生命周期內進行驗證和確認 (V&V)。

  • 用于支持美國防部流程、產品和決策的模型、模擬和相關數據應根據預期用途進行認證。

近年來，人工智能（AI）系統有了長足的進步，其功能也在不斷擴展。特別是被稱為 "生成式模型 "的人工智能系統在自動內容創建方面取得了巨大進步，例如根據文本提示生成圖像。其中一個發展尤為迅速的領域是能夠生成原始語言的生成模型，這可能會給法律和醫療保健等多個領域帶來益處。

不過，生成式語言模型（簡稱 "語言模型"）也可能存在負面應用。對于希望傳播宣傳信息--旨在塑造觀念以促進行為者利益的惡意行為者來說，這些語言模型帶來了自動創建有說服力和誤導性文本以用于影響力行動的希望，而不必依賴人力。對社會而言，這些發展帶來了一系列新的擔憂：那些試圖暗中影響公眾輿論的人可能會開展高度可擴展、甚至極具說服力的活動。

本報告旨在評估：語言模型的變化會如何塑造影響力行動，以及可以采取哪些措施來減輕這些威脅？由于人工智能和影響力行動都在迅速變化，這項任務本質上是推測性的。

作者于 2021 年 10 月召集了 30 位人工智能、影響力行動和政策分析領域的專家，討論語言模型對影響力行動的潛在影響，該研討會為報告中的許多觀點提供了參考。由此產生的報告并不代表研討會與會者的共識。

希望這份報告對那些對新興技術的影響感興趣的虛假信息研究人員、制定政策和投資的人工智能開發人員以及準備應對技術與社會交叉領域的社會挑戰的政策制定者有所幫助。

語言模型在影響力行動方面的潛在應用

分析了生成式語言模型對影響力行動三個眾所周知的方面——發起行動的行為體、作為戰術的欺騙行為以及內容本身——的潛在影響，并得出結論：語言模型可能會極大地影響未來影響力行動的發起方式。表 1 總結了這些變化。

語言模型有可能以較低的成本與人類撰寫的內容相媲美，這表明這些模型與任何強大的技術一樣，可以為選擇使用它們的宣傳者提供獨特的優勢。這些優勢可以擴大與更多行為者的接觸，實現新的影響策略，并使競選活動的信息傳遞更有針對性和潛在的有效性。

表 1：語言模型如何塑造影響力行動

1、行為體

由于生成AI文本的潛在變化

• 涌現出更多和更多樣化的行為體。
• 外包公司變得更加重要。

對變化的解釋

• 隨著生成式模型降低宣傳成本，更多行為體可能會發現開展影響力行動的吸引力。
• 自動生成文本的雇傭宣傳者可能會獲得新的競爭優勢。

2、行為

由于生成AI文本的潛在變化

• 內容制作自動化可擴大宣傳活動的規模。
• 現有行為變得更有效率。
• 新策略層出不窮

對變化的解釋

• 文本自動生成后，宣傳活動將更容易擴大規模。
• 有了語言模型，跨平臺測試等昂貴的策略可能會變得更便宜
• 語言模型可實現動態、個性化和實時內容生成，如一對一聊天機器人。

3、內容

由于生成AI文本的潛在變化

• 信息更可信、更有說服力。
• 宣傳不易被發現。

對變化的解釋

• 與缺乏目標語言或文化知識的宣傳人員撰寫的文本相比，生成式模型可以改進信息傳遞。
• 現有的宣傳活動經常因使用復制粘貼文本（copypasta）而被發現，但語言模型可以制作出語言獨特的信息。

影響力行動的進展和關鍵未知因素

語言模型的技術進步不可能停止，因此任何試圖了解語言模型將如何影響未來影響行動的嘗試都需要考慮到預期的進步。語言模型可能會變得更加可用（使模型更容易應用于任務）、可靠（減少模型產生明顯錯誤輸出的機會）和高效（提高應用語言模型進行影響行動的成本效益）。

這些因素促使我們做出高度自信的判斷，即語言模型在未來的影響力行動中將大有用武之地。然而，其應用的確切性質尚不明確。

有幾個關鍵的未知因素將塑造影響力行動如何以及在多大程度上采用語言模型。這些未知因素包括：

• 哪些新的影響力能力將作為善意研究的副作用而出現？傳統的研究過程以更廣泛的語言任務為目標，其結果是產生了可應用于影響力行動的系統。未來可能會出現新的能力，如制作長篇有說服力的論據。這些新出現的能力很難通過生成模型來預測，但可以決定宣傳人員將使用語言模型來執行哪些具體任務。

• 為影響力行動設計特定的語言模型是否比應用通用模型更有效？雖然目前大多數模型都是為通用任務或具有科學或商業價值的任務而建立的，但宣傳人員可以建立或調整模型，使其直接用于說服和社會工程等任務。例如，宣傳人員可以對一個較小、能力較弱的模型進行調整，這一過程被稱為微調。這很可能比建立一個更大、更通用的模型更便宜，盡管還不能確定會便宜多少。此外，對最先進的模型進行微調可以使宣傳者更容易獲得新的影響能力。

• 隨著時間的推移，參與者是否會對語言模型進行大量投資？如果許多參與者都投資并創建了大型語言模型，這將增加宣傳者獲取語言模型（合法或通過盜竊）的可能性。宣傳者本身也可以投資創建或微調語言模型，納入定制數據--如用戶參與數據--以優化其目標。

• 政府或特定行業是否會制定禁止將模型用于宣傳目的的規范？正如使用規范會限制其他技術的濫用一樣，它們也可能會限制語言模型在影響力行動中的應用。一個同意不將語言模型用于宣傳目的的國家聯盟可以讓那些不遵守的國家付出代價。在次國家層面，研究團體和特定行業可以制定自己的規范。

• 何時才能公開提供易于使用的文本生成工具？語言模型的熟練使用仍然需要操作知識和基礎設施。易于使用的工具可以生成推文或段落長度的文本，這可能會讓缺乏機器學習知識的現有宣傳人員依賴語言模型。

由于這些關鍵的可能性可能會改變語言模型對影響力行動的影響，因此為減少不確定性而開展更多研究是非常有價值的。

如何減輕潛在威脅？

在2021 年 10 月召開的研討會的基礎上，對現有的大量文獻進行了調查、 試圖為各種可能的緩解戰略提供一個殺傷鏈框架，并對其類型進行調查。目的不是認可具體的緩解策略，而是展示緩解策略如何針對影響力行動流水線的不同階段。

表 2：緩解措施實例摘要

宣傳者的要求

1.能夠生成真實文本的語言模型

2.可靠地獲取此類模型

3.分發生成內容的基礎設施

4.易受影響的目標受眾

干預階段

1.模型設計與制作

2.模型接入

3.內容傳播

4.信念形成

說明性的緩解措施

1.1 人工智能開發人員建立對事實更敏感的模型
1.2 開發人員傳播擴散性數據，使生成模型可被檢測到
1.3 對數據收集施加限制
1.4 對人工智能硬件實施訪問控制
2.1 人工智能供應商對語言模型實施更嚴格的使用限制
2.2 人工智能開發者圍繞模型發布制定新規范
3.1 平臺和人工智能供應商協調識別人工智能內容
3.2 平臺要求發布"個人身份證明"
3.3 依賴公眾意見的實體采取措施減少誤導性人工智能內容的風險
3.4 數字出處標準得到廣泛采用
4.1 機構參與媒體掃盲運動
4.2 開發人員提供以消費者為中心的人工智能工具

上表表明，沒有什么靈丹妙藥能徹底消除影響力行動中語言模型的威脅。一些緩解措施可能在社會上不可行，而另一些則需要技術突破。還有一些可能會帶來不可接受的負面風險。相反，要有效減輕威脅，很可能需要一種結合多種緩解措施的全社會方法。

此外，有效的管理還需要不同機構之間的合作，如人工智能開發者、社交媒體公司和政府機構。只有這些機構通力合作，許多建議的緩解措施才能產生有意義的影響。除非社交媒體公司能與人工智能開發人員合作，將文本歸屬于某個模型，否則他們很難知道某個虛假信息活動是否使用了語言模型。最激進的緩解措施--比如在互聯網協議中加入內容出處標準--需要極度的協調，如果它們是可取的話。

也許最重要的是，強調的緩解措施需要更多的開發、審查和研究。對其有效性和穩健性的評估值得認真分析。

圖 4：人工智能賦能的影響力行動的干預階段。為了阻止宣傳者利用語言模型實施影響力行動，可針對以下四個階段采取緩解措施：(1) 模型設計與構建；(2) 模型獲取；(3) 內容傳播；(4) 信念形成。最終，在這些階段進行干預可減輕影響行動的直接和間接影響。

基于模型的系統工程（MBSE）是 "正式應用建模來支持系統需求、設計、分析、驗證和確認活動，從概念設計階段開始，一直持續到開發和后期的生命周期階段"。(INCOSE 2007)

"多范式建模（MPM）提供了一個基礎框架，將幾個學科以一致的方式粘在一起。MPM提供的流程和工具可以結合、耦合和整合構成系統的每一個觀點。"

近年來，針對工業生態系統的高級持續性威脅（APT）的復雜性急劇增加。這使得開發超越傳統解決方案的高級安全服務成為必須，輿論動力學（Opinion Dynamics）就是其中之一。這種新穎的方法提出了一個多智能體協作框架，允許跟蹤APT的整個生命周期。在本文中，我們介紹了TI&TO，這是一個攻擊者和防御者之間的雙人博弈，代表了一個現實的場景，雙方都在爭奪現代工業結構中的資源控制權。通過使用博弈論來驗證這種技術，我們證明，在大多數情況下，輿論動力學包括有效的第一項措施，以阻止和減少APT對基礎設施的影響。為了實現這一目標，攻擊者和防御者的模型都被標準化，并應用了一個公平的評分系統，后者用不同的策略和網絡配置運行了幾個模擬測試案例。

引言

世界各地的公司面對的網絡安全攻擊數量明顯增長，導致了巨大的經濟損失[2]。當涉及到關鍵的基礎設施（即核電站、電網、運輸和制造系統）時，這種情況變得更加嚴重，其工業控制系統必須在所有條件下保持工作。在這里，我們處理的是SCADA（監督控制和數據采集）系統，幾十年來一直在與外部網絡隔離的情況下工作；反過來，如今它們正越來越多地整合新技術，如物聯網（IoT）或云計算，在削減成本的同時外包各種服務。因此，需要做出更大的努力來跟上這種進步，以應對這些系統可能帶來的最新的攻擊載體和可利用的漏洞。

近年來最關鍵的問題之一是高級持續性威脅（APTs），這是一種復雜的攻擊，特別是針對目標基礎設施，由一個資源豐富的組織實施。它們的特點是利用零日漏洞（零時差攻擊），采用隱蔽技術，使威脅在受害者網絡中長期無法被發現。Stuxnet是第一個報道的這種性質的威脅[6]，但許多其他的威脅在之后被發現，通常是在攻擊完全執行后的幾個月[7]。在網絡安全方面，只是提出了一些機制來從整體上解決這個問題，超越了傳統的機制（如防火墻、入侵防御系統（IPS）、入侵檢測系統（IDS）、防病毒），這些機制只代表了在第一階段對APT的準時保護[21]。

在這些新穎的機制中，輿論動力學（Opinion Dynamics）[15]包括一個多智能體協作系統，通過分布式異常關聯，使攻擊的整個生命周期都可以被追蹤。在本文中，我們提出了一個理論但現實的方案，以證明該方法在不同類型的攻擊模式下的有效性，使用結構可控性領域[8]和博弈論[14]支持的概念。為了這個目標，我們開發了TI&TO，這是一個雙人博弈，攻擊者和防御者為控制現代工業結構中的資源而競爭。兩個玩家都有自己的動作和相關的分數，分別根據APT和基于Opinion Dynamics的檢測系統的行為。這個博弈最終在不同的模擬中運行，旨在展示算法的能力，同時也建議將該技術與其他防御方案結合起來進行最佳配置。因此，我們可以把我們的貢獻總結為：

• 正式定義TI&TO博弈，指定游戲板、每個玩家的目標和得分規則。
• 設計一個攻擊者模型，以一組階段的形式，靈活地表示APT的各個階段，以表示攻擊者的行動，這些行動受制于一個確定的分數。
• 設計一個基于使用意見動態和響應技術（即本地檢測、冗余鏈接、蜜罐）的防御者模型，以減少APT在網絡中的影響，這也意味著博弈中的相關得分。
• 進行的實驗驗證了該算法，并推薦了返回最佳結果的防御者的配置。

本文的其余部分組織如下。第2節介紹了 "輿論動力學"的概念，并強調了應用博弈論來檢測網絡攻擊的建議。在第3節中，定義了博弈，包括規則以及攻擊和防御模型。然后，進行了幾次模擬，并在第4節進行了討論。最后，在第5節中提出了結論和未來的工作。