亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在數字化時代，網絡空間成為地緣政治爭奪的新興樞紐，信息戰與大型語言模型（LLM）的融合預示著模式的轉變，其中充滿了巨大的機遇和錯綜復雜的挑戰。隨著類似 Mistral 7B LLM（Mistral，2023 年）這樣的工具使獲取 LLM 能力的途徑擴散化（Jin 等人，2023 年），從主權國家到流氓實體（Howard 等人，2023 年）的眾多行為體發現自己擁有了強大的敘事塑造工具（Goldstein 等人，2023 年）。本文在 "克勞塞維茨-GPT "等式中提出了一個駕馭這個勇敢新世界的框架。這種新穎的表述方式不僅旨在量化機器速度 LLM 增強型作戰中固有的風險，還強調了自主人工智能代理的重要作用（Wang、Xie等，2023 年）。這些代理體現了道德考量（Hendrycks 等人，2021 年），成為不可或缺的組成部分（Wang、Ma等人，2023 年），確保我們在飛速前進的同時，不會忽視道德指南針和社會要務。

本論文以克勞塞維茨軍事戰略的永恒原則（克勞塞維茨，1832 年）為數學基礎和靈感來源，深入探討了人工智能增強信息戰的復雜動態。論文參考了最近的發現和研究（Department of State，2023 年），強調了人工智能信息戰役逐年增長的驚人速度（葉夫根尼-帕申采夫，2023 年），強調了我們當前所處關頭的緊迫性。啟蒙思想和克勞塞維茨原則的綜合為提供了一個基礎視角，強調了面對快速的技術進步，必須要有清晰的戰略眼光、倫理考慮和整體理解。

在此背景下，從計算倫理學、計算社會科學和系統工程中汲取跨學科見解的必要性變得至關重要（葉甫蓋尼-帕申采夫，2023 年）。這些學科為駕馭數字時代的復雜性提供了必要的工具和視角（Bhaso Ndzendze & Tshilidzi Marwala，2023 年），確保人工智能增強型行動不僅能實現戰略目標，而且能深刻尊重倫理界限和社會影響（Richard Ned Lebow，2007 年）。

近年來，人工智能（AI）系統有了長足的進步，其功能也在不斷擴展。特別是被稱為 "生成式模型 "的人工智能系統在自動內容創建方面取得了巨大進步，例如根據文本提示生成圖像。其中一個發展尤為迅速的領域是能夠生成原始語言的生成模型，這可能會給法律和醫療保健等多個領域帶來益處。

不過，生成式語言模型（簡稱 "語言模型"）也可能存在負面應用。對于希望傳播宣傳信息--旨在塑造觀念以促進行為者利益的惡意行為者來說，這些語言模型帶來了自動創建有說服力和誤導性文本以用于影響力行動的希望，而不必依賴人力。對社會而言，這些發展帶來了一系列新的擔憂：那些試圖暗中影響公眾輿論的人可能會開展高度可擴展、甚至極具說服力的活動。

本報告旨在評估：語言模型的變化會如何塑造影響力行動，以及可以采取哪些措施來減輕這些威脅？由于人工智能和影響力行動都在迅速變化，這項任務本質上是推測性的。

作者于 2021 年 10 月召集了 30 位人工智能、影響力行動和政策分析領域的專家，討論語言模型對影響力行動的潛在影響，該研討會為報告中的許多觀點提供了參考。由此產生的報告并不代表研討會與會者的共識。

希望這份報告對那些對新興技術的影響感興趣的虛假信息研究人員、制定政策和投資的人工智能開發人員以及準備應對技術與社會交叉領域的社會挑戰的政策制定者有所幫助。

語言模型在影響力行動方面的潛在應用

分析了生成式語言模型對影響力行動三個眾所周知的方面——發起行動的行為體、作為戰術的欺騙行為以及內容本身——的潛在影響，并得出結論：語言模型可能會極大地影響未來影響力行動的發起方式。表 1 總結了這些變化。

語言模型有可能以較低的成本與人類撰寫的內容相媲美，這表明這些模型與任何強大的技術一樣，可以為選擇使用它們的宣傳者提供獨特的優勢。這些優勢可以擴大與更多行為者的接觸，實現新的影響策略，并使競選活動的信息傳遞更有針對性和潛在的有效性。

表 1：語言模型如何塑造影響力行動

1、行為體

由于生成AI文本的潛在變化

• 涌現出更多和更多樣化的行為體。
• 外包公司變得更加重要。

對變化的解釋

• 隨著生成式模型降低宣傳成本，更多行為體可能會發現開展影響力行動的吸引力。
• 自動生成文本的雇傭宣傳者可能會獲得新的競爭優勢。

2、行為

由于生成AI文本的潛在變化

• 內容制作自動化可擴大宣傳活動的規模。
• 現有行為變得更有效率。
• 新策略層出不窮

對變化的解釋

• 文本自動生成后，宣傳活動將更容易擴大規模。
• 有了語言模型，跨平臺測試等昂貴的策略可能會變得更便宜
• 語言模型可實現動態、個性化和實時內容生成，如一對一聊天機器人。

3、內容

由于生成AI文本的潛在變化

• 信息更可信、更有說服力。
• 宣傳不易被發現。

對變化的解釋

• 與缺乏目標語言或文化知識的宣傳人員撰寫的文本相比，生成式模型可以改進信息傳遞。
• 現有的宣傳活動經常因使用復制粘貼文本（copypasta）而被發現，但語言模型可以制作出語言獨特的信息。

影響力行動的進展和關鍵未知因素

語言模型的技術進步不可能停止，因此任何試圖了解語言模型將如何影響未來影響行動的嘗試都需要考慮到預期的進步。語言模型可能會變得更加可用（使模型更容易應用于任務）、可靠（減少模型產生明顯錯誤輸出的機會）和高效（提高應用語言模型進行影響行動的成本效益）。

這些因素促使我們做出高度自信的判斷，即語言模型在未來的影響力行動中將大有用武之地。然而，其應用的確切性質尚不明確。

有幾個關鍵的未知因素將塑造影響力行動如何以及在多大程度上采用語言模型。這些未知因素包括：

• 哪些新的影響力能力將作為善意研究的副作用而出現？傳統的研究過程以更廣泛的語言任務為目標，其結果是產生了可應用于影響力行動的系統。未來可能會出現新的能力，如制作長篇有說服力的論據。這些新出現的能力很難通過生成模型來預測，但可以決定宣傳人員將使用語言模型來執行哪些具體任務。

• 為影響力行動設計特定的語言模型是否比應用通用模型更有效？雖然目前大多數模型都是為通用任務或具有科學或商業價值的任務而建立的，但宣傳人員可以建立或調整模型，使其直接用于說服和社會工程等任務。例如，宣傳人員可以對一個較小、能力較弱的模型進行調整，這一過程被稱為微調。這很可能比建立一個更大、更通用的模型更便宜，盡管還不能確定會便宜多少。此外，對最先進的模型進行微調可以使宣傳者更容易獲得新的影響能力。

• 隨著時間的推移，參與者是否會對語言模型進行大量投資？如果許多參與者都投資并創建了大型語言模型，這將增加宣傳者獲取語言模型（合法或通過盜竊）的可能性。宣傳者本身也可以投資創建或微調語言模型，納入定制數據--如用戶參與數據--以優化其目標。

• 政府或特定行業是否會制定禁止將模型用于宣傳目的的規范？正如使用規范會限制其他技術的濫用一樣，它們也可能會限制語言模型在影響力行動中的應用。一個同意不將語言模型用于宣傳目的的國家聯盟可以讓那些不遵守的國家付出代價。在次國家層面，研究團體和特定行業可以制定自己的規范。

• 何時才能公開提供易于使用的文本生成工具？語言模型的熟練使用仍然需要操作知識和基礎設施。易于使用的工具可以生成推文或段落長度的文本，這可能會讓缺乏機器學習知識的現有宣傳人員依賴語言模型。

由于這些關鍵的可能性可能會改變語言模型對影響力行動的影響，因此為減少不確定性而開展更多研究是非常有價值的。

如何減輕潛在威脅？

在2021 年 10 月召開的研討會的基礎上，對現有的大量文獻進行了調查、 試圖為各種可能的緩解戰略提供一個殺傷鏈框架，并對其類型進行調查。目的不是認可具體的緩解策略，而是展示緩解策略如何針對影響力行動流水線的不同階段。

表 2：緩解措施實例摘要

宣傳者的要求

1.能夠生成真實文本的語言模型

2.可靠地獲取此類模型

3.分發生成內容的基礎設施

4.易受影響的目標受眾

干預階段

1.模型設計與制作

2.模型接入

3.內容傳播

4.信念形成

說明性的緩解措施

1.1 人工智能開發人員建立對事實更敏感的模型
1.2 開發人員傳播擴散性數據，使生成模型可被檢測到
1.3 對數據收集施加限制
1.4 對人工智能硬件實施訪問控制
2.1 人工智能供應商對語言模型實施更嚴格的使用限制
2.2 人工智能開發者圍繞模型發布制定新規范
3.1 平臺和人工智能供應商協調識別人工智能內容
3.2 平臺要求發布"個人身份證明"
3.3 依賴公眾意見的實體采取措施減少誤導性人工智能內容的風險
3.4 數字出處標準得到廣泛采用
4.1 機構參與媒體掃盲運動
4.2 開發人員提供以消費者為中心的人工智能工具

上表表明，沒有什么靈丹妙藥能徹底消除影響力行動中語言模型的威脅。一些緩解措施可能在社會上不可行，而另一些則需要技術突破。還有一些可能會帶來不可接受的負面風險。相反，要有效減輕威脅，很可能需要一種結合多種緩解措施的全社會方法。

此外，有效的管理還需要不同機構之間的合作，如人工智能開發者、社交媒體公司和政府機構。只有這些機構通力合作，許多建議的緩解措施才能產生有意義的影響。除非社交媒體公司能與人工智能開發人員合作，將文本歸屬于某個模型，否則他們很難知道某個虛假信息活動是否使用了語言模型。最激進的緩解措施--比如在互聯網協議中加入內容出處標準--需要極度的協調，如果它們是可取的話。

也許最重要的是，強調的緩解措施需要更多的開發、審查和研究。對其有效性和穩健性的評估值得認真分析。

圖 4：人工智能賦能的影響力行動的干預階段。為了阻止宣傳者利用語言模型實施影響力行動，可針對以下四個階段采取緩解措施：(1) 模型設計與構建；(2) 模型獲取；(3) 內容傳播；(4) 信念形成。最終，在這些階段進行干預可減輕影響行動的直接和間接影響。

無線電隱蔽通信涉及發送不易被第三方觀察者發現或截獲的信號。目前有多種低檢測概率（LPD）策略，如擴頻（SS）、碼分多址（CDMA）和混沌 CDMA。機器學習（ML）為實現 LPD 提供了一種新策略。具體來說，隨著包括生成對抗網絡（GANs）在內的深度學習（DL）技術的最新進展，我們假設 ML 可用于開發難以與自然噪聲區分開來的編碼方案--自然噪聲既存在于射頻環境中，也表現在無線電接收機的電子電路中。

最早記錄在案的隱形無線電通信形式是 SS 技術，即通過偽隨機選擇的信道傳輸部分信號，這樣竊聽者可能對任何單個頻段的信息知之甚少。CDMA 是這一策略的現代替代方案，可產生低于噪聲底限（即信噪比 [SNR] 低于 0 dB）的信號。除非竊聽者知道要尋找的代碼（如用于手機的商業標準 CDMA），否則他們可能無法識別射頻背景中是否存在人工信號。混沌生成的芯片序列或長序列偽隨機生成的密鑰可以進一步防止竊聽者識別射頻活動。多年來，人們還提出了其他 LPD 通信方法，包括不精確的同相/正交相位 (I/Q) 星群和多天線。此外，還分析了在信道條件下通信的隱蔽性和內容豐富程度的問題。

GANs 是 ML 領域相對較新的發展，它允許模型合成與訓練集相似的真實數據。GANs 還可用于生成能夠騙過同時訓練的判別器的數據。在本報告中，我們探討了是否有可能生成一種既能冒充隨機高斯白噪聲（GWN），又能向知情接收者準確傳達英文文本序列的代碼。我們訓練了一個判別神經網絡模型，以區分偽隨機高斯白噪聲和編碼信息。我們還同時訓練編碼器和解碼器網絡，以便在純文本信息和 8 位類噪聲代碼之間進行轉換，這大致相當于典型的低成本軟件定義無線電的 I/Q 輸入和輸出精度。

我們在此不討論隱身無線通信中的一個基本挑戰，即在傳輸頻段中存在可探測到的多余能量。但我們知道，信噪比遠低于 0 dB 也能用于信息通信，這在全球導航衛星系統 (GNSS) 和 CDMA 應用中都能看到。

2022 年 11 月，OpenAI 發布了一款聊天機器人 ChatGPT，它由一個名為生成預訓練轉換器（GPT）的大型語言模型（LLM）驅動。令人驚訝的是，ChatGPT 在兩個月內就獲得了 1 億用戶。相比之下，YouTube、Instagram 和 Facebook 分別用了 1.5 年、2.5 年和 4.5 年才達到同樣的里程碑。

語言模型并不新鮮。約瑟夫-韋曾鮑姆（Joseph Weizenbaum）在 20 世紀 60 年代就開發了一個這樣的模型 Eliza。該模型使用簡單的模式匹配和替換技術來模擬與人類治療師的對話[Weizenbaum 1976]。此后，人工智能研究人員開發了基于規則、統計和神經的自然語言理解和生成方法。

最近，LLM 改變了科學前沿。GPT 就是一個例子。這些模型使用一種稱為深度神經網絡（DNN）的極具表現力的架構來學習單詞在不同句子和段落上下文中出現的可能性。LLM 是在龐大的數據存儲基礎上訓練出來的，在互聯網中占有相當大的比例。這為 LLM 提供了廣博的知識。事實上，LLM 是基礎模型的一個特殊例子--人工智能中的通用模型，是訓練成為某一領域專家的更專業模型的基礎。

盡管語言模型在過去 50 多年中取得了重大技術進步，但 ChatGPT 的發布仍是一個轉折點： 這是語言模型第一次得到廣泛應用。ChatGPT 之所以能做到這一點，部分原因是它的反應相對于早期的語言模型更加準確，而且 LLM 具有新出現的能力。具體來說，LLMs 能夠進行無語境學習，即根據用戶指令調整自己的回復方式。這種能力使 LLM 能夠完成它們沒有經過訓練的新任務。

LLM 的技術能力令人印象深刻。但它們是否會對現有流程產生實質性影響，是否會導致新流程的產生？簡而言之，LLM 的實際用途是什么？

為了回答這個問題，我們進行了四項深入的案例研究。在每個案例研究中，我們使用 ChatGPT 網絡應用程序中提供的 GPT-3.5 版本，根據我們提供的提示完成任務。本文中描述的案例研究跨越多個領域，需要的能力也大不相同：

• 數據科學
• 培訓與教育
• 研究
• 戰略規劃

對于每一個案例，我們都會展示我們與 ChatGPT 交互過程中產生的未經修改的文字記錄。然后，我們對與 ChatGPT 的互動模式進行評論，并指出其在具體案例研究中的優勢和局限性。

我們發現，ChatGPT 有助于提高所生成產品的質量并加快其開發。然而，ChatGPT 并沒有消除人類參與的需要：需要知識淵博的人將復雜的任務分解成 ChatGPT 可以完成的簡單任務，他們還需要驗證 ChatGPT 的輸出結果。我們報告的更多細微的發現都與 ChatGPT 有關--它們可能不適用于其他現有的或正在開發的 LLM。然而，ChatGPT 可以提高工作效率，但不能取代人工參與這一發現對所有 LLM 都適用。

案例：戰略規劃

長期思考和規劃對于個人和組織的成功至關重要。商業戰略家彼得-施瓦茨（Peter Schwartz）在其頗具影響力的著作《長遠規劃的藝術》（The Art of the Long View）中，通過一種名為場景規劃的技術，強調了面向未來的分析和規劃的重要性[Schwartz 1991]。這種方法使組織能夠為多種未來場景做好準備，并對新出現的風險和機遇做出反應。

盡管戰略規劃有諸多益處，但組織在試圖駕馭未來的不確定性時也會面臨一些挑戰。不確定性的兩個主要來源是技術發展的速度和不斷變化的全球環境。如果不能應對這些不確定性，就可能導致對不成熟或無效技術的投資，從而限制組織應對未來挑戰的能力。

學術界、工業界和政府都采用了一套被稱為前瞻方法的技術，以便在面對不確定性時做出戰略決策[Popper，2008 年]。展望鉆石 "是一個根據展望方法所依賴的知識類型對其進行分類的框架（圖 4）。鉆石的四個象限分別代表基于證據的方法、基于專業知識的方法、創造性方法和互動方法[Popper，2008 年]。

圖 4：前瞻性“鉆石”

基于證據的方法依賴于對現有數據源（如專利和出版物）的定量分析，以及利用建模和模擬生成新數據。另一方面，基于專業知識的方法依賴于在相關領域擁有特定資質的個人的知識和技能。創造性方法依賴于富有想象力和獨創性的思維，而互動性方法則依賴于交流和評估對特定挑戰或問題持有部分重疊但截然不同觀點的個人的想法。展望方法是戰略規劃和決策制定的寶貴工具，但也有一些重要的局限性需要考慮。與前瞻相關的一些最大挑戰包括以下方面：

1.不確定性： 展望方法允許考慮潛在的未來事件和趨勢，但無法消除不確定性。意料之外的干擾會使分析變得過時和不完整。

2.假設： 展望方法基于對未來的假設，而這些假設可能會受到人類偏見、過去經驗和當前趨勢的影響，可能無法準確反映未來的現實。

3.專業知識： 展望方法依賴于人的輸入，因此容易出現錯誤，如誤讀數據、分析有誤或專業知識不足。

4.成本： 前瞻性方法的實施可能耗時費錢，需要在數據收集、分析和專家咨詢方面投入大量資金。

這些局限性會影響展望方法所產生結果的及時性和質量，并可能限制其在擁有充足資源和專業知識的組織中使用。

利用 LLM 增強預測能力

LLM 有可能提高人類智能，并減輕與前瞻性方法相關的一些挑戰。因此，它們可以幫助進行戰略規劃和決策。

表 4 列出了展望方法面臨的主要挑戰，以及 LLMs 如何應對這些挑戰。標有 "中 "字的橙色單元格表示中度贊同使用 LLM 應對該挑戰，標有 "高 "字的綠色單元格表示高度贊同。

例如，LLMs 無法為未來事件提供精確的概率值，但它們可以生成替代未來，包括人類可能未曾考慮過的未來。此外，LLMs 還能對小組和高級決策者的意見提出質疑，而不會屈服于群體思維。此外，雖然不能替代人類專家，但在展望活動中，法律碩士可以幫助填補知識空白和驗證事實。最后，LLM 有可能使人類以更高效的方式應用創造性的循證技術。

加固網絡物理資產既重要又耗費人力。最近，機器學習（ML）和強化學習（RL）在自動化任務方面顯示出巨大的前景，否則這些任務將需要大量的人類洞察力/智能。在RL的情況下，智能體根據其觀察結果采取行動（進攻/紅方智能體或防御/藍方智能體）。這些行動導致狀態發生變化，智能體獲得獎勵（包括正獎勵和負獎勵）。這種方法需要一個訓練環境，在這個環境中，智能體通過試錯學習有希望的行動方案。在這項工作中，我們將微軟的CyberBattleSim作為我們的訓練環境，并增加了訓練藍方智能體的功能。報告描述了我們對CBS的擴展，并介紹了單獨或與紅方智能體聯合訓練藍方智能體時獲得的結果。我們的結果表明，訓練藍方智能體確實可以增強對攻擊的防御能力。特別是，將藍方智能體與紅方智能體聯合訓練可提高藍方智能體挫敗復雜紅方智能體的能力。

問題描述

由于網絡威脅不斷演變，任何網絡安全解決方案都無法保證提供全面保護。因此，我們希望通過機器學習來幫助創建可擴展的解決方案。在強化學習的幫助下，我們可以開發出能夠分析和學習攻擊的解決方案，從而在未來防范類似威脅，而不是像商業網絡安全解決方案那樣簡單地識別威脅。

工程描述

我們的項目名為MARLon，探索將多智能體強化學習（MARL）添加到名為CyberBattleSim的模擬抽象網絡環境中。這種多智能體強化學習將攻擊智能體和可學習防御智能體的擴展版本結合在一起進行訓練。

要在CyberBattleSim中添加MARL，有幾個先決條件。第一個先決條件是了解CyberBattleSim環境是如何運行的，并有能力模擬智能體在做什么。為了實現這一點，該項目的第一個目標是實現一個用戶界面，讓用戶看到環境在一個事件中的樣子。

第二個先決條件是為CyberBattleSim添加MARL算法。目前CyberBattleSim的表Q學習和深Q學習實現在結構上無法處理這個問題。這是因為CyberBattleSim實現的表Q學習和深Q學習不符合適當的OpenAI Gym標準。因此，需要添加新的強化學習算法。

當前的防御者沒有學習能力，這意味著要啟用多智能體學習，防御者需要添加以下功能：添加使用所有可用行動的能力，將這些行動收集到行動空間，實現新的觀察空間，并實現獎勵函數。

最后，為了增加MARL，新創建的攻擊者算法和新的可學習防御者必須在同一環境中組合。這樣，兩個智能體就可以在相互競爭的同時進行訓練。

制定量化不確定性元數據的軍事標準是解決利用人工智能/機器學習（AI/ML）軍事優勢所固有的問題。通過提供元數據，美國防部可以繼續確定使用人工智能/機器學習的最佳策略，與能力發展同步進行。這種協調將防止在解決與在作戰系統中實施AI/ML有關的困難技術問題時出現延誤。不確定性量化可以使觀察、定向、決定和行動循環的實際數字實施成為可能，解決在戰爭中使用AI/ML的道德問題，并優化研究和開發的投資。

引言

從基礎上講，美國軍隊不需要人工智能/機器學習（AI/ML）。然而，軍隊需要能夠比對手更快、更好地觀察、定位、決定和行動（OODA），以實現軍事優勢。機器有能力以比人類更快的速度進行觀察、定位、決定和行動，從而實現這一優勢。然而，關于允許AI或ML模型 "決定 "最佳軍事行動方案是否合適的問題仍然沒有定論，因為該決定可能導致破壞和死亡。

利用AI/ML的軍事優勢的潛在隱患已經被不厭其煩地提出來。有三個問題仍然是最令人擔憂的：（1）解決賦予AI摧毀事物和人的權力的道德和倫理考慮；（2）平衡發展AI/ML能力的成本和軍事效用；以及（3）確保對機器的適當信任水平，以最佳地利用對能力發展的AI/ML部分的投資。然而，作為元數據納入軍事信息的不確定性量化（UQ）可以解決這三個隱患，同時遵守美國防部的人工智能倫理原則。

美國防部的人工智能戰略將AI/ML技術的成熟作為優先事項并加以激勵。其結果是，試圖快速實施能力的活動紛至沓來，而對能力增長的可持續性或AI/ML使用的高階影響規劃卻少之又少。正如一位國防研究人員所指出的，"當技術變革更多的是由傲慢和意識形態驅動，而不是由科學理解驅動時，傳統上調節這些力量的機構，如民主監督和法治，可能會在追求下一個虛假的黎明時被削弱。"

美國國防高級研究計劃局認為，目前的AI/ML系統 "缺乏必要的數學框架 "來提供使用保證，這阻礙了它們 "廣泛部署和采用關鍵的防御情況或能力。"保證需要信心，而信心需要最小的不確定性。使用AI/ML的系統的這種保證可以幫助解決道德方面的考慮，提供對開發成本與效用的洞察力，并允許其在戰爭中的使用責任由最低層的指揮官和操作員承擔。

通過在AI/ML系統中實施不確定性量化的軍事標準，美國防部可以確保對這些系統非常需要的信任。此外，如果美國防部將不確定性量化作為對開發者的要求，有可行的方法來應用現有的數學方法來確定和傳播不確定性。然而，當軍方將這一標準應用于信息時，它必須牢記不確定性量化的高階效應和挑戰。

AI/ML的不確定性量化

為了解決上述三個陷阱，任何軍事數字系統內部和都應該要求進行不確定性量化。不確定性量化是為系統中的不完美或未知信息分配一些數字的過程，它將允許機器實時表達它的不確定性，為建立對其使用的信任增加關鍵的透明度。美國防部應實施一項軍事標準，規定對數字系統中的每個數據或信息的元數據進行不確定性的量化標記。一旦可用，這些元數據可以通過功能關系傳播到更高層次的信息使用，為AI或ML模型提供所需的信息，以始終表達它對其輸出的信心如何。

理解作為元數據的UQ需要理解計量學的基礎概念--與測量不確定度有關的權重和計量科學。也就是說，一個測量有兩個組成部分： 1）一個數值，它是對被測量量的最佳估計，以及2）一個與該估計值相關的不確定性的測量。

值得注意的是，2008年國際標準化組織（ISO）的《測量不確定性表達指南》定義了測量不確定性和測量誤差之間的區別。這些術語不是同義的："通常在被測物[被測量的量]的報告值后面的±（加或減）符號和這個符號后面的數字量，表示與特定被測物有關的不確定性，而不是誤差。誤差是指測量值與實際值或真實值之間的差異。不確定度是許多誤差的影響"。

在軍事術語中，"測量"是在OODA循環中收集和使用的任何信息。每條信息都是由某種傳感器測量的，并且會有一些不確定性與之相關。作為元數據的不確定性量化將至少采取兩種形式：根據經驗產生的測量不確定性（基于上文概述的計量標準）和統計學上假設的不確定性（通過一些手段確定，其中有很多）。

操作員在使用具有UQ功能的系統時，可以使用系統報告的不確定性來告知他們的戰術決策。指揮官可以利用這種系統在作戰甚至戰略層面上為各種類型的軍事行動設定所需的預定義信任水平，這可以幫助操作人員在使用AI或ML模型時了解他們的權限是什么。這也將有助于采購專業人員為AI/ML能力的發展做出適當的投資決定，因為它將量化效用的各個方面。此外，在使用AI/ML的系統中提供量化的最低限度的確定性要求，可以解決上面討論的三個隱患。

就使用AI的道德和倫理問題而言，對于 "讓AI或ML模型決定將導致破壞和死亡的軍事行動方案，是否符合道德或倫理？"這個問題沒有單一的正確答案。正如所有的道德和倫理辯論一樣，以絕對的方式處理是不可能的。

因此，美國防部應將軍事行動分為三個眾所周知的機器自主性相對程度之一：機器永遠不能自己做的事情，機器有時或部分可以自己做的事情，或機器總是可以自己做的事情。然后，美國防部可以為這些類別中的每一類定義一個最低的確定性水平作為邊界條件，并且/或者可以定義具體行動所需的最低確定性水平。決策或行動的關鍵性將推動UQ邊界的確定。使用不確定性量化包含了在處理使用AI/ML的系統的道德考慮方面的細微差別和模糊性。

當涉及到平衡人工智能/機器學習的成本與使用時，美國防部的受托責任是確保對人工智能/機器學習發展的投資與它的軍事效用成正比。如果人工智能/機器學習政策禁止美國軍隊允許人工智能決定摧毀某物或殺人，那么開發和采購一營完全自主的殺手機器人就沒有任何意義。因此，預先定義的最低不確定性界限將使采購專業人員能夠確定如何最好地使用有限的資源以獲得最大的投資回報。

在能力發展過程中優化對AI/ML的信任，將需要對AI/ML采購中普遍存在的經驗不足以及機器學習中不確定性量化科學的相對稚嫩進行保障。"不確定性是機器學習領域的基礎，但它是對初學者，特別是那些來自開發者背景的人造成最困難的方面之一。" 系統開發的所有方面都應該包括不確定性量化的元數據標簽，無論系統是否打算自主使用。

這些輸出可能會被卷進更高層次的數字能力中，然后需要UQ數據來計算不確定性的傳播。例如，F-16維護者的故障代碼閱讀器應該有不確定性量化元數據標記到每個故障讀數，在源頭提供這種量化。讀碼器本身并不打算納入人工智能或機器學習模型，而且該數據可能不會立即用于人工智能/ML應用，但故障數據可能會與整個艦隊的故障數據進行匯編，并提交給預測倉庫級維護趨勢的外部ML模型。元數據將跟隨這組數字信息通過任何級別的編譯或高階使用。

要求將不確定性量化元數據作為一項軍事標準，實現了美國防部長關于人工智能道德原則的意圖，其中包括五個主要領域：

• 負責任： UQ為判斷提供依據，為開發、部署和使用人工智能能力提供經驗基礎。
• 公平性： 人工智能中的偏見可以用與不確定性相同的方式來衡量，并且是基于許多相同的統計學原理。然后，偏見可以被解決和改善。
• 可追溯性： 要求每個層次的不確定性元數據能夠保證可追溯性。機器的性能問題可以追溯到有問題的部件。
• 可靠性： UQ允許開發人員檢查，并允許有針對性地改進最惡劣的輸入因素。
• 可管理： UQ作為自主性信任等級的邊界條件，可以用來定義實現預期功能和避免意外后果的準則。

采用這些道德原則是為了確保美國防部繼續堅持最高的道德標準，同時接受人工智能這一顛覆性技術的整合。不確定性量化是實現這一目標的實用方法。

在AI/ML中建立信任

蘭德公司的一項研究發現，信任是與人工智能/ML的軍事用途有關的大多數擔憂的根本原因。國防部研究人員指出，"當涉及到組建人類和自主系統的有效團隊時，人類需要及時和準確地了解其機器伙伴的技能、經驗和可靠性，以便在動態環境中信任它們"。對于許多自主系統來說，它們 "缺乏對自身能力的認識，并且無法將其傳達給人類伙伴，從而降低了信任，破壞了團隊的有效性"。

AI/ML模型中的信任從根本上說是基于人類對信息的確定性，無論是簡單的傳感器輸出還是自主武器系統的整體能力。這一點得到了MITRE公司研究的支持： 人工智能采用者經常詢問如何增加對人工智能的信任。解決方案不是讓我們建立人們完全信任的系統，也不是讓用戶只接受從不犯錯的系統。相反，教訓指出了在證據和認知的基礎上形成良好的伙伴關系的重要性。良好的伙伴關系有助于人類理解人工智能的能力和意圖，相信人工智能會像預期的那樣工作，并在適當程度上依賴人工智能。然后，利益相關者可以校準他們的信任，并在授予人工智能適當的權力之前權衡人工智能決定的潛在后果。

通過將機器--數字或物理--視為合作伙伴，軍方可以將其與人類合作伙伴的信任建立技術進行類比。健全的伙伴關系需要有效的雙向溝通和加強合作的系統。"事實上，數字系統輸出中的不確定性措施是沒有用的，除非這種不確定性可以傳達給人類伙伴。一旦機器能夠量化不確定性，并且能夠傳達這種量化，它們也能夠對輸出進行評估并改進系統。

機器對其自身能力的認識的實時反饋，將通過提供每個循環中的不確定性的量化，增加機器的觀察、定位和決定功能的透明度。這種反饋提高了對該特定系統的信任，并通過不確定性的傳播實現了對系統中的系統的信任量化。例如，考慮遙控飛機（RPA）對一個潛在目標的視頻監控。如何確定RPA的傳感器是準確的和經過校準的，視頻流沒有被破壞，和/或操作者已經得到了關于首先將傳感器指向何處的健全的基線情報？

OODA環路的每一個組成部分都有一些相關的不確定性，這些不確定性可以而且應該被量化，從而可以用數學方法傳播到決策層面。在這種情況下，它將導致目標正確性的x%的傳播確定性，使任務指揮官對他們的態勢感知（觀察）充滿信心，并使他們能夠更好地確定方向，更快地決定是否參與。

通過量化不確定性，并將其與各類行動所需的預定信心水平結合起來使用，決策者可以圍繞那些幾乎沒有道德影響的軍事行動以及那些有嚴重道德影響的軍事行動創造邊界條件。國防部高級領導人還可以為開發和應用人工智能/ML能力的投資比例設定門檻，并可以確保投資將被用于實現最佳軍事優勢。這將通過 "量化-評估-改進-溝通 "的循環為使用人工智能/ML的系統提供保證。

不確定性量化允許設置如果-那么關系，以限制機器的可允許行動空間。在另一個簡略的例子中，一個空間領域意識任務可以使用紅外傳感器數據來識別空間飛行器。如果-那么關系可能看起來像這樣： 如果傳感器數據與目標的關聯模型的確定性大于95%，那么該目標識別信息可以在國家空間防御中心目錄中自動更新。如果傳感器數據與目標的關聯模型的確定性大于75%但小于95%，那么機器可以嘗試與確定性大于75%的信號情報（SIGINT）進行匹配，或者可以將信息發送給人類進行驗證。

因此，使用量化的不確定性使指揮官能夠將決策樹根植于人工智能/ML模型可使用的參數中，并指導如何使用這些人工智能/ML模型。在考慮機器自主性的三個相對程度時，指揮官可以預先定義每一類行動的輸入的不確定性水平，作為何時以及在何種情況下讓機器決定是有意義的指導方針，明確界定使用人工智能或ML模型的參與規則。

所有武器系統，無論是否打算納入自主性，都應在其計劃的用戶界面中提供不確定性元數據。了解所有輸入的不確定性對傳統武器系統的用戶和人工智能/ML的應用一樣有利。通過現在提供元數據，國防部高級領導人可以繼續確定使用AI/ML的最佳治理和政策，而不會放慢技術和工程發展。任何這樣的治理都可以在未來通過參考系統內組件級或輸出級的量化不確定性來實施。

數學實現

將不確定性量化和傳播應用于收緊OODA循環，假定功能關系可用于定義軍事情況。函數關系是這種應用的最佳數學方法，因為一般可以證明函數值和輸入變量之間存在因果關系，而不需要具體確定關系的確切數學形式。通過假設這些函數關系的存在，可以使用一個描述不確定性傳播的一般方程式。

一個帶有不確定性條款的通用函數關系看起來像：

其中y是輸出，u(y)是該輸出的不確定性，有n個輸入變量，其相關的不確定性影響該輸出。這表明y取決于n個輸入變量，并且按照 "不精確概率論者 "的風格，y的精確值在y+u(y)到y-u(y)的區間內。

這種旨在改善醫學實驗室研究的想法的直接應用也涉及到軍事決策。"與任何測量相關的不確定性及其通過定義的函數關系的傳播可以通過微分（部分微分）和應用不確定性傳播的一般方程來評估。"這些數學方法將捕捉到在一個非常復雜的系統中許多測量物變化時不確定性的變化。這個不確定性傳播方程可以用標準的統計程序得出，最重要的是，它與函數關系的確切形式無關。

請那些更精通統計學的人將這種方法提交給進一步的案例研究，并確定在需要包括許多輸入變量時，在非常大的系統層面計算傳播的不確定性的可行性。已經表明，"問題越復雜，獲得校準的不確定性估計的成本就越高"。這種方法通過作戰級別的人工智能/ML模型（即涉及一翼或一營的交戰）可能是可行的，但更高層次的戰略不確定性傳播（即包括政治經濟或核因素的戰役級模型）可能需要不可行的計算能力來實時計算。

作為輸入數據集的一部分，通過機器學習模型傳播測量的不確定性比使用統計方法來估計模型內的不確定性要少得多。數據科學家和人工智能研究人員將熟悉大量專注于假設機器學習模型內的不確定性的研究，但許多歷史工作并沒有采取調整認識上的不確定性--ML模型的訓練數據量不足--與訓練數據集中的測量不確定性的方法。

測量的不確定性可以被認為是數據中的噪聲和/或觀察中的變異性。在數字系統中實施不確定性量化時，需要對不確定性的其他方面進行量化，如領域覆蓋的完整性，也就是輸入數據集的代表性，以及軍事問題的不完善建模，這是模型開發過程中不正確的基線假設的結果，最終植根于人類判斷的不完善。

一個更現代的傳播方法，可能計算量較小，可能是使用機器學習來假設不確定性。來自其他學科使用神經網絡的證據顯示，納入已知的輸入數據不確定性，"與不使用它們的情況相比，對做出更好的預測是有利的"。這些研究人員還建議進一步調查在貝葉斯深度學習框架中使用已知的輸入數據不確定性 "作為要得出的不確定性的初始值"，這將是一種與統計學得出的不確定性協同傳播經驗不確定性的方式。

使用數學方法來傳播不確定性，將納入并考慮到不確定性的影響--無法解釋的數據的固有隨機性--以及認識上的不確定性。擬議的軍事標準應將測量不確定性的要求與傳播到高階用途的要求結合起來，如機器學習或更抽象的建模和模擬。用軍事術語來說，通過這種方法使UQ標準化，不僅要考慮基線觀測數據的不確定性，還要考慮與方向和行動有關的數據不確定性。

軍事用途的數學問題

為了繼續與軍事戰略進行類比，功能關系描述了在OODA循環中如何獲得軍事優勢，以及不確定性如何在該過程中傳播。

在這個特意象征性的等式中，觀察和定位是恒定的活動，而決策和行動是時間上的離散事件。所期望的軍事效果的成功概率是基于循環中每個輸入變量的不確定性的傳播：操作者有多大把握(a)他們的觀察抓住了現實，(b)他們以預期的方式定向，(c)他們的決定以預期的方式執行，以及(d)他們的行動沒有被打亂。

這種方法的障礙在于它需要對不確定性的事先了解，這是目前無法獲得的元數據，因為在經驗情況下確定它的成本通常很高，而在統計情況下有許多可接受的方法來生成它。這就回到了建議的解決方案，即征收要求和標準，以提供與每個輸入變量相關的不確定性作為元數據。一旦提供，匯編觀測和定位數據的人工智能/ML系統可以使用元數據進行傳播，并向操作者或指揮官提供情況圖中的總體量化不確定性。當實時使用時，這種方法內在地捕捉了OODA循環的決策和行動步驟的各個方面。

高階效應和挑戰

一項分析表明，將不確定性信息傳達給無人駕駛車輛的操作員并使之可視化，有助于提高人類-AI團隊的績效。但其他人工智能研究人員也表明，"需要更多地研究如何以對用戶有意義的方式，最好地捕捉和呈現開發者的[不確定性量化]"。他們進一步指出，"讓用戶對他們不了解的方面有看似控制的感覺，有可能給人以清晰和知情控制的錯覺，造成額外的自動化偏差，或者干脆讓用戶選擇一個給他們想要的答案的選項。" 這一發現堅實地進入了決策理論和心理學的工作體系。有一些統計方法試圖用算法來定義判斷和決策，使用這些方法有風險。

一項單獨的分析提供了判斷和決策文獻中與決策中使用不確定性估計有關的結論。該研究的結論是，向利益相關者提供不確定性估計可以通過確保信任的形成來提高透明度： "即使是經過良好校準的不確定性估計值，人們也會有不準確的認識，因為(a)他們對概率和統計的理解程度不同，(b)人類對不確定性數量的認識往往受決策啟發式的影響。

作者進一步補充說，"非專業人士和專家都依賴心理捷徑或啟發式方法來解釋不確定性"，這 "可能導致對不確定性的評估出現偏差，即使模型輸出是經過精心校準的"。不出所料，關于這個問題的主要啟示是，所選擇的UQ交流方法應首先與利益相關者進行測試，開發人員應滿足他們的UQ顯示和用戶界面的不同終端用戶類型。例如，向數據科學家介紹不確定性量化應該與向戰時決策的操作員介紹UQ不同。情報界在確定傳達與軍事信息相關的不確定性的最佳方法方面有著悠久的歷史，因此它對 "估計概率詞 "的約定可能是后一類終端用戶的合適出發點。

當考慮在作戰和戰略決策層面使用傳播的不確定性時，有可能使用傳播計算可能使UQ數字變得不相關和不可用，因為在非常復雜的系統中，不確定性接近100%的期望輸出。順便說一句，這是一個有趣的結論，可能指向 "戰爭迷霧 "的數學證明。進一步調查計算非常大的系統級別的傳播的不確定性可能會更好地闡明這個結論。

然而，這種高度傳播的不確定度的潛在缺陷并不足以反駁實施不確定度軍事標準的做法。包括每個級別的元數據標簽，使操作人員能夠檢查哪些因素造成了最大的不確定性，哪些因素是指揮官可以有高度信心的，這仍然是非常有用的信息。當操作員的帶寬在高壓力交戰之外可用時，這些元數據標簽允許操作員檢查功能關系中輸入變量之間的協方差和相關性。這些元數據還可以被采集專業人員用于評估和改進任務，通過識別系統性錯誤并將其消除，以及識別造成隨機錯誤的最嚴重的罪犯。

高度傳播的UQ可能是不相關的，這也強調了發展健全的軍事判斷的永久重要性。正如在任何不確定性非常高的軍事情況下，為實現軍事優勢，將需要具有敏銳性的操作員和指揮官。使用人工智能/ML來觀察、定位、決定和比對手更快地行動，只有在行動優越的情況下才會導致勝利。勝利理論的這一層面與要求、傳播和以標準化的方式交流UQ的論點不同。

最后，AI/ML要求輸入數據是感興趣領域的 "具有適當代表性的隨機觀察樣本"。重要的是，"在所有情況下，我們永遠不會有所有的觀察結果"，而且在感興趣的領域內 "總會有一些未觀察到的情況"。盡管人工智能或ML算法是在一個不充分的數據集上訓練出來的，但試圖在數據抽樣中實現對該領域的全部觀察覆蓋也是不理想的。

當以較高的行動節奏將人工智能/ML應用于OODA循環時，提高領域的覆蓋率并不需要更多的抽樣，而應該通過抽樣中更多的隨機化來實現，重點是確定準確的測量不確定性。上述關于已知輸入數據的研究從理論上和經驗上證明，將數據的不確定性納入一系列機器學習模型的學習過程中，使模型對過擬合問題更有免疫力--當模型與訓練數據集擬合得過于緊密時，就會出現不可接受的ML行為，導致在負責評估未知數據時出現不準確的預測結果。

過度擬合的問題并不是機器學習所獨有的，從根本上說是由輸入數據集的缺陷造成的。"簡單地說，不確定性和相關的無序性可以通過創造一個更高更廣的更一般的概念來代表現實的直接假象來減弱"。這導致了對該領域的最大統計覆蓋，對被觀察系統的侵擾最小。它還最大限度地減少了數據和元數據集的大小，從而在高階使用中提高了UQ傳播方程的計算效率。

結論

實施量化不確定性元數據的軍事標準，并發展傳播、評估、改進和交流該信息的能力，將為繼續追求AI/ML的軍事用途能力提供最大的靈活性。使用人工智能/ML系統的不確定性量化，通過溝通、透明和參與共同經歷來發展這種信任，使人機團隊內部能夠相互信任和團結。使用AI/ML系統實現軍事目標的保證需要量化的不確定性。

與軍事戰略的概念相聯系，這種不確定性量化的整個框架有助于一個成功的組織。通過現在提供UQ元數據，國防部高級領導人可以繼續確定使用人工智能/ML的最佳治理和政策，而不耽誤技術和工程開發。隨著作戰人員使用UQ來發展對AI/ML伙伴的信任，軍隊的觀察、定位、決定和行動的能力將比對手更快，并確保軍事優勢。

隨著ChatGPT等大型人工智能（AI）模型的廣泛應用，人工智能生成內容（AIGC）越來越受到關注，正引領著內容創建和知識表示的范式轉變。AIGC使用生成性大型AI算法，根據用戶提供的提示，以更快的速度和更低的成本輔助或替代人類創建大量的、高質量的、類似人類的內容。盡管AIGC最近取得了顯著的進步，但其安全性、隱私性、道德和法律挑戰仍需得到解決。本文深入調研了AIGC的工作原理、安全和隱私威脅、最先進的解決方案以及AIGC范式的未來挑戰。具體而言，我們首先探討了AIGC的啟用技術、通用架構，并討論其工作模式和關鍵特征。然后，我們調研了AIGC的安全和隱私威脅的分類，并強調了GPT和AIGC技術的道德和社會影響。此外，我們回顧了關于AIGC模型及其生成內容的可規范AIGC范式的最新AIGC水印方法。最后，我們確定了與AIGC相關的未來挑戰和開放的研究方向。

//www.zhuanzhi.ai/paper/b8bd2d1b3785e54627ad947b1997f5d9

1. 引言

人工智能生成內容（AIGC）指的是利用生成性AI算法來協助或替代人類，基于用戶的輸入或需求，以更快的速度和更低的成本創建豐富的個性化和高質量內容[1]-[3]。AIGC包含了廣泛的合成內容，包括文本（如詩歌），圖片（如藝術品），音頻（如音樂），視頻（如動畫），增強訓練樣本和交互式3D內容（如虛擬化身，資產和環境）。作為傳統內容創作范例，如專業生成內容（PGC）和用戶生成內容（UGC）的補充，充滿前景的AIGC范例允許以自動化和有效的方式生產大量的內容，且成本低[4]，這對各種新興應用如元宇宙[5]和數字孿生[6]都非常有益。例如，在Roblox（一款交互式元宇宙游戲）中，AIGC可以為化身產生個性化皮膚和3D游戲場景，使用戶能在一個沉浸式的虛擬空間中玩耍，合作和社交。根據Gartner的數據[7]，到2025年，生成性AI算法預計將生產約10%的所有數據。

從技術角度看，AIGC通常由兩個階段組成[3]：(i) 提取和理解用戶的意圖信息，以及 (ii) 根據提取的意圖生成所需的內容。2022年11月，OpenAI發布了ChatGPT，這是一個多功能的語言模型，能夠生成代碼，編寫故事，執行機器翻譯，進行語義分析等等。到2023年1月，每天有近1300萬用戶在與ChatGPT交互[8]。ChatGPT是生成預訓練Transformer（GPT）的一個變種，GPT是一個基于Transformer的大型語言模型（LLM），能夠理解人類語言并創造類似人類的文本（例如，故事和文章）[9]，如圖1所示。隨著最近大型語言模型（如ChatGPT和其后繼者GPT-4）的進步，AIGC的能力得到了顯著加強，可以執行更復雜的任務（例如，多模態任務）并具有更高的準確性，這得益于LLM提供的更好的意圖提取[10]。由于技術進步和需求增加，AIGC已經引起了全球的關注，并在娛樂，廣告，藝術和教育等各種應用中展現出了巨大的潛力。包括OpenAI，Google，Microsoft，NVIDIA和百度在內的科技巨頭都已經宣布他們將探索AIGC，并開發了他們自己的AIGC產品。

在AIGC時代，更大的數據集是"燃料"，更大的基礎模型是"引擎"，而廣泛的計算能力則起到了"加速器"的作用。對于從GPT-3.5模型微調的ChatGPT，其訓練數據集包括近1萬億個詞，大約45TB大小[11]，并且在預訓練GPT中整合了自我監督學習，強化學習和提示學習等多種AI技術。ChatGPT的訓練所需的計算能力大約是每天3640 PetaFLOPs，相當于每秒計算10萬億次，需要3640天才能完成[12]。在大數據，大模型和大計算能力的工程組合下，ChatGPT展示了強大的新功能和更高級模式的學習能力，并能根據用戶的多模態提示自動創作有價值的內容。除了大規模訓練數據和廣泛計算能力帶來的好處外，ChatGPT還整合了一系列新技術。例如，ChatGPT使用了思維鏈（CoT）提示[13]，這使得預訓練的LLM能夠通過逐步推理來解釋其推理過程，在少示例和零示例學習設置中。此外，從人類反饋中的強化學習（RLHF）[14]被整合進來，通過訓練一個包含人類反饋的獎勵模型并通過強化學習對LLM進行微調，幫助ChatGPT更好地理解人類的偏好。更進一步的，在計算機視覺（CV）領域，由創業公司Stability AI開發的穩定擴散[15]和由OpenAI在2022年開發的DALL-E 2[16]已經成功地從復雜和多樣的文本描述中生成高分辨率和自然看起來的圖像。

A.動機 盡管AIGC的前景光明，但安全和隱私問題對其廣泛應用構成了重大障礙。在AIGC服務的生命周期中，可能會出現一些安全漏洞、隱私泄露、信任問題和道德問題，這些問題可能源自普遍的數據收集，智能模型/數據盜竊，到大量的網絡釣魚郵件的分發。

• 安全漏洞。AIGC模型在生命周期的每個階段都面臨著安全威脅。例如，在模型訓練過程中，攻擊者可能使用有毒或敵對的樣本來降低模型性能[17]，或發起后門攻擊以操縱模型結果[18]；在模型部署后，攻擊者可能通過智能模型盜竊攻擊來竊取AIGC模型或其部分功能[19]。由于大型AIGC模型如ChatGPT采用的策略比通用模型更復雜，可能會出現更多的安全威脅（如越獄[20]和提示注入[21]），這些威脅可能是全新的。此外，生成型AI模型仍然面臨著關于透明度、魯棒性和偏見/歧視的技術限制。

• 隱私侵權。AIGC模型的成功在很大程度上依賴于可能無可避免地包含用戶敏感和私人信息的大量訓練數據集。例如，ChatGPT在與用戶交互時，能夠記住與會話相關的項目以及用戶輸入、cookie和日志[22]，[23]。這為在AIGC中的數據濫用和犯罪活動帶來了新的可能。根據最近的一項研究[24]，對黑盒GPT-2模型，攻擊者可以使用提示注入和公共文本特征從AI記憶中恢復最多67%的訓練文本，包括個人名字、地址和電話號碼。2023年3月，由于對隱私合規的擔憂，意大利禁止使用ChatGPT[25]。

• 信任問題。AIGC技術的快速發展使得創造和傳播虛假信息和假證據，如深度偽造內容和假新聞[26]變得越來越容易。這導致了新類型的犯罪活動的出現，如AI欺詐、誹謗、身份盜竊和冒充[27]。例如，ChatGPT可以產生誤導和不道德的回應，具有惡意意圖的個人可以利用其生成無瑕疵文本的能力進行欺詐，復制語音模式進行冒充，和開發惡意代碼進行黑客攻擊。這極大地增加了為由生成性AI模型產生的材料建立可追溯來源和規定的需求，以確保其問責制。

• 道德影響。作為一把雙刃劍，AIGC技術也對人類社會產生了負面影響，并可能被濫用用于分發惡意軟件、勒索軟件和網絡釣魚郵件。例如，ChatGPT產生即時和令人信服的對話的能力可以使其更容易制作釣魚郵件，誘騙收件人點擊有害鏈接，下載惡意軟件，或者泄露機密信息[28]。此外，AIGC可以促進課堂上的作弊，藝術中的抄襲，和學術論文的欺詐，使得這樣的行為更容易被犯下，也更難被發現。

本文的其余部分按如下方式組織。在第二部分，我們介紹AIGC的工作原理。第三部分討論了AIGC中安全和隱私問題的分類，以及最新的對策。第四部分介紹了AIGC模型和內容的IP保護和規定。第五部分探討了未來的研究方向。最后，第六部分得出結論。本文的組織結構在圖2中展示。

2. AI生成內容：工作原理

在這一部分，我們首先介紹AIGC的發展路線圖和啟用技術。然后，我們討論內容創建范式以及知識表示和使用范式的范式轉變。之后，我們展示了AIGC的一般架構，工作模式，關鍵特性，應用，以及現代原型。

如圖3所示，人工智能生成內容即服務（AIGCaaS）的一般架構包括以下三層：（i）基礎設施層，（ii）AIGC引擎層，和（iii）AIGC服務層。

? 基礎層。隨著大型AI模型（如參數達1750B的GPT-3）的規模持續擴大，對廣泛的計算能力，強大的AI算法，和大量訓練數據的需求日益增長。對于ChatGPT，大計算能力，大數據，和大模型的組合釋放出了其在學習用戶提供的多模態提示并自動生成高質量內容方面的強大的突現能力。AI算法包括AI框架（如TensorFlow，Pytorch，和Keras），有監督/無監督學習算法，和生成AI模型（如transformer和擴散模型）。配備了強大的GPU，TPU，AI芯片和大量存儲的云服務器，使得基礎AIGC模型的高效訓練成為可能。所涉及的訓練數據可以是已標注的數據，或從互聯網收集的數據，可以是非結構化和多模態的。

? AIGC引擎層。多模態基礎模型（如GPT-4）在大量的多模態數據上進行預訓練，并能在不需要任務特定微調的情況下執行多種不同的任務[33]。此外，各種底層技術，如CoT提示，人類反饋的強化學習（RLHF），和多模態技術，都被集成到訓練和優化基礎模型中。多模態基礎模型作為AIGCaaS的引擎，為上層AIGC服務賦予了越來越強的實時學習能力。此外，多模態基礎模型可以通過與數十億用戶的實時和密集交互進行逐步的演化和優化，因為它允許從更多的私有數據（如用戶輸入和歷史對話）以及個人和機構的反饋中學習[38]。

? AIGC服務層。從能力的角度看，AIGC服務包括生成文本，音頻，圖像，視頻，代碼，3D內容，數字人，和多模態內容。從終端用戶的角度看，AIGC服務可以分為兩種類型：ToB（面向業務）和ToC（面向消費者）。雖然基礎模型為各種任務提供了一種一刀切的解決方案，但它可能在特定任務上的表現不如專用AI模型。① 對于ToB情況，一個機構或機構聯盟可以通過在包含標注業務數據的較小數據集上對基礎模型進行微調，訓練出一個專用AI模型來執行特定任務，如醫療診斷或財務分析。例如，一個機構聯盟可以通過聯邦學習和遷移學習技術使用本地業務數據共同訓練一個在基礎模型之上的專用AI模型[39]。此外，還可以結合兩種方法以獲得更好的結果。例如，可以使用一個專用AI模型進行特定任務，并將其輸出作為輸入提供給基礎模型，以生成更全面的響應。 ② 對于ToC情況，每個用戶都可以定制一個網絡分身[6]（即智能手機或PC中的程序），并使用自然語言與之交流。網絡分身有自己的記憶存儲用戶的偏好，興趣和歷史行為，以及任務特定的專業知識。利用這些知識，網絡分身為用戶生成個性化的提示，從而提供高效和定制的AIGC服務。此外，它還實現了一個反饋環，用戶可以對AI提供的建議進行評價。網絡分身也可以通過構建一個連接的網絡并自由分享所學習的知識和技能，來協同完成更復雜的任務[6]。 對于ToB和ToC兩種情況，以倫理和保護隱私的方式處理個人和機構的私有數據都至關重要。此外，在提供AIGC服務時，保護基礎模型和專用AI模型的知識產權，以及AI生成內容的出處，也是非常重要的。

在未來，AIGC有可能完全取代簡單和非創新的人類工作，同時也加速了人機協作時代的到來。AIGC在內容生成方面有兩種主要模式：輔助生成和自主生成[5]。

? AI-Assisted Content Creation（需要人類干預）。在這種模式下，AI算法為創造內容的人類提供建議或幫助。然后，人類可以根據AI提出的建議編輯和改進內容，以提高最終產品的質量。然而，這種模式在內容創建上往往比較慢且成本更高。

? Autonomous Content Creation by AI（不需要人類干預）。在這種模式下，AI完全自主地創造內容，沒有任何人類的干預。AI機器人可以自主快速且低成本地創建大量內容，而產生的內容質量取決于生成的AI模型。

在此部分，我們將討論不同類型的AI生成內容以及其應用： 1）文本生成。大型語言模型（LLM）可以比人類作者更快、更有效地生成高質量的文本 [10]。這包括博客、新聞、代碼、文章、營銷副本和產品描述。此外，它使聊天機器人和虛擬助手能夠通過AI生成的文本以人類的方式與客戶和客戶進行溝通。 2）圖像生成。大型視覺模型（LVM）可以將草圖轉化為數字繪制的圖像，用于各種目的，包括創造視覺藝術、廣告圖片、游戲場景、駕駛模擬環境以及增加訓練樣本。 3）音頻生成。AI生成的音頻有著廣泛的應用，包括語音合成、音樂創作和聲音設計。如Amper Music這樣的音樂創作AI程序，允許用戶使用AI創建原創音樂。 4）視頻生成。AI生成的視頻可以廣泛用于虛擬現實、增強現實、營銷、廣告、娛樂和教育等各種領域。 5）3D內容生成。AIGC可以通過分析照片和視頻等真實世界的數據來創建逼真的3D模型，AI生成的3D模型可以用來創建動畫、游戲資產和產品設計。 6）數字人生成。AIGC可以生成具有高度逼真動作和表情的數字人，可用于游戲、虛擬現實和廣告等各種領域。 7）跨模態生成。AIGC中的跨模態內容生成指的是使用基礎AIGC模型在多種模態之間生成新內容 [3]。它包括文本到圖像、圖像到文本、文本到代碼、文本到視頻、文本到音頻等。 總的來說，AIGC讓生活變得更加便捷和高效，但也帶來了新的安全/隱私威脅、倫理問題以及潛在的偏見，這些將在下一節中展示。

元宇宙是一個新興的概念和能力，由多種基礎新興技術支持，但它的含義和關鍵特征可能并不明確，并可能隨著時間的推移而改變。因此，它與一些組織，如美國國土安全部（DHS）的相關性可能并不明確。這種不明確可能導致無法緩解的威脅和錯過的機會。它也可能抑制健康的公共討論和有效的技術管理。為了幫助解決這些問題，本視角提供了對元宇宙概念的初步審查，以及它如何與DHS相關。作為分析任何新興技術的關鍵第一步，作者回顧了當前的定義并確定了關鍵的實際特征。通常情況下，不管是否有精確的定義，基本能力才是討論和管理的核心。然后，鑒于對元宇宙的基本理解，作者總結了DHS的主要目標和相關需求。最終，為了具有相關性，技術必須與各組織或用戶的實際需求相一致。通過將來自各種任務集的國土安全部的示范性需求與元宇宙的普遍特征進行交叉比對，作者證明了元宇宙事實上與國土安全部有關。最后，作者確定了國土安全部可以主動管理的具體威脅和機會。盡管這項工作將威脅和機遇的討論集中在國土安全部，但它具有廣泛的意義。這項工作提供了一個基礎，可以在此基礎上進行進一步的討論和研究，盡量減少發展和政策方面的差異和不協調。

2022年7月，喬治敦大學安全與新興技術中心（CSET）和斯坦福大學網絡政策中心的地緣政治、技術和治理項目召開了一次專家研討會，研究人工智能系統的漏洞與更傳統類型的軟件漏洞之間的關系。討論的主題包括：人工智能漏洞在多大程度上可以根據標準網絡安全程序進行處理，目前阻礙準確分享人工智能漏洞信息的障礙，與人工智能系統的對抗性攻擊有關的法律問題，以及政府支持可以改善人工智能漏洞管理和緩解的潛在領域。

參加研討會的人員包括擔任網絡安全和人工智能紅隊角色的行業代表；具有進行對抗性機器學習研究經驗的學者；網絡安全監管、人工智能責任和計算機相關刑法方面的法律專家；以及負有重要人工智能監督職責的政府代表。

本報告旨在完成兩件事。首先，它提供了一個關于人工智能漏洞的高層次討論，包括它們與其他類型的漏洞不相似的方式，以及關于人工智能漏洞的信息共享和法律監督的當前狀況。其次，它試圖闡明研討會上大多數與會者所認可的廣泛建議。這些建議分為四個高層次的主題，具體內容如下：

1.主題：為人工智能漏洞擴展傳統的網絡安全

1.1. 建議：構建或部署人工智能模型的組織應使用一個風險管理框架，解決整個人工智能系統生命周期的安全問題。

1.2. 建議：惡意機器學習研究人員、網絡安全從業人員和人工智能組織應積極嘗試擴展現有的網絡安全流程，以涵蓋人工智能漏洞。

1.3. 建議：對抗性機器學習領域的研究人員和從業人員應與處理人工智能偏見和穩健性的人員以及其他具有相關專業知識的社區進行磋商。

2.主題： 改善信息共享和組織安全心態

2.1. 建議：部署人工智能系統的組織應追求信息共享安排，以促進對威脅的理解。

2.2. 建議：人工智能部署者應強調建立一種安全文化，在產品生命周期的每個階段都嵌入人工智能開發中。

2.3. 建議：高風險人工智能系統的開發者和部署者必須將透明度放在首位。

3.主題：澄清人工智能漏洞的法律地位

3.1. 建議： 擁有網絡安全權力的美國政府機構應澄清基于人工智能的安全問題如何適應其監管結構。

3.2. 建議： 目前沒有必要修改反黑客法來專門解決攻擊人工智能系統的問題。

4.主題： 支持有效研究以提高人工智能安全

4.1. 建議： 攻擊性機器學習研究人員和網絡安全從業人員應尋求比過去更緊密的合作。

4.2. 建議： 促進人工智能研究的公共努力應更多地強調人工智能安全，包括通過資助可促進更安全的人工智能開發的開源工具。

4.3. 建議： 政府政策制定者應該超越標準的制定，提供測試平臺或促成審計以評估人工智能模型的安全性。

近年來，針對工業生態系統的高級持續性威脅（APT）的復雜性急劇增加。這使得開發超越傳統解決方案的高級安全服務成為必須，輿論動力學（Opinion Dynamics）就是其中之一。這種新穎的方法提出了一個多智能體協作框架，允許跟蹤APT的整個生命周期。在本文中，我們介紹了TI&TO，這是一個攻擊者和防御者之間的雙人博弈，代表了一個現實的場景，雙方都在爭奪現代工業結構中的資源控制權。通過使用博弈論來驗證這種技術，我們證明，在大多數情況下，輿論動力學包括有效的第一項措施，以阻止和減少APT對基礎設施的影響。為了實現這一目標，攻擊者和防御者的模型都被標準化，并應用了一個公平的評分系統，后者用不同的策略和網絡配置運行了幾個模擬測試案例。

引言

世界各地的公司面對的網絡安全攻擊數量明顯增長，導致了巨大的經濟損失[2]。當涉及到關鍵的基礎設施（即核電站、電網、運輸和制造系統）時，這種情況變得更加嚴重，其工業控制系統必須在所有條件下保持工作。在這里，我們處理的是SCADA（監督控制和數據采集）系統，幾十年來一直在與外部網絡隔離的情況下工作；反過來，如今它們正越來越多地整合新技術，如物聯網（IoT）或云計算，在削減成本的同時外包各種服務。因此，需要做出更大的努力來跟上這種進步，以應對這些系統可能帶來的最新的攻擊載體和可利用的漏洞。

近年來最關鍵的問題之一是高級持續性威脅（APTs），這是一種復雜的攻擊，特別是針對目標基礎設施，由一個資源豐富的組織實施。它們的特點是利用零日漏洞（零時差攻擊），采用隱蔽技術，使威脅在受害者網絡中長期無法被發現。Stuxnet是第一個報道的這種性質的威脅[6]，但許多其他的威脅在之后被發現，通常是在攻擊完全執行后的幾個月[7]。在網絡安全方面，只是提出了一些機制來從整體上解決這個問題，超越了傳統的機制（如防火墻、入侵防御系統（IPS）、入侵檢測系統（IDS）、防病毒），這些機制只代表了在第一階段對APT的準時保護[21]。

在這些新穎的機制中，輿論動力學（Opinion Dynamics）[15]包括一個多智能體協作系統，通過分布式異常關聯，使攻擊的整個生命周期都可以被追蹤。在本文中，我們提出了一個理論但現實的方案，以證明該方法在不同類型的攻擊模式下的有效性，使用結構可控性領域[8]和博弈論[14]支持的概念。為了這個目標，我們開發了TI&TO，這是一個雙人博弈，攻擊者和防御者為控制現代工業結構中的資源而競爭。兩個玩家都有自己的動作和相關的分數，分別根據APT和基于Opinion Dynamics的檢測系統的行為。這個博弈最終在不同的模擬中運行，旨在展示算法的能力，同時也建議將該技術與其他防御方案結合起來進行最佳配置。因此，我們可以把我們的貢獻總結為：

• 正式定義TI&TO博弈，指定游戲板、每個玩家的目標和得分規則。
• 設計一個攻擊者模型，以一組階段的形式，靈活地表示APT的各個階段，以表示攻擊者的行動，這些行動受制于一個確定的分數。
• 設計一個基于使用意見動態和響應技術（即本地檢測、冗余鏈接、蜜罐）的防御者模型，以減少APT在網絡中的影響，這也意味著博弈中的相關得分。
• 進行的實驗驗證了該算法，并推薦了返回最佳結果的防御者的配置。

本文的其余部分組織如下。第2節介紹了 "輿論動力學"的概念，并強調了應用博弈論來檢測網絡攻擊的建議。在第3節中，定義了博弈，包括規則以及攻擊和防御模型。然后，進行了幾次模擬，并在第4節進行了討論。最后，在第5節中提出了結論和未來的工作。