強化學習是人工智能領域的一個分支，研究智能體在特定系統中通過試錯學習采取行動的方法。其著名案例包括控制真實機器人或在多數人類熱門高難度游戲中實現超人類表現。為開展此類研究，學者通常使用標準化“環境”（如機器人仿真或電子游戲）評估學習方法性能。本文涵蓋以下內容：

• PettingZoo：提供標準化API與多智能體強化學習參考環境集的庫，已獲廣泛應用；

• SuperSuit：提供易用標準化預處理封裝器的庫，用于對接學習框架；

• 街機學習環境（Arcade Learning Environment）擴展：該流行工具被強化學習研究者用于Atari 2600游戲交互，本擴展支持多人游戲模式。

基于上述工具，本文還利用多智能體強化學習開發了一種自然科學研究新方法。“涌現行為”指智能體群體的協調行為（如人行道行人、鳥群編隊、交通車流或股市交易者），代表諸多科學領域中普遍未解的重要現象。本研究首次提出通過多智能體強化學習（MARL）系統搜索多智能體系統中所有可能良性（“成熟”）涌現行為的數學形式化框架，并構建基于深度強化學習的初級實現，可應用于任意環境。實驗表明，在12個多智能體系統中，該方法可發現超百種涌現行為，其中多數為環境設計者此前未知。此類方法有望解答各類開放科學問題，例如：“該系統可能存在哪些行為？”、“何種系統條件促成此類涌現行為？”或“如何調整系統以抑制特定涌現行為？”

人工智能（AI）中的知識推理與表征對推進威脅識別的預測性研究至關重要。大規模數據的快速增長催生了自動化解決方案的部署，但當前機器學習接口仍難以可靠預測異常行為——這限制了其在關鍵決策中的適用性。為應對此挑戰，圖神經網絡理論與動態系統現代庫普曼理論的最新進展，推動了結合知識圖譜構建的深度圖表示學習技術發展。該方法通過學習捕捉異常威脅評分的圖嵌入，提升威脅分類精度。通過預測生成圖與真實圖譜間的圖相似性度量進行迭代對比，進一步優化預測結果。利用庫普曼方法對新聞文章中的暴力事件信息進行降維處理。提出的"基于庫普曼學習演化的半監督預測自編碼器表征（SPARKLE）"方法，為動態情報構建提供可擴展、自適應的框架，最終在未來威脅監控系統中實現實時態勢感知。建議未來研究將此創新方法與多源權威數據整合，以推進AI驅動的現代威脅分析。

圖：俄烏沖突每周時間序列數據

數據量的持續激增常導致信息過載，這迫使人們采用自動化工具實現高效利用。然而，當前機器學習接口難以滿足威脅識別與分類所需的精準可靠預測，使其無法勝任關鍵決策流程。基于圖的方法與現代庫普曼理論的最新進展，增強了人工智能技術從復雜數據集中提煉關鍵信息的能力。快速制定明智決策的迫切需求，推動著威脅識別方法的改進。

傳感器及其能力在融入復雜互聯戰場環境后日益精密。空間、平流層氣球、浮標與山頂部署的系統，可在動態復雜網絡中同時充當數據生產者與消費者。聚合、格式化與綜合海量數據以提供預警、推斷意圖并列舉應對建議，需具備對作戰環境的深刻認知、復雜傳感器數據本體論，以及精細而全面的對抗行為模型。此外，傳感器數據產出效用與數據分析深度常受顯著制約。本研究通過多層次方法評估預測能力：（1）應用機器學習模型壓縮數據；（2）構建知識圖譜捕捉對抗行動與意圖的關聯線索，并借助海軍研究生院"哈明"高性能計算環境創新應用庫普曼算子實現圖譜動態演化；（4）通過檢索增強生成（RAG）最大化分析效用以優化結果。研究框架始于理論與領域概述，涵蓋知識圖譜、機器學習方法、生成式動態圖、庫普曼算子預測及RAG技術，最終通過"基于庫普曼學習演化的半監督預測自編碼器表征（SPARKLE）"展示威脅分類精度的顯著提升。研究結果表明，SPARKLE迭代框架的應用有效增強預測能力并改善威脅分類成效。

傳感器已遍布從海底到太空的全域。"新聞文章中的暴力事件信息（VIINA）"時間序列數據集用于評估多種方法的性能。全球部署的龐大傳感器網絡產生的觀測數據，已遠超人類未經自動化輔助處理信息與語境的能力。此環境為結合知識圖譜構建與機器學習塑造戰場空間感知提供了理想的實驗場。

A. 問題陳述

當前面臨的問題在于亟需對海量數據實施自動化預處理以提升威脅環境中的態勢感知能力。"數據豐富但信息貧乏（DRIP）"凸顯了現有缺陷——分析人員當前無法在目標監視要求時限內處理偵測信息以支撐識別任務。2022年成立的"全域異常現象解析辦公室（AARO）"需就限制空域與敏感空域內的"未識別異常現象（UAP）"活動向國會提交報告（AARO，2022年）。全球范圍內（包括AARO等機構）迫切需要通過改進異常檢測與威脅識別方法提升預測能力。問題核心在于：現有技術與有限專業分析人員難以有效識別未明現象，導致空天優勢喪失。需開發高效自動決策輔助系統實現異常檢測與威脅識別，分析目標威脅以制定明智交戰決策。當前威脅識別預測方法無法滿足實時高風險決策需求。

B. 研究目標

表征、推理與持續學習是智能人工系統的關鍵要素。本研究采用多路徑方法（聚焦圖技術），旨在通過不同數據表征與多種圖譜技術測試，探索知識表征與預測推理間的關系，以異常檢測支撐識別任務解決DRIP問題。核心目標是理解基于圖譜的自動化如何整合知識圖譜構建（KGC）與機器學習模型實現增量信息獲取，及其對推理預測效能的影響。

C. 研究問題與假設

引入基于圖譜的解決方案可提升自動化預測在人機協同中的作用。概率建模技術、圖神經網絡與聚類算法可應用于圖結構數據，此類系統可產生增強模式分析、異常檢測與威脅識別的新興特性。

? 研究問題1：當信息表征以知識圖譜形式構建時，機器學習模型能否實現可靠預測？
 ? 假設1：知識圖譜構建（KGC）能提升異常檢測的預測能力以支持威脅識別，通過捕捉強弱關聯提升預測精度。

? 研究問題2：圖結構數據集（知識圖譜）能否用于訓練機器學習模型，通過增量更新改進人機預測系統？
 ? 假設2：知識圖譜構建（KGC）可利用概率圖機器學習從數據中提取信息，創建實體與關系，作為訓練數據集對知識圖譜實施增量持續更新。

? 研究問題3：當庫普曼算子與圖技術結合機器學習模型時，能否有效檢測并精準預測威脅以支持識別任務？
? 假設3：生成式與基于圖的技術可彌補當前技術缺口，使預測結果更具可靠性。

D. 研究目的聲明

日益增長的圖譜分析與表征研究，或為決策者利用預測評估制定高置信度決策提供新路徑。海量作戰可用數據需自動化預處理，知識圖譜構建與實體抽取自動化至關重要。需理解機器如何利用圖譜表征實現知識圖譜實體的動態構建與關聯預測。本研究旨在證明：在數字化時代數據激增背景下，知識圖譜構建與圖譜表征支持學習模型持續更新，可有效處理大規模數據。

E. 普適性

有效利用海量數據需深刻理解作戰環境，包括識別威脅或目標的潛在可開發行為與異常活動。聯合目標選定學員指南將目標定義為"可能需實施打擊或其他行動的實體與對象"（美國防部[DoD]，2017年）。其他考量因素包括機密情報收集需求、可用通信鏈路及數據處理能力以實現數據流動與運用。由于這些多樣化能力構成復雜互聯戰場環境的一部分，必須全面捕捉其二元關聯。圖論技術的應用為管理此能力網絡、從海量數據中提取有效信息以優化處理與融合提供了理論基礎。

F. 研究框架

本研究通過分析俄羅斯入侵烏克蘭相關新聞文章中的暴力事件文本預測潛在威脅。在決策者需及時獲取可操作預測信息的情境下，此類能力關乎生死存亡。支撐本研究的各要素模塊將在文獻綜述部分深入剖析。

方法論章節闡述SPARKLE迭代應用框架，展示知識圖譜在機器學習增量更新中的重要性，并描述流程輸出。后續分析通過模型對比與相似性分析開展預測精度比較評估，在討論環節提出復雜度測量方法以證明其在異常檢測中的表征能力超越傳統方案。

G. 研究意義與未來方向

當信息以知識圖譜形式結構化時，機器學習模型可實現更可靠預測。知識圖譜構建（KGC）通過捕捉強弱關聯提升預測精度。圖結構數據促進人機預測系統的增量更新，概率圖機器學習通過動態提取實體與關系實現持續學習，構建自適應演進的知識圖譜。庫普曼算子與圖譜技術的整合強化威脅識別能力，圖相似性度量與模型對比證明SPARKLE框架在復雜模式檢測中的預測提升。此概念可擴展至信號分類等其他領域（未來研究部分探討）。本研究核心貢獻在于提出AI驅動的現代威脅分析創新方法。

本研究探討人工智能（AI）在決策過程中不斷演變的角色，聚焦AI賦能技術如何與人類決策者互動及其影響。AI系統正加速融入商業管理至信息系統等各行業，或輔助或替代人類判斷。現有文獻強調AI融入生活與工作帶來的變革潛力與挑戰：以ChatGPT為代表的大語言模型憑借數據驅動洞察、效率提升與決策一致性等優勢被廣泛應用，但研究亦揭示需深入理解的領域——AI復制或放大人類偏見的風險、自主決策的倫理影響、人機交互的復雜性。盡管AI輔助、增強或替代人類決策已獲廣泛關注，但通過提示工程與情境應用賦予AI的角色如何影響決策結果、行為模式與建議生成，學界仍缺乏深入探索。

本論文包含四項研究，探討角色定義與目標設定對AI決策行為的影響，揭示精確定義AI角色如何在不同情境中塑造決策結果與人類決策流程。

研究1 通過系統性文獻綜述，論證機器學習與AI工具（如ChatGPT）結合提升文獻分析效率與深度的有效性。研究識別AI整合關鍵領域，揭示研究空白，指出高影響力期刊與主題，為未來研究繪制路線圖。該研究強調跨學科方法對全面理解與發揮AI潛力、應對倫理復雜性的重要性。

研究2 采用"人在回路"（HITL）框架分析AI賦能招聘流程，通過某國際招聘公司18個月質性案例研究，揭示AI工具、招聘專員與尋源分析師協作塑造招聘結果的合作模式。研究表明：AI系統實施需平衡效率與倫理及人本考量，人類判斷、監督與適應力不可或缺；組織領導力、方案適應性與人類自主權是成功關鍵要素。

研究3 通過系列實驗探究AI系統（以ChatGPT為例）被賦予的角色如何影響信息系統（IS）語境下的決策結果。研究發現：當ChatGPT被賦予人類角色時，其決策行為高度復現人類偏見；而作為AI角色時則表現出更高一致性與客觀性。研究揭示提示工程對引導AI系統符合預期決策流程的重要性——無論是模擬人類判斷還是提升決策客觀效率。

研究4 探索AI系統中的"算法厭惡"現象，測試GPT類模型在不同版本與溫度參數下對人工建議與算法輸入的響應差異。研究發現：GPT模型表現出類似人類的算法厭惡傾向，更偏好人工建議，但其表現形式與人類存在差異。該研究將算法厭惡概念擴展至AI系統，強調理解AI如何處理人機建議對設計決策支持系統的重要性，確保AI既能獨立運作又能與人類協作。

總體貢獻

本研究在四方面深化對AI決策角色的理解：

1. 方法論創新：引入結合AI工具與機器學習的計算文獻綜述方法，識別商業管理領域趨勢、空白與高影響力期刊；
2. 人機協作洞見：通過招聘案例實證HITL原則，強調人類賦權、自主權與持續適應對有效協作的關鍵作用；
3. 角色效應驗證：證明大語言模型角色設定顯著影響決策行為——模擬人類角色時復現偏見，AI角色時更趨理性；
4. 理論邊界拓展：將算法厭惡延伸至AI系統，揭示AI對人機建議的差異化處理機制。

綜上，這些研究為理解AI與人類決策者動態互動提供洞見，強調情境與角色設定對優化AI決策貢獻的重要性，為未來探索AI融入更復雜重大決策場景奠定基礎。

表1.1 研究綜述

本文探討了如何利用遷移學習和合成數據來提高卷積神經網絡（CNN）在海上船只探測方面的性能，重點是自主無人水面航行器（USV）。所面臨的挑戰是標注夜間數據的可用性有限，而夜間數據對于在低能見度條件下檢測船只至關重要。該模型最初是在真實世界的數據上進行訓練，以探測 Mokai USV 和其他船只。然后使用合成的日間數據進行遷移學習，使數據集多樣化，包含更多的船只類型和條件。此外，還對 Sionyx NightWave 攝像機的圖像進行了直方圖均衡化處理，使模型能夠在夜間進行檢測，而無需大量真實世界的標注夜間數據。在真實世界、合成日間和合成夜間數據集上，使用平均精度 (AP)、召回率和漏檢率指標對模型的性能進行了評估。雖然該模型在日間條件下表現良好，但在夜間檢測時性能卻有所下降，尤其是對于較小的物體。這些結果凸顯了領域適應性的挑戰，同時也證明了合成數據和遷移學習在解決海洋環境中標記數據稀缺問題方面的潛力。這種方法為改進 USV 在各種條件下的自主操作提供了一種經濟有效的解決方案。

美國海軍部（DON）的《2021 年智能自主系統（IAS）科技戰略》強調，在復雜和不可預測的海洋環境中，越來越依賴自主平臺來增強作戰能力[1]。正如該戰略所概述的那樣，海軍正越來越多地集成像無人水面航行器（USV）這樣的智能自主系統，以執行從監視和偵察到后勤和威脅探測等各種任務[1]。該領域的一個關鍵挑戰是確保這些無人系統（UxS）能夠在各種環境條件下有效運行，包括夜間行動等低能見度場景以及雨、霧等惡劣天氣條件。在這種條件下，可靠的目標探測和分類對于任務的成功至關重要，因為 USV 的運行需要最少的人工干預。

然而，由于標注的夜間數據稀缺以及現實世界數據集的限制，傳統的目標檢測模型在夜間環境中往往難以發揮良好的性能。這一不足阻礙了海軍在需要在不利照明條件下進行精確探測的行動中部署 USV 的能力。海軍部的戰略強調需要先進的機器學習（ML）和人工智能（AI）技術，以適應各種環境挑戰，確保自主平臺在任何條件下都能保持高水平的態勢感知能力。

此外，部署配備紅外（IR）攝像機等先進傳感器技術的 USV 的成本效益和操作靈活性也是重要的考慮因素。雖然紅外攝像機可提高低光照條件下的可視性，但其成本往往較高，而且需要專門的培訓。相比之下，在可行的情況下，利用日光下訓練的模型進行夜間應用可能會節省成本并提高運行效率，因為與紅外標記的數據集相比，日光標記的數據集更為豐富。

這項工作的動機源于海軍部實現自主系統現代化、減少人類工作量和提高運行效率的目標[1]。隨著海軍繼續將 UxS 集成到其艦隊中，開發先進、彈性和適應性強的目標檢測模型的能力將在確保自主海上行動在所有照明和天氣條件下取得成功方面發揮至關重要的作用，從而為海軍部在 IAS 領域的技術優勢做出貢獻。

本文的貢獻如下：

• 開發用于海上目標檢測的 CNN： 創建專門用于檢測海洋環境中船只的 CNN 是一項關鍵技術貢獻。該模型可以區分幾種類型的船只，包括 Mokai USV 和其他水面艦艇，為 USV 在實際海軍行動中的自主性提供了實用的解決方案。

• 利用合成數據進行遷移學習： 本論文展示了合成數據的使用，以克服標注圖像稀缺的問題，這是在此類環境中訓練模型的常見限制。通過使用合成日間數據訓練 CNN，然后將遷移學習技術應用于夜間條件，該研究為在沒有大量真實世界標記數據的情況下提高模型性能做出了新的貢獻。

• 利用直方圖均衡化創新領域適應性： 應用直方圖均衡化技術來增強 Sionyx NightWave 攝像機的圖像，并隨后在合成夜間數據上進行遷移學習，是一項顯著的方法創新。通過利用圖像處理技術和遷移學習，這種方法有助于改進低照度場景下的物體檢測，為更廣泛的領域適應性研究領域做出了貢獻。

本研究探討了主動拒絕技術（ADT）這種非致命武器的應用及其對人群的影響。通過利用數學建模和模擬技術，本研究揭示了主動阻斷技術對人群行為的影響。本研究在基礎社會力模型的基礎上，加入了一種額外的力量來模擬 ADT 的排斥效果。作為對數學模型的補充，“完善人群敵意交戰規則工作臺”（WRENCH）是一個基于隨機智能體的模擬平臺，可深入了解各種理論 ADT 配置和人工交戰規則下的現實人群反應。通過模擬不同環境場景下的人群特征，這項研究評估了 ADT 的功效和局限性。結果表明，ADT 能有效阻止入侵者進入指定區域，并同時影響人群的整體行為。研究還揭示了 ADT 的有效性取決于各種復雜因素的相互作用，如 ADT 設備的配置、目標人群和環境條件。這項研究的結果有助于進一步了解非致命性武器及其在有效人群管理中的作用。

本手稿共分為六章，循序漸進地介紹了如何理解和分析 ADT 的使用。第 2 章概述了人群動力學、社會認同方法和社會力量模型。通過對這些概念的探討，我們可以深入了解個人身份和群體行為是如何影響整個人群動態的。社會力模型最為重要，因為它是我進行人群行為數學建模實驗和研究的基礎。第 3 章概述了主動阻斷技術，并介紹了主動阻斷系統 (ADS)，這是一種非致命的定向能武器，通過對目標造成暫時的不適來控制人群。本章還介紹了利用主動阻斷技術研究其在不同場景下對人體有效性的實驗背景。ADT 計算人體效應終端超模型（CHEETEH）是之前開發的一個模型，旨在描述和模擬人體接觸 ADT 后的反應，本章也對其進行了討論。

第 4 章概述了本研究采用的方法和實驗設置。它詳細介紹了數學建模方法，討論了相關變量，并解釋了如何配置 WRENCH 以納入 ADT 互動。為了進一步分析行為反應，本章還介紹了 WRENCH（基于智能體的模型和仿真工具），它提供了在 ADT 影響下模擬人群行為的能力。WRENCH 用于協助本研究探索 ADT 如何影響人群行為，是數學建模和實際應用之間的紐帶。本章還解釋了實驗的設計，包括 ADT 部署的具體場景，以及如何測量人群行為。第 5 章介紹了 ADT 的有效性及其對人群行為的影響。本章還討論了研究過程中遇到的限制，如假設、限制以及模擬行為與實際行為之間的顯著差異。最后，第 6 章總結了主要發現及其對未來研究的影響。該章提出了未來工作的潛在方向，如完善和重新測試數學模型和模擬，并強調了持續研究的必要性，以更好地了解非致命武力下人群行為的細微差別。

本研究探討了政府和國防機構的情報搜索人員所面臨的數據超載問題。研究利用認知系統工程（CSE）文獻中的方法，對情報搜索工作領域進行深入分析。這些見解被應用于設計和評估專門用于情報搜索任務的人類-人工智能智能體團隊的支持概念和要求。領域分析揭示了 “價值結構 ”的動態性質，“價值結構 ”是一個術語，用于描述管理情報搜索過程的不斷變化的標準集。此外，領域洞察力還提供了搜索聚合和概念空間的詳細信息，可將價值結構有效地應用于情報搜索。利用這些發現的支持系統設計可以使情報搜索者在更抽象的層次上與數據互動并理解數據，從而提高任務效率。此外，新的系統設計還可以通過相關的系統提示，促進對大型數據域中未被選擇對象的 “環境感知”，從而為搜索者提供支持。通過支持概念和人工智能團隊實現的 “環境感知 ”有可能解決數據超載問題，同時提高搜索覆蓋范圍的廣度和深度。

圖 4. FAN 領域模型。為了強調整個 FAN 的抽象功能結構和目標互動，圖中模糊了流程塊的細節。詳細的智能搜索功能模型見補充材料圖 S1。

政府和國防機構的情報搜索人員面臨著越來越多的數據和文件，他們需要從中查找或 “發現 ”信息，以獲得支持明智決策的見解。這種情況被稱為數據超載問題，即個人在系統或其他代理的幫助下，難以選擇、組合或綜合所需的數據子集，以完成需要在更大的數據領域進行態勢評估的任務[1]。在這種情況下，情報搜索人員與同事一起利用搜索工具，協同努力從幾乎無限的可用于任務的文件中查找、收集和評估文件，以完成為情報目標提供信息的任務。具體地說，數據超載妨礙了搜索人員識別數據子集的能力，而這些數據子集能提供足夠的細節來滿足情報目標，這對行動任務的完成至關重要。

用于一般情報搜索任務的系統可能會導致數據超載癥狀。具體來說，情報搜索工具會表現出與 “鎖孔脆性”[2] 概念有關的缺陷。這里所說的 “鎖孔 ”是指縮小呈現數據的范圍，將剩余數據分配到更多的隱藏屏幕上。這種呈現方式要求研究人員手動瀏覽和綜合來自多個數據屏幕的信息，以了解搜索的效用。同時，這些現有工具的脆性與它們支持從情報搜索工作領域的數據中提取意義的潛力有關。因此，“脆性 ”產生于搜索工具對信息的狹隘表述。對于需要從大量數據中提取意義的復雜任務來說，這種局限性導致了效率的下降，而這些數據又超出了給定系統的表述范圍。此外，由于情報搜索工作和信息領域的結構復雜，無法充分捕捉和傳達，妨礙了對支持行動所需的信息的理解和管理。這就導致效率低下，搜索人員往往會錯過有價值的見解和與目標相關的數據，同時還要花費更多的時間瀏覽各個屏幕來完成任務。

情報工作領域的搜索所面臨的這些廣泛挑戰構成了本研究要探究的問題，圖 1 的頂部對此進行了總結。圖 1 中還列出了應對這些挑戰常用的術語和縮略語，作為本研究的路線圖。

鑒于深度神經網絡（DNNs）的復雜性和不透明性，人們已經做出了廣泛努力，使這些系統更易于解釋或用易于理解的術語解釋它們的行為。與大多數專注于算法和以模型為中心的視角的綜述不同，本工作采取了“以數據為中心”的視角，考察了數據收集、處理和分析如何促進可解釋人工智能（XAI）。我們將現有工作分類為三個目的類別：深度模型的解釋，涉及特征歸因和將數據點與模型輸出相關聯的推理過程；訓練數據的影響，檢查訓練數據細微差別（如數據價值和樣本異常）對決策過程的影響；以及領域知識的洞察，從數據和模型中發現潛在模式，培養新知識，以推進社會價值和科學發現。具體來說，我們將XAI方法提煉為對訓練和測試數據的數據挖掘操作，這些數據跨越不同的模態，如圖像、文本和表格數據，以及對訓練日志、檢查點、模型和其他DNN行為描述符的操作。通過這種方式，我們的研究從數據挖掘方法和應用的角度，對XAI進行了全面的、以數據為中心的審視。

//www.zhuanzhi.ai/paper/6960f37082a968c932aec73e1160f875

**1 引言 **

隨著人工智能（AI）的發展，傳統的決策技術，如感知器[1]、基于規則的系統[2]、基于案例的推理[3]和專家系統[4]，已讓位于更復雜的深度神經網絡（DNNs）[5]。這些早期技術是基于人類決策過程，從基于規則的推理[6]到基于委員會的預測[7]。存儲和計算能力的激增催化了向DNNs的演變，盡管它們在視覺識別和語言建模等任務上表現出色[5]，但在可解釋性方面面臨挑戰[8]。

DNNs的“黑箱”本質以及其廣泛的參數化妨礙了自動駕駛和醫療等關鍵應用中所需的透明度，引發了人們對這些模型在高風險環境中可靠性的擔憂[9]、[10]、[11]。因此，可解釋人工智能（XAI）已成為一個關鍵領域，提出了諸如LIME[12]等解決方案來改善機器學習的可解釋性1，可能增加對AI系統的信任[13]。這些XAI技術不僅努力實現模型透明度，還為數據集增加了附加價值，幫助完成諸如調試[14]和定位誤標記樣本[15]等任務，豐富了對數據集及其各自領域的理解[16]、[11]。在這項研究中，我們通過對現有文獻的全面審查，通過我們的兩個獨特觀察、三個目的和四階段XAI技術數據處理的角度進行分組和分析。 我們的第一個觀察重點關注XAI技術演變和應用背后的驅動力。在對當前文獻進行廣泛審查后，我們將主要目的概括為三個核心類別：1）深度模型的解釋：盡管深度學習模型具有高度的預測能力，但它們的“黑箱”本質限制了可解釋性[12]、[17]。XAI旨在通過闡明這些模型在每個實例基礎上的預測理由，從而促進透明度和信任[8]、[18]。2）訓練數據的影響：機器學習模型的性能取決于訓練數據的分布和質量[19]、[20]。XAI技術可以準確地指出對模型輸出產生重大影響的數據點，促進改進的訓練過程和模型簡化[21]、[22]。3）領域知識的洞察：XAI還揭示了模型和數據中特定于領域的知識，提供了在這些領域內人類理解的潛在進步，并在醫療保健和金融等高風險應用中提供寶貴的洞察[23]、[24]。 如圖1所示，XAI作為人類理解和機器學習模型復雜性之間差距的橋梁，提高了AI應用的信心[25]、[26]。

我們還發現，XAI方法遵循類似于傳統數據挖掘的結構化過程[27]、[28]、[29]，將數據、算法和以人為中心的分析整合起來。以下列出了四個關鍵步驟。 1）數據獲取與收集：XAI將數據收集擴展到超越數據集，涵蓋了深度學習的生命周期，如訓練數據集、訓練日志和檢查點、測試樣本等。 2）數據準備與轉換：從模型、數據和訓練日志中提取和轉換DNNs的行為描述符，包括顯著性地圖、訓練損失曲線和輸入/損失梯度向量（也請參見表1），以便后續解釋[30]、[31]、[15]。 3）數據建模與分析：挖掘DNN行為描述符以模擬DNN決策、訓練數據貢獻和數據集模式，從而導致三種類型的分析目的：解釋、影響和洞察[11]。 4）結果報告與可視化：XAI努力的高潮是通過適當的報告和可視化來呈現發現，這取決于數據模態，例如將顯著性地圖疊加在圖像上[32]、[33]，突出顯示關鍵視覺特征。

通過這些步驟，XAI增強了AI框架中的可解釋性、信任，甚至是知識與理解，促進了人類與AI的更好協同。 我們的調查采用了以數據為中心的視角來審查XAI，通過結合三個目的和四階段數據挖掘過程來分類組織技術。這項研究的貢獻包括： ? 從數據挖掘的角度對XAI范式進行技術回顧，重點關注解釋過程中的數據相關實踐[34]。這項工作開創了對XAI進行新框架系統審查的先河。 ? 引入了一個新的分類系統，圍繞XAI的三重目的和數據挖掘的四個不同階段，對當前XAI方法進行分類和闡述。 ? 對XAI未來發展的前瞻性討論，強調其揭示數據內在深層洞察的能力，這對像AI驅動的科學和醫學等領域有重要意義。

將XAI研究納入這一分類提供了一個結構化的敘述，豐富了對XAI趨勢和潛力的精確理解。 關于XAI的新興研究已在幾項調查中得到審查，突出了解釋深度模型的挑戰和重要性。Doshi-Velez和Kim[8]強調了評估XAI技術的必要性，而Carvalho等人[9]提供了一項廣泛的可解釋性方法研究，涵蓋了模型不可知和模型特定的方法。Hammoudeh和Lowd[174]將重點轉移到了訓練數據的影響上。Mohseni等人提供了一項評估XAI系統的調查和框架[175]。Marcinkeviˇcs和Vogt[16]以及Notovich等人[176]對實用XAI方法進行了擴展，提供了應用示例和技術分類。Preuer等人[177]在藥物發現中探討了領域特定的應用，而Tjoa和Guan[30]則在醫學成像中進行了探討。

與上述工作相比，我們的調查（圖2中顯示的簡要結果）通過從數據挖掘的角度探索XAI的三重角色來彌補XAI文獻中的差距：（1）解釋模型的行為以理解其決策；（2）估算數據的影響，以評估和識別關鍵樣本；（3）從模型和數據中提煉洞察，以獲得推動社會價值和科學發現的新理解。

解釋：深度模型的特征歸因和推理過程

解釋深度模型包括使用特征歸因來評估每個輸入對模型輸出的影響，并檢查推理過程以理解模型內部的決策路徑。

影響：訓練樣本的數據價值和異常檢測

通過衡量訓練樣本對決策過程的影響來解釋深度模型對于理解和驗證這些模型的輸出至關重要。這一過程通常涉及多種技術，這些技術將單個訓練樣本與模型所做決策之間的相關性映射出來[221]、[174]。在本節中，我們將現有工作分類為以下三個方向。

洞察：從數據中發現模式和知識

XAI算法有助于提取人類可讀的洞察，部分原因是它們能夠識別和解釋復雜的多維或多模態數據中的模式、相關性和異常。已經做了兩組努力：一組關注社會價值，另一組專注于科學發現的進步。 結論

本文通過數據挖掘的視角，系統地回顧了可解釋人工智能（XAI）的作用，涵蓋了三個關鍵的主題領域： ? 解釋模型行為：本綜述強調了揭示深度神經網絡（DNNs）的決策過程的必要性，從特征歸因和推理邏輯的角度出發，旨在增加AI系統的透明度和信任。 ?** 評估數據影響**：本綜述關注單個數據樣本如何塑造模型的決策和泛化性能，強調對學習的重要貢獻者，并檢測可能導致結果偏斜的任何數據異常。 ? 提煉可行洞察：超越提供解釋，本綜述尋求發現與社會價值一致并促進科學創新的新洞察，將XAI技術的知識引向實際應用。

總之，本研究對上述三個目的的XAI方法進行了全面分析，突出了當前的能力、實際用途，并識別了需要改進的領域。這一分析為進一步的研究奠定了基礎，這些研究努力將XAI更深入地整合到數據挖掘實踐中，并培育一個更透明、可靠、以用戶為中心的人工智能環境。

本報告探討了 GHOSTS 框架的非玩家角色（NPC）客戶端生成的活動（包括軟件使用）與 GHOSTS 的默認行為和大型語言模型（LLM）生成的活動之間的比較。還探討了基本結果在復雜性和情感方面的比較。在研究中，利用了生成式人工智能（AI）系統的高級自然語言處理能力，特別是 LLMs（即 OpenAI 的 GPT-3.5 Turbo 和 GPT-4）來指導 GHOSTS 框架中的虛擬智能體（即 NPC），GHOSTS 框架是一種在計算機上模擬現實人類活動的工具。設計了一種配置，通過使用 LLM 使活動完全自動化，其中文本輸出成為可執行的智能體指令。初步研究結果表明，LLM 可以生成指令，從而在模擬環境中產生連貫、逼真的智能體行為。然而，某些任務的復雜性和指令到行動的轉換帶來了獨特的挑戰。這項研究對于提高模擬的逼真度和推動類人活動建模中的人工智能應用具有潛在的意義。建議開展進一步研究，以優化智能體對 LLM 指令的理解和響應。

方法

網絡靶場是一個模擬環境，里面有各種登錄到計算機和網絡上的 NPC。這些 NPC 在組織內執行其角色所應執行的任務。現有的 GHOSTS 框架采用客戶機-服務器安裝方式，客戶機安裝在不同的操作系統（OS）上，執行所模擬角色的預期活動。服務器組件收集已執行活動的日志，并能根據一系列可用數據為每個智能體的新活動提供指導。

每個智能體在執行活動時都有各種考慮因素，包括智能體的特定參數、智能體過去的活動以及環境因素。固定參數包括姓名、身體特征、教育程度、工作經歷等。智能體還可能具有可變的特征，如偏好、信念、動機以及隨時間演變的過去活動歷史。

標準的 GHOSTS 配置提供了一套合理的默認值，可以充分隨機化這些考慮因素，以達到 T&E 的目的。團隊成員和其他人（如研究人員、培訓/練習用戶）都使用過這些隨機化策略；我們認為這種方法已經成熟，足以應對大多數情況。例如，模擬運營部門角色的智能體可能會在工作日每 20 分鐘創建一份文檔，同時交替使用互聯網瀏覽時間，以模擬文檔創建與必要的相關研究相結合的情況。

將 OpenAI 開發的不同 LLM 集成到 GHOSTS Animator [SEI 2023b]中，以便其他研究人員和網絡練習社區能夠繼續嘗試我們在本報告中討論的功能。每個 LLM 都充當了智能體的決策功能，生成文本輸出，我們將其轉化為智能體活動的指令。

為了實現這一整合，開發了一個系統，用于解釋 LLM 的輸出，并將其映射到 GHOSTS 框架中智能體可以執行的潛在行動上。該系統考慮到了語言解釋的可變性和智能體可用行動的限制。在將范圍廣泛的可能 LLM 輸出映射到更具體的智能體行動集時，我們面臨著獨特的挑戰。(我們將在下面的章節中描述這些挑戰。）這種集成方法能夠為我們的研究目的提供最廣泛的 LLM 響應，而不管它們與 GHOSTS 的執行是否相關。

智能體決策的基礎

為了在 GHOSTS NPC 中模擬更復雜的行為，將人類推理和行為的幾個方面整合到了智能體的決策過程中。這些方面都是在每次系統迭代或周期中執行的詢問過程中考慮的。在這種情況下，詢問是 LLM 分析智能體屬性和過去活動以決定下一步行動的機會。

每個 tick 或周期的持續時間是可配置的，可以是每個 CPU 周期所需的時間，也可以是更長的持續時間，如五分鐘。在每個 tick 期間，服務器會隨機選擇幾個智能體，并詢問它們以確定潛在的行動。這些行動可以包括學習新信息、與其他智能體建立聯系或執行一項活動。

這些詢問使用我們現有的隨機化策略。其中一些策略涉及純粹的隨機決策，而另一些則依賴于基于真實世界數據的預定義范圍或概率內的隨機化。目前實施的策略圍繞四個關鍵概念：

• 動機： 為了更準確地模擬智能體參與特定內容或執行特定操作的原因，我們需要了解他們的動機。在現實世界中，個人目的、目標和興趣往往是個人活動的驅動力。通過將動機納入模擬，我們可以模擬真實用戶的各種目標驅動行為。為此，我們采用了史蒂文-雷斯博士（Steven Reiss）設計的心理評估工具--雷斯動機檔案（Reiss Motivational Profile，RMP）[Reiss 2012]。RMP 根據人類的 16 種基本欲望來確定個人的核心價值觀和動機：權力、獨立、好奇、接受、秩序、節約、榮譽、理想主義、社會接觸、家庭、地位、復仇、浪漫、飲食、體育鍛煉和寧靜。通過模擬智能體對這些 RMP 欲望的獨特組合，我們模擬出了在整個演習過程中促使他們做出某些決定的內在動機。因此，這種理解揭示了智能體的行為傾向，有助于以更接近人類的方式指導其模擬行動。

• 關系： 人際關系對人類行為的影響是毋庸置疑的，它塑造了我們在社交圈中的學習、決策和互動方式。為了在模擬中更好地模擬這些關系的動態變化，我們在智能體的框架中加入了關系紐帶。這種方法包括在智能體之間建立聯系，考察它們之間關系的深度，以及研究它們對彼此的影響。這種方法使我們能夠模擬大量的社會互動，例如智能體向其信任的同伴尋求建議、與同事分享內容或參與各種話題的討論。這一特點不僅增強了智能體互動的真實性，還促進了智能體之間的知識獲取過程，這與人類在家庭、工作或公共場所從社交互動中學習的方式如出一轍。因此，在我們的模擬框架中引入關系可以增強智能體行為的真實性，更好地反映現實世界中人類互動的復雜性和細微差別。

• 知識： 人類用戶的一個顯著特點是他們在不同領域的知識廣度和深度。根據這一特點，我們為每個智能體配備了一個獨特的知識庫，以幫助塑造他們的模擬交互。這些知識庫為智能體如何尋求信息、分享專業知識或參與討論提供了信息，而所有這些都會受到他們對特定主題的理解的影響。智能體之間的動態知識獲取過程在我們的模擬中也發揮著至關重要的作用。知識獲取不僅增強了智能體互動的真實性，還通過潛在的內部威脅識別為模擬提供了額外的深度。例如，智能體知識庫中的異常變化可能表明其未經授權獲取了敏感信息，或者其關注點轉向了可能出于惡意目的而感興趣的主題。因此，將知識及其動態獲取納入智能體框架不僅能豐富模擬互動，還能增強內部威脅檢測和預防模擬的潛力。

• 信念： 個人持有的不同信念體系是其網絡行為的基礎，包括個人價值觀、觀點以及對爭議問題的立場。這些信念左右著互動和對話，往往會影響討論的動態。為了在智能體中模擬這種信念系統，我們將貝葉斯模型集成到智能體的推理過程中，使其能夠受到觀察到的支持某種信念的證據的影響。這種整合使智能體能夠就各種問題表達自己的立場，為自己的觀點辯護，甚至參與辯論，從而模擬現實世界中的人類行為。在社交媒體的背景下，對智能體的信念進行建模有助于表現分歧話題上的兩極分化觀點，使模擬更能代表真實世界的社會動態。

總之，通過將動機、關系、知識和信念整合到智能體推理框架中，我們成功地在 NPC 中創建了更全面、更真實的人類行為模擬。有了上述這么多組合的優勢，團隊就可以配置豐富的決策詢問，以確定任何智能體可能采取的行動方案。下一步是將這些詢問完全外包給 LLM，并比較結果，以便在大多數 T&E 場景中使用。

將LLM引入過程

為了嚴格控制系統對 LLM 的訪問，我們設計了一種方法，即只有 GHOSTS 的服務器組件與人工智能進行交互。然后，服務器將人工智能生成的結果傳播給相關客戶端。這一過程的執行過程如下：

1.智能體（即 NPC）根據其默認配置，利用我們現有的隨機化方法啟動并執行一項任務，如文檔創建和網頁瀏覽。

2.智能體每隔幾分鐘向服務器報告其完成的活動。

3.同時，在這五步過程中，服務器作業每輪都會詢問一個隨機的智能體子集。至關重要的是，在每一輪開始時，步驟 2 中的活動歷史記錄都是可用的，并且可以作為代理下一步應該執行什么活動的決策因素。

4.服務器將新確定的活動傳達給客戶端，然后由客戶端執行。

5.該過程循環往復。如果智能體已經在運行，它只需尋找下一個要執行的活動。

在步驟 3 中，目標是將決定智能體活動的任務委托給 LLM，同時考慮 (A) 有關智能體的具體信息和 (B) 已執行活動的歷史記錄。考慮到 LLM 可能需要處理大量信息所帶來的成本影響，我們將 (A) 中的信息限制為最相關的細節，如個人數據、教育和組織歷史以及軟件賬戶。(B) 中的活動信息及其執行參數則用于提供智能體已完成任務的歷史記錄。

許多 LLM 應用程序編程接口（API）會根據系統或用戶直接輸入信息的不同來區分信息提示。我們使用系統級提示，以便對我們傳輸的信息和預期響應進行更嚴格的控制。這種方法使我們能夠以更精確、更可控的方式引導 LLM 的行為。

人工智能是下一個競爭領域；第一個開發出人類水平人工智能的國家將產生類似于原子彈開發的影響。為了維護美國及其人民的安全，美國國防部資助了人工智能及其應用的發展研究。本研究使用強化學習和深度強化學習方法作為當前和未來AI智能體，并評估開發中的潛在問題。在兩個游戲和一次遠足中對智能體的表現進行了比較： 分別是貨物裝載、河內塔和背包問題。據觀察，深度強化學習智能體能處理更廣泛的問題，但表現不如專門的強化學習算法。

這本書提出和調研歸一化技術與深度分析訓練深度神經網絡。此外，作者還提供了針對特定任務設計新的規范化方法和網絡體系結構的技術細節。歸一化方法可以提高深度神經網絡(DNNs)的訓練穩定性、優化效率和泛化能力，已成為大多數先進DNN體系結構的基本組成部分。作者為闡述、理解和應用規范化方法提供了指導方針。這本書是理想的讀者致力于發展新的深度學習算法和/或其應用程序，以解決計算機視覺和機器學習任務中的實際問題。這本書也作為資源的研究人員，工程師，和學生誰是新的領域和需要了解和訓練DNN。

//link.springer.com/book/10.1007/978-3-031-14595-7