在信息時代，對信息優勢的尋求往往轉向了公開來源的情報。在過去的15年里，社交媒體的重要性不斷增加，現在在獲得和保持決策優勢所需的態勢感知方面發揮著關鍵作用。由于社交媒體（SM）越來越多地被北約的對手用于影響和造謠運動，這一領域的研究繼續擴大。利用人工智能（AI）/機器學習（ML）的研究人員正在引入更先進和復雜的社交媒體分析技術，如神經網絡，可以攝取和處理大量的社交媒體數據，產生相關工件的集群，并幫助實現語義敘述搜索。然而，對于采用這些技術的分析人員來說，一個關鍵的挑戰在于檢測、監測和搜索敘事，這些敘事通常不是由任何一個內容捕獲的，而是分布在一個由消息、備忘錄、博客、"新聞報道"、視頻等組成的敘事連接集合中。分析師的其他關鍵挑戰在于理解和解釋不透明的人工智能/ML支持的分析的輸出決定或建議，并利用它們為敏捷的軍事決策提供信息，同時保證其可信度和可追溯性。本文報告了ML引擎的一個特定實例，并概述了檢查和驗證其輸出的方法。該ML引擎將社交媒體內容表示為矢量嵌入，并應用聚類分析從消息矢量空間中識別主題集群。在開發聚類分析驗證技術時，我們將確定一套在評估分析輸出和驗證算法時需要考慮的特征，包括聚類之間的明顯關系，以及分析為分析師提供敘述性背景和理解的能力。這樣的分析保證對于產生有效和可靠的情報報告是必要的。

每天，消防員和緊急救援人員解決的問題都符合他們在整個職業生涯中形成的典型模式。使用過去的經驗作為相關模式，他們創造了心理捷徑，在一個被稱為 "識別激勵決策 "的過程中制定成功的策略。然而，在某些情況下，新問題不符合過去的經驗，消防員被迫在陌生的環境中做出決定，如大流行病、與氣候有關的緊急情況和其他非傳統事件。當消防員在不熟悉的情況下依靠直覺時，他們有可能犯錯并浪費寶貴的時間。這篇論文試圖了解一個適當的決策框架，供消防部門在不熟悉的情況下使用。

本論文使用案例研究方法來了解消防部門和采礦業在災難中的決策。兩個消防部門的案例研究，即1949年的Mann Gulch火災和2001年對世貿中心襲擊的反應，評估了事件中不同類型的決策以及這些決策對整體戰略和結果的影響。兩個采礦業的案例研究，即2010年的 "深水地平線 "漏油事件和2010年的科皮亞波采礦事故，評估了哪些跨學科因素影響了事件的結果。

分析顯示，消防部門傳統上依賴于識別激勵的決策，即依靠過去的經驗來做出時間緊迫的決策。在Mann Gulch火災和對9/11事件的反應中，直覺既幫助也阻礙了反應者。當新的解決方案與救援人員以前的經驗不一致時--例如為了救援人員的安全而使用燒毀的區域--救援人員依靠他們的直覺，導致了負面的結果。此外，正如在9/11事件中所看到的那樣，信息孤島使決策者無法完全接受所有的事件因素，并迫使他們在不完整的操作情況下做出決定。

如采礦業案例研究所示，跨學科團隊為復雜情況制定了新穎的解決方案。每個例子都展示了不同的團隊如何形成應對框架，嘗試創新的想法，分享結果，并與不同的成員溝通，以制定解決陌生問題的方案。簡而言之，跨學科的專業知識導致了在不熟悉的復雜情況下選擇戰略和戰術的創造力的增加，因為它提供了更大的深度和廣度的經驗來制作解決方案。接下來，應對復雜事件的創新的關鍵是在整個應對框架中分享信息和有意識地溝通戰略。因此，跨學科的態勢感知小組應在同一地點辦公，并利用共享通信提供實時信息，以便指揮人員在事件發展過程中了解事件的狀況。最后，應急響應者，傳統上是復雜事件的唯一決策者，需要接受來自外部行業專家的創新，以促進發現潛在的解決方案。如果領導層和決策者支持，跨學科的反應框架可以促進創新。表ES-1中總結了這些關鍵發現。

21世紀將繼續為消防部門的領導和第一反應者帶來新的挑戰。這篇論文為他們提供了潛在的路徑。

1.決策者應該允許跨學科團隊在遇到不熟悉的情況時，與消防和應急反應領導人進行接觸。

2.消防和應急領導應該將指揮和情景意識團隊放在一起，以支持關于事件狀態的實時溝通。

3.應急響應領導應準備擴大響應框架，以納入消防部門以外的實體。

4.當遇到不熟悉的情況時，消防和應急服務領導人必須接受創新，并建立支持測試新想法的指揮結構。

本論文建議，消防部門的領導人在處理不熟悉的問題時，利用擴大的跨學科團隊，創造性地尋求替代解決方案。使用這樣的團隊將要求領導者擴大反應框架，改變熟悉的反應模式，以包括外部機構和非傳統的應急響應者。最后，領導者應有意鼓勵對成功和失敗的公開交流，以鼓勵整個反應過程中的合作和創新。

美海軍部依靠目前海軍的方式，如簡報、聊天和語音報告來提供艦隊的整體作戰評估。這包括網絡領域，或戰斗空間，描繪了艦船的網絡設備和服務狀態的單一快照。然而，這些信息可能是過時的和不準確的，在決策者了解網絡領域的設備服務和可用性方面造成了混亂。我們研究了持久性增強環境（PAE）和三維可視化的能力，以支持通信和網絡操作、報告和資源管理決策。我們設計和開發了一個PAE原型，并測試了其界面的可用性。我們的研究考察了用戶對多艘艦艇上的海軍網絡戰斗空間的三維可視化理解，并評估了PAE在戰術層面上協助有效任務規劃的能力。結果是非常令人鼓舞的：參與者能夠成功地完成他們的任務。他們發現界面很容易理解和操作，原型被認為是他們目前做法的一個有價值的選擇。我們的研究提供了對新型數據表示形式的可行性和有效性的密切洞察，以及它在不同社區之間復雜的操作技術（OT）環境中支持更快和更好的態勢感知和決策能力。

引言

A.研究領域

持久性增強環境（PAE）是一個系統，它使用共享（多用戶）環境、增強現實（AR）技術和一系列傳感器的概念來創建過程和數據集的可視化表示，這些數據集被持久地（在很長一段時間內）添加、操作、可視化和分析，以支持人類操作員所做的一系列任務[1]。PAE被認為有可能給許多領域和人類任務帶來好處，包括網絡系統的可視化、網絡態勢感知和決策工作領域。

PAE的重要概念包括將實時信息傳遞給人類操作者，并以一種比傳統的信息記錄和傳遞形式更容易理解的格式。后者提高了解決整個海軍領域不同社區的許多用戶的需求的潛力，減少了錯誤的數量，并將大部分時間用于決策過程。

由于用戶數量眾多，社區各異，必須準確及時地解決收集、處理和操作大量數據的需求。此外，網絡領域的復雜性促使人們需要簡化、準確和及時的信息。與AR系統非常相似，PAE允許用戶在現實世界中處理和操縱虛擬物體，并同時看到眾多用戶之間的系統實時自動同步變化。這種虛擬和現實信息的實時無縫整合解決了網絡領域的復雜性，最終在大量用戶和不同社區之間提供了行動的準確性和及時性。

我們設計和開發了一個PAE系統原型，并分析了它如何支持海軍領域的網絡系統可視化和任務規劃操作。我們努力的主要目標是提高單用戶對水面資產上復雜網絡的理解和態勢感知，以及對設備當前網絡狀態的實時表示，從而使海軍部（DON）的任務規劃更加有效。在戰術層面上，這項研究將使我們進一步了解為支持有效的任務規劃而需要建立的技術基礎設施和流程。該系統有可能為美國防部所有部門帶來明顯的好處。

B.研究問題和動機

在美國海軍中，為了完成不同的任務，多個作戰群體依靠網絡群體來顯示網絡和通信狀態，以維持作戰畫面并提供通信。美國水面艦艇上的網絡和作戰系統的整合，在將信息和網絡狀態顯示為二維（2D）物體時，會在作戰人員中造成混亂。特別是當網絡設備發生意外變化時（即失去電力、拒絕服務、失去衛星覆蓋等），情況更是如此。設備的變化不僅影響到船上的通信，而且還影響到領導人的整體態勢感知。利用PAE系統整合三維（3D）數據和立體顯示，有可能通過實時自動顯示系統變化，大大幫助決策者了解復雜的網絡。

1. 網絡對通信至關重要（我們為什么關心）

網絡對于海軍資產之間在作戰層面的通信是至關重要的。如果沒有網絡設備，一艘水面艦艇就失去了與指揮系統（CoC）進行快速和準確溝通的能力。同樣，CoC也不能有效地將他們的信息傳達給各個水面艦艇。現在，我們可以把單艦沒有能力接收任務或發送狀態更新的想法，然后把可用的水面資產數量增加到一個多資產的航母打擊群（CSG）。這導致整個CSG中的五到六艘艦艇沒有能力與CSG指揮官就當前的任務甚至是日常行動進行溝通。即使海軍可以使用傳統的通信方式，如摩爾斯電碼和旗語信號來傳遞簡單的信息，但更復雜的信息必須以容易消化的格式來表示，以便決策者能夠了解當前的行動并迅速作出最佳決策。

通過在地面資產之間利用PAE系統，PAE系統有可能改善對復雜信息的理解，它將從紙質手冊或電子圖書館中獲取的二維信息轉化為三維可視化系統，并不斷更新三維可視化，以反映用戶的互動和該系統接收和生成的數據集的不斷更新。PAE系統也有可能訪問歷史數據，這在分析歷史趨勢或行動后報告（AAR）中可能是至關重要的。歸根結底，網絡領域值得采用新技術并尋找更好的解決方案。

2. 網絡設備狀態

為了了解單位層面的網絡設備狀態，戰略層面的決策者依賴于目前海軍傳統上使用簡報、聊天和語音報告的做法。然而，這些信息可能是過時的和不準確的，最終在需要了解網絡領域的服務和設備可用性的決策者中造成了混亂。網絡領域是一個復雜的領域，需要有效的管理和理解網絡操作，包括海軍艦隊之間的共享態勢感知（SA）。網絡設備在不斷變化，這取決于設備的狀態和水面艦艇的地理位置，這些都會影響連接性。

海軍操作員和領導傳統上使用各種格式的二維網絡拓撲圖和微軟文件來描述網絡系統的運行狀態并維護資源管理。這些二維模型最初是為了協助領導和操作員對網絡進行清晰的可視化；然而，隨著時間的推移，網絡資產的增加，從而增加了二維模型的復雜性，使得理解這些綜合系統變得更加困難。正因為如此，二維網絡圖和拓撲結構的顯示更成為理解新系統集成或系統變化的障礙。理解傳統的、印刷的二維信息（圖1）所花費的時間已經不能滿足操作人員和作戰人員的需要，也不能及時為決策者提供簡明清晰的信息。

3. 從PowerPoint幻燈片（2D信息）到增強現實（3D信息）

當代支持人類操作和決策的技術已經從過去適度的形式上有了飛速的發展。數據的表現形式現在可以采取三維信息的形式，不再是靜態的，而是動態變化的，支持用戶與相同數據集的實時互動。然而，今天大多數水面資產的重要通信包括不同級別的互聯網連接，便于分享PowerPoint簡報和接收在二維空間表示的語音或書面報告。這些傳統的通信途徑是艦艇當前作戰狀態的快照或對即將到來的任務的一系列預期；它們推動了美國海軍 "維持、訓練和裝備能夠贏得戰爭、阻止侵略和維護海洋自由的戰斗準備的海軍部隊 "的能力[3]。正如Timmerman的論文研究[4]中所認識到的，目前的二維可視化將復雜的操作技術（OT）系統顯示為網絡社區所習慣的平面信息技術（IT）圖，從而過度簡化了這些系統。另一種更優越的表示方法是在三維空間中顯示邏輯網絡元素，反映這些網絡的物理和邏輯的復雜性。通過研究數據的三維表示法，海軍可以加快關鍵的時間敏感數據的流動，這些數據原本是在二維空間，變成更容易理解的三維信息。

研究的總體目標是對PAE系統原型進行定量評估，通過可用性研究分析其如何支持海軍領域的網絡系統可視化和任務規劃操作。對復雜網絡及其相應拓撲結構的傳統理解是基于技術手冊中的藍圖的二維圖紙。這種信息的翻譯再由非主題專家（SME）通過PPT簡報（或口頭簡報）進一步稀釋，以告知高層決策者的指揮系統當前在水面資產上的通信狀態。最終，在二維信息、口頭或PowerPoint簡報和向高層決策者提供綜合信息之間會有時間損失。向決策者展示復雜系統的解決方案是通過PAE將二維信息表現為三維信息。

C. 研究問題?

本論文探討了以下問題。

• 什么是有可能為任務規劃提供更有效支持的技術框架？

• 網絡通信能力的三維可視化和PAE系統能否為網絡領域特定的任務規劃要素提供有效支持？

• PAE系統能否有效地協助戰術層面的任務規劃任務，具體到網絡通信的管理？

D. 范圍?

本論文將限于開發一個PAE系統原型，以幫助可視化用戶研究所需的網絡基礎設施。可用性研究有兩個不同的目的：檢查用戶對海軍網絡戰斗空間的三維可視化的理解，跨越多個艦艇的通信和網絡基礎設施，并評估PAE在戰術層面上有效協助任務規劃的能力。雖然海軍領域的PAE的大概念被設想為支持許多作戰任務和訓練情況[1]，并包括與作戰系統的互連性，但為本論文開發的原型系統將有足夠的功能來支持用戶研究。

E. 研究方法

本研究的研究方法包括以下步驟:

1. 進行文獻回顧。在AR、虛擬現實（VR）、SA、潛在多用戶環境、網絡可視化實踐以及應用于AR的持久性系統等領域進行文獻回顧。

2. 執行任務分析。進行任務分析，分析當前網絡操作、決策以及整個艦隊的設備和服務可用性的資源管理的做法。這包括但不限于詳細分析航母上的戰斗值班長（BWC）與巡洋艦或驅逐艦上的作戰指揮官（CRUDES）之間的報告和互動，當前的網絡可視化做法，以及PAE的有效性。我們還將對目前的報告標準和現有的SA任務和實踐進行詳細的任務分析。

3. 確定三維模型。確定一套支持虛擬環境和可用性研究所需的用戶任務的三維模型。

4. 設計和開發一個PAE原型。設計和開發一個支持可用性研究的PAE系統原型。

5. 設計和執行可用性研究。設計一個可用性研究，制定機構審查委員會（IRB）文件，對人類參與者進行研究，并檢查用戶執行所需任務的經驗。可用性研究的設計將針對網絡領域的可視化，側重于用戶更好地理解網絡設備如何與其他系統相互連接的能力，并實時描述網絡戰斗空間。此外，該設計將被定制為展示多艦情況下的決策，并衡量界面在支持任務規劃和資源管理方面的有效性。

6. 分析數據。分析研究中收集的人類性能數據，并檢查PAE原型系統的技術性能。

7. 確定建議和未來工作。收集并確定對未來可能的工作的建議。

F. 論文結構

第一章：導言。本章介紹了研究空間的最關鍵要素：領域、問題、研究問題、范圍和用于解決所有研究問題的方法。

第二章：背景和文獻回顧。本章強調了VR、AR、混合現實（MR）、持久性系統和SA的定義。文中回顧了關注AR和VR技術的研究經驗，并討論了多用戶環境、現有網絡可視化實踐和持久性系統與AR技術結合應用時帶來的潛力。

第三章：任務分析。本章分析了目前整個艦隊的網絡操作、決策以及設備和服務可用性的資源管理的做法。

第四章：系統原型。本章闡述了PAE系統的設計和開發、系統結構和模擬環境。本章還描述了訓練場景和一套支持建立可用性研究所需的虛擬環境的三維模型。

第五章。可用性研究。本章介紹了可用性研究的要素，文中還討論了從可用性研究中收集的數據集中得出的結果。

第六章：結論和未來工作。本章概述了本研究的主要內容，并對未來的工作提出了建議。

I. 引言

1.1 問題背景

自人工智能（AI）誕生以來，復雜的游戲為測試和探索搜索技術提供了一個具有挑戰性的領域。甚至阿蘭-圖靈也提出將國際象棋游戲作為人工智能的基準，提出了一種他親手執行的游戲算法[1]。游戲在搜索算法中的重要性后來在1958年得到了擴展，當時阿瑟-塞繆爾使用早期版本的強化學習創造了一個跳棋游戲程序[2]。自20世紀70年代以來，重點是國際象棋比賽，最終為IBM深藍程序在1996年擊敗世界國際象棋冠軍加里-卡斯帕羅夫鋪平了道路[3]。在最近幾年，玩游戲的人工智能仍然處于該領域的前沿。2016年，谷歌DeepMind的經典大狀態空間游戲Go的智能體在比賽中擊敗了世界冠軍[4]，標志著人工智能發展的一個里程碑。

游戲有很大的搜索空間，很難完全探索。盡管一個人可以采取的狀態和行動組合的數量很多，但人類在為復雜的游戲制定策略方面卻異常出色。然而，隨著計算能力和算法理論的進步，人工智能Agent現在能夠在復雜游戲中擊敗世界冠軍人類。這些現代游戲算法往往擺脫了人類的理解能力，并試圖取代人類的決策，而不是增強它。

在整個人工智能領域，存在著使人工智能更加透明、可解釋和可說明的普遍工作[5]。然而，在玩游戲的人工智能領域，這種努力對學習Agent來說是稀疏的，因為現代Agent傳統上使用非符號方法。符號Agent通過使用所學概念的符號描述來表示其知識，而非符號Agent則以內部格式表示其知識，如加權突觸、邏輯單元或連接網絡[6]。游戲可以特別受益于符號方法的可解釋性，以幫助人類用戶理解游戲，并在人工智能的輔助推理被移除后提高他們的表現[7]。

符號化人工智能用于游戲的一個例子是學習分類器系統（LCS）算法家族。LCS是基于規則的學習機器，采用遺傳算法（GA）來發現新的規則[8]。LCS的實現分為兩個系列，即密歇根式和匹茲堡式。密歇根式LCS評估單個規則的適用性，而匹茲堡式LCS則評估規則集的適用性。最近的研究工作絕大部分集中在密歇根式的實現上[8]。此外，由于較小的評估時間和在線學習能力，密歇根式的LCS實現在游戲中比匹茲堡式的對應系統受到廣泛青睞。然而，由于規則數量眾多，它們的推理能力較低[7]。雖然匹茲堡式的LCS在實時戰略游戲中經常擁有局限性[9]，但它們在其他游戲環境中顯示出了前景，因為在這些環境中可以進行離線學習[10]，同時保持可解釋性[11] 。

本論文探討了LCS在一類特殊游戲中的應用：兵棋推演。兵棋推演并沒有一個標準的定義。2020年版的《聯合出版物5-0》將兵棋推演定義為 "在合成環境中的沖突或競爭的表現，其中人們做出決定并對這些決定的后果做出反應"。[12] 相比之下，國防建模與仿真協調辦公室（DMSCO）使用現已失效的電氣和電子工程師協會（IEEE）610.3-1989的兵棋推演定義，將其定義為 "一種模擬游戲，參與者在預先確定的資源和約束條件下尋求實現特定的軍事目標；例如，模擬參與者做出戰場決策，計算機決定這些決策的結果。" [13] 在本論文中，我們將兵棋推演定義為以現實世界的邏輯為模型的戰場模擬，其中參與者做出決定以完成一個或多個目標，并由計算機決定結果和互動。

這篇論文的重點是LCS在回合制、同時移動和多行動游戲Stratagem MIST中的實現。Stratagem MIST是空軍研究實驗室（AFRL）正在開發的一個游戲，作為戰時沖突的多域模擬器。據作者所知，專門用于軍事戰爭游戲的LCS Agent目前還沒有被探索。此外，在一般的游戲中缺乏涉及匹茲堡式的LCS的研究，這也提供了一個興趣點和未開發的領域。我們的假設是，LCS，特別是匹茲堡式LCS，除了產生可解釋的輸出，可以讓外部觀察者理解其決策過程外，還可以成為Stratagem MIST的有效的符號游戲Agent。

1.2 動機

兵棋推演對于軍事科學領域尤其重要，因為它們可以用于發展作戰理論[14]。現代兵棋推演的概念是1780年在普魯士發明的，記錄顯示，年輕的軍官通過玩桌面兵棋推演來學習軍事戰略。從歷史上看，從兵棋推演中學到的經驗往往能轉化為現實世界的場景。在第一次世界大戰中，每個主要作戰國都采用了兵棋推演來幫助戰爭計劃[15]。在第二次世界大戰中，美國和英國皇家海軍利用分析后的兵棋推演結果來制定更好的戰術，而軸心國部隊則利用兵棋推演來預測盟軍的戰略[14]。近年來，一些項目證明了應用人工智能技術解決復雜兵棋推演的成功[16]。然而，解決游戲或開發先進的搜索技術以勝過人類的目標可能與兵棋推演的既定目的相沖突。如果兵棋推演的目的是通過模擬為人類玩家準備實際的沖突，那么非符號Agent的行動可能無法轉移到現實世界的表現。相反，一個能夠很好地發揮兵棋能力，并以可解釋的形式呈現其理由的Agent有可能幫助發現新的戰略和戰術，從而轉化為現實世界的場景。

戰略MIST是探索兵棋推演中使用LCS的一個主要領域。其巨大的復雜性、一般的兵棋結構以及對多個多領域場景的適應性，促使人們在多個方面產生研究興趣。由于在兵棋和Stratagem MIST中沒有其他LCS的實現，因此跟蹤LCS規則在條件分布、行動分布和行動選擇傾向方面的內部構成是很重要的。這些數據可以回答關于LCS在保持可解釋性和性能的同時做出復雜決策的能力的問題。

1.3 研究問題

本論文試圖回答以下研究問題：

1.在兵棋環境中，LCS Agent的有效性如何？

2.在Stratagem MIST中，LCS生成的規則的內部構成是怎樣的？

3.LCS Agent生成的默認規則集的可解釋性如何，如何才能提高可解釋性？

1.4 研究任務

為回答上述研究問題，進行了以下任務：

1.開發能夠使用已知的LCS方法有效發揮Stratagem MIST的Agent。

2.進行實驗，比較使用不同符號和非符號游戲方法的Agent勝率。

3.分析LCS Agent能夠為一般的Stratagem MIST場景制定策略的程度。

4.檢查最終確定的LCS規則集中的條件和行動的分布。

5.分析如何解釋所產生的規則集，并將其簡化為可讀的形式。

1.5 文件概述

第二章介紹了博弈論的概念，LCS研究的概述，以及Stratagem MIST的描述。第三章概述了為回答研究問題所實施的工作。第四章分析和討論了所得數據。最后，第五章提出結論并討論了未來的工作。

摘要

混合行動由多個行動領域的協調攻擊完成，包括網絡戰和信息戰。檢測混合型威脅的一個關鍵挑戰是如何識別個別事件是對手（精心策劃的）措施的結果，并將所謂不相關的事件聯系起來。由于物理和網絡及信息領域的行動可能發生在不同的時間、不同的地點、不同的速度，作為短期或長期的活動，并且可能是低強度的，因此連接這些點的任務變得更加困難。為了確定與具體任務規劃和執行相關的信息，混合威脅的風險評估必須始終在具體任務的背景下進行，包括其任務目標、行動區域和任務時間范圍。

在本文中，我們描述了兩種情況，在這兩種情況下，對手可能在物理以及網絡和信息空間中進行攻擊，以干擾行動。接下來，我們描述了一個演示器的高級架構，顯示了不同類型的傳感器和信息源是如何連接在一起的。為了應對混合威脅并充分發揮對分析員和決策者的支持潛力，有必要在不同的細節水平上實現態勢感知--從原始數據到高度聚合的風險評估--在不同的領域中共享信息，并在聚合水平上融合它們。

引言

多域作戰（MDO）并不是一個新現象。在戰爭中，長期以來一直在多個領域開展行動。從陸、海、空行動開始，空間和網絡領域補充了對手的組合。為了對付這些，需要不同部門的深入合作。同樣，混合威脅這個詞也不是2020年的發明。一開始是混合戰爭，它與非對稱戰爭、非正規部隊和信息行動等概念混雜在一起。

在早期，重點是傳統的軍事沖突。戰場是傳統的地面，坦克、飛機和艦艇與人員一起是主要的行為者。通信是決定勝負的一個關鍵因素。數字化的開始提供了新的好處和選擇，但也給戰爭帶來了新的脆弱性。今天被稱為網絡和信息領域（CID）的使用在軍事能力方面是一個很大的推動。隨著社交媒體的出現，信息領域發生了巨大的變化，因為它使對手更容易影響公眾輿論和關鍵人物的意見。此外，隨著物聯網中相互連接的設備越來越多，網絡威脅的重要性也在增加。今天的關鍵基礎設施（用于能源、交通、衛生等）比過去更容易受到信息技術的威脅，它們是現代戰爭中的熱門目標。這為敵對勢力的攻擊打開了大門。他們的工具箱不再局限于經典的軍事資產。當然，新興的技術導致了反擊和反擊的措施，以及一場永恒的競爭。

在軍事和民用領域，對信息交流的使用和依賴日益增加，產生了新的攻擊載體，同時也產生了防御這些攻擊的新需求。在今天的沖突中，威脅影響到政治、軍事、經濟、社會、信息和基礎設施等領域。不同的威脅可能是由正規和非正規部隊造成的。這些可能是不利的國家，也可能是出于非政府考慮的團體。

一個關鍵的挑戰是如何在戰術層面上認識到個別事件是對手（精心策劃的）措施的結果，并將所謂不相關的事件聯系起來。在任務規劃或任務執行的風險評估中，這個問題的答案可能會導致對自己的措施無動于衷的決定，如使用通信渠道、部隊保護、路線規劃或反網絡行動。由于物理和網絡及信息領域的行動可能發生在不同的時間，以不同的速度，作為短期或長期的活動，并且可能是低強度的，因此連接這些點的任務變得更加困難。

摘要

混合沖突的分析、評估和決策是復雜的，原因有很多：混合活動的信號是多維的；結合多種類型的信息是必要的；許多混合沖突是隱蔽的，或者很難從正常的國家與國家的關系中分辨出來。對混合沖突的評估需要包括對手行為者的戰略目標、被利用的社會脆弱性和背景事件、跨社會領域的活動，以及對目標社會的影響。在早期的工作中，我們根據混合沖突的這五個要素提出了一個分析過程。在本文中，我們在這項工作和更廣泛的情報文獻的基礎上，解決如何進行混合沖突評估的問題。具體來說，我們概述了一個詳細的評估過程，為決策者提供對形勢的了解，以選擇對混合威脅的預防性和反應性反應。所提議的程序的優點在于它對混合沖突的綜合評估，結合了目標社會的觀點和對手行為者的觀點。此外，所提出的評估功能依賴于人類產生的分析性見解--考慮到背景、模糊性、規范性--和從傳入數據中產生的信號--考慮到結構化和結合來自多個來源的信息--之間的持續互動。這種綜合視角超越了傳統的分析方法。我們提出的評估很適合引導人類和自動化情報的結合，并提供了一個分析方法和工具的藍圖，以應對混合沖突中的決策挑戰。

引言

混合沖突是國家之間的一種沖突，大多低于公開戰爭的門檻（見歐盟等的定義，2018年，北約，2019年和荷蘭層面的定義，NCTV，2019年）。混合沖突中的國家使用許多國家權力的措施來影響其他社會。這些措施包括外交、信息、軍事、經濟、金融、情報和執法手段。戰略層面上的混合沖突案例研究需要敘事和社交媒體操縱、針鋒相對的金融和經濟制裁、外交威脅、大規模軍事演習和許多其他全社會的互動。許多類型的混合威脅在前些年的經驗中是已知的。例如，美國的選舉影響，中國通過基礎設施投資的影響，以及俄羅斯在破壞烏克蘭穩定方面的努力。

混合沖突給決策者帶來了不同的挑戰。這是因為公開的軍事對抗大多被避免，只有低于武裝沖突的法律門檻的活動才被應用。網絡領域和信息領域是針對政府和社會的影響活動發生的主要領域。由于混合沖突中許多活動的隱蔽性或模糊性，在將活動歸于國家行為者方面存在很大問題。最后，混合沖突是對各種手段和方法的創造性安排，它創造了新的情況，對分析來說具有內在的挑戰性。在這篇文章中，更詳細地研究了在面臨上述挑戰時對混合沖突的評估。

圖1 - 運動評估功能及其輸入的示意性概述

摘要

記錄一個系統或集成系統內所有信息變化的出處，這提供了關于正在做出的決定和促使這些決定的重要信息。從取證的角度來看，這可以用來重新創建決策環境。然而，出處也可以為其他兩個重要功能服務。收集的數據可以支持組件的整合，而生成的圖形數據結構可以通過解釋、總結和告警來支持操作員進行態勢感知。混合戰爭將必然匯集不同決策支持能力，因為決策者必須在多個戰爭領域運作。自主代理將可能在計劃和執行過程中發揮作用，有時能夠在沒有人類干預的情況下做出決定，但人類決策者必須意識到這一點。事實證明，證據圖可以轉化為修辭結構圖（RSG），使代理能夠用自然語言甚至多模態交流，向人類解釋他們的行動。證據還被證明可以加強對計劃執行監控，并可用于向人類或自主代理提供通知，當計劃中使用的信息發生變化時，可能需要重新考慮計劃。隨著我們朝著智能機器在復雜環境中支持人類決策者團隊的方向發展，跟蹤決策及其輸入的需要變得至關重要。

引言

出處是關于實體、活動、代理以及這些概念之間關系的信息[1]。這些信息不僅僅解釋了發生了什么，它還回答了關于實體如何被操縱、何時發生以及誰參與了這個過程的問題。我們很可能熟悉關于追蹤藝術作品出處的新聞和虛構的故事。任何實體的創造、破壞或修改的出處都可以被追蹤。在本文中，我們將重點討論軍事系統內的信息。在指揮與控制（C2）內，信息出處對于記錄行動背后的決策過程是必要的，特別是當自主和人工智能（AI）代理深入參與時。參與某一過程的 "誰 "可能是人類或人工智能代理。

信息出處有幾個目的。在取證方面，出處追蹤提供了參與決策的人和代理，以及數據是如何演化為該決策的。美國公共政策委員會指出，數據出處是算法透明度和問責制的一個明確原則[2]。完整記錄的出處可以闡明數據的依賴性、責任流，并幫助解釋為什么采取某些行動。隨著人工智能和自主代理繼續自動化進程，它們在做出關鍵決策時已變得更加不可或缺[3]。

圖1 PROV-DM模型。

摘要

混合戰爭為沖突推波助瀾，以削弱對手的實力。相關的行動既發生在物理世界，也發生在媒體空間（通常被稱為 "信息空間"）。防御混合戰爭需要全面的態勢感知，這需要在兩個領域，即物理和媒體領域的情報。為此，開源情報（OSInt）的任務是分析來自媒體空間的公開信息。由于媒體空間非常大且不斷增長，OSInt需要技術支持。在本文中，我們將描述對物理世界的事件以及媒體事件的自動檢測和提取。我們將討論不同類型的事件表征如何相互關聯，以及事件表征的網絡如何促進情景意識。

引言

開源情報（OSInt）的任務是探索和分析可公開獲取的媒體空間，以收集有關（潛在）沖突的信息，以及其他主題。所謂 "媒體空間"，我們指的是通過傳統媒體（如電視、廣播和報紙）以及社交媒體（包括各種網絡博客）傳播的非常龐大、快速且持續增長的多語種文本、圖像、視頻和音頻數據語料庫。社會媒體大多是平臺綁定的。平臺包括YouTube、Twitter、Facebook、Instagram和其他[1,2]。在很大程度上，媒體空間可以通過互聯網訪問。很多部分是對公眾開放的。然而，也存在一些半開放的區域，其中有潛在的有價值的信息，但并不打算讓所有人都能接觸到，例如Telegram和Facebook頁面。

媒體空間提供關于物理世界的信息：發生了什么？哪些事件目前正在進行？未來計劃或預測會發生什么？它對物理世界的事件反應非常快，也就是說，幾乎是立即提供信息[3]。因此，媒體空間似乎是物理世界中事件的一個有希望的 "傳感器"。然而，從鋪天蓋地的大量信息中檢索出特別相關的信息仍然是一個挑戰，因為到目前為止，所提供的大多數信息是完全不相關的，至少對軍隊來說是如此。此外，媒體空間并不一致--它包括真實和虛假信息，因此，事實核查是一個進一步的挑戰。

除了作為物理世界的傳感器，媒體空間還是意識形態、意見和價值觀的論壇。它是一個重要的空間，用于協商一個社會認為是允許的、規定的或禁止的東西，并用于表現情緒和偏見。因此，它已成為混合戰爭的戰場，即以 "通過暴力、控制、顛覆、操縱和傳播（錯誤的）信息"（[4]，第2頁）為目的進行的行動。(錯誤的)信息行動導致我們稱之為 "媒體事件"。媒體事件可以被觸發，以影響情緒、意識形態和公眾對物質世界的看法。

可能的圖表實例

摘要

越來越多的信息以非結構化文本數據的形式在網上分享，尤其是在社交媒體上，這為補充傳統的網絡威脅情報來源提供了機會。由于這種大量的數據無法人工處理，我們探討了使用機器學習來協助分析的一些可能性。我們特別關注與命名的威脅者有關的信息的檢索。通過對現有的語言模型進行微調以完成特定的下游任務，基于偽自動注釋的數據，我們獲得了檢測和提取以前未見過的威脅行為者的模型。我們在不同的條件下進行了多次評估，其中一些評估結果表明，這些模型確實能夠產生在半自動分析環境下有用的結果。此外，我們認為這是一個將一般語言模型應用于特定領域任務的案例研究，并反思了一些更普遍的經驗教訓。

引言

威脅情報是網絡防御的一個組成部分。對技術系統的記錄和監測是網絡威脅情報（CTI）的傳統來源。越來越多的信息在網上分享，尤其是在社交媒體上，為補充傳統來源提供了一個機會，以提高網絡環境中的態勢感知。要大規模地利用這些新來源，需要有能力以比任何分析家都要高得多的速度篩選大量的非結構化數據。因此，有必要進行半自動分析，將分析員的思維優勢與計算機的處理能力相結合。

自然語言處理（NLP）和機器學習（ML）的最新發展提供了強大和多功能的語言模型，這些模型代表了對語言的一般理解，通過大量的文本數據和計算能力獲得。這些模型可以在更小的數據量上進行微調，以學習一個特定的任務。在這項工作中，我們探索了將這種語言模型應用于CTI背景的可能性，特別是我們專注于自動識別文本中提到的（以前未見過的）網絡威脅者的任務。除了與CTI有關的這種能力的好處外，這也是一個將一般語言模型應用于利基和特定領域的任務的案例研究，對于這些任務，不能假定有預先存在的數據集和評估基準。

圖4-1：為人工評估機器學習模型而設計的儀表板。除其他外，它顯示了在不同閾值下被歸類為包含威脅行為者的推文的百分比（餅圖），以及在選定的時間間隔內，威脅行為者候選人的前十名名單。

摘要

本文研究了在信息時代，俄羅斯聯邦的各種官僚機構如何利用外交語言、宣傳和軍事信號，圍繞沖突和暴力實時地進行有利的敘述。這兩年的外交聲明和政治軍事行動共有約3000條記錄可供考慮，提供了大量的數據供評估。通過研究2019年和2020年這些聲明的頻率、預期信息和目標，本文確定了俄羅斯如何在口頭上介入全球事件的趨勢，并將這種做法與俄羅斯軍事干預的行動能力聯系起來。盡管作為國家活動的外交活動和軍事信號早在信息時代之前就已存在，但本文評估了這些工具在現代環境中的使用情況。了解俄羅斯將如何試圖干預或阻止外界對世界各地的政治和軍事危機的反應是至關重要的，因為政治限制可能仍然是信息時代軍事決策的最重要的限制因素，特別是對民主國家的軍隊，如北約成員。

引言

為了逆向設計顏色革命，俄羅斯的國策越來越多地利用其境外的社會裂痕和暴力來削弱其對手并夸大其作為大國的偽裝。本文利用2019-2020年俄羅斯言論數據庫，調查了俄羅斯國家宣傳如何利用海外暴力事件來推進這一議程；然后將這種言論與當代俄羅斯的軍事行動和現代化進行比較，以評估宣傳活動是否與俄羅斯的作戰能力相關。這允許對俄羅斯在世界各地的暴力事件中的言行進行比較。

本文沒有調查俄羅斯信息戰政策在每個暴力事件中的具體動機，而是局限于分析俄羅斯外交和軍事政策的表達。通過研究不同地域的宣傳和行動的頻率，不管是什么原因，本文突破了俄羅斯信息戰的刻意混淆性質，顯示了某些可量化的模式。

本文發現有證據表明，俄羅斯通過宣傳和軍事力量的展示，將歐洲挑出來進行恫嚇。如果排除烏克蘭這個例外情況，俄羅斯的宣傳和軍事示威的全球分布在地區和聯盟關系上都有相當強的相關性。同樣，與美國的主要非北約盟國（MNNA）、俄羅斯的盟國或不結盟國家相比，俄羅斯的憤怒似乎主要針對北約成員國。然而，如果將其分解到除美國以外的各個北約成員國的層面上，這種關聯性就不那么明顯了。