信息戰的戰場已轉移至在線社交網絡,影響力行動在此以前所未有的速度和規模運作。與任何戰略領域一樣,成功需要理解環境、建模對手并執行干預措施。本教程介紹了一種用于社交媒體信息作戰(IO)的正式優化框架,其目標是通過有針對性的行動塑造輿論。該框架由網絡結構、用戶觀點和活動水平等參數化——所有這些都必須從數據中估計或推斷。討論了支持此過程的分析工具,包括用于識別有影響力用戶的中心性度量、用于檢測社區結構的聚類算法以及用于衡量公眾情緒的情感分析。這些工具要么直接輸入優化流程,要么幫助防御分析師解讀信息環境。在描繪環境圖景后,我們重點強調了諸如協調的機器人網絡、極端分子招募和病毒式虛假信息等威脅。應對措施范圍廣泛,從內容層面的干預到數學優化的影響力策略。最后,生成式人工智能(AI)的出現改變了進攻和防御兩方面,既“使說服能力擴散化”,又實現了可擴展的防御。這種轉變呼吁算法創新、政策改革和倫理監督,以保護我們數字公共領域的完整性。
國家選舉候選人勢均力敵。選民分裂并固守于其意識形態陣營。但在集會和政策辯論的表象之下,一場更具戰略性的行動正在展開。千里之外的外國特工策劃行動以改變局勢平衡——不是通過投票機黑客攻擊或選票造假,而是通過模因(meme)、假新聞和旨在操縱社交媒體話語的自動化賬戶網絡。
這就是信息戰的現代現實。影響力已從廣播和報紙轉移到數十億人每日聚集的數字網絡。在這里,戰爭的工具是推文,戰場是信息流和時間線,而勝利者則是那些理解信息如何流動、觀點如何形成以及公眾情緒如何通過精心設計的信息被影響的人。
信息作戰(IO)指的是通過控制信息流來影響、破壞或操縱人群信念或決策的協調行動。雖然信息作戰長期以來以傳統形式存在——例如宣傳和心理戰——但社交媒體的興起極大地放大了其影響范圍和效力。一條信息可以在早晨設計出來,并在下午通過病毒式分享和參與度優化的算法傳播給數百萬人。這些平臺旨在最大化用戶注意力而非確保真實性,為試圖大規模散布混亂或分裂的行為者創造了理想條件。要理解信息作戰如何在線上顯現,理解關鍵行為者和所涉及的內容類型至關重要。社交媒體平臺由普通用戶、機器人(bot)、網絡水軍(troll)和極端分子混合組成。機器人是模仿人類行為的自動化賬戶——大規模放大內容、扭曲參與度指標或用協調一致的信息淹沒對話。網絡水軍是故意挑釁、誤導或破壞對話以散布不和或操縱輿論的人類用戶。極端分子同樣利用社交平臺,但其目標更為嚴重,旨在使受眾激進化、招募追隨者或煽動暴力。這些惡意行為者對平臺上的普通用戶構成重大風險。
除了極端分子構成的直接威脅和暴力呼吁外,另一種危險來自虛假內容的傳播。此類內容通常旨在引發強烈情緒反應而非傳遞準確信息。最常見的類型包括錯誤信息(無意欺騙而分享的虛假信息)和虛假信息(故意欺騙而分享的虛假信息)[11]。兩種形式都可能對個人造成傷害并侵蝕公眾信任。社交媒體平臺的高度連通性使此類內容得以迅速廣泛傳播,可能對個人、機構乃至整個社會造成嚴重損害。要設計有效的信息作戰,我們首先必須了解需要知道和控制什么。我們需要描述網絡結構——誰與誰互動以及信息如何流動。需要了解公眾輿論的現狀,以及任何現有影響力活動的存在和有效性。最后,我們必須明確可用于干預的工具和手段:我們可以部署的代理、他們可以創建的內容以及我們可以觸達的受眾。
這自然引出了一個優化公式,稱之為信息作戰優化問題,其中先前研究[49, 6, 100]中確定的影響力活動的分析維度被轉化為決策變量和目標。我們將社交媒體環境表示為一個網絡 G = (V, E),其中 V 是一組用戶,E 捕捉他們之間的關系——例如關注關系、行為相似性或信息流速率。每個用戶 i ∈ V 在時間 t 持有狀態 Θi,t,代表其對給定主題的觀點、信念或情緒。目標是在時間范圍 T 內引導這些觀點,以實現期望的戰略成果,例如建立共識、減少兩極分化或對抗對手影響力。
這就是“監測、識別、評估、反制”(MIAC)框架發揮核心作用的地方。它提供了信息作戰優化問題的結構化分解,每個階段要么貢獻于關鍵輸入的確定,要么貢獻于可操作干預措施的設計。如圖1所示,以反制機器人影響這一具體問題為例,這個順序流程展示了如何將原始觀測數據轉化為有針對性的影響力活動。
圖1 MIAC流程將信息作戰優化問題分解為四個相互依存的階段。每個階段為下一階段提供輸入,將原始數據轉化為結構化的干預措施。此示例說明了在在線討論中反制機器人的影響。改編自[86]。
“監測”(Monitor)通過構建網絡 G = (V, E) 并估計初始用戶狀態 θ0 來啟動該過程,利用用戶互動、內容曝光模式和情緒分布等數據。“識別”(Identify)檢測網絡中嵌入的對手行為者——機器人或其他協調團體——他們可能被移除(在平臺層面行動的情況下)或明確納入狀態(例如觀點)動態建模中。“評估”(Assess)通過模擬 f(·) 來建模狀態軌跡的演變,量化正在進行的活動的有效性,并幫助根據期望的網絡級結果定義目標函數 e(·)。最后,“反制”(Counter)通過選擇和部署最優干預措施來完成閉環。這涉及選擇適當的行為者類型、行為策略、內容特征和定向計劃——表示為決策變量 (a, b, c, d)——以影響網絡。人工智能(AI)工具通常用于大規模生成和分發有說服力的內容,使這些干預措施更高效且可擴展。
這種分解既提供了流程清晰度,也提供了計算可處理性。MIAC 不是端到端地解決一個龐大的優化問題,而是實現了一個模塊化的工作流程,其中每個階段約束并告知下一個階段,從而減少解空間的維度并使干預措施與現實世界的約束保持一致。在實踐中,“反制”階段是戰略設計變為執行的環節。大規模部署影響力不僅需要確定說什么以及對誰說,還需要生成在情感和修辭上能引起受眾共鳴的內容。現代生成式人工智能工具——尤其是大型語言模型(LLM)[126, 27, 3]——在此發揮著變革性作用。這些系統可以生成由情緒、語氣、幽默和用戶偏好塑造的針對性、適應性強的信息,從而使優化的輸出可操作化,并閉合分析與行動之間的循環。本教程的其余部分遵循 MIAC 結構。
第2節介紹社交媒體分析的基礎方法,重點關注網絡中心性和社區檢測。第3至第6節為每個 MIAC 階段提供詳細方法。第7節探討人工智能工具如何增強信息作戰威脅和防御。我們在第8節以這個快速演進領域中的開放研究問題作為結束。
本體論為知識的組織與利用提供系統化框架,助力更智能高效的決策。為推動當代網絡行動相關情報的資本化與增強,本研究提出的"影響力作戰本體論"界定了核心實體與關聯關系,用于建模威脅行為體通過信息環境針對公眾實施的攻擊戰術與技術。其旨在激發該領域研究與發展,催生對抗影響力行動的創新應用,尤其聚焦情報、安全與防御領域。
根據世界經濟論壇《2025年全球風險報告》,虛假與誤導信息被列為短期首要威脅,社會極化位列第四大風險。惡意行為體正利用此類威脅,通過操控公眾認知與影響公民,危害國家完整性。此類通過欺騙性非法手段操縱民眾、破壞社會完整性的協同行動,統稱為影響力行動(IOs)。歐洲網絡安全機構指出,影響力行動位列該地區十大最普遍且重大威脅之中。為此,歐洲正積極構建威脅分析通用框架,并為各國配備有效反制措施。然而,影響力行動的多學科特性使得信息環境及其關鍵要素(如攻擊實施渠道、在線網絡社群、擴散敘事等)的建模分析面臨特殊挑戰。本研究提出影響力行動本體論,旨在系統刻畫信息環境的多維領域。該方案聚焦網絡威脅情報(CTI),促進與語言及CTI共享平臺的互操作性,并基于主流框架與關鍵提案開發,實現知識整合于統一分析工具,以標準化方式提升分析效能與情報共享能力。
圖:影響力作戰本體
本文探討了如何在軍隊中開發和訓練強大的自主網絡防御(ACD)智能體。本文提出了一種架構,將多智能體強化學習(MARL)、大型語言模型(LLM)和基于規則的系統組成的混合人工智能模型集成到分布在網絡設備上的藍色和紅色智能體團隊中。其主要目標是實現監控、檢測和緩解等關鍵網絡安全任務的自動化,從而增強網絡安全專業人員保護關鍵軍事基礎設施的能力。該架構設計用于在以分段云和軟件定義控制器為特征的現代網絡環境中運行,從而促進 ACD 智能體和其他網絡安全工具的部署。智能體團隊在自動網絡操作 (ACO) gym中進行了評估,該gym模擬了北約受保護的核心網絡,可對自主智能體進行可重復的培訓和測試。本文最后探討了在訓練 ACD 智能體理過程中遇到的主要挑戰,尤其關注訓練階段的數據安全性和人工智能模型的穩健性。
圖 1:四個網絡位置(A-D)容納五個藍色智能體(1-5)的情景。
本文探討了為自主網絡防御(ACD)智能體訓練混合人工智能(AI)模型時所面臨的挑戰和機遇,尤其是在戰術邊緣環境中。這些挑戰源于此類環境所特有的獨特、不可預測和資源受限的設置。北約研究任務組 IST-162 和 IST-196 的工作重點是 “軍事系統的網絡監控和檢測”[1]、[2] 和 “虛擬化網絡中的網絡安全”。虛擬化網絡中的網絡安全"[3] 至 [5],本研究旨在利用混合人工智能框架推進 ACD 智能體的設計和功能,以確保整個聯盟網絡的穩健網絡安全。多智能體強化(MARL)、大型語言模型(LLM)和基于規則的系統的采用構成了我們 ACD 架構的核心,增強了智能體在戰術邊緣環境中普遍存在的斷開、間歇、有限(DIL)帶寬條件下有效執行自主網絡防御任務的能力。這些條件要求系統具有彈性,能在網絡和資源嚴重變化的情況下保持高性能水平,這對傳統的網絡安全系統來說是一個重大挑戰。例如,將深度強化學習(DRL)與生成式人工智能相結合,有利于開發能夠進行復雜決策和自適應學習的智能體,提高其在動態網絡環境中應對復雜網絡威脅的能力[3]。此外,本文還討論了如何將 ACD 智能體集成到模擬的北約啟發的受保護核心網絡環境中,并在此環境中針對一系列網絡威脅對其進行評估。智能體利用人工智能技術的戰略組合,自動執行監控、檢測和緩解等關鍵防御行動,支持對關鍵軍事和民用網絡基礎設施的持續保護。
本文的貢獻如下: 第一,在一個集成了 MARL、LLM 和基于規則的系統的代理層次結構中使用代理智能體范例的方法論,以增強自主網絡防御能力。第二,討論在戰術邊緣環境中為 ACD 智能體訓練混合人工智能模型的挑戰和機遇。第三,定義一套評估指標,用于衡量 ACD 代理在數據和訓練保護方面的性能。本文的組織結構如下: 第二節回顧了相關文獻并解釋了研究原理。第三節詳細介紹了使 ACD 智能體適應戰術邊緣環境的方法。第四節介紹了我們的實證評估結果。最后,第 V 節總結了本研究的意義并概述了未來的研究方向。
云計算已成為全球數字經濟的基礎要素,釋放出前所未有的創新和連接水平。為了解這一關鍵使能技術對國際安全的深遠影響,本報告概述了云計算的相關用例、益處和風險,以及其關鍵治理挑戰和對軍備控制的影響。本報告分為兩部分--技術入門和治理入門--提供技術見解和政策分析。
本文對技術進行了通俗易懂的描述,解讀了技術的各個組成部分,同時概述了選定的優勢、風險和相關的國際安全應用。云計算實現了計算資源的可擴展性和靈活性,以及成本效益和實時數據處理與共享。與此同時,云計算也會加劇網絡安全威脅,增加跨境管轄問題,增加對少數大型服務提供商的依賴。
該技術入門指南還將云計算置于更廣泛的人工智能(AI)背景下,強調了云計算在促進和加速人工智能發展方面的作用。隨著國防、關鍵基礎設施和人道主義部門等與國際安全有交集的部門越來越多地采用云計算解決方案,謹慎平衡風險與收益至關重要。
有鑒于此,治理入門概述了與國際安全相關的關鍵治理挑戰。這些挑戰源于技術和商業模式本身的固有因素,以及與云計算交織在一起的地緣政治和國際安全現實相關的更廣泛因素。這些挑戰包括云計算的復雜性、數字主權、市場和地理集中度、與其他技術治理工作的交叉,以及軍事領域使用增加所帶來的治理挑戰。
最后,本報告探討了云計算對軍備控制的影響。它為討論軍備控制討論如何更好地考慮云計算帶來的問題,以及傳統軍備控制機制(如出口控制)如何受到新技術現實的影響提供了一個跳板。
本文介紹了在戰場數字孿生框架內使用貝葉斯優化(BO)、遺傳算法(GA)和強化學習(RL)等先進技術優化軍事行動的綜合方法。研究重點關注三個關鍵領域:防御作戰中的部隊部署、火力支援規劃和下屬單位的任務規劃。在部隊部署方面,BO 用于根據戰場指標優化營的部署,其中湯普森采樣獲取函數和周期核取得了優異的結果。在火力支援規劃中,采用了 GA 來最小化威脅水平和射擊時間,解決了資源有限條件下的資源受限項目調度問題(RCPSP)。最后,為任務規劃開發了一個 RL 模型,該模型結合了多智能體強化學習 (MARL)、圖注意網絡 (GAT) 和層次強化學習 (HRL)。通過模擬戰場場景,RL 模型展示了其生成戰術演習的有效性。這種方法使軍事決策者能夠在復雜環境中提高行動的適應性和效率。研究結果強調了這些優化技術在支持軍事指揮和控制系統實現戰術優勢方面的潛力。
戰場數字孿生是一個數字復制品,代表了真實戰場環境的組成部分和行為特征。它可以通過接收來自實際戰場的實時或接近實時的戰場、敵方和友軍單位信息,并將其動態反映到數字孿生中,從而對數字孿生模型進行評估和調整。換句話說,模型可以根據真實世界的數據不斷更新,以實現更具適應性的分析。這一概念與深綠的自適應執行相一致,后者也依賴于動態更新的信息。通過這種方式,可以向真實戰場系統提供改進的決策反饋,幫助用戶根據數字孿生模型做出更好的決策,而數字孿生模型是根據實際作戰數據更新的。
本節提出了 “基于戰場數字孿生的作戰行動選擇生成與分析 ”概念,通過各種技術方法,利用戰場數字孿生生成作戰行動選擇。然后對這些選項進行評估、效果比較,并推薦最合適的 COA 選項。基于戰場數字孿生的作戰行動選擇生成和分析的基本概念是,利用戰場數字孿生的預測模擬生成作戰行動選擇,同時考慮若干戰術因素(METT+TC:任務、敵人、地形和天氣、可用部隊和支持、可用時間和民用因素)。然后,可在數字孿生環境中對生成的作戰行動方案進行快速評估。圖 2 展示了這一流程的概念圖。生成和分析 COA 的四個關鍵輸入--威脅分析、相對戰斗力分析結果、戰場信息以及指揮官和參謀部的指導--假定來自其他分析軟件模塊和用戶輸入,從而完成智能決策支持系統。有關鏈接分析軟件模塊的更多信息,請參閱 Shim 等人(2023,2024)。
圖 2:基于戰場數字孿生系統的 COA 生成和分析概念。
可以按照圖 1 中概述的戰術規劃流程生成并詳細說明 COA 選項。然而,如前所述,規劃過程中的許多任務都需要人工干預,而人工智能技術的應用仍然有限。因此,我們將重點放在 COA 生成階段,在研究適用技術的同時,找出可以實現自動化和智能化的方面。本研究介紹了在 COA 生成過程中可實現自動化和智能化的三個概念:確定友軍部隊部署、規劃間接火力支援和規劃部隊戰術任務。友軍部隊部署是指部隊到達戰場后如何安排和使用,而部隊部署則是指如何將部隊轉移到指定的大致位置。我們將貝葉斯優化方法應用于友軍部署優化問題,作為 COA 方案生成的一部分。隨著人工智能技術的快速發展,許多研究都探索了基于最先進機器學習算法的全局優化方法。其中,使用高斯過程的貝葉斯優化法作為一種針對實驗成本較高的黑盒函數的全局優化方法受到了廣泛關注(Brochu,2010 年)。對于炮兵作戰,我們將火力支援調度問題歸結為一個項目調度問題,該問題力求在遵守資源限制的同時,最大限度地減少敵方總威脅和發射時間。將項目調度與資源管理相結合的任務被稱為資源約束項目調度問題(RCPSP)。最后,我們利用強化學習(RL)技術為下屬單位規劃戰術任務,以找到最優行動策略。強化學習已經證明,它是在動態和不確定環境中解決復雜決策問題的有效框架。特別是,我們利用多智能體強化學習(MARL)、分層強化學習(HRL)和圖注意網絡(GAT)的原理,為多個單位有效地學習任務及其相應參數,同時從每個智能體的角度考慮其重要性。
在使用所提出的方法生成一系列作戰行動(COA)選項后,將在戰場數字孿生系統中對這些選項進行模擬評估。然后對模擬結果進行評估,以推薦最合適的 COA 選項。在下一章中,將詳細解釋用于實現所建議的 COA 生成概念的技術方法,并提供全面的實驗評估結果,以突出所建議方法的有效性。
圖 8:強化學習的擬議架構。
本報告旨在為信息環境評估 (IEA) 從業人員提供指導。這包括了解信息環境和受眾,尤其是在線活動中的信息環境和受眾,并涵蓋必要的技術要素和法律因素。
報告涉及的關鍵問題包括:哪些人工智能(AI)功能對戰略傳播(StratCom)至關重要?哪些模式需要改進?人工智能在這一領域的前景如何?
報告提供了當前的知識,以提高從業人員安全、高效地駕馭人工智能驅動的信息環境并符合法律要求的能力。
根據《盟軍戰略傳播聯合條令》(AJP-10 (2023),以下簡稱 AJP-10),戰略傳播(StratCom)是指揮集團的一項職能,負責了解所有相關受眾的信息環境(IE),并在此基礎上利用包括行動、圖像和語言在內的所有傳播手段,通過以敘事為主導、以行為為中心的方法,適當地告知和影響受眾的態度和行為,以實現所期望的最終狀態。在北約軍事背景下,戰略傳播負責將傳播能力和信息參謀職能與其他軍事活動結合起來,以了解和塑造國際環境,支持北約的戰略目的和目標。
北約的 J10 戰略傳播局(J10-StratCom)包括信息作戰(Info Ops)的信息參謀職能以及軍事公共事務(Mil PA)和心理作戰(PsyOps)的傳播能力。在我們的研究報告中,雖然主要議題是人工智能在戰略傳播中的作用,但選擇特別關注心理作戰(PsyOps),因為這些領域之間存在重要的相互作用。
北約的 “心理戰 ”以北約或合作盟國、伙伴國或組織的真實信息為基礎。J10 戰略傳播中的心理作戰參謀人員僅存在于作戰層面及以下,并為指揮官的決策過程做出貢獻。他們就可行的心理作戰傳播活動和計劃行動的心理影響提出建議,并就心理作戰人員和非心理作戰人員及單元開展的信息和傳播活動提出建議,以便在IE中產生效果。在 J10-StratCom 內部,心理作戰人員提供五種不同的職能:
1.受眾分析 2.心理作戰計劃 3.反敵對信息和虛假信息 4.網絡行動 5.聯合心理戰特遣部隊總部
圖 9. 人工智能工具在戰略傳播活動各階段的使用情況概述
本報告介紹了美國陸軍研究實驗室內容理解處的研究人員在 2023 財年為采用增強型戰術推理(ETI)框架所做的工作。ETI 的開發旨在支持多智能體環境(數據源智能體、推理模型智能體和決策者智能體)中人工推理研究的實驗和演示。在本報告中,ETI 被用于在跨現實環境中演示基于不確定性的決策推薦功能。從模擬場景的數據開始,再加上額外的外部環境,ETI 智能體對態勢感知信息中的不確定性進行推理,為決策者提供建議選擇。最后,ETI 的產品被轉化為跨現實可視化,以探索新的人機交互模式。
增強戰術推理(ETI)框架的設計和創建是為了支持人工推理研究的實驗和演示。ETI 目前的結構包括三個主要智能體:數據源智能體、推理模型智能體和決策者智能體。數據源智能體分為幾大類:信息(圖像、音頻、文本)、設備、網絡和可視化。數據源智能體可以捕獲數據并將數據傳輸給其他智能體。其他信息系統也可以向這些智能體提供數據。推理模型智能體執行不同方面和不同層次的推理。推理智能體的輸出將有助于生成建議的決策。決策者智能體負責做出最終決策。這些 ETI 智能體可以是模塊化的,允許串行或并行處理,以及獨立或相互依存。在這項工作中,ETI 發揮著決策輔助工具的作用。主要的推理模型是信息不確定性(UoI)模塊。該 UoI 模塊可在決策建議中考慮任何信息的不確定性。ETI 的另一項功能是實現與人類的互動,包括未來的可視化和協作環境。我們在跨現實(XR)環境--運籌、研究與分析加速用戶推理(AURORA)中進行了演示。與 AURORA 等系統集成后,可以探索智能系統與人類交互的新模式。在本報告中,將詳細介紹我們的演示開發過程,包括將模擬環境中的數據映射到可視化環境中,將決策點和 ETI 建議納入行動方案中,以及用 "假設 "情況來增強場景,以探索基于推理的框架的影響。
這項研究的目標是開發、整合和演示基于推理的決策框架。ETI 框架的決策建議被用于師演習訓練和審查系統(DXTRS)中的模擬場景,并在 XR 環境 AURORA 中實現可視化。下文將介紹 DXTRS、場景和 AURORA 可視化的背景情況。
在該場景中,藍軍(BLUFOR)的目標是向東推進,穿過阿塞拜疆名為阿格達姆區的地區,同時與部署在河東的對方部隊(OPFOR)交戰并將其消滅。(見圖 1)
隨著任務的展開,BLUFOR 將遇到一條阻礙他們前進的河流,他們需要在那里進行濕空隙穿越。(見圖 2)
為了探索可視化和與 ETI 的交互,DXTRS 場景和相關的 ETI 推理信息在 XR 環境中顯示。該環境由美國陸軍作戰能力發展司令部(DEVCOM)陸軍研究實驗室(ARL)開發,名為 AURORA。AURORA 為安全、聯網、多設備跨現實信息調解和交互提供了一個通用作戰框架。為了便于可視化,將場景數據集合映射為 AURORA 可以處理的目標光標(CoT)信息。本報告第 3 部分將詳細解釋映射過程。圖 3 和圖 4 顯示了AURORA環境中的場景截圖。
如前所述,ETI 的設計是利用各種推理模型作為模塊,允許不同的推理配置。本次工作的推理模型是用戶體驗模塊。UoI 的概念包括產生或捕捉一個值,并用描述符對不確定值進行分類。這為決策者提供了不確定性的上下文信息,并支持對由此產生的建議進行推理。描述符基于格申論文中提出的不完全信息的性質。目前,該分類法包括不一致、損壞、不連貫、不完整、不精確、復雜和可疑。它們共同描述了特定信息源不確定性的原因和類型。
當前版本的UoI表達式是一個加權和,如式1所示。
公式 1. UoI 計算,其中 dp 為決策點,D 為變量,表示可能是任務關鍵因素的決策組成部分,W 為與這些組成部分的重要性相關的權重,T 為分類權重類別(相當于 G),S 為數據來源類別。UoI 值表示數據源和因素對所分類的不確定性的貢獻。
以下是分類法中七個術語的描述:
視覺分析是一門通過交互式視覺界面促進分析推理的科學。北約科技組織調查、研究并促進可視化分析方面的合作--促進知識提取和數據分析,以便及時理解態勢并作出有效決策。因此,本報告目標是研究、開發和應用探索性視覺分析技術:1)利用和理解大量復雜的數據,即大數據;2)幫助隱性知識顯性化;3)提供敏銳的態勢感知;4)支持廣泛的國防領域的知情決策,包括網絡、海事、基因組學和社交媒體領域,以及仿真數據的后期分析和現場可視化。
信息優勢是軍事優勢的關鍵因素之一;利用來自多個來源的所有相關信息是北約信息優勢的一個關鍵因素。可視化和可視化分析研究對于滿足2015年北約在信息分析(IA)和決策支持(DS)方面的重點目標的需求至關重要:關于決策支持的IA&DS-1和關于大數據和長數據處理與分析的IA&DS-2。
視覺分析(VA)是一門通過交互式視覺界面促進分析推理的科學[1]。VA有三個主要組成部分,即交互式可視化、分析性推理和計算性分析[2]。在專家組所考慮的VA背景下:
北約研究任務組(RTG)探索性視覺分析調查、研究和促進了知識提取/發現和數據分析方面的合作,以便及時了解情況,支持有效決策。該小組探索了可視化如何有效地傳達信息:利用人類的感知和增強人類的認知,即把可視化和用戶的心理模型結合起來(見第2章和[4])。因此,目標是研究、開發和應用探索性視覺分析技術:1)利用和理解大量復雜的數據集,即大數據;2)幫助隱性知識顯性化;3)提供敏銳的態勢感知,以及4)支持廣泛的不同國防領域的知情決策,如海事、社交媒體、基因組學和網絡領域,以及模擬數據的后期分析和現場可視化。
本技術報告的目的是討論研究小組進行的研究、開發和應用探索性視覺分析的工作,這些數據集涉及到
這項工作證明了探索性視覺分析在檢測、監測、分析和理解大型復雜數據集(即大數據)方面的有效性,以提高對態勢的認識和決策支持。
本報告還將討論該小組在以下方面的工作:
1)可視化和視覺分析技術的研究和開發。
2)提高對研究小組工作的認識。
通過在著名的國際會議上發表論文,如IEEE VIS;以及
為北約的兩個系列講座(IST-143和IST-170)作出貢獻。
3)促進視覺分析和可視化技術在北約國防和安全領域及其他領域的開發和應用。
4)拓寬對可視化和可視化分析的理解和探索的視野。
5)利用新想法的產生。
6)通過以下方式發展北約小組間/組內合作。
組織(并在其中介紹小組的工作)一次北約專家聯合小組會議(IST-HFM-154:網絡符號學)和一次北約小組間/組間研討會(IST-178:大數據挑戰--情況意識和決策支持)。
參加其他國家組織的北約活動;以及
與來自不同小組的許多RTG組織聯合會議。
報告中的各章總結了在這個RTG過程中進行的工作。
第2章討論了視覺分析的人因考慮。它首先定義了人為因素,并描述了人為因素/以用戶為中心的設計過程。它討論了一些關于設計過程的常見迷思,供設計者注意和避免。視覺分析系統的用戶很多,也很多樣化,所以了解任何項目的用戶對于確保輸出產品的有用性和可用性是最重要的。本章提供了關于如何最佳地顯示信息的標準、指南、啟發式方法和最佳實踐的參考資料。本章還包括討論和數字,描述了對特定數據集使用立體三維可視化的優勢。最后,有一節是關于如何評估可視化的有用性和可用性。包括情況意識和工作負荷指標的資源。
第3章討論了海事領域的信息可視化和視覺分析。
第4章和第5章關注社會媒體數據和模擬數據。
第6章討論了可視化分析和深度學習之間的相互作用。
第7章討論了網絡態勢感知和網絡符號學。
第8章和第9章探討了視覺分析和可視化在北約數據中的應用,如:
這兩章討論了基于網絡訪問這些數據集的發展和由此產生的設計原則,這些數據集的用戶范圍很廣,從普通公眾到研究人員和政策制定者,即來自不同背景、具有不同專業水平和知識的人。對簡易爆炸裝置數據的分析采用了互動式講故事的方法來吸引普通公眾,而HFM-259數據的視覺分析/可視化也適合公眾參與。
第10章得出了結論并提出了建議。
船舶交通監測與探索性分析的交互式可視化:文獻中提出的方法研究了海洋數據的可視化,以便交互式地探索它們的空間分布和時間演變,或者通過結合聚合和過濾能力促進它們的比較。以地圖為基礎的可視化占主導地位,偶爾也會以數據匯總的統計圖為補充。最近,基于圖形的海洋數據可視化也出現了。基于圖形的可視化可以將匯總統計與交通動態的可視化相結合。
海事模式檢測的可視化分析:視覺分析,將有效的海事數據可視化與數據分析相結合,有多種應用。文獻中討論的用途之一是運動模式搜索和匹配,與數據過濾相結合,能夠減少數據泛濫,幫助用戶關注相關的數據特征。這種方法根據經驗來定義運動模式,例如使用基于函數的定義或規則。運動模式也可以從數據中提取,例如使用數據聚類、聚合和過濾技術。地理特征被利用來支持模式的定義和可視化。不同的聚合技術可以被結合起來,有時還可以使用語義學,以支持數據探索。其他工作專門解決異常或不一致的模式檢測。例如,密切接觸的檢測或預測被應用于海上安全,用于船舶碰撞的識別和預防。
海事模式和移動性的三維可視化:很少有作品在海洋領域利用三維可視化,因為由此產生的可視化的復雜性增加,會對用戶體驗產生負面影響。領域無關的三維可視化被用來支持單一船只動力學參數的比較。時空立方體可視化對海洋事件的分析是有效的,因為它使空間和時間特征的當代可視化。在培訓中使用的沉浸式虛擬現實模型,可能比二維地圖更有效地支持用戶(和船只)的定向行動。
網絡媒體是影響輿論以及反映輿論的最重要工具之一。這份報告分析了BBC、RussiaToday、DayKiev和delfi.lt(立陶宛的主要新聞門戶網站)對烏克蘭沖突動態的反映。采用了兩種不同的分析方法:共同發生網絡分析來反映沖突期間四個不同媒體渠道的語言變化,以及基于情感的故事情節(syuzhet)分析來監測BBC從2013年到2014年的情感變化。將沖突分為三個階段:開始(2013/11/21-2014/01/15)、升級(2014/01/16-2014/02/17)和占領克里米亞(2014/02/18-2014/02/28)。這些方法可以對媒體中的沖突動態進行可視化分析。從人工智能(AI)、自然語言處理(NLP)和大數據的可視化技術的應用中,可以更好地了解對沖突動態的看法和公眾對特定主題的情緒,以及信息分析的自動化。此外,其他類型的類似應用也是可能的。
仿真被廣泛用作生產前測試系統的一種安全且通常具有成本效益的手段,并作為一種估計其他無法訪問的系統的預期行為的方法。仿真的共同點是隨著時間的推移而發生的事件鏈,導致由仿真算法決定的結果。本章將詳細闡述使用可視化來分析仿真條件和結果,以及如何應用可視化分析(VA)來更好地理解高級仿真算法的內部生活。
有大量不同的工具用于仿真數據的可視化分析;然而,現有工具的適用性高度依賴于被分析的數據及其背景。通用的可視化軟件包并不總是能夠滿足人們的需求。通用的可視化軟件包并不總是容易被有效地用于特定領域的任務。如果沒有資源花在定制軟件上,最好的辦法是將不同的軟件組合成一個工具箱,共同滿足可視化需求。有時,尋找合適的工具必須延伸到自己的領域之外。本報告介紹了適用于批量仿真數據分析的一系列工具:時間線圖(TLG)、可視化工具箱(VTK)和ParaView、VisIt。
視覺分析(VA)技術可以應用于增強與三個目標有關的深度學習方法:1)了解深度神經網絡的內部運作;2)解釋DL的結果;以及3)利用VA和DL之間的協同作用。
在VA和DL技術的交叉點上的應用如何能夠更好地理解深度神經網絡及其結果,并實現強大的應用。將VA與AI相結合的方法將成為未來國防和安全系統的關鍵驅動力,這些系統具有日益增長的任務復雜性所要求的高級處理能力,但人們不能盲目相信AI的預測而采取行動。
網絡SA與人類的認知過程和數據處理有關。在復雜和動態的網絡環境中,通過敏銳的態勢感知,人類決策的質量和速度可以大大提高。初步評估發現,以用戶為中心的SA方法提供了分析、檢測、發現和識別模式、異常、違規和威脅以及相關事件的有效方法。這些可視化適用于提供關于網絡組件性能的詳細信息。另一方面,生態接口設計(EID)方法提供了有效的可視化,以指導用戶理解網絡應該如何運行,以及這些網絡實際如何運行;因此,分析人員可以很容易地看到網絡的運行層面,即整體態勢。這兩種方法在提供有關網絡情況的不同方面的認識和信息方面相輔相成。網絡符號有可能實現網絡態勢的可視化,盡管目前還沒有明確的方法或解決方案可以最好地實現這一點。
收集和分析有關事件的數據集可以幫助分析人員得出活動水平評估,進行趨勢分析,并對他們所監測的問題有更深入的了解。為了更好地了解簡易爆炸裝置(IED)攻擊的動態,并支持反簡易爆炸裝置(C-IED)的工作,本報告決定采用一種帶有敘事元素的探索性視覺分析方法。分析有關事件的數據集可以幫助得出活動水平評估,進行趨勢分析,并獲得更好的情況意識。探索性視覺分析的目的是讓用戶探索數據集,發現有趣的模式和見解。一些可視化分析工具提供了復雜的互動,可能會讓新用戶感到恐懼。敘事技術可以幫助新用戶開始使用一個新的交互式可視化應用程序,以了解數據集包含什么,以及如何利用探索性視覺分析工具的能力來對數據集進行新的分析。使用探索性視覺分析工具可以在北約反簡易爆炸裝置卓越中心(NATO C-IED COE)制作的烏克蘭簡易爆炸裝置事件數據集中發現有趣的模式,通過應用敘事技術作為交互式可視化工具的一部分將這些見解傳達給用戶。一旦用戶開始探索所提供的見解,他們會被邀請繼續探索,允許他們從數據中獲得更多發現。
本文概述了一個認知維度框架,旨在指導課程開發人員和分析人員組織和評估學習活動,向美海軍陸戰隊員介紹任何行動區的人群認知維度。該框架包括一系列按主題組織的問題和議題,旨在提高海軍陸戰隊員預測和影響作戰環境中各種人群的行動和決策的能力,以實現預期的結果。本文還將該框架置于海軍陸戰隊對信息環境認知層面的理解中,并描述了先進作戰文化中心(CAOCL)如何支持這些行動。
本報告總結了網絡科學實驗方法項目期間的研究成果,大約涵蓋2017-2020年。該項目重點關注兩個主要議題:彈性網絡的上下文感知網絡和網絡安全。上下文感知網絡旨在改善戰術網絡及其支持服務的性能,使用上下文感知來加強目前的實踐方法,這些方法不一定考慮環境的動態和資源有限的邊緣設備和網絡的限制。彈性網絡的網絡安全旨在加強戰術網絡在動態和復雜對手面前的安全性。
參與本項目的美國陸軍作戰能力發展司令部陸軍研究實驗室的研究人員在相關主題的多個外部合作伙伴計劃的形成和合作中具有重要影響。這些項目的成果被納入任務資助的項目。這些合作伙伴計劃包括美國-英國分布式分析和信息科學國際技術聯盟(DAIS ITA)、戰場物聯網合作研究聯盟(IoBT CRA)、技術合作計劃(TTCP)和北約科學和技術組織信息系統技術(NATO STO IST)小組。
這項研究的影響包括:網絡模擬實驗驗證了支持理論結果的算法和技術的可行性,在網絡和通信研究界對研究成果進行了大量報道,并對陸軍概念科技(S&T)文件做出了貢獻。下文中總結的重點包括:利用沙堆模型開發網絡控制中的級聯故障的最佳控制,并確定可以防止級聯故障的條件;將密匙壽命提高一個數量級的物理層安全認證協議;以及對指揮與控制(C2)、火災和網絡科技概念文件的貢獻。
圖 1 包含理解、適應和執行周期的上下文感知網絡示意圖
對話人工智能系統通過完成用戶請求或進行簡單的聊天與人類用戶進行交互。這些系統的應用范圍從個人幫助、健康幫助到客戶服務等等。在這個由三部分組成的教程中,我們將首先概述最先進的模塊化對話AI方法,這些方法通常被面向任務的對話系統所采用。然后,我們將概述當前基于序列到序列、生成的對話AI方法。我們將討論普通的基于生成的模型的挑戰和缺點,如缺乏知識、一致性、同理心、可控性、多功能性等。然后我們將強調當前的工作,以解決這些挑戰,并在改進深度生成為基礎的ConvAI。在本教程的最后一部分,我們將指出對話AI的挑戰和未來研究的可能方向,包括如何減輕不適當的回復和終身學習。我們還將概述模塊化和基于生成的對話AI的共享任務和公開可用資源。