摘要

不確定性是混合沖突的一個核心概念。許多混合沖突是隱蔽的、可否認的，并在正常的國家間關系和武裝沖突之間的灰色地帶進行。此外，混合沖突的信號可能來自于在很長一段時間內收集的大量公開和秘密來源，并且具有不同程度的可靠性。這些因素加在一起，對混合沖突的決策構成了重大挑戰。處理高層次的不確定性要求在情報分析和評估方面有創新的解決方案。在這方面，一個有希望的方法是對不確定性的明確估計。在這項研究中，我們借鑒了統計學、情報分析和人工智能的知識，提出了一種新的方法，并為量化和系統地估計不確定性開發了一個統計模型。該模型考慮了情報分析中不確定性的幾個重要因素：來源可靠性、信息可信度、概率語言和及時性。我們使用標記的和模擬的數據測試了我們的方法，并討論了使用人工智能和數據科學實現這一過程自動化的機會和挑戰。通過這樣做，這項研究向智能分析工具邁出了一步，以減輕混合沖突決策中的不確定性挑戰。

引言

不確定性是情報分析中的一個基本概念。幾乎所有的情報評估都應該用不確定性來表達。這是因為評估要么試圖從不完整的或往往是模糊的數據中做出推斷，要么試圖預測未來的事件（Mandel & Irwin, 2020）。混合沖突的幾個特點1增加了情報分析和評估的不確定性。許多混合沖突是隱蔽的、可否認的，并在正常的國家與國家之間的關系和武裝沖突之間的灰色地帶進行，導致新出現的威脅的信號很弱，而且往往不完整（Monaghan, Cullen & Wegge, 2019）。此外，混合沖突的信號可能來自于長期收集的大量公開和秘密來源，并具有不同的可靠性。這些問題因日益數字化而被放大，數字化導致了公開來源信息的爆炸性增長，而這些信息越來越容易被誤傳或假傳（Treverton, 2021）。

混合沖突的這些特點給情報分析人員帶來了一些挑戰：不確定性增加、模糊性、不可捉摸性、低于檢測閾值的活動、信息過載和數字來源的爆炸（Cullen，2018）。這些挑戰反過來又加劇了情報界對不確定性的系統和定量估計的呼吁。在混合沖突的情報分析中，需要創新方法來處理這些前所未有的不確定性和模糊性。這反過來將支持決策者制定應對復雜的混合威脅的政策。這些呼吁得到了實證研究的響應，實證研究顯示有可能減少分析偏差，改善合作，促進分析透明度，并為實現（半）自動化的情報分析過程鋪平道路（TR-SAS-114，2020）。

盡管各國情報組織之間存在定性標準，并且已經提出了改進不確定性估計的方法，但據我們所知，沒有任何情報組織采用系統的不確定性估計方法（Friedman & Zeckhauser, 2012）。換句話說，不確定性的估計或多或少地隱含在 "分析者的頭腦中"。此外，不確定性最常以定性方式（如 "極有可能"）而非定量方式（如 "75%可能"）來表達。盡管對不確定性的量化存在一些不情愿的態度--擔心涉及到對 "最佳估計 "的判斷的虛幻的具體感（有 "硬數字"）--數值有可能緩解語言障礙，解決不確定性詞匯中的語義差異，并鼓勵分析者的責任感（Dhami & Mandel, 2020）。

這項研究試圖解決這些差距，并提出一種系統地、定量地估計和表達不確定性的方法。這項工作的新穎之處在于，它提出并測試了一種從情報報告本身提取不確定性信息的方法，而不是嚴重依賴分析員的判斷（例如，Lesot, Pichon & Delavallade, 2013；Schum & Morris, 2007）。因此，我們的方法也旨在對不確定性進行更客觀和可重復的估計。另一個主要貢獻是，我們考慮了這個過程自動化的步驟、機會和挑戰（使用數據科學和人工智能的技術）。畢竟，系統地手工估計不確定性將極大地增加分析者的工作量。通過這樣做，這項工作向更快、更系統、更客觀的不確定性判斷邁出了一步，減輕了混合沖突中決策支持的挑戰。

摘要

實時戰略游戲已經成為開發和分析人工智能（AI）和基于深度機器學習的競爭、攻擊者與防御者場景的算法的一個有吸引力的環境。基于計算機的實時戰略游戲和用于軍事訓練的戰爭游戲的特征之間的相似性也提供了一種手段，可以將基于人工智能的實時戰略游戲的結果和教訓過渡到幫助和告知作戰人員的決策能力。我們的論文研究了基于人工智能的實時戰略游戲和軍事決策中的戰略規劃之間的這種交集，這個領域被稱為對抗性人工智能。我們描述了在實時戰略游戲中開發有效的對抗性人工智能的問題和挑戰，我們最近組織了一次對抗性人工智能競賽，使用的是海洋環境中的模擬版奪旗游戲。我們討論了比賽的條目、結果和從競爭者的反饋中獲得的教訓，并為基于人工智能的、復雜的、對立的實時戰略游戲規定了未來的方向和公開的挑戰。

引言

近年來，人工智能（AI）已經成為用于軍事和民用領域的自動化系統背后的主要使能技術。自動化系統必須不斷與環境中的其他實體互動，包括人類、智能設備、計算機和其他人工智能。傳統上，基于人工智能的系統在設計時假定與它們互動的其他實體是良性的。換句話說，互動的實體不會故意做出對抗性的行為來打敗或顛覆人工智能。然而，在現實世界中，隨著基于人工智能的系統變得更加普遍，敵對行為者不斷想出新的方法來迷惑基于人工智能的系統，使其失敗并以不正確、不安全甚至危險的方式運行。我們的論文描述了正在進行的應對這些挑戰的努力，作為 "五眼"（FVEY）技術合作計劃（TTCP）人工智能戰略挑戰（AISC）的一部分，在一個被稱為對立人工智能（OAI）的技術領域。

OAI的目標是更好地理解來自不同利益相關者的基于人工智能的系統在以噪聲和低質量數據為特征的環境中相互作用時出現的問題，這些利益相關者的心態和目標是不一致的，可能是相反的。OAI支柱的一個主要方向是將OAI問題建模為一個防御者與攻擊者的游戲，并使用強化學習技術開發和分析不同的游戲策略。為了實現這一目標，我們正在使用一個名為Aquaticus奪旗（CTF）的多人游戲。游戲編程界面是用Python和OpenAI Gym編寫的，以便與強化學習算法輕松靈活地整合，通過分析可能的攻擊和防御策略空間，智能地學習游戲和贏得比賽。在本文中，我們描述了與開發有效的基于人工智能的技術有關的問題和挑戰，這些技術可以使玩家在OAI場景中獲得決定性的優勢，以及我們在組織首屆OAI Aquaticus CTF比賽中的經驗。最后，我們討論了從比賽中獲得的一些經驗，并確定了未來的方向，這些方向將使人工智能研究普遍化，并使其更適于過渡到戰場上的對立場景中的有效決策。

圖1. MOOS-IvP模擬器內的Aquaticus奪旗游戲截圖（左），以及MOOS-IvP模擬器界面疊加在真實海洋環境中的Aquaticus CTF游戲；每隊有4名玩家（右）

摘要

記錄一個系統或集成系統內所有信息變化的出處，這提供了關于正在做出的決定和促使這些決定的重要信息。從取證的角度來看，這可以用來重新創建決策環境。然而，出處也可以為其他兩個重要功能服務。收集的數據可以支持組件的整合，而生成的圖形數據結構可以通過解釋、總結和告警來支持操作員進行態勢感知。混合戰爭將必然匯集不同決策支持能力，因為決策者必須在多個戰爭領域運作。自主代理將可能在計劃和執行過程中發揮作用，有時能夠在沒有人類干預的情況下做出決定，但人類決策者必須意識到這一點。事實證明，證據圖可以轉化為修辭結構圖（RSG），使代理能夠用自然語言甚至多模態交流，向人類解釋他們的行動。證據還被證明可以加強對計劃執行監控，并可用于向人類或自主代理提供通知，當計劃中使用的信息發生變化時，可能需要重新考慮計劃。隨著我們朝著智能機器在復雜環境中支持人類決策者團隊的方向發展，跟蹤決策及其輸入的需要變得至關重要。

引言

出處是關于實體、活動、代理以及這些概念之間關系的信息[1]。這些信息不僅僅解釋了發生了什么，它還回答了關于實體如何被操縱、何時發生以及誰參與了這個過程的問題。我們很可能熟悉關于追蹤藝術作品出處的新聞和虛構的故事。任何實體的創造、破壞或修改的出處都可以被追蹤。在本文中，我們將重點討論軍事系統內的信息。在指揮與控制（C2）內，信息出處對于記錄行動背后的決策過程是必要的，特別是當自主和人工智能（AI）代理深入參與時。參與某一過程的 "誰 "可能是人類或人工智能代理。

信息出處有幾個目的。在取證方面，出處追蹤提供了參與決策的人和代理，以及數據是如何演化為該決策的。美國公共政策委員會指出，數據出處是算法透明度和問責制的一個明確原則[2]。完整記錄的出處可以闡明數據的依賴性、責任流，并幫助解釋為什么采取某些行動。隨著人工智能和自主代理繼續自動化進程，它們在做出關鍵決策時已變得更加不可或缺[3]。

圖1 PROV-DM模型。

摘要

為了能夠在一個日益脆弱的世界中捍衛自己的生活方式和價值觀，團結在北約框架內的西方民主國家必須有能力在必要時 "以機器速度作戰"。為此，國防領域的數字化不能只局限于后勤、維護、情報、監視和偵察，而必須同樣能夠實現負責任的武器交戰。以歐洲未來戰斗航空系統（FCAS）為重點，我們討論了基于人工智能的武器系統的道德統一系統工程的各個方面，這可能會在國際社會中找到更廣泛的同意[1]。在FCAS計劃中，這是自二戰以來歐洲最大的軍備努力，有人駕駛的噴氣式飛機是一個網絡系統的元素，無人駕駛的 "遠程載體 "保護飛行員并協助他們完成戰斗任務。鑒于正在進行的辯論，德國國防部長已經強調。"歐洲戰略自主的想法走得太遠了，如果它被認為意味著我們可以在沒有北約和美國的情況下保證歐洲的安全、穩定和繁榮。那是一種幻覺[2]"。在這個意義上，FCAS與北約的目標是一致的。

引言

"武器的殺傷力越大，影響越深遠，就越需要武器背后的人知道他們在做什么，"沃爾夫-馮-鮑迪辛將軍（1907-1993）說，他是1955年成立的二戰后德國聯邦國防軍的富有遠見的設計師（見圖1）。"如果沒有對道德領域的承諾，士兵就有可能成為一個單純的暴力功能者和管理者"。他深思熟慮地補充道。"如果僅僅從功能的角度來看，也就是說，如果要實現的目標在任何情況下都高于人，那么武裝部隊將成為一種危險[3]"。

弗朗西斯-培根（1561-1626）關于實現權力是所有知識的意義的聲明標志著現代項目的開始[4]。然而，自從人工智能（AI）在國防領域出現后，旨在造福人類的技術可能會反過來影響它。這種類型的工具性知識使現代危機像在聚光燈下一樣明顯。關于人的倫理知識，關于人的本質和目的，必須補充培根式的知識。有一種 "人的生態學"，一位德國教皇提醒德國議員說。"他不制造自己；他要對自己和他人負責[5]"。因此，任何符合倫理的工程必須是以人類為中心的。這對于國防領域的人工智能來說是最迫切的。因此，數字倫理和相應的精神和道德是必不可少的技能，要與卓越的技術同時系統地建立起來。因此，領導哲學和個性發展計劃應鼓勵設計和使用基于人工智能的防御系統的道德能力。

北約STO的科技界如何在技術上支持負責任地使用我們從人工智能中收獲的巨大力量？為了更具體地論證，讓我們以德國聯邦國防軍的文件為指導，從它在20世紀50年代成立的時候，也就是人工智能這個詞真正被創造出來的時候，到最近的聲明。由于這些武裝部隊已經從暴政和以當時高科技為特征的 "全面戰爭 "中吸取了教訓，他們似乎在概念上已經為掌握數字挑戰做了準備。這一點更是如此，因為聯邦國防軍是一支載于《德國基本法》的議會軍隊，它完全按照聯邦議院的具體授權行事，即以德國人民的名義行事。

國防領域的人工智能旨在將軍事決策者從常規或大規模任務中解脫出來，并 "馴服 "復雜性，讓他們做只有個人才能做的事情，即智能地感知情況并負責任地采取行動。自動化對聯邦國防軍的重要性很早就被認識到了。馮-鮑迪辛在1957年提出："然后，人類的智慧和人力將再次能夠被部署到適合人類的領域"[6]。從這個角度來看，武裝部隊作為基于人工智能的系統的使用者，并沒有面臨根本性的新挑戰，因為技術的發展一直在擴大感知和行動的范圍。

圖1："最高度機械化的戰斗需要[......]讓士兵意識到他們的責任，讓他們體驗到他們的行為和不行為的后果。"沃爾夫-馮-鮑迪辛（1954）? 聯邦國防軍

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。

摘要

人工智能領域的進展繼續擴大這組技術的潛在軍事應用范圍。本文探討了信任在人機聯合作戰中的關鍵作用，以及依靠人工智能來補充人類認知的潛在影響。如果依靠人工智能來準確處理傳感器數據，操作自主系統和平臺，或通過擬議的作戰概念（如以決策為中心的戰爭）提供有利的決策支持，設想機器智能的中央指揮和控制作用，那么信任機器智能將是未來作戰中的一個關鍵組成部分。鑒于這些技術和理論的發展，信任的概念對于機器智能在戰術和作戰層面的軍事行動中的使用變得高度相關，正確校準的信任水平是安全和有效行動的基礎。在簡要回顧了機器智能的最新進展和對信任概念的探索之后，本文概述了人工智能在戰場上的當前和潛在應用，以及由不充分或不合理的高信任度帶來的挑戰。

引言

縱觀歷史，技術已經擴大了武裝沖突的領域，戰術交戰的節奏，戰場的地理范圍，以及指揮官與部隊溝通的手段。技術創新--包括軍事和民用--改變了軍隊的作戰方式以及國家計劃和進行這些沖突的方式。在21世紀，迄今為止，很少有進步能像統稱為人工智能（AI）的一組技術那樣獲得如此多的關注。人工智能正準備迎來一個新的時代，在這個時代，機器智能和自主性正在為軍事行動的規劃和執行產生明顯的新概念。算法戰爭可能會帶來一些獨特的東西：增強甚至取代人類決策過程的系統，其速度可能超過人類規劃者的認知能力。
新興技術的整合提出了任何數量的基本組織和倫理問題，值得關注。本文將采用定性的社會科學方法，重點討論人類-自治團隊（HAT）的一個重要方面：鼓勵對機器智能的適當信任程度。有大量的學術文獻關注自動化或機器人技術中的信任問題，但有關具體軍事應用的工作較少。當人工智能在聯合作戰中被實際部署時，在信任方面有哪些挑戰和機會？在簡要回顧人工智能和概述機器智能在戰場上的可能應用之后，本文在分析鼓勵適當信任水平的陷阱和潛在解決方案之前，探討了信任和信任校準的概念。

人工智能的進展

幾十年來，人類一直對賦予機器某種形式的人工智能的可能性著迷，Nils Nilsson將其定義為 "致力于使機器智能化的活動，而智能是使一個實體在其環境中適當運作并具有預見性的品質"。在數字時代的早期，出現了兩種廣泛的人工智能方法。自上而下的專家系統方法使用復雜的預編程規則和邏輯推理來分析一個特定的數據集。對于具有可預測規則的明確定義的環境--諸如分析實驗室結果或下棋等應用--專家系統或 "符號 "人工智能（基于符號邏輯）的性能主要取決于處理速度和算法的質量。另一大類使用自下而上的機器學習方法，模擬人類通過檢測數據中的模式進行學習的方式。神經網絡是一種以人腦為模型的機器學習形式，能夠通過使用多個（因此是 "深"）人工神經元層來識別復雜的模式，是被稱為 "深度學習 "的技術的基礎。通過其在數據集中尋找關系的能力，這種技術也被稱為 "連接主義"。
自上而下、基于規則的符號系統和自下而上的機器學習連接主義技術之間的差異是很大的，特別是關于它們的潛在應用范圍和靈活性。深度學習方法的顯著特點是能夠將學習與它所訓練的數據集分開，因此可以應用于其他問題。基于規則的算法可以在狹義的任務中表現得非常好，而深度學習方法能夠迅速找到模式，并在 "蠻力 "專家系統計算方法無效的情況下有效地自學應用。最近的一些人工智能進展顯示了模仿創造力的能力，產生了有效的解決問題的方法，這些方法對人類來說可能是反直覺的。
然而，總的來說，人工智能仍然是狹窄的或 "脆弱的"，即它們在特定的應用中功能良好，但在用于其他應用時仍然不靈活。與人類的認知相比，鑒于機器的計算速度遠遠超過人腦，機器智能在將邏輯規則應用于數據集時要優越得多，但在嘗試歸納推理時，它必須對數據集或環境進行一般性的觀察，這就顯得不足。大多數機器學習仍然需要大量的訓練數據集，盡管新的方法（包括生成對抗網絡（GAN）和 "小于一次 "或LO-shot學習）正在出現，需要非常小的數據集。圖像識別算法很容易被混淆，不能像人類那樣立即或直觀地理解情景背景。這種脆性也延伸到了其他問題，比如游戲。雖然人工智能在視頻游戲中經常表現出超人的能力，但他們往往不能將這種專業知識轉移到具有類似規則或玩法的新游戲中。
 雖然人工智能技術繼續在變得更加適應方面取得重大進展，但任何接近人類的人工通用智能仍然難以實現。評估人工智能的近期前景因該技術的漸進式進展而變得更加復雜。圍繞著人工智能的炒作--在很大程度上被深度學習方法的成功所推動--既導致了對該技術未來的不切實際的期望，也導致了對其非常大的進展的正常化。正如一份報告所指出的，"人工智能將一項新技術帶入普通人的視野，人們對這項技術習以為常，它不再被認為是人工智能，而出現了更新的技術"。盡管象征性的人工智能和各種形式的機器學習構成了該領域最近的大部分進展，也許除了融合這兩種方法的嘗試之外，未來仍然不確定。一些人猜測，機器學習技術帶來的進展可能會趨于平穩，而另一些人則保持樂觀。相關的技術進步，如短期內的計算機芯片設計和長期內的量子計算，可能會影響進一步進展的速度。

?

對于群體智能中的人類操作員來說，關鍵情況下的決策支持至關重要。自主系統共享的大量數據很容易使人類決策者不堪重負，因此需要支持以智能方式分析數據。為此，使用了用于評估情況和指示可疑行為或統計異常值的自主系統。這增強了他們的態勢感知能力并減少了工作量。因此，在這項工作中，強調為檢測監視任務中的異常而開發的數據融合服務，例如在海事領域，可以適應支持集群智能的運營商。此外，為了使人類操作員能夠理解群體的行為和數據融合服務的結果，引入了可解釋的人工智能 (XAI) 概念。通過為某些決策提供解釋，這使得自主系統的行為更容易被人類理解。

作者解決了由于自主系統共享大量數據而導致的信息過載問題。為了緩解這個問題，他們建議通過兩種智能數據分析方式來幫助人類操作員。第一種方法是自動異常檢測，這可能會加強人類操作員的 態勢感知SA 并減少他們的工作量。第二種方法是可解釋的人工智能 (XAI) 概念；它們有可能使群體行為以及異常檢測結果更易于理解。

作者認為，控制一群無人機仍然具有挑戰性。一方面，（半自動化）群體代理“必須決定行動方案”；另一方面，人類操作員必須決定他們的行動，例如與群體互動。提出的建議力求改善人在循環中。考慮到海上監視的應用，使用非固定代理的動態方法具有幾個優點。首先，某些場景只能使用動態方法進行管理；其次，與固定監視傳感器相比，代理更便宜；第三，在多個地點靈活使用代理可以減少操作群體所需的人員數量。然而，情況評估仍然需要知情的操作員。

作者認為，在海洋領域用于船舶分析的異常檢測算法可能適用于引入以下場景的群體。“假設我們有一個群體來支持海上船只，這些船只不僅會收集它們自己的傳感器系統可用的數據，還會收集所有資產的數據。所有來源收集的信息都需要融合成一幅連貫的畫面。這不應僅限于 JDL 數據融合的第一級，而應包括更高級別的數據融合過程，以獲取有關附近所有對象的可用信息。” 數據驅動的方法能夠應對這種情況。文獻提供了三種檢測位置和運動異常的方法：統計解釋為與正常行為相比的異常值；聚類分析聚類相似的軌跡和確切的路線；用于建模正常移動模式的深度學習方法。為了應對更復雜的場景，包括船舶周圍環境（基礎設施、地理、天氣等）在內的算法是必要的。在某些復雜異常的情況下，區分正常和異常行為需要基于規則、基于模糊、多智能體或基于概率圖形模型的算法。對于所有提到的算法類別，作者都指出了大量的示例算法。

一些算法是黑盒模型，因此，它們的解釋對于人類操作員來說是復雜的。XAI 概念可以幫助緩解這個問題。XAI 概念旨在“提供道德、隱私、信心、信任和安全”，并努力在“它已經做了什么、現在正在做什么以及接下來會發生什么”中明確決策。，從而提高了人工操作員的 SA。考慮到 XAI 模型，模型特定方法（僅限于某些數學模型）可以與模型無關（適用于任何類型的模型）方法區分開來。

在目前的貢獻中，重點是與模型無關的方法。考慮到這些，局部解釋方法（解釋整個模型的單個預測結果）可以與全局解釋方法（解釋整個模型的行為，例如以規則列表的形式）區分開來。此外，作者使用特征屬性、路徑屬性和關聯規則挖掘來區分方法。通過特征屬性，“用戶將能夠了解他們的網絡依賴于哪些特征”；方法示例是提供全局和局部可解釋性的 Shapley Additive Explanations (SHAP) 和指示“模型在進行預測時考慮的輸入特征” 的局部可解釋模型無關解釋 (LIME)。路徑集成梯度（PIG，使用局部解釋）等路徑屬性提供了對模型預測貢獻最大的特征，從而深入了解導致決策的推理。關聯規則挖掘（ARM）是另一種使用全局解釋的方法，發現大型數據集中特征之間的相關性和共現。ARM 方法使用簡單的 if-then 規則，因此被認為是最可解釋的預測模型。可伸縮貝葉斯規則列表 (SBRL)、基尼正則化 (GiniReg) 和規則正則化 (RuleReg) 技術被認為適用于監視任務。

作者認為，使用這樣的 XAI 概念，人類操作員（決策者）可以更好地理解、更好地控制和更好地與一群自主代理進行通信，尤其是在具有挑戰性的環境中。總而言之，將異常檢測和 XAI 概念這兩種方法應用于人類在環、用戶對群體智能的理解和信任可能會得到改善。

【作 者】

Arslan Munir：堪薩斯州立大學計算機科學系
Alexander Aved ：美國空軍研究實驗室 (AFRL)
Erik Blasch：AFRL 空軍科學研究辦公室 (AFOSR)

【摘 要】

態勢感知 (SA) 被定義為對環境中實體的感知、對其意義的理解以及對其近期狀態的預測。從空軍的角度來看，SA 是指理解和預測空域內紅藍飛機和地面威脅的當前和未來部署的能力。在本文中，我們提出了一個 SA 和動態決策模型，該模型結合了人工智能和動態數據驅動的應用系統，以根據不斷變化的情況調整測量和資源。我們討論了 SA 的測量以及與 SA 量化相關的挑戰。然后，我們闡述了大量有助于改進 SA 的技術，從不同的情報收集模式到人工智能，再到自動視覺系統。然后，我們介紹了 SA 的不同應用領域，包括戰場、灰色地帶戰、軍事和空軍基地、國土安全和國防以及關鍵基礎設施。最后，我們以對 SA 提出未來的見解。

關鍵詞： 態勢感知；動態數據驅動系統；人工智能；合成視覺系統；霧計算；灰色地帶戰

1. 引言

態勢感知 (SA) 可以定義為對環境中實體的認知、對其意義的理解以及對其近期狀態的預測。從空軍的角度來看，SA 是指在一定空間內設想紅色和藍色飛機的當前和未來部署以及地面威脅的能力。Endsley 的 SA 模型 [1] 已被廣泛采用，它包括三個不同的階段或層次：感知、理解和預測。美國國防部 (DOD) 的軍事和相關術語詞典將空間 SA 定義為：“空間物體和空間作戰所依賴的作戰環境的必要基礎、當前和預測知識和特征”[2]。SA 通常被認為包含評估（機器）、意識（用戶）和理解（用戶-機器組合）[3]。 盡管許多領域都需要 SA，例如緊急情況和/或災難響應、工業過程控制 SA 和基礎設施監控，但 SA 對于軍事和空軍尤其重要。圖 1從軍事和空軍的角度描述了 SA 的概況。SA 是軍事指揮和控制 (C2) 不可分割的一部分。美國國防部軍事和相關術語詞典將 C2 定義為：“在完成任務時，由適當指定的指揮官對指定和附屬部隊行使權力和指揮”[2]。C2 可以被視為由 SA、計劃、任務和控制組成。C2 系統設計的目的是有選擇地向指揮官展示形勢，以便指揮官了解形勢，然后采取最佳行動。SA 不僅對指揮官而且對下馬操作員都是必不可少的。為了使下車操作員有效參與，他們不僅必須獲取和理解有關其環境的信息，而且還必須利用這些信息來預測不久的將來的事件，從而相應地計劃和調整他們的行動。

圖 1. 態勢感知概述

SA 對空軍來說是必不可少的，被認為是空戰交戰中的決定性因素 [4]。混戰中的生存很大程度上依賴于 SA，因為它依賴于觀察敵方飛機當前的移動并在敵方自己觀察他/她的飛機移動之前幾秒鐘預測其未來的行動。SA 也可以被視為等同于美國空軍 (USAF) 戰爭理論家約翰·博伊德上校所描述的觀察-定向-決策-行動 (OODA) 循環的“觀察”和“定向”階段 [5]。戰斗中的制勝策略是通過比對手更好的 SA 進入對手的 OODA 循環，從而不僅比對手更快地做出自己的決定，而且還可能以不可觀察或不可理解的方式改變局勢在給定的時間內由對手。失去一個人的 SA 就等于脫離了 OODA 循環。由于飛行員要應對較高級別的航空交通、惡劣天氣（例如風暴、大霧）以及最近在空域的無人機（UAV）等許多艱巨的情況，他們需要配備先進的 SA 系統來應對在這些對立的條件下。本文從軍事和空軍的角度討論 SA。

我們在本文中的主要貢獻如下：

• 我們從軍事和空軍的角度定義和闡述 SA。
• 我們提出了一個 SA 和動態決策模型。
• 我們討論 SA 的測量，確定 SA 評估的指標，以及與 SA 量化相關的挑戰。
• 我們討論了有助于提高 SA 的不同技術和技術。
• 我們概述了 SA 的不同應用領域，包括戰場、城市戰、灰色地帶戰、國土安全和國防、災難響應管理和關鍵基礎設施。

本文的其余部分組織如下。第 2 節介紹了 SA 和相關決策的模型。第 3 節討論 SA 的測量方法以及與測量 SA 相關的挑戰。第 4 節詳細介紹了改進 SA 的技術和技術。第 5 節概述了 SA 的不同應用領域。最后，第 6 節總結了本文。

2. SA 和決策模型

在本節中，我們將介紹并討論 SA 和相關決策的模型。圖 2描繪了我們的 SA 和動態決策模型，該模型的靈感來自 Endsley 的 SA 模型 [6]，該模型已被廣泛采用。該模型具有SA 核心，而感知和決策元素圍繞 SA 核心構建。大量傳感器感知環境以獲取環境狀態。將感知信息融合在一起，去除感知數據中的冗余，例如不同相機捕獲的多個相似視圖或近距離不同傳感器感知的數量，同時也克服了從單一來源獲取數據的缺點，例如作為遮擋，環境照明條件的變化和/或環境中的混亂元素。融合后的數據然后被傳遞到 SA 核心，它包括三個級別或階段 [7]。

圖 2. SA 模型和動態決策

感知——1 級 SA：獲得 SA 的第一階段是感知周圍實體的狀態、屬性和動態。例如，飛行員需要辨別環境中的重要實體，例如其他飛機、地形和警示燈以及它們的相關特征。

理解——2 級 SA：SA的第二個階段是對情況的理解，它基于斷開的 1 級 SA 元素的整合。2 級 SA 比僅僅了解環境中的元素更進一步，因為它處理的是對這些元素與運營商目標相關的重要性的理解。簡而言之，我們可以將 SA 的第二階段描述為對環境中實體的理解，特別是在集成在一起時，與運營商的目標相關. 例如，飛行員必須了解感知元素相互關聯的重要性。業余操作員可能能夠達到與更有經驗的操作員相同的 1 級 SA，但可能會掙扎以吸收感知元素以及相關目標以充分理解情況（2 級 SA）。

預測——3 級 SA：SA的第三級涉及至少在短期內預測環境中實體的未來行動的能力。這種預測是基于對環境中元素的狀態和動態的認識以及對情況的理解來實現的。簡而言之，我們可以將 SA 的第三層描述為對未來環境中實體狀態的預測或估計，至少在不久的將來是這樣。例如，從感知和理解的信息中，有經驗的飛行員/操作員預測可能的未來事件（3 級 SA），這為他們提供知識和時間來確定最合適的行動方案以實現其目標 [1]。

如圖 2所示，SA 核心還從戰略或作戰級別的指揮官那里接收有關 SA 目標或目的的輸入。我們的模型通過增加對人工智能(AI) 輔助決策和資源管理的支持，增強了 Endsley [7] 的 SA 模型的感知、理解和預測。感知是通過標準信息融合和資源管理循環來解決的。此外，為了更好地根據不斷變化的情況管理資源，動態數據驅動的應用系統(DDDAS) 模塊向資源管理模塊提供輸入，該模塊管理感知環境的傳感器和 SA 核心中的計算資源。DDDAS 是一種范式，其中應用系統的計算和儀表方面在反饋控制回路中動態同化，以便儀表數據可以動態融合到應用程序的執行模型中，而執行模型可以反過來控制儀器[8]。

在圖 2中，DDDAS 模塊幫助引導測量儀器和數據增強的信息融合過程，從物理知識中改進環境中感興趣實體的 SA。DDDAS 模塊可以幫助引導和重新配置傳感器，以增加感知數據的信息內容，從而增強環境中感興趣活動的 SA [8]。DDDAS 模塊還通過匹配本地化信息內容的預期熵來幫助調整計算資源，并相應地將更多的計算資源分配給導致高信息熵的實體。例如，在監視應用的情況下，特定位置的感興趣對象的存在將需要高分辨率傳感和優先計算，以實現實時檢測和跟蹤這些對象，而沒有感興趣活動的區域將接受粗略感應和SA 沒有明顯惡化的計算。使用 DDDAS 數據增強物理知識的一個例子是在目標跟蹤中使用道路約束作為知識 [8 , 9]。因此，具有增強數據的 DDDAS 范式為利用深度學習補充傳統的信息融合方法提供了額外的機會，用于 SA 的各種應用，例如使用 GPS 數據進行自動車輛跟蹤 [10]、使用圖像數據進行交通監控 [11]、和運輸調度[12]。

由于最近人工智能的進步，人工智能已成為 SA 核心和動態決策不可或缺的一部分。AI 幫助操作員/飛行員了解情況（2 級 SA），然后對環境中實體的未來行動做出預測（3 級 SA）。因此，人工智能模型的穩健性以及操作員的能力、經驗和訓練水平都決定了操作員的理解水平和未來預測的準確性。基于獲得的理解和預測，決策由人工智能模型向指揮官推薦，然后指揮官根據人工智能的輸入和評估的情況做出適當的決定。最后，決策由運營商在戰術層面實施。要執行的決定范圍很廣，包括人員和設備的定位、武器的發射、醫療后送和后勤支持。

3. 衡量態勢感知

設計 SA 系統時出現的一個基本問題是，所設計的系統在促進 SA 方面是否比其他一些交替系統更好。為了回答這個問題，設計師需要一種方法來評估正在開發的用于增強 SA 的概念和技術。SA 測量方法應包含多種系統設計概念，包括 [13]：(i) 顯示符號，(ii) 高級顯示概念，例如 3-D 顯示器、語音控制、平板顯示器、平視顯示器 (HUD) ) 和頭盔顯示器 (HMD) 等，(iii) 電子、航空電子和傳感概念，(iv) 信息融合概念，(v) 自動化，(vi) 完整性，(vii) 可信賴性，以及 (viii) ) 訓練方法。SA 評估的一些指標包括：(i) 及時性，(ii) 準確性，(iii) 信任，(iv) 可信度（可以通過檢測概率和誤報概率的混淆矩陣來描述），(v) 可用性（信息和系統） ，(vi) 工作量，(vii) 成本，(viii) 注意力，(ix) 性能（成功完成任務；也可用于評估做出的決定），以及 (x) 范圍（本地與全球或單一智能（單 INT）與多智能（多 INT））。 Uhlarik 和 Comerford [14] 描述了在評估 SA 測量方法的有效性時相關的結構類型：

• 表面效度：根據主題專家的判斷，SA 測量方法似乎可以測量 SA 的程度。

• 建構效度： SA 測量方法在何種程度上得到 SA 的合理理論或模型的支持。

• 預測效度： SA 測量方法可以預測 SA 的程度。

• 并發有效性： SA 測量方法與 SA 的其他測量相關的程度。

3.1 SA 評估技術

Nguyen等人[15] 對 SA 評估方法進行了詳細審查。SA 評估技術利用不同類型的探針來測量 SA。這些探針包括 [15]：

• 凍結探測技術：在凍結探測技術中，受試者（飛行員）執行的任務在飛行模擬器訓練中被隨機凍結。所有的顯示都是空白的，并且一組查詢被呈現給主題。受試者根據他/她對當前環境（即凍結點）的知識和理解來回答問題。記錄受試者的反應并與當前環境的實際狀態進行比較以提供 SA 分數。

• 實時探測技術：在實時探測技術中，查詢在任務執行期間的相關點呈現給主體，而不會凍結任務。記錄受試者對查詢的響應以及響應時間以確定 SA 分數。

• 試驗后自我評分技術：每個受試者在任務執行后通過評分量表對他/她自己的 SA 進行主觀評估。由于自評是在試驗后進行的，自評技術快速且易于使用，但主觀性高，取決于受試者的任務/任務表現，可能無法準確反映實際收到的 SA在任務期間，因為人類經常表現出對過去心理事件的不良回憶[15]。

• 觀察者評級技術：主題專家 (SME) 通過在任務執行期間觀察主題的行為和表現來提供 SA 評級。這些技術是非侵入性的，但是，觀察者分配的 SA 評級是模棱兩可的，因為準確觀察 SA 的內部過程是不可行的。 基于績效的評分技術： SA 評分是根據任務/任務期間受試者的表現分配的。記錄和分析任務事件期間的幾個性能特征以確定 SA 評級。基于表現的評分有一個缺點，因為這些技術假設受試者的有效表現對應于良好的 SA，這不一定是正確的，因為表現還取決于受試者的經驗和技能。

• 基于過程指數的評級技術：基于過程指數的 SA 評級技術記錄、分析和評級主體在任務執行期間遵循以確定 SA 的某些過程。在任務執行期間觀察對象的眼球運動是過程索引的示例之一。基于過程指數的評級有一個缺點，因為受試者可能專注于眼睛跟蹤設備所指示的某個環境元素，但受試者不能感知該元素或情況。

在本節中，我們將討論一些常用的 SA 測量技術，即：（i）NASA 任務負荷指數（TLX）[16]，（ii）SA 全局評估技術（SAGAT）[13]，（iii ) SA 評級技術 (SART) [17]，以及 (iv) 關鍵決策方法 (CDM) [18]。表 1提供了基于前面討論的評估指標的不同 SA 測量技術的比較。下面討論這些技術。

表 1. SA 評估技術的比較

3.1.1 美國宇航局 TLX

工作量是任何用戶操作的一個重要因素，因為在任務要求和分配的執行各種任務的時間之間存在一個最佳平衡點。Hart 和 Staveland 于 1988 年開發了 TLX [ 16 ]。NASA TLX 采用試驗后自我評估探測技術。TLX 提供用戶關于 SA 指標的主觀報告，通常用于估計工作量。用戶對報告的問題的回答給出了對任務的心理、身體和時間需求的相對評估。NASA TLX 側重于SA 評估的及時性、工作量和性能指標。

3.1.2 SAGAT

SAGAT [13] 已被提議作為一種測量飛行員的 SA 的方法。SAGAT 之所以這樣命名，是因為該技術區分了本地 SA 和全局 SA。SAGAT 利用冷凍探針技術來確定 SA 等級。在 SAGAT 中，飛行員在人在回路模擬中使用給定的飛機系統飛行任務場景。在某個隨機時間點，模擬停止，并向飛行員提供一份問卷，以確定他/她對當時情況的了解。由于在一個站點中向飛行員詢問有關他/她的 SA 的所有問題是不可行的，因此在每個站點中向飛行員詢問隨機選擇的 SA 查詢的子集。對于執行相同任務的幾名飛行員，這種隨機抽樣過程會重復多次，以獲得統計意義。這種隨機抽樣方法允許一致性和統計有效性，從而可以比較不同試驗、飛行員、系統和任務的 SA 分數。在試驗完成時，將根據模擬中實際發生的情況檢查查詢答案。感知和實際情況的比較提供了飛行員 SA 的衡量標準。

SAGAT 評分分為三個區域：即時、中間和長期。SAGAT 還能夠評估顯示器的象征意義和概念。某些顯示器僅捕獲本地 SA，而其他顯示器呈現全局 SA。SAGAT 將確定用戶/飛行員是專注于單一智能產品還是利用來自多智能顯示器的信息融合來回答來自探測器的查詢。一個例子是來自圖像情報的單目標跟蹤或組跟蹤。來自全動態視頻 (FMV) 的單個目標跟蹤可能無法捕獲可以從高海拔視點（例如廣域運動圖像 (WAMI)）獲取的全局情況信息。SAGAT 注重準確性、可信度、SA 評估的成本和性能指標。

SAGAT 的主要限制是必須停止模擬才能獲得飛行員感知的 SA 數據。此外，SAGAT 是為空對空戰斗機任務開發的，并且不存在用于評估包含空對空、空對地和空對海場景的全球結構的 SA 的 SA 測量工具.

3.1.3 SART

SART 問卷由 Taylor 于 1990 年開發 [17]。SART 使用試驗后自我評價探測技術。SART 提供了飛行員/用戶在執行期間的注意力或意識的主觀意見。SART 問卷包括情境穩定性/不穩定性、情境復雜性、情境可變性、對情境的警覺性、注意力集中、注意力分配、備用心智能力、信息量和情境熟悉度等要素。可以從 SART 評估信任、可信度、工作量、注意力和績效等指標。

我們注意到，隨著用戶熟悉用于任務的工具，注意力、工作量和信任可能是 SART 不斷發展的評估。SART 中的注意力劃分涉及單智能 (single-INT) 診斷與組合多智能 (multi-INT) 呈現。為了獲得多 INT，SA 系統不應要求用戶在單個 INT 之間切換，因為切換會增加工作量，需要額外的注意力，甚至會造成不穩定或誤解。Multi-INT 融合顯示是增強 SA 的首選，因為 Multi-INT 顯示可以減少數據過載、增加注意力并支持理解。SART 中與工作量評估最相關的要素是備用心智能力和信息量。備用心智能力問卷檢查用戶是否可以專注于單個事件/變量或是否可以使用多 INT 演示跟蹤多個事件/變量。信息量問卷檢查用戶使用SA系統獲得的信息量。該問卷還檢查是否在需要的時間和地點向用戶提供了及時和可操作的數據。信息量應包括相關信息并提供有關情況的知識。信息量包括呈現給用戶的數據的類型、質量和相關性，因為過多的數據會使用戶負擔過重并給情況分析增加混亂。

3.1.4 CDM

CDM 是由 O'hare 等人開發的。1998年 [18]。CDM 使用審后自評探測技術。CDM 已用于確定在執行期間使用了哪些決策點。CDM 問卷包含有關目標規范、線索識別、決策期望、決策信心、信息可靠性、信息集成、信息可用性、信息完整性、決策備選方案、決策阻塞、決策規則和決策類比等要素。目標規范探測檢查用戶在不同決策點的具體目標。提示識別探針檢查用戶在制定決策時正在尋找的特征。決策期望探測檢查做出的決策是否是事件/任務過程中的預期決策。決策置信度調查評估對所做決策的置信度，以及該決策在某些改變的情況下是否會有所不同。信息可靠性查詢分析用戶是否懷疑可用信息的可靠性或相關性。信息集成查詢檢查可用信息是否以集成方式呈現，并突出顯示重要實體、這些實體之間的關系和事件。信息可用性探測在決策時驗證足夠信息的可用性。信息完整性探測分析呈現給用戶的信息在決策時是否完整，以及是否有任何附加信息可以幫助用戶制定決策。決策替代查詢檢查是否存在任何可能的或正在考慮的替代決策，而不是做出的決定。如果在決策過程中的任何階段，用戶發現難以處理和/或整合可用信息，則決策阻斷探針分析。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標 用戶發現難以處理和/或整合可用信息。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標 用戶發現難以處理和/或整合可用信息。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標可以從 SART 評估及時性、準確性、信任度、可信度、可用性和性能。

3.2 衡量 SA 的挑戰

SA 可以通過可量化的指標（例如時間和準確性）憑經驗評估操作員的績效來衡量，并將這些指標與沒有 SA 幫助的類似測試的結果進行比較。然而，量化 SA [9,19]的工作很少。大多數駕駛艙設計師依靠推測來估計替代設計提供的 SA。大多數現有的測量 SA 的方法都存在各種缺點，包括但不限于：

• 主觀性：測量 SA 的技術可以要求指揮官、操作員和/或飛行員對他/她的 SA 進行評分（例如，從 1 到 10 的等級）。這種方法有嚴重的局限性，因為受試者不知道環境中實際發生了什么，并且他/她對自己的 SA 進行評分的能力是主觀的 [20]。此外，受試者的評分可能會受到任務輸出的影響，也就是說，當任務通過僥幸或良好的 SA 成功時，受試者很可能會報告良好的 SA，反之亦然。此外，如果評估是由不同的飛行員、操作員或指揮官進行的，那么對給定系統的 SA 評估可能會存在顯著差異。

• 生理學：獲得受試者思想的準確圖像以始終估計 SA 是具有挑戰性的。P300 (P3) 和腦電圖 (EEG) 測量為測量認知功能提供了希望，但不能確定受試者對環境中元素的理解。來自生物方法的 SA 被用作“壓力”的間接測量，并且可以與性能一起使用；然而，生理測量和心理表現之間的良好匹配仍然不是眾所周知的[21]。

• 調查：可以對受試者進行詳細的問卷調查，了解他們通過 SA 系統獲得的 SA。然而，人們的回憶受到興趣活動和問卷管理之間的時間和中間事件的影響[13,20]。這個缺陷可以通過在使用 SA 模擬器時詢問他們的 SA 主題來克服。然而，這種方法也有缺點。首先，在感興趣的情況下，受試者工作量很大，可能會阻止他/她回答問題。其次，這些問題可以提示受試者注意顯示器上的請求信息，從而改變他/她的真實 SA。

• 局限性：許多方法旨在一次評估單個設計問題 [19]。在這種情況下，受試者可能會無意中將他們的注意力轉移到正在評估的問題上，這將導致該問題對受試者的 SA 產生不真實的影響。由于SA本質上是一個全局結構，如果設計者要充分解決主體（例如，指揮官、操作員、飛行員）的SA需求，則需要對SA進行全局度量。 覆蓋范圍：表1表明當代 SA 測量技術通常側重于一些評估指標。例如，NASA TLX 側重于及時性和工作量；SAGAT強調準確性、可信度和成本；SART 以吞吐量為目標；CDM 注重信譽。因此，挑戰在于開發比現有測量技術涵蓋更多指標的 SA 評估技術。

3.3 SA 指標

已經開發了各種指標來評估 SA 系統的價值。這些指標可以分為五個類別或維度[19]：（i）置信度，（ii）準確性/純度，（iii）及時性，（iv）吞吐量和（v）成本。表 2總結了 SA 系統的指標。

表 2. 態勢感知系統指標

置信度是衡量系統檢測到真實活動的能力的指標，通常報告為概率。有用于量化置信度的三個指標：（a）精度，（b）召回，和（c）碎片。

精度是 SA 系統做出的正確檢測/預測相對于檢測到的活動總數的百分比。精度可以表示為：

其中，真正的檢測意味著檢測到活動并且是真實或正確的檢測，而錯誤檢測意味著檢測到活動，但是是不正確的檢測/預測。

召回是 SA 系統正確識別的活動相對于基本事實定義的已知活動總數的百分比。召回率可以表示為：

其中誤報意味著活動被預測為負面但實際上是正面的，或者沒有正確檢測到真實活動。 碎片化是報告為多項活動而應報告為一項活動的活動的百分比。例如，在跳島攻擊中，目標計算機受到威脅，然后用于對其他計算機發起攻擊。為了正確檢測此攻擊，目標成為攻擊者的所有實例都應包含在與穿過該島的原始攻擊者相同的軌跡中。很多時候，SA 系統中的融合引擎將無法將后續證據與原始攻擊正確關聯，從而將攻擊報告為兩個或多個攻擊軌跡。我們注意到一個攻擊軌跡是指來自多個數據流的證據（即從原始傳感器數據生成的事件），這些數據流融合在一起以識別潛在的攻擊[22]。碎片化看似誤報，因為具有碎片化的 SA 系統將現有活動識別為新活動，而不是將現有活動與復雜活動相關聯。分片可以表示為：

準確性/純度是指預測/檢測到的活動的質量，即觀察是否正確匹配并與正確的活動軌跡相關聯。兩個指標用于量化純度：（a）錯誤分配率，和（b）證據召回。錯誤分配率定義為錯誤分配給給定活動的證據或觀察的百分比。錯配率可以表示為：

錯誤分配率有助于評估 SA 系統是否將證據分配給不相關的活動軌道，或者 SA 系統是否僅將直接有用的證據分配給活動軌道。

證據召回是檢測到的證據或警報相對于已知或實際事件總數的百分比。證據召回可以表示為：

證據召回量化了有多少可用的證據真正被利用。

已經觀察到，在某些 SA 領域，例如網絡 SA 系統，純度指標并沒有被證明很有幫助。如果錯誤分配率很高，則表明基礎數據的相關性或關聯性不正確；然而，它并不能說明檢測到的攻擊的質量[ 22 ]。關于證據召回指標，直覺上我們會認為如果使用更多的證據，攻擊檢測會更準確，置信度高（高精度和高召回率）；然而，根據經驗，[ 22 ]沒有觀察到網絡 SA 系統中的證據數量和檢測質量之間的關系。相反，有時更少的證據會導致更好的檢測。這意味著只有少數真正相關的事件意味著攻擊。

及時性評估 SA 系統在特定 SA 域的時間要求內響應的能力。及時性通常通過延遲度量來衡量。延遲通常指事件發生與 SA 系統發出警報之間的時間。及時性表征 SA 系統在特定 SA 域的時間要求內響應的能力。及時性維度對于評估 SA 系統是否不僅可以快速識別活動，而且還提供足夠的時間來對該活動采取行動（如果需要）提供了重要的信息。

吞吐量衡量單位時間內完成的工作量（例如，任務、事務）。在 SA 上下文中，吞吐量是指每單位時間檢測到的事件數。

成本通常根據兩個指標來衡量：(a) 成本效用，和 (b) 加權成本。成本效用估計 SA 系統上投資成本的效用。由于在給定 SA 系統上使用的資源有限，因此由于對給定 SA 系統的投資而放棄了最佳替代活動的“機會成本”。加權成本度量標準旨在通過考慮以正權重檢測到的活動或攻擊的類型來捕捉 SA 系統的有用性，同時以負權重懲罰系統的誤報。不同的權重被分配給不同類別的活動或攻擊。然后，加權成本是分配給檢測到的活動或攻擊的值（權重）之和與地面實況中活動/攻擊軌跡的值之和的比率。

4. 提高態勢感知的技巧和技術

改進 SA 一直處于軍事技術進步的前沿。軍方已利用各種技術創新來改進 SA。雖然不可能涵蓋已用于改進 SA 的所有技術和技術，但本節概述了其中一些正在考慮或已被軍隊和/或空軍采用以增強 SA 的技術進步。

4.1 情報收集模式

SA 依賴于從多個來源收集的情報，例如人類、信號、數據（例如，文本、音頻、視頻）和社交媒體。為了獲得更好的 SA 并提高所獲取 SA 的準確性，需要來自多個來源的情報來過濾從特定情報來源報告的差異。有助于改進 SA 的不同情報來源包括人類情報 (HUMINT)、開源情報 (OSINT)、測量和簽名情報 (MASINT)、信號情報 (SIGINT)、圖像情報 (IMINT) 和地理空間情報 (GEOINT)。

4.2 傳感器和傳感器網絡

技術進步導致了多種傳感器的開發，其中許多傳感器已在監視和 SA 系統中得到應用。通常用于增強 SA 的傳感器包括位置傳感器、可見光（紅、綠、藍 (RGB)）攝像頭傳感器、夜視攝像頭傳感器、紅外圖像傳感器、紫外圖像傳感器、運動傳感器、接近傳感器、煙霧/火傳感器、槍聲探測器和定位器、遠程傳感器和合成孔徑雷達。這些傳感器通常以無線方式連接在一起，為給定區域提供監視覆蓋。地理定位系統是基于傳感器的系統的一個示例，通常是監視和 SA 應用程序的一部分。軍事地理定位系統旨在克服多路徑并提供小于 1 m (< 1 m) 開闊地形中的測距精度和建筑物內小于 2 m (<2 m) 的精度。為了實現這些目標，軍事裝備的地理定位系統依賴于各種傳感器。用于軍事設備的許多地理定位系統集成了來自互補傳感器的測量，例如全球定位系統 (GPS)、慣性測量單元、到達時間、氣壓傳感器和磁羅盤，以提供比任何技術都更精確的融合解決方案個別傳感器。

大量情報、監視和偵察 (ISR) 傳感器收集的數據增強了決策者的 SA，并幫助他們更好地了解他們的環境和威脅。然而，多種因素阻礙了最終用戶的 SA 增強，包括不兼容的數據格式、帶寬限制、傳感器持久性（傳感器連續感知的能力）、傳感器重訪率（傳感器觀察同一地理點的速率；該術語主要用于移動傳感器，例如衛星或無人機傳感）和多級安全[23]。此外，隨著傳感器數據量的增加，挑戰在于識別最重要的信息片段，融合該信息，然后以合適的格式將該信息呈現給最終用戶。

最近在軍隊和空軍中，需要訪問傳感器信息的最終用戶數量不斷增加。例如，此信息的最終用戶可能是制定目標決策的戰斗機（例如，F-16 戰隼、F-35 閃電 II）的飛行員、保衛城市的軍事指揮官、試圖在鎮壓民間騷亂，或聯合空中作戰中心 (CAOC) 戰略團隊成員制定空中作戰戰略計劃 [ 23 ]。盡管每個最終用戶的具體信息要求、安全級別和帶寬限制會有所不同，但對實現和維護 SA 的及時、準確、相關和可信信息的總體需求保持不變。分層傳感的概念空軍研究實驗室 (AFRL) 傳感器理事會已設想向決策者提供融合的、多源、多維和多光譜的傳感器數據，無論決策者位于何處，都符合他們的需求，其目標是提高決策者的 SA。

4.3 軟件定義無線電

軟件定義無線電 (SDR) 是一種無線電通信系統，它在軟件而不是硬件中實現了許多無線電組件，例如混頻器、調制器、解調器、糾錯和加密，因此可以更輕松地重新配置和適應不同的溝通情況。美國軍方的聯合戰術無線電系統 (JTRS) 計劃的任務是用一組 SDR 替換現有的軍用無線電，這些無線電可以通過簡單的軟件更新在新的頻率和模式（波形）下工作，而不是需要多個無線電用于不同的頻率和模式并要求更換電路板進行升級 [24]。后來 JTRS 轉變為聯合戰術網絡中心 (JTNC) [25]。SDR 經常用于小型單位運營商的 SA 系統，以便為作戰人員提供一個系統，該系統可以在限制性環境，特別是城市環境中提供可靠和靈活的通信。SDR 提供廣泛的調諧范圍（例如，從 20 MHz 到 2500 MHz [26]），使運營商的 SA 系統能夠選擇最佳頻段，以在各種受限地形中保持鏈路連接。此外，SDR 允許自適應直接序列擴頻波形（例如，從 0.5 MHz 到 32 MHz [26]) 用于調制。SDR 的其他潛在可調參數包括無線電設置的適應（例如，傳輸功率、頻率、天線增益、調制、編碼、基帶濾波、信號增益控制、采樣和量化）、數據鏈路層參數（例如，信道監控和關聯方案、傳輸和睡眠調度、傳輸速率和錯誤檢查）和網絡層參數（例如，路由、服務質量管理和拓撲控制）[27]。

4.4 人工智能

人工智能的進步對 SA 有重大影響。人工智能可以極大地提高下車操作員、士兵和飛行員對環境的認識，因為基于人工智能的應用程序可以通知士兵紅軍的存在和移動，從而幫助識別和緩解威脅。AI 在 SA 的“投射”階段（3 級 SA）特別有用。AI 可以幫助進行實時分析和預測以改進 SA。對于軍事應用，人工智能可以為地面上的步行操作員和飛行員提供可操作的情報和決策協助。人工智能還可以通過實現預測性維護、提高操作設備的安全性和降低運營成本來促進物流。此外，人工智能可以通過在軍用彈藥耗盡之前跟蹤和供應軍用彈藥來促進部隊的戰備狀態。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。

4.5 無人機

無人機 (UAV) 可以極大地幫助改進 SA，因為無人機適用于從被認為沉悶、骯臟或危險的環境中收集情報。隨著技術的進步，下一代無人機不僅將收集數據，還將能夠執行機載數據處理、融合和分析。配備攝像頭的情境感知無人機可以生成對視頻中觀察到的場景的高級描述，并識別潛在的危急情況。可以利用語義技術來識別場景中的對象及其交互 [ 28]。通過使用模糊認知地圖推理模型、深度神經網絡或其他機器學習模型，可以為無人機添加認知能力，使無人機了解場景中不斷變化的情況并識別不穩定的情況。此外，無人機可以通過充當飛霧在邊緣 SA中發揮關鍵作用因此，當無人機在傳感器上方導航時，作為地面傳感器數據的接收器。無人機飛霧的一個理想特性是能夠處理、融合和分析機上數據以及將數據（無論是原始形式還是經過處理的形式，取決于性質、復雜性和環境）傳輸到地面用于存檔和詳細分析的工作站和/或云。無人機還可以采用 DDDAS 方法，使無人機能夠根據實時傳感器數據動態調整其傳感、處理和導航（路由），以更好地監控和跟蹤目標。

4.6 自動駕駛汽車

盡管自動駕駛汽車 (AV) 主要針對消費市場，但 AV 也可以使 SA 受益，如下所述。由于 AV 嵌入了大量傳感器，因此 AV 能夠在運行期間始終進行監控。例如，一個 AV 網絡可以在任何時間和地點以全面、詳細的跟蹤所有 AV 及其用戶的形式實現大規模監控 [29]。可以收集和集中存儲從車載 AV 的不同傳感器檢索到的信息。該存儲信息的詳細分析可用于提供 SA 見解。

4.7 槍擊定位系統

槍擊定位系統是一種重要的聲學監測工具，可用于打擊城市地區非法使用槍支的行為，以及在城市戰爭和戰場上定位炮火、子彈和狙擊手的來源。聲學 SA 可以解釋為用于在所有時間和所有天氣條件下觀察環境聲學成分的活動和手段。聲學 SA 中的目標采集是指通過對一個或多個先前識別的目標的檢測、空間定位、偵察和識別來表征構成環境噪聲的聲源。現代槍擊定位系統歸功于軍事狙擊手檢測技術的技術轉移，該技術是為對抗戰場上的狙擊手行動而開發的。槍擊定位系統的操作可以通過流體動力學建模、聲學傳感技術和地震技術來解釋。從物理上講，火災由兩個主要現象構成：槍管內彈藥推進劑的沖擊引起的化學反應，以及從槍管開口端排放到空氣中的彈丸的動力學[30]。彈藥發射藥的沖擊引起的化學反應有兩個階段：第一階段，子彈發射藥被點燃，熱量通過槍管呼嘯而出，第二階段，未燃燒的發射藥被重新點燃并燃燒產品在槍口外的空氣中釋放。 與沖擊引起的化學反應相關的最關鍵的流體動力學過程是槍管開口端的放電等離子體的槍口爆炸流。高溫高壓等離子體的這種快速退出產生了從槍口呈球形輻射的槍口沖擊波。彈丸動力學具有三個相關的流體動力學現象[30]。首先，釋放槍管的彈頭的活塞式運動會引起沖擊波。其次，拋射體在運動中脫落的渦流會沿著軌跡產生騷動，這會產生風神音。第三，如果彈丸速度為跨音速或更高，它將在飛行中的子彈之后產生彈道沖擊波或馬赫錐，其壓力幅度具有 N 波輪廓。此外，可以根據聲學特征區分不同類型的武器。陰影成像已被用于區分不同武器的火力。

電聲傳感器通常用于檢測、定位和識別槍聲或射擊噪音。電聲傳感器由壓電基板和對聲壓敏感并具有全向拾音模式的低成本電容式聲換能器組成。這些電聲傳感器處理嵌入在槍擊事件聲發射中的信息，以猜測槍擊源的空間坐標（即方位角、仰角、射程）以及其他相關的彈道特征。電聲傳感器可以使用無線通信或有線通信（例如，專用電話線）來傳輸數據。為了進行聲學監視，聲學傳感器分布在感興趣的區域以形成聲學傳感器網絡。聲學傳感器通常安裝在較高的位置，例如燈桿、高層建筑、蜂窩基站等。聲學傳感器網絡的覆蓋范圍取決于聲學傳感器對槍口爆炸波形和環境的敏感度。在露天條件和沒有背景噪音的情況下，可以在距離槍支 600 米（0.373 英里）或更遠的地方感知到槍口沖擊波。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。373 英里）或更多距離槍支。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。373 英里）或更多距離槍支。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。

現代槍擊定位系統能夠評估射手的方位角和仰角、射手的射程、彈丸的彈道和口徑以及初速。彈丸的到達方向是根據彈道沖擊波的每次擾動到達聲傳感器對的時間延遲來估計的。使用一對換能器之間沖擊波的到達時間延遲來估計彈丸的速度。彈丸口徑可以從 N 波分析中推斷出來。射手的射程是通過使用麥克風陣列和三角測量算法分析槍口沖擊波前的曲率來確定的[30]。該地理信息系統作為聲學 SA 向指揮官或執法官員的一個輸入。

4.8 物聯網

物聯網 (IoT) 可以通過與軍事和空軍人員的整合極大地增強 SA。操作員/地面士兵是戰場上的資產，對于實施戰術決策至關重要。越來越多的無處不在的傳感和計算設備被軍事人員佩戴并嵌入軍事裝備（例如作戰服、儀表化頭盔、武器系統等）中。這些傳感和計算設備聯網在一起形成軍事物聯網 (IoMT) 或戰場物聯網 (IoBT) [31]。IoMT/IoBT能夠獲取多種靜態和動態生物特征（如人臉、虹膜、眼周、指紋、步態、手勢和面部表情），可用于對士兵的心理物理進行上下文自適應的連續監測和場上的情緒狀況。除了監測士兵的武器、彈藥和位置外，IoMT/IoBT 還可以幫助捕獲士兵的重要健康參數（例如，心率、心電圖 (ECG)、血糖水平、體溫、血壓）。借助 IoMT/IoBT，軍隊和空軍人員能夠獲得戰術態勢感知，從而獲得對敵人的感知以及友軍的進展。IoMT/IoBT 收集的各種統計數據和參數對于坐在指揮和控制中心的指揮官具有重要價值。然后將這些獲取的數據發送到邊緣服務器或云，然后可以將信息融合和大數據分析應用于 SA、態勢評估、決策活動，并為戰場上的士兵提供實時支持。指揮官可以了解藍軍的健康參數、武器參數、裝備參數和彈藥參數，從而可以下達提供適當援助的命令。

4.9 圖數據庫

最近，在[32]中提出了將物聯網（IoMT/IoBT）與圖數據庫相結合為戰場上士兵的每個參數提供 SA，從而實現更好的決策支持系統。圖數據庫是一種新的范式，其中數據可以以圖形形式體現，比傳統數據庫更容易搜索和遍歷。在圖形數據庫中，數據以節點的形式存儲，這些節點通過邊以圖形方式相互連接，邊表示連接節點之間的關系。當數據/節點的屬性很重要時，圖形數據庫很有用。例如，士兵可以是具有不同屬性的主節點，例如裝備、彈藥、武器和身體傳感器參數。由于物聯網與其他節點和數據有很多互連，因此可以使用圖形數據庫來存儲和檢索這些信息。圖形表示和存儲有助于查詢此類復雜數據。圖論的標準算法（例如，最短路徑、聚類、社區檢測等）以及機器學習方法可用于圖數據庫，以方便檢索所需信息[32]。圖數據庫的使用可以提高指揮官的可視化和SA。通常，平面方式的信息不足以以清晰的方式開發 SA。存儲在圖形數據庫中的各種來源的信息允許以圖形方式檢索存儲的信息，這有助于更好地理解圖形中不同節點的屬性之間的關系。由于物聯網時代從傳統的基于地圖和基于電話的 SA 過渡，指揮官能夠在支持物聯網的設備上遠程訪問所有信息。圖形數據庫可以在霧/云級別實現，因此查詢的可視化結果可以提供有關情況的有趣數據，以協助指揮官做出戰術決策。

4.10 霧/邊緣計算

霧計算或邊緣計算是計算中的一種新趨勢，它將應用程序、服務、數據、計算能力、知識生成和決策從集中節點推向網絡的邏輯極端。邊緣計算和霧計算在本質上是相似的，并且在我們之前的工作中已經概述了一些細微的差異[33]。現有的監視系統難以實時檢測、識別和跟蹤目標，這主要是由于從傳感器傳輸原始數據、在遠程中央平臺（例如云）上執行信息融合、計算和分析所涉及的延遲，并將命令發送回執行器以執行控制決策。霧/邊緣計算可以在網絡邊緣附近進行計算，并有助于減輕核心網絡的通信負擔。霧/邊緣計算還支持基于位置的服務、本地分析，并有助于提高 SA 系統的實時響應能力[34、35]。使用生物識別、環境傳感器和其他連接的 IoMT/IoBT 設備利用霧/邊緣計算快速發送和接收數據不僅有助于改善指揮和控制操作，而且還允許軍事人員及時應對戰場上的潛在危險情況。

4.11 信息融合

監控應用使用大量傳感器，例如運動檢測器、接近傳感器、生物識別傳感器以及各種攝像機，包括彩色攝像機、夜視成像攝像機和熱成像攝像機，它們從不同的視點和分辨率觀察目標。信息融合通過幫助從感知數據中獲得有價值的見解，在 SA 中發揮著重要作用。SA 包含低級信息融合（跟蹤和識別）、高級信息融合（基于威脅和場景的評估）和用戶細化（物理、認知和信息任務）[ 3]。信息融合最大限度地減少了不同傳感器捕獲的數據之間的冗余，例如不同相機捕獲的相同或相似視圖。此外，當系統中的一個相機跟蹤的對象移出其視野并進入另一個相機的視野時，信息融合還有助于在相機之間執行切換。在霧/邊緣計算范式中，傳感器/物聯網節點的信息融合減少了需要傳輸到邊緣服務器的數據，從而為物聯網設備節省能源，從而有助于延長物聯網設備的電池壽命。先進的計算技術，如并行計算和可重構計算，可用于實時信息融合，在物聯網和邊緣/霧節點提供實時SA。

4.12 視頻流中的自動事件識別

來自無人機、物聯網設備和閉路電視 (CCTV) 攝像機的視頻流是監控和 SA 的重要來源。傳統上，需要多個操作員觀看這些視頻流，然后將有關感興趣事件的信息傳遞給指揮官以改進 SA。從大量無人機和物聯網設備收集的視頻流越來越多，需要越來越多的操作員。此外，在高活動期間，操作員可能會超負荷，因此可能無法跟蹤所有感興趣的事件。自動分析來自各種來源（如無人機和物聯網設備）的視頻數據，可以通過提供感興趣的事件或活動的通知來減少所需的操作員數量[36]。事件可以定義為在一段時間內發生的對象之間關系的變化。使用無人機進行自動事件識別的一個有趣例子是車隊監視。小型無人機，如“掃描鷹”(ScanEagle)，可用于為車隊提供監視，在車隊上空飛行的無人機不僅會探測和跟蹤車隊中的實體，而且還會在車隊附近發現可能構成威脅的其他車輛和物體。

各種方法已用于事件識別，例如貝葉斯網絡、隱馬爾可夫模型 (HMM) 和神經網絡 [36]。特別是，隨著深度學習的最新進展，卷積神經網絡 (CNN) 在視頻幀中的自動對象檢測、分類和識別方面變得非常流行。圖 3展示了用于自動對象檢測和分類的 CNN 架構。CNN 架構通常由輸入層、輸出層和多個隱藏層組成。CNN 的隱藏層主要包括多個卷積層、全連接層以及可選的非線性層、池化層和歸一化層。在圖 3，來自紅外攝像機的輸入被饋送到 CNN 架構，該架構通過多個卷積、非線性、池化、歸一化處理輸入（注意，為簡單起見，圖 3中未顯示非線性、池化和歸一化層）和全連接層，并在輸出/分類層產生目標檢測和分類的輸出。圖 3顯示了 CNN 架構從紅外視頻輸入中檢測手槍。

圖 3. 用于自動對象檢測和分類的卷積神經網絡 (CNN) 架構

我們注意到 HMM 和神經網絡需要大量的訓練數據來配置網絡以識別事件。由于許多感興趣的事件是異常事件，缺乏用于訓練的視頻數據，因此當訓練視頻數據稀缺時，貝葉斯網絡可用于事件識別[36]。貝葉斯網絡還在推理中包含不確定性，并提供指示事件為真的可能性的輸出，或對于多狀態事件，事件處于特定狀態的概率。

盡管自動事件識別對 SA 具有巨大的價值，但它是一個具有挑戰性的問題，也是近期研究的重點。其他對 SA 至關重要且是近期研究主題的相關研究問題是對象檢測和識別、對象之間關系的識別和活動識別。

4.13 增強視覺系統 (EVS)

增強型視覺系統 (EVS) 或增強型飛行視覺系統 (EFVS) 通過主動和被動傳感器增強飛行員的能見度和 SA，這些傳感器可以穿透風暴、霧、霾、黑暗、雨和雪等天氣現象。現代軍用飛機配備了增強型視覺系統，但是，由于成本、復雜性和技術性，這些系統在商用飛機上并不常見。增強型視覺傳感器的性能取決于傳感器特性和外部環境。例如，高頻雷達（例如 94 GHz）和紅外傳感器的范圍性能在強降水和某些霧類型中會降低 [37]。相反，低頻（例如，9.6 GHz）和中頻（例如，35 GHz）雷達的范圍有所提高，但顯示分辨率較差。此外，當多個有源傳感器靠近時，有源雷達傳感器可能會相互干擾。盡管增強視覺系統已在軍事和空軍中大量使用以改進 SA，但當代增強視覺系統不提取可能在特定溫度或雷達反射條件下產生誤導性視覺偽影的顏色特征 [37]。EVS/EFVS 的示例包括 Collins Aerospace 的 EFVS-4860 [38] 和 Collins Aerospace 的 EVS-3600 [ 39]，它使用短波紅外、長波紅外和可見光攝像機的組合來提高飛行員的能見度。EVS 的另一個例子是 Elbit System 的 ClearVision [ 40 ]，它結合了視覺相機、近紅外傳感器和長波紅外傳感器來提供改進的 SA。

4.14 合成視覺系統 (SVS)

合成視覺系統本質上是不受天氣影響的顯示器，允許操作員和/或飛行員看到世界，因為它始終處于完美的天氣條件下。合成視覺系統使用傳感器、全球定位系統 (GPS) 衛星信號、慣性參考系統和內部數據庫的組合，為飛行員提供他們周圍世界的合成視圖。合成視覺系統通過在姿態參考系統上疊加真實世界圖像的增強現實 (AR) 系統取代了飛機中舊的姿態指示器（即指示地平線位置的藍棕色姿態指示器）。基于 AR 的 SA 系統，例如 NASA 的合成視覺系統，可以提高航空安全并提高飛機運行效率。

Collins Aerospace 的 SVS 在 HUD 上提供與天氣無關的高清圖像顯示，其中包含三層信息——地形、障礙物、機場和跑道——以呈現環境的完整畫面 [39]。Collins Aerospace 的 SVS 將傳感器與提供地形輪廓、英里標記、跑道亮點和機場圓頂的全球數據庫集成在一起。SVS 的另一個例子是霍尼韋爾的 SmartView [41]，它將來自各種機載數據庫、GPS 和慣性參考系統的飛行信息合成為全面的、易于理解的前方地形 3-D 渲染。

4.15 組合視覺系統 (CVS)

合成視覺系統讓飛行員在任何天氣條件下都能清楚地看到窗外的世界。這些視覺系統是邁向未來視覺系統的一步，也稱為組合視覺系統 (CVS)，它將為飛行員提供遠遠超出眼睛所能看到的視野。CVS 是合成視覺（即基于傳感器和存儲的數據庫信息實時創建渲染環境的系統）和增強型飛行視覺系統（即利用前視紅外系統和毫米波雷達提供飛行員可以實時查看飛機周圍的世界）[42]。Collins Aerospace 的 CVS 通過將他們的 EVS 和 SVS 組合成一個動態圖像為飛行員提供清晰的視圖，如圖 4 所示. CVS 算法利用來自 EVS 和 SVS 的重疊視野來檢測、提取和顯示來自兩個來源的內容。例如，CVS 提供夜間地形熱成像、不受天氣影響的虛擬地形，以及集成在單個系統中的跑道和進近照明的快速檢測。

圖 4. Collins Aerospace 的組合視覺系統 [43]

4.16 增強現實

隨著移動設備的計算能力不斷提高，可以由多個部門（例如，軍事、民用、執法）的步行操作員攜帶，AR 為增強 SA 提供了一種有前途的手段。由于下車操作員傾向于處理大量可能相關或不相關的信息，因此 AR 系統可以通過以可識別的方式過濾、組織和顯示信息來幫助改進 SA [44]。AR 系統需要識別要在操作員的 HUD 中顯示和增強的感興趣元素。這些元素包括地形圖和藍色和紅色力量的指示。可以使用以操作員為中心的徑向迷你地圖顯示地形圖，實時顯示操作員的位置以及盟友和敵人的位置以及興趣點。通過使用 AR 技術對路徑進行著色，導航數據可以與地形圖集成，從而將地圖和導航路徑疊加在操作員的視野中。AR 還能夠在操作員可能難以操縱其設備和/或武器的情況下提供幫助，例如在近距離戰斗或巡邏中，武器通常在臀部水平處靜止[44]。這種 AR 十字準線的有效性可以通過比較操作員在有或沒有十字準線的參與期間的響應時間來憑經驗測量。總之，隨著 AR 技術的進步，AR 在軍事和空軍設備中的使用一直在不斷增加。

五、態勢感知的應用領域

戰場、軍事和空軍基地、航空、空中交通管制、緊急情況和/或災難響應、工業流程管理、城市地區和關鍵基礎設施等各個領域都需要 SA，如圖 5 所示。在本節中，我們將概述其中一些領域。不充分的 SA 通常與導致逆境的人為錯誤有關，例如戰爭中的軍事損失、緊急情況和災難響應中平民和急救人員的生命損失以及工業控制中的收入損失。

圖 5. 態勢感知領域

5.1 戰場

SA 對于知情和可靠的戰場 C2 系統必不可少。由 IoBT/IoMT 和霧計算等最先進技術增強的 SA 可以幫助軍隊和空軍充分利用部署在（未來）中的大量異構 IoBT/IoMT 設備收集的信息。) 戰場，并且可以為軍隊/空軍提供相對于對手的戰略優勢。戰場上的 SA 可以在不同級別提供：（i）監督戰場行動的指揮官，（ii）在戰術層面執行任務的下馬士兵，以及（iii）為士兵提供近距離空中支援的飛行員。SA 技術的最新進展可以幫助士兵在低延遲下識別敵人、訪問設備和武器系統，并提高 SA 和士兵的安全性。

5.2 城市戰

在城市環境中為軍隊和空軍部隊維護 SA 比在農村和開闊地帶更具挑戰性。城市環境中的戰斗空間動態發生了顯著變化，從傳統的以敵為主的二維空間轉變為敵方可以從任意方向、多方向同時發動進攻的三維迷宮[ 26]。越來越多的非戰斗人員使城市戰場變得更加復雜。GPS 等導航輔助設備在城市環境中的可靠性不如開闊地形，因為很難獲得衛星的視線。因此，在城市環境中共享有關戰斗空間的信息以獲得共同作戰圖 (COP)（美國國防部軍事及相關術語詞典將 COP 定義為：“由多個司令部共享的相關信息的單一相同顯示，以促進協作規劃并協助所有梯隊實現態勢感知”[ 2 ]）需要一個能夠在任何環境（即存在多徑和無線電干擾的情況下）保持鏈路的通信系統/網絡。

5.3 灰色地帶戰

在不對稱戰爭或灰色地帶戰爭中特別需要 SA [ 45] 識別敵方戰斗人員并不總是那么簡單，例如，敵人可能以平民的身份出現或使用被盜徽章進入受限軍事基地。為了在灰色區域情況下提供 SA，生物特征傳感器可以掃描虹膜、指紋和其他生物特征數據，以識別可能構成危險的個人。在 SA 系統中使用 DDDAS 方法可以幫助有針對性地收集有關已識別個人的數據，還可以動員響應單位（例如狙擊手）來分散威脅。SA 系統可以提供對站點和潛在灰色區域參與者的實時監控，以幫助防止或減輕灰色區域戰爭的負面影響，例如錯誤信息以及服務和關鍵基礎設施的中斷。

5.4 軍事和空軍基地

SA 是軍事和空軍基地的安全保障所必需的。由于敵人可能試圖用偷來的徽章/身份潛入基地，因此需要對軍事/空軍基地進行持續監視。SA 系統可以檢測基地中的可疑人員和未經授權的人員，當局可以據此采取適當的行動。

5.5 國土安全與國防

SA 系統是增強國土安全和防御所必需的。實時監控有助于及時發現和應對自然災害（例如颶風、洪水）和人為事件（例如恐怖主義）。此外，SA 系統可以協助執法人員反恐、打擊走私和逮捕逃犯。

5.6 災難響應管理

災難恢復行動具有挑戰性，需要多個機構的支持，包括當地和國際應急響應人員、非政府組織和軍方。在災難發生后，最緊迫的要求是對 SA 的要求，以便可以根據影響和救災需求對資源（包括人員和物資）進行優先排序和引導。此外，在災難性情況下，隨著恢復工作的繼續，SA 需要根據不斷變化的條件不斷更新。在災難情況下提供 SA 的傳統信息來源包括災難受害者的報告，但是，受害者報告可能并非在所有情況下都可行，因為通信手段可能會因災難而中斷。因此，災害監測和報告需要 SA 系統，因此有助于對災害做出適當的響應。SA 系統也是早期預警系統不可或缺的一部分，通過促進快速檢測和響應緊急情況（例如火災、洪水、橋梁倒塌、供水中斷、地震、火山爆發、和龍卷風等。

5.7 關鍵基礎設施

橋梁、發電和配電網絡、供水網絡、電信網絡、交通網絡等關鍵基礎設施的安全需要 SA。我們通過幾個來自道路網絡的例子來說明關鍵基礎設施的 SA交通網絡的重要組成部分。道路 SA 需要感知不利的道路狀況（例如坑洼）、駕車者、行人和交通狀況 [ 10]。道路 SA 提供的交通監控和可疑車輛檢測將減少犯罪、事故和死亡人數。深度學習的進步極大地促進了 Road SA 的發展。CNN 可用于感知道路圖像數據中的車輛類別和位置，從而有助于解決道路交通 SA 系統中的情境元素識別問題 [ 11 ]。在灰色地帶戰爭時代，監控關鍵基礎設施變得更加重要，因為敵人通常旨在破壞關鍵基礎設施，從而為軍事交戰創造有利局面。

6. 結論

在本文中，我們從軍事和空軍的角度定義并解釋了態勢感知 (SA)。我們已經提出了 SA 和動態決策的模型。所提出的模型結合了人工智能和動態數據驅動的應用系統，以幫助根據 SA 核心感知和預測的不斷變化的情況來引導測量和資源。我們討論了 SA 的測量并確定了 SA 評估的指標。我們還概述了與測量 SA 相關的挑戰。我們討論了可以增強 SA 的不同技術和技術，例如不同模式的情報收集、傳感器和傳感器網絡、軟件無線電、人工智能、無人駕駛飛行器、自動駕駛汽車、槍擊定位系統、物聯網、霧/邊緣計算、信息融合、視頻流中的自動事件識別、增強視覺系統、合成視覺系統、組合視覺系統和增強現實。最后，我們介紹了需要具備 SA 的不同領域或應用領域，例如戰場、城市戰、灰色地帶戰、軍事和空軍基地、國土安全和國防以及關鍵基礎設施。

展望未來，SA 技術和方法將隨著技術的進步而不斷改進。有許多領域需要積極研究以增強 SA。例如，軍方仍在尋求基于軟件定義無線電 (SDR) 的完美無線電，該無線電可以實現安全、可互操作和有彈性的多通道通信，能夠處理不同的模式/波形。自動事件檢測和識別是與 SA 相關的另一個需要積極研究的領域。特別是實時自動事件檢測和識別是一個具有挑戰性的問題，不僅需要人工智能的進步，還需要先進的計算技術，例如并行計算和可重構計算。此外，硬件加速器可以方便地實現實時自動事件檢測和識別。另一個需要積極研究的領域是無人駕駛飛行器 (UAV) 的安全自主導航，以便無人機或無人機群能夠自主完成任務，而無需主動遠程駕駛。需要進一步研究戰場/軍事物聯網 (IoBT/IoMT)，以感知、整合和處理與士兵的健康和心理生理狀況、士兵的武器、彈藥和戰場位置相關的大量參數，以及有關感興趣地區的紅軍信息。霧/邊緣計算的進一步研究可以確保對這些感測參數進行實時處理和分析，以幫助實現實時評估和指揮和控制決策，以應對不斷變化的情況。士兵和飛行員的增強視覺系統需要隨著傳感和增強現實 (AR) 技術的創新而不斷改進。需要基于多智能融合結果開發新的可視化技術，以允許用戶查看可重新配置的用戶自定義操作畫面。關于 SA 量化，需要開發新的 SA 測量技術，以涵蓋更多的評估指標。最后，迫切需要開發新的 SA 評估工具，以便根據給定應用程序領域的 SA 要求，可以根據這些工具對 SA 進行量化。

資金

這項研究得到了空軍研究實驗室 (AFRL) 信息局 (RI) 的部分支持，通過空軍科學研究辦公室 (AFOSR) 夏季教師獎學金計劃?，合同編號 FA8750-15-3-6003、FA9550- 15-0001 和 FA9550-20-F-0005。本材料中表達的任何意見、發現和結論或建議均為作者的觀點，不一定反映 AFRL 和 AFOSR 的觀點。APC 由堪薩斯州立大學資助。

參考文獻

Endsley, M.R. Designing for Situation Awareness in Complex System. In Proceedings of the Second Intenational Workshop on Symbiosis of Humans, Artifacts and Environment; 2001. Available online://www.researchgate.net/profile/Mica-Endsley/publication/238653506_Designing_for_situation_awareness_in_complex_system/links/542b1ada0cf29bbc126a7f35/Designing-for-situation-awareness-in-complex-system.pdf (accessed on 13 December 2021).

DOD. DOD Dictionary of Military and Associated Terms. 2019. Available online: (accessed on 16 August 2019).

Blasch, E. Multi-Intelligence Critical Rating Assessment of Fusion Techniques (MiCRAFT). In Proceedings of the SPIE, Signal Processing, Sensor/Information Fusion, and Target Recognition XXIV; 2015; Volume 9474. Available online: (accessed on 13 December 2021).

Spick, M. The Ace Factor: Air Combat and the Role of Situational Awareness; Naval Institute Press: Annapolis, MD, USA, 1988. [Google Scholar]

McKay, B.; McKay, K. The Tao of Boyd: How to Master the OODA Loop. 2019. Available online: (accessed on 14 August 2019).

Endsley, M.R. Toward a Theory of Situation Awareness in Dynamic Systems. Hum. Factors J. Hum. Factors Ergon. Soc. 1995, 37, 32–64. [Google Scholar] [CrossRef]

Endsley, M.R. Situation Awareness in Aviation Systems. In Handbook of Aviation Human Factors; Garland, D.J., Wise, J.A., Hopkin, V.D., Eds.; Lawrence Erlbaum Associates Publishers: Mahwah, NJ, USA, 1999; pp. 257–276. [Google Scholar]

Blasch, E.; Ravela, S.; Aved, A. (Eds.) Handbook of Dynamic Data Driven Applications Systems; Springer: Berlin/Heidelberg, Germany, 2018. [Google Scholar]

Snidaro, L.; García, J.; Llinas, J.; Blasch, E. (Eds.) Context-Enhanced Information Fusion: Boosting Real-World Performance with Domain Knowledge; Springer: Berlin/Heidelberg, Germany, 2016. [Google Scholar]

Garg, V.; Wickramarathne, T. Ubiquitous Sensing for Enhanced Road Situational Awareness: A Target-Tracking Approach. In Proceedings of the 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, HI, USA, 4–7 November 2018; pp. 831–836. [Google Scholar]

Zhu, Q. Research on Road Traffic Situation Awareness System Based on Image Big Data. IEEE Intell. Syst. 2020, 35, 18–26. [Google Scholar] [CrossRef]

Zhang, D.; Peng, Y.; Zhang, Y.; Wu, D.; Wang, H.; Zhang, H. Train Time Delay Prediction for High-Speed Train Dispatching Based on Spatio-Temporal Graph Convolutional Network. IEEE Trans. Intell. Transp. Syst. 2021, 1–11. Available online: (accessed on 13 December 2021). [CrossRef]

Endsley, M.R. Situation Awareness Global Assessment Technique (SAGAT). In Proceedings of the IEEE National Aerospace and Electronics Conference, Dayton, OH, USA, 23–27 May 1988. [Google Scholar]

Uhlarik, J.; Comerford, D.A. A Review of Situation Awareness Literature Relevant to Pilot Surveillance Functions; Office of Aerospace Medicine, Federal Aviation Administration, DOT/FAA/AM-02/3; 2002. Available online: (accessed on 13 December 2021).

Nguyen, T.; Lim, C.P.; Nguyen, N.D.; Gordon-Brown, L.; Nahavandi, S. A Review of Situation Awareness Assessment Approaches in Aviation Environments. IEEE Syst. J. 2019, 13, 3590–3603. [Google Scholar] [CrossRef]

Hart, S.G.; Staveland, L.E. Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. Adv. Psychol. 1988, 52, 139–183. [Google Scholar]

Taylor, R. Situational Awareness Rating Technique (SART): The Development of a Tool for Aircrew Systems Design. In Proceedings of the AGARD AMP Symposium on Situational Awareness in Aerospace Operations (AGARD-CP-478), Copenhagen, Denmark, 2–6 October 1989. [Google Scholar]

O’Hare, D.; Wiggins, M.; Williams, A.; Wong, W. Cognitive Task Analyses for Decision Centred Design and Training. Ergonomics 1998, 41, 1698–1718. [Google Scholar] [CrossRef] [PubMed]

Blasch, E.P.; Salerno, J.J.; Tadda, G.P. Measuring the Worthiness of Situation Assessment. In High-Level Information Fusion Management and Systems Design; Blasch, E., Bossé, E., Lambert, D.A., Eds.; Artech House: Norwood, MA, USA, 2012; pp. 315–329. [Google Scholar]

Endsley, M.R. The Divergence of Objective and Subjective Situation Awareness: A Meta-Analysis. J. Cogn. Eng. Decis. Mak. 2020, 14, 34–53. [Google Scholar] [CrossRef]

Zhang, T.; Yang, J.; Liang, N.; Pitts, B.J.; Prakah-Asante, K.O.; Curry, R.; Duerstock, B.S.; Wachs, J.P.; Yu, D. Physiological Measurements of Situation Awareness: A Systematic Review. Hum. Factors 2020, 1–22. Available online: (accessed on 13 December 2021). [CrossRef] [PubMed]

Tadda, G. Measuring Performance of Cyber Situation Awareness Systems. In Proceedings of the 2008 11th International Conference on Information Fusion, Cologne, Germany, 30 June–3 July 2008; pp. 1–8. [Google Scholar] [CrossRef]

Nowak, M. Layered Sensing to Enhance Situational Awareness. In Proceedings of the International Symposium on Collaborative Technologies and Systems, Irvine, CA, USA, 19–23 May 2008. [Google Scholar]

Kamal, S.; Armantrout, J.T. The U.S. Military’s Joint Tactical Radio System. 2020. Available online: (accessed on 29 May 2020).

U.S. Military. Joint Tactical Networking Center. 2020. Available online: (accessed on 29 May 2020).

Randall, A.L.; Walter, R.C. Overview of the Small Unit Operations Situational Awareness System. In Proceedings of the IEEE Military Communications Conference (MILCOM), Boston, MA, USA, 13–16 October 2003. [Google Scholar] [CrossRef]

Kansakar, P.; Munir, A. A Two-Tiered Heterogeneous and Reconfigurable Application Processor for Future Internet of Things. In Proceedings of the IEEE Computer Society Annual Symposium on VLSI (ISVLSI), Hong Kong, China, 9–11 July 2018. [Google Scholar]

Cavaliere, D.; Senatore, S.; Loia, V. Proactive UAVs for Cognitive Contextual Awareness. IEEE Syst. J. 2019, 13, 3568–3579. [Google Scholar] [CrossRef]

Bloom, C.; Tan, J.; Ramjohn, J.; Bauer, L. Self-Driving Cars and Data Collection: Privacy Perceptions of Networked Autonomous Vehicles. In Proceedings of the Thirteenth Symposium on Usable Privacy and Security (SOUPS 2017), Santa Clara, CA, USA, 12–14 July 2017. [Google Scholar]

Aguilar, J.R. Gunshot Location Systems: The transfer of the sniper detection technology from military to civilian applications. In Proceedings of the International Carnahan Conference on Security Technology (ICCST), Medellin, Colombia, 8–10 October 2013. [Google Scholar]

Castiglione, A.; Choo, K.K.R.; Nappi, M.; Ricciardi, S. Context Aware Ubiquitous Biometrics in Edge of Military Things. IEEE Cloud Comput. 2017, 4, 16–20. [Google Scholar] [CrossRef]

Tripathi, G.; Sharma, B.; Rajvanshi, S. A Combination of Internet of Things (IoT) and Graph Database for Future Battlefield Systems. In Proceedings of the International Conference on Computing, Communication and Automation (ICCCA), Greater Noida, India, 5–6 May 2017. [Google Scholar]

Munir, A.; Kansakar, P.; Khan, S.U. IFCIoT: Integrated Fog Cloud IoT: A novel architectural paradigm for the future Internet of Things. IEEE Consum. Electron. Mag. 2017, 6, 74–82. [Google Scholar] [CrossRef]

Munir, A.; Blasch, E.; Kwon, J.; Kong, J.; Aved, A. Artificial Intelligence and Data Fusion at the Edge. IEEE Aerosp. Electron. Syst. Mag. 2021, 36, 62–78. [Google Scholar] [CrossRef]

Munir, A.; Kwon, J.; Lee, J.H.; Kong, J.; Blasch, E.; Aved, A.; Muhammad, K. FogSurv: A Fog-Assisted Architecture for Urban Surveillance Using Artificial Intelligence and Data Fusion. IEEE Access 2021, 9, 111938–111959. [Google Scholar] [CrossRef]

Higgins, R.P. Automatic Event Recognition for Enhanced Situational Awareness in UAV Video. In Proceedings of the IEEE Military Communications Conference (MILCOM), Atlantic City, NJ, USA, 17–20 October 2005. [Google Scholar] [CrossRef]

Prinzel, L.; Kramer, L. Sythetic Vision Systems. 2009. Available online: (accessed on 11 August 2019).

Rockwell Collins. Rockwell Collins EFVS-4860 Enhanced Flight Vision System. 2006. Available online: www.rockwellcollins.com (accessed on 12 August 2019).

Rockwell Collins. Rockwell Collins Enhanced Vision Systems. 2019. Available online: (accessed on 12 August 2019).

Elbit Systems. ClearVision EVS. 2016. Available online: (accessed on 12 August 2019).

Honeywell. Honeywell SmartView Synthetic Vision System. 2019. Available online: (accessed on 12 August 2019).

NASA. NASA, Boeing Testing Synthetic Vision Technologies. 2017. Available online: (accessed on 11 August 2019).

Collins Aerospace. New Bombardier Global 5500 and Global 6500 Aircraft to Feature Rockwell Collins’ Transformational Flight Deck and Cabin Systems. 2020. Available online: (accessed on 20 June 2020).

Brand?o, W.L.; Pinho, M.S. Using Augmented Reality to Improve Dismounted Operators’ Situation Awareness. In Proceedings of the IEEE Annual International Symposium on Virtual Reality (VR), Los Angeles, CA, USA, 18–22 March 2017. [Google Scholar]

Votel, J.L.; Cleveland, C.T.; Connett, C.T.; Irwin, W. Unconventional Warfare in the Gray Zone. Jt. Force Q. 2016, 101–109. Available online: (accessed on 13 December 2021).