亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【作 者】

Arslan Munir：堪薩斯州立大學計算機科學系
Alexander Aved ：美國空軍研究實驗室 (AFRL)
Erik Blasch：AFRL 空軍科學研究辦公室 (AFOSR)

【摘 要】

態勢感知 (SA) 被定義為對環境中實體的感知、對其意義的理解以及對其近期狀態的預測。從空軍的角度來看，SA 是指理解和預測空域內紅藍飛機和地面威脅的當前和未來部署的能力。在本文中，我們提出了一個 SA 和動態決策模型，該模型結合了人工智能和動態數據驅動的應用系統，以根據不斷變化的情況調整測量和資源。我們討論了 SA 的測量以及與 SA 量化相關的挑戰。然后，我們闡述了大量有助于改進 SA 的技術，從不同的情報收集模式到人工智能，再到自動視覺系統。然后，我們介紹了 SA 的不同應用領域，包括戰場、灰色地帶戰、軍事和空軍基地、國土安全和國防以及關鍵基礎設施。最后，我們以對 SA 提出未來的見解。

關鍵詞： 態勢感知；動態數據驅動系統；人工智能；合成視覺系統；霧計算；灰色地帶戰

1. 引言

態勢感知 (SA) 可以定義為對環境中實體的認知、對其意義的理解以及對其近期狀態的預測。從空軍的角度來看，SA 是指在一定空間內設想紅色和藍色飛機的當前和未來部署以及地面威脅的能力。Endsley 的 SA 模型 [1] 已被廣泛采用，它包括三個不同的階段或層次：感知、理解和預測。美國國防部 (DOD) 的軍事和相關術語詞典將空間 SA 定義為：“空間物體和空間作戰所依賴的作戰環境的必要基礎、當前和預測知識和特征”[2]。SA 通常被認為包含評估（機器）、意識（用戶）和理解（用戶-機器組合）[3]。 盡管許多領域都需要 SA，例如緊急情況和/或災難響應、工業過程控制 SA 和基礎設施監控，但 SA 對于軍事和空軍尤其重要。圖 1從軍事和空軍的角度描述了 SA 的概況。SA 是軍事指揮和控制 (C2) 不可分割的一部分。美國國防部軍事和相關術語詞典將 C2 定義為：“在完成任務時，由適當指定的指揮官對指定和附屬部隊行使權力和指揮”[2]。C2 可以被視為由 SA、計劃、任務和控制組成。C2 系統設計的目的是有選擇地向指揮官展示形勢，以便指揮官了解形勢，然后采取最佳行動。SA 不僅對指揮官而且對下馬操作員都是必不可少的。為了使下車操作員有效參與，他們不僅必須獲取和理解有關其環境的信息，而且還必須利用這些信息來預測不久的將來的事件，從而相應地計劃和調整他們的行動。

圖 1. 態勢感知概述

SA 對空軍來說是必不可少的，被認為是空戰交戰中的決定性因素 [4]。混戰中的生存很大程度上依賴于 SA，因為它依賴于觀察敵方飛機當前的移動并在敵方自己觀察他/她的飛機移動之前幾秒鐘預測其未來的行動。SA 也可以被視為等同于美國空軍 (USAF) 戰爭理論家約翰·博伊德上校所描述的觀察-定向-決策-行動 (OODA) 循環的“觀察”和“定向”階段 [5]。戰斗中的制勝策略是通過比對手更好的 SA 進入對手的 OODA 循環，從而不僅比對手更快地做出自己的決定，而且還可能以不可觀察或不可理解的方式改變局勢在給定的時間內由對手。失去一個人的 SA 就等于脫離了 OODA 循環。由于飛行員要應對較高級別的航空交通、惡劣天氣（例如風暴、大霧）以及最近在空域的無人機（UAV）等許多艱巨的情況，他們需要配備先進的 SA 系統來應對在這些對立的條件下。本文從軍事和空軍的角度討論 SA。

我們在本文中的主要貢獻如下：

• 我們從軍事和空軍的角度定義和闡述 SA。
• 我們提出了一個 SA 和動態決策模型。
• 我們討論 SA 的測量，確定 SA 評估的指標，以及與 SA 量化相關的挑戰。
• 我們討論了有助于提高 SA 的不同技術和技術。
• 我們概述了 SA 的不同應用領域，包括戰場、城市戰、灰色地帶戰、國土安全和國防、災難響應管理和關鍵基礎設施。

本文的其余部分組織如下。第 2 節介紹了 SA 和相關決策的模型。第 3 節討論 SA 的測量方法以及與測量 SA 相關的挑戰。第 4 節詳細介紹了改進 SA 的技術和技術。第 5 節概述了 SA 的不同應用領域。最后，第 6 節總結了本文。

2. SA 和決策模型

在本節中，我們將介紹并討論 SA 和相關決策的模型。圖 2描繪了我們的 SA 和動態決策模型，該模型的靈感來自 Endsley 的 SA 模型 [6]，該模型已被廣泛采用。該模型具有SA 核心，而感知和決策元素圍繞 SA 核心構建。大量傳感器感知環境以獲取環境狀態。將感知信息融合在一起，去除感知數據中的冗余，例如不同相機捕獲的多個相似視圖或近距離不同傳感器感知的數量，同時也克服了從單一來源獲取數據的缺點，例如作為遮擋，環境照明條件的變化和/或環境中的混亂元素。融合后的數據然后被傳遞到 SA 核心，它包括三個級別或階段 [7]。

圖 2. SA 模型和動態決策

感知——1 級 SA：獲得 SA 的第一階段是感知周圍實體的狀態、屬性和動態。例如，飛行員需要辨別環境中的重要實體，例如其他飛機、地形和警示燈以及它們的相關特征。

理解——2 級 SA：SA的第二個階段是對情況的理解，它基于斷開的 1 級 SA 元素的整合。2 級 SA 比僅僅了解環境中的元素更進一步，因為它處理的是對這些元素與運營商目標相關的重要性的理解。簡而言之，我們可以將 SA 的第二階段描述為對環境中實體的理解，特別是在集成在一起時，與運營商的目標相關. 例如，飛行員必須了解感知元素相互關聯的重要性。業余操作員可能能夠達到與更有經驗的操作員相同的 1 級 SA，但可能會掙扎以吸收感知元素以及相關目標以充分理解情況（2 級 SA）。

預測——3 級 SA：SA的第三級涉及至少在短期內預測環境中實體的未來行動的能力。這種預測是基于對環境中元素的狀態和動態的認識以及對情況的理解來實現的。簡而言之，我們可以將 SA 的第三層描述為對未來環境中實體狀態的預測或估計，至少在不久的將來是這樣。例如，從感知和理解的信息中，有經驗的飛行員/操作員預測可能的未來事件（3 級 SA），這為他們提供知識和時間來確定最合適的行動方案以實現其目標 [1]。

如圖 2所示，SA 核心還從戰略或作戰級別的指揮官那里接收有關 SA 目標或目的的輸入。我們的模型通過增加對人工智能(AI) 輔助決策和資源管理的支持，增強了 Endsley [7] 的 SA 模型的感知、理解和預測。感知是通過標準信息融合和資源管理循環來解決的。此外，為了更好地根據不斷變化的情況管理資源，動態數據驅動的應用系統(DDDAS) 模塊向資源管理模塊提供輸入，該模塊管理感知環境的傳感器和 SA 核心中的計算資源。DDDAS 是一種范式，其中應用系統的計算和儀表方面在反饋控制回路中動態同化，以便儀表數據可以動態融合到應用程序的執行模型中，而執行模型可以反過來控制儀器[8]。

在圖 2中，DDDAS 模塊幫助引導測量儀器和數據增強的信息融合過程，從物理知識中改進環境中感興趣實體的 SA。DDDAS 模塊可以幫助引導和重新配置傳感器，以增加感知數據的信息內容，從而增強環境中感興趣活動的 SA [8]。DDDAS 模塊還通過匹配本地化信息內容的預期熵來幫助調整計算資源，并相應地將更多的計算資源分配給導致高信息熵的實體。例如，在監視應用的情況下，特定位置的感興趣對象的存在將需要高分辨率傳感和優先計算，以實現實時檢測和跟蹤這些對象，而沒有感興趣活動的區域將接受粗略感應和SA 沒有明顯惡化的計算。使用 DDDAS 數據增強物理知識的一個例子是在目標跟蹤中使用道路約束作為知識 [8 , 9]。因此，具有增強數據的 DDDAS 范式為利用深度學習補充傳統的信息融合方法提供了額外的機會，用于 SA 的各種應用，例如使用 GPS 數據進行自動車輛跟蹤 [10]、使用圖像數據進行交通監控 [11]、和運輸調度[12]。

由于最近人工智能的進步，人工智能已成為 SA 核心和動態決策不可或缺的一部分。AI 幫助操作員/飛行員了解情況（2 級 SA），然后對環境中實體的未來行動做出預測（3 級 SA）。因此，人工智能模型的穩健性以及操作員的能力、經驗和訓練水平都決定了操作員的理解水平和未來預測的準確性。基于獲得的理解和預測，決策由人工智能模型向指揮官推薦，然后指揮官根據人工智能的輸入和評估的情況做出適當的決定。最后，決策由運營商在戰術層面實施。要執行的決定范圍很廣，包括人員和設備的定位、武器的發射、醫療后送和后勤支持。

3. 衡量態勢感知

設計 SA 系統時出現的一個基本問題是，所設計的系統在促進 SA 方面是否比其他一些交替系統更好。為了回答這個問題，設計師需要一種方法來評估正在開發的用于增強 SA 的概念和技術。SA 測量方法應包含多種系統設計概念，包括 [13]：(i) 顯示符號，(ii) 高級顯示概念，例如 3-D 顯示器、語音控制、平板顯示器、平視顯示器 (HUD) ) 和頭盔顯示器 (HMD) 等，(iii) 電子、航空電子和傳感概念，(iv) 信息融合概念，(v) 自動化，(vi) 完整性，(vii) 可信賴性，以及 (viii) ) 訓練方法。SA 評估的一些指標包括：(i) 及時性，(ii) 準確性，(iii) 信任，(iv) 可信度（可以通過檢測概率和誤報概率的混淆矩陣來描述），(v) 可用性（信息和系統） ，(vi) 工作量，(vii) 成本，(viii) 注意力，(ix) 性能（成功完成任務；也可用于評估做出的決定），以及 (x) 范圍（本地與全球或單一智能（單 INT）與多智能（多 INT））。 Uhlarik 和 Comerford [14] 描述了在評估 SA 測量方法的有效性時相關的結構類型：

• 表面效度：根據主題專家的判斷，SA 測量方法似乎可以測量 SA 的程度。

• 建構效度： SA 測量方法在何種程度上得到 SA 的合理理論或模型的支持。

• 預測效度： SA 測量方法可以預測 SA 的程度。

• 并發有效性： SA 測量方法與 SA 的其他測量相關的程度。

3.1 SA 評估技術

Nguyen等人[15] 對 SA 評估方法進行了詳細審查。SA 評估技術利用不同類型的探針來測量 SA。這些探針包括 [15]：

• 凍結探測技術：在凍結探測技術中，受試者（飛行員）執行的任務在飛行模擬器訓練中被隨機凍結。所有的顯示都是空白的，并且一組查詢被呈現給主題。受試者根據他/她對當前環境（即凍結點）的知識和理解來回答問題。記錄受試者的反應并與當前環境的實際狀態進行比較以提供 SA 分數。

• 實時探測技術：在實時探測技術中，查詢在任務執行期間的相關點呈現給主體，而不會凍結任務。記錄受試者對查詢的響應以及響應時間以確定 SA 分數。

• 試驗后自我評分技術：每個受試者在任務執行后通過評分量表對他/她自己的 SA 進行主觀評估。由于自評是在試驗后進行的，自評技術快速且易于使用，但主觀性高，取決于受試者的任務/任務表現，可能無法準確反映實際收到的 SA在任務期間，因為人類經常表現出對過去心理事件的不良回憶[15]。

• 觀察者評級技術：主題專家 (SME) 通過在任務執行期間觀察主題的行為和表現來提供 SA 評級。這些技術是非侵入性的，但是，觀察者分配的 SA 評級是模棱兩可的，因為準確觀察 SA 的內部過程是不可行的。 基于績效的評分技術： SA 評分是根據任務/任務期間受試者的表現分配的。記錄和分析任務事件期間的幾個性能特征以確定 SA 評級。基于表現的評分有一個缺點，因為這些技術假設受試者的有效表現對應于良好的 SA，這不一定是正確的，因為表現還取決于受試者的經驗和技能。

• 基于過程指數的評級技術：基于過程指數的 SA 評級技術記錄、分析和評級主體在任務執行期間遵循以確定 SA 的某些過程。在任務執行期間觀察對象的眼球運動是過程索引的示例之一。基于過程指數的評級有一個缺點，因為受試者可能專注于眼睛跟蹤設備所指示的某個環境元素，但受試者不能感知該元素或情況。

在本節中，我們將討論一些常用的 SA 測量技術，即：（i）NASA 任務負荷指數（TLX）[16]，（ii）SA 全局評估技術（SAGAT）[13]，（iii ) SA 評級技術 (SART) [17]，以及 (iv) 關鍵決策方法 (CDM) [18]。表 1提供了基于前面討論的評估指標的不同 SA 測量技術的比較。下面討論這些技術。

表 1. SA 評估技術的比較

3.1.1 美國宇航局 TLX

工作量是任何用戶操作的一個重要因素，因為在任務要求和分配的執行各種任務的時間之間存在一個最佳平衡點。Hart 和 Staveland 于 1988 年開發了 TLX [ 16 ]。NASA TLX 采用試驗后自我評估探測技術。TLX 提供用戶關于 SA 指標的主觀報告，通常用于估計工作量。用戶對報告的問題的回答給出了對任務的心理、身體和時間需求的相對評估。NASA TLX 側重于SA 評估的及時性、工作量和性能指標。

3.1.2 SAGAT

SAGAT [13] 已被提議作為一種測量飛行員的 SA 的方法。SAGAT 之所以這樣命名，是因為該技術區分了本地 SA 和全局 SA。SAGAT 利用冷凍探針技術來確定 SA 等級。在 SAGAT 中，飛行員在人在回路模擬中使用給定的飛機系統飛行任務場景。在某個隨機時間點，模擬停止，并向飛行員提供一份問卷，以確定他/她對當時情況的了解。由于在一個站點中向飛行員詢問有關他/她的 SA 的所有問題是不可行的，因此在每個站點中向飛行員詢問隨機選擇的 SA 查詢的子集。對于執行相同任務的幾名飛行員，這種隨機抽樣過程會重復多次，以獲得統計意義。這種隨機抽樣方法允許一致性和統計有效性，從而可以比較不同試驗、飛行員、系統和任務的 SA 分數。在試驗完成時，將根據模擬中實際發生的情況檢查查詢答案。感知和實際情況的比較提供了飛行員 SA 的衡量標準。

SAGAT 評分分為三個區域：即時、中間和長期。SAGAT 還能夠評估顯示器的象征意義和概念。某些顯示器僅捕獲本地 SA，而其他顯示器呈現全局 SA。SAGAT 將確定用戶/飛行員是專注于單一智能產品還是利用來自多智能顯示器的信息融合來回答來自探測器的查詢。一個例子是來自圖像情報的單目標跟蹤或組跟蹤。來自全動態視頻 (FMV) 的單個目標跟蹤可能無法捕獲可以從高海拔視點（例如廣域運動圖像 (WAMI)）獲取的全局情況信息。SAGAT 注重準確性、可信度、SA 評估的成本和性能指標。

SAGAT 的主要限制是必須停止模擬才能獲得飛行員感知的 SA 數據。此外，SAGAT 是為空對空戰斗機任務開發的，并且不存在用于評估包含空對空、空對地和空對海場景的全球結構的 SA 的 SA 測量工具.

3.1.3 SART

SART 問卷由 Taylor 于 1990 年開發 [17]。SART 使用試驗后自我評價探測技術。SART 提供了飛行員/用戶在執行期間的注意力或意識的主觀意見。SART 問卷包括情境穩定性/不穩定性、情境復雜性、情境可變性、對情境的警覺性、注意力集中、注意力分配、備用心智能力、信息量和情境熟悉度等要素。可以從 SART 評估信任、可信度、工作量、注意力和績效等指標。

我們注意到，隨著用戶熟悉用于任務的工具，注意力、工作量和信任可能是 SART 不斷發展的評估。SART 中的注意力劃分涉及單智能 (single-INT) 診斷與組合多智能 (multi-INT) 呈現。為了獲得多 INT，SA 系統不應要求用戶在單個 INT 之間切換，因為切換會增加工作量，需要額外的注意力，甚至會造成不穩定或誤解。Multi-INT 融合顯示是增強 SA 的首選，因為 Multi-INT 顯示可以減少數據過載、增加注意力并支持理解。SART 中與工作量評估最相關的要素是備用心智能力和信息量。備用心智能力問卷檢查用戶是否可以專注于單個事件/變量或是否可以使用多 INT 演示跟蹤多個事件/變量。信息量問卷檢查用戶使用SA系統獲得的信息量。該問卷還檢查是否在需要的時間和地點向用戶提供了及時和可操作的數據。信息量應包括相關信息并提供有關情況的知識。信息量包括呈現給用戶的數據的類型、質量和相關性，因為過多的數據會使用戶負擔過重并給情況分析增加混亂。

3.1.4 CDM

CDM 是由 O'hare 等人開發的。1998年 [18]。CDM 使用審后自評探測技術。CDM 已用于確定在執行期間使用了哪些決策點。CDM 問卷包含有關目標規范、線索識別、決策期望、決策信心、信息可靠性、信息集成、信息可用性、信息完整性、決策備選方案、決策阻塞、決策規則和決策類比等要素。目標規范探測檢查用戶在不同決策點的具體目標。提示識別探針檢查用戶在制定決策時正在尋找的特征。決策期望探測檢查做出的決策是否是事件/任務過程中的預期決策。決策置信度調查評估對所做決策的置信度，以及該決策在某些改變的情況下是否會有所不同。信息可靠性查詢分析用戶是否懷疑可用信息的可靠性或相關性。信息集成查詢檢查可用信息是否以集成方式呈現，并突出顯示重要實體、這些實體之間的關系和事件。信息可用性探測在決策時驗證足夠信息的可用性。信息完整性探測分析呈現給用戶的信息在決策時是否完整，以及是否有任何附加信息可以幫助用戶制定決策。決策替代查詢檢查是否存在任何可能的或正在考慮的替代決策，而不是做出的決定。如果在決策過程中的任何階段，用戶發現難以處理和/或整合可用信息，則決策阻斷探針分析。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標 用戶發現難以處理和/或整合可用信息。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標 用戶發現難以處理和/或整合可用信息。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標可以從 SART 評估及時性、準確性、信任度、可信度、可用性和性能。

3.2 衡量 SA 的挑戰

SA 可以通過可量化的指標（例如時間和準確性）憑經驗評估操作員的績效來衡量，并將這些指標與沒有 SA 幫助的類似測試的結果進行比較。然而，量化 SA [9,19]的工作很少。大多數駕駛艙設計師依靠推測來估計替代設計提供的 SA。大多數現有的測量 SA 的方法都存在各種缺點，包括但不限于：

• 主觀性：測量 SA 的技術可以要求指揮官、操作員和/或飛行員對他/她的 SA 進行評分（例如，從 1 到 10 的等級）。這種方法有嚴重的局限性，因為受試者不知道環境中實際發生了什么，并且他/她對自己的 SA 進行評分的能力是主觀的 [20]。此外，受試者的評分可能會受到任務輸出的影響，也就是說，當任務通過僥幸或良好的 SA 成功時，受試者很可能會報告良好的 SA，反之亦然。此外，如果評估是由不同的飛行員、操作員或指揮官進行的，那么對給定系統的 SA 評估可能會存在顯著差異。

• 生理學：獲得受試者思想的準確圖像以始終估計 SA 是具有挑戰性的。P300 (P3) 和腦電圖 (EEG) 測量為測量認知功能提供了希望，但不能確定受試者對環境中元素的理解。來自生物方法的 SA 被用作“壓力”的間接測量，并且可以與性能一起使用；然而，生理測量和心理表現之間的良好匹配仍然不是眾所周知的[21]。

• 調查：可以對受試者進行詳細的問卷調查，了解他們通過 SA 系統獲得的 SA。然而，人們的回憶受到興趣活動和問卷管理之間的時間和中間事件的影響[13,20]。這個缺陷可以通過在使用 SA 模擬器時詢問他們的 SA 主題來克服。然而，這種方法也有缺點。首先，在感興趣的情況下，受試者工作量很大，可能會阻止他/她回答問題。其次，這些問題可以提示受試者注意顯示器上的請求信息，從而改變他/她的真實 SA。

• 局限性：許多方法旨在一次評估單個設計問題 [19]。在這種情況下，受試者可能會無意中將他們的注意力轉移到正在評估的問題上，這將導致該問題對受試者的 SA 產生不真實的影響。由于SA本質上是一個全局結構，如果設計者要充分解決主體（例如，指揮官、操作員、飛行員）的SA需求，則需要對SA進行全局度量。 覆蓋范圍：表1表明當代 SA 測量技術通常側重于一些評估指標。例如，NASA TLX 側重于及時性和工作量；SAGAT強調準確性、可信度和成本；SART 以吞吐量為目標；CDM 注重信譽。因此，挑戰在于開發比現有測量技術涵蓋更多指標的 SA 評估技術。

3.3 SA 指標

已經開發了各種指標來評估 SA 系統的價值。這些指標可以分為五個類別或維度[19]：（i）置信度，（ii）準確性/純度，（iii）及時性，（iv）吞吐量和（v）成本。表 2總結了 SA 系統的指標。

表 2. 態勢感知系統指標

置信度是衡量系統檢測到真實活動的能力的指標，通常報告為概率。有用于量化置信度的三個指標：（a）精度，（b）召回，和（c）碎片。

精度是 SA 系統做出的正確檢測/預測相對于檢測到的活動總數的百分比。精度可以表示為：

其中，真正的檢測意味著檢測到活動并且是真實或正確的檢測，而錯誤檢測意味著檢測到活動，但是是不正確的檢測/預測。

召回是 SA 系統正確識別的活動相對于基本事實定義的已知活動總數的百分比。召回率可以表示為：

其中誤報意味著活動被預測為負面但實際上是正面的，或者沒有正確檢測到真實活動。 碎片化是報告為多項活動而應報告為一項活動的活動的百分比。例如，在跳島攻擊中，目標計算機受到威脅，然后用于對其他計算機發起攻擊。為了正確檢測此攻擊，目標成為攻擊者的所有實例都應包含在與穿過該島的原始攻擊者相同的軌跡中。很多時候，SA 系統中的融合引擎將無法將后續證據與原始攻擊正確關聯，從而將攻擊報告為兩個或多個攻擊軌跡。我們注意到一個攻擊軌跡是指來自多個數據流的證據（即從原始傳感器數據生成的事件），這些數據流融合在一起以識別潛在的攻擊[22]。碎片化看似誤報，因為具有碎片化的 SA 系統將現有活動識別為新活動，而不是將現有活動與復雜活動相關聯。分片可以表示為：

準確性/純度是指預測/檢測到的活動的質量，即觀察是否正確匹配并與正確的活動軌跡相關聯。兩個指標用于量化純度：（a）錯誤分配率，和（b）證據召回。錯誤分配率定義為錯誤分配給給定活動的證據或觀察的百分比。錯配率可以表示為：

錯誤分配率有助于評估 SA 系統是否將證據分配給不相關的活動軌道，或者 SA 系統是否僅將直接有用的證據分配給活動軌道。

證據召回是檢測到的證據或警報相對于已知或實際事件總數的百分比。證據召回可以表示為：

證據召回量化了有多少可用的證據真正被利用。

已經觀察到，在某些 SA 領域，例如網絡 SA 系統，純度指標并沒有被證明很有幫助。如果錯誤分配率很高，則表明基礎數據的相關性或關聯性不正確；然而，它并不能說明檢測到的攻擊的質量[ 22 ]。關于證據召回指標，直覺上我們會認為如果使用更多的證據，攻擊檢測會更準確，置信度高（高精度和高召回率）；然而，根據經驗，[ 22 ]沒有觀察到網絡 SA 系統中的證據數量和檢測質量之間的關系。相反，有時更少的證據會導致更好的檢測。這意味著只有少數真正相關的事件意味著攻擊。

及時性評估 SA 系統在特定 SA 域的時間要求內響應的能力。及時性通常通過延遲度量來衡量。延遲通常指事件發生與 SA 系統發出警報之間的時間。及時性表征 SA 系統在特定 SA 域的時間要求內響應的能力。及時性維度對于評估 SA 系統是否不僅可以快速識別活動，而且還提供足夠的時間來對該活動采取行動（如果需要）提供了重要的信息。

吞吐量衡量單位時間內完成的工作量（例如，任務、事務）。在 SA 上下文中，吞吐量是指每單位時間檢測到的事件數。

成本通常根據兩個指標來衡量：(a) 成本效用，和 (b) 加權成本。成本效用估計 SA 系統上投資成本的效用。由于在給定 SA 系統上使用的資源有限，因此由于對給定 SA 系統的投資而放棄了最佳替代活動的“機會成本”。加權成本度量標準旨在通過考慮以正權重檢測到的活動或攻擊的類型來捕捉 SA 系統的有用性，同時以負權重懲罰系統的誤報。不同的權重被分配給不同類別的活動或攻擊。然后，加權成本是分配給檢測到的活動或攻擊的值（權重）之和與地面實況中活動/攻擊軌跡的值之和的比率。

4. 提高態勢感知的技巧和技術

改進 SA 一直處于軍事技術進步的前沿。軍方已利用各種技術創新來改進 SA。雖然不可能涵蓋已用于改進 SA 的所有技術和技術，但本節概述了其中一些正在考慮或已被軍隊和/或空軍采用以增強 SA 的技術進步。

4.1 情報收集模式

SA 依賴于從多個來源收集的情報，例如人類、信號、數據（例如，文本、音頻、視頻）和社交媒體。為了獲得更好的 SA 并提高所獲取 SA 的準確性，需要來自多個來源的情報來過濾從特定情報來源報告的差異。有助于改進 SA 的不同情報來源包括人類情報 (HUMINT)、開源情報 (OSINT)、測量和簽名情報 (MASINT)、信號情報 (SIGINT)、圖像情報 (IMINT) 和地理空間情報 (GEOINT)。

4.2 傳感器和傳感器網絡

技術進步導致了多種傳感器的開發，其中許多傳感器已在監視和 SA 系統中得到應用。通常用于增強 SA 的傳感器包括位置傳感器、可見光（紅、綠、藍 (RGB)）攝像頭傳感器、夜視攝像頭傳感器、紅外圖像傳感器、紫外圖像傳感器、運動傳感器、接近傳感器、煙霧/火傳感器、槍聲探測器和定位器、遠程傳感器和合成孔徑雷達。這些傳感器通常以無線方式連接在一起，為給定區域提供監視覆蓋。地理定位系統是基于傳感器的系統的一個示例，通常是監視和 SA 應用程序的一部分。軍事地理定位系統旨在克服多路徑并提供小于 1 m (< 1 m) 開闊地形中的測距精度和建筑物內小于 2 m (<2 m) 的精度。為了實現這些目標，軍事裝備的地理定位系統依賴于各種傳感器。用于軍事設備的許多地理定位系統集成了來自互補傳感器的測量，例如全球定位系統 (GPS)、慣性測量單元、到達時間、氣壓傳感器和磁羅盤，以提供比任何技術都更精確的融合解決方案個別傳感器。

大量情報、監視和偵察 (ISR) 傳感器收集的數據增強了決策者的 SA，并幫助他們更好地了解他們的環境和威脅。然而，多種因素阻礙了最終用戶的 SA 增強，包括不兼容的數據格式、帶寬限制、傳感器持久性（傳感器連續感知的能力）、傳感器重訪率（傳感器觀察同一地理點的速率；該術語主要用于移動傳感器，例如衛星或無人機傳感）和多級安全[23]。此外，隨著傳感器數據量的增加，挑戰在于識別最重要的信息片段，融合該信息，然后以合適的格式將該信息呈現給最終用戶。

最近在軍隊和空軍中，需要訪問傳感器信息的最終用戶數量不斷增加。例如，此信息的最終用戶可能是制定目標決策的戰斗機（例如，F-16 戰隼、F-35 閃電 II）的飛行員、保衛城市的軍事指揮官、試圖在鎮壓民間騷亂，或聯合空中作戰中心 (CAOC) 戰略團隊成員制定空中作戰戰略計劃 [ 23 ]。盡管每個最終用戶的具體信息要求、安全級別和帶寬限制會有所不同，但對實現和維護 SA 的及時、準確、相關和可信信息的總體需求保持不變。分層傳感的概念空軍研究實驗室 (AFRL) 傳感器理事會已設想向決策者提供融合的、多源、多維和多光譜的傳感器數據，無論決策者位于何處，都符合他們的需求，其目標是提高決策者的 SA。

4.3 軟件定義無線電

軟件定義無線電 (SDR) 是一種無線電通信系統，它在軟件而不是硬件中實現了許多無線電組件，例如混頻器、調制器、解調器、糾錯和加密，因此可以更輕松地重新配置和適應不同的溝通情況。美國軍方的聯合戰術無線電系統 (JTRS) 計劃的任務是用一組 SDR 替換現有的軍用無線電，這些無線電可以通過簡單的軟件更新在新的頻率和模式（波形）下工作，而不是需要多個無線電用于不同的頻率和模式并要求更換電路板進行升級 [24]。后來 JTRS 轉變為聯合戰術網絡中心 (JTNC) [25]。SDR 經常用于小型單位運營商的 SA 系統，以便為作戰人員提供一個系統，該系統可以在限制性環境，特別是城市環境中提供可靠和靈活的通信。SDR 提供廣泛的調諧范圍（例如，從 20 MHz 到 2500 MHz [26]），使運營商的 SA 系統能夠選擇最佳頻段，以在各種受限地形中保持鏈路連接。此外，SDR 允許自適應直接序列擴頻波形（例如，從 0.5 MHz 到 32 MHz [26]) 用于調制。SDR 的其他潛在可調參數包括無線電設置的適應（例如，傳輸功率、頻率、天線增益、調制、編碼、基帶濾波、信號增益控制、采樣和量化）、數據鏈路層參數（例如，信道監控和關聯方案、傳輸和睡眠調度、傳輸速率和錯誤檢查）和網絡層參數（例如，路由、服務質量管理和拓撲控制）[27]。

4.4 人工智能

人工智能的進步對 SA 有重大影響。人工智能可以極大地提高下車操作員、士兵和飛行員對環境的認識，因為基于人工智能的應用程序可以通知士兵紅軍的存在和移動，從而幫助識別和緩解威脅。AI 在 SA 的“投射”階段（3 級 SA）特別有用。AI 可以幫助進行實時分析和預測以改進 SA。對于軍事應用，人工智能可以為地面上的步行操作員和飛行員提供可操作的情報和決策協助。人工智能還可以通過實現預測性維護、提高操作設備的安全性和降低運營成本來促進物流。此外，人工智能可以通過在軍用彈藥耗盡之前跟蹤和供應軍用彈藥來促進部隊的戰備狀態。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。

4.5 無人機

無人機 (UAV) 可以極大地幫助改進 SA，因為無人機適用于從被認為沉悶、骯臟或危險的環境中收集情報。隨著技術的進步，下一代無人機不僅將收集數據，還將能夠執行機載數據處理、融合和分析。配備攝像頭的情境感知無人機可以生成對視頻中觀察到的場景的高級描述，并識別潛在的危急情況。可以利用語義技術來識別場景中的對象及其交互 [ 28]。通過使用模糊認知地圖推理模型、深度神經網絡或其他機器學習模型，可以為無人機添加認知能力，使無人機了解場景中不斷變化的情況并識別不穩定的情況。此外，無人機可以通過充當飛霧在邊緣 SA中發揮關鍵作用因此，當無人機在傳感器上方導航時，作為地面傳感器數據的接收器。無人機飛霧的一個理想特性是能夠處理、融合和分析機上數據以及將數據（無論是原始形式還是經過處理的形式，取決于性質、復雜性和環境）傳輸到地面用于存檔和詳細分析的工作站和/或云。無人機還可以采用 DDDAS 方法，使無人機能夠根據實時傳感器數據動態調整其傳感、處理和導航（路由），以更好地監控和跟蹤目標。

4.6 自動駕駛汽車

盡管自動駕駛汽車 (AV) 主要針對消費市場，但 AV 也可以使 SA 受益，如下所述。由于 AV 嵌入了大量傳感器，因此 AV 能夠在運行期間始終進行監控。例如，一個 AV 網絡可以在任何時間和地點以全面、詳細的跟蹤所有 AV 及其用戶的形式實現大規模監控 [29]。可以收集和集中存儲從車載 AV 的不同傳感器檢索到的信息。該存儲信息的詳細分析可用于提供 SA 見解。

4.7 槍擊定位系統

槍擊定位系統是一種重要的聲學監測工具，可用于打擊城市地區非法使用槍支的行為，以及在城市戰爭和戰場上定位炮火、子彈和狙擊手的來源。聲學 SA 可以解釋為用于在所有時間和所有天氣條件下觀察環境聲學成分的活動和手段。聲學 SA 中的目標采集是指通過對一個或多個先前識別的目標的檢測、空間定位、偵察和識別來表征構成環境噪聲的聲源。現代槍擊定位系統歸功于軍事狙擊手檢測技術的技術轉移，該技術是為對抗戰場上的狙擊手行動而開發的。槍擊定位系統的操作可以通過流體動力學建模、聲學傳感技術和地震技術來解釋。從物理上講，火災由兩個主要現象構成：槍管內彈藥推進劑的沖擊引起的化學反應，以及從槍管開口端排放到空氣中的彈丸的動力學[30]。彈藥發射藥的沖擊引起的化學反應有兩個階段：第一階段，子彈發射藥被點燃，熱量通過槍管呼嘯而出，第二階段，未燃燒的發射藥被重新點燃并燃燒產品在槍口外的空氣中釋放。 與沖擊引起的化學反應相關的最關鍵的流體動力學過程是槍管開口端的放電等離子體的槍口爆炸流。高溫高壓等離子體的這種快速退出產生了從槍口呈球形輻射的槍口沖擊波。彈丸動力學具有三個相關的流體動力學現象[30]。首先，釋放槍管的彈頭的活塞式運動會引起沖擊波。其次，拋射體在運動中脫落的渦流會沿著軌跡產生騷動，這會產生風神音。第三，如果彈丸速度為跨音速或更高，它將在飛行中的子彈之后產生彈道沖擊波或馬赫錐，其壓力幅度具有 N 波輪廓。此外，可以根據聲學特征區分不同類型的武器。陰影成像已被用于區分不同武器的火力。

電聲傳感器通常用于檢測、定位和識別槍聲或射擊噪音。電聲傳感器由壓電基板和對聲壓敏感并具有全向拾音模式的低成本電容式聲換能器組成。這些電聲傳感器處理嵌入在槍擊事件聲發射中的信息，以猜測槍擊源的空間坐標（即方位角、仰角、射程）以及其他相關的彈道特征。電聲傳感器可以使用無線通信或有線通信（例如，專用電話線）來傳輸數據。為了進行聲學監視，聲學傳感器分布在感興趣的區域以形成聲學傳感器網絡。聲學傳感器通常安裝在較高的位置，例如燈桿、高層建筑、蜂窩基站等。聲學傳感器網絡的覆蓋范圍取決于聲學傳感器對槍口爆炸波形和環境的敏感度。在露天條件和沒有背景噪音的情況下，可以在距離槍支 600 米（0.373 英里）或更遠的地方感知到槍口沖擊波。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。373 英里）或更多距離槍支。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。373 英里）或更多距離槍支。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。

現代槍擊定位系統能夠評估射手的方位角和仰角、射手的射程、彈丸的彈道和口徑以及初速。彈丸的到達方向是根據彈道沖擊波的每次擾動到達聲傳感器對的時間延遲來估計的。使用一對換能器之間沖擊波的到達時間延遲來估計彈丸的速度。彈丸口徑可以從 N 波分析中推斷出來。射手的射程是通過使用麥克風陣列和三角測量算法分析槍口沖擊波前的曲率來確定的[30]。該地理信息系統作為聲學 SA 向指揮官或執法官員的一個輸入。

4.8 物聯網

物聯網 (IoT) 可以通過與軍事和空軍人員的整合極大地增強 SA。操作員/地面士兵是戰場上的資產，對于實施戰術決策至關重要。越來越多的無處不在的傳感和計算設備被軍事人員佩戴并嵌入軍事裝備（例如作戰服、儀表化頭盔、武器系統等）中。這些傳感和計算設備聯網在一起形成軍事物聯網 (IoMT) 或戰場物聯網 (IoBT) [31]。IoMT/IoBT能夠獲取多種靜態和動態生物特征（如人臉、虹膜、眼周、指紋、步態、手勢和面部表情），可用于對士兵的心理物理進行上下文自適應的連續監測和場上的情緒狀況。除了監測士兵的武器、彈藥和位置外，IoMT/IoBT 還可以幫助捕獲士兵的重要健康參數（例如，心率、心電圖 (ECG)、血糖水平、體溫、血壓）。借助 IoMT/IoBT，軍隊和空軍人員能夠獲得戰術態勢感知，從而獲得對敵人的感知以及友軍的進展。IoMT/IoBT 收集的各種統計數據和參數對于坐在指揮和控制中心的指揮官具有重要價值。然后將這些獲取的數據發送到邊緣服務器或云，然后可以將信息融合和大數據分析應用于 SA、態勢評估、決策活動，并為戰場上的士兵提供實時支持。指揮官可以了解藍軍的健康參數、武器參數、裝備參數和彈藥參數，從而可以下達提供適當援助的命令。

4.9 圖數據庫

最近，在[32]中提出了將物聯網（IoMT/IoBT）與圖數據庫相結合為戰場上士兵的每個參數提供 SA，從而實現更好的決策支持系統。圖數據庫是一種新的范式，其中數據可以以圖形形式體現，比傳統數據庫更容易搜索和遍歷。在圖形數據庫中，數據以節點的形式存儲，這些節點通過邊以圖形方式相互連接，邊表示連接節點之間的關系。當數據/節點的屬性很重要時，圖形數據庫很有用。例如，士兵可以是具有不同屬性的主節點，例如裝備、彈藥、武器和身體傳感器參數。由于物聯網與其他節點和數據有很多互連，因此可以使用圖形數據庫來存儲和檢索這些信息。圖形表示和存儲有助于查詢此類復雜數據。圖論的標準算法（例如，最短路徑、聚類、社區檢測等）以及機器學習方法可用于圖數據庫，以方便檢索所需信息[32]。圖數據庫的使用可以提高指揮官的可視化和SA。通常，平面方式的信息不足以以清晰的方式開發 SA。存儲在圖形數據庫中的各種來源的信息允許以圖形方式檢索存儲的信息，這有助于更好地理解圖形中不同節點的屬性之間的關系。由于物聯網時代從傳統的基于地圖和基于電話的 SA 過渡，指揮官能夠在支持物聯網的設備上遠程訪問所有信息。圖形數據庫可以在霧/云級別實現，因此查詢的可視化結果可以提供有關情況的有趣數據，以協助指揮官做出戰術決策。

4.10 霧/邊緣計算

霧計算或邊緣計算是計算中的一種新趨勢，它將應用程序、服務、數據、計算能力、知識生成和決策從集中節點推向網絡的邏輯極端。邊緣計算和霧計算在本質上是相似的，并且在我們之前的工作中已經概述了一些細微的差異[33]。現有的監視系統難以實時檢測、識別和跟蹤目標，這主要是由于從傳感器傳輸原始數據、在遠程中央平臺（例如云）上執行信息融合、計算和分析所涉及的延遲，并將命令發送回執行器以執行控制決策。霧/邊緣計算可以在網絡邊緣附近進行計算，并有助于減輕核心網絡的通信負擔。霧/邊緣計算還支持基于位置的服務、本地分析，并有助于提高 SA 系統的實時響應能力[34、35]。使用生物識別、環境傳感器和其他連接的 IoMT/IoBT 設備利用霧/邊緣計算快速發送和接收數據不僅有助于改善指揮和控制操作，而且還允許軍事人員及時應對戰場上的潛在危險情況。

4.11 信息融合

監控應用使用大量傳感器，例如運動檢測器、接近傳感器、生物識別傳感器以及各種攝像機，包括彩色攝像機、夜視成像攝像機和熱成像攝像機，它們從不同的視點和分辨率觀察目標。信息融合通過幫助從感知數據中獲得有價值的見解，在 SA 中發揮著重要作用。SA 包含低級信息融合（跟蹤和識別）、高級信息融合（基于威脅和場景的評估）和用戶細化（物理、認知和信息任務）[ 3]。信息融合最大限度地減少了不同傳感器捕獲的數據之間的冗余，例如不同相機捕獲的相同或相似視圖。此外，當系統中的一個相機跟蹤的對象移出其視野并進入另一個相機的視野時，信息融合還有助于在相機之間執行切換。在霧/邊緣計算范式中，傳感器/物聯網節點的信息融合減少了需要傳輸到邊緣服務器的數據，從而為物聯網設備節省能源，從而有助于延長物聯網設備的電池壽命。先進的計算技術，如并行計算和可重構計算，可用于實時信息融合，在物聯網和邊緣/霧節點提供實時SA。

4.12 視頻流中的自動事件識別

來自無人機、物聯網設備和閉路電視 (CCTV) 攝像機的視頻流是監控和 SA 的重要來源。傳統上，需要多個操作員觀看這些視頻流，然后將有關感興趣事件的信息傳遞給指揮官以改進 SA。從大量無人機和物聯網設備收集的視頻流越來越多，需要越來越多的操作員。此外，在高活動期間，操作員可能會超負荷，因此可能無法跟蹤所有感興趣的事件。自動分析來自各種來源（如無人機和物聯網設備）的視頻數據，可以通過提供感興趣的事件或活動的通知來減少所需的操作員數量[36]。事件可以定義為在一段時間內發生的對象之間關系的變化。使用無人機進行自動事件識別的一個有趣例子是車隊監視。小型無人機，如“掃描鷹”(ScanEagle)，可用于為車隊提供監視，在車隊上空飛行的無人機不僅會探測和跟蹤車隊中的實體，而且還會在車隊附近發現可能構成威脅的其他車輛和物體。

各種方法已用于事件識別，例如貝葉斯網絡、隱馬爾可夫模型 (HMM) 和神經網絡 [36]。特別是，隨著深度學習的最新進展，卷積神經網絡 (CNN) 在視頻幀中的自動對象檢測、分類和識別方面變得非常流行。圖 3展示了用于自動對象檢測和分類的 CNN 架構。CNN 架構通常由輸入層、輸出層和多個隱藏層組成。CNN 的隱藏層主要包括多個卷積層、全連接層以及可選的非線性層、池化層和歸一化層。在圖 3，來自紅外攝像機的輸入被饋送到 CNN 架構，該架構通過多個卷積、非線性、池化、歸一化處理輸入（注意，為簡單起見，圖 3中未顯示非線性、池化和歸一化層）和全連接層，并在輸出/分類層產生目標檢測和分類的輸出。圖 3顯示了 CNN 架構從紅外視頻輸入中檢測手槍。

圖 3. 用于自動對象檢測和分類的卷積神經網絡 (CNN) 架構

我們注意到 HMM 和神經網絡需要大量的訓練數據來配置網絡以識別事件。由于許多感興趣的事件是異常事件，缺乏用于訓練的視頻數據，因此當訓練視頻數據稀缺時，貝葉斯網絡可用于事件識別[36]。貝葉斯網絡還在推理中包含不確定性，并提供指示事件為真的可能性的輸出，或對于多狀態事件，事件處于特定狀態的概率。

盡管自動事件識別對 SA 具有巨大的價值，但它是一個具有挑戰性的問題，也是近期研究的重點。其他對 SA 至關重要且是近期研究主題的相關研究問題是對象檢測和識別、對象之間關系的識別和活動識別。

4.13 增強視覺系統 (EVS)

增強型視覺系統 (EVS) 或增強型飛行視覺系統 (EFVS) 通過主動和被動傳感器增強飛行員的能見度和 SA，這些傳感器可以穿透風暴、霧、霾、黑暗、雨和雪等天氣現象。現代軍用飛機配備了增強型視覺系統，但是，由于成本、復雜性和技術性，這些系統在商用飛機上并不常見。增強型視覺傳感器的性能取決于傳感器特性和外部環境。例如，高頻雷達（例如 94 GHz）和紅外傳感器的范圍性能在強降水和某些霧類型中會降低 [37]。相反，低頻（例如，9.6 GHz）和中頻（例如，35 GHz）雷達的范圍有所提高，但顯示分辨率較差。此外，當多個有源傳感器靠近時，有源雷達傳感器可能會相互干擾。盡管增強視覺系統已在軍事和空軍中大量使用以改進 SA，但當代增強視覺系統不提取可能在特定溫度或雷達反射條件下產生誤導性視覺偽影的顏色特征 [37]。EVS/EFVS 的示例包括 Collins Aerospace 的 EFVS-4860 [38] 和 Collins Aerospace 的 EVS-3600 [ 39]，它使用短波紅外、長波紅外和可見光攝像機的組合來提高飛行員的能見度。EVS 的另一個例子是 Elbit System 的 ClearVision [ 40 ]，它結合了視覺相機、近紅外傳感器和長波紅外傳感器來提供改進的 SA。

4.14 合成視覺系統 (SVS)

合成視覺系統本質上是不受天氣影響的顯示器，允許操作員和/或飛行員看到世界，因為它始終處于完美的天氣條件下。合成視覺系統使用傳感器、全球定位系統 (GPS) 衛星信號、慣性參考系統和內部數據庫的組合，為飛行員提供他們周圍世界的合成視圖。合成視覺系統通過在姿態參考系統上疊加真實世界圖像的增強現實 (AR) 系統取代了飛機中舊的姿態指示器（即指示地平線位置的藍棕色姿態指示器）。基于 AR 的 SA 系統，例如 NASA 的合成視覺系統，可以提高航空安全并提高飛機運行效率。

Collins Aerospace 的 SVS 在 HUD 上提供與天氣無關的高清圖像顯示，其中包含三層信息——地形、障礙物、機場和跑道——以呈現環境的完整畫面 [39]。Collins Aerospace 的 SVS 將傳感器與提供地形輪廓、英里標記、跑道亮點和機場圓頂的全球數據庫集成在一起。SVS 的另一個例子是霍尼韋爾的 SmartView [41]，它將來自各種機載數據庫、GPS 和慣性參考系統的飛行信息合成為全面的、易于理解的前方地形 3-D 渲染。

4.15 組合視覺系統 (CVS)

合成視覺系統讓飛行員在任何天氣條件下都能清楚地看到窗外的世界。這些視覺系統是邁向未來視覺系統的一步，也稱為組合視覺系統 (CVS)，它將為飛行員提供遠遠超出眼睛所能看到的視野。CVS 是合成視覺（即基于傳感器和存儲的數據庫信息實時創建渲染環境的系統）和增強型飛行視覺系統（即利用前視紅外系統和毫米波雷達提供飛行員可以實時查看飛機周圍的世界）[42]。Collins Aerospace 的 CVS 通過將他們的 EVS 和 SVS 組合成一個動態圖像為飛行員提供清晰的視圖，如圖 4 所示. CVS 算法利用來自 EVS 和 SVS 的重疊視野來檢測、提取和顯示來自兩個來源的內容。例如，CVS 提供夜間地形熱成像、不受天氣影響的虛擬地形，以及集成在單個系統中的跑道和進近照明的快速檢測。

圖 4. Collins Aerospace 的組合視覺系統 [43]

4.16 增強現實

隨著移動設備的計算能力不斷提高，可以由多個部門（例如，軍事、民用、執法）的步行操作員攜帶，AR 為增強 SA 提供了一種有前途的手段。由于下車操作員傾向于處理大量可能相關或不相關的信息，因此 AR 系統可以通過以可識別的方式過濾、組織和顯示信息來幫助改進 SA [44]。AR 系統需要識別要在操作員的 HUD 中顯示和增強的感興趣元素。這些元素包括地形圖和藍色和紅色力量的指示。可以使用以操作員為中心的徑向迷你地圖顯示地形圖，實時顯示操作員的位置以及盟友和敵人的位置以及興趣點。通過使用 AR 技術對路徑進行著色，導航數據可以與地形圖集成，從而將地圖和導航路徑疊加在操作員的視野中。AR 還能夠在操作員可能難以操縱其設備和/或武器的情況下提供幫助，例如在近距離戰斗或巡邏中，武器通常在臀部水平處靜止[44]。這種 AR 十字準線的有效性可以通過比較操作員在有或沒有十字準線的參與期間的響應時間來憑經驗測量。總之，隨著 AR 技術的進步，AR 在軍事和空軍設備中的使用一直在不斷增加。

五、態勢感知的應用領域

戰場、軍事和空軍基地、航空、空中交通管制、緊急情況和/或災難響應、工業流程管理、城市地區和關鍵基礎設施等各個領域都需要 SA，如圖 5 所示。在本節中，我們將概述其中一些領域。不充分的 SA 通常與導致逆境的人為錯誤有關，例如戰爭中的軍事損失、緊急情況和災難響應中平民和急救人員的生命損失以及工業控制中的收入損失。

圖 5. 態勢感知領域

5.1 戰場

SA 對于知情和可靠的戰場 C2 系統必不可少。由 IoBT/IoMT 和霧計算等最先進技術增強的 SA 可以幫助軍隊和空軍充分利用部署在（未來）中的大量異構 IoBT/IoMT 設備收集的信息。) 戰場，并且可以為軍隊/空軍提供相對于對手的戰略優勢。戰場上的 SA 可以在不同級別提供：（i）監督戰場行動的指揮官，（ii）在戰術層面執行任務的下馬士兵，以及（iii）為士兵提供近距離空中支援的飛行員。SA 技術的最新進展可以幫助士兵在低延遲下識別敵人、訪問設備和武器系統，并提高 SA 和士兵的安全性。

5.2 城市戰

在城市環境中為軍隊和空軍部隊維護 SA 比在農村和開闊地帶更具挑戰性。城市環境中的戰斗空間動態發生了顯著變化，從傳統的以敵為主的二維空間轉變為敵方可以從任意方向、多方向同時發動進攻的三維迷宮[ 26]。越來越多的非戰斗人員使城市戰場變得更加復雜。GPS 等導航輔助設備在城市環境中的可靠性不如開闊地形，因為很難獲得衛星的視線。因此，在城市環境中共享有關戰斗空間的信息以獲得共同作戰圖 (COP)（美國國防部軍事及相關術語詞典將 COP 定義為：“由多個司令部共享的相關信息的單一相同顯示，以促進協作規劃并協助所有梯隊實現態勢感知”[ 2 ]）需要一個能夠在任何環境（即存在多徑和無線電干擾的情況下）保持鏈路的通信系統/網絡。

5.3 灰色地帶戰

在不對稱戰爭或灰色地帶戰爭中特別需要 SA [ 45] 識別敵方戰斗人員并不總是那么簡單，例如，敵人可能以平民的身份出現或使用被盜徽章進入受限軍事基地。為了在灰色區域情況下提供 SA，生物特征傳感器可以掃描虹膜、指紋和其他生物特征數據，以識別可能構成危險的個人。在 SA 系統中使用 DDDAS 方法可以幫助有針對性地收集有關已識別個人的數據，還可以動員響應單位（例如狙擊手）來分散威脅。SA 系統可以提供對站點和潛在灰色區域參與者的實時監控，以幫助防止或減輕灰色區域戰爭的負面影響，例如錯誤信息以及服務和關鍵基礎設施的中斷。

5.4 軍事和空軍基地

SA 是軍事和空軍基地的安全保障所必需的。由于敵人可能試圖用偷來的徽章/身份潛入基地，因此需要對軍事/空軍基地進行持續監視。SA 系統可以檢測基地中的可疑人員和未經授權的人員，當局可以據此采取適當的行動。

5.5 國土安全與國防

SA 系統是增強國土安全和防御所必需的。實時監控有助于及時發現和應對自然災害（例如颶風、洪水）和人為事件（例如恐怖主義）。此外，SA 系統可以協助執法人員反恐、打擊走私和逮捕逃犯。

5.6 災難響應管理

災難恢復行動具有挑戰性，需要多個機構的支持，包括當地和國際應急響應人員、非政府組織和軍方。在災難發生后，最緊迫的要求是對 SA 的要求，以便可以根據影響和救災需求對資源（包括人員和物資）進行優先排序和引導。此外，在災難性情況下，隨著恢復工作的繼續，SA 需要根據不斷變化的條件不斷更新。在災難情況下提供 SA 的傳統信息來源包括災難受害者的報告，但是，受害者報告可能并非在所有情況下都可行，因為通信手段可能會因災難而中斷。因此，災害監測和報告需要 SA 系統，因此有助于對災害做出適當的響應。SA 系統也是早期預警系統不可或缺的一部分，通過促進快速檢測和響應緊急情況（例如火災、洪水、橋梁倒塌、供水中斷、地震、火山爆發、和龍卷風等。

5.7 關鍵基礎設施

橋梁、發電和配電網絡、供水網絡、電信網絡、交通網絡等關鍵基礎設施的安全需要 SA。我們通過幾個來自道路網絡的例子來說明關鍵基礎設施的 SA交通網絡的重要組成部分。道路 SA 需要感知不利的道路狀況（例如坑洼）、駕車者、行人和交通狀況 [ 10]。道路 SA 提供的交通監控和可疑車輛檢測將減少犯罪、事故和死亡人數。深度學習的進步極大地促進了 Road SA 的發展。CNN 可用于感知道路圖像數據中的車輛類別和位置，從而有助于解決道路交通 SA 系統中的情境元素識別問題 [ 11 ]。在灰色地帶戰爭時代，監控關鍵基礎設施變得更加重要，因為敵人通常旨在破壞關鍵基礎設施，從而為軍事交戰創造有利局面。

6. 結論

在本文中，我們從軍事和空軍的角度定義并解釋了態勢感知 (SA)。我們已經提出了 SA 和動態決策的模型。所提出的模型結合了人工智能和動態數據驅動的應用系統，以幫助根據 SA 核心感知和預測的不斷變化的情況來引導測量和資源。我們討論了 SA 的測量并確定了 SA 評估的指標。我們還概述了與測量 SA 相關的挑戰。我們討論了可以增強 SA 的不同技術和技術，例如不同模式的情報收集、傳感器和傳感器網絡、軟件無線電、人工智能、無人駕駛飛行器、自動駕駛汽車、槍擊定位系統、物聯網、霧/邊緣計算、信息融合、視頻流中的自動事件識別、增強視覺系統、合成視覺系統、組合視覺系統和增強現實。最后，我們介紹了需要具備 SA 的不同領域或應用領域，例如戰場、城市戰、灰色地帶戰、軍事和空軍基地、國土安全和國防以及關鍵基礎設施。

展望未來，SA 技術和方法將隨著技術的進步而不斷改進。有許多領域需要積極研究以增強 SA。例如，軍方仍在尋求基于軟件定義無線電 (SDR) 的完美無線電，該無線電可以實現安全、可互操作和有彈性的多通道通信，能夠處理不同的模式/波形。自動事件檢測和識別是與 SA 相關的另一個需要積極研究的領域。特別是實時自動事件檢測和識別是一個具有挑戰性的問題，不僅需要人工智能的進步，還需要先進的計算技術，例如并行計算和可重構計算。此外，硬件加速器可以方便地實現實時自動事件檢測和識別。另一個需要積極研究的領域是無人駕駛飛行器 (UAV) 的安全自主導航，以便無人機或無人機群能夠自主完成任務，而無需主動遠程駕駛。需要進一步研究戰場/軍事物聯網 (IoBT/IoMT)，以感知、整合和處理與士兵的健康和心理生理狀況、士兵的武器、彈藥和戰場位置相關的大量參數，以及有關感興趣地區的紅軍信息。霧/邊緣計算的進一步研究可以確保對這些感測參數進行實時處理和分析，以幫助實現實時評估和指揮和控制決策，以應對不斷變化的情況。士兵和飛行員的增強視覺系統需要隨著傳感和增強現實 (AR) 技術的創新而不斷改進。需要基于多智能融合結果開發新的可視化技術，以允許用戶查看可重新配置的用戶自定義操作畫面。關于 SA 量化，需要開發新的 SA 測量技術，以涵蓋更多的評估指標。最后，迫切需要開發新的 SA 評估工具，以便根據給定應用程序領域的 SA 要求，可以根據這些工具對 SA 進行量化。

資金

這項研究得到了空軍研究實驗室 (AFRL) 信息局 (RI) 的部分支持，通過空軍科學研究辦公室 (AFOSR) 夏季教師獎學金計劃?，合同編號 FA8750-15-3-6003、FA9550- 15-0001 和 FA9550-20-F-0005。本材料中表達的任何意見、發現和結論或建議均為作者的觀點，不一定反映 AFRL 和 AFOSR 的觀點。APC 由堪薩斯州立大學資助。

參考文獻

Endsley, M.R. Designing for Situation Awareness in Complex System. In Proceedings of the Second Intenational Workshop on Symbiosis of Humans, Artifacts and Environment; 2001. Available online://www.researchgate.net/profile/Mica-Endsley/publication/238653506_Designing_for_situation_awareness_in_complex_system/links/542b1ada0cf29bbc126a7f35/Designing-for-situation-awareness-in-complex-system.pdf (accessed on 13 December 2021).

DOD. DOD Dictionary of Military and Associated Terms. 2019. Available online: (accessed on 16 August 2019).

Blasch, E. Multi-Intelligence Critical Rating Assessment of Fusion Techniques (MiCRAFT). In Proceedings of the SPIE, Signal Processing, Sensor/Information Fusion, and Target Recognition XXIV; 2015; Volume 9474. Available online: (accessed on 13 December 2021).

Spick, M. The Ace Factor: Air Combat and the Role of Situational Awareness; Naval Institute Press: Annapolis, MD, USA, 1988. [Google Scholar]

McKay, B.; McKay, K. The Tao of Boyd: How to Master the OODA Loop. 2019. Available online: (accessed on 14 August 2019).

Endsley, M.R. Toward a Theory of Situation Awareness in Dynamic Systems. Hum. Factors J. Hum. Factors Ergon. Soc. 1995, 37, 32–64. [Google Scholar] [CrossRef]

Endsley, M.R. Situation Awareness in Aviation Systems. In Handbook of Aviation Human Factors; Garland, D.J., Wise, J.A., Hopkin, V.D., Eds.; Lawrence Erlbaum Associates Publishers: Mahwah, NJ, USA, 1999; pp. 257–276. [Google Scholar]

Blasch, E.; Ravela, S.; Aved, A. (Eds.) Handbook of Dynamic Data Driven Applications Systems; Springer: Berlin/Heidelberg, Germany, 2018. [Google Scholar]

Snidaro, L.; García, J.; Llinas, J.; Blasch, E. (Eds.) Context-Enhanced Information Fusion: Boosting Real-World Performance with Domain Knowledge; Springer: Berlin/Heidelberg, Germany, 2016. [Google Scholar]

Garg, V.; Wickramarathne, T. Ubiquitous Sensing for Enhanced Road Situational Awareness: A Target-Tracking Approach. In Proceedings of the 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, HI, USA, 4–7 November 2018; pp. 831–836. [Google Scholar]

Zhu, Q. Research on Road Traffic Situation Awareness System Based on Image Big Data. IEEE Intell. Syst. 2020, 35, 18–26. [Google Scholar] [CrossRef]

Zhang, D.; Peng, Y.; Zhang, Y.; Wu, D.; Wang, H.; Zhang, H. Train Time Delay Prediction for High-Speed Train Dispatching Based on Spatio-Temporal Graph Convolutional Network. IEEE Trans. Intell. Transp. Syst. 2021, 1–11. Available online: (accessed on 13 December 2021). [CrossRef]

Endsley, M.R. Situation Awareness Global Assessment Technique (SAGAT). In Proceedings of the IEEE National Aerospace and Electronics Conference, Dayton, OH, USA, 23–27 May 1988. [Google Scholar]

Uhlarik, J.; Comerford, D.A. A Review of Situation Awareness Literature Relevant to Pilot Surveillance Functions; Office of Aerospace Medicine, Federal Aviation Administration, DOT/FAA/AM-02/3; 2002. Available online: (accessed on 13 December 2021).

Nguyen, T.; Lim, C.P.; Nguyen, N.D.; Gordon-Brown, L.; Nahavandi, S. A Review of Situation Awareness Assessment Approaches in Aviation Environments. IEEE Syst. J. 2019, 13, 3590–3603. [Google Scholar] [CrossRef]

Hart, S.G.; Staveland, L.E. Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. Adv. Psychol. 1988, 52, 139–183. [Google Scholar]

Taylor, R. Situational Awareness Rating Technique (SART): The Development of a Tool for Aircrew Systems Design. In Proceedings of the AGARD AMP Symposium on Situational Awareness in Aerospace Operations (AGARD-CP-478), Copenhagen, Denmark, 2–6 October 1989. [Google Scholar]

O’Hare, D.; Wiggins, M.; Williams, A.; Wong, W. Cognitive Task Analyses for Decision Centred Design and Training. Ergonomics 1998, 41, 1698–1718. [Google Scholar] [CrossRef] [PubMed]

Blasch, E.P.; Salerno, J.J.; Tadda, G.P. Measuring the Worthiness of Situation Assessment. In High-Level Information Fusion Management and Systems Design; Blasch, E., Bossé, E., Lambert, D.A., Eds.; Artech House: Norwood, MA, USA, 2012; pp. 315–329. [Google Scholar]

Endsley, M.R. The Divergence of Objective and Subjective Situation Awareness: A Meta-Analysis. J. Cogn. Eng. Decis. Mak. 2020, 14, 34–53. [Google Scholar] [CrossRef]

Zhang, T.; Yang, J.; Liang, N.; Pitts, B.J.; Prakah-Asante, K.O.; Curry, R.; Duerstock, B.S.; Wachs, J.P.; Yu, D. Physiological Measurements of Situation Awareness: A Systematic Review. Hum. Factors 2020, 1–22. Available online: (accessed on 13 December 2021). [CrossRef] [PubMed]

Tadda, G. Measuring Performance of Cyber Situation Awareness Systems. In Proceedings of the 2008 11th International Conference on Information Fusion, Cologne, Germany, 30 June–3 July 2008; pp. 1–8. [Google Scholar] [CrossRef]

Nowak, M. Layered Sensing to Enhance Situational Awareness. In Proceedings of the International Symposium on Collaborative Technologies and Systems, Irvine, CA, USA, 19–23 May 2008. [Google Scholar]

Kamal, S.; Armantrout, J.T. The U.S. Military’s Joint Tactical Radio System. 2020. Available online: (accessed on 29 May 2020).

U.S. Military. Joint Tactical Networking Center. 2020. Available online: (accessed on 29 May 2020).

Randall, A.L.; Walter, R.C. Overview of the Small Unit Operations Situational Awareness System. In Proceedings of the IEEE Military Communications Conference (MILCOM), Boston, MA, USA, 13–16 October 2003. [Google Scholar] [CrossRef]

Kansakar, P.; Munir, A. A Two-Tiered Heterogeneous and Reconfigurable Application Processor for Future Internet of Things. In Proceedings of the IEEE Computer Society Annual Symposium on VLSI (ISVLSI), Hong Kong, China, 9–11 July 2018. [Google Scholar]

Cavaliere, D.; Senatore, S.; Loia, V. Proactive UAVs for Cognitive Contextual Awareness. IEEE Syst. J. 2019, 13, 3568–3579. [Google Scholar] [CrossRef]

Bloom, C.; Tan, J.; Ramjohn, J.; Bauer, L. Self-Driving Cars and Data Collection: Privacy Perceptions of Networked Autonomous Vehicles. In Proceedings of the Thirteenth Symposium on Usable Privacy and Security (SOUPS 2017), Santa Clara, CA, USA, 12–14 July 2017. [Google Scholar]

Aguilar, J.R. Gunshot Location Systems: The transfer of the sniper detection technology from military to civilian applications. In Proceedings of the International Carnahan Conference on Security Technology (ICCST), Medellin, Colombia, 8–10 October 2013. [Google Scholar]

Castiglione, A.; Choo, K.K.R.; Nappi, M.; Ricciardi, S. Context Aware Ubiquitous Biometrics in Edge of Military Things. IEEE Cloud Comput. 2017, 4, 16–20. [Google Scholar] [CrossRef]

Tripathi, G.; Sharma, B.; Rajvanshi, S. A Combination of Internet of Things (IoT) and Graph Database for Future Battlefield Systems. In Proceedings of the International Conference on Computing, Communication and Automation (ICCCA), Greater Noida, India, 5–6 May 2017. [Google Scholar]

Munir, A.; Kansakar, P.; Khan, S.U. IFCIoT: Integrated Fog Cloud IoT: A novel architectural paradigm for the future Internet of Things. IEEE Consum. Electron. Mag. 2017, 6, 74–82. [Google Scholar] [CrossRef]

Munir, A.; Blasch, E.; Kwon, J.; Kong, J.; Aved, A. Artificial Intelligence and Data Fusion at the Edge. IEEE Aerosp. Electron. Syst. Mag. 2021, 36, 62–78. [Google Scholar] [CrossRef]

Munir, A.; Kwon, J.; Lee, J.H.; Kong, J.; Blasch, E.; Aved, A.; Muhammad, K. FogSurv: A Fog-Assisted Architecture for Urban Surveillance Using Artificial Intelligence and Data Fusion. IEEE Access 2021, 9, 111938–111959. [Google Scholar] [CrossRef]

Higgins, R.P. Automatic Event Recognition for Enhanced Situational Awareness in UAV Video. In Proceedings of the IEEE Military Communications Conference (MILCOM), Atlantic City, NJ, USA, 17–20 October 2005. [Google Scholar] [CrossRef]

Prinzel, L.; Kramer, L. Sythetic Vision Systems. 2009. Available online: (accessed on 11 August 2019).

Rockwell Collins. Rockwell Collins EFVS-4860 Enhanced Flight Vision System. 2006. Available online: www.rockwellcollins.com (accessed on 12 August 2019).

Rockwell Collins. Rockwell Collins Enhanced Vision Systems. 2019. Available online: (accessed on 12 August 2019).

Elbit Systems. ClearVision EVS. 2016. Available online: (accessed on 12 August 2019).

Honeywell. Honeywell SmartView Synthetic Vision System. 2019. Available online: (accessed on 12 August 2019).

NASA. NASA, Boeing Testing Synthetic Vision Technologies. 2017. Available online: (accessed on 11 August 2019).

Collins Aerospace. New Bombardier Global 5500 and Global 6500 Aircraft to Feature Rockwell Collins’ Transformational Flight Deck and Cabin Systems. 2020. Available online: (accessed on 20 June 2020).

Brand?o, W.L.; Pinho, M.S. Using Augmented Reality to Improve Dismounted Operators’ Situation Awareness. In Proceedings of the IEEE Annual International Symposium on Virtual Reality (VR), Los Angeles, CA, USA, 18–22 March 2017. [Google Scholar]

Votel, J.L.; Cleveland, C.T.; Connett, C.T.; Irwin, W. Unconventional Warfare in the Gray Zone. Jt. Force Q. 2016, 101–109. Available online: (accessed on 13 December 2021).