在 2020 年，空中力量（制空權）辯論越來越多地關注新興技術對國防創新和未來戰爭特征的影響。人工智能 (AI) 系統、機器人技術、增材制造（或 3D 打印）、量子計算、定向能量和其他“顛覆性”技術等先進新技術的融合，第四次工業革命 (4IR)為國防應用提供了新的和潛在的重大機會，進而提高了對潛在競爭對手的軍事優勢。當前的大部分辯論可以說將“下一個前沿”技術描述為“不連續”或“破壞性”軍事創新的代名詞——從“工業時代”到“信息時代戰爭”和現在越來越傾向于“自動化時代的戰爭”（Raska，2021 年）。例如，高光譜圖像、計算攝影和緊湊型傳感器設計等先進傳感器技術旨在提高目標檢測、識別和跟蹤能力，并克服傳統的視線干擾（Freitas 等人，2018 年）。具有自適應特性的復合材料、陶瓷和納米材料等先進材料將使軍事裝備更輕，但更適應于復雜環境（Burnett 等人，2018 年）。新興光子技術，包括高功率激光器和光電設備，可能會提供基于量子計算和量子密碼學新級別的安全通信（IISS，2019 年）。

新興技術的融合——即機器人技術、人工智能和機器學習、具有先進傳感器技術的模塊化平臺、新型材料和保護系統、網絡防御和模糊物理、網絡和生物領域之間界限的技術，被廣泛認為對人類的特征具有深遠的影響。未來的戰爭，在空中力量的背景下，有望將新的機器學習算法應用于高速進行信息處理、有人/無人武器平臺和監視系統的混合自動化，以及最終指揮和控制 (C2) 決策（Horowitz，2018；Cummings，2017）。

大型軍工產品不再是技術創新的唯一驅動力；取而代之的是，具有雙重用途潛力的先進技術正在商業領域開發，然后“轉而”用于軍事應用。

然而，盡管戰略背景各不相同，但這些新興技術的傳播也引發了類似于過去 40 年提出的理論和政策規定性問題：新興技術的傳播是否真的意味著戰爭中的“破壞性”轉變？這僅僅是進化上的變化嗎？如果新興技術規定了戰爭的顛覆性變化，那么國防資源分配的必要性是什么，包括部隊結構和武器采購要求？包括空軍在內的軍事組織如何利用新興技術為自己謀利？此外，新興技術在應對 21 世紀以不確定性、復雜性和模糊性為特征的安全威脅和挑戰方面的效果如何？

顛覆性敘事的四個十年

在受信息技術飛躍的推動下，“顛覆性”軍事創新敘事和辯論的軌跡已在 IT 驅動的軍事革命 (IT-RMA) 的背景下定義，該革命已通過至少五個階段：（1）1980年代初期蘇聯戰略思想家對軍事技術革命的初步概念發現，（2）1990年代初期美國戰略思想的概念適應、修改和整合，（3）1990 年代中后期對技術的 RMA 辯論，（4） 轉向更廣泛的“防御轉型”，并在 2000 年代初期進行部分實證調查，以及 (5) 從 2005 年起質疑顛覆性敘事的批判性逆轉（格雷，2006 年）。然而，自 2010 年代中期以來，隨著人工智能和自主系統等新技術的加速傳播，人們可能會爭辯說，新的 AI-RMA 或第六次 RMA 浪潮已經出現（Raska，2021 年）。

然而，回想起來，在過去的 40 年里，IT-RMA 的實施也可以說是遵循了一條明顯低于革命性或破壞性的道路，包括對現有能力的漸進式、通常近乎持續的改進（Ross，2010 年）。雖然國防技術、組織和理論方面的重大、大規模和同步的軍事創新是一種罕見的現象，但軍事組織在很大程度上是通過一系列持續的軍事創新取得進展，從小規模創新到大規模創新，這些創新塑造了他們的戰爭行為（Goldman，1999）。雖然這個時代的許多軍事創新，例如網絡中心戰的概念已經成熟，但關于即將到來的“破壞性軍事轉型”的敘事幾乎總是超過了現有的技術、組織和預算能力。此外，不同的概念、技術、組織和作戰創新主要集中在將數字信息技術集成到現有的傳統平臺和系統中（Raska，2016 年）。

國家和非國家行為者都可能使用這種所謂的對抗性機器學習來欺騙對方，使用不正確的數據得出錯誤的結論，并在此過程中改變決策過程。

例如，在美國的戰略思想中，顛覆性軍事創新的敘事從 2005 年開始隨著伊拉克和阿富汗戰爭中的作戰挑戰和經驗逐漸淡化。更多批評聲音指向“破壞性”防御轉型的未兌現承諾。 “新思維方式和新戰斗方式”的基本原理幾乎證明了每項防御倡議或提議的合理性，這表明迷失方向而不是明確的戰略（弗里德曼，2006 年）。國防轉型懷疑論者還警告說，通過技術解決復雜戰略挑戰的邏輯有缺陷，同時放棄了潛在敵人或競爭對手的適應能力。簡而言之，由于預算要求和不切實際的能力組合而不是實際的戰略和作戰邏輯，即將發生的國防轉型的破壞性敘事已經變成了一個模棱兩可的想法（雷諾茲，2006 年）。

為什么AI浪潮不同？

然而，新的“支持人工智能”的國防創新浪潮在幾個方面與過去以 IT 為主導的浪潮不同。首先，人工智能支持的軍事創新的傳播速度要快得多，通過多個維度，特別是通過大國之間加速的地緣戰略競爭——美國、中國和較小程度的俄羅斯。大國之間的戰略競爭并不新鮮。它們深深植根于歷史——從公元前三世紀伯羅奔尼撒戰爭期間的雅典和斯巴達大戰略，到二十世紀下半葉冷戰的兩極分化。然而，新興戰略競爭的性質不同于以往戰略競爭的類比。進入 21 世紀，戰略競爭的路徑和模式更加復雜多樣，反映了在不同或重疊規則下的多重競爭，長期的經濟相互依存與核心戰略挑戰并存（Lee，2017）。然而，在爭奪未來霸權的競爭中，技術創新被描述為國際影響力和國家力量的核心來源——產生經濟競爭力、政治合法性和軍事力量（Mahnken，2012 年）。具體來說，美國幾十年來第一次面對一個戰略性的同行競爭對手中國，中國有能力追求和實施自己的 AI-RMA。因此，主要問題不是 AI-RMA 浪潮是否會在戰爭中帶來根本性的不連續性，如果是，如何以及為什么？相反，美國的 AI-RMA 是否可以被相應的中國或俄羅斯 AI-RMA 取消或至少削弱？換言之，技術優勢的差距正在有效縮小，這有效地加速了新技術作為軍事優勢來源的戰略必要性。

新興技術的融合——即機器人技術、人工智能和機器學習、具有先進傳感器技術的模塊化平臺、新型材料和保護系統、網絡防御和模糊物理、網絡和生物領域之間界限的技術，被廣泛認為對未來的戰爭具有深遠的影響。

其次，與前幾十年利用一些軍民兩用技術開發主要武器平臺和系統不同，當前的人工智能浪潮在商業技術創新作為軍事創新來源的規模和影響方面有所不同。大型軍工產品不再是技術創新的唯一驅動力；取而代之的是，具有雙重用途潛力的先進技術正在商業領域開發，然后“轉而”用于軍事應用。在這種情況下，新興技術的傳播，包括增材制造（3D 打印）、納米技術、空間和類空間的能力、人工智能和無人機，并不僅限于大國（Hammes，2016 年）。人工智能傳感器和自主武器系統的擴散也在新加坡、韓國、以色列等先進小國和中等強國的防御軌跡上。這些國家現在有潛力開發利基新興技術，以提高其防御能力和經濟競爭力、政治影響力和在國際舞臺上的地位（Barsade 和 Horowitz，2018 年）。

第三，自主和支持人工智能的自主武器系統的擴散，加上新穎的作戰結構和部隊結構，挑戰了人類參與未來戰爭的方向和特征——其中算法可能會影響人類的決策，并設想在未來的戰斗中使用致命自主武器系統（LAWS）。包括空軍在內的先進軍隊正在試驗各種依靠數據分析和戰爭自動化的人機技術。這些技術越來越多地滲透到未來的戰爭實驗和能力發展計劃中（Jensen 和 Pashkewitz，2019 年）。在美國，選定的優先研發領域側重于在各種人機協作中開發人工智能系統和自主武器——例如，支持人工智能的預警系統和指揮與控制網絡，空間和電子戰系統、網絡能力、致命的自主武器系統等。

人工智能系統將越來越有能力在John Boyd的觀察-定向-決策-行動 (OODA) 循環的每一步中簡化 C2 和決策過程。

戰略競爭、雙重用途新興技術創新和戰爭中人機交互特征的變化，這三個驅動因素的融合推動了一系列定義 AI-RMA 浪潮的新條件。它的擴散軌跡在本質上也對戰略穩定性、聯盟關系、軍備控制、道德和治理以及最終的作戰行動提出了新的挑戰和問題（Stanley-Lockman，2021a）。例如，關于人工智能系統在使用武力中的作用的國際規范辯論越來越關注法律的傳播和遵守國際人道法原則的能力。隨著技術進步從科幻領域轉向技術現實，各國對引入 LAWS 是否會違反或加強國際法律原則也有不同的看法。面對軍事人工智能應用的法律和道德影響，軍事機構越來越認識到需要解決與安全、道德和治理相關的問題，這對于建立對新能力的信任、管理風險升級和重振軍備控制至關重要。盡管如此，國防部和軍隊在倫理道德方面的努力是狹隘地關注法律還是更廣泛地關注人工智能系統的范圍之間仍然存在緊張關系。因此，包括空軍在內的軍隊需要跟蹤關于人工智能和自主性的不斷演變的觀點，并就對 2020 年代及以后的戰略和作戰環境的影響進行辯論（Stanley-Lockman，2021b）。

對空中力量的影響

在作戰層面，空軍旨在加速整合各種人工智能相關系統和技術，例如多域作戰云系統，從各種來源收集大數據，創建實時作戰圖，本質上是自動化和加速指揮和控制 (C2) 流程（Robinson，2021 年）。在這樣做的過程中，啟用人工智能的作戰云可以識別目標并將它們分配給任何領域中最相關的“射手”，無論是空中、水面還是水下——一些空軍將其概念化為聯合全域指揮與控制 (JADC2) 。部分空軍也在試驗人工智能算法作為“虛擬后座”，它可以有效控制飛機的傳感器和導航，尋找對手，并以此減少機組人員的工作量（Everstine，2020）。在這種情況下，關鍵論點是人工智能系統的進步——可以感知、推理、行動和適應的廣泛程序，包括機器學習 (ML) 系統——其性能隨著時間的推移、數據交互的增加而提高算法性能，以及深度學習（ DL）系統——其中多層神經網絡從大量數據中學習——具有“改變空戰行動以及空中力量的構思和使用方式”的潛力（Davis，2021 年）。

具體來說，根據蘭德公司最近的一項研究（Lingel 等人，2020），目前有六類 AI/ML 應用研發，其會對包括空中力量在內的未來戰爭有影響：

（1）計算機視覺——圖像識別——檢測對視覺世界中可用于處理多源智能和數據融合的對象進行分類；

(2) 自然語言處理 (NLP) — 成功理解人類語音和文本識別模式（包括翻譯）的能力，可用于從語音和文本中提取情報，但也可以監控友好通信并引導相關信息以提醒個人或單位；

(3) 專家系統或基于規則的系統——收集大量數據以推薦特定行動以實現作戰和戰術目標；

(4) 規劃系統——使用數據解決調度和資源分配問題，可以針對目標協調選定的空中、太空和網絡資產，并生成建議的分時行動；

(5) 機器學習系統——從與環境的數據交互中獲取知識，可與其他類別的人工智能結合使用，即使 C2 系統在專家知識不可用或最佳策略、技術和程序 (TTP) 未知時學習如何執行任務；

(6) 機器人和自主系統——結合所有或選擇先前類別的 AI/ML 方法，使無人系統與其環境交互；

這些與人工智能相關的類別幾乎適用于空中力量的各個方面，可能會塑造新形式的自動化戰爭：從 C2 決策支持和規劃，人工智能/機器學習可以在日益受限的時期提供推薦的選項或建議；通過數據挖掘能力支持 ISR；后勤和預測性維護，以確保部隊的安全以及平臺和單位的可用性；訓練和模擬；網絡空間行動以檢測和應對先進的網絡攻擊；機器人和自主系統，如無人機，用于從 ISR 到矛尖任務的各種任務，如壓制敵方防空和協同作戰，在空中和陸地打擊行動中整合不同的有人和無人平臺。換句話說，這里的論點是人工智能系統將越來越有能力在John Boyd的觀察-定向-決策-行動 (OODA) 循環的每個步驟中簡化 C2 和決策過程：收集、處理并將數據轉換為統一的態勢感知視圖，同時為推薦的行動方案提供選項，并最終幫助人類采取行動（Fawkes 和 Menzel，2018 年）。

然而，將人工智能系統集成到空中力量平臺、系統和組織中，以將計算機從工具轉變為解決問題的“思考”機器，將繼續帶來一系列復雜的技術、組織和運營挑戰（Raska 等人，2021 年）。其中可能包括開發算法，使這些系統能夠更好地適應環境的變化，從意想不到的戰術中學習并將其應用于戰場。它還要求為這些思考機器設??計道德規范和保障措施。另一個挑戰是技術進步，特別是在軍事系統中，是一個持續的、動態的過程。突破總是在發生，它們對軍事效力和比較優勢的影響可能是巨大的，而且在初期階段很難預測。

然而，最重要的是，關鍵問題是我們可以在多大程度上信任人工智能系統，尤其是在安全關鍵系統領域？正如 Cummings所警告的那樣，“歷史上充斥著類似的戰備承諾如何以代價高昂的系統故障告終的例子，這些案例應該作為一個警示故事”（Cummings，2021 年）。此外，越來越多的研究領域集中在如何通過生成虛假數據來欺騙人工智能系統做出錯誤的預測。國家和非國家行為者都可能使用這種所謂的對抗性機器學習來欺騙對方，使用不正確的數據得出錯誤的結論，并在此過程中改變決策過程。對抗性機器學習的整體戰略影響可能比技術本身更具破壞性（Knight, 2019; Danks, 2020）。

啟用人工智能作戰云用于識別目標并將其分配給任何領域中最相關的“射手”，無論是空中、水面還是水下——一些空軍將其概念化為聯合全域指揮與控制 (JADC2)。

從戰術和操作的角度來看，這些復雜的人工智能系統也需要連接在一起——不僅在技術上，而且在組織和操作上。對于許多空軍來說，這是一個持續的挑戰——他們必須能夠有效地（實時）在各種服務和平臺之間集成啟用人工智能的傳感器到射擊者的循環和數據流。這意味著有效地連接多樣化的空軍、陸軍、海軍和網絡戰斗管理； C2，通信和網絡；情監偵；電子戰；定位、導航和授時；使用精確彈藥。雖然選擇的 AI/ML 系統可能會緩解一些挑戰，但相同的系統會產生另一組與確保可信 AI 相關的新問題。因此，有人可能會爭辯說，未來空中力量中人工智能軌跡的方向和特征將取決于相應的戰略、組織和作戰敏捷性，特別是這些技術如何與當前和新興的作戰結構和部隊結構相互作用。

在這種情況下，人類在未來戰爭中的參與程度、改變傳統部隊結構和招募模式的必要性以及將在哪些領域使用武力都是新技術挑戰的問題。空軍正在為這些問題開發自己的而且往往是多樣化的解決方案。與過去一樣，它們的有效性將取決于與戰略持久原則相關的許多因素——將可用的國防資源“轉化”為新軍事能力的目的、方式和手段，并在此過程中創造和維持具有空中作戰能力的部隊來應對各種突發事件。成功實施的主要因素不是技術創新本身，而是持續資金、組織專業知識（即大規模和有效的軍事和商業研發基地）和實施國防創新機構的敏捷性綜合效應（Cheung，2021）。對于空中力量的未來，這意味著擁有能夠提供創新解決方案的人員、流程和系統，同時保持現有的核心能力，從而在日益復雜的戰略環境中提供可行的策略選擇。

作者介紹：

Michael Raska 博士是新加坡南洋理工大學 S. Rajaratnam 國際研究學院軍事轉型項目的助理教授和協調員。他的研究興趣集中在東亞的國防和軍事創新、戰略競爭和賽博戰。他是《軍事創新和小國：創造反向不對稱》（Routledge，2016 年）的作者，也是《國防創新和第四次工業革命：安全挑戰、新興技術和軍事影響》（Routledge，2022 年）的共同主編。他擁有密蘇里南方州立大學國際研究學士學位、延世大學國際關系碩士學位和新加坡國立大學李光耀公共政策學院博士學位，并獲得新加坡國立大學校長研究生學位獎學金。

盡管受到疫情大流行的影響，但北約科學技術組織 (STO) 憑借其由 5,000 多名科學家、工程師和分析師組成的網絡團隊，持續交付了出色的項目工作 (PoW)。這確保了 STO 始終處于科技前沿，并致力于在競爭激烈的世界中維持北約、盟國和合作伙伴的技術優勢。

2022 年，STO 公開發布了三份報告，突出了其深刻的成就并規劃了前進的道路。

報告1：2021 STO HIGHLIGHTS

2021 STO HIGHLIGHTS體現了 STO PoW 對聯盟的影響和意義，涵蓋海事研究和實驗中心 (CMRE) PoW 和協作 PoW (CPoW) 。這包括 300 多項技術活動，從主要研究項目到前景展望和系列講座，以及技術合作演示。

該報告旨在概述海事研究和實驗中心與2021 年協作PoW中最近完成的項目和成就概要。它還總結了為北約領導層提供的建議，以協助高層就決策性主題進行決策，例如：武裝部隊中的女性、CBRN 威脅和危害、新興和顛覆性技術 (EDT)、氣候變化和 2020-2040 年科技趨勢。

報告2：CMRE 2021年度報告

CMRE 的使命是組織和開展以海洋領域為中心的科學研究和技術開發，提供創新和經過現場測試的科學技術 (S&T) 解決方案，以滿足聯盟的國防和安全需求。

CMRE 2021 年度報告重點介紹了 CMRE 在執行其 2021 年工作計劃方面的活動及其在向客戶提供增值產品和服務方面取得的成就，特別是作為海事科技計劃的一部分的北約盟軍司令部轉型，其重點是：自主水雷對策；反潛戰的自主權；數據環境知識和運營效率；和海上無人系統的推動者。

年度報告說明了 CMRE 的科學家、工程師和技術人員如何以創新的方式利用新興和顛覆性技術，以保持北約的技術優勢。

報告3：2022 協同工作計劃

2022 年協作工作計劃概述了科學技術組織 (STO) 計劃在 2022 年開展的國防和安全相關研究和技術開發項目，以增強國家和北約的作戰軍事能力。2022 CPoW 由 283 個正在進行和計劃中的技術研究活動和 49 個探索團隊組成。

CPoW 是一種旨在滿足國家需求和北約要求的工具。因此，其構建基于國家、專家組/小組在其商務會議期間以及北約更高的集中組織提供戰略方向。最終，通過科學與技術委員會 (STB)， 各國仍然是決定 CPoW 如何發展的集體權威。CPoW 研究項目由法國巴黎附近的 STO 合作支持辦公室 (CSO) 管理，將在 CPoW 的所有主題領域進行：應用車輛技術 (AVT)；人為因素和醫學（HFM）；信息系統技術（IST）；系統分析與研究（SAS）；系統概念與集成（SCI）；傳感器和電子技術（SET）；以及建模和仿真 (NMSG)。

2022 年，許多 CPoW 項目繼續關注北約新興和顛覆性技術的應用和影響：人工智能、自主、大數據、生物技術、高超音速、量子科學、空間和新型材料。

摘要

信息共享一直對軍事行動至關重要。本文考慮了應包含哪些解釋性內容以促進更好的決策。探討了元不確定性的概念，這是在沒有解釋性內容的情況下產生的。論文使用兩個場景來探討省略解釋的后果。在場景中，貝葉斯網絡用于在不確定性下對推理進行建模。這些情景表明，元不確定性會對決策產生負面影響。提出了一種應對元不確定性的方法，即對共享信息的可能解釋進行概率建模。

圖1：軍事環境中的信息共享典型場景

【摘 要】

本報告提供了對機器學習 (ML) 技術的基本理解，并回顧了它們在國防和安全領域的應用。其目標是開發ML的內部專業知識，以支持與加拿大皇家海軍(RCN)海上信息戰(MIW)概念和愿景相一致的能力發展。本文進行了文獻回顧以收集有關在軍事和民用場景中實施和使用的 ML算法信息。結果表明，海軍必須適應和接受新技術，以便在所有 RCN的數據驅動決策中有效利用所有信息。這可以包括使用自動化、大數據分析、云計算、人工智能 (AI) 和 ML。這樣做可以減少與繁瑣任務相關的操作工作量，進而最大限度地減少人為錯誤和超負荷。這項研究表明，ML有可能提供新的或增強的能力，以支持 MIW 的概念，以及滿足使用現有和未來信息源的 RCN 的需求。這意味著開發利用這些技術的必要技能將使加拿大武裝部隊（CAF）受益。憑借這些專業知識和這些技術的適當應用，軍方將有能力在必須進行快速數據驅動決策的情況下更有效地利用其信息源。

【對國防和安全的意義】

本報告旨在就如何將人工智能和機器學習技術應用于支持加拿大皇家海軍與海上信息戰相關概念和目標，而建立基本的理解和專業知識。對這些技術及其在國防和安全領域的應用進行了回顧。

1 引言

在過去的十年中，加拿大國防部 (DND) 和加拿大皇家海軍 (RCN) 引入了新的概念和方法，以幫助提升其服務水平。其中許多概念引入了新技術，旨在增強信息空間在作戰級（即作戰職能）和事業級（即管理職能）方面的防御能力。在作戰層面，這些舉措得到了一系列文件的支持，這些文件強調了信息戰的重要性及其在 RCN 內的實施和執行。

2015年，海上信息戰（MIW）的概念被引入[1]。本概念文件概述了在信息環境中運作對 RCN 及其內部可能產生的影響。這一概念的引入清楚地強調了能夠利用該領域中可用信息源的重要性。它討論了信息的影響，基于其廣泛的可用性以及 RCN 的依賴性和使用該信息支持作戰的能力。

采用新的概念和技術進行能力開發并非沒有挑戰。這需要更有效的處理技術來處理在 MIW 的功能區域內收集的大量和各種數據。此外，概念文件還討論了 MIW 與物理、虛擬和認知領域的關系，表明在戰爭中使用所有領域的信息作為 RCN 的寶貴資源的重要性。

2016 年，RCN 發布了一份信息戰戰略文件，重點關注為國家和國際部署開發 MIW 能力 [2]。該戰略文件討論的主題包括有效收集、利用和傳播信息的重要性。該戰略還認識到并傳達了信息戰是RCN可以同時采取防御和進攻行動的地方。

2017年，加拿大國防政策發布[3]。盡管它沒有直接處理信息領域，但它承認信息對 RCN 的重要性，這在 2019 年和 2020 年分別發布的 DND 數據戰略 [4] 和 RCN 數字海軍 [5] 報告中得到了回應。數字海軍支持國防政策創新目標，其中包括適應和接受新技術的能力，而數據戰略涵蓋了如何利用技術在RCN 社區中做出數據驅動的決策。這可以包括使用自動化、大數據分析、云計算、人工智能 (AI) 和機器學習 (ML)。在操作上，期望通過這些技術對更繁瑣任務的自動化實施來減少海軍團隊的日常工作量，進而最大限度地減少人為錯誤和疲勞，提高整體作戰效率。

這些文件中包含的首要主題強調了 RCN 采用新的數字能力成為一個信息組織的重要性，其中信息在戰爭環境中被使用，但也被用作工具。使用和利用信息來支持 RCN 的現代工具、技術和專業知識是能力發展的關鍵。在此之后，我們顯然需要一個強大的、知情的、由信息科學、人工智能和機器學習專家組成的科學團體。

這項工作背后的動機是在 MIW 領域內建立科學專業知識，以支持 RCN 的目標。為實現這一目標，以下報告將回顧可在防御和安全領域中使用的 AI 和 ML 技術。除了這篇綜述之外，本文還將介紹這些與 RCN運作相關的技術的應用，例如艦艇監視、目標檢測以及使用生成建模來支持運作。

這項工作的總體目標是為如何將 AI 和 ML 技術應用于 RCN 挑戰提供科學基礎和理解。建立這些新興技術的專業知識不僅是支持當前運作目標的必要條件，也是對開發和塑造未來能力的投入。這種向算法決策制定的轉變與 MIW 的概念非常吻合，因為它認識到信息在戰爭中的使用至關重要。還提出并討論了 ML 未來的工作和研究主題。

5 機器學習在國防和安全中的應用

2、3、4章節簡要回顧了在計算機科學和數據分析中使用的機器學習技術。這些技術同樣適用于海上防御和安全領域中經常發現的問題。本節概述這些技術及其在這個領域的應用，特別是海上探測和監視有關的任務。此外，還將討論生成對抗ML方法的應用。需要注意的是，這些部分并不是對這個領域中已經完成的研究的全面回顧。相反，本文的目的是概述如何使用這些技術改進和開發與RCN相關的新功能。

5.1 艦艇監視

艦艇行為分析是與海上監視和安全相關的關鍵組成部分。這種分析的結果依賴于捕獲和利用艦艇活動數據的能力。用于海上監視的數據源包括：自動識別系統 (AIS) 數據、天基 AIS、雷達數據等。這種監視形式允許分析師進行船只航跡重建、路徑預測、異常艦艇交通監視，這些在海上領域非常重要，有助于發現恐怖主義、海盜、毒品和武器走私、非法移民和非法捕魚等非法活動。

5.1.1 機器學習應用

各種各樣的機器學習算法和技術可以應用于海事問題并提供有價值的見解。為了支持預測模型的開發，可以使用的技術包括：

? 聚類：無監督聚類方法已用于為海事和艦艇監視提供洞察力。這些聚類算法已應用于 AIS 數據。具體來說，已經報道了基于這些方法對艦艇運動實時預測的可靠性和準確性的研究[25]。還使用應用于基于空間的 AIS21 的 K-means 聚類算法來研究艦艇避撞，以評估航行穩定性和檢測異常行為[26]。研究人員還探索了使用聚類和 AIS 數據流來支持搜索和救援行動[27]。

? 決策樹：使用模糊粗略決策樹算法，研究探索了執行艦艇類型行為學習的能力[28]。對艦艇活動進行可靠和有效的表征可以提高海域態勢感知。這是通過使用包含運動學、靜態和環境信息等軌跡特征的概括向量來實現的，其中軌跡是通過融合 AIS、合成孔徑雷達 (SAR) 和天氣報告來創建的。

? 隨機森林：研究已使用隨機森林算法開發用于艦艇監視和跟蹤的各種目的的模型。由于多種原因，基于 AIS 的艦艇運動往往會丟失數據。例如，這些失誤可能是由于惡劣天氣造成的。為了檢測這些記錄，這些技術已被用于自動識別船只軌跡中缺失的位置記錄[29]。隨機森林也被用于創建預測船只目的地的模型。在艦艇離開特定港口后使用歷史 AIS 數據確定目的地點的能力也已被研究 [30]。這也通過比較當前和歷史軌跡數據進行了研究，以便根據相似性度量來預測最終位置[31]。

? 關聯挖掘：創建關聯規則的模型通常用于購物籃分析場景。然而，當應用于 AIS 數據源時，這種算法為艦艇運動分析提供了有用的見解。使用關聯挖掘進行的研究提供了有助于發現艦艇運動模式的洞察力。此類運動包括：軌跡預測，估計艦艇接下來最有可能訪問的港口[32]，并在收到新消息時預測艦艇的位置，并計算有和沒有艦艇位置插值的關聯概率[33]。

? 支持向量機：支持向量機執行回歸和分類任務。支持向量回歸用于研究異常艦艇行為的檢測。當前檢測異常行為的方法是利用艦艇運動的突然變化。然而，與海上事故相關的導航數據可以模擬正常情況。為了解決這個問題，使用 SVR 航道模型及其路線提取方法，開發了一個模型來檢測異常艦艇行為 [34]。該研究的目的是定義“通過將導航數據分配給位置基礎來確定異常行為的可接受的最大值和最小值”[34]。除了SVR研究之外，科學家們還研究了SVM在檢測和分類異常艦艇行為方面的應用。通過從原始AIS數據中提取海上運動模式，對異常艦艇行為的識別和分類提供了新的信息[35]。

? 人工神經網絡：人工神經網絡 (ANN) 已被用于幫助預測北極的船只速度，因為該地理區域氣候變化帶來的交通量增加[36]。 AIS 數據的使用允許模型根據位置、時間、艦艇用途、大小和冰級來預測艦艇的速度。在[37]中，作者使用神經網絡作為一個基于云的web應用程序來預測未來的艦艇行為。它能夠將預測的短期和長期行為疊加到交互式地圖上。除了預測艦艇航線，人工神經網絡也被用于調查異常檢測事件。具體來說，該研究著眼于AIS轉發器中觀察到的有意和非有意的切換，因為這種活動可以用來隱藏可疑或非法活動[38]。

?卷積神經網絡：AIS、雷達、高精度攝像機和電子海圖等信息源為理解海上態勢感知提供了有用的信息。利用這些來源，CNN可以提取艦艇運動模式。在[39]中，作者通過將原始AIS數據轉換成保存艦艇運動模式信息的圖像數據結構，利用歷史AIS重建艦艇軌跡。然而，使用AIS系統的艦艇軌跡重建技術存在原始數據含有噪聲、記錄缺失和其他錯誤。許多研究在進行彎曲軌跡或高損失率的艦艇重建時面臨困難。為了克服這些障礙，[40]的作者使用了一種健壯的CNN架構，稱為“U-net”。這種架構能夠處理不同采樣率的軌跡、丟失的數據記錄和其他噪聲相關問題的軌跡。

? 循環神經網絡：艦艇監測通常依賴于存在許多問題的 AIS 數據。AIS源可以表示大量數據，除了具有不規則的時間戳和丟失的記錄外，這些數據有時可能會非常臟亂。已經進行了研究以幫助解決這些問題。研究 [41] 使用多任務深度學習框架，將 RNN 與潛在變量建模相結合，以幫助在執行軌跡重建、異常檢測和艦艇識別等任務時處理這些問題。 [29]中的作者利用隨機森林來識別丟失的記錄，并使用 LSTM 架構來重建缺少 AIS 記錄的船只軌跡。結合統計分析、數據挖掘和神經網絡方法監測內河艦艇數據[42]。具體來說，LSTM 用于艦艇軌跡修復、發動機轉速建模和燃料消耗預測。在另一項研究 [43]中，由于與設備故障、傳輸延遲和信號丟失有關的問題，需要在分析之前對 AIS 數據進行預處理。作者通過將 LSTM 與變量建模相結合來執行軌跡重建，同時考慮異常軌跡數據和艦艇航行狀態。這一努力將有助于減少艦艇碰撞的風險，并支持其他研究途徑，如艦艇類型分析、風險評估、軌跡預測和航線規劃。

5.1.2 對比分析：為確定艦艇類型而開發的機器學習模型

監視海域中的艦艇行為對于檢測可能表明存在非法活動的異常情況至關重要。收發器用于報告 AIS 數據流，其中包含有關船只及其軌跡的信息。由于從 AIS 數據流收集的信息是自我報告的，因此可能會出現問題。有意或無意地修改此數據或打開/關閉轉發器會導致間歇性消息，這些消息可能不準確或具有誤導性。這種策略可用于掩飾海上的非法行為和活動。

在某一天，有大量船只在海上作業，人類操作員無法監控和檢測這些事件。因此，可以使用 AIS 數據流以及其他來源來訓練 ML 模型，從而為人類操作員提供自動化支持和洞察力。根據行為特征確定船只類型的能力是 ML 提供的眾多能力之一。探索艦艇類型分類的兩項研究是[28]和[44]。

在[28]中，作者開發了一個模糊粗略的決策樹模型，以根據運動學、靜態和環境信息確定艦艇類型。用于模型開發的訓練數據包含來自加拿大東海岸和美國東北部的 AIS 消息。[44]中給出的結果使用具有來自兩個不同地理區域的軌跡信息的 GANN 執行艦艇分類。第一個是歐洲數據集，其中包括來自凱爾特海、海峽和比斯開灣的海上交通。另一個是東南亞數據集，根據在新加坡附近的海峽和港口以及南中國海開放水域的海上交通中船只的預期運動模式，該數據集被分為三組。

在[44]中，作者使用以下性能指標來評估他們的模型：召回率、精度和 F1分數[45]。作者在他們的報告中使用召回指標作為他們的模型準確性。召回率表示正確識別的實際相似性部分，其中準確度是正確預測的數量與預測總數的比率。假設作者使用召回作為準確率，當將其與[28]中報告的性能進行比較時，此分析將把[44]中的召回指標視為模型準確度。兩項研究都將他們的結果與一系列其他 ML 技術進行了比較，以幫助評估性能。然而，與[44]不同的是，[28]報告了具有不確定性的準確性，從而賦予了性能結果意義，并使模糊粗略決策樹模型與其他標準技術相比更容易理解。除此之外，比較這兩篇論文的結果（沒有不確定性測量）表明，大多數機器學習模型的表現都一樣好。例如，k-最近鄰、樸素貝葉斯、隨機森林和支持向量機在[28]中的性能準確度在[44]中使用的四個數據集中的兩個數據集中的相似鄰域內。具體而言，新加坡港口和海峽周圍海上交通的準確率報告在 47% 到 64% 之間，而[28]中報告的準確率為 45% 到 69%。

[28] 中使用的多層感知器取得的結果表明，它以81.5%的整體準確度優于其他模型，略高于模糊粗略決策樹結果 (80.7%)。[44]中報告的四個不同數據集的準確率在41%到56%之間，非常差。在 [28] 中，對各種參數進行了特征選擇過程，并根據分配的加權值選擇了19個特征中的 10 個。特征及其相關權重為：ship_length (1.0)、avg_speed (0.183)、max_speed (0.183)、speed_st_dev (0.183)、course_st_dev (0.100)、heading_st_dev (0.097)、duration (0.082)、end_point lat (0.055)、start_point_lat (0.052) 和 max_lat (0.051)。[44]中使用軌跡特征來執行分類，利用 AIS 消息中包含的時間戳、經度、緯度、對地航向和對地速度。

這些研究之間選擇用于訓練的特征之間的主要區別之一是[28]中權重和影響最大的特征是ship_length，這不是[44]中使用的特征。模型的成功很大程度上取決于所用數據的質量和數量，但在很大程度上取決于特征選擇。在多層感知器模型的情況下，[44]中使用的軌跡信息特征可能不足以生成準確的艦艇類型預測。這表明了解艦艇的長度是進行此類分類的關鍵指標。在比較[28]中選擇的特征時，ship_length 被分配的權重大約是任何其他特征的五倍。這將使模型在進行分類時更加依賴此特定信息。除了特征選擇和可調超參數外，使用的訓練數據也對模型的成功有影響。數據的特征，如記錄數量、代表性內容以避免過度/不足以及數據完整性，都在成功訓練模型以提供高度性能方面發揮作用。

另一個有趣的觀察結果是，[44]中使用的GANN 報告了其分析中使用的數據集從低 80% 到高 96% 的一系列準確度，平均準確度為 87%。這些結果優于 [28]中使用模糊粗略決策樹報告的80.7% 準確度。關于為什么GANN 的表現似乎更好，有一些可能的解釋。GANN模型基于LSTM-RNN，它允許將時間依賴性構建到模型中。包括這個額外的時間維度可以提供預測洞察力，從而實現更高程度的預測準確性。此外，GANN 模型使用對抗性組件進行訓練，該對抗性組件可能迫使網絡實現更大程度的學習以執行其所需任務。

5.2 目標檢測

目標檢測對于防御和安全的海上環境中的監視和態勢感知都至關重要。然而，這是一項艱巨的任務，因為尺寸、方向和目標配置的變化加上環境背景噪聲和使用的各種傳感器的性能差異很大。所有這些事情只會增加這個問題的整體復雜性。傳統的檢測算法缺乏簡單性和可靠的輸出。深度學習領域的最新研究和進展表明，CNN 可以執行與檢測相關的任務，同時提供高速性能和準確性。開發這些能力正在推動促進防御和安全的技術。

5.2.1 機器學習應用

目前使用 CNN 顯示出前景的能力包括：使用SAR圖像進行艦艇識別和分類以監測海洋區域[46][47]、使用探地雷達[48]進行魚類檢測、海冰SAR圖像分類以監測極地地區的變化并檢測可能威脅海上交通的流冰[49]，并檢測從SAR [50][51] 和遠程傳感器[52]獲得的圖像中的船只。雖然這不是一個詳盡的應用程序列表，但它確實突出了一些與信息戰領域相關的當前 ML 應用程序。特別是，現在將討論 CNN 的兩個有趣的應用。

? 水下聲納圖像的目標識別和分類：研究[53]的研究重點是深度學習特征提取在水下聲納圖像目標識別和分類中的應用。該方法通過 CNN 使用聲納圖像提取目標特征。然后使用 SVM 進行分類。在現代海上作業期間執行自動目標識別和分類可以幫助當局檢測潛在威脅。自主系統，例如基于調查和戰術信息收集圖像的無人水下航行器，是可以利用這種技術的系統。機器學習的這種應用減少了對具有分類目標專業知識的操作員的需求。因此，隨著效率、速度和成本的提高，這個過程有可能變得更加自動化。該領域的一個活躍研究課題包括使用 ML 更好地檢測聲納數據中的類似地雷的物體[54][55]。

? 使用有限數據進行軍事目標識別和分類：CNN等深度學習算法是用于處理圖像和視頻的強大工具，可支持防御和安全功能。目標識別和分類能力對于監視和態勢感知至關重要。然而，所開發模型的成功取決于能否獲得反映被建模數據的關鍵屬性和特征的良好數據集。許多軍事場景中的訓練數據集的大小可能很少。[56]中的作者使用遷移學習和混合神經網絡層的組合來解決這個問題，以開發可以嵌入的先驗知識，以實現對高精度識別任務的特征提取的改進。這樣的發展自然會進入并改進分類過程。

5.2.2 對比分析：為使用聲納圖像進行目標檢測而開發的機器學習模型

自動目標識別在海上作業中發揮著重要作用。無人水下航行器使用聲學傳感器產生聲納圖像，幫助檢測水下目標和威脅，例如水雷。由于噪聲、低對比度和低分辨率，使用聲納圖像進行目標檢測很困難。ML和DL都提供了可以幫助提取特征和重要信息以進行對象檢測和分類的功能。

探討這個問題的兩篇研究論文包括Zhu等人[53]和Bouzerdoum等人[57]的工作。在[53]中，作者使用稱為AlexNet的預訓練NN來執行特征提取，然后使用SVM將檢測到的對象分為兩類：目標和非目標。然后將性能與以下兩種技術進行比較：局部二進制模式和定向梯度直方圖。在[57]中，作者遵循與[53]類似的方法，其中使用預訓練的網絡進行特征提取，并使用 SVM 對檢測到的對象進行分類。然而，在[57]中，對象被分為三個不同的類別：類水雷對象、非類水雷對象和誤報對象。該研究還開發了一個用于分類目的的小型 CNN，并使用了一個名為 ObjectNet23 的預先開發的 CNN 來執行相同的任務。所有這三種方法都在它們的整體性能方面進行了比較。

兩項研究都測試了用于特征提取的預訓練 CNN 和用于分類的 SVM 的應用。結果表明，[53]和[57]的性能準確率分別為 95.9% 和 76.2%。鑒于這些方法相似，人們不會期望這些結果會有大約 20% 的差異。兩個系統都使用預訓練的網絡進行特征提取。有趣的是，[57]考慮了不同的 CNN 架構，包括 VGG16 和 VGG19。這些網絡是基于 AlexNet 網絡的架構構建的，但經過改進。

奇怪的是，[57]中使用VGG的方法不會勝過[53]中使用 AlexNet 的技術。這樣的結果可以用許多因素來解釋。作者沒有指定用于訓練VGG網絡的數據集。用于訓練的數據質量和數量可能會影響模型的性能，從而使 AlexNet 能夠更好地提取特征。該問題也可能存在于SVM執行的分類中。用于訓練這些系統的數據可以極大地影響預測結果，因為在該領域很難獲得大量標記數據。兩項研究都進行了數據處理并使用增強技術來增加數據集的大小，這不如擁有更多“真實”數據點有效。此外，應注意分類類別的差異。[53]和[57]中檢測到的對象分別分為兩類和三類。擁有額外的類并嘗試檢測特定對象會更加復雜，并且可能會降低這些模型的整體性能準確性。

盡管這些研究使用了類似的方法來實現預訓練的 CNN 和 SVM 來執行目標檢測，但[57]也為此任務開發了一個小型 CNN。小型 CNN 的性能優于預訓練的 CNN + SVM 模型，準確率達到 98.3%。與大型 CNN 不同，較小尺寸的 CNN 需要訓練的參數顯著減少，從而在數據樣本有限時減少過度擬合的機會。這可能是小型 CNN 和預訓練 CNN 之間顯著性能差異的原因+ SVM 模型。

5.3 生成對抗網絡應用

艦艇檢測在軍用和民用環境中發揮著重要作用，各種類型的成像傳感器用于檢測、跟蹤和分類艦艇。因此，DNN 的引入改變了軍隊執行任務的方式。生成網絡提供了生成代表歷史數據記錄的數據或樣本的能力。此功能提供了新的數據樣本，可用于在軍事場景中訓練智能系統，在這些場景中，由于可用性、安全分類和成本，數據通常難以收集。但是，其他國家也可以使用相同的過程來創建對抗性數據，這些數據有可能危及易受此類攻擊的國家系統。因此，GANN 的實現既可以用于進攻性場景，也可以用于防御性場景。這些網絡可用于訓練預測、分類和產生可靠輸出的智能系統，以發展未來的軍事能力。 GANN 還提供了執行對抗性攻擊以欺騙對手系統的能力。

5.3.1 機器學習應用

GANN與國防和安全領域相關的應用包括：

? 對抗性偽裝：偽裝在軍隊中被用作一種策略，以阻止對手在視覺上檢測和分類軍事物體的能力。此類任務傳統上由人類觀察者執行。然而，戰斗空間在不斷發展，自主軍事代理和人工智能在此類任務中的使用也在增加。這一變化促使科學家們研究偽裝是否能有效對抗這些聰明的對手，或者是否有可能設計出能夠迷惑這些人工智能對手的偽裝。2019 年，對這個問題進行了調查，其中NN被訓練來區分和適當分類軍用和民用船只 [58]。這項研究的結果表明，如果 GANN 生成的模式覆蓋在軍艦的某些部分上，則針對此類圖像分類訓練的 NN 可能會混淆這些模式。這種技術被稱為對抗偽裝。進一步的研究 [59]研究了如何使用這種方法來欺騙選擇的幾個NN分類器。通過這樣做，他們能夠將分類的整體準確性降低到被認為不可靠的程度。在研究 [60]中，研究了迷彩圖案的穩健性和通用性。這些模式在研究中被稱為補丁，并且發現通過在補丁生成器的訓練中實施降級過濾器，作者表明他們能夠提高這些補丁的整體魯棒性或有效性。

? 特定發射器識別：[62]中報告了使用GANN開發的半監督特定發射器識別 (SEI)應用程序。此應用程序是針對與基于接收到的波形對發射器進行 SEI 分類相關的問題而開發的。這些波形容易受到可能導致單個發射器表示不準確的因素的影響。SEI在包括無線電和無線網絡安全在內的各種軍事應用中都很重要。

? 時空數據：2020 年，報告了與時空數據一起使用的 GANN 架構以及衡量此類模型性能的常用評估方法 [63]。這些架構已被用于執行軌跡預測和時間序列。盡管在該領域正在進行重要的研究，但執行時空數據預測的能力對研究人員來說是一個持續的挑戰。特別是對于時空應用是一個新領域的GANN。[63]中討論的最近工作強調了與數據生成相關的問題，這些問題會影響研究人員理解數據特征的能力。

5.3.2 對比分析：針對對抗偽裝開發的機器學習模型

對抗性偽裝用于防止軍事資產被發現和分類。傳統上，偽裝是通過使用大網或油漆來幫助隱藏人類觀察者的飛機或船只等資產來實現的。然而，隨著使用智能系統執行傳統上由人類執行的分類任務，戰場空間發生了變化。Adhikari等人[64] 和Aurdal 等人[58]進行的兩項研究，如何使用對抗偽裝來欺騙或誤導這些智能系統執行的自動對象檢測。在[64]中，基于補丁的對抗性攻擊被用來掩飾軍事資產不受無人駕駛空中監視的影響。該研究使用神經網絡創建覆蓋在軍事資產上的各種補丁，以防止自動檢測目標物體。對于這些研究，感興趣的目標對象主要是飛機。[58]中進行的工作訓練了一個可以檢測和分類軍用和民用船只的 NN。對第二個網絡進行了訓練，以生成用于防止對軍艦進行檢測和分類的補丁。

這些研究使用對抗性補丁來防止智能系統檢測或錯誤分類資產。兩項研究都表明，對抗性偽裝既可行又有效，但在現實世界中并不可行。貼片的設計可能相當復雜，因此很難將其復制到飛機或船只的外部。與[58]不同，[64]確實試圖通過將現實世界的適用性構建到損失函數中來解決這個問題。然而，這種方法是否充分并不明顯。

在比較這些作者所采取的方法時，[64] 中防止檢測的目標似乎更可行，部分原因是避免了與國際人道主義法相關的問題。相比之下，作者在 [58] 中的意圖是使用對抗性偽裝來實現將軍用船只錯誤分類為民用，顯然會陷入法律戰爭問題。然而，[64] 中采用的方法對于 [58] 中的船只可能更復雜，因為它們沒有與部署在陸地上的軍事資產相同的多樣化環境。這表明在考慮對抗性偽裝的應用時，能夠避免檢測是兩種方法中更好的方法。

此外，[58] 中使用的數據集由世界各地用戶上傳的圖像組成，這些圖像主要由艦艇輪廓組成。該數據集不太可能包含每艘船的足夠的方面數據。此外，[64] 專注于航拍圖像，而 [58] 則沒有。在海上的任何軍事場景中，用于檢測船只的數據集很可能包含空中數據。擁有完整的數據集將允許模型為這些艦艇的不同方向生成補丁，而不僅僅是輪廓補丁。為實際使用實施對抗性偽裝不僅需要此類數據，還需要適當的技術來實施。

最后，[64] 的訓練數據顯著減少，它使用稱為 YOLO26 的標準預訓練網絡進行目標檢測。該網絡是對語義對象進行分類的通用模型，并未經過專門訓練以檢測空中目標。然而，在[58]中建立并訓練了一個鑒別器網絡來專門檢測和分類艦艇。使用這種專門的鑒別器網絡的目的是提高創建補丁的網絡的整體性能。如果[64]的作者使用專門的鑒別器網絡而不是他們的預訓練網絡，他們將獲得什么性能提升，這將是一件有趣的事情。

6 總結和未來工作

技術進步已經并將繼續改變與現代戰爭相關的所有戰場空間。隨著機器學習、人工智能和自主代理的引入，軍方必須學會調整這些不斷發展的技術并將其整合到他們的系統中。DND和RCN都已主動引入和使用此類技術，目的是提高整體防御和安全性。本節將總結本文的內容，并討論作為文獻回顧的結果將進行的未來工作。

6.1 總結

本報告探討了深度學習和機器學習技術，這些技術可用于開發流程以支持 RCN 實現其既定目標所需的自動化和高效率。例如，回歸是一種進行未來預測的簡單方法，無監督聚類方法通過檢查和分組具有相似特征的數據點來推斷新信息，決策樹和隨機森林允許分析師評估選項并根據準確度估計進行分類，關聯挖掘創建可以檢測行為和模式的規則集，支持向量機允許分析師根據多種核函數選擇在高維空間中進行有效的預測和分類。此外，神經網絡很重要，因為它們可用于開發支持自動化的工具。例如，感知和深度神經網絡提供了人類不容易執行的分析能力；卷積神經網絡可以輕松處理具有網格狀拓撲結構的數據，例如音頻信號、圖像和視頻；遞歸神經網絡可以處理序列數據并處理長期依賴關系；生成建模技術可以執行密度估計和樣本生成，以支持一般的訓練模型或支持防御和進攻行動。

這些學習算法和技術的應用為分析師提供了洞察力并簡化了繁重的任務。在國防和安全的背景下，它們在能力開發周期中的應用顯示出巨大的前景。具體而言，本報告重點介紹了三種此類應用，包括艦艇監視、目標檢測以及對防御和進攻行動的支持。相當多的機器學習重點是艦艇監控，特別是航跡重建、防撞、航跡預測、目的地預測等。該研究領域已經研究并報告了許多機器學習算法的應用。目標檢測對于海上環境中的監視和態勢感知都至關重要。用于物體檢測的卷積神經網絡已被用于對船只進行分類、發現水雷、檢測海冰、使用水下聲納圖像進行分類、檢測具有有限數據的軍事物體等。生成對抗神經網絡可用作支持密集操作的工具和防守。此外，在國防和安全領域，它們已用于樣本生成、生成對抗偽裝、用于支持特定發射器識別，并用于時空數據應用，包括軌跡預測和時間序列插補的事件生成。

這些技術在國防和安全領域的適當應用可以為軍方提供情報，這些情報可以在必須進行快速數據驅動決策的情況下加以利用。本文提供了對 ML 技術應用背后的基礎知識的基本理解，以幫助構建使用符合 RCN 既定目標的新技術支持和構建能力所需的內部專業知識。對發展這種專業知識的任何投資都將有助于塑造應對現代戰場所帶來的挑戰所需的未來能力。這些空間在本質上變得越來越技術化，因此，DND 和 RCN 必須學習如何適應和改變，以便在這些環境中發揮作用。對于 RCN，利用技術援助利用數據和信息對于海上信息戰概念的成功至關重要。

6.2 未來工作

第 5 節中的討論涉及與 MIW 相關的防御和安全領域的各種 ML 應用。當前研究的一個共同主題是對艦艇監視的內在興趣。雖然 AIS 數據流是用于高度研究主題的重要信息來源，包括軌跡重建、路徑預測和船只異常行為識別，但文獻缺乏檢測與數據流本身相關的潛在異常。

在研究艦艇監視領域的異常檢測時，文獻傾向于將“異常”稱為可用于掩蓋非法海上活動的 AIS 應答器的有意和非有意開關。然而，研究這個數據流的特征和這個信息源中可能存在的異常是很重要的。檢測和解釋數據流中的異常有助于建立用戶對使用此信息訓練的 ML 模型的信任。模型提供準確和穩健的預測或分類的能力源于使用可靠和值得信賴的數據。因此，有必要將研究工作集中在 AIS 轉發器數據流上。

AIS數據流為各種船舶提供了大量的數據，這些船舶被法律要求在海上發送AIS信息。但是，船舶并不是操作可以產生AIS信息的AIS技術的必要條件。因此，用戶如何相信他們收到的數據是可靠、準確的，并且來自實際船只？這方面的一個例子是虛擬艦艇的存在。在這種情況下，這些船只正在將 AIS 消息傳輸到數據流中，即使它們實際上并不存在。這種類型的惡意注入可以用來迷惑和影響情報人員和決策者。這些虛擬船只的存在是海事運營中心注意到的數據流中的異常現象。因此，它們需要被識別和解釋，以支持決策過程。

在異常行為的背景下，研究虛擬艦艇的檢測是本研究中同樣重要的課題。這些研究將探索第 3 節和第 4 節中討論的機器學習技術的應用。檢測和確定識別虛擬艦艇的關鍵 AIS 信號特征的能力是這項工作的基礎。此外，從 AIS 數據流中刪除惡意注入的能力將大大有助于使信息更加可靠、準確和值得信賴。

美國陸軍總部發布新版“ ATP 2-33.4 Intelligence Analysis: January 2020”

情報分析是情報的核心。它是包括計劃在內的許多參謀活動的基礎，并貫穿整個美國陸軍。除其他結果外，分析有助于指揮官和其他決策者可視化作戰環境 (OE)、組織部隊和控制行動以實現其目標的能力。要了解情報分析的作用，情報專業人員必須了解情報分析與其他參謀流程的對應關系，尤其是軍事決策過程和信息收集。

ATP 2-33.4 向包括指揮官、參謀和領導人在內的廣大受眾提供有關情報人員如何進行分析以支持陸軍行動的基本信息。它描述了情報分析過程和具體的分析技術以及情報人員，特別是全源分析師在所有情報學科中進行情報分析的信息。此外，ATP 2-33.4 描述了情報分析如何促進指揮官的決策制定和對復雜環境的理解。ATP 2-33.4 的主要受眾是進行情報分析的初級到中級情報分析員。本出版物為指揮官、參謀人員和其他高級軍事人員提供情報分析的基本信息。

【作 者】

Arslan Munir：堪薩斯州立大學計算機科學系
Alexander Aved ：美國空軍研究實驗室 (AFRL)
Erik Blasch：AFRL 空軍科學研究辦公室 (AFOSR)

【摘 要】

態勢感知 (SA) 被定義為對環境中實體的感知、對其意義的理解以及對其近期狀態的預測。從空軍的角度來看，SA 是指理解和預測空域內紅藍飛機和地面威脅的當前和未來部署的能力。在本文中，我們提出了一個 SA 和動態決策模型，該模型結合了人工智能和動態數據驅動的應用系統，以根據不斷變化的情況調整測量和資源。我們討論了 SA 的測量以及與 SA 量化相關的挑戰。然后，我們闡述了大量有助于改進 SA 的技術，從不同的情報收集模式到人工智能，再到自動視覺系統。然后，我們介紹了 SA 的不同應用領域，包括戰場、灰色地帶戰、軍事和空軍基地、國土安全和國防以及關鍵基礎設施。最后，我們以對 SA 提出未來的見解。

關鍵詞： 態勢感知；動態數據驅動系統；人工智能；合成視覺系統；霧計算；灰色地帶戰

1. 引言

態勢感知 (SA) 可以定義為對環境中實體的認知、對其意義的理解以及對其近期狀態的預測。從空軍的角度來看，SA 是指在一定空間內設想紅色和藍色飛機的當前和未來部署以及地面威脅的能力。Endsley 的 SA 模型 [1] 已被廣泛采用，它包括三個不同的階段或層次：感知、理解和預測。美國國防部 (DOD) 的軍事和相關術語詞典將空間 SA 定義為：“空間物體和空間作戰所依賴的作戰環境的必要基礎、當前和預測知識和特征”[2]。SA 通常被認為包含評估（機器）、意識（用戶）和理解（用戶-機器組合）[3]。 盡管許多領域都需要 SA，例如緊急情況和/或災難響應、工業過程控制 SA 和基礎設施監控，但 SA 對于軍事和空軍尤其重要。圖 1從軍事和空軍的角度描述了 SA 的概況。SA 是軍事指揮和控制 (C2) 不可分割的一部分。美國國防部軍事和相關術語詞典將 C2 定義為：“在完成任務時，由適當指定的指揮官對指定和附屬部隊行使權力和指揮”[2]。C2 可以被視為由 SA、計劃、任務和控制組成。C2 系統設計的目的是有選擇地向指揮官展示形勢，以便指揮官了解形勢，然后采取最佳行動。SA 不僅對指揮官而且對下馬操作員都是必不可少的。為了使下車操作員有效參與，他們不僅必須獲取和理解有關其環境的信息，而且還必須利用這些信息來預測不久的將來的事件，從而相應地計劃和調整他們的行動。

圖 1. 態勢感知概述

SA 對空軍來說是必不可少的，被認為是空戰交戰中的決定性因素 [4]。混戰中的生存很大程度上依賴于 SA，因為它依賴于觀察敵方飛機當前的移動并在敵方自己觀察他/她的飛機移動之前幾秒鐘預測其未來的行動。SA 也可以被視為等同于美國空軍 (USAF) 戰爭理論家約翰·博伊德上校所描述的觀察-定向-決策-行動 (OODA) 循環的“觀察”和“定向”階段 [5]。戰斗中的制勝策略是通過比對手更好的 SA 進入對手的 OODA 循環，從而不僅比對手更快地做出自己的決定，而且還可能以不可觀察或不可理解的方式改變局勢在給定的時間內由對手。失去一個人的 SA 就等于脫離了 OODA 循環。由于飛行員要應對較高級別的航空交通、惡劣天氣（例如風暴、大霧）以及最近在空域的無人機（UAV）等許多艱巨的情況，他們需要配備先進的 SA 系統來應對在這些對立的條件下。本文從軍事和空軍的角度討論 SA。

我們在本文中的主要貢獻如下：

• 我們從軍事和空軍的角度定義和闡述 SA。
• 我們提出了一個 SA 和動態決策模型。
• 我們討論 SA 的測量，確定 SA 評估的指標，以及與 SA 量化相關的挑戰。
• 我們討論了有助于提高 SA 的不同技術和技術。
• 我們概述了 SA 的不同應用領域，包括戰場、城市戰、灰色地帶戰、國土安全和國防、災難響應管理和關鍵基礎設施。

本文的其余部分組織如下。第 2 節介紹了 SA 和相關決策的模型。第 3 節討論 SA 的測量方法以及與測量 SA 相關的挑戰。第 4 節詳細介紹了改進 SA 的技術和技術。第 5 節概述了 SA 的不同應用領域。最后，第 6 節總結了本文。

2. SA 和決策模型

在本節中，我們將介紹并討論 SA 和相關決策的模型。圖 2描繪了我們的 SA 和動態決策模型，該模型的靈感來自 Endsley 的 SA 模型 [6]，該模型已被廣泛采用。該模型具有SA 核心，而感知和決策元素圍繞 SA 核心構建。大量傳感器感知環境以獲取環境狀態。將感知信息融合在一起，去除感知數據中的冗余，例如不同相機捕獲的多個相似視圖或近距離不同傳感器感知的數量，同時也克服了從單一來源獲取數據的缺點，例如作為遮擋，環境照明條件的變化和/或環境中的混亂元素。融合后的數據然后被傳遞到 SA 核心，它包括三個級別或階段 [7]。

圖 2. SA 模型和動態決策

感知——1 級 SA：獲得 SA 的第一階段是感知周圍實體的狀態、屬性和動態。例如，飛行員需要辨別環境中的重要實體，例如其他飛機、地形和警示燈以及它們的相關特征。

理解——2 級 SA：SA的第二個階段是對情況的理解，它基于斷開的 1 級 SA 元素的整合。2 級 SA 比僅僅了解環境中的元素更進一步，因為它處理的是對這些元素與運營商目標相關的重要性的理解。簡而言之，我們可以將 SA 的第二階段描述為對環境中實體的理解，特別是在集成在一起時，與運營商的目標相關. 例如，飛行員必須了解感知元素相互關聯的重要性。業余操作員可能能夠達到與更有經驗的操作員相同的 1 級 SA，但可能會掙扎以吸收感知元素以及相關目標以充分理解情況（2 級 SA）。

預測——3 級 SA：SA的第三級涉及至少在短期內預測環境中實體的未來行動的能力。這種預測是基于對環境中元素的狀態和動態的認識以及對情況的理解來實現的。簡而言之，我們可以將 SA 的第三層描述為對未來環境中實體狀態的預測或估計，至少在不久的將來是這樣。例如，從感知和理解的信息中，有經驗的飛行員/操作員預測可能的未來事件（3 級 SA），這為他們提供知識和時間來確定最合適的行動方案以實現其目標 [1]。

如圖 2所示，SA 核心還從戰略或作戰級別的指揮官那里接收有關 SA 目標或目的的輸入。我們的模型通過增加對人工智能(AI) 輔助決策和資源管理的支持，增強了 Endsley [7] 的 SA 模型的感知、理解和預測。感知是通過標準信息融合和資源管理循環來解決的。此外，為了更好地根據不斷變化的情況管理資源，動態數據驅動的應用系統(DDDAS) 模塊向資源管理模塊提供輸入，該模塊管理感知環境的傳感器和 SA 核心中的計算資源。DDDAS 是一種范式，其中應用系統的計算和儀表方面在反饋控制回路中動態同化，以便儀表數據可以動態融合到應用程序的執行模型中，而執行模型可以反過來控制儀器[8]。

在圖 2中，DDDAS 模塊幫助引導測量儀器和數據增強的信息融合過程，從物理知識中改進環境中感興趣實體的 SA。DDDAS 模塊可以幫助引導和重新配置傳感器，以增加感知數據的信息內容，從而增強環境中感興趣活動的 SA [8]。DDDAS 模塊還通過匹配本地化信息內容的預期熵來幫助調整計算資源，并相應地將更多的計算資源分配給導致高信息熵的實體。例如，在監視應用的情況下，特定位置的感興趣對象的存在將需要高分辨率傳感和優先計算，以實現實時檢測和跟蹤這些對象，而沒有感興趣活動的區域將接受粗略感應和SA 沒有明顯惡化的計算。使用 DDDAS 數據增強物理知識的一個例子是在目標跟蹤中使用道路約束作為知識 [8 , 9]。因此，具有增強數據的 DDDAS 范式為利用深度學習補充傳統的信息融合方法提供了額外的機會，用于 SA 的各種應用，例如使用 GPS 數據進行自動車輛跟蹤 [10]、使用圖像數據進行交通監控 [11]、和運輸調度[12]。

由于最近人工智能的進步，人工智能已成為 SA 核心和動態決策不可或缺的一部分。AI 幫助操作員/飛行員了解情況（2 級 SA），然后對環境中實體的未來行動做出預測（3 級 SA）。因此，人工智能模型的穩健性以及操作員的能力、經驗和訓練水平都決定了操作員的理解水平和未來預測的準確性。基于獲得的理解和預測，決策由人工智能模型向指揮官推薦，然后指揮官根據人工智能的輸入和評估的情況做出適當的決定。最后，決策由運營商在戰術層面實施。要執行的決定范圍很廣，包括人員和設備的定位、武器的發射、醫療后送和后勤支持。

3. 衡量態勢感知

設計 SA 系統時出現的一個基本問題是，所設計的系統在促進 SA 方面是否比其他一些交替系統更好。為了回答這個問題，設計師需要一種方法來評估正在開發的用于增強 SA 的概念和技術。SA 測量方法應包含多種系統設計概念，包括 [13]：(i) 顯示符號，(ii) 高級顯示概念，例如 3-D 顯示器、語音控制、平板顯示器、平視顯示器 (HUD) ) 和頭盔顯示器 (HMD) 等，(iii) 電子、航空電子和傳感概念，(iv) 信息融合概念，(v) 自動化，(vi) 完整性，(vii) 可信賴性，以及 (viii) ) 訓練方法。SA 評估的一些指標包括：(i) 及時性，(ii) 準確性，(iii) 信任，(iv) 可信度（可以通過檢測概率和誤報概率的混淆矩陣來描述），(v) 可用性（信息和系統） ，(vi) 工作量，(vii) 成本，(viii) 注意力，(ix) 性能（成功完成任務；也可用于評估做出的決定），以及 (x) 范圍（本地與全球或單一智能（單 INT）與多智能（多 INT））。 Uhlarik 和 Comerford [14] 描述了在評估 SA 測量方法的有效性時相關的結構類型：

• 表面效度：根據主題專家的判斷，SA 測量方法似乎可以測量 SA 的程度。

• 建構效度： SA 測量方法在何種程度上得到 SA 的合理理論或模型的支持。

• 預測效度： SA 測量方法可以預測 SA 的程度。

• 并發有效性： SA 測量方法與 SA 的其他測量相關的程度。

3.1 SA 評估技術

Nguyen等人[15] 對 SA 評估方法進行了詳細審查。SA 評估技術利用不同類型的探針來測量 SA。這些探針包括 [15]：

• 凍結探測技術：在凍結探測技術中，受試者（飛行員）執行的任務在飛行模擬器訓練中被隨機凍結。所有的顯示都是空白的，并且一組查詢被呈現給主題。受試者根據他/她對當前環境（即凍結點）的知識和理解來回答問題。記錄受試者的反應并與當前環境的實際狀態進行比較以提供 SA 分數。

• 實時探測技術：在實時探測技術中，查詢在任務執行期間的相關點呈現給主體，而不會凍結任務。記錄受試者對查詢的響應以及響應時間以確定 SA 分數。

• 試驗后自我評分技術：每個受試者在任務執行后通過評分量表對他/她自己的 SA 進行主觀評估。由于自評是在試驗后進行的，自評技術快速且易于使用，但主觀性高，取決于受試者的任務/任務表現，可能無法準確反映實際收到的 SA在任務期間，因為人類經常表現出對過去心理事件的不良回憶[15]。

• 觀察者評級技術：主題專家 (SME) 通過在任務執行期間觀察主題的行為和表現來提供 SA 評級。這些技術是非侵入性的，但是，觀察者分配的 SA 評級是模棱兩可的，因為準確觀察 SA 的內部過程是不可行的。 基于績效的評分技術： SA 評分是根據任務/任務期間受試者的表現分配的。記錄和分析任務事件期間的幾個性能特征以確定 SA 評級。基于表現的評分有一個缺點，因為這些技術假設受試者的有效表現對應于良好的 SA，這不一定是正確的，因為表現還取決于受試者的經驗和技能。

• 基于過程指數的評級技術：基于過程指數的 SA 評級技術記錄、分析和評級主體在任務執行期間遵循以確定 SA 的某些過程。在任務執行期間觀察對象的眼球運動是過程索引的示例之一。基于過程指數的評級有一個缺點，因為受試者可能專注于眼睛跟蹤設備所指示的某個環境元素，但受試者不能感知該元素或情況。

在本節中，我們將討論一些常用的 SA 測量技術，即：（i）NASA 任務負荷指數（TLX）[16]，（ii）SA 全局評估技術（SAGAT）[13]，（iii ) SA 評級技術 (SART) [17]，以及 (iv) 關鍵決策方法 (CDM) [18]。表 1提供了基于前面討論的評估指標的不同 SA 測量技術的比較。下面討論這些技術。

表 1. SA 評估技術的比較

3.1.1 美國宇航局 TLX

工作量是任何用戶操作的一個重要因素，因為在任務要求和分配的執行各種任務的時間之間存在一個最佳平衡點。Hart 和 Staveland 于 1988 年開發了 TLX [ 16 ]。NASA TLX 采用試驗后自我評估探測技術。TLX 提供用戶關于 SA 指標的主觀報告，通常用于估計工作量。用戶對報告的問題的回答給出了對任務的心理、身體和時間需求的相對評估。NASA TLX 側重于SA 評估的及時性、工作量和性能指標。

3.1.2 SAGAT

SAGAT [13] 已被提議作為一種測量飛行員的 SA 的方法。SAGAT 之所以這樣命名，是因為該技術區分了本地 SA 和全局 SA。SAGAT 利用冷凍探針技術來確定 SA 等級。在 SAGAT 中，飛行員在人在回路模擬中使用給定的飛機系統飛行任務場景。在某個隨機時間點，模擬停止，并向飛行員提供一份問卷，以確定他/她對當時情況的了解。由于在一個站點中向飛行員詢問有關他/她的 SA 的所有問題是不可行的，因此在每個站點中向飛行員詢問隨機選擇的 SA 查詢的子集。對于執行相同任務的幾名飛行員，這種隨機抽樣過程會重復多次，以獲得統計意義。這種隨機抽樣方法允許一致性和統計有效性，從而可以比較不同試驗、飛行員、系統和任務的 SA 分數。在試驗完成時，將根據模擬中實際發生的情況檢查查詢答案。感知和實際情況的比較提供了飛行員 SA 的衡量標準。

SAGAT 評分分為三個區域：即時、中間和長期。SAGAT 還能夠評估顯示器的象征意義和概念。某些顯示器僅捕獲本地 SA，而其他顯示器呈現全局 SA。SAGAT 將確定用戶/飛行員是專注于單一智能產品還是利用來自多智能顯示器的信息融合來回答來自探測器的查詢。一個例子是來自圖像情報的單目標跟蹤或組跟蹤。來自全動態視頻 (FMV) 的單個目標跟蹤可能無法捕獲可以從高海拔視點（例如廣域運動圖像 (WAMI)）獲取的全局情況信息。SAGAT 注重準確性、可信度、SA 評估的成本和性能指標。

SAGAT 的主要限制是必須停止模擬才能獲得飛行員感知的 SA 數據。此外，SAGAT 是為空對空戰斗機任務開發的，并且不存在用于評估包含空對空、空對地和空對海場景的全球結構的 SA 的 SA 測量工具.

3.1.3 SART

SART 問卷由 Taylor 于 1990 年開發 [17]。SART 使用試驗后自我評價探測技術。SART 提供了飛行員/用戶在執行期間的注意力或意識的主觀意見。SART 問卷包括情境穩定性/不穩定性、情境復雜性、情境可變性、對情境的警覺性、注意力集中、注意力分配、備用心智能力、信息量和情境熟悉度等要素。可以從 SART 評估信任、可信度、工作量、注意力和績效等指標。

我們注意到，隨著用戶熟悉用于任務的工具，注意力、工作量和信任可能是 SART 不斷發展的評估。SART 中的注意力劃分涉及單智能 (single-INT) 診斷與組合多智能 (multi-INT) 呈現。為了獲得多 INT，SA 系統不應要求用戶在單個 INT 之間切換，因為切換會增加工作量，需要額外的注意力，甚至會造成不穩定或誤解。Multi-INT 融合顯示是增強 SA 的首選，因為 Multi-INT 顯示可以減少數據過載、增加注意力并支持理解。SART 中與工作量評估最相關的要素是備用心智能力和信息量。備用心智能力問卷檢查用戶是否可以專注于單個事件/變量或是否可以使用多 INT 演示跟蹤多個事件/變量。信息量問卷檢查用戶使用SA系統獲得的信息量。該問卷還檢查是否在需要的時間和地點向用戶提供了及時和可操作的數據。信息量應包括相關信息并提供有關情況的知識。信息量包括呈現給用戶的數據的類型、質量和相關性，因為過多的數據會使用戶負擔過重并給情況分析增加混亂。

3.1.4 CDM

CDM 是由 O'hare 等人開發的。1998年 [18]。CDM 使用審后自評探測技術。CDM 已用于確定在執行期間使用了哪些決策點。CDM 問卷包含有關目標規范、線索識別、決策期望、決策信心、信息可靠性、信息集成、信息可用性、信息完整性、決策備選方案、決策阻塞、決策規則和決策類比等要素。目標規范探測檢查用戶在不同決策點的具體目標。提示識別探針檢查用戶在制定決策時正在尋找的特征。決策期望探測檢查做出的決策是否是事件/任務過程中的預期決策。決策置信度調查評估對所做決策的置信度，以及該決策在某些改變的情況下是否會有所不同。信息可靠性查詢分析用戶是否懷疑可用信息的可靠性或相關性。信息集成查詢檢查可用信息是否以集成方式呈現，并突出顯示重要實體、這些實體之間的關系和事件。信息可用性探測在決策時驗證足夠信息的可用性。信息完整性探測分析呈現給用戶的信息在決策時是否完整，以及是否有任何附加信息可以幫助用戶制定決策。決策替代查詢檢查是否存在任何可能的或正在考慮的替代決策，而不是做出的決定。如果在決策過程中的任何階段，用戶發現難以處理和/或整合可用信息，則決策阻斷探針分析。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標 用戶發現難以處理和/或整合可用信息。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標 用戶發現難以處理和/或整合可用信息。決策規則探測檢查用戶是否可以根據他的經驗制定可以幫助其他人成功做出相同決策的規則。最后，決策類比查詢分析用戶是否可以將決策過程與之前做出類似/不同決策的經驗聯系起來。的指標可以從 SART 評估及時性、準確性、信任度、可信度、可用性和性能。

3.2 衡量 SA 的挑戰

SA 可以通過可量化的指標（例如時間和準確性）憑經驗評估操作員的績效來衡量，并將這些指標與沒有 SA 幫助的類似測試的結果進行比較。然而，量化 SA [9,19]的工作很少。大多數駕駛艙設計師依靠推測來估計替代設計提供的 SA。大多數現有的測量 SA 的方法都存在各種缺點，包括但不限于：

• 主觀性：測量 SA 的技術可以要求指揮官、操作員和/或飛行員對他/她的 SA 進行評分（例如，從 1 到 10 的等級）。這種方法有嚴重的局限性，因為受試者不知道環境中實際發生了什么，并且他/她對自己的 SA 進行評分的能力是主觀的 [20]。此外，受試者的評分可能會受到任務輸出的影響，也就是說，當任務通過僥幸或良好的 SA 成功時，受試者很可能會報告良好的 SA，反之亦然。此外，如果評估是由不同的飛行員、操作員或指揮官進行的，那么對給定系統的 SA 評估可能會存在顯著差異。

• 生理學：獲得受試者思想的準確圖像以始終估計 SA 是具有挑戰性的。P300 (P3) 和腦電圖 (EEG) 測量為測量認知功能提供了希望，但不能確定受試者對環境中元素的理解。來自生物方法的 SA 被用作“壓力”的間接測量，并且可以與性能一起使用；然而，生理測量和心理表現之間的良好匹配仍然不是眾所周知的[21]。

• 調查：可以對受試者進行詳細的問卷調查，了解他們通過 SA 系統獲得的 SA。然而，人們的回憶受到興趣活動和問卷管理之間的時間和中間事件的影響[13,20]。這個缺陷可以通過在使用 SA 模擬器時詢問他們的 SA 主題來克服。然而，這種方法也有缺點。首先，在感興趣的情況下，受試者工作量很大，可能會阻止他/她回答問題。其次，這些問題可以提示受試者注意顯示器上的請求信息，從而改變他/她的真實 SA。

• 局限性：許多方法旨在一次評估單個設計問題 [19]。在這種情況下，受試者可能會無意中將他們的注意力轉移到正在評估的問題上，這將導致該問題對受試者的 SA 產生不真實的影響。由于SA本質上是一個全局結構，如果設計者要充分解決主體（例如，指揮官、操作員、飛行員）的SA需求，則需要對SA進行全局度量。 覆蓋范圍：表1表明當代 SA 測量技術通常側重于一些評估指標。例如，NASA TLX 側重于及時性和工作量；SAGAT強調準確性、可信度和成本；SART 以吞吐量為目標；CDM 注重信譽。因此，挑戰在于開發比現有測量技術涵蓋更多指標的 SA 評估技術。

3.3 SA 指標

已經開發了各種指標來評估 SA 系統的價值。這些指標可以分為五個類別或維度[19]：（i）置信度，（ii）準確性/純度，（iii）及時性，（iv）吞吐量和（v）成本。表 2總結了 SA 系統的指標。

表 2. 態勢感知系統指標

置信度是衡量系統檢測到真實活動的能力的指標，通常報告為概率。有用于量化置信度的三個指標：（a）精度，（b）召回，和（c）碎片。

精度是 SA 系統做出的正確檢測/預測相對于檢測到的活動總數的百分比。精度可以表示為：

其中，真正的檢測意味著檢測到活動并且是真實或正確的檢測，而錯誤檢測意味著檢測到活動，但是是不正確的檢測/預測。

召回是 SA 系統正確識別的活動相對于基本事實定義的已知活動總數的百分比。召回率可以表示為：

其中誤報意味著活動被預測為負面但實際上是正面的，或者沒有正確檢測到真實活動。 碎片化是報告為多項活動而應報告為一項活動的活動的百分比。例如，在跳島攻擊中，目標計算機受到威脅，然后用于對其他計算機發起攻擊。為了正確檢測此攻擊，目標成為攻擊者的所有實例都應包含在與穿過該島的原始攻擊者相同的軌跡中。很多時候，SA 系統中的融合引擎將無法將后續證據與原始攻擊正確關聯，從而將攻擊報告為兩個或多個攻擊軌跡。我們注意到一個攻擊軌跡是指來自多個數據流的證據（即從原始傳感器數據生成的事件），這些數據流融合在一起以識別潛在的攻擊[22]。碎片化看似誤報，因為具有碎片化的 SA 系統將現有活動識別為新活動，而不是將現有活動與復雜活動相關聯。分片可以表示為：

準確性/純度是指預測/檢測到的活動的質量，即觀察是否正確匹配并與正確的活動軌跡相關聯。兩個指標用于量化純度：（a）錯誤分配率，和（b）證據召回。錯誤分配率定義為錯誤分配給給定活動的證據或觀察的百分比。錯配率可以表示為：

錯誤分配率有助于評估 SA 系統是否將證據分配給不相關的活動軌道，或者 SA 系統是否僅將直接有用的證據分配給活動軌道。

證據召回是檢測到的證據或警報相對于已知或實際事件總數的百分比。證據召回可以表示為：

證據召回量化了有多少可用的證據真正被利用。

已經觀察到，在某些 SA 領域，例如網絡 SA 系統，純度指標并沒有被證明很有幫助。如果錯誤分配率很高，則表明基礎數據的相關性或關聯性不正確；然而，它并不能說明檢測到的攻擊的質量[ 22 ]。關于證據召回指標，直覺上我們會認為如果使用更多的證據，攻擊檢測會更準確，置信度高（高精度和高召回率）；然而，根據經驗，[ 22 ]沒有觀察到網絡 SA 系統中的證據數量和檢測質量之間的關系。相反，有時更少的證據會導致更好的檢測。這意味著只有少數真正相關的事件意味著攻擊。

及時性評估 SA 系統在特定 SA 域的時間要求內響應的能力。及時性通常通過延遲度量來衡量。延遲通常指事件發生與 SA 系統發出警報之間的時間。及時性表征 SA 系統在特定 SA 域的時間要求內響應的能力。及時性維度對于評估 SA 系統是否不僅可以快速識別活動，而且還提供足夠的時間來對該活動采取行動（如果需要）提供了重要的信息。

吞吐量衡量單位時間內完成的工作量（例如，任務、事務）。在 SA 上下文中，吞吐量是指每單位時間檢測到的事件數。

成本通常根據兩個指標來衡量：(a) 成本效用，和 (b) 加權成本。成本效用估計 SA 系統上投資成本的效用。由于在給定 SA 系統上使用的資源有限，因此由于對給定 SA 系統的投資而放棄了最佳替代活動的“機會成本”。加權成本度量標準旨在通過考慮以正權重檢測到的活動或攻擊的類型來捕捉 SA 系統的有用性，同時以負權重懲罰系統的誤報。不同的權重被分配給不同類別的活動或攻擊。然后，加權成本是分配給檢測到的活動或攻擊的值（權重）之和與地面實況中活動/攻擊軌跡的值之和的比率。

4. 提高態勢感知的技巧和技術

改進 SA 一直處于軍事技術進步的前沿。軍方已利用各種技術創新來改進 SA。雖然不可能涵蓋已用于改進 SA 的所有技術和技術，但本節概述了其中一些正在考慮或已被軍隊和/或空軍采用以增強 SA 的技術進步。

4.1 情報收集模式

SA 依賴于從多個來源收集的情報，例如人類、信號、數據（例如，文本、音頻、視頻）和社交媒體。為了獲得更好的 SA 并提高所獲取 SA 的準確性，需要來自多個來源的情報來過濾從特定情報來源報告的差異。有助于改進 SA 的不同情報來源包括人類情報 (HUMINT)、開源情報 (OSINT)、測量和簽名情報 (MASINT)、信號情報 (SIGINT)、圖像情報 (IMINT) 和地理空間情報 (GEOINT)。

4.2 傳感器和傳感器網絡

技術進步導致了多種傳感器的開發，其中許多傳感器已在監視和 SA 系統中得到應用。通常用于增強 SA 的傳感器包括位置傳感器、可見光（紅、綠、藍 (RGB)）攝像頭傳感器、夜視攝像頭傳感器、紅外圖像傳感器、紫外圖像傳感器、運動傳感器、接近傳感器、煙霧/火傳感器、槍聲探測器和定位器、遠程傳感器和合成孔徑雷達。這些傳感器通常以無線方式連接在一起，為給定區域提供監視覆蓋。地理定位系統是基于傳感器的系統的一個示例，通常是監視和 SA 應用程序的一部分。軍事地理定位系統旨在克服多路徑并提供小于 1 m (< 1 m) 開闊地形中的測距精度和建筑物內小于 2 m (<2 m) 的精度。為了實現這些目標，軍事裝備的地理定位系統依賴于各種傳感器。用于軍事設備的許多地理定位系統集成了來自互補傳感器的測量，例如全球定位系統 (GPS)、慣性測量單元、到達時間、氣壓傳感器和磁羅盤，以提供比任何技術都更精確的融合解決方案個別傳感器。

大量情報、監視和偵察 (ISR) 傳感器收集的數據增強了決策者的 SA，并幫助他們更好地了解他們的環境和威脅。然而，多種因素阻礙了最終用戶的 SA 增強，包括不兼容的數據格式、帶寬限制、傳感器持久性（傳感器連續感知的能力）、傳感器重訪率（傳感器觀察同一地理點的速率；該術語主要用于移動傳感器，例如衛星或無人機傳感）和多級安全[23]。此外，隨著傳感器數據量的增加，挑戰在于識別最重要的信息片段，融合該信息，然后以合適的格式將該信息呈現給最終用戶。

最近在軍隊和空軍中，需要訪問傳感器信息的最終用戶數量不斷增加。例如，此信息的最終用戶可能是制定目標決策的戰斗機（例如，F-16 戰隼、F-35 閃電 II）的飛行員、保衛城市的軍事指揮官、試圖在鎮壓民間騷亂，或聯合空中作戰中心 (CAOC) 戰略團隊成員制定空中作戰戰略計劃 [ 23 ]。盡管每個最終用戶的具體信息要求、安全級別和帶寬限制會有所不同，但對實現和維護 SA 的及時、準確、相關和可信信息的總體需求保持不變。分層傳感的概念空軍研究實驗室 (AFRL) 傳感器理事會已設想向決策者提供融合的、多源、多維和多光譜的傳感器數據，無論決策者位于何處，都符合他們的需求，其目標是提高決策者的 SA。

4.3 軟件定義無線電

軟件定義無線電 (SDR) 是一種無線電通信系統，它在軟件而不是硬件中實現了許多無線電組件，例如混頻器、調制器、解調器、糾錯和加密，因此可以更輕松地重新配置和適應不同的溝通情況。美國軍方的聯合戰術無線電系統 (JTRS) 計劃的任務是用一組 SDR 替換現有的軍用無線電，這些無線電可以通過簡單的軟件更新在新的頻率和模式（波形）下工作，而不是需要多個無線電用于不同的頻率和模式并要求更換電路板進行升級 [24]。后來 JTRS 轉變為聯合戰術網絡中心 (JTNC) [25]。SDR 經常用于小型單位運營商的 SA 系統，以便為作戰人員提供一個系統，該系統可以在限制性環境，特別是城市環境中提供可靠和靈活的通信。SDR 提供廣泛的調諧范圍（例如，從 20 MHz 到 2500 MHz [26]），使運營商的 SA 系統能夠選擇最佳頻段，以在各種受限地形中保持鏈路連接。此外，SDR 允許自適應直接序列擴頻波形（例如，從 0.5 MHz 到 32 MHz [26]) 用于調制。SDR 的其他潛在可調參數包括無線電設置的適應（例如，傳輸功率、頻率、天線增益、調制、編碼、基帶濾波、信號增益控制、采樣和量化）、數據鏈路層參數（例如，信道監控和關聯方案、傳輸和睡眠調度、傳輸速率和錯誤檢查）和網絡層參數（例如，路由、服務質量管理和拓撲控制）[27]。

4.4 人工智能

人工智能的進步對 SA 有重大影響。人工智能可以極大地提高下車操作員、士兵和飛行員對環境的認識，因為基于人工智能的應用程序可以通知士兵紅軍的存在和移動，從而幫助識別和緩解威脅。AI 在 SA 的“投射”階段（3 級 SA）特別有用。AI 可以幫助進行實時分析和預測以改進 SA。對于軍事應用，人工智能可以為地面上的步行操作員和飛行員提供可操作的情報和決策協助。人工智能還可以通過實現預測性維護、提高操作設備的安全性和降低運營成本來促進物流。此外，人工智能可以通過在軍用彈藥耗盡之前跟蹤和供應軍用彈藥來促進部隊的戰備狀態。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。人工智能也是人機協作工作不可或缺的一部分，旨在促進人類與復雜機器的高效和有效集成，超越標準圖形用戶界面、計算機鍵盤和鼠標的使用，并專注于多模式交互功能，例如眼鏡顯示、語音、手勢識別和其他創新界面。人工智能還適用于完成枯燥、危險或骯臟的軍事工作，從而增強兵力，減少傷亡。

4.5 無人機

無人機 (UAV) 可以極大地幫助改進 SA，因為無人機適用于從被認為沉悶、骯臟或危險的環境中收集情報。隨著技術的進步，下一代無人機不僅將收集數據，還將能夠執行機載數據處理、融合和分析。配備攝像頭的情境感知無人機可以生成對視頻中觀察到的場景的高級描述，并識別潛在的危急情況。可以利用語義技術來識別場景中的對象及其交互 [ 28]。通過使用模糊認知地圖推理模型、深度神經網絡或其他機器學習模型，可以為無人機添加認知能力，使無人機了解場景中不斷變化的情況并識別不穩定的情況。此外，無人機可以通過充當飛霧在邊緣 SA中發揮關鍵作用因此，當無人機在傳感器上方導航時，作為地面傳感器數據的接收器。無人機飛霧的一個理想特性是能夠處理、融合和分析機上數據以及將數據（無論是原始形式還是經過處理的形式，取決于性質、復雜性和環境）傳輸到地面用于存檔和詳細分析的工作站和/或云。無人機還可以采用 DDDAS 方法，使無人機能夠根據實時傳感器數據動態調整其傳感、處理和導航（路由），以更好地監控和跟蹤目標。

4.6 自動駕駛汽車

盡管自動駕駛汽車 (AV) 主要針對消費市場，但 AV 也可以使 SA 受益，如下所述。由于 AV 嵌入了大量傳感器，因此 AV 能夠在運行期間始終進行監控。例如，一個 AV 網絡可以在任何時間和地點以全面、詳細的跟蹤所有 AV 及其用戶的形式實現大規模監控 [29]。可以收集和集中存儲從車載 AV 的不同傳感器檢索到的信息。該存儲信息的詳細分析可用于提供 SA 見解。

4.7 槍擊定位系統

槍擊定位系統是一種重要的聲學監測工具，可用于打擊城市地區非法使用槍支的行為，以及在城市戰爭和戰場上定位炮火、子彈和狙擊手的來源。聲學 SA 可以解釋為用于在所有時間和所有天氣條件下觀察環境聲學成分的活動和手段。聲學 SA 中的目標采集是指通過對一個或多個先前識別的目標的檢測、空間定位、偵察和識別來表征構成環境噪聲的聲源。現代槍擊定位系統歸功于軍事狙擊手檢測技術的技術轉移，該技術是為對抗戰場上的狙擊手行動而開發的。槍擊定位系統的操作可以通過流體動力學建模、聲學傳感技術和地震技術來解釋。從物理上講，火災由兩個主要現象構成：槍管內彈藥推進劑的沖擊引起的化學反應，以及從槍管開口端排放到空氣中的彈丸的動力學[30]。彈藥發射藥的沖擊引起的化學反應有兩個階段：第一階段，子彈發射藥被點燃，熱量通過槍管呼嘯而出，第二階段，未燃燒的發射藥被重新點燃并燃燒產品在槍口外的空氣中釋放。 與沖擊引起的化學反應相關的最關鍵的流體動力學過程是槍管開口端的放電等離子體的槍口爆炸流。高溫高壓等離子體的這種快速退出產生了從槍口呈球形輻射的槍口沖擊波。彈丸動力學具有三個相關的流體動力學現象[30]。首先，釋放槍管的彈頭的活塞式運動會引起沖擊波。其次，拋射體在運動中脫落的渦流會沿著軌跡產生騷動，這會產生風神音。第三，如果彈丸速度為跨音速或更高，它將在飛行中的子彈之后產生彈道沖擊波或馬赫錐，其壓力幅度具有 N 波輪廓。此外，可以根據聲學特征區分不同類型的武器。陰影成像已被用于區分不同武器的火力。

電聲傳感器通常用于檢測、定位和識別槍聲或射擊噪音。電聲傳感器由壓電基板和對聲壓敏感并具有全向拾音模式的低成本電容式聲換能器組成。這些電聲傳感器處理嵌入在槍擊事件聲發射中的信息，以猜測槍擊源的空間坐標（即方位角、仰角、射程）以及其他相關的彈道特征。電聲傳感器可以使用無線通信或有線通信（例如，專用電話線）來傳輸數據。為了進行聲學監視，聲學傳感器分布在感興趣的區域以形成聲學傳感器網絡。聲學傳感器通常安裝在較高的位置，例如燈桿、高層建筑、蜂窩基站等。聲學傳感器網絡的覆蓋范圍取決于聲學傳感器對槍口爆炸波形和環境的敏感度。在露天條件和沒有背景噪音的情況下，可以在距離槍支 600 米（0.373 英里）或更遠的地方感知到槍口沖擊波。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。373 英里）或更多距離槍支。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。373 英里）或更多距離槍支。在城市環境中，建筑物引入的聲學多徑和高背景噪聲顯著降低了傳播聲學信號的質量。

現代槍擊定位系統能夠評估射手的方位角和仰角、射手的射程、彈丸的彈道和口徑以及初速。彈丸的到達方向是根據彈道沖擊波的每次擾動到達聲傳感器對的時間延遲來估計的。使用一對換能器之間沖擊波的到達時間延遲來估計彈丸的速度。彈丸口徑可以從 N 波分析中推斷出來。射手的射程是通過使用麥克風陣列和三角測量算法分析槍口沖擊波前的曲率來確定的[30]。該地理信息系統作為聲學 SA 向指揮官或執法官員的一個輸入。

4.8 物聯網

物聯網 (IoT) 可以通過與軍事和空軍人員的整合極大地增強 SA。操作員/地面士兵是戰場上的資產，對于實施戰術決策至關重要。越來越多的無處不在的傳感和計算設備被軍事人員佩戴并嵌入軍事裝備（例如作戰服、儀表化頭盔、武器系統等）中。這些傳感和計算設備聯網在一起形成軍事物聯網 (IoMT) 或戰場物聯網 (IoBT) [31]。IoMT/IoBT能夠獲取多種靜態和動態生物特征（如人臉、虹膜、眼周、指紋、步態、手勢和面部表情），可用于對士兵的心理物理進行上下文自適應的連續監測和場上的情緒狀況。除了監測士兵的武器、彈藥和位置外，IoMT/IoBT 還可以幫助捕獲士兵的重要健康參數（例如，心率、心電圖 (ECG)、血糖水平、體溫、血壓）。借助 IoMT/IoBT，軍隊和空軍人員能夠獲得戰術態勢感知，從而獲得對敵人的感知以及友軍的進展。IoMT/IoBT 收集的各種統計數據和參數對于坐在指揮和控制中心的指揮官具有重要價值。然后將這些獲取的數據發送到邊緣服務器或云，然后可以將信息融合和大數據分析應用于 SA、態勢評估、決策活動，并為戰場上的士兵提供實時支持。指揮官可以了解藍軍的健康參數、武器參數、裝備參數和彈藥參數，從而可以下達提供適當援助的命令。

4.9 圖數據庫

最近，在[32]中提出了將物聯網（IoMT/IoBT）與圖數據庫相結合為戰場上士兵的每個參數提供 SA，從而實現更好的決策支持系統。圖數據庫是一種新的范式，其中數據可以以圖形形式體現，比傳統數據庫更容易搜索和遍歷。在圖形數據庫中，數據以節點的形式存儲，這些節點通過邊以圖形方式相互連接，邊表示連接節點之間的關系。當數據/節點的屬性很重要時，圖形數據庫很有用。例如，士兵可以是具有不同屬性的主節點，例如裝備、彈藥、武器和身體傳感器參數。由于物聯網與其他節點和數據有很多互連，因此可以使用圖形數據庫來存儲和檢索這些信息。圖形表示和存儲有助于查詢此類復雜數據。圖論的標準算法（例如，最短路徑、聚類、社區檢測等）以及機器學習方法可用于圖數據庫，以方便檢索所需信息[32]。圖數據庫的使用可以提高指揮官的可視化和SA。通常，平面方式的信息不足以以清晰的方式開發 SA。存儲在圖形數據庫中的各種來源的信息允許以圖形方式檢索存儲的信息，這有助于更好地理解圖形中不同節點的屬性之間的關系。由于物聯網時代從傳統的基于地圖和基于電話的 SA 過渡，指揮官能夠在支持物聯網的設備上遠程訪問所有信息。圖形數據庫可以在霧/云級別實現，因此查詢的可視化結果可以提供有關情況的有趣數據，以協助指揮官做出戰術決策。

4.10 霧/邊緣計算

霧計算或邊緣計算是計算中的一種新趨勢，它將應用程序、服務、數據、計算能力、知識生成和決策從集中節點推向網絡的邏輯極端。邊緣計算和霧計算在本質上是相似的，并且在我們之前的工作中已經概述了一些細微的差異[33]。現有的監視系統難以實時檢測、識別和跟蹤目標，這主要是由于從傳感器傳輸原始數據、在遠程中央平臺（例如云）上執行信息融合、計算和分析所涉及的延遲，并將命令發送回執行器以執行控制決策。霧/邊緣計算可以在網絡邊緣附近進行計算，并有助于減輕核心網絡的通信負擔。霧/邊緣計算還支持基于位置的服務、本地分析，并有助于提高 SA 系統的實時響應能力[34、35]。使用生物識別、環境傳感器和其他連接的 IoMT/IoBT 設備利用霧/邊緣計算快速發送和接收數據不僅有助于改善指揮和控制操作，而且還允許軍事人員及時應對戰場上的潛在危險情況。

4.11 信息融合

監控應用使用大量傳感器，例如運動檢測器、接近傳感器、生物識別傳感器以及各種攝像機，包括彩色攝像機、夜視成像攝像機和熱成像攝像機，它們從不同的視點和分辨率觀察目標。信息融合通過幫助從感知數據中獲得有價值的見解，在 SA 中發揮著重要作用。SA 包含低級信息融合（跟蹤和識別）、高級信息融合（基于威脅和場景的評估）和用戶細化（物理、認知和信息任務）[ 3]。信息融合最大限度地減少了不同傳感器捕獲的數據之間的冗余，例如不同相機捕獲的相同或相似視圖。此外，當系統中的一個相機跟蹤的對象移出其視野并進入另一個相機的視野時，信息融合還有助于在相機之間執行切換。在霧/邊緣計算范式中，傳感器/物聯網節點的信息融合減少了需要傳輸到邊緣服務器的數據，從而為物聯網設備節省能源，從而有助于延長物聯網設備的電池壽命。先進的計算技術，如并行計算和可重構計算，可用于實時信息融合，在物聯網和邊緣/霧節點提供實時SA。

4.12 視頻流中的自動事件識別

來自無人機、物聯網設備和閉路電視 (CCTV) 攝像機的視頻流是監控和 SA 的重要來源。傳統上，需要多個操作員觀看這些視頻流，然后將有關感興趣事件的信息傳遞給指揮官以改進 SA。從大量無人機和物聯網設備收集的視頻流越來越多，需要越來越多的操作員。此外，在高活動期間，操作員可能會超負荷，因此可能無法跟蹤所有感興趣的事件。自動分析來自各種來源（如無人機和物聯網設備）的視頻數據，可以通過提供感興趣的事件或活動的通知來減少所需的操作員數量[36]。事件可以定義為在一段時間內發生的對象之間關系的變化。使用無人機進行自動事件識別的一個有趣例子是車隊監視。小型無人機，如“掃描鷹”(ScanEagle)，可用于為車隊提供監視，在車隊上空飛行的無人機不僅會探測和跟蹤車隊中的實體，而且還會在車隊附近發現可能構成威脅的其他車輛和物體。

各種方法已用于事件識別，例如貝葉斯網絡、隱馬爾可夫模型 (HMM) 和神經網絡 [36]。特別是，隨著深度學習的最新進展，卷積神經網絡 (CNN) 在視頻幀中的自動對象檢測、分類和識別方面變得非常流行。圖 3展示了用于自動對象檢測和分類的 CNN 架構。CNN 架構通常由輸入層、輸出層和多個隱藏層組成。CNN 的隱藏層主要包括多個卷積層、全連接層以及可選的非線性層、池化層和歸一化層。在圖 3，來自紅外攝像機的輸入被饋送到 CNN 架構，該架構通過多個卷積、非線性、池化、歸一化處理輸入（注意，為簡單起見，圖 3中未顯示非線性、池化和歸一化層）和全連接層，并在輸出/分類層產生目標檢測和分類的輸出。圖 3顯示了 CNN 架構從紅外視頻輸入中檢測手槍。

圖 3. 用于自動對象檢測和分類的卷積神經網絡 (CNN) 架構

我們注意到 HMM 和神經網絡需要大量的訓練數據來配置網絡以識別事件。由于許多感興趣的事件是異常事件，缺乏用于訓練的視頻數據，因此當訓練視頻數據稀缺時，貝葉斯網絡可用于事件識別[36]。貝葉斯網絡還在推理中包含不確定性，并提供指示事件為真的可能性的輸出，或對于多狀態事件，事件處于特定狀態的概率。

盡管自動事件識別對 SA 具有巨大的價值，但它是一個具有挑戰性的問題，也是近期研究的重點。其他對 SA 至關重要且是近期研究主題的相關研究問題是對象檢測和識別、對象之間關系的識別和活動識別。

4.13 增強視覺系統 (EVS)

增強型視覺系統 (EVS) 或增強型飛行視覺系統 (EFVS) 通過主動和被動傳感器增強飛行員的能見度和 SA，這些傳感器可以穿透風暴、霧、霾、黑暗、雨和雪等天氣現象。現代軍用飛機配備了增強型視覺系統，但是，由于成本、復雜性和技術性，這些系統在商用飛機上并不常見。增強型視覺傳感器的性能取決于傳感器特性和外部環境。例如，高頻雷達（例如 94 GHz）和紅外傳感器的范圍性能在強降水和某些霧類型中會降低 [37]。相反，低頻（例如，9.6 GHz）和中頻（例如，35 GHz）雷達的范圍有所提高，但顯示分辨率較差。此外，當多個有源傳感器靠近時，有源雷達傳感器可能會相互干擾。盡管增強視覺系統已在軍事和空軍中大量使用以改進 SA，但當代增強視覺系統不提取可能在特定溫度或雷達反射條件下產生誤導性視覺偽影的顏色特征 [37]。EVS/EFVS 的示例包括 Collins Aerospace 的 EFVS-4860 [38] 和 Collins Aerospace 的 EVS-3600 [ 39]，它使用短波紅外、長波紅外和可見光攝像機的組合來提高飛行員的能見度。EVS 的另一個例子是 Elbit System 的 ClearVision [ 40 ]，它結合了視覺相機、近紅外傳感器和長波紅外傳感器來提供改進的 SA。

4.14 合成視覺系統 (SVS)

合成視覺系統本質上是不受天氣影響的顯示器，允許操作員和/或飛行員看到世界，因為它始終處于完美的天氣條件下。合成視覺系統使用傳感器、全球定位系統 (GPS) 衛星信號、慣性參考系統和內部數據庫的組合，為飛行員提供他們周圍世界的合成視圖。合成視覺系統通過在姿態參考系統上疊加真實世界圖像的增強現實 (AR) 系統取代了飛機中舊的姿態指示器（即指示地平線位置的藍棕色姿態指示器）。基于 AR 的 SA 系統，例如 NASA 的合成視覺系統，可以提高航空安全并提高飛機運行效率。

Collins Aerospace 的 SVS 在 HUD 上提供與天氣無關的高清圖像顯示，其中包含三層信息——地形、障礙物、機場和跑道——以呈現環境的完整畫面 [39]。Collins Aerospace 的 SVS 將傳感器與提供地形輪廓、英里標記、跑道亮點和機場圓頂的全球數據庫集成在一起。SVS 的另一個例子是霍尼韋爾的 SmartView [41]，它將來自各種機載數據庫、GPS 和慣性參考系統的飛行信息合成為全面的、易于理解的前方地形 3-D 渲染。

4.15 組合視覺系統 (CVS)

合成視覺系統讓飛行員在任何天氣條件下都能清楚地看到窗外的世界。這些視覺系統是邁向未來視覺系統的一步，也稱為組合視覺系統 (CVS)，它將為飛行員提供遠遠超出眼睛所能看到的視野。CVS 是合成視覺（即基于傳感器和存儲的數據庫信息實時創建渲染環境的系統）和增強型飛行視覺系統（即利用前視紅外系統和毫米波雷達提供飛行員可以實時查看飛機周圍的世界）[42]。Collins Aerospace 的 CVS 通過將他們的 EVS 和 SVS 組合成一個動態圖像為飛行員提供清晰的視圖，如圖 4 所示. CVS 算法利用來自 EVS 和 SVS 的重疊視野來檢測、提取和顯示來自兩個來源的內容。例如，CVS 提供夜間地形熱成像、不受天氣影響的虛擬地形，以及集成在單個系統中的跑道和進近照明的快速檢測。

圖 4. Collins Aerospace 的組合視覺系統 [43]

4.16 增強現實

隨著移動設備的計算能力不斷提高，可以由多個部門（例如，軍事、民用、執法）的步行操作員攜帶，AR 為增強 SA 提供了一種有前途的手段。由于下車操作員傾向于處理大量可能相關或不相關的信息，因此 AR 系統可以通過以可識別的方式過濾、組織和顯示信息來幫助改進 SA [44]。AR 系統需要識別要在操作員的 HUD 中顯示和增強的感興趣元素。這些元素包括地形圖和藍色和紅色力量的指示。可以使用以操作員為中心的徑向迷你地圖顯示地形圖，實時顯示操作員的位置以及盟友和敵人的位置以及興趣點。通過使用 AR 技術對路徑進行著色，導航數據可以與地形圖集成，從而將地圖和導航路徑疊加在操作員的視野中。AR 還能夠在操作員可能難以操縱其設備和/或武器的情況下提供幫助，例如在近距離戰斗或巡邏中，武器通常在臀部水平處靜止[44]。這種 AR 十字準線的有效性可以通過比較操作員在有或沒有十字準線的參與期間的響應時間來憑經驗測量。總之，隨著 AR 技術的進步，AR 在軍事和空軍設備中的使用一直在不斷增加。

五、態勢感知的應用領域

戰場、軍事和空軍基地、航空、空中交通管制、緊急情況和/或災難響應、工業流程管理、城市地區和關鍵基礎設施等各個領域都需要 SA，如圖 5 所示。在本節中，我們將概述其中一些領域。不充分的 SA 通常與導致逆境的人為錯誤有關，例如戰爭中的軍事損失、緊急情況和災難響應中平民和急救人員的生命損失以及工業控制中的收入損失。

圖 5. 態勢感知領域

5.1 戰場

SA 對于知情和可靠的戰場 C2 系統必不可少。由 IoBT/IoMT 和霧計算等最先進技術增強的 SA 可以幫助軍隊和空軍充分利用部署在（未來）中的大量異構 IoBT/IoMT 設備收集的信息。) 戰場，并且可以為軍隊/空軍提供相對于對手的戰略優勢。戰場上的 SA 可以在不同級別提供：（i）監督戰場行動的指揮官，（ii）在戰術層面執行任務的下馬士兵，以及（iii）為士兵提供近距離空中支援的飛行員。SA 技術的最新進展可以幫助士兵在低延遲下識別敵人、訪問設備和武器系統，并提高 SA 和士兵的安全性。

5.2 城市戰

在城市環境中為軍隊和空軍部隊維護 SA 比在農村和開闊地帶更具挑戰性。城市環境中的戰斗空間動態發生了顯著變化，從傳統的以敵為主的二維空間轉變為敵方可以從任意方向、多方向同時發動進攻的三維迷宮[ 26]。越來越多的非戰斗人員使城市戰場變得更加復雜。GPS 等導航輔助設備在城市環境中的可靠性不如開闊地形，因為很難獲得衛星的視線。因此，在城市環境中共享有關戰斗空間的信息以獲得共同作戰圖 (COP)（美國國防部軍事及相關術語詞典將 COP 定義為：“由多個司令部共享的相關信息的單一相同顯示，以促進協作規劃并協助所有梯隊實現態勢感知”[ 2 ]）需要一個能夠在任何環境（即存在多徑和無線電干擾的情況下）保持鏈路的通信系統/網絡。

5.3 灰色地帶戰

在不對稱戰爭或灰色地帶戰爭中特別需要 SA [ 45] 識別敵方戰斗人員并不總是那么簡單，例如，敵人可能以平民的身份出現或使用被盜徽章進入受限軍事基地。為了在灰色區域情況下提供 SA，生物特征傳感器可以掃描虹膜、指紋和其他生物特征數據，以識別可能構成危險的個人。在 SA 系統中使用 DDDAS 方法可以幫助有針對性地收集有關已識別個人的數據，還可以動員響應單位（例如狙擊手）來分散威脅。SA 系統可以提供對站點和潛在灰色區域參與者的實時監控，以幫助防止或減輕灰色區域戰爭的負面影響，例如錯誤信息以及服務和關鍵基礎設施的中斷。

5.4 軍事和空軍基地

SA 是軍事和空軍基地的安全保障所必需的。由于敵人可能試圖用偷來的徽章/身份潛入基地，因此需要對軍事/空軍基地進行持續監視。SA 系統可以檢測基地中的可疑人員和未經授權的人員，當局可以據此采取適當的行動。

5.5 國土安全與國防

SA 系統是增強國土安全和防御所必需的。實時監控有助于及時發現和應對自然災害（例如颶風、洪水）和人為事件（例如恐怖主義）。此外，SA 系統可以協助執法人員反恐、打擊走私和逮捕逃犯。

5.6 災難響應管理

災難恢復行動具有挑戰性，需要多個機構的支持，包括當地和國際應急響應人員、非政府組織和軍方。在災難發生后，最緊迫的要求是對 SA 的要求，以便可以根據影響和救災需求對資源（包括人員和物資）進行優先排序和引導。此外，在災難性情況下，隨著恢復工作的繼續，SA 需要根據不斷變化的條件不斷更新。在災難情況下提供 SA 的傳統信息來源包括災難受害者的報告，但是，受害者報告可能并非在所有情況下都可行，因為通信手段可能會因災難而中斷。因此，災害監測和報告需要 SA 系統，因此有助于對災害做出適當的響應。SA 系統也是早期預警系統不可或缺的一部分，通過促進快速檢測和響應緊急情況（例如火災、洪水、橋梁倒塌、供水中斷、地震、火山爆發、和龍卷風等。

5.7 關鍵基礎設施

橋梁、發電和配電網絡、供水網絡、電信網絡、交通網絡等關鍵基礎設施的安全需要 SA。我們通過幾個來自道路網絡的例子來說明關鍵基礎設施的 SA交通網絡的重要組成部分。道路 SA 需要感知不利的道路狀況（例如坑洼）、駕車者、行人和交通狀況 [ 10]。道路 SA 提供的交通監控和可疑車輛檢測將減少犯罪、事故和死亡人數。深度學習的進步極大地促進了 Road SA 的發展。CNN 可用于感知道路圖像數據中的車輛類別和位置，從而有助于解決道路交通 SA 系統中的情境元素識別問題 [ 11 ]。在灰色地帶戰爭時代，監控關鍵基礎設施變得更加重要，因為敵人通常旨在破壞關鍵基礎設施，從而為軍事交戰創造有利局面。

6. 結論

在本文中，我們從軍事和空軍的角度定義并解釋了態勢感知 (SA)。我們已經提出了 SA 和動態決策的模型。所提出的模型結合了人工智能和動態數據驅動的應用系統，以幫助根據 SA 核心感知和預測的不斷變化的情況來引導測量和資源。我們討論了 SA 的測量并確定了 SA 評估的指標。我們還概述了與測量 SA 相關的挑戰。我們討論了可以增強 SA 的不同技術和技術，例如不同模式的情報收集、傳感器和傳感器網絡、軟件無線電、人工智能、無人駕駛飛行器、自動駕駛汽車、槍擊定位系統、物聯網、霧/邊緣計算、信息融合、視頻流中的自動事件識別、增強視覺系統、合成視覺系統、組合視覺系統和增強現實。最后，我們介紹了需要具備 SA 的不同領域或應用領域，例如戰場、城市戰、灰色地帶戰、軍事和空軍基地、國土安全和國防以及關鍵基礎設施。

展望未來，SA 技術和方法將隨著技術的進步而不斷改進。有許多領域需要積極研究以增強 SA。例如，軍方仍在尋求基于軟件定義無線電 (SDR) 的完美無線電，該無線電可以實現安全、可互操作和有彈性的多通道通信，能夠處理不同的模式/波形。自動事件檢測和識別是與 SA 相關的另一個需要積極研究的領域。特別是實時自動事件檢測和識別是一個具有挑戰性的問題，不僅需要人工智能的進步，還需要先進的計算技術，例如并行計算和可重構計算。此外，硬件加速器可以方便地實現實時自動事件檢測和識別。另一個需要積極研究的領域是無人駕駛飛行器 (UAV) 的安全自主導航，以便無人機或無人機群能夠自主完成任務，而無需主動遠程駕駛。需要進一步研究戰場/軍事物聯網 (IoBT/IoMT)，以感知、整合和處理與士兵的健康和心理生理狀況、士兵的武器、彈藥和戰場位置相關的大量參數，以及有關感興趣地區的紅軍信息。霧/邊緣計算的進一步研究可以確保對這些感測參數進行實時處理和分析，以幫助實現實時評估和指揮和控制決策，以應對不斷變化的情況。士兵和飛行員的增強視覺系統需要隨著傳感和增強現實 (AR) 技術的創新而不斷改進。需要基于多智能融合結果開發新的可視化技術，以允許用戶查看可重新配置的用戶自定義操作畫面。關于 SA 量化，需要開發新的 SA 測量技術，以涵蓋更多的評估指標。最后，迫切需要開發新的 SA 評估工具，以便根據給定應用程序領域的 SA 要求，可以根據這些工具對 SA 進行量化。

資金

這項研究得到了空軍研究實驗室 (AFRL) 信息局 (RI) 的部分支持，通過空軍科學研究辦公室 (AFOSR) 夏季教師獎學金計劃?，合同編號 FA8750-15-3-6003、FA9550- 15-0001 和 FA9550-20-F-0005。本材料中表達的任何意見、發現和結論或建議均為作者的觀點，不一定反映 AFRL 和 AFOSR 的觀點。APC 由堪薩斯州立大學資助。

參考文獻

Endsley, M.R. Designing for Situation Awareness in Complex System. In Proceedings of the Second Intenational Workshop on Symbiosis of Humans, Artifacts and Environment; 2001. Available online://www.researchgate.net/profile/Mica-Endsley/publication/238653506_Designing_for_situation_awareness_in_complex_system/links/542b1ada0cf29bbc126a7f35/Designing-for-situation-awareness-in-complex-system.pdf (accessed on 13 December 2021).

DOD. DOD Dictionary of Military and Associated Terms. 2019. Available online: (accessed on 16 August 2019).

Blasch, E. Multi-Intelligence Critical Rating Assessment of Fusion Techniques (MiCRAFT). In Proceedings of the SPIE, Signal Processing, Sensor/Information Fusion, and Target Recognition XXIV; 2015; Volume 9474. Available online: (accessed on 13 December 2021).

Spick, M. The Ace Factor: Air Combat and the Role of Situational Awareness; Naval Institute Press: Annapolis, MD, USA, 1988. [Google Scholar]

McKay, B.; McKay, K. The Tao of Boyd: How to Master the OODA Loop. 2019. Available online: (accessed on 14 August 2019).

Endsley, M.R. Toward a Theory of Situation Awareness in Dynamic Systems. Hum. Factors J. Hum. Factors Ergon. Soc. 1995, 37, 32–64. [Google Scholar] [CrossRef]

Endsley, M.R. Situation Awareness in Aviation Systems. In Handbook of Aviation Human Factors; Garland, D.J., Wise, J.A., Hopkin, V.D., Eds.; Lawrence Erlbaum Associates Publishers: Mahwah, NJ, USA, 1999; pp. 257–276. [Google Scholar]

Blasch, E.; Ravela, S.; Aved, A. (Eds.) Handbook of Dynamic Data Driven Applications Systems; Springer: Berlin/Heidelberg, Germany, 2018. [Google Scholar]

Snidaro, L.; García, J.; Llinas, J.; Blasch, E. (Eds.) Context-Enhanced Information Fusion: Boosting Real-World Performance with Domain Knowledge; Springer: Berlin/Heidelberg, Germany, 2016. [Google Scholar]

Garg, V.; Wickramarathne, T. Ubiquitous Sensing for Enhanced Road Situational Awareness: A Target-Tracking Approach. In Proceedings of the 21st International Conference on Intelligent Transportation Systems (ITSC), Maui, HI, USA, 4–7 November 2018; pp. 831–836. [Google Scholar]

Zhu, Q. Research on Road Traffic Situation Awareness System Based on Image Big Data. IEEE Intell. Syst. 2020, 35, 18–26. [Google Scholar] [CrossRef]

Zhang, D.; Peng, Y.; Zhang, Y.; Wu, D.; Wang, H.; Zhang, H. Train Time Delay Prediction for High-Speed Train Dispatching Based on Spatio-Temporal Graph Convolutional Network. IEEE Trans. Intell. Transp. Syst. 2021, 1–11. Available online: (accessed on 13 December 2021). [CrossRef]

Endsley, M.R. Situation Awareness Global Assessment Technique (SAGAT). In Proceedings of the IEEE National Aerospace and Electronics Conference, Dayton, OH, USA, 23–27 May 1988. [Google Scholar]

Uhlarik, J.; Comerford, D.A. A Review of Situation Awareness Literature Relevant to Pilot Surveillance Functions; Office of Aerospace Medicine, Federal Aviation Administration, DOT/FAA/AM-02/3; 2002. Available online: (accessed on 13 December 2021).

Nguyen, T.; Lim, C.P.; Nguyen, N.D.; Gordon-Brown, L.; Nahavandi, S. A Review of Situation Awareness Assessment Approaches in Aviation Environments. IEEE Syst. J. 2019, 13, 3590–3603. [Google Scholar] [CrossRef]

Hart, S.G.; Staveland, L.E. Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. Adv. Psychol. 1988, 52, 139–183. [Google Scholar]

Taylor, R. Situational Awareness Rating Technique (SART): The Development of a Tool for Aircrew Systems Design. In Proceedings of the AGARD AMP Symposium on Situational Awareness in Aerospace Operations (AGARD-CP-478), Copenhagen, Denmark, 2–6 October 1989. [Google Scholar]

O’Hare, D.; Wiggins, M.; Williams, A.; Wong, W. Cognitive Task Analyses for Decision Centred Design and Training. Ergonomics 1998, 41, 1698–1718. [Google Scholar] [CrossRef] [PubMed]

Blasch, E.P.; Salerno, J.J.; Tadda, G.P. Measuring the Worthiness of Situation Assessment. In High-Level Information Fusion Management and Systems Design; Blasch, E., Bossé, E., Lambert, D.A., Eds.; Artech House: Norwood, MA, USA, 2012; pp. 315–329. [Google Scholar]

Endsley, M.R. The Divergence of Objective and Subjective Situation Awareness: A Meta-Analysis. J. Cogn. Eng. Decis. Mak. 2020, 14, 34–53. [Google Scholar] [CrossRef]

Zhang, T.; Yang, J.; Liang, N.; Pitts, B.J.; Prakah-Asante, K.O.; Curry, R.; Duerstock, B.S.; Wachs, J.P.; Yu, D. Physiological Measurements of Situation Awareness: A Systematic Review. Hum. Factors 2020, 1–22. Available online: (accessed on 13 December 2021). [CrossRef] [PubMed]

Tadda, G. Measuring Performance of Cyber Situation Awareness Systems. In Proceedings of the 2008 11th International Conference on Information Fusion, Cologne, Germany, 30 June–3 July 2008; pp. 1–8. [Google Scholar] [CrossRef]

Nowak, M. Layered Sensing to Enhance Situational Awareness. In Proceedings of the International Symposium on Collaborative Technologies and Systems, Irvine, CA, USA, 19–23 May 2008. [Google Scholar]

Kamal, S.; Armantrout, J.T. The U.S. Military’s Joint Tactical Radio System. 2020. Available online: (accessed on 29 May 2020).

U.S. Military. Joint Tactical Networking Center. 2020. Available online: (accessed on 29 May 2020).

Randall, A.L.; Walter, R.C. Overview of the Small Unit Operations Situational Awareness System. In Proceedings of the IEEE Military Communications Conference (MILCOM), Boston, MA, USA, 13–16 October 2003. [Google Scholar] [CrossRef]

Kansakar, P.; Munir, A. A Two-Tiered Heterogeneous and Reconfigurable Application Processor for Future Internet of Things. In Proceedings of the IEEE Computer Society Annual Symposium on VLSI (ISVLSI), Hong Kong, China, 9–11 July 2018. [Google Scholar]

Cavaliere, D.; Senatore, S.; Loia, V. Proactive UAVs for Cognitive Contextual Awareness. IEEE Syst. J. 2019, 13, 3568–3579. [Google Scholar] [CrossRef]

Bloom, C.; Tan, J.; Ramjohn, J.; Bauer, L. Self-Driving Cars and Data Collection: Privacy Perceptions of Networked Autonomous Vehicles. In Proceedings of the Thirteenth Symposium on Usable Privacy and Security (SOUPS 2017), Santa Clara, CA, USA, 12–14 July 2017. [Google Scholar]

Aguilar, J.R. Gunshot Location Systems: The transfer of the sniper detection technology from military to civilian applications. In Proceedings of the International Carnahan Conference on Security Technology (ICCST), Medellin, Colombia, 8–10 October 2013. [Google Scholar]

Castiglione, A.; Choo, K.K.R.; Nappi, M.; Ricciardi, S. Context Aware Ubiquitous Biometrics in Edge of Military Things. IEEE Cloud Comput. 2017, 4, 16–20. [Google Scholar] [CrossRef]

Tripathi, G.; Sharma, B.; Rajvanshi, S. A Combination of Internet of Things (IoT) and Graph Database for Future Battlefield Systems. In Proceedings of the International Conference on Computing, Communication and Automation (ICCCA), Greater Noida, India, 5–6 May 2017. [Google Scholar]

Munir, A.; Kansakar, P.; Khan, S.U. IFCIoT: Integrated Fog Cloud IoT: A novel architectural paradigm for the future Internet of Things. IEEE Consum. Electron. Mag. 2017, 6, 74–82. [Google Scholar] [CrossRef]

Munir, A.; Blasch, E.; Kwon, J.; Kong, J.; Aved, A. Artificial Intelligence and Data Fusion at the Edge. IEEE Aerosp. Electron. Syst. Mag. 2021, 36, 62–78. [Google Scholar] [CrossRef]

Munir, A.; Kwon, J.; Lee, J.H.; Kong, J.; Blasch, E.; Aved, A.; Muhammad, K. FogSurv: A Fog-Assisted Architecture for Urban Surveillance Using Artificial Intelligence and Data Fusion. IEEE Access 2021, 9, 111938–111959. [Google Scholar] [CrossRef]

Higgins, R.P. Automatic Event Recognition for Enhanced Situational Awareness in UAV Video. In Proceedings of the IEEE Military Communications Conference (MILCOM), Atlantic City, NJ, USA, 17–20 October 2005. [Google Scholar] [CrossRef]

Prinzel, L.; Kramer, L. Sythetic Vision Systems. 2009. Available online: (accessed on 11 August 2019).

Rockwell Collins. Rockwell Collins EFVS-4860 Enhanced Flight Vision System. 2006. Available online: www.rockwellcollins.com (accessed on 12 August 2019).

Rockwell Collins. Rockwell Collins Enhanced Vision Systems. 2019. Available online: (accessed on 12 August 2019).

Elbit Systems. ClearVision EVS. 2016. Available online: (accessed on 12 August 2019).

Honeywell. Honeywell SmartView Synthetic Vision System. 2019. Available online: (accessed on 12 August 2019).

NASA. NASA, Boeing Testing Synthetic Vision Technologies. 2017. Available online: (accessed on 11 August 2019).

Collins Aerospace. New Bombardier Global 5500 and Global 6500 Aircraft to Feature Rockwell Collins’ Transformational Flight Deck and Cabin Systems. 2020. Available online: (accessed on 20 June 2020).

Brand?o, W.L.; Pinho, M.S. Using Augmented Reality to Improve Dismounted Operators’ Situation Awareness. In Proceedings of the IEEE Annual International Symposium on Virtual Reality (VR), Los Angeles, CA, USA, 18–22 March 2017. [Google Scholar]

Votel, J.L.; Cleveland, C.T.; Connett, C.T.; Irwin, W. Unconventional Warfare in the Gray Zone. Jt. Force Q. 2016, 101–109. Available online: (accessed on 13 December 2021).