執行摘要

美國國防科學委員會博弈、演習、建模和模擬（GEMS）工作組的任務是審查國防部使用GEMS工具的現狀，并提出改進GEMS工具的建議，以充分發揮其在國防部企業中從行政到作戰的潛力。GEMS工具和能力為測試新想法和概念、設計新系統并制作原型、模擬軍事行動、進行地緣政治分析以及提供培訓以提高作戰人員的準備和表現提供了具有成本效益的創新方法。工作隊認為，在當今與大國競爭回歸有關的高度競爭和動態戰略環境中，這種能力越來越重要，技術進步使全球環境監測系統的能力比過去更加強大和有用。

雖然美國防部有一些GEMS的卓越和創新，但特別工作組注意到，國防部缺乏必要的整合、資源和人才來獲得GEMS的全部利益。尤其缺乏的是將GEMS的洞察力有效地整合到高級領導對國防需求和采購項目的決策中的機制。

鑒于GEMS工具的廣泛性以及它們的不同適用性，特別工作組選擇將重點放在五個廣泛的應用領域（數字工程、訓練、實驗和演習、行動建模和分析以及戰略博弈），如圖ExS-1所示，以及它們之間的相互依賴關系。

圖ExS-1：GEMS應用領域

任務組在這五個應用領域以及兩個交叉主題領域提出了建議：基于技術的推動因素和GEMS治理。

數字工程：美國防部正在努力推進數字工程（DE）。例如，各軍種內部一直在推動使用數字工程來考慮新的系統概念；但廣泛采用數字工程仍然是一項正在進行的工作。特別工作組注意到，已經采用嚴格的數字工程的組織獲得了可衡量的好處，并強烈建議在整個企業中加速采用數字工程。此外，這種能力為國防部全面利用GEMS工具和有效地大規模生產作戰能力提供了必要的基礎。特別工作組認為，國防部全面采用DE并不要求對采購過程進行實質性的改變；然而，它將需要一些調整，特別是國防部的評估和審查過程，以便在虛擬測試中獲得DE的全部附加值。另外，虛擬測試依賴于嚴格的紀律，在所有工程活動中使用經過驗證的工具和來自權威代表的數據。這意味著國防部的工程師必須熟練掌握DE的方法、紀律、工具和技術。扶持和支持這支隊伍將需要國防部投資于必要的信息基礎設施，特別是在一系列工程任務中實現更大的自動化。

培訓：各軍事部門的培訓能力長期以來一直受益于GEMS工具和創新的使用，這些工具和創新幫助刺激了幾十年前開始的培訓革命，對美國的軍事優勢做出了重大貢獻。特別工作組注意到，在模擬、建模、虛擬現實（VR）和人工智能（AI）的推動下，軍事部門的第二次訓練革命正在進行中，但它注意到聯合部隊的訓練需要大幅改進。雖然作戰司令部（CCMD）努力保持聯合訓練，但現實情況是，大多數CCMD演習是由對特定場景最負責的軍事部門領導的--因此訓練具有特定軍種的味道。為了讓潛在的對手面臨多種困境，并使他們的計劃變得復雜，聯合部隊必須進行訓練，以便在所有領域內進行協作和同時作戰。為此，特別工作組建議集中精力激勵各軍事部門使其訓練更加聯合--更加代表 "我們將如何作戰"，確保各軍事部門之間必要的網絡連接以支持聯合訓練，并建立強大的全領域聯合訓練能力。工作隊還建議不斷努力加強其分布式訓練能力，確定具體的模擬訓練，在主要的訓練中心提供高質量的訓練，但可以從家庭駐地進行操作。與其他GEMS能力一樣，實現這種聯合和全域訓練的能力將需要持續的行政級別領導和多年的充足資源。

實驗和演習：美國防戰略（NDS）委員會報告呼吁 "通過實驗、演習和訓練驗證新的作戰概念以實現戰略優勢"。特別工作組贊同這一呼吁，并得出結論，國防部必須在聯合軍事部門/合作伙伴層面重振基于概念的實驗，以應對同行競爭對手帶來的長期挑戰。特別工作組注意到，聯合概念實驗在國防部已經成為一門失傳的藝術。特別工作組建議重振這種能力，采用一種基于運動的方法，更迅速地提供新的作戰方式和新的能力來應對當前和新出現的作戰挑戰。特別工作組建議采用運動式方法，產生一個反饋循環，反復完善概念和能力，在這個過程中盡早剔除失敗，同時將完善的概念和能力反饋給下一階段的實驗。特別工作組進一步建議，將聯合作戰問題和想法注入正在進行的軍種實驗中；國防部應在軍事部門之外贊助聯合概念實驗；并為軍種和CCMD（特別是美國印太司令部（USINDOPACOM）和美國歐洲司令部（USEUCOM））的實驗運動和演習提供額外支持。

行動建模和分析：國防部目前的行動模型被用來為投資決策提供信息，特別是在各軍事部門之間；然而，這些模型在關鍵領域存在不足。特別是，它們沒有有效地解決國防部所處的多領域安全環境的復雜性，而且它們沒有能力提供快速分析以告知決策者。特別工作組還發現，國防部領導層對行動建模的支持和信心不一。因此，特別工作組的建議側重于發展補充性戰役分析，更加強調及時、簡單、定性/定量的模型，同時也投資于下一代行動建模能力，利用包括人工智能和機器學習領域的技術進步。需要提高這些能力，以灌輸對這些工具的有用性的信心，為投資決策提供信息。工作隊還建議在發展基于情景規劃的聯合作戰概念（CONOPS）方面做出更有力的努力，以推動戰役建模和分析，并為資源分配提供依據。

戰略博弈：美國在冷戰期間很好地利用了戰略博弈技術--在一個長期的分析區間內進行 "移動-反移動 "評估。最近的努力集中在眼前的威脅上（例如，恐怖主義），戰略博弈已經成為分析當今更大和更長期挑戰的一個很少使用的工具。現在，美國面臨著先進的大國對手，其技術能力和經濟實力可以與我們匹敵。為了應對這些挑戰，國防部需要重振其戰略博弈。工具的好壞只取決于使用它們的參與者。有效的戰略博弈將需要高層領導認真參與博弈本身。特別工作組建議利用新的技術和分析發展來重建戰略博弈能力，以更好地了解地緣政治的變化、對手的目標以及對手在大國競爭時代對美國行動和舉措的潛在反應。特別工作組指出，在開發新的博弈工具方面存在利用技術進步的機會--包括社會、金融和通信網絡的算法分析、因子樹、定量建模和分布式博弈技術，以更有效地支持戰略博弈。特別工作組還承認，與大國對手的有效競爭將需要一個整體的政府方法，國防部應率先將戰略博弈擴展到美國政府的相關部門。

基于技術的促進因素：雖然GEMS工具受益于許多領域的技術進步（如不斷提高的計算能力、人工智能/機器學習），但特別工作組重點關注兩個相關技術--游戲引擎和合成環境。商業化的游戲引擎可以加速GEMS工具的開發，強大的合成環境可以提高數字模型的效用。特別工作組注意到，國防部的一些組織已經在使用這些技術，但主要是以臨時的方式使用。因此，建議的重點是：建立一個基礎設施，以實現和激勵重復使用，從而在降低成本的同時加快進展；確保承包商在產品采購（或重大升級）期間建立的符合要求的合成環境可供整個部門重復使用。采用更好的數據分析方法來生成大規模的事后報告，將有助于從游戲、實驗和演習以及原型設計中獲得最大價值。

GEMS管理：特別工作組注意到，雖然工業界的成功案例表明，需要持續的、自上而下的領導和管理來實現變革，并實現GEMS工具的潛在效益，但國防部的管理結構并沒有促進整個企業的做法。鑒于整個國防部顯然需要進行文化和技術變革，必須建立一個更加協調的管理結構。這一領域的建議集中在促進GEMS互操作性和可重復使用性的行動上，以及建立一個由高級領導人領導的治理結構，并為指導國防部的建模和仿真（M&S）企業提供適當的權力和資源。

本報告中的大多數建議是文化和技術轉型的起點，如果美國防部要從GEMS工具中獲得全部利益，就必須進行這種轉型。雖然特別工作組對已經開展的GEMS行動表示贊賞，但結論是，如果美國防部要充分利用GEMS在上述應用領域潛在的改變博弈規則的力量，全企業的努力是必不可少的。

在這個大國競爭的新時代，美國防部（和美國政府）面臨著復雜的選擇，需要有分析性的選擇；對決策速度和敏捷性的需求從未如此迫切。在這方面，特別工作組的結論是，國防部必須大幅提高其全球環境監測系統的能力，以跟上其競爭對手的步伐并有效地應對威脅--今天和未來幾年。要做到這一點，需要整個企業的文化變革和技術變革。在美國今天所處的高度競爭和動態的國家安全環境中，需要一個強大的GEMS工具箱來為國防部的決策提供信息。然而，如果國防部要實現GEMS的潛力，該部的高層領導必須負責提供愿景、支持和持續的資源，以實現所需的變革。本報告為國防部提供了一個路線圖，以充分利用GEMS工具，實現更好的決策、更智能的演習和實驗，并最終實現更強大的軍事力量。

引言

軍事和民事情報組織經常被要求為指揮官和決策者提供支持，他們的決定影響著國家和國際安全。除其他特征外，如及時性和相關性，情報組織應做出有嚴格分析支持的評估，準確無誤，并明確傳達給決策者。不確定性對情報的評估和溝通功能都構成了關鍵挑戰。例如，分析員收到的信息的質量往往是不確定的，他們所依賴的概念模型也是如此。簡而言之，大多數分析都是在不確定的條件下做出的人類判斷。決策者可能希望完全消除不確定性，但情報組織必須努力將有關事件（概率）和他們的評估（信心）的揮之不去的不確定性盡可能連貫和清晰地傳達出去，以避免誤傳。

SAS-114研究工作組通過研究(a)在不確定情況下促進情報評估準確性的現有和新方法，以及(b)在這種評估中溝通不確定性的標準來應對這些雙重挑戰。本報告概述了SAS-114所完成的研究和分析，分為以下四個部分。

第一部分（第1-5章）研究了情報生產管理的組織方面。第1章概述了目前由科學知識有限的思想領袖制定的情報培訓如何未能解決不確定性溝通中固有的主觀性或鼓勵分析員的自我批判性認知。第二章根據英國國防情報局的經驗，提出了一個不確定性評估的框架，旨在為決策者創造最大價值，減少情報失敗的風險。第3章介紹了荷蘭國防情報和安全局利用 "魔鬼建議 "來改進分析產品。第四章介紹了關于加拿大情報從業人員認為自己及其組織在多大程度上符合美國情報界第203號指令規定的分析嚴謹性標準的研究。在第五章中，英國分析傳統技術培訓小組的成員討論了學術合作和內部研究如何促進循證傳統技術在其組織中的實施。

本報告的第二部分（第6-9章）重點討論了不確定情況下的信息評估。第6章介紹了一種基于預期信息價值建立情報收集優先級的新方法。第7章批判性地審查了目前評估來源可靠性和信息可信度的標準，并強調了未來研究的途徑。接下來，第8章介紹了 "可靠性游戲"，作為衡量來源因素對人類處境意識影響的一種游戲方法。第九章接著討論了風險游戲，這是一種評估專家如何處理異質信息、考慮信息質量和形成對同時發生的事件的信念的方法。

第三部分（第10-15章）探討了不確定性下的情報和風險評估。第10章討論了系統地監測地緣政治預測技能的重要性，并概述了這樣做的經驗方法。第11章重點討論了信息安全持續監測（ISCM）在防御性網絡行動中的挑戰，并討論了應用ISCM框架來改善情報評估。第12章介紹了關于競爭假設分析的有效性的實驗研究，以及分析后的重新校準和匯總方法，作為提高分析員判斷準確性的手段。第13章介紹了批判現實主義理論，以及批判話語分析和安全化理論的理論組成部分，它們共同為一種新穎的分析方法提供了框架：通過對比敘述進行分析。第14章接著介紹了一種以3值和6值邏輯的真值表形式結合分析判斷的透明方法。第15章的結論是一個分類系統，它有助于將分析技術與具體的情報問題相聯系。

本報告第四部分（第16-20章）根據SAS-114的最初目標，討論了情報制作中不確定性的交流。第16章研究了自然語言中固有的不確定性是如何影響報告質量的，并提出了一種識別、評估和權衡文本信息的證據性的方法。第17章對美國和英國在情報分析中交流概率的政策進行了批判性評論。第18章介紹了由SAS-114的成員和附屬機構收集的估計概率標準的注釋集。同樣，第19章介紹了SAS-114收集的用于評估和溝通分析信心的標準。第20章是報告的結尾，討論了數字時代的交流，特別關注商業開放源代碼情報中的不確定性溝通。

因此，本報告中的二十個章節涵蓋了廣泛的概念領域。SAS-114團隊希望，讀者會發現這套報告既能激發智力，又有實際用途。

內容提要

軍事和民事情報組織經常被要求為指揮官和策略制定者提供支持，他們的決定影響著國家和國際安全。除其他特點外，如及時性和相關性，情報組織應做出有嚴格分析支持的評估，準確無誤，并明確傳達給決策者。不確定性對情報的評估和溝通功能都構成了關鍵挑戰。例如，分析員收到的信息的質量往往是不確定的，他們所依賴的概念模型也是如此。簡而言之，大多數分析都是在不確定的條件下做出的人類判斷。決策者可能希望完全消除不確定性，但情報組織必須努力將有關事件（概率）和他們的評估（信心）的揮之不去的不確定性盡可能連貫和清晰地傳達出去，以避免誤傳。

SAS-114研究任務組通過研究來應對這些雙重挑戰。

a) 在不確定情況下促進情報評估準確性的現有和新方法；以及

b) 溝通此類評估中不確定性的標準。

本報告概述了SAS-114所完成的研究和分析，分為四個部分。

a) 第一部分（第1-5章）探討了情報生產管理的組織方面。

b) 第二部分（第6-9章）研究了不確定性下的信息評估。

c) 第三部分（第10-15章）研究不確定條件下的情報和風險評估；以及

d) 第四部分（第16-20章）研究了目前在情報生產中溝通不確定性的方法。

第一部分的核心主題是，情報組織需要積極主動地利用判斷和決策的科學。第一部分進一步說明了盟國的情報組織正試圖發展一種更加基于證據的分析技術和情報監督的方法。第二部分批判性地審查了目前評估信息有用性和質量的情報方法，并提出了替代方法。第二部分還介紹了測試分析員在不確定環境中如何評估信息質量的研究方法。第三部分描述了監測情報預測的準確性和監測防御性網絡風險的方法。第三部分還對支持情報分析的替代方法給予了極大的關注，包括通過對分析員的支持，以及通過從決策科學中提取的分析后方法。第四部分集中討論了自然語言和情報領域中不確定性的溝通。有幾章對目前向決策者傳達概率和置信度的情報（和其他專業）標準進行了批評分析。

盡管本報告所涉及的主題和調查方法多種多樣，但有幾個章節在一些關鍵結論上是一致的。首先，現有的交流信息質量、事件發生和評估準確性的不確定性的方法在多個方面存在缺陷，應促使北約下的情報界更密切地關注相關科學。具體來說，我們建議情報組織考慮使用數字概率，而不是目前使用的不確定性的模糊的口頭表達。其次，我們建議情報組織在符合科學標準的實驗中測試分析技術方法的有效性，并建議他們考慮在科學理論中具有更強基礎的替代方法。這一點至關重要，因為正如我們的一些研究表明，現有的方法可能不僅不能提高分析的嚴謹性，事實上還可能削弱分析員的評估質量。最后，我們建議情報組織采用積極的自我監測系統，除其他外，跟蹤他們提供給決策者的預測的準確性。

前言

SAS-114小組的前身是SAS-ET-CR探索小組，該小組于2014年12月在北約合作支持辦公室（CSO）召開了一次會議。最初的想法是專注于審查不確定性和風險的溝通標準。根據英國的建議，將范圍擴大，不僅包括不確定性的溝通，還包括在不確定性條件下如何進行評估。一年后，SAS-114研究任務小組（RTG）在CSO啟動，最初的團隊來自加拿大、丹麥、英國、荷蘭和美國，以及北約的海洋研究和實驗中心。隨后，它的成員擴大到包括德國、挪威、西班牙和瑞典。在第一年內，SAS-114也變得很明顯，它主要集中在情報分析領域。對情報的強調在活動中期的重新命名中被正式體現出來。SAS-114從情報界吸收了許多新成員，團隊的組成變得真正多樣化，包括科學家和情報專家的組合。每次會議的結構就像一個小型會議，旨在交流思想和新的發現，并做一些很少做的事情：給科學家和從業人員一個一年兩次的幾天空間來討論情報分析中的挑戰，并聽取可用于改善情報和向決策者傳達的前沿研究。因此，SAS-114也受益于來自科學界和情報界的大量特邀發言人。一個有代表性的例子是在會議記錄中，溝通不確定性，評估信息質量和風險，以及在情報分析中使用結構化技術（doi: 10.14339/STO-MP-SAS-114），其中概述了Arne Biering在哥本哈根Kastellet舉辦的研討會。SAS-114的會議結構與RTG的會議不同，是為了刺激坦率和公開的對話，并為合作的形成和發展提供機會。核心團隊并沒有著手設計所有成員都會參與的實驗。相反，在雙方興趣濃厚且每個參與成員都有貢獻的地方，形成了較小的合作集群。本報告中的許多章節概述了這種合作努力的結果。其中一些團隊的努力仍在進行中，并不是所有的團隊都已經成熟到可以在本報告中總結的地步。如果SAS-114在過去的三年里沒有什么成果，這可能會被理解為 "未完成的工作"，然而根據任何合理的標準，SAS-114已經有了很高的成果，正在進行的合作更適合被理解為團隊持續合作的力量和產生的潛力的明確標志，這將遠遠超過其預定的年份，甚至可能成為北約未來的一個或多個活動。

SAS-114被證明是一個公開對話和自我形成研究合作的實驗，這一點在這份最終報告中得到了很好的體現。在報告中，讀者將發現沒有成員共同簽署的共識文件，而是一個結構化分析、研究結果、專業見解和影響SAS-114關鍵焦點的思想文章的多樣化集合。作為編輯，我偶爾會在實質性問題上對作者提出質疑，但這只是為了進一步突出論點，而不是為了強求一個共同的觀點。本報告中的20個章節分為四個部分：（a）情報生產管理的組織方面，（b）不確定性下的信息評估，（c）不確定性下的情報和風險評估，以及（d）情報生產中的不確定性溝通。最后一部分正視SAS-114的最初目標，追溯到探索小組，而前三部分則強調該活動自早期開始以來的發展。

序文

指揮官和策略制定者需要高質量的信息來做出適當的決定。在處理他們自己的部隊時，在正確的級別和正確的時間獲得正確的信息，雖然不是小事，但可以通過卓越管理來實現。然后，風險可以得到適當的衡量和說明。然而，如果不注入大量的不確定性，再好的管理也無法提供關于一個合格對手的決策質量信息。

大部分的不確定性來自于無法獲得第一手的信息，而不得不從不完整的或智能體的測量結果中進行推斷--這種情況對于其他行業的分析人員來說是很熟悉的，無論是市場研究、運營研究還是財務分析。然而，其中一些不確定性來自于對手使用積極的欺騙手段，試圖讓我們自己的偏見對我們不利，以掩蓋意圖和能力。為了適應我們用來描述對手行動路線的描述詞：如果第一個不確定性的產生者是最有可能的，那么第二個就是最危險的。它們共同為情報分析員提供了兩個不同但相關的挑戰：如何在這些條件下達成適當的評估，以及如何將這種不確定性適當地傳達給決策者。

雖然在大多數情報組織中，促進情報評估的準確性和溝通不確定性的直觀一致的程序已經使用了一段時間，但本報告中的研究表明，有些程序經不起科學方法的檢驗。這組論文中反復出現的主題是，隨著我們繼續在研究人員和從業人員之間不斷加深理解，不斷發展的判斷和決策科學可以幫助發展一種基于證據的情報分析技術。

科學和戰爭之間的共生關系并不新鮮。從最早的洞穴居民嘗試用棍子的大小、形狀和材料來保護家人免受攻擊，到隱形飛機的開發，研究、開發和國防從業人員之間的聯系在 "行動"、"防護 "和 "感知 "的操作功能中一直很緊密。指揮職能，包括其情報子集，已被證明對科學界的幫助有更大的阻力。文化、難以讓科學家獲得適當級別的批準，以及發表機密到無法進行同行評審的研究缺乏吸引力，是造成這種距離的一些因素。

本技術報告收集了豐富的思想文章、專業見解和研究成果，是科學家和從業人員特意聚在一起討論情報分析中的挑戰的產物，這表明我們最終正在打破這一鴻溝。兩個部落都肯定會從這種合作方式中獲益，但最大的贏家無疑是情報的消費者：指揮官、策略制定者和他們所服務的人。

• 克里斯蒂安-盧梭上將（退役）（MGen (Ret'd) Christian Rousseau，加拿大恐怖主義綜合評估中心主任；前加拿大國防情報局局長和加拿大部隊情報指揮部的創始指揮官。

1.0 評估建模和仿真的使用風險

1.1 背景

建模和仿真被開發和用作支持系統分析、設計、測試和評估、采集、培訓和指導以及更多領域的支持技術。如今，各種各樣的建模和仿真 (M&S) 工具正在更廣泛的不同應用和問題領域中使用。 M&S 通常在實際系統無法滿足用戶需求（例如，風險、可用性）或在其他方面比實際系統更有效（例如，成本、有效性）時應用。但是，本質上，所有 M&S 工具都提供了一些基于不同類型近似的系統（例如實體、現象、過程）的抽象表示。因此，M&S 功能不能完全取代實際系統，更重要的是，它們的使用會帶來不確定性。

M&S 的驗證和確認 (V&V) 是專注于在整個生命周期內評估 M&S 系統和軟件工程過程領域。實施 V&V 是為了提供必要的證據，以獲取有關 M&S 假設、能力和與可接受性標準相關限制的知識。 V&V 不僅利用系統工程和軟件工程，還利用信息科學、認知和行為科學以及其他相關學科。

北約 (NATO) 建模和仿真小組 (MSG) 進行了一系列努力，包括 MSG-054，它為 M&S 的有效 V&V 制定了標準和指導文件。 MSG-054 的努力得到了電氣和電子工程師協會 (IEEE) 標準 1516.4?-2007 聯盟的驗證、確認和認可[5]。除了建立 IEEE 標準外，MSG-054 還開發了 V&V 復合模型，從中選擇 V&V 方法和技術，以匹配 V&V 工作的風險和資源限制，同時遵守相關政策、標準和指導 [6]。V&V 復合模型是可能的活動和環境的超集。

MSG-073 實現了驗證和確認的通用方法 (GM-VV) 的標準化，如圖 1 所示，它提供了一個通用框架來有效地開發一個論據，以證明接受和使用已識別的模型、仿真、基礎數據、結果、和目標（預期）操作環境中的能力。 GM-VV 成功完成了仿真互操作性標準辦公室 (SISO) 標準化流程，以提供完全接受的驗證、確認和認可 (VV&A) 指導文件 [3]。 GM-VV 的目的是為 V&V 提供一般適用的指導：

? 促進 M&S 界內對 V&V 的共同理解和交流；

? 適用于 M&S 生命周期的任何階段（例如，開發、使用和再利用）；

? M&S利益相關者的接受決策過程導向；

? 由 M&S 利益相關者的需求和 M&S 使用風險承受能力驅動；

? 可擴展以適應任何 M&S 范圍、預算、資源和使用風險閾值；

? 適用于多種M&S 技術和應用領域；

? 將產生可追溯、可重復和透明的基于證據的接受論點；

? 可以在企業、項目或技術級別進行實例化；

? 促進 V&V 結果、工具和技術的重用和互操作性。

圖1: GM-VV參考框架

在這些先前的努力中，M&S 使用風險得到了認可，實際上是指南和標準中記錄的建議的驅動因素。盡管 M&S 界就該主題的重要性達成了共識，但沒有公認的方法可用于 M&S 使用風險的限定或量化，以說明項目特定的 M&S 要求和約束。此外，M&S 工具及其開發過程的復雜性日益增加，從而導致包括 M&S 使用風險在內的一系列風險。 M&S 使用風險與 M&S 結果的不當應用及此類應用對決策者的后果有關。

風險管理依賴于評估風險的影響（一旦實現）、定義減輕風險的方法以及評估減輕風險的成本。有效的風險管理需要識別風險和平衡額外投資以減輕風險的方法。這種評估是基于對風險實現的可能性和實現的影響的評估。識別和評估風險后，可以制定緩解策略。評估 M&S 使用風險的方法可用于確定開發目標的優先級、準備和響應資源可用性的變化，以及定制 V&V 活動。

1.2 MSG-139 目標、任務和成果

2014 年 9 月，北約合作支持辦公室 (CSO) 批準組建 MSG-139，建模和仿真 (M&S) 使用風險識別和管理。該任務組的主要目標是為 M&S 使用風險識別和分析，定義和部署具有相關方法和技術的通用方法。一套互補的、最先進的M&S使用風險識別、分析和緩解方法，通過以下方式促進未來北約和國家M&S項目的質量、可信度和效用保證：

? M&S使用風險識別的通用方法和指南；

? 對M&S使用風險問題和解決方案有共同的理解和知識;

? 一套M&S使用風險分析的方法和技術;

? 基于M&S使用風險而不是成本的替代方法和相關指導方針;

? M&S使用與M&S技術和系統生命周期范例無關的風險識別和分析解決方案。

報告結構

本文件報告了MSG-139在滿足上述目標方面的努力結果。具體來說，在第一章中，定義了問題，選擇和應用M&S使用風險方法論(MURM)的基本原理，并介紹了該方法的簡短歷史和概述。第二章從語義定義出發，推導了M&S使用風險方程，并給出了該方程的解，該方程在應用空間中以一個三維曲面表示。相關的數學證明和細節見附錄1和附錄2。第三章介紹了一個MURM的實現，并為從業者提供了建議和指導。在第4章中，一個基于實際應用的用例被提出，說明了在逐項需求的基礎上評估風險狀態的方法的有效性，同時也演示了為M&S的特定預期用途(SIU)降低風險的方法。

圖 2：建模和仿真使用風險方法論（MURM）建立在現有概念的基礎上

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。

摘要

北約正在進行一項名為聯邦任務網絡（FMN）的重大舉措，旨在在北約成員國和伙伴國家之間建立一個共同的技術和培訓基礎，以便在聯盟行動需要時，他們的部隊能夠對關鍵信息系統進行互操作。FMN不是網絡；它是一套互操作的標準和實踐。作者正在領導MSG-193專家團隊的工作，該團隊一直致力于支持在FMN中納入適當的建模和仿真 (M&S) 標準和實踐。本文總結了FMN規范是如何制定的，包括MSG-193作為“M&S辛迪加”在過程中的作用。然后，該論文強調了NMSG的科學技術與FMN支持的軍事行動之間的文化差距，以及如何有效彌合這種差距。FMN開發的第5和第6螺旋（階段）將是建模和仿真的主要重點，包括任務演練、培訓和決策支持。本文最后總結了當前針對這些螺旋的建議中的M&S技術。

摘要

應對氣候變化對北約具有戰略意義。對可能的氣候措施和后果進行充分知情的決策支持分析將決定北約如何很好地應對這一挑戰。環境科學和軍事行動分析的結合將使各國和聯盟能夠做出明智的決定，有可能減少溫室氣體排放和成本，并提高行動效率。

挪威國防部已責成挪威國防研究機構（FFI）在軍事要求規定的范圍內研究挪威武裝部隊減少溫室氣體排放的潛力。

我們對挪威武裝部隊未來的排放量進行了建模，并對七項措施的減排量和成本進行了量化。總的來說，這些措施有可能使溫室氣體排放相對于未來排放的基線減少15-30%，平均估計為22%。此外，我們還確定了幾個同樣重要的措施，這些措施的減排量可能難以量化。

武裝部隊的軍事平臺有很長的服務壽命。現在投資于能源效率低下的解決方案將在未來許多年內產生排放和成本。因此，我們建議，排放預測在采購決策和長期國防規劃過程中得到更突出的作用。

引言

挪威武裝部隊的活動對環境產生了一些負面影響。鑒于武裝部隊任務的性質，其中一些影響是不可避免的。對環境的影響進行了持續的調查，并每年進行報告。國防部門的溫室氣體排放在國際和國內得到了越來越多的關注，挪威國防部責成挪威國防研究機構（FFI）研究減少挪威武裝部隊溫室氣體排放的潛力。

本文的目的是在軍事要求規定的范圍內，對這種潛力進行建模。這項研究并不包含國防部門可能的環境措施的完整清單。我們已經優先考慮了目前知識缺乏的領域。我們還考慮了一個新提出的海上戰爭替代概念的排放效應。這不應該被理解為一種減排措施，它是一種提高能力和降低成本的措施。然而，我們希望證明這樣一個概念的排放后果，并將其作為一個例子，說明如何在國防部門利用技術來實現更多的氣候效率解決方案。

在本章中，我們將簡要地討論氣候變化和對挪威武裝部隊可能產生的后果。在接下來的章節中，我們將說明我們的分析方法和數據、結果和結論。

圖1-1：根據目前的長期計劃，挪威武裝部隊未來排放的模擬基線。

本報告描述了北約第一個多領域小組IST-173所取得的成果。與會者包括來自不同小組和團體的科學家，以及來自北約機構和軍事利益攸關方、學術界和工業界的科學家，這為AI和軍事決策大數據這一主題創造了第一個利益共同體。該團隊在實踐中證明了一種新的STO方法的可行性，即任務導向研究，以激發公開對話、自我形成的研究合作和跨小組活動。此外，該方法還有助于為人工智能和軍事決策大數據這兩個主要能力領域聯合開發北約首個科技路線圖，以應對北約在這些領域面臨的作戰挑戰。由于新的組織(軍事利益相關者積極參與的多領域團隊)和這種創新方法的應用，確定了一些經驗教訓，應該支持軍事決策AI和大數據的進一步操作。

【報告標題】

Human Factors and ISR Concept Development and Evaluation 人為因素和情報、監視、偵察 (ISR) 概念開發和評估

【報告來源】

北約技術報告

【出版時間】

2022年2月

【研究問題】

情報、監視和偵察 (ISR) 行動是關于收集信息并向操作員提供信息，而操作員又需要就其戰區的各種行動方案做出具體決策。可以肯定的是，ISR 行動是技術密集型的。然而，與此同時，ISR 行動是一個非常以人為本的過程。盡管如此，ISR 概念開發和評估 (CD&E) 過程中幾乎沒有人為因素 (HF) 研究。通過研究新的ISR技術和概念對不同操作環境下操作員性能的影響，研究人員可以提供更科學的建議，為高層政策和決策者提供關于所有ISR環境下未來ISR技術和能力的信息：包括空中、海面、地下和空間。就這一點而言，HF 研究方法應成為任何 ISR CD&E 過程的組成部分，為 ISR 指揮鏈各級的政策和決策者提供信息和建議。

【研究目的】
 北大西洋公約組織 (NATO) 研究和技術組織 (RTO) 人為因素和醫學 (HFM) 小組任務組 (RTG) 276 (NATO RTG HFM-276) 題為“人為因素和 ISR 概念開發和評估”，旨在識別和理解對有效 ISR 操作至關重要的 HF 問題。更準確地說，這項開創性工作的目標是：

1 確定有效 ISR 行動的關鍵 HF 問題（例如，態勢感知、工作量、組織結構、協調和協調機制、可視化、信任、信息共享和管理、領導力以及做決定）;

2 使用行為理論模型來發展我們的研究方法并理解我們的發現；

3 就 ISR CD&E 操作中 HF 研究的使用和實施提出建議。

【結果、意義、影響】
 北約 HFM-276 任務組使用組織有效性模型開發了一組調查，以識別和了解對有效 ISR 行動至關重要的 HF 問題。該模型的核心是由任務、收集、處理、利用和傳播 (TCPED) 組成的 JISR 流程。源自該模型以及其他來源的數據收集計劃著眼于 ISR 行動中的一些 HF 問題的作用：基本 HF 知識、情況評估、工作量、組織結構、信任、信息共享、信息管理、領導力、文化、組織過程、組織靈活性、共享意識和責任、協調和協調機制、決策、能力、情報請求管理（IRM）、通信、元數據和應用系統。所有這些 HF 因素都會影響 ISR 操作概念并影響操作員的績效。此外，該報告總結了一些改進北約和非北約行動的 ISR CD&E 過程的實際影響，重點是開發應包含在 ISR CD&E 過程中的 HF 研究方法。這種 HF 方法將像技術和程序 ISR 概念開發的質量控制組件一樣工作。預計研究結果將有助于為 ISR 指揮鏈各級的政策和決策者提供信息和建議，以增強北約 ISR 規劃、任務執行和能力發展中的信息和決策優勢。它還有望幫助告知 ISR 與其他聯合流程的整合，例如在確定當前與 ISR 相關的 HF 差距以及與其他流程整合方面的聯合目標。