本報告將描述數字任務工程--建模和仿真中缺失的部分。當今天大多數技術都是相互聯系的時候，僅僅模擬組件或系統是不夠的。忽視動態世界變量的錯誤已經寫在歷史上......和傳說中。然而，這些條件和相互作用往往被排除在工程模擬之外，以需求為唯一目標。

數字任務工程填補了建模和仿真中的這一空白，將操作環境納入其中，以評估任務結果。這是一個對系統進行建模的過程，因為它將在其預期的條件下運行，并與其他系統一起或對抗。

雖然數字任務工程可能看起來像是在項目的最后--一旦系統被設計出來--事實卻完全不同。它應該從一開始就應用于整個產品的生命周期。用數字任務工程創建的操作環境模型有助于你的項目的數字線索，這樣你就可以快速評估設計變化對現實世界的影響，并在工程團隊中分享這些信息。通過模擬運動中的世界，數字任務工程提供的洞察力遠遠超過了需求驗證。

圖1-1:多域資產的任務分析示例。

圖1-2:導彈防御場景任務分析示例。

圖1-4:數字任務工程愿景。

網絡威脅變得越來越普遍。最近備受矚目的入侵事件表明，秘密的的網絡空間效應如何能夠挑戰21世紀的國際安全戰略格局。每個經濟部門和人類生活的各個方面對數字技術的日益依賴強烈地表明，這一趨勢將繼續下去。北約盟國正以日益強大的網絡安全和防御來應對，特別是當它與軍事系統、平臺和任務相交時。

對提高復原力和穩健性的要求加速了對人工智能技術的探索和采用，即使計算機能夠模仿人類智能的技術，用于網絡防御。深度機器學習（DML）就是這樣一種最先進的技術，它在網絡安全以及許多其他應用領域都表現出了相當大的潛力。深度機器學習可以增強網絡彈性，其防御措施隨著時間的推移隨著威脅的變化而變化，并減少人類專家手動數據分析的總體負擔。深度機器學習可以促進更快的響應，特別是在充分和足夠的訓練下。一些可能的考慮包括在建立或生成數據模型開發中的對抗性樣本。

本技術報告在整合北約范圍內深度機器學習（DML）的網絡防御應用知識方面采取了初步措施。它進一步確定了目前的解決方案和軍事需求之間的差距，并相應地構建了DML在軍事領域有前途的網絡防御應用的追求。研究小組以技術報告的體現為核心，從惡意軟件檢測、事件管理、信息管理、漏洞管理、軟件保障、資產管理、許可證管理、網絡管理和配置管理的角度審查國家標準和技術研究所的安全準則。

該報告研究了DML的復雜效用、實際實施以及公開的挑戰。研究工作組由數據科學、機器學習、網絡防御、建模與仿真和系統工程等領域的專家組成。研究人員和從業人員考慮了數據的聚集、數據的特征、共享數據的需要以及數據模型的共享，或其生成者。這些因素，包括如何處理、訓練、訪問數據，以及相關的技術，如遷移或聯邦學習，也被考慮在內。

第1章 背景

網絡威脅越來越先進，對手更具戰略性，可以從世界任何地方表現出威脅。今天的對手擁有資源和時間，只要有時間和資源，就可以輕松地發動破壞性攻擊。

不同格式的數據的可用性和豐富性也有助于為對手創造一種靈活性，如果沒有數據的涌入，這種靈活性是不存在的[1]。由于對手很容易獲得工具和技術，所有形式的大數據的可用性，網絡攻擊達到了前所未有的高度，北約國家必須通過緩解工具和技術來增強其戰略地位，以減輕對軍事系統、平臺和任務的網絡威脅[2]。

緩解技術將包括最新和最偉大的技術，以創造彈性，及時發現和應對攻擊，并在平臺發生任何損害或損害之前恢復。

世界正在變得更加數字化[3]，軍隊也不例外。隨著先進工具的出現和技術的數字化，研究人員必須做好準備，研究防御性技術，以防止軍事系統和平臺的破壞和退化。

RTG計劃探索深度機器學習（DML）的應用，以實施和加強軍事戰略網絡地位，并創建一個防御，不僅要解決今天的威脅，還要解決未來可能出現的威脅，如增加的處理能力，先進的工具和數據操作技術。

擬議的 "IST 163 - 網絡防御深度機器學習"活動的主要目標是鞏固全北約在DML和網絡防御領域的知識，確定民用解決方案和軍事需求之間的差距，并與其他北約國家合作，使用數據處理，共享數據和模型，并追求將最有前途的技術和應用轉移到軍事領域，同時堅持標準，確保數據與所選技術相匹配。

RTG致力于發現北約各國的DML技術，揭示數據是如何處理和適合神經網絡的，并確定各國在這些技術中的差距，以比較最佳的解決方案，這些解決方案有可能被其他可能沒有潛力或技術不先進的國家采用。

這項研究為各國創造了一個機會，以全面審視DML在網絡防御方面的能力和差距，并研究以最先進的DML方法加強網絡防御的手段。

在為DML創建數據時，來自不同背景的研究人員將共同支持反映數據效用和模型的最佳情況的用例，并努力確保數據最適合于研究。考慮到來自多種背景的擬議數據的動態，對數據的整理和消毒以適應模型，將創造一個機會，看到不同類型的數據對DML模型的各方面作用。

將特別關注術語與北約其他倡議中的相關活動的一致性。因此，它將面向來自人工智能、機器學習、建模和模擬以及系統工程等領域的多學科受眾。

工作組的工作將集中在機器學習上，包括深度學習方面。

第2章 軍事關系

網絡防御影響軍事行動的所有領域，包括通信、行動和后勤。隨著威脅的復雜化和對手變得更加創新，傳統的基于簽名的檢測威脅的方法很容易被規避。現有的防御措施無法跟上新的漏洞、漏洞和攻擊載體出現的規模。顯然，有必要開發自動和數據驅動的防御系統，其模型適合于軍事系統和聯盟操作環境。

減少數據分析的負擔和擴展到多樣化和聯合環境的網絡防御技術，現在和將來都對軍事行動相當重要。在這一類別中，一個有前途的領域是機器學習（ML）的應用，即研究和開發沒有預編程指令的模式識別方法來解釋數據。Theobold[1]明確闡述了機器學習的效用：

• 幾十年來，機器都是靠響應用戶的直接命令來運作的。換句話說，計算機被設計成響應預先編程的命令來執行既定任務。現在，計算機嚴格來說不需要接收輸入命令來執行任務，而是需要輸入數據。具體來說，機器根據數據中捕捉到的以往經驗創建一個預測模型。從輸入的數據中，機器就能制定出如何、在何處、何時執行某種行動的決定。[1]

在20世紀上半葉的20年里，美國的武裝部隊是數字計算機發展的唯一最重要的驅動力[2]。隨著商業計算機行業開始形成，武裝部隊和國防工業成為其主要市場。在其發展過程中，人類對所有的軟件進行編程，并作為計算和算法進步的主要驅動力。面向對象的編程使軟件可以重復使用，并擴大了其規模。后來，互聯網使軟件民主化。隨著深度機器學習（DML）的出現，這一格局正準備再次發生根本性的轉變，這是ML的一個子集。DML技術通過訓練描述輸入和輸出之間關系的模型，使計算機能夠 "編寫 "自己的軟件。這一突破已經在加速每個行業的進步。研究表明，深度學習將在未來20年內使全球股票市場增加近50%[3]。

網絡防御也不例外，這是個趨勢。20世紀后半葉，社會和軍事應用中越來越多地采用數字技術，而21世紀頭幾十年的常規數據泄露事件，說明了一個有彈性的網絡空間的重要性。人工智能（AI）的應用，包括用于網絡防御的ML和DML，已經在國防研究論壇上獲得了相當多的曝光[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]。這些應用具有相當大的軍事前景，特別是涉及到漏洞發現、威脅識別、態勢感知和彈性系統。

2.1 北約視角

網絡防御是北約合作安全核心任務的組成部分[12]。2002年，盟國領導人首次公開承認需要加強防御網絡攻擊的能力[13]。此后不久，在2003年，他們建立了北約計算機事件響應能力（NCIRC），這是一個由 "第一響應者 "組成的團隊，負責預防、檢測和響應網絡事件。從那時起，網絡領域的重要性和關注度都在不斷增加。2008年，北約建立了合作網絡防御卓越中心，目前由25個贊助國組成，其任務是加強北約盟國和合作伙伴的能力、合作和信息共享[14]。2014年，盟國領導人宣布，網絡攻擊可能導致援引北約創始條約中的集體防御條款。2016年，盟國承認網絡空間是軍事行動的一個領域。盟國領導人進一步承諾，將加強其國家網絡和基礎設施的復原力作為優先事項，并申明國際法適用于網絡空間[15]。雖然北約的主要重點是保護聯盟擁有和運營的通信和信息系統，但它規定了簡化的網絡防御治理，協助盟國應對網絡攻擊，并將網絡防御納入作戰計劃，包括民事應急計劃。北約清楚地認識到，其盟國和合作伙伴受益于一個可預測和安全的網絡空間。

對北約安全的網絡威脅越來越頻繁，越來越復雜，越來越具有破壞性和脅迫性。聯盟必須準備好保衛其網絡和行動，以應對它所面臨的日益復雜的網絡威脅。因此，盟軍的理論指出，網絡防御是影響未來軍事力量平衡的六個關鍵因素之一[16]。北約的政策進一步將網絡防御的追求定格在六個關鍵目標上[17]。

• 將網絡防御的考慮納入北約的結構和規劃過程，以執行北約的集體防御和危機管理的核心任務。- 重點關注北約及其盟國的關鍵網絡資產的預防、恢復和防御。

• 發展強大的網絡防御能力，集中保護北約自己的網絡。

• 為對北約核心任務至關重要的國家網絡的網絡防御制定最低要求。

• 提供援助，以實現最低水平的網絡防御，減少國家關鍵基礎設施的脆弱性。

• 與合作伙伴、國際組織、私營部門和學術界接觸。

最近的研究闡述了這些目標是如何實現的[18]。盡管其成員負責保護自己的網絡空間部分，但北約在促進互動、保持態勢感知以及隨著危機或沖突的發展將資產從一個盟友或戰術情況轉移到另一個盟友方面發揮著關鍵作用。它進一步倡導多國部隊之間的高度互操作性，包括聯合收集、決策和執行盟國在網絡空間的行動要素[19]。2013年，北約防御規劃進程開始向其盟國分配一些集體的最低能力，以確保一個共同的基線，包括國家網絡應急小組（CERT）、加密、教育、培訓和信息共享。在網絡空間以及其他領域，北約在建立國際規范和行為準則方面發揮了不可或缺的作用，促進了對不可接受的行為、譴責、制裁和起訴的明確性。

2.2 美國視角

美國國家網絡戰略[20]宣稱有責任捍衛美國利益免受網絡攻擊，并威懾任何試圖損害國家利益的對手。它進一步確認了為實現這一目標而開發的網絡空間行動能力。美國軍事理論將網絡行動定義為一系列行動，以防止未經授權的訪問，擊敗特定的威脅，并拒絕對手的影響[21]。在本報告的背景下，有兩個關鍵功能非常突出。

• 網絡空間安全（Cybersecurity），是指在受保護的網絡空間內采取的行動，以防止未經授權訪問、利用或破壞計算機、電子通信系統和其他信息技術，包括平臺信息技術，以及其中包含的信息，以確保其可用性、完整性、認證、保密性和不可抵賴性。

• 而網絡空間防御（Cyber Defence）則是指在受保護的網絡空間內采取的行動，以擊敗已經違反或有可能違反網絡空間安全措施的特定威脅，包括檢測、定性、反擊和減輕威脅的行動，包括惡意軟件或用戶的未經授權的活動，并將系統恢復到安全配置。

盡管有區別，但網絡安全和網絡防御都需要對系統和安全控制進行廣泛的持續監測。聯合軍事理論進一步承認了整合能力的挑戰，其中包括。

• 民族國家的威脅，可以獲得其他行為者無法獲得的資源、人員或時間。一些國家可能利用網絡空間能力來攻擊或進行針對美國及其盟友的間諜活動。這些行為者包括傳統的對手；敵人；甚至可能是傳統的盟友，并可能外包給第三方，包括幌子公司、愛國的黑客或其他代理人，以實現其目標。

• 非國家威脅包括不受國家邊界約束的組織，包括合法的非政府組織（NGO）、犯罪組織和暴力極端主義組織。非國家威脅利用網絡空間籌集資金，與目標受眾和對方溝通，招募人員，計劃行動，破壞對政府的信任，進行間諜活動，并在網絡空間內直接開展恐怖行動。他們也可能被民族國家用作代理人，通過網絡空間進行攻擊或間諜活動。

• 個人或小團體的威脅是由可獲得的惡意軟件和攻擊能力促成的。這些小規模的威脅包括各種各樣的團體或個人，可以被更復雜的威脅所利用，如犯罪組織或民族國家，往往在他們不知情的情況下，對目標實施行動，同時掩蓋威脅/贊助者的身份，也創造了合理的推諉性。

• 事故和自然災害可以擾亂網絡空間的物理基礎設施。例子包括操作失誤、工業事故和自然災害。從這些事件中恢復可能會因為需要大量的外部協調和對臨時備份措施的依賴而變得復雜。

• 匿名性和歸屬性。為了啟動適當的防御反應，網絡空間威脅的歸屬對于被防御的網絡空間以外的任何行動都是至關重要的，而不是授權的自衛。

• 地域。防御性反應的累積效應可能超出最初的威脅。由于跨區域的考慮，一些防御行動被協調、整合和同步化，在遠離被支持的指揮官的地方集中執行。

• 技術挑戰。使用依賴利用目標中的技術漏洞的網絡空間能力可能會暴露其功能，并損害該能力對未來任務的有效性。這意味著，一旦被發現，這些能力將被對手廣泛使用，在某些情況下，在安全措施能夠被更新以考慮到新的威脅之前。

• 私營企業和公共基礎設施。國防部的許多關鍵功能和行動都依賴于簽約的商業資產，包括互聯網服務提供商（ISP）和全球供應鏈，國防部及其部隊對這些資產沒有直接的權力。

• 全球化。國防部的全球業務與其對網絡空間和相關技術的依賴相結合，意味著國防部經常從外國供應商那里采購任務所需的信息技術產品和服務。

• 緩解措施。國防部與國防工業基地(DIB)合作，以加強駐扎在DIB非機密網絡上或通過DIB非機密網絡的國防部項目信息的安全性。

2018年國防戰略[22]對美國軍隊在各個領域--空中、陸地、海上、太空和網絡空間--都表示嚴重關切。它進一步承認，當前的國際安全格局受到快速技術進步和戰爭性質變化的影響。為了應對這一挑戰，美國國防部確定了現代化的優先事項，其中包括人工智能/ML、自主性和網絡。網絡是一個獨特的作戰領域，對需要加強指揮、控制和態勢感知以及自主行動的軍事行動來說，具有重大挑戰和潛在的飛躍能力。

2019年聯邦網絡安全研究與發展戰略計劃[23]闡明了用人工智能（AI）模型、算法以及其他領域的人與AI互動來增強網絡安全研究與發展（R&D）的必要性。將人工智能技術納入網絡自主和半自主系統，將有助于人類分析員在自動監測、分析和應對對手攻擊方面以更快的速度和規模運作。這方面的應用包括部署智能自主代理，在日益復雜的網絡戰斗空間中檢測、響應和恢復對手的攻擊。預期成果包括預測固件、軟件和硬件中前所未有的安全漏洞；根據學習到的互動歷史和預期行為，從攻擊場景中持續學習和建模；利用通信模式、應用邏輯或授權框架，防御針對人工智能系統本身的攻擊；半/完全自主的系統減少了人類在網絡操作中的作用。

2020年，美國人工智能國家安全委員會[24]強調了人工智能技術對經濟、國家安全和人類福祉的潛在影響。它指出，美國的軍事對手正在整合人工智能概念和平臺，以挑戰美國幾十年來的技術優勢。人工智能加深了網絡攻擊和虛假信息運動帶來的威脅，我們的對手可以利用這些威脅來滲透社會，竊取數據，并干擾民主。它明確宣稱，美國政府應該利用人工智能的網絡防御措施，以防止人工智能的網絡攻擊，盡管它們本身并不能保衛本質上脆弱的數字基礎設施。

2.3 網絡戰爭事件的簡史

根據北約合作網絡防御卓越中心的數據，至少有83個國家已經起草了國家網絡安全戰略[25]。此外，所有30個北約成員國都發布了一份或多份治理文件，反映了保衛網絡環境的戰略重要性。這種堅定的姿態源于過去20年里發生的越來越普遍和有影響的網絡攻擊。在本節中，我們研究了影響北約盟國的高調入侵的簡短歷史，培養了當前的氣氛，并強調了對更好的網絡保護、威懾、檢測和反應技術的需求。

2003年，一系列協調攻擊破壞了美國的計算機系統。這些攻擊被美國政府命名為 "泰坦雨"，持續了三年，導致政府機構、國家實驗室和美國國防承包商的非機密信息被盜。隨后的公開指控和否認，源于準確檢測和歸因于網絡攻擊的困難，成為網絡空間中新出現的國際不信任的特征。

2007年，愛沙尼亞成為一場持續二十二天的政治性網絡攻擊活動的受害者。分布式拒絕服務攻擊導致許多商業和政府服務器的服務暫時下降和喪失。大多數的攻擊是針對非關鍵性服務，即公共網站和電子郵件。然而，有一小部分集中在更重要的目標，如網上銀行和域名系統（DNS）。這些攻擊引發了一些軍事組織重新考慮網絡安全對現代軍事理論的重要性，并導致了北約合作網絡防御卓越中心（CCDCOE）的建立，該中心在愛沙尼亞的塔林運作。

2008年，一系列的網絡攻擊使格魯吉亞組織的網站失效。這些攻擊是在一場槍戰開始前三周發起的，被認為是一次與主要作戰行動同步的協調的網絡空間攻擊。

2015年，俄羅斯計算機黑客將目標鎖定在屬于美國民主黨全國委員會的系統上。這次攻擊導致了數據泄露，被確定為間諜行為。除了強調需要加強網絡復原力外，對這一事件的反應突出了采取行動打擊虛假信息和宣傳行動的必要性。

2017年，WannaCry勒索軟件感染了150個國家的20多萬臺電腦。這種不分青紅皂白的攻擊，由利用微軟視窗操作系統漏洞的勒索軟件促成，鎖定數據并要求以比特幣支付。在幸運地發現了一個殺毒開關后，該惡意軟件被阻止了，但在它導致工廠停止運營和醫院轉移病人之前。

2018年，挪威軍方和盟國官員證實，俄羅斯在歐洲高北地區舉行的三叉戟接點演習中，持續干擾GPS信號，擾亂了北約的演習[26]。"使用天基系統并將其拒絕給對手的能力是現代戰爭的核心"[27]。在過去幾十年里，軍事行動對天基資產的依賴性越來越大，天基資產越來越成為網絡攻擊的理想目標。俄羅斯等國都將電子戰、網絡攻擊和電磁戰斗空間內的優勢作為在未來任務中取得勝利的戰略的一部分。這些國家的現有理論突出了一個重點，即防止對手的衛星通信系統影響其作戰效率。衛星依賴于網絡技術，包括軟件、硬件和其他數字組件。空間系統對于在空中、陸地、海上、甚至網絡領域進行的行動中提供數據和服務是至關重要的。對衛星控制系統或帶寬的威脅對國家資產和目標構成了直接挑戰，并促進了對緩解措施的需求，以實現這些系統的彈性。

2020年，來自亞美尼亞和阿塞拜疆的黑客在納加諾-卡拉巴赫戰爭期間以網站為目標。錯誤信息和舊事件的視頻被當作與戰爭有關的新的和不同的事件來分享。新的社交媒體賬戶創建后，關于亞美尼亞和阿塞拜疆的帖子激增，其中許多來自真實用戶，但也發現了許多不真實的賬戶。這一事件強調了社會網絡安全作為一個新興研究領域的出現[28]。

2020年，一場重大的網絡攻擊通過破壞流行的網絡監控工具Solarwinds的軟件供應鏈滲透到全球數千家機構。據報道，由于目標的敏感性和高知名度，以及黑客進入的時間之長，隨后發生的破壞程度是美國所遭受的最嚴重的網絡間諜事件之一。在被發現的幾天內，全世界至少有200個組織被報告受到了攻擊。

2.4 網絡空間的大趨勢

越來越多的趨勢是網絡空間發展的特點。網絡技術在我們生活的各個方面發揮著越來越大的作用。這一趨勢也延伸到了軍事沖突。對網絡技術的日益依賴將帶來新的脆弱性，并侵蝕傳統網絡防御的界限。隨著基礎技術組件和界面的成熟，網絡空間和其他領域，包括關鍵基礎設施、軍事武器系統和綜合生物、物理和量子系統之間的交叉將越來越重要。在本節中，我們確定了將影響網絡空間演變的技術和非技術趨勢，以及ML在其防御應用中的基本效用。

2.4.1 技術趨勢

硬件、軟件和協議的可編程性和復雜性日益增加。可編程性的增加帶來了快速的開發和交付窗口，但每一個新的代碼庫都會進一步引入新的漏洞。復雜性的增加導致了未使用的代碼路徑，即軟件臃腫，從而維持了不良的攻擊路徑。第三方和開源硬件和軟件的存在越來越多，這使得快速的原型設計成為可能，但也容易受到不透明的供應鏈和來源損失的影響。

自主性的應用和加速的決策循環是網絡沖突的方向和速度的特征。人類將在機器智能中依賴大數據、增加的計算能力和新型計算算法的匯合。日益增長的網絡速度需要更多地依賴預防妥協、復原力以及與人類專家的最佳人機合作。同時，網絡空間越來越不可信，新興的安全架構規定，需要根據資產和信息對任務背景的重要性來保護它們[29]。

網絡空間的應用范圍越來越多樣化。隨著邊緣設備保持通電和可訪問性，以及低尺寸、低重量和電源設備連接的應用增長，無處不在的連接將增加軍事上對網絡空間的依賴。與網絡物理系統（即物聯網）一樣，新興的生物、物理和量子應用將需要與網絡空間的新接口。這些接口將為網絡防御創造新的機會和挑戰，如儀器和傳感、側信道攻擊和形式驗證。

機器學習（ML）將繼續發展其與網絡空間技術和網絡防御應用的多層面關系。一方面，ML可以增強幾乎所有的網絡技術及其應用（即微電子、網絡、計算架構等的設計、開發和測試）。另一方面，網絡技術的進步（如張量處理單元、量子計算機）可以增強ML能力。鑒于在大量數據中進行模式識別的基本挑戰，ML可以大大改善網絡空間的能力和彈性。

2.4.2 非技術趨勢

互聯網用戶的數量囊括了世界一半以上的人口[30]。盡管有跡象表明，由智能手機出貨量下降和2020年全球大流行引起的近期增長放緩，但創新繼續推動產品改進。收集的數字數據的迅速崛起是那些增長最快的公司成功的關鍵，通常是通過數據挖掘和豐富的上下文增強，幫助個性化的產品和服務。這導致了對濫用數據、用戶隱私和準備推動市場變化或監管的問題內容的擔憂。隨著數字系統變得越來越復雜，數據越來越豐富，任務也越來越重要，利用的機會和意愿也越來越大。越來越多地，新興技術的網絡安全影響被納入國際外交和國防考慮。最近的例子包括脆弱性平等進程[31]、網絡空間信任與安全巴黎呼吁[32]和算法權利法案[33]。

戰略性的全球需求信號，包括氣候變化和資源短缺，可能會產生新的領土野心和聯盟，導致政治格局急劇變化。例如，由天基太陽能技術產生的電力可能被傳送到地面，這就需要新的關鍵基礎設施和網絡空間的全球存在點。同樣，由自然資源短缺引起的人口變化可能會改變政治和國家安全格局。這些變化將引入新的關鍵基礎設施，并對網絡空間產生依賴性。

軍事行動已經嚴重依賴網絡空間。這種依賴性是一個可以被利用來獲得不對稱優勢的弱點[34]。數字地形的丟失、退化、損壞、未經授權的訪問或利用為對手提供了巨大的優勢，并對軍事目標構成了威脅。近鄰的行為者將繼續試圖破壞網絡空間或反擊進攻性網絡行動。進攻性網絡能力的民主化和擴散將進一步為非近鄰的競爭對手提供具體的優勢。越來越多地，一個國家的能力和影響力可以通過其將消費電子產品武器化的能力來衡量，特別是當這些商業開發的系統將成為軍事應用的基礎。因此，網絡攻擊的范圍、頻率和影響都將增長。

同時，全球化將促使對軍事行動的標準和責任的審查增加。政治和公眾對問責制的要求將因戰爭的日益不透明而受到挑戰。例如，在物理領域開展的威懾行動需要精心策劃的敘述和信息傳遞，與24小時的新聞周期保持一致。然而，進攻性的網絡行動準備實現更加隱蔽的效果，不容易被觀察到或歸因。網絡戰工具已將網絡空間轉化為一個灰色地帶的戰場，在這里，沖突低于公開的戰爭門檻，但高于和平時期。

作戰將越來越多地將網絡與傳統領域（如陸地、海洋、空中、太空）結合起來。戰爭學說、國際條約和一般法律將隨著力量平衡、現有技術和區域沖突的變化而反應性地發展。進攻性網絡工具的民主化將對抗動能領域作戰的傳統優勢。前所未有的連通性和日益增長的民族主義將推動網絡空間繼續被用于不對稱的優勢。世界范圍內的社會動蕩所助長的虛假信息和影響運動將可能蔓延到網絡空間。盡量減少外部影響、執行數據隱私和管理數字內容的愿望增強，可能會推動互聯網的巴爾干化。

這在俄羅斯宣布將其國家部分從全球互聯網中關閉并成為 "數字主權"，同時在網絡空間中追求決定性的軍事優勢中已經得到證明。在這個目標中，包括為人工智能系統建立信息安全標準。這樣的新技術應用很可能會影響俄羅斯選擇的實現其目標的方式。例如，Kukkola等人[35]斷言，人工智能可能為俄羅斯提供一個機會，以靈活的方式定義其數字邊界，反映普遍的意見和忠誠度，而不是地理位置。俄羅斯領導層進一步斷言，領導人工智能的國家將是 "世界的統治者"，表明這種進步將是變革性的，其影響尚未被完全理解。

第4章 深度機器學習在網絡防御中的應用

傳統的網絡安全和網絡防御方法依賴于人工數據分析來支持風險管理活動和決策。盡管這些活動的某些方面可以自動化，但由于其簡單性和對問題領域的有限理解，自動化往往是不足的。在這一章中，我們將調查DML應用的文獻，這些應用可以幫助信息安全的持續監控，用于美國國家標準研究所定義的一組安全自動化領域[1]。我們這樣做是為了對最先進的研究現狀、實際實施、開放的挑戰和未來的愿景建立一個結構化的理解。通過這些見解，我們指出了DML在整個網絡安全領域應用的一系列挑戰，并總結了我們的發現。

在不同的安全自動化領域中，我們已經確定了主題和建議未來研究的領域。其中一個反復出現的主題似乎是缺乏實際的實現，也就是說，缺乏高技術準備水平（TRL）。我們懷疑這可能是由于許多不同的原因，例如，未滿足性能預期、數據不足、不合格的深度學習架構、對促進可擴展的DML應用的通用數據存儲和分析解決方案缺乏共識，或研究的初級階段。通過我們的初步調查，我們強調了未來的研究方向和/或阻礙每個安全自動化領域的進一步進展的問題。

• 惡意軟件檢測。DML應用需要處理惡意軟件如何隨著時間的推移改變其統計屬性，例如，由于對抗性方法（概念漂移）。還有一個問題是關于數據共享，以適應不太可能被釋放到野外的高級惡意軟件，以及一般的數據訪問。此外，還需要研究如何定義能夠代表軟件的新特征，以便進行檢測和歸屬。

• 事件管理。DML與現有安全控制的整合不足，限制了DML應用的開發程度。在操作化、管理和例行程序方面，以促進標記數據的收集和深度學習模型的開發。

• 信息管理。DLP系統可以與網絡和終端系統緊密相連，需要對系統有一個深刻而廣泛的了解。在當前的IT安全趨勢下，加強數據保密性，這樣的系統正面臨著數據可訪問性的降低。這絕不是這個領域特有的問題，但卻使DML應用的開發變得復雜。因此，研究機會是存在的，例如，通過與底層操作系統更深入的整合來恢復數據的可訪問性。然而，也有一些課題需要研究描述任何給定數據是否包含敏感信息的條件，以及相同數據的變化如何被識別，而不考慮例如編碼方案。以及當所需的數據在沒有額外分析的情況下無法直接獲得時，如何表示模糊或開放的規則并驗證其合規性。

• 脆弱性管理。缺乏共識和對公共和足夠大的數據集的訪問，已經被認為是漏洞發現領域的一個挑戰。然而，有一些嘗試可以減少這種依賴性，通過部署預先訓練好的語言模型，例如，對軟件掃描進行模糊測試，以檢測漏洞并協助修補漏洞。我們預見了兩個可以進一步研究的方向：改進深度學習架構或改進數據集及其特征表示。

• 軟件保證。盡管支持DML應用的技術存在于相關領域，如惡意軟件檢測和漏洞管理。我們還沒有發現在這個領域內研究問題的努力，但當多個DML應用能夠協同工作時，我們期待這種發展。

• 資產管理。隨著即將到來的資產新浪潮，被稱為 "工業4.0"。其中包括制造業的自動化和數據交換的趨勢，以及移動設備、物聯網平臺、定位設備技術、3D打印、智能傳感器、增強現實、可穿戴計算和聯網的機器人和機器。我們認為，DML的應用可以并將有助于這種未來資產管理的某些方面，然而，哪些方面仍然是一個開放的研究問題，開放的文獻表明，需要探索行業特定的使用案例。

• 許可證管理。考慮到軟件資產管理（SAM）考慮到許可問題，這里也適用與資產管理相同的未來研究方向。- 網絡管理。移動目標防御（MTD）是一個新興的研究領域，將大大受益于人工智能驅動的方法。

• 配置管理。我們希望與MTD研究相關的技術可以使配置管理能力受益。

• 補丁管理。我們已經確定了解決某些問題的研究，如：以風險意識的方式動態調度補丁，自動漏洞修復分析，以及在軟件補丁尚未可用的情況下定位漏洞緩解信息。然而，沒有人試圖將這些納入一個單一的模型，從而創建一個完整的管道。這可能是未來研究中需要探索的一個領域。

最后，我們沒有發現任何證據表明，任何安全領域在DML應用方面的研究都已經完成。所有的領域都有尚未探索的研究領域，這些領域在未來可以并且有望經歷重大的研究。

4.1 惡意軟件檢測

惡意軟件是指在所有者不知情或不同意的情況下，故意設計成滲入、修改或破壞計算機系統的任何惡意軟件。惡意軟件具有多種形式的數字內容，包括可執行代碼、腳本和嵌入互動文件中的活動對象。下面列舉了常見的惡意軟件類型及其特點。

• 利用漏洞。
• 廣告軟件劫持瀏覽以獲取經濟利益。
• 間諜軟件竊取敏感信息。
• 贖金軟件為勒索而加密文件。
• 木馬病毒偽裝成良性軟件。
• Rootkits提供持久的、隱蔽的特權訪問。
• 病毒在其他計算機程序上自我復制。
• 蠕蟲在其他計算機上復制自己。
• 機器人遠程執行命令。
• 后門提供非法訪問。
• 密碼劫持者開采加密貨幣。
• 下載器下載和安裝更多不需要的軟件。
• 恐嚇軟件誘使用戶安裝不必要的軟件。

安全分析師和惡意軟件開發者之間的斗爭是一場持續的戰斗。最早記錄在案的病毒出現在1970年代。今天，惡意軟件的復雜性變化很快，利用不斷增加的創新。最近的研究強調了惡意軟件在促進網絡安全漏洞方面的作用，注意到惡意軟件的趨勢是以經濟利益為動機的目標有效載荷，并提供證據斷言互聯網連接設備的擴散將促進惡意軟件交易[2]，[3]。

惡意軟件檢測是指識別終端設備上是否存在惡意軟件，以及區分特定程序是否表現出惡意或良性特征的過程。傳統的基于簽名的方法來識別和描述惡意軟件越來越不利，因為微不足道的改變使惡意軟件可以逃避普通的檢測方法[4], [5]。基于簽名的方法本質上是基于正則表達式的模式匹配，從觀察到的惡意軟件的經驗知識中獲得。從已知的惡意軟件樣本中提取的獨特字節串建立了一個簽名數據庫，通常由終端保護供應商的訂閱服務提供。當反惡意軟件程序收到要測試的文件時，它將文件的字節內容與數據庫中的簽名進行比較。只要惡意軟件不采用規避措施，這種方法是有效的，而且計算效率高（即類型1錯誤低）。然而，隨著簽名的數量和采用棘手的規避措施的增加，模式匹配的計算成本變得很高，而且越來越無效。啟發式方法在一定程度上通過規則解決了這一挑戰，但同時也增加了假陽性率。簽名和啟發式方法的脆弱性是一個長期公認的問題，它促進了對替代和補充技術的研究。

這些補充技術通常是一個艱巨的過程，需要詳盡地結合軟件逆向工程、源代碼調試、運行時執行分析以及網絡和內存取證。靜態分析技術可以識別表面特征，如加密哈希值、大小、類型、標題、嵌入內容和軟件打包器的存在。靜態分析工具包括源代碼和字節碼分析器、數字簽名驗證工具和配置檢查器。動態分析技術可以識別運行時的特征，如對文件系統、操作系統、進程列表、互斥因子和網絡接觸點的改變。動態技術需要大量的專業工具，包括解包器、調試器、反匯編器、解碼器、模糊器和沙箱，通過這些工具可以安全地執行、檢測和觀察可疑文件的行為。許多擁有強大信息安全計劃的軍事組織采用了一種混合方法，通過一系列的技術和工具對可疑的未知文件進行分流和檢查[6]。

盡管采取了全面的方法，但許多工具都有局限性，沒有一種技術可以自信地保證軟件的出處和衛生。例如，軟件打包器的存在和其他混淆文件內容的伎倆阻礙了靜態分析方法。同樣地，通過沙盒進行動態分析的實施成本很高，往往缺乏取證的可追溯性，而且很容易被虛擬的殺戮開關所顛覆，這些開關會對執行環境進行檢測。惡意軟件發現的ML應用可以追溯到20年前。早期的方法依賴于特征向量，如ASCII字符串、指令、n-grams、頭域、熵和動態鏈接庫的導入，這些都是從可執行文件中提取的。這些方法產生了不同的結果。雖然提供了巨大成功的跡象和顯著的準確性，但它們最終缺乏可擴展性，未能跟上不斷變化的威脅，因此必須繼續使用傳統的、精確的簽名。惡意軟件創建和發現的對抗性確保了對手一旦意識到用于識別其代碼的特征就會采用新技術。因此，由于缺乏暗示惡意的明顯或自然特征，這些技術被證明具有局限性。

4.2 事件管理

事件管理包括監測工具和技術，并在必要時對網絡或系統中觀察到的事件作出反應。如果這些事件表明存在惡意或有問題的活動，則可稱為 "警報 "或 "警告"。它們通常被記錄在記錄一個組織的周邊事件的日志中。有大量的工具可以被認為是這個領域的一部分，但我們特別考慮兩個。安全信息和事件管理（SIEM）系統和入侵檢測系統（IDS）。前者致力于通過聚集來自多個安全控制的日志來實現分析。后者部署在戰略位置，分析本地系統或網絡的日志。

4.3 信息管理

數據的分類是軍事領域的一個標準要求。傳統上，紙質文件被標記為 "非機密 "或 "機密 "等標簽，用戶必須遵循嚴格的規定以確保所需的保密性。這種基于紙張的系統的一個特性是文件和其分類之間的直接聯系，因為它是文件的一部分。文件分類的元信息不能與文件本身分開。這在數字環境中不能以同樣的方式實現，因為通常很容易將分類數據與其元數據分開，從而將其分類分開。一些系統試圖保證這種不可分割的聯系。然而，它們只限于邊緣情況。在實踐中，數據被儲存在無數的系統中，被轉移、改變、轉換，并使用難以計數的格式。一些例子是。

• 以PDF、Office Open XML或純文本等辦公格式存儲的文本文件。

• 以簡單格式存儲的圖像，如BMP（位圖圖像文件格式）或JPEG；以及

• 以WAVE或MP3格式存儲的音頻數據。

這些格式中有些提供受保護的元數據，有些則是除了信息之外沒有任何東西的普通格式。

本節重點討論一種通常被稱為數據丟失預防/數據泄漏預防（DLP）的一般方法，它可以處理任意數據。這樣的DLP系統會分析應用于數據的用戶行為（例如，通過電子郵件發送文件或打印文件）是否被給定的規則集所允許。元數據，如分類，可以緩解這一過程，但（在理論上）不是必需的。我們可以把這樣的DLP形式化為一個決策任務，我們要決定一個給定的行動a是否可以按照規則r應用于一個文件d。在白名單方法中，我們把對數據的操作限制在允許的規則中。其他的都是禁止的。黑名單方法則與此相反。除非明確禁止，否則一切都被允許。這兩種方法在網絡安全中都很常見。

我們可以區分兩個主要的系統設計。端點解決方案的工作方式類似于防病毒（AV）。它們監測特定設備上的活動。端點解決方案可以在訪問時以未加密的形式訪問數據（也稱為 "使用中的數據"）或主動搜索系統中的數據（也稱為 "靜態數據"），這樣，主要的挑戰是對給定的數據進行分類并應用政策，例如，阻止分類文件被打印或通過不安全的渠道或不受信任的目的地傳輸。網絡解決方案監測數據交換，也被稱為 "運動中的數據"。因此，它們不能在特定的主機上執行規則，而是限制信息交流。網絡解決方案面臨的一個共同問題是，越來越多的網絡流量被端對端加密，因此監測系統無法讀取。介于上述兩種解決方案之間的第三類是基于云的解決方案，其中DLP是對存儲在基于云的系統中的數據進行強制執行。基于云的解決方案似乎非常特別，但它們與端點解決方案相似，因為它們可以在其云中的 "本地 "數據上操作，并與網絡解決方案相似，因為它們可以監測流量。然而，終端可能會在云中存儲加密的數據，這樣云系統可能會受到對未加密數據的較少訪問。

DLP系統面臨以下挑戰：

1）數據獲取。DLP必須訪問數據本身，以分析是否允許某個行動。這對基于網絡的解決方案來說變得越來越復雜。

2. 分析數據。DLP系統必須 "理解 "并對內容進行分類。這意味著，他們必須支持廣泛的不同文件類型。

3. 表示規則。規則是決定是否可以對給定的數據采取某種行動所必需的。對于一些規則，如 "不允許轉移標記為機密的文件"，規則的表示是直接的。然而，"模糊 "規則要難得多。例如，"不允許轉讓軍事地點的圖片"，因為沒有明確的定義，一張圖片是否包含軍事地點。

DML可以應用于所有挑戰，但分析數據是最明顯的挑戰，將在 "當前研究 "中簡要討論。

4.4 漏洞管理

美國家安全系統委員會（CNSS）詞匯表第4009號將漏洞定義為信息系統、系統安全程序、內部控制或實施中的弱點，可被威脅源利用或觸發[41]。軟件漏洞是指在軟件代碼中發現的可被攻擊者利用的安全缺陷、小故障或弱點[42]。

漏洞管理是識別、分類、補救和緩解漏洞的循環做法[43]。美國國家標準與技術研究所（NIST）將漏洞管理能力定義為一種信息安全持續監控（ISCM）能力，它可以識別設備上的漏洞，這些漏洞很可能被攻擊者用來破壞設備，并將其作為一個平臺，將破壞延伸到網絡上[44]。漏洞管理的目的是確保軟件和固件漏洞被識別和修補，以防止攻擊者破壞一個系統或設備，而這又可能被用來破壞其他系統或設備。

4.5 軟件保障

美國家安全系統委員會[59]將軟件保證定義為：軟件按預期功能運行，并且在整個生命周期內沒有故意或無意設計或插入的漏洞的信心水平[59]。NASA技術標準8739.8A中的定義使用了類似的措辭[60]。

軟件保證領域與其他領域相聯系，特別是與漏洞管理領域相聯系，涉及到漏洞掃描和發現，但也涉及到惡意軟件檢測。

4.6 資產管理

網絡安全的最佳實踐需要對構成信息環境的數字資產進行說明[1], [64], [65]。資產管理是指組織維護硬件、軟件和信息資源清單的做法，長期以來被認為是強大的網絡安全態勢的一個組成部分[66]。雖然傳統上是通過配置管理、網絡管理和許可管理的一些工具組合來完成的，但云計算和面向服務的技術的擴散已經導致了更新的解決方案。例如，信息技術資產管理（ITAM）、信息技術服務管理（ITSM）和軟件資產管理（SAM）工具，提供了對技術投資的商業價值核算和最大化的洞察力[67], [68]。

這些解決方案的需求和效用可以通過其需求來描述。獨立評估顯示，ITAM、ITSM和SAM工具的全球市場價值每年在10億至50億美元之間，并列舉了二十多家提供軟件工具或管理服務的技術供應商[69], [70], [71]。這些解決方案對設備、軟件，或者在云服務的情況下，對云服務提供商的接口進行檢測。他們進一步提供工作流程，將資產分配給業務角色和功能。盡管可用的儀器和工作流程功能具有可擴展性，但這些工具的共同特點是能夠感知、查詢和解釋它們所監測的資產的本地數據。更明顯的是，它們作為一種手段，支持最終由人類強加的手工業務流程。

正是通過這一視角，深度學習對資產管理的破壞可以得到最好的實現。現有的工具為監督業務功能的操作員提供信息。雖然它們的實施和有效使用可以幫助減輕安全風險，但它們要求其操作者指定一套配置參數。例如，SAM工具要求其操作者配置如何解釋軟件許可條款和產品使用權。這些工具通過商業智能儀表盤和工作流程建議提供了一定程度的自動化，但由于需要調整，這可能會增加整個解決方案的復雜性，這與直覺相反。

4.7 許可證管理

許可證管理工具可以控制軟件產品的運行地點和方式。它們在代碼中捕獲許可協議條款，自動收集軟件使用情況，并計算出成本影響，幫助優化軟件支出。當被軟件供應商采用并集成到他們的產品中時，它們有助于遏制軟件盜版，并提供量身定制的許可功能（例如，產品激活、試用許可、訂閱許可、浮動許可）。當被最終用戶組織采用時，它們有助于遵守軟件許可協議。許可證管理功能經常出現在SAM工具中。

4.8 網絡管理

網絡管理工具包括主機發現、庫存、變更控制、性能監控和其他設備管理功能。網絡管理工具通常與資產和配置管理工具的能力相重疊，并增加了便于設備監控和配置的功能。網絡管理同樣包括組織邊界內的那些系統，但為了管理云服務，可能會超出其傳統的范圍。事實上，軟件、網絡和虛擬化技術的爆炸性增長和采用已經推動了多個市場提供一系列屬于網絡管理的工具。

• 客戶端管理工具使終端管理任務自動化，包括操作系統和軟件部署、庫存、分發、補丁管理和配置管理。
• 云訪問安全經紀商和云工作負載保護平臺為駐留在云環境中的數據和工作流提供可見性和執行力。
• 云管理平臺提供對公共、私人、混合和多云資源和部署的管理。
• 持續配置自動化工具能夠描述配置狀態、定制設置、軟件和報告。
• 超融合或集成基礎設施工具提供集中的功能來管理虛擬計算、存儲和網絡系統。
• 網絡防火墻、網絡應用防火墻和安全網絡網關提供關鍵的網絡安全控制，以檢查和過濾網絡流量。
• 網絡訪問控制工具實施策略，以控制終端和設備對基礎設施的訪問，并基于身份、位置或配置。
• 網絡自動化和協調工具可以自動維護端點設備的配置。
• 網絡性能監控和診斷工具提供歷史和現場視圖，以了解網絡的可用性和性能以及在其上運行的應用流量。
• 軟件定義網絡（SDN）工具提供網絡設備和資源的程序化配置。
• 廣域網（WAN）優化工具監測在廣域網上運行的應用程序的性能，以及這些應用程序帶來的服務費用。
• 統一端點管理工具提供配置、管理或監控不同設備的機制。

4.9 配置管理

配置管理工具允許管理員配置設置，監控設置的變化，收集設置狀態，并根據需要恢復設置。配置管理跟蹤提供服務的組件之間的關系，而不是資產或網絡本身。管理信息系統和網絡組件之間發現的配置是一項艱巨的任務。系統配置掃描工具提供了一種自動化的能力來審計目標系統，并評估與安全基線配置的一致性。身份和賬戶配置管理工具使一個組織能夠管理身份憑證、訪問控制、授權和權限。身份管理系統還可以實現和監控基于身份憑證的物理訪問控制。軟件配置管理工具跟蹤和控制源代碼和軟件構建之間的變化。與其他安全自動化領域類似，深度學習的應用趨勢表明，正在從人類管理軟件系統向計算機管理軟件系統本身轉變。

4.10 補丁管理

補丁管理是指識別、定位和應用補丁到一套管理的軟件的過程，通常是在一個企業環境中。補丁通常以安全為導向，旨在修復軟件或固件的漏洞。由于新的軟件漏洞不斷被發現，補丁管理可能會成為一項困難和艱巨的任務，特別是對于擁有數百臺主機和復雜的軟件庫存的組織。因此，一個強大的補丁管理過程是必要的，以保持一個組織免受惡意活動的傷害。補丁管理因各種挑戰而變得復雜。首先，一個組織必須考慮一個修補機制，以確保眾多主機的安全，包括在家工作的設備、非標準設備、移動設備、以及具有各種操作系統和虛擬設備的設備。此外，補丁可以使用幾種不同的機制來交付，如手動安裝補丁、指導軟件自行打補丁、自動、計劃更新或補丁管理工具（第三方工具或操作系統提供的工具）。由于它既是一個耗時的過程，又對安全至關重要，任何自動化補丁管理的方法都將是非常有益的。

第5章 深度學習面臨的挑戰

5.1 對抗攻擊

(本節中使用的分類法和術語是根據NIST報告[1]，并從Shafee和Awaad的論文[2]中稍作擴展而采用的)。

機器學習的數據驅動方法在ML操作的訓練和測試（推理）階段帶來了一些漏洞。這些漏洞包括對手操縱訓練數據的可能性，以及對手利用模型對性能產生不利影響的可能性。有一個研究領域被稱為對抗性機器學習（AML），它關注的是能夠經受住安全挑戰的ML算法的設計，對攻擊者能力的研究，以及對攻擊后果的理解。AML也對針對深度學習模型的攻擊感興趣。

ML管道中的各個階段定義了這些對抗性攻擊的目標，如輸入傳感器或輸出行動的物理域，用于預處理的數字表示，以及ML模型。AML的大多數研究都集中在ML模型上，特別是監督學習系統。

用于對先前所述目標進行攻擊的對抗性技術可能適用于ML操作的訓練或測試（推理）階段。

5.2 可解釋的人工智能

人工智能（AI）已經被使用了很多次，因為它們在學習解決日益復雜的計算任務時具有前所未有的性能。由于它也被普遍用于影響人類生活的決策，如醫學、法律或國防，因此需要解釋或說明為什么這種人工智能系統會得出這樣的結論。

傳統的模型，如決策樹、線性和邏輯回歸，通過對特征權重的分析，允許一定程度的可解釋性；而深度神經網絡是不透明的，仍然是一個黑盒子。此外，如圖5-1所示，機器學習算法的性能與解釋訓練過的模型的難易程度之間似乎存在一種反比關系。

2017年，DARPA啟動了可解釋人工智能（XAI）計劃，以解決數據分析（針對情報分析員）以及未來利用強化學習的自主系統的可解釋性問題。在DARPA的報告中，提出了一套創建這種ML技術的方案，在保持高水平的學習性能（如預測精度）的同時，產生更多的可解釋模型，并使人類能夠理解、信任和管理新興的人工智能系統[13]。

文獻對可通過設計解釋的模型和可通過外部技術解釋的模型進行了區分。DL模型不能通過設計來解釋；因此，研究集中在外部XAI技術和混合方法上。Arrieta等人解釋了適用于不同類型的DL模型的技術和混合方法的所有細節。此外，他們解決了一些關于可解釋性和準確性之間的權衡、解釋的客觀性和不明確性以及傳達需要非技術專長的解釋的問題[14]。

5.3 超參數調優

超參數是控制學習過程行為的屬性，它們應該在訓練模型之前配置好，而不是在訓練過程中學習的模型參數，例如權重和偏差。它們很重要，因為它們會對正在訓練的模型的性能產生重大影響。

5.4 互操作性挑戰

語法（框架）的互操作性。2017年，Open Neural Network eXchange（ONNX）格式被創建為社區驅動的開源標準，用于表示深度學習和傳統機器學習模型。ONNX協助克服了人工智能模型中的硬件依賴問題，并允許將相同的人工智能模型部署到多個HW加速目標。許多框架的模型，如TensorFlow、PyTorch、MATLAB等，都可以導出或轉換為標準的ONNX格式。然后，ONNX格式的模型可以在各種平臺和設備上運行（圖5-2）。

語義互操作性。當數據來自于含義不相同的混合來源時，就不可能了解趨勢、預測或異常情況。語義互用性是指計算機系統交換具有明確意義的信息的能力。為此，無論數據是從單一來源還是異質來源匯總而來，都需要高質量的人類注釋數據集來準確地訓練機器學習模型。

實現語義互操作性的最佳實踐之一是使用原型。原型是一種數據格式規范，它應該盡可能地提供最可用的完整細節。它提供了數據的共享意義。人工智能系統的語義互操作性要求原型是高質量的、基于證據的、結構化的，并由領域專家設計[20]。

5.5 數據相關性

與傳統的機器學習方法相比，深度學習在很大程度上依賴于大量的訓練數據，因為它需要大量的數據來理解數據的潛在模式。然而，在某些領域，訓練數據不足是不可避免的。數據收集是復雜而昂貴的，這使得建立一個大規模、高質量的注釋數據集變得異常困難。轉移學習是一個重要的工具，可以用來解決訓練數據不足的問題。它試圖將知識從源域（訓練數據）轉移到目標域（測試數據），方法是放寬訓練數據和測試數據必須是獨立和相同分布的假設，即樣本是相互獨立的，并且來自相同的概率分布。這樣一來，目標域的模型就不需要從頭開始訓練。

深度遷移學習研究如何通過深度神經網絡有效地遷移知識。根據使用的技術，Tan等人[21]將深度遷移學習分為四類：基于實例、基于映射、基于網絡和基于對抗。

1）基于實例的深度遷移學習。源域中與目標域不同的實例被過濾掉并重新加權，以形成接近目標域的分布。用源域中重新加權的實例和目標域中的原生實例來訓練模型。

2）基于映射的深度遷移學習。來自源域和目標域的實例被映射到一個新的數據空間。然后，新數據空間中的所有實例被用作訓練集。

3）基于網絡的深度遷移學習。一般來說，網絡中最后一個全連接層之前的各層被視為特征提取器，最后一個全連接層被視為分類器/標簽預測器。網絡在源域用大規模訓練數據集進行訓練。然后，預訓練網絡的結構和特征提取器的權重將被轉移到將在目標領域使用的網絡中。

4）基于對抗的深度遷移學習。這組技術的靈感來自生成對抗網（GAN）（圖5-3）。一個被稱為領域分類器的額外鑒別器網絡從源領域和目標領域提取特征，并試圖鑒別特征的來源。所有的源和目標數據都被送入特征提取器。特征提取器的目的是欺騙域分類器，同時滿足分類器的要求。

5.6 數據質量

有了低質量的數據，無論機器學習和/或深度學習模型有多強，它都無法做到預期的效果。影響數據質量的過程分為三組：將數據帶入數據庫的過程，在數據庫內操作數據的過程，以及導致準確的數據隨著時間的推移而變得不準確的過程。關于降低數據質量的過程的細節可以在參考文獻中找到。[22].

在使用、導入或以其他方式處理數據之前，確保其準確性和一致性的過程，被稱為數據驗證。現在，數據存儲在不同的地方，包括關系型數據庫和分布式文件系統，并且有多種格式。這些數據源中有許多缺乏準確性約束和數據質量檢查。此外，今天的大多數ML模型定期使用新的可用數據進行重新訓練，以保持性能并跟上現實世界數據的變化。因此，由于任何參與數據處理的團隊和系統都必須以某種方式處理數據驗證，這就成為一項繁瑣和重復的任務。對數據驗證自動化的需求正與日俱增。

一種方法是由Amazon Research提出的單元測試方法[23]。該系統為用戶提供了一個聲明性的API，允許用戶對他們的數據集指定約束和檢查。當驗證失敗時，這些檢查在執行時產生錯誤或警告。有一些預定義的約束供用戶使用，用于檢查數據的完整性、一致性和統計量等方面。在約束條件被定義后，系統將它們轉化為實際的可計算的度量。然后，系統計算指標并評估結果，隨后，報告哪些約束成功了，哪些失敗了，包括哪個指標的約束失敗了，哪個值導致失敗。由于新的數據不斷涌現，該方法采用了遞歸計算方法，只考慮自上一個時間步驟以來的新數據，以增量方式更新度量。此外，該系統自動為數據集提出約束條件。這是通過應用啟發式方法和機器學習模型實現的。

另一種方法是基于數據模式的方法，由谷歌研究院提出[24]。對正確數據的要求被編入數據模式中。所提議的系統采取攝取的數據，通過數據驗證，并將數據發送到訓練算法中。數據驗證系統由三個主要部分組成。一個數據分析器，計算預先定義的足以用于數據驗證的數據統計數據；一個數據驗證器，檢查通過模式指定的數據屬性；以及一個模型單元測試器，使用通過模式生成的合成數據檢查訓練代碼中的錯誤。該系統可以檢測單批數據中的異常情況（單批驗證），檢測訓練數據和服務數據之間或連續幾批訓練數據之間的顯著變化（批間驗證），并發現訓練代碼中未反映在數據中的假設（模型測試）。

5.7 上下文感知

盡管深度學習通過使用神經網絡中的多層來逐步分解特征以識別某些特征，但它對數據來源的背景理解較淺，其中背景提供了使某一事件產生的環境或元素，并能為其解釋傳達有用的信息。因此，一個模型最終可能被專門用于訓練數據中記錄的一種或多種情況。因此，這個模型可能對類似的情況有偏見，從而只在這種情況下表現合理。該模型能夠推翻從訓練中學到的經驗，以適應不斷變化的環境。然而，這種能力是受限制的。研究能夠捕捉上下文的模型的動機，通過更強大的、有彈性的、可適應的深度學習來提高任務的有效性。這使得深度學習的使用更具成本效益。

彌補偏見問題的最初努力，始于Bottou和Vapnik[25]提出的局部學習的建議。它涉及到將輸入空間分離成子集并為每個子集建立模型。這個概念本身并不新穎，但由于處理大數據集的應用的復雜性，已經獲得了一些可信度[26]。相反，Mezouar等人[27]沒有發現局部模型比全局模型更值得投資用于預測軟件缺陷。多任務學習（MTL）[28]是機器學習的另一個子領域，可以利用。它將輸入空間分離成多個任務，并利用共享信息，同時考慮到它們的差異。其目的是通過聯合學習和獲取共享表征來提高多個分類任務的性能。Suresh等人[29]試圖在死亡率預測的背景下比較這三種類型的模型。他們的工作表明，多任務模型在整體和每組性能指標上都能勝過全局模型和在單獨的數據子集上訓練的局部模型。不幸的是，似乎還沒有就最合適的模型來捕捉上下文達成最終共識。由于在特定任務的模型之間進行信息共享的技術研究，調整本地/全局模型以適應新的環境，或如何將本地和全局模型結合起來，仍然是活躍的[30]，[31]。

5.8 北約范圍內的“網絡安全深度學習”應用面臨的挑戰

在上面提到的所有挑戰中，這個RTG的成員最關心的是分享知識的可能方式。本章討論的問題有兩種可能的方式：分享訓練數據或分享模型：

1）訓練數據共享。從北約演習中收集的數據是有價值的。能夠利用它們將是非常好的。對于數據共享，最可能的是，應該構建一個數據庫。當各盟國的數據庫被加入時，可能會出現語義互操作性的問題（見第6.4節，語義互操作性）。為了保持數據庫的完整性，所有的盟友都應該圍繞一個標準化重新形成他們的訓練數據，并以這種方式向數據庫提供數據。這既費時又容易出錯。此外，數據的質量是至關重要的，在向數據庫提供數據之前應該進行審查（見6.6節）。此外，這種方法是危險的，因為如果對手到達這個數據庫，他們可以在數據中下毒。(關于可能的訓練數據目標攻擊和針對它們的對策技術，見第6.1節，訓練階段攻擊)。

2）模型共享。在句法互操作性工具的幫助下，現在可以共享DL模型了。(見第6.4節，句法互操作性）。使用基于網絡的遷移學習，在北約盟友之間分享特征提取器似乎更有幫助，這樣任何盟友都可以在他們的測試數據上應用他們希望的任何任務的衍生知識（關于遷移學習的細節，見6.5節）。然而，問題是，誰來訓練這個模型，他將使用哪些數據？如果在數據庫中存儲數據是有問題的，那么為了訓練將被共享的模型，授予一個人/實體對所有北約練習數據的訪問權也可能是麻煩的。通常情況下，不存在這樣的平臺，允許每個人使用自己的數據來訓練相同的DL模型。然而，在這種情況下，一種叫做 "聯合學習 "的分散方法似乎是可行的。它是一種分布式的機器學習方法，在這種方法中，一些被稱為客戶的參與者一起工作，在多次迭代中訓練某個機器學習模型。聯合學習最早是在[32]中提出的，它是由一組移動設備執行的分布式訓練模型，這些設備與中央服務器交換本地模型的變化，中央服務器的功能是將這些更新集合起來形成一個全球機器學習模型。一個聯合學習場景由一個中央服務器和一組N個客戶組成，每個客戶都有自己的本地數據集。最初選擇一個客戶端的子集來獲得模型權重方面的共享模型的全局狀態。然后，基于共享參數，每個客戶在自己的數據集上進行本地計算。然后，客戶提交模型更新（即基于客戶本地數據集的本地學習的權重）給服務器，服務器將這些更新應用于其當前的全局模型，生成一個新的模型。然后，服務器再次與客戶共享全局狀態，這個過程要進行多次，直到服務器確定了一個特定的準確度。因此，客戶不需要分享他們的原始數據來為全局模型做貢獻，只要有足夠的CPU或能源資源來處理它所擁有的訓練數據就足夠了。

第7章 軍事應用

軍事行動植根于對工業時代危機的實際反應，并由關于規模、殺傷力和覆蓋范圍的假設形成[1]。然而，當代沖突跨越了區域邊界和地理領域。威脅的數量和行為者的范圍在數量和多樣性上都在增長，這與需要與之協調應對的行為者的數量相呼應。利用網絡空間的敵人可以挑戰盟國能夠或愿意作出反應的門檻。對網絡領域的依賴增加了在敵方網絡空間實現支持軍事目標的效果的重要性。最終，軍事行動變得更加動態和復雜。

深度機器學習（DML）已經成為人工智能領域的主要技術來源。可以預見的是，DML對網絡防御之外的軍事應用的影響將是廣泛的，因為它提供了在軍事行動環境中獲得信息和決策優勢的機會。在本章中，我們將研究那些有可能受益并因此重塑網絡防御的軍事應用，超越傳統的保護、威懾、檢測和響應概念。

7.1 指揮與控制

軍事學說將指揮與控制（C2）定義為 "由適當指定的指揮官在完成任務的過程中對指定的和附屬的部隊行使權力和指導"[2]。指揮與控制是通過指揮官在完成任務時對人員、設備、通信、設施和程序的安排來實現的，以規劃、指揮、協調和控制部隊和行動。傳統的C2結構包括作戰指揮權、作戰控制、戰術控制和行政控制[3], [4]。這些結構植根于物理領域中開展的活動，以聯合行動區為界限，對網絡領域來說，其不足之處越來越多。

軍事理論進一步將[1]網絡行動定義為包括防止未經授權的訪問的網絡安全行動，為擊敗特定威脅而采取的防御行動，為創造拒絕效果而采取的攻擊行動，以及為獲得情報而采取的開發行動[5]。如同在傳統作戰領域（如陸地、空中、海上、太空）中執行的任務一樣，網絡行動也要遵守某些C2結構。然而，與其他領域不同，網絡部隊可能同時在全球、區域和聯合行動區執行任務。因此，網絡行動依賴于集中的規劃和分散的執行，需要對傳統的C2結構進行調整，以實現軍事單位和當局之間的詳細協調。這種結構要求進行規劃、執行和評估的所有各方了解網絡行動的基本行動和程序。聯合部隊執行的物理和邏輯邊界，以及對其使用的優先權和限制，必須進一步在軍事梯隊、國家部隊和聯盟伙伴之間的協調和同步中集中確定。

網絡行動的C2在很大程度上是由傳統的網絡安全技術形成的，比如那些對硬件、軟件、數據和用戶的安全控制進行持續監控的技術[6], [7], [8]。盡管C2現在和將來都是對人的挑戰[9]，但新興技術中的共同主題將影響其發展，無論是在網絡領域還是傳統作戰領域。信息技術、傳感器、材料（如電池）、武器的進步，以及越來越多地采用無人駕駛和自主平臺，將推動C2的進化變化。計算機將越來越多地與其他設備連接，并收集或分享數據，而無需人類的干預或意識。在較小規模的設備上增加計算、存儲和帶寬能力將使新的分析技術能夠以更快的節奏提取更多的理解，并更接近觀察點。軍事單位可能進一步需要與一系列行為者互動，并聯合工作以實現共同的理想結果，而沒有任何權力來指導這些臨時伙伴或與他們的信息系統互操作。根據沖突的性質，戰術決策可能需要在不同的層面上進行。甚至完全消除某些網絡空間任務中的地理內涵也是可取的[10]。

總的來說，這些因素表明，分散化和敏捷性是C2架構中非常理想的原則。任何新的架構都可以而且應該支持傳統的等級制度、等級制度內的適應性團隊以及其他分布式環境，同時保持對戰斗空間的情況了解。這些問題包括缺乏網絡社區以外的專業知識，無常的性質、時間和圍繞網絡漏洞的平等，以及任務規劃的集中化[11]。新興的倡議，如美國國防部新興的聯合全域指揮和控制倡議[12]，反映了這一概念，即動能、電磁、網絡和信息行動之間的協調相互作用。

分散和保護數據的新興技術可以進一步實現去中心化。分布式賬本技術，即區塊鏈，是記錄資產交易的數字系統，其中交易及其細節同時記錄在多個地方。DML最近提出了一種整合，通過它來克服區塊鏈實施中發現的實際挑戰[13]。同樣，保護使用中的數據，而不是靜止或傳輸中的數據的技術（例如，安全的多方計算、同態加密、功能加密、遺忘RAM、差分隱私）允許對其他方持有的數據進行有用的計算，而不泄露關于數據內容或結構的敏感信息。這樣的技術可以允許不受信任的各方安全地進行DML處理，或者允許多方共同計算有用的結果而不披露基礎輸入。值得注意的是，對抗性的惡意軟件可能會采用這些技術來更好地混淆其操作。雖然這些技術在學術界被廣泛研究，有良好的理論基礎，但特別需要更多的工作來適應軍事用例和可擴展性，以及DML可以提高應用程序的效用的具體實例[14]。

DML應用的進展將提供機會，為規劃和執行任務提供更有能力的決策支持輔助[15]。新穎的人/機界面、混合現實合成環境和遠程存在能力將進一步改變作戰人員之間、自動代理、機器和機器人之間的互動方式。這些技術發展共同提供了在復雜作戰環境中加速觀察、定位、決策和行動的潛力。DML將可能改善決策，并通過人機合作促進自主行動。

7.2 態勢感知和任務保證

網絡空間依賴于空氣、陸地、海洋和空間等物理領域。它包括執行虛擬功能的節點和鏈接，反過來又能促進物理領域的效果。網絡空間通常由三個相互依存的層來描述[5]。物理層由提供存儲、運輸和處理信息的設備和基礎設施組成。邏輯層由那些以從物理網絡中抽象出來的方式相互關聯的網絡元素組成，基于驅動其組件的編程。最后，網絡角色層是通過對邏輯層的數據進行抽象而創建的視圖，以開發在網絡空間中運作的行為者或實體的數字代表。

在這些層中的操縱是復雜的，而且通常是不可觀察的。準確和及時的網絡空間態勢感知（SA）對于在一個日益復雜的戰場上取得成功至關重要。這在戰術環境中尤其如此，因為那里有獨特的信息處理和操作限制。政府和工業界正在進行的大量研究和投資旨在提供工具，從網絡數據中開發基本的SA，但在關鍵指標方面沒有提供所需的數量級改進，如成功的入侵檢測概率、誤報率、檢測時間、反應速度、效果的精確性和可預測性、戰斗損失評估的準確性和及時性，以及人類操作員的認知負荷。防御性反應的累積效應可能會超出最初的威脅，這就需要跨區域的考慮以及防御性反應的協調或同步。這些考慮，特別是對戰術戰場而言，需要在連續處理和更接近源頭的行動方面進行突破性創新，對來自多個異質網絡、情報收集、社交媒體和其他多模式來源的信息進行自主融合。

DML可能有助于開發一些方法，在對手利用這些漏洞之前加速發現這些漏洞。同樣，輕量級的入侵檢測系統可以在戰術邊緣的限制下運行，減輕對帶寬和延遲的限制。其他應用包括自動融合來自許多異質網絡的數據，這些網絡具有高度分布、聯合或分層的特性；自動識別來自不同來源（如網絡和系統、情報、社交媒體）以及不同時間尺度和安全敏感性的模式；網絡和任務本體，以促進操作狀態和任務影響之間的映射；以及建模和模擬解決方案，允許自動生成現實的數據集，以促進實驗。

任務保障是一個成熟的概念，在許多工程領域中進行探索，包括高可用性系統、故障分析以及軟件和系統工程[16]。美國防部政策將任務保證定義為：

• 一個保護或確保能力和資產--包括人員、設備、設施、網絡、信息和信息系統、基礎設施和供應鏈--的持續功能和彈性的過程，對于在任何操作環境或條件下執行國防部的任務必要功能至關重要[17]。

• 任務保障的根本是洞察那些成功實現目標所需的資源和行動。任務映射是確定一個任務與其基本資源和程序之間的依賴關系的過程。在網絡空間的背景下，這包括信息系統、業務流程和人員角色。網絡空間是一個復雜的、適應性強的、有爭議的系統，其結構隨時間變化。復雜的因素包括。

• 事故和自然災害會擾亂網絡空間的物理基礎設施。例子包括操作錯誤、工業事故和自然災害。由于需要大量的外部協調和對臨時備份措施的依賴，從這些事件中恢復可能會很復雜。

• 美國防部的許多關鍵功能和操作都依賴于簽約的商業資產，包括互聯網服務提供商（ISP）和全球供應鏈，國防部及其部隊對這些資產沒有直接的權力。

• 美國防部的全球業務與對網絡空間和相關技術的依賴相結合，意味著國防部經常從外國供應商那里采購任務所需的信息技術產品和服務。

確保依賴網絡基礎設施的任務的一個關鍵挑戰是難以理解和模擬動態、復雜和難以直接感知的方面。這包括確定哪些任務在任何時候都是活躍的，了解這些任務依賴哪些網絡資產，這些依賴的性質，以及損失或損害對任務的影響。對網絡地形的理解必須考慮到依賴性是如何隨著時間和各種任務的背景而變化的。它需要確定任務和網絡基礎設施之間的依賴程度和復雜性；考慮到相互競爭的優先事項和動態目標。這種洞察力可以確保必要資源的可用性，并幫助評估在有爭議的條件下的替代行動方案。

此外，作戰人員可能面臨復雜的情況，這些情況不利于傳統的網絡防御行動，而有利于保證任務。例如，當計算機系統被破壞時，目前的做法是將被破壞的系統隔離起來。然后，該系統通常被重建或從一個可信的備份中恢復。業務連續性計劃試圖解決在退化條件下的運作問題，而災難恢復計劃則解決最壞的情況。這些方法優先考慮最小的利潤損失，并不迎合作戰人員可能面臨的復雜決策類型，即要求保持一個完整的系統在線，以確保一個關鍵應用程序的可用性，而對手則利用它作為一個杠桿點來獲得進一步的訪問或滲出機密信息。在這樣的條件下，作戰人員需要清楚地了解每個選擇之間的權衡，以及所選路徑的結果對任務和目標的潛在影響。此外，與受到網絡攻擊的企業不同，作戰人員必須考慮到網絡攻擊是更廣泛的綜合效應應用的一部分，必須考慮對手協調使用網絡、電子戰和動能效應的因素。最后，災難恢復計劃可以說是戰爭失敗后的一個計劃。因此，作戰人員需要有效的理論和決策支持系統，要求在被拒絕的、退化的和有爭議的環境中保持任務的連續性。

目前的任務繪圖方法主要分為兩類。首先，流程驅動的分析是一種自上而下的方法，主題專家確定任務空間和支持該任務空間的網絡關鍵地形。這種方法通過主題專家的業務流程建模產生可解釋的結果，盡管這些結果往往是靜態的。其次，人工制品驅動的分析是一種自下而上的方法，來自主機和網絡傳感器的日志和數據被用來推斷網絡資產的使用。這種方法通過數據挖掘、紅色團隊和取證發現產生高保真的分解，盡管其結果沒有提供對執行任務的替代機制的洞察力。目前存在一系列的工具和方法來完成要素任務映射[18]。

人工智能（AI）已經在軍事任務的決策中出現了許多應用，并將繼續加速這一問題領域的能力。潛在的解決方案可以尋求對特定的業務流程進行建模，并使其成為機器可描述的，從而使用戶生成的邏輯可以對這些流程進行 "推理"，并協助管理大量的信息或多個費力、復雜、甚至競爭的任務和解決方案集。DML，加上自然語言處理方面的進展[19]，提供了特別的前景，因為C2渠道之間的傳統信息交換手段包括通過軍事信息流頒布的人類生成的任務命令。

7.3 網絡空間防御作戰

防御性網絡空間行動(DCO)包括旨在通過擊敗或迫近網絡空間的敵對活動來維護軍事網絡的保密性、完整性和可用性的任務。這就將DCO任務與傳統的網絡安全區分開來，前者是擊敗已經繞過或有可能繞過現有安全措施的具體威脅，后者是在任何具體的敵對威脅活動之前確保網絡空間不受任何威脅。DCO任務是針對具體的攻擊威脅、利用或惡意網絡空間活動的其他影響而進行的，并根據需要利用來自情報收集、反情報、執法和公共領域的信息。DCO的目標是擊敗特定對手的威脅，并將被破壞的網絡恢復到安全、正常的狀態。活動包括事件管理、事件管理和惡意軟件檢測的任務。它還包括情報活動，以幫助理解新聞媒體、開放源碼信息和其他信號，從而評估敵方威脅的可能性和影響。因此，傳統上植根于情報收集活動的DML應用對防御性網絡空間行動具有同等的效用。

數據泄露的頻率越來越高，預示著安全自動化概念和能力的加速采用[20]。只有通過自動分析、響應和補救威脅，組織才有可能大規模地復制經驗豐富的網絡專家的專業知識和推理，并確保更大程度的保護。有兩個特別的技術類別脫穎而出。安全信息和事件管理，以及安全協調、自動化和響應。

安全信息和事件管理（SIEM）技術聚集事件數據，包括安全設備、網絡基礎設施、系統和應用程序產生的日志和網絡遙測。數據通常被規范化，從而使事件遵循一個共同的結構，并通過有關用戶、資產、威脅和漏洞的上下文信息來加強。SIEM平臺有助于網絡安全監控、數據泄露檢測、用戶活動監控、法規遵從報告、法證發現和歷史趨勢分析。

安全協調、自動化和響應（SOAR）技術能夠將工作流程應用于SIEM平臺收集的網絡事件數據。這些工作流程，有時被稱為 "游戲手冊"，可自動采取符合組織流程和程序的響應行動。SOAR平臺利用與補充系統的整合來實現預期的結果，如威脅響應、事件管理，以及在廣泛的網絡管理、資產管理和配置管理工具中增加自動化。

總體而言，SIEM和SOAR技術實現了安全過程的兩個關鍵階段的自動化：信息收集和分析，以及響應的執行。新興研究研究了人工智能技術在事件檢測和自動行動方案建議方面的應用，這兩種技術都適用[21], [22], [23], [24], [25]。

隨著互聯系統的規模和范圍的增長，超越自動化的自主性應用對于可擴展的網絡防御是必要的。重要性較低的互聯系統可以由網絡安全傳感器、系統和安全操作中心監控，而關鍵系統，如部署在有爭議的環境中的系統，可能需要自主智能響應能力[15]。

許多任務環境帶來了不利的條件，其中適應性的、分散的規劃和執行是非常可取的。盡管已經探討了聯合網絡行動的好處和挑戰[26]，但市場力量繼續推動軟件即服務解決方案，這些解決方案依賴于云計算基礎設施，在國防部預期的操作環境中可能無法使用。云計算的普遍性和對傳統網絡邊界的侵蝕，助長了對外部和越來越不可信的基礎設施的依賴。同時，這種方法往往提供了最佳的規模經濟和能力。

零信任是一種安全模式和一套設計原則，承認傳統網絡邊界內外威脅的存在。零信任的根本目的是了解和控制用戶、流程和設備如何與數據打交道。零信任框架提出了一個適用于企業網絡的安全愿景，包括云服務和移動設備。同時，零信任仍然是一種愿景和戰略，更多的規范性方法仍在出現[27]。其中包括云安全聯盟的軟件定義周邊框架[28]，谷歌的BeyondCorp安全模型[29]，Gartner的自適應風險和信任評估方法[30]，以及Forrester的零信任擴展生態系統[31]。在探索這些設計原則的應用或它們在保證DML應用方面可能發揮的作用方面，人們做得很少。

隨著網絡安全產品和解決方案的生態系統日益多樣化，實現互操作性以協調機器速度的反應將變得至關重要。新興的規范，如OpenC2[32]，將使網絡防御系統的指揮和控制不受底層平臺或實現方式的影響。OpenC2提供了標準化網絡防御系統接口的方法，允許執行網絡防御功能的解耦塊之間的整合、通信和操作。這套規范包括一種語義語言，它能夠為指揮和控制網絡防御組件的目的進行機器對機器的通信；執行器配置文件，它規定了OpenC2語言的子集，并可以在特定的網絡防御功能的背景下對其進行擴展；以及轉移規范，它利用現有的協議和標準在特定環境中實施OpenC2。這一舉措和類似舉措的成功將取決于工業界對它的采用。目前沒有類似的方法用于進攻性網絡空間行動，這主要是因為所使用的工具的定制性質。

7.4 社交網絡安全

社會網絡安全是國家安全的一個新興子領域，它將影響到未來所有級別的戰爭，包括常規和非常規的戰爭，并產生戰略后果。它的重點是科學地描述、理解和預測以網絡為媒介的人類行為、社會、文化和政治結果的變化，并建立社會所需的網絡基礎設施，以便在不斷變化的條件下，在以網絡為媒介的信息環境中堅持其基本特征，實際或即將發生的社會網絡威脅"。[33].

技術使國家和非國家行為者能夠以網絡速度操縱全球的信仰和思想市場，從而改變各級戰爭的戰場。例如，在DML的推動下，"深度造假 "技術出乎意料地迅速發展，這有可能改變人們對現實的認知、作為信息來源的新聞、人們之間的信任、人民與政府之間的信任以及政府之間的信任。

網絡防御將越來越多地納入反措施，以阻止與網絡領域不可分割的影響力運動。這將需要對部隊甚至社會進行教育，讓他們了解現代信息環境的分散性，存在的風險，以及審查我們消化并允許形成我們世界觀的事實的方法和多學科手段。消除軍隊和他們誓死捍衛的社會之間的任何不信任概念，對全球安全至關重要。

7.5 網絡欺騙

傳統的網絡安全和網絡防御方法是在網絡殺傷鏈的后期階段與對手接觸，而網絡欺騙是一個新興的研究領域，探索在早期與對手接觸的效用，特別是欺騙他們[34]。幾十年前，隨著蜜罐的出現，欺騙性方法在研究界獲得了新的興趣，并被視為推翻網絡防御固有的不對稱性的可行方法而得到重振。欺騙性方法有可能通過給對手帶來不確定性來改變不對稱的局面。同時，欺騙能力可能會帶來更多的復雜性。

網絡欺騙，有時被描述為移動目標防御的一種形式，包含了多個系統領域的技術：網絡、平臺、運行環境、軟件和數據。移動目標技術的設計是為了對付現代系統的同質性，即系統和應用程序之間足夠相似，以至于一個單一的漏洞可以使數千或數百萬（或更多）的設備同時受到攻擊。技術尋求在系統設置之間引入多樣性，使系統的關鍵組件隨機化，從而使攻擊者無法利用相同的特征，并隨著時間的推移改變系統組件，從而使相同的漏洞無法重復發揮作用。許多網絡攻擊是 "脆弱的"，因為它們需要精確的配置才能成功，而移動目標技術就是利用這種脆弱性。盡管如此，仍然需要研究網絡指標和有效性措施，以判斷網絡欺騙和其他移動目標技術的成功，以及它們對不同威脅模式的應用。

幾年來，全球供應鏈（GSCs）正變得越來越脆弱，混合威脅的范圍也在擴大。本研究旨在評估聯盟對外國投入的依賴和對外國市場的依賴，通過仿真全球供應鏈在風險和不確定情況下的沖擊來確定彈性的脆弱性。我們通過模擬最嚴酷的環境對彈性進行壓力測試，并確定相關的、有效的和高效的政策解決方案。在概念上，我們采用了一個新開發的建模框架，該框架專門用于解釋日益相互依存的全球供應鏈，并研究外生沖擊下的復原力和穩健性。該模型通過結合世界投入產出表和國家間投入產出表來確定參數。基于模型的模擬為反事實的彈性和穩健性政策選擇的積極和規范性影響提供了可操作和直接比較的量化數據。它們允許確定政策解決方案，以有效和高效地提高供應鏈的復原力和穩健性，特別是在關鍵部門。

近年來，有兩個具有全球性質并在各行業和國家間動態相互關聯的事態發展在加速進行：全球生產網絡的脆弱性不斷增加，混合威脅的格局不斷擴大（歐盟委員會2021年）。在全球化和跨境生產不斷增加的時代，碎片化提高了國內產業的脆弱性，它們越來越多地參與到全球供應鏈（GSCs）中。參與全球供應鏈而產生的國內公司的專業化和成本優勢，不可避免地與面對沖擊時的更大風險有關，如全球大流行病、氣候危機、網絡威脅和地緣政治沖突。這些風險得到了秘書長斯托爾滕貝格的承認。"過度依賴關鍵商品的進口，如能源[在采購方，以及]出口先進技術，如人工智能[在銷售方]，會造成脆弱性和削弱的復原力"。事實上，自冷戰結束以來，最后的獨裁政權比以往任何時候都更多地挑戰民主社會的利益、價值觀和更普遍的基于價值的生活方式。戰略競爭者考驗著聯盟的復原力，并試圖利用自由和開放社會的開放性、互聯性和數字化，干預民主進程和機構，并通過混合戰術，直接或通過代理人針對公民的安全。

聯盟的第一道防線是復原力--確保社會政治經濟結構能夠在逆境中發揮作用。1 要利用強有力的行動承諾，實現理想的復原力和穩健性，需要采取全面、綜合和動態協調的方法。在政策方面，政治領導人需要承擔起責任，向公民全面公開外部威脅的變化特征。要實現增強的社會政治經濟復原力，滿足七項基線要求--必須在最苛刻的情況下保持--就需要調動資源。因此，在面對俄羅斯的民主戰爭和未來可能發生的戰爭時，需要對所需的成本和犧牲有充分的透明度，例如，為了捍衛安全。正如秘書長斯托爾滕貝格在2022年世界經濟論壇上所指出的："我們不應該用長期的安全需求來換取短期的經濟利益"，2 這意味著成本和犧牲。

如何在對社會的社會政治經濟結構造成盡可能少的損害的同時，"實現必要的復原力"？事實上，挑戰在于實現長期的安全目標而不忽視社會的中短期經濟需求。在我們的研究中，挑戰是確保彈性和多樣化的供應鏈到位，以允許基本貨物的持續流動，避免短期、中期和長期的短缺。我們的分析通過把它看作一個有兩個約束條件的優化問題來正式研究這種權衡--一邊是彈性/穩健性約束條件，另一邊是社會/經濟的可容忍性約束條件。基于模型的模擬為關鍵部門和非關鍵部門的反事實復原力和穩健性政策選擇的積極和規范性影響提供了可操作和直接比較的量化。此外，我們采用的簡明模型可以確定解決聯盟因社會開放和經濟在國際貿易和全球生產網絡中的相互聯系而產生的脆弱性的策略。

本研究建立在現有的科技組織（STO）戰略分析支持的基礎上，并對其進行補充，包括多維數據耕作、因果推理、ACT創新中心的復原力數據分析工具和聚合復原力模型。復原力模型為模擬各種政治、軍事、經濟、社會、信息和基礎設施（PMESII）沖擊（如停電、網絡攻擊、戒嚴執法、人類大流動、戰爭狀態、武裝沖突）提供了一個整體框架，并可以評估復原力領域（民間對軍隊的支持、政府的連續性和基本服務的連續性）以及風險（指揮和控制、保護、移動/機動和持續）（Hodicky等人，2020）。聯合戰爭中心（JWC）利用聯合戰區級模擬（JTLS）。復原力數據分析工具可用于，除其他外，通過利用開源數據、大數據分析、機器學習和數據可視化來評估復原力的水平，并允許識別對聯盟復原力的潛在沖擊。我們的建模框架--基于Antras和de Gortari (2020)--是對現有復原力建模和模擬工具的補充，因為它是專門為說明日益相互關聯的全球供應鏈而設計的，并研究聯盟在外源沖擊下的復原力和穩健性，例如，在一個相互關聯的多國多行業模型中造成供應斷裂、需求斷裂/突發或運輸斷裂。

MSG-189專家團隊(ST)活動的基本原理建立在評估如何結合和集成新興顛覆性技術的需要之上，這些技術正在改變我們工作和生活的方式，并且融入促進了M&S技術和相關仿真系統的發展。

作為北約STO NMSG研究目標的一部分，仿真系統的新架構和先進功能一直被研究和定義。僅舉幾個例子：MSaaS（建模和仿真服務）和MTDS（任務訓練分布式仿真）的定義及實施為新一代最先進的仿真系統鋪平了道路。

此外，近年來，北約STO小組和相關工作組一直在解決最先進技術的問題和演變：人工智能（AI）、機器學習（ML）、大量異質信息的管理和分析（大數據）、通過沉浸式設備（AR、VR、XR）實現真實世界和合成世界的互動、無線技術（5G）以及通過云計算和面向服務的架構提供服務的新方法。

因此，NMSG旨在研究這些研究領域之間的協同作用，以概述這些新興和顛覆性技術對下一代仿真系統的特點和潛在影響。

定義一個包含上述所有概念的仿真系統無疑具有挑戰性，因此，工作組只把注意力集中在某些方面進行探索:

• MSG-189的目標是定義一個由參考架構描述的M&S生態系統。在參考架構中需要強調的重要一點是其構建模塊和所提供的產品/服務之間的關系。
• 在M&S中引入新技術的可能性，作為改進現有的技術或提供新的解決方案來解決目前沒有解決方案的問題。
• 假設這個M&S生態系統根據MSaaS的 "云 "模式，在網絡上全天候提供 "產品 "和 "服務"。
• 由此產生的系統功能和用途集中在兩個具體領域：軍事人員（包括決策人員）的培訓和對指揮官及其工作人員的決策過程的支持。
• 最后，在這個階段，MSG-189 ST并不試圖定義一個隨時可以使用的產品（因此級別比較抽象），而是要找到一種方法（參考架構），使目前或未來的產品可以整合在一起，盡可能地保留所產生系統的完整性和基本功能。

必須強調的是，該框架所產生的參考架構的主要基礎是長期存在的、非常重要的NMSG活動，如MSaaS和MTDS。MSG-189 ST活動建立在這些參考文獻的基礎上，以尋找新的和創新的解決方案，可以加強對M&S這樣的關鍵技術的使用。一個 "安全 "的設計概念，密切關注基礎設施對網絡威脅的高彈性（設計安全）也是一個需要滿足的具體要求。

由此產生的MSG-189生態系統不僅可以作為一個培訓工具，而且首先可以作為一個有效的支持，用于確定最佳的CoA，然后在 "實際 "行動中實施，或在隨后的規劃階段和確定要執行的行動細節（作戰指令的管理）。

MSG-189 ST的最后一項建議是成立一個后續工作組（RTG），該工作組從該小組所做的工作中得到啟發，可以定義一定數量的用例，以驗證所做的選擇，并證明系統的參考架構和所列技術的有效性。

報告研究范圍與關注領域

1.1 范圍

近年來，所謂的 "顛覆性技術 "發展迅速，如人工智能（AI）、機器學習（ML）、大量數據的管理和處理（數據科學和大數據分析-BD）以及沉浸式技術（VR / AR / MR / XR）。

北約STO內部的各個小組/團體已經研究了這些新技術提供的可能性；特別是，NMSG工作組對研究新的架構和仿真系統的服務非常感興趣，這些系統將用于軍事訓練和決策領域的未來應用。北約MSG-189專家小組（ST）已經接受了這一挑戰，并進行了一項研究，以確定這樣一個仿真框架。

首先，讓我們看一下要追求的目標，這些目標最初列在技術活動建議TAP[1]中，然后列在One Pager文件[2]中：

• 概述每一種使能技術（AI、BD、XR等）的技術狀況，旨在確定每一種技術在確定擬議的未來培訓和決策支持的模擬框架方面可以發揮的作用。
• 指出培訓和決策軍事領域的差距，提出的技術可以提供有價值和可行的解決方案。
• 定義仿真框架的系統要求。
• 框架結構的定義。
• 對可能用于實施框架的軟件工具和硬件環境的調查。
• 主要功能的定義。
• 定義與其他系統的接口（例如C2和決策面板）。

定義一個模擬系統，使所有上述概念以整體的方式存在，這個想法當然具有挑戰性，而且在許多方面，超出了專家組的目標（和可能性）。

因此，工作組的首要任務是以更精確的方式確定工作范圍，并指出工作組研究活動的領域。這方面最重要的成果是定義一個 "參考架構"，在此基礎上建立MSG-189生態系統（后來經常被簡單地稱為系統）。這是一個抽象的架構形式，為未來的具體解決方案架構（項目架構）提供了一個模板解決方案。

必須強調的是，該框架的參考架構的主要基礎是長期存在且非常重要的NMSG活動，如MSaaS（建模與仿真服務）和MTDS（任務訓練分布式仿真）。MSG-189 ST活動將在這些參考文獻的基礎上，尋找新的和創新的解決方案，以加強對M&S這樣的關鍵技術的使用。

一個 "安全 "的設計概念，密切關注基礎設施對網絡威脅的高彈性（設計安全），也被指出是一個需要滿足的具體要求。出于這個原因，這些信息已經在這第一章中提出。

1.2 關注領域

特別是，本章介紹了軍事訓練和決策的概念，強調了這種系統必須考慮到的網絡安全方面的重要性，然后定義了MSG-189 ST活動的利益量。對所指出的問題的深入研究以及將其納入參考架構將是以下各章的主題。

本章的第一部分致力于識別和描述與培訓有關的問題，旨在為所有在軍事組織中工作的專業人員提供必要和關鍵的活動，并支持指揮官、其工作人員和參與任務的人員的決策過程。

本章概述的另一個主題與網絡安全有關：將定義與安全有關架構的要求限定方面；所提供的信息必須是框架設計的基礎，并滲透到其所有功能中（設計安全）。

在本章的最后部分，描述了研究的興趣領域，定義了該領域的維度（行動、專業知識和生命周期），并對每個維度指出和描述了需要考慮的層次。

最后，我們定義了MSG-189 ST的研究活動將在其中進行的興趣范圍。

1.2.1 軍事訓練

軍事訓練對不同的人是明確的但又非常不同的。在軍事單位指揮官的層面上，它意味著鍛煉戰場上的部隊或海上的水手，使他們作為一個綜合、協調的單位運作。在軍事人員管理者的層面上，它意味著對包括廚師、馴犬員、坦克炮塔技術員、雷達技術員和戰斗機飛行員在內的所有職業專業的個人進行準備和認證。在主要軍事系統的開發者和提供者層面，它意味著在模擬器或系統本身上進行演習。對所有相關人員來說，它意味著讓來自平民社會的個人準備好作為專業軍事人員執行任務。

軍事訓練與其他形式的訓練不同，它強調的是紀律、臨場準備和集體訓練[3]。

從中世紀的奎因時代開始，無疑在此之前，仿真在進行軍事訓練和評估個人、船員、團隊和單位執行軍事行動的準備情況方面一直很突出。今天，仿真對于參加野外演習的疲憊不堪的士兵來說非常熟悉，對于在我們的戰爭學院里操縱計算機生成的部隊（CGF）橫掃廣闊的電子平原的指揮官來說也是如此。它得到了各種設備的支持，從塑料模型到筆記本電腦，再到比它們所模擬的飛機更昂貴的全動飛機模擬器[3]。

模型、仿真器和仿真之間的一些粗略區分是有用的[3]：

• 模型提供了輸入和輸出的基本表示。它們是控制和決定模擬器和仿真對用戶反應的引擎。

• 仿真器是設備。它們旨在向學生表現自然界中可能遇到的其他設備或現象，并被用來產生對自然界的模擬。

• 仿真是仿真器及其基礎模型的產物。因此，仿真是一組模型和/或模擬器，代表一個系統或一個環境的運行或特征。

隨著技術的發展，只要技術的價值能夠證明比目前的方法有改進，如成本、安全或速度，軍隊也會隨之采用。它必須不斷地具有前瞻性、創新性和積極性，既要了解戰爭是如何演變的，又要調整訓練以應對這些挑戰。

什么是訓練？

訓練是任何組織的基本活動之一；特別是，它一直是所有時代的軍隊所開展的行動取得成功的決定性因素之一。

擁有訓練有素的軍事人員對于能夠在現代戰爭的復雜情況下開展行動至關重要，這些情況需要反應技能和分析能力，只有受過訓練的人才能具備這些能力。

訓練的類型數不勝數，從特定主題的個人理論訓練到涉及數千人和車輛的大型戰區演習，在時間和空間上復雜而銜接的行動。

因此，世界上所有的軍隊在訓練中投入巨大的資源并不是巧合。訓練技術和程序的演變必須不可避免地跟隨威脅的演變，同時也要跟隨新作戰概念的發展。軍事資源訓練水平的不斷更新產生了著名的格言："邊訓練邊戰斗，邊戰斗邊訓練"。

美國軍方將訓練定義為 "為獲得和保持完成特定任務所需的知識、技能、能力和態度（KSAAs）而進行的教學和應用練習"[4]。

一般來說，軍事訓練分為兩大類：個人和集體。個人訓練正是旨在發展個人技能的訓練。集體訓練的目的是將受過訓練的個人整合成一個有凝聚力的有效團隊，不管這個團隊是四人的坦克車組還是5000人的航空母艦船員。

訓練的規模可以小到為一個四人小組上一小時的如何包扎傷口的課，大到包括來自各軍種的數萬名人員和單位的多周聯合演習。訓練的主要領域是：機構領域，包括各軍種的各種正規學校；行動領域，包括在部隊和艦艇上的訓練，無論是在原地、部署地還是航行中。

另一種類型的培訓是自我發展：它由個人進行，以解決他們在自己的學習中看到的差距，（從更廣泛的角度來看）可以被視為一種教育[4]。

仿真是培訓的基礎，構成了培訓的本質；以培訓為導向的仿真環境允許以安全、高效、經濟的方式培訓人員，并隨著時間的推移保持培訓水平，即使是發生概率極低的事件。因此，即使是模擬環境，也必須跟隨（有時是預測）技術和理論的演變，以最好地完成其任務。

1.2.2 指揮官與參謀員的決策

決策的定義和描述有很多，但基本上它是一個認知過程，通過這個過程從一系列合理的、潛在的選項中做出一些選擇。當然，目標是要從現有的備選方案中挑選出 "最佳 "方案。

決策中典型的復雜因素是不確定性；也就是說，備選方案的許多方面以及每個預期方案的確切結果可能是未知的、不明確的或不可預測的[5]。

從歷史上看，一個單位的成功與工作人員執行軍事決策過程的能力直接相關。鑒于當今作戰環境的復雜性增加，以及大量的任務指揮系統和程序，與作戰有關的所有活動的整合和同步越來越困難[6]。

自19世紀末以來，軍事參謀程序一直在演變，試圖定義一個達成決策的共同過程。雖然理論成功地提供了一個指導決策過程的系統，但它幾乎沒有解決在評估和選擇潛在行動方案中固有的不確定性。使情況更加復雜的是，今天人們幾乎可以無限地獲得大量的信息，這些信息可能需要也可能不需要應用于特定的決策情況。因此，雖然看起來信息越多越好，但事實上，擁有太多的數據會增加認知負擔，并可能導致忽略其他與當前特定情況更相關的信息。軍事情報分析過程面臨的挑戰是通過向指揮官提供及時、相關、可靠的信息來加強軍事決策[5]。

在下文中，我們描述了關于決策過程的不同理論，并展示了關于這些理論如何在軍事領域應用的兩個觀點。

關于決策過程的理論

描述了可以支持的關于（軍事）決策的相關理論。

• 觀點1：技術/任務導向（如MDMP、OPP等）。
• 觀點2：非技術/技能導向（例如，OODA、系統1和2、認知偏差）

理論方法 [7]

人們可以把這個領域的許多模式分為兩大潮流和方法。

• 理性哲學的潮流依靠邏輯作為其主要工具，即要求對優勢、劣勢、機會和風險進行分析評估，盡可能做到最好。理性派認為決策過程是一種邏輯分析，以確定行動的最佳選擇。
• 認知-心理的潮流依靠人類所有的認知過程--分析推理和基于直覺的思考。這股潮流認為決策過程是使軍事領導人意識到或突然洞察到所需的行動方法。工作中的工具是認知性的，旨在為 "靈光一現 "創造自然條件，同時避免人類推理的一般缺陷，特別是在壓力下的推理。到目前為止，這兩種趨勢都沒有完全建立在全面闡明的理論基礎上，但研究工作正在對兩者進行投資。

1.2.3 網絡安全

安全方面的問題應該從最初的設計階段就開始計劃和解決，因為一旦部署和實施，甚至剛剛開始，要解決安全問題（考慮所有的觀點和方面）就會困難得多。

此外，由于系統架構可能是基于分布式和分散的模式--面向服務的系統（即MSaaS），其執行將在分布式計算資源上提供，基于網絡/云中心環境--網絡安全方面必須得到仔細考慮。

在實施分布式模擬系統時，有許多問題需要考慮，包括但不限于網絡、端點安全、認證和訪問控制等主題。傳統的網絡安全要求和最佳實踐為確保數據的保密性、完整性和可用性而采取的措施提供了指導。僅列舉一些例子。

• 應該對訪問進行管理，以確保只有經過授權的客戶才能訪問或操作數據，管理權限應該最小化，管理賬戶應該只在需要時使用。

• 應定期檢查用于限制誰可以訪問服務器和保護傳輸信息的認證和加密技術，以確定必要的安全要求。

• 適當的安全管理實踐對于操作和維護一個安全的環境至關重要：安全實踐包括識別信息系統資產和制定、記錄和實施有助于確保系統資源的保密性、完整性和可用性的政策、標準、程序和指南。

為了確保系統和支持整個基礎設施的安全，以下做法是網絡安全 "按原樣 "實施的標準參考（例子）：

• 服務器和客戶端的加固。
• 配置/變更控制和管理。
• 風險評估和管理，以確定潛在的弱點和漏洞--（同時進行定期測試）。
• 對操作系統進行修補和升級。
• 對標準化的軟件配置進行測試和保障。
• 通信渠道的安全。
• 確定應急計劃和業務的連續性--措施。
• 實施安全監控解決方案（例如，日志管理、終端安全、網絡安全等）；以及
• 定義和實施安全軟件開發生命周期（SSDLC），以協調與創建軟件組件有關的所有過程。

總之，應通過配置、保護和分析日志文件和配置，經常備份關鍵信息，建立和遵循從破壞中恢復的程序，及時測試和應用補丁，并定期測試安全，來持續維護基礎設施的安全。

此外，由于日益增長的技術創新和可用的計算資源和算法，還將有更多的網絡安全方面需要考慮。

1.2.4 MSG-189 的效益

這個活動提案的精神恰恰在于提供一個環境，它是一個生態系統的一部分，跟隨用戶從他/她的職業生涯的開始到最大經驗的階段，而不需要不斷地 "學習"（新的和不同的）系統。這種學習的努力往往與IT工具的真正目標相反，它應該促進工作經驗。此外，如果你是一個有經驗的用戶，你仍然可以訪問較低層次的信息（例如，能夠刷新、修改、獲得特定資產的技術信息，等等）。

1.3 報告結構

本報告分為：

• 執行摘要，概述了ST的理由、處理的主要議題和在1年活動期間開展的活動以及由此產生的結論和建議。
• 報告的主體部分，提供：
  • 描述了MSG-189 ST活動的范圍和興趣領域。
  • 對可用于建立NMSG-189生態系統的顛覆性技術現狀的調查。
  • 對與網絡安全技術有關的技術現狀的調查。
  • 對軍事訓練和決策支持領域的潛在差距的分析。
  • 收集需求（歷史的和新的）來定義新系統。
  • 定義一個參考架構，系統將在此基礎上建立。
  • 該系統提供的產品和服務清單；以及
• 縮略語表。
• 引用的文獻、報告、標準和網站的參考資料。

摘要

北約和各國都面臨著聯合集體訓練的迫切需求，以確保任務準備就緒：當前和未來的行動都是多國性質的，任務和系統都變得更加復雜，需要詳細的準備和快速適應不斷變化的環境。由于可用資源較少，訓練范圍有限，防止對手觀察第五代戰術和系統能力，以及政治決策和部署之間有限的準備時間，多國背景下的實戰訓練和任務準備機會減少。仿真已經成為解決軍隊訓練需求的一個重要工具，各國都在朝著采用分布式仿真的國家任務訓練（MTDS）能力發展。聯軍正在尋找一種在實戰和模擬訓練和演習之間新的平衡，以提供兩個世界的最佳效果。

北約建模與仿真小組（NMSG）的一些倡議為北約MTDS愿景和行動概念的發展提供了寶貴的意見（MSG-106 NETN、MSG-128 MTDS、MSG169 LVC-T）。在這些成果的基礎上，最近的NMSG活動（MSG-163北約標準的演變，MSG-165 MTDS-II，MSG-180 LVC-T）涉及為聯合和集體行動開發一個通用的MTDS參考架構（MTDS RA）。最近完成的MTDS RA版本以構件、互操作性標準和模式形式定義了指導方針，用于實現和執行由分布式仿真支持的集體訓練和演習，與應用領域（陸地、空中、海上）無關。此外，MSG-164（M&S即服務II）開發了一個技術參考架構（MSaaS TRA），其中包括實現所謂的MSaaS能力的構件。這些構件可以與MTDS的RA結合起來，以包括作為服務進行集體訓練和演習的準則。

當前版本的MTDS RA提供了一個基線，以詳細說明和確定應該發生進一步要求/技術開發的領域。未來更新的主題包括網絡戰和影響、危機管理、現場系統集成和多域戰或混合戰，僅舉幾例。

聯合MTDS對北約和國家的準備工作至關重要。本文提供了MTDS RA的背景、目標和原則，以及實現北約范圍內持久的集體訓練能力的途徑。聯合MTDS RA的維護和持續發展將是北約多個國家、伙伴國和組織在NMSG主持下的共同方向。

1.0 引言

北約和各國都有一個共同的需求，那就是進行聯合集體訓練，以確保任務準備就緒。然而，存在著重大的挑戰：當前和未來的行動都是多國性質的，需要多方協調以追求共同的目標；新的系統和平臺正變得越來越復雜，需要更多的準備時間才能使用。同時，由于可用資源較少，政治決策和部署之間的時間跨度有限，在多國背景下進行實戰訓練和任務準備的機會減少。成本、復雜性、環境限制和敵方（電子）監測能力往往使得在現實環境中不可能完全用實戰系統進行訓練。

仿真已經成為滿足軍隊訓練需求的一個重要工具，各國正在朝著采用國家MTDS能力的方向發展。隨著時間的推移，北約建模與仿真小組（NMSG）的一些倡議（見[1]）已經為北約MTDS愿景和行動概念的發展提供了寶貴的投入，如MSG-106北約教育和訓練網絡（NETN）和MSG-128 MTDS。到目前為止，由于缺乏一個共同的技術框架和準備集體訓練活動的復雜性，這些導致北約范圍內沒有持久形成有意義的合成集體訓練能力。這種復雜性既是由于技術方面（例如，不同的、遺留的國家仿真資產和用戶界面），也是由于組織方面（例如，行為者和學科的數量）。此外，仿真資產可能使用不同的安全域，數據的交換受制于國家安全政策。根據演習的范圍和復雜性，合成集體訓練活動的準備工作可能需要幾個月的時間，有時甚至需要一年的時間，包括最初的規劃會議。因此，合成集體（和聯合）訓練或任務演練只是零星地發生，而實際任務越來越多地在國際聯盟中進行，而且準備時間很短。

北約MTDS應該關注現有訓練安排中沒有涉及的領域，并在這些領域提供最大的價值和效率。因此，它不尋求復制通過現有國家活動提供的訓練，而是提供額外的聯盟合成訓練能力。北約MTDS能力旨在將國家或北約的模擬資產整合到一個分布式的合成集體訓練環境中，這些資產通過一個共同的模擬基礎設施連接。在以往成果的基礎上，正在進行的NMSG活動（MSG-165 MTDS-II，MSG-169 LVC-T）旨在為聯合和聯合行動開發一個MTDS參考架構（以下稱為 "RA"）。該參考架構以構件、互操作性標準和模式的形式概述了實現和執行由獨立于應用領域（陸地、空中、海上）的分布式仿真支持的合成集體訓練和演習的要求。

該要求涉及多個利益相關者的觀點：

• 對于在其組織內實施合成集體訓練的國家和北約，以及參加北約合成集體訓練活動的國家和北約，RA應被用來說明標準能力、構件、模式和其他屬性，以評估一致性。

• 對于產品供應商，RA應提供一套足夠具體的要求和標準，使供應商能夠開發產品并評估其產品與這些要求和標準的一致性。

• 對于集成商來說，RA應該是一個參考來源，以確定實施合成集體訓練環境的具體限制和方向。

• 對于NMSG來說，RA應該提供一個參考，在此基礎上可以開發技術和要求，確定標準，提供指南，并定義更詳細的具體水平。

本文概述了RA以及用于劃分不同類型架構的概念。

2.0 架構概念和MTDS的框架

架構可以在不同的抽象層次上進行設計，人們可以區分不同類型的架構。一般來說，對各種抽象層次或如何命名它們沒有什么共識。例如，北約架構框架（NAF）[2]提到了不同種類的架構和導致這些架構的活動。架構的不同種類或類型如圖1所示。

圖1：架構的種類。

在這個圖中，企業架構是由企業層活動開發的，參考架構是由領域和方案層活動開發的，而系統架構是在項目層活動中開發的。本文遵循同樣的結構，領域和計劃層的活動由NMSG旗下的任務組執行，而項目層的活動由國家或北約的項目執行。

各種架構有不同的利益相關者和用戶，需要采用各種方法來完善一個抽象級別的架構。架構抽象級別的范圍和這種方法就是這里所說的架構框架[3]。MTDS的架構框架如圖2所示。

圖2：MTDS的架構框架。

圖中的方法指的是（a）任務組活動和（b）工程流程，如DSEEP[4]。架構開發工作是在指導原則下進行的，后面將簡要討論。

2.1 企業架構

為了MTDS RA的目的，北約協商、指揮和控制（C3）分類法[5]被視為企業架構。在圖2中，用分類圖的圖像和類別的層次來說明。北約C3分類法提供了一個北約C3能力的分類（包括標準和要求），通過超類型-次類型的關系組織了一個概念的層次。該分類法由北約ACT開發和維護，可以通過C3分類法的企業管理Wiki網站查看和修改。C3分類法定義了幾個適用于MTDS的能力類別。例如，集體訓練和演習（CTE）過程；教育、訓練、演習和評估（ETEE）應用；以及技術服務，包括M&S服務。這些類別是MTDS參考架構中各組成部分的參考來源。它們為MTDS參考架構的構件提供了結構和要求。

2.2 MTDS參考架構

這種類型的架構是MTDS架構開發工作的重點。MTDS參考架構（RA）是在NMSG的框架下通過任務小組開發和維護的，它定義了實現合成集體訓練環境所應考慮的構件和模式。在圖2中，構件用綠色方框表示，模式用灰色方框表示，包括構件和它們之間的關系。構建模塊既涉及過程構建模塊，也涉及技術構建模塊。過程構件包括，例如，開發、計劃和進行CTE活動的參考過程，而技術構件包括支持這一過程的CTE和M&S應用，以及連接培訓系統和合成集體培訓環境的CTE和M&S服務。

2.3 MTDS項目架構

一個特定的合成集體訓練活動的架構被稱為MTDS項目架構。該項目架構在圖2中由橙色的解決方案構件和它們之間的關系來說明。字母指的是參考架構中由解決方案構建塊實現的構建塊。例如，一個項目架構是由美國駐歐洲空軍（USAFE）戰士準備中心組織的斯巴達戰士活動[6]或瑞典武裝部隊組織的維京活動[7]的訓練環境架構。由于RA提供了合成集體訓練環境的構件，項目架構中使用的解決方案構件的許多要求原則上可以從RA的構件中得到。但是，一般還是需要細化以滿足項目（即訓練活動）的要求和限制。這可能包括對RA中定義的參考培訓流程進行調整；增加安全要求；選擇特定的中間件解決方案；選擇網關和橋梁組件、跨域解決方案、數據記錄解決方案以及環境數據產品和格式。參考模擬數據交換模型，如北約AMSP-04[8]中的定義，通過RA提供，但項目架構仍然需要就這些參考數據交換模型中的哪些具體部分進行約定。

因此，從同一個參考架構中，可以開發出不同的項目架構，每個項目架構都指定了符合參考架構中設定的標準和要求的合成集體訓練環境的特定實現。項目架構可能涉及一個持久的訓練環境，也可能是一個只為特定訓練活動而臨時存在的環境。

2.4 架構原則

架構原則指導MTDS參考架構和MTDS項目架構的開發、維護和使用過程。原則是持久性的一般規則和指導方針，告知并支持北約和伙伴國家如何完成任務。在圖2中，"指南 "箭頭說明了這一點。

架構原則的屬性是用The Open Group Architecture Framework (TOGAF) [9]定義的，包括：

名稱 代表規則的本質。

聲明 應該簡潔明了地傳達基本規則。

理由 應該強調遵守該原則的商業利益。

影響 應該強調執行該原則對業務和IT的要求--在資源、成本和活動/任務方面。

MSG-165為RA制定了十個主要的架構原則（見MSG-165 RA技術報告[10]）。以下是其中一項原則：

1.名稱：遵守北約的政策和標準

2.聲明：MTDS應符合北約在M&S互操作性和標準方面的政策和協議。

3.原理：這些政策和協議的目的是促進所有3級（指揮和參謀）、2級（戰術）和1級（個人和機組）建模與仿真（M&S）系統內部和之間的系統級互操作性。這些政策和協議的范圍包括用于操作、訓練和分析的M&S系統。這適用于由不同的北約國家和北約組織開發的、位于這些國家的M&S系統。

4.影響：以下基準政策和協議應適用于MTDS：AMSP-01: M&S標準簡介，STANREC 4815[11]。STANAG 4603：技術互操作性的建模和仿真架構標準：高層架構（HLA）[12]。AMSP04：NETN聯盟架構和FOM設計，STANREC 4800 [8]。AMSP-03: 北約和多國計算機輔助演習中分布式模擬的M&S標準指南，STANREC 4799 [13]。

在MTDS背景下，架構原則被用來獲取關于北約國家和北約組織應如何使用和部署M&S資源和資產進行合成集體訓練的信息。除其他外，這些原則推動了架構構件中功能需求的定義，指導了項目架構的評估，并通過理由說明提供了動機。

2.5 架構模塊和架構模式

架構模塊（ABB）和架構模式（AP）這兩個概念被用來描述RA中的模塊以及這些模塊如何被組合。這些概念在圖3和圖4中得到了說明，其中第一個圖還顯示了作為對比的概念--解決方案模塊（SBB）。

圖3：架構模塊與解決方案模塊。

一個ABB具有指定其目的、功能和所需技術接口的屬性，以及任何適用的標準。一個ABB并不意味著是一個具體解決方案的規范，而是為開發合成集體訓練環境的架構，即項目架構提供要求、標準和指導。另一方面，SBB與可能被采購或開發的具體解決方案（以及項目架構）有關。SBB規定了培訓活動所需的功能、特定的接口、實際性能值和施工約束。ABB和SBB的概念來源于TOGAF[9]。

圖4：架構模式。

一個AP可以作為項目架構的參考，提供已被證明可以為某個問題提供解決方案的ABB的組合信息。模式屬性包括對模式所幫助解決的問題的描述，對模式如何提供問題解決方案的描述，以及幫助描述模式的圖示。其他模式屬性規定了功能和非功能要求，列出了適用的標準，并提供了參考和例子。

RA描述使用AP圖示，如圖5。這個簡化的插圖顯示了兩個相互作用的ABB，交換具有相關接口要求和標準的數據對象。例子在第3.0章中提供。

圖5：架構模式的插圖。

3.0 參考架構（RA）層和模塊

圖6提供了RA中各層的概述，按照北約C3分類法的主要層次組織。

• 行動能力：在流程、信息產品、角色和組織方面的集體訓練和演習能力。在C3分類法中，相關類別位于作戰能力 > 業務流程 > 啟用 > ETEE > CTE下。

• 面向用戶的能力：支持CTE過程的能力，以及培訓受眾使用的能力。在C3分類法中，相關的CTE類別位于面向用戶的能力 > 用戶應用 > ETEE應用 > CTE應用下。而相關的M&S類別位于面向用戶的能力 > 用戶應用 > M&S應用。

• 后端能力：啟用或支持面向用戶的能力的能力。C3分類法中的相關類別在后端能力 > 技術服務 > COI服務 > COI特定服務 > ETEE功能服務下，以及后端能力 > 技術服務 > COI服務 > COI啟用服務 > M&S服務下。另外，核心和通信服務包括與管理和保障合成集體訓練環境中的技術組件有關的幾個類別。

• 服務管理和控制（SMC），以及CIS安全被描述為RA中的兩個交叉層。在C3分類法的最新版本中，這些交叉層已從概覽中刪除，但基本類別存在于分類法的每一層。為了RA的目的，我們在概述中保留了這些層次，以強調集體訓練和演習中SMC和安全的交叉問題。

圖6：主要MTDS架構構件的層級和聚類。

下面的章節描述了RA的每個層次，最后一節介紹了MTDS技術框架。更多的細節包括在MSG-165 RA技術報告[10]中。

3.1 業務能力

這一層定義了集體訓練和演習（CTE）過程。這些定義了在進行合成集體訓練時應遵循的一般過程步驟，以及在此過程中應開發的信息產品。集體訓練和演習過程在北約Bi-SC 75-3集體訓練和演習指令中有所描述[14]，提供了參考過程以及關于規劃、執行和評估北約集體訓練和軍事演習的綜合指南。

CTE過程還包括合成集體訓練環境本身的發展或調整。AMSP-05北約計算機輔助演習（CAX）手冊[15]提供了額外的M&S相關準則，補充了Bi-SC 75-3附件N（演習的合成環境支持）。這本手冊包括了對基于模擬的訓練活動的更專業的流程描述。

設計、開發、實施和測試訓練環境的技術組件的工程流程也包括在這一層。這包括分布式仿真工程和執行流程（DSEEP）、環境數據和流程的再利用和互操作（RIDP）以及V&V活動：

• DSEEP[4]是一個流程模型，定義了設計、開發、集成、測試仿真環境和執行仿真的七個步驟。DSEEP允許用戶根據他們的具體應用要求定制流程模型，即合成集體訓練環境。

• RIEDP[16]定義了環境數據產品共享所需的組件。它包括一個參考過程模型、一個抽象數據模型和一個元數據規范，以支持資源庫和目錄要求。作為項目架構開發活動的一部分，環境數據產品的開發至關重要。因此，在合成集體訓練環境的工程中，將RIEDP活動與DSEEP步驟和活動相結合是至關重要的。

• 如果合成集體訓練環境需要驗證和/或核實，那么應該考慮FEDEP[17]的VV&A疊加，或驗證和核實的通用方法指南（GM-VV）[18]。

所有這些參考程序通常都需要定制，以滿足國家或多國的培訓要求和項目的具體限制。影響定制的因素包括：培訓環境的變化；風險；解決方案的成熟度、規模和復雜性；培訓活動的時間；技術準備度（新興技術或傳統技術）；預算；系統和人員的可用性；對核查和驗證的要求；以及安全相關的要求。

3.2 面向用戶的能力

這一層包含了訓練系統，以及用于支持合成集體訓練的M&S和CTE應用。這些是用戶與之互動的應用，因此是 "面向用戶的"。

M&S和CTE應用包括（但不限于）。場景開發應用（用于開發概念性和可執行的場景），合成物理環境應用（用于開發環境數據產品），以及演習控制應用（用于控制場景的執行）。

訓練系統是國家資產，但也包括在這一組中，因為從RA的角度來看，這些被認為是面向用戶的能力。訓練系統的范圍從相對簡單的單元素系統，如專用的CGF應用程序，到更復雜的多元素系統，如完整的任務模擬器。討論訓練系統本身并不在本報告的范圍之內，而是討論這些能力如何在一個合成的集體訓練環境中聯合起來。

訓練系統與其他層的一些服務相互作用，例如。

• 后端能力:

  • M&S面向消息的中間件（MOM）服務協調訓練系統和M&S/CTE服務之間的模擬數據交換。

  • 仿真門戶服務進行仿真數據協議轉換，使不兼容或部分兼容的訓練系統能夠與M&S MOM服務連接。

  • 場景分配服務為訓練系統提供場景初始化數據，使訓練系統的場景初始化協調一致。

• CIS的安全性:

  • CDS服務提供了控制模擬數據從一個安全域向另一個安全域釋放的方法。

  • M&S MOM服務實現了模擬數據在站點之間的安全交換。

• 服務管理和控制:

  • SMC服務能夠有序地啟動和停止訓練系統，并提供對訓練系統進行測量和監控的能力。

3.3 后端能力

這一層包含了幾個構件。本層的M&S和CTE服務定義了MTDS的具體能力。培訓系統和應用與這些后端能力進行交互，如模擬門戶服務，將培訓系統與M&S面向消息的中間件服務進行連接。

這一層的核心服務定義了一些一般的能力，這些能力對于任何合成的集體訓練環境來說都是需要到位的。同樣，通信服務是一般的通信能力，對于任何合成的集體訓練環境都是必不可少的。這些服務包括在這里作為參考，并沒有進行深入的討論。

本層的M&S和CTE服務包括以下內容

• 仿真門戶服務。在許多合成集體訓練環境中，會有混合的訓練系統，每個系統都支持不同的（版本）仿真標準、戰術數據鏈和/或HLA FOM模塊，例如DIS版本7、IEEE 1516.2000（HLA）、IEEE 1516.2010（HLA進化版）、RPR-FOM、NETN-FOM模塊，或不同的戰術數據鏈仿真標準。RA定義了仿真門戶服務，以執行最常見的轉換，將使用非HLA（如DIS）或傳統HLA（如HLA 1.3）的訓練系統連接到M&S面向消息的中間件服務中。

• M&S面向消息的中間件（MOM）服務。這些服務使M&S和CTE應用程序和服務以及培訓系統具有互操作性。面向消息的中間件服務符合NATO STANAG 4603和NATO標準AMSP-04。NATO STANAG 4603規定使用IEEE 1516?-2010 (HLA Evolved)標準，用于分布式仿真環境的高層架構。AMSP-04（NETN）定義了一套（連貫的）HLA FOM模塊，以及架構和設計指南，見圖7。NETN的FOM模塊旨在最大限度地提高仿真組件之間的重復使用和互操作性。

圖7：AMSP-04版B中的NETN FOM模塊。

• 場景分配服務。這些服務為模擬執行提供初始模擬場景（如作戰順序（ORBAT）數據），由場景開發應用程序開發。初始模擬場景包括關于單位、設備項目及其關系的信息，以及關于初始建模責任的信息。即哪些訓練系統負責哪些單位和設備項目的建模和模擬。

• 仿真服務。這些服務產生地面真實和非地面真實數據，用（模擬的）空中、陸地或海上平臺或綜合信息刺激訓練系統，如敵機、導彈、誘餌、陸地單位、空中交通和海上船只交通。仿真服務由演習控制應用程序控制。

RA還包括架構模式，提供了關于如何組合架構構件的信息。以下是兩種模式的說明。

圖8展示了一個演習控制模式，模擬實體由演習控制應用發出任務。M&S MOM服務在模擬服務和訓練系統之間分配任務，對于演習控制應用來說，模擬實體所在的位置是透明的，因此哪個組件有建模的責任。AMSP-04 NETN-ETR是戰爭領域中模擬實體任務和報告的標準。

圖8：模擬實體的任務分配和報告模式。

圖9提供了一個場景初始化的模式，其中初始模擬場景由演習控制應用提供給場景分配服務。場景分配服務使用M&S MOM服務在運行時將場景分配給訓練系統。場景元素的建模責任對場景分配服務是透明的。培訓系統需要對模擬環境協議中約定的指定元素的建模負責。這種模式使用AMSP-04 NETN-ORG作為場景初始化的標準。場景分配服務支持HTTP，用于發布MSDL數據等。

圖9：場景初始化的模式。

3.4 通信和信息系統（CIS）安全

該層是一個交叉層，定義了與合成集體培訓環境中不同安全領域之間的數據交換、信息安全脆弱性評估以及發布政策對培訓目標的影響評估有關的構建模塊和模式。鑒定過程也是這個交叉層的一部分。此外，其他層的構件也可能包括CIS安全要求。例如，對于M&S MOM服務來說，要支持在聯合合成集體訓練環境中各站點之間安全地交換數據的機制。

這一層的構件提供了安全執行、管理和監控的功能。這些構件在實施M&S CDS解決方案的要求方面提供了指導和考慮，并促進了為SBB選擇適當的技術。構建模塊包括

• 安全策略配置管理應用：提供配置本套系統中其他構件的方法。

• M&S防護服務：提供連接國家模擬安全域和北約MTDS安全域的能力，并根據一套預定的發布策略規則控制國家域的模擬數據的發布。

• M&S調解服務：提供訓練系統或M&S MOM服務與M&S防護服務之間的模擬數據交換的調解手段。

圖10提供了一個跨域信息交換的簡化模式。M&S調解服務將數據轉換為M&S防護服務可以解釋的格式。M&S調解服務和M&S防護服務之間的接口是特定的解決方案，但通常涉及XML或純文本格式的消息，供M&S防護服務檢查和過濾。M&S防護服務的實施大多是國家（機密）和專有的解決方案，并且由于與模擬數據的延遲和吞吐量有關的M&S要求，被認為是M&S特定的。訓練系統位于國家站點，在這個例子中是X站點和Y站點，通信服務（如CFBL-Net）提供跨站點的IP單播/多播網絡服務。此外，加密設備（如果使用，未在圖中顯示）確保站點之間的數據通信是加密的。

圖10：跨域信息交換的模式。

3.5 服務管理和控制

服務管理和控制（SMC）集群也是一個跨域層，因為它影響到所有其他層。

這一層定義了一系列的構件，以便在一個（聯合的）合成集體訓練環境中連貫地管理各部分。這涉及到流程和技術能力。

SMC能力提供了以下手段：

• 測試訓練系統和測試MTDS技術框架中的應用和服務（見下一節）。

• 初始化和啟動MTDS技術框架中的應用和服務。

• 監督MTDS技術框架中的應用和服務的健康和運行狀態。

• 監測培訓系統的狀態。

• 終止MTDS技術框架中的應用和服務，該組的應用和服務包括。

• 系統初始化和終止服務：協調一致地初始化和終止培訓系統，以及MTDS技術框架中的應用和服務。這些服務對組件的初始化和終止進行協調。一旦一個組件成功啟動，進一步協調初始化和與其他組件的同步，例如，由該組件自己決定。

• 監測、計量和記錄應用程序和服務：收集和提供關于MTDS技術框架中應用程序和服務的健康和性能的信息。例如，監測組件的有效性，從組件中收集指標（如CPU使用率，交換的消息數量），并從組件中收集日志數據（如控制臺日志）。這些服務是任何分布式仿真環境中的基本功能。

圖11展示了一種模式，平臺監控服務監測M&S服務的有效性和準備性。準備就緒表示服務已經準備好參與仿真執行的狀態。有效性表示服務正按計劃執行的狀態。平臺監控服務可以向M&S服務發出有效性請求，以確定其狀態，例如通過HTTP GET探測。平臺監控服務是非M&S特定的服務，定義在RA的核心服務層。

圖11：監測M&S服務的模式。

• 測試管理應用：驗證CTE/M&S應用和服務以及訓練系統的解決方案是否正常運行；也就是說，符合商定的模擬互操作性要求。北約IVCT[19]是一個解決方案，可用于測試HLA仿真組件的互操作能力，并支持聯合仿真的整合。

3.6 MTDS技術框架

為支持合成集體訓練和演習所需的通信和信息系統能力構成了所謂的 "MTDS技術框架"。該技術框架如圖12所示。它由前幾節所討論的技術構件（不包括訓練系統）組成，被歸納為一套連貫的技術能力。

總之，MTDS技術框架支持CTE過程中的活動，提供在不同地點的訓練系統之間安全和一致地交換信息的能力，提供收集、存儲和處理訓練和演習相關數據的能力，并提供用M&S應用或M&S服務產生的信息激勵訓練系統的能力。技術框架中的構件和模式共同提供了在（聯合）合成集體訓練環境中整合訓練系統的技術要求。

圖12：MTDS技術框架的模式。

4.0 總結和結論

本文對MTDS參考架構（RA）進行了概述。RA為MTDS的合成集體訓練環境的設計、開發和實施提供了參考和方向來源。參考架構是以架構基石（ABBs）和架構模式（APs）分層描述的。每個ABB提供了要求和標準，每個AP提供了關于ABB如何組合的信息。架構塊和模式為開發或獲取ABB和AP的解決方案提供了方向。此外，RA還定義了架構原則來指導RA的開發、維護和使用。

RA與北約C3分類法有很強的聯系，提供了與北約通信、指揮和控制（C3）能力的可追溯性，以及一個共同的結構，以北約C3用戶群體可識別的方式命名和組織構建塊。

RA提供(1)一個框架和結構，(2)其內容(即ABB和AP描述)可以隨著需求和見解的變化而不斷改進和充實。目前MSG-165開發的RA版本已經提供了一個有幾個ABB和AP的基線。然而，我們發現了一些差距，應該為這些差距開發ABBs和APs，并添加到RA描述中（見MSG-165 RA技術報告，[10]）。此外，還有機會利用正在進行的科學和技術工作，這些工作應與RA相整合并保持一致。

5.0 建議

對各國和北約:

• 將RA作為在組織內實施合成集體訓練的參考，并參與北約的合成集體訓練活動，以獲得實際經驗，發展技術能力，并提供業務培訓價值。

對NMSG來說:

• 將RA作為合成集體訓練的參考，在此基礎上開發技術和要求，確定標準，提供指南，并確定更詳細的具體水平。

• 確保歷屆工作組對RA進行維護并保持更新。

• 將MTDS相關的主題（見MSG-165 RA技術報告，[10]）組織在一個路線圖中，用于逐步發展RA的內容。

• 采用RA并促進各國在實施MTDS時使用它。

• 評估RA在AMSP-03[13]中的整合情況，更新和發展該簡介，使之成為聯合MTDS的簡介。

對集成商和產品供應商:

• 使產品與RA中列出的要求和標準保持一致。

引言

軍事和民事情報組織經常被要求為指揮官和決策者提供支持，他們的決定影響著國家和國際安全。除其他特征外，如及時性和相關性，情報組織應做出有嚴格分析支持的評估，準確無誤，并明確傳達給決策者。不確定性對情報的評估和溝通功能都構成了關鍵挑戰。例如，分析員收到的信息的質量往往是不確定的，他們所依賴的概念模型也是如此。簡而言之，大多數分析都是在不確定的條件下做出的人類判斷。決策者可能希望完全消除不確定性，但情報組織必須努力將有關事件（概率）和他們的評估（信心）的揮之不去的不確定性盡可能連貫和清晰地傳達出去，以避免誤傳。

SAS-114研究工作組通過研究(a)在不確定情況下促進情報評估準確性的現有和新方法，以及(b)在這種評估中溝通不確定性的標準來應對這些雙重挑戰。本報告概述了SAS-114所完成的研究和分析，分為以下四個部分。

第一部分（第1-5章）研究了情報生產管理的組織方面。第1章概述了目前由科學知識有限的思想領袖制定的情報培訓如何未能解決不確定性溝通中固有的主觀性或鼓勵分析員的自我批判性認知。第二章根據英國國防情報局的經驗，提出了一個不確定性評估的框架，旨在為決策者創造最大價值，減少情報失敗的風險。第3章介紹了荷蘭國防情報和安全局利用 "魔鬼建議 "來改進分析產品。第四章介紹了關于加拿大情報從業人員認為自己及其組織在多大程度上符合美國情報界第203號指令規定的分析嚴謹性標準的研究。在第五章中，英國分析傳統技術培訓小組的成員討論了學術合作和內部研究如何促進循證傳統技術在其組織中的實施。

本報告的第二部分（第6-9章）重點討論了不確定情況下的信息評估。第6章介紹了一種基于預期信息價值建立情報收集優先級的新方法。第7章批判性地審查了目前評估來源可靠性和信息可信度的標準，并強調了未來研究的途徑。接下來，第8章介紹了 "可靠性游戲"，作為衡量來源因素對人類處境意識影響的一種游戲方法。第九章接著討論了風險游戲，這是一種評估專家如何處理異質信息、考慮信息質量和形成對同時發生的事件的信念的方法。

第三部分（第10-15章）探討了不確定性下的情報和風險評估。第10章討論了系統地監測地緣政治預測技能的重要性，并概述了這樣做的經驗方法。第11章重點討論了信息安全持續監測（ISCM）在防御性網絡行動中的挑戰，并討論了應用ISCM框架來改善情報評估。第12章介紹了關于競爭假設分析的有效性的實驗研究，以及分析后的重新校準和匯總方法，作為提高分析員判斷準確性的手段。第13章介紹了批判現實主義理論，以及批判話語分析和安全化理論的理論組成部分，它們共同為一種新穎的分析方法提供了框架：通過對比敘述進行分析。第14章接著介紹了一種以3值和6值邏輯的真值表形式結合分析判斷的透明方法。第15章的結論是一個分類系統，它有助于將分析技術與具體的情報問題相聯系。

本報告第四部分（第16-20章）根據SAS-114的最初目標，討論了情報制作中不確定性的交流。第16章研究了自然語言中固有的不確定性是如何影響報告質量的，并提出了一種識別、評估和權衡文本信息的證據性的方法。第17章對美國和英國在情報分析中交流概率的政策進行了批判性評論。第18章介紹了由SAS-114的成員和附屬機構收集的估計概率標準的注釋集。同樣，第19章介紹了SAS-114收集的用于評估和溝通分析信心的標準。第20章是報告的結尾，討論了數字時代的交流，特別關注商業開放源代碼情報中的不確定性溝通。

因此，本報告中的二十個章節涵蓋了廣泛的概念領域。SAS-114團隊希望，讀者會發現這套報告既能激發智力，又有實際用途。

內容提要

軍事和民事情報組織經常被要求為指揮官和策略制定者提供支持，他們的決定影響著國家和國際安全。除其他特點外，如及時性和相關性，情報組織應做出有嚴格分析支持的評估，準確無誤，并明確傳達給決策者。不確定性對情報的評估和溝通功能都構成了關鍵挑戰。例如，分析員收到的信息的質量往往是不確定的，他們所依賴的概念模型也是如此。簡而言之，大多數分析都是在不確定的條件下做出的人類判斷。決策者可能希望完全消除不確定性，但情報組織必須努力將有關事件（概率）和他們的評估（信心）的揮之不去的不確定性盡可能連貫和清晰地傳達出去，以避免誤傳。

SAS-114研究任務組通過研究來應對這些雙重挑戰。

a) 在不確定情況下促進情報評估準確性的現有和新方法；以及

b) 溝通此類評估中不確定性的標準。

本報告概述了SAS-114所完成的研究和分析，分為四個部分。

a) 第一部分（第1-5章）探討了情報生產管理的組織方面。

b) 第二部分（第6-9章）研究了不確定性下的信息評估。

c) 第三部分（第10-15章）研究不確定條件下的情報和風險評估；以及

d) 第四部分（第16-20章）研究了目前在情報生產中溝通不確定性的方法。

第一部分的核心主題是，情報組織需要積極主動地利用判斷和決策的科學。第一部分進一步說明了盟國的情報組織正試圖發展一種更加基于證據的分析技術和情報監督的方法。第二部分批判性地審查了目前評估信息有用性和質量的情報方法，并提出了替代方法。第二部分還介紹了測試分析員在不確定環境中如何評估信息質量的研究方法。第三部分描述了監測情報預測的準確性和監測防御性網絡風險的方法。第三部分還對支持情報分析的替代方法給予了極大的關注，包括通過對分析員的支持，以及通過從決策科學中提取的分析后方法。第四部分集中討論了自然語言和情報領域中不確定性的溝通。有幾章對目前向決策者傳達概率和置信度的情報（和其他專業）標準進行了批評分析。

盡管本報告所涉及的主題和調查方法多種多樣，但有幾個章節在一些關鍵結論上是一致的。首先，現有的交流信息質量、事件發生和評估準確性的不確定性的方法在多個方面存在缺陷，應促使北約下的情報界更密切地關注相關科學。具體來說，我們建議情報組織考慮使用數字概率，而不是目前使用的不確定性的模糊的口頭表達。其次，我們建議情報組織在符合科學標準的實驗中測試分析技術方法的有效性，并建議他們考慮在科學理論中具有更強基礎的替代方法。這一點至關重要，因為正如我們的一些研究表明，現有的方法可能不僅不能提高分析的嚴謹性，事實上還可能削弱分析員的評估質量。最后，我們建議情報組織采用積極的自我監測系統，除其他外，跟蹤他們提供給決策者的預測的準確性。

前言

SAS-114小組的前身是SAS-ET-CR探索小組，該小組于2014年12月在北約合作支持辦公室（CSO）召開了一次會議。最初的想法是專注于審查不確定性和風險的溝通標準。根據英國的建議，將范圍擴大，不僅包括不確定性的溝通，還包括在不確定性條件下如何進行評估。一年后，SAS-114研究任務小組（RTG）在CSO啟動，最初的團隊來自加拿大、丹麥、英國、荷蘭和美國，以及北約的海洋研究和實驗中心。隨后，它的成員擴大到包括德國、挪威、西班牙和瑞典。在第一年內，SAS-114也變得很明顯，它主要集中在情報分析領域。對情報的強調在活動中期的重新命名中被正式體現出來。SAS-114從情報界吸收了許多新成員，團隊的組成變得真正多樣化，包括科學家和情報專家的組合。每次會議的結構就像一個小型會議，旨在交流思想和新的發現，并做一些很少做的事情：給科學家和從業人員一個一年兩次的幾天空間來討論情報分析中的挑戰，并聽取可用于改善情報和向決策者傳達的前沿研究。因此，SAS-114也受益于來自科學界和情報界的大量特邀發言人。一個有代表性的例子是在會議記錄中，溝通不確定性，評估信息質量和風險，以及在情報分析中使用結構化技術（doi: 10.14339/STO-MP-SAS-114），其中概述了Arne Biering在哥本哈根Kastellet舉辦的研討會。SAS-114的會議結構與RTG的會議不同，是為了刺激坦率和公開的對話，并為合作的形成和發展提供機會。核心團隊并沒有著手設計所有成員都會參與的實驗。相反，在雙方興趣濃厚且每個參與成員都有貢獻的地方，形成了較小的合作集群。本報告中的許多章節概述了這種合作努力的結果。其中一些團隊的努力仍在進行中，并不是所有的團隊都已經成熟到可以在本報告中總結的地步。如果SAS-114在過去的三年里沒有什么成果，這可能會被理解為 "未完成的工作"，然而根據任何合理的標準，SAS-114已經有了很高的成果，正在進行的合作更適合被理解為團隊持續合作的力量和產生的潛力的明確標志，這將遠遠超過其預定的年份，甚至可能成為北約未來的一個或多個活動。

SAS-114被證明是一個公開對話和自我形成研究合作的實驗，這一點在這份最終報告中得到了很好的體現。在報告中，讀者將發現沒有成員共同簽署的共識文件，而是一個結構化分析、研究結果、專業見解和影響SAS-114關鍵焦點的思想文章的多樣化集合。作為編輯，我偶爾會在實質性問題上對作者提出質疑，但這只是為了進一步突出論點，而不是為了強求一個共同的觀點。本報告中的20個章節分為四個部分：（a）情報生產管理的組織方面，（b）不確定性下的信息評估，（c）不確定性下的情報和風險評估，以及（d）情報生產中的不確定性溝通。最后一部分正視SAS-114的最初目標，追溯到探索小組，而前三部分則強調該活動自早期開始以來的發展。

序文

指揮官和策略制定者需要高質量的信息來做出適當的決定。在處理他們自己的部隊時，在正確的級別和正確的時間獲得正確的信息，雖然不是小事，但可以通過卓越管理來實現。然后，風險可以得到適當的衡量和說明。然而，如果不注入大量的不確定性，再好的管理也無法提供關于一個合格對手的決策質量信息。

大部分的不確定性來自于無法獲得第一手的信息，而不得不從不完整的或智能體的測量結果中進行推斷--這種情況對于其他行業的分析人員來說是很熟悉的，無論是市場研究、運營研究還是財務分析。然而，其中一些不確定性來自于對手使用積極的欺騙手段，試圖讓我們自己的偏見對我們不利，以掩蓋意圖和能力。為了適應我們用來描述對手行動路線的描述詞：如果第一個不確定性的產生者是最有可能的，那么第二個就是最危險的。它們共同為情報分析員提供了兩個不同但相關的挑戰：如何在這些條件下達成適當的評估，以及如何將這種不確定性適當地傳達給決策者。

雖然在大多數情報組織中，促進情報評估的準確性和溝通不確定性的直觀一致的程序已經使用了一段時間，但本報告中的研究表明，有些程序經不起科學方法的檢驗。這組論文中反復出現的主題是，隨著我們繼續在研究人員和從業人員之間不斷加深理解，不斷發展的判斷和決策科學可以幫助發展一種基于證據的情報分析技術。

科學和戰爭之間的共生關系并不新鮮。從最早的洞穴居民嘗試用棍子的大小、形狀和材料來保護家人免受攻擊，到隱形飛機的開發，研究、開發和國防從業人員之間的聯系在 "行動"、"防護 "和 "感知 "的操作功能中一直很緊密。指揮職能，包括其情報子集，已被證明對科學界的幫助有更大的阻力。文化、難以讓科學家獲得適當級別的批準，以及發表機密到無法進行同行評審的研究缺乏吸引力，是造成這種距離的一些因素。

本技術報告收集了豐富的思想文章、專業見解和研究成果，是科學家和從業人員特意聚在一起討論情報分析中的挑戰的產物，這表明我們最終正在打破這一鴻溝。兩個部落都肯定會從這種合作方式中獲益，但最大的贏家無疑是情報的消費者：指揮官、策略制定者和他們所服務的人。

• 克里斯蒂安-盧梭上將（退役）（MGen (Ret'd) Christian Rousseau，加拿大恐怖主義綜合評估中心主任；前加拿大國防情報局局長和加拿大部隊情報指揮部的創始指揮官。

這是MSG-145技術活動（TA）的最終報告，即標準化C2-仿真互操作性的實施。其目標讀者是北約技術界，特別是那些在指揮與控制（C2）和建模與仿真（M&S）領域工作的人。

本文件描述了MSG-145 TA的工作和發現，它是MSG-085的后續活動。MSG-085的背景在最終報告[1]中已有記載。

本報告描述了北約建模與仿真小組145（MSG-145）的工作和成就。該小組的主要目的是提供證據，支持仿真標準互操作性組織（SISO）的指揮與控制仿真（C2SIM）互操作性標準的實施，從而建議將該標準作為北約標準化協議（STANAG）予以采納。

這項工作建立在北約早期M&S活動的基礎上，特別是MSG-048和MSG-085，它們涉及聯合作戰管理語言和軍事場景定義語言（C-BML和MSDL）的開發和使用。這項工作的成功鼓勵了SISO致力于制定一個統一的標準，即C2SIM，用于初始化、任務/報告和由此產生的系統（我們稱之為聯盟）的同步操作。MSG-145進行了補充研究和實驗，以確定、測試和展示相關的用例。

MSG-145的活動包括：評估SISO C2SIM草案并向SISO提供反饋；開發有代表性的用例并在實驗環境中實施；提供一個持久的、分布式的實驗/測試和評估環境，即C2SIM沙盒；開發一個架構以提供C2SIM作為服務，并收集證據以支持小組提議采用C2SIM作為STANAG。

對C2SIM標準包的評估是通過檢查C2SIM的基礎數據模型（由一套本體表達）、審查文件和指導過程進行的。

由不同國家團體主導的用例涵蓋了：

• 無人駕駛自主系統（意大利）。

• 軍事行動訓練中的網絡戰（美國）。

• 軍隊的任務規劃（挪威）。

• 使用戰術數據鏈的空中行動（法國和德國）。

• 聯合任務規劃（英國）。

• 指揮所培訓（德國）。

這些用例中的每一個都提供了一個框架，用于測試C2SIM標準，并幫助SISO完善該標準。支持性實驗在國家和聯盟環境中進行，包括北約的聯軍戰士互操作性演習、實驗、檢驗演習（CWIX）和小組自己的迷你演習（MiniEx）。用例和實驗也證明了在幫助識別和探索利用機會方面的價值。其他工作描述了一個與系統開發者相關的參考架構，包括那些與M&S即服務（MSaaS）相關的工作。

已經開展了大量的推廣活動：在國內和國際上都提供了技術論文、演講、演示和輔導，如：ITEC、I/ITSEC、TIDE Sprint、ICCRTS和SISO SIW。ITEC, I/ITSEC, TIDE Sprint, ICCRTS和SISO SIW。完整的細節和參考資料見本報告的主體部分。

該小組的C2SIM沙盒是一個完整的C2SIM環境，承載著一個有代表性的建設性仿真、一個C2代用品和一個C2SIM網絡服務器，以提供網絡通信能力。用戶可以從世界任何地方使用安全的虛擬專用網絡（VPN）連接自己的系統。沙盒已被廣泛使用，目前在羅馬的北約模擬和仿真卓越中心（MSCOE）有一個持久的能力。

最后，報告總結了該小組是如何實現其目標的，確定了開發路徑以及如何使用和擴展C2SIM標準。它還總結了外展活動。最后，對北約來說最重要的是，它涵蓋了北約作為STANAG采用C2SIM標準所需的建議和過程。

該報告建議

• 應在SISO C2SIM標準基礎上提出并批準C2SIM STANAG。

• NMSG應向各國和業界推廣C2SIM標準。

• NMSG應向北約聯邦任務網絡（FMN）推廣C2SIM標準，并將該標準加入北約互操作性標準和配置文件（NISP）以及北約M&S標準配置文件（STANREC 4815）。

• 需要繼續開發決策支持和實施工具，以進一步發展業務能力。

• 實驗水平應擴大到包括更多的用例，以支持作戰計劃。

1.1 文檔結構

本報告的結構如下。

• 引言（第1章）。
• MSG-145概述（第2章）。
• C2仿真操作化任務（第3章）。
• 實驗、研討會和會議（第4章）。
• 識別的教訓和吸取的經驗（第5章）。
• 未來開發（第6章）。
• 結論和建議（第7章）。
• 參考文獻和書目（第8章）。

附件包括：

• C2SIM參考架構（附件A）。
• 2019年小型演習（附件B）。
• 2019年空中作業擴展演示（附件C）。
• 關于采用SISO C2SIM標準作為北約STANAG的建議（附件D）。

1.2 為什么要對C2SIM的互操作性進行標準化？

C2和仿真系統之間的互操作是現代軍事力量轉型中一個共同的重要主題。它被要求支持軍事企業執行業務活動和任務主線，如作戰訓練、信息共享和決策支持。這一要求意味著有能力將C2系統和仿真系統無縫集成，并提供有意義的、明確的信息交流手段。C2SIM互操作適用于在不同層次上為共同目標運作的系統:

• 1）服務內部。
• 2）跨部門（即聯合）。
• 3）在多國或聯盟背景下的國家之間。

此外，自主無人駕駛車輛系統（UVS）的出現導致C2系統和新興的機器人部隊類別之間需要增加相互合作。越來越多的無人系統的使用產生了開發和驗證新操作概念的需要，因此需要有實驗能力。C2系統和機器人系統之間的通信要求在許多方面與C2系統和仿真系統之間的通信要求相似。

在這樣一個 "系統簇"環境中，一個系統對另一個系統的控制需要一個明確的、自動化的機制，其中C2和M&S概念可以以有效和開放的方式聯系起來。

需要C2和仿真系統之間的相互合作來支持軍事活動，例如部隊的準備工作；對行動的支持；和能力的發展。目前，不同制造商和/或國家的系統之間的互操作需要專有的接口，需要時間和金錢來開發和維護。此外，在許多情況下，除了這些供應商的特定接口外，在軍事場景定義、初始化和執行過程中還需要人為干預。所謂的 "旋轉椅"界面需要向仿真操作員提供信息，他們必須將這些信息手動翻譯成仿真可以處理的指令。用標準化、自動化的界面取代這樣的操作人員，可以節省大量的費用，同時也能使操作更加有力和及時。

因此，制定定義C2和仿真系統之間交換軍事信息的通用接口標準，可以大大降低成本，并大大促進系統集成。

C2SIM互操作標準化的好處包括：降低成本和工作量；減少場景準備時間；提高真實性和整體效果。

1.3 C2SIM互操作性標準

利益相關者已經認識到建立一個國際公認的標準的重要性，該標準提供了一個獨立于系統的語言和協議。

1.3.1 C-BML

戰斗管理語言（BML）是一種不含糊的語言，用于指揮和控制進行軍事行動的部隊和系統。BML正在被開發為一種標準的表示和手段，用于交流數字化的C2信息，如命令和計劃，使軍事人員、仿真部隊和未來的機器人部隊能夠理解。此外，BML必須通過數字化報告提供態勢感知和共享的共同作戰圖像（COP）。在以網絡為中心的環境中，BML對于實現相互理解尤為重要。BML還必須在一個多國分布式綜合能力變得越來越普遍和重要的環境中促進C2SIM的互操作性。

BML是獨立于學說的，但提供了表達學說的手段。然而，BML并不作為標準化理論的手段：詞匯必須在各自的應用領域中得到很好的定義，以便在過程結束時毫不含糊地生成可執行的任務。BML必須以底層信息技術系統（M&S或C2系統）可以交換信息的方式對這些方面進行建模，同時也可以正確解釋結果。因此，仿真互操作性標準組織（SISO）承擔了BML標準的開發工作，即聯盟戰斗管理標準。

C-BML語言使用聯合協商指揮與控制信息交換數據模型（JC3IEDM）的數據定義，因為它代表了一套公認的、定義明確的信息元素。然而，JC3IEDM的信息結構不是C-BML標準的一部分。

2014年4月，SISO批準了C-BML的初始版本，這是一種標準化的正式語言，用于指揮和控制（C2）、仿真和自主系統之間的數字化軍事信息交流。C-BML是一種互操作性標準，可以大大促進軍事場景的準備和執行，以支持軍事企業活動。

1.3.2 MSDL

涉及C2系統和仿真系統之間信息交換的用例情景，往往需要對所有系統進行與現有作戰和/或仿真數據庫一致的預先初始化。

軍事場景定義語言的目的是減少場景開發的時間和成本，它能夠創建一個獨立于仿真的軍事場景格式，側重于現實世界的軍事場景方面，使用行業標準的數據模型定義XML，可以方便和可靠地被當前和不斷發展的仿真所使用。最初的MSDL能力是在美國陸軍的 "半自動化部隊"（OneSAF）計劃中，在2001年至2004年的早期架構發展階段進行的原型設計。一個SISO研究小組（SG）得出結論，全社會都需要一個標準化的軍事場景格式，以減少開發時間和成本，并實現寶貴場景產品的共享。標準化的場景格式還提供了一種方法，可以將主要由人工復制的場景自動化為多種仿真場景格式，并減少這一人工過程中引入的錯誤數量。

2006年，一個正式的SISO MSDL標準產品開發小組（PDG）成立，其具體目的是制作一個標準的軍事場景定義語言數據模型。PDG審查了OneSAF以前的工作，并將其與JC3IEDM進行了擴展和調整。由此產生的SISO標準的1.0版本于2008年11月獲得批準。除了OneSAF，MSDL還被美國陸軍建模和仿真辦公室（AMSO）、空軍和海軍陸戰隊以及北約活動所采用。

1.3.3 C2SIM

由SISO開發的MSDL和C-BML標準分別用于支持場景初始化和場景執行，目前正在協調建立C-BML/MSDL聯合標準，也稱為C2SIM標準。為此，2014年，SISO將C-BML和MSDL產品開發組（PDG）合并，形成C2SIM PDG。這就產生了第二代協調的標準，它保持了C-BML和MSDL的優點，也提供了可擴展性。

圖1-1顯示了操作概念，C2SIM實現了C2系統、M&S應用和自主系統之間信息（如計劃、命令和報告）和初始化數據的交換。

1.4 北約以前在C2SIM互操作標準化方面的工作

北約協調支持辦公室（CSO）的建模與仿真組（MSG）近年來支持了一些與C2SIM互操作相關的技術活動。MSG-145是2006至2014年開展的MSG-085和MSG-048技術活動的后續活動。在2016年3月MSG-145開始之前，北約探索小組-038（ET-038）于2015年9月舉行。

MSG-048展示了C2SIM的可行性，MSG-085展示了C2SIM互操作性的效用。MSG-145打算將C2SIM投入使用。

1.4.1 北約MSG-048技術活動

MSG-048技術活動探討了 "戰斗管理語言"（BML）作為一個開放框架的組成部分，在北約范圍內連接C2系統和M&S或機器人系統的技術可行性。

MSG-048的研究結果提供了一套經驗教訓，豐富了MSG-048實驗項目的經驗。一套關于C2SIM互操作的操作和技術要求已被證明對仿真互操作性標準組織（SISO）的C-BML標準化活動有用，并為MSG-085技術活動提供了參考。2013年，MSG-048因這項工作獲得了北約科學成就獎。

1.4.2 北約MSG-085技術活動

MSG-048的后續活動，即2010年啟動的MSG-085 TA的結果，主要得益于作戰團體的大量參與，為C2SIM互操作性確立了更清晰的范圍和完善的作戰和技術要求集。MSG-085通過幾次實驗活動證明了概念的正確性。他們首先確認了現有C2SIM互操作性方法的操作相關性并衡量了其效益。他們還確定了現有技術的局限性和需要改進的地方，并有助于向更廣泛的社區通報C2SIM互操作性的最新情況。最重要的是，從這些活動中獲得的經驗教訓有助于為正在制定C2SIM互操作性標準的SISO標準化機構制定一套建議。一個主要的建議是，C-BML和MSDL應該基于一個共同的數據模型，并合并成一個C2SIM標準。

1.4.3 北約ET-038技術活動

探索小組在2015年提出的范圍是探索和定義北約未來需要執行的技術工作，以實現C2SIM的互操作性。事實上，在改進C2SIM方面還有很多技術工作。MSDL和C-BML都需要有下一代的開發，以促進它們的合作以及它們能夠實現的互操作性的范圍。MSDL應該滿足廣泛的國家和北約系統的需求，而C-BML應該提高它所能代表的復雜性和使用它來代表復雜情況的便利性。利益相關者對合并這兩項活動以產生一個統一的、更易于管理和部署的C2SIM互操作性解決方案的共識進行了分析，以確定未來TA的范圍。這催生了MSG-145。

• 本研究由美國陸軍研究實驗室贊助，根據合作協議號W911NF-21-2-0227完成。

?在日益復雜的軍事行動環境中，下一代兵棋推演平臺可以減少風險，降低作戰成本，并改善整體結果。基于具有多模態交互和可視化能力軟件平臺的新型人工智能（AI）兵棋推演方法，對于提供滿足當前和新興戰爭現實所需的決策靈活性和適應性至關重要。我們強調了未來作戰人-機器交互的三個發展領域：由人工智能引導的決策指導，高計算力下的決策過程，以及決策空間的真實呈現。這些領域的進展將使有效的人機協作決策得以發展，以滿足當今戰斗空間日益增長的規模和復雜性。

關鍵詞：決策、交互、兵棋推演、人工智能、增強/混合現實、可視化

1 引言

在傳統的兵棋推演中，指揮官利用一個共同的基于地圖的作戰地形，并在軍事決策過程（MDMP，方框1）中模擬各種因素的組合如何產生行動方案（COA）、可能的反擊行動、資源使用估計和預測結果（美國陸軍，1997年，2014年，2015年）。在幾天或幾周的時間里，MDMP過程導致了一套精煉的COAs，它對作戰環境做出了一定的假設，包括地形、天氣以及戰區資產的可用性和能力（即塑造支持主要作戰行動的活動）。

盡管MDMP幫助指揮官了解作戰環境和考慮作戰方法，但這個過程有很多局限性，如時間密集、假設僵化、跨場景訓練的機會有限，以及將人工智能（AI）指導納入決策過程的機會很少。傳統上，一項任務的成功與指揮部執行MDMP的能力直接相關。然而，鑒于當今多域作戰（MDO）的復雜性增加（Feickert，2021年），有大量的任務指揮系統和流程，與行動相關的所有活動的整合和同步變得越來越困難，甚至到了人為無法完成的地步。由于MDMP的缺陷而導致的規劃專業知識的缺乏，可能會導致不同步和不協調的行動，從而最終導致士兵的生命損失。

MDMP中沒有具體描述戰斗空間的可視化能力，但它顯然在決策過程中發揮著重要作用。最近，集成了先進可視化能力的新系統和新技術已經被開發出來，它們可以提高態勢感知，從而增強決策過程。美陸軍的例子包括Nett Warrior（Gilmore，2015），它使下馬戰士能夠直觀地看到附近的友軍和敵軍，同時根據當地的地形協同規劃戰術任務。盡管這項技術將無線電和數字地圖擴展到了下馬戰士，但它缺乏一個底層的人工智能引擎來提供決策幫助。戰斗空間可視化和交互平臺（BVI，前身為增強現實沙盤，ARES）是陸軍技術的另一個例子，它能夠為任務規劃提供分布式協作，具有從任意視角和廣泛選擇設備的共同作戰畫面的二維和三維可視化能力（Su等人，2021）。BVI架構的制定是為了拉入外部計算服務，如分析管道、模型和人工智能引擎。美陸軍研究實驗室正在努力將這些類型的服務納入BVI，包括用于加強決策支持的人工智能。

目前，MDMP并沒有將人工智能指導納入整體任務規劃方法中。美陸軍的自動規劃框架（APF）（Bailey，2017）開始通過將自主技術插入MDMP工作流程來解決人工智能輔助決策問題。指揮人員可以通過APF的數字規劃呈現、規劃創建和規劃監控工具，在任務規劃和COA開發期間獲得背景援助。任務執行和估計能力通過監測任務的規劃和實際進展，為改進決策跟蹤和支持活動提供自動協助。盡管APF為MDMP引入了基本的自動化水平，但它缺乏Nett Warrior和BVI所提供的先進的可視化和用戶互動能力。

提供地面部隊自動化和用戶可視化能力的是美陸軍最知名的兵棋推演平臺--半自動化部隊（OneSAF），為計算機生成的地面部隊提供建模和模擬能力（PEO_STRI, 2022）。OneSAF提供了半自動和全自動的軍事實體（即士兵、坦克、直升機和綜合單位）的建模，在類似真實世界的戰斗空間中以不同的保真度來支持特定的應用和場景。OneSAF主要用于訓練，并與目前的任務指揮系統具有互操作性。它可以使用多分辨率的地形和詳細的實體相關數據庫來模擬廣泛的作戰環境。然而，OneSAF對地形和實體系統的高保真建模的優勢使得它的設置和運行成本很高。它受到老化系統的限制，而且眾所周知，士兵需要大量的培訓來學習如何操作模擬，使用起來很困難（Ballanco，2019）。OneSAF的復雜功能并不適合開發人工智能能力，以實現快速和敏捷的戰士-機器決策。

除了MDMP和上面提到的陸軍平臺外，最近將人工智能納入決策過程的工作包括一些方法（Goecks等人，2021a），在模擬人類決策過程方面取得了一些成功。一般來說，人工智能在決策變量有限的問題上取得了一些成功，如資源分配（Surdu等人，1999）、飛行模擬器（Drubin，2020）和更簡單的場景。正在進行的挑戰包括需要提高人工智能的能力，以解決有多個行為者、不完整和可能沖突的信息、不斷變化的單位行動和環境屬性的復雜決策，以及需要將這些決策的后果在許多空間和時間尺度和領域內可視化。

以下各節描述了對MDMP的潛在改進。"未來軍事決策過程所需的進步"一節概述了支持MDO決策的三個研究領域，并以圖表形式描述了這些研究領域與軍事理論決策方法之間的關系。"未來軍事決策過程所需的進步 "一節中的小節對每個研究領域進行了更深入的討論。"展望推進人-人工智能團隊決策的交互技術 "一節概述了未來的作戰人員-機器接口（WMI）的發展方向，重點是與決策有關的人-人工智能團隊的跨學科研究。

2 未來軍事決策過程所需的進步

軍事決策過程在支持MDO復雜決策方面的局限性，突出了在三個研究領域的改進需要。首先，有必要將人工智能產生的指導和輔助決策支持納入MDMP。這既包括進一步開發和整合人工智能到戰斗空間決策規劃，也包括進一步改善人工智能決策過程的可解釋性和透明度（Chen等人，2018）。第二，有必要在戰略層面以及戰術邊緣，盡可能地將決策分析與高性能計算（HPC）的力量結合起來。這將能夠利用HPC系統的力量來支持建模、分析和計算時間，同時整合和同步來自所有戰區領域的信息。最后，有必要利用先進的可視化技術，如混合現實技術，對決策空間進行更準確和互動表述。不是簡單地在一個固定的時間尺度上顯示地形的二維渲染，而是需要可視化不同領域的決策是如何相互作用的，并利用混合現實技術來提高理解的吞吐量，并產生平面顯示不可能的洞察力。

除了MDMP之外，其他更廣泛適用的支持戰斗性問題解決的軍事理論包括：DOTMLPF[例如，學說、組織、訓練、物資、領導、人員和設施；（美陸軍，2018年）]，這是一個確定差距并為當前和未來作戰要求提出設計解決方案的框架；以及METT-TC[例如，任務、敵人、地形和天氣、部隊、可用時間和民事考慮；（美陸軍，2019年）]，這是一個結構化框架，用于捕捉任務相關因素的狀態，以便在軍事行動期間進行共享評估。這些理論定義了MDO戰場的信息背景，構成了應用于上述三個研究領域的軍事決策的核心基礎。如圖1所示，在為人類和人工智能指揮開發復雜軍事決策空間的新表述時，研究進展和MDO相關理論相互借鑒、相互啟發、相互加強（美陸軍，2010）。

圖1. 新型作戰人員-機器交互（WMIs）和人工智能輔助決策所需的三個研究發展領域，以支持和加強基本的MDO理論[右下圖來源：Lebsack（2021）]。

2.1 人工智能導向的決策指導

需要新的人工智能支持的WMI，以利用人工智能決策方面正在取得的進展，并為復雜的適應性決策的人工智能學習作出貢獻。在簡化的戰斗空間中測試人工智能決策輔助工具是開發過程中重要的第一步，也是將人工智能納入更成熟的戰斗空間平臺（即BVI、OneSAF）的前奏。開發用于決策輔助實驗的人工智能測試平臺可以在MDO中產生能力越來越強的潛在COA建議。圖2顯示了陸軍開發的兩個人工智能測試平臺的例子。

圖2. 兩個ARL人工智能測試平臺的例子。左邊：ARL Battlespace（Hare等人，2021）（ //github.com/USArmyResearchLab/ARL_Battlespace ）。右邊：ARL的Simple Yeho測試平臺。圖片由C. Hung制作。

人工智能測試平臺能夠開發出匯集所有領域信息的AI，并計算出人類和AI智能體的風險和預期回報。圖2的左側顯示了ARL戰斗空間測試平臺（Hare等人，2021年），它是從頭開始開發復雜決策的新型人工智能的理想場所。它對戰斗空間的抽象強調了軍隊相關場景下的核心推理原則，在這種情況下，用蜜罐進行網絡欺騙。較小的網格空間使人工智能的學習和發展能夠集中在不確定性下的復雜推理，有多個友好和敵對的agent。圖2的右側顯示了ARL的Simple Yeho測試平臺，它提供了將人工智能開發與更多真實世界場景中的默契推理結合起來的能力，有多個基于地形的海拔高度、視線范圍、障礙物、樹葉（隱蔽）、道路和城市區域。紅色陰影和黑色線條表示任務的起點和終點、左右邊界以及人工智能建議的路線。這種額外的真實性使其能夠與MDO理論相結合，包括DOTMLPF和METT-TC，并使人工智能與自然的、機會主義的士兵行為共同發展。這兩個人工智能測試平臺都可以擴展為傳統和沉浸式混合現實WMI開發平臺。

使用漸進式和可擴展的人工智能測試平臺，可以調查現有人工智能的幾個基本限制，特別是對于具有不確定性的復雜和適應性決策，以及人類和AI智能體的協作和對抗。對多智能體的協作和對抗性決策進行建模可能特別復雜，因為其遞歸性質，其他智能體是模型的一部分（Goldman，1973；Grüning和Krueger，2021），需要對決策特征、個性化的價值、風險規避、記憶和注意力進行動態和不斷發展的估計。這些具有高度不確定性、復雜性和動態性的情況是人類擅長的領域，適當設計的交互界面和人工智能測試平臺的人機協作可以提供加速和更有效的決策。對于有效的團隊合作，新穎的WMI應該幫助作戰人員篩選復雜的信息，并幫助人工智能發現決策的隱含規則。下面，我們提供了關于人機協作如何有效的案例。

多域兵棋推演中需要的復雜決策是開發有效人工智能決策輔助工具的直接挑戰。最近人工智能在圍棋、國際象棋、Minecraft和大富翁等游戲中的成功（Silver等人，2017；Goecks等人，2021b；Haliem等人，2021）是基于對世界現有狀態有完整了解的游戲（即 "開放 "游戲），而兵棋推演平臺通常包括關于作戰環境的不完整（如星際爭霸）、不確定或欺騙性信息（Vinyals等人，2019）。不確定性也可能來自變化的物理學或其他環境規則，正如在《憤怒的小鳥》中所探索的那樣（Gamage等人，2021）。由于世界狀態、不同行動者的狀態以及所采取的行動不確定性，知識的缺乏使得人工智能agent難以計算未來行動的風險回報情況（Cassenti和Kaplan，2021）。不確定性也限制了人工智能估計其他行為者的風險回報概況的能力，而這是計算有效的博弈論策略所需要的。人工智能被可能的最優和近似最優選擇的廣度所淹沒（Lavine，2019），即由于信息有限而選擇錯誤的選項，這種情況并不罕見，因為人類在制定有效探索隱藏信息的策略時，采用啟發式方法進行有效的選擇和預測（Gardner，2019）。為了幫助發展人工智能的隱性知識和探索能力，新型的WMI需要有效地解釋和展示決策景觀，以使作戰人員能夠快速和自然地瀏覽可能的選擇，同時使人工智能能夠在不施加認知負擔的情況下從人類的決策中機會主義地學習（Lance等人，2020）。這種機會主義學習可以包括：例如，凝視跟蹤，以捕捉吸引人類興趣和意圖的視覺區域和未標記的目標。它們還可以包括建立在自然的士兵選擇行為基礎上的行動者批評方法，以改善人工智能對人類專家在不確定、不完全信息和欺騙的情況下如何優先考慮某些選擇的學習，這取決于任務相關的背景。

開發人工智能的WMI的另一個基本挑戰是如何有效地整合和顯示MDO中所有五個領域的信息，特別是空間和網絡，因為這些領域的信息具有不同的時空尺度（Gil等人，2018）。對于網絡，決策的規模和速度可能比人類處理和理解的能力更快，需要人類的輸入來指導半自動化的決策，以及實施進攻和防御性欺騙策略的人工智能。WMI需要能夠以這樣的方式顯示決策圖景，即可以解釋一小部分最優和接近最優的決策策略（例如，圖3中的決策樹）。這應該包括對關鍵agent在不確定情況下的未來狀態和風險回報情況的估計（Hare等人，2020），以使有效的博弈論決策能夠被共同開發和相互理解。

圖3. 在頂部，是BVI網絡戰術規劃器應用程序中友軍與敵軍戰爭場景的三維視圖。三維視圖提供了一個比二維視圖更真實的決策視角，例如，顯示友軍（藍色）和敵軍（紅色）機載預警系統（AEWs）和周圍地形的海拔。這使得快速審查可能的視線和相對于周圍地形的感應。下面是人工智能的導航決策樹，為人工智能計算的幾個關鍵選擇的風險/回報概況以及它們如何映射到地形上提供透明度。這種抽象的決策空間還可以整合非空間決策，例如網絡欺騙。虛線表示與友方AEW的通信聯系和對敵方AEW的可能干擾。圖片由C. Hung制作。

這些挑戰為有效的WMIs設計提供了參考。也就是說，我們需要有能力從不同的來源（包括從其他國家的決策輔助工具）提取信息，以及一個能夠承載整合這些信息的計算能力的架構，同時還要處理基礎的人工智能計算（用于學習和部署）。我們還需要共同開發一個界面和算法設計，以適時地利用人類和人工智能agent的優勢并減少其局限性。

2.2 高計算能力下的決策過程

在復雜的決策過程中，需要大量的計算能力來處理和記錄所有組件、實體和狀態空間。從積累的動態狀態空間的數據集中建立過去、現在和預測模型，需要利用HPC資源來產生分析性的見解，并在決策背景下創建有用的表述。

實施HPC分析工作流程的一種方法是使用持久性服務框架（PSF）。PSF是一個最近可用的分布式虛擬化解決方案，它可以通過一個基于網絡的前端實現對HPC服務的非傳統訪問，而不像傳統的HPC環境，計算節點在特定的時間段內以批處理模式分配給用戶。此外，PSF提供對數據、數據庫、容器化工具集和其他托管平臺的分布式連續訪問（Su等人，2021）。

在一個PSF方法的例子中，一個模擬引擎連接到PSF，用于記錄人類和人工智能做出的所有決定。這允許分析在任務規劃和COA開發過程中發生的決策行為，以及識別決策模式和戰略，以開發競爭性和現實的兵棋推演場景。一個戰斗空間可視化平臺可以托管在PSF上，并使用消息傳遞協議來更新所有連接的設備接口。來自模擬引擎的狀態信息可用于生成戰斗空間和參與作戰單位的圖形表示。

使用PSF方法并利用HPC資源，可以實施人工智能輔助決策機制，利用大數據攝取和分析，同時可供地理分布的用戶用于協作決策工作和 "永遠在線 "的個性化培訓和紅色團隊。連接到PSF托管服務器的各種混合現實顯示模式可以支持一系列作戰場景，從戰略層面的指揮和控制到作戰邊緣的更多移動戰術使用。

2.3 決策空間的真實呈現

用圖形表示各級行動的軍事決策戰略需要新的可視化方法，這些方法可以應用于以規則變化、認知狀態、不確定性以及個人偏見和啟發式方法為特征的動態環境（Dennison等人，2020；Hung等人，2020；Raglin等人，2020）。戰斗空間的視覺表現應該在技術上盡可能準確和逼真，但又保持在人類可以理解和解釋的認知水平（Kase等人，2020；Larkin等人，2020；Hung等人，2021）。融合了混合現實技術的先進可視化方法有可能更好地表現多領域戰爭的變化特征及其不斷變化的威脅和動態環境。隨著最近混合現實可視化設備的技術進步，成本降低，硬件的可靠性和實用性顯著提高，混合二維和三維可視化方法現在已經成為可能。

由多個二維顯示器組成的混合現實方法增強了更先進的三維可視化能力，可以為指揮人員提供理解復雜的兵棋推演狀態空間所需的洞察力（Su等人，2021）。當需要一個共享的戰斗空間表示時，可以通過在不同的可視化模式上實現多個協調的視圖來實現協作的戰略規劃模式，以根據分布式指揮人員的輸入進行互動更新。

BVI（Garneau等人，2018）平臺表示地理空間地形信息和地圖圖像，允許指揮人員建立和修改戰術任務規劃和COA。作為一個數據服務器，BVI將地形和作戰數據分發給支持多種可視化模式的客戶端應用程序，包括頭戴式顯示器設備、基于網絡的界面、移動安卓平板設備和混合現實設備（例如，HoloLens 2、Oculus Quest）。

例如，圖3（頂部）顯示了位于加利福尼亞州圣貝納迪諾縣歐文堡國家訓練中心的高分辨率地形上的友軍與敵軍的兵棋推演場景（Wikipedia, 2021）。與MDMP期間經常使用的傳統2D地圖顯示相比，戰斗空間的3D視圖可以從多個觀察角度提供更豐富的用戶體驗。三維視圖，在BVI的網絡戰術計劃器（WTP）中，將地形和人工特征的空間信息以及由MIL-STD 2525C符號描繪的單位位置可視化（美國防部，2014）。可以想象，地理空間視角，如BVI提供的視角，支持決策者對動態戰斗空間環境的理解。與可導航的人工智能增強的決策空間（圖3，底部）搭配，組合的視角可以使人們更好地理解視覺空間依賴性、影響和因果關系、估計的風險和價值、不確定性以及復雜決策的欺騙性。將這種以地理空間和決策為中心的視角與人工智能相結合，可以提供必要的廣度，以協調物理行動與網絡和其他非空間領域的行動，跨越多個時間尺度，并具有快速適應變化的任務目標的靈活性。

3 人-人工智能團隊決策的交互技術展望

人工智能和人-人工智能團隊的快速發展需要WMI同步發展。隨著新型人工智能對有價值的COA產生更好的預測，并能更好地處理復雜的決策，它們也必須利用人類的專業知識，學習如何處理具有高度不確定性、欺騙、隱性知識和博弈論的決策。相反，人工智能的推理必須既抽象又能與兵棋推演環境相聯系，以實現透明和信任，同時又不造成過度的認知負擔。基于三維混合現實的WMI可以利用和增強人類固有的三維認知和預測能力（Welchman等人，2005；Kamitani和Tong，2006；Kim等人，2014；Boyce等人，2019；Krokos等人，2019），如果設計得當，其交互將感覺自然，同時擴大顯示多個領域的信息的能力，同時使AI能夠適時地從用戶的決策中學習。

我們強調了三個關鍵的發展領域，即人工智能引導的決策指導，支持這種指導的計算基礎設施，以及決策透明度的混合現實表現的發展。這些領域的進步需要跨越許多不同學科的專業知識。新的人工智能發展需要融合神經科學、心理學和數學的思想，以克服復雜決策中長期存在的問題的瓶頸。這包括跨時間尺度的學習和變化環境下的災難性遺忘，以及更具體的兵棋推演問題，如具有不確定性、欺騙和博弈論的多Agent決策。計算基礎設施也需要發展，因為計算能力和數據框架對于在戰術邊緣產生人-人工智能團隊的共同操作圖來說都是必不可少的。為了有效地開發，應該通過一個共同的框架來抽象出專有的限制和軟件的依賴性，并為使用和故障排除提供清晰的文檔，以使學術界、政府和工業界更好地專注于解決人與人工智能的合作問題。這個通用框架應該包括有效的信息傳遞，同時提供靈活性和適應性，以滿足人工智能開發和人類用戶在訓練和實際使用環境中的需求。最后，交互技術的開發本身需要跨學科的協同專業技術。一個基礎性的問題是如何壓縮信息使之被用戶有效地理解，以及如何最好地利用用戶的互動來進行機會主義學習。人類的大腦并不處理所有的感官信息，而是對世界進行預測和假設，以便在信息不完整的環境下節約計算。一個有效的WMI應該同時預測潛在的決策結果以及個人用戶的期望和假設。此外，人工智能決策輔助工具必須估計用戶的默契，使其能夠提供最相關的信息和最有希望的選擇，這些信息來自整個作戰領域。

結論

信息作戰和指揮與控制（C2）是美國陸軍可以向盟友和伙伴提供的兩種能力。在未來的作戰環境中，不僅要為動能作戰做準備，而且要為混合作戰和以信息為重點的戰爭做準備。這需要在復雜和默契推理的人工智能能力方面取得進展，在能夠提供持續訓練、分布式混合決策和大數據分析系統方面取得進展，以及在人與人工智能協作決策和機會主義學習方面取得進展，以實現人工智能的持續進步和人與人工智能的共同適應。這些進展中的每一項都需要跨學科的計劃性努力，以克服復雜的技術挑戰，創造新的決策原則、理論和理論方法，包括持續開發綜合測試平臺和技術，以實現政府、學術界和工業界的合作和協同發展。

摘要

北約和各國迫切需要進行團結和聯合集體訓練，以確保任務準備就緒:目前和未來的行動是多國性質的，任務和系統慢慢變得更加復雜，需要詳細準備和迅速適應不斷變化的情況。由于可用資源少、訓練范圍有限、避免對手關注第五代戰術和系統能力的挑戰以及政治決策和部署之間準備時間有限，多國背景下的現場訓練和任務準備的機會減少了。模擬已經成為解決我們軍隊訓練需求的重要工具，各國正朝著通過分布式模擬(MTDS)能力采用國家任務訓練的方向發展。聯合部隊正在尋找實況和模擬訓練與演習之間的新平衡，以提供兩全其美的效果。

北約建模和仿真組(NMSG)的若干倡議為北約MTDS愿景和行動概念的發展貢獻了寶貴的投入(MSG-106 NETN, MSG-128 MTDS, MSG-169 LVC-T)。基于這些結果，當前/最近的NMSG活動(MSG-163北約標準演變、MSG-165 MTDS- ii、MSG-180 LVC-T)致力于為聯合和聯合作戰開發一個通用MTDS參考體系結構(MTDS RA)。最近完成的MTDS RA版本以構建模塊、互操作性標準和模式的形式定義了指導方針，用于實現和執行分布式模擬支持的綜合集體訓練和演習，獨立于應用領域(陸地、空中、海上)。此外，MSG-164 (M&S作為服務II)開發了一種技術參考體系結構(MSaaS TRA)，其中包含用于實現所謂MSaaS能力的構建塊。這些構建模塊可以與MTDS RA相結合，以包括作為服務執行綜合集體訓練和演習的指導方針。

MTDS RA的當前版本提供了一個基線，以詳細說明和確定應進行進一步需求/技術開發的領域。未來更新的主題包括網絡作戰和影響、危機管理、實時系統集成、多域或混合作戰等。

聯合MTDS對北約和國家戰備至關重要。本文提供了MTDS RA的背景、目標和原則，以及實現持久的北約范圍內綜合性集體訓練能力的前進方向。聯合MTDS RA的維護和繼續發展將是幾個北約國家、伙伴國家和組織在NMSG主持下的合作努力。