摘要

荷蘭的Smart Bandits項目旨在開發顯示真實戰術行為的計算機生成部隊（CGF），以提高戰斗機飛行員模擬訓練的價值。盡管重點在于展示空對空任務中的對抗行為，但其結果更廣泛地適用于模擬領域。

傳統上，CGF的行為是由腳本控制的，這些腳本規定了在一組特定事件中的預定行動。腳本的使用有一定的缺陷，例如，在考慮完整的任務場景時，腳本的復雜性很高，而且腳本的CGF往往表現出僵硬和不現實的行為。為了克服這些缺點，需要更復雜的人類行為模型，并結合最先進的人工智能（AI）技術。Smart Bandits項目探討了應用這些人工智能技術的可能性。

本文解釋了在理論行為模型和用于戰斗機訓練的CGF中的實際實施之間架起橋梁的主要架構。測試CGF的訓練環境包括四個聯網的F-16戰斗機模擬器。這種設置能夠為飛行員提供實驗性訓練，以對抗敵人的戰斗機編隊（以智能CGF的形式）。該架構是通用的，因為它可以滿足各種人類行為模型，在概念上，它們在使用人工智能技術、認知的內部表示和學習能力方面彼此不同。基于認知理論的行為模型（例如，基于情境意識、心智理論、直覺和驚訝的理論）和基于機器學習技術的行為模型實際上都嵌入到這個架構中。

1.0 引言

戰斗機飛行員在模擬器中的戰術訓練已經被廣泛使用。戰術訓練的一個基本特征是除了受訓者之外，還有其他參與者的存在。這些參與者可以是隊友，如編隊中的其他戰斗機，支持力量，如前方空中管制員，中立力量，如平民，或敵方力量，如對手的戰斗機。在模擬中，這些參與者的角色可以由人類、半自動化部隊（SAFs）或CGFs來完成。半自動部隊有一些執行角色相關任務的功能，例如，多個虛擬實體可以由一個人控制。然而，使用人類專家參與戰術模擬可能既不符合成本效益，也不具有操作性。首先，這些人類參與者是昂貴的資產。其次，由于模擬的目的不是為他們提供訓練，他們可以在其他地方使用。因此，由CGF來扮演這些角色更為有效，只要這些CGF有能力以適當的方式扮演這些角色。

然而，目前最先進的CGFs在許多情況下并不能滿足戰術訓練的需要，因為它們的行為很簡單。除了前面提到的SAFs，可以區分四類CGF-行為（Roessingh, Merk & Montijn, 2011）。

1）非反應性行為，在這種情況下，CGF根據預先確定的行動序列行事，對環境的觀察或反應能力最小；例如，這種CGF能夠遵循由航點定義的路線。

2）刺激-反應（S-R）行為，在這種行為中，CGF對來自環境的某一組刺激或輸入的反應，總是表現出一致的行為；例如，這樣的CGF能夠在能夠連續觀察到飛機位置時攔截飛機。

3）延遲反應（DR）行為，在這種情況下，CGF不僅考慮到當前環境中的一組刺激，而且還考慮到以前的刺激，這些刺激存儲在CGF的存儲器中。這樣的CGF通過記憶以前的位置，能夠攔截一架飛機，即使這架飛機不能被連續觀察到。

4）基于動機的行為，這種CGF結合了S-R和DR行為，但另外考慮到其動機狀態。這些動機狀態是內部過程的結果，可以代表目標、假設、期望、生物和情感狀態。例如，這樣一個CGF可以假設，一架目標飛機的燃料不足，它將返回基地。因此，CGF可能決定放棄攔截。或者，CGF可能預計到飛機的路線改變，并決定在一個更有利的位置攔截飛機。

到目前為止，CGF的一個特點沒有被納入討論，那就是學習行為或適應行為（在Russell和Norvig, 2003的意義上）。表現出S-R、DR或基于動機的行為的CGF，可以在機器學習（ML）的基礎上擴展適應這種行為的能力。ML技術使CGF的發展能夠更好地適應受訓者的專業知識。此外，ML技術還可以防止為每個要解決的具體問題或情況制定一套艱苦的規則（例如 "如果-那么規則"），這些規則是基于對業務知識的人工啟發，而這些知識在很大程度上是隱性的，不能簡單地用邏輯規則來解釋。

本文的目標是說明在 "智能強盜 "項目（2010-2013年）中開發智能CGFs。該項目旨在將類似人類的智能植入模擬任務場景中出現的CGF中。通過Smart Bandits項目，荷蘭國家航空航天實驗室（NLR）和荷蘭皇家空軍（RNLAF）的目標是在模擬戰術戰斗機飛行員訓練領域邁出重要一步。本文的核心信息是，認知模型是在CGF中創造基于動機的行為的有力手段。然而，為了減輕認知建模的缺點，我們主張額外使用ML技術。這些技術對于減少開發在復雜領域中行動的代理的知識誘導工作至關重要。它展示了如何將不同的方法組合成混合模型。

2.0 基于動機的行為建模

2.1 智能強盜模型

產生智能行為的一種方法是認知建模。在這種方法中，計算模型被設計來模擬人類的認知。在Smart Bandits項目中，到目前為止已經設計了三個認知模型：一個自然的決策模型，一個驚喜生成模型和一個情況意識模型。所有這三個模型都是利用空戰領域的抽象場景進行評估的。

2.1.1 自然主義決策

由于決策是產生任何智能行為的關鍵部分，在項目的早期就開發了一個自然決策模型。該模型的靈感來自于達馬西奧的體細胞標記假說。軀體標記假說提供了一種決策理論，該理論將體驗到的情感作為決策的直覺部分發揮了核心作用，同時將這種直覺部分與理性推理相結合，形成一個兩階段的決策過程。Hoogendoorn, Merk & Treur (2009)對這個模型進行了描述。

2.1.2 驚奇的產生

驚訝被認為是人類對意外情況的普遍體驗的認知反應，對行為有可識別的影響。然而，在CGF的研究中，很少有人關注驚訝現象，很少有CGF有類似人類的機制來產生驚訝強度和驚訝行為。這就導致了CGF在人類會做出驚訝反應的情況下，其行為是貧乏的和不現實的。對于空戰來說，這形成了一個問題，因為許多軍事專家認為驚訝因素是軍事行動的一個重要因素。

出于這個原因，我們開發了一個產生驚訝強度及其對行為影響的模型（Merk, 2010）。該模型是基于各種理論和對人類驚訝行為的認知研究的經驗結果。除了情境的意外性，其他的認知因素，如情境的新穎性也被考慮在內。

2.1.3 情境意識

有效決策的一個重要因素是情景意識（Situation Awareness，SA）。SA在工作領域尤其重要，在那里信息流可能相當大，錯誤的決定可能導致嚴重的后果。為此，我們根據Endsley（1995）的SA的三個層次設計了一個模型：（1）對線索的感知，（2）對信息的理解和整合，（3）對未來事件的信息投射。

在Smart Bandits中用于智能CGF的基本SA模型（見Hoogendoorn, van Lambalgen & Treur, 2011）包括五個部分。(1）觀察，（2/3）對當前情況的信念形成，（4）對未來情況的信念形成和（5）心理模型。對當前情況和未來情況的信念通過閾值函數被激活（接收一個激活值），這是一種從神經學領域采用的技術。圖1中的SA模型代表了用于形成信念的領域的知識。人類使用專門的心理模型，這些模型代表了各種觀察和關于環境的信念形成之間的關系，反過來，這些模型又指導了要進行的進一步觀察。

圖1：情況意識的認知模型：概述

另一個重要的方面是在苛刻的環境下可能出現的SA的退化。當時間有限時，感知和線索的整合會受到影響，導致對環境的不完整了解。此外，由于工作記憶的限制，人類并不總是能夠進行所有必要的觀察。根據可用時間的多少，可以通過考慮不太活躍的信念來進一步完善對情況的了解。這些特點反映在智能CGF的行為中。上述模型的詳細描述可以在Hoogendoorn, Lambalgen and Treur (2011)中找到。

3.0 機器學習

3.1 強化學習

機器學習技術的一個常見區別是監督學習和無監督學習（例如Russel和Norvig，2003）。在監督學習中，在每次試驗后，代理人會得到與他應該采取行動的輸入演示（也稱為輸入實例）相匹配的反應。實際反應和預期反應之間的差異被用來訓練代理，就像培訓師或監督員讓學生意識到預期反應一樣。例如，代理人可以通過向其展示正確的反應來學習飛行動作。在無監督學習中，代理只是被告知輸入的例子。代理人必須在所提供的例子中找到隱藏的結構。由于給代理的例子沒有伴隨著反應，所以沒有差異信號來訓練代理。例如，代理可以學習區分友軍和敵軍的戰術。

強化學習具有上述兩種學習技術的要素。代理人在每次試驗后不是被告知正確的反應，而是在每次試驗的執行過程中收到來自環境的反饋。雖然反饋不一定代表每個單獨行動的正確反應，但該學習技術的目的是為整個試驗提供匯總反饋，從而平均強化正確反應。然而，這并不能保證收斂到正確的反應。強化學習的技術實現在Sutton & Barto (1998)中有所解釋。

強化學習特別適合代理在模擬環境中的應用，因為在這種環境中，代理能夠探索環境，從而可以評估大量成功和不成功的反應。另外，在復雜的環境中，所需的反應，如最佳的對手交戰戰術，往往是未知的。強化學習提供了一種技術，通過每次試驗來改進反應，從而發現更好的戰術。

強化學習的一個普遍問題是，它需要大量的內存來存儲中間計算值（反應與代理在其環境中的狀態相結合，如其位置、速度和方向）。在現實的戰術環境中，這實際上轉化為無限量的反應-狀態組合（"狀態-行動空間"）。在Smart Bandits項目中，模擬了兩架友軍飛機和兩架敵軍飛機之間的空對空交戰，后兩者由學習型代理人代表。在這些交戰中，學習型代理只能以四種方式做出反應（左、右、前和射擊）。在這個例子中，我們將狀態-動作空間存儲在一個表格中，在可接受的學習試驗數量之后，它需要2千兆字節的內存。這種內存需求隨著額外參數的增加而呈指數級增長。驚人的內存需求可以通過對狀態-動作-空間的近似來減少，而不是保留所有的精確值。近似一個大的狀態動作空間的方法是使用神經網絡（NN），這將在下一節解釋。

3.2 強化學習與神經網絡

在一般意義上，NN（Haykin，1998）可以被認為是一個可以模擬任何數學函數的網絡。在這種情況下，我們使用NN來近似上述的狀態-動作空間。NN的輸入是代理人在其環境中的當前狀態。NN的輸出是代理的每個可能行動的值。NN的輸出是在RL算法產生的數據基礎上進行優化的。RL算法的數據不需要再被存儲。事實上，NN是用RL算法產生的數據來訓練的。以前我們需要2千兆字節的內存來解決一個相對簡單的空對空問題，現在我們只需要大約10千兆字節的數據來存儲這個問題的NN知識。這種知識是由NN的權重值表示的。而且，內存需求不再隨著問題的復雜性呈指數增長，而只是呈線性增長。為此，可以使用相對簡單的前饋型NN，而不是遞歸型NN。然而，我們發現有兩個原因要為需要在復雜戰術場景中行動的代理類型開發替代的ML技術。

1）與一些領域不同，如解決象棋等游戲中的問題，其中最佳的下一步行動完全由世界的當前狀態決定，而解決戰術問題的特點是需要使用以前的世界狀態。例如，一個空對空的對手可能會消失一段時間，并可能在不同的位置突然出現，代理人必須考慮到這一點。換句話說，戰術問題的特點是對環境的不完善或不完全了解1。眾所周知，RL技術對這些類型的問題并不太健壯，當面對更復雜的問題時，我們確實經歷了與我們的代理人的正確反應相背離的情況。

2）一些現實的戰術問題需要在當前的決策中考慮到對以前狀態的記憶。正因為如此，基于RL的代理不能很好地適用于現實的戰術問題。對于需要延遲反應行為或基于動機的行為的應用（見第1章），RL可能不是首選技術。

對于空對空領域的更高級問題，下一節將研究進化技術作為RL的替代品。

3.3 進化技術和神經網絡

人工自主系統被期望在動態、復雜的環境中生存和運行。在這樣的環境中，代理人的具體能力是很難事先預測的，更不用說詳細說明了。自主系統的人工進化使代理人能夠在復雜的動態環境中優化他們的行為，而不需要使用領域專家的詳細先驗知識。RL技術假定問題的解決方案具有馬爾科夫特性（見前面的腳注），而進化技術（B?ck, Fogel, Michalewicz, 1997）不受這種約束，適用于更大的問題集。

進化技術使用一個迭代過程，在一個解決方案的群體中搜索適配性景觀，在這種情況下，就是戰術問題的解決方案。種群中更成功的實例在有指導的2次隨機搜索中被選擇，使用平行處理來實現期望的解決方案。這種過程通常受到生物進化機制的啟發，如突變和交叉。許多進化技術的實驗使用神經網絡來控制代理。神經網絡提供了一個平滑的搜索空間，對噪聲具有魯棒性，提供了概括性并允許擴展（見Nolfi和Floreano, 2000）。此外，網絡結構可以被進化或優化以允許延遲響應行為。這些特性與優化網絡的進化方法相結合，為復雜、動態領域提供了一個有趣的研究領域。作為一個例子，我們可以使用智能強盜的進化技術更新SA模型（見第2.3節）的連接強度的權重。

由于像SA模型這樣的認知模型通常有一大套相互關聯的參數，使用主題專家來確定它們的（初始）值是很麻煩的，而且是投機性的和勞動密集的。這就需要使用進化學習技術來為上述觀察、簡單信念、復雜信念和未來信念之間的聯系確定適當的權重。圖2給出了第2.3節中提到的SA模型的網絡表示的一個簡化例子（取自Hoogendoorn, van Lambalgen & Treur, 2011）。

圖2：情況意識的例子模型（Hoogendoorn, van Lambalgen & Treur, 2011）。

為了學習圖2中網絡的連接權重，我們采用了兩種不同的方法（Gini, Hoogendoorn & van Lambalgen, 2011），即遺傳算法應用和基于權重重要性的專門方法。后一種方法被稱為 "基于敏感度 "的方法。這兩種方法都利用了一個健身函數，表示一個解決方案與期望狀態的符合程度。在這種情況下，可以通過實際激活水平和主題專家估計的激活水平之間的差異來衡量適合度。遺傳算法的表現明顯優于基于敏感性的方法。

3.5 多代理系統中ML的復雜方面

多Agent系統（MASs）屬于兩類中的一類：集中式或分散式控制的系統。集中式控制系統由具有一定程度自主權的代理組成，但整個系統由一個統一的戰略、方法或代理控制，以實現特定的目標。然而，盡管有整體的統一策略，單個代理并不知道其他代理在做什么，所以團隊策略通常在任務中的不同點與單個代理的策略相沖突。這個問題3已經成為在復雜環境中實施MAS的典型障礙。分散式系統與集中式系統不同，它的代理具有更高的自主性，但缺乏指導所有代理的預先存在的戰略。它們通常有某種形式的通信系統，允許代理在探索其環境的同時制定所需的整體戰略。開發能夠進行空對空戰術的智能CGF的挑戰，直接屬于MAS環境的集中式類別。因此，各個代理必須在同一環境中一起訓練。然而，這使狀態空間以環境中存在的代理數量的倍數膨脹。這是每個代理保持自己對環境的獨特看法的結果，這種看法被記錄在自己的狀態空間中。然而，追求多代理的方法是有道理的，特別是在與領域有關的問題上，不同的飛行成員可能有不同的，可能有沖突的目標和不完整的情況意識。

4.0 架構

4.1 仿真環境

Smart Bandits項目中用于CGF的仿真環境是STAGE ?，這是一個場景生成和CGF軟件套件。作為一個基本的場景工具，STAGE為我們提供了一定的保真度和抽象度，很適合目前考慮的戰術空對空作戰模擬。當需要更高的平臺、傳感器或武器模型的保真度時，STAGE提供的基本功能將得到擴展。這種擴展CGF環境基本功能的能力是STAGE被選為Smart Bandits的主要CGF軟件套件的原因之一。

4.1.1 中間件（調解器）

傳統上，代理人的刺激-反應（S-R）行為（見第1章）可以通過使用腳本和/或基本條件語句在CGF軟件中實現。結合這些簡單的構件，通常可以為CGF行為提供一定程度的可信度，這對于許多模擬培訓練習來說可能是足夠的。然而，對于更高級的問題和相關的代理行為，包括學習行為，如第2和第3節所述，這種方法將是不夠的。正如前幾節所論述的那樣，存在著大量的技術用于發展CGF行為和在模擬環境中控制CGF。一個標準的CGF平臺并不能滿足實現這些不同的技術。

為了將STAGE作為Smart Bandits中的CGF平臺，同時將CGF的控制權委托給外部軟件（即使用選擇的編程語言構建的特定軟件），我們開發了一個接口，外部軟件可以通過該接口接收來自STAGE中任何CGF的觀察結果，并可以命令CGF在仿真環境中執行操作。這個中間件層（圖3中所謂的調解器）通過特定的協議（nCom，Presagis專有）與STAGE進行實時通信，可以向不同的代理（可能分布在不同的計算機上）發送和接收上述的觀察和行動。為了與調解器通信，外部軟件使用一個特定的接口，該接口定義在一個庫中，可以很容易地鏈接到軟件中，例如用Java或C++。

圖 3：將智能代理納入商用現成 CGF 包（STAGE?）的架構，智能代理可以使用 C++ 或 Java 接口，通過調解器與 STAGE 通信。

5.0 結論與討論

本文介紹了一種認知建模的技術和各種機器學習技術。不幸的是，似乎沒有一種單一的技術來解決從事空對空任務的智能CGF的所有突發戰術問題。

認知模型是在CGF中創造基于動機的行為的有力手段。然而，為了減輕認知模型的缺點，我們主張額外使用機器學習技術。機器學習技術對于減少在復雜領域中行動的CGFs的開發的知識誘導工作至關重要。本文建議將不同的方法組合成混合模型。

這里提出的主要架構的目標有三個方面：

• 將智能CGF模型與戰術戰斗機模擬脫鉤。

• 促進人類行為模型與上述模擬的連接過程。

• 使得智能CGF模型能夠在不同的客戶端進行分配。

這三個特點共同促成了對混合方法的追求。

在Smart Bandits項目中，智能CGF的行為和設計必須適應手頭的戰術訓練目標。在本文中，我們沒有明確地處理訓練要求。然而，在本文中，我們隱含著這樣的假設：作戰戰斗機飛行員的戰術訓練所需的CGF行為包括以下方面：使人類對手吃驚的能力，看似隨機的行為，即不重復的反應，以及從武器平臺的角度來看是真實的。到目前為止，已經創建的智能CGF將在未來的項目階段（2012/2013）根據訓練要求進行驗證。因此，在 "智能土匪 "項目中，未來工作的兩個主要項目是：

• 實施混合模型，其中認知建模和ML相結合，以及

• 根據具體的學習目標或能力來調整智能機器人的行為。

信任是團隊有效性的基礎，它影響著各種團隊過程，包括信息共享、決策和團隊的整體成功。在那些在惡劣的、不確定的、高壓力的環境中工作的高績效團隊中，如軍事、急救、醫療、搜救和救災，在關鍵時刻不適當的信任水平（無論是過高還是過低）會導致隊友之間的次優互動，從而導致不安全的行為（De Jong和Elfring 2010；Costa等人2018）。例如，太過信任，或 "過度信任"，會使操作人員陷入自滿狀態，導致代價高昂的錯誤，并有可能失去人命和昂貴的設備；相反，信任太少，或 "信任不足"，會使團隊成員感到需要不斷監督對方，造成不平衡和不適當的工作負荷（de Visser等人，2020）。信任是通過作為一個聯系緊密的團體訓練，以及隨著時間推移的共同經驗而建立的（Fulmer和Gelfand 2012；Costa和Anderson 2017）。

隨著自主技術的不斷發展，未來的團隊結構很可能包括自主成員，他們的功能不僅是提供支持的工具，而且是成熟的隊友（Phillips等人，2011）。雖然人類表現文獻中有豐富的方法來評估個體（或對）的信任，但在理解如何衡量大型團隊的信任方面還存在差距（Feitosa等人，2020），以及哪些措施可能最適合由多個人類和多個自主系統組成的團隊的復雜性。使信任度量更加復雜的是，團隊信任是一種動態狀態，在團隊的生命周期中不斷波動，并進一步受到社會、任務和環境背景的影響（Schaefer等人，2018a；Schaefer等人，2019a）。然而，信任在這些更大的、異質的團隊中發展和傳播的過程仍然不清楚。因此，為了使這些技術能夠充分支持團隊運作，關鍵是要了解在人類自主團隊的背景下，信任是如何發展、維持和衡量的。因為信任是復雜的，所以需要一種多模式的測量方法。因此，在本報告中，我們描述了一個概念性的工具包，它的開發是為了更準確、更有力地理解人類自主性團隊中的信任。

鑒于我們的未來社會將看到由多個人類和多個自主系統組成的異質團隊的興起，量化團隊不同成員之間的信任關系，以及了解信任對全球團隊動態的一系列影響非常重要。從這個方法來看，人與人之間的信任與人機合作關系，甚至機器與機器合作關系內部的信任是不一樣的。這些不同類型的互動有不同的優先因素和特點，以及這些互動如何影響整個團隊的信任傳播。考慮到所有這些因素，關鍵是要首先了解現有信任措施的能力和局限性，以便對其進行調整以滿足這些需求，或者在必要時，開發新的措施來支持團隊信任評估。為此，本報告探討了信任評估技術的現狀，包括那些新穎的、超出主觀評估范圍的技術。

第2節我們首先定義了人類自主性團隊，并概述了人類自主性團隊特有的團隊信任。

第3節確定并描述了不同類型的信任，這些信任在其發展過程中是不同的，特別是它們如何影響人類自主性團隊合作。

第4節分解了文獻中已被充分記錄的不同的信任度量方法，其中包括團隊信任的主觀、溝通、行為和生理指標，以及這些如何為在動態環境中運作的人類自主性團隊的有效信任校準提供多模式度量方法。在下文中，我們利用一個說明性的案例研究，詳細介紹了度量團隊信任的多步驟方法，并對模式和后續指標的選擇提出了建議，還指出了團隊信任度量中涉及的一些限制和注意事項。

雖然有許多信息/知識來源可以確定作戰能力的差距并提供建議，以消除差距或向艦隊提供新的/改進的能力，但沒有一個全面的系統和負責任的實體能捕獲所有這些信息，正在取得或沒有取得進展，以提供一個清晰和簡潔的圖景，消除確定的差距或提供能力。為了解決這個問題，我們開發了一種基于多標準決策分析（MCDA）方法的方法，以計算和可視化任何特定時間點的能力差距得分，以描述基于證實的實時信息的能力差距解決進展。在這項工作中，我們通過在框架中增加新的元素和子元素來擴展用于評估能力的框架，并通過納入不同的模型來計算能力差距分數來擴展MCDA方法。這些模型包括加權總和模型（WSM）、加權產品模型（WPM）、加權總和產品評估（WASPA）、與理想方案相似度排序偏好技術（TOPSIS）和層次分析過程（AHP）。目標是開發一種全面的方法，以1）支持基于硬數據的能力優先排序，2）提供一個清晰和簡明的進展情況，以消除確定的差距或提供一種能力，以及3）支持創建一個中央存儲庫，供各組織分發相關信息。

研究背景

海軍水面作戰發展中心（SMWDC）指揮官的任務是為水面類型指揮官所管轄的任務領域提供監督、調整、同步和端到端的戰爭改進規劃（WIP）評估。WIP過程是一個正式的框架，用于捕獲、審查和優先考慮艦隊的能力需求，以提高戰備狀態并優化海軍部隊在執行作戰司令官（CCDR）任務中的資源（美國太平洋艦隊司令，2013）。對于每個任務領域，SMWDC總部負責確保WIP艦隊協作小組（FCT）的組成，以參與為年度產出產品的發展提供信息的活動。每個WIP在第一季度和第二季度進行執行工作組（EWG），并在當前財政年度的計劃目標備忘錄（POM）周期的第三季度初進行研討會。在整個WIP周期中，利用SMWDC總部N8/9認可的排名工具來幫助客觀地確定能力差距的優先次序。年度能力領域評估（CAA）是一項協作努力，由EWG主席領導，并得到FCT工作組領導和戰爭發展中心的支持。在第一和第二工作組期間收到的英特爾簡報和FCT更新有助于為CAA的創建提供信息，并最終提供 "家庭作業 "或支持文件，以確定能力差距的優先次序。每個能力領域所有者（CAO）向SMWDC N00通報他們的CAA和IPCL。通過在WIP研討會上提出的努力，CAA報告成為當前WIP周期IPCL發展的基礎（海軍水面和地雷作戰發展中心指揮官，2018）。

研究目標

在以前的研究工作中，我們開發了一種基于多標準決策分析（MCDA）的方法，以計算和可視化任何特定時間點的能力差距得分，以描述基于證實的實時信息的能力差距解決進展。在這項工作中，我們通過擴大用于評估不同能力的框架和納入計算能力差距分數的不同模型來擴展MCDA方法。這些模型包括加權產品模型（WPM）、加權總和產品評估（WASPA）、與理想方案相似度排序偏好技術（TOPSIS），以及。這種方法的應用將為決策者提供客觀的信息，以1）支持基于硬數據的能力優先排序，2）提供一個清晰和簡明的進展情況，以消除確定的差距和/或提供能力，以及3）支持創建一個中央存儲庫，供各組織分發相關信息。

多標準決策分析在差距分析中的應用

在以前的工作中，我們建議使用多標準決策分析（MCDA）來計算在特定時間點上的特定優先級的能力差距得分。多標準決策分析既是一種方法，也是一套技術，其目的是提供備選方案的總體排序，從最優先到最不優先。替代方案可能在滿足若干標準的程度上有所不同，而且沒有一個替代方案能最好地滿足所有標準。此外，這些標準之間通常會有一些沖突或權衡。MCDA是一種看待受許多決策標準影響的復雜問題的方法，它將問題分解成更容易管理的部分，以便將數據和判斷帶到這些部分，然后將這些部分重新組合，向決策者展示一個連貫的整體情況。這種方法是對思考和決策的一種幫助，但不是對決策的一種幫助（Department for Communities and Local Government, 2009）。

在能力差距分析的情況下，標準代表影響差距的因素（如理論、組織、物資、資金等），而備選方案是優先能力清單所規定的優先事項。每個因素都有特定的權重，以反映其相對重要性，并由主題專家單獨或集體分配。每個優先事項都會根據每個因素進行定期評估（例如，每季度一次），并根據適當的尺度進行打分。然后使用適當的MCDA模型計算每個優先事項的總分，并將其可視化，以產生一個能力差距分數。

為了實施擬議的方法，需要完成以下任務：

1.使用一個合適的能力管理框架，確定能力差距的因素和子因素的綜合清單。這些因素是對能力進行評估的性能衡量標準。這些因素可能包括：理論、組織、訓練、物資、資金、政策等。這些因素可以按照高層次因素和低層次子因素的層次結構進行分組，以此類推。

2.使用一個適當的尺度對每個因素的能力進行評級。例如，對資金因素可以使用1到5的量表，其中1表示相當大的資金削減，5表示在某一特定時間點對優先事項有充分的資金供應。對于其他因素，如理論、組織、訓練、物資等，也可以制定類似的評分標準。

3.為已確定的因素分配權重以反映其重要性。這可以基于從個人評估到在主題專家小組之間達成共識的模型等各種方法。

4.通過使用合適的MCDA模型將每個備選方案的權重和評級結合起來，計算出總體的優先級差距分數。這些模型包括加權總和模型（WSM）、加權產品模型（WPM）、加權總和產品評估（WASPA）、通過與理想方案相似度排序偏好技術（TOPSIS）和分析層次過程（AHP）（Parlos，2000）。

5.進行敏感性分析，揭示不同的權重或偏好如何影響能力差距得分。敏感性分析提供了一種手段，以檢查權重和偏好的模糊性或評價者之間的分歧對最終總體結果的影響程度。

6.將不同時期的能力差距得分可視化，以提供一個清晰和簡明的畫面，說明在消除已確定因素的差距方面正在取得或尚未取得的進展。

摘要

記錄一個系統或集成系統內所有信息變化的出處，這提供了關于正在做出的決定和促使這些決定的重要信息。從取證的角度來看，這可以用來重新創建決策環境。然而，出處也可以為其他兩個重要功能服務。收集的數據可以支持組件的整合，而生成的圖形數據結構可以通過解釋、總結和告警來支持操作員進行態勢感知。混合戰爭將必然匯集不同決策支持能力，因為決策者必須在多個戰爭領域運作。自主代理將可能在計劃和執行過程中發揮作用，有時能夠在沒有人類干預的情況下做出決定，但人類決策者必須意識到這一點。事實證明，證據圖可以轉化為修辭結構圖（RSG），使代理能夠用自然語言甚至多模態交流，向人類解釋他們的行動。證據還被證明可以加強對計劃執行監控，并可用于向人類或自主代理提供通知，當計劃中使用的信息發生變化時，可能需要重新考慮計劃。隨著我們朝著智能機器在復雜環境中支持人類決策者團隊的方向發展，跟蹤決策及其輸入的需要變得至關重要。

引言

出處是關于實體、活動、代理以及這些概念之間關系的信息[1]。這些信息不僅僅解釋了發生了什么，它還回答了關于實體如何被操縱、何時發生以及誰參與了這個過程的問題。我們很可能熟悉關于追蹤藝術作品出處的新聞和虛構的故事。任何實體的創造、破壞或修改的出處都可以被追蹤。在本文中，我們將重點討論軍事系統內的信息。在指揮與控制（C2）內，信息出處對于記錄行動背后的決策過程是必要的，特別是當自主和人工智能（AI）代理深入參與時。參與某一過程的 "誰 "可能是人類或人工智能代理。

信息出處有幾個目的。在取證方面，出處追蹤提供了參與決策的人和代理，以及數據是如何演化為該決策的。美國公共政策委員會指出，數據出處是算法透明度和問責制的一個明確原則[2]。完整記錄的出處可以闡明數據的依賴性、責任流，并幫助解釋為什么采取某些行動。隨著人工智能和自主代理繼續自動化進程，它們在做出關鍵決策時已變得更加不可或缺[3]。

圖1 PROV-DM模型。

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。

摘要

在當前復雜的多域作戰中，白圖是指揮官了解威脅及其對任務的影響的關鍵因素。建模和仿真(M&S)與數據科學(DS)可以支持 a)最新的白圖開發 b)SME的分析工作，估計任何指揮級別的軍事行動的相關風險。本文討論了北約實施的M&S和數據科學用例，以支持SACEUR的責任區(AOR)彈性風險表述。開源數據經過分析、結構化和操作，以自動方式和按需生成與彈性7基線要求(7BLR)相關的地理參考數據/信息，涵蓋政府的連續性、能源供應、人員流動、食品和水、大規模傷亡、通信系統和運輸系統在JFC的AOR。它作為預測 SACEUR運營風險的北約彈性模型的輸入。系統動力學范式被用來開發北約彈性模型，作為在戰略層面處理定性和定量輸入數據和抽象彈性語言的混合的理想方法。戰略沖擊會影響白圖狀態的當前和未來。實施機器學習技術來估計戰略沖擊參數。該原型已在最終用戶的實驗中使用，并且已確定驗證步驟。

2018年國防部人工智能戰略將人工智能定義為機器執行通常需要人類智能的任務的能力。戰略和相關計劃包括了全面戰略的一些特點，但不是全部。例如，國防部的9個與人工智能相關的戰略和計劃并不包括與采用人工智能技術相關的資源、投資和風險的完整描述(見圖)。在未來與人工智能相關的戰略中，發布包括綜合戰略的所有特征的指導，可以幫助國防部更好地定位，幫助管理者確保對人工智能的問責和負責任的使用。

國防部已經開始識別并報告其人工智能活動，但其人工智能基線庫存存在局限性，如排除分類活動。國防部官員表示，這些限制將在AI庫存識別過程的后續階段得到解決。然而，國防部還沒有開發一個高層次的計劃或路線圖來捕獲所有的需求和里程碑。該計劃將為國防部提供一個高層次的、端到端對所有必要特征的視圖，以實現該計劃的目標，為國會和國防部決策者提供一個完整、準確的人工智能活動清單。

國防部組織在人工智能活動上進行合作，但可以更充分地納入領先的合作實踐。國防部使用了各種正式和非正式的合作機制，GAO之前的工作已經確定，如跨機構小組。國防部已經部分納入了領先的協作實踐，例如識別領導能力。然而，國防部官員告訴我們，他們正在制定指導方針和協議，明確定義參與人工智能活動的國防部組件的角色和職責。通過最終確定和發布這樣的指南，國防部可以幫助確保所有參與者對整個部門的AI工作的責任和決策達成一致。

【報告標題】

Human Factors and ISR Concept Development and Evaluation 人為因素和情報、監視、偵察 (ISR) 概念開發和評估

【報告來源】

北約技術報告

【出版時間】

2022年2月

【研究問題】

情報、監視和偵察 (ISR) 行動是關于收集信息并向操作員提供信息，而操作員又需要就其戰區的各種行動方案做出具體決策。可以肯定的是，ISR 行動是技術密集型的。然而，與此同時，ISR 行動是一個非常以人為本的過程。盡管如此，ISR 概念開發和評估 (CD&E) 過程中幾乎沒有人為因素 (HF) 研究。通過研究新的ISR技術和概念對不同操作環境下操作員性能的影響，研究人員可以提供更科學的建議，為高層政策和決策者提供關于所有ISR環境下未來ISR技術和能力的信息：包括空中、海面、地下和空間。就這一點而言，HF 研究方法應成為任何 ISR CD&E 過程的組成部分，為 ISR 指揮鏈各級的政策和決策者提供信息和建議。

【研究目的】
 北大西洋公約組織 (NATO) 研究和技術組織 (RTO) 人為因素和醫學 (HFM) 小組任務組 (RTG) 276 (NATO RTG HFM-276) 題為“人為因素和 ISR 概念開發和評估”，旨在識別和理解對有效 ISR 操作至關重要的 HF 問題。更準確地說，這項開創性工作的目標是：

1 確定有效 ISR 行動的關鍵 HF 問題（例如，態勢感知、工作量、組織結構、協調和協調機制、可視化、信任、信息共享和管理、領導力以及做決定）;

2 使用行為理論模型來發展我們的研究方法并理解我們的發現；

3 就 ISR CD&E 操作中 HF 研究的使用和實施提出建議。

【結果、意義、影響】
 北約 HFM-276 任務組使用組織有效性模型開發了一組調查，以識別和了解對有效 ISR 行動至關重要的 HF 問題。該模型的核心是由任務、收集、處理、利用和傳播 (TCPED) 組成的 JISR 流程。源自該模型以及其他來源的數據收集計劃著眼于 ISR 行動中的一些 HF 問題的作用：基本 HF 知識、情況評估、工作量、組織結構、信任、信息共享、信息管理、領導力、文化、組織過程、組織靈活性、共享意識和責任、協調和協調機制、決策、能力、情報請求管理（IRM）、通信、元數據和應用系統。所有這些 HF 因素都會影響 ISR 操作概念并影響操作員的績效。此外，該報告總結了一些改進北約和非北約行動的 ISR CD&E 過程的實際影響，重點是開發應包含在 ISR CD&E 過程中的 HF 研究方法。這種 HF 方法將像技術和程序 ISR 概念開發的質量控制組件一樣工作。預計研究結果將有助于為 ISR 指揮鏈各級的政策和決策者提供信息和建議，以增強北約 ISR 規劃、任務執行和能力發展中的信息和決策優勢。它還有望幫助告知 ISR 與其他聯合流程的整合，例如在確定當前與 ISR 相關的 HF 差距以及與其他流程整合方面的聯合目標。