歷史表明，國土安全是一個學習的過程和演變的過程，在這個過程中，威脅被確定，戰略和政策被制定和實施。這些戰略和政策偶爾也會在現實世界中得到檢驗，并得到完善，以適應新的威脅形勢。現代國土安全機構的特點是法律和司法責任的重疊和相互聯系，使反應機構相互交織，需要整個政府的反應。

這篇論文提供了對海上行動威脅反應（MOTR）計劃的全面理解，以及它如何成功地將聯邦組織聯系起來，以適應和處理海上領域獨特環境中的威脅。這篇論文確定了MOTR計劃的幾個關鍵要素，為聯邦、州或地方政府的其他領域以及對機構間合作感興趣的國際伙伴提供了適應性。

為應對2001年9月11日的恐怖襲擊，美國聯邦政府進行了重組，制定了大量的新政策和程序。這種重組產生了重疊的利益和責任，需要跨學科、跨管轄權和跨權限來適當地管理威脅。為了適應，聯邦政府制定了一些戰略和框架來組織這些不同的部門和機構。這些框架的兩個例子是國家應對框架（NRF）和南方機構間聯合工作組（JIATF-South）。

雖然這兩個例子都是組織部門和機構，但它們采取了不同的方法。NRF提供了一個 "統一努力 "的模式，即響應者由事件指揮官或統一指揮部組織和指揮，以實現一個共同的目標。JIATF-South模式采用了自上而下的軍事 "統一指揮 "方法，即響應者專注于單一的任務，接受單一指揮的任務指示。

要讓多個機構相互合作，有很多挑戰。信任必須建立，信息必須共享，資源必須獲得，而且所有這些都需要資金。此外，許多機構可能會在有共同責任或管轄權的領域宣稱擁有優先權，導致反應方之間的模糊和敵意。在布什政府下重組的國家安全委員會（NSC）已經克服了許多這樣的挑戰，并在整個聯邦政府建立了國家政策。這一壯舉是通過授權和解決分歧的能力實現的，以追求理想的國家結果而不是個人利益。

對海洋領域的研究表明，它具有物理和法律上的復雜性，對國土安全專業人員構成挑戰。浩瀚的公海和錯綜復雜的國家眾多港口群為利用安全漏洞創造了理想的條件和充足的機會。海上領域的威脅應對措施伴隨著多個部門和機構的重疊責任，就像NRF、JIATF-South和NSC一樣。海事領域的不同之處在于，沒有人 "擁有 "海洋，沒有一個部門或機構擁有合法的權力和管轄權，可以在沒有伙伴機構的協助下開展行動。這就提出了一個問題，即各機構將如何協調其行動以應對海上威脅。

海岸警衛隊早在911事件之前就看到了這些挑戰，一名立陶宛海員企圖叛逃，從他的俄羅斯漁船上跳到馬薩諸塞州瑪莎葡萄園海岸邊的海岸警衛隊的一艘船上。由于海岸警衛隊和國務院之間的溝通失敗和協議不明確，該海員被俄羅斯船員毆打并拖回他的船，這一事件被視為美國政府的失敗。

從這一事件中，聯邦政府意識到需要一種更好的方式來組織各機構進行海上威脅應對；這種方式在2006年成為MOTR計劃。在起草該計劃時，曾考慮過幾種模式，但沒有一種模式能像NSC模式那樣適合海洋領域的獨特要求。雖然不完全相同，但在MOTR計劃中可以找到許多使NSC發揮作用的要素。

自2006年制定MOTR計劃以來，該計劃每天都被用來協調海上領域的威脅的應對活動。通常，這些是常規事件，幫助參與機構決定如何處理非法的海上毒品或移民走私。然而，MOTR計劃也可以擴大規模，以減輕更大的威脅，如涉及潛在恐怖活動的模糊威脅、微妙的外交事務和重大的海盜事件，如美國商人理查德-菲利普斯船長在馬士基-阿拉巴馬號機動船上被綁架的事件。

對MOTR是什么以及它是如何產生的進行了透徹的分析，然后舉出了MOTR計劃的例子，為它的成功提供了一個視角，以及在其他地方使用它的潛在機會。研究的結論是，MOTR計劃是機構間協調過程的骨干，沒有一個機構可以單獨行動。作為執行秘書處的全職工作人員維護該計劃，再加上該計劃的靈活性，通過修訂和增加新的協議，使該文件保持相關性和適用性。

這篇論文發現，MOTR計劃和使其成功的所有要素可能并不具有普遍的適應性。然而，它們可能最好地適用于沒有計劃或空間所有權的領域，如空氣空間、網絡空間，甚至外太空。

該項目的目的是進行無偏見的研究，以確定基于場景，對彈藥和補給的需求的下一代后勤艦（NGLS）的最佳類型和數量。近幾十年來，美國海軍一直不受常規威脅或來自近似競爭對手的嚴重競爭的制約。海軍作戰部長（CNO）和海軍陸戰隊司令（CMC）的指導促使海軍部（DON）追求大國競爭，并重新計算軍事力量對對手的優勢和劣勢。這種對創新和能力優勢需求的增加提供了新的概念，如分布式海上作戰（DMO）、有爭議環境下的沿岸作戰（LOCE）和遠征先進基地作戰（EABO）。這些概念改變了美國海軍在有爭議的環境中使用和分配其部隊的方式。戰略機動性和戰斗后勤部（N42）的人員提出了一個復雜的問題：海軍如何才能在后勤上支持和維持這些分布式部隊，而又不至于讓對艦隊的長期維持至關重要的戰斗后勤部隊（CLF）艦艇承擔不必要的風險？本文提供了一個框架，使用轉運數學模型來重新武裝和補給未來的后勤需求，以支持LOCE、DMO和EABO。

美國陸軍旋轉翼飛機的下一個機群除了擁有一套先進的技術和武器裝備外，還將允許在戰斗中使用更長的時間。這些飛機將可能是陸軍武庫中最先進和最復雜的系統。這意味著這些飛機可能需要飛行員在遠高于目前直升機的水平上進行多重任務。由于在駕駛這些飛行器時對飛行員的要求越來越高，實時監測飛行員的認知負荷、健康和福祉的需要已經成為完成任務的組成部分。有了實時的生理監測，就有可能跟蹤和了解任務認知需求的程度，以及在多域作戰（MDO）任務集的各個階段對飛行員的相關認知負荷（CWL）。然后，這些數據可以為領導層和團隊成員提供信息，并為操作人員提供關鍵的反饋。這些數據還將為駕駛艙布局的關鍵決策點提供信息，具體到人機互動。然而，仍有許多工作要做，因為在哪些措施能最有效地捕獲和量化CWL、如何最好地在駕駛艙內部署這些傳感器、以及如何量化數據以便于實時解釋結果以幫助決策方面還存在未知數。

為了支持擴大的未來垂直升降（FVL）任務，美國陸軍航空醫學研究實驗室（USAARL）正在進行研究。最終的目標是實施生理測量，作為在操作員狀態監測（OSM）驅動的適應性自動化環境中，評估CWL的一種手段。本報告對最近的CWL文獻進行了系統回顧，以確定哪些CWL評估技術在航空領域得到了最多的使用和成功，特別是在旋轉翼航空領域。首先，提供了CWL的正式定義，以及對CWL結構越來越感興趣的證據。隨后，對不同的CWL指標進行了簡要總結，并對使用多種指標，即綜合指標來評估CWL進行了考慮。

認知負荷定義

統一使用的CWL正式定義還沒有被整個研究界普遍接受。因此，人們經常發現，不同的研究人員使用不同的定義（Cain，2007）。為了保持一致性，我們采用了Van Acker等人（2018）的概念分析所提出的資源需求框架的定義： "心理負荷是一種主觀體驗的生理處理狀態，揭示了一個人有限的、多維的認知資源與所接觸的認知工作需求之間的相互作用。"

為了消除任何混淆點，請注意Van Acker等人（2018）使用了 "心理負荷"（MWL）一詞，而我們在本評論中使用的是 "認知負荷"。有關評估認知工作需求導致的認知資源支出的文獻，已經交替使用了這兩個術語（即心理和認知）（甚至有時在同一篇論文中交替使用）。圖1詳細說明了幾十年來每個術語的使用情況；"心理負荷 "一詞在文獻中出現的時間較早（Westbrook等人，1966年），比 "認知負荷 "使用的頻率更高。在USAARL進行的工作中，已經采用了 "認知負荷 "這一術語。

Van Acker等人（2018）的定義包括三個關鍵部分（關于這些要點的更廣泛討論，請參考Vogl等人，2020）。首先，CWL的發生是由于特定的人和特定的任務/環境（或任務+環境組合）的互動。這種應用認知資源來滿足任務需求的互動導致了對CWL的感知。這為資源需求框架奠定了基礎，該框架自卡尼曼（1973年）在其《注意力與努力》一書中首次提出以來，一直在不斷發展。第二，當認知資源被用于一項任務時，對于努力工作的人來說，他們的資源是有限的，如果一項任務對資源的需求超過了可用的限度，人的表現就會減弱。對內省的人來說，還可以觀察到，在某些情況下，可以比其他情況下更有效地滿足多種任務需求。Wickens（2008）通過多重資源理論澄清了這一看法，該理論指出，與其說有一個有限的資源庫可用于解決任務需求，不如用多重資源庫的模式來解釋多任務經驗。第三，Van Acker等人（2018）指出，CWL是一種主觀體驗的生理處理狀態；也就是說，人類理解并能夠溝通他們正在經歷CWL，他們的生理變化是CWL的一個功能。因此，評估CWL不僅可以通過任務本身的表現措施，還可以通過自我報告措施（即主觀措施）和監測生理信號的變化（即生理措施）。最后要說明的是，Van Acker等人（2018）的定義很適合于對這個概念的簡要介紹，但我們希望有一個更全面的定義，明確強調人類經驗的其他方面（如個體差異、情景因素、注意力等）以及CWL和績效的動態關系。關于CWL概念的更深入的定義和重新分析，見Longo等人（2022）。

自20世紀60年代首次正式提及CWL以來，它已成為一個越來越受歡迎的研究領域。在過去的十年里，根據谷歌學術搜索引擎的索引，CWL研究的出版物數量激增（圖1）。在過去的十年里，整個文章和標題中的精確短語匹配都遵循同樣的加速增長模式。這種加速增長的興趣說明了對更先進、更有效的生理指標、建模技術的調查，以及對改善航空和駕駛等安全關鍵領域性能的普遍重視。2015年，Young等人（2015）研究了CWL文獻，并確定了幾十年來的主要研究領域。在20世紀80年代，在CWL主要理論進展的持續發展中，軟件工程/計算機輔助設計（CAD）和自適應界面（即響應操作者CWL的自動化）等領域成為主要興趣。20世紀90年代，對CWL的研究在航空和駕駛領域繼續進行得最為頻繁。最終，在2000年代的前十年，駕駛領域將遠遠領先于其他領域，而鐵路領域的研究變得越來越有意義，航空和空中交通管制（ATC）保持穩定（圖5）。考慮到幾十年來的關注領域，很明顯，CWL評估是安全關鍵領域的一個重要組成部分，特別是在交通領域。

圖 1. 60 年來腦力負荷和認知負荷出版物的頻率。從谷歌學術搜索引擎獲得的頻率數據。

綜合認知負荷評估

正如所提出的CWL定義中所概述的那樣，CWL的概念在操作上是可以使用性能、生理學和主觀評價的措施進行量化的。這些測量類別在整個CWL文獻中被持續使用，每個類別都提供了一些不同評價標準的權衡（O'Donnell & Eggemeier, 1986）。快速的文獻搜索顯示，對這些測量技術已經進行了超過20,000次檢查（評論見Cain, 2007; Heard等人, 2018; Tao等人, 2019; Charles & Nixon, 2019; Vogl等人, 2020）。

表現和CWL是以一種反向的方式聯系在一起的，特別是在最佳的任務需求水平下，但這種關系并不簡單地歸結為一個上升，另一個下降。相反，通過自愿招募認知資源（即導致CWL增加的努力），性能可以保持在高水平而負荷增加。也就是說，人類可以付出更多的努力，調動更多的資源，或者隨著需求的增加而 "更努力地 "完成一項任務，以保持他們的表現。只有到了一定程度，也就是傳統上所說的 "紅線"，績效才會開始動搖，從而與高水平的CWL形成反向關系。圖2詳細說明了作為任務需求增加的函數的績效-負荷關系（改編自De Waard, 1996和Young等人, 2015）。這個修改后的區域模型說明了績效和負荷在D、A2和C區域有一致的反向關系，而在A1、A2和B區域則有更多的動態變化。以這個模型為框架，我們很容易看到，除非在D或B區域內觀察，否則主要的任務績效測量可能缺乏敏感性。由于績效指標通常是對任務效率的全面調查，它們很少對不同資源的認知負荷進行診斷性描述。雖然這些類型的性能指標可能在一個相對粗略的尺度上發揮作用，但它們對整個任務性能的干擾是最小的，因為數據往往是現成的。在航空領域，標準偏差、輸入活動和教員飛行員評級的措施已被廣泛用于區分高和低水平的CWL。

圖 2. 績效-認知負荷關系的描述（改編自 De Waard，1997 年和 Young 等人，2015 年）。

已經觀察到可識別的生理信號在不同程度的有經驗的CWL下發生變化，一些生理指標已經發現成功地作為CWL的操作措施。心率、心率變異性、瞳孔直徑、腦電圖（EEG）信號帶、通過功能性近紅外光譜（fNIRS）測量的腦氧飽和度以及許多其他指標，都有大量文獻支持它們作為CWL的代理測量。與性能指標不同，生理學指標允許研究人員挖掘發生在性能保持穩定（即A1和A2區域）而CWL正在積極變化的區域的CWL變化。在某種程度上，生理指標允許研究人員看到隨著任務需求的增加，"引擎蓋 "下發生了什么。這種在接近紅線時觀察CWL變化的能力說明了測量類別的普遍高靈敏度。此外，它為應用領域的研究人員提供了一種手段，以預測性能故障的發生，并在性能開始受到影響之前補救任務要求。然而，其他生理現象，如疲勞、焦慮或身體運動，可以高度干擾這些指標的整體敏感性。生理指標在其診斷性方面可以有很大的不同。一些生理指標提供了一個更全面的有經驗的CWL尺度，如瞳孔直徑或心率變異性。其他指標通過確定大腦內的激活區域，如EEG或fNIRS指標，或由特定的任務要求（即眨眼動態）驅動，顯示出更高的CWL資源診斷能力。目前正在進行的工作是限制生理傳感器的整體侵入性，以便向現實世界的應用邁進。一些傳感器的侵入性很小（如心電圖[ECG]、遠程眼球追蹤器等），而另一些則會造成較高的侵入性（如頭戴式眼球追蹤器、fNIRS、皮膚電活動等）。在航空領域，心率和心率變異性指標是使用最廣泛的生理學指標之一，因為它在敏感性、診斷性和對操作環境的干擾性之間有一個公平的平衡（Backs，1995）。然而，最近的研究已經接近于優化瞳孔直徑、fNIRS和EEG等指標，作為額外的生理測量指標在航空領域使用。

CWL是一種獨特的體驗，人類可以通過自省來識別和描述。因此，可以通過使用結構化的、經過驗證的、采取主觀測量形式的問題來捕捉這種自我報告的體驗。多年來，許多不同的CWL主觀量表已經在各研究領域進行了測試，并表明人類可以可靠地指出他們在特定任務中體驗到的CWL水平。總的來說，主觀衡量標準對CWL的變化顯示出很大的敏感性。主觀評分允許研究人員對圖2中描述的所有區域的CWL進行采樣。主觀指標也可以通過使用單維和多維措施，分別從低到高的診斷性范圍。單維主觀指標要求操作者評估他們所經歷的CWL的單一方面，例如通過評價努力支出、資源能力或一般CWL本身。多維度的主觀衡量標準更具有診斷性，因為多個問題或子量表涉及到CWL體驗的許多相似但不同的元素。不幸的是，如果在任務執行過程中完成主觀測量，其干擾性通常很高。因此，大多數主觀測量是在任務執行后完成的，要求操作者在回答問題時反思他們之前的CWL體驗。當然，一些單維的主觀衡量標準試圖規避這一限制，提示受試者在任務執行期間表明他們的主觀CWL，從而與診斷性進行權衡。總的來說，主觀指標被用作驗證系統和其他CWL指標的手段。這個研究領域中最普遍的衡量標準是美國國家航空航天局的任務負荷指數（NASATLX），它至今仍被廣泛使用。 NASA-TLX經常被用作航空領域的多維CWL主觀衡量標準，但有些衡量標準，如貝德福德負荷表和修正的Cooper Harper處理質量評分表，是專門為航空領域設計的，如今也被普遍用作單維衡量標準。

由于每種類型的認知負荷評估技術都有其自身的優勢和缺點，因此，將表現、生理和主觀測量結合起來，形成認知負荷的綜合測量似乎是很自然的。其邏輯是，由于這些認知負荷的每個反應都是從同一個人身上測量出來的，因此這些反應會相互關聯，如果一個反應失敗，其他的反應可以作為一個冗余的備份。當綜合測量顯示每個單項測量中的認知負荷都在增加時，我們可以確信所研究的操作者正經歷著更高水平的認知負荷，反之亦然，認知負荷的反應也在不斷減少。如果每個認知負荷評估指標出現不同的反應，考慮到這些反應是從一個人身上收集的，被研究的操作者的經驗就變得不那么清晰了，而且更令人費解。例如，操作員可以在主觀測量中報告低水平的認知負荷，但他們的生理測量表明負荷水平在增加，而他們的性能指標卻保持穩定。同樣，同樣的不一致性可以在不同的認知負荷測量中建模，每個人的反應都表示高、低或穩定的認知負荷。Hancock和Matthews（2019）探討了認知負荷評估的關聯、不敏感和不一致（AID）的概念，以創建一個框架，用它來理解綜合負荷評估指標的可能狀態。定義這些可能的復合認知工作負荷評估狀態的三維矩陣可以在圖3中看到。

圖3. Hancock和Matthews（2019）的認知負荷評估技術的關聯、不敏感和分離（AID）框架矩陣。每項措施都可以表明認知負荷反應的增加（+）、減少（-）或穩定（O）。由于每個狀態都由矩陣中的一個立方體表示，跨越性能（主要任務）、生理學和主觀測量的27種結果組合是可能的。當測量結果相互一致時（即所有測量結果都顯示認知負荷減少或增加），就會出現雙重關聯（用A-表示減少，用A+表示增加）。

Hancock和Matthews（2019）的AIDs分類法為復合認知負荷評估狀態，沿立方體矩陣的軸線呈現了認知負荷評估的三種主要方法。每種方法允許三種反應中的一種： 增加的認知負荷反應（+），減少的認知負荷反應（-），以及穩定的（即不敏感的）認知負荷反應（o）。結合每個單獨的測量的反應結果，產生一個三維矩陣，定義復合認知負荷測量的27個獨特狀態。當不同類型的負荷測量的反應相互匹配時（例如，生理和主觀測量所顯示的負荷增加），兩個測量之間就會發生關聯。如果兩種測量方法的反應彼此不一致，就會發生分離。雙重關聯（如圖1中A+和A-狀態所表示的）發生在所有三種測量方法都報告了相同的反應的情況下（即所有測量方法都顯示了認知負荷增加、穩定或減少的匹配反應）。同樣，當這時所有的測量方法都彼此不一致時，就會發生雙重離析。雖然雙重關聯簡化了認知負荷數據的解釋問題，但認識到影響測量結果趨同的因素可以幫助理解為什么會發生離散。Hancock和Mathews（2019）詳細闡述了這些措施之間的銜接問題，并確定了可能影響措施之間反應不匹配的常見問題。諸如測量方法之間的顆粒度、不同測量方法之間的認知負荷反應的時間、自我調節策略和負荷歷史等因素都會導致不同測量技術之間的不一致。歸根結底，這些問題仍未解決，但認識到它們的存在可以幫助解釋即使是最不相關的數據集。

本報告的目標

本報告研究了過去十年（2010年代）的CWL文獻，以擴展Young等人（2015）報告的趨勢。為了指導USAARL正在進行的CWL研究的發展，對航空領域的復合CWL評估文獻進行了重點搜索。旋轉翼和固定翼航空平臺都包括在搜索范圍內。從這些航空文章中，報告了不同CWL指標的使用頻率和成功率。同時還研究了作為個體差異（即飛行經驗）和研究平臺（即模擬器或飛機）功能的CWL評估的差異數據。最后，通過CWL評估的AIDs模型對綜合CWL指標的結果進行了研究。

建模與仿真即服務（MSaaS）體現了這樣一個理念：仿真應該由松耦合的共享組件、仿真服務在基于云的環境中為手頭的任務快速組成。然后，這些模擬作為組成的模擬服務，提供給人類和技術消費者。這方面的重要功能是讓仿真操作員發現和組合仿真服務并執行組合。我們用我們所說的MSaaS基礎設施能力來描述這一功能。按照逐步完善的理念，仿真服務的發現和組合可以在設計時使用與實施無關的仿真服務信息，在實施時使用與實施有關的仿真服務信息。執行環境也可以在設計時和實施時進行設置。因此，我們在描述MSaaS基礎設施的能力時，要說明它們是如何用于獨立于實施的和特定于實施的服務信息的。通過做這些闡述，我們打算更深入地了解如何進行模擬服務的發現、組成和執行。我們的結論是，盡管MSaaS基礎設施所需的大部分功能都可以通過現有的平臺和框架獲得，但為了實現MSaaS的愿景，有必要將這些功能作為服務，與（組成）仿真服務一起提供。

圖 1. 建模和仿真即服務 (MSaaS) 聯合框架，具有 MSaaS 門戶功能（發現、組合、執行）和用于數據管理、組合以及服務管理和控制的 MSaaS 基礎設施功能。

引言

對行動、訓練和演習的模擬支持具有很大的潛力，它可以支持和增強行動過程，并通過新的方面和擴展的接觸來加強訓練。隨著多國部隊的相互聯系越來越緊密，對國防活動的模擬支持被認為將變得越來越重要。

然而，建立和執行分布式模擬是一個漫長的過程，根據所涉及的系統的復雜性和特點，有各種障礙。由于系統的版本和設置可能在這期間被更新或改變，因此每次行動或演習都必須重復這一過程。跨網絡的系統連接也帶來了自己的一系列問題。所有這些挑戰使得在分布式模擬的生命周期中，有必要在每個地點配備熟練的技術人員，這增加了已經很復雜的后勤工作和有時漫長的操作和演習計劃。

建模與仿真服務（MSaaS）--尤其是北大西洋公約組織（NATO）的MSaaS聯盟框架--提出了一個愿景，即為行動、演習和培訓設置仿真應該是快速和容易的。該服務概念通過通用功能的標準化體現了可重用性，并通過松散耦合和標準化的服務描述體現了可組合性。

圖1說明了這一理念，供應商在云環境中共享仿真服務。仿真操作員使用一個基于網絡的門戶來發現并將仿真服務組合成一個仿真組合來執行。組成的仿真本身可以作為服務提供，以便重復使用。云環境促進了 "按需、隨地 "的模擬訪問。事實上，基于云的模擬和MSaaS被認為是 "巨大的挑戰"，對模擬軟件提出了新的要求，特別是對服務描述、服務發現和服務組合的需求。

門戶網站中發現、組成和執行模擬的功能是由MSaaS基礎設施能力的集合提供的，這些能力分為數據管理、組成以及服務管理和控制（SMC）的能力（圖1）。討論的主線是闡述這些MSaaS基礎設施能力應該是什么，目的是為了更好地理解在面向服務的環境中處理模擬的基本機制。我們的闡述是建立在早期的MSaaS經驗之上的。

在MSaaS的參考架構中，服務目前被稱為是獨立實施的。也就是說，服務是由其獨立于實施的服務描述來識別的，參考架構中列出了一些與建模和仿真相關的服務。當獨立于實施的服務描述被標準化并以機器可讀的格式表達時，可以建立工具來支持某種程度的自動發現和組成。這就支持了MSaaS快速仿真部署的愿景，并進一步支持了仿真操作員（圖1）在未來可能成為非技術培訓師或其他操作人員的愿景。

然而，為了對面向服務的標準和仿真協議世界中的開發者有用，這些標準和協議中的每一個都可能處于不同的特定實現抽象水平，MSaaS參考架構需要包括相應的抽象水平。此外，從概念建模到設計再到實現的步驟中所表達的逐步細化原則，進一步激勵了擁有多個抽象層次的服務概念。

因此，在闡述MSaaS基礎設施能力時，我們在考慮這些能力如何在模擬服務抽象的幾個層次上運作的同時，進行了闡述。這樣就能更好地理解服務抽象層次本身，以及基礎設施能力如何通過這些抽象層次進行逐步細化。

MSaaS依賴于北約國家和組織之間以及民用基礎設施之間共享的云基礎設施。這意味著模擬服務和它們的組合，以及基礎設施的能力，必須在適當的云應用成熟度水平的軟件中實現；例如，見Kratzke的云準備、云友好、云彈性、云本地分類。然而，我們在本文中的重點是了解功能層面的基礎設施能力（Kratzke參考模型中的服務構成和應用層）。確定MSaaS的適當的云應用成熟度水平是下一個重要步驟，在本文中沒有討論。

在認識論上，我們在這里的工作相當于建立格雷戈爾所說的分析型理論和設計與行動型理論。前者由 "是什么 "的概念化組成；在我們的案例中，"是什么 "不是一個物理實體，而是一個概念實體；即一個參考架構。后一種類型的理論描述了 "如何做 "事情，包括設計原則。這兩種類型的理論都不支持理論本身所表達的預測，這些預測可以用傳統的方式進行反駁。相反，可以說，它們通過假設概念化和設計有利于各種目的而暗示了元預測。我們提出的概念化是有益的，這可以通過從業者和研究者發現它有多大用處、它在解析性方面有多好、它有多有趣以及理論的其他質量方面來進行分析和經驗性的驗證。這種驗證必須由其他研究者和實踐者長期進行，并與不斷發展概念化的研究者合作。

在第2節中，我們回顧并闡述了MSaaS參考架構的服務概念，在這個概念中，服務可以在幾個抽象層次上被聲明--使用服務描述，從獨立于實施到具體實施。然后，我們在第3節中介紹了MSaaS的基礎設施能力，并在第4-6節中分別闡述了與服務抽象層次有關的組成數據、組合和SMC能力。我們在第7節中得出結論。

圖7. 建模和仿真即服務基礎設施功能之間的關系。

這篇論文試圖研究能夠改善復雜軍事戰術環境中決策的人工智能（AI）技術。戰術環境在威脅、事件的節奏、突發或意外事件的因素、戰斗空間意識的限制以及潛在的致命后果方面可能變得非常復雜。這種類型的環境對戰術作戰人員來說是一個極具挑戰性的決策空間。戰術決策任務在識別決策選項、權衡眾多選項的相對價值、計算選項的預測成功率以及在極短的時間內執行這些任務方面迅速超越了人類的認知能力。海軍已經確定需要開發自動戰斗管理輔助工具（ABMA）來支持人類決策者。這個概念是讓ABMA處理大量的數據來發展戰斗空間知識和意識，并確定戰爭資源和行動方案的優先次序。人工智能方法的最新發展表明，它有望成為ABMAs支持戰術決策的重要推動者。本論文研究人工智能的方法，目的是確定在戰術決策領域的具體應用。

論文組織

本論文分為五章。第一章概述了本課題的背景，描述了本論文所探討的問題，本論文的目的，以及研究的方法和范圍。第二章對論文中討論的定義和概念進行了全面的背景回顧，包括自動戰斗管理輔助工具、決策復雜性和人工智能及自主系統的概念。第三章描述了用于協調數據采集和理解檢索數據要求的研究方法。第四章提供了分析的結果，并探討了從分析結果中得出的潛在好處和局限。本論文的最后一章包含最后的結論和對未來工作的建議。

美軍將重新審視海軍陸戰隊后勤單位在海軍陸戰隊遠征軍（MEF）中的分配和排列，以滿足設想的未來戰斗需求。在一個近距離的、封閉的、可能有爭議的環境中作戰的能力是以反應迅速的后勤保障為前提的。海軍陸戰隊必須評估MEF中后勤能力的響應性和靈活性，以及部隊結構的變化是否符合海軍陸戰隊司令部的部隊設計的首要任務。海軍陸戰隊必須在內部重新調整后勤能力，以充分遵守2018年國防戰略（NDS）、2019年司令部規劃指南和2030年部隊設計中闡述的戰略指導。鑒于海軍陸戰隊目前的組織結構，海軍陸戰隊對近距離或步調一致的威脅進行高端危機響應的能力被削弱了。如果考慮到NDS的全球行動模式以及海軍陸戰隊在整個印太責任區的接觸層和鈍化層的行動要求，這一點就更加明顯了。

美海軍部依靠目前海軍的方式，如簡報、聊天和語音報告來提供艦隊的整體作戰評估。這包括網絡領域，或戰斗空間，描繪了艦船的網絡設備和服務狀態的單一快照。然而，這些信息可能是過時的和不準確的，在決策者了解網絡領域的設備服務和可用性方面造成了混亂。我們研究了持久性增強環境（PAE）和三維可視化的能力，以支持通信和網絡操作、報告和資源管理決策。我們設計和開發了一個PAE原型，并測試了其界面的可用性。我們的研究考察了用戶對多艘艦艇上的海軍網絡戰斗空間的三維可視化理解，并評估了PAE在戰術層面上協助有效任務規劃的能力。結果是非常令人鼓舞的：參與者能夠成功地完成他們的任務。他們發現界面很容易理解和操作，原型被認為是他們目前做法的一個有價值的選擇。我們的研究提供了對新型數據表示形式的可行性和有效性的密切洞察，以及它在不同社區之間復雜的操作技術（OT）環境中支持更快和更好的態勢感知和決策能力。

引言

A.研究領域

持久性增強環境（PAE）是一個系統，它使用共享（多用戶）環境、增強現實（AR）技術和一系列傳感器的概念來創建過程和數據集的可視化表示，這些數據集被持久地（在很長一段時間內）添加、操作、可視化和分析，以支持人類操作員所做的一系列任務[1]。PAE被認為有可能給許多領域和人類任務帶來好處，包括網絡系統的可視化、網絡態勢感知和決策工作領域。

PAE的重要概念包括將實時信息傳遞給人類操作者，并以一種比傳統的信息記錄和傳遞形式更容易理解的格式。后者提高了解決整個海軍領域不同社區的許多用戶的需求的潛力，減少了錯誤的數量，并將大部分時間用于決策過程。

由于用戶數量眾多，社區各異，必須準確及時地解決收集、處理和操作大量數據的需求。此外，網絡領域的復雜性促使人們需要簡化、準確和及時的信息。與AR系統非常相似，PAE允許用戶在現實世界中處理和操縱虛擬物體，并同時看到眾多用戶之間的系統實時自動同步變化。這種虛擬和現實信息的實時無縫整合解決了網絡領域的復雜性，最終在大量用戶和不同社區之間提供了行動的準確性和及時性。

我們設計和開發了一個PAE系統原型，并分析了它如何支持海軍領域的網絡系統可視化和任務規劃操作。我們努力的主要目標是提高單用戶對水面資產上復雜網絡的理解和態勢感知，以及對設備當前網絡狀態的實時表示，從而使海軍部（DON）的任務規劃更加有效。在戰術層面上，這項研究將使我們進一步了解為支持有效的任務規劃而需要建立的技術基礎設施和流程。該系統有可能為美國防部所有部門帶來明顯的好處。

B.研究問題和動機

在美國海軍中，為了完成不同的任務，多個作戰群體依靠網絡群體來顯示網絡和通信狀態，以維持作戰畫面并提供通信。美國水面艦艇上的網絡和作戰系統的整合，在將信息和網絡狀態顯示為二維（2D）物體時，會在作戰人員中造成混亂。特別是當網絡設備發生意外變化時（即失去電力、拒絕服務、失去衛星覆蓋等），情況更是如此。設備的變化不僅影響到船上的通信，而且還影響到領導人的整體態勢感知。利用PAE系統整合三維（3D）數據和立體顯示，有可能通過實時自動顯示系統變化，大大幫助決策者了解復雜的網絡。

1. 網絡對通信至關重要（我們為什么關心）

網絡對于海軍資產之間在作戰層面的通信是至關重要的。如果沒有網絡設備，一艘水面艦艇就失去了與指揮系統（CoC）進行快速和準確溝通的能力。同樣，CoC也不能有效地將他們的信息傳達給各個水面艦艇。現在，我們可以把單艦沒有能力接收任務或發送狀態更新的想法，然后把可用的水面資產數量增加到一個多資產的航母打擊群（CSG）。這導致整個CSG中的五到六艘艦艇沒有能力與CSG指揮官就當前的任務甚至是日常行動進行溝通。即使海軍可以使用傳統的通信方式，如摩爾斯電碼和旗語信號來傳遞簡單的信息，但更復雜的信息必須以容易消化的格式來表示，以便決策者能夠了解當前的行動并迅速作出最佳決策。

通過在地面資產之間利用PAE系統，PAE系統有可能改善對復雜信息的理解，它將從紙質手冊或電子圖書館中獲取的二維信息轉化為三維可視化系統，并不斷更新三維可視化，以反映用戶的互動和該系統接收和生成的數據集的不斷更新。PAE系統也有可能訪問歷史數據，這在分析歷史趨勢或行動后報告（AAR）中可能是至關重要的。歸根結底，網絡領域值得采用新技術并尋找更好的解決方案。

2. 網絡設備狀態

為了了解單位層面的網絡設備狀態，戰略層面的決策者依賴于目前海軍傳統上使用簡報、聊天和語音報告的做法。然而，這些信息可能是過時的和不準確的，最終在需要了解網絡領域的服務和設備可用性的決策者中造成了混亂。網絡領域是一個復雜的領域，需要有效的管理和理解網絡操作，包括海軍艦隊之間的共享態勢感知（SA）。網絡設備在不斷變化，這取決于設備的狀態和水面艦艇的地理位置，這些都會影響連接性。

海軍操作員和領導傳統上使用各種格式的二維網絡拓撲圖和微軟文件來描述網絡系統的運行狀態并維護資源管理。這些二維模型最初是為了協助領導和操作員對網絡進行清晰的可視化；然而，隨著時間的推移，網絡資產的增加，從而增加了二維模型的復雜性，使得理解這些綜合系統變得更加困難。正因為如此，二維網絡圖和拓撲結構的顯示更成為理解新系統集成或系統變化的障礙。理解傳統的、印刷的二維信息（圖1）所花費的時間已經不能滿足操作人員和作戰人員的需要，也不能及時為決策者提供簡明清晰的信息。

3. 從PowerPoint幻燈片（2D信息）到增強現實（3D信息）

當代支持人類操作和決策的技術已經從過去適度的形式上有了飛速的發展。數據的表現形式現在可以采取三維信息的形式，不再是靜態的，而是動態變化的，支持用戶與相同數據集的實時互動。然而，今天大多數水面資產的重要通信包括不同級別的互聯網連接，便于分享PowerPoint簡報和接收在二維空間表示的語音或書面報告。這些傳統的通信途徑是艦艇當前作戰狀態的快照或對即將到來的任務的一系列預期；它們推動了美國海軍 "維持、訓練和裝備能夠贏得戰爭、阻止侵略和維護海洋自由的戰斗準備的海軍部隊 "的能力[3]。正如Timmerman的論文研究[4]中所認識到的，目前的二維可視化將復雜的操作技術（OT）系統顯示為網絡社區所習慣的平面信息技術（IT）圖，從而過度簡化了這些系統。另一種更優越的表示方法是在三維空間中顯示邏輯網絡元素，反映這些網絡的物理和邏輯的復雜性。通過研究數據的三維表示法，海軍可以加快關鍵的時間敏感數據的流動，這些數據原本是在二維空間，變成更容易理解的三維信息。

研究的總體目標是對PAE系統原型進行定量評估，通過可用性研究分析其如何支持海軍領域的網絡系統可視化和任務規劃操作。對復雜網絡及其相應拓撲結構的傳統理解是基于技術手冊中的藍圖的二維圖紙。這種信息的翻譯再由非主題專家（SME）通過PPT簡報（或口頭簡報）進一步稀釋，以告知高層決策者的指揮系統當前在水面資產上的通信狀態。最終，在二維信息、口頭或PowerPoint簡報和向高層決策者提供綜合信息之間會有時間損失。向決策者展示復雜系統的解決方案是通過PAE將二維信息表現為三維信息。

C. 研究問題?

本論文探討了以下問題。

• 什么是有可能為任務規劃提供更有效支持的技術框架？

• 網絡通信能力的三維可視化和PAE系統能否為網絡領域特定的任務規劃要素提供有效支持？

• PAE系統能否有效地協助戰術層面的任務規劃任務，具體到網絡通信的管理？

D. 范圍?

本論文將限于開發一個PAE系統原型，以幫助可視化用戶研究所需的網絡基礎設施。可用性研究有兩個不同的目的：檢查用戶對海軍網絡戰斗空間的三維可視化的理解，跨越多個艦艇的通信和網絡基礎設施，并評估PAE在戰術層面上有效協助任務規劃的能力。雖然海軍領域的PAE的大概念被設想為支持許多作戰任務和訓練情況[1]，并包括與作戰系統的互連性，但為本論文開發的原型系統將有足夠的功能來支持用戶研究。

E. 研究方法

本研究的研究方法包括以下步驟:

1. 進行文獻回顧。在AR、虛擬現實（VR）、SA、潛在多用戶環境、網絡可視化實踐以及應用于AR的持久性系統等領域進行文獻回顧。

2. 執行任務分析。進行任務分析，分析當前網絡操作、決策以及整個艦隊的設備和服務可用性的資源管理的做法。這包括但不限于詳細分析航母上的戰斗值班長（BWC）與巡洋艦或驅逐艦上的作戰指揮官（CRUDES）之間的報告和互動，當前的網絡可視化做法，以及PAE的有效性。我們還將對目前的報告標準和現有的SA任務和實踐進行詳細的任務分析。

3. 確定三維模型。確定一套支持虛擬環境和可用性研究所需的用戶任務的三維模型。

4. 設計和開發一個PAE原型。設計和開發一個支持可用性研究的PAE系統原型。

5. 設計和執行可用性研究。設計一個可用性研究，制定機構審查委員會（IRB）文件，對人類參與者進行研究，并檢查用戶執行所需任務的經驗。可用性研究的設計將針對網絡領域的可視化，側重于用戶更好地理解網絡設備如何與其他系統相互連接的能力，并實時描述網絡戰斗空間。此外，該設計將被定制為展示多艦情況下的決策，并衡量界面在支持任務規劃和資源管理方面的有效性。

6. 分析數據。分析研究中收集的人類性能數據，并檢查PAE原型系統的技術性能。

7. 確定建議和未來工作。收集并確定對未來可能的工作的建議。

F. 論文結構

第一章：導言。本章介紹了研究空間的最關鍵要素：領域、問題、研究問題、范圍和用于解決所有研究問題的方法。

第二章：背景和文獻回顧。本章強調了VR、AR、混合現實（MR）、持久性系統和SA的定義。文中回顧了關注AR和VR技術的研究經驗，并討論了多用戶環境、現有網絡可視化實踐和持久性系統與AR技術結合應用時帶來的潛力。

第三章：任務分析。本章分析了目前整個艦隊的網絡操作、決策以及設備和服務可用性的資源管理的做法。

第四章：系統原型。本章闡述了PAE系統的設計和開發、系統結構和模擬環境。本章還描述了訓練場景和一套支持建立可用性研究所需的虛擬環境的三維模型。

第五章。可用性研究。本章介紹了可用性研究的要素，文中還討論了從可用性研究中收集的數據集中得出的結果。

第六章：結論和未來工作。本章概述了本研究的主要內容，并對未來的工作提出了建議。

海軍規劃流程 (NPP) 作戰方案 (COA) 分析需要時間和主題專家 (SME) 才能正常運作。獨立艦船（單獨驅逐艦）會發現自己沒有時間或超過 1-2 個 SME 或兩者兼而有之。在實時戰略 (RTS) 兵棋推演中實施的人工智能 (AI) 技術可應用于軍事兵棋推演，以幫助軍事決策者進行 COA 分析。使用深度 Q 網絡 (DQN) 和 ATLATL 兵棋推演框架，在不到 24 小時的訓練或 500000 步學習。還表明，不到 6 小時或 150000 步的學習時間不會產生令人滿意的 AI 海軍上將，能夠在類似規模的航行自由行動 (FONOP) 場景中扮演 OPFOR 指揮官的角色。應用這些人工智能技術可以節省船上時間和回程人員的時間。將 AI 海軍上將訓練為優秀的 OPFOR 指揮官可以增強整個海軍的 NPP，而不會增加額外的壓力，也不會造成分析癱瘓。通過數十萬次建設性行動揭示的有意義的見解和局部爆發點，以及船員在現場模擬或模擬回放中的經歷，將導致現實世界中的戰斗準備好的海軍部隊能夠阻止侵略和維護海洋自由。

美海軍空勤人員工作組被召集起來，以總結海軍空勤人員群體在作戰健康和戰備方面最優先的挑戰。在確定的10個優先事項中，前三名是肌肉骨骼損傷、認知功能和營養優化。所有10個優先事項將被納入 "戰備、恢復和復原（R3）監控系統"，該系統將由海軍健康研究中心在一個混合（虛擬和親自）平臺上實施。反過來，R3系統的結果將通過總結部隊的狀況和提供基于證據的建議，為美國海軍空勤人員的全員績效計劃提供參考。最終，R3系統可以過渡到一個專門為海軍空勤人員設計并由他們領導的項目。

背景介紹

自2011年以來，美海軍健康研究中心（NHRC）為特殊群體（如美國海軍爆炸物處理操作員）提供了科學支持，以優化操作健康和人體性能。應直升機海戰中隊THREE（HSC-3）的高級士兵領導層的要求，NHRC試圖建立一個監視系統，以描述海軍空勤人員最優先的作戰需求，即準備、復原和恢復（R3）監視系統。

問題說明

美海軍空勤人員群體操作多種類型/型號/系列的飛機，執行各種任務，包括海上攻擊、戰斗支援和反水雷。在這些任務中，人員經常經歷操作壓力和環境暴露，這可能導致傷害、疾病和停工率的增加。這一連串的事件最終會使個人、團隊和部隊的戰備狀態惡化。根據計劃目標備忘錄-23空勤人員系統（ACS）推進器海軍航空需求小組，ACS的首要任務是減輕空勤人員的背部和頸部傷害。目前，還沒有一個系統來監測、建立和維持整個海軍空勤人員職業的運行準備狀態。鑒于海軍空勤人員獨特而多樣的操作要求，系統化的評估可以支持為整個社區以及專門的分組制定有針對性的干預措施，以提高績效，減輕傷害/疾病，并加快恢復。

過程

來自HSC-3的兩名現役海軍空勤人員利益相關者與5名NHRC研究人員組成了海軍空勤人員工作組。

R3系統的操作要求

工作組得出了10個空勤人員作戰健康優先事項。

1.肌肉骨骼損傷 2.精神集中和認知功能 3.營養評估/優化 4.睡眠和晝夜節律功能 5.水化/液體平衡 6.行為/心理健康和戰斗心態 7.環境暴露 8.低水平爆炸暴露 9.人體工程學設計 10.適居性

R3系統的實施計劃、成本估算和資金來源

這10個優先事項將被納入R3監測系統，該系統將在一個混合（虛擬和親自）平臺上實施。為實現這一目標，國家人權委員會將：

• 與海軍空勤人員的利益相關者合作，構想R3系統

• 在海軍航空兵司令和/或下屬司令部的支持下設計R3系統

• 獲得國家人權委員會機構審查委員會的批準，以評估人員的10項業務需求

• 建立和運行R3能力，利用虛擬和現場數據收集工具。

該研究的基礎是調查，并可選擇增加可擴展和模塊化的個人評估，從最方便的實地測量到深入的、基于實驗室的測試。已經提供了可擴展的成本估算，并確定了候選的資金項目。

艦隊的影響和過渡

從R3系統中獲得的數據將被用來估計部隊（海軍空勤人員整體以及子群體）在準備、恢復和復原方面的狀況。報告將定期提供給空勤人員指揮/訓練領導層，以指導數據驅動的決策，R3系統將為美國海軍空勤人員的全員績效計劃提供信息。最終，R3系統可以過渡到一個專門為海軍空勤人員設計并由他們領導的項目。

美國負責采購和維持的國防部副部長辦公室（OUSD A&S）的任務是快速和低成本地向作戰人員和國際合作伙伴提供和維持安全和有彈性的能力。現在迫切需要開發適應性采購框架（AAF），以加快軟件開發和采購流程，加強作戰概念（CONOPS），如分布式海上作戰（DMO）。國防部（DoD）必須利用與國防戰略和全球威脅的性質相聯系的數據驅動的分析來塑造AAF，并擴展新的能力來應對新的威脅。威脅和能力共同演化矩陣（TCCM）解決了這一要求。威脅是一種能力試圖處理的問題。一種能力是代表威脅的問題的解決方案。共同進化算法探索了一些領域，其中一個能力或能力組合的質量由其成功擊敗一個威脅或威脅組合的能力決定。TCCM有可能在新的和有爭議的環境中系統地優化、推薦和共同演化能力和威脅。我們展示了一個關于幫助項目執行辦公室（PEO）使用從公開來源匯編的非機密數據對特定領域DMO的能力和威脅進行戰役的用例。

引言

不僅美國防部負責采購和維持的副部長辦公室（OUSD A&S）有必要制定采購戰略，而且整個國防部也有必要應用數據驅動的分析以及與國防戰略和全球威脅的性質相聯系的創新和適應性作戰概念（CONOPS），并為作戰人員擴展新的能力。

例如，為了提高部隊的總體戰備能力，并在廣泛的行動和沖突頻譜中隨時投射戰斗力，海軍需要靈活的指揮和控制（C2）組織結構來滿足CONOPS。例如，DMO是海軍的一個CONOPS，而遠征先進基地作戰（EABO）是美國海軍陸戰隊（USMC）的一個CONOPS。DMO和EABO都是海戰現代化的新興作戰概念。PMW 150是PEO C4I的C2系統項目辦公室，也是C2解決方案的主要提供者，它的工作重點是將作戰需求轉化為海軍、海軍陸戰隊、聯合部隊和聯軍作戰人員的有效和可負擔的作戰和戰術C2能力。PMW150的任務是 "以創新的方式滿足相關能力的操作要求，使作戰人員能夠保持C2的優勢"（Colpo，2016）。

另一方面，美國艦艇的海上行動，特別是在沿海地區，將繼續存在爭議和危險；因此，當務之急是發展DMO和EABO，以實現統一的行動愿景。DMO的目的是在有爭議的環境中支持國家和戰略目標。DMO的概念不僅將進攻性打擊視為在戰斗中獲勝的主要戰術，而且還將欺騙和迷惑敵人的能力確定為在有爭議的環境中獲得成功的關鍵任務。目前的工作重點是將現有的平臺、系統和能力與DMO的具體戰術相結合，以實現海上戰略和作戰目標。DMO被定義為 "通過使用可能分布在遙遠的距離、多個領域和廣泛的平臺上的戰斗力來獲得和保持海上控制所必需的作戰能力"（海軍作戰發展司令部[NWDC]，2017）。

DMO作為海軍和海軍陸戰隊資產運作的一個概念，其發展源于分布式殺傷力（DL）模型（Popa等人，2018）。DMO的概念采用了DL的擴展觀點，由三個支柱組成：通過網絡射擊能力提高單個軍艦的攻擊力，將攻擊能力分布在廣泛的地理區域，并為水面平臺分配足夠的資源，以實現增強的作戰能力（Rowden, 2017）。DMO還強調在所有領域，包括空中、地下和網絡戰，都需要更有彈性和可持續性的水面平臺。DMO的未來觀點是成為以艦隊為中心的戰斗力，通過整合、分配和機動性，允許在多個領域（有爭議的空中、陸地、海上、太空和網絡空間；國防部，2018）同時和同步執行多種能力和戰術，以便在復雜的有爭議的環境中戰斗和獲勝（Canfield，2017）。因此，DMO不僅包括傳感器、平臺、網絡和武器的傳統戰爭能力，而且還延伸到隨著新技術發展的其他戰術。DMO概念使用涉及ISR、機器學習（ML）和人工智能（AI）的先進探測和欺騙，特別是使用無人系統來增強進攻性戰術行動的能力；因此，通過潛在地利用平臺、傳感器、武器、網絡和戰術的不同組合，可以在所有海上領域放大一支多樣化但統一的部隊的戰斗力。

DMO的概念包括詳細的能力，如反措施、反目標和反介入的戰術。反措施是旨在轉移威脅的防御性能力。反目標可能是進攻性能力、欺騙性戰術和轉移威脅的作戰演習。欺騙性戰術包括無人資產群、機械和物理反措施、電子干擾和限制電磁輻射，或排放控制（EMCON）。反介入是為了消除威脅。

傳統上，基線部隊結構由一組固定的友軍艦艇和飛機組成，排列成行動組，包括航母打擊組（CSG）、遠征打擊組（ESG）、水面行動組（SAG），以及各種獨立的可部署單位，如EABO的遠征海軍部隊。

DMO的行動要求包括能力、人力、維護和供應等資源，需要仔細分析、計劃和執行，這需要正確的數據戰略、分布式基礎設施和深度分析。威脅與能力協同進化矩陣（TCCM）的技術概念解決了DMO和EABO行動的要求。威脅是一種能力試圖處理的問題，包括其復雜性和緊迫性。一種能力是代表威脅的問題的解決方案。來自ML/AI社區的協同進化算法探索了一些領域，其中能力或能力組合的質量由其成功擊敗威脅或威脅組合的能力決定。戰爭游戲模擬中使用的協同進化算法類似于國防應用中廣泛使用的蒙特卡洛模擬，只是它們參與了預測和預報、優化和博弈（minmax）算法等ML/AI。DMO和EABO概念要求處理不斷變化和發展的威脅的能力和資源網絡的靈活性和進化。

圖 1. 每個節點都使用 CLA 注意：每個節點的內容和數據可能包括能力；首先需要對能力進行索引、編目和數據挖掘。

圖 2. TCCM 和兵棋仿真的概念