凝聚力是人類-自主性編隊功能和效率的一個重要方面，但目前還需要更有力的方法來充分衡量這一結構。本報告記錄了開發和驗證新團隊凝聚力量表的過程，該量表專門用于人類-自主團隊。我們在此描述了開發過程的各個階段，包括條目開發、量表條目評估、內容驗證以及在線量表驗證研究，以進一步減少條目數量。綜合來看，這些分析的結果凸顯了幾個具有非常好測量屬性的條目，尤其是用于評估互補性、士氣、領導方向和效能感的條目。然而，一些具有出色測量屬性的條目仍然屬于存在明顯問題的測量量表。總之，這些結果將有助于為未來人類自主團隊凝聚力的測量提供指導性建議。

引言

由于人類-自主性團隊（HAT）文獻的基礎是建立在人際團隊或人類團隊的基礎之上（Morrow 和 Fiore，2012 年），因此我們在此將團隊的人際定義擴展到 HAT，即 "兩個或多個[團隊成員]朝著共同的、有價值的目標、目的或任務進行動態、相互依賴和適應性的互動，......各自被分配執行特定的角色或功能，并且成員的跨度有限"（Salas 等，1992 年，第 4 頁）。在本研究范圍內，HAT 由一個或多個人類隊友與一個或多個自主系統或智能體（IAs）組成，通過協作完成任務或目標（Demir 等人，2019 年）。

在這種新的團隊動態基礎上，人工智能的最新進展賦予了自主系統和其他 IAs 更強的獨立性和相互依存性，從而使技術從僅以有限的方式支持或增強人類表現的角色，轉變為作為真正的團隊成員，真正擴展整體團隊動態和能力的角色（Phillips 等人，2011 年；Demir 等人，2019 年）。在這種情況下，IAs 是自主實體，有能力觀察環境并采取行動，還能開展活動以實現個人和集體目標（Russell 和 Norvig，2010 年）。IAs 可以是基于計算機的實體（即嵌入式智能體），也可以是物理實體（即嵌入式智能體，又稱機器人）。在嵌入式和嵌入式智能體系統中，可以使用多種類型和級別的自主性執行多種任務，這使得人類隊友很難理解智能體的行動或決策過程。因此，作為團隊成員的人類和自主系統的成功融合需要雙方理解對方的推理、行動和意圖（Chen 等人，2018 年；Schaefer 等人，2017 年）。這種共同理解是團隊合作以及信任和凝聚力等關鍵團隊狀態發展的基礎。

1.1 團隊凝聚力的定義和人類自主性團隊中的差距

團隊凝聚力被視為團隊成功的最重要決定因素（Carron 和 Brawley，2000 年）。研究表明，團隊凝聚力可通過提高績效來提高團隊的生產力，并對團隊成員產生積極的心理影響（Beal 等人，2003 年；Mathieu 等人，2015 年；Neubauer 等人，2016 年）。雖然對人類團隊進行了深入研究，但團隊凝聚力尚未在 HATs 中得到探索，盡管在過去的十年中，人們對人類與機器人或自主系統的團隊合作產生了濃厚的興趣，尤其是在軍事領域（Barnes 和 Evans，2010 年）。與人與人之間的團隊相比，在 HATs 中，溝通、組織層級和協作的方式有所不同（Lakhmani 等人，2022 年）。這可能會對有效合作以及開發關鍵團隊流程構成挑戰。因此，有必要了解團隊凝聚力的哪些方面與 HAT 有關，以及如何對其進行衡量。

凝聚力的實際定義是 "促使團隊成員待在一起并愿意一起工作的共同紐帶/吸引力"（Salas 等，2015 年）。了解凝聚力還要求我們 "了解信任的程度，從而提高使用率和人類與機器人的有效互動"（Schaefer，2016 年，第 216 頁）。作為一種建構，由于凝聚力的擴展性，將其分為因子和子維度是最有效的方法（Griffith 1988; Zaccaro 1991; Griffith and Vaitkus 1999; Dion 2000; Salas et al.） 因此，我們對人類團隊凝聚力進行了全面的文獻綜述，并將凝聚力分為幾個維度和子維度，這些維度和子維度在文獻中被普遍認為是凝聚力的因素（Lakhmani 等人，2022 年）。這些因素是主觀量表的基礎，專門用于測量 HAT 中凝聚力的獨特特征。

在 HATs 中，凝聚力的處理和定義應不同于人類團隊，因為人類與自主代理之間的社會互動是獨特的，并在團隊協調中發揮著重要作用（Walliser，2019 年）。因此，HAT 必須保持足夠水平的團隊凝聚力，才能使團隊在任務成功方面表現出色，并保持心理健康。團隊凝聚力和團結是使團隊能夠更好地執行任務的重要因素（Mudrack，1989 年；Beal 等人，2003 年；Chiocchio 和 Essiembre，2009 年）。當我們尋求將人類和自主系統 "組隊 "時，這些因素都是需要考慮的重要因素。隨著技術滲透到我們生活的方方面面，我們必須學會如何利用技術的優勢，同時盡量減少其弱點。在這一研究方向中，同樣重要的是要擴展以前開發的凝聚力衡量標準，以確定以前使用的人際團隊凝聚力衡量標準是否仍然適用，或者是否需要進行調整，以更好地適應 HAT 內不斷變化的動態。

關于凝聚力測量方法，雖然現有的方法可以評估團隊凝聚力，但目前還沒有專門針對 HAT 的自我報告量表。因此，當前工作的目標是開發一種新的主觀凝聚力量表，使我們能夠評估團隊凝聚力、團結以及其他有助于提高 HAT 效能的因素。本報告記錄了量表開發過程，該過程遵循 Boateng 等人（2018 年）概述的三階段方法。在第 1 階段的項目開發中，生成了量表項目，并由主題專家 (SME) 對內容進行了驗證。在第 2 階段，根據 SME 的反饋創建量表；在第 3 階段，開展在線研究以評估量表的信度和效度。我們評估的項目使我們能夠確定哪些因素在維持高功能團隊中發揮了最大作用。

1.2 量表開發過程

量表開發過程可分為三個階段： 1）條目開發；2）量表開發；3）量表評估（見圖 1）。

1.2.1 第 1 階段：條目開發

條目開發包括兩個部分：初始條目庫生成和內容驗證。

條目生成是研究人員為初始條目庫建立理論支持的方式（Morgado 等人，2018 年）。使用的方法有演繹法和歸納法兩種。演繹法包括在廣泛的文獻回顧和已有量表的基礎上生成條目（Morgado 等人，2018 年）。歸納法包括根據從專家目標人群收集的意見中獲得的有關構建的定性信息進行條目開發（Morgado 等人，2018 年）。在這項工作中，最初開發的條目庫取自現有的人類凝聚力量表，共產生 134 個項目，用于內容驗證實驗。

圖 1 量表開發和驗證的三個階段和九個步驟概覽（Boateng 等人，2018 年）

為了更準確地理解團隊凝聚力這一概念，我們進行了一次全面的文獻綜述。經過這一努力，我們發現有些方法認為凝聚力由兩個維度組成：凝聚力的方向--縱向（上下級關系）或橫向（同伴關系）；以及凝聚力的功能--工具性（基于任務）或情感性（與人際支持有關）（格里菲斯，1988 年；迪昂，2000 年）。另一種方法來自軍事凝聚力，它將凝聚力劃分為四個相關的組成部分，由主要（如縱向和橫向凝聚力）和次要（如組織和社會凝聚力）等級組成部分組成（Siebold，2006 年）。在對這些凝聚力模型進行匯總的基礎上（Lakhmani 等人，2022 年），我們設計了一個凝聚力框架來組織我們的條目庫（見圖 2）。

圖 2 當前 HAT 凝聚力量表所使用的凝聚力五維模型的可視化。凝聚力的每個維度下都列出了子維度。

根據這些多維表征，我們設計的量表包括以下五個凝聚力因素： 功能凝聚力、結構凝聚力、人際凝聚力、團隊互補感和團隊應變能力。這些因子及相關子因子或維度的描述如下：

1. 基于功能的任務凝聚力

工具或任務凝聚力以行動為導向或積極主動，被定義為一個團體對團體任務或目標的共同承諾或吸引力，或團體的團隊合作能力（Siebold，1999 年）。此外，它還是對團體任務和目標的共同理解和承諾（Beal 等人，2003 年）。這也許最直接適用于與智能代理的團隊合作，因為這種類型的團隊合作需要一定程度的共同任務參數和目標。

2. 結構凝聚力（四個子維度）

a. 排他性

根據自我歸類理論，排他性反映了個人（通過態度、行為）遵守群體規范的程度，這些規范是內群體的特征，并將個人與外群體區分開來（Hogg，1992 年）。不同群體的成員如果認為自己屬于一個上級群體，就會越來越多地把以前的外群體成員視為一個更大、更具包容性的群體的一部分（Gaertner 和 Dovidio，2009 年）。然而，如果上層群體不承認次群體的差異，次群體成員就會更加維護自己的群體，而犧牲其他群體的利益（Crisp 等，2006 年）。

b. 對團隊的吸引力/對離開團隊的抵觸情緒

人際吸引是指對群體成員的共同喜愛或依戀；但需要注意的是，喜歡群體成員與喜歡群體并不是一回事（Beale 等人，2003 年；Abrams 和 Rosenthal-von der putte，2020 年）。相反，喜歡群體與凝聚力的另一個組成部分：群體自豪感更密切相關。人際間的吸引力一直被認為是小群體凝聚力的核心，以至于一些單維度的凝聚力概念將兩者等同起來（Dion，2000 年；Lott 和 Lott，1965 年）。雖然這種方法已經過時，但人際吸引已被證明與績效有著重要的相關性（Beal 等人，2003 年）。

c. 規范

規范是評價一個團體中哪些行為可以接受、哪些行為不可以接受的標準，用以確定對團隊成員的期望（Forsyth，1999 年）。規范與任務凝聚力是相輔相成的，因為規范可用于集中團隊成員的力量完成小組任務（Carron 和 Spink，1993 年）。由于規范可用于提高（或降低）績效，因此它們在凝聚力與團體績效之間的關系中起著調節作用（Carron 和 Spink，1993 年；Langfred，1998 年）。

d. 凝聚力的領導方向

凝聚力的主要維度，即凝聚力的方向，強調等級制度在團隊凝聚力中的作用（格里菲斯，1988 年）。就目前的工作而言，這一維度是上下級關系的對比（Siebold 和 Kelly，1988 年；Dion，2000 年）。這種區分經常被納入對軍隊凝聚力的研究中（Siebold 和 Kelly，1988 年；Grossman，2014 年）。

3. 人際凝聚力（四個子維度）

a. 團隊自豪感

團隊榮譽感，即對團體信念和團體代表的支持，似乎是凝聚力中一個以情感為基礎的重要組成部分。它是指團體成員對團體所支持或代表的地位或意識形態的喜愛程度（Beal 等人，2003 年）。它也被定義為作為群體成員的共同重要性，在凝聚力文獻中長期占據重要地位（Mullen 和 Copper，1994 年）。在凝聚力與績效的關系中，群體成員會因為屬于一個地位高、成功的群體而更加努力地工作，但在凝聚力與績效的關系中，它并不是一個預測因素（Mullen 和 Copper，1994 年）。作為一個因素，群體自豪感在凝聚力文獻中的地位似乎不像以前那么突出了；因此，我們認為它與 HAT 的凝聚力并不特別相關，尤其是當自主性變得越來越普遍時（這就不再是一種潛在的地位象征）。

b. 社會凝聚力

社會凝聚力被認為是凝聚力的另一個主要功能（Griffith 和 Vaitkus，1999 年；Dion，2000 年）。社會凝聚力也被稱為人際凝聚力，是指群體成員對群體的吸引或喜愛以及對群體成員的信任（Evans 和 Jarvis，1980 年；Siebold，1999 年；Craig 和 Kelly，1999 年）。個人層面的社會凝聚力指標包括以下幾個方面： (a) 個人的成員態度（他們留在群體中的愿望或意圖，他們對群體的認同或忠誠，以及對群體或其成員的其他態度）；(b) 個人的成員行為：他們決定斷絕、削弱、保持或加強其在群體中的成員身份或參與，他們對人際影響的敏感性，以及對群體的承諾和依戀的其他行為指標（Friedkin 2004: 410）。

社會凝聚力被認為是運作良好的群體不可或缺的一個方面（Ahronson 和 Cameron，2007 年）。然而，研究人員描述了凝聚力在功能或方向維度之外的其他組成部分，其要素可歸入社會凝聚力，如歸屬感或士氣（Dion，2000 年；Grossman，2014 年）。

c. 歸屬感

源于 Bollen 和 Hoyle（1990 年）的研究，歸屬感是指群體成員相互吸引的程度（Salas 等人，2015 年）。歸屬感基于群體成員對自己在群體中歸屬程度的認知評價以及對這種評價的情感反應（Bollen 和 Hoyle，1990 年；Grossman，2014 年）。凝聚力的這一方面被認為是群體存在的根本，因此，群體歸屬感是任何其他群體特征的先決條件（Bollen 和 Hoyle，1990 年）。對歸屬感的研究表明，它與社會結果和社會自尊相關（Dion，2000 年）。

d. 士氣

士氣與歸屬感都源于 Bollen 和 Hoyle（1990 年）關于感知凝聚力的研究。士氣是指與群體相關的積極或消極的整體情感反應（Bollen 和 Hoyle，1990 年）。士氣也可定義為個人對群體成員的忠誠度以及為群體承受挫折的意愿（Salas 等人，2015 年）。這一因素還具有時間性，因為它決定了群體成員對沖突或挫折的反應（Dion，2000 年；Grossman，2014 年）。雖然這一因素與歸屬感高度相關，但它實際上是有區別的；說明這一區別的一個例子是，自然災害襲擊一個城市，可能會增加人們對該城市的歸屬感，同時降低士氣（Bollen 和 Hoyle，1990 年）。

4. 感知團隊

互補性 互補性是指小組成員為大團隊帶來的技能組合的多樣性，以及這些技能組合如何滿足環境需求（Muchinsky 和 Monahan，1987 年）。互補性是最近推測的凝聚力維度（Lakhmani 等人，2022 年），由一些社會凝聚力和任務凝聚力組成（例如，機器人/自主系統必須擁有能夠補充/增強團隊技能或能力的技能，以完成所需的任務）。假設當團隊成員表現出不同但互補的技能時，團隊就會變得有凝聚力，使一些團隊成員能夠彌補其他團隊成員的弱點。

5. 團隊應變能力（三個子維度）

當團隊遇到環境和團隊壓力時，恢復力是團隊凝聚力和后續成功的基礎（Berg 等人，2021 年）。團隊復原力被定義為 "一個多階段的過程，在這一過程中，團隊成員有意識地集體運用技能、能力和資源，通過計劃和預測不利事件，使團隊做好應對逆境的準備；通過承受或適應壓力源，成功應對挑戰性事件；以及在事件發生后進行恢復，這涉及到團隊通過事件后的學習和成長，恢復到平衡狀態（如反彈）或改善狀態"（Cato 等，2018 年，第 53 頁）。

此外，可以說復原力是發展高度凝聚和信任的人類團隊的一個關鍵特征（Gittell 等人，2006 年；Norris 等人，2008 年）。事實上，復原力有時被視為團隊狀態的組合，包括集體效能、共享心智模式和熟悉度（Bowers 等人，2017 年）。這一領域的工作與極端環境下的團隊尤為相關，在極端環境下，團隊凝聚力受到的影響不同于正常條件下的團隊（Salas 等人，2017 年）。例如，在極端環境中工作的個人傾向于夸大問題，這可能會導致團體受損，因為緊張加劇和對團隊問題的感知會對團隊凝聚力產生負面影響（Stuster，1996 年）。然而，軍事單位的凝聚力已被證明可以抵消這些極端環境壓力（Williams 等人，2016 年）。近年來，人們一直在推動將機器人系統作為團隊成員整合到軍事行動中，以提高效率并降低作戰人員的風險（Barnes 和 Evans，2010 年）。這些 HAT 對開放式的復雜條件尤其有效，因為在這種條件下，任務的各個方面并不總是有規劃或計劃（例如，作戰情況；Chen 和 Barnes，2014 年），HAT 可協助信息規劃、任務規劃和分配以及團隊運作（Sycara 和 Sukthankar，2006 年）。然而，最重要的是要了解將機器人系統融入人類團隊可能會如何破壞團隊的同質性以及隨后的凝聚力和復原力（O'Reilly III 等人，1989 年；Smith 等人，1994 年）。

1.2.2 初始項目庫

為了開發本量表，我們對現有的團隊凝聚力量表進行了全面的文獻回顧，以調整最適合本框架的條目（Berg 等，2021 年）。我們的結果是建立了一個包含以下維度的 134 個條目的初始條目庫：基于功能的任務凝聚力、結構凝聚力（格里菲斯，1988 年）、人際凝聚力（薩拉斯等，2015 年）、感知團隊互補性（皮亞森汀和查普曼，2007 年）以及團隊復原力（卡托等，2018 年）。其中許多維度在人類團隊凝聚力文獻中都是眾所周知的；然而，在目前的量表開發工作中，還考慮增加兩個因素（即與互補性和恢復力維度相關的條目）。在這種情況下，有觀點認為，當 "個人擁有的獨特特征被認為與他人的特征不同，但又對組織有價值 "時，就會產生互補性（Piasentin 和 Chapman，2007 年，第 234 頁）。在感知互補性方面，我們采用了 Oosterhof 等人（2009 年）和 Piasentin 與 Chapman（2007 年）的 18 個條目。關于團隊復原力的子維度，我們改編了 Sharma 和 Sharma（2016 年）的 20 個量表項目（關于項目改編的更多信息，請參閱 Berg 等人，2021 年）。

內容驗證。條目開發的第二步包括理論分析。在這一步驟中，需要進行內容效度評估，因為推論是基于最終的量表條目做出的（Morgado 等人，2018 年）。這一評估包括主題專家或用戶群的意見。

我們的初始條目庫被發送給 11 位來自學術界和政府機構的主題專家，他們以研究團隊凝聚力和/或 HAT 而聞名。這些主題專家完成了內容驗證程序，使用 3 點順序量表對 134 個條目中的每個條目進行評分（0 ="不應納入量表"；1 ="必須納入量表"；2 ="必須納入量表"）。此外，主題專家還為項目提供了定性的書面反饋和建議。條目分析采用了 Lawshe（1975 年）概述的內容效度比率和程序。條目級主題專家同意度的計算公式得出的數值從 +1 到 -1 不等；正值表示至少有一半的主題專家將該條目評為 "極其重要"。在有 11 位主題專家參與的情況下，條目刪除的臨界值被確定為 0.59，以確保主題專家的一致性不太可能是由于偶然因素造成的，這導致條目從 134 個減少到 82 個（附錄 A）， 這些條目將在第二階段的在線研究中進行評估。

1.2.3 第二階段：量表開發

第二階段的目標是減少條目庫，并確定量表中的潛在因子。這一過程有四個步驟：預測試、量表管理和樣本量、條目縮減分析和因子提取（詳見 Boateng 等人，2018 年）。預測試通過剔除無關或措辭不當的條目，修改剩余條目使其易于被目標人群理解，從而確保條目對目標人群有意義。本量表的預試是在前面提到的主題專家審查期間進行的。部分定性反饋包括對原 134 個量表條目的修訂，以使其更好地符合 HAT 凝聚力的背景。

一旦主題專家的反饋意見得到落實，我們就開始進行數據收集，采取調查管理和建立足夠樣本量的步驟。第 2 節將介紹這一過程。這一數據收集也是測試-重測設置的初始基線，在評估階段需要進行有效的可靠性測試。

數據收集完成后，我們開始了條目還原分析步驟，在這一步驟中，我們結合使用了確認性和探索性因素分析方法。首先，我們使用確證分析法來檢驗為測量不同構念而設計的條目是否符合一系列單因素模型。如果模型擬合度不高，我們就會刪除條目，直到得到一個擬合度較高的模型，然后對模型進行縱向不變性測試。在進行不變量測試時，我們可以檢查條目反應在不同情境下是否具有相同的因子結構，我們還可以確定特定項目是否不具有不變量，是否應該刪除。第 3 節將詳細討論這一過程。最后，我們對縮減后的量表進行了探索性因子分析，以檢驗新項目是否加載到我們的團隊凝聚力標準測量中--如果項目與既定量表聚類，則考慮將其刪除；如果項目聚類到一個不同的因子上，則保留這些項目以測量該新的子維度。

1.2.4 第三階段：量表評估

最后一個階段是量表評估的心理測量分析。該分析評估量表是否具有建構效度（工具所測量的內容）和信度（得分一致性）（Morgado 等人，2018 年）。下一節將概述驗證研究，該研究用于量表評估過程。

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

這項工作利用開源工具創建了一個虛擬環境和車輛，與現實世界的條件相比較，以測試、訓練和評估不同的機器學習方法。特別是，在自監督的學習策略下，卷積和長短時記憶遞歸神經網絡的結合，避免了大量的標簽，并能學習新的模式和地形，特別是影響或限制移動性的模式。在自監督的結構中，LSTM產生連續的結果，提供給CNN。由于攝像機是正面觀察，而LSTM只有在實際到達表面時才進行分類，因此該策略需要一種網絡配置，使兩種類型的數據兼容，以創建一個共同的地圖。重新訓練的CNN層通過“凍結”特征提取器被傳遞到在線工作。通過地圖運行每個模型，并對結果進行歸一化處理以使其具有可比性，顯示出針對驗證數據不同級別的準確性，這些驗證數據分別使用兩個網絡上的弱標記和完全標記的數據，以及擬議的自監督結構中的組合。這表明單個網絡對驗證數據的準確率為85.93%，對弱標記數據的準確率為94.61%。由于允許網絡使用代表同一類數據的不同來源，所以在組合方法上有更好的結果。

圖1 TRACER X車輛在虛幻引擎4（UE4）中創建的地形上，并重新創建了視覺和物理屬性。這使得車輛可以探索一個地圖，呈現出固定化威脅有關的物理和視覺屬性。在車輛探索的同時，它還創建了一個按低、中、高移動性劃分的地圖，使用ORBSlam在地圖上定位表面的空間。

圖2 仿真過程的軟件結構考慮了創建模型、模擬物理、讀取傳感器以及結合控制和智能策略的要素

建模與仿真即服務（MSaaS）體現了這樣一個理念：仿真應該由松耦合的共享組件、仿真服務在基于云的環境中為手頭的任務快速組成。然后，這些模擬作為組成的模擬服務，提供給人類和技術消費者。這方面的重要功能是讓仿真操作員發現和組合仿真服務并執行組合。我們用我們所說的MSaaS基礎設施能力來描述這一功能。按照逐步完善的理念，仿真服務的發現和組合可以在設計時使用與實施無關的仿真服務信息，在實施時使用與實施有關的仿真服務信息。執行環境也可以在設計時和實施時進行設置。因此，我們在描述MSaaS基礎設施的能力時，要說明它們是如何用于獨立于實施的和特定于實施的服務信息的。通過做這些闡述，我們打算更深入地了解如何進行模擬服務的發現、組成和執行。我們的結論是，盡管MSaaS基礎設施所需的大部分功能都可以通過現有的平臺和框架獲得，但為了實現MSaaS的愿景，有必要將這些功能作為服務，與（組成）仿真服務一起提供。

圖 1. 建模和仿真即服務 (MSaaS) 聯合框架，具有 MSaaS 門戶功能（發現、組合、執行）和用于數據管理、組合以及服務管理和控制的 MSaaS 基礎設施功能。

引言

對行動、訓練和演習的模擬支持具有很大的潛力，它可以支持和增強行動過程，并通過新的方面和擴展的接觸來加強訓練。隨著多國部隊的相互聯系越來越緊密，對國防活動的模擬支持被認為將變得越來越重要。

然而，建立和執行分布式模擬是一個漫長的過程，根據所涉及的系統的復雜性和特點，有各種障礙。由于系統的版本和設置可能在這期間被更新或改變，因此每次行動或演習都必須重復這一過程。跨網絡的系統連接也帶來了自己的一系列問題。所有這些挑戰使得在分布式模擬的生命周期中，有必要在每個地點配備熟練的技術人員，這增加了已經很復雜的后勤工作和有時漫長的操作和演習計劃。

建模與仿真服務（MSaaS）--尤其是北大西洋公約組織（NATO）的MSaaS聯盟框架--提出了一個愿景，即為行動、演習和培訓設置仿真應該是快速和容易的。該服務概念通過通用功能的標準化體現了可重用性，并通過松散耦合和標準化的服務描述體現了可組合性。

圖1說明了這一理念，供應商在云環境中共享仿真服務。仿真操作員使用一個基于網絡的門戶來發現并將仿真服務組合成一個仿真組合來執行。組成的仿真本身可以作為服務提供，以便重復使用。云環境促進了 "按需、隨地 "的模擬訪問。事實上，基于云的模擬和MSaaS被認為是 "巨大的挑戰"，對模擬軟件提出了新的要求，特別是對服務描述、服務發現和服務組合的需求。

門戶網站中發現、組成和執行模擬的功能是由MSaaS基礎設施能力的集合提供的，這些能力分為數據管理、組成以及服務管理和控制（SMC）的能力（圖1）。討論的主線是闡述這些MSaaS基礎設施能力應該是什么，目的是為了更好地理解在面向服務的環境中處理模擬的基本機制。我們的闡述是建立在早期的MSaaS經驗之上的。

在MSaaS的參考架構中，服務目前被稱為是獨立實施的。也就是說，服務是由其獨立于實施的服務描述來識別的，參考架構中列出了一些與建模和仿真相關的服務。當獨立于實施的服務描述被標準化并以機器可讀的格式表達時，可以建立工具來支持某種程度的自動發現和組成。這就支持了MSaaS快速仿真部署的愿景，并進一步支持了仿真操作員（圖1）在未來可能成為非技術培訓師或其他操作人員的愿景。

然而，為了對面向服務的標準和仿真協議世界中的開發者有用，這些標準和協議中的每一個都可能處于不同的特定實現抽象水平，MSaaS參考架構需要包括相應的抽象水平。此外，從概念建模到設計再到實現的步驟中所表達的逐步細化原則，進一步激勵了擁有多個抽象層次的服務概念。

因此，在闡述MSaaS基礎設施能力時，我們在考慮這些能力如何在模擬服務抽象的幾個層次上運作的同時，進行了闡述。這樣就能更好地理解服務抽象層次本身，以及基礎設施能力如何通過這些抽象層次進行逐步細化。

MSaaS依賴于北約國家和組織之間以及民用基礎設施之間共享的云基礎設施。這意味著模擬服務和它們的組合，以及基礎設施的能力，必須在適當的云應用成熟度水平的軟件中實現；例如，見Kratzke的云準備、云友好、云彈性、云本地分類。然而，我們在本文中的重點是了解功能層面的基礎設施能力（Kratzke參考模型中的服務構成和應用層）。確定MSaaS的適當的云應用成熟度水平是下一個重要步驟，在本文中沒有討論。

在認識論上，我們在這里的工作相當于建立格雷戈爾所說的分析型理論和設計與行動型理論。前者由 "是什么 "的概念化組成；在我們的案例中，"是什么 "不是一個物理實體，而是一個概念實體；即一個參考架構。后一種類型的理論描述了 "如何做 "事情，包括設計原則。這兩種類型的理論都不支持理論本身所表達的預測，這些預測可以用傳統的方式進行反駁。相反，可以說，它們通過假設概念化和設計有利于各種目的而暗示了元預測。我們提出的概念化是有益的，這可以通過從業者和研究者發現它有多大用處、它在解析性方面有多好、它有多有趣以及理論的其他質量方面來進行分析和經驗性的驗證。這種驗證必須由其他研究者和實踐者長期進行，并與不斷發展概念化的研究者合作。

在第2節中，我們回顧并闡述了MSaaS參考架構的服務概念，在這個概念中，服務可以在幾個抽象層次上被聲明--使用服務描述，從獨立于實施到具體實施。然后，我們在第3節中介紹了MSaaS的基礎設施能力，并在第4-6節中分別闡述了與服務抽象層次有關的組成數據、組合和SMC能力。我們在第7節中得出結論。

圖7. 建模和仿真即服務基礎設施功能之間的關系。

普渡團隊的提案只針對TA1，其重點是使用機器學習模型來檢測社交工程信息。普渡團隊加入了由伯克利和CMU領導的團隊，組成了LASER團隊。普渡大學團隊開發了訓練社交工程郵件分類模型的技術，并參與了模擬運行和評估工作。我們開發了三個模型。兩個模型分析了主題和正文中的文本。一個TF-IDF（術語頻率-反向文檔頻率）模型使用標準術語頻率信息。第二個模型從文本中提取動機特征來識別信息作者的意圖（例如，獲取信息，訪問社交網絡）。第三個模型是一個知識和圖形模型，從發送者和接收者的信息中提取關系特征。一個集合模型將三個模型的輸出匯總起來進行預測，它由邏輯回歸模型和神經網絡模型組成。該團隊廣泛地探索了不同的模型、訓練技術以及它們對準確性的影響。

本報告總結了迄今為止在路線偵察領域的本體開發的進展，重點是空間抽象。我們的重點是一個簡單的機器人，一個能夠感知并在其環境中導航的自主系統。該機器人的任務是路線偵察：通過觀察和推理，獲得有關條件、障礙物、關鍵地形特征和指定路線上的敵人的必要信息。路線偵察通常是由一個排的騎兵和非騎兵進行的。這項研究探討了機器人執行部分或全部必要任務的合理性，包括與指揮官進行溝通。

1.1 背景與動機

這是一項具有挑戰性的對抗性任務，即地形穿越加上信息收集和解釋。偵察的解釋方面需要考慮語義學--確定相關的信息和確定它如何相關（即有意義）。語義信息在本質上是定性的：例如，危險是一個定性的概念。為了將危險與某些特定的區域聯系起來，我們需要一種方法來指代該區域。這意味著至少能夠給空間的某些部分附上定性的標簽。

Kuipers在他的空間語義層次的早期工作中指出了空間的定性表示對機器人探索的重要性。例如，層次結構的拓撲層次包含了 "地方、路徑和區域的本體"，歸納產生了對較低層次的因果模式的解釋。

最近，Izmirlioglu和Erdem為定性空間概念在機器人技術中的應用提供了以下理由：

• 各種任務，如導航到一個目的地或描述一個物體的位置，涉及處理物體的空間屬性和關系。......或某些應用（如探索未知環境），由于對環境的不完全了解，可能并不總是有定量的數據。......可理解的相互作用和可接受的解釋往往比高精確度更可取（Kuipers 1983）。對于這些應用，定性的空間關系似乎更適合。

對于負責路線偵察的無人地面車輛（UGV）來說，其架構中的不同模塊將消費和產生語義信息：負責語義感知和目標識別、計劃和執行、自然語言對話等的模塊，加上主要負責維護信息的語義世界模型。例如，在美國陸軍作戰能力發展司令部陸軍研究實驗室的自主架構中，語義/符號世界模型被用來 "實現符號目標（例如，去接近一個特定的物體）"，*其中接近是一個語義概念。

一個關鍵問題是如何在世界模型和其他模塊之間分配維護和處理不同類型語義信息的責任。從語義世界模型的角度來看，這取決于有多少符號推理是合適的。例如，假設要接近的物體位于一個給定區域的某個位置，而不是靠近該區域的外部邊界。一旦機器人靠近物體，就可以推斷出機器人在物體的位置附近，而且也在同一區域內。如果有公制信息，就可以用幾何例程得出這個結論。在沒有公制信息的情況下，是否會出現在純粹的定性空間中推斷有用的情況？

本報告不涉及這個問題。我們的目標是確定什么應該被代表，而把如何代表和在哪里代表留給未來的工作。

1.2 路線偵察

以下片段取自FM7-92中對路線偵察的描述。空間表達是彩色的，周圍有一些文字作為背景。

• 路線偵察的重點是獲得關于一條指定路線和敵人可能影響沿該路線移動的所有地形的信息。路線偵察的方向可以是一條道路、一條狹窄的軸線（如滲透通道），或一個總的攻擊方向......防御陣地。......部隊可以機動的可用空間......所有障礙物的位置和類型以及任何可用的繞道位置。障礙物可包括雷區、障礙物、陡峭的峽谷、沼澤地或核生化污染 ......沿途和鄰近地形的觀察和火力范圍 ......沿途提供良好掩護和隱蔽的地點 ......。橋梁的結構類型、尺寸和分類。著陸區和接駁區。與路線相交或穿越的道路和小徑。. . 如果建議路線的全部或部分是道路，則該排認為該道路是一個危險區域。它使用有掩護和隱蔽的路線與道路平行移動。當需要時，偵察和安全小組靠近道路，以偵察關鍵區域。

路線偵察的結果是一份報告，以圖表的形式，并附有文字說明。FM7-92給出了一個例子，我們可以從中提取一些更必要的概念：

• 網格參考。磁性北方箭頭..道路彎道..陡峭的坡度..道路寬度的限制（橋梁，隧道等）..岔道的位置..隧道..

讓我們把這段關于路線偵察的描述中提到的概念建立一個綜合清單，重點放在空間概念上，并盡可能地保留軍事術語:

1）必須指定環境中的位置、路線、區域和感興趣的物體。稱這些為 "實體"。

2）這些實體之間的空間關系是相關的（例如，一個地點在另一個地點的北邊）。值得注意的是，不同類型的實體之間的關系是被指定的。

a. 物體（例如，障礙物）在位置或區域。

b. 一些地點在空間上與路線有關（例如，沿著路線，毗鄰，或靠近道路）。

c. 地點可能代表更大的區域（例如，雷區的位置）。

d. 道路和小徑可以與路線相關：它們可能相交、重疊（部分疊加），或平行運行。

3. 一些實體對路線具有戰術價值，無論是進攻還是防御（例如，雷區）。

a. 一些地點相對于其他地點或區域有方向性的定位（例如，一個防御性的位置）。

b. 有些區域是由其與另一個區域或地點的關系來定義的，這可能不是一種局部的關系（例如，觀察和火力場是由一個潛在的遠程位置來定義的，該位置有一條通往路線上的一個區域的線路）。

4）路線可能被障礙物阻擋，障礙物可能是明確的物體或更大的區域（例如，一個障礙物與一個雷區）。

5. 路線和地形的三維幾何特性是相關的：道路上的急轉彎，陡峭的坡度，等等。

6）有時，描述物理基礎設施（如道路、橋梁）及其屬性是很重要的。

1.3 路線偵察抽象

路線偵查收集和解釋不同種類和不同來源的信息:

• 背景知識。這包括關于環境特征的類型和預期成為任務一部分的物體的信息，包括道路、障礙物、溝壑、橋梁等等。

• 任務規范。確定偵查的區域和路線，以及當時可獲得的任何信息。

• 環境。通過空間分析（包括幾何學、拓撲學等）、感知、地圖衛星數據的離線圖像處理和其他類型的分析，確定環境的相關特征。

• 任務執行期間的通信。我們假設指揮官或人類操作員在偵察過程中可以向UGV提出詢問或命令，提供新信息或集中注意力。

• 如前所述，一份報告。

原則上，所有這些信息都以某種抽象的形式組合在一個語義世界模型中。我們把環境的物理屬性和特征稱為 "實體"。把我們用來表示這些實體和它們之間關系的抽象概念稱為 "概念"。

不同類型的實體的概念。層次結構在語義表征中很常見，用來捕捉關于世界上遇到的實體類型的一般知識。一個類型就是一個概念，類型被組織在一個層次中：MRZR是一種輕型的、戰術性的、全地形的車輛，它是一種輪式地面車輛，它是一種地面車輛的類型，等等。屬性和關系可以與一個給定的概念相關聯，而下級概念則繼承這些屬性。在路線偵察中，如果有信息說某一地區有一條道路，但沒有更多的細節，仍然可以從道路的概念中推斷出它的預期屬性：它比它的寬度長得多；它在人們感興趣的地點之間通向；在其他條件相同的情況下，它可能比周圍的地形行駛得快。從實用的角度來看，這意味著如果有可能將某物歸類為一個已知的概念，那么語義世界模型就不需要記錄關于該物的每一條相關信息。

用于實體的目的和用途的概念。一個代表道路典型用途的概念可以進一步區分其長度和寬度的語義，這反過來又導致了跨越和沿途、穿越和跟隨等概念之間的區別。這將使UGV能夠以不同的方式對待 "偵察道路對面的區域 "和 "偵察前方的道路 "的命令。前方的道路也是一個語義概念：它取決于對過去去過的地方的了解。

代表部分信息的概念。有時可能會有定性的信息。想象一下，任務規范的一部分是關于雷區在計劃路線上存在的信息，但不知道具體位置，或者知道雷區的位置，但不知道其范圍。這種無知可以很容易地在代表實體的概念中得到體現。

新概念適用于新環境。另一個交流的例子可能是信息性的。想象一下，當一輛UGV穿越一條東西走向的道路時，它與遠程指揮官進行交流，指揮官問道："道路北側是什么？"* 需要識別的物體可能不在道路和地形的邊界上（與 "建筑物的一側 "形成對比），而是在以道路邊緣為界的某個感興趣的區域內，距離UGV的位置向北不遠，向東和向西也有一些距離。這個區域可能沒有事先作為一個概念被劃定；相反，它是在當前的背景下構建或推斷出來的。這是一個有趣的例子，一個概念不是從公制數據中抽象出來的，而是被強加在公制數據上的。

背景中的概念的適應和組合。想象一下，對一張地圖的分析產生了對代表區域、道路等等的概念的分解。這些概念可能直接適用于某些目的。例如，與道路相聯系的概念在推理兩點之間的導航時是有用的。然而，在其他情況下，這些概念可能需要調整或與其他概念相結合。例如，如果一條道路被指定為 "危險區域"，那么這個區域的概念可能會超出道路的邊界，延伸到周圍的地形。

這個項目的目標是開發在具有挑戰性的多目標環境中自主分布式傳感器管理和融合所需的基礎方法。這涉及到開發能夠自動跟蹤多個目標的算法，根據從具有數據關聯不確定性和高誤報率的多個平臺收到的信息進行分類并分配資源。在研究者最近在多目標跟蹤和分布式傳感器融合方面的發展基礎上，該工作方案開發了能夠在大規模多傳感器多目標跟蹤應用中基于信息理論標準實現自主傳感器分配的方法。這是通過重新評估信息理論中的關鍵工具來實現的，這些工具適用于基于點過程理論的多目標監視的挑戰，該理論旨在適應單個目標的狀態和目標數量的不確定性。所開發的信息理論方法被應用于多傳感器問題，使人們能夠決定如何分配傳感器資源，以及完善對場景的認識。所開發的工具將有助于減少監測單一傳感器饋電的勞動密集型負擔，并能做出適應性決定，以優化多模式網絡的運行，并增強對監測區域的整體認識。對多目標跟蹤情景的信息理論表述的關注，將使人們能夠驗證傳感器饋電是否能夠可靠地融合，以避免數據損壞的可能性。該項目在智能傳感方面提供了關鍵的先進技術，以實現動態環境中的連續和適應性監視。這些將是可擴展的，可用于從多個分布式傳感器對許多目標進行大規模跟蹤。

該項目的總體目標是研究和開發基于信息理論原則的分布式多傳感器多目標系統的自主傳感器控制的新策略：

• 為大規模系統的多目標跟蹤開發可擴展的解決方案。

• 開發基于信息論原理的多傳感器融合的分布式解決方案。

• 確定多傳感器多目標跟蹤系統可以交換多少信息。

該項目為多傳感器多目標跟蹤開發了基本的解決方案：

• 對許多目標進行大規模跟蹤。問題的規模越來越大，因此解決方案需要可擴展，跟蹤許多目標需要減輕組合復雜性的算法。多目標跟蹤的低復雜度解決方案將被開發出來，并在復雜環境中進行測試。開發了一種用于穩健地跟蹤大量目標的方法，該方法在目標數量和測量數量上是可擴展的，這使得數百萬目標可以被跟蹤。

• 確定多傳感器多目標跟蹤系統的信息含量。在具有高密度信息的傳感器網絡中，帶寬可能是多傳感器多目標跟蹤的一個制約因素。這個項目得出了確定用于多目標跟蹤的傳感器網絡的信息含量的結果。預計這將有助于評估傳感網絡的效率和有效性，并與發送數據的數量和頻率相平衡。

• 來自多個傳感器的數據的分布式整合。操作員需要根據來自多個跟蹤系統的信息做出決定，以提高整體的態勢感知。為多傳感器集成開發了一種分布式多傳感器多目標跟蹤的新方法，該方法可減輕來自不準確或誤導性數據源的損壞。

• 對多目標監視應用中的威脅進行評估。對許多物體的大規模跟蹤能夠識別直接威脅。然而，有些威脅可能比其他威脅更有針對性。開發了一種新的對抗性風險的表述，為操作人員提供態勢感知，以幫助確定傳感資產的優先次序。

• 目標跟蹤估計器的性能界限。費舍爾信息的倒數，即克拉默-拉奧約束，為參數的估計器提供了一個約束，是統計分析的基礎。它為一個參數提供了一個可實現的最小方差或協方差。根據量子場理論的數學概念，為點過程推導出克拉默-拉奧約束，將這一概念推廣到具有空間變量的變量。

本報告詳細介紹了我們開發技術的方法，即在一個自動框架內調查受自適應系統的自我修復計劃影響的關鍵屬性的再驗證潛力，該框架還測量了自我修復發生時被侵犯屬性的風險。從這項調查中，我們1）設計了一個框架，使基于組件的系統同時具有架構和驗證意識，并能對自我修復計劃進行動態的再驗證狀態評估；2）設計了一個風險評估機制，如果自我修復計劃導致違反關鍵要求，則對系統可能進入的潛在風險狀態發出警報；3）在該框架內測試了Genprog自我修復計劃的應用。該框架已被嵌入到兩個內部案例研究和一個為模仿可穿戴設備操作和通信而開發的測試平臺中并進行了評估。

圖 1：基于元數據的驗證和認證框架

彈性要求自動適應阻礙任務的情況。一個自適應的軟件系統可以監控自己，分析故障的發生，并通過改變其狀態、邏輯或結構來恢復。這樣的自主系統依賴于對系統和環境的持續監測，分析性能異常，根據環境和可用資源規劃最可行的適應策略，并在部署的系統上執行適應。在自適應系統的各個層面都存在大量的研究，例如，架構的重新配置、界面的改變和嵌入式系統的改變，但它主要側重于在不中斷的情況下執行功能或架構改變（Cheng，2009），（Lemos，2013）。一旦改變，強加在最初部署的系統上的同樣的要求合規性保證過程也應該同樣強加在適應的系統上。在系統適應期間和之后的自我驗證方面的研究嚴重不足，特別是對于分布式系統、面向服務的架構和嵌入式系統（Calinescu，2012），（Tamura，2013）。軟件驗證和確認，以及安全認證，都是困難而繁瑣的過程，需要明確的要求、清晰的評估策略，以及不需要比被評估功能更多代碼的自動化方法（Zuo，2011）。本項目定義了一個技術框架，以確定改編是否會抑制用于驗證或認證的原始合規性保證流程的重用，其中驗證指的是正式的方法流程，而認證則專門用于保證安全控制的合規性，如NIST SP800-53（NIST，2013）。它從這些流程中提取關鍵屬性和評估或檢查的流程，以確定適應性將如何影響它們（Jahan, 2017）。影響的破壞性越大，合規保證流程被重用的可能性就越低。流程重用的可能性越低，合規性違反的可能性就越高，因為很少能有替代的合規性保證流程被用于需求（Marshall，2018）。

要構建和部署這項技術，有多個研究問題需要解決。一個主要的研究問題是定義一個策略，以確定在設計和選擇適應計劃時，是否可以通過對適應系統的驗證或認證來重新保證一個需求。面臨的挑戰是要超越識別關鍵屬性和通過驗證或認證確定系統的符合性水平，捕捉和建模最初進行驗證或認證的符合性保證過程。驗證和認證的形式化過程在運行時部署的資源成本太高。盡管模型檢查在合規性保證過程中引入了一個抽象層次，但它在可以表達和評估的內容方面也是有限的（Sharifloo，2015）、（Calinescu，2012）、（Cordy，2013）、（Weyns，2012）。為了解決這個研究問題，我們主張將驗證和認證過程（即合規性保證過程）以一種可以嵌入系統的方式建模，使其具有合規性意識。有了這種意識，就可以開發技術來評估它是如何被保證符合要求的，以及適應性如何影響符合性保證過程的再利用。本報告展示了一個體現這種技術的初始框架。

另一個研究問題是，需要定義衡量標準，將風險水平與確定適應性計劃如何抑制合規性保證過程的再利用聯系起來。此外，一旦計算出一個風險系數，就必須了解該風險是如何在整個系統需求中傳播的。這個項目將風險評估與重新驗證和重新認證的狀態評估結合起來。通過該框架，風險指標直接與受影響的屬性的關鍵性以及這些影響對一個或多個合規性保證過程的再利用的程度相聯系。

第三個研究問題是如何在運行時將合規意識和風險評估編碼到動態適應性計劃分析中（Abie，2012）、（Almeida，2011）、（Camara，2013）、（Cheng，2009）。所開發的框架定義了表達內部處理和外部交互性能參數及其依賴關系的建模抽象。它為每個關鍵需求嵌入了一個可執行的彩色Petri網（CPN）（Jensen，2009），（Jensen，2015），表示合規性保證過程的架構以及用于驗證和認證的屬性。每個CPN的輸出被匯總以計算適應計劃與替代計劃的風險。總的來說，本項目開發的建模和評估機制將為在設計時捕獲相關元數據提供信息，從而在彈性系統中實現更好的合規意識表示和操作。

這項工作的目的是開發能夠成功處理復雜動態環境中順序決策的深度終身學習方法，重點是多Agent情報、監視和偵察（ISR）場景。我們為深度卷積神經網絡開發了一個新的架構，支持通過去卷積因子化的終身學習（DF-CNN），探索了通過Distral和Sobolev訓練的策略提煉的組合，并開發了一個混合控制器，將深度學習應用于ISR智能體。我們的方法在標準基準深度學習數據集、DOOM環境和ATE3模擬環境中的ISR場景中進行了評估。

我們的主要貢獻是反卷積因子卷積神經網絡（DFCNN）。DF-CNN框架調整了標準卷積神經網絡（CNN）框架，以實現任務之間的轉移。它在每個CNN層維護一個共享知識庫，并通過這個共享知識促進不同任務的CNN之間的轉移。每個具體任務的CNN模型的各個過濾層都是由這個共享知識庫重建的，隨著網絡在多個任務中的訓練，這個知識庫會隨著時間的推移而調整。DF-CNN代表了ELLA終身學習框架對深度網絡的概括。

實驗表明，DF-CNN在終身中的基準識別任務上的表現優于其他方法（包括單任務學習、低層的硬參數共享和漸進式神經網絡）。此外，該框架能夠抵抗災難性遺忘，同時仍然允許從未來的學習中反向轉移到以前學習的模型。

對于深度強化學習，我們研究了將Sobolev訓練整合到Distral多任務框架中，以努力改善轉移和訓練，探索了DF-CNN在深度RL中的應用，并開發了一個混合控制器，將本地學習的深度RL策略結合在一起，在ATE3仿真環境中完成ISR場景。