本報告詳細介紹了用于標注文本中的錯誤信息指標、宣傳和邏輯謬誤的注釋指南，最終形成了新穎的錯誤信息、宣傳和謬誤的組合注釋，并以穩健和可解釋的方式加以識別（CAMPFIRE）語料庫。我們介紹了開發這一注釋模式的動機及其與其他并行注釋的關系。我們將介紹 COVID-19 相關文本語料庫的收集情況，并提供注釋示例。最后，我們將介紹如何利用該語料庫開發交互式問題解答和信息提取系統，該系統能夠自動檢測和解釋查詢文檔中潛在的錯誤信息。

簡介及研究背景

本報告中對錯誤信息指標的探討與一個更廣泛的信息搜索系統開發研究項目相吻合，該系統有別于典型的問題解答系統，用戶可以提出一個完整的、不受限制的自然語言問題（而不是僅限于關鍵詞搜索）。其目標不是在一次性互動中返回單一答案，而是鼓勵用戶與系統之間進行持續互動，以尋找一系列相關答案，這些答案可能在側重點、體裁以及真實價值和錯誤或虛假信息狀態方面存在差異。在這種設想的交互中，系統檢測和識別潛在錯誤信息指標的能力變得至關重要，如圖 1 所示，系統在回答用戶的問題--"我是否需要對我的口罩進行消毒？"時，既可以給出文檔中確定的答案（即 "這里有一篇文章聲稱正確護理口罩的重要性"），也可以發出警告，提醒用戶注意潛在的指標，對檢索到的文檔中的句子進行補充。這一交流描繪了我們的長期愿景，即如何將問題解答、信息覓尋和錯誤或虛假信息檢測統一在一個框架下。

圖 1 通過對話回答用戶問題、檢索文檔并突出和標注錯誤信息標記的交流設想

為了支持錯誤信息檢測，我們首先對我們感興趣的領域中的錯誤信息指標進行了標注：科學論文、一般新聞和談話廣播，以及與 COVID-19 相關的醫療保健網站和社交媒體帖子。我們的注釋模式最初基于 Habernal 等人（2017 年）的注釋模式，該模式側重于五種邏輯謬誤： 謾罵、情感訴求、紅鯡魚、草率概括和無關權威。作為第一步，我們評估了現有的注釋模式，衡量了注釋者在對語料進行雙盲注釋時就類別達成一致的能力，并評估了注釋數據作為誤導自動檢測訓練數據的可行性（Bonial 等，2022a, 2022b）。我們的評估結果表明，模式類別不夠清晰，無法支持訓練有素的注釋者之間的高一致率，這導致自動系統性能不佳。因此，我們開始開發自己的模式，繼續借鑒現有的注釋資源，但反復評估以獲得令人滿意的一致率。盡管我們在將其應用于新數據并測量一致性的過程中仍在不斷完善該模式，但下文將對當前的模式進行描述。

本報告的以下部分介紹了錯誤信息、宣傳和謬誤的綜合注釋（CAMPFIRE）模式和語料庫。第 2 節介紹了注釋模式，并為注釋者提供了詳細說明。第 3 節介紹 CAMPFIRE 語料庫。第 4 節介紹相關工作。第 5 節是結論和未來工作的細節。第 6 節列出了參考文獻。附錄 A-C 分別介紹了如何應用注釋模式、模式的歷史以及本技術報告中使用的符號和記號。

近年來，支持人類工作的 "自動化 "系統正在向基本上能夠自我管理的 "自主 "系統轉變。由于人機之間的協作和相互依存性質，圍繞人機信任的問題變得比以往任何時候都更加重要。這項工作旨在探索與信任校準有關的問題，這些問題會影響操作員與系統互動的方式。本報告總結了與題為 "評估影響信任校準的因素：信任策略和風險的影響 "相關的主要研究活動、研究成果和研究成就。這也是最終報告。研究團隊就信任校準、特定情況下的信任和人機協作協調了幾個不同的研究方向。通過研究，我們發現：1）通過采用防止過度信任的緩解技術，我們可以改變信任分配的方式；2）在實驗室環境中，通過使用動態方法改變風險，可以獲得不同的信任效果；3）改善人類與自主性之間的社會關系，可以帶來卓越的人機績效成果。本文將詳細討論這三個研究方向中的每一個方向，以及補助金的主要成果。

引言

二十世紀中葉，技術的進步促使人機交互實現自動化，而今天，隨著 "自主 "系統的爆炸式發展，也出現了類似的趨勢。自動化旨在支持決策并卸載原本由操作員執行的任務，而自主則是在程序約束下 "自我管理 "的一系列能力（國防科學委員會，2012 年）。眾所周知，在處理自動化問題時會產生意想不到的后果（參見 Parasuraman & Riley，1997 年的一篇綜述），但最近有一個因素越來越受到重視，那就是操作員信任的概念。

一段時間以來，人們一直認為信任是一個值得對高頻進行實證研究的概念（參見 Parasuraman 和 Riley，1997 年的早期綜述），但需要注意的是，并非所有研究人員都同意這一觀點（例如 Dekker 和 Woods，2002 年）。雖然信任在很大程度上是一個社會心理學概念，但在人為因素中，信任也被用于描述人機合作關系的部分特征。從形式上定義，信任是一種態度，即在不確定或脆弱的情況下，代理或系統會幫助操作者實現目標（Lee & See, 2004）。(人與人之間的信任與人與機器之間的信任在本質上是相似還是不同，這個問題仍在探索之中（如 Madhavan，2007 年），但迄今為止的實證工作表明，信任非常重要，因為它決定了與自動化和自主系統互動的特定策略。在這方面，信任是系統能力與性能之間的一個干預變量。

信任是人類性能的重要組成部分。信任通常是指對自動化或自主系統的依賴程度（例如 Lee & Moray, 1994; Parasuraman & Riley, 1997），適當的、良好的依賴程度有助于將性能保持在接近最佳水平。如果對并非百分之百可靠的自主系統的信任度過高，就會產生自滿情緒（Moray 和 Inagaki，2000 年）。低信任度可能會導致廢棄，這意味著自動化或自主代理本可以成功執行的功能被忽視了（Parasuraman 等人，1997 年）。

因此，信任校準，也就是將適當的操作員信任水平與適當的自主系統可靠性水平相匹配，近年來已成為一個重要的研究領域。人們認為，信任的校準將帶來更適當的依賴和更少的錯誤。操作員將在需要最少監督的界面上減少認知負荷。這樣，他們就可以騰出注意力來執行其他任務。有了經過校準的信任，操作員就能在瞬息萬變的環境中更快地感知和應對突發事件。這樣，就有可能通過減少操作員數量來有效管理更多的自主系統。

在過去 3 年中，我們開展了三項主要工作，包括

• 研究信任分配方式如何影響操作員與系統的交互方式。

• 探索信任的一個通常未被充分研究的方面，即操作員風險及其對信任策略的后續影響。

• 探討人機協作的潛在互動結構

報告的以下部分將詳細介紹每項研究。

為了解決如何利用現有數據的增長來建立有用的模型的問題，一個自動發現模型和管道的方法是有序的，它可以利用這些數據。我們已經探索了自動發現模型和管道所需的許多方面：建立一個模型知識庫和基于推薦系統方法的模型排名，通過數據集的圖形表示進行模型推薦，通過擴展基于樹的管道優化工具（TPOT）和基于強化學習的方法進行管道生成。我們探索了一種預算意識到的超參數調整算法和神經網絡的不確定性估計。我們探索了不同的訓練方法，包括無梯度優化、零點學習和持續學習。我們還解決了神經網絡架構的問題。我們將所有這些結合起來，形成了一個模塊化的自動機器學習（AutoML）系統，該系統支持廣泛的任務類型，在項目評估中一直處于前三名。

本報告全面總結了作為機器人語言項目的一部分所做出的貢獻，該項目是由美國陸軍作戰能力發展司令部陸軍研究實驗室牽頭，與南加州大學創意技術研究所和卡內基梅隆大學的研究人員合作開展的一項為期五年的倡議。特別是，本報告描述了在 "用智能系統進行共同理解和解釋的自然行為 "項目下資助的成就。這項研究的目標是為人們使用語言與機器人交流提供更自然的方式。愿景是使機器人能夠與人類隊友進行來回對話，機器人可以提供狀態更新，并在適當的時候要求澄清。為此，我們進行了四個分階段的實驗，在這些實驗中，人類參與者向遠程的機器人發出導航指令，而機器人的對話和導航過程最初由人類實驗者控制。在實驗過程中，自動化被逐步引入，直到對話處理完全由一個在以前的實驗中收集的數據上訓練出來的分類器驅動。

機器人語言項目的新貢獻包括：1）這種多階段的方法來收集無約束的自然語言，作為機器學習算法的訓練數據，以支持對話互動；2）收集對話和機器人數據的語料庫，并策劃成SCOUT語料庫（理解交易的情景語料庫）；3）一系列完全自動化的、 3）一系列全自動的概念驗證系統，顯示了所采取的方法的技術前景，4）作為項目一部分創建的算法，現在構成了陸軍聯合理解和對話接口能力的基礎，使士兵和自主系統之間的對話互動成為可能，以及5）通過對話-AMR（抽象意義表示）形式主義在人類-機器人對話的指令語義方面的創新。

圖1 指揮官向機器人發出口頭指令，機器人的能力由兩個向導來執行，分別代表對話管理和機器人導航的能力。

引言

這項研究的重點是通過采用對話作為交流模式，使士兵與智能體的互動，特別是與機器人等具身智能體的互動，既安全又更有效。對話，特別是使用自然語言的來回口頭對話，比傳統的圖形用戶界面有許多好處。其中，對話使智能體能夠在指令不明確時提示人類隊友進行澄清，并在任務完成后提供狀態更新。自然語言對話可以幫助實現智能智能體作為士兵身邊的隊友的愿景，提供士兵今天在完成任務時使用的直觀的無約束的交流模式。

以收集與智能體的自然對話為目標，我們希望采用一種實驗方法，使我們能夠解決以下問題： 1）智能體如何作為隊友與人類進行有效的交流，以完成共同的任務？ 2）當人類指導機器人等智能體時，交流的協議如何能以智能體可以使用的形式，從人類那里引出自然的多樣性交流策略？為了回答這些問題，我們與陸軍大學附屬研究中心南加州大學創意技術研究所（USC ICT）的研究人員合作，通過實驗確定如何將開發智能虛擬人的方法適應于機器人。雖然物理機器人平臺是我們的主要任務，但我們的目標是確定可以推廣到各種可以從對話中受益的軟件智能體的方法。

在南加州大學ICT的SimSensei項目中，研究人員使用了一種我們稱之為數據驅動的 "Wizard-of-Oz"（DWoZ）的方法來觀察人類如何與他們認為是自主的虛擬化身聊天。實際上，他們在屏幕上看到的頭像是由人類 "巫師 "實驗者控制的。在與南加州大學ICT的合作中，我們的目標是評估這些貢獻是否可以擴展到自主系統，即地面機器人，以支持與人類隊友的合作搜索和導航任務。該項目由美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）的資助項目 "與智能系統共同理解和解釋的自然行為 "贊助，對外稱為 "機器人語言 "項目，由一系列實驗組成，執行多階段實驗的設想，其中向導代表人工智能（AI）組件，在后期階段 "自動消失"。操作上的假設是，像移動機器人這樣的物理智能體的對話系統可以通過基于DWoZ的對話收集來訓練。

這項研究對對話、人機交互、人類因素和自然語言處理領域的新貢獻如下：

• 一種多階段的、經驗性的方法來收集機器學習算法的訓練數據，以支持與指向物理世界的智能體（如移動機器人）的對話互動（第4和第5節）。

• 一個對話和機器人數據的語料庫（Situated Corpus of Understanding Transactions [SCOUT]），作為告知智能體在協作搜索和導航任務中如何回應人類隊友的基礎（6.1節）。

• 在研究過程中開發的一系列完全自動化、端到端的概念驗證系統，顯示了使用DWoZ方法與智能體進行自然對話互動的技術前景（第6.2節）。

• 作為項目的一部分而創建的算法，現在構成了陸軍聯合理解和對話界面（JUDI）能力的基礎，使士兵和自主系統之間的對話互動得以實現（第6.3節）。

• 一套新穎的注釋方案，對指導智能體和控制機器人行為的向導實驗者之間的對話交流的結構、內容和語義進行建模（第6.4節）。

本報告的其余部分組織如下。第2節提供了相關工作的基本概述。第3節將先前的研究和本項目之前進行的預試驗研究與DWoZ設計的選定配置聯系起來。第4節概述了任務和實驗設置。第5節對實驗及其結果進行了高水平的描述。最后，第6節討論了項目的影響，第7節是衡量標準，第8節是總結性意見。

視覺分析是一門通過交互式視覺界面促進分析推理的科學。北約科技組織調查、研究并促進可視化分析方面的合作--促進知識提取和數據分析，以便及時理解態勢并作出有效決策。因此，本報告目標是研究、開發和應用探索性視覺分析技術：1）利用和理解大量復雜的數據，即大數據；2）幫助隱性知識顯性化；3）提供敏銳的態勢感知；4）支持廣泛的國防領域的知情決策，包括網絡、海事、基因組學和社交媒體領域，以及仿真數據的后期分析和現場可視化。

報告簡介

1 背景

信息優勢是軍事優勢的關鍵因素之一；利用來自多個來源的所有相關信息是北約信息優勢的一個關鍵因素。可視化和可視化分析研究對于滿足2015年北約在信息分析（IA）和決策支持（DS）方面的重點目標的需求至關重要：關于決策支持的IA&DS-1和關于大數據和長數據處理與分析的IA&DS-2。

視覺分析（VA）是一門通過交互式視覺界面促進分析推理的科學[1]。VA有三個主要組成部分，即交互式可視化、分析性推理和計算性分析[2]。在專家組所考慮的VA背景下：

• 可視化關注的是使用數據的交互式視覺表現來放大認知[3]。
• 分析推理和計算分析的工作是支持數據探索、分析和理解。

2 目標

北約研究任務組（RTG）探索性視覺分析調查、研究和促進了知識提取/發現和數據分析方面的合作，以便及時了解情況，支持有效決策。該小組探索了可視化如何有效地傳達信息：利用人類的感知和增強人類的認知，即把可視化和用戶的心理模型結合起來（見第2章和[4]）。因此，目標是研究、開發和應用探索性視覺分析技術：1）利用和理解大量復雜的數據集，即大數據；2）幫助隱性知識顯性化；3）提供敏銳的態勢感知，以及4）支持廣泛的不同國防領域的知情決策，如海事、社交媒體、基因組學和網絡領域，以及模擬數據的后期分析和現場可視化。

3 本報告的目的

本技術報告的目的是討論研究小組進行的研究、開發和應用探索性視覺分析的工作，這些數據集涉及到

• 簡易爆炸裝置資源（NATO C-IED COE）。
• 社交媒體；以及
• 網絡和海事及情報行動。

這項工作證明了探索性視覺分析在檢測、監測、分析和理解大型復雜數據集（即大數據）方面的有效性，以提高對態勢的認識和決策支持。

本報告還將討論該小組在以下方面的工作：

• 1）可視化和視覺分析技術的研究和開發。

• 2）提高對研究小組工作的認識。

  • 通過在著名的國際會議上發表論文，如IEEE VIS；以及

  • 為北約的兩個系列講座（IST-143和IST-170）作出貢獻。

• 3）促進視覺分析和可視化技術在北約國防和安全領域及其他領域的開發和應用。

• 4）拓寬對可視化和可視化分析的理解和探索的視野。

• 5）利用新想法的產生。

• 6）通過以下方式發展北約小組間/組內合作。

  • 組織（并在其中介紹小組的工作）一次北約專家聯合小組會議（IST-HFM-154：網絡符號學）和一次北約小組間/組間研討會（IST-178：大數據挑戰--情況意識和決策支持）。

  • 參加其他國家組織的北約活動；以及

  • 與來自不同小組的許多RTG組織聯合會議。

4 本報告結構

報告中的各章總結了在這個RTG過程中進行的工作。

第2章討論了視覺分析的人因考慮。它首先定義了人為因素，并描述了人為因素/以用戶為中心的設計過程。它討論了一些關于設計過程的常見迷思，供設計者注意和避免。視覺分析系統的用戶很多，也很多樣化，所以了解任何項目的用戶對于確保輸出產品的有用性和可用性是最重要的。本章提供了關于如何最佳地顯示信息的標準、指南、啟發式方法和最佳實踐的參考資料。本章還包括討論和數字，描述了對特定數據集使用立體三維可視化的優勢。最后，有一節是關于如何評估可視化的有用性和可用性。包括情況意識和工作負荷指標的資源。

第3章討論了海事領域的信息可視化和視覺分析。

第4章和第5章關注社會媒體數據和模擬數據。

第6章討論了可視化分析和深度學習之間的相互作用。

第7章討論了網絡態勢感知和網絡符號學。

第8章和第9章探討了視覺分析和可視化在北約數據中的應用，如：

• 簡易爆炸裝置（NATO C-IED COE）；和
• 北約HFM-259數據。

這兩章討論了基于網絡訪問這些數據集的發展和由此產生的設計原則，這些數據集的用戶范圍很廣，從普通公眾到研究人員和政策制定者，即來自不同背景、具有不同專業水平和知識的人。對簡易爆炸裝置數據的分析采用了互動式講故事的方法來吸引普通公眾，而HFM-259數據的視覺分析/可視化也適合公眾參與。

第10章得出了結論并提出了建議。

海事領域的信息可視化和視覺分析

• 船舶交通監測與探索性分析的交互式可視化：文獻中提出的方法研究了海洋數據的可視化，以便交互式地探索它們的空間分布和時間演變，或者通過結合聚合和過濾能力促進它們的比較。以地圖為基礎的可視化占主導地位，偶爾也會以數據匯總的統計圖為補充。最近，基于圖形的海洋數據可視化也出現了。基于圖形的可視化可以將匯總統計與交通動態的可視化相結合。

• 海事模式檢測的可視化分析：視覺分析，將有效的海事數據可視化與數據分析相結合，有多種應用。文獻中討論的用途之一是運動模式搜索和匹配，與數據過濾相結合，能夠減少數據泛濫，幫助用戶關注相關的數據特征。這種方法根據經驗來定義運動模式，例如使用基于函數的定義或規則。運動模式也可以從數據中提取，例如使用數據聚類、聚合和過濾技術。地理特征被利用來支持模式的定義和可視化。不同的聚合技術可以被結合起來，有時還可以使用語義學，以支持數據探索。其他工作專門解決異常或不一致的模式檢測。例如，密切接觸的檢測或預測被應用于海上安全，用于船舶碰撞的識別和預防。

• 海事模式和移動性的三維可視化：很少有作品在海洋領域利用三維可視化，因為由此產生的可視化的復雜性增加，會對用戶體驗產生負面影響。領域無關的三維可視化被用來支持單一船只動力學參數的比較。時空立方體可視化對海洋事件的分析是有效的，因為它使空間和時間特征的當代可視化。在培訓中使用的沉浸式虛擬現實模型，可能比二維地圖更有效地支持用戶（和船只）的定向行動。

探索性媒體分析

網絡媒體是影響輿論以及反映輿論的最重要工具之一。這份報告分析了BBC、RussiaToday、DayKiev和delfi.lt（立陶宛的主要新聞門戶網站）對烏克蘭沖突動態的反映。采用了兩種不同的分析方法：共同發生網絡分析來反映沖突期間四個不同媒體渠道的語言變化，以及基于情感的故事情節（syuzhet）分析來監測BBC從2013年到2014年的情感變化。將沖突分為三個階段：開始（2013/11/21-2014/01/15）、升級（2014/01/16-2014/02/17）和占領克里米亞（2014/02/18-2014/02/28）。這些方法可以對媒體中的沖突動態進行可視化分析。從人工智能（AI）、自然語言處理（NLP）和大數據的可視化技術的應用中，可以更好地了解對沖突動態的看法和公眾對特定主題的情緒，以及信息分析的自動化。此外，其他類型的類似應用也是可能的。

仿真數據的可視化探索

仿真被廣泛用作生產前測試系統的一種安全且通常具有成本效益的手段，并作為一種估計其他無法訪問的系統的預期行為的方法。仿真的共同點是隨著時間的推移而發生的事件鏈，導致由仿真算法決定的結果。本章將詳細闡述使用可視化來分析仿真條件和結果，以及如何應用可視化分析（VA）來更好地理解高級仿真算法的內部生活。

有大量不同的工具用于仿真數據的可視化分析；然而，現有工具的適用性高度依賴于被分析的數據及其背景。通用的可視化軟件包并不總是能夠滿足人們的需求。通用的可視化軟件包并不總是容易被有效地用于特定領域的任務。如果沒有資源花在定制軟件上，最好的辦法是將不同的軟件組合成一個工具箱，共同滿足可視化需求。有時，尋找合適的工具必須延伸到自己的領域之外。本報告介紹了適用于批量仿真數據分析的一系列工具：時間線圖(TLG)、可視化工具箱（VTK）和ParaView、VisIt。

探索深度學習

視覺分析（VA）技術可以應用于增強與三個目標有關的深度學習方法：1）了解深度神經網絡的內部運作；2）解釋DL的結果；以及3）利用VA和DL之間的協同作用。

在VA和DL技術的交叉點上的應用如何能夠更好地理解深度神經網絡及其結果，并實現強大的應用。將VA與AI相結合的方法將成為未來國防和安全系統的關鍵驅動力，這些系統具有日益增長的任務復雜性所要求的高級處理能力，但人們不能盲目相信AI的預測而采取行動。

網絡態勢感知

網絡SA與人類的認知過程和數據處理有關。在復雜和動態的網絡環境中，通過敏銳的態勢感知，人類決策的質量和速度可以大大提高。初步評估發現，以用戶為中心的SA方法提供了分析、檢測、發現和識別模式、異常、違規和威脅以及相關事件的有效方法。這些可視化適用于提供關于網絡組件性能的詳細信息。另一方面，生態接口設計（EID）方法提供了有效的可視化，以指導用戶理解網絡應該如何運行，以及這些網絡實際如何運行;因此，分析人員可以很容易地看到網絡的運行層面，即整體態勢。這兩種方法在提供有關網絡情況的不同方面的認識和信息方面相輔相成。網絡符號有可能實現網絡態勢的可視化，盡管目前還沒有明確的方法或解決方案可以最好地實現這一點。

探索性視覺分析法分析簡易爆炸裝置事件

收集和分析有關事件的數據集可以幫助分析人員得出活動水平評估，進行趨勢分析，并對他們所監測的問題有更深入的了解。為了更好地了解簡易爆炸裝置（IED）攻擊的動態，并支持反簡易爆炸裝置（C-IED）的工作，本報告決定采用一種帶有敘事元素的探索性視覺分析方法。分析有關事件的數據集可以幫助得出活動水平評估，進行趨勢分析，并獲得更好的情況意識。探索性視覺分析的目的是讓用戶探索數據集，發現有趣的模式和見解。一些可視化分析工具提供了復雜的互動，可能會讓新用戶感到恐懼。敘事技術可以幫助新用戶開始使用一個新的交互式可視化應用程序，以了解數據集包含什么，以及如何利用探索性視覺分析工具的能力來對數據集進行新的分析。使用探索性視覺分析工具可以在北約反簡易爆炸裝置卓越中心（NATO C-IED COE）制作的烏克蘭簡易爆炸裝置事件數據集中發現有趣的模式，通過應用敘事技術作為交互式可視化工具的一部分將這些見解傳達給用戶。一旦用戶開始探索所提供的見解，他們會被邀請繼續探索，允許他們從數據中獲得更多發現。

本參考文件描述了目前用于開發軟件原型戰斗資源分配支持（CORALS）的持續集成（CI）流程。該CI策略是專門為支持研究項目的要求和滿足其利益相關者和從業者的需求而制定的。

我們選擇了一些原則、技術和最佳實踐，以實現軟件開發活動的自動化，并使用工具和技術進行了測試，這些都在本文件中作了詳細介紹

這個CI戰略的積極影響是多方面的：開發團隊的生產力提高了，利益相關者有更多的機會獲得最新的日常原型構建，應用程序更加穩定，軟件開發過程現在有了很好的記錄，僅此而已。

對國防和安全的意義

在軟件開發領域有一個整體的、后敏捷的發展趨勢，得到了全世界的組織越來越多的關注，包括加拿大國防部；迎來了DevOps。DevOps這個詞是由開發和運行兩個詞組合而成的。它是幾個迭代和增量的自動化開發方法的總稱，用于將編碼員設計的解決方案更快地過渡到運營社區。它的核心原則之一是贊揚所有從事軟件工作的組織應該有一個精心設計的持續集成戰略。

將代碼編寫完成后的軟件開發任務自動化有很多好處。從本質上講，自動化的任務更具有可預測性、可重復性、可靠性和快速性。另外，計算機化的自動化任務可以有副作用的好處，例如自動產生報告供人分析。這些報告可以幫助進一步優化自動化軟件工程腳本，通過突出問題以及提供關于正在自動構建、集成、測試、打包和部署的代碼的指標。

持續集成策略對于開發者團隊尤其重要。一個應用程序代碼庫的單一貢獻者可能不想投入時間和資源來獲取、部署、配置和維護運行自動化軟件開發任務所需的基礎設施，特別是如果他可以從他的開發者工作站運行所有這些任務。但是，當幾個人對一個軟件的代碼庫做出貢獻時，編譯和測試等任務的自動化是非常重要的，不僅可以節省時間，還可以向整個團隊提供快速反饋，通過通知編譯結果或自動測試執行報告，確認軟件是否因某人的修改而損壞。另外，構建過程不會只停留在開發人員的頭腦和習慣中，而是在可靠的、可重復的自動化腳本中被預先完全指定，如果按照清潔代碼的原則編寫，可以被認為是一種文檔形式[1]。

提綱

本文件的組織結構如下。

第2節介紹了背景，包括對資助這項工作的研究項目的簡要描述，以及從功能和架構的角度對CORALS原型的概述。

第3節從高層次上描述了CORALS持續集成策略，同時對啟發該策略的每個元素的軟件開發最佳實踐提供了入門級的解釋。

第4節介紹了所選擇的、目前用于實施該策略的工具，并介紹了它們在一定程度上的配置。

第5節介紹了結論，包括對當前策略的未來改進建議。

本報告總結了迄今為止在路線偵察領域的本體開發的進展，重點是空間抽象。我們的重點是一個簡單的機器人，一個能夠感知并在其環境中導航的自主系統。該機器人的任務是路線偵察：通過觀察和推理，獲得有關條件、障礙物、關鍵地形特征和指定路線上的敵人的必要信息。路線偵察通常是由一個排的騎兵和非騎兵進行的。這項研究探討了機器人執行部分或全部必要任務的合理性，包括與指揮官進行溝通。

1.1 背景與動機

這是一項具有挑戰性的對抗性任務，即地形穿越加上信息收集和解釋。偵察的解釋方面需要考慮語義學--確定相關的信息和確定它如何相關（即有意義）。語義信息在本質上是定性的：例如，危險是一個定性的概念。為了將危險與某些特定的區域聯系起來，我們需要一種方法來指代該區域。這意味著至少能夠給空間的某些部分附上定性的標簽。

Kuipers在他的空間語義層次的早期工作中指出了空間的定性表示對機器人探索的重要性。例如，層次結構的拓撲層次包含了 "地方、路徑和區域的本體"，歸納產生了對較低層次的因果模式的解釋。

最近，Izmirlioglu和Erdem為定性空間概念在機器人技術中的應用提供了以下理由：

• 各種任務，如導航到一個目的地或描述一個物體的位置，涉及處理物體的空間屬性和關系。......或某些應用（如探索未知環境），由于對環境的不完全了解，可能并不總是有定量的數據。......可理解的相互作用和可接受的解釋往往比高精確度更可取（Kuipers 1983）。對于這些應用，定性的空間關系似乎更適合。

對于負責路線偵察的無人地面車輛（UGV）來說，其架構中的不同模塊將消費和產生語義信息：負責語義感知和目標識別、計劃和執行、自然語言對話等的模塊，加上主要負責維護信息的語義世界模型。例如，在美國陸軍作戰能力發展司令部陸軍研究實驗室的自主架構中，語義/符號世界模型被用來 "實現符號目標（例如，去接近一個特定的物體）"，*其中接近是一個語義概念。

一個關鍵問題是如何在世界模型和其他模塊之間分配維護和處理不同類型語義信息的責任。從語義世界模型的角度來看，這取決于有多少符號推理是合適的。例如，假設要接近的物體位于一個給定區域的某個位置，而不是靠近該區域的外部邊界。一旦機器人靠近物體，就可以推斷出機器人在物體的位置附近，而且也在同一區域內。如果有公制信息，就可以用幾何例程得出這個結論。在沒有公制信息的情況下，是否會出現在純粹的定性空間中推斷有用的情況？

本報告不涉及這個問題。我們的目標是確定什么應該被代表，而把如何代表和在哪里代表留給未來的工作。

1.2 路線偵察

以下片段取自FM7-92中對路線偵察的描述。空間表達是彩色的，周圍有一些文字作為背景。

• 路線偵察的重點是獲得關于一條指定路線和敵人可能影響沿該路線移動的所有地形的信息。路線偵察的方向可以是一條道路、一條狹窄的軸線（如滲透通道），或一個總的攻擊方向......防御陣地。......部隊可以機動的可用空間......所有障礙物的位置和類型以及任何可用的繞道位置。障礙物可包括雷區、障礙物、陡峭的峽谷、沼澤地或核生化污染 ......沿途和鄰近地形的觀察和火力范圍 ......沿途提供良好掩護和隱蔽的地點 ......。橋梁的結構類型、尺寸和分類。著陸區和接駁區。與路線相交或穿越的道路和小徑。. . 如果建議路線的全部或部分是道路，則該排認為該道路是一個危險區域。它使用有掩護和隱蔽的路線與道路平行移動。當需要時，偵察和安全小組靠近道路，以偵察關鍵區域。

路線偵察的結果是一份報告，以圖表的形式，并附有文字說明。FM7-92給出了一個例子，我們可以從中提取一些更必要的概念：

• 網格參考。磁性北方箭頭..道路彎道..陡峭的坡度..道路寬度的限制（橋梁，隧道等）..岔道的位置..隧道..

讓我們把這段關于路線偵察的描述中提到的概念建立一個綜合清單，重點放在空間概念上，并盡可能地保留軍事術語:

1）必須指定環境中的位置、路線、區域和感興趣的物體。稱這些為 "實體"。

2）這些實體之間的空間關系是相關的（例如，一個地點在另一個地點的北邊）。值得注意的是，不同類型的實體之間的關系是被指定的。

a. 物體（例如，障礙物）在位置或區域。

b. 一些地點在空間上與路線有關（例如，沿著路線，毗鄰，或靠近道路）。

c. 地點可能代表更大的區域（例如，雷區的位置）。

d. 道路和小徑可以與路線相關：它們可能相交、重疊（部分疊加），或平行運行。

3. 一些實體對路線具有戰術價值，無論是進攻還是防御（例如，雷區）。

a. 一些地點相對于其他地點或區域有方向性的定位（例如，一個防御性的位置）。

b. 有些區域是由其與另一個區域或地點的關系來定義的，這可能不是一種局部的關系（例如，觀察和火力場是由一個潛在的遠程位置來定義的，該位置有一條通往路線上的一個區域的線路）。

4）路線可能被障礙物阻擋，障礙物可能是明確的物體或更大的區域（例如，一個障礙物與一個雷區）。

5. 路線和地形的三維幾何特性是相關的：道路上的急轉彎，陡峭的坡度，等等。

6）有時，描述物理基礎設施（如道路、橋梁）及其屬性是很重要的。

1.3 路線偵察抽象

路線偵查收集和解釋不同種類和不同來源的信息:

• 背景知識。這包括關于環境特征的類型和預期成為任務一部分的物體的信息，包括道路、障礙物、溝壑、橋梁等等。

• 任務規范。確定偵查的區域和路線，以及當時可獲得的任何信息。

• 環境。通過空間分析（包括幾何學、拓撲學等）、感知、地圖衛星數據的離線圖像處理和其他類型的分析，確定環境的相關特征。

• 任務執行期間的通信。我們假設指揮官或人類操作員在偵察過程中可以向UGV提出詢問或命令，提供新信息或集中注意力。

• 如前所述，一份報告。

原則上，所有這些信息都以某種抽象的形式組合在一個語義世界模型中。我們把環境的物理屬性和特征稱為 "實體"。把我們用來表示這些實體和它們之間關系的抽象概念稱為 "概念"。

不同類型的實體的概念。層次結構在語義表征中很常見，用來捕捉關于世界上遇到的實體類型的一般知識。一個類型就是一個概念，類型被組織在一個層次中：MRZR是一種輕型的、戰術性的、全地形的車輛，它是一種輪式地面車輛，它是一種地面車輛的類型，等等。屬性和關系可以與一個給定的概念相關聯，而下級概念則繼承這些屬性。在路線偵察中，如果有信息說某一地區有一條道路，但沒有更多的細節，仍然可以從道路的概念中推斷出它的預期屬性：它比它的寬度長得多；它在人們感興趣的地點之間通向；在其他條件相同的情況下，它可能比周圍的地形行駛得快。從實用的角度來看，這意味著如果有可能將某物歸類為一個已知的概念，那么語義世界模型就不需要記錄關于該物的每一條相關信息。

用于實體的目的和用途的概念。一個代表道路典型用途的概念可以進一步區分其長度和寬度的語義，這反過來又導致了跨越和沿途、穿越和跟隨等概念之間的區別。這將使UGV能夠以不同的方式對待 "偵察道路對面的區域 "和 "偵察前方的道路 "的命令。前方的道路也是一個語義概念：它取決于對過去去過的地方的了解。

代表部分信息的概念。有時可能會有定性的信息。想象一下，任務規范的一部分是關于雷區在計劃路線上存在的信息，但不知道具體位置，或者知道雷區的位置，但不知道其范圍。這種無知可以很容易地在代表實體的概念中得到體現。

新概念適用于新環境。另一個交流的例子可能是信息性的。想象一下，當一輛UGV穿越一條東西走向的道路時，它與遠程指揮官進行交流，指揮官問道："道路北側是什么？"* 需要識別的物體可能不在道路和地形的邊界上（與 "建筑物的一側 "形成對比），而是在以道路邊緣為界的某個感興趣的區域內，距離UGV的位置向北不遠，向東和向西也有一些距離。這個區域可能沒有事先作為一個概念被劃定；相反，它是在當前的背景下構建或推斷出來的。這是一個有趣的例子，一個概念不是從公制數據中抽象出來的，而是被強加在公制數據上的。

背景中的概念的適應和組合。想象一下，對一張地圖的分析產生了對代表區域、道路等等的概念的分解。這些概念可能直接適用于某些目的。例如，與道路相聯系的概念在推理兩點之間的導航時是有用的。然而，在其他情況下，這些概念可能需要調整或與其他概念相結合。例如，如果一條道路被指定為 "危險區域"，那么這個區域的概念可能會超出道路的邊界，延伸到周圍的地形。

內聚力是團隊的一個重要屬性，它可以影響個人隊友和團隊成果。然而，在包括自主系統作為隊友的團隊中，內聚力是一個未被充分探索的話題。我們研究了關于人類團隊內聚力的現有文獻，然后在此基礎上推進對人類-自主系統團隊的內聚力的理解，包括相似性和差異性。我們描述了團隊的內聚力，各種定義、因素、維度以及相關的好處和壞處。我們討論了當團隊包括一個自主性的隊友時，該元素可能會受到怎樣的影響，并進行了逐一描述。最后，我們確定了可能與內聚力有關的人類-自主性互動的具體因素，然后闡述了對推進有效的人類-自主性團隊的科學至關重要的未來研究問題。

本報告詳細介紹了我們開發技術的方法，即在一個自動框架內調查受自適應系統的自我修復計劃影響的關鍵屬性的再驗證潛力，該框架還測量了自我修復發生時被侵犯屬性的風險。從這項調查中，我們1）設計了一個框架，使基于組件的系統同時具有架構和驗證意識，并能對自我修復計劃進行動態的再驗證狀態評估；2）設計了一個風險評估機制，如果自我修復計劃導致違反關鍵要求，則對系統可能進入的潛在風險狀態發出警報；3）在該框架內測試了Genprog自我修復計劃的應用。該框架已被嵌入到兩個內部案例研究和一個為模仿可穿戴設備操作和通信而開發的測試平臺中并進行了評估。

圖 1：基于元數據的驗證和認證框架

彈性要求自動適應阻礙任務的情況。一個自適應的軟件系統可以監控自己，分析故障的發生，并通過改變其狀態、邏輯或結構來恢復。這樣的自主系統依賴于對系統和環境的持續監測，分析性能異常，根據環境和可用資源規劃最可行的適應策略，并在部署的系統上執行適應。在自適應系統的各個層面都存在大量的研究，例如，架構的重新配置、界面的改變和嵌入式系統的改變，但它主要側重于在不中斷的情況下執行功能或架構改變（Cheng，2009），（Lemos，2013）。一旦改變，強加在最初部署的系統上的同樣的要求合規性保證過程也應該同樣強加在適應的系統上。在系統適應期間和之后的自我驗證方面的研究嚴重不足，特別是對于分布式系統、面向服務的架構和嵌入式系統（Calinescu，2012），（Tamura，2013）。軟件驗證和確認，以及安全認證，都是困難而繁瑣的過程，需要明確的要求、清晰的評估策略，以及不需要比被評估功能更多代碼的自動化方法（Zuo，2011）。本項目定義了一個技術框架，以確定改編是否會抑制用于驗證或認證的原始合規性保證流程的重用，其中驗證指的是正式的方法流程，而認證則專門用于保證安全控制的合規性，如NIST SP800-53（NIST，2013）。它從這些流程中提取關鍵屬性和評估或檢查的流程，以確定適應性將如何影響它們（Jahan, 2017）。影響的破壞性越大，合規保證流程被重用的可能性就越低。流程重用的可能性越低，合規性違反的可能性就越高，因為很少能有替代的合規性保證流程被用于需求（Marshall，2018）。

要構建和部署這項技術，有多個研究問題需要解決。一個主要的研究問題是定義一個策略，以確定在設計和選擇適應計劃時，是否可以通過對適應系統的驗證或認證來重新保證一個需求。面臨的挑戰是要超越識別關鍵屬性和通過驗證或認證確定系統的符合性水平，捕捉和建模最初進行驗證或認證的符合性保證過程。驗證和認證的形式化過程在運行時部署的資源成本太高。盡管模型檢查在合規性保證過程中引入了一個抽象層次，但它在可以表達和評估的內容方面也是有限的（Sharifloo，2015）、（Calinescu，2012）、（Cordy，2013）、（Weyns，2012）。為了解決這個研究問題，我們主張將驗證和認證過程（即合規性保證過程）以一種可以嵌入系統的方式建模，使其具有合規性意識。有了這種意識，就可以開發技術來評估它是如何被保證符合要求的，以及適應性如何影響符合性保證過程的再利用。本報告展示了一個體現這種技術的初始框架。

另一個研究問題是，需要定義衡量標準，將風險水平與確定適應性計劃如何抑制合規性保證過程的再利用聯系起來。此外，一旦計算出一個風險系數，就必須了解該風險是如何在整個系統需求中傳播的。這個項目將風險評估與重新驗證和重新認證的狀態評估結合起來。通過該框架，風險指標直接與受影響的屬性的關鍵性以及這些影響對一個或多個合規性保證過程的再利用的程度相聯系。

第三個研究問題是如何在運行時將合規意識和風險評估編碼到動態適應性計劃分析中（Abie，2012）、（Almeida，2011）、（Camara，2013）、（Cheng，2009）。所開發的框架定義了表達內部處理和外部交互性能參數及其依賴關系的建模抽象。它為每個關鍵需求嵌入了一個可執行的彩色Petri網（CPN）（Jensen，2009），（Jensen，2015），表示合規性保證過程的架構以及用于驗證和認證的屬性。每個CPN的輸出被匯總以計算適應計劃與替代計劃的風險。總的來說，本項目開發的建模和評估機制將為在設計時捕獲相關元數據提供信息，從而在彈性系統中實現更好的合規意識表示和操作。

摘要

本報告介紹了對動態數據驅動應用系統（DDDAS）異常檢測和響應的研究，以建立抗攻擊的多智能體系統。報告涵蓋了2019年1月至2021年11月期間的情況。除了之前報告中介紹的成就，我們還展示了一些關于所述策略實際執行的新結果，以及完成項目所有活動所需的最后細節。由于Covid-19大流行病，封鎖阻礙了實驗室的工作，不被允許雇用研究生研究助理，項目要求延期，并在2020年11月獲得批準。大學在2021年第二學期開放了實驗室，當時能夠雇用四個本科生研究人員。因此，所有的活動都是由這些本科生、三名研究生和兩名主要研究人員制定的。

這份最終報告的組織結構如下：

(i) 第一節總結了項目的目標和活動，到目前為止取得的進展，所需要素的購買情況，以及書面論文的清單。

(ii) 第二節介紹了一些與所制定的戰略共同的初步情況。

(iii) 第3節介紹了開發的方法和實驗結果。

(iv) 第4節提出了一種新穎的離散時間種群動力學來實現機器人的編隊。

(v) 第5節介紹了所開發的策略的發展和進一步的實際執行情況，以供測試。

(vi) 最后，第7節介紹了所開發工作的最終結論。

1 引言

具有多個智能體的系統使我們能夠開發不同的策略來控制大規模的互連系統。與有單個智能體的系統相比，有多個智能體的系統可以更容易和更快地完成監視等任務。對這類系統的研究使我們能夠對動物和人類的行為進行建模，并根據這些行為設計控制策略。這種策略從基于鳥群和蜜蜂覓食的算法[1]，沿網絡的分布式傳感[2]，延伸到耦合振蕩器的同步[3]，等等[4，5]。

進化博弈論對生物種群有重要的啟發作用，當與物理系統適當結合時，博弈論可以優化系統行為。這種理論的使用允許為不同的應用設計分布式控制器，如水系統的控制[6]，或孤立的微電網的同步[3]。大多數提出的問題解決方案都采用連續時間的方法。然而，為了在一些系統上正確實施這些策略，需要有離散時間控制器。即使連續時間控制器是穩定的，離散化也可能變得不穩定。因此，必須發展理論結果以確保離散時間控制器是穩定的。

除了提到的離散化問題，控制器和系統還面臨另一個問題，因為它們很容易受到攻擊。惡意智能體可以修改系統信息以損害用戶和物理工廠。在多智能體系統中，對一個智能體的攻擊可以滲透到整個系統中，因為它向其余的智能體發送了損壞的信息。此外，攻擊者可以修改一個智能體發送給其鄰居的信息。對真實系統的一些攻擊表明，有必要開發一種自動反應來面對其影響[7, 8]。

該項目解決了上述問題，即使用離散時間群體動力學的系統控制和緩解對控制系統的攻擊。因此，本項目所取得的貢獻可以概括為以下幾點。首先，我們開發了一種策略來檢測和緩解對系統智能體之一的傳感器的攻擊。該策略減輕了對被攻擊智能體的影響，并防止攻擊通過通信網絡傳播到整個系統。第二，我們設計了一個使用新的離散時間群體動力學來優化凸函數的策略。我們開發了理論結果以確保系統的穩定性。這一新穎的發展使我們能夠設計一個控制器來實現機器人的編隊。第三，我們開發了一個基于軟件定義的網絡（SDN）的策略，以減輕對通信鏈路的攻擊。我們說明，使用SDN為網絡物理系統提供了不同的能力，以減輕智能體之間的通信攻擊。最后，我們不僅模擬，而且還在一個有多個差動驅動機器人的系統上實施了上述的一些策略，以顯示其效率。

1.1 目標和活動

為無人駕駛地面車輛（UGVs）設計并實現一個能夠減輕對傳感器讀數攻擊的編隊控制器。這項工作的重點是至少有三個機器人的編隊，并限于完整性和重放攻擊。

之前所說的目標可以在以下具體目標中分開：

• 開發一個編隊控制器，用于幾個UGV，即三到六個機器人，以及至少三個幾何編隊分布。

• 開發一種能夠檢測機器人傳感器異常情況（攻擊/失敗）的機制。

• 開發至少一種機制，能夠協調測量值和估計值，并計算控制行動所需的調整，以減輕異常情況對機器人編隊的影響。

• 開發一個機制的性能指數，以量化當緩解機制被添加到編隊控制器中時攻擊的影響的減少。

為了實現這些目標，我們在項目提案中陳述了以下活動：

(i) 設計和實現編隊隊長的控制器。

(ii) 設計和實現緩解對編隊領導的路徑跟蹤任務的攻擊的機制。

(iii) 選擇要探索的編隊集合，即定義每個編隊的機器人數量和幾何形狀（至少有三種情況）。

(iv) 為三個機器人系統的每個編隊中的跟隨者機器人設計和實現控制器。

(v) 開發機制，以檢測由領導者發送和/或由兩個追隨者接收的信息的異常情況（被攻擊的信息可能是不同的）。

(vi) 開發機制以減輕攻擊對編隊中兩個跟隨者機器人的影響。

(vii) 在一次專門會議上發表部分成果。該出版物將包括緩解對一個有三個機器人的編隊中的領導者和追隨者機器人的攻擊。

(viii) 設計和實現六個機器人的多智能體系統中的領導者和跟隨者的編隊控制器。

(ix) 開發機制，以檢測有六個智能體的系統中由領導者發送和/或由追隨者接收的信息的異常情況（在攻擊下可能是不同的）。

(x) 為六個智能體和不同的隊形形狀擴展緩解機制。

(xi) 定義一個性能指數，以量化受攻擊系統和包括緩解機制的受攻擊系統之間的差異。

(xii) 在專業期刊上發表最終結果。

圖1：不同移動地面機器人平臺的比較。EPFL是洛桑聯邦理工學院，USC是南加州大學。改編自[9]。

1.2 基礎硬件

為了完成上述活動，我們已經購買了一些硬件。圖1顯示了不同研究小組制造的一些機器人的主要特征。盡管有些機器人如Khepera IV呈現出許多功能，但這些機器人的價格很高，或者它們沒有商業化的供應。因此，我們選擇了e-puck第2版；它有足夠的功能來開發目前的工作，其價格允許我們用現有的預算購買幾個機器人。

我們總共購買了六個地面機器人，一臺高性能的和三臺中等大小的計算機。表1顯示了每個部件的不含稅成本。機器人的價格是不同的，因為它們是在不同的日期購買的。此外，為了實現機器人的分布式通信，購買了6個樹莓派，為了檢測機器人的位置，還購買了一個攝像頭。作為項目的對應方，博士生Luis Francisco C′ombita在2015年獲得Colciencias 727資助的預算中的一些資源被用來購買項目用品，以及博士生Jorge Alfredo Lopez Jimenez的一些預算資源。Colciencias是哥倫比亞相當于國家科學基金會（NSF）的機構。

表1：為項目發展所獲得的要素