創造能夠適應人類同行的人工智能隊友的一個必要步驟是開發能夠向人工智能系統表達人類目標和意圖的計算建模方法。用各種各樣的方法來實現這個目標是可能的，從提供過去數據的純粹預測的模型到僅基于理論的生成模型。一種有希望的方法是所謂的從示范中學習的方法（Argall等人，2009；Ravichandar等人，2020），這種研究主旨是利用示范數據，如專家執行任務的行為，并訓練模型（通常被稱為 "智能體"）來執行專家的任務。在本報告中，我們采用了從示范中學習的方法來模擬和預測模擬機器人在避免碰撞的團隊任務中的行為。具體來說，我們采用了逆向強化學習（IRL）（Ng和Russell，2000年；Arora和Doshi，2021年），這是一種從演示中推斷獎勵函數的方法。

這項任務是基于一個研究性的視頻游戲，被用來研究人類-自主性的團隊合作（Adamson等人，2017年），涉及一個由人類玩家和一個人工智能agent共同控制的機器人。在沒有玩家輸入的情況下，人工智能agent控制機器人，但玩家可以在任何時候推翻agent，類似于現實世界中與自動駕駛助手一起駕駛的情況。這項任務對旨在模擬人類意圖的示范學習方法提出了挑戰，因為觀察到的任務行為來自兩個示范者的控制：一個是人類，一個是自動駕駛。例如，人類的行為可能是由對自己的目標的理解和對人工智能的目標的估計產生的。此外，當人工智能處于控制狀態時，所有關于人類的信息都是他們不提供輸入的，人類對人工智能的選擇的同意程度是隱藏的。

我們對這一特定任務的關注是由我們的團隊正在進行的工作所激發的，即利用激發這一任務的研究視頻游戲從參與者那里收集數據。最終，我們將嘗試模擬真實的人在長時間內的行為--每天玩180天--以促進適應性AI代理的發展。這里描述的工作是對一種方法的驗證，這種方法將推動我們的團隊實現這一目標；然而，這種方法具有足夠的通用性，其核心概念可以應用于其他地方。

本報告全面總結了作為機器人語言項目的一部分所做出的貢獻，該項目是由美國陸軍作戰能力發展司令部陸軍研究實驗室牽頭，與南加州大學創意技術研究所和卡內基梅隆大學的研究人員合作開展的一項為期五年的倡議。特別是，本報告描述了在 "用智能系統進行共同理解和解釋的自然行為 "項目下資助的成就。這項研究的目標是為人們使用語言與機器人交流提供更自然的方式。愿景是使機器人能夠與人類隊友進行來回對話，機器人可以提供狀態更新，并在適當的時候要求澄清。為此，我們進行了四個分階段的實驗，在這些實驗中，人類參與者向遠程的機器人發出導航指令，而機器人的對話和導航過程最初由人類實驗者控制。在實驗過程中，自動化被逐步引入，直到對話處理完全由一個在以前的實驗中收集的數據上訓練出來的分類器驅動。

機器人語言項目的新貢獻包括：1）這種多階段的方法來收集無約束的自然語言，作為機器學習算法的訓練數據，以支持對話互動；2）收集對話和機器人數據的語料庫，并策劃成SCOUT語料庫（理解交易的情景語料庫）；3）一系列完全自動化的、 3）一系列全自動的概念驗證系統，顯示了所采取的方法的技術前景，4）作為項目一部分創建的算法，現在構成了陸軍聯合理解和對話接口能力的基礎，使士兵和自主系統之間的對話互動成為可能，以及5）通過對話-AMR（抽象意義表示）形式主義在人類-機器人對話的指令語義方面的創新。

圖1 指揮官向機器人發出口頭指令，機器人的能力由兩個向導來執行，分別代表對話管理和機器人導航的能力。

引言

這項研究的重點是通過采用對話作為交流模式，使士兵與智能體的互動，特別是與機器人等具身智能體的互動，既安全又更有效。對話，特別是使用自然語言的來回口頭對話，比傳統的圖形用戶界面有許多好處。其中，對話使智能體能夠在指令不明確時提示人類隊友進行澄清，并在任務完成后提供狀態更新。自然語言對話可以幫助實現智能智能體作為士兵身邊的隊友的愿景，提供士兵今天在完成任務時使用的直觀的無約束的交流模式。

以收集與智能體的自然對話為目標，我們希望采用一種實驗方法，使我們能夠解決以下問題： 1）智能體如何作為隊友與人類進行有效的交流，以完成共同的任務？ 2）當人類指導機器人等智能體時，交流的協議如何能以智能體可以使用的形式，從人類那里引出自然的多樣性交流策略？為了回答這些問題，我們與陸軍大學附屬研究中心南加州大學創意技術研究所（USC ICT）的研究人員合作，通過實驗確定如何將開發智能虛擬人的方法適應于機器人。雖然物理機器人平臺是我們的主要任務，但我們的目標是確定可以推廣到各種可以從對話中受益的軟件智能體的方法。

在南加州大學ICT的SimSensei項目中，研究人員使用了一種我們稱之為數據驅動的 "Wizard-of-Oz"（DWoZ）的方法來觀察人類如何與他們認為是自主的虛擬化身聊天。實際上，他們在屏幕上看到的頭像是由人類 "巫師 "實驗者控制的。在與南加州大學ICT的合作中，我們的目標是評估這些貢獻是否可以擴展到自主系統，即地面機器人，以支持與人類隊友的合作搜索和導航任務。該項目由美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）的資助項目 "與智能系統共同理解和解釋的自然行為 "贊助，對外稱為 "機器人語言 "項目，由一系列實驗組成，執行多階段實驗的設想，其中向導代表人工智能（AI）組件，在后期階段 "自動消失"。操作上的假設是，像移動機器人這樣的物理智能體的對話系統可以通過基于DWoZ的對話收集來訓練。

這項研究對對話、人機交互、人類因素和自然語言處理領域的新貢獻如下：

• 一種多階段的、經驗性的方法來收集機器學習算法的訓練數據，以支持與指向物理世界的智能體（如移動機器人）的對話互動（第4和第5節）。

• 一個對話和機器人數據的語料庫（Situated Corpus of Understanding Transactions [SCOUT]），作為告知智能體在協作搜索和導航任務中如何回應人類隊友的基礎（6.1節）。

• 在研究過程中開發的一系列完全自動化、端到端的概念驗證系統，顯示了使用DWoZ方法與智能體進行自然對話互動的技術前景（第6.2節）。

• 作為項目的一部分而創建的算法，現在構成了陸軍聯合理解和對話界面（JUDI）能力的基礎，使士兵和自主系統之間的對話互動得以實現（第6.3節）。

• 一套新穎的注釋方案，對指導智能體和控制機器人行為的向導實驗者之間的對話交流的結構、內容和語義進行建模（第6.4節）。

本報告的其余部分組織如下。第2節提供了相關工作的基本概述。第3節將先前的研究和本項目之前進行的預試驗研究與DWoZ設計的選定配置聯系起來。第4節概述了任務和實驗設置。第5節對實驗及其結果進行了高水平的描述。最后，第6節討論了項目的影響，第7節是衡量標準，第8節是總結性意見。

創造能夠適應人類的人工智能隊友的一個必要步驟是，開發能夠向人工智能系統表達人類目標和意圖的計算建模方法。用各種各樣的方法來實現這個目標是可能的，從基于過去數據的純粹預測模型到僅基于理論的生成模型。一種有希望的方法是所謂的從示范中學習的方法（Argall等人，2009；Ravichandar等人，2020），這種研究主旨是利用示范數據，如專家執行任務的行為，并訓練模型（通常被稱為 "智能體"）來執行專家的任務。在本報告中，我們采用了從示范中學習的方法來模擬和預測模擬機器人在避撞的團隊任務中的行為。具體來說，我們采用了逆向強化學習（IRL）（Ng和Russell，2000年；Arora和Doshi，2021年），這是一種從演示中推斷獎勵函數的方法。

這項任務是基于一個研究性的視頻游戲，被用來研究人類自主性的團隊合作（Adamson等人，2017年），涉及一個由人類玩家和一個AI智能體共同控制的機器人。在沒有玩家輸入的情況下，AI智能體控制機器人，但玩家可以在任何時候推翻智能體，類似于現實世界中與自動駕駛助手一起駕駛的情況。這項任務對旨在模擬人類意圖的示范學習方法提出了挑戰，因為觀察到的任務行為來自兩個示范者的控制：一個是人類，一個是自動駕駛。例如，人類的行為可能是由對自己的目標的理解和對人工智能的目標的估計產生的。此外，當人工智能處于控制狀態時，所有關于人類的信息都是他們不提供輸入的，人類同意人工智能選擇的程度是隱藏的。

我們對這一特定任務的關注是由我們的團隊正在進行的工作所激發的，即利用激發這一任務的研究視頻游戲從參與者那里收集數據。最終，我們將嘗試模擬真實的人在長時間內的行為--每天玩180天--以促進適應性AI智能體的發展。這里描述的工作是對一種方法的驗證，這種方法將推動我們的團隊實現這一目標；然而，這種方法具有足夠的通用性，其核心概念可以應用于其他地方。

圖戰斗系列

2019年1月，美陸軍部長（SECARMY）要求陸軍科學委員會（ASB）研究人工智能（AI）如何改善戰場上的戰役和戰術表現。具體而言，他希望ASB確定陸軍在人工智能實施方面的獨特挑戰，確定陸軍的行業最佳實踐，并審查對手在戰場上對人工智能的潛在使用。

為了進行這項研究，ASB組建了一個研究小組，成員包括建立人工智能系統和指導人員，以及在實驗室、學術界、工業界和軍方有經驗的人員。該團隊還得到了負責人工智能實施的陸軍人工智能任務組以及陸軍研究實驗室（ARL）和陸軍夜視局高級政府聯絡員的協助，他們幫助約束該研究并為陸軍的人工智能實施提供指導。在收集數據的同時，研究小組還會見了來自政府、工業和學術界各組織的130多名人士。

AI在戰場上的前景和挑戰

在工業革命期間，機器開始執行以前需要人類體力勞動的任務。今天，一場認知革命正在發生，機器開始執行以前需要人類認知的任務。例如，我們問智能手機問題，并期望得到合理的答復，我們在網上買東西，并得到類似產品的推薦。

目前還不清楚我們是否了解認知革命的所有影響，但研究小組認為，它將改變戰爭特征，因為它提高了決策到行動的速度、規模和范圍，超過了人類在沒有援助的情況下所能完成的大量任務。人工智能是認知革命的核心，在戰場上優化使用人工智能將需要陸軍采用新的思維方式，包括一個反應靈敏的采購過程。

為了這項研究的目的，研究小組將人工智能定義為計算機系統執行通常需要人類智慧的任務能力。有許多關于人工智能的方法。

美國的對手已經在使用人工智能。俄羅斯和中國定期公布在戰場上進行的自動駕駛車輛實驗。成功實施人工智能的一個關鍵是數據標簽化。中國和俄羅斯的領導層都宣布人工智能是未來，誰能領導認知革命，誰就能在戰場上獲勝。除了僅僅使用人工智能，美國的對手希望實現人工智能的優勢。

目前的美國防部政策劃定了自主和協作，這決定了人工智能如何被用于支持各種作戰任務。因此，需要對人工智能采取多種方法，以確保人工智能系統在戰場上的最佳應用。無論采用哪種方法、作戰使用或政策要求，快速反饋周期將推動對作戰任務的評估，并將采用人工智能來告知如何收集和調節數據、如何運行算法以及如何優化人機界面。換句話說，人工智能最終將被用來衡量人工智能在戰場上的使用情況。這對軍隊來說也是顛覆性的。

同時，美國陸軍有幾種可能的方式在戰場上使用人工智能。下一個垂直升降飛機可以與使用綜合視覺增強系統（IVAS）的下一代戰斗車輛和士兵合作。一旦這些部件被聯網，相對于士兵在獨立系統中所能做到的，人工智能將提供更高的速度、范圍和規模。因此，人工智能將被用于自主機動、輔助目標識別和/或自動目標識別、任務規劃等。

人工智能給戰場帶來的優勢伴隨著風險和挑戰。有效使用有幾個潛在的障礙，如缺乏互操作性，數據饑餓，以及被對手利用。這些都是眾所周知的。但也有圍繞可靠性、信任、道德和可解釋性的問題，所有這些都有助于操作者理解人工智能的決策或建議。不是所有的人工智能系統都能做到這一點。

圖5 陸軍使用人工智能的潛力和挑戰

人工智能在工業中的應用

研究小組訪問了工業界，以了解商業企業如何利用人工智能，減少風險，并克服固有的挑戰。成功應用人工智能的共同主題涉及快速和持續的適應性和改進，可由以下方法促成：

• 使用常見的人工智能平臺

• 整理數據，特別是通過事實標簽

• 用模擬數據增強真實數據

• 創建架構和基礎設施，支持數據流和競爭所需的高性能計算

• 開發與技術共同發展的運行概念，例如，特斯拉的軟件更新方式是根據人們如何使用車輛來發展和展示新功能的。

• 知道在哪里應用人工智能來解決價值最高的問題，帶來最好的投資回報

• 獲取人工智能技能人才，由于競爭激烈，即使是像亞馬遜這樣的公司也面臨挑戰。

競爭也促使行業發展出一套實踐，允許快速變化和升級，特別是在軟件方面，進入正常生產，同時確保高質量。這種實踐--DevOps--結合了開發（Dev）和信息技術運營（Ops），以縮短系統開發的生命周期，并提供持續、高質量的交付（圖1）。

企業在實驗室中創建、整合和測試人工智能，將其發布給消費者，并部署到現場。當它被使用時，它被監測，并根據該系統的運行和使用情況，制定計劃，產生升級。企業重新編碼，重新開始循環以提高性能。DevOps循環需要一個底層數據層來迭代AI。與軟件升級不同，軟件升級可能是按月推送的，而人工智能周期必須是連續的，操作非常迅速，以確保最佳性能。

美國陸軍的進展

在收集數據的過程中，研究小組了解到，陸軍已經開始組織將人工智能帶到戰場上。陸軍成立了人工智能工作組，并與卡內基梅隆大學（CMU）合作成立了陸軍人工智能中心。陸軍也已經開始在陸軍未來和概念中心、訓練和條令司令部（TRADOC）以及其他地方開發人工智能的概念。

也可以說，這些人工智能的工作在很大程度上是不協調的。有許多陸軍項目使用人工智能。但陸軍成功運作的人工智能不能像在工業界觀察到的那樣快速發展。往往沒有共同的基礎設施，所以用于每個系統的計算、網絡和數據都是獨立的。

與工業界相比，陸軍人工智能活動的另一個不足之處是系統分析和建模與仿真（M&S）不足。例如，在x系統中加入人工智能將使任務的有效性提高y量；它將改變殺傷率，或完成任務的時間，或任務成功的概率，等等。就研究小組所能確定的而言，那些能夠顯示人工智能可能帶來什么價值的A-B測試還沒有做。

陸軍面臨的一個潛在挑戰是目前美國防部的采購環境，這使得復制工業界的快速開發周期變得極為困難。陸軍要購買一個可以像谷歌和其他公司那樣每天進行更新的系統是非常困難的。

陸軍可以自行解決的另一個挑戰是缺乏獲得、管理和使用其人工智能能力所需的足夠人才。陸軍有與增長和保留STEM資格人員有關的人才管理問題，而人工智能從業者在這一領域中所占的比例更小。有一些專家，但陸軍并沒有很多。

隨著陸軍繼續組織將人工智能帶入戰場，相當明確的是，最佳應用將出現在哪里（圖2）。有幾十種情況下，人工智能會增強陸軍的作戰功能，以包括一些人類參與可能有限的任務。

圖2 AI在戰場上的潛在應用

這些賦能器中的大多數已經在開發中，它們很少從頭開始。戰場上的使能因素往往可以建立在商業技術之上。

根據人工智能任務組的報告，目前的陸軍人工智能生態系統以CMU的人工智能中心為中心（圖3）。它與各利益相關者保持著聯系，包括實驗室和材料開發商、陸軍訓練中心和作戰社區。通過人工智能任務組，該中心還與美國防部的聯合人工智能中心進行協調。

圖3 當前陸軍AI生態系統

美陸軍人工智能生態系統專注于開發和實戰原型；從定義下一代系統的人工智能要求，到為傳統平臺開發人工智能解決方案。這種在戰場上的人工智能整合將迫使陸軍以新的方式運作。除了解決商業從業者確定的挑戰和減輕潛在對手的攻擊，陸軍必須解決地方性的挑戰，包括以下能力：

• 確定人工智能投資的優先次序，以獲得最大的戰場影響

• 構建一個SoS框架，利用獨立開發的、異質的、支持人工智能的平臺

• 通過繁忙的操作網絡調動數據、模型、算法和反饋

• 測試不斷發展的系統，并驗證其對敵方攻擊的復原力

圖17 SoS企業架構集成

雖然商業從業者可能擁有他們的整個人工智能企業，但軍隊不會。陸軍將從國防工業基地內的不同來源購買技術，它將不得不使它們一起工作。一旦完成這項任務，數據、模型、算法和反饋都必須在一個繁忙的操作網絡上移動。陸軍將不會有使用工業界所享有的那種基礎設施的好處。

陸軍還需要采用類似于DevOps周期的方法，以支持持續改進的方式將原型轉化為記錄項目（POR）。這將需要有能力（對陸軍來說是新的）測試不斷發展的系統并驗證對攻擊的適應性。陸軍將不得不改變其運作方式，以采用DevOps循環。

建議

根據其數據收集、分析和發現，研究小組在六個類別中提出了建議(圖4)。

結論

人工智能將通過提高決策的速度、規模和范圍來改變戰爭的特征，而這是人類所能實現的。如果陸軍對采用MDO是認真的，它就需要認真地采用協作性人工智能。

人工智能對陸軍和其對手都將是顛覆性的，因為：

• 完整的戰場效果將需要不斷地收集和整理數據，而迄今為止雙方都沒有做到這一點
• 每一方都將不得不在異質平臺上發展人工智能之間的合作
• 人工智能DevOps周期的快速執行是成本密集型的，并且厭惡官僚主義

美國陸軍將需要開發一個人才管道，使其成為人工智能能力的聰明買家和聰明用戶。

有說服力的動機：美國的對手已經在做這些事情了。

1 引言

機器人和自主系統（RAS）是一個不斷發展的軍事產業。雖然軍方對RAS的興趣已經存在了幾十年，但這種系統在實驗和地面行動中的使用和應用是相對較新的，而且在不斷增長。這也是荷蘭武裝部隊的情況。2018年，荷蘭皇家陸軍建立了一個實驗單元來探索RAS，即所謂的戰爭的第四次進化。與這個單元一起，荷蘭陸軍開始了實地實驗和正在進行的研究，涵蓋了關于RAS軍事用途的廣泛的基本主題。這篇文章是對這項研究的總結，進行了兩年時間。本文簡要討論了軍事應用、自主性的含義、倫理和法律方面的考慮，以及陸軍內部需要采取不同的方法來跟上技術革新的步伐。隨后，本文描述了荷蘭武裝部隊安排其概念開發與實驗（CD&E）計劃的方式，以及鑒于快速創新的需要和大型組織內官僚主義的現實，它所遇到的摩擦。最后，本文對實地實驗的第一批發現和結論進行了反思。

圖 1 操作員和 MIS。操作員使用（數字）集成在平臺上的遙控武器站。立陶宛國防部，2022 年。

2 RAS的軍事背景

機器人和自主系統(RAS)在軍事方面提供了大量的、重要的和意義深遠的機會。為了觀察這些系統在這種情況下的適用方式并評估其效用，需要解決一些定義和概念：

• 自主性。人類授予一個系統執行特定任務的獨立程度。它是自我管理的條件或質量，以實現基于系統的情景意識（綜合感應、感知、分析）、計劃和決策的指定任務。自治指的是自動化的一個范圍，其中獨立決策可以為特定的任務、風險水平和人機合作的程度量身定做。自主程度可以從遠程控制（非自主）操作員協助、部分自動化、有條件的自動化、高度自動化或完全自動化。

• 機器人。能夠通過人類直接控制、計算機控制或兩者兼而有之的方式執行一套動作的動力機器。它至少由一個平臺、軟件和一個電源組成。

• 機器人和自主系統（RAS）。RAS是學術界、科技界（S&T）公認的術語，強調這些系統的物理（機器人）和認知（自主）方面。RAS是一個框架，用于描述同時具有機器人元素和自主元素的系統。值得注意的是，RAS的每個連續部分都涵蓋了一個廣泛的范圍。系統 "部分指的是廣泛的（軍事）應用領域中的各種物理系統。在計算機或網絡上運行的自動化軟件系統，包括 "機器人"，即可以在沒有人類干預的情況下執行命令的軟件片斷，不符合RAS的要求，因為它們缺乏物理組件。機器人 "部分，指的是系統的物理布局，認為該系統是無人駕駛或無人居住的。所有其他物理方面（大小、形式、是否飛行、漂浮或滾動等）都是開放的。

• 致命自主武器系統（LAWS）。一種無需人類干預的武器，在人類決定部署該武器后，選擇并攻擊符合某些預定標準的目標，因為一旦發動攻擊，人類無法阻止。

• 生命周期。生命周期的概念包括系統的各個階段，從設計到制造、測試、運行中的使用和退役。每個階段的責任以及自動化系統的各個方面都有所不同。總而言之，在法律和道德范圍內，自動化（軍事和或雙重用途）組件的生命周期得到良好管理的總體責任在于訂購系統的國防組織。在這樣做的時候，其采購規格應包含這些內容。各個(子)系統的生產商要對其部件的運作負責。

圖2 一個系統的生命周期

• 有意義的人類控制（MHC）。有意義的人類控制包括（至少）以下三個要素。(1) 人們對武器的使用作出知情的、有意識的決定；(2) 人們在對目標、武器和使用武器的背景的了解范圍內，得到充分的信息，以確保武力的使用符合國際法；(3) 有關的武器是在現實的操作環境中設計和測試的，有關人員接受了充分的培訓，以便以負責的方式使用武器。MHC是一個復雜的概念，在許多情況下，上述描述并不是結論性的。荷蘭的官方立場是，"所有武器，包括自主武器，都必須保持在有意義的人類控制之下"。

3 概念與應用領域

"殺手機器人 "的言論使公眾對軍事背景下的機器人和自主系統的看法變得狹隘，只認為是高度或完全自主的系統對武力的致命使用。實際上，RAS可以應用于許多軍事功能和任務，每種功能都有不同程度的自主性（見圖1）。機器人和自主系統的廣泛軍事適用性產生了許多巨大的機會。未來幾年的挑戰是如何充分利用這些機會，發揮軍事優勢的潛力，同時減輕所帶來的風險。

圖 3 RAS在軍事中的應用領域

4 評估RAS的軍事價值

為了衡量RAS對軍隊的附加值，有必要確定這些系統能夠（或不能）積極促進軍事組織能力的不同方式。這可以防止為創新而創新，并將RAS的發展定位在其產生切實的、可感知的結果的潛力上。為了確定RAS的軍事用途，我們提出以下標準（見圖2）：

圖 4 RAS評估矩陣

1.在部署RAS的軍事任務中實現預期效果或目標的有效性。

2.使用資源的效率。理想情況下，系統的生命周期成本（初始投資、維護、升級等）以及運行成本（如燃料、備件和維修）都要考慮在內。

3.根據當前情況的要求進行調整的敏捷性，以及隨著時間的推移適應新情況的敏捷性。

4.應用RAS的合法性，無論是在正式意義上還是在戰區和國內的（軍事）操作人員和人民/社會所認為的合法性。

5 目前的RAS系統概述

HCSS使用的RAS數據集在很大程度上建立在SIPRI數據集的基礎上，該數據集包含了380多個RAS，被分為若干一般類別。我們的概覽目前包括299個不同的RAS解決方案。我們的概覽目前包括299個不同的RAS解決方案。大多數RAS被歸入信息和情報類別，而使用武力的RAS解決方案最少。恰恰是由于涉及國家安全問題的分類所帶來的限制，使用武力的實際RAS數量可能比可以斷言的更多。此外，在中國和俄羅斯等國家收集有關RAS的數據受到其已知的保密性和語言障礙的限制。

使用HCSS的軍事功能分類法，對當前的RAS進行了事實性的概述（見圖1）。本節將首先展示該分類法的第一層；然后是第二層，對RAS的潛在軍事應用進行更詳細的說明。為了提供一個清晰的關于RAS生產和使用的廣泛觀點，可視化將顯示每個國家生產/使用的項目的大致數量。

我們根據其軍事功能對299種RAS進行了分類，即在服務與支持、信息與情報、防御性使用武力和進攻性使用武力等領域，形成了第一層分類法。圖3描述了RAS的第二層，為HCSS的系統分類提供了更全面的觀點。

圖 5. HCSS RAS 分類法

在這些功能中實施RAS帶來了巨大的挑戰，但也預示著軍隊有了更有效、更高效和更敏捷的新機會。可以根據這些類別來評估RAS繼續（重新）進化國防領域的潛力。

速度。在人工智能的幫助下，RAS已經能夠超越人類的反應時間，縮短OODA（觀察、定向、決定、行動）的循環，從而促進快速決策和對威脅進行優先排序。

可靠性。將任務委托給機器需要極大程度的信任，到目前為止，RAS還不能證明在所有軍事應用領域都有足夠的可靠性。然而，隨著這些系統在執行具體任務時證明其可靠性和有效性，我們對這些系統的信心會增加。

精確性。人工智能系統已經發展了面部圖像識別和感官能力，超過了人類的表現水平，盡管無人駕駛系統比人類操作人員更精確的說法受到廣泛爭議。

量。由于射程和耐力的增加，RAS有能力加強對戰斗空間的覆蓋，并壓倒對手。這種潛力的最好例子是 "蜂群"。

射程。RAS大大增強了監視、情報、偵察和武器系統的可用存在點。

穩健性。在短期內，RAS將比人類更容易受到意外情況的影響，包括惡劣的天氣和任務的變化。這種脆弱性延伸到了虛擬領域：因為連接的損失、黑客攻擊和其他干擾會使一個系統失去能力。

安全性。RAS可以執行 "枯燥、危險和骯臟 "的任務，這樣人類就可以專注于更專業的任務，并遠離火線。

成本。盡管對最先進技術的獨家使用權將保留給最富有的參與者，但現在被認為是高度先進的系統的成本將在未來20年內下降，從而變得更廣泛地可獲得。

維護。鑒于系統的復雜性和所涉及的多個（外部）合作伙伴，更新和升級RAS的軟件和硬件可能被證明更加困難。

時間效率。RAS可以在不需要休息的情況下24小時高標準地執行枯燥和重復的監測任務，后勤規劃可以得到有效解決，并且可以迅速超越人類多任務處理的極限。

靈活性。盡管RAS目前在執行特定任務方面表現出色，而人類在可預見的未來仍將是最靈活的。隨著開發人員對當前系統的不斷創新，這種動態可能會發生變化。

適應性。RAS具有很強的適應性，在系統的生命周期中可以很容易地進行重新配置（擴展、延伸、升級等），以便跟上動態環境中出現的新要求。

外部合法性。因此，軍隊與RAS的接觸必須在它們（可能）提供的先進能力和它所服務的社會的價值觀和規范之間取得平衡。

內部合法性。對RAS的信任和組織正常化將隨著時間的推移得到加強。隨著對系統的理解、其可預測性和熟悉程度的提高，其在組織內的合法性將得到鞏固。

圖6 荷蘭陸軍機器人

6 自主性等級

RAS的 "自主性"部分是討論最多的，也是最受限制的。一個關鍵的概念是有意義的人類控制（MHC）。荷蘭的正式立場是，"所有武器，包括自主武器，都必須保持在有意義的人類控制之下"。同樣，沒有國際公認的定義。有意義的人類控制包括（至少）以下三個要素：

• 人們對武器的使用作出知情、有意識的決定。
• 人們在對目標、武器和使用武器的背景有充分了解的情況下，確保武力的使用符合國際法的規定。
• 有關的武器是在現實的操作環境中設計和測試的，有關人員接受了充分的培訓，以便以負責任的方式使用該武器。

然而，MHC是一個復雜的概念，在許多情況下，上述描述并不是結論性的。同樣，經常使用的人在環中、人在環上和人在環外的區分也是不夠的。這些術語指的是一個未指定的人和一個未指定的決策循環之間的關系，而在現實中，一些不同的人可能與各種循環有關。循環中的人類指的是人類具有監測功能，能夠在需要時進行干預的情況。許多這樣的環路都是非操作性的，例如，在RAS的設計階段發揮。同時，這些術語也涵蓋了人類控制（或機器自由）的方面。自主性一詞中還包含的另外兩個概念是機器的復雜性和被自動化的決策類型。

為了我們的目的，我們提出了一個基于SAE國際標準J3016的分類法（見圖4），該標準確定了六個級別的駕駛自動化來對自動駕駛汽車進行分類。

圖7 自動化等級

0：遠程控制：由操作者全時執行動態核心任務的所有方面，即使有警告或干預系統的加強。

1: 操作員協助：由協助系統利用環境信息執行核心任務的某些功能方面，而操作員執行核心任務的所有其余方面，并期望操作員對干預請求作出適當的反應。

2：部分自動化：由協助系統使用環境信息執行核心任務的所有功能方面的特定模式，并期望操作者對干預請求作出適當的反應。

3：有條件的自動化：由一個或多個輔助系統對核心任務的所有功能方面進行特定模式的執行，使用關于環境的信息，并期望操作者將對干預的請求作出適當的反應或/和可以推翻自主行為。

4：高度自動化：由一個或多個輔助系統利用有關環境的信息，執行核心任務的所有功能方面的特定模式，即使操作者沒有對干預的請求作出適當的反應。

5：完全自動化：由一個自動化系統在所有環境條件下全時執行核心任務的所有方面，至少達到可由操作員管理的水平。

7 存在的困境

7.1 RAS軍事應用的社會考慮

在軍事背景下開發、整合和使用RAS的倫理和法律考慮比比皆是。雖然目前關于機器人和自主系統（RAS）的倫理辯論往往被圍繞著全面禁止 "殺手機器人 "的相對極端的敘述所主導，但目前關于RAS的討論卻忽略了對決定如何在軍事背景下引入RAS有關鍵影響的細微差別。醞釀中的人工智能軍備競賽以及廉價、技術先進的系統在國家和非國家行為者中的傳播，迫使各國采用RAS。軍隊如何在保持人類機構、人類尊嚴和責任不變的情況下做到這一點是非常重要的。

7.2 倫理考慮

保持人的能動性，特別是在自主武器系統（AWS）的背景下，是關于在軍事領域整合RAS的最有爭議的辯論問題之一。人的能動性是一個概念，包括 "自我控制、道德、記憶、情感識別、計劃、交流和思考"。它包括 "自我意識、自我意識和自我授權的特點"，因此與道德機構有關，并影響到責任的歸屬。

人類控制也被稱為 "有意義的人類控制"（MHC），是人類機構的一個操作組成部分，它區分了人類和人工決策過程。維持MHC的一個基本方面是操作者對算法過程的參數的理解，作為計算結果的呈現，以及事后解釋機器通往結論的路徑的能力。從這一點出發，產生了RAS特別是AI的一個重要的倫理問題：缺乏算法的透明度。神經網絡等算法存在不透明性，因為它們像 "黑匣子 "一樣運作，因此算法得出結論的路徑往往無法追蹤。操作者對此類系統的理解減少，降低了他們預測和/或解釋系統推理過程的能力，削弱了操作者對結果的控制，因此，對其（錯誤）使用的責任。此外，算法驅動的系統的進化性質，無論是自學特性還是軟件更新，都有可能大大影響系統行動的可解釋性。獨立發展其對周圍環境的理解的自學人工智能、自動化偏見和對系統輸出的過度信任可能會限制人類對RAS系統運行的控制。由于系統的設計可以在觀察、定向、決定、行動（OODA）循環中的多種功能中納入不同程度的自主性（從遠程控制到完全自主），有意義的人類控制原則應在開發的最初階段被考慮。

基本的指導原則是以 "設計的倫理 "來工作，即在用例識別、系統設計、驗證、制造和測試過程中納入倫理考慮，而不是僅僅在系統生命周期的 "使用 "階段。這就需要在設計和測試階段的早期建立對系統性能和行為的理解，通過早期讓終端用戶參與進來，這意味著操作員、監督員和指揮官將能更好地追蹤、理解和預測系統的決策過程。應該為將開發過程外包給外部承包商建立最佳實踐指南。

7.3 法律考慮

RAS中缺乏有意義的人類控制，這推動了對管理自主武器的法律討論和辯論的考慮。國際上的立場仍然大相徑庭，從禁止這類武器的支持者和反對者到介于兩者之間的一些國家，強調需要進一步澄清和闡述現有制度。然而，很明顯，目前的規則、標準和做法是相關的，但很可能不足以涵蓋自主武器方面的發展。至少，RAS需要對現有法規進行完善。雖然基于共識的《特定常規武器公約》/《政府專家組》仍然是推動這一辯論的必要工具，但僅靠這一努力是否足夠令人懷疑。盡管有非政府組織和學術界的參與，但在這種形式下，國家締約方占主導地位，工業界只是以后備身份出現。在國際層面的定義、規范和標準的各種方法中，荷蘭需要決定其武裝部隊現代化的方向，并在不斷加強的公眾辯論中決定其國際姿態。

管理RAS的法律方法包括硬法律、軟法律和自愿措施。硬法涉及國家間談判和商定的具有約束力的條約。軟法涉及準法律文書，如具有政治約束力的行為守則（CoCs）或建立信任和安全的措施（CSBMs），有時涉及國家以外的多個利益相關方。最后，自愿性文書包括行為原則或規范以及最佳做法的交流，或傳統軍備控制界內部或外部的其他信息（見圖6）。

圖 6：監管 (L)AWS 的三種機制

8 概念開發與實驗是必需的環節

8.1 RAS軍事應用的操作考慮

對RAS的軍事適用性的業務操作考慮涉及現有程序和武裝部隊內部文化帶來的挑戰，特別是在與外部伙伴的合作以及概念開發和實驗（CD&E）方面。在合作方面，RAS的出現對軍事背景下多利益相關方合作的有效性提出了挑戰，特別是當它涉及與私營部門的合作結構時。除了與外部關系的變化，武裝部隊還必須努力解決CD&E過程的內部重組問題，這不僅會對指導組織功能的結構過程提出質疑，也會對更廣泛的理論思維提出質疑。RAS的獨特之處在于，它們最終會將人類帶入 "圈外"，并因此極大地影響作戰性能、組織嵌入（例如，影響人員的數量、技能和培訓）以及作戰概念（理論和戰術）。

協作考慮

由于RAS的發展在很大程度上是由民用創新驅動的，RAS的整合創造了與傳統國防工業以外的設計者、開發者和制造商互動的需求。管理這種關系需要：a）綜合和跨學科的合作；b）明確的任務、投資和責任分工；c）實施共同的系統結構；d）平衡軍事要求和期望、技術可能性以及（可能沖突的）法律、倫理和安全參數。

此外，由于快速的創新周期，例如人工智能（AI），RAS必須在快節奏的程序中開發和獲得，使用時間較短，并在系統的整個生命周期中進行修改、更新、插入或交換。而常規系統的整合包括從開發者/生產者到將使用新系統的軍事組織的某種 "移交"。RAS的一個特點是對持續發展的集成軟件的依賴；當然，在自我學習算法是系統自主推理的一部分的情況下。因此，RAS的移交并不一定是生產者在生命周期的后期階段的最終參與。生產者必須確保系統得到充分和定期的更新，確保系統的自學性質得到控制，并繼續滿足需求和標準。

與這些快速的創新周期相比，關于倫理問題和法律不確定性的社會討論展開得很慢。這些對話需要與國防組織之外的一系列利益相關者和政策制定者進行互動。軍方應盡可能地讓外部開發者參與這一辯論，并應通過使用內部準則或行為守則對所有利益相關者進行有意義的監督。

RAS的整合涉及到對所有 "DOTMLPF "類別的調整。軍隊應重新考慮理論是否涵蓋了RAS部署的情況，部隊的培訓和組織是否足以確保RAS得到充分利用，是否有足夠的技術知識來處理臨時的技術問題，設施是否具備維修RAS的能力，等等。RAS可能給DOTMLPFelements（部分或全部）帶來的根本性變化，需要與國防組織內的利益相關者、國際軍事伙伴，以及可能與其他伙伴機構進行廣泛的互動。

8.3 概念開發與實驗（CD&E）考慮

在武裝部隊中引入RAS，不僅僅是為了適應和使用新的武器系統。為了站在快速變化的需求和新興技術的最前沿，并能夠就RAS如何增強軍隊做出正確的決定，實驗是關鍵。對于設備的開發者來說，軍事世界可能是相當新的，并且鑒于在與RAS合作時出現的新問題，必須組織與開發者、生產商、知識機構，當然還有作戰用戶本身的密集工作關系。這些工作關系和隨后的討論應該為幾乎準備好的產品建立，但也特別是為武裝部隊的最概念性的想法建立。這些討論可以在所謂的 "試驗臺 "中進行。

在武裝部隊內部，如何從目前和計劃中的部隊轉向未來部隊的文化需要改變態度。需要進行深入的對話和研究，不僅是關于確定性的話題，如更新舊設備，而且是關于不確定性的話題，如思考未來需要的能力，并就如何達到這一點制定戰略。國防規劃系統需要為此進行調整，可能還需要在國防投資或生命周期計劃中設立單獨的創新基金。首先，關于采購的嚴格規定需要進行一些調整，以允許從舊手段向新手段的創新過渡。一個可能的方法是在定義新的能力需求的早期階段成立一個工作組，所有相關的參與者，從法律團隊和采購支持到業務用戶和負責的參謀人員，都可以討論和規劃新能力的獲得。

訪談發現，相當多的創新來自于組織的低層，而不是對未來技術的大局思考的產物。創新部門應該提供靈活的程序和一定程度的操作自由，以允許 "草根 "創新。創新競賽是另一個很好的例子，說明組織可以相當迅速地、不通過復雜的程序達成某些創新解決方案。同樣重要的是，允許創新失敗，在這種情況下，沒有人必須為這種失敗而受到懲罰的想法。雖然不能指望軍事組織像工業界那樣接受失敗和承受風險，但如果要取得進展，必須向這種態度轉變。失敗和風險是真正創新的不可分割的組成部分。因此，工業界和軍方必須緊密合作，在RAS技術的生命周期內對創新進行評估。

圖8 第13輕裝旅RAS-CD&E單元

9 第 13 輕旅 RAS-CD&E單元

9.1 啟動

在許多陸軍中，啟動一個新項目或創建一個新單元的常見方式是通過周密的計劃、研究和大量的耐心。2018年，荷蘭皇家陸軍司令部偏離了這一軌道，指派一名軍官開始RAS考察，只下了一個非正式的命令："剛剛開始，探索各種可能性"。在沒有正常的組織分解結構和工作描述的情況下，這名軍官將具有不同專長的人聚集在他周圍，并進行了簡短的文獻審查和市場調查，以考察設備的可能性和可用性。這個新成立的團隊得到了RAS實驗單元的名字。該單元負責RAS領域的概念開發和實驗，并與工業界和大學一起探索短期和中期的研究目標。

這種迅速的開始使得在短短兩年內建立一個大約20人的團隊，擁有各種機器人、無人機和其他設備。在此期間，在蘇格蘭和奧地利進行了重大演習，RAS團隊帶著機器人參加了演習。

9.2 執行

軍隊指揮部的明智決定是將RAS實驗單元設在一個作戰旅，即13輕騎兵旅內，而不是教育和訓練單元或卓越中心內。這樣一來，就有可能為最終用戶進行實驗，并與最終用戶一起進行實驗，從未來必須操作這些系統的人那里獲得直接反饋。終端用戶由一個常規步兵排代表，該排被旅長指定為執行實驗的專用排。這個所謂的RAS排被置于RAS實驗單元的戰術指揮之下。

在第一年半的時間里，RAS-單元抓住一切機會快速啟動，這導致了各種各樣的項目分散到各個方向，它們之間沒有明確的凝聚力或明顯的焦點。這種工作方式是經過深思熟慮的選擇，即在短時間內非常靈活地探索RAS的廣泛領域，并采摘低垂的果實，而不是被阻礙和束縛在一個僵化的路徑上。這種方法在短時間內取得了許多小的成功，其結果是在組織內創造了一種積極的運動和熱情，以接受這一計劃，并繼續為一個相對不確定的計劃分配資金和資源。它引起了上級指揮部的注意、信任和 "贊助者"，產生了促進該計劃成為武裝部隊創新的主要先鋒之一的積極結果。

基于過去一年半的知識和經驗，廣泛而多樣的方法匯聚成2021年和2022年的三條行動路線。第一條線的目標是在2022年底與RAS排一起在軍事相關的環境中進行操作實驗，如任務。第二條是繼續進行已經開始的短周期實驗，第三條是（內部）開發人工智能，以實現從遠程控制到更多自主系統的步驟。這三條線都將集中在戰斗功能上。雖然從后勤或傳感開始爭議較少，但國家擁有使用武力的壟斷權，因此有責任在這一領域啟動控制良好和負責任的研究和開發。在其他研究領域有可能出現雙重用途的情況下，軍隊應以最低限度的能力采用和吸收這些研究結果，使其成為軍事證據。在戰斗功能方面，需要與工業界和大學的技術專長緊密合作并結合具體的軍事領域知識。

9.3 先決條件與挑戰

上述所選方法的成功程度取決于某些先決條件和滿足這些條件的方式。以下因素對RAS項目第一階段的迅速開展至關重要。

首先，被指派領導項目的人必須有一種反叛和創業的心態，特別是在像軍隊這樣的大型官僚組織。這是必要的，以便以非傳統的方式將組織從A地轉移到B地。如果以傳統的方式進行，你最終可能只是把事情做得更好一點。第二，項目負責人必須表現出毅力和勇氣，因為這將是一個艱難的內部旅程，團隊會遇到很多不情愿、不靈活和保守的情況。第三，管理層必須表現出對項目負責人的充分信任，并以誠實的意圖而不是以時間表來支持任務。這意味著一級和二級管理層必須接受混亂和 "不受控制 "的感覺。因此，重要的是在組織內部盡可能低的層次上賦予全部責任。例如，在計劃開始時，只有少數項目和活動是由上級指揮部設立和了解的。但隨著時間的推移，RAS單元不斷壯大，項目和活動的數量也隨之增加。當上級指揮部和上級領導對他們所不知道的項目數量感到 "驚訝 "時，當他們 "面對 "進展的規模時，就出現了轉折點。盡管所有項目似乎都符合方案和指揮官的意圖，但未知的情況讓上級指揮部感到不舒服。花了一些時間和多次 "咖啡機會議 "才阻止了收緊規則和增加控制措施。為了提高上級指揮部對形勢的認識，同意在RAS-單元內引入某種聯絡方式。

造成這種失控感的部分原因是，RAS計劃是一個復雜的、全面的和技術性的計劃。它有各種各樣的基礎項目，在技術領域、工程師或概念的成熟度、工業伙伴和方法上都有所不同。所有這些較小和較大的項目在時間上平行和/或串行運行，最終都有助于實現商定的目標。但這需要對所有這些項目有深入的了解，并以整體的觀點來看待這種相互聯系。只看到這個復雜的拼圖的一部分會給人一種混亂的印象。然而，正如高級指揮部所意識到的那樣，對方案細節有一個非常簡要的概述，但對目標和目的有一個清晰的看法和把握，這是第一步。下一步是接受這種簡短的細節，抑制試圖掌握所有細節的第一反應，這仍然是方案中的一個問題。為解決高層領導的這一擔憂，一個可能的解決方案是創建一個大型的圖像序列，其中所有的（子）項目都圍繞著主要目標進行可視化，并概述這些（子）項目之間的關系。有了這樣的圖示，就更容易說服和告知上級指揮部這些（子）項目的必要性，以及它們在大局中的作用。最后，對于參與項目的每一個人來說，接受（或更好地擁抱）失敗并保持耐心是很重要的。

圖 9.NLRA，RAS 排。 Themis RC 機器人在奧地利與荷蘭步兵一起進行 CD&E 演習

9.4 前進之路

隨著RAS發展的重點放在戰斗上，荷蘭國防部已經啟動了對無人駕駛地面車輛（UGV）和人工智能（AI）的長期投資計劃。在15年的期限內，軍隊將投資于各種戰斗型UGV的實驗，包括進一步開發相應的人工智能。隨著這項投資集中在連級，實驗將被執行，以開發更大規模單元（如營或旅）的新操作概念，同時還將建立一個模擬程序。這一發展的第一步從2022年開始，并將在2023年繼續。目標是創造一個模擬環境，在這個環境中，指揮官和他的工作人員可以嘗試新的作戰概念，除了現有的軍隊裝備外，還可以自由地納入各種RAS。除了概念的發展，這些模擬的結果將為新單元的形成和設置、這些單元內所需的RAS組合以及這些系統的具體資格提供指導。

美國陸軍未來司令部的士兵致命性（SL）跨職能小組（CFT）正在研究通過頭戴式和武器式能力的組合來增強下馬步兵的新方法。根據SLCFT的指示，美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室的研究人員探索了加強輔助目標識別能力的技術，作為陸軍下一代智能班組武器計劃的一部分。

敵對環境中涉及潛在目標的復雜決策必須由下馬的士兵做出，以保持戰術優勢。這些決定可能是人工智能（AI）技術的強大信息，如AI支持的火力或指揮和控制決策輔助工具。例如，一個士兵發射武器是一個明確的跡象，表明該地區有一個敵對的目標。然而，一個士兵在環境中追蹤一個潛在的目標，然后放下他們的武器，這是一個模糊的、隱含的跡象，表明該目標受到關注，但最終被該士兵認為不是一個直接的威脅。在近距離作戰的環境中，與士兵狀態相關的隱性標記數據（如光電視頻、位置信息或火力行動）可用于輸入決策輔助工具，以得出真實的戰場背景。然而，需要對這些行動進行更徹底的檢查。此外，來自單個士兵的突發非交流行為在整個班級中的匯總可以增強戰術態勢感知。盡管它們有可能產生戰術影響，但這些狀態估計或行為指標往往不能以立即可用的形式獲得。

DEVCOM陸軍研究實驗室（ARL）的研究人員調查了一種通過機會主義感應來進行下馬士兵狀態估計的方法--一種不需要人類明確行動就能收集和推斷關鍵的真實世界數據的方法。在通過正常使用武器追蹤和攻擊移動和靜止目標時，連續獲得數據以解釋士兵的行為。這項工作中使用的士兵-武器行為分類方法主要來自人類活動識別（HAR）研究。然而，在這項工作中，為了提高行為結果的生態有效性，在眼球追蹤文獻中經常使用的實驗范式被反映出來，將眼球運動和認知推理聯系起來。具體來說，眼動跟蹤研究的一個子集的目標是收集和解釋與公開的視覺注意力有關的眼動事件（即固定、囊狀運動和追逐），這可以揭示認知過程和關于環境的客觀內容。在戰斗中，士兵們可能會將他們的目標停留在一個靜態的目標上（固定），當出現新的目標時迅速轉換目標點，有潛在的目標出現（囊狀運動），或者在潛在目標移動時跟蹤他們的目標點（平滑追擊）。

目前，頭戴式眼動跟蹤技術正在開發用于戰斗。然而，與校準誤差有關的凝視數據中的噪聲使其難以有效地使用這些數據。一個更突出的解決方案可能存在于士兵和他們的武器之間的互動中，這項工作使用傳統的HAR技術進行。執行HAR的主要方法是在一個人進行一些身體活動時，使用慣性測量單元收集時間序列數據。然后使用機器學習技術來訓練分類模型，根據數據信號預測行動。這種方法可以擴展到包括在人類與物體互動時對其運動的分類。在這種情況下，當近距離作戰的士兵與潛在的威脅進行互動時，武器的運動特征被伺機獲得，這為這些士兵在這種環境中做出的復雜決定提供了一個窗口。

論文中記錄并發表了對這一評估的全面分析。對來自動態士兵狀態估計的運動數據進行建模和分析以實現對形勢的理解。

信任是團隊有效性的基礎，它影響著各種團隊過程，包括信息共享、決策和團隊的整體成功。在那些在惡劣的、不確定的、高壓力的環境中工作的高績效團隊中，如軍事、急救、醫療、搜救和救災，在關鍵時刻不適當的信任水平（無論是過高還是過低）會導致隊友之間的次優互動，從而導致不安全的行為（De Jong和Elfring 2010；Costa等人2018）。例如，太過信任，或 "過度信任"，會使操作人員陷入自滿狀態，導致代價高昂的錯誤，并有可能失去人命和昂貴的設備；相反，信任太少，或 "信任不足"，會使團隊成員感到需要不斷監督對方，造成不平衡和不適當的工作負荷（de Visser等人，2020）。信任是通過作為一個聯系緊密的團體訓練，以及隨著時間推移的共同經驗而建立的（Fulmer和Gelfand 2012；Costa和Anderson 2017）。

隨著自主技術的不斷發展，未來的團隊結構很可能包括自主成員，他們的功能不僅是提供支持的工具，而且是成熟的隊友（Phillips等人，2011）。雖然人類表現文獻中有豐富的方法來評估個體（或對）的信任，但在理解如何衡量大型團隊的信任方面還存在差距（Feitosa等人，2020），以及哪些措施可能最適合由多個人類和多個自主系統組成的團隊的復雜性。使信任度量更加復雜的是，團隊信任是一種動態狀態，在團隊的生命周期中不斷波動，并進一步受到社會、任務和環境背景的影響（Schaefer等人，2018a；Schaefer等人，2019a）。然而，信任在這些更大的、異質的團隊中發展和傳播的過程仍然不清楚。因此，為了使這些技術能夠充分支持團隊運作，關鍵是要了解在人類自主團隊的背景下，信任是如何發展、維持和衡量的。因為信任是復雜的，所以需要一種多模式的測量方法。因此，在本報告中，我們描述了一個概念性的工具包，它的開發是為了更準確、更有力地理解人類自主性團隊中的信任。

鑒于我們的未來社會將看到由多個人類和多個自主系統組成的異質團隊的興起，量化團隊不同成員之間的信任關系，以及了解信任對全球團隊動態的一系列影響非常重要。從這個方法來看，人與人之間的信任與人機合作關系，甚至機器與機器合作關系內部的信任是不一樣的。這些不同類型的互動有不同的優先因素和特點，以及這些互動如何影響整個團隊的信任傳播。考慮到所有這些因素，關鍵是要首先了解現有信任措施的能力和局限性，以便對其進行調整以滿足這些需求，或者在必要時，開發新的措施來支持團隊信任評估。為此，本報告探討了信任評估技術的現狀，包括那些新穎的、超出主觀評估范圍的技術。

第2節我們首先定義了人類自主性團隊，并概述了人類自主性團隊特有的團隊信任。

第3節確定并描述了不同類型的信任，這些信任在其發展過程中是不同的，特別是它們如何影響人類自主性團隊合作。

第4節分解了文獻中已被充分記錄的不同的信任度量方法，其中包括團隊信任的主觀、溝通、行為和生理指標，以及這些如何為在動態環境中運作的人類自主性團隊的有效信任校準提供多模式度量方法。在下文中，我們利用一個說明性的案例研究，詳細介紹了度量團隊信任的多步驟方法，并對模式和后續指標的選擇提出了建議，還指出了團隊信任度量中涉及的一些限制和注意事項。

1. 簡介

機器學習（ML），從廣義上講，是一類自動優化參數以處理給定輸入并產生所需輸出的計算機算法。ML的一個經典例子是線性回歸，據此找到一條最適合（通過）一組點的線。最近的一個例子是分類任務，如用 "貓 "這樣的單字來標記一張百萬像素的圖像。

對于許多應用，ML完成了人類可以做得同樣好的任務。然而，ML在兩種情況下大放異彩：1）任務的數量巨大，例如數百萬；2）問題的維度超出了人類思維的理解。一個簡單的例子是同時實時監控成千上萬的安全攝像頭，尋找可疑的行為。也許一個ML方法可以發現異常事件，并只與人類觀察者分享這些視頻片段。更好的是，異常圖像可以被暫時貼上諸如 "1號入口處的蒙面入侵者 "之類的標簽，以幫助保安人員只關注相關的信息。

除了減少人類的負擔外，ML還可以將人類可能無法識別的復雜的相互聯系拼湊起來。例如，一個ML算法可以發現，在一百萬個銀行賬戶中，有五個賬戶的交易似乎是同步的，盡管它們沒有相互發送或接收資金，也沒有向共同的第三方發送或接收資金。

鑒于手持和固定設備的計算資源不斷增加，我們有必要想象一下，ML可以在哪些方面改變戰爭的打法。當然，ML已經對美國陸軍的科學研究產生了影響，但我們也可以很容易地想象到自主車輛和改進的監視等作戰應用。

本文件的主要目標是激勵美國陸軍和美國防部的人員思考ML可能帶來的結果，以及為實現這些結果，哪些研究投資可能是有成效的。

5. 使用機器學習的ARL研究

在ARL的許多研究項目中，機器學習目前正在被使用，或者可以被使用。我們列出了一些使用ML或可能從ML中受益的研究項目。我們列出的與ML相關的ARL研究工作絕非完整。

6. 軍隊作戰應用

雖然從技術上講，機器學習自19世紀初高斯發明線性回歸以來就一直存在，但我們相信，ML的最新進展將以我們目前無法想象的方式影響軍隊。在本節中，我們概述了我們認為將得到加強的軍隊行動的許多領域，以及可能采用的ML方法的種類。

6.1 軍事情報

軍事情報包括信息收集和分析，因為它涉及到指揮官做出最佳決策所需的信息。由于收集的數據量越來越大，處理必須自動化。需要考慮的主要問題是數據的數量、速度、真實性和多樣性。大量的數據（又稱大數據）需要在許多計算節點上對數據進行智能分配。速度要求快速計算和網絡連接到數據流。真實性是對信息來源和異常檢測的信任問題。多樣性相當于使用許多不同的ML算法的不同訓練模型的應用。我們在本小節中概述了不同類型的數據和分析要求。

6.1.1 自然語言處理

讓計算機從從各種媒體來源收集到的大型文本數據庫中提煉出重要的概念和文本部分，有很大的好處。最近報道的另一個ML突破是不同語言之間的精確文本翻譯。 軍隊的一個獨特挑戰是翻譯不常見的語言，因此專業翻譯人員較少。在人工通用智能（AGI）領域，一些團體聲稱，自然語言處理將是類似人類認知的基礎。

6.1.2 數據挖掘

鑒于人類、傳感器和代理產生的數據的激增，一個很大的問題是，除了證明其收集的直接用途之外，這些數據還包含什么剩余價值。數據挖掘可以是統計學和機器學習的努力，以發現數據中的模式，否則人類操作者就會錯過。

6.1.3 異常檢測

傳統上，異常檢測是通過首先識別已知數據的群組和描述數據的分布來進行的。然后，當新的輸入被處理時，它們被識別為屬于或不屬于原始分布。如果它們在已知分布之外，就被認為是異常的。以下許多類型的異常檢測系統可能對軍隊有用。

• 網絡入侵檢測：超出常規的網絡流量。McPAD和PAYL是目前使用的軟件中的2個這樣的例子，它們使用了異常檢測。

• 生活模式異常：人們的視覺和生物統計學上的行為方式與常人不同，表明他們可能正在進行一些對抗性行動。

• 基于條件的維護：在當前生命周期中，材料/系統在其年齡段不典型的信號。

• 士兵異常：有理由相信士兵的生物識別技術不正常。

• 異物檢測：在已知物資數據庫中無法識別的物體的視覺效果。

6.2 自主性

6.2.1 自動目標識別

自動目標識別（ATR）是一個非常成熟的領域，已經使用機器學習幾十年了。

1）目前深度學習的進展將在多大程度上增強ATR？

2）更復雜的算法是否需要更復雜/更耗電的機載計算？

3. ML是否能對目標的各種欺騙性的混淆行為具有魯棒性？

4. 強化學習在多大程度上可以用來進行實時軌跡調整？

6.2.2 機器人學

機器學習在機器人學中的應用也是一個巨大的領域。ML應用領域包括傳感、導航、運動和決策。目前，傳感將從計算機視覺的所有進展中受益。導航，除了使用標準的GPS之外，還可以從自我運動中受益，也就是基于自身感知的運動估計。運動可以被學習，而不是規劃，這不僅會導致更快的開發時間，而且還能在新的環境或受損的模式下重新適應（例如，失去四條腿中的一條）。最后，隨著機器人的數量超過人類操作員的數量，機器人將有必要自行決定如何執行其規定的任務。它將不得不做出這樣的決定："由于電池電量不足，我是否要回到大本營？"或者 "我是否繼續前進一點，然后自我毀滅？"

6.2.3 自愈性

除了機器人技術，人們最終希望任何系統在損壞或不能滿負荷工作時能夠自我糾正。這需要在某種程度上的智能，以自主診斷缺陷和問題，并利用其可用的資源糾正這些問題。

6.2.4 倫理

在通過機器學習來學習自主權的情況下，問題將是："自主系統將如何應對X情況？" 這里的問題是，對于一個擁有潛在致命武力的系統，我們怎么能確定它只會正確合法地使用武力？我們推測，在機器學習的算法擁有使用致命武力的實際能力之前，必須對其進行廣泛的測試，即使它與人類的環形決策相聯系。

6.3 通過玩游戲來訓練智能代理

近年來，大量的研究都在研究使用機器學習來自主地玩各種視頻游戲。在某些情況下，報告的算法現在已經超過了人類玩游戲的水平。在其他情況下，仍然存在著處理長期記憶的挑戰。對于美國空軍來說，智能代理已經成功地在以戰斗為中心的飛行模擬器上進行了訓練，這些模擬器密切模仿現實生活。陸軍的問題包括以下內容。

• 智能代理能否附加到機器人平臺上？

• 智能在多大程度上可以通用于處理現實生活與視頻游戲中遇到的各種情況？

• 當我們可能不理解一個訓練有素的代理的邏輯時，我們能相信它的行動嗎？

• 代理在多大程度上能夠與人類合作？

6.4 網絡安全

在過去的十年里，機器學習在網絡安全方面發揮了不可或缺的作用。具體來說，ML可以用于異常檢測，檢測已知威脅的特定模式，并辨別網絡行為是否可能由惡意代理產生。隨著該領域的不斷加強，問題是ML是否能使安全比對手領先一步，因為對手可能利用ML來混淆檢測。

6.5 預測和結構健康監測

一個長期的設想是，軍隊使用的每一個機械系統都有一些關于系統當前和預測健康的內部感應。相關問題如下。

• 我們能從有限的傳感器中辨別出一個系統或系統組件的當前健康狀況嗎？

• 機載ML能否預測一個系統或系統部件在暴露于特定環境或彈道侮辱之后的健康狀況？

6.6 健康/生物信息學

6.6.1 序列挖掘

隨著基因組序列的數量繼續呈指數級增長，比較在現場獲得的序列所需的計算工作可能變得無法管理。機器學習可以通過對序列進行不同層次的分類來減少必要的比較。

6.6.2 醫學診斷

93 近年來，機器學習已經在檢測各種組織中的惡性腫瘤方面取得了長足的進步。94 它同樣可以被用來描述創傷或創傷后應激障礙（PTSD）95，并制定治療計劃。

6.7 分析

陸軍的一個重要組成部分集中在對行動、系統、研究和測試的分析上。傳統上，分析人員使用大量的工具，包括機器學習，以多維回歸、聚類和降維的形式。隨著深度學習的出現，一套新的工具應該是可能的，可以更有效地處理需要更復雜模型的大型數據集。例如，應該有可能從測試期間拍攝的視頻流中提取特征和物理屬性，這可能超過目前的標準做法。

6.8 機器學習的其他用途

• 自適應用戶界面（AUI）和情感計算。ML可以用來確定用戶的心理和/或情緒狀態，并提供適合這種狀態的界面。此外，可變的AUI可以服務于用戶的變化。例如，一些用戶可能喜歡音頻反饋而不是視覺反饋。

• 推薦系統。最流行的推薦系統之一是根據以前看過的電影的評分來選擇用戶想看的下一部電影（例如，所謂的 "Netflix問題"）。對于軍隊來說，可以根據以前的使用情況和庫存核算的反饋來推薦后勤補給的情況。

• 搜索引擎/信息檢索。傳統上，搜索引擎返回文件的 "點擊率"。新的范式是以簡明的形式回答用戶的問題，而不是簡單的模式匹配。

• 情感分析。社交媒體上的流量和對環境進行訓練的各種傳感器不僅可以檢測關鍵的關鍵詞或特定物體的存在，還可以推斷出可能的攻擊的可能性。

• 有針對性的宣傳。傳統上，宣傳是通過散發傳單來完成的，如今，宣傳可以通過社交媒體來傳播。ML的角度是如何以最有說服力的信息向正確的人口群體進行宣傳。此外，重要的是快速檢測和顛覆來自對手針對我們自己的人員/人民的宣傳。

7. 機器學習的研究差距

本研究的目標之一是確定當前研究中的差距，這些差距可能會限制ML在軍隊研究和行動中的全部潛力。本節借用了ARL運動科學家Brian Henz博士和Tien Pham博士（未發表）的戰略規劃工作。

7.1 如何將軍隊的數據/問題納入當前的方法中

傳統上，在一個特定領域采用ML的一半戰斗是弄清楚如何適應現有的工具和算法。對于陸軍所面臨的許多問題來說，這一點更為突出，與其他學術、商業或政府用途相比，這些問題可能是獨一無二的。任何數據分析員面臨的第一個問題是使數據適應他們想要使用的統計或ML模型。并非所有的數據都使用連續變量或者是一個時間序列。離散/標簽數據的管理可能非常棘手，因為標簽可能不容易被轉換成數學上的東西。在自然語言處理中的一個例子是，單詞經常被轉換為高維的單熱向量。另一個例子可能是如何將大量的維修報告轉換為對某一特定車輛在一段時間內的表現的預測。

此外，陸軍的要求超出了典型的商業部門的使用范圍，不僅需要檢測物體和人，還需要檢測他們的意圖和姿態。這將需要開發新的模型。另一個大的要求是可解釋性，正如DARPA最近的一個項目所概述的那樣：是什么因素導致ML算法做出一個特定的決定？在一個真實的事件中，如果一個ML算法在沒有人類驗證的情況下宣布一個重要目標的存在，我們能相信這一決定嗎？

7.2 高性能計算

隨著對計算要求高的ML任務的設想，開發人員正在使用多線程、并行和異構架構（GPU、多核）來加快計算速度。ML的分布式實現遠不如GPU版本常見，因為分布式計算中的節點間通信存在固有的網絡瓶頸，而且在單精度浮點性能方面，GPU相對于CPU有很大優勢。除了目前對GPU的強烈依賴，生物啟發式神經計算旨在尋找非馮-諾伊曼架構來更有效地執行ML，并可能更快。這方面的一個例子是IBM的神經形態芯片。97 未來的研究應該關注如何分配ML處理，使節點之間的網絡通信最小化。另外，像聚類這樣的無監督學習算法在多大程度上可以被映射到神經網絡中？

其他需要考慮的事情。

• 目前的ML軟件（特定的神經網絡）在一個小型的GPU集群中表現最好。

• 大多數基于非神經網絡的ML算法的并行性不高，或者根本就沒有并行。

• 另一個軍隊的具體挑戰是分析基本上沒有標記的數據集（例如，用無監督學習）。手動標注集群將是一種半監督學習的形式。

7.3 獨特的尺寸、重量、功率、時間和網絡限制因素

隨著進入偏遠地區或任何遠離基地的地區，軍隊必須限制系統的尺寸、重量和功率。此外，在 "激烈的戰斗 "中，時間是關鍵。例如，人們不能在遭到槍擊時等待作戰模擬的完成。最后，在其他商業發射器占主導地位的地區，或者在限制無線電通信以提高隱蔽性的情況下，網絡帶寬可能會受到很大限制。

在這種倍受限制的環境中，機器學習將需要有效地進行，而且往往是以一種孤立的方式進行。截然相反的條件是使用大型數據庫訓練大型神經網絡，這往往是最先進的機器學習功力的情況。商業部門正在開發自動駕駛汽車，據推測將使用低功耗的計算設備（如現場可編程門陣列、移動GPU）進行自主駕駛、道路/障礙物檢測和導航。然而，陸軍將有更多的要求，包括自主傳感器和執行器、態勢感知/理解、與人類的通信/合作，以及廣泛的戰場設備。這將需要多幾個因素的計算能力和特定算法的硬件，以實現最佳的小型化和低功耗。

7.4 用雜亂的或欺騙性的數據訓練/評估模型

在混亂的環境中，操作環境預計會有比通常密度更高的靜態和動態物體。此外，人們完全期待主動欺騙以避免被發現。我們也希望能夠開發出足夠強大的算法，至少能夠意識到欺騙，并相應地調低其確定性估計。

7.5 用小的和稀疏的數據訓練一個模型

基于CNN的目標分類的突破可以部分歸功于每個物體類別的成千上萬個例子的可用性。在軍隊場景中，某些人和物體的數據可能是有限的。人們最終將需要one-hot99或multishot分類器，其中幾個有代表性的數據條目就足以學習一個新的類別。到目前為止，最好的選擇是 "知識轉移"，通過調整以前訓練的模型的所有參數的子集來學習新的類別。我們的想法是，由于需要優化的參數較少，修改這些參數所需的數據也較少。

7.6 專門針對軍隊相關目標的訓練模型

即使對于我們可以產生大量圖像的目標類別（例如，友好物體），我們也需要訓練自己的模型，以便從每個類別的潛在的數千張圖像中識別軍隊相關類別。軍隊還使用商業車輛中通常不存在的其他傳感模式（例如，熱能和雷達）。因此，需要為這些非典型的傳感設備訓練模型。從根本上說，非典型傳感設備可能需要新的神經網絡拓撲結構以達到最佳的準確性和緊湊性。

7.7 將物理學納入推理中

一個值得研究的有趣領域是將模型和模擬與機器學習相結合。有很多方法可以做到這一點。例如，ML可以用來推導出模擬的起始參數。此外，ML還可以用來處理模擬的輸出。一個耐人尋味的新領域是開發基于物理學或類似物理學的模擬，使用類似ML的模型/方程。一個這樣的應用是預測 "如果？"的情景。例如，"如果我跑過這棵樹呢？接下來會發生什么？"

7.8 軟人工智能

機器學習在傳統上被認為是人工智能的硬性（即數學）表現形式。有可能最終，所有的人工智能任務都會被簡化為數學。然而，就目前而言，一些智能任務似乎更多的是基于推理或情感。對于之前描述的方法中的任務，ML并不能充分解決以下軟性人工智能的特點。

7.8.1 類似人類的推理

人類并不總是完全按邏輯推理，但他們也有能力將不完整的信息拼湊起來，做出 "最佳猜測 "的決定。幾十年來，對這種行為進行編碼一直是一個挑戰。

7.8.2 情感

情緒似乎是驅動人類達到某些目的的動機/目標功能。例如，快樂可能會導致不活動或追求生產性的創造力。另一方面，恐懼則可能會導致忍氣吞聲。計算機是否需要情感來更有效地運作，還是說它們最好擁有100%的客觀性？這既是一個哲學問題，也是一個未來的研究方向。不過現在，毫無疑問的是，在人與代理人的團隊合作中，計算機需要準確地解釋人類的情感，以實現最佳的團體結果。

7.8.3 社會交流

與人類的互動性是陸軍研究未來的首要關注點。一個類似的問題是，不同的計算機系統之間如何進行交流，而這些系統不一定是由同一個實驗室設計的。研究的一個領域是用計算機來教那些在這方面有困難的人進行社會交流。 再一次，對于人與代理的合作，代理將需要能夠參與社會互動，并在人類的陪伴下遵守社會規范。

7.8.4 創造性

創造力通常被認為是隨機合并的想法，與新的元素相結合，由一個鑒別功能決定新創造的項目的功能和/或美學。在某些方面，創造力已經被某些計算機實驗室所證明。例如，為了設計的目的，計算機可以被賦予某些方面的創造力。

7.8.5 通用智能

人工智能的最終目標是將許多狹義的智能算法合并成一個統一的智能，就像人類的頭腦一樣。75鑒于許多狹義的人工智能任務已經比人類的某些任務要好，即使是早期的所謂人工通用智能（AGI）也可能具有一些超人的能力。AGI的一個主要目標是將目前由人類執行的某些任務自動化。

7.8.6 人工超級智能

如果不提及許多哲學家的猜測，機器學習將最終能夠改進自己的編程，導致能力的指數級提高，也許會遠遠超過人類智能，那么機器學習的研究就不完整了。這些設想既是烏托邦式的104，也是烏托邦式的105。希望超級智能能夠解決世界上的許多問題。

8.結論

在這項工作中，我們回顧了機器學習的不同類別，并描述了一些更常用的方法。然后，我們指出了一小部分關于ML在ARL中的應用的例子。最后，我們預測了ML在未來可以應用于軍隊的各個領域，并概述了為實現這一結果需要解決的一些挑戰。我們希望這份文件能夠激勵未來的研究人員和決策者繼續投資于研究和開發，以充分利用ML來幫助推動美國陸軍的發展。

1 報告概述

2022年5月9日蘭德公司發布《利用機器學習進行作戰評估》報告。作者描述了一種利用機器學習來支持軍事作戰評估的方法。他們展示了如何利用機器學習從情報報告、作戰報告以及傳統和社會媒體中的非結構化文本中快速、系統地提取與評估相關的見解。這些數據已經由作戰級別的總部收集，通常是關于當地居民、敵人和伙伴部隊的最佳可用信息來源，但很少被納入評估，因為它們的結構不容易被分析。本報告中描述的機器學習方法有助于克服這一挑戰。

本報告中描述的方法，作者利用最近結束的針對上帝抵抗軍的戰役進行了說明，使評估小組能夠向指揮官提供關于戰役的近乎實時的見解，這些見解是客觀的，與統計學相關。這種機器學習方法可能特別有利于資源有限或沒有具體評估數據的戰役，這在資源有限或被拒絕地區的戰役中很常見。這種機器學習的應用對大多數評估小組來說應該是可行的，并且可以通過公開和免費的機器學習工具來實現，這些工具已被授權在美國國防部系統上使用。

2 研究問題

如何利用機器學習工具將現有的情報報告、作戰報告和環境數據（如社交媒體、傳統媒體）納入戰爭行動層面的評估？

3 研究背景

準確和及時的評估--提供關于哪些是有效的，哪些是無效的，以及如何改進作戰的反饋--是所有美國軍事作戰的一個關鍵要求。對軍事作戰的評估是圍繞戰役的作戰目標進行的，評估過程的重點是確定在實現這些目標方面是否正在取得進展。評估小組--最好是與指揮小組一起--確定與每個目標相關的預期效果，然后制定有效性措施（MOE），以跟蹤實現這些目標的進展。

獲得和處理正確的數據類型對于產生相關和可辯護的評估至關重要，這也是本報告的主題。有效的評估要求數據是客觀的、縱向的、與軍事作戰希望達到的效果類型相關的、有適當的評估結構，并且有足夠的時間頻率來支持決策。

在以前的研究中，我們為特種作戰部隊（SOF）的作戰評估開發了一種標準化的方法，我們發現作戰總部已經收集的各種數據與評估有關，但很少被使用。三種類型的數據--情報報告（如來自人類情報或信號情報來源）、作戰報告（如情況報告[SITREPs]）和環境數據（如社交媒體）中已有的對正在發生的事件的文字描述，往往是有關當地居民、敵人和伙伴部隊的最佳可用信息來源。然而，這些數據的結構很少能被輕易地納入評估過程。

本報告描述了一種方法，即如何利用機器學習（ML）工具將這些現有數據納入作戰評估。我們展示了一個基于ML的文本分類器如何快速整理和準備這些數據，以便使用評估小組常用的標準統計工具進行后續分析。然后，我們使用最近結束的針對上帝抵抗軍的作戰數據來說明這一方法。這種基于ML的方法對大多數評估小組來說應該是可行的，并且可以用公開和免費提供的ML工具來實施，這些工具已被預先授權用于美國國防部（DoD）的機密系統。

本報告所描述的方法使評估小組能夠準確、及時地了解一場戰役，為指揮官提供近乎實時的、客觀的、與統計學相關的結果。可以使用我們的方法分析的每一種類型的數據--情報、作戰和環境--為理解一個戰役的效果提供了一個不同的視角。在有評估特定數據（如投票）的軍事作戰中，這些新的數據來源使評估小組能夠對調查結果進行三角測量，提高評估的可靠性。然而，ML工具在評估專用數據有限或沒有的情況下特別有用--這在資源有限或在被拒絕地區的作戰中很常見。

4 評估方法：有監督機器學習

我們的分析集中在一個具體ML評估應用上：使用 "有監督機器學習"（SML），從現有的情報、作戰和環境報告中的非結構化文本中構建一個可供評估的數據庫。SML的這種應用的直覺是相對簡單的。首先，人類分析員通過手工審查和分析可用的非結構化文本的一個子集。這第一步的輸出通常被稱為 "訓練數據"。然后，ML算法分析這個訓練數據，并試圖模仿人類分析師對所有剩余文本使用的相同分析過程。

這種方法允許評估小組系統地編輯非結構化文本中的信息--每份報告中提供的定性描述成為客觀和定量評估中的單一數據點--然后檢查這些信息如何隨時間演變。這種方法是將ML納入評估過程的最簡單方法，但它仍然是一種有效的方法，可以從這些現有數據中信息豐富的非結構化文本中獲得與評估相關的見解。

在本報告中，我們詳細說明了一個五步工作流程，并在圖S.1中進行了總結，評估小組可以按照這個流程將SML納入評估過程。

圖S.1 用于評估工作流的監督機器學習

• 第1步是整理大量的潛在相關報告--通常是數以千計的年度報告（或更多）--可用于大多數業務。這個整理過程包括刪除不必要的重復內容，并將數據重新組織成適合ML算法分析的格式。在我們的方法中，現有報告中的非結構化文本被分為單句，然后分析其與競選活動的相關性。

• 第2步是制定適合每個相關MOE的編碼標準。這些編碼標準是歸納出來的，評估小組首先審查現有的數據，以確定哪些MOE是可以用現有的數據衡量的。然后，評估小組制定具體的編碼標準--也就是一套規則，說明什么時候一份報告應該被認為與該MOE相關（或不相關）。至關重要的是，這些編碼標準要足夠清晰和詳細，以便于復制，使不同的分析員在應用這些標準時產生幾乎相同的結果。本報告為每一類數據（情報、作戰和環境）提供了常用的MOE的編碼標準樣本，盡管具體的編碼標準必須是針對作戰的。

• 第3步是準備訓練數據，這是SML方法中ML算法的主要輸入。這些訓練數據是整體非結構化數據的一個子集，由評估小組使用步驟2中制定的編碼標準進行審查、分析和編碼。確保編碼標準的穩健性和可復制性是開發這些訓練數據的一個關鍵組成部分，因為ML算法試圖復制人類分析員的編碼。

• 第4步是實現和校準一個或幾個選定的ML算法。校準過程包括審查由ML算法編碼的報告，以驗證其準確性--也就是說，即確保被識別為相關的報告確實是相關的。如果算法表現不佳，評估小組需要調整算法參數或擴大訓練數據的數量。在一個實際的活動中，這個校準過程應定期重復，以確保算法在更多的數據可用時仍然表現良好。

• 第5步，評估小組處理來自ML算法的輸出，以整合到評估過程中。ML算法的輸出是一個結構化的數據庫（例如，Excel），確定所有滿足步驟2中制定的編碼標準的報告。這種通用的結構化格式允許用評估小組常用的工具進行分析，并便于插入現有的態勢感知工具中。在某些情況下，可以直接分析這些數據，以產生報告在一段時間內的趨勢線，例如，以正面方式討論一個實體（如敵人或伙伴部隊）的社交媒體報告的百分比與以負面方式討論它的數量相比。在其他情況下，這些數據需要與報告中的其他信息相結合--例如，提取特定地點的信息可以使評估小組生成不斷變化的敵人作戰自由地圖。

主要發現

機器學習可以成為支持作戰評估的有力工具

• 作戰總部已經收集的數據--情報報告、作戰報告和環境數據（社會和傳統媒體）--往往是關于敵人和伙伴部隊以及當地居民的最佳可用信息類型。然而，它們很少被納入評估，因為它們往往（1）不被認為是足夠客觀的，（2）沒有以易于分析的結構化格式提供，以及（3）數量極大，需要花費一些精力來獲取和組織。
• 機器學習（ML）工具，可以快速攝取和解釋大量的非結構化文本，允許對這些數據進行快速、系統和客觀的分析，產生關于作戰的客觀和統計相關的見解。
• 監督機器學習（SML）是使用ML將這些數據納入評估過程的最簡單方法。在SML方法中，評估小組首先通過手工分析非結構化文本的子集，然后應用ML算法來模仿評估小組對剩余數據的分析方法。
• ML衍生的數據可以為指揮官提供關于戰役的近乎實時的洞察力，每種類型的數據（情報、作戰和環境）為理解戰役的效果提供不同的視角。
• ML工具在評估數據有限或沒有評估數據的戰役中特別有利--這在資源有限的戰役或在被拒絕的地區很常見。
• 這種基于ML的方法對大多數評估小組來說應該是可行的，并且可以用免費提供的ML工具來實施，這些工具已被預先授權用于美國國防部的機密系統。

主要建議

我們的研究確定了五個建議，這些建議將提高基于ML的評估方法的價值。

• 建議1：在受控演習中驗證SML方法。本報告所描述的方法是特意設計的，以使評估小組盡可能容易復制，而且該方法的設計依靠的是既免費又已被批準在許多軍事網絡上使用的工具。然而，盡管我們已經用實際作戰測試了我們的方法，但我們并沒有試圖在實時或與軍事分析員團隊一起做這件事。因此，我們建議利用實戰演習，但在受控條件下驗證各項要求--如任務前培訓、人員配置、分析工具的可用性和必要的數據訪問。

• 建議2：探索如何利用無監督的ML為作戰評估提供信息。無監督的ML可以提供一種工具，用于發現戰役活動和這些活動的行動目標之間的未預期模式。經過評估小組的審查，這些信息可以為指揮官提供一個寶貴的工具，用來探索未預料到的模式。考慮到我們的任務是探索如何利用ML將現有數據用于評估，我們沒有詳細研究將無監督ML納入評估的實用性或價值。

• 建議3：對作戰報告實施適度的標準化。SITREP和其他作戰報告往往是關于伙伴部隊活動和能力的唯一最佳歷史數據來源，而且這種報告還可以提供關于美國部隊活動的詳細歷史記錄。這些特點使作戰報告成為評估小組潛在的有力工具--特別是如果有ML（或類似的）工具可以快速提取與評估有關的信息--但這種報告在質量和細節上并不一致。我們建議對這種作戰報告進行適度的標準化。要求（簡單地）戰術部門持續討論其伙伴部隊的活動和能力。

• 建議4：改善歷史情報和作戰報告的歸檔、發現和提取。獲取和提取本報告所述方法所需的相關情報和作戰報告在現有系統中并不容易。對于情報報告，我們建議在現有系統中增加快速提取縱向數據（如三個月或更長時間的數據）的能力，以滿足一組特定的搜索參數（如地理、布爾邏輯），其中包括報告全文和一些關于數據的基本描述性信息（日期、來源等）。對于業務報告，我們建議業務層面的總部確保所有下屬總部的SITREPs被系統地歸檔。

• 建議5：擴大專業軍事教育中要求的具體評估討論。盡管承認評估對軍事行動的重要性，但在向聯合部隊提供的與評估有關的教育和培訓方面存在重大差距。因此，評估小組往往難以提供指導有效決策所需的信息，而作戰級總部的其他工作人員往往缺乏經驗。