人工智能正在改變戰爭。英國防部如何準備應對未來的變化？

對于人工智能的軍事用途所帶來的接受挑戰，傳統的反應是堅持要求人類保持 "有意義的人類控制"，作為一種產生信心和信任的方式。考慮到人工智能和相關基礎技術的普遍性和快速發展，這不再是一個適當的回應。人工智能將在整個軍事行動范圍內廣泛的指揮和控制（C2）活動中發揮重要的、日益增長的作用。雖然在公眾心目中，人工智能的威脅沒有 "殺手機器人 "那么直接，但在軍事決策中使用人工智能會帶來關鍵的挑戰，同時也有巨大的優勢。加強人類對技術本身的監督并不能防止無意的（更不用說有意的）濫用。

本文以各級（作戰操作員、指揮官、政治領導人和公眾）的信任對有效采用人工智能進行軍事決策至關重要這一前提為基礎，探討了關鍵的相關問題。對人工智能的信任究竟意味著什么？如何建立和維持它以支持軍事決策？人類操作員和人工智能體之間的共生關系對未來的指揮需要作出哪些改變？

當人類對人工智能的行為持有某些期望，而不考慮人工智能體的意圖或道德時，可以說存在對人工智能的信任。然而，與此同時，信任不僅僅是技術性能和可靠性的一個功能--它不能僅僅通過解決數據完整性和可解釋性問題來保證，盡管它們很重要。軍事人工智能中的信任建設還必須解決軍事組織和指揮結構、文化和領導力方面的必要變化。實現總體上適當的信任水平需要一個整體的方法。除了信任人工智能的使用目的之外，軍事指揮官和操作人員還需要充分信任--并且在如何信任--支撐任何特定人工智能模型的輸入、過程和輸出方面得到充分的培訓和具有豐富經驗。然而，最困難的，也可以說是最關鍵的層面是組織生態系統層面的信任。如果不改變軍事決策的體制因素，未來人工智能在C2中的使用將仍然是次優的，被限制在一個模擬框架內。有效引進任何新技術，更不用說像人工智能這樣的變革性技術，需要從根本上重新思考人類活動的組織方式。

優先考慮人和制度層面并不意味著對技術進行更多的控制；相反，它需要在不斷發展的人機認知系統中重新思考人的作用和貢獻。未來的指揮官將需要能夠在一個真正的 "整體部隊"中領導不同的團隊，整合來自軍事、政府和民事領域的貢獻。他們必須對他們的人工隊友有足夠的了解，以便能夠與他們合作并挑戰他們。這更類似于海鷗的雜音，而不是個別 "翠鳥"領導人的天才。為了發展新的指揮和領導概念，英國防部必須重新思考其方法，不僅是培訓和職業管理，還有決策結構和程序，包括未來總部的規模、位置和組成。

人工智能已經在改變戰爭，挑戰人類長期的習慣。通過在訓練和演習中接受更多的實驗，以及探索C2的替代模式，國防部可以更好地準備迎接未來不可避免的變化。

前言

人工智能正在改變人類的思維和決策方式。未來，它將越來越多地影響人類如何確定各種認知過程的優先次序，調整他們的學習、行為和訓練，并更廣泛地改造他們的機構。這些變化在整個軍隊中仍不完全明顯。盡管有新的技術和戰爭迅速發展的特點，今天的武裝部隊在組織結構上與后拿破侖時代歐洲的職業軍隊并沒有很大的區別。太多的人仍然參與到軍事任務中，而這些任務技術可以做得更好更快，并且對于重新思考人類對人機團隊的認知貢獻也沒有給予足夠的重視，而這正是解決未來指揮和控制（C2）問題所需要的。

本文以QinetiQ公司早先的一份報告為基礎，該報告將信任視為軍事能力的基本組成部分和2020年代軍事適應性的基本要求。本文探討了在軍事決策中越來越多地使用人工智能的最新趨勢和想法。本文并不直接關注這一趨勢的倫理（或法律）問題，盡管這些問題很重要。相反，本文強調了信任作為人工智能時代軍事指揮的一個因素的重要性和意義。

人工智能對軍事決策和C2的潛在深遠影響很少引起專家團體以外的關注。大多數公眾關注的是技術的優勢和風險，而不是人類認知和制度構建的潛力和限制。20多年前，著名的社會生物學家E-O-威爾遜抓住了人類當前的挑戰。威爾遜說，真正的問題是，"我們有舊石器時代的情感；中世紀的制度；和神一樣的技術。"在過去的幾十年里，技術的發展速度遠遠超過了人類適應它的能力。強調人工智能的技術屬性，而忽略其日益增長使用中的人類和制度層面，只會使挑戰更加復雜。

在許多領域，人工智能的軍事經驗仍然有限，需要做更多的工作來了解人工智能在人類決策中作用日益增長的影響。本文旨在引發一場更廣泛的辯論，討論英國國防企業內部所需的文化和組織變革，包括指揮部和指揮官的作用，以確保人工智能在未來軍事決策中的最佳使用。

本文的見解來自與人工智能、人類認知、軍事決策和信任理論有關的更廣泛的文獻。這項研究在2021年9月至2022年2月期間進行，大大受益于與來自國防、學術界和工業界的廣泛專家和用戶的訪談。

前兩章提供了本文的理論背景。第一章探討了人工智能和信任的概念，第二章則分析了人類機構的作用以及人工智能對人類做出選擇和決定的認知能力的影響。第三章結合信任、人工智能和人類機構的概念，提出了一個在人工智能支持的軍事決策中發展信任的五維框架。第四章擴大了對C2的分析范圍，特別關注人工智能對傳統上支撐武裝部隊行使權力和指導的人和體制結構的影響。最后一章提出了對未來指揮、領導和 "全軍 "團隊的進一步研究領域。

1. 人工智能和信任

對于人工智能或與人工智能有關的信任，并沒有標準的定義。這兩個概念都有不同的解釋，有時也會有激烈的爭論。本章沒有試圖綜合所有關于這兩個術語的文獻，而是建立了一個基準定義，為隨后討論關于人工智能應用于軍事C2的信任作用提供框架。

1.1 人工智能的性質和類型

人工智能的概念起源于1950年著名的圖靈測試，該測試發生在這個詞被創造出來的幾年前。通過關注它做什么而不是它是什么，更容易將人工智能概念化。人工智能 "試圖讓計算機做人類思想能做的各種事情"。在最基本的方面，它可以被理解為追求特定任務的虛擬信息處理能力。正如 "智能"（或 "思想"）有許多層面和不同的用途，人工智能也是如此。因此，人工智能從廣泛的學科中汲取不同的想法和技術，不僅包括數學和計算機工程，還包括哲學、經濟學、神經科學、心理學和語言學。

廣義上講，有三種不同層次的人工智能：人工狹義智能，通常被稱為 "狹義人工智能"；人工通用智能，有時被稱為人類水平的人工智能；或者更強大的人工超級智能，超過人類的智能水平。在這一點上，有些人認為會出現一個奇點，在這個奇點中，人工智能要么變得有自我意識，要么達到持續改進的能力，使它的發展超出人類控制。后兩種水平被認為仍有一段距離，盡管距離有多遠還存在爭議。不過，就目前而言，狹義人工智能更先進應用的出現，如先進的機器人技術，加上計算能力的爆炸，才是目前關于人工智能的軍事用途辯論的主要動力。本文重點討論狹義人工智能的應用。

圖 1：AI 類型的簡化分類

在狹義的人工智能中，還有更多的類別，盡管這些技術并不完全是離散的，而且經常被結合使用。最常見的區別是符號人工智能和亞符號或非符號人工智能，前者通常被描述為基于邏輯，后者基于自適應或學習。符號人工智能依賴于順序指令和自上而下的控制，使其特別適合于確定的問題和基于規則的過程。非符號人工智能，其中神經網絡是一種常見的方法，涉及并行、自下而上的處理和近似推理；這與動態條件和數據不完整的情況最相關。符號人工智能提供了精確性和可解釋性，而涉及神經網絡的非符號人工智能則不那么脆弱（網絡中缺少一個節點并不會導致整個網絡無法運行），并且能夠在沒有明確規則或一致證據的情況下識別模式。

有三種常見的機器學習類型，根據有助于智能體學習過程的反饋類型進行區分：監督學習；無監督學習；以及強化學習。在監督學習中，系統被訓練來產生假設或采取具體行動，以追求基于特定輸入的目標值或輸出（被稱為標簽）（例如，圖像識別）。無監督學習沒有設定規格或標簽，也沒有明確的反饋；相反，系統通過尋找數據中的模式進行學習（例如，DNA序列聚類）。強化學習依賴于一個反饋回路，通過試錯或獎懲機制穩定地強化系統的學習行為（例如，先進的機器人技術或無人駕駛汽車）。與監督學習不同，強化學習中使用的輸入數據不是預先定義的，這允許更廣泛的探索，但與無監督學習不同，它有一個預期的應用或總體目標（與總體獎勵最大化相關）。

所有三種類型的機器學習，無論監督或自律的程度如何，都提出了重要的信任和值得信賴的問題。所需的信任程度和性質因使用人工智能的目的不同而不同。

1.2 概念：信任（Trust）

信任描述了兩個或多個智能體之間的互動。信任的傳統定義是假設信任者對受托人的能力和善意（或動機）存在合理的信念。對許多人來說，道德誠信（或意圖）的問題是信任與其他概念（如信心）的區別。另一些人認為，信任的范圍和所指比信心更廣，后者被視為與具體事件相關的獨立判斷。大多數信任的定義趨于統一的是一種脆弱的感覺。沒有背叛的可能性，沒有風險的存在，就不可能有信任。

正是因為經典的信任概念中隱含著假定的道德因素，一些人質疑使用該術語來描述人類與人工智能體的關系。他們認為，在目前狹義人工智能的水平上，我們不能將意向性或道德機構歸于人工智能系統，因此使用 "信任 "一詞是不恰當的。另一些人采取了不那么純粹的觀點，并以反映日常使用的方式應用該術語，意味著對系統的可靠性有信心。

信任作為一個術語在計算機科學中被廣泛使用。更重要的是，信任仍然是公眾和用戶接受人工智能的一個基本方面。今天，關于人工智能的國家政策、法規和專家建議經常強調 "值得信賴的人工智能 "的必要性。例如，DARPA的空戰進化計劃正在探索方法，以模擬和客觀地衡量飛行員在斗狗時對人工智能的信任。認識到這些尚未解決的定義問題，作者選擇了略微調整 "信任 "一詞，使之與通常的做法一致。

作者調整后的信任概念需要對人工智能的表現有一定的預期，而不需要假設人工智能方面的特定動機。因此，對人工智能體行為的積極預期可能是信任存在的充分條件，而不考慮意圖。

在目前大多數關于人工智能的討論中，重點往往是人作為信任者，系統作為受托人，盡管任何認知智能體，包括自主機器人和智能機器，原則上也可以履行信任者的角色。這樣理解的話，信任就成了 "系統成員之間互動的促進者，無論這些成員是人類智能體、人工智能體還是兩者的組合（混合系統）"。事實上，在人工智能更成熟的應用案例中，受托人最有可能同時包括人工智能支持的系統（人工智能體）和該系統的提供者（人類智能體）。在目前的人工智能水平上，信任似乎是一種單向的關系，涉及人類 "信任 "人工智能的程度，而不是真正的雙向信任，即人工智能對人類表現的看法。

各種因素決定了（人類）對技術的信任，包括但不限于信任者的能力水平和信任傾向，以及整體環境或背景（包括更廣泛的文化和機構動態）。除了這些針對人類和環境的考慮，決定一個人或組織對人工智能的信任程度的是技術的性能、過程（它如何產生特定的輸出），以及重要的是目的。所有這三者都決定了人工智能系統的設計和部署。

除了技術的穩健性和安全性，隱私、公平、透明度和問責制是一些最常被提出的影響公眾對人工智能信任的問題。然而，主要是由于設計適當的算法、理解復雜軟件系統的內部結構以及為基于算法的決策賦予責任等方面的困難，所以在值得信賴的人工智能的關鍵屬性列表中總是會加入進一步的考慮：這被交替稱為人類機構、監督或有意義的控制。在某些情況下，保持人類對技術使用的監督可能是唯一的保護措施，以防止無意中出現有偏見的、不可捉摸的和/或監管不力的人工智能系統的風險。

1.3 概念：控制（Control）

控制通常被看作是信任的反面。當對智能體執行任務的能力有信任時，就不需要監督。然而，即使在人工智能更適合做決定的情況下，人類也會經常傾向于干預。信任不足可能和過度信任一樣有風險或適得其反。事實上，正如絕對的控制是罕見的，絕對的信任也是如此。在開發和使用人工智能的過程中，有必要在適當的信任水平和適當的控制水平之間取得謹慎的平衡。這是 "校準的信任 "或可適應/適應性自主性等概念的核心。信任是根據人工智能的能力來校準的，對人工智能能做什么或不能做什么的期望將影響信任的水平。同樣，在可適應的自主性的情況下，用戶定制自主性水平的能力可以支持更大的信任水平。這在國家安全決策中尤為關鍵，因為信任或不信任人工智能的影響可能是最大的。

對技術在人類事務中的作用的擔憂并不新鮮。許多人認為關于人工智能的辯論與之前關于技術的爭論沒有什么不同。根據這一論點，人工智能構成了一種進化，而不是對過去活動的徹底背離，即使人類有時可能在背離以前的自動化水平的情況下被從決策圈中移除。雖然信任仍然是一個挑戰，特別是在機構和社會層面，但穩步應用最初仍然有限的人工智能來支持軍事活動，隨著時間的推移，可以培養出熟悉和越來越多的信心。

其他人，通常是政府以外的人，質疑這種漸進式的方法。他們認為人工智能的崛起是一種范式的轉變，與以前的任何技術都有質的不同。以前的技術都沒有將人工智能的雙重用途特性、傳播的便利性和實質性的破壞潛力結合起來。在過去，最具破壞性的技術都在政府的控制之下，或者在軍事領域之外幾乎沒有應用。此外，雖然以前政府主導了大部分新技術的開發，但這種趨勢幾乎完全逆轉；現在大部分投資和創新來自于工業。鑒于軍事和民用界限的模糊，以及我們的對手和競爭者對人工智能的投資，認為我們可以控制人工智能發展和使用的速度和程度是不明智的。在反思算法技術的進步時，一些人甚至進一步聲稱技術和人類之間的角色發生了逆轉，人們正在成為 "人類的人工制品"和"（技術系統的）智能體"。

如果我們接受對人工智能系統在未來如何操作（和運行）進行完全控制的限制，關鍵問題是我們如何在算法超過目前的性能水平后長期確保適當的交互和人類判斷。反應時間是軍事競賽中的一個關鍵優勢；加快OODA（觀察--方向--決定--行動）循環的各個方面，通常會給那些先到者帶來領先優勢。而這樣做只要一方開始使用人工智能來加快他們的決策和反應時間，另一方就會受到壓力。

2. 人工智能和人類機構

2020年12月，美國空軍首次使用人工智能副駕駛飛行了一架軍用飛機。這種被稱為ARTUμ的算法完全控制了傳感器的使用和戰術導航，而其人類隊友則駕駛著U2間諜飛機。這是首次出現人工智能控制軍事系統的情況。用美國空軍前首席采購官員威爾-羅珀的話說，ARTUμ "是任務指揮官，是人機團隊的最終決定者"。

甚至在ARTUμ演示之前，美國國防部已經開始了其全域聯合指揮控制（JADC2）計劃的工作。JADC2旨在打造連接五個軍種的傳感器，承諾對作戰環境進行快速分析，以便在幾小時或幾分鐘內做出決策。在未來的JADC2中，人工智能將允許快速處理數據，為目標識別提供信息，并推薦最佳的交戰武器（無論是動能還是非動能）。美國空軍的先進作戰管理系統、美國陸軍的 "聚合項目"（被稱為 "學習運動"）和美國海軍的 "超配項目 "都在嘗試使用人工智能與自主性相結合的方式來支持JADC2。

其他國家，包括英國通過英國陸軍的 "Theia計劃"等項目，以及北約也已經開始嘗試使用人工智能來支持C2和決策。然而，這種試驗的規模和范圍仍然有限。與數據挖掘和語言翻譯等領域不同，人工智能在軍事決策中的應用仍處于起步階段。

美國國防部高級研究計劃局目前開展的工作提供了對未來的一瞥。作為其 "AI Next "項目的一部分，該機構的第三波人工智能投資尋求 "將計算機從工具轉變為解決問題的伙伴"，并 "使人工智能系統能夠解釋其行動，并獲得常識性知識并進行推理"。

2.1 人工智能的民事與軍事用途

人工智能已經塑造或推動了我們的許多日常決策。在某些情況下，它已經改變了整個行業。在高度交易性的活動中尤其如此，如保險或零售部門。人類已經將關鍵活動的責任交給了人工智能，讓算法在沒有人類干預的情況下做出決定。今天，人工智能塑造了谷歌和Facebook等網絡平臺提供的內容，也決定了哪些內容被刪除或屏蔽。保留了人類因素的人工智能決策支持系統也在激增，被用于從醫療診斷到改善制造工藝的各個方面。

很少有地方像金融業那樣，人工智能從根本上改變了人與機器的關系。人工智能現在負責絕大多數的高頻交易。在幾毫秒內做出的數千項微觀決定有能力改變整個財富，有時會帶來毀滅性的后果，2010年的 "閃電風暴 "證明了這一點。人類的決定對于金融市場的效率不再是必要的，事實上，甚至可能會起到反作用。無形的算法似乎已經超越了無形的手。

至于社會的其他部分，人工智能的潛在軍事用途涵蓋了廣泛的應用范圍。這些可以有效地分為企業、任務支持和業務人工智能應用。人工智能的軍事應用，特別是與任務支持和作戰用途有關的應用，在一些基本方面與日常的民用活動不同。在平民生活中，人工智能有機會利用大量容易獲得的數據，不斷針對現實生活中的例子進行訓練和學習。對于軍隊來說，與對手的接觸是零星的，來自真實行動的教訓或 "數據 "在數量和頻率上都相對較低。除了軍事對抗的偶發性質，國家安全決策通常依賴于一套復雜得多的條件，涉及多個參數和利益相關者（更不用說對手的意圖），而今天的算法沒有能力再現這些條件。最后，也是最重要的一點，在國防和國家安全問題上，面臨風險的不僅僅是財富，還有生命。數學邏輯不足以為決策提供依據；在使用武力時，道德和倫理考慮比任何其他人類活動都要突出。當人類生命的完整性受到質疑時，我們為技術設定的標準將永遠高于我們為容易出錯的人類設定的標準。

除了美國、英國和北約等國的現行政策外，人們普遍認為人類將在決策中保留一個關鍵角色。美國國防部的人工智能戰略指示以 "以人為本的方式 "使用人工智能，有可能 "將人類的注意力轉移到更高層次的推理和判斷"。納入人工智能的武器系統設計應 "允許指揮官和操作人員對武力的使用進行適當的人類判斷"，并確保 "清晰的人機交互"。提到人類總是 "在循環中 "和 "完全負責選項的開發、解決方案的選擇和執行"--這是以前對我們日益自動化的未來的評估中的常見說法--已經被一種更細微的觀點所取代。

所謂的有監督的自主系統是指人類坐在 "循環 "上。雖然人類在理論上保持監督，但一些批評者認為，在實踐中，他們可能無法真正控制自動決策，因為他們可能不熟悉為他們提供決策信息的環境和人工智能程序。在這些情況下，人類的干預能力，除了停止機器之外，被降到最低，沒有達到"有意義的人類控制 "的想法。只有在完全自主系統的情況下，人類的干預才會被完全消除。然而，最終，試圖定義自主性水平的做法可能會產生誤導，因為它們假定人類和機器之間的認知活動是簡單分離的。2012年美國國防科學委員會的一份報告描述了如何:

• 沒有完全自主的系統，就像沒有完全自主的士兵、水手、空軍或海軍陸戰隊一樣。也許對指揮官來說最重要的信息是，所有的系統在某種程度上都由人類監督，而最好的能力來自于人類和機器的協調和合作。

兩個領域的發展揭示了各國政府在國防和國家安全的關鍵決策中信任先進的自動化方面已經走了多遠。一個是導彈防御，另一個是網絡防御。兩者的有效性都取決于反應速度，這通常超過了最有經驗的人類操作員的能力。

大多數防御性武器系統，從短程點防御到反彈道導彈系統，都采用先進的自動化操作，使其能夠在沒有人類干預的情況下探測和摧毀來襲導彈。算法實際上是在發號施令。在這種系統中，人類被稱為 "循環"，在事先經過嚴格的人類測試后，在有限的設計空間內運作，因此其控制范圍受到限制。雖然錯誤永遠不可能被完全消除，但在大多數情況下，不做出反應或反應遲緩的風險可能超過偶爾發生事故的風險。雖然事故促使人們對這些自主系統的操作進行審查，并可能導致引入一些進一步的人為檢查，但這種干預也帶來了進一步的復雜性。對越來越快的導彈，特別是高超音速導彈的防御將繼續推動人工智能在導彈防御中的應用。

網絡戰是人工智能相對于人類具有明顯優勢的另一個領域，而這往往需要人類保持置身事外。人類操作員缺乏算法快速檢測和應對網絡事件以及不斷調整系統防御的能力。所謂的認知電子戰（EW）系統應用人工智能技術來自動檢測對EW系統的威脅，而不是依賴人類操作員。

2.2 人類和人工的局限性

將決策過程中高度耗時、勞動密集型和需要低層次人類推理的部分自動化，有巨大的好處。軍事評估過程是軍事決策過程的一個關鍵部分，一直是參謀學院教授的標準作戰計劃過程。這種方法的一部分涉及收集和處理信息，為一個或多個行動方案提供信息。由于信息時代的決策需要更大的速度和敏捷性，達成決策的過程將需要加速。人工智能已經證明了它在基于明確定義的規則、輸入和假設快速執行理性過程中的效用。只要人類負責設定假設并定義產生替代方案和概率評估的輸入，人工智能就能增強整個決策過程。

可以理解的是，政府內部和外部都不愿意讓人工智能發揮超出決策支持和適當決策的作用。"指揮和控制"的概念在軍隊的心理和結構中根深蒂固，許多人無法接受一個在某種程度上不涉及人類控制軍事行動或指揮任務的未來。人被要求帶著他們對問題的創造性見解，像現代的亞歷山大一樣解開這個死結。沒有什么比對 "翠鳥時刻 "的信念更能體現這種對直覺型指揮官形象的依戀。這種技能，即指揮官藝術的精髓，只限于那些在最苛刻的情況下能夠憑直覺做出決定的少數人。人工智能提供并非基于人類邏輯或經驗的獨特見解的能力，對這種思維提出了深刻的挑戰，并可能在未來改變指揮官的形象。

許多人將人工智能稱為決策支持而不是決策工具，其推論是人類最終仍然是所有決策的仲裁者。這樣的區別造成了一種令人放心的錯覺，即人工智能只是協助實現一種效果。人類根據一套算法挖掘、篩選和解釋的數據做出的致命行動決定，是否比由智能機器完全執行的決定需要更多的人類機構？對 "行動 "的癡迷--更不用說致命行動--作為更廣泛的 "殺傷鏈 "的最后元素，掩蓋了人工智能在整個行動范圍內的一系列C2活動中日益增長的影響。

許多專家對人類是否有能力控制由人工智能促成或驅動的決策持懷疑態度。這種懷疑往往圍繞著所謂的黑盒問題：高級人工智能，如深度學習，在本質上是無法被人類理解的。這不僅僅是由于它的工作速度，也是由于算法網絡相互作用的方式，以及它們所操作的數據的規模和復雜性。我們不能簡單地詢問系統以了解其思維過程。我們可能知道一個模型的輸入和輸出，但卻無法理解這中間發生的事情。一個相關的、更微妙的論點是，算法對人類的認知攝入施加了 "權力"。人工智能可以決定人類處理哪些信息，而不向他們透露哪些信息被遺漏或拒絕。它還挑戰了這樣一個概念，即如果人類的行動受到數據呈現的內容和方式的制約，他們可以行使 "有意義的 "控制。這與人工智能的好處之一正好相反，即它能夠減少人類的認知負荷，使人類能夠集中精力思考和作出最高價值的活動。

對黑盒挑戰的典型解決方案是開發可解釋的人工智能（XAI）。盡管能夠自我解釋的人工智能可能有助于理解，但它并不必然會導致信任。XAI并不等同于可解釋的AI；解釋不是一個決定，而是一個關于決定的敘事。因此，即使是一個令人信服的解釋也不一定是真的。對于許多潛在的用例，我們還遠遠沒有能力開發出足夠的可解釋（Explainability）的人工智能，更不用說可因果解釋（Interpretability）的了。對更先進的人工智能系統進行嚴格的測試可能會證明它們的部署是足夠的，即使是在沒有人類能力遵循其推理過程的情況下。不過，從根本上說，我們對測試的傳統方法需要重新思考。沒有充分的測試和評估，對不可解釋/可解釋的人工智能的信任將是 "盲目的信任"。對于美國前國防部副部長鮑勃-沃克的問題，我們仍然缺乏一個令人滿意的答案：你如何對學習系統進行測試和評估？

當存在不確定性或缺乏知識時，人類會應用啟發式方法來近似解決復雜問題。啟發式方法是驅動直覺思維的因素；它依賴于經驗法則，通常是通過經驗和實驗來了解。因此，它可能存在偏見和盲點，但它也可以作為一種非常強大和有效的快速認知形式。機器缺乏類似人類的直覺，但它們確實依靠啟發式方法來解決問題。與人類推理的關鍵區別在于，機器不需要記憶或 "個人 "經驗就能進行 "直覺 "或推理。它們利用巨大的數據庫和卓越的概率能力為決策提供信息。強大的模擬與先進的計算能力相結合，提供了一個測試和 "訓練 "算法的機會，其重復程度是人類無法想象的。在宣布任務準備就緒之前，ARTUμ在短短一個多月內經歷了超過一百萬次的訓練模擬。

即使在XAI領域取得了重大進展，仍然會有謹慎的理由，特別是在需要復雜決策的情況下。人工智能通常不善于看到 "全局"，也不善于根據相關的內容做出決定。像人類一樣，它也會把相關性或偶然事件誤認為因果關系。人類和機器在處理復雜問題時都會遇到 "正常的意外"。創造力是人類通常具有的特質，但一些先進的人工智能可以產生人類無法企及的驚人結果。簡而言之，許多通常被認為是人類特有的屬性，如創造力和直覺，也可以說適用于人工智能系統--盡管方式不同，速度超過人類能力。

目前機器所缺乏的是人類思維的靈活性和關聯感（"框架 "的能力）。人類可以橫向思考，通過實用主義得出合理的結果（這一過程被稱為歸納推理），并反思自己的思維過程（這一能力被稱為元認知）。這些心理過程可以產生驚人的適應和創新的壯舉。

人工智能的出現意味著未來的軍事決策將幾乎肯定需要更強大的人機共生關系，就像在已經接受該技術的商業組織中看到的那樣。目前的討論大多是假設人類繼續控制，或尋求將人類的屬性應用于未來的機器。一些人提倡一種新的 "決策演習"概念，將 "人的指揮和機器的控制"結合起來。但更有可能的是，指揮和控制的責任將越來越多地由人類和人工智能系統分擔，其方式可能是目前難以設想的。人類與人工智能的合作提供了利用各自優勢和減少不足的最佳方式，特別是在戰爭方面（目前戰爭的性質仍然沒有改變）有四個連續性：政治層面；人類層面；不確定性的存在；以及戰爭是一場意志的較量。

3. 信任的維度

信任是動態的；它隨時間而變化。它的最初形成是至關重要的，但它的持續發展也是如此。信任是隨著熟悉程度的提高而自然產生的，因此，假設經驗是積極的，即使是在對技術不完全了解的情況下，技術的使用也會擴大信任的范圍。反過來也是如此，不好的經驗會促進不信任。移動電話技術復雜性對大多數用戶來說是未知的，但人們的積極經驗給了他們使用的信心。這種信心導致了與手機使用所形成的決定相適應的信任感。然而，手機一般不會決定生死大事，盡管它們會將盲目聽從指示的不謹慎的司機置于危險之中。在軍事背景下，賭注更大，用戶和策略制定者非常清楚他們的決定的潛在后果--信任門檻很高。

軍隊作為應急組織，不需要定期交付其主要產出，這影響了可以獲得最直接相關經驗的速度。與金融服務業不同的是，在金融服務業中，交易為人工智能決策提供了頻繁的驗證，而國防部門的時間線往往更長，結果在一個單一的因果鏈中也沒有明確的聯系。做出決定和觀察其影響之間的時間間隔更長，并受制于多種干預變量。雖然模擬演習創造了獲得經驗的機會，但它們只是現實的近似值。

3.1 信任點（Trust Points）

建立和維持信任涉及五個主要的 "Trust Points"--在這些點上，擁有適當水平的信任問題是至關重要的。這些點是：

• 部署信任：使用人工智能的目的
• 數據信任：正在使用的數據輸入
• 過程信任：數據如何被處理
• 輸出信任：由人工智能產生的輸出
• 組織系統的信任：優化使用人工智能的整體生態系統

總的來說，這些Trust Points定義了一個整體的信任水平，并且是乘法的：如果對其中一個的信任是 "零"，那么整體就是 "零"。只要整體信任是正向的，每個人的信任水平都可以變化--在不同的時間。

部署信任

對在特定情況下使用人工智能的決定的信任是至關重要的。對于人工智能的軍事使用（以及許多民用應用），這在三個層面上運作：社會；組織；和個人。第一個層面考慮的是整個社會是否愿意允許人工智能的使用，這將決定策略制定者如何看待它的使用。組織本身也必須愿意認可這一點。最后，個人必須愿意在這個角色中與人工智能合作。所有這三個層次都需要接受使用人工智能的必要性或其可取性的必然性。可取性可能反映了人工智能在以超過人類操作員的速度或數量（或兩者）處理數據方面的優勢，或在承擔枯燥或危險的工作方面的優勢。而軍方可能會認為，人工智能既實用又要避免將優勢讓給對手，但社會似乎更傾向于將致命的使用視為一個倫理問題，在這個問題上，人類生命的神圣性要求道德行為者決定奪取人的生命。

社會對人工智能使用的接受程度在很大程度上取決于其經驗、有效的溝通和教育，這將有助于為人工智能的使用選擇提供依據。在許多情況下，社會的某些部分可能會比軍方更多地接觸、熟悉和信任人工智能，但致命自主權可能仍然存在問題。雖然沒有致命自主權那么直接的威脅，但在決策中使用人工智能會帶來自己的挑戰，其中最重要的是在一個算法越來越強大、人機協作越來越緊密的世界里，"有意義的人類控制 "究竟意味著什么。

在組織層面，存在關于如何部署作戰和任務支持人工智能的重要問題：是以集中的方式在更高的戰略層面運作，還是以更分散的方式在戰術層面運作。在后一種情況下，人工智能將進一步滲透到組織中，變得更加分散，并用于反應時間可能限制人類干預或驗證人工智能的范圍。組織需要明確決定是否使用人工智能的原則，以及管理其使用的方法（見下文 "過程信任"）。關于使用人工智能的決定必須考慮如果系統失敗會發生什么。美國國家航空航天局（NASA）由于擔心系統故障的后果而沒有充分利用其早期火星車的自主能力，對火星車進行微觀管理，并通過大型人類工程師團隊減輕風險。外部組織，如商業技術供應商，的想法也很重要。例如，谷歌的員工迫使該公司在2018年退出一份軍事合同，因為他們擔心軍方對面部識別技術的使用。

個人對人工智能的熟悉程度也將是重要的。目前，從事軍事人工智能工作的人是其使用的倡導者，但隨著接觸人工智能的人群的增加，這種情況將發生變化。與前幾代人相比，接觸技術較多的年輕軍人可能更容易接受人工智能在軍事決策中的應用，但在基礎等級的聯邦結構中，人才幾乎完全來自內部，對其使用的阻力可能來自那些有權力的人；這可能造成機構接受問題。然而，在 "代際特征 "方面，存在著過度簡化的危險。雖然年輕人是在較新的技術中長大的，而且可能更信任它，但技術是可以學習的。代際假設不能成為不使用現代技術的借口。

部署信任是復雜的，因為大多數西方國家的大規模防務活動都是以聯盟行動為前提的，而不是每個盟友或伙伴都對什么是可接受的人工智能的軍事用途有共同的看法。國防部和政府需要更好地傳達他們在使用人工智能方面的方法、用途和保障措施，包括向盟友傳達，而不向對手透露太多信息，因為他們可以制定戰略來抵消（或更糟）人工智能功能的優勢。北約將通過其公共宣傳活動、與成員國在政治層面的聯系以及在不同技術發展階段的軍隊中建立規范，在這方面發揮關鍵作用。

數據信任

這涉及到對人工智能做出判斷的數據的信任程度，這些數據為人類決策提供了依據。雖然測試硬件和軟件相對容易，但測試數據，甚至是準備讓人工智能接受訓練的數據，則更加困難。數據對于人工智能的有效學習至關重要。一些數據將被控制，駐留在現有的國防系統內，或從可靠的外部來源進行驗證，盡管國防部在數據的分類（不一致或不準確）、存儲、訪問和共享方面存在困難，特別是在較高的分類級別。不受控制的數據，如開放源碼數據，是在沒有人類知識或理解的情況下通過聚合產生的，這更具挑戰性。此外，狡猾的對手會試圖注入虛假數據，以破壞決策過程，或用不相關或不準確的數據淹沒決策過程。

武裝部隊需要定義、構建、清理和分析數據的能力，以及開發和維護底層基礎設施（如連接、安全和存儲容量）的能力。這是一個多學科的團隊工作，需要能夠在數據科學生命周期的所有階段工作的 "全棧 "數據科學家。現代戰場將需要更加多樣化的技能，包括心理學家、律師和通信專家。鑒于商業世界對這些技能的需求，吸引和保留這些專家的數量將是困難的。這將需要更靈活的人力資源做法和/或對整個部隊更復雜的理解和使用，包括允許非軍事人員在軍事總部擔任有影響力的職位。

過程信任

過程信任指的是人工智能系統如何運作，包括數據如何處理（匯總、分析和解釋）。目前英國國防部的（狹義的）人工智能決策支持系統吸引了高信任度，因為算法相對簡單且可預測。它們也僅限于參與開發的一小群用戶，或者認識那些開發了人工智能系統的用戶，并且了解該技術。該技術受益于一種源自人們對人類的信任的過渡性信任。雖然不是人工智能，但法國陸軍引進的包裝降落傘的機器導致了降落傘團的信心喪失。堅持要求機器的主管用機器隨機選擇的降落傘打包跳傘，有助于恢復用戶的信心。讓開發人員更接近指揮系統的用戶會有所幫助。法國的采購程序允許某些單位直接與人工智能供應商接觸，以建立對開發商的了解和關系。開發商成為一個關鍵的信任點，如果不是軍隊，他們必須了解和熟悉軍隊的情況。這可能需要加大投資，讓商業伙伴了解軍隊的工作方式，并確保軍事人員了解其文職同事。

要求高水平的可解釋性和透明度并不是一個永久的解決方案，目前限制了英國防部對更強大的、非符號形式的人工智能的訪問。隨著機器學習使技術超越其最初編程的參數，將需要不同的方式來確保對可能看起來是黑盒的信任。隨著這種人工智能系統的使用激增，因了解設計者而產生的過渡性信任將減少，在這個過程中克服最初的信任不足或過度信任將更加困難。應避免過度依賴過程信任，并加強其他信任點，以開發適應能力越來越強的人工智能。

過程信任必須超越技術本身。它需要信任那些為技術提供能量、與技術一起工作并接受技術產出的人類過程。因此，必須同樣重視那些共同構成整體過程的其他活動。這包括培訓和人員的過程，以及如何組建團隊。

輸出信任

對人工智能產出的信任對決策者根據他們收到的信息采取行動至關重要。即使是人類提供的情報，如果原始信息指向不同的方向，指揮官要求新的情報來支持他們的先入之見（一種 "基于決策的證據制作"）也不是沒有。而隨著數據的激增，不同的解釋將成為可能，合法的或符合先入為主的解釋。因此，出現了這樣的問題，即人工智能或事實上的人類分析能夠現實地提供什么答案，以及如何驗證輸出。在友軍的部署和對手的物理位置方面，人工智能有可能提供更快的態勢感知。然而，盡管可以從現有的數據中得出更好的推論，但對手的實際意圖是無法可靠地確定的。可預測性通常被視為信任的關鍵因素，但在不穩定的環境中，能夠適應不穩定環境的人工智能輸出會被解釋為不可預測。為了克服這個問題，Bonnie M Muir認為，人類操作員必須具備估計技術可預測性的能力。這種可預測性也會影響整個部署和過程信任點，但在輸出信任方面最為敏感，以反映軍事行動等流動性和不可預測的環境。在這些情況下，數據還必須反映軍事決策者所面臨的大多數情況的離散性和特定對手的獨特文化方式，這加劇了建立大量訓練數據的難度。即使在情況類似于過去的事件時，由于缺乏可比的歷史數據來說明廣泛的變量，使得概率推理變得困難。

用Patricia L McDermott和Ronna N ten Brink的話說，輸出的校準是至關重要的。這可以通過更多地使用企業人工智能和模擬來實現，它擴大了信任的邊界，可以幫助開發輸出信任。如果經驗是積極的，與技術互動并看到它的輸出將產生信任。在作戰環境中，當描述可以知道和檢查的東西時，驗證將是最容易的（例如，關于自己部隊的數據和潛在的對手部隊的布局）。要接近了解對手的意圖是比較困難的，因此需要更高水平的輸出信任。這將包括提高描述的準確性和對從大數據處理中得出的推論進行更多的測試。分享演習和行動的正面敘事，對于實現過渡性信任和緩解從相對不頻繁的行動中積累成功證據的緩慢速度至關重要。

組織系統的信任

生態系統的信任涉及調整更廣泛的組織系統以最大化人工智能的價值所需的信任。C2系統作為一個整體必須被配置為利用人工智能輔助決策的好處，并有適當的檢查和平衡，以在可接受的風險水平內運作。當人工智能的弱點或失敗是在主管的專業知識之外的領域，需要在組織的不同部分進行校準時，這一點尤其重要。如果不在生態系統和組織層面上進行變革，組織將只是將其人類系統數字化。

需要生態系統的信任，以確保結構--包括軍事總部的組織、指揮官的角色以及集中式與更分散或分布式的決策權的平衡--準備好利用人工智能的機會。如果沒有準備好，采用人工智能的漸進式方法往往會鼓勵對結構和整體生態系統的變化采取被動或消極的方法。相比之下，實現人工智能變革力量的專門戰略將迫使人們盡早重新思考支持這種戰略所需的組織。這需要重新思考傳統的軍事結構，但對于走多遠并沒有共識。一些人設想總部變得更扁平，并將非軍事人員納入高級職位，在決策過程中擁有權力。對另一些人來說，生態系統的變化更為深刻；它要求完全取消目前被視為工業時代遺留的工作人員組織系統。這樣做，他們打算消除扼殺理解的信息邊界，并挑戰決策金字塔尖上的獨當一面指揮官的想法。這種轉變需要整個組織生態系統的信任。對于像軍隊這樣的保守組織來說，這將是困難的，在指揮部的激進替代方案被接受之前，需要得到保證。實驗、戰爭游戲和模擬環境提供了低風險的選擇，以測試為特定類型的任務（例如，戰爭、和平行動和能力建設）配置的不同總部結構。

3.2 多少信任是足夠的？

信任是根本，但為技術設定一個不可能高的標準也有風險。幾千年來，指揮官和決策者們一直信任易變的人類。當人工智能開始觀察到輸入數據分布的變化時，技術可以通過自我監測的方式提供幫助，提醒人類 "操作員"，或以以前未曾見過的方式進行操作，這樣錯誤輸出的風險會更大。風險容忍度，無論是關于人類還是機器演員，最終都是信任的表達。國防組織需要對自己是否是快速采用者或快速或緩慢的追隨者持誠實態度：商業世界的人工智能發展速度使大多數武裝部隊極不可能成為人工智能決策的 "第一用戶"。漸進派和未來派都是人工智能的支持者，他們之間的差異主要是風險問題，以及針對不同信任點的可實現的信任水平。

通過熟悉產生信任是至關重要的，這可能涉及到將軍事人員嵌入到使用復雜人工智能的商業組織中，或將平民帶入國防。這種變化需要在足夠高的級別上進行，以促進生態系統的信任。模擬、實驗和演習是重要的工具，而且必須足夠廣泛，以便不局限于一小群狂熱者。英國電信公司用人工智能決策支持工具取代英國的電話網絡的項目，當服務時間最長、知識最豐富的工程師與人工智能和數據專家合作時，效果最好，他們可能會對人工智能產生懷疑。將企業人工智能引入改革業務流程，如財務和人力資源，是將熟悉程度擴大到目前直接參與人工智能開發和使用的少數干部之外的另一種方式。

一旦熟悉的東西，信任是人類的天性，但信任的習慣會帶來自身的風險。眾所周知，人類不善于設定正確的目標，當遇到 "專家意見"（無論是人為的還是其他的）時，他們更容易同意而不是懷疑。必須避免 "信任和忘記 "的動態。一個考慮因素是為人工智能系統制定一個 "持續可信性 "的概念，類似于航空平臺的持續適航性，以確保它們仍然適合使用。因此，建立對人工智能的信任（并避免過度信任）的努力必須解決所有的信任點，并包括整個人類-機器團隊，其中人類操作員是其數字對應方的有效合作者和建設性批評者。

4. 對指揮部和指揮員的影響

人工智能對決策的知情、制定和實施方式的影響將是深遠的。通過以超越目前人類進程的速度處理大量的數據，人工智能可以提高對作戰環境的理解，并減少決策者的認知負擔。這不僅僅是今天工作方式的演變。僅僅加快當前C2系統的速度是不切實際的。一輛設計為以70英里/小時速度行駛的汽車是為以該速度運行而配置的。將發動機調整到每小時100英里的速度也許是可能的，但會給車輛系統和駕駛員帶來無法承受的壓力。由人工智能驅動的決策所代表的不連續性需要一種新的方法。正如多國能力發展運動（MCDC）所述。

無論我們未來的C2模型、系統和行為是什么樣子，它們都不能是線性的、確定的和靜態的。它們必須是靈活的、自主的、自適應的和自我調節的，并且至少與它們形成和運行的環境一樣具有偶然性和突發性。

軍隊必須為明天的C2進行重組，并以不同的方式培養他們的指揮官和工作人員。如果沒有這些變化，"生態系統信任"可能被證明是不可能實現的。

4.1 指揮和控制

C2包含兩個不同的元素：指揮，通常與創造力、靈活性和領導力相關；以及控制，與規則、可預測性和標準化相關。人工智能將首先影響控制功能，目前，指揮仍主要是人類的活動。人工智能的數據處理能力將消除控制的大量負擔，例如，為指揮官提供對其部隊的更好理解（如部署、狀態、設備和供應水平），目前這需要消耗大量的注意力和時間。它還將改變向指揮官提供信息的方式。目前，這些數據大部分是在 "拉取"的基礎上提供的--根據總部的報告程序要求或零星地收集。然而，人工智能可以持續監測局勢，并通過強調相關變化的活文件將信息推送給指揮官--類似于24小時的新聞編輯部。然而，通過進一步進入控制領域，人工智能將不可避免地影響指揮權的行使，并形成指揮決策；這對上述指揮和控制之間過于整齊的區分提出了挑戰。在未來的C2系統中，可以想象人工智能可以限制指揮權的行使，就像防抱死制動系統、牽引力控制和電子穩定性允許人類駕駛員指揮車輛，直到失去控制，此時系統會接管，直到情況穩定下來。

人工智能給人類指揮帶來了一個悖論。它同時使更多的知識被集中掌握，使總部能夠看到并與 "前線 "發生的事情互動，并將知識擴散到整個指揮系統，使較低級別的編隊能夠獲得以前只有高級指揮官才有的信息。將更多的權力下放給地方指揮官可以提高反應能力，這在事件發展不可預測、需要快速反應的情況下非常重要。西方武裝部隊傾向于采用（或多或少）任務指揮的概念，即指揮官的意圖描述了預期的效果，并允許下級指揮官根據他們面臨的情況自由執行。軍隊的學習和發展系統以及演習嵌入了這種方法--指揮官將需要相信人工智能能夠在其操作中實施這一意圖。鑒于數據和獎勵功能的戰略復雜性和模糊性，人工智能在戰術和作戰層面的使用可能比在戰略層面的指揮更有效，盡管這些層面并不離散，在現實中也不容易被分割開來。人工智能和更大的網絡連接將提供一個結構、流程和技術網絡，連接多個小型、分散的前方總部和分布式（和加固的）后方功能，即使在更透明的戰斗空間，也更難發現和反擊。如果敵人以C2系統為目標，這將增強復原力。

在每個層面上處理更大數據量的能力必須被仔細引導。人們應該能夠獲得與他們的地位和相對能力有關的信息，以影響他們在環境中發展。W-羅斯-阿什比將此描述為 "必要的多樣性 "問題：一個可行的（生態）系統是一個能夠處理其環境變化的系統。行為者應該在適合其任務的抽象水平上運作。一個旅部不能處理也不需要關于單個士兵的詳細信息；它需要對其下屬單位的身體和道德狀況有一個良好的總體了解。在更多的戰術層面上，NCO指揮官應該對他們團隊中的個人狀態保持警惕。戰略和作戰指揮官可能需要放松控制，讓戰術指揮官在更接近戰斗的地方利用新出現的機會。雖然任務指揮已經允許這樣做，但隨著高級別的指揮官獲得關于戰術層面發生的信息的空前機會，"控制"的誘惑會更大。

人工智能也需要使用抽象、近似和校準的杠桿，以避免將總部淹沒在數據洪流中。這需要在使用這些抽象和近似時的 "過程信任"。總部也可能需要使用不同的人工智能系統，其能力更適合或不適合不同時間范圍內的不同場景。決策也可能包括確定在特定情況下信任哪種人工智能模型（部署和過程信任）的因素。

人機聯合系統的自動化將提高人類的表現，在某些情況下，改變任務本身的性質。無論在什么層面上部署，人工智能不僅會影響人類執行任務的方式，也會影響人類執行的任務。目前的方法通常從研究哪些人類過程可以自動化開始，即人類工作的數字化。有可能從使用人工智能的假設開始，只有在人類是必要（出于法律、政策或道德原因）或可取（更適合這項任務）時才將人類放入系統中--決定什么不應該，而不是什么可以被數字化。這種方法挑戰了目前關于總部的規模、組織、人員配置和運作的概念。

4.2 對未來總體結構的影響

聯合概念說明（JCN）2/17指出，C2有可能在不同的戰爭層次（戰略、作戰和戰術）上發生變化，并對作戰環境的變化特征做出反應，因為作戰環境不再僅僅是物理環境。戰爭與和平的模糊性--強調了在 "行動 "和 "作戰 "之間的連續過程中有效的必要性--以及英國向能夠持續參與的部隊結構的轉變，將需要超越戰斗所需的方法。然而，可能沒有單一的總部原型；因此，為戰斗而配置的總部將與處理上游參與和能力建設的總部不同。雖然現在確定人工智能對軍事總部的影響還為時過早，但商業組織已經發現，與傳統的垂直層次結構相比，具有更多橫向信息共享的扁平結構更適合利用人工智能的優勢，因為在垂直層次結構中，每一層都要保證和授權數據才會被發布。因此，軍事總部--無論其具體形式如何--很可能會比現在更小、更扁平，能夠更快地沿著水平線工作。

探索替代的總部概念可以通過更多地使用實驗和模擬來實現。這應該對經典的J1-9參謀部提出挑戰，或許可以用新的分組來反映人工智能取代人類密集型數據處理和共享任務的能力。在J3/5區域尤其如此，這是計劃和行動之間的界限；由更快的決策帶來的更快節奏的沖突使這種界限變得過時。組織總部的替代方法可能包括那些注重結果的方法。JCN 2/17中描述的英國常設聯合部隊總部（SJFHQ）的結構是圍繞著四個職能來組織的：理解；設計；操作；和啟用。SJFHQ后來又恢復了傳統的J1-9人員分支。然而，"聯合保護者2021 "演習是一項復雜的亞門檻行動，其中使用了人工智能決策支持工具，揭示了J1-9架構的弱點。總部開始演習時是為高強度戰爭而配置的，但隨后調整為更適合與其他機構合作的配置。SJFHQ內部正在開展工作，應用2021年聯合保護者的經驗教訓，并確定這對總部結構意味著什么。然而，不太可能有一個完美的總部模式適用于所有行動類型。需要進一步的實驗，不限于SJFHQ。很能說明問題的是，自JCN 2/17發布以來的四年多時間里，在實施其中的一些建議方面幾乎沒有取得進展。即使英國國防部采用技術的速度相對緩慢，但這也超過了國防部探索改變結構的能力，超越了小規模的愛好者群體。"生態系統信任"是至關重要的，需要有機會在模擬或真實的環境中對各種任務類型的替代方法進行測試，并讓更多的人參與進來，這對有效采用新技術、結構和過程至關重要。

現有的程序需要改變以連接和優化新的結構。這可能需要改變構成武裝部隊規劃過程基礎的軍事評估。雖然它是一個復雜的、符合邏輯的規劃工具，但它是相當線性的、確定性的，并且嚴重依賴于指揮官，特別是在 "指揮官領導 "的英國方法中。在其他國家，參謀部在推動解決方案方面發揮了更大的作用，這可能更適合于人工智能的方法。人工智能為更多的迭代和協作過程提供了機會，它能更好地響應軍事和民防資源中心的要求，轉向更敏捷的模式。新的方法應該給指揮官帶來更少的壓力，要求提供信息（指揮官的關鍵信息要求）。人工智能還可以構建、分析和比較作戰行動方案，允許在做出大規模投入部隊的選擇之前對情景進行建模、測試和完善。

英國常設聯合總部（PJHQ）的情報評估過程自動化的思想實驗發現了取代大量工作人員的機會，加快了總部的戰斗節奏，并允許使用自動總結和自然語言處理來橫向共享信息。在一次作戰部署中測試了這一點，英國第20裝甲步兵旅戰斗隊將部分計劃過程縮短了10倍。然而，當人類仍在環路中時，決策環路的速度可能是有限的。在某些時候，人類決策者將無法跟上，成為決策監控者。如果仍然需要人類來做人工智能自己不能做的決定，這將是一個問題，而這可能是最困難的決定。

盡管有明顯的優勢，但總部不太可能在技術允許的范圍內減少。目前的總部通過規模和保證程序的冗余來補償人類的脆弱性，這對于減輕人工智能團隊成員的脆弱性可能仍然是正確的。此外，隨著戰斗節奏演變成連續的24小時規劃周期，節奏的加快可能會推動某些領域的需求上升。這些壓力可能并不局限于總部本身；它可能會推動前線單位的活動增加，他們必須處理數據并對所發出的指令作出反應。人類行為者仍然需要時間來休息，即使技術不需要。此外，與商業組織不同，軍隊需要冗余，以應對競爭對手蓄意破壞或擾亂他們的決策機構，并需要確保固定基礎設施的安全，以建立他們的網絡。簡而言之，對彈性和流動性的需求影響了軍事C2系統的穩健性和效率。因此，軍隊將需要保留不完全依賴人工智能進行有效操作的結構，并確保在人工智能失敗或故意削弱對人工智能信任的情況下，有恢復性程序可用。

4.3 培養指揮官

傳統上，指揮官是垂直決策結構的頂點，是所有信息的匯集點。雖然不是所有的軍事文化都強調個人的天才，正如 "翠鳥時刻"的概念所體現的那樣，但指揮官獲得信息的特權被總部的低層人員所拒絕。人工智能使信息民主化的潛力將改變這種情況；指揮可能會成為一種更加合議和反復的活動，不僅涉及那些穿制服的人，而且包括情報機構和具有數據科學多方面專業知識的承包商在內的更加折衷的組合--一種 "全部隊"的貢獻。面對一個復雜和適應性強的戰斗空間，另一種鳥也許為未來的指揮提供了一個更好的比喻：椋鳥。它們集體的、高度適應性的雜音為英國的發展、概念和理論中心的C2概念提供了一個更好的形象，即 "為設計和執行聯合行動而配置的動態和適應性的社會技術系統"。

指揮官必須繼續能夠處理動態環境；"沒有計劃能在與敵人的接觸中幸存下來 "這句話仍然是正確的。鑒于技術能夠提高速度（減少反應時間）和復雜性（通過更透明的戰斗空間），處理復雜、快速演變的問題將尤為重要。軍事組織正在試驗人工智能將如何改變C2，包括北約卓越指揮與控制中心、美國JADC2和英國軍隊的數字準備實驗。早期的跡象表明，指揮官將不得不更多地關注問題的框架，并確保在更小、更扁平的結構中的更多不同團隊之間的理解和目標的統一。這表明需要一個不同類型的指揮官和不同類型的工作人員；他們能夠整合由不同學科的成員組成的不同團隊的工作，而且往往是來自軍隊以外的成員。

確保指揮官能夠正確地設定問題的框架是至關重要的。人工智能非常善于在框架內操作，但目前至少在 "閱讀字里行間 "或從定義不明確的數據集中推斷方面很差--這種脆弱性仍然依賴于有人類來設定框架。在確定了問題的框架后，指揮官必須能夠判斷產出在該框架內是否合理。這需要能夠看到大局的人，武裝部隊需要通過在總部的參謀經驗來培養未來的指揮官，使他們熟悉環境和流程，從而能夠在越來越高的級別上進行指揮。模擬可以促進對總部的接觸，同樣可以確保較小的總部仍然保留人們獲得經驗的作用，通過這些經驗可以獲得必要的指揮技能。

雖然指揮官需要知道如何與技術互動，但他們必須繼續關注人工智能所要服務的作戰要求，并對其持適當的懷疑態度，以便他們成為這一過程中的知情者，而不是算法輸出的被動接受者。指揮官需要類似于工業界的 "π型領導人"，在軍事專業的同時具有數字和數據意識。他們不需要成為技術專家，但應該有足夠的知識來了解其局限性，能夠與團隊中的專家合作，并有足夠的滿意度來允許對數據、流程和產出的信任。

集體而言，總部團隊需要這些技能，各個團隊成員能夠相互交流和理解。這超出了情報分析員的范圍，包括來自武裝部隊內部和外部的廣泛的行動、技術和數據專家。它還包括對風險更復雜的理解和溝通能力。戰爭從根本上說是一個風險管理的問題，這需要以經驗的方式來理解和溝通風險。因此，了解概率和信心水平是一項關鍵的指揮技能，但諸如沖突中的一次性決定也需要長期的判斷。

軍事教育需要通過在職業生涯中更早地引入數據和技術意識來應對。此外，軍隊對不同能力的評價方式也需要改變。據傳聞，英國陸軍的職業管理流程往往將那些在計算能力上取得好成績的人引向采購等領域，而不是作戰，被選入參謀學院的專業人員往往在計算能力上處于較低的四分之一。這不僅僅是軍隊面臨的挑戰：有望成功競爭的國家需要國家教育系統認識到數據和技術素養技能的價值，并從小培養他們。作者并不主張將教育變成就業前培訓；雖然需要STEM技能（數量比現在多），但人文和社會科學仍然很重要，培養出的畢業生適應性強，能夠解決復雜的問題，并以影響力進行溝通。國家的成功取決于學術和其他形式的多樣性，培養人們在數字世界中茁壯成長，不僅需要技術能力，還需要（人文）特質，如創造力和情商。指揮官和工作人員在未來將需要這兩套技能，也許比今天更需要。

除了分析之外，直覺是信息處理中的一個補充部分。在指揮官需要行使的雙軌制決策方法中，它是人類認知的一個重要部分。有效的決策結合了直覺和分析的優勢。當數據和直覺一致時，決策者可以放心地采取行動。如果它們不一致，則需要在行動前進一步探索。1983年，俄羅斯中校Stanislav Petrov避免了潛在的核戰爭。他的導彈探測系統報告說美國發射了五枚洲際彈道導彈，但他沒有立即報告，而是決定等待，因為這個信息感覺不對。他的（下意識的）雙模式決策使他做出了正確的決定。人工智能更強的數據處理和分析能力可以增強決策過程中的分析要素，但它需要指揮官認識到直覺的價值和局限性。專業軍事教育需要反映出對數據和直覺這兩個組成部分的平衡方法。

4.4 管理整個部隊

未來的指揮官所指揮的團隊必然比今天更加多樣化，領導跨學科團隊為復雜問題帶來新的見解。人類有效構思和發展直覺的能力通過接觸不同的看世界的方式得到加強。這不僅僅是改善受保護特征方面的多樣性，盡管這很重要，還包括確保整個部隊團隊中教育、經驗和觀點的廣泛性。整個部隊的不同元素是這種多樣性的一部分。

越來越多的跨軍事領域的綜合活動要求整個部隊的各軍事部門有效合作。對于正規軍事人員，在 "聯合"方面已經取得了進展，但還需要做更多的工作。在軍事生涯的早期引入聯合訓練是實現這一目標的一種方式；這可能需要重新思考軍事人員何時接受專業軍事教育，目前在英國是在30歲左右。相比之下，澳大利亞國防軍為參加澳大利亞國防軍學院的人員提供了基本的聯合軍事課程，海軍、陸軍和空軍專家也接受了單一軍種培訓。這為未來的指揮官在軍事生涯早期的成長提供了一個跨學科的 "聯合 "模式。正規軍的進展需要擴展到后備軍的整合，因為未來可能會有更多的技術專家駐扎在這里。

事實證明，整合整個部隊的非軍事因素更為困難。Serco研究所的一份報告指出，"盡管在過去十年中，整個部隊的運作取得了進展，但在實現軍事和工業之間的無縫合作方面的努力卻停滯不前。雖然武裝部隊在將非軍事人員帶入其總部方面做得更好，但在場和被納入之間有很大區別。如2021年聯合保護者等演習，經常邀請國際合作伙伴和民間主題專家來幫助規劃過程，但他們往往在軍事規劃人員完成工作后才被邀請對計劃發表意見。許多總部的規劃周期缺乏靈活性，這意味著當規劃被提出來供審查時，可能已經來不及進行修改了。

這不僅僅是對軍隊的觀察；文職專家往往不熟悉軍事進程，等待被邀請做出貢獻，這削弱了他們的影響力。軍事人員沒有本能地理解他們的非軍事同事所能做出的全部貢獻，因此沒有將他們納入其中。人工智能將迫使人們從一開始就需要在規劃過程中建立整個部隊的多樣性，從而使計劃成為真正的合作。

有了人工智能的能力，技術將越來越多地成為整個部隊的一個成員。國際象棋大師加里-卡斯帕羅夫（Gary Kasparov）曾指出，好的技術和好的人類棋手的結合，往往比卓越的技術或更好的人類棋手單獨工作更成功。在某些情況下，人和機器可能在共享任務中緊密結合，以至于他們變得相互依賴，在這種情況下，任務交接的想法就變得不協調了。這在支持網絡感知的工作設計中已經很明顯了，在這種情況下，人類分析員與軟件智能體相結合，以近乎實時的方式理解、預測和回應正在發生的事件。

從這些人機一體的團隊中獲得最大利益，不僅僅是有效的任務分配。它涉及到找到支持和提高每個成員（人或機器）績效的方法，從而使集體產出大于單個部分的總和。正確的行為和創造包容性文化的能力對于從這樣的團隊中獲得最大收益至關重要。指揮官不應專注于試圖管理 "突發事件"--一個試圖描述簡單的事情如何在互動中導致復雜和不可預測的結果概念--或團隊成員的活動，而是需要在塑造團隊和培養團隊內部的關系方面投入更多。

雖然人工智能目前作為一種工具，但隨著技術的發展，它應該被視為團隊的真正成員，擁有影響人類隊友的權利和對他們的責任。然而，無論其最終地位如何，人工智能都可能改變團隊的動態和對人類團隊成員的期望。將人工智能引入一個團隊會改變團隊的動態，而它與人類團隊成員的不同會使團隊的形成更加困難。通過布魯斯-塔克曼（Bruce W Tuckman）的經典階段，即形成、沖刺、規范和執行，需要妥協和適應。人工智能目前不太能做到這一點，需要人類參與者有更大的靈活性，這使得建立人機團隊更加困難，也更難恢復已經失去的信任。

高級人工智能，如果可以說有動機或偏見的話，很可能是以邏輯和任務為導向的（用實力部署清單術語來說，就是綠色和紅色）。一個平衡的團隊將越來越需要能夠維持團隊關系的人類，無論是內部還是跨團隊。因此，人機團隊將是不同的，盡管他們可能與包括神經多樣性同事在內的純人類團隊有一些相似之處，因為對他們來說，感同身受或理解情感線索是困難的。與神經多樣性團隊一樣，人機團隊將受益于團隊成員的多樣性給整體帶來的價值，但也需要進行調整，以最大限度地提高團隊績效的機會。人工智能作為團隊成員的概念究竟會如何發展，目前還不清楚，但有人呼吁組織在更平等的基礎上考慮先進技術的需求。加強企業人工智能在業務支持活動中的使用，將為探索人機團隊如何最有效地合作提供機會，并有可能實現預期運行成本的降低，使人類在價值鏈上從事更有意義的工作。

4.5 職業管理

需要的新的領導風格、新的技能和對技術、數據和風險的進一步理解也需要新的職業管理方法。軍隊的職業管理系統（過于）頻繁地調動人員，但要形成具有必要信任度的有效團隊需要時間。軍隊可能會放慢關鍵人員的流動，甚至可能放慢團隊的流動，從而使總部高級團隊作為一個集體實體而不是個人來管理。然而，目前的人力資源實踐使軍隊或工業界不太可能愿意無限期地保留人們的職位以期待未來的需求。用拉斐爾-帕斯卡爾和西蒙-鮑耶的話說，這就產生了 "混合團隊"，即那些成員不固定的團隊，對他們來說，迅速建立團隊信任的能力至關重要。即使是常設總部也會受此影響，特別是當他們成為 "整體部隊 "時。對于'臨時團隊'，例如為特定任務而設立的臨時總部，這個問題就更加突出。需要有機制來加速信任的發展，經驗表明，這可以通過早期的行為實踐來實現，包括展示 "技術能力、信息公開、支持互惠和決策中被認為的誠信"。

放慢總部高級職位人員的流動速度將有所幫助，但這還不夠。在無法保證預先建立的團隊在需要時隨時準備好執行任務的情況下，需要有一種方法來減少組建新的部隊團隊的時間。模擬提供了一種方法，通過壓縮任務演練的時間來準備新組建的團隊，并為整個部隊的不同組成部分提供共同工作的經驗。軍隊在這方面做得很好；軍隊的社會化進程創造了強大的紐帶，包括派人到合作伙伴那里進行培訓、演習和任務。對于整個部隊的其他部分來說，這種對跨文化理解的投資是缺乏的。建立對對方的了解，從而建立信任，對文職部門來說同樣重要。軍隊可以做得更多，為其工作人員提供與商業部門合作的經驗，包括與技術專家、數據專家和編碼人員合作，而文職人員也需要更好地了解軍隊、其語言、流程和價值觀。武裝部隊可以通過提供交流任命和模塊化和/或縮短其課程來協助這一進程，使文職人員有可能參加。冠狀病毒大流行引入了新的工作方式，并加速了軍事訓練和教育的變化，這可以為信任提供基礎，在此基礎上可以出現新的團隊和總部類型。

簡而言之，人工智能輔助決策不僅僅是一個技術問題；它需要改變指揮結構、流程和人員技能，才能發揮其潛力，成為武裝部隊在所有任務中運作的一場革命。然而，至關重要的是，在適應不斷變化的戰爭特征時，武裝部隊不能忽視戰爭的持久性：指揮官必須保持領導者和戰士的身份，能夠激勵普通人在最困難的情況下做出非凡的事情，而不僅僅是善于管理戰斗的人。在軍事方面，人工智能是一種工具，可以最大限度地提高武裝部隊在激烈競爭環境中的獲勝機會。

5 結論

人工智能正迅速成為我們國家安全結構的一個核心部分。軍方和情報機構正在嘗試用算法來理解大量的數據，縮短處理時間，并加速和改善他們的決策。對人工智能越來越多的使用和熟悉可以促進對它的信任，但正如專家們的辯論所表明的那樣，要建立和維持對像人工智能這樣的變革性技術的信任，存在著嚴重挑戰。

本文重點討論了人工智能的作戰和任務支持應用，并探討了不斷發展的人與人工智能關系對未來軍事決策和指揮的重要性和影響。當軍事指揮官的角色從控制者轉變為團隊伙伴時，當我們不能再將輔助功能只賦予人工智能體時，那么我們就需要從根本上重新思考人類的角色和我們的機構結構。簡而言之，我們需要重新評估人機決策中信任的條件和意義。沒有這種信任，人工智能的有效采用將繼續比技術的發展更慢，而且重要的是，落后于我們一些對手采用人工智能的速度。

一個稍加修改的信任概念--一個不需要將意向性或道德性歸于人工智能體的概念--可以而且確實適用于AI。只要我們委托機器做可能對人類產生嚴重甚至致命后果的事情，我們就會讓自己變得脆弱。只要存在人工智能的表現達不到我們預期的風險，對它的任何使用基本上都是一種信任的行為。

除了最罕見的情況，對人工智能的信任永遠不會是完全的；在某些情況下，用戶可能有意識地同意較低的信任水平。這種信任需要考慮五個不同的元素，作者稱之為 "信任點"。我們不應該依賴任何一個單一的點來產生整體的信任。事實上，往往得到最多關注的領域--關于數據質量或人工智能輸出的可解釋性問題--從長遠來看，必然會提供不令人滿意的答案，并有可能對技術產生錯位的放心感。

最常被忽視的是在組織生態系統層面上對信任的需求。這需要重新思考武裝部隊的組織及其C2結構。如果說機器的作用越來越大曾經是官僚軍隊結構興起的關鍵驅動力，以集中管理手段，那么人工智能正在以根本的方式挑戰常備軍的這一特點。如果人工智能的使用不僅僅是模擬工作方式的數字化，國防部必須改變其在 "行動（operate）"和 "作戰（warfight）"方面的決策結構。它還需要與整體部隊的各個方面進行更密切的接觸和參與，包括其未被充分利用的后備部隊以及工業和更廣泛的政府。

領導力作為軍事職業的一個持久要素也需要重新考慮。人們傾向于將領導力視為軍事指揮的一種抽象或不可改變的品質。在人工智能時代，指揮任務或領導團隊既需要新的技能（如 "表達數字（speak digital）"的能力），也需要更多樣化的特質（例如，在數據和直覺發生沖突時，橫向思考的能力，構建問題的框架，并應用批判性的判斷）。與以往相比，人工智能更需要那些能夠理解復雜性、構建問題并根據情況提出正確問題的指揮官。這些 "故意的業余愛好者 "摒棄了早期狹隘的專業化，選擇了范圍和實驗思維；他們可以建立專家團隊，吸取專家的意見，使集體人才既廣泛又深入。這些全軍團隊將包括人類和機器，所有這些人都將根據他們在塑造和決策方面的專長作出貢獻。

在尋求回答信任如何影響軍事決策中不斷發展的人與人工智能關系時，本文提出了幾個需要進一步研究的關鍵問題：

• 我們如何建立必要的信任，在戰術、作戰和戰略層面上重新配置指揮部的組織，其規模、結構、位置和組成
• 我們如何調整軍事教育，使指揮官為人工智能時代做更好的準備
• 我們如何優化和改造所有領域的集體訓練，以改善涉及與人工智能體更多協作的指揮
• 我們如何運作 "全軍 "的概念，以更好地利用我們社會、工業和研究機構中的大量人才
• 我們如何定義人工智能和人類在人機團隊中的需求和目標

如果我們不從根本上改變如何獲取、培訓和培養領導崗位的人員，以及如何改革他們所處的機構和團隊，我們就有可能在人機關系的信任平衡上出錯，并將無法利用人工智能的全部變革潛力。

作者

克里斯蒂娜-巴利斯是QinetiQ公司的培訓和任務演練的全球活動總監。她在大西洋兩岸有20年的經驗，包括咨詢、工業和公共政策環境，特別關注國防、全球安全和跨大西洋關系。她曾是華盛頓特區戰略與國際研究中心歐洲項目的研究員，Serco公司負責戰略和企業發展的副總裁，以及巴黎Avascent公司的負責人和歐洲業務主管。她擁有華盛頓特區約翰霍普金斯大學高級國際研究學院和意大利博洛尼亞大學的國際關系碩士和博士學位，以及英國和德國的商業學位。

保羅-奧尼爾是RUSI的軍事科學部主任。他在戰略和人力資源方面有超過30年的經驗，他的研究興趣包括國家安全戰略和國防與安全的組織方面，特別是組織設計、人力資源、專業軍事教育和決策。他是CBE，英國特許人事與發展協會的會員，溫徹斯特大學的客座教授，英國后備部隊外部審查小組的成員。

這是一個顛覆性技術快速變革的時代，特別是在人工智能（AI）領域。雖然這項技術是由商業部門為商業開發的，但人工智能在軍事應用方面的明顯潛力，現在正促使世界各地的武裝部隊對人工智能防御雛形系統進行試驗，以確定這些系統如何能夠最好地用于作戰與和平時期的任務。

澳大利亞也不例外，在2020年國防戰略更新中分配了資金，開始將人工智能能力引入國防。這將涉及開發解決戰術級和戰略級軍事問題的人工智能應用程序，建立一個熟練的人工智能勞動力，并與澳大利亞合作伙伴和盟友合作，將倫理學納入人工智能應用程序，并進行人工智能實驗。今年在澳大利亞首都地區費爾伯恩設立的國防技術加速實驗室是這一計劃的具體行動體現。

彼得-雷頓（Peter Layton）的論文考慮了人工智能在未來海、陸、空作戰行動中的戰術和作戰層面上可能發揮的作用，為這一廣泛的活動做出了貢獻。這是一個很少被研究的領域，因為到目前為止，大部分的討論都集中在關鍵的技術問題上。這些審議表明，人工智能可能是未來戰爭中的一項重要技術，但仍有許多不確定因素。本文提供了一個起點，在此基礎上開始辯論，這將有助于解決其中一些不確定性。

本文認為，人工智能將滲透到大多數軍事機器中；然而，它的通用性意味著它很可能是在現有作戰層面結構中被使用。鑒于此，人工智能在中短期內的主要作戰用途是“尋找（find）和欺騙（fool）”。人工智能/機器學習尋找隱藏在高度混亂背景中的目標非常出色；在這個應用上，它比人類更好，而且速度更快。然而，人工智能可以通過各種手段被欺騙；其強大的尋找能力缺乏穩健性。這兩個關鍵特征在應用于當前海、陸、空作戰層面的思考時，可能會產生巨大的影響。

本文初步設計的作戰概念與沒有人工智能技術的作戰概念明顯不同。

所討論的概念旨在激發人們對人工智能戰場上人機協作作戰的思考。這樣的戰場在目前看來可能有些猜測，幾乎是科幻小說。即便如此，許多國家已經在規劃、研究和開發方面取得了很大進展。鑒于將軍事力量調整到新方向所需的漫長準備時間，這一旅程需要從現在開始。

人工智能（AI）技術突然變得對軍事力量很重要。美國國防部（US DoD）已將人工智能的投資從2016-17年約6億美元增加到2021-22年25億美元，橫跨600多個項目。中國已經通過了一項“下一代人工智能發展計劃”，旨在到2030年使中國成為人工智能領域的杰出國家，并使人民解放軍從“信息化戰爭”轉向“智能化戰爭”。更引人注目的是，俄羅斯總統普京宣布，“人工智能是未來......誰成為這個領域的領導者，誰就會成為世界的統治者”。這些高級別的倡議和聲明正在產生結果。

在美國，美國海軍（USN）的“海上獵人”號（USV）在沒有船員的情況下從加利福尼亞航行到夏威夷再返回，利用船上的傳感器、雷達和攝像機數據，通過人工智能進行導航。同時，在美國國防部高級研究計劃局（DARPA）的支持下，一架由人工智能驅動的F-16模擬戰斗機最近在多次模擬的近距離空戰中全面擊敗了由非常有經驗的人類飛行員控制的類似模擬。在一項研究陸戰的類似評估中，美國陸軍（US Army）已經確定，一支由人工智能驅動的部隊比一支非人工智能驅動的部隊擁有大約10倍的戰斗力。

中國目前正在應用人工智能，通過指揮和控制系統的自動化來提高其戰場決策的速度和準確性，制定預測性作戰計劃并解決情報、監視和偵察數據融合的挑戰。中國還開始試用人工智能USV，以備在南海使用，并開始試驗無人駕駛坦克，而一家中國私營公司公開展示了人工智能武裝的蜂群無人機。

俄羅斯落后于美國和中國，但現在正在實施一項國家人工智能戰略以迎頭趕上。在軍事領域，俄羅斯有幾項工作正在進行。一條主線是將人工智能應用于信息戰，在戰術上用于發動心理戰，在戰略上用于破壞對手國家的社會凝聚力。另一條線是通過開發無人駕駛地面車輛（UGVs）、遠程傳感器、戰術指揮和控制系統以及無人駕駛航空器（UAVs），使用人工智能來提高陸地作戰行動的有效性。另一個努力方向是國家防空網絡的指揮和控制系統的自動化。

初步跡象表明，人工智能可能是未來戰爭中一項非常重要的技術，但仍然存在不確定性。雖然人工智能在民用領域，特別是在消費類產品中，被廣泛使用，但在軍事環境中才剛剛接近實際部署。此外，它仍然沒有在真正的戰斗行動的惡劣試驗場上得到驗證。即便如此，人工智能已經成為軍事力量考慮其未來時不可忽視的技術。

重要的是，在可預見的未來，可用的人工智能技術是狹義的，而不是通用的。狹義人工智能等于或超過了人類在特定領域內特定任務的智能；其表現取決于應用環境。相比之下，通用人工智能等于人類在任何領域任何任務中的全部表現。何時能實現通用人工智能仍然值得商榷，但似乎還有幾十年的時間。近中期的全球軍事興趣在于如何在現代戰場上使用狹義的人工智能技術。

不足為奇的是，人工智能的定義往往與人類智能相提并論。例如，2018年美國國防部人工智能戰略將人工智能定義為“機器執行通常需要人類智能的任務......”。這種理解將技術擬人化，并無意中將對人工智能應用的思考限制在那些可以由人類執行的任務上。

在某些應用中，人工智能可能比人類做得更多或更少。人工智能和人類能力的維恩圖在某些領域可能會重疊，但認為它們重合是有點虛偽的。在提供解決問題的見解上，人工智能可能是智能的，但它是人工的，因此，它的思維方式是人類所沒有的。

因此，本文在考慮人工智能時，更多的是考慮這種技術能夠執行的廣泛功能，而不是考慮它與人類能力的關系。2019年澳大利亞國防創新委員會采取了這種方法，將人工智能定義為“用于執行以目標為導向的任務的各種信息處理技術，以及追求該任務的推理手段”。

初一看，這個定義似乎并不精確，沒有包括人工智能可能為軍事或民用目的實際執行任務。但這種模糊性是當代人工智能應用的一個關鍵屬性。人工智能可以以多種方式應用，可以被認為是一種普遍存在于社會中的通用技術。通用技術的一個早期例子是電力，現在它被廣泛使用，以至于它的持續存在和使用，就所有的意圖和目的而言，都是簡單的假設。電能使惰性機器活躍起來，人工智能也將以自己的方式，通過推理為它們提供完成任務的能力。人工智能似乎將注入許多軍事機器，因此未來的戰場將不可避免地以某種方式由人工智能支持。

為了取得對對手的作戰優勢，軍隊不斷尋求更大的戰斗力。傳統上，技術是以一種綜合的方式在戰場上使用的，它能最好地利用人類和機器的長處，同時盡量減少兩者弱點的影響。人工智能似乎也可能是類似的。可以預計，人工智能在與人類謹慎地合作時，而不是在某種獨立的模式下，會變得最有效。

這種考慮強調了新技術本身并不會突然間帶來戰場優勢，而是在于人類如何運用它。對早期技術創新的歷史分析指出，擁有指導如何使用這些新技術的合理概念是軍隊成功將其投入使用的關鍵。歷史學家威廉姆森-默里和艾倫-米萊指出：

• 證據表明，首先，制定未來愿景的重要性。軍事機構不僅需要進行最初的智能投資，以發展對未來戰爭的設想，而且必須繼續對這種設想進行深入思考，以確定這些戰爭可能與以前的沖突有什么不同......在這方面任何對未來戰爭的設想幾乎肯定是模糊和不完整的，不是詳細和精確的，更不是任何科學意義上的預測。然而，愿景并不足以產生成功的創新。一個人對未來沖突的看法也必須是平衡的，并與行動的實際情況有很好的聯系。

在戰術層面，與戰爭現實的聯系是最緊密的。戰略規定了目標、總體方針和使用的力量，但在與聰明和適應性強的對手戰斗中處理這些力量的卻是戰術層面。雖然戰斗的成功可能不會導致戰略的成功，正如美國在越南的戰爭所說明的那樣，反之亦然。一個好的戰略在面對持續的戰術失敗時不可能成功。克勞塞維茨寫道：一切都取決于戰術結果......這就是為什么我們認為強調所有的戰略規劃都只依賴于戰術上的成功是有用的......這在任何情況下都是決策的實際基本依據。戰術通常被認為涉及友軍相互之間以及與敵人之間的分布和機動，以及在戰場上使用這些部隊。

本文旨在為在未來的人工智能戰場上使用人機團隊制定作戰概念。這樣的戰場，特別是當擴大到陸戰以外的空戰和海戰時，有一個混合的線性和深層的方面，具有消耗和機動的概念。設計這些作戰概念將為潛在的狹義人工智能系統如何在戰爭的戰術和作戰層面上使用提供一個廣闊的視野。

首先，本文討論了組成人工智能技術包的各種技術要素。這些要素包括先進的計算機處理和大數據，以及與云計算和物聯網（IoT）有關的具體方面。

第二章研究了利用人工智能發動戰爭的問題，并為防御和進攻制定了通用的作戰概念。這些概念位于作戰和戰術層面之間的模糊界面，涉及友軍相對于對手的分布和機動，以及友軍在戰場上的運用。

第三章、第四章和第五章分別將人工智能防御和進攻的兩個通用概念應用于海洋、陸地和空中領域。每個領域的戰斗在分配和操縱友軍以及與敵人交戰方面都有很大的不同，因此有必要提出單獨的人工智能作戰概念。沒有一個單一的概念能夠充分涵蓋所有三個領域，除非在很高的抽象水平上，但理解其含義可能會變得困難。提出這種具有前瞻性的概念似乎接近于投機性的小說。為了避免這種情況，每個概念都特意以當代作戰思維為基礎，并討論了當前和新興的人工智能支持的海、陸、空平臺和系統，以說明所提出的想法。

設計這些作戰概念的目的是激發思考，并啟動關于未來和如何備戰的辯論。本文提出的作戰概念旨在成為辯論其他人工智能戰場概念的實用性、可能性和有用性的基礎。只有通過對建議進行批判性分析，并不斷重構它們以進一步分析和演化，才能朝著最佳作戰概念取得進展。

本文所討論的概念在性質和范圍上都是有意限制的。就性質而言，海、陸、空的概念是：為了保持每個概念的重點，它們不是聯合或合并的。重要的是，這種狹隘性意味著一些領域并沒有包括在內，如俄羅斯在影響力戰爭中使用人工智能或中國在社會管理和內部防御中使用人工智能。出于類似的原因，每個概念都有一個狹窄的范圍，專注于戰爭，只有限地關注后勤，并避免關鍵領域，如教育、培訓、行政和指揮與控制。值得注意的是，除了與傳統的陸、海、空領域的戰術交戰的關系外，沒有討論網絡和空間這些新領域。

本文將人工智能這種新技術與戰爭的作戰方式和戰術使用選擇聯系起來。有了這樣一個重點，本文就與許多武裝部隊制定的眾多人工智能戰略和計劃不同。一般來說，這些戰略和計劃都是向內看的，目的是闡述人工智能作為一種技術將如何被研究、獲得并引入到他們的具體服務中。本文旨在補充這些人工智能技術戰略和計劃，將它們與更廣泛的作戰業務聯系起來，發揮作用。

美國陸軍工程研究與發展中心（ERDC）的研究實驗室目前正在開發仿真工具，以協助開發可選擇的載人、遠程操作和完全自主的車輛，重點是地形與車輛的交互，特別是在冬季地形條件下。其他ERDC實驗室與地面車輛系統司令部（GVSC）一起，重點研究保證位置、時間和導航，該司令部正在進行開發可選擇的載人和自主平臺的研究，主要集中在車輛內部的硬件和軟件，很少強調外部安裝的地形傳感器或冬季操作環境。美國陸軍寒冷地區研究和工程實驗室（CRREL）在冬季和極端環境下進行車輛機動性研究，這在模擬和開發可選的載人和自主車輛方面是需要的。這項工作的范圍是調查人工智能和機器學習對冬季條件下運行的軍用車輛的適用性。本文描述了實現這一目標的初步努力。

自主車輛在民用方面的應用正在成為現實。在智能駕駛輔助方面，第三級車輛自主性（智能巡航控制、行人識別、自動剎車、盲區傳感器、罕見的交叉交通警報、避免碰撞等）已在商業和私人車輛上使用多年。第四和第五級自主性（有監督的自主性和完全無監督的自主性）目前正在試驗中。盡管在民用領域取得了重大進展，但軍用車輛的自主性仍然是一項相當具有挑戰性的任務。軍用自主車輛的主要區別是：非公路運行、未知地形的運行，以及在開放空間完全重新規劃路線的可能性。這種環境要求智能自主控制算法和環境感知與工業界的民用應用不同。具體來說，需要解決先進的和當前的地形感知、檢測無法通行的路線、確定可通行的替代路線和車輛在空地上的改道，以及針對特定地形條件和車輛的最佳車輛控制等任務。提交的工作描述了在解決其中一些挑戰方面的最新進展。結果表明，其中一些挑戰可以通過機器學習和人工智能算法成功解決，從而為軍用車輛的人工駕駛提供實質性幫助。

研究方法

絕大多數關于自主車輛的文獻都是在城市條件下的駕駛。非公路車輛沒有道路指引其軌跡，也沒有一致的駕駛地面，還必須考慮不平坦的三維地形、三維方向。這主張使用更復雜的人工智能方法，如PilotNet卷積神經網絡，最近通過攝像機記錄72小時在不同城市條件下的成功駕駛，并使用這些數據作為訓練集，來教車輛自我轉向（Bojarski等人，2017）。另一方面，在不使用神經網絡的情況下，收集了大量關于傳統自動車輛控制的知識。例如，DARPA 2005年挑戰團隊的獲勝者沒有使用神經網絡，而是依靠更傳統的自動控制算法來自動控制他們的機器人斯坦利（Thrun等人，2006）。為了利用這些知識，同時又與越野作業的挑戰性要求相關，我們建議實施一種混合方法，將人工智能和經典控制方法結合起來。

具體來說，我們建議使用神經網絡來持續確定和更新車輛行駛的地形類型，以及車輛的 "臨界值"，即車輛沿途必須遵守的行動限制，如允許的最大速度、最大的加速和減速率，以及車輛的范圍和最大的轉向率。將使用兩種人工智能算法。一個用于自動地形分類，另一個用于預測由第一個算法確定的地形類型的關鍵控制值。通過使用神經網絡來預測臨界值，車載自主控制系統不需要專門考慮所有的地形類型和方向，而是適當地定制，以便根據當前的駕駛條件實時調整。圖3概述了模型的結構。當前的地形估計、地形類型和條件、期望的軌跡和車輛狀態將被用來預測速度、最大加速/減速率和轉向的關鍵約束。這些值將作為傳統的剎車/油門的比例積分衍生（PID）控制器和轉向的模型預測控制（MPC）控制器的目標值。然后，實際的車輛狀態將被評估，地形、臨界值和路線將被相應地更新，直到車輛到達預期的目的地。

圖3. 擬議的混合自主控制方法的結構：使用神經網絡預測給定地形類型、車輛方向、地形和表面條件的臨界值，并設置為自適應MPC或PID控制器的目標。

作者

布魯斯-納吉（Bruce Nagy）是海軍空戰中心武器部的研究工程師。他的研究重點是先進的博弈論技術、人工智能和機器學習在戰術決策輔助工具中的應用。納吉先生獲得了四個學位：一個是數學學位，兩個是電子工程學位，還有一個是來自城堡大學和海軍研究生院的生物學學位。他領導開發了先進的算法和衡量標準，為國防部解決了衛星通信方面的國防問題。在加州大學洛杉磯分校研究生工作期間，他與美國國立衛生研究院合作，研究了腦干與肌肉群在細胞水平上的通信模型。

摘要

在處理機器學習（ML）/人工智能（AI）部署的產品時，商業界和國防部（DoD）都面臨著系統安全問題的挑戰。國防部在部署可能存在傷害人群和財產的武器時，這個問題更為嚴重。商業制造商的動機是利潤，而國防部的動機是防御準備。兩者都在競賽中，可能會因為過于關注終點線而遭受不利后果。需要建立正式的監督以確保安全的算法性能。本文提出了一種測量方法，對開發ML/AI算法時使用的訓練數據的質量和數量進行仔細檢查。測量訓練數據的質量和數量可以增加對算法在 "現實 "操作環境中表現的可信度。將模式與測量相結合，可以確定：（1）如何策劃數據以支持現實的環境部署；（2）在訓練過程中，哪些屬性優先，以確保數據的穩健構成；以及（3）屬性優先如何反映在訓練集的大小上。測量結果使人們對操作環境有了更多的了解，考慮到了數據缺失或稀疏時產生的問題，以及數據源如何在部署期間向算法提供輸入。

1 引言

相對于傳統的軟件開發技術，機器學習（ML）/人工智能（AI）創建的功能需要使用訓練數據集配置的模型。傳統的代碼被用來管理訓練過程。訓練集是由屬性組合組成的，有時稱為特征。當我們提到圖像內的一個特征時，我們是在描述圖像內容中包含的一段信息。在這種情況下，特征描述的是圖像的某個區域，它具有某些屬性，而不是另一個流行的定義，即特征是圖像中的單個像素。屬性的聚合可以包含在一個來源中，例如，拍攝面部照片的相機，或者各種傳感器的輸入，如雷達和通信鏈。在本文中，我們將根據屬性的模式來區分屬性是由一個還是多個來源產生的。正如將要描述的那樣，了解模式的類型并創建具有適當質量和數量的實例/樣本的訓練數據集，以復現部署期間經歷的變化、異常和噪音，是提高算法行為可信度的關鍵。

1.1 無告警

第一位被自動駕駛汽車殺死的女性（Schmelzer 2019）為人工智能在部署環境中的行為可靠性提出了質疑。另外，1896年出現第一個被人類司機殺死的人。誰犯了錯？它被確定是司機。當一個自主系統犯錯時，是汽車還是司機（Gurney 2013）有錯？有許多工廠對汽車中的故障機制進行召回，如剎車。這與人工智能軟件系統有什么不同嗎？許多汽車開發商的目標是，與其他制造商相比，他們使用自主權能使汽車多么安全（Griffith E 2016）。這是他們廣告的關鍵，以促進消費者的接受和采購。

埃隆-馬斯克表示，一個主要的擔憂是人工智能系統可能被秘密開發（Etherington 2012），從而限制了監督。例如，微軟對OpenAI的文本生成軟件擁有獨家權利（Hamilton 2020）。這違背了埃隆-馬斯克作為OpenAI創始人之一的最初策略，其目標是開發開源技術。在過去十年及以后，汽車公司的主要動機是收益。在20個月的時間里，一家生產無人駕駛汽車技術的公司涉及18起事故（Wiggers 2020）。這家公司拒絕支持一個專注于自動駕駛汽車 "安全第一 "指導原則（Wiggers 2019）。相反，該公司公開表示，他們支持法律和法規。從法律的角度來看，現有的法律是否適用是相當不確定的（Moses LB 2007）。正因為如此，汽車制造商可能沒有適當的激勵來開發安全系統（Cooter 2000）。即使這家公司的公眾反對主動關注安全，即使在20個月內發生了18起事故，他們仍然能夠籌集到超過30億美元的資金。一些法律思想支持有限的監管，但要注意激勵商業制造商只開發有益/有用的人工智能（McGinnis JO 2010）。無論好壞，關于經濟學、法律和哲學的討論（Russell 2015）正試圖形成什么是有益/有用的答案。如何內在地激勵（Baum 2017）開發者創造有益的人工智能？挑戰在于，人們基于需求來證明行動的合理性（Kunda 1990）。商業制造商必須支持他們的底線，而國防部則有一套不同的目標體系。

1.2 美國防部獨特的人工智能挑戰——這是秘密！

與商業需求相比，美國防部在什么是有益的方面有一套不同的標準。然而，我們可以從工業界學到很多東西。當然，國防部無法承擔有關自主系統的國際事件，特別是在20個月內發生的一系列事件。重大的挑戰是，國防部必須在一個隱蔽和隔離的環境中開發解決方案，甚至與其他機密項目隔離。即使是基于開放源碼的監督也是有限的。這就是系統安全組織在國防部如此重要的原因，必須有標準、測量、政策和程序來支持他們的工作。無論是在商業界還是在國防部，人工智能的功能都被認為是不可預測的、無法解釋的和目標不確定的（Yampolskiy，2020）。當我們談論海軍武器系統的AI安全問題時，這通常不包括可能影響功能性能的對抗性攻擊。鑒于這種觀點，使用DeepFakes等技術的AI對抗性網絡攻擊，將一個圖像/視頻放入另一個圖像/視頻中進行誤判（Chauhan 2018），并沒有包括在這項研究中，但可以考慮在未來進行調查。不可預測、無法解釋和目標不確定仍然是人工智能部署技術的一個重要問題，即使開發人員有動力并盡了最大努力（Deci 1971, Krantz 2008）。即使是最好的，也還是在20個月內造成了18起事件。

國防部和商業制造商都面臨的一個主要挑戰是爭分奪秒的開發方式（Armstrong 2016）。從核軍備競賽中是否可以學到一些東西？明顯的教訓是，我們需要在發展的早期階段進行監督（Borrie 2014）。人工智能可能會產生同樣的戲劇性效果，就像核軍備競賽一樣。考慮一下將軍用無人機和武器置于人工智能系統的完全控制之下的問題（Bohannon 2015）。考慮墨菲定律，"任何可能出錯的事情都會出錯"。當涉及到我們期望計算機做什么和它們實際會做什么時，特別是當開發變得更加復雜時，不想要的事件就更有可能發生（Joy 2000）。請注意，十多年前啟動的涉及機器人 "決定 "和行動的大部分研究都是由軍方資助的（Lin 2011）。

國防部必須問的是，"我們能否在安全關鍵功能中部署人工智能，即由人工智能驅動的武器自主行動？" 回答這個問題的挑戰在于確定人工智能系統是否可以被 "修復"，變得更加可靠，以支持安全需求，就像汽車的剎車。

對于商業和政府的人工智能發展，安全標準的需求正變得越來越突出（Ozlati 2017）。聯邦政府已經采取了行動。國家標準與技術研究所（NIST）專注于創建標準，為人工智能發展提供監督。在他們52頁的報告（NIST 2019）中，九個重點領域之一是衡量標準。本文考慮納入NIST人工智能發展標準中，關于衡量訓練數據的數量/大小和質量/構成。

1.3 海軍武器系統安全

為了克服這些獨特的挑戰，確保海軍武器裝備有足夠的安全和保障，海軍軍械安全和安保活動（NOSSA）成立。NOSSA是這項研究的資助組織，它認識到人工智能系統的安全可能需要一套特殊的政策、指導方針和衡量標準。他們關注的是，ML/AI算法不能使用傳統的危險分析方法（MIL-STD 882E）進行分析，聯邦航空管理局的嚴格準則（DO-178C）也不充分。NOSSA希望調查軍事系統中人工智能發展的特殊分析要求（聯合SSSEH v1.0）。NOSSA還想調查是否需要任何新的方法來對人工智能部署的武器系統進行充分的危險分析（JS-SSA-IF Rev. A）。

這項研究的動機是基于以下六個關鍵原因，即海軍需要對部署在武器系統中的機器學習算法建立可衡量的可信度：

1.我們不能也不應該期望作戰人員接受并使用人工智能作為一種社會規范（Lapinski 2005），即使是在有最好的可解釋的人工智能技術的情況下，也不能首先讓我們的采購團體對機器學習算法在現實作戰環境中的部署建立可衡量的可信度。

2.如果對訓練數據質量不信任，包括訓練過程中可能產生的任何負面副作用（Everitt 2018），采辦界就無法確定和認證ML算法的部署操作限制。

3.國防部采購團體在遵循商業系統安全準則時受到限制，因為商業世界在確保AI功能行為方面沒有相同的嚴格要求。商業制造商受利潤驅動，可能會受到客觀推理（Lewandowsky 2015）的影響，與強調安全問題的動機沖突可能導致銷售量降低。

4.海軍記錄項目的AI升級，最初是按照傳統軟件開發的能力成熟度模型（Shneiderman 2020）開發的，目前不包括ML/AI開發差異。采購社區需要支持和監督來填補這一空白。

5.當務之急是，"Speed to the fleet "的人工智能系統的部署必須克服其動機限制，并考慮人工智能的安全影響，使用規劃、監督和審查委員會持續監測，包括對災難的回顧性分析（Shneiderman 2016）。

6.海軍武器系統爆炸物安全審查委員會（WSESRB）和其他審批監督機構在沒有足夠的指導和工具的情況下，其評估是有限的（Porter 2020, Jones 2019）。指導和工具需要成為國防部預算的一個優先事項。

人工智能具有創造技術飛躍的潛力（Eden 2013）。這種潛在的飛躍，特別是在處理武器系統時，需要仔細審查。這種審查的重點是訓練數據的組成和規模的特殊性。這項研究將描述監督小組所需的審查，可以用來提高部署人工智能功能的安全性和可信度。

作者：

• 加拿大陸軍陸戰中心的Geofrey Priems少校
• 加拿大國防研究與發展--作戰研究與分析中心的Peter Gizewski

引言

全世界對人工智能（AI）軍事應用的興趣正在增長。事實上，與其他一些技術進步一樣，人工智能越來越被視為軍事效力的潛在重要推動力。

毫不疑問，人們對人工智能對加拿大陸軍（CA）的影響以及其采用人工智能的可能性的興趣正在上升。關于如何以及在多大程度上可以利用人工智能來潛在地幫助實現緊密作戰應用的問題：加拿大陸軍的頂點作戰概念--"不確定性時代的陸地力量 "的實現，以及加強陸軍的五項作戰功能的實施，這些問題尤為突出。有關有效采用人工智能可能面臨的挑戰以及克服這些挑戰所需措施的問題也同樣突出。

本文對這些問題進行了初步研究。它源于加拿大陸軍陸戰中心正在進行的關于人工智能的工作，以研究和確定人工智能對加拿大陸軍和有效實現陸軍頂點作戰概念的影響。

文章概述了人工智能在軍隊采用和開展軍事行動方面所帶來的潛在好處和挑戰。然后，文章研究了人工智能對實現密切交戰的潛在影響，確定了人工智能的應用有望提高軍隊的作戰效率的領域。文章最后概述了一些必要的關鍵前提條件和做法，以確保這些工作是負責任的和有效的。

人工智能

人工智能的定義有很多，而且在不斷發展。然而，按照國防部目前的定義，人工智能是 "計算機執行與人類邏輯有關功能的能力，如推理、學習和自我改進"。 雖然沒有被普遍接受，但這樣的表述為在CA背景下討論人工智能提供了一個體制上熟悉和充分的基礎。

潛在利益

軍事組織探索、開發和采用人工智能的激勵措施是引人注目的。鑒于高速計算機（網絡速度和處理能力）和人工智能算法處理和分析大量數據的能力，其速度和準確性遠遠超過人類，聲稱人工智能系統有可能全面改變國防，這并不令人驚訝。通過作為一種提高人類和機器分析速度的手段，人工智能有希望提高數據使用、管理和態勢感知能力。對于軍隊來說，其結果很可能轉化為成本節約、改進控制系統、加快決策、新的作戰概念和更大的行動自由。

由人工智能支持的信息和決策輔助系統有可能促進在 "復雜的、時間緊迫的戰地環境 "中做出更好的決策，允許更快地識別威脅，更快、更精確地確定目標，并根據戰地條件的變化為指揮官創造靈活的選擇。應用范圍可以從指揮和控制以及情報、監視和偵察到訓練和后勤。此外，作為機器人和自主系統的骨干技術，人工智能為武器裝備的創新提供了前景，使具有相當大的軍事潛力的先進自主系統（如機器人系統和無人機）得以發展。人工智能甚至可能在部隊結構和作戰概念方面產生巨大的變化，有可能減少人員的負擔和軍事硬件的成本，同時提高戰爭本身的效率和效力。

這些技術無處不在，而且越來越多的盟軍和對手都可以使用，這一事實進一步刺激了對人工智能軍事技術的追求。就前者而言，盟國對人工智能日益增長的興趣突出表明，需要有足夠的人工智能能力來確保未來盟國的互操作性和軍事有效性。至于后者，有證據表明，對手（如俄羅斯、中國）對人工智能的軍事應用進行了持續的探索和投資，這增強了追求此類技術的動力，以檢測和防御未來越來越多的人工智能軍事威脅。

采用的限制和挑戰

然而，有效引進人工智能的先決條件是相當多的，很可能對軍事組織充分實現人工智能應用所帶來的一些可能性的能力造成限制。此外，軍隊可能不完全愿意追求人工智能技術本身所固有的一些可能性。

事實上，目前的能力僅限于執行離散的功能和學習具體的任務（如狹義的人工智能）。人工智能技術的脆弱性令人擔憂。脆弱性是指任何算法不能泛化或適應狹窄的假設集以外的條件。例如，在添加了一些位數后，一個停車標志可以被讀成一個45英里/小時的限速標志。應用于涉及過度不確定性的情況實際上可能特別危險。例如，錯誤地選擇和起訴友軍目標，如友軍戰士或民用車輛。因此，在軍事環境中，特別是在軍事行動中，對人工智能的使用限制是相當大的。面對傳來的信息可能不可靠、不完整或甚至被對手故意偽造的環境，相信這些技術提供的解決方案仍然很脆弱。

除此之外，即使在這種技術被普遍認為是可靠的領域，其開發和應用也可能是苛刻的。要求包括確保有足夠數量的數據可供開發用于啟用軍事系統的算法。它們還包括確保算法本身的質量，這一要求取決于在將人工智能納入軍事系統之前提供和有效地準備和編碼訓練數據，以及確保來自現實世界數據的有效性，其中包括邊緣案例（不常見的使用案例）。而且，它們包括確保開發和集成到軍事系統中的人工智能是可靠的（即它以預定的方式工作）。

這些要求中的每一項都可能涉及相當大的挑戰。獲取大量的訓練數據可能會遇到基于政治和法律限制的數據共享阻力，從而降低待訓練算法的質量和使用這些算法的系統的可靠性。獲得的數據可能包含種族、性別和其他源于數據準備和編碼的偏見。此外，隨著算法變得更加復雜，通過對手在訓練數據集中注入不良數據而被操縱的可能性會增加。只要存在這些挑戰，對人工智能的信任及其在軍事領域的應用就可能受到影響。

這些風險可以通過仔細的人工監督和強大的測試得到控制。也就是說，真正有效的監督需要操作者熟悉人工智能技術的細節，以及重要的系統整合和社會化，這可能很難實現。由于對技術本身的理解存在困難，有效監督挑戰就更大了。機器推理的過程不等同于人類，人工智能系統采用的邏輯也不容易理解。對于負責使用這些能力的指揮官和系統操作者來說--其中一些能力可以很好地決定生命和死亡--相信那些決策過程不透明的技術，可能是一座太遙遠的橋梁。

對加拿大陸軍的影響

這些現實表明，加拿大陸軍采用人工智能，雖然有希望，但必須謹慎行事，并對限制有一個現實的認識。無論是加拿大還是加拿大陸軍，都無法避免遇到上述挑戰。例如，人工智能技術在沒有適當人類監督的情況下越接近殺戮鏈，可能發生災難性后果的風險就越大。因此，必須注意研究或采用能夠幫助人類決策的技術。一個指示人類做什么的 "黑盒"人工智能將是不可接受的。人工智能顧問必須能夠解釋其建議/結論，以便人類能夠理解并對所提出的建議有信心。人類決策者必須能夠對人工智能所提供的解決方案向領導作出清晰和可理解的解釋。

然而，如果謹慎地追求和應用，人工智能的大部分內容通常與《近距離接觸，不確定時代的陸地力量》中詳述的陸軍要求非常吻合。緊密的作戰應用目的是應對以快速變化為特征的作戰環境的挑戰，以及廣泛的復雜的人道主義挑戰和技術能力越來越強的對手，他們能夠使用一系列機動性越來越強的致命和非致命系統以及精心設計的反措施。應對這些挑戰在很大程度上取決于確保獲得必要的信息和分析的能力，以便比對手更快地了解和調整不斷變化的條件。作為一種先進的信息處理方法，人工智能可以提供一種重要的手段，通過提供比人類更快、更準確地處理和分析來自越來越多來源的數據來幫助滿足這些需求。因此，人工智能可以作為一個重要的決策輔助工具，使個人和共同的理解得到發展，這對于確定潛在的作戰方案，優先獲得、處置和使用軍事資產，以及提供及時開展行動所需的數據、信息和可操作的情報至關重要。

除此之外，人工智能甚至可能有助于加強陸軍所依賴的網絡安全。"能夠遠距離運行的高容量網絡為軍隊行動的開展提供了顯著的優勢。事實上，一個安全和強大的網絡是確保快速、安全地分發有效開展軍隊作戰所需的數據和分析的核心。通過開發能夠防范網絡故障、電子戰和網絡攻擊的算法，人工智能可以更充分地確保軍隊能夠 "獲得網絡的優勢"，從而以更安全、協調和協作的方式開展行動。在諸如互操作性、力量生成、力量投射和維持以及開展分散行動等方面的改進，都可能因此而受益。

自始至終，隨著人工智能技術被推向戰術邊緣，將有必要確保有足夠的電力（能源）來支持它。除了網絡，先進的電源管理和電池技術將是至關重要的。

圖：加拿大國防研究與發展部-瓦爾卡蒂爾項目的數據收集工作，該項目被稱為聯合算法戰機傳感器。該項目是較大的加拿大陸軍科學和技術組合的一部分，即數字時代的授權分布式作戰。

引言

軍事規劃人員往往只關注個體能力的發展，而不考慮他們如何與國家其他部隊協同工作，更不用說盟軍了。與任何優秀的交響樂團一樣，協調這些能力需要一個世界級的指揮家。指揮和控制（C2）系統及其操作員在軍事上相當于指揮家的角色。直觀地說，改進的C2系統可以提高作戰效率和效力，相當于交響樂團更迅速地演奏，并努力爭取完美的表演。然而，什么才是真正的C2改進，如何評判這種改進？是不是簡單地說，如果在戰略層面的成本/效益比得到改善，同時控制相同的效果交付工具，就可以認為新的C2系統更好，還是改進涉及更多的方面？這種改進的主要因素可能是整體速度的提高和友軍減員的降低。假設兩個相互競爭的系統在戰術層面上一對一的公平決斗的結果是相對統計學上的拋硬幣，這種公平的平衡需要受到從戰術層面到戰略層面所獲得的優勢影響。下面將探討一些選項的好處及弊端。

態勢感知

一種扭曲平衡和改善單個系統交付效果的方法是實現比對立系統更好的態勢感知 (SA)，這應該能夠實現優化和更快的決策。這就要求在每個過程（如計劃、部署、交戰）中都能及時獲得所有必要的信息，以創造優勢。這通常也被稱為信息優勢。北約及其國家可利用來自各個領域的大量主動和被動傳感器（包括技術和人力），產生了大量的數據。接下來的步驟是將數據轉換為信息，然后可能轉換為知識，接著是將其傳播給所需的用戶。假設國家來源的數據和信息的持續共享，需要決定什么可以、將必須被傳遞，以及傳遞給誰。在傳輸之前，知識到信息的轉換需要信任，但也需要在為多個用戶服務時利用較少的帶寬以節省時間。應用于數字內容的信任有時被稱為電子信任。然而，這減少了地方指揮官/操作者進行背景分析的選擇，這反過來又強調了對數據/信息真實性的需求。此外，可用的數據/信息越多，就越需要確定 "什么是相關的 "以創造優勢。實際上，這只能在接近收集點時進行，除非客戶確切知道他實際需要什么。隨著可用材料數量的不斷增加，再加上通過現有網絡分銷的瓶頸，這種可能性變得越來越小。此外，隨著數據量的增加，對計算機化分析支持的實際需求也在增加，這對于檢測、分類、識別和相關數據的分類都是如此。這就是不斷發展的人工智能（AI）、大數據、深度學習和量子計算等領域可以幫助提高速度和效率的地方。

這種增強的效率也有其缺點。我們不僅要思考和處理新類型的錯誤信息，因為它對人工智能的意義與對人類操作者的意義不同，而且還需要對錯誤信息的潛在最終接受者進行相應的培訓。人類的決策過程基于兩種類型的推理：1）更耗時的深思熟慮的推理；2）常規決策的自動推理。研究表明，人類在與自動化系統互動時，傾向于使用更多的自動推理。系統越快，操作者就越不可能慎重推理。關于殺手機器人的辯論圍繞著自動或自主決策展開，在使用致命武力時缺乏有意義的人類控制。這可以通過將這些決定權留在人類手中來避免。然而，如果操作者沒有經過良好的訓練，在某些情況下，結果可能沒有什么區別。

以地基防空和導彈防御（SBAMD）系統為例，外部提示數據允許優化排放控制，因此，輻射檢測較晚，電子對抗措施較少。這也支持優化攔截點和采用先進的火力控制概念，如遠程交戰或發射。然而，在伊拉克自由戰中，SBAMD部隊發生了幾起自相殘殺事件后，美國國防部的一份報告指出有三個不足之處，導致了這些有時是致命的情況。首先，關鍵的識別系統表現不佳；其次，防空系統嚴重缺乏安全保障；第三，SBAMD的作戰概念與實際作戰條件不符，但操作人員卻被訓練成信任該系統。這支持了這樣一種觀點，即技術方案需要與作戰要求同時進行，最重要的是，需要進行充分的培訓。

多域環境中的系統體系

軍事行動的總體效果取決于所使用的能力和其使用的方式。加強其中之一肯定會改善結果。然而，僅僅優化現有的能力和程序以達到必要的效果會有局限性，例如技術上的限制或程序上的不足。這可能需要開發全新的方法或能力。最后，新方法或性能力需要提供預期的效果，同時保持對突發情況的穩健。

一對一或一對多的交戰是每一次軍事對抗中的單個拼圖，然而，總體目的是在使用軍事力量時實現預期的最終戰略狀態。除了單個系統的有效性，軍事行動的藝術是協同使用選定的軍事力量以創造整體優勢。在作戰/戰術層面，目標是盡可能地協同使用各個系統。近幾十年來，顯著增加的態勢感知（SA）使軍事行動從更注重消耗的方法轉向更注重效果的方法。此外，軍事力量網絡化的能力使聯合和合成作戰越來越有活力。在目前的北約作戰中，一個聯合部隊分部領導各個領域的組成部分（如聯合部隊航空分部），這些組成部分在各自的領域提供能力。例如，這就需要聯合部隊對目標和受保護的資產進行強有力的聯合協調，同時仍然采用以領域為中心的方式來關注效果交付本身。在這方面，一個由空中部門領導的SBAMD單位可以為陸地部門要求的資產提供掩護，或者為攻防一體化接受陸地或海軍的支持。盡管進行了聯合協調，但領域規劃仍主要停留在領域分部層面。獲得優勢的一種方法是比對手的規劃周期更快規劃和執行，不讓對手有機會獲得最佳執行。我們所有可用的效果，將有助于把問題空間轉化為我們所期望的最終狀態，可以被視為解決方案空間，整體SA越好，軍事規劃者就越能定義和理解問題空間。當從效果方面考慮時，需要最大限度地提高應用某種方法或能力的預期成功幾率。有兩種方法可以實現這一點：使用新的武器，如高超音速滑翔飛行器，通過利用對手的能力差距來保證高成功概率，或者通過結合一個或多個領域的各種能力來削弱有效的反制措施。每一個交付的效果都會改變我們的問題空間，從而對我們的規劃產生后續影響。目前，空戰和相關的空中任務指令通常以72小時為周期進行規劃和執行，以便適應問題空間的變化。在現有網絡和現代軟件工具的支持下，通過在聯合層面上對問題和解決方案空間的最佳認識，這一過程可以被簡化，以減少規劃周期長度，并包括更有力地利用多個領域能力來實現一個目標的解決方案，而不需要廣泛的協調。

此外，在多效應任務中，支持單位和被支持單位之間的關系應該變得更加靈活，因為所選擇的指揮關系結構可以是臨時的、取決于效應的，而不是以任務為中心的長期關系。這種更加集中的規劃和分布式的執行，將進一步把領域內的組成部分轉變為主要是能力保管者和效果提供者。軍事決策空間將在C2層次中向上移動，最低級別的軍事實體規劃成為強大效果的提供者或貢獻者，而強大必須從多領域的角度來定義。這可能也會影響到哪些國家以及如何向北約作戰派遣部隊，因為臨時的、靈活的部隊規劃可能會受到國家紅牌持有者概念的阻礙。對于戰術層面的執行，變化的程度取決于戰術能力在影響戰斗空間和提供更廣泛效果方面的通用性。高度機動的航空資產，特別是那些擁有各種有效載荷的資產，可以比以前更加靈活和有效地使用。一般來說，SBAMD系統將大大受益于改進的SA，導致優化的射擊和排放控制理論，更好的分層防御的射擊管理和整體上更好地利用防御庫存。然而，單位的機動性水平將對靈活使用決策的附加值產生重大影響。長程SBAMD部隊的機動性相對較低，這將不允許非常快速的長距離重新部署以應對臨時的任務變化。然而，短程SBAMD部隊具有較高的機動性，將能夠以更靈活的方式提供覆蓋。在聯合層面上，隨著SA的大幅增加以及規劃和執行工具的增強（如AI功能），有可能使類似于全域聯合作戰的結構成為現實。反過來，這可以使規劃到執行的周期更快，讓對手陷入多域的困境，并集中精力采用基于效果的方法來實現預期的最終狀態。盡管聽起來很有希望，但這種方法至少有兩個必須考慮的弊端。

弊端：C2依賴技術結構

在新技術成就的基礎上發展新的C2結構并不是一個原創的想法。我們可以假設我們的潛在對手正在研究類似的概念，同時他們也在加快作戰節奏。保持足夠的SA以充分了解問題空間將變得更加復雜。此外，我們的決策周期必須不斷加快，以便能夠向對手的規劃過程注入影響。由于在處理速度方面，使用人類操作員本身就是一個限制因素，新的C2結構必須越來越多地依賴技術解決方案。這可能會導致軍事上的技術奇點、戰場奇點，即人類的認知不再能跟上機器的速度。因此，在計算機、人工智能或深度學習的幫助下開始加速未來戰爭的進程，我們必須意識到對整個進程的后果。此外，我們的倫理和司法框架也必須解決這個難題。暫時讓我們考慮一下，這個挑戰是可以應對的，并創造一個未來戰爭可行的C2結構。人類行為者/操作者，從政治/戰略層面到戰術層面，都需要適應并訓練在這樣的環境中發揮作用。以快節奏、多領域的效果來思考問題，需要專業的、有能力的人員。由于從工程角度來看，針對現有能力的開發比較容易，因此可以假設未來的對手會設計一些方案來中斷或否定這種新環境。例如，對手可以使用量子計算來破譯我們的安全通信，這將大大影響數據/信息的可用性、可信賴和保密性。因此，需要準備、提供和演練一項應急計劃。這個應急計劃不僅需要提供用于規劃、執行和通信的后備技術，而且還需要保持熟練掌握未來和當前C2結構的人員能力。由于軍事設備和可用時間有限，這可能成為資源管理的一個挑戰。目前的一個例子是我們對定位、導航和定時（PNT）系統的依賴，如全球定位系統（GPS）。因此，士兵們需要能夠利用PNT的好處，認識到干擾的可能性，但也要保留在沒有GPS的情況下執行任務的能力。在SBAMD領域，GPS干擾的一個很好的例子是，在沒有PNT服務的情況下，要準確安置傳感器和射手以進行正確的交戰，并提供一個明確的空中畫面。因此，有無GPS的兩種方法都必須不斷地進行實踐。然而，在未來復雜的C2系統中，對技術解決方案的依賴程度越來越高，也有類似的問題。整個系統需要準備好在任何情況下都能發揮作用。未來C2結構的基礎技術越強大，從核心（如情報、監視和偵察平臺或規劃/執行工具）到使能系統（如通信網絡或PNT）都包括在內，我們就越不需要考慮遺留問題；但這將是昂貴和費時的。系統的穩健性被定義為在特殊輸入或壓力條件下的正常運行，只能針對目前可以想象的所有條件和輸入進行測試。因此，穩健性需要不斷地重新評估和不斷地維護，特別是在一個快速發展的環境中。

結論

技術創新一直使軍事戰爭得到改進。然而，若僅僅因為技術上是可行的，這并不意味著它可以被輕松地納入，或沒有副作用。優化的SA和更有能力的工具總是能讓我們更好更快地規劃和執行。然而，這種能力需要在所有預期的情況下盡可能地強大，并有適當的后備方案作為支持。所有人員都必須在這兩個世界中得到充分的教育和訓練，并能夠在兩者之間無縫切換。此外，由于技術支持而提高的軍事行動速度，必須在道德和法律框架內與人的能力保持平衡。系統越是復雜，就越需要強調在不斷發展的環境中保持穩健和彈性。這不是一次性采購C2工具包的問題，而是系統的不斷發展和對各級操作人員進行必要的教育和培訓。給管弦樂隊一些新的樂器或新的指揮，肯定需要微調、持續的排練和真正的表演審查，總是有一個后備選項來復制熟悉的質量標準以滿足聽眾的期望。

然而，在選擇進化我們的C2系統的道路上，沒有真正的選擇，因為潛在的對手也會這樣做，從而有可能獲得決定性的、難以匹敵的優勢。潛在的專制對手在使用新興技術（如人工智能、深度學習）方面的法律和道德約束可能要少得多，因此可以不受限制地發揮這些能力。因此，我們的系統不僅需要跟上這一步伐，還需要有能力用其他手段彌補使用限制，讓我們保持競爭力。

作者：

安德烈亞斯-施密特中校：1993年加入德國空軍。在軍官學校學習后，他在慕尼黑的德國武裝部隊大學學習計算機科學。自1998年以來，他在地基防空，特別是 "愛國者 "武器系統方面建立了廣泛的背景。他開始擔任戰術控制官，隨后在不同的 "愛國者 "部隊中擔任偵察官、炮臺執行官和炮臺指揮官。此外，他在德克薩斯州的布利斯堡有兩個不連續的任務。他第一次任務的主要是為德國PATRIOT辦公室進行戰術層面的武器系統行為的美國和歐盟雙邊研究。在他的第二次任務中，他是德國空軍防空中心的綜合防空和導彈防御的主題專家（SME）。在這之間，他曾在前空軍分部擔任A3C的任務。目前，他是JAPCC的綜合防空和導彈/彈道導彈防御SME。

人工智能是有望改變未來幾年戰爭面貌的眾多熱門技術之一。描述其可能性并警告那些在人工智能競賽中落后的人的文章比比皆是。美國防部已經創建了聯合人工智能中心，希望能在人工智能的戰斗中獲勝。人工智能的愿景是使自主系統能夠執行任務、實現傳感器融合、自動化任務以及做出比人類更好、更快的決策。人工智能正在迅速改進，在未來的某一天，這些目標可能會被實現。在此期間，人工智能的影響將體現在我們軍隊在無爭議的環境中執行的更平凡、枯燥和單調的任務上。

人工智能是一種快速發展的能力。學術界和工業界的廣泛研究正在縮短系統訓練時間并獲得越來越好的結果。人工智能在某些任務上很有效，例如圖像識別、推薦系統和語言翻譯。許多為這些任務設計的系統今天已經投入使用，并產生了非常好的結果。在其他領域，人工智能非常缺乏人類水平的成就。其中一些領域包括處理人工智能以前從未見過的場景；理解文本的上下文（理解諷刺，例如）和對象；和多任務處理（即能夠解決多種類型的問題）。今天的大多數人工智能系統都被訓練來完成一項任務，并且只在非常特定的情況下這樣做。與人類不同，它們不能很好地適應新環境和新任務。

人工智能模型每天都在改進，并在許多應用中顯示出它們的價值。這些系統的性能可以使它們在信息戰中展示出非凡的能力，諸如在衛星圖像中識別 T-90 主戰坦克、使用面部識別識別人群中的高價值目標、為開源情報翻譯文本以及文本生成等任務。人工智能最成功的應用領域是那些有大量標記數據的領域，如 Imagenet、谷歌翻譯和文本生成。 AI 在推薦系統、異常檢測、預測系統和競技游戲等領域也非常有能力。這些領域的人工智能系統可以幫助軍方在其承包服務中進行欺詐檢測，預測武器系統何時因維護問題而失效，或在沖突模擬中制定制勝策略。所有這些應用程序以及更多應用程序都可以成為日常操作和下一次沖突中的力量倍增器。

人工智能在軍事應用方面的不足

當軍方希望將人工智能在這些任務中的成功經驗納入其系統時，必須承認一些挑戰。首先是開發人員需要獲得數據。許多人工智能系統是使用由一些專家系統（例如，對包括防空炮臺的場景進行標注），通常是人類標注的數據進行訓練。大型數據集通常由采用人工方法的公司進行標注。獲得這種數據并分享它是一個挑戰，特別是對于一個喜歡對數據進行分類并限制其訪問的組織來說。一個軍事數據集的例子可能是由熱成像系統產生的圖像，并由專家進行標注，以描述圖像中發現的武器系統（如果有的話）。如果不與預處理器和開發人員共享，就無法創建有效使用該數據集的人工智能。人工智能系統也很容易變得非常大（因此很慢），并因此容易受到 "維度問題 "的影響。例如，訓練一個系統來識別現有的每一個可能的武器系統的圖像將涉及成千上萬的類別。這樣的系統將需要大量的計算能力和在這些資源上的大量專用時間。而且由于我們正在訓練一個模型，最好的模型需要無限量的這些圖像才能完全準確。這是我們無法實現的。此外，當我們訓練這些人工智能系統時，我們經常試圖強迫它們遵循 "人類 "的規則，如語法規則。然而，人類經常忽視這些規則，這使得開發成功的人工智能系統在情感分析和語音識別等方面具有挑戰性。最后，人工智能系統在沒有爭議的、受控的領域可以很好地工作。然而，研究表明，在對抗性條件下，人工智能系統很容易被愚弄，導致錯誤。當然，許多國防部的人工智能應用將在有爭議的空間運作，如網絡領域，因此，我們應該對其結果保持警惕。

忽略敵人在人工智能系統方面的努力，其靠此擊敗我們，因為這些看似超人類的模型也有局限性。人工智能的圖像處理能力在給定不同于其訓練集的圖像時并不十分強大--例如，照明條件差、角度不對或部分被遮擋的圖像。除非這些類型的圖像在訓練集中，否則模型可能難以（或無法）準確識別內容。幫助我們信息戰任務的聊天機器人僅限于數百個字，因此不能完全取代一次可以寫幾頁的人類。預測系統，如IBM的Watson天氣預測工具，由于它們試圖模擬的系統復雜性，在維度問題和輸入數據的可用性方面很困難。研究可能會解決其中的一些問題，但很少有問題會像預測或期望的那樣迅速得到解決。

人工智能系統的另一個弱點是他們沒有能力進行多任務處理。人類有能力識別敵方車輛，決定對其采用何種武器系統，預測其路徑，然后與目標交戰。這套相當簡單的任務目前對人工智能系統來說是不可能完成的。充其量，可以構建一個人工智能的組合，將個別任務交給不同的模型。這種類型的解決方案，即使是可行的，也會帶來巨大的傳感和計算能力的成本，更不用說系統的訓練和測試了。許多人工智能系統甚至沒有能力在同一領域內轉移他們的學習。例如，一個被訓練來識別T-90坦克的系統很可能無法識別中國的99式坦克，盡管它們都是坦克，而且都是圖像識別任務。許多研究人員正在努力使系統能夠轉移他們的學習，但這樣的系統離實際應用還有長久的時間。

人工智能系統在理解輸入和輸入中的背景方面也非常差。人工智能識別系統并不理解圖像是什么，它們只是學習圖像像素的紋理和梯度。給予具有這些相同梯度的場景，人工智能很容易錯誤地識別圖片的一部分。這種缺乏理解的情況可能會導致作出錯誤分類，例如將湖面上的一艘船識別為BMP，但人類缺不會。

這導致了這些系統的另一個弱點--無法解釋它們是如何做出決定的。人工智能系統內部發生的大部分事情都是一個黑盒，人類幾乎無法理解系統是如何做出決定的。這對于高風險的系統來說是一個關鍵問題，比如那些做出參與決定的系統，或者其輸出可能被用于關鍵決策過程的系統。對一個系統進行審計并了解其犯錯原因的能力在法律上和道德上都很重要。此外，在涉及人工智能的情況下，我們如何評估責任的問題是一個公開研究點。最近，新聞中出現了許多例子，人工智能系統在貸款審批和假釋決定等領域基于隱藏的偏見做出了糟糕的決定。不幸的是，關于可解釋的人工智能的工作多年來一直沒有取得成果。

人工智能系統也很難區分相關性和因果關系。經常用來說明兩者區別的臭名昭著的例子是溺水死亡和冰激凌銷售之間的相關性。一個人工智能系統得到了關于這兩個項目的統計數據，卻不知道這兩個模式之所以相關，只是因為兩者都是天氣變暖的結果，并可能得出結論，為了防止溺水死亡，我們應該限制冰淇淋的銷售。這類問題可能表現在一個軍事欺詐預防系統中，該系統被告知按月采購的數據。這樣一個系統可能會錯誤地得出結論，認為9月份的欺詐行為會隨著支出的增加而增加，而實際上這只是年終消費習慣的一個結果。

即使沒有這些人工智能的弱點，軍方目前應該關注的主要領域是對抗性攻擊。我們必須假設，潛在的對手將試圖愚弄或破解我們使用的任何可獲得的人工智能系統。將試圖愚弄圖像識別引擎和傳感器；網絡攻擊將試圖躲避入侵檢測系統；后勤系統將被輸入篡改的數據，用虛假的需求堵塞供應線。

對抗性攻擊可分為四類：規避、推理、中毒和提取。事實證明，這些類型的攻擊很容易完成，通常不需要計算技能。逃避攻擊試圖愚弄人工智能引擎，往往是希望避免被發現--例如，隱藏網絡攻擊，或說服傳感器相信一輛坦克是一輛校車。未來的主要生存技能可能是躲避人工智能傳感器的能力。因此，軍方可能需要開發一種新型的人工智能偽裝，以擊敗人工智能系統，因為事實證明，簡單的混淆技術，如戰略性的膠帶放置，可以愚弄人工智能。逃避攻擊通常是通過推理攻擊進行的，推理攻擊可以獲得關于人工智能系統的信息，這些信息可以用來實現逃避攻擊。中毒攻擊的目標是訓練期間的人工智能系統，以實現其惡意的意圖。這里的威脅將是敵人獲得用于訓練我們工具的數據集。可能會插入誤標的車輛圖像以愚弄目標系統，或篡改維護數據，旨在將即將發生的系統故障歸類為正常操作。考慮到我們的供應鏈的脆弱性，這將不是不可想象的，而且很難發現。提取攻擊利用對人工智能界面的訪問來了解人工智能的運行情況，從而創建一個系統的平行模型。如果我們的人工智能不被未經授權的用戶所保護，那么這些用戶可以預測我們的系統所做的決定，并利用這些預測為自己服務。人們可以設想對手預測人工智能控制的無人系統將如何應對某些視覺和電磁刺激，從而影響其路線和行為。

軍事人工智能應用的發展之路

人工智能在未來的軍事應用中肯定會有作用。它有許多應用領域，它將提高工作效率，減少用戶的工作量，并比人類更迅速地運作。正在進行的研究將繼續提高其能力、可解釋性和復原力。軍隊不能忽視這項技術。即使我們不擁有它，但我們的對手肯定會發展AI，我們必須有能力攻擊和擊敗他們的AI。然而，我們必須抵制這種重新崛起的技術誘惑。將脆弱的人工智能系統放置在有爭議的領域，并讓它們負責關鍵的決策，這將為災難性的結果打開了機會。在這個時候，人類必須繼續負責關鍵決策。

鑒于我們暴露的人工智能系統被攻擊的概率很高，以及目前人工智能技術缺乏彈性，投資軍事人工智能的最佳領域是那些在沒有爭議的領域運作的人工智能。由人類專家密切監督或具有安全輸入和輸出的人工智能工具可以為軍隊提供價值，同時減輕對漏洞的擔憂。這類系統的例子有醫學成像診斷工具、維修故障預測應用和欺詐檢測程序。所有這些都可以為軍隊提供價值，同時限制來自對抗性攻擊、有偏見的數據、背景誤解等等的風險。這些并不是由世界上的人工智能推銷員贊助的超級工具，但卻是最有可能在短期內獲得成功的工具。

作者信息

保羅-麥克斯韋中校（退役）是美國軍事學院陸軍網絡研究所的計算機工程網絡研究員。他在服役的24年中曾是網絡和裝甲部隊的軍官。他擁有科羅拉多州立大學的電子工程博士學位。

所表達的觀點僅代表作者本人，不反映美國軍事學院、陸軍部或國防部的官方立場。

摘要

人工智能領域的進展繼續擴大這組技術的潛在軍事應用范圍。本文探討了信任在人機聯合作戰中的關鍵作用，以及依靠人工智能來補充人類認知的潛在影響。如果依靠人工智能來準確處理傳感器數據，操作自主系統和平臺，或通過擬議的作戰概念（如以決策為中心的戰爭）提供有利的決策支持，設想機器智能的中央指揮和控制作用，那么信任機器智能將是未來作戰中的一個關鍵組成部分。鑒于這些技術和理論的發展，信任的概念對于機器智能在戰術和作戰層面的軍事行動中的使用變得高度相關，正確校準的信任水平是安全和有效行動的基礎。在簡要回顧了機器智能的最新進展和對信任概念的探索之后，本文概述了人工智能在戰場上的當前和潛在應用，以及由不充分或不合理的高信任度帶來的挑戰。

引言

縱觀歷史，技術已經擴大了武裝沖突的領域，戰術交戰的節奏，戰場的地理范圍，以及指揮官與部隊溝通的手段。技術創新--包括軍事和民用--改變了軍隊的作戰方式以及國家計劃和進行這些沖突的方式。在21世紀，迄今為止，很少有進步能像統稱為人工智能（AI）的一組技術那樣獲得如此多的關注。人工智能正準備迎來一個新的時代，在這個時代，機器智能和自主性正在為軍事行動的規劃和執行產生明顯的新概念。算法戰爭可能會帶來一些獨特的東西：增強甚至取代人類決策過程的系統，其速度可能超過人類規劃者的認知能力。
新興技術的整合提出了任何數量的基本組織和倫理問題，值得關注。本文將采用定性的社會科學方法，重點討論人類-自治團隊（HAT）的一個重要方面：鼓勵對機器智能的適當信任程度。有大量的學術文獻關注自動化或機器人技術中的信任問題，但有關具體軍事應用的工作較少。當人工智能在聯合作戰中被實際部署時，在信任方面有哪些挑戰和機會？在簡要回顧人工智能和概述機器智能在戰場上的可能應用之后，本文在分析鼓勵適當信任水平的陷阱和潛在解決方案之前，探討了信任和信任校準的概念。

人工智能的進展

幾十年來，人類一直對賦予機器某種形式的人工智能的可能性著迷，Nils Nilsson將其定義為 "致力于使機器智能化的活動，而智能是使一個實體在其環境中適當運作并具有預見性的品質"。在數字時代的早期，出現了兩種廣泛的人工智能方法。自上而下的專家系統方法使用復雜的預編程規則和邏輯推理來分析一個特定的數據集。對于具有可預測規則的明確定義的環境--諸如分析實驗室結果或下棋等應用--專家系統或 "符號 "人工智能（基于符號邏輯）的性能主要取決于處理速度和算法的質量。另一大類使用自下而上的機器學習方法，模擬人類通過檢測數據中的模式進行學習的方式。神經網絡是一種以人腦為模型的機器學習形式，能夠通過使用多個（因此是 "深"）人工神經元層來識別復雜的模式，是被稱為 "深度學習 "的技術的基礎。通過其在數據集中尋找關系的能力，這種技術也被稱為 "連接主義"。
自上而下、基于規則的符號系統和自下而上的機器學習連接主義技術之間的差異是很大的，特別是關于它們的潛在應用范圍和靈活性。深度學習方法的顯著特點是能夠將學習與它所訓練的數據集分開，因此可以應用于其他問題。基于規則的算法可以在狹義的任務中表現得非常好，而深度學習方法能夠迅速找到模式，并在 "蠻力 "專家系統計算方法無效的情況下有效地自學應用。最近的一些人工智能進展顯示了模仿創造力的能力，產生了有效的解決問題的方法，這些方法對人類來說可能是反直覺的。
然而，總的來說，人工智能仍然是狹窄的或 "脆弱的"，即它們在特定的應用中功能良好，但在用于其他應用時仍然不靈活。與人類的認知相比，鑒于機器的計算速度遠遠超過人腦，機器智能在將邏輯規則應用于數據集時要優越得多，但在嘗試歸納推理時，它必須對數據集或環境進行一般性的觀察，這就顯得不足。大多數機器學習仍然需要大量的訓練數據集，盡管新的方法（包括生成對抗網絡（GAN）和 "小于一次 "或LO-shot學習）正在出現，需要非常小的數據集。圖像識別算法很容易被混淆，不能像人類那樣立即或直觀地理解情景背景。這種脆性也延伸到了其他問題，比如游戲。雖然人工智能在視頻游戲中經常表現出超人的能力，但他們往往不能將這種專業知識轉移到具有類似規則或玩法的新游戲中。
 雖然人工智能技術繼續在變得更加適應方面取得重大進展，但任何接近人類的人工通用智能仍然難以實現。評估人工智能的近期前景因該技術的漸進式進展而變得更加復雜。圍繞著人工智能的炒作--在很大程度上被深度學習方法的成功所推動--既導致了對該技術未來的不切實際的期望，也導致了對其非常大的進展的正常化。正如一份報告所指出的，"人工智能將一項新技術帶入普通人的視野，人們對這項技術習以為常，它不再被認為是人工智能，而出現了更新的技術"。盡管象征性的人工智能和各種形式的機器學習構成了該領域最近的大部分進展，也許除了融合這兩種方法的嘗試之外，未來仍然不確定。一些人猜測，機器學習技術帶來的進展可能會趨于平穩，而另一些人則保持樂觀。相關的技術進步，如短期內的計算機芯片設計和長期內的量子計算，可能會影響進一步進展的速度。

在將人工智能 (AI) 和機器學習 (ML) 用于多域作戰 (MDO) 作為聯合全域指揮與控制 (JADC2) 的一部分之前，必須先完成奠定“信息基礎”的繁重工作。奠定基礎——數據被標記、安全存儲和傳輸，并且易于訪問——需要組織和保護軍隊跨域、服務和梯隊的 C2 所需的所有信息的日常工作。相同的信息主體將成為 AI 和 ML 算法的輸入。沒有這樣的信息基礎，進展甚微。

盡管最近 AI/ML 在游戲領域取得的成功令人鼓舞，但鑒于信息不完整、數據質量差和對手行動等現實障礙，對某些 C2 功能采用類似技術仍將具有挑戰性。其他 AI/ML 技術，例如用于預測戰區飛機狀態的技術，將更容易應用。實現 JADC2 目標將取決于確定核心軍事任務集的 C2 需求以及制定可在近期和遠期實現的軟件開發計劃。

本文的其余部分描述了對具有嵌入式 AI/ML 的 JADC2 的需求，就 AI/ML 的誘惑提出了警告，概述了要克服的 AI/ML 障礙，并提出了前進的道路。一般來說，需要對人力和資源進行投資，才能超越當今的人力密集型 C2 范式。通過自動化和一些AI/ML改進當前的規劃流程是一個值得努力的現實目標。

發展路徑

可能看起來很嚴峻。存在許多障礙，迫切需要快速向前發展，現在就需要改變。然而，如果將實現目標的步驟分解為易于處理的問題，并且如果軍方對技術可能性和限制等保持“睜大眼睛”，則可以取得進展。目標不應該是 C2 的完全自動化，而是 C2 的有效人機協作。實現這一目標的步驟應包括，首先，JADC2 作戰概念 (CONOP) 的持續開發和優先排序，其次，確定在使能 C2 流程中增強 AI/ML 的相應需求和機會。

同時，有必要為數據驅動的人工智能生態系統設定條件，這意味著將武器系統和相關數據放入多域數據庫中，供那些應該訪問數據的人使用，同時也應用“zero-trust”和其他安全原則，以確保數據的彈性和安全管理。隨著人工智能軟件應用程序的開發，有必要在操作測試平臺環境中對其進行試驗，將它們與 C2 系統集成，然后將它們部署到操作中心。可能會有能力迭代——首先將有限的能力放入運營中心，然后生成用戶反饋，然后快速更新軟件應用程序。分析師和技術人員將希望探索 CONOP，以促進人機協作，建立人類對 AI 算法的信任，并提高算法的可解釋性。在商業需求較低的領域可能需要有針對性的軍事投資，例如用于學習數據稀缺的人工智能算法或防御針對這些算法的攻擊。

當前的 AI/ML 技術需要數據進行學習。鑒于缺乏真實世界的數據來為這些戰爭技術的改進提供信息，軍方可以利用建模、模擬和演習來為 AI/ML 算法生成訓練數據。然后，此類算法可以幫助開發例如武器-目標配對。監督或強化學習算法可以支持這種 C2 功能，類似于最近應用于商業游戲的學習算法。但軍事算法還必須考慮現實世界中的不確定性——這對人類和算法來說都是一個主要困難。

正如美國空軍參謀長在 2020 年 8 月所說，“加速變革，否則失敗。”及時向 JADC2 推進是美國現代戰爭的當務之急，并且需要“在競爭對手的部署時間表內”（Brown, Jr, 2020）這樣做。需求是真實的，但為 AI/ML 設定切合實際的期望很重要。現有的 C2 流程在自動化方面還有改進的空間，在某些情況下，還有 AL/ML；相比之下，其他 C2 過程對于人類和算法來說仍然很困難。正如美國眾議院軍事委員會主席兼眾議員Adam Smith, D-Wash在 2021 年 9 月談到 JADC2 時所說的那樣，“目標是正確的，但不要低估實現它的難度（(Harper, 2021）。”