人工智能（AI）有可能影響所有領域和大規模的軍事行動。本章探討了人工智能系統如何影響準備和開展軍事行動的主要工具，以及如何受其影響。本章分析和討論了人工智能在戰略、條令、規劃、交戰規則和命令方面的多層次影響。采取了一個廣泛的分析角度，能夠根據新的政策和技術發展，以及對政治、軍事、法律和道德觀點的考慮，對這個問題進行總體審查。因此，本章確定了機遇、挑戰和開放性問題，并提出了總體性的意見。提供了洞察力和途徑，以推進對人工智能在軍事行動中的適當整合、管理和使用的進一步思考、研究和決策。

引言

人工智能（AI）的軍事應用有可能影響所有領域和大規模的軍事行動的準備和進行。人工智能系統可以越來越多地支持和取代人類完成軍事任務，因為它們變得更快、更準確，并能夠處理更多的信息和更高的復雜程度。這可能促進軍事行動速度的提高和更好的軍事決策，最終為擁有高性能人工智能的武裝部隊提供顯著優勢。人工智能的軍事用途甚至可能導致軍事事務的另一場革命，盡管這種發展將取決于其他因素而不僅僅是技術。

人工智能可以被用于各種軍事目的。在多維戰場上，人工智能技術可以被用作傳感器、規劃者和戰斗機，或兩者的結合。更具體地說，人工智能的軍事應用可以從支持情報、監視和偵察（ISR）的系統到自主導航和目標識別系統。這可能導致軍事人員和人工智能系統之間不同形式的互動，以及將軍事任務委托給人工智能系統的不同層次。例如，人工智能系統可以在決策過程中協助指揮官和士兵，無人駕駛的人工智能系統可以與有人駕駛的系統一起協作，人工智能系統可以在最少的人類監督下自主運行。 雖然目前只存在狹義和特定任務的人工智能，但正在大力發展人工通用智能（AGI）--具有類似于人類思維的廣泛領域推理能力的系統。 這與人工智能系統的自主性不斷增強的趨勢是一致的。

鑒于人工智能的特殊性和未來的應用，出現了一個問題，即人工智能的引入將如何影響軍事行動。本章通過評估人工智能如何影響準備和進行軍事行動的主要工具并受其影響來探討這一問題。具體而言，本章分析和討論了人工智能在戰略（第1分章）、條令（第2分章）、規劃（第3分章）、交戰規則（第4分章）和命令（第5分章）方面的多層次影響。以下各章將對每個工具進行一般性解釋，然后討論這些工具與人工智能的具體相互關系。

本章采取了一個廣泛的分析角度，包括了部隊整合和指揮與控制（C2）等軍事概念的各個方面，但并不限于此。 這使得在新政策和技術發展的基礎上，以及在考慮政治、軍事、法律和倫理角度的情況下，能夠對這個問題進行更全面的審查。因此，本章確定了機遇、挑戰和開放性問題，并提出了總體性的意見。本章最后發現了人工智能與準備和進行軍事行動的主要工具之間的動態相互關系，并將人類操作員和人工智能之間的互動定位為核心基本問題。

由于軍事人工智能是最近才出現的，因此對納入人工智能的未來軍事行動的任何分析只能是暫時性的，并基于這樣一個前提，即目前對具有高度自主性的人工智能，進行操作化的挑戰將被克服。然而，鑒于技術的快速發展，本章為推動進一步的思考、研究和政策制定提供了見解和途徑，以便在軍事行動中適當整合、管理和使用AI。

1. 戰略與人工智能

軍事行動為國家的政治和戰略目標服務。在戰爭的三個層面（戰略、戰役和戰術）中，軍事戰略是最高的。它可以被描述為 "戰爭的安排 "或 "戰爭的方向"。它為軍事行動提供依據，處于政治和軍事領域的交界處。 從本質上講，軍事戰略是一項計劃，它將最終目標與實現這一目標的手段聯系起來。更具體地說，軍事戰略可以被定義為 "使用武裝力量來實現軍事目標，進而實現戰爭的政治目的 "或 "在戰爭中達到預期結果的概念和實際考慮的表現，涉及對特定敵人的組織、運動和戰術、戰役和戰略使用或承諾的力量。國家安全和國防戰略可以為軍事戰略建立總體框架，而且經常可以在白皮書中找到。

各國還沒有公開通報他們如何使用或打算使用人工智能來制定軍事戰略。因此，在現階段，分析人工智能對軍事戰略的影響以及反之亦然，必須依靠國防白皮書和各國的人工智能戰略。一般來說，雖然在過去幾年中，大約有50個國家發布了關于人工智能在多個部門（特別是民用和工業部門）的使用、發展和融資的官方人工智能戰略，但這些文件一般不關注或幾乎不提及國防應用。然而，主要軍事強國最近通過了與軍事人工智能有關的國家戰略或類似文件，表明各國已經意識到軍事人工智能的戰略重要性，并指導他們努力開發、采購和將人工智能系統納入其武裝部隊。

美國國防部（DOD）在2018年發布了一項人工智能戰略，該戰略強調了優先發展的領域，確定了應如何與民間社會組織建立發展伙伴關系，并制定了一項關于人工智能機器倫理的政策生成計劃。美國人工智能國家安全委員會在2021年發布了一份報告，提出了與人工智能有關的國家防御戰略。 目標是到2025年達到人工智能準備，這意味著 "組織改革，設計創新的作戰概念，建立人工智能和數字準備的性能目標，并定義一個聯合作戰網絡架構"，以及贏得"技術競爭"。

俄羅斯到目前為止還沒有公布關于軍事人工智能的政策，但正在積極資助私營和公共部門的研究。2018年，俄羅斯舉行了一次會議，提出了十項政策建議（AI: Problems and Solutions 2018），這些建議構成了其人工智能戰略的非官方基礎。

歐洲國家在人工智能戰略方面處于類似的階段。在英國2021年國防白皮書通過后，英國國防部（MOD）在2022年通過了《國防人工智能戰略》。 該戰略規定了國防部采用和利用人工智能的速度和規模，與工業界建立更強大的伙伴關系，并開展國際合作，以塑造全球人工智能的發展。 法國沒有采取這樣的戰略，但其《國防人工智能報告》強調了將人工智能納入其武裝部隊的戰略優勢，如分析和決策的速度，優化作戰流程和后勤，以及加強對士兵的保護，并將機器學習歸類為研究和開發（R&D）的主要領域。

雖然更多的國家發表了關于人工智能的分析和政策，但卻沒有對未來的軍事戰略提出見解，北約在2021年通過了其人工智能戰略。該戰略是整個聯盟的人工智能準備和運作的基礎，隨后是北約的自主實施計劃，包括在2022年創建數據和人工智能審查委員會。 歐盟至今沒有采取類似的戰略，只限于在2020年的《人工智能、機器人和相關技術的倫理問題框架》中鼓勵與軍事有關的人工智能領域的研究。

由于各國關于人工智能或與人工智能相關的國防戰略并沒有明確說明人工智能將如何影響軍事戰略，因此可以根據未來可能使用人工智能進行戰略決策的跡象來確定各自的期望。人工智能在戰爭戰略層面的應用實例是對核指揮、控制、通信和情報（C3I）架構的貢獻；導彈和防空系統的目標獲取、跟蹤、制導系統和識別；網絡能力；以及核和非核導彈運載系統。

對于軍事戰略來說，最重要的是，人工智能的應用可以幫助決策者監測戰場并制定方案。事實上，可以開發人工智能來預測其他國家的行為和反應，或生成正在進行的沖突的進展模擬，包括兵棋推演模型。人工智能還可以用來評估威脅，提供風險分析，并提出行動方案，最終指導決策者采取最佳對策。 此外，人工智能可以支持武裝部隊的方式和手段與既定的政治和戰略目標相一致，這是軍事戰略的一個主要功能。這種發展的一個后果是軍事進程的速度和質量都會提高。雖然這將為那些擁有高性能人工智能的國家提供巨大的優勢，但這也可能迫使武裝部隊越來越多地將軍事行動的協調工作交給人工智能系統。

將人工智能用于軍事戰略也可能導致挑戰，包括預測性人工智能需要無偏見和大量的數據。可靠的人工智能系統將需要用龐大的數據集進行訓練。 此外，專家們警告說，人工智能可能會加劇威脅，改變其性質和特點，并引入新的安全威脅。 一項關于將人工智能納入核C2系統的桌面演習表明，這種系統 "容易受到惡意操縱，從而嚴重降低戰略穩定性"。這種脆弱性主要來自于第三方使用技術欺騙、破壞或損害C2系統所帶來的風險，這表明系統安全對AI用于軍事戰略的重要性。

另一個重要的挑戰是，人工智能可能會加快戰爭的速度，以至于人類將不再能夠跟隨上述速度的發展，最終導致人類失去控制。 這種現象被稱為 "戰場奇點 "或 "超戰爭"，可能導致戰略錯誤和事故，包括非自愿的沖突升級。即使這種風險能夠得到緩解，對人工智能的更多依賴也會減少軍事戰略中人的因素，特別是心理學和人的判斷。觀察家們認為，這可能會導致 "人工智能如何解決人類提出的問題，以及人類如果擁有人工智能的速度、精度和腦力會如何解決這個問題 "之間的差距。 然而，專家們也提出，戰略的制定需要對價值的理解，成本的平衡，以及對戰爭所處的復雜社會系統的理解，從而大大限制了人工智能在軍事戰略上的應用。還有一種可能是，當敵人擁有人工智能系統提供的高水平的理性預測能力時，決定性的因素將不是人工智能系統的能力，而是人類的判斷，特別是關于關鍵和困難的選擇。然而，這假定了某種程度的有意義的人類參與。

總之，主要的軍事大國正在投資開發、獲取和操作其武裝部隊的人工智能，因為人工智能有可預見的戰略優勢。然而，各國的戰略并沒有表明人工智能將如何被用于軍事戰略。然而，根據目前的技術發展，可以預計，人工智能將加強軍事戰略的制定和戰略決策，特別是人工智能能夠處理更多的數據，并以比人類和簡單計算更高的精度和速度來理解復雜性。一個可能的結果是軍事行動的加速，這可能會增加武裝部隊整合人工智能的壓力，使人類的判斷力邊緣化。因此，擁有和使用人工智能本身就成為一種戰略資產和目標。同時，國家對軍事人工智能的投資可能成為一種戰略責任，因為它可能增加破壞穩定的軍備競賽、誤解和誤判的風險。未來的軍事戰略需要考慮到這種風險。

總之，主要的軍事大國正在投資開發、獲取和使用人工智能，因為人工智能有可預見的戰略優勢。然而，各國的戰略并沒有表明人工智能將如何被用于軍事戰略。然而，根據目前的技術發展，可以預計，人工智能將加強軍事戰略的制定和戰略決策，特別是人工智能能夠處理更多的數據，并以比人類和簡單計算更高的精度和速度來理解復雜性。一個可能的結果是軍事行動的加速，這可能會增加武裝部隊整合人工智能的壓力，使人類的判斷力邊緣化。因此，擁有和使用人工智能本身就成為一種戰略資產和目標。同時，國家對軍事人工智能的投資可能成為一種戰略責任，因為它可能增加破壞穩定的軍備競賽、誤解和誤判的風險。未來的軍事戰略需要考慮到這種風險。

2. 條令與人工智能

軍事條令進一步指導軍事行動的準備和執行。軍事條令可以被定義為 "從制度化的角度來看，執行軍事任務和職能普遍接受的方法"。因此，它代表了'在戰爭和軍事行動中什么是有效的制度化信念'。條令一般包含三個關鍵要素，即理論（什么是有效的，什么會導致勝利）、權威（條令必須被認真對待）和文化（組織及其成員是誰）。 因此，條令回答了 "軍隊認為自己是什么（'我們是誰'），它的任務是什么（'我們做什么'），如何執行任務（'我們怎么做'），以及歷史上如何執行任務（'我們過去怎么做'）"等問題。 《美國陸軍條令入門》將條令描述為由基本原則、戰術、技術、程序以及術語和符號組成。

鑒于條令的目的和功能，人工智能在發展軍事條令方面的作用可能有限。它可能會繼續由人類創建和修訂。人工智能的具體作用可能僅限于監測武裝部隊的進程與他們的條令是否一致，以確定過去的工作，并支持對條令的質量和影響進行評估。為了有效地告知負責定義條令的軍事人員，這可能需要透明和可解釋的人工智能方法，否則軍事人員將無法理解并做出適當的決定。

然而，條令在設定人工智能的使用和人類互動的基本原則、價值和參數方面具有重要作用。值得注意的是，軍事條令是界定武裝部隊如何感知、理解和重視人工智能的適當手段。由于人工智能的高度自主性，武裝部隊可能需要明確人工智能是否被視為一種技術工具，或者說是一種代理手段。在這個意義上，條令可以定義武裝部隊是否將人工智能視為簡單的數學、技術系統，或者說是具有認知能力的工具。條令可以定義人類在組織中的價值、地位和作用，以及使用人工智能的過程。由于軍事行動和戰爭是人類為達到目而發起的行動，條令可以明確這意味著什么。在這種情況下，條令也可以定義人類與人工智能系統互動的價值和原則，包括人工智能需要為人類服務而不是相反。

同樣，條令也是定義人工智能系統的開發、獲取和使用的道德標準工具。由于軍事條令是根據國際法起草的，并且通常呼吁武裝部隊成員尊重國際法，因此條令也可以定義人工智能系統和運營商遵守國際法的方式。條令是對人工智能和人機協作施加限制的重要工具，適用于各軍種和武裝部隊的所有成員。這可能意味著對人工智能系統進行有意義的人類控制的一般要求，或禁止將某些功能授權給人工智能系統。

更具體地說，條令可以為人工智能融入組織流程設定原則和參數。例如，從事數據整合、優先排序的人工智能系統可能需要修訂軍事條令和武裝部隊使用和收集信息的準則。雖然僅限于觀測的任務系統需要有限的條令調整，但有更多 "積極 "任務的系統可能需要更具體的指導方針，如保障措施、自主程度、與操作者的溝通以及與人類部隊的互動。此外，有人認為，戰術應用主要是基于規則的決策，而戰役和戰略決策往往是基于價值的。每個級別的首選決策過程類型以及這種過程是否應該標準化，可以在條令層面上確定。

迄今為止，各國還沒有公布專門針對人工智能系統的軍事條令。英國國防部關于無人駕駛飛機系統的聯合條令是目前唯一公開的涉及軍事系統自主性的軍事條令。 然而，未來關于人工智能或與人工智能相關的軍事條令可能會根據人工智能的道德使用政策來制定。 事實上，這種政策定義了相關的價值觀、原則和使用軍事人工智能的形式，并為其提供指導，其目的與軍事條令類似。一些國家和組織最近通過了這種關于軍事人工智能道德使用的政策，包括北約。

美國國防部為人工智能的發展和使用采用了五項道德原則。系統需要負責任、公平、可追蹤、可靠和可治理。這些原則規定，美國防部人員負責人工智能系統的 "開發、部署和使用"，因此必須表現出良好的（人類）判斷能力。此外，美國防部明確確定，必須努力將人工智能運作的數據偏見降到最低。 此外，美國國防部2012年3000.09指令確定了美國對致命性自主武器系統（LAWS）的立場。它定義了致命性自主武器系統，確定了三類智能武器系統（自主、半自主和人類監督的自主系統），并為其行動設定了一般界限，以及有關人類操作員的作用和法律審查的標準。

同樣，歐盟議會也通過了一份題為《人工智能：國際法的解釋和應用問題》（人工智能的民事和軍事使用準則），其中特別討論了人工智能的軍事應用。 該報告包含了關于歐盟成員國開發和使用軍事人工智能應用的強制性準則以及一般性結論。首先，報告解釋說，人工智能不能取代人類決策或人類責任。 第二，為了合法，致命性自主武器系統必須受到有意義的人類控制，要求人類必須能夠干預或阻止所有人工智能系統的行動，以遵守國際人道主義法（IHL）。第三，人工智能技術及其使用必須始終遵守國際人道主義法、國際刑事法院羅馬規約、歐盟條約、歐盟委員會關于人工智能的白皮書，以及包括透明度、預防、區分、非歧視、問責制和可預測性等原則。

2021年4月，法國道德委員會公布了一份關于將致命性自主武器和半自動武器納入武裝部隊的意見。盡管其內容尚未得到國防部長的批準，但它代表了未來潛在的軍事條令。該文件重申了人類對自主武器的致命行動保持一定程度控制的重要性，并聲稱法國不會開發也不會使用完全自主的武器。同樣，澳大利亞發表了一份題為《國防中的道德人工智能方法》的報告，其中討論了與軍事人工智能應用有關的道德和法律考慮，但并不代表官方立場。

總之，除了評估和修訂之外，人工智能不太可能對創建軍事條令有實質性的作用，因為條令的作用是定義和規范軍事組織問題以及與信仰、價值觀和身份密切相關軍事行動的各個方面。然而，正是由于這種功能，條令在確定武裝部隊與人工智能的基本關系方面具有重要作用。特別是，條令適合于籠統地規定人工智能將（不）用于哪些任務，人工智能將（不）如何使用，以及組織及其成員如何看待和重視人工智能。最重要的是，鑒于人工智能的特點，條令可以確定人類如何并應該與人工智能互動，以及何種組織文化應該指導這種關系。因此，條令可以為進一步的軍事指令和程序設定規范性框架。各國的道德準則可以作為軍事條令的基礎并被納入其中。

3.規劃和人工智能

根據各自的軍事條令制定的作戰和行動計劃，是根據現有手段實現軍事目標的概念和指示。規劃反映了指揮官的意圖，通常包括不同的行動方案（COA）。存在各種軍事計劃和決策模式，但北約的綜合作戰計劃指令（COPD）對西方各種模式進行了很好的概述和綜合。 例如，加拿大武裝部隊遵循六個步驟，即啟動、定位、概念開發、決策計劃制定和計劃審查。一般來說，規劃包括 "規劃和安排完成特定COA所需的詳細任務；將任務分配給不同的部隊；分配合適的地點和路線；刺激友軍和敵軍的戰斗損失（減員）；以及重新預測敵方的行動或反應。

雖然規劃需要考慮到人工智能系統在軍事行動中的使用，但人工智能最有可能被用于規劃本身。用于軍事規劃或與之相關的人工智能應用是ISR系統、規劃工具、地圖生成機器人，以及威脅評估和威脅預測工具。 與規劃有關的進一步人工智能應用可能包括大數據驅動的建模和兵棋推演。例如，美國陸軍為其軍事決策過程（MDMP）開發了一個程序，該程序采用 "高層次的COA"（即目標、行動和順序的草案），并根據這個總體草案構建一個詳細的COA，然后測試其可行性。這表明，人工智能可以發揮各種功能，從COA提議到解構和測試。

人工智能應用可能會對計劃產生強烈影響。規劃軍事行動是一個緩慢而繁重的過程，它依賴于對 "結果、損耗、物資消耗和敵人反應 "的估計。它涉及到對特定情況的理解、時空分析和后勤問題。然而，有限時間和勞動力限制了可以探索的選項數量。此外，預測可以說是"作戰指揮官最棘手的任務之一"。只要能提供足夠數量和質量的數據，人工智能在預測的質量和速度上都可能會有出色的表現。數據分析能夠進一步處理比人類計算更多的信息，最終減少"戰爭迷霧"。由于人工智能程序可以將行動分解為具體的任務，然后相應地分配資源，預測敵人的行動，并估計風險，因此人工智能的使用將提高決策的總體速度和準確性。增加可考慮的COA數量將進一步使規劃過程得到質量上的改善。

然而，使用人工智能進行規劃也有潛在的弊端。由人工智能驅動的更快規劃所帶來的戰爭速度提高，可以說會減少決策者的（再）行動時間，這可能會損害決策的質量。還有人質疑，人工智能驅動的規劃是否會"導致過度關注指揮分析方面，通過書本和數字削弱了軍事指揮決策的直覺、適應性和藝術性"。指揮官和其他軍事人員也可能變得過渡依賴技術，使他們變得脆弱。剩下的一個挑戰是產生足夠的相關數據，讓人工智能規劃系統正常工作并產生有意義的結果。

人工智能系統將執行規劃任務以及協助軍事人員，但它們可能不會根據這些計劃做出適當決策。事實上，有人認為，人工智能系統難以完成與指揮有關的任務，如設定目標、優先事項、規則和約束。因此，人類的判斷對于這些任務仍然是必要的。人工智能寧愿執行控制任務，并最終彌補軍事人員的認知偏差。然而，隨著新版本的C2（部分）納入人工智能，觀察家們質疑是否清楚誰將擁有跨領域的決策權，人類在這種架構中會和應該發揮什么作用，以及技術是否準備好進行大規模開發。

當強大的人工智能系統被用于軍事規劃時，規劃和決策之間的區別可能會變得模糊不清。與人類因軍事行動的高速發展而無法正確跟蹤事件進程的風險類似，將規劃任務更多地委托給人工智能可能意味著指揮官和規劃者不再能夠理解或追溯系統如何得出結論。同樣，指揮官可能會因審查眾多擬議計劃或COA的任務而被壓垮。人工智能生成的方案也可能意味著更高的復雜程度。因此，人工智能可以被用來消化信息，只向指揮官提供最相關的內容。然而，這可能會導致對人工智能的進一步過度依賴。因此，強大的人工智能系統，或系統簇（SOS），將需要一定程度的可預測性和透明度。

總之，與人工智能的其他軍事應用相比，至少在中短期內，人工智能可能會對規劃產生最重大的影響。由于規劃是極度時間和資源密集型的，人工智能系統可以導致速度、精度和質量的提高。這可能會對軍事行動和戰爭產生重大影響，因為有人認為，軍事競賽的贏家是那些在觀察、定位、決策和行動（OODA環）中工作最快的人。一個進一步的影響是，規劃的自動化導致了軍事決策的（進一步）合理化，包括人員傷亡的合理化。另一個后果是對人力的需求減少。然而，規劃方面的人力需求減少并不意味著基于軍事規劃決策的人力判斷需求減少，特別是在價值觀和直覺仍然是規劃的核心內容情況下。

4. 交戰規則與人工智能

交戰規則(ROE)用于描述軍事力量部署的情況和限制。交戰規則可采取多種形式，包括執行命令、部署命令、作戰計劃和長期指令。無論其形式如何，它們都對 "使用武力、部隊的位置和態勢以及使用某些特定能力 "等進行授權或限制。交戰規則有共同的要素，如其功能和在作戰計劃中的地位，以及其他基本組成部分。交戰規則通常是 "軍事和政治政策要求的組合，必須受到現有的國際和國內法律參數約束"。因此，其要素和組成部分反映了軍事行動、法律和政治要素。通用的交戰規則和模板文件，如北約的MC362/1和Sanremo交戰規則手冊，可以作為交戰規則起草者的基礎或靈感，而這些起草者通常是軍事法律顧問。雖然交戰規則一般不會分發給所有低級軍官，但士兵們經常會收到含有簡化的、基本版本的交戰規則記憶卡。

交戰規則是與軍事力量部署和武力使用有關的更大監管框架的一部分。因此，它們與其他類型的軍事指令相互作用，特別是目標選擇和戰術指令。目標定位指令提供了關于目標定位的具體指示，包括對目標的限制和盡量減少附帶損害。戰術指令是 "針對整個部隊或特定類型的單位或武器系統的命令，規定在整個行動中執行特定類型的任務或在行動中限制使用特定的武器系統。雖然交戰規則不是必不可少的，但它們可以為部隊及其成員提供更具體和細微的指示。

交戰規則是確定如何使用人工智能以及在哪些條件下可以在特定情況下應用的適當工具。交戰規則——或相關的行為規則——可以為人工智能的各種軍事應用設定參數，從而將特定的政治、軍事、法律和道德考慮以及來自更高組織或規范梯隊的限制，如條令或國際法律義務，轉化為具體指令。因此，ROE可以代表一個行動框架，被編入AI系統。例如，ROE可以確定一個地理區域或某個潛在任務的清單，系統被授權采取行動。在這些限制之外，他們將不會對處理過的信息采取行動。時間或其他限制，如預先設定的允許（不）與特定目標交戰，也可以由ROE定義。同樣，ROE可以預見一個系統需要標記的意外事件或問題。在這種情況下，有些人提出，人工智能可能會根據環境或其編程的任務來選擇應用哪種ROE。

ROE也可以定義人類和人工智能系統在特定任務中的互動。特別是，ROE可以確定指揮官或操作員在部署期間需要如何監測和控制該系統。由于對人類控制的需求可能會根據歸屬于人工智能系統的具體任務以及各自的背景和行動而有所不同，人工智能的ROE可以定義某些類型的行動或階段的自主性水平。ROE可以進一步處理或參考其他來源，如手冊和指令，關于如何實施各種形式的人類控制，如直接、共享或監督控制。重要的是，ROE可以限制指揮官或操作人員的權力，這可能迫使他們在指揮系統中參考上級。這可能是軍事行動中關于人機協作的ROE的一個重要作用，特別是在面對未曾預料到的情況或問題時，系統或其使用沒有事先得到授權。

當人工智能被用于傷害人和物或與之有關時，如在定位目標的情況下，ROE尤其相關。特別是當考慮到人工智能不能將道德或背景評估納入其決策過程時，在做出使用致命武力的決策時，人類的控制和判斷應該是有意義的。如上所述，大多數公開的政策在原則上確立了這種監督，但很少明確其確切含義。交戰規則和指令可以填補這一空白。為此，可以為人工智能系統的操作者制定與目標定位有關的行為準則，或為此類系統制定ROE模式。

事實上，雖然到今天為止還沒有能夠在沒有人類授權的情況下攻擊人類目標的自主武器，但在目標定位方面，更加自主的系統將是一個大的趨勢。與目標定位有關的現有軍事應用是目標識別軟件，如可以檢測衣服下爆炸物的Super aEgis II，以及用于目標交戰的系統。美國人工智能制導的遠程反艦導彈（LRASM）被宣傳為能夠自主地選擇和攻擊目標，甚至在GPS和通信受阻的環境中，如深水和潛在的外太空。另一個值得注意的事態發展是，據報道，2020年3月在利比亞部署了一架土耳其Kargu-2無人機，據稱該無人機在沒有人類操作員授權的情況下跟蹤和攻擊人類目標。它的使用可能代表了一個重要的先例，即在人類控制非常有限的情況下使用人工智能系統進行目標定位。

由于需要對ROE進行管理，人工智能可以協助主管當局協調、實施并最終確定ROE。軍事、政治、法律和道德目標和參數需要由軍事人員提供--至少在初始階段。正如北約的MC362/1號文件和《圣雷莫ROE手冊》所說明的那樣，ROE的后續管理是一個系統的、反復的過程，包括將具體的權力賦予不同級別的指揮部，以及監測ROE的實施和遵守情況。隨著時間的推移，人工智能系統可能會學會緩解ROE內部和之間的摩擦，以及為其適應性提升效率。例如，盡管國際法的實質內容可能本質上需要基于價值的判斷，而這種判斷不應委托給人工智能系統，但界定哪些規則需要在哪些情況下適用并不是一個過于復雜的理性過程。為了避免改變現有法律框架的實質內容，這種功能要求任何用于管理ROE的AI應用不能侵犯歸屬的權力。

總之，ROE可以成為一個有用的工具，以具體和實用的方式指導軍事AI的使用。因此，它可以補充和執行上級的政策、法規和準則，從而使軍事、政治、法律和道德目標和原則轉化為具體行動。ROE的指導對于人機協作，以及定義和具體化與人工智能系統有關的人類控制和判斷，在目標定位方面尤其重要。人工智能的應用可以進一步提高ROE管理的質量和效率。雖然這可能有助于協助軍事人員，類似于人工智能應用于軍事規劃，但軍事人員需要對ROE的實質進行有效監督，即誰或什么系統在什么情況下可以使用武力。然而，如果人工智能能夠實現更廣泛的、更細微的、更快速的交替性ROE，確保這種監督可能會變得具有挑戰性。

5. 作戰命令與人工智能

規劃和實施軍事行動的最具體的工具是命令。例如，北約和美國陸軍將命令定義為 "以書面、口頭或信號的方式傳達上級對下級的指示"。雖然有不同類型的命令，但它們一般都很簡短和具體。命令可以是口頭的，也可以是圖形的，還可以是疊加的。它們必須遵守法律以及上級的軍事文件和文書。另一個經常使用的術語是指令，它被定義為 "指揮官下達的命令，即指揮官為實現某一特定行動而表達的意愿。

從軍事參謀人員到人工智能系統的指令將采取系統初始開發的形式，有關任務目標和限制的參數編程，以及操作人員在操作期間的輸入。人類和人工智能系統之間的這些互動形式可能會履行傳統上歸屬于命令的功能。雖然人工智能系統的開發和操作，特別是機器學習，有其特殊的挑戰，但測試表明，機器并不存在不服從命令的內在風險。由于在操作過程中人的輸入等于人對系統的控制，如果一個系統能夠根據適當的學習自主地調整其行為，這一點就特別重要，現在正在開發防止系統在沒有人類輸入下采取行動的保障措施。例如，美國國防部3000.09指令規定，致命性武器系統的編程方式必須防止其在未經人類事先批準的情況下選擇和攻擊目標，特別是在失去通信的情況下。

人工智能和操作人員之間具體的互動形式仍在繼續開發。美國陸軍實驗室設計了一種軟件，使機器人能夠理解口頭指示，執行任務，并進行匯報。會說話的人工智能現在也被開發出來，以實現操作員和系統之間的口頭對話。這種互動使系統能夠要求其操作者進行澄清，并在任務完成后提供更新，以便士兵在工作中獲得最新的信息。諸如此類的應用可能使軍事人員更容易與人工智能合作，并減少操作員對人工智能控制的學習曲線。然而，人工智能應用也可以支持指揮官下達命令和指令的任務。人工智能尤其可以用來提高通信系統的穩健性和容錯性，這顯然可以使命令的傳輸更加安全。

雖然人工智能系統可能不會被委托正式發布命令，但是類似的動態可能會出現。對于人工智能系統之間的互動，命令是沒有必要的，因為系統只是作為數字應用網絡的一部分交換信息。關于對軍事人員的命令，武裝部隊似乎不可能接受人工智能系統向其成員發出指令。然而，由于人工智能系統可能會以越來越高的速度和復雜性提出行動建議，作為人類決策的輸入，軍事人員可能不會質疑這些建議，沒有時間批判性地評估它們，或者根本無法理解系統如何得出結論。如果他們還是以這些建議為基礎采取行動，這種對系統輸入的過度依賴可能意味著系統事實上向人類發布命令。還有可能的是，通過信息技術接收指令的較低層次的操作員和士兵可能無法知道某個命令是由人類還是人工智能系統創造的。為了排除這種結果，軍事條令和指令需要建立與命令有關程序的透明度。

總之，在軍事行動中，正式的命令很可能與控制人工智能無關。然而，命令和指令的傳統概念可以幫助分析、分類和發展人工智能系統和人類操作員之間的未來互動。在這種情況下，卡爾-馮-克勞塞維茨提出的管理方法和任務型戰術（Auftragstaktik）之間的傳統區別表明，人類對人工智能系統的投入，即人工智能系統的開發、編程和操作控制，可以根據對執行任務細節的程度來進行分類。鑒于人工智能的特質，我們有理由認為，當人工智能系統被賦予高水平的自主權，類似于任務型戰術時，將對武裝部隊最有價值。同時，人類在行動中的投入將是非常精確的，起到管理作用。然而，最重要的是，這又回到了上文討論的可以授予 AI 系統多少自主權的根本問題。

結論

人工智能有可能影響所有領域和大規模的軍事行動。轉變的程度主要取決于未來的技術發展。然而，這也取決于武裝部隊將賦予人工智能的作用和功能。從這兩個因素中可以看出，人工智能與準備和開展軍事行動的主要工具之間存在著動態的相互關系。一方面，人工智能的引入將影響到這些工具以及軍事行動的準備和實施。另一方面，這些工具在監管和使用人工智能方面發揮著重要作用。這種相互關系是動態的，因為它很可能隨著技術的發展、部隊對人工智能系統的經驗、組織文化和社會價值觀的變化而變化。

上述內容討論了人工智能與準備和執行軍事行動的主要工具之間的相互關系，而其中核心潛在的問題是人類操作員與人工智能系統之間的相互作用。在戰略方面，國家的官方文件證明，獲得和運用人工智能具有戰略意義。人工智能將可能支持軍事戰略，特別是預測和規劃。戰略中的人為因素可能仍然至關重要，因為戰略依賴于本能和價值觀，但軍事人員有可能過度依賴人工智能。對于軍事條令，人工智能的作用可能僅限于評估和協助修訂條令。條令在決定武裝部隊的目的、價值觀和組織文化方面的功能表明，它將在確定武裝部隊如何看待人工智能系統并與之互動方面發揮重要作用。

人工智能將極大地幫助軍事規劃，特別是基于人工智能高速和精確地處理復雜和大量數據的能力。因此，即使人工智能系統不會被委托做出決策，軍事規劃人員和指揮官也有可能過度依賴他們的分析和建議，尤其是在時間壓力下。因此，人工智能支持決策和人工智能作出適當決策之間的界限可能會變得模糊不清。關于ROE，盡管人工智能可以支持ROE的管理，但后者主要是一個適當的工具，以具體的方式為具體的任務劃定人工智能的使用。這尤其適用于人機合作和人對人工智能應用的控制。在軍事命令方面，人工智能系統可能會大大協助指揮和控制，但不會被委托發布命令。然而，在實踐中，可能很難區分由算法發布的命令和由指揮官發布的命令。這可能會導致人工智能支持和人工智能決策之間的混淆，類似于規劃的情況。

因此，如果人類操作員和人工智能系統之間的交互，是人工智能與準備和執行軍事行動的主要工具之間動態相互關系的核心潛在問題，那么無論是技術發展還是工具適應性都需要特別注意適當的人類與人工智能的交互。可以預計，技術進步將主要塑造未來的人機協作模式。軍隊結構、標準和流程可能會跟隨技術發展而相應調整。然而，關鍵是要積極主動地界定基本原則、價值觀和標準，而不是簡單地適應技術發展，成為路徑依賴或面臨意想不到后果。

畢竟，關注適當的人與人工智能互動不僅是道德和法律的必要條件，也是通過引入人工智能有效提高軍事行動的必要條件。因此，對人工智能和軍事行動的進一步思考和研究，以及對人工智能和戰略、條令、規劃、ROE和命令的進一步思考和研究，應該側重于人機互動，因為這仍然是人工智能戰爭最緊迫的挑戰。這可能有助于在人工智能影響工具和這些工具管理軍事人工智能之間找到并確定一個適當的平衡。

人工智能（AI）系統很可能會改變軍事行動。本文探討了人工智能系統如何影響準備和進行軍事行動的主要工具，并受其影響。因此，本文在戰略、理論、計劃、交戰規則和命令的背景下分析和討論了人工智能，以確定機會、挑戰和開放性問題的位置，并提出總體意見。本文采取了一個廣泛的分析角度，能夠根據新的政策和技術發展以及對政治、軍事、法律和道德觀點的考慮，對這一問題進行總體審查。因此，本文提供了一些見解和途徑，以推動對人工智能在軍事行動中的適當整合、管理和使用的進一步思考、研究和決策。

人工智能（AI）在國防領域的使用帶來了重大的倫理問題和風險。隨著人工智能系統的開發和部署，澳國防部將需要解決這些問題，以維護澳大利亞國防軍的聲譽，維護澳大利亞的國內和國際法律義務，并支持國際人工智能制度的發展。

這份報告《案例研究：國防中的倫理人工智能方法應用于戰術指揮和控制系統》是總理與內閣部（PM&C）、澳國防部和澳大利亞國立大學（ANU）3A研究所之間的科技（S&T）合作的產物。它使用《國防中的倫理人工智能方法》[1]來探討設想中的人工智能戰術指揮和控制（C2）系統的倫理風險，該系統整合了各種自主功能，以協助單個人類操作員同時管理多個無人駕駛車輛。

使用 "國防中的倫理人工智能方法 "對這一設想的C2系統進行分析，為三個利益相關者群體提供了關鍵的發現：澳國防部；人工智能技術開發者，以及那些尋求使用或迭代 "國防中的倫理人工智能方法 "的人。

對于澳國防部，該報告確定了關鍵的政策差距，并建議在以下方面采取行動。

• 對人工智能所做的決定和使用人工智能所做的決定制定一個問責框架

• 對操作員、指揮和系統開發人員的教育和培訓

• 管理支撐許多人工智能應用的數據，包括其收集、轉換、存儲和使用。

如果不采取行動，這些差距使澳國防部容易受到重大的聲譽和業務損害。

對人工智能技術開發者的其他關鍵發現涉及到有效性、整合、授權途徑、信心和復原力等主題。總的來說，這些發現鼓勵開發者考慮最有效的系統或算法（例如，在速度或準確性方面），是否一定是為決策者提供幫助的最佳選擇。在某些情況下，與規范性決策更一致的效率較低的算法可能更合適。此外，顯然需要研究哪些信息是做出好的判斷所必需的（特別是在問題復雜、背景重要的情況下）；以及應該如何快速傳達這些信息。通過考慮作為分析的一部分而開發的七種假設的道德風險情景，可以進一步探討這些關鍵的發現。

對于那些尋求應用或迭代《國防倫理人工智能方法》的人來說，報告建議開發更多的工具，以幫助從業者確定對其特定需求具有最大相關性和效用的領域；以及一套全面的定義，以幫助應用該方法。

本文是美國陸軍網絡研究所系列文章“競爭與勝利：設想 21 世紀的競爭戰略”的一部分。該系列圍繞美國競爭戰略以及在物理、網絡和信息空間中與同行和近似競爭對手非常規戰爭的各種問題發表專家評論。該系列是網絡空間競賽項目 (C2P) 的一部分，該項目由陸軍網絡研究所和現代戰爭研究所聯合發起。

沒有人喜歡在早晨醒來，但現在由人工智能驅動的算法為我們設置鬧鐘，管理我們家中的溫度設置，并選擇符合我們情緒的播放列表，打盹按鈕的使用越來越少。人工智能安全輔助系統使我們的車輛更加安全，人工智能算法優化警察巡邏，使我們開車經過的社區和居住的地方更加安全。在我們周圍，人工智能就在那里，為塑造我們的環境的工具和設備提供動力，在我們的日常生活中增強和協助我們，并促使我們對吃什么、穿什么和買什么做出選擇--不管是否經過我們的同意。然而，當我們的智能設備開始決定我們中誰是可疑的，當一個邊緣化的社區成為警察巡邏的不成比例的目標，當一輛自動駕駛汽車殺死一個亂穿馬路的人，人工智能也在那里。

人工智能在日常生活中變得無處不在，而戰爭也不例外，這是一種趨勢。報道甚至表明，2020年11月對伊朗頂級核科學家的暗殺是由一支自主的、由人工智能增強的步槍完成的，它能夠每分鐘發射六百發子彈。俄羅斯和中國正在迅速發展，在某些情況下還在部署人工智能的非正規戰爭能力，而在為我們日常生活提供動力的人工智能系統中出現的同樣的裂痕、偏見和不良結果開始出現在用于發動戰爭和設計殺人的人工智能系統中，這只是時間問題。

鑒于人工智能和機器學習在戰略競爭中的作用，我們既要了解這些系統帶來的風險，也要了解它們創造戰略優勢的能力，這一點至關重要。通過探索對抗性方法，有可能開始建立這樣一種理解。對四類對抗性方法的研究為了解這些系統的脆弱性提供了一個窗口。在這篇文章中，我們將以目標識別問題為基礎例子，探討人工智能系統的學習和思維如何被攻擊。雖然這個例子發生在沖突中，但我們描述的方法也可以在競爭中使用。這一分析導致了兩個重要的結論。首先，在任何人工智能的使用中，人類必須保持在循環中。第二，在大國競爭的時代，人工智能可能不會為美國提供戰略優勢，但我們必須繼續投資并鼓勵人工智能的道德使用。

對抗性方法

像其他軍事系統一樣，人工智能系統經歷了多個不同的生命周期階段--開發（數據收集和訓練）、測試、運行和維護。在這些階段中的每一個階段都有獨特的弱點，必須加以識別，并且我們要考慮到這些弱點。我們將著手開發一個假設的人工智能目標識別系統，該系統正在學習識別敵人的裝甲車輛。在每個階段，我們將探索相關的對抗性方法--中毒、逃避、逆向工程和推理--以及我們如何保護我們的系統免受其害。

中毒

開發任何人工智能系統的第一步是識別問題和收集數據。面對我們識別敵方裝甲車的挑戰，我們必須定義我們的問題。我們是想識別所有敵人的裝甲車，還是只識別來自特定對手的某一類型？這個問題的定義為收集和準備一組相關數據提供了依據，在這種情況下，這將包括大量感興趣的敵方裝甲車輛的圖像。我們不僅必須積累所有感興趣的車輛的圖像，而且還需要各種條件下的圖像--例如，變化的光線、不同的角度、有限的曝光和交替的通道（例如，紅外線、日光）。然后由數據分析員準備好數據，用于人工智能系統的訓練。然而，開發人工智能系統所需的巨大數據量造成了一個漏洞。數據量意味著分析員沒有能力驗證每張收集到的圖像是否是實際的敵方裝甲車輛，也沒有能力驗證這些圖像是否代表裝甲車輛的全部類型。

這個發展階段是對手可以通過一種稱為中毒的技術來攻擊人工智能系統的第一個點。投毒的目的是改變人工智能系統在訓練中使用的數據，使人工智能學到的東西是有缺陷的。這個過程在系統投入運行之前就攻擊了它的完整性。

制作惡意的原始數據以誘發有缺陷的分析結果的基本方法與傳統的軍事欺騙手段相同。Quicksilver行動是二戰期間盟軍入侵諾曼底前的一次欺騙行動，旨在攻擊德國的防御性分析模型。為了完成這一攻擊，盟軍建立了一支由喬治-巴頓中將領導的幽靈部隊（有毒數據），以歪曲德國人對其防御重點（模型輸出）的分析（模型）。

這種大規模的欺騙行動在今天這個相互聯系的社會中可能更難實現，但毒化數據是可行的。我們的對手知道我們正在追求由人工智能支持的目標識別。知道這樣一個人工智能系統需要他們當前裝甲車輛的訓練圖像，對手可以通過操縱他們車輛的外觀來毒害這些訓練圖像。這可以簡單到在他們懷疑可能被監視的車輛上添加一個獨特的符號，如紅星。然后，我們的人工智能系統將在這些被故意操縱的車輛的中毒圖像上進行訓練，并 "學習 "所有敵人的裝甲車都有紅星。

盡管這樣的中毒攻擊會在競爭狀態下發生，但當對手部署沒有紅星的裝甲車以避免被發現時，其影響會在沖突中表現出來。此外，對手可以在民用車輛上涂上紅星，誘使我們的人工智能系統錯誤地將平民識別為戰斗人員。

確保我們的系統正確學習可以通過多種方式實現。詳細的數據整理可以幫助減輕風險，但會消耗寶貴的時間和資源。相反，一個可擴展的解決方案包括數據治理政策，以提高用于人工智能系統的數據的完整性和代表性。在人工智能生命周期的所有階段，適當放置技術控制和訓練有素的人員保持在循環中，將進一步減少中毒攻擊的風險。

逃避

下一種類型的攻擊，即逃避，依賴于類似的基本攻擊原則，但在人工智能系統運行時進行部署。逃避攻擊的目標是如何應用人工智能的學習，而不是毒害人工智能正在學習的內容。這聽起來可能是一個微不足道的區別；然而，它對攻擊者成功所需的資源和反過來防御者需要采取的行動有重大影響。在中毒攻擊中，攻擊者需要有能力控制或操縱用于訓練模型的數據。在規避攻擊中，攻擊者至少需要有能力在運行期間控制人工智能系統的輸入。

逃避攻擊很適合計算機視覺應用，如面部識別、物體檢測和目標識別。一種常見的規避技術涉及稍微修改某些圖像像素的顏色，以攻擊系統如何應用它所學到的東西。在人眼看來，這似乎沒有什么變化；但是，人工智能現在可能會對圖像進行錯誤分類。研究人員證明了這種技術的效果，當一個之前正確識別熊貓圖像的人工智能被顯示為同一圖像，但在整個圖像中被添加了人眼無法察覺的顏色。該人工智能不僅將熊貓誤認為是長臂猿，而且還以非常高的信心做到了這一點。

攻擊者如果也能獲得系統的輸出或預測，就可以開發出一種更強大的（所有熊貓圖像都被錯誤識別）或有針對性的（所有熊貓都被看成另一種特定的動物）規避方法。

逃避攻擊的原則也可以在物理世界中運用--例如，戴上特制的太陽鏡來遮擋或改變你在面部識別相機上的圖像。這與偽裝背后的原理相同。在這種情況下，對手的目標是模型的感知而不是人類的感知。在軍事方面，如果對手知道我們的人工智能瞄準系統是在沙漠迷彩的坦克上訓練的，那么對手的坦克可以簡單地重新涂上林地迷彩，以故意躲避我們的人工智能系統的探測。一個人工智能增強的自主偵察系統現在可能無法有效地識別目標，無法為指揮官提供及時和準確的情報。

逃避攻擊是一些研究最廣泛的對抗性方法，因此防御所有可能的攻擊載體將被證明具有挑戰性。然而，加強我們的人工智能系統的步驟，可以增加我們對它們按計劃運作的總體信心。其中一個步驟是在部署前實施評估工具。這些工具針對各種已知的對抗性方法對人工智能系統進行測試，為我們提供一個衡量其穩健性的定量標準。在操作過程中，如果可能的話，在循環中保留一個人，也可以減輕逃避攻擊的情況。

逆向工程

前兩類攻擊在開發和運行期間針對人工智能系統有類似的基本原則。這些攻擊也與傳統的軍事概念如欺騙和偽裝有自然的相似之處。然而，人工智能系統的風險并不都是那么直接的，潛在的漏洞存在于開發和運行之外。人工智能系統在維護或儲存時有哪些漏洞？如果對手通過網絡入侵或在戰場上捕獲新一代人工智能無人機而獲得對人工智能系統的訪問，會有什么風險？

在被稱為逆向工程的一類攻擊中，對手攻擊人工智能系統的目的是提取人工智能系統學到的東西，并最終使模型得以重建。為了進行逆向工程攻擊，對手需要能夠向一個模型發送輸入并觀察輸出。這種攻擊可以繞過模型本身的任何加密或混淆。對于我們假設的目標識別人工智能，這種攻擊可以通過對手發送不同類型的車輛（輸入）并觀察哪些車輛能引起人工智能的反應（輸出）來進行。雖然這樣的攻擊需要時間，并有資源損失的風險，但最終對手將能夠了解到目標識別模型認為是一種威脅。

有了這些信息，對手將能夠開發出自己的人工智能系統版本。除了使其他對抗性攻擊更容易發展之外，直接了解人工智能是如何做出決定的，使對手能夠預測我們的反應或完全避免它們。對我們的人工智能強化決策過程的這種洞察力將對我們在整個沖突過程中的行動安全構成重大威脅。

保護我們的系統免受逆向工程的影響可能被證明是困難的，特別是因為任務要求可能要求系統允許許多查詢或加權輸出，而不是簡單的二元決定。這突出了對一系列量身定做的政策的需求，以管理與對抗性方法相關的風險。這些可能包括對人工智能系統的嚴格問責，特別是那些部署在邊緣的系統，如無人機或智能護目鏡。此外，我們可以通過只允許授權用戶查看系統輸出來施加訪問限制。

推理攻擊

最后一類攻擊，被稱為推理攻擊，與逆向工程有關。與其說對手試圖恢復人工智能系統學到的東西，不如說對手試圖提取人工智能系統在其學習過程中使用的數據。這是一個微妙但有意義的區別，對在敏感或機密數據上訓練的模型有重大影響。

為了進行推理攻擊，與逆向工程一樣，對手需要有能力向模型發送輸入并觀察輸出。有了一組輸入和輸出，對手可以訓練一個對抗性人工智能，預測一個給定的數據點是否被用來訓練我們的友好模型。

想象一下，我們的目標識別人工智能是在對手的新武器系統的分類圖像上訓練的。使用推理攻擊，對手可以了解到這個武器系統的保密性已被破壞。換句話說，對我們的人工智能系統的推理攻擊可以促進機密情報的泄露。如果這是在競爭期間進行的，它可能會對危機和沖突產生很大影響。

與逆向工程一樣，管理與推理攻擊有關的風險將主要通過政策決定來處理。除了訪問政策決定外，還將有關于何時在人工智能系統的訓練中使用敏感或機密數據、使用什么類型的數據以及數量的困難決定。這些決定將需要平衡性能和風險，以開發仍然能夠滿足任務要求的人工智能系統。

對大國競爭的影響

當然，這顯然不是對所有對抗性方法的詳盡解釋。然而，這個框架應該提供一個充分的概述，領導人可以通過它來探索將人工智能系統整合到我們的編隊中的全部影響，包括積極和消極的影響。美國和我們的對手都在追求這種技術，以便在未來的戰略競爭中獲得不對稱的優勢，而雙方都無法贏得這種優勢。

數據不對稱

當我們思考技術和不對稱優勢時，從第一原則開始，考慮相對獲得 "原材料 "的問題是有用的。在人工智能系統中，原材料是數據--大量的數據。美國是否能獲得與我們的對手相同質量和數量的數據？鑒于美國國家安全中圍繞隱私和數據安全的法律因素和社會規范--這本身就是一個關鍵的話題，答案顯然不是 "是"。這表明，美國在開發和部署人工智能系統方面將處于固有的不利地位。

開發能力

訓練有素的人員是人工智能系統的另一個關鍵資源。正如陸軍在其 "人員優先 "戰略中所確定的那樣，擁有合適的人員將是美國在戰略競爭中取得成功的關鍵。美國在工業界、學術界和軍隊都有人才。這些人員能否被招募、留住，并被引向艱難的國家安全問題，是一個值得專門思考的開放式問題。在短期內，應該確定我們編制內已有的人才，并且應該將各組織在人工智能方面的不同努力同步進行。

人工智能只是一種工具

人工智能是一種工具。像任何其他工具一樣，它有固有的優勢和弱點。通過對這些優勢和劣勢進行審慎和現實的評估，美國可以在人工智能的風險和回報之間找到最佳平衡點。雖然人工智能可能不會帶來美國在戰略競爭中所尋求的最大不對稱優勢，但我們也不能把技術讓給正在該領域進行大量投資的對手。相反，美國可以而且應該支持人工智能的道德使用，促進對強大的人工智能的研究，并為人工智能系統制定防御性的最佳做法。基于對人工智能系統的脆弱性和局限性的理解，實施這些行動和其他行動將導致美國更有效地將人工智能置于大國競爭時代的戰略中。

不斷變化的戰爭特點使得信息環境中的行動（OIE）必須處于軍事規劃和執行的最前沿。由于無法與美國的物質力量相提并論，美國的對手越來越依賴包括信息戰能力在內的不對稱方法來破壞美國的行動和影響。未來的聯合全域作戰（JADO）將需要一個綜合的、跨學科的作戰方法。本文認為，針對對手的認知和信息過濾器而采取的蓄意行動將阻礙對手的決策過程，使其失去對有效運用軍事力量作出明智決定的能力。通過研究俄羅斯在信息環境中的行動、信息戰活動以及反射性控制理論，作者提出了決策優勢理論。該理論試圖提供一種方法，故意利用信息來針對對手的行為和信息系統。其目的是剝奪對手感知和認識形勢的能力，并阻礙其有效利用呈現在他面前的信息來做出經過計算的決策的能力。

圖1 決策優勢理論。

決策優勢理論

決策優勢是通過信息力量來實現的，而信息力量是通過控制信息、利用信息和加強信息來保證自己的利益。信息力量可以達到與物質火力相同的效果，甚至更大的效果。它通過預測對手的行動，了解對手的動機，管理和操縱信息，改變決策算法，以及在信息環境中發展機會、活動和投資（OAI）來增強全領域的聯合軍事力量和效力。

• 決策優勢：一種理想狀態，在這種狀態下，指揮官比其對手更快、更有效地感知、理解、決定和行動。決策優勢在敵人的決策周期內發揮作用，以消除時間上的庇護所，并消除空間上的選擇。

• 信息力量是利用信息來塑造認知、態度和其他推動預期行為和事件進程的要素的能力。信息力量涉及獲取、處理、分配和運用數據的能力，以最大限度地提高戰斗力。作者進一步斷言，信息力量是通過控制、利用和加強信息來實現的，這使得信息戰的結果能夠持久、靈活和精心計算，以加強戰斗力并拒絕敵人的決策優勢。

信息力量--控制信息、利用信息和增強信息的組合--將使美國能夠把信息環境中的行動納入聯合防衛行動的規劃和執行。這將使規劃者能夠利用信息來實現結果。信息戰能力--信息作戰；電子戰；網絡；以及情報、監視和偵察（ISR）--提供了改變對手的指揮和控制過程，減少決策，并削弱其作戰行動的有效性的手段。信息力量和物質力量相結合，將通過在環境中制造多種困境，造成混亂，延遲或剝奪敵人采取適當行動的能力，從而降低對手的戰斗力。信息力量和物質力量的結合能加強軍事力量。

信息力量的第一個支柱，控制信息，涉及到保護自己的網絡不被敵人破壞或操縱。保持對信息傳輸和信息系統的控制可以確保信息的保密性、信息的完整性以及美國規劃者和作戰單位對信息的可用性。不受限制地進入值得信賴的系統和相關架構，確保最及時和最相關的信息指導決策。剝奪對手對信息的控制權使其無法了解自己的環境，造成不確定性，并使其決策復雜化。

決策也受到信息利用的影響。利用，是指利用資源并從中獲益的行為，包括改變、變更或操縱信息，使之對自己有利。通過了解對手的信息和認知過濾器、信息系統和情報結構，這是最有效的做法。創造信息戰結果的能力取決于精心制作信息并將其置于敵人決策周期中的正確時間和地點的能力。信息可以在四個過濾點被鎖定或武器化--傳感器、分析中心、分發點或個人。利用過濾器，人們可以降低決策者可獲得的信息的收集和質量，導致對情況的不完整或故意的錯誤理解。決策和具體行動是根據對環境的感知理解而做出的。阻斷信息流的能力阻止和延遲了重要數據到達組織，導致感知、理解和發展局勢的能力下降。傳統的信息操作活動與故意和持續地針對對手的過濾器相結合，將有機會同時針對代理人、信息和對所提交信息的解釋。反過來，這可以減緩對手感知、觀察、定位、決定和行動的能力，促進錯誤的結論，并破壞決策能力。

增強信息使人們能夠制定戰略目標和選擇，為對手創造跨越時間和空間的多種困境。 這需要強大的、敏捷的、分層的ISR資源和綜合指揮與控制過程。JADO的規劃和執行需要有能力同時在戰術、作戰和戰略梯隊中，在所有領域和統一的信息空間中進行機動。協調的計劃需要對形勢的理解，觀察模式和行為的能力，以及識別信息和行動環境的變化。支撐一個人加強信息的能力的是信任。信任包含了團體或個人對所收集信息的完整性所賦予的權重。經過處理、過濾和分析的信息能夠回答知識中的一個特定缺口。這種經過處理的信息被稱為情報。有了準確的情報和被充分理解的假設，決策者可以更準確地評估局勢，塑造環境，并削弱對手自己的決策過程。這樣一來--信息，更具體地說是強化的信息（或情報）--是一種武器，可以用來操縱和欺騙對手，剝奪他做出符合自己最佳利益的決定的能力。

控制、利用和增強信息的結合使決策者擁有了信息力量。信息力量使信息優勢得以實現，而信息優勢又能保證決策優勢。增強信息的能力使人能夠觀察敵人的習慣和行為，幫助人了解敵人的動機和意圖，并確定敵人的作戰能力。管理、放大和操縱信息可以使有針對性的、精心設計的信息到達指定的受眾。類似于過去信息傳遞的錯誤信息和虛假信息可以在過濾器上針對敵人。在信息系統的過濾器處進入情報裝置的信息以傳感器、分析中心和向作戰人員分發信息為目標。此外，通過在一個被認為可信的來源處提供虛假或誤導性的信息，可以改變敵人的決策算法。在特定的時間和地點呈現特定的信息可以改變對環境的理解并改變行為。這也會使人改變他的時間范圍。隨著不確定性的增加，一個人可能會根據感知到的情況選擇加快或減慢他的計劃。

雖然這一理論的每一部分，單獨來看，并沒有提出什么新意，但有兩點是明顯不同的。首先，必須把信息放在軍事規劃的最前沿，并與傳統的物質力量相結合。軍事文化認為，物質力量是至高無上的。現代戰爭要求在同等水平上考慮信息和物質力量。第二，控制、利用和加強信息的活動是美國空軍現在所接受的功能；然而，跨領域和跨職能的綜合規劃是有限的。缺少的環節是有意的整合和專門的過程，在一個同步和審慎的過程中納入所有領域的現有能力。為了實現決策主導權并通過信息力量獲得信息優勢，必須將信息環境中的行動納入規劃過程，如聯合規劃過程（JPP）、軍事決策過程（MDMP）、海軍陸戰隊規劃過程（MCPP）和空中聯合行動規劃過程（JOPPA）。指揮和控制必須充分考慮到所有領域--空中、太空、網絡、陸地和海洋--的非動能和動能行動。在信息環境中執行行動的能力要求在行動層面上有一個集中的規劃過程，以同時計劃和執行對信息的控制、利用和加強。這一點目前并不存在。集中化的規劃將使一個綜合的方法能夠與物質火力結合起來。控制可以保護美國的網絡和計劃，同時阻止敵人獲得重要信息。利用允許有機會拒絕、降低、破壞、改變和放大敵方使用的信息。加強為決策、目標定位和環境中的戰術行動提供所需的關鍵ISR收集。信息力量為指揮官提供了有效處理、分析數據和信息并采取行動的機會，同時剝奪了對手的同樣能力。因此，實現決策主導權需要一個協調和同步的計劃，利用控制、利用和加強所有領域和作戰功能的信息，目的是統一信息空間。

本文針對美軍提出的建議

本文闡述了統一信息空間的重要性，以通過在信息環境中的精心策劃和綜合行動實現決策優勢。充分執行聯合全域作戰的能力需要在規劃周期中重新強調信息和信息戰活動。這項研究提出了四項建議：

• 建議1：聯合部隊應考慮實現信息力量的要求。這項研究和相關的決策優勢理論斷言，信息力量是通過控制、利用和加強信息來實現的。信息力實現了信息優勢，從而保證了決策優勢。信息環境中的運作為物質環境創造了條件。信息力量與物質力量相結合，形成了軍事力量。

• 建議2：美軍需要進行組織、領導和文化變革，以實現信息力量和決策優勢。信息系統和情報架構必須在所有梯隊中得到整合--戰術、作戰和戰略。戰術任務規劃和更廣泛的作戰規劃必須轉變為將信息置于規劃的最前沿。個人和團隊必須理解信息環境中的行動的重要性，以及這些行動塑造物理環境條件的方式。正規化的領導者發展和專業軍事教育必須強調認知上的轉變，不再將沖突理解為物質力量，而是將信息力量和活動納入規劃、命令和執行。應更加強調了解如何使用和信任信息，如何操縱和處理信息，使之成為情報，以及如何利用信息來實現決策主導權。最后，數字素養應成為未來培訓的一項要求。

• 建議3：JADO要求有能力評估信息環境中的績效措施和有效性措施。必須制定一個有效的評估程序，以了解和衡量信息環境中行動的影響。應更詳細地研究這一點，因為這將建立信任，并更好地了解信息戰和信息相關活動如何產生軍事力量和作戰成功。

• 建議4：未來的指揮和控制程序應該能夠整合信息環境下的行動規劃和執行。應該制定一個聯合防務辦公室的軍事力量計劃，以協調和指導所有領域的戰略，并在信息環境中執行行動。這個過程應該與物質和動能規劃相結合，而不是分開，因為信息和與信息有關的活動為物質操作環境塑造和設定條件。

前言

美國陸軍未來與概念中心 未來戰爭部主任 克里斯-羅杰斯上校

歷史上的戰爭包含了大量改變戰爭性質的工具和技術的例子。自最初研究多域作戰（MDO）以來，美國陸軍發現人工智能是一種新興技術，有可能改變戰爭的特點，也許也會改變戰爭的性質。使用人工智能（AI）解決方案來緩解軍事問題是過去兩年未來戰爭研究、檢查和學習的一個反復出現的主題。作為2019年未來研究計劃的一部分，我們與陸軍、聯合、多國、學術和科技組織合作，探索和了解人工智能對多軍種的影響，并為未來的研究和發展制定一個操作框架。

多域作戰的人工智能運作最終報告提供了采用人工智能的組織框架，以幫助陸軍和聯合部隊更好地定義所需的能力以及相關的數據和網絡架構，以實現多域能力部隊。描述聯合部隊如何采用人工智能解決方案，為了解人工智能在時間和空間上對多域作戰的影響提供了一個操作說明。本報告確定并解決了與人工智能相關的好處、機會和挑戰，為進一步分析提供了基礎。諸如人工智能等新興技術使陸軍不僅可以改進當前的戰術、技術和程序，而且可以創造新的運用和融合能力的方法。

該報告支持美國陸軍人工智能任務組，該組織負責制定陸軍的人工智能戰略和政策。本文通過描述部隊如何在整個MDO框架內采用人工智能解決方案和相關技術，啟動了陸軍的人工智能運用工作。這份報告使概念發展團體能夠修改陸軍功能概念和戰場發展計劃。它為能力發展團體提供了作戰視角和部隊在確定所需能力時必須考慮的技術影響。此外，該報告還為作戰概念文件或基于能力的評估提供了開發情景或小插曲的基礎。該文件為科學和技術界提供了行動背景，以便為人工智能研究、開發、建模和模擬提供信息和指導。最后，它支持制定一個在未來使用人工智能的全面愿景，以告知陸軍現代化的努力，這將創造有能力的MDO部隊，準備好與任何對手作戰并取得勝利。

執行摘要

人工智能（AI）是未來聯合部隊實現多域作戰（MDO）全部潛力的基礎。人工智能系統提供了跨越領域、電磁頻譜和信息環境戰勝對手的能力。在競爭中使用這些系統使聯合部隊能夠近乎實時地了解作戰環境，從而更好地運用能力來擊敗旨在破壞區域穩定的威脅行動，阻止暴力升級，并將被拒絕的空間變成有爭議的空間。在從競爭到武裝沖突的過渡中，人工智能的機動、火力以及情報、監視和偵察能力為聯合部隊提供了拒絕敵人奪取優勢地位的能力。改進的維持能力與攻擊敵人的反介入/空中拒止網絡的能力相結合，為美國部隊提供了奪取作戰、戰略和戰術優勢位置的能力。通過由人工智能支持的多領域聯合行動圖（MDCOP）增加了解，使美國部隊有能力協調多領域的效果以創造優勢窗口。

制定人工智能的作戰概念使陸軍能夠更好地理解這些技術對戰爭的性質和特征的潛在影響。描述陸軍如何在未來的作戰環境中使用人工智能，有助于說明其對戰爭的暴力、互動和基本的政治性質的影響，以及戰爭不斷演變的特點。本文提供了一些小插曲（附錄A），說明了人工智能的組織運用，為美國陸軍RAS總體概念、作戰和組織概念、基于編隊的作戰概念以及系統或單個系統的運用概念的潛在發展提供信息。

人工智能的運作影響到未來部隊將如何運作，如何針對對手開展行動，以及指揮官如何利用軍事藝術和科學，運用部隊能力來實現預期效果和目標。在2019年未來研究計劃（FSP19）期間，人工智能工作線（LoE）確定了與實施人工智能支持的多領域解決方案有關的以下問題：

• 數據管理--AI/ML應用程序依賴于對策劃的數據的訪問，以便發揮作用。陸軍必須培養一種以數據為中心的文化，以標準化的格式和協議有效地生成、存儲和訪問數據。人才管理的努力必須側重于發展、培訓和保留一支精通數據的員工隊伍。這可以通過以下方式實現：

  • 在整個部門培養一種以數據為中心的文化

  • 投資于整個員工隊伍的數據科學培訓

  • 簡化數據訪問

  • 設計和實施協議，以確保數據的可發現、可訪問、可共享和可互操作性

• 功能分解--狹義的人工智能本質上是有限的，構建算法的數據科學家需要精確的問題定義，準確確定聯合部隊的要求。

• 可解釋人工智能--人工智能支持的系統需要有能力解釋決策/建議和所采取的行動背后的邏輯。這種解釋 "為什么"的能力是人類對人工智能智能體的信任基礎。

• 邊緣計算/人工智能--未來的作戰環境與有爭議的電磁頻譜預期要求有能力向前處理極其龐大的數據集，以及能夠自主行動的人工智能平臺。

• 利用商業部門--美國防部實驗室繼續在人工智能/ML發展方面取得重大進展，特別是與聯邦資助的研究和發展中心合作。商業部門繼續探索和擴大可能適用于軍事應用的工作。

作為FSP19的一部分，人工智能LoE開發了五個小插曲和一個概念草圖（見附錄A），以協助人工智能和機器學習的運作。這些小插曲說明了聯合部隊如何利用人工智能/ML來解決多領域行動所需的關鍵能力。MDCOP概念將依靠幾個有限內存的人工智能來建立和維護描繪整個戰場的藍、紅、綠活動。一個反應式機器人工智能將為特定的指揮官和總部定制MDCOP。合作傳感、維持、攻擊和瞄準的小插曲依靠反應式機器人工智能來優化傳感器覆蓋、維持吞吐量、攻擊順序和射手選擇。

未來部隊需要人工智能來充分實現多領域作戰的潛力。人工智能支持的系統使未來部隊能夠進行信息收集和分析，以便在時間有限和信息競爭的環境中增加對形勢的了解。這種能力使快速、知情和合理的決策成為可能。人工智能的決策支持代理將減輕作戰人員的認知工作量并提高整體效率。由人工智能支持的無人系統將探測、識別和穿透高風險區域，以提高開展行動和保護部隊、人口和資源的能力。人工智能使MDO在與近似對手的沖突規模下實現了作戰速度的要求。

美國國防部和空軍領導人認為，人工智能（AI）是一種改變游戲規則的技術，將幫助空軍情報、監視和偵察（ISR）體系克服大國沖突所需的情報分析速度和規模方面的長期挑戰。傳感網格概念（最近更名為傳感器集成）被作為未來框架引入，以整合人工智能和認知建模工具融入空軍ISR，但對于對手的威脅和道德方面的考慮卻很少討論，而這些考慮應該貫穿于系統的設計和功能模塊。為了讓空軍內部的人力和組織做好準備，以整合高度自動化的人工智能情報分析系統，領導人必須倡導以人為本的設計，從歷史上人機協作的成功和失敗中吸取教訓。領導人還必須采取積極主動的方法來培訓空軍的ISR勞動力，以便與革命性的但不完善的人工智能技術進行有效協作。

問題陳述

根據美國空軍作戰集成能力（AFWIC）傳感跨職能小組的說法，空軍情報、監視和偵察（ISR）的現狀是高度專業化、專有化，并且過于依賴人力密集的回傳（reach-back）過程。當規劃人員展望未來的大國沖突時，他們評估目前的硬件和分析過程將不足以建立對同行對手的決策優勢，情報工作在勝利所需的速度和規模方面落后。空軍A2的 "下一代ISR主導地位飛行計劃"對目前的ISR體系也提出了類似的批評，主張擺脫今天的 "工業時代的單一領域方法"，以追求 "架構和基礎設施，以實現機器智能，包括自動化、人機合作，以及最終的人工智能。"雖然為空軍人員提供更快更智能的工具來制作和分享評估是空軍高級領導人的優先事項，但引入更高水平的自動化和機器主導的感知為情報界帶來了一系列新問題。考慮到這些工具可能遇到的篡改和故意提供錯誤信息的威脅，依靠算法走捷徑是否安全？追求由自動化武器系統促成的戰爭到底是否合乎道德？如果是這樣，情報界采用自動化工具以更快的速度產生關鍵的情報評估會帶來什么風險？

人工智能（AI）一詞被美國防部聯合人工智能中心定義為 "機器執行通常需要人類智慧的任務能力--例如，識別模式、從經驗中學習、得出結論、進行預測或采取行動。"參議員們希望AI能夠很快為人類分析師用來進行評估的軟件套件提供動力，并使物理系統在更多的自主應用中發揮作用。機器學習（ML）被國防部高級研究計劃局（DARPA）定義為人工智能中的一個領域，"將統計和概率方法應用于大型數據集"，并可以將衍生模型應用于未來的數據樣本。利用ML好處的一個流行方法是通過深度神經網絡（DNN），它可以使用歷史數據被訓練成執行一系列的分類和預測任務。雖然在AFWIC或A2的出版物中沒有特別提及，但在模擬人類思維過程的應用中使用AI、ML和DNN是計算機科學和心理學的一個混合領域，稱為認知建模。在AFWIC對未來空軍ISR體系的設想中，AI、ML、DNNs和認知建模概念是向數字化、以網絡為中心的情報方法轉變的關鍵部分。

為了給空軍ISR體系的現代化舉措提供一個框架，AFWIC建立了傳感網的概念，定義為 "傳感器、平臺、人員、設備、內容和服務的組合，為決策者提供整體、準確、預測和及時的作戰環境特征。"該概念的設計者設想了一個具有預測分析、自主傳感和響應、融合多個數據源和邊緣處理的系統，所有這些都是通過利用AI、ML、DNN、數據分析和其他認知建模方法來實現的。盡管沒有公布傳感網格的首次亮相日期，但大多數討論表明，優化的系統簇至少還有十年。同時，美國防部領導層非常迫切地要趕上中國和俄羅斯在軍事人工智能應用方面的投資，鼓勵快速原型設計和實驗，以找到解決方案。人工智能在國防論壇上經常被認為是使以數據為中心的情報任務更快、加快戰術決策的答案，但如果所涉及的系統處于工程的初級階段，并且在國家安全領域仍未得到證實，這僅僅是猜想。

雖然AFWIC和空軍A2專注于人工智能傳感器和工具的研發投資，但很少討論使傳感網格安全和有效所需的人機合作動態。為了使傳感網格成為一個有效的系統，為空軍執行ISR和分析的方式帶來價值和進步，領導人應該在技術中倡導以人為本的設計，培訓和準備一線分析員與新系統有效的協作，并根據人工智能的優勢和劣勢調整組織做法。空軍領導人必須承認將更多的分析任務分配給人工智能工具所固有的對抗性威脅和道德問題，這些問題必須告知感知網格的藍圖。這并不是說正在進行的系統軟件開發應該停滯不前，而是說在情報和物資領導人之間必須同時進行對話，討論人類分析員的作用，因為這對減輕越來越多地依賴人工智能的弊端至關重要。空軍領導人還必須推行一項深思熟慮的計劃，將傳感網格組件整合到當前的傳感、識別、歸屬和共享（SIAS）活動中，使一線分析員為 "更高級別的推理和判斷"任務做好準備，同時承認機器應該增強人類任務，而不是完全取代人類。

接下來本文將提供與人工智能系統相關的脆弱性和道德問題的文獻回顧，以深入了解建設和應用傳感網格可能面臨的挑戰。它還將包括討論在完成和應用這個改變游戲規則的系統之前，情報和物資領導人應該考慮哪些因素。本文最后將就如何為空軍ISR戰斗空間準備傳感網格提出進一步的建議，為空軍人員在數字時代的行動提供必要的場景設置。

文獻回顧

最近關于將人工智能應用于認知任務的相關弱點的研究大多強調了對抗性樣本的危險性，這些樣本修改了DNN的輸入，導致它們控制的系統以各種方式發生故障。對抗性輸入可以是物理的或非物理的，可以影響各種數據分類器分類媒體，包括圖像、音頻文件和文本。最常提到的物理欺騙樣本是一個實驗，工程師通過將停車標志調整成不同的角度來愚弄自動駕駛汽車上的光學傳感器，導致車輛錯過停車。物理欺騙在國防應用中不是一個新穎的計劃，但將邊緣處理和自動化納入像傳感網格這樣的系統可能排除了人類分析師第一手識別這些戰術。在非物理領域，訓練算法以類似于人腦的方式來識別模式是一項具有挑戰性的任務。計算機視覺（CV）算法對圖像的分類與人類分析人員非常不同，當只有幾個像素不合適時，很容易對物體進行錯誤分類。在不太直接的情況下，工程師無法解釋模型的錯誤，刺激了DARPA等組織對可解釋人工智能的倡議。 在最好的情況下，對抗性輸入被識別為異常值，并被具有強大訓練樣本的CV模型所忽略；在最壞的情況下，它們可能會破壞現實世界的輸入，并在人類分析師不知情的情況下從樣本中數字化地刪除物體或活動。如果對抗性輸入導致分析師錯過他們通常會在沒有協助的情況下捕捉到的重要活動，就會產生災難性的后果。

如果將AI、ML和DNN應用于情報數據集背后的目標是以更高的速度分析和傳播更多的信息，那么自然語言處理（NLP）也可能是感知網格架構的一部分。NLP模型今天被廣泛用于個人和商業用途，像Siri和亞馬遜Alexa這樣的工具使用語音提示來啟動其他應用程序。NLP模型也可用于大量文本或其他媒體的理解任務，使用衍生數據回答問題。這種技術在融合多種數據源的SIAS任務中可能非常有用，但也可能容易受到干擾。NLP中的對抗性輸入可以引入錯誤的句子或用文本文件中的反義詞替換關鍵詞，導致模型在沒有時間或能力進行人工審查的情況下錯誤描述數據集。

與任何分層模型的方案一樣，CV和NLP模型是否能像預測的那樣有效地協同工作還是個未知數，更不用說檢測像Deepfakes這樣在非保密領域進入DNN的偽造數據了。人類分析員離通常可以檢測錯誤信息的源數據流越遠，SIAS就越容易受到錯誤輸入的影響。盡管有這種擔憂，但空軍A2的指導意見表明，人們對分層模型利用非保密的公開信息（PAI）進行無縫傳感器提示寄予厚望，使ISR體系能夠更有效地找到相關目標。如果沒有一種強大的方法來檢測提示傳感器的PAI樣本中的偽造媒體，這個過程可能難以安全地實現。

技術的復雜性和自動化、人工智能系統對篡改的潛在脆弱性，引發了關于在軍事行動中應用這類技術是否符合道德的討論。雖然傳感網格的設計不是為了直接使用武器，但來自該系統的情報數據很可能為關于多個領域的關鍵決策提供信息。關于AI/ML的倫理學文獻通常對采用自主運作、人類干預窗口有限的系統持批評態度，其邏輯與反對地雷等傳統自動化武器的倫理學論點相似。雖然傳感網格及其前驅系統將具有比壓力板裝置高得多的認知行為屬性，但一些人認為，人類對黑盒系統的控制同樣很少，這些系統在向人類操作者提出選擇或結論之前，會執行層層的算法通信。

幸運的是，人工智能系統可能也能夠在人類容易出現道德失誤的情況下進行補償，因為機器不會經歷像恐懼或驚慌這樣的情緒，而這些情緒可能會引發危險的決定或違反LOAC。盡管利用人類與認知模型合作的這一潛在優勢是謹慎的，但美國防部的指導意見將速度作為人工智能最有用貢獻的具體價值，這引入了更多道德難題。對個人決策的測試表明，人類在復雜環境中的風險評估能力已經很差，而引入人工智能，使人類判斷的價值邊緣化，只會導致更快的、風險更高的結論。當人工智能帶來的錯誤評估或草率決定導致災難性錯誤時，問責也是美國防部領導人必須準備解決的混亂道德問題。

大多數文獻中隱含的減輕對手篡改和道德失誤威脅的解決方案，是在人類控制器和自主的人工智能系統之間進行最佳分工。不足為奇的是，對于這應該是什么樣子，以及它如何適用于像傳感網格這樣的系統，有許多觀點。一些人認為，在國際協議框架中沒有雇用自動武器系統的空間，并將其缺乏責任感與兒童兵相比較。其他人認為，如果像聯合目標定位這樣的程序以同樣的嚴格和參與規則進行，人工智能工具將不會導致不可接受的失控。雖然人們認為迫切需要通過購買現有的商業軟件向聯合情報界提供傳感網格的能力，但如果美國防部領導人希望減少前面討論的風險，工程師、需求所有者和分析師必須致力于仔細討論人工智能應用在ISR體系中最有幫助的地方以及它們有可能造成傷害的地方。

討論結果

當涉及到投資建設由人工智能和認知建模應用驅動的未來ISR體系的項目時，美國防部和空軍除了需要快速投資并與大學和國家實驗室合作外，提供的指導有限。除了系統 "事故風險較低；對黑客和對手的欺騙行為更有彈性和表現出較少的意外行為"之外，對該部門在人工智能投資方面所期望的指導也是有限的。缺乏特殊性可能是人工智能在國防部戰略中首次出現的癥狀，但自滿和滿足于為投資而投資的情況并沒有遠遠超過這種情況。使用該技術的社區有責任決定與認知模型建立哪種類型的協作關系將提供最大的利益，但戰略指導似乎將責任交給了實驗室和行業合作伙伴，責成外部人士確定人工智能將解決的問題和解決方案。如果空軍ISR領導人在討論如何最好地將人類分析員與人工智能工具協作方面不發揮積極作用，他們將如何評估開發人員是否在提供資金的情況下取得足夠的進展？美國防部如何相信由非業務伙伴開發的解決方案能夠充分解決安全和道德問題？在什么時候，人工智能會從一個脆弱的研究項目過渡到改善SIAS的速度和準確性的可行解決方案？

討論人工智能及其在情報工作中的預期功能的一個更有成效的方法是，不要把它當作一個神奇的子彈，因為它的定義太不明確，根本無法研究。雖然將認知模型應用于情報過程可能是新的，但在戰爭中實現自動化的技術已經存在了幾十年。領導人必須考慮現代戰爭中已經存在的人機合作結構，以獲得設計和整合傳感網格的經驗。對于空軍ISR來說，分析當前和歷史上人類分析員、機載傳感器和戰區決策者的團隊合作是一項有益的工作。機載ISR傳感器的性能衡量通常通過傳感器輸出的響應性和準確性等因素來評估，但了解傳感器數據引發的分析和決策過程也很重要。例如，光譜成像傳感器可以被用作異常檢測器，突出不尋常的物體或活動，供人類分析員審查和報告。報告可以傳播給行動領導人，然后他根據情報做出決定，命令對異常活動的來源進行空襲。如果這一連串的事件在行動過程中習慣性地發生，那么傳感器和人類在循環中的互動可能會開始改變，而傳感器被潛意識地重新歸類為威脅探測器。在這種情況下，傳感器的性能規格并沒有改變，但隨著時間的推移，團隊關系中的人類開始對傳感器的輸出應用不同的價值，這可能是外部激勵因素的影響。雖然大多數分析家都知道，假設所有的異常情況都是威脅是不正確的，也是危險的，但人機協作關系演變為扭曲人類判斷的微妙方式是值得關注的。為了確保人機協作以道德方式進行，領導者必須反思協作結構如何在無意中抑制組織的價值觀。對新作戰技術的準確性和穩健性的要求是合理的，但了解技術煽動的組織行為和習慣對有效和道德地使用是最重要的。

除了在ISR體系內應用現有的人機合作經驗外，人工智能感應網格的設計也應以人為本。雖然在建立一個由人類分析員使用的系統時，這似乎是顯而易見的，但在復雜的系統工程項目中，人因工程和人機協作的考慮往往是一個低優先級的問題。這部分是由于傳統的組織障礙，將軟件工程師和人因專家放在不同的部門，尤其是后者專門研究認知心理學、神經科學和機器人學等學科，這些學科在一些項目中可能發揮有限的作用。未能在復雜系統中適當整合人的因素的后果是可怕的，這在波音公司的737 Max飛機上可以看到，該飛機在2018年和2019年發生了兩起致命事故。兩份事故報告都提到高度自動化的機動特性增強系統（MCAS）軟件是導致飛機失事的一個重要因素。 雖然MCAS被設計為使用傳感器輸入來協助飛行安全，但糟糕的人為因素考慮使得該系統在觸發自動程序后，飛行員很難覆蓋。雖然培訓用戶與新系統合作是入職的自然部分，但由于缺乏人為因素工程而導致的陡峭學習曲線是一種風險，可以通過對人類和機器行為進行建模來減輕，因為它們與手頭的任務相關。 在這種情況下，建模將幫助系統架構師確定在特定的團隊合作關系中造成誤解的溝通差距，也許可以提供關于機器如何在緊急情況發生前向人類操作員充分披露其局限性的洞察力。

當我們推測如何最好地促進人機互動，充分解決與人工智能和自動化相關的安全和倫理問題時，尋求視覺分析專家的咨詢可以提供有價值的設計見解。"視覺分析是一個科學領域，它試圖通過交互式可視化增加人機對話來提高自動化、高容量數據處理的透明度。 為分析師提供一個團隊結構，讓他們選擇如何可視化數據集，可以在自動化、機器輔助的數據精簡和人類判斷之間取得有利的平衡。在傳感網格的可視化分析的最佳應用中，分析師將以高度的信心理解數據集的重要性，這得益于調整基礎分析過程的能力。 理想情況下，可視化分析使用戶能夠通過向系統提出關于數據的假設和問題來利用他們的學科專長，使他們能夠通過對話得出結論。視覺分析中的一種被稱為語義互動的方法也可能是有幫助的，創建的模型可以將分析師與視覺數據的對話轉化為模型的調整，推斷和學習人類伙伴執行常規任務的原因，如突出、復制等。考慮到前面詳述的學科有多新，建立明確的測試和評估標準將是準備將這些和其他團隊技術納入SIAS任務的重要步驟。

美國空軍研究實驗室（AFRL）內的各局無疑面臨著許多挑戰，在這個概念正式確定之前，他們一直致力于建立傳感網格的組成部分。將人工智能整合到智能架構和軟件中的工程師和開發人員主要在羅馬實驗室AFRL信息局（AFRL/RI）工作，分為多個核心技術能力（CTC）團隊。特別是處理和開發（PEX）CTC將深入參與開發實現傳感網的DNN，其任務是"為空軍、國防部和情報界提供快速感知，以提高對形勢的認識和對抗的洞察力"。在PEX CTC中，項目按功能分為特征化、極端計算、理解和預測項目，涵蓋了從數據提取到高級感知的一系列步驟。人因工程方面的專業知識來自位于兩個州外的萊特-帕特森空軍基地的飛行員系統（RH），一個跨學科局。下一步，PEX CTC的項目可能會與AFRL的其他部門（如傳感器（RY）或航空航天系統（RQ））的開發項目相結合，將RI的SIAS部分與新的機載收集傳感器和車輛聯系起來。目前，RI的工程師使用來自實際聯合和國家情報來源的樣本數據流，逐步解決在大量非結構化數據中進行分類的計算挑戰。尋找解決方案以保持物理系統的尺寸、重量和功率要求可控，也是一個持續關注的問題，特別是在像Agile Condor這樣尋求在機載系統上提供高水平邊緣處理的項目。

正如前面的文獻調查所示，在DNN中建立穩健性和安全性，以防止ML中的對抗性干擾，是任何網絡開發者都關心的問題，RI內部的團隊也不例外。DNN已經在實驗室環境中以意想不到的方式學習或失敗，引入與人類感知相矛盾的對抗性輸入，可能會使開發有用工具的進展受挫。如果系統繼續隨著新數據集的發展而發展，那么可能很難確定技術成熟度的基準，在這種情況下，AFRL將維持責任轉移給空軍生命周期管理中心（AFLCMC）是合適的。雖然這一點與建立人工智能傳感網格組件的測試和評估標準的重要性有關，但它也應該引發關于復雜系統在開發和維持組織之間的移交是否適合這種技術的討論。理想的情況是，在DNN上擁有最多專業知識的團隊建立模型，并在其整個生命周期內維護它們。一個更有可能和更少破壞性的行動方案是建立具有可升級底盤和外形尺寸的傳感網組件，允許在可用時用替換設備進行簡化升級。考慮到國家實驗室、DARPA、麻省理工學院、卡內基梅隆大學和其他機構的大量人工智能研究投資，空軍領導人應該考慮如何在研究結果公布后，整合部門的投資回報，以改善感知網的設計和功能。

對于美國防部和空軍領導人來說，為未來傳感網的整合創造條件，還有其他獨特的倫理挑戰需要協調。如果 "傳感網格"及其組件能夠提供該概念所承諾的快速和強大的傳感功能，那么期望所有使用該系統的一線分析員都能理解其工作原理是否合理？在發生災難性錯誤的情況下，初級分析員是否需要了解該技術，以便對涉嫌疏忽的錯誤負責？"將邊緣處理納入傳感網設計也是一個有道德爭議的話題。雖然自動數據處理可以節省SIAS的時間，但分析師如何知道邊緣計算程序是否出現故障，或者他們是否被對手欺騙？從傳感器的邊緣去除人類的認知勞動可以更快地提供數據，但結果的準確性可能會有所不同。那些認識到這些問題，但卻因為要比中國或俄羅斯更快地投入技術的壓力而推遲解決的領導人，應該仔細思考這一立場背后的原因。雖然中國和俄羅斯的政府形式與美國根本不同，但事實是，這兩個國家都有等級制度，對國防事務中的錯誤和不精確性的責任也很重視。以類似于核計劃的方式，美國政府應該領導國際社會與競爭對手分享安全、設計良好的人工智能算法的傳統技術，確保沒有國家因為糟糕的態勢感知工具而引發誤解導致的沖突。最好的國際人工智能軍備控制可能來自于對人工智能研究結果的盡可能透明，并倡導負責任地使用該技術。

建議

盡管完整形式的傳感網格還需要幾年時間才能實現，但最終系統的組成部分可能會在未來十年內逐步投入使用。在為下一代人機協作做好技術、人員和組織的準備方面，還有大量的工作要做。美國防部和空軍ISR領導人不應等到正式的系統首次亮相時才開始倡導在傳感網格技術中采用以人為本的設計，將人工智能的培訓目標納入對一線分析員的指導，并為組織接受該技術和與之合作做好準備。當涉及到設計和構建這個復雜的系統時，物資領導人在考慮采購商業的、現成的軟件以獲得更快的數據匯總解決方案時，應該謹慎行事。在沒有為傳感網格及其系統如何運作建立測試、評估和安全標準的情況下，過早地整合多用途商業軟件可能會給傳感網的人工智能互動帶來不確定性和風險。

此外，找到更快解決方案的愿望不應該先于對人的因素的考慮，因為這對安全和富有成效的人機合作至關重要。美國防部領導人還應該認真審視在整個傳感網中整合邊緣處理的計劃，將其作為一個安全和道德問題，并應仔細思考在哪些地方將人類感知與傳感器輸出分離才是真正合適的。雖然培訓人類分析員是ISR體系可以采取的最明顯的措施之一，以減輕來自外部干預和道德失誤的威脅，但物資領導人也必須考慮他們在采購精心設計的、以人為本的技術方面的作用，作為一個同樣重要的保障。

正如美國國防創新委員會的AI原則。雖然年輕的分析員在快速學習數字應用和程序方面表現出很強的能力，但初級人員也傾向于以令人驚訝的方式信任技術。因此，這些分析員必須繼續接受情報分析基礎知識的培訓，使他們善于識別傳感網格中的算法錯誤和遺漏。空軍領導人在2018年為促進AI和ML素養邁出了務實的第一步，啟動了一項試點計劃，以確定具有計算機語言經驗的空軍人員，希望在各種舉措中利用那些具有編碼專長的人。雖然這項措施將有助于區分具有較高數字熟練度的分析員，但教導勞動力如何運作計算機模型可能是一個更有用的技能組合，以準備在傳感網中進行人機合作。"為傳感網就業準備一線分析員的最壞方法是依靠及時培訓來彌補勞動力對技術知識的差距，從而為SIAS活動引入更大的錯誤率。

為了讓組織準備好接收和整合傳感網格，美國防部和空軍領導人必須首先解決人力需求。盡管像傳感網格這樣的系統被設計成模仿人類的認知勞動，但分析人員的勞動對于質量控制和任務管理仍然是至關重要的，更不用說作為識別DNN內潛在篡改或系統故障的保障。現在還不是為預期的技術進步做出任何急劇的力量結構調整的時候，而這種技術進步離投入使用還有好幾年的時間。此外，到目前為止，關于傳感網將如何整合來自聯合部隊的數據，或者是否允許作戰司令部像今天一樣擁有自己獨特的數據戰略和情報資源的討論很少。如果傳感網由于來自一個服務部門或地理作戰司令部的人為縫隙而無法為分析人員提供更多的情報來源，那么該系統是否真正做到了其設計者所宣傳的？這些問題必須在聯合參謀部層面加以解決和調和。最后，利用來自傳感網的情報的組織必須認識到，當他們與機器合作時，他們很容易受到偏見和捷徑的影響。了解外部壓力和交戰規則如何導致對機器輸出的質疑失敗，對于改善人機伙伴關系，真正使SIAS更加有效至關重要。

結論

美國防部和空軍對人工智能在情報中的應用所進行的研究投資，對于確定部隊應如何準備與傳感網格進行人機合作是至關重要的。對領導人和一線分析人員進行培訓，讓他們了解在自動化、人工智能支持的SIAS中存在的道德難題和對手攻擊的可能性，這對保護組織不傳播錯誤信息至關重要。幸運的是，美國防部和空軍ISR領導人主張在傳感網格系統中采用以人為本的設計和培訓模式還為時不晚，因為AFRL的工程師們正在繼續努力為部隊提供一個安全、務實的解決方案。領導人必須認識到以速度換取精確性的組織傾向，并理解精心設計的系統分階段整合將是值得等待的。

人工智能正在改變戰爭。英國防部如何準備應對未來的變化？

對于人工智能的軍事用途所帶來的接受挑戰，傳統的反應是堅持要求人類保持 "有意義的人類控制"，作為一種產生信心和信任的方式。考慮到人工智能和相關基礎技術的普遍性和快速發展，這不再是一個適當的回應。人工智能將在整個軍事行動范圍內廣泛的指揮和控制（C2）活動中發揮重要的、日益增長的作用。雖然在公眾心目中，人工智能的威脅沒有 "殺手機器人 "那么直接，但在軍事決策中使用人工智能會帶來關鍵的挑戰，同時也有巨大的優勢。加強人類對技術本身的監督并不能防止無意的（更不用說有意的）濫用。

本文以各級（作戰操作員、指揮官、政治領導人和公眾）的信任對有效采用人工智能進行軍事決策至關重要這一前提為基礎，探討了關鍵的相關問題。對人工智能的信任究竟意味著什么？如何建立和維持它以支持軍事決策？人類操作員和人工智能體之間的共生關系對未來的指揮需要作出哪些改變？

當人類對人工智能的行為持有某些期望，而不考慮人工智能體的意圖或道德時，可以說存在對人工智能的信任。然而，與此同時，信任不僅僅是技術性能和可靠性的一個功能--它不能僅僅通過解決數據完整性和可解釋性問題來保證，盡管它們很重要。軍事人工智能中的信任建設還必須解決軍事組織和指揮結構、文化和領導力方面的必要變化。實現總體上適當的信任水平需要一個整體的方法。除了信任人工智能的使用目的之外，軍事指揮官和操作人員還需要充分信任--并且在如何信任--支撐任何特定人工智能模型的輸入、過程和輸出方面得到充分的培訓和具有豐富經驗。然而，最困難的，也可以說是最關鍵的層面是組織生態系統層面的信任。如果不改變軍事決策的體制因素，未來人工智能在C2中的使用將仍然是次優的，被限制在一個模擬框架內。有效引進任何新技術，更不用說像人工智能這樣的變革性技術，需要從根本上重新思考人類活動的組織方式。

優先考慮人和制度層面并不意味著對技術進行更多的控制；相反，它需要在不斷發展的人機認知系統中重新思考人的作用和貢獻。未來的指揮官將需要能夠在一個真正的 "整體部隊"中領導不同的團隊，整合來自軍事、政府和民事領域的貢獻。他們必須對他們的人工隊友有足夠的了解，以便能夠與他們合作并挑戰他們。這更類似于海鷗的雜音，而不是個別 "翠鳥"領導人的天才。為了發展新的指揮和領導概念，英國防部必須重新思考其方法，不僅是培訓和職業管理，還有決策結構和程序，包括未來總部的規模、位置和組成。

人工智能已經在改變戰爭，挑戰人類長期的習慣。通過在訓練和演習中接受更多的實驗，以及探索C2的替代模式，國防部可以更好地準備迎接未來不可避免的變化。

前言

人工智能正在改變人類的思維和決策方式。未來，它將越來越多地影響人類如何確定各種認知過程的優先次序，調整他們的學習、行為和訓練，并更廣泛地改造他們的機構。這些變化在整個軍隊中仍不完全明顯。盡管有新的技術和戰爭迅速發展的特點，今天的武裝部隊在組織結構上與后拿破侖時代歐洲的職業軍隊并沒有很大的區別。太多的人仍然參與到軍事任務中，而這些任務技術可以做得更好更快，并且對于重新思考人類對人機團隊的認知貢獻也沒有給予足夠的重視，而這正是解決未來指揮和控制（C2）問題所需要的。

本文以QinetiQ公司早先的一份報告為基礎，該報告將信任視為軍事能力的基本組成部分和2020年代軍事適應性的基本要求。本文探討了在軍事決策中越來越多地使用人工智能的最新趨勢和想法。本文并不直接關注這一趨勢的倫理（或法律）問題，盡管這些問題很重要。相反，本文強調了信任作為人工智能時代軍事指揮的一個因素的重要性和意義。

人工智能對軍事決策和C2的潛在深遠影響很少引起專家團體以外的關注。大多數公眾關注的是技術的優勢和風險，而不是人類認知和制度構建的潛力和限制。20多年前，著名的社會生物學家E-O-威爾遜抓住了人類當前的挑戰。威爾遜說，真正的問題是，"我們有舊石器時代的情感；中世紀的制度；和神一樣的技術。"在過去的幾十年里，技術的發展速度遠遠超過了人類適應它的能力。強調人工智能的技術屬性，而忽略其日益增長使用中的人類和制度層面，只會使挑戰更加復雜。

在許多領域，人工智能的軍事經驗仍然有限，需要做更多的工作來了解人工智能在人類決策中作用日益增長的影響。本文旨在引發一場更廣泛的辯論，討論英國國防企業內部所需的文化和組織變革，包括指揮部和指揮官的作用，以確保人工智能在未來軍事決策中的最佳使用。

本文的見解來自與人工智能、人類認知、軍事決策和信任理論有關的更廣泛的文獻。這項研究在2021年9月至2022年2月期間進行，大大受益于與來自國防、學術界和工業界的廣泛專家和用戶的訪談。

前兩章提供了本文的理論背景。第一章探討了人工智能和信任的概念，第二章則分析了人類機構的作用以及人工智能對人類做出選擇和決定的認知能力的影響。第三章結合信任、人工智能和人類機構的概念，提出了一個在人工智能支持的軍事決策中發展信任的五維框架。第四章擴大了對C2的分析范圍，特別關注人工智能對傳統上支撐武裝部隊行使權力和指導的人和體制結構的影響。最后一章提出了對未來指揮、領導和 "全軍 "團隊的進一步研究領域。

1. 人工智能和信任

對于人工智能或與人工智能有關的信任，并沒有標準的定義。這兩個概念都有不同的解釋，有時也會有激烈的爭論。本章沒有試圖綜合所有關于這兩個術語的文獻，而是建立了一個基準定義，為隨后討論關于人工智能應用于軍事C2的信任作用提供框架。

1.1 人工智能的性質和類型

人工智能的概念起源于1950年著名的圖靈測試，該測試發生在這個詞被創造出來的幾年前。通過關注它做什么而不是它是什么，更容易將人工智能概念化。人工智能 "試圖讓計算機做人類思想能做的各種事情"。在最基本的方面，它可以被理解為追求特定任務的虛擬信息處理能力。正如 "智能"（或 "思想"）有許多層面和不同的用途，人工智能也是如此。因此，人工智能從廣泛的學科中汲取不同的想法和技術，不僅包括數學和計算機工程，還包括哲學、經濟學、神經科學、心理學和語言學。

廣義上講，有三種不同層次的人工智能：人工狹義智能，通常被稱為 "狹義人工智能"；人工通用智能，有時被稱為人類水平的人工智能；或者更強大的人工超級智能，超過人類的智能水平。在這一點上，有些人認為會出現一個奇點，在這個奇點中，人工智能要么變得有自我意識，要么達到持續改進的能力，使它的發展超出人類控制。后兩種水平被認為仍有一段距離，盡管距離有多遠還存在爭議。不過，就目前而言，狹義人工智能更先進應用的出現，如先進的機器人技術，加上計算能力的爆炸，才是目前關于人工智能的軍事用途辯論的主要動力。本文重點討論狹義人工智能的應用。

圖 1：AI 類型的簡化分類

在狹義的人工智能中，還有更多的類別，盡管這些技術并不完全是離散的，而且經常被結合使用。最常見的區別是符號人工智能和亞符號或非符號人工智能，前者通常被描述為基于邏輯，后者基于自適應或學習。符號人工智能依賴于順序指令和自上而下的控制，使其特別適合于確定的問題和基于規則的過程。非符號人工智能，其中神經網絡是一種常見的方法，涉及并行、自下而上的處理和近似推理；這與動態條件和數據不完整的情況最相關。符號人工智能提供了精確性和可解釋性，而涉及神經網絡的非符號人工智能則不那么脆弱（網絡中缺少一個節點并不會導致整個網絡無法運行），并且能夠在沒有明確規則或一致證據的情況下識別模式。

有三種常見的機器學習類型，根據有助于智能體學習過程的反饋類型進行區分：監督學習；無監督學習；以及強化學習。在監督學習中，系統被訓練來產生假設或采取具體行動，以追求基于特定輸入的目標值或輸出（被稱為標簽）（例如，圖像識別）。無監督學習沒有設定規格或標簽，也沒有明確的反饋；相反，系統通過尋找數據中的模式進行學習（例如，DNA序列聚類）。強化學習依賴于一個反饋回路，通過試錯或獎懲機制穩定地強化系統的學習行為（例如，先進的機器人技術或無人駕駛汽車）。與監督學習不同，強化學習中使用的輸入數據不是預先定義的，這允許更廣泛的探索，但與無監督學習不同，它有一個預期的應用或總體目標（與總體獎勵最大化相關）。

所有三種類型的機器學習，無論監督或自律的程度如何，都提出了重要的信任和值得信賴的問題。所需的信任程度和性質因使用人工智能的目的不同而不同。

1.2 概念：信任（Trust）

信任描述了兩個或多個智能體之間的互動。信任的傳統定義是假設信任者對受托人的能力和善意（或動機）存在合理的信念。對許多人來說，道德誠信（或意圖）的問題是信任與其他概念（如信心）的區別。另一些人認為，信任的范圍和所指比信心更廣，后者被視為與具體事件相關的獨立判斷。大多數信任的定義趨于統一的是一種脆弱的感覺。沒有背叛的可能性，沒有風險的存在，就不可能有信任。

正是因為經典的信任概念中隱含著假定的道德因素，一些人質疑使用該術語來描述人類與人工智能體的關系。他們認為，在目前狹義人工智能的水平上，我們不能將意向性或道德機構歸于人工智能系統，因此使用 "信任 "一詞是不恰當的。另一些人采取了不那么純粹的觀點，并以反映日常使用的方式應用該術語，意味著對系統的可靠性有信心。

信任作為一個術語在計算機科學中被廣泛使用。更重要的是，信任仍然是公眾和用戶接受人工智能的一個基本方面。今天，關于人工智能的國家政策、法規和專家建議經常強調 "值得信賴的人工智能 "的必要性。例如，DARPA的空戰進化計劃正在探索方法，以模擬和客觀地衡量飛行員在斗狗時對人工智能的信任。認識到這些尚未解決的定義問題，作者選擇了略微調整 "信任 "一詞，使之與通常的做法一致。

作者調整后的信任概念需要對人工智能的表現有一定的預期，而不需要假設人工智能方面的特定動機。因此，對人工智能體行為的積極預期可能是信任存在的充分條件，而不考慮意圖。

在目前大多數關于人工智能的討論中，重點往往是人作為信任者，系統作為受托人，盡管任何認知智能體，包括自主機器人和智能機器，原則上也可以履行信任者的角色。這樣理解的話，信任就成了 "系統成員之間互動的促進者，無論這些成員是人類智能體、人工智能體還是兩者的組合（混合系統）"。事實上，在人工智能更成熟的應用案例中，受托人最有可能同時包括人工智能支持的系統（人工智能體）和該系統的提供者（人類智能體）。在目前的人工智能水平上，信任似乎是一種單向的關系，涉及人類 "信任 "人工智能的程度，而不是真正的雙向信任，即人工智能對人類表現的看法。

各種因素決定了（人類）對技術的信任，包括但不限于信任者的能力水平和信任傾向，以及整體環境或背景（包括更廣泛的文化和機構動態）。除了這些針對人類和環境的考慮，決定一個人或組織對人工智能的信任程度的是技術的性能、過程（它如何產生特定的輸出），以及重要的是目的。所有這三者都決定了人工智能系統的設計和部署。

除了技術的穩健性和安全性，隱私、公平、透明度和問責制是一些最常被提出的影響公眾對人工智能信任的問題。然而，主要是由于設計適當的算法、理解復雜軟件系統的內部結構以及為基于算法的決策賦予責任等方面的困難，所以在值得信賴的人工智能的關鍵屬性列表中總是會加入進一步的考慮：這被交替稱為人類機構、監督或有意義的控制。在某些情況下，保持人類對技術使用的監督可能是唯一的保護措施，以防止無意中出現有偏見的、不可捉摸的和/或監管不力的人工智能系統的風險。

1.3 概念：控制（Control）

控制通常被看作是信任的反面。當對智能體執行任務的能力有信任時，就不需要監督。然而，即使在人工智能更適合做決定的情況下，人類也會經常傾向于干預。信任不足可能和過度信任一樣有風險或適得其反。事實上，正如絕對的控制是罕見的，絕對的信任也是如此。在開發和使用人工智能的過程中，有必要在適當的信任水平和適當的控制水平之間取得謹慎的平衡。這是 "校準的信任 "或可適應/適應性自主性等概念的核心。信任是根據人工智能的能力來校準的，對人工智能能做什么或不能做什么的期望將影響信任的水平。同樣，在可適應的自主性的情況下，用戶定制自主性水平的能力可以支持更大的信任水平。這在國家安全決策中尤為關鍵，因為信任或不信任人工智能的影響可能是最大的。

對技術在人類事務中的作用的擔憂并不新鮮。許多人認為關于人工智能的辯論與之前關于技術的爭論沒有什么不同。根據這一論點，人工智能構成了一種進化，而不是對過去活動的徹底背離，即使人類有時可能在背離以前的自動化水平的情況下被從決策圈中移除。雖然信任仍然是一個挑戰，特別是在機構和社會層面，但穩步應用最初仍然有限的人工智能來支持軍事活動，隨著時間的推移，可以培養出熟悉和越來越多的信心。

其他人，通常是政府以外的人，質疑這種漸進式的方法。他們認為人工智能的崛起是一種范式的轉變，與以前的任何技術都有質的不同。以前的技術都沒有將人工智能的雙重用途特性、傳播的便利性和實質性的破壞潛力結合起來。在過去，最具破壞性的技術都在政府的控制之下，或者在軍事領域之外幾乎沒有應用。此外，雖然以前政府主導了大部分新技術的開發，但這種趨勢幾乎完全逆轉；現在大部分投資和創新來自于工業。鑒于軍事和民用界限的模糊，以及我們的對手和競爭者對人工智能的投資，認為我們可以控制人工智能發展和使用的速度和程度是不明智的。在反思算法技術的進步時，一些人甚至進一步聲稱技術和人類之間的角色發生了逆轉，人們正在成為 "人類的人工制品"和"（技術系統的）智能體"。

如果我們接受對人工智能系統在未來如何操作（和運行）進行完全控制的限制，關鍵問題是我們如何在算法超過目前的性能水平后長期確保適當的交互和人類判斷。反應時間是軍事競賽中的一個關鍵優勢；加快OODA（觀察--方向--決定--行動）循環的各個方面，通常會給那些先到者帶來領先優勢。而這樣做只要一方開始使用人工智能來加快他們的決策和反應時間，另一方就會受到壓力。

2. 人工智能和人類機構

2020年12月，美國空軍首次使用人工智能副駕駛飛行了一架軍用飛機。這種被稱為ARTUμ的算法完全控制了傳感器的使用和戰術導航，而其人類隊友則駕駛著U2間諜飛機。這是首次出現人工智能控制軍事系統的情況。用美國空軍前首席采購官員威爾-羅珀的話說，ARTUμ "是任務指揮官，是人機團隊的最終決定者"。

甚至在ARTUμ演示之前，美國國防部已經開始了其全域聯合指揮控制（JADC2）計劃的工作。JADC2旨在打造連接五個軍種的傳感器，承諾對作戰環境進行快速分析，以便在幾小時或幾分鐘內做出決策。在未來的JADC2中，人工智能將允許快速處理數據，為目標識別提供信息，并推薦最佳的交戰武器（無論是動能還是非動能）。美國空軍的先進作戰管理系統、美國陸軍的 "聚合項目"（被稱為 "學習運動"）和美國海軍的 "超配項目 "都在嘗試使用人工智能與自主性相結合的方式來支持JADC2。

其他國家，包括英國通過英國陸軍的 "Theia計劃"等項目，以及北約也已經開始嘗試使用人工智能來支持C2和決策。然而，這種試驗的規模和范圍仍然有限。與數據挖掘和語言翻譯等領域不同，人工智能在軍事決策中的應用仍處于起步階段。

美國國防部高級研究計劃局目前開展的工作提供了對未來的一瞥。作為其 "AI Next "項目的一部分，該機構的第三波人工智能投資尋求 "將計算機從工具轉變為解決問題的伙伴"，并 "使人工智能系統能夠解釋其行動，并獲得常識性知識并進行推理"。

2.1 人工智能的民事與軍事用途

人工智能已經塑造或推動了我們的許多日常決策。在某些情況下，它已經改變了整個行業。在高度交易性的活動中尤其如此，如保險或零售部門。人類已經將關鍵活動的責任交給了人工智能，讓算法在沒有人類干預的情況下做出決定。今天，人工智能塑造了谷歌和Facebook等網絡平臺提供的內容，也決定了哪些內容被刪除或屏蔽。保留了人類因素的人工智能決策支持系統也在激增，被用于從醫療診斷到改善制造工藝的各個方面。

很少有地方像金融業那樣，人工智能從根本上改變了人與機器的關系。人工智能現在負責絕大多數的高頻交易。在幾毫秒內做出的數千項微觀決定有能力改變整個財富，有時會帶來毀滅性的后果，2010年的 "閃電風暴 "證明了這一點。人類的決定對于金融市場的效率不再是必要的，事實上，甚至可能會起到反作用。無形的算法似乎已經超越了無形的手。

至于社會的其他部分，人工智能的潛在軍事用途涵蓋了廣泛的應用范圍。這些可以有效地分為企業、任務支持和業務人工智能應用。人工智能的軍事應用，特別是與任務支持和作戰用途有關的應用，在一些基本方面與日常的民用活動不同。在平民生活中，人工智能有機會利用大量容易獲得的數據，不斷針對現實生活中的例子進行訓練和學習。對于軍隊來說，與對手的接觸是零星的，來自真實行動的教訓或 "數據 "在數量和頻率上都相對較低。除了軍事對抗的偶發性質，國家安全決策通常依賴于一套復雜得多的條件，涉及多個參數和利益相關者（更不用說對手的意圖），而今天的算法沒有能力再現這些條件。最后，也是最重要的一點，在國防和國家安全問題上，面臨風險的不僅僅是財富，還有生命。數學邏輯不足以為決策提供依據；在使用武力時，道德和倫理考慮比任何其他人類活動都要突出。當人類生命的完整性受到質疑時，我們為技術設定的標準將永遠高于我們為容易出錯的人類設定的標準。

除了美國、英國和北約等國的現行政策外，人們普遍認為人類將在決策中保留一個關鍵角色。美國國防部的人工智能戰略指示以 "以人為本的方式 "使用人工智能，有可能 "將人類的注意力轉移到更高層次的推理和判斷"。納入人工智能的武器系統設計應 "允許指揮官和操作人員對武力的使用進行適當的人類判斷"，并確保 "清晰的人機交互"。提到人類總是 "在循環中 "和 "完全負責選項的開發、解決方案的選擇和執行"--這是以前對我們日益自動化的未來的評估中的常見說法--已經被一種更細微的觀點所取代。

所謂的有監督的自主系統是指人類坐在 "循環 "上。雖然人類在理論上保持監督，但一些批評者認為，在實踐中，他們可能無法真正控制自動決策，因為他們可能不熟悉為他們提供決策信息的環境和人工智能程序。在這些情況下，人類的干預能力，除了停止機器之外，被降到最低，沒有達到"有意義的人類控制 "的想法。只有在完全自主系統的情況下，人類的干預才會被完全消除。然而，最終，試圖定義自主性水平的做法可能會產生誤導，因為它們假定人類和機器之間的認知活動是簡單分離的。2012年美國國防科學委員會的一份報告描述了如何:

• 沒有完全自主的系統，就像沒有完全自主的士兵、水手、空軍或海軍陸戰隊一樣。也許對指揮官來說最重要的信息是，所有的系統在某種程度上都由人類監督，而最好的能力來自于人類和機器的協調和合作。

兩個領域的發展揭示了各國政府在國防和國家安全的關鍵決策中信任先進的自動化方面已經走了多遠。一個是導彈防御，另一個是網絡防御。兩者的有效性都取決于反應速度，這通常超過了最有經驗的人類操作員的能力。

大多數防御性武器系統，從短程點防御到反彈道導彈系統，都采用先進的自動化操作，使其能夠在沒有人類干預的情況下探測和摧毀來襲導彈。算法實際上是在發號施令。在這種系統中，人類被稱為 "循環"，在事先經過嚴格的人類測試后，在有限的設計空間內運作，因此其控制范圍受到限制。雖然錯誤永遠不可能被完全消除，但在大多數情況下，不做出反應或反應遲緩的風險可能超過偶爾發生事故的風險。雖然事故促使人們對這些自主系統的操作進行審查，并可能導致引入一些進一步的人為檢查，但這種干預也帶來了進一步的復雜性。對越來越快的導彈，特別是高超音速導彈的防御將繼續推動人工智能在導彈防御中的應用。

網絡戰是人工智能相對于人類具有明顯優勢的另一個領域，而這往往需要人類保持置身事外。人類操作員缺乏算法快速檢測和應對網絡事件以及不斷調整系統防御的能力。所謂的認知電子戰（EW）系統應用人工智能技術來自動檢測對EW系統的威脅，而不是依賴人類操作員。

2.2 人類和人工的局限性

將決策過程中高度耗時、勞動密集型和需要低層次人類推理的部分自動化，有巨大的好處。軍事評估過程是軍事決策過程的一個關鍵部分，一直是參謀學院教授的標準作戰計劃過程。這種方法的一部分涉及收集和處理信息，為一個或多個行動方案提供信息。由于信息時代的決策需要更大的速度和敏捷性，達成決策的過程將需要加速。人工智能已經證明了它在基于明確定義的規則、輸入和假設快速執行理性過程中的效用。只要人類負責設定假設并定義產生替代方案和概率評估的輸入，人工智能就能增強整個決策過程。

可以理解的是，政府內部和外部都不愿意讓人工智能發揮超出決策支持和適當決策的作用。"指揮和控制"的概念在軍隊的心理和結構中根深蒂固，許多人無法接受一個在某種程度上不涉及人類控制軍事行動或指揮任務的未來。人被要求帶著他們對問題的創造性見解，像現代的亞歷山大一樣解開這個死結。沒有什么比對 "翠鳥時刻 "的信念更能體現這種對直覺型指揮官形象的依戀。這種技能，即指揮官藝術的精髓，只限于那些在最苛刻的情況下能夠憑直覺做出決定的少數人。人工智能提供并非基于人類邏輯或經驗的獨特見解的能力，對這種思維提出了深刻的挑戰，并可能在未來改變指揮官的形象。

許多人將人工智能稱為決策支持而不是決策工具，其推論是人類最終仍然是所有決策的仲裁者。這樣的區別造成了一種令人放心的錯覺，即人工智能只是協助實現一種效果。人類根據一套算法挖掘、篩選和解釋的數據做出的致命行動決定，是否比由智能機器完全執行的決定需要更多的人類機構？對 "行動 "的癡迷--更不用說致命行動--作為更廣泛的 "殺傷鏈 "的最后元素，掩蓋了人工智能在整個行動范圍內的一系列C2活動中日益增長的影響。

許多專家對人類是否有能力控制由人工智能促成或驅動的決策持懷疑態度。這種懷疑往往圍繞著所謂的黑盒問題：高級人工智能，如深度學習，在本質上是無法被人類理解的。這不僅僅是由于它的工作速度，也是由于算法網絡相互作用的方式，以及它們所操作的數據的規模和復雜性。我們不能簡單地詢問系統以了解其思維過程。我們可能知道一個模型的輸入和輸出，但卻無法理解這中間發生的事情。一個相關的、更微妙的論點是，算法對人類的認知攝入施加了 "權力"。人工智能可以決定人類處理哪些信息，而不向他們透露哪些信息被遺漏或拒絕。它還挑戰了這樣一個概念，即如果人類的行動受到數據呈現的內容和方式的制約，他們可以行使 "有意義的 "控制。這與人工智能的好處之一正好相反，即它能夠減少人類的認知負荷，使人類能夠集中精力思考和作出最高價值的活動。

對黑盒挑戰的典型解決方案是開發可解釋的人工智能（XAI）。盡管能夠自我解釋的人工智能可能有助于理解，但它并不必然會導致信任。XAI并不等同于可解釋的AI；解釋不是一個決定，而是一個關于決定的敘事。因此，即使是一個令人信服的解釋也不一定是真的。對于許多潛在的用例，我們還遠遠沒有能力開發出足夠的可解釋（Explainability）的人工智能，更不用說可因果解釋（Interpretability）的了。對更先進的人工智能系統進行嚴格的測試可能會證明它們的部署是足夠的，即使是在沒有人類能力遵循其推理過程的情況下。不過，從根本上說，我們對測試的傳統方法需要重新思考。沒有充分的測試和評估，對不可解釋/可解釋的人工智能的信任將是 "盲目的信任"。對于美國前國防部副部長鮑勃-沃克的問題，我們仍然缺乏一個令人滿意的答案：你如何對學習系統進行測試和評估？

當存在不確定性或缺乏知識時，人類會應用啟發式方法來近似解決復雜問題。啟發式方法是驅動直覺思維的因素；它依賴于經驗法則，通常是通過經驗和實驗來了解。因此，它可能存在偏見和盲點，但它也可以作為一種非常強大和有效的快速認知形式。機器缺乏類似人類的直覺，但它們確實依靠啟發式方法來解決問題。與人類推理的關鍵區別在于，機器不需要記憶或 "個人 "經驗就能進行 "直覺 "或推理。它們利用巨大的數據庫和卓越的概率能力為決策提供信息。強大的模擬與先進的計算能力相結合，提供了一個測試和 "訓練 "算法的機會，其重復程度是人類無法想象的。在宣布任務準備就緒之前，ARTUμ在短短一個多月內經歷了超過一百萬次的訓練模擬。

即使在XAI領域取得了重大進展，仍然會有謹慎的理由，特別是在需要復雜決策的情況下。人工智能通常不善于看到 "全局"，也不善于根據相關的內容做出決定。像人類一樣，它也會把相關性或偶然事件誤認為因果關系。人類和機器在處理復雜問題時都會遇到 "正常的意外"。創造力是人類通常具有的特質，但一些先進的人工智能可以產生人類無法企及的驚人結果。簡而言之，許多通常被認為是人類特有的屬性，如創造力和直覺，也可以說適用于人工智能系統--盡管方式不同，速度超過人類能力。

目前機器所缺乏的是人類思維的靈活性和關聯感（"框架 "的能力）。人類可以橫向思考，通過實用主義得出合理的結果（這一過程被稱為歸納推理），并反思自己的思維過程（這一能力被稱為元認知）。這些心理過程可以產生驚人的適應和創新的壯舉。

人工智能的出現意味著未來的軍事決策將幾乎肯定需要更強大的人機共生關系，就像在已經接受該技術的商業組織中看到的那樣。目前的討論大多是假設人類繼續控制，或尋求將人類的屬性應用于未來的機器。一些人提倡一種新的 "決策演習"概念，將 "人的指揮和機器的控制"結合起來。但更有可能的是，指揮和控制的責任將越來越多地由人類和人工智能系統分擔，其方式可能是目前難以設想的。人類與人工智能的合作提供了利用各自優勢和減少不足的最佳方式，特別是在戰爭方面（目前戰爭的性質仍然沒有改變）有四個連續性：政治層面；人類層面；不確定性的存在；以及戰爭是一場意志的較量。

3. 信任的維度

信任是動態的；它隨時間而變化。它的最初形成是至關重要的，但它的持續發展也是如此。信任是隨著熟悉程度的提高而自然產生的，因此，假設經驗是積極的，即使是在對技術不完全了解的情況下，技術的使用也會擴大信任的范圍。反過來也是如此，不好的經驗會促進不信任。移動電話技術復雜性對大多數用戶來說是未知的，但人們的積極經驗給了他們使用的信心。這種信心導致了與手機使用所形成的決定相適應的信任感。然而，手機一般不會決定生死大事，盡管它們會將盲目聽從指示的不謹慎的司機置于危險之中。在軍事背景下，賭注更大，用戶和策略制定者非常清楚他們的決定的潛在后果--信任門檻很高。

軍隊作為應急組織，不需要定期交付其主要產出，這影響了可以獲得最直接相關經驗的速度。與金融服務業不同的是，在金融服務業中，交易為人工智能決策提供了頻繁的驗證，而國防部門的時間線往往更長，結果在一個單一的因果鏈中也沒有明確的聯系。做出決定和觀察其影響之間的時間間隔更長，并受制于多種干預變量。雖然模擬演習創造了獲得經驗的機會，但它們只是現實的近似值。

3.1 信任點（Trust Points）

建立和維持信任涉及五個主要的 "Trust Points"--在這些點上，擁有適當水平的信任問題是至關重要的。這些點是：

• 部署信任：使用人工智能的目的
• 數據信任：正在使用的數據輸入
• 過程信任：數據如何被處理
• 輸出信任：由人工智能產生的輸出
• 組織系統的信任：優化使用人工智能的整體生態系統

總的來說，這些Trust Points定義了一個整體的信任水平，并且是乘法的：如果對其中一個的信任是 "零"，那么整體就是 "零"。只要整體信任是正向的，每個人的信任水平都可以變化--在不同的時間。

部署信任

對在特定情況下使用人工智能的決定的信任是至關重要的。對于人工智能的軍事使用（以及許多民用應用），這在三個層面上運作：社會；組織；和個人。第一個層面考慮的是整個社會是否愿意允許人工智能的使用，這將決定策略制定者如何看待它的使用。組織本身也必須愿意認可這一點。最后，個人必須愿意在這個角色中與人工智能合作。所有這三個層次都需要接受使用人工智能的必要性或其可取性的必然性。可取性可能反映了人工智能在以超過人類操作員的速度或數量（或兩者）處理數據方面的優勢，或在承擔枯燥或危險的工作方面的優勢。而軍方可能會認為，人工智能既實用又要避免將優勢讓給對手，但社會似乎更傾向于將致命的使用視為一個倫理問題，在這個問題上，人類生命的神圣性要求道德行為者決定奪取人的生命。

社會對人工智能使用的接受程度在很大程度上取決于其經驗、有效的溝通和教育，這將有助于為人工智能的使用選擇提供依據。在許多情況下，社會的某些部分可能會比軍方更多地接觸、熟悉和信任人工智能，但致命自主權可能仍然存在問題。雖然沒有致命自主權那么直接的威脅，但在決策中使用人工智能會帶來自己的挑戰，其中最重要的是在一個算法越來越強大、人機協作越來越緊密的世界里，"有意義的人類控制 "究竟意味著什么。

在組織層面，存在關于如何部署作戰和任務支持人工智能的重要問題：是以集中的方式在更高的戰略層面運作，還是以更分散的方式在戰術層面運作。在后一種情況下，人工智能將進一步滲透到組織中，變得更加分散，并用于反應時間可能限制人類干預或驗證人工智能的范圍。組織需要明確決定是否使用人工智能的原則，以及管理其使用的方法（見下文 "過程信任"）。關于使用人工智能的決定必須考慮如果系統失敗會發生什么。美國國家航空航天局（NASA）由于擔心系統故障的后果而沒有充分利用其早期火星車的自主能力，對火星車進行微觀管理，并通過大型人類工程師團隊減輕風險。外部組織，如商業技術供應商，的想法也很重要。例如，谷歌的員工迫使該公司在2018年退出一份軍事合同，因為他們擔心軍方對面部識別技術的使用。

個人對人工智能的熟悉程度也將是重要的。目前，從事軍事人工智能工作的人是其使用的倡導者，但隨著接觸人工智能的人群的增加，這種情況將發生變化。與前幾代人相比，接觸技術較多的年輕軍人可能更容易接受人工智能在軍事決策中的應用，但在基礎等級的聯邦結構中，人才幾乎完全來自內部，對其使用的阻力可能來自那些有權力的人；這可能造成機構接受問題。然而，在 "代際特征 "方面，存在著過度簡化的危險。雖然年輕人是在較新的技術中長大的，而且可能更信任它，但技術是可以學習的。代際假設不能成為不使用現代技術的借口。

部署信任是復雜的，因為大多數西方國家的大規模防務活動都是以聯盟行動為前提的，而不是每個盟友或伙伴都對什么是可接受的人工智能的軍事用途有共同的看法。國防部和政府需要更好地傳達他們在使用人工智能方面的方法、用途和保障措施，包括向盟友傳達，而不向對手透露太多信息，因為他們可以制定戰略來抵消（或更糟）人工智能功能的優勢。北約將通過其公共宣傳活動、與成員國在政治層面的聯系以及在不同技術發展階段的軍隊中建立規范，在這方面發揮關鍵作用。

數據信任

這涉及到對人工智能做出判斷的數據的信任程度，這些數據為人類決策提供了依據。雖然測試硬件和軟件相對容易，但測試數據，甚至是準備讓人工智能接受訓練的數據，則更加困難。數據對于人工智能的有效學習至關重要。一些數據將被控制，駐留在現有的國防系統內，或從可靠的外部來源進行驗證，盡管國防部在數據的分類（不一致或不準確）、存儲、訪問和共享方面存在困難，特別是在較高的分類級別。不受控制的數據，如開放源碼數據，是在沒有人類知識或理解的情況下通過聚合產生的，這更具挑戰性。此外，狡猾的對手會試圖注入虛假數據，以破壞決策過程，或用不相關或不準確的數據淹沒決策過程。

武裝部隊需要定義、構建、清理和分析數據的能力，以及開發和維護底層基礎設施（如連接、安全和存儲容量）的能力。這是一個多學科的團隊工作，需要能夠在數據科學生命周期的所有階段工作的 "全棧 "數據科學家。現代戰場將需要更加多樣化的技能，包括心理學家、律師和通信專家。鑒于商業世界對這些技能的需求，吸引和保留這些專家的數量將是困難的。這將需要更靈活的人力資源做法和/或對整個部隊更復雜的理解和使用，包括允許非軍事人員在軍事總部擔任有影響力的職位。

過程信任

過程信任指的是人工智能系統如何運作，包括數據如何處理（匯總、分析和解釋）。目前英國國防部的（狹義的）人工智能決策支持系統吸引了高信任度，因為算法相對簡單且可預測。它們也僅限于參與開發的一小群用戶，或者認識那些開發了人工智能系統的用戶，并且了解該技術。該技術受益于一種源自人們對人類的信任的過渡性信任。雖然不是人工智能，但法國陸軍引進的包裝降落傘的機器導致了降落傘團的信心喪失。堅持要求機器的主管用機器隨機選擇的降落傘打包跳傘，有助于恢復用戶的信心。讓開發人員更接近指揮系統的用戶會有所幫助。法國的采購程序允許某些單位直接與人工智能供應商接觸，以建立對開發商的了解和關系。開發商成為一個關鍵的信任點，如果不是軍隊，他們必須了解和熟悉軍隊的情況。這可能需要加大投資，讓商業伙伴了解軍隊的工作方式，并確保軍事人員了解其文職同事。

要求高水平的可解釋性和透明度并不是一個永久的解決方案，目前限制了英國防部對更強大的、非符號形式的人工智能的訪問。隨著機器學習使技術超越其最初編程的參數，將需要不同的方式來確保對可能看起來是黑盒的信任。隨著這種人工智能系統的使用激增，因了解設計者而產生的過渡性信任將減少，在這個過程中克服最初的信任不足或過度信任將更加困難。應避免過度依賴過程信任，并加強其他信任點，以開發適應能力越來越強的人工智能。

過程信任必須超越技術本身。它需要信任那些為技術提供能量、與技術一起工作并接受技術產出的人類過程。因此，必須同樣重視那些共同構成整體過程的其他活動。這包括培訓和人員的過程，以及如何組建團隊。

輸出信任

對人工智能產出的信任對決策者根據他們收到的信息采取行動至關重要。即使是人類提供的情報，如果原始信息指向不同的方向，指揮官要求新的情報來支持他們的先入之見（一種 "基于決策的證據制作"）也不是沒有。而隨著數據的激增，不同的解釋將成為可能，合法的或符合先入為主的解釋。因此，出現了這樣的問題，即人工智能或事實上的人類分析能夠現實地提供什么答案，以及如何驗證輸出。在友軍的部署和對手的物理位置方面，人工智能有可能提供更快的態勢感知。然而，盡管可以從現有的數據中得出更好的推論，但對手的實際意圖是無法可靠地確定的。可預測性通常被視為信任的關鍵因素，但在不穩定的環境中，能夠適應不穩定環境的人工智能輸出會被解釋為不可預測。為了克服這個問題，Bonnie M Muir認為，人類操作員必須具備估計技術可預測性的能力。這種可預測性也會影響整個部署和過程信任點，但在輸出信任方面最為敏感，以反映軍事行動等流動性和不可預測的環境。在這些情況下，數據還必須反映軍事決策者所面臨的大多數情況的離散性和特定對手的獨特文化方式，這加劇了建立大量訓練數據的難度。即使在情況類似于過去的事件時，由于缺乏可比的歷史數據來說明廣泛的變量，使得概率推理變得困難。

用Patricia L McDermott和Ronna N ten Brink的話說，輸出的校準是至關重要的。這可以通過更多地使用企業人工智能和模擬來實現，它擴大了信任的邊界，可以幫助開發輸出信任。如果經驗是積極的，與技術互動并看到它的輸出將產生信任。在作戰環境中，當描述可以知道和檢查的東西時，驗證將是最容易的（例如，關于自己部隊的數據和潛在的對手部隊的布局）。要接近了解對手的意圖是比較困難的，因此需要更高水平的輸出信任。這將包括提高描述的準確性和對從大數據處理中得出的推論進行更多的測試。分享演習和行動的正面敘事，對于實現過渡性信任和緩解從相對不頻繁的行動中積累成功證據的緩慢速度至關重要。

組織系統的信任

生態系統的信任涉及調整更廣泛的組織系統以最大化人工智能的價值所需的信任。C2系統作為一個整體必須被配置為利用人工智能輔助決策的好處，并有適當的檢查和平衡，以在可接受的風險水平內運作。當人工智能的弱點或失敗是在主管的專業知識之外的領域，需要在組織的不同部分進行校準時，這一點尤其重要。如果不在生態系統和組織層面上進行變革，組織將只是將其人類系統數字化。

需要生態系統的信任，以確保結構--包括軍事總部的組織、指揮官的角色以及集中式與更分散或分布式的決策權的平衡--準備好利用人工智能的機會。如果沒有準備好，采用人工智能的漸進式方法往往會鼓勵對結構和整體生態系統的變化采取被動或消極的方法。相比之下，實現人工智能變革力量的專門戰略將迫使人們盡早重新思考支持這種戰略所需的組織。這需要重新思考傳統的軍事結構，但對于走多遠并沒有共識。一些人設想總部變得更扁平，并將非軍事人員納入高級職位，在決策過程中擁有權力。對另一些人來說，生態系統的變化更為深刻；它要求完全取消目前被視為工業時代遺留的工作人員組織系統。這樣做，他們打算消除扼殺理解的信息邊界，并挑戰決策金字塔尖上的獨當一面指揮官的想法。這種轉變需要整個組織生態系統的信任。對于像軍隊這樣的保守組織來說，這將是困難的，在指揮部的激進替代方案被接受之前，需要得到保證。實驗、戰爭游戲和模擬環境提供了低風險的選擇，以測試為特定類型的任務（例如，戰爭、和平行動和能力建設）配置的不同總部結構。

3.2 多少信任是足夠的？

信任是根本，但為技術設定一個不可能高的標準也有風險。幾千年來，指揮官和決策者們一直信任易變的人類。當人工智能開始觀察到輸入數據分布的變化時，技術可以通過自我監測的方式提供幫助，提醒人類 "操作員"，或以以前未曾見過的方式進行操作，這樣錯誤輸出的風險會更大。風險容忍度，無論是關于人類還是機器演員，最終都是信任的表達。國防組織需要對自己是否是快速采用者或快速或緩慢的追隨者持誠實態度：商業世界的人工智能發展速度使大多數武裝部隊極不可能成為人工智能決策的 "第一用戶"。漸進派和未來派都是人工智能的支持者，他們之間的差異主要是風險問題，以及針對不同信任點的可實現的信任水平。

通過熟悉產生信任是至關重要的，這可能涉及到將軍事人員嵌入到使用復雜人工智能的商業組織中，或將平民帶入國防。這種變化需要在足夠高的級別上進行，以促進生態系統的信任。模擬、實驗和演習是重要的工具，而且必須足夠廣泛，以便不局限于一小群狂熱者。英國電信公司用人工智能決策支持工具取代英國的電話網絡的項目，當服務時間最長、知識最豐富的工程師與人工智能和數據專家合作時，效果最好，他們可能會對人工智能產生懷疑。將企業人工智能引入改革業務流程，如財務和人力資源，是將熟悉程度擴大到目前直接參與人工智能開發和使用的少數干部之外的另一種方式。

一旦熟悉的東西，信任是人類的天性，但信任的習慣會帶來自身的風險。眾所周知，人類不善于設定正確的目標，當遇到 "專家意見"（無論是人為的還是其他的）時，他們更容易同意而不是懷疑。必須避免 "信任和忘記 "的動態。一個考慮因素是為人工智能系統制定一個 "持續可信性 "的概念，類似于航空平臺的持續適航性，以確保它們仍然適合使用。因此，建立對人工智能的信任（并避免過度信任）的努力必須解決所有的信任點，并包括整個人類-機器團隊，其中人類操作員是其數字對應方的有效合作者和建設性批評者。

4. 對指揮部和指揮員的影響

人工智能對決策的知情、制定和實施方式的影響將是深遠的。通過以超越目前人類進程的速度處理大量的數據，人工智能可以提高對作戰環境的理解，并減少決策者的認知負擔。這不僅僅是今天工作方式的演變。僅僅加快當前C2系統的速度是不切實際的。一輛設計為以70英里/小時速度行駛的汽車是為以該速度運行而配置的。將發動機調整到每小時100英里的速度也許是可能的，但會給車輛系統和駕駛員帶來無法承受的壓力。由人工智能驅動的決策所代表的不連續性需要一種新的方法。正如多國能力發展運動（MCDC）所述。

無論我們未來的C2模型、系統和行為是什么樣子，它們都不能是線性的、確定的和靜態的。它們必須是靈活的、自主的、自適應的和自我調節的，并且至少與它們形成和運行的環境一樣具有偶然性和突發性。

軍隊必須為明天的C2進行重組，并以不同的方式培養他們的指揮官和工作人員。如果沒有這些變化，"生態系統信任"可能被證明是不可能實現的。

4.1 指揮和控制

C2包含兩個不同的元素：指揮，通常與創造力、靈活性和領導力相關；以及控制，與規則、可預測性和標準化相關。人工智能將首先影響控制功能，目前，指揮仍主要是人類的活動。人工智能的數據處理能力將消除控制的大量負擔，例如，為指揮官提供對其部隊的更好理解（如部署、狀態、設備和供應水平），目前這需要消耗大量的注意力和時間。它還將改變向指揮官提供信息的方式。目前，這些數據大部分是在 "拉取"的基礎上提供的--根據總部的報告程序要求或零星地收集。然而，人工智能可以持續監測局勢，并通過強調相關變化的活文件將信息推送給指揮官--類似于24小時的新聞編輯部。然而，通過進一步進入控制領域，人工智能將不可避免地影響指揮權的行使，并形成指揮決策；這對上述指揮和控制之間過于整齊的區分提出了挑戰。在未來的C2系統中，可以想象人工智能可以限制指揮權的行使，就像防抱死制動系統、牽引力控制和電子穩定性允許人類駕駛員指揮車輛，直到失去控制，此時系統會接管，直到情況穩定下來。

人工智能給人類指揮帶來了一個悖論。它同時使更多的知識被集中掌握，使總部能夠看到并與 "前線 "發生的事情互動，并將知識擴散到整個指揮系統，使較低級別的編隊能夠獲得以前只有高級指揮官才有的信息。將更多的權力下放給地方指揮官可以提高反應能力，這在事件發展不可預測、需要快速反應的情況下非常重要。西方武裝部隊傾向于采用（或多或少）任務指揮的概念，即指揮官的意圖描述了預期的效果，并允許下級指揮官根據他們面臨的情況自由執行。軍隊的學習和發展系統以及演習嵌入了這種方法--指揮官將需要相信人工智能能夠在其操作中實施這一意圖。鑒于數據和獎勵功能的戰略復雜性和模糊性，人工智能在戰術和作戰層面的使用可能比在戰略層面的指揮更有效，盡管這些層面并不離散，在現實中也不容易被分割開來。人工智能和更大的網絡連接將提供一個結構、流程和技術網絡，連接多個小型、分散的前方總部和分布式（和加固的）后方功能，即使在更透明的戰斗空間，也更難發現和反擊。如果敵人以C2系統為目標，這將增強復原力。

在每個層面上處理更大數據量的能力必須被仔細引導。人們應該能夠獲得與他們的地位和相對能力有關的信息，以影響他們在環境中發展。W-羅斯-阿什比將此描述為 "必要的多樣性 "問題：一個可行的（生態）系統是一個能夠處理其環境變化的系統。行為者應該在適合其任務的抽象水平上運作。一個旅部不能處理也不需要關于單個士兵的詳細信息；它需要對其下屬單位的身體和道德狀況有一個良好的總體了解。在更多的戰術層面上，NCO指揮官應該對他們團隊中的個人狀態保持警惕。戰略和作戰指揮官可能需要放松控制，讓戰術指揮官在更接近戰斗的地方利用新出現的機會。雖然任務指揮已經允許這樣做，但隨著高級別的指揮官獲得關于戰術層面發生的信息的空前機會，"控制"的誘惑會更大。

人工智能也需要使用抽象、近似和校準的杠桿，以避免將總部淹沒在數據洪流中。這需要在使用這些抽象和近似時的 "過程信任"。總部也可能需要使用不同的人工智能系統，其能力更適合或不適合不同時間范圍內的不同場景。決策也可能包括確定在特定情況下信任哪種人工智能模型（部署和過程信任）的因素。

人機聯合系統的自動化將提高人類的表現，在某些情況下，改變任務本身的性質。無論在什么層面上部署，人工智能不僅會影響人類執行任務的方式，也會影響人類執行的任務。目前的方法通常從研究哪些人類過程可以自動化開始，即人類工作的數字化。有可能從使用人工智能的假設開始，只有在人類是必要（出于法律、政策或道德原因）或可取（更適合這項任務）時才將人類放入系統中--決定什么不應該，而不是什么可以被數字化。這種方法挑戰了目前關于總部的規模、組織、人員配置和運作的概念。

4.2 對未來總體結構的影響

聯合概念說明（JCN）2/17指出，C2有可能在不同的戰爭層次（戰略、作戰和戰術）上發生變化，并對作戰環境的變化特征做出反應，因為作戰環境不再僅僅是物理環境。戰爭與和平的模糊性--強調了在 "行動 "和 "作戰 "之間的連續過程中有效的必要性--以及英國向能夠持續參與的部隊結構的轉變，將需要超越戰斗所需的方法。然而，可能沒有單一的總部原型；因此，為戰斗而配置的總部將與處理上游參與和能力建設的總部不同。雖然現在確定人工智能對軍事總部的影響還為時過早，但商業組織已經發現，與傳統的垂直層次結構相比，具有更多橫向信息共享的扁平結構更適合利用人工智能的優勢，因為在垂直層次結構中，每一層都要保證和授權數據才會被發布。因此，軍事總部--無論其具體形式如何--很可能會比現在更小、更扁平，能夠更快地沿著水平線工作。

探索替代的總部概念可以通過更多地使用實驗和模擬來實現。這應該對經典的J1-9參謀部提出挑戰，或許可以用新的分組來反映人工智能取代人類密集型數據處理和共享任務的能力。在J3/5區域尤其如此，這是計劃和行動之間的界限；由更快的決策帶來的更快節奏的沖突使這種界限變得過時。組織總部的替代方法可能包括那些注重結果的方法。JCN 2/17中描述的英國常設聯合部隊總部（SJFHQ）的結構是圍繞著四個職能來組織的：理解；設計；操作；和啟用。SJFHQ后來又恢復了傳統的J1-9人員分支。然而，"聯合保護者2021 "演習是一項復雜的亞門檻行動，其中使用了人工智能決策支持工具，揭示了J1-9架構的弱點。總部開始演習時是為高強度戰爭而配置的，但隨后調整為更適合與其他機構合作的配置。SJFHQ內部正在開展工作，應用2021年聯合保護者的經驗教訓，并確定這對總部結構意味著什么。然而，不太可能有一個完美的總部模式適用于所有行動類型。需要進一步的實驗，不限于SJFHQ。很能說明問題的是，自JCN 2/17發布以來的四年多時間里，在實施其中的一些建議方面幾乎沒有取得進展。即使英國國防部采用技術的速度相對緩慢，但這也超過了國防部探索改變結構的能力，超越了小規模的愛好者群體。"生態系統信任"是至關重要的，需要有機會在模擬或真實的環境中對各種任務類型的替代方法進行測試，并讓更多的人參與進來，這對有效采用新技術、結構和過程至關重要。

現有的程序需要改變以連接和優化新的結構。這可能需要改變構成武裝部隊規劃過程基礎的軍事評估。雖然它是一個復雜的、符合邏輯的規劃工具，但它是相當線性的、確定性的，并且嚴重依賴于指揮官，特別是在 "指揮官領導 "的英國方法中。在其他國家，參謀部在推動解決方案方面發揮了更大的作用，這可能更適合于人工智能的方法。人工智能為更多的迭代和協作過程提供了機會，它能更好地響應軍事和民防資源中心的要求，轉向更敏捷的模式。新的方法應該給指揮官帶來更少的壓力，要求提供信息（指揮官的關鍵信息要求）。人工智能還可以構建、分析和比較作戰行動方案，允許在做出大規模投入部隊的選擇之前對情景進行建模、測試和完善。

英國常設聯合總部（PJHQ）的情報評估過程自動化的思想實驗發現了取代大量工作人員的機會，加快了總部的戰斗節奏，并允許使用自動總結和自然語言處理來橫向共享信息。在一次作戰部署中測試了這一點，英國第20裝甲步兵旅戰斗隊將部分計劃過程縮短了10倍。然而，當人類仍在環路中時，決策環路的速度可能是有限的。在某些時候，人類決策者將無法跟上，成為決策監控者。如果仍然需要人類來做人工智能自己不能做的決定，這將是一個問題，而這可能是最困難的決定。

盡管有明顯的優勢，但總部不太可能在技術允許的范圍內減少。目前的總部通過規模和保證程序的冗余來補償人類的脆弱性，這對于減輕人工智能團隊成員的脆弱性可能仍然是正確的。此外，隨著戰斗節奏演變成連續的24小時規劃周期，節奏的加快可能會推動某些領域的需求上升。這些壓力可能并不局限于總部本身；它可能會推動前線單位的活動增加，他們必須處理數據并對所發出的指令作出反應。人類行為者仍然需要時間來休息，即使技術不需要。此外，與商業組織不同，軍隊需要冗余，以應對競爭對手蓄意破壞或擾亂他們的決策機構，并需要確保固定基礎設施的安全，以建立他們的網絡。簡而言之，對彈性和流動性的需求影響了軍事C2系統的穩健性和效率。因此，軍隊將需要保留不完全依賴人工智能進行有效操作的結構，并確保在人工智能失敗或故意削弱對人工智能信任的情況下，有恢復性程序可用。

4.3 培養指揮官

傳統上，指揮官是垂直決策結構的頂點，是所有信息的匯集點。雖然不是所有的軍事文化都強調個人的天才，正如 "翠鳥時刻"的概念所體現的那樣，但指揮官獲得信息的特權被總部的低層人員所拒絕。人工智能使信息民主化的潛力將改變這種情況；指揮可能會成為一種更加合議和反復的活動，不僅涉及那些穿制服的人，而且包括情報機構和具有數據科學多方面專業知識的承包商在內的更加折衷的組合--一種 "全部隊"的貢獻。面對一個復雜和適應性強的戰斗空間，另一種鳥也許為未來的指揮提供了一個更好的比喻：椋鳥。它們集體的、高度適應性的雜音為英國的發展、概念和理論中心的C2概念提供了一個更好的形象，即 "為設計和執行聯合行動而配置的動態和適應性的社會技術系統"。

指揮官必須繼續能夠處理動態環境；"沒有計劃能在與敵人的接觸中幸存下來 "這句話仍然是正確的。鑒于技術能夠提高速度（減少反應時間）和復雜性（通過更透明的戰斗空間），處理復雜、快速演變的問題將尤為重要。軍事組織正在試驗人工智能將如何改變C2，包括北約卓越指揮與控制中心、美國JADC2和英國軍隊的數字準備實驗。早期的跡象表明，指揮官將不得不更多地關注問題的框架，并確保在更小、更扁平的結構中的更多不同團隊之間的理解和目標的統一。這表明需要一個不同類型的指揮官和不同類型的工作人員；他們能夠整合由不同學科的成員組成的不同團隊的工作，而且往往是來自軍隊以外的成員。

確保指揮官能夠正確地設定問題的框架是至關重要的。人工智能非常善于在框架內操作，但目前至少在 "閱讀字里行間 "或從定義不明確的數據集中推斷方面很差--這種脆弱性仍然依賴于有人類來設定框架。在確定了問題的框架后，指揮官必須能夠判斷產出在該框架內是否合理。這需要能夠看到大局的人，武裝部隊需要通過在總部的參謀經驗來培養未來的指揮官，使他們熟悉環境和流程，從而能夠在越來越高的級別上進行指揮。模擬可以促進對總部的接觸，同樣可以確保較小的總部仍然保留人們獲得經驗的作用，通過這些經驗可以獲得必要的指揮技能。

雖然指揮官需要知道如何與技術互動，但他們必須繼續關注人工智能所要服務的作戰要求，并對其持適當的懷疑態度，以便他們成為這一過程中的知情者，而不是算法輸出的被動接受者。指揮官需要類似于工業界的 "π型領導人"，在軍事專業的同時具有數字和數據意識。他們不需要成為技術專家，但應該有足夠的知識來了解其局限性，能夠與團隊中的專家合作，并有足夠的滿意度來允許對數據、流程和產出的信任。

集體而言，總部團隊需要這些技能，各個團隊成員能夠相互交流和理解。這超出了情報分析員的范圍，包括來自武裝部隊內部和外部的廣泛的行動、技術和數據專家。它還包括對風險更復雜的理解和溝通能力。戰爭從根本上說是一個風險管理的問題，這需要以經驗的方式來理解和溝通風險。因此，了解概率和信心水平是一項關鍵的指揮技能，但諸如沖突中的一次性決定也需要長期的判斷。

軍事教育需要通過在職業生涯中更早地引入數據和技術意識來應對。此外，軍隊對不同能力的評價方式也需要改變。據傳聞，英國陸軍的職業管理流程往往將那些在計算能力上取得好成績的人引向采購等領域，而不是作戰，被選入參謀學院的專業人員往往在計算能力上處于較低的四分之一。這不僅僅是軍隊面臨的挑戰：有望成功競爭的國家需要國家教育系統認識到數據和技術素養技能的價值，并從小培養他們。作者并不主張將教育變成就業前培訓；雖然需要STEM技能（數量比現在多），但人文和社會科學仍然很重要，培養出的畢業生適應性強，能夠解決復雜的問題，并以影響力進行溝通。國家的成功取決于學術和其他形式的多樣性，培養人們在數字世界中茁壯成長，不僅需要技術能力，還需要（人文）特質，如創造力和情商。指揮官和工作人員在未來將需要這兩套技能，也許比今天更需要。

除了分析之外，直覺是信息處理中的一個補充部分。在指揮官需要行使的雙軌制決策方法中，它是人類認知的一個重要部分。有效的決策結合了直覺和分析的優勢。當數據和直覺一致時，決策者可以放心地采取行動。如果它們不一致，則需要在行動前進一步探索。1983年，俄羅斯中校Stanislav Petrov避免了潛在的核戰爭。他的導彈探測系統報告說美國發射了五枚洲際彈道導彈，但他沒有立即報告，而是決定等待，因為這個信息感覺不對。他的（下意識的）雙模式決策使他做出了正確的決定。人工智能更強的數據處理和分析能力可以增強決策過程中的分析要素，但它需要指揮官認識到直覺的價值和局限性。專業軍事教育需要反映出對數據和直覺這兩個組成部分的平衡方法。

4.4 管理整個部隊

未來的指揮官所指揮的團隊必然比今天更加多樣化，領導跨學科團隊為復雜問題帶來新的見解。人類有效構思和發展直覺的能力通過接觸不同的看世界的方式得到加強。這不僅僅是改善受保護特征方面的多樣性，盡管這很重要，還包括確保整個部隊團隊中教育、經驗和觀點的廣泛性。整個部隊的不同元素是這種多樣性的一部分。

越來越多的跨軍事領域的綜合活動要求整個部隊的各軍事部門有效合作。對于正規軍事人員，在 "聯合"方面已經取得了進展，但還需要做更多的工作。在軍事生涯的早期引入聯合訓練是實現這一目標的一種方式；這可能需要重新思考軍事人員何時接受專業軍事教育，目前在英國是在30歲左右。相比之下，澳大利亞國防軍為參加澳大利亞國防軍學院的人員提供了基本的聯合軍事課程，海軍、陸軍和空軍專家也接受了單一軍種培訓。這為未來的指揮官在軍事生涯早期的成長提供了一個跨學科的 "聯合 "模式。正規軍的進展需要擴展到后備軍的整合，因為未來可能會有更多的技術專家駐扎在這里。

事實證明，整合整個部隊的非軍事因素更為困難。Serco研究所的一份報告指出，"盡管在過去十年中，整個部隊的運作取得了進展，但在實現軍事和工業之間的無縫合作方面的努力卻停滯不前。雖然武裝部隊在將非軍事人員帶入其總部方面做得更好，但在場和被納入之間有很大區別。如2021年聯合保護者等演習，經常邀請國際合作伙伴和民間主題專家來幫助規劃過程，但他們往往在軍事規劃人員完成工作后才被邀請對計劃發表意見。許多總部的規劃周期缺乏靈活性，這意味著當規劃被提出來供審查時，可能已經來不及進行修改了。

這不僅僅是對軍隊的觀察；文職專家往往不熟悉軍事進程，等待被邀請做出貢獻，這削弱了他們的影響力。軍事人員沒有本能地理解他們的非軍事同事所能做出的全部貢獻，因此沒有將他們納入其中。人工智能將迫使人們從一開始就需要在規劃過程中建立整個部隊的多樣性，從而使計劃成為真正的合作。

有了人工智能的能力，技術將越來越多地成為整個部隊的一個成員。國際象棋大師加里-卡斯帕羅夫（Gary Kasparov）曾指出，好的技術和好的人類棋手的結合，往往比卓越的技術或更好的人類棋手單獨工作更成功。在某些情況下，人和機器可能在共享任務中緊密結合，以至于他們變得相互依賴，在這種情況下，任務交接的想法就變得不協調了。這在支持網絡感知的工作設計中已經很明顯了，在這種情況下，人類分析員與軟件智能體相結合，以近乎實時的方式理解、預測和回應正在發生的事件。

從這些人機一體的團隊中獲得最大利益，不僅僅是有效的任務分配。它涉及到找到支持和提高每個成員（人或機器）績效的方法，從而使集體產出大于單個部分的總和。正確的行為和創造包容性文化的能力對于從這樣的團隊中獲得最大收益至關重要。指揮官不應專注于試圖管理 "突發事件"--一個試圖描述簡單的事情如何在互動中導致復雜和不可預測的結果概念--或團隊成員的活動，而是需要在塑造團隊和培養團隊內部的關系方面投入更多。

雖然人工智能目前作為一種工具，但隨著技術的發展，它應該被視為團隊的真正成員，擁有影響人類隊友的權利和對他們的責任。然而，無論其最終地位如何，人工智能都可能改變團隊的動態和對人類團隊成員的期望。將人工智能引入一個團隊會改變團隊的動態，而它與人類團隊成員的不同會使團隊的形成更加困難。通過布魯斯-塔克曼（Bruce W Tuckman）的經典階段，即形成、沖刺、規范和執行，需要妥協和適應。人工智能目前不太能做到這一點，需要人類參與者有更大的靈活性，這使得建立人機團隊更加困難，也更難恢復已經失去的信任。

高級人工智能，如果可以說有動機或偏見的話，很可能是以邏輯和任務為導向的（用實力部署清單術語來說，就是綠色和紅色）。一個平衡的團隊將越來越需要能夠維持團隊關系的人類，無論是內部還是跨團隊。因此，人機團隊將是不同的，盡管他們可能與包括神經多樣性同事在內的純人類團隊有一些相似之處，因為對他們來說，感同身受或理解情感線索是困難的。與神經多樣性團隊一樣，人機團隊將受益于團隊成員的多樣性給整體帶來的價值，但也需要進行調整，以最大限度地提高團隊績效的機會。人工智能作為團隊成員的概念究竟會如何發展，目前還不清楚，但有人呼吁組織在更平等的基礎上考慮先進技術的需求。加強企業人工智能在業務支持活動中的使用，將為探索人機團隊如何最有效地合作提供機會，并有可能實現預期運行成本的降低，使人類在價值鏈上從事更有意義的工作。

4.5 職業管理

需要的新的領導風格、新的技能和對技術、數據和風險的進一步理解也需要新的職業管理方法。軍隊的職業管理系統（過于）頻繁地調動人員，但要形成具有必要信任度的有效團隊需要時間。軍隊可能會放慢關鍵人員的流動，甚至可能放慢團隊的流動，從而使總部高級團隊作為一個集體實體而不是個人來管理。然而，目前的人力資源實踐使軍隊或工業界不太可能愿意無限期地保留人們的職位以期待未來的需求。用拉斐爾-帕斯卡爾和西蒙-鮑耶的話說，這就產生了 "混合團隊"，即那些成員不固定的團隊，對他們來說，迅速建立團隊信任的能力至關重要。即使是常設總部也會受此影響，特別是當他們成為 "整體部隊 "時。對于'臨時團隊'，例如為特定任務而設立的臨時總部，這個問題就更加突出。需要有機制來加速信任的發展，經驗表明，這可以通過早期的行為實踐來實現，包括展示 "技術能力、信息公開、支持互惠和決策中被認為的誠信"。

放慢總部高級職位人員的流動速度將有所幫助，但這還不夠。在無法保證預先建立的團隊在需要時隨時準備好執行任務的情況下，需要有一種方法來減少組建新的部隊團隊的時間。模擬提供了一種方法，通過壓縮任務演練的時間來準備新組建的團隊，并為整個部隊的不同組成部分提供共同工作的經驗。軍隊在這方面做得很好；軍隊的社會化進程創造了強大的紐帶，包括派人到合作伙伴那里進行培訓、演習和任務。對于整個部隊的其他部分來說，這種對跨文化理解的投資是缺乏的。建立對對方的了解，從而建立信任，對文職部門來說同樣重要。軍隊可以做得更多，為其工作人員提供與商業部門合作的經驗，包括與技術專家、數據專家和編碼人員合作，而文職人員也需要更好地了解軍隊、其語言、流程和價值觀。武裝部隊可以通過提供交流任命和模塊化和/或縮短其課程來協助這一進程，使文職人員有可能參加。冠狀病毒大流行引入了新的工作方式，并加速了軍事訓練和教育的變化，這可以為信任提供基礎，在此基礎上可以出現新的團隊和總部類型。

簡而言之，人工智能輔助決策不僅僅是一個技術問題；它需要改變指揮結構、流程和人員技能，才能發揮其潛力，成為武裝部隊在所有任務中運作的一場革命。然而，至關重要的是，在適應不斷變化的戰爭特征時，武裝部隊不能忽視戰爭的持久性：指揮官必須保持領導者和戰士的身份，能夠激勵普通人在最困難的情況下做出非凡的事情，而不僅僅是善于管理戰斗的人。在軍事方面，人工智能是一種工具，可以最大限度地提高武裝部隊在激烈競爭環境中的獲勝機會。

5 結論

人工智能正迅速成為我們國家安全結構的一個核心部分。軍方和情報機構正在嘗試用算法來理解大量的數據，縮短處理時間，并加速和改善他們的決策。對人工智能越來越多的使用和熟悉可以促進對它的信任，但正如專家們的辯論所表明的那樣，要建立和維持對像人工智能這樣的變革性技術的信任，存在著嚴重挑戰。

本文重點討論了人工智能的作戰和任務支持應用，并探討了不斷發展的人與人工智能關系對未來軍事決策和指揮的重要性和影響。當軍事指揮官的角色從控制者轉變為團隊伙伴時，當我們不能再將輔助功能只賦予人工智能體時，那么我們就需要從根本上重新思考人類的角色和我們的機構結構。簡而言之，我們需要重新評估人機決策中信任的條件和意義。沒有這種信任，人工智能的有效采用將繼續比技術的發展更慢，而且重要的是，落后于我們一些對手采用人工智能的速度。

一個稍加修改的信任概念--一個不需要將意向性或道德性歸于人工智能體的概念--可以而且確實適用于AI。只要我們委托機器做可能對人類產生嚴重甚至致命后果的事情，我們就會讓自己變得脆弱。只要存在人工智能的表現達不到我們預期的風險，對它的任何使用基本上都是一種信任的行為。

除了最罕見的情況，對人工智能的信任永遠不會是完全的；在某些情況下，用戶可能有意識地同意較低的信任水平。這種信任需要考慮五個不同的元素，作者稱之為 "信任點"。我們不應該依賴任何一個單一的點來產生整體的信任。事實上，往往得到最多關注的領域--關于數據質量或人工智能輸出的可解釋性問題--從長遠來看，必然會提供不令人滿意的答案，并有可能對技術產生錯位的放心感。

最常被忽視的是在組織生態系統層面上對信任的需求。這需要重新思考武裝部隊的組織及其C2結構。如果說機器的作用越來越大曾經是官僚軍隊結構興起的關鍵驅動力，以集中管理手段，那么人工智能正在以根本的方式挑戰常備軍的這一特點。如果人工智能的使用不僅僅是模擬工作方式的數字化，國防部必須改變其在 "行動（operate）"和 "作戰（warfight）"方面的決策結構。它還需要與整體部隊的各個方面進行更密切的接觸和參與，包括其未被充分利用的后備部隊以及工業和更廣泛的政府。

領導力作為軍事職業的一個持久要素也需要重新考慮。人們傾向于將領導力視為軍事指揮的一種抽象或不可改變的品質。在人工智能時代，指揮任務或領導團隊既需要新的技能（如 "表達數字（speak digital）"的能力），也需要更多樣化的特質（例如，在數據和直覺發生沖突時，橫向思考的能力，構建問題的框架，并應用批判性的判斷）。與以往相比，人工智能更需要那些能夠理解復雜性、構建問題并根據情況提出正確問題的指揮官。這些 "故意的業余愛好者 "摒棄了早期狹隘的專業化，選擇了范圍和實驗思維；他們可以建立專家團隊，吸取專家的意見，使集體人才既廣泛又深入。這些全軍團隊將包括人類和機器，所有這些人都將根據他們在塑造和決策方面的專長作出貢獻。

在尋求回答信任如何影響軍事決策中不斷發展的人與人工智能關系時，本文提出了幾個需要進一步研究的關鍵問題：

• 我們如何建立必要的信任，在戰術、作戰和戰略層面上重新配置指揮部的組織，其規模、結構、位置和組成
• 我們如何調整軍事教育，使指揮官為人工智能時代做更好的準備
• 我們如何優化和改造所有領域的集體訓練，以改善涉及與人工智能體更多協作的指揮
• 我們如何運作 "全軍 "的概念，以更好地利用我們社會、工業和研究機構中的大量人才
• 我們如何定義人工智能和人類在人機團隊中的需求和目標

如果我們不從根本上改變如何獲取、培訓和培養領導崗位的人員，以及如何改革他們所處的機構和團隊，我們就有可能在人機關系的信任平衡上出錯，并將無法利用人工智能的全部變革潛力。

作者

克里斯蒂娜-巴利斯是QinetiQ公司的培訓和任務演練的全球活動總監。她在大西洋兩岸有20年的經驗，包括咨詢、工業和公共政策環境，特別關注國防、全球安全和跨大西洋關系。她曾是華盛頓特區戰略與國際研究中心歐洲項目的研究員，Serco公司負責戰略和企業發展的副總裁，以及巴黎Avascent公司的負責人和歐洲業務主管。她擁有華盛頓特區約翰霍普金斯大學高級國際研究學院和意大利博洛尼亞大學的國際關系碩士和博士學位，以及英國和德國的商業學位。

保羅-奧尼爾是RUSI的軍事科學部主任。他在戰略和人力資源方面有超過30年的經驗，他的研究興趣包括國家安全戰略和國防與安全的組織方面，特別是組織設計、人力資源、專業軍事教育和決策。他是CBE，英國特許人事與發展協會的會員，溫徹斯特大學的客座教授，英國后備部隊外部審查小組的成員。