隨著技術的飛速發展和威脅環境變得更加復雜，今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能（AI）的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識，增加對威脅和對手能力和意圖的了解，識別和評估可能的戰術行動方案，并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。

人工智能系統為海戰提供了優勢，但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊，改善作戰情況的不確定性，并提出改善作戰和戰術結果的建議。實施人工智能系統，以滿足海軍應用的這些苛刻需求，給工程設計界帶來了挑戰。本文確定了四個挑戰，并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。

引言

人工智能是一個包括許多不同方法的領域，目的是創造具有智能的機器（Mitchell 2019）。自動化系統的運作只需要最小的人類輸入，并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器，執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中，以做出決定并得出結論。

如表1所述，人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen（2020，3）將專家系統描述為手工制作的知識系統，使用傳統的、基于規則的軟件，將人類專家的主題知識編入一長串編程的 "如果給定x輸入，則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統，從大型數據集中進行訓練。ML系統自動學習并從經驗中改進，而不需要明確地進行編程。一旦ML系統被 "訓練"，它們就被用于操作，以產生新的操作數據輸入的結果。

表1. 兩類人工智能系統

人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力，在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力，以了解復雜和不確定的情況，制定和權衡選擇，預測行動的成功，并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。

本文確定了工程設計界必須解決的四個挑戰，以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括：（1）復雜的海戰應用領域；（2）需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統；（3）人工智能系統工程的一些新挑戰；（4）存在對手的人工智能進展，不斷變化和發展的威脅，以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域，但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。

表2. 為海軍實施人工智能系統的四個挑戰領域

挑戰一：戰爭復雜性

人工智能正被視為一種能力，可應用于廣泛的應用，如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰，人工智能系統必須與之抗衡，才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子，從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素，這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度，對六個應用領域的特征進行了定性評估。顏色代表低貢獻（綠色）、中貢獻（黃色）和高貢獻（紅色）。

表3中最上面一行顯示的特征包括： (1)認識上的不確定性水平（情況知識的不確定性程度），(2)情況的動態性，(3)決策時間表（可用于決策的時間量），(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5）資源的復雜性（數量、類型、它們之間的距離以及它們的動態程度），（6）是否涉及多個任務，（7）所需訓練數據集的復雜性（大小、異質性、有效性、脆弱性、可獲得性等 8）對手的存在（競爭者、黑客或徹頭徹尾的敵人），（9）可允許的錯誤幅度（多少決策錯誤是可以接受的），以及（10）決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義，即基于一組樣本的貢獻因素，不同應用領域的不同復雜程度。

表3. 影響應用復雜性的因素比較

對于所有的應用領域來說，人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時；以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用，如貸款審批、廣告、醫療診斷（在某種程度上）面臨工程挑戰，但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的，做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而，航運錯誤是有空間的，而且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的空間非常小。在這種應用中，決策失誤會導致嚴重的事故。

影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此，戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子，海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是網絡空間，導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中，戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行，并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后，對于戰術決策及其可能的后果來說，風險可能非常大。

表4. 導致戰術決策復雜性的因素

解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案，即處理大量的數據，處理不確定性，理解復雜的情況，開發和評估決策選擇，以及理解風險水平和決策后果。Desclaux和Prestot（2020）提出了一個 "認知三角"，其中人工智能和大數據被應用于支持作戰人員，以實現信息優勢、控制論信心和決策優勢。約翰遜（2019年）開發了一個工程框架和理論，用于解決高度復雜的問題空間，這些問題需要使用智能和分布式人工智能系統來獲得情況意識，并做出適應動態情況的協作行動方案決定。約翰遜（2020a）建立了一個復雜的戰術場景模型，以證明人工智能輔助決策對戰術指揮和控制（C2）決策的好處。約翰遜（2020b）開發了一個預測分析能力的概念設計，作為一個自動化的實時戰爭游戲系統來實施，探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先，人工智能支持的C2系統需要描述戰術行動期間的復雜程度，然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平（人與機器的決策角色）。約翰遜（2021年）正在研究這些概念性工程方法在各種防御用例中的應用，包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來，戰術邊緣遠離指揮中心，通信和計算資源有限，戰場形勢瞬息萬變，這就導致在嚴酷復雜的戰地環境中，網絡拓撲結構連接薄弱，變化迅速"（Yang et. al. 2021）。戰術邊緣網絡也容易斷開連接（Sridharan et. al. 2020）。相比之下，許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲，而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時，必須進行仔細的設計考慮，以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。

在軍事領域使用人工智能必須克服復雜性的挑戰障礙，在某些情況下，人工智能的加入可能會增加復雜性。辛普森等人（2021）認為，將人工智能用于軍事C2可能會導致脆弱性陷阱，在這種情況下，自動化功能增加了戰斗行動的速度，超出了人類的理解能力，最終導致 "災難性的戰略失敗"。Horowitz等人（2020）討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人（2020）指出，人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性；如果人類決策者對產出缺乏信心和理解，他們可能會失去對人工智能系統的信任。

挑戰二：數據需求

實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。

ML系統的學習過程被稱為被訓練，開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法，允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段，ML系統繼續需要數據。

圖1顯示，在運行期間，ML系統或 "模型 "接收運行的實時數據，并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此，在整個系統工程和采購生命周期中，ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。

圖1. 使用數據來訓練機器學習系統

美國海軍開始認識到對這些數據集的需求，因為許多領域（戰爭、供應鏈、安全、后勤等）的更多人工智能開發人員正在了解人工智能解決方案的潛在好處，并開始著手開發人工智能系統。在某些情況下，數據已經存在并準備好支持人工智能系統的開發。在其他情況下，數據存在但沒有被保存和儲存。最后，在其他情況下，數據并不存在，海軍需要制定一個計劃來獲得或模擬數據。

收集數據以滿足海軍領域（以及更廣泛的軍事領域）的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的，在不同的項目和系統中被分隔開來，不容易從遺留系統中獲得，并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據，可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外，和平時期收集的數據并不代表沖突和戰時的操作。海軍（和軍方）還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的（和可能的）戰時行動，并構建足夠的ML訓練數據。

數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說，數據是一種珍貴的商品，并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據，目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。

海軍正在解決這一數據挑戰，開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺，正在管理數據以支持AI/ML的發展和其他類型的海軍應用，這些應用需要與任務相關的數據（Abeyta，2021）。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統，海軍需要在游戲中保持領先，擁有能夠代表各種可能情況的數據集，這些情況跨越了競爭、沖突和危機期間的行動范圍。因此，數據集的開發和管理必須是一項持續的、不斷發展的努力。

挑戰三：工程化人工智能系統

第三個挑戰是，人工智能系統的工程需要改變傳統的系統工程（SE）。在傳統系統中，行為是設定的（確定性的），因此是可預測的：給定一個輸入和條件，系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上，一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議，與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統，并確保它們對人類操作者來說是可解釋的、可信任的和安全的。

SE作為一個多學科領域，在海軍中被廣泛使用，以將技術整合到連貫而有用的系統中，從而完成任務需求（INCOSE 2015）。SE方法已經被開發出來用于傳統系統的工程設計，這些系統可能是高度復雜的，但也是確定性的（Calvano和John 2004）。如表5所述，傳統系統具有可預測的行為：對于一個給定的輸入和條件，它們會產生可預測的輸出。然而，許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人（2021年）解釋說，"SE及其方法的雛形基礎并不是為配備人工智能（即機器學習和深度學習）的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說，出錯的余地很小；因此，SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。

表5. 傳統系統和人工智能系統的比較

在整個系統生命周期中，將需要改變SE方法，以確保人工智能系統安全有效地運行、學習和適應，以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變，以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法，這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性，這些系統的行為不是完全可預測的，其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務，即隨著人工智能系統的發展，在部署期間不斷確保安全和理想的行為。

SE界意識到，需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會（INCOSE）最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為，人工智能系統可能會出現新類型的故障模式，這些故障模式是無法預料的，可能會突然發生，而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后，對于有更多的人機互動的人工智能系統，必須仔細注意設計系統，使它們值得信賴，可以解釋，并最終對人類決策者有用。

表6.人工智能系統工程中的挑戰（改編自：Robinson，2021）。

SE研究人員正在研究人工智能系統工程所涉及的挑戰，并開發新的SE方法和對現有SE方法的必要修改。Johnson（2019）開發了一個SE框架和方法，用于工程復雜的適應性系統（CASoS）解決方案，涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統，通過使用人工智能，可以協作產生所需的突發行為。Johnson（2021）研究了人工智能系統產生的潛在新故障模式，并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知，作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人（2021年）研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui（2021年）研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略，促進人類和機器之間的 "校準 "信任，這是作為適當利用的最佳信任水平，避免過度信任和不信任，并在信任失敗后涉及信任修復行動。Johnson等人（2014）開發了一種SE方法，即協同設計，用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

數據的作用對于人工智能系統的開發和運行來說是不可或缺的，因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人（2021）提出，SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構，用于開發、訓練和評估AI算法。French等人（2021）描述了需要適當的數據策劃來支持人工智能系統的發展，他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據，以及需要識別和消除數據中的固有偏見。

SE界正處于發展突破和進步的早期階段，這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步，以確保海軍持續的技術優勢。

挑戰四：對抗性

海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰：(1)人工智能技術在許多領域迅速發展，海軍必須注意同行競爭國的軍事應用進展，以防止被超越，(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性，以及(3)海軍應用的人工智能系統需要發展和適應，以應對不斷變化的威脅環境。

表7. AI系統的對抗性挑戰

同行競爭國家之間發展人工智能能力的競賽，最終是為了進入對手的決策周期，以便比對手更快地做出決定和采取行動（Schmidt等人，2021年）。人工智能系統提供了提高決策質量和速度的潛力，因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索，同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標，不僅僅取決于人工智能研究。它需要適當的數據收集和管理，有效的SE方法，以及仔細考慮人類與AI系統的互動。海軍必須承認，并采取行動解決實施人工智能系統所涉及的挑戰，以贏得比賽。

網絡戰是海軍必須成功參與的另一場競賽，以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統（Libicki, 2009）。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據，導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制，他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化，其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護，免受網絡攻擊（French等人，2021）。

威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化，武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強，這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統，必須能夠加強海軍感知、探測和識別新威脅的能力，以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境，并在行動中學習，以了解戰斗空間中的未知因素，并通過創新的行動方案快速應對新的威脅（Grooms 2019, Wood 2019, Jones et al 2020）。海軍可以利用人工智能系統，通過研究特定區域或領域的長期數據，識別生活模式的異常（Zhao等人，2016）。最后，海軍可以探索使用人工智能來確定新的和有效的行動方案，使用最佳的戰爭資源來解決棘手的威脅情況。

結論

人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而，人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的，可以學習和適應--特別是在用于更復雜的行動時，如高度動態的、時間關鍵的、不確定的戰術行動環境中，允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域：（1）開發能夠解決戰爭復雜性的人工智能系統，（2）滿足人工智能系統開發和運行的數據需求，（3）設計這些新穎的非確定性系統，以及（4）面對對手帶來的挑戰。

海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統，以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。

1.第一個建議是了解人工智能系統與傳統系統之間的差異，以及伴隨著人工智能系統的開發和實施的新挑戰。

人工智能系統，尤其是那些旨在用于像海戰這樣的復雜行動的系統，其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解，更加不可預測，并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。

2.第二個建議是投資于人工智能系統的研究和開發，包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。

研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面，海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的，并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據，用于人工智能系統開發，并確保數據的相關性、有效性和安全性。

3.第三個建議是承認挑戰，并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。

盡管人工智能系統正在許多領域實施，但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識，即在人工智能系統準備用于戰爭決策輔助工具之前，需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖，彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法，在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。

海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統，戰術決策優勢的重大進步是可能的。此外，海軍必須跟上（或試圖超越）對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解，對研究和開發計劃的投資，以及對人工智能技術進步時限的現實預期，海軍可以在應對這些挑戰方面取得進展。

人工智能（AI）有可能影響所有領域和大規模的軍事行動。本章探討了人工智能系統如何影響準備和開展軍事行動的主要工具，以及如何受其影響。本章分析和討論了人工智能在戰略、條令、規劃、交戰規則和命令方面的多層次影響。采取了一個廣泛的分析角度，能夠根據新的政策和技術發展，以及對政治、軍事、法律和道德觀點的考慮，對這個問題進行總體審查。因此，本章確定了機遇、挑戰和開放性問題，并提出了總體性的意見。提供了洞察力和途徑，以推進對人工智能在軍事行動中的適當整合、管理和使用的進一步思考、研究和決策。

引言

人工智能（AI）的軍事應用有可能影響所有領域和大規模的軍事行動的準備和進行。人工智能系統可以越來越多地支持和取代人類完成軍事任務，因為它們變得更快、更準確，并能夠處理更多的信息和更高的復雜程度。這可能促進軍事行動速度的提高和更好的軍事決策，最終為擁有高性能人工智能的武裝部隊提供顯著優勢。人工智能的軍事用途甚至可能導致軍事事務的另一場革命，盡管這種發展將取決于其他因素而不僅僅是技術。

人工智能可以被用于各種軍事目的。在多維戰場上，人工智能技術可以被用作傳感器、規劃者和戰斗機，或兩者的結合。更具體地說，人工智能的軍事應用可以從支持情報、監視和偵察（ISR）的系統到自主導航和目標識別系統。這可能導致軍事人員和人工智能系統之間不同形式的互動，以及將軍事任務委托給人工智能系統的不同層次。例如，人工智能系統可以在決策過程中協助指揮官和士兵，無人駕駛的人工智能系統可以與有人駕駛的系統一起協作，人工智能系統可以在最少的人類監督下自主運行。 雖然目前只存在狹義和特定任務的人工智能，但正在大力發展人工通用智能（AGI）--具有類似于人類思維的廣泛領域推理能力的系統。 這與人工智能系統的自主性不斷增強的趨勢是一致的。

鑒于人工智能的特殊性和未來的應用，出現了一個問題，即人工智能的引入將如何影響軍事行動。本章通過評估人工智能如何影響準備和進行軍事行動的主要工具并受其影響來探討這一問題。具體而言，本章分析和討論了人工智能在戰略（第1分章）、條令（第2分章）、規劃（第3分章）、交戰規則（第4分章）和命令（第5分章）方面的多層次影響。以下各章將對每個工具進行一般性解釋，然后討論這些工具與人工智能的具體相互關系。

本章采取了一個廣泛的分析角度，包括了部隊整合和指揮與控制（C2）等軍事概念的各個方面，但并不限于此。 這使得在新政策和技術發展的基礎上，以及在考慮政治、軍事、法律和倫理角度的情況下，能夠對這個問題進行更全面的審查。因此，本章確定了機遇、挑戰和開放性問題，并提出了總體性的意見。本章最后發現了人工智能與準備和進行軍事行動的主要工具之間的動態相互關系，并將人類操作員和人工智能之間的互動定位為核心基本問題。

由于軍事人工智能是最近才出現的，因此對納入人工智能的未來軍事行動的任何分析只能是暫時性的，并基于這樣一個前提，即目前對具有高度自主性的人工智能，進行操作化的挑戰將被克服。然而，鑒于技術的快速發展，本章為推動進一步的思考、研究和政策制定提供了見解和途徑，以便在軍事行動中適當整合、管理和使用AI。

1. 戰略與人工智能

軍事行動為國家的政治和戰略目標服務。在戰爭的三個層面（戰略、戰役和戰術）中，軍事戰略是最高的。它可以被描述為 "戰爭的安排 "或 "戰爭的方向"。它為軍事行動提供依據，處于政治和軍事領域的交界處。 從本質上講，軍事戰略是一項計劃，它將最終目標與實現這一目標的手段聯系起來。更具體地說，軍事戰略可以被定義為 "使用武裝力量來實現軍事目標，進而實現戰爭的政治目的 "或 "在戰爭中達到預期結果的概念和實際考慮的表現，涉及對特定敵人的組織、運動和戰術、戰役和戰略使用或承諾的力量。國家安全和國防戰略可以為軍事戰略建立總體框架，而且經常可以在白皮書中找到。

各國還沒有公開通報他們如何使用或打算使用人工智能來制定軍事戰略。因此，在現階段，分析人工智能對軍事戰略的影響以及反之亦然，必須依靠國防白皮書和各國的人工智能戰略。一般來說，雖然在過去幾年中，大約有50個國家發布了關于人工智能在多個部門（特別是民用和工業部門）的使用、發展和融資的官方人工智能戰略，但這些文件一般不關注或幾乎不提及國防應用。然而，主要軍事強國最近通過了與軍事人工智能有關的國家戰略或類似文件，表明各國已經意識到軍事人工智能的戰略重要性，并指導他們努力開發、采購和將人工智能系統納入其武裝部隊。

美國國防部（DOD）在2018年發布了一項人工智能戰略，該戰略強調了優先發展的領域，確定了應如何與民間社會組織建立發展伙伴關系，并制定了一項關于人工智能機器倫理的政策生成計劃。美國人工智能國家安全委員會在2021年發布了一份報告，提出了與人工智能有關的國家防御戰略。 目標是到2025年達到人工智能準備，這意味著 "組織改革，設計創新的作戰概念，建立人工智能和數字準備的性能目標，并定義一個聯合作戰網絡架構"，以及贏得"技術競爭"。

俄羅斯到目前為止還沒有公布關于軍事人工智能的政策，但正在積極資助私營和公共部門的研究。2018年，俄羅斯舉行了一次會議，提出了十項政策建議（AI: Problems and Solutions 2018），這些建議構成了其人工智能戰略的非官方基礎。

歐洲國家在人工智能戰略方面處于類似的階段。在英國2021年國防白皮書通過后，英國國防部（MOD）在2022年通過了《國防人工智能戰略》。 該戰略規定了國防部采用和利用人工智能的速度和規模，與工業界建立更強大的伙伴關系，并開展國際合作，以塑造全球人工智能的發展。 法國沒有采取這樣的戰略，但其《國防人工智能報告》強調了將人工智能納入其武裝部隊的戰略優勢，如分析和決策的速度，優化作戰流程和后勤，以及加強對士兵的保護，并將機器學習歸類為研究和開發（R&D）的主要領域。

雖然更多的國家發表了關于人工智能的分析和政策，但卻沒有對未來的軍事戰略提出見解，北約在2021年通過了其人工智能戰略。該戰略是整個聯盟的人工智能準備和運作的基礎，隨后是北約的自主實施計劃，包括在2022年創建數據和人工智能審查委員會。 歐盟至今沒有采取類似的戰略，只限于在2020年的《人工智能、機器人和相關技術的倫理問題框架》中鼓勵與軍事有關的人工智能領域的研究。

由于各國關于人工智能或與人工智能相關的國防戰略并沒有明確說明人工智能將如何影響軍事戰略，因此可以根據未來可能使用人工智能進行戰略決策的跡象來確定各自的期望。人工智能在戰爭戰略層面的應用實例是對核指揮、控制、通信和情報（C3I）架構的貢獻；導彈和防空系統的目標獲取、跟蹤、制導系統和識別；網絡能力；以及核和非核導彈運載系統。

對于軍事戰略來說，最重要的是，人工智能的應用可以幫助決策者監測戰場并制定方案。事實上，可以開發人工智能來預測其他國家的行為和反應，或生成正在進行的沖突的進展模擬，包括兵棋推演模型。人工智能還可以用來評估威脅，提供風險分析，并提出行動方案，最終指導決策者采取最佳對策。 此外，人工智能可以支持武裝部隊的方式和手段與既定的政治和戰略目標相一致，這是軍事戰略的一個主要功能。這種發展的一個后果是軍事進程的速度和質量都會提高。雖然這將為那些擁有高性能人工智能的國家提供巨大的優勢，但這也可能迫使武裝部隊越來越多地將軍事行動的協調工作交給人工智能系統。

將人工智能用于軍事戰略也可能導致挑戰，包括預測性人工智能需要無偏見和大量的數據。可靠的人工智能系統將需要用龐大的數據集進行訓練。 此外，專家們警告說，人工智能可能會加劇威脅，改變其性質和特點，并引入新的安全威脅。 一項關于將人工智能納入核C2系統的桌面演習表明，這種系統 "容易受到惡意操縱，從而嚴重降低戰略穩定性"。這種脆弱性主要來自于第三方使用技術欺騙、破壞或損害C2系統所帶來的風險，這表明系統安全對AI用于軍事戰略的重要性。

另一個重要的挑戰是，人工智能可能會加快戰爭的速度，以至于人類將不再能夠跟隨上述速度的發展，最終導致人類失去控制。 這種現象被稱為 "戰場奇點 "或 "超戰爭"，可能導致戰略錯誤和事故，包括非自愿的沖突升級。即使這種風險能夠得到緩解，對人工智能的更多依賴也會減少軍事戰略中人的因素，特別是心理學和人的判斷。觀察家們認為，這可能會導致 "人工智能如何解決人類提出的問題，以及人類如果擁有人工智能的速度、精度和腦力會如何解決這個問題 "之間的差距。 然而，專家們也提出，戰略的制定需要對價值的理解，成本的平衡，以及對戰爭所處的復雜社會系統的理解，從而大大限制了人工智能在軍事戰略上的應用。還有一種可能是，當敵人擁有人工智能系統提供的高水平的理性預測能力時，決定性的因素將不是人工智能系統的能力，而是人類的判斷，特別是關于關鍵和困難的選擇。然而，這假定了某種程度的有意義的人類參與。

總之，主要的軍事大國正在投資開發、獲取和操作其武裝部隊的人工智能，因為人工智能有可預見的戰略優勢。然而，各國的戰略并沒有表明人工智能將如何被用于軍事戰略。然而，根據目前的技術發展，可以預計，人工智能將加強軍事戰略的制定和戰略決策，特別是人工智能能夠處理更多的數據，并以比人類和簡單計算更高的精度和速度來理解復雜性。一個可能的結果是軍事行動的加速，這可能會增加武裝部隊整合人工智能的壓力，使人類的判斷力邊緣化。因此，擁有和使用人工智能本身就成為一種戰略資產和目標。同時，國家對軍事人工智能的投資可能成為一種戰略責任，因為它可能增加破壞穩定的軍備競賽、誤解和誤判的風險。未來的軍事戰略需要考慮到這種風險。

總之，主要的軍事大國正在投資開發、獲取和使用人工智能，因為人工智能有可預見的戰略優勢。然而，各國的戰略并沒有表明人工智能將如何被用于軍事戰略。然而，根據目前的技術發展，可以預計，人工智能將加強軍事戰略的制定和戰略決策，特別是人工智能能夠處理更多的數據，并以比人類和簡單計算更高的精度和速度來理解復雜性。一個可能的結果是軍事行動的加速，這可能會增加武裝部隊整合人工智能的壓力，使人類的判斷力邊緣化。因此，擁有和使用人工智能本身就成為一種戰略資產和目標。同時，國家對軍事人工智能的投資可能成為一種戰略責任，因為它可能增加破壞穩定的軍備競賽、誤解和誤判的風險。未來的軍事戰略需要考慮到這種風險。

2. 條令與人工智能

軍事條令進一步指導軍事行動的準備和執行。軍事條令可以被定義為 "從制度化的角度來看，執行軍事任務和職能普遍接受的方法"。因此，它代表了'在戰爭和軍事行動中什么是有效的制度化信念'。條令一般包含三個關鍵要素，即理論（什么是有效的，什么會導致勝利）、權威（條令必須被認真對待）和文化（組織及其成員是誰）。 因此，條令回答了 "軍隊認為自己是什么（'我們是誰'），它的任務是什么（'我們做什么'），如何執行任務（'我們怎么做'），以及歷史上如何執行任務（'我們過去怎么做'）"等問題。 《美國陸軍條令入門》將條令描述為由基本原則、戰術、技術、程序以及術語和符號組成。

鑒于條令的目的和功能，人工智能在發展軍事條令方面的作用可能有限。它可能會繼續由人類創建和修訂。人工智能的具體作用可能僅限于監測武裝部隊的進程與他們的條令是否一致，以確定過去的工作，并支持對條令的質量和影響進行評估。為了有效地告知負責定義條令的軍事人員，這可能需要透明和可解釋的人工智能方法，否則軍事人員將無法理解并做出適當的決定。

然而，條令在設定人工智能的使用和人類互動的基本原則、價值和參數方面具有重要作用。值得注意的是，軍事條令是界定武裝部隊如何感知、理解和重視人工智能的適當手段。由于人工智能的高度自主性，武裝部隊可能需要明確人工智能是否被視為一種技術工具，或者說是一種代理手段。在這個意義上，條令可以定義武裝部隊是否將人工智能視為簡單的數學、技術系統，或者說是具有認知能力的工具。條令可以定義人類在組織中的價值、地位和作用，以及使用人工智能的過程。由于軍事行動和戰爭是人類為達到目而發起的行動，條令可以明確這意味著什么。在這種情況下，條令也可以定義人類與人工智能系統互動的價值和原則，包括人工智能需要為人類服務而不是相反。

同樣，條令也是定義人工智能系統的開發、獲取和使用的道德標準工具。由于軍事條令是根據國際法起草的，并且通常呼吁武裝部隊成員尊重國際法，因此條令也可以定義人工智能系統和運營商遵守國際法的方式。條令是對人工智能和人機協作施加限制的重要工具，適用于各軍種和武裝部隊的所有成員。這可能意味著對人工智能系統進行有意義的人類控制的一般要求，或禁止將某些功能授權給人工智能系統。

更具體地說，條令可以為人工智能融入組織流程設定原則和參數。例如，從事數據整合、優先排序的人工智能系統可能需要修訂軍事條令和武裝部隊使用和收集信息的準則。雖然僅限于觀測的任務系統需要有限的條令調整，但有更多 "積極 "任務的系統可能需要更具體的指導方針，如保障措施、自主程度、與操作者的溝通以及與人類部隊的互動。此外，有人認為，戰術應用主要是基于規則的決策，而戰役和戰略決策往往是基于價值的。每個級別的首選決策過程類型以及這種過程是否應該標準化，可以在條令層面上確定。

迄今為止，各國還沒有公布專門針對人工智能系統的軍事條令。英國國防部關于無人駕駛飛機系統的聯合條令是目前唯一公開的涉及軍事系統自主性的軍事條令。 然而，未來關于人工智能或與人工智能相關的軍事條令可能會根據人工智能的道德使用政策來制定。 事實上，這種政策定義了相關的價值觀、原則和使用軍事人工智能的形式，并為其提供指導，其目的與軍事條令類似。一些國家和組織最近通過了這種關于軍事人工智能道德使用的政策，包括北約。

美國國防部為人工智能的發展和使用采用了五項道德原則。系統需要負責任、公平、可追蹤、可靠和可治理。這些原則規定，美國防部人員負責人工智能系統的 "開發、部署和使用"，因此必須表現出良好的（人類）判斷能力。此外，美國防部明確確定，必須努力將人工智能運作的數據偏見降到最低。 此外，美國國防部2012年3000.09指令確定了美國對致命性自主武器系統（LAWS）的立場。它定義了致命性自主武器系統，確定了三類智能武器系統（自主、半自主和人類監督的自主系統），并為其行動設定了一般界限，以及有關人類操作員的作用和法律審查的標準。

同樣，歐盟議會也通過了一份題為《人工智能：國際法的解釋和應用問題》（人工智能的民事和軍事使用準則），其中特別討論了人工智能的軍事應用。 該報告包含了關于歐盟成員國開發和使用軍事人工智能應用的強制性準則以及一般性結論。首先，報告解釋說，人工智能不能取代人類決策或人類責任。 第二，為了合法，致命性自主武器系統必須受到有意義的人類控制，要求人類必須能夠干預或阻止所有人工智能系統的行動，以遵守國際人道主義法（IHL）。第三，人工智能技術及其使用必須始終遵守國際人道主義法、國際刑事法院羅馬規約、歐盟條約、歐盟委員會關于人工智能的白皮書，以及包括透明度、預防、區分、非歧視、問責制和可預測性等原則。

2021年4月，法國道德委員會公布了一份關于將致命性自主武器和半自動武器納入武裝部隊的意見。盡管其內容尚未得到國防部長的批準，但它代表了未來潛在的軍事條令。該文件重申了人類對自主武器的致命行動保持一定程度控制的重要性，并聲稱法國不會開發也不會使用完全自主的武器。同樣，澳大利亞發表了一份題為《國防中的道德人工智能方法》的報告，其中討論了與軍事人工智能應用有關的道德和法律考慮，但并不代表官方立場。

總之，除了評估和修訂之外，人工智能不太可能對創建軍事條令有實質性的作用，因為條令的作用是定義和規范軍事組織問題以及與信仰、價值觀和身份密切相關軍事行動的各個方面。然而，正是由于這種功能，條令在確定武裝部隊與人工智能的基本關系方面具有重要作用。特別是，條令適合于籠統地規定人工智能將（不）用于哪些任務，人工智能將（不）如何使用，以及組織及其成員如何看待和重視人工智能。最重要的是，鑒于人工智能的特點，條令可以確定人類如何并應該與人工智能互動，以及何種組織文化應該指導這種關系。因此，條令可以為進一步的軍事指令和程序設定規范性框架。各國的道德準則可以作為軍事條令的基礎并被納入其中。

3.規劃和人工智能

根據各自的軍事條令制定的作戰和行動計劃，是根據現有手段實現軍事目標的概念和指示。規劃反映了指揮官的意圖，通常包括不同的行動方案（COA）。存在各種軍事計劃和決策模式，但北約的綜合作戰計劃指令（COPD）對西方各種模式進行了很好的概述和綜合。 例如，加拿大武裝部隊遵循六個步驟，即啟動、定位、概念開發、決策計劃制定和計劃審查。一般來說，規劃包括 "規劃和安排完成特定COA所需的詳細任務；將任務分配給不同的部隊；分配合適的地點和路線；刺激友軍和敵軍的戰斗損失（減員）；以及重新預測敵方的行動或反應。

雖然規劃需要考慮到人工智能系統在軍事行動中的使用，但人工智能最有可能被用于規劃本身。用于軍事規劃或與之相關的人工智能應用是ISR系統、規劃工具、地圖生成機器人，以及威脅評估和威脅預測工具。 與規劃有關的進一步人工智能應用可能包括大數據驅動的建模和兵棋推演。例如，美國陸軍為其軍事決策過程（MDMP）開發了一個程序，該程序采用 "高層次的COA"（即目標、行動和順序的草案），并根據這個總體草案構建一個詳細的COA，然后測試其可行性。這表明，人工智能可以發揮各種功能，從COA提議到解構和測試。

人工智能應用可能會對計劃產生強烈影響。規劃軍事行動是一個緩慢而繁重的過程，它依賴于對 "結果、損耗、物資消耗和敵人反應 "的估計。它涉及到對特定情況的理解、時空分析和后勤問題。然而，有限時間和勞動力限制了可以探索的選項數量。此外，預測可以說是"作戰指揮官最棘手的任務之一"。只要能提供足夠數量和質量的數據，人工智能在預測的質量和速度上都可能會有出色的表現。數據分析能夠進一步處理比人類計算更多的信息，最終減少"戰爭迷霧"。由于人工智能程序可以將行動分解為具體的任務，然后相應地分配資源，預測敵人的行動，并估計風險，因此人工智能的使用將提高決策的總體速度和準確性。增加可考慮的COA數量將進一步使規劃過程得到質量上的改善。

然而，使用人工智能進行規劃也有潛在的弊端。由人工智能驅動的更快規劃所帶來的戰爭速度提高，可以說會減少決策者的（再）行動時間，這可能會損害決策的質量。還有人質疑，人工智能驅動的規劃是否會"導致過度關注指揮分析方面，通過書本和數字削弱了軍事指揮決策的直覺、適應性和藝術性"。指揮官和其他軍事人員也可能變得過渡依賴技術，使他們變得脆弱。剩下的一個挑戰是產生足夠的相關數據，讓人工智能規劃系統正常工作并產生有意義的結果。

人工智能系統將執行規劃任務以及協助軍事人員，但它們可能不會根據這些計劃做出適當決策。事實上，有人認為，人工智能系統難以完成與指揮有關的任務，如設定目標、優先事項、規則和約束。因此，人類的判斷對于這些任務仍然是必要的。人工智能寧愿執行控制任務，并最終彌補軍事人員的認知偏差。然而，隨著新版本的C2（部分）納入人工智能，觀察家們質疑是否清楚誰將擁有跨領域的決策權，人類在這種架構中會和應該發揮什么作用，以及技術是否準備好進行大規模開發。

當強大的人工智能系統被用于軍事規劃時，規劃和決策之間的區別可能會變得模糊不清。與人類因軍事行動的高速發展而無法正確跟蹤事件進程的風險類似，將規劃任務更多地委托給人工智能可能意味著指揮官和規劃者不再能夠理解或追溯系統如何得出結論。同樣，指揮官可能會因審查眾多擬議計劃或COA的任務而被壓垮。人工智能生成的方案也可能意味著更高的復雜程度。因此，人工智能可以被用來消化信息，只向指揮官提供最相關的內容。然而，這可能會導致對人工智能的進一步過度依賴。因此，強大的人工智能系統，或系統簇（SOS），將需要一定程度的可預測性和透明度。

總之，與人工智能的其他軍事應用相比，至少在中短期內，人工智能可能會對規劃產生最重大的影響。由于規劃是極度時間和資源密集型的，人工智能系統可以導致速度、精度和質量的提高。這可能會對軍事行動和戰爭產生重大影響，因為有人認為，軍事競賽的贏家是那些在觀察、定位、決策和行動（OODA環）中工作最快的人。一個進一步的影響是，規劃的自動化導致了軍事決策的（進一步）合理化，包括人員傷亡的合理化。另一個后果是對人力的需求減少。然而，規劃方面的人力需求減少并不意味著基于軍事規劃決策的人力判斷需求減少，特別是在價值觀和直覺仍然是規劃的核心內容情況下。

4. 交戰規則與人工智能

交戰規則(ROE)用于描述軍事力量部署的情況和限制。交戰規則可采取多種形式，包括執行命令、部署命令、作戰計劃和長期指令。無論其形式如何，它們都對 "使用武力、部隊的位置和態勢以及使用某些特定能力 "等進行授權或限制。交戰規則有共同的要素，如其功能和在作戰計劃中的地位，以及其他基本組成部分。交戰規則通常是 "軍事和政治政策要求的組合，必須受到現有的國際和國內法律參數約束"。因此，其要素和組成部分反映了軍事行動、法律和政治要素。通用的交戰規則和模板文件，如北約的MC362/1和Sanremo交戰規則手冊，可以作為交戰規則起草者的基礎或靈感，而這些起草者通常是軍事法律顧問。雖然交戰規則一般不會分發給所有低級軍官，但士兵們經常會收到含有簡化的、基本版本的交戰規則記憶卡。

交戰規則是與軍事力量部署和武力使用有關的更大監管框架的一部分。因此，它們與其他類型的軍事指令相互作用，特別是目標選擇和戰術指令。目標定位指令提供了關于目標定位的具體指示，包括對目標的限制和盡量減少附帶損害。戰術指令是 "針對整個部隊或特定類型的單位或武器系統的命令，規定在整個行動中執行特定類型的任務或在行動中限制使用特定的武器系統。雖然交戰規則不是必不可少的，但它們可以為部隊及其成員提供更具體和細微的指示。

交戰規則是確定如何使用人工智能以及在哪些條件下可以在特定情況下應用的適當工具。交戰規則——或相關的行為規則——可以為人工智能的各種軍事應用設定參數，從而將特定的政治、軍事、法律和道德考慮以及來自更高組織或規范梯隊的限制，如條令或國際法律義務，轉化為具體指令。因此，ROE可以代表一個行動框架，被編入AI系統。例如，ROE可以確定一個地理區域或某個潛在任務的清單，系統被授權采取行動。在這些限制之外，他們將不會對處理過的信息采取行動。時間或其他限制，如預先設定的允許（不）與特定目標交戰，也可以由ROE定義。同樣，ROE可以預見一個系統需要標記的意外事件或問題。在這種情況下，有些人提出，人工智能可能會根據環境或其編程的任務來選擇應用哪種ROE。

ROE也可以定義人類和人工智能系統在特定任務中的互動。特別是，ROE可以確定指揮官或操作員在部署期間需要如何監測和控制該系統。由于對人類控制的需求可能會根據歸屬于人工智能系統的具體任務以及各自的背景和行動而有所不同，人工智能的ROE可以定義某些類型的行動或階段的自主性水平。ROE可以進一步處理或參考其他來源，如手冊和指令，關于如何實施各種形式的人類控制，如直接、共享或監督控制。重要的是，ROE可以限制指揮官或操作人員的權力，這可能迫使他們在指揮系統中參考上級。這可能是軍事行動中關于人機協作的ROE的一個重要作用，特別是在面對未曾預料到的情況或問題時，系統或其使用沒有事先得到授權。

當人工智能被用于傷害人和物或與之有關時，如在定位目標的情況下，ROE尤其相關。特別是當考慮到人工智能不能將道德或背景評估納入其決策過程時，在做出使用致命武力的決策時，人類的控制和判斷應該是有意義的。如上所述，大多數公開的政策在原則上確立了這種監督，但很少明確其確切含義。交戰規則和指令可以填補這一空白。為此，可以為人工智能系統的操作者制定與目標定位有關的行為準則，或為此類系統制定ROE模式。

事實上，雖然到今天為止還沒有能夠在沒有人類授權的情況下攻擊人類目標的自主武器，但在目標定位方面，更加自主的系統將是一個大的趨勢。與目標定位有關的現有軍事應用是目標識別軟件，如可以檢測衣服下爆炸物的Super aEgis II，以及用于目標交戰的系統。美國人工智能制導的遠程反艦導彈（LRASM）被宣傳為能夠自主地選擇和攻擊目標，甚至在GPS和通信受阻的環境中，如深水和潛在的外太空。另一個值得注意的事態發展是，據報道，2020年3月在利比亞部署了一架土耳其Kargu-2無人機，據稱該無人機在沒有人類操作員授權的情況下跟蹤和攻擊人類目標。它的使用可能代表了一個重要的先例，即在人類控制非常有限的情況下使用人工智能系統進行目標定位。

由于需要對ROE進行管理，人工智能可以協助主管當局協調、實施并最終確定ROE。軍事、政治、法律和道德目標和參數需要由軍事人員提供--至少在初始階段。正如北約的MC362/1號文件和《圣雷莫ROE手冊》所說明的那樣，ROE的后續管理是一個系統的、反復的過程，包括將具體的權力賦予不同級別的指揮部，以及監測ROE的實施和遵守情況。隨著時間的推移，人工智能系統可能會學會緩解ROE內部和之間的摩擦，以及為其適應性提升效率。例如，盡管國際法的實質內容可能本質上需要基于價值的判斷，而這種判斷不應委托給人工智能系統，但界定哪些規則需要在哪些情況下適用并不是一個過于復雜的理性過程。為了避免改變現有法律框架的實質內容，這種功能要求任何用于管理ROE的AI應用不能侵犯歸屬的權力。

總之，ROE可以成為一個有用的工具，以具體和實用的方式指導軍事AI的使用。因此，它可以補充和執行上級的政策、法規和準則，從而使軍事、政治、法律和道德目標和原則轉化為具體行動。ROE的指導對于人機協作，以及定義和具體化與人工智能系統有關的人類控制和判斷，在目標定位方面尤其重要。人工智能的應用可以進一步提高ROE管理的質量和效率。雖然這可能有助于協助軍事人員，類似于人工智能應用于軍事規劃，但軍事人員需要對ROE的實質進行有效監督，即誰或什么系統在什么情況下可以使用武力。然而，如果人工智能能夠實現更廣泛的、更細微的、更快速的交替性ROE，確保這種監督可能會變得具有挑戰性。

5. 作戰命令與人工智能

規劃和實施軍事行動的最具體的工具是命令。例如，北約和美國陸軍將命令定義為 "以書面、口頭或信號的方式傳達上級對下級的指示"。雖然有不同類型的命令，但它們一般都很簡短和具體。命令可以是口頭的，也可以是圖形的，還可以是疊加的。它們必須遵守法律以及上級的軍事文件和文書。另一個經常使用的術語是指令，它被定義為 "指揮官下達的命令，即指揮官為實現某一特定行動而表達的意愿。

從軍事參謀人員到人工智能系統的指令將采取系統初始開發的形式，有關任務目標和限制的參數編程，以及操作人員在操作期間的輸入。人類和人工智能系統之間的這些互動形式可能會履行傳統上歸屬于命令的功能。雖然人工智能系統的開發和操作，特別是機器學習，有其特殊的挑戰，但測試表明，機器并不存在不服從命令的內在風險。由于在操作過程中人的輸入等于人對系統的控制，如果一個系統能夠根據適當的學習自主地調整其行為，這一點就特別重要，現在正在開發防止系統在沒有人類輸入下采取行動的保障措施。例如，美國國防部3000.09指令規定，致命性武器系統的編程方式必須防止其在未經人類事先批準的情況下選擇和攻擊目標，特別是在失去通信的情況下。

人工智能和操作人員之間具體的互動形式仍在繼續開發。美國陸軍實驗室設計了一種軟件，使機器人能夠理解口頭指示，執行任務，并進行匯報。會說話的人工智能現在也被開發出來，以實現操作員和系統之間的口頭對話。這種互動使系統能夠要求其操作者進行澄清，并在任務完成后提供更新，以便士兵在工作中獲得最新的信息。諸如此類的應用可能使軍事人員更容易與人工智能合作，并減少操作員對人工智能控制的學習曲線。然而，人工智能應用也可以支持指揮官下達命令和指令的任務。人工智能尤其可以用來提高通信系統的穩健性和容錯性，這顯然可以使命令的傳輸更加安全。

雖然人工智能系統可能不會被委托正式發布命令，但是類似的動態可能會出現。對于人工智能系統之間的互動，命令是沒有必要的，因為系統只是作為數字應用網絡的一部分交換信息。關于對軍事人員的命令，武裝部隊似乎不可能接受人工智能系統向其成員發出指令。然而，由于人工智能系統可能會以越來越高的速度和復雜性提出行動建議，作為人類決策的輸入，軍事人員可能不會質疑這些建議，沒有時間批判性地評估它們，或者根本無法理解系統如何得出結論。如果他們還是以這些建議為基礎采取行動，這種對系統輸入的過度依賴可能意味著系統事實上向人類發布命令。還有可能的是，通過信息技術接收指令的較低層次的操作員和士兵可能無法知道某個命令是由人類還是人工智能系統創造的。為了排除這種結果，軍事條令和指令需要建立與命令有關程序的透明度。

總之，在軍事行動中，正式的命令很可能與控制人工智能無關。然而，命令和指令的傳統概念可以幫助分析、分類和發展人工智能系統和人類操作員之間的未來互動。在這種情況下，卡爾-馮-克勞塞維茨提出的管理方法和任務型戰術（Auftragstaktik）之間的傳統區別表明，人類對人工智能系統的投入，即人工智能系統的開發、編程和操作控制，可以根據對執行任務細節的程度來進行分類。鑒于人工智能的特質，我們有理由認為，當人工智能系統被賦予高水平的自主權，類似于任務型戰術時，將對武裝部隊最有價值。同時，人類在行動中的投入將是非常精確的，起到管理作用。然而，最重要的是，這又回到了上文討論的可以授予 AI 系統多少自主權的根本問題。

結論

人工智能有可能影響所有領域和大規模的軍事行動。轉變的程度主要取決于未來的技術發展。然而，這也取決于武裝部隊將賦予人工智能的作用和功能。從這兩個因素中可以看出，人工智能與準備和開展軍事行動的主要工具之間存在著動態的相互關系。一方面，人工智能的引入將影響到這些工具以及軍事行動的準備和實施。另一方面，這些工具在監管和使用人工智能方面發揮著重要作用。這種相互關系是動態的，因為它很可能隨著技術的發展、部隊對人工智能系統的經驗、組織文化和社會價值觀的變化而變化。

上述內容討論了人工智能與準備和執行軍事行動的主要工具之間的相互關系，而其中核心潛在的問題是人類操作員與人工智能系統之間的相互作用。在戰略方面，國家的官方文件證明，獲得和運用人工智能具有戰略意義。人工智能將可能支持軍事戰略，特別是預測和規劃。戰略中的人為因素可能仍然至關重要，因為戰略依賴于本能和價值觀，但軍事人員有可能過度依賴人工智能。對于軍事條令，人工智能的作用可能僅限于評估和協助修訂條令。條令在決定武裝部隊的目的、價值觀和組織文化方面的功能表明，它將在確定武裝部隊如何看待人工智能系統并與之互動方面發揮重要作用。

人工智能將極大地幫助軍事規劃，特別是基于人工智能高速和精確地處理復雜和大量數據的能力。因此，即使人工智能系統不會被委托做出決策，軍事規劃人員和指揮官也有可能過度依賴他們的分析和建議，尤其是在時間壓力下。因此，人工智能支持決策和人工智能作出適當決策之間的界限可能會變得模糊不清。關于ROE，盡管人工智能可以支持ROE的管理，但后者主要是一個適當的工具，以具體的方式為具體的任務劃定人工智能的使用。這尤其適用于人機合作和人對人工智能應用的控制。在軍事命令方面，人工智能系統可能會大大協助指揮和控制，但不會被委托發布命令。然而，在實踐中，可能很難區分由算法發布的命令和由指揮官發布的命令。這可能會導致人工智能支持和人工智能決策之間的混淆，類似于規劃的情況。

因此，如果人類操作員和人工智能系統之間的交互，是人工智能與準備和執行軍事行動的主要工具之間動態相互關系的核心潛在問題，那么無論是技術發展還是工具適應性都需要特別注意適當的人類與人工智能的交互。可以預計，技術進步將主要塑造未來的人機協作模式。軍隊結構、標準和流程可能會跟隨技術發展而相應調整。然而，關鍵是要積極主動地界定基本原則、價值觀和標準，而不是簡單地適應技術發展，成為路徑依賴或面臨意想不到后果。

畢竟，關注適當的人與人工智能互動不僅是道德和法律的必要條件，也是通過引入人工智能有效提高軍事行動的必要條件。因此，對人工智能和軍事行動的進一步思考和研究，以及對人工智能和戰略、條令、規劃、ROE和命令的進一步思考和研究，應該側重于人機互動，因為這仍然是人工智能戰爭最緊迫的挑戰。這可能有助于在人工智能影響工具和這些工具管理軍事人工智能之間找到并確定一個適當的平衡。

圖戰斗系列

2019年1月，美陸軍部長（SECARMY）要求陸軍科學委員會（ASB）研究人工智能（AI）如何改善戰場上的戰役和戰術表現。具體而言，他希望ASB確定陸軍在人工智能實施方面的獨特挑戰，確定陸軍的行業最佳實踐，并審查對手在戰場上對人工智能的潛在使用。

為了進行這項研究，ASB組建了一個研究小組，成員包括建立人工智能系統和指導人員，以及在實驗室、學術界、工業界和軍方有經驗的人員。該團隊還得到了負責人工智能實施的陸軍人工智能任務組以及陸軍研究實驗室（ARL）和陸軍夜視局高級政府聯絡員的協助，他們幫助約束該研究并為陸軍的人工智能實施提供指導。在收集數據的同時，研究小組還會見了來自政府、工業和學術界各組織的130多名人士。

AI在戰場上的前景和挑戰

在工業革命期間，機器開始執行以前需要人類體力勞動的任務。今天，一場認知革命正在發生，機器開始執行以前需要人類認知的任務。例如，我們問智能手機問題，并期望得到合理的答復，我們在網上買東西，并得到類似產品的推薦。

目前還不清楚我們是否了解認知革命的所有影響，但研究小組認為，它將改變戰爭特征，因為它提高了決策到行動的速度、規模和范圍，超過了人類在沒有援助的情況下所能完成的大量任務。人工智能是認知革命的核心，在戰場上優化使用人工智能將需要陸軍采用新的思維方式，包括一個反應靈敏的采購過程。

為了這項研究的目的，研究小組將人工智能定義為計算機系統執行通常需要人類智慧的任務能力。有許多關于人工智能的方法。

美國的對手已經在使用人工智能。俄羅斯和中國定期公布在戰場上進行的自動駕駛車輛實驗。成功實施人工智能的一個關鍵是數據標簽化。中國和俄羅斯的領導層都宣布人工智能是未來，誰能領導認知革命，誰就能在戰場上獲勝。除了僅僅使用人工智能，美國的對手希望實現人工智能的優勢。

目前的美國防部政策劃定了自主和協作，這決定了人工智能如何被用于支持各種作戰任務。因此，需要對人工智能采取多種方法，以確保人工智能系統在戰場上的最佳應用。無論采用哪種方法、作戰使用或政策要求，快速反饋周期將推動對作戰任務的評估，并將采用人工智能來告知如何收集和調節數據、如何運行算法以及如何優化人機界面。換句話說，人工智能最終將被用來衡量人工智能在戰場上的使用情況。這對軍隊來說也是顛覆性的。

同時，美國陸軍有幾種可能的方式在戰場上使用人工智能。下一個垂直升降飛機可以與使用綜合視覺增強系統（IVAS）的下一代戰斗車輛和士兵合作。一旦這些部件被聯網，相對于士兵在獨立系統中所能做到的，人工智能將提供更高的速度、范圍和規模。因此，人工智能將被用于自主機動、輔助目標識別和/或自動目標識別、任務規劃等。

人工智能給戰場帶來的優勢伴隨著風險和挑戰。有效使用有幾個潛在的障礙，如缺乏互操作性，數據饑餓，以及被對手利用。這些都是眾所周知的。但也有圍繞可靠性、信任、道德和可解釋性的問題，所有這些都有助于操作者理解人工智能的決策或建議。不是所有的人工智能系統都能做到這一點。

圖5 陸軍使用人工智能的潛力和挑戰

人工智能在工業中的應用

研究小組訪問了工業界，以了解商業企業如何利用人工智能，減少風險，并克服固有的挑戰。成功應用人工智能的共同主題涉及快速和持續的適應性和改進，可由以下方法促成：

• 使用常見的人工智能平臺

• 整理數據，特別是通過事實標簽

• 用模擬數據增強真實數據

• 創建架構和基礎設施，支持數據流和競爭所需的高性能計算

• 開發與技術共同發展的運行概念，例如，特斯拉的軟件更新方式是根據人們如何使用車輛來發展和展示新功能的。

• 知道在哪里應用人工智能來解決價值最高的問題，帶來最好的投資回報

• 獲取人工智能技能人才，由于競爭激烈，即使是像亞馬遜這樣的公司也面臨挑戰。

競爭也促使行業發展出一套實踐，允許快速變化和升級，特別是在軟件方面，進入正常生產，同時確保高質量。這種實踐--DevOps--結合了開發（Dev）和信息技術運營（Ops），以縮短系統開發的生命周期，并提供持續、高質量的交付（圖1）。

企業在實驗室中創建、整合和測試人工智能，將其發布給消費者，并部署到現場。當它被使用時，它被監測，并根據該系統的運行和使用情況，制定計劃，產生升級。企業重新編碼，重新開始循環以提高性能。DevOps循環需要一個底層數據層來迭代AI。與軟件升級不同，軟件升級可能是按月推送的，而人工智能周期必須是連續的，操作非常迅速，以確保最佳性能。

美國陸軍的進展

在收集數據的過程中，研究小組了解到，陸軍已經開始組織將人工智能帶到戰場上。陸軍成立了人工智能工作組，并與卡內基梅隆大學（CMU）合作成立了陸軍人工智能中心。陸軍也已經開始在陸軍未來和概念中心、訓練和條令司令部（TRADOC）以及其他地方開發人工智能的概念。

也可以說，這些人工智能的工作在很大程度上是不協調的。有許多陸軍項目使用人工智能。但陸軍成功運作的人工智能不能像在工業界觀察到的那樣快速發展。往往沒有共同的基礎設施，所以用于每個系統的計算、網絡和數據都是獨立的。

與工業界相比，陸軍人工智能活動的另一個不足之處是系統分析和建模與仿真（M&S）不足。例如，在x系統中加入人工智能將使任務的有效性提高y量；它將改變殺傷率，或完成任務的時間，或任務成功的概率，等等。就研究小組所能確定的而言，那些能夠顯示人工智能可能帶來什么價值的A-B測試還沒有做。

陸軍面臨的一個潛在挑戰是目前美國防部的采購環境，這使得復制工業界的快速開發周期變得極為困難。陸軍要購買一個可以像谷歌和其他公司那樣每天進行更新的系統是非常困難的。

陸軍可以自行解決的另一個挑戰是缺乏獲得、管理和使用其人工智能能力所需的足夠人才。陸軍有與增長和保留STEM資格人員有關的人才管理問題，而人工智能從業者在這一領域中所占的比例更小。有一些專家，但陸軍并沒有很多。

隨著陸軍繼續組織將人工智能帶入戰場，相當明確的是，最佳應用將出現在哪里（圖2）。有幾十種情況下，人工智能會增強陸軍的作戰功能，以包括一些人類參與可能有限的任務。

圖2 AI在戰場上的潛在應用

這些賦能器中的大多數已經在開發中，它們很少從頭開始。戰場上的使能因素往往可以建立在商業技術之上。

根據人工智能任務組的報告，目前的陸軍人工智能生態系統以CMU的人工智能中心為中心（圖3）。它與各利益相關者保持著聯系，包括實驗室和材料開發商、陸軍訓練中心和作戰社區。通過人工智能任務組，該中心還與美國防部的聯合人工智能中心進行協調。

圖3 當前陸軍AI生態系統

美陸軍人工智能生態系統專注于開發和實戰原型；從定義下一代系統的人工智能要求，到為傳統平臺開發人工智能解決方案。這種在戰場上的人工智能整合將迫使陸軍以新的方式運作。除了解決商業從業者確定的挑戰和減輕潛在對手的攻擊，陸軍必須解決地方性的挑戰，包括以下能力：

• 確定人工智能投資的優先次序，以獲得最大的戰場影響

• 構建一個SoS框架，利用獨立開發的、異質的、支持人工智能的平臺

• 通過繁忙的操作網絡調動數據、模型、算法和反饋

• 測試不斷發展的系統，并驗證其對敵方攻擊的復原力

圖17 SoS企業架構集成

雖然商業從業者可能擁有他們的整個人工智能企業，但軍隊不會。陸軍將從國防工業基地內的不同來源購買技術，它將不得不使它們一起工作。一旦完成這項任務，數據、模型、算法和反饋都必須在一個繁忙的操作網絡上移動。陸軍將不會有使用工業界所享有的那種基礎設施的好處。

陸軍還需要采用類似于DevOps周期的方法，以支持持續改進的方式將原型轉化為記錄項目（POR）。這將需要有能力（對陸軍來說是新的）測試不斷發展的系統并驗證對攻擊的適應性。陸軍將不得不改變其運作方式，以采用DevOps循環。

建議

根據其數據收集、分析和發現，研究小組在六個類別中提出了建議(圖4)。

結論

人工智能將通過提高決策的速度、規模和范圍來改變戰爭的特征，而這是人類所能實現的。如果陸軍對采用MDO是認真的，它就需要認真地采用協作性人工智能。

人工智能對陸軍和其對手都將是顛覆性的，因為：

• 完整的戰場效果將需要不斷地收集和整理數據，而迄今為止雙方都沒有做到這一點
• 每一方都將不得不在異質平臺上發展人工智能之間的合作
• 人工智能DevOps周期的快速執行是成本密集型的，并且厭惡官僚主義

美國陸軍將需要開發一個人才管道，使其成為人工智能能力的聰明買家和聰明用戶。

有說服力的動機：美國的對手已經在做這些事情了。

（本文由國家情報委員會的戰略未來小組與外部專家和情報界分析師協商后制作，以幫助為 2021 年 3 月發布的綜合全球趨勢產品提供信息。但是，該分析并不反映美國政府的官方政策、廣度情報來源，或美國情報界的全方位觀點。）

在未來20年里，軍事沖突很可能是由歷史上引發戰爭的相同因素驅動的--從資源保護、經濟差距、意識形態差異到追求權力和影響力--但隨著新技術、應用和理論的出現以及更多行為體獲得這些能力，發動戰爭的方式將發生變化。改進的傳感器、自動化和人工智能（AI）與高超音速技術和其他先進技術的結合，將產生更準確、連接更好、速度更快、射程更遠和更具破壞性的武器，主要供最先進的軍隊使用，但一些較小的國家和非國家行為者也可以獲得。隨著時間的推移，這些系統的擴散和傳播將使更多的資產變得脆弱，加劇升級的風險，并使戰斗可能更加致命，盡管不一定更具有決定性。

1 未來戰場概述

本評估主要關注未來20年內可能發生的戰爭和戰斗方式的變化，包括技術、理論和行為者。它沒有詳細討論未來沖突背后的潛在原因或動機，也沒有試圖預測戰爭的每一個潛在發展。

到2040年，一系列潛在的革命性技術和新用途可能會改變戰爭的特征。我們在戰爭的三個不同方面考慮這些潛在的變化：硬件（武器系統和新技術本身）、軟件（理論、訓練和使用這些新技術的方式）和用戶（使用這些武器和理論的國家或非國家行為者）。對于戰爭的未來，新技術的應用和組合與技術本身一樣重要。

例如，在1919年，不難預測飛機、航空母艦、坦克和潛艇--所有這些都在第一次世界大戰中出現過--將在下一場大戰中使用。各個交戰國--每個國家都有自己的軍事經驗、觀念和傳統--將以何種不同的方式使用它們，以及哪些技術將戰勝其他技術，是真正的問題，也是最難預測的問題。今天的情況也是如此。

2 硬件:新的武器技術

在未來的20年里，新的和正在出現的技術可以在四個廣泛的領域改變并可能徹底改變戰場：連接性、致命性、自主性和可持續性。

• 連接性：戰斗人員探測和定位其對手、相互溝通和指導行動的方式。

• 致命性：新的武器和武器系統可以在戰場上造成的損害。

• 自主性：機器人和人工智能可以改變誰（或什么）戰斗和決策的方式。

• 可持續性：軍隊供應和支持其部署部隊的方式。

2.1 連接性

未來的戰爭可能會減少對火力的關注，而更多地關注信息的力量以及通過指揮、控制、通信、計算機、情報、監視和偵察（C4ISR）概念連接軍隊的方式。與以往任何時候相比，優勢將在于哪一方能夠收集最重要的信息，準確和快速地分析它，然后迅速和安全地將信息和相關指令傳播給部隊。

更加廉價的傳感器和大數據分析的結合表明，到2040年，在實時檢測和處理信息方面可能會出現一場革命。世界上許多國家的軍隊認識到這一潛力，并已在努力利用信息的力量來擴大其作戰戰略和能力。他們正在探索新興技術，包括但不限于人工智能，如何能夠迎來一個持續監視的時代并改善他們的決策。

• 在那些希望隱藏其活動的人--無論是在戰術、作戰還是戰略層面的戰爭--與那些尋求識別和跟蹤他們的人之間的較量中，到2040年，平衡可能會轉向 "尋求者"，因為日益先進和可獲得的技術為他們提供了持續的全球監視能力。

• 例如，在海底領域，更多的、改進的和相對便宜的傳感器與商業化處理能力的進步相結合，可以使潛艇--被認為是世界上第一個隱形技術--更容易被發現。

這種信息優勢和實現這種優勢的技術也可能成為未來沖突中對手的重要目標。連通性越是被視為一方的決定性優勢，另一方就越會尋求破壞、降低和禁用高度連接的、依賴信息的系統。

• 這種努力可能集中在戰術層面，使用先進或傳統的武器來消除關鍵的基礎設施和節點，或通過更微妙的--可能更具破壞性的--先進手段，如網絡或電子戰來改變GPS信號以誤導對手的平臺和智能武器，這種技術被稱為 "欺騙"。在更大的戰略層面上，網絡攻擊和電子戰可能被用來破壞軍隊的整體C4ISR基礎設施，以混淆或凍結決策，大大削弱其戰斗能力。

• 現代軍隊特別容易受到任何精確導航的損失，包括全球定位系統及其同等產品。例如，在2010年，一個軟件故障使多達10,000個軍用GPS接收器暫時失效，影響了美國海軍的X-47B原型無人機等系統。

• 依靠天基基礎設施的C4ISR或其他系統，如GPS，可能會因動能--甚至可能是定向能--反衛星武器系統的進步而面臨進一步的風險，無論是基于地面的還是空間本身的。

圖 連接戰爭：GPS 欺騙誤導平臺

2.2 致命性

一旦通過多樣化的監視技術找到了對手的部隊，就可以用越來越先進的武器來對付他們。武器裝備中最重要的、正在進行的趨勢之一是高速、遠程、增強的破壞潛力和精確性的日益結合。到2040年，通過在大多數武器系統中整合衛星提供的圖像和定位、定時和導航信息，精確度將進一步提高。這種進步將有可能改善能夠跨越大陸進行打擊的系統，以及更多的戰術武器，如制導火箭、炮彈和迫擊炮彈。

• 到2040年，此類系統的數量和精度不斷增加，特別是彈道導彈和巡航導彈系統，將對總部、通信設施、機場、后勤基礎設施和其他關鍵目標構成重大威脅。

• 遠程精確打擊武器庫存可能包括越來越多的高超音速系統，它們可以以前所未有的機動性和速度打擊遠距離目標。這些系統將給那些試圖開發能夠探測、跟蹤和攔截這種快速移動和機動武器的反措施的人帶來艱巨的挑戰。

盡管尚未在戰斗中得到證實，但定向能武器--包括激光和高功率微波--可能成為2040年戰場的特征。遠程精確打擊武器，如高超音速武器，有可能徹底改變進攻，而定向能武器可以徹底改變防御，例如，提供一種有效的手段來對抗高超音速武器的高速和可操作性。如果能夠克服部署此類武器系統的挑戰，包括能源消耗和補充，那么能量武器以光速發射的每一發子彈的成本幾乎可以降至零，而理論上其射速可以超過任何機械系統。

• 然而，即使這些武器在未來20年內以可觀的數量投入使用并按設計工作，它們仍將擁有固有的限制。例如，激光被限制在視線范圍內，并可能被大氣中的遮蔽物、反射表面或特殊材料所削弱或擊敗，而高功率微波可能被潛在目標的關鍵部件的硬化所擊敗。

圖 高超音速滑翔機軌跡和彈道軌跡

2.3 自主性

• 無人駕駛系統。無人機已經是全世界戰場上公認的--甚至是假定的--作戰工具。未來20年可能會看到大量其他無人駕駛飛行器的開發和部署，從地面飛行器到海基地面和地下平臺。這些飛行器是執行平凡的、重復性活動的理想選擇，如為載人平臺執行補給任務，以及執行危險任務，如偵察敵人的掩體和據點，鋪設或清除陸基和海基水雷，或搜索潛艇。

• 致命的自主武器。隨著自主技術的發展，一些國家可能不擔心人類會在發射決策中出現問題。因此，到2040年，盡管有相關的倫理和法律挑戰，真正的自主致命武器可能會在戰場上游蕩，并做出自己的目標和交戰決定。

• 蜂群。所有類型的無人駕駛系統正在迅速變得更多、更有能力和更便宜。已經觀察到小型無人機群的攻擊--例如，當美國特種部隊在2016年秋天為從ISIS手中奪回伊拉克城市摩蘇爾而戰斗時，他們受到了至少十幾架武裝無人機的攻擊，它們投放了手榴彈和簡易爆炸物。然而，蜂群的力量不僅僅是數量--無人駕駛車輛的蜂群可以相互溝通，并隨著情況的變化調整其戰術和目標。

圖 在伊拉克的一次訓練演習中，一個Talon 3B機器人正在接近一枚殺傷地雷。

這些自主系統的發展和不斷發展的能力與人工智能的進步密切相關。人工智能已經被用來提高各種現有武器系統的性能，如精確彈頭中的目標識別，并可在人機合作中用于支持人類，包括決策工具，或作為決策引擎本身。到2040年，源于人工智能的軍事決策可能會在實時支持行動中納入可用的天基數據。

• 例如，中國正在積極尋求將人工智能用于廣泛的應用，包括信息和數據分析；用于兵棋推演、模擬和訓練；以及用于指揮決策。俄羅斯總統弗拉基米爾-普京在2017年說，引領人工智能發展的國家將 "成為世界的統治者"。

• 然而，人工智能面臨著技術障礙和缺陷，它必須克服這些障礙和缺陷，以滿足其在戰場上的全部潛力。人工智能和支撐它的機器學習算法在界限分明的任務中表現出色，但如果面對混亂或意外的輸入，就會出錯。例如，可以想象這樣的情景：在動態的、往往是混亂的戰斗環境中，由人工智能驅動的致命自主武器被輸入所淹沒，要么關閉，要么游離，甚至開始瞄準友軍。

2.4 可持續性

最后，其他新技術，特別是機器人技術、增材制造、生物技術和能源技術，可能會大大改善軍事后勤和維持。

• 無人車可用于后勤支持，在后方基地和部署在戰場上的部隊之間進行相對平凡但往往危險的供應。

• 增材制造能力--如使用包括先進金屬或陶瓷在內的新材料進行3-D打印--有可能通過廉價、快速和在需要的地方生產供應品、零件和可能的設備來徹底改變軍事后勤。

• 生物技術可以提高士兵個人在戰場上的戰斗力和生存能力。士兵們可能會使用他們身上或體內的醫療設備來監測他們的身體狀況，并且隨著戰場的進展，使用設備來診斷健康問題或傷害，并注射藥物--甚至在戰斗中。

• 新能源技術--如小型核反應堆，或高密度電力儲存--可以通過減少操作前沿部署的設施和設備所需的燃料數量，或作為未來定向能源武器的動力源，對后勤和武器系統產生同樣的變革性影響。

圖 2020 年 5 月對安裝在波特蘭號航空母艦 (LPD 27) 上的激光武器系統進行的測試。據美國海軍稱，該系統成功地禁用了用作目標的無人機。

定向能武器：威力強大，但依賴于能量：激光和其他定向能武器（DEWs），以及正在開發的軌道炮，都依賴電能來運作。因此，定向能武器的一個潛在缺點是，如果它們被剝奪了電源，例如在戰斗中遭到破壞，它們就會變得無法使用。

3 軟件:開發新概念

在戰場上使用新武器和新技術的方式將與技術本身一樣重要，特別是在確定軍事突破是真正的革命還是僅僅是當今軍事藝術的先進版本方面。正如第一次和第二次世界大戰前對新的和未經試驗的理論概念進行辯論一樣，世界各地的軍隊正在努力開發如何使用這些新的戰爭工具的理論（"軟件"）--有些是以新穎的方式，但有些則更多地反映了從今天的戰術和戰略的演變。至少有四種相互獨立但并不相互排斥的設想，即行為者在未來幾年內如何使用新武器和技術。

3.1 快攻

作為毀滅性的開場炮，高超音速武器，也許與更多的先進常規導彈相結合，可以在防御者能夠做出任何形式的反應之前，幾乎同時打擊對手的軍事和民用基礎設施。由于這種武器的射程和精度，攻擊者很可能不必事先廣泛部署部隊，從而限制了對手的指標和警告。

3.2 區域防御

雖然一些新技術似乎有利于進攻或遠征戰爭，但某些其他新技術似乎為防御提供了更多的幫助，特別是對于專注于確保其國土安全的小國。例如，今天的無人駕駛系統通常需要大型和昂貴的機身，以容納必要的發動機和燃料箱，以便在遠離其基地的地方運行或在外國或敵對領土上長時間徘徊。然而，如果目標是保持對局勢的了解，并保衛一個國家的領空、海洋主張或本土領土，那么大量小型和廉價的無人駕駛系統可能同樣有效。

3.3 分布式戰爭

高速和高度精確的致命武器的擴散將使昂貴的、高價值的、難以快速替換的平臺和武器系統的生存能力受到質疑。一個潛在的緩解策略可能是進一步發展和實施分布式部隊和行動。

• 精確的地理位置、高保真戰場感知、即時通信和對抗性武器的結合意味著，到2040年，軍隊可能不再需要在時間和空間上集結部隊，達到歷史上或傳統上認為必要的程度來實現其目標。

• 然而，有一種風險是，如果促進分布式戰爭所需的任何關鍵使能器--特別是通信--被敵對行動破壞、擾亂或摧毀，那么軍隊的整體作戰系統可能從一個相互聯系的、有凝聚力的網絡演變成一個無法進行有效作戰行動的斷裂的馬賽克。

3.4 混合戰爭和非動能戰爭

各國可能會越來越多地在 "灰色地帶 "進行競爭，除其他外，還使用非官方或看似可否認的代理人，包括私營軍事公司（PMC）。盡管使用代理人并不是一個全新的現象--冷戰時期美國和蘇聯之間的競爭大多涉及代理人沖突、可否認的部隊和假情報運動--但日益緊密聯系的環境正在改變一些工具和技術。

• 除了由智能體部隊或其他可否認的部隊進行的實際作戰行動外，這種類型的沖突將包括一系列可以獨立進行或支持常規軍事部分的非動能行動，如對海底光纜的攻擊、網絡行動、GPS干擾和欺騙以及信息行動。

4 用戶：使用新武器和軍事藝術

最終，新技術的選擇和作戰概念的發展可能取決于各個行為體獨特的威脅意識、實力和脆弱性。潛在的行為者包括從大國和地區大國到非國家行為者，如PMCs和叛亂及恐怖組織。國家和組織文化以及內部動態可能會在不同行為體如何采用和使用新技術方面發揮作用。這些行為體在多大程度上鼓勵主動性和創新，或在其他方面對變化持開放態度，可能會決定他們能否成功掌握新技術和理論的全部潛力。

一些先進的或新興的技術--如高超音速技術--可能仍然屬于大國和較富裕的國家行為者的范圍，但相對較低的國家和非國家行為者可以利用成本較低和更廣泛的自動化系統和網絡工具來實現高影響甚至是戰略層面的效果。較小的國家或正在崛起的國家可能更具創新性，因為它們冒險的損失較小，受遺留系統的負擔較輕，有時可以通過跳過幾代人的發展或投資于新的和未經測試的軍事或商業技術來跨越式發展。

• 2019年，伊朗利用武裝無人機和巡航導彈對沙特阿拉伯的石油生產設施進行了一次協調的遠程打擊，展示了創造性地將不同的技術和工藝編織在一起的能力--這次攻擊短暫地關閉了全球5%以上的石油生產，導致油價飆升。

• 私營軍事公司，特別是那些在某個大國要求下運作并有可能獲得最佳技術的公司，也有可能將先進的武器和監視設備納入其行動中。由于不受國家軍隊的官僚主義、理論和傳統的約束，私營軍事公司有可能在確定新的和創新的方法，在戰場上應用日益先進的技術方面發揮領導作用。

• 叛亂和恐怖組織可能會試圖進一步利用先進技術，因為這些技術變得越來越便宜和容易獲得。現在，潛在的恐怖分子很容易建造或購買無人機，并將其改裝為攜帶幾磅炸藥。

5 展望及啟示

在歷史上，新的作戰技術不斷涌現，往往大受好評，但只對戰場產生了有限的影響，而其他技術--如火藥--則繼續產生了深遠的影響。準確地確定哪些以及在多大程度上新技術和工藝將對未來戰爭的特點產生最大的影響是眾所周知的困難。然而，已經在戰場上出現的或即將出現的先進能力，指出了一些趨勢和對2040年的戰爭與和平的潛在影響。

5.1 越來越多的先進技術

許多可能在未來20年內被開發和部署的先進系統代表著擴散的威脅。在持續的技術變革和擴散的速度下，許多與軍事相關的技術可能會變得更容易獲得，并且對國家和非國家行為者來說都很普遍。

• 例如，空間技術和服務在本質上是雙重用途的，這意味著先進的、基于空間的服務--如高分辨率圖像--將可用于軍事應用以及民用政府和商業使用。

• 技術的擴散和相對較低的成本已經為網絡空間的沖突創造了一個特別低的障礙，使小國家或團體能夠在沒有昂貴的武器系統和人員的情況下實現戰略效果。低成本的網絡空間能力的應用也可以為打擊依賴技術的國家或組織提供一個優勢。

• 鑒于技術的傳播和商業行業在新的應用和系統開發中發揮的核心作用，有可能想象一種動態的融合，即出現一種新的私營軍事公司，提供最先進的軍事能力--如機器人武器和由雇傭軍操作的平臺--以獲得報酬。這可以使較小的軍事強國避免發展現代軍事和培訓熟練人員的費用。

5.2 被認可的庇護所不再安全

遠程精確打擊能力意味著曾經因為距離而被認為相對安全的地區將變得越來越脆弱，包括機場、集結區、指揮和控制中心。各國還可能面臨不受地域限制的、針對關鍵基礎設施的協同網絡攻擊，以擾亂部隊行動，在平民中造成混亂，并削弱公眾對軍事行動的決心。

5.3 誤判和升級的風險增加

先進武器系統的日益普及以及混合戰爭和非動能戰爭的不斷使用，可能會進一步挑戰長期以來對國家間威懾的理解，可能會有意外升級為國家間直接沖突的風險。

• 如果高超音速和其他先進的精確打擊武器被證明像傳統智慧所認為的那樣有效和難以防御，這些系統可能成為理想的第一打擊武器。如果局勢高度緊張，領導人可能會感到有壓力，因為害怕在對手的第一次打擊中失去他們先進的高超音速武器和其他武器庫。

• 增加灰色地帶的活動，即使是為了避免全面的軍事對抗，也會帶來另一個風險變量，特別是隨著時間的推移，能力的增長。在對抗中，任何一方都不可能完全確定對方會如何反應，例如，當國家支持的私人軍事承包商在戰斗中被殺，或網絡攻擊破壞了關鍵的基礎設施或破壞了選舉。從本質上講，使用這些方法的前提是對方不會尋求升級。

5.4 更加致命，但不一定是決定性的

涉及大國或中等國家的未來沖突從一開始就可能是異常激烈的，但也是曠日持久的，沒有結果的。幾個世紀以來，對手發動戰爭，認為他們有一些優勢，可以使他們迅速和決定性地獲勝。有時他們是正確的，但在其他情況下，那些認為自己擁有贏得戰爭的技術或軍事戰略的領導人卻證明是錯誤的。隨著各種各樣新的但尚未嘗試過的作戰技術和概念的出現，這種動態可能會在未來20年內繼續重復。

• 作為歷史對比，日本在1941年對珍珠港的攻擊使美國海軍的太平洋戰艦艦隊癱瘓，并殺死了2400多名美國人。在未來，先進和日益致命的武器可以達到類似的影響，并在沖突開始的幾分鐘內對一個國家的武裝力量造成類似的傷亡。

• 這種破壞的速度和規模可能導致任何在未來沖突中遭受類似損失的國家因喪失軍事能力和信心、對傷亡的震驚或破壞其戰斗意志的組合而認輸或退出戰斗。然而，這種明顯的決定性損失有可能激勵一個國家繼續戰斗，而不顧流血和財富的代價，就像珍珠港事件后的美國一樣。這種情況也可能迫使一個國家采用新的武器技術或新的戰爭方法，否則它可能不會考慮去試圖擊敗對手。

自動化使系統能夠執行通常需要人類投入的任務。英國政府認為自動化對保持軍事優勢至關重要。本論文討論了當前和未來全球自動化的應用，以及它對軍事組織和沖突的影響。同時還研究了技術、法律和道德方面的挑戰。

關鍵要點

• 在軍事行動中部署自動化技術可以提高有效性并減少人員的風險。
• 在英國和國際上，自動化正被用于情報收集、數據分析和武器系統。
• 英國政府正在開發自動化系統；技術挑戰包括數據管理、網絡安全以及系統測試和評估。
• 軍事自動化的法律和道德影響受到高度爭議，特別是在武器系統和目標選擇方面。

背景

許多軍事系統都有自動化的特點，包括執行物理任務的機器人系統，以及完全基于軟件的系統，用于數據分析等任務。自動化可以提高某些現有軍事任務的效率和效力，并可以減輕人員的 "枯燥、骯臟和危險 "的活動。 許多專家認為，自動化和自主性是與系統的人類監督水平有關的，盡管對一些系統的定位存在爭議，而且對系統是否應被描述為 "自動化 "或 "自主 "可能存在分歧。英國防部在其 "自主性譜系框架 "中概述了5個廣泛的自主性水平，從 "人類操作 "到 "高度自主"。一個系統可能在不同的情況下有不同的操作模式，需要不同程度的人力投入，而且只有某些功能是自動化的。方框1概述了本公告中使用的定義。

方框1：該領域的術語并不一致，關鍵術語有時可以互換使用。

• 自動化系統。自動系統是指在人類設定的參數范圍內，被指示自動執行一組特定的任務或一系列的任務。這可能包括基本或重復的任務。

• 自主系統。國防科學與技術實驗室（Dstl）將自主系統定義為能夠表現出自主性的系統。自主性沒有公認的定義，但Dstl將其定義為 "系統利用人工智能通過自己的決定來決定自己的行動路線的特點"。自主系統可以對沒有預先編程的情況作出反應。

• 無人駕駛車輛。朝著更高水平的自主性發展，使得 "無人駕駛 "的車輛得以開發，車上沒有飛行員或司機。有些是通過遠程控制進行操作，有些則包括不同程度的自主性。最成熟的無人駕駛軍事系統是無人駕駛航空器，或稱 "無人機"，其用途十分廣泛。

• 人工智能。人工智能沒有普遍認同的定義，但它通常是指一套廣泛的計算技術，可以執行通常需要人類智慧的任務（POSTnote 637）。人工智能是實現更高水平的自主性的一項技術。

• 機器學習：（ML，POSTnote 633）是人工智能的一個分支，是具有自主能力的技術的最新進展的基礎。

英國政府已經認識到自主系統和人工智能（AI，方框1）的軍事優勢以及它們在未來國防中可能發揮的不可或缺的作用。在其2021年綜合審查和2020年綜合作戰概念中，它表示致力于擁抱新的和新興的技術，包括自主系統和人工智能。2022年6月，英國防部發布了《國防人工智能戰略》，提出了采用和利用人工智能的計劃：自動化將是一個關鍵應用。在全球范圍內，英國、美國、中國和以色列擁有一些最先進的自主和基于AI的軍事能力。方框2中給出了英國和全球活動的概述。

方框2：英國和全球活動

• 英國 英國政府已表明其投資、開發和部署用于陸、海、空和網絡領域軍事應用的自主和人工智能系統的雄心。最近的投資項目包括NELSON項目，該項目旨在將數據科學整合到海軍行動中；以及未來戰斗航空系統，該系統將為皇家空軍提供一個有人員、無人員和自主系統的組合。在2021年綜合審查發表后，政府成立了國防人工智能中心（DAIC），以協調英國的人工智能國防技術的發展。這包括促進與學術界和工業界的合作，并在紐卡斯爾大學和埃克塞特大學以及艾倫-圖靈研究所建立研究中心。

• 全球背景 對自主軍事技術的投資有一個全球性的趨勢：25個北約國家已經在其軍隊中使用一些人工智能和自主系統。有限的公開信息給評估軍隊的自主能力帶來了困難，但已知擁有先進系統的國家包括。

  • 美國。美國國防部2021年預算撥款17億美元用于自主研發，以及20億美元用于人工智能計劃。
  • 以色列。國有的以色列航空航天工業公司生產先進的自主系統，包括無人駕駛的空中和陸地車輛以及防空系統。
  • 中國。據估計，中國在國防人工智能方面的支出與美國類似。 分析師認為，這包括對情報分析和自主車輛的人工智能的投資。

俄羅斯和韓國也在大力投資于這些技術。在俄羅斯，機器人技術是最近成立的高級研究基金會的一個重點，該基金會2021年的預算為6300萬美元。

應用

自主系統可以被設計成具有多種能力，并可用于一系列的應用。本節概述了正在使用或開發的軍事應用系統，包括情報、監視和偵察、數據分析和武器系統。

情報、監視和偵察

自動化正越來越多地被應用于情報、監視和偵察（ISR），通常使用無人駕駛的車輛（方框1）。無人駕駛的陸上、空中和海上車輛配備了傳感器，可以獲得數據，如音頻、視頻、熱圖像和雷達信號，并將其反饋給人類操作員。一些系統可以自主導航，或自主識別和跟蹤潛在的攻擊目標。英國有幾架ISR無人機在服役，還有一些正在試用中。這些無人機的范圍從非常小的 "迷你 "無人機（其重量與智能手機相似）到可以飛行數千英里的大型固定翼系統。英國正在試用的一個系統是一個被稱為 "幽靈 "無人機的迷你直升機，它可以自主飛行，并使用圖像分析算法來識別和跟蹤目標。無人駕駛的水下航行器被用于包括地雷和潛艇探測的應用，使用船上的聲納進行自主導航。這些車輛還可能配備了一種技術，使其能夠解除地雷。

數據分析

許多軍事系統收集了大量的數據，這些數據需要分析以支持操作和決策。人工智能可用于分析非常大的數據集，并分辨出人類分析員可能無法觀察到的模式。這可能會越來越多地應用于實地，為戰術決策提供信息，例如，提供有關周圍環境的信息，識別目標，或預測敵人的行動。英國軍隊在2021年愛沙尼亞的 "春季風暴 "演習中部署了人工智能以提高態勢感知。美國的Maven項目旨在利用人工智能改善圖像和視頻片段的分析，英國也有一個類似的項目，利用人工智能支持衛星圖像分析。

武器系統

以自動化為特征的武器系統已被開發用于防御和進攻。這些系統包括從自動響應外部輸入的系統到更復雜的基于人工智能的系統。

• 防御系統。自動防空系統可以識別和應對來襲的空中威脅，其反應時間比人類操作員更快。這種系統已經使用了20多年；一份報告估計有89個國家在使用這種系統。目前使用的系統可以從海上或陸地發射彈藥，用于應對來襲的導彈或飛機。英國使用Phalanx CIWS防空系統。雖然沒有在全球范圍內廣泛采用，但以色列將固定的無機組人員火炮系統用于邊境防御，并在韓國進行了試驗。這些系統能夠自動瞄準并向接近的人或車輛開火。

• 導向導彈。正在使用的進攻性導彈能夠在飛行中改變其路徑，以達到目標，而不需要人類的輸入。英國的雙模式 "硫磺石"（DMB）導彈于2009年首次在阿富汗作戰中使用，它可以預先設定搜索特定區域，利用傳感器數據識別、跟蹤和打擊車輛。

• 用于武器投送的無人平臺。為武器投送而設計的無人空中、海上和陸地運載工具可以以高度的自主性運行。這些系統可以自主地搜索、識別和跟蹤目標。大多數發展都是在空中領域。英國唯一能夠自主飛行的武裝無人機是MQ-9 "收割者"，但有幾個正在開發中。英國防部還在開發 "蜂群 "無人機（方框3）。雖然存在技術能力，但無人駕駛的進攻性武器并不用于在沒有人類授權的情況下做出射擊決定；報告的例外情況很少，而且有爭議。 自主系統在識別目標和作出射擊決定方面的作用，是廣泛的倫理辯論的主題（見下文）。

方框3：無人機蜂群

無人機蜂群是指部署多個能夠相互溝通和協調的無人機和人員，以實現一個目標。在軍事環境中，蜂群可能被用來監視一個地區，傳遞信息，或攻擊目標。2020年，英國皇家空軍試驗了一個由一名操作員控制的20架無人機群，作為Dstl的 "許多無人機做輕活 "項目的一部分。蜂群技術還沒有廣泛部署。據報道，以色列國防軍于2021年首次在戰斗中使用無人機蜂群。

影響

自動化技術和人工智能的擴散將對英國軍隊產生各種影響，包括與成本和軍事人員的角色和技能要求有關的影響。對全球和平與穩定也可能有影響。

財務影響

一些專家表示，從長遠來看，軍事自動化系統和人工智能可能會通過提高效率和減少對人員的需求來降低成本。然而，估計成本影響是具有挑戰性的。開發成本可能很高，而且回報也不確定。提高自動化和人工智能方面的專業知識可能需要從提供高薪的行業中招聘。軍隊可能不得不提高工資以進行競爭，英國防部將此稱為 "人工智能工資溢價"。

軍事人員的作用和技能

自動化可能會減少從事危險或重復性任務的軍事人員數量。然而，一些軍事任務或流程，如高層戰略制定，不太適合自動化。在許多領域，自主系統預計將發揮對人類的支持功能，或在 "人機團隊 "中與人類合作。專家們強調，工作人員必須能夠信任與他們合作的系統。一些角色的性質也可能會受到自動化的影響，所需的技能也是如此。例如，對具有相關技術知識的自主系統開發者和操作者的需求可能會增加。英國防部已經強調需要提高整個軍隊對人工智能的理解，并承諾開發一個 "人工智能技能框架"，以確定未來國防的技能要求。一些利益相關者對自動化對軍事人員福祉的影響表示擔憂，因為它可能會限制他們的個人自主權或破壞他們的身份和文化感。

人員對自動化的態度：

關于軍事人員對自動化的態度的研究是有限的。2019年對197名英國防部人員的研究發現，34%的人對武裝部隊使用可以使用ML做出自己的決定的機器人有普遍積極的看法，37%的人有普遍消極的態度。有報道稱，人們對某些自主武器系統缺乏信任，包括在2020年對澳大利亞軍事人員的調查中。在這項研究中，30%的受訪者說他們不愿意與 "潛在的致命機器人 "一起部署，這些機器人在沒有人類直接監督的情況下決定如何在預定的區域使用武力。安全和目標識別的準確性被認為是兩個最大的風險。有證據表明，信任程度取決于文化和熟悉程度。

升級和擴散

一些專家提出了這樣的擔憂：在武器系統中越來越多地使用自主權，有可能使沖突升級，因為它使人類離開了戰場，減少了使用武力的猶豫性。蘭德公司最近的一份戰爭游戲報告（上演了一個涉及美國、中國、日本、韓國和朝鮮的沖突場景）發現，廣泛的人工智能和自主系統可能導致無意中的沖突升級和危機不穩定。這部分是由于人工智能支持的決策速度提高了。升級也可能是由自動系統的非預期行為造成的。

還有人擔心，由于自動化和基于人工智能的技術變得更便宜和更豐富，非國家行為者更容易獲得這種技術。這些團體也可能獲得廉價的商業無人機，并使用開放源碼的人工智能對其進行改造，以創建 "自制 "武器系統。關于非國家行為者使用自主系統的報告是有限的和有爭議的。然而，非國家團體確實使用了武裝無人機，而且人們擔心人工智能會使這種系統更加有效。

技術挑戰

正在進行的包括機器人和人工智能在內的技術研究，主要是由商業驅動的，預計將增加自動化系統的應用范圍和采用程度。該領域的一些關鍵技術挑戰概述如下。一個更普遍的挑戰是，相對于數字技術的快速發展，軍事技術的發展速度緩慢，有可能在部署前或部署后不久組件就會過時。

數據傳輸

無人駕駛的車輛和機器人經常需要向人員傳輸數據或從人員那里接收數據。這可以讓人類監督和指導它們的運作或接收它們收集的數據。在某些情況下，系統也可能需要相互通信，如在無人機群中（方框3）。軍方通常使用無線電波在陸地上傳輸數據，其帶寬（頻率的可用性）可能有限。在傳輸大量數據，如高分辨率圖像時，這可能是個問題。5G技術（POSTbrief 32）可能會促進野外更有效的無線通信。系統之間的無線電通信可以被檢測到，提醒對手注意秘密行動。對手也可能試圖阻止或破壞系統的通信數據傳輸。目前正在研究如何最大限度地減少所需的數據傳輸和優化數據傳輸的方法。更多的 "板載 "或 "邊緣 "處理（POSTnote 631）可以減少傳輸數據的需要。然而，減少通信需要系統在沒有監控的情況下表現得像預期的那樣。

數據處理

具有更高水平的自主性的更復雜的系統通常在運行時在船上進行更多的數據處理和分析。這要求系統有足夠的計算能力。一般來說，一個系統能做多少嵌入式數據處理是有限制的，因為硬件會占用空間并需要額外的電力來運行。這可能會限制需要電池供電運行的系統的敏捷性和范圍。然而，人工智能的進步也可能使系統更有效地運行，減少計算要求。由于未來軟件、算法和計算機芯片技術的進步，計算機的處理能力也有望提高。

訓練數據

創建和整理與軍事應用相關的大型數據集，對生產可靠的人工智能自主系統非常重要。機器學習（ML，方框1）依賴于大型數據集來訓練其基礎算法，這些數據可以從現實世界中收集，或者在某些情況下，使用模擬生成。一般來說，用于訓練ML系統的數據越有代表性、越準確、越完整，它就越有可能按要求發揮作用。準備訓練數據（分類并確保其格式一致）通常需要手動完成，并且是資源密集型的。

數據隱私：

一些人工智能系統可能會在民用數據上進行訓練。人們普遍認為，如果使用與個人有關的數據，他們的隱私必須得到保護。這可以通過對個人數據進行匿名化處理或只分享經過訓練的人工智能系統來實現。

網絡安全

由計算機軟件支撐的系統數量的增加增加了網絡攻擊的機會。網絡攻擊者可能試圖控制一個系統，破壞其運作，或收集機密信息。基于人工智能的系統也可以通過篡改用于開發這些系統的數據而遭到破壞。英國防部在2016年成立了網絡安全行動中心，專注于網絡防御。在英國，2021年成立的國防人工智能中心，有助于促進行業伙伴或其他合作者對高度機密數據的訪問。

測試和評估

重要的是，軍事系統要可靠、安全地運行，并符合法律和法規的規定。人工智能和自動化給傳統軟件系統帶來了不同的測試和保證挑戰。 進一步的挑戰來自于ML的形式，它可能不可能完全理解輸出是如何產生的（POSTnote 633）。人工智能軟件可能還需要持續監測和維護。利益相關者已經強調缺乏適合的測試工具和流程，并正在開發新的工具和指南。英國政府的國防人工智能戰略致力于建立創新的測試、保證、認證和監管方法。

倫理、政策和立法

目前的準則和立法

目前還沒有專門針對將自動化或人工智能用于軍事應用的立法。雖然它們在戰爭中的使用受現有的國際人道主義法的約束，但這與新技術的關系是有爭議的。在國家和國際層面上有許多關于人工智能更普遍使用的準則，這些準則可以適用于自動化系統。然而，2021年數據倫理與創新中心（CDEI）的人工智能晴雨表研究發現，工業界很難將一般的法規適應于特定的環境。2022年，英國防部與CDEI合作發布了在國防中使用人工智能的道德原則。

責任感

一些利益相關者強調，如果自主系統的行為不合法或不符合預期，那么它的責任是不明確的。這可能導致系統及其決定與設計或操作它的人類之間出現 "責任差距"，使法律和道德責任變得復雜。英國防部的原則說，在人工智能系統的整個設計和實施過程中，應該有明確的責任。國防人工智能戰略為供應商設定了類似的期望。

圍繞自主武器系統的辯論

這一領域的大部分法律和道德辯論都集中在武器系統上。然而，某些非武裝系統（例如，基于軟件的決策支持工具）可能在識別目標方面發揮關鍵作用，因此提出了許多與那些同時部署武器的系統相同的道德問題。

國際上對 "致命性自主武器系統"（LAWS）的使用存在著具體的爭論。這個術語沒有普遍認同的定義，它被用來指代具有不同自主能力的廣泛的武器。關于使用致命性自主武器系統的報告存在很大爭議，例如，由于系統使用模式的不確定性。 聯合國《特定常規武器公約》（CCW）自2014年以來一直在討論致命性自主武器系統的可能立法。它在2019年發布了指導原則，但這些原則沒有約束力，也沒有達成進一步的共識。雖然大多數參加《特定常規武器公約》的國家支持對致命性自主武器進行新的監管，但包括英國、美國和俄羅斯在內的其他國家認為，現有的國際人道主義法已經足夠。根據運動組織 "阻止殺手機器人"（SKR）的說法，83個國家支持關于自主武器系統的具有法律約束力的文書，12個國家不支持。

許多利益相關者認為，必須保持人類對武器和瞄準系統的某種形式的控制，才能在法律和道德上被接受。某些組織，如SKR，呼吁禁止不能由 "有意義的人類控制 "的自主武器系統，并禁止所有以人類為目標的系統。他們還呼吁制定法規，確保在實踐中保持足夠的人為控制。在其2022年國防人工智能戰略中，英國政府表示，識別、選擇和攻擊目標的武器必須有 "適當的人類參與"。作為回應，一些呼吁監管的非政府組織表示，需要更加明確如何評估或理解 "適當的人類參與"。包括英國政府在內的利益相關者建議的維持人類控制的潛在措施包括限制部署的時間和地理范圍。被認為會破壞人類控制的因素包括人類做出決定的有限時間和 "自動化偏見"，即個人可能會過度依賴自動化系統，而不太可能考慮其他信息。

公眾對該技術的態度

大多數關于軍事自動化的公眾意見調查都集中在自主武器系統上。SKR委托對28個國家的19,000人進行了民意調查。62%的受訪者反對使用致命性武器系統；這一數字在英國是56%。關于公眾對人工智能、數據和更廣泛的自動化的態度的研究發現，公眾關注的主要問題包括數據安全、隱私和失業。然而，公眾的觀點會因系統的功能和使用環境的不同而有很大差異。

在過去的幾十年里，人工智能（AI）在軍隊中的迅速普及伴隨著緩慢但逐步的積累，人們試圖了解這些AI系統如何工作，以便在軍事行動中取得更好的結果。所謂的 "可解釋人工智能"（XAI）背后的想法，以及驅動它的技術，是這種趨勢的體現。然而，問題是，目前形式的XAI是否是人們期望的解決方案。本簡報以范圍界定工作為模式，試圖涵蓋這些方面的每一個問題，并探討在軍隊中使用XAI的廣泛影響，包括其發展、部署和治理。

引言

軍事用途的潛力往往是世界各地技術創新的驅動力。近年來，用于國防目的的高度先進的顛覆性技術開發和部署顯著增加，而人工智能（AI）已成為這一趨勢的典型代表。僅僅在幾年前，目前人工智能在軍事行動中的應用范圍會被視為虛構的素材。今天，隨著致命性自主武器系統（LAWS）領域新興技術的進步，以及人工智能和機器學習（ML）不斷融入現有軍事計算系統的后端，世界各地人工智能系統的軍事應用只會在數量和強度上有所增加。 伴隨著這種激增的是確保所部署的軍事人工智能系統與人類的使用更加兼容，并具有更小的錯誤幅度的新想法。其中一個想法是開發所謂的可解釋人工智能（XAI），即人工智能和ML系統，使人類用戶有可能理解、適當信任并有效管理人工智能。

本簡報解釋了為什么這種系統在軍事上是必要的，什么是XAI，它是如何運作的，到目前為止它在哪里和如何被應用的例子，并評估了它的使用和監管。本簡報使用了主要和次要的研究資料，包括采訪來自不同地域和學科的專家利益相關者，他們目前或曾經來自政府、國防部門、民間社會和學術界。它旨在分析XAI在軍隊中的現狀，并為更有針對性的研究鋪平道路。

對 XAI 的需求

人工智能的雙重用途特性確保了其開發和部署中用于民用目的的任何升級也可以應用于其軍事對應物，反之亦然。例如，以色列軍隊使用面部識別軟件來解鎖手機并幫助自動標記社交媒體上發布的圖片中的朋友，以尋找和跟蹤巴勒斯坦的軍事目標。烏克蘭國防部也在使用同樣的軟件來識別潛在的臥底或死亡的俄羅斯士兵。在其他地方，阿塞拜疆在納戈爾諾-卡拉巴赫沖突中使用基于人工智能的計算機視覺程序為特斯拉這樣的自動駕駛汽車導航，為自主無人駕駛飛行器（UAV）導航。 在美國，像那些為流媒體平臺上的個人用戶定制觀看清單的算法，預計將成為武裝部隊認知設備的一部分，在通信受阻或資源有限的環境中為士兵提供建議。

事實上，從法國等擁有完善的軍事人工智能生態系統的國家，到印度等在這一領域新興的國家，全球各國都在投資數百萬美元用于人工智能。這些國家認識到，人工智能是軍事行動中的力量倍增器，通過上下文處理大量數據，識別趨勢、模式、感興趣的人和物體，在關鍵和非關鍵的軍事功能中試行系統和程序，以及預測和建議行動方案，這可能有助于在高風險、時間敏感的情況下協助，或在某些情況下甚至取代人類決策。

人工智能也有可能用于防御性軍事用途，并且可以被訓練來識別、標記和消除惡意軟件。在操作上，人工智能可以使軍事團隊保持或擴大作戰能力，而不需要增加或提高人員力量，這兩者都需要時間和額外的經常性費用，而軍隊可能無法或不愿抽出時間。

盡管有所謂的優勢，然而，人工智能的軍事用途并非沒有重大挑戰。人工智能系統可以被有目的地規劃以造成死亡或破壞，無論是由用戶本身還是通過對手對系統的攻擊。即使根據適用的準則對人工智能系統進行了嚴格的測試和驗證，也可能存在或發生不可避免的誤差，從而造成意外傷害。事實上，即使是已部署的人工智能系統的 "常規"操作，也存在著只有在輸出階段才能發現的故障。在這一點上，這種疏忽的結果可能已經是不可逆轉的，并可能在損害人員、設備和/或信息方面對軍事行動造成不可彌補的損害。

此類故障的一個主要原因是有缺陷的訓練數據集和命令，這可能導致關鍵信息的錯誤表述以及意外的偏見。另一個也許更具挑戰性的原因是系統內的算法問題，這些問題對用戶來說是無法檢測和解釋的。因此，眾所周知，人工智能產生的輸出是基于虛假的關聯和不遵循預期規則的信息處理，類似于心理學中所說的 "聰明的漢斯效應"。

一項跟蹤1988年至2021年各行業133個人工智能系統中公開可用的偏見實例的研究發現，44.2%（59個系統）表現出性別偏見，25.7%（34個系統）同時表現出性別和種族偏見，這是由于用于訓練這些系統的數據集的質量以及它們的算法。移植到沖突環境中，部署這樣的人工智能系統可能意味著，例如，一個屬于該程序有偏見的種族的婦女，因此屬于被偏見雙重困擾的種族和性別的交叉人口，可能被自主武器系統（AWS）的計算機視覺或面部識別軟件誤認為是一個非人類物體。因此，即使自主武器系統被設計為不與人類打交道，該系統也會認為與她打交道是符合其編程規則的，并可能導致她受傷或死亡，因為它不認為她是人類。這種不準確的結果是被稱為人工智能的 "黑盒"，即人工智能和ML系統內的算法處理，人類操作員無法解釋或理解。

XAI 實驗

為了應對黑盒問題以及在軍事行動中應用黑盒可能造成的意外傷害，美國國防部下屬的國防高級研究計劃局（DARPA）在2016年開始了一項多項目計劃，開發 "白盒"或 "玻璃盒"XAI，以確保AI系統的可解釋性和可理解性，并帶來有效的人機互動（見圖1）。雖然'XAI'這個術語相對較新，但這個想法卻不是：自1970年代中期技術研究人員研究專家系統的解釋時，'可解釋性'問題就已經存在了。在DARPA宣布之后，圍繞XAI的興趣越來越大，一個利基研究生態系統開始出現，以了解如何使雙重用途的人工智能應用更加可解釋和可理解。

雖然對XAI是什么沒有統一的定義或定性--計算模型、人工智能應用的最佳實踐或兩者的混合，但來自技術和非技術領域的研究人員都潛心開發或以他們自己的方式解釋XAI。軟件專業人士試圖設計基于人工智能和ML的系統，以測試系統對人類終端用戶的可解釋性，并觀察到大多數實現XAI的方法往往屬于兩大類之一：事前和事后。

前期方法包括使用能夠執行低級人工智能功能的基本模型。它們確保了人工智能系統在整個信息處理過程中具有內在的可解釋性，因為它們的處理和決策都很簡單。同時，事后方法是指在自己獨立的處理模型中，將從另一個底層黑盒模型中收到的輸出賦予透明度。這些方法可以是模型不可知的，即適用于任何類型的被視為黑盒的模型；也可以是模型特定的，即僅限于在某些類型的模型上操作，與某種模型邏輯相對應。

雖然這兩種方法都確保了可解釋性的閾值，但發現前述方法在現實世界的應用潛力和可擴展性方面受到很大限制。據觀察，性能較高的人工智能系統由于產生其輸出的更復雜的處理過程，其可解釋性和可理解性仍然較低，而性能較高的系統由于其簡單的參數和信息處理，默認為性能較低。

然而，假設性能較高的人工智能系統會比性能低的系統做出更準確或無偏見的決定，這是不正確的。衡量人工智能系統的性能水平與發現其缺陷和理解其以某種方式處理信息背后的原因有多難成正比。這種性能-可解釋性的權衡仍然是XAI的一個主要問題，而較新的模型和方法的開發仍然面臨著解開它的挑戰。

探索 XAI 的應用

XAI的持續發展被設想為引領 "第三波 "人工智能系統的到來，在這種情況下，人工智能機器能夠理解它們所處的背景和環境，并建立自己的基礎解釋模型來描述真實世界的現象。雖然圍繞人工智能的研究最初是由于美國的軍事利益而出現的，而且美國一直是這一領域的先驅，但在過去的五年里，世界其他地區也出現了人工智能的民用用途。這些都為可解釋和可理解的人工智能系統是各方面的優勢創新這一想法提供了全球的合法性。

到2019年，谷歌、微軟和IBM等大科技公司已經推出了各自的XAI工具包。富士通實驗室和日本北海道大學等醫療服務提供商宣布開發一項基于XAI的新技術，通過識別患者過去醫療數據的相互聯系，為他們的健康提供定制化建議。在金融服務領域，由中國第一家數字銀行WeBank牽頭的XAI標準開發項目于2020年獲得電氣和電子工程師協會（IEEE）的批準，這標志著世界上第一個專門解決人工智能在銀行應用中的黑匣子問題的行業標準。

XAI的這種應用證明了人工智能系統及其相關功能的普遍性，并強調了主要為軍事目的引入的技術如何能夠具有跨領域的民用效用。此外，XAI的民用應用的相對低風險功能可以使其在民用架構中的應用比軍用架構更快，最終在潛在的軍事部署之前為其某些用例特征提供了一個無意中的測試場。

鑒于今天的國防形勢，一些國家已經啟動了將人工智能納入其國防架構的項目。例如，美國計劃在2022年花費近10億美元開發數百個新的軍事人工智能項目，中國的目標是利用人工智能積極實現戰爭戰術的 "智能化"，俄羅斯正在逐步開發150個支持人工智能的軍事系統，以色列正在努力系統地將人工智能納入其軍隊的所有系統中。印度政府今年也表示，它計劃在2024年前開發出25種國防專用人工智能產品。雖然開發和部署人工智能似乎是一個最近的問題，需要對國防技術和人工智能倫理之間的交叉點進行更深入的分析，但一些國家已經公開宣布他們打算這樣做。

2020年，瑞典國防研究局啟動了關于XAI在軍事中使用的研究，其多管齊下的目標如下：a）支持軍事終端用戶創建人工智能系統如何運作的心理模型；b）允許專家從人工智能系統的隱藏戰術和戰略行為中獲得洞察力和提取知識；c）幫助開發人員識別缺陷或錯誤，并在系統部署前解決這些問題；以及d）更有效地遵守戰爭規則。

同年，印度海軍在INS Valsura號上開始通過征集論文探索在海上行動中開發和應用XAI的可能性。他們的理由是，在使用人工智能技術時，由于黑盒的存在，往往存在信任上的差距，如果決策者不信任人工智能在國防部門推薦的決策，高層就不愿意采用這種技術。

美國國防部今年也進一步涉足XAI，并征集開發XAI模型用于指揮和控制決策輔助工具的申請，以用于多域作戰（MDO）的戰爭游戲。最近，在2022年6月，英國國防部（MoD）結合他們的《2022年國防人工智能戰略》發布了一份政策文件，強調了國防中人工智能的道德使用原則。其中一項原則名為 "理解"，強調了黑匣子問題如何使與國防有關的人工智能系統難以解釋，但解釋和理解系統的機制必須是系統設計的關鍵和明確的一部分，貫穿其整個生命周期。本文考慮了英國信息專員辦公室（ICO）和艾倫-圖靈研究所與Project ExplAIn合作的先前工作--三人早些時候在2020年發布了一份關于XAI的文件，以符合法律要求以及技術和治理最佳實踐的方式，為解釋人工智能系統做出的決定提供實用建議。

很明顯，許多國家已經開始為國防目的更具體地參與XAI，但至今還沒有監測和分析任何進展指標的例子。它們對XAI的承諾和在軍隊中的運作的有效性，只能在幾年的較長時期內確定下來。

來自 XAI 的期望

XAI顯然是人工智能范式中一個備受關注的主題，但圍繞它的迷戀是合理的嗎？

雖然XAI無疑有其優勢，但它的發展和部署也引起了合理的關注。其中最重要的是它的性能與可解釋性之間的權衡：如果可解釋性--這是XAI的主要屬性，也是其他道德AI方法的基礎--與AI/ML系統的性能相反，政治家和立法者會認為繼續研究和投資XAI有好處嗎？對XAI的重新研發可能最終會帶來突破，即有效的XAI模型可以被整合到高性能的人工智能系統中，但目前還沒有跡象表明這種發展的時間安排。

即使出現了這樣的突破，它是否足夠？一些專家認為，在XAI系統中可能總是存在可解釋的缺陷，因為系統提供的每一個解釋都會掩蓋另一個潛在的解釋。因此，我們的愿望不應該是用有效的XAI模型來全面完成高性能的人工智能系統，而應該是一個更簡單的，盡管也更難實現的XAI模型，它提供了關于人工智能系統信息處理的背景清晰度--誰需要知道什么，以及XAI模型應該如何向他們展示這些。一個建議的方法是通過設計來確保這一點：設計一個所需解釋的框架，由XAI模型沿著這個框架生成解釋，并由機器學習支持的終端用戶對輸出進行評估，以確保未來更好地遵守該框架。

除了試圖修復XAI模型中的性能-可解釋性權衡之外，還必須考慮操作中的人類部分，因為他們往往成為科技化的指揮鏈中最薄弱的環節。對原始DARPA項目的監測和評估表明，用戶解釋XAI模型提供的解釋的認知負荷會阻礙用戶的表現。這意味著，即使XAI模型向人類操作者解釋他們的過程，后者也需要精通動態的、往往是不統一的模型。通過適當的培訓，必須確保XAI模型的終端用戶對人工智能功能的可理解性，否則，系統的可解釋性將毫無意義。由于即使是人類也不能證明自己的所有行為，因此需要制定具體的原則來規范用戶對XAI所提供的解釋的接受程度。

還應通過對XAI系統的研究來制定原則，最終導致制定人工智能在其獨立領域使用的標準和許可。例如，歐盟（EU）在2019年批準了一個為期六年的項目，研究XAI的民用應用前景和細節，重點是如何設計ML模型的透明度，產生可控的黑箱解釋，并制定人工智能的倫理和法律標準。民間社會也渴望開發可解釋的負責任的人工智能解決方案，盡管這只是為民事應用打下基礎。

在應用診斷框架方面，來自谷歌、微軟和IBM的研究人員在2019年創建了兩個負責任的人工智能許可證（RAIL），這構成了世界上第一個獨立、認可的負責任的人工智能認證計劃。許可證在可解釋性、公平性、問責制、穩健性和數據質量這五個方面對人工智能/ML系統進行測試，以確定其作為負責任的人工智能應用的地位。在類似的行動中，責任人工智能研究所在2022年發布了他們的RAII認證的測試版，該認證是在世界經濟論壇（WEF）的全球人工智能行動聯盟（GAIA）下開發的。RAII認證是通過風險效益分析、校準評估框架、與專家驗證結果、以及由獨立委員會測試和評估結果的強大過程來最終確定的。

軍事XAI的支持者應該推動復制類似的標準和許可，以便在軍事AI架構中進行整合，確保其AI系統內的可解釋性、可靠性和偏見問題在制度上得到解決，無論在個別情況下是否有政治意愿這樣做。例如，一些國家不愿意承擔對致命性自主武器系統進行標準化法律審查的義務，而傾向于采用更加自愿和/或依靠自身參數的內部審查。雖然軍事XAI標準或認證將是重要的第一步，也是同期的解決方案，但從長遠來看是不夠的。私營公司和軍事承包商等單一的利益相關者零散地開發XAI和相關的負責任的人工智能框架，可能包括潛在的既得利益和后續標準化的問題。軍隊中的XAI需要有獨立的監督和有效的治理機制，而不是把它當作軍事AI開發的另一個勾選框。

結論

XAI的開發和使用，特別是在軍事應用中，仍然是新生事物，既沒有明確它是如何被全面開發的，也沒有一個標準化的方法來規范已經開發或正在開發和部署的內容。在對軍事領域的XAI進行分析時，有兩個關鍵啟示。

現在，技術超越法律的情況越來越普遍，在軍事人工智能等領域更是如此，這些領域是激勵技術革新的先鋒。雖然XAI通常會被看作是一種具有積極價值的技術，但歸根結底，它只是軍隊使用的另一種工具，和其他工具一樣有其固有的優點和缺點。因此，它需要在一個治理框架內發展，以指導其有效和道德的使用，并防止其容易被潛在的濫用、無效或多余。

對XAI的研究似乎仍然是零散的、部門性的，而且大多集中在某些地緣政治空間，這造成了知識孤島，限制了新思想的傳播。此外，具體到軍事領域，圍繞XAI有很多理想主義，因此需要進行批判性的分析和平衡的研究，以便對其前景提供一個整體的視角。未來對這一問題領域的研究應尋求彌合這些差距，進行更多跨學科和跨部門的分析，同時嘗試收集和納入來自不同背景的觀點。

美國國防部和空軍領導人認為，人工智能（AI）是一種改變游戲規則的技術，將幫助空軍情報、監視和偵察（ISR）體系克服大國沖突所需的情報分析速度和規模方面的長期挑戰。傳感網格概念（最近更名為傳感器集成）被作為未來框架引入，以整合人工智能和認知建模工具融入空軍ISR，但對于對手的威脅和道德方面的考慮卻很少討論，而這些考慮應該貫穿于系統的設計和功能模塊。為了讓空軍內部的人力和組織做好準備，以整合高度自動化的人工智能情報分析系統，領導人必須倡導以人為本的設計，從歷史上人機協作的成功和失敗中吸取教訓。領導人還必須采取積極主動的方法來培訓空軍的ISR勞動力，以便與革命性的但不完善的人工智能技術進行有效協作。

問題陳述

根據美國空軍作戰集成能力（AFWIC）傳感跨職能小組的說法，空軍情報、監視和偵察（ISR）的現狀是高度專業化、專有化，并且過于依賴人力密集的回傳（reach-back）過程。當規劃人員展望未來的大國沖突時，他們評估目前的硬件和分析過程將不足以建立對同行對手的決策優勢，情報工作在勝利所需的速度和規模方面落后。空軍A2的 "下一代ISR主導地位飛行計劃"對目前的ISR體系也提出了類似的批評，主張擺脫今天的 "工業時代的單一領域方法"，以追求 "架構和基礎設施，以實現機器智能，包括自動化、人機合作，以及最終的人工智能。"雖然為空軍人員提供更快更智能的工具來制作和分享評估是空軍高級領導人的優先事項，但引入更高水平的自動化和機器主導的感知為情報界帶來了一系列新問題。考慮到這些工具可能遇到的篡改和故意提供錯誤信息的威脅，依靠算法走捷徑是否安全？追求由自動化武器系統促成的戰爭到底是否合乎道德？如果是這樣，情報界采用自動化工具以更快的速度產生關鍵的情報評估會帶來什么風險？

人工智能（AI）一詞被美國防部聯合人工智能中心定義為 "機器執行通常需要人類智慧的任務能力--例如，識別模式、從經驗中學習、得出結論、進行預測或采取行動。"參議員們希望AI能夠很快為人類分析師用來進行評估的軟件套件提供動力，并使物理系統在更多的自主應用中發揮作用。機器學習（ML）被國防部高級研究計劃局（DARPA）定義為人工智能中的一個領域，"將統計和概率方法應用于大型數據集"，并可以將衍生模型應用于未來的數據樣本。利用ML好處的一個流行方法是通過深度神經網絡（DNN），它可以使用歷史數據被訓練成執行一系列的分類和預測任務。雖然在AFWIC或A2的出版物中沒有特別提及，但在模擬人類思維過程的應用中使用AI、ML和DNN是計算機科學和心理學的一個混合領域，稱為認知建模。在AFWIC對未來空軍ISR體系的設想中，AI、ML、DNNs和認知建模概念是向數字化、以網絡為中心的情報方法轉變的關鍵部分。

為了給空軍ISR體系的現代化舉措提供一個框架，AFWIC建立了傳感網的概念，定義為 "傳感器、平臺、人員、設備、內容和服務的組合，為決策者提供整體、準確、預測和及時的作戰環境特征。"該概念的設計者設想了一個具有預測分析、自主傳感和響應、融合多個數據源和邊緣處理的系統，所有這些都是通過利用AI、ML、DNN、數據分析和其他認知建模方法來實現的。盡管沒有公布傳感網格的首次亮相日期，但大多數討論表明，優化的系統簇至少還有十年。同時，美國防部領導層非常迫切地要趕上中國和俄羅斯在軍事人工智能應用方面的投資，鼓勵快速原型設計和實驗，以找到解決方案。人工智能在國防論壇上經常被認為是使以數據為中心的情報任務更快、加快戰術決策的答案，但如果所涉及的系統處于工程的初級階段，并且在國家安全領域仍未得到證實，這僅僅是猜想。

雖然AFWIC和空軍A2專注于人工智能傳感器和工具的研發投資，但很少討論使傳感網格安全和有效所需的人機合作動態。為了使傳感網格成為一個有效的系統，為空軍執行ISR和分析的方式帶來價值和進步，領導人應該在技術中倡導以人為本的設計，培訓和準備一線分析員與新系統有效的協作，并根據人工智能的優勢和劣勢調整組織做法。空軍領導人必須承認將更多的分析任務分配給人工智能工具所固有的對抗性威脅和道德問題，這些問題必須告知感知網格的藍圖。這并不是說正在進行的系統軟件開發應該停滯不前，而是說在情報和物資領導人之間必須同時進行對話，討論人類分析員的作用，因為這對減輕越來越多地依賴人工智能的弊端至關重要。空軍領導人還必須推行一項深思熟慮的計劃，將傳感網格組件整合到當前的傳感、識別、歸屬和共享（SIAS）活動中，使一線分析員為 "更高級別的推理和判斷"任務做好準備，同時承認機器應該增強人類任務，而不是完全取代人類。

接下來本文將提供與人工智能系統相關的脆弱性和道德問題的文獻回顧，以深入了解建設和應用傳感網格可能面臨的挑戰。它還將包括討論在完成和應用這個改變游戲規則的系統之前，情報和物資領導人應該考慮哪些因素。本文最后將就如何為空軍ISR戰斗空間準備傳感網格提出進一步的建議，為空軍人員在數字時代的行動提供必要的場景設置。

文獻回顧

最近關于將人工智能應用于認知任務的相關弱點的研究大多強調了對抗性樣本的危險性，這些樣本修改了DNN的輸入，導致它們控制的系統以各種方式發生故障。對抗性輸入可以是物理的或非物理的，可以影響各種數據分類器分類媒體，包括圖像、音頻文件和文本。最常提到的物理欺騙樣本是一個實驗，工程師通過將停車標志調整成不同的角度來愚弄自動駕駛汽車上的光學傳感器，導致車輛錯過停車。物理欺騙在國防應用中不是一個新穎的計劃，但將邊緣處理和自動化納入像傳感網格這樣的系統可能排除了人類分析師第一手識別這些戰術。在非物理領域，訓練算法以類似于人腦的方式來識別模式是一項具有挑戰性的任務。計算機視覺（CV）算法對圖像的分類與人類分析人員非常不同，當只有幾個像素不合適時，很容易對物體進行錯誤分類。在不太直接的情況下，工程師無法解釋模型的錯誤，刺激了DARPA等組織對可解釋人工智能的倡議。 在最好的情況下，對抗性輸入被識別為異常值，并被具有強大訓練樣本的CV模型所忽略；在最壞的情況下，它們可能會破壞現實世界的輸入，并在人類分析師不知情的情況下從樣本中數字化地刪除物體或活動。如果對抗性輸入導致分析師錯過他們通常會在沒有協助的情況下捕捉到的重要活動，就會產生災難性的后果。

如果將AI、ML和DNN應用于情報數據集背后的目標是以更高的速度分析和傳播更多的信息，那么自然語言處理（NLP）也可能是感知網格架構的一部分。NLP模型今天被廣泛用于個人和商業用途，像Siri和亞馬遜Alexa這樣的工具使用語音提示來啟動其他應用程序。NLP模型也可用于大量文本或其他媒體的理解任務，使用衍生數據回答問題。這種技術在融合多種數據源的SIAS任務中可能非常有用，但也可能容易受到干擾。NLP中的對抗性輸入可以引入錯誤的句子或用文本文件中的反義詞替換關鍵詞，導致模型在沒有時間或能力進行人工審查的情況下錯誤描述數據集。

與任何分層模型的方案一樣，CV和NLP模型是否能像預測的那樣有效地協同工作還是個未知數，更不用說檢測像Deepfakes這樣在非保密領域進入DNN的偽造數據了。人類分析員離通常可以檢測錯誤信息的源數據流越遠，SIAS就越容易受到錯誤輸入的影響。盡管有這種擔憂，但空軍A2的指導意見表明，人們對分層模型利用非保密的公開信息（PAI）進行無縫傳感器提示寄予厚望，使ISR體系能夠更有效地找到相關目標。如果沒有一種強大的方法來檢測提示傳感器的PAI樣本中的偽造媒體，這個過程可能難以安全地實現。

技術的復雜性和自動化、人工智能系統對篡改的潛在脆弱性，引發了關于在軍事行動中應用這類技術是否符合道德的討論。雖然傳感網格的設計不是為了直接使用武器，但來自該系統的情報數據很可能為關于多個領域的關鍵決策提供信息。關于AI/ML的倫理學文獻通常對采用自主運作、人類干預窗口有限的系統持批評態度，其邏輯與反對地雷等傳統自動化武器的倫理學論點相似。雖然傳感網格及其前驅系統將具有比壓力板裝置高得多的認知行為屬性，但一些人認為，人類對黑盒系統的控制同樣很少，這些系統在向人類操作者提出選擇或結論之前，會執行層層的算法通信。

幸運的是，人工智能系統可能也能夠在人類容易出現道德失誤的情況下進行補償，因為機器不會經歷像恐懼或驚慌這樣的情緒，而這些情緒可能會引發危險的決定或違反LOAC。盡管利用人類與認知模型合作的這一潛在優勢是謹慎的，但美國防部的指導意見將速度作為人工智能最有用貢獻的具體價值，這引入了更多道德難題。對個人決策的測試表明，人類在復雜環境中的風險評估能力已經很差，而引入人工智能，使人類判斷的價值邊緣化，只會導致更快的、風險更高的結論。當人工智能帶來的錯誤評估或草率決定導致災難性錯誤時，問責也是美國防部領導人必須準備解決的混亂道德問題。

大多數文獻中隱含的減輕對手篡改和道德失誤威脅的解決方案，是在人類控制器和自主的人工智能系統之間進行最佳分工。不足為奇的是，對于這應該是什么樣子，以及它如何適用于像傳感網格這樣的系統，有許多觀點。一些人認為，在國際協議框架中沒有雇用自動武器系統的空間，并將其缺乏責任感與兒童兵相比較。其他人認為，如果像聯合目標定位這樣的程序以同樣的嚴格和參與規則進行，人工智能工具將不會導致不可接受的失控。雖然人們認為迫切需要通過購買現有的商業軟件向聯合情報界提供傳感網格的能力，但如果美國防部領導人希望減少前面討論的風險，工程師、需求所有者和分析師必須致力于仔細討論人工智能應用在ISR體系中最有幫助的地方以及它們有可能造成傷害的地方。

討論結果

當涉及到投資建設由人工智能和認知建模應用驅動的未來ISR體系的項目時，美國防部和空軍除了需要快速投資并與大學和國家實驗室合作外，提供的指導有限。除了系統 "事故風險較低；對黑客和對手的欺騙行為更有彈性和表現出較少的意外行為"之外，對該部門在人工智能投資方面所期望的指導也是有限的。缺乏特殊性可能是人工智能在國防部戰略中首次出現的癥狀，但自滿和滿足于為投資而投資的情況并沒有遠遠超過這種情況。使用該技術的社區有責任決定與認知模型建立哪種類型的協作關系將提供最大的利益，但戰略指導似乎將責任交給了實驗室和行業合作伙伴，責成外部人士確定人工智能將解決的問題和解決方案。如果空軍ISR領導人在討論如何最好地將人類分析員與人工智能工具協作方面不發揮積極作用，他們將如何評估開發人員是否在提供資金的情況下取得足夠的進展？美國防部如何相信由非業務伙伴開發的解決方案能夠充分解決安全和道德問題？在什么時候，人工智能會從一個脆弱的研究項目過渡到改善SIAS的速度和準確性的可行解決方案？

討論人工智能及其在情報工作中的預期功能的一個更有成效的方法是，不要把它當作一個神奇的子彈，因為它的定義太不明確，根本無法研究。雖然將認知模型應用于情報過程可能是新的，但在戰爭中實現自動化的技術已經存在了幾十年。領導人必須考慮現代戰爭中已經存在的人機合作結構，以獲得設計和整合傳感網格的經驗。對于空軍ISR來說，分析當前和歷史上人類分析員、機載傳感器和戰區決策者的團隊合作是一項有益的工作。機載ISR傳感器的性能衡量通常通過傳感器輸出的響應性和準確性等因素來評估，但了解傳感器數據引發的分析和決策過程也很重要。例如，光譜成像傳感器可以被用作異常檢測器，突出不尋常的物體或活動，供人類分析員審查和報告。報告可以傳播給行動領導人，然后他根據情報做出決定，命令對異常活動的來源進行空襲。如果這一連串的事件在行動過程中習慣性地發生，那么傳感器和人類在循環中的互動可能會開始改變，而傳感器被潛意識地重新歸類為威脅探測器。在這種情況下，傳感器的性能規格并沒有改變，但隨著時間的推移，團隊關系中的人類開始對傳感器的輸出應用不同的價值，這可能是外部激勵因素的影響。雖然大多數分析家都知道，假設所有的異常情況都是威脅是不正確的，也是危險的，但人機協作關系演變為扭曲人類判斷的微妙方式是值得關注的。為了確保人機協作以道德方式進行，領導者必須反思協作結構如何在無意中抑制組織的價值觀。對新作戰技術的準確性和穩健性的要求是合理的，但了解技術煽動的組織行為和習慣對有效和道德地使用是最重要的。

除了在ISR體系內應用現有的人機合作經驗外，人工智能感應網格的設計也應以人為本。雖然在建立一個由人類分析員使用的系統時，這似乎是顯而易見的，但在復雜的系統工程項目中，人因工程和人機協作的考慮往往是一個低優先級的問題。這部分是由于傳統的組織障礙，將軟件工程師和人因專家放在不同的部門，尤其是后者專門研究認知心理學、神經科學和機器人學等學科，這些學科在一些項目中可能發揮有限的作用。未能在復雜系統中適當整合人的因素的后果是可怕的，這在波音公司的737 Max飛機上可以看到，該飛機在2018年和2019年發生了兩起致命事故。兩份事故報告都提到高度自動化的機動特性增強系統（MCAS）軟件是導致飛機失事的一個重要因素。 雖然MCAS被設計為使用傳感器輸入來協助飛行安全，但糟糕的人為因素考慮使得該系統在觸發自動程序后，飛行員很難覆蓋。雖然培訓用戶與新系統合作是入職的自然部分，但由于缺乏人為因素工程而導致的陡峭學習曲線是一種風險，可以通過對人類和機器行為進行建模來減輕，因為它們與手頭的任務相關。 在這種情況下，建模將幫助系統架構師確定在特定的團隊合作關系中造成誤解的溝通差距，也許可以提供關于機器如何在緊急情況發生前向人類操作員充分披露其局限性的洞察力。

當我們推測如何最好地促進人機互動，充分解決與人工智能和自動化相關的安全和倫理問題時，尋求視覺分析專家的咨詢可以提供有價值的設計見解。"視覺分析是一個科學領域，它試圖通過交互式可視化增加人機對話來提高自動化、高容量數據處理的透明度。 為分析師提供一個團隊結構，讓他們選擇如何可視化數據集，可以在自動化、機器輔助的數據精簡和人類判斷之間取得有利的平衡。在傳感網格的可視化分析的最佳應用中，分析師將以高度的信心理解數據集的重要性，這得益于調整基礎分析過程的能力。 理想情況下，可視化分析使用戶能夠通過向系統提出關于數據的假設和問題來利用他們的學科專長，使他們能夠通過對話得出結論。視覺分析中的一種被稱為語義互動的方法也可能是有幫助的，創建的模型可以將分析師與視覺數據的對話轉化為模型的調整，推斷和學習人類伙伴執行常規任務的原因，如突出、復制等。考慮到前面詳述的學科有多新，建立明確的測試和評估標準將是準備將這些和其他團隊技術納入SIAS任務的重要步驟。

美國空軍研究實驗室（AFRL）內的各局無疑面臨著許多挑戰，在這個概念正式確定之前，他們一直致力于建立傳感網格的組成部分。將人工智能整合到智能架構和軟件中的工程師和開發人員主要在羅馬實驗室AFRL信息局（AFRL/RI）工作，分為多個核心技術能力（CTC）團隊。特別是處理和開發（PEX）CTC將深入參與開發實現傳感網的DNN，其任務是"為空軍、國防部和情報界提供快速感知，以提高對形勢的認識和對抗的洞察力"。在PEX CTC中，項目按功能分為特征化、極端計算、理解和預測項目，涵蓋了從數據提取到高級感知的一系列步驟。人因工程方面的專業知識來自位于兩個州外的萊特-帕特森空軍基地的飛行員系統（RH），一個跨學科局。下一步，PEX CTC的項目可能會與AFRL的其他部門（如傳感器（RY）或航空航天系統（RQ））的開發項目相結合，將RI的SIAS部分與新的機載收集傳感器和車輛聯系起來。目前，RI的工程師使用來自實際聯合和國家情報來源的樣本數據流，逐步解決在大量非結構化數據中進行分類的計算挑戰。尋找解決方案以保持物理系統的尺寸、重量和功率要求可控，也是一個持續關注的問題，特別是在像Agile Condor這樣尋求在機載系統上提供高水平邊緣處理的項目。

正如前面的文獻調查所示，在DNN中建立穩健性和安全性，以防止ML中的對抗性干擾，是任何網絡開發者都關心的問題，RI內部的團隊也不例外。DNN已經在實驗室環境中以意想不到的方式學習或失敗，引入與人類感知相矛盾的對抗性輸入，可能會使開發有用工具的進展受挫。如果系統繼續隨著新數據集的發展而發展，那么可能很難確定技術成熟度的基準，在這種情況下，AFRL將維持責任轉移給空軍生命周期管理中心（AFLCMC）是合適的。雖然這一點與建立人工智能傳感網格組件的測試和評估標準的重要性有關，但它也應該引發關于復雜系統在開發和維持組織之間的移交是否適合這種技術的討論。理想的情況是，在DNN上擁有最多專業知識的團隊建立模型，并在其整個生命周期內維護它們。一個更有可能和更少破壞性的行動方案是建立具有可升級底盤和外形尺寸的傳感網組件，允許在可用時用替換設備進行簡化升級。考慮到國家實驗室、DARPA、麻省理工學院、卡內基梅隆大學和其他機構的大量人工智能研究投資，空軍領導人應該考慮如何在研究結果公布后，整合部門的投資回報，以改善感知網的設計和功能。

對于美國防部和空軍領導人來說，為未來傳感網的整合創造條件，還有其他獨特的倫理挑戰需要協調。如果 "傳感網格"及其組件能夠提供該概念所承諾的快速和強大的傳感功能，那么期望所有使用該系統的一線分析員都能理解其工作原理是否合理？在發生災難性錯誤的情況下，初級分析員是否需要了解該技術，以便對涉嫌疏忽的錯誤負責？"將邊緣處理納入傳感網設計也是一個有道德爭議的話題。雖然自動數據處理可以節省SIAS的時間，但分析師如何知道邊緣計算程序是否出現故障，或者他們是否被對手欺騙？從傳感器的邊緣去除人類的認知勞動可以更快地提供數據，但結果的準確性可能會有所不同。那些認識到這些問題，但卻因為要比中國或俄羅斯更快地投入技術的壓力而推遲解決的領導人，應該仔細思考這一立場背后的原因。雖然中國和俄羅斯的政府形式與美國根本不同，但事實是，這兩個國家都有等級制度，對國防事務中的錯誤和不精確性的責任也很重視。以類似于核計劃的方式，美國政府應該領導國際社會與競爭對手分享安全、設計良好的人工智能算法的傳統技術，確保沒有國家因為糟糕的態勢感知工具而引發誤解導致的沖突。最好的國際人工智能軍備控制可能來自于對人工智能研究結果的盡可能透明，并倡導負責任地使用該技術。

建議

盡管完整形式的傳感網格還需要幾年時間才能實現，但最終系統的組成部分可能會在未來十年內逐步投入使用。在為下一代人機協作做好技術、人員和組織的準備方面，還有大量的工作要做。美國防部和空軍ISR領導人不應等到正式的系統首次亮相時才開始倡導在傳感網格技術中采用以人為本的設計，將人工智能的培訓目標納入對一線分析員的指導，并為組織接受該技術和與之合作做好準備。當涉及到設計和構建這個復雜的系統時，物資領導人在考慮采購商業的、現成的軟件以獲得更快的數據匯總解決方案時，應該謹慎行事。在沒有為傳感網格及其系統如何運作建立測試、評估和安全標準的情況下，過早地整合多用途商業軟件可能會給傳感網的人工智能互動帶來不確定性和風險。

此外，找到更快解決方案的愿望不應該先于對人的因素的考慮，因為這對安全和富有成效的人機合作至關重要。美國防部領導人還應該認真審視在整個傳感網中整合邊緣處理的計劃，將其作為一個安全和道德問題，并應仔細思考在哪些地方將人類感知與傳感器輸出分離才是真正合適的。雖然培訓人類分析員是ISR體系可以采取的最明顯的措施之一，以減輕來自外部干預和道德失誤的威脅，但物資領導人也必須考慮他們在采購精心設計的、以人為本的技術方面的作用，作為一個同樣重要的保障。

正如美國國防創新委員會的AI原則。雖然年輕的分析員在快速學習數字應用和程序方面表現出很強的能力，但初級人員也傾向于以令人驚訝的方式信任技術。因此，這些分析員必須繼續接受情報分析基礎知識的培訓，使他們善于識別傳感網格中的算法錯誤和遺漏。空軍領導人在2018年為促進AI和ML素養邁出了務實的第一步，啟動了一項試點計劃，以確定具有計算機語言經驗的空軍人員，希望在各種舉措中利用那些具有編碼專長的人。雖然這項措施將有助于區分具有較高數字熟練度的分析員，但教導勞動力如何運作計算機模型可能是一個更有用的技能組合，以準備在傳感網中進行人機合作。"為傳感網就業準備一線分析員的最壞方法是依靠及時培訓來彌補勞動力對技術知識的差距，從而為SIAS活動引入更大的錯誤率。

為了讓組織準備好接收和整合傳感網格，美國防部和空軍領導人必須首先解決人力需求。盡管像傳感網格這樣的系統被設計成模仿人類的認知勞動，但分析人員的勞動對于質量控制和任務管理仍然是至關重要的，更不用說作為識別DNN內潛在篡改或系統故障的保障。現在還不是為預期的技術進步做出任何急劇的力量結構調整的時候，而這種技術進步離投入使用還有好幾年的時間。此外，到目前為止，關于傳感網將如何整合來自聯合部隊的數據，或者是否允許作戰司令部像今天一樣擁有自己獨特的數據戰略和情報資源的討論很少。如果傳感網由于來自一個服務部門或地理作戰司令部的人為縫隙而無法為分析人員提供更多的情報來源，那么該系統是否真正做到了其設計者所宣傳的？這些問題必須在聯合參謀部層面加以解決和調和。最后，利用來自傳感網的情報的組織必須認識到，當他們與機器合作時，他們很容易受到偏見和捷徑的影響。了解外部壓力和交戰規則如何導致對機器輸出的質疑失敗，對于改善人機伙伴關系，真正使SIAS更加有效至關重要。

結論

美國防部和空軍對人工智能在情報中的應用所進行的研究投資，對于確定部隊應如何準備與傳感網格進行人機合作是至關重要的。對領導人和一線分析人員進行培訓，讓他們了解在自動化、人工智能支持的SIAS中存在的道德難題和對手攻擊的可能性，這對保護組織不傳播錯誤信息至關重要。幸運的是，美國防部和空軍ISR領導人主張在傳感網格系統中采用以人為本的設計和培訓模式還為時不晚，因為AFRL的工程師們正在繼續努力為部隊提供一個安全、務實的解決方案。領導人必須認識到以速度換取精確性的組織傾向，并理解精心設計的系統分階段整合將是值得等待的。

Drone Wars UK 的最新簡報著眼于人工智能目前在軍事環境中的應用方式，并考慮了所帶來的法律和道德、作戰和戰略風險。

人工智能 (AI)、自動決策和自主技術已經在日常生活中變得普遍，并為顯著改善社會提供了巨大的機會。智能手機、互聯網搜索引擎、人工智能個人助理和自動駕駛汽車是依賴人工智能運行的眾多產品和服務之一。然而，與所有技術一樣，如果人們對人工智能了解甚少、不受監管或以不適當或危險的方式使用它，它也會帶來風險。

在當前的 AI 應用程序中，機器為特定目的執行特定任務。概括性術語“計算方法”可能是描述此類系統的更好方式，這些系統與人類智能相去甚遠，但比傳統軟件具有更廣泛的問題解決能力。假設，人工智能最終可能能夠執行一系列認知功能，響應各種各樣的輸入數據，并理解和解決人腦可以解決的任何問題。盡管這是一些人工智能研究計劃的目標，但它仍然是一個遙遠的前景。

AI 并非孤立運行，而是在更廣泛的系統中充當“骨干”，以幫助系統實現其目的。用戶不會“購買”人工智能本身；他們購買使用人工智能的產品和服務，或使用新的人工智能技術升級舊系統。自主系統是能夠在沒有人工輸入的情況下執行任務的機器，它們依靠人工智能計算系統來解釋來自傳感器的信息，然后向執行器（例如電機、泵或武器）發出信號，從而對機器周圍的環境造成影響.

人工智能被世界軍事大國視為變革戰爭和獲得戰勝敵人的優勢的一種方式。人工智能的軍事應用已經開始進入作戰使用，具有令人擔憂的特性的新系統正在迅速推出。與軍事和公共部門相比，商業和學術界已經引領并繼續引領人工智能的發展，因為它們更適合投資資金和獲取研究所需的資源。因此，未來人工智能的軍事應用很可能是對商業領域開發的技術的改編。目前，人工智能正在以下軍事應用中采用：

• 情報、監視和偵察
• 賽博戰
• 電子戰
• 指揮控制和決策支持
• 無人機群
• 自主武器系統

人工智能和英國軍事

綜合審查和其他政府聲明毫無疑問地表明，政府非常重視人工智能的軍事應用，并打算繼續推進人工智能的發展。然而，盡管已經發布了概述使用自動化系統的學說的出版物，但迄今為止，英國國防部 (MoD) 仍然對管理其人工智能和自主系統使用的倫理框架保持沉默，盡管已經做出了一些重大決定。軍事人工智能的未來用途。

英國國防部一再承諾發布其國防人工智能戰略，預計該戰略將制定一套高級倫理原則，以控制軍事人工智能系統的整個生命周期。該戰略是在與來自學術界和工業界的選定專家討論后制定的，盡管政府尚未就與人工智能的軍事用途相關的倫理和其他問題進行公開磋商。該戰略的主要目的之一是向行業和公眾保證，國防部是人工智能項目合作的負責任合作伙伴。

與此同時，在沒有任何道德指南的情況下，計劃和政策正在迅速推進，主要問題仍未得到解答。英國軍隊在什么情況下會采用人工智能技術？政府認為何種程度的人為控制是合適的？風險將如何解決？英國將如何向其盟友和對手證明英國打算采取有原則的方法來使用軍事人工智能技術？

軍事人工智能系統帶來的風險 上述人工智能的每一種不同的軍事應用都會帶來不同的風險因素。作為國防部總部后臺操作的一部分，對數據進行排序的算法會引發不同的問題和擔憂，并且需要與自主武器系統不同級別的審查。

盡管如此，目前正在開發的人工智能系統無疑會對生命、人權和福祉構成威脅。軍事人工智能系統帶來的風險可以分為三類：道德和法律、操作和戰略。

道德和法律風險

• 遵守戰爭法： 目前尚不清楚機器人系統，特別是自主武器如何能夠滿足戰爭法制定的致命決定和保護非戰斗人員的標準。

-問責制：目前尚不清楚如果出現問題，誰來承擔責任：如果計算機運行不可預測并因此犯下戰爭罪行，懲罰它是沒有意義的。

• 人權和隱私：人工智能系統對人權和個人隱私構成潛在威脅。

• 不當使用：在戰斗環境中處于壓力之下的部隊可能會試圖修改技術以克服安全功能和控制。

作戰應用風險

• 偏見的技術來源：人工智能系統的好壞取決于它們的訓練數據，少量損壞的訓練數據會對系統的性能產生很大影響。

• 偏見的人為來源：當人類濫用系統或誤解其輸出時，可能會導致偏見。當作戰員不信任系統或系統非常復雜以至于其輸出無法解釋時，也會發生這種情況。

• 惡意操縱：軍用 AI 系統與所有聯網系統一樣，容易受到惡意行為者的攻擊，這些行為者可能試圖干擾、黑客攻擊或欺騙系統。

戰略風險

• 降低門檻：人工智能系統帶來了政治領導人在沖突中訴諸使用自主軍事系統而不是尋求非軍事選擇的風險。

• 升級管理：涉及人工智能的軍事行動的執行速度降低了審議和談判的空間，可能導致快速意外升級并造成嚴重后果。

• 軍備競賽和擴散：對軍事人工智能的追求似乎已經引發了軍備競賽，主要和地區大國競相發展其能力以保持領先于競爭對手。

• 戰略穩定性：如果先進的人工智能系統發展到能夠預測敵人戰術或部隊部署的程度，這可能會產生高度不穩定的后果。

本簡報列出了為人工智能設想的各種軍事應用，并強調了它們造成傷害的可能性。它認為，減輕軍事人工智能系統帶來的風險的建議必須基于確保人工智能系統始終處于人類監督之下的原則。

迄今為止，公眾對人工智能和機器人技術進步所帶來的社會變化和風險似乎知之甚少。這份簡報的部分目的是為了敲響警鐘。人工智能可以而且應該用于改善工作場所的條件和對公眾的服務，而不是增加戰爭的殺傷力。