摘要

美國、她的盟國和對手正在為民用和軍事應用擁抱計算環境和技術（以下簡稱AI）的進步。我們的工作建議探討自主和半自主系統中的一個核心矛盾，即無人系統的部署長度（停留時間）與因不定期維護導致的單個系統故障和因對手行動導致的故障之間的基本權衡。本文的獨特之處在于，它將從政策的角度以及應用統計學的角度來探討這個問題，并為更廣泛的無人系統的采購和使用提供見解。

引言

信任一個無人系統意味著什么？這個看似無關緊要的問題是無人駕駛技術的各種民用和軍用應用中的一個核心問題。隨著世界變得越來越自動化，人類看護者的監督越來越少，自主系統將在有限的監控下長期忍受下去。雖然具有長時間續航能力的自主系統可以成為民用和軍用海上監測的寶貴資產，但自主系統群的衰落是一個不可避免的現實。但是，預期的衰減速度和實際速度之間的差異可以為無人系統星座的惡意干擾提供一個早期指標。

上述分析提出了一個重要的問題，那就是當檢測到沒有反應而假定某個系統被摧毀時的故障歸屬。如果無響應是系統失敗的唯一指標，它可能是由各種因素造成的，包括環境、機械故障或最令人擔憂的損耗，我們將其定義為旨在使無人駕駛系統喪失功能并加以摧毀的惡意敵方行動。使用這個定義，損耗與失敗是分開的，因為失敗是由不涉及有目的的敵方行動的情況造成的。對于軍事平臺來說，損耗是最嚴重的情況，因為這些平臺上可能攜帶著操作員不希望落入對手軍隊手中的機密傳感器和有效載荷。

同樣，了解自然退化模式可以使一個國家以一種難以區別于隨機故障的方式使對手的系統退化。這樣的方法可以使一個國家有能力參與進攻性行動，或者在紅方參與軍事行動之前限制藍方對跡象和警告（I&W）的探測。 我們在本說明中的貢獻是在一個統一的結構中考慮無人駕駛系統退化的可靠性和博弈方面。我們的論文結構如下。在第二節中，我們從應用數學和政策的角度回顧文獻。在第三節中，我們對可靠性和博弈論進行了初步的、數學上的統一闡述。在第四節中，我們探討了具體的方案，最后總結了結論并為未來的分析提供建議。

摘要

英國國防部下屬的發展、概念和條令中心 (DCDC) 與德國聯邦國防軍國防規劃辦公室合作，了解人類增強 (HA) 的未來影響，為更詳細的國防研究和開發奠定基礎。

該項目結合了德國、瑞典、芬蘭和英國國防專家的研究，以了解基因工程、生物信息學和腦機接口等新興技術如何影響社會、安全和國防的未來。倫理、道德和法律挑戰很復雜，必須徹底考慮，但 HA 可能預示著戰略優勢新時代的到來，可能對整個部隊發展范圍產生影響。

HA 技術為今天和未來提供了廣泛的機遇。今天有成熟的技術可以與可管理的政策考慮相結合，例如個性化營養、可穿戴設備和外骨骼。未來還有其他具有更大潛力的技術，例如基因工程和腦機接口。HA 的倫理、道德和法律影響難以預見，但及早和定期參與這些問題是成功的核心。

HA 將在未來變得越來越重要，因為它是人類和機器獨特技能之間的粘合劑。未來戰爭的贏家不會是那些擁有最先進技術的人，而是那些能夠最有效地融合人與機器獨特技能的人。

人機協作日益增長的重要性已得到廣泛認可，但迄今為止，這已從以技術為中心的角度進行了討論。這個 HA 項目代表了這個難題的缺失部分。

2021年3月，美國哈德遜研究所國防概念與技術中心發布研究報告《實施以決策為中心的戰爭：提升指揮與控制以獲得選擇優勢》，提出以決策為中心的戰爭將使美軍做出更快、更有效的決策，從而賦予美軍更大的競爭優勢。

序言

自冷戰結束以來，美國國防部（DoD）針對來自主要對手（如中國、俄羅斯和朝鮮等）的巨大軍事沖突發展了相應理論和能力。這些最壞的情況是為了確保美軍也能應對“較少的情況”。然而，這種方法偏重于為大規模、高強度軍事沖突設計的概念和系統，美國的智能對手不太可能向美軍挑起對抗，而國防部可以在力量投射或精確打擊等任務中發揮其優勢。

美國的對手在過去十年中已經發展出了抵消美國軍事優勢的方法，如中國和俄羅斯的灰色地帶或混合行動，這些方法以較低的成本和升級——盡管比傳統的軍事作戰時間更長——獲得目標。因此，國防部應修訂其規劃，提高新方案的優先級，這些方案以不同于戰區范圍內高強度作戰的方式給美軍施加壓力，如通過延長時間、不同程度的升級和規模，以及使用代理和準軍事力量。

中國的“系統破壞戰”概念和俄羅斯軍方的“新一代戰爭”概念是針對美國及其盟友的新方法的代表。雖然它們的制勝理論和方法大相徑庭，但這兩種概念都有一個共同點，即把信息和決策作為未來沖突的主戰場。它們從電子和物理上直接攻擊對手的戰斗網絡，以降低其獲取準確信息的能力，同時引入虛假信息，削弱對手的定向能力。同時，軍事和準軍事力量將通過孤立或攻擊目標的方式向對手提出難題，以中和對手的戰斗潛力，控制沖突的升級。

美國海軍如何重新平衡實施 "馬賽克戰 "部隊的例子

決策中心戰的興起

以決策為中心的概念，如系統破壞戰和新一代戰爭，很可能成為未來沖突的重要形式，甚至是主要形式。在冷戰后期，美軍革命性的精確打擊戰方式利用了當時的通信數據鏈、隱身和制導武器等新技術。同樣，以決策為中心的戰爭可能是軍事上利用人工智能（AI）和自主系統的最有效方式，這些技術可以說是當今最突出的技術。

以決策為中心的戰爭的一個例子是國防高級研究計劃局（DARPA）的馬賽克戰爭概念。馬賽克戰爭概念的中心思想是，由人類指揮指導的、具有人工智能功能的機器控制的分列式有人和自主單位可以利用它們的適應性和明顯的復雜性來延遲或阻止對手實現目標，同時破壞敵人的重心以排除進一步的侵略。這種方法與機動戰一致，不同于第二次世界大戰期間盟軍采用的基于損耗的戰略，也不同于冷戰后美軍在科索沃、伊拉克和利比亞沖突中采用的戰略。雖然馬賽克戰爭采用損耗作為給敵人制造困境的一部分，但其實現成功的主要機制是拒絕、拖延或破壞對手的行動，而不是削弱對手的軍事實力，使其無法再有效作戰。因此，馬賽克戰爭非常適合作為現狀軍事大國（如美國）尋求遏制侵略的概念。

在近期兵棋推演中，馬賽克部隊與傳統軍事部隊在任務完成情況的比較

馬賽克戰爭提出了一種部隊設計和指揮控制（C2）程序，與今天的美軍相比，它將使美軍能夠執行更多、更多樣化的行動方案（COA）。馬賽克部隊的分解結構和使用人類指揮與機器控制，將使對手的決策復雜化，縮小其選擇范圍，并施加一系列可能無法解決的困境。通過增加美軍指揮官的選擇權，減少敵方的選擇權，馬賽克戰法將尋求獲得“選擇權優勢”，使美軍能夠做出更快、更有效的決策。

選擇性戰略與以預測為中心的規劃方法形成鮮明對比，在這種規劃方法中，選擇最有可能導致成功的作戰行動方案并迅速實施，通過將與未選擇的作戰行動方案相關的系統和兵力要素分配給其他任務來提高效率。在以預測為中心的模式中，資源的早期承諾必然會限制指揮官今后的選擇空間。

與今天的美軍相比，馬賽克部隊的設計和C2過程可以在選擇權競爭中提供更大的優勢，因為隨著對抗或競爭的進展，可以緩解由于損失或敵方態勢感知的改善而導致的選擇權減少的自然趨勢。例如，“馬賽克”部隊可以更容易地隱藏具有反ISR能力的平臺或編隊，并在以后暴露出來，以實現新的選擇；利用數量更多、規模更小、成本更低的增援部隊；或依靠決策支持工具，允許繼續使用與高級指揮官物理或電子隔離的部隊。

圖：以網絡為中心的戰役空間架構與基于情境的戰役空間架構的特點比較

一支馬賽克部隊也將比今天的美軍更有能力進行縮小對手選擇范圍的行動。通過同時發起許多行動并加速其決策，一支使用人類指揮和機器控制的分布式部隊可以給對手造成足夠的困境，從而排除與作戰相關的數量的《作戰協議》。此外，馬賽克部隊還可以利用諸如分配、佯攻和探測等欺騙技術以及反ISR系統來補充其更大的規模和決策速度，這些技術可以使對手相信某些選擇不可行或不可能成功。

雖然國防部的C3結構，如混合和聯合全域指揮和控制（CJADC2）開始納入決策支持工具，為特派團整合效應鏈，但其目前和近期的實例旨在支持有效的火力投送，而不是持續的可選性。此外，與CJADC2相關的C2和通信（C3）舉措，如高級戰役管理系統（ABMS），需要提前確定架構和組件系統。因此，CJADC2在其能夠提供的可選性方面將受到固有的限制。

圖：C2實施方法的比較

通過C3實現選擇權

第一步是壓縮空間的表征，重點放在時間的表征上。以一個作戰人員在短時間內的行動為例，在這個例子中，一個作戰人員的任務是收集指定地點的圖像。這在操作上是不現實的情況，只是用一個簡單的案例來說明這個概念。

在C3組合中，國防部已經在通信復原力方面進行了大量投資。因此，大部分新的努力和資源應該應用于C2能力。盡管美國軍方投資于所謂的C2系統，但這些項目主要是操作中心和軟件堆棧，作為在部隊中傳遞數據、信息、命令或權限的基體。盡管對管理部隊來說是必要的，但目前國防部的C2系統——將C2看作是連接——并不是決策支持系統，后者將C2看作是一個過程。

圖：在馬賽克C2方法中采用OODA循環

用于以決策為中心的戰爭的C3能力需要做的不僅僅是實現連接。例如，C2工具將需要生成能創造和維持可選擇性的COA，以提高適應性，并將復雜性強加給對手。為了幫助初級領導人執行任務指揮，C2工具還需要了解哪些單位在通信中，他們在潛在的COAs中的作用，并配置網絡以確保所需單位與適當的指揮官保持一致。為了評估這些要求和以決策為中心的C3的其他要求，本研究采用了多種視角，如下所述。

• 棧式視角：與互聯網一樣，以決策為中心的C3架構需要有物理媒介來進行數據移動；需要網絡結構來管理指揮官、傳感器和效應器之間的數據移動；需要信息架構來將數據組織成有意義的形式；需要評估信息的應用程序，如決策支持工具。目前的技術可以滿足這些需求，但無法在追求選擇優勢的同時，在對抗性環境中實現部隊和網絡的動態組成和重新配置。

圖：以預測為中心和以決策為中心的選擇空間隨時間變化的比較

• 網絡視角：要實現可選擇性和實施以決策為中心的戰爭，就需要有能力使C2結構與現有通信保持一致，而不是試圖建立一個在面對敵方協同干擾和物理攻擊時仍能生存的網絡。這些需求導致了一種混合架構，這種架構將網絡方式與分層方式結合起來，可以被定性為 "異構"。這種拓撲結構將使指揮權與合格的人類操作者占據的節點中具有最高程度的節點相一致。

• 解決問題的視角：與從頭開始處理每個新情況相比，使用類比推理的問題解決過程可以更迅速地評估潛在的備選方案，由此產生的決策空間的增加可以使指揮官將限制其備選方案的作戰行動協議推遲到最后一刻。此外，如果使用人工智能支持的算法在沒有監督的情況下建立COA，對手可以通過佯攻和探測來影響算法的學習，使系統認為COA是成功的，如果不是對手的行動，實際上會失敗。

圖：來自DARPA PROTEUS計劃的分析和用戶界面，AI輔助規劃

• 時間視角：可選性的概念適用于多個時間尺度，從戰略到工業能力發展和部隊的戰術行動。C3架構的能力應該有助于擴大每個時間尺度上的努力所帶來的決策空間，而不是僅僅在任務期間。

• 組織視角：國防部的C3架構不是在真空中存在的。各組織的人員必須通過戰略、工業、作戰和戰術時空的流程來運用這些架構。可選性是在以決策為中心的戰爭中獲得優勢的關鍵，但如果僅僅是派出一支更分散的部隊和使用它的工具，如果這支部隊的使用方式很狹窄，為每個單獨的行動提供最高的成功概率，那么只能稍微增加美軍的復雜性和適應性。需要決策組織和程序，盡可能長時間地擴大指揮官的選擇空間。

今天的戰斗指揮官（CCDR）參謀部缺乏組織和程序，無法為即將到來的任務以各種不同的配置組合部隊。為了能夠在任務時間內組成部隊，國防部可以采用類似于將計算機程序編譯成可執行代碼的方法。軟件指令是用較高層次的計算機語言編寫的，但在軟件被計算機處理器執行之前，需要將其轉換成二進制形式。這種方法將從決策支持系統的COA開始，然后組合適當的單位來支持行動。雖然部隊構成主要是以硬件為中心，但也需要在技術棧的信息層和網絡層進行部隊包的軟件構成。

圖：從人工構成到決策中心戰的任務整合浪潮

結語

美軍將需要采用新的部隊設計和C2流程，以實現以決策為中心的戰爭，但如果不與工具和組織結合起來，以充分利用使用人類指揮和機器控制的更分散的部隊中可能存在的可選性，這些努力將付諸東流。

目前國防部通過CJADC2和相關的作戰概念努力使美軍向更分散的組織和更分散的能力發展，這是實現更以決策為中心的軍事行動方法的重要一步。高級戰斗管理系統（ABMS）和DARPA的幾個項目正在開發C2工具和流程，這些工具和流程將增加指揮官使用這些更分布式部隊的可選性。國防部的部隊設計變革或C3舉措將需要更進一步，以便美軍在面對已經躍升到以決策為中心的戰爭并擁有主場優勢的同行對手時保持可選擇性優勢。

也許更重要的是，將需要新的組織和程序，使CCDR能夠在戰區組成和整合分散的部隊，并改變國防部定義需求和發展新能力的方式。如果不對國防部的需求和部隊發展程序進行重大改革，美軍就有可能在爭奪決策優勢的競爭中落后于對手，從而威脅到其保護美國利益和盟友免受大國侵略的能力。

（參考來源：軍事文摘作者：張傳良）

概述

美政府問責局（GAO）日前發布報告《人工智能：國防部應改進策略和流程并加強協作指導》。該報告通過評估2018年《國防部人工智能戰略》，發現其存在片面性的一些特征，如九項人工智能相關戰略計劃“不包括與采用AI技術相關的資源、投資和風險的完整描述”等，呼吁國防部制定更全面的人工智能戰略，以使其更好地定位、問責和負責任地使用該技術。該報告還向國防部提出以下建議：發布含AI戰略所有特征的指南、建立定期審查國防部AI戰略的程序；開發含所有需求的高級計劃或路線圖；發布指南和協議，定義該機構在AI活動中的領導和參與者的責任等。

背景

GAO的發現

2018 年國防部 (DOD) 人工智能 (AI) 戰略將 AI 定義為機器執行通常需要人類智能的任務的能力。戰略和相關計劃包括綜合戰略的一些（但不是全部）特征。 例如，國防部的九項人工智能相關戰略和計劃不包括對資源和投資以及與采用人工智能技術相關風險的完整描述（見圖）。發布指南以在未來與人工智能相關的戰略中包含綜合戰略的所有特征，可以幫助國防部更好地幫助管理人員確保問責制和負責任地使用人工智能。

國防部人工智能相關戰略和計劃的評估

國防部已開始識別和報告其 AI 活動，但其 AI 基線清單存在限制，例如排除機密活動。國防部官員表示，這些限制將在人工智能活動識別過程的后續階段得到解決。然而，國防部還沒有制定一個涵蓋所有需求和里程碑的高級計劃或路線圖。這樣的計劃將為國防部提供實現該計劃目標所需的所有功能的高級、端到端視圖，以向國會和國防部決策者提供完整和準確的人工智能活動清單。

國防部組織在人工智能活動上進行協作，但可以更充分地整合領先的協作實踐。國防部使用 GAO 先前工作已經確定的各種正式和非正式協作機制，例如跨部門小組。國防部已部分納入領先的協作實踐，例如識別領導力。然而，國防部官員告訴我們，他們正在制定指南和協議，明確定義參與人工智能活動的國防部組件的角色和職責。通過最終確定和發布此類指南，國防部可以幫助確保所有參與者就整個部門的人工智能工作的責任和決策達成一致。

為什么 GAO 做這項研究

國防部戰略指出，人工智能將改變戰爭的性質，不采用人工智能技術可能會阻礙作戰人員保衛我們國家的能力。國防部正在進行組織變革并投資數十億美元來整合人工智能技術，例如建立聯合人工智能中心以加速在整個國防部提供人工智能能力。

伴隨 2021 財年國防授權法案的眾議院報告 116-442，以及讓 GAO 評估國防部的資源、能力和人工智能技術計劃的規定。本報告評估了 (1) 國防部的人工智能戰略和相關計劃，包括綜合戰略的特征；(2) 國防部已確定并報告了整個部門的人工智能活動情況；(3) 國防部在其人工智能活動上的合作情況。GAO 審查了相關法律和國防部戰略，概述了整個部門管理人工智能的計劃和流程，采訪了官員，并進行了全部門調查。這是 GAO 于 2022 年 2 月發布的敏感報告的公開版本。國防部認為敏感的信息已被省略。

無人機行業現在正處于黃金時期，它的增長有望呈指數級增長，盡管人道主義救援人員已經使用這種技術10年了，但市場的擴大和技術的發展正在推動越來越多的組織裝備這種設備。

無人駕駛飛行器 (UAV)，也稱為遙控飛機或“無人機”，是通過遙控或自主飛行的小型飛機。本報告重點關注非武裝民用無人機和無人機的使用。未來的報告可以探討無人水下航行器和地面無人機的影響和發展。

瑞士地雷行動基金會在其報告《人道主義行動中的無人機》（2016 年）4 中確定了六類無人機在人道主義行動中的用途：測繪；將基本產品運送到偏遠或難以到達的地點；搜救（SAR）；支持損害評估；提高態勢感知能力；監測變化（例如城市和營地的增長、農業使用或道路或基礎設施的建設）。這份報告將闡明人工智能驅動的無人機如何改進和修改這些用途。

情報對于戰斗的結果至關重要。只要人類發動戰爭，就需要為軍事和文職領導人提供有關對手或潛在對手的決策支持。然而，智能的產生既不容易，也沒有陷阱。有必要更好地理解情報分析的困境。

情報是官僚生產的，也是在獨特的文化背景下社會建構和創造的。 “機構”抓住了這三個方面的影響力。因此，本論文特別關注軍事情報，旨在加深對機構對情報評估的影響的理解。在過去的三年里，關于智力的文獻穩步增長。然而，旨在理解這一現象的理論和框架仍然很少。這對于有關當代軍事情報的文獻來說更是如此。本論文旨在為彌合這些研究空白做出貢獻。這是通過從幾個不同的角度研究瑞典軍事情報機構來完成的：其使用規則、共同信念以及主要與進行威脅評估相關的傳入刺激。更準確地說，該論文研究了與認識論假設和威脅評估相關的定量方法、學說（即正式規則）和共享信念的使用。

本論文的主要貢獻在于，它建立并描述了軍事情報機構和評估之間的偶然聯系，通過利用使用規則和信念系統及其對心智模型的影響，從而對與軍事情報相關的情況的感知。認知偏差，從而影響給定的評估。本文通過采用制度分析與發展（IAD）框架，努力使情報研究更具普遍性。 IAD 的元理論語言是解釋和描述機構對情報評估的影響的有前途的途徑。

關鍵詞:情報分析、軍事情報、機構與威脅評估。

【報告標題】

Human Factors and ISR Concept Development and Evaluation 人為因素和情報、監視、偵察 (ISR) 概念開發和評估

【報告來源】

北約技術報告

【出版時間】

2022年2月

【研究問題】

情報、監視和偵察 (ISR) 行動是關于收集信息并向操作員提供信息，而操作員又需要就其戰區的各種行動方案做出具體決策。可以肯定的是，ISR 行動是技術密集型的。然而，與此同時，ISR 行動是一個非常以人為本的過程。盡管如此，ISR 概念開發和評估 (CD&E) 過程中幾乎沒有人為因素 (HF) 研究。通過研究新的ISR技術和概念對不同操作環境下操作員性能的影響，研究人員可以提供更科學的建議，為高層政策和決策者提供關于所有ISR環境下未來ISR技術和能力的信息：包括空中、海面、地下和空間。就這一點而言，HF 研究方法應成為任何 ISR CD&E 過程的組成部分，為 ISR 指揮鏈各級的政策和決策者提供信息和建議。

【研究目的】
 北大西洋公約組織 (NATO) 研究和技術組織 (RTO) 人為因素和醫學 (HFM) 小組任務組 (RTG) 276 (NATO RTG HFM-276) 題為“人為因素和 ISR 概念開發和評估”，旨在識別和理解對有效 ISR 操作至關重要的 HF 問題。更準確地說，這項開創性工作的目標是：

1 確定有效 ISR 行動的關鍵 HF 問題（例如，態勢感知、工作量、組織結構、協調和協調機制、可視化、信任、信息共享和管理、領導力以及做決定）;

2 使用行為理論模型來發展我們的研究方法并理解我們的發現；

3 就 ISR CD&E 操作中 HF 研究的使用和實施提出建議。

【結果、意義、影響】
 北約 HFM-276 任務組使用組織有效性模型開發了一組調查，以識別和了解對有效 ISR 行動至關重要的 HF 問題。該模型的核心是由任務、收集、處理、利用和傳播 (TCPED) 組成的 JISR 流程。源自該模型以及其他來源的數據收集計劃著眼于 ISR 行動中的一些 HF 問題的作用：基本 HF 知識、情況評估、工作量、組織結構、信任、信息共享、信息管理、領導力、文化、組織過程、組織靈活性、共享意識和責任、協調和協調機制、決策、能力、情報請求管理（IRM）、通信、元數據和應用系統。所有這些 HF 因素都會影響 ISR 操作概念并影響操作員的績效。此外，該報告總結了一些改進北約和非北約行動的 ISR CD&E 過程的實際影響，重點是開發應包含在 ISR CD&E 過程中的 HF 研究方法。這種 HF 方法將像技術和程序 ISR 概念開發的質量控制組件一樣工作。預計研究結果將有助于為 ISR 指揮鏈各級的政策和決策者提供信息和建議，以增強北約 ISR 規劃、任務執行和能力發展中的信息和決策優勢。它還有望幫助告知 ISR 與其他聯合流程的整合，例如在確定當前與 ISR 相關的 HF 差距以及與其他流程整合方面的聯合目標。

在決定是否減輕或接受網絡攻擊對武器系統的風險時，最重要的考慮因素是它如何影響作戰任務——也稱為任務影響。然而，對整個空軍的每個系統和所有任務進行全面評估是不切實際的，因為每個系統都很復雜，有大量潛在的漏洞需要檢查，每個漏洞都有自己復雜的威脅環境。

進入網絡任務線程分析框架。為了分析任務影響，作者提出了這種旨在同時實現幾個目標的新方法：足夠全面，可以在美國空軍的每個任務的規模上執行，但信息量足以指導決定接受或接受減輕特定風險。此外，該方法非常簡單，可以在不超過幾個月的時間內執行，并且可以根據需要進行更新。

該框架遵循自上而下的方法，從捕獲所有關鍵任務元素的整個任務的“線程”（映射）開始，然后是支持其執行的系統。雖然作者并未將網絡安全風險評估問題簡化為交鑰匙解決方案，但他們提出了有用的方法來分類與任務成功最相關的領域，同時將對漏洞和威脅的詳細調查限制在最關鍵的領域。他們的框架旨在大規模完成，適用于各種場景，并明確其工作方式。

00 報告研究的問題

• 評估整個空軍的任務影響或網絡安全風險有哪些挑戰？
• 網絡攻擊的風險與其他任務風險有何不同？
• 從任務影響的角度來看，網絡問題的哪些方面提出了必須解決的獨特挑戰？

01 主要發現

1.1 在合理的資源支出下分析大規模的任務影響是一個主要的挑戰

• 即使是狹義的任務也需要大量的系統，而且每個系統都可能相當復雜。
• 在美國空軍的每項任務中增加一項任務的復雜性，要評估的系統數量變得不可行。

1.2 隨著新系統的引入、舊系統的修改以及戰術、技術和程序的發展，執行任務的方式發生了變化

• 對系統的更改會導致系統漏洞的更改，同時威脅也會演變。
• 隨著任務、漏洞和威脅的變化，必須重新檢查風險評估。

1.3 網絡空間的特點之一是冗余無效

• 冗余并不能提供抵御網絡攻擊的穩健性。
• 冗余組件具有共同的網絡攻擊漏洞。

1.4 失去指揮和控制可能會在沒有任何系統或組件故障的情況下損害任務

• 對手操縱指揮和控制的脆弱性是另一種特殊的網絡效應。
• 這種類型的網絡效應通常不會在系統工程中用于安全的技術中捕獲。

1.5 當決策者不了解分析的工作原理時，他們通常會恢復直覺和判斷

• 分析工具越不透明，就越被視為“黑匣子”，越不可信。
• 這種反應提出了透明的動機，以便可以信任該方法來指導決策。

02 建議

• 要大規模執行任務影響評估并節省工作量，請使用系統工程熟悉的方法和可用于分類的任務關鍵性標準組合。

• 定義任務時，不要包含任何系統。在分析的后期介紹特定系統的作用。

• 將隨著時間推移相對穩定的工作與需要在系統生命周期中更新的分析分開。

• 盡可能使用現有的和經過驗證的技術以保持透明，以便決策者了解分析的工作原理及其局限性，并信任它來指導決策。

• 應用網絡分離的概念來解決冗余問題。

• 在任務和系統級別合并功能流程圖，以解決對手指揮和控制分析問題。

• 為了全面驗證和驗證網絡任務線程分析框架，空軍應該在各種不同的任務中應用和測試它。

03 報告目錄

第一章

評估武器系統網絡安全風險的一些注意事項

第二章

評估任務影響的原型框架

第三章

框架的討論

Drone Wars UK 的最新簡報著眼于人工智能目前在軍事環境中的應用方式，并考慮了所帶來的法律和道德、作戰和戰略風險。

人工智能 (AI)、自動決策和自主技術已經在日常生活中變得普遍，并為顯著改善社會提供了巨大的機會。智能手機、互聯網搜索引擎、人工智能個人助理和自動駕駛汽車是依賴人工智能運行的眾多產品和服務之一。然而，與所有技術一樣，如果人們對人工智能了解甚少、不受監管或以不適當或危險的方式使用它，它也會帶來風險。

在當前的 AI 應用程序中，機器為特定目的執行特定任務。概括性術語“計算方法”可能是描述此類系統的更好方式，這些系統與人類智能相去甚遠，但比傳統軟件具有更廣泛的問題解決能力。假設，人工智能最終可能能夠執行一系列認知功能，響應各種各樣的輸入數據，并理解和解決人腦可以解決的任何問題。盡管這是一些人工智能研究計劃的目標，但它仍然是一個遙遠的前景。

AI 并非孤立運行，而是在更廣泛的系統中充當“骨干”，以幫助系統實現其目的。用戶不會“購買”人工智能本身；他們購買使用人工智能的產品和服務，或使用新的人工智能技術升級舊系統。自主系統是能夠在沒有人工輸入的情況下執行任務的機器，它們依靠人工智能計算系統來解釋來自傳感器的信息，然后向執行器（例如電機、泵或武器）發出信號，從而對機器周圍的環境造成影響.

人工智能被世界軍事大國視為變革戰爭和獲得戰勝敵人的優勢的一種方式。人工智能的軍事應用已經開始進入作戰使用，具有令人擔憂的特性的新系統正在迅速推出。與軍事和公共部門相比，商業和學術界已經引領并繼續引領人工智能的發展，因為它們更適合投資資金和獲取研究所需的資源。因此，未來人工智能的軍事應用很可能是對商業領域開發的技術的改編。目前，人工智能正在以下軍事應用中采用：

• 情報、監視和偵察
• 賽博戰
• 電子戰
• 指揮控制和決策支持
• 無人機群
• 自主武器系統

人工智能和英國軍事

綜合審查和其他政府聲明毫無疑問地表明，政府非常重視人工智能的軍事應用，并打算繼續推進人工智能的發展。然而，盡管已經發布了概述使用自動化系統的學說的出版物，但迄今為止，英國國防部 (MoD) 仍然對管理其人工智能和自主系統使用的倫理框架保持沉默，盡管已經做出了一些重大決定。軍事人工智能的未來用途。

英國國防部一再承諾發布其國防人工智能戰略，預計該戰略將制定一套高級倫理原則，以控制軍事人工智能系統的整個生命周期。該戰略是在與來自學術界和工業界的選定專家討論后制定的，盡管政府尚未就與人工智能的軍事用途相關的倫理和其他問題進行公開磋商。該戰略的主要目的之一是向行業和公眾保證，國防部是人工智能項目合作的負責任合作伙伴。

與此同時，在沒有任何道德指南的情況下，計劃和政策正在迅速推進，主要問題仍未得到解答。英國軍隊在什么情況下會采用人工智能技術？政府認為何種程度的人為控制是合適的？風險將如何解決？英國將如何向其盟友和對手證明英國打算采取有原則的方法來使用軍事人工智能技術？

軍事人工智能系統帶來的風險 上述人工智能的每一種不同的軍事應用都會帶來不同的風險因素。作為國防部總部后臺操作的一部分，對數據進行排序的算法會引發不同的問題和擔憂，并且需要與自主武器系統不同級別的審查。

盡管如此，目前正在開發的人工智能系統無疑會對生命、人權和福祉構成威脅。軍事人工智能系統帶來的風險可以分為三類：道德和法律、操作和戰略。

道德和法律風險

• 遵守戰爭法： 目前尚不清楚機器人系統，特別是自主武器如何能夠滿足戰爭法制定的致命決定和保護非戰斗人員的標準。

-問責制：目前尚不清楚如果出現問題，誰來承擔責任：如果計算機運行不可預測并因此犯下戰爭罪行，懲罰它是沒有意義的。

• 人權和隱私：人工智能系統對人權和個人隱私構成潛在威脅。

• 不當使用：在戰斗環境中處于壓力之下的部隊可能會試圖修改技術以克服安全功能和控制。

作戰應用風險

• 偏見的技術來源：人工智能系統的好壞取決于它們的訓練數據，少量損壞的訓練數據會對系統的性能產生很大影響。

• 偏見的人為來源：當人類濫用系統或誤解其輸出時，可能會導致偏見。當作戰員不信任系統或系統非常復雜以至于其輸出無法解釋時，也會發生這種情況。

• 惡意操縱：軍用 AI 系統與所有聯網系統一樣，容易受到惡意行為者的攻擊，這些行為者可能試圖干擾、黑客攻擊或欺騙系統。

戰略風險

• 降低門檻：人工智能系統帶來了政治領導人在沖突中訴諸使用自主軍事系統而不是尋求非軍事選擇的風險。

• 升級管理：涉及人工智能的軍事行動的執行速度降低了審議和談判的空間，可能導致快速意外升級并造成嚴重后果。

• 軍備競賽和擴散：對軍事人工智能的追求似乎已經引發了軍備競賽，主要和地區大國競相發展其能力以保持領先于競爭對手。

• 戰略穩定性：如果先進的人工智能系統發展到能夠預測敵人戰術或部隊部署的程度，這可能會產生高度不穩定的后果。

本簡報列出了為人工智能設想的各種軍事應用，并強調了它們造成傷害的可能性。它認為，減輕軍事人工智能系統帶來的風險的建議必須基于確保人工智能系統始終處于人類監督之下的原則。

迄今為止，公眾對人工智能和機器人技術進步所帶來的社會變化和風險似乎知之甚少。這份簡報的部分目的是為了敲響警鐘。人工智能可以而且應該用于改善工作場所的條件和對公眾的服務，而不是增加戰爭的殺傷力。