軍事系統日益增強的自主能力提出了各種具有挑戰性的法律、倫理、政策、行動和技術問題。本卷的主要貢獻在于它對這些挑戰的多學科表述。在引言部分，沙瑞概述了自主性的基本概念，并反思了其對軍事行動的影響，如人機合作的機會。隨后，威廉姆斯對如何定義 "自主性 "進行了詳細分析。Scharre和Williams的章節提醒我們，真正的自主系統并不存在--也許只是在科幻故事的遙遠未來。相反，他們強調自主性是系統的一種能力，它存在于組織、政策、指導和人類控制的復雜安排中。

Roorda的這一章給出了一個具體的例子，說明自主系統的使用是如何被特定的政策過程所控制的，以及在部署任何系統之前，該過程的每個階段是如何納入對相關法律、道德和操作問題的必要的人類決策。

然而，當代的政策辯論--最近在《聯合國某些常規武器公約》中，顯示出自主系統仍然是一個有爭議的話題。雖然武裝沖突法和國際人權法并不禁止向自主系統下放軍事職能，但阿諾德和克羅托夫的章節擴大了視野，特別討論了國家的作用和責任，以及可能受到自主系統發展影響的各種國際法。然而，這種政策問題并不是軍事領域所獨有的。安德森和松村的章節強調了在民用領域引入 "無人駕駛 "汽車所面臨的法律和政策挑戰，軍事能力應該注意到這一點。

即使考慮到這些法律和政策結論，對自主系統仍有嚴重的倫理和實際保留。梅爾的章節為分析自主系統在軍事行動中的影響提出了一個倫理框架，并提出了一系列政策制定者的建議。Keeley提出了另一種解決方案，建議建立一種審計和追蹤系統內部算法的程序和能力，以便進行驗證和確認、測試和問責。然而，Theunissen和Suarez表明，對于許多任務來說，高水平的自主性不一定是可取的，最佳的解決方案是將自主控制和人類控制結合起來，發揮各自的優勢。

有了這個關于自主系統政策考慮的法律、定義和倫理框架，本書的最后一節介紹了關于能力發展各個方面的四個詳細章節。首先，Saariluoma提出了一個框架，為自主系統引入基于人類技術互動設計的思維，提醒我們，最終，這種系統是人類的工具，因此，人類互動和控制系統的方式應該是直觀的。

Sulzbachner、Zinner和Kadiofsky的章節強調，許多自主系統的要求是無源光學傳感器技術，用于在非結構化、非合作的環境中運動。他們提醒我們，正在進行的將無人駕駛和自主系統納入空域的各種監管舉措，例如，本質上依賴于建立性能標準，然而驗證光學和其他傳感器系統的標準化方法仍未完全建立。

Arbour、MacLeod和Bourdon對有人和無人的組隊概念進行了分析，并提出了一系列不同的選擇，即無人飛機如何與有人飛機協同使用，發揮各種新的作用。他們的建議是，鑒于無人系統的可靠性和自主性不斷提高，我們需要在能力發展的早期階段確定更多的潛在配置和組合，而不是局限于一對一的平臺替代。

托爾克在本卷的最后一章建議更多地使用基于代理的模擬方法來支持自主系統的設計、開發、測試和操作使用。原因是仿真中的軟件代理是自主機器人系統的虛擬對應物，在許多情況下，管理物理系統和軟件代理的基本算法可能是相同的。這導致了許多改善系統測試和評估的機會，而且通過在部署前對系統的任務進行模擬，還可以提供操作支持。

本卷的結尾是北約首席科學家Husniaux少將的前瞻性觀點，他為未來的能力發展推薦了一系列關鍵研究領域。他提醒我們，科學和技術的發展是必不可少的，但必須與操作者、政策、法律和理論觀點合作，共同發展。

我們正在擴大我們在這一關鍵領域國防能力的視野，然而創新需要外部的投入和新的觀點。實現這一目標的最佳方式是通過一個多樣化的專家網絡來分享想法。我知道，SACT總部領導的工作已經從這種接觸中受益匪淺，我希望聯盟的科學家、工程師、法律和政策工作人員以及軍事操作人員網絡也將同樣受益。

美國已經進入了一個大國競爭的新時期。俄羅斯和中國的崛起在全球權力結構中形成了復雜的三足鼎立局面。最近人工智能方面的技術進步使這種多變的國際動態進一步復雜化。學者、政治家和高級軍官已經意識到，人工智能的融入是軍事事務中一場新革命的起源，有能力改變權力的戰略平衡。美國在中東被二十年的反叛亂所困擾，并受到僅延伸至2025年的長期人工智能戰略的阻礙，沒有準備好進入這個 "第六代 "軍事能力，以確保其戰略利益。這種人工智能化的部隊將由半自主和自主系統定義，包括致命的自主武器系統。第一個開發和使用這些武器的國家行為者將在這個新時代獲得對其競爭對手的戰略優勢。雖然美國目前在人工智能方面擁有優勢，但由于缺乏前瞻性思維和重點投資政策，這種優勢正在迅速消失。這是一份旨在解決這一差距的政策文件。20世紀90年代中期的中國軍事現代化模式為美國未來的政策提供了一條潛在的途徑。雖然兩國政府結構存在差異，但其中的幾個基本原則可以在美國的制度框架內適用。因此，美國可以通過制定健全的投資政策、集中的技術發展計劃和新的行動概念來確保人工智能的首要地位，以便在新能力出現時將其最大化。

針對美國的政策建議與評估

大國競爭必須相對于其他大國的能力進行評估。因此，沒有一種能力可以被評估為產生可持續的絕對優勢。然而，在潛在的對手獲得同樣的能力之前，開發人工智能技術和應用為21世紀沖突設計的CONOPS的能力將在整個政治/軍事領域產生一個暫時的戰略優勢。美國目前的公共政策和戰略并沒有延伸到25年后。隨著中國準備在2030年成為占主導地位的人工智能大國，美國為了確保長期戰略利益，不能接受人工智能競賽的現狀。由于人工智能領域的技術發展速度很快，人工智能RMA的狀態和抓住初始優勢的能力正在接近一個拐點。建議美國采取側重于美國在人工智能競賽中的首要地位的政策，特別是在致命性自主武器系統的研究和開發方面。美國在這一領域保持優勢的能力對于國家安全和參與21世紀人工智能輔助和/或人工智能環境的準備工作是至關重要的。

由于致命性自主武器系統是一項仍在開發中的未來技術，因此不可能確定致命性自主武器系統對戰略環境的完整影響。本研究承認，對于評估一個未來武器系統的影響沒有預測性的措施，該系統在實現其全部潛力之前還將經過幾代技術的演變。然而，評估投資政策、技術和CONOPS演變的影響以及它如何影響軍事準備、政治資本和戰略環境的能力是有據可查的。

本文的建議將以1990年至今的中國軍事投資戰略為藍本。在此期間，中國國防開支的增加創造了一個前所未有的能力和軍事力量的增長，為美國未來的人工智能政策提供了一個框架。由于全球力量是以相對而非絕對的方式衡量的，美國至少必須在多極環境中與不斷增長的大國保持平等。雖然從美國的角度來看，中國戰略的某些方面，特別是盜竊知識產權的因素是不切實際的，但那些關于教育和貨幣投資的內容可以被納入美國未來的人工智能政策中。這項研究建議：

1.設立一個負責人工智能政策的助理國防部長的新職位，直接負責人工智能的發展和整合到美國防部。

2.指示ASDAI為美國軍隊制定一個關于第六代能力的預期最終狀態，每十年更新一次。

3.建立30年、15年和5年的人工智能目標，每五年更新一次，讓各個機構，如DARPA、JAIC、國防創新部門（DIU）和相關組織負責特定的發展水平。這將使美國政策制定者有能力根據ASDAI評估和更新的多變的戰略環境，為每個機構提供適當的資金。

4.成立一個委員會，負責發展和保留研究生水平的科學、技術、工程和數學（STEM）人才。

5.建立一個戰略規劃組織，負責研究和整合新的人工智能技術，因為它們出現在15年和5年的基準點上，以便在收購過程中納入其中。

對這些政策的評估必須對照美國對手在人工智能領域的成就和進步。建立在美國在人工智能領域的首要地位上的政策應該集中在教育和經濟投資，新的人工智能技術的初步發展，以及新的CONOPS的發展，以便在新的人工智能能力可用時充分和有效地進行。本研究報告的其余部分重點關注中國國防現代化計劃對美國未來人工智能政策和建議的調整。

1 引言

本文重點介紹了 10 種武器系統，這些系統具有的特征可能有助于考慮武器系統的自主性。它旨在展示用于各種領域的武器系統類型的多樣性，以及能力的增強；包括打擊范圍、目標類型、共同運行的系統數量以及無需人工操作即可進行的活動范圍。這些指向自主性的趨勢，這可能有助于確定可能需要監管以確保遵守道德和法律規范的領域。

1.1 武器探測目標

探測目標并根據傳感器輸入對其打擊的武器已經存在多年。這類系統與那些由人類操作者設定具體位置和時間點以進行打擊的系統不同。在很大程度上，這些都是 "防御性"武器系統，通常在其位置上是固定的，與人類操作者同處一地，并具有固定的 "目標輪廓"，限制了它們可以攻擊的目標類型。

然而，近年來的技術發展導致具有自主功能的武器系統能力增加，包括更大的地理區域和行動時間，以及更復雜或可改變的目標輪廓的潛力。這種擴大的獨立操作范圍引起了人們對如何將人類的 "控制 "應用于此類系統，或如何將其理解為具有足夠的 "可預測性 "的關注。目標輪廓的變化也引起了相關的關注，以及在使用武力時被認為有 "非人化 "的風險。這些主題是關于限制武器系統自主權的國際法律討論的核心。

1.2 趨勢

在過去的幾年里，看到生產商的數量和多樣性都在增加，自主武器系統所處環境類型的變化，以及隨著自主性的增強，武器系統的能力也在發生變化。

1.2.1 制作商

來自越來越多國家的越來越多公司正在開發具有越來越多自主功能的非飛行武器系統。在過去，主要是美國、西歐、韓國和以色列在這個領域處于領先地位。最近幾年，來自中國、俄羅斯、土耳其和東歐的生產商出現得更多。更廣泛地說，幾乎每一個擁有大量國內武器開發能力的國家也在為其產品增加自主功能。

1.2.2 環境與平臺

大多數武器系統的自主目標定位最初是針對通常不太復雜的領域--海洋（地下和表面）和空中的目標物體。這方面的一個例外是地雷，它也使用傳感器來探測并對目標施力，并且與重大的人道主義問題有關。然而，其他具有自主功能的武器系統是在更簡單的環境中使用的，這些環境呈現出更均勻的地形，與之互動的固定物體和車輛較少，這也導致了更容易的背景，以正確識別預定目標。然而，最近，看到無人駕駛地面車輛（UGVs）的數量在增加--由于環境的復雜性，操作上的成功率有高有低。目前，UGVs仍然需要人類操作員在環境中遠程導航。在空中，游蕩彈藥的生產有了很大的擴展，這些航空器可以攻擊地面上的目標。這種系統可以在指定的地理區域內搜索潛在的目標一段時間。當打擊陸地上的目標時，這些系統可以將具體何時何地發生武力的不確定性與地面上平民和物體的相對豐富和多樣性結合起來。因此，據報道，目前的許多游蕩彈藥都有一個人類操作者，在彈藥與目標交戰之前必須批準攻擊。

1.2.3 能力與特征

縱觀具有自主功能的武器系統的能力，近年來在以下方面有所提高：

• 潛在的作戰時間和地理區域。
• 系統可被設定為識別和打擊的目標類型
• 可以一起行動的系統的數量；以及
• 可以在沒有人類參與的情況下執行的任務類型。

使部件更小、更輕的能力，加上更長的電池壽命，擴大了操作的時間和地理區域。由于信息技術（包括處理能力、大數據、神經網絡、模式識別）和傳感器（包括電子光學和紅外攝像機）的進步，自動目標識別的發展導致了更多種類的目標輪廓的潛力。最近幾年也出現了對蜂群技術的重視，例如在中國、美國、俄羅斯和土耳其的軍事項目。目前，大多數蜂群要么是遙控的，要么是預先編程的，但各國和各公司正在優先考慮開發自主運作的蜂群能力。易于交換的組件和有效載荷--包括各種相機和傳感器（包括光電、熱能和聲納）、電子戰系統以及一系列用于實際使用武力的 "武器 "或彈頭（無論是否打算致命）--擴大了可能的應用范圍。當以群集方式部署時，不同的系統可以配備不同的有效載荷，以創造一系列的操作選擇。本報告中描述的各種武器系統是這種發展的例子，包括無人機40、卡爾古、亞里和機器人戰車。一個重要的跨領域趨勢是新技術組件的成本降低。這有助于公司和軍隊采用更多的模塊化方法，并對不同的能力進行更多的試驗。成本的降低也使消耗性成為可能--例如在許多在打擊目標物體的過程中被摧毀的閑置彈藥中可以看到。

1.2.4 營銷自主性

值得注意的是，不同的公司對自動化和自主性的標記或表述是不同的。對一些公司來說，"自主性"一詞被用作強調創新的積極營銷術語。其他公司則試圖強調保留人類的決策，也許是考慮到正在出現的關于武器系統自主性的公眾和政治辯論。這意味著自動化功能的實際性質和程度在宣傳資料中并不總是很明顯。

1.3 研究背景

本報告的研究基于公共領域的信息，要么來自公司網站，要么來自可信的（軍事方向）媒體。并非所有關于這些技術的技術和操作信息都可以公開獲得。已盡力確保信息的正確性。

本文中強調的系統具有不同程度的自主性。并不是說這些都被認為是自主武器（在使用傳感器探測和對目標施力的意義上）。然而，它們確實指出了在武器系統中增加自主性的趨勢和可能性。分析這些能力可以為關于自主武器的辯論提供信息。在未來幾年，可能會繼續看到武器系統具有進一步擴大地理范圍、持續時間和目標輪廓復雜性的技術能力。所有這些領域的漸進式發展可能會推動所使用武器的效果更加不可預測。這意味著，與其說是一個分水嶺，不如說是朝著更加自主和減少人類用戶在決策過程中的作用不斷邁進。

10個自主武器系統案例

（具體案例系統參數請閱原文）

（1）無人機 40（游蕩彈藥）- 澳大利亞

無人機40（Drone 40）是一種小型四旋翼無人機/彈藥，可由40毫米步兵榴彈發射器發射。它有基于GPS的自主導航和一個便攜式 "地面站"。操作員可以遠程解除彈藥的武裝，使其降落回收。它可以使用各種有效載荷，包括用于偵察的傳感器、非致命性（煙霧/閃光）和致命性彈藥。它包括多個無人機同時打擊一個目標的能力。

無人機40的開發主要由澳大利亞政府資助。衍生產品也已經開發出來，用于60毫米、81毫米和155毫米發射平臺，具有更大的有效載荷和射程能力。 無人機40已經賣給了澳大利亞和英國的軍隊。英國已經在馬里使用Drone 40進行監視和偵察。它還被用于波蘭的演習和美國海軍陸戰隊的演習中。

（2）JARI (USV) - 中國

JARI是一種50英尺長的USV，可用于反潛、反艦和反空戰。JARI可以被遠程控制，但據說在某些配置下也可以自主導航并進行戰斗活動。 由于其小尺寸和航程，獨立的遠洋任務是不可能的，但可以作為大型載人船只的輔助任務艇。 目前它是單獨使用的，但CSOC（見下文）正在努力使JARI在群組中使用。該USV已經為海軍和潛在的出口客戶設計。

（3）BLOWFISH (UAV) - 中國

Blowfish是一種長度約為兩米的無人駕駛直升機。它既可用于民用，也可用于軍事目的。Blowfish有不同的版本，包括A2和A3，規格略有不同。A2型可以攜帶多枚60毫米迫擊炮彈或35-40毫米榴彈發射器。A3可以攜帶不同類型的機槍，并采用空氣動力學設計，可以從不同角度進行射擊。 據制造商稱，Blowfish有一個目標識別系統，可以識別不同的目標，如車輛、無人機或人。它可以整合可見光和紅外線，實現多源目標識別和跟蹤。Blowfish通過自組織網絡具有蜂群能力，不必依賴地面控制。無人機可以 "自主起飛，避免在空中發生碰撞，并找到通往其指定目標的道路。一旦收到攻擊命令，它們就會以協調的方式自主地攻擊目標"。

據Ziyan稱，Blowfish A2廣泛用于軍事、警察和公共安全目的、消防、海上行動和其他領域。

（4）SEAGULL (USV) - 以色列

海鷗號（SEAGULL）是12米長的無人水面艦艇，被設計用于反水雷和反潛任務。在反水雷方面，它有 "水下機器人車輛來識別和消除水雷"。它能夠探測、分類和消除海中的地雷。對于反潛任務，它能夠發射輕型魚雷。其他類型的任務包括監視、水文地理、電子戰和海上安全。 它可以一次執行四天的深水任務，視線范圍可達100公里。 它在船頭有一門穩定的遙控12.7毫米機槍。

兩個 "海鷗 "可以由陸地或母艦上的控制站同時控制。埃爾比特系統公司在 "海鷗 "號上增加了 "云雀 "C小型無人機，以進一步提高態勢感知和情報收集能力。 以色列海軍已經在北約的幾次海上演習中使用了 "海鷗"，包括與英國皇家海軍和西班牙海軍的合作。

（5）迷你HARPY（游蕩彈藥）- 以色列

迷你HARPY是以色列航空航天工業公司（IAI）開發的一種游蕩彈藥。它結合了Harop和Harpy彈藥的能力，即探測廣播輻射和電子光學能力。它可以游蕩并探測輻射發射物體，如雷達裝置。攻擊是由擁有行動視頻資料的人批準的。據IAI稱，操作者可以控制到最后一刻來阻止攻擊。然而，該公司還表示，它有一個 "完全自主 "的操作選項。目前還不清楚完全自主模式會帶來什么，但最有可能的是，武器系統檢測并攻擊目標，而不需要人類批準。

該公司指出。"在一個不對稱戰爭和快速移動目標每次'閃爍'幾秒鐘的時代，使用游蕩彈藥為關閉火力圈提供了強大的能力。開發的系統不是依靠精確的參考點，而是在空中徘徊，等待目標出現，然后在幾秒鐘內攻擊并摧毀敵對威脅。迷你HARPY"可從陸地、海上或直升機平臺發射，射程為100公里，續航時間為120分鐘。

（6）MARKER (UGV) - 俄羅斯

MARKER是一種無人地面車輛（UGV），可以使用輪式或履帶式底盤。 它是一個實驗性平臺，用于測試地面機器人技術，如自主導航、群體互動和人工視覺。 MARKER有一個模塊可以同時控制幾個車輛。據報道，它使用算法和編程模塊來探測各種目標。 研究機構ARF（其開發者）指出，該武器系統給操作者一個目標指定，然后操作者可以批準交戰。 ARF補充說，"戰斗機器人的演變正走在提高自主模式下執行任務的能力的道路上，操作者的作用逐漸減少"。

MARKER是模塊化的，可以安裝卡拉什尼科夫生產的機槍、反坦克榴彈發射器、游蕩彈藥、電火箭，以及管狀發射和牽引式無人機。 據報道，該系統有一個模塊化的多光譜視覺和數據處理系統，具有神經網絡算法，以及 "二維和三維物體識別、語義分割、深度計算、自動自我定位、軌跡構建"。

據稱，俄羅斯已經測試了五臺Markers，作為一個沒有人類參與的自主團體運作。這些 "機器人在沒有人類參與的情況下，解決了在小組內分配目標的任務，達到最佳射擊位置，對戰斗形勢的操作變化作出獨立反應，并交換目標名稱"。MARKER還在沃斯托奇尼太空港進行了測試，在那里它與保安人員一起自主地巡邏周邊地區。在未來，開發人員計劃將其與無人機一起測試。

（7）KUB（游蕩彈藥）- 俄羅斯

KUB是卡拉什尼科夫公司和ZALA航空集團開發的一種游蕩彈藥。它可以從安裝在海軍平臺上的特殊發射器發射，如卡拉什尼科夫公司生產的BK-016型高速登陸艇。在未來，將開發一個甲板集裝箱發射器來發射KUB蜂群。 發射后，無人機可以在空中游蕩以探測目標，然后從垂直軌道上攻擊目標。這使得它可以攻擊坦克，從其 "裝甲保護最小 "的上方刺穿炮塔，也可以攻擊防空系統等其他目標。 目標坐標由操作者指定或從瞄準有效載荷中獲取。 據卡拉什尼科夫公司稱，操作人員還可以向控制系統上傳預定目標類型的圖像。 據報道，它有人工智能視覺識別功能，可以進行 "實時識別和分類檢測對象"。 它的目的是不被傳統雷達看到。

2021年，開發并測試了一個海軍版本，可以從高速船和特殊用途的船只上使用。

（8）KARGU（游蕩彈藥）- 土耳其

KARGU是一種多旋翼無人機，可用于了解情況，也可作為游蕩彈藥使用。該系統有一個便攜式移動地面控制站，允許用戶批準使用武力或中止任務。 開發商STM公司表示，他們認為 "從道德上講，應該有一個人參與到這個循環中"。 然而，這并不意味著KARGU在技術上不可能自主地對付一個目標。

STM公司一直在進一步開發KARGU的能力，據說包括面部識別，以及增加該系統可使用的有效載荷的多樣性。根據STM公司的說法，多達30個卡爾古裝置可以在一個蜂群中一起運作，同時由一個地面控制站控制。

Kargu于2020年被引入土耳其武裝部隊，并有報告稱將有更多的單位被交付。根據聯合國的一份報告，KARGU也被用于利比亞，在那里，"武器系統被編程為攻擊目標，不需要操作員和彈藥之間的數據連接"。 據報道，阿塞拜疆也使用了這種武器，但沒有得到證實。

（9）機器人戰車(UGV) - 美國

機器人戰車（RCV）是美國正在開發的一系列無人駕駛地面車輛。其目標是讓它們作為一個團體工作。輕型RCV（RCV-L）的重量不到10噸，其主要目的是偵察和信息收集。它有更多的傳感器和較少的重型武器（一枚反坦克制導導彈和一個無后坐力武器）。它的模塊化平甲板結構可以使用超過20種有效載荷。它的目標是主要與較小的和無裝甲的車輛作戰。 中型版本裝備了更多的裝甲和火力，以對付更廣泛的目標。中型RCV（RCV-M）將重約15噸，并將擁有更多的火力（幾枚反坦克引導導彈，一門30毫米大炮和一挺機槍）。在2020年的一次測試中，它安裝了Switchblade游蕩彈藥。 RCV-M比RCV-L更耐用。 RCV重型（RCV-H）將重達20-25噸。它仍在開發中，但打算擁有M1艾布拉姆斯坦克的火力和生存能力，同時重量要輕得多。它的目的是作為有人駕駛的坦克的伙伴單位。

RCVs將擁有自主導航和遙控武器。計劃為這些系統配備人工智能輔助探測和目標識別（AIDTR），以 "比人更快、更有效地探測和識別威脅車輛"。它必須能夠形成共同的作戰圖景，并 "分析威脅模式和習慣，并向指揮官提出建議"。 目前，每輛RCV由兩名操作員控制，一名為駕駛員，一名操作武器系統。 據報道，未來的意圖是一個操作員將控制幾個系統，他們只需要給予許可就可以與目標交戰。

Qinetiq公司正在建造RCV-L。德事隆公司正在其Ripsaw小型坦克的基礎上建造RCV-M。RCV-L和RCV-M已經進行了單獨測試。這兩個系統將在2022年參加載人-無人合作（MUM-T）士兵作戰實驗。

（10）Agile condor(電腦吊艙) - 美國

Agile condor不是一個武器系統，而是一個可以添加到MQ-9 "死神 "無人機上的使能技術。它是一個結合機器學習的機載高性能嵌入式計算機，用于自主融合和解釋傳感器數據，以識別、分類和 "提名"感興趣的目標。 傳感器數據來自MQ-9 "死神 "的傳感器，其中包括光電和紅外傳感器以及合成孔徑雷達。敏捷禿鷹 "吊艙由許多隔間組成，可以支持各種技術，包括商用單板計算機、圖形處理單元、固態硬盤存儲和更先進的芯片。 開發者設想了以人腦為模型的計算機技術的潛力（所謂的神經形態架構）。

板載處理減少了必要的通信帶寬，因為系統有可能只與其他平臺共享特定數據。 此外，機載視頻處理有助于減少分析和決策時間，當使用帶有攝像頭的無人機進行ISR時，這可能是一個很大的問題。越來越多的軍隊正在尋求使用機器學習來加快對這些數據的分析，正如在 "Maven項目 "中看到的那樣。敏捷禿鷹吊艙將把這種技術整合到平臺本身。它還可以使MQ-9在GPS和通信缺失的環境中更自主地運行，因為該技術還可以通過識別地標來進行導航，避免潛在的威脅。雖然沒有明確提到，但機載處理能力也可以讓它自主地探測、識別和攻擊目標。一個開發者的視頻說明了該系統通過使用面部識別來識別一個人類目標，并提醒地面上的操作人員，后者改變了經過該地點的車隊的路線。

第一個Agile Condor吊艙于2016年交付，2020年9月，Agile condor吊艙在一架MQ-9 Reaper無人機上進行了測試。

結論

本文強調了在其運作中具有 "自主性 "的十個系統。并不是說這十個系統比其他許多可能被指出的系統更有問題。之所以選擇這些例子，是因為它們指出了自動化能力被納入其中的系統的多樣性：能力的多樣性、運作的規模、運作環境和來源國的多樣性。

這些系統中的大多數在使用武力的時候都保留了人類決策的能力。在導言中對 "自主武器 "做了廣泛的定義，即探測目標并根據傳感器的輸入對其使用武力的系統。在這里看到的系統包含了自主性的一些方面，但根據這個定義，它們不一定是 "自主武器"。然而，它們中的許多可以被配置成這樣一種模式。這就提出了這樣的問題：隨著時間的延長和更廣泛的行動地理區域，將如何做出有意義的決定，即是否可以將某些模式的傳感器數據充分代表一個合法的目標。分析武器系統自主性增強的趨勢，可能有助于確定可能需要監管的領域，以確保遵守道德和法律規范。

科學和技術的進步越來越復雜和普遍。從智能手機到可穿戴健康監測器，再到用于游戲的虛擬現實頭盔，先進的技術正逐漸融入到日常生活中。但是，隨著科學技術越來越先進，我們在如何與新技術互動和使用這些技術在社會中如何發揮作用方面，也面臨著同樣復雜的倫理挑戰。無人駕駛汽車就是一個說明性的例子，它引發了一些倫理上的難題。例如，在無人駕駛汽車必須 "選擇 "撞上老人或小孩的情況下，哪種反應才是正確的？有沒有一個 "正確 "的反應？在這種情況下，人類司機會有正確的反應嗎？無人駕駛汽車是否應該轉彎以避免被駛來的卡車追尾，但這樣做會使一群過馬路的兒童面臨被卡車撞上的風險？ 這些問題的答案本來就不簡單。此外，不同的技術在不同的情況和背景下會帶來不同的倫理問題；事實上，新興技術的軍事用途會帶來一些獨特的倫理挑戰。

美國國防部高級研究計劃局幾十年來一直在資助軍事科技研究和開發，僅2015年的年度預算就達29億美元。盡管科技正在快速發展，為軍事問題穩步提供新興技術解決方案，但我們的監管政策卻滯后，導致我們對在戰場上使用特定技術的倫理、社會和法律后果的認識存在差距，這是許多人指出的問題。對軍隊來說，一些最深刻的倫理問題是由新興的人體強化技術和自主或機器人系統引起的。例如，一個強化的士兵是否會被視為比人類更多或更少的東西，從而受到對手的非人待遇？在海外戰區從國內操作無人駕駛飛行器（UAV）的士兵是否被認為是戰斗人員，因此在本土是公平的軍事目標？與民用技術一樣，新興技術的軍事用途所引起的許多倫理問題沒有明確的答案。無論如何，在一項新興技術被廣泛使用--民用或軍用--之前，開發者、利益相關者和政策制定者意識到與之相關的潛在倫理問題是至關重要的，這樣就可以通過修改技術或規范其使用的政策來緩解這些倫理問題。

確保潛在的倫理問題得到承認的方法之一是建立一個全面的框架，以方便識別在使用任何感興趣的特定技術時可能出現的倫理問題。有幾個現有的工具指導對新興技術的倫理評估，其中包括相關問題和考慮因素的清單。例如，Elin Palm和Sven Hansson提出了一個九項檢查清單，包括：信息的傳播和使用；控制、影響和權力；對社會接觸模式的影響；隱私；可持續性；人類生殖；性別、少數民族和正義；國際關系；以及對人類價值的影響。David Wright提出了一個框架，包括一些原則，在這些原則下列出了一些價值或問題，以及在評估過程中需要回答的問題：尊重自主權（自由權）；非惡意（避免傷害）；善意；正義；隱私和數據保護。Federica Lucivero、Tsjalling Swierstra和Marianne Boenink建議，倫理學家在考慮一項技術的合理性時應避免過多的猜測，而在考慮該技術將如何被社會看待并在社會中發揮作用時應使用更多的想象力。為了促進這一點，他們提出了三類考慮因素：技術可行性、社會可用性和技術的可取性。雖然這些倫理評估框架對確定與平民使用的新興技術相關的倫理問題很有用，但它們對評估軍事倫理是不夠的，因為軍事倫理有一些獨特的特點。

雖然軍事和民用倫理之間有一些共同的價值觀（例如，隱私和健康問題），但在新興技術的軍事使用方面也有特殊的考慮。例如，軍事行動必須遵守《武裝沖突法》(LOAC)，該法規定了戰爭手段并保護非戰斗人員和受沖突影響的平民。例如，加拿大武裝部隊（CAF）有一個《道德和價值觀準則》，其中規定了CAF成員必須遵守的價值觀，包括尊重加拿大法律和為加拿大服務高于自己，以及他們必須表現出的價值觀，如誠信和勇氣。

研究倫理原則對于確保包括士兵在內的人類研究對象在新技術的實驗測試階段得到道德對待至關重要。事實上，現代人類研究倫理原則是在軍事研究人員以研究名義進行的應受譴責的行為的歷史中產生的。當研究對象是軍人時，如果研究和軍事需要之間的界限變得模糊，就會出現挑戰，特別是在知情同意方面會出現復雜情況。但是，即使在設計和測試一項新技術時遵循了研究倫理原則，在使用該技術時仍可能出現倫理問題。有一些類似的倫理原則，如知情同意、隱私和保密性，在研究階段和隨后使用一項技術時都應考慮。

即使遵守了法律和法規，并考慮了其他倫理原則，如研究倫理原則，一項新技術仍不一定符合軍事用途的倫理，必須進一步考慮。例如，一項新技術是否會導致士兵之間的不平等，并導致部隊的凝聚力下降？如果一項新技術導致了意外的傷亡，誰來負責？一項技術是否會使士兵面臨被對手探測和攻擊的風險？ 在確定一項技術是否有任何軍事倫理問題時，有許多嚴重的問題需要反思。此外，還有人從反面考慮新技術和軍事倫理之間的關系，認為應該修改指導士兵行為的軍事倫理，以實現某些新興技術的潛在倫理優勢。

鑒于全面評估一項技術所需的軍事倫理考慮的數量，以及任何違反倫理的行為對戰斗的潛在嚴重性，迫切需要一個軍事專用的倫理評估工具。其他團體已經將各種倫理原則改編為討論倫理和軍事技術的框架。然而，據我們所知，還沒有一個實用的倫理評估工具，可以用來指導對軍隊感興趣的新興技術進行系統的倫理評估。

為了填補這一空白，我們創建了一個名為 "軍事倫理評估框架"（框架）的綜合框架，將相關社會、法律、研究和軍事倫理領域的廣泛考慮納入其中，以幫助用戶和決策者確定在軍事上使用人體強化技術可能產生的潛在倫理問題。盡管該框架的設計足夠廣泛，可用于對許多不同類型的新興技術進行倫理評估，但我們對該框架的初步測試側重于新興的人類增強技術，因為這些技術對軍隊有很大的意義，而且它們引起了許多倫理問題。未來的研究將檢驗該框架在識別軍隊可能感興趣的其他新興技術（如人工智能技術）所引起的倫理問題方面的效用。 本文的目的是介紹該框架，并通過展示它如何幫助識別與軍隊感興趣的兩種不同的人體增強技術有關的潛在倫理問題來說明該工具的使用。

目 錄

• 1.前言
• 2.介紹
• 3.人機接口和人類控制
  • 3.1 人類控制的實際措施和接口作用
  • 3.2 接口和自主性的架構
    • 3.2.1 態勢感知
    • 3.2.2 理解AWS狀態和行為
• 4.AWS的接口和人機交互
  • 4.1 認知參與的新性能需求和挑戰
  • 4.2 接口設計和使用環境
• 5.人機接口設計方法
  • 5.1 以人為本的設計
  • 5.2 以互動為中心的方法
• 6.培訓方面的挑戰
  • 6.1 了解自主級別和職能分配
  • 6.2 人類-人工智能團隊的培訓
• 7.AI的可解釋性和透明度
  • 7.1 XAI儀表板及其局限性
  • 7.2 XAI和自主武器系統
• 8.結論
  • 8.1 總體結論
  • 8.2 接口設計
  • 8.3 培訓
  • 8.4 Al的解釋性
• 9.政策建議

1. 前言

人類對自主武器系統（AWS）的控制一直是致命自主武器系統政府專家組（GGE on LAWS）討論的核心主題，該小組自2017年起在《特定常規武器公約》的框架下正式舉辦討論會議。

控制的含義和可操作性一直是專家組討論中最有爭議的話題之一。近年來出現了三種主要的控制方式，現在普遍被認為是對AWS施加了實際的限制：對武器參數的控制、對使用環境的控制、以及在使用過程中通過人機接口進行控制。

人機接口是操作者和AWS之間的物理聯系，在人類控制方面發揮著關鍵作用，其作用在致命性自主武器系統政府專家組會議和各種國家政策文件中都得到了強調。人機接口對于發展和保持對態勢認知以及控制系統的結構都很重要：允許操作人員監測一個系統，并在必要時停用或推翻。

本報告強調了接口在人類控制AWS中所起作用的幾個重要方面。它特別關注在此類系統中越來越頻繁地使用人工智能（AI）和機器學習（ML）技術所帶來現有和預期挑戰。報告在一些情況下引用了汽車行業自動化的例子，這些例子可以在可控性和系統設計方面提供重要的經驗。

本研究的主要結果和結論如下：

• 首先，重要的是將關于接口作用的討論置于自主系統中人機接口的背景下，這對人類操作者提出了重要的技能要求，而且還伴隨著固有的風險，如對技術的過度信任或不信任，而AI/ML的使用又進一步加劇了這種風險。

• 要讓接口成為有效的控制手段，它必須具有高度的可用性（意味著它必須可以讓用戶能夠實現按照既定方式向著目標進行設計和開發），而且操作人員必須接受充分的培訓以有效地使用它。隨著武器系統中AI和ML的引入，實現這些標準需要產生新的變化：隨著武器系統變得更加復雜（例如，在關鍵功能上被賦予更多的自主性），接口將變得更加復雜，對人類操作員的培訓要求也是如此。

• 最近在接口設計方面的研究表明，人們關注人類與人工智能之間的接口以及“人與人工智能的合作”，以及如何在設計過程中反映出來。支持這一觀點的是，隨著機器變得更加復雜，人機互動必須相應地發展。

• 在系統不斷學習的背景下進行人員培訓，促使人們需要額外的培訓課程和方法，以支持操作人員建立適當的系統心理模型，并校準信任和期望。

• 在依賴AI/ML的系統中，減輕信任和不可知性相關問題的一個方法是將人工智能中與可解釋性和透明度有關更多選擇嵌入到接口中，例如使用可視化技術（揭示人工智能的部分過程或結論的儀表板）。這些努力很重要，但其本身也給人機互動帶來了額外的復雜性，這可能會影響到人類的控制。

2. 介紹

人機接口是人類操作者和自主系統之間的物理紐帶，也是人類控制系統的一系列選擇中的一個關鍵因素。接口結合了硬件和軟件，可以包括一系列的組件，如帶有按鈕的物理控制面板、儀表板和觸摸屏。接口允許人類操作者監控一個過程（例如，導航），修改或配置控制設置，調整參數和命令，或手動改寫系統的操作。它們還可以顯示關鍵信息，讓操作者了解系統的狀態，在遠程操作系統的情況下，了解該系統運行的環境。

在致命性自主武器系統領域新興技術政府專家組（GGE on LAWS）審議人類對自主武器系統（AWS）的控制問題時，接口問題多次出現在該專家組的討論中。這可以被理解為接口很重要，因為它至少提供了兩種保持一定程度控制的關鍵手段：允許操作者監測系統的行為和行動，以及在系統未能按預期執行時停用或改寫它（例如通過手動控制）。然而，隨著系統變得更加自主，接口也變得更加復雜。

本報告分析了接口在行使人類控制方面的作用。它介紹了在AWS背景下互動設計和使用的幾個方面，并強調了隨著更多人工智能功能被納入武器系統而出現的重要趨勢。

一般來說，要讓接口成為有效的控制手段，它必須具有高度的可用性（這意味著它的設計和開發方式必須使用戶能夠實現他們的目標），而且操作人員必須接受充分的培訓以有效使用它。隨著自主性的增強以及AI和ML在武器系統中的使用，這些基本標準的實現變得更加復雜。隨著武器系統變得更加復雜，人機互動和接口設計的選擇也變得更加復雜，對人類操作員的培訓要求也是如此。

由于接口不能作為獨立功能進行討論，本報告將這一分析納入了更普遍的自主性和人機互動的背景中。武器系統中的自主性帶來的挑戰被編入接口設計和使用的所有方面，以及人員培訓要求中。

該報告首先概述了多邊和政策討論（包括 GGE on LAWS）中對 AWS 的人為控制特征，并對接口在人為控制中的作用進行了一般性介紹（第1節）。然后將接口作用的討論置于更普遍的人機互動背景下，強調了人類操作者表現的關鍵挑戰（第2節）。接下來的部分介紹了接口設計的主要方法。對各種方法的描述暗示了對人類控制的重要考慮：系統設計的發展是為了提高可用性，但AI/ML的引入也使支持人機接口的技術變得更加復雜（第3節）。除了系統設計之外，培訓是考慮人類控制的另一個關鍵因素。更多的自主性和更復雜的接口為人員和所有武裝部隊成員的培訓帶來了新的挑戰，特別是在AI/ML支持的系統方面（第4節）。處理人工智能系統的復雜性，并隨著時間的推移繼續學習和適應，是很困難的，這些系統缺乏可預測性和透明度，會影響對技術的信任和依賴。通過可解釋性和透明度的方法（“可解釋人工智能”，或“XAI”）來解決這種復雜性（例如通過可視化技術），是很重要的，但仍然存在局限性（第5節）。

3. 人機接口和人類控制

系統中的高度自主性可能會讓人聯想到獨自行動的機器，但在現實中，迄今為止沒有任何系統，無論多么自主，是完全獨立于某種形式的人類控制或監督之外。

人機接口一直是政府專家組討論致命性自主武器系統的一個核心主題。這一主題的重要性反映在專家組2019年協商一致通過的指導原則中，特別是原則C，其中指出：

• 人機接口可能采取各種形式，并在武器生命周期的各個階段實施，應確保基于新興技術的致命自主武器系統的潛在應用是符合國際法的，特別是國際人道主義法。在確定人機互動的質量和程度時，應考慮一系列因素，包括作戰環境，以及整個武器系統的特點和能力。

其中，人類控制作為一個關鍵概念出現，多年來一直是專家組辯論的核心。盡管在需要徹底禁止哪些能力方面存在許多分歧，但締約國之間達成了廣泛共識，即無論在任何一個武器系統都需要維持人類對自主武器系統一定程度的控制。

與戰爭中的自主性有關的幾個關鍵主題（例如，責任和問責，國際人道主義法的適用性）實際上屬于“人類控制”概念的范圍。這與民用領域使用人工智能、機器學習和機器人技術的發展相呼應，圍繞“可控性”的討論已占據中心位置，結合了“復雜的技術、人體工程學、法律、道德和組織因素”。

3.1 人類控制的實際措施和接口作用

在AWS背景下提煉人類控制的含義和參數一直是個挑戰，由于系統和作戰環境的不同而變得更加復雜。然而，已經提出的人類控制的一般有形措施包含了對系統設計和使用的考慮。這個控制分類法說明了行使人類控制的兩種不同但互補的模式，既通過武器系統本身的設計，其中包括硬件和軟件元素，也包括使用過程中的操作控制。

方框1. 人類對AWS控制的實際措施
2020年斯德哥爾摩國際和平研究所和紅十字國際委員會的報告《武器系統自主性的限制》提出了行使控制權的三項實際措施：1）控制武器參數（如目標類型）；2）控制使用環境（例如，將AWS的使用限制在特定地點/區域）；以及3）在使用期間通過人機互動進行控制（例如，保留監督AWS的能力）。在政府專家組關于致命性自主武器系統的討論中也有類似的分類，包括在2020年，主席的總結中列出了這三個相同的控制要素，作為進行進一步審議的基礎：各國應確保人類作戰員或指揮官對作戰環境作出判斷，包括通過對任務、目標概況、行動時限以及在某一地區和作戰環境中的行動范圍等方面的限制，適用于個類攻擊；換言之，適用于武器系統的限制、武器系統的使用參數以及人與武器系統之間的必要互動。

人機接口（HMI）的作用已多次被強調為對人類控制的實操化至關重要，人機接口跨越了系統設計和使用的兩個標準。

接口在遠程（有時是非常遙遠的）控制的無人系統操作中尤為重要，在這種情況下，系統控制的一個核心特征是操作者與機器的感知連接是由接口來調用的。

然而，作為人類和機器之間的紐帶，接口對于AWS的控制至關重要，它直接影響到系統的合法使用。雖然控制參數可以以多種方式進行，并“分布”在系統的設計中（例如，目標類型等），接口為操作者提供了監測系統的可能性，并在其他控制形式出現問題時或在地面情況發生變化并“使計劃假設失效”時進行干預。

3.2 接口和自主性的架構

在ISO標準ISO 9241-110:2020中，用戶接口被定義為“接口系統中為用戶提供信息和控制的所有組件的集合，以完成互動系統的特定任務”。

接口是人機系統的子系統，是“操作者與機器互動的窗口（包括比喻和字面意思）”。接口包括許多組件，根據系統的不同而不同，如輸入控制（例如按鈕和復選框）、導航組件、信息組件等。

一般來說，人機接口有利于輸入和輸出：輸入允許操作者向技術系統輸入信息，輸出表明輸入所產生的效果。例如，輸入-輸出循環可能尋找AWS的一種方式是，操作者通過界面菜單，在與目標交戰時向系統輸入某些坐標（輸入）。系統將通過提供它自己的坐標和評估作出反應，例如關于附帶損害或基于操作程序的其他反饋（輸出）。

3.2.1 態勢感知

人機接口在態勢感知（SA）的發展中發揮著重要作用，SA是人機接口的核心，尤其是在動態環境中。SA受到個人和組織因素（如壓力、工作量、任務轉換要求或團隊動態）以及系統因素的影響，如系統的機械性（如傳感器技術收集相關數據的能力）和系統接口。高質量的接口設計可以顯著改善SA。

足夠水平的SA也將幫助操作者意識到，例如，某種情況超出了自動化能力的范圍，或者系統自主表現不正確。

方框2. SA 級別 1-2-3
SA的標準概念包括三個級別。“在一定的時間和空間范圍內對環境中的元素的感知，對其意義的理解和對其在不久的將來的狀態的預測”：
第一級SA：對環境中各要素的感知：例如，對戰術指揮官來說，這意味著感知特定區域內敵軍和友軍的位置、類型和能力的基本數據。
第二級SA：對當前形勢的理解：例如，對于一個戰術指揮官來說，這意味著理解在一個地區內出現一定數量的敵機與他們的目標有什么關系或沖突。
第三級SA：對未來狀態的預測：例如，一個指揮官將能夠預測某架飛機目前存在的進攻行動將導致它以某種方式在某種區域進行攻擊。這可以決定實現目標的作戰行動方案。

3.2.2 理解AWS狀態和行為

接口對于代表自主系統控制的關鍵特征至關重要，包括系統的可觀察性、可預測性和可指導性。

• 可觀察性指的是觀察和監測系統狀態的能力。

• 可預測性指的是了解系統的行為方式的特性。

• 可指導性涉及影響系統的能力。

雖然技術文獻包括不同的控制要素分類，但可觀察性-可預測性-可指導性的目標綜合了AWS的自主能力和接口設計的基本要求。

4. AWS的接口和人機交互

接口不是一種獨立的能力，它在人類控制中的作用只能在人機接口的框架內理解。本節特別探討了在自動化和自主性的大背景下人類表現的迫切性，以及將接口的作用與使用環境聯系起來的重要性。

4.1 認知參與的新性能需求和挑戰

自主性的引入給性能要求帶來了重要的變化。開發有效的系統不僅是一個工程和技術進步的問題。相反，“......自主操作中最容易出現問題的方面是人的方面，或人機結合”。

即使人類操作者“僅僅”負責監督一個自主系統，他們也會面臨許多挑戰，這些挑戰可能來自于數據超載、系統不可理解、培訓不足、接口的設計沒有考慮到用戶的實際需求等等。

例如，在1988年的文森斯號事件中，伊朗航空公司655號航班的商業飛機被駐扎在軍艦上的宙斯盾作戰系統擊落，原因是一個設計不良的武器控制計算機接口導致飛機被錯誤地識別為一架戰斗機。信息顯示過于復雜和不充分，給控制人員的印象是客機正在向軍艦降落，而實際上它正在遠離軍艦。此外，對宙斯盾技術的過度自信最終導致了對系統的“過度信任”，以及未能對系統的識別進行質疑。

為了減少軍事環境中人機接口的一些風險，有人建議接口需要保持用戶的認知參與，這一點在致命性自主武器系統問題政府專家組會議上得到了一些代表團的支持。

在自主系統中保持人類的認知參與是一種挑戰，至少有兩個原因：

首先是，當被指派監督角色時，人類根本無法持續不斷地保持注意力，而期望操作員持續保持警惕并在適當的時候進行需要的干預，這是不合理的。將一個相當被動的角色委派給人類操作員會冒著讓他們脫離接觸的真正風險，這使得保持警覺變得困難。正如一位專家所解釋的，“在指揮和控制中心，往往什么都沒有發生，然后，突然發生了一些事情，你需要重新回到認知圈。無論接口有多好，都很難理出頭緒”。

有人提出了一些通過接口設計來保持較高警惕率的解決方案。英國國防部發展、概念和理論中心的一份報告提出，可以對接口進行優化以支持這一目標，包括要求操作者1）搜索確定的對象（這被證明可以提高認知參與度），以及2）探索感興趣的事物，如邊界或異常情況。

其他更小、更微妙的任務種類可以包括文本信息和提示操作員檢查系統狀態等功能。然而，保持警惕的最終答案是操作員參與有意義的任務，“而不是去后端”。

第二個原因可以用人機接口的固有挑戰來解釋，包括“自動化自滿”的挑戰，當某些任務被自動化轉移到其他任務時可能出現的注意力損失，或對系統的模糊或不準確的期望。其中一些挑戰來自于所謂的“自動化難題”。它認為人類警覺性的喪失與系統的自動化和可靠性的提高成正比。“一個系統的自動化程度越高，系統越可靠和強大，監督自動化的人類操作員就越不可能了解關鍵信息，并在需要時接管人工控制”。

當一個高度自動化和高度可靠的系統發生故障時，會給操作員帶來復雜的挑戰。因為高水平的自動化增加了對系統的依賴性，同時也增加了人工恢復失敗的可能性。這被描述為“伐木工效應”，暴露了高可靠性帶來的好處和隨之而來的故障成本的權衡，就像森林里的樹一樣：“它們越高，倒得越遠”。在自動化研究中，這種情況也作為技能退化的風險被討論了20多年，特別是那些在第一次故障前很長一段時間都能正常運行的高性能自動化系統。在這種情況下，操作員學會依賴系統，過度信任它，甚至變得自滿。信任的校準是指“一個人對自動化的信任和自動化的能力之間的對應關系”，可以表現為過度信任，或者信任不足。

此外，在使用人工智能的背景下，很難量化“人工智能系統適當校準和執行其預期功能的能力”。向人類-人工智能“團隊合作”的轉變，作為人類-人工智能合作的首選范式（在第5.2節和6.2節中闡述），以及人類和人工智能需要作為具有共同目標的隊友進行合作的概念，帶來了自己的一系列挑戰。

4.2 接口設計和使用環境

接口設計對其可用性至關重要，因為它“可以直接影響操作者完成任務的能力和愿望......了解當前情況，作出決定，以及監督和向機器系統提供高級命令”。例如，關于無人機控制偵察任務的研究表明，操作者希望“駕駛相機”，這意味著，與其把注意力放在控制飛行器及其系統上，操作者更希望能夠把攝像機放在它需要的地方以達到其任務目標。因此，設計方案集中在用戶界面上，以消除對滾動、俯仰和偏航的直接控制。

為AWS設計的一般原則已經在各種論壇上得到了討論。例如，美國國防部指令3000.09規定，“自主和半自主武器系統的人與機器之間接口應：a.對受過訓練的操作人員來說容易理解；b.對系統狀態提供可追蹤的反饋；c.為受過訓練的操作人員提供啟動和停用系統功能的明確程序”。

美國在致命性自主武器系統問題政府專家組會議上多次重申了這一建議。2019年政府專家組報告將“易于理解的人機接口和控制”列為可能的風險緩解措施，同時還有“嚴格的系統測試和評估”以及人員培訓等措施。

然而，大量關注使界面“清晰”或“容易理解”的做法，有可能被誤解為需要簡單化。這可能會把注意力轉移到微觀人機工程學上，或顯示系統中的顏色、字體大小等元素上，雖然這些元素很重要，但 “不是開始的地方”。作為一項規則，顯示功能需要關注對“任務相關信息”的控制，同時盡量減少“任務不相關信息”。然而，復雜系統中的意識生成并不限于來自屏幕的數據。許多認知系統工程專家對“通過‘適當的’系統和界面設計......可以將技術和戰術的復雜性降低到可管理的水平”的觀點提出異議，他們認為這種方法并沒有降低復雜性，而只是將其隱藏起來，不讓用戶看到。

這并不意味著解決方案停留在顯示的復雜性上，而是必須滿足系統接口設計的其他條件，才能使接口有利于提高人的表現和控制。

與AWS互動的一個基本要求是在使用前建立一個良好的系統心智模型（包括了解系統的自動化水平，以及它的行為是否適當，是否在預期的參數下執行），并了解系統的行為范圍，以及系統隨時間可能發生的變化，這是基于ML的系統的一個關鍵方面。這些要求必須反映在接口設計上，以及不同的培訓需求上。

5. 人機接口設計方法

本節概述了高度自動化和自主系統中的接口設計方法，從“以人為本的設計”開始，然后是“以接口為重點的”方法。隨著對人機合作或人-AI合作的討論增多，接口設計的選擇變得更加復雜。

人類系統整合（HSI）是一個起源于20世紀80年代中期的話題，涉及系統設計和實施中對人的考慮。它是一種“整體系統”方法，旨在實現跨系統的整合，包括人類、技術、操作環境以及這些元素之間的接口。如本節所示，AI和ML的引入（以及對人與人工智能合作的日益關注）揭示了傳統或認知性系統工程方法的局限性，以及它們無法解決新系統需要如何適應的問題。

5.1 以人為本的設計

對接口設計人員的兩個一般要求：

• 要了解各種任務和領域的機器操作員需要知道什么。

• 要確定如何以綜合方式展示信息，以支持態勢感知和決策。

將操作者需要知道的東西融入到流程中是以人為本的設計的基礎。這種范式出現在20世紀80年代，以解決以技術為中心的范式中的缺陷，這種范式在傳統上是標準的，它意味著接口首先反映的是創建系統的工程師認為必要的東西，或者他們認為相關的東西。

相比之下，以人為本的設計是一種系統設計和開發的方法，“旨在通過關注系統的使用，使接口式系統更加可用；應用人因學、人機工程學和可用性知識和技術”。以人為本的設計，無論它被概念化為以士兵、客戶或用戶為中心，都試圖“圍繞人的工作方式”來優化接口，而不是強迫人們改變他們的工作方式來適應系統。它將操作者視為“系統的一個組成部分，就像傳感器或底層代碼一樣”，其能力必須被納入設計。

在實踐中，以人為本的設計遵循一個迭代的過程，在開發界面之前就開始了，需要通過對系統的“增量開發和迭代完善”來整合設計和評估，基于輸入和反饋，了解用戶，從一開始就整合他們的觀點。在這個過程中，系統中可能會出現新的特性，或者人們會以不同的方式使用系統。這將影響到設計中的幾個選擇，包括操作者的認知負荷量，他們對系統的依賴，以及何時使用或何時關閉某些功能的選擇。總之，這是一個“基于證據的進化修飾”的過程。

隨著自主功能的增加，人們提出了以人為本的設計額外要求，以支持操作者對系統功能的理解。除了有效地提供決策所需的信息外，有人建議界面必須包括與自動化狀態有關的提示（包括模式和系統邊界條件），對模式轉換的支持（包括對過渡到手動控制的必要支持），以及提供系統運行可理解性和可預測性的系統透明度。

5.2 以互動為中心的方法

最近的智能系統設計方法，從2010年代開始，著重于設計過程是由人類和機器之間的相互作用和相互依賴所形成的，并對其做出反應。

嚴格來說，接口始終是設計過程的一部分，只是方式不同而已，而且以人為本的設計的基本原則并沒有被放棄。然而，在過去的十年中，研究更多的集中在捕捉人機接口的協作維度上，并且由于現在的技術能夠更快速的適應系統的學習。這種演變突出表現在一個新的認識上，即建立有效的自主系統依賴于成功的人-自主團隊或人-AI團隊的方法，隨著機器能力的擴大，人機接口能力也必須擴大。

例如，一種方法，即“合作設計”，評估了人類與機器人合作所帶來的設計影響，在這種情況下，人類和系統同時參與完成一項任務，系統需要被設計為支持協調、合作和團隊工作。這種設計方法將團隊合作視為一個涉及雙方（人類和人工智能系統）的過程，并以兩者之間的互動存在的相互依賴為前提。

其他人類-人工智能團隊的合作模式是以“動態任務分配”的形式提出的，這意味著風險最大、道德最突出的任務可以分配給人類，而其他決定則分配給智能體。這種方法要求解釋成為人與智能體合作的內在組成部分（見關于可解釋性的部分）和接口設計的一部分。

另一種被稱為“共同適應性引導”的方法也是基于類似的原則，即界面需要根據用戶的反饋進行調整，并校準認知的參與度、信任和隨時間變化的期望。這種方法考慮到了人與系統接口中的“三個移動部件”，即：1）人類操作者不斷變化的心智模型；2）地面上的事實也在變化；3）系統/AI模型本身也在變化。

這就要求接口能同步并表示系統的學習和適應。為了使這種接口有效，它還要求系統在能夠提示操作員干預的意義上變得更像智能體，例如在某些情況下向他們傳達“我需要輸入”或“我不知道”。支持這種方法的共同適應性學習，也意味著系統的用戶模型將指導它檢測不一致或矛盾的信號，從而發揮保障作用。例如，如果操作員突然被替換，系統可以被完全關停。

其中一些原則被應用于自動駕駛汽車行業，該行業的接口設計越來越多地被視為“共同創造的過程”，這意味著它希望整合駕駛員的偏好或引入糾正元素，例如提示年輕駕駛員更加注意。在自動駕駛汽車行業，用戶對接口的適應性被認為對該行業的未來和贏得對技術的更多信任非常重要，特別是在更高的自動化級別上。然而，自動化級別的提高將需要對駕駛員的數據進行權衡，包括更多的生物識別數據，因為“當你給予更多的控制和建立更多的信任，車輛需要了解你更多；現在你作為操作員需要被監控。”

在軍事領域，在接口設計中使用生物統計學和神經生理學數據并不是一個新的想法，盡管目前它在很大程度上仍是探索性的。例如，在空中交通管制中進行的模擬采用了眼動參數來了解認知需求以及不同類型的顯示（例如，雜亂的天氣顯示使飛行員提取相關數據的變得復雜）后認知工作量的波動。這樣一個循環將評估用戶的互動，并更新系統關于用戶的狀態和正在進行的認知負荷。

系統中需要更多“用戶狀態”數據的學術研究強調，隨著系統獲得更多的決策能力，人機合作取決于雙方的信任要素。在自主系統的背景下，信任的含義是指嵌入系統中的驗證機制。例如，這種機制將確保操作者的輸入是一致的，并且沒有受到壓力的影響。

最后，另一種設計方法包括沉浸式接口，近年來在各個領域都有研究，包括自動駕駛汽車和無人駕駛航空器。沉浸式和沉浸式技術是指模擬的、動態的、包括豐富的三維空間和高保真運動等元素的虛擬世界。

虛擬現實（VR）和增強現實（AR）系統已經被用于軍事訓練和創造模擬環境。然而，沉浸式接口將被用于任務執行，以促進協作行為（即人機協作）。

沉浸式，作為一種設計選擇，被認為是一種更自然的合作平臺，并被作為一種實用的工具來推廣，使物理世界和其鏡像的視覺呈現具有相同的維度。以前曾有人提出，通過接口創造的距離感引入了一種“道德緩沖”，使操作者能夠與他們的行為保持距離，并避免負面后果。

6. 培訓方面的挑戰

對AWS操作員的培訓是控制的一個重要因素。例如，在致命性自主武器系統政府專家組的審議中，控制的特點在于武器的整個生命周期，其中也包括培訓（見原文附件A）。

自主系統為人類操作者引入了新型的培訓要求，這取決于系統接口的屬性和復雜性。

首先，操作員需要更全面地了解系統，尤其是在系統功能范圍和人類與機器之間的功能分配方面。此外，在使用人工智能的自主系統背景下，由于系統的發展和不斷學習，培訓是具有挑戰性的。與靜態系統相比，訓練要求變得更加復雜。系統改變其內部模型的方式往往是不透明的，即使是其開發者也很難理解，而且很難提出一個操作員可以訓練的學習模型，因為系統在不同的環境（如訓練階段與操作環境）下會有不同的學習。

6.1 了解自主級別和職能分配

任務的分配以及感知/歸屬的自主級別和自主系統的實際能力水平之間的關系，對于校準對系統的信任和依賴至關重要。在自主車輛方面的初步研究揭示了關于自動化水平或模式之間過渡的內在風險，以及當人類操作員（在這種情況下，司機）沒有準確評估系統的限制會出現的意外情況。例如，在部分自動化系統和高度自動化系統之間，已經發現了一個特別脆弱的區域，當司機認為汽車比它在某一時刻更自動化時，就會導致撞車。

對一個系統的實際能力理解不足所帶來的挑戰也同樣出現在軍事領域，例如，2003年的愛國者自相殘殺事件，美國陸軍的愛國者導彈系統擊落了英國的“旋風”和美國海軍的F/A-18。該系統的顯示很混亂，有時還不正確。操作人員有10秒鐘的時間來否決計算機解決方案，并且缺乏“在一個高度復雜的例外管理制度中”的培訓。

美國陸軍研究實驗室的一位工程心理學家根據此類系統的經驗得出結論：“在培訓不足的船員手中的自動化系統實際上是一個完全自動化的系統”。不充分的培訓可能導致不正確的期望，無法應對系統故障，或無法推翻系統的行動方案，使其實際上“因疏忽而完全自主”。

自主系統方面的培訓必須側重于發展操作人員的專業知識。這包括定量和定性因素：

定性，更嚴格地關注系統心智模型的發展，并確保培訓不僅僅是“習慣轉移”（在使用新的接口時，這是一個常見的挑戰，因為操作者會傾向于參考舊的模型）。這包括理解，例如，自主功能的程度，系統從一個環境到另一個環境的變化，以及系統最脆弱的地方或其不確定性等變量。

定量，包括改變培訓的持續時間，或者改變更新培訓的間隔。

然而，重要的是要注意到，在監督角色方面的培訓仍然存在著人為的限制。在監督角色中保持警惕被認為是一項非常困難的任務。保持注意力是一個選擇和培訓的問題，現在眾所周知，有些人比其他人更善于保持警惕。然而，即使有適當的選擇過程和強制性培訓，在重復性或監督性任務中花費更多時間將導致錯誤率增加。保持操作員注意力集中的解決方案取決于更復雜的因素，包括對自主功能的逐步使用，這將使人類操作員更好地了解系統，學習何時和如何恢復到人工控制，并避免失去責任感。

6.2 人類-人工智能團隊的培訓

最后，在人類和人工智能系統之間相互依賴性增強的情況下，越來越多的研究強調，必須對培訓進行調整，以考慮到人類與人工智能的合作和團隊精神。

這是因為人們期望隨著武器系統自主水平的提高，人類和人工智能系統將作為一個綜合單位協調執行高復雜度的任務。在這種情況下，培訓不能僅限于知識的傳授，它將越來越多地涉及到共同培訓。這意味著雙方將作為“同伴”進行互動，各自貢獻自己的專業知識和采取行動的權力。在這種情況下，人類-人工智能培訓的目的將需要集中在一起工作和相互學習上。

與人與人的團隊訓練相比，這需要在訓練中進行兩個重大轉變：

感知上的變化，指的是偏見、信任和可驗證性（人工智能系統的固有挑戰）等問題，人類對人工智能系統的期望和要求，會導致對人工智能的負面偏見。

程序上的轉變，其中包括新的任務工作和團隊合作訓練方法，包括需要在現場和合成環境中設計適當的基于模擬的訓練。

這給人類操作員帶來了額外的要求，他們需要了解：1）他們的角色；2）人工智能系統；3）如何與人工智能系統/隊友互動；以及4）如何與其他人類隊友互動。

這一領域的研究還處于早期階段，一旦現有的團隊合作和培訓方法不能支持由于引入更多自主功能所帶來的全部復雜性時，對這一領域的研究將是至關重要的。

方框3. “人與人工智能的合作”、擬人化和指導原則
在技術文獻中使用諸如“同伴”或“團隊”等與人工智能系統有關的概念（這讓人聯想到擬人化），并不是將先天系統置于與人類同等的責任和法律責任上。相反，其目的是強調這樣一個事實，即隨著更多的自主性，在人與機器的互動中會出現更多的復雜性和相互依賴性，而共同訓練是了解系統、建立信任、實現有效的人與系統整合以及校準期望的唯一途徑。SIPRI/ICRC的報告《武器系統自主性的限制》指出，在戰略文件中堅持人機協作的概念表明，軍方希望確保人類繼續對AWS發揮代理和控制作用。然而，這可以說仍然是致命性自主武器系統政府專家組的考慮要點，它不提倡使用擬人化的語言（見指導原則的原則（i）），為基于致命性自主武器系統領域的新興技術的武器系統制定政策措施。即使技術界采用“團隊”等詞語作為隱喻（而不是將機構分配給自主系統），也必須考慮如何在技術上使用擬人化的語言，而不是以違反這一原則的方式進行解釋。
政府專家小組可以從進一步的闡述中受益。1. 是否需要根據技術學術中出現的人機互動的框架來進一步限定和闡述這一原則；以及2. 如何確保反擬態語言不被誤解，以及它不會使對法律責任和問責制的理解復雜化。

7. AI的可解釋性和透明度

智能系統的“黑盒”性質使與終端用戶的互動變得復雜，并可能導致不準確的心智模型，從而產生太少或太多的信任。近年來，使人工智能更加透明和可解釋的工作激增，因為人們逐漸認識到，人工智能的不透明性對系統及其決策機制的信任有負面影響。

嵌入在接口中的解釋系統理論上可以在使用 AWS 期間減輕其中一些風險，但現有可用方法存在許多挑戰（甚至潛在缺陷）。

可解釋的人工智能（XAI）是專注于理解和解釋人工智能系統（的行為）的領域。可解釋性與透明度不同，因為可解釋性以一種向后看的方式評估系統的過程，這意味著它在研究機器做了什么，并提供事后解釋。相比之下，顯示透明度提供對系統運行的實時理解。雖然在軍事作戰環境中，透明度可以說在支持實時決策方面更有價值，但可解釋性和透明度在建立安全區方面都很重要。在時間允許的情況下，可解釋性可以改善審查過程和系統的心理模型，這可以影響未來的SA。

方框4. 可解釋性（Explainability和Interpretability）
Explainability和Interpretability是非常密切相關的，而且經常交替使用，盡管這兩個概念是不同的。
Interpretability是指以人類可以理解的術語呈現輸出的能力。它指的是一個系統提供足夠數據的質量，以便人類能夠預測結果。
Explainability是指“機器學習系統內部的邏輯和機制”，以及用人類術語解釋這些機制的能力。
一個可解釋的模型意味著輸入-輸出關系可以被正式確定，但它不一定意味著人類可以理解其基本過程。這種微妙的區別反映了XAI研究中的一個問題，即可解釋的模型應該與人類的理解一致，還是與機器的模型一致。

方框5. LIME（當地可解釋的模型-預知的解釋）
LIME是黑盒系統中最流行的可解釋性技術之一。LIME通過擾動一個局部數據集（如調整數值）并觀察輸出如何變化來提供局部可解釋性。LIME的輸出是以解釋列表的形式出現的，反映了每個特征對預測的貢獻。

7.1 XAI儀表板及其局限性

XAI的大多數方法都集中在可視化技術上，通過界面（接口）和儀表盤來顯示AI過程的一部分。例如，解釋界面的范圍可以從對話框和顯示概率的餅圖形式的圖形表示，到用戶可以通過在幾個算法中選擇最佳算法與系統互動的交互式界面。可視化可以幫助促進對人工智能系統的更多信任，以及更多的人類代理。例如，研究表明，提供與系統的不確定性有關的信息可以提高性能，包括人類接管系統的性能。

方框6. XAI的標準
XAI的一個基本挑戰是，通常不清楚它所依據的“解釋”和“可解釋”的標準是什么。換句話說，一個系統的可解釋性是什么意思？解釋到底應該是關于什么的？或者評估一個解釋是否最佳或足夠滿意的基準是什么？評估XAI的測量標準是正在進行的研究的主題。測量標準的一些分組例子包括：
1.解釋的“好壞”，評估一個解釋的屬性和元素，使其成為一個好的解釋，它們應該是完整的、有邏輯的、漸進的、“非壓倒性的”等等。
2.性能改進，分析解釋在多大程度上使操作者在工作中使用人工智能來實現他們的目標或進行預測的測量。
3.對用戶的理解/系統的心智模型的影響。

雖然“XAI管道”包括大量的ML模型和可視化分析方法，但它們仍然呈現出高度的復雜性，這使得它們大多只能被ML專家所理解。XAI的其他限制包括：

信任不是一個單純的技術問題，它是一個動態的過程，可視化不能解決所有與信任有關的問題。

解釋可以加強有缺陷的心智模型，它們可以用細節壓倒人們，或者包括太多松散的東西，在可能需要進一步驗證的情況下，它們可以成為有說服力的工具（從而導致過度信任的情況），而且它們可以被不同的用戶得出不同解釋。

在作戰情況下，一些可解釋的工具事實上可能會增加高強度作戰負荷，例如當操作人員有有限的時間來審查系統的解釋時。

7.2 XAI和自主武器系統

雖然更透明和可解釋的系統應該比黑盒更受歡迎，但重要的是要記住，可解釋性并不是提高信任度的必勝法寶，實施不好的方法可能會產生反作用。就AWS而言，需要更多的研究來確定系統透明度的最佳方法和透明度信息的類型，包括跨類業務的信息。例如，當考慮到之前提出的一些方案時，這一點就變得很清楚了，這些方案將界面顯示元素，如概率百分比（例如，X是合法目標的87%的概率）給用戶，作為加強對系統信任的方法。事實上，這樣的方法會給人類操作者的決策過程增加更多的困難，而且除了“通過數字模仿與人類的關系”之外，沒有其他任何意義，無法讓操作者放心。87%的概率是否足以讓我們繼續和目標作戰？剩下的13%又意味著什么？此外，這些信息應該以“87%的確定性”還是“13%的不確定性”來表示？

在假設的完全透明和可解釋的人工智能背景下，也會出現其他的困境，這可能意味著現在出錯的責任完全落在人類操作員身上。這種情況有可能給人類操作者帶來不相稱的責任和義務，因為人工智能不能被追究責任，因為不存在這樣的機制。

XAI方法的未來發展雖然不是沒有前景，但需要精心設計并整合到系統中，以便有效地促進人機互動，從而增強人類的信任和人類的控制。

8. 結論

AWS中的人機接口對于行使人類控制權非常重要，但在為操作者提供有意義的控制可能性之前，在設計和使用方面存在重大挑戰和值得考慮的地方。

本報告對人機接口的幾個方面進行了解讀，同時在自主性和人機交互的背景下整合了討論。本報告采用了自主車輛行業的一些見解，在過去十年中，對可控性的考慮有了很大的進步。

8.1 總體結論

對作為 AWS 子系統的 HMI 的研究揭示了人類控制的復雜性——作為一種通過接口設計嵌入、通過培訓過程培養并通過特定技術屬性（例如 XAI）輔助（或妥協）的能力。

在武器系統中引入自主功能和人工智能，特別是機器學習，擴展了人機交互的選擇和模式；它使人機接口的設計和開發變得非常復雜，這意味著需要對人類操作員進行新型培訓。

8.2 接口設計

自 1950 年代以來，接口設計方法已經從以技術為中心演變為以用戶/人為中心，再到以交互/人- AI 團隊為中心，反映了自主和自主功能的擴展。

GGE on LAWS 從政策角度考慮這些范式的意義非常重要，因為它們超越了技術升級并反映了人機交互的更深層次的變化，對人類控制具有直接影響。

8.3 培訓

人工操作員的培訓是人工控制的一個重要因素，在AWS自主性背景下以及接口變得更加復雜的情況下帶來了新的挑戰。

培訓需要更清楚地了解AWS的限制、功能分配和系統故障，并且必須解決常見的行為因素（例如，自滿），同時保持對責任和問責制的清晰理解。

8.4 Al的解釋性

雖然被吹捧為通過引入更多的可理解性和可預測性可以作為減輕對技術的不信任風險的一種方式，但 XAI 仍然是自主系統固有的透明度和可解釋性問題的有限解決方案。UNIDIR未來的研究將更詳細地解決這一主題。

在努力提高人工智能系統的可解釋性和透明度時，必須適當考慮不同類別的行動、背景和用戶的軍事需求。這必須伴隨著對接口設計研究，以最佳方式呈現透明度信息和系統的漏洞，以校準期望值并增強對技術的信任。

9. 政策建議

本報告建議，致命性自主武器系統政府專家小組正在進行的和未來的工作應致力于：

對自主性背景下的人機互動問題，以及接口（界面）在人類控制中的作用進行徹底和細致的討論。這應包括智能系統背景下的接口設計和人員培訓、人工智能系統的可解釋性問題以及對技術的信任等相互關聯的方面。

更明確地闡述與人類控制有關的期望和目標，以指導人工智能系統接口的未來發展。專家組的討論有助于向技術界提出人類控制的問題，但還需要更多的闡述，以確保人類控制的含義得到更明確的界定，并與各種類型的武器系統和作戰環境相關。

討論人與人工智能合作對人類控制AWS的影響。“團隊”的隱喻并不表示人類和人工智能系統之間的地位平等，并堅持人類“仍然負責”；然而，它確實引發了關于人類控制意義的新問題。在探索這種模式的影響和挑戰時，技術專家的投入是必不可少的。

本文研究了人工智能（AI）在近期至中期內可能在核武器系統中的應用，并評估了其益處、風險和戰略穩定影響。分析表明，人工智能在核武器系統中的應用既不全是好事，也不全是壞事，需要根據具體的應用和地緣政治環境來考慮。然而，由于人工智能在核武器系統中的實施似乎是不可避免的，隨著技術的成熟和國際社會對戰略穩定影響的更好理解和討論，建議現在采取一些行動來實現利益和管理風險。

執行總結

在大多數擁有核武器的國家正在使其核武庫現代化或多樣化的時候，人工智能（AI）在軍事應用方面的重大技術進步表明，人工智能將不可避免地被探索用于核武器系統。然而，伴隨著巨大的利益，相關的風險和對戰略穩定的影響也隨之而來。

核指揮、控制和通信（NC3）以及自主核武器系統，兩個應用領域被認為最有可能在近期和中期內利用人工智能的進步。本文設想了人工智能在這兩個領域可以發揮的具體功能，并分析了潛在的積極和消極后果。

在NC3中，人工智能可被用于加強可靠的通信和預警系統，補充決策支持，或實現自動報復性發射。其影響有很大的不同。用人工智能加強通信可靠性和決策支持工具具有可識別的益處，風險相對較低，而且可能是穩定的，盡管它仍然需要更多的技術研究以降低風險，以及對穩定影響進行更深入的策略探索，以避免挑起軍備競賽。然而，人工智能應用于自動報復性發射是高度危險的，應予以避免。

對于自主核武器系統來說，人工智能與傳感器和其他技術都需要復雜的能力，如障礙物探測和機動性，自動目標識別，以及更遠的距離和徘徊能力。今天的技術和算法在可靠地識別物體、實時響應、在沒有GPS的情況下規劃和控制路線以及防御網絡攻擊方面面臨挑戰。鑒于技術的不成熟，完全自主的核武器系統是非常危險的。這些風險，加上這些武器可能造成的不穩定，表明在技術得到更好的理解和證明之前，禁止完全自主系統是有道理的。

對于每個擁有核武器的國家來說，人工智能的具體應用和納入時機將取決于生產或現代化的時間表、感知到的好處和需求、技術能力和投資水平，以及風險接受程度。為了鼓勵安全應用，并在人工智能逐漸被引入核武器系統時幫助盡量減少風險和對戰略穩定的負面影響，建議如下：

• 美國國家安全事務應優先考慮研究低技術風險的方法和人工智能在高后果應用中的故障安全協議。只要不危及國家安全，這些研究應公開發表。此外，應考慮與國際合作伙伴進行合作研究，并鼓勵其他擁有核武器的國家進行具有相同目的的研究。

• 擁有核武器的國家應該就人類操作者在核武器系統中的作用和禁止或限制在其核武器系統中使用人工智能的問題采取政策并發表聲明。

• 國際社會應增加關于在核武器系統中使用人工智能的影響的對話，包括人工智能如何影響戰略和危機穩定，并探索國際合作或制定國際規范、標準、限制或禁令可能有益的領域。

• 除了分析和建議之外，本文還對與核武器系統相關的人工智能技術進行了總結，為那些還不太了解人工智能的人提供背景。

引言

人工智能（AI）被廣泛認為是革命性變革的催化劑，其應用范圍包括金融、交通、醫療保健和戰爭等多個領域。在這些領域和其他領域，技術發展的速度既讓人對AI的益處充滿熱情，也讓人對可能出現的末日情景感到震驚。 新人工智能技術的快速發展和實施也迫使人們建立國家人工智能道德標準和政策，試圖實現不斷進步所帶來的好處，同時阻止負面的社會后果。人工智能的軍事應用正在引起人們的特別關注，一些國家已經開始公開討論這一領域的探索政策。同時，聯合國已經就戰場上的致命自主武器系統舉行了會談，約有30個締約國呼吁制定禁止這些系統的條約。

今天，人工智能的軍事應用包括情報收集和分析、后勤、網絡戰、信息戰、指揮和控制以及自主或半自主車輛。許多這些人工智能軍事應用旨在提高枯燥、臟亂或危險任務的效率。隨著人工智能的發展，其在軍事上的應用可以通過實現自主車輛群等概念來徹底改變戰爭。

由于人工智能有廣闊的應用領域，美國、俄羅斯和中國都認為人工智能的軍事潛力非常重要，這并不奇怪，盡管具體的優先事項有些不同。美國軍方看重人工智能以保持總體技術優勢。俄羅斯總統普京曾說，誰領導人工智能，誰就會 "成為世界的統治者"，他主張俄羅斯將人工智能用于自主機器人和車輛。中國軍方一直在追求人工智能提供的超越美國優勢的機會，并有一個通過廣泛的 "智能化 "戰爭和軍民融合來超越美國的戰略。俄羅斯和美國軍隊在區域軍事交戰中積極嘗試使用人工智能，而中國還沒有在戰場上使用人工智能。聯合國在2019年舉行的 "人工智能軍事化 "研討會上得出結論，人工智能軍事努力對國際和平與安全的影響仍不清楚，這種不確定性產生了恐懼，加劇了對風險的看法。

人工智能技術與軍事和商業應用有關，包括常規武器和核武器。由于潛在的后果很嚴重，人工智能在核武器系統中的應用似乎進展較慢，或者可能比其他軍事應用更隱蔽。然而，隨著人工智能的軍事應用與核武器系統的現代化和多樣化同步發展，人工智能應用于核武器系統的潛力可能會越來越大。

人工智能在商業和常規武器應用中的進步和成熟為核武器系統的潛在應用提供了啟示。需要仔細研究核武器系統的具體潛在應用，以了解其益處、風險和穩定性影響，從而指導未來的技術和政策考慮，并啟動有意義的國際對話。一些研究報告已經發表，概述了人工智能在核武器系統中的潛在應用，核威脅倡議協會（NTI）已經發表了一篇關于將數字技術，包括人工智能，納入美國核武器系統的安全和政策影響的論文。它為技術和政策界提供了建議，以便在進一步開發和實施人工智能在核武器系統中的應用之前加以考慮。

該文件分為三個部分：

• "與核武器系統應用相關的人工智能特征"描述了可能提供最大利益或引入最大風險的特征。

• "人工智能在核武器及其作戰系統中的應用"涉及人工智能在核武器系統中的潛在應用，是本文的核心。重點是在近期（0-5年）和中期（5-10年）可以想象的應用，特別是核指揮、控制和通信（NC3）和自主權。在與支持核企業相關的領域還有其他潛在的人工智能應用，包括戰爭游戲和規劃、物理安全、導彈防御以及核擴散和軍備控制協議監測。這些都被簡單地討論了，但不是本文的重點。

• "建議"確認了人工智能在核武器系統中的預期使用，以及保持低核風險和維持或加強核戰略穩定的愿望。

作者

吉爾-赫魯比于2018年11月至2019年11月在NTI擔任首屆山姆-納恩杰出研究員，并于2019年11月至2021年7月繼續作為杰出研究員在NTI兼職工作。2021年7月，她被確認為能源部負責核安全的副部長。2015年7月至2017年5月，赫魯比擔任桑迪亞國家實驗室主任，這是她在桑迪亞從事核武器、核不擴散、生物防御、國土安全和科技領域工作34年的巔峰之作。

這篇論文是在赫魯比擔任薩姆-納恩杰出研究員時發起的，并在她擔任杰出研究員期間完成。除了在NTI的工作之外，從2017年到她被確認為副部長之前，赫魯比在國家科學院國際安全和軍備控制委員會中做出了貢獻，包括主持研究 "核擴散和軍備控制監測、探測和核查。國家安全優先事項（臨時報告）"。此外，她還在多個委員會和咨詢委員會任職，是工程界女性的代言人。

赫魯比擁有普渡大學的學士學位和加州大學伯克利分校的碩士學位，均為機械工程專業。

M. Nina Miller在2019年夏季和秋季期間在NTI實習。她目前是麻省理工學院安全研究和國際關系專業的博士生。她的研究重點是安全、技術和政治心理學的交叉問題，包括戰略決策和自主武器。米勒擁有威廉瑪麗學院和圣安德魯斯大學聯合學位課程的國際關系文學士（國際榮譽）學位，她以一級榮譽的成績畢業。

摘要

拒絕和欺騙（D&D）技術利用錯誤信息和對手的認知偏差，長期以來一直是混合作戰的一部分。這種戰術給傳統上由人類分析員制作的情報、監視和偵察（ISR）產品帶來了不確定性和懷疑。在一個由人工智能（AI）擴散主導的未來戰斗空間中，算法生成的ISR產品數量可能會增加。因此，D&D戰術將越來越多地被顛覆人類而非機器推理的需要所驅動。對抗性機器學習（AML）的發展，即對欺騙性人工智能的研究，對未來混合作戰空間中的實踐狀態有重大影響。**本文回顧了對抗性機器學習技術之間的關鍵區別，以及它們對敵方對作戰人工智能的了解和訪問做出的假設。然后，我們總結了我們團隊最近與混合作戰有關的幾個對抗機器學習研究方向：對成像系統的物理對抗性攻擊，數據中毒攻擊，以及AML與設計強大的人工智能系統的相關性。

引言

混合戰爭指的是使用顛覆性的、非軍事的手段來推進民族國家的利益，特別是俄羅斯近年來采用的技術，在不訴諸公開的、常規的軍事行動的情況下占領領土并影響各國的政治和政策[1]。所采用的混合戰術包括網絡攻擊、動員智能體團體采取行動、施加經濟影響以及其他秘密措施。由于混合作戰存在于常規軍事沖突和平民生活之間的 "灰色地帶"，因此戰術上采用了拒絕和欺騙（D&D），通過利用民眾或敵對勢力的認知偏差來迷惑、威懾或影響理想的行為。D&D戰術在常規戰場上的歷史使用是有據可查的[3]。有效的D&D技術通過對依賴人類專家分析的軍事情報、監視和偵察（ISR）產品產生懷疑而獲得成功。在混合軍事行動中，情況不一定如此，在混合軍事行動中，D&D也可能試圖影響平民的看法。此外，隨著人工智能（AI）成為國家軍事投資戰略的重點（如[4]和[5]），以及商業信息技術部門越來越多地采用人工智能[6]，人工智能在未來的 "灰色地帶 "可能會無處不在。因此，我們必須考慮在未來由人工智能的使用主導的混合戰斗空間中可能存在的D&D威脅。

當前的人工智能能力是由機器學習的進步所帶來的，特別是在深度學習這個子領域，在過去的10年里。機器學習（ML）涉及將系統的輸入映射到預測結果的問題，例如，將車輛的圖像映射到一個類別的標簽。通常情況下，這是在大型數據集中通過統計模式識別實現的。深度學習具體涉及到多層神經網絡的使用，它是具有數百萬自由參數的高度非線性回歸模型，作為模式識別的統計模型。雖然深度網絡在各種任務上的表現優于人類（最著名的是圖像分類[7]），但在諸如[8]和[9]等作品中觀察到它們容易被愚弄之后，對抗性機器學習（AML）領域作為一個活躍的研究領域出現了。許多作者指出，ML算法所犯的錯誤可能會在民用領域產生嚴重后果[10]-[15]。我們也認為必須提出類似的擔憂，即軍事人工智能系統在常規戰場和混合戰斗空間中的脆弱性。

本文的其余部分組織如下：第2.0節將提供關于對抗性機器學習的進一步背景介紹，以及我們認為目前在解決其與混合軍事行動的相關性方面存在的差距。在第3.0節中，我們描述了約翰霍普金斯大學應用物理實驗室（JHU/APL）目前正在進行的三項研究工作，以解決這些知識差距。最后，我們在第4.0節中做了總結性發言，并總結了我們到目前為止的發現。

圖1. 使用深度學習模型將貓的圖像識別為 "鴕鳥 "的對抗性實例的例子

圖 6. AI 開發周期（圓形流程圖）和采用機器學習的典型算法步驟（橙色大框）。

新興軍事技術

國會議員和五角大樓官員越來越關注發展新興軍事技術，以加強美國的國家安全，并與美國的競爭對手保持同步。美國軍方長期以來一直依賴技術優勢來確保其在沖突中的主導地位，并保障美國的國家安全。然而，近年來，技術的迅速發展和迅速擴散，很大程度上是由于商業領域的進步。正如前國防部長查克·哈格爾(Chuck Hagel)所觀察到的，這種發展已經威脅到美國傳統的軍事優勢來源。美國國防部(DOD)已經采取了一系列措施來遏制這一趨勢。例如，2014年，國防部宣布了第三次抵消戰略，這是一項為軍事和安全目的以及相關戰略、戰術和作戰概念開發新興技術的努力。為了支持這一戰略，國防部建立了許多專注于國防創新的組織，包括國防創新單位和國防戰爭聯盟小組。

最近，2018年的國防戰略呼應了第三次抵消戰略的基礎，指出美國的國家安全可能會受到影響： 受到快速技術進步和戰爭性質變化的影響....新技術包括先進的計算、“大數據”分析、人工智能、自主、機器人、定向能源、超音速和生物技術——這些技術確保我們能夠在未來的戰爭中戰斗并贏得勝利。 美國是開發這些技術的領導者。然而，中國和俄羅斯這兩個關鍵的戰略競爭對手，在發展先進軍事技術方面正在穩步取得進展。隨著這些技術被整合到國外和國內的軍事力量中并部署，它們可能會對國際安全的未來產生重大影響，并將成為國會在資金和項目監督方面的一個重要焦點。

本報告概述了美國、中國和俄羅斯的一些新興軍事技術:

• 人工智能,
• 致命的自主武器，
• 超音速武器,
• 定向能武器，
• 生物技術,
• 量子技術。

它還討論了國際機構內監測或規范這些技術的相關倡議，考慮了新興軍事技術對戰爭的潛在影響，并為國會概述了相關問題。這些問題包括新興技術的資金水平和穩定性、新興技術的管理結構、與征聘和留住技術工作者有關的挑戰、迅速發展和兩用技術的采購過程、保護新興技術免受盜竊和征用，以及對新興技術的治理和監管。這些問題可能會影響到國會的授權、撥款、監督和條約的制定。