亮點

• 自主武器正在迅速擴散：在可及性、自主程度、國際開發者的范圍，以及它們在情報、偵察和致命打擊中的戰術作用。

• 自主系統仍然非常容易出錯，顯示出較差的穩健性、可解釋性和對抗性。

• 主要的軍事大國對條約提案投了棄權票，而其他國家和人道主義組織則迫切要求進行監管。

• 國際和美國的政策仍然模糊不清，缺乏現實的問責和執行機制。

摘要

本文調查了全球社會在致命武器系統自主性擴散方面所面臨的關鍵技術、人道主義和政治挑戰。本文的討論涉及具有不同類型自主性的武器系統，特別是致命性自主武器系統（LAWS）。"這些武器系統包括武裝無人機、車輛、潛水器、哨兵炮塔、導彈系統和其他人工智能（AI）的動態應用。本報告旨在總結來自公共領域的主要發展，沒有秘密信息。

我們首先討論了致命性自主武器系統的狀況，包括總體趨勢、致命性自主武器系統的時間表、自主程度、致命性自主武器系統中使用的一些技術的雙重用途、國際政治立場，以及可獲得性、可解釋性、問責制和執行所帶來的挑戰。接下來，我們將討論致命性自主武器系統的自主能力和情報方面的最新文獻，然后從美國國內和國際的角度討論自主武器政策。

全球趨勢

近年來，硬件方面的技術進步，從電子光學、紅外和聲納系統到合成孔徑雷達，以及人工智能/機器人方面的技術進步，從更好的三維和視覺感知到運動預測和規劃，使得自主系統得以迅速發展[2]。技術進步推動了成本的降低、更多的可及性、更少的人為錯誤和更快的反應時間；這擴大了情報、監視和偵察（ISR）、導航、探測等方面的使用機會。人工智能設備為無人車提供了更大的速度和在不需要數據鏈接的環境中運行的能力，例如在水下或靠近對手的干擾裝置，增加了超越敵方系統的機會[3]。最近的趨勢是有更多的國家參與積極的致命性自主武器系統的開發，包括越來越多的進攻性應用，定位為城市沖突而不是戰場，以及蜂群能力。此外，無人駕駛飛行器（UAVs）的能力在其部署時間、行動的地理區域、可識別物體的范圍和相互協調的能力方面都在擴大[2]。

國際辯論也相應地加強。國家通過聯合國，以及公民個人通過國際倡導團體，施加越來越大的壓力，要求制定具有法律約束力的國際條約來規范此類武器；然而，包括美國在內的最大的軍事行為體卻一再回避任何此類承諾。因此，具有越來越多自主功能的各種致命性自主武器的技術進步和軍事采用繼續向前發展。

致命武器系統的時間軸和實例。幾十年來，致命性自主武器系統一直在不斷發展。在之前的幾十年里，半自動地面環境（SAGE）防空系統搜索敵機，軍艦采用近程武器系統（CIWS）來自動探測、跟蹤和消除來襲導彈[4, 5]。也許人類干預自動化戰爭的最著名的例子是1983年由自動目標探測引發的蘇聯核假警報事件。當預警衛星錯誤地將高空云層識別為來自美國的洲際彈道導彈時，蘇聯防空部隊中校Stanislov Petrov選擇不援引蘇聯的強制核反擊政策。

20世紀80年代，第三代反坦克制導武器（ATGWs）的制造和發展，這種武器被設計成向上發射到空中，并將利用紅外線獨立獲取目標。歐洲的PARS 3 LR[6]和以色列的Spike[7]ATGWs是這種類型的歸航導彈的例子。美國和其他國家在2022年送給烏克蘭軍隊的現代 "標槍 "反坦克武器，包含了一個稱為電子安全武裝和發射（ESAF）的控制系統，在發射后將導彈引向目標[8]。

美國在自主武器領域一直是一個突出的創新者，在1970年代首次生產了名為Phalanx CWIS的目標跟蹤和獲取裝置[9]。在21世紀初，美國愛國者導彈計算機在兩個不同的場合錯誤地識別了友軍戰機，這導致了友軍開火和死亡[10]。有缺陷的程序沒有適當考慮到自動化錯誤。在過去的十年中，韓國和以色列已經建造了能夠完全自主地識別并向人類開火的哨兵槍[10]。

近年來，俄羅斯和以色列也開發了具有自主導航和瞄準能力的無人水面飛行器（USV），中國也開發了一種自主直升機[5, 11]。致命的無人機系統和游蕩彈藥的出現也許是最危險的致命性武器系統，現在已經廣泛發展，而且相對便宜和容易獲得[11]。以前用于偵察，這些航空系統被設計為自主巡邏區域，搜索敵方雷達、飛機或人員，并對其進行攔截，通常帶有內置彈頭。眾多的例子見表一。

2021年3月8日，利比亞問題專家小組向聯合國安全理事會提交了聯合國信函[S/2021/229][12]。根據該報告，2020年3月27日，哈利法-哈夫塔爾的部隊至少受到了一枚卡爾古-2型致命性武器的攻擊，記錄了第一起可能完全自主的致命性自主武器的開火和遺忘的使用。由于難以確認像這樣的武器是否真的自主行動，可能還有類似的攻擊，但公眾并不知道。

俄羅斯在2022年入侵烏克蘭時，廣泛使用了TB2（表一）和標槍反坦克武器。目前還不清楚TB2的自主起飛和巡航功能是否對戰爭起到了作用，但標槍導彈的 "發射-遺忘 "能力使小型反擊部隊能夠快速打擊并遠距離撤退[13]。

兩用技術。參考文獻[14]描述了人工智能的 "兩用困境"：同樣的技術既能提供關鍵的民用，也能提供軍事應用。自動駕駛汽車用來避開行人的同樣的視覺感知、人體識別和跟蹤工具，很容易被重新用于尋找和引爆軍事目標。

自主系統擴展了許多積極的好處，從清除地雷、供應有爭議的領土、識別和保護非戰斗人員，以及限制附帶損害。這些應用很少需要自動瞄準或發射。DART，動態分析和重新規劃工具，在沙漠風暴行動中使用人工智能來優化后勤和調度，據說已經抵消了之前30年DARPA對人工智能研究的所有資金支出[15]。再加上開放源碼的人工智能工具和技術越來越容易獲得，區分有害和有益的應用可能比核、化學或生物武器更具挑戰性。

關鍵點摘要

• 無人駕駛地面系統（UGSs）可以通過兩個主要特征來區分：（a）它們的尺寸和重量；（b）它們的運動類型。它們的范圍從小型的手持式模型到大型的坦克式模型，而其運動類型主要包括輪式、履帶式和腿式模型。這些特征對系統的能力有影響--如它最適合的地形類型、速度和攜帶大量有效載荷的能力--以及它最適合承擔的任務。總體而言，民用UGS往往比軍用UGS小。

• 由于UGS的機動性挑戰和對GNSS的依賴，影響了其在GNSS否認的環境中的操作能力，從而限制了其使用。因此，UGS對國際安全構成的威脅很少，特別是與它們的空中同類產品相比。然而，人們對在軍事領域開發和部署UGS的興趣越來越大，這可能在未來導致這些系統對國際安全構成更大的威脅。

• UGS面臨著一些技術挑戰，這些挑戰阻礙了它們的更大使用。正在進行的改進領域包括運動和推進，以改善其使用性和耐久性，以及傳感器、人工智能和計算能力，以實現導航的自主性。

在過去17年的反叛亂行動中，美國陸軍的許多師級情報分析員和設備都停留在靜態、集中的戰術行動中心，以促進對地面行動的情報支持。最近出版的《作戰手冊》（FM）3-0（2017年10月）將美國陸軍的重點從反叛亂轉向大規模的地面作戰行動。這些行動要求各師能夠建立多個前沿指揮所（CPs），這些指揮所能夠生存并能夠在退化和有爭議的領域促進任務指揮。為了支持大規模的戰斗，情報部門必須重新平衡人員、能力和設備，在一個師能夠建立的所有前線指揮所中，使該師的情報作戰功能具有生存能力。這需要將人員和情報專用設備從主指揮所和戰術指揮所調出，以支持支援區/早期進入指揮所和機動指揮組（如果指揮官需要）。為了考慮到美國同行威脅對手通過電子和網絡攻擊來爭奪美國陸軍進入空間領域的能力，這次重組還需要調整師級的通信計劃，以考慮模擬通信。

引言

“大規模作戰行動的流動性和混亂性將對情報作戰功能造成最大程度的混亂、摩擦和壓力。” - 美國陸軍學說出版物2-0《情報》

在過去的17年中，美國陸軍的情報機構主要是為支持伊拉克和阿富汗的反叛亂行動而運作。陸軍各師總共部署了20多次，以支持伊拉克自由行動（OIF）和持久自由行動（OEF）。這是響應國家號召，支持擊敗基地組織、敘利亞伊斯蘭國（ISIS）、利比亞伊斯蘭國（ISIL）和其他在中央司令部負責區域內活動的恐怖組織。每一次部署都由不同的作戰環境、獨特的任務以及不同程度的作戰成功和失敗所決定，但有一個共同點：師部的情報行動主要由分析員使用靜態、集中的戰術行動中心（TOC）中的設備進行。隨著陸軍為未來的作戰行動做準備，《作戰手冊》（FM）3-0（2017年10月）將重點從反叛亂轉移到準備在大規模作戰行動（LSCO）中與同行競爭者作戰。FM 3-0明確指出，師的主要作用是 "作為戰術總部指揮各旅進行決定性的行動"。這些行動要求各師能夠建立多個前沿指揮所（CPs），這些指揮所具有機動性、可生存性，并且能夠在退化和有爭議的領域內促進任務指揮。

在OIF和OEF期間，促成師級情報行動的一個關鍵能力是一個無爭議的空間領域。指揮官和下屬單位通過一個使用衛星的情報架構，在叛亂團體沒有能力影響的空間領域，收到近乎實時的情報收集、處理、利用和傳播。除了無爭議的通信網絡，叛亂分子的游擊戰術主要集中在東道國的政府設施和人口中心，這使得師部情報部門可以在大型前沿作戰基地（FOB）開展行動，而不需要對情報部門的生存能力和機動性作出重大規劃。師中央情報局沒有受到敵人的持續和直接攻擊的威脅。大規模的戰斗不會給情報部門帶來領域優勢或假定的生存能力。同行對手將在所有領域與美軍進行較量，甚至可能在某些領域長期保持優勢。FM2-0《情報》指出："部隊必須準備好對抗各種威脅、敵方陣型和未知因素的情報。"威脅的變化并沒有改變情報的作用，即提供 "及時、準確、相關和預測性的情報，以了解威脅的特征、目標和行動方案，從而成功執行進攻和防御任務。"然而，威脅的變化確實提高了對情報的期望。大規模的戰斗代表了情報行動執行方式的范式轉變。各師可能會在大的地理區域內建立多個不斷流動的中央情報局，以履行其任務指揮職責，而情報部門必須準備好支持他們。

美國陸軍理論討論了一個師能夠建立的五種類型的指揮所：主指揮所（MCP）、戰術指揮所（TAC）、機動指揮組、支援區指揮所（SACP）和早期進入指揮所（EECP）。每個指揮所執行不同的功能，從而使任務指揮更加有效。按照目前陸軍修訂的組織和裝備表（MTOE）的規定，師級情報部門只被授權在MCP和TAC中操作人員和裝備。不能假設在LSCO環境中不使用其他CPs。陸軍各師必須確保其情報部門的結構能夠在不斷受到攻擊威脅的多個中心點有效運作，需要有快速轉移的能力才能生存。

由于有爭議的空間領域，通信能力將受到限制，影響基于衛星的通信的可能性增加。目前的情報架構依靠衛星在下屬單位的信息收集器和師級中央情報局的分析小組之間傳輸關鍵情報。衛星可用性的喪失極大地影響了師部情報部門支持指揮官了解、可視化和描述敵人威脅的能力。用于建立師部情報架構的設備授權缺乏靈活性和冗余度，無法支持在衛星通信被拒絕的環境下執行的情報行動。

本專著探討了師級情報部門組織人員和情報架構的最佳方式，以便在大規模作戰行動（LSCO）期間，在加強機動性、生存能力和有爭議空間領域的環境中，在多個指揮所開展行動。為了支持多個指揮所的工作，師情報部門必須確保在不同的指揮所中，師情報部門的所有任務都是冗余的，這一點超出了修訂的組織和裝備表的授權。G-2總部、G-2X和分析與控制部門的精選士兵必須以機動的方式執行他們的任務。為了在被拒絕或有爭議的空間環境中行動，師情報部門應該建立主要的、備用的、應急的和緊急的通信計劃，其中包括一個模擬信使系統，以向其他師的CP和下屬單位傳播情報。在LSCO環境中，由于行動節奏的加快，特別是在進攻中，情報職能可能會被大大削弱。

師情報部門必須有適當的姿態來支持作戰層面上的LSCO。無論作戰環境如何，師的情報部門必須為指揮官、參謀部和下屬單位提供盡可能及時和準確的信息。此外，情報和行動之間的關系是相互的，"情報推動行動，行動促成情報"，在正確的地方沒有正確的情報人員和設備會降低組織的作戰效率。進一步的分析可以確定：1）目前授權給該師的情報人員和設備是否足以支持多個指揮所；2）提供關于G-2應該如何組織這些資產以支持大規模作戰行動中的任務指揮行動的建議。

為了找到支持性證據來檢驗這一假設，**本研究依賴于四個研究問題。首先，在大規模的作戰行動中，師級情報部門應該在哪些作戰環境中行動？第二，目前的師級情報部門是如何設計運作的？在支持LSCO行動要求的能力方面存在哪些差距？第三，在過去的LSCO環境中，單位不斷移動，通信網絡不像最近的反叛亂行動中那樣可以評估，情報部門是如何運作的？最后，根據目前部隊的最佳做法，G-2在其部門內部可以做些什么來更好地支持師級LSCO？**為了更好地闡明所討論的問題和本專論的內容，需要對幾個關鍵術語進行定義。機動性被定義為 "軍隊的一種質量或能力，它允許軍隊從一個地方移動到另一個地方，同時保持完成其主要任務的能力。"本專著討論了情報部門在執行其主要任務的同時進行生存性移動的能力。關于生存能力的討論涉及到 "保護人員、武器和物資，同時欺騙敵人的所有方面"。

第一節描述了情報部門應在哪些環境中行動，以及師部情報部門必須解決哪些問題以最好地支持LSCO。

第二節研究師級的情報行動。本節回顧了第二次世界大戰（WWII）期間的一次師級情報行動，這是美國陸軍部隊最后一次在沒有使用衛星來促進通信和情報收集的情況下進行LSCO。特別是第80步兵師在1944年和1945年在喬治-巴頓將軍的美國第三軍中橫跨法國北部作戰時的情報使用情況。這項研究確定了在情報部門組織和信息傳播方面的經驗教訓和最佳做法。此外，本專著還討論了一個師的情報部門最近的MTOE歷史，這些變化如何影響該部門支持LSCO的能力。

第三部分研究了G-2師目前是如何為LSCO進行訓練的，以便在大規模戰斗之前找出目前訓練趨勢所不能解決的能力差距。第三節還推薦了一個組織結構，使師級情報部門能夠更好地支持大規模的地面作戰行動，并使用基于理論要求的篩選標準來評估這一建議，以確保中央情報局的生存能力和完成師級情報行動的要求。

第四節提出了對大規模作戰中執行情報行動至關重要的關鍵見解。

小型無人駕駛飛機系統（sUAS）的指數式增長為美國防部帶來了新的風險。技術趨勢正極大地改變著小型無人機系統的合法應用，同時也使它們成為國家行為者、非國家行為者和犯罪分子手中日益強大的武器。如果被疏忽或魯莽的操作者控制，小型無人機系統也可能對美國防部在空中、陸地和海洋領域的行動構成危害。越來越多的 sUAS 將與美國防部飛機共享天空，此外美國對手可能在美國防部設施上空運行，在此環境下美國防部必須保護和保衛人員、設施和資產。

為了應對這一挑戰，美國防部最初強調部署和使用政府和商業建造的物資，以解決無人機系統帶來的直接風險；然而，這導致了許多非整合的、多余的解決方案。雖然最初的方法解決了近期的需求，但它也帶來了挑戰，使美國防部跟上不斷變化問題的能力變得復雜。為了應對這些挑戰，美國防部需要一個全局性的戰略來應對無人機系統的危害和威脅。

2019年11月，美國防部長指定陸軍部長（SECARMY）為國防部反小型無人機系統（C-sUAS，無人機1、2、3組）的執行機構（EA）。作為執行機構，SECARMY建立了C-sUAS聯合辦公室（JCO），該辦公室將領導、同步和指導C-sUAS活動，以促進整個部門的統一努力。

美國防部的C-sUAS戰略提供了一個框架，以解決國土、東道國和應急地點的sUAS從危險到威脅的全過程。國防部的利益相關者將合作實現三個戰略目標：（1）通過創新和合作加強聯合部隊，以保護國土、東道國和應急地點的國防部人員、資產和設施；（2）開發物資和非物資解決方案，以促進國防部任務的安全和可靠執行，并剝奪對手阻礙實現目標的能力；以及（3）建立和擴大美國與盟友和合作伙伴的關系，保護其在國內外的利益。

美國防部將通過重點關注三個方面的工作來實現這些目標：準備好部隊；保衛部隊；和建立團隊。為了準備好部隊，國防部將最大限度地提高現有的C-sUAS能力，并使用基于風險的方法來指導高效和快速地開發一套物質和非物質解決方案，以滿足新的需求。為了保衛部隊，國防部將協調以DOTMLPF-P考慮為基礎的聯合能力的交付，并同步發展作戰概念和理論。最后，作為全球首選的軍事伙伴，國防部將通過利用其現有的關系來建設團隊，建立新的伙伴關系，并擴大信息共享，以應對新的挑戰。

通過實施這一戰略，美國防部將成功地應對在美國本土、東道國和應急地點出現的無人機系統威脅所帶來的挑戰。在這些不同操作環境中的指揮官將擁有他們需要的解決方案，以保護國防部人員、設施、資產和任務免受當前和未來的無人機系統威脅。

目 錄

• 1.前言
• 2.介紹
• 3.人機接口和人類控制
  • 3.1 人類控制的實際措施和接口作用
  • 3.2 接口和自主性的架構
    • 3.2.1 態勢感知
    • 3.2.2 理解AWS狀態和行為
• 4.AWS的接口和人機交互
  • 4.1 認知參與的新性能需求和挑戰
  • 4.2 接口設計和使用環境
• 5.人機接口設計方法
  • 5.1 以人為本的設計
  • 5.2 以互動為中心的方法
• 6.培訓方面的挑戰
  • 6.1 了解自主級別和職能分配
  • 6.2 人類-人工智能團隊的培訓
• 7.AI的可解釋性和透明度
  • 7.1 XAI儀表板及其局限性
  • 7.2 XAI和自主武器系統
• 8.結論
  • 8.1 總體結論
  • 8.2 接口設計
  • 8.3 培訓
  • 8.4 Al的解釋性
• 9.政策建議

1. 前言

人類對自主武器系統（AWS）的控制一直是致命自主武器系統政府專家組（GGE on LAWS）討論的核心主題，該小組自2017年起在《特定常規武器公約》的框架下正式舉辦討論會議。

控制的含義和可操作性一直是專家組討論中最有爭議的話題之一。近年來出現了三種主要的控制方式，現在普遍被認為是對AWS施加了實際的限制：對武器參數的控制、對使用環境的控制、以及在使用過程中通過人機接口進行控制。

人機接口是操作者和AWS之間的物理聯系，在人類控制方面發揮著關鍵作用，其作用在致命性自主武器系統政府專家組會議和各種國家政策文件中都得到了強調。人機接口對于發展和保持對態勢認知以及控制系統的結構都很重要：允許操作人員監測一個系統，并在必要時停用或推翻。

本報告強調了接口在人類控制AWS中所起作用的幾個重要方面。它特別關注在此類系統中越來越頻繁地使用人工智能（AI）和機器學習（ML）技術所帶來現有和預期挑戰。報告在一些情況下引用了汽車行業自動化的例子，這些例子可以在可控性和系統設計方面提供重要的經驗。

本研究的主要結果和結論如下：

• 首先，重要的是將關于接口作用的討論置于自主系統中人機接口的背景下，這對人類操作者提出了重要的技能要求，而且還伴隨著固有的風險，如對技術的過度信任或不信任，而AI/ML的使用又進一步加劇了這種風險。

• 要讓接口成為有效的控制手段，它必須具有高度的可用性（意味著它必須可以讓用戶能夠實現按照既定方式向著目標進行設計和開發），而且操作人員必須接受充分的培訓以有效地使用它。隨著武器系統中AI和ML的引入，實現這些標準需要產生新的變化：隨著武器系統變得更加復雜（例如，在關鍵功能上被賦予更多的自主性），接口將變得更加復雜，對人類操作員的培訓要求也是如此。

• 最近在接口設計方面的研究表明，人們關注人類與人工智能之間的接口以及“人與人工智能的合作”，以及如何在設計過程中反映出來。支持這一觀點的是，隨著機器變得更加復雜，人機互動必須相應地發展。

• 在系統不斷學習的背景下進行人員培訓，促使人們需要額外的培訓課程和方法，以支持操作人員建立適當的系統心理模型，并校準信任和期望。

• 在依賴AI/ML的系統中，減輕信任和不可知性相關問題的一個方法是將人工智能中與可解釋性和透明度有關更多選擇嵌入到接口中，例如使用可視化技術（揭示人工智能的部分過程或結論的儀表板）。這些努力很重要，但其本身也給人機互動帶來了額外的復雜性，這可能會影響到人類的控制。

2. 介紹

人機接口是人類操作者和自主系統之間的物理紐帶，也是人類控制系統的一系列選擇中的一個關鍵因素。接口結合了硬件和軟件，可以包括一系列的組件，如帶有按鈕的物理控制面板、儀表板和觸摸屏。接口允許人類操作者監控一個過程（例如，導航），修改或配置控制設置，調整參數和命令，或手動改寫系統的操作。它們還可以顯示關鍵信息，讓操作者了解系統的狀態，在遠程操作系統的情況下，了解該系統運行的環境。

在致命性自主武器系統領域新興技術政府專家組（GGE on LAWS）審議人類對自主武器系統（AWS）的控制問題時，接口問題多次出現在該專家組的討論中。這可以被理解為接口很重要，因為它至少提供了兩種保持一定程度控制的關鍵手段：允許操作者監測系統的行為和行動，以及在系統未能按預期執行時停用或改寫它（例如通過手動控制）。然而，隨著系統變得更加自主，接口也變得更加復雜。

本報告分析了接口在行使人類控制方面的作用。它介紹了在AWS背景下互動設計和使用的幾個方面，并強調了隨著更多人工智能功能被納入武器系統而出現的重要趨勢。

一般來說，要讓接口成為有效的控制手段，它必須具有高度的可用性（這意味著它的設計和開發方式必須使用戶能夠實現他們的目標），而且操作人員必須接受充分的培訓以有效使用它。隨著自主性的增強以及AI和ML在武器系統中的使用，這些基本標準的實現變得更加復雜。隨著武器系統變得更加復雜，人機互動和接口設計的選擇也變得更加復雜，對人類操作員的培訓要求也是如此。

由于接口不能作為獨立功能進行討論，本報告將這一分析納入了更普遍的自主性和人機互動的背景中。武器系統中的自主性帶來的挑戰被編入接口設計和使用的所有方面，以及人員培訓要求中。

該報告首先概述了多邊和政策討論（包括 GGE on LAWS）中對 AWS 的人為控制特征，并對接口在人為控制中的作用進行了一般性介紹（第1節）。然后將接口作用的討論置于更普遍的人機互動背景下，強調了人類操作者表現的關鍵挑戰（第2節）。接下來的部分介紹了接口設計的主要方法。對各種方法的描述暗示了對人類控制的重要考慮：系統設計的發展是為了提高可用性，但AI/ML的引入也使支持人機接口的技術變得更加復雜（第3節）。除了系統設計之外，培訓是考慮人類控制的另一個關鍵因素。更多的自主性和更復雜的接口為人員和所有武裝部隊成員的培訓帶來了新的挑戰，特別是在AI/ML支持的系統方面（第4節）。處理人工智能系統的復雜性，并隨著時間的推移繼續學習和適應，是很困難的，這些系統缺乏可預測性和透明度，會影響對技術的信任和依賴。通過可解釋性和透明度的方法（“可解釋人工智能”，或“XAI”）來解決這種復雜性（例如通過可視化技術），是很重要的，但仍然存在局限性（第5節）。

3. 人機接口和人類控制

系統中的高度自主性可能會讓人聯想到獨自行動的機器，但在現實中，迄今為止沒有任何系統，無論多么自主，是完全獨立于某種形式的人類控制或監督之外。

人機接口一直是政府專家組討論致命性自主武器系統的一個核心主題。這一主題的重要性反映在專家組2019年協商一致通過的指導原則中，特別是原則C，其中指出：

• 人機接口可能采取各種形式，并在武器生命周期的各個階段實施，應確保基于新興技術的致命自主武器系統的潛在應用是符合國際法的，特別是國際人道主義法。在確定人機互動的質量和程度時，應考慮一系列因素，包括作戰環境，以及整個武器系統的特點和能力。

其中，人類控制作為一個關鍵概念出現，多年來一直是專家組辯論的核心。盡管在需要徹底禁止哪些能力方面存在許多分歧，但締約國之間達成了廣泛共識，即無論在任何一個武器系統都需要維持人類對自主武器系統一定程度的控制。

與戰爭中的自主性有關的幾個關鍵主題（例如，責任和問責，國際人道主義法的適用性）實際上屬于“人類控制”概念的范圍。這與民用領域使用人工智能、機器學習和機器人技術的發展相呼應，圍繞“可控性”的討論已占據中心位置，結合了“復雜的技術、人體工程學、法律、道德和組織因素”。

3.1 人類控制的實際措施和接口作用

在AWS背景下提煉人類控制的含義和參數一直是個挑戰，由于系統和作戰環境的不同而變得更加復雜。然而，已經提出的人類控制的一般有形措施包含了對系統設計和使用的考慮。這個控制分類法說明了行使人類控制的兩種不同但互補的模式，既通過武器系統本身的設計，其中包括硬件和軟件元素，也包括使用過程中的操作控制。

方框1. 人類對AWS控制的實際措施
2020年斯德哥爾摩國際和平研究所和紅十字國際委員會的報告《武器系統自主性的限制》提出了行使控制權的三項實際措施：1）控制武器參數（如目標類型）；2）控制使用環境（例如，將AWS的使用限制在特定地點/區域）；以及3）在使用期間通過人機互動進行控制（例如，保留監督AWS的能力）。在政府專家組關于致命性自主武器系統的討論中也有類似的分類，包括在2020年，主席的總結中列出了這三個相同的控制要素，作為進行進一步審議的基礎：各國應確保人類作戰員或指揮官對作戰環境作出判斷，包括通過對任務、目標概況、行動時限以及在某一地區和作戰環境中的行動范圍等方面的限制，適用于個類攻擊；換言之，適用于武器系統的限制、武器系統的使用參數以及人與武器系統之間的必要互動。

人機接口（HMI）的作用已多次被強調為對人類控制的實操化至關重要，人機接口跨越了系統設計和使用的兩個標準。

接口在遠程（有時是非常遙遠的）控制的無人系統操作中尤為重要，在這種情況下，系統控制的一個核心特征是操作者與機器的感知連接是由接口來調用的。

然而，作為人類和機器之間的紐帶，接口對于AWS的控制至關重要，它直接影響到系統的合法使用。雖然控制參數可以以多種方式進行，并“分布”在系統的設計中（例如，目標類型等），接口為操作者提供了監測系統的可能性，并在其他控制形式出現問題時或在地面情況發生變化并“使計劃假設失效”時進行干預。

3.2 接口和自主性的架構

在ISO標準ISO 9241-110:2020中，用戶接口被定義為“接口系統中為用戶提供信息和控制的所有組件的集合，以完成互動系統的特定任務”。

接口是人機系統的子系統，是“操作者與機器互動的窗口（包括比喻和字面意思）”。接口包括許多組件，根據系統的不同而不同，如輸入控制（例如按鈕和復選框）、導航組件、信息組件等。

一般來說，人機接口有利于輸入和輸出：輸入允許操作者向技術系統輸入信息，輸出表明輸入所產生的效果。例如，輸入-輸出循環可能尋找AWS的一種方式是，操作者通過界面菜單，在與目標交戰時向系統輸入某些坐標（輸入）。系統將通過提供它自己的坐標和評估作出反應，例如關于附帶損害或基于操作程序的其他反饋（輸出）。

3.2.1 態勢感知

人機接口在態勢感知（SA）的發展中發揮著重要作用，SA是人機接口的核心，尤其是在動態環境中。SA受到個人和組織因素（如壓力、工作量、任務轉換要求或團隊動態）以及系統因素的影響，如系統的機械性（如傳感器技術收集相關數據的能力）和系統接口。高質量的接口設計可以顯著改善SA。

足夠水平的SA也將幫助操作者意識到，例如，某種情況超出了自動化能力的范圍，或者系統自主表現不正確。

方框2. SA 級別 1-2-3
SA的標準概念包括三個級別。“在一定的時間和空間范圍內對環境中的元素的感知，對其意義的理解和對其在不久的將來的狀態的預測”：
第一級SA：對環境中各要素的感知：例如，對戰術指揮官來說，這意味著感知特定區域內敵軍和友軍的位置、類型和能力的基本數據。
第二級SA：對當前形勢的理解：例如，對于一個戰術指揮官來說，這意味著理解在一個地區內出現一定數量的敵機與他們的目標有什么關系或沖突。
第三級SA：對未來狀態的預測：例如，一個指揮官將能夠預測某架飛機目前存在的進攻行動將導致它以某種方式在某種區域進行攻擊。這可以決定實現目標的作戰行動方案。

3.2.2 理解AWS狀態和行為

接口對于代表自主系統控制的關鍵特征至關重要，包括系統的可觀察性、可預測性和可指導性。

• 可觀察性指的是觀察和監測系統狀態的能力。

• 可預測性指的是了解系統的行為方式的特性。

• 可指導性涉及影響系統的能力。

雖然技術文獻包括不同的控制要素分類，但可觀察性-可預測性-可指導性的目標綜合了AWS的自主能力和接口設計的基本要求。

4. AWS的接口和人機交互

接口不是一種獨立的能力，它在人類控制中的作用只能在人機接口的框架內理解。本節特別探討了在自動化和自主性的大背景下人類表現的迫切性，以及將接口的作用與使用環境聯系起來的重要性。

4.1 認知參與的新性能需求和挑戰

自主性的引入給性能要求帶來了重要的變化。開發有效的系統不僅是一個工程和技術進步的問題。相反，“......自主操作中最容易出現問題的方面是人的方面，或人機結合”。

即使人類操作者“僅僅”負責監督一個自主系統，他們也會面臨許多挑戰，這些挑戰可能來自于數據超載、系統不可理解、培訓不足、接口的設計沒有考慮到用戶的實際需求等等。

例如，在1988年的文森斯號事件中，伊朗航空公司655號航班的商業飛機被駐扎在軍艦上的宙斯盾作戰系統擊落，原因是一個設計不良的武器控制計算機接口導致飛機被錯誤地識別為一架戰斗機。信息顯示過于復雜和不充分，給控制人員的印象是客機正在向軍艦降落，而實際上它正在遠離軍艦。此外，對宙斯盾技術的過度自信最終導致了對系統的“過度信任”，以及未能對系統的識別進行質疑。

為了減少軍事環境中人機接口的一些風險，有人建議接口需要保持用戶的認知參與，這一點在致命性自主武器系統問題政府專家組會議上得到了一些代表團的支持。

在自主系統中保持人類的認知參與是一種挑戰，至少有兩個原因：

首先是，當被指派監督角色時，人類根本無法持續不斷地保持注意力，而期望操作員持續保持警惕并在適當的時候進行需要的干預，這是不合理的。將一個相當被動的角色委派給人類操作員會冒著讓他們脫離接觸的真正風險，這使得保持警覺變得困難。正如一位專家所解釋的，“在指揮和控制中心，往往什么都沒有發生，然后，突然發生了一些事情，你需要重新回到認知圈。無論接口有多好，都很難理出頭緒”。

有人提出了一些通過接口設計來保持較高警惕率的解決方案。英國國防部發展、概念和理論中心的一份報告提出，可以對接口進行優化以支持這一目標，包括要求操作者1）搜索確定的對象（這被證明可以提高認知參與度），以及2）探索感興趣的事物，如邊界或異常情況。

其他更小、更微妙的任務種類可以包括文本信息和提示操作員檢查系統狀態等功能。然而，保持警惕的最終答案是操作員參與有意義的任務，“而不是去后端”。

第二個原因可以用人機接口的固有挑戰來解釋，包括“自動化自滿”的挑戰，當某些任務被自動化轉移到其他任務時可能出現的注意力損失，或對系統的模糊或不準確的期望。其中一些挑戰來自于所謂的“自動化難題”。它認為人類警覺性的喪失與系統的自動化和可靠性的提高成正比。“一個系統的自動化程度越高，系統越可靠和強大，監督自動化的人類操作員就越不可能了解關鍵信息，并在需要時接管人工控制”。

當一個高度自動化和高度可靠的系統發生故障時，會給操作員帶來復雜的挑戰。因為高水平的自動化增加了對系統的依賴性，同時也增加了人工恢復失敗的可能性。這被描述為“伐木工效應”，暴露了高可靠性帶來的好處和隨之而來的故障成本的權衡，就像森林里的樹一樣：“它們越高，倒得越遠”。在自動化研究中，這種情況也作為技能退化的風險被討論了20多年，特別是那些在第一次故障前很長一段時間都能正常運行的高性能自動化系統。在這種情況下，操作員學會依賴系統，過度信任它，甚至變得自滿。信任的校準是指“一個人對自動化的信任和自動化的能力之間的對應關系”，可以表現為過度信任，或者信任不足。

此外，在使用人工智能的背景下，很難量化“人工智能系統適當校準和執行其預期功能的能力”。向人類-人工智能“團隊合作”的轉變，作為人類-人工智能合作的首選范式（在第5.2節和6.2節中闡述），以及人類和人工智能需要作為具有共同目標的隊友進行合作的概念，帶來了自己的一系列挑戰。

4.2 接口設計和使用環境

接口設計對其可用性至關重要，因為它“可以直接影響操作者完成任務的能力和愿望......了解當前情況，作出決定，以及監督和向機器系統提供高級命令”。例如，關于無人機控制偵察任務的研究表明，操作者希望“駕駛相機”，這意味著，與其把注意力放在控制飛行器及其系統上，操作者更希望能夠把攝像機放在它需要的地方以達到其任務目標。因此，設計方案集中在用戶界面上，以消除對滾動、俯仰和偏航的直接控制。

為AWS設計的一般原則已經在各種論壇上得到了討論。例如，美國國防部指令3000.09規定，“自主和半自主武器系統的人與機器之間接口應：a.對受過訓練的操作人員來說容易理解；b.對系統狀態提供可追蹤的反饋；c.為受過訓練的操作人員提供啟動和停用系統功能的明確程序”。

美國在致命性自主武器系統問題政府專家組會議上多次重申了這一建議。2019年政府專家組報告將“易于理解的人機接口和控制”列為可能的風險緩解措施，同時還有“嚴格的系統測試和評估”以及人員培訓等措施。

然而，大量關注使界面“清晰”或“容易理解”的做法，有可能被誤解為需要簡單化。這可能會把注意力轉移到微觀人機工程學上，或顯示系統中的顏色、字體大小等元素上，雖然這些元素很重要，但 “不是開始的地方”。作為一項規則，顯示功能需要關注對“任務相關信息”的控制，同時盡量減少“任務不相關信息”。然而，復雜系統中的意識生成并不限于來自屏幕的數據。許多認知系統工程專家對“通過‘適當的’系統和界面設計......可以將技術和戰術的復雜性降低到可管理的水平”的觀點提出異議，他們認為這種方法并沒有降低復雜性，而只是將其隱藏起來，不讓用戶看到。

這并不意味著解決方案停留在顯示的復雜性上，而是必須滿足系統接口設計的其他條件，才能使接口有利于提高人的表現和控制。

與AWS互動的一個基本要求是在使用前建立一個良好的系統心智模型（包括了解系統的自動化水平，以及它的行為是否適當，是否在預期的參數下執行），并了解系統的行為范圍，以及系統隨時間可能發生的變化，這是基于ML的系統的一個關鍵方面。這些要求必須反映在接口設計上，以及不同的培訓需求上。

5. 人機接口設計方法

本節概述了高度自動化和自主系統中的接口設計方法，從“以人為本的設計”開始，然后是“以接口為重點的”方法。隨著對人機合作或人-AI合作的討論增多，接口設計的選擇變得更加復雜。

人類系統整合（HSI）是一個起源于20世紀80年代中期的話題，涉及系統設計和實施中對人的考慮。它是一種“整體系統”方法，旨在實現跨系統的整合，包括人類、技術、操作環境以及這些元素之間的接口。如本節所示，AI和ML的引入（以及對人與人工智能合作的日益關注）揭示了傳統或認知性系統工程方法的局限性，以及它們無法解決新系統需要如何適應的問題。

5.1 以人為本的設計

對接口設計人員的兩個一般要求：

• 要了解各種任務和領域的機器操作員需要知道什么。

• 要確定如何以綜合方式展示信息，以支持態勢感知和決策。

將操作者需要知道的東西融入到流程中是以人為本的設計的基礎。這種范式出現在20世紀80年代，以解決以技術為中心的范式中的缺陷，這種范式在傳統上是標準的，它意味著接口首先反映的是創建系統的工程師認為必要的東西，或者他們認為相關的東西。

相比之下，以人為本的設計是一種系統設計和開發的方法，“旨在通過關注系統的使用，使接口式系統更加可用；應用人因學、人機工程學和可用性知識和技術”。以人為本的設計，無論它被概念化為以士兵、客戶或用戶為中心，都試圖“圍繞人的工作方式”來優化接口，而不是強迫人們改變他們的工作方式來適應系統。它將操作者視為“系統的一個組成部分，就像傳感器或底層代碼一樣”，其能力必須被納入設計。

在實踐中，以人為本的設計遵循一個迭代的過程，在開發界面之前就開始了，需要通過對系統的“增量開發和迭代完善”來整合設計和評估，基于輸入和反饋，了解用戶，從一開始就整合他們的觀點。在這個過程中，系統中可能會出現新的特性，或者人們會以不同的方式使用系統。這將影響到設計中的幾個選擇，包括操作者的認知負荷量，他們對系統的依賴，以及何時使用或何時關閉某些功能的選擇。總之，這是一個“基于證據的進化修飾”的過程。

隨著自主功能的增加，人們提出了以人為本的設計額外要求，以支持操作者對系統功能的理解。除了有效地提供決策所需的信息外，有人建議界面必須包括與自動化狀態有關的提示（包括模式和系統邊界條件），對模式轉換的支持（包括對過渡到手動控制的必要支持），以及提供系統運行可理解性和可預測性的系統透明度。

5.2 以互動為中心的方法

最近的智能系統設計方法，從2010年代開始，著重于設計過程是由人類和機器之間的相互作用和相互依賴所形成的，并對其做出反應。

嚴格來說，接口始終是設計過程的一部分，只是方式不同而已，而且以人為本的設計的基本原則并沒有被放棄。然而，在過去的十年中，研究更多的集中在捕捉人機接口的協作維度上，并且由于現在的技術能夠更快速的適應系統的學習。這種演變突出表現在一個新的認識上，即建立有效的自主系統依賴于成功的人-自主團隊或人-AI團隊的方法，隨著機器能力的擴大，人機接口能力也必須擴大。

例如，一種方法，即“合作設計”，評估了人類與機器人合作所帶來的設計影響，在這種情況下，人類和系統同時參與完成一項任務，系統需要被設計為支持協調、合作和團隊工作。這種設計方法將團隊合作視為一個涉及雙方（人類和人工智能系統）的過程，并以兩者之間的互動存在的相互依賴為前提。

其他人類-人工智能團隊的合作模式是以“動態任務分配”的形式提出的，這意味著風險最大、道德最突出的任務可以分配給人類，而其他決定則分配給智能體。這種方法要求解釋成為人與智能體合作的內在組成部分（見關于可解釋性的部分）和接口設計的一部分。

另一種被稱為“共同適應性引導”的方法也是基于類似的原則，即界面需要根據用戶的反饋進行調整，并校準認知的參與度、信任和隨時間變化的期望。這種方法考慮到了人與系統接口中的“三個移動部件”，即：1）人類操作者不斷變化的心智模型；2）地面上的事實也在變化；3）系統/AI模型本身也在變化。

這就要求接口能同步并表示系統的學習和適應。為了使這種接口有效，它還要求系統在能夠提示操作員干預的意義上變得更像智能體，例如在某些情況下向他們傳達“我需要輸入”或“我不知道”。支持這種方法的共同適應性學習，也意味著系統的用戶模型將指導它檢測不一致或矛盾的信號，從而發揮保障作用。例如，如果操作員突然被替換，系統可以被完全關停。

其中一些原則被應用于自動駕駛汽車行業，該行業的接口設計越來越多地被視為“共同創造的過程”，這意味著它希望整合駕駛員的偏好或引入糾正元素，例如提示年輕駕駛員更加注意。在自動駕駛汽車行業，用戶對接口的適應性被認為對該行業的未來和贏得對技術的更多信任非常重要，特別是在更高的自動化級別上。然而，自動化級別的提高將需要對駕駛員的數據進行權衡，包括更多的生物識別數據，因為“當你給予更多的控制和建立更多的信任，車輛需要了解你更多；現在你作為操作員需要被監控。”

在軍事領域，在接口設計中使用生物統計學和神經生理學數據并不是一個新的想法，盡管目前它在很大程度上仍是探索性的。例如，在空中交通管制中進行的模擬采用了眼動參數來了解認知需求以及不同類型的顯示（例如，雜亂的天氣顯示使飛行員提取相關數據的變得復雜）后認知工作量的波動。這樣一個循環將評估用戶的互動，并更新系統關于用戶的狀態和正在進行的認知負荷。

系統中需要更多“用戶狀態”數據的學術研究強調，隨著系統獲得更多的決策能力，人機合作取決于雙方的信任要素。在自主系統的背景下，信任的含義是指嵌入系統中的驗證機制。例如，這種機制將確保操作者的輸入是一致的，并且沒有受到壓力的影響。

最后，另一種設計方法包括沉浸式接口，近年來在各個領域都有研究，包括自動駕駛汽車和無人駕駛航空器。沉浸式和沉浸式技術是指模擬的、動態的、包括豐富的三維空間和高保真運動等元素的虛擬世界。

虛擬現實（VR）和增強現實（AR）系統已經被用于軍事訓練和創造模擬環境。然而，沉浸式接口將被用于任務執行，以促進協作行為（即人機協作）。

沉浸式，作為一種設計選擇，被認為是一種更自然的合作平臺，并被作為一種實用的工具來推廣，使物理世界和其鏡像的視覺呈現具有相同的維度。以前曾有人提出，通過接口創造的距離感引入了一種“道德緩沖”，使操作者能夠與他們的行為保持距離，并避免負面后果。

6. 培訓方面的挑戰

對AWS操作員的培訓是控制的一個重要因素。例如，在致命性自主武器系統政府專家組的審議中，控制的特點在于武器的整個生命周期，其中也包括培訓（見原文附件A）。

自主系統為人類操作者引入了新型的培訓要求，這取決于系統接口的屬性和復雜性。

首先，操作員需要更全面地了解系統，尤其是在系統功能范圍和人類與機器之間的功能分配方面。此外，在使用人工智能的自主系統背景下，由于系統的發展和不斷學習，培訓是具有挑戰性的。與靜態系統相比，訓練要求變得更加復雜。系統改變其內部模型的方式往往是不透明的，即使是其開發者也很難理解，而且很難提出一個操作員可以訓練的學習模型，因為系統在不同的環境（如訓練階段與操作環境）下會有不同的學習。

6.1 了解自主級別和職能分配

任務的分配以及感知/歸屬的自主級別和自主系統的實際能力水平之間的關系，對于校準對系統的信任和依賴至關重要。在自主車輛方面的初步研究揭示了關于自動化水平或模式之間過渡的內在風險，以及當人類操作員（在這種情況下，司機）沒有準確評估系統的限制會出現的意外情況。例如，在部分自動化系統和高度自動化系統之間，已經發現了一個特別脆弱的區域，當司機認為汽車比它在某一時刻更自動化時，就會導致撞車。

對一個系統的實際能力理解不足所帶來的挑戰也同樣出現在軍事領域，例如，2003年的愛國者自相殘殺事件，美國陸軍的愛國者導彈系統擊落了英國的“旋風”和美國海軍的F/A-18。該系統的顯示很混亂，有時還不正確。操作人員有10秒鐘的時間來否決計算機解決方案，并且缺乏“在一個高度復雜的例外管理制度中”的培訓。

美國陸軍研究實驗室的一位工程心理學家根據此類系統的經驗得出結論：“在培訓不足的船員手中的自動化系統實際上是一個完全自動化的系統”。不充分的培訓可能導致不正確的期望，無法應對系統故障，或無法推翻系統的行動方案，使其實際上“因疏忽而完全自主”。

自主系統方面的培訓必須側重于發展操作人員的專業知識。這包括定量和定性因素：

定性，更嚴格地關注系統心智模型的發展，并確保培訓不僅僅是“習慣轉移”（在使用新的接口時，這是一個常見的挑戰，因為操作者會傾向于參考舊的模型）。這包括理解，例如，自主功能的程度，系統從一個環境到另一個環境的變化，以及系統最脆弱的地方或其不確定性等變量。

定量，包括改變培訓的持續時間，或者改變更新培訓的間隔。

然而，重要的是要注意到，在監督角色方面的培訓仍然存在著人為的限制。在監督角色中保持警惕被認為是一項非常困難的任務。保持注意力是一個選擇和培訓的問題，現在眾所周知，有些人比其他人更善于保持警惕。然而，即使有適當的選擇過程和強制性培訓，在重復性或監督性任務中花費更多時間將導致錯誤率增加。保持操作員注意力集中的解決方案取決于更復雜的因素，包括對自主功能的逐步使用，這將使人類操作員更好地了解系統，學習何時和如何恢復到人工控制，并避免失去責任感。

6.2 人類-人工智能團隊的培訓

最后，在人類和人工智能系統之間相互依賴性增強的情況下，越來越多的研究強調，必須對培訓進行調整，以考慮到人類與人工智能的合作和團隊精神。

這是因為人們期望隨著武器系統自主水平的提高，人類和人工智能系統將作為一個綜合單位協調執行高復雜度的任務。在這種情況下，培訓不能僅限于知識的傳授，它將越來越多地涉及到共同培訓。這意味著雙方將作為“同伴”進行互動，各自貢獻自己的專業知識和采取行動的權力。在這種情況下，人類-人工智能培訓的目的將需要集中在一起工作和相互學習上。

與人與人的團隊訓練相比，這需要在訓練中進行兩個重大轉變：

感知上的變化，指的是偏見、信任和可驗證性（人工智能系統的固有挑戰）等問題，人類對人工智能系統的期望和要求，會導致對人工智能的負面偏見。

程序上的轉變，其中包括新的任務工作和團隊合作訓練方法，包括需要在現場和合成環境中設計適當的基于模擬的訓練。

這給人類操作員帶來了額外的要求，他們需要了解：1）他們的角色；2）人工智能系統；3）如何與人工智能系統/隊友互動；以及4）如何與其他人類隊友互動。

這一領域的研究還處于早期階段，一旦現有的團隊合作和培訓方法不能支持由于引入更多自主功能所帶來的全部復雜性時，對這一領域的研究將是至關重要的。

方框3. “人與人工智能的合作”、擬人化和指導原則
在技術文獻中使用諸如“同伴”或“團隊”等與人工智能系統有關的概念（這讓人聯想到擬人化），并不是將先天系統置于與人類同等的責任和法律責任上。相反，其目的是強調這樣一個事實，即隨著更多的自主性，在人與機器的互動中會出現更多的復雜性和相互依賴性，而共同訓練是了解系統、建立信任、實現有效的人與系統整合以及校準期望的唯一途徑。SIPRI/ICRC的報告《武器系統自主性的限制》指出，在戰略文件中堅持人機協作的概念表明，軍方希望確保人類繼續對AWS發揮代理和控制作用。然而，這可以說仍然是致命性自主武器系統政府專家組的考慮要點，它不提倡使用擬人化的語言（見指導原則的原則（i）），為基于致命性自主武器系統領域的新興技術的武器系統制定政策措施。即使技術界采用“團隊”等詞語作為隱喻（而不是將機構分配給自主系統），也必須考慮如何在技術上使用擬人化的語言，而不是以違反這一原則的方式進行解釋。
政府專家小組可以從進一步的闡述中受益。1. 是否需要根據技術學術中出現的人機互動的框架來進一步限定和闡述這一原則；以及2. 如何確保反擬態語言不被誤解，以及它不會使對法律責任和問責制的理解復雜化。

7. AI的可解釋性和透明度

智能系統的“黑盒”性質使與終端用戶的互動變得復雜，并可能導致不準確的心智模型，從而產生太少或太多的信任。近年來，使人工智能更加透明和可解釋的工作激增，因為人們逐漸認識到，人工智能的不透明性對系統及其決策機制的信任有負面影響。

嵌入在接口中的解釋系統理論上可以在使用 AWS 期間減輕其中一些風險，但現有可用方法存在許多挑戰（甚至潛在缺陷）。

可解釋的人工智能（XAI）是專注于理解和解釋人工智能系統（的行為）的領域。可解釋性與透明度不同，因為可解釋性以一種向后看的方式評估系統的過程，這意味著它在研究機器做了什么，并提供事后解釋。相比之下，顯示透明度提供對系統運行的實時理解。雖然在軍事作戰環境中，透明度可以說在支持實時決策方面更有價值，但可解釋性和透明度在建立安全區方面都很重要。在時間允許的情況下，可解釋性可以改善審查過程和系統的心理模型，這可以影響未來的SA。

方框4. 可解釋性（Explainability和Interpretability）
Explainability和Interpretability是非常密切相關的，而且經常交替使用，盡管這兩個概念是不同的。
Interpretability是指以人類可以理解的術語呈現輸出的能力。它指的是一個系統提供足夠數據的質量，以便人類能夠預測結果。
Explainability是指“機器學習系統內部的邏輯和機制”，以及用人類術語解釋這些機制的能力。
一個可解釋的模型意味著輸入-輸出關系可以被正式確定，但它不一定意味著人類可以理解其基本過程。這種微妙的區別反映了XAI研究中的一個問題，即可解釋的模型應該與人類的理解一致，還是與機器的模型一致。

方框5. LIME（當地可解釋的模型-預知的解釋）
LIME是黑盒系統中最流行的可解釋性技術之一。LIME通過擾動一個局部數據集（如調整數值）并觀察輸出如何變化來提供局部可解釋性。LIME的輸出是以解釋列表的形式出現的，反映了每個特征對預測的貢獻。

7.1 XAI儀表板及其局限性

XAI的大多數方法都集中在可視化技術上，通過界面（接口）和儀表盤來顯示AI過程的一部分。例如，解釋界面的范圍可以從對話框和顯示概率的餅圖形式的圖形表示，到用戶可以通過在幾個算法中選擇最佳算法與系統互動的交互式界面。可視化可以幫助促進對人工智能系統的更多信任，以及更多的人類代理。例如，研究表明，提供與系統的不確定性有關的信息可以提高性能，包括人類接管系統的性能。

方框6. XAI的標準
XAI的一個基本挑戰是，通常不清楚它所依據的“解釋”和“可解釋”的標準是什么。換句話說，一個系統的可解釋性是什么意思？解釋到底應該是關于什么的？或者評估一個解釋是否最佳或足夠滿意的基準是什么？評估XAI的測量標準是正在進行的研究的主題。測量標準的一些分組例子包括：
1.解釋的“好壞”，評估一個解釋的屬性和元素，使其成為一個好的解釋，它們應該是完整的、有邏輯的、漸進的、“非壓倒性的”等等。
2.性能改進，分析解釋在多大程度上使操作者在工作中使用人工智能來實現他們的目標或進行預測的測量。
3.對用戶的理解/系統的心智模型的影響。

雖然“XAI管道”包括大量的ML模型和可視化分析方法，但它們仍然呈現出高度的復雜性，這使得它們大多只能被ML專家所理解。XAI的其他限制包括：

信任不是一個單純的技術問題，它是一個動態的過程，可視化不能解決所有與信任有關的問題。

解釋可以加強有缺陷的心智模型，它們可以用細節壓倒人們，或者包括太多松散的東西，在可能需要進一步驗證的情況下，它們可以成為有說服力的工具（從而導致過度信任的情況），而且它們可以被不同的用戶得出不同解釋。

在作戰情況下，一些可解釋的工具事實上可能會增加高強度作戰負荷，例如當操作人員有有限的時間來審查系統的解釋時。

7.2 XAI和自主武器系統

雖然更透明和可解釋的系統應該比黑盒更受歡迎，但重要的是要記住，可解釋性并不是提高信任度的必勝法寶，實施不好的方法可能會產生反作用。就AWS而言，需要更多的研究來確定系統透明度的最佳方法和透明度信息的類型，包括跨類業務的信息。例如，當考慮到之前提出的一些方案時，這一點就變得很清楚了，這些方案將界面顯示元素，如概率百分比（例如，X是合法目標的87%的概率）給用戶，作為加強對系統信任的方法。事實上，這樣的方法會給人類操作者的決策過程增加更多的困難，而且除了“通過數字模仿與人類的關系”之外，沒有其他任何意義，無法讓操作者放心。87%的概率是否足以讓我們繼續和目標作戰？剩下的13%又意味著什么？此外，這些信息應該以“87%的確定性”還是“13%的不確定性”來表示？

在假設的完全透明和可解釋的人工智能背景下，也會出現其他的困境，這可能意味著現在出錯的責任完全落在人類操作員身上。這種情況有可能給人類操作者帶來不相稱的責任和義務，因為人工智能不能被追究責任，因為不存在這樣的機制。

XAI方法的未來發展雖然不是沒有前景，但需要精心設計并整合到系統中，以便有效地促進人機互動，從而增強人類的信任和人類的控制。

8. 結論

AWS中的人機接口對于行使人類控制權非常重要，但在為操作者提供有意義的控制可能性之前，在設計和使用方面存在重大挑戰和值得考慮的地方。

本報告對人機接口的幾個方面進行了解讀，同時在自主性和人機交互的背景下整合了討論。本報告采用了自主車輛行業的一些見解，在過去十年中，對可控性的考慮有了很大的進步。

8.1 總體結論

對作為 AWS 子系統的 HMI 的研究揭示了人類控制的復雜性——作為一種通過接口設計嵌入、通過培訓過程培養并通過特定技術屬性（例如 XAI）輔助（或妥協）的能力。

在武器系統中引入自主功能和人工智能，特別是機器學習，擴展了人機交互的選擇和模式；它使人機接口的設計和開發變得非常復雜，這意味著需要對人類操作員進行新型培訓。

8.2 接口設計

自 1950 年代以來，接口設計方法已經從以技術為中心演變為以用戶/人為中心，再到以交互/人- AI 團隊為中心，反映了自主和自主功能的擴展。

GGE on LAWS 從政策角度考慮這些范式的意義非常重要，因為它們超越了技術升級并反映了人機交互的更深層次的變化，對人類控制具有直接影響。

8.3 培訓

人工操作員的培訓是人工控制的一個重要因素，在AWS自主性背景下以及接口變得更加復雜的情況下帶來了新的挑戰。

培訓需要更清楚地了解AWS的限制、功能分配和系統故障，并且必須解決常見的行為因素（例如，自滿），同時保持對責任和問責制的清晰理解。

8.4 Al的解釋性

雖然被吹捧為通過引入更多的可理解性和可預測性可以作為減輕對技術的不信任風險的一種方式，但 XAI 仍然是自主系統固有的透明度和可解釋性問題的有限解決方案。UNIDIR未來的研究將更詳細地解決這一主題。

在努力提高人工智能系統的可解釋性和透明度時，必須適當考慮不同類別的行動、背景和用戶的軍事需求。這必須伴隨著對接口設計研究，以最佳方式呈現透明度信息和系統的漏洞，以校準期望值并增強對技術的信任。

9. 政策建議

本報告建議，致命性自主武器系統政府專家小組正在進行的和未來的工作應致力于：

對自主性背景下的人機互動問題，以及接口（界面）在人類控制中的作用進行徹底和細致的討論。這應包括智能系統背景下的接口設計和人員培訓、人工智能系統的可解釋性問題以及對技術的信任等相互關聯的方面。

更明確地闡述與人類控制有關的期望和目標，以指導人工智能系統接口的未來發展。專家組的討論有助于向技術界提出人類控制的問題，但還需要更多的闡述，以確保人類控制的含義得到更明確的界定，并與各種類型的武器系統和作戰環境相關。

討論人與人工智能合作對人類控制AWS的影響。“團隊”的隱喻并不表示人類和人工智能系統之間的地位平等，并堅持人類“仍然負責”；然而，它確實引發了關于人類控制意義的新問題。在探索這種模式的影響和挑戰時，技術專家的投入是必不可少的。

第一章 引言

在北約內部和成員國使用建模和仿真 (M&S) 對支持國防訓練、能力發展、任務演練和采購過程中的決策支持提出了越來越高的要求 [1]。因此，M&S 是聯盟及其國家的一項重要能力。然而，當前的 M&S 系統對高度動態的軍事作戰環境的代表性有限，其中物理環境的狀態會影響部隊的行為（例如，天氣對地面車輛機動性的影響）以及軍事物理（動能）行為會影響環境狀況（例如，彈藥對建筑物、基礎設施等的破壞）。目前在仿真系統中實現動態元素時，它們通常以定制和預先編寫好的方式執行，這限制了仿真互操作性的能力和范圍。

圖 1-1：任務期間遭遇的動態環境

?2016 年，北約 MSG 探索小組 ET-045“分布式仿真的動態合成自然環境”成立，以調查分布式仿真中相關動態合成環境的主題是否需要進一步研究。這確定了實現相關動態地形的主要挑戰 [2]。結論是存在許多與相關動態合成環境 (DSE) 相關的未解決問題，這些問題將限制未來北約分布式仿真的可用性。這些問題中的大多數都屬于技術性質，包括沒有開放標準或未經過驗證的方法來實現跨分布式 M&S整合天氣、天氣影響和物理（動力）戰爭對環境的影響。為響應 ET-045 的調查結果，一項為期 3 年的任務組 (TG) 技術活動提案 (TAP) 已提交給 2017 年春季的北約 MSG 商務會議，即MSG-156，于 2017 年 9 月開始。

1.1 定義

本報告包含由 ET-045 定義的幾個常用術語，即：

? 合成環境 (SE) 是代表物理世界的元素集合，系統的（模擬）模型在其中存在并相互作用（即地形、天氣、海洋、空間）。它包括表示環境的元素、它們對系統的影響，以及系統對環境變量影響的模型數據。

? 動態合成環境(DSE) 是一種在模擬過程中元素可以改變的SE，例如雨水對地形表面的影響。這可能是由于環境內的交互（例如，影響地形條件的天氣）、來自模擬實體的交互（例如，武器效果或單位挖掘）或由于外部交互（例如，教練驅動的變化）。

ET-045 和 MSG-156 并不認為 SNE 一詞涵蓋了 SE 中的所有環境方面，因為還存在需要表示的非自然元素。因此，MSG-156 TG 決定在本報告中采用 SE。在此之后，TG 已經意識到，在下一版 AMSP-01 [3] 中，SNE 一詞將被合成物理環境 (SPE) 取代，這樣可以更好地捕捉范圍。由于 MSG-156 已經使用 SE 一詞撰寫了幾篇出版物和大部分報告，因此決定在本報告中繼續使用 SE。

圖 3-9：DSE 的概念解決方案架構

1.2 目標

MSG-156 任務組 (TG) 的目標定義為：

1. 定義最佳實踐、所需方法、技術，并為在未來分布式仿真練習中實現相關動態 SE 所需的標準提供信息；

2. 通過概念實驗，評估方法和技術。

1.3 工作計劃

為實現上述目標，MSG-156 定義了一個工作計劃，其中包括以下活動（見圖 1-2）：

圖1-2：MSG-156工作計劃

a. 識別DSE要求：確定分布式仿真中 DSE 的功能要求，包括現實世界操作的哪些方面對于在仿真中表示至關重要；這將在第 2 章中討論。

b．調查現有解決方案：了解 DSE 的當前最先進技術，以確定需要解決的差距以實現相關 DSE；這將在第 2 章中進一步討論。

c．定義用例：確定相關的操作場景，作為評估支持 DSE 架構的方法和技術的基礎；這些用例將在第 3 章中進一步討論。

d. 定義解決方案概念：定義解決方案概念以在分布式仿真中實現相關 DSE。第 3 章介紹了一些相關動態效果的選定用例和概念圖，例如可通行性，小組將其用作開發解決方案概念的架構基礎。第 4 章和第 5 章更詳細地介紹了該小組討論的兩個主要主題，即動態地形和動態天氣，涵蓋相關的動態效果、數據源和現有標準。第 6 章將所有這些發現結合到 MSG-156 提出的 DSE 解決方案架構中。

e. 概念論證：對解決方案概念進行（部分）實施，使其可行性得到論證，并吸取實踐經驗，以及解決方案概念是否有效并滿足確定的要求，以及哪些領域需要進一步研究。第 7 章將更詳細地討論概念演示。

f. 撰寫技術報告：最后一項活動是撰寫這份報告，并將所有經驗教訓結合起來，為 M&S 社區提供實現相關 DSE 的建議；這包括確定合適的技術和方法，并就應制定的標準提出建議。

圖 3-5：地形和天氣對車輛通行性影響的概念模型圖

圖 3-6：由于武器效應引起的地形和物體變形的概念模型圖

圖 3-7：受天氣影響的飛行器飛行動力學概念建模圖

圖 3-8：受天氣影響的傳感器性能的概念建模圖

圖 8-1：動態綜合環境架構

執行總結

建模和仿真 (M&S) 的使用是北約聯盟及其伙伴國家在國防聯合、集體和聯盟訓練、能力發展、任務規劃和戰備以及決策支持方面的一項重要能力。防御作戰環境是高度動態的，其中物理環境狀態會影響部隊行為（例如，天氣對地面車輛機動性的影響），而物理（動力）作戰行為會影響環境狀態（例如，彈藥損壞建筑物、基礎設施等）。目前 M&S 的實踐、標準和技術主要是基于公共環境數據集和重復使用環境數據庫，在分布式仿真中實現外部世界環境的靜態表示。在當前仿真系統中表示動態元素的情況下，它們通常以預先編寫好的方式實現，并且特定于給定系統。這限制了分布式異構仿真系統的互操作性的能力和范圍，并影響了 M&S 在聯合訓練等應用中的使用，這需要對作戰環境進行通用和一致的表示，以確保公平的戰斗條件。

MSG-156 始于 2017 年，作為一個為期 3 年的任務組 (TG)，旨在解決代表 M&S 系統中現實世界操作環境挑戰的需求與現有技術能力之間的差距，目的是研究如何將相關聯的動態合成環境 (DSE) 可以在未來的分布式模擬中表示。 TG 由來自北約伙伴國政府、研究機構和行業的主題專家 (SME) 組成，包括模擬和合成環境 (SE) 的開發者（提供者）和消費者（用戶）。

MSG-156 TG 開展的研究活動將為北約 M&S 總體規劃的主要目標之一提供信息，即“為仿真應用和支持材料開發一個北約標準互操作性架構”。

在調查了仿真系統中動態環境的現有功能，并調查了仿真和娛樂游戲中最先進的技術和算法之后，TG 開發了基于用例的概念建模圖，以確定 DSE 環境中所需的關鍵交互。建模和仿真即服務 (MSaaS) 概念構成了 DSE 概念解決方案架構的基礎。TG 研究了動態地形和真實天氣的細節，以將概念方法改進為詳細的解決方案架構，允許跨異構分布式模擬系統一致表示動態合成環境。

該解決方案架構的關鍵概念是共同服務負責在模擬練習中管理和分發環境數據。這意味著 M&S 聯盟將使用 Terrain Service 來獲取有關地形的信息，并使用 Wea??ther Service 來獲取有關天氣的信息。通過讓一項服務負責管理這些數據，可以緩解許多相關問題。此外，當對操作環境的合成表示進行動態更改時，特定的專業服務負責執行修改，從而消除在每個單獨系統中本地實施此類修改時可能出現的相關問題。這些數據修改服務將其更改傳達給地形服務，允許所有聯邦成員從那里訪問更新的數據。

隨著 DSE 概念架構的開發，MSG-156 進行了概念驗證演示，使用該體系結構部署、集成和執行了聯邦模擬和服務，這些模擬和服務由參與國使用不同行業合作伙伴提供的工具和產品進行。盡管可用的聯邦模擬和服務的數量有限，但演示證明了解決方案架構是可行的，并且這種架構將有助于確保可以在分布式模擬中以一致的方式進行動態更改和表示。概念演示還有助于確定架構的哪些方面需要進一步研究以達到技術準備水平 (TRL) 以支持操作模擬練習。

由于時間和規模的限制，在提議的基于 MSaaS 的 DSE 架構中使用的技術目前還沒有被證明足夠成熟以實施到操作模擬系統中。因此，任務組建議應該進行更大規模的實驗，以評估解決方案架構在更真實的測試用例中服務受到壓力的環境中的執行情況。

DSE 架構依賴于不同服務之間的標準化接口。盡管其中一些接口已經成熟，例如用于分發地理信息的 OGC 接口，但作為未來開放標準的一部分，還需要考慮進一步開發其他接口。此外，應探索新格式的選項，以共享 3D 內容，支持將 3D 模型內容分發和流式傳輸到仿真系統，或在仿真執行期間對 3D 模型內容進行動態更改。

事實證明，獲取真實世界的天氣數據對 TG 來說是一個挑戰。無法免費獲得所需的更高分辨率數據，國家 MOD 和氣象局之間的現有合同不包括為研究項目提供此類數據。如果未來的模擬演習需要天氣數據，則需要將這一要求包含在現有的國家合同中，或者最好讓北約為所有參與者提供對此類數據的訪問。

建議將 MSG-156 的輸出提交給新的 SISO 研究組 (SG)，以評估和確定如何解決 DSE 的特定方面。這應包括審查現有的 SISO“環境數據和流程的重用和互操作 (RIEDP)”產品開發組 (PDG) 活動和“基于云的 M&S”(CBMS)，因為這些可能已經涵蓋了一些所需的標準。 MSG-156 的輸出還應用于為作為 NATO MSG-193 專家組“聯邦任務網絡 (FMN) 中的建模和模擬標準”的一部分開展的活動提供信息。

最后，建議北約和/或成員國應考慮提供和托管 DSE 所需的關鍵服務。提供地形服務、氣象服務和各種修改服務將顯著減輕建立由 DSE 支持的未來分布式模擬練習的負擔。

無人機行業現在正處于黃金時期，它的增長有望呈指數級增長盡管人道主義救援人員已經使用這種技術10年了，但市場的擴大和技術的發展正在推動越來越多的組織裝備這種設備。無人駕駛飛機(Unmanned Aerial Vehicles，簡稱UAVs)，也被稱為遠程駕駛飛機或“無人機”，是一種通過遠程控制或自主飛行的小型飛機。

這份報告關注的是非武裝民用無人機和無人機的使用情況。未來的報告可以探討無人水下航行器和地面無人機的影響和發展。2014年，人道主義協調廳在其人道主義應對政策文件中強調了無人機在人道主義行動中的不同用途，這表明無人機技術的使用越來越多。從理論上講，瑞士地雷行動基金會(Swiss Foundation for Mine action)在其報告《人道主義行動無人機(2016)4:測繪》中對無人機在人道主義行動中的應用進行了6類總結;向偏遠或難以到達的地點運送基本產品;搜索和救援(SAR);支持損害評估;提高態勢感知;監測變化(如城市和營地的增長、農業使用或道路或基礎設施的建設)。這份報告將揭示人工智能驅動的無人機是如何改進和修改這些用途的。

無人機的迅速采用可以通過現代無人機帶來的機遇和它們可以利用的日益增長的人工智能(AI)相關能力來解釋。一方面，它們的使用通過自治得到簡化和授權。另一方面，視覺分析性能的改進使得依賴于無人機圖像成為可能。這份報告旨在強調人工智能提高無人機能力的程度。

由于深度學習方法的普遍化，無人機可以進一步捕捉它們運行的環境，從而允許越來越復雜的任務。這項技術還可以顯著改善無人機的視覺識別和圖像分析。由于人工智能算法的使用需要較高的計算能力，因此它的應用往往發生在飛行后。這一表現將通過三個案例研究加以強調:

• 用于北加州野火應急響應的無人機(2018年11月)

• 聯合國兒童基金會在馬拉維使用無人機應對颶風“伊代”(2019年3月)

• 報告還探討了無人機未來的潛在功能。

無人機行業現在正處于黃金時期，它的增長有望呈指數級增長，盡管人道主義救援人員已經使用這種技術10年了，但市場的擴大和技術的發展正在推動越來越多的組織裝備這種設備。

無人駕駛飛行器 (UAV)，也稱為遙控飛機或“無人機”，是通過遙控或自主飛行的小型飛機。本報告重點關注非武裝民用無人機和無人機的使用。未來的報告可以探討無人水下航行器和地面無人機的影響和發展。

瑞士地雷行動基金會在其報告《人道主義行動中的無人機》（2016 年）4 中確定了六類無人機在人道主義行動中的用途：測繪；將基本產品運送到偏遠或難以到達的地點；搜救（SAR）；支持損害評估；提高態勢感知能力；監測變化（例如城市和營地的增長、農業使用或道路或基礎設施的建設）。這份報告將闡明人工智能驅動的無人機如何改進和修改這些用途。