這篇文章重點討論了戰時法原則在指導自主武器系統使用方面的必要性。在分析之初，先說明必要性原則包含正義戰爭理論中的最低限度的武力要求，然后強調現有的關于自主武器系統的工作中缺乏這一原則。忽視這一原則意味著忽視了戰斗人員在戰爭時期對彼此的義務。本文認為，最低限度的武力要求是考慮道德使用武力的一個重要條件。特別是，區分了使用武力的致命性和非致命性目的，并介紹了非致命性AWS的前景，然后回顧了AWS在非致命性使用方面所帶來的一些挑戰。這些挑戰出現在AWS產生不可預測的結果，影響了戰斗人員為確保其行動符合最低武力要求所需的態勢感知。最后，呼吁進一步研究AWS的非致命性使用的倫理影響，作為對評估AWS的道德可允許性的必要貢獻。

這篇文章回顧了機器人技術和 "無人駕駛 "或 "不載人"（有時是 "遙控"）系統在一些相關沖突環境中的軍事和安全用途，這反過來又提出了對外交和國內政策舉措有重大影響的法律和道德問題。本文處理方法適用于自主無人平臺在戰斗和低強度國際沖突中的使用，但也為美國國內越來越多地使用遙控和完全自主的無人駕駛航空、海洋和地面系統進行移民控制、邊境監視、毒品阻截和國內執法提供指導。本文概述了有關 "機器人道德 "和道德認知的計算模型的新辯論，并研究了這一辯論對未來可能被部署在國內和國際沖突情況下的自主系統（無論是武器化還是非武器化）的可靠性、安全性和有效性的影響。同樣，討論了國際機器人軍備控制委員會（ICRAC）試圖取締或禁止使用帶有致命武器的自主系統，以及耶魯大學知名倫理學家Wendell Wallach提出的另一項建議，即帶有致命武器的自主系統可能能夠獨立于任何人類監督做出目標決定，根據國際法特別指定為 "本身無效"。然而，按照Marchant等人的做法，本文總結了迄今為止在這場辯論中所吸取的教訓和達成臨時共識的領域，其形式為 "軟法（soft-law）"規則，反映了關于此類武器的適當使用和治理的新興規范和日益增長的國際共識。

新興技術正在給戰爭的特點帶來重大變化。其中一項新興技術，即自主武器系統（AWS），被證明對美國保持其對對手的技術優勢越來越重要。然而，自主武器系統帶來了越來越復雜的挑戰，需要在法律、道德和操作方面加以考慮。這篇論文提出了一個與當前美國防部AWS政策直接相關的問題：在未來AWS的使用過程中，人類操作員如何應用適當的判斷？論文以權力、責任和問責為分析框架，建立在美國關于武器系統自主性的政策和戰略、國際法考慮以及AWS在作戰環境中的應用之上。論文利用1988年美國海軍文森號事件和2003年伊拉克自由行動中愛國者自相殘殺事件的案例研究，考察了人類判斷如何與武器系統中的自主功能一起執行，為AWS的研究、開發和實施提供了經驗教訓。這篇論文發現了一些關鍵的想法，即通過繼續參與具體的監督措施，使人類操作員不至于失去控制--允許在使用過程中進行適當的判斷。

不斷發展的顛覆性技術被證明是軍事領域的游戲規則改變者，并正在改變戰爭的特征。新技術大大縮小了部隊與指揮和控制之間的空間、時間和信息差距。戰略和戰役層面的直接接觸戰正在逐漸成為過去。對敵人的遠程非接觸性影響成為實現戰斗和行動目標的主要方式。軍事機器人可以在所有的戰爭行動和所有的地形中發揮重要作用。世界上領先的軍隊正在開發機器人技術，使他們在戰場上獲得決定性的優勢。印度的對手正在開發這種技術，以便在未來的戰斗中充當力量倍增器。這項技術的發展對印度陸軍至關重要，因為它具有巨大的潛力，可以使地面上的士兵以更有效的方式執行其任務。它在巡邏、監視、掩蔽區的行動、探測和消除爆炸裝置、提高生存能力、后勤支持和軍事設施的安全方面的應用需要得到利用。完全自主的挑戰需要分析，但士兵與機器人的合作是一項可能的任務，特別是在印度的條件下。利用機器人技術將拯救寶貴的人類生命，但不一定能取代士兵，因為邊境的兩個戰線上都需要有地面部隊。為半自主士兵-機器人協作量身定做的解決方案值得關注，也是印度陸軍未來長期需求的必要條件。

中心思想

印度陸軍不可避免地需要分析和發展機器人能力，以便在戰場上為其提供決定性的優勢。本文分析了與該技術有關的各個方面，它的應用及它在各種地形中的應用，發展和應用中的挑戰，并為印度陸軍提供建設性的建議。

機器人軍事技術

機器人和人工智能（AI）是技術和認知智能的結合，用于模擬、處理信息和知識，在機器中建立模仿人類行為的能力。它是一種變革性的技術，在軍事領域有巨大的應用。軍用機器人是自主機器人或遙控移動機器人，設計用于監視、后勤、安全和攻擊性任務等軍事應用。這種軍用機器人是用若干代碼和算法組裝而成的。人工智能將在未來的戰爭中發揮更大的作用，使戰場機器人化，但并不完全否定人類參與的必要性。因此，人工智能、相關硬件、傳感器和控制機器人的綜合網絡構成了軍用機器人執行軍事任務的關鍵因素。根據要求，軍用機器人可以開發出不同的形狀和尺寸，它們可以是遠程控制的，也可以是完全自主的。根據應用，機器人可以被開發為攜帶不同類型的有效載荷。根據應用要求，傳感器、探測器、武器、編程軟件和其他有效載荷可以裝備在軍事用途的機器人上。 軍用機器人可大致分為無人駕駛航空器（UAV）、無人駕駛地面車輛（UGV）和水下無人駕駛車輛。這些可以進一步分為半自動和自動。 本文將主要關注陸地部分，該技術對印度士兵起到了促進作用和伙伴的重要性。

• 人工智能將在未來的戰爭中扮演更大的角色，使戰場自動化，但并不完全否定人類參與的需要

優勢

自主/半自主機器的創建不是為了成為 "真正的'道德'機器人"，而是為了遵守戰爭法則和交戰規則（ROE）。因此，影響人類士兵草率決定的疲勞、壓力、情緒、腎上腺素等都被去除；不會有個人所做的決定對戰場造成的影響。 軍事機器人可以不知疲倦地工作，減少人類的工作量，也減少戰場上的傷亡。它們是準確的，因此消除了人類的錯誤。使用機器人技術同樣能提高生產力，增強盈利能力。 這些機器可以在惡劣的天氣條件下，在核、生物、化學污染區等危險情況下工作。

全球趨勢

領先的發達國家正在開發能夠在有/無人類干預的情況下進行作戰行動的機器人。到2022年，美國的軍用機器人產業預計將達到308.3億美元，從2017年到2022年的年復合增長率為12.92%。 美國正在建立一個下一代作戰員，可以使用所有可用的數據來幫助決策，以減少風險，管理不確定性，并提高致命性。 被稱為 "超能作戰員"的機器人機器通過提供技術援助來縮短OODA環路內的時間，從而使美國特種作戰司令部（USSOCOM）的特種作戰人員具有認知上的優勢。

美國還開發了一些機器人系統，如FLIR系統公司的Centaur，一種遠程操作的中型無人地面車輛（UGV），為作戰人員提供了探測、確認、識別和處理諸如簡易爆炸裝置等危險材料的能力。 多用途戰術運輸車（MUTT）是一種跟隨士兵的UGV，在他們的路線上為他們攜帶裝備。MUTT也可以在戰場上運送受傷的士兵，以便其他士兵可以繼續他們的行動。遙控的MUTT可以在人類之前偵查一個地區，也可以用來發射武器。Themis"（履帶式混合模塊化步兵系統）是一種多功能UGV，旨在減少戰場上的部隊數量。該機器人有一個開放的架構，可以配備輕或重機槍、40毫米榴彈發射器、30毫米自動炮和反坦克導彈系統。它有一個自穩定的遙控武器系統，可以在大范圍內提供高精確度，也可以在白天和晚上發揮作用。Throwbot 2.0是Recon Robotics公司制造的可投擲機器人，僅重0.6公斤，可在室內和室外環境中發揮作用。這種軍用機器人實時傳遞情報和偵察信息。它是一個超輕量級的防水機器人，可以被扔到野外的任何地方，并被設計成可以在各種地形上爬行。

俄羅斯武裝部隊已經發展了UGV方面的專業知識，URAN6在敘利亞進行了嘗試和測試，Uran -9目前正在開發中，以支持步兵行動。他們經常對無人系統保持一種務實的態度，利用T-72（Shturm）和T-90（Prokhod）主戰坦克以及BMP-3（Vikhr）步兵戰車等舊平臺，將這些平臺轉換為可選擇的載人作戰系統，可以在無人模式下遠程操作。Uran-9的特點是 "一個遠程操作的炮塔，可安裝不同的輕型和中型口徑的武器和導彈。Sorantik正在開發的另一種UGV被指定用于偵察和火力支援任務，但也可以承擔掃雷和巡邏任務。該車可以在全自動模式下運行，但也可以由作戰員直接控制。

• 軍用機器人可以不知疲倦地工作，減少人類在戰場上的工作量和傷亡，同時消除決策中的人為錯誤

山地戰中部署

印度北方邊境的多山地形給武裝部隊帶來了巨大的挑戰。空中機器人平臺可以通過利用第三維度來提高對形勢的認識。可以獲得峰頂以外的實時信息，通過人工智能算法處理，無論是在無人機上還是在操作員端，都可以提供實時的目標情報。一系列微型到遠程的無人機現在正被各種軍隊用于監視。通過武裝UCAVs和游蕩彈藥，半自動的精確瞄準也是可行的。配備有合適的傳感器和攝像機的地面機器人可以執行不同的任務，移動機器人可以遠程操作進行偵察巡邏，并將視頻和圖像傳回給操作員。機器人實際上可以充當巡邏隊中領先的先遣偵察員的伙伴。配置一個機器人以登上和降低山地高度和障礙物是一個挑戰，可以通過改變設計使其更加靈活、堅固和使用更多的動力來克服。該系統必須被設計成既能克服樓梯等規則形狀的障礙物，又能克服巖石、倒下的樹木和其他雜物等不特定形狀的障礙物。"設計基準是能夠走上45度傾斜的平坦表面或不規則的障礙。有時要求高達50度或更陡峭"。

在被雪覆蓋的山區進行搜索和救援是另一個應用，軍隊中使用的機器人可以在拯救生命方面發揮關鍵作用。大多數傷亡是由于延遲向受害者提供必要的援助而發生的。許多國家正在大力投資，以最大限度地縮短反應時間，以挽救最大數量的生命。它們可以由士兵從一個指揮中心遠程操作。在某些情況下，它們甚至可以自主地工作。美國的Vecna技術公司正在開發戰場提取輔助機器人（BEAR），它可以從戰場上營救士兵而不危及人的生命。

印度軍隊在從連隊到更高的總部和彈藥到后勤基地的許多基地/地點駐扎。在這些邊境地區的安全和防御是一個挑戰，可以有效地開發機器人來保護這些基地的安全。美國已經開發了機器人狗，它是一種靈活的移動機器人，以前所未有的機動性瀏覽地形，使你能夠自動完成常規檢查任務和安全地捕獲數據，該系統已經部署在美國的各個基地。

在沙漠和半沙漠地形中利用機器人

沙漠/半沙漠地帶的行動通常以機動性為特點。機動性是贏得戰斗的一個決定性因素。UGVs在機械化戰爭中帶來了一場革命，提供了相應的機動性。半自動的UGVs可以幫助偵察部隊實現對局勢的了解，就像眼睛和耳朵一樣。除了可以在UGVs中內置大量的傳感器外，它們還可以發射無人機作為天空中的眼睛，也可以作為無線電通信的中繼。對己方和敵方機械化編隊的實時地理定位、圖像、坦克、物體的自主識別可以證明是一個游戲規則的改變者。需要開發一個UGV和半自主坦克的組合，它可以在進攻戰中穿透敵人的蓄意防御，通過建立一個機器人射擊陣地系統來支持戰術編隊的防御行動，為前進的單位和分隊提供火力掩護，并壓制敵人的武器系統。還可以開發機器人用于炮兵偵察和為地基火炮的發射提供服務。可以利用UGV進行工兵偵察、布雷、掃雷、在雷區和其他障礙物中清理出一條通道并支持其談判。他們還可以在敵人的火力影響區布置煙幕。最后，UGV可以在后勤方面發揮重要作用，作為移動后勤縱隊的一部分，還可以協助傷員撤離。

機器人是反恐行動的重要工具

機器人在全球反恐戰爭中發揮了重要作用，它們被用來探測和消除可能爆炸的可疑物體。機器人可以在近距離戰斗中充當領頭的偵察兵或進入者，它們不僅可以探測到威脅，還可以在最初的炮擊中首當其沖，然后將恐怖分子消滅。它們可以作為士兵的伙伴，在城市戰斗中發揮作用。偵察機器人也被稱為 "投擲機器人"，是 "小而輕的機器人，足夠堅固，可以通過窗戶或門縫投擲。該機器人配備了一個攝像頭，可以在不派人的情況下看到建筑物內的情況"。這些低端機器人可以很容易地被開發出來，以便在建筑物/房間干預之前立即了解情況。反簡易爆炸裝置機器人可用于識別和拆除封閉區域、建筑物、道路和車輛中的簡易爆炸裝置和其他危險物品。它們需要被整合到炸彈探測系統中。根據反簡易爆炸裝置的任務，它們可以攜帶各種有效載荷。

挑戰

• 印度的軍事技術發展系統以一種孤立的方式進行。這是能力發展的垂直領域內不信任的一個因素。這一挑戰需要得到解決。

• 根據分配的任務為前線部隊配備模塊化設備是一個挑戰。這些系統應該是多功能的、可互操作的，并且有能力整合到武裝部隊現有的和先進的結構中。

• 為系統開發綜合網絡，使其在各個層面上運行是另一個重大挑戰。

• 邊界沿線不同的地形和天氣條件要求不同的電力需求和高效的傳輸系統，以獲得更高的速度、靈活性、準確性、耐久性和堅固性。

• 與移動機器人平臺之間傳輸的數據，特別是視頻，其安全性至關重要，需要采取足夠的措施來建立安全的網絡和加密，并采取強有力的ECCM措施。

建議

• 印度陸軍的機器人系統需要圍繞七個主要技術/原則進行開發：算法、數據、軟件程序、綜合網絡、軍民合作、綜合研究與開發和強大的制造。

• 這些技術需要在一個屋檐下以綜合方法開發，作為政府的整體方法。

• 正如本文所建議的那樣，原型開發應該以部門（地形）為基礎，口號應該是小規模開始，快速測試和大規模。

• 研究和開發的預算應該是專用的和長期的，目的是針對中小微企業和私營企業。如果一個公司/行業的研究沒有資金，而且對產品沒有確定的需求，那么它就不會投資于技術。隧道的盡頭必須有光，才能讓印度的年輕人的思想繁榮起來。

結論

人工智能和機器人不再是小說或基于科幻的好萊塢電影的單純想象，它們現在是一個現實。勇敢的、英勇的血肉之軀的士兵需要與智能材料和更聰明的非人類士兵合作，他們不關心獎章、徽章或在調度中的提及。發達國家正在開發這種技術，它正在改變戰爭的特征。印度IT行業擁有巨大的領域知識，并被印度和國外的民用產業在多個領域利用。這種人才需要被利用來開發這種技術以促進國家安全。這項技術的發展對于提高印度軍隊的能力至關重要，需要采取措施來建設這些能力。

這篇短文分析了英國在最近兩份政策文件中提出的將人工智能（AI）用于軍事目的的方法。第一部分回顧并批評了英國防部于2022年6月發布的《國防人工智能戰略》，而第二部分則考慮了英國對 "負責任的"軍事人工智能能力的承諾，該承諾在與戰略文件同時發布的《雄心勃勃、安全、負責任》文件中提出。

建立自主武器系統所需的技術曾經是科幻小說的范疇，目前包括英國在內的許多國家都在開發。由于無人駕駛飛機技術的最新進展，第一批自主武器很可能是基于無人機的系統。

英國無人機戰爭組織認為，開發和部署具有人工智能功能的自主武器將產生一些嚴重的風險，主要是在戰場上喪失人的價值。賦予機器奪取生命的能力跨越了一個關鍵的道德和法律障礙。致命的自主無人機根本缺乏人類的判斷力和其他素質，而這些素質是在動態戰場上做出復雜的道德選擇、充分區分士兵和平民以及評估攻擊的相稱性所必需的。

在短期內，自主技術的軍事應用可能是在低風險領域，如物流和供應鏈，支持者認為這些領域有成本優勢，對戰斗情況的影響最小。這些系統可能會受到人類操作員的密切監督。從長遠來看，隨著技術的進步和人工智能變得更加復雜，自主技術越來越有可能成為武器，人類監督的程度可望下降。

真正的問題也許不是自主權的發展本身，而是人類控制和使用這一技術發展的里程碑的方式。自主性提出了與人類判斷、意圖和責任有關的廣泛的倫理、法律、道德和政治問題。這些問題在很大程度上仍未得到解決，因此，對于快速推進發展自主武器系統，人們應該深感不安。

盡管自主武器系統似乎不可避免，但有一系列的措施可以用來防止其發展，如建立國際條約和規范，制定建立信任措施，引入國際法律文書，以及采取單邊控制措施。英國無人機戰爭組織認為，英國應充分參與在國際舞臺上制定這些措施。

然而，在這個時候，政府似乎希望保持其選擇的開放性，經常爭辯說，它不希望創造可能阻礙人工智能和機器人技術的基本研究的障礙。盡管如此，大量受控技術，如加密，或在核、生物和化學科學領域，可用于民事或軍事目的，而且受控時不會扼殺基礎研究。

由于沒有足夠快地開發和部署人工智能（AI），美國在常規戰斗中面臨被超越的風險。對手，特別是中國，正在擁抱人工智能，并試圖利用所認為的美國弱點。中國計劃到2030年成為人工智能的世界領導者，并繼續在其民用和軍用部門大量投資于人工智能能力。使用致命性自主武器（LAWS）是不可避免的，并正在所有領域發展這種能力。人工智能是一種力量倍增器，但美國對在戰斗中使用致命性自主武器感到不安。中國和美國對未來的人工智能應用有著截然不同的戰略。為了使美國軍隊既能最大限度地發揮人工智能的全部潛力，又能維護國際法治，在未來的大規模沖突中，人-智能體（H-A）編隊合作是必不可少的。

為什么需要人類-智能體編隊?

雖然人工智能是一種力量倍增器，但美國的政策制定者和軍事指揮官目前對在未來的戰斗中使用致命性自主武器系統感到憂慮。如果一個或多個對手對美國或其盟國部署致命性自主武器系統，這一政策可能會引起爭論。解決這個問題的一個潛在辦法是將人工智能與人類對應方組合起來。人-智能體（H-A）團隊是一個網絡，其中智能系統（智能體）和人在一個小組內有效合作，通過加強彼此的強項和預測彼此的弱點來創造協同效應。團隊合作的特點和屬性因模型而異，但貫穿始終的一個概念是相互依賴的重要性。H-A團隊合作取決于人與人工智能系統之間的這種相互依存關系，才能取得成功。

DeepMind之前提到的AlphaGo是一個完美的例子，說明如何有效地將人工智能與人類同行配對。2017年，也就是AlphaGo第二次擊敗圍棋世界冠軍的那一年，兩名人類專業人士與人工智能系統結成了伙伴。在 "配對圍棋 "中，人類和AlphaGo交替下棋，每個人都必須學習和適應他們的隊友正在下的棋。這種耦合使人類能夠從他們的人工智能對手那里學習，成為更好的棋手。與AlphaGo配對的中國圍棋大師連笑解釋說："AlphaGo非常自信，他也給了我信心。他幫助我相信我應該掌好舵"。雖然人類在AlphaGo手中的失敗讓一些人感到失望，但這實際上是一種變相的祝福。H-A組隊有可能增強，甚至可能改善人類目前的能力。

本文將試圖回答美軍將如何利用人工智能和H-A團隊合作，為未來10到20年的大規模戰斗做準備。為了使美國軍隊既能最大限度地發揮人工智能的潛力，又能維護國際法治，H-A團隊合作在未來的沖突中是必不可少的。通過理論、歷史、條令、已完成的研究項目和潛在的未來情景，這項研究將有助于回答人工智能在美國軍事行動中的未來是什么樣子。證據將集中在利用自主武器系統（AWS）和人工智能的積極和消極方面。

本文還將探討H-A組隊的能力，以及當兩者結合在一起時，性能是否會提高。研究結果將解決 "終結者難題 "的可能性，特別是在自主機器提供明顯優勢的情況下是否使用它們。雖然這個話題相對較新，但有許多關于人工智能研究和在美國軍隊中使用的書籍、期刊文章和新聞報道。研究將擴展這一主題，并提出在未來戰場上人工智能和人類合作的方式。人工智能有可能引領下一次軍事事務的革命（RMA）；然而，除非人工智能成為人類有效團隊的一部分，否則美國無法在大規模戰斗中充分發揮其潛力。

亮點

• 自主武器正在迅速擴散：在可及性、自主程度、國際開發者的范圍，以及它們在情報、偵察和致命打擊中的戰術作用。

• 自主系統仍然非常容易出錯，顯示出較差的穩健性、可解釋性和對抗性。

• 主要的軍事大國對條約提案投了棄權票，而其他國家和人道主義組織則迫切要求進行監管。

• 國際和美國的政策仍然模糊不清，缺乏現實的問責和執行機制。

摘要

本文調查了全球社會在致命武器系統自主性擴散方面所面臨的關鍵技術、人道主義和政治挑戰。本文的討論涉及具有不同類型自主性的武器系統，特別是致命性自主武器系統（LAWS）。"這些武器系統包括武裝無人機、車輛、潛水器、哨兵炮塔、導彈系統和其他人工智能（AI）的動態應用。本報告旨在總結來自公共領域的主要發展，沒有秘密信息。

我們首先討論了致命性自主武器系統的狀況，包括總體趨勢、致命性自主武器系統的時間表、自主程度、致命性自主武器系統中使用的一些技術的雙重用途、國際政治立場，以及可獲得性、可解釋性、問責制和執行所帶來的挑戰。接下來，我們將討論致命性自主武器系統的自主能力和情報方面的最新文獻，然后從美國國內和國際的角度討論自主武器政策。

全球趨勢

近年來，硬件方面的技術進步，從電子光學、紅外和聲納系統到合成孔徑雷達，以及人工智能/機器人方面的技術進步，從更好的三維和視覺感知到運動預測和規劃，使得自主系統得以迅速發展[2]。技術進步推動了成本的降低、更多的可及性、更少的人為錯誤和更快的反應時間；這擴大了情報、監視和偵察（ISR）、導航、探測等方面的使用機會。人工智能設備為無人車提供了更大的速度和在不需要數據鏈接的環境中運行的能力，例如在水下或靠近對手的干擾裝置，增加了超越敵方系統的機會[3]。最近的趨勢是有更多的國家參與積極的致命性自主武器系統的開發，包括越來越多的進攻性應用，定位為城市沖突而不是戰場，以及蜂群能力。此外，無人駕駛飛行器（UAVs）的能力在其部署時間、行動的地理區域、可識別物體的范圍和相互協調的能力方面都在擴大[2]。

國際辯論也相應地加強。國家通過聯合國，以及公民個人通過國際倡導團體，施加越來越大的壓力，要求制定具有法律約束力的國際條約來規范此類武器；然而，包括美國在內的最大的軍事行為體卻一再回避任何此類承諾。因此，具有越來越多自主功能的各種致命性自主武器的技術進步和軍事采用繼續向前發展。

致命武器系統的時間軸和實例。幾十年來，致命性自主武器系統一直在不斷發展。在之前的幾十年里，半自動地面環境（SAGE）防空系統搜索敵機，軍艦采用近程武器系統（CIWS）來自動探測、跟蹤和消除來襲導彈[4, 5]。也許人類干預自動化戰爭的最著名的例子是1983年由自動目標探測引發的蘇聯核假警報事件。當預警衛星錯誤地將高空云層識別為來自美國的洲際彈道導彈時，蘇聯防空部隊中校Stanislov Petrov選擇不援引蘇聯的強制核反擊政策。

20世紀80年代，第三代反坦克制導武器（ATGWs）的制造和發展，這種武器被設計成向上發射到空中，并將利用紅外線獨立獲取目標。歐洲的PARS 3 LR[6]和以色列的Spike[7]ATGWs是這種類型的歸航導彈的例子。美國和其他國家在2022年送給烏克蘭軍隊的現代 "標槍 "反坦克武器，包含了一個稱為電子安全武裝和發射（ESAF）的控制系統，在發射后將導彈引向目標[8]。

美國在自主武器領域一直是一個突出的創新者，在1970年代首次生產了名為Phalanx CWIS的目標跟蹤和獲取裝置[9]。在21世紀初，美國愛國者導彈計算機在兩個不同的場合錯誤地識別了友軍戰機，這導致了友軍開火和死亡[10]。有缺陷的程序沒有適當考慮到自動化錯誤。在過去的十年中，韓國和以色列已經建造了能夠完全自主地識別并向人類開火的哨兵槍[10]。

近年來，俄羅斯和以色列也開發了具有自主導航和瞄準能力的無人水面飛行器（USV），中國也開發了一種自主直升機[5, 11]。致命的無人機系統和游蕩彈藥的出現也許是最危險的致命性武器系統，現在已經廣泛發展，而且相對便宜和容易獲得[11]。以前用于偵察，這些航空系統被設計為自主巡邏區域，搜索敵方雷達、飛機或人員，并對其進行攔截，通常帶有內置彈頭。眾多的例子見表一。

2021年3月8日，利比亞問題專家小組向聯合國安全理事會提交了聯合國信函[S/2021/229][12]。根據該報告，2020年3月27日，哈利法-哈夫塔爾的部隊至少受到了一枚卡爾古-2型致命性武器的攻擊，記錄了第一起可能完全自主的致命性自主武器的開火和遺忘的使用。由于難以確認像這樣的武器是否真的自主行動，可能還有類似的攻擊，但公眾并不知道。

俄羅斯在2022年入侵烏克蘭時，廣泛使用了TB2（表一）和標槍反坦克武器。目前還不清楚TB2的自主起飛和巡航功能是否對戰爭起到了作用，但標槍導彈的 "發射-遺忘 "能力使小型反擊部隊能夠快速打擊并遠距離撤退[13]。

兩用技術。參考文獻[14]描述了人工智能的 "兩用困境"：同樣的技術既能提供關鍵的民用，也能提供軍事應用。自動駕駛汽車用來避開行人的同樣的視覺感知、人體識別和跟蹤工具，很容易被重新用于尋找和引爆軍事目標。

自主系統擴展了許多積極的好處，從清除地雷、供應有爭議的領土、識別和保護非戰斗人員，以及限制附帶損害。這些應用很少需要自動瞄準或發射。DART，動態分析和重新規劃工具，在沙漠風暴行動中使用人工智能來優化后勤和調度，據說已經抵消了之前30年DARPA對人工智能研究的所有資金支出[15]。再加上開放源碼的人工智能工具和技術越來越容易獲得，區分有害和有益的應用可能比核、化學或生物武器更具挑戰性。

摘要

拒絕和欺騙（D&D）技術利用錯誤信息和對手的認知偏差，長期以來一直是混合作戰的一部分。這種戰術給傳統上由人類分析員制作的情報、監視和偵察（ISR）產品帶來了不確定性和懷疑。在一個由人工智能（AI）擴散主導的未來戰斗空間中，算法生成的ISR產品數量可能會增加。因此，D&D戰術將越來越多地被顛覆人類而非機器推理的需要所驅動。對抗性機器學習（AML）的發展，即對欺騙性人工智能的研究，對未來混合作戰空間中的實踐狀態有重大影響。**本文回顧了對抗性機器學習技術之間的關鍵區別，以及它們對敵方對作戰人工智能的了解和訪問做出的假設。然后，我們總結了我們團隊最近與混合作戰有關的幾個對抗機器學習研究方向：對成像系統的物理對抗性攻擊，數據中毒攻擊，以及AML與設計強大的人工智能系統的相關性。

引言

混合戰爭指的是使用顛覆性的、非軍事的手段來推進民族國家的利益，特別是俄羅斯近年來采用的技術，在不訴諸公開的、常規的軍事行動的情況下占領領土并影響各國的政治和政策[1]。所采用的混合戰術包括網絡攻擊、動員智能體團體采取行動、施加經濟影響以及其他秘密措施。由于混合作戰存在于常規軍事沖突和平民生活之間的 "灰色地帶"，因此戰術上采用了拒絕和欺騙（D&D），通過利用民眾或敵對勢力的認知偏差來迷惑、威懾或影響理想的行為。D&D戰術在常規戰場上的歷史使用是有據可查的[3]。有效的D&D技術通過對依賴人類專家分析的軍事情報、監視和偵察（ISR）產品產生懷疑而獲得成功。在混合軍事行動中，情況不一定如此，在混合軍事行動中，D&D也可能試圖影響平民的看法。此外，隨著人工智能（AI）成為國家軍事投資戰略的重點（如[4]和[5]），以及商業信息技術部門越來越多地采用人工智能[6]，人工智能在未來的 "灰色地帶 "可能會無處不在。因此，我們必須考慮在未來由人工智能的使用主導的混合戰斗空間中可能存在的D&D威脅。

當前的人工智能能力是由機器學習的進步所帶來的，特別是在深度學習這個子領域，在過去的10年里。機器學習（ML）涉及將系統的輸入映射到預測結果的問題，例如，將車輛的圖像映射到一個類別的標簽。通常情況下，這是在大型數據集中通過統計模式識別實現的。深度學習具體涉及到多層神經網絡的使用，它是具有數百萬自由參數的高度非線性回歸模型，作為模式識別的統計模型。雖然深度網絡在各種任務上的表現優于人類（最著名的是圖像分類[7]），但在諸如[8]和[9]等作品中觀察到它們容易被愚弄之后，對抗性機器學習（AML）領域作為一個活躍的研究領域出現了。許多作者指出，ML算法所犯的錯誤可能會在民用領域產生嚴重后果[10]-[15]。我們也認為必須提出類似的擔憂，即軍事人工智能系統在常規戰場和混合戰斗空間中的脆弱性。

本文的其余部分組織如下：第2.0節將提供關于對抗性機器學習的進一步背景介紹，以及我們認為目前在解決其與混合軍事行動的相關性方面存在的差距。在第3.0節中，我們描述了約翰霍普金斯大學應用物理實驗室（JHU/APL）目前正在進行的三項研究工作，以解決這些知識差距。最后，我們在第4.0節中做了總結性發言，并總結了我們到目前為止的發現。

圖 6. AI 開發周期（圓形流程圖）和采用機器學習的典型算法步驟（橙色大框）。

引言

俄羅斯總統弗拉基米爾·普京宣布 2021 年為俄羅斯科技年，11 月被命名為人工智能 (AI) 月，這表明俄羅斯領導層對這一總括性術語的濃厚興趣。俄羅斯國防部門尤其被這些人工智能技術相關機遇所吸引。近年來，人工智能、機器人技術以及將自動化和自主性進一步整合到武器系統和軍事決策中，都被強調為俄羅斯武裝部隊現代化的優先事項。

2017 年，普京有句名言：“人工智能是未來，不僅是俄羅斯，也是全人類……誰成為這一領域的領導者，誰就成為世界的統治者”。引用這句話，分析人士經常將俄羅斯的發展歸因于、測試和使用武器化的 AI 來與當前領先的 AI 開發商：美國和中國在所謂的全球 AI 競賽或全球技術競賽中競爭的必要性。雖然認為競爭和追趕的需求是俄羅斯動機的一部分，但它對軍事人工智能的興趣不應僅僅歸因于對相對實力的追求。要了解俄羅斯圍繞人工智能、自治和自動化的辯論的深度和復雜性，需要審查有關其對俄羅斯軍隊的戰略影響、自治的好處和風險，以及更廣泛地說技術現代化和技術現代化的重要性的討論。俄羅斯在世界上的地位的創新。

本報告旨在概述面向國際受眾的不同概念和動機，這些概念和動機一直并正在指導俄羅斯政治和軍事領導人實現其追求武器化人工智能的雄心。首先，它概述了俄羅斯軍隊追求人工智能、自主和自動化背后的各種外部和內部因素。其次，它介紹了俄羅斯在這一領域的一些計劃、對其能力的了解以及加強這些計劃所面臨的挑戰。第三，它深入探討了俄羅斯關于自主，特別是自主武器系統的辯論，以及關于開發所謂的“殺手機器人”或自主戰斗機器人的倫理討論，這是一個經常使用的術語在俄語文學中。

該分析基于對開源材料的調查，包括媒體報道、新聞稿、官方聲明和演講、同行評議的文章和智囊團報告，以及俄羅斯軍事期刊上的出版物。作者希望將其作為正在進行的博士研究項目的第一步，以及對新興的關于俄羅斯如何看待武器化 AI 的英語文獻做出貢獻。

概念注釋

本報告分析了自主、自動化和人工智能的概念——這三個術語在俄羅斯和國外經常相互混淆。值得從探索這些概念開始。自動化是一種基于特定動作或規則序列將任務委派給機器的方式，從而使流程更具可預測性。自動化系統是“根據預編程腳本執行具有定義的進入/退出條件的任務”。自主性是一個更復雜的過程，廣義上的意思是“對機器進行編程以執行通常由人員執行的某些任務或功能人類”，但沒有詳細的規則，因此更難以預測。人工智能可以定義為“數字計算機或計算機控制的機器人執行通常與智能相關的任務的能力。” 人工智能及其子集，例如機器學習，以及其在計算機視覺、面部和聲音識別等方面的應用，可用于實現武器系統更高水平的自動化和自主性。自主武器系統通常被定義為“一旦啟動，無需人工操作員進一步干預即可選擇和攻擊目標的機器人武器系統。” 聯合國安理會 2021 年 3 月發布的一份報告表明，土耳其制造的 Kargu-2在利比亞內戰期間，游蕩彈藥系統被編程為以自主模式選擇和攻擊目標。這被世界各地的媒體描述為首次使用致命的“殺手機器人”。但是，尚不清楚該系統在攻擊時是否真正自主運行。

【在人工智能進步的幫助下，武器系統可以在自主范圍內進一步發展，承擔更多任務，并最終在戰場上取代人類】

圖1. 武器系統的自主性

同時，這些領域之間的能力并不總是相同的。在俄羅斯的案例中，自動化和無人機器人系統的開發比集成更現代的基于機器學習的系統更先進。俄羅斯軍事文獻中經常提到的“自動化”（автоматизация）過程——其他術語包括“機器人化”（роботизация）、“智能化”（интеллектуализация）或“數字化”（дигитализация）并不是一個新現象。 俄羅斯在自動化和遠程控制武器系統方面的能力相對優于其在人工智能總稱下整合機器學習和廣泛技術的其他子元素的能力。許多軍事決策者和分析人士的立場是，借助人工智能的進步，武器系統可以在自主范圍內進一步發展，承擔更多任務，并最終在戰場上取代人類。

Drone Wars UK 的最新簡報著眼于人工智能目前在軍事環境中的應用方式，并考慮了所帶來的法律和道德、作戰和戰略風險。

人工智能 (AI)、自動決策和自主技術已經在日常生活中變得普遍，并為顯著改善社會提供了巨大的機會。智能手機、互聯網搜索引擎、人工智能個人助理和自動駕駛汽車是依賴人工智能運行的眾多產品和服務之一。然而，與所有技術一樣，如果人們對人工智能了解甚少、不受監管或以不適當或危險的方式使用它，它也會帶來風險。

在當前的 AI 應用程序中，機器為特定目的執行特定任務。概括性術語“計算方法”可能是描述此類系統的更好方式，這些系統與人類智能相去甚遠，但比傳統軟件具有更廣泛的問題解決能力。假設，人工智能最終可能能夠執行一系列認知功能，響應各種各樣的輸入數據，并理解和解決人腦可以解決的任何問題。盡管這是一些人工智能研究計劃的目標，但它仍然是一個遙遠的前景。

AI 并非孤立運行，而是在更廣泛的系統中充當“骨干”，以幫助系統實現其目的。用戶不會“購買”人工智能本身；他們購買使用人工智能的產品和服務，或使用新的人工智能技術升級舊系統。自主系統是能夠在沒有人工輸入的情況下執行任務的機器，它們依靠人工智能計算系統來解釋來自傳感器的信息，然后向執行器（例如電機、泵或武器）發出信號，從而對機器周圍的環境造成影響.

人工智能被世界軍事大國視為變革戰爭和獲得戰勝敵人的優勢的一種方式。人工智能的軍事應用已經開始進入作戰使用，具有令人擔憂的特性的新系統正在迅速推出。與軍事和公共部門相比，商業和學術界已經引領并繼續引領人工智能的發展，因為它們更適合投資資金和獲取研究所需的資源。因此，未來人工智能的軍事應用很可能是對商業領域開發的技術的改編。目前，人工智能正在以下軍事應用中采用：

• 情報、監視和偵察
• 賽博戰
• 電子戰
• 指揮控制和決策支持
• 無人機群
• 自主武器系統

人工智能和英國軍事

綜合審查和其他政府聲明毫無疑問地表明，政府非常重視人工智能的軍事應用，并打算繼續推進人工智能的發展。然而，盡管已經發布了概述使用自動化系統的學說的出版物，但迄今為止，英國國防部 (MoD) 仍然對管理其人工智能和自主系統使用的倫理框架保持沉默，盡管已經做出了一些重大決定。軍事人工智能的未來用途。

英國國防部一再承諾發布其國防人工智能戰略，預計該戰略將制定一套高級倫理原則，以控制軍事人工智能系統的整個生命周期。該戰略是在與來自學術界和工業界的選定專家討論后制定的，盡管政府尚未就與人工智能的軍事用途相關的倫理和其他問題進行公開磋商。該戰略的主要目的之一是向行業和公眾保證，國防部是人工智能項目合作的負責任合作伙伴。

與此同時，在沒有任何道德指南的情況下，計劃和政策正在迅速推進，主要問題仍未得到解答。英國軍隊在什么情況下會采用人工智能技術？政府認為何種程度的人為控制是合適的？風險將如何解決？英國將如何向其盟友和對手證明英國打算采取有原則的方法來使用軍事人工智能技術？

軍事人工智能系統帶來的風險 上述人工智能的每一種不同的軍事應用都會帶來不同的風險因素。作為國防部總部后臺操作的一部分，對數據進行排序的算法會引發不同的問題和擔憂，并且需要與自主武器系統不同級別的審查。

盡管如此，目前正在開發的人工智能系統無疑會對生命、人權和福祉構成威脅。軍事人工智能系統帶來的風險可以分為三類：道德和法律、操作和戰略。

道德和法律風險

• 遵守戰爭法： 目前尚不清楚機器人系統，特別是自主武器如何能夠滿足戰爭法制定的致命決定和保護非戰斗人員的標準。

-問責制：目前尚不清楚如果出現問題，誰來承擔責任：如果計算機運行不可預測并因此犯下戰爭罪行，懲罰它是沒有意義的。

• 人權和隱私：人工智能系統對人權和個人隱私構成潛在威脅。

• 不當使用：在戰斗環境中處于壓力之下的部隊可能會試圖修改技術以克服安全功能和控制。

作戰應用風險

• 偏見的技術來源：人工智能系統的好壞取決于它們的訓練數據，少量損壞的訓練數據會對系統的性能產生很大影響。

• 偏見的人為來源：當人類濫用系統或誤解其輸出時，可能會導致偏見。當作戰員不信任系統或系統非常復雜以至于其輸出無法解釋時，也會發生這種情況。

• 惡意操縱：軍用 AI 系統與所有聯網系統一樣，容易受到惡意行為者的攻擊，這些行為者可能試圖干擾、黑客攻擊或欺騙系統。

戰略風險

• 降低門檻：人工智能系統帶來了政治領導人在沖突中訴諸使用自主軍事系統而不是尋求非軍事選擇的風險。

• 升級管理：涉及人工智能的軍事行動的執行速度降低了審議和談判的空間，可能導致快速意外升級并造成嚴重后果。

• 軍備競賽和擴散：對軍事人工智能的追求似乎已經引發了軍備競賽，主要和地區大國競相發展其能力以保持領先于競爭對手。

• 戰略穩定性：如果先進的人工智能系統發展到能夠預測敵人戰術或部隊部署的程度，這可能會產生高度不穩定的后果。

本簡報列出了為人工智能設想的各種軍事應用，并強調了它們造成傷害的可能性。它認為，減輕軍事人工智能系統帶來的風險的建議必須基于確保人工智能系統始終處于人類監督之下的原則。

迄今為止，公眾對人工智能和機器人技術進步所帶來的社會變化和風險似乎知之甚少。這份簡報的部分目的是為了敲響警鐘。人工智能可以而且應該用于改善工作場所的條件和對公眾的服務，而不是增加戰爭的殺傷力。