強化學習（RL）的成功，如《星際爭霸》和《DOTA 2》等視頻游戲達到了高于人類的性能水平，這就提出了關于該技術在軍事建設性模擬中的未來作用的問題。本研究的目的是使用卷積神經網絡（CNN）來開發人工智能（AI）Agent，能夠在具有多個單位和地形類型的簡單場景中學習最佳行為。這篇論文試圖納入一個可用于軍事建設性模擬領域的多Agent訓練方案。八個不同的場景，都有不同的復雜程度，被用來訓練能夠表現出多種類型戰斗行為的Agent。總的來說，結果表明，人工智能Agent可以學習在每個場景中實現最佳或接近最佳性能所需的強大戰術行為。研究結果還表明，對多Agent訓練有了更好的理解。最終，CNN與RL技術的結合被證明是一種高效可行的方法，可以在軍事建設性模擬中訓練智能Agent，其應用有可能在執行實戰演習和任務時節省人力資源。建議未來的工作應研究如何最好地將類似的深度RL方法納入現有的軍事記錄構建性模擬項目中。

引言

A. 戰斗建模和戰爭

正確預測對手在戰爭中的戰略或戰術行為的愿望與人類進行這些戰爭的能力一樣古老[1]。在中國古代，像魏黑和圍棋這樣的游戲最初被用作加強軍事和政治領導人的戰略思維能力的方法。后來，羅馬人利用沙盤在戰役或戰斗前討論自己和敵人的可能行動。然而，直到19世紀初，普魯士人用他們的兵棋推演（Kriegsspiel）才開始利用具有嚴格規則的游戲來預測軍事交戰的可能結果。雖然這些兵棋推演在接下來的幾十年里在世界各地的許多武裝部隊中越來越受歡迎，但進行必要計算的能力有限，總是限制了這些基于棋盤的兵棋推演所能達到的復雜程度。此外，棋盤游戲的物理限制限制了設計者簡化行為和游戲元素，而不是努力追求真實。然而，計算能力的提高和用戶友好的圖形界面使設計者在20世紀末能夠以更高的復雜性來模擬兵棋推演的規則和游戲中的組件數量。此外，計算機的使用允許實施基于計算機的對手，在基于硬編碼規則的人工智能軟件的基礎上成功地與人類玩家進行比賽。

今天，基于計算機的兵棋推演，也被稱為建設性模擬[2]，已經成為整個國防部（DOD）的一個有用工具。它們使軍事領導人能夠進一步學習和發展他們在那些通常被認為成本太高或太危險而無法定期演練的領域的行動程序。領導人有能力在實際執行前針對多種紅色力量設計使用他們的部隊，使他們有機會在不承擔任何額外風險的情況下驗證他們的機動方案。在戰略層面上，大型單位的工作人員經常使用建設性的模擬作為訓練方法[3]，領導人可以在模擬環境中進行投入，但他們不參與確定場景的結果[2]。

B. 范圍和問題陳述

在基于計算機的兵棋推演中用來表現對抗行為的方法，需要由場景設計者通過腳本直接編碼，或者使用真人玩家進行所有紅軍的決策。這兩種方法都能提供足夠的分辨率來表現對抗性行為，但每種方法都有其缺點[4]。對于低級別的場景來說，直接對特定行為進行編碼可能是可行的，但隨著場景的擴大，單位的數量和可能的行動對于腳本的控制來說變得太有挑戰性，往往會導致不現實的行為[4]。對于大型場景，使用人類玩家作為紅色力量可能會提供更真實的結果，但額外的人力資源會造成后勤方面的壓力，而且整體的生產力也受限于單個玩家的知識和能力。

解決這個問題的一個可能的方法可能在于利用人工神經網絡。在計算機游戲領域，這種方法最近已被證明是相當成功的。例如，對于實時戰略游戲《星際爭霸II》，一個人工神經網絡被開發出來，打敗了99.8%經常參加在線比賽的玩家[5]。雖然在計算機游戲領域，人工神經網絡的利用最近取得了巨大的進展，但在軍事用途的兵棋推演領域，研究才剛剛開始。在最近的研究中，Boron[6]和Sun等人[7].已經表明，人工神經網絡適合解決簡單軍事兵棋推演場景中的挑戰。基于以前的工作，特別是Boron[6]的工作，本論文旨在提高所使用的軍事場景的復雜性。雖然Boron使用了簡單的多層感知器（MLP）神經網絡，但在處理己方和敵方單位的動態起始位置以及敵人的動態行為時，這種結構被證明是不合適的。此外，所使用的場景被限制在戰場上最多五個單位[6]。在本論文中，將建立一個支持卷積神經網絡（CNN）架構的訓練模擬，包括多個單位和地形類型以克服這些限制。此外，將在一個確定的場景中應用多智能體訓練，以測試這種方法是否可以成功地用于軍事建設性模擬領域。

深度神經網絡（DNN）在幾乎所有的學術和商業領域都產生了突破性的成果，并將作為未來人機團隊的主力，使美國防部（DOD）現代化。因此，領導人將需要信任和依賴這些網絡，這使得它們的安全成為最重要的問題。大量的研究表明，DNN仍然容易受到對抗性樣本的影響。雖然已經提出了許多防御方案來對付同樣多的攻擊載體，但沒有一個成功地使DNN免受這種脆弱性的影響。新穎的攻擊暴露了網絡防御的獨特盲點，表明需要一個強大的、可適應的攻擊，用來在開發階段早期暴露這些漏洞。我們提出了一種基于強化學習的新型攻擊，即對抗性強化學習智能體（ARLA），旨在學習DNN的漏洞，并產生對抗性樣本來利用這些漏洞。ARLA能夠顯著降低五個CIFAR-10 DNN的準確性，其中四個使用最先進的防御。我們將我們的方法與其他最先進的攻擊進行了比較，發現有證據表明ARLA是一種適應性攻擊，使其成為在國防部內部署DNN之前測試其可靠性的有用工具。

1.1 深度學習與美國防部

美國海軍（USN）和國防部（DOD）建立對對手的持久技術優勢[1]，他們必將尖端的機器學習（ML）技術整合到當前的系統和流程中。ML，即系統從原始數據中提取意義和知識[2]，已經將更廣泛的人工智能（AI）領域推向了似乎無止境的應用。人們很難找到一個領域，無論是學術、商業還是醫療領域，ML都沒有進行過革新。ML已經被用來幫助識別汽車保險欺詐[3]，提供宮頸癌的早期檢測[4]，以及檢測和描述飛機上冰的形成[5]。在這些情況下，ML模型的作用不是做決定，只是為人類操作員提供更好的信息。通過以類似的方式應用ML，國防部有一個路線圖，可以將系統和流程演變成遵守道德人工智能原則的人機團隊[6]。

雖然ML可以包含廣泛的用于預測的模型，但一個被稱為深度學習的子集是這個人工智能夏天的驅動力。與線性回歸建模和支持向量機等更簡單的ML技術不同，深度學習包含了利用深度神經網絡（DNNs）的ML模型，它使用許多隱藏的人工神經元層，通過數據學習復雜的概念[2]。盡管DNNs被用于許多目的，但本論文重點關注那些專門用于圖像識別的DNNs。

1.2 信任機器

美國防部要想成功過渡到人機團隊，軍事和文職領導人必須能夠信任和依賴基礎技術。這對高級領導人來說是一個不小的要求。與人類分析師不同，他們的思維過程可以通過對話來理解，但沒有明確的路徑來理解DNN如何完全基于數據做出決定。因此，信任必須建立在一個合理的信念上，即該系統能夠抵御攻擊，其結果是一致和可靠的。任何關于可信度和可靠性的擔憂都是合理的，因為一連串的研究已經證明，DNN在對抗性樣本面前始終是脆弱的。

對抗性樣本（AE）是一個良性的輸入樣本，通過添加擾動導致目標DNN返回不正確的輸出而被畸形化。AE的目的是在降低目標網絡的整體準確性的同時顯得非惡意的，這可能會產生嚴重的、威脅生命的后果。例如，考慮到自動駕駛以及汽車不混淆停車和讓行標志是多么關鍵。對于軍事指揮官來說，如果一個網絡對對抗性樣本不健全，那么對該系統的信任很容易就會下降，并且該系統會被忽略，而被用于更傳統和耗時的分析。想象一下一個系統，DNN正確地過濾掉90%的圖像，只留下10%的標簽供人類審查。如果該系統被成功攻擊，那么人機團隊就會失敗，分析員很快就會被新的工作量壓垮。

1.3 研究問題

對抗性攻擊算法的核心是函數，即給定一個良性的輸入??，就會產生一個對抗性的???。許多攻擊可能需要樣本的真實標簽（??），或目標網絡或它的一些近似值，但它們仍然只是函數。因此，在給定的一組輸入變量的情況下，某種攻擊總是會輸出相同的AE。深度學習不是攻擊本身的一部分，這意味著在創建對抗性樣本時沒有涉及ML。這種生成AE的算法方法使我們考慮到強化學習（RL）領域，其中一個DNN "智能體"學習在特定環境中的最佳行為，同時追求一個特定的目標[7]。來自RL研究小組DeepMind的大量成功案例表明，RL能夠在各種游戲中實現超人類的表現[8]-[11]。最簡單的說法是，RL智能體通過觀察環境的模式進行學習，采取獲得某種獎勵的行動，然后觀察隨后的狀態。智能體試圖使其獲得的總獎勵最大化，最終學會了最佳的行為策略。

考慮到RL和對抗性樣本對DNN構成的威脅，我們提出了第一個研究問題：

1）如果圖像是環境，像素變化是可玩的行動，強化學習智能體能否學會生成最小擾動的對抗性樣本？

在所有研究對抗性攻擊的學術文獻中，有同樣多的文獻涉及對抗性防御： 一個新的攻擊被提出來，之后的某個時候會有一個反擊它的防御，而這個循環會重復下去。雖然最先進的防御手段可以抵御所有當前的攻擊，但不能保證防御手段能夠抵御未知的攻擊。如果一種攻擊可以適應任何防御，它將幫助研究人員和開發人員領先于未知的攻擊。考慮到攻擊的適應性，我們提出了第二個研究問題：

2）基于強化學習的對抗性攻擊能否成為一種適應性攻擊？

通過解決這兩個問題，我們首次將對抗性研究和強化學習這兩個領域融合在一起。

1.4 對抗強化學習智能體(ARLA)

這項研究引入了第一個基于RL的對抗性攻擊。命名為對抗性強化學習智能體（ARLA），我們的攻擊使用良性樣本圖像作為學習環境來生成對抗性樣本，目標是找到與原始樣本的?2距離最短的對抗者。ARLA使用雙重深度Q-learning（DQL），在第2章中進行了解釋，并采用了改進的深度Q-網絡（DQN）智能體架構，在第2章和第3章中進行了詳細解釋。我們的結果提供了證據，證明ARLA是一種自適應的對抗性攻擊，對本論文中用于攻擊評估的所有五種模型都顯示出明顯的攻擊成功。雖然我們的結果很有希望，但還需要做更多的工作來穩定ARLA如何學習最佳行為政策。

我們研究的目的是為國防部提供一個有效的工具來評估武裝部門正在開發的DNN。與其他需要由技術專家對特定防御進行調整的適應性攻擊不同，基于RL的對抗性攻擊可能會以更大的難度和最少的培訓來利用。我們希望ARLA就是這樣一種攻擊，并成為在作為未來軍事系統一部分部署的人機團隊中建立機構信任的一個小而有價值的步驟。

• 自1993年以來，ISI一直從事國防領域的工作，并為陸上、空中和海上應用提供交鑰匙的高質量操作和培訓系統。

• 專門從事以下方面的規范、設計、開發、集成、安裝、測試和后續支持。

• 戰術數據鏈接（北約和美國，即鏈接11 A/B，鏈接16，IJMS，JREAP，ATDL-1，鏈接22）。

  • 國家和定制的戰術數據鏈路解決方案

  • 戰術數據鏈規劃和設計工具

  • 任務和戰術C2/C3系統

  • C2/C3系統的培訓、測試和模擬

  • 監視和偵查應用

• 開發過程和質量保證已通過ISO 9001:2008認證

• 按照符合美國防部MIL-STD-498和IEEE12207標準的程序開發和整合硬件和軟件。

• 系統基于最新的COTS組件，符合苛刻的軍事、工業和環境標準。

自動化使系統能夠執行通常需要人類投入的任務。英國政府認為自動化對保持軍事優勢至關重要。本論文討論了當前和未來全球自動化的應用，以及它對軍事組織和沖突的影響。同時還研究了技術、法律和道德方面的挑戰。

關鍵要點

• 在軍事行動中部署自動化技術可以提高有效性并減少人員的風險。
• 在英國和國際上，自動化正被用于情報收集、數據分析和武器系統。
• 英國政府正在開發自動化系統；技術挑戰包括數據管理、網絡安全以及系統測試和評估。
• 軍事自動化的法律和道德影響受到高度爭議，特別是在武器系統和目標選擇方面。

背景

許多軍事系統都有自動化的特點，包括執行物理任務的機器人系統，以及完全基于軟件的系統，用于數據分析等任務。自動化可以提高某些現有軍事任務的效率和效力，并可以減輕人員的 "枯燥、骯臟和危險 "的活動。 許多專家認為，自動化和自主性是與系統的人類監督水平有關的，盡管對一些系統的定位存在爭議，而且對系統是否應被描述為 "自動化 "或 "自主 "可能存在分歧。英國防部在其 "自主性譜系框架 "中概述了5個廣泛的自主性水平，從 "人類操作 "到 "高度自主"。一個系統可能在不同的情況下有不同的操作模式，需要不同程度的人力投入，而且只有某些功能是自動化的。方框1概述了本公告中使用的定義。

方框1：該領域的術語并不一致，關鍵術語有時可以互換使用。

• 自動化系統。自動系統是指在人類設定的參數范圍內，被指示自動執行一組特定的任務或一系列的任務。這可能包括基本或重復的任務。

• 自主系統。國防科學與技術實驗室（Dstl）將自主系統定義為能夠表現出自主性的系統。自主性沒有公認的定義，但Dstl將其定義為 "系統利用人工智能通過自己的決定來決定自己的行動路線的特點"。自主系統可以對沒有預先編程的情況作出反應。

• 無人駕駛車輛。朝著更高水平的自主性發展，使得 "無人駕駛 "的車輛得以開發，車上沒有飛行員或司機。有些是通過遠程控制進行操作，有些則包括不同程度的自主性。最成熟的無人駕駛軍事系統是無人駕駛航空器，或稱 "無人機"，其用途十分廣泛。

• 人工智能。人工智能沒有普遍認同的定義，但它通常是指一套廣泛的計算技術，可以執行通常需要人類智慧的任務（POSTnote 637）。人工智能是實現更高水平的自主性的一項技術。

• 機器學習：（ML，POSTnote 633）是人工智能的一個分支，是具有自主能力的技術的最新進展的基礎。

英國政府已經認識到自主系統和人工智能（AI，方框1）的軍事優勢以及它們在未來國防中可能發揮的不可或缺的作用。在其2021年綜合審查和2020年綜合作戰概念中，它表示致力于擁抱新的和新興的技術，包括自主系統和人工智能。2022年6月，英國防部發布了《國防人工智能戰略》，提出了采用和利用人工智能的計劃：自動化將是一個關鍵應用。在全球范圍內，英國、美國、中國和以色列擁有一些最先進的自主和基于AI的軍事能力。方框2中給出了英國和全球活動的概述。

方框2：英國和全球活動

• 英國 英國政府已表明其投資、開發和部署用于陸、海、空和網絡領域軍事應用的自主和人工智能系統的雄心。最近的投資項目包括NELSON項目，該項目旨在將數據科學整合到海軍行動中；以及未來戰斗航空系統，該系統將為皇家空軍提供一個有人員、無人員和自主系統的組合。在2021年綜合審查發表后，政府成立了國防人工智能中心（DAIC），以協調英國的人工智能國防技術的發展。這包括促進與學術界和工業界的合作，并在紐卡斯爾大學和埃克塞特大學以及艾倫-圖靈研究所建立研究中心。

• 全球背景 對自主軍事技術的投資有一個全球性的趨勢：25個北約國家已經在其軍隊中使用一些人工智能和自主系統。有限的公開信息給評估軍隊的自主能力帶來了困難，但已知擁有先進系統的國家包括。

  • 美國。美國國防部2021年預算撥款17億美元用于自主研發，以及20億美元用于人工智能計劃。
  • 以色列。國有的以色列航空航天工業公司生產先進的自主系統，包括無人駕駛的空中和陸地車輛以及防空系統。
  • 中國。據估計，中國在國防人工智能方面的支出與美國類似。 分析師認為，這包括對情報分析和自主車輛的人工智能的投資。

俄羅斯和韓國也在大力投資于這些技術。在俄羅斯，機器人技術是最近成立的高級研究基金會的一個重點，該基金會2021年的預算為6300萬美元。

應用

自主系統可以被設計成具有多種能力，并可用于一系列的應用。本節概述了正在使用或開發的軍事應用系統，包括情報、監視和偵察、數據分析和武器系統。

情報、監視和偵察

自動化正越來越多地被應用于情報、監視和偵察（ISR），通常使用無人駕駛的車輛（方框1）。無人駕駛的陸上、空中和海上車輛配備了傳感器，可以獲得數據，如音頻、視頻、熱圖像和雷達信號，并將其反饋給人類操作員。一些系統可以自主導航，或自主識別和跟蹤潛在的攻擊目標。英國有幾架ISR無人機在服役，還有一些正在試用中。這些無人機的范圍從非常小的 "迷你 "無人機（其重量與智能手機相似）到可以飛行數千英里的大型固定翼系統。英國正在試用的一個系統是一個被稱為 "幽靈 "無人機的迷你直升機，它可以自主飛行，并使用圖像分析算法來識別和跟蹤目標。無人駕駛的水下航行器被用于包括地雷和潛艇探測的應用，使用船上的聲納進行自主導航。這些車輛還可能配備了一種技術，使其能夠解除地雷。

數據分析

許多軍事系統收集了大量的數據，這些數據需要分析以支持操作和決策。人工智能可用于分析非常大的數據集，并分辨出人類分析員可能無法觀察到的模式。這可能會越來越多地應用于實地，為戰術決策提供信息，例如，提供有關周圍環境的信息，識別目標，或預測敵人的行動。英國軍隊在2021年愛沙尼亞的 "春季風暴 "演習中部署了人工智能以提高態勢感知。美國的Maven項目旨在利用人工智能改善圖像和視頻片段的分析，英國也有一個類似的項目，利用人工智能支持衛星圖像分析。

武器系統

以自動化為特征的武器系統已被開發用于防御和進攻。這些系統包括從自動響應外部輸入的系統到更復雜的基于人工智能的系統。

• 防御系統。自動防空系統可以識別和應對來襲的空中威脅，其反應時間比人類操作員更快。這種系統已經使用了20多年；一份報告估計有89個國家在使用這種系統。目前使用的系統可以從海上或陸地發射彈藥，用于應對來襲的導彈或飛機。英國使用Phalanx CIWS防空系統。雖然沒有在全球范圍內廣泛采用，但以色列將固定的無機組人員火炮系統用于邊境防御，并在韓國進行了試驗。這些系統能夠自動瞄準并向接近的人或車輛開火。

• 導向導彈。正在使用的進攻性導彈能夠在飛行中改變其路徑，以達到目標，而不需要人類的輸入。英國的雙模式 "硫磺石"（DMB）導彈于2009年首次在阿富汗作戰中使用，它可以預先設定搜索特定區域，利用傳感器數據識別、跟蹤和打擊車輛。

• 用于武器投送的無人平臺。為武器投送而設計的無人空中、海上和陸地運載工具可以以高度的自主性運行。這些系統可以自主地搜索、識別和跟蹤目標。大多數發展都是在空中領域。英國唯一能夠自主飛行的武裝無人機是MQ-9 "收割者"，但有幾個正在開發中。英國防部還在開發 "蜂群 "無人機（方框3）。雖然存在技術能力，但無人駕駛的進攻性武器并不用于在沒有人類授權的情況下做出射擊決定；報告的例外情況很少，而且有爭議。 自主系統在識別目標和作出射擊決定方面的作用，是廣泛的倫理辯論的主題（見下文）。

方框3：無人機蜂群

無人機蜂群是指部署多個能夠相互溝通和協調的無人機和人員，以實現一個目標。在軍事環境中，蜂群可能被用來監視一個地區，傳遞信息，或攻擊目標。2020年，英國皇家空軍試驗了一個由一名操作員控制的20架無人機群，作為Dstl的 "許多無人機做輕活 "項目的一部分。蜂群技術還沒有廣泛部署。據報道，以色列國防軍于2021年首次在戰斗中使用無人機蜂群。

影響

自動化技術和人工智能的擴散將對英國軍隊產生各種影響，包括與成本和軍事人員的角色和技能要求有關的影響。對全球和平與穩定也可能有影響。

財務影響

一些專家表示，從長遠來看，軍事自動化系統和人工智能可能會通過提高效率和減少對人員的需求來降低成本。然而，估計成本影響是具有挑戰性的。開發成本可能很高，而且回報也不確定。提高自動化和人工智能方面的專業知識可能需要從提供高薪的行業中招聘。軍隊可能不得不提高工資以進行競爭，英國防部將此稱為 "人工智能工資溢價"。

軍事人員的作用和技能

自動化可能會減少從事危險或重復性任務的軍事人員數量。然而，一些軍事任務或流程，如高層戰略制定，不太適合自動化。在許多領域，自主系統預計將發揮對人類的支持功能，或在 "人機團隊 "中與人類合作。專家們強調，工作人員必須能夠信任與他們合作的系統。一些角色的性質也可能會受到自動化的影響，所需的技能也是如此。例如，對具有相關技術知識的自主系統開發者和操作者的需求可能會增加。英國防部已經強調需要提高整個軍隊對人工智能的理解，并承諾開發一個 "人工智能技能框架"，以確定未來國防的技能要求。一些利益相關者對自動化對軍事人員福祉的影響表示擔憂，因為它可能會限制他們的個人自主權或破壞他們的身份和文化感。

人員對自動化的態度：

關于軍事人員對自動化的態度的研究是有限的。2019年對197名英國防部人員的研究發現，34%的人對武裝部隊使用可以使用ML做出自己的決定的機器人有普遍積極的看法，37%的人有普遍消極的態度。有報道稱，人們對某些自主武器系統缺乏信任，包括在2020年對澳大利亞軍事人員的調查中。在這項研究中，30%的受訪者說他們不愿意與 "潛在的致命機器人 "一起部署，這些機器人在沒有人類直接監督的情況下決定如何在預定的區域使用武力。安全和目標識別的準確性被認為是兩個最大的風險。有證據表明，信任程度取決于文化和熟悉程度。

升級和擴散

一些專家提出了這樣的擔憂：在武器系統中越來越多地使用自主權，有可能使沖突升級，因為它使人類離開了戰場，減少了使用武力的猶豫性。蘭德公司最近的一份戰爭游戲報告（上演了一個涉及美國、中國、日本、韓國和朝鮮的沖突場景）發現，廣泛的人工智能和自主系統可能導致無意中的沖突升級和危機不穩定。這部分是由于人工智能支持的決策速度提高了。升級也可能是由自動系統的非預期行為造成的。

還有人擔心，由于自動化和基于人工智能的技術變得更便宜和更豐富，非國家行為者更容易獲得這種技術。這些團體也可能獲得廉價的商業無人機，并使用開放源碼的人工智能對其進行改造，以創建 "自制 "武器系統。關于非國家行為者使用自主系統的報告是有限的和有爭議的。然而，非國家團體確實使用了武裝無人機，而且人們擔心人工智能會使這種系統更加有效。

技術挑戰

正在進行的包括機器人和人工智能在內的技術研究，主要是由商業驅動的，預計將增加自動化系統的應用范圍和采用程度。該領域的一些關鍵技術挑戰概述如下。一個更普遍的挑戰是，相對于數字技術的快速發展，軍事技術的發展速度緩慢，有可能在部署前或部署后不久組件就會過時。

數據傳輸

無人駕駛的車輛和機器人經常需要向人員傳輸數據或從人員那里接收數據。這可以讓人類監督和指導它們的運作或接收它們收集的數據。在某些情況下，系統也可能需要相互通信，如在無人機群中（方框3）。軍方通常使用無線電波在陸地上傳輸數據，其帶寬（頻率的可用性）可能有限。在傳輸大量數據，如高分辨率圖像時，這可能是個問題。5G技術（POSTbrief 32）可能會促進野外更有效的無線通信。系統之間的無線電通信可以被檢測到，提醒對手注意秘密行動。對手也可能試圖阻止或破壞系統的通信數據傳輸。目前正在研究如何最大限度地減少所需的數據傳輸和優化數據傳輸的方法。更多的 "板載 "或 "邊緣 "處理（POSTnote 631）可以減少傳輸數據的需要。然而，減少通信需要系統在沒有監控的情況下表現得像預期的那樣。

數據處理

具有更高水平的自主性的更復雜的系統通常在運行時在船上進行更多的數據處理和分析。這要求系統有足夠的計算能力。一般來說，一個系統能做多少嵌入式數據處理是有限制的，因為硬件會占用空間并需要額外的電力來運行。這可能會限制需要電池供電運行的系統的敏捷性和范圍。然而，人工智能的進步也可能使系統更有效地運行，減少計算要求。由于未來軟件、算法和計算機芯片技術的進步，計算機的處理能力也有望提高。

訓練數據

創建和整理與軍事應用相關的大型數據集，對生產可靠的人工智能自主系統非常重要。機器學習（ML，方框1）依賴于大型數據集來訓練其基礎算法，這些數據可以從現實世界中收集，或者在某些情況下，使用模擬生成。一般來說，用于訓練ML系統的數據越有代表性、越準確、越完整，它就越有可能按要求發揮作用。準備訓練數據（分類并確保其格式一致）通常需要手動完成，并且是資源密集型的。

數據隱私：

一些人工智能系統可能會在民用數據上進行訓練。人們普遍認為，如果使用與個人有關的數據，他們的隱私必須得到保護。這可以通過對個人數據進行匿名化處理或只分享經過訓練的人工智能系統來實現。

網絡安全

由計算機軟件支撐的系統數量的增加增加了網絡攻擊的機會。網絡攻擊者可能試圖控制一個系統，破壞其運作，或收集機密信息。基于人工智能的系統也可以通過篡改用于開發這些系統的數據而遭到破壞。英國防部在2016年成立了網絡安全行動中心，專注于網絡防御。在英國，2021年成立的國防人工智能中心，有助于促進行業伙伴或其他合作者對高度機密數據的訪問。

測試和評估

重要的是，軍事系統要可靠、安全地運行，并符合法律和法規的規定。人工智能和自動化給傳統軟件系統帶來了不同的測試和保證挑戰。 進一步的挑戰來自于ML的形式，它可能不可能完全理解輸出是如何產生的（POSTnote 633）。人工智能軟件可能還需要持續監測和維護。利益相關者已經強調缺乏適合的測試工具和流程，并正在開發新的工具和指南。英國政府的國防人工智能戰略致力于建立創新的測試、保證、認證和監管方法。

倫理、政策和立法

目前的準則和立法

目前還沒有專門針對將自動化或人工智能用于軍事應用的立法。雖然它們在戰爭中的使用受現有的國際人道主義法的約束，但這與新技術的關系是有爭議的。在國家和國際層面上有許多關于人工智能更普遍使用的準則，這些準則可以適用于自動化系統。然而，2021年數據倫理與創新中心（CDEI）的人工智能晴雨表研究發現，工業界很難將一般的法規適應于特定的環境。2022年，英國防部與CDEI合作發布了在國防中使用人工智能的道德原則。

責任感

一些利益相關者強調，如果自主系統的行為不合法或不符合預期，那么它的責任是不明確的。這可能導致系統及其決定與設計或操作它的人類之間出現 "責任差距"，使法律和道德責任變得復雜。英國防部的原則說，在人工智能系統的整個設計和實施過程中，應該有明確的責任。國防人工智能戰略為供應商設定了類似的期望。

圍繞自主武器系統的辯論

這一領域的大部分法律和道德辯論都集中在武器系統上。然而，某些非武裝系統（例如，基于軟件的決策支持工具）可能在識別目標方面發揮關鍵作用，因此提出了許多與那些同時部署武器的系統相同的道德問題。

國際上對 "致命性自主武器系統"（LAWS）的使用存在著具體的爭論。這個術語沒有普遍認同的定義，它被用來指代具有不同自主能力的廣泛的武器。關于使用致命性自主武器系統的報告存在很大爭議，例如，由于系統使用模式的不確定性。 聯合國《特定常規武器公約》（CCW）自2014年以來一直在討論致命性自主武器系統的可能立法。它在2019年發布了指導原則，但這些原則沒有約束力，也沒有達成進一步的共識。雖然大多數參加《特定常規武器公約》的國家支持對致命性自主武器進行新的監管，但包括英國、美國和俄羅斯在內的其他國家認為，現有的國際人道主義法已經足夠。根據運動組織 "阻止殺手機器人"（SKR）的說法，83個國家支持關于自主武器系統的具有法律約束力的文書，12個國家不支持。

許多利益相關者認為，必須保持人類對武器和瞄準系統的某種形式的控制，才能在法律和道德上被接受。某些組織，如SKR，呼吁禁止不能由 "有意義的人類控制 "的自主武器系統，并禁止所有以人類為目標的系統。他們還呼吁制定法規，確保在實踐中保持足夠的人為控制。在其2022年國防人工智能戰略中，英國政府表示，識別、選擇和攻擊目標的武器必須有 "適當的人類參與"。作為回應，一些呼吁監管的非政府組織表示，需要更加明確如何評估或理解 "適當的人類參與"。包括英國政府在內的利益相關者建議的維持人類控制的潛在措施包括限制部署的時間和地理范圍。被認為會破壞人類控制的因素包括人類做出決定的有限時間和 "自動化偏見"，即個人可能會過度依賴自動化系統，而不太可能考慮其他信息。

公眾對該技術的態度

大多數關于軍事自動化的公眾意見調查都集中在自主武器系統上。SKR委托對28個國家的19,000人進行了民意調查。62%的受訪者反對使用致命性武器系統；這一數字在英國是56%。關于公眾對人工智能、數據和更廣泛的自動化的態度的研究發現，公眾關注的主要問題包括數據安全、隱私和失業。然而，公眾的觀點會因系統的功能和使用環境的不同而有很大差異。

個性化推薦系統是促進人類決策的重要工具。大多數最先進的推薦系統使用先進的機器學習技術，從行為數據建模和預測用戶偏好。雖然這樣的系統可以提供有用的建議，但它們的算法設計沒有納入塑造用戶偏好和行為的潛在心理機制。在這個跨學科的教程中，我們引導與會者通過最先進的心理學信息推薦系統(PIRS)，即，考慮外在和內在的人為因素的推薦系統。我們涵蓋了認知激勵、個性感知和情感感知的推薦方法;我們展示了這樣的系統如何以高度以人為本的方式改進推薦過程。

//socialcomplab.github.io/pirs-psychology-informed-recsys/

在過去的二十年中，推薦系統的研究已經成為計算機科學中的一個新興領域(Ricci et al.， 2011)。在線市場、在線社交網絡、在線協作平臺和在線社交信息系統(Caverlee et al.， 2010)的出現，催生了為用戶提供推薦的需求，以幫助他們應對在線信息和商品的增加(Liu et al.， 2014)。大量的工作已經從廣泛的角度解決了推薦系統的研究。推薦系統手冊(Ricci et al.， 2015)或推薦系統簡介(Jannach et al.， 2010)等資源提供了該領域的全面概述。評論文章(Jannach et al.， 2012)也是如此。最近的調查提供了可解釋推薦(Zhang, Chen et al.，2020年)、推薦系統中的深度學習(Xu et al.，2020年)、對對抗推薦系統(Deldjoo et al.，2021b)或對話推薦系統(Jannach et al.，2020年)的簡明概述。

推薦系統的早期工作是受到這樣一種觀察的啟發，即人類傾向于根據其社會環境提供的推薦做出決策(Ricci et al，2011)。相應地，作為推薦系統開發的第一個算法旨在模仿這種行為(Resnick和Varian, 1997;Ricci et al，2011)。在21世紀初，心理學模型在推薦系統研究中的應用得到了廣泛的關注。Gustavo Gonzalez, Timo Saari和Judith Masthoff進行了開創性的工作，他們利用用戶的心理特征來改進推薦過程。為此，Gonzales等人(González et al，2002;González et al.， 2004)考慮用戶的情感方面來生成個性化的推薦。Saari等人(Saari et al.， 2004b; Turpeinen和Saari, 2004;Saari et al，2004a;Saari et al，2004a;Saari et al.， 2005)設計的推薦系統結合了用戶的情感和注意力，以及其他相關的結構，以提供推薦(Nunes, 2008)。Masthoff等人(Masthoff, 2004b;Masthoff, 2004;Masthoff, 2005;Masthoff and Gatt, 2006)，評估了個體用戶的用戶滿意度，并預測了向用戶組推薦項目序列時的群體滿意度。他們的直覺是，推薦列表中的前幾個推薦會影響用戶的情緒。這種情緒反過來又會影響用戶對推薦列表中下一個項目的看法(Nunes, 2008)。Felfernig等人(2007)利用決策心理學的見解對在線買家行為進行了更深入的理解，并改進了基于知識的推薦系統。

個性化的推薦系統在當今的網絡世界中已經變得不可或缺。目前大多數推薦算法都是數據驅動的，基于行為數據。雖然這樣的系統可以產生有用的建議，但它們通常是無法解釋的黑箱模型，在算法的設計中沒有納入用戶行為的潛在認知原因。本調查的目的是對利用心理結構和理論來建模和預測用戶行為并改進推薦過程的推薦系統的最新技術進行徹底的回顧。我們稱這種系統為心理信息推薦系統。該書確定了三類心理信息推薦系統:認知激勵型、個性感知型和情感感知型推薦系統。此外，對于每個類別，我們都強調了心理學理論在其中發揮關鍵作用的領域，因此在推薦過程中會被考慮在內。由于推薦系統是支持人類決策的基本工具，我們還討論了影響用戶和推薦者之間交互的選擇決策心理現象。此外，我們討論了從用戶角度研究推薦系統評估的相關工作，并強調了以用戶為中心的評估框架。在本調查的最后，我們討論了未來工作的潛在研究任務。**

****在本綜述文章中，回顧了推薦系統社區的研究方向，這些研究方向用心理構造豐富了數據驅動的推薦技術，以設計或改進推薦系統。**我們稱這種系統為心理信息推薦系統。本次調查的組織如下。在1.2節中，我們首先介紹了常見的推薦系統方法，然后在1.4節中，簡要描述了我們的調查方法和研究范圍。接下來，在第二節中，我們回顧了心理信息推薦系統的相關工作，我們將其分為認知靈感型、個性感知型和情感感知型推薦系統。此外，在第3節中，我們回顧了研究用戶與推薦系統交互時所產生的各種決策心理現象的工作。此外，在第4節中，我們討論了從用戶角度研究推薦系統評價的工作。我們在第5節中總結了主要發現和未來工作的可能方向。

在存在智能對手的情況下，博弈論模型（如安全博弈）已被證明是減輕保護和安全協議中可利用漏洞風險的有效工具，因為它們模擬了對手和防御者之間的戰略互動，并允許防御者在面對這種對手時計劃使用稀缺或有限的資源。然而，標準的安全博弈模型在允許防御者執行的規劃類型方面具有有限的表現力，因為它們只關注一組固定的安全資源的部署和分配。這忽略了兩個非常重要的規劃問題，它們涉及安全系統的戰略設計和部署的資源，以及安全協議的可用性和實施。當這些問題出現在現實世界的系統中時，如果不以一種原則性的方式來處理，安全協議的效用和效率就會出現重大損失。

為了解決這些局限性，在這篇論文中，我為安全博弈的規劃問題引入了一個新的層次結構，將問題分為三個層次的規劃（i）戰略規劃，考慮長期的規劃期限，以及與游戲設計有關的決策，這些決策限制了可能的防御者策略；（ii）戰術規劃，考慮較短的期限，處理資源的部署，以及在戰略層面的限制下選擇防御者策略；（iii）行動規劃，處理在現實世界中的策略實施。

首先，以戰略規劃為重點，我討論了選擇一組資源和時間表類型的設計問題。我引入了一個新的基本問題，即資源團隊和戰術的同步優化（SORT），它模擬了戰略和戰術規劃的耦合問題，在選擇資源類型方面對游戲設計進行了優化，并對它們在現場的實際部署進行了優化。我提供了有效解決SORT問題的算法，該算法使用優化問題的分層放松來計算這些戰略層面的投資決策。我表明，這種更具表現力的模型使防御者能夠進行更精細的決策，從而在效用上獲得巨大的收益。其次，在資源異質性的安全博弈的相關性和艱巨性的激勵下，我還通過提供一個計算異質資源的適應性策略的框架來解決戰術規劃方面的挑戰。最后，我研究了行動規劃的問題，這在安全博弈的文獻中從未被正式研究過。我提出了一個可操作策略的新解決方案概念，它隨機選擇一個最優選擇的純策略子集，其基數由防御者選擇。我展示了計算這種可操作策略的難度，并提供了一種用于計算可操作的最佳均衡的算法。

在所有這些問題中，我的動力來自于現實世界的挑戰，以及開發可在現實世界中使用的解決方法。因此，許多工作都是與Panthera、WWF和其他非政府組織（NGO）合作，幫助保護國家公園和野生動物免受森林砍伐和偷獵，以及與TSA合作，保護我們的機場等關鍵基礎設施免受恐怖襲擊。正因為如此，在處理這三個層次的規劃時，我開發的解決方案不僅是新穎的、學術上有趣的，而且是可部署的、對現實世界有影響的。

美國國防部和空軍領導人認為，人工智能（AI）是一種改變游戲規則的技術，將幫助空軍情報、監視和偵察（ISR）體系克服大國沖突所需的情報分析速度和規模方面的長期挑戰。傳感網格概念（最近更名為傳感器集成）被作為未來框架引入，以整合人工智能和認知建模工具融入空軍ISR，但對于對手的威脅和道德方面的考慮卻很少討論，而這些考慮應該貫穿于系統的設計和功能模塊。為了讓空軍內部的人力和組織做好準備，以整合高度自動化的人工智能情報分析系統，領導人必須倡導以人為本的設計，從歷史上人機協作的成功和失敗中吸取教訓。領導人還必須采取積極主動的方法來培訓空軍的ISR勞動力，以便與革命性的但不完善的人工智能技術進行有效協作。

問題陳述

根據美國空軍作戰集成能力（AFWIC）傳感跨職能小組的說法，空軍情報、監視和偵察（ISR）的現狀是高度專業化、專有化，并且過于依賴人力密集的回傳（reach-back）過程。當規劃人員展望未來的大國沖突時，他們評估目前的硬件和分析過程將不足以建立對同行對手的決策優勢，情報工作在勝利所需的速度和規模方面落后。空軍A2的 "下一代ISR主導地位飛行計劃"對目前的ISR體系也提出了類似的批評，主張擺脫今天的 "工業時代的單一領域方法"，以追求 "架構和基礎設施，以實現機器智能，包括自動化、人機合作，以及最終的人工智能。"雖然為空軍人員提供更快更智能的工具來制作和分享評估是空軍高級領導人的優先事項，但引入更高水平的自動化和機器主導的感知為情報界帶來了一系列新問題。考慮到這些工具可能遇到的篡改和故意提供錯誤信息的威脅，依靠算法走捷徑是否安全？追求由自動化武器系統促成的戰爭到底是否合乎道德？如果是這樣，情報界采用自動化工具以更快的速度產生關鍵的情報評估會帶來什么風險？

人工智能（AI）一詞被美國防部聯合人工智能中心定義為 "機器執行通常需要人類智慧的任務能力--例如，識別模式、從經驗中學習、得出結論、進行預測或采取行動。"參議員們希望AI能夠很快為人類分析師用來進行評估的軟件套件提供動力，并使物理系統在更多的自主應用中發揮作用。機器學習（ML）被國防部高級研究計劃局（DARPA）定義為人工智能中的一個領域，"將統計和概率方法應用于大型數據集"，并可以將衍生模型應用于未來的數據樣本。利用ML好處的一個流行方法是通過深度神經網絡（DNN），它可以使用歷史數據被訓練成執行一系列的分類和預測任務。雖然在AFWIC或A2的出版物中沒有特別提及，但在模擬人類思維過程的應用中使用AI、ML和DNN是計算機科學和心理學的一個混合領域，稱為認知建模。在AFWIC對未來空軍ISR體系的設想中，AI、ML、DNNs和認知建模概念是向數字化、以網絡為中心的情報方法轉變的關鍵部分。

為了給空軍ISR體系的現代化舉措提供一個框架，AFWIC建立了傳感網的概念，定義為 "傳感器、平臺、人員、設備、內容和服務的組合，為決策者提供整體、準確、預測和及時的作戰環境特征。"該概念的設計者設想了一個具有預測分析、自主傳感和響應、融合多個數據源和邊緣處理的系統，所有這些都是通過利用AI、ML、DNN、數據分析和其他認知建模方法來實現的。盡管沒有公布傳感網格的首次亮相日期，但大多數討論表明，優化的系統簇至少還有十年。同時，美國防部領導層非常迫切地要趕上中國和俄羅斯在軍事人工智能應用方面的投資，鼓勵快速原型設計和實驗，以找到解決方案。人工智能在國防論壇上經常被認為是使以數據為中心的情報任務更快、加快戰術決策的答案，但如果所涉及的系統處于工程的初級階段，并且在國家安全領域仍未得到證實，這僅僅是猜想。

雖然AFWIC和空軍A2專注于人工智能傳感器和工具的研發投資，但很少討論使傳感網格安全和有效所需的人機合作動態。為了使傳感網格成為一個有效的系統，為空軍執行ISR和分析的方式帶來價值和進步，領導人應該在技術中倡導以人為本的設計，培訓和準備一線分析員與新系統有效的協作，并根據人工智能的優勢和劣勢調整組織做法。空軍領導人必須承認將更多的分析任務分配給人工智能工具所固有的對抗性威脅和道德問題，這些問題必須告知感知網格的藍圖。這并不是說正在進行的系統軟件開發應該停滯不前，而是說在情報和物資領導人之間必須同時進行對話，討論人類分析員的作用，因為這對減輕越來越多地依賴人工智能的弊端至關重要。空軍領導人還必須推行一項深思熟慮的計劃，將傳感網格組件整合到當前的傳感、識別、歸屬和共享（SIAS）活動中，使一線分析員為 "更高級別的推理和判斷"任務做好準備，同時承認機器應該增強人類任務，而不是完全取代人類。

接下來本文將提供與人工智能系統相關的脆弱性和道德問題的文獻回顧，以深入了解建設和應用傳感網格可能面臨的挑戰。它還將包括討論在完成和應用這個改變游戲規則的系統之前，情報和物資領導人應該考慮哪些因素。本文最后將就如何為空軍ISR戰斗空間準備傳感網格提出進一步的建議，為空軍人員在數字時代的行動提供必要的場景設置。

文獻回顧

最近關于將人工智能應用于認知任務的相關弱點的研究大多強調了對抗性樣本的危險性，這些樣本修改了DNN的輸入，導致它們控制的系統以各種方式發生故障。對抗性輸入可以是物理的或非物理的，可以影響各種數據分類器分類媒體，包括圖像、音頻文件和文本。最常提到的物理欺騙樣本是一個實驗，工程師通過將停車標志調整成不同的角度來愚弄自動駕駛汽車上的光學傳感器，導致車輛錯過停車。物理欺騙在國防應用中不是一個新穎的計劃，但將邊緣處理和自動化納入像傳感網格這樣的系統可能排除了人類分析師第一手識別這些戰術。在非物理領域，訓練算法以類似于人腦的方式來識別模式是一項具有挑戰性的任務。計算機視覺（CV）算法對圖像的分類與人類分析人員非常不同，當只有幾個像素不合適時，很容易對物體進行錯誤分類。在不太直接的情況下，工程師無法解釋模型的錯誤，刺激了DARPA等組織對可解釋人工智能的倡議。 在最好的情況下，對抗性輸入被識別為異常值，并被具有強大訓練樣本的CV模型所忽略；在最壞的情況下，它們可能會破壞現實世界的輸入，并在人類分析師不知情的情況下從樣本中數字化地刪除物體或活動。如果對抗性輸入導致分析師錯過他們通常會在沒有協助的情況下捕捉到的重要活動，就會產生災難性的后果。

如果將AI、ML和DNN應用于情報數據集背后的目標是以更高的速度分析和傳播更多的信息，那么自然語言處理（NLP）也可能是感知網格架構的一部分。NLP模型今天被廣泛用于個人和商業用途，像Siri和亞馬遜Alexa這樣的工具使用語音提示來啟動其他應用程序。NLP模型也可用于大量文本或其他媒體的理解任務，使用衍生數據回答問題。這種技術在融合多種數據源的SIAS任務中可能非常有用，但也可能容易受到干擾。NLP中的對抗性輸入可以引入錯誤的句子或用文本文件中的反義詞替換關鍵詞，導致模型在沒有時間或能力進行人工審查的情況下錯誤描述數據集。

與任何分層模型的方案一樣，CV和NLP模型是否能像預測的那樣有效地協同工作還是個未知數，更不用說檢測像Deepfakes這樣在非保密領域進入DNN的偽造數據了。人類分析員離通常可以檢測錯誤信息的源數據流越遠，SIAS就越容易受到錯誤輸入的影響。盡管有這種擔憂，但空軍A2的指導意見表明，人們對分層模型利用非保密的公開信息（PAI）進行無縫傳感器提示寄予厚望，使ISR體系能夠更有效地找到相關目標。如果沒有一種強大的方法來檢測提示傳感器的PAI樣本中的偽造媒體，這個過程可能難以安全地實現。

技術的復雜性和自動化、人工智能系統對篡改的潛在脆弱性，引發了關于在軍事行動中應用這類技術是否符合道德的討論。雖然傳感網格的設計不是為了直接使用武器，但來自該系統的情報數據很可能為關于多個領域的關鍵決策提供信息。關于AI/ML的倫理學文獻通常對采用自主運作、人類干預窗口有限的系統持批評態度，其邏輯與反對地雷等傳統自動化武器的倫理學論點相似。雖然傳感網格及其前驅系統將具有比壓力板裝置高得多的認知行為屬性，但一些人認為，人類對黑盒系統的控制同樣很少，這些系統在向人類操作者提出選擇或結論之前，會執行層層的算法通信。

幸運的是，人工智能系統可能也能夠在人類容易出現道德失誤的情況下進行補償，因為機器不會經歷像恐懼或驚慌這樣的情緒，而這些情緒可能會引發危險的決定或違反LOAC。盡管利用人類與認知模型合作的這一潛在優勢是謹慎的，但美國防部的指導意見將速度作為人工智能最有用貢獻的具體價值，這引入了更多道德難題。對個人決策的測試表明，人類在復雜環境中的風險評估能力已經很差，而引入人工智能，使人類判斷的價值邊緣化，只會導致更快的、風險更高的結論。當人工智能帶來的錯誤評估或草率決定導致災難性錯誤時，問責也是美國防部領導人必須準備解決的混亂道德問題。

大多數文獻中隱含的減輕對手篡改和道德失誤威脅的解決方案，是在人類控制器和自主的人工智能系統之間進行最佳分工。不足為奇的是，對于這應該是什么樣子，以及它如何適用于像傳感網格這樣的系統，有許多觀點。一些人認為，在國際協議框架中沒有雇用自動武器系統的空間，并將其缺乏責任感與兒童兵相比較。其他人認為，如果像聯合目標定位這樣的程序以同樣的嚴格和參與規則進行，人工智能工具將不會導致不可接受的失控。雖然人們認為迫切需要通過購買現有的商業軟件向聯合情報界提供傳感網格的能力，但如果美國防部領導人希望減少前面討論的風險，工程師、需求所有者和分析師必須致力于仔細討論人工智能應用在ISR體系中最有幫助的地方以及它們有可能造成傷害的地方。

討論結果

當涉及到投資建設由人工智能和認知建模應用驅動的未來ISR體系的項目時，美國防部和空軍除了需要快速投資并與大學和國家實驗室合作外，提供的指導有限。除了系統 "事故風險較低；對黑客和對手的欺騙行為更有彈性和表現出較少的意外行為"之外，對該部門在人工智能投資方面所期望的指導也是有限的。缺乏特殊性可能是人工智能在國防部戰略中首次出現的癥狀，但自滿和滿足于為投資而投資的情況并沒有遠遠超過這種情況。使用該技術的社區有責任決定與認知模型建立哪種類型的協作關系將提供最大的利益，但戰略指導似乎將責任交給了實驗室和行業合作伙伴，責成外部人士確定人工智能將解決的問題和解決方案。如果空軍ISR領導人在討論如何最好地將人類分析員與人工智能工具協作方面不發揮積極作用，他們將如何評估開發人員是否在提供資金的情況下取得足夠的進展？美國防部如何相信由非業務伙伴開發的解決方案能夠充分解決安全和道德問題？在什么時候，人工智能會從一個脆弱的研究項目過渡到改善SIAS的速度和準確性的可行解決方案？

討論人工智能及其在情報工作中的預期功能的一個更有成效的方法是，不要把它當作一個神奇的子彈，因為它的定義太不明確，根本無法研究。雖然將認知模型應用于情報過程可能是新的，但在戰爭中實現自動化的技術已經存在了幾十年。領導人必須考慮現代戰爭中已經存在的人機合作結構，以獲得設計和整合傳感網格的經驗。對于空軍ISR來說，分析當前和歷史上人類分析員、機載傳感器和戰區決策者的團隊合作是一項有益的工作。機載ISR傳感器的性能衡量通常通過傳感器輸出的響應性和準確性等因素來評估，但了解傳感器數據引發的分析和決策過程也很重要。例如，光譜成像傳感器可以被用作異常檢測器，突出不尋常的物體或活動，供人類分析員審查和報告。報告可以傳播給行動領導人，然后他根據情報做出決定，命令對異常活動的來源進行空襲。如果這一連串的事件在行動過程中習慣性地發生，那么傳感器和人類在循環中的互動可能會開始改變，而傳感器被潛意識地重新歸類為威脅探測器。在這種情況下，傳感器的性能規格并沒有改變，但隨著時間的推移，團隊關系中的人類開始對傳感器的輸出應用不同的價值，這可能是外部激勵因素的影響。雖然大多數分析家都知道，假設所有的異常情況都是威脅是不正確的，也是危險的，但人機協作關系演變為扭曲人類判斷的微妙方式是值得關注的。為了確保人機協作以道德方式進行，領導者必須反思協作結構如何在無意中抑制組織的價值觀。對新作戰技術的準確性和穩健性的要求是合理的，但了解技術煽動的組織行為和習慣對有效和道德地使用是最重要的。

除了在ISR體系內應用現有的人機合作經驗外，人工智能感應網格的設計也應以人為本。雖然在建立一個由人類分析員使用的系統時，這似乎是顯而易見的，但在復雜的系統工程項目中，人因工程和人機協作的考慮往往是一個低優先級的問題。這部分是由于傳統的組織障礙，將軟件工程師和人因專家放在不同的部門，尤其是后者專門研究認知心理學、神經科學和機器人學等學科，這些學科在一些項目中可能發揮有限的作用。未能在復雜系統中適當整合人的因素的后果是可怕的，這在波音公司的737 Max飛機上可以看到，該飛機在2018年和2019年發生了兩起致命事故。兩份事故報告都提到高度自動化的機動特性增強系統（MCAS）軟件是導致飛機失事的一個重要因素。 雖然MCAS被設計為使用傳感器輸入來協助飛行安全，但糟糕的人為因素考慮使得該系統在觸發自動程序后，飛行員很難覆蓋。雖然培訓用戶與新系統合作是入職的自然部分，但由于缺乏人為因素工程而導致的陡峭學習曲線是一種風險，可以通過對人類和機器行為進行建模來減輕，因為它們與手頭的任務相關。 在這種情況下，建模將幫助系統架構師確定在特定的團隊合作關系中造成誤解的溝通差距，也許可以提供關于機器如何在緊急情況發生前向人類操作員充分披露其局限性的洞察力。

當我們推測如何最好地促進人機互動，充分解決與人工智能和自動化相關的安全和倫理問題時，尋求視覺分析專家的咨詢可以提供有價值的設計見解。"視覺分析是一個科學領域，它試圖通過交互式可視化增加人機對話來提高自動化、高容量數據處理的透明度。 為分析師提供一個團隊結構，讓他們選擇如何可視化數據集，可以在自動化、機器輔助的數據精簡和人類判斷之間取得有利的平衡。在傳感網格的可視化分析的最佳應用中，分析師將以高度的信心理解數據集的重要性，這得益于調整基礎分析過程的能力。 理想情況下，可視化分析使用戶能夠通過向系統提出關于數據的假設和問題來利用他們的學科專長，使他們能夠通過對話得出結論。視覺分析中的一種被稱為語義互動的方法也可能是有幫助的，創建的模型可以將分析師與視覺數據的對話轉化為模型的調整，推斷和學習人類伙伴執行常規任務的原因，如突出、復制等。考慮到前面詳述的學科有多新，建立明確的測試和評估標準將是準備將這些和其他團隊技術納入SIAS任務的重要步驟。

美國空軍研究實驗室（AFRL）內的各局無疑面臨著許多挑戰，在這個概念正式確定之前，他們一直致力于建立傳感網格的組成部分。將人工智能整合到智能架構和軟件中的工程師和開發人員主要在羅馬實驗室AFRL信息局（AFRL/RI）工作，分為多個核心技術能力（CTC）團隊。特別是處理和開發（PEX）CTC將深入參與開發實現傳感網的DNN，其任務是"為空軍、國防部和情報界提供快速感知，以提高對形勢的認識和對抗的洞察力"。在PEX CTC中，項目按功能分為特征化、極端計算、理解和預測項目，涵蓋了從數據提取到高級感知的一系列步驟。人因工程方面的專業知識來自位于兩個州外的萊特-帕特森空軍基地的飛行員系統（RH），一個跨學科局。下一步，PEX CTC的項目可能會與AFRL的其他部門（如傳感器（RY）或航空航天系統（RQ））的開發項目相結合，將RI的SIAS部分與新的機載收集傳感器和車輛聯系起來。目前，RI的工程師使用來自實際聯合和國家情報來源的樣本數據流，逐步解決在大量非結構化數據中進行分類的計算挑戰。尋找解決方案以保持物理系統的尺寸、重量和功率要求可控，也是一個持續關注的問題，特別是在像Agile Condor這樣尋求在機載系統上提供高水平邊緣處理的項目。

正如前面的文獻調查所示，在DNN中建立穩健性和安全性，以防止ML中的對抗性干擾，是任何網絡開發者都關心的問題，RI內部的團隊也不例外。DNN已經在實驗室環境中以意想不到的方式學習或失敗，引入與人類感知相矛盾的對抗性輸入，可能會使開發有用工具的進展受挫。如果系統繼續隨著新數據集的發展而發展，那么可能很難確定技術成熟度的基準，在這種情況下，AFRL將維持責任轉移給空軍生命周期管理中心（AFLCMC）是合適的。雖然這一點與建立人工智能傳感網格組件的測試和評估標準的重要性有關，但它也應該引發關于復雜系統在開發和維持組織之間的移交是否適合這種技術的討論。理想的情況是，在DNN上擁有最多專業知識的團隊建立模型，并在其整個生命周期內維護它們。一個更有可能和更少破壞性的行動方案是建立具有可升級底盤和外形尺寸的傳感網組件，允許在可用時用替換設備進行簡化升級。考慮到國家實驗室、DARPA、麻省理工學院、卡內基梅隆大學和其他機構的大量人工智能研究投資，空軍領導人應該考慮如何在研究結果公布后，整合部門的投資回報，以改善感知網的設計和功能。

對于美國防部和空軍領導人來說，為未來傳感網的整合創造條件，還有其他獨特的倫理挑戰需要協調。如果 "傳感網格"及其組件能夠提供該概念所承諾的快速和強大的傳感功能，那么期望所有使用該系統的一線分析員都能理解其工作原理是否合理？在發生災難性錯誤的情況下，初級分析員是否需要了解該技術，以便對涉嫌疏忽的錯誤負責？"將邊緣處理納入傳感網設計也是一個有道德爭議的話題。雖然自動數據處理可以節省SIAS的時間，但分析師如何知道邊緣計算程序是否出現故障，或者他們是否被對手欺騙？從傳感器的邊緣去除人類的認知勞動可以更快地提供數據，但結果的準確性可能會有所不同。那些認識到這些問題，但卻因為要比中國或俄羅斯更快地投入技術的壓力而推遲解決的領導人，應該仔細思考這一立場背后的原因。雖然中國和俄羅斯的政府形式與美國根本不同，但事實是，這兩個國家都有等級制度，對國防事務中的錯誤和不精確性的責任也很重視。以類似于核計劃的方式，美國政府應該領導國際社會與競爭對手分享安全、設計良好的人工智能算法的傳統技術，確保沒有國家因為糟糕的態勢感知工具而引發誤解導致的沖突。最好的國際人工智能軍備控制可能來自于對人工智能研究結果的盡可能透明，并倡導負責任地使用該技術。

建議

盡管完整形式的傳感網格還需要幾年時間才能實現，但最終系統的組成部分可能會在未來十年內逐步投入使用。在為下一代人機協作做好技術、人員和組織的準備方面，還有大量的工作要做。美國防部和空軍ISR領導人不應等到正式的系統首次亮相時才開始倡導在傳感網格技術中采用以人為本的設計，將人工智能的培訓目標納入對一線分析員的指導，并為組織接受該技術和與之合作做好準備。當涉及到設計和構建這個復雜的系統時，物資領導人在考慮采購商業的、現成的軟件以獲得更快的數據匯總解決方案時，應該謹慎行事。在沒有為傳感網格及其系統如何運作建立測試、評估和安全標準的情況下，過早地整合多用途商業軟件可能會給傳感網的人工智能互動帶來不確定性和風險。

此外，找到更快解決方案的愿望不應該先于對人的因素的考慮，因為這對安全和富有成效的人機合作至關重要。美國防部領導人還應該認真審視在整個傳感網中整合邊緣處理的計劃，將其作為一個安全和道德問題，并應仔細思考在哪些地方將人類感知與傳感器輸出分離才是真正合適的。雖然培訓人類分析員是ISR體系可以采取的最明顯的措施之一，以減輕來自外部干預和道德失誤的威脅，但物資領導人也必須考慮他們在采購精心設計的、以人為本的技術方面的作用，作為一個同樣重要的保障。

正如美國國防創新委員會的AI原則。雖然年輕的分析員在快速學習數字應用和程序方面表現出很強的能力，但初級人員也傾向于以令人驚訝的方式信任技術。因此，這些分析員必須繼續接受情報分析基礎知識的培訓，使他們善于識別傳感網格中的算法錯誤和遺漏。空軍領導人在2018年為促進AI和ML素養邁出了務實的第一步，啟動了一項試點計劃，以確定具有計算機語言經驗的空軍人員，希望在各種舉措中利用那些具有編碼專長的人。雖然這項措施將有助于區分具有較高數字熟練度的分析員，但教導勞動力如何運作計算機模型可能是一個更有用的技能組合，以準備在傳感網中進行人機合作。"為傳感網就業準備一線分析員的最壞方法是依靠及時培訓來彌補勞動力對技術知識的差距，從而為SIAS活動引入更大的錯誤率。

為了讓組織準備好接收和整合傳感網格，美國防部和空軍領導人必須首先解決人力需求。盡管像傳感網格這樣的系統被設計成模仿人類的認知勞動，但分析人員的勞動對于質量控制和任務管理仍然是至關重要的，更不用說作為識別DNN內潛在篡改或系統故障的保障。現在還不是為預期的技術進步做出任何急劇的力量結構調整的時候，而這種技術進步離投入使用還有好幾年的時間。此外，到目前為止，關于傳感網將如何整合來自聯合部隊的數據，或者是否允許作戰司令部像今天一樣擁有自己獨特的數據戰略和情報資源的討論很少。如果傳感網由于來自一個服務部門或地理作戰司令部的人為縫隙而無法為分析人員提供更多的情報來源，那么該系統是否真正做到了其設計者所宣傳的？這些問題必須在聯合參謀部層面加以解決和調和。最后，利用來自傳感網的情報的組織必須認識到，當他們與機器合作時，他們很容易受到偏見和捷徑的影響。了解外部壓力和交戰規則如何導致對機器輸出的質疑失敗，對于改善人機伙伴關系，真正使SIAS更加有效至關重要。

結論

美國防部和空軍對人工智能在情報中的應用所進行的研究投資，對于確定部隊應如何準備與傳感網格進行人機合作是至關重要的。對領導人和一線分析人員進行培訓，讓他們了解在自動化、人工智能支持的SIAS中存在的道德難題和對手攻擊的可能性，這對保護組織不傳播錯誤信息至關重要。幸運的是，美國防部和空軍ISR領導人主張在傳感網格系統中采用以人為本的設計和培訓模式還為時不晚，因為AFRL的工程師們正在繼續努力為部隊提供一個安全、務實的解決方案。領導人必須認識到以速度換取精確性的組織傾向，并理解精心設計的系統分階段整合將是值得等待的。

人工智能技術的出現為空戰領域的許多研究鋪平了道路。學術界和許多其他研究人員對一個突出的研究方向進行了研究，即無人機的自主機動決策。形成了大量研究成果，但其中基于強化學習（RL）的決策更有效。已經有許多研究和實驗使agent以最佳方式到達目標，最突出的是遺傳算法（GA），A*，RRT和其他各種優化技術已經被使用。強化學習因其成功而廣為人知。在DARPA阿爾法斗狗試驗（Alpha Dogfight Trials）中，強化學習戰勝了由波音公司培訓的真正的F-16人類老飛行員。這個模型是由Heron系統公司開發的。在這一成就之后，強化學習帶來了巨大的關注。在這項研究中，將無人機作為目標，該無人機有一個杜賓斯車動態特性，在二維空間中使用雙延遲深確定策略梯度（TD3）以最佳路徑移動到目標，并用于經驗回放（HER）。首先，它的目的是讓agent采取最佳路徑到達目標，過程中有障礙物。在每個情節中，我們的agent從一個隨機點開始，我們的目標是穩定的，其位置沒有變化。它以最佳和快速的方式找到自己的路徑。然后，為了測試機制的極限，使我們的agent更難達到目標，并使其執行不同的機動性，我們添加了障礙物。它表現得很好，克服了所有的障礙。現在的研究是讓兩個無人機作為多agent在二維空間進行斗狗。這篇研究論文提出了一種運動規劃的算法，它使用了雙延遲深度確定性策略梯度（TD3），這是一種為具有連續行動的MDP定制的算法，使用強化學習作為基礎。