具有高度自主性的軍事系統發展帶來了許多作戰優勢。這些系統通常是高度協作的，并允許優化對復雜問題的多效應對。人工智能，包括深度強化學習，有助于提高這些系統的效率。這項工作提出了一個與信任這些算法有關問題的綜合觀點，并提出了一些改善人機信任的準則。這項工作是在由歐盟資助的30個合作伙伴歐洲財團委托編寫的報告框架內完成的。

用于水雷戰的自主水下無人機，MMCM計劃實例

法國和英國在2010年啟動了一項計劃，評估和開發 "海上反水雷"（MMCM）能力，包括在與母艦安全距離外遠程操作的無人系統。通過持續化解靜態水下威脅，這些系統將提供戰略、行動和戰術上的機動自由，確保海上力量的安全投送，包括在海峽等高風險地區。

MMCM計劃的目標是提供一種新的敏捷的、可互操作的和強大的水雷戰能力。它將有助于在現有水雷戰艦退役時取代它們。這一雙邊計劃于2010年底根據法國和英國之間的《蘭開斯特宮條約》正式啟動。在2018年1月的法國/英國峰會上，法蘭西共和國總統和英國首相申明了他們打算迅速將該系統投入作戰服務[13]。

特別是，在2020年測試了四種作戰方案，分別采用了：一個水面無人機及其探測聲納、一個拖曳聲納、兩個水下無人機和一個水下滅雷機器人。前兩種情況主要是隨著任務的進行對威脅進行探測、分類和定位，其次是通過與前一次任務的數據進行比較來改變探測結果，最后是重新定位和識別幾枚地雷并解除其中一枚地雷。

該計劃的核心是在水下環境中自主發展的能力。這種自主性是通過使用人工智能算法，特別是DRL來實現的，以便自主地將無人機從母艦上移開[14]。盡管水下無人機必須能夠自主行動，但仍有許多人機互動：任務準備、驗證地雷分類和實時任務監測、授權投擲炸藥。這種人機互動是由MMI（人機界面）實現的，比如你會發現下面這個界面。

有一些項目旨在優化這些關系并建立信任關系：例如，泰雷茲國防任務系統公司DxLab的AR{iA}NE項目，旨在顯示操作者和人工智能之間可以有真正的互動[14]。人工智能在這里由控制臺的下半部分代表。它的突出顯示取決于性能指數：這就是人工智能以非常直觀的方式與操作者交流的方式。這個演示設備是為工業展覽準備的。它的設計經過特別考慮，給人以未來主義的印象，讓客戶感覺到他正在與人工智能進行交流。該控制臺集成了一個軟件分析界面，為聲納數據的利用提供了實質內容，因此非常適用于研究人機互動，更確切地說，是人機互動。

用于反無人機作戰的輕型自主無人機

國防公司，如泰利斯、空客和MBDA，正在開發項目，旨在提供反無人機（UAV：無人機）解決方案。商用無人機的擴散化和相當便宜的價格引發了安全和保障問題。例如，在無人機和飛機之間發生了一些事件，還有一些情況，如跨越邊界和在監獄中走私貨物（武器、毒品），或向目標運送爆炸物。這些公司提出了智能解決方案，可以檢測無人機，但也可以通過高度的自主性和人類的環形控制來消除它們。這些系統可以對敵方目標進行探測、識別、定位和消滅。反無人機問題被概念化，并通過以下步驟得到部分解決[16]：

• 威脅探測：利用部署在保護區域的地面傳感器，如雷達、聲學、射頻或光電傳感器來解決；
• 威脅分類：在威脅探測步驟中捕獲的地面傳感器數據上執行的后處理任務；
• 威脅識別：這是一項額外的后處理任務，旨在完善前一步獲得的分類，最好是評估一套獨特的威脅特征特征；
• 威脅追蹤：該任務的結果是威脅所遵循的軌跡或一組軌跡。其目的是保持對威脅的關注，并將其保持在系統傳感器的視野范圍內；
• 威脅評估：評估入侵的無人機所代表的威脅程度，例如通過有效載荷分析或行為理解。執行這一步驟是為了收集情報，并可能調整對該威脅的反應；
• 威脅消除：使用物理或非物理損傷使威脅失效。當然，這是迄今為止最不成熟的步驟。中和技術最終應取決于威脅的性質、其威脅程度和環境條件（以避免或盡量減少附帶損害）。

最新項目的目標是創建和展示一個完整的反無人機系統，能夠解決上述六個步驟，并整合兩個主要部分，一個地面部分和一個空中部分。地面部分可由一個作為指揮和控制站的地面控制站和一些地面傳感器組成，其數量和在空間的分布可根據需要和保護空間的配置進行調整。空中部分可以由盟軍無人機隊組成，這些無人機可以是相同的，具有類似的能力（同質蜂群），也可以具有不同的能力，每個都有一套獨特的專長（異質蜂群）。擁有一個空中段提供了兩個優勢。首先，在傳感方面，它使系統具有盯住目標的能力，可能為人類操作員提供實時視覺反饋，但也能對敵方無人機及其有效載荷進行更詳細和有效的分類和識別。第二，在消滅方面，它應該允許防御者部署更多的外科手術式的反措施，特別是避免過多的附帶損害或不想要的副作用。許多國防公司正在為中和部分開發智能DRL解決方案[17]，以便在盟軍無人機群中做出自主決定。DRL算法也可用于指揮和控制站，以監測整體作戰情況。

用于未來戰斗空中系統（FCAS）的重型自主無人機群

未來戰斗航空系統（FCAS）是一個 "系統簇"，它涉及到新一代戰斗機（NGF）、遠程航母（RC）和一個將所有參與者連接在一起的戰斗云系統： NGF、RC群、衛星、戰艦、地面系統等。

遠程運載器是用來做什么的？設想的應用是非常多樣的：通過幾十架飛機的飽和來穿透敵人的防御，誘騙敵機，執行電子戰任務（干擾），為其他飛機指定目標，執行偵察任務，甚至發射導彈而不是作戰飛機。這些新型機組成員為未來幾十年的空中行動開辟了一個巨大的可能性領域：用無人機代替戰斗機發射導彈，這樣就不會有飛行員的生命危險，騷擾敵人的防線，執行偵察任務，等等。這些設備也可以假裝成駕駛飛機，吸引敵人的巡邏隊，為作戰飛機打開缺口。在遠程載具的核心，制造商正在開發人工智能算法，特別是DRL[18]，以控制每架無人機，但也控制無人機群。DRL算法出色的適應性在這里被用來管理高層和自主決策。

"系統簇"的非常高的互連性也要求建立一個抗網絡攻擊的戰斗云。這些攻擊確實可以破譯通信以獲取情報，甚至干擾或破壞通信，或者更糟糕的是，向半自主系統發出錯誤指令。DRL算法可用于應對正在進行的網絡攻擊。這些攻擊確實可以快如閃電，而人類沒有能力做出足夠快的反應。因此，必須使用智能自動系統來抵御攻擊。DRL似乎再次成為快速、自主和適應性行動的良好解決方案[19]。

邁向可信AI

A. 科學的信任和可解釋人工智能

正如我們所說，在自主系統中使用人工智能有很多問題：倫理、法律、政治等等。這就是為什么有必要在這場技術革命的不同參與者之間建立一種信任關系，從研究人員到用戶和工程師。

數學上的保證。為了確保我們提出的技術解決方案的可靠性，最好能在理論上和數學上保證算法的性能。然而，重要的是要記住，有關的保證在性質上是概率性的，因為大多數ML算法的性質是不確定的。因此，我們將試圖證明，例如，如果該算法有無限量的訓練數據可供支配，它就能夠完成提交給它的任務。或者，人們可能會試圖證明該算法收斂到一個解決方案，而且幾乎可以肯定它是以一個已知的和可控的速度收斂的。這種類型的結果保證存在于許多經典的ML算法中，用于解決某些簡單的問題，并受制于關于訓練和測試數據的某些假設。人工智能的整個研究領域都是關于知道什么是或不是可以通過ML學習的問題，以及什么精度：可能是近似正確的學習[20]。在RL方面還有很多工作要做，它仍然是一種年輕的技術，但理論上的保證越來越多[21]。然而，這些理論結果一般都是基于非常強的假設，這些假設往往是還原性的，并沒有考慮無人機在實踐中使用的非常真實的環境，這有時會使它們不那么相關。

可解釋人工智能。第二個軸心是要建立對人工智能所支配的自主系統的信任，即其行動的可解釋性。當我們可以理解導致人工智能獲得結果的原因時，一個算法被認為是可解釋的。一般來說，目前可解釋的ML算法（XAIs）能夠報告相對簡單的決定，例如指出圖像的哪些區域被用來確定它是一個蘋果。關于RL，為算法的可解釋性設想了幾條途徑。

• 一些RL算法是以完全透明的方式建立的，它允許追蹤不同代理在一段時間內做出的決定。然而，這種方法不能應用于DRL，由于使用了人工神經網絡，DRL并不是完全可解釋的。
• 表征學習是另一種方法，它試圖在推理的某些階段提取最相關的信息。
• 也可以訓練另一種人工智能算法來解釋RL算法的行動，同時相互配合[22]。其他的解決方案仍然存在，提及這些解決方案需要太長的時間，這里的興趣主要是要意識到RL算法的可解釋性正在全面發展，在未來的幾年或幾十年里應該會通過新的里程碑。

讓我們細化前面的觀點，像一些作者那樣考慮人工智能算法的區別，這些算法不僅是可解釋的，而且是可解釋的。事實上，為了解釋它們的推理，已經建立了一些后驗算法，但它們并不能幫助理解初始算法的 "黑匣子"。出于這個原因，人們正在對可解釋的人工智能方面進行研究，這樣就可以說明導致輸出的不同推理步驟[24]。即使DRL算法的參數數量非常大，仍然是廣泛實施這種方法的技術障礙，但可以預期在這個領域會有明顯的進展。

B. 性能信任

對受DRL支配的自主系統有信心的第二個論據是測試期間的性能測量。事實上，即使目前關于人工智能可解釋性的知識狀況不允許完美地理解算法是如何達到其輸出的，但實踐中的結果是好的，表明有非常大的發展潛力。

對其他問題進行歸納的能力。首先，用戶對人工智能技術的信心可以建立在算法解決其他問題的良好能力上，或多或少有些類似。例如，眾所周知，Deepmind的AlphaFold 2 DRL算法在預測蛋白質結構方面特別出色[25]。這種優秀的聲譽源于該算法的大量已發表的測試研究，這讓該領域的大多數科學家對其給予了極大的肯定。雖然蛋白質結構預測與自主無人機的使用無關，但將蛋白質中單個原子的放置與無人機在協作作戰任務中的放置相提并論是很容易和有意義的。在前一種情況下使用DRL，以及所獲得的結果，也有可能使最終用戶對DRL應用于另一個領域的潛力充滿信心。

算法驗證。然而，與經典的ML算法不同，不可能在RL中實現我們在第一部分討論的驗證測試。這是因為所涉及的數據是隨時間變化的，而且所提出的問題也是不同的。要限定所識別的對象是否被正確預測是很容易的（是的，它是一個蘋果，或者不是，它是一個梨子）。另一方面，量化無人機和飛機之間合作的成功要微妙得多：許多標準必須被評估（無人機的定位、它們的速度、它們不同行動的時間）。因此，RL算法的性能測量是通過建立針對要解決的任務的指標來完成的。例如，對于負責訪問一個空間區域的無人機來說，比較正確識別目標的比例、任務完成時間或其他更精確的指標是相關的，這取決于情況和要解決的具體問題。

爭取在RL中實現更好的可重復性。最近還強調了RL算法的一個臭名昭著的問題，即當一些研究人員想要復制他們同事的結果時，一些算法的不穩定性[26]。實驗的可重復性是科學中的一個基本問題，因為它構成了被測試定律（例如，萬有引力定律）的有效性證明。在這里，算法性能的證明之一是可以讓它多次承受相同的情況，并在不同的迭代中獲得非常相似的結果。為了克服缺乏可重復性的問題，新的算法開發框架、新的測試程序和明確的指導方針已經到位，使科學和開發團隊對他們的結果有了更大的信心。

C. 建立一個有人-無人之間的信任協作

優化人機互動

人機協作是現代（協作）戰爭的核心，但人類和智能機器之間的成功協作主要取決于信任。然而，安全與新興技術中心對自主性和人工智能相關的研究[27]發現，在美國軍方的科技項目投資中，789個自主性相關項目中只有18個，287個人工智能相關項目中只有11個提到 "信任 "一詞。研究人員沒有直接研究信任，而是將開發更透明、可解釋和可靠的人工智能作為優先事項。這些努力對于培養人機團隊的信任是必要的，但技術驅動的解決方案并不總是考慮這個等式中的人類因素。

對高性能技術的不充分信任會導致人工智能系統的使用不足或廢棄，而對有限的或未經測試的系統的過度信任會導致對人工智能的過度依賴。這兩種情況在軍事背景下都有獨特的風險，包括事故、友軍交火、對平民的意外傷害和附帶損害。為了讓士兵對自主系統有信心，他們必須知道系統在遇到障礙物時將會做什么。從系統工程的角度來看，這意味著要指定和實施一些能力，如通過假設查詢和信息交流進行信息檢索，以便系統能夠以人類操作者容易理解的方式解釋其推理和行為。換句話說，"在系統中建立信任 "是一種以技術為中心的方法，通過改善與信任密切相關的系統特性和能力，如透明度、可解釋性和可靠性，來建立人機團隊的信任。

DARPA的Squad X計劃[28]將美國陸軍和海軍陸戰隊的步兵小隊與配備先進傳感設備的無人地面和空中飛行器配對，以提高敵對環境中作戰人員的態勢感知和決策。X小隊在2019年初進行的一系列實驗[29]的主要收獲之一是，將人工智能納入任務的規劃和演練階段非常重要。這樣做，士兵可以 "在如何信任人工智能方面進行搏斗"。最終，目標是讓人類作戰人員更好地了解這些自主系統在戰場上的表現，并對它們作為未來任務中的伙伴更有信心。

要怎樣才能讓人們信任技術？在使用先進系統時，一些個人或群體是否更有可能感到自信，而另一些人則更不情愿？人機團隊的部署環境如何影響信任？認知科學、神經科學、心理學、通信、社會科學以及其他研究人類對技術的態度和經驗的相關領域的見解為這些問題提供了寶貴的啟示[30]。

解決道德問題

"殺手機器人 "一直引起人們對潛在自主能力的恐懼[31]。法國國防倫理委員會在2021年批準在武器系統中引入一定程度的自主能力[32]。在法國，沒有辦法授權 "殺手機器人"。這一表述指的是LAWS（致命性自主武器系統）。這只是證實了法國幾年來在這個問題上的立場。但事情很復雜，倫理委員會認為不反對引入一定程度的自主權，因此不反對使用PAWLS（部分自主武器致命系統）。將LAWS與PAWLS區分開來的是 "性質上的差異，這與人類在某些關鍵功能中的地位有關"。致命武器系統的設計是為了演化出自己的操作規則，并自行重新定義其任務。它們不需要指揮部對情況的評估。PAWLS可以自主地被賦予某些任務的責任和執行，但只是暫時的，而且只用于識別、分類、攔截或接觸任務。道德委員會明確表示，它不能在沒有人類控制的情況下采取致命的舉措。即使在這個限制性框架內，也必須制定技術和組織保障措施，以防止任何過度行為。委員會認為，應繼續在與國防有關的人工智能和武器系統自動化領域進行研究。其目的是避免任何 "科學和技術上的放棄"，防止對手開發致命性自主武器，并在對手使用這種武器時進行防御。

自主系統不應

• 破壞指揮系統；
• 違背擁有處置武裝部隊的行動自由的憲法原則；
• 不能為遵守國際人道主義法律原則提供任何保證；
• 違背軍事道德和士兵的基本承諾，即榮譽、尊嚴、
• 控制使用武力和人道。

指南：在以人為本的國防人工智能領域建立信任

G1. 為自主軍事系統上嵌入式人工智能的操作使用案例制定并提供一個法律框架。

G2. 確保在所有情況下都有人類的監督，有人類在環形系統。

G3. 保證在發生事故時的責任追溯。這種責任必須始終由人承擔，而不是由機器承擔。

G4. 開發符合人體工程學的人機界面，允許人與機器之間的對話和理解。

G5. 開發穩健、安全、準確、可重復和可靠的算法，以及評估這些標準的方法。

G6. 為與人工智能互動的軍事人員建立培訓計劃，讓他們了解這些算法的機制、能力和局限性。

G7. 通過對算法、數據和設計過程的評估，確保責任、問責和可審計性。

G8. 制定技術評估程序，以評估對上述準則的遵守情況。

G9. 加快歐洲在人工智能技術方面的培訓工作，特別是針對學術和工業環境的DRL。

G10. 加快歐洲在整合人工智能的國防系統方面的立法工作，以保持歐洲在這一法律方面的領先地位，并確認其在這一領域的領先形象。

G11. 發展國際合作，在自主系統領域進行立法。

G12. 促進研究人員、哲學家、律師、政治家和業務人員之間關于自主系統的對話。

G13. 在有關國防人工智能的研究和應用項目中始終包括信任的概念。

G14. 對協同作戰的未來利害關系有一個明確而具體的看法，以便將人和他們的利益置于系統的中心。

這項工作得到了美國陸軍行為與社會科學研究所 (W911NF19-2-0173) 的支持。

團隊流程：

• 各個組織都在依靠團隊來完成越來越復雜的任務。
• 因此，為了更好地了解成功的團隊，大量的研究都集中在團隊流程上。
• 協調被認為是一個可以影響重要團隊結果的團隊流程。
  • 顯性協調
  • 隱性協調
• 在軍隊中，協調對于任務的成功非常重要。

這項工作是為了支持研究在有爭議的規劃和指導、收集、處理和開發、分析和生產以及傳播（PCPAD）環境中的分析任務和備選支持。這項工作包括一系列廣泛的目標，從認知數據的收集和分析，到流程和工具的重新設計，再到演習支持，以及在許多工作中持續提供認知和情報分析的專業知識。這些工作確定、建立和保持了整個空軍情報、監視和偵察局（AFISR）企業的關鍵聯系，以提高分析員在A2/AD環境中的表現。

這項工作的主要目標是支持美空軍研究實驗室（AFRL）711TH人類性能聯隊（HPW）、空軍系統局、作戰人員互動和準備處、任務分析處（7llth HPW/RHWA）在有爭議的規劃和指導、收集、處理和開發、分析和生產以及傳播（PCPAD）環境中研究分析任務和候選支持。在此過程中，361互動研究與發展（R&D）研究小組提供了各種形式的支持，涵蓋了廣泛的目標，包括認知數據的收集和分析、流程和工具的重新設計、演習支持，以及在多項工作中持續提供認知和情報分析的專業知識。此外，該團隊還幫助進一步識別、建立和維護整個空軍情報、監視和偵察局（AFISR）企業的關鍵聯系，從而使第711HPW/RHW繼續了解情報界（IC）這一重要組成部分的現狀。這種支持的最終目的是提高分析員在現有和新出現的環境中進行分析時的表現。

該團隊為AFRL和AFISR的合作伙伴提供了PCPAD認知和情報分析方面的專業知識和支持，涉及廣泛的群體和需求，包括但不限于以下方面。

• AFRL傳感與效應分析處（AFRL/RYAA）：生命模式研發小組

• 為全球鷹社區提供研發簡報

• 向PCPAD-X委員會做研發簡報

• 多源分析開發與評估（MAD-E）/圖形軌跡調查搜索（INSIGHT）黑客馬拉松支持

• Jukebox18（JB18）演習工作組

• 生命模式工作組（高空持久性紅外[OPIR]/自動目標識別[ATR]技術介紹和專業知識)

• 第711HPW/RHWA - 國家航空航天情報中心（NASIC）OPIR搜索信息交流

• 美國家地理空間情報局（NGA）創新團隊

• AF/A2數據到決策（D2D）贊助的高性能和加速全球情報的MAD-E系統（SHAGI）高性能MAD-E系統（MASH）計劃

• 多個空中作業中心（AOC）和分布式公共地面站（DCGS）的位置，確定通信路徑和結構差異，候選工作站的重新配置，以及整體交叉矩陣

• 為正在開發的多個研發工具進行演示，包括增強型PED（STEP）系統的語音轉文本和其他工具。

• 美空中作戰司令部--提供地理空間情報（GEOINT）任務線索文件輸入

這一努力所產生的具體技術成果見下文，并在后面的章節中進行了非保密級別的總結。請注意，雖然這些活動都支持研究和促進有爭議環境中PCPAD的分析過程和潛在支持這一共同主旨，但由于AFRL的任務和研究需求，它們各自的背景有所不同。除本總結報告中介紹的內容外，還可根據要求提供有關這些活動的其他細節。

達爾豪斯大學大數據分析研究所、加拿大國防研究與發展部（DRDC）-大西洋研究中心和加拿大通用動力任務系統公司（GDMS-C）向加拿大自然科學與工程研究委員會（NSERC）成功申請了一項名為海軍信息空間自動監測（AMNIS）的三年期資助項目。AMNIS啟動會議于2020年10月14日舉行，許多教授、國防科學家和GDMS-C技術人員參加了會議。會議為這三個組織確定了許多行動。與DRDC和GDMS-C相關的一項行動是需要與任務相關的場景來幫助指導預期的研究。因此，DRDC率先描述了一個有代表性的海陸場景，使研究人員能夠更好地了解與AMNIS有關的潛在研究途徑。制定的方案涉及加拿大皇家海軍（RCN）和加拿大陸軍（CA）執行的一項加拿大人道主義任務。該任務是向一個最近遭受自然災害的國家分發食品和醫療用品。一支敵對勢力還試圖偷竊這些物資。該情景描述了通過更好的處理技術和決策來改善信息流、共享和使用的必要性。該方案旨在引起進一步的討論，并幫助鞏固AMNIS參與者的研究課題。

1 引言

2015年，加拿大皇家海軍（RCN）的海上信息戰（MIW）概念[1]發布，概述了信息對RCN的影響。MIW的推出使人們非常需要關注信息，它既是皇家海軍使用的一種資源，也是為了更全面地使用和利用優勢而需要理解的一個概念。

該概念文件概述了信息的影響，包括其廣泛的可用性、皇家海軍對信息的依賴性以及信息的使用，特別是在戰爭中和作為戰爭倍增器的跨梯隊的使用。該概念文件還談到需要更好的處理技術來處理MIW功能領域內的數據量，如指揮、控制、通信、計算機、情報、監視和偵察（C4ISR）、指揮和控制（C2）、情報、監視和偵察（ISR）以及態勢感知（SA）。

在MIW概念文件之后，2016年又發布了RCN信息戰戰略文件[2]。這里的重點是發展海戰MIW能力和能力，以支持國內活動（即加拿大的防御）和國際部署。盡管戰略文件指出了信息的更多傳統用途，如收集、利用和傳播，但它也認識到網絡武器領域是一個機動的地方，可以采取防御和進攻的行動。MIW的概念文件涉及物理、虛擬和認知領域，而戰略文件則談到了信息領域，從而表明了信息對于作戰人員的地位和重要性。

在概念和戰略文件之后，加拿大在2017年發布了新的國防政策[3]。該國防政策并沒有明確提到信息領域。然而，該政策確實催生了兩個最近的文件，繼續表明信息對RCN的重要性：2019年的DND數據戰略[4]，以及2020年的RCN數字海軍[5]。

數字海軍[5]支持加拿大國防政策[3]的創新目標，特別是那些涉及適應和利用新技術的能力。數字海軍 "作為一個指南，將數字技術與人結合起來加以利用，以確保未來海軍的成功和可持續。這份文件提出的前進方向涉及自動化、大數據分析、云計算、人工智能（AI）和機器學習（ML）方面的創新，成功是指通過上述手段做出數據驅動的決策的RCN。

數字海軍的概念促進了企業和運營RCN社區在決策中對數據的使用。在操作方面，這是為了將海軍團隊和水兵從日常工作中更平凡的方面解放出來，通過自動化功能，如基于規則的重復性任務。從更廣泛的操作角度來看，使用這種數字技術和技巧是為了更好地進行操作。

上面提到的所有文件都指出，希望將RCN推向一個信息組織，在這個組織中，信息是用來使用的，但也被用作防御和安全的工具。由于其中一些方面對RCN來說是新的，因此顯然需要一個由信息科學、人工智能、ML以及將這些與認知科學相結合的專家組成的強大而明智的科學團體，以開發更好的人類決策模型來支持RCN的目標。

1.1 發展科學專長

通過政府、學術界和工業界合作伙伴的參與，建立了一個強大而知情的科學界。這個群體完全有能力在與現代軍隊相關的科學和技術問題上取得進展，以幫助滿足國內和國外對加拿大武裝部隊（CAF）不斷增長的需求。

為了發展這個社區，在自然科學與工程研究委員會（NSERC）的聯盟計劃下，成立了一個DRDC（大西洋研究中心）、工業界（加拿大通用動力任務系統公司，GDMS-C）和學術界（達爾豪西大學）的伙伴關系。提交并被NSERC接受的提案名為《海軍信息空間自動監測》（AMNIS）。該提案概述了海上和陸地的信息問題，特別是數據整合、事件和警報的ML、信任和對抗性數據，以及信息的可視化和呈現供用戶使用。

為了給學術研究小組提供背景和指導，下面提供了一個大大簡化的行動的基于場景的描述。該方案包括許多問題，表明與AMNIS相關的可能研究途徑。這里的目的是培養研究人員對與DRDC和GDMS-C有關的問題的理解，使研究人員能夠發展自己的思路，幫助他們追求與他們的研究和AMNIS有關的創新方法、技術和發現。

這項工作的動機是基于兩個愿望，即：

1.描述一個現實但簡化的操作，其中存在與AMNIS相關的信息問題，以及。

2.強調在AMNIS項目下DRDC和GDMS-C感興趣的研究領域。

1.2 概要

其余各節將提供一個現實場景的發揮、可視化部分、性能建模、決策和學習的概述。每一節都包含了一系列的問題，這些問題的提出有助于為研究工作提供思考點和指導。

第2節描述了一個聯合行動的場景，陸地和海洋部隊共同支持人道主義任務。通過可能被破壞并有相關安全風險的節點相互連接和共享信息資源來實現這一目的。第3節討論了可視化在該場景中的作用及其對決策的影響。這包括物理環境的可視化表示，以及額外信息源的聚合如何影響主題專家的決策。本節還考慮了與人工智能（AI）和多樣化技術合作的人類表現模型。第4節討論了如何利用數據檔案來開發和學習對抗性注入檢測方法。第5節以總結性意見完成了本文。

信任是團隊有效性的基礎，它影響著各種團隊過程，包括信息共享、決策和團隊的整體成功。在那些在惡劣的、不確定的、高壓力的環境中工作的高績效團隊中，如軍事、急救、醫療、搜救和救災，在關鍵時刻不適當的信任水平（無論是過高還是過低）會導致隊友之間的次優互動，從而導致不安全的行為（De Jong和Elfring 2010；Costa等人2018）。例如，太過信任，或 "過度信任"，會使操作人員陷入自滿狀態，導致代價高昂的錯誤，并有可能失去人命和昂貴的設備；相反，信任太少，或 "信任不足"，會使團隊成員感到需要不斷監督對方，造成不平衡和不適當的工作負荷（de Visser等人，2020）。信任是通過作為一個聯系緊密的團體訓練，以及隨著時間推移的共同經驗而建立的（Fulmer和Gelfand 2012；Costa和Anderson 2017）。

隨著自主技術的不斷發展，未來的團隊結構很可能包括自主成員，他們的功能不僅是提供支持的工具，而且是成熟的隊友（Phillips等人，2011）。雖然人類表現文獻中有豐富的方法來評估個體（或對）的信任，但在理解如何衡量大型團隊的信任方面還存在差距（Feitosa等人，2020），以及哪些措施可能最適合由多個人類和多個自主系統組成的團隊的復雜性。使信任度量更加復雜的是，團隊信任是一種動態狀態，在團隊的生命周期中不斷波動，并進一步受到社會、任務和環境背景的影響（Schaefer等人，2018a；Schaefer等人，2019a）。然而，信任在這些更大的、異質的團隊中發展和傳播的過程仍然不清楚。因此，為了使這些技術能夠充分支持團隊運作，關鍵是要了解在人類自主團隊的背景下，信任是如何發展、維持和衡量的。因為信任是復雜的，所以需要一種多模式的測量方法。因此，在本報告中，我們描述了一個概念性的工具包，它的開發是為了更準確、更有力地理解人類自主性團隊中的信任。

鑒于我們的未來社會將看到由多個人類和多個自主系統組成的異質團隊的興起，量化團隊不同成員之間的信任關系，以及了解信任對全球團隊動態的一系列影響非常重要。從這個方法來看，人與人之間的信任與人機合作關系，甚至機器與機器合作關系內部的信任是不一樣的。這些不同類型的互動有不同的優先因素和特點，以及這些互動如何影響整個團隊的信任傳播。考慮到所有這些因素，關鍵是要首先了解現有信任措施的能力和局限性，以便對其進行調整以滿足這些需求，或者在必要時，開發新的措施來支持團隊信任評估。為此，本報告探討了信任評估技術的現狀，包括那些新穎的、超出主觀評估范圍的技術。

第2節我們首先定義了人類自主性團隊，并概述了人類自主性團隊特有的團隊信任。

第3節確定并描述了不同類型的信任，這些信任在其發展過程中是不同的，特別是它們如何影響人類自主性團隊合作。

第4節分解了文獻中已被充分記錄的不同的信任度量方法，其中包括團隊信任的主觀、溝通、行為和生理指標，以及這些如何為在動態環境中運作的人類自主性團隊的有效信任校準提供多模式度量方法。在下文中，我們利用一個說明性的案例研究，詳細介紹了度量團隊信任的多步驟方法，并對模式和后續指標的選擇提出了建議，還指出了團隊信任度量中涉及的一些限制和注意事項。

在加拿大國防研究與發展部（DRDC）05da聯合情報收集和分析能力（JICAC）項目下，本科學報告提出了創新貢獻，為作戰提供先進的情報收集任務支持，作為情報需求管理和收集管理（IRM/CM）能力的一部分。它報告了新型收集任務優化工具的設計，旨在支持收集管理人員處理復雜任務和支持收集資產設施。它總結了新的研究和開發情報收集概念和自動決策支持/規劃能力，以支持/建議收集經理有效和高效的資源分配。以多衛星收集調度用例問題為重點，簡要報告了導致快速、自動和優化收集任務的新技術解決方案概念，提供服務水平的改善和增強及時的態勢感知。從人工智能和運籌學中借用的基本概念，目的是在各種任務、機會、資源能力、時間和成本約束下實現收集價值最大化。報告總結了技術成果，描述了新的快速、自動和優化的收集任務解決方案和原型推薦器，以安排真實/虛擬的多衛星星座。它應對了一些缺陷和挑戰，如短視（以單一任務為重點）或臨時性的情報收集任務分配方法，不適合集中式/分布式的開放和閉環資源管理方法或框架，以確保靜態/動態規劃或處理約束的多樣性/差異性和不確定性管理。本報告還旨在向加拿大軍隊情報指揮部（CFINTCOM）、空間總督（DG SPACE）、加拿大聯合行動指揮部（CJOC）和主要的軍事聯合情報、監視和偵察（JISR）利益相關者提供信息。

對國防和安全的意義

本科學報告提出了適用于天基情報、監視和偵察的多衛星情報收集調度問題的新型收集任務技術概念和技術發現。這項工作與雷達衛星星座任務（RCM）項目的后續舉措和加拿大軍隊（CF）在北極和北方的持久性聯合情報、監視和偵察方面的一些優先事項相吻合，以便及時提出增強情報收集任務的解決方案和工具。它提出了新的科學和技術方法，為低密度、高需求的可部署收集資產提供近乎最佳的情報收集。

1. 引言

針對適當的情報、監視和偵察(ISR)應用領域的具有成本效益的天基情報收集任務，對發展適當的國防情報需求管理和收集管理(IRM/CM)能力至關重要。因此，收集管理，特別是收集任務分配，對于保持加拿大領土、空中和海上領域的準確、及時和持久的態勢感知至關重要。典型的收集管理要求包括在資源有限的情況下進行適應性和響應性收集（CFINTCOM）；收集任務分配；規劃執行；傳感器組合優化；支持聯合ISR（JISR）資產的動態執行新任務（CJOC）；實時收集規劃以及有效的傳感器提示（DG SPACE），等等。最終的目的是有效地彌補信息需求和信息收集之間的差距，最佳的資源管理主要是由人員短缺、有限的收集任務自動化、成本效益、資源限制和低密度高需求的收集資產（衛星）在一個時間限制的不確定環境中的發展。通過多衛星收集調度問題（m-SatCSP）開展北極情報和監視的基于空間的圖像情報（IMINT），代表了一個典型的相關使用案例。

為處理情報收集任務的缺陷和挑戰而提出的解決方案[1]有很多。最近關于收集任務，特別是多衛星圖像采集調度的公開文獻，在 "多異質衛星任務的收集規劃和調度：調查、優化問題和數學規劃公式"[2]和 "QUEST--多衛星調度問題的新二次決策模型，計算機與運籌學"[3]。以下是對擬議方法的主要局限性的簡要總結。讀者可以參考后面的出版物[2],[3]以了解更明確的細節。基于低密度高需求的集合資產為前提，一般的問題在計算上是困難的。大多數研究貢獻主要限于同質衛星和單一星座情景，主要處理簡單的觀測點目標（"點 "區域）任務，并提出新的任務聚類和預處理策略以減輕計算復雜性。已呈現的工作大多忽略了大面積覆蓋的復雜性、及復雜的任務結構、聯合價值任務構成、觀測結果和成像機會質量的不確定性以及常見的操作約束。這些制約因素包括最小任務覆蓋閾值、相互任務排斥、任務優先級和成像成本。目前的采集資產任務分配方案大多提供基于短視啟發式的策略，以規劃或分配采集器任務。在實踐中，最好的資源往往是短視推薦或局部選擇，以完成一個特定的任務，而忽略了其他約束條件（例如，為其他采集請求服務的時間窗口和成像機會）、追求的全局目標和持續進行的部分規劃解決方案質量。因此，ISR資源分配和動態重新分配是臨時性的，因為它們是以單一任務為中心的，而不是采用更全面的任務觀，關注整體任務，更好地利用替代機會，更有效地滿足整體收集要求。擬議的基本收集任務的部分解決方案沒有提供一個健全的資源管理框架，以確保適應性動態規劃或處理約束的多重性/多樣性和不確定性管理。它們也未能展示有價值的分布式規劃和融合的協同作用或整合，同時對支持可重構的傳感器網絡提出很少的指導。一方面，減少感知或高級信息融合與資源分配（RA）任務之間的差距，另一方面，規劃（任務分配）和執行（收集）監測之間的差距，仍然難以實現。

這項工作提出了新的研究和發展情報收集概念和自動決策支持/規劃能力，以支持/建議收集人員有效和高效的資源分配。它旨在開發自動咨詢調度組件和概念驗證原型，以實現有效的收集任務分配。以多衛星圖像采集（IMINT）調度為重點，介紹了導致快速、自動和優化采集任務的新技術解決方案概念，改善提供的服務水平，并增強及時的態勢感知。所設想的問題包括許多新的附加功能和完善的元素，這些元素在公開的文獻中主要是被忽視或忽略的。假設在低密度、高需求的收集資產條件下的m-SatCSP，新的特征包括收集資產的多樣性和敏捷性、任務抽象化、更多的包容性目標和更多的約束多樣性。重新審視的表述涉及抽象的情報收集任務，將單一目標區域（點）的重點明確地包括在大面積覆蓋范圍內，同時考慮多個或虛擬的異質衛星星座，脫離了傳統的同質情景。新的空間和時間依賴性，反映更現實的任務復雜性，放松相互獨立和可分離的假設。它抓住了成像質量、部分任務執行和成功概率等概念，擺脫了對有序行動執行或確定性結果的不現實的假設。該方法還重新審視了任務優先級利用的概念。因此，優先權被用作沖突解決機制，而不是基于優先權的有偏見的短視策略，強加任意的任務部分排序來管理高復雜性需求。設想的問題目標是要捕捉到超越通常區域覆蓋范圍特定任務的性能措施，引入收集質量，考慮到探測成功率、跟蹤質量和識別的不確定性，以提高收集的信息價值。基于最近提出的一個問題陳述，即m-SatCSP的背景[3]，將情報請求映射到收集資產成像機會，以實現收集價值最大化，這項工作簡要地擴展了標準確定性問題決策模型，使用常規的混合整數二次規劃優化問題表述[5]。針對基于空間的ISR應用領域，新的優化模型降低了計算復雜性，使得在某些情況下利用精確的問題解決方法成為可能，同時提供了對最優解的約束。在公開文獻中大量報道的傳統特征約束的基礎上，推廣的模型引入了額外的規范，如合適的任務覆蓋閾值、可選的任務互斥、任務優先級、聯合值任務組成、成像/服務時間窗口，以及單個和平均軌道的熱約束。報告了在集中式和分布式決策背景下各種靜態和動態情景下的主要貢獻和創新之處。簡要介紹了為支持收集任務而明確開發的創新模型、求解器和概念驗證原型（推薦器）。

本科學報告總結了技術成果，描述了新的快速、自動和優化的收集任務（改善服務水平，增強態勢感知）解決方案和原型推薦器，為規劃多衛星真實/虛擬星座。它還旨在向CFINTCOM、DG SPACE和CJOC軍事組織通報主要發現，并確定最有希望的收集管理性能要求、技術和工具，容易對正在進行的主要軍事舉措產生潛在影響。這項工作是在2015年12月至2020年3月的DRDC聯合部隊發展（JFD）05da聯合情報收集和分析能力（JICAC）項目下進行的。

本報告概述如下。第2節簡要介紹了m-SatCSP問題陳述。它描述了問題的基本特征，并強調了開環和閉環設定以及集中式和分布式的決策背景。第3節和第4節分別總結了各自的開環（靜態）和閉環（動態）建議的貢獻。簡要介紹和討論了所開發的概念、模型特征、算法或求解器以及主要結果。第5節介紹了在JICAC下明確開發的概念驗證集合任務原型，以檢驗靜態/動態問題。第6節總結了核心貢獻、發現及其潛在影響。最后，在第7節中提出了建議。提出了一些進一步的技術解決方案開發和未來工作擴展的方向。

摘要

本文旨在展示開源數據的潛力，結合大數據分析和數據可視化，以表明特定領域的彈性水平，其中包括北約彈性評估的基線要求(blr)。

本文中描述的概念驗證提取了特定領域的相關彈性指標，涵蓋了包括能源和交通在內的選定基線要求。概念驗證使用交互式儀表板，允許終端用戶從多個角度探索可用的公共數據，以及對這些數據進行高級分析和機器學習模型的結果。

關鍵詞:大數據分析，機器學習，彈性，能源，交通，媒體

引言

軍隊越來越意識到大數據分析在作戰和戰略決策中的重要性和作用。在正確的時間獲得相關信息一直是做出最佳決策的關鍵因素。今天，這種影響甚至更大，因為數據和信息可以大規模收集并提供給每個人。技術和人工智能方法成為利用數據的巨大推動者[1]。

廣泛可用的開源數據來自媒體、科學文章、相關(專家)門戶網站，涵蓋經濟、政治、社會、能源、交通運輸等帶來了創造更有洞察力的背景的可能性，并通過分析各種來源和整合結果為任何評估提供了有價值的新維度。

從軍事角度來看，我們從開源數據中確定了許多跨不同領域的重要指標，這些指標可以用于評估整個聯盟的戰備和恢復能力。來自不同領域的許多指標似乎相互影響，可以相互關聯。

在去年，北約CI機構數據科學團隊參與了一項創新性的概念驗證，包括轉型和作戰命令，如ACT、SHAPE和JFCBS;為了識別、提取、計算和呈現開源數據中最相關的指標，以支持整個聯盟的彈性評估。由于彈性評估是一項復雜的評估，它依賴于許多不同領域和事件的關系，因此該項目定義了較小的范圍，重點關注以下關鍵領域:

?關鍵基礎設施——醫院、發電廠、港口、液化天然氣接收站和軍事設施

?能源——專注于電力和天然氣

?交通——專注于空運、公路、海運和接近實時的交通指標

?媒體——態勢感知

其主要目標是通過使用來自公開數據集的大數據來確定相關指標。然后創建有用的策劃數據和機器學習(ML)模型，以識別相關關系，并提供對當前情況和破壞性事件影響的見解。為了提高結果的準確性，我們最初關注于一個特定的地理區域。

機器學習是現代戰爭系統的關鍵組成部分。本文探討了人工智能的 7 個關鍵軍事應用。

機器學習已成為現代戰爭的重要組成部分，也是我（Nicholas Abell）作為陸軍退伍軍人和數據科學家的主要興趣點。與傳統系統相比，配備人工智能/機器學習的軍事系統能夠更有效地處理大量數據。此外，人工智能由于其固有的計算和決策能力，提高了作戰系統的自我控制、自我調節和自我驅動能力。

人工智能/機器學習幾乎被部署在所有軍事應用中，軍事研究機構增加研發資金有望進一步推動人工智能驅動系統在軍事領域的應用。

例如，美國國防部 (DoD) 的國防高級研究計劃局 (DARPA) 正在資助一種機器人潛艇系統的開發，該系統預計將用于從探測水下水雷到參與反潛行動的各種應用。此外，美國國防部在 2017 財年在人工智能、大數據和云計算方面的總體支出為 74 億美元。預計到 2025 年，軍事 ML 解決方案的市場規模將達到 190 億美元。

以下是機器學習將在未來幾年證明其重要性的七種主要軍事應用。

1. 作戰平臺

來自全球不同國家的國防軍隊正在將人工智能嵌入陸地、海軍、空中和太空平臺上使用的武器和其他系統中。

在基于這些平臺的系統中使用人工智能，可以開發出更少依賴人工輸入的高效作戰系統。它還增加了協同作用，提高了作戰系統的性能，同時需要更少的維護。人工智能還有望使自主和高速武器能夠進行協作攻擊。

2. 網絡安全

軍事系統通常容易受到網絡攻擊，這可能導致機密軍事信息丟失和軍事系統損壞。然而，配備人工智能的系統可以自主保護網絡、計算機、程序和數據免受任何未經授權的訪問。

此外，支持人工智能的網絡安全系統可以記錄網絡攻擊的模式，并開發反擊工具來應對它們。

3. 物流運輸

人工智能有望在軍事后勤和運輸中發揮關鍵作用。貨物、彈藥、武器和部隊的有效運輸是成功軍事行動的重要組成部分。

將人工智能與軍事運輸相結合可以降低運輸成本并減少人力工作負荷。它還使軍用艦隊能夠輕松檢測異常并快速預測組件故障。最近，美國陸軍與 IBM 合作，使用其 Watson 人工智能平臺來幫助預先識別 Stryker 戰車的維護問題。

4. 目標識別

正在開發人工智能技術以提高復雜戰斗環境中目標識別的準確性。這些技術使國防軍隊能夠通過分析報告、文檔、新聞提要和其他形式的非結構化信息來深入了解潛在的作戰領域。此外，目標識別系統中的人工智能提高了這些系統識別目標位置的能力。

支持人工智能的目標識別系統能力包括基于概率的敵人行為預測、天氣和環境條件匯總、潛在供應線瓶頸或漏洞的預測和標記、任務方法評估以及建議的緩解策略。機器學習還用于從獲得的數據中學習、跟蹤和發現目標。

例如，DARPA 的競爭環境中的目標識別和適應 (TRACE) 計劃使用機器學習技術在合成孔徑雷達 (SAR) 圖像的幫助下自動定位和識別目標。

5. 戰場醫療

在戰區，人工智能可以與機器人手術系統 (RSS) 和機器人地面平臺 (RGP) 集成，以提供遠程手術支持和疏散活動。美國尤其參與了 RSS、RGP 和其他各種用于戰場醫療保健的系統開發。在困難條件下，配備人工智能的系統可以挖掘士兵的病歷并協助進行復雜的診斷。

例如，IBM 的 Watson 研究團隊與美國退伍軍人管理局合作開發了一種稱為電子病歷分析器 (EMRA) 的臨床推理原型。這項初步技術旨在使用機器學習技術來處理患者的電子病歷，并自動識別和排列他們最嚴重的健康問題。

6. 戰斗模擬與訓練

模擬與訓練是一個多學科領域，它將系統工程、軟件工程和計算機科學結合起來構建計算機模型，使士兵熟悉在軍事行動中部署的各種作戰系統。美國正在越來越多地投資于模擬和訓練應用。

美國海軍和陸軍都在進行戰爭分析，啟動了幾個傳感器模擬程序項目。美國海軍已經招募了 Leidos、SAIC、AECOM 和 Orbital ATK 等公司來支持他們的計劃，而美國陸軍的計劃得到了包括 SAIC、CACI、Torch Technologies 和 Millennium Engineering 在內的公司的支持。

7. 威脅監控和態勢感知

威脅監控和態勢感知在很大程度上依賴于情報、監視和偵察 (ISR) 工作。ISR 行動用于獲取和處理信息以支持一系列軍事活動。

用于執行 ISR 任務的無人系統既可以遠程操作，也可以按照預先定義的路線發送。為這些系統配備人工智能有助于防御人員進行威脅監控，從而提高他們的態勢感知能力。

具有集成 AI 的無人駕駛飛行器 (UAV) - 也稱為無人機 - 可以巡邏邊境地區，識別潛在威脅，并將有關這些威脅的信息傳輸給響應團隊。因此，使用無人機可以加強軍事基地的安全，并提高軍事人員在戰斗中或偏遠地區的安全性和效率。

結論

人工智能在軍事技術硬件和軟件的大規模采用，向我們展示了現代戰爭中令人難以置信和可怕的范式轉變。毫不奇怪，世界上最大的軍隊比其他任何事情都更加關注這項技術，而這場技術競賽的獲勝者可能會比美國在研制原子彈后擁有更多的全球影響力。 （作者：Nicholas Abell，美國陸軍退伍軍人）

本報告總結了 IST-144-RTG 在基于內容的多媒體分析 (CBA) 方面的研究進展，該研究由來自 NLD、NOR、美國和英國的團隊進行。這些科學家匯集了來自異構媒體源（文本、視頻和圖像）和人類評估的信息檢索策略。因此，可以通過基于內容的信息檢索和多媒體分析來利用多個異構數據源，以提供及時準確的數據概要，并結合人類直覺和理解來開發問題/解決方案空間的全面“視圖”。北約聯盟軍事領導人、指揮官和情報分析員需要這種可互操作的工具，這些工具可以交叉提示從一種方法獲得的知識以在另一種方法中生成任務，以加快態勢感知和決策制定，并應對國防信息空間的復雜性。提供了核心技術組件的描述以及它們在概念演示器中的組合應用的描述，該演示器解決了一個虛構但現實的場景，代表了聯盟面臨的防御挑戰。該報告總結了解決限制所需的進一步工作的發現和建議，包括技術和系統級別的差距，例如用于集成分析服務的開放分布式架構，現在和未來的預期。

Drone Wars UK 的最新簡報著眼于人工智能目前在軍事環境中的應用方式，并考慮了所帶來的法律和道德、作戰和戰略風險。

人工智能 (AI)、自動決策和自主技術已經在日常生活中變得普遍，并為顯著改善社會提供了巨大的機會。智能手機、互聯網搜索引擎、人工智能個人助理和自動駕駛汽車是依賴人工智能運行的眾多產品和服務之一。然而，與所有技術一樣，如果人們對人工智能了解甚少、不受監管或以不適當或危險的方式使用它，它也會帶來風險。

在當前的 AI 應用程序中，機器為特定目的執行特定任務。概括性術語“計算方法”可能是描述此類系統的更好方式，這些系統與人類智能相去甚遠，但比傳統軟件具有更廣泛的問題解決能力。假設，人工智能最終可能能夠執行一系列認知功能，響應各種各樣的輸入數據，并理解和解決人腦可以解決的任何問題。盡管這是一些人工智能研究計劃的目標，但它仍然是一個遙遠的前景。

AI 并非孤立運行，而是在更廣泛的系統中充當“骨干”，以幫助系統實現其目的。用戶不會“購買”人工智能本身；他們購買使用人工智能的產品和服務，或使用新的人工智能技術升級舊系統。自主系統是能夠在沒有人工輸入的情況下執行任務的機器，它們依靠人工智能計算系統來解釋來自傳感器的信息，然后向執行器（例如電機、泵或武器）發出信號，從而對機器周圍的環境造成影響.

人工智能被世界軍事大國視為變革戰爭和獲得戰勝敵人的優勢的一種方式。人工智能的軍事應用已經開始進入作戰使用，具有令人擔憂的特性的新系統正在迅速推出。與軍事和公共部門相比，商業和學術界已經引領并繼續引領人工智能的發展，因為它們更適合投資資金和獲取研究所需的資源。因此，未來人工智能的軍事應用很可能是對商業領域開發的技術的改編。目前，人工智能正在以下軍事應用中采用：

• 情報、監視和偵察
• 賽博戰
• 電子戰
• 指揮控制和決策支持
• 無人機群
• 自主武器系統

人工智能和英國軍事

綜合審查和其他政府聲明毫無疑問地表明，政府非常重視人工智能的軍事應用，并打算繼續推進人工智能的發展。然而，盡管已經發布了概述使用自動化系統的學說的出版物，但迄今為止，英國國防部 (MoD) 仍然對管理其人工智能和自主系統使用的倫理框架保持沉默，盡管已經做出了一些重大決定。軍事人工智能的未來用途。

英國國防部一再承諾發布其國防人工智能戰略，預計該戰略將制定一套高級倫理原則，以控制軍事人工智能系統的整個生命周期。該戰略是在與來自學術界和工業界的選定專家討論后制定的，盡管政府尚未就與人工智能的軍事用途相關的倫理和其他問題進行公開磋商。該戰略的主要目的之一是向行業和公眾保證，國防部是人工智能項目合作的負責任合作伙伴。

與此同時，在沒有任何道德指南的情況下，計劃和政策正在迅速推進，主要問題仍未得到解答。英國軍隊在什么情況下會采用人工智能技術？政府認為何種程度的人為控制是合適的？風險將如何解決？英國將如何向其盟友和對手證明英國打算采取有原則的方法來使用軍事人工智能技術？

軍事人工智能系統帶來的風險 上述人工智能的每一種不同的軍事應用都會帶來不同的風險因素。作為國防部總部后臺操作的一部分，對數據進行排序的算法會引發不同的問題和擔憂，并且需要與自主武器系統不同級別的審查。

盡管如此，目前正在開發的人工智能系統無疑會對生命、人權和福祉構成威脅。軍事人工智能系統帶來的風險可以分為三類：道德和法律、操作和戰略。

道德和法律風險

• 遵守戰爭法： 目前尚不清楚機器人系統，特別是自主武器如何能夠滿足戰爭法制定的致命決定和保護非戰斗人員的標準。

-問責制：目前尚不清楚如果出現問題，誰來承擔責任：如果計算機運行不可預測并因此犯下戰爭罪行，懲罰它是沒有意義的。

• 人權和隱私：人工智能系統對人權和個人隱私構成潛在威脅。

• 不當使用：在戰斗環境中處于壓力之下的部隊可能會試圖修改技術以克服安全功能和控制。

作戰應用風險

• 偏見的技術來源：人工智能系統的好壞取決于它們的訓練數據，少量損壞的訓練數據會對系統的性能產生很大影響。

• 偏見的人為來源：當人類濫用系統或誤解其輸出時，可能會導致偏見。當作戰員不信任系統或系統非常復雜以至于其輸出無法解釋時，也會發生這種情況。

• 惡意操縱：軍用 AI 系統與所有聯網系統一樣，容易受到惡意行為者的攻擊，這些行為者可能試圖干擾、黑客攻擊或欺騙系統。

戰略風險

• 降低門檻：人工智能系統帶來了政治領導人在沖突中訴諸使用自主軍事系統而不是尋求非軍事選擇的風險。

• 升級管理：涉及人工智能的軍事行動的執行速度降低了審議和談判的空間，可能導致快速意外升級并造成嚴重后果。

• 軍備競賽和擴散：對軍事人工智能的追求似乎已經引發了軍備競賽，主要和地區大國競相發展其能力以保持領先于競爭對手。

• 戰略穩定性：如果先進的人工智能系統發展到能夠預測敵人戰術或部隊部署的程度，這可能會產生高度不穩定的后果。

本簡報列出了為人工智能設想的各種軍事應用，并強調了它們造成傷害的可能性。它認為，減輕軍事人工智能系統帶來的風險的建議必須基于確保人工智能系統始終處于人類監督之下的原則。

迄今為止，公眾對人工智能和機器人技術進步所帶來的社會變化和風險似乎知之甚少。這份簡報的部分目的是為了敲響警鐘。人工智能可以而且應該用于改善工作場所的條件和對公眾的服務，而不是增加戰爭的殺傷力。