未來沖突環境中有兩個相互關聯的問題值得情報組織關注：大數據帶來的分析挑戰和網絡威脅。前所未有的數據生產正在超越人類和機器的分析能力，而不斷涌現的技術正在增強對手滲透通信網絡的能力。在未來的沖突中，情報組織將利用易受網絡入侵的不完善的傳統計算來分析大數據，并通過同樣易受入侵的媒介來傳播已完成的情報。在未來沖突中使用傳統的分析和加密技術，表明情報機構沒有能力或不愿意利用先進技術提高情報分析能力和數據保護能力。在發展中的技術中，基于量子的計算和人工智能以及量子加密技術為這兩個問題提供了解決方案。考慮到量子技術在未來 10-15 年內前所未有的潛力，海軍陸戰隊和其他軍種的情報實體應開發一種量子與傳統計算機的集成架構，以產生人機分析能力和量子加密來保護情報通信網絡。

圖 2：假設沖突 OE 和全球環境中的大數據生產和網絡威脅。已部署的 IOC 與 MIC/MCIA 量子人工智能加密中心之間的支持和關系。

在現代社會中，從移動應用程序組件到醫療支持系統，人工智能（AI）幾乎無處不在。在具有社會影響力的人工智能系統中，人們越來越關注不透明的人工智能，即不清楚如何或為什么會做出某些決策的人工智能。這導致了最近關于“可解釋人工智能”（XAI）的研究熱潮，或者說是讓人工智能更容易被人類用戶解釋和理解的方法。在軍事領域，許多機構都認為，自主和人工智能武器系統不應包含無法解釋的人工智能，紅十字國際委員會和美國國防部都明確將可解釋性作為開發和使用此類系統的相關因素。本文對這一觀點進行了謹慎的批判性評估，認為可解釋性與許多當前和不久將來的軍事自主系統（不包含任何人工智能）無關，可解釋性將被納入大多數擁有人工智能的軍事系統（因為這些系統通常擁有更簡單的人工智能系統），而對于那些人工智能真正不透明的系統，可解釋性的價值將比人們想象的更為有限。特別是，本文認為可解釋性雖然確實是設計中的一種美德，但這種美德主要針對人工智能系統的設計者和故障排除者，而對于實際部署這些系統的用戶和處理者來說，其相關性要小得多。進一步指出，在負責任地將人工智能用于軍事目的方面，人機協作是一個重要得多的要素，并補充說，可解釋性可能會破壞為改善人機協作所做的努力，因為它給人一種初步印象，即人工智能由于其可解釋性，在使用時可能很少（或較少）犯錯。最后，想澄清的是，這些論點并非反對 XAI 在軍事領域的應用，而是要提醒人們不要過度夸大 XAI 在這一領域的價值，但也不要忽視這一方法的局限性和潛在隱患。

自主武器、軍事領域的人工智能以及可解釋性

在開始討論人工智能、自主武器或軍事中的不透明系統之前，至關重要的是一開始就明確對這些術語的確切理解，因為 "未充分發展或未充分闡明的觀點可能，而且很可能會導致混亂、錯誤以及大量時間和精力的浪費"。因此，本節將專門簡要解釋我在本文中所說的 "自主武器系統"、"人機協作"、"人工智能"、"不透明 "和 "可解釋的人工智能"。不過，值得強調的是，我并不是在為所提供的定義或理解爭辯（因為存在合理的分歧空間），而只是在澄清這些術語的含義，因為它們將在下文中通篇使用。

現在，由于圍繞軍事領域人工智能的許多爭論都集中在自主武器系統（AWS）上，我們將從這些系統開始。在過去的十五年中，學者、國家和非政府組織對 AWS 下過很多定義。不過，紅十字國際委員會和美國國防部提出的定義已被越來越多的人所接受，即 AWS 應被理解為在選擇和攻擊目標所需的 "關鍵功能 "方面具有自主性的武器系統，它們可以在沒有人為干預的情況下選擇和攻擊目標。這一定義抓住了自主武器系統的基本特征，即它們在執行核心任務時是自主的，但并不意味著這類系統擁有任何復雜的內部人工智能程序，也不意味著它們是不透明的、不可預測的，甚至不一定是致命的。事實上，根據這一定義，從反輻射導彈到近距離武器系統以及許多其他系統，有許多 AWS 已在世界各地使用了幾十年。

在評估任何這些系統的影響時，同樣至關重要的是，不僅要關注系統本身的能力和局限性，還要注意這些系統如何與人類整合成具有凝聚力的單元。這就是所謂的人機協同，與戰爭中的每一種技術都息息相關。在高端技術中，我們可能會想到像無人駕駛飛機這樣的系統，它們可以自主執行復雜的任務，甚至可以選擇目標并與之交戰，但人類要對其進行監督，并對不同的交戰決策開綠燈。在這種合作中，人類必須充分了解系統、系統的能力和局限性以及交戰環境，從而能夠勝任地評估系統的可靠性，并在必要時停止系統的運行。但是，人機協作也可以延伸到戰爭中最低級的技術項目。

對于戰爭中的任何技術系統，即使是步槍，其提供優勢的能力都與將其整合到有能力和可靠的人機系統（或也許是人-器系統，對于槍支這種簡單的東西）中的能力密切相關。此外，負責任地使用任何技術系統都要求使用這些系統的人類對系統本身有足夠的了解。這是人機協作的核心。

回到自主武器和人工智能，雖然目前使用的許多 AWS 確實幾乎沒有使用人工智能，或僅啟用了初級人工智能系統，但這種情況已經在迅速改變。因此，我們必須明確 "人工智能 "的確切含義。按照一些人工智能研究先驅的說法，我們的定義可能 "希望表明與我們在人類行動中看到的智能范圍相同：在任何實際情況下，在一定的速度和復雜性限制范圍內，可以出現符合系統目的并適應環境要求的行為"，或者我們 "關注的是在可用信息具有一定復雜性的情況下實現目標的方法"。

因此，軍事系統擁有 "人工智能 "的程度將取決于該系統在數據不足的情況下適應環境的能力。在這種有限的條件下，系統越是能夠完成目標并確保收益，我們就越有理由認為它具備人工智能能力。而由于軍事系統通常會在信息和資源有限的情況下運行，因此開發越來越復雜的人工智能系統將面臨壓力，即使這意味著這些系統的透明度或可理解性可能會降低。這就引出了不透明和推動可解釋人工智能的問題。

隨著人工智能系統變得越來越復雜，人類越來越難以完全理解、了解或解釋它們是如何運作的。這可能是由于簡單的實際限制（例如，人工智能使用了太多相互關聯的功能和算法，即使原則上可行，人類也無法解析代碼），也可能是由于真正的理解障礙（例如，人工智能使用了機器學習方法或深度神經網絡，使人類無法理解底層推理過程）。在這種情況下，我們可以認為這些系統是不透明的，或者使用另一種術語，我們可以稱這種系統為"'黑盒子'......一個我們知道輸入和輸出，但看不到它將前者轉化為后者的過程的系統"。在軍事領域，這種 "黑盒子 "似乎提出了一個獨特的棘手問題，因此，XAI 的研究工作由軍事研究人員率先開展也就不足為奇了，美國國防部高級研究計劃局（DARPA）開展的項目使這項研究的能見度越來越高。

為了彌補這些困難，XAI 試圖"（1）在保持高水平學習性能（如預測準確性）的同時，產生更多可解釋的模型；（2）使人類能夠理解、適當信任并有效管理新一代人工智能伙伴"。更簡單地說，"可解釋人工智能（XAI）系統的目的是通過提供解釋使人類更容易理解其行為"。鑒于最近 XAI 研究的蓬勃發展，人們提出了許多方法和途徑，但總的來說，所有方法都旨在實現上述目標 1) 和 2) 的某些版本。在軍事領域，這一點也不例外，因為設計和部署可能不透明的人工智能系統的人總是要在速度和精確度的軍事優勢與道德和法律需要之間取得平衡，即系統既要可預測，又要讓使用這些技術的戰斗人員充分理解。

作為最后一點，值得明確的是，在接下來的論證中，我始終假定參與軍事領域人工智能開發和部署的行為者（至少）是本著誠意和戰爭道德與法律的精神行事的。至少，我假定這種誠意要求努力遵守日內瓦四公約《日內瓦第一附加議定書》第 36 條，即在開發或采用一種新武器時，各方應努力 "確定其使用在某些或所有情況下是否為本議定書或任何其他國際法規則所禁止"。在此基礎上，鑒于假定行為體秉持善意行事，我們可以進一步假定，軍事領域人工智能系統的編程一般會默認設置為保守的瞄準參數；也就是說，自主系統和人工智能系統的設計將以盡量減少瞄準中的誤報為目標，并以誤報的預期增加為代價。

有了這些粗略的定義基礎，我們現在可以進入論證階段。不過，在此之前，應該再次指出，我并不是說上述任何定義或理解都應被視為定義或在某種意義上 "優于 "其他觀點。我所選擇的定義要么與廣泛的學術研究相一致，要么反映了中央政府和非政府組織的觀點，但探究其他定義及其影響也是有價值的。在本文中，我們將從上述理解出發，但我們也可以從其他角度來審視這些問題。

初級 AWS 和人工智能

長期以來，先進國家的軍隊一直可以使用至少具備初級人工智能的自主武器和系統。重要的是，目前使用的絕大多數自主武器要么是先進的自主彈藥，要么是根據相當明確的目標參數運行的反裝備平臺。對于這些武器來說，可解釋性的問題是沒有意義的，因為這些系統在大多數情況下并沒有利用任何形式的人工智能。相反，反輻射導彈定位并攻擊發射與雷達站和干擾器有關的無線電信號的物體，反坦克彈藥利用地震、聲學或高頻雷達跟蹤重型車輛和裝甲，用于導彈防御的近程武器系統主要以飛機的速度和航向作為參數來確定某物是否構成威脅。在這些系統和其他類似系統中（其中許多已使用了幾十年），人工智能是不必要的，通常也不存在（也許除了有限的目的）。因此，可解釋性與 AWS 本身并無特別關系。相反，關鍵的價值在于可預測性；如果作戰人員能夠可靠地預測預警系統在其計劃部署的環境中將如何運作，那么這就足以負責任地安全使用此類系統。此外，如果一個較簡單的預警系統是可預測的，那么部署它的作戰人員就沒有明確的理由需要解釋它的 "行動"。知道它什么時候能正常工作，什么時候不能工作，并據此作出相應的反應，就足以合乎道德和法律地使用這些系統了。知道系統在特定情況下為何會做出特定的瞄準決定，可能有助于作戰人員更快地掌握部署 AWS 的 "該做和不該做"，但一個人不必是工程師或程序員，也能認識到某些戰場情況可能會導致事故。畢竟，武器系統使用方面的訓練是為了讓戰斗人員了解這些系統何時能用、何時不能用，但了解這一點并不要求這些系統的使用者也成為這些系統的故障排除者、維修者和設計者。無論如何，有許多沒有人工智能的自主武器，對于這些武器，XAI 是不需要的。

然而，除了更簡單的 AWS 外，我們還看到越來越多的先進人工智能系統的發展，這些系統的運行可以大大減少人類的監督，并能完成更復雜的任務。事實上，全球主要大國正日益陷入人工智能軍備競賽，弗拉基米爾-普京聲稱 "人工智能是未來......"。[普京聲稱，"人工智能是未來，誰能成為這一領域的領導者，誰就能成為世界的統治者"，習近平補充說，"科學技術已成為全球大國競爭的主戰場"。為了回應這種立場，美國最近宣布計劃在未來兩年內開始使用數千套新的自主系統

然而，關于人工智能重要性的聲明，甚至使用更多數量和種類的 AWS 的計劃，并不意味著人工智能在軍事領域將迅速被不透明的 "黑盒 "系統所主導。相反，對于那些當前和不久的將來確實擁有某種形式人工智能的系統（這只是軍事領域所有自主系統的一部分）來說，其中許多系統使用的都是較為初級的程序，這些程序（很可能）是透明的。至于那些可能不透明的方面，通常與人工智能的無異議應用有關。例如，美國國防部高級研究計劃局（DARPA）的 "空戰進化"（Air Combat Evolution）計劃就利用了人工智能研究領域的許多最新突破，開發出了能夠有效參與 "狗斗"（近距離空對空交戰）的自主人工智能系統。在最近的一次比賽中，即 "阿爾法狗斗"（AlphaDogfight Trials），人工智能飛行員甚至能夠在多個領域可靠地超越人類。這些人工智能系統非常復雜，而且由于其設計和訓練方式，幾乎可以肯定它們可能做出的一些決定是不透明的。然而，在噴氣式戰斗機之間的空對空戰斗中，出現目標錯誤或新的不受歡迎或道德可疑行為的可能性要小得多。因此，即使出現不透明的情況，也不會自動意味著存在問題，或需要 XAI。出于各種原因，解釋可能證明是有用的，但解釋具有價值并不表明缺乏解釋就會反對某種人工智能系統或將其部署到戰區。

軍隊中的高級 AWS 和人工智能

初級 AWS 通常不具備人工智能，對于許多具備人工智能的 AWS 來說，人工智能簡單或直接，默認情況下是透明的。而對于目前軍隊中許多不透明的人工智能系統來說，它們的不透明并不一定會損害其在倫理或法律上的可容許性（因為不透明可能只會影響到倫理上中立的決策或默認情況下極少出錯的決策）。然而，隨著人工智能的不斷改進，不斷被應用于更多的任務，不斷變得越來越復雜（同樣，也越來越不透明），可能開始出現有必要將 XAI 作為負責任地使用人工智能系統的基本要求。在本節中，我將對這一寬泛的結論提出異議。特別是，我認為 XAI 往往與負責任地部署人工智能無關（盡管它可能在人工智能設計和生命周期的其他階段具有價值），豐富和深度集成的人機團隊是減輕不透明可能帶來的負面影響的更強有力的方法，而 XAI 甚至可能會破壞負責任的部署，因為它充當了一種形式的許可 "檢查框"，從而減少了強大的人機團隊的動力。

不可預測的 AWS 和不透明的人工智能

人工智能系統可能實際上是不透明的，因為在其后臺運行的（相互關聯的）功能和算法的數量和復雜程度都很高。此外，圍繞深度神經網絡（或更廣義地說，利用機器學習進行訓練）設計的自主武器或人工智能系統原則上也很可能是不透明的，因為設計師或工程師無法完全跟蹤系統學到了什么，以及它是如何從訓練輸入和操作數據到離散輸出的。一些作者進一步認為，機器學習不僅會影響系統的不透明性，而且實際上也會使人工智能系統在本質上具有不可預測性。如果我們回到上文第 2 節對智能的定義，就會明白為什么會出現這種情況。

如果我們以上述方式來理解 "人工智能 "系統，那么可以預見的是，這些系統將有能力以我們認為不可預測的方式行事。這是因為，這些系統需要在海量數據采樣的基礎上接受訓練，才能有效或負責任地部署。然而，這種訓練不可避免地不會包括它們可能遇到的每一種情況，或者至少不會包括從每一個角度、在每一種環境、在每一種天氣等情況下可能遇到的每一種情況。很簡單，系統需要訓練到足夠強大的程度，但在實際部署過程中，它仍然需要在信息不完整或在訓練過程中沒有直接遇到信息的背景下做出判斷。這樣一來，這類系統幾乎總會有一些固有的能力讓我們大吃一驚，原因很簡單，因為我們不可能訓練它們應對所有情況，當它們遇到一些新情況（或以前遇到過的情況，但從一個新的角度來看）時，它們可能會以新的方式行事。重要的是，這并不是說它們必須具備原位或實時機器學習能力，因為這會導致更深層次的不可預測性，并給負責任地部署此類系統帶來巨大挑戰。但是，系統必須能夠根據所接受的訓練，在訓練者預見到的環境中，以及在可能涉及意外變量的環境和背景下，以部分新穎的方式實現目標。此外，這種適應性問題解決有時可能會導致我們無法完全預測的行為。至少，這一點似乎是可信的。然而，我們無法完全預測某些行為這一事實并不意味著這種行為是不可預測的（在某種令人不安的意義上）。為了說明這一點，讓我們看看聯合國裁軍研究所（裁研所）最近的一份報告中霍蘭-米歇爾關于可預測性的論述。

米歇爾指出，我們無法 "事先知道無人機將采取哪些確切行動"，尤其是在考慮到系統結構不透明的情況下。然而，被派去執行類似任務的人類戰斗員也是如此。事實上，如果我們考慮完全確定的計算機系統，即每個輸入都有明確的唯一輸出，那么對于這些系統來說，我們也無法事先知道它們到底會做什么。這是因為我們無法事先知道它們會遇到什么。不過，盡管我們不知道它們到底會做什么，我們還是知道在某些情況下它們會做什么。對于像米歇爾想象的那樣被派去執行任務的人類戰斗員來說，情況也是如此，只不過程度要輕一些。因此，問題不應該是我們能否預測會發生什么，而是我們能否預測在各種輸入條件下會發生什么。為了論證起見，讓我們假設不透明本身就削弱了我們做到這一點的能力，即可靠地預測在特定輸入條件下會發生什么。XAI 是否會大大改善這種情況或消除這種不可預測性？

為了回答這個問題，我們必須首先區分以下幾種系統：一種是真正自主的系統，在部署時不需要同時進行任何形式的人類監督（人類離環）；另一種是系統自主運行，但其決策可能被人類推翻（人類在環）；還有一種是人類至少部分控制了系統的（部分）功能和目標決策（人類在環）。首先來看離環 AWS 和人工智能系統，我們會發現 XAI 在這些系統的部署過程中無法發揮真正的作用。

如果我們設想的是真正的自主武器系統，其中包含不透明的人工智能，那么這些系統在執行任務時將沒有任何同期人類監督。在設計這些系統時，如果能對所做的每一個決定提供可理解和有幫助的解釋，就能極大地促進對這些系統進行快速有效的訓練；如果系統犯了錯誤或做了一些新奇的、不需要的事情，提供其 "推理 "也同樣能簡化故障排除過程。然而，對于在沒有人類監督的情況下運行的人工智能系統來說，在部署過程中解釋的價值為零。不僅如此，還不可能在部署前對解釋進行有用的審查，作為對系統預期可靠性的一種 "檢查"。這首先是由于米歇爾剛才所討論的對可預測性的擔憂；人工智能系統可能有能力為其行動提供解釋，甚至是事先解釋，但我們無法事先確切知道系統在部署過程中將遇到什么，或者即使我們能知道，我們也無法知道將如何遇到特定物體或目標的確切細節（接近角度、環境溫度、物體的視覺和其他照明，等等）。這些因素都很可能與機器的決策過程高度相關，因此，唯一可能事先給出的解釋將是羅列可能相關和可能遇到的各種因素。這樣的清單必然會包含過多的項目，無法在部署前為人類提供有用的幫助，或者需要對其進行修剪和整理，從而忽略掉可能會對決策產生影響的潛在輸入數據組合。簡而言之，對于沒有同期人類監督的系統而言，事實前的解釋幾乎可以肯定要么太多而無法證明有用，要么有限但無法完全代表機器可能遇到的情況（或兩者的某種組合）。即使能克服這些問題，還有一個根本性的障礙，那就是離環系統在機器運行時無人審查決策（盡管在部署前或部署后可能會有人審查）。因此，雖然 XAI 可以改善此類 AWS 部署前或部署后的開發和故障排除，但它不會在部署期間為這些系統提供有用的工具。

人類在環上或環中的系統又是怎樣的呢？如果人類可以推翻機器的決定，或者是決策過程的一部分，那么解釋，尤其是可理解的解釋，似乎可以幫助我們更可預測、更可靠、更負責任地使用這些系統。然而，在我們過于迷戀這種可能性之前，我們有責任應對與 XAI 相關的挑戰，以及在軍事環境中部署人工智能時可能帶來的風險。本小節和下一小節的其余部分將專門探討其中的一些風險和挑戰。

第一個可能令人擔憂的領域是 XAI 系統的設計，以及所提供的解釋對負責監督部署到作戰環境中的人工智能系統的作戰人員是否真正有益。這是一個需要小心謹慎的重要領域，因為拙劣的解釋或沒有突出人工智能評估所依據的正確因素的解釋很容易導致錯誤。例如，Rudin（2019）介紹了一個負責識別圖像的人工智能系統的案例，說明了錯誤的 "解釋 "如何可能導致系統混亂、過度自信或信心不足。事實上，Rudin 的例子圍繞著一張狗的圖像和兩張隨附的熱圖展開，熱圖顯示了人工智能在兩次識別圖像時發現的相關點。兩張熱圖非常相似，但其中一張熱圖解釋的是人工智能系統在評估 "動物是西伯利亞哈士奇的證據 "時發現的相關點，而第二張熱圖顯示的是 "動物是橫笛的證據 "時發現的相關點。在這些大相徑庭的評估中，"解釋 "的相似性表明了解釋的缺陷和誤導性。

考慮到現代戰爭的節奏，以及人工智能系統的監督者需要快速做出決策，這一點尤其成問題。如果作戰人員看到人工智能系統在各種情況下都表現出色，并且總是將所給出的解釋與目標瞄準決策的理由相聯系，那么完全有可能不容易或不可靠地注意到有缺陷的解釋。不僅如此，如果解釋強調了錯誤的因素或沒有包括人工智能容易識別錯誤的方面，就可能無法為戰斗人員提供任何重要的機會，在必要時進行有把握的干預。這并不是說解釋一定會有這樣那樣的缺陷，或者不能做得很好，而只是想說明，如果執行不力，XAI 可能會帶來嚴重的風險。

人們可能希望通過包含更豐富的解釋，或強調解釋中包含哪些因素、排除哪些因素以及各種輸入數據的權重，來減輕上述擔憂。然而，正如提供過少（或無益）信息的解釋可能會造成問題一樣，提供過多信息的解釋也會造成問題。首先，一個顯而易見的問題是，現代戰爭對作戰人員的時間要求越來越嚴格，這限制了他們參與冗長而復雜的解釋的能力。此外，還有一個額外的困難，那就是足以澄清機器推理過程中可能潛伏的潛在問題的解釋很可能是復雜的，會深入到系統編程和訓練的各個方面，或者需要介紹大量的因素（因為人工智能系統做出的每一個決定都可能涉及許多細節）。這些可能會對作戰人員提出更高的要求，要求人工智能系統的部署人員除了接受作戰人員的訓練外，還要接受計算機科學家和工程師的訓練。無論如何，XAI 必須在過多和過少的解釋之間取得平衡，因為任何一端都會帶來風險。

不過，這些都是設計上的問題，也許我們可以合理地認為這些問題會得到及時解決。即便如此，在人工智能系統的部署過程中納入 XAI 很可能會對負責任地使用這些系統造成進一步的障礙。首要的問題是，提供豐富、易懂和翔實的解釋可能會讓人認為，人工智能系統的部署可能會更加容易，或有可能擁有經過普遍訓練的用戶，能夠可靠和負責任地處理各種此類系統。

這里有兩個不同的問題。第一個問題是，XAI 的存在可能會讓人認為，在類似系統（但不是要部署的確切系統）上訓練有素的人類可以可靠地使用其他系統。行動解釋的存在，再加上人類普遍接受過人工智能系統的訓練，可能會讓人相信，人們可以相對輕松地在不同系統之間進行切換。然而，不透明的系統，即使是對其行動做出解釋的系統，在做出每個決定時也會有許多微妙的因素。這些微妙的因素可能并不總是出現在解釋中，如果解釋足夠緊湊和簡單，在戰斗中可以使用，那么這些微妙的因素就很可能不會出現。因此，要理解這些因素并對其做出反應，就需要此類系統的處理人員對所部署的特定系統非常熟悉。然而，XAI 可能會導致 "一種訓練適合所有情況 "的看法，破壞負責任部署所需的人機團隊合作。

其次，與此相關的一點是，XAI 還可能導致一種觀念，即人類可以簡單地 "操作 "人工智能系統，而根本不需要以豐富的方式與之合作。這是因為豐富翔實的解釋可能會讓人相信或普遍認為，只要以批判和深思熟慮的方式參與解釋，并充分了解系統和作戰環境，以便在系統可能犯錯時進行干預，任何人都可以利用系統。然而，如上所述，所提供的解釋不太可能包括支撐具體交戰決策的所有微妙因素和線索。此外，要掌握特定人工智能系統的微妙之處，可能需要人類對該系統的運作有一定程度的深入了解和第一手資料。這可能只有通過將人類與機器組成豐富的團隊（理想情況下，涉及系統和人類的合作訓練），人類才能獲得。通過部署可解釋的人工智能系統，但將其置于未入門（或入門不深）者的權限范圍內，我們將面臨重大的錯誤風險，原因僅僅在于這些系統的 "用戶 "不具備相關知識，無法知道哪些解釋本身可能存在疑點，或哪些解釋可能需要額外審查。

綜上所述，XAI 顯然對人工智能的軍事用途具有價值。不過，這種價值主要與設計和故障排除有關。了解人工智能系統采取某些行動的原因，可以極大地幫助工程師和程序員開發系統，使其對收集到的環境信息做出正確反應，做出保守的目標選擇，并按照戰爭的法律和道德要求行事。同樣，如果人工智能系統在部署過程中犯了錯，或開始表現出新奇的、不受歡迎的行為，可解釋性可以使故障排除過程變得更快、更簡單、更有效，從而體現出巨大的價值；人工智能系統越能清晰地識別并傳達其采取某些行動的理由，工程師、程序員和機器訓練師就越能更好地處理導致其采取不受歡迎的行動的程序或訓練方面的問題。這些都是 XAI 可以促進用于軍事領域的人工智能系統的發展和改進的方式。

然而，這些都是與部署前和部署后階段相關的任務，并不表明 XAI 極大地促進了人工智能在離散軍事應用中的負責任使用。此外，上述論點表明，XAI 在交戰期間往往無關緊要，甚至可能適得其反。核心問題在于，XAI 如果成功，將為戰斗人員提供更多信息，但這并不一定意味著這些信息得到了很好的利用。更重要的是，XAI 與人機協作沒有先天或必然的聯系，因為人類可能會與系統配對并接受適當的訓練，但并不一定能深刻理解系統究竟為何這樣做。此外，人機協作是在軍事領域負責任地使用人工智能的核心因素，雖然 XAI 有可能補充這些協作，并改善作戰人員在戰場上部署先進人工智能的能力，但關鍵是，這種成功將首先取決于協作本身，最好的情況是得到 XAI 的進一步幫助，最壞的情況是受到其破壞。因此，我們應該謹慎樂觀地看待可解釋性為作戰目的部署人工智能的戰斗人員帶來的好處。

人機協作

對于不透明和潛在不可預測的自主武器和人工智能系統而言，解釋可能有助于更好地設計這些系統或改進存在缺陷的系統，但不可能減輕這些系統在實際軍事使用過程中的不透明和不可預測的負面影響。此外，豐富翔實的解釋可能會削弱人們對強大人機團隊的認知需求，而正是這些團隊對人工智能在軍事領域可靠、可預測和負責任的使用至關重要。特別是，我們必須確保從訓練人工智能系統到部署人工智能系統的整個過程中，我們都將發展人機團隊，并著眼于由專門的處理人員負責單個人工智能作戰系統（或可能是由相互關聯的系統組成的小組）。

基于伍德（2023b）中提出的論點，值得強調的第一點是，對于不透明的人工智能系統，我們應該重新思考如何與它們打交道。特別是，我們應該摒棄將人類視為這些系統的 "用戶 "的說法，而是將人類視為人工智能系統的 "部署者"，或者更確切地說，是 "處理者"。更進一步說，我們應該將人工智能系統的行為以及我們對其產生的影響概念化，將其與動物的行為進行相關的類比，而不是與其他技術人工制品的行為進行類比。這樣做的原因有很多，但讓我們簡要地概括一下要點。

如果我們假定行為者是善意的，那么軍隊中使用的不透明人工智能系統就不會是簡單地建造然后部署。相反，它們將接受廣泛的訓練，以熟悉盡可能多的情況和復雜因素。它們還將在某些變量容易導致錯誤或失誤的情況下，接受大量作戰情況的測試。事實上，負責任的開發人員會 "竭盡全力尋找問題，然后找到解決辦法"。所有這一切都將導致系統雖然仍有潛在的不透明性，但在大量情況下都能以可預測的方式運行。然而，盡管我們能夠大致預測它們的行為，但這種不透明性加上系統自身內在的自主行動能力，將意味著人工智能系統能夠以完全不可預測的方式行事。換句話說，負責任地開發的人工智能系統總體上是可預測的，但卻能采取不可預測的行動。

這與戰爭中使用的動物戰斗員的情況相同。動物長期以來一直是人類戰爭的一部分，扮演著各種各樣的角色，但為了具體起見，我們可以把不透明的軍事人工智能系統想象成戰斗突擊犬。這種狗要接受大量訓練，與極度了解它們的人類搭檔，并投入戰斗狀態，執行某些人類無法完成或人類無法像狗一樣完成的任務。重要的是，由于它們接受訓練的數量和質量，以及它們與人類搭檔的質量，戰斗突擊犬一般都具有很強的可預測性。但即便如此，它們仍能自主行動，并能以新奇的方式行事，有時甚至是不受歡迎的方式。人類訓犬員有責任識別出犬在什么情況下會做出不可預測的行為（無論出于什么原因），并做出相應的反應。雖然法律對動物戰斗員的規定存在空白，但在出現錯誤時，要求訓犬員承擔責任也是合理的。

將這一點與 XAI 的討論聯系起來，負責動物戰斗員的人類飼養員一般都非常了解他們的四腳朋友何時會表現正常，何時會變得不可預測。然而，動物的思想是無法探知的，馴獸師也不可能弄清動物行為的確切原因。很簡單，動物是不透明的。不過，這種不透明性并不意味著它們完全不可預測，甚至也不意味著它們通常不可預測，或容易做出不可預測的行為。但重要的是，動物戰斗者的可預測性與誰來預測有很大關系。

對動物負責的飼養員可能對動物的行為有非常可靠的預測能力，而其他戰斗員則可能完全不知道。此外，一個人對某些動物行為內在原因的一般理解也可能無法提供很強的預測可靠性。因此，動物心理學家也許能說出一般情況下是什么驅使了狗，它們做出某些行為的原因是什么，甚至在戰斗情況下是什么驅使了特定的狗。然而，從外部來看，心理學家對某些狗的行為的預測能力很可能遠不如其馴養者。即使心理學家對驅使動物的根本原因有更深入的了解，情況也很可能如此；熟悉和相互信任所提供的信息遠比單純的解釋要多得多。最后，還有一個關鍵點，即飼養員不僅要知道動物何時會出現不可預測的行為（可能是不受歡迎的行為），還要知道動物何時會出現可預測的不當行為。可預測的不當行為是在何時何地部署自主智能體的一個關鍵限制因素，而了解何時可能出現這種情況，最好是通過人類和其他智能體的豐富合作來實現。此外，向不熟悉智能體（不管是狗還是人工智能）的人提供解釋，不太可能突然傳授負責任地部署這些從屬智能體所需的一般理解。為了說明這一點，請看一個例子。

每一種嗅探形式都相當獨特，很容易區分。此外，不同類型的嗅探會導致我可能或必須采取不同的行動。如果它在尋找上廁所的地方，我就應該帶它去一片草地。如果它是在漫無目的地尋找食物，謹慎的做法可能是給它拴上狗鏈（盡管這并非必要）。如果它清楚地知道食物就在附近，并試圖搶在我之前找到食物，我就有責任立即把它拴起來（我們常吃的一些食物對狗來說可能是致命的毒藥）。無論如何，很明顯，它為什么要嗅聞會影響到我的責任。此外，這些類型的嗅探使它變得可以預測。不過，重要的是，它對我（和我妻子）來說是可預測的。另一個對巴迪不熟悉的人只會看到一只狗在嗅。不僅如此，我還可以詳細解釋每種類型的嗅覺是什么樣子，它們意味著什么，以及人類應該采取什么應對措施。然而，即使是這些也可能無濟于事。畢竟，如果它是因為知道有食物而嗅聞，那么它的嗅聞就會更快更瘋狂一些。但對于不了解情況的人來說，自然會問 "比什么更快更瘋狂？在不了解它的情況下，在對它的慣常行為、它所表現出的標記以及相關因素沒有基本了解的情況下，這樣的解釋是沒有什么意義的。不僅如此，我還肯定會注意到一些視覺線索和其他線索，但我自己無法完全解釋清楚。事實上，人類是不透明的，我們的不透明意味著我們無法完全理解為什么我們有時會知道某些智能體會或不會以某種方式行動。很簡單，熟悉會滋生一種理解，而單純的解釋是無法捕捉到這種理解的，我們忽視了這一點，就會給自己帶來危險。無論是對動物還是對人工制品的熟悉都是如此；每一個養狗的人都知道，你的狗所做的一些事情你的大腦會下意識地理解，即使他們無法用語言表達他們理解的是什么；每一個戰斗機飛行員、坦克手或其他依賴機器生存的軍事專業人員都對機器有一種理解，這種理解不是從教科書和解釋中產生的，而是坐在機器里面簡單地獲得的。

最后，還有一個問題是，如果某些(一組)系統實現了 XAI，就有可能導致人工智能系統的部署不那么負責任。這是因為過分強調可解釋性可能會導致 XAI 被視為允許使用人工智能系統的某種 "檢查框"。然而，如上所述，系統的可解釋性有可能是無益的，而更能理解解釋的個體在實際預測智能體在動態環境中的行動時也有可能不那么稱職。因此，AWS 或軍用人工智能系統在原則或實踐上是可以解釋的，但這并不意味著操作員和處理人員可以理解解釋或根據解釋做出可靠的預測。真正的努力需要在信任和團隊合作上，而不是在技術成就上，做不到這一點可能會導致災難性的后果。舉例來說，伊朗航空公司 655 號航班被擊落，這是與人機協作失敗有關的最致命的軍事失誤之一。

美國海軍文森斯號導彈巡洋艦配備了最先進的宙斯盾作戰系統，其機組人員將一架民航客機誤認為是伊朗的 F-14，由于 "對系統的能力過于自信，再加上人機界面不佳"，他們對飛機進行了攻擊并將其擊落，導致機上 290 名平民喪生。雖然當時文森斯號上的系統實際上可能是不透明的，但原則上沒有任何東西可以使它們變得似是而非的不透明。不僅如此，使用當前的 XAI 方法使它們變得透明和可解釋當然也是可行的。但這不是重點。伊朗航空 655 號航班被擊落，并不是不透明的系統或對宙斯盾作戰系統內置程序缺乏了解造成的。它是人機協同和各作戰單元之間合作的一系列失誤造成的，而只要促進這些單元之間更好的溝通，就可以避免事件的發生。同樣，部署期間的核心問題不在于系統是否可以解釋，而在于系統（無論是否可以解釋）是否能很好地整合到可靠的人機團隊中，這些團隊表現出合理的信任度，并且每個人都知道什么時候該依賴系統，什么時候不該依賴系統。

作為本節的最后一句話，我再次強調 XAI 確實有價值。只是這種價值不在戰場上，而是在設計和故障排除實驗室中。因此，這并不是說我們應該放棄 XAI，而是說我們應該認識到其好處的局限性。否則，我們可能會被過度夸大的研究項目所蒙蔽，而無法認識到其他價值（如人機協作）的極端重要性。此外，我們可能會發現自己有了一個 "道德檢查框"，它允許系統被部署到戰場上，即使沒有人能夠負責任地處理它們或可靠地預測它們的行動。

結論

XAI 在軍事領域確實具有價值。通過使不透明的系統變得可解釋，人工智能系統可能會得到更快速、有效和可靠的訓練，設計人員可能會更快地消除可能導致錯誤或新的不想要的行為的過程，而當系統確實以不想要的方式行事時，可理解的解釋可以大大簡化故障排除工作。然而，我們也必須明白，XAI 所能提供的好處是有限的。不僅如此，我們還必須注意這樣一個事實，即在某些情況下實施 XAI 也有可能導致錯誤，而且它可能會削弱人們對訓練有素的人工智能系統處理人員的認知需求，因為這些處理人員非常熟悉這些系統的推理能力、局限性和怪癖。因此，XAI 可以幫助我們更安全、可靠、負責任地開發和維護軍事領域的人工智能系統（部署前和部署后價值），但不加批判地全面實施這些方法也會帶來巨大風險。

最后，值得強調的是，本文的總體意圖并不是要論證 XAI 在軍事領域是好是壞，而是要強調其價值將取決于具體情況，并因參與解釋的人員而異。對于工程師、設計師和故障排除人員來說，解釋幾乎肯定是有益的，因此應盡可能將其納入其中。然而，XAI 對改進（或削弱）沒有同期人類監督的人工智能系統幾乎沒有幫助，對于那些有人類參與或在環的系統，XAI 可能會對負責任地部署復雜的人工智能系統造成障礙。但最重要的是，負責任的部署首先需要強大的人機團隊，其中人類充當人工智能的 "管理者"，而不是 "使用者 "或 "操作者"。在發展這樣的團隊合作時，將戰爭中的人-動物團隊類比為一個有用的出發點，可以讓我們了解到，如果我們將潛在的不透明人工智能系統僅僅視為人工制品，只要對其推理過程有一個解釋，就可以很容易地理解和預測，那么很可能會出現什么樣的風險和陷阱。

生成式人工智能（AI）正在以前所未有的規模與人類互動，為產生巨大的積極影響提供了新的途徑，但同時也引發了人們對個人和社會潛在危害的廣泛關注。如今，人類-人工智能安全的主要模式側重于微調生成模型的輸出，使其更好地符合人類提供的示例或反饋。然而，在現實中，人工智能模型的輸出結果無法在孤立的環境中確定：它們與人類用戶的反應和行為長期緊密糾纏在一起。在這份立場文件中，我們認為，只有通過推理人工智能的輸出和人類行為形成的反饋回路會如何推動交互走向不同的結果，才能為這些人工智能技術提供有意義的安全保證。為此，我們設想了一個高價值的機會之窗，將快速增長的生成式人工智能能力與控制理論中的動態安全框架聯系起來，為未來幾十年以人為本的人工智能安全奠定新的基礎。

圖 1. 在本立場文件中，我們認為存在一個高價值的機會窗口，可將生成式人工智能不斷增長的能力與控制理論中的動態安全框架相結合，從而實現新一代以人為本的人工智能安全分析和大規模系統性風險緩解。

價值與需求：定義安全關鍵型人機交互

在繼續討論之前，我們必須回答這樣一個問題："什么定義了安全關鍵型人機交互？除了人工智能安全目前對價值一致性的關注之外，我們認為，高風險的人工智能系統還必須了解人類的需求，違反這些需求可能會對人類造成不可接受的、往往是無法彌補的損害。在人工智能決策問題的數學表述中，人的價值對應于優化目標（如隨時間累積的獎勵或偏好），而人的需求則對應于必須始終滿足的硬約束。

因此，我們將安全定義為始終滿足人類的關鍵需求。在本文中，我們將人與人工智能的交互作為一個閉環動態系統進行研究，該系統由人的行為和人工智能的輸出驅動，它們共同影響著人工智能的學習和人的未來行為。我們將安全關鍵型人機交互系統定義為：在交互演化過程中，人類的關鍵需求有可能受到侵犯，因此人工智能所做的決策必須積極確保此類侵犯行為不會發生。即使是一個看似無害的人工智能聊天機器人，也可能給人類帶來災難性的后果，例如因投資建議不當而造成不可挽回的經濟損失（Hicks，2023 年）或身體傷害（Xiang，2023 年）。我們認為，由于任何實用的人工智能系統都無法確定人類當前的內部狀態，因此也無法確定他們未來的行為，因此應該要求人工智能系統確保任何可以想象的人類行為（包括適當悲觀的情況）都能保持安全。第 4 節和第 5 節的人類-人工智能系統理論路線圖將更正式地闡述這些關鍵因素。

工業 4.0 通過現代化和優化生產與分銷流程，對價值鏈產生了越來越積極的影響。在這一流程中，數字孿生（DT）是工業 4.0 最前沿的技術之一，它提供了預測、優化和估計狀態和配置的模擬能力。反過來，這些技術能力也鼓勵工業利益相關者投資于這一新模式，但確實需要更加關注其中的風險。更確切地說，部署 DT 的基礎是網絡物理系統、工業物聯網、邊緣計算、虛擬化基礎結構、人工智能和大數據等技術的組成。然而，所有這些技術的融合以及在現實世界中與 DT 物理對應設備的隱性交互會產生多種安全威脅，而這些威脅尚未得到充分研究。在此背景下，本文分析了 DT 范例的現狀，并對與之相關的潛在威脅進行了分類，同時考慮到其功能層和操作要求，以實現更完整、更有用的分類。我們還提供了一套初步的安全建議和方法，這些建議和方法有助于確保適當、可靠地使用 DT。

按照工業 4.0 最初追求的目標，新信息技術（IT）正被納入產品和服務的自動化、生產和分銷過程。在工業 4.0 的尖端技術中，數字孿生（DT）是最突出的技術之一。數字孿生的最初概念源于 1970 年，當時美國國家航空航天局（NASA）要求對航空航天任務（如阿波羅 13 號飛船）的物理組件進行監控，以便診斷問題并提供行之有效的解決方案[1]。然而，這種模擬現實世界系統的方式并不能準確描述當前的 DT 概念，它遠不止是一個虛擬化系統[2, 3]。

今天人們所理解的 DT 概念是由 Michael Grieves 在其產品生命周期管理 (PLM) 執行課程中提出的 [4]，后來又在 [5] 中提出。根據這一概念，DT 通常被認為是 "模擬、仿真、鏡像或孿生物理實體生命周期的機器（物理和/或虛擬）或基于計算機的模型 "的組合[1]。也有其他類似的定義，如 "將物理實體與虛擬對應物相結合的系統，利用虛擬和物理環境的優勢，使整個系統受益"[6]，"對已建成的車輛或系統進行多物理場、多尺度、概率性的綜合仿真，利用現有最佳物理模型、傳感器更新、機隊歷史等，以反映其相應的飛行壽命"[7], "物理設備或系統的計算機化模型，代表所有功能特征以及與工作元素的聯系"[3]，以及 "真實世界實體和過程的虛擬代表，以指定頻率和保真度同步"[8]。

因此，DT 的目的是利用基于規范的技術[9-12]、數學模型[13,14]和應用編程接口（API）[15]，通過數字資產來描述物理資產的特征，所有這些技術都在服務器和/或虛擬化資源（如虛擬機（VM）、容器和虛擬網絡）上運行，其主要目的是預測錯誤、差異 主要目的是預測可能改變系統自然行為的錯誤、變化和相關偏差。反過來，這些服務器與物理世界相連，以便與現實世界的組件進行交互。因此，Grieves 將 DT 與三個主要空間聯系起來（見圖 1，基于 [4] 和 [15]）：

• 物理空間：包括現實世界中的操作技術（OT），如傳感設備、執行器和控制器（如遠程終端單元（RTU）和可編程邏輯控制器（PLC））。

• 數字空間：通過使用能夠模擬狀態、條件和配置并對物理空間做出決策的數字資產來表示物理資產[2]。

• 通信空間：連接物理空間和數字空間，允許 DT 通過信息流和流程干預生產操作。

關于通信空間，格里夫斯在[4]和[5]中強調了雙向接口在 DT 中的重要性；即來自物理資產的數據由數字資產處理，而數字資產則創造新的有用信息，并將其發送回物理空間。這就是物理空間和虛擬空間之間的數字線程[16]。這種通信的一些例子如下 (i) 一個 DT 將其模型與物理模型同步，以保證生產過程中的一致性（例如，用濕度、溫度和壓力等相等的環境參數構建場景）；(ii) 一個 DT 接收來自物理世界的信息，并將其與自己處理過的信息進行比較，這對檢測異常和入侵特別有用；(iii) 一個 DT 建立配置規則和參數，以改變物理資產的行為。

DT 與傳統模擬器的區別就在于這種通信。DT 連接到物理世界，并通過定制的模型（例如，通過實現設備的邏輯及其參數，如時間、位置、地點、流程、功能、幾何形狀等）對物理世界進行細化和精確的表述[6]。[6]). 與此相反，傳統的模擬器并不集成這些專業模型，而這些模型能詳細地再現物理世界的特定特征，并在空間之間建立雙向界面。

為了進一步澄清這些差異并突出 DT 的特點，Kritsinger 等人在文獻[2]中指出了鏡像系統的三種變體，并將它們歸類為：數字模型，一種與現實世界沒有自動連接的孤立系統；數字影子，一種在物理空間和虛擬空間之間自動進行單向通信的系統；數字孿生，一種在兩個空間之間自動進行雙向連接的系統。圖 1 顯示了一個數字孿生系統的實例。該 DT 描述了現實世界中飛機渦輪機的行為，其中收集了來自物理資產的信息（例如傳感器數據）并將其發送到 DT，以觸發仿真模型。同樣，數字資產可以建立配置和執行命令，從而改變物理對應設備的狀態，以保持、優化或提高其組件的運行性能。

為了實現上述目標，數據傳輸系統必須能夠整合算法、技術和通信系統，這些系統能夠共同表示狀態并做出決策，以便在必要時自動對物理資產采取行動。Minerva 等人在文獻[15]中考慮了這一原理，將 DT 概念與物聯網（IoT）聯系起來，以加強空間之間和技術之間的互動。這些技術從網絡物理系統（CPS）到工業物聯網（IIoT）和邊緣計算，并利用了人工智能（AI）和大數據（BD）技術。這種技術異質性也意味著 DT 的設計可以千差萬別，從由連接到智能設備的服務器內運行的虛擬資源組成的簡單 DT 系統，到邏輯遍布整個系統并在網絡邊緣提供支持的更復雜設計，不一而足。這些 DT 設計可用于表示具有不同復雜程度的不同應用場景[17]：(i) 一種產品，即觀察物理資產運行情況的單個 DT；(ii) 一種流程，即觀察生產/裝配線等更大范圍的情況；(iii) 一種系統，即用于描述復雜網絡或工業設施特征的一組產品和流程模型。

迄今為止，無論是工業應用（參見表 1 和 [18]）、智能城市場景 [19]、災害管理 [20] 還是軍事環境 [21]，已有多個使用案例顯示了上述設計的實用價值。Gartner 在其年度戰略技術排名中也強調了這一實用性，將 DT 范式列為十大戰略技術之一：2018 年[22]和 2019 年[23]排名第四，2020 年[24]排名第一。一項市場研究[17]也強調了這一趨勢，該研究證實，2020 年 DT 市場規模最初為 31 億美元，預計到 2026 年將達到 482 億美元。

表 1：使用 DT 模式的一些實例

來自不同私營和公共經濟部門的興趣也吸引了科學專家的關注，他們在將 DT 技術應用于自動化和工程學相關領域方面投入了大量精力。然而，網絡安全問題尚未得到充分探討，這主要有兩個原因：(a) DT 被視為關鍵系統，因為它們參與了自動化過程[5]；(b) DT 還包含知識產權，代表了物理世界的數字副本[48]。很明顯，這兩個方面對于那些可能試圖破壞組織的業務模式、損害其聲譽或造成不可挽回的損失（尤其是在關鍵基礎設施方面）的對手來說是非常重要的。此外，在考慮一般的 DT 場景時，我們還注意到，對手可能不僅從物理空間對 DT 造成傷害，還可能從數字空間對 DT 造成傷害，從而控制底層基礎設施及其物理資產。顯然，攻擊面差別很大，因為 DT 模式的基礎是通過通信系統、技術和算法實現兩個世界的互聯。

因此，本文的主要目的是調查與 DT 范式相關的大量潛在威脅，這需要從上述三個工作空間的角度對該范式所涉及的不同技術進行研究。然而，如果我們不考慮 [49] 和 [15] 中提出的數字孿生的分層概念，此類研究工作將是不完整的，這與 ISO 23247-Part 2 [50]（首個針對制造場景的 DT 標準）給出的基于實體的抽象類似。如圖 2 所示，每一層都建立了一套由多個接口、技術和計算系統提供的基本服務（如數據傳播和獲取、同步、數據建模、模擬、表示）。事實上，由于這些技術和計算系統的集成也會帶來嚴重的安全風險，因此我們在本文中根據這些功能層及其相應的技術對威脅進行了分類。

此外，由于數據傳輸系統被認為是一個關鍵系統，可能會引起對手的極大興趣，尤其是在關鍵基礎設施中使用時，因此必須考慮其運行要求的滿足情況，以便對威脅進行更深入和有用的研究。例如，數據傳播層（與物理和通信空間相對應）的重要數據和資源缺乏完整性或不可用，可能會對同步服務以及 DT 模擬的精度和粒度質量產生不可預見的影響。這種影響反過來又會導致 DT 所提供的最終服務中的無效決策（自動或手動），從而改變所觀察到的物理資產（產品、流程或系統）的行為。此外，與數字空間相對應的技術部署中存在的安全漏洞也會對數字地面站的可靠性和安全性產生影響。攻擊者可以 (i) 增加大量計算開銷，限制模擬進程；(ii) 操縱和偽造相關信息，破壞表示模型的保真度和粒度；(iii) 從數字空間控制實物資產，外泄敏感信息。此外，如果關鍵系統的運行嚴重依賴 DT 的仿真服務進行維護、優化和恢復，那么最終攻擊的后果將是毀滅性的，導致網絡物理要素的基本資源和服務癱瘓和中斷。

在此基礎上，本文其余部分的結構如下： 第 2 節補充了有關 DT 范例的初步概念，確定了功能的主要層次以及與這些層次相關的技術。第 3 節包括 DT 的運行要求，鑒于 DT 運行可能會受到潛在威脅的嚴重影響，尤其是當 DT 技術用于關鍵基礎設施時，對這些要求進行研究至關重要。第 4 節將詳細分析這些威脅，并根據 (i) 可成為 DT 一部分的技術和 (ii) DT 可基于的功能層進行分類。在第 5 節中，我們介紹了在更可信和更受保護的情況下使用 DT 時需要考慮的初步安全方法。最后，第 6 節概述了結束語和未來工作。

圖2:基于四層的數字孿生

生成式人工智能模型能夠執行一系列傳統上需要創造力和人類理解力的任務。在訓練過程中，它們可以從現有數據中學習模式，然后根據這些模式生成文本、圖像和音樂等新內容。一方面，由于它們的多功能性和普遍的高質量結果，它們代表了數字化的機遇。另一方面，人工智能生成模型的使用也帶來了新的 IT 安全風險，在全面分析與 IT 安全相關的威脅時需要考慮這些風險。

針對這種潛在風險，使用生成式人工智能的公司或機構在將生成式人工智能集成到工作流程之前，應進行單獨的風險分析。這同樣適用于開發人員和運營商，因為生成式人工智能的許多風險必須在開發時就考慮到，或者只能由運營公司來影響。在此基礎上，可以調整現有的安全措施，并采取額外的措施。

假新聞嚴重影響著我們的社會。它們影響著消費者、選民和許多其他社會群體。雖然假新聞已經存在了幾個世紀，但生成式人工智能將假新聞提升到了一個新的水平。現在，我們可以自動制造大量高質量、有針對性的假新聞。另一方面，生成式人工智能也能幫助檢測假新聞。這兩個領域都很年輕，但發展迅速。本調查報告全面考察了 2024 年生成式人工智能在假新聞檢測和創建方面的研究和實際應用。按照結構化文獻調查的方法，本文綜合了以下主題集群的當前成果：1）使能技術；2）假新聞的創造；3）作為最相關傳播渠道的案例研究社交媒體；4）假新聞的檢測；5）作為即將出現的技術的深度偽造。文章還指出了當前面臨的挑戰和有待解決的問題。

信息傳播的發展對公眾認知和政治格局的影響由來已久。在斯大林時代，人們利用照片處理技術將政治對手從歷史記錄中抹去，改變了公眾對歷史的看法。納粹德國帝國宣傳部長戈培爾巧妙地利用宣傳來控制輿論，推進納粹議程。

劍橋分析公司是一家英國政治咨詢公司，因其在 2016 年美國總統大選和英國脫歐公投[1] 中扮演的角色而廣為人知。他們的案例表明，針對個人的信息具有巨大的影響力。該公司專門從事數據挖掘、數據分析和選舉過程中的戰略溝通。劍橋分析丑聞利用數據分析技術，通過社交媒體上有針對性的（當時是手工制作的）政治廣告影響選民行為。劍橋分析公司的技術被用于各種政治活動，包括 2016 年美國總統大選和英國脫歐公投。該公司聲稱，其數據驅動方法在塑造政治結果方面非常有效。

生成式人工智能極大地改變了我們的社會[2]。這項技術可以自動生成逼真的圖像、視頻和文本，使人們越來越難以區分真實內容和人工內容。這種生成技術幾乎不需要任何成本，就能大量創建針對個人的信息。生成式人工智能的復雜性給新聞、媒體和信息完整性領域帶來了前所未有的挑戰。

假新聞特指在形式上模仿新聞媒體內容，但在組織過程或意圖上不模仿新聞媒體內容的編造信息；虛假信息是指故意傳播以欺騙人們的虛假信息；錯誤信息是指無意誤導而傳播的虛假信息[3, 4]。假新聞的擴散是一項重大挑戰，需要先進的檢測和緩解解決方案[5]。在此背景下，生成式人工智能（GenAI）作為一種兩用技術應運而生，它既能生成復雜的虛假內容，又能對其進行檢測。

一些調查已經開始探索假新聞和生成式人工智能的各個方面，強調了技術挑戰以及識別和緩解技術的發展[5]。本調查通過系統地探討如何將生成式人工智能技術應用于傳播和打擊假新聞，填補了這一空白。生成式人工智能技術的快速發展，尤其是在自然語言處理（NLP）和深度學習方面的發展，凸顯了對這一領域進行最新分析的緊迫性。

本調查探討了生成式人工智能與假新聞之間的相互作用：

1.生成式人工智能如何用于假新聞的創建和檢測？

2.生成式人工智能領域在假新聞中是如何構建的？

3.如何對現有研究進行系統歸類？

4.推動這一領域發展的相關領域和全球活躍的研究小組有哪些？

5.哪些是目前尚未解決的問題，哪些是未來可能開展的工作？

本調查報告闡述了對生成式人工智能和假新聞文獻的幾項重要貢獻，與現有調查報告有所不同：

1.它在假新聞的背景下對生成式人工智能領域進行了全面的結構性分析。

2.通過對現有工作進行分組，本調查報告對現有方法進行了識別和分類。

3.本調查系統地列舉了領先的研究機構和研究小組，讓人們深入了解當前研究工作的中心。

4.本調查報告強調了尚未解決的問題和潛在的未來研究方向，從而為即將開展的研究繪制了路線圖。

本調查報告的結構如下： 第 II 部分探討了現有的調查，并強調了本調查的必要性。第III 部分介紹了所研究領域的主要概念和方面。第IV部分詳細介紹了本研究采用的方法框架。第V 節深入回顧了該領域的最新研究進展。第六節深入探討了研究課題的演變，重點介紹了一些重要的研究領域。第 VII 節綜合了本調查報告中的論文結論，提煉出當前研究的精髓及其對未來的影響。

圖 1. 生成式人工智能領域的結構概述及其對假新聞的影響，說明了創建和檢測這兩個主題及其子主題和相互關系。藍色表示該領域的主要主題；綠色強調與這些主要主題相關的副主題；黃色表示對理解和應對該領域挑戰至關重要的關鍵技術和方法。

調查報告分為五個相互關聯的小節，分別探討了以下問題：

• 賦能技術研究了自然語言處理（NLP）和變形器等技術基礎，這些技術對生成式人工智能生成和檢測假新聞的功能至關重要。
• 假新聞的創建討論了生成式人工智能在內容創建方面的雙重能力，重點關注其在內容生成和傳播方面的貢獻。
• 作為最相關傳播渠道的社交媒體案例研究分析了社交媒體作為虛假信息傳播渠道的影響力以及假新聞對公眾認知的影響。
• 假新聞檢測探討了假新聞檢測和分析的方法和技術，重點是生成式人工智能在增強這些工作中的作用。
• 即將問世的技術--深度假新聞討論了深度假新聞和合成媒體帶來的挑戰，包括當前的檢測策略以及創建和檢測之間的動態關系。

使能技術

自然語言處理（NLP）和變換器等輔助技術是生成式人工智能發展的基礎。這些方法改善了對人類語言的理解和生成。它們對檢測、分析和生成假新聞具有重要意義。

Schütz 等人（2022 年）探索了 XLM-RoBERTa 模型在跨語言檢測假新聞方面的功效，特別是針對英語和德語文本[47]。他們的方法包括在額外的數據集上進行預訓練和在目標數據上進行微調，強調了多語言轉換器在應對假新聞這一全球性挑戰方面的潛力。

Schütz 等人（2021 年）應用預先訓練好的轉換器模型自動檢測假新聞，展示了最先進的人工智能技術在辨別事實與虛構方面的效率[42]。

Devlin 等人（2018）介紹了 BERT，這是一種轉換器模型，通過實現語言表征的深度雙向訓練，徹底改變了 NLP[17]。該模型為復雜的人工智能應用奠定了基礎，包括細致入微的假新聞檢測機制。

在 "Visual Analytics with Tableau "一文中，Loth（2019）討論了通過Tableau等工具將NLP技術整合到數據可視化中的問題，強調了數據分析和語言處理在從復雜數據集中發掘洞察力方面的交集[48]。

Peters 等人（2018 年）深入分析了 BERT 等模型中使用的上下文詞嵌入如何有助于理解語言的細微差別，這是區分真假新聞的一個關鍵方面[49]。

Maronikolakis 等人（2021 年）解決了識別自動生成標題的難題，證明變換器在區分真假新聞內容方面明顯優于人類[19]。

De Oliveira 等人（2021 年）調查了 NLP 在識別社交網絡假新聞方面的應用，強調了機器學習和語言處理技術在打擊錯誤信息方面的重要性[50]。

Howard 和 Ruder（2018）提出了一種通用語言模型微調方法，說明了如何將預先訓練好的模型調整用于文本分類等特定任務，包括假新聞檢測，從而提高人工智能驅動的分析精度[51]。

Vijjali 等人（2020 年）開發了一種基于轉換器的兩階段模型，用于檢測與 COVID-19 相關的假新聞，將事實檢查與文本引申結合起來以驗證聲明，展示了轉換器模型對當前事件和特定領域的適應性[52]。 Loth (2023) 探討了人工智能的倫理層面，將技術進步與道德責任聯系起來[43]。

Vaswani 等人（2023 年）提出了變換器模型[35]。該模型用注意力機制取代了復雜的遞歸或卷積網絡，在序列轉換任務中取得了優異的性能。通過完全省去遞歸和卷積，Transformer 展示了更高的可并行性和更短的訓練時間。該模型不僅將英德翻譯任務的 BLEU 分數提高了 2 分多，而且在 8 個 GPU 上進行最少的訓練后，在英法翻譯任務中創造了新的單一模型記錄。Transformer 在不同數據規模的英語選區解析中的成功應用進一步證明了它的適應性。

Bubeck 等人（2023 年）對 GPT-4 進行了研究，強調了它在多個學科中接近人類的能力，表明了向人工通用智能（AGI）邁進的趨勢[53]。GPT-4 是新一代 LLM（包括 ChatGPT 和谷歌的 PaLM）中的佼佼者，它在數學、編碼、視覺、醫學、法律和心理學等不同領域展現出了與人類智能接近的能力。GPT-4 的表現優于前輩，展示了它在沒有特定提示的情況下解決新任務的多功能性。這項研究將 GPT-4 定位為 AGI 的早期形式，強調了它的社會意義以及在下一個單詞預測之外建立新研究范式的必要性。

Ma 等人（2024 年）介紹了一種 1 位大語言模型（LLM）變體，即 BitNet b1.58，它采用三元參數 {-1, 0, 1}[40]。這一發展開創了效率的新紀元，它在困惑度和最終任務性能方面與全精度（FP16 或 BF16）變壓器 LLM 不相上下，但內存和能耗卻大大降低。1.58 位 LLM 不僅為訓練高性能、高性價比的 LLM 定義了新的縮放規律，還表明了向新計算范式的轉變，這種轉變有可能得到針對 1 位運算進行了優化的專用硬件的支持。

這些研究成果共同凸顯了 NLP 和轉換器模型在處理和理解復雜語言模式方面的變革性影響，為跨平臺和跨語言檢測和分析假新聞提供了強大的解決方案。

假新聞的制造

生成式人工智能在內容創作中的作用橫跨各個領域，從老齡化研究到合成數據生成，凸顯了其對數字創新的變革性影響及其潛在的倫理考慮。

Zhavoronkov等人（2019）討論了人工智能在老齡化研究中的應用，展示了人工智能如何生成合成生物數據并確定新的治療靶點，展示了生成模型在生物技術中更廣泛的潛力[54]。

Gozalo-Brizuela 和 Garrido-Merchan（2023 年）對大型生成式人工智能模型（如 ChatGPT 和 Stable Diffusion）進行了全面評述，強調了這些模型對各行各業的革命性影響以及對倫理考慮的迫切需要[16]。

在《決勝數字化》一書中，Loth（2021 年）探討了人工智能與商業的融合，強調了戰略性地采用生成式人工智能模型（如 GPT-3）來提升數字文化和促進內容創作的創新[45]。

Jin 等人（2020）回顧了生成式對抗網絡（GANs）在計算機視覺中的應用，說明了生成式對抗網絡在圖像生成和風格轉換方面的多功能性，并解決了模型崩潰等挑戰[55]。

Arora 和 Arora（2022 年）強調了 GANs 在生成合成患者數據中的作用，強調了其對臨床研究的益處以及解決數據隱私和真實性相關倫理問題的重要性[56]。

Radford 等人（2019 年）展示了在大量數據集上訓練的語言模型如何在沒有明確監督的情況下執行一系列任務，為人工智能從人類語言和內容的多樣性中學習提供了一條途徑[57]。

在《KI für Content Creation》一書中，Loth（2024 年）研究了人工智能在生成各種類型內容中的應用，強調了人工智能在創作過程中的技術進步和倫理挑戰[46]。

Weisz 等人（2023 年）提出了生成式人工智能應用的設計原則，旨在促進富有成效的使用，同時減輕潛在的危害，這表明人工智能開發對倫理框架的需求日益增長[58]。

Simon 等人（2023 年）針對人們對生成式人工智能在錯誤信息中的作用的擔憂，認為這種影響可能被高估，并呼吁采用基于證據的方法來理解和減輕潛在問題[59]。

Sandrini 和 Somogyi（2023 年）分析了生成式人工智能的進步對新聞媒體消費的影響[36]。隨著 GenAI 的發展，它最初會導致消費者增加對虛假新聞和點擊誘餌等欺騙性內容的消費。這種早期階段的 GenAI 會扭曲消費者的動機，鼓勵消費低價值商品，從而降低福利。然而，在達到一定的發展門檻后，GenAI 開始使消費者受益。本文認為，早期 GenAI 的負面影響還包括減少對新聞生產的投資。

Ferrara（2024 年）強調了 GenAI 和 LLMs 的潛在濫用問題，強大的能力會帶來重大的社會挑戰[37]。由于 GenAI 應用程序可以生成難以分辨的深度偽造和合成身份，它們會帶來促成惡意活動和有針對性的錯誤信息的風險。本文呼吁人們注意，迫切需要解決濫用 GenAI 制作復雜惡意軟件、偽造身份和制作合成現實的問題。這種濫用對社會的影響凸顯了虛擬世界與現實世界之間界限的模糊，影響著每一個人。

這些作品共同揭示了生成式人工智能與內容創作之間的動態相互作用，強調了該技術的創新潛力，以及對負責任的應用和道德考量的迫切需要。

案例研究：社交媒體是最相關的傳播渠道

社交媒體、虛假信息和公眾認知的交叉點對于了解假新聞的動態至關重要。本節介紹了探討這些主題的主要研究，突出了這些研究在更廣泛的假新聞討論中的貢獻和發現。

Allcott 和 Gentzkow（2017 年）調查了 2016 年美國總統大選期間假新聞的分布和影響。他們發現，與支持希拉里-克林頓的內容相比，支持唐納德-特朗普的假新聞在 Facebook 上得到了更廣泛的分享。這項研究強調了社交媒體在假新聞傳播中的重要作用及其影響公眾輿論和選舉結果的潛力[30]。

布拉德肖、貝利和霍華德（Bradshaw, Bailey, and Howard, 2021 年）概述了全球有組織的社交媒體操縱行為，詳細介紹了各種行為者傳播虛假信息的策略。他們的報告強調了策劃虛假信息活動的產業規模，反映了數字宣傳不斷演變的性質及其對民主進程的影響[33]。

Bradshaw 等人（2022 年）研究了與俄羅斯有關聯的媒體在報道 #BlackLivesMatter 抗議活動時的宣傳策略。該研究揭示了不同俄羅斯媒體屬性之間不同的框架策略，說明了國家支持的媒體是如何利用社會問題來影響公共話語和制造分裂的[60]。

Lewandowsky 和 Van Der Linden（2021 年）探討了錯誤信息的心理基礎，并提出了接種理論，作為建立抵御假新聞能力的前瞻性策略。他們的研究提出證據表明，先發制人地接觸弱化形式的錯誤信息可以為個人 "接種疫苗"，降低對假新聞的易感性[61]。

在《真或假》一書中，奧蒂斯（2020 年）根據她作為中央情報局分析員的經驗，提供了一份識別假新聞的指南。該書為讀者提供了辨別真假的工具，強調批判性思維和核實消息來源的重要性。奧蒂斯的作品是在虛假信息時代提高媒體素養的寶貴資源[44]。

Shu 等人（2020 年）討論了打擊社交媒體上虛假信息的各種策略，強調了教育、研究和合作的作用。他們的綜述介紹了一系列減緩假新聞傳播的方法，包括技術解決方案和提高公眾意識的活動[34]。

Shu 等人（2020 年）介紹了 FakeNewsNet，這是一個包含新聞內容、社會背景和時空信息的綜合數據存儲庫。這一資源有助于研究假新聞在社交媒體上的傳播，為研究人員開發檢測算法和了解錯誤信息的傳播動態提供了寶貴的數據[62]。

Yang和Tian（2021年）研究了COVID-19假新聞背景下的第三人效應，發現個人認為他人比自己更容易受到虛假信息的影響。這種認知可能會阻礙應對假新聞的努力，因為它會導致低估自己在虛假信息面前的脆弱性[63]。

Pennycook 和 Rand（2021 年）深入研究了社交媒體上相信和傳播假新聞背后的心理[64]。他們對 "政治偏見是假新聞易感性的主要驅動因素 "這一普遍觀點提出了質疑，研究表明，在評估與政治觀點一致的新聞時，個人會表現出更好的真假辨別力。研究強調，對真實性判斷力差與缺乏縝密推理、知識不足以及對熟悉程度等啟發式線索的依賴有關。此外，他們還發現個人的信念與他們在網上分享的內容之間存在很大差距，這歸因于注意力不集中，而不是有意分享錯誤信息。這項研究提出，通過干預措施提高用戶對準確性的關注，并利用眾包真實性評級，可以提高社交媒體平臺上內容的可靠性。

這些作品共同提供了對社交媒體上虛假信息所帶來的挑戰的理解，強調了技術解決方案、心理復原力和批判性思維在解決這一問題中的重要性。每篇文章都對檢測策略、心理防御以及更廣泛的社會影響提出了獨特的觀點，使它們與關于生成式人工智能在假新聞傳播中的作用的討論尤為相關。

假新聞檢測

假新聞的擴散及其檢測已成為數字時代的首要問題。本節回顧了對理解和檢測假新聞做出重大貢獻的重要著作。

Cao 等人（2020 年）深入研究了多媒體內容在假新聞傳播中的重要作用。他們的綜述概述了假新聞所利用的視覺內容類型、有效的視覺檢測特征以及多媒體假新聞檢測所面臨的挑戰。與其他作品不同的是，該研究強調了假新聞的多媒體方面，從一個獨特的角度提出了檢測方法[20]。

Jwa等人（2019）介紹了exBAKE，一種利用變壓器雙向編碼器表示（BERT）的假新聞自動檢測模型。通過研究標題與正文之間的關系，他們顯著提高了檢測準確率。該模型依賴于 BERT 的深度上下文嵌入，從而深入了解了假新聞在語言上的細微差別，為今后基于文本的假新聞檢測研究奠定了基礎[18]。

Karnyoto 等人（2022 年）以 COVID-19 大流行病為研究重點，應用 BERT 和 GPT-2 模型以及 GRU-CRF 來增強假新聞檢測。他們的方法凸顯了遷移學習和特征增強在應對健康危機期間錯誤信息快速傳播方面的有效性[22]。

Lazer 等人（2018 年）對假新聞進行了多學科分析，呼吁各領域共同努力減輕假新聞的影響。他們的綜述綜合了有關假新聞傳播、其社會影響以及潛在檢測和干預策略的研究。這項工作為理解假新聞提供了一個廣闊的背景，強調了采用多層面方法檢測假新聞的必要性[31]。

Liu和Wu（2018）提出了一種利用遞歸和卷積網絡對新聞傳播路徑進行分類的新型模型，用于早期檢測社交媒體上的假新聞。他們的方法強調了分析用戶參與模式的重要性，為遏制虛假信息的傳播提供了一種積極主動的方法[65]。

Liu 等人（2019）提出了一種利用 BERT 檢測短篇假新聞的兩階段模型。通過將假新聞檢測視為細粒度分類任務，他們解決了在簡潔文本中識別誤導信息的難題，為實時新聞驗證提供了有價值的工具[21]。

Novo（2021 年）介紹了 MisInfoBot，這是一個新穎的系統，旨在通過監督學習分類和信息檢索來打擊 Twitter 上的 COVID-19 錯誤信息。這項工作與健康誤導信息尤為相關，及時展示了人工智能應對特定誤導信息挑戰的潛力[23]。

Przybyla (2020) 研究了根據寫作風格自動檢測低可信度文檔的方法。通過關注假新聞中典型的煽情和情感詞匯，這項研究有助于理解區分假新聞和可信報道的文體標記[66]。

Qian 等人（2018 年）利用用戶集體智能檢測假新聞，提出了一種生成用戶對新聞文章回復的分析模型。這一創新方法展示了模擬用戶反應作為增強假新聞檢測算法的手段的實用性[67]。

Shu 等人（2019）探討了社會背景對檢測假新聞的影響。他們的研究強調了出版商、新聞作品和用戶之間的三方關系，說明了如何利用這些動態關系來更準確地檢測假新聞。這種結合社交媒體互動的方法為傳統的內容分析方法提供了一個補充視角，突出了考慮假新聞更廣泛傳播環境的重要性[68]。

Silva 等人（2020 年）針對葡萄牙語假新聞的挑戰，提供了一個新穎的數據集，并全面分析了用于檢測假新聞的機器學習方法。這項工作不僅填補了特定語言假新聞檢測資源方面的空白，還深入探討了各種分類策略的有效性，豐富了全球打擊虛假信息的討論[69]。

Zhou 和 Zafarani（2019）探討了如何利用社交媒體中基于網絡的線索進行假新聞檢測，提出了一種模式驅動的方法[32]。他們通過分析傳播者及其在社交網絡中的關系，強調了假新聞的傳播模式。這項研究不僅超越了內容分析，為假新聞檢測增添了新的維度，還增強了假新聞特征的可解釋性。他們的研究結果表明，結合網絡層面的模式（包括節點層面、自我層面、三方層面、社區層面和整體網絡模式）能有效提高假新聞檢測的準確性。

每篇論文都提供了獨特的視角、方法和發現，從而豐富了假新聞檢測領域。從利用視覺內容和先進的 NLP 技術到結合社會背景和用戶互動，這些作品共同推進了我們對假新聞動態的理解。雖然每部作品都有其背景和重點，但它們共同構成了對檢測假新聞的挑戰和機遇的多層面視角，為未來與生成式人工智能的交叉研究奠定了堅實的基礎。

深度偽造技術

深度偽造和合成媒體的出現給信息安全領域帶來了新的挑戰和機遇，需要先進的檢測技術來防止假新聞和被篡改內容的傳播。

Bansal 等人（2023 年）探索了利用卷積神經網絡（CNN）和生成對抗網絡（DCGANs）檢測和消除深層偽造多媒體內容的方法，強調了深度學習模型在減少偽造信息傳播方面的關鍵作用[24]。

Botha 和 Pieterse（2020 年）概述了假新聞和深度偽造內容的創建和檢測方法，強調了它們對 21 世紀信息安全構成的重大威脅，以及強大的檢測工具區分真實內容和合成內容的必要性[25]。

Wang 等人（2020）提出了一種基于神經元行為監測的新方法 FakeSpotter，用于檢測人工智能合成的假人臉，證明深度學習系統能有效識別人臉圖像中的操縱行為，從而促進視覺信息的完整性[26]。

Cardenuto 等人（2023 年）深入研究了通過人工智能生成的合成現實的影響，強調了數字取證技術的緊迫性，這種技術能夠辨別有害的合成創作與現實，尤其是在打擊假新聞和錯誤信息的背景下[27]。

Mosallanezhad 等人（2020 年）通過對抗性深度強化學習方法解決了生成主題保護合成新聞的問題，說明了人工智能在生成真實新聞內容和開發其檢測方法方面的雙重用途潛力[28]。

Cocchi 等人（2023 年）對深度偽造檢測方法對各種圖像變換的魯棒性進行了實驗分析，揭示了檢測模型易受操縱的問題，以及對適應性強、彈性大的檢測算法的需求[29]。

這些作品共同強調了深度偽造的制造與檢測技術的發展之間不斷升級的軍備競賽。它們凸顯了合成媒體帶來的挑戰，以及在生成式人工智能時代不斷創新檢測方法以確保數字內容真實性的必要性。

盡管許多新興技術在市場上取得了長足進步，但其他技術的發展速度卻較為緩慢。歷史經驗表明，這些技術的成功與否差別很大，有的徹底失敗，有的成為日常生活中不可或缺的東西。與新興技術相關的價值創造已成為首席執行官、商界領袖、政策制定者以及世界經濟論壇等全球論壇關注的焦點。他們積極探索利用這些技術創造價值的機會。然而，新興技術的價值往往仍不確定，因為它們在新環境中的采用和使用可能與提供商的預期用例有很大偏差。由于創新的價值不確定且情況復雜，新興技術的商業化面臨著巨大挑戰。

本論文旨在研究在 B2B 環境下，有助于解讀新興技術對客戶價值的流程，重點關注認識到價值的不斷演變和動態性質的流程。論文認為，共同創造流程有助于客戶解讀新興技術的價值。鑒于新興技術不斷演變的性質，必須采取全面的視角，才能充分理解其復雜性。為了應對 B2B 環境中新興技術的不確定價值所帶來的挑戰，本論文提出了一個框架，重點關注三個共同創造過程--實驗、交流和知識中介--這些過程可以幫助客戶解讀新興技術對其業務的價值。最后，論文對其貢獻、理論和實踐意義進行了討論，并提出了進一步研究的建議。

一種新的軍事力量倍增器正在出現。這就是軍事物聯網（MIoT），一個從不斷擴大的網絡來源中獲取數字數據并加以整合，從而創建一個多維情報和行動世界的世界。軍事物聯網由許多技術促成，其中有些是我們熟悉的技術，有些是新技術，但由于設備互操作性的進步和信息處理能力的提高，所有技術都在不斷融合。MIoT 正在成為新的軍事前線，帶來了非凡的能力進步，但也帶來了規劃、管理和部署方面的挑戰。

我們生活在一個互聯的世界。在這個世界里，任何類型的設備或機器，無論是數字還是模擬的，都可以利用體積小、重量輕、價格低廉的無線傳感器和交換機連接到網絡上。所創建的網絡可能在設計上受到限制（即所謂的 "邊緣計算 "模式），也可能是全球數據云的組成部分。但原則上，一切都可以與其他一切相連接。對于軍方來說，這為情報和實時控制從交通或基礎設施管理到動能戰場等各種情況創造了可能性。

從傳感技術中獲取情報并非新生事物。在軍事領域，它已有一個多世紀的歷史。例如，英國陸軍在第一次世界大戰中設計的坑道傳感器。在西線靜止的塹壕戰中，地道挖掘成為一種重要的進攻戰術，陸軍缺乏監聽敵方地道挖掘活動的人員；取而代之的是安裝了遠程傳感器（Tele-geophones 和 Seismo Microphones），只需兩名士兵在中央監聽交換站就能監測 36 個地點。

在第二次世界大戰中，雷達技術脫穎而出，這項傳感技術于 1904 年由德國研究人員首次申請專利，但在成為重要工具之前一直被忽視。隨后，美國在 20 世紀 50 年代部署了聲音監視系統來探測蘇聯潛艇。

所有這些傳感器技術都使用網絡中的遠程設備來整合數據，從而提高數據在沖突中的價值。但是，這些設備成本高昂，有時還不可靠，最常見的是有線設備，其帶寬、數據存儲容量和處理能力近乎無限，早于互聯網時代。

軍事物聯網則不同。如今的傳感器無處不在，具有移動性。它們可在從移動電話蜂窩網絡到安全點對點通信等各種通信網絡中運行。它們可以在大范圍內以低功耗運行（如已在樓宇管理系統中廣泛使用的 WLAN 網絡），并可在不使用服務的情況下持續運行數年。它們可以報告機器和設備的位置和狀態，執行命令，或使用生物識別數據來識別人員和監控生活功能。最重要的是，它們具有潛在的互操作性，能夠將數據輸入各種網絡和機器智能功能。

要實現物聯網的潛力，面臨的挑戰相當大。它需要高水平的組織技能和數據處理能力，以整合普適傳感、普適計算和普適通信。軍事組織必須能夠接受來自各種動態傳感器的信號，如靜態地面傳感器和士兵佩戴的傳感器，以及來自固定和移動設備的數據，包括來自無人機和衛星的情報。它們需要敏捷地跟上不斷變化的技術，同時向潛在對手隱藏自己的能力和知識。

例如，在五年或十年后，MIoT 技術確實有可能讓士兵舉起一個手掌大小的設備，只需輕觸按鈕，甚至在黑暗中，就能在幾秒鐘內知道周圍每個人的身份。然而，要實現這一目標，就必須具備連接多個數據庫和匯集一系列探測技術的能力。這種態勢感知的好處還必須與公民的隱私權和數據保護權相平衡。

圖 1：指揮網絡

只要能夠應對這些挑戰，就有機會創建一個以無與倫比的豐富信息為基礎的領域，其高速、高帶寬網絡既安全又不受干擾，互聯和自愈網絡及數據庫支持人工智能實時決策，豐富的數據與軍事組織及其條令完全融合。

在過去的幾年里，人工智能（AI）系統的能力急劇增加，同時帶來了新的風險和潛在利益。在軍事方面，這些被討論為新一代 "自主"武器系統的助推器以及未來 "超戰爭 "的相關概念。特別是在德國，這些想法在社會和政治中面臨著有爭議的討論。由于人工智能在世界范圍內越來越多地應用于一些敏感領域，如國防領域，因此在這個問題上的國際禁令或具有法律約束力的文書是不現實的。

在決定具體政策之前，必須對這項技術的風險和好處有一個共同的理解，包括重申基本的道德和原則。致命力量的應用必須由人指揮和控制，因為只有人可以負責任。德國聯邦國防軍意識到需要應對這些發展，以便能夠履行其憲法規定的使命，即在未來的所有情況下保衛國家，并對抗采用這種系統的對手，按照其發展計劃行事。因此，迫切需要制定概念和具有法律約束力的法規，以便在獲得利益的同時控制風險。

本立場文件解釋了弗勞恩霍夫VVS對當前技術狀況的看法，探討了利益和風險，并提出了一個可解釋和可控制的人工智能的框架概念。確定并討論了實施所提出的概念所需的部分研究課題，概述了通往可信賴的人工智能和未來負責任地使用這些系統的途徑。遵循參考架構的概念和規定的實施是基于人工智能的武器系統可接受性的關鍵推動因素，是接受的前提條件。

1 摘要

新的數字技術將徹底改變戰爭的方式。最近的武裝沖突局勢，包括國家之間和國家與非國家行為者之間的沖突，已經揭示了這種未來戰爭的趨勢。越來越多地使用算法決策系統，這些系統利用無人駕駛飛行器（UAV）、空間和傳感器技術的重大進步所產生的大量數據，與社交媒體活動、在線行為和其他 "公開信息 "以及移動通信數據等進一步的數字數據源實時融合，已經開始創建持續軍事監控的生態系統。這些發展對受影響的平民人口具有深遠的法律和倫理影響，但仍處于被適當分析和理解的早期階段。

本文首先概述了構成 "未來數字戰場 "的各種技術，并特別關注那些迄今尚未受到重視的領域。在這些部分猜測性描述的基礎上，第二部分強調了一些法律主題領域，這些領域對未來武裝沖突中的人道主義保護有一些潛在的最重要影響。本入門讀物的目的不是對軍事中的新型數字技術所帶來的問題提出完全成型的答案，也不是對每一個確定的挑戰進行深入的法律分析，而是對有關日益數字化的戰場可能產生的影響的最緊迫問題提供一個知情和批判性的概述，以便為學者和政治決策者之間正在出現的辯論提供框架。

關鍵詞：人工智能、戰爭、國際人道主義法、人權、數字戰場、網絡戰爭、監視、情報、隱私

2 未來數字戰場的要素：技術概述

下面一節描述了共同構成 "未來數字戰場 "特征的一些決定性的要素。首先要注意的是，無論這些技術單獨意味著什么，關鍵是要強調和分析使用這些不同技術的聚合效應，以及這些效應對現有法律框架監管或減輕可能對人道主義保護產生的不利后果的持續能力意味著什么。

2.1 攻擊性網絡能力

今天，人們普遍認為，過去三十年來社會的數字化轉型也迎來了一個新的沖突時代，以全新的方法開展軍事行動。最近，網絡戰爭時代的到來也許是這種模式轉變中最明顯和最廣泛討論的方面。作為正在出現的戰場數字化的一個組成部分，攻擊性網絡能力支持未來軍事行動的方式是多方面的。雖然這些工具的使用有時可能是為了補充動能資源，但從軍事戰略的角度和人道主義保護的角度來看，一個潛在的更大的轉變是在不使用任何動能的情況下直接影響敵方的可能性大大增加。

在更傳統的軍事行動過程中，網絡能力可能會被用于破壞性或干擾性的效果，作為最近被稱為 "全域機動戰 "的一部分，即創造 "通過網絡空間增強的決策優勢，以便在地面、空中和海上領域開展行動，阻止和擊敗 "對手。這可能包括通過插入惡意軟件的方式操縱或禁用對手的武器系統，以數字方式攻擊對手的ISR系統或存儲的情報數據，以挫敗偵察活動，或更廣泛地破壞對手的數字基礎設施，正如2008年俄羅斯和格魯吉亞之間的武裝沖突中首次出現的那樣。在這一背景下，需要提及的一個現實世界的例子是美國及其盟友在打擊ISIS的過程中開展的廣泛的網絡作戰，不僅對恐怖組織用于宣傳活動和招募工作的通信網絡和設備進行了數字攻擊，甚至還破壞了該組織的積極無人機行動。

也許更深遠的是，利用進攻性網絡能力來取代依賴某種動能的傳統軍事行動的前景。一些這樣的行動可能是為了最大限度地減少對目標對手的大規模破壞的風險，從而減少升級的風險。奧林匹克網絡攻擊行動，也就是美國和以色列為破壞伊朗納坦茲鈾濃縮設施而部署的Stuxnet惡意軟件，可以作為網絡作戰的一個例子，它雖然有意造成物理損害，但可以說比兩國軍隊和情報機構試圖用戰斗機或無人機發射的動能武器達到相同效果的破壞性要小。同時，在過去十年中，我們看到了針對其他國家關鍵基礎設施（如電網）或民用資產的破壞性軍事網絡行動的例子，這些行動在許多國家都產生了嚴重的、可能是意想不到的影響。這種情況一直在增加，甚至可能慢慢開始取代對更傳統的軍事目標的攻擊，導致人們發現，沖突的行為正在慢慢轉向脅迫和控制敵對國家的平民，而不是試圖擊敗對方的軍事力量。最近的評估指出了這種行動給平民帶來的許多風險。鑒于目前的能力和戰略，有人認為，當涉及到在沖突情況下使用進攻性軍事網絡技術時，總體情況類似于1914年的空戰--這意味著在未來一二十年內，預計會有更大規模、更復雜的作戰，并產生更多的破壞性影響。

2.2 信息戰

宣傳和其他旨在獲得對對手信息優勢的努力，一直是武裝沖突中和武裝沖突后的軍事行動的重要組成部分。然而，互聯網和其他網絡數字技術極大地擴展了操縱信息生態系統以損害對手的可能性，對人道主義保護產生了廣泛的潛在影響，這一點在以前的文件中已經詳細探討過了。更重要的是，與某些網絡能力開始被使用的方式類似，虛假和其他誤導性信息的傳播可以被用來直接影響另一個國家的平民人口，以獲得戰略利益，實現迄今為止需要釋放動能的政治結果。這根本不一定是降級的。在某些情況下，部署這類工具可能會導致目標人口中的緊張局勢加劇，甚至是社區內部暴力。

2.3 人工智能

作為更大的 "未來數字戰場 "的一部分，戰略和作戰層面的軍事活動的最根本轉變預計將由利用機器學習算法（ML）和其他形式的通常被稱為人工智能（AI）的技術來實現。雖然沒有公認的人工智能的定義，但在最普遍的意義上，人工智能可以被理解為 "使計算機能夠補充或取代原本由人類執行的特定任務的過程和技術的'組合'，如作出決策或解決問題"。在這一背景下，經常做出的一個區分是 "通用人工智能 "和 "狹義人工智能"，后者是指能夠 "在特定領域執行編程任務（人類開發的算法）"的計算機系統，據稱是一種高度智能的處理方式，能夠完成大量不同的任務，接近人類水平的認知能力，這種技術目前還不存在，實際上很可能永遠不存在。作為狹義人工智能的一個子類別，"機器學習 "描述了目前普遍存在的訓練算法的方法。依靠這種技術的系統在大量的數據上進行訓練，使它們能夠建立自己的模型來實現某些結果--即進行預測--而不是像以前的人工智能范式所設想的那樣，在處理預先編程的規則上進行操作。這意味著輸出取決于一些變化和相互依賴的因素，如學習過程的類型和所產生的模型，這是算法被輸入的數據的一個函數。這種方法的一個固有特點是，人類操作員對學習的確切機制只有有限的洞察力，這使得操作的結果至少在某種程度上是不可預測的，這取決于特定情況和環境的情況。

作為一種與電力或網絡通信不一樣的多用途技術，將人工智能作為一種統一的發展，對一刀切的監管或政策方法作出反應是沒有意義的。因此，以下各節試圖概述軍事領域的 "人工智能革命"，強調一些單獨的主題領域，這些領域的技術有望在人道主義關切方面證明是最重要和最深遠的。這意味著人工智能的使用對于武裝部隊的內部組織將變得越來越重要，例如采用ML算法來優化軍事設備的維護周期，這一點沒有被提及。此外，需要注意的是，嚴格來說，并非所有的分節在分析上都是獨立的。自主無人駕駛飛行器（UAV）（2.3.2）可能有能力作為致命的自主武器系統（LAWS）（2.3.1）或用于情報、監視和偵察（ISR）任務（2.3.3）或目標定位（2.3.4）。戰場指揮與控制以及人工智能支持的目標定位將取決于ISR，并可能利用自主網絡工具（2.3.5），等等。

2.3.1 致命性自主武器系統

迄今為止，人工智能系統在軍事領域的擴散在所謂的致命自主武器系統的發展和可能的部署方面得到了最詳盡的討論。根據紅十字國際委員會的說法，致命性自主武器系統是一種 "在其'關鍵功能'方面具有自主性的系統，這意味著一種武器可以在沒有人類干預的情況下選擇（即搜索或探測、識別、跟蹤）和攻擊（即攔截、對其使用武力、使其失效、破壞或摧毀）目標"。雖然相當多的國家正在開發這種自主武器，或至少表達了在未來這樣做的意圖，但迄今為止，實際部署這種系統的現實世界案例仍然很少。2021年3月，利比亞問題專家小組向聯合國安理會提交的一份報告指出，據稱土耳其制造的自主致命無人機 "STM Kargu-2 "在利比亞內戰交戰方之間的戰斗中被使用，引起了廣泛關注。根據該報告，該無人駕駛飛行器被 "編程為攻擊目標，而不需要操作者和彈藥之間的數據連接：實際上，這是一種真正的'發射、遺忘和尋找'能力。" 同時，其他專家對這一發現的意義表示懷疑，他們警告說，該報告事實上沒有明確說明無人機在攻擊目標時是否真正自主。

一般來說，觀察家們指出，在致命性自主武器系統的背景下，無論系統的實際人工智能能力如何，"自主 "將仍然是一個相對的概念。正如保羅-沙爾所指出的，沒有任何武器 "會是'完全自主'的，即能夠自行執行所有可能的軍事任務。即使是一個在通訊受阻的環境中運行的系統，在允許它做的事情方面仍然是有限制的。人類仍將設定操作參數，并將部署軍事系統，選擇它們要執行的任務"。盡管有這樣的保留意見，致命性自主武器系統的主題，特別是必須保留多少 "有意義的人類控制 "的問題，這樣的系統在倫理和法律上是合理的，仍然是人工智能在軍事應用和更廣泛的未來數字戰場中最激烈的辯論問題之一，在學術環境和國家之間。自2017年以來，在某些常規武器締約國會議的授權下，一個政府專家小組（GGE）一直試圖解決 "與致命自主武器系統領域的新興技術有關的問題"。2019年，政府專家組發布了 "致命性自主武器系統11項指導原則"

2.3.2 無人駕駛飛行器和無人機集群

雖然關于軍事中的人工智能的公開辯論一直集中在致命性自主武器系統的問題上，但在與自主攻擊目標無關的應用方面，該技術在中短期內可能更有用--而且確實很快就會變得無處不在。在這種情況下，最重要的主題領域之一是在無人駕駛飛行器中使用機器學習算法，它可以被用于各種任務，如自主導航或監視活動，只需要最低限度的人類干預。一般來說，無人機在過去十年中對軍事戰略變得越來越重要，不僅是作為進行 "反恐戰爭 "的首選工具，而且最近在阿塞拜疆和亞美尼亞的國際武裝沖突中也是如此.

可能更重要的是機器人群的發展，它可能由大量的無人機或其他（如陸基或海基）系統組成。盡管尚未投入使用，但該技術將為未來的武裝沖突行為增加一個前所未有的復雜層次。在其最基本的概念中，集群可被定義為 "多機器人系統，其中的機器人協調其行動，共同為執行一個目標而工作"。至關重要的是，正確理解集群意味著實體作為一個整體要超過其各分部分的總和；不僅組成集群的單個機器人不能獨立完成指定的任務，而且如果沒有單個機器人自主地相互協調，試圖通過共享資源和靈活地分配任務來找到完成任務的最有效方法時，集群運作的一些復雜效果是無法想象的，而且在某種程度上是無法預見的。這種 "集群智能 "可能允許在沖突情況下提高協調和速度。集群在軍事上的可能用途是多方面的，包括 "情報、監視和偵察行動；周邊監視和保護；分布式攻擊；壓倒敵人的防空設施；部隊保護；欺騙；搜索和救援行動；反擊集群；以及枯燥、骯臟和危險的任務。

集群提出了關于人類控制的可行性和模型的有趣問題。雖然集群中的每一個單元都是自主行動的，即根據自己的算法設置，但集群本身就是一個自主的實體，包含了每個機器人實體的全部分散的自主決定。因此，人類操作員只能對整個集群進行有意義的控制，而不能對其組成部分進行控制。鑒于其固有的復雜性，可能會導致所謂的 "突發行為"--即在實際任務中測試階段后才出現的行為--然而，一些專家對機器人集群行為的可預測性和可控制性提出了疑慮。其他人則認為，適當的 "設計和建模方法 "可能還是能夠實現適當的人類控制。

除了人類控制的可能性問題外，分分布式、自主的機器人群的結構本身需要高度可靠的通信基礎設施，以實現各個自主實體之間的協調以及人類的指揮和控制。這必然意味著，機器人群在本質上容易受到 "干擾、欺騙、黑客、劫持、操縱或其他電子戰攻擊 "等外部干擾。從法律的角度來看，這意味著采用無人機群的武裝部隊有更大的責任來確保這些系統的安全，并確保在機群開始行為異常并對受保護的人和物造成潛在危險時有能力進行干預，這一點將在下文第三部分詳細討論。

如前所述，盡管有一些相反的聲明，但正確理解的集群技術還沒有實現。雖然有報道稱，在2021年5月的加沙軍事行動中，以色列國防軍成為第一個在戰斗場景中為ISR目的部署無人機群的軍隊，但大群的小型無人機是否真的通過自主通信和相互協調顯示了真正的集群能力，是值得懷疑的。

2.3.3 情報、監視和偵察（ISR）及融合架構

當軍事決策者考慮 "未來數字戰場 "的綜合概念時，任何不斷發展的戰略基石是為情報、監視和偵察活動大規模使用人工智能，這是一個特別適合利用機器學習技術能力的領域。自從全球 "反恐戰爭 "爆發以來，促使情報活動在信息和電信網絡基礎設施上全面擴展，以進行廣泛和持續的監視，這成為跨國反恐的決定性特征，國家安全機構收集的記錄個人行為的數據量成倍增長，結果是沒有人能夠現實地評估，更不用說分析現有信息。今天，從公民的在線通信或社交媒體活動中獲得的大量數據，與安裝在地球靜止軌道或低地球軌道上的各種傳感器或在沖突地區或其他地方自主運行的無人機平臺獲得的視覺或視聽資料相輔相成，能夠覆蓋廣泛的領土，以及迅速增長的物聯網（IoT）設備，有效地充當遠程傳感器。正如一位專家最近簡明扼要地指出的，"幾乎所有的東西都會被連接起來；所有的東西都是潛在的信息來源"。舉個例子，通過作為其全球反恐行動的一部分進行的無人機監視活動，據報道，僅在2017年，美國中央司令部就收集了70萬小時，或80年的全動態視頻材料。對如此大量的原始數據進行有意義的檢查是任何人類分析家都無法做到的；只有使用機器學習算法的人工智能系統才能可行地解析如此大量的大數據，并尋找明顯的行為模式或趨勢，以支持在沖突環境中無論是行動還是戰略層面，更有效和更快的決策，并提高戰場上的態勢感知。

這些先進的人工智能支持的ISR系統的最前沿是所謂的平臺獨立的融合架構，通過最新的高保真傳感器技術收集各種平臺（空中、太空、地面資產）和許多其他來源（包括社交媒體活動、電話記錄、關于個人或團體的公共行政數據以及其他公開的開源情報（OSINT）數據集）的數據，將大量的非結構化數據整合在一起。專家們預計，這種新一代的ISR將徹底改變軍事指揮和控制，使 "戰場管理系統 "得以實施，為軍事指揮官提供自主、動態分析和優先考慮的全面戰場情況，所有部署人員都有可能獲得這種情況，從而使軍事行動中的決策更快、更可靠。試圖建立能夠整合這些不同類型的數據流并提供基于人工智能的實時分析的大規模系統的正在進行的項目包括2017年啟動的 "Maven 項目"（又稱 "算法戰爭跨職能小組"），該項目最近被納入美國空軍的 "高級戰斗管理系統（ABMS）"，作為開發全面 "聯合全域指揮和控制（JADC2）"的一部分。它被設想為一個 "網絡中的網絡，旨在將'每個傳感器與每個火力點'連接起來，跨越空中、陸地、海洋、太空和網絡"。根據最近的報告，歐盟也已開始考慮資助此類技術的開發。雖然更先進的融合架構仍處于規劃階段，但據報道，至少 "Maven 項目"已經支持了美國在中東地區的反恐任務。到目前為止，該系統僅限于協助人類操作員處理大量傳入數據的能力，缺乏提供充分考慮到更廣泛背景的自主生成的推論的先進性。美國在這一領域發起的另一項長期努力是 "Sentient"，一個 "人工大腦"，主要利用從衛星和其他來源收集的地理空間數據來檢測模式異常，從而預測 "對手的潛在行動路線模型"。盡管這種架構處于早期發展階段，但專家預測，在未來，融合方法將導致人工智能支持的推薦系統技術，能夠 "根據對戰斗空間的實時分析提出行動方案（而不是過去的行為，在復雜系統中可能無法預測未來行為）"。

關于以色列國防軍最近對駐扎在加沙的巴勒斯坦武裝團體發起的戰役的報道表明，這可能是第一場武裝沖突，其中一方直接受益于使用人工智能支持的ISR，成功地融合了來自不同來源的數據，如信號情報、視覺情報、人類情報和地理空間情報，以便實時生成關于火箭發射臺或戰斗人員團體等目標的建議，甚至發出對以色列國防軍部隊可能受到攻擊的警告，提供給實地的指揮官們。然而，值得注意的是，這一信息并沒有得到獨立于以色列國防軍本身的消息來源的證實。無論如何，至少以色列軍方的發言人甚至稱這場沖突為 "第一場人工智能戰爭"。

2.3.4 目標鎖定

自然地，ISR 的 LAWS 和融合架構的開發強調了軍事決策者在軍事行動期間針對 AI 系統的設想的相關性。讓機器學習算法采取決定性步驟作為“殺傷鏈”的一部分，即直接導致與軍事目標交戰，超越了“單純的”ISR，即使后者可能導致目標決策，但沒有達到實際上是自主使用武力。這種類型的任務可能涉及所使用的系統的不同算法活動，這取決于技術和情況。最近有報道說，美國空軍的ABMS的最新迭代現在能夠 "直接幫助鎖定目標"，這被認為是一個重大突破。同樣值得注意的是關于2020年11月在德黑蘭附近暗殺一名伊朗核科學家的報道，其中以色列情報部門顯然采用了面部識別系統，在打擊前立即識別目標，還有一挺遙控機槍使用人工智能系統來補償武器和人類操作員之間衛星通信的延遲。在這兩種情況下，很明顯，即使扣動扳機的最終行為，也就是使用武力的最終決定，仍然是由人作出的--而且很大程度上取決于最初的任務設計和行動的事先規劃--人工智能系統負責執行相當一部分的關鍵過程。

2.3.5 賽博戰與人工智能

機器學習算法和其他類型的人工智能在網絡作戰中的應用已經開始，它為網絡空間的軍事行為帶來明顯的優勢。例如，機器學習的使用大大增加了發現代碼中的漏洞的機會，然后人工智能軟件可以自主地利用這些漏洞，這可能會導致進攻性網絡行動的效率和速度提高。可以肯定的是，同樣的方法可能被用來開發更強大的防御系統，能夠自動抵御惡意軟件或其他對手對網絡的入侵。此外，機器學習算法對于掃描和監視大量個人的在線活動或自主 "準備數字戰場 "非常有用，在對手的網絡中植入惡意軟件，在沖突爆發時可以遠程啟動。在這種情況下，需要注意的是，機器學習算法的增加，以及需要保證構成 "數字戰場 "的不同系統和組件之間的穩定通信聯系，都大大增加了攻擊面，使整個生態系統更容易受到對手的網絡行為的影響。

2.3.6 信息戰和人工智能

最后，人工智能的使用已經證明可以大大增加虛假信息活動和其他類型的信息戰的潛在影響，使任何此類努力變得 "更有效、可擴展和普遍化"。 可能的使用案例包括：自動生成可以很容易地以數字方式傳播的文本，以傳播虛假或誤導性的信息，創建深度偽造的視聽內容，檢測目標人群社會結構中的分歧，以最大限度地提高活動的影響。部署機器人，人為地放大針對目標人群的顛覆性信息，并追求自動化的議程背景--特別是使用更復雜的機器人，其程序可以可信地模仿真實的人的行為--或自動校準微觀目標方法，以使內容適合接受的受眾。機器學習算法可能會自動搜索社交媒體，匯編大量的用戶個人行為數據，然后對這些數據進行分析，以更好地了解當地人口，從而實現對行動中應使用的內容類型進行算法預測的目的。據報道，自然語言處理方面的最新進展甚至可以 "利用情感分析來鎖定特定的意識形態受眾"，其意義可能更加深遠。

2.4 機器人技術和傳感器技術

如果沒有機器人和傳感器技術的相應進步，軍事活動的數字化革命就無法發揮其巨大的潛力。雖然需要傳感器來產生許多數據，然后在沖突地區進行分析和利用，以達到進一步的目的，也就是首先出現 "數字 "戰場，但許多利用這些數據的應用取決于復雜的機器人系統來執行數據分析后的任務。然而，在法律和政策文獻中，人們普遍傾向于將先進的機器人技術的影響視為自主武器系統這一更大主題的一個子類別--盡管大多數機器人將執行我們的任務，而這些任務只是自動化的，不需要任何程度的自主權的正確理解。

雖然安裝在無人機、飛機、艦艇、潛艇、衛星或地面車輛上的傳感器的處理能力對于適當利用當前ISR架構產生的大量數據仍然至關重要，但傳感器技術本身的最新進展在 "數字戰場 "的發展中發揮了重要作用。除了雷達、聲納、視頻、紅外和無源射頻探測等較為成熟的傳感器外，最新可用技術的例子包括紅外掃描和跟蹤（IRST）傳感器，它與超冷透鏡配合，"在遠距離搜索和分類令人難以置信的微弱熱源"，或地面多靜態無源雷達，能夠探測 "移動電話的背景電磁'噪音'中的回聲。電視和無線電傳輸（以及其他）的背景電磁'噪音'中的回聲，以跟蹤飛機，而不需要一個主要的雷達發射器"，這可能很快就會對使用目前隱身技術的戰斗機構成問題。其他最近值得注意的發展是，激光能夠通過測量個人的心跳，或遠程利用電話和其他設備發出的藍牙信號，或能夠檢測到可疑動作的計算機視覺系統，來遠距離識別個人。

可以肯定的是，傳感器技術的這些發展與人工智能和機器學習的最新突破以及計算機日益增強的處理能力是直接相關的。正如布朗克所指出的，"正在追蹤的信號的極其微弱的性質以及大量的假陽性讀數和這樣或那樣的背景雜波意味著它們作為操作工具的實用性與可用的后處理硬件和軟件直接相關，以將原始傳感器數據細化為可用的圖片。不同要素的技術進步是相輔相成的，而且是深深地相互依存。

2.5 空間技術

正在進行的戰場數字化的另一個重要方面是，空間資產作為信息和通信基礎設施的骨干作用越來越大，而這些基礎設施是實施不斷互聯、反應迅速和跨領域的 "戰斗網絡結構 "概念所必需的，它將武裝部隊的成員與傳感器、數據處理系統和自主操作的機器聯系起來。就其本身而言，利用衛星進行通信、ISR、導彈預警以及定位、導航和定時（PNT）并不新鮮，已經存在了幾十年。特別是美國、中國和俄羅斯為這些目的在太空中建立了長期的基礎設施。

然而，建立一個網絡化、數字化的戰斗基礎設施，依靠持續收集、處理和傳輸大量的數據，例如用于人工智能支持的指揮和控制或遠程控制的戰爭手段，如武裝無人機，使空間資產的先進性和復雜性得到新的強調。據專家稱，一些不同類型的軍事進攻性網絡行動也依賴于衛星支持的網絡。出于這個原因，一些國家已經開始開發并已經部署了新一代的空間技術，其中有更小和更可消耗的低地球軌道衛星，可以以更低的成本和更多的數量發射到太空，最終形成由數百甚至數千個獨立物體組成的網絡，能夠從太空提供互聯網，在正在進行的任務中直接向武裝部隊成員傳輸新型高分辨率地球圖像甚至實時視頻，或支持軍事系統中的各種人工智能應用。因此，似乎可以肯定的是，隨著武裝部隊數字化的進一步發展，空間架構的重要性只會增加，從軍事和政治決策者的角度來看，對于實際實現 "數字戰場 "的潛力是不可或缺的。反過來，這一發展對空間資產所需的可靠性和復原力也有關鍵影響，既要抵御動能攻擊，也要抵御針對軌道平臺、通信鏈路或地面站的敵對網絡行動--特別是考慮到至少到目前為止，這些物體很少專門用于軍事目的，而是大多具有雙重用途，也為民用社會的運作提供基本服務。

2.6 人體強化技術

戰場的全面數字化甚至可能不會放過人類士兵本身。在將新興的 "人類強化技術 "領域應用于武裝部隊成員的各種不同概念中，就有控制論。廣義上講，該技術歸結為通過大腦植入物或放置在頭皮或頭骨上的電極開發腦機接口（BCI），最終實現 "士兵和機器之間以及人類之間的無縫雙向互動"。根據專家們的評估，這種經過網絡強化的個人可以遠程操作無人機或武器系統，而不需要使用操縱桿或其他儀器，并有可能提高對形勢的認識和監督，同時減少目前固定用戶界面所帶來的復雜性。然而，在這一點上，關于這種技術的可行性和長期影響的持續問題，例如關于電極植入的可逆性，使得至少在2030年之前在軍隊中引入BCI是不現實的。在某種程度上，也許被認為是 "數字戰場 "的邏輯終點，但考慮到這種技術的深遠倫理意義，廣大民眾仍有一些不情愿。

2.7 結論：聚合效應

毫無疑問，軍事行為的數字革命所帶來的可能性將在很大程度上決定未來的武裝沖突戰略，即國家將如何和何時部署其武裝部隊，以及達到什么目的。雖然很多事情仍不確定，并將取決于未來十年的具體技術突破，但可以預測一些由 "未來數字戰場 "的聚合效應產生的總體趨勢。

根據專家們的估計，首先，我們可以觀察到與日益增長的數字化直接相關的兩個相互依存的趨勢：一方面，國家發展反介入和區域封鎖能力，旨在防止對手進入一個物理或數字空間；另一方面，相反的重點是在空間和時間上創造機會，通過利用數字基礎設施潛力的多領域行動來滲透這些地區的物理或數字。在這種情況下，時間成為一種重要的商品，通過廣泛使用新的數字技術，特別是使用人工智能的技術，可以促進對時間的有效利用。機器學習算法可以幫助快速分析來自沖突地區眾多傳感器的數據流，使指揮官能夠更快地做出決定。

反過來，速度的提高使人工智能的進一步應用變得不可或缺，直至授權關鍵的戰斗功能，如指揮和控制，甚至是關于對對手使用武力的決定。很快，這種自主功能將獨立于任何一個特定的平臺，而是通過復雜的系統架構分布。這一發展至少與大量增加的數據直接相關，這些數據是由普遍和持續的、數字支持的情報和監視活動產生的，包括在線和在"物理"領域更復雜的傳感器。正如一位專家所說，"我們必須在一定程度上依賴人工智能和大數據、分析工具、機器學習等機制，使我們能夠在未來處理大量的數據，并在決策過程中使用這些工具為決策提供信息"。換句話說，戰爭的日益數字化催生了對更多數字化的需求。在某些時候，處理數字互聯軍事行動的巨大技術復雜性的唯一方法，使得對人工智能支持的資產的深遠依賴和信任幾乎不可避免，無論決策者是否真正適應這種發展。

此外，軍事行為的數字革命可能會導致更多的低致命性行動--例如，通過訴諸秘密的網絡戰，在不需要使用動能的情況下破壞對手的目標，或者通過發起信息戰，通過脅迫敵國來實現軍事目標--或者，在使用致命性武力的同時，至少通過使用由于人工智能支持的ISR和指揮與控制而更加精確的武器來更好地保護平民和民用設施。同時，這些趨勢并不一定意味著軍事行為造成的潛在傷害會減少。正如其他地方所討論的，這些技術雖然可能不那么致命，但卻為國家提供了對對手施加壓力的全新工具，可能會對受影響的平民人口產生普遍和持續的負面系統性影響。這種前景使一位專家預測，未來 "持續的、低強度的非正規沖突將占主導地位"。我們將看到的不是軍隊之間的戰斗，而是通過網絡空間或信息生態系統中的數字工具，"旨在控制或脅迫大量平民人口，現在的暴力是針對他們的"戰爭。