美國戰略家認為，人工智能(AI)有可能實現更好、更快的決策，這在未來的軍事沖突中是決定性的。機器學習應用將越來越多地影響政治和軍事領導人對戰略環境的看法，權衡風險和選擇，并判斷他們的對手。但是，將關鍵的人類決策過程暴露在人工智能系統的中會有什么風險？

要獲得人工智能在決策方面的優勢，首先需要了解其局限性和陷阱。人工智能系統根據數據模式進行預測。總是有一些意外行為或失敗的機會。現有的工具和技術試圖使人工智能對失敗更加穩健，往往會導致性能上的權衡，解決了一個問題，但可能會使另一個問題惡化。人們對人工智能的脆弱性和缺陷的認識不斷提高，但也需要在現實的部署背景下對技術故障的潛在后果進行更深入的分析。

本簡報研究了直接或間接影響決策的人工智能系統故障如何與戰略壓力和人為因素相互作用，從而引發危機或沖突的升級：

• 納入人工智能的進攻行動或干擾對手的人工智能系統可能導致不可預見的系統故障和連帶效應，引發意外的升級。
• 不安全的、訓練不足的或應用于錯誤類型問題的人工智能系統可能為決策過程注入不良信息，導致意外升級。
• 發現人工智能系統被破壞，可能會對關鍵能力的可靠性或生存能力產生不確定性，如果沖突似乎迫在眉睫，會促使決策者故意升級。

這些情景揭示了一個核心困境：決策者希望使用人工智能來減少不確定性，特別是當涉及到他們對戰場的認識，了解對手的意圖和能力，或了解他們自己抵御攻擊的能力。但通過依賴人工智能，他們在人工智能系統技術故障的可能性和后果方面引入了一個新的不確定性來源。

有效利用人工智能需要以一種有謹慎的和有風險的方式來平衡優勢與局限。沒有辦法保證概率性人工智能系統會完全按照預期行為，也沒有辦法保證它能給出正確的答案。然而，軍隊可以設計人工智能系統和依賴它們的決策過程，以減少人工智能失敗的可能性并控制其后果，包括通過：

• 為決策環境中使用的人工智能系統定義一套特定的任務屬性、標準和要求，如信任度量和保障措施，以檢測妥協或突發屬性。
• 規定人工智能在決策中的使用，將人工智能應用于非常適合的狹窄問題，同時保留人類判斷問題，如解釋對手的意圖；并考慮在某些領域完全排除人工智能。
• 盡可能地讓高級決策者參與他們所依賴的系統的開發、測試和評估過程，并讓他們了解人工智能的優勢和缺陷，以便他們能夠識別系統的故障。

美國應繼續帶頭制定負責任地開發和使用人工智能的全球標準，采取步驟展示某些可靠性，并盡可能地鼓勵其他國家采取類似的預防措施：

• 澄清為限制支持決策的人工智能系統的風險而實施的做法和保障措施。
• 開展國際合作，制定互利的技術保障措施和最佳做法，以減少人工智能災難性故障的風險。
• 承諾在使用包含人工智能能力的進攻性行動和針對人工智能系統的行動時保持克制，因為這些行動存在重大升級風險。

在過去的幾年里，人工智能（AI）系統的能力急劇增加，同時帶來了新的風險和潛在利益。在軍事方面，這些被討論為新一代 "自主"武器系統的助推器以及未來 "超戰爭 "的相關概念。特別是在德國，這些想法在社會和政治中面臨著有爭議的討論。由于人工智能在世界范圍內越來越多地應用于一些敏感領域，如國防領域，因此在這個問題上的國際禁令或具有法律約束力的文書是不現實的。

在決定具體政策之前，必須對這項技術的風險和好處有一個共同的理解，包括重申基本的道德和原則。致命力量的應用必須由人指揮和控制，因為只有人可以負責任。德國聯邦國防軍意識到需要應對這些發展，以便能夠履行其憲法規定的使命，即在未來的所有情況下保衛國家，并對抗采用這種系統的對手，按照其發展計劃行事。因此，迫切需要制定概念和具有法律約束力的法規，以便在獲得利益的同時控制風險。

本立場文件解釋了弗勞恩霍夫VVS對當前技術狀況的看法，探討了利益和風險，并提出了一個可解釋和可控制的人工智能的框架概念。確定并討論了實施所提出的概念所需的部分研究課題，概述了通往可信賴的人工智能和未來負責任地使用這些系統的途徑。遵循參考架構的概念和規定的實施是基于人工智能的武器系統可接受性的關鍵推動因素，是接受的前提條件。

在一個跨國威脅不斷增加、全球相互依存度空前提高、大國競爭重新抬頭的時代，美國正處于一個拐點。這是在技術革命的背景下發生的，技術革命加劇了面臨的挑戰，同時也提供了潛在的解決方案，在氣候、醫藥、通信、運輸、智能和許多其他領域提供了突破。其中許多突破將通過利用人工智能（AI）及其相關技術--其中主要是機器學習（ML）。這些進步可能會塑造國家之間的經濟和軍事力量平衡，以及國家內部的工作、財富和不平等的未來。

ML的創新有可能從根本上改變美國軍隊的戰斗方式，以及美國防部的運作方式。機器學習的應用可以提高人類在戰場上的決策速度和質量，使人機合作的性能最大化，并將士兵的風險降到最低，并極大地提高依賴非常大的數據集的分析的準確性和速度。ML還可以加強美國以機器速度防御網絡攻擊的能力，并有能力將勞動密集型企業功能的關鍵部分自動化，如預測性維護和人員管理。

然而，人工智能和機器學習的進步并不只是美國的專利。事實上，面對中國在該領域的挑戰，美國在人工智能領域的全球領導地位仍然受到懷疑。美國防部和學術界的許多報告反映了需要在人工智能研究和開發方面進行更多投資，培訓和招聘一支熟練的勞動力，并促進支持美國人工智能創新的國際環境--同時促進安全、安保、隱私和道德的發展和使用。然而，人們對信任問題，特別是對這些系統的測試、評估、驗證和確認（TEVV）的關注太少。建立一個強大的測試和評估生態系統是負責任地、可靠地和緊急地利用這一技術的一個關鍵組成部分。如果不這樣做，就意味著落后。

本報告將首先強調為人工智能系統調整美國防部現有的TEVV生態系統的技術和組織障礙，特別強調ML及其相關的深度學習（DL）技術，我們預測這對未來的威懾和作戰至關重要，同時在可解釋性、可治理性、可追溯性和信任方面帶來獨特的挑戰。其次，本報告將向國防部領導層提供具體的、可操作的建議，與情報界、國務院、國會、工業界和學術界合作，通過改革流程、政策和組織結構，同時投資于研究、基礎設施和人員，推進ML/DL的TEV系統。這些建議是基于作者幾十年來在美國政府從事國家安全工作的經驗，以及對從事ML/DL和測試與評估的政府、工業和學術界專家的數十次訪談。

這項工作包括在征求研究、設計和開發用于人工智能（AI）系統對抗性測試和評估的反人工智能工具的初步建議和結論。該報告包括對相關人工智能概念的文獻回顧和對抗性人工智能領域的廣泛研究。一項密集的利益相關者分析，包括從20多個政府和非政府組織中征集需求，協助確定哪些功能需求應包括在反人工智能工具的系統設計中。隨后的系統架構圖接受用戶輸入，測試各種類型的對抗性人工智能攻擊，并輸出人工智能模型的脆弱性。在這個工具投入使用之前，伙伴組織將進行迭代實驗，這是開發和部署這個反人工智能工具的下一個步驟。

美國國防部（DoD）對使用人工智能（AI）技術來提高軍事任務能力和日常工作越來越感興趣。美國防部將人工智能定義為 "旨在像人一樣思考或行動的人工系統，包括認知架構和神經網絡"（Sayler, 2020）。它將對抗性人工智能定義為 "對手可能針對人工智能系統部署的反措施，以及保障性能所需的評估步驟和防御措施"（美國防部，2018）。美國防部承諾研究新的理論、技術和工具，使人工智能系統更有彈性，表現出更少的意外行為。美國防部的戰略概述包括提供解決關鍵任務的人工智能能力，通過共同的基礎擴大人工智能在整個國防部的影響，培養領先的人工智能勞動力，與各種合作伙伴合作，并在軍事道德和人工智能安全方面引領世界（美國防部，2018）。

然而，隨著人工智能系統實施和采用的增加，對手已經威脅要攻擊和操縱這些系統；目前，沒有現成的工具來幫助對人工智能系統進行對抗性測試和評估（T&E），以便在其投入使用之前評估漏洞和失敗模型。在任務使用情況下，美國防部不應該在沒有事先評估安全或反人工智能措施的有效性的情況下部署這些人工智能系統。設計和建立有彈性的人工智能系統對人工智能防御至關重要，因為這些系統更容易解釋，更值得信賴，并能確保其免受各種已確定的對抗性攻擊方法的影響。

因此，美國防部旨在確保部署的人工智能系統更加安全，以防止對手的操縱。對手將基于三種訪問范式攻擊人工智能：白盒、黑盒、灰盒。白盒攻擊給予攻擊者最高的能力，這發生在對手可以訪問所有模型組件時（Kurakin，2018）。在黑箱攻擊中，對手對模型沒有完全透明的看法，但能夠探測模型以推斷其結構和組件（Kurakin，2018）。攻擊者能力的最后一個順序是灰盒（或隱盒）攻擊，這是指對手不能直接訪問模型，只能對模型的結構進行假設（Kurakin，2018）。

對人工智能系統的潛在威脅包括各種攻擊模式，如中毒、規避和模型反轉。中毒攻擊是指污染訓練數據以歪曲模型行為的攻擊，例如將用戶輸入的數據錯誤地分類到AI系統中（Bae，2021）。逃避攻擊并不直接影響訓練數據，但有效地掩蓋了它所提供的內容，使攻擊對人類觀察者、人工智能系統識別和分類都不可見（Bae，2021）。模型反轉（偷竊）攻擊發生在對手探測人工智能系統以提取有關模型配置或訓練數據的信息，從而有效地重建模型（Bae，2021）。所有這三種對抗性攻擊對已部署的人工智能系統構成了不同的后果，最明顯的是與用戶隱私和數據安全有關。

鑒于感知到的威脅和缺乏充分評估對抗性人工智能漏洞的工具，我們的工作旨在了解如何設計、開發和利用反人工智能工具，以幫助保護人工智能系統免受這些新發現的對抗性威脅載體。具體來說，我們的工作有助于并支持研究、設計和開發用于人工智能系統的對抗性T&E的反人工智能工具，供人工智能紅隊成員使用，以提高人工智能系統的復原力。

軍事系統日益增強的自主能力提出了各種具有挑戰性的法律、倫理、政策、行動和技術問題。本卷的主要貢獻在于它對這些挑戰的多學科表述。在引言部分，沙瑞概述了自主性的基本概念，并反思了其對軍事行動的影響，如人機合作的機會。隨后，威廉姆斯對如何定義 "自主性 "進行了詳細分析。Scharre和Williams的章節提醒我們，真正的自主系統并不存在--也許只是在科幻故事的遙遠未來。相反，他們強調自主性是系統的一種能力，它存在于組織、政策、指導和人類控制的復雜安排中。

Roorda的這一章給出了一個具體的例子，說明自主系統的使用是如何被特定的政策過程所控制的，以及在部署任何系統之前，該過程的每個階段是如何納入對相關法律、道德和操作問題的必要的人類決策。

然而，當代的政策辯論--最近在《聯合國某些常規武器公約》中，顯示出自主系統仍然是一個有爭議的話題。雖然武裝沖突法和國際人權法并不禁止向自主系統下放軍事職能，但阿諾德和克羅托夫的章節擴大了視野，特別討論了國家的作用和責任，以及可能受到自主系統發展影響的各種國際法。然而，這種政策問題并不是軍事領域所獨有的。安德森和松村的章節強調了在民用領域引入 "無人駕駛 "汽車所面臨的法律和政策挑戰，軍事能力應該注意到這一點。

即使考慮到這些法律和政策結論，對自主系統仍有嚴重的倫理和實際保留。梅爾的章節為分析自主系統在軍事行動中的影響提出了一個倫理框架，并提出了一系列政策制定者的建議。Keeley提出了另一種解決方案，建議建立一種審計和追蹤系統內部算法的程序和能力，以便進行驗證和確認、測試和問責。然而，Theunissen和Suarez表明，對于許多任務來說，高水平的自主性不一定是可取的，最佳的解決方案是將自主控制和人類控制結合起來，發揮各自的優勢。

有了這個關于自主系統政策考慮的法律、定義和倫理框架，本書的最后一節介紹了關于能力發展各個方面的四個詳細章節。首先，Saariluoma提出了一個框架，為自主系統引入基于人類技術互動設計的思維，提醒我們，最終，這種系統是人類的工具，因此，人類互動和控制系統的方式應該是直觀的。

Sulzbachner、Zinner和Kadiofsky的章節強調，許多自主系統的要求是無源光學傳感器技術，用于在非結構化、非合作的環境中運動。他們提醒我們，正在進行的將無人駕駛和自主系統納入空域的各種監管舉措，例如，本質上依賴于建立性能標準，然而驗證光學和其他傳感器系統的標準化方法仍未完全建立。

Arbour、MacLeod和Bourdon對有人和無人的組隊概念進行了分析，并提出了一系列不同的選擇，即無人飛機如何與有人飛機協同使用，發揮各種新的作用。他們的建議是，鑒于無人系統的可靠性和自主性不斷提高，我們需要在能力發展的早期階段確定更多的潛在配置和組合，而不是局限于一對一的平臺替代。

托爾克在本卷的最后一章建議更多地使用基于代理的模擬方法來支持自主系統的設計、開發、測試和操作使用。原因是仿真中的軟件代理是自主機器人系統的虛擬對應物，在許多情況下，管理物理系統和軟件代理的基本算法可能是相同的。這導致了許多改善系統測試和評估的機會，而且通過在部署前對系統的任務進行模擬，還可以提供操作支持。

本卷的結尾是北約首席科學家Husniaux少將的前瞻性觀點，他為未來的能力發展推薦了一系列關鍵研究領域。他提醒我們，科學和技術的發展是必不可少的，但必須與操作者、政策、法律和理論觀點合作，共同發展。

我們正在擴大我們在這一關鍵領域國防能力的視野，然而創新需要外部的投入和新的觀點。實現這一目標的最佳方式是通過一個多樣化的專家網絡來分享想法。我知道，SACT總部領導的工作已經從這種接觸中受益匪淺，我希望聯盟的科學家、工程師、法律和政策工作人員以及軍事操作人員網絡也將同樣受益。

前沿作戰基地（FOB）防御是一項人力密集型任務，需要占用作戰任務的寶貴資源。雖然能力越來越強的無人駕駛飛行器（UAV）具備執行許多任務的能力，但目前的理論并沒有充分考慮將其納入。特別是，如果操作人員與飛行器的比例為一比一時，并沒有考慮提高無人機的自主性。本論文描述了使用先進機器人系統工程實驗室（ARSENL）蜂群系統開發和測試自主FOB防御能力。開發工作利用了基于任務的蜂群可組合性結構（MASC），以任務為中心、自上而下的方式開發復雜的蜂群行為。這種方法使我們能夠開發出一種基于理論的基地防御戰術，在這種戰術中，固定翼和四旋翼無人機的任意組合能夠自主分配并執行所有必要的FOB防御角色：周邊監視、關鍵區域搜索、接觸調查和威脅響應。該戰術在軟件模擬環境中進行了廣泛的測試，并在現場飛行演習中進行了演示。實驗結果將使用本研究過程中制定的有效性措施和性能措施進行討論。

第1章：導言

1.1 背景和動機

2019年，美國海軍陸戰隊司令大衛-H-伯杰將軍發布了他的規劃指南，作為塑造未來四年的部隊的一種方式。他在其中指出："我們今天做得很好，我們明天將需要做得更好，以保持我們的作戰優勢"[1]。這句話摘自海軍陸戰隊司令大衛-H-伯杰將軍的《2019年司令員規劃指南》（CPG），呼吁采取集中行動，以應對海軍陸戰隊在未來戰爭中預計將面臨的不斷變化的挑戰。在為海軍陸戰隊確定未來四年的優先事項和方向的CPG中的其他指導，呼吁建立一個 "適合偵察、監視和提供致命和非致命效果的強大的無人駕駛系統系列"[1]。伯杰將軍進一步呼吁利用新技術來支持遠征前沿基地作戰（EABO）。EABO將需要靈活的系統，既能進行有效的進攻行動，又能進行獨立和可持續的防御行動。簡而言之，實現EABO將需要最大限度地利用每個系統和海軍陸戰隊。

從本質上講，伯杰將軍正在呼吁改變無人駕駛飛行器的使用方式。通過使用大型的合作自主無人飛行器系統，或稱蜂群，將有助于實現這一目標。無人飛行器蜂群提供了在人力需求和后勤負擔增加最少的情況下成倍提高戰場能力的機會。正如伯杰將軍所提到的 "下一個戰場"，海軍陸戰隊將必須利用各種技術，最大限度地利用自主性和每個作戰人員在戰場上的影響。

目前的無人系統使用理論是以很少或沒有自主性的系統為中心。另外，目前的系統依賴于單個飛行器的遠程駕駛；也就是說，每輛飛行器有一個操作員。部隊中缺乏自主系統，這在監視和直接行動的作戰能力方面造成了差距。此外，側重于一對一操作員-飛行器管理的無人系統理論要求操作員的數量與車輛的數量成線性比例。這對于 "下一個戰場 "來說是不夠的。相反，海軍陸戰隊將需要能夠讓操作員擺脫束縛或提高他們同時控制多個飛行器的能力系統[2]。

考慮到這些目標，美國海軍研究生院（NPS）的先進機器人系統工程實驗室（ARSENL）已經開發并演示了一個用于控制大型、自主、多飛行器的系統，該系統利用了分布式計算的優勢，并將駕駛的認知要求降到最低。ARSENL在現場實驗中證明了其系統的功效，在該實驗中，50個自主無人駕駛飛行器（UAV）被成功發射，同時由一個操作員控制，并安全回收[3]。

1.2 研究目標

這項研究的主要目標是證明使用無人機蜂群來支持前沿作戰基地（FOB）的防御。特別是，這需要自主生成、分配和執行有效的、符合理論的基地防御所需的子任務。這部分研究的重點是開發基于狀態的監視、調查和威脅響應任務的描述；實施支持多飛行器任務分配的決策機制；以及任務執行期間的多飛行器控制。

輔助研究目標包括展示基于任務的蜂群可組合性結構（MASC）過程，以自上而下、以任務為中心的方式開發復雜的蜂群行為，探索自主蜂群控制和決策的分布式方法，以及實施一般的蜂群算法，并證明了對廣泛的潛在蜂群戰術有用。總的來說，這些目標是主要目標的一部分，是實現主要目標的手段。

1.3 方法論

基地防御戰術的制定始于對現有基地防御理論的審查。這一審查是確定該行為所要完成的基本任務和子任務的基礎。然后，我們審查了目前海軍陸戰隊使用無人機的理論，以確定這些系統在基地防御任務中的使用情況。

在確定了任務要求的特征后，我們為基地防御的整體任務制定了一個高層次的狀態圖。子任務級別的狀態圖等同于MASC層次結構中的角色。

ARSENL代碼庫中現有的算法和游戲以及在研究過程中開發的新算法和游戲被用來在ARSENL系統中實現子任務級的狀態圖。最后，根據高層次的狀態圖將這些游戲組合起來，完成基地防御戰術的實施。

在游戲和戰術開發之后，設計了基于理論的有效性措施（MOE）和性能措施（MOPs）。通過在循環軟件（SITL）模擬環境中的廣泛實驗，這些措施被用來評估基地防御戰術。在加利福尼亞州羅伯茨營進行的實戰飛行實驗中，也展示了該戰術和游戲。

1.4 結果

最終，本研究成功地實現了其主要目標，并展示了一種包含周邊監視、關鍵區域搜索、接觸調查和威脅響應的基地防御戰術。此外，開發工作在很大程度上依賴于MASC層次結構，以此來制定任務要求，并將這些要求分解成可在ARSENL蜂群系統上實施的可管理任務。這一戰術在實戰飛行和模擬環境中進行了測試，并使用以任務為中心的MOP和MOE進行了評估。最后的結果是令人滿意的，在本研究過程中開發的戰術被評估為有效的概念證明。

1.5 論文組織

本論文共分六章。第1章提供了這項研究的動機，描述了這個概念驗證所要彌補的能力差距，并提供了ARSENL的簡短背景和所追求的研究目標。

第2章討論了海軍陸戰隊和聯合出版物中描述的當前海軍陸戰隊后方作戰的理論。還概述了目前海軍陸戰隊內無人機的使用情況，并描述了目前各種系統所能達到的自主性水平。

第3章概述了以前自主系統基于行為的架構工作，ARSENL多車輛無人駕駛航空系統（UAS）和MASC層次結構。

第4章對基地防御戰術的整體設計以及高層戰術所依賴的游戲進行了基于狀態的描述。本章還詳細介紹了用于創建、測試和評估這一概念驗證的方法。在此過程中，重點是對每一戰術和戰術所針對的MOP和MOE進行評估。

第5章詳細介紹了所進行的實戰飛行和模擬實驗，并討論了與相關MOPs和MOEs有關的測試結果。

最后，第6章介紹了這個概念驗證的結論。本章還提供了與基地防御戰術本身以及更廣泛的自主蜂群能力和控制有關的未來工作建議。

內容提要

俄羅斯領導層將創新能力視為大國的標志之一，并認為軍事創新對俄羅斯在不斷變化的威脅環境中的整體防御態勢至關重要。俄羅斯人工智能（AI）和自主生態系統的目標最好在俄羅斯經濟發展和現代化努力的背景下理解，包括那些旨在改善俄羅斯公民福祉以及商業和創業活動條件的舉措。

以下報告詳細介紹了俄羅斯人工智能生態系統，以了解俄羅斯不斷發展的人工智能和自主性領域。在關注人工智能和自主性的同時，該報告還試圖將人工智能置于俄羅斯更大的技術環境中。

俄羅斯人工智能的管理和法律方面

俄羅斯政府正在建立必要的結構性法律和管理框架，以便在快速增長的人工智能和自主性領域進行發展和競爭。它正試圖實施具有目標和指標的全國性戰略，以促進支持俄羅斯的數字--特別是人工智能--發展的環境。然而，這些努力的實施主要是由政府通過國有企業推動的。雖然人工智能倡議在整個俄羅斯政府中占有一席之地，但缺乏對私人倡議的重視可能會損害俄羅斯在未來的努力。雖然許多俄羅斯人期待著整個俄羅斯更大的數字化帶來的好處，但也有一些人批評政府為增加對私人數據的訪問而做出的努力。俄羅斯公民對不受控制的人工智能發展及其對社會的潛在影響感到厭倦。

俄羅斯的人工智能生態系統

俄羅斯的人工智能生態系統由政府、國有企業、軍事、學術和私人行為者之間相互聯系的活動集群組成。然而，俄羅斯人工智能生態系統的一個關鍵特征是它由國有公司領導，并為人工智能部門提供大量的聯邦資金。這些國有公司包括孵化器、資助者和旨在促進人工智能發展的倡議。對聯邦資金的嚴重依賴讓俄羅斯的一些人擔心，它破壞了主動性和技術風險的承擔和增長。雖然關于俄羅斯在人工智能領域的調查和國際排名（如文章調查和機構排名）表明，它落后于其他更大的參與者，但它正在作出一些改進。

與人工智能相關的學術實體、培訓和教育

俄羅斯的商業、工業和國防部門都面臨著缺乏技術熟練專家，這在人工智能領域尤其如此。造成這種情況的原因包括：受過技術培訓的專業人員流向國外的高薪工作，蘇聯解體和之后的影響揮之不去，以及俄羅斯廣大地區不同的人口結構。俄羅斯政府認識到了這些挑戰，并正在采取措施來減輕這些挑戰。這些步驟包括針對廣泛的人口統計學的許多項目，從鼓勵訓練有素的技術專家到教育更廣泛的民眾了解人工智能相關技術。盡管采取了這些措施，教育和培訓方面的弱點可能會在一段時間內挑戰俄羅斯的技術創新嘗試，這取決于本報告中詳述的新措施如何生效以及需要多長時間。

俄羅斯的私人部門人工智能

俄羅斯人工智能私人市場的技術發展和增長主要由國家支持的研發工作推動，盡管私人對人工智能解決方案的需求正在增加。總的來說，私人人工智能市場一直被專注于利用自然語言處理（NLP）和其他形式的自動數據分析的進步所支配，盡管對計算機視覺和其他類型的識別和預測能力的興趣正在增長。在用于金融和零售目的的廣泛的自動化NLP應用之外，獲得私人市場關注的最重要的人工智能技術是在面部識別軟件、設施和周邊安全、無人駕駛貨物運輸和農業企業、公共交通控制系統和鐵路網絡整合、訓練神經網絡和其他人工智能方法的自動化平臺，以及自動化醫療分析。

俄羅斯的軍事人工智能

從高級政治和軍事聲明以及專業軍事著作來看，俄羅斯安全專家和政策制定者的共識是，人工智能的發展和使用對俄羅斯武裝部隊未來的成功至關重要，也是其軍事力量的關鍵。雖然軍事人工智能在俄羅斯遵循了許多與其他發達軍隊相同的趨勢，但俄羅斯軍事機構確實特別強調了其已經關注的領域，如用于決策和自主的信息管理。俄羅斯軍事戰略家重視建立他們所說的 "戰場上的信息優勢"，而人工智能增強技術有望利用現代戰場上的數據優勢來保護俄羅斯自己的部隊，并拒絕對手的這種優勢。話雖如此，俄羅斯軍方也在不斷討論軍事人工智能的最終目標。有一種普遍的觀點認為，操作者需要留在決策周期中，以避免軍事和道德上的意外后果，但也有討論預測完全自主是未來沖突的一個不可避免的特征，部分是由對美國人工智能相關意圖的解釋所推動的。

國際合作

盡管存在上述挑戰，俄羅斯正在尋求成為人工智能領域的主要思想領袖之一。俄羅斯領導人強調了人工智能對普通公民生活的承諾，從醫療創新到改善經濟表現。然而，俄羅斯領導人也強調了人工智能在錯誤的人手中或在錯誤的意圖下可能帶來的危險。也許比起其他任何人，俄羅斯領導人更關注保護傳統和社會內部穩定的需要，這反映了俄羅斯對外部干預俄羅斯事務的長期關注。俄羅斯正在全球范圍內尋求技術和人工智能發展方面的有益伙伴關系；例如，它已經通過華為和三星與中國和韓國達成了實質性協議。然而，中國和韓國更多是例外，而不是常規。與俄羅斯合作的地緣政治利益通常不會超過美國和歐盟等其他生態系統中的商業利益。盡管如此，我們預計它與其他成熟的技術社會之間不斷增長的關系將產生一些好處。

圖1. 描繪人工智能增強的戰斗機工程

方法和結構

本報告是CNA俄羅斯研究項目在過去一年中繪制和了解俄羅斯人工智能生態系統的工作成果。首先，該團隊開發并實施了一份雙周通訊，強調了俄羅斯技術、人工智能和自主性領域的持續發展。這些通訊還重點關注各種軍事人工智能相關的舉措和關鍵的人工智能組織。他們還在繪制俄羅斯的人工智能生態系統方面發揮了關鍵作用，并提供了需要更深入研究的領域的關鍵。通過這項研究，我們能夠了解公共、私營和軍事部門的各種組織之間的關系。

我們從廣泛的俄語來源收集數據，包括法律文件、官方聲明、行業產品信息、俄羅斯專業軍事期刊、會議記錄和個人出版物。每個來源的重要性在不同部門之間有所不同。例如，政府部分在很大程度上依賴現有的許多官方文件，而軍事部分則更多地依賴公開來源的俄羅斯新聞報道。這項研究必須在收集盡可能多的信息與承認許多談論和撰寫人工智能的消息來源并不一定了解屬于人工智能和自主權范疇的復雜而龐大的領域之間取得平衡。為此，CNA團隊與CNA的自主權和人工智能中心合作，更好地了解各種報告的一些技術意義。然而，請注意，我們報告的重點不是對俄羅斯人工智能發展的技術審查。

本報告的第一部分提供了一個概述，以幫助讀者了解俄羅斯和分析家們經常評估它的各種指標。報告的這一部分是獨特的，因為它沒有特別涉及人工智能或自主性，但我們認為它提供了必要的背景，將豐富對俄羅斯技術創新、人工智能和自主性的討論。具體來說，這一部分對于那些主要背景是人工智能和自主權而不是具體的俄羅斯的讀者來說，將是最有用的。

接下來的部分描述了俄羅斯政府為在俄羅斯創造有利于技術進步的氛圍所做的努力。它涵蓋了更廣泛的 "數字化 "努力，并將人工智能置于這一更廣泛的框架中。這一節是以下各節的背景和環境。第三部分重點介紹了俄羅斯的人工智能生態系統，其主要參與者和互動。之后，有四個部分考察了與俄羅斯教育、私營部門、軍事和國際合作有關的人工智能，以便為我們對俄羅斯人工智能生態系統的討論提供一些顆粒度。

人工智能（AI）的最新進展為許多經典的AI應用帶來了突破，例如計算機視覺、自然語言處理、機器人和數據挖掘。因此，有很多人努力將這些進展應用于軍事領域，如監視、偵察、威脅評估、水雷戰、網絡安全、情報分析、指揮和控制以及教育和培訓。然而，盡管人工智能在軍事應用上有很多可能性，但也有很多挑戰需要考慮。例如，1）高風險意味著軍事人工智能系統需要透明，以獲得決策者的信任并能進行風險分析；這是一個挑戰，因為許多人工智能技術具有黑盒性質，缺乏足夠的透明度；2）軍用 AI 系統需要穩健可靠；這是一個挑戰，因為已經表明即使對所使用的 AI 技術沒有任何了解，AI 技術也容易受到輸入數據微小變動的影響，并且 3) 許多 AI 技術基于需要大量數據的機器學習訓練；這是一個挑戰，因為在軍事應用中經常缺乏足夠的數據。本文介紹了正在進行的項目成果，以說明軍事應用中人工智能的可能性，以及如何應對這些挑戰。

1 介紹

人工智能（AI），特別是機器學習（ML）和深度學習（DL），在十年內已經從研究機構和大學的原型設計轉向工業和現實世界應用。使用DL技術的現代人工智能已經徹底改變了傳統人工智能應用的性能，如機器翻譯、問答系統和語音識別。這一領域的許多進展也將其優秀的想法變成了卓越的人工智能應用，能夠進行圖像說明、唇語閱讀、語音模仿、視頻合成、連續控制等。這些成果表明，一個能夠自我編程的機器有潛力：1）提高軟件和硬件開發的效率，2）以超越人類的水平完成特定的任務，3）為人類以前沒有考慮過的問題提供創造性的解決方案，4）在人類已知的主觀、偏見、不公平、腐敗等方面提供客觀和公平的決定。

在軍事背景下，人工智能的潛力存在于所有維度的軍事空間中（即陸地、海洋、空中、空間和信息）和所有級別的戰爭內（即政治、戰略、作戰和戰術）。例如，在政治和戰略層面，人工智能可以通過制作和發布大量的虛假信息來破壞對手的穩定狀態。在這種情況下，人工智能很可能也是抵御這種攻擊的最佳人選。在戰術層面，人工智能可以改善無人系統的部分自主控制，以便人類操作員可以更有效地操作無人系統，最終擴大戰場影響力，增強戰場實力。

然而，正如我們將在這項工作中指出的那樣，有幾個關鍵挑戰可能會減緩或限制現代人工智能在軍事應用中的使用：

• ML模型的透明度和可解釋性不足。舉一個例子，使用DL對使用深度神經網絡（DNN）的自動駕駛汽車進行控制建模需要幾十萬個參數。顯然，這樣一個復雜的程序不容易被解釋。即使是使用替代的ML算法生成的模型，其中模型可以被圖形化，如解析樹或決策樹，即使在應用于玩具模型問題時，也很難甚至不可能解釋。一個更重要的挑戰是人工智能系統向決策者或人類操作者解釋其推理的能力，或者在這種情況下是無能為力的。
• 眾所周知，使用ML開發的模型很容易受到對抗性攻擊。例如，基于DL的模型可以很容易地通過操縱輸入信號而被欺騙，即使該模型對攻擊者來說是未知的。舉一個例子，使用最先進的目標檢測的無人駕駛飛行器（UAV）也有可能被地面上精心設計的偽裝圖案所欺騙。
• 任何 ML 應用的原料是機器可以從中學習并最終深入理解的數據。軍事組織通常擅長收集數據用于匯報或重建目的。然而，不能保證同樣的數據可以成功用于ML。因此，軍事組織可能必須調整其數據收集過程，以充分利用現代人工智能技術，如DL。

本文的目的是強調人工智能在軍事應用中的可能性和主要挑戰。第2節簡要介紹了DL，它是本文關注的主要人工智能技術。第3節提供了幾個人工智能在軍事領域中應用的例子。第4節描述了與軍事領域中人工智能的關鍵挑戰，以及部分可用于解決這些挑戰的技術。第5節提出了結論。

2 深度學習

我們所說的DL是指由多個非線性處理單元層組成的機器學習模型。通常情況下，這些模型由人工神經網絡表示。在這種情況下，神經元指的是一個單一的計算單元，其輸出是通過一個（非線性）激活函數的輸入的加權和（例如，一個只有在信號為正時才通過的函數）。DNN指的是具有大量串連神經元層（神經元層由神經元并聯組成）的系統。與DNN相對的是淺層神經網絡，它只有一層平行連接的神經元。

直到大約十年前，DNN的訓練幾乎是不可能的。第一個成功的深度網絡的訓練策略是基于一次訓練一個層。逐層訓練的深度網絡的參數最終使用隨機梯度方法進行微調（同時），以最大限度地提高分類精度。此后，許多研究進展使得直接訓練DNN成為可能，而無需逐層訓練。例如，人們發現，網絡權重的初始化策略與激活函數的選擇相結合是解決問題的關鍵。甚至一些技術，如在訓練階段隨機停用神經元，以及在信號到達激活函數之前對其進行歸一化處理，也已證明對于使用 DNN 獲得良好結果非常重要。

表示學習是DNN高性能的主要原因之一。使用DL和DNN，不再需要手動制作學習特定任務所需的特征。相反，辨別特征是在 DNN 的訓練過程中自動學習的。

支持 DL 應用的技術和工具如今比以往任何時候都更加好用。通過廉價的計算資源、免費的 ML 框架、預訓練模型、開源數據和代碼，僅使用有限的編程/腳本技能即可成功應用和定制高級 DL。

3 軍事人工智能應用

本節介紹了幾個可以應用人工智能來提高軍事能力的例子。

3.1 監視

海上監視是利用固定雷達站、巡邏飛機、船舶，以及近年來使用自動識別系統（AIS）對海上船只進行的電子跟蹤。這些信息源提供了大量的關于船只運動的信息，這些信息可能會揭示船舶非法的、不安全的、有威脅的和異常的行為。然而，大量的船舶運動信息使得手動檢測此類行為變得困難。因此ML-方法被用來從船舶運動數據中生成常態模型。任何偏離常態模型的船舶運動都被認為是異常的，并提交給操作員進行人工檢查。

一種早期的海事異常檢測方法使用模糊 ARTMAP 神經網絡架構根據港口位置對正常船舶速度進行建模。另一種方法是利用運動模式的關聯學習來預測基于其當前位置和行駛方向的船舶運動。其他方法則使用基于高斯混合模型（GMM）和內核密度估計（KDE）的無監督聚類。這些模型能夠檢測出改變方向、穿越海路、向相反方向移動或高速行駛的船只。最近的方法是使用貝葉斯網絡來檢測錯誤的船舶類型，以及不連續的、不可能的和徘徊的船舶運動。海事異常檢測的未來發展還應該考慮周圍的船只和多艘船只之間的互動。

3.2 水下水雷戰

水雷對海上船只構成重大威脅，被用來限制船只行動或阻止船只通過受限水域。因此，反水雷措施（MCM）試圖定位和消除水雷，以實現行動自由。越來越多地使用配備合成孔徑聲納 (SAS) 的自主水下航行器 (AUV) 進行水雷搜索，該水下航行器能提供厘米分辨率的海底聲學圖像。由于AUV收集了大量的SAS圖像，自動目標分類對于區分潛在的水雷與其他物體是很有用的。雖然對水雷的自動目標分類已經研究了很長時間，但DNN在圖像分類方面的高性能表現使人們對如何將這種辦法用于自動地雷探測產生了興趣。

一些研究顯示了DNN在水雷探測方面的潛力。例如，這些研究描述了如何將假水雷的形狀、類似水雷的目標、人造物體和巖石放置在海底的各種地理圖形位置上。然后用AUV和SAS對海底進行測量。結果顯示，與傳統的目標分類器相比，DNN的性能明顯提高，對水雷形狀的檢測概率更高，誤報率更低。同樣，這些研究也描述了如何生成圓柱形物體和各種海底景觀的協同SAS圖像，并這些圖像用來訓練DNN。進一步的研究可能會探究如何從所有類型的雜波物體中分辨出水雷，結合檢測和分類，以及對噪聲、模糊和遮擋的魯棒性等

3.3 網絡安全

入侵檢測是網絡安全的重要組成部分，可在惡意網絡活動危及信息可用性、完整性或機密性之前對其進行檢測。入侵檢測是使用入侵檢測系統（IDS）進行的，該系統將網絡流量分類為正常或入侵。然而，由于正常的網絡流量往往具有與實際攻擊相似的特征，網絡安全分析師對所有入侵警報的情況進行分析，以確定是否存在實際的攻擊。雖然基于簽名的IDS通常擅長檢測已知的攻擊模式，但它們不能檢測以前未見過的攻擊。此外，基于簽名的檢測的開發往往是緩慢和昂貴的，因為它需要大量的專業知識。這限制了系統對快速演變的網絡威脅的適應性。

許多研究使用 ML 和其他 AI 技術來提高已知攻擊的分類準確性、檢測異常網絡流量（因為這可能表明新的攻擊模式偏離了正常網絡流量）以及自動化模型構建。然而，這些系統很少被實際使用。其原因是，入侵檢測給出了具體的挑戰，如缺乏訓練數據、網絡流量變化大、錯誤成本高以及難以進行相關評估。雖然可以收集大量的網絡流量，但這些信息往往是敏感的，只能部分匿名化處理。使用模擬數據是另一種選擇，但它往往不夠真實。然后，必須根據模式是正常還是入侵，或用于確保無攻擊的異常檢測來標記數據以進行監督學習，這通常很難做到。最后，模型需要是透明的，以便研究人員能夠理解檢測限制和特征的含義。

另一項提高網絡安全的措施是在安全審計期間進行滲透測試，以確定潛在的可利用的安全弱點。由于許多網絡的復雜性和其中的大量主機，滲透測試通常是自動化的。一些研究已經調查了如何使用網絡的邏輯模型而不是實際的網絡將 AI 技術用于模擬滲透測試。網絡通常用攻擊圖或樹來表示，描述對手如何利用漏洞闖入系統。描述了模型在表征方式方面的不同之處：1) 攻擊者的不確定性，從抽象的成功和檢測概率到網絡狀態的不確定性，以及 2) 從已知的前后條件到一般感知和觀察的攻擊者行為-結果的服務。此外，通過網絡和主機的正式模型，可以對不同的緩解策略進行假設分析。未來對滲透測試的研究可能會使用攻擊者和防御者之間交互的認知有效模型，例如，深度強化學習來探索可能攻擊的大問題空間。

4 挑戰

正如第3節中的案例所示，在為軍事目的開發和部署的基于人工智能的應用之前，有一些尚未解決的挑戰是很重要的。在本節中，我們將討論我們認為對軍事人工智能最關鍵的挑戰：1）透明度，2）脆弱性，以及3）在有限的訓練數據下的學習。其他重要的，但不太關鍵的，與優化、泛化、架構設計、超參數調整和生產級部署有關的挑戰，在本節中沒有進一步討論。

4.1 透明度

許多應用除了需要高性能外，還需要高透明度、高安全性以及用戶的信任或理解。這種要求在安全關鍵系統、監控系統、自主智能體、醫學和其他類似的應用中很典型。隨著最近人工智能技術的突破，人們對透明度的研究也越來越感興趣，以支持最終用戶在此類應用中的使用與透明度相關的成果。

4.1.1 對透明度的期望

人工智能所需的透明度取決于終端用戶的需求。利普頓描述了透明度可能涉及五種類型的用戶需求：

• 1.信任-在用戶難以質疑系統建議的情況下。然而，可能不清楚用戶的信任是基于系統的性能或穩定性，相對于用戶的體驗，還是用戶對系統推薦的舒適度。
• 2.理解之前未知的因果關系，可以用其他方法測試。
• 3.由于與用戶的能力相比，模型的通用性有限，因此對系統性能的了解受到限制。
• 4.有關系統建議的一些補充信息。
• 5.公平性，以避免可能導致某些情況下的不平等待遇的系統性偏見。例如，對信貸申請的評估不應基于個人屬性，如性別或種族，盡管這種屬性可能在整體統計水平上用來區分人口群體。

原則上，有兩種方法可以使人工智能系統透明。首先，某些類型的模型被認為比其他的更容易解釋，例如線性模型、基于規則的系統或決策樹。檢查這些模型可以理解它們的組成和計算。Lipton描述了可解釋性取決于用戶是否能夠預測系統的建議，理解模型參數，以及理解訓練算法。其次，系統可以解釋其建議。這種解釋可以是文字的，也可以是視覺的。例如，通過指出圖像的哪些方面最有助于其分類。Miller 對社會科學研究中如何使用這些知識來設計 AI 系統的進行了的回顧。通常情況下，人們用他們感知到的信念、欲望和意圖來解釋其他智能體的行為。對于人工智能系統來說，信念對應于系統關于情況的信息，欲望對應于系統的目標，而意圖對應于中間狀態。此外，解釋可能包括行動的異常性、使成本或風險最小化的偏好、對預期規范的偏離、事件的回顧性和行動的可控性。主要的發現是：

• 解釋是針對特定的反事實案例而進行的對比性解釋。因此，解釋的重點是為什么提出特定的建議而不是其他建議。
• 解釋是有選擇的，并且集中在一兩個可能的原因上，而不是建議的所有原因。
• 解釋是一種傳遞知識的社會對話和互動。

4.1.2 可解釋模型的實例

貝葉斯規則列表（BRL）是可解釋模型的一個例子。BRL由一系列的if（條件）then（結果）else（替代）語句組成。Letham等人描述了如何為一個高度準確和可解釋的模型生成BRL來估計中風的風險。條件離散化了影響中風風險的高維多變量特征空間，結果描述了預測的中風風險。BRL在預測中風風險方面具有與其他ML方法類似的性能，并且與其他現有評分系統一樣具有可解釋性，但其準確性較低。

基于詞典的分類器是文本分類的另一個可解釋模型的例子。基于詞典的分類器將術語的頻率與每個類別中出現的術語的概率相乘。得分最高的類別被選為預測對象。Clos等人使用一個門控遞歸網絡對詞典進行建模，該網絡同時學習術語和修飾語，如副詞和連詞。受過訓練的詞典是關于論壇中的帖子是支持還是反對死刑以及對商業作品的看法。詞典的表現比其他ML方法更好，同時也是可解釋的。

4.1.3 特征可視化的實例

盡管DNN在許多應用中提供了很高的性能，但它們的子符號計算可能有數百萬個參數，這使得人們很難準確理解輸入特征對系統推薦的貢獻。由于DNN的高性能對許多應用來說是至關重要的，因此人們對如何使它們更容易解釋產生了濃厚的興趣（見一篇評論）。許多用于解釋DNN的算法將DNN處理轉化為原始輸入空間，以便將辨別特征可視化。通常，有兩種通用方法用于特征的可視化，即激活最大化和DNN解釋。

激活最大化會計算哪些輸入特征將最大限度地激活可能的系統建議。對于圖像分類來說，這代表了理想的圖像，它顯示了每個類別的可區分和可識別的特征。然而，由于各類可能使用同一物體的許多方面，而且圖像中的語義信息往往是分散的，所以圖像往往看起來不自然。激活最大化的方法的一些例子是梯度上升法，更好的正則化方法以增加通用性，以及合成首選圖像法。

DNN的解釋是通過強調區分輸入特征來解釋系統建議。在圖像分類中，這種可視化可能會突出顯示支持或反對某個類別的區域，或者僅顯示包含區分特征的區域。計算鑒別特征的一種方法是使用局部梯度或其他變化度量的敏感性分析。然而，敏感性分析的一個問題是，它可能顯示輸入中不存在的判別特征。例如，在圖像分類中，敏感性分析可能會顯示物體被遮擋的部分，而不是可見部分。逐層相關性傳播通過考慮特征存在和模型反應來避免這個問題。

4.1.4 具體應用解釋的實例

與分類不同的是，人工智能規劃是基于動態的領域模型。Fox等人描述如何使用領域模型來解釋為什么行動被執行或不執行，為什么一些行動不能被執行，使未來行動的因果關系，以及重新規劃的需要。

由于公平性對許多人工智能應用來說非常重要，Tan等人描述了如何利用模型蒸餾來檢測黑箱模型的偏差。模型蒸餾法將更大更復雜的模型進行簡化，而沒有明顯的準確性損失。為了提高透明度，他們使用了基于淺層樹的廣義加性模型，對每個參數和兩個參數之間的相互作用進行建模。他們根據黑盒模型的系統建議訓練一個透明模型，并根據實際結果訓練一個透明模型。對兩個模型的推薦差異的假設檢驗體現了黑盒模型引入偏差的情況，然后可以通過比較兩個透明模型來診斷偏差。該系統在犯罪風險、借貸風險和卷入槍擊事件的個人風險方面進行了評估。結果顯示，一個黑盒模型低估了年輕罪犯和白種人的犯罪風險，而高估了美國本土非洲裔犯罪的風險。

4.2 脆弱性

在本節中，我們討論DNN在兩個不同方面的脆弱性。1）對輸入操縱的脆弱性和2）對模型操縱的脆弱性。我們首先看一下對輸入信號的操縱：

4.2.1 對輸入進行對抗性處理

在提供DNN的情況下，人們發現很容易調整輸入信號，從而使分類系統完全失敗。當輸入信號的維度很大時，例如圖片，通常只需對輸入中的每個元素（即像素）進行不易察覺的微小調整，就足以欺騙系統。用同樣的技術來訓練DNN，通常是采用隨機梯度法，通過觀察梯度的符號，你可以很容易地找到每個元素應該朝哪個方向改變，以使分類器錯誤地選擇目標類別或僅僅是錯誤分類。只需幾行代碼，最好的圖像識別系統就會被欺騙，相信一張車輛的圖片是一只狗。下面的圖 1 顯示了操作前后的圖像以及操作前后類的可能性。

上述方法假設有對DNN的完全訪問權，即所謂的白盒攻擊。人們發現，即使是所謂的黑箱攻擊，即你只觀察到系統的輸入和輸出類型，也是可能的。在其中，作者采用從他們想要攻擊的黑盒系統中稀疏采樣所獲得的數據來訓練一個替代網絡。鑒于替代網絡，你可以使用上述的白盒攻擊方法來制作對抗性輸入。一個學習替代網絡的替代方法被提出來，在這個方法中，遺傳算法被用來創建導致系統錯誤分類的攻擊向量。同一作者甚至表明，通常只需修改圖像中的一個像素，盡管常常是可察覺的，就能實現成功的攻擊。

圖 1：從小型貨車到西伯利亞雪橇犬。 原始圖像和操縱（對抗性制作）圖像之間的絕對差異（放大 20 倍）顯示在右側。 對抗性示例（中心）是使用 Kurakin 的基本迭代方法（BIM）生成的。

4.2.2 利用預訓練 DNN 中的隱藏后門

當設計一個DNN，但只能獲得少量的訓練數據時，通常會使用預訓練的模型來達到良好的性能。這個概念被稱為遷移學習，一個常見的應用是采用在大量數據上訓練過的模型，根據具體問題替換和定制網絡中的最后幾層，然后在最后階段（有時甚至是整個系統）利用可用的訓練數據微調參數。目前已經有大量的預訓練模型可以從互聯網上下載。那么一個相關的問題是："我們怎么知道那些上傳模型的人沒有壞心眼？"。作者在識別美國交通標志的模型中插入后門，就考慮了這種類型的漏洞。例如，一個貼紙被訓練為屬于停止標志以外的類別。然后他們表明，當使用后門（即在交通標志上放置一個貼紙）時，基于美國交通標志網絡的識別瑞典交通標志的系統會有負面的反應（大大損害了瑞典交通標志系統的分類準確性）。

4.2.3 防御方法

減少DNN對輸入信號操縱的脆弱性的一種方法是在模型的訓練過程中明確包括被操縱/對抗的例子。也就是說，除了原始訓練數據外，還產生了對抗性例子，并用于模型的訓練。

另一種方法是使用一個叫做防御蒸餾的概念。簡而言之，該方法試圖降低輸出信號只指出真實類別的要求，并迫使其他類別的概率為零。這分兩步完成。第一步是對DNN進行常規訓練。在第二步，將第一個神經元網絡的輸出（類別概率）用作新的類別標簽，并使用新的（軟）類別標簽訓練一個新的系統（具有相同的架構）。這已被證明可以減少漏洞，因為你沒有把DNN與訓練數據貼得太緊，并保留了一些合理的類間關系。

其他防御方法，例如特征壓縮技術，例如均值或中值濾波或非線性像素表示，例如單熱或溫度計編碼。

不幸的是，所描述的方法都不能完全解決漏洞問題，尤其是如果攻擊者對模型和防御方法有充分的了解的話。

4.3 數據

在軍事背景下開發基于ML的應用是具有挑戰性的，因為軍事組織、訓練設施、平臺、傳感器網絡、武器等的數據收集應用最初不是為ML目的設計的。因此，在這個領域，往往很難找到真實世界的、高質量的、足夠大的數據集，可以用來學習和深入理解的。在本節中，我們將探討即使在有限的訓練數據中也可以用來建立ML應用的技術。

4.3.1 遷移學習

遷移學習（也在第4.2.2節中提到）是一種技術，通常在數據集較小和計算資源有限時使用。這個想法是在開發針對其他類似任務的新模型時，重復使用通常由 DNN 表示的預訓練模型的參數。至少有兩種方法可用于DL應用中的遷移學習：

• 重新學習輸出層：使用這種方法，預先訓練好的模型的最后一層被替換成新的輸出層，與新任務的預期輸出相匹配。在訓練過程中，只有新輸出層的權重被更新，其他的都是固定的。
• 微調整個模型：這種方法類似于第一種方法，但在這種情況下，可能會更新整個 DNN 的權重。 這種方法通常需要更多的訓練數據。

事實證明，遷移學習也可以提高模型的泛化能力。然而，隨著源任務和目標任務之間距離的增加，遷移學習的積極作用往往會減少。

4.3.2 生成性對抗網絡

生成性對抗網絡（GANs）是由Goodfellow等人發明的，是一種生成模型，可用于半監督學習，其中將一小組標記的數據與一大組未標記的數據相結合以提高模型的性能。基本的GAN實現由兩個DNN組成，分別代表一個生成器和一個判別器。生成器被訓練成產生假數據，而判別器被訓練成將數據分辨為真實或虛假。當這兩個網絡同時被訓練時，一個網絡的改進也會導致另一個網絡的改進，直到最后達到一個平衡。在半監督學習中，生成器的主要目標是產生未標記的數據，用于提高最終模型的整體性能。除了半監督學習之外，GANs還被用于：

• 重建：填補部分被遮擋的圖像或對象的空白部分。
• 超分辨率：將圖像從低分辨率轉換為高分辨率。
• 磁帶到圖像的轉換：將圖像從冬天轉換為夏天，從夜晚轉換為白天，等等。這項技術的一個軍事應用是可以將夜視圖像轉換為日光圖像。

4.3.3 建模和仿真

建模和仿真已被軍隊廣泛用于培訓、決策支持和研究等。因此，有很多經過長期驗證的模型，也有可能被用于生成ML應用的合成數據。例如，飛行模擬器可以用來生成置于不同環境中飛機的合成圖像。在這種情況下，標簽是自動的，因為在生成合成圖像之前，飛機的類型是已知的。然而，不足為奇的是，在將模型應用于真實世界的圖像時，使用合成圖像可能會導致性能不佳。目前正在探索的一種方法是采用GANs增強合成圖像，使其具有照片般的真實性。這種方法已經得到成功的應用。

5 結論

人工智能最近的突破正在逐漸達到可以用于軍事應用的地步。 該論文描述了在監視、水下魚雷戰和網絡安全中使用人工智能的一些可能性。 其他潛在應用包括使用半自動駕駛車輛和傳感器系統進行偵察、在具有長時間要求的防空系統中進行威脅評估、新興模式的情報分析、指揮和控制系統以及教育和培訓。 然而，人工智能的軍事應用需要考慮以下方面的挑戰：

• 確保模型性能符合軍事要求的透明度。
• 脆弱性可能會導致系統性能大幅度降低。
• ML的訓練數據不足。

專注于人工智能的透明度、可解釋性和可解釋性問題的研究人員已經取得了許多進展。這些進展中的許多部分也都可能被用于軍事人工智能應用中。然而，需要進行更徹底的需求分析以了解如何利用這些研究成果。軍事需求在風險、數據質量、法律要求等方面與一般情況相比非常不同，有些類型的透明度甚至可能不適用。此外，還需要對如何利用社會科學研究來提高人工智能的可解釋性進行更多研究。未來的研究還應該包括如何充分利用在視覺分析研究領域中開發地豐富的可視化技術。

由于目前還沒有解決脆弱性問題的有效方案，因此在監測這一研究領域不斷尋找有希望的解決方案非常重要。然而，在這種解決方案出現之前，有必要盡量減少外部對模型和防御技術的訪問。否則，對手可能會試圖利用這些漏洞來為自己謀利。

最后，遷移學習使其有可能將預先訓練好的模型應用于訓練數據和計算資源都有限的軍事應用。GAN是另一種有很前途的技術，它能夠采用標記的和未標記的數據進行學習（半監督學習）。GAN也可以與仿真結合使用，以提高合成的訓練數據的真實性。