本論文探討了區塊鏈與互聯網協議第六版（IPv6）數據包信息的使用，以支持與無人駕駛飛行器（UAVs）智能蜂群的安全、高性能和可擴展的通信。在這篇論文中，我們研究了三種情況下的加密數據包的交換，即點對點、點對多和多對點。我們模擬了每個場景下的蜂群行為，并在模擬運行中改變了蜂群中無人機的數量。基于仿真的結果顯示，對于點對點場景和多對多場景，即使在多對多場景中，交互節點的數量增加，延遲也沒有明顯增加。相反，在點對多的情況下，延遲會增加。需要進行更多的研究來評估本論文中提出的區塊鏈-IPv6方法的安全性和可擴展性。

圖. 使用區塊鏈技術的無人機群智能中的塊生成概念

引言

越來越多的無人機被用于軍事目的，再加上自動化方面的進步，如為無人駕駛飛行器（UAV）配備不同程度的自主權和群集智能，使得這些飛行器成為敵對勢力的誘人目標。為了獲得競爭優勢，對手將試圖找到無人機的飛行控制器、接收器或發射器的可利用的物理和網絡漏洞，然后應用動能、網絡或某種動能和網絡攻擊機制的組合來操縱無人機的行為，例如使無人機墜毀或泄露敏感數據。

攻擊軍用無人機的一個途徑是操縱無人機使用的通信機制，無論是無人機與無人機之間的通信還是無人機與人類操作員之間的通信。例如，對手可以修改或阻止無人機群之間的數據交換，以降低無人機群的行動效率。重要的是，為軍事單位提供的無人機已經過動能和網絡脆弱性評估，與這些脆弱性相關的風險在無人機的操作使用之前就已經得到緩解，并且在無人機的使用壽命內對無人機系統進行修改時，也要進行風險評估和緩解。

安全風險管理也要在一個框架中進行規范，美國國家標準與技術研究所（NIST）就是這樣做的，它發布了一個風險管理框架。多種技術可用于實施降低安全風險的措施。例如，Vikas Hassija和Vinay Chamola[1]斷言。"當務之急是保持無人機和其他用戶之間交易的安全性、成本效益和隱私保護。區塊鏈技術是一個非常有前途的解決方案，可用于部署實時無人機應用"。

A. 問題陳述

科學技術的創新和進步之間存在著一種共生關系。諸如自動駕駛汽車、自主無人駕駛飛行器（UAV）和智能家用電器等能力，一度被認為是科幻小說的范疇，或者在技術上太難實現，現在已經很普遍了。

無人機的概念最早出現在1783年，當時約瑟夫-米歇爾和他的伙伴雅克-艾蒂安-蒙戈爾費埃公開展示了一種當時可以說是無人機或無人駕駛飛機的交通工具[2]，其形式是1849年在法國一個叫安諾奈的地方的熱氣球，在那次戰爭中，由奧地利中尉弗朗茨-馮-烏沙提斯創造的氣球炸彈被用來攻擊威尼斯市。雖然這次攻擊只造成了輕微的損失，但它可以被稱為成功，因為兩天后威尼斯就投降了[3]。尼古拉斯-特斯拉在1898年獲得了遙控（RC）的專利，大約20年后，一家名為拉斯頓-普羅克特空中目標的公司在特斯拉之前獲得專利的遙控技術基礎上發明了第一架無翼飛機[4]。

從那時起，無人機技術和它的應用已經穩步增長。它們已被用于科學研究，如收集有關火山活動的數據，在這些地方使用駕駛飛機會太危險或太昂貴。在20世紀90年代，亞伯拉罕-卡雷姆推出了 "捕食者"，這是一種配備了攝像頭和其他傳感器的無人機，用于監視。國防界為 "捕食者 "配備了武器裝備，包括導彈[5]。掠奪者本身已被用于一些沖突，如在阿富汗、巴基斯坦、波斯尼亞、前南斯拉夫、伊拉克、也門、利比亞、敘利亞和索馬里的沖突[6]。在2022年，它們也被烏克蘭和俄羅斯武裝部隊廣泛用于戰斗。

無人機技術的一個重大進步是應用了蜂群智能，一群無人機模仿大量同質動物的智能行為，如蟻群、鳥群和蜜蜂群。蜂群通過蜂群成員之間的協調表現出集體行為。蜂群的行為可以被編碼為算法，而這些算法又可以通過軟件實現，在計算機上執行，比如無人機中使用的嵌入式計算機[7]。蜂群行為甚至被用來進行基于無人機的燈光表演，例如在2020年東京奧運會的開幕式上。

在蜂群中，蜂后是控制器，同樣地，在蜂群智能無人機中，系統中有一個控制中心，典型的控制器名為地面控制站（GCS）。無人機的工作方式很直接，這涉及到無人機和GCS之間的數據交換，然后GCS可以連接到衛星，或者衛星可以直接連接到無人機，一切都在實時發生。圖1說明了無人機和其基礎設施的一種通信方式。至少，通信需要是低延遲和安全的[8]。

有兩種技術可以在GCS和無人機之間進行通信。第一種技術是基于蜂群基礎設施的GCS，第二種是飛行Ad-Hoc網絡（FANET）。基于蜂群基礎設施的GCS本身有一個GCS，用于集中式通信。所有的無人機群都將與GCS進行通信，以便群組能夠運作。然而，這種技術的一個缺點是，它依賴于GCS的可用性和正確運作。如果GCS受到干擾，整個無人機群也會受到干擾。相比之下，FANET使用一個發射器向某個無人機發送命令，然后該無人機將這些命令轉發給第二個無人機。然后這些命令將以串行或并發的方式分發給其他無人機。所有的無人機將進行通信，并擁有發射器給出的命令列表，這樣，如果這個發射器發生故障，所有的無人機仍然可以執行命令，因為每個無人機都有一個有效的命令列表。最后，通過使用這種FANET技術，每個無人機將具有冗余性，而不完全依賴通信基礎設施。然而，這種技術也有缺點。例如，一個入侵者或一個未知的無人機可以進入并破壞無人機群。再比如，無人機群的授權成員無法檢測到，所以入侵者（即未經授權的參與者）的無人機，從而可以獲得將由授權無人機執行的命令列表[9]。

為了克服入侵者無人機的問題，也許可以應用區塊鏈來防止未經授權的無人機使用無人機群命令來獲取列表。區塊鏈本身已被廣泛用于金融領域，目的是在每筆交易的驗證過程中消除第三方。

在區塊鏈中，當數據被分發時，將很難被黑客攻擊并獲得完整的數據，因為它是由一個使用加密手段的網絡驗證的。每個區塊由前一個區塊的哈希值，驗證哈希值的隨機數，或稱nonce，以及時間戳組成。完整性的保證是由區塊鏈為第一個區塊的形成提供的，這個區塊是由一個經過驗證的交易形成的結果，稱為創世區塊。由于哈希值是不可預測的或唯一的，欺詐或復制行為將被發現。每個經過驗證的區塊都有其哈希值，對該區塊的任何改變都會對其他區塊產生影響。如果所有或大多數節點給予許可或同意，該區塊就會被添加到鏈上，因為共識機制安排交易的有效性在某個區塊的有效性。

區塊鏈上的這種共識機制可以通過三種方式進行，那就是工作證明、股權證明和投票，實用拜占庭容錯。在加密貨幣的世界里，工作證明被用于采礦。它的工作原理是在每個節點上進行數學方程的計算，然后每個首先完成計算的節點將有權將最新的區塊輸入區塊鏈。使用權益證明，只有合法的節點可以進行計算以達成共識。另一方面，實用拜占庭容錯是基于投票的，要求至少有三分之一的授權節點是拜占庭的。

認證過程是通過生成具有偽隨機函數的一次性密碼（OTP）來進行的。無人機在區塊鏈中注冊，每架無人機根據存儲在區塊鏈節點中的關系，確定它能夠認證的最近的無人機。認證請求從無人機發送至相關的無人機，后者在區塊鏈中觀察并檢查該無人機是否有關系，并能對其進行認證。這個方案能夠挫敗外部惡意無人機的攻擊或第三方攻擊，即使對手知道第一個令牌。

B. 方法

在本論文中，我們研究了使用IPv6（互聯網協議版本6）在無人機之間進行通信的方式。與IPv4（互聯網協議版本4）相比，IPv6有很多優點，即速度更快，更有效，因為它的路由表比IPv4少，所以路由過程將更有組織和有效，而且更安全，因為它配備了交換數據的加密功能。帶寬更有效，因為IPv6支持組播。配置更容易，因為它自動運行。總的來說，IPv6更適合無人機等移動設備，因為不需要通過網絡地址表（NAT），因此延遲低。IPv6將使用區塊鏈與權益證明共識相結合。

與加密貨幣一樣，區塊鏈上的每個節點都必須進行支付。在這項研究中，支付被替換成OTP。每個節點產生相同或同步的OTP。區塊鏈和OTP在這里的使用是為了檢測未經授權的無人機，并防止他們讀取或更新無人機群使用的命令列表。此外，我們探索了區塊鏈、智能合約共識（SCC）和分布式賬本技術在蜂群通信方面的能力。此外，還根據提出的無人機群智能通信架構的概念進行了模擬。

C. 范圍

本論文的范圍僅限于探索區塊鏈技術和OTP的聯合使用，這兩種技術在IPv6數據包中都有填充。

D. 研究結果總結

在進行了模擬物理無人機在點對點、點對多、多對點場景下的運行，并使用1-10000次迭代或交易的實驗后，得到了各場景的延遲比較結果。從這些結果可以得出結論，對于點對點方案和多對多方案，即使在多對多方案中，交互節點的數量增加，延遲也沒有顯著增加。而在點對多的情況下，一個節點以廣播信息的形式同時向幾個節點進行交易，這導致了延遲的增加。第四章和第五章解釋了仿真結果和這些結論的總結。此外，第五章還討論了與本論文中的事項有關的未來工作的可能性和建議。

E. 論文組織

第二章介紹了無人機群智能通信區塊鏈功能的背景，并利用它作為無人機群智能的通信手段。它還對IPv6結構格式進行了概述。第三章討論了基于IPv6區塊鏈的通信數據傳輸的分析。具體而言，分析了IPv6區塊鏈數據包的場景、保密性、完整性和可用性。第四章闡述了IPv6區塊鏈在無人機蜂群智能中實現的可能性和挑戰的研究成果。第五章提供了結論和對未來研究的建議。

近年來，美海軍對無人系統的綜合衛星-地面網絡（ISTN）架構表現出興趣。隨著衛星網絡的發展和越來越多的無人系統網絡的連接，安全和隱私是ISTN的主要問題。在這篇論文中，我們專門為ISTN開發了一個網絡入侵檢測系統（NIDS）。我們確定了NIDS在ISTN架構中的關鍵位置，并使用決策樹機器學習算法對各種威脅載體進行網絡攻擊檢測，包括分布式拒絕服務。決策樹算法被用來對攻擊流量和良性流量進行分類和隔離。我們使用文獻中提供的開放源ISTN數據集來訓練我們的算法。決策樹使用不同的分割標準，不同的分割數量，以及使用主成分分析（PCA）來實現。我們操縱訓練數據的大小和數據特征的數量以達到合理的假陽性率。我們表明，我們基于決策樹學習的NIDS框架可以有效地檢測和隔離不同的攻擊數據類別。

確保信息和武器系統免受網絡威脅是美國國防部及其盟國合作伙伴的一個重要目標。了解這些系統在現實操作條件下的端到端性能，包括網絡干擾，對于實現任務目標至關重要。在不利的操作條件下，識別和減輕操作性能的不足，可以為我們的防御能力提供重要價值，并直接拯救生命。

作為一個說明性的例子，我們考慮聯合全域指揮與控制（JADC2）系統。JADC2從根本上依靠通信和網絡來包含、提取和傳播時間敏感的、與任務相關的信息，以決定性地贏得對敵方部隊的勝利。未來的沖突很可能涉及到試圖破壞對JADC2通信和高度復雜的武器系統的可靠運行至關重要的信息系統。破壞已經是潛在對手部隊的一種能力，并將蔓延到與他們結盟的次要威脅。JADC2綜合網絡和動能戰場的復雜性要求訓練、分析、測試和評估部門充分考慮到網絡操作退化和/或利用網絡漏洞對整體任務結果的潛在影響。這促使人們對工具、技術和方法進行大量的持續研究和開發，以評估一般軍事系統，特別是作戰系統的網絡復原力。

戰斗系統之間的復雜性和相互依賴性以及它們之間的聯系使目前的彈性分析方法變得復雜。例如，假設故障是隨機的硬件故障，那么與網絡中的單點故障相關的風險可以通過冗余的組件來緩解。然而，一個未被緩解的網絡漏洞也可能導致冗余組件出現相同的故障。即使組件本身沒有漏洞，成功干擾數據交換時間的攻擊，例如通過加載數據總線，也可能導致作戰系統性能下降。同樣，通過延遲的、間歇性連接的、低帶寬的環境建立通信聯系，可能需要使用多跳來轉發信息，這增加了對中間人攻擊的敏感性。

還有一種情況是，武器系統的網絡漏洞不一定是任務漏洞，因為利用該漏洞可能會也可能不會影響實現任務目標所需的整體系統能力。為了保證任務免受網絡威脅，武器系統的網絡彈性必須在現實的戰術環境中進行評估，以便：

• 預測潛在的網絡攻擊對具體任務的影響。
• 分析任務背景下的替代緩解策略。
• 訓練作戰人員有效應對對手為破壞動能任務而動態部署的網絡工具、戰術和程序（TTPs）。

使用虛擬機（VM）的傳統網絡演習是網絡系統的最高保真表現，因為它們不僅虛擬了通信協議，還虛擬了操作系統和應用程序，因此，在這些模塊中發現了漏洞。因此，網絡范圍經常被用于網絡攻擊和防御評估和培訓。然而，虛擬機往往需要大量的硬件足跡來模擬大型網絡，并需要大量的時間和人力來配置特定實驗的范圍。這種類型的網絡范圍受到以下額外的限制：

• 表現戰術、5G、衛星和其他無線網絡以及適當的網絡和電子戰（EW）攻擊載體的能力有限。
• 在產品生命周期的設計階段，支持分析的能力有限。
• 難以表現替代性作戰環境以及與動能戰領域的整合。

在本文的其余部分，我們從以任務為中心的角度研究了使用網絡數字孿生體來提高軍事（戰斗）系統的網絡彈性。網絡數字孿生依靠高保真模擬和仿真來對物理系統進行建模，并在可移植性、可擴展性、對無線網絡和通信進行建模的能力以及支持整個產品開發周期的網絡分析方面提供好處。我們還提出了一組用例，說明數字孿生在不同系統的網絡彈性評估中發揮的作用。

我們認為，將基于虛擬機的網絡范圍與網絡數字孿生體相結合的網絡框架，可以為調查各種戰術系統的網絡復原力和脆弱性提供一個理想的平臺。

圖 3. 連接兵棋模擬器和網絡數字孿生。

圖 4. 使用網絡數字孿生進行網絡分析。

現代硬件系統依靠狀態估計器（如卡爾曼濾波器）來監測關鍵變量以進行反饋和性能監測。硬件系統的性能可以用卡方故障檢測測試來監測。以前的工作表明，卡爾曼濾波器很容易受到虛假數據注入攻擊。在虛假數據注入攻擊中，故意在傳感器測量數據中加入噪聲和/或偏差，以誤導卡爾曼濾波器，而這種誤導方式不會被卡方測試所發現。本論文提出了一種欺騙卡爾曼濾波器的方法，其中攻擊數據是用強化學習產生的。研究表明，強化學習可以用來訓練一個智能體，通過注入虛假數據來操縱卡爾曼濾波的輸出，而不被卡方檢驗所發現。這一結果表明，機器學習可以被用來成功地進行網絡物理攻擊，而行為者不需要對支配目標系統運行的數學有深入的了解和認識。這一結果對現實世界有重大影響，因為現代智能電網、飛機、汽車和航天器控制系統都是網絡物理系統，它們依靠可信的傳感器數據來安全和可靠地運行。針對這些系統中的任何一個的機器學習衍生的虛假數據注入攻擊都可能導致未被發現的、可能是災難性的故障。

提綱

第1章概述了所進行的研究，描述了卡爾曼濾波、chi-squared測試和網絡物理系統之間的關系。第2章提供了關于卡爾曼濾波器chi-squared故障檢測和本研究中使用的RL方法的支持信息。第3章描述了用于建立CPS模型的方法，詳細描述了RL算法，并涵蓋了對算法功能的測試和驗證。第4章介紹了研究的結果。第5章詳細介紹了結論和未來的研究領域和適用性。

在一個日益數字化的世界里，在線匿名和隱私是互聯網用戶的一個首要問題。像The Onion Router（Tor）這樣的工具為用戶提供了匿名的互聯網瀏覽。然而，最近，Tor的匿名性因指紋識別而受到影響，機器學習模型被用來分析Tor流量并預測用戶的瀏覽習慣，有些模型的準確率超過99%。Tor有一些試圖防止指紋識別的防御措施，但許多都被利用深度神經網絡（DNN）的新技術所擊敗。對DNN強大的新防御措施使用對抗樣本來欺騙分類器，但這些防御措施要么是假設用戶可以事先獲得完整的流量跟蹤，要么需要Tor服務器的昂貴維護。在這篇論文中，我們提出了Prism，這是一種針對指紋攻擊的防御措施，使用對抗樣本來實時愚弄分類器。我們描述了一種生成對抗樣本的新方法，該方法能夠在隨著時間的推移學習輸入時創建對抗樣本。Prism將這些對抗樣本注入Tor流量流中，以防止DNN準確預測用戶正在瀏覽的網站，即使DNN通過對抗性訓練進行了加固。我們表明，Prism將防御性指紋模型的準確性從98%以上降低到0%。我們還表明，Prism可以完全在服務器端實現，提高了在沒有GPU的設備上運行Tor的用戶的部署能力。

目標姿態估計和目標點選擇在直接能量武器系統中至關重要，因為它使系統能夠指向目標的特定和戰略區域。然而，這是一項具有挑戰性的任務，因為需要一個專門的姿態傳感器。在新出現的深度學習能力的激勵下，本工作提出了一個深度學習模型，以歐拉角的方式估計目標航天器的姿態。深度學習模型的數據是通過實驗從三維無人機模型中產生的，其中包括大氣背景和湍流等效應。目標姿態來自于二維關鍵點的訓練、驗證和預測。有了關鍵點檢測模型，就有可能檢測到圖像中的興趣點，這使我們能夠估計有關目標的姿勢、角度和尺寸。利用弱透視直接線性變換算法，可以從三維到二維的對應關系中確定三維物體相對于攝像機的姿勢。此外，從這種對應關系中，可以確定目標上的瞄準點，模仿激光跟蹤。這項工作評估了這些方法及其在模擬真實世界環境中實驗產生的數據的準確性。

1 簡介

深度學習技術在計算機視覺領域的快速發展，促進了基于人工智能（AI）應用的廣泛傳播。分析不同種類的圖像和來自異質傳感器數據的能力使這項技術在軍事和國防應用中特別有趣。然而，這些機器學習技術并不是為了與智能對手競爭而設計的；因此，使它們如此有趣的特性也代表了它們在這一類應用中的最大弱點。更確切地說，輸入數據的一個小擾動就足以損害機器學習算法的準確性，并使其容易受到對手的操縱--因此被稱為對抗性機器學習。

對抗性攻擊對人工智能和機器人技術的穩定性和安全性構成了切實的威脅。這種攻擊的確切條件對人類來說通常是相當不直觀的，所以很難預測何時何地可能發生攻擊。此外，即使我們能估計出對手攻擊的可能性，人工智能系統的確切反應也很難預測，從而導致進一步的意外，以及更不穩定、更不安全的軍事交戰和互動。盡管有這個內在的弱點，軍事工業中的對抗性機器學習話題在一段時間內仍然被低估。這里要說明的是，機器學習需要在本質上更加強大，以便在有智能和適應性強的對手的情況下好好利用它。

2 人工智能系統是脆弱的

在很長一段時間里，機器學習研究人員的唯一關注點是提高機器學習系統的性能（真陽性率/敏感度、準確性等）。如今，這些系統缺乏穩健性的問題已不容忽視；許多系統已被證明非常容易受到蓄意的對抗性攻擊和/或操縱。這一事實使它們不適合現實世界的應用，特別是關鍵任務的應用。

一個對抗性的例子是，攻擊者故意設計了一個機器學習模型的輸入，以導致該模型犯錯。一般來說，攻擊者可能無法接觸到被攻擊的機器學習系統的架構，這被稱為黑盒攻擊。攻擊者可以利用 "可轉移性 "的概念近似于白盒攻擊，這意味著旨在迷惑某個機器學習模型的輸入可以在不同的模型中觸發類似的行為。

最近針對這些系統的對抗性攻擊的演示強調了對抗性行為對穩定性影響的普遍關注，無論是孤立的還是互動的。

也許最廣泛討論的攻擊案例涉及圖像分類算法，這些算法被欺騙成 "看到 "噪聲中的圖像，即隨機產生的不對應于任何圖像的白噪聲被檢測為圖像，或者很容易被像素級的變化所欺騙，因此它們將一輛校車分類為鴕鳥，例如。同樣，如果游戲結構或規則稍有改變，而人類不會受到影響，那么表現優于人類的游戲系統（如國際象棋或AlphaGo）就會突然失敗。在普通條件下運行良好的自動駕駛汽車，只要貼上幾張膠帶，就會被誘導轉向錯誤的車道或加速通過停車標志。

3 人工智能在軍事上的應用

許多北約國家利用人工智能和機器學習來改善和簡化軍事行動和其他國家安全舉措。關于情報收集，人工智能技術已經被納入在伊拉克和敘利亞的軍事行動中，其中計算機視覺算法被用來檢測人和感興趣的物體。軍事后勤是這一領域的另一個重點領域。美國空軍使用人工智能來跟蹤其飛機何時需要維護，美國陸軍使用IBM的人工智能軟件 "沃森 "來預測維護和分析運輸請求。人工智能的國防應用還延伸到半自主和自主車輛，包括戰斗機、無人機或無人駕駛飛行器（UAV）、地面車輛和船舶。

人們認為對抗性攻擊在日常生活中相對罕見，因為針對圖像分類算法的 "隨機噪音 "實際上遠非隨機。不幸的是，對于國防或安全技術來說，這幾乎是不可能的。這些系統將不可避免地被部署在對方有時間、精力和能力來開發和構建正是這些類型的對抗性攻擊的環境中。人工智能和機器人技術對于部署在敵人控制或敵人爭奪的地區特別有吸引力，因為這些環境對于我們的人類士兵來說是最危險的環境，在很大程度上是因為對方對環境有最大的控制。

在意識到人工智能發展和應用的技術領先的重要性后，北約于2020年在多國能力發展運動（MCDC）下啟動了人工智能、自動化和機器人技術的軍事用途（MUAAR）項目。該項目的范圍是開發概念和能力，以應對開展聯合聯盟行動的挑戰，并對其進行評估。項目的目標是評估可能受益于人工智能、自動化和機器人技術的當前和未來的軍事任務和功能。它還考慮了效率和成本節約方面的回報。

在國防應用中，對抗性地操縱機器學習分類器所帶來的危險的例子很多，嚴重程度各不相同。例如，致命的自主武器系統（LAWS）可能會將友軍戰車誤認為是敵軍戰車。同樣，一個爆炸裝置或一架敵方戰斗機可能會被錯誤地識別為一塊石頭或一只鳥。另一方面，知道人工智能垃圾郵件過濾器跟蹤某些單詞、短語和字數進行排除，攻擊者可以通過使用可接受的單詞、短語和字數來操縱算法，從而進入收件人的收件箱，進一步增加基于電子郵件的網絡攻擊的可能性。

4 結論

綜上所述，人工智能支持的系統可能會因為對抗性攻擊而失敗，這些攻擊是故意設計來欺騙或愚弄算法以使其犯錯的。這種攻擊可以針對分類器的算法（白盒攻擊），也可以通過訪問輸入來針對輸出（黑盒攻擊）。這些例子表明，即使是簡單的系統也能以意想不到的方式被愚弄，有時還可能造成嚴重后果。隨著對抗性學習在網絡安全領域的廣泛應用，從惡意軟件檢測到說話人識別到網絡物理系統再到許多其他的如深度造假、生成網絡等，隨著北約增加對自動化、人工智能和自主代理領域的資助和部署，現在是時候讓這個問題占據中心位置了。在將這些系統部署到關鍵任務的情況下之前，需要對這些系統的穩健性有高度的認識。

已經提出了許多建議，以減輕軍事環境中對抗性機器學習的危險影響。在這種情況下，讓人類參與其中或在其中發揮作用是至關重要的。當有人類和人工智能合作時，人們可以識別對抗性攻擊，并引導系統采取適當的行為。另一個技術建議是對抗性訓練，這涉及給機器學習算法提供一組潛在的擾動。在計算機視覺算法的情況下，這將包括顯示那些戰略性放置的貼紙的停車標志的圖像，或包括那些輕微圖像改變的校車的圖像。這樣一來，盡管有攻擊者的操縱，算法仍然可以正確識別其環境中的現象。

鑒于一般的機器學習，特別是對抗性機器學習，仍然是相對較新的現象，對兩者的研究仍在不斷涌現。隨著新的攻擊技術和防御對策的實施，北約軍隊在關鍵任務的行動中采用新的人工智能系統時需要謹慎行事。由于其他國家，特別是中國和俄羅斯，正在為軍事目的對人工智能進行大量投資，包括在引起有關國際規范和人權問題的應用中，北約保持其戰略地位以在未來戰場上獲勝仍然是最重要的。

作者

Elie Alhajjar博士是美國陸軍網絡研究所的高級研究科學家，同時也是紐約州西點軍校數學科學系的副教授，他在那里教授和指導各學科的學員。在來到西點軍校之前，Alhajjar博士曾在馬里蘭州蓋瑟斯堡的國家標準與技術研究所（NIST）從事研究。他的工作得到了美國國家科學基金會、美國國立衛生研究院、美國國家安全局和ARL的資助，最近他被任命為院長的研究人員。他的研究興趣包括數學建模、機器學習和網絡分析。他曾在北美、歐洲和亞洲的國際會議上展示他的研究工作。他是一個狂熱的科學政策倡導者，曾獲得民用服務成就獎章、美國國家科學基金會可信CI開放科學網絡安全獎學金、Day One技術政策獎學金和SIAM科學政策獎學金。他擁有喬治-梅森大學的理學碩士和數學博士學位，以及圣母大學的碩士和學士學位。

摘要

在工業資產運行過程中出現的異常情況可能表明存在退化和故障，隨著時間的推移，會導致不期望的行為、運行條件的喪失以及系統的最終崩潰。預測性維護技術負責監測系統的狀態，以便在初始階段對這些異常情況進行檢測，從而以最佳方式安排維護任務。本文介紹了一種基于機器學習的人工智能技術的海軍資產預測性維護解決方案。為此，使用了由船舶實時收集并通過控制中心傳輸的傳感器（溫度、壓力等）的信息。所開發的系統（SOPRENE）能夠從我們軍艦上的發動機的歷史數據中預測不同的故障模式或異常運行狀況的發生。此外，該系統的使用可擴展到大型艦隊，該解決方案已使用Spark分布式環境來實現，以促進預測的分布式計算。

簡介

維護成本是工業運營成本的一個重要部分。在某些情況下，如在冶金行業，這些成本可以達到總生產成本的15%-60%。此外，其中三分之一的投資由于不必要的或不正確的活動而被浪費。然而，維護是至關重要的，因為系統的故障會導致巨大的財務成本。

在過去，由于不可能處理大量連續的數據流，所以在很多情況下，只能使用統計技術。然而，今天的預測性維護則遵循更先進的理念：

與其依靠這些行業統計數據（如平均故障間隔時間）來安排維護活動，不如對系統進行實時監測，以確定其狀態和真實狀況。目前的計算能力允許處理更多的數據，以及使用更復雜的技術來進行預測、檢測異常情況和對系統進行可能的診斷。因此，預測性維護可以理解為基于系統的當前狀態或條件以及根據運行歷史進行的未來預測的預防性維護。

這項研究工作介紹了在SOPRENE項目中開發的預測性維護系統在海軍艦艇發動機上的應用。擬議的系統已經分析并使用了分布式環境中的機器學習技術。在這個意義上，所考慮的方法論可以根據Ran等人的說法來劃分。

摘要

現代戰爭的特點是復雜性越來越高，敵手聰明且技術優良。為了解決現代戰爭的一些復雜性，基于機器學習(ML)的技術最近為戰場上的自動化任務提供了合適的手段。然而，配備了ML技術的聰明敵人不僅在戰場上參與公平競爭，而且還利用欺騙和隱蔽攻擊等策略，制造惡意方法來破壞ML算法，獲得不公平的優勢。為了應對這些威脅，自動化戰場系統上使用的ML技術必須能夠強大地抵御敵方的攻擊。

我們在一種稱為“示范學習”(LfD)的強化學習算法的背景下，分析了競爭場景中的對抗學習問題。在LfD中，學習智能體觀察由專家完成的操作演示，以學習快速有效地執行任務。LfD已成功應用于軍事行動，如使用機器人團隊進行自主搜索和偵察，或自主抓取拆除簡易爆炸裝置。然而，惡意的敵人可以通過植入敵對的專家來利用LfD，這些專家要么給出不正確的演示，要么修改合法的演示，從而使學習智能體在任務中失敗。為了解決這個問題，我們首先分析了在LfD框架內對抗專家可以使用的不同的演示修改策略，根據對手的修改成本和修改學習代理對任務性能的影響。然后，我們提出了一個新的概念，利用對手和學習智能體之間的博弈，學習智能體可以使用LfD從潛在的對手專家演示中戰略性地學習，而不顯著降低其任務性能。在AI-Gym環境中，我們對提出的魯棒學習技術進行了評估，該技術通過對雅達利類游戲“LunarLander”中的專家演示進行對抗性修改。

圖1所示。(左)使用LfD學習自動駕駛設置時敵對軌跡對策略的影響。(右)在我們提出的方法中，干凈(綠色)和對抗(紅色)軌跡首先是等分的。然后，在使用選項(金虛線)接受或拒絕軌跡部分后，對每個分區學習策略，或對未分區的軌跡使用傳統的強化學習(藍虛線)。

對抗性專家演示框架

我們考慮這樣一個場景，學習智能體必須通過從專家給出的任務演示(LfD)中進行強化學習來在環境中執行任務。一些專家可能是敵對的，并修改軌跡演示的意圖，使學習智能體不能正確執行任務，而遵循修改的演示。在本文的其余部分中，為了便于閱讀，我們將對抗性專家稱為專家。LfD框架采用馬爾可夫決策過程(MDP)[12]進行形式化。LfD算法的輸出是一個策略，該策略為執行任務提供狀態到動作映射。RL通過一個叫做訓練的過程學習策略，在這個過程中，它探索環境，觀察在探索過程中收到的狀態-行為-獎勵配對，最后選擇一系列導致更高期望獎勵的狀態-行為-獎勵配對作為它的策略。

專家們的演示以被稱為軌跡的狀態-行動-獎勵元組序列的形式給出。專家軌跡可能是良性的，也可能是敵對的。良性和敵對的專家軌跡分別展示了完成任務的正確和不正確的方式，并幫助或阻礙了學習智能體學習執行任務。專家演示被整合到智能體的學習中，使用名為DAGGER[1]的LfD算法執行任務。DAGGER使用來自專家演示軌跡的監督學習來學習策略，但添加了一個權重參數β，該參數表示學習主體在將軌跡納入其學習策略時的權重或信任度。

算法1。學習器用來接受或拒絕軌跡演示的算法。

算法2。由專家用來修改干凈軌跡的算法。

使用軟件會暴露容易受到攻擊并造成嚴重后果的漏洞。雖然存在許多不同的漏洞，但其后果分為少數幾類。本文解釋了攻擊機器學習 (ML) 漏洞的后果如何歸入這些相同類別。然后將這些后果與特定于 ML 的攻擊、它們發生的上下文以及已建立的緩解它們的方法保持一致。這些防御性對策可以支持系統 ML 元素的安全性，并更大程度地保證使用 ML 的系統將按計劃運行。

本文提供了一種系統方法來解決使用 ML 的系統的攻擊、后果和緩解措施。它解釋了 ML 技術生命周期中的每一個問題，清楚地解釋了要擔心什么、何時擔心以及如何減輕它，同時假設對 ML 細節了解很少。

描述了軟件系統通常面臨的損害類型，并將它們與采用機器學習的系統所特有的公認后果類別聯系起來。然后，我們解釋導致這些后果的攻擊向量。然后，我們在最廣泛的類別中描述 ML 本身，包括從開始到部署和執行的生命周期。然后，我們確定生命周期中存在哪些漏洞，這些漏洞允許威脅對系統發起針對 ML 的攻擊。然后，我們通過不同的示例對 ML 漏洞、攻擊和緩解措施進行更深入的檢查。

了解 ML 系統的生命周期（其中漏洞存在于生命周期中）以及攻擊利用這些漏洞可能造成的損害，可以對采用 ML 所產生的風險進行明智的評估。我們對 ML 漏洞、攻擊和緩解措施的討論利用了 NISTIR 8269 文件中中開發的分類法。主要出發點在于將這些概念映射到我們在第 6 節中闡述的 ML 生命周期以及我們對 ML 安全性的系統方法的討論。