本最終技術報告總結了 2018 年 9 月至 2022 年 9 月期間 AFRL 項目 "嵌入式深度學習和高級計算 "的研發工作。該項目涉及兩個重要的技術趨勢：使用深度神經網絡（DNN）的深度學習正迅速成為許多機器學習應用的首選方法，而網絡邊緣的嵌入式設備正變得越來越廣泛。通過這兩種技術的融合，我們可以看到新一代嵌入式設備的出現，它們可以執行智能任務，如學習未知環境和感興趣的目標、周圍環境的三維映射、執行數據分析以及根據本地數據進行預測。這些設備構成了所謂的人工智能物聯網（AIoT）[1]。

本研究項目研究的基礎技術可促進未來嵌入式深度學習的高效訓練和推理計算系統。研究的主要方法包括 (1) 使用隨機舍入的可變精度分塊浮點；(2) 采用術語量化，將浮點數量化為 2 次冪術語，而不是傳統的均勻量化；(3) 使用特定領域詞匯對預訓練語言模型進行調整；(4) 通過使用恒定帶寬塊的調度最大限度地減少內存訪問；(5) 在算法的協同設計中應用全棧優化、 (6) 為可穿戴計算拆分神經網絡，(7) 設計用于檢測輸入到 DNN 的非分布式輸入的算法，(8) 為高效的 DNN 系統陣列實現打包稀疏 DNN，(9) 為 DNN 的 3DIC 實現設計內存邏輯架構和系統構建模塊，以及 (10) 在內存計算中利用位級稀疏性。

引言

卷積神經網絡（CNN）等深度神經網絡（DNN）實現了深度學習。它們具有多層非線性特征轉換，每增加一層就能提取出越來越好的特征。然而，訓練一個大型 DNN 并在這樣的網絡上執行推理需要耗費大量的時間和精力。對于大型語言模型（LLM）和生成式對抗網絡（GAN）等大型深度網絡來說，訓練成本很高。由于小型人工智能物聯網（AIoT）設備在處理能力、內存占用和功耗預算方面存在嚴格的資源限制，因此在這些設備上進行訓練和推理更具挑戰性。有必要共同設計算法、模型和硬件參數，以便在這些嵌入式設備上執行高效的訓練和推理。在為嵌入式設備訓練復雜的深度模型時，并行處理、管理內存訪問時間表和利用數據稀疏性等高級計算技術至關重要。

本項目旨在針對嵌入式深度學習和推理中的關鍵挑戰開展廣泛研究。例如，我們探索了嵌入式深度學習與基于并行和分布式計算的高級計算之間的相互作用。該項目利用了 PI 在相關領域的經驗，包括他早期在系統陣列以及分布式和嵌入式神經網絡架構方面的工作。我們將在本報告的其余部分重點介紹我們已發表的部分成果。

這份最終報告描述了在AFOSR獎勵FA2386-20-1-4043下進行的三個分支研究成果。我們在針對神經網絡分類器的中間人（MitM）對抗性攻擊的最先進對抗性防御框架、針對離散序列數據（如自然語言文本、蛋白質序列等）的快速而準確的黑盒對抗性攻擊算法以及離線強化學習的穩健策略優化算法方面取得了重大進展。研究成果通過以下方式傳播：(i) 在人工智能領域的頂級出版場所（NeurIPS、AAAI、ICML）發表文章；(ii) 在Github上公開源代碼，以實現可重復性和傳播；(iii) 在首爾國立大學為本科和研究生水平的人工智能課程授課。

這個項目的主要目標是為無人駕駛飛行器（UAVs）設計、開發和制作一個自動化和自組織控制框架的原型。通過結合軟化和抽象原則、優化和人工智能（AI）成功地實現了目標，能夠開發出一個原型，能夠理解網絡操作者的目標，適應網絡參數和功能，以應對不斷變化的環境條件并保證高性能。

1 引言

智能無人駕駛飛行器（UAVs）作為提供新功能、擴展無線網絡基礎設施和使網絡更靈活的工具，已經獲得了發展勢頭[1-4]。由于其獨特的特點，如快速部署、高機動性、處理能力和縮小的尺寸，無人機是未來眾多無線應用的一項有利技術。其中，增加網絡覆蓋面和為用戶提供情境感知的網絡服務是顯著的例子。

盡管有上述優勢，但如何部署能夠自適應和自組織的無人機群，以提供可靠、高性能和無處不在的服務并不是一件容易的事。事實上，網絡的無線和分布式性質使無人機暴露在干擾、障礙物和不斷變化的信道條件下，可能會對網絡運行產生負面影響（或者在最壞的情況下完全阻止）。這些挑戰在成功取決于無人機、移動終端用戶、基站、運營中心等之間無線通信的可靠性和效率的應用中更為重要。在這個項目中，我們通過設計、開發和原型驗證SwarmControl，推進了無人機網絡群的技術水平，這是一個新的軟件定義的無人機群控制框架，其目標是實現網絡操作的自動和智能重新配置，以保證高性能并適應不斷變化的網絡條件。SwarmControl結合了各種優化和數據驅動工具、軟件定義無線電（SDR）和分布式網絡控制原則，為網絡操作者提供了一個統一的網絡和飛行控制功能的抽象。有了SwarmControl，操作員可以通過在一個集中的抽象上指定無人機網絡的高級控制指令和要求來定義和實施復雜的網絡控制問題。SwarmControl（i）構建網絡操作員指令的網絡控制問題表示；（ii）將其分解為一組分布式子問題；以及（iii）自動生成數據驅動和分布式優化解決方案算法，在各個無人機上執行。

在下文中，我們將詳細介紹我們在該項目中所進行的研究活動，具體重點是描述SwarmControl從基于優化的框架[2-4]到數據驅動的框架[3]的演變，強調我們的原型設計工作和相應的實驗結果如何幫助我們證明其有效性。

2 方法、假設和程序

這個項目在兩個不同的階段中發展。第一階段涉及基于模型的優化，其中無人機通過傳統的優化工具調整其位置和網絡功能[2,4,5]。第二階段則涉及優化工具被無模型人工智能解決方案所取代的研究活動，其中網絡的底層模型是由一組合作代理（即無人機）學習的，它們協調其移動性和網絡操作以滿足網絡操作者的目標[3]。

2.1 第一階段： 基于傳統優化的方法

該項目第一階段開展的研究活動主要是為無人機群開發一個網絡操作系統，利用分解和分布式優化理論來實現網絡操作者的目標。為此，我們開發了圖1所示的系統。

該系統包括兩個關鍵部分：控制框架和無人機可編程協議棧（DPPS）。

2.1.1 控制框架

如圖1所示，該組件負責(i)為網絡操作者提供控制接口，以指定所需的網絡行為；(ii)構建網絡操作者指令的數學網絡控制問題（NCP）表示；以及(iii)將NCP分解為一組獨立的子問題，并將其分配給各個無人機。

• 控制界面。與網絡操作者的互動是通過一個控制界面實現的。通過控制界面上的幾個輸入字符，網絡操作員可以指定所需的網絡行為、要實現的網絡協議和節點特定的約束。高層指令的例子包括通過最大化網絡吞吐量來提高網絡性能，通過最小化能源消耗來延長無人機網絡壽命，通過指定最小速率約束來確保QoS要求，以及覆蓋一個特定的空中空間，等等。控制接口為網絡操作者提供了一個無人機網絡的抽象，隱藏了低層網絡功能和底層網絡架構的細節，如無人機的數量以及它們的計算能力和電池水平等。通過SwarmControl，控制無人機網絡變得非常簡單，只需在預定義的控制模板中進行選擇，選擇首選的網絡協議，并指定單個節點的約束。

• 網絡控制問題的構建。一旦網絡控制問題被定義，SwarmControl將網絡操作員的指令和要求轉化為一組數學表達式，然后將其合并并重新排列成一個NCP。由此產生的NCP是網絡操作員通過控制接口定義的高級網絡行為的集中表示，它跨越了網絡和飛行控制領域，涉及多個節點和協議棧的所有層。

• 分布式解決方案算法生成。通過網絡控制問題構建得到的NCP的跨層性質以及其變量之間的耦合性，使得它很難以分布式方式計算出一個理想的解決方案。為了應對這一挑戰，SwarmControl采用了水平和垂直分解理論，將具有跨層和跨節點依賴關系的NCP解耦為一組分布式子問題，每個子問題只涉及一個網絡節點和協議棧的一個層。對于所產生的每個子問題，SwarmControl以自動化的方式生成一個分布式數字解決方案算法，然后將其轉發給各個無人機，并在網絡運行時根據本地網絡狀態信息執行。

• 無人機可編程協議棧（DPPS）。如圖1所示，DPPS安裝在每個單獨的無人機上，以分布式和自動化的方式解決從控制框架收到的數值解算法。DPPS跨越了網絡協議棧的所有層次，并與飛行控制器固件緊密互動。DPPS為復雜的跨層和跨域網絡協議的原型化提供了必要的構件和基元，允許在協議棧的所有層對網絡、傳感和運動參數進行完全控制。

2.1.2 DPPS的細節

SwarmControl DPPS接收將在各個無人機上執行的分布式數值解算法（如運動解算法、傳輸率解算法），并在其決策平面上運行，如圖2所示。這個平面有一個協議庫，包含不同網絡協議和運動策略的軟件實現（如TCP、Bellman-Ford路由算法），以及運行調度腳本的數學求解器。

決策平面監督分布式優化算法的實時運行，使用最新的網絡狀態和運動信息作為輸入參數（例如，噪音功率、隊列狀態、與其他無人機的距離）。這些信息從注冊平面檢索，注冊平面也被用來存儲計算的數值解決方案。DPPS在運行時根據計算出的數值解配置數據平面中包含的網絡和飛行控制操作參數（例如，根據優化的路由表改變當前無人機的位置，根據注入網絡的優化應用層速率配置TCP窗口大小）。

該平面實現了一個完全可編程和可重新配置的協議棧，橫跨所有網絡層和運動層，并通過SDR和飛行控制器驅動器與無線電和運動前端接口，如圖2下部所示。

數據平面對無線電前端（由軟件定義的無線電和運動前端實現）以及協議棧功能都有完全的控制權；它負責將實際的網絡狀態和無人機位置信息反饋給注冊平面。如圖2所示，網絡狀態信息和計算的數字解決方案都存儲在寄存器平面的專用查找表（LUT）中。

每個DPPS層在寄存器平面都有一個專門的網絡狀態LUT，用于存儲所有與層相關的網絡狀態參數（例如，物理層L1 LUT中的信號干擾加噪聲比（SINR）和鏈路容量；網絡層L3 LUT中的鄰居集合和它們的距離；運動層L0 LUT中的物理位置和附近的障礙物）。數值解決方案以類似的方式存儲在專用的數值解決方案LUT中，每個DPPS層一個（例如，傳輸層L4 LUT中的TCP窗口大小；網絡后期L3 LUT的路由表；物理層L1 LUT的位置）。

2.1.3 SwarmControl第一階段的原型

對SwarmControl進行評估的第一個挑戰是缺乏具有SDR的商用現成無人機平臺。為了解決這個問題，我們設計并建立了一個定制的無人機網絡節點平臺，稱為Dron-SDR，將Ettus Research通用軟件無線電外圍設備（USRP）B205mini-i SDR安裝在英特爾航空即興飛行無人機上，如圖3所示。

圖3 帶有SDR的SwarmControl原型：（左）原型的圖片；（右）結構

英特爾Aeros的飛行自主權超過20分鐘，輪轂到輪轂的對角線長度為360毫米，基座到頂部的高度為222毫米，具有高度的便攜性和可操作性。同樣，B205mini-i SDR是市場上最緊湊、最輕、最低功耗的SDR設備。英特爾航空容納了一塊計算板，提供足夠的計算能力來運行Ubuntu 16.04和SDR開發框架，如GNU Radio。飛行管理、電機控制和傳感器融合在直接連接到計算板的Pixhawk 4飛行控制單元（FCU）上進行。所有FCU的參數和命令（例如，遠程控制和傳感器讀數）都是通過MAVLink路由器的UDP通信來訪問。與傳統的無人機不同，SwarmControl無人機節點被賦予了一個DPPS運動層（圖3中的L0：運動），它承載了基于Pymavlink的控制實現，允許每個節點自主地執行飛行控制操作。

值得指出的是，SwarmControl完全依賴于開源軟件。具體來說，DPPS完全由高級腳本語言（即Python）實現，并在原生的Linux操作系統上運行，它與FCU和GNU Radio直接對接。這使得SwarmControl與所有基于MAVLink的可編程無人機接口（如Pymavlink、DroneKit）兼容。圖3顯示了Dron-SDR原型的概況、其結構和硬件設計。

2.2 第二階段：無人機系統蜂群中的人工智能

在項目的第一階段，我們已經展示了SwarmControl如何通過優化理論提升網絡性能并利用自動化和分布式控制來適應當前的網絡條件。然而，第一代SwarmControl框架依賴于基于模型的優化，當環境過于復雜，無法用一個可行的模型來捕捉時，可能會導致不準確的近似。事實上，基于模型的優化方法的性能往往受到通過凸優化或類似技術解決無人機網絡控制問題所需的近似和放松的準確性以及所使用的信道網絡模型的準確性的限制。為了應對這些挑戰，該項目第二階段的重點是開發一個新的架構框架，以控制和優化基于無模型的深度強化學習（DRL）的無人機網絡。為了克服基于模型的優化的局限性，我們還開發了一個虛擬化的、"即用即飛 "的模擬環境，以生成訓練DRL算法所需的大量無線數據痕跡，這些數據在電池供電的無人機網絡上是很難生成和收集的。訓練環境將項目第一階段開發的DPPS與CORE/EMANE仿真工具結合起來，對無人機網絡進行精確仿真。

2.2.1 用于無人機網絡控制的兩層架構

我們設計了一個由控制框架和DRL DPPS組成的兩層架構。網絡運營商使用控制框架來決定分布式無人機網絡的預期行為。我們的解決方案自動生成一組DRL代理（即一組神經網絡（NN）形式的政策），這些代理在控制框架內的虛擬環境中進行訓練。訓練完成后，NN配置經過測試并自動分發到各個網絡節點，在那里它們將被用來控制DRL DPPS中的網絡和運動參數。通過這種方式，各個無人機通過實時優化其網絡性能，分布式地實現網絡運營商的目標。

通過一次分配NN配置，并在網絡的邊緣節點執行所需的網絡控制政策，這種方法不會受到集中式控制系統所特有的陳舊信息檢索和延遲命令的影響。此外，由于使用了可編程的運動和射頻前端，擬議的基于NN的政策設想了飛行和無線網絡參數的全堆棧和跨層優化。

2.2.2 一個數據驅動的控制方法

新開發的SwarmControl框架通過DRL解決了無人機網絡控制問題。我們考慮了一個多智能體的DRL方案，每個無人機都是一個不同的智能體，并在虛擬環境中為特定的飛行任務集體訓練復雜的無人機出動。訓練完成后，我們測試并向各個無人機分發適合任務的NN配置。這些用于計算網絡和運動策略，以通過適應動態網絡條件來實現網絡運營商的預期網絡行為。

與基于模型的優化相比，我們的數據驅動方法解決了不準確的建模表述和優化近似。與優化方法不同，DRL智能體不受優化求解器延遲的影響，可以以O(1)的復雜度推導出策略。

2.2.3 一個 "隨時可飛"的虛擬環境

為了收集電池供電的無人機網絡的大量性能數據，我們開發了一個極具代表性的仿真虛擬環境。我們重新審視了第一階段開發的DPPS，并將其與深度強化學習（DRL）的功能相結合，將其稱為DRL DPPS。我們將DRL DPPS與CORE/EMANE仿真工具整合在一起，以獲得一個高保真的虛擬環境，同時捕捉到運動、無線信道和高層協議棧的互動。我們系統地使用我們的 "可飛行 "虛擬環境來收集大量高保真網絡性能數據。最終，這種整合工作產生了一個具有高度代表性的模擬環境，使我們能夠擴大學習時間，并以高度的真實性訓練我們的DRL智能體。

2.2.4 一個新的基于DRL的DPPS

圖4報告了DRL無人機可編程協議棧（DRL DPPS）架構的概況。DRL DPPS用于單個無人機，在協議棧的所有層進行運動和無線操作，也用于控制框架的學習引擎，以訓練和測試特定任務目標的NN策略制定。在后者中，物理層和運動操作由虛擬化的CORE/EMANE環境執行，而在前者中，這些操作通過硬件運動和射頻前端實現。

通過在控制框架的學習引擎中采用整個DRL DPPS架構（不包括硬件前端），我們獲得了一個真實的模擬環境，這是我們高保真性能數據收集和有效的DRL訓練的關鍵。

我們對項目第一階段開發的DPPS進行了擴展，用新的DRL平面取代了決策平面，但仍保持其架構功能；以跨層的方式一次性優化網絡和運動控制參數。具體來說，控制邏輯是通過采用一種叫做Q-learning的DRL變體來實現的，其目的是優化我們試圖最大化的目標函數（即網絡運營商的目標）的估計值（稱為Q函數）。DRL采用的NN是一個深度Q網絡（DQN），它使用隨機梯度下降法（SGD）來近似Q函數。

2.2.5 AI驅動的無人機群的仿真環境

本項目的主要貢獻之一是將DRL DPPS與CORE/EMANE仿真工具相結合。

這項整合工作的目標有兩個方面：

• 開發一個高保真仿真環境，捕捉實時無線信道現象（如路徑損耗、延遲傳播、干擾）和協議棧各層的網絡操作（如分組、分段、重傳、流量突發、處理延遲），這些都是很難或很昂貴的模型，只能在仿真中近似地進行；

• 為研究人員提供一個可重新配置的仿真工具，以設計不同的無人機網絡配置和拓撲結構，并大規模地收集高保真無人機網絡性能數據。這項工作是對收集電池供電的無人機網絡實驗性能數據的有效替代，因為后者既費時又費力。

同時，這個仿真工具可以在實驗實施前用于測試無人機網絡配置。

圖5說明了DRL DPPS和CORE/EMANE之間的架構整合。在控制框架的學習引擎中，虛擬訓練環境和虛擬測試環境都使用了相同的架構。此外，圖6描述了DRL智能體（即嵌入SwarmControl的DRL DPPS的無人機）之間的互動，其中我們展示了多個DRL代理如何與CORE/EMANE中模擬的同一環境進行互動。值得一提的是，盡管每個DRL智能體在一個單獨的容器中執行，但它們都通過所有DRL智能體共享的同一個CORE/EMANE容器進行交互。

這項研究的目的是討論目前最先進的在點云數據上執行的機器學習算法的方法。所進行的研究將應用于三維激光雷達可視化和開發（3DLIVE）團隊的內部工作，其主要目標是為目標坐標測量（TCM）創建一個可視化和與點云數據互動的新系統。所提出的機器學習方法與三維點云和計算機視覺的機器學習的三個主要課題有關，每個課題都有自己研究的論文部分。這些主題是分割、分類和目標檢測，所選的論文是最近的研究，取得了最先進的性能。這項研究的結果是選定的幾種方法，它們向3DLIVE團隊展示了最有希望的結果和有效性。有效性在很大程度上取決于算法對3DLIVE使用案例的可擴展性和適用性，以及其準確性和精確性。

引言

在傳統的計算機視覺問題中，二維數據一直是用于推理的主要信息形式。隨著近來價格低廉且廣泛使用的3D傳感器（如蘋果深度相機、Kinect和飛行時間相機）的發展，3D數據已經變得非常豐富，并為解決計算機視覺問題提供了許多優勢。也就是說，它包含了更多的拓撲信息（深度維度、形狀和比例信息），這些信息對場景的理解至關重要，并提供了一個更自然的世界表現。由于這一技術層面的原因，將三維數據應用于自動駕駛、機器人、遙感和醫療等領域已經成為近期研究的重點，并將繼續擴展到其他領域[1]。

三維數據可以有很多格式，包括網格、深度圖像、體積網格和點云。場景理解應用中最常見的格式是點云-結構化數據，因為這種數據形式保留了三維空間中的原始幾何信息，沒有任何離散化損失。在進行分析之前，需要對點云進行定義：點云是一組數據點（x,y,z），通常代表一個（多個）三維物體的外表面，由合成或三維掃描器產生。三維數據面臨的一個挑戰是存儲要求--三維場景比二維的同一場景需要多出幾個數量級的存儲。點云解決了這個問題，因為它不需要存儲多邊形網格，因此提高了性能并降低了開銷--這是對時間敏感的應用的關鍵考慮[2]。

三維LiDAR可視化和開發（3DLIVE）項目旨在為目標坐標測量（TCM）和三維分析創建一個新系統。目前的TCM方法使用立體圖像，利用英偉達3D視覺眼鏡以及專門的GPU和顯示器來查看重疊的二維圖像，給人一種三維的感覺。然而，這種方法很難訓練，而且會造成眼睛疲勞；此外，它所使用的英偉達軟件和硬件已經達到了使用壽命的終點，不再得到支持或生產。因此，需要開發一種新的3D數據開發解決方案。

用于TCM的3DLIVE方法旨在利用主要由LiDAR傳感器收集的3D點云。然后使用游戲引擎Unity將這些數據可視化。此外，由于上述數據可以通過Octree格式有效地加載到Unity中，因此可以使用大規模的數據集。點的元數據信息可以在查看器中查看和分析，用戶可以在整個大的地理區域內導航并選擇點進行分析。有多種方法可以與數據互動，從在某一地點投放一個感興趣的點到測量距離、長度和面積。

有多種模式可以與3D點云數據互動。它們包括標準的鼠標和鍵盤、虛擬現實和增強現實（使用Hololens 2）。增強現實的互動是3DLIVE團隊的主要開發重點，因為它使用戶沉浸在數據中，同時仍然類似于立體眼鏡的方法。我們目前還在尋求使用機器學習（ML），使我們能夠自動獲得這些點云數據集中的物體信息，例如它們是什么物體，在空間內有什么界限，并進行自動目標識別（ATR）。

在過去的10-20年里，大多數深度學習計算機視覺研究都集中在2D圖像上，但隨著更多可用的3D數據的興起，最近的研究著眼于將傳統的深度學習技術應用于計算機視覺的3D數據。這項新的研究使得場景理解的場景有了重大的進展，但是在將模型從二維過渡到三維的過程中，仍然存在著一些障礙。具體到點云，數據是非結構化和無序的，這意味著以點云為輸入的深度學習網絡不能直接應用標準的深度學習方法，如卷積神經網絡（CNN）[1]。相反，必須開發定制的解決方案，使其具有包絡不變性，通常用對稱函數實現。另一個挑戰是從點云中捕捉局部和全局結構信息。通過單個點來評估點云會失去點與點之間的局部和整體結構信息，因此網絡在設計時必須通過查看鄰近的數據來考慮這一點。由于直接處理點云的困難，許多方法將點云數據轉化為一種中間格式，如將點云投影到二維圖像中，這樣就可以應用傳統的深度學習方法[1]。最后，從三維傳感器收集的點云數據并不完美--由于傳感器的局限性，采集設備的固有噪聲，以及被采集表面的反射性質，往往存在噪聲污染和異常值，會破壞數據采集[1]。從上面可以看出，在點云數據上應用深度學習方法并不簡單，需要對現有的技術進行重新設計，以便在網絡中使用，但是三維點云比二維數據的描述能力的提升超過了負面因素。

計算機視覺任務通常被分成3個不同的類別：分類、目標檢測和分割。對于點云，這些類別通常被定義為： 三維形狀分類，三維目標檢測和跟蹤，以及三維點云分割[1]。

三維形狀分類方法試圖通過首先學習每個點的嵌入，然后使用聚合方法從整個點云中提取一個全局形狀嵌入，來對點云中的物體進行分類（標記）。這個全局嵌入被輸入到幾個完全連接的層中以實現分類[1]。

三維目標檢測和跟蹤方法可以分為3類： 1）目標檢測，2）物體跟蹤，以及3）場景流估計。對于目標檢測方法，它們在每個檢測到的物體周圍為輸入的點云產生定向的三維邊界盒。接下來，三維物體跟蹤的目的是預測物體的狀態，因為它以前的狀態。與物體跟蹤相關的是三維場景流估計，即給定同一場景在兩個不同時刻的兩個點云，描述每個點從第一個點云到第二個點云的運動[1]。

與目標檢測和跟蹤一樣，三維點云的分割也可以根據所需的粒度分為三類。這些類別從最普遍到最不普遍：語義分割（場景級別）、實例分割（物體級別）和部分分割（部分級別）。給定一個點云，三維點云語義分割的目標是根據點的語義將點云分成幾個子集（例如，將場景中的所有椅子涂成相同的顏色）。更低一級的是三維點云實例分割，它比語義分割更具挑戰性，因為它需要對點進行更準確和精細的推理。實例分割不僅需要區分具有不同語義的點，還需要區分具有相同語義的獨立實例（例如，給每把椅子涂上不同的顏色，而不是所有椅子都是同一顏色）。最后，在最細微的層面上，部分分割試圖將具有相同語義的物體的各個部分分開（例如，給椅子的各個部分涂上不同的顏色），由于具有相同語義標簽的形狀部分具有較大的幾何變化和模糊性，因此這項任務特別困難[1]。

3DLIVE努力的目標之一是創建一個系統（利用機器學習），該系統接收一個地理區域的點云，將具有類似屬性的點分組為對象，并為每個組成對象和結構貼上標簽，使數據更容易使用和分析。在我們著手實現這些目標之前，我們確定研究當前點云數據集的分割和分類技術狀況將是有價值的。Guo等人在2019年完成了一項關于點云的深度學習方法的調查[1]。我們的目的是確認研究中提出的信息仍然是準確和相關的（針對點云數據集的ML是一個快速發展的領域），進行我們自己的研究并創建一個類似的調查，并決定在研究的分類、分割和目標檢測的方法中，哪些是最適合我們的使用案例的。AFRL RIEA/RIED內部研究小組（IHURT）被召集起來，與3DLIVE團隊一起做這項研究，并回答以下研究問題：

目前3D點云分割和分類的技術水平如何，哪些方法對3DLIVE的工作最有效？我們能否開始為我們打算使用的大規模三維城市點云的分割、分類和目標檢測奠定框架并制定行動方案？

這項研究的結果將使3DLIVE團隊能夠推進ML點云的分析工作。我們希望最終能復制出性能最高、最相關的分割、分類和目標檢測方法，并將其用于NGA地理空間存儲和數據管理（GRID）服務器的地理3D點云數據。此外，3DLIVE團隊已經開發了一種生成大規模合成城市點云數據集的方法，我們可以利用這種合成數據作為我們創建和使用的模型的額外訓練數據。這項研究將為3DLIVE團隊使用ML創建額外的工具來幫助作戰人員分析和衡量三維數據奠定基礎。這將最終實現上述目標，即創建一個新的TCM系統，供目標人員（如第363 ISR聯隊和其他目標部門的人員）使用，用一種利用越來越多的本地3D數據的替代技術取代目前已被淘汰的技術。

圖2. RPVNet的概述。它是一個具有多種交互作用的三分支網絡，其中體素分支和范圍分支共享類似的Unet架構，而點分支只利用每點的MLPs。

普渡團隊的提案只針對TA1，其重點是使用機器學習模型來檢測社交工程信息。普渡團隊加入了由伯克利和CMU領導的團隊，組成了LASER團隊。普渡大學團隊開發了訓練社交工程郵件分類模型的技術，并參與了模擬運行和評估工作。我們開發了三個模型。兩個模型分析了主題和正文中的文本。一個TF-IDF（術語頻率-反向文檔頻率）模型使用標準術語頻率信息。第二個模型從文本中提取動機特征來識別信息作者的意圖（例如，獲取信息，訪問社交網絡）。第三個模型是一個知識和圖形模型，從發送者和接收者的信息中提取關系特征。一個集合模型將三個模型的輸出匯總起來進行預測，它由邏輯回歸模型和神經網絡模型組成。該團隊廣泛地探索了不同的模型、訓練技術以及它們對準確性的影響。

這個項目的目標是開發在具有挑戰性的多目標環境中自主分布式傳感器管理和融合所需的基礎方法。這涉及到開發能夠自動跟蹤多個目標的算法，根據從具有數據關聯不確定性和高誤報率的多個平臺收到的信息進行分類并分配資源。在研究者最近在多目標跟蹤和分布式傳感器融合方面的發展基礎上，該工作方案開發了能夠在大規模多傳感器多目標跟蹤應用中基于信息理論標準實現自主傳感器分配的方法。這是通過重新評估信息理論中的關鍵工具來實現的，這些工具適用于基于點過程理論的多目標監視的挑戰，該理論旨在適應單個目標的狀態和目標數量的不確定性。所開發的信息理論方法被應用于多傳感器問題，使人們能夠決定如何分配傳感器資源，以及完善對場景的認識。所開發的工具將有助于減少監測單一傳感器饋電的勞動密集型負擔，并能做出適應性決定，以優化多模式網絡的運行，并增強對監測區域的整體認識。對多目標跟蹤情景的信息理論表述的關注，將使人們能夠驗證傳感器饋電是否能夠可靠地融合，以避免數據損壞的可能性。該項目在智能傳感方面提供了關鍵的先進技術，以實現動態環境中的連續和適應性監視。這些將是可擴展的，可用于從多個分布式傳感器對許多目標進行大規模跟蹤。

該項目的總體目標是研究和開發基于信息理論原則的分布式多傳感器多目標系統的自主傳感器控制的新策略：

• 為大規模系統的多目標跟蹤開發可擴展的解決方案。

• 開發基于信息論原理的多傳感器融合的分布式解決方案。

• 確定多傳感器多目標跟蹤系統可以交換多少信息。

該項目為多傳感器多目標跟蹤開發了基本的解決方案：

• 對許多目標進行大規模跟蹤。問題的規模越來越大，因此解決方案需要可擴展，跟蹤許多目標需要減輕組合復雜性的算法。多目標跟蹤的低復雜度解決方案將被開發出來，并在復雜環境中進行測試。開發了一種用于穩健地跟蹤大量目標的方法，該方法在目標數量和測量數量上是可擴展的，這使得數百萬目標可以被跟蹤。

• 確定多傳感器多目標跟蹤系統的信息含量。在具有高密度信息的傳感器網絡中，帶寬可能是多傳感器多目標跟蹤的一個制約因素。這個項目得出了確定用于多目標跟蹤的傳感器網絡的信息含量的結果。預計這將有助于評估傳感網絡的效率和有效性，并與發送數據的數量和頻率相平衡。

• 來自多個傳感器的數據的分布式整合。操作員需要根據來自多個跟蹤系統的信息做出決定，以提高整體的態勢感知。為多傳感器集成開發了一種分布式多傳感器多目標跟蹤的新方法，該方法可減輕來自不準確或誤導性數據源的損壞。

• 對多目標監視應用中的威脅進行評估。對許多物體的大規模跟蹤能夠識別直接威脅。然而，有些威脅可能比其他威脅更有針對性。開發了一種新的對抗性風險的表述，為操作人員提供態勢感知，以幫助確定傳感資產的優先次序。

• 目標跟蹤估計器的性能界限。費舍爾信息的倒數，即克拉默-拉奧約束，為參數的估計器提供了一個約束，是統計分析的基礎。它為一個參數提供了一個可實現的最小方差或協方差。根據量子場理論的數學概念，為點過程推導出克拉默-拉奧約束，將這一概念推廣到具有空間變量的變量。

地理定位精度測試報告介紹了當前戰術優勢網絡指揮與控制(TEC3)系統的地理定位精度研究結果。該文件由加拿大萊茵金屬公司提交給加拿大國防研究與發展，任務TA-04。

萊茵金屬加拿大公司于2018年2月至2021年3月為加拿大國防研究與發展部（DRDC）開發了戰術邊緣網絡指揮與控制（TEC3）技術演示器。TEC3展示了網絡和安全態勢感知以及網絡指揮和控制功能在一個示范性的下馬士兵網絡中的應用。根據核心工作成果，TEC3包括本地組中節點之間的移動特設網絡（MANET）通信，以及估算、地理標簽和顯示目標發射器位置的地理定位功能。

本報告詳細介紹了通過任務授權（TA）實施的進展情況，以測量TEC3系統對無人機系統（UAS）進行地理定位的性能，使用本報告的測試計劃中記錄的特定拓撲結構和距離。這些拓撲結構取決于最大距離參數，該參數本身也是一個實驗測量的對象。最大距離參數是軟件定義無線電（SDR）能夠接收UAS傳輸的最長距離。除了掃描頻譜進行地理定位外，SDR還記錄了地理定位過程中的通信頻段，以便將來分析。

實驗被成功執行，在某些情況下，UAS可以通過三個TEC3節點的不同城域網拓撲結構和距離來進行地理定位。例如，在某些情況下，它可以在直徑為420米（平均）的圓形/橢圓形區域內進行一定精度的地理定位。在其他情況下，橢圓覆蓋了TEC3的部署區域；在這些情況下，準確性差是由于SDR和全向天線輻射模式之間對同一發射器/位置的測量功率不一致。

探測發射器的最大距離估計約為600米。 實驗產生了108份60秒的記錄，將用于未來的分析。

達爾豪斯大學大數據分析研究所、加拿大國防研究與發展部（DRDC）-大西洋研究中心和加拿大通用動力任務系統公司（GDMS-C）向加拿大自然科學與工程研究委員會（NSERC）成功申請了一項名為海軍信息空間自動監測（AMNIS）的三年期資助項目。AMNIS啟動會議于2020年10月14日舉行，許多教授、國防科學家和GDMS-C技術人員參加了會議。會議為這三個組織確定了許多行動。與DRDC和GDMS-C相關的一項行動是需要與任務相關的場景來幫助指導預期的研究。因此，DRDC率先描述了一個有代表性的海陸場景，使研究人員能夠更好地了解與AMNIS有關的潛在研究途徑。制定的方案涉及加拿大皇家海軍（RCN）和加拿大陸軍（CA）執行的一項加拿大人道主義任務。該任務是向一個最近遭受自然災害的國家分發食品和醫療用品。一支敵對勢力還試圖偷竊這些物資。該情景描述了通過更好的處理技術和決策來改善信息流、共享和使用的必要性。該方案旨在引起進一步的討論，并幫助鞏固AMNIS參與者的研究課題。

1 引言

2015年，加拿大皇家海軍（RCN）的海上信息戰（MIW）概念[1]發布，概述了信息對RCN的影響。MIW的推出使人們非常需要關注信息，它既是皇家海軍使用的一種資源，也是為了更全面地使用和利用優勢而需要理解的一個概念。

該概念文件概述了信息的影響，包括其廣泛的可用性、皇家海軍對信息的依賴性以及信息的使用，特別是在戰爭中和作為戰爭倍增器的跨梯隊的使用。該概念文件還談到需要更好的處理技術來處理MIW功能領域內的數據量，如指揮、控制、通信、計算機、情報、監視和偵察（C4ISR）、指揮和控制（C2）、情報、監視和偵察（ISR）以及態勢感知（SA）。

在MIW概念文件之后，2016年又發布了RCN信息戰戰略文件[2]。這里的重點是發展海戰MIW能力和能力，以支持國內活動（即加拿大的防御）和國際部署。盡管戰略文件指出了信息的更多傳統用途，如收集、利用和傳播，但它也認識到網絡武器領域是一個機動的地方，可以采取防御和進攻的行動。MIW的概念文件涉及物理、虛擬和認知領域，而戰略文件則談到了信息領域，從而表明了信息對于作戰人員的地位和重要性。

在概念和戰略文件之后，加拿大在2017年發布了新的國防政策[3]。該國防政策并沒有明確提到信息領域。然而，該政策確實催生了兩個最近的文件，繼續表明信息對RCN的重要性：2019年的DND數據戰略[4]，以及2020年的RCN數字海軍[5]。

數字海軍[5]支持加拿大國防政策[3]的創新目標，特別是那些涉及適應和利用新技術的能力。數字海軍 "作為一個指南，將數字技術與人結合起來加以利用，以確保未來海軍的成功和可持續。這份文件提出的前進方向涉及自動化、大數據分析、云計算、人工智能（AI）和機器學習（ML）方面的創新，成功是指通過上述手段做出數據驅動的決策的RCN。

數字海軍的概念促進了企業和運營RCN社區在決策中對數據的使用。在操作方面，這是為了將海軍團隊和水兵從日常工作中更平凡的方面解放出來，通過自動化功能，如基于規則的重復性任務。從更廣泛的操作角度來看，使用這種數字技術和技巧是為了更好地進行操作。

上面提到的所有文件都指出，希望將RCN推向一個信息組織，在這個組織中，信息是用來使用的，但也被用作防御和安全的工具。由于其中一些方面對RCN來說是新的，因此顯然需要一個由信息科學、人工智能、ML以及將這些與認知科學相結合的專家組成的強大而明智的科學團體，以開發更好的人類決策模型來支持RCN的目標。

1.1 發展科學專長

通過政府、學術界和工業界合作伙伴的參與，建立了一個強大而知情的科學界。這個群體完全有能力在與現代軍隊相關的科學和技術問題上取得進展，以幫助滿足國內和國外對加拿大武裝部隊（CAF）不斷增長的需求。

為了發展這個社區，在自然科學與工程研究委員會（NSERC）的聯盟計劃下，成立了一個DRDC（大西洋研究中心）、工業界（加拿大通用動力任務系統公司，GDMS-C）和學術界（達爾豪西大學）的伙伴關系。提交并被NSERC接受的提案名為《海軍信息空間自動監測》（AMNIS）。該提案概述了海上和陸地的信息問題，特別是數據整合、事件和警報的ML、信任和對抗性數據，以及信息的可視化和呈現供用戶使用。

為了給學術研究小組提供背景和指導，下面提供了一個大大簡化的行動的基于場景的描述。該方案包括許多問題，表明與AMNIS相關的可能研究途徑。這里的目的是培養研究人員對與DRDC和GDMS-C有關的問題的理解，使研究人員能夠發展自己的思路，幫助他們追求與他們的研究和AMNIS有關的創新方法、技術和發現。

這項工作的動機是基于兩個愿望，即：

1.描述一個現實但簡化的操作，其中存在與AMNIS相關的信息問題，以及。

2.強調在AMNIS項目下DRDC和GDMS-C感興趣的研究領域。

1.2 概要

其余各節將提供一個現實場景的發揮、可視化部分、性能建模、決策和學習的概述。每一節都包含了一系列的問題，這些問題的提出有助于為研究工作提供思考點和指導。

第2節描述了一個聯合行動的場景，陸地和海洋部隊共同支持人道主義任務。通過可能被破壞并有相關安全風險的節點相互連接和共享信息資源來實現這一目的。第3節討論了可視化在該場景中的作用及其對決策的影響。這包括物理環境的可視化表示，以及額外信息源的聚合如何影響主題專家的決策。本節還考慮了與人工智能（AI）和多樣化技術合作的人類表現模型。第4節討論了如何利用數據檔案來開發和學習對抗性注入檢測方法。第5節以總結性意見完成了本文。

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。