該研究項目的目標是開發高效的大規模非線性優化算法，以解決通信和導航方面的數據分析問題。這些問題被公認為在數學上具有挑戰性，并與空軍的利益直接相關。

在資助期間，我們成功研究了兩個研究方向。首先，我們設計了大規模非線性優化問題的最佳一階方法。在這個方向上，我們提出了兩個一階方法，可以對決策變量進行近似梯度更新。這兩種方法都可以解決分散通信的多Agent優化所產生的非線性優化問題。通過將多代理優化重新表述為約束性問題，我們開發的方法可以以最佳梯度/操作者評估復雜度來解決問題。我們開發的方法也可用于解決圖像重建問題。

第二，我們分析了機器學習模型中的解決方案質量和安全問題。在這個方向上，我們完成了兩個研究結果。我們的第一個成果是關于在多集群環境下，從二元結果的條件邏輯回歸模型中計算出來的估計值的屬性。我們表明，當每個單獨的數據點被無限次復制時，來自該模型的條件最大似然估計值漸進地接近最大似然估計值。我們的第二個結果是關于安全的矩陣乘法問題，我們設計了一種準確和安全地進行分布式矩陣乘法的方法。我們的安全協議可以確保在進行這種矩陣乘法的通信過程中沒有任何信息被泄露。

兩名博士生作為研究生研究助理得到支持，并在執行期間接受培訓。擬議項目的成果包括四篇學術期刊論文。一篇論文已經發表，另一篇正在進行第二輪審查，另外兩篇正在準備，不久將提交發表。[1-3]

2022年6月15日，美智庫哈德遜研究所發布**《重獲決策優勢：改進聯合全域指揮控制以在最佳窗口期實現威懾》**報告，表示單純的“自上而下”地實施聯合全域指揮控制（JADC2）的方式很難在短期內取得成效，美國防部應聚焦印太地區最高優先級的作戰挑戰，通過高層指導和聯邦式的實施方法，快速連接傳感器、射手和指揮控制中心，加快實現JADC2，在美軍面臨最大風險的窗口期內實現對對手的威攝。

報告從塑造JADC2行動和改進JADC2發展現狀兩方面提出了建議。

• 在高層指導方面，報告建議美國防部從四個方面采取措施：
• 定義作戰問題：國防部應該確定并集中精力解決一部分能夠真正改變印太地區平衡的聯合作戰問題；
• 推動聯合資源配置：國防部應為聯合能力研發活動提供資源和持續保障；
• 建立實施聯合指揮控制的組織結構：建議將擁有適當權限并配置充足資源的常設聯合部隊司令部作為實施聯合指揮控制的組織；
• 彌補軍種資源缺口：國防部應為各軍種的聯合能力差距確定優先次序，通過需求和資源配置流程來彌補軍種的資源缺口。

為了充分利用不同的軍種文化、分散的專業知識和各軍種人員的創造力優勢，應當以聯邦模式實施JADC2：

• 技術實施：關鍵是將各種效果鏈互連互通，利用現有軍種工作和聯合活動開展技術實踐；
• 作戰概念發展：對現有實驗活動進行適當的優先級排序；開展兵棋推演、實驗、演示、訓練和演習，以開發和評估JADC2的可行性、互操作性、有效性和穩健性。

為改進JADC2的發展現狀，報告提出了六點建議：

*重點發展能夠增強美軍相對對手決策優勢的JADC2方法，特別是能夠在降級條件下實現任務式指揮和產生意外效果的方法； *采用聯邦模式來實施JADC2，利用、擴大和加速正在進行的各軍種、聯邦資助研發中心（FFRDC）以及國防高級研究計劃局（DARPA）的工作； *使用以威脅為中心的作戰問題來衡量進展情況、推動聯合行動并做出資源配置決策； *確定支持長期作戰、持續發展和維持聯合或戰區指揮控制能力的機制； *為印太地區在和平時期的競爭建立開展聯合指揮控制的組織結構； *重視JADC2實驗及其優先順序，為實驗分配更多的軍事力量和資金。

此外，報告建議由美國防部副部長負責實施JADC2，并由參謀長聯席會議副主席予以支持。

這項工作的目的是開發能夠成功處理復雜動態環境中順序決策的深度終身學習方法，重點是多Agent情報、監視和偵察（ISR）場景。我們為深度卷積神經網絡開發了一個新的架構，支持通過去卷積因子化的終身學習（DF-CNN），探索了通過Distral和Sobolev訓練的策略提煉的組合，并開發了一個混合控制器，將深度學習應用于ISR智能體。我們的方法在標準基準深度學習數據集、DOOM環境和ATE3模擬環境中的ISR場景中進行了評估。

我們的主要貢獻是反卷積因子卷積神經網絡（DFCNN）。DF-CNN框架調整了標準卷積神經網絡（CNN）框架，以實現任務之間的轉移。它在每個CNN層維護一個共享知識庫，并通過這個共享知識促進不同任務的CNN之間的轉移。每個具體任務的CNN模型的各個過濾層都是由這個共享知識庫重建的，隨著網絡在多個任務中的訓練，這個知識庫會隨著時間的推移而調整。DF-CNN代表了ELLA終身學習框架對深度網絡的概括。

實驗表明，DF-CNN在終身中的基準識別任務上的表現優于其他方法（包括單任務學習、低層的硬參數共享和漸進式神經網絡）。此外，該框架能夠抵抗災難性遺忘，同時仍然允許從未來的學習中反向轉移到以前學習的模型。

對于深度強化學習，我們研究了將Sobolev訓練整合到Distral多任務框架中，以努力改善轉移和訓練，探索了DF-CNN在深度RL中的應用，并開發了一個混合控制器，將本地學習的深度RL策略結合在一起，在ATE3仿真環境中完成ISR場景。

認知或完全自適應雷達（FAR）是一個受生物系統啟發的研究領域，其重點是開發一個能夠自主適應其特性的雷達系統，以實現各種不同的任務，如改進環境感知和光譜靈活性。FAR框架在一個軟件定義的雷達（SDR）系統和模擬感知行動周期（PAC）的環境中實現了一個動態反饋回路（感知、學習、適應）。FAR框架在SDRs上的實現依賴于基于求解器的優化技術，用于其行動選擇。然而，隨著優化復雜性的增加，對解決方案收斂的時間產生了嚴重影響，這限制了實時實驗。此外，許多 "認知雷達 "缺乏記憶組件，導致對類似/熟悉的感知進行重復的優化程序。

利用現有的FAR框架模型，在神經網絡的啟發下進行了完善。通過使用神經網絡、機器學習的一個子集和其他機器學習的概念，對應用于單一目標跟蹤的FAR框架基于求解器的優化組件進行了替換。靜態前饋神經網絡和動態神經網絡在模擬和實驗環境中被訓練和實施。神經網絡和基于求解器的優化方法之間的性能比較表明，基于靜態神經網絡的方法具有更快的運行時間，這導致了更多的感知，有時通過較低的資源消耗獲得更好的性能。還對靜態前饋神經網絡、動態遞歸神經網絡和求解器的模擬結果進行了比較。這些比較進一步支持了神經網絡能夠通過納入學習為認知雷達提供記憶組件的概念，從而走向真正的認知雷達。還進行了額外的研究，以進一步顯示神經網絡在雷達快速生成波形的應用中的優勢。

FAR框架也從單目標跟蹤FAR框架擴展到多目標跟蹤。FAR框架的多目標實現顯示了自適應雷達技術在多目標環境中的優勢，由于場景中存在的目標數量增加以及需要解決所有目標，復雜性也隨之增加。由于多目標環境，對現有的成本函數和探測/跟蹤框架進行了改進和補充。實驗和模擬結果證明了FAR框架的好處，它使一個穩健的自適應算法能夠在多目標環境下改善跟蹤和有效的資源管理。

除此之外，分層完全自適應雷達（HFAR）框架也被應用于需要執行多個任務系統的資源分配問題。分層完全自適應雷達的任務靈活性（HFAR-TF）/自主決策（ADM）工作將HFAR框架應用于一個需要參與平衡多項任務的系統：目標跟蹤、分類和目標意圖辨別（"朋友"、"可能的敵人 "和 "敵人"）。

本博士論文的目標是將這些目標結合起來，形成一個建立改進當前認知雷達系統的方法的基礎。這是通過融合機器學習概念和完全自適應雷達理論來實現的，以實現真正的認知雷達的實時操作，同時也將自適應雷達概念推進到新的應用中。

第一章：簡介

1.1 概述

現代雷達系統的發展促進了軟件定義雷達（SDR）系統能夠實現動態反饋回路行為，與傳統雷達不同。傳統雷達的前饋性質依賴于感知環境的假設特性，產生固定的參數設置，以保證預定的信號干擾加噪聲比（SINR）或雷達任務性能。然而，動態/變化的環境會導致任務性能下降或系統資源的管理不善。缺乏對雷達前端特性的自適應控制會導致雷達后端的信號處理工作增加，嚴重依賴雷達操作員或根據最壞情況設置靜態的雷達系統參數。

完全自適應雷達（FAR）框架旨在利用現代SDR系統實現的傳感器參數多樣性，允許自主適應雷達波形特征，以實現更好的環境感知和雷達任務性能。FAR框架的自主性質也轉向將雷達操作員的角色轉變為咨詢角色，以及減少用于目標信息提取的額外信號處理負擔。

FAR框架通過試圖模仿動物和人類中存在的認知的神經科學概念來實現自主適應。正如[2,3,4,5]所討論的，認知過程必須包括五個主要元素：感知、注意和分析（智能）、行動和記憶。在[6]中，Haykin討論了傳統主動雷達、FAR和認知雷達之間的區別。 雖然FAR能夠通過反饋鏈路將接收機感知的環境與發射機的波形探測聯系起來，實現對環境的更好感知，但由于缺乏 "真正"學習所需的長期記憶，它的智能受到限制。

為了在認知雷達處理中進行優化，經常使用非線性函數。這些非線性函數在優化塊中實現，可以通過非線性約束目標函數的最小化進行雷達參數選擇和更新。對于FAR框架，這種 "執行優化"是在一個 "執行處理器塊 "中實現的，它試圖在服務質量（QoS）方法中平衡捕捉雷達系統基于任務的性能（性能成本）和傳感器資源消耗（測量成本）的成本函數。

在FAR框架中，執行優化被視為最關鍵的組成部分。在FAR框架中，通過結合注意力和分析，利用目標狀態的跟蹤和過去觀察的先驗知識（記憶）來選擇最佳參數指數選擇，執行處理器實現了"有限學習"。由于執行處理器中調用的傳感器參數選擇的性質，雷達波形參數被映射到雷達任務和目標性能上，給定的是先驗知識。此外，由于這種基于優化的適應性，隨著優化的復雜性增加，解決收斂的時間也在增加，因此限制了實時能力。

在概念上與FAR相似，機器學習是人工智能下的一個研究領域，它研究人類如何獲得知識，或學習，并在機器中表示這些概念。機器學習的一個子課題是神經網絡，通過它們的能力來模擬和實現學習過程，關聯、模式識別和關系建模都是神經網絡的有效任務，它可以用來提供對系統處理的較低影響，并通過識別/記憶開始學習。

1.2 動機和貢獻

學習被證明是認知系統中的一個關鍵組成部分，導致人們相信學習是認知雷達的一個主要組成部分。在[5]中，學習被定義為使用過去的信息來提高一個人的局部成功度。 然而，為了充分地從記憶和行動中學習，實時能力和性能必須是可行的。正如前面所討論的，由于用于行動選擇的優化，可以看出，隨著問題的復雜性增加，優化的計算成本也在增加。高計算成本和缺乏記憶對實現 "正式 "認知系統構成挑戰。

在FAR和認知雷達研究領域已經取得了許多進展：然而，大多數集中在缺乏長期記憶和聯想的自適應系統上。同樣，在基于神經網絡和機器學習的雷達研究方面也取得了許多進展，但大多數集中在基于分類和圖像識別的問題上。 本博士研究將著重于展示包括基于回歸的神經網絡如何通過降低對系統處理的影響來改善FAR的現有性能，并通過包括更強的記憶概念和將其擴展到展示學習來幫助認知雷達任務的執行，從而促成開發一個 "真正 "的認知系統。

這里討論的工作對認知雷達領域的貢獻如下：

• 通過用前饋神經網絡取代執行處理器中的優化組件，以降低對系統處理的影響并整合其固有的識別/記憶組件，開發了一個神經網絡啟發的FAR框架，即基于神經網絡控制的全適應雷達（FAR-NN）。

• 收集了不同參數適應情況下的模擬和實時實驗結果，并對局部解算器的實施和神經網絡進行了比較，結果表明靜態前饋神經網絡能夠實現較低的測量成本、更快的優化時間和類似的執行成本性能。

• 通過在每個傳感器感知行動周期（PAC）的 "執行處理器 "中模擬傳感器參數選擇，在分層全自適應雷達（HFAR）框架中實施靜態前饋神經網絡，以降低由于執行多個優化而對系統處理的影響。

• 通過對傳感器參數選擇的模擬，在FAR框架中實施了一個動態長短期記憶遞歸神經網絡（LSTM-RNN），將基于狀態的對不斷變化的環境的適應性和更強的記憶概念納入神經網絡激勵的FAR框架的優化部分，FAR-NN。

• 開發了一個LSTM-RNN，用于在動態頻譜擁擠的環境中生成低延遲、接近最佳的雷達頻率缺口波形。

• 將LSTM-RNN與現有的專門解算器 "減少誤差算法"（ERA）進行比較，其波形生成的仿真結果表明，網絡和算法的波形設計結果相似，LSTM-RNN生成波形的時間減少。

• 將現有的全適應雷達單目標跟蹤（FAR-STT）框架擴展到全適應雷達多目標跟蹤（FAR-MTT）的實現中，修改了目標函數和擴大了多目標環境的Fisher信息矩陣/Cramer Rao Bound度量。

• 收集了模擬和實驗結果，以證明將完全自適應雷達方法應用于多個目標跟蹤的好處，即能夠實現目標分離并保持單個目標的跟蹤，同時消耗較少的測量資源。

• 為一個需要執行多種任務[例如：目標跟蹤、分類和目標意圖辨別（朋友、可能的敵人和敵人）并自主分配雷達資源的雷達系統開發一個HFAR框架。

• 收集的模擬結果表明，通過使用自適應波形參數與固定參數集，將完全自適應的雷達方法應用于一個從事多種任務的系統的好處。

• 突出了使用完全自適應雷達概念的模擬和實驗演示，以證明認知雷達概念的可行實現。

1.3 概要

本論文的其余部分組織如下。

第二章討論了基礎雷達、全自適應雷達、優化、神經網絡和統計學等與論文中提出的工作相關的背景。

第三章對認知雷達和神經網絡領域的類似工作進行了調查。

第四章討論了本工作中使用的全自適應雷達建模和模擬（FARMS）環境和算法，以及用于驗證模擬結果和實驗集合的實驗測試平臺的簡要概述。

第五章討論了神經網絡啟發的FAR框架的實現，以及與以前FAR和HFAR實現中使用的局部求解器的比較結果。

第六章回顧了一種用于快速生成缺口波形的神經網絡方法，并與現有的專門求解器進行了比較。

第七章討論了將FAR框架擴展到多目標環境中。模擬和實驗結果都被收集起來，以證明自適應雷達在多目標跟蹤環境中的優勢。

第八章討論了全適應性雷達的發展，即多功能雷達系統的問題，其中HFAR框架被應用于需要參與平衡多種任務的雷達系統：目標跟蹤、分類和目標意圖的辨別（朋友、可能的敵人或敵人）。

第九章總結了論文的結果，并給出了基于這項工作的未來研究領域。

附錄A介紹了FAR框架中使用的局部求解器與全局求解器程序的可靠性的進一步細節。

附錄B介紹了第七章介紹的FAR-MTT工作中使用的Fisher信息矩陣推導和預白化推導的進一步細節。

將數字資源信息整合形成系統對這些資源的利用至關重要。這種信息的形式可能是誰負責該資源，該資源可用于什么，該資源在哪里，如何獲得該資源，以及該資源如何與其他資源結合。總的來說，這些信息代表了當前信息環境中各要素態勢感知的組成部分。對這些要素的了解使數字資源的利用更有能力。在實踐中，這種感知可以幫助以一種更適應的方式分配資源，考慮到諸如信息消費者的要求以及提供者和消費者之間的通信渠道所帶來的限制。這里介紹了與自適應處理有關的概念，在基于云的聯盟反潛作戰（ASW）的背景下。在與北大西洋公約組織（NATO）合作伙伴的合作中，一個云基礎設施被用來構建與虛擬平臺相關的計算能力，包括虛擬平臺之間的模擬通信渠道。對基礎設施適應性性質的測試依賴于與 ASW 中的信息分發和利用相關的已定義用例。這里，這些用例被詳細描述。這些用例顯示了支持這樣一個適應性系統所需信息快速增長的復雜性。這些用例還指出了許多未來的研究途徑。

引言

在加拿大皇家海軍（RCN）的作戰任務中，海上信息和衍生物的收集、處理和傳播主要集中在平臺的自主性上，無論是船只還是飛機。這種以平臺為中心的觀點部分是由于在作戰中必須成為一個自給自足的實體，有能力收集和處理對平臺重要的所有信息。盡管實驗已經顯示了無縫連接和利用外部信息的能力[1][2]，但在依靠外部資源進行數據和信息處理方面存在著一種謹慎的做法。

這種謹慎的做法部分是由于不愿意依賴外部伙伴，因為與該伙伴的通信可能很差或不存在。遇到諸如缺乏帶寬、大延遲或質量下降等問題的通信渠道通常被稱為 "弱勢網絡（disadvantaged network）"[3]。這種網絡確實抑制了盟軍中其他人或海上平臺與總部所在地之間對任何收集的數據或信息的分發和使用。

當然，處理通信問題的標準對策是構建通信機制，允許更大的信息量通過通信渠道。這種解決方案有效地解決了 "給我更多帶寬"的要求。然而，另一種有效的方法則側重于更好地利用現有帶寬。這里，"更好地使用 "意味著以更全面的方式使用，通過考慮以下因素考慮到整個處理周期：

• 正在使用的信息。

• 該信息的位置。

• 對該信息采取行動所需的處理算法、模型等。

• 處理算法或模型的位置。

• 完成處理所需的計算能力。

• 參與平臺之間的帶寬連接。

• 最終產品的使用地點。

這些因素認識到信息是一種資源，要被移動并與處理算法相結合，然后形成一個新的產品。這些組成部分的重要性，以及這些組成部分與歷史信息科學的關系，在[4]中有所描述。

對這種描述來說，重要的是認識到信息資源有多種形式。在數字空間中，資源可以是輸入數據、軟件形式的處理算法，或可以許多形式表示的輸出產品（例如，一個數字文件，一個圖像）。還要注意的是，在許多情況下，輸出可能成為另一種算法的輸入。

然而，通過諸如上述（即清單）的考慮來利用信息資源，需要對資源本身有廣泛的了解。請考慮一下，一個信息系統如何確定它所擁有的數字模型是否與一個獨立的、不同的信息系統上存在的輸入數據集兼容。創建資源層面的元數據是一項艱巨的任務，而這一層面的資源知識是需要的。

盡管資源級元數據的編譯是有問題的，但第二個問題很可能更困難--使用資源級數據來自動調整信息系統所需的分配和處理。事實上，如果不做大量的假設來降低問題的復雜性，這種適應性系統方法是非常困難的[5]。

北約的自適應系統研究

北約信息系統技術組168（IST168）成立于2018年[6]，研究一種基礎設施，允許對自適應信息處理和分配技術進行實驗。IST168下進行的研究重點是允許數據或應用程序在聯盟網絡內流動，從而促進該網絡內不同位置的自適應處理和信息創建。其目的是考慮到數據存儲、處理能力和平臺間通信連接的本地和當前可用性。簡單地說，IST168的口號是："把數據移到代碼上；或者把代碼移到數據上；或者把兩者都移到別的地方？"

為了將IST168的工作建立在軍事背景下，該小組正在通過為陸地和海洋領域設計的軍事場景來探索這種架構的預期應用。這些場景旨在為這種適應性基礎設施的使用方式提供一個作戰背景、故事情節或敘事說明。這些場景在IST168的研究中被廣泛使用[7-10]。

IST168的陸地場景是基于北約先前創建的名為Anglova vignette No.3的場景[11]。這集中在一次城市行動中，涉及到士兵捕捉過往車輛的視頻片段，對該片段進行處理，然后由遠程總部制作成產品。對陸地場景感興趣的人可以參考[11]。

IST168的海上場景是本文件的重點。由于以前沒有滿足參與國需求的海上場景，因此努力開發一個場景，并說明北約構建的基礎設施將如何支持該場景。因此，根據參與的北約國家和眾多加拿大CRACCEN團隊成員所表達的需求，在此創建了一個海上情景。該場景的主題是反潛作戰（ASW）。

海上反潛作戰方案利用了IST168的優勢，也為IST168做出了貢獻。作為IST168努力的一部分，多個北約國家提供了云計算基礎設施，包括加拿大的云計算基礎設施。每個貢獻的云都在東道國的完全控制之下。這些國家基礎設施然后與其他國家部分共享，產生一個國家控制但國際共享的信息空間。在這個空間內，對信息的資源級理解得到了發展。

自適應的云基礎設施--虛擬實驗室

國際云基礎設施以及單一的國家基礎設施代表了大量的工作，但也是研究信息問題的高度靈活資源。一個單獨的國家云或一個國際云，可以被配置成代表戰斗空間中物理實體上存在的信息系統。例如，云基礎設施可以被重新配置為眾多的虛擬計算單元，這些單元代表了單個平臺，如一艘船、一架直升機、一架無人駕駛飛行器（UAV）、一個總部等。然后，這些虛擬平臺可以用來容納存在于真實物理平臺上的信息系統。在虛擬環境中使用仿真通信信道可以使虛擬平臺通過現實的通信信道連接起來。在這里，通信信道是使用可擴展移動特設網絡仿真器（EMANE）[12], [13]來模擬的。

從本質上講，可以構建一個虛擬實驗室來代表整個物理平臺連接中可用的計算、通信和信息資源。

與加拿大研究的關系

指揮部偵察區協調和控制環境網絡（CRACCEN）活動[14]是由加拿大國防研究和發展部正在執行的一項研究活動。CRACCEN被設想為一個整體的社會技術系統，所有指揮小組的決策和反潛戰任務的相關信息都將被匯集起來，以發揮作戰和戰術優勢。

CRACCEN打算徹底改變加拿大水下戰爭[15]。CRACCEN的工作支持這一變革，其研究方向是解決一個全面的人類/信息系統，以滿足未來反潛作戰的需要。在這方面，CRACCEN有一個龐大而重要的反潛隊伍，該隊伍可以在地理上分散在海上平臺和岸上的組件中。

CRACCEN下調查的概念與IST168的活動部分地相互聯系。實際上，IST168正在開發的互連云基礎設施和模擬通信渠道與支持的反艦導彈海上場景相結合，提供了與CRACCEN相關的信息發現和共享環境。這種相關性包括展示云基礎設施在ASW環境中支持數字信息發現、共享和使用的能力。

在這方面，與IST168相關的發展可以被視為具有幾個與信息相關的特點，這些特點對CRACCEN是有用的，分別是（非廣泛的清單）：

• a. 可訪問性--信息環境的共享區域允許其他各方訪問共享區域內的信息資源。

• b. 可調整性--信息環境中的隔離區域可以被創建，這些區域允許一個特定的國家在環境中獨立于其他國家行事。

• c. 靈活性--它考慮到了信息環境中共享區域之間不同的通信連接和斷開。

• d. 可發現性--共享信息環境中的信息資源可以被有機會進入該環境的國家發現。

• e. 有效性--在信息環境中的一個共享區域向另一個共享區域轉移資源之前，有能力評估信息資源的潛在用途。

信息環境的上述特征是可以通過生成元數據來實現的，元數據具體描述了信息環境中可用的個別信息資源。這些元數據描述，作為一個完整的集合，允許單個信息系統對該系統內可用的信息資源形成一種 "態勢感知"。這種感知有效地建立了對當前情況下的元素（即數字資源）的感知，這是態勢感知（SA）的第一個構建模塊[16]。對這種類型的態勢感知的研究是DRDC海上信息電子化（MIX）活動的一部分[17]。

總之，MIX為理解和形成信息領域的態勢感知提供了研究基礎，然后將其應用于反艦導彈的場景。這種聯系為更好地理解如何利用信息領域進行軍事行動提供了一個現實的背景。

報告提綱

第2節介紹了一個海上反艦導彈的敘述或情景。該場景描述了在一個海峽中的一個精心設計的反艦作戰行動，涉及兩艘水面艦艇、一架無人機和一個岸上的站點。第3節描述了9個用例，展示了在反潛作戰中如何考慮信息資源、計算資源和通信渠道。第4節提供了一個結論。

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。

美國軍方和情報界對開發和部署人工智能 (AI) 系統以支持情報分析表現出興趣，這既是利用新技術的機會，也是應對不斷激增的數據過剩的解決方案。然而，在國家安全背景下部署人工智能系統需要能夠衡量這些系統在其任務背景下的表現。

為了解決這個問題，作者首先介紹了人工智能系統在支持智能方面可以發揮的作用的分類法——即自動分析、收集支持、評估支持和信息優先級——并提供了對人工智能影響驅動因素的定性分析。每個類別的系統性能。

然后，作者挑選出信息優先系統，這些系統將情報分析師的注意力引導到有用的信息上，并允許他們忽略對他們無用的信息，以進行定量分析。作者開發了一個簡單的數學模型來捕捉此類系統的錯誤后果，表明它們的功效不僅取決于系統的屬性，還取決于系統的使用方式。通過這個練習，作者展示了人工智能系統的計算影響和用于預測它的指標如何用于描述系統的性能，以幫助決策者了解其對情報任務的實際價值。

報告指出，目前存在多種描述人工智能系統性能的標準方法，包括通常被稱為“精確度”、“召回率”和“準確率”等指標，但這些標準并未提及該系統對其所支持任務的影響。在準確率與情報任務成功之間沒有明確關聯的情況下，只能依據情報任務的完成水平對系統有效性作出臨時判斷。基于此，報告作者將人工智能系統在情報分析過程中可發揮的功能分為四大類，分別評估每項功能的錯誤輸出可能會對結果產生的影響，從而理解“人工智能系統性如何影響情報分析的有效性”。

按照情報周期的組織過程，報告將人工智能系統可在該過程中發揮的作用分為四大“系統功能模塊”，分別是提供評估支持、自動分析、優先信息和收集支持。報告為每個功能模塊設計了函數模型，以詳細推演其在情報過程中的作用。

通過對“從任務到系統”的追溯性推演評估，報告得出兩個一般性結論：首先，在部署人工智能系統前，制定與符合實際情況優先級的情報監測指標十分重要，這一工作應以評估系統部署的實際影響力為指導；其次，系統的有效性不僅取決于系統屬性，還取決于如何使用。

研究問題

• 人工智能系統的性能衡量指標如何與情報分析的有效性相關聯？
• 人工智能如何用于支持智能過程，既反映在真實系統的開發中，也反映在可能尚未開發的假設系統中？
• 研究人員如何對智能過程進行建模，以確定位于該過程中的人工智能系統如何影響它？
• 存在哪些衡量 AI 系統性能的指標？

主要發現

使用與實際優先級不匹配的指標會掩蓋系統性能并阻礙對最佳系統的明智選擇

• 度量選擇應該在系統構建之前進行，并以估計系統部署的實際影響為指導。

有效性，以及衡量它的指標，不僅取決于系統屬性，還取決于系統的使用方式

• 決策者需要考慮的一個關鍵因素是，除了用于構建系統的資源之外，還有多少資源用于任務。

建議

• 從正確的指標開始。這需要詳細了解 AI 系統的使用方式，并選擇反映該使用成功的指標。
• 定期重新評估（和重新調整）。由于系統周圍的世界在部署后繼續發展，因此系統評估必須繼續作為定期維護的一部分。
• 系統設計人員擁有一套完善的衡量 AI 系統性能的指標，熟悉這些傳統指標將在設計新系統或維護現有系統的過程中簡化與專家的溝通。
• 進一步研究評估人工智能系統有效性的方法。

空軍專業 (AFS) 初始技能培訓 (IST) 的最新趨勢表明，美國空軍 (USAF) 入伍人員重新分類為其他職業專業的人數近年來有所增加，并且在財政年度之間出現了穩步增長2013 年和 2017 年。職業領域重新分類可能會導致廣泛的負面結果，包括成本增加、人員配備延遲、培訓計劃挑戰和士氣下降。為了理解和解決 IST 重新分類的挑戰，作者考慮了改進流程的選項，以對 IST 的現役非在職飛行員進行分類和重新分類。在本報告中，他們概述了 2019 年一項研究的主要發現，該研究采用了定性和定量分析，包括機器學習 (ML) 模型、評估 IST 成功（和失敗）的預測因素。他們還描述了他們對優化模型的測試，該模型旨在確定修改重新分類決策的機會，以便不僅減少重新分類飛行員的數量，而且提高飛行員的工作滿意度和生產力，并提高美國空軍的保留率。

01 研究問題

• 美國空軍目前對飛行員的分類和重新分類采取了哪些政策，如何改善這兩種結果？
• 哪些因素會影響 IST 的成功和失敗？
• 哪些 ML 方法最適合識別最佳 AFS 分配，從而減少重新分類的需要？
• 如何改進重新分類以實現更好的培訓和職業成果并降低成本？

02 主要發現
2.1 IST 分類旨在優化訓練成功，但不優化其他重要結果

• 平均畢業率為 95%，進一步優化培訓成功的努力可能會產生微乎其微的收益。
• 然而，機器學習模型可能在預測早期分離和重新入伍方面是有效的。

2.2 增加相關變量的數量可以提高 ML 預測的準確性

• 使用的 ML 模型類型在預測結果方面的差異不到 1%。
• 擴展 ML 模型中的預測變量集通常會將預測誤差降低約 5%。

2.3 重新分類是一個手動過程，可以進行優化以實現不同的結果

• 美國空軍可能沒有使用成本最低的 IST 重新分類解決方案或產生最大數量的積極培訓和職業成果的解決方案。
• 使用優化模型對飛行員進行重新分類以實現最佳訓練和職業成果將增加重新分類的成本。
• 實現稍微更好的培訓和職業成果同時還降低當前與重新分類相關的成本的替代解決方案也是可能的。

2.4 與 IST 飛行員就選定的 AFS 進行的焦點小組討論確定了促成 IST 成功和挑戰的因素，并確定了改進建議

• 飛行員的特征（例如，動機）和先前的經驗（例如，教育）、支持性教官和學習小組有助于 IST 的成功。

• IST 挑戰涉及飛行員特征和訓練基地環境。

• 改進涵蓋了諸如 AFS 的先驗知識以及對 IST 的期望、課程設計、非 IST 要求和宿舍安排等領域。

03 建議

• 通過保留有關 IST 資格和結果的數據庫，要求新兵完成職業評估和招聘人員提供有關 IST 和 AFS 的信息，系統地收集有關工作要求的信息，開發生物數據工具，從而擴展 USAF 入伍分類中使用的預測變量集。由所有入伍新兵完成，并使用同行和教官對飛行員的個性進行評分。

• 通過定義和系統地測量與 IST 成功相關的結果以及通過監控專業畢業的移動平均值來擴展 USAF 入伍分類中使用的結果集。

• 提高數據質量、全面性和可訪問性，以便 ML 模型能夠提供準確且有用的預測。

• 更新分類和重新分類流程以優化 IST 的成功和工作匹配，從而提高績效和職業滿意度。

• 在實施任何 ML 模型之前，應對道德和隱私、ML 模型的可解釋性和模型性能等領域的挑戰。

04 報告目錄

第一章

簡介和背景

第二章

空軍分類和重新分類過程

第三章

可用于預測空軍訓練和職業成果的數據

第四章

預測成功的模型

第五章

重新分類訓練消除的優化模型

第六章

飛行員在選擇專業的初始技能培訓中的經驗

第七章

結論和建議

附錄 A

定義和衡量人員選拔的成功

附錄 B

描述性統計和分析建模結果

附錄 C

優化模型方法論

附錄 D

焦點小組方法論