因果推理一直是科學的一部分，從牛頓定律到毀滅性的COVID-19大流行病，因果思想已經定義了基本科學。原因解釋了 "為什么"，而結果則描述了"什么"。這個領域本身包含了大量的學科，從統計學和計算機科學到經濟學和哲學。最近機器學習和人工智能系統的進步，使人們對從大量可用的觀察數據中識別和估計因果關系重新產生了興趣。這導致了各種新的研究，旨在提供識別和估計因果推斷的新方法。我們包括一個詳細的因果推斷框架、方法和評價的分類法。還提供了關于安全因果關系的概述。闡述了公開的挑戰，并描述了評估因果推斷方法的穩健性的措施。本報告旨在對此類因果關系的研究進行全面綜述。我們對因果關系框架進行了深入審查，并描述了不同的方法。

1 引言

因果概念，也被稱為因果關系，自科學本身誕生以來就定義了基礎科學。因果關系仍然是任何科學發現的核心，其中原因解釋了 "為什么"，結果描述了 "什么"。因果關系經常被錯誤地與相關關系交替使用，盡管相關關系并不意味著因果關系。盡管相關關系對科學來說至關重要，但將相關關系錯誤地表述為因果關系會產生不利影響。例如，Covid-19和一些藥物之間的相關性導致未經證實的關于可能治療疾病的理論傳播開來。相關性指的是兩個具有特定趨勢的變量之間的關系，而因果性是指因果關系，即因要對果負責，而果在一定程度上依賴于因。因此，因果學習是指從數據中產生因果關系的過程。因果關系在我們的日常生活中也發揮著重要的、無所不在的作用。我們做出的每一個決定都有一個因果變量，決定了我們的生活方式。因此，假設因果學習是任何人工智能（AI）或機器學習（ML）系統的關鍵組成部分，無論其在商業和軍事應用中的用途如何，都是至關重要的。因果學習在過去20年內的研究活動有所增加，每年的出版物反映了因果研究的快速上升（圖1）。

圖 1 因果推理和因果關系的年度出版物（數據來自 Scopus）

過去十年中，人工智能/機器學習系統的最新進展使人工推理系統成為許多行業的前沿。隨著AI/ML系統有望自主行動并顯示出類似人類的智慧，仍然存在一些基本的挑戰，如穩健性、可遷移性、可解釋性和因果關系。雖然AI/ML系統在預測的準確性和精確性方面取得了巨大的成就，但它們本質上仍然是黑盒模型，因此缺乏對系統如何得出預測結果的解釋。這給這類系統的使用帶來了不必要的問題，有偏見的預測影響了人類的生活。這就產生了可解釋人工智能（XAI），它被視為黑盒問題的解決方案，人工智能/ML系統能夠向最終用戶解釋其決策過程。開發XAI系統的目標之一是，不僅要減輕來自模型本身的偏見，還要減輕來自用于預測的傳入數據的偏見。算法/模型的偏差可以通過各種技術來識別和緩解，但數據本身的內在偏差則更難緩解。因此，因果關系對于識別和緩解人工智能系統的數據偏差至關重要。根據Judea Pearl博士的說法，因果關系可以讓人工智能/ML系統 "編排其環境的解析和模塊化表征，審問該表征，通過想象力的行為扭曲它，并最終回答'如果'類型的問題"。關于XAI的進一步閱讀，我們建議讀者回顧詳細的調查，如Rawal等人、Gunning等人、Xu等人和Arrieta等人。

盡管有關于因果關系的相關調查和基礎研究，如Judea Pearl、Morgan等人、Yao等人和Gianicolo等人的調查提供了很好的概述，但也需要一個最新的調查，不僅對因果關系，而且對其與AI/ML有關的目標和評價指標進行更全面的考察。本調查報告旨在通過提供一個全面的調查來填補文獻的空白，該調查研究了因果關系從開發到評估的所有方面，并強調了最近在因果關系AI/ML系統方面取得的一些突破和進展。這項調查的主要貢獻包括以下幾點：

• 我們通過關注該領域從設計和開發到評估的所有方面，對因果關系進行了詳細的概述。

• 我們總結了因果關系的設計/開發和評估的綜合分類法（第17頁）。

• 我們提供了因果關系學習方法的比較。

• 我們提供了對網絡安全使用因果關系的見解，并強調了最近在因果安全方面的一些進展。

• 我們對該領域仍然存在的挑戰進行了公開討論，并對解決這些挑戰的建議提出了看法。

本報告的結構如下。第2節介紹了分類法和對因果推斷水平的見解。第3節對利用因果推理和因果發現的設計和開發方法進行了簡要調查。第4節描述了用于測量因果AI/ML系統有效性的技術。第5節簡要介紹了網絡安全的因果關系。第6節討論了因果關系研究中的公開挑戰和當前趨勢。第7節為總結性意見。

現代安全威脅的特點是隨機的、動態的、部分可觀察的和模糊的作戰環境。這項研究解決了在這種復雜安全威脅的作戰規劃、分析和評估中的不確定性決策問題。首先，對不確定性建模、決策和不確定性下的優化的文獻進行了回顧，重點是模糊性建模和優化實踐方面的最新進展。這一回顧為后續的方法論和應用研究提供了一個框架，并對文獻中不確定性下的決策和優化的當代應用進行了全面回顧。接下來，對軍事評估的不確定性模型的調查涉及定性和混合方法，以補充文獻回顧中討論的定量模型。這項調查為實踐者提供了一個基于研究的指南，以便將定性但嚴格的不確定性模型應用于實際評估問題。

在對現有文獻和實踐的回顧之后，本研究開發了一種在推理環境下的不確定性決策的新方法。穩健的序貫推理方法解決了一類普遍的隊列問題，其中內部排隊系統是不可觀察的，出發和到達時間是隨機的和部分可觀察的。這項工作提高了決策者在不確定環境中分析隊列的能力，使用的原則性方法可證明收斂于真實參數值，并具有強大的經驗性能。

接下來，這項研究從推理過渡到序貫決策，采用了一種原始的表述和解決方法，用于在動態、部分可觀察和模糊的環境中進行穩健的信息收集。該解決方法具有理想的理論凸性和收斂特性。一個計算實驗表明，與現有方法相比，文獻中的一組經典問題的性能得到了改善。此外，對一個網絡安全檢測問題的詳細應用說明了新的表述和解決方法的功效。

最后，針對動態的、隨機的和部分可觀察的多Agent環境，提出了解決大規模的、具有不完美信息的廣義形式游戲的最佳和近似技術的新應用。這項工作為多領域網絡和防空問題的最優和近似公式提供了明確的細節，產生了接近最優的策略，描述了近似解決方案的最優性差距，并分析了結果對關鍵問題參數的敏感性。此外，對穩健對手利用的擴展包含了有界理性和模型模糊性。穩健的表述同時解決了問題的網絡物理性質和對手的不確定性。經驗證據表明，當對手以有界理性進行游戲時，穩健方法是有效的。

總的來說，這些當代調查、方法上的進步和新的應用提供了一套數學工具和計算算法，用于解決挑戰性環境下不確定性的復雜決策問題。這項研究通過把握技術和實踐的現狀，以及將現有的算法擴展到模糊和部分可觀察的環境，提高了決策和優化的能力。

引言

美國空軍未來作戰概念（2015a）設想了2035年的挑戰性安全環境。敵方可能有能力以達到不成比例的破壞性效果的方式進行完全一體化的多領域行動。考慮到不僅要威懾和應對彈道導彈攻擊，而且要威懾和應對綜合信息活動和網絡滲透的難度增加。這種聯合作戰的演變所產生的協同效應使得作戰藝術和作戰科學都必須得到改進。

正如2018年國防戰略（Mattis，2018年）所強調的那樣，多領域攻擊小品中引入的關切延伸到更廣泛的安全界。安全環境正經歷著快速的技術革新，并變得越來越復雜和不確定。復雜的環境和適應性強的對手對預測未來結果的能力造成了根本的限制，尤其是在戰略層面。然而，在許多規劃和評估問題中，行動環境是復雜的，但還沒有復雜到完全缺乏決策信息的程度。環境也很少被清楚地定義和理解，以至于不確定性可以忽略不計。決策者面對的是一個動態的環境，其特點是有思想的對手和不同程度的不確定性、模糊性和部分可觀察性。決策者應該如何應對這樣一個具有挑戰性的環境？

在快速的技術變革帶來安全挑戰的同時，它也帶來了新的機遇。不斷提高的計算能力補充了統計、模擬和優化算法的基礎性改進，提高了決策問題的定量方法的能力。運籌學方法和來自應用數學、統計學、計算機科學、機器學習和人工智能的密切相關技術現在可以在實際規模上解決不確定性下的復雜決策問題。雖然一些最重要和最困難的安全問題仍然不在定量算法的范圍內，但利用新興的解決技術來擴大現代運籌學方法可解決的問題類別，是一種戰略上的需要。

這些方法的最新進展集中在利用各種復雜環境中的部分知識。很少有操作環境是完全已知或完全未知的情況。相反，由于部分可觀察的狀態和獎勵、模糊的過渡動態和智能對手，決策者會遇到不確定性。利用有關作戰環境的部分信息使決策者能夠通過接受不確定性和開發對快速發展的環境和對手具有魯棒性的解決方案來改進決策。這篇論文的重點是解決以靜態、動態和多Agent環境中的隨機、部分可觀察和模糊環境為特征的決策問題。

本學位論文的結構是一系列獨立的學術文章，討論作戰規劃、分析和評估中不確定性下的決策這一主題。

• 第二章回顧了不確定性下的決策和優化的文獻，重點是模糊性模型和優化實踐的最新進展。

• 第三章對第二章中定量文獻的理論回顧進行了補充，對定性的不確定性和軍事評估實踐的應用進行了調查。第四章、第五章和第六章在第二章和第三章的基礎文獻的基礎上，分別探討了靜態、動態和多Agent環境下的不確定性決策。

• 第四章開發了一種新的方法，用于對部分可觀察的、隨機的到達和離開時間進行穩健的隊列推理。這個一般的方法適用于任意的隊列，但具體的動機是網絡安全和恐怖主義的應用。

• 第五章開發了一種在動態的、部分可觀察的和模糊的環境中進行穩健信息收集的新方法，并擴展應用于網絡安全檢測問題。

• 第六章介紹了一個新的應用，即利用最優和近似技術解決具有不完善信息的廣義形式游戲的多域網絡和防空問題。

1.1 總結

特別是第二章，為后面幾章的方法論和應用研究提供了理論基礎的回顧。決策方面的最新進展是將風險和模糊性納入決策模型和優化方法中。這些方法實現了各種來自概率論和非概率論基礎的不確定性表示，包括傳統的概率論、不確定性集、模糊性集、可能性理論、證據理論、模糊度量和不精確概率。不確定性表示法的選擇影響了決策模型的可表達性和可操作性。本章調查了最近在決策和優化中表示不確定性的方法，以澄清替代表示法之間的權衡。對穩健和分布穩健的優化進行了調查，并特別關注標準形式的模糊性集合。不確定性和決策模型的應用也被回顧，重點是最近的優化應用。

第三章補充了第二章的定量工作，重點調查了軍事評估中的不確定性模型。評估理論為軍事行動評估的實踐提供了一個嚴格的基礎。政府和工業界的評估人員已經利用評估理論在廣泛的領域內提高了評估的有效性。本章重點討論評價理論與軍事評估之間的關系。本章簡要地調查了主要的評估方法，重點是將理論模型與實際的、與安全有關的應用聯系起來。這些評估方法包括專家導向、方案導向、決策導向和參與導向模式。在這些方法的總體框架內，詳細考慮了替代的監測和評估設計，包括描述性設計（如案例研究、橫斷面、時間序列）、準實驗性設計（如中斷的時間序列、比較組、案例研究）和實驗性設計（如僅后測、前測）。然后，本章討論了用于分析和報告每種設計方案的不確定性的定量和定性方法，重點是混合方法。在整個章節中，應用實例明確了評價理論和運行評估實踐之間的關系。

第四章開發了一種新的穩健隊列推斷方法。在一些軍事和競爭性商業應用中，隊列的內部結構和參數是完全不可觀察的。此外，到達和離開的時間可能是可觀察的，但由于在對抗環境中的測量誤差，會有很大的不確定性。本分析使用基于訂單的方法估計內部不可觀察的、先到先得的G/G/c隊列中的服務器數量。這種新方法提供了一個下限，并在概率上收斂到了正確的值。與標準的方差最小化方法相比，基于秩序的方法對小樣本的性能有所提高。基于訂單的算法對到達和離開時間測量中的噪聲具有魯棒性，而方差最小化方法在有噪聲的數據中表現出較差的性能。我們還考慮了對 "后到先得 "的G/G/C隊列的擴展。基于順序的后到先得的方法也提供了一個下限，該下限在概率上收斂到正確的服務器數量。

第五章為部分可觀察的馬爾科夫決策過程（POMDPs）的穩健解決方案開發了一種新的表述和方法，該過程具有模糊的過渡和信仰獎勵。本章介紹了穩健的信念獎勵部分可觀察馬爾可夫決策過程，作為馬爾可夫決策過程的一個概括，它允許狀態的不確定性、模型的不確定性和依賴信念的獎勵。在許多實際應用中，POMDP的過渡和觀測參數很難估計。這項研究表明，傳統的POMDP求解技術對模型的錯誤指定非常敏感，特別是在信仰-獎勵的設置中。為了應對這一挑戰，我們開發了一種穩健的信念獎勵算法，它擴展了基于點的價值迭代，同時保留了理想的靈活性和收斂特性。除了基礎理論屬性外，一項實證調查顯示，穩健的求解技術在幾個不同的問題類別中提供了對模型錯誤指定的保護。為了說明解決模型錯誤指定對信息獲取問題的重要性，本章還介紹了穩健的信念-回報POMDP公式在網絡安全問題上的應用，它顯示了在最壞情況下的性能改進。

第六章介紹了最優和近似廣義形式求解技術在信息不完善的綜合網絡和防空問題上的新應用。新興的多領域威脅需要一個綜合防御戰略。本章開發了多領域安全游戲，以解決對國家人口中心的網絡-物理綜合威脅。這項研究使用零和、廣義形式的博弈來模擬物理和網絡空間中的攻擊者和防御者，借鑒網絡安全和彈道導彈防御的文獻來告知博弈結構。為了確定最佳的防御者策略，我們開發了一個多領域的安全博弈，并對問題進行了重新表述，以使用一個有效的序列形式的線性程序找到納什均衡。本章還開發了一個近似的反事實遺憾最小化算法在這個問題上的應用，并描述了最優性差距。此外，這項研究還量化了網絡領域中改進的態勢感知的價值，并提出了對強大的對手利用的擴展。

1.2 貢獻

這部著作中的文獻綜述、方法論進展和應用，對整個運籌學領域，特別是對軍事和安全運籌學實踐做出了貢獻。關于不確定性下的決策和優化的文獻綜述（第二章）將關于理論不確定性模型、決策模型和優化模型的不同文獻組織成一個連貫的結構，并確定了這三個研究領域之間的關系。此外，對軍事評估中的不確定性模型的調查（第三章）為實踐者提供了一個基于研究的指南，以便將定性但嚴格的不確定性模型應用于評估問題，從而對軍事行動研究實踐做出了貢獻。

在這些現有文獻的基礎上，一種新的穩健隊列推斷方法通過提高決策者在不確定環境中分析隊列的能力，對該領域做出了貢獻（第四章）。這種服務器估計方法對一大類一般隊列有效，對隊列結構的了解有限，到達和離開的樣本小而嘈雜。這項研究證明，該方法產生的估計值具有理論上的收斂性和下限保證。它還提出了在廣泛的參數設置中與現有方法相比性能提高的經驗證據。

延伸序貫決策，一個原始的穩健的信念-回報POMDP公式和一個新開發的解決算法為該領域提供了工具，以解決模型模糊下的一類新的信息收集問題（第五章）。這項研究證明了該求解技術具有理論上的凸性和收斂性，使其與成熟的近似技術系列兼容。它還提出了經驗證據，證明與現有方法相比，文獻中的一組經典問題和模糊環境下的實際網絡安全檢測問題的性能有所提高。

最后，在一個多領域的網絡和防空問題上，反事實遺憾最小化的應用通過用快速、接近最優的技術解決一個當代的操作問題，為文獻做出了貢獻（第六章）。這個新的應用提供了該問題的最優和近似公式的明確細節，并描述了多域安全環境下的最優性差距和對關鍵問題參數的敏感性，這與最近的其他應用有很大不同。它還提出了一個原創的穩健公式，解決了問題的網絡物理性質和對抗性的不確定性。經驗證據表明，當對手以有界理性進行游戲時，穩健方法是有效的。

除了通過發表調查、方法、應用和結果對文獻做出貢獻外，本論文還為所有方法提供了開源軟件實現，并公布了所有結果的原始數據。這些代碼和數據產品都可以在//github.com/ajkeith，并提供測試、基準測試和文檔。

在美國國防部，人工智能（AI）/機器學習（ML）的整合目前是以現有項目的升級或新項目的收購形式進行的。怎么知道這些AI/ML支持的系統會按照預期的方式運行？為了做出這個判斷，與其他傳統的軟件開發/采購項目相比，AI/ML產品開發/采購需要一個獨特的評估過程。作為回應，美海軍軍械安全和保障活動（NOSSA）資助了以下研究，以調查獨特的政策、指導方針、工具和技術，以評估AI/ML關鍵功能中的安全問題。在這項工作中，開發了14項關鍵的嚴謹度（LOR）任務，并在五個階段中應用：（1）需求，（2）架構，（3）算法設計，（4）算法代碼，以及（5）測試和評估（T&E）。14項LOR任務涉及最佳實踐討論、定義、測量、論證文件和AI/ML系統特有的危險分析格式。這14項LOR任務還明確了為什么AI/ML軟件開發需要采購界的特別考慮。此外，這項研究有可能影響采購界如何定義需求、創建架構、產生AI/ML算法設計、開發AI/ML算法代碼以及執行T&E。在開發 "采購沙盒"的過程中，跨越五個發展階段的14項LOR任務的需求變得很明顯，該沙盒研究了部署AI/ML自主系統的路線規劃者，以及讓這些系統交付軟件包，重點是評估關鍵功能行為的安全性。該沙盒是使用國防部架構框架（DoDAF）和統一建模語言（UML）圖設計的，其中包含了各種AI/ML技術。當面臨這種程度的復雜性和/或不確定性時，14項LOR任務代表了一組有凝聚力的問題/考慮因素，為應對當前海軍AI/ML的采購問題提供了重點。這些指南還為涉及安全的組織，如NOSSA和適航性，以及包括項目經理和系統工程師在內的采購專業人員提供了一個分步驟的 "如何 "評估方法，以確保創造高質量的人工智能嵌入式產品。

該報告為包含人工智能功能的系統的采購和開發提供了詳細的指導方針。該準則允許用戶在作戰部署的挑戰中對人工智能功能的行為建立不同程度的信心。信心的程度決定了14個LOR任務中的哪一個在五個階段中被應用。每個LOR任務提供了問題和/或考慮因素，使開發人員能夠客觀地評估人工智能/ML功能的安全性和可靠性。當審查每個LOR任務時，LOR任務編號（和相關階段）后面的 "參考編號 "是指用于開發問題和/或考慮因素的文件中的相應標識（ID）。這四份文件的標題分別是：（1）操作視圖（OV），（2）系統視圖（SV），（3）數據集設計，和（4）算法設計。LOR任務 "參考ID "命名法的例子是Ops1、Sys1、Alg1和Dat1。在這些例子中，每個ID與四個文件中的一個有關，其中數字 "1 "表示文件中描述的第一個LOR任務。在每個文件中使用 "Ref ID "支持對研究的可追溯性，包括數學。

摘要

我們總結了2021年10月19-21日舉行的“網絡防御深度機器學習研究專家研討會”的結果。我們通過論文向北約科學和技術組織報告了此次論壇上分析的深度學習當前和新興網絡安全應用。研討會的目的是介紹新的觀點，揭示政府在相關領域的研究，說明深度學習如何應用于網絡安全，并介紹在網絡空間軍事行動中應用深度學習的實施需求。總的來說，其結果提高了對問題和機會的認識，確立了各應用領域的共同需求，并確定了一條前進之路。

1.0 引言

自20世紀后半葉現代計算機出現以來，人類對所有軟件進行了編程，并成為計算和算法進步的主要推動者。然而，截至21世紀初，深度學習的實際進展已經改變了軟件的格局。深度學習使計算機能夠通過訓練描述輸入和輸出之間關系的模型來"編程"自己的軟件。算法上的突破正在加速每個行業的進步，并取得了巨大的成功。最受歡迎的應用包括那些能夠識別物體[1]和翻譯語音[2]的應用，其精確度接近人類的實時水平。專家們雄心勃勃地表示，深度學習最終將能夠 "做一切事情"，甚至可能復制人類智慧[3]。

與此同時，對軟件的日益依賴加強了保護計算機系統和網絡的重要性，使其提供的服務不受損害或破壞。在21世紀的前幾十年里，數據泄露的速度和影響進一步說明了網絡入侵是如何重塑全球安全形勢的。因此，對一個越來越有彈性的網絡空間需求，特別是當它與軍事系統相交時，正促使許多深度學習的新應用。這些應用可能會加強軍事戰略定位，并建立一個有彈性的網絡安全態勢，與不斷變化的威脅保持同步。然而，實現這一結果需要跨學科的應用研究和實驗，以便真正了解限制和實際效用。

因此，我們總結了2021年10月19-21日舉行的“網絡防御深度機器學習研究研討會”的成果。這個北約科學和技術組織（STO）論壇的重點是鞏固網絡防御的深度學習應用領域的知識。與會者包括來自澳大利亞、比利時、芬蘭、法國、德國、意大利、挪威、波蘭、土耳其、英國和美國的研究科學家和工程師。組織代表包括來自大學、民間研究組織、國防機構和軍事研究實驗室的強大觀點組合。

該論壇的目的是促進北約國家和盟國之間的合作，以確定和追求網絡領域最有前途的深度學習用例和方法，包括計算技術、架構和數據集或模型。為了實現這一愿景，它有助于提高對兩個主題之間共生關系的認識。深度學習通過將持續監測的繁瑣環節自動化，使網絡安全中的硬問題受益。另一方面，網絡安全也將受益于深度學習的實際應用和強大的實施設計。此外，隨著深度學習應用的擴散，以及與物理世界（即自主系統）越來越多的互動，傳統上描述和隔離網絡空間的邊界將被侵蝕。因此，要實現網絡安全，就必須采取超越傳統上用于網絡安全的新方法。

美國陸軍研究實驗室的Frederica Free-Nelson博士在研討會開幕詞中指出，深度學習和網絡安全領域都有許多未解決的問題，與其依靠幾個主要貢獻者來解決，不如分享過程、方法和成功案例，以避免浪費資源或阻礙進展。現實世界中，用戶驅動的問題與基礎研究和應用實驗適當匹配，可以實現信息主導和決策優勢。因此，本次研討會的預期愿景是，部分地捕捉那些讓領導層了解到需要為持續的挑戰投入資源的發現，并將科學家、從業者和最終用戶以一種有利于復制成功和持續進步的方式聯系起來。

本文的結構是按照研討會的目標進行的。第2節介紹了術語和觀點，這些術語和觀點限定了問題空間并形成了潛在的解決方案。第3節說明了深度學習是如何應用于網絡安全的，并提出了進一步獲得收益的機會。第4節介紹了北約STO內部的相關工作，并在多個應用領域之間進行了比較。第5節最后強調了關鍵的發現和對軍事環境的考慮。最終，我們旨在提高對深度學習在軍事背景下為網絡安全提供的有價值的認識，并確定了已經成熟的探索機會。

2.0 從網絡安全和深度學習的交叉點看問題

根據美國軍事學說的定義[4]，網絡空間是以使用電子、電磁頻譜和軟件來存儲、修改和通過網絡系統和相關物理基礎設施交換數據為特征的領域。這包括微電子、計算、通信、網絡和軟件技術，包括人工智能、機器學習和深度學習。網絡空間技術的應用是所有經濟部門、關鍵基礎設施和軍事行動的基礎。將繼續發展網絡空間的技術趨勢包括無處不在的連接和網絡邊緣的傳感，增加系統的可編程性和復雜性，自主性和加速決策循環的應用，越來越不可信和不透明的供應鏈，以及新的計算架構（即量子和神經形態計算）。非技術性的趨勢包括互聯網用戶數量的增長，為消費行業分析而積極利用用戶元數據，以及國際外交或國防考慮。鑒于技術變革的積極速度和非技術趨勢的不確定性，網絡空間將繼續以可能難以準確預測的方式發展。

在軍事方面保證網絡空間包括兩個不同的任務：網絡安全和網絡防御。網絡安全的目的是通過保證關鍵系統的屬性，如保密性、完整性和可用性，來限制脆弱性。隨著網絡物理系統，如關鍵基礎設施、智能制造、武器系統，以及最終的生物-神經接口的激增，網絡安全越來越多地包含了非傳統的屬性，包括安全性、及時性和復原力。此外，這些系統的物理性質提供了新的儀器和遙測技術，以確保其網絡態勢[5]。另一方面，網絡防御描述了為應對網絡空間中的敵對行為而采取的行動。雖然這些角色在一些組織中可能會重疊，但由于軍事單位如何組織和執行任務的基本功能，所以存在著區別。網絡安全是那些設計、開發和操作特定系統的人的責任。然而，網絡防御是一些重點活動的責任，這些活動專門負責監測和協調整個組織對敵對威脅的反應（即安全操作中心）。

網絡空間是戰略軍事格局的基礎，北約國家必須減輕對其軍事系統、平臺和任務的網絡威脅。深度學習是一種新興的軟件技術，其應用能夠加強這種彈性態勢。為此，北約科技組織的信息系統技術小組成立了一個關于 "網絡防御的深度機器學習 "的研究任務組（RTG）。Fraunhofer FKIE（德國）的Raphael Ernst先生在研討會開幕詞中澄清，RTG的章程不是開發新的深度學習技術，而是鞏固北約范圍內深度學習在網絡防御中的應用知識，確定民用解決方案和軍事需求之間的差距，并與其他北約國家合作，使用數據處理，共享數據，并尋求將最有希望的技術和應用轉移到軍事領域。由網絡安全和機器學習專家組成的RTG審查了技術標準、學術研究和商業技術產品的全面選擇，以評估當前的技術狀態。該研究對當前技術狀況的結果在第3節中進行了總結。

然而，人工智能領域的不斷進步和網絡物理系統的擴散將改變網絡格局，并為新類別的網絡攻擊讓路。網絡物理系統采用軟件來控制與其物理環境交織在一起的機制，在混合時間尺度上運行，并以隨環境變化的方式進行互動。例如，自動駕駛汽車將深度學習應用于車載攝像頭，以查看并決定如何在道路上行駛。研究表明，物理世界對這些軟件系統的攻擊可能造成傷害[6]。無人駕駛汽車進一步依賴持久的連接，與其他設備、網絡和車輛共享遙測信息。雖然是作為一種反饋機制，但這和類似的網絡物理系統設計暴露了攻擊面[7]。

最終，保證網絡物理系統的運行變得越來越困難，有彈性的網絡態勢需要超越傳統網絡安全方法的手段。因此，描述各種深度學習應用中的公開挑戰對于理解網絡風險至關重要。RTG發起了這次研討會，在一群對各種軍事和民用應用有深刻見解的不同專家之間推進這一議程。鑒于不同領域的參與，對術語的討論將提供有用的背景。

人工智能（AI）通常描述任何使計算機能夠模仿人類智能的技術。人工智能的早期成功源于基于規則的系統和捕捉人類專家知識的系統。盡管存在著對人工智能能力進行分類的標準，但我們選擇了機器學習和深度學習之間的簡單區別來構建我們的討論。研討會采用 "深度機器學習 "這一術語，表明對深度學習的重視，并不排斥傳統的機器學習，但也承認，持續的進步將鞏固深度學習作為人工智能領域最突出技術的地位。

機器學習是人工智能技術中最重要的子集，它提供了通過發現數據中的模式來提高計算性能的能力，而不需要遵循明確的編程指令。經過幾十年的緩慢進展，機器學習最近在包括消費者分析和社交媒體在內的各種應用中獲得了廣泛的采用。機器學習算法利用統計學在大量的數據中尋找模式，這些數據包括數字、文字、圖像或其他數字信息[8]。機器學習的應用采用了一個可以概括為四個階段的管道。首先，數據采集涉及識別和收集數據元素。第二，特征工程涉及預處理或提取有關該數據的統計數據。第三，初始數據或導出的統計數據被用來訓練一個能夠識別模式和關系的模型。最后，用輸入數據評估或部署模型，這些數據可能反映也可能不反映初始階段的訓練數據群。盡管這些階段的特征是線性的，但它們往往是迭代實施的，并且在它們之間有大量的反饋和調整。最終，數據的依賴性和質量決定了每個應用的有效性。

深度學習是指機器學習技術的一個特定子集，它允許模型通過將多層神經網絡暴露在大量的數據中來訓練自己。區別在于特別是上述管道的第二和第三階段。神經網絡是人類大腦中的神經元和突觸的簡化數字模型，由處理數據的簡單計算節點層組成。雖然早期的神經網絡僅限于幾層神經元，但一種被稱為反向傳播的突破性技術在理論上實現了這些層的擴展，從而為由更多層組成的 "深度"神經網絡鋪平了道路[9]。在最初發現的幾十年后，計算能力的提高使得深度神經網絡對圖像進行分類的能力得到了非常成功的展示，隨后將其確立為最先進的技術[10]。新興圖形和張量處理單元硬件帶來的計算能力提高，進一步加速了對越來越大的數據集的利用，使廣泛的模式識別和分類問題受益。

機器學習和深度學習都可以以多種方式應用。有監督的學習應用，通常被認為是最普遍的，利用被標記的訓練數據來告訴計算機它應該尋找什么模式。另一方面，無監督學習應用則利用了沒有標簽的訓練數據。強化學習是一個新興的前沿領域，算法通過試驗和錯誤，基于一些規定的獎勵函數，學習如何實現一個明確的目標。另外，"未來學習"技術包含了在不同操作環境下實現應用的新興方法。例如，遷移學習，將從解決應用中的一個問題中獲得的知識用于不同但相關的問題。聯邦學習，盡管仍然是一個活躍的研究領域，已經被證明可以通過將訓練功能分布在一些節點上來減少數據的依賴性。在RTG即將發布的技術報告中，詳細介紹了對這些和其他相關方法的徹底研究。

在討論深度機器學習系統的安全影響時，挪威國防研究機構的Espen Hammer Kjellstadli先生闡述了數據驅動的網絡安全的考慮，這些考慮超越了傳統的基于規則的方法。深度機器學習引入了圍繞特定模型的訓練和測試的新漏洞。在一個管道的初始階段獲得的訓練數據可以被操縱，從而影響模型的正確性。由于導致模型構建的特征之間的不平衡，該模型也可能在后期階段被利用。對這些漏洞的研究，以及如何防御或將其武器化，被稱為對抗性機器學習。一個全面的概述可以在美國國家標準研究所（NIST）[11]和MITRE[12]的工作中找到。這兩份參考資料都是對任何機器學習架構進行初步設計或安全評估的絕佳資源。

針對對抗性機器學習攻擊，已經提出了許多防御措施。例如，訓練階段的攻擊，即攻擊者推斷出模型可能學習的知識類型，可以通過加密、消毒、刻意選擇或對訓練語料庫引入其他人為限制來緩解訓練數據。訓練語料庫可以進一步泛化，要么通過增加其數量，要么通過探索其數據的替代表示法。這種方法已被證明在管道的每個階段都能提供性能提升和安全優勢。最后，合成對抗性數據已被證明可以補充傳統的訓練數據，并增強所產生的模型彈性。最終，數據質量在一個特定模型的性能中起著至關重要的作用，用于訓練模型的數據越多，該模型通常就越有效。

影響深度機器學習的另一個安全考慮涉及到對特定模型結果的可解釋或可解釋性描述。與傳統的算法系統不同，信任不能來自對決策標準的透明理解。這些系統的復雜性，擴展到數以百萬計的特征權重，有效地將深度機器學習應用轉化為黑盒。這是一個重要的考慮因素，因為人類必須越來越多地理解、驗證這些系統的判斷并采取行動。

3.0 網絡安全中的深度機器學習應用

深度機器學習在網絡安全方面有很多應用。在不同的演講中，美國海軍研究實驗室的Joseph Mathews先生和美國陸軍研究實驗室的Tracy Braun博士，通過報告RTG最近的研究結果，闡明了當前的技術狀況。該研究通過采用NIST[13]的指導來描述其研究結果，該指導幫助組織實施其資產的信息安全持續監控計劃，了解網絡威脅和漏洞，以及部署的安全控制的有效性。監控被定義為持續的檢查、監督和關鍵觀察，以確定與預期或所需性能的變化。這里的"持續"和"不斷"意味著組織風險的評估頻率足以支持風險管理活動和充分保護組織信息。

具體來說，[13]定義了11個安全自動化領域，解決了建立和保持持續的網絡安全感知所需的一系列安全控制。每個領域包括一組必須收集、分析和報告的工具、技術和數據。順便說一下，這些領域形成了一個有用的結構，通過它來描述深度學習當前和擬議的網絡安全應用。考慮到相似性和便于闡述，我們借用了這11個領域，并將其分成8個不同的類別。該研究的完整結果將在即將發布的技術報告中進行詳細報告。

3.1 惡意軟件檢測

惡意軟件是指在所有者不知情或不同意的情況下，故意設計成滲入、修改、破壞或損害計算機系統的任何惡意軟件。惡意軟件承擔了許多形式的數字內容，包括可執行代碼、腳本和嵌入交互式文件內的活動對象。惡意軟件檢測機制在事先了解惡意內容的情況下，對信息系統進行定期或接近實時的掃描。反病毒簽名和類似的識別技術（即啟發式方法）是詳盡的法醫分析產物，有必要結合靜態和動態方法。

在試圖改善惡意軟件檢測方面，深度機器學習已被廣泛探索。傳統的方法依賴于從該領域的專家知識中獲得的人工設計的特征。這些解決方案提供了一個抽象的軟件視圖，可以用來歸納其特征。特征工程和特征提取是工作流程中關鍵的、耗時的過程。跟隨其他領域的進展，惡意軟件檢測能力正越來越多地利用深度學習架構。

研究表明，該應用可能克服惡意軟件檢測中的傳統挑戰。行業趨勢表明，越來越多的公司提供基于人工智能的網絡安全解決方案，為惡意軟件檢測實施某種形式的深度學習。學術工作中的擬議應用進一步證明了用新的、獨特的程序數據表示法實現的更大功效[14]。然而，這些應用通常繼續遭受強大的訓練數據的不可用性，模型的過度擬合，缺乏解釋能力，以及隨著惡意軟件技術的發展而減少的持久性。

3.2 事件管理

事件管理包括監測信息系統中的可觀察到的事件，以及信息系統之間的事件。傳統的入侵檢測系統[15]，在網絡或終端上實施，采用了基于簽名和基于異常的模型，這些模型存在缺陷。基于異常的模型已經被證明能夠產生高的假陽性率，而基于簽名的模型已經被證明能夠產生高的假陰性率。兩者都可以從深度機器學習的進展中獲益，因為它不依賴于特定攻擊模式的先驗知識。同樣，電子郵件過濾的進展也采用了自然語言處理（NLP）的深度學習應用來識別表明是垃圾郵件的信息模式。例如，谷歌已經使用TensorFlow大大增強了Gmail的垃圾郵件檢測能力[16]。

事件管理工具同樣有助于檢測和應對網絡攻擊。這些工具依賴于日志和審計記錄，這些記錄捕捉了信息系統的行為和狀態，通常與系統交易、安全控制或性能有關。幫助生成、傳輸、存儲、分析和處理日志數據的工具，對于許多網絡安全操作來說已經變得越來越重要。

目前這些領域的產品（即擴展檢測和響應的平臺或技術棧；安全信息和事件管理；以及安全協調、自動化和響應）收集的數據自然適合用深度學習來開發。許多商業工具已經為深度學習插件提供了一些本地支持。然而，大多數實現這種支持的嘗試都繞過了原生系統，而選擇了外部預處理和后處理管道，或者通過與第三方框架的整合。這表明深度學習能力將與他們平臺的原生能力同步發展。

值得注意的是，這些應用可能會受到專有數據格式的限制，無法公開或增加獲得數據的背景，以及對報告的輸出缺乏信任。專家們進一步表示擔心，現有的工具可能不會以最佳的保真度（例如，聚合元數據）收集數據，以解決實際問題。我們猜測，一旦安全運營中心團隊普遍部署的工具整合了深度學習框架或算法，事件管理中的深度學習應用研究將變得越來越受歡迎。同時，這些功能齊全的平臺在架構上與其他工具集成和共存時，可能會在復雜性和維護方面帶來新的挑戰。

3.3 信息管理

信息管理是指管理信息的位置和傳輸，這對保護組織數據的保密性、完整性和可用性至關重要。數字信息被有意或無意地儲存在無數的系統和設備中。因此，數據丟失、被盜和泄漏對一個組織的信息安全態勢構成了相當大的風險。數據丟失預防（DLP）工具具有清點、分類和跟蹤數據創建、使用、存儲、傳輸和處置的能力。

目前的DLP系統實現了一種混合的數據分類技術，包括標記數據、精確匹配、部分匹配、正則表達式和機器學習。目前DLP工具領域的許多研究都是圍繞著分析數據及其分類進行的。深度學習擅長解釋復雜的數據（如文本、圖像、視頻），因此可以提供對其中編碼信息的機器可讀訪問。

對強大的、與組織相關的訓練數據的訪問對于取得積極的結果尤為重要，然而零信任的信息安全原則通常會阻止對可能構成某些訓練語料庫基礎的敏感文件不受約束的訪問。對靜態數據和傳輸中的數據進行端對端加密的擴散，進一步給強大的數據獲取帶來了挑戰。業務流程建模和越來越多的多模態數據的頒布也帶來了新的挑戰和機遇[17]。

3.4 漏洞和補丁管理

漏洞是一種軟件缺陷，它引入了潛在的安全風險。補丁是一種消除或減少該漏洞的軟件修復。隨著漏洞和補丁的數量不斷增加，漏洞和補丁管理工具允許組織以協調的方式識別、報告和補救漏洞。例如，漏洞掃描器通常被用來識別端點、網絡、操作系統和應用程序的漏洞。補丁管理工具也同樣掃描系統的漏洞，并促進必要的補丁和其他更新的應用。

這一領域的許多商業產品都聲稱要實施機器學習，主要是為了確定補救措施的優先次序。值得注意的是，由DARPA贊助的2016年網絡大挑戰競賽展示了自動化網絡安全系統的潛力，該系統可以實時發現、評估和修補漏洞[18]。競爭團隊所使用的方法包括用深度學習增強的模糊工具。未來的愿景是采用類似的工具，可以掃描軟件的漏洞，并協助自主修補它們。正在進行的使能能力的開發持續進行，而且非常有希望，但缺乏成熟度。

3.5 軟件保證

軟件保證是一套有計劃的活動，以確保軟件按預期功能運行，沒有缺陷。常見的軟件保證技術包括安全編碼、源代碼分析和應用模糊工具。最終，軟件保證有助于實現可信性，即不存在可利用的漏洞；以及可預測性，即軟件有信心按預期執行。軟件分析的三種主要類型的工具和技術已經被確認。靜態分析工具在不執行的情況下檢查系統/軟件，包括檢查源代碼、字節碼和/或二進制文件。動態分析工具通過執行系統/軟件，給它特定的輸入，并檢查輸出來檢查系統/軟件。混合工具整合了靜態和動態方法；例如，測試覆蓋率分析器使用動態分析來運行測試，然后使用靜態分析來確定軟件的哪些部分沒有被測試。

在上面列出的工具和技術中，深度機器學習已經被應用于源代碼分析和模糊測試。此外，最近的實際應用可以在操作系統開發當中找到，維護者使用機器學習來區分修復錯誤的補丁和沒有修復的補丁[19]。除了這些增加軟件保證的傳統方法之外，商業領域的新興能力越來越多地試圖通過低/無代碼平臺使人工智能生成代碼。這是否能減少bug的數量，從而減少安全漏洞，還不確定。這可能是一個值得追求的方向，在未來的研究中。

3.6 資產和許可證管理

資產管理指的是維護組織內的軟件和硬件系統的庫存。這可以通過系統配置、網絡管理和許可證管理工具的組合，或者通過一個特殊用途的工具來完成。軟件資產和許可信息可以由軟件資產管理工具集中管理，以跟蹤許可的遵守情況，監測使用狀態，并管理軟件資產的生命周期。資產管理目前被人類用于計算硬件、軟件和設備的庫存和配置管理。

資產管理工具可以產生和記錄大量的數據，使人們能夠深入了解網絡安全和商業運作。最近在軍事系統的網絡防御方面的工作認為，分布式自主代理可以感知和適應性地防御他們的環境[20]。這些應用的共同主題是能夠減少人類的監督，適應性地管理技術消耗，優化資源利用，映射資產和數字工作流程之間的依賴關系，以及預測或應對有機商業風險。智能化、無處不在的設備趨勢將推動對資產管理創新方法的需求，在這種情況下，不僅是人類操作員，而且各種設備本身都能夠適應其環境，以不斷優化自己。

未來的應用，一般被稱為 "工業4.0"[21]，設想通過邊緣計算和下一代無線技術（即5G），在每個設備上進行基于機器學習的資產管理。這種設備與設備之間的通信將促進和優化智能工廠的流程，這樣設備就可以通過動態感知其環境來調整其配置。在這種情況下，要擴大資產管理的深度學習應用，就必須采取全面的、跨學科的方法，與互補技術的進步保持一致，這些技術包括移動設備、物聯網平臺、位置檢測技術（如射頻識別、近場通信）、3D打印、智能傳感器、數據分析、增強現實、可穿戴計算，以及聯網的機器人和機器。

3.7 網絡管理

網絡管理工具包括主機發現、庫存、變更控制、性能監控和其他網絡設備管理能力。最近，機器學習被提議作為一種機制，用于動態配置和協調這些工具，以實現移動目標防御，挫敗對手的操縱。文獻中探討了這些應用，但許多用例僅限于簡單的場景，如帶寬節流和性能管理。在軍事背景下為戰略和戰術資產調整網絡管理技術也仍然是一個相當大的挑戰。

存在許多新興的應用，包括涉及用戶行為分析[22]和車輛網絡[23]的應用。在前者，可疑的用戶行為模式可能需要改變網絡配置。在后者，聚類算法可以有效地將網絡流量定性為可疑或良性。許多深度機器學習應用，特別是那些用于事件檢測和惡意軟件檢測的應用，已經被網絡管理工具收集或暴露的數據所支持。因此，之前的研究主要圍繞著網絡監測和事件分類。然而，最近的工作證明了基于深度學習的路由在分組交換網絡中的流量控制的有效性。同樣，提議將深度學習應用于網絡管理的目的是在沒有人類監督的情況下自動或優化網絡管理任務。

最終，移動目標防御（MTD）是一個可以從深度學習中大大受益的領域。傳統的網絡防御由于環境的靜態性而無法考慮到攻擊者的固有優勢，而MTD則會不斷改變該環境的配置，反過來降低網絡攻擊的成功率。深度學習已經被證明可以準確地對應用進行分類，其流量是由軟件定義的網絡控制器自然獲取的。為戰略和戰術資產調整網絡管理技術將是一個相當大的挑戰，因為軍事網絡由相當大的規模和多樣性組成。

3.8 配置管理

配置管理工具允許管理員設置、監控、證明和恢復配置設置。隨著網絡和設備的復雜性增加，管理信息系統之間的配置也變得越來越困難。自動化的解決方案提高了效率，改善了可靠性，同時普遍降低了規模成本。系統配置掃描工具提供了審計和評估目標系統的自動化能力，以確定其是否符合定義的安全基線配置。盡管深度學習在這一領域的實際應用很少，但在上一節討論的移動目標防御方面仍有很大的潛力。

4.0 相關軍事應用和開放性挑戰

深度學習的應用一般都有一個特點，那就是源于大量的數據，必須在此基礎上得出洞察力，或者希望有更大的自動化。這一觀點得到了許多探索一系列軍事信息系統技術應用的互補性RTG的響應。本文將詳細介紹這些互補性小組的研究結果。

4.1 半自主無人駕駛地面車輛的互操作性

挪威國防研究機構的Kim Mathiassen博士在《半自主無人駕駛地面車輛的互操作性》中指出了在追求軍事信息系統技術的互操作性方面所面臨的挑戰。互操作性是一個經常被認為是理所當然的重要話題，它被簡單地解釋為具有不同出處的不同技術能夠輕松地進行信息交流和同步。實現這一目標的標準制定和采用帶來了許多障礙。

北約國家正在為各種作戰任務（如情報、監視、偵察；化學、生物、放射性、核、高能炸藥探測等）投資于無人駕駛地面車輛（UGV）技術。為了在聯盟環境中運作，國家之間必須共享這些平臺的信息，甚至可能是控制。之前的實驗已經證明了實現這一目標的一些實際挑戰，包括獲取不同的視頻和遙測饋電格式，以及不同的網絡和無線電通信系統造成的干擾[24]。

目前的互操作性標準涉及如何從操作員控制單元傳輸控制數據，機器人應如何將數據傳回給操作員，以及如何在車輛之間共享數據。在構建這些標準的過程中遇到的挑戰包括時間同步、校準、測量精度、隱含假設以及數據（如地圖）和元數據的格式和表示。類似的或競爭的標準和開發工具包之間的特征重疊，進一步需要對具體要求和能力進行解讀。

隨著接口和標準的成熟，軍事指揮官設想以自主或半自主的方式采用UGV技術，這將越來越需要它們感知周圍環境。這種應用將阻止對機器人的直接控制，而采用傳輸中間航點進行導航等方法。因此，深度學習被廣泛認為是許多UGV項目的基本組成部分。現有的標準除了傳統的遙測和傳感器信息外，還需要適應網絡安全的考慮。網絡態勢可以是內省證明和共享的，也可以是外部觀察或查詢的。具有這種保真度的網絡物理資產的態勢感知可以為任務和控制決策提供信息，特別是當平臺在有爭議的環境中運行并預期對手會通過物理或電子攻擊載體進行操縱時。

4.2 確保無人駕駛和自主車輛的任務保障

挪威國防研究機構的Federico Mancini博士在《為保證任務而保護無人駕駛和自主飛行器》一文中，解釋了將自主平臺執行的多領域任務的一系列網絡安全挑戰。要了解無人系統帶來的風險，首先必須全面了解對其安全態勢起作用的所有因素，包括外部威脅。

自主平臺有許多形狀和大小，在陸地、海洋、空中和空間運行。這些固有的網絡物理系統依靠傳感器輸入來收集與他們手頭任務相關的數據，或感知他們的周圍環境，以做出如何導航的決定。軍事應用的移動、網絡連接的性質進一步為網絡保證帶來了獨特的挑戰。例如，在傳統的民用應用中，自動駕駛汽車被設計為遵守明確規定的交通法規和道路基礎設施。另一方面，自主的地面、海洋和空中平臺可能在沒有規定的規范和有爭議的條件下在開放環境中運行。

為了研究這個問題，研究人員提出了一個理論框架，解決平臺行為如何隨任務背景變化的問題。該框架主要以威脅為基礎，包括三個不同的層次。任務層定義了任務成功所需的功能和結果。車輛層定義了那些被分配到任務中并需要保護的平臺。最后，組件層定義了每個平臺內允許使用這些資產的子系統（即，執行器）。在每一層，該框架采用了一套定義與其他層關系的目錄。例如，通用的任務安全目標，如安全性、可靠性和保密性，可以映射到在實現這些屬性方面發揮作用的平臺組件。一些通用的例子包括自主導航、收集和處理傳感器信息、在其有效載荷能力之間進行通信和合作，以及安全地存儲敏感數據的能力。每項任務都將取決于平臺上的某些組件，而每個組件都容易受到某些威脅的影響。

防御這些威脅的一個主要考慮是平臺的自主響應能力。由于環境所帶來的操作限制，為無人系統實施安全能力是很棘手的。傳統的信息系統是在持續的連接和普遍有利的帶寬條件下運行的，而戰術環境必須能夠在斷開的、間歇的、潛在的或隱蔽的連接條件下運行。這些環境的網絡防御解決方案，包括那些實施深度學習的解決方案，必須在這些條件下適應和推理。這包括那些解決傳統網絡威脅的機制，以及那些解決旨在破壞其功能的網絡物理性質的物理攻擊。對問題的識別可能會引發各種反應，這些反應說明了任務成功的不同方面（例如，返回基地、關閉、自毀、刪除存儲內容）。深度學習在感知物理環境方面的成功很可能會推動其中一些算法決策。

4.3 用于混合軍事行動的人工智能、機器學習和大數據

美國海軍研究實驗室的Prithviraj Dasgupta博士在《人工智能、機器學習和大數據在混合軍事行動中的應用》一文中，談到了人工智能技術日益主導的軍事場景所帶來的挑戰，以及對抗性人工智能和博弈論在應對混合戰爭的挑戰中可以發揮的作用。為了使這一觀點與研討會的背景保持一致，隨后討論了對抗性人工智能在惡意軟件檢測方面的應用。

生成式對抗網絡（GANs）是一種基于深度學習的生成式模型，是一種創建與訓練數據共享特征的合成數據方法。雖然GANs在愚弄人工智能系統方面的應用已經被廣泛探索，但它們主要集中在圖像和文本數據上。在最近的網絡安全應用中，GANs已被證明可以有效地改造已知的惡意軟件，使其看起來是良性的，但仍然是惡意的，從而騙過傳統的檢測方法，包括機器學習分類器。然而，在實踐中這樣做會產生成本，因為對手必須發現在訓練樣本中插入多少和哪里的噪音。

現有技術因其對二進制程序數據中發現的特征空間的改變而受到限制，這可能會阻止所產生的GAN衍生程序被執行。因此，目前的工作重點是在字節級修改數據[25]。特別是三種策略，框住了一系列的報告實驗[26]。首先，填充攻擊增加了一些空白的 "填充"字節，然后用從訓練的惡意軟件的主體中提取的字節替換每個添加的字節。第二，DOS頭攻擊修改惡意軟件可執行程序頭的部分，因為大多數機器學習分類器將檢查限制在該部分。第三，遺傳攻擊根據遺傳算法選擇性地替換惡意軟件中的字節。

評估這些方法的結果包括量化規避率，或修改后的惡意軟件能夠騙過分類器的程度；執行修改所需的時間；以及產生修改后的惡意軟件所需的修改數量。實驗結果證實頭攻擊是最有效的，因為它的規避率高，所需時間和改動的衡量標準低。研究人員進一步指出，隨著操作系統變得越來越復雜，制作惡意軟件變體所需的修改數量也越來越多。研究人員繼續就如何使用GAN技術來制作能夠欺騙基于人工智能的探測器的惡意軟件樣本進行實驗。最終，博弈論方法可用于描述攻擊者-防御者互動之間的權衡，這些互動涉及制作對抗性樣本。

4.4 信息戰行動中的數據隱藏

波蘭軍事技術大學的Zbigniew Piotrowski博士在《信息戰行動中的數據隱藏》一文中詳細介紹了在現有通信渠道中實現隱藏數據層的技術，以及它們帶來的機遇、威脅和挑戰。隱藏數據層是隱藏信息的通信渠道，是對現有加密和隱寫方法的補充。傳統上被認為是一種挑戰和威脅，最近探索隱蔽信道方法的進展的工作表明，不同的研究分支如何能夠為彼此提供好處[27]。

目前，學術研究主要涉及創新的通信設備，例如，去除隱藏傳輸的隱寫過濾器、隱寫路由器、基于數字水印的多媒體數據隱藏的眾多方法、無線電通信中的新隱寫方法（無線電隱寫）以及計算機網絡（網絡隱寫）。軟件定義的網絡（SDN）在主要SDN接口被惡意軟件感染的情況下可以進一步支持隱藏的通信。同時，有許多關于分析和檢測隱藏數據的方法的描述，也有關于識別利用隱藏傳輸進行的攻擊的方法[28]。

這個領域的潛在主題包括檢測和防止有線和無線連接中的數據隱藏傳輸的方法；檢測和防止互聯網和文件中的多媒體內容水印；識別隱藏通信的行為標準；在軍事通信中使用隱藏傳輸和數字水印；北約隱寫應用和設備標準化，內置數據傳輸技術隱身類；數字對象和數據流的隱寫分析程序；感知測試的標準化和透明度（例如。語音、音頻、視頻）、穩健性和透明度的隱寫分析；以及在量子技術背景下保護數據的替代方法。

最近在實際應用中取得的成功包括在專用的戰術無線電通信手機中隱藏數據，這些手機可以通過信道內編碼的人員識別號碼獨立地驗證說話方（或語音經紀人）。許多類似的創造性應用正在被提出，而深度學習的應用自然適合利用那些涉及數字多媒體內容和信號。其他的例子包括與現有網絡和配置管理能力有共同特點的渠道選擇和協調。

4.5 機器學習系統的穩健性和責任性

美國海軍太平洋信息戰中心的Douglas Lange博士總結了研討會上討論的所有應用所面臨的挑戰。盡管許多研究探討了機器學習系統如何被創造性的輸入所操縱，但很少有努力解決如何使它們更加穩健。這樣的系統可能需要對訓練、測試、驗證和生產進行根本性的改變。

穩健性通常以障礙物為特征，如攻擊或敵人，并且可以包括許多不同的目標（即性能、安全性）。了解這些目標在系統和任務背景下的必要性和實用性，對于創建一個保證穩健性的方法至關重要。應用于機器學習系統，這可以表示為一個系統在新的數據中產生可預測的輸出和可比較的性能的能力，就像它被訓練出來的那樣。

不確定性同時存在于操作數據和訓練數據中，盡管前者在機器學習系統的設計和開發過程中被更多地認識和考慮。然而，從業人員必須期望他們的系統能夠處理訓練人群范圍內外的輸入。在軍事背景下，作戰應用的訓練數據的供應往往比商業應用的數據更有限，在商業應用中，不知情或不愿意的用戶行為可以被獲取（即廣告定位），這使得問題更加復雜。戰爭情況往往是不可觀察的和新穎的，用和平時期或軍事演習數據訓練的模型并不總是能反映沖突的動態性質。因此，那些能夠最快適應的系統最有可能獲得成功。

機器學習應用的目的是學習適合訓練人群的適當的模型參數集。這就需要開發一個成本函數，以衡量改變模型和噪聲對該模型的影響所帶來的誤差有多大。由此產生的不確定性通常可以被描述為認識上的或無知的。認識性的，或系統性的不確定性，定義了總不確定性的可減少部分。統計不確定性，定義了總不確定性中不可減少的部分。此外，輸入可能表現出噪聲和腐敗，或表現出與訓練數據的有意義的變化。前者反映了物理穩健性，而后者反映了語義穩健性。最終，機器學習系統在試圖描述穩健性之前必須正確表達分類器的作用。

最后，偏見是所有深度機器學習應用的一個重要考慮因素。在一個經過充分研究的應用中，研究人員通過演示斑馬投射到馬身上的圖像，使用周期一致的對抗網絡進行了圖像到圖像的轉換[29]。對這一演示的檢查表明，緊鄰動物的像素也從馬匹常見的草場轉化為斑馬常見的大草原。因此，訓練中描繪的環境證實了偏見，因為這些環境并不是馬和斑馬可能出現的唯一環境。

許多深度機器學習應用都表現出難以簡單地識別那些不屬于其訓練群體的輸入。僅僅實現這一點就能切實提高質量和穩健性。然而，通常情況下，模型被愚弄，而他們聲稱對他們的發現有很高的信心。ML應用傾向于在他們經常看到的事情上表現得更好，而在他們沒有看到的事情上表現得更差。例如，自動駕駛汽車是用數百萬小時的真實和模擬條件下的駕駛錄像來訓練的。從真實世界收集的數據經常被用來改進模擬。這種方法在軍事上是缺乏的，因為對手可能采用和平時期沒有觀察到的戰術。

5.0 結論

在研討會的開幕詞中，NATO STO的信息系統技術小組主席Nikolai Stoianov博士指出，北約研究網絡的力量來自其合作的商業模式。北約國家和合作伙伴選擇使用他們的國家資源來定義、開展和促進合作研究和信息交流。通過將士兵和研究人員聚集在一個共同的論壇，參與者從彼此的專業知識中受益，提高整體效率，并增強聯盟的集體力量。通過揭露國家努力、工業觀點和居民專長之間的共同點并找到平衡點，可以獲得進一步的優勢。這些主題在本文報告的結果中明顯可見。通過跨越網絡安全、計算機科學、人工智能、自主權和軍事行動的討論，研討會的參與者分享了深度機器學習的當前和趨勢性應用，準備加強軍事網絡的網絡安全態勢。在互補的RTG中發現的相似之處反映了許多類似的挑戰和機會。

深度機器學習可以通過加強數據驅動的決策和最大限度地減少人類專家的作用來改善幾乎所有的數字技術和應用，形成網絡態勢。應用實例包括自動化軟件開發（包括惡意軟件）；自動化協議和架構設計，包括那些來自高級規范的設計；管理網絡運營的人機合作，包括虛擬化、容器化和云服務；網絡功能的自主協調，如頻譜管理、QoS管理和網絡切片；以及網絡物理系統和系統間的自主。這些應用需要一個全面和跨學科的方法，以適應數字技術的發展。

對網絡環境的理解還包括對聯盟或友好網絡的情況了解，以及對敵方威脅的描述。在IST-129 RTG8的補充工作中，研究結果顯示，深度機器學習可以加強對敵對行動的預測以及對攻擊和防御場景的分析。這種理解可能會導致分布式自主代理的實現，這些代理可以感知、響應并適應其環境和突發威脅[20]。最終，深度機器學習可以更有效地利用資源，更好地利用人類專家的時間。

深度機器學習在安全關鍵應用中的采用仍然是一個受到嚴格審查的問題[30]。算法已經被證明有錯誤功能的傾向，例如用無害的標志物進行誤導的情況。它們已經顯示出對數據中毒和數據稀少攻擊的脆弱性，導致了尷尬和損害。這自然促使軍方探索如何利用該技術，同時保持其功能的可預測性和可靠性。最終，存在著對設計、建造、部署和維持可信賴、安全和可靠的網絡物理系統的戰略的關鍵需求[31]。

在過去的十年中，深度機器學習的加速是由幾十年來計算能力的進步所推動的。高性能的硬件使得構建具有更多層次的連接和神經元的網絡成為可能，從而使人們有能力對復雜現象進行建模。然而，這一趨勢最近顯示出回報率遞減[32]。盡管硬件性價比曲線不斷進步，但在計算需求變得不可行之前，只能對模型性能進行邊際改善。新的硬件加速架構已被提出，以部分克服這一挑戰[33]。另一方面，它已經讓位于自主性的"低風險"應用，其中行動空間可以被明確定義，并產生最小的失敗影響。這種方法使模型部署適合于尺寸、重量和功率受限的平臺。

在研討會與會者的討論中，一個共同的主題是數據對任何應用的成功都至關重要。網絡空間的數據采集，反其道而行之，是一個具有挑戰性的命題。雖然一個組織的網絡空間往往充滿了豐富的數據，但以一種適合快速利用的形式和方式來暴露這些數據往往會帶來許多實際的挑戰。數據的來源、所有權、分類、管理、敏感性、法規、架構、模型、運輸、聯盟和其他考慮因素往往阻礙了能力的應用。軍事行動和聯盟網絡的額外敏感性和多分類性質使問題進一步復雜化。現有的挑戰表明，替代方法，如轉移和聯合學習方法，是值得追求的，并可能在沒有數據轉移或語義互操作性問題的情況下實現模型共享。另外，GANs和類似的新興工具越來越有能力產生大規模的合成數據。

我們認為在所有這些方面都有一條前進的道路。深度機器學習的成功應用需要全面的、跨學科的方法，與硬件和其他數字技術的進步同步，包括改進數據采集、數據生成和數據共享的技術。深度機器學習系統本身的安全性，在所有層面都必須得到維護。這包括數據集、分類器、模型和學習到的反應，必須保護它們不被操縱。可靠性和可解釋性是對建立可信賴的系統特別重要的考慮領域。最后，將深度機器學習推向戰術邊緣的愿望將需要在自主性、硬件尺寸、重量和功率方面進行改進。

在本文中，我們介紹了有助于約束網絡安全問題空間和塑造潛在的深度機器學習解決方案的術語和觀點。我們說明了深度機器學習是如何應用于網絡安全的，并提出了進一步發展的機會。我們展示了北約STO內部的相關工作，并在多個應用領域中進行了比較。最后，我們強調了在軍事和聯盟行動環境中成功應用的一些關鍵考慮和發現。

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。

目標跟蹤一直都是計算視覺領域研究的熱點課題之一,作為計算視覺的基礎學科,其應用已經滲透到各個領域,包括智能監控、智能人機交互、無人駕駛以及軍事等方面。目標跟蹤從跟蹤對象的數量角度可分為單目標跟蹤和多目標跟蹤,其中單目標跟蹤相對簡單,除了需要解決與多目標跟蹤共性的問題(如遮擋、形變等)外,單目標跟蹤不需要考慮目標的數據關聯問題。然而,在多目標跟蹤系統中,場景更為復雜,跟蹤目標的數量和類別往往是不確定的,因此數據關聯在整個跟蹤系統中就顯得尤為重要。數據關聯是多目標跟蹤過程中的一個重要階段,國內外很多學者甚至將多目標跟蹤問題看成數據關聯問題,試圖從數據關聯過程中尋求多目標跟蹤研究方法。文中重點對多目標跟蹤過程中的數據關聯技術進行了綜述,系統地介紹了多目標跟蹤中的數據關聯技術。首先,對目標跟蹤,尤其是多目標跟蹤進行了概述,并對數據關聯的研究現狀做了描述;其次,詳細介紹了數據關聯的概念及其需要解決的問題;然后,對各種數據關聯技術進行了分析總結,包括傳統的NNDA算法、JPDA算法、基于Tracking-By-Detecting 的多目標跟蹤框架的數據關聯技術以及多目標多相機跟蹤(Multi-Target Multi-Camera Tracking,MTMCT)的數據關聯;最后,對未來多目標跟蹤的數據關聯技術的研究方向進行了展望。

//www.jsjkx.com/CN/10.11896/jsjkx.200200041

盡管在深度學習方面取得了最近的進展，但大多數方法仍然采用類似“筒倉”的解決方案，專注于孤立地學習每個任務:為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實問題需要多模態方法，因此需要多任務模型。多任務學習(MTL)旨在利用跨任務的有用信息來提高模型的泛化能力。在這個綜述中，我們提供了一個最先進的在深度神經網絡的背景下MTL技術的全面觀點。我們的貢獻涉及以下方面。首先，我們從網絡架構的角度來考慮MTL。我們包括了一個廣泛的概述，并討論了最近流行的MTL模型的優缺點。其次，我們研究了解決多任務聯合學習的各種優化方法。我們總結了這些工作的定性要素，并探討了它們的共性和差異。最后，我們在各種數據集上提供了廣泛的實驗評估，以檢查不同方法的優缺點，包括基于架構和優化的策略。

//arxiv.org/abs/2004.13379

概述

在過去的十年中，神經網絡在許多任務中都顯示了令人印象深刻的結果，例如語義分割[1]，實例分割[2]和單目深度估計[3]。傳統上，這些任務是單獨處理的，即為每個任務訓練一個單獨的神經網絡。然而，許多現實世界的問題本質上是多模態的。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，定位它們，了解它們是什么，估計它們的距離和軌跡，等等，以便在它的周圍安全導航。同樣的，一個智能廣告系統應該能夠在它的視點上檢測到人們的存在，了解他們的性別和年齡，分析他們的外貌，跟蹤他們正在看的地方，等等，從而提供個性化的內容。與此同時，人類非常擅長同時解決許多任務。生物數據處理似乎也遵循多任務處理策略: 不同的處理過程似乎共享大腦中相同的早期處理層，而不是將任務分開單獨處理。上述觀察結果促使研究人員開發了多任務學習(MTL)模型，即給定一個輸入圖像可以推斷出所有所需的任務輸出。

在深度學習時代之前，MTL工作試圖對任務之間的共同信息進行建模，希望通過聯合任務學習獲得更好的泛化性能。為了實現這一點，他們在任務參數空間上放置了假設，例如:任務參數應該彼此靠近w.r.t.一些距離度量[5]，[6]，[16]0，[16]2，共享一個共同的概率先驗[16]1，[10]，[11]，[12]，[13]，或駐留在一個低維子空間[14]，[15]，[16]或流形[17]。當所有任務都是相關的[5]、[14]、[18]、[19]時，這些假設可以很好地工作，但是如果在不相關的任務之間發生信息共享，則可能導致性能下降。后者是MTL中已知的問題，稱為負轉移。為了緩解這一問題，其中一些研究人員選擇根據先前對任務的相似性或相關性的認識將任務分組。

在深度學習時代，MTL轉化為能夠從多任務監控信號中學習共享表示的網絡設計。與單任務情況下，每個單獨的任務由自己的網絡單獨解決相比，這種多任務網絡理論上給表帶來了幾個優點。首先，由于它們固有的層共享，結果內存占用大大減少。其次，由于他們明確地避免重復計算共享層中的特征，每次都要計算一次，因此他們的推理速度有所提高。最重要的是，如果相關的任務能夠分享互補的信息，或者互相調節，它們就有可能提高績效。對于前者，文獻已經為某些對任務提供了證據，如檢測和分類[20]，[21]，檢測和分割[2]，[22]，分割和深度估計[23]，[24]，而對于后者，最近的努力指向了那個方向[25]。這些工作導致了第一個深度多任務網絡的發展，歷史上分為軟或硬參數共享技術。

在本文中，我們回顧了在深度神經網絡范圍內的MTL的最新方法。首先，我們對MTL基于架構和優化的策略進行了廣泛的概述。對于每種方法，我們描述了其關鍵方面，討論了與相關工作的共性和差異，并提出了可能的優點或缺點。最后，我們對所描述的方法進行了廣泛的實驗分析，得出了幾個關鍵的發現。我們在下面總結了我們的一些結論，并提出了未來工作的一些可能性。

• 首先，MTL的性能在很大程度上取決于任務字典。它的大小、任務類型、標簽源等等，都影響最終的結果。因此，最好根據每個案例選擇合適的架構和優化策略。盡管我們提供了具體的觀察結果，說明為什么某些方法在特定設置中工作得更好，但是MTL通常可以從更深的理論理解中獲益，從而在每種情況下最大化預期收益。例如，這些收益似乎取決于多種因素，例如數據量、任務關系、噪音等。未來的工作應該嘗試分離和分析這些不同因素的影響。

• 其次，當使用單一MTL模型處理多個密集預測任務時，基于解碼器的架構目前在多任務性能方面提供了更多優勢，與基于編碼器的架構相比，其計算開銷有限。如前所述，這是由于基于解碼器的體系結構促進了常見的跨任務模式的對齊，這自然很適合密集的預測任務。基于編碼器的架構在密集預測任務設置中仍然具有一定的優勢，但其固有的層共享似乎更適合處理多個分類任務。

• 最后，我們分析了多種任務均衡策略，并分離出對任務均衡學習最有效的要素，如降低噪聲任務的權重、平衡任務梯度等。然而，許多優化方面仍然缺乏了解。與最近的研究相反，我們的分析表明避免任務之間的梯度競爭會損害性能。此外，我們的研究顯示，一些任務平衡策略仍然存在不足，突出了現有方法之間的一些差異。我們希望這項工作能促進對這一問題的進一步研究。