為了打擊日益多變和易變的現代惡意軟件，機器學習（ML）現在是對現有基于簽名的惡意軟件分流和識別技術的一種流行和有效的補充。然而，ML也是對手的一個現成的工具。最近的研究表明，惡意軟件可以通過深度強化學習（RL）技術進行修改，以繞過基于人工智能和基于簽名的反病毒系統，而不改變其原有的惡意功能。這些研究只專注于生成規避樣本，并假設靜態檢測系統為敵人。

惡意軟件檢測和回避本質上形成了一個雙方的貓鼠游戲。在本文中，我們模擬現實生活中的場景，按照零和多智能體強化學習（MARL）的范式，提出了第一個用于規避惡意軟件檢測和生成的雙人競爭博弈。我們對最近的惡意軟件進行的實驗表明，所產生的惡意軟件檢測智能體對對抗性攻擊更加強大。此外，所產生的惡意軟件修改智能體能夠產生更多的規避樣本，騙過基于人工智能和其他反惡意軟件技術。

關鍵詞：對抗性學習，惡意軟件分析，神經網絡，強化學習，馬爾科夫決策過程

圖1：單次的H4rm0ny訓練過程。還顯示了所有系統配置的結果。從我們的數據集中選擇一個惡意軟件的樣本。然后，它被送到一個修改的過程中。如果任何修改產生了一個惡意軟件的回避樣本，該樣本將被訓練成檢測智能體。一旦樣本被訓練成檢測智能體，修改智能體的策略就會隨著對惡意軟件樣本和檢測智能體的狀態所采取的一系列行動而更新。

摘要:

在整個歷史上，宣傳和虛假信息一直被用來破壞敵對勢力的穩定，但美國軍隊對這些方法適應互聯網時代的方式仍然毫無準備。本文探討了虛假信息行動的現代歷史和美國軍隊在面對來自近似競爭對手的行動時的準備狀況，并提出教育是使美國軍人準備好抵御此類行動的最佳方式。

關鍵詞：宣傳、虛假信息、媒體素養、軍事教育、預防

宣傳和虛假信息是強有力的影響工具。前者可以被定義為 "蓄意、系統地試圖塑造觀念、操縱認知和引導行為，以達到促進宣傳者預期意圖的反應。"同時，后者是一種 "基于傳播不真實信息的欺騙技術，目的是欺騙、操縱和誤導"，利用人類情感作為影響手段。美國總統德懷特-艾森豪威爾（Dwight D. Eisenhower）多次承認，"全面戰爭的機會遠遠小于我們在政治戰爭方面面臨的危險。"而且，今天的數字環境意味著虛假的敘述可以比以往任何時候都傳播得更遠更快。

事實上，有證據表明，像俄羅斯這樣的國家已經通過這些策略對對手國家產生了重大影響。眾多學者指出，2016年的美國總統選舉就是一個典型的例子。在這些情況下，虛假信息依賴于利用目標社會中預先存在的緊張關系（例如種族、民族和階級）來制造分裂。因此，這些敘事經常將脆弱的社區置于危險之中，并將由不同群體組成的機構置于壓力之下，包括美國軍隊，因為它需要來自各種社會、文化、宗教、政治和經濟背景的美國人。

虛假信息對這些類型的組織構成了威脅，進而對國家構成了威脅。2019年，英國的數字文化、媒體和體育跨黨派委員會將網上虛假信息的傳播描述為對民主的生存威脅。這一挑戰的嚴重性需要仔細分析。本文認為，教育是對抗虛假信息的最佳策略，確定了從成為虛假信息目標的國家中吸取的教訓，回顧了虛假信息作為信息戰戰術的演變，審視了對手操縱網絡的心理機制，評估了虛假信息對軍隊等機構構成的威脅，并思考了教育在預防目標群體并幫助每個人在日益數字化的世界中生存和發展的潛力。

宣傳和虛假信息如何運作

長期以來，國家和非國家行為體一直利用宣傳和虛假信息來獲得戰略優勢。然而，現代大眾傳媒在20世紀初的到來，使他們的努力具有了全球性的意義。在兩次世界大戰期間，宣傳是實現一系列目標的重要工具。例如，廣播使美國總統富蘭克林-D-羅斯福和英國首相溫斯頓-丘吉爾等主要領導人能夠在自己家里直接向國內觀眾講話，向他們提供信息并影響他們對戰爭的看法。電影也同樣被用來鼓舞士氣和推動招募工作。由奧斯卡獲獎電影人弗蘭克-卡普拉（Frank Capra）執導的《我們為何而戰》系列紀錄片至今仍被認為是此類材料的最佳范例之一。這些努力的影響不能被低估。一些歷史學家甚至認為，盟軍發動的信息戰是勝利的核心。國內的信息傳遞與英國政治戰爭執行局等組織在戰場上的行動相結合，這些組織參與了破壞敵人宣傳的行動，事實證明這些宣傳與事件的現實越來越不同步。

在整個冷戰期間，影響力繼續發揮著核心作用，虛假信息構成了蘇聯積極措施的一個關鍵要素，即 "影響外國社會事件和行為以及行動的公開和秘密技術"，據估計，華約國家從1945年到1989年開展了超過10,000次虛假信息行動。正如約翰-霍普金斯大學的托馬斯-里德所解釋的那樣，"久經考驗的方法......是利用對手現有的弱點來對付自己，將楔子插入預先存在的裂縫。一個社會越是兩極分化，它就越是脆弱。"

俄羅斯利用虛假信息活動仍然是其戰略的一個關鍵部分，并在今天的網絡生態系統中采取了新的形式。俄羅斯的虛假信息可以分解為四個 "D"--否認、歪曲、沮喪和分散注意力，以擾亂批判性思維。社會上有一些觸發性話題，從移民和墮胎到種族和宗教，這些話題很可能引起情緒反應，甚至導致所謂的杏仁核劫持。這是一個心理學術語，指的是當一個人的大腦中控制情緒的部分變得如此激進時，這個人就不能再批判性地思考。換句話說，人們與大腦中控制推理和評估事實的部分失去聯系。

但是，充滿感情的敘述只是敵對行為者利用網上受眾的一種方式，因為他們經常經歷信息過載。人腦由于缺乏能力和時間，無法篩選所有可用的信息。這種時間和認知資源的缺乏意味著個人無法將事實與虛構進行區分，他們使用認知捷徑來處理信息，使他們容易受到虛假信息宣傳的影響。例如，確認性偏見包括尋找、解釋和回憶與自己的信念和態度一致的信息。個人接受與他們的觀點一致的信息，而不是花時間去處理與之矛盾的信息。例如，《科學進展》雜志2019年的一項研究發現，傾向于保守政治的人傾向于分享共和黨人的社交媒體帖子。

網絡行為者能夠進一步利用迅速崛起的技術來利用偏見，包括深度偽造或人工智能操縱的音頻或視頻內容，無論是人工智能渲染、編輯或重新剪輯、盜用或錯誤歸因。深度偽造可能會提高惡意行為者利用情緒和認知偏見的能力。人們發現，圖像比單純的文字更有影響力。文字是抽象的符號，需要重建為現實的心理圖像。相比之下，圖像似乎提供了一個直接的現實參考，減少了操縱的嫌疑。

武裝部隊和虛假信息

就像它所保護的國家一樣，美國軍隊也越來越多元化。2017年，女性占現役部隊的16%，少數族裔目前占軍事人員的42%。這種多樣性可能使軍隊，像整個國家一樣，容易受到虛假信息運動的影響。這些運動對作戰安全和武裝部隊、其盟友和更廣泛的國防界的整體凝聚力構成了嚴重挑戰。

例如，對手一直針對組成北約在愛沙尼亞、拉脫維亞、立陶宛和波蘭的強化前沿存在的部隊。2020年，俄羅斯贊助的行為者在網上發布了一封偽造的信件，其中波蘭準將里夏德-帕拉菲亞諾維奇似乎在美國領導的 "歐洲保衛者20 "演習中公開批評了美國在他的國家的存在。在同一次演習中，俄羅斯消息人士還聲稱美軍無視與COVID-19有關的旅行限制，盡管美國官員出于公共衛生方面的考慮，縮小了Defender-Europe 20的規模和范圍。"影響的威脅不再僅僅存在于部署期間，也存在于駐軍中，因為 "通信的崩潰性......以及......戰爭和日常生活之間多孔的界限"，這意味著地理環境不再足以作為一種防御。

敵對行為者一直在網上針對美國武裝部隊成員和退伍軍人社區。從2017年開始，美國國會特許的非營利組織越南退伍軍人協會開始了一項為期兩年的調查研究，發現 "外國實體對美國軍人、退伍軍人和他們的家人進行持續、普遍和協調的在線攻擊。"報告顯示，軍人和他們的社交網絡容易受到虛假信息的影響。外國實體將經常能接觸到保密和機密材料的軍方成員視為一個有吸引力的目標。更重要的是，現役軍人和退伍軍人是美國政治生活中的一個重要影響人群。美國越戰退伍軍人研究小組檢查了數百個Facebook頁面和社交媒體賬戶，發現美國軍人、退伍軍人和幾個退伍軍人組織的其他社交媒體追隨者是外國實體的特別目標。他們還發現來自30多個國家的個人管理著他們審查的網站，這些假冒Facebook頁面的管理員滲透到其他公共和私人團體。

冒名頂替的網頁和賬戶通過冒充合法的軍事和退伍軍人團體，如美國越戰退伍軍人組織，建立了一批粉絲，并利用友情和社區作為吸引新成員的方式。這種活動如此之多，Facebook關閉了三分之一的審查賬戶，原因是不真實的行為或 "誤導性行為，欺騙他人關于個人/團體是誰或個人或團體在做什么。"在關閉之前，這些頁面吸引了超過3200萬用戶。外國管理員利用這些平臺 "試圖在不同種族或民族身份或偏見的群體之間制造隔閡，經常使執法者與少數民族對立起來。 "這種行動經常涉及發布旨在分化團體成員的分裂性內容，從分享美國國家橄欖球聯盟四分衛科林-卡佩尼克的照片，到傳播關于有爭議的公眾人物的虛假信息，如國會議員亞歷山大-奧卡西奧-科爾特斯，以及發布 "退伍軍人先于非法移民 "這樣的仇外言論，在移民等敏感話題上做文章。"虛假信息針對社會中的斷層，軍事人員也不能免于這些戰術。

敵人的虛假信息活動破壞了軍人辨別事實和虛構的能力。這些運動滲透到他們的社會網絡中，使他們容易受到陰謀論和極端主義團體的影響，這降低了部隊的凝聚力，并帶來了真正的部隊保護威脅。雖然沒有跡象表明對手對2021年的美國國會大廈襲擊事件負有直接責任，但多年的影響行動最終導致了一種扭曲的認知環境--對許多參與暴亂的人來說是另一種現實，并植入了一種可能持續多年的社會和政治分裂。以這次襲擊為例，對手將繼續積極開展虛假信息運動，并采用所有信息領域的工具來加劇不和諧并加強其地位。俄羅斯利用數字媒體在國會大廈襲擊事件后煽風點火，破壞對民主進程和美國作為全球領導者的合法性的信心。

這些影響提供了明確的證據，網上的陰謀論和虛假信息并不只停留在網上，而是可以而且確實在暴力中達到高潮。雖然虛假信息是陰險的，并在國家、戰略和戰術層面上產生了長期的影響，但它可以通過宣傳和教育得到緩解。

教育：對虛假信息做好預防？

關于如何處理虛假信息的問題存在爭議。來自人文和社會科學的大量證據表明，最好的長期解決方案是教育公眾識別虛假信息。許多組織都強調了教育在打擊仇恨方面的價值。2018年，歐盟委員會制定了一項數字掃盲計劃，供整個歐盟實施。同年，倫敦經濟學院真相、信任和技術委員會呼吁英國政府將媒體掃盲作為其國家課程的一部分。雖然許多國家剛剛開始認識和實施教育計劃，以打擊虛假信息運動，但一些國家已經建立了行之有效的制度。

斯堪的納維亞和波羅的海國家為如何實施這些虛假信息教育項目提供了一個模板。他們的經驗是獨特的，因為 "在過去的四到五年里，很少有[地區]受到更持續的俄羅斯信息操縱，"包括芬蘭，自1917年獨立以來，芬蘭一直是克里姆林宮支持的宣傳的目標。蘭德歐洲公司的分析師認為，有幾個因素有助于芬蘭抵御外國影響，包括高比率的媒體素養。芬蘭政府通過教育活動實現媒體素養，包括2014年的一項倡議，教導學生、記者、政治家和公眾如何識別虛假新聞。小學和中學的學生也接受了識別深度虛假視頻和鍛煉批判性思維能力的測試。這些項目以及其他類似的項目，"只是芬蘭為使所有年齡段的公民為復雜的數字環境做好準備而采取的跨部門方法中的一層"。

為了一個共同的目標，立陶宛政府經常與這些團體合作，以提高調查公眾對這個問題的學術研究水平，以及專注于揭穿和事實核查的媒體項目。它還提供資金和/或支持開發一個人工智能驅動的平臺來監測媒體（Debunk.eu），并為弱勢群體（老年人、少數民族人口）創建媒體素養項目。

圍繞COVID-19大流行病的虛假信息是一個全球性的問題，與斯堪的納維亞和波羅的海國家類似，其他國家也采取了有效的應對措施來解決相關虛假信息。臺灣政府與臺灣事實核查中心合作。正如吉爾及其同事所描述的那樣，臺灣利用類似于WhatsApp的社交媒體平臺來傳播準確的信息，以對抗網上的虛假信息。此外，政府加強了對虛假信息的監測，以防止其傳播，并與Facebook合作，在Facebook的時間軸上灰色的虛假信息。最后，還制定了關于如何區分真實和虛假賬戶以及可疑和可信信息的指南。Lien和作者指出，這種合作、平臺和指南對于培養臺灣對COVID-19虛假信息的抵御能力至關重要。

推薦的美國軍事媒體素養培訓

美國國防部（DoD）必須授權一個標準化的、多方面的媒體素養項目，為軍人提供對抗虛假信息的技能。武裝部隊所招募的美國人在與虛假信息競爭方面的訓練和準備都嚴重不足。雖然少數美國學校教授媒體素養，但大多數青年和成年人缺乏批判性分析他們所消費的信息的技能。如果這一缺陷不被解決，軍人將仍然容易受到認知缺陷的影響，而意識形態的分裂將破壞部隊的復原力。雖然國防部已經制定了培訓軍人打擊對手影響的舉措，但結合公共部門的最佳做法和國防部的資源，可以產生一個更全面的計劃，包括一個年度在線培訓課程和一個面對面的課程，以武裝國防部人員和家庭對抗虛假信息。

2018-19年，國防部聯合參謀部開發并推出了聯合知識在線（JKO）J3ST-US1396影響意識的計算機課程。這門90分鐘的課程教育參與者了解對手和競爭者影響美國和國防部人員的舉措，討論信息環境中的近期挑戰，并簡要介紹了反影響的工具。該課程不是強制性的，也沒有得到很好的宣傳，而且隨著信息環境的發展，其靜態內容也變得陳舊。盡管該課程的主要目標是提高對在線影響活動的認識，但它是預制的、不靈活的，而且對關鍵的媒體素養技能的關注也不夠。學員無法提出問題，也無法練習在最常使用的個人設備上培養健康的在線信息消費習慣所需的動態技能：手機、平板電腦和筆記本電腦。此外，該課程沒有對學員進行評估，也沒有收集績效數據來指導課程的完善。這些不足嚴重阻礙了該課程武裝國防部人員應對虛假信息的能力。吸收公共部門的最佳做法可以緩解這些不足。

國防部將大大受益于與公共部門的媒體素養領導者合作，開發一個充滿活力的當面培訓項目。諸如國際研究交流委員會（IREX）的 "學會辨別 "和斯坦福歷史教育集團的 "公民在線推理 "等項目，在應對不斷變化的信息環境的挑戰方面取得了長足的進步，并提供了許多軍人所需的核心媒體素養技能。這些私營部門的項目提供了JKO所缺乏的實踐性、真實世界的應用，如測試在線搜索、評估和驗證信息的能力，以及在訪問個人設備時利用健康的媒體素養習慣做出明智決定的實際練習。它們還迫使學生分析消費習慣，并對點擊、分享、閱讀、喜歡或與在線內容互動的決定擁有所有權。學生在離開課程時，對他們的行為如何塑造他們的朋友、社區和國家的信息環境有了更好的理解。這些課程被設計為由輔導員通過容易獲得的、專業指導的現場或在線課程來教授。這些課程的主要缺陷是它們沒有專門針對威脅軍人的對手和競爭者的虛假信息工作，盡管它們可以通過與國防部合作來滿足這些要求。

私營部門的最佳做法和國防部的資源可以結合起來，制定一個全面的媒體素養培訓計劃，包括一個年度在線課程和一個小型面授班，這將使國防部人員和家屬受益。聯合參謀部J-7及其JKO培訓人員和平臺最適合在整個部隊開發和實施基于計算機的媒體素養培訓課程。與年度網絡安全培訓一樣，所有人員--包括文職人員--都應被要求完成年度培訓，該培訓應建立參與者的媒體流利程度的基線，并跟蹤不同人口統計學的變化。參與者的表現數據可以為課程的完善提供信息，而且，與指揮部氣候調查類似，該課程可以匯總有關趨勢，在必要時提請各軍種首長或更高一級領導注意。該課程應測試軍人展示媒體素養技能的能力，如區分事實和意見，核實來源，識別改變的視覺信息，識別冒牌的社交媒體賬戶，識別有針對性的分裂材料，并灌輸在網上分享或與信息互動的責任感。

除了基于計算機的培訓，服務部門還應該在公司層面實施有重點的當面媒體素養培訓。培訓應在小型教室或市政廳舉行，由國防部公共事務或通信戰略和業務部門的主持人主持，他們都接受過公共部門主要從業人員的培訓。培訓應解決年度計算機課程中標明的問題領域，并促進實際應用練習，測試學生使用個人設備識別和反擊虛假信息的能力。實際應用練習將仿照公共部門的主要課程，但將重點關注國防部的情況。面授課程還將為軍人提供機會，討論正在進行的對抗性網絡攻擊、媒體影響、軍事行動、合作伙伴和盟友面臨的挑戰，以及外國對國內事件的干涉。

此外，家庭部署前簡報應納入媒體素養培訓，以提高軍人部署前的意識。雖然國防部不能強制要求家庭成員參加在線媒體素養培訓，但許多人對虛假信息的威脅感到擔憂，并歡迎有機會了解和保護自己免受這些威脅。

國防部授權的、標準化的、多方面的媒體素養計劃，結合公共部門的最佳實踐和國防部的優勢，可以產生一個全面的基于計算機的課程和面對面的課程，為軍人和家屬提供成功對抗對手虛假信息威脅所需的技能。

結論

技術加速的步伐和最近政治中固有的分裂沒有顯示出減弱的跡象。因此，世界將繼續面臨網絡空間中虛假信息的泛濫，而像深度偽造視頻這樣的復雜技術又使之得到加強。這些進步使得確定歸屬或駁斥虛假信息變得困難，并對構成日益多樣化的民主機構造成嚴重威脅。

雖然決策者考慮了各種解決方案，但都不可能像徹底的媒體素養教育那樣產生持久的影響。2017年，前 "參謀長聯席會議主席，小約瑟夫-鄧福德將軍. 2017年，前 "參謀長聯席會議主席小約瑟夫-鄧福德將軍......指定信息為第七項聯合作戰職能。"部隊要想成為有效的戰士，他們必須掌握必要的技能，以駕馭欺騙性的環境，并認識到他們何時以及如何被在線操縱。羅伯特-切斯尼（Robert Chesney）和丹妮爾-西特倫（Danielle Citron）在 "深度虛假和新的虛假信息戰爭 "中認為，"民主國家將不得不接受一個令人不舒服的事實：為了在威脅中生存......他們將不得不學習如何與謊言共存。"如果民主社會要有效運作，每個人都必須學習在復雜的數字環境中生存和發展。

作者

梅根-菲茨帕特里克博士是加拿大國防研究與發展中心（DRDC）作戰研究與分析中心（CORA）的戰略分析員，是一位廣泛發表的關于創傷和復原力的作者。她目前的工作是研究軍隊如何駕馭日益重要的信息環境。自加入DRDC以來，她的研究得到了認可，包括CORA國防分析杰出成就獎。

里圖-吉爾博士擁有卡爾頓大學的社會心理學博士學位，目前是DRDC的一個部門主管。她的研究是研究在線影響活動，特別是互聯網和社交媒體如何影響信息環境，包括對在線受眾的分析，以及對手采用的欺騙技術，如虛假信息，如何影響受眾。她一直是國際防務研究合作的一部分，并且是北約人因和醫學研究任務組 "有效溝通和網絡外交的數字和社會媒體評估 "的共同負責人。

美國海軍陸戰隊的詹妮弗-F-賈爾斯少校目前是一名通信戰略和行動官員，是為指揮官在太平洋戰區的戰略和文化接觸計劃提供建議的外國地區官員，也是海軍陸戰隊空地特遣部隊人員培訓項目的教官。她撰寫了《瓦解虛假信息》。最近，她在國防信息學校的 "DINFOS現場 "發表了關于媒體素養和對手虛假信息的演講。

《軍事中的人工智能和自主:北約成員國戰略和部署概述》報告以及相關文件《附錄A -國家概況》提供了人工智能和自主技術在北約盟國軍事中的作用的高層視圖。這是第一個專門針對北約國家軍事人工智能的學術研究。

該報告概述了每個北約國家在軍事人工智能方面的觀點和雄心，并概述了它們目前對人工智能技術的使用。在附錄A中，報告探討了每個國家在軍事和國防背景下與人工智能的接觸程度，審查了國家人工智能戰略和當前人工智能技術使用的公開來源。

本研究的策略含義如下:

鼓勵負責任的人工智能規范:作為一個基于共識的聯盟，北約在促進安全和軍事人工智能討論方面處于獨特地位，并有機會協調成員國之間的規范建設活動。

人工智能的采用:北約是一個有價值的機制，通過該機制，可以按需向成員國提供能力建設指導和更廣泛的援助。

協作增強抵御能力:加強聯盟合作可能使各國能夠利用能力建設努力，更好地應對與人工智能技術相關的安全挑戰。

維持集體防御:人工智能技術的能力差距不斷擴大，可能導致一些成員國在應對更快的沖突環境方面裝備相對不足，在這種環境中，對手越來越多地利用人工智能和自主系統。

關注未來的互操作性: 豎井式創新為聯盟提出了未來的互操作性挑戰，例如在跨國運營中共享數據和AI應用。

美國海軍和國防部（DOD）正在優先考慮在各戰爭領域迅速采用人工智能（AI），以保持對美國有利的技術優勢。機器學習（ML）是最近人工智能發展的基礎，它存在著一個持續的、沒有得到充分解決的關鍵缺陷：對抗性樣本。自2013年發現以來，在深度神經網絡（DNN）分類器中出現了許多新形式的對抗性樣本攻擊，并提出了許多狹義和特殊的防御措施。這些防御措施都沒有經受住反測試。一些研究人員提出，這種易受攻擊性可能是不可避免的。到目前為止，還沒有發現有效的、可計算的、通用的方法，可以加固DNN，使其免受這種和相關的泛化問題的影響。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以通過將模型分類空間數據密集區之間的數據點稀疏的潛在空間，作為障礙隔離來改進。我們研究了兩種不同的方法來實現這種對基于對抗性樣本的攻擊防御，測試這些防御對最有效的攻擊，并將結果與現有的技術狀態的防御進行比較。

第一章 引言

人工智能（AI）已被提出來作為推進國防部能力的一個關鍵推動因素。人工智能國家安全委員會在其最終報告中寫道："如果我們的武裝部隊不加速采用人工智能，他們的軍事技術競爭優勢可能會在未來十年內喪失"，建議 "美國現在必須采取行動，將人工智能系統投入使用，并在人工智能創新方面投入大量資源，以保護其安全，促進其繁榮，并保障民主的未來" [1]。鑒于人工智能或更具體地說，深度神經網絡（DNN）中的機器學習（ML）最近在科學和工業領域取得了廣泛的突破，這種關注無疑是恰當的。然而，在國防應用中利用ML和其他現代 "深度學習 "方法并非沒有其固有的附加風險。

最近的人工智能主張已經近乎夸大其詞；當然，在與軍事和文職領導層的高層溝通中，也發生了一些夸大其詞的情況。作為這種夸張的例子，參考一下《2019年美國總統經濟報告》是如何向美國領導人介紹機器視覺方面的人工智能狀況的。在第343頁題為 "2010-17年人工智能和人類的圖像分類錯誤率 "的圖表中，它顯示了 "人類分類 "錯誤率與機器分類錯誤率將在2015年超過人類圖像分類能力。對這一說法仔細考慮并對參考研究甚至是當前最先進研究進行檢查，顯示這一特殊的發展仍然是一個遙遠的、尚未達到的里程碑。

1.1 深度學習的突破

即使ML仍然存在挑戰，近年來，機器學習在科學、工業和商業領域的成功應用也在急劇增加。深度神經網絡已經在自然語言處理、天文學、癌癥診斷、蛋白質折疊、語音識別和機器視覺等不同領域取得了巨大的進步[2]-[8]。因此，這類系統的潛在軍事應用同樣比比皆是：分析頻譜上下的聲學和電磁傳感器數據、機器視覺、尋找-修復-跟蹤和瞄準對手的飛機、地下、水面和陸地戰斗人員、人類語言處理、語音識別、自主空中/地面/地下/陸地車輛、信息戰、情報、監視和偵察（ISR）整合、機器人技術、網絡防御、網絡攻擊、戰術決策輔助，等等。

1.2 深度學習的脆弱性

盡管這項技術帶來了巨大進步，但目前的ML分類方法創建的模型在其核心上是有缺陷的，因為它們非常容易受到對抗性樣本攻擊和相關欺騙技術的影響[9]。廣義上講，文獻中定義的這類攻擊有三類：探索性攻擊、逃避性攻擊和中毒性攻擊。在本報告中，我們主要關注防御我們認為最關鍵的需求，即逃避攻擊。為了提供背景，我們簡要地概述了這三種攻擊。探索性攻擊，對手并不試圖實現錯誤分類，而是試圖通過精心設計輸入來獲得模型的知識，這些輸入的結果將提供關于模型內部狀態的信息，其目的是減少模型的不確定性，以支持未來的攻擊。中毒攻擊試圖在訓練期間修改模型，以偷偷地完成模型的一些未被發現的行為變化。最后，在逃避攻擊中，攻擊者不知不覺地修改了人工制定或模型的輸入，以產生分類的變化，從良性的或最初設定的類別到一些其他的、欺騙性的不真實的類別[10]。這最后一類是我們防御的重點，從這一點出發，我們把這些簡單地稱為對抗性樣本攻擊[11]。

自從2013年最初發現DNN分類器中的對抗性攻擊（逃避）以來，已經出現了許多種這樣的攻擊，并且至少提出了同樣多的狹義的特定防御措施作為回應。不幸的是，到目前為止，所提出的防御措施沒有一個能經受住反測試和適應性攻擊[12]。一些研究人員提出，這種易感性可能是空間中問題表述的一個不可避免的特征[13]。目前，還沒有發現一種有效的、計算上可接受的、通用的方法，可以支撐DNN對抗類似的相關的泛化問題[12], [14]。

1.3 國防部（DoD）的影響

在國防部的范圍內，大家都承認欺騙在戰爭中起著核心作用。因此，戰爭系統必須被設計成對欺騙有高度的適應性[15]。馬基雅弗利在“Prince”中寫道："......雖然在任何行動中使用欺騙都是可憎的，但在發動戰爭時，它是值得稱贊的，并能帶來名聲：用欺騙征服敵人與用武力征服敵人一樣受到稱贊。" 對孫子來說，這甚至是更重要的因素，"所有的戰爭都是基于欺騙"。在國防應用中，至關重要的是，不僅系統在戰斗開始時就如設計之處那樣工作，而且它們應該具備有彈性對狡猾的、有同樣資源和動機的對手的潛在計劃。

誠然，ML在民用和科學方面已經取得了巨大的成功。盡管民用工業技術領域與軍事技術需求有很大的內在交集，但應該注意到，后者并不是前者的完美子集。也就是說，戰爭的現實要求其技術必須為虛假信息和故意欺騙的行動、展示和通信做好準備。這兩個領域之間的這些不同假設意味著，在一個領域已經準備好的東西，在另一個領域可能還沒有準備好。在整個國防部，納入這些技術的系統正在被考慮、開發，在某些情況下已經被采用，目的是增強或取代我們一些最關鍵的國家安全能力。在軍事應用中，特別是武器系統和殺傷鏈內的系統，必須消除或至少減少對抗樣本，并對其進行補償，使故障呈現最小的風險。其余的風險必須被明確指出、發現并被作戰人員充分理解。不仔細和充分地解決這個問題是不可想象的，否則我們就有可能采用脆弱性技術，將災難性的漏洞引入我們關鍵戰爭系統。

1.4 增強防御措施

在防御基于機器學習技術的系統不受欺騙的潛在戰略背景下，我們介紹了一種防御措施。我們的前提是，ML模型對所有對抗性樣本的魯棒性與抵抗力，可以在模型分類器的分類空間數據密集區之間的數據點稀疏潛在空間中插入一個 "填充 "或 "屏障 "的方法來提高[13], [16]。我們相信，通過統計學插值或采用變分自動編碼器（VAE）[17]或生成對抗網絡（GAN）[18]來插值和投射到這個空間的模型可以創建人工填充類樣本來增加數據集，所產生的模型將能夠成功地區分合法數據點和對抗性樣本，同時保持與最先進分類方法相稱的準確性。

摘要

可解釋的人工智能（XAI）提供了克服這一問題的手段，它基于有關深度學習（DL）算法結果的額外補充信息。雖然完全透明對于復雜的DL算法來說仍然是不可行的，但解釋有助于用戶在關鍵情況下對AI信息產品進行判斷。應該指出的是，XAI是透明度、因果關系、可信度、信心、公平、信心和隱私等方面的總稱。因此，基本的方法論是多方面的。一種已經流行的方法是局部可解釋模型-預知解釋（LIME）方法，因為它可以很好地應用于各種應用中的不同模型。在本文中，LIME算法是在戰略運營的決策建議背景下進行研究的。在簡單介紹了其概念后，介紹了文獻中的應用。然后，一個戰略博弈的場景被認為是軍事戰爭的替代環境。一個基于DL的國際象棋人工智能被做成 "可解釋的"，以評估信息對人類決定者的價值。得出了與戰略混合行動有關的結論，這反映了所提出的方法的局限性。

引言

根據設想，未來戰略戰爭的決策將在很大程度上受到基于人工智能（AI）方法的信息產品的影響。特別是混合作戰，是在一個高維和變異的環境中進行的，在這種環境中，對潛在的威脅和機會的評估是人類操作者難以掌握的，戰略規劃必須納入異質的、多功能的和高容量的數據源。因此，基于人工智能方法的算法產生的分類、預測和建議在這種復雜的場景中變得越來越重要。在過去的幾年里，人工智能的方法已經獲得了巨大的發展，有大量的創新和令人尊敬的成果，可以從大型數據集中獲得更高層次的信息。然而，深度學習（DL）方法的一個主要缺點是其固有的黑箱屬性，即由于計算模型的復雜性，其結果是不透明的。例如，后者可能有數百個層和數百萬個參數，這些參數是在訓練階段通過算法發現和優化的。因此，即使結果是準確的，用戶也沒有機會理解它或掌握輸入數據的因果部分。這反過來又會影響到用戶對輔助設備的信任，在兩個方向上都是如此。這個問題在某些民事應用中起著次要的作用，例如語音識別，它經常被應用于與設備的互動，因為除了體面的失望之外沒有潛在的風險。對于其他非常具體的任務，如手寫字符識別，DL算法的性能超出了人類的平均水平，這意味著失敗的可能性很小，因此關于因果關系的問題可能成為附屬品。然而，在許多軍事應用中，當涉及到與人工智能的互動時，人類的信任是一個關鍵問題，因為錯誤的決定可能會產生嚴重的后果，而用戶始終要負責任。這實際上是兩方面的。一方面，操作者往往需要了解人工智能產品的背景，特別是如果這些產品與他或她自己的本能相悖。另一方面，不可理解的技術會對算法信息產品產生偏見，因為很難確定在哪些條件下它會失敗。因此，適當的信任程度可能很難計算。

可解釋的人工智能（XAI）是向黑盒人工智能模型的用戶提供 "透明度"、"可解釋性 "或 "可解釋性 "的方法的集合。這些術語幾乎沒有一個共同的定義，但許多出版物提到了：

• 透明度是指人類跟蹤和理解模型創建過程的可能理解程度。這就是從數據中提取信息，轉化為推理參數的表現形式。DL前饋網絡由于其基于大數據集的迭代學習過程和錯誤向各層的遞歸傳播而缺乏這一特性。
• 可解釋性是指對模型本身的理解程度，即從輸入數據到預測結果的信息流可以被理解。由于涉及的參數數量和層的層次結構，這對標準網絡來說是不可行的。
• 可解釋性是指對特定預測結果進行解釋的可能性程度。也就是說，用戶可以看到與輸入數據的一致性，在某種程度上可以看到是否存在因果關系。

XAI不能完全 "解釋 "DL模型，然而，它為工程師或操作員提供了更好地理解特定AI產品背后的因果關系的手段。而且很多時候，這可以幫助看到，從合理的因果關系鏈暗示算法決策或預測的意義上來說，該模型是否是合理的（或不是）。因此，XAI可以成為人工智能模型工程的一個重要工具，用于安全方面的驗證，甚至用于認證過程，以及為操作員提供額外的信息，以支持明智的決策。

雖然關于XAI的大多數文獻都集中在圖像識別的方法上，但這些結果很難轉化為基于特定挑戰性競爭形勢的戰術和戰略決策領域。在本文中，我們研究了人工智能模型在棋盤評估中的可解釋性。對更復雜的軍事戰略模擬的一些影響進行了討論。

本文的結構如下。在下一節中，簡要介紹了選定的XAI方法。然后，這些方法之一（LIME）被應用于棋盤評估問題，以證明在支持信息方面的解釋的質量。在最后一節，得出了結論，并討論了對更復雜的戰爭博弈和模擬的概括。

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。

低速、慢速和小型 (LSS) 飛行平臺的普及給國防和安全機構帶來了新的快速增長的威脅。因此，必須設計防御系統以應對此類威脅。現代作戰準備基于在高保真模擬器上進行的適當人員培訓。本報告的目的是考慮到各種商用 LSS 飛行器，并從不同的角度定義 LSS 模型，以便模型可用于LSS 系統相關的分析和設計方面，及用于抵制LSS系統（包括探測和中和）、作戰訓練。在北約成員國之間提升 LSS 能力并將 LSS 擴展到現有分類的能力被認為是有用和有益的。

【報告概要】

在安全受到威脅的背景下考慮小型無人機系統 (sUAS)（通常稱為無人機）時，從物理和動態的角度進行建模和仿真遇到了一些獨特的挑戰和機遇。

無人機的參數化定義包括以下幾類:

• 類型學，指的是無人機可以飛行的模式;
• 用于制造無人機的材料;
• 飛行性能;
• 螺旋槳種類;
• 分類;
• 導航系統;
• 遠程控制器特性(如果有);
• 有效載荷，考慮自身傳感器和可能的危險；
• 通信系統。

描述無人機飛行動力學的分析模型在數學上應該是合理的，因為任務能力在很大程度上取決于車輛配置和行為。

考慮到剛體在空間中的運動動力學需要一個固定在剛體本身的參考系來進行合適的力學描述，并做出一些假設（例如，剛體模型、靜止大氣和無擾動、對稱機身和作用力在重心處），可以為 sUAV 的飛行動力學開發牛頓-歐拉方程。

在檢測 sUAS 時，必須考慮幾個現象，例如可見波范圍內外的反射、射頻、聲學以及相關技術，如被動和主動成像和檢測。

由于需要多個傳感器檢測 sUAS，因此有必要考慮識別的參數以便針對不同類型的檢測器對特征進行建模。此外，對多個傳感器的依賴還需要在信息融合和集成學習方面取得進步，以確保從完整的態勢感知中獲得可操作的情報。

無人機可探測性專家會議表明了對雷達特征以及不同無人機、雷達和場景的聲學特征進行建模的可能性，以補充實驗數據并幫助開發跟蹤、分類和態勢感知算法。此外，雷達場景模擬的適用性及其在目標建模和特征提取中的潛在用途已得到證實。

然而，由于市場上無人機的復雜性和可變性以及它們的不斷增強，就其物理和動態特性對無人機簽名進行清晰的建模似乎并不容易。

sUAS 特性的復雜性和可變性使得很難完成定義適合在仿真系統中使用的模型的任務。這是由于無人機本身的幾個參數，以及考慮到無人機的所有機動能力和特性所需的飛行動力學方程的復雜性。

此外，sUAS 特性的復雜性和可變性不允許定義用于評估相關特征的參數模型。

圖1 無人機類別與其他類別/參數的關系（part 1）

圖2 無人機類別與其他類別/參數的關系（part 2）

圖3 參考坐標系

【報告目錄】