本博士論文詳細分析了提高網絡防御態勢感知所需的決策要素，特別強調了網絡安全運營中心（SOC）分析人員的感知和理解。提出了基于數據流網絡流取證（NF3）的兩種不同架構。第一種架構使用集合機器學習技術，第二種則是算法復雜度更高的機器學習變體（λ-NF3），可提供更強大的防御框架來抵御對抗性攻擊。這兩項建議都旨在有效地自動檢測惡意軟件并進行后續的事件管理，在接近所謂的下一代認知計算 SOC（NGC2SOC）方面取得了令人滿意的結果。為保護組織的計算機網絡而進行的事件監督和監測必須輔以可視化技術。在這種情況下，本論文基于任務導向的指標和程序，使用基于模糊邏輯的專家系統，對三維圖片進行了表述。確切地說，在實施網絡防御解決方案時，考慮到一個組織的使命、資源和任務的相關性，以做出更明智的決策，最新技術證明存在嚴重缺陷。這項研究工作最終為改進網絡防御決策提供了兩個關鍵領域：一個是用于評估解決方案參數的可靠、完整的驗證和確認框架，另一個是根據網絡殺傷鏈和 MITRE ATT & CK 標準開發的合成數據集，該數據集可統一參考網絡攻擊的各個階段。

圖1所示。研究活動的周界及其演變順時針方向。

論文目標

本博士論文的研究目標如下： 1.了解和分析網絡防御態勢感知及其研究挑戰； 2.開展研究活動，將計算和數據處理與網絡決策系統的操作方面（業務需求）聯系起來； 3.找出不足之處，闡明未來的研究方向；

上述目標促成了以下研究任務：

• 通過對文獻和研究進展進行深入分析，了解態勢感知的基礎，包括其在網絡空間中的應用；
• 研究針對網絡空間安全的國際倡議；
• 研究和分析人的因素和人的系統整合（HSI）概念；
• 研究網絡防御可視化工具；
• 制定衡量標準，并將模糊邏輯應用于任務規劃和執行的近似推理機制；
• 開展機器學習（ML）算法研究；
• 研究機器學習（ML）算法的適用性，將支持識別 SOC 中網絡威脅的流程自動化；
• 研究如何通過建模和模擬創建合成數據集；
• 設計用于驗證和核實 CySA 及其相應定義的全面技術，以指導實驗；
• 研究智能網絡防御代理，將其作為未來研究的一個突出領域；

隨著人工智能的發展，很多人開始擔心深度偽造圖像和視頻的潛在危險，例如傳播有影響力人物的虛假視頻。針對這一問題，人們提出了多種解決方案，其中最有效的是用于人臉檢測的卷積神經網絡，以區分真實圖像和生成式對抗網絡生成的深度偽造圖像。目前最流行的模型之一是 VGGFace，本報告將對其進行進一步分析。該項目探討了不同的超參數如何影響現有卷積神經網絡的有效性以及模型的魯棒性。對準確性影響最大的超參數是網絡每一步的卷積層數量。結果表明，雖然深度假貨檢測模型在測試集上表現出很高的準確性，但在魯棒性方面卻乏善可陳。模型對測試圖像的分辨率有明顯的敏感性。這是一個可以通過調整大小來解決的問題，但本報告顯示了一個更令人擔憂的問題，即在不同的數據集上進行測試時，模型的準確率降低了 47 個百分點，而該數據集上的假圖像是用不同的生成式對抗網絡生成的。該項目的主要啟示是，目前的深度防偽檢測模型必須在泛化方面下功夫，才能有效地對圖像進行分類。

圖 1.1.1： 頭像（第 1 行）、換臉（第 2 行）和唇語同步（第 3 行）示例。圖片來自 Deepfake 檢測： 當前挑戰與下一步行動[14］

難點

機器學習模型很難檢測到某些深度偽造圖像，而對于包含大量特征作為預測基礎的圖像，很難確定哪些特征真正有助于提高預測準確率。John 等人 [12] 將特征分為三類： 從未對預測準確性做出貢獻的無關特征、有時會對預測準確性做出貢獻的弱相關特征以及強相關特征，這意味著無法在不損失準確性的情況下刪除該特征。有幾種不同的方法可以減少數據中無關特征的數量，根據源數據的不同，效率也不同。一些比較常見的通用方法包括：作為啟發式搜索的特征選擇、特征選擇的過濾器方法和特征選擇的包裝方法[3]。

現代深度防偽檢測技術已經變得相當準確，許多技術的準確率達到 90% 或更高。但仍有一些情況下，最先進的 CNN 無法對圖像進行正確分類。隨著深度偽造技術的不斷發展，了解檢測模型的優缺點對于有效打擊虛假信息的傳播至關重要。因此，我們提出了一個問題： 是什么讓現代卷積神經網絡如此有效？

目的

本文旨在利用卷積神經網絡（CNN）研究深度偽造圖像檢測模型的有效性和魯棒性。隨著深度偽造技術的激增，人們越來越需要可靠、準確的方法來檢測被篡改的圖像和視頻。本項目旨在評估基于 CNN 的深度偽造檢測模型的性能，比較其在修改模型時的準確性以及與各種類型的深度偽造圖像的對比。

具體來說，本項目將研究以下研究問題：

• 基于 CNN 的模型在檢測深度偽造圖像時表現如何，哪些因素對其準確性影響最大？
• 當前基于 CNN 的深度偽造檢測模型有哪些局限性，它們對不同類型圖像的魯棒性如何？

為了解決這些研究問題，本項目將回顧和分析有關深度偽造檢測和基于 CNN 的模型的現有文獻，并使用深度偽造圖像數據集進行實驗。該項目的目標是為不斷增長的深度偽造檢測知識庫做出貢獻，并深入了解當前檢測模型的優勢和局限性。

利益、倫理和可持續發展

任何希望利用 CNN 進行深度偽造圖像或視頻檢測的人都將從本學位項目中受益。通過偽造警察施暴的視頻、通過私下討論偽造法官腐敗的視頻或使用種族主義語言偽造邊防警衛的視頻[10]，深度偽造可能會導致人們對機構的信任度下降。這些機構可以從該項目中獲益，學習如何改進自己的檢測模型，或者在實施深度偽造檢測模型時要格外注意哪些類型的源數據。安德魯-雷還指出了政治深度偽造的潛在問題，即深度偽造視頻可能被用于影響選舉[16]。因此，所有類型的選舉及其參與者都能從中受益。

考慮到本項目探討的是如何改進深度偽造檢測模型，因此并不涉及很多倫理難題。不過，整個深度偽造檢測可能會出現一些倫理問題。一項薈萃分析表明，新聞媒體中存在政治偏見[6]。雖然偏向一種意識形態的偏見通常會被偏向另一種意識形態的偏見所抵消，但仍然存在個別消息來源的偏見問題。偏見很少會影響到已經明顯處于政治光譜某一邊的選民，但中間派傾向于投票反對他們所聽到的負面新聞[2]。不同的媒體可以使用深度偽造檢測模型來揭穿損害其偏好的政治觀點或候選人的視頻，同時避免揭穿其他候選人的欺詐性媒體，甚至避免傳播深度偽造視頻。

要正確利用深度偽造檢測模型的所有潛在優勢，就必須使用其中一種可用模型對所有媒體文章進行自動測試。然而，這樣做會帶來一些可持續性問題，因為每秒鐘大約有 3,400,000 封郵件被發送[21]，740,000 條 WhatsApp 消息[7]，55,000 條 facebook 帖子[20]和 6,000 條微博[9]。在這樣的容量下運行模型時，這些媒體帖子的數量在計算限制、資源分配和能源消耗方面顯然是不可持續的。

本論文旨在利用深度學習技術提高從二維目標圖像中估計目標姿態的能力。為此，我們采用了一種名為高分辨率網絡（High-Resolution Net）的尖端卷積神經網絡來訓練關鍵點檢測模型并評估其性能。實驗使用了兩個不同的數據集，包括 600,000 張合成圖像和 77,077 張高能激光束控制研究試驗臺（HBCRT）圖像。這些圖像來自六種不同的無人駕駛飛行器，用于訓練和評估目的，高分辨率網在 80% 的圖像上進行訓練，在其余 20% 的圖像上進行測試。運行高分辨率網絡時使用了 MMPose 框架，這是一個 Python 庫，其中包含多種卷積神經網絡選項。研究結果表明，High-Resolution Net 在姿勢估計方面表現良好，但由于目標形狀的對稱性，在左右反轉方面仍存在明顯差距。這項研究為今后利用高分辨率網絡進行目標姿態估計研究奠定了基礎。進一步的研究將集中式提高圖書館中左右分辨的準確性，以增強這些成果。

本論文分為五章。第一章是引言，介紹了本課題的概況及其相關性，以及如何進行實驗。第二章是文獻綜述，通過相關的學術和行業資料更詳細地介紹了這一研究領域。第三章是問題的提出和方法，介紹了將要解決的問題和解決問題的方法。第四章是模擬結果和深度學習性能評估，對結果進行評估，看是否取得了有意義的進展。第五章是結論，從更廣闊的視角看待結果，并討論未來工作的可能性。

本文提出了一個海軍作戰管理系統（CMS）架構，考慮到電子戰（EW）與人工智能（AI），以應對現代高超音速和低觀測能力的威脅，其中反應時間可能很短，需要自動化。它使用一個反制措施案例研究作為數據要求，拍賣傳感器任務，人工智能過程，以及認知復合感應的數據融合。該文件還強調了已經公布的關鍵認知電子戰能力，以證明該架構的合理性。該架構的方向是用高反應時間的自動化人工智能驅動的認知DM來取代人類決策者（DM）。

引言

當把人工智能（AI）應用于電子戰（EW）時，它不僅要幫助決策者（DM）進行態勢感知（SA），還要滿足點、區域和區域防御以及反目標活動的需要。電磁波譜是密集的，有許多通信和雷達發射器。因此，挑戰在于如何將人工智能應用于能夠滿足管理部門需求的EW系統。因此，它必須能夠整理出感興趣的信號（SoI）[1]，如部隊的信號和與指定任務無關的信號。這項工作的基礎是 "常規戰爭 "中的反導彈反應，以便與傳統的交戰進行更直接的比較。影響反艦導彈（ASM）成功的一些主要因素是雷達橫截面（RCS）、紅外橫截面（IRCS）、視覺和紫外線（UV）特征。因此，目標艦的特征是決定被動軟殺傷[2]反措施（也叫伎倆）性能的一個基本因素。然而，反坦克導彈也可以使用主動雷達尋的方式進行瞄準和跟蹤。因此，射頻（RF）和微波（MW）的截面特征是重要的，同時還有光輻射量子（或光子）、方位角和機動中的方位率，以及它們的戰術影響。因此，現代操作環境在處理電磁波譜方面存在挑戰，人工智能的自動化和自主性是解決這一挑戰的理想選擇。

A. 動機、方法和限制

本文描述了一個架構，其中包括用糠和干擾器進行軟殺傷；用導彈、火炮和火控系統進行硬殺傷；以及一個跟蹤目標并協調軟殺傷和硬殺傷反應的指揮和控制系統。本文僅限于假設反坦克導彈是使用射頻主動雷達尋的目標和跟蹤的海上滑行。因此，這項工作的中心是簽名管理、大型目標船的規避動作、船上被動型誘餌系統（如金屬箔片和反射器）的操作性能，涉及反坦克導彈的跟蹤方案和交戰環境，包括風速和風向。擊敗導彈威脅的一個基本因素是反應時間；隨著高超音速的出現，時間因素成為反應殺傷鏈的決定性因素。潛在導彈平臺的識別標準是最基本的；它們將允許更精確的SA，迅速讓DM消除發射平臺。鑒于反導鏈反應的時間很短，人的頭腦無法計算巨大的信息量，并在短時間內決定反應的類型，要么是硬殺傷，要么是軟殺傷，要么是兩者兼而有之；那么人工智能就成為反導系統中的基礎[3] [4]。因此，人類的DM理論不能用于遙遠的未來，因為它要求對形勢的分析速度、識別能力、對威脅的立即反應，以及在人類思維的指揮鏈中進行計算和決定，因此不能提供所需的反應時間。本文的最后部分介紹了幫助平臺保護速度的架構，朝著定義CMS中的設備連接方向發展，同時還介紹了一些已經發表的關鍵技術。

B. 論文的結構

第1節是介紹、動機、方法和論文結構。第2節提供了一個常規條令性例子戰術和反擊方法，用于在架構中需要支持的硬殺和軟殺。同時，在第2節中，還介紹了軟殺傷反擊方法的主動、被動和綜合方法。此外，第3節是一個使用飛毛腿和機動性的交戰例子，展示了所需的關鍵數據。第4節介紹了所提出的AI/EW技術的架構。最后，第5節是結論。

AI/EW技術的架構

人工智能應用于電子戰時，不僅要保證DM（決策者）的SA（態勢感知），而且還必須滿足點和區防御以及反目標活動的需要。電磁波譜因無線電和雷達發射器而加劇，一個挑戰是將人工智能應用于能夠滿足DM需求的EW系統，因此它必須能夠分出感興趣的信號，例如其海軍部隊的信號。另外，哪些信號對指定的任務沒有影響。

一個陸軍師的基本 "有機 "通信和電子設備，在一個典型的70公里乘45公里的地區作戰，是超過10,700個單獨的發射器。一個支持性的空中遠征部隊（AEF）會帶來另外1400個，而一個典型的海軍航母戰斗群會帶來另外2400個發射器[20]。比如說： 在沙漠盾牌/沙漠風暴中，六個陸軍師和一個海軍陸戰隊師都占據了相同的地理和電磁波譜空間，還有許多其他聯軍和指揮控制網絡[21]。鑒于這種信息密度，認知型EW也必須與人工智能概念和認知循環階段的相關挑戰相一致。

A. EW活動和AI對應的術語

為幫助EW和AI的受眾，我們提供了一個AI和EW術語的表格，在表1中，這些術語有一些對應關系。

表1 等效AI和EW術語

B. EW核心概念

電子戰被正式定義為三個部分：

• ES（電子支持）：了解誰在使用頻譜，出于什么目的。使用寬窄帶探測和攔截過程，它定位、識別、辨認、轉錄、分析可能的意圖，并評估致命性、敵對性和忠誠度。現代形式包括多層次的情報產品，如網絡電磁活動（CEMA），從地理到人物網絡。
• EA（電子攻擊）：利用頻譜，以EW效應爭奪該頻譜對自己的優勢。
• EP（電子保護）：是為保護和抵制干擾等攻擊而采取的行動。反干擾也可能包括抵抗ES、EA和CEMA產品的措施。

C. 查找、定位、追蹤、瞄準、攻擊、評估

在圖10中，Haigh和Andrusenko[15]提出了一個EW和AI的組合架構，它跨越了殺傷鏈階段，將AI的特征和分類輸入一個融合引擎，以建立一個意圖，這個意圖是由因果關系和異常檢測階段推斷出來的。

圖10 與EW功能相關的EW和AI能力[15]。

Haigh和Andrusenko的論文與EA之前的ES的數據融合觀點一致，同時保持EP。因此，人工智能方法被應用于特定發射器的分析、特征描述和分類，作為數據融合之前的模式匹配工作。然后，這些方法被用于異常檢測和因果關系搜索，以實現意圖識別。這是一個信息漏斗，在EA/EP方面，這些方法更多的是優化適應性，而不是智能，這貫穿于整個殺傷鏈，并應用于任務管理的決策援助和與電子戰令（EOB）和網絡管理有關的人為因素。不難看出，AI態勢評估、DM和機器學習（ML）能力與所有EW功能相關。每個認知型EW系統的第一步是電子支持（ES），以了解射頻頻譜。在人工智能界被稱為情況評估，ES確定誰在使用頻譜，他們在哪里和何時使用，以及是否有可以 "利用 "的模式。AI/ML技術可以使用特征估計、發射器特征和分類、數據融合、異常檢測和意圖識別。圖11顯示了任務前準備和任務后分析與任務中需求的重疊。

圖11 任務中、任務前和任務后的重疊部分

ES對環境進行分析，并創造出驅動決策者（DM）的觀測數據。日益復雜的情況將頻譜態勢感知（SSA）定義為 "收集有關頻譜使用的不同信息并處理這些信息以產生一個融合的頻譜圖"[15]。SSA收集、組織和處理EW所需的頻譜數據。SSA必須以近實時（NRT）的方式進行，以滿足任務中的決策者的需要，SSA必須結合各種支持技術，包括傳統的和認知的。然而，一個挑戰在于相關技術的整合和展示，其中只有少數是認知的，以減少脆性和處理新的發射器。人工智能和ML能力可以在每個層面上改善SSA，這是在其他相關SSA技術背景下對這些AI/ML技術的看法。一個完整的EW系統必須有多層面的SSA。未來的SSA系統可以用深度學習模型來生成潛在的特征，用經典的ML模型來進行任務中的更新，以及用混合模型來抵消有限的數據。此外，SSA不一定要完全依賴射頻數據： 它可以與非射頻數據融合，如視頻和靜態圖像、自由空間光學、或開源、戰術或作戰情報。跨越多個異質來源的分布式數據融合必須創建一個在空間、時間和頻率上都準確的連貫的戰地頻譜共同作戰圖。異常檢測、因果推理和意圖推理使作戰圖更加完整，以了解事件的影響并支持管理部門。

D. 影響范圍

Rudd-Orthner等人[14]用圖12中的 "影響范圍 "概念[18]擴展了這一概念，并增加了一個 "保護洋蔥 "框架，以根據數據需要選擇對策。

圖12 影響范圍

他們指出，威脅武器系統有變得更加復雜的趨勢，這種復雜性的增加至少可以部分歸因于：戰術的演變、技術發展的速度和數字化的現代化，但也有一種趨勢，即隨著人類決策和反應時間的減少，威脅的作用也在擴大；隨著自主系統的效力和使用的增加，這種情況也許更加明顯。自主系統的崛起在所有領域都在發展： 陸地、空中、海上、太空和網絡。自主系統的規模各不相同，從無人值守的槍支系統到自主空中平臺。這些自主平臺運作的作用也在不斷擴大，因此在打擊它們時，可能需要在綜合防御輔助系統中匹配復雜性，作為打擊復雜威脅系統的戰略。這些復雜平臺的作用和能力的增加，可能導致單一平臺的作用不大，并為其他平臺提供 "保護投射 "的要求。與此相結合，利益相關者群體也更加多樣化，科學家/工程師、機組人員和任務生產程序員之間的溝通機制也是挑戰，這樣他們都可能做出有意義的貢獻，并與他們的利益相關者群體的價值互補，正如Rudd-Orthner等人所說。

E. 拒止、降級、擾亂、欺騙、毀壞

圖12中的維恩圖顯示了數據可用性的 "影響范圍"：保護平臺/部隊、威脅或武器系統和防御限制與反措施設計考慮相疊加。Rudd-Orthner等人指出，這些不同的反措施考慮加上不同的可用數據，可能對反措施戰術設計形成影響范圍。

F. 保護洋蔥的映射

Rudd-Orthner等人在[14]和[19]中應用了多視角威脅分析圖解技術，該技術基于判別器、操作視角、系統視角以及對策設計考慮和影響范圍的維恩圖，適用于保護的洋蔥。他們在維恩圖中描述了反措施的設計考慮，將反措施的設計意圖描繪成一種規范，而不是ECM干擾器技術設施。在這種情況下，反措施設計考慮表示戰術的反意圖。論文[14]和[19]還建立了一個保護洋蔥的概念，利用反措施設計的影響因素和組織成洋蔥層的數據源，將揭示的數據分層管理。其中這些層級建議的對策方法也是與該威脅殺傷鏈階段的威脅意圖直接相反的，使得它也是一個測量的反應和保護數據模型在所揭示的數據。表2顯示的是保護洋蔥的層級（第1層是最外層）和反措施設計考慮，影響范圍與威脅系統的殺傷鏈意圖的映射。表2提供了保護洋蔥的六個層次。

表2 保護洋蔥

G. 認知電子戰系統

認知型電子戰系統的設計必須提供態勢感知、決策和學習能力。一般來說，系統要求推動了一系列關于哪些問題和它可能需要回答的問題的決定。決策可能是反復的，要么是集中的，要么是隨部隊效應范圍分布的。他們將一個問題表示為規格，并受制于AI代理的拍賣。就我們如何定義和調整優化函數而言，利用領域的物理學與參與的進展可能會減少狀態和交易空間。問題來自于像干擾這樣的設計結果所需的緊迫性和缺失的數據。因此，選擇對策和感覺的C4L參數、'while'或'if'條款都是數據要求，可能形成問題對話鏈或問題樹，在殺傷鏈的不同處置路線中需要。因此，這些對話鏈或問題樹就像專家系統的規則庫格式。因此，所需的數據就以拍賣的方式給投標的傳感器。這樣一來，邏輯路線總是有目的性的結果，而DM和傳感器的使用也是如此。另外，隨機森林[22]可以減少熵，增加信息增益。

雖然具有高度的適應性，但先進的雷達和軟件定義無線電（SDR）架構通常依賴于定制的API，單獨暴露每個參數。這種方法不適合EW系統中的近實時認知控制，因為緊密的耦合意味著人工智能不能做出全局性的決定。組成模塊必須是高度模塊化和可組合的，以消除這一障礙。通用接口允許模塊暴露其參數和依賴關系，從而實現全局優化和跨多個處理器的計算負載平衡。通常，由RESM（雷達電子支持措施）攔截的發射物是通過發射物數據庫識別的。發射者被識別出來，并在本地認可的海上圖像（LRMP）中得到體現。當通過數據庫確認為一種威脅時，它可以接受DM的詢問和拍賣：

• RECM C4L反措施規范可能需要威脅、獲取類型、速度、仰視距離和威脅的各種電子反措施（ECCMs）邏輯；
• DLS（誘餌發射系統）可能需要C4L數據并計算出發射角度和時間；
• CMS可能會要求C4L說明采取的最佳路線（避免武器系統的盲弧）。

為此，我們需要一個中間代理，提供一個模塊化的結構組件，允許不同的技術提供不同的服務，并確保信息/控制的一致流動，與John Boyd的OODA循環[23]一致，但適用于數據處理和DM。

圖13 模塊化架構

軟件架構的一個例子是ADROIT。自適應動態無線電開源智能團隊（ADROIT）：用中間代理認知控制SDR節點之間的協作。ADROIT項目正在建立一個開源的軟件定義的數據無線電，旨在由認知應用程序控制。模塊暴露了它的參數和它們的屬性（特別是讀/寫）。當一個模塊發生變化時（例如，增加一個新的參數），它只需揭示新的參數，并在一個發布-訂閱機制中公開參數（名稱、屬性），而不是為該新參數增加一個新的API函數；這也可以擴展為一個組播目的地，給后來仍需要定義的模塊。ADROIT用圖14所示的模塊實例化了中間代理。

圖14 ADROIT體系結構支持認知代理

處理不同的或變化的傳感器的一種可擴展的方式是，如果所有的設備可以減少不確定性或提供額外的數據來回答一個殺戮鏈階段的問題，就將它們定義為傳感器。因此，這些傳感器可以成為拍賣算法的參與者，以其回答問題的能力來競標。在不同的操作環境下，拍賣算法中的分數可以改變，因此，不同的傳感器選擇提供較低的可觀察性或與當前的ROE、受限的EMCON或當前的傳感器利用相一致。通過這種方式，形成了一個問答循環，完善了對情況的理解，同時在提問的基礎上做出增量決定，并使環境情況有利于他們的部隊使用保護洋蔥的一個版本。此外，同樣的拍賣優化可以與反措施一起執行，其概念是，如果一切都能影響當地的殺戮鏈決策或導致結論或問題發生在受害者身上，那么它就是一個影響者。由此可見，C4L提供了一種以標準形式指定反措施行動和傳感規格的方法；這些規格可以一起拍賣，以便在一個可適應的模型中獲得最佳效果和傳感，然后該模型將優化殺戮鏈的進展，為跟蹤的對手的殺戮鏈進展提供優勢。在圖15中，本文展示了EW系統如何在拍賣優化的基礎上與具有認知DM的作戰管理系統（CMS）集成。威脅的檢測/識別/鑒定/分類被轉移到不同的數據庫中，但這些過程和數據庫的不確定性導致了傳感器的重新任務。這些都是拍賣，根據傳感器解決情況的不確定性的能力來分配任務，并根據緊急程度來確定優先次序；這使用了從保護的角度預測威脅的殺傷鏈意圖。這些過程越可靠，立即識別和反應的概率就越高。為了進一步提高這一結果，管理部門必須考慮機器學習中的其他參數，以適應當地環境的傳感任務和對策效果的拍賣。

圖15 數據布局EWS與CMS集成

有些參數可能不為人所知，也可能沒有方法或傳感器來提供這些參數；因此，Rudd-Orthner等人[24]的專家系統的神經網絡形式作為數據庫的疊加，在這些情況下提供一個估計值。它還可以提供一個由貝葉斯網絡進一步引導的值，該網絡可以將從環境中收集的傳感器事實與來自其規則的知識結合起來，使其不容易被收集的事實所欺騙。此外，在圖16中，也是在人工智能的背景下，所提出的架構將EW系統與CMS結合起來。它通過一個反饋回路支持 "態勢感知"，根據威脅殺傷鏈的位置重新安排傳感器的任務，以快速解決識別和確認的不確定性，更新跟蹤的準確性，并為CMS和EW系統資源提供戰術清單作為選擇。

圖16 ID標準交互模型

在圖16中，DM能力因此積極主動地利用感知能力直接處置威脅，并為反制措施/部署制定了時間表。這些反措施/部署應按照RuddOrthner等人的保護理念，利用推斷出的威脅的殺傷鏈位置階段，直接對抗威脅的意圖。因此，傳感要求可以在拍賣算法中與可供選擇的策略/反措施交錯安排。同樣，在威脅分析和處置的關鍵時刻，一些所需信息可能無法在DM中獲得，但可以使用RuddOrthner論文中提出的神經符號-AI專家系統方法的代數專家系統部分進行估計。可控的可觀察數據可能來自人工智能環境中的數學或認知學習發展過程。我們可以認為這些有助于識別目標的元素是可觀察的，這些元素在DM中是可控的。

圖17 CMS和EW CM系統中的威脅數據路徑

在圖17中，本文展示了一個威脅發射器從EW系統進入CMS部分的順序。從EW系統的庫或數據庫中識別截獲的發射器；該數據庫包含物理雷達特征： PRI、頻率、PW、振幅、掃描類型、掃描周期平臺等級和威脅名稱；采集類型的特征，ECCM，如原點干擾（HOJ）Chaffs辨別，紅外，雙導射頻和紅外。如果發射物未被識別為威脅，則在本地識別的海上圖像中直接代表發行者。如果被確認為威脅，它將遵循不同的路徑，如前所述。導彈的獲取和ECCM的類型在反應鏈中具有巨大的價值。如果它有HOJ能力，最好是通過C4L中捕獲的特定計算直接干預硬殺傷和誘餌發射；該選定的C4L規格是由保護的洋蔥頭選擇的，它與頻譜中的感應計劃一起安排。該規格將誘餌定位在C4L所確定的與發射船的一定距離和特定的β值。除了在CMS上表示威脅的到達方向外，EW系統還將C4L搜索數據和傳感規范發送到多功能雷達（MFR）和火控雷達（FCR）作為即時硬殺傷系統。本文在圖18中畫出了由人工智能支持的戰斗管理系統（CMS）的架構基礎。在標準環境塊中，還有四個相互關聯的組件：

1.傳感器管理，提供設備監視器（資源管理器）的管理，傳感器信息的收集和軌道管理；在這個塊中，所有的相關數據都匯聚到機載傳感器，如雷達、聲納、ESM雷達、通信ESM、導航輔助設備和氣象數據。在這個架構中，一個傳感器的任務和它的優先權來自于它的成熟度和殺傷鏈。在這方面，關于Rudd-Orthner等人，威脅意圖的成熟度被評估為使用保護洋蔥的反意圖對策，并嵌入到Haigh和Andrusenko的殺傷鏈階段，其中的整合是通過ADROIT架構的發布和訂閱機制，這允許快速和靈活的整合和擴展。

2.在架構的第二塊，有信息管理，其中本地軌道與來自鏈接網絡的軌道相關聯，根據識別標準識別目標的追蹤，管理技術決策輔助工具和信息，共享共同的操作畫面，該畫面中的不確定性和異常情況引起了傳感器的任務。

3.第三塊代表戰斗管理，它提供了對威脅的評估計劃和武器優先權的分配--演習的計算和艦隊內與戰斗有關的信息交流。

4.最后一個區塊是資產管理，使用C4L規范和序列，允許艦艇同時協調幾個進攻和確定的目標。

圖18 AI應用于CMS結構

在DM處理環境之外，人工智能也同樣適用于智能處理環境，類似的技術疊加數據庫和ML提取，走向專家系統規則捕獲[25]。在人工智能輔助的CMS中，數據流入信息管理數據融合，使計算機系統在沒有明確編程的情況下利用歷史數據進行預測或做出一些決定。機器學習使用從IMDF（信息管理數據融合）獲得的大量結構化和半結構化的數據，這樣機器學習模型就能產生準確的結果，或根據這些數據提供預測。

盡管人們對聯邦學習和貝葉斯神經網絡進行了研究，但對貝葉斯網絡的聯邦學習的實現卻很少。在本論文中，使用公共代碼庫Flower開發了一個貝葉斯神經網絡的聯邦學習訓練環境。隨之而來的是對最先進的架構、殘差網絡和貝葉斯版本的探索。然后用獨立同分布（IID）數據集和從Dirichlet分布得到的非IID數據集測試這些架構。結果顯示，貝葉斯神經網絡的MC Dropout版本可以通過聯邦學習對CIFAR10數據集的IID分區取得最先進的結果--91%的準確性。當分區為非IID時，通過概率權重的反方差聚合的聯邦學習與它的確定性對應物一樣好，大約有83%的準確性。這表明貝葉斯神經網絡也可以進行聯邦學習并取得最先進的結果。

美國海軍的考慮

使用FL是一個在邊緣采用人工智能的機會，并減少收集大量數據集的需要。這將極大地幫助海軍在艦隊中部署和訓練AI模型的工作。例如，通過傳統的人工智能管道，為海軍創建一個人工智能模型將需要每個指揮部合作創建一個全球數據集，無論是被動聲納還是網絡流量分析、維護或人力資源。這是一項非常昂貴和耗時的任務，隨著新數據的出現，在完成時可能已經過時了。然而，FL提供了一種方法，讓每個指揮部在他們本地的、當前的數據上訓練和部署一個模型，并將他們的模型與另一個指揮部的人工智能模型匯總。由于只傳遞模型的權重而不是整個數據集，所以通信成本也是最小的。雖然FL提出了一種在邊緣部署和訓練人工智能模型的方法，但貝葉斯網絡是一種不僅能提供預測，而且能對其評估的不確定性進行估計的模型。士兵在不確定的環境中工作，知道部署的人工智能模型何時對其預測不確定，可以防止人工智能和戰士的過度自信。這一特點可以極大地幫助人工智能-士兵團隊以更高的效率水平運作。將FL的分布式和持續學習特性以及貝葉斯NN的不確定性這兩個方面結合起來，將是海軍在各種應用中的巨大優勢，如網絡流量分析、合成孔徑雷達或無人機圖像分析，或無源聲納分析。

研究目標與貢獻

為了證明這一點，開發了一個FL框架來比較貝葉斯NN和它們的確定性對應物，并在本論文中分析了它們的結果。本論文的主要貢獻是在一個已知的數據集CIFAR10[2]上對這個框架進行了基準測試，以比較結果。該數據集在FL研究中被充分研究[3]-[6]。使用的人工智能模型架構是殘差網絡（ResNet）[7]。它是一個最先進的神經網絡架構，為CIFAR10數據集設定了一個基線。這使得貝葉斯ResNets可以在集中式和FL設置中與原始的最先進結果進行比較。本論文打算回答的主要問題有以下幾個：

• 如何聚集貝葉斯NNs？
• FL是如何影響貝葉斯NN的性能的？
• FL能否提高NN的整體性能？
• 在FL中，貝葉斯NN與確定性的NN相比有什么不同？

深度強化學習（DRL）已經在單智能體學習中得到了廣泛的研究，但在多智能體領域還需要進一步發展和理解。作為最復雜的集群問題之一，競爭性學習評估了多智能體團隊合作實現某些目標的性能，同時超越了其他候選方案。這樣的動態復雜性使得即使是小眾的DRL方法也難以解決多智能體問題。在一個競爭性的框架內，我們研究了最先進的演員評論家算法和Q算法，并從性能和收斂性方面深入分析了它們的改型（如優先化、雙重網絡等）。為了討論的完整性，我們提出并評估了一個異步和優先版本的近似策略優化行為批判技術（P3O）與其他基準的對比。結果證明，在給定的環境中，基于Q的方法比演員評論家的配置更加穩健和可靠。此外，我們建議納入本地團隊通信，并將DRL與直接搜索優化相結合，以提高學習效果，特別是在具有部分觀察的挑戰性場景中。

圖3 多智能體深度強化學習系統。已實現的深度強化學習技術所使用的主要算法數據流圖。a) 具有單一團隊經驗重放緩沖區的深度Q網絡。盡管保存了異步強化學習轉換，但樣本是隨機的。目標網絡，其參數以緩慢的方式更新，給學習過程帶來了穩定性。b) 帶有優先團隊經驗重放緩沖器的決斗雙深Q網絡。根據時差誤差為每個存儲的過渡分配隨機優先級。c) 帶有分布式記憶的近似策略優化。網絡更新由團隊智能體異步進行。d) 帶有智能體分布式記憶、演員評論家網絡的優先級近似策略優化。每個智能體存儲自己的經驗，并使用它們來進行異步網絡更新。同時，根據有效的召回系數建立優先的數據集，然后用來訓練網絡。此外，該算法還與團隊共享的演員評論家網絡以及團隊共享的演員評論家網絡進行了研究。e)具有分布式記憶的異步優勢演員評論家。

本文描述了一個反蜂群場景的作戰概念（ConOps），其中防御方使用蜂群無人機來防御攻擊的蜂群無人機。作戰概念是對一個系統的元素和其環境中的實體如何互動以實現其既定目標的高級概念描述。它已被證明是設計復雜技術系統的一個有用和綜合的要素。本文提出的反蜂群場景將為以下問題提供答案：如何部署兩個無人機群，如何將場景引入仿真系統，以及如何監測和監督其進展。通過使用反蜂群模擬器并與芬蘭國防軍的軍事專家進行討論和訪談，起草了反蜂群場景初步版本的作戰概念。

高度自主和智能的機器人群在軍事領域越來越受歡迎，因為群集系統可以比單一設備更有效和高效地執行許多種任務。蜂群機器人技術是一種旨在開發多機器人系統的技術方法，它以許多具有成本效益的機器人為基礎。在這里，我們介紹了反蜂群場景的作戰概念（ConOps）的開發，在這個場景中，防御方使用無人機群來防御一個目標，以抵御攻擊性無人機群。作戰概念是對一個系統的元素和其環境中的實體如何互動以實現其既定目標的高層次概念描述。它已被證明是設計復雜技術系統的一個有用的綜合要素。反蜂群場景的ConOps將提供以下問題的答案：如何部署兩個蜂群，如何將方案引入模擬系統，以及如何監測和監督其進展。

ConOps開發中的一項關鍵任務是為正在開發的系統定義主要的性能要求。我們進行了專家訪談，在此基礎上，我們起草了機器人車輛群和反群行動的主要要求，并與早期項目中確定的要求進行了比較。在本文中，我們還將概述對機器人群的高級控制概念，包括形勢評估、協調任務進展、報警處理以及提醒其他執法單位和載人車輛注意等任務。

本文的其余部分結構如下。首先，我們回顧了一些關于反蜂群的相關文獻。第二，我們在概念層面上定義了ConOps的含義，給出了一些機器人群的ConOps的例子，并介紹了一個早期的軍事領域的自主機器人群的ConOps。第三，我們介紹了我們的訪談結果，以及為反蜂群場景開發ConOps的目標和進展。

本文考慮了一類特殊的多機器人任務分配問題，其中任務對應于定義在特定環境的不同區域的異質多機器人路由問題。我們提出了一個分層規劃器，將這個問題的復雜性分解為兩個子問題：將機器人分配到路由任務的高層問題，以及計算每個子團隊的實際路由路徑的低層問題。規劃者使用圖形神經網絡（GNN）作為啟發式方法來估計特定聯盟在特定路由任務上的子團隊表現。然后，隨著底層問題解決方案的出現，它將估計值迭代細化為實際的子團隊性能。在一個以異構多機器人區域檢查問題為基礎路由任務的測試平臺問題上，我們的經驗表明，我們的分層規劃器能夠計算出最優或接近最優（7%以內）的解決方案，比事先計算所有可能的分配計劃以獲得精確的路由時間的最優基線快16倍左右（平均而言）。此外，我們表明，與其他基線（非學習型）估計器相比，基于GNN的估計器可以在解決方案的質量和計算時間之間提供出色的權衡。

圖 1：應用于我們的測試平臺問題的擬議分層規劃框架。 GNN 首先用于估計不同子團隊檢查環境不同區域所需的時間。高級求解器使用這些估計來計算高級分配，而低級求解器使用專門的路由算法計算實際路徑。然后使用實際任務持續時間來更新高級求解器的 GNN 估計，然后可以使用改進的估計集計算新的分配。

I 引言

本文考慮了一類特殊的多機器人任務分配問題，其中任務對應于定義在特定環境的不同區域的異質多機器人路由問題。目標是最小化完成所有路由任務所需的時間。這類問題代表了一些場景，在這些場景中，將機器人的子團隊分配到各個區域將是有益的。例如，在跨越非常大的環境的搜索和救援行動中，電池的限制可能使一個機器人不能被用于一個以上的區域。另外，在軍事場景中，戰略區域可能需要在車隊通過之前同時檢查是否有對手存在。作為最后一個例子，考慮一個通信受限的巡邏場景，將子團隊分配到各個區域可以保證機器人將有足夠的組間網絡，以迅速響應對入侵者的檢測。這些類型的問題本質上顯示了一個層次結構：如果我們事先知道每個可能的機器人子團隊完成每個可能的路由任務所需的時間，我們可以首先確定子團隊對感興趣區域的最佳分配，然后只計算該分配的實際子團隊路徑。優化處理第一階段的一個直接方法是預先計算所有可能的子團隊任務分配的路徑，這將提供所有可能的路由時間作為一個副產品。不幸的是，即使不考慮分配問題的組合性，通常情況下，由子團隊分配產生的多機器人路由問題是NP-hard，只有通過計算昂貴的算法方法才能得到一個好的解決方案，例如將路由問題表述為混合整數線性程序（MILP），通常需要幾秒鐘到幾分鐘或幾小時的運行。為了減少整體規劃時間，尋找一個好的分配應該以懶惰的方式解決路由任務問題，從最有希望的子團隊分配給任務開始。然而，知道一個分配的潛在效用通常需要知道它的路由計劃，消除了懶惰方法的優勢。

我們注意到，子團隊的分配只需要知道給定分配的不同路由計劃的成本，而不是實際計劃本身。如果我們能夠估計這些成本，而不同時解決相應的路由問題，我們就可以推遲計算路由計劃，直到決定了一個暫定的分配。

基于這些觀察，我們提出了一個分層規劃器，能夠將原始問題的復雜性分解為兩個自然的子問題：將機器人分配到路由任務的高層次問題，以及只為所有可能分配給子團隊的區域中的一個選定子集計算實際路由路徑的低層次問題。由于多機器人路由問題通常是在圖形表示的環境中定義的，規劃者使用圖形神經網絡（GNN）作為啟發式方法來估計特定聯盟在特定路由任務中的子團隊性能。迭代后，計劃者將這些估計值細化為真正的子團隊性能，因為低層問題的解決方案已經可用。我們引入了一個測試平臺問題，其中有一個異構多機器人區域檢查問題作為基本的路由任務，對此我們再次考慮了基于傳統混合整數線性編程表述的解決方法。圖1顯示了擬議的規劃框架的示意圖。

在包含多達45個機器人和20個檢查區域的路由任務分配問題中，我們的經驗表明，我們的方法總是能夠計算出最優或接近最優（7%以內）的解決方案，比事先計算所有可能分配的計劃以獲得精確的路由時間的最優基線快16倍（平均）。我們還表明，與其他基線（非學習型）估計器相比，基于GNN的估計器在解決方案的質量和計算時間之間提供了一個很好的權衡。

近年來，針對工業生態系統的高級持續性威脅（APT）的復雜性急劇增加。這使得開發超越傳統解決方案的高級安全服務成為必須，輿論動力學（Opinion Dynamics）就是其中之一。這種新穎的方法提出了一個多智能體協作框架，允許跟蹤APT的整個生命周期。在本文中，我們介紹了TI&TO，這是一個攻擊者和防御者之間的雙人博弈，代表了一個現實的場景，雙方都在爭奪現代工業結構中的資源控制權。通過使用博弈論來驗證這種技術，我們證明，在大多數情況下，輿論動力學包括有效的第一項措施，以阻止和減少APT對基礎設施的影響。為了實現這一目標，攻擊者和防御者的模型都被標準化，并應用了一個公平的評分系統，后者用不同的策略和網絡配置運行了幾個模擬測試案例。

引言

世界各地的公司面對的網絡安全攻擊數量明顯增長，導致了巨大的經濟損失[2]。當涉及到關鍵的基礎設施（即核電站、電網、運輸和制造系統）時，這種情況變得更加嚴重，其工業控制系統必須在所有條件下保持工作。在這里，我們處理的是SCADA（監督控制和數據采集）系統，幾十年來一直在與外部網絡隔離的情況下工作；反過來，如今它們正越來越多地整合新技術，如物聯網（IoT）或云計算，在削減成本的同時外包各種服務。因此，需要做出更大的努力來跟上這種進步，以應對這些系統可能帶來的最新的攻擊載體和可利用的漏洞。

近年來最關鍵的問題之一是高級持續性威脅（APTs），這是一種復雜的攻擊，特別是針對目標基礎設施，由一個資源豐富的組織實施。它們的特點是利用零日漏洞（零時差攻擊），采用隱蔽技術，使威脅在受害者網絡中長期無法被發現。Stuxnet是第一個報道的這種性質的威脅[6]，但許多其他的威脅在之后被發現，通常是在攻擊完全執行后的幾個月[7]。在網絡安全方面，只是提出了一些機制來從整體上解決這個問題，超越了傳統的機制（如防火墻、入侵防御系統（IPS）、入侵檢測系統（IDS）、防病毒），這些機制只代表了在第一階段對APT的準時保護[21]。

在這些新穎的機制中，輿論動力學（Opinion Dynamics）[15]包括一個多智能體協作系統，通過分布式異常關聯，使攻擊的整個生命周期都可以被追蹤。在本文中，我們提出了一個理論但現實的方案，以證明該方法在不同類型的攻擊模式下的有效性，使用結構可控性領域[8]和博弈論[14]支持的概念。為了這個目標，我們開發了TI&TO，這是一個雙人博弈，攻擊者和防御者為控制現代工業結構中的資源而競爭。兩個玩家都有自己的動作和相關的分數，分別根據APT和基于Opinion Dynamics的檢測系統的行為。這個博弈最終在不同的模擬中運行，旨在展示算法的能力，同時也建議將該技術與其他防御方案結合起來進行最佳配置。因此，我們可以把我們的貢獻總結為：

• 正式定義TI&TO博弈，指定游戲板、每個玩家的目標和得分規則。
• 設計一個攻擊者模型，以一組階段的形式，靈活地表示APT的各個階段，以表示攻擊者的行動，這些行動受制于一個確定的分數。
• 設計一個基于使用意見動態和響應技術（即本地檢測、冗余鏈接、蜜罐）的防御者模型，以減少APT在網絡中的影響，這也意味著博弈中的相關得分。
• 進行的實驗驗證了該算法，并推薦了返回最佳結果的防御者的配置。

本文的其余部分組織如下。第2節介紹了 "輿論動力學"的概念，并強調了應用博弈論來檢測網絡攻擊的建議。在第3節中，定義了博弈，包括規則以及攻擊和防御模型。然后，進行了幾次模擬，并在第4節進行了討論。最后，在第5節中提出了結論和未來的工作。

摘要

人們不斷地推動人工智能（AI）盡可能地像人類智能一樣；然而，這是一項艱巨的任務，因為它無法學習超出其目前的理解能力。類比推理（AR）已被提議作為實現這一目標的方法之一。目前的文獻缺乏對心理學啟發的和自然語言處理產生的AR算法的技術比較，這些算法在基于單詞的多選題類比問題上具有一致的指標。評估是基于 "正確性 "和 "良好性 "指標的。對于所有的文本問題，并沒有一個通用的算法。作為視覺類比推理的貢獻，卷積神經網絡（CNN）與AR矢量空間模型Global Vectors（GloVe）在擬議的Image Recognition Through Analogical Reasoning Algorithm（IRTARA）中被整合。IRTARA結果質量是通過定義、類比推理和人為因素評估方法來衡量的。研究表明，AR有可能通過其在文本和視覺問題空間中理解超出其基礎知識概念的能力，促進更多類似人類的人工智能。

1 前言

在整個娛樂界，人們都認為機器人是人工智能（AI）的化身，幾乎可以立即識別和探測物體。然而，對于今天的人工智能來說，現實是明顯不同的。運行中的人工智能被訓練成能夠理解、識別或對幾個已知的實例采取行動；然而，像人類一樣，對人工智能可能遇到的每個場景進行訓練是不可行的，所以它有一些未知的場景，圖1-1的行數。當付諸實踐時，人工智能可以觀察到或接觸到它知道或不知道的東西（情況、物體等）。其結果是，人工智能的交互涉及圖1-1所示的四類可能的結果之一，基于實體是已知的（庫內）還是未知的（庫外），從正確分類（已知的已知）、錯誤分類（未知的已知）或各種庫外情況（已知的未知和未知的未知）（Situ, Friend, Bauer, & Bihl, 2016）。

圖1-1. 已知和未知矩陣

在圖1-1的三個類別中，至少有一個部分是已知的，然而，人們對探索如何 "學習 "未知的未知數有很大的興趣。未知數的例子是試圖識別一個機器學習（ML）算法以前沒有訓練過的物體。探索這一領域的動機包括自動化系統的不斷增長，以及無法產生能夠在已知-未知情況下評估問題的模型數量（Bihl & Talbert, 2020）。

現代娛樂業將人工智能展示為能夠幾乎立即解決未知的未知問題，正如2004年和2008年的電影《iRobot》和《Wall-E》所展示的那樣。雖然這兩部電影都發生在比現在更晚的未來，但它們給人留下的印象是人工智能比它的真實情況要自如得多。在這兩部電影中，人工智能可以識別極其廣泛的物體和情況，而觀察所需的時間似乎是最少的。這項任務本質上是復雜的，涉及多個人工智能過程，包括圖像識別、未知事物的識別和分類，以及復雜的推理邏輯。在這種情況下使用的人工智能俗稱包括許多涉及模式識別或ML的方法和領域；雖然ML是人工智能的一個子集，但俗稱的人工智能/ML可以用來包括許多能力，從分類和圖像處理到完全機器意識的計算機。

為了更好地說明人工智能在圖像識別方面的狀況，圖1-2.a所示的圖像由人類（即作者）和谷歌云的Vision AI進行評估。如圖1-2.b所示，人類會很容易地識別出天空中的許多煙花，然后，識別出煙花下面的水。對人類觀察者來說，這幅圖像顯然包含了多個物體；然而，視覺人工智能對這一結論感到掙扎。

圖1-2. 煙花圖像

Vision AI包括Vision API，可以對圖像中的各種物體/特征進行分類、識別和檢測（Google, 2021）。使用他們的工具的網絡演示，圖1-2.a所示的同一圖像被通過，并在兩種不同的情況下被評估，物體識別和圖像標簽。Vision AI只對物體進行識別，圖1-3中的綠框表示的是閃電，得分是51%（其中 "得分 "是一個從無信心，0%到高信心，100%的值（Google, 2021））。

圖1-3. 由谷歌云視覺AI分解的煙花圖像（谷歌，2021年）

然而，當試圖只給整個圖像貼上標簽而不是搜索特定的物體時，Vision AI明顯改善了其預測結果。這些結果，即排名、標簽和分數，都顯示在表1-1中。開頭用 "t-"表示的排名代表得分相同。在排名的頂部，這些標簽似乎適合于該圖像，特別是 "煙花 "以96%的分數出現在頂部。有幾個標簽激起了人們對該算法如何工作的好奇心。盡管 "地標 "和 "空間 "的得分是77%，但如果從圖像的表面價值來看，它們是不準確的。有幾個標簽似乎很難被普遍可視化，如 "午夜"、"事件 "和 "假日"。最后，有些標簽可能是準確的，也可能是不準確的，這取決于標簽的使用環境（例如，同音字，如 "光 "的亮度或重量，這兩個詞在這里都很合適），以及圖片的拍攝環境（例如，"除夕"、"排燈 "和 "中國新年"）。

表1-1. 谷歌云端視覺AI標簽預測

退一步講，這很可能是一個已知的情況；然而，除了表1-1中的 "煙花 "標簽外，其余的頂級分類（得分大于或等于90%）都在不描述圖像的類別上，例如 "水"、"光 "或 "自然"。這就是圖像分類由于其對它所知道的類/標簽的限制而提供了非常狹窄的結果。能夠準確地解釋或識別這些未知的東西，是目前文獻中非常感興趣的。解決未知數的一個建議是通過應用類比推理（AR），從而通過類比進行推理/學習。

1.1 技術動機

許多圖像分類算法是為2010-2018年的ImageNet大規模視覺識別挑戰賽（ILSVRC）創建的（Russakovsky, et al., 2015; Stanford Vision Lab, 2020）。ILSVRC主要關注三個不同的任務：圖像分類、單一物體定位和物體檢測（個別年份有一些變化）（Russakovsky, et al., 2015）。數據集包括1000個不同的類別，有超過一百萬張訓練圖像、五萬張驗證圖像和十萬至十五萬張測試圖像（Russakovsky, et al.） 2010年和2011年的獲勝者使用了 "淺層 "人工神經網絡（ANNs）；然而，從2012年開始，比賽出現了第一個使用深層ANNs的作品，在比賽的生命周期內，深層ANNs一直很受歡迎（Russakovsky, et al., 2015）。這些深度ANNs在圖像分類領域是成功的，但需要大量的時間和高性能的計算資源。這些算法，如應用于ILSVRC的ANNs，是在一定數量的熟悉的實例上訓練出來的，因此可以處理已知的已知事物。然而，當遇到意想不到的查詢時，即一個在最初發布時沒有提出的新圖像類別時，這種算法要么完全不能勝任，要么表現不佳。

此類問題正是AR在改善人工智能結果方面的巨大潛力。AR可以根據算法已經知道的信息，從一個意外的查詢中提取信息。模仿人類使用類比學習的方式，算法也可以做到這一點，而不需要額外的訓練場景，更多的計算資源，和/或不合理地延長所需的運行時間。因此，令人感興趣的是現有的不同類型的AR算法，以及它們如何已經或可以與當前最先進的圖像識別程序相結合。

現有的許多AR算法都專注于語言和視覺領域的各種任務。然而，這些算法往往局限于語言或視覺問題，在利用兩者的信息方面幾乎沒有重疊。此外，許多視覺AR算法都集中在基于幾何的問題上，例如（Polya, 1990; Sadeghi, Zitnick, & Farhadi, 2015），這并不適用于上面提出的圖像分類問題。因此，感興趣的是在圖像識別的背景下使用AR來處理涉及未知數的問題。

1.2 應用動機

圖像識別只是人工智能研究的一小部分；然而，它對日常生活的影響是最大的之一。一些例子包括用于解鎖手機的面部身份識別，圖像到文本的自動字幕生成器，自動駕駛汽車，以及其他許多例子。在這些場景中，不準確和未知的后果大體上從輕微的不便（即不得不手動解鎖手機）到可能危及生命的事件（即，自動駕駛汽車沒有檢測到行人）。隨著人工智能的日常使用的增加和后果的擴大，對能夠處理未知因素的精確人工智能的需求也在增加。

具體到自駕車場景，圖像識別算法需要識別許多不同的東西、物體和/或人，而且越來越不可能為所有可能的現實世界情況收集數據。例如，考慮到一個停車標志，在查看一個停車標志時，各種因素會改變它的表現，如眩光、照明、遮蔽、損壞、陽光角度、背景、油漆質量、外觀角度、安裝高度等等。由于不可能為每一種可能的情況收集數據，更不用說為其他物體收集數據了，所以能夠通過類比推理，認為觀察到的油漆褪色的停車標志與已知的停車標志的樣子相似，然后判斷這可能是一個停車標志，然后指揮汽車停車。

1.3 研究貢獻

自1954年Polya的工作開始，算法的AR方法首先在1964年Evan的ANALOGY程序中得到發展（Polya, 1990）。從那時起，AR的許多途徑都被探索出來了。與作者的貢獻最相關的技術領域列舉如下

表1-2，列舉了最近的前期工作（2000年及以后）以及作者在本論文（Combs, 2021）或單獨文章（Combs, Bihl, Ganapathy, & Staples, 2022）中進行的研究的實例參考。

表1-2. 以前的技術貢獻和目前的研究貢獻之間的關系圖（在 "重點 "欄中用X表示）。

1.4 研究目標

了解了技術和應用動機，以便更好地嘗試意外的查詢，本論文的目標是通過開發一個類比推理-增強的框架，在存在未知的未知因素的情況下提高圖像識別。圖像識別的發展有很多方式；然而，它們在解釋 "已知 "語料庫之外的能力方面是有限的。由于其結構圍繞著熟悉和不熟悉的場景，AR以前被用來，也將被用來從以前不熟悉的場景中產生信息。為了達到這些目標，研究和開發過程被分成了四個部分。

首先，在第二章中，為了了解AR的現狀，需要對AR的算法有一個全面的了解，包括以文本和視覺問題為中心的算法。由于這是在圖像分類問題的背景下進行的，所以這里也有一個簡短的部分專門討論圖像識別和卷積神經網絡（CNN）的研究。其次，在第三章中，由于文獻中的AR算法種類繁多，我們進行了廣泛的比較，以選擇AR中的最佳品種，進一步用于基于圖像的問題。六種基于文本的AR算法，包括混合算法和連接主義算法，在評估正確性和良好性的兩個指標上進行了比較。接下來，在第四章中，詳細描述了一種新的AR集成算法，用于對未知的未知事物進行圖像分類。這一節談到了用于測試算法的數據集，算法的工作原理（技術描述和3個步驟的演練），最后是算法產生的結果。最后，在第五章中，在選定的 "未知數 "背景下，討論了用于評估結果的兩種自動化方法以及作為基線的第三種基于人類的分析。第六章是論文的結尾，一般性地討論了在圖像分類問題上的研究的新穎性，以及未來關于AR如何在其他未知情況下使用的工作。