無線電頻率指紋（RFF）是通過機器學習（ML）分類器將唯一可識別的信號失真歸于發射器。RFF經常被提議作為無線設備安全的認證機制，但技術受到不同操作條件下指紋變化的限制。首先，這項工作研究了頻率通道對典型的RFF技術的影響，以前只使用單一頻率通道的突發事件進行評估，沒有考慮多通道操作的影響。使用多類馬修斯相關系數（MCC）進行的性能表征顯示，在用于訓練模型的頻率通道以外的頻率通道上操作會導致性能惡化，從MCC>0.9（優秀）下降到MCC<0.05（隨機猜測），表明不應期望單通道模型在現實的多通道操作中保持性能。提出了一種訓練數據選擇技術來創建多通道模型，其性能優于單通道模型，將跨通道平均MCC從0.657提高到0.957，并實現了頻率通道無關的性能。第二，這項工作引入、開發并演示了通過失真重構提取指紋（FEDR）過程，這是一種基于神經網絡的量化信號失真的方法。與一個簡單的密集網絡相結合，FEDR指紋與四種常見的RFF技術進行了評估，Nc={5，10，15，25，50，100}未見過的類別。帶有FEDR指紋的密集網絡在所有的Nc值中都取得了最佳性能，MCC從0.945（Nc=5）到0.746（Nc=100）不等，使用的訓練參數比次好的卷積神經網絡少73%。

圖 1. 基于 RFF 的 WirelessHART 設備認證的設想用例。我們的實驗裝置模仿了這種配置。

引言

美國空軍2030年及以后的科技戰略文件規定，需要 "發展和提供變革性的戰略能力"，以確保美國在與近鄰對手的任何沖突中占據優勢[1]。這些戰略能力包括有保障的信息共享和快速有效的決策，由彈性和靈活的通信平臺驅動。這種保證需要一個由安全的有線和無線鏈路組成的無處不在的世界性基礎設施，它連接著從個人電腦和便攜式電子設備到關鍵信息系統、情報傳感器網絡和軍事武器系統等一切。

由于通信介質的性質，無線安全特別重要，它可以被對手輕易地監控。安全性取決于比特級的加密算法，該算法通過使用秘密信息實現加密和身份認證。例如，在WPA2（一種廣泛使用的無線認證協議）中，一個共享的秘密（如網絡密碼）被利用在一個4路握手過程中，以認證雙方并產生一個用于加密通信的密鑰[2]。然而，任何知道這個生成的密鑰的實體在理論上都可以冒充已經認證的一方，從而破壞信任。不幸的是，密碼學中的這個單點故障總是存在的。

消除單點故障的一個策略是要求多種形式的認證。多因素認證（MFA）要求用戶提供三類信息中的至少兩類：i）你知道的東西，ii）你擁有的東西，以及iii）你是的東西[3]。例如，試圖登錄信息系統的人類用戶可能被要求提供一個密碼（即知道）和一個ID（即擁有），或者一個密碼和一個發送到訂閱的移動設備上的代碼（即擁有）。最近的技術，如基于智能手機的指紋掃描儀（如三星超聲波指紋識別）和紅外臉部映射器（如蘋果FaceID），再加上現代機器學習的進步，使得將你所在類別的東西的信息納入認證機制成為可能。

通過使用射頻指紋（RFF）[4]，類似的策略可以擴展到無線通信。RFF從無線發射器的發射中提取關于你是什么的信息。這種物理層的信息可以增強比特級的認證機制，實現多層次的身份驗證，并通過深入防御有效地加強安全[5]。然而，RFF帶來了許多實際的實施挑戰，包括邊緣設備資源限制[6]和提取的指紋的顯著漂移和變化[7]。

以下各節提供了RFF及其挑戰的介紹性概述，隨后概述了這項工作為解決這些挑戰所做的貢獻。

1.1 無線電頻率指紋法的基本原理

射頻指紋是一種用于從發射信號的特征來識別發射者的技術[8]。這種技術直接應用于信號本身，與依賴這些信號的比特級解釋的加密算法不同。其基本理論是，由于制造過程中的不一致，每個發射器的構造都略有不同，即使是那些來自同一制造商的相同的內部組件。這些不一致表現在發射信號的微小但可測量的失真上，在信號上留下了 "指紋"。有可能找到同一發射器留下的多個指紋的共同點，這樣，未來的指紋就可以歸于該發射器。

RFF的核心是依靠機器學習（ML）分類器，該模型是用一組Nc類（即發射器）的大量例子（即指紋）訓練出來的。當一個新的、從未見過的例子被輸入到訓練好的模型中時，該模型可以預測哪個Nc類產生了它。大多數公布的RFF技術包括兩個步驟：i) 指紋提取和ii) 分類[8]。指紋提取過程，如時域獨特本地屬性（TD-DNA）[9]或基于星座的獨特本地屬性（CB-DNA）[10]，是用來建立作為分類器輸入的特征集的算法。指紋是對信號的測量，更確切地說，是對信號中存在的扭曲的測量。其基本假設是發射器以一致的方式扭曲信號，因此，分類器可以將扭曲映射到發射器上。

在更現代的RFF方法中，分類器直接接受原始信號，在模型中整合指紋提取。這些方法通常利用卷積神經網絡（CNN）的力量來實現令人印象深刻的分類性能[11]。卷積神經網絡自動學習信號的哪些部分對辨別Nc類貢獻最大，并構建自身以提取該信息。

1.2 無線電頻率指紋識別的挑戰

與人的指紋在人的一生中保持不變不同，發射器的指紋經常受到操作條件的影響，如溫度、信道噪聲、其他發射器的干擾、元件的老化以及傳輸的信息類型[7]。這些操作條件中的每一個都會對信號施加不同類型和組合的失真，使指紋發生變化。這種可變性使得采用實用的基于指紋的認證機制變得困難，因為在一組條件下運行良好的系統在其他條件下可能無法正常運行。因此，在設計RFF技術時必須考慮操作條件。

基本的挑戰是：i）了解哪些操作條件會導致指紋的變化，以及ii）了解這些變化如何在指紋中表現出來。第一個挑戰需要列舉操作條件，考慮到發射器可能在無窮無盡的環境中運行，這是一項非同尋常的壯舉。這方面的研究重點是證明某個特定條件會影響分類性能，然后產生一種技術來對抗這些影響[7, 12]。為此，這項工作的研究一提供了一個關于頻率通道對RFF的影響的檢查。它研究了在單通道模型上使用多通道數據所產生的性能惡化，并提出了一種數據驅動的技術來減輕這些影響。

研究操作條件如何在指紋中表現出來，有其自身的障礙。首先，在RFF社區中，對構成指紋的定義各不相同。典型的指紋提取技術，如TD-DNA[9, 13]、CBDNA[10, 14]、Gabor變換[15, 16]和基于內在模式函數（IMF）的變換，如Hilbert-Huang變換[17]，都產生非常不同類型的指紋。每種技術都對哪些類型的失真對區分發射器很重要做出假設，根據這些假設測量信號，并將這些測量結果作為指紋。因此，只能在這些假設的范圍內研究指紋的可變性，這就提供了一個不完整的關于指紋總體上如何變化的畫面。

另一個障礙是，最近的RFF技術利用復雜的ML模型進行 "端到端 "分類，主要使用深度CNN[18]。這些網絡不需要指紋步驟，因為它們將指紋提取與分類結合起來[8]。模型攝取原始信號，通過一系列相互連接的非線性層，并輸出預測的類別。根據設計，這些網絡專注于最能區分類別的特征，盡管它們傾向于產生強大的性能，但它們嚴重偏向用于訓練它們的類別。因此，在不同的操作條件下，性能的變化只能用用于訓練CNN的類別來表示。

研究二提供了一種基于神經網絡的新型指紋提取技術，該技術利用CNN來測量兩個輸入信號之間的相對失真，即一個失真信號和同一信號的未失真版本。該技術被稱為 "通過失真重建的特征提取"（FEDR），它忽略了類別信息，而是專注于量化失真本身。它改進了以前的指紋提取技術，因為它沒有假設哪些失真存在，而且它改進了端到端CNN，因為它提供了一個通用的指紋類型，可以在任何數量的類別和使用情況下進行研究。此外，用于提取指紋的神經網絡不需要接觸到RFF類，這意味著它的訓練可以獨立于這些類進行。

這兩項研究的貢獻將在下一節詳細介紹。

1.3 研究問題和貢獻

本節概述了這兩項研究中的每一項，強調了主要問題和貢獻。

1.3.1 1.3.1 (研究一) 跨越多個頻率通道的無線電頻率指紋識別的考慮因素

研究I通過研究頻率通道（即載波頻率）如何影響指紋識別，擴展了以前關于操作條件對RFF的影響的工作。現代通信協議通常采用多個頻率通道，以實現同時使用和避免干擾。例如，WiFi（IEEE 802.11 b/g/n）[2]將2.4 GHz ISM頻段細分為11×20 MHz的重疊信道，而ZigBee[19]和Wireless Highway Addressable Remote Transducer（WirelessHART）[20]（即基于IEEE 802.15.4的協議）使用相同的頻段，但將其分為15×5 MHz的非重疊信道[21]，而藍牙[22]使用80×1 MHz非重疊信道的更精細的劃分。

現有的RFF技術在多通道情況下的應用是有限的，因為之前的模型是用單頻通道的突發事件創建和評估的，沒有考慮多通道運行的影響。本研究對四個單通道模型的多通道性能進行了評估，這些模型的復雜性不斷增加，其特點是多類馬修斯相關系數（MCC）。模型包括一個具有簡單判別分析的指紋提取器和三個神經網絡。提出了一種多通道訓練技術以提高跨通道性能，并在存在加性白高斯噪聲（AWGN）的情況下對所有模型進行了評估。

具體來說，研究I的研究問題和貢獻是：

S1-Q1. 頻率通道是如何影響射頻（RF）指紋的？

S1-Q2. 指紋中是否存在與頻率無關的信息？該信息能否在頻率無關的RFF模型中得到利用？

S1-C1. 首次評估了單通道模型對多通道數據集的敏感性。評估表明，在RFF模型訓練期間，如果不考慮頻率通道，會導致性能惡化，從MCC>0.9（優秀）下降到MCC<0.05（隨機猜測），表明以前RFF研究中的單通道模型性能不應該被期望延伸到多通道情況（實驗A）。

S1-C2。一種訓練數據選擇技術，構建的多渠道模型可以超越單渠道模型，平均跨渠道MCC從0.657提高到0.957。研究結果表明，可以從一個小的頻道子集中學習頻率診斷變異性，并可以利用它來提高RFF模型在多個頻率頻道的通用性（實驗B）。

S1-C3. 對存在加性白高斯噪聲（AWGN）的多通道模型的評估，表明多通道模型在噪聲性能方面的優勢取決于模型類型和噪聲水平。多通道神經網絡大約保持或超過了單通道性能，但多通道MDA/ML模型的性能始終優于其單通道對應的模型（實驗C）。

1.3.2（研究二）FEDR：基于神經網絡的射頻指紋提取技術

研究二提出了一種新型的指紋提取技術，它側重于量化信號失真，而不考慮發射器。FEDR是一種基于神經網絡的方法，用于學習相對失真潛伏空間。它依賴于一個關鍵的觀察，即只要能可靠地提取比特級的信息，就能從扭曲的對應信號中生成未扭曲的通信信號。通過一個受限的網絡結構和一個自定義的正則化損失，FEDR可以量化兩個信號之間存在多少失真。該技術對信號中存在哪種失真或多少失真不做任何假設，并對失真進行量化，不分等級，使其成為研究不同操作環境的指紋的理想選擇。

此外，由于FEDR網絡學習信號失真，它可以獨立于RFF類進行訓練，并作為靜態指紋提取器部署，它可以在終端與低復雜度的ML分類器相配合，進行RFF。FEDR被應用于合成的IQ不平衡數據和真實世界的IEEE 802.11a/g數據集。隔離失真信息和去除內容信息產生了指紋，當與基本分類器結合時，其性能超過了最先進的端到端分類技術。

研究II的研究問題和貢獻包括。

S2-Q1. 能否訓練一個網絡來學習失真信號和其相應的未失真信號之間的差異？

S2-Q2. 這些差異是否能提供足夠的信息來辨別特定的發射器？

S2-C1. 一種用于指紋提取的深度學習技術，稱為通過失真重建提取指紋FEDR。利用接收信號的失真和未失真版本，FEDR使用一個結構受限和規范化的相對失真潛在空間來重建原始失真。因為FEDR學習的是失真而不是設備，所以網絡可以獨立于RFF類進行訓練。

S2-C2. 介紹、開發和演示FEDR技術，使用具有模擬智商不平衡的合成WiFi數據。使用一個基本的密集網絡，從學到的FEDR指紋中提取了模擬失真參數，意味著失真信息被FEDR技術量化了。

S2-C3. 對從現實世界中從未見過的發射器的WiFi數據集中提取的FEDR指紋的RFF性能進行評估。基于FEDR的分類器取得了最好的性能，MCC從0.945（Nc=5類）到0.746（Nc=100類），使用的訓練參數比次好的CNN少近73%。

1.4 論文結構

本文件圍繞這兩項主旨研究及其貢獻展開。第2章提供了一個簡短的背景，以提供跨越這兩項研究的技術背景。這包括關于ML的基本信息，它在射頻機器學習（RFML）中的應用，以及近期RFF研究的總結。研究一和研究二在第3章和第4章中作為獨立的手稿呈現，每篇手稿的格式都與期刊出版物一致。這兩章中的每一章都介紹了自己的相關介紹和相關工作，以及該相應研究的相關背景信息。第5章中總結了研究結論和未來的工作。

準確和強大的自主水下導航（AUV）需要在各種條件下進行位置估計的基本任務。此外，美國海軍更希望擁有不依賴外部信標系統的系統，如全球定位系統（GPS），因為它們會受到干擾和欺騙，并會降低操作效率。目前的方法，如地形輔助導航（TAN），使用外部感知成像傳感器來建立一個本地參考位置估計，當這些傳感器超出范圍時，就沒有用了。現在需要的是多個導航過濾器，每個過濾器都能根據任務條件發揮更大的作用。本論文研究了如何結合多個導航過濾器來提供一個更穩健的AUV位置估計。提出的解決方案是利用基于信息論框架的交互式多模型（IMM）估計方法，混合兩種不同的過濾方法。第一個過濾器是基于模型的擴展卡爾曼過濾器（EKF），在航位推算（DR）條件下有效。第二個是用于主動地形輔助導航（ATAN）的粒子濾波方法，在傳感器范圍內適用。利用在華盛頓州新月湖收集的數據，我們開發了每個導航過濾器的結果，然后我們演示了如何使用IMM信息理論方法來混合方法，以改善位置和方向的估計。

近年來，美國防部已指示加速采用人工智能（AI），并建立一支技術先進、能夠確保美國安全的部隊。未來自主海上行動的一個重要組成部分是無人自主車輛能夠在不使用全球定位系統（GPS）或其他外部信標系統的情況下運行。

在一個快速發展的技術世界中，在拒絕使用GPS的環境中或不使用聲學轉發器等系統，甚至是深海導航定位系統（POSYDON）系統的情況下進行操作從未如此關鍵。領先的解決方案是地形輔助導航（TAN），它利用機載地圖和傳感器系統的組合，以便在已知的地圖內進行相關的測量。這種方法的最大缺點是需要不同的濾波估計方法，而這些方法在設計上可能無法協同工作。

這項研究將分幾個部分介紹。首先是實施一個新的擴展卡爾曼濾波器（EKF），作為海軍研究生院的遠程環境監測單元100（REMUS）車輛上的航位推算（DR）模型，以改善其在速度估計不準確時的估計。其次，這項研究試圖在信息理論的基礎上建立一個用于主動地形輔助導航（ATAN）的粒子過濾器（PF）。最后，也許是最重要的，本研究試圖在PF和EKF之間實現一個新的信息理論聯合過程，以改善所有狀態的估計。

圖 1.1 定位、導航和授時替代層次結構。

圖1.2 可能需要不同過濾技術的情況。狀況1，AUV在水面附近作業，可以利用GPS數據。由于深度原因，AUV無法利用任何其他傳感器，必須使用DR模型。狀態2，太深了，無法快速獲取GPS數據，而且還沒有深到可以使用面向海底的傳感器。制度3可以利用DVL/ADCP和慣性導航系統（INS），可以提供更準確的運動估計。制度4可以利用成像傳感器來進一步提高導航的準確性。

圖5.1 機載水深和成像傳感器提供的測量值與粒子分布相關。該分布的香農熵顯示了粒子分布中的不確定性，高值表明該分布對位置不確定。由于從AUV經歷地形到計算香農熵有一個時間延遲，標量值不會完全一致。然而，它將很好地表明分布具有低水平的不確定性。

論文組織

本論文的組織結構如下。第2章是文獻回顧，包括設備說明、貝葉斯濾波（BF）和信息論的必要背景，以及現場實驗的概述。第3章將介紹位置估計濾波技術和交互式多模型（IMM）的概述。第4章將討論基于模型的擴展卡爾曼濾波器（EKF）的發展。第5章將討論粒子濾波器（PF）的開發和仿真結果。第6章將討論信息理論互動多模型（IT-IMM）的開發和仿真結果。論文將在第7章中總結和討論未來的工作。

論文貢獻

• 介紹一種新的IT-IMM估算方法，通過綜合使用后驗概率分布中的香農熵和預測PF性能的地形適宜性措施，將基于模型的EKF和PF聯合起來。

• 在沒有ADCP/DVL的情況下，基于模型的EKF用于估計前進和側滑速度。

• 一種PF算法，實現了粒子再分配的信息理論框架。

摘要

全源傳感器的自主和彈性管理（ARMAS）框架在獨特的傳感器排除濾波器組（稱為子濾波器）中監測殘余空間測試統計數據，以提供一個有保證的彈性、抗故障的全源導航架構。本文所展示的這個架構的一個關鍵假設是所有子濾波器之間的狀態觀測完全重疊。全源傳感器，特別是那些只提供部分狀態信息的傳感器（高度計、TDoA、AOB等）在本質上不符合這一要求。

本文提出了一種監測實時重疊位置狀態可觀察性的新方法，并在ARMAS框架內引入了一個 "可觀察性銀行"，稱為穩定可觀察性監測（SOM）。SOM使用實時穩定性分析，向ARMAS提供對故障檢測和排除（FDE）功能的內在認識。我們將保持一致的全源FDE以恢復故障傳感器的能力定義為導航彈性。那么，彈性的FDE能力是一種 "意識到 "何時需要更多的傳感器信息以保護FDE的一致性和完整性功能不被破壞的能力。SOM是作者所知道的這種系統的第一個示范，用于所有來源的傳感器。

創建了一個模擬GNSS和位置及速度替代性導航傳感器的多代理3D環境，并利用單個GNSS偽距傳感器的異常情況來展示該新型算法的能力。本文展示了SOM在ARMAS框架內的無縫集成，提供了及時的提示，以增加其他代理的新傳感器信息，并指出框架的穩定性和保持所有來源的導航完整性何時實現。

摘要

使用全球導航衛星系統（GNSS）進行導航是自主車輛（地面或空中）的常見做法。不幸的是，基于GNSS的導航解決方案往往容易受到干擾、干涉和衛星數量有限的影響。當基于GNSS的系統出現故障時，一種被提議的技術可以幫助導航，即利用地球的磁異常場進行導航。這種解決方案有其自身的問題，包括需要在每個使用磁導航的地區提供高質量的磁力圖。目前許多可用的磁力圖是由過時的磁力測量組合產生的，導致地圖充滿了空間上的相關誤差，其相關結構在很大程度上是未知的。在導航時，這些關聯性被進一步混淆，因為除了原始的關聯性誤差結構外，它們還取決于車輛在地圖上移動的速度。傳統上，這種空間相關性是通過在估計程序中引入一階高斯-馬爾科夫（FOGM）噪聲模型來處理的，FOGM參數設置得有些隨意。在本文中，我們研究了使用不考慮相關性的融合技術（即協方差交叉和概率保守融合）進行磁導航的可能性。這些技術的優點是不需要任何參數調整；無論空間相關性如何，都使用相同的方法和調整參數。我們證明，利用概率保守融合導致的導航結果優于許多調諧方法，并合理地接近于FOGM的最佳調諧參數。

I. 前言

導航技術是不斷發展的。幾個世紀以來，導航員已經從簡單的駕駛、航位推算和天體導航發展到更復雜的技術，如使用全球導航衛星系統（GNSS）的電子導航。無論哪種導航技術，都必須進行準確的姿態（位置、速度、姿態）估計，才能進行有效的路徑規劃。在各種各樣的環境中，一個強大的導航框架的應用范圍越來越廣。基于GNSS的導航是非常準確的，但有許多可能失敗的情況，包括但不限于以下情況：

• 在隧道內或密集的城市地區，衛星信號會被阻斷。

• 頻率干擾和欺騙，這可能導致導航解決方案不再收到準確的估計。[1]

由于GNSS的準確性，目前的替代性導航系統并不試圖取代GNSS，而是在這些潛在的故障情況下對其進行增強。目前的替代性導航系統，如基于無線電的技術、計算機視覺方法、星際跟蹤器、地形高度匹配和重力梯度測量等，往往只在特定環境下的特定條件下發揮作用[2]。一個能與全球GNSS的可用性相匹配的替代性導航系統可以改善并取代目前大量的替代性導航系統。

一個有前途的、能與GNSS相匹配的導航系統是磁導航（Magnav）[2][3]。Magnav的可用性使其比其他替代性導航解決方案更具優勢，但Magnav也有許多必須克服的挑戰，包括但不限于以下幾點。

• 磁性地圖的可用性

• 磁力圖的質量，包括元數據的質量（共變性、偏向）。

• 磁力圖的空間相關誤差，導致對Magnav產生的導航估計有明顯的過度自信。

本文著重于解決第二和第三點，組織結構如下。在第二節中，我們介紹了Magnav的一些背景并解釋了需要克服的問題。在第三節中，我們解釋了我們在擴展卡爾曼濾波器（EKF）中對空間相關誤差進行建模的新穎解決方案。第四節從數學上定義了數據融合問題，并回顧了不考慮相關因素的數據融合的協方差交叉和概率保守方法。在第五節中，我們將這些技術相互比較。第六節是本文的結論。

在許多現實世界的應用中，多主體決策是一個普遍存在的問題，如自動駕駛、多人視頻游戲和機器人團隊運動。多智能體學習的主要挑戰包括其他智能體行為的不確定性，以及由聯合觀察、行動和策略空間的高維性導致的維數災難。由于未知的智能體意圖和意外的、可能的對抗性行為，這些挑戰在對抗性場景中進一步加劇。本文提出了魯棒和可擴展的多智能體學習方法，目標是高效地構建可以在對抗性場景中魯棒運行的自主智能體。通過觀察智能體的行為準確推斷其意圖的能力是魯棒決策的關鍵。在這種情況下，一個挑戰是對手實際行為的高度不確定性，包括潛在的欺騙，這可能與先驗行為模型有很大的不同。捕捉自我主體和對手之間的交互以及對雙方主體可用信息的推理，對于建模這種欺騙行為至關重要。本文采用博弈論對手建模方法解決了這一意圖識別問題，該方法基于一種新的多樣性驅動的信念空間集合訓練技術，用于實現對欺騙的魯棒性**。為了將集成方法擴展到具有多個智能體的場景，本文提出了一種可擴展的多智能體學習技術，該技術通過稀疏注意力機制促進了接近最優的聯合策略學習。該機制的結果是集中的參數更新，這大大提高了采樣效率**。此外，本文還提出了一種新的隱式集成訓練方法，該方法利用多任務學習和深度生成策略分布，以較低的計算和內存成本獲得更好的魯棒性。將魯棒的意圖識別和可擴展的多智能體學習結合起來，可以實現魯棒的、可擴展的離線策略學習。然而，完全自主的智能體還需要能夠不斷地從新的環境和對等智能體中學習(并適應)。因此，本文還提出了一種安全的適應方法，既能適應新的對手，又能在對抗場景中對任何可能的對手剝削保持低可利用性。本文的貢獻有助于構建自主代理，使其能夠在具有不確定性的競爭多智能體場景下做出魯棒的決策，并通過計算效率學習安全地適應以前未見的對等智能體。

摘要

研究了一種新型的射頻（RF）輔助算法，用于在具有小尺寸麥克風陣列傳感器的情況下對無人駕駛飛行器（UAV）進行聲學識別和定位，其中聲學信號的多通道處理得到了射頻功率模式分析的幫助。不明身份的無人機的螺旋槳產生的噪聲可以用來獲得關于它的一些線索，因為具有不同尺寸、重量或機械特性的無人機產生不同的聲學信號。具體來說，在這項工作中，由多通道麥克風陣列檢測到的聲學信號的光譜特征被用來識別無人機。此外，射頻信號由Wi-Fi天線發射，并測量接收信號強度（RSS）以協助聲學定位。到達方向（DOA）和與聲源的距離都可以被預測。提出了一個解決方案，其中一個四階段卷積神經網絡（CNN）通過其聲譜特征進行無人機識別，并通過內在特征提取、射頻和聲學特征的融合以及回歸產生射頻輔助聲學定位。應用是反無人機監測策略，從飛行的無人機反對非法使用無人機和外部無人機攻擊。提出了一個集中式架構，用于從多個空中節點獲取數據和流。一個名為Zylia的19通道球形麥克風陣列被采用。為了分析這項研究的現狀，提出了實驗與結果描述。

引言

我們解決的問題是檢測作為聲源的不明無人機的存在，通過處理螺旋槳噪聲產生的聲學信號在不同的無人機中識別它，并通過估計聲學信號的到達方向（DOA）和與無人機的距離對無人機進行定位。我們提出了一個解決方案，其中聲學處理得到了射頻（RF）傳輸模式分析的幫助。這樣，當聲學定位前端檢測到來自射頻天線組件估計方向的聲學活動時，聲源定位可以得到完善，并通過波束成形增強記錄信號。這是因為，當使用安裝在多旋翼無人機（UAV）上的小尺寸麥克風陣列進行聲學記錄時，如[1,2,3]，由于對麥克風陣列尺寸的限制，可能導致信號-噪聲增強不佳、空間分辨率低和空間信息不完整等問題，對感興趣的聲源的處理和信號增強變得特別具有挑戰性。為了解決這些限制，最近在[4,5]中介紹了一種新的基于射頻的聲源定位處理方法，該方法也能進行距離估計，但沒有引入識別能力。因此，我們現在研究射頻輔助算法的性能，該算法也能識別未識別的空中聲源。我們的算法可以應用于針對非法使用無人機和外部無人機攻擊的反無人機監測策略[6,7]，即使是在敵對環境中。

最近，深度學習（DL）和深度神經網絡（DNN）研究領域的發展所帶來的計算和性能上的進步，促進了文獻中無人機識別算法的增加，如[8,9,10]。特別是，已經證明主要由螺旋槳、馬達和機體的機械振動產生的綜合聲學信號具有足夠獨特的特征，可以用來在現實的開放世界條件下在一些無人機類別中識別無人機類型。DL和DNN也被研究用于涉及多通道聲學處理的各種應用，如[11,12]和[13]中，多通道頻譜相位信息被用作卷積神經網絡（CNN）的輸入，用于DOA估計。在我們的研究中，一個基于CNN的四級網絡的算法的性能被引入到識別和定位任務中。兩個平行階段處理射頻數據和聲學數據的內在特征。第三階段進行聲源識別，第四階段進行回歸。這種算法既能產生無人機識別，又能對DOA和與聲源的距離進行聯合預測。本文對這一研究的現狀進行了討論。

為了研究我們的方法，我們用兩個不同的無人機產生的實驗聲學數據和來自分布式天線陣列的合成射頻數據創建了一個半模擬的場景。麥克風陣列是一個19通道的球形陣列，能夠進行三維聲學場景分析。還提出了一個實驗性的傳感器數據流架構，其中只有小尺寸和低成本的硬件用于采集系統和機載處理單元，稱為單板計算機（SBC），將數據流向地面站（GS），在那里可以用高計算能力進行基于CNN的定位處理。

圖1. 基于CNN的四級網絡結構，用于通過射頻和聲學數據處理識別和定位不明的無人機。該結構由一個射頻CNN、一個聲學CNN、一個回歸網絡和一個二進制識別網絡組成。

盡管在深度學習方面取得了最近的進展，但大多數方法仍然采用類似“筒倉”的解決方案，專注于孤立地學習每個任務:為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實問題需要多模態方法，因此需要多任務模型。多任務學習(MTL)旨在利用跨任務的有用信息來提高模型的泛化能力。在這個綜述中，我們提供了一個最先進的在深度神經網絡的背景下MTL技術的全面觀點。我們的貢獻涉及以下方面。首先，我們從網絡架構的角度來考慮MTL。我們包括了一個廣泛的概述，并討論了最近流行的MTL模型的優缺點。其次，我們研究了解決多任務聯合學習的各種優化方法。我們總結了這些工作的定性要素，并探討了它們的共性和差異。最后，我們在各種數據集上提供了廣泛的實驗評估，以檢查不同方法的優缺點，包括基于架構和優化的策略。

//arxiv.org/abs/2004.13379

概述

在過去的十年中，神經網絡在許多任務中都顯示了令人印象深刻的結果，例如語義分割[1]，實例分割[2]和單目深度估計[3]。傳統上，這些任務是單獨處理的，即為每個任務訓練一個單獨的神經網絡。然而，許多現實世界的問題本質上是多模態的。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，定位它們，了解它們是什么，估計它們的距離和軌跡，等等，以便在它的周圍安全導航。同樣的，一個智能廣告系統應該能夠在它的視點上檢測到人們的存在，了解他們的性別和年齡，分析他們的外貌，跟蹤他們正在看的地方，等等，從而提供個性化的內容。與此同時，人類非常擅長同時解決許多任務。生物數據處理似乎也遵循多任務處理策略: 不同的處理過程似乎共享大腦中相同的早期處理層，而不是將任務分開單獨處理。上述觀察結果促使研究人員開發了多任務學習(MTL)模型，即給定一個輸入圖像可以推斷出所有所需的任務輸出。

在深度學習時代之前，MTL工作試圖對任務之間的共同信息進行建模，希望通過聯合任務學習獲得更好的泛化性能。為了實現這一點，他們在任務參數空間上放置了假設，例如:任務參數應該彼此靠近w.r.t.一些距離度量[5]，[6]，[16]0，[16]2，共享一個共同的概率先驗[16]1，[10]，[11]，[12]，[13]，或駐留在一個低維子空間[14]，[15]，[16]或流形[17]。當所有任務都是相關的[5]、[14]、[18]、[19]時，這些假設可以很好地工作，但是如果在不相關的任務之間發生信息共享，則可能導致性能下降。后者是MTL中已知的問題，稱為負轉移。為了緩解這一問題，其中一些研究人員選擇根據先前對任務的相似性或相關性的認識將任務分組。

在深度學習時代，MTL轉化為能夠從多任務監控信號中學習共享表示的網絡設計。與單任務情況下，每個單獨的任務由自己的網絡單獨解決相比，這種多任務網絡理論上給表帶來了幾個優點。首先，由于它們固有的層共享，結果內存占用大大減少。其次，由于他們明確地避免重復計算共享層中的特征，每次都要計算一次，因此他們的推理速度有所提高。最重要的是，如果相關的任務能夠分享互補的信息，或者互相調節，它們就有可能提高績效。對于前者，文獻已經為某些對任務提供了證據，如檢測和分類[20]，[21]，檢測和分割[2]，[22]，分割和深度估計[23]，[24]，而對于后者，最近的努力指向了那個方向[25]。這些工作導致了第一個深度多任務網絡的發展，歷史上分為軟或硬參數共享技術。

在本文中，我們回顧了在深度神經網絡范圍內的MTL的最新方法。首先，我們對MTL基于架構和優化的策略進行了廣泛的概述。對于每種方法，我們描述了其關鍵方面，討論了與相關工作的共性和差異，并提出了可能的優點或缺點。最后，我們對所描述的方法進行了廣泛的實驗分析，得出了幾個關鍵的發現。我們在下面總結了我們的一些結論，并提出了未來工作的一些可能性。

• 首先，MTL的性能在很大程度上取決于任務字典。它的大小、任務類型、標簽源等等，都影響最終的結果。因此，最好根據每個案例選擇合適的架構和優化策略。盡管我們提供了具體的觀察結果，說明為什么某些方法在特定設置中工作得更好，但是MTL通常可以從更深的理論理解中獲益，從而在每種情況下最大化預期收益。例如，這些收益似乎取決于多種因素，例如數據量、任務關系、噪音等。未來的工作應該嘗試分離和分析這些不同因素的影響。

• 其次，當使用單一MTL模型處理多個密集預測任務時，基于解碼器的架構目前在多任務性能方面提供了更多優勢，與基于編碼器的架構相比，其計算開銷有限。如前所述，這是由于基于解碼器的體系結構促進了常見的跨任務模式的對齊，這自然很適合密集的預測任務。基于編碼器的架構在密集預測任務設置中仍然具有一定的優勢，但其固有的層共享似乎更適合處理多個分類任務。

• 最后，我們分析了多種任務均衡策略，并分離出對任務均衡學習最有效的要素，如降低噪聲任務的權重、平衡任務梯度等。然而，許多優化方面仍然缺乏了解。與最近的研究相反，我們的分析表明避免任務之間的梯度競爭會損害性能。此外，我們的研究顯示，一些任務平衡策略仍然存在不足，突出了現有方法之間的一些差異。我們希望這項工作能促進對這一問題的進一步研究。