這項工作提出了一個在歐盟項目FOLDOUT中開發的融合和跟蹤系統,旨在通過融合不同的傳感器信息和提出對監視區域內檢測到的目標自動跟蹤來促進邊防工作。FOLDOUT的重點是歐盟內部和外部地區的穿透式樹葉檢測。融合多個傳感器信號可以提高檢測的有效性,特別是在森林和其他被樹葉遮擋的地區。我們使用加權地圖(也稱為熱圖)來結合多傳感器信息;對所產生的融合目標進行跟蹤;根據對融合檢測的時間關聯的成本計算來創建或更新跟蹤。我們比較了來自單個傳感器的跟蹤結果和來自融合目標的跟蹤結果,這些數據是在模擬邊界收集的,代表了保加利亞的實際歐盟邊界。結果表明,如果根據融合后的數據而不是單個傳感器的信息進行追蹤,追蹤效果會得到加強。
邊防軍的主要興趣是在全球地圖上對監視區域內檢測到的人員進行定位和跟蹤。為了實現這一目標,首先要將不同傳感器系統觀察到的單個人的探測結果進行融合。當檢測結果相互關聯并保持一致時,就可以在一個共同的地圖上對單獨的目標進行跟蹤。
圖2:指導動作(紅線),扮演一個非法越境的場景:1.一個人通過步行越過邊境。2.該人沿著邊境小路向大路走去。3.此人停下腳步,在路上停留很長時間(可能是在等待汽車中的走私者)。4.在某一時刻離開道路,躲進樹叢中。5. 在樹葉中,該人再次回到路上(可能再次尋找汽車)
RGB和熱像儀中的人員檢測
基于深度學習的綜合物體檢測被應用于相機圖像上。深度學習方法已被證明優于以前的最先進的機器學習技術。深度神經網絡(DNNs)模仿了大腦感知和處理信息的方式。與以前的方法相比,DNNs學習了諸如人物檢測等任務所需的特征。近年來,DNN在物體檢測和分類任務上表現出突出的性能[9, 10]。在這項工作中,物體檢測是基于一個著名的DNN實現,即YOLO檢測器[11]。
PIR傳感器中的人員檢測
探測器經過調整,使被動紅外傳感器在PIR周圍7.5米的半徑內觸發人的存在。
在這項工作中,我們使用加權地圖來提供傳感器數據的層次(也稱為HeatMaps),并以邏輯和數學的方式組合它們。它的動態是完全使用不同傳感器模式的傳感器檢測假設的事件驅動。這些傳感器假設包括位置(WGS84基準)、時間戳(Unix時間戳)和權重(例如,從傳感器檢測中獲取的信心)。為了實現這一點,有兩個組件是必不可少的:加權分布圖(HeatMaps);線性意見庫。圖3顯示了這種方法的基本概念。
圖3:融合方法的基本概念(左),作為使用兩個加權分布圖(熱力圖)的例子。應用不同的衰減函數(右)來建立加權分布圖的時間動態行為。
加權分布圖(熱圖)
加權分布圖是我們數據融合方法的兩個基本組成部分中的第一個。加權地圖的基本思想是,保持和更新關于不同傳感器探測假設的時空信息。加權地圖來自于概率占用網格,但以加權的形式解釋傳入的數據。此外,還采用了時間上的衰減來模擬傳感器數據的及時行為。權重被存儲在一個可選擇分辨率的數組中,代表WGS84坐標中感興趣的矩形區域。圖3展示了用于模擬加權分布圖動態行為的可能衰減函數。
通常,加權分布圖對應于任何一種傳感器數據或傳感器模式(例如,從攝像機圖像中檢測人的邊界框)的時空。傳感器數據被攝取到一個專門的加權圖中,這導致加權圖的值根據傳入的傳感器假設的權重而增加(替換)。相對而言,衰減將及時應用到加權分布圖的值矩陣中。每次傳感器假設被攝入分布圖,它將通過重新計算加權分布圖的權重和衰減以前狀態的值來更新。
最后,線性意見庫允許我們結合多個加權分布圖,從而結合多傳感器模式,目的是減少傳感器系統的整體錯誤發現率。
線性意見庫(LOP)
我們融合方法的第二個重要組成部分是線性意見庫[8]。
每當一個加權分布圖的狀態由于新的傳感器檢測假設而被更新時,就會應用LOP。在評估了LOP之后,閾值處理使我們能夠產生警報。為了確定警報的位置,在組合值矩陣中超過閾值的區域使用分割算法(blob檢測)。這些警報是由多個傳感器假設產生的,用于為跟蹤提供必要的輸入數據,這將在下一節中描述。
為了跟蹤越境進入禁區或敏感區域的入侵者的行動,我們開發了一種基于空間和時間上關聯目標檢測的成本計算的定制算法。該跟蹤系統的工作原理是完全基于目標的位置和時間戳建立一個模型。
在第一次檢測目標時,該模型以該檢測的位置和時間戳進行初始化。軌跡模型是用以下元組定義的:???? = (????,????,????)。
如果幾個目標檢測同時發生,那么創建的模型模板數量與同時收到的檢測數量相同。后續的檢測被添加到一個給定的軌道模型中,這取決于將檢測添加到軌道中的成本。該成本被定義為傳入的檢測和軌跡候選者之間的距離。
在有多個傳入的檢測和多個軌跡候選者的情況下,已經實施了匈牙利算法[12],使檢測和軌跡之間的關聯產生最小的成本。
在這項工作中,我們解決了雷達波形優化和目標跟蹤的問題。提出了一種基于控制論方法的優化波形設計和目標跟蹤算法,其中波形參數是通過最小化跟蹤均方誤差(MSE)而自適應設計的。在這項工作中,采取了幾種方法來提高雷達跟蹤性能。首先,卡爾曼濾波器被用來估計目標位置,用它來優化波形參數。實驗結果表明,所提出的算法有能力在笛卡爾空間內跟蹤飛行目標,它提供了對目標位置和目標速度笛卡爾矢量以及徑向速度的準確估計。該算法根據估計矢量在飛行中調整波形參數。在文獻中,多普勒效應理論被大量用于估計目標速度。在某些條件下,如跟蹤高速目標或惡劣的海洋和天氣條件下,多普勒效應就不那么有效。因此,在這第一個方法中,引入了一種依賴于卡爾曼濾波估計的算法,而不依賴于多普勒效應。一個具有實時自適應參數的低通濾波器被應用于估計的速度矢量,并提取準確的速度估計。此外,從一個現實的角度來解決雷達跟蹤問題,承認目標運動不能像我們提出的使用卡爾曼濾波器那樣用矩陣來描述,因此引入了交互式多模型算法來估計目標位置。通過模擬,我們證明了所提算法的良好性能,并證明波形優化可以提高雷達的跟蹤性能。最后,考慮從兩個天線而不是一個天線收集信息,并使用其中一個數據融合算法,以及IMM算法,我們能夠減少跟蹤誤差,并為跟蹤問題提供一個更穩健可靠的解決方案。
圖 1. 大腦/認知雷達感知-行動周期。
認知被定義為參與認識、學習和理解事物的心理過程。這個定義介紹了定義CR的三個主要成分:
系統與環境持續互動并感知其地標的能力,包括潛在的目標和障礙物;這使得相控陣天線成為CR的主要組成部分,因為它們能夠快速掃描環境。
智能地處理接收到的回波,并提取有關目標和周圍環境的測量值的能力。
能夠提取有關目標和環境的信息,并相應地使用它來做出有關波形和目標運動估計的決定。
認知型雷達在某種程度上模仿了大腦的學習方式,并根據感官采取行動,遵循一個類似的循環:感知、學習、調整、行動。它們不斷地從環境中學習,并作出決定以提高跟蹤性能。類似的循環,即眾所周知的感知-行動循環(PAC),在解釋大腦如何工作或描述一些智能系統的文獻中被多次提及([2][3][4])。引用[2],神經科學家Joaquin Fuster將感知-行動循環描述為 "在處理目標導向行為的過程中,信息從環境到感覺結構,再到運動結構,再次回到環境,再到感覺結構,如此循環往復"。圖1解釋了與認知雷達相關的大腦的運行周期。在這項工作中,我們討論了這個閉環循環的所有步驟,這些步驟制約著CR的性能。提出了一個系統模型,并進一步討論了以估計和波形優化過程為重點的內容。
在文獻中,討論了兩種主要的波形選擇方法:控制論和信息論。在這項工作中,考慮了控制理論方法中的波形選擇標準。雷達波形參數主要通過最小化跟蹤均方誤差(MSE)來確定。
CR有一個閉環的工作循環。該系統依靠接收器的反饋來收集關于目標和環境的知識。這些知識然后被用來優化發射波形,并改進對目標的探測、跟蹤、估計和識別。這個概念在2006年由S.Haykin[1]在文獻中首次提出,他寫道,我們引用[1]"整個雷達系統構成了一個動態的封閉反饋回路,包括發射器、環境和接收器。
CR的運行周期(即上述閉環)從發射器對環境的照射開始。然后,從環境中反彈出來的傳輸波形(即目標回波、雜波等)被接收器截獲。關于目標和環境的有用信息從接收到的回波中提取出來,然后更新一個信息庫(記憶塊),在下一個周期由目標估計器(TE)作為一組關于環境的先驗知識使用。根據TE提供的估計結果,波形被優化。通常考慮用貝葉斯方法來實現目標估計器。
在CR中,提取的信息不僅在接收機層面發揮作用,而且在發射機層面通過改變波形和一些相關參數,如脈沖重復頻率(PRF)、脈沖寬度、脈沖數N和雷達發射時間表來發揮作用。這方面是CR與經典的自適應雷達的區別,后者只能在接收層面使用提取的信息。
波形優化設計作為一個重要的研究課題出現在信號處理界,因為它在許多領域都有廣泛的應用,如通信系統、聲納,以及在我們感興趣的情況下,改善雷達系統的性能。文獻中討論了許多設計標準,其中我們提到了最大信噪比(SINR)標準[9]、最大探測概率標準[14]、最大互感信息(MI)[8]標準和最小化均方誤差標準(MMSE)[10]、[11]。這些設計標準方法可以分為兩類:控制理論方法,其目的是為連續運行的動態系統開發一個控制模型;信息理論方法,更側重于研究信息流和從接收的測量數據中提取更多的目標信息。本文采用了控制理論方法,通過最小化跟蹤MSE來確定最佳波形選擇/設計。