隨著傳感器技術和由此產生的傳感器分辨率的不斷進步,傳統的基于點的目標跟蹤算法已顯得力不從心,尤其是在使用高分辨率傳感器的自動駕駛汽車、視覺跟蹤和監控等應用領域。這重新激發了人們對擴展目標(ET)跟蹤的興趣,其目的不僅在于跟蹤目標的中心點,還在于跟蹤目標隨時間變化的形狀和大小。
本論文探討了 ET 跟蹤應用領域中最具挑戰性的三個問題。研究的第一個難題是,在非高斯噪聲存在的情況下,需要對具有任意未知星凸形狀的 ET 目標進行精確的形狀和中心估計。提出的方法基于 Student's-t 過程回歸算法,該算法在遞歸框架中定義,適用于在線跟蹤問題。
第二個問題試圖通過定義一種新穎的隨機多面體形狀描述符來放松在估計過程中施加在 ET 目標形狀上的任何約束,包括星凸約束。此外,所提出的解決方案還引入了一種方法,以減輕在 ET 跟蹤應用中因自閉塞而造成的麻煩,因為忽視自閉塞可能會導致 ET 狀態估計出現災難性的偏差。
最后,研究了在雜波和遮擋情況下跟蹤多個 ET 目標的框架,并提出了解決方案。所提出的方法可以在現實場景中估計 ET 目標的中心和形狀,同時考慮到自閉和互閉的挑戰。所提出的方法為每個 ET 定義了一個隨時間變化的狀態檢測概率,即使在相互遮擋造成的不利條件下,也能延長軌跡。此外,建議的算法使用集合成員不確定性模型來約束被遮擋 ET 的關聯和目標形狀不確定性,從而獲得更準確的 ET 目標狀態和形狀估計。
所提方法的性能在自閉和互閉的真實模擬場景中進行了量化,其結果與現有的最先進的 ET 跟蹤應用方法進行了比較。
圖 1.1: 點目標和擴展目標的并排比較。(a): 點目標的單一測量源和生成的測量結果。(b): 多個散射點和 ET 生成的測量結果。
空間態勢感知是準確描述和預測空間環境狀態的能力,隨著運行衛星數量的增加,空間態勢感知已成為人們關注的話題。這一趨勢是由大型衛星星座的部署推動的,這些星座在完全部署后可能由數萬顆衛星組成。準確跟蹤空間物體對于預測和防止物體之間的碰撞非常重要,因為碰撞可能會對運行中的衛星造成災難性損害,并產生碎片云,危及其他衛星。然而,跟蹤空間物體非常復雜,部分原因是測量結果的來源不確定,這個問題被稱為數據模糊性。雖然存在多種能夠處理數據模糊性的目標跟蹤算法,但在太空環境中進行跟蹤還面臨其他挑戰。由于相對于可用傳感器資源而言,目標數量眾多,因此每個目標的可用觀測數據數量通常較少,而且由于上述數據模糊問題,許多觀測數據互不相關。最近興起的大型星群帶來了另一個問題,即相關衛星將利用低推力推進系統來保持編隊,這就要求具備機動目標跟蹤能力,以獲得最佳性能。在本論文中,我們將分析兩個問題,這兩個問題代表了運營商在不久的將來將面臨的空間物體跟蹤挑戰。我們將展示如何利用有限集統計開發適用的算法。有限集統計是一種數學框架,允許采用自上而下的方法開發具有所需功能的嚴格貝葉斯最優多目標過濾器。
分析的第一個問題是大型星座跟蹤問題。我們模擬了一個由 4,500 多顆低地球軌道衛星組成的星座,并使用 12 個地面近視傳感器網絡對其進行跟蹤。這些傳感器的任務由一個結合了信息論獎勵的成本函數來完成。我們還利用戰術重要性函數,將基于任務的目標(如有碰撞風險的物體的優先級)納入任務分配邏輯。收集到的數據將通過一個帶標記的多貝努利濾波器進行處理。濾波器產生的狀態目錄估計值用于激勵下一輪傳感器任務分配,從而形成一個用于綜合任務分配和跟蹤的自主閉環系統。經過五天的跟蹤期后,狀態目錄估計值將用于執行會合分析。我們將現有方法結合起來,為衛星間近距離接近的過濾和風險量化提供了一個計算效率高的工作流程。
分析的第二個問題是在存在機動目標時跟蹤多個目標。機動目標以不可預測的方式偏離其自然軌跡,通常需要專門的跟蹤算法才能獲得最佳性能。跟蹤此類目標的常用方法是交互式多模型濾波器,該濾波器可維持一組模型來表示目標的可能動態。未知動態可通過等效噪聲概念表示為白噪聲過程。這樣就能有效地跟蹤機動空間物體,但這種算法缺乏表征機動的能力。利用有限集統計,我們能夠開發出一種廣義標注多貝努利濾波器,允許整合任意動態模型。這樣,我們就能利用數據自適應方法,更具體地模擬未知動態,從而使濾波器除了進行機動目標跟蹤外,還能進行機動特征描述。我們還開發了一種基于考慮的最小二乘機動估計算法,該算法使用單次脈沖速度變化對未知動力學進行建模。這種機動的時間是通過多重假設法估算出來的。這種方法與我們提出的廣義標注多伯努利濾波器相結合,并應用于模擬地球靜止軌道衛星群,其中包括一顆執行未知機動的衛星。
大型星座跟蹤工作的結果表明,綜合任務分配和跟蹤算法能夠保持對所有模擬衛星的監護。在傳感器任務分配邏輯中加入了碰撞風險的衡量標準,從而提高了風險分析的準確性,但改進不大。我們假設,采用更通用的優化算法或不同的傳感器架構,可能會使基于任務目標的任務分配產生更大的影響。我們對機動目標跟蹤問題的研究結果表明,我們能夠以可接受的準確度描述機動動態。與實際機動相比,我們的表征絕對誤差相對較高,但我們能夠保持對所有目標的監護。在整個機動過程中,一致性指標保持穩定,這表明對估計的機動誤差不確定性進行了精確量化。未來的工作還包括將這項工作擴展到更大規模的場景,在這種場景中,由于機動檢測對計算效率的影響,機動檢測將成為一個更大的因素。此外,還需要進一步開展工作,將我們的算法擴展到低地軌道跟蹤場景中經常使用的非高斯狀態表示法。
圖 3.3:整合各種算法,形成自主風險感知衛星跟蹤系統。
過去幾十年來,在安全、監視、情報收集和偵察等許多領域,對目標跟蹤(OT)應用的需求一直在增加。最近,對無人駕駛車輛新定義的要求提高了人們對 OT 的興趣。機器學習、數據分析和深度學習的進步為識別和跟蹤感興趣的目標提供了便利;然而,持續跟蹤目前是許多研究項目感興趣的問題。本文提出了一個系統,實現了一種持續跟蹤目標并根據其先前路徑預測其軌跡的方法,即使目標在一段時間內部分或完全被隱藏。該系統分為兩個階段:第一階段利用單個固定攝像機系統,第二階段由多個固定攝像機組成的網狀系統。第一階段系統由六個主要子系統組成:圖像處理、檢測算法、圖像減法器、圖像跟蹤、跟蹤預測器和反饋分析器。系統的第二階段增加了兩個主要子系統: 協調管理器和相機控制器管理器。這些系統結合在一起,可以在目標隱藏的情況下實現合理的物體連續性。
近年來,計算機視覺和機器學習系統有了顯著改善,這主要是基于深度學習系統的發展,從而在目標檢測任務上取得了令人印象深刻的性能。理解圖像內容則要困難得多。即使是簡單的情況,如 "握手"、"遛狗"、"打乒乓球 "或 "人們在等公交車",也會帶來巨大的挑戰。每種情況都由共同的目標組成,但既不能作為單一實體進行可靠的檢測,也不能通過其各部分的簡單共同出現進行檢測。
這篇論文將描述一個用于進行視覺情境識別的新型系統,其目標是開發能夠展示與理解相關特性的機器學習系統。該系統被稱為 Situate,它能在給出情況描述和少量標注訓練集的情況下,學習目標外觀模型以及捕捉情況預期空間關系的概率模型。給定一張新圖片后,Situate 會利用其學習到的模型和一系列智能體對輸入內容進行主動搜索,以找到情況模型與圖片內容之間最一致的對應關系。每個智能體都會開發模型與輸入內容之間可能存在的對應關系,而 Situate 會為智能體分配計算資源,以便盡早開發出有希望的解決方案,但也不會忽略其他對應關系。
將把 Situate 與更傳統的計算機視覺方法(該方法依賴于檢測情境中的組成目標)以及基于 "場景圖 "的相關圖像檢索系統進行比較。將在情境識別任務和圖像檢索中對每種方法進行評估。結果表明了圖像內容和該內容模型之間的反饋系統的價值。
目標跟蹤是計算機視覺和自主系統的核心要素。因此,單個和多個目標跟蹤已被廣泛研究,特別是針對全運動視頻序列。從移動的機載平臺上獲取廣域運動圖像(WAMI)是最近的一項傳感器創新,它具有一系列國防和民用應用,提供了其他傳感器系統無法比擬的高密度空間和時間覆蓋的獨特組合。機載 WAMI 對目標跟蹤提出了一系列挑戰,包括大數據量、多相機陣列、圖像穩定、低分辨率目標、目標外觀變化和高背景雜波,尤其是在城市環境中。時間變化的低幀率大圖像給可靠的長期多目標跟蹤帶來了一系列困難。本論文的重點是特征概率跟蹤(LOFT)試驗臺系統,它是一種基于外觀(單實例)的目標跟蹤器,專為 WAMI 設計,采用先跟蹤后檢測的模式。在檢測前使用動態跟蹤的動機是為了在計算成本最低的環境中處理大規模數據。在城市場景中,由于存在許多相似的目標、雜波、高層建筑,因此在大畫面上到處搜索一個目標是不現實的,而且還會帶來計算成本大幅增加的額外負擔。LOFT 利用濾波和動態技術將搜索區域限制在大畫面中一個更現實的區域內,并利用多種特征來識別感興趣的目標,從而繞過了這一難題。感興趣的目標預計會以邊界框的形式輸入到算法中。這項工作的主要目標是提出一種符合 LOFT 先跟蹤后檢測模式的外觀更新建模策略,并展示整個系統與其他最先進的跟蹤算法相比的準確性,以及在使用和不使用該策略的情況下的準確性。在設計使用 Radon 變換的各種信息線索的更新策略時,我們考慮到了某些性能參數,例如計算成本的最小增加以及整個系統精確率和召回率的顯著提高。這一點已通過使用文獻中的標準評估技術來證明。作者認為,LOFT WAMI 追蹤器的擴展包括一個更詳細的外觀模型,其更新策略非常適合于持續目標追蹤,這一點非常新穎。在這項工作的幫助下,LOFT 的核心部分已作為多個政府研發項目的一部分進行了評估,其中包括美國空軍研究實驗室的 "指揮、控制、通信、計算機、情報、監視和偵察(C4ISR)企業到邊緣(CETE)"、美國陸軍研究實驗室的 "高級視頻活動分析(AVAA)"以及一個用于邊緣處理的云上細粒度分布式計算架構。為跟蹤標準視頻中的目標開發了簡化版 LOFT,并參加了與主要計算機視覺會議同時舉行的視覺目標跟蹤(VOT)挑戰賽。在城市場景的航拍 WAMI 中,包含擬議外觀適應模塊的 LOFT 能產生明顯更好的跟蹤效果。
在這篇論文中,試圖通過提出一種跟蹤管道來應對其中的大部分挑戰,這種管道是為處理特定困難而量身定制的,例如通過使用拉東變換的新用法來處理方向變化問題,通過使用多尺度特征來處理低像素級分辨率問題,通過在外觀信息不可靠時切換到預測來處理遮擋問題,以及設計一個足夠靈活的平臺,以便我們為研究人員提供一種更加標準化的方法來利用和研究單個模塊對不同類型數據集的整體跟蹤質量的影響。論文的其余部分安排如下。
第 2 章簡要介紹了跟蹤方面的文獻。WAMI 追蹤文獻與標準圖像追蹤有很大不同。從這一文獻調查中可以清楚地看出,各種技術都偏向于某一方。
第 3 章提出了我們新穎的跟蹤管道。LOFT 作為一個特征融合和外觀建模系統,具有高度模塊化的特點。第一步,目標和搜索區域需要用一個強大的特征集來描述。隨后是匹配步驟,在我們的案例中,匹配步驟包括多個一對一的特征匹配,然后是融合過程,將匹配信息匯總,生成一個單一的概率圖。此外,還介紹了有助于自動終止和智能處理特殊情況(如數據缺失或損壞)的其他模塊。
第 4 章介紹了拉東變換以及特殊情況下的方程。這一章介紹了在方位估算中使用該技術的原因和動機。
第 5 章介紹了我們提出的 LOFT 管道,其中增加了由方向估計得出的外觀建模。該章詳細回顧了拉東變換的技術和用法,隨后介紹了如何將這些信息轉換為有助于外觀建模的描述符的算法。
第 6 章介紹了我們的算法工程實現及其模塊。此外,還詳細介紹了與不同程序下其他系統的集成工作。模塊架構與交互圖一起展示。本章還介紹了一種用于插入額外 3D 信息的新方法,該方法有可能在航空圖像中實現更好的跟蹤效果。
第 7 章展示了我們的實驗方法,并介紹了數據和最終結果。我們詳細解釋了性能數據,并展示了 LOFT 如何優于文獻中的各種跟蹤器,同時還提供了一份詳細的性能表,說明添加外觀建模技術后的改進量。
第8章展示了我們在云計算架構上運行LOFT的合作成果。該章主要關注在流式圖像管道中以網絡模式運行災難場景時對 LOFT 的評估。利用云計算環境進行資源分配,并運行像 LOFT 這樣數據輸入量大的算法,將是使追蹤更加普及的一個步驟。本章重點介紹了此類系統的工程設計方面,并通過實驗展示了可擴展追蹤的可行性。最后一章總結了所提出的工作,并討論了未來的發展方向。
圖 3.1: 特征概率跟蹤(LOFT)處理管道顯示的主要組件包括特征提取、結合模板進行特征似然圖估算、使用支持向量機(SVM)分類進行車輛檢測、融合模塊(也包含基于運動預測和基于運動背景減法的融合模塊),以產生用于目標定位的融合似然圖。軌跡管理包括終止模塊、多重假設跟蹤(MHT)或不多重假設跟蹤(MHT)預測以及用于自適應目標建模的目標外觀更新。
過去幾十年來,在安全、監視、情報收集和偵察等許多領域,對目標跟蹤(OT)應用的需求一直在增加。最近,對無人系統新定義的要求提高了人們對 OT 的興趣。機器學習、數據分析和深度學習的進步為識別和跟蹤感興趣的目標提供了便利;然而,持續跟蹤目前是許多研究項目感興趣的問題。本論文提出了一個系統,實現了一種持續跟蹤目標并根據其先前路徑預測其軌跡的方法,即使該目標在一段時間內被部分或完全隱藏。該系統分為兩個階段: 第一階段利用單個固定攝像機系統,第二階段由多個固定攝像機組成的網狀系統。第一階段系統由六個主要子系統組成:圖像處理、檢測算法、圖像減法器、圖像跟蹤、跟蹤預測器和反饋分析器。系統的第二階段增加了兩個主要子系統:協調管理器和相機控制器管理器。這些系統結合在一起,可以在目標隱藏的情況下實現合理的目標跟蹤連續性。
現在,模擬被更頻繁地用于對現實世界或擬議系統進行實驗,以了解系統行為或評估改進策略。隨著時間的推移,大型企業越來越需要開發精密復雜的系統來與同行業競爭。而且,這些企業之間的聯系越來越緊密,就像一個網絡化的企業。這就進一步提高了開發能與其他企業互聯的越來越復雜的模擬的要求。在這方面,分布式仿真已廣泛應用于軍事領域,但在其他領域并沒有得到普及。這背后的原因是,在分布式仿真之間建立通信協議需要專業技術知識。科研行業一直在努力縮小這一差距,其中最重要的工作是制定高級架構(HLA)標準,為分布式仿真模型之間提供通用通信協議。
建模與仿真(M&S)行業也為開發人員提供了大量有關獨立仿真建模的文獻。在這種情況下,概念建模的重點是模型的準確性和效率,而不是互操作性。本研究也對此進行了詳細討論。直到最近,從業人員也一直在努力尋找對底層技術的支持。但隨著標準運行時基礎設施(RTI)和仿真開發平臺支持的引入,這一差距已經縮小。
HLA 標準承諾解決分布式仿真模型之間的互操作性問題,但只能提供語法層面的標準指南。因此,仿真互操作性標準組織(SISO)繼續開展研究,確定了從業人員在語義層面面臨的互操作性問題,并起草了一份互操作性問題清單。然而,已發布的 SISO-STD-006-2010 標準只指出了問題,卻沒有提供語義解決方案。
本研究的主要貢獻是提出了分布式仿真互操作性(DSI)框架,為《商用現成仿真包互操作性參考模型》(SISO-STD-006-2010)中列出的互操作性問題確定了語義解決方案。本研究建議將這些互操作性語義解決方案納入 HLA 對象建模模板規范。這樣做將有助于行業從業人員實現 HLA 的互操作性承諾,并使分布式仿真模型更具可重用性和可組合性。
毫米波(mmWave)雷達與光學傳感器不同,體積小巧、精度高、穿透力強且符合隱私保護標準,因此在多傳感器應用中無處不在。然而,光學傳感器的高分辨率和圖像數據集的廣泛可用性導致了使用光學傳感器的機器學習解決方案的快速發展,從而將毫米波雷達推向了輔助傳感器的角色。本論文針對醫療保健、軍事和自主感知領域,介紹了一系列嘗試利用傳感器融合和機器學習方法增強毫米波雷達能力的新方法。首先,論文介紹了骨骼姿態估計技術,該技術可檢測到 15-25 個關鍵點,三維定位誤差小于 3 厘米,可潛在應用于病人/老年人監測、步態分析和識別以及行人監測。其次,介紹了一種自動雷達標注方案,以鼓勵快速開發雷達圖像數據集,幫助自主感知。這項研究還包括使用傳感器融合特征向量和 12 維雷達特征向量進行目標分類,在車輛與行人檢測研究中,準確率分別達到 98% 和 92%。最后,利用雷達-攝像頭傳感器融合技術探索了基于 DNN-LSTM 的目標跟蹤方法和基于三卡爾曼濾波器的目標跟蹤方法,在這兩種方法中,系統不僅提高了定位精度,而且對單個傳感器故障具有魯棒性。基于 DNN-LSTM 的跟蹤器的優勢在于它不需要事先在雷達和攝像頭之間進行校準,而且對于確定單個傳感器提供的定位差異至關重要。基于三卡爾曼濾波器的方法將這些發現用于多目標跟蹤,精度達到 26 厘米,與最先進的方法不相上下,漏檢率小于 4%,與文獻中大于 16% 的 FNR 相比有了顯著提高。本研究提出的方法大大提高了感知能力,使自主系統更加安全。
本論文將雷達信號處理與數據驅動的人工神經網絡(ANN)方法相結合。信號處理算法通常基于對數據形成過程的建模假設。在某些情況下,這些模型足以設計出良好甚至最優的解決方案。
但在很多情況下,這些模型可能過于復雜,無法形成分析解決方案;可能過于簡化,導致實際結果與理論上的結果大相徑庭;可能是未知的,即多個已知模型或參數值中的一個可能適合數據,但我們不知道是哪個;或者過于復雜,導致解決方案的計算量過大。
數據驅動的方差網絡方法提供了彌合這些差距的簡單方法。我們在四項不同的研究中證明了這一點,在這些研究中,我們利用雷達數據模型來制定數據驅動型解決方案,這些解決方案既準確又具有計算效率。
我們將基于 ANN 的結果與計算要求極高的最小二乘法和窮舉匹配過濾法進行了比較。結果表明,ANN 的性能可與這些方法相媲美,但計算量卻很小。我們在使用各種參數值的模型采樣數據上訓練人工智能網絡。這自然可以處理漂移和未知參數值,它們可能會改變數據,但不會改變所需的預測結果。我們的研究表明,根據簡單模型的數據訓練出的 ANN 分類器的實際表現可能比理論預期的要差得多。我們通過將有限的真實數據與合成模型數據相結合來改善這種情況。在所有情況下,我們都使用了易于評估的模型。然而,這些模型的分析方法并不簡單,無法創建分析解決方案。
特別是,我們提出了一種實現非相干脈沖壓縮的方法,可在單脈沖寬度內分辨目標。我們提出了一種檢測微弱目標軌跡的方法,該方法無需事先假設目標加速度、信噪比等。我們介紹了在訓練無人機和非無人機目標分類器時納入不完美模型數據的不同方法。最后,我們介紹了一種估算海面多徑傳播路徑差的方法,用于目標跟蹤。
空中平臺的使用,如無人駕駛飛行器(UAVs),配備了攝像傳感器,對民用安全和安保領域的廣泛應用至關重要。其中,突出的應用包括監視和偵察、交通監測、搜索和救援、救災和環境監測。然而,由于大量的視覺數據和由此產生的認知過載,僅由人類操作員分析航空圖像數據往往是不可行的。在實踐中,基于適當的計算機視覺算法的自動處理鏈被用來協助人類操作員評估航空圖像數據。這種處理鏈的關鍵部分是在分析和解釋場景之前,準確檢測相機視野內的所有相關物體。由于相機和地面之間的距離較大,空間分辨率較低,這使得航空圖像中的物體檢測成為一項具有挑戰性的任務,而運動模糊、遮擋或陰影又進一步阻礙了這項工作。盡管在文獻中存在許多用于航空圖像中物體檢測的傳統方法,但由于物體的尺度、方向、顏色和形狀的高差異性,所使用的手工制作的特征的有限表示能力常常抑制了可靠的檢測精度。
在本文的范圍內,開發了一種新的基于深度學習的檢測方法,其重點是在俯視記錄的航空圖像中檢測車輛。為此,選擇了Faster R-CNN作為基礎檢測框架,因為與其他基于深度學習的檢測器相比,它的檢測精度更高。針對航空圖像的具體特點,特別是小物體的尺寸,系統地研究了相關的適應性,并確定了現實世界應用方面的問題,即由類似車輛的結構引起的大量錯誤檢測和推理時間差。我們提出了兩個新的組成部分,通過提高所采用的特征表示的上下文內容來提高檢測精度。第一個組件旨在通過結合淺層和深層的特征來增加空間背景信息,以說明精細和粗略的結構,而后一個組件利用語義標簽--圖像的像素級分類--來引入更多的語義背景信息。實現了將語義標簽整合到檢測框架中的兩種不同的變體:利用語義標簽的結果來過濾掉不可能的預測,以及通過共享特征表示將語義標簽網絡明確地并入檢測框架來誘導場景知識。這兩個部分都明顯減少了錯誤檢測的數量,從而大大地提高了檢測精度。為了減少計算量,從而減少推理時間,在本論文的背景下開發了兩種替代策略。第一個策略是將用于特征提取的默認CNN結構替換為針對航空圖像中的車輛檢測而優化的輕量級CNN結構,而后一個策略包括一個新的模塊,將搜索區域限制在感興趣的區域。所提出的策略使檢測框架的每個組成部分的推理時間明顯減少。與作為基線的標準Faster R-CNN檢測器相比,結合所提出的方法明顯提高了檢測性能。此外,在不同的航空圖像數據集上,現有的航空圖像中的車輛檢測方法在數量和質量上都優于其他方法。在從具有不同屬性的新的航空圖像數據集上收集的大量以前未見過的數據上,進一步證明了其泛化能力。
在過去的幾年中,計算機視覺領域的遙感技術已經取得了巨大的進展。這種成功和進步主要歸功于深度學習(DL)算法的有效性。此外,遙感界已經將注意力轉移到深度學習上,深度學習算法已經在許多圖像分析任務中取得了顯著的成功。然而,在遙感方面,由于數據采集和注釋困難造成的一些挑戰尚未完全解決。**本文收錄了利用計算機視覺、深度學習和人工智能在遙感領域的新發展。**發表的文章包括基本的理論分析,以及那些演示它們在現實問題中的應用。
//www.barnesandnoble.com/w/deep-learning-and-computer-vision-in-remote-sensing-mdpi-ag/1143186513