亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

有人/無人機協同系統是在無人機系統基礎上發展起來的一種新型協同作戰系統。隨著任務復雜度的不斷加深，僅憑無人機不能滿足各類任務需求，有人機承擔的指揮、控制和決策功能的重要性逐步增強，是系統任務執行效能得以提升的關鍵要素。憑借無人機強大的感知、計算、通訊能力以及機載飛行員的高級智慧和經驗，有人機和無人機可以實現協同編隊，完成各種復雜任務。深入分析了有人/無人機協同系統的架構及組成，總結了目前的發展狀況，提煉和歸納了系統的關鍵技術。最后對系統未來的發展方向進行了展望。 目前無人機研究領域相關技術的發展日趨成熟,已實現了對單一復雜任務的高效執行。然而隨著實際任務執行要求的提高,已經出現了一些僅靠傳統的單無人機甚至由多個無人機組成的編隊系統無法完成的任務,尤其是面向軍事領域的復雜任務。例如現役軍用無人機系統執行偵查、監視與情報(intelligence,surveillance and reconnaissance,ISR)的一體化聯合作戰任務[1]。當前的無人機雖能攜帶一些武器,如小型和大威力的精確制導武器、激光武器或反輻射導彈[2-3],但戰場環境瞬息萬變,現有的無人機系統并不能完全代替人類大腦做出精準的判斷和決策。更有效的方式是將有人機和若干架無人機組成混合編隊,并由載人機就近向無人機發布指令從而執行實時性要求較高的任務。該方向已經受到廣泛關注,并逐漸成為當前有人/無人機協同系統中的研究熱點問題。

當前民用無人機已經基本滿足大多數任務需求,并且民用領域的任務通常情況下并不十分復雜,且對相關技術如編隊協同控制、路徑規劃等問題的研究日趨成熟。相對而言有人/無人機協同系統在軍事領域的研究和應用較多,是近年來備受推崇和關注的多域作戰[4-5]和跨域協同作戰[6]中的熱點問題,本文中涉及該方向的相關介紹和研究綜述將以軍事領域為背景。

作為較先進的作戰體系,世界各國都在無人機作戰技術的發展基礎上開展了面向有人/無人機協同系統的研究。圖1為美空軍RQ-4B全球鷹大型偵察無人機。

圖1 RQ-4B全球鷹無人機 Fig.1 RQ-4B global hawk

以英國和美國為代表,兩國分別在有人/無人機協同作戰研究領域取得了成功。英國QinetiQ公司實現了有人機對無人機群戰術層面的協調與控制[7-8];美國麻省理工學院和波音公司合作實現了機載駕駛員利用語音傳輸與識別技術向無人機傳達指令協調執行任務。當前美軍的C2BMC(command and control,battle management and communications)系統是全球較為領先的指控系統[9],該系統具備了絕大部分有人/無人機協同系統的關鍵指揮控制類技術,如態勢感知、自適應規劃、通信、建模、仿真與分析等。目前國內對于有人/無人機系統的研究和發展仍處于起步階段,但針對各類自主無人系統的研究已經取得了不少成果,這些成果融合了人工智能、機器人技術、先進控制和決策等諸多高精尖科技成分[10]。筆者所在的研究團隊針對地面無人系統的多智能體平臺結合物聯網通訊技術開展了相關研究工作[11],近年來對無人機自主協同編隊控制問題進行了研究[12-13],后期考慮到人的干預行為,有望將有人控制與無人平臺深度融合實現有人/無人空地協同系統。縱觀國內外發展現狀,有人/無人機協同系統的理論研究與實現問題十分復雜,涉及諸多技術難點,如鏈路通信以及高標準的人機交互和人機智能融合等。因此,除了上述已開展的研究工作,無人機群的規模控制、戰力提升以及各種人機輔助操作、交互系統的開發[14]等也均為有人/無人機協同系統當前發展甚至將來仍需面對的問題。本文中將詳細總結并分析有人/無人機協同系統的組成架構,運行機理以及關鍵技術,并提出未來的發展方向。

未來智能化戰爭無人集群作戰中,計算力的云邊端供給成為重要模式,其邊緣計算技術作為關鍵使能技術,能解決作戰邊緣任務執行實時性差、帶寬受限、數據安全等問題。闡明無人集群背景下邊緣計算的概念和技術內涵,給出一個面向戰術邊緣的云-邊-端分布式系統框架,以實現無人集群作戰的信息互聯互通、戰場局部和全局態勢感知、群智能決策和協同控制;對該框架涉及的關鍵技術,包括邊緣計算框架、邊云協同、計算卸載、邊緣指揮控制等關鍵技術展開綜述;展望和總結了無人集群作戰下的邊緣計算技術,為未來智能化戰爭邊緣戰術提供了參考。

無人集群作戰是指通過多無人平臺的傳感設備獲取戰場實時數據,并通過可靠通信網絡實現信息交換,充分發揮自身作戰能力,以最大化作戰效益的一種作戰模式。該模式具有分布式決策、體系魯棒性高、效費交換比高等優勢,目前已成為未來無人作戰發展的主要趨勢之一。現代作戰中高效信息流通是保障作戰效率的關鍵因素。由于作戰環境充滿電磁輻射干擾,向云服務中心的請求通常會受限于較高的傳輸成本和時延。另外,對于傳統的中心式作戰決策模式,由于由局部態勢信息向中心的共享存在滯后和不一致問題,無法將決策中心、戰地指揮所與信息流末端的作戰平臺形成統一的調度和管理。通常高層決策中心決策時所依賴的信息已經過逐級處理,這勢必會把部分對態勢評估有價值的信息忽略掉。同時隨著越來越多的智能化作戰平臺投入戰場,終端會產生大量的數據而得不到及時的利用,龐大的信息整合與處理對指揮決策而言是一大挑戰。根據《解放軍報》2021年11月30日的作戰專論“智能化戰爭:強者勝的三個維度”,未來智能化戰爭中,連接力、計算力、認知力等新的戰斗力因子成為左右戰爭勝負的新變量,其中計算力強者勝理念推動了算力的云邊端供給模式。特別是近年來,美軍大力發展類似F-22戰機充當“戰斗云”(云+邊+端計算模式),提高無人系統的人工智能技術含量,以推動自主作戰平臺的自協同能力提升等。基于當前無人集群作戰的背景下,戰場決策與控制權逐漸從云上向戰術邊緣下沉,從平臺的角度來看,旨在充分開發邊緣平臺數據獲取、自主決策的能力。從作戰任務環境來看,決策與控制的下沉彌補了單平臺資源緊缺、信息受限、能力不足等缺點,能夠針對日益復雜的任務和動態變化的作戰邊界做出及時響應。云邊端模式下的邊緣計算具備低延遲、高安全性、低流量等優勢,能夠提供作戰平臺高可靠和隱私保護的本地計算服務,在軍事領域具有廣泛的應用需求和前景[1]。為此本文擬面向未來智能化戰爭的無人集群作戰技術,研究“云+邊+端”計算模式下邊緣計算的發展現狀和未來趨勢。本文對無人集群、邊緣計算的發展簡史以及整體過程進行縱向簡述,提出面向戰術邊緣的云-邊-端分布式系統框架,引出目前無人集群作戰背景下邊緣計算的關鍵技術;綜述了該框架涉及的邊緣計算框架、邊云協同、計算卸載、邊緣指揮控制等關鍵技術;闡明了無人集群邊緣計算發展趨勢并對全文進行了總結。

近年來,無人機已廣泛應用于電力巡檢、森林保護、快遞配送、交通監控等領域,無人機技術得到飛速發展。 無人機 具有數量多、體積小、速度快等特點,無人機進入非隔離空域成為必然趨勢,而沖突探測與解脫技術也成了當下的重點研究方 向。 沖突探測與解脫技術的提高對無人機飛行安全和飛行效益具有重要意義。 系統地梳理了當下中外的研究成果,對無人 機沖突探測與解脫問題進行了概述。 綜述了沖突探測與解脫的模型,從理論模型的角度闡述了沖突解脫的目標和約束條件; 并從方法論的角度對沖突探測與解脫的常用方法進行了總結。 最后從現有研究的不足出發,對無人機沖突探測與解脫未來 的研究趨勢和方向進行了展望。 隨著無人機技術的迅速發展,無人機數量急劇 增加。 2021 年底,《“十四五” 民用航空發展規劃》 提出要著力提升同行服務水平,大力引導無人機創 新發展[1] 。 無人機憑借其靈活度高、低能耗和實時 監控能力,已廣泛應用于監測、成像等領域。 無人 機數量的迅速增加給空域交通安全帶來了挑戰。 當前風險主要集中于無人機故障、無人機“黑飛”對 行人和基礎設施的風險,以及無人機飛行沖突的風 險。 為了在不同應用場景下保障無人機的飛行安 全,提高空域運行效率,沖突探測與解脫技術作為 保障無人機飛行安全的關鍵技術,需要進行重點 研究。 現整理中外有關無人機沖突探測與解脫的相 關文獻。 首先介紹無人機沖突探測與解脫的相關 概念;其次對無人機沖突探測方法進行總結;然后 從理論模型的角度介紹當下無人機沖突解脫的目標及約束條件,并介紹主要解脫方法;最后對未來 可研究方向進行展望。

近年來,隨著無人機技術的不斷發展與完善,無人機不僅在軍事領域發揮著重要作用,在民用領域也得到了廣泛應用。然而,隨著使用難度的不斷降低,無人機在給人們生產生活帶來巨大便利的同時,其“黑飛"與濫用也給國家、社會和人民造成了安全危害。因此,對低空無人機進行反制與防護的需求在軍、民領域均十分強烈。圍繞無人機在不同領域的應用狀況,介紹了低空無人機非合作飛行帶來的安全問題,對威脅種類及來源進行了討論;在此基礎上,著重對國內外反無人機技術的發展現狀進行了深入分析,對現有反無人機技術體系的組成及相關系統的優缺點進行了綜述。此外,結合低空反無人機系統研發的智能化、一體化、自主化問題,分析并討論了低空反無人機中探測與防護關鍵技術的未來發展趨勢。

近年來,隨著信息、控制、通訊等領域技術的不 斷發展成熟,使得無人機具有成本低、體積小、重量 輕、易 操 縱、靈 活 性 好、適 應 性 強、穩 定 性 高 等 優點[1灢2],帶動了無人機產業的整體飛速發展,促使消 費級和工業級無人機的使用門檻逐漸降低,在民用 及軍事領域都得到了廣泛應用[3]。 然而,雖然國內從事無人機研發和生產銷售的 企業超過400家,對消費級無人機操作人員的需求 總量超過10萬,但由于缺乏統一的行業標準和規 范,導致準入門檻較低,多數無人機的操控飛行都 處于“黑飛暠狀態,給各行各業帶來便利的同時,卻 使公共安全甚至國家安全受到了嚴重威脅。非合 作無人機入侵飛行的主要威脅可以分為五個方面: 威脅國家安全[4灢5]、威脅重要目標安全[6]、威脅空中 飛行安全[7]、威脅公共安全、侵犯公民隱私。從無 人機的飛行意圖是否受人為因素影響的角度來講, 還可將低空無人機所帶來的安全威脅來源大致分 為兩類: (1)被動非合作。對于被動非合作無人機而 言,其安全威脅來源主要是由通信失敗而導致的操 作失控。無人機系統主要由無人平臺、任務載荷、 測控通信系統、地面指揮控制等部分構成。其中測 控通信系統是實現人機結合的關鍵,也是無人機飛 控安全性的最大保障[8]。測控通信系統主要依靠 數據鏈路傳輸信息來完成對無人機的遙控、跟蹤定 位和信息傳輸[9],若數據鏈路中斷,則會造成無人 機操作失控,導致其飛行軌跡發生不可預測的變 化,成為被動非合作目標。該類型目標失控后,其 后果嚴重者一般為硬著陸,不僅可能導致機身損 毀,還有很大概率會對地面人員和設施造成安全 危害。 同時,隨著無人機應用范圍的拓展,無人機數 量幾乎呈爆炸式增長態勢,這會導致同一空域內同 一飛行空間中的無人機數量過多,極其容易使無人 機對 各 自 的 飛 行 產 生 影 響,例 如 發 生 空 中 相 撞 等[10];更為嚴重的是,會對空域內其他飛行器產生 安全威脅,例如民航班機等。 (2)主動非合作。相較于被動非合作式的低 空無人機,主動非合作目標是指操作人員有意識地 利用無人機進行飛行入侵任務,受操作人員主觀意 識的影響,主動非合作的無人機會對公共安全和國 防安全造成更大的危害[11]。例如,2016年3月,在 阿塞拜疆和亞美尼亞爆發的戰爭中首次出現了“自 殺式無人機暠,阿塞拜疆空軍將無人機作為先頭部 隊執 行 爆 炸 任 務 襲 擊 目 標,而 不 是 直 接 發 射 導 彈[12],亞美尼亞國防部稱,無人機攻擊了一輛搭載 亞美尼亞志愿軍的大巴,造成7人死亡[13]。 隨著無人機在軍民用領域的快速推廣與應用, 加大對無人機使用的法律法規監管、加快無人機反 制技術的研發已迫在眉睫。本文主要從技術層面 對現有反無人機系統的原理和特點進行闡述與分 析,并結合針對“低、慢、小暠目標的探測與防護技術 的最新進展,對低空反無人機系統的未來發展趨勢 進行分析與討論。

隨著軍用地面無人系統研究的深入，單一的地面無人機動平臺或任務載荷很難滿足現代戰場的需求，只有任務載荷和機動平臺協同發展，地面無人系統才能在戰場中真正形成戰斗力。為進一步推動任務載荷與機動底盤協同技術的發展，綜述了搭載任務載荷軍用地面無人系統的發展背景、研究現狀及技術特點，分別從多層次多維度的環境建模、基于多模態數據的通行度估計、基于多智能體協同建模的協同規劃控制優化方法三方面對其關鍵技術進行闡述，總結了相關的研究框架和重點，并對搭載任務載荷軍用地面無人系統未來的發展方向進行了展望。

近年來，由于軍用地面無人系統在戰場中的廣 闊應用前景，世界各國紛紛投入大量的研制資源， 軍用無人系統發展迅猛[1]。軍用地面無人系統一般 由地面無人機動平臺與具有執行特定任務的上裝任 務載荷構成，如偵察設備[2-4]、火力打擊設備[5-6]、排 爆設備[7-8]等。軍用地面無人系統在執行協同打擊、 機動偵察等復合任務中，可以獲取多模態的態勢信 息[9]，通過集中式算法快速處理多源信息進而下達 作戰指令；而有人作戰系統中車長、炮長、駕駛員 需要三人協同完成任務，因此在安全性、可靠性、 靈活性上軍用無人系統均具有優勢。順應陸軍新型 的非接觸、非對稱、零傷亡的作戰模式，搭載任務 載荷的軍用地面無人系統開始成為戰場環境中重要 的作戰力[10]。2015年，俄羅斯首次將軍用地面無人 系統投入敘利亞戰場，利用地面無人系統與無人機 形成空地一體戰斗集群系統，俄軍以零傷亡的代價 消滅了近兩百名恐怖分子。2020年7月，美國陸軍將 重型無人戰車納入作戰部隊單位，參加了科羅拉多 州卡森堡的士兵作戰試驗，成功完成相關測試。2023 年，在俄烏沖突中，俄羅斯在烏克蘭軍事沖突區中 投入“馬克”軍用無人打擊系統。

無人機具有體積小、靈活性強、航拍視野廣等特點，廣泛應用于警用巡查、城市交通監管、天氣監測、 電力巡檢、應急救援救災等行業。近年來，隨著計算機視覺領域的蓬勃發展，基于深度學習的目標檢測 技術逐漸應用于無人機領域，并不斷得到改進和加強。本文系統性地闡述了基于深度學習的目標檢測技 術發展歷程和研究現狀。針對現階段無人機航拍影像小目標多、背景復雜、目標尺度變化大的特性，歸 納和分析了近期對無人機目標檢測的相關研究。最后，展望了基于深度學習的無人機目標檢測技術的未 來發展趨勢。 隨著科技的發展，無人機(UAV)已經擺脫了過去的軍事用途，逐漸擴展到民用和商用領域。隨著無 人機技術的發展，基于深度學習的目標檢測技術已成為無人機應用領域的重要研究內容[1]。將目標檢測 技術應用于無人機上，實現在航拍視角下對地面場景的目標檢測和識別。然而，在無人機航拍圖像中， 檢測對象多為小目標，受航拍視角影響，目標尺度變化較大；圖像背景復雜，目標對象易被遮擋。給無 人機的目標檢測帶來了諸多挑戰[2]。常規的目標檢測算法應用于無人機上難以保證檢測精確度，優化無 人機的目標檢測性能成為了無人機應用領域的重要研究內容[3] [4]。本文首先介紹基于深度學習的目標檢 測研究進展，然后總結現階段無人機領域目標檢測的研究難點，針對小目標檢測、背景復雜、多尺度變 化三個方面進行改進和優化的各類方法進行了闡述。最后，對未來無人機目標檢測的研究方向做出了展 望。

無人集群系統是近年來國內外軍事領域的研究重點, 正在推動無人作戰樣式由 “單平臺遙控作戰” 向海陸空協作的 “智能群體作戰” 轉變. 綜述了近年來國內外在無人集群系統方面的最新研究進展, 包括軍事、國防和學術領域在無人系統自主 協同技術方面的探索和實踐, 闡述了無人集群系統相關的關鍵技術, 包括多 Agent 系統自主協同、多 Agent 系統態勢共識、未 知系統動力學、群體智能理論與技術、機器學習方法、行為決策方法以及實驗場景模擬等, 分析了不同關鍵技術的技術特征、 面臨挑戰和發展趨勢.

2018 年美國國防部頒布《國防部人工智能戰略 摘要》, 強調人工智能技術在軍事領域的應用, 并于 同年發布了無人集群系統并行作戰場景[1]. 2017 年 至今美國戰略和預算評估中心連續發布針對中俄兩 國的馬賽克式集群作戰等顛覆性作戰模式, 打造全 球范圍內的武器系統協同作戰[2] . 我國國務院在 2017 年提出《新一代人工智能發 展規劃》, 倡導人工智能領域的軍民融合, 以加快國 防技術的成果轉化, 并為指揮決策、軍事論證和國防 科研提供有力支撐[3] . 其中, 以群體智能為核心技術 的無人集群系統自主協同作戰是未來戰爭重要樣式, 美軍已經啟動高度自主智能化集群武器裝備的研究. 我軍也在積極探索利用人工智能算法提高無人系統 的智能化水平, 以取得戰爭主動權. 進一步看, 現代 戰爭中戰場環境瞬息萬變, 僅僅通過單系統的協作 不可能完全掌握戰場環境和態勢, 海、陸、空多類智 能系統的協同感知、聯合攻擊必將成為未來戰爭的 作戰模式. 2020 年 1 月, 中國科學院發布的《2019 年 人工智能發展白皮書》中, 將” 群體智能技術” 列為 了 8 大人工智能關鍵技術之一[4] . 同時, 無人裝備具 有低成本、小型化、功能單一、組網靈活等特性, 使 得無人裝備集群作戰通過數量優勢來打擊敵人. 在 網絡環境下, 這類由異質、異智系統 (智能體) 通過 彼此之間的信息交互構成的多維異構無人集群系統, 看作是異構智能群體系統, 即多智能體 (Agent) 系統. 其中, Agent 是對外界的刺激作出適當反應的實體, 不是被動的接受消息和控制. 展望未來, 誰懂得如何最好地使用無人集群智 能系統, 誰就有望在戰爭中取得巨大優勢.

具有沉浸顯示、智能輔助、自然化人機交互等先進控制能力的新型無人機地面站已成為當前無人機控制領域的研究熱點。為分析其中的技術脈絡,系統性地梳理國內外一系列無人機先進地面站的功能要點及設計理念,在此基礎上從無人機地面站指揮控制的觀察—判斷—決策—行動回路出發,歸納提煉了其技術體系構成,分析指出了其中的任務環境構建、戰場態勢沉浸式顯示、智能化輔助決策和自然化人機交互等關鍵技術,并對各項技術的主要研究方法進行了深入剖析,還對無人機先進地面站目前存在的挑戰和未來發展趨勢進行了研判。該研究對新型地面站的研制具有指導和借鑒意義。

遙感圖像匹配是遙感圖像處理的關鍵基礎,一直是國內外學者研究的熱點.由于多模態圖像具 有輻射差異、幾何差異、尺度差異、視角差異、維度差異等特性,目前尚未出現一種普適性強的通用匹配 方法.隨著遙感、人工智能、大數據等技術的不斷發展和應用領域的持續拓展,圖像匹配技術體系也在 不斷地發展和演化.本文在系統梳理圖像匹配技術發展歷程的基礎上,對多模態遙感圖像匹配分類體 系進行了歸納總結,從特征驅動和數據驅動兩方面論述了多模態圖像匹配技術研究的最新進展,并指出 其面臨的核心困難及未來發展趨勢,以期推動多模態圖像匹配研究更加深入發展.

//www.proquest.com/docview/2762943583?pq-origsite=gscholar&fromopenview=true

0. 引言

遙感圖像匹配是遙感圖像處理中的基礎任 務,是指通過空間變換將一幅圖像映射至不同時 相、不同角度、不同光照等條件下獲取的同一場景 的另一幅或多幅圖像中,在該兩幅或多幅圖像之 間建立空間對應關系的過程[１Ｇ２].遙感圖像匹配 作為遙感圖像拼接、融合、變化檢測和目標定位等視覺處理與理解任務的核心基礎,在自然災害應 急、損毀評估等領域發揮著重要作用[３].隨著遙 感技術的高速發展,可見光、多/高光譜、紅外、合 成孔徑雷達(SAR)、激光雷達等覆蓋天空地不同 平臺的傳感器不斷涌現,為人類對地觀測提供了 多種數據源[４Ｇ５].如何有效集成多傳感器、多分辨 率和多時相的遙感數據,對其進行深入處理分析, 已成為現階段遙感領域研究的熱點與重點,而多 模態遙感圖像匹配則是其中迫切需要解決的核心 問題之一.多模態遙感圖像匹配通常指不同傳感器(如 可見光和SAR傳感器,可見光和紅外傳感器等)、 不同成像平臺(如衛星平臺與航空平臺、航空平臺 與地面車載平臺等)之間的圖像匹配,圖像之間存 在典型的“五差異”(成像特性差異、幾何差異、尺 度差異、視角差異、維度差異等的一種或幾種)和 “三不同”(不同環境、不同天氣、不同天候等),給 高精度匹配帶來了極大的困難[６Ｇ８].其難點主要 表現為:①圖像匹配的核心是要找到同名特征,但 由于多模態圖像特征異構,如何準確定義和描述 同名特征,如何對同名特征進行表征是個難題; ②多模態圖像之間的同名特征很難提取,即使在 不同視角和維度下提取到同名特征,也存在不完 整、難對應的情況;③在特征表征和描述不完備情 況下,很難定義有效的相似性測度來度量兩個特 征集間的相似性.

成像傳感器的不斷涌現和應用成像方式的各 種變化給多模態遙感圖像匹配帶來持續不斷的挑 戰,對其研究和應用是學術界和工業界持續關注 的焦點之一.國內外眾多研究機構(如武漢大學、 電子科技大學、西北工業大學、西南交通大學、中 國科 學 院、曠 視 研 究 院、洛 桑 聯 邦 理 工 學 院(EPFL)等)和學者提出了大量的多模態圖像匹 配方法[９Ｇ１２].關于圖像匹配方法的大賽也如火如 荼,如 CVPR２０２１Image Matching、２０２０ 年“智 箭??火眼”人工智能挑戰賽等,這些比賽均受到了 眾多關注.從最初互信息(mutualinformation, MI)和相位相關(phasecorrelation,PC)方法被適 用于多源遙感圖像匹配[１３Ｇ１４],到許多學者通過設 計改造特定的手工特征描述用于多模態圖像匹 配,再到深度學習技術被用來解決多模態圖像匹 配難題,多模態圖像匹配技術在近幾十年得到了 長足的發展.目前的一些綜述文獻對圖像匹配進 行了分類整理[１５],這些研究普遍認為圖像匹配是 一個復雜的綜合處理過程,僅靠單一圖像匹配算 法無法解決所有的圖像匹配問題[１６Ｇ１８],但是并未 對多模態圖像匹配理論和方法進行系統分析,也 沒有提出較為系統的解決方案.總體來說,盡管 多模態圖像匹配方法和應用都取得了很大進展, 但是目前尚未出現一種普適性強、適用于所有情 況的方法.

１ 多模態圖像匹配發展現狀

多模態圖像匹配方法根據數據源角度可以分 為:可見光與 SAR 圖像匹配、可見光與紅外圖像 匹配、紅外圖像與 SAR 圖像匹配、可見光與多光譜圖像匹配、遙感圖像與 GIS矢量匹配、遙感圖 像與視頻數據匹配、遙感圖像與三維點云匹配. 根據傳感器平臺可以分為:衛星影像與航空影像 匹配、航空影像與地面照片匹配、衛星影像與地面 照片匹配[１９].一般認為,多模態圖像匹配方法是 在傳統的圖像匹配方法基礎上發展起來的,可劃 分為基于特征驅動的匹配方法和基于數據驅動的 匹配方法.以時間脈絡為序,多模態圖像匹配方 法主要包括以下３個典型的發展階段(圖２): (１) 萌芽期(１９７０—１９９０ 年).最初的圖 像 匹配是利用相關系數實現,通過計算圖像中選定 的模板區域的相似性,從中構建圖像之間的匹配 關系.把圖像信號最為相似的區域稱為同名區 域,同名區域的中心點稱為同名點,這就是最初相 關系 數 圖 像 匹 配 基 本 原 理,也 稱 之 為 模 板 匹 配 (templatematching),現有圖像匹配方法基于模 板匹配雛形發展而來.在該類匹配算法中常用的 相似性度量函數包括差方和(SSD)、歸一化互相 關(NCC)、互信息(MI)和相位相關(PC)等[２０Ｇ２２]. 最初學者們發現,一般 SSD、NCC 和 PC 受非線 性灰度畸變的影響很大,難以應用于多模態圖像 匹配.互信息(MI)被證明在一定程度上能夠抵 抗非線性灰度畸變,能適用于多源圖像匹配中,但 具有較高計算量.

(２) 第一次發展期(１９９０—２０１５ 年).主要 以基于特征的匹配方法為主,通過從參考圖像和 待匹配圖像中提取一些共同特征作為匹配基元, 然后通過建立匹配基元之間的對應關系,求解變換模型參數,完成匹配.特征主要分為面特征、線 特征和點特征.面特征主要是使用區域分割的方 式得到的.線特征主要是提取圖像邊緣和紋理信 息,包括 LOG 算子[２３]、Canny 算 子[２４]等.點 特 征是目前研究最多的一種,是根據某種策略在圖 像中提取一些具有一定不變性的點,然后使用某 種描述方式,將該點附近的局部信息進行描述,其 中 包 括 Harris 角 點 檢 測[２５]、SIFT 描 述 子[２６]、 SURF描述子[２７]等.針對多模態圖像許多學者 提出了基于幾何結構的特征描述,包括 HAPCG 和 RIFT 等描述子.與基于區域 的 匹 配 方 法 相 比,基于特征的匹配方法并不直接作用于圖像灰 度,它表達了更高層的圖像信息,這一特性使得基 于特征的匹配方法對圖像的灰度變化、圖像變形 及遮擋都有較好的適應能力,極大地擴展了圖像 匹配技術的適用范圍. (３)第二次發展期(２０１５ 年至今).隨著深 度學習的發展,眾多深度學習網絡結構(如卷積神 經網絡(CNN)、生成式對抗網絡(GAN)等)在圖 像處理領域取得了較大的成功[２８Ｇ３０].CNN 中的 卷積層具有強大的特征提取能力,在網絡訓練的 過程中,通過監督信息和反向傳播函數更新網絡 層參數,使得 CNN 對非線性畸變和噪聲等具有 較好的穩健性.GAN 通過對抗訓練的方式來使 得生成網絡產生的樣本服從真實數據分布,為樣 本數據受限下的深度學習異源匹配提供了解決途 徑.深度學習為多模態圖像匹配的研究提供了更 多發展空間. 目前主流的多模態圖像匹配方法主要分為特 征驅動的匹配方法和數據驅動的匹配方法.特征驅動的匹配方法主要靠直覺和研究者的專業知識 驅動,數據驅動的匹配方法主要依靠大量數據來 學習建立及優化匹配模型.與數據驅動的匹配方 法相比,基于特征的匹配方法在性能方面相對較 差,適用于處理訓練數據和測試數據為同一場景 的圖像,該方法大多針對某一難點或某一應用而 設計,很難設計出普適性很強的描述符,其優點是 不需要數據或者只需少量數據,計算時間較快. 數據驅動的匹配方法性能更高,主要通過學習數 據中的多樣性,適用于不同的數據集和應用,但該 方法參數的選擇可能需要端到端的梯度下降法進 行訓練,需要大量的訓練數據來保證其穩健性,計 算時間相對較慢.由于深度學習技術的突出優 勢,深度學習和圖像匹配的融合已逐步成為主流 方法.

２ 特征驅動的匹配方法

特征驅動的匹配方法從原理上大體可分為基 于 區 域 的 匹 配 算 法 和 基 于 顯 著 特 征 的 匹 配 算 法[３１],也有學 者 為 了 減 小 多 模 態 圖 像 匹 配 的 難 度,結合一些先驗知識輔助匹配過程[３２].

2.1 基于區域的匹配方法

基于區域的匹配方法直接利用預設的模板窗 口上的灰度信息作為基準進行匹配,通過定義一 個相似性度量來計算模板窗口間的相似性,選擇 相似性最大的一對模板窗口作為匹配結果.由于 基于區域的匹配是對圖像模板區域的整體像素點 信息進行分析處理,一般具有較高的匹配精度,但 由于該圖像匹配方法對成像條件、圖像形變(特別 是要求圖像對具有極高的重疊度)及噪聲極其敏 感,同時具有較高的計算復雜度,從而限制了其應 用能力.對基于區域的匹配方法進行細分又包含 基于空間域的方法和基于變換域的方法.

2.2 基于顯著特征的匹配算法

基于顯著特征的圖像匹配方法彌補了基于灰 度特征匹配方法的不足,在對存在仿射變換、投影 變換的圖像對之間的匹配也具有很好的效果.同 時,由于基于顯著特征的匹配算法不是針對整幅 圖像進行匹配,而是在圖像中提取出一系列具有代表性的特征,然后將兩圖像間的特征進行匹配, 這樣就使得算法復雜度大大降低,匹配速率較快. 在一些對實時性要求較高的應用中,通常都使用 基于顯著特征的圖像匹配算法.基于顯著特征的 匹配核心結構包括特征檢測、特征描述和特征匹 配等方面.

2.3 先驗信息輔助匹配

經過多年的研究,眾多學者逐漸達成共識:遙 感圖像的很多處理(包括匹配、分割、檢測、提取 等)需要高層知識的介入才能得到徹底的解決. 受限于人腦和視覺理論研究,多年來遙感圖像匹 配一直停留在“圖像數據”這個層面.比較經典的 利用知識進行圖像匹配的方法是借助先驗信息, 利用先驗信息來有效抵抗多模態圖像匹配中非線 性畸變和幾何形變等因素帶來的影響,例如成像 參數信息、DEM 數據信息等,利用這些信息去引 導或驗證匹配,從而提高匹配的準確性.高精度 POS數據等先驗信息通常被作為輔助信息用來 解決視角和尺度變化造成的匹配難題.在特征點 匹配之前對影像進行全局幾何糾正,整體上消除 或降低影像幾何變形的影響,再采用傳統特征描 述和匹配方法進行特征點匹配[７０Ｇ７２].利用地理語義知識來輔助進行圖像匹配是另 一種常用 方 法,比 如 利 用 GIS 數 據 中 的 分 類 信 息,或者對圖像上的建筑、水體、道路等地方事先 進行語義信息提取.文獻[７３]在無人機圖像與衛 星圖像匹配上利用道路信息,解決高空城市場景 匹配定位的問題.通過利用 UＧnet網絡提取圖像 語義信息,結合該信息來提高匹配精度.雖然利 用語義信息能夠提升算法穩健性,但同樣局限了 算法的應用場景,在語義缺失場景下難以部署.

３ 數據驅動的匹配方法

數據驅動的匹配方法就是利用深度學習技術 從大量訓練數據中學習構建匹配的模型,許多學 者嘗試將其應用于解決多模態匹配難題[７４].相 較于特征驅動的方法,數據驅動的方法基于深度 學習對深層特征有著優越的學習和表達能力,在 圖像匹配問題上嶄露頭角并取得了初步成效[７５], 能夠直接從包含相同或相似結構內容的圖像對中 學習到像素級別的匹配關系,并且能夠更好地適 應非線性輻射和噪聲等因素帶來的影響.基于數 據驅動的方法可分為兩類:一類為通過構建神經 網絡結構替換部分匹配環節,可稱為單環節深度 網絡;另一類為構建端到端的神經網絡結構完全 替換圖像匹配的整個過程,稱為端到端深度網絡. 端到端的網絡同時也可以用于圖像的預處理過 程,就是通過圖像合成、風格遷移等技術,根據不 同模態圖像的成像特性,對不同模態的圖像進行 風格轉化,用于擴充多模態圖像數據集或直接轉 換成同模態圖像形式進行匹配[７,１５].

(１) 單環節深度網絡.

單環節深度神經網絡 僅替換部分匹配環節,該種方式往往更加靈活,可 根據不同的需求結合其他各具優勢的結構構建完 整的匹配模型.許多學者通過深度學習從圖像中 檢測更精確可靠的特征點集、學習每個特征點的 主要方向或主要尺度及其更具有區分性和可匹配 能力的特征描述子.D２net [７６]創新性地構建了檢 測特征和特征描述為一體的網絡結構,通過使用 CNN 計算特征圖,然后通過將這些特征圖進行切 片 的 方 式 來 計 算 描 述 子,并 且 提 取 關 鍵 點. CMMＧNet [７７]通過對 D２net改進并用于多模態圖 像匹配中,該方法使用動態自適應歐氏距離閾值 和 RANSAC算法共同約束來剔除錯誤匹配點, 在異源遙感圖像的匹配上展示出優良的匹配效 果.一種結合深度學習和傳統局部特征由粗到精 的匹配方法[７８]曾被應用于多模態圖像匹配中,該 方法首先通過 CNN 提取深度特征進行粗匹配, 再通過結合更精確的局部特征來調整粗匹配結 果,從而產生更穩定的匹配結果.有學者設計了 一種基 于 Siamese 的 多 模 態 圖 像 特 征 提 取 網 絡[７９],旨在提取多模態圖像之間的共同特征,該 網絡通過去除池化層和從Siamese網絡中提取特 征層進行優化,以保持特征信息的完整性和位置 準確性,從而更加有效提取多模態圖像之間的共 同特征.也有學者通過采用最大正樣本和負樣本 特征距離作為損失函數,基于 Siamese網絡結構 來訓練一種全卷積神經網絡學習多模態圖像塊的 描述符表示[８０].該方法在多模態匹配上展示出 不錯的匹配效果.通過深度學習來對待匹配圖像 進行預校正也是個不錯的思路,一種基于深度學 習和高斯特征的旋轉不變多模態圖像匹配方法通 過訓練一種名為 RotNET 的神經網絡來預測圖 像間的旋轉關系,再通過構建面向梯度的高斯金 字塔特征(GPOG)來匹配兩幅圖像[８１].該方法 表現出對圖像旋轉和非線性輻射差異有著較好的 穩健性.還有些學者利用深度學習學習描述子之 間更可靠的相似性度量準則等[８２],代表性的方法 如SuperGlue [８３]構建了一個進行特征匹配以及粗 差剔除的網絡.SuperGlue通過將特征匹配問題視為求解可微分最優化轉移問題,從而構建循環 神經網絡 GNN 來解決該問題.而且 SuperGlue 根據注意力機制提出了一種靈活的內容聚合機 制,這使它能夠同時感知潛在的３D 場景并進行 特征匹配.這類方法通過構建深度神經網絡來學 習相似性測度匹配、粗差剔除,能夠靈活地與不同 匹配方法結合,從而達到對不同匹配方法改進的 效果. 這些方法基于深度學習強大的深度特征提取 能力和高維特征表征能力,通過訓練單獨的網絡 來替代多模態圖像匹配的某一環節,與其他方法 結合構建整體的多模態圖像匹配模型,具有較大 的使用靈活度.

(２) 端到端深度網絡.

基于深度學習直接設 計一個端到端的匹配網絡,如設計一種全自動多 尺度多模態圖像匹配框架[８４],該框架由３個神經 網絡結構組成,分別對應著特征空間提取、基于特 征空間相關函數的匹配和離群點剔除,對于光學 和 SAR 圖 像 匹 配 具 有 較 好 的 匹 配 效 果. LoFTR [８５]在粗粒度上建立圖像特征的檢測、描述 和匹配,然后在精粒度別上細化亞像素級別的密 集匹配,且借鑒 Transformer使用了自注意層和 互注意層來獲得兩幅圖像的特征描述符.端到端 的網絡結構能夠同時學習特征檢測、特征描述符、 相似性測度和粗差剔除,在訓練時通過信息反饋 能夠使特征匹配全流程最優化,但單獨使用這類 方法學習到的特征描述符時難以保證匹配效果. 通過風格遷移的方式將不同模態的圖像轉化 為統一模態的圖像也是一種解決多模態圖像匹配 難題的有效途徑.深度學習中的生成對抗網絡 (generativeadversarialnetwork,GAN)通過對抗 訓練的方式來使得生成網絡產生的樣本服從真實 數據分布,為樣本數據受限下的深度學習異源匹 配提供了解決途徑,可充分利用深度學習強大的 非線性表征能力實現異源影像匹配.CGAN [８６] 通 過 融 合 殘 差 網 絡 (Resnet)和 稠 密 網 絡 (DenseNet)構建一種并行生成器模型,有效融合 了各分支網絡結構的優點,在紅外—可見光圖像 轉換中展示出優良效果.SKＧGAN [８７]則以動態 感受野獲取多尺度信息的生成結構提高了生成圖 像的質 量.KCGＧGAN [８８]通 過 使 用 kＧmeans分 割作為圖像生成器的輸入之一,以此通過約束空 間信息合成來提高生成圖像的質量,在SAR和光 學圖像匹配上得到很好應用. 基于數據驅動的多模態圖像匹配方法利用深 度學習技術從數據中獲取高層的語義信息進行匹 配,有著很強的泛化性,更接近人類視覺先觀察學 習后了解掌握的原理,能有效地處理較大的輻射 和幾何差異,且有著較好的適應性,但同時也會對 設備以及多模態圖像訓練數據集有著更高的需 求,相 比 于 特 征 驅 動 的 方 法 處 理 流 程 更 加 復雜[８９].

4 總結與展望

圖像匹配問題由來已久,學者們根據實際單 方面需求在理論上進行突破使得現有的方法具有 一定的實際應用能力.從當前圖像匹配的研究現 狀來說,可選的圖像匹配方法種類非常多,不同方 法適合不同的情況.筆者對各類算法進行簡要總 結,見表１.

目標跟蹤一直都是計算視覺領域研究的熱點課題之一,作為計算視覺的基礎學科,其應用已經滲透到各個領域,包括智能監控、智能人機交互、無人駕駛以及軍事等方面。目標跟蹤從跟蹤對象的數量角度可分為單目標跟蹤和多目標跟蹤,其中單目標跟蹤相對簡單,除了需要解決與多目標跟蹤共性的問題(如遮擋、形變等)外,單目標跟蹤不需要考慮目標的數據關聯問題。然而,在多目標跟蹤系統中,場景更為復雜,跟蹤目標的數量和類別往往是不確定的,因此數據關聯在整個跟蹤系統中就顯得尤為重要。數據關聯是多目標跟蹤過程中的一個重要階段,國內外很多學者甚至將多目標跟蹤問題看成數據關聯問題,試圖從數據關聯過程中尋求多目標跟蹤研究方法。文中重點對多目標跟蹤過程中的數據關聯技術進行了綜述,系統地介紹了多目標跟蹤中的數據關聯技術。首先,對目標跟蹤,尤其是多目標跟蹤進行了概述,并對數據關聯的研究現狀做了描述;其次,詳細介紹了數據關聯的概念及其需要解決的問題;然后,對各種數據關聯技術進行了分析總結,包括傳統的NNDA算法、JPDA算法、基于Tracking-By-Detecting 的多目標跟蹤框架的數據關聯技術以及多目標多相機跟蹤(Multi-Target Multi-Camera Tracking,MTMCT)的數據關聯;最后,對未來多目標跟蹤的數據關聯技術的研究方向進行了展望。

//www.jsjkx.com/CN/10.11896/jsjkx.200200041