在許多淺水和沿海水域應用中,視覺制導水下機器人與人類潛水員一起執行合作勘探、檢查和監測任務。這類陪伴機器人最基本的能力是在水下任務的各個階段以視覺解讀周圍環境并協助潛水員。盡管近年來技術不斷進步,但現有的實時視覺感知系統和解決方案在很大程度上受到能見度低、光照變化和突出特征稀少等海洋因素的影響。而水下光傳播的脆弱性(如與波長相關的衰減、吸收和散射)所導致的一系列非線性圖像失真又加劇了這些困難。在本論文中,我們提出了一套新穎的改進型視覺感知解決方案,以應對這些挑戰,從而實現有效的水下人機合作。研究成果包括底層視覺和基于學習的算法的新穎設計和高效實施,以及廣泛的現場實驗驗證和單板部署的實時可行性分析。
論文分為三個部分。第一部分側重于為自動潛航器(AUV)開發實用的解決方案,以便在執行水下任務期間陪伴人類潛水員。其中包括基于視覺的強大模塊,使自動潛航器能夠理解人類的游泳動作、手勢和身體姿勢,以便在保持平穩的時空協調的同時跟隨人類并與之互動。一系列封閉水域和開放水域現場實驗證明了我們提出的感知算法在水下人機合作中的實用性和有效性。我們還確定并量化了這些算法在不利視覺條件下不同操作約束條件下的性能變化。論文的第二部分致力于設計高效的技術,通過恢復水下圖像的感知和統計質量來克服能見度低和光學失真的影響。我們進一步證明了這些技術作為視覺導航自動潛航器自主流水線預處理器的實際可行性。最后,本論文的第三部分開發了高層次決策方法,如為快速視覺搜索建立空間注意力模型,學習識別何時需要圖像增強和超分辨率模塊來實現詳細感知等。我們證明,這些方法可將機載視覺感知模塊的處理速度提高 45%,使自動潛航器能夠做出智能導航和操作決策,尤其是在自主探索任務中。
總之,本論文描述了我們為解決水下人機合作實時機器視覺所面臨的環境和操作挑戰而進行的嘗試。針對各種重要應用,我們開發了穩健、高效的模塊,讓自動潛航器在僅依靠嘈雜的視覺傳感的情況下,通過準確感知周圍環境來跟隨同伴潛水員并與之互動。此外,我們提出的感知解決方案能讓視覺引導機器人在嘈雜條件下看得更清楚,并在有限的計算資源和實時限制條件下做得更好。除了推動最先進技術的發展之外,我們提出的方法和系統還讓我們朝著縮小理論與實踐之間的差距、改善野外人機合作的方向邁進了一步。
空間態勢感知是準確描述和預測空間環境狀態的能力,隨著運行衛星數量的增加,空間態勢感知已成為人們關注的話題。這一趨勢是由大型衛星星座的部署推動的,這些星座在完全部署后可能由數萬顆衛星組成。準確跟蹤空間物體對于預測和防止物體之間的碰撞非常重要,因為碰撞可能會對運行中的衛星造成災難性損害,并產生碎片云,危及其他衛星。然而,跟蹤空間物體非常復雜,部分原因是測量結果的來源不確定,這個問題被稱為數據模糊性。雖然存在多種能夠處理數據模糊性的目標跟蹤算法,但在太空環境中進行跟蹤還面臨其他挑戰。由于相對于可用傳感器資源而言,目標數量眾多,因此每個目標的可用觀測數據數量通常較少,而且由于上述數據模糊問題,許多觀測數據互不相關。最近興起的大型星群帶來了另一個問題,即相關衛星將利用低推力推進系統來保持編隊,這就要求具備機動目標跟蹤能力,以獲得最佳性能。在本論文中,我們將分析兩個問題,這兩個問題代表了運營商在不久的將來將面臨的空間物體跟蹤挑戰。我們將展示如何利用有限集統計開發適用的算法。有限集統計是一種數學框架,允許采用自上而下的方法開發具有所需功能的嚴格貝葉斯最優多目標過濾器。
分析的第一個問題是大型星座跟蹤問題。我們模擬了一個由 4,500 多顆低地球軌道衛星組成的星座,并使用 12 個地面近視傳感器網絡對其進行跟蹤。這些傳感器的任務由一個結合了信息論獎勵的成本函數來完成。我們還利用戰術重要性函數,將基于任務的目標(如有碰撞風險的物體的優先級)納入任務分配邏輯。收集到的數據將通過一個帶標記的多貝努利濾波器進行處理。濾波器產生的狀態目錄估計值用于激勵下一輪傳感器任務分配,從而形成一個用于綜合任務分配和跟蹤的自主閉環系統。經過五天的跟蹤期后,狀態目錄估計值將用于執行會合分析。我們將現有方法結合起來,為衛星間近距離接近的過濾和風險量化提供了一個計算效率高的工作流程。
分析的第二個問題是在存在機動目標時跟蹤多個目標。機動目標以不可預測的方式偏離其自然軌跡,通常需要專門的跟蹤算法才能獲得最佳性能。跟蹤此類目標的常用方法是交互式多模型濾波器,該濾波器可維持一組模型來表示目標的可能動態。未知動態可通過等效噪聲概念表示為白噪聲過程。這樣就能有效地跟蹤機動空間物體,但這種算法缺乏表征機動的能力。利用有限集統計,我們能夠開發出一種廣義標注多貝努利濾波器,允許整合任意動態模型。這樣,我們就能利用數據自適應方法,更具體地模擬未知動態,從而使濾波器除了進行機動目標跟蹤外,還能進行機動特征描述。我們還開發了一種基于考慮的最小二乘機動估計算法,該算法使用單次脈沖速度變化對未知動力學進行建模。這種機動的時間是通過多重假設法估算出來的。這種方法與我們提出的廣義標注多伯努利濾波器相結合,并應用于模擬地球靜止軌道衛星群,其中包括一顆執行未知機動的衛星。
大型星座跟蹤工作的結果表明,綜合任務分配和跟蹤算法能夠保持對所有模擬衛星的監護。在傳感器任務分配邏輯中加入了碰撞風險的衡量標準,從而提高了風險分析的準確性,但改進不大。我們假設,采用更通用的優化算法或不同的傳感器架構,可能會使基于任務目標的任務分配產生更大的影響。我們對機動目標跟蹤問題的研究結果表明,我們能夠以可接受的準確度描述機動動態。與實際機動相比,我們的表征絕對誤差相對較高,但我們能夠保持對所有目標的監護。在整個機動過程中,一致性指標保持穩定,這表明對估計的機動誤差不確定性進行了精確量化。未來的工作還包括將這項工作擴展到更大規模的場景,在這種場景中,由于機動檢測對計算效率的影響,機動檢測將成為一個更大的因素。此外,還需要進一步開展工作,將我們的算法擴展到低地軌道跟蹤場景中經常使用的非高斯狀態表示法。
圖 3.3:整合各種算法,形成自主風險感知衛星跟蹤系統。
如今,許多機器人系統都是遠程操作的,需要不間斷的連接和安全的任務規劃。這類系統常見于軍用無人機、搜救行動、采礦機器人、農業和環境監測等領域。不同的機器人系統可能采用不同的通信方式,如無線電網絡、可見光通信、衛星、紅外線、Wi-Fi 等。然而,在機器人需要相互連接的自主任務中,由于信號超出范圍或不可用,經常會出現通信受限的環境。此外,一些自動化項目(建筑施工、裝配線)無法保證不間斷的通信,因此需要一個安全的項目計劃,以優化碰撞風險、成本和工期。在本論文中,我們提出了四管齊下的方法來緩解上述問題: 1) 通信感知世界地圖;2) 使用視線(LoS)進行通信保護;3) 通信感知安全規劃;以及 4) 用于導航的多目標運動規劃。
首先,重點開發了一種通信感知世界地圖,它將傳統的世界模型與多機器人位置規劃相結合。我們提出的通信地圖可選擇一連串中間中繼車輛的最佳位置,以便最大限度地提高與遠程單元的通信質量。我們還提出了一種算法,當有多個遠程單元需要服務時,可以建立一棵最小阿伯累樹(min-Arborescence tree)。 其次,在通信被剝奪的環境中,我們利用視線(LoS)在移動機器人之間建立通信,控制它們的移動并向其他自主單元轉發信息。我們提出并研究了多機器人中繼網絡定位問題的復雜性,并提出了近似算法,通過重新定位一個或多個機器人來恢復基于可見度的連接。
第三,開發了一個框架,用于量化全自動機器人任務的安全得分,在這種任務中,人與機器人的共存可能會帶來碰撞風險。我們使用運動規劃算法分析了一系列備用任務計劃,以選擇最安全的計劃。
最后,為機器人開發了一種基于多目標優化的高效路徑規劃,以處理若干帕累托最優成本屬性。
圖 2.1:(a) 由三個機器人組成的鏈,它們將操作員的通信轉發給遠程單元;(b) 包含三個中繼器的最小生成樹,優化了操作員與三個單元之間的通信。
軍事行動需要具備對復雜的大城市環境進行態勢了解的能力。這通常是在情報、監視和偵察(ISR)任務中制定的。這些任務類型發生在戰斗的不同階段,包括戰斗行動和穩定與支持行動(SASO)。自主移動機器人小組可在已知的動態城市環境中執行巡邏和偵察任務,為士兵提供支持。
本文旨在開發一個名為 "風險地圖 "的概率框架。自主機器人將使用 "風險地圖 "規劃其行動,"風險地圖 "顯示了一個與戰術相關的位置,在該位置的暴露或環境可能使攻擊造成最大傷害(例如,可能的簡易爆炸裝置或狙擊手位置)。
“風險地圖”以決策過程為基礎,針對適應性對手事件分配機器人巡邏。這些技術將利用時間演化來防止對手不可避免地適應這些策略,因為這可能會使這些策略的效果大打折扣。
使用多機器人協調方法進行分散、信息量大且自適應的采樣應用不會出現單點故障。它允許隨時預測,任何機器人在任何時間點都能獲得環境的合理模型。此外,它還能將所需的通信量保持在最低水平。此外,適當的地理信息系統(GIS)技術為軍事指揮官提供了快速整合數據集、評估條件、規劃戰略和評估選項的手段。
圖:UGV和無人機之間的交互作用,進行源搜索和目視目標識別。
未來,人類將與人工智能系統密切合作。智能系統將成為團隊成員,并將起到擴展單個單元的覆蓋范圍和能力的作用,從而實現前所未有的能力。
自主機器人的智能探索和強大的協作監控將成為城市行動的關鍵,使其能夠預防未來的脆弱性和威脅風險。本論文探討了環境的先驗知識和類似場景中的行動歷史如何預測和預防未來的攻擊。在這篇論文中,我們提出了一個概率框架,在這個框架中,可以將一套領域專家規則與空間和語義知識結合起來,使自主智能體能夠收集信息。然后,自主智能體可以利用這個不斷演化的框架,針對不斷變化的信息環境規劃最佳行動,從而以最佳方式完成任務。我們的方法擴展了[Pit+08; ZST15]中描述的技術,用于本論文中介紹的 MAST/ARL 導航模塊所使用的基于信息的探索框架。Pita 等人創建了系統架構: ARMOR。該系統提供的月歷滿足了洛杉磯國際機場官員對檢查站和警犬在洛杉磯國際機場部署的所有關鍵要求。
多機器人團隊為部隊提供支持的一大挑戰是了解環境是如何動態變化的,以便為車隊選擇最明顯或最便捷路線的區域提供安全保障。為了應對這一挑戰,利用有關特定地點的地理信息系統數據和活動日志很有意義。實現這一目標的一種方法是使用基于信息的地圖(風險地圖),該地圖由一組模塊化組件組成,在評估風險的先驗概率時,這些組件代表了敵方戰略知識。此外,風險地圖還有一個時間組件,可逐漸回到先前的地圖狀態,代表戰爭迷霧。
我們考慮的現實場景是,由不同能力的機器人組成的團隊探索未知環境,每個機器人獲取并計算自己的地圖,并與團隊其他成員交換這些信息,同時考慮到通信限制,即機器人只能在特定距離內通信,信息量的交換受帶寬限制。此外,每個機器人都能從探索任務切換到尋找任務源,并能在需要時提供或請求援助。
利用自適應信息采樣的多機器人探索和導航協調策略,使機器人平臺能夠在未知環境中自主執行情報、監視和偵察(ISR)任務,從而防止未來的脆弱性和威脅風險。
本論文的所有貢獻都通過使用模擬和真實數據的實驗結果得到了驗證。
圖:模擬地圖,用于在舞臺模擬器內的各類環境中測試協調策略。機器人在其初始起始區域顯示為一排紅點,該區域代表一個突破口。導航關鍵點用紅色 "X "標記表示。
過去幾十年來,在安全、監視、情報收集和偵察等許多領域,對目標跟蹤(OT)應用的需求一直在增加。最近,對無人系統新定義的要求提高了人們對 OT 的興趣。機器學習、數據分析和深度學習的進步為識別和跟蹤感興趣的目標提供了便利;然而,持續跟蹤目前是許多研究項目感興趣的問題。本論文提出了一個系統,實現了一種持續跟蹤目標并根據其先前路徑預測其軌跡的方法,即使該目標在一段時間內被部分或完全隱藏。該系統分為兩個階段: 第一階段利用單個固定攝像機系統,第二階段由多個固定攝像機組成的網狀系統。第一階段系統由六個主要子系統組成:圖像處理、檢測算法、圖像減法器、圖像跟蹤、跟蹤預測器和反饋分析器。系統的第二階段增加了兩個主要子系統:協調管理器和相機控制器管理器。這些系統結合在一起,可以在目標隱藏的情況下實現合理的目標跟蹤連續性。
隨著技術的不斷進步和日常對海洋資源的依賴,無人水面航行器(USVs)的作用成倍增加。目前,具有海軍、民用和科學用途的 USV 正在各種復雜的海洋環境中進行廣泛的作業,并對其自主性和適應性提出了更高的要求。USV 自主運行的一個關鍵要求是擁有一個多車輛框架,在此框架下,USV 可以在實際海洋環境中作為一個群體運行,并具有多種優勢,例如可以在更短的時間內勘測更廣闊的區域。從文獻中可以看出,在單體 USV 路徑規劃、制導和控制領域已經開展了大量研究,而在了解多載體方法對 USV 的影響方面卻鮮有研究。本論文整合了高效的最優路徑規劃、穩健的路徑跟蹤制導和合作性集群聚合方法等模塊,旨在開發一種新的混合框架,用于 USV 蟲群的合作導航,以實現海洋環境中的最優自主操作。
首先,設計了一種基于 A* 算法的有效而新穎的最佳路徑規劃方法,其中考慮到了與障礙物的安全距離約束,以避免在移動障礙物和海面洋流的情況下發生碰撞。然后,將這種方法與為 USV 開發的新型虛擬目標路徑跟蹤制導模塊相結合,將路徑規劃器的參考軌跡輸入制導系統。當前工作的新穎之處在于將上述集成路徑跟蹤制導系統與分布式集群聚集行為相結合,通過基于簡單電位的吸引和排斥功能來維持 USV 蟲群的中心點,從而引導 USV 集群進入參考路徑。最后,介紹了一個用于 USV 船隊合作導航和制導的最佳混合框架,該框架可在實際海洋環境中實施,并可在海上有效地實際應用。
毫米波(mmWave)雷達與光學傳感器不同,體積小巧、精度高、穿透力強且符合隱私保護標準,因此在多傳感器應用中無處不在。然而,光學傳感器的高分辨率和圖像數據集的廣泛可用性導致了使用光學傳感器的機器學習解決方案的快速發展,從而將毫米波雷達推向了輔助傳感器的角色。本論文針對醫療保健、軍事和自主感知領域,介紹了一系列嘗試利用傳感器融合和機器學習方法增強毫米波雷達能力的新方法。首先,論文介紹了骨骼姿態估計技術,該技術可檢測到 15-25 個關鍵點,三維定位誤差小于 3 厘米,可潛在應用于病人/老年人監測、步態分析和識別以及行人監測。其次,介紹了一種自動雷達標注方案,以鼓勵快速開發雷達圖像數據集,幫助自主感知。這項研究還包括使用傳感器融合特征向量和 12 維雷達特征向量進行目標分類,在車輛與行人檢測研究中,準確率分別達到 98% 和 92%。最后,利用雷達-攝像頭傳感器融合技術探索了基于 DNN-LSTM 的目標跟蹤方法和基于三卡爾曼濾波器的目標跟蹤方法,在這兩種方法中,系統不僅提高了定位精度,而且對單個傳感器故障具有魯棒性。基于 DNN-LSTM 的跟蹤器的優勢在于它不需要事先在雷達和攝像頭之間進行校準,而且對于確定單個傳感器提供的定位差異至關重要。基于三卡爾曼濾波器的方法將這些發現用于多目標跟蹤,精度達到 26 厘米,與最先進的方法不相上下,漏檢率小于 4%,與文獻中大于 16% 的 FNR 相比有了顯著提高。本研究提出的方法大大提高了感知能力,使自主系統更加安全。
無人機(UAVs)在軍事和民用領域發揮著至關重要的作用。本論文的研究有助于智能控制系統(ICS)領域,特別是實現旋轉翼無人飛行器(RUAV)可靠、便捷的自主控制。特別是,本論文解決了如何適應未建模動態和干擾(如在空中改變有效載荷)的難題。
無人機可以攜帶額外的重量,如傳感器、貨物,甚至被稱為有效載荷的懸掛物。已經開發了許多策略來穩定不斷變化的有效載荷,但這些策略都假定有效載荷是剛性的,重心(CoG)是靜態和已知的。有效載荷質量及其類型在飛行過程中的變化會極大地影響無人機的動態性能,這就要求控制器進行調整,以保持令人滿意的閉環性能。此外,還沒有探索過在半空中從一架較大的飛機(如氣象氣球)上發射一組具有隨機姿態的送貨無人機的情況。最后,未建模的動力學和陣風等不確定因素給飛行操作帶來了挑戰,因此綜合控制系統對于處理這些不確定因素至關重要,但對非基于模型的綜合控制系統的設計和開發關注不夠。
受這些研究空白的啟發,本論文探討了如何處理有效載荷在空中的 CoG 變化和姿態獨立發射的控制問題。為解決這些問題并實現理想的軌跡跟蹤控制,本文提出了一種新型非基于模型的綜合控制系統,稱為雙向模糊腦情感學習(BFBEL)控制系統。所提出的控制系統融合了模糊推理、神經網絡和基于強化學習的新型雙向腦情感學習(BBEL)算法。所提出的 BFBEL 控制器能夠從零開始快速適應,可用于控制 RUAV 的所有六自由度 (6DOF)。為擴大擬議控制器的適用性,開發了單輸入-單輸出(SISO)和多輸入-多輸出(MIMO)架構。本研究考慮的兩種無人駕駛飛行器模型是四旋翼無人駕駛飛行器(QUAV)和直升機無人駕駛飛行器(HUAV)。SISO 版本的 BFBEL 控制系統被應用于 QUAV,以解決處理 CoG 和重量不同的外部有效載荷的問題。BFBEL 控制系統的 MIMO 版本應用于 HUAV,以解決在空中獨立發射姿勢的問題。對這兩種系統都進行了模擬評估,并通過實驗驗證了如何處理 CoG 不確定的外部有效載荷問題。最后,在相同的控制情況下,將飛行能力和控制性能與傳統的比例積分微分(PID)控制器方案進行了比較。
二十世紀中葉,機器人開始在世界的海洋、湖泊、河流和水道中暢游。此后的七十年間,自動潛航器(AUVS)慢慢發展起來,變得更小、更智能、能力更強。隨著自動潛航器的部署地點越來越廣泛,用途也越來越復雜,人們開始對合作式自動潛航器(co-AUV)的想法感到興奮,該領域也在不斷發展。現在,我們正站在水下工作領域一場革命的風口浪尖上。在未來的幾年里,全世界數以千計的潛水員可以在工作中得到協作式 AUV 的幫助,從而幫助人類更好地了解和保護地球上至關重要的水資源。然而,要實現這一夢想,這些共同潛水器必須能夠進行自然、強大的通信,能夠豐富、準確地感知人類伙伴,并能在不斷變化的環境中適應性地工作。雖然研究人員一直在朝著這個目標邁進,但本論文標志著聯合無人潛航器的發展進入了一個新階段。
在接下來的章節中,將介紹三種新型通信方法、兩種最先進的感知能力、一種新的潛水員接近能力、一種新的手勢 AUV 控制方法、一種用于 UHRI 的模塊化軟件生態系統以及一種自適應通信控制器。此外,還介紹了對這些系統進行評估的七項人體研究,其中五項是在水下環境中進行的,參與人數之多前所未有。第一部分介紹的通信方法是該領域的一個新方向,強調在遠距離容易感知的非文本通信、自然和直觀的設計而非信息復雜性,并利用運動和聲音引入了以前從未在水下研究過的通信新載體。第二部分的感知方法更為傳統,但在許多方面突破了以前開發的能力:開發了潛水員運動預測方面的新能力,創建了一種僅使用單目視覺估算與潛水員相對距離的方法,并以一種以前從未嘗試過的方式為自動潛航器創建了可重新配置的動態手勢控制。論文第三部分的頂點是 PROTEUS 水下人機交互軟件系統,該系統可作為未來大量研究的基礎,同時也是首個用于 AUV 的自適應通信系統 ACVS。ACVS 利用第二部分中介紹的感知能力來確定第一部分中介紹的哪些通信向量應在交互環境中使用,所有組件均在 PROTEUS 框架內實現。
本論文的研究涉及多個學科,包括交互設計、軟件開發、硬件制造、人體研究的設計和管理、研究結果的定量和定性分析、深度學習系統設計、神經網絡的訓練和部署、機器人設計和普通機器人開發。這些對 UHRI 的研究結果揭示了該領域令人興奮的潛力。本論文中介紹的幾乎每一種方法都在測試中取得了足夠的成功,表明它們可以有效地應用于實地環境,特別是在進一步開發的情況下。聯合無人潛航器幫助潛水員工作的夢想已經開始實現,本文介紹的算法和系統使我們離這一目標越來越近。潛水員的工作對人類社會和地球生態系統的健康至關重要,而協作式 AUV 在這些環境中提供的幫助是無價的,可大大提高潛水員的安全性和任務成功率。本論文提供了新穎的通信方法、潛水員感知的新技術、自適應通信系統以及將它們聯系在一起的軟件架構,從而提高了水下人機交互的靈活性和魯棒性,并為沿著這些令人興奮的方向進一步發展奠定了基礎。
圖 1.3:Aqua2 AUV "分解 "后的所有系統。
空中平臺的使用,如無人駕駛飛行器(UAVs),配備了攝像傳感器,對民用安全和安保領域的廣泛應用至關重要。其中,突出的應用包括監視和偵察、交通監測、搜索和救援、救災和環境監測。然而,由于大量的視覺數據和由此產生的認知過載,僅由人類操作員分析航空圖像數據往往是不可行的。在實踐中,基于適當的計算機視覺算法的自動處理鏈被用來協助人類操作員評估航空圖像數據。這種處理鏈的關鍵部分是在分析和解釋場景之前,準確檢測相機視野內的所有相關物體。由于相機和地面之間的距離較大,空間分辨率較低,這使得航空圖像中的物體檢測成為一項具有挑戰性的任務,而運動模糊、遮擋或陰影又進一步阻礙了這項工作。盡管在文獻中存在許多用于航空圖像中物體檢測的傳統方法,但由于物體的尺度、方向、顏色和形狀的高差異性,所使用的手工制作的特征的有限表示能力常常抑制了可靠的檢測精度。
在本文的范圍內,開發了一種新的基于深度學習的檢測方法,其重點是在俯視記錄的航空圖像中檢測車輛。為此,選擇了Faster R-CNN作為基礎檢測框架,因為與其他基于深度學習的檢測器相比,它的檢測精度更高。針對航空圖像的具體特點,特別是小物體的尺寸,系統地研究了相關的適應性,并確定了現實世界應用方面的問題,即由類似車輛的結構引起的大量錯誤檢測和推理時間差。我們提出了兩個新的組成部分,通過提高所采用的特征表示的上下文內容來提高檢測精度。第一個組件旨在通過結合淺層和深層的特征來增加空間背景信息,以說明精細和粗略的結構,而后一個組件利用語義標簽--圖像的像素級分類--來引入更多的語義背景信息。實現了將語義標簽整合到檢測框架中的兩種不同的變體:利用語義標簽的結果來過濾掉不可能的預測,以及通過共享特征表示將語義標簽網絡明確地并入檢測框架來誘導場景知識。這兩個部分都明顯減少了錯誤檢測的數量,從而大大地提高了檢測精度。為了減少計算量,從而減少推理時間,在本論文的背景下開發了兩種替代策略。第一個策略是將用于特征提取的默認CNN結構替換為針對航空圖像中的車輛檢測而優化的輕量級CNN結構,而后一個策略包括一個新的模塊,將搜索區域限制在感興趣的區域。所提出的策略使檢測框架的每個組成部分的推理時間明顯減少。與作為基線的標準Faster R-CNN檢測器相比,結合所提出的方法明顯提高了檢測性能。此外,在不同的航空圖像數據集上,現有的航空圖像中的車輛檢測方法在數量和質量上都優于其他方法。在從具有不同屬性的新的航空圖像數據集上收集的大量以前未見過的數據上,進一步證明了其泛化能力。
態勢感知是作戰人員的必需能力。一種常見的監視方法是利用傳感器。電子光學/紅外(EOIR)傳感器同時使用可見光和紅外傳感器,使其能夠在光照和黑暗(日/夜)情況下使用。這些系統經常被用來探測無人駕駛飛機系統(UAS)。識別天空中的這些物體需要監測該系統的人員開展大量工作。本報告的目的是研究在紅外數據上使用卷積神經網絡來識別天空中的無人機系統圖像的可行性。本項目使用的數據是由作戰能力發展司令部軍備中心的精確瞄準和集成小組提供的。
該報告考慮了來自紅外傳感器的圖像數據。這些圖像被送入一個前饋卷積神經網絡,該網絡將圖像分類為有無無人機系統。卷積模型被證明是處理這些數據的第一次嘗試。本報告提供了一個未來的方向,以便在未來進行擴展。建議包括微調這個模型,以及在這個數據集上使用其他機器學習方法,如目標檢測和 YOLO算法。