過去幾十年來,在安全、監視、情報收集和偵察等許多領域,對目標跟蹤(OT)應用的需求一直在增加。最近,對無人駕駛車輛新定義的要求提高了人們對 OT 的興趣。機器學習、數據分析和深度學習的進步為識別和跟蹤感興趣的目標提供了便利;然而,持續跟蹤目前是許多研究項目感興趣的問題。本文提出了一個系統,實現了一種持續跟蹤目標并根據其先前路徑預測其軌跡的方法,即使目標在一段時間內部分或完全被隱藏。該系統分為兩個階段:第一階段利用單個固定攝像機系統,第二階段由多個固定攝像機組成的網狀系統。第一階段系統由六個主要子系統組成:圖像處理、檢測算法、圖像減法器、圖像跟蹤、跟蹤預測器和反饋分析器。系統的第二階段增加了兩個主要子系統: 協調管理器和相機控制器管理器。這些系統結合在一起,可以在目標隱藏的情況下實現合理的物體連續性。
目前,將人工智能技術融入美國軍隊的勢頭非常強勁。這包括將該技術用于指揮和控制目的。這些努力的前提是人工智能和機器學習能讓美國指揮官以更快的速度做出更好的決策。然而,人工智能不斷融入軍事決策過程,有望將決策要素從人類手中下放,這對強調果斷、直覺和大膽指揮官這一英雄原型的長期軍事傳統提出了挑戰。因此,本文試圖探討,面對這些相互競爭的觀點,將戰爭決策權下放給 "智能機器 "的前景是如何獲得目前的發展勢頭的?本文認為,可以通過關注二戰后時代出現的特殊戰爭愿景,特別是與美國軍事思想中的速度和知識主題相關的愿景,來解決這一難題。通過結合使用計算文本分析技術和系譜學方法,本文揭示了美國國防架構成員對速度和知識及其與戰爭關系的構想和優先次序的轉變。本文說明,在有關人工智能的優點及其在軍事決策中的作用的辯論中,這些變化充當了一種修辭資源,有助于鎖定與現代指揮相關的新含義和實踐并使之正規化。這些發現對于如何分析軍事文化、技術和戰爭實踐之間的關系具有重要意義;因此,這些發現指出了技術和戰爭的想象如何交織在一起,并對未來沖突如何展開產生了重大影響。
除了人工智能技術和軍事指揮實踐之外,本文還關注速度與知識這兩個主題之間的緊張關系。速度是戰爭不可或缺的要素,長期以來一直為實踐者、理論家和學者所強調。盡管如此,盡管速度作為戰爭中的一個關鍵因素經常被闡述,但其部署在不同時期和背景下并不完全一致。軍事思想經典都強調與速度有關的要素。例如,《孫子兵法》指出,"雖聞戰之愚急,而智不與久耽"。因此,孫子在指出行動過快的風險的同時,也指出了快速而巧妙的行動可能帶來的好處。不過,在這里,他也指出了與戰爭持續時間過長的風險有關的戰略計算。其中包括財政成本。不過,孫子也簡要提到了指揮官 "迅速 "決策的可能優勢,以及 "迅速 "行軍到意想不到的地點以達到戰術奇襲的目的。盡管如此,他在此也告誡人們不要無節制地追求快速、強行軍,因為這會造成組織混亂和供應鏈問題。從這個意義上說,對孫子來說,速度并不是統一的優勢。他建議 "疾如風,密如林",就是對這一觀點的總結。看來,對孫子而言,速度和維持軍隊組織的必要性都不是萬能的。
本文的論述過程如下。第二章評估了以往關于戰爭與技術關系的文獻。它指出了四種可能的替代解釋來源,并強調了每種方法如何無法提供適當的工具包來回答本論文的研究問題。在對文獻進行回顧之后,第三章提出了一套研究軍事實踐與技術之間關系的工具,將關系/實用主義社會理論和科技研究的元素與一種方法論相結合,既有譜系研究方法,又有計算文本分析方法。
第四章是 "鋪墊 "一章,從歷史技術軌跡的角度討論人工智能。本章旨在為讀者提供人工智能的基礎知識、該領域的技術歷史、當前發展情況,以及在軍事和非軍事環境中應用人工智能時仍然存在的基本問題。
第五章采用計算文本分析方法,追蹤二戰后美國軍事思想史中的速度與知識主題。它表明,在當今時代,速度的認知要素以及信息和知識在戰場上的重要性在軍事專業期刊的討論中處于相對高點。這些趨勢為我的論點提供了證據,即在美國國防架構中,新的 "成功 "戰爭方式正在被構建和討論。
第六章和第七章為計算結果提供了更多背景資料。依靠對美國國防和軍事相關文件的細讀,這兩章提供了二戰后速度(第六章)和知識(第七章)主題的譜系,展示了更廣泛的美國軍事思想中的特殊變異。這些變異和相對穩定是修辭資源的 "池塘"。然后,每一章都展示了這些修辭資源是如何在有關人工智能的辯論中被部署到指揮決策中的。
第八章的重點是,在美國對人工智能指揮的更廣泛理解中,速度和知識的配置是如何緊密聯系在一起的。此外,至關重要的是,本章說明了與人工智能和指揮決策相關技術傳統沖突所產生的修辭封閉性。相關的技術批判已被戰略性地歸入更廣泛的技術論述和戰爭表達中,其方式現在與人工智能聯系在一起。這種形式的修辭封閉性使人工智能指揮的支持者能夠超越反駁論點,從而在美國防部政策中鎖定一種特定形式的穩定關系,并日益制度化。最后,第九章就我們如何在人類與人工智能系統緊密結合的當代社會技術配置中構想軍事決策提出了一些結論和思考。
空間態勢感知是準確描述和預測空間環境狀態的能力,隨著運行衛星數量的增加,空間態勢感知已成為人們關注的話題。這一趨勢是由大型衛星星座的部署推動的,這些星座在完全部署后可能由數萬顆衛星組成。準確跟蹤空間物體對于預測和防止物體之間的碰撞非常重要,因為碰撞可能會對運行中的衛星造成災難性損害,并產生碎片云,危及其他衛星。然而,跟蹤空間物體非常復雜,部分原因是測量結果的來源不確定,這個問題被稱為數據模糊性。雖然存在多種能夠處理數據模糊性的目標跟蹤算法,但在太空環境中進行跟蹤還面臨其他挑戰。由于相對于可用傳感器資源而言,目標數量眾多,因此每個目標的可用觀測數據數量通常較少,而且由于上述數據模糊問題,許多觀測數據互不相關。最近興起的大型星群帶來了另一個問題,即相關衛星將利用低推力推進系統來保持編隊,這就要求具備機動目標跟蹤能力,以獲得最佳性能。在本論文中,我們將分析兩個問題,這兩個問題代表了運營商在不久的將來將面臨的空間物體跟蹤挑戰。我們將展示如何利用有限集統計開發適用的算法。有限集統計是一種數學框架,允許采用自上而下的方法開發具有所需功能的嚴格貝葉斯最優多目標過濾器。
分析的第一個問題是大型星座跟蹤問題。我們模擬了一個由 4,500 多顆低地球軌道衛星組成的星座,并使用 12 個地面近視傳感器網絡對其進行跟蹤。這些傳感器的任務由一個結合了信息論獎勵的成本函數來完成。我們還利用戰術重要性函數,將基于任務的目標(如有碰撞風險的物體的優先級)納入任務分配邏輯。收集到的數據將通過一個帶標記的多貝努利濾波器進行處理。濾波器產生的狀態目錄估計值用于激勵下一輪傳感器任務分配,從而形成一個用于綜合任務分配和跟蹤的自主閉環系統。經過五天的跟蹤期后,狀態目錄估計值將用于執行會合分析。我們將現有方法結合起來,為衛星間近距離接近的過濾和風險量化提供了一個計算效率高的工作流程。
分析的第二個問題是在存在機動目標時跟蹤多個目標。機動目標以不可預測的方式偏離其自然軌跡,通常需要專門的跟蹤算法才能獲得最佳性能。跟蹤此類目標的常用方法是交互式多模型濾波器,該濾波器可維持一組模型來表示目標的可能動態。未知動態可通過等效噪聲概念表示為白噪聲過程。這樣就能有效地跟蹤機動空間物體,但這種算法缺乏表征機動的能力。利用有限集統計,我們能夠開發出一種廣義標注多貝努利濾波器,允許整合任意動態模型。這樣,我們就能利用數據自適應方法,更具體地模擬未知動態,從而使濾波器除了進行機動目標跟蹤外,還能進行機動特征描述。我們還開發了一種基于考慮的最小二乘機動估計算法,該算法使用單次脈沖速度變化對未知動力學進行建模。這種機動的時間是通過多重假設法估算出來的。這種方法與我們提出的廣義標注多伯努利濾波器相結合,并應用于模擬地球靜止軌道衛星群,其中包括一顆執行未知機動的衛星。
大型星座跟蹤工作的結果表明,綜合任務分配和跟蹤算法能夠保持對所有模擬衛星的監護。在傳感器任務分配邏輯中加入了碰撞風險的衡量標準,從而提高了風險分析的準確性,但改進不大。我們假設,采用更通用的優化算法或不同的傳感器架構,可能會使基于任務目標的任務分配產生更大的影響。我們對機動目標跟蹤問題的研究結果表明,我們能夠以可接受的準確度描述機動動態。與實際機動相比,我們的表征絕對誤差相對較高,但我們能夠保持對所有目標的監護。在整個機動過程中,一致性指標保持穩定,這表明對估計的機動誤差不確定性進行了精確量化。未來的工作還包括將這項工作擴展到更大規模的場景,在這種場景中,由于機動檢測對計算效率的影響,機動檢測將成為一個更大的因素。此外,還需要進一步開展工作,將我們的算法擴展到低地軌道跟蹤場景中經常使用的非高斯狀態表示法。
圖 3.3:整合各種算法,形成自主風險感知衛星跟蹤系統。
隨著傳感器技術和由此產生的傳感器分辨率的不斷進步,傳統的基于點的目標跟蹤算法已顯得力不從心,尤其是在使用高分辨率傳感器的自動駕駛汽車、視覺跟蹤和監控等應用領域。這重新激發了人們對擴展目標(ET)跟蹤的興趣,其目的不僅在于跟蹤目標的中心點,還在于跟蹤目標隨時間變化的形狀和大小。
本論文探討了 ET 跟蹤應用領域中最具挑戰性的三個問題。研究的第一個難題是,在非高斯噪聲存在的情況下,需要對具有任意未知星凸形狀的 ET 目標進行精確的形狀和中心估計。提出的方法基于 Student's-t 過程回歸算法,該算法在遞歸框架中定義,適用于在線跟蹤問題。
第二個問題試圖通過定義一種新穎的隨機多面體形狀描述符來放松在估計過程中施加在 ET 目標形狀上的任何約束,包括星凸約束。此外,所提出的解決方案還引入了一種方法,以減輕在 ET 跟蹤應用中因自閉塞而造成的麻煩,因為忽視自閉塞可能會導致 ET 狀態估計出現災難性的偏差。
最后,研究了在雜波和遮擋情況下跟蹤多個 ET 目標的框架,并提出了解決方案。所提出的方法可以在現實場景中估計 ET 目標的中心和形狀,同時考慮到自閉和互閉的挑戰。所提出的方法為每個 ET 定義了一個隨時間變化的狀態檢測概率,即使在相互遮擋造成的不利條件下,也能延長軌跡。此外,建議的算法使用集合成員不確定性模型來約束被遮擋 ET 的關聯和目標形狀不確定性,從而獲得更準確的 ET 目標狀態和形狀估計。
所提方法的性能在自閉和互閉的真實模擬場景中進行了量化,其結果與現有的最先進的 ET 跟蹤應用方法進行了比較。
圖 1.1: 點目標和擴展目標的并排比較。(a): 點目標的單一測量源和生成的測量結果。(b): 多個散射點和 ET 生成的測量結果。
過去幾十年來,在安全、監視、情報收集和偵察等許多領域,對目標跟蹤(OT)應用的需求一直在增加。最近,對無人系統新定義的要求提高了人們對 OT 的興趣。機器學習、數據分析和深度學習的進步為識別和跟蹤感興趣的目標提供了便利;然而,持續跟蹤目前是許多研究項目感興趣的問題。本論文提出了一個系統,實現了一種持續跟蹤目標并根據其先前路徑預測其軌跡的方法,即使該目標在一段時間內被部分或完全隱藏。該系統分為兩個階段: 第一階段利用單個固定攝像機系統,第二階段由多個固定攝像機組成的網狀系統。第一階段系統由六個主要子系統組成:圖像處理、檢測算法、圖像減法器、圖像跟蹤、跟蹤預測器和反饋分析器。系統的第二階段增加了兩個主要子系統:協調管理器和相機控制器管理器。這些系統結合在一起,可以在目標隱藏的情況下實現合理的目標跟蹤連續性。
無人機系統(UAS)是近期顛覆性技術的最佳范例之一,理所當然地成為無數新型軍事和民用應用的主力軍。無人機系統技術已經發展到這樣一個地步:從后勤角度看,部署成群的無人機系統是一項合理可行的活動。然而,完全自主和分布式地控制這些無人機蜂群仍然遙不可及。特別是,如果蜂群成員或它們所支持的其他網絡節點處于通信斷開狀態,那么蜂群的協調工作就會變得尤為困難。此類研發活動的高風險性質和潛在危險后果也使其實施極為罕見。此外,從自動化設計和部署的角度來看,算法的可擴展性問題依然存在。本論文旨在通過模擬和機器人現場實驗解決這些問題,利用生物啟發和強化學習方法為常見的無人機系統應用生成蜂群控制方案。
在論文的技術部分中,第 4 章至第 6 章提出了幾種新型蜂群控制算法,以支持通信和其他基于位置的任務。通過對由此產生的新興行為進行數學分析,可以深入了解協調是如何發生的。論文進一步研究了這些算法適應不同環境條件的方式,如通信連接、蜂群規模和角色要求。第 7 章和第 8 章從自動算法設計和實際通信的角度探討了蜂群的可擴展性問題。前者表明,通過多智能體強化學習架構生成的控制策略的移植取決于智能體觀察環境的方式;據作者所知,這是首個此類結果。這一結果允許部署大型蜂群,而無需訓練其所有成員。在后者中,隨著通信信道擁塞程度的增加,出現行為的崩潰也會隨之加劇,從而為衡量此類算法中的出現行為提供了新的衡量標準。
作為一項完整的工作,本論文通過模擬和數學分析,為推動自主蜂群控制的現狀做出了多項貢獻。在可行的情況下,還在真實系統上進行了實驗,以進一步驗證現實世界中的結果。這些貢獻的一個理想結果是提高了利用蜂群控制的系統的可信自主性。
毫米波(mmWave)雷達與光學傳感器不同,體積小巧、精度高、穿透力強且符合隱私保護標準,因此在多傳感器應用中無處不在。然而,光學傳感器的高分辨率和圖像數據集的廣泛可用性導致了使用光學傳感器的機器學習解決方案的快速發展,從而將毫米波雷達推向了輔助傳感器的角色。本論文針對醫療保健、軍事和自主感知領域,介紹了一系列嘗試利用傳感器融合和機器學習方法增強毫米波雷達能力的新方法。首先,論文介紹了骨骼姿態估計技術,該技術可檢測到 15-25 個關鍵點,三維定位誤差小于 3 厘米,可潛在應用于病人/老年人監測、步態分析和識別以及行人監測。其次,介紹了一種自動雷達標注方案,以鼓勵快速開發雷達圖像數據集,幫助自主感知。這項研究還包括使用傳感器融合特征向量和 12 維雷達特征向量進行目標分類,在車輛與行人檢測研究中,準確率分別達到 98% 和 92%。最后,利用雷達-攝像頭傳感器融合技術探索了基于 DNN-LSTM 的目標跟蹤方法和基于三卡爾曼濾波器的目標跟蹤方法,在這兩種方法中,系統不僅提高了定位精度,而且對單個傳感器故障具有魯棒性。基于 DNN-LSTM 的跟蹤器的優勢在于它不需要事先在雷達和攝像頭之間進行校準,而且對于確定單個傳感器提供的定位差異至關重要。基于三卡爾曼濾波器的方法將這些發現用于多目標跟蹤,精度達到 26 厘米,與最先進的方法不相上下,漏檢率小于 4%,與文獻中大于 16% 的 FNR 相比有了顯著提高。本研究提出的方法大大提高了感知能力,使自主系統更加安全。
多智能體機器人技術有望塑造工業的未來,有可能改變日常生活的許多方面。在未來十年中,它們預計將對運輸系統、軍事應用(如偵察和監視、搜救行動或太空任務)產生影響,并為急救人員提供支持。
在機器人領域最新發展的推動下,隨著新一代多智能體機器人系統變得更加智能、精確,應用領域也更加多樣化,本論文將為這些系統的發展做出貢獻。但是,為了實現這些目標,組成合作機器人系統的各個智能體需要在確保準確性和保留執行多樣化任務能力的同時,對它們所能完成的任務進行專業化。
本論文在考慮單個智能體專業化能力的特定背景下,探討了蜂群機器人技術中的任務分配問題。基于每個智能體都擁有專門的功能能力,以及分布在周圍環境中的預期任務提出了特定要求的假設,提出的任務分配機制在兩個不同的空間中制定。首先,團隊成員專業化的初級形式被表述為嵌入智能體動力學控制空間的合作控制問題。其次,定義了智能體專業化的高級表述,在專用的專業化空間中估計單個智能體的任務分配概率,這是本論文對蜂群機器人領域的進步和實踐的核心貢獻。
在專業化空間中制定的原始任務分配過程經歷了四個發展階段。首先,從概念上引入了任務特征識別階段,利用嵌入在智能體中的傳感層的輸出來驅動所提出的任務分配方案。其次,制定匹配方案,將每個智能體的專業能力與相應的檢測任務進行最佳匹配。在這一階段,智能體專業化的一般二進制定義是任務-智能體關聯的基礎。第三,將任務-智能體匹配方案擴展為創新的基于概率專業的任務-智能體分配框架,以推廣這一概念并挖掘智能體專業化考慮的潛力。第四,根據智能體的機械、物理結構和嵌入式資源對其專業化進行調制定義,進一步完善了總體框架。此外,還對原有框架進行了擴展,并引入了優先級層,以提高系統對復雜任務的響應能力,這些復雜任務的特點是基于對多個類別的識別。
在模擬和實際實驗中對所提出的基于專長的任務分配方法進行了實驗驗證,并結合潛在應用對結果進行了介紹和討論,以證明所提框架的有效性和效率。
這項工作旨在填補以往解決機器人群個體專業化問題的工作中的技術空白。本論文的成果通過開發一個創新框架,利用傳感能力來支持智能體之間專業化的概念化和實施,從而推動了蜂群機器人領域的發展。重點在于定義單個智能體的專長,并根據每個任務的特定約束條件,將其與這些單個智能體所要掌握的任務相匹配。為此,本研究打算回答以下研究問題:
問題 1:一群智能水平相對較低的機器人如何完成復雜的任務,這些任務需要單個機器人代理的專業化?
過去二十年來,多智能體系統的合作編隊控制受到了研究人員的極大關注。本論文以文獻綜述(第 2 章)中提到的方法為基礎,提出了一種解決方案,以填補機器人團隊中單個成員專業化方面的研究空白。本論文的重點是通過利用智能體的非同質性來增強蜂群的能力。為此,本論文擴展了合作蜂群的概念,并提出了一個嚴格的流程來利用單個智能體之間的專業異質性。
為了回答問題 1,我們首先進行了一項早期調查,以驗證這一概念。這一過程將機器人團隊工作空間的不同區域定義為分配給不同任務的獨立區域。所開發的解決方案可讓機器人順利安全地切換位置,并根據每個訪問區域要執行的特定任務動態調整整體隊形。它定義了如何在每個區域管理機器人群的編隊。作為一種初級的專業化形式,當智能體從一個區域轉移到另一個區域時,該框架會將智能體的領導角色從一個智能體切換到另一個智能體。在第一階段的研究中,假定一個特定的智能體(即蜂群中的一個成員)是每個區域中唯一專門執行領導任務的智能體。在任務完成之前,該智能體被指定為相關區域的專門領導者。第一部分研究的詳細情況將在第 3.4 節中報告。
問題 2:能否對最初的方法進行升級,讓專業化個體從環境中的自動目標識別中獲益,能否讓智能體之間的合作變得足夠穩健和靈活,以便在發現目標后自動將適當的專業化智能體分配到相應的任務中?
為了回答這個問題,我們進一步擴展了原有的協調系統,用于在專用機器人之間分配基于任務的領導權。通過對分布在機器人群工作空間中的專業化影響區域的定義進行演化,對問題進行了重新表述。受早期編隊方法的啟發,出現了一種有趣的解決方案。從使用機載傳感器自動識別工作區目標的假設出發,選擇有資格執行識別任務的智能體的過程應逐步經歷三個基本狀態,分別稱為搜索狀態、任務狀態和執行狀態。這種方法還可擴展到目標移動時的動態影響區域,以及多個任務共享同一區域時的動態影響區域。這更好地反映了移動機器人的實際干預場景。這方面的工作將在第 3.5 節中報告。
問題 3:為了改進蜂群的管理,能否根據智能體的專業化程度,在一定程度上適合響應給定任務的概率匹配機制中,適當定義和制定每個智能體的專業化功能?
為了解決這個問題,可以利用基于概率的建模來完善用于實現單個智能體角色專業化的框架設計。建立這樣一種智能體行為的概率表征,可以形成一種可擴展的機制。后者支持自動化流程,能夠處理任務和專業化定義中的不確定性,并應對任務約束和智能體能力之間的不完美匹配。所提出的智能體選擇方案是根據任務識別的置信度和特定智能體滿足任務特定要求的概率來制定的。所提出的基于專業的任務分配方案旨在根據所識別的任務約束條件,計算蜂群中各個智能體的匹配適合度,即任務-智能體專業匹配概率。本框架的開發過程詳見第 4.3 和 4.4 節。
問題 4:提議的框架能否應用于實際系統?
為了證明所提方法的有效性及其在現實世界中的應用潛力,我們從兩個方面對其進行了測試。首先,在仿真中對所提出的框架進行驗證,以證明其有效性。第 5 章介紹了大量的模擬實驗。然后,作為案例研究介紹了擬議方法的潛在應用,同時詳細介紹了擬議框架在真實機器人平臺上的實施情況,以驗證和檢驗基于專業的任務分配方案在實現預期協調水平方面的性能。這項工作將在第 6 章中介紹。
圖 3.12 任務執行的先后順序:(a-c)影響區重疊,操作員選擇任務 1(紅色)為優先任務,這促使紅色機器人繼續擔任領導者,直到紅色任務完成;(d-f)第二優先任務(藍色)正在執行,藍色機器人轉為領導者位置;(g-h)蜂群恢復到影響區重疊外的搜索狀態,然后搜索其他任務(綠色,然后是紅色),由相應的領導者機器人執行。
近年來,情報、監視和偵察(ISR)行動經歷了爆炸性的增長,導致收集的數據成倍增加。然而,盡管有如此豐富的ISR數據,個人、團隊和決策者往往無法開發出他們所需的個人和集體對作戰環境的態勢感知(SA)。增強現實(AR)技術為這種困境提供了一個潛在的解決方案。利用視覺、聽覺和觸覺的線索,AR技術有可能為合作和分析提供新的機會,這將提高個人和集體的安全意識。本文旨在為開發用于ISR行動中協作和分析的AR工具指明道路。它探討了AR技術的現狀,以澄清關鍵的定義、系統的分類和目前對有效使用的研究。它還研究了支撐情景意識的認知和學習理論,以了解AR在發展SA方面可以發揮什么作用(如果有的話)。這些理論被發現支持越來越多地使用AR技術來改善SA和協作,并確定了AR技術為促進SA必須解決的八個設計標準。如果這些設計標準得到尊重,可以預期AR技術會改善學習成績,提高用戶的積極性,并增強用戶的參與/互動和協作。此外,還可以預見在空間理解和長期記憶保持方面的收益。盡管有這樣的潛力,但在AR系統設計中必須適當地管理三個主要風險:引導注意力;系統管理中的分心;以及用戶定制。如果這些風險得到管理,設計標準得到尊重,那么用于ISR行動的協作和分析工具的開發者將能夠開啟AR所提供的光明前景。
教育評估、信貸、就業、醫療保健和刑事司法等高風險應用的決策越來越受到數據驅動,并由機器學習模型支持。機器學習模型也使關鍵的信息物理系統,如自動駕駛汽車和機器人手術成為可能。在過去的幾年里,機器學習領域取得了驚人的進展。然而,即使這些技術越來越多地融入我們的生活,記者、活動家和學者仍發現了一些侵蝕這些系統可信度的特征。例如,據報道,一個支持法官審前拘留決定的機器學習模型對黑人被告存在偏見。同樣,據報道,一個支持在一家大型科技公司進行簡歷篩選的模型也對女性有偏見。研究表明,用于胸部x光片疾病計算機輔助診斷的機器學習模型更重視圖像中的標記,而不是患者的解剖細節。自動駕駛汽車的死亡事故發生在不同尋常的條件下,根本的機器學習算法沒有經過訓練。簡而言之,雖然每天都有機器學習算法在某些任務上取得超人成績的新故事,但這些驚人的結果只是在一般情況下。我們在所有情況下信任這些算法所需要的可靠性、安全性和透明度仍然是難以捉摸的。因此,越來越多的人希望在這些系統中擁有更多的公平性、健壯性、可解釋性和透明度。
軍隊正在研究改善其多域作戰(MDO)中的通信和敏捷性的方法。物聯網(IoT)的流行在公共和政府領域獲得了吸引力。它在MDO中的應用可能會徹底改變未來的戰局,并可能帶來戰略優勢。雖然這項技術給軍事能力帶來了好處,但它也帶來了挑戰,其中之一就是不確定性和相關風險。一個關鍵問題是如何解決這些不確定性。最近發表的研究成果提出了信息偽裝,將信息從一個數據域轉化為另一個數據域。由于這是一個相對較新的方法,我們研究了這種轉換的挑戰,以及如何檢測和解決這些相關的不確定性,特別是未知-未知因素,以改善決策。
現代世界受到了技術和全球連接的基礎設施動態的重大影響。隨著這種新環境的出現,許多領域的決策過程面臨更大的挑戰。領導者和決策者必須考慮各種因素的影響,包括那些屬于已知和未知的數據來源[9]。
雖然這不是一個新的概念,但在一些論文中已經提出了對已知和未知因素進行分類的定義。當條件是"已知-已知"(Known-Knowns):那么條件是有我們知道和理解的知識,已知-未知(known-Unknowns):條件是有我們不知道但不理解的知識,未知-已知(Unknown-knowns):條件是有我們理解但不知道的知識,以及"未知-未知"(Unknown-Unknowns):條件是有我們不理解也不知道的知識[6]。在圖1中,對知識的已知和未知分區的討論是圍繞一個問題展開的。圖中所選的是與對風險的認識和理解有關的。
在這四種情況中,"已知-已知"是最明顯的一種,人們可以對一個特定的問題有完整的了解,而 "未知-未知"則完全相反,也是最具挑戰性的一種。因此,重點應該是制定策略,以發現可能的未知數,從而將其轉換為已知數的數據。然而,在許多情況下,這可能不是小事,這可能需要應急計劃和適應性技能來應對不可預見的情況。
已知-未知的任務計劃需要被徹底觀察。然而,由于已知的部分,只要有足夠的時間和資源投入,就可以找到一個合理的方案。最后,為了處理未知數[11,22,23],人類是最著名的直覺模型,具有很強的預知能力[5]。因此,包括來自個人或團體的建議可以幫助對那些被遺漏的數據進行分類,從而被機器學習模型認為是未知的。
我們在圖2中提供了上述與我們的 "已知 "和 "未知"知識相關的不確定性區域的可視化表示。在這項研究中,我們將未知數視為圖像數據中未見或未檢測到的對象類別,通過應用第3.1節所述的圖像-音頻編碼方案,這些對象可以被發現或重新歸類為已知數。
圖2:我們提出的方法的可視化表示,說明了已知和未知對的前提。當我們離開綠色區域外的中心,踏入其他顏色的區域時,人類知識的邊界變得模糊和混亂。"?"代表需要探索的區域。紅色區域的點狀周長表示該區域的無界性,因為對該區域及其存在缺乏任何知識。向內的點狀箭頭表示目標應該是將這個紅色區域匯聚到任何可能的黃色、藍色或綠色區域。按照這個順序,理想情況下,每一個包絡區域都應該被收斂到它所包絡的區域。
任何決策都會受到風險存在的嚴重影響,任何能夠幫助識別和了解已知和未知的過程都是理想的。此外,對未知數據的識別和檢測可以使風險最小化。然而,面對先驗知識并不奢侈,只有少數數據樣本可供分析的情況很常見。軍事決策者,如指揮官,在做出關鍵決定時可能沒有什么選擇,最終可能完全依賴于他們的專業知識和新數據的輸入。他們可能會利用以前的經驗來分析傳來的信息,并捕捉可能的未知數據,以盡量減少風險。這種方法可能仍然不能涵蓋所有的未知因素。
本文工作的動機是決策中的主要挑戰,即我們完全依靠有意義的和足夠的數據來支持決策。另外,決策者必須對用于提供數據支持決策的技術的性能和結果有信心。因此,我們研究了當深度學習模型的性能由于缺乏豐富的數據樣本而受到限制時,如何提高決策過程中的信任水平。我們關注一個訓練有素的模型如何能夠高精度地檢測和識別未知(未檢測到的)物體;該模型區分新的觀察是屬于已知還是未知類別的能力。
這項工作背后的動力來自于美國陸軍的IoBT CRA項目中的一個問題,該項目將設備分為:紅色(敵人)、灰色(中立)、藍色(朋友)資產。類的屬性和行為是非常不確定的,與前面提到的第1.1節中的已知或未知的挑戰有關,因為要么來自友好來源的數據可能被破壞,要么敵人有可能被欺騙成友好數據來源[1,2,3,4]。因此,以較高的置信度對這些資產進行分類是一項具有挑戰性的任務。應對這一挑戰的最初步驟是,從這些設備中獲取數據,例如圖像、文本或音頻,并調查未知數據是否可以被分類為已知數據。
我們的方法包括選擇圖像數據和建立一個深度學習框架來解決分類的挑戰。圖像類被特別選擇來代表類似于軍事行動中常用的地形景觀。
因此,我們的框架由兩個獨立的部分組成;對從原始數據集獲得的圖像進行分類,以及對使用圖像-音頻編碼方案從圖像獲得的音頻信號進行分類(第3.1節)。
由于編碼將數據從一個數據域(圖像)轉換到另一個數據域(音頻),預計會有信息損失。為了解決上述轉換后的數據樣本的挑戰,我們提出了以下問題:當數據被編碼方案轉換后,我們能否提高模型的性能,從而將未知數轉換成已知數?我們怎樣才能彌補模型的低性能,從而使以前的未知數據能夠用于提高決策過程中的可信度?在模型的性能和正確分類數據以支持決策之間的權衡是什么?