數字孿生是一種強大的數字工具,允許原始電子制造商 (OEM) 或工程和制造服務提供商創建和利用物理產品的數字模型。從工廠 4.0 實施到高級智能家居,數字孿生在許多應用中越來越受歡迎,這些應用支持預防性維護。在復雜、高可靠性系統的設計工程中,數字孿生顯示出巨大的前景。
數字孿生技術使我們能夠模擬真實世界的系統,以識別數字環境中的設計和制造挑戰和解決方案。因此,這種專業技術具有許多好處,包括:
更進一步,數字孿生允許在審查和與數字模型交互時提供更深層次的細節。盡管構建數字模型的能力已經存在了一段時間,但數字孿生使我們能夠組合系統并更好地了解這些不同系統如何相互反應和協同工作。
例如,從理論上講,我們可以開發一個帶有所有預期集成系統(例如無線電)的直升機駕駛艙的虛擬表示,然后模擬直升機飛越無線電干擾器的環境,以了解我們如何解決這一挑戰。這種使用數字模型的靈活性和能力將大大增強設計、測試和制造,并將增強整體卓越設計 (DFX) 流程。但問題仍然存在:
當我們考慮如何在航空航天和國防市場中使用這種專業技術時,數字孿生變得更加復雜,因為系統設計的復雜性正在增加,對獲得解決方案所需時間的期望正在降低。盡管如此,美國國防部(DoD)和Prime正在關注數字孿生的發展。
軍用飛機、作戰坦克和軍艦服役的時間越長,制造或采購所需零件就越困難。因此,保持健康的供應鏈和確保最佳性能可能變得越來越困難。由于制造商可以基于數字模型生產精確的零件,因此國防部正在轉向數字孿生技術,以縮短零件采購的交貨時間。
但是,除了克服供應鏈和維護問題之外,數字孿生還為國防部提供了一些額外的好處,“從增加網絡安全和周邊防御到加強設施運營和規劃未來發展”。 隨著數字孿生技術變得越來越容易獲得,美國空軍、陸軍、海軍、海軍陸戰隊和海岸警衛隊將繼續尋找機會與先進的工程和制造公司合作,利用數字孿生來確保任務的持續成功。
但目前的挑戰使我們無法實現所有這些優勢。然而,克服這些障礙并提出必要的問題將有助于我們更好地了解數字孿生的未來可能走向何方。
我們應對的主要挑戰之一是組織和捕獲產品開發所需的組件、硬件、軟件等的所有不同數字模型。以藍牙模塊為例。為了使數字孿生的概念有效工作,用戶需要擁有每個組件(例如,驅動程序、兼容軟件、天線/射頻組件、固件等)。但是,如果這些部件中的每一個都來自不同的供應商和服務提供商,那么誰負責物理部件、組件或子系統的相應數字孿生?
另一個挑戰是使用更敏感的知識產權,例如,如上所述,在軍事系統設計和開發中。擁有功能齊全的數字孿生會帶來嚴重的網絡安全威脅,因為任何獲得數字孿生訪問權限的人都可以在物理世界中重新創建產品。這種潛在威脅需要對數字模型各個方面的訪問進行限制,使數據創建、所有權和訪問的想法進一步復雜化。
目前,有幾種不同的方法可以解決所有權、創建數字孿生的責任和可訪問性問題。我們在下面概述了其中的一些:
第一種選擇是讓負責零件、子系統或組件的每個人也負責創建各自的數字模型,并擁有這些零件的數據。盡管這會帶來更大的安全風險,但在快速開發數字孿生和在眾多組織之間分擔創建數字孿生的責任方面,它更有效率。此選項還使這些人更容易與可能需要零件的其他系統共享其模型,前提是創建并支持模型和“仿真環境”的標準。
第二種選擇是讓 OEM(擁有產品的 IP)創建、管理和擁有數字孿生的所有方面。此選項將提供更好的安全性,因為所有權的變量更少,并且 OEM 將對數字孿生的可訪問性有更多的控制權。缺點是系統設計所有者將承擔創建和維護子系統模型和數據的艱巨任務。
第三種選擇涉及現有仿真建模能力的演變,其中一組公司為數字孿生運營環境開發資產,并將這些資產出售給需要它們的公司。這些公司的范圍包括:
1)那些已經參與硬件設計和開發的人
2)基于使用其軟件創建的資產創建庫的模擬軟件公司
3)為創建和管理數字孿生而建立的全新公司
盡管這些模型中的每一個都有各種優點和缺點,但我們必須保持對話向前發展。
沒有人完全確定這將如何發展,但預計這將是這些不同選項的組合,基于對安全性和可訪問性的日益關注以及所需的前期投資。圍繞機器學習 (ML) 和人工智能 (AI) 將如何影響數字孿生存在疑問。盡管如此,這些都是現在要問的關鍵問題,因為數字孿生的興起將不可避免地在以下方面提供實質性的推動:
參考來源:Benchmark,Jan Janick
美國國防工業正在經歷重大變革,以適應21世紀戰略不確定性和技術進步帶來的挑戰。塑造行業未來的一個關鍵趨勢是增材制造等先進制造技術的集成。這種創新方法可以制造復雜而輕巧的部件,徹底改變國防部門的傳統制造工藝。例如,利用3D打印技術生產飛機和航天器零件可以提高效率,并實現快速原型制作和定制,展示了該行業對采用尖端解決方案的愿景。
除了增材制造外,能源彈性和環境考慮因素已成為軍事規劃中的關鍵因素。采用替代燃料和電力推進技術等可持續舉措反映了國防工業向環保意識實踐的更廣泛轉變。通過優先考慮能源彈性戰略,國防組織旨在減輕環境影響、提高運營效率并確保長期可持續性。例如,實施更環保的燃料替代品和創新的能源技術可以減少碳足跡,并有助于資源保護和環境管理,與全球可持續發展目標保持一致。
此外,隨著國防工業在不斷變化的環境中航行,解決人才短缺和勞動力發展挑戰至關重要。美國組織正在探索創新的招聘和保留策略,以吸引熟練的專業人員,以應對競爭激烈的就業市場。航空航天和國防公司可以通過超越傳統的薪酬方案和實施以任務為中心的營銷活動來有效地吸引潛在員工。此外,通過多樣化的學習途徑和職業發展計劃提高員工的技能對于為員工提供必要的技能以滿足行業內先進技術的需求至關重要。持續教育和培訓計劃可提高員工的能力,并確保隨時準備在國防行動中利用尖端創新。
在網絡攻擊威脅形勢不斷升級的推動下,網絡安全在制定未來防御戰略方面發揮著關鍵作用。國防工業對網絡安全的投資側重于增強信息戰能力和加強關鍵基礎設施免受惡意入侵。例如,美國國防高級研究計劃局(DARPA)開發了創新的網絡安全解決方案,以保護軍事網絡免受高級持續威脅的侵害,凸顯了該行業在保護國家安全資產方面的積極立場。這些投資加強了網絡防御,并確保了面對不斷變化的網絡威脅時的運營連續性和彈性。
此外,制定進攻性網絡戰戰略凸顯了該行業在數字領域領先于潛在對手的愿景。通過部署進攻性策略,防御實體可以先發制人地破壞網絡威脅,并阻止惡意行為者破壞敏感的防御系統。在網絡防御系統中集成人工智能和機器學習算法,可實現實時威脅檢測和快速響應機制,從而增強行業有效應對復雜網絡威脅的能力。這種積極主動的方法符合行業的戰略要務,即保持信息優勢并保護關鍵資產免受網絡漏洞的影響。
除了進攻策略外,強調持續的網絡安全員工教育對于在國防組織內培養網絡意識文化至關重要。通過對員工進行網絡安全最佳實踐及其在維護安全環境方面的具體責任的教育,該行業確保每個人都為抵御網絡威脅的集體防御做出貢獻。例如,模擬網絡釣魚演習和定期的網絡安全培訓課程為員工提供了識別和減輕潛在風險所需的知識和技能,從而在組織的各個層面培養網絡安全警惕文化。技術、戰略和人力資本之間的這種合作努力凸顯了國防工業為保護其數字資產和保持運營完整性而采取的多方面方法。
人工智能 (AI) 是一項變革性技術,它通過提供多種功能來提高作戰效率和決策過程,從而徹底改變國防戰略。人工智能在國防領域的應用跨越多個領域,包括空中交通管理、油耗優化以及情報和監視行動。通過利用人工智能算法,國防系統可以優化空域利用率,降低燃料成本,并處理大量數據,以獲得可操作的見解,從而做出明智的決策。例如,空中交通管理中的人工智能驅動解決方案可實現實時空域監控、航線優化和防撞,從而提高航空安全和效率。
此外,人工智能在國防領域最重要的影響之一是自主武器系統的發展。這些人工智能驅動的系統旨在獨立運行,在戰斗場景中做出精確和準確的瞬間決策。通過將人工智能集成到國防應用中,自主武器系統可以增強軍事能力,縮短響應時間,并可能減少高風險情況下的人為干預。例如,部署配備人工智能算法的自主無人機可以實現快速監視、目標識別和打擊行動,展示了國防技術向更加自主和智能系統發展的前景。
此外,人工智能在簡化國防工業的制造流程和提高運營效率方面發揮了重要作用。國防組織可以通過利用 AI 驅動的分析和預測性維護算法來優化生產工作流程、減少停機時間并確保設備可靠性。例如,人工智能驅動的預測性維護系統可以主動預測設備故障、安排維護活動并優化備件庫存,從而節省成本并做好運營準備。將 AI 集成到制造流程中可以提高生產力,并為敏捷和自適應的國防生產能力鋪平道路,以應對動態任務要求和新出現的威脅。
太空領域對國家安全越來越重要,美國太空部隊的成立凸顯了太空戰在國防戰略中的戰略重要性。在對地理空間情報和圖像日益增長的需求的推動下,先進的衛星技術已將太空轉變為增強防御能力的關鍵領域。例如,衛星通信系統為軍事行動提供安全可靠的數據傳輸,促進在遠程和敵對環境中的實時態勢感知和通信。通過利用衛星技術,國防組織可以增強監視、偵察和通信能力,從而在不同的戰區實現對軍事資產的有效指揮和控制。
此外,整合衛星監視能力通過提供持續的監控和情報收集能力,徹底改變了國防戰略。國防實體可以通過部署配備高分辨率成像傳感器和高級數據分析的衛星星座來跟蹤和分析全球活動,檢測潛在威脅,并主動應對新出現的安全挑戰。例如,衛星偵察任務使國防軍能夠監視對手的動向,評估基礎設施的發展,并收集有關潛在威脅的情報,從而有助于戰略決策和作戰規劃。太空作戰與國防戰略之間的協同作用凸顯了該行業致力于利用太空作為力量倍增器,擴大軍事力量的范圍和能力,以加強國家安全。
此外,高超音速技術的競賽已成為國防創新的焦點,各國都在大力投資開發用于軍事應用的卓越高超音速能力。高超音速武器能夠以超過 5 馬赫的速度飛行,在速度、精度和規避機動性方面具有顯著優勢,重塑了現代戰爭的動態。例如,美國、中國和俄羅斯積極尋求發展高超音速武器,以獲得戰略優勢并威懾潛在對手。定向能武器,如高功率激光和電磁軌道炮,是正在探索的先進防御技術之一,以增強軍事能力和應對新出現的威脅。追求高超音速技術旨在超越對手,保持戰略優勢,并確保在競爭日益激烈的安全環境中具有威懾力。
國防工業正在見證向先進制造技術和創新后勤解決方案的范式轉變,以提高作戰能力和效率。增材制造,通常稱為 3D 打印,通過制造具有增強耐用性和性能的復雜輕質部件,正在徹底改變國防生產。例如,3D打印在生產飛機和航天器零件中的應用減少了重量和材料浪費,并加快了原型制作和生產過程,從而實現了快速迭代和定制。采用增材制造技術凸顯了該行業在國防制造中對敏捷性、成本效益和技術創新愿景。
此外,先進的后勤創新對于加強國防部門的供應鏈安全和作戰效率至關重要。國防公司可以利用區塊鏈等技術來提高其供應鏈運營的透明度、可追溯性和效率。例如,支持區塊鏈的供應鏈平臺可以實時了解關鍵軍事資產的移動情況,簡化采購流程,并降低與中斷相關的風險。集成先進的物流解決方案可優化庫存管理和配送,并增強作戰準備和響應能力,確保為軍事任務和突發事件提供無縫支持。
采用先進的制造技術還使國防公司能夠在快速發展的環境中保持競爭力和敏捷性。通過采用自動化、機器人和數字孿生技術,組織可以優化生產工作流程、降低成本并加速下一代防御系統的開發。例如,在裝配過程中使用機器人技術可以提高精度、效率和安全性,從而實現更高的質量標準和運營績效。先進制造技術的戰略整合增強了該行業的彈性、適應性和創新能力,使國防公司在全球國防市場中保持持續增長和競爭力。
能源彈性已成為國防工業的戰略要務,人們越來越重視可持續能源倡議和環境考慮。采用替代燃料、電力推進技術和脫碳工作反映了該行業對減少環境影響、提高運營效率和確保長期可持續性的承諾。通過優先考慮能源彈性戰略,國防組織旨在降低與能源供應中斷相關的風險,減少碳排放并優化資源利用。例如,整合可持續燃料和智能能源解決方案可以增強能源安全,并有助于環境保護和氣候適應力,與全球可持續發展目標保持一致。
此外,能源彈性計劃側重于使能源多樣化、提高能源效率和探索創新技術以應對不斷變化的能源挑戰。通過投資可再生能源系統、微電網解決方案和智能能源管理技術,國防實體可以提高運營可靠性,減少對化石燃料的依賴,并實現成本節約。例如,在軍事設施中部署太陽能電池陣列、風力渦輪機和儲能系統可以增強能源獨立性,降低運營成本,并加強任務準備。能源彈性戰略的整合不僅確保了可持續的能源實踐,而且增強了國防部門的運營靈活性、安全性和環境管理。
國防工業也在探索綠色能源替代品,如生物燃料、氫燃料電池和混合動力推進系統,以減少碳足跡并提高運營可持續性。通過過渡到更清潔的能源并采用節能技術,國防組織可以顯著減少溫室氣體排放、能源消耗和運營成本。例如,在國防應用中開發混合動力電動汽車、飛機和船舶表明了向提高能源效率和環境責任的環保解決方案的轉變。該行業對能源彈性的戰略重點與全球應對氣候變化、減少環境影響和促進國防行動可持續實踐的努力相一致,反映了對負責任的資源管理和卓越運營的承諾。
國防工業面臨人才短缺和勞動力發展挑戰,需要創新的招聘和保留策略來吸引和留住熟練的專業人員。為了應對競爭激烈的就業市場,組織正在將其方法擴展到傳統薪酬方案之外,通過以任務為中心的營銷活動和戰略招聘工作來吸引潛在員工。例如,航空航天和國防公司利用數字平臺、社交媒體和有針對性的廣告來接觸潛在候選人并傳達他們的組織文化、價值觀和職業機會。通過強調該行業對創新、國家安全和專業發展的承諾,國防公司可以脫穎而出并吸引頂尖人才,以滿足不斷變化的勞動力需求。
此外,通過量身定制的學習計劃、職業發展計劃和繼續教育機會來提高員工的技能,對于讓員工掌握在不斷發展的國防領域取得成功所需的技能和知識至關重要。通過投資培訓模塊、認證和專業發展課程,國防組織可以提高員工的能力,適應技術進步,并培養終身學習的文化。例如,整合在線學習平臺、指導計劃和領導力培訓研討會使員工能夠獲得新技能,跟上行業趨勢,并在國防部門推進他們的職業生涯。該行業對人才發展和勞動力賦權的關注凸顯了其致力于建立一支能夠應對未來挑戰的熟練、多樣化和有彈性的員工隊伍的愿景。
此外,以任務為中心的營銷活動和戰略招聘工作對于吸引國防工業人才和展示可用的各種職業機會至關重要。通過突出該行業的創新項目、尖端技術以及對國家安全的有意義的影響,國防組織可以吸引廣泛的候選人并激發對國防相關職業的興趣。例如,在大學、招聘會和行業活動中開展有針對性的招聘活動,提高人們對國防工業機會的認識,與潛在人才互動,并促進該行業成為一個充滿活力和回報的職業發展部門。招聘計劃與組織價值觀、愿景和使命的戰略一致性培養了一批熟練的專業人員以及卓越和創新的文化,并確保行業準備好應對未來的勞動力需求和挑戰。
數字化轉型和新興技術的集成正在重塑航空航天和國防部門,推動國防行動的創新、效率和競爭力。數字孿生和數字主線技術正在加速產品設計迭代,優化制造流程,并提高國防工業的運營績效。組織可以通過創建物理資產的虛擬副本并在整個產品生命周期中連接數字數據線程,在其設計和生產工作流程中實現更高的可見性、控制和協作。例如,在飛機維護中實施數字孿生技術可實現預測性維護計劃、故障診斷和性能優化,從而減少停機時間并增強運營準備。
此外,增強現實 (AR) 和虛擬現實 (VR) 等沉浸式技術正在改變國防部門的培訓方法、維護程序和操作工作流程。通過模擬逼真的場景、提供動手培訓模塊和實現交互式學習體驗,AR 和 VR 技術增強了態勢感知能力,提高了技能保留率,并優化了軍事人員的績效成果。例如,在設備維護中使用 AR 應用程序允許技術人員訪問實時數據、數字手冊和分步說明,從而加快維修、故障排除和運營支持。沉浸式技術的整合提高了培訓效果。它在國防組織內培養了一種創新、適應性和持續學習的文化,使他們能夠在快速發展的數字環境中取得成功。
此外,在航空航天和國防行動中采用工業 4.0 原則可推動制造流程、供應鏈和維護活動的自動化、連接性和智能化。通過整合人工智能、機器人和物聯網設備等先進技術,組織可以在其運營中實現更高的生產力、質量和靈活性。例如,用于預測性維護的 AI 算法、用于裝配任務的機器人自動化以及用于實時監控的物聯網傳感器使國防公司能夠優化生產計劃、降低成本并提高產品質量。工業 4.0 技術的戰略部署簡化了工作流程,并為國防工業的自主系統、數據驅動決策和數字化轉型奠定了基礎,確保了在快速變化的技術環境中的競爭力和彈性。
數字服務和數據交換對于加強維護活動、優化資產性能和提高國防部門的運營效率至關重要。通過促進軍事裝備、人員和指揮中心之間的無縫數據交換,數字服務可實現實時監控、預測性維護和資產跟蹤。例如,數據驅動的洞察力可以有效地管理維護計劃,從而采取主動干預措施,減少停機時間并提高設備可靠性。集成數字服務可簡化維護流程,并提高國防運營的戰備狀態、安全性和成本效益。
此外,協作和自主性是國防工業數字化轉型和數據交換計劃的基本驅動力,促進了不同國防利益相關者之間的協同作用、互操作性和敏捷性。通過促進信息共享、運營協調和決策能力,數字服務創建了一個統一的生態系統,在這個生態系統中,數據驅動的洞察力和實時情報支持戰略目標和任務要求。此外,這些技術實現的自主性使軍事單位能夠以更大的獨立性、響應能力和適應性開展行動,確保有效的任務執行和態勢感知。例如,使用具有先進數據交換能力的無人機 (UAV) 可以執行自主偵察任務、監視行動和目標獲取,從而提高戰場效率和作戰成果。人工智能與數字服務的無縫集成通過實現預測分析、決策支持和運營優化,進一步擴大了其影響力,從而提高了國防運營的效率、創新和有效性。
國防工業的未來前景集中在有效整合尖端技術上,以應對新出現的威脅,保持競爭優勢,提高作戰效率。隨著國防戰略的發展,人工智能 (AI) 仍然是國防行動創新和效率的關鍵驅動力。人工智能在自主武器系統、預測性維護和情報分析中的應用改變了傳統的防御方法,從而加快了決策速度,節省了成本,增強了任務能力。通過利用 AI 算法,國防組織可以簡化制造流程、優化資源分配并增強對不同任務場景的防御準備。
此外,采用增材制造技術可實現具有增強性能特征的復雜部件的快速原型設計、定制和制造,從而重塑國防生產。例如,在國防中使用 3D 打印可以生產輕質結構、復雜的幾何形狀和定制零件,從而提高設計靈活性、生產效率和成本效益。集成增材制造技術可加速國防系統的開發,提高國防制造流程的敏捷性、創新性和可持續性。隨著國防公司利用增材制造來增強其能力,他們可以適應不斷變化的威脅,優化生產工作流程,并在國防工業中保持技術優勢。
此外,增強現實 (AR) 和虛擬現實 (VR) 等沉浸式技術的整合繼續影響著防御策略和訓練方法。這些技術提供交互式、身臨其境的體驗,可增強培訓成果、維護程序和操作工作流程。AR 和 VR 技術通過模擬逼真的場景、提供動手培訓模塊和啟用協作環境,提高軍事人員的技能保留、態勢感知和決策能力。例如,在維護任務中使用 AR 應用程序允許技術人員訪問數字手冊、視覺輔助和遠程支持,從而加快維修、故障排除和運營支持。沉浸式技術的戰略性采用可提高培訓效果。它在國防組織內培養了一種創新、適應性和持續學習的文化,使他們能夠在快速發展的數字環境中取得成功。
參考來源:Kalea Texeira,美國空軍(退役),美國聯邦航空局航空戰略專家
自 1950 年代以來,人工智能以一種非凡的方式發展,它不僅改變了行業,也改變了我們的日常生活。世界各地的武裝部隊正在以多種方式整合人工智能的使用,由于該領域尚未受到監管,因此正在探索和開發各種基于人工智能的自主系統。眾所周知,基于人工智能的自主系統的首次使用是由DARPA(美國)開發的動態和分析重新規劃工具(DART),用于安排供應鏈和個人移動,以解決其軍隊的后勤效率問題。從那時起,它已經走了很長一段路,在最近的沖突和戰爭中,以破壞性的方式觀察到基于人工智能的自主系統的大規模使用。自主無人機在超出任何反措施范圍的高度等待,以便對系統選擇的目標進行有效的精確打擊。這可能是最簡單但最有效的例子之一,可以詳細說明現代作戰基礎設施如何過渡到集成自主系統。除了具有高有效性和效率的優勢外,這些系統還為士兵提供了3D(沉悶,骯臟和危險)任務的安全,并優化了高昂的作戰成本。
人工智能使用計算機系統模擬自然智能,在該系統中,它感知和感知數據,分析數據,從數據集中學習,然后將其用于所需的決策,而無需人類參與。對于人類來說,圖像是根據存儲在人腦中腦回溝細胞結構中的圖像來感知和理解的,而在 AI 模型中,具有具有權重的神經網絡算法的計算機處理器在數學上學習和感知相同的圖片。
人工智能是機器學習 (ML)、深度學習 (DL) 和自然語言處理 (NLP) 等多個領域的龐大通用集合,它們是根據可用數據集的大小解決各種問題的工具。人工智能的目標是創建一個可以智能和獨立運行的系統。任何 AI 模型的這一目標都涉及培養解決問題的能力、允許持續學習、鼓勵智能、促進創造力以及實現人與 AI 的協同作用。人工智能可以根據它應該執行的任務類型,分別在不熟悉的領域或特定的已知需求中大致分為廣義或狹義。人工智能模型基于傳感器輸入的數據,根據算法處理數據以解釋、預測或采取行動。然后,系統可以分析或提供反饋以適應或自我學習。所有這些都屬于 ML、DL、NLP、語音識別、專家系統、優化、機器人技術、計算機視覺形成自主系統。
基于人工智能的系統的軍事用例很多,涵蓋了上述所有技術,以了解軍事行動的確切動態。這些系統是作戰系統、戰略決策算法、數據處理單元、兵棋推演中的戰斗模擬、目標識別、威脅監測、蜂群、游蕩彈藥、高效的后勤方法、因果關系護理和疏散。 基于人工智能的武裝部隊自主系統由一組多個復雜的子系統組成,其中可能包括傳感器/感知系統、通信設備、基于機器學習和訓練數據的決策算法的執行器,這些執行器不需要任何人工干預即可執行所需的任務。這些系統可以根據其功能和操作分為各種類別,如無人機/無人機/機器人平臺/蜂群或其他作戰系統。
自主系統旨在通過收集信息并在沒有任何人工干預的情況下長時間工作,在不斷變化的環境中實現一系列目標。他們可以自己思考。雖然它們有一個人工智能核心,包括傳感器、通信系統、執行器、基于機器或深度學習的決策算法,但它們也需要是冗余的,與按照道德和法律框架制定的網絡安全措施相結合,應該有足夠的人機界面。
根據戰略用途的類型和特定地理位置的戰術需求,這些自主系統以各種形式設計。最常見的是地面車輛(履帶式、輪式或腿式)和無人機,它們也可以作為集群運行。 海洋自主系統旨在根據情況需要在水下或水面上移動。該系統將武器或傳感器安裝在地面或空中平臺上,專為戰斗、ISR、后勤、目標/火控、搜索和救援等特定作戰場景而設計。自主通信網絡旨在最有效地利用已部署的資源,以實現連續的信息流。以類似的方式,成群的無人機或地面車輛在網狀網絡上工作,其算法旨在避免碰撞,同時在定義的空間中作為一個組保持凝聚力。一群類似于鳥類的無人機在成群結隊、上學和覓食方面工作,而不會因冗余而影響操作必要性。
自主系統是有利的,因為它們可以降低士兵的生命風險,因此可以處理各種對人類來說骯臟、沉悶或危險的任務,如解除爆炸物、敵對條件下的 ISR、戰斗、CI/CT 操作、巡邏、快速反應、搜索和救援、惡劣地形中的后勤、長期操作、事故預防和醫療應用。
這些自主系統的開發、集成、部署和維護是有成本的,但從長遠來看,通過負責任的規劃和決策,它們在整體成本效益方面具有優勢。自主系統降低成本的方式和手段是減少人員費用,減少損失風險,優化資源及其分配,降低維護成本,提高任務效率,減少燃料消耗,操作靈活性,可擴展性和規模經濟。
這個基于人工智能的自主系統領域正在隨著新技術的發展而增長,以增強軍事能力。這些系統充當了力量倍增器,確保了速度和精度,操作的連續性,并具有更好的數據處理和分析能力。這些不斷發展的自主系統與軍事戰略相結合,將導致戰爭的新面貌,使它們成為任何現代作戰部隊不可或缺的資產,確保提高效率,降低生命風險并節省成本,但是,負責任地部署這些系統存在道德,法律和政策相關的問題,以避免任何意外和不希望的情況,因為對手也將開發導致沖突的此類系統。降低與自主系統相關的任何風險至關重要,包括負責任的決策、保持監督和故障安全檢查。
參考來源:Narendra Tripathi中校
大數據與人工智能(AI)的結合實現了準確預測和明智決策,為工業和研究帶來了革命性的變化。這些進步也在軍事領域找到了自己的應用位置,一些舉措整合來自不同領域的數據源和傳感器,提供共享的態勢感知。在城市軍事行動中,及時了解具體情況的信息對于實現精確和成功至關重要。數據融合將來自不同來源的信息結合在一起,對實現這一目標至關重要。此外,民用數據可提供關鍵的背景信息,并對任務規劃產生重大影響。本文提出了軍事數據空間(MDS)概念,探討大數據如何通過結合民用和軍用數據來支持軍事決策。文章介紹了使用案例,強調了數據融合和圖像認證在提高數據質量和可信度方面的優勢。此外,還討論了數據安全、隱私、完整性、獲取、融合、聯網和利用人工智能方法等方面的挑戰,同時強調了構建下一代軍事應用的機遇。
大數據的興起改變了企業存儲、管理和分析海量數據的方式。此外,大型數據集的可用性和更強大硬件的發展也為人工智能(AI)時代的到來鋪平了道路。盡管存在局限性,但這些課題在軍事領域也找到了適用性。其中一個例子是美軍使用的多域作戰(MDO),后來擴展為聯合全域指揮與控制(JADC2),以及 "共同作戰圖景"(COP)概念,這些概念整合了多個領域(陸地、海洋、空中、太空和網絡空間)的各種數據源和傳感器,使決策變得更快、更明智,提供了從戰術到戰略的各級組織的共享態勢感知。此外,北約社區已通過北約核心數據框架(NCDF)討論并測試了數據湖概念,以便在適當的時間/形式與聯盟伙伴共享可靠的跨域信息。
利用先進的算法和計算能力,人工智能可以處理龐大的數據集,揭示人類通常無法察覺的復雜模式。這使國防行動能夠增強實戰經驗、促進任務執行、做出數據驅動的決策、協調來自不同來源的數據,并加強應對威脅和災難的準備。通過整理來自不同來源的數據,指揮與控制(C2)部門可以深入了解城市景觀,并通過數據融合技術[3]、[4]促進態勢感知決策[1]、[2]。現代城市部署了傳感器網絡,利用大數據支持城市軍事戰略。此外,社交媒體平臺是寶貴的文本、圖像和視頻來源,豐富了態勢感知,但也帶來了數據完整性等挑戰。在 "非戰爭 "行動中,包括打擊腐敗政府、毒品販運和人道主義任務,大數據、數據融合、數據完整性和人工智能在任務成功中的重要作用在當代全球格局中變得顯而易見。
本文深入探討了利用大數據促進軍事決策以及相關挑戰。文章以簡明易讀的方式涵蓋了該領域相對欠缺探索的各個方面。在此背景下,研究介紹了軍事數據空間(MDS)的概念,這是一種將軍內數據(IMD)和軍外數據(EMD)結合在一起的新方法,旨在引發討論并開發軍事解決方案。然后,它通過以數據融合和圖像完整性機制為重點的使用案例來說明大數據的好處。最后,它討論了使用大數據的挑戰和機遇,集中在支持戰略性軍事決策必須考慮的四個主要方面:i) 數據融合;ii) 安全/隱私和完整性;iii) 人工智能;以及 iv) 網絡作為訪問大數據的手段。
從網絡視角討論數據傳播問題具有現實意義,文獻中也有廣泛論述。因此,本研究旨在引發對大數據觀點的討論,以及利用大數據造福軍事系統的可能性。此外,我們還強調了應對整合 IMD 和 EMD 相關挑戰的重要性。這種整合對于建立有凝聚力的大數據,最終提高軍事決策能力至關重要。總之,本文的貢獻如下:
文章結構如下。第二節介紹了 MDS 的概念。第三節回顧了有關軍事和民用場景中大數據的最新文獻。第四節介紹兩個使用案例,說明大數據如何支持軍事決策。第五節討論了軍事數據領域的挑戰和機遇。最后,第六節總結了本研究討論的主要方面,為文章畫上了句號。
軍事數據空間(MDS)的概念是根據 [5] 中討論的觀點提出的。它提供了一個以數據為驅動的軍事場景視角,有助于根據不同的數據源做出決策。MDS 包括兩個主要類別: 軍內數據(IMD)和軍外數據(EMD),如圖 1 所示。目前大多數軍事文獻都只針對 IMD 提出和評估系統(如中間件、協議)。然而,隨著信息和通信技術(ICT)的迅猛發展,民用系統已成為不可忽視的數據和基礎設施(網絡)的重要來源。因此,考慮到數據隱私/安全、完整性、獲取、融合、聯網和利用人工智能等挑戰,MDS 旨在支持關于 EMD 如何幫助軍事決策的討論。
圖1 軍事數據空間。
IMD 與軍方提供和消費的數據相對應,主要分為兩層:帶有真實/虛擬傳感器(來自空間/航空/地面/航海單元)的基礎設施和信息層,包括作戰、情報和后勤數據。
基礎設施包括傳感器(如雷達、聲納、照相機)和其他電子系統收集的數據,可探測和跟蹤空中、陸地或水中的物體;車輛傳感器可提供軍事單元和周圍的狀態;可穿戴/智能和物聯網(IoT)設備可通過 GPS 定位、地圖、健康測量、實時照相機(高分辨率、紅外線)等為戰場上的步兵提供支持。這些數據可用于監測和識別潛在威脅、協助鎖定敵軍目標以及監測步兵狀況。
除了來自真實/虛擬傳感器的原始數據外,IMD 還包括信息層,該層融合了從作戰到情報等各種來源收集的數據,以創建一個更可靠、更廣闊的作戰視圖,這也是 JADC2 和 COP 系統的目標。情報信息可幫助軍隊了解敵軍的能力和意圖,識別潛在威脅并制定作戰計劃。后勤數據提供有關物資、裝備和人員的信息,如運輸時間表、庫存水平和維護記錄。這些數據對于確保軍隊擁有有效執行任務的資源至關重要。
軍外數據是由真實/虛擬傳感器單獨或融合提供的數據子集,可描述軍事行動周圍的環境。因此,可定義用于支持軍事行動的兩個主要數據層:基礎設施(如交通系統、天氣、當局)和信息(如社交媒體、新聞、政府報告)。這些層產生了大量高度可變的信息,從用戶對實時事件(如事故、腐敗和恐怖主義)的感受和照片,到城市環境中的交通/天氣狀況和人們/駕駛員的行為。
信息和通信技術在城市地區的發展催生了智能城市的出現,智能城市通過增強流動性、安全性和健康解決方案來應對城市化帶來的挑戰。智能城市基礎設施包含傳感器,可捕捉有關車輛、交通、天氣和駕駛員行為的寶貴數據。傳感器和物聯網設備的激增也產生了大量數據,這使得利用云通信技術和人工智能應用開發智能系統成為可能。在大數據的推動下,數據融合應運而生,它整合了來自多個提供商的數據,以提高質量和覆蓋范圍,并減少海量數據流量。融合來自交通、天氣、攝像頭、醫療系統等的數據,不僅有可能支持民用應用,還能通過提供上下文數據支持戰略性軍事行動。在傳感器基礎設施有限的情況下,來自社交媒體和政府報告等媒體來源的數據可幫助了解當地行為,并識別影響犯罪、腐敗和毒品販運的因素。
社交媒體數據對于支持與緊急事件和災難相關的信息非常有價值,可通過捕捉獨特信息(如需要救援的群體的位置或隱藏人員的存在)來補充其他傳感器數據。建筑物上的固定傳感器和監控攝像頭可幫助進行人員跟蹤,以準確識別位置。社交媒體數據與其他數據源相結合,有助于敵情偵查和戰術規劃。與交通相關的傳感器數據,特別是交通監控攝像頭,在應急響應和軍事后勤方面發揮著重要作用。它可以檢測事故造成的擁堵和堵塞,從而改進軍事行動期間的路線規劃和交通管理。整合所有收集到的信息可增強態勢感知,促進城市環境中行動的有效規劃和管理。
針對近期發生的事件,如俄羅斯戰爭以及美國和巴西等國的反民主極端分子所帶來的挑戰,已經出現了多項舉措。其中一個例子是 ACLED(武裝沖突地點和事件數據)項目,該項目提供有關政治暴力和抗議事件的實時全球數據。另一個值得一提的項目是 DATTALION,這是一個廣泛的開源照片和視頻片段數據庫,記錄了俄羅斯對烏克蘭的戰爭。該數據庫的主要目的是反擊俄羅斯政府散布的錯誤信息。聯合國開發計劃署(UNDP)利用機器學習(ML)算法和大數據來檢測烏克蘭東部受損的基礎設施。語義損壞檢測器 (//tinyurl.com/semdam) 利用衛星圖像和地面照片對算法進行訓練,以識別建筑物、道路和橋梁的潛在損壞,協助地方當局和人道主義組織確定行動的優先次序。這些舉措極大地促進了 MDS,特別是 EMD,為分析和研究提供了寶貴的資源。
本節探討大數據在軍事領域的應用,重點從數據內(IMD)和數據外(EMD)兩個角度概述大數據在軍事行動中的重要意義,并探索利用其潛力的最新解決方案。
大數據在軍事領域的一些挑戰已在文獻中提出,并成為北約社區討論的主題,如作戰安全性、漏洞加固和數據可靠性[1]、[2]、[6],以及北約 IST160 和 IST-173。納入與外界幾乎沒有聯系的自主隔離(如 EMD)可能會限制大數據的自由流動,這就要求在保持系統自主性和保護性的同時,以創造性的方式利用大數據。在這一方向上,COP 和 JADC2 引導研究人員和行業使用和融合來自不同軍事實體的數據,以支持戰略決策。
Kun 等人[1]提出了在軍工企業構建大數據平臺、建立多級數據通道、實現全面數據管理和控制的詳細技術方案。該平臺有利于數據的收集、組織、處理和分析,將數據轉化為知識,以加強決策/服務支持、創新、質量控制和風險管理。Xu 等人[6]強調了數據科學在當代戰爭中實現信息優勢的重要性。他們的系統性綜述顯示,社會科學文獻對數據科學風險給予了極大關注,這可能會影響政治和軍事決策者。然而,與戰術層面相比,科學文獻缺乏對作戰和戰略層面風險的關注,這表明存在研究空白。這一差距可能是由于 IMD 與 EMD 之間缺乏聯系造成的,而 EMD 可以支持行動和戰略決策。
多傳感器數據融合(MSDF)方法是在戰術場景中提供快速高效的目標探測、跟蹤和威脅評估的一個實例,如文獻[4]所示。數據融合的另一個應用領域是基于位置的社交媒體(LBSM),它可以增強各個領域的知識,包括交通特征描述和事故檢測[7]。利用 LBSM 系統可以獲得更詳細的交通數據,有利于軍事后勤工作。在特定的軍事環境中,可以利用 LBSM 系統的潛力來提高數據可用性,并實現情境感知操作。
數據完整性對于維護對 MDS 的信任至關重要[9]。被篡改的數據會產生嚴重后果,影響民事和軍事決策過程,破壞對數據源的信心。社交媒體平臺上錯誤信息的泛濫就是這一挑戰的例證,這些錯誤信息往往被利用來施加政治影響,烏克蘭正在發生的沖突就是一例。為應對此類問題,Twitter 等平臺修訂了其政策,標記了許多與俄羅斯國家附屬媒體相關的推文,并檢測了數十億條與沖突相關的實時推文印象[10]。
與此同時,圖像認證的出現解決了人們對圖像完整性和來源驗證的擔憂。然而,包括人工智能軟件在內的先進圖像處理工具的興起使圖像驗證變得越來越棘手。雖然圖像驗證引入了水印、數字簽名和感知散列(pHash)等多種技術[11],但每種技術都有其優勢和局限性。例如,水印可提供真實性和所有權保護,但可能會影響圖像質量,而且容易受到高級處理技術的影響。相比之下,pHash 可以靈活地進行圖像操作,并對內容變化敏感,因此特別適合在社交媒體平臺上使用。在數據完整性和圖像認證的背景下考慮這些挑戰和解決方案至關重要。
首先,大數據的時空融合是為了支持軍事決策。由于缺乏所討論的可用 IMD,多數據融合(MDF)框架[12]被實例化,用于收集、準備和處理 EMD,并將其融合以提供豐富的信息。為了證明時空數據的豐富性,MDF 利用基于云的系統共享數據的公共可用性獲取了交通系統數據。不過,該框架可擴展到其他各種數據類型。其目標是提高數據質量、改進 C2 系統和軍事后勤,并支持城市地區的 COP/JADC2,從而創造出將融合 EMD 與來自不同領域的可用 IMD 結合使用的新方法。下文圖 2 介紹了 MDF 的主要功能。此外,還通過分析數值結果討論了融合大數據的好處。
對于數據采集,圖 2 (1)配置了一組參數(如區域、請求頻率)和數據源,MDF 為此收集各種格式的數據,并將其存儲在文件中。在準備階段(2),通過將不同的地物名稱和類型轉換為統一的表示方法,對輸入數據集進行標準化。這包括各種數據映射,以生成統一的數據類型,例如將描述性映射為數值或降低數據粒度。此外,還啟動地圖匹配,將所有地理定位數據(可能具有不同的精確度)融合到同一個路網中。MDF 對所有收集到的數據進行預處理,并從收集到的區域獲取 Shapefile (SHP)。請注意,根據應用目標和可用數據類型,框架可能會應用不同的特征提取方法,如自然語言處理(NLP)(情感分析、關鍵詞提取、詞法化、詞干化和自動摘要)或圖像處理(圖像分割、邊緣檢測和對象檢測),以從非結構化數據類型中提取信息。在使用案例中,我們沒有使用 NLP 算法,因為數據是無文本圖像和基于交通的數據。不過,建議的數據融合框架具有多功能性,可以處理各種數據類型,包括可以應用 NLP 技術的文本數據。
圖2 數據融合框架工作流程。
第三階段實現時間/空間數據融合和數據導出。為確保數據完整性,需要事先過濾非信任信息或有偏見的信息,例如,根據信息在不同數據源或圖像認證機制中的出現情況,使用驗證信息的方法,如第四節B部分所述。時間數據融合是通過對任意時間窗口(如每分鐘、每小時、每天)內的數據進行分組來實現的。為了進行空間融合,MDF 利用地圖匹配,根據底層道路網絡在規定的精確度下對 GPS 點進行對齊。由于不同數據源的 GPS 報告精度各不相同,因此必須這樣做,才能將所有地理定位數據映射到相同的道路網絡中。
最后,在圖 2 (4)中,豐富的數據以不同的格式輸出,為軍事和民用領域提供了多種可能性。MDF 的輸出通過創建不同類型的統計數據和可視化效果來支持時空分析,從不同的空間和時間方面描述可用信息的特征。
表I 按數據來源分列的道路覆蓋情況。
之前的工作[11]介紹了一種利用 Twitter 和 Facebook 來確保圖像完整性的圖像認證系統。該系統采用卷積神經網絡(CNN)和全連接層(FCC)進行特征提取,采用位置敏感散列(LSH)進行散列構建,并采用對比度損失最大化原始圖像和篡改圖像之間的差異。該模型的輸出是每個圖像 1024 位的固定長度向量表示。
為解決在城市軍事行動和民用系統中保持圖像完整性的重要性,提出了圖像事實檢查器(IFC),如圖 3 所示。它能檢測虛假圖像,確保數據的可信度,并作為當局主導的認證系統,打擊錯誤信息。系統會生成帶有徽標或圖標的驗證版照片,表明其已通過 IFC 系統驗證。此外,IFC 還提供了圖像的感知散列(pHash)字符串表示,可將其納入描述或在其他網站上共享。數據融合系統是 IFC 的一個可能的終端用戶,它可以在應用時空融合和生成豐富數據之前對抓取的圖片進行驗證。
圖3 Image-Fact-Checker (IFC)。
建立一個能提供即時真實信息的自動化系統是一個相對較新的概念,因此通過比較來評估其有效性具有挑戰性。然而,由于創建令人信服的偽造圖像的人工智能生成模型的興起,實施圖像認證系統現在變得至關重要。添加這一系統作為驗證層有助于防止或減少虛假信息的傳播,尤其是考慮到不斷發展的互聯網法規會對缺乏反虛假信息措施的平臺進行處罰。一種有效的方法是將 IFC 系統與政府機構連接起來。IFC 方法具有通用性和可擴展性,可提高個人的意識和信任度。
圖 4(左)是通過 DATTALION 從普通社交媒體用戶那里收集到的兩張未經驗證的圖片。這些圖片只是更大數據集中的一小部分。用戶通常不愿意相信這些來源,因此有效利用這些來源具有挑戰性。然而,當這些圖像經過 IFC 機制處理后,其可靠性就會提高,因為任何進一步的篡改都很容易被檢測出來。如圖 4(右圖)所示,應用 IFC 后,每張圖片都會收到 pHash 和相關信息,如圖片描述、提取的特征、位置、事件日期、抓取日期、發布者 ID。這些經過處理的圖像將存儲在 IFC 數據庫中,供今后查詢。該數據庫有多種用途:重復檢測、完整性驗證以及滿足特定最終用戶的要求。
圖4 使用IFC提取圖像細節。
數據融合的第一個挑戰是尋找和獲取軍事和民用領域的可用數據。出于隱私/安全考慮,信息可能無法廣泛獲取或獲取途徑有限。在軍事領域(IMD),數據受到更多限制,這為探索可用的民用數據(EMD)以支持戰略性信息決策提供了機會。第二個值得注意的挑戰是融合多種數據源,這些數據源可能具有不同的結構(結構化、半結構化和非結構化數據)、標準、數據類型(如文本、圖像、視頻)、測量單元、粒度和時空覆蓋范圍。因此,需要深入了解如何準備和處理不同的數據集,并將其融合為一個數據集。
處理社交媒體中的圖像和文本需要進一步的程序,如特征提取方法(如 NLP 和圖像處理),以提取可用信息。盡管數據融合面臨諸多挑戰,但將從不同角度(如指揮部、用戶、記者、政府、傳感器)描述同一空間和時間的不同數據源結合起來的好處,可以加強軍事行動的規劃和戰略階段,為 COP 和 JADC2 系統提供支持。
數據安全與隱私: 保護敏感的軍事信息對國家安全至關重要。需要強大的加密、安全的數據存儲和訪問控制來降低風險。建議采用的技術包括公鑰基礎設施(PKI)安全、受保護內核、數據加密、防火墻和入侵檢測。然而,如何在數據共享、有利于信息融合和安全/隱私措施之間取得平衡,對軍方來說仍是一項具有挑戰性的任務。
數據完整性: 被操縱的數據會給民用和軍用決策帶來風險,并降低對數據提供者的信任度。在生成內容的人工智能模型不斷進步的幫助下,篡改圖像迅速傳播,參與度不斷提高,這凸顯了對智能綜合解決方案的需求。通過社交媒體分享的圖片能夠快速傳達復雜的想法,從而為救援行動提供支持,使人們能夠立即采取行動,如在城市發生事故/災難時改變交通路線。圖片還能喚起情感聯系,增強讀者對新聞事件的理解。然而,烏克蘭戰爭等危機擴大了錯誤信息的傳播,這就需要 snopes.com 和 norc.org 等人工事實核查機構的參與,以打擊錯誤信息。然而,在戰爭期間或為打擊腐敗政府而進行基于人工的實時核查可能會耗費大量時間,這就為設計自動系統來驗證圖像和處理虛假信息創造了機會。
雖然這項工作的主要重點在于數據視角,以及確保使用來自不同來源的可信數據來支持軍事行動的相關性,但同樣重要的是要認識到網絡在有效提供數據和服務方面的重要性。在以網絡為中心的軍事行動中,利用高頻、甚高頻、超高頻、衛星通信、Wi-Fi 和 LTE 4-5G 等各種技術進行無線通信至關重要。有些技術擅長長距離覆蓋,但帶寬有限、延遲高,而且容易受到干擾。另一些則以可靠性為先,覆蓋范圍較短,帶寬較大,延遲較低。
以信息為中心的網絡(ICN)和軟件定義網絡(SDN)等網絡范例對于優化數據傳播和網絡協調至關重要[13],尤其是在網絡資源有限的情況下。在軍事網絡中,尤其是在戰術邊緣,數據傳播過程中會出現資源有限和安全問題等挑戰。為解決這些問題,軍方可能會探索包括民用網絡在內的各種基礎設施,以獲取和融合非軍事數據。以歐洲 5G COMPAD 聯盟為例,目前正在考慮采用 5G 技術。然而,由于硬件通信系統成本高昂、帶寬和互操作性有限,因此具有挑戰性。這就需要定制參考架構來滿足軍事通信需求。
在最近的烏克蘭-俄羅斯沖突中,俄羅斯對烏克蘭基礎設施的攻擊導致互聯網中斷,暴露了通信網絡的脆弱性。SpaceX 的 Starlink 衛星互聯網星座提供了一種解決方案,證明了在戰時利用民用網絡基礎設施的價值。盡管該技術有望提高互聯網在數據和緊急通信方面的可靠性,但它在網絡安全、覆蓋范圍、可靠性和成本效益方面仍面臨挑戰。
由于隱私、安全以及軍事機構為防止濫用和限制 IMD 的可用性而施加的限制,為人工智能研究訪問軍方擁有的大數據帶來了挑戰。此外,人工智能功能可能會受到對抗性攻擊的影響,對抗性攻擊會通過改變造成錯誤分類來欺騙人工智能模型。快速梯度符號法(FGSM)和語義攻擊等技術分別有助于識別和減輕計算機視覺和 NLP 中的此類攻擊。Yuan等人[14]對攻擊、對策和基于應用的分類標準進行了全面評述。
要檢測對抗性攻擊,一種有效的方法是使用具有與主人工智能模型不同特征的輔助人工智能模型。這一想法源于早期的衛星通信。當時,人們使用電報等輔助系統來防止對衛星通信的中間人攻擊或干擾攻擊。由于帶寬有限,輔助系統只能傳輸與完整衛星數據相對應的摘要數據,用于偵測攻擊和應急通信。同樣,在人工智能中防范對抗性攻擊時,傳統的 ML 可以作為輔助系統,產生與主要 CNN 方法一致的結果。對抗性攻擊依賴于計算機視覺深度學習模型中的梯度技術,而傳統的 ML 方法則使用不同的方法,這些方法對這些攻擊操作大多具有免疫力。
在軍事領域使用人工智能的另一個問題是需要共享敏感數據來訓練模型。在這方面,聯邦學習(FL)作為一種訓練 ML 模型的技術已經出現,在這種技術中,數據不會暴露,從而確保了數據的安全性和隱私性[15]。雖然它不能被視為對抗惡意攻擊的防御技術,但這種方法隱藏了敏感數據和模型或參數的一部分。這種技術對于建立在人工智能基礎上的新興軍事應用非常有價值。
本文探討了大數據在軍事領域的應用。研究了與整合不同數據源、確保數據安全、隱私和完整性以及聯網和利用人工智能相關的機遇和挑戰。文章引入了 MDS 概念,以豐富和引導討論,強調納入民用數據的潛力,以提高軍事行動戰略決策所需的信息質量和數量。此外,文章還包括兩個實際使用案例,說明了數據融合的好處以及實施圖像認證機制以保持數據完整性的重要性。這些發現凸顯了大數據在軍事領域的重要意義,并強調了在該領域開展進一步研究和探索的必要性。
可解釋機器學習模型與架構
這本前沿新作涵蓋了硬件架構實現、軟件實現方法,以及機器學習應用的高效硬件。 機器學習和深度學習模塊現在已經成為許多智能和自動化系統的不可或缺的一部分,在這些系統中,信號處理在不同層面上進行。文本、圖像或視頻形式的信號處理需要在期望的數據速率和準確性下進行大規模數據計算操作。大數據需要更多地使用集成電路(IC)面積,其中嵌入了大量的存儲器,這進一步導致了更多的IC面積。電力消耗、延遲和IC面積之間的權衡始終是設計師和研究人員關注的問題。需要新的硬件架構和加速器來探索和實驗高效的機器學習模型。許多實時應用,如醫療保健中生物醫學數據的處理、智能交通、衛星圖像分析和物聯網(IoT)啟用的系統,在準確性、速度、計算能力和整體電力消耗方面有很大的改進空間。 本書處理的是支持高速處理器的高效機器和深度學習模型,這些處理器具有可重配置架構,如圖形處理單元(GPU)和現場可編程門陣列(FPGA),或任何混合系統。無論是在領域或實驗室里工作的經驗豐富的工程師或科學家,還是學生或學者,這都是任何圖書館必備的。 封底介紹 同前。
關于作者 Suman Lata Tripathi博士是Lovely Professional University的一名教授,擁有超過21年的學術經驗。她在審稿期刊和會議上發表了超過103篇研究論文。她組織了幾個研討會、暑期實習和專家講座供學生參加,并擔任了IEEE期刊和會議的分會主席、會議指導委員會成員、編輯委員會成員和審稿人。她已經出版了三本書,并目前有多卷即將由Wiley-Scrivener出版。 Mufti Mahmud博士是英國諾丁漢特倫特大學計算機科學系認知計算副教授。他是NTU研究優秀框架計算機科學與信息學評估單元的協調人,以及交互系統研究小組和認知計算與大腦信息學研究小組的副組長。他還是計算和信息科學研究中心以及醫療技術創新設施的活躍成員。他是眾多學會和研究委員會的成員。
自動駕駛領域近來見證了采用端到端算法框架方法的迅猛增長,這些方法利用原始傳感器輸入生成車輛運動規劃,而不是專注于諸如檢測和運動預測等單個任務。與模塊化流程相比,端到端系統從感知和規劃的聯合特征優化中受益。由于大規模數據集的可用性、閉環評估,以及自動駕駛算法在具有挑戰性的場景中有效執行的日益增長的需求,這一領域已經蓬勃發展。在本綜述中,我們提供了對250多篇論文的全面分析,涵蓋了端到端自動駕駛的動機、路線圖、方法、挑戰和未來趨勢。我們深入探討了幾個關鍵挑戰,包括多模態、可解釋性、因果混淆、健壯性和世界模型等。此外,我們還討論了基礎模型和視覺預訓練的當前進展,以及如何在端到端駕駛框架內整合這些技術。為了促進未來的研究,我們維護一個活躍的知識庫,其中包含與相關文獻和開源項目的最新鏈接,地址為 //github.com/OpenDriveLab/End-to-end-Autonomous-Driving。
1. 引言
傳統的自動駕駛系統采用模塊化部署策略,其中每個功能,如感知、預測和規劃,都是單獨開發并集成到車載系統中的。規劃或控制模塊負責生成轉向和加速輸出,在決定駕駛體驗方面起著至關重要的作用。在模塊化流程中,規劃的最常見方法是使用復雜的基于規則的設計,但這在應對駕駛過程中出現的大量情況時往往效果不佳。因此,利用大規模數據并使用基于學習的規劃作為一種可行的替代方案的趨勢正在增長。我們將端到端自動駕駛系統定義為完全可微的程序,它以原始傳感器數據為輸入,并生成規劃和/或低級控制動作作為輸出。圖1 (a)-(b) 說明了經典方法和端到端方法之間的區別。在傳統方法中,每個組件的輸出(如邊界框和車輛軌跡)直接饋送到后續單元(虛線箭頭)。相比之下,端到端范式跨組件傳播特征表示(灰色實線箭頭)。優化函數被設置為,例如,規劃性能,并通過反向傳播(紅箭頭)最小化損失。在此過程中,任務是聯合和全局優化的。
在這份綜述中,我們對這一新興主題進行了廣泛的回顧。圖1提供了我們工作的概述。我們首先討論端到端自動駕駛系統的動機和路線圖。端到端的方法可以大致分為模仿學習和強化學習,我們對這些方法進行了簡要回顧。我們介紹了用于閉環和開環評估的數據集和基準。我們總結了一系列關鍵挑戰,包括可解釋性、泛化、世界模型、因果混淆等。最后,我們討論了我們認為社區應該采納的未來趨勢,以整合來自數據引擎、大型基礎模型和車輛到一切等方面的最新發展。
1.1 端到端系統的動機
在經典的流程中,每個模型作為一個獨立的組件并對應于一個特定的任務(例如,交通燈檢測)。這樣的設計在可解釋性、可驗證性和調試的便捷性方面是有益的。然而,由于模塊間的優化目標不同,感知中的檢測追求平均精度(mAP),而規劃則以駕駛安全和舒適性為目標,整個系統可能無法與統一的目標保持一致,即最終的規劃/控制任務。隨著順序過程的進行,每個模塊的錯誤可能會累積并導致駕駛系統的信息損失。此外,多任務、多模型部署可能會增加計算負擔,并可能導致計算資源的使用不夠理想。與其經典的對應物相比,端到端的自動系統提供了幾個優點。(a) 最明顯的優點是它通過將感知、預測和規劃合并到一個可以聯合訓練的單一模型中,以其簡單性為特點。(b) 整個系統,包括其中間表示,都是針對最終任務進行優化的。(c) 共享基礎架構增加了計算效率。(d) 數據驅動的優化具有提供潛在能力的可能性,僅通過擴展訓練資源就能提高系統性能。請注意,端到端的范式不一定意味著一個只有規劃/控制輸出的黑箱。它可以像經典方法一樣具有模塊化設計,并具有中間表示和輸出(圖1(b))。實際上,一些最先進的系統[1, 2] 提出了模塊化設計,但將所有組件一起優化以實現卓越性能。
1.2 路線圖
圖2描繪了端到端自動駕駛中關鍵成就的時間順序路線圖,每個部分表示一個重大的范式轉變或性能提升。端到端自動駕駛的歷史可以追溯到1988年的ALVINN[3],其中輸入是來自攝像頭和激光測距儀的兩個“視網膜”,一個簡單的神經網絡生成轉向輸出。Bojarski等人[8]設計了一個原型端到端CNN系統,用于模擬和道路測試,這在GPU計算的新時代重新確立了這個想法。隨著深度神經網絡的發展,在模仿學習[15, 16]和強化學習[4, 17, 18, 19]方面取得了顯著進步。LBC[5]中提出的策略提煉范式以及相關方法[20, 21, 22, 23]通過模仿行為良好的專家的策略顯著提高了閉環性能。為了增強由于專家和學習策略之間的差異而產生的泛化能力,一些論文[10, 24, 25]提出在訓練期間聚合按策略數據[26]。
2021年對于端到端自動駕駛來說是一個重大的轉折點。由于在一個合理的計算預算內,有各種傳感器配置可用,人們開始關注將更多的模態和高級架構(如Transformers [27])整合進來,以捕捉全局上下文和代表性特征,正如TransFuser[6, 28]和許多變體[29, 30, 31]中所做的那樣。結合對模擬環境的更多洞察,這些先進的設計在閉環CARLA基準[13]上產生了顯著的性能提升。為了提高自動系統的可解釋性和安全性,像NEAT[11]、NMP[32]和BDD-X[33]這樣的方法顯式地整合各種輔助模塊以更好地監督學習過程或利用注意力可視化。最近的工作優先生成關鍵安全數據[7, 34, 35],預訓練一個(大型)為策略學習量身定制的基礎模型或基礎架構[12, 36, 37],并倡導一種模塊化端到端規劃哲學[1, 2, 38, 39]。同時,新的并且具有挑戰性的CARLA v2[13]和nuPlan[14]基準已經被引入以促進這一領域的研究。
1.3 貢獻
總結一下,本調查有三個關鍵貢獻:(a) 我們首次提供了對端到端自動駕駛的全面分析,包括高層次的動機、方法、基準等。我們提倡的哲學不是優化單個模塊,而是將算法框架作為一個整體來設計,其最終目標是實現安全舒適的駕駛。(b) 我們廣泛研究了當前方法面臨的關鍵挑戰。在調查的250多篇論文中,我們總結了主要方面,并提供了深入的分析,包括關于泛化能力、語言引導學習、因果混淆等話題。(c) 我們探討了如何采納大型基礎模型和數據引擎的更廣泛影響。我們相信,這一研究方向及其提供的大規模高質量數據可能會顯著推動這個領域的進步。為了方便未來的研究,我們維護一個活躍的知識庫,不斷更新新的文獻和開源項目。
2 方法
本節回顧了大多數現有端到端自駕車方法背后的基本原理。第2.1節討論使用模仿學習的方法,并詳細介紹兩個最流行的子類別,即行為克隆和逆向最優控制。第2.2節總結了遵循強化學習范式的方法。
3 基準測試
自動駕駛系統需要對其可靠性進行全面評估以確保安全性 [86, 87]。為了實現這一目標,研究人員必須使用適當的數據集、模擬器和指標對這些系統進行基準測試。本節描述了端到端自動駕駛系統大規模基準測試的兩種方法:(1) 在模擬環境中進行在線或閉環評估,以及 (2) 在人類駕駛數據集上進行離線或開環評估。我們特別關注更有原則的在線設置,并為了完整性提供了離線評估的簡要總結。
4 挑戰
對于圖1中描繪的每個主題/問題,我們現在討論相關的工作、當前的挑戰,以及有前景的未來趨勢和機會。我們從4.1節開始討論處理不同輸入模態和表達式的相關挑戰,然后在4.2節討論視覺抽象以提高策略學習的效率。接著,我們介紹學習范式,如世界模型學習(4.3節)、多任務框架(4.4節)和策略蒸餾(4.5節)。最后,我們討論阻礙端到端自動駕駛系統安全可靠的一般問題,包括4.6節的可解釋性,4.7節的因果混淆,以及4.8節的魯棒性和泛化能力。
5 結論
在這份綜述中,我們概述了基本方法并總結了模擬和基準測試的各個方面。我們徹底分析了迄今為止的廣泛文獻,并強調了一系列關鍵挑戰和有前途的解決方案。我們在最后討論了未來擁抱迅速發展的基礎模型和數據引擎的努力。端到端自動駕駛面臨著巨大的機遇和挑戰,其最終目標是構建通用智能體。在這個新興技術不斷涌現的時代,我們希望這份調查能作為一個起點,為這個領域帶來新的啟示。
高度靈活、可重用的人工智能(AI)模型的異常快速發展可能會在醫學中引入新的能力。本文提出一種醫學人工智能的新范式,稱為全科醫學人工智能(GMAI)。GMAI模型將能夠使用很少或沒有特定任務的標記數據來執行一系列不同的任務。GMAI通過在大型、多樣化的數據集上進行自監督而建立,將靈活地解釋不同的醫療模式組合,包括來自圖像、電子健康記錄、實驗室結果、基因組學、圖或醫學文本的數據。反過來,模型將產生表現力的輸出,如自由文本解釋、口頭建議或圖像注釋,這些顯示了先進的醫學推理能力。本文確定了GMAI的一組高影響的潛在應用,并列出了實現它們所需的特定技術能力和訓練數據集。我們預計,支持GMAI的應用程序將挑戰目前監管和驗證醫療人工智能設備的策略,并將改變與大型醫療數據集收集相關的實踐。
面向醫療健康的數字孿生:設計、挑戰和解決方案確立了數字數字孿生技術的規范、設計、創建、部署和利用的最新水平,以促進醫療健康和福祉。 數字孿生是一個有生命或無生命的物理實體的數字復制。當數據無縫傳輸時,它將物理世界和虛擬世界連接起來,從而允許虛擬實體與物理實體同時存在。數字孿生有助于理解、監控和優化物理實體的功能,并提供持續的反饋。它可以用于提高智慧城市中公民的生活質量和福祉,以及工業流程的虛擬化。 * 介紹醫療健康領域數字孿生技術的基本原理 * 促進醫療健康行業的新方法 * 探索醫療健康中數字孿生的不同用例
//www.barnesandnoble.com/w/digital-twin-for-healthcare-elsevier-science/1142589698
隨著AlphaGo的突破,深度強化學習成為解決順序決策問題的公認技術。盡管深度強化學習有著良好的聲譽,但由于其試錯學習機制導致的數據效率低下,使得深度強化學習很難在廣泛的領域應用。樣本高效深度強化學習的方法有環境建模、經驗轉移和分布式修改等,其中分布式深度強化學習在人機博弈、智能交通等領域顯示出了巨大的應用潛力**
本文通過比較經典的分布式深度強化學習方法,研究實現高效分布式學習的重要組成部分,總結了這一激動人心的研究領域的現狀,從單一玩家單一智能體分布式深度強化學習到最復雜的多玩家多智能體分布式深度強化學習。此外,我們回顧了最近發布的有助于實現分布式深度強化學習的工具箱,而無需對其非分布式版本進行大量修改。在分析其優缺點的基礎上,開發并發布了多玩家多智能體分布式深度強化學習工具箱,并在復雜游戲環境Wargame上進行了進一步驗證,顯示了該工具箱在復雜游戲環境下多玩家多智能體分布式深度強化學習的可用性。最后,我們試圖指出分布式深度強化學習的挑戰和未來的發展趨勢,希望通過本文的簡要回顧可以為那些對分布式深度強化學習感興趣的研究者提供指導或啟發。
1.概述
隨著智能體AlphaGo[1],[2]的突破,在人機博弈中贏得了眾多專業圍棋棋手的勝利,深度強化學習(DRL)開始受到大多數研究人員的關注,成為一種公認的解決順序決策問題的技術。許多算法都是為了解決DRL與現實世界應用之間的挑戰性問題,如勘探和開發困境、數據效率低下、多智能體合作和競爭。在所有這些挑戰中,由于DRL的試錯學習機制需要大量的交互數據,數據效率低下是最受批評的。
為了緩解數據效率低下的問題,提出了幾個研究方向。例如,基于模型的深度強化學習構建環境模型,生成假想軌跡,以幫助減少與環境的交互時間。遷移強化學習從源任務中挖掘共享的技能、角色或模式,然后使用學到的知識來加速目標任務中的強化學習。受分布式機器學習技術(已成功應用于計算機視覺和自然語言處理[4])的啟發,開發了分布式深度強化學習(DDRL),該技術已顯示出訓練非常成功的智能體的潛力,如Suphx [5], OpenAI Five[6]和AlphaStar[7]。
通常,訓練深度強化學習智能體由兩個主要部分組成,即: 通過與環境交互拉動策略網絡參數生成數據,通過消費數據更新策略網絡參數。這種結構化模式使得分布式修改DRL成為可能,并且開發了大量的DDRL算法。例如,通用的強化學習體系結構[8]可能是第一個DDRL體系結構,它將訓練系統分為四個部分,即參數服務器、學習者、參與者和重放緩沖區,這激發了后續的數據效率更高的DDRL體系結構。最近提出的SEED RL[9]是IMPALA[10]的改進版本,據稱能夠每秒產生和消耗數百萬幀,基于此,AlphaStar在44天內(192 v3 + 12 128個核心tpu, 1800個cpu)成功訓練,擊敗了專業人類玩家。
為了使DRL的分布式修改能夠使用多臺機器,需要解決機器通信和分布式存儲等幾個工程問題。幸運的是,已經開發并發布了幾個有用的工具箱,將DRL的代碼修改為分布式版本通常需要少量的代碼修改,這在很大程度上促進了DDRL的發展。例如Uber發布的Horovod[11],充分利用了ring allreduce技術,相對于單一GPU版本,只需要增加幾行代碼就可以很好地使用多個GPU進行訓練加速。Ray[12]是UC Berkeley RISELab發布的一個分布式機器學習框架,它為高效的DDRL提供了一個RLlib[13],由于它的強化學習抽象和算法庫,使用起來很方便。
鑒于DDRL研究取得的巨大進展,梳理DDRL技術的發展歷程、面臨的挑戰和機遇,為今后的研究提供線索是十分必要的。最近,Samsami和Alimadad[14]對DDRL進行了簡要的回顧,但他們的目標是單玩家單智能體分布式強化學習框架,而缺乏更具挑戰性的多智能體多玩家DDRL。捷克[15]對強化學習的分布式方法進行了簡要的綜述,但只對幾種具體算法進行了分類,沒有討論關鍵技術、比較和挑戰。與以往的總結不同,本文通過比較經典的分布式深度強化學習方法,研究實現高效分布式學習的重要組成部分,進行了更全面的考察,從單一參與者單一智能體分布式深度強化學習到最復雜的多參與者多智能體分布式深度強化學習。
本文的其余部分組織如下。在第二節中,我們簡要介紹了DRL的背景、分布式學習和典型的DDRL測試平臺。在第3節中,我們詳細闡述了DDRL的分類。在第4節中,我們將比較當前的DDRL工具箱,這些工具箱在很大程度上幫助實現了高效的DDRL。在第5節中,我們介紹了一個新的多玩家多智能體DDRL工具箱,它為復雜游戲提供了一個有用的DDRL工具。在第6部分,我們總結了DDRL的主要挑戰和機遇,希望能啟發未來的研究。最后,我們在第7節對本文進行了總結。
2. 背景知識
強化學習是一種典型的機器學習范式,其本質是通過交互進行學習。在一般的強化學習方法中,智能體通過采取行動來驅動環境的動態,并接受獎勵來改進其追逐長期結果的策略,從而與環境進行交互。為了學習一個能夠進行順序決策的智能體,有兩種典型的算法,即學習算法。一種是不使用環境模型的無模型方法,另一種是使用預先給定或學習的環境模型的基于模型的方法。已經提出了大量的算法,讀者可以參考[16],[17]獲得更全面的回顧。 深度學習的成功離不開龐大的數據和計算能力,這就導致了對能夠處理數據密集型和計算密集型計算的分布式學習的巨大需求。由于深度學習算法的結構化計算模式,針對深度學習[20]、[21]的并行性,提出了一些成功的分布式學習方法。早期流行的分布式深度學習框架是由谷歌設計的DistBelief[22],其中提出了參數服務器和A-SGD的概念。谷歌基于DistBelief發布了第二代分布式深度學習框架Tensorflow[23],成為廣泛使用的工具。其他典型的分布式深度學習框架,如PyTorch、MXNet和Caffe2也被研究和工業團體開發和使用。
3. 分布式深度強化學習的分類法
目前已有大量的DDRL算法或框架,其代表有GORILA[8]、A3C[32]、APEX[33]、IMPALA[10]、Distributed PPO[34]、R2D2[35]、Seed RL[9]等,我們可以根據這些算法或框架繪制出DDRL的關鍵組成部分,如圖1所示。我們有時使用框架而不是算法或方法,因為這些框架不針對特定的強化學習算法,它們更像是各種強化學習方法的分布式框架。一般來說,一個基本的DDRL算法主要由三個部分組成,構成了一個單玩家單agent的DDRL方法:
行動者 Actor:通過與環境的交互產生數據(軌跡或梯度)。 * 學習者Learner: 使用數據(軌跡或梯度)執行神經網絡參數更新。 * 協調器 Coordinators: 協調數據(參數或軌跡),以控制學習者和行動者之間的交流。
行動者從學習者中提取神經網絡參數,從環境中接收狀態,并執行推理以獲得動作,這些動作將環境的動態驅動到下一個狀態。通過對多個參與者重復上述過程,可以提高數據吞吐量,并收集足夠的數據。學習者從行動者那里提取數據,進行梯度計算或后處理,并更新網絡參數。多個學習器可以通過使用多個GPU和諸如ring allreduce或參數服務器[11]等工具來緩解GPU的有限存儲。通過重復上述過程,可以得到最終的強化學習智能體。
協調器是DDRL算法的重要組成部分,它控制著學習者和行動者之間的通信。例如,當使用協調器同步參數更新和提取(由參與者)時,DDRL算法是同步的。當參數的更新和提取(參與者)不嚴格協調時,DDRL算法是異步的。因此,DDRL算法的基本分類可以基于協調器的類型。
利用上述基本框架,可以設計出一個單玩家單agent的DDRL算法。然而,當面對多個智能體或多個參與者時,基本框架無法訓練可用的強化學習智能體。基于目前支持AlphaStar[7]、OpenAI Five[6]和JueWU[36]等大型系統級AI的DDRL算法,構建多玩家和多agent DDRL需要兩個關鍵組件,即agent合作和玩家進化,如圖2所示:
基于多智能體增強學習算法[18],采用智能體協作模塊對多智能體進行訓練。通常,多智能體強化學習可以根據如何進行智能體關系建模分為獨立訓練和聯合訓練兩大類。
獨立訓練:通過將其他學習智能體視為環境的一部分,獨立地訓練每個智能體。
聯合訓練:將所有智能體作為一個整體進行訓練,考慮智能體通信、獎勵分配和分布式執行的集中訓練等因素。
玩家模塊進化是為每個玩家的智能體迭代而設計的,其中其他玩家的智能體同時學習,從而為每個玩家學習多代智能體,如AlphaStar和OpenAI Five。根據目前主流的玩家進化技術,玩家進化可以分為兩種類型:
最后,基于上述DDRL的關鍵組件,DDRL的分類如圖3所示。下面,我們將根據代表性方法的主要特點,對其進行總結和比較。