大數據與人工智能(AI)的結合實現了準確預測和明智決策,為工業和研究帶來了革命性的變化。這些進步也在軍事領域找到了自己的應用位置,一些舉措整合來自不同領域的數據源和傳感器,提供共享的態勢感知。在城市軍事行動中,及時了解具體情況的信息對于實現精確和成功至關重要。數據融合將來自不同來源的信息結合在一起,對實現這一目標至關重要。此外,民用數據可提供關鍵的背景信息,并對任務規劃產生重大影響。本文提出了軍事數據空間(MDS)概念,探討大數據如何通過結合民用和軍用數據來支持軍事決策。文章介紹了使用案例,強調了數據融合和圖像認證在提高數據質量和可信度方面的優勢。此外,還討論了數據安全、隱私、完整性、獲取、融合、聯網和利用人工智能方法等方面的挑戰,同時強調了構建下一代軍事應用的機遇。
大數據的興起改變了企業存儲、管理和分析海量數據的方式。此外,大型數據集的可用性和更強大硬件的發展也為人工智能(AI)時代的到來鋪平了道路。盡管存在局限性,但這些課題在軍事領域也找到了適用性。其中一個例子是美軍使用的多域作戰(MDO),后來擴展為聯合全域指揮與控制(JADC2),以及 "共同作戰圖景"(COP)概念,這些概念整合了多個領域(陸地、海洋、空中、太空和網絡空間)的各種數據源和傳感器,使決策變得更快、更明智,提供了從戰術到戰略的各級組織的共享態勢感知。此外,北約社區已通過北約核心數據框架(NCDF)討論并測試了數據湖概念,以便在適當的時間/形式與聯盟伙伴共享可靠的跨域信息。
利用先進的算法和計算能力,人工智能可以處理龐大的數據集,揭示人類通常無法察覺的復雜模式。這使國防行動能夠增強實戰經驗、促進任務執行、做出數據驅動的決策、協調來自不同來源的數據,并加強應對威脅和災難的準備。通過整理來自不同來源的數據,指揮與控制(C2)部門可以深入了解城市景觀,并通過數據融合技術[3]、[4]促進態勢感知決策[1]、[2]。現代城市部署了傳感器網絡,利用大數據支持城市軍事戰略。此外,社交媒體平臺是寶貴的文本、圖像和視頻來源,豐富了態勢感知,但也帶來了數據完整性等挑戰。在 "非戰爭 "行動中,包括打擊腐敗政府、毒品販運和人道主義任務,大數據、數據融合、數據完整性和人工智能在任務成功中的重要作用在當代全球格局中變得顯而易見。
本文深入探討了利用大數據促進軍事決策以及相關挑戰。文章以簡明易讀的方式涵蓋了該領域相對欠缺探索的各個方面。在此背景下,研究介紹了軍事數據空間(MDS)的概念,這是一種將軍內數據(IMD)和軍外數據(EMD)結合在一起的新方法,旨在引發討論并開發軍事解決方案。然后,它通過以數據融合和圖像完整性機制為重點的使用案例來說明大數據的好處。最后,它討論了使用大數據的挑戰和機遇,集中在支持戰略性軍事決策必須考慮的四個主要方面:i) 數據融合;ii) 安全/隱私和完整性;iii) 人工智能;以及 iv) 網絡作為訪問大數據的手段。
從網絡視角討論數據傳播問題具有現實意義,文獻中也有廣泛論述。因此,本研究旨在引發對大數據觀點的討論,以及利用大數據造福軍事系統的可能性。此外,我們還強調了應對整合 IMD 和 EMD 相關挑戰的重要性。這種整合對于建立有凝聚力的大數據,最終提高軍事決策能力至關重要。總之,本文的貢獻如下:
文章結構如下。第二節介紹了 MDS 的概念。第三節回顧了有關軍事和民用場景中大數據的最新文獻。第四節介紹兩個使用案例,說明大數據如何支持軍事決策。第五節討論了軍事數據領域的挑戰和機遇。最后,第六節總結了本研究討論的主要方面,為文章畫上了句號。
軍事數據空間(MDS)的概念是根據 [5] 中討論的觀點提出的。它提供了一個以數據為驅動的軍事場景視角,有助于根據不同的數據源做出決策。MDS 包括兩個主要類別: 軍內數據(IMD)和軍外數據(EMD),如圖 1 所示。目前大多數軍事文獻都只針對 IMD 提出和評估系統(如中間件、協議)。然而,隨著信息和通信技術(ICT)的迅猛發展,民用系統已成為不可忽視的數據和基礎設施(網絡)的重要來源。因此,考慮到數據隱私/安全、完整性、獲取、融合、聯網和利用人工智能等挑戰,MDS 旨在支持關于 EMD 如何幫助軍事決策的討論。
圖1 軍事數據空間。
IMD 與軍方提供和消費的數據相對應,主要分為兩層:帶有真實/虛擬傳感器(來自空間/航空/地面/航海單元)的基礎設施和信息層,包括作戰、情報和后勤數據。
基礎設施包括傳感器(如雷達、聲納、照相機)和其他電子系統收集的數據,可探測和跟蹤空中、陸地或水中的物體;車輛傳感器可提供軍事單元和周圍的狀態;可穿戴/智能和物聯網(IoT)設備可通過 GPS 定位、地圖、健康測量、實時照相機(高分辨率、紅外線)等為戰場上的步兵提供支持。這些數據可用于監測和識別潛在威脅、協助鎖定敵軍目標以及監測步兵狀況。
除了來自真實/虛擬傳感器的原始數據外,IMD 還包括信息層,該層融合了從作戰到情報等各種來源收集的數據,以創建一個更可靠、更廣闊的作戰視圖,這也是 JADC2 和 COP 系統的目標。情報信息可幫助軍隊了解敵軍的能力和意圖,識別潛在威脅并制定作戰計劃。后勤數據提供有關物資、裝備和人員的信息,如運輸時間表、庫存水平和維護記錄。這些數據對于確保軍隊擁有有效執行任務的資源至關重要。
軍外數據是由真實/虛擬傳感器單獨或融合提供的數據子集,可描述軍事行動周圍的環境。因此,可定義用于支持軍事行動的兩個主要數據層:基礎設施(如交通系統、天氣、當局)和信息(如社交媒體、新聞、政府報告)。這些層產生了大量高度可變的信息,從用戶對實時事件(如事故、腐敗和恐怖主義)的感受和照片,到城市環境中的交通/天氣狀況和人們/駕駛員的行為。
信息和通信技術在城市地區的發展催生了智能城市的出現,智能城市通過增強流動性、安全性和健康解決方案來應對城市化帶來的挑戰。智能城市基礎設施包含傳感器,可捕捉有關車輛、交通、天氣和駕駛員行為的寶貴數據。傳感器和物聯網設備的激增也產生了大量數據,這使得利用云通信技術和人工智能應用開發智能系統成為可能。在大數據的推動下,數據融合應運而生,它整合了來自多個提供商的數據,以提高質量和覆蓋范圍,并減少海量數據流量。融合來自交通、天氣、攝像頭、醫療系統等的數據,不僅有可能支持民用應用,還能通過提供上下文數據支持戰略性軍事行動。在傳感器基礎設施有限的情況下,來自社交媒體和政府報告等媒體來源的數據可幫助了解當地行為,并識別影響犯罪、腐敗和毒品販運的因素。
社交媒體數據對于支持與緊急事件和災難相關的信息非常有價值,可通過捕捉獨特信息(如需要救援的群體的位置或隱藏人員的存在)來補充其他傳感器數據。建筑物上的固定傳感器和監控攝像頭可幫助進行人員跟蹤,以準確識別位置。社交媒體數據與其他數據源相結合,有助于敵情偵查和戰術規劃。與交通相關的傳感器數據,特別是交通監控攝像頭,在應急響應和軍事后勤方面發揮著重要作用。它可以檢測事故造成的擁堵和堵塞,從而改進軍事行動期間的路線規劃和交通管理。整合所有收集到的信息可增強態勢感知,促進城市環境中行動的有效規劃和管理。
針對近期發生的事件,如俄羅斯戰爭以及美國和巴西等國的反民主極端分子所帶來的挑戰,已經出現了多項舉措。其中一個例子是 ACLED(武裝沖突地點和事件數據)項目,該項目提供有關政治暴力和抗議事件的實時全球數據。另一個值得一提的項目是 DATTALION,這是一個廣泛的開源照片和視頻片段數據庫,記錄了俄羅斯對烏克蘭的戰爭。該數據庫的主要目的是反擊俄羅斯政府散布的錯誤信息。聯合國開發計劃署(UNDP)利用機器學習(ML)算法和大數據來檢測烏克蘭東部受損的基礎設施。語義損壞檢測器 (//tinyurl.com/semdam) 利用衛星圖像和地面照片對算法進行訓練,以識別建筑物、道路和橋梁的潛在損壞,協助地方當局和人道主義組織確定行動的優先次序。這些舉措極大地促進了 MDS,特別是 EMD,為分析和研究提供了寶貴的資源。
本節探討大數據在軍事領域的應用,重點從數據內(IMD)和數據外(EMD)兩個角度概述大數據在軍事行動中的重要意義,并探索利用其潛力的最新解決方案。
大數據在軍事領域的一些挑戰已在文獻中提出,并成為北約社區討論的主題,如作戰安全性、漏洞加固和數據可靠性[1]、[2]、[6],以及北約 IST160 和 IST-173。納入與外界幾乎沒有聯系的自主隔離(如 EMD)可能會限制大數據的自由流動,這就要求在保持系統自主性和保護性的同時,以創造性的方式利用大數據。在這一方向上,COP 和 JADC2 引導研究人員和行業使用和融合來自不同軍事實體的數據,以支持戰略決策。
Kun 等人[1]提出了在軍工企業構建大數據平臺、建立多級數據通道、實現全面數據管理和控制的詳細技術方案。該平臺有利于數據的收集、組織、處理和分析,將數據轉化為知識,以加強決策/服務支持、創新、質量控制和風險管理。Xu 等人[6]強調了數據科學在當代戰爭中實現信息優勢的重要性。他們的系統性綜述顯示,社會科學文獻對數據科學風險給予了極大關注,這可能會影響政治和軍事決策者。然而,與戰術層面相比,科學文獻缺乏對作戰和戰略層面風險的關注,這表明存在研究空白。這一差距可能是由于 IMD 與 EMD 之間缺乏聯系造成的,而 EMD 可以支持行動和戰略決策。
多傳感器數據融合(MSDF)方法是在戰術場景中提供快速高效的目標探測、跟蹤和威脅評估的一個實例,如文獻[4]所示。數據融合的另一個應用領域是基于位置的社交媒體(LBSM),它可以增強各個領域的知識,包括交通特征描述和事故檢測[7]。利用 LBSM 系統可以獲得更詳細的交通數據,有利于軍事后勤工作。在特定的軍事環境中,可以利用 LBSM 系統的潛力來提高數據可用性,并實現情境感知操作。
數據完整性對于維護對 MDS 的信任至關重要[9]。被篡改的數據會產生嚴重后果,影響民事和軍事決策過程,破壞對數據源的信心。社交媒體平臺上錯誤信息的泛濫就是這一挑戰的例證,這些錯誤信息往往被利用來施加政治影響,烏克蘭正在發生的沖突就是一例。為應對此類問題,Twitter 等平臺修訂了其政策,標記了許多與俄羅斯國家附屬媒體相關的推文,并檢測了數十億條與沖突相關的實時推文印象[10]。
與此同時,圖像認證的出現解決了人們對圖像完整性和來源驗證的擔憂。然而,包括人工智能軟件在內的先進圖像處理工具的興起使圖像驗證變得越來越棘手。雖然圖像驗證引入了水印、數字簽名和感知散列(pHash)等多種技術[11],但每種技術都有其優勢和局限性。例如,水印可提供真實性和所有權保護,但可能會影響圖像質量,而且容易受到高級處理技術的影響。相比之下,pHash 可以靈活地進行圖像操作,并對內容變化敏感,因此特別適合在社交媒體平臺上使用。在數據完整性和圖像認證的背景下考慮這些挑戰和解決方案至關重要。
首先,大數據的時空融合是為了支持軍事決策。由于缺乏所討論的可用 IMD,多數據融合(MDF)框架[12]被實例化,用于收集、準備和處理 EMD,并將其融合以提供豐富的信息。為了證明時空數據的豐富性,MDF 利用基于云的系統共享數據的公共可用性獲取了交通系統數據。不過,該框架可擴展到其他各種數據類型。其目標是提高數據質量、改進 C2 系統和軍事后勤,并支持城市地區的 COP/JADC2,從而創造出將融合 EMD 與來自不同領域的可用 IMD 結合使用的新方法。下文圖 2 介紹了 MDF 的主要功能。此外,還通過分析數值結果討論了融合大數據的好處。
對于數據采集,圖 2 (1)配置了一組參數(如區域、請求頻率)和數據源,MDF 為此收集各種格式的數據,并將其存儲在文件中。在準備階段(2),通過將不同的地物名稱和類型轉換為統一的表示方法,對輸入數據集進行標準化。這包括各種數據映射,以生成統一的數據類型,例如將描述性映射為數值或降低數據粒度。此外,還啟動地圖匹配,將所有地理定位數據(可能具有不同的精確度)融合到同一個路網中。MDF 對所有收集到的數據進行預處理,并從收集到的區域獲取 Shapefile (SHP)。請注意,根據應用目標和可用數據類型,框架可能會應用不同的特征提取方法,如自然語言處理(NLP)(情感分析、關鍵詞提取、詞法化、詞干化和自動摘要)或圖像處理(圖像分割、邊緣檢測和對象檢測),以從非結構化數據類型中提取信息。在使用案例中,我們沒有使用 NLP 算法,因為數據是無文本圖像和基于交通的數據。不過,建議的數據融合框架具有多功能性,可以處理各種數據類型,包括可以應用 NLP 技術的文本數據。
圖2 數據融合框架工作流程。
第三階段實現時間/空間數據融合和數據導出。為確保數據完整性,需要事先過濾非信任信息或有偏見的信息,例如,根據信息在不同數據源或圖像認證機制中的出現情況,使用驗證信息的方法,如第四節B部分所述。時間數據融合是通過對任意時間窗口(如每分鐘、每小時、每天)內的數據進行分組來實現的。為了進行空間融合,MDF 利用地圖匹配,根據底層道路網絡在規定的精確度下對 GPS 點進行對齊。由于不同數據源的 GPS 報告精度各不相同,因此必須這樣做,才能將所有地理定位數據映射到相同的道路網絡中。
最后,在圖 2 (4)中,豐富的數據以不同的格式輸出,為軍事和民用領域提供了多種可能性。MDF 的輸出通過創建不同類型的統計數據和可視化效果來支持時空分析,從不同的空間和時間方面描述可用信息的特征。
表I 按數據來源分列的道路覆蓋情況。
之前的工作[11]介紹了一種利用 Twitter 和 Facebook 來確保圖像完整性的圖像認證系統。該系統采用卷積神經網絡(CNN)和全連接層(FCC)進行特征提取,采用位置敏感散列(LSH)進行散列構建,并采用對比度損失最大化原始圖像和篡改圖像之間的差異。該模型的輸出是每個圖像 1024 位的固定長度向量表示。
為解決在城市軍事行動和民用系統中保持圖像完整性的重要性,提出了圖像事實檢查器(IFC),如圖 3 所示。它能檢測虛假圖像,確保數據的可信度,并作為當局主導的認證系統,打擊錯誤信息。系統會生成帶有徽標或圖標的驗證版照片,表明其已通過 IFC 系統驗證。此外,IFC 還提供了圖像的感知散列(pHash)字符串表示,可將其納入描述或在其他網站上共享。數據融合系統是 IFC 的一個可能的終端用戶,它可以在應用時空融合和生成豐富數據之前對抓取的圖片進行驗證。
圖3 Image-Fact-Checker (IFC)。
建立一個能提供即時真實信息的自動化系統是一個相對較新的概念,因此通過比較來評估其有效性具有挑戰性。然而,由于創建令人信服的偽造圖像的人工智能生成模型的興起,實施圖像認證系統現在變得至關重要。添加這一系統作為驗證層有助于防止或減少虛假信息的傳播,尤其是考慮到不斷發展的互聯網法規會對缺乏反虛假信息措施的平臺進行處罰。一種有效的方法是將 IFC 系統與政府機構連接起來。IFC 方法具有通用性和可擴展性,可提高個人的意識和信任度。
圖 4(左)是通過 DATTALION 從普通社交媒體用戶那里收集到的兩張未經驗證的圖片。這些圖片只是更大數據集中的一小部分。用戶通常不愿意相信這些來源,因此有效利用這些來源具有挑戰性。然而,當這些圖像經過 IFC 機制處理后,其可靠性就會提高,因為任何進一步的篡改都很容易被檢測出來。如圖 4(右圖)所示,應用 IFC 后,每張圖片都會收到 pHash 和相關信息,如圖片描述、提取的特征、位置、事件日期、抓取日期、發布者 ID。這些經過處理的圖像將存儲在 IFC 數據庫中,供今后查詢。該數據庫有多種用途:重復檢測、完整性驗證以及滿足特定最終用戶的要求。
圖4 使用IFC提取圖像細節。
數據融合的第一個挑戰是尋找和獲取軍事和民用領域的可用數據。出于隱私/安全考慮,信息可能無法廣泛獲取或獲取途徑有限。在軍事領域(IMD),數據受到更多限制,這為探索可用的民用數據(EMD)以支持戰略性信息決策提供了機會。第二個值得注意的挑戰是融合多種數據源,這些數據源可能具有不同的結構(結構化、半結構化和非結構化數據)、標準、數據類型(如文本、圖像、視頻)、測量單元、粒度和時空覆蓋范圍。因此,需要深入了解如何準備和處理不同的數據集,并將其融合為一個數據集。
處理社交媒體中的圖像和文本需要進一步的程序,如特征提取方法(如 NLP 和圖像處理),以提取可用信息。盡管數據融合面臨諸多挑戰,但將從不同角度(如指揮部、用戶、記者、政府、傳感器)描述同一空間和時間的不同數據源結合起來的好處,可以加強軍事行動的規劃和戰略階段,為 COP 和 JADC2 系統提供支持。
數據安全與隱私: 保護敏感的軍事信息對國家安全至關重要。需要強大的加密、安全的數據存儲和訪問控制來降低風險。建議采用的技術包括公鑰基礎設施(PKI)安全、受保護內核、數據加密、防火墻和入侵檢測。然而,如何在數據共享、有利于信息融合和安全/隱私措施之間取得平衡,對軍方來說仍是一項具有挑戰性的任務。
數據完整性: 被操縱的數據會給民用和軍用決策帶來風險,并降低對數據提供者的信任度。在生成內容的人工智能模型不斷進步的幫助下,篡改圖像迅速傳播,參與度不斷提高,這凸顯了對智能綜合解決方案的需求。通過社交媒體分享的圖片能夠快速傳達復雜的想法,從而為救援行動提供支持,使人們能夠立即采取行動,如在城市發生事故/災難時改變交通路線。圖片還能喚起情感聯系,增強讀者對新聞事件的理解。然而,烏克蘭戰爭等危機擴大了錯誤信息的傳播,這就需要 snopes.com 和 norc.org 等人工事實核查機構的參與,以打擊錯誤信息。然而,在戰爭期間或為打擊腐敗政府而進行基于人工的實時核查可能會耗費大量時間,這就為設計自動系統來驗證圖像和處理虛假信息創造了機會。
雖然這項工作的主要重點在于數據視角,以及確保使用來自不同來源的可信數據來支持軍事行動的相關性,但同樣重要的是要認識到網絡在有效提供數據和服務方面的重要性。在以網絡為中心的軍事行動中,利用高頻、甚高頻、超高頻、衛星通信、Wi-Fi 和 LTE 4-5G 等各種技術進行無線通信至關重要。有些技術擅長長距離覆蓋,但帶寬有限、延遲高,而且容易受到干擾。另一些則以可靠性為先,覆蓋范圍較短,帶寬較大,延遲較低。
以信息為中心的網絡(ICN)和軟件定義網絡(SDN)等網絡范例對于優化數據傳播和網絡協調至關重要[13],尤其是在網絡資源有限的情況下。在軍事網絡中,尤其是在戰術邊緣,數據傳播過程中會出現資源有限和安全問題等挑戰。為解決這些問題,軍方可能會探索包括民用網絡在內的各種基礎設施,以獲取和融合非軍事數據。以歐洲 5G COMPAD 聯盟為例,目前正在考慮采用 5G 技術。然而,由于硬件通信系統成本高昂、帶寬和互操作性有限,因此具有挑戰性。這就需要定制參考架構來滿足軍事通信需求。
在最近的烏克蘭-俄羅斯沖突中,俄羅斯對烏克蘭基礎設施的攻擊導致互聯網中斷,暴露了通信網絡的脆弱性。SpaceX 的 Starlink 衛星互聯網星座提供了一種解決方案,證明了在戰時利用民用網絡基礎設施的價值。盡管該技術有望提高互聯網在數據和緊急通信方面的可靠性,但它在網絡安全、覆蓋范圍、可靠性和成本效益方面仍面臨挑戰。
由于隱私、安全以及軍事機構為防止濫用和限制 IMD 的可用性而施加的限制,為人工智能研究訪問軍方擁有的大數據帶來了挑戰。此外,人工智能功能可能會受到對抗性攻擊的影響,對抗性攻擊會通過改變造成錯誤分類來欺騙人工智能模型。快速梯度符號法(FGSM)和語義攻擊等技術分別有助于識別和減輕計算機視覺和 NLP 中的此類攻擊。Yuan等人[14]對攻擊、對策和基于應用的分類標準進行了全面評述。
要檢測對抗性攻擊,一種有效的方法是使用具有與主人工智能模型不同特征的輔助人工智能模型。這一想法源于早期的衛星通信。當時,人們使用電報等輔助系統來防止對衛星通信的中間人攻擊或干擾攻擊。由于帶寬有限,輔助系統只能傳輸與完整衛星數據相對應的摘要數據,用于偵測攻擊和應急通信。同樣,在人工智能中防范對抗性攻擊時,傳統的 ML 可以作為輔助系統,產生與主要 CNN 方法一致的結果。對抗性攻擊依賴于計算機視覺深度學習模型中的梯度技術,而傳統的 ML 方法則使用不同的方法,這些方法對這些攻擊操作大多具有免疫力。
在軍事領域使用人工智能的另一個問題是需要共享敏感數據來訓練模型。在這方面,聯邦學習(FL)作為一種訓練 ML 模型的技術已經出現,在這種技術中,數據不會暴露,從而確保了數據的安全性和隱私性[15]。雖然它不能被視為對抗惡意攻擊的防御技術,但這種方法隱藏了敏感數據和模型或參數的一部分。這種技術對于建立在人工智能基礎上的新興軍事應用非常有價值。
本文探討了大數據在軍事領域的應用。研究了與整合不同數據源、確保數據安全、隱私和完整性以及聯網和利用人工智能相關的機遇和挑戰。文章引入了 MDS 概念,以豐富和引導討論,強調納入民用數據的潛力,以提高軍事行動戰略決策所需的信息質量和數量。此外,文章還包括兩個實際使用案例,說明了數據融合的好處以及實施圖像認證機制以保持數據完整性的重要性。這些發現凸顯了大數據在軍事領域的重要意義,并強調了在該領域開展進一步研究和探索的必要性。
隨著人工智能發展速度的加快,國防規劃人員開始重視人工智能技術為指揮和控制帶來的超匹配能力。大量的規劃、計劃和預算編制工作已經開始,這將提高未來戰場上的通信能力和生存能力。現在,部隊也在設計和原型開發現代系統,以幫助指揮官比以往任何時候都更全面地感知、觀察、定位、決策和行動。它們將穿透戰爭迷霧。
隨著武裝沖突時間的縮短,會產生哪些技術影響?過去可能耗時數年的戰爭可能在數月甚至數周內就能決定勝負。歷時數周的行動必須在數天或數小時內完成。而指揮官們在做出決定之前,在歷史上可能有充足的時間,但現在卻不得不在幾秒鐘內做出決定。每個指揮所的組織和運行將發生怎樣的變化?這些都是軍事領導人面臨的重大問題,因為他們正在規劃一條融合并充分利用自主性、機器學習、可信通信和邊緣計算優勢的前進道路。
場景設想
一只兔子正在咀嚼三葉草,咬到一半就僵住了,耳朵轉向左邊。透過樹林,它聽到了另一種生物向它走來的腳步聲。如果聲音的來源是捕食者,兔子就準備逃跑,它聽著不明動物的四只腳有節奏地小跑,看著它出現在空地邊緣。它飛快地躲開了這只越來越近的四足動物,因為它從未見過這樣的動物。這只像狗一樣的生物是當晚在該地區出現的 12 個自主機器人之一,它們在一個摩托化師準備建立的指揮所周圍的關鍵地形上各就各位。這是戰爭的開端,這些狗的任務是進行偵察。
幾分鐘后,隨著師長和參謀人員停下腳步并建立防御態勢,一陣低沉而穩定的裝甲踩踏聲從樹林中傳出。指揮所的自主防御部隊--軍犬--現在占據了安全位置。“軍犬”每三個一組。當其中一只正在進行四小時輪班時,另外兩只正在充電。
這些“軍犬”距離指揮所很近,可以將自己作為網狀網絡的節點進行通信和數據傳輸。在沖突的這一階段,“軍犬”只有一個簡單的交戰規則:如果有人類靠近,就向指揮所發出警報。如果探測到人類,它們就會使用傳感器記錄并向指揮所傳輸音頻、視頻和熱紅外數據。被指派保衛指揮所的連長將根據該人是友軍、敵軍還是非戰斗人員來決定采取何種行動。
在行動的這一階段,指揮所將在原地停留長達 48 小時,然后再移動。在這 172800 秒的時間里,“軍犬”每小時將以近乎穩定的速度傳輸 288 千字節。這是它們的指揮和控制數據傳輸速率,可以讓它們一遍又一遍地重復熟悉的模式--向左看、向前看、向右看、報告系統狀態、重復。這可以確保它們彼此保持聯系,并保持警惕。如果它們懷疑或探測到附近有人類,那么它們的數據傳輸速率就會膨脹到每小時 720 千兆字節,來自機載傳感器的態勢感知觀測數據。
在這種環境下,帶寬在功率、重量和冷卻方面都很昂貴。通信資源還有其他需求者。由于該師的每個成員及其設備都是一個傳感器,因此還有更多的情報、監視和偵察信息在網絡上爭奪優先權。后勤系統、語音通信、地理空間更新、指揮命令、醫療診斷數據和氣象數據都在試圖通過這些網絡進行傳輸。此外,還有計劃的網絡限制和從主要路徑到備用路徑的轉換,以混淆任何敵對系統對該師真實組成和身份的認識。
出于這些原因,"軍犬"機器人(或分艦上的其他傳感器)中的計算機視覺模型必須盡可能減少誤報。值得慶幸的是,軍犬"眼睛 "上的計算機視覺模型已經在高度多樣化的生物群落、一年四季、無數種天氣和光線條件下完成了近五萬小時的訓練。它們還消耗了關于現代軍事遮蔽物對視覺的影響、偽裝技術和模式以及人類和機器人軍事編隊的步態和身體姿勢差異的特殊訓練數據。盡管這種訓練數據機制聽起來令人印象深刻,但它不可能考慮到所有情況,這也是為什么該師的機器學習作戰部門準備根據部隊遇到的生物群落以及首戰中不可避免的敵方戰術、技術和程序變化,對軍犬和其他傳感器進行微調的原因。
重新訓練計算機視覺模型與所有其他統計分析一樣。簡單地說,需要有一個有代表性的樣本,以便用數學方法表達樣本關鍵變量之間的關系。在計算機視覺中,場景中的物體--天空、云層、地平線、有樹的山丘、無樹的山丘、單個建筑物、建筑物上的窗戶、透過窗戶看到的人臉等等--都是樣本。每只"軍犬"的傳感器都在收集周圍生物群落的無數樣本。在這些樣本中,有計算機視覺模型從未見過的新的異常值,因為它的制作者沒有一個能容納地球上所有多樣性的實驗室。
經過最初 8640 秒的夜間巡邏,"軍犬"誤報了一只熊,這只熊蹣跚地走到一棵樹下,然后用后腿站起來,試圖去夠一些橡子。當它這樣做時,其中一只"軍犬"發現了它,通過傳感器捕捉到了幾分鐘的畫面,并向指揮所安全人員發出警報。在早上的員工會議上,指揮所安全連連長問機器學習操作人員,他們能對這只讓他們夜不能寐的熊做些什么。
機器學習小組是整個聯合部隊的眾多小組之一。他們都在沖突的早期階段收集樣本。感知到的異常值以及所有觀察結果中的大量隨機樣本,都會根據其能力和隊列優先級流回戰區內外的計算集群。部分數據通過戰術網狀網絡傳輸。其他數據則由在單元間移動的各種后勤車輛被動收集,然后通過物理存儲設備傳輸移動。
數據科學家在處理整個視覺傳感器隊的誤報時,確定他們對當地熊類的觀察結果具有統計學意義,可以將所有觀察結果反饋給人工智能數據產品團隊,以完成一輪半監督負訓練,將其分類為非人類和非戰斗人員。團隊相信,新訓練的計算機視覺模型對熊的誤報率將減少約 70%。
早期樣本的另一個重要發現是發現了計算機視覺模型未檢測到的敵方戰術哨兵。這種誤報可能會對部隊保護造成不利影響。哨兵就像一只坐在樹枝上的鳥,但實際上它是一個離散的視聽傳感器包。通過將哨兵的多次觀察結果與互聯網上業余觀鳥者的視頻樣本進行比較,數據科學團隊能夠訓練出一個分類器,將哨兵與活鳥區分開來。
有了這個新的計算機視覺模型,團隊就可以準備軟件更新策略了。在接下來的 21600 秒內,整個聯合部隊將部署數百個計算機視覺更新。它們不可能也不應該一次性全部部署。在過去三年中,這些團隊已經數百次實踐了這種持續集成和持續交付(CI/CD)方法。與現代云計算提供商一樣,他們也有一套部署策略,通過一系列測試和小規模部署來確認功能是否正常。
除了這些現代軟件實踐外,機器學習操作人員還確保他們的計算機視覺模型部署到狗的樣本中,這些狗會重新觀察類似鳥類的對象,以及熊產生誤報最多的地方。由于新數據顯示誤報和誤報率大幅降低,團隊繼續在計算機視覺傳感器機群的其余部分進行部署。值得慶幸的是,更新計算機視覺模型可以有效利用帶寬。根據傳感器的不同,原始模型的大小在 40 到 60 兆之間。更新只需原始模型的 10%-20%,在這種情況下,更新只需五到十兆字節。所有這些微小的效率在戰術邊緣及其潛在的拒絕、斷開、間歇或受限條件下都非常重要。
在每個數據時代都必須進行的一系列更新就是新的戰斗演練。它們必須像士兵清除卡住的武器一樣熟悉和磨練。
必須展示哪些概念才能最終投入實戰?軍隊編制、人員和領導者必須如何采用和塑造這些新的數據作戰演習?美國陸軍已經開始了云計算、軟件定義網絡、算法戰爭、自主性和人機團隊的數字奧德賽。美國各軍種都在迅速啟用其采購、安全和信息技術干部,以提供這些技術和實踐。由此產生的軟件開發實踐不僅限于后臺職能部門。它們正通過傳統和替代性的采購途徑,在各個層級同時出現。久經考驗的研究、開發、測試和評估計劃,以及專門致力于成功實現數字化和人工智能能力的新組織,都在加速這些實踐。引領這些新努力的是一個擁有共同愿景和重新審慎承擔風險的領導者網絡。
走進任何一家新的軟件工廠或 Dev/Ops(開發/運營)軟件團隊,如 AFWERX、SOFWERX 等,就會看到了解自己使命和技能的專業人士。就像他們之前在航空、機械化作業和非機組人員系統領域的先驅一樣,他們知道自己所從事的工作的新穎性很容易被誤解或否定。然而,當他們考慮到烏克蘭和以色列正在進行的戰爭時,他們積極推動新能力的發展,以戰勝任何對手。
所有這些工作都有意義所在。要想讓它們結出碩果并最大限度地影響軍事效率,領導者必須積極努力,加快團隊的效果。為此,他們可以采取幾個關鍵步驟。
首先,消除開發團隊與最終用戶之間的距離。這對成功采用軟件和硬件至關重要。用戶和開發人員之間的接觸點是你應該衡量和投資的。如果用戶沒有破壞技術,而開發人員也沒有根據他們無法預料的用例迅速調整技術,那么你就會把這些不幸的發現推遲到第一場戰斗中。
第二,與官僚機構中的現狀偏見作斗爭。如果有人告訴你,生成式人工智能沒有需求,那么請提醒他們,在軍事史的其他拐點上,槍械、坦克、飛機、反簡易爆炸裝置和反無人機技術也沒有需求--直到技術和用例匯聚在一起,使需求變得非常明確。
第三,將人工智能項目分解成一個組合,在一般的開發、安全、機器學習、運營(DevSecMLOps)流水線與不同機器學習學科(如自然語言、計算機聽覺和計算機視覺)的獨特需求之間取得平衡,以滿足遙感、感知和自主等不同應用的需求。
第四,除了你的團隊正在構建的人類角色外,還必須為另一個用戶--新興力量結構中的機器角色--提供服務。部隊結構中每個支持機器學習的設備都需要一個人工智能就緒的數據產品戰略和數據網絡戰略,以便在各種沖突、生物群落和任務中對其進行再訓練。當人類繼續消耗豆子和子彈時,機器將消耗電池和字節。
第五,除了已經建立的物理和虛擬訓練環境,還需要一個設備農場、一個模型動物園和一個數字孿生家族。移動應用開發人員必須在各種設備制造商之間進行測試,以確保向前和向后的兼容性。設備農場可以幫助開發人員從這些異構設備群中快速獲得技術反饋。在下一個戰爭時代,這些設備可能是四足機器人、無人機群,也可能是載人履帶車。機器學習工程師建立并迭代了大量開源和專有模型。在對它們進行訓練和再訓練的過程中,工程師們將擁有越來越多的模型集合(動物園),這些模型將成為在新情況下進行快速微調的更好起點。數字孿生將有助于確保您擁有一個具有充分代表性的環境,以展示新的網絡-設備-數據-模型組合的預期效果。
第六,零信任運動。就像 Hedy Lamarr 和 George Antheil 發明的跳頻擴頻一樣,零信任系統不斷強制執行憑證和其他證書的連接、輪換和重新認證,以確保安全一致性,抵御外部和內部威脅。要做到這一點是一門復雜的藝術,但您應該在數據和系統訪問中要求具備這種能力。BYOD(自帶設備)是企業能夠以零信任方式運行的標志。當您可以信任員工帶去工作的異構敵對外國設備時,您將具備必要的組織和技術實力,與盟友和聯合部隊中的任務合作伙伴實現同樣的目標。
第七,組織需要每周部署到生產中,領導應參與 CI/CD 流程。現代云計算服務通過多種策略實現高可用性。其中最關鍵的是,在發生中斷事件時,開發人員與其領導之間通過軟件定義的連接。在純粹的形式下,DevOps 意味著構建軟件的同一個團隊也會部署軟件,如果部署失敗,他們會在半夜接到呼叫。這就加強了測試過程中對細節的關注。傳呼過程還可以與主要領導聯系起來。如果知道有一定的時間來解決軟件部署失敗的問題,并在經理被傳呼之前恢復正常服務,那么每個人都會在測試過程中更加關注細節。
第八,明確允許在哪些領域進行 "系統 1 "和 "系統 2 "機器思維實驗。丹尼爾-卡尼曼(Daniel Kahneman)在《思考,快與慢》(Thinking, Fast and Slow)一書中普及了現代人對人類思維能力的理解,即人類的思維能力是兩個系統的副產品。系統 1 自動做出快速反應,就像 "戰斗或逃跑 "反應一樣。你的視覺、聽覺或嗅覺幾乎不費吹灰之力就能處理房子著火的情況。卡尼曼將其與系統 2 區分開來,后者 "將注意力分配給費力的心理活動",并完成復雜計算等任務。通過它,我們對何時將精力分配給專注力有了更多的自主權和選擇權。人機協作的關鍵在于將系統 1 和系統 2 的任務分配給合適的隊友。
我們不希望有一天會經歷這種情況,但在未來的戰場上,兩支陸軍將在夜間發生沖突。清晨,雙方的幾個營可能只剩下殘兵敗將。哪一方能更快地執行重組戰斗演習,哪一方就能立即獲得優勢。從原屬組織脫離并加入新組織的任務命令需要幾個行政和控制步驟。指揮官應首先選擇新的領導和編隊,這是系統 2 的流程。不過,一旦命令下達,一系列系統 1 應用程序和信息應能使所有人員、醫療、后勤和其他支持數據迅速準確地傳送到新的指揮人員手中。如果我們把眼前的工作做好,新營應該能在 3600 秒內做好戰斗準備,而不是 28800 秒。分秒必爭。
參考來源:The Modern War Institute
人工智能(AI)究竟是什么?它與電子戰(EW)的未來有什么關系?人工智能正在改變我們所做的一切嗎?如果忽視人工智能,那將是一個錯誤。眾所周知,特斯拉采用了人工智能算法,特別是卷積神經網絡、遞歸神經網絡和強化學習。從根本上說,這些算法可以匯編來自多個傳感器的數據,分析這些數據,然后做出決策或向最終用戶提供信息,從而以驚人的速度做出決策。這一過程以指數級的速度發生,超過了人腦的處理速度。因此,從根本上說,人工智能是機器像人類一樣執行認知功能的能力。
人工智能可以駕駛汽車、撰寫學期論文、以適當的語氣幫你創建電子郵件,因此,它在軍事領域的潛在應用也是理所當然的。具體來說,就是整合人工智能電子戰及其提供的潛在能力轉變。雖然 "電子戰 "一詞已經使用了相當長的一段時間,但將人工智能注入這一領域為提高速度和殺傷力和/或保護開辟了新的途徑。
電子戰包含一系列與控制電磁頻譜有關的活動,傳統上一直依賴人類的專業知識來探測、利用和防御電子信號。然而,現代戰爭的速度和復雜性已經超出了人類操作員的能力。這正是人工智能的優勢所在,它帶來的一系列優勢將徹底改變電子戰的格局。
將人工智能融入電子戰的首要好處之一是增強了實時處理和分析海量數據的能力。在數字時代,戰場上充斥著來自通信網絡、雷達系統和電子設備等各種來源的大量信息。人工智能算法可以迅速篩選這些數據,識別出人類操作員可能無法識別的模式、異常情況和潛在威脅。這種能力不僅能提高威脅檢測的準確性,還能大大縮短響應時間,使友軍在快速演變的局勢中獲得關鍵優勢。
在這種情況下,人工智能賦能的兵力倍增器就出現了,它能在面對復雜多變的局勢時做出更高效、更有效的決策。現代戰場會產生大量電子信號,需要快速準確地識別。人工智能驅動的算法擅長篩選這些數據、辨別模式,并識別在以往場景中可能被忽視的信息。這使兵力能夠迅速做出反應,以更快的速度做出關鍵決策。
此外,人工智能還具有適應和學習新信息的能力,這一特性在電子戰領域尤為有利。電子威脅和反制措施處于不斷演變的狀態,需要反應迅速和靈活的策略。人工智能驅動的系統可以根據不斷變化的情況迅速調整戰術,持續優化性能,而無需人工干預。這種適應性對于對抗復雜的電子攻擊和領先對手一步至關重要。
人工智能與電子戰的融合還為指揮官提供了更先進的決策工具,比歷史標準更詳細、更快速。人工智能算法可以分析各種場景,考慮地形、天氣以及友軍和敵軍兵力等因素。這種分析為指揮官提供了全面的戰場情況,使他們能夠在充分了解情況的基礎上做出決策,最大限度地提高任務成功的概率,最大限度地降低潛在風險。此外,人工智能驅動的模擬可以演繹不同的場景,使軍事規劃人員能夠完善戰略,評估不同行動方案的潛在結果。美國今年早些時候進行了一次以印度洋-太平洋地區為重點的演習,將大語言模型(LLM)作為規劃和決策過程的一部分。一位演習成員稱贊了系統 "學習 "的成功和速度,以及系統成為戰場上可行資源的速度。另一個例子是,利用已輸入人工智能系統的數據對目標清單進行優先排序,人工智能系統能夠考慮瞄準行動、網絡,從而比操作人員更快、更全面地了解戰區情況。
不過,必須承認,要完成人工智能整合,還存在一些潛在的障礙。首先,美國防部大多數實體無法直接獲得人工智能技術。大多數從事前沿人工智能工作的組織都是商業公司,它們必須與軍事系統合作或集成。這可能會受到美國現行預算和研發流程的阻礙。此外,美國的這些流程進展緩慢,人工智能技術很有可能無法融入美國兵力。還有潛在的道德和安全考慮。隨著人工智能系統在探測和應對威脅方面承擔更多責任,人類的監督和控制水平也會出現問題。為了與戰爭法則保持一致,需要有人工參與,而不是完全依賴人工智能來做出攻擊決策。任何時候,只要有可能造成人員傷亡、附帶損害或其他問題,就需要人類做出有意識的知情決策,而不能任由人工智能自生自滅。在人工智能自主決策和人工干預之間取得適當的平衡至關重要,以防止意外后果或機器在沒有適當問責的情況下做出生死攸關的選擇。
最后,人工智能的整合引發了對潛在網絡漏洞的擔憂。雖然人工智能可以提高電子戰的速度和準確性,但它也為試圖操縱或破壞人工智能系統的惡意行為者帶來了新的攻擊途徑。要保護這些系統免受網絡威脅,就必須采取強有力的整體網絡安全方法,同時考慮到人工智能驅動的電子戰的硬件和軟件層。
最后,不可否認,將人工智能融入戰爭預警的潛在戰略利益是巨大的。人工智能處理海量數據、適應不斷變化的條件和支持決策過程的能力有可能重塑現代戰爭的格局。隨著兵力越來越依賴技術來保持在數字化作戰空間中的優勢,負責任地開發和部署人工智能驅動的預警系統將是必要的。 如何在技術創新、人工監督和安全措施之間取得適當平衡,將決定能在多大程度上實現這些優勢,同時又不損害戰略目標或道德考量。美國采購系統面臨的挑戰也將在人工智能集成中發揮關鍵作用。人工智能在電子戰中的變革力量有可能改變游戲規則。問題是:它會嗎?人工智能將如何融入新型 EC-37B Compass Call 和 NexGen 干擾機等未來平臺?陸軍是否會將人工智能納入其推動營級決策的努力中?這些都是值得探討的問題,但有一點是肯定的:電磁作戰界必須繼續接受創新思維,因為我們知道未來的戰斗將在電磁頻譜中開始和結束。人工智能將在現代戰爭的新時代發揮關鍵作用。
從規劃到執行,人工智能(AI)在軍事行動中發揮著越來越重要的作用。隨著技術的進步,將人工智能融入國防戰略已成為各國保持競爭優勢、確保國民安全和安保的關鍵所在。人工智能在軍事行動中的潛在應用非常廣泛,從加強決策過程到提高軍事系統的效率和效力,不一而足。
人工智能在軍事行動中的主要應用方式之一是分析大量數據。在當今的信息時代,兵力從衛星圖像、信號情報和社交媒體等各種來源生成和收集海量數據。人工分析這些數據是一個耗時耗力的過程,可能會延誤關鍵決策。而人工智能算法則能以更快的速度處理和分析這些數據,使軍事指揮官能夠根據實時信息做出更明智的決策。
除數據分析外,人工智能還被用于加強軍事行動的規劃和執行。例如,人工智能驅動的系統可以通過模擬各種場景和預測不同戰略的結果,幫助軍事戰略家制定更有效、更高效的作戰計劃。這樣,指揮官就能根據最準確的最新信息選擇最佳行動方案。此外,人工智能還可用于優化人員和裝備等資源的分配,確保以最有效的方式部署兵力。
人工智能在軍事行動中的另一個重要應用是開發自主系統。無人駕駛飛行器(UAVs)又稱無人機,由于能夠在不危及人類生命的情況下執行監視和偵察任務,已成為現代戰爭的主要裝備。人工智能技術有可能進一步提升這些能力,使無人機能夠自主運行,根據周圍環境和任務目標做出決策,而無需人工干預。這不僅能降低人類操作員的風險,還能更高效、更有效地利用這些資產。
此外,人工智能正被集成到各種軍事系統中,以提高其性能和能力。例如,人工智能驅動的算法可用于提高導彈防御系統的精確度和瞄準能力,增強其攔截和消除來襲威脅的效力。同樣,人工智能也可用于提高軍事通信系統的性能,確保信息在不同單位和指揮中心之間快速、安全地傳輸。
盡管人工智能為軍事行動帶來了諸多好處,但也存在一些需要解決的問題和挑戰。其中一個主要問題是在戰爭中使用人工智能所涉及的倫理問題,特別是當涉及到可以在沒有人類干預的情況下做出生死攸關決定的自主系統時。確保這些系統遵守國際法和道德標準對于防止潛在的濫用和意外后果至關重要。
另一個挑戰是對手惡意利用人工智能技術的風險。隨著人工智能變得越來越先進,越來越容易獲取,人們越來越擔心敵對行為體可能會利用人工智能開發出新的、更復雜的網絡戰形式,甚至制造出難以防御的人工智能武器。
總之,將人工智能融入軍事行動有可能徹底改變戰爭的打法和勝負。從加強決策過程到提高軍事系統的效率和效力,人工智能提供了眾多好處,可以幫助各國在日益復雜和不可預測的全球安全環境中保持競爭優勢。然而,必須解決與戰爭中的人工智能相關的倫理問題和潛在風險,以確保負責任地使用這項技術,并為更大的利益服務。
參考來源:TS2 space,作者:Marcin Fr?ckiewicz
美國陸軍近年來提出了 "信息優勢 "的概念,即士兵有能力比對手更快地做出決策和采取行動。陸軍現在認為,人工智能是實現這一戰略的關鍵。
人工智能的普及程度和能力都有了爆炸式的增長,ChatGPT 等大型語言模型和其他人工智能系統也越來越容易為大眾所使用。在工業界和美國防部,許多人都在探索將該技術用于軍事應用的可能性,陸軍也不例外。
陸軍賽博司令部司令瑪麗亞-巴雷特(Maria Barrett)中將說,人工智能具有 "真正、真正推動變革的最大潛力......但它也給我們帶來了非常、非常現實的挑戰,以及整個信息維度的挑戰"。
負責政策的國防部副部長辦公室副首席信息作戰顧問、陸軍少將馬修-伊斯利(Matthew Easley)說,軍方正在經歷 "從傳統的信息作戰,即我們如何將不同的信息效果結合起來,為我們的行動創造我們想要的協同效應 "到新的信息優勢概念的轉變。
伊斯利在 6 月份美國陸軍協會的一次活動中說,這一概念的目標是確保陸軍在信息環境中掌握 "主動權","能夠看清自己、了解自己并更快地采取行動"。他說,信息優勢包括五大功能:輔助決策;保護士兵和軍隊信息;教育和告知國內受眾;告知和影響國外受眾;以及開展信息戰。
他補充說:"所有這五個領域都可以利用人工智能和機器學習取得一定效果"。
伊斯利在 2019 年幫助建立了陸軍人工智能兵力工作組。但他說,在他任職期間,該小組在全軍范圍內采用人工智能時遇到了兩個挑戰:遷移到混合云環境和移動設備。
陸軍將 "繼續擁有大量的傳統數據中心,但隨著我們需要激增,我們需要在全球范圍內移動--云環境使我們更容易開展全球業務,"他說。根據陸軍預算文件,陸軍正在為2024財年申請4.69億美元,用于向云過渡和數據環境投資。
巴雷特在 AUSA 會議上說: "沒有數據存儲庫,就無法實現人工智能和機器學習"。陸軍賽博司令部對其大數據平臺進行了大量投資,將 "進入我們平臺的數據流數量翻了一番,解析器翻了一番,我們現在存儲的數據存儲量也翻了一番,"她說。她說:"我們將繼續沿著這條軌跡前進,這意味著我們已經準備好開始利用 "人工智能能力"。
她說,對于指揮部來說,人工智能主要用于網絡防御,但在 "信息層面 "也有應用。"引入各種不同的信息源......并真正了解特定環境的信息基線,這意味著什么?所有這些都對我們大有幫助,而且我認為這只會不斷擴大"。
伊斯利說,移動設備的普及大大增加了潛在的饋送量,但也會擴大對手的潛在目標。這些設備 "有很多功能,也有很多漏洞。我們必須考慮并使用人工智能......既能保護我們自己,又能管理我們擁有的大量數據"。
陸軍參謀長詹姆斯-麥康維爾(James McConville)將軍在6月的一次媒體吹風會上說,在潛在沖突中,人工智能可以幫助士兵整理所有數據,并將正確的信息 "送到箭筒中"。
根據陸軍預算文件,陸軍正在為2024財年的人工智能和機器學習申請2.83億美元,其中包括用于增強自主實驗的研發資金,以及為集成視覺增強系統、可選載人戰車(最近被重新命名為XM30機械化步兵戰車)、遠程戰車、TITAN地面站和 "具有邊緣處理功能的更智能傳感器 "等系統的人工智能/機器學習項目活動提供資金。
"陸軍部長克里斯蒂娜-沃穆斯(Christine Wormuth)在簡報會上說:"我們當然在尋找如何利用人工智能使我們的能力(包括新能力和正在開發的能力)更加有效。她說,陸軍尤其在 "融合項目"(Project Convergence)演習中使用了人工智能目標定位程序。
融合項目是陸軍對國防部聯合全域指揮與控制概念的貢獻,該概念旨在通過網絡將傳感器和射手聯系起來。陸軍發布的一份新聞稿稱,在2022年底的上一次演習中,參演人員使用了陸軍的 "火風暴 "系統--"一種人工智能驅動的網絡,將傳感器與射手配對",向參加實驗的澳大利亞兵力發送情報。
麥康維爾說,軍方還將人工智能用于預測性后勤工作。他說:"我們正在使用人工智能來幫助我們預測所需的零部件,這對龐大的軍隊來說意義重大"。
除了簡單的維護之外,預測性后勤還涉及陸軍的不同供應類別,如燃料和彈藥,"以及我們如何看待消耗,如何預測在哪里可以將正確的供應品送到需要的地方",負責維持的陸軍副助理部長蒂莫西-戈德特(Timothy Goddette)說。
戈德特在國防工業協會戰術輪式車輛會議上說:"我們的目標是提前計劃這些物資需要運往何處或何時需要進行維護,而不是作出反應。
他說:"如果計劃的維護是正確的,但條件是錯誤的--如果你處于低[操作]節奏,我們如何改變計劃的維護?如果你處于炎熱、寒冷或腐蝕性環境中,你該如何改變維護計劃?這可能正是我們需要思考的地方。"
他補充說,在數字化世界中,陸軍必須 "學會如何使用數據和以不同的方式使用數據"。"我承認,我們還沒有完全弄懂[預測性后勤]。我們確實需要大家的幫助來思考這個問題。
McConville 和 Wormuth 說,人工智能未來的其他應用還包括人才管理和招聘。"Wormuth 說:"人工智能可能有辦法幫助我們以人類不擅長的方式識別優質線索或潛在客戶。
不過,McConville 強調,在使用人工智能時,"人在回路中 "非常重要。
他說:"實際做所有工作的可能不是人,但我們會看到人工智能幫助我們更好地完成工作。"但與此同時,我們也希望有人能說'發射這個武器系統',或者至少能考慮到這一點。"
巴雷特贊同麥康維爾的說法:"每個人都會把[人工智能]當成一臺機器。但是......你猜怎么著:每個玩過 ChatGPT 的人--是的,是人在喂養那臺機器。"
伊斯利說,隨著陸軍引入人工智能系統,士兵們可以做四件事來幫助技術正常成熟:收集和注釋數據;使用這些數據訓練人工智能模型;使用這些模型來檢驗它們是否有效;以及幫助改進模型。
他說,軍方在收集數據方面做得 "很好","但軍隊中仍有很多數據我們沒有完全捕捉到......我們可以利用這些數據來訓練我們自己的大型語言模型。"要使這些模型對我們的領域有效,我們必須在我們的數據上進行訓練。因此,我們必須研究:我們的人力資源數據是什么?我們的人力資源數據是什么?我們的醫療數據是什么?我們的業務數據是什么?我們的情報數據是什么?我們如何在受控環境下利用這些數據來建立更好的模型?
他說,這些模型必須根據軍隊的數據進行快速訓練和再訓練,以便不斷改進。他以自己手機上的餐廳推薦算法為例,"它之所以這么好,是因為它有10年的時間,我只告訴它我喜歡世界上哪些餐廳"。
伊斯利說,雖然他們將來可能會收到人工智能的推薦,但武器系統將始終由人類來管理,但 "其他系統,如果不是那么關鍵的話......[機器]可以做出決定"。不過,他補充說,人類將對人工智能進行培訓,使其在執行陸軍任務時可以信賴。"他說:"你不會質疑你的地圖算法告訴你在城市中往哪里走--你知道該算法比你掌握更好的信息。但是,"我們如何獲得數據背后的真實性,讓我們能夠相信模型的內容、模型是如何訓練的,以及我們是如何使用它的?我認為這都是......人類的努力"。
參考來源:NDIA網站;作者:Josh Luckenbaugh
自動駕駛領域近來見證了采用端到端算法框架方法的迅猛增長,這些方法利用原始傳感器輸入生成車輛運動規劃,而不是專注于諸如檢測和運動預測等單個任務。與模塊化流程相比,端到端系統從感知和規劃的聯合特征優化中受益。由于大規模數據集的可用性、閉環評估,以及自動駕駛算法在具有挑戰性的場景中有效執行的日益增長的需求,這一領域已經蓬勃發展。在本綜述中,我們提供了對250多篇論文的全面分析,涵蓋了端到端自動駕駛的動機、路線圖、方法、挑戰和未來趨勢。我們深入探討了幾個關鍵挑戰,包括多模態、可解釋性、因果混淆、健壯性和世界模型等。此外,我們還討論了基礎模型和視覺預訓練的當前進展,以及如何在端到端駕駛框架內整合這些技術。為了促進未來的研究,我們維護一個活躍的知識庫,其中包含與相關文獻和開源項目的最新鏈接,地址為 //github.com/OpenDriveLab/End-to-end-Autonomous-Driving。
1. 引言
傳統的自動駕駛系統采用模塊化部署策略,其中每個功能,如感知、預測和規劃,都是單獨開發并集成到車載系統中的。規劃或控制模塊負責生成轉向和加速輸出,在決定駕駛體驗方面起著至關重要的作用。在模塊化流程中,規劃的最常見方法是使用復雜的基于規則的設計,但這在應對駕駛過程中出現的大量情況時往往效果不佳。因此,利用大規模數據并使用基于學習的規劃作為一種可行的替代方案的趨勢正在增長。我們將端到端自動駕駛系統定義為完全可微的程序,它以原始傳感器數據為輸入,并生成規劃和/或低級控制動作作為輸出。圖1 (a)-(b) 說明了經典方法和端到端方法之間的區別。在傳統方法中,每個組件的輸出(如邊界框和車輛軌跡)直接饋送到后續單元(虛線箭頭)。相比之下,端到端范式跨組件傳播特征表示(灰色實線箭頭)。優化函數被設置為,例如,規劃性能,并通過反向傳播(紅箭頭)最小化損失。在此過程中,任務是聯合和全局優化的。
在這份綜述中,我們對這一新興主題進行了廣泛的回顧。圖1提供了我們工作的概述。我們首先討論端到端自動駕駛系統的動機和路線圖。端到端的方法可以大致分為模仿學習和強化學習,我們對這些方法進行了簡要回顧。我們介紹了用于閉環和開環評估的數據集和基準。我們總結了一系列關鍵挑戰,包括可解釋性、泛化、世界模型、因果混淆等。最后,我們討論了我們認為社區應該采納的未來趨勢,以整合來自數據引擎、大型基礎模型和車輛到一切等方面的最新發展。
1.1 端到端系統的動機
在經典的流程中,每個模型作為一個獨立的組件并對應于一個特定的任務(例如,交通燈檢測)。這樣的設計在可解釋性、可驗證性和調試的便捷性方面是有益的。然而,由于模塊間的優化目標不同,感知中的檢測追求平均精度(mAP),而規劃則以駕駛安全和舒適性為目標,整個系統可能無法與統一的目標保持一致,即最終的規劃/控制任務。隨著順序過程的進行,每個模塊的錯誤可能會累積并導致駕駛系統的信息損失。此外,多任務、多模型部署可能會增加計算負擔,并可能導致計算資源的使用不夠理想。與其經典的對應物相比,端到端的自動系統提供了幾個優點。(a) 最明顯的優點是它通過將感知、預測和規劃合并到一個可以聯合訓練的單一模型中,以其簡單性為特點。(b) 整個系統,包括其中間表示,都是針對最終任務進行優化的。(c) 共享基礎架構增加了計算效率。(d) 數據驅動的優化具有提供潛在能力的可能性,僅通過擴展訓練資源就能提高系統性能。請注意,端到端的范式不一定意味著一個只有規劃/控制輸出的黑箱。它可以像經典方法一樣具有模塊化設計,并具有中間表示和輸出(圖1(b))。實際上,一些最先進的系統[1, 2] 提出了模塊化設計,但將所有組件一起優化以實現卓越性能。
1.2 路線圖
圖2描繪了端到端自動駕駛中關鍵成就的時間順序路線圖,每個部分表示一個重大的范式轉變或性能提升。端到端自動駕駛的歷史可以追溯到1988年的ALVINN[3],其中輸入是來自攝像頭和激光測距儀的兩個“視網膜”,一個簡單的神經網絡生成轉向輸出。Bojarski等人[8]設計了一個原型端到端CNN系統,用于模擬和道路測試,這在GPU計算的新時代重新確立了這個想法。隨著深度神經網絡的發展,在模仿學習[15, 16]和強化學習[4, 17, 18, 19]方面取得了顯著進步。LBC[5]中提出的策略提煉范式以及相關方法[20, 21, 22, 23]通過模仿行為良好的專家的策略顯著提高了閉環性能。為了增強由于專家和學習策略之間的差異而產生的泛化能力,一些論文[10, 24, 25]提出在訓練期間聚合按策略數據[26]。
2021年對于端到端自動駕駛來說是一個重大的轉折點。由于在一個合理的計算預算內,有各種傳感器配置可用,人們開始關注將更多的模態和高級架構(如Transformers [27])整合進來,以捕捉全局上下文和代表性特征,正如TransFuser[6, 28]和許多變體[29, 30, 31]中所做的那樣。結合對模擬環境的更多洞察,這些先進的設計在閉環CARLA基準[13]上產生了顯著的性能提升。為了提高自動系統的可解釋性和安全性,像NEAT[11]、NMP[32]和BDD-X[33]這樣的方法顯式地整合各種輔助模塊以更好地監督學習過程或利用注意力可視化。最近的工作優先生成關鍵安全數據[7, 34, 35],預訓練一個(大型)為策略學習量身定制的基礎模型或基礎架構[12, 36, 37],并倡導一種模塊化端到端規劃哲學[1, 2, 38, 39]。同時,新的并且具有挑戰性的CARLA v2[13]和nuPlan[14]基準已經被引入以促進這一領域的研究。
1.3 貢獻
總結一下,本調查有三個關鍵貢獻:(a) 我們首次提供了對端到端自動駕駛的全面分析,包括高層次的動機、方法、基準等。我們提倡的哲學不是優化單個模塊,而是將算法框架作為一個整體來設計,其最終目標是實現安全舒適的駕駛。(b) 我們廣泛研究了當前方法面臨的關鍵挑戰。在調查的250多篇論文中,我們總結了主要方面,并提供了深入的分析,包括關于泛化能力、語言引導學習、因果混淆等話題。(c) 我們探討了如何采納大型基礎模型和數據引擎的更廣泛影響。我們相信,這一研究方向及其提供的大規模高質量數據可能會顯著推動這個領域的進步。為了方便未來的研究,我們維護一個活躍的知識庫,不斷更新新的文獻和開源項目。
2 方法
本節回顧了大多數現有端到端自駕車方法背后的基本原理。第2.1節討論使用模仿學習的方法,并詳細介紹兩個最流行的子類別,即行為克隆和逆向最優控制。第2.2節總結了遵循強化學習范式的方法。
3 基準測試
自動駕駛系統需要對其可靠性進行全面評估以確保安全性 [86, 87]。為了實現這一目標,研究人員必須使用適當的數據集、模擬器和指標對這些系統進行基準測試。本節描述了端到端自動駕駛系統大規模基準測試的兩種方法:(1) 在模擬環境中進行在線或閉環評估,以及 (2) 在人類駕駛數據集上進行離線或開環評估。我們特別關注更有原則的在線設置,并為了完整性提供了離線評估的簡要總結。
4 挑戰
對于圖1中描繪的每個主題/問題,我們現在討論相關的工作、當前的挑戰,以及有前景的未來趨勢和機會。我們從4.1節開始討論處理不同輸入模態和表達式的相關挑戰,然后在4.2節討論視覺抽象以提高策略學習的效率。接著,我們介紹學習范式,如世界模型學習(4.3節)、多任務框架(4.4節)和策略蒸餾(4.5節)。最后,我們討論阻礙端到端自動駕駛系統安全可靠的一般問題,包括4.6節的可解釋性,4.7節的因果混淆,以及4.8節的魯棒性和泛化能力。
5 結論
在這份綜述中,我們概述了基本方法并總結了模擬和基準測試的各個方面。我們徹底分析了迄今為止的廣泛文獻,并強調了一系列關鍵挑戰和有前途的解決方案。我們在最后討論了未來擁抱迅速發展的基礎模型和數據引擎的努力。端到端自動駕駛面臨著巨大的機遇和挑戰,其最終目標是構建通用智能體。在這個新興技術不斷涌現的時代,我們希望這份調查能作為一個起點,為這個領域帶來新的啟示。
隨著技術的飛速發展和威脅環境變得更加復雜,今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能(AI)的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識,增加對威脅和對手能力和意圖的了解,識別和評估可能的戰術行動方案,并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。
人工智能系統為海戰提供了優勢,但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊,改善作戰情況的不確定性,并提出改善作戰和戰術結果的建議。實施人工智能系統,以滿足海軍應用的這些苛刻需求,給工程設計界帶來了挑戰。本文確定了四個挑戰,并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。
人工智能是一個包括許多不同方法的領域,目的是創造具有智能的機器(Mitchell 2019)。自動化系統的運作只需要最小的人類輸入,并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器,執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中,以做出決定并得出結論。
如表1所述,人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen(2020,3)將專家系統描述為手工制作的知識系統,使用傳統的、基于規則的軟件,將人類專家的主題知識編入一長串編程的 "如果給定x輸入,則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統,從大型數據集中進行訓練。ML系統自動學習并從經驗中改進,而不需要明確地進行編程。一旦ML系統被 "訓練",它們就被用于操作,以產生新的操作數據輸入的結果。
表1. 兩類人工智能系統
人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力,在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力,以了解復雜和不確定的情況,制定和權衡選擇,預測行動的成功,并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。
本文確定了工程設計界必須解決的四個挑戰,以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括:(1)復雜的海戰應用領域;(2)需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統;(3)人工智能系統工程的一些新挑戰;(4)存在對手的人工智能進展,不斷變化和發展的威脅,以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域,但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。
表2. 為海軍實施人工智能系統的四個挑戰領域
人工智能正被視為一種能力,可應用于廣泛的應用,如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰,人工智能系統必須與之抗衡,才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子,從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素,這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度,對六個應用領域的特征進行了定性評估。顏色代表低貢獻(綠色)、中貢獻(黃色)和高貢獻(紅色)。
表3中最上面一行顯示的特征包括: (1)認識上的不確定性水平(情況知識的不確定性程度),(2)情況的動態性,(3)決策時間表(可用于決策的時間量),(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5)資源的復雜性(數量、類型、它們之間的距離以及它們的動態程度),(6)是否涉及多個任務,(7)所需訓練數據集的復雜性(大小、異質性、有效性、脆弱性、可獲得性等 8)對手的存在(競爭者、黑客或徹頭徹尾的敵人),(9)可允許的錯誤幅度(多少決策錯誤是可以接受的),以及(10)決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義,即基于一組樣本的貢獻因素,不同應用領域的不同復雜程度。
表3. 影響應用復雜性的因素比較
對于所有的應用領域來說,人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時;以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用,如貸款審批、廣告、醫療診斷(在某種程度上)面臨工程挑戰,但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的,做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而,航運錯誤是有空間的,而且后果通常不會太嚴重。對于自動駕駛汽車來說,決策錯誤的空間非常小。在這種應用中,決策失誤會導致嚴重的事故。
影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此,戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子,海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空,甚至是網絡空間,導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中,戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行,并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后,對于戰術決策及其可能的后果來說,風險可能非常大。
表4. 導致戰術決策復雜性的因素
解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案,即處理大量的數據,處理不確定性,理解復雜的情況,開發和評估決策選擇,以及理解風險水平和決策后果。Desclaux和Prestot(2020)提出了一個 "認知三角",其中人工智能和大數據被應用于支持作戰人員,以實現信息優勢、控制論信心和決策優勢。約翰遜(2019年)開發了一個工程框架和理論,用于解決高度復雜的問題空間,這些問題需要使用智能和分布式人工智能系統來獲得情況意識,并做出適應動態情況的協作行動方案決定。約翰遜(2020a)建立了一個復雜的戰術場景模型,以證明人工智能輔助決策對戰術指揮和控制(C2)決策的好處。約翰遜(2020b)開發了一個預測分析能力的概念設計,作為一個自動化的實時戰爭游戲系統來實施,探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先,人工智能支持的C2系統需要描述戰術行動期間的復雜程度,然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平(人與機器的決策角色)。約翰遜(2021年)正在研究這些概念性工程方法在各種防御用例中的應用,包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。
在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來,戰術邊緣遠離指揮中心,通信和計算資源有限,戰場形勢瞬息萬變,這就導致在嚴酷復雜的戰地環境中,網絡拓撲結構連接薄弱,變化迅速"(Yang et. al. 2021)。戰術邊緣網絡也容易斷開連接(Sridharan et. al. 2020)。相比之下,許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲,而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時,必須進行仔細的設計考慮,以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。
在軍事領域使用人工智能必須克服復雜性的挑戰障礙,在某些情況下,人工智能的加入可能會增加復雜性。辛普森等人(2021)認為,將人工智能用于軍事C2可能會導致脆弱性陷阱,在這種情況下,自動化功能增加了戰斗行動的速度,超出了人類的理解能力,最終導致 "災難性的戰略失敗"。Horowitz等人(2020)討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人(2020)指出,人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性;如果人類決策者對產出缺乏信心和理解,他們可能會失去對人工智能系統的信任。
實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。
ML系統的學習過程被稱為被訓練,開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法,允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段,ML系統繼續需要數據。
圖1顯示,在運行期間,ML系統或 "模型 "接收運行的實時數據,并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此,在整個系統工程和采購生命周期中,ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。
圖1. 使用數據來訓練機器學習系統
美國海軍開始認識到對這些數據集的需求,因為許多領域(戰爭、供應鏈、安全、后勤等)的更多人工智能開發人員正在了解人工智能解決方案的潛在好處,并開始著手開發人工智能系統。在某些情況下,數據已經存在并準備好支持人工智能系統的開發。在其他情況下,數據存在但沒有被保存和儲存。最后,在其他情況下,數據并不存在,海軍需要制定一個計劃來獲得或模擬數據。
收集數據以滿足海軍領域(以及更廣泛的軍事領域)的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的,在不同的項目和系統中被分隔開來,不容易從遺留系統中獲得,并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據,可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外,和平時期收集的數據并不代表沖突和戰時的操作。海軍(和軍方)還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的(和可能的)戰時行動,并構建足夠的ML訓練數據。
數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說,數據是一種珍貴的商品,并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據,目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。
海軍正在解決這一數據挑戰,開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺,正在管理數據以支持AI/ML的發展和其他類型的海軍應用,這些應用需要與任務相關的數據(Abeyta,2021)。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統,海軍需要在游戲中保持領先,擁有能夠代表各種可能情況的數據集,這些情況跨越了競爭、沖突和危機期間的行動范圍。因此,數據集的開發和管理必須是一項持續的、不斷發展的努力。
第三個挑戰是,人工智能系統的工程需要改變傳統的系統工程(SE)。在傳統系統中,行為是設定的(確定性的),因此是可預測的:給定一個輸入和條件,系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上,一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議,與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統,并確保它們對人類操作者來說是可解釋的、可信任的和安全的。
SE作為一個多學科領域,在海軍中被廣泛使用,以將技術整合到連貫而有用的系統中,從而完成任務需求(INCOSE 2015)。SE方法已經被開發出來用于傳統系統的工程設計,這些系統可能是高度復雜的,但也是確定性的(Calvano和John 2004)。如表5所述,傳統系統具有可預測的行為:對于一個給定的輸入和條件,它們會產生可預測的輸出。然而,許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人(2021年)解釋說,"SE及其方法的雛形基礎并不是為配備人工智能(即機器學習和深度學習)的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說,出錯的余地很小;因此,SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。
表5. 傳統系統和人工智能系統的比較
在整個系統生命周期中,將需要改變SE方法,以確保人工智能系統安全有效地運行、學習和適應,以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變,以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法,這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性,這些系統的行為不是完全可預測的,其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務,即隨著人工智能系統的發展,在部署期間不斷確保安全和理想的行為。
SE界意識到,需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會(INCOSE)最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為,人工智能系統可能會出現新類型的故障模式,這些故障模式是無法預料的,可能會突然發生,而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后,對于有更多的人機互動的人工智能系統,必須仔細注意設計系統,使它們值得信賴,可以解釋,并最終對人類決策者有用。
表6.人工智能系統工程中的挑戰(改編自:Robinson,2021)。
SE研究人員正在研究人工智能系統工程所涉及的挑戰,并開發新的SE方法和對現有SE方法的必要修改。Johnson(2019)開發了一個SE框架和方法,用于工程復雜的適應性系統(CASoS)解決方案,涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統,通過使用人工智能,可以協作產生所需的突發行為。Johnson(2021)研究了人工智能系統產生的潛在新故障模式,并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知,作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人(2021年)研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui(2021年)研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略,促進人類和機器之間的 "校準 "信任,這是作為適當利用的最佳信任水平,避免過度信任和不信任,并在信任失敗后涉及信任修復行動。Johnson等人(2014)開發了一種SE方法,即協同設計,用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統(Blickey等人,2021年,Sanchez 2021年,Tai 2021年)。
數據的作用對于人工智能系統的開發和運行來說是不可或缺的,因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人(2021)提出,SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構,用于開發、訓練和評估AI算法。French等人(2021)描述了需要適當的數據策劃來支持人工智能系統的發展,他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據,以及需要識別和消除數據中的固有偏見。
SE界正處于發展突破和進步的早期階段,這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步,以確保海軍持續的技術優勢。
海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰:(1)人工智能技術在許多領域迅速發展,海軍必須注意同行競爭國的軍事應用進展,以防止被超越,(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性,以及(3)海軍應用的人工智能系統需要發展和適應,以應對不斷變化的威脅環境。
表7. AI系統的對抗性挑戰
同行競爭國家之間發展人工智能能力的競賽,最終是為了進入對手的決策周期,以便比對手更快地做出決定和采取行動(Schmidt等人,2021年)。人工智能系統提供了提高決策質量和速度的潛力,因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索,同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標,不僅僅取決于人工智能研究。它需要適當的數據收集和管理,有效的SE方法,以及仔細考慮人類與AI系統的互動。海軍必須承認,并采取行動解決實施人工智能系統所涉及的挑戰,以贏得比賽。
網絡戰是海軍必須成功參與的另一場競賽,以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統(Libicki, 2009)。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據,導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制,他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化,其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護,免受網絡攻擊(French等人,2021)。
威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化,武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強,這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統,必須能夠加強海軍感知、探測和識別新威脅的能力,以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境,并在行動中學習,以了解戰斗空間中的未知因素,并通過創新的行動方案快速應對新的威脅(Grooms 2019, Wood 2019, Jones et al 2020)。海軍可以利用人工智能系統,通過研究特定區域或領域的長期數據,識別生活模式的異常(Zhao等人,2016)。最后,海軍可以探索使用人工智能來確定新的和有效的行動方案,使用最佳的戰爭資源來解決棘手的威脅情況。
人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而,人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的,可以學習和適應--特別是在用于更復雜的行動時,如高度動態的、時間關鍵的、不確定的戰術行動環境中,允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域:(1)開發能夠解決戰爭復雜性的人工智能系統,(2)滿足人工智能系統開發和運行的數據需求,(3)設計這些新穎的非確定性系統,以及(4)面對對手帶來的挑戰。
海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統,以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。
1.第一個建議是了解人工智能系統與傳統系統之間的差異,以及伴隨著人工智能系統的開發和實施的新挑戰。
人工智能系統,尤其是那些旨在用于像海戰這樣的復雜行動的系統,其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解,更加不可預測,并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。
2.第二個建議是投資于人工智能系統的研究和開發,包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。
研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面,海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的,并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據,用于人工智能系統開發,并確保數據的相關性、有效性和安全性。
3.第三個建議是承認挑戰,并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。
盡管人工智能系統正在許多領域實施,但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識,即在人工智能系統準備用于戰爭決策輔助工具之前,需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖,彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法,在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。
海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統,戰術決策優勢的重大進步是可能的。此外,海軍必須跟上(或試圖超越)對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解,對研究和開發計劃的投資,以及對人工智能技術進步時限的現實預期,海軍可以在應對這些挑戰方面取得進展。
以人工智能為代表的新興技術正日益成為影響全球戰略穩定的新變量。作為引領新一輪科技革命的戰略技術,人工智能在國家安全和軍事領域具有顛覆性的潛力。世界主要軍事大國已將軍用人工智能視為戰略競爭新的 制高點。人工智能軍事化的加快推進改變了傳統戰爭模式以及國際軍事競爭態勢。在常規武器領域,人工智能技術擁有增強自主武器威懾、參與輔助決策及 維護網絡安全的能力,可以推動傳統戰爭模式的顛覆性變革,加速戰爭邁向智能化。在核武器領域,人工智能技術與核導彈預警系統、核指揮和控制系統以及自主核運載平臺迭代融合,可以增強核國家核威懾力量,推動核決策走向智能化。從長遠角度來看,人工智能技術的軍事化應用或將改變現有戰略力量的平衡,削弱核國家核威懾的能力,增加危機意外升級的可能性,鼓勵軍備升級和軍備競賽,沖擊和挑戰以核威懾力量為基礎的戰略穩定,進而動搖甚至可能 破壞現有全球戰略穩定的根基。國際社會應聚焦人工智能軍事化過程中相關技術、結構、機制和治理方面的建設,探索降低人工智能軍事應用引發戰略穩定風險的路徑,為建立新型全球戰略穩定體系創造有利條件。
近年來,機器學習在人工智能中扮演著越來越重要的角色。此外,在網上購物、虛擬個人助理、推薦系統等領域,它正迅速成為我們日常生活的一部分。數據與機器學習算法的結合推動了這些人工智能方法的廣泛應用。然而,對所處理的數據存在敏感性和隱私方面的擔憂。這在醫療保健和金融等領域尤為突出。保護隱私的機器學習通過對敏感數據的私有計算來緩解這些隱私挑戰。然而,這個過程并非微不足道或沒有權衡。
在這篇論文中,我們專注于設計有效和高效的協議,以促進端到端隱私保護機器學習,特別是神經網絡訓練和推理。我們主要關注多方計算和非加密原語,如用于私有計算的聯邦學習。我們首先設計了一個高效的雙方安全訓練和預測框架QUOTIENT。QUOTIENT受益于標準神經網絡訓練的整體適應,使其成為加密友好的訓練過程,同時還提供了用于安全計算的定制混合MPC協議。接下來,我們引入聯邦學習來支持對未標記數據進行高度分散的訓練。我們激發了“豎井”的想法,以確保優越的隱私和跨子群體的隔離。為了完成技術貢獻,我們提出了一個MPC友好的秘密安全承諾方案,以啟用認證預測。更具體地說,這有助于在推理時對訓練過的模型強制執行非功能約束,如公平性、可解釋性和安全性,使過程更公平。我們設計、實現并對所有這些框架進行基準測試,以展示計算、通信和準確性方面的性能提升。我們以一個用戶研究來結束論文,該研究聚焦于增強可用性、效率、協助設計和幫助確保在保護隱私的計算框架中的公平性。這項研究采用半結構化訪談的形式,對隱私保護計算生態系統中的各種利益相關者進行訪談。
對于我們的協議,我們在速度上提高了一個數量級以上的技術水平,同時在準確性和通信方面取得了顯著的進步。用戶研究為純技術貢獻提供了豐富的社會技術視角。本文將理論、實踐和評估相結合,作為一個多角度的框架,激勵有效、高效和公平的隱私保護機器學習的設計、開發和進一步研究。
機器學習正在成為現代世界運行中不可或缺的一部分。隨著數字技術的進步,數據的收集量呈指數級增長,機器學習的力量也在不斷發展。機器學習模型從這些現在可用的巨大數據庫中學習和改進。模型變得越來越強大,在許多情況下,它們執行任務的效率和效率比人類同行更高。隨著越來越多的組織和企業采用機器學習技術,可解釋性變得越來越重要。
模型被用于自動化任務和發現數據中的新趨勢和模式。這些算法直接從數據中學習,而不是由人類開發人員創建。這意味著系統將在沒有直接人類互動的情況下進化和發展。因此,理解模型為什么會做出決策在最初可能是不清楚的,特別是對于沒有數據科學經驗的涉眾來說。對于深度學習等更復雜的機器學習技術來說,這可能尤其困難。深度學習模型的多層神經結構使得決策的透明度變得更加復雜。
與組織中的任何決策工具一樣,一定程度的問責制是必要的。機器學習模型已經被用于自動化資源密集型的管理工作和做出復雜的業務決策。在決策將受到審查的領域,解釋機器學習模型做出決策的原因的能力至關重要。例如,機器學習在金融領域的應用方式多種多樣。算法可以用來自動化和簡化貸款決策,甚至可以根據市場波動自動化股票訓練。在這兩個例子中,可解釋性都是整個過程的組成部分。
本指南探討了機器學習中的可解釋性主題,包括它是什么,為什么它是重要的,以及實現模型可解釋性的不同技術。
聯邦學習可用于解決各種實際通信應用中的復雜問題,例如干擾消除、網絡控制、資源分配和用戶分組。此外,聯邦學習使用戶能夠合作學習統一的預測模型,同時將收集到的數據存儲在他們的設備上,用于無線環境分析、用戶運動預測和用戶識別。基于預測結果,基站可以有效地為設備分配無線資源。本文全面概述了預想的6G無線網絡的聯邦學習應用。特別是,首先描述了將聯邦學習應用于無線通信的基本要求。然后詳細介紹了無線通信中潛在的聯邦學習應用。討論了與此類應用相關的主要問題和挑戰。最后,描述了一種用于無線通信的綜合聯邦學習實現。