將人工智能(AI)融入軍事應用面臨著復雜而多方面的挑戰,其中包括技術進步、政策框架、戰略考慮和倫理問題。為了跟上人工智能技術不斷改進和發展的快節奏,美國國防部(DoD)制定了一項統一的采用戰略,旨在改善組織環境,使國防部領導和作戰人員能夠通過專業地利用高質量數據、高級分析和人工智能做出快速、明智的決策,從而獲得持久的決策優勢。
在軍事和戰場應用中使用人工智能是一個相對較新的現象,但該技術的有限使用已經使作戰人員受益。在這一雛形中,人工智能主要用于信息收集和處理能力。例如,在篩選大量數據和圖像或監控信息源以獲取有意義的信息方面,人工智能要比人類高效得多。
目前比較重要的應用之一是威脅識別和識別,特別是在空戰中。這可以通過定位單個飛機或飛機類型發出的獨特無線電或雷達信號來實現。在過去,這是一項艱巨的任務,需要各種傳感器運行,并記錄來自許多不同來源和頻率范圍的信息。然后由專家對這些傳感器數據進行分析,以找到并識別與個別飛機或飛機類型相關的各種信號。如今,人工智能系統可以在幾毫秒到幾秒鐘內完成由許多人花費幾十或幾百個小時進行的識別工作。
軍事人工智能應用中使用了幾種不同的硬件組件。
圍繞這些高性能計算資源的位置問題,已經進行了大量的討論和學術研究。有一種觀點認為,將高性能計算組件放置在遠離戰場的中心區域更為合適。另一種觀點則認為,所有計算都應推向邊緣。
在中心位置執行大部分密集型計算,可使設備和組件的數量和類型大大增加。不過,這也使得網絡或 "管道 "成為人工智能應用中更為關鍵的組成部分。
另外,與外部部署的硬件相比,現場部署的邊緣硬件在尺寸上更受限制。邊緣硬件受限于尺寸,而外部硬件則受限于管道的安全性和強度。
人工智能算法和模型: 軍事人工智能應用依靠先進的算法和模型來執行圖像識別、自然語言處理、決策制定和預測分析等任務。
具有大型數據集的模擬/訓練軟件: 為了訓練人工智能系統和模擬各種場景,需要使用專門的軟件平臺,這些平臺可以對軍事環境、戰術和裝備進行逼真的模擬。為了最好地訓練軍事人工智能,這些模擬需要應用海量數據集--數據越多越好。
集成軟件: 軍事人工智能系統需要與現有基礎設施集成,并與其他系統進行無縫、直觀的交互。不能指望戰場上的士兵在軟件平臺中瀏覽具有挑戰性的用戶界面。
在過去幾年中,美國國防部(DoD)一直在通過各種政策和戰略文件戰略性地融入人工智能和機器學習(ML)技術。國防部發布的 "2018 年國防部人工智能戰略 "為發展集中式基礎設施、整合新技術以及在人工智能倫理和安全方面實現國際領先奠定了基礎。隨后的戰略,如 "2020 年國防部數據戰略 "和首席數字與人工智能辦公室(CDAO)的創建,進一步強調了以數據為中心的方法和優化整個國防部人工智能能力的重要性。
2023 年《國防部數據、分析和人工智能采用戰略》中概述的現行指導政策建立在以前政策文件的基礎上,主要側重于速度、敏捷性、學習和責任。該戰略強調權力下放,并在開發人員和最終用戶之間建立緊密的反饋回路,旨在加強國防部內部的決策過程。2023 戰略概述了人工智能的基礎性指導方法,而不是循序漸進的指南。
2023 戰略的關鍵組成部分包括人工智能需求層次(圖 1),該層次優先考慮高質量數據,將其作為具有洞察力的分析和負責任的人工智能開發的基礎。該戰略還推進了對用戶友好型基礎設施的需求,并不斷完善政策和流程,以確保負責任地實施人工智能。
[圖 1 ? 美國國防部人工智能需求等級制度優先考慮高質量數據。圖片由美國國防部提供]。
目前有許多制造商和承包商正在將人工智能應用于軍事領域。這些制造商和承包商既有波音、通用動力、洛克希德-馬丁、雷神和諾斯羅普-格魯曼這樣的老牌大公司,也有 Anduril 這樣的后起之秀。
射手探測系統: 槍手探測系統雖然不是嚴格意義上的軍事應用,但它已發展出一種人工智能集成解決方案,使急救人員能夠準確定位槍聲的位置。該系統使用一系列聲學和紅外閃光探測傳感器,并集成到視頻、門禁和群發通知系統中。傳感器系統收集的數據通過 I/O 模塊直接輸入人工智能驅動的軟件平臺,該平臺可在 0.5 秒內確定是否發生槍聲、何時發生槍聲、確定槍聲的確切位置、通知當局并發送群發通知。
戰術智能瞄準接入節點(TITAN): 戰術情報目標訪問節點(TITAN)是一種可擴展的遠征情報地面站,將加快和簡化陸軍訪問和處理海量情報、監視和偵察(ISR)數據的能力。
從外形上看,TITAN(圖 2)是一個移動數據中心,集成了電力、加熱和冷卻、冗余通信和計算平臺,所有這些都建在一個大型卡車平臺上。車載遠征地面站將利用人工智能提供深度感知能力,從而實現現代戰場的遠程精確射擊。利用人工智能,TITAN 將使用人工智能和 ML 執行數據集成、融合、處理和分析功能,以實現自動化并協助陸軍縮短傳感器到射手的時間線。
[圖2 ? 展示的是TITAN ALPHA工作概念車。圖片來源:Palantir.]
Sealevel Relio R1 Rugged嵌入式計算機是TITAN系統的核心。Relio R1 Rugged 監控 TITAN 的整體健康和性能。這臺小巧的計算機可承載多個軟件應用程序,并解釋來自各種內部傳感器的數據。
將人工智能融入軍事應用是現代戰爭的一大進步,可增強信息處理、威脅識別和決策過程的能力。人工智能技術的發展與強大的技術基礎設施的發展息息相關,其指導原則是 CDAO 等組織制定的戰略舉措和政策框架。雖然人工智能在提高軍事效率方面具有巨大潛力,但它也提出了有關負責任的開發、部署以及自主系統在沖突場景中的影響等重要問題。制造商和開發人員、決策者和作戰人員之間的持續合作對于確保軍事人工智能應用提高作戰能力和負責任地促進全球安全至關重要。
參考來源:Military Embedded
無人駕駛飛行器(UAV)已成為各行各業的變革性技術,為軍事和民用領域的復雜挑戰提供了適應性強的解決方案。通過集成人工智能(AI)和機器學習(ML)算法等尖端計算工具,無人機不斷擴展的能力為進一步發展提供了平臺。這些進步極大地影響了人類生活的方方面面,促進了一個無與倫比的高效便捷時代的到來。大型語言模型(LLM)是人工智能的關鍵組成部分,在部署的環境中表現出卓越的學習和適應能力,展示了一種不斷發展的智能形式,有可能接近人類水平的熟練程度。這項工作探索了將無人飛行器與大型語言模型集成以推動自主系統發展的巨大潛力。我們全面回顧了 LLM 架構,評估了它們與無人機集成的適用性。此外,我們還總結了最先進的基于 LLM 的無人機架構,并確定了將 LLM 嵌入無人機框架的新機遇。值得注意的是,我們側重于利用大型語言模型來完善數據分析和決策過程,特別是在無人機應用中增強光譜傳感和共享。此外,我們還研究了 LLM 集成如何擴展現有無人機應用的范圍,從而在災難響應和網絡恢復等緊急情況下實現自主數據處理、改進決策和加快響應時間。最后,我們強調了未來研究的關鍵領域,這些領域對于促進大型語言模型與無人機的有效整合至關重要。
圖 3:集成 LLM 的無人飛行器的應用。
五十多年來,無人駕駛飛行器(UAVs)因其卓越的自主性、機動性和適應性而成為人們關注的焦點,增強了包括監視[1, 2]、監測[3, 4]、搜索和救援[5]、醫療保健[6]、海上通信[7]和無線網絡供應[8]在內的廣泛應用。這些奠基性成就推動了人工智能(AI)與無人機的結合。特別是在 2010 年代,無人機技術和人工智能的進步達到了一個關鍵時刻,為各種應用帶來了巨大效益。例如,人工智能無人機采用人臉識別和實時視頻分析技術來加強偏遠地區的安全和監控[9, 10, 11]。在農業領域,帶有人工智能模型的無人機可分析作物健康狀況,實現精準耕作,提高資源效率和產量[12, 13]。同時,人工智能驅動的無人機可優化物流路線規劃和庫存管理,簡化倉庫作業并提高交付效率[14, 15, 16]。
在這些進步中,大型語言模型(LLMs)最近獲得了極大關注,因為它們能讓系統從應用行為中學習并優化現有系統[17, 18]。各種采用變換器架構的大型語言模型,如生成式預訓練變換器(GPT)系列[19]、來自變換器的雙向編碼器表示法(BERT)[20]和文本到文本傳輸變換器(T5)[21],都表現出了基本的能力。由于在大型數據集上進行了廣泛的訓練,它們在理解、生成和翻譯類人文本方面表現出色,這使它們在機器人、醫療保健、金融、教育、客戶服務和內容創建等應用領域具有重要價值。此外,這些模型在實時數據處理、自然語言理解和生成、內容推薦、情感分析、自動應答、語言翻譯和內容摘要等方面的熟練程度也為無人機領域創造了機遇。例如,它們能使無人機對動態環境變化和通信需求做出快速反應[22, 23]。它們的自適應學習能力有助于根據接收到的數據不斷改進操作策略,從而加強決策過程[24]。此外,無人機支持多種語言的能力拓寬了其在全球行動中的適用性,對于智能城市、醫療保健、救援行動、應急響應、媒體和娛樂等不同應用領域的無人機通信尤為重要[25, 26, 27]。
近期文獻[28, 29, 30]探討了將大型語言模型納入無人機通信系統,以增強與人類操作員以及無人機之間的互動。傳統上,無人機根據預編程指令運行,動態交互能力有限。然而,集成大型語言模型可以支持自然、直觀的通信方法。例如,大型語言模型可以用自然語言解釋和響應命令,從而簡化無人機控制,并允許處理復雜的實時任務調整。這使無人機在各種應用中成為適應性更強、更實用的工具[31]。大型語言模型可根據通信上下文或環境數據增強無人機的自主決策能力[32, 33]。例如,在搜救行動中,無需人工輸入,大型語言模型就能分析信息和環境數據,確定優先級和行動。在多無人機行動中,大型語言模型可促進更好的通信和協調,管理和優化無人機之間的信息流,提高整體效率和效果。大型語言模型還可以從收集到的大量數據中生成摘要、見解和可行建議,從而提高數據處理和報告能力。此外,大型語言模型經過訓練可識別通信數據中的模式和異常情況,這對于預先防范和解決潛在問題至關重要 [34, 35]。例如,如果無人機發送的數據不一致,大型語言模型可以快速檢測到異常情況并向操作員發出警報。大型語言模型可增強通信協議的可擴展性和適應性,根據新數據或操作變化自動學習和適應新協議,確保無縫通信。利用模擬數據對大型語言模型進行預訓練有助于了解任務條件和要求,從而在任務期間進行實時調整,以實現最佳性能。
將大型語言模型集成到無人機通信系統的潛力激發了這項工作。我們全面分析了以無人機集成為重點的現有 LLM 方法,以突出在擴展當前無人機通信系統能力方面的優勢和局限性。綜述總結了最先進的 LLM 集成架構,探討了將 LLM 納入無人機架構的機會,并討論了與 LLM 集成相關的頻譜感知和共享問題。我們旨在展示大型語言模型如何優化通信、動態適應新任務以及處理復雜數據流,從而提高無人機在應急響應、環境監測、城市規劃和衛星通信等各個領域的效率和多功能性。此外,我們還探討了部署人工智能驅動的無人機所面臨的法律、倫理和技術挑戰,強調負責任和有效的整合,為推進無人機技術以滿足未來需求奠定基礎,并探索人工智能在無人機系統中的創新應用。
本文的貢獻概述如下:
未來有望徹底改變各種領域;因此,最近有幾篇評論文章對這一主題進行了探討。例如,[44, 45, 46]研究了大型語言模型架構,[47, 48, 49, 50]概述了訓練過程、微調、邏輯推理和相關挑戰,以解決其局限性,從而在各領域廣泛采用基于大型語言模型的系統。文獻[36]對基于 LLM 的智能體進行了全面分析,重點關注其構建、應用和評估。這些智能體具備復雜的自然語言理解和生成能力,無需人工干預即可運行。它們以復雜的方式與環境和用戶進行交互,因此需要在社會科學、自然科學和工程學等不同領域整合先進的人工智能技術,以完成交流和解決問題等任務。另一項工作[37]深入研究了基于 LLM 的人工智能體的開發和使用,強調了它們在推進人工通用智能方面的作用。大型語言模型因其語言能力被認為是創建多功能人工智能體的基礎,而語言能力對于各種自主任務至關重要。作者提出了一個基于大腦、感知和行動組件的框架,以提高智能體在復雜環境中的表現。在 [38] 一文中,作者對大型語言模型與人類期望相一致所面臨的挑戰和取得的進展進行了認真研究。通過增強 LLM 匹配的技術解決了誤解指令和有偏差的輸出等問題。研究還探討了數據收集策略、訓練方法和模型評估技術,以提高理解和生成類人響應的性能。另一項研究[39]探討了部署大型語言模型所面臨的挑戰,尤其是在資源緊張的環境下。研究討論了量化、剪枝和知識提煉等模型壓縮技術,以提高效率和適用性。雖然 [40, 41] 研究了大型語言模型面臨的挑戰,包括龐大的數據集管理和高昂的成本,但他們指出了僅靠增加模型規模無法克服的局限性。文獻[30]探討了生成人工智能(GAI)在改善無人機通信、網絡和安全性能方面的應用。文章介紹了一個 GAI 框架,以提高無人機的聯網能力。文獻[22]調查了無人機群在動態環境中面臨的挑戰,討論了各種用于增強協調性和功能性的 GAI 技術。在 [42] 中,作者探討了大型 GenAI 模型通過改進無線傳感和傳輸來增強未來無線網絡的潛力。他們強調了這些模型的好處,包括提高效率、降低培訓要求和改善網絡管理。在另一項研究[43]中,作者調查了大型語言模型在無線通信和網絡中開發高級信號處理算法的應用。他們探索了使用大型語言模型為復雜任務生成硬件描述語言代碼的潛力和挑戰,重點是通過軟件定義無線電進行代碼重構、重用和驗證。這種方法大大提高了生產率,減少了計算挑戰。盡管 [30, 22] 廣泛關注 GAI,但大型語言模型在無人機通信系統中的具體應用仍有待探索。這一空白凸顯了一個有待研究的領域。表 I 總結了現有研究的主要重點和關鍵發現。
本文接下來的內容安排如下。在第二節中,我們概述了大型語言模型,介紹了該領域的基本概念和發展情況。第三節專門探討用于無人機的大型語言模型,我們討論了 LLM 技術在無人機系統中的集成和適應性。第四節重點討論無人機通信中大型語言模型的網絡架構,研究支持無人機網絡中大型語言模型功能的結構設計。第五節討論無人機中大型語言模型的頻譜管理和監管。第六節探討了大型語言模型在無人機通信中的應用和使用案例,概述了這些技術的實際應用和帶來的好處。第七節探討了在實施集成 LLM 的無人機時所面臨的挑戰和需要考慮的因素,討論了潛在的障礙和操作方面的注意事項。第八節專門討論了未來方向和研究機會,提出了在無人機中進一步探索和發展大型語言模型的潛在領域。最后,第九節總結了我們的研究結果,并對我們研究的廣泛意義進行了反思。
由于在各種應用中對集成 LLM 的無人機系統的興趣日益濃厚,最近出現了一些研究成果。例如,在 [68] 中,作者為四旋翼無人機引入了基于視覺的自主規劃系統,以提高安全性。該系統預測動態障礙物的軌跡,并利用 NanoDet 精確檢測障礙物和卡爾曼濾波精確估計運動,生成更安全的飛行路徑。此外,該系統還采用了 GPT-3 和 ChatGPT 等大型語言模型,以促進更直觀的人機交互。這些大型語言模型實現了自然語言處理(NLP)過程,使用戶能夠通過簡單的語言指令控制無人機,而無需復雜的編程知識。它們將用戶指令轉化為可執行代碼,使無人機能夠以自然語言執行任務并提供反饋,從而簡化了控制過程。無人機可以以臨時和網狀方式運行,形成動態網絡,而無需依賴已有的基礎設施。因此,當建立永久性網絡基礎設施不切實際時,如災難響應、軍事行動或環境監測,無人機就顯得尤為重要。ad-hoc 和網狀網絡都增強了無人機在自動移動過程中配置和保持連接的能力。它們不斷發現新的鄰居,并能根據網絡的拓撲結構和流量條件調整路由,從而提高了可擴展性和靈活性[69]。將大型語言模型集成到無人機通信中,可增強無人機了解網絡狀況并根據網絡特性生成見解的能力,從而突出其適應性和響應能力,以快速適應不斷變化的環境條件和操作需求。大型語言模型還有助于無人機了解網絡流量模式,以便推薦減少延遲和提高吞吐量的自適應協議,特別是在這些網絡中常見的多變條件下。它們還有助于模擬或建模各種情況下的網絡行為,幫助無人機部署的規劃和決策過程。因此,加入 LLM 可以加強數據分析,提高無人機之間的數據交換效率。大型語言模型具有處理和學習海量數據的能力,可使無人機在路線規劃、數據轉發和網絡配置方面做出明智的決策。例如,針對無人機故障或環境障礙,大型語言模型可以迅速計算出替代路線或重新配置網絡,以維持連接性和性能。此外,大型語言模型通過為無人機配備先進的認知能力,使無人機能夠理解和執行復雜的指令,并與人類操作員或其他自主系統進行更自然的交互,從而提高無人機的自主水平。
此外,大型語言模型還能分析無人機的數據(如運行日志和遙測數據),在潛在故障或維護需求發生之前對其進行預測。這種預測能力可大大提高無人機的可靠性和使用壽命,減少停機時間和維護成本。安全性也是分散式 ad-hoc 網絡最關心的問題;大型語言模型可通過模式識別和異常檢測識別潛在威脅,并模擬攻擊場景以制定更強大的安全措施,從而增強安全協議。大型語言模型還能優化無人機網絡內帶寬和電力等關鍵資源的分配。大型語言模型通過了解和預測網絡需求來動態分配資源,從而最大限度地提高效率,延長無人機的運行時間。它們改善了人類操作員與無人機網絡之間的界面,提供更直觀的控制和反饋系統,包括生成網絡狀態自然語言報告,或將復雜的網絡數據轉化為決策者可操作的見解。此外,大型語言模型還能解決特設網絡固有的可擴展性難題。當無人機數量發生變化時,它們會動態調整網絡協議和配置,確保網絡無論規模大小都能保持穩定高效。通過集成 LLM 功能,無人機 ad-hoc 網絡可以變得更加智能、反應靈敏和高效,從而顯著提高其在各種應用中的有效性。
本節將詳細介紹不同的大型語言模型,并討論它們為基于無人機的通信系統帶來的機遇。
如上一節所述,BERT 是 NLP 領域頗具影響力的模型,由谷歌研究人員開發,于 2018 年發布[20]。BERT 的開發代表了 NLP 領域的一個轉折點,通過充分利用每個單詞周圍的上下文,為機器處理和理解人類語言提供了一種更加細致有效的方法。BERT 采用預訓練和微調階段。在預訓練階段,模型在大型文本語料庫中進行訓練,這些任務旨在幫助模型學習一般語言模式。這些任務包括預測句子中的屏蔽詞(即屏蔽語言模型 (MLM))和預測兩個句子在邏輯上是否相互銜接(即下一句預測 (NSP))。在預訓練之后,BERT 會根據特定任務(如問題解答或情感分析)的需要,使用額外的數據進行微調 [70, 71]。
BERT 的引入大大提升了 NLP 任務的技術水平。在命名實體識別[72, 73]、情感分析[74, 75],特別是問題解答和自然語言推理等任務的排行榜上,BERT 的性能有了明顯的提高,在這些任務中,來自兩個方向的全句子上下文對于理解微妙之處至關重要。此外,BERT 還激發了許多變化和改進,從而開發出了不同的模型,如魯棒性優化 BERT 方法(RoBERTa)[76]、來自變換器的精餾雙向編碼器表示(DistilBERT)[77]和精簡 BERT(ALBERT)[78],這些模型使用 BERT 的原始架構和訓練程序來優化其他因素,如訓練速度、模型大小或增強性能。
整合 BERT 可顯著提高無人機在各個領域的性能。例如,在應急響應場景中,BERT 可以幫助無人機理解災害管理團隊發出的復雜的自然語言指令。此外,BERT 還能解釋和總結來自無人機傳感器和報告的信息,這在需要快速總結大量視頻數據的監控任務中尤為重要。此外,BERT 還能快速分析和解讀來自多個來源的數據,從而及時做出明智的決策,這在環境監測中對評估森林火災或污染等情況至關重要。此外,BERT 還能熟練地解析和理解指令,確保多架無人機之間的精確協調,這對于在具有挑戰性的環境中運送物資的復雜物流操作至關重要。最近,在文獻[79]中,作者介紹了一種創新的端到端基于語言模型的細粒度地址解析框架(LMAR),該框架明確設計用于增強無人機交付系統。傳統的地址解析系統主要依賴于用戶提供的興趣點(POI)信息,往往缺乏準確交付所需的精度。為了解決這個問題,LMAR 采用語言模型來處理和完善用戶輸入的文本數據,改進了數據處理和正則化,提高了無人機投遞的準確性和效率。在另一項研究成果[80, 81]中,作者為無人機開發了增強型安全和取證分析協議,以支持各行各業無人機使用量的增加,包括那些容易被犯罪分子濫用的領域。他們引入了一個命名實體識別系統,從無人機飛行日志中提取信息。該系統利用帶有注釋數據的微調 BERT 和 DistilBERT 模型,大大提高了對無人機相關事件取證調查至關重要的相關實體的識別率。文獻[82]的作者側重于通過從大規模非結構化無人機數據中構建標準化知識圖譜,提高無人機在智能戰爭中的目標識別能力。作者引入了一個兩階段知識提取模型,并集成了 BERT 預訓練語言模型來生成字符特征編碼,從而提高了未來無人機系統信息提取的效率和準確性。
OpenAI 開發的 GPT 系列代表了大型語言模型在設計和功能上的重大演進,可增強文本生成、翻譯、摘要和問題解答等各種自然語言處理任務[83]。第一個架構 GPT-1 于 2018 年 6 月推出,它基于轉換器模型,使用了轉換器架構的解碼器塊堆疊。GPT-1 使用 BooksCorpus 數據集進行了語言建模任務(預測句子中的下一個單詞)的預訓練,該數據集包含 7000 多本獨特的未出版書籍(總計約 8 億個單詞)。經過初步預訓練后,監督學習針對特定任務進行了微調 [19, 83]。
GPT-2 于 2019 年 2 月發布,在其前身的基礎上進行了大幅擴展,最大版本具有多達 48 層,1600 個隱藏單元,48 個注意頭,15 億個參數[84]。GPT-2 使用了一個 WebText 數據集,該數據集是通過搜索從 Reddit 上至少有三個向上投票的帖子中鏈接出來的網頁而創建的。這產生了一個約 40GB 文本數據的多樣化數據集。GPT-2 繼續使用無監督學習方法,僅利用語言建模進行預訓練,而不針對具體任務進行微調。這證明了該模型從語言理解到特定任務的泛化能力[85]。2020 年 6 月發布的 GPT-3 是有史以來最大的人工智能語言模型之一,擁有 1750 億個參數。它包括 96 層,有 12 288 個隱藏單元和 96 個注意頭[86]。它是在一個更加廣泛和多樣化的數據集上訓練的,包括授權數據、人類訓練者創建的數據和公開數據的混合,規模遠遠大于 GPT-2。GPT-2 和 GPT-3 使用無監督學習模型,展示了從大型數據集學習的卓越能力[87]。GPT-4 建立在先進的變壓器式架構上,與前代產品 GPT-2 和 GPT-3 相比,在規模和復雜性上都有顯著提升。該模型利用 “人的反饋強化學習 ”進行了微調,并采用了公開的互聯網數據和第三方提供商授權的數據。不過,與架構有關的具體細節,如模型大小、硬件規格、用于訓練的計算資源、數據集構建和訓練方法等,尚未公開披露[88]。
無人機中的 GPT 系列代表了人工智能與無人機技術的創新交叉,可在從增強型控制系統到完全自主的任務執行等廣泛領域增強無人機的功能、自主性和交互能力 [89,90]。例如,GPT 系列集成可使無人機熟練地執行以普通語言提供的指令。例如,操作員發出在特定坐標處檢查橋梁狀況的指令后,無人機就會設計出飛行路徑,并執行橋梁檢查的所有必要步驟,而無需對每個步驟進行人工輸入。同樣,它還可以根據飛行期間收集的數據生成詳細報告,將這些模型與無人機的傳感器和數據收集系統集成后,可以自動生成文字說明,突出強調任務結果和檢測到的異常情況等各個方面[91]。因此,人類操作員無需查看大量原始數據,就能更容易地理解無人機觀察到的情況。例如,Tazir 等人在文獻[89]中將 LLM 系統 OpenAI 的 GPT-3.5-Turbo 與無人機模擬系統(即 PX4/Gazebo 模擬器)集成,創建了基于自然語言的無人機控制系統。系統架構的設計目的是通過基于 Python 的中間件提供的聊天機器人界面,實現用戶與無人機模擬器之間的無縫交互。Python 中間件是核心組件,負責在聊天機器人(GPT-3.5-Turbo)和 PX4/Gazebo 模擬器之間建立通信渠道。它處理來自用戶的自然語言輸入,使用 OpenAI API 將這些輸入轉發給 ChatGPT 模型,檢索生成的響應,并將其轉換為模擬器可以理解的命令。ChatGPT 通過 PX4 命令和解釋提供指導和支持,從而增強了無人機模擬系統的交互性和可訪問性。它還通過復雜的人工智能驅動界面促進無人機的控制和管理。在另一項工作[92]中,作者將先進的 GPT 模型和密集字幕技術集成到自主無人機中,以增強其在室內檢測環境中的功能。所提出的系統使無人機能夠像人類一樣理解和響應自然語言命令,從而提高了無人機的可及性,使沒有高級技術技能的操作人員也能輕松使用無人機。無人機的密集字幕模型通過分析飛行過程中捕獲的圖像來生成詳細的對象字典,從而促進這種類似人類的交互。這些字典使無人機能夠識別和理解環境中的各種元素,并根據預期和意外情況動態調整其行為,從而提高無人機在各種環境條件和應用中進行室內檢測的效率和準確性。
此外,在需要快速決策的動態或復雜環境中,GPT 系列可以通過處理實時數據和通信提供幫助,根據數據提供建議或自動決策。例如,搜救行動可以分析來自多個無人機的實時視頻饋送和文本報告,綜合信息,并建議重點關注的區域或調整搜索模式 [29]。通過建立一個分散的蜂群智能系統,無人機可以共享信息并做出群體決策,從而在增強無人機之間的協作通信方面發揮重要作用。例如,無人機可以使用自然語言相互報告狀態和發現,根據共同目標協調行動,并在群組之間優化任務分配,而無需持續的人工干預[93]。GPT 系列還能模擬各種通信場景,通過生成逼真的任務場景和響應,為無人機的培訓提供有力的培訓,使操作員能夠處理不同的情況,從而提高他們在實際操作中的響應能力[91]。
谷歌于 2019 年 10 月推出了 T5 模型,并采用了一種新穎、精簡的方法來處理各種 NLP 任務,將其重構為文本到文本問題 [94]。傳統模型需要針對不同任務采用不同的架構,并產生不同的輸出,而 T5 模型則不同,它將所有任務的輸入和輸出標準化[95]。每個 NLP 任務(如翻譯、摘要、問題解答或文本分類)都被視為從給定文本生成新文本。因此,T5 對所有任務都采用了統一的模型架構。這種簡化簡化了模型訓練和部署流程,因為只需對架構進行最小的修改,就能在多個任務中訓練相同的模型[21]。例如,在翻譯任務中,輸入是英文文本,輸出是法文文本,兩者都只被視為單詞序列。T5 以自我監督的方式在大量文本語料庫上進行預訓練,主要使用與 BERT 類似的掩蔽語言模型任務的變體。這種預訓練使模型能夠有效地理解和生成自然語言。之后,通過調整訓練數據以適應文本到文本格式,T5 可在特定任務中進行微調。T5 的多功能性使其適用于廣泛的應用,包括語言翻譯、文檔摘要和情感分析(通過生成描述性標簽來解釋文本情感)。它還能生成適當的文本答案,在問題解答方面表現出色[96]。
無人機可以集成 T5 框架,以提高無人機操作的效率。與 GPT 和 BERT 類似,T5 也能改進無人機的命令解釋和響應生成,將操作員用自然語言發出的復雜命令解釋并轉換為無人機的可執行指令。T5 還能根據無人機收集的數據生成全面的任務報告,包括總結主要發現、突出異常現象和描述勘測區域,以用于環境監測或災害響應應用。此外,T5 還能通過處理來自無人機傳感器和攝像頭的數據流執行實時操作,提供即時、可操作的見解。例如,在搜救行動中,T5 可以快速匯總視覺和傳感器數據,以描述潛在的關注區域或危險,幫助更有效地指導救援工作。與此同時,T5 還能解釋來自一個無人機的信息,并為其他無人機生成適當的響應或命令,從而顯著提高無人機協同任務的性能,促進各種應用領域的無縫團隊合作,包括管理飛行模式、避免碰撞或協調區域監控的時間安排等。
T5 輔助無人機通信還能實現自動故障排除和反饋,例如,如果無人機在運行過程中遇到問題或異常情況,它可以通過解釋錯誤信息或傳感器數據并以自然語言生成故障排除步驟或建議來提供幫助。這還可以擴展到向操作員提供有關任務進展的實時反饋,或提出調整建議以提高運行效率。此外,T5 還能根據歷史數據或潛在的未來情況生成模擬任務場景和對話,用于培訓目的。
XLNet 是一種先進的 NLP 模型,由谷歌和卡內基梅隆大學的研究人員聯合開發[62]。BERT 采用的是 MLM 方法(即隨機屏蔽和預測句子中的某些單詞),而 XLNet 采用的是基于排列的訓練策略。這種方法在訓練過程中考慮了句子中所有可能的單詞排列,使模型能夠根據前后其他單詞提供的所有潛在語境預測目標單詞。這種方法大大提高了語境理解的靈活性和深度。此外,與 BERT 不同的是,基于排列的訓練使 XLNet 能夠捕捉到更豐富的語言上下文理解,而 BERT 只專注于預測屏蔽詞,可能會遺漏上下文的細微差別 [97,98]。
此外,XLNet 在訓練過程中不依賴單詞屏蔽,從而避免了 BERT 在預訓練和微調階段之間的差異,使不同操作階段的行為更加一致。XLNet 還融合了自回歸語言建模(如 GPT 系列)和自動編碼(如 BERT)的策略,在不遵守固定序列順序的情況下進行自回歸訓練。相反,它根據不同的排列組合來預測單詞,從而增強了其理解和生成能力[99]。因此,XLNet 通過有效利用完整的句子結構實現更深入、更準確的上下文理解,在包括問題解答、自然語言推理和文檔排序在內的多項 NLP 任務中表現出卓越的性能[100, 101, 102]。
由于 XLNet 采用了復雜的語言處理過程,因此將其集成到無人機中可提供獨特的優勢 [103, 104]。XLNet 基于置換的訓練可實現對上下文更細致、更全面的理解,這使其在解釋上下文可能變化很大的復雜指令或環境數據時尤為有效。例如,在搜救任務中,作戰環境復雜多變,XLNet 可以實時對上下文繁重的指令進行更可靠的解釋。同樣,由于 XLNet 考慮了輸入數據的所有排列組合,因此在應對現實世界無人機任務中常見的噪聲或不完整輸入時更具魯棒性。在通信可能中斷或不完整的戰斗或災難響應場景中,這一功能尤其有益。XLNet 根據上下文預測缺失信息的能力可以保持無人機操作的有效性。
百度研究院于 2019 年 6 月推出 ERNIE,將世界知識整合到預訓練的語言模型中[58]。它將結構化的世界知識整合到語言模型的訓練中,是語言理解領域的一次重大進化。與依賴大量文本數據來學習語言模式的傳統模型不同,ERNIE 通過將知識圖譜納入訓練過程來增強這些模型。知識圖譜是存儲世界信息的結構化數據庫,機器可以通過包含實體(如人、地點和事物)及其關系來理解和處理。
ERNIE 可在傳統文本語料庫和知識圖譜上進行訓練。通過知識圖譜,ERNIE 可以理解和表示與各種實體相關的復雜關系和屬性[105]。這種訓練包括兩個關鍵部分:文本數據和知識集成。文本數據與 BERT 或 GPT 等其他模型類似,ERNIE 通過處理這些海量文本來學習語言的句法和語義模式。同時,知識整合組件使 ERNIE 能夠同時從知識圖譜中學習,吸收現實世界實體及其相互關系的結構化信息。因此,這一過程使 ERNIE 能夠從線性文本和涉及現實世界事實和關系的多維角度理解上下文。整合知識圖譜能讓 ERNIE 更深入地理解語言語義,因為它能將單詞和短語與現實世界的實體及其屬性聯系起來。這種能力使它能更好地完成需要細微理解的任務,如問題解答和命名實體識別 [106,107]。
此外,ERNIE 利用外部知識的能力有助于它提供與上下文相適應的回答或分析,尤其是在特定主題的背景知識至關重要的情況下。它還能更好地處理語言中的歧義,因為來自知識圖譜的附加數據能根據相關實體的更廣泛的上下文,澄清可能混淆或不清楚的文本[108]。ERNIE 的應用范圍廣泛,影響深遠,尤其是在需要深入理解和上下文意識的領域。例如,ERNIE 可利用其集成知識庫來回答需要理解文本之外的復雜問題,如歷史事實或有關人物或地點的具體細節。ERNIE還能理解查詢中與所學知識有關的深層含義,提供更相關、更精確的答案,從而提高語義搜索引擎的性能。
ERNIE具有將知識圖譜中的結構化世界知識與文本數據整合在一起的獨特能力,這將大大有利于無人機通信。例如,與傳統的語言模型相比,ERNIE 可以更有效地解釋操作員發出的復雜的、與上下文相關的命令。例如,如果操作員發出的命令涉及地理或操作術語,ERNIE 對知識圖譜的整合使其能夠更準確地理解和執行命令。在陌生地區執行復雜任務時,這一點至關重要,因為在這種情況下,對當地地理和術語的準確理解十分必要。ERNIE 還展示了基于環境數據和任務目標的有效自主決策能力,因為它可以同時處理當前任務數據和綜合知識,從而做出明智的決策。例如,在環境監測中,ERNIE 可根據其對環境科學的廣泛了解,識別地貌中的具體特征或異常現象,從而幫助進行更有效的數據收集和分析。
在搜救或災難響應等關鍵任務中,ERNIE 還表現出較高的實時態勢感知屬性,可應用其語義理解能力,根據其知識圖譜解釋實時數據輸入(如視覺或傳感器數據)。這有助于快速識別相關實體或情況,例如識別歷史上已知的危險區域或解讀遙感數據中的人類活動跡象。在多無人機場景中,ERNIE 可通過理解和管理無人機之間的信息交流,促進更好的溝通和協調。它可以根據與任務目標相關的相關性和緊迫性對通信進行解釋和優先排序,利用其語義理解能力確保無人機和諧運行。
此外,在培訓目的方面,ERNIE 可以生成背景豐富的模擬場景,將真實世界的知識納入培訓練習,幫助更好地理解如何在復雜場景中與無人機互動,加強他們對真實世界行動的準備。與其他大型語言模型類似,任務完成后,ERNIE 可協助生成詳細的事件報告和匯報,其中包括觀察數據和基于綜合知識的背景見解,以便對任務結果進行語義分析。因此,ERNIE 通過利用其整合和利用廣泛的知識圖譜以及文本數據的能力,可以顯著增強無人機通信系統的能力,使其在復雜的作戰環境中更加智能、反應更快和更有效。這使得ERNIE對于先進的無人機應用特別有價值,因為傳統的語言模型可能無法理解和處理復雜的上下文信息。
Facebook 開發的 BART 在變換器框架內結合了自動編碼和自動回歸技術的優勢,使其在處理序列到序列任務時異常有效[109]。BERT 主要用于理解和預測同一輸入文本中的元素,而 BART 則不同,它針對需要生成或轉換文本的任務進行了優化。它的訓練方法是用各種噪聲函數對文本進行破壞,如標記屏蔽、文本填充,并學習如何重建原始文本 [110, 70]。BART 的訓練使其具備了處理各種應用的能力,包括文本摘要(可生成較長文檔的簡明版本)和文本生成(適用于創建內容或生成對話)。此外,BART 的功能還擴展到機器翻譯和數據增強,使其成為將輸入文本轉化為連貫且與上下文相適應的輸出序列的多功能工具 [111]。
將 BART 集成到無人機中具有多種優勢,特別是在涉及復雜文本處理和生成的任務中。例如,BART 可以加強任務報告的編寫和解釋,從大量監視數據或傳感器讀數中自動生成簡明摘要,從而有助于更快地做出決策和通報情況。BART 還善于生成連貫的文本序列,用于自動回復或指示無人機操作員,特別是在需要快速準確通信的場景中。
此外,BART 還能在搜救行動中改進實時策略調整,以解讀傳入的數據,并根據不斷變化的情況提供最新的任務目標或方向。它還能將嘈雜、不完整的文本數據轉化為可理解的信息,因此在無人機操作的動態和挑戰性環境中特別有價值,可確保通信在復雜的情況下仍保持清晰和上下文相關。
對用于無人機的不同大型語言模型(即 BERT、GPT、T5、XLNet、ERNIE 和 BART)進行比較后發現,它們具有針對無人機操作各個方面的獨特能力,反映了各自獨特的架構和訓練方法。例如,BERT 擅長從單詞的兩個方向理解上下文,因此在解釋復雜命令和從任務數據中提取相關信息方面非常有效。它特別適用于對傳感器數據或操作指令的精確理解至關重要的任務,例如在監視或監測任務中,深入的上下文知識至關重要。相比之下,GPT 擅長生成連貫、擴展的文本輸出,有利于創建詳細的任務報告或進行對話。這種模式非常適合需要敘述式更新或交互式通信以生成操作日志或匯報報告的無人機模擬訓練。
而 T5 具有很高的通用性,可將任何基于文本的任務轉換為文本到文本的格式,簡化了各種類型通信的處理過程。事實證明,它在無人機通信任務中非常有效,如翻譯不同語言或協議之間的通信、匯總大量勘探數據以及將原始傳感器輸出轉換為可操作的文本格式。另一方面,XLNet 采用基于置換的訓練方法,對語言上下文的理解比 BERT 更靈活、更全面。這種模型有助于復雜、動態的操作環境,如搜索、救援和災難響應,在這些環境中,實時解釋和響應上下文繁重的指令至關重要。
同樣,ERNIE 通過知識圖譜整合外部知識,增強了對語言的語義理解,非常適合需要深入理解特定術語或概念的任務,如涉及特定生態數據的環境監測應用。雖然 BART 在自動編碼和自動回歸模型的優勢方面有所折損,但它在理解和生成文本方面表現出色。它非常適合用于編寫精確、上下文準確的任務報告或總結詳細監測數據的說明,在這種情況下,保持信息的完整性和簡潔的表達方式至關重要。
因此,總而言之,BERT 和 XLNet 憑借對上下文的深刻理解,在理解指令方面非常有效,而 XLNet 則在動態環境中提供了額外的靈活性。同時,GPT 和 BART 擅長創建連貫、廣泛的文本,其中 BART 在文本轉換任務中提供了額外的功能。T5 在文本轉換任務中具有廣泛的適用性,可滿足各種通信需求。ERNIE 在整合專業知識對準確操作和決策至關重要的應用場景中表現突出。因此,可以根據無人機任務的具體要求納入每種模型,以確保通信保持有效和高效,適應無人機操作的復雜性和挑戰。表 II 重點介紹了各種 LLM 模型,包括其主要特點、在無人機領域的應用以及集成到無人機系統中的挑戰。
將大型語言模型與無人機集成,需要部署先進的語言處理能力,以實現復雜的決策和交互能力。無人機平臺由基本硬件組成,包括配備飛行控制硬件的無人機本身、攝像頭和激光雷達等傳感器以及 Wi-Fi、LTE 和衛星等通信模塊。它還包括用于實時數據處理過程的小型機載計算機。在大型語言模型集成中,輕量級版本的大型語言模型直接部署在無人機上,通過邊緣人工智能實現快速自主決策。對于更復雜的計算,無人機數據被傳輸到云服務器,由更強大的大型語言模型進行分析,然后將結果發回無人機。地面控制站為這些操作提供支持,使操作員能夠通過直接視距或衛星通信遠程監視和控制無人機,并使用安全數據鏈路進行數據傳輸。該系統的運行涉及幾個關鍵功能。無人機通過機載傳感器收集數據,捕捉視覺圖像、環境數據或與其任務相關的特定讀數。這些數據要么在本地處理,要么發送到地面站或云服務器,具體取決于任務的復雜程度和機載處理單元的能力。無人機上的嵌入式 LLM 處理簡單任務的數據過程,以做出實時決策。對于更復雜的決策,數據會被發送到云端,由功能強大的大型語言模型對其進行分析,做出決策或產生見解,然后再傳輸回無人機。根據這些經過處理的數據和大型語言模型做出的決策,無人機執行各種行動,如優化飛行路徑、與環境互動,或執行特定任務,如投遞、監視或數據收集。反饋和學習是該系統不可或缺的一部分,任務中的數據被用來重新訓練或完善大型語言模型,提高其準確性和決策能力。這種持續的反饋回路有助于模型適應特定的環境,以實現最佳的任務性能。因此,大型語言模型與無人飛行器的集成為無人飛行器的操作提供了重大改進,為提高能力和效率開辟了廣闊的前景。
圖 2 展示了與 LLM 集成的無人機系統的綜合架構,其中無人機從傳感器收集數據。這些數據包括文本、音頻和視頻等各種類型,被輸入到集成式 LLM 架構中。LLM 處理這些數據,并將結果輸出到決策層,然后由決策層向飛行控制器、傳感器系統、能源系統和有效載荷管理系統等運行組件發出指令。
圖 2:LLM 集成無人機系統的綜合架構。
此外,地面控制和基站是無人機運營基礎設施的關鍵要素,作為指揮和控制中心,它們負責處理從飛行授權和監控到數據處理和部署管理等一切事務。將大型語言模型與地面控制和基站集成在一起,可大大增強無人機的管理和操作。例如,大型語言模型可通過解釋和處理自然語言命令或查詢,顯著改善無人機與其控制站之間的通信。它能讓操作員更直觀地與無人機互動,使復雜的命令更容易執行,并減少人為錯誤的可能性。
大型語言模型可以處理地面控制站從無人機接收到的實時數據,就飛行路徑、任務調整和應對不斷變化的環境條件做出即時決策。大型語言模型還能以比人類快得多的速度分析海量數據,提供重要見解,從而快速做出決策,優化無人機操作,確保任務成功。此外,大型語言模型還能利用歷史和實時數據,在機械故障、電池耗盡或惡劣天氣條件等潛在問題出現之前進行預測。這種預測能力可確保提前采取預防措施,提高無人機運行的安全性和可靠性。
此外,大型語言模型還能自動執行飛行調度、無人機狀態監控和數據收集管理等常規任務,從而提高復雜決策和運營戰略的效率。大型語言模型還能自動對數據進行分類、提取相關信息并生成綜合報告,從而大大有助于改進數據處理和分析。此外,它們還能分析圖像和傳感器數據,以識別模式或異常情況,從而為監視、環境監測和基礎設施檢查等任務提供幫助。大型語言模型可以根據積累的數據創建詳細的模擬和訓練場景,為操作員提供逼真多樣的訓練體驗,提高無人機操作員的技能,確保他們為復雜的作戰場景做好更充分的準備。
此外,集成到地面站和基站的大型語言模型具有先進的模式識別能力,可以加強安全協議。它們可以檢測潛在的網絡威脅和未經授權的訪問嘗試,確保無人機操作免受數字入侵。此外,大型語言模型還能根據任務要求預測可用無人機和支持設備的最佳使用情況,從而優化資源分配。大型語言模型還能促進無人機操作中使用的系統和軟件之間更好的互操作性,通過充當理解和轉換各種數據格式和協議的橋梁,確保不同平臺之間的無縫集成和通信。這樣,無人機任務就能實現高效管理、卓越的決策支持、更高的安全性和有效性。大型語言模型的這種廣泛應用為其有針對性地用于增強頻譜傳感能力奠定了基礎。
此外,鑒于頻譜傳感在確保無人機有效射頻(RF)通信方面的關鍵作用,尤其是在復雜或擁堵的環境中,大型語言模型的集成證明是非常有益的,可以通過復雜的數據處理技術顯著增強無人機的頻譜傳感能力。這種集成加深了對動態射頻條件的理解,這些條件在共享頻率或高干擾水平的區域十分普遍,無人機系統能夠智能地識別和利用最佳頻段。這種能力大大提高了無人機通信網絡的可靠性和效率,這對于在射頻密集的環境中保持穩健的鏈路和確保成功執行無人機操作至關重要,而傳統方法可能會失敗。因此,本調查報告強調了在頻譜傳感中集成 LLM 的關鍵需求,并在隨后的章節中深入探討了其機遇和挑戰。
無人機依賴射頻通信完成各種任務,包括遙控、遙測、數據傳輸以及與地面站的連接。頻譜感知是一項關鍵技術,可增強無人機的射頻通信能力,使無人機能夠識別和利用對其任務至關重要的適當頻率范圍。此外,在無人機共享頻段或遇到快速變化的射頻條件的環境中,這一點尤為重要[112, 113]。因此,通過準確感知頻譜,無人機可動態調整其通信參數,如信道選擇和功率控制,以防止干擾主用戶并優化其通信性能 [114]。此外,頻譜感知還可提高無人機的運行效率,使無人機能夠就頻段選擇做出明智決策,從而確保有效利用可用頻譜資源,并將干擾現有無線系統的風險降至最低 [115,116]。
此外,頻譜傳感在實現認知無線電功能[117, 112]、動態頻譜接入[118]、避免干擾[117]和確保無人機通信系統符合法規要求[119]方面也發揮著重要作用。例如,認知無線電允許無人機系統根據實時頻譜感知結果自適應地選擇和切換不同的頻率信道或頻段,使無人機能夠找到并利用最合適、最不擁堵和無干擾的頻段進行可靠高效的通信[120]。動態頻譜接入允許無人機訪問可用頻譜資源,動態確保無人機在優化通信鏈路的同時避免干擾現有用戶。此外,頻譜傳感還能增強無人機檢測附近是否存在其他射頻設備或系統的能力,從而促進共存和避免干擾。如果檢測到干擾或潛在沖突,無人機可自主或半自主地改變工作頻率或調整通信協議以避免干擾[121]。
世界各地的監管機構,如美國聯邦通信委員會(FCC),都制定了頻譜使用指南,以確保公平使用,并防止包括無人機在內的各種技術和服務之間發生沖突。這些指導方針指定了無人機使用的特定頻段,以避免與商業、住宅和應急通信發生沖突,從而在無人機服務日益增長的需求與傳統頻譜用戶的需求之間取得平衡。這些機構制定了動態頻譜訪問規則,特別是在無人機與其他設備共享頻譜的頻段。該框架涉及協議和技術,使無人機能夠在不干擾現有用戶的情況下檢測和利用空閑頻率。遵守這些框架對于合法、高效地運營無人機至關重要。
為確保合規,無人機運營商必須考慮幾個關鍵方面。例如,無人飛行器必須配備先進的頻譜傳感技術,能夠可靠地識別可用和被占用的信道,防止未經授權使用被占用的頻率。無人飛行器在運行時還必須盡量減少對其他頻譜用戶的干擾,遵守功率限制、頻率邊界以及旨在降低信號干擾風險的操作協議[122]。此外,有必要實施軟件解決方案,幫助管理頻譜使用,確保遵守當地和國際法規,實現頻譜管理諸多方面的自動化,減輕無人機運營商的負擔,降低違規風險。
最近的研究極大地推動了無人機操作中的頻譜感知和共享應用,重點關注提高通信效率和減少干擾的幾個關鍵方向。Shen 等人[123]介紹了一種三維時空傳感方法,利用無人機的移動性在異構環境中進行動態頻譜機會檢測。文獻[124]和[125, 126]中的作者開發了在認知無線電系統中優化頻譜感知和共享的方法,通過管理與地面鏈路的干擾來提高無人機的通信性能。Chen 等人[127]的研究重點是無人機集群之間的頻譜接入管理,以減少干擾;Xu 等人[128]的研究重點是無人機中繼系統中的發射功率分配和軌跡規劃,以實現設備之間的有效數據中繼。
在另一項研究[129]中,Qiu 等人利用區塊鏈技術確保地面和空中系統之間頻譜交易的隱私和效率。Hu 等人[130] 重點研究了利用契約理論平衡宏基站和無人機運營商利益的頻譜分配策略。Azari 等人[131] 比較了人口稠密城市場景中的底層和疊加頻譜共享機制,強調了疊加策略在保持無人機和地面用戶服務質量方面的有效性。雖然無人機的頻譜感知和共享技術取得了重大進展,但現有研究尚未廣泛探討大型語言模型的集成問題。整合大型語言模型可通過增強頻譜感知能力,實現更動態、更高效地使用通信頻率,從而徹底改變無人機領域[132]。大型語言模型可以解釋和分析無人機上頻譜傳感器產生的大量數據。憑借先進的自然語言處理能力,它們可以從非結構化數據中提取有意義的見解,促進實時智能決策。大型語言模型還能通過分析歷史數據和當前通信模式,預測頻譜可用性和潛在干擾。因此,無人機可以主動調整其通信參數,如信道選擇和功率水平,以保持最佳性能。
此外,大型語言模型可以處理傳感器數據,并識別表明潛在頻率沖突或擁堵區域的模式。然后,無人機可自主進行調整以避免這些問題,從而提高運行效率并降低通信故障風險。此外,大型語言模型還可以通過對頻譜條件和用戶行為進行更深入的分析,協助在頻率選擇方面做出更明智的選擇,從而為認知無線電的增強做出貢獻。這種整合增強了無人機選擇最不擁堵和最有效信道的能力。LLM 的持續學習和適應能力還能優化無人機的頻譜訪問策略,確保無人機根據實時數據和復雜算法利用最佳可用頻率。大型語言模型還可以通過持續監測合規參數和適應法規變化,確保無人機在合法的頻譜分配范圍內運行。大型語言模型還可以通過分析通信模式和環境數據,為干擾管理和遵守監管框架做出重大貢獻。大型語言模型可以更準確地檢測潛在干擾源,并建議立即采取糾正措施加以避免。
大型語言模型具有先進的認知和分析能力,可顯著提高無人機監視系統的效率、準確性和有效性[2]。集成 LLM 后,無人機可以更高效地處理和分析大量視覺數據,實現實時圖像識別、目標檢測和態勢感知。大型語言模型在識別視頻流或圖像中的特定物體、個人、車輛或活動方面表現出色,可提供對軍事和民用監控行動至關重要的詳細見解。它還能使無人機更加自主地進行操作,在沒有人類持續監督的情況下對周圍環境進行解讀并做出反應,在反應時間緊迫的復雜或敵對環境中大顯身手。
此外,配備大型語言模型的無人機可以根據任務目標和不斷變化的地面實際情況,實時決定飛行路線、重點區域以及何時捕捉關鍵鏡頭。NLP 可讓無人機理解和處理人類語言,使其能夠接收和解釋更復雜的命令和查詢。此外,大型語言模型還能通過分析模式和歷史數據來預測潛在的安全威脅或興趣點。這種預測能力允許采取主動監視措施,無人機可以更密切地監視可疑區域,或提醒人類操作員注意根據所學模式檢測到的異常活動或異常點。它還可以通過將大量收集到的數據匯總為可操作的情報,在飛行過程中處理和分析數據,從而加強實時決策支持。在條件瞬息萬變的監視和偵察任務中,它能做出快速、明智的決策[133]。
大型語言模型與無人機結合用于應急響應和災害管理,可大大提高應急行動的效率、準確性和有效性。大型語言模型可快速分析無人機收集的圖像和傳感器數據,在災害發生后立即評估受損程度,包括識別受阻道路、受損建筑和洪水區域 [134]。由于能夠實時了解態勢,配備了 LLM 的無人機可幫助應急人員確定需要緊急關注的區域的優先次序,并規劃最有效的應對措施 [135]。
在執行搜索和救援任務時,時間至關重要,因此具有 LLM 功能的無人機可以自主掃描大片區域,利用物體識別和模式檢測來確定幸存者的位置。它們可以在沒有人類直接引導的情況下在具有挑戰性的地形中航行,從而加快搜索行動并提高營救遇險人員的機會。此外,由于災害破壞了通信網絡,與大型語言模型集成的無人機可以建立臨時通信網絡,充當空中中繼器,促進救災人員與受災群眾之間的通信。大型語言模型可優化無人機的位置和路由,以確保最大的覆蓋范圍和網絡效率。
此外,無人機還能通過分析歷史數據和當前天氣報告,在潛在災害發生前對其進行預測,從而提高備災能力。這種預測能力使當局能夠主動部署無人機,監測危險區域,并啟動先發制人的疏散或其他緩解措施。此外,大型語言模型可以通過分析需求評估和資源可用性來管理后勤方面的問題。他們利用無人機確保食品、水和醫療設備等物資得到最佳分配和運送,尤其是運送到因災害而難以通過傳統方式到達的地區[136]。
此外,無人機還能在損失分析和恢復規劃中發揮重要作用,對損失進行詳細評估,跟蹤恢復進度,并隨時間推移分析數據,為重建工作提供指導。大型語言模型可以模擬不同的恢復場景,幫助規劃者做出以數據為導向的決策,以更具彈性的方式重建基礎設施。鑒于應急響應涉及數據的敏感性,大型語言模型可確保無人機收集和傳輸的所有信息都經過安全加密,并防止未經授權的訪問。它們監控數據流,以發現表明存在威脅的異常情況,從而在混亂情況下保護關鍵信息。大型語言模型通過將復雜的數據轉化為可操作的見解和直觀的報告,增強了無人機與人類操作員之間的互動。這樣,應急響應人員就能根據無人機以易于理解的格式提供的綜合分析結果,快速有效地做出明智決策。
集成了大型語言模型的無人機可以通過優化路線、加強客戶互動和提高運營效率來改變送貨服務和物流[79]。大型語言模型可以處理復雜的數據集,包括交通模式、天氣條件和地理數據,從而動態優化送貨路線。這可確保更快的送貨時間,并有助于降低運營成本。大型語言模型可以實時調整這些路線,以適應不斷變化的條件,確保盡可能高效地送貨[137]。
無人機可以使用 LMM 與客戶互動,實時更新送貨狀態、回答詢問,甚至處理投訴或特殊指示。互動的增強提高了客戶滿意度,簡化了交付過程,減少了客戶服務中對人工干預的需求。大型語言模型能讓無人機在執行投遞任務時自主決策。例如,當遇到意想不到的障礙或緊急情況時,無人機可以決定最佳行動方案,無論是改變路線、等待許可還是返回基地。即使在不可預測的情況下,這種自主程度也能確保交付服務的可靠性和一致性。此外,他們的主動方法還能防止停機,延長無人機機隊的使用壽命,并確保技術問題不會打亂投遞計劃。
此外,大型語言模型還能在重量分布、包裹大小和交付優先級方面提供協助,確保每架無人機都能高效裝載,最大限度地提高交付能力,減少所需的行程次數。大型語言模型可持續分析交通和天氣數據,實時調整無人機飛行計劃,以維持送貨時間表,尤其是在惡劣天氣條件或擁堵空域,確保安全準時送貨。
大型語言模型可以處理和分析無人機收集的大量環境數據,如圖像、溫度讀數和污染程度。收集到的數據可用于識別環境趨勢和異常情況,如植被變化、水質變化或污染物的存在 [138、139、140、141]。LLM 可以快速分析這些數據,并為自然保護主義者和環境科學家提供可行的見解。大型語言模型還可以通過分析無人機捕獲的視頻和音頻記錄來幫助跟蹤和研究野生動物,從而在沒有人類在場的情況下識別動物個體、跟蹤其動向并觀察其一段時間內的行為,這可以減少人類互動給動物造成的壓力和行為變化 [142,143]。
此外,與傳統方法相比,與大型語言模型集成的無人機可以更高效地繪制大面積和無法進入的區域的地圖。大型語言模型可以分析收集到的地理數據,繪制詳細的棲息地地圖,包括隨時間的變化。這些信息對于管理自然保護區、規劃重新造林項目或評估人類活動對自然棲息地的影響至關重要。大型語言模型還可以利用歷史和持續監測數據來預測未來的環境狀況和野生動物趨勢。這些預測可以為保護工作提供信息,例如預測實施物種保護措施的最佳時間和地點,或預測影響生物多樣性的生態變化。
大型語言模型可以為參與環境保護項目的利益相關者自動生成報告和演示文稿。大型語言模型可將復雜的數據綜合成易于理解的格式,從而促進調查結果和建議的交流更加透明,使決策者更容易理解問題并采取行動。此外,在資源往往有限的保護項目中,大型語言模型可以優化無人機和其他資源,通過在最佳時間安排無人機飛行、規劃航線以覆蓋關鍵區域,以及確保以具有成本效益的方式收集數據,從而確保最大的覆蓋范圍和數據收集效率。
將大型語言模型與無人機集成以增強衛星和高空平臺(HAP)通信,需要利用先進的分析和認知能力來改進數據中繼、處理和自主決策[25]。由于無人機在衛星和高空平臺通信網絡中充當移動節點或中繼點,特別是在直接通信受到地理障礙阻礙或臨時需要額外帶寬的地區。大型語言模型可以動態管理這些連接,優化地面站、衛星、HAP 和終端用戶之間的數據流。它們可以通過無人機對數據路由進行實時決策,以提高網絡彈性并減少延遲。大型語言模型可使無人機自主導航到能最有效地彌合衛星、HAP 和地面網絡之間通信差距的位置。這在災區或需要臨時通信增援的大型公共活動期間尤其有用。配備了 LLM 功能的無人機可以分析環境數據、衛星路徑和網絡需求,從而在無人干預的情況下確定最佳位置 [144]。
大型語言模型可通過分析衛星和 HAP 通信中使用的無人機的遙測和運行數據,在潛在的系統故障或次優性能成為關鍵問題之前對其進行預測。這種預測性維護能力可確保無人機的正常運行時間更長,可靠性更高,從而發揮這些關鍵作用。大型語言模型可以實時處理和壓縮無人機上的數據,然后再將其轉發給衛星或 HAP。這就減少了數據傳輸所需的帶寬,加快了通信速度。大型語言模型可采用先進的算法,根據當前的網絡條件和數據優先級確定最有效的數據編碼和傳輸方式。
集成了 LLM 的無人機可根據不斷變化的環境條件、干擾或網絡負載的變化調整其通信協議,以保持與衛星和 HAP 的有效鏈接。大型語言模型可以從過去的通信中學習,預測最佳通信窗口,并調整頻率或調制方案以提高連接質量。此外,對于在復雜環境中運行的無人機而言,大型語言模型可通過處理來自衛星和 HAP 傳感器等多個來源的數據來增強態勢感知能力。這有助于對無人機的定位、通信策略,甚至避免沖突或危險的緊急機動做出明智的決策。集成大型語言模型可實現可擴展的靈活通信網絡,無需進行大規模重新配置即可適應不同的需求。無人機可以快速部署,以擴大網絡能力,應對不斷增長的通信需求,或覆蓋臨時的衛星或 HAP 覆蓋缺口。
為無人機通信實施大型語言模型是一個新方向,必須應對一系列挑戰和考慮因素,以確保無人機應用的有效性和安全性。本節重點介紹在無人機領域有效采用大型語言模型必須考慮的幾個基本挑戰。
大型語言模型需要大量的計算能力和能源才能有效運行 [145,146]。然而,無人飛行器的機載計算能力和電源有限,受限于輕量化設計的需要,無法確保更長的飛行時間和運行效率。處理大型模型所需的功耗會迅速耗盡無人機的電池,從而減少執行關鍵任務的時間 [147,8]。此外,增加額外資源會極大地影響無人機的效率,從而使大型語言模型的集成變得更加復雜。要解決這些問題,關鍵是要通過修剪不必要的參數和使用量化技術來簡化大型語言模型,從而以更少的功耗減小模型大小并提高處理速度[148]。邊緣計算可通過在本地處理數據,進一步緩解對高帶寬連接的需求 [149]。
此外,先進的人工智能硬件,如圖形處理器(GPU)[150]、現場可編程門陣列(FPGA)[151]和模型提煉技術[152],也有助于優化計算需求。實施自適應系統,根據當前需求調整資源使用情況,也有助于有效管理功耗,在不影響性能的情況下確保運行效率。
在使用大型語言模型進行涉及實時數據處理和決策的無人機操作時,通信延遲挑戰尤為關鍵。例如,導航、監視和戰術響應要求盡量減少數據處理和決策延遲。然而,當大型語言模型需要大量計算資源時,標準的解決方案是將這一處理過程卸載到基于云的服務器上。雖然這種方法利用了強大的計算能力,但由于從無人機到云服務器再到云服務器之間的通信延遲,它本質上會帶來延遲。當關鍵的即時響應影響到任務的有效性和安全性時,這種延遲可能會造成危害[25]。
為緩解這些問題,無人機可通過集成微處理器、圖形處理器或定制專用集成電路(ASIC)等先進計算資源來增強機載處理能力,從而更高效地處理復雜算法。平衡計算能力與延遲需求至關重要,可通過采用混合處理過程進行優化。這包括直接在無人機上處理緊急、實時的處理過程,同時將更復雜、時間敏感性較低的任務委托給云。這種策略有助于平衡計算負荷,并根據特定任務的緊迫性和復雜性調整響應時間。此外,建立強大的近場通信網絡和利用邊緣計算解決方案可以進一步減少延遲。通過本地服務器或附近配備邊緣服務器的其他無人機,將處理能力置于離無人機更近的位置,可顯著縮短通信距離和時間,提高無人機操作的整體響應速度[153, 154]。
模型的魯棒性和可靠性是部署無人機通信的關鍵,因為基于模型輸出的決策會導致重大后果[46]。例如,由于模型依賴于從訓練數據中學到的模式,而訓練數據可能無法充分涵蓋現實世界中所有可能的情況,因此在新情況或邊緣情況下,模型可能會產生不可預測或不正確的輸出[155]。在必須快速、準確做出決策的動態環境中,這種風險尤其高,無人機的運行往往就是這種情況[64, 103]。利用新數據對模型進行持續更新和再訓練,有助于模型從最近的經驗中吸取教訓,并適應可能遇到的變化或新情況。這種適應包括納入無人機遇到的新情況的數據,擴大模型的理解和響應范圍。例如,建立一個系統,定期將無人機任務的數據反饋到模型的訓練程序中,從而完善和更新其算法。
此外,在依賴大型語言模型進行關鍵操作時,基于模擬的測試和驗證至關重要。在各種模擬條件下對這些模型進行測試,對于識別在惡劣天氣條件、通信中斷或異常任務參數等復雜情況下可能出現的故障或反應弱點至關重要。還可以實施強大的故障安全機制,在模型輸出不確定或超出預期參數時,通過設定需要人工干預的閾值或條件,防止因模型輸出不正確而采取有害行動。實施冗余系統還可以在執行前對關鍵決策進行雙重檢查,增強的錯誤處理功能可以在不中斷無人機運行的情況下處理大型語言模型的意外輸出[156]。
先進的大型語言模型需要與無人機現有的硬件和軟件模塊(如飛行控制、導航系統、通信協議和數據處理單元)無縫互動,每個模塊都有其獨特的規格和操作要求,以增強無人機操作過程中的決策和通信。將大型語言模型集成到這些不同的框架中既復雜又耗時,有可能導致大量的開發和測試時間,以確保全面的兼容性和功能性。因此,采用模塊化方法進行系統設計,可以在不中斷系統的情況下集成、移除或更新單個大型語言模型組件,從而極大地簡化大型語言模型的集成工作。模塊化設計具有靈活性和可擴展性,可滿足不同任務或操作調整的特定需求[26]。
此外,確保新的 LLM 組件與現有系統的互操作性也至關重要 [157]。盡管不同的系統和軟件應用程序是獨立開發的,但互操作性允許它們進行有效的通信和協同工作。通過分階段測試和部署,將大型語言模型逐步集成到無人機系統中,也可以降低集成的復雜性。它還能發現并解決具體問題,而不會出現系統大面積故障的風險。此外,有必要制定定期更新和維護的系統方法,以確保集成的大型語言模型保持有效,并確保整個系統適應新的技術進步或操作要求的變化[155]。
在無人機操作中集成大型語言模型會引發有關數據安全和隱私的重大問題,主要是因為這些模型經常處理敏感數據,其中可能包括在監視任務中收集的個人信息。這種數據類型非常容易受到破壞,一旦泄露,可能會導致嚴重的隱私侵犯和其他安全問題。實施強有力的數據安全措施對于降低這些風險至關重要。因此,強大的數據加密是確保數據在傳輸和存儲過程中不被未經授權的用戶訪問的根本[158]。
此外,還必須建立強大的訪問控制機制,限制只有授權人員才能訪問數據,從而防止任何未經授權的數據篡改或泄漏。遵守數據保護法規也至關重要。這些法規旨在保護數據的隱私性和完整性,要求企業采取嚴格措施保護所有個人信息。通過遵守這些準則,無人機運營商可以幫助確保大型語言模型處理的敏感數據的安全,最大限度地降低違規風險,維護信息的保密性和完整性[159]。
本節考慮了之前討論的挑戰和考慮因素,概述了未來的研究方向。它強調了需要立即關注的研究領域,以通過 LLM 集成提高無人機的智能、效率和適應性。這種探索對于克服當前的局限性和釋放無人機在各領域應用的全部潛力至關重要。
在無人機操作日益復雜和需求不斷增加的推動下,無人機通信 LLM 技術的未來工作方向和機遇是豐富多樣的。新方案應側重于開發 LLM 算法,使無人機能夠根據有關天氣、地形和電磁干擾的實時數據動態調整通信協議和策略。這種自適應能力可大大提高無人機在災難響應和軍事行動中的效率,因為在這些行動中,條件可能會發生快速且不可預測的變化 [37, 160]。
未來的工作應整合大型語言模型,以增強無人機群的智能,從而實現模仿生物系統的復雜群體行為。此外,未來的研究還需要關注算法,使單個無人機能夠根據蜂群的集體輸入做出決策,優化飛行路徑和任務分配,以提高效率并降低能耗 [155]。這項技術有望應用于從大規模農業監測到搜救任務等領域,在這些領域中,多無人機的協調行動至關重要。
此外,改進糾錯和信號處理對于在具有挑戰性的環境中保持通信完整性至關重要。未來的研究需要探索深度學習模型,以預測和補償信號衰減,并開發抗干擾能力更強的新型調制和編碼形式。在擁擠的城市地區或惡劣的天氣條件下,信號丟失會嚴重影響無人機的運行,因此這項技術尤其有益[161, 68]。
未來的工作還應將 LLM 增強型無人機通信的應用范圍擴展到新的領域,如人道主義援助、環境監測和物流。未來的研究需要探索如何在緊急情況下部署配備先進 LLM 和通信技術的無人機,以提供實時更新和分發援助,在最少人工參與的情況下監測野生動物或環境變化,并通過自主交付服務簡化供應鏈。
將大型語言模型與新興技術相結合可為無人機通信系統帶來巨大的進步。例如,結合可重構智能表面(RIS)可優化信號處理算法,并根據實時環境和交通數據動態配置 RIS,從而顯著提高無人機通信的效率和可靠性[162]。它還可以通過優化數據傳輸來優化遠程病人監測和遠程醫療,從而改善從智能城市到增強醫療保健機會等各種環境。此外,大型語言模型還能支持對身臨其境的體驗至關重要的高帶寬和低延遲通信,從而提高增強現實(AR)和虛擬現實(VR)應用的性能[163, 164]。
此外,將大型語言模型與 5G/6G 技術集成可顯著增強無人機的通信能力,因為這些網絡可提供更高的帶寬和更低的延遲[165]。它使無人機能夠流式傳輸高清視頻以執行監視或檢查任務,實時接收更新以進行動態任務調整,并以更好的協調性參與蜂群行動。將配備 LLM 的無人機與物聯網設備連接起來,將使無人機在智能城市和工業環境中的操作更具互動性和響應性。無人機可以充當物聯網網絡中的移動節點,收集和處理各種來源的數據,并在飛行中做出決策。這種集成在災難響應場景中尤為有用,無人機可以評估損失、檢測異常并與其他物聯網設備通信,從而有效管理應急服務 [166,167]。
此外,將大型語言模型與邊緣計算平臺集成可以分散數據處理,減少云計算場景中涉及的延遲,使無人機能夠在網絡邊緣執行實時數據分析。這種能力可使無人機在執行關鍵任務(如跟蹤移動目標或在復雜地形中導航)時更快地做出決策,而無需等待遠程處理數據的過程[168]。同樣,用可處理視覺和感官數據的專用神經網絡來增強大型語言模型,可提高無人機了解環境并與之互動的能力。它能讓無人機執行更復雜的識別任務,例如在搜救行動中識別特定的個人,在基礎設施檢查中檢測結構問題,或監測農田的病蟲害模式。
此外,量子計算集成還能成倍提高大型語言模型的處理能力,使其能夠更高效地處理龐大的數據集。量子增強型大型語言模型可以優化飛行路徑和通信協議,遠遠超出目前的能力,從而降低運營成本,提高數據量大的任務的效率[169]。
為有效實施 LLM 集成無人機操作,新方案應側重于通過刪除對提高無人機通信性能無顯著貢獻的參數來降低 LLM 的計算復雜度。未來的工作可以采用剪枝方案來減少模型大小和計算負荷,使其更適用于資源有限的設備。未來的方案還應注重采用量化技術,降低模型參數的精度(如從浮點數到整數),從而大幅減少模型大小,加快推理時間,同時降低功耗。此外,無人機還可以受益于邊緣計算服務,這種服務可以進行本地數據處理,而無需將數據傳回中央服務器。這降低了持續高帶寬連接的必要性,并通過在無人機和邊緣設備之間分配計算負荷來幫助執行復雜的模型。
此外,未來的硬件設計應明確針對人工智能任務。采用 GPU。針對人工智能干擾進行優化的 FPGA 或 ASIC 可顯著提高功耗和計算效率,與通用處理器相比,每瓦性能更優越。模型提煉是未來可以重點研究的另一種有效策略,它包括訓練一個較小的 “學生 ”模型來復制較大的 “教師 ”模型的性能。經過提煉的模型可以保持較高的精確度,但只需要很少的計算資源,因此適合部署在功能有限的設備上。根據當前需求和可用電力動態調整計算資源的系統可以優化電力使用。例如,當電池電量較低或無需進行詳細處理時,無人機可以部署簡化版模型[170]。因此,未來關注這些策略可以大大提高將復雜的大型語言模型集成到無人機系統中的可行性。這些方法有助于平衡模型性能與無人機平臺實際限制之間的權衡,確保既能利用先進的 NLP 功能,又不影響無人機的運行效率。
為了解決延遲問題,無人機可以通過利用先進的計算資源(如微處理器、GPU 或定制 ASIC)來增強機載處理能力,從而高效執行復雜的機器學習算法。未來的方案應根據每個無人機任務的具體要求,考慮計算能力和延遲之間的權衡,以有效地應對這些挑戰。混合方法可能特別有效,即無人機在機上執行關鍵的實時處理過程,而將更復雜但時間敏感性較低的任務卸載到云端。因此,它可以平衡計算負載,并根據任務的緊迫性和復雜性優化響應時間。例如,集成智能路由算法可以在考慮當前網絡條件、任務復雜性和處理要求緊迫性的情況下,動態確定處理數據的最佳位置。
此外,未來的方案還應探索穩健的近場通信網絡和邊緣服務器部署的可能性,以便在網絡邊緣以更快的處理速度和更低的延遲執行計算密集型任務。
將先進的大型語言模型集成到無人機操作中是一項復雜的挑戰,因為這些模型必須與現有的各種無人機硬件和軟件系統進行無縫交互[23]。無人機的各個組件,包括飛行控制模塊、導航系統、通信協議和數據處理單元,都有各自獨特的規格和操作需求。這種多樣性可能導致開發和測試時間延長,而這是確保完全兼容和功能性所必需的。
未來的工作重點應放在采用模塊化系統設計上,以便在不破壞整體系統完整性的情況下輕松添加、移除或更新各個組件[171]。此外,未來的工作必須確保不同的系統和軟件應用程序即使是獨立開發的,也能進行有效的通信和協同工作。因此,它們可以采用無人機行業廣泛接受的標準化數據格式和通信協議。這有助于大型語言模型理解并遵守既定標準,從而使集成過程更加順暢。
此外,今后的工作重點應是采用分階段的方法,逐步將大型語言模型集成到無人機系統中,以確保兼容性和性能,并建立一個由專門團隊進行定期更新、維護和培訓的系統框架,以適應技術進步并保持有效集成。
為了提高集成了 LLM 的無人機通信系統的可靠性,今后的工作應側重于采用先進的糾錯技術和穩健的算法,以確保即使在不利條件下也能保持通信的可靠性。對基于 LLM 的無人機系統進行初步測試時,還應考慮通信信道的冗余性,使用多個通信信道和備份系統來防止任何單一信道出現故障。
未來的工作還應該側重于人工智能驅動的預測性維護,通過集成人工智能工具來預測和安排維護,以防止故障發生。這有助于最大限度地減少停機時間,延長通信組件的使用壽命[68]。此外,未來的方案應采用動態路由和頻譜管理技術,實施人工智能驅動的動態路由算法和頻譜管理方法,以優化數據傳輸的可用頻率和路徑。這種方法有利于適應不斷變化的環境條件和通信流量,提高整個系統的彈性。此外,還必須對集成了 LLM 的無人機系統廣泛開展基于人工智能的培訓和模擬,以確保它們能夠處理各種操作環境和突發情況,從而提高可靠性。
未來的工作還應強調建立實時監控和決策支持系統[29]。這些系統至關重要,因為它們能對無人飛行器的健康和通信狀態進行持續評估,并能提出建議或自動采取糾正措施。
基于 LLM 的無人機通信在各個領域都需要干擾緩解方案,從商業快遞服務到基本的應急響應行動,不一而足。為了滿足這些需求,未來的研究必須開發出能夠實時動態識別和緩解干擾的先進信號處理算法 [172]。這涉及采用機器學習模型,特別是基于歷史數據和實時輸入預測和抵消干擾模式的深度學習技術 [173,174]。
此外,新方案還應探索波束成形技術,以提高信號清晰度和強度。這可以通過實施智能天線技術來實現,該技術可自適應地聚焦和引導波束遠離干擾源,或使用多天線發送和接收信號,從而減少干擾影響[175, 176]。加強頻譜管理策略對于優化頻率使用、避免造成或遭受干擾也至關重要。這包括開發 LLM 驅動模型,根據無人機的任務要求和頻譜環境動態分配帶寬和調整頻率。
未來的工作重點還應放在集成認知無線電功能上,使無人機通信系統能夠自動改變頻率以避免干擾。探索開發 LLM 算法可使無人機感知其運行環境,并在必要時就跳頻或調制調整做出智能決策。
此外,改進無人飛行器之間的網絡協調以共同管理和緩解干擾也至關重要。這需要未來對分散決策模型進行研究,通過大型語言模型,無人機能夠共享干擾源信息,并協同決定最佳通信路徑和協議。此外,加強無人機通信以抵御可能造成干擾或破壞通信的惡意攻擊也至關重要。另一個重點領域是利用大型語言模型開發檢測和響應系統,以識別和消除復雜的信號干擾和欺騙技術。
隨著基于 LLM 的無人機通信系統越來越多地融入各行各業[132],有關這些技術的監管宣傳和政策建議的未來方向和研究機會也越來越重要。未來的主要重點應是制定全面的政策,解決安全、隱私和道德標準問題,同時促進無人機操作的創新和集成。這需要與監管機構合作,制定明確的指導方針,以適應 LLM 和無人機技術的快速發展。
未來的工作必須確保數據通信的安全性,因為無人機要處理和傳輸大量潛在的敏感數據 [177]。因此,必須采取措施保護這些數據免遭破壞和未經授權的訪問,同時保障數據的完整性和個人隱私 [178]。此外,今后的工作應繼續關注制定空域使用法規,通過確定無人機如何與現有空中交通融合以及定義無人機操作的特定區域或高度來防止沖突和事故。與此同時,隨著無人機越來越多地基于人工智能做出自主決策,確定人工智能決策的問責措施至關重要;如果這些決策導致不良后果,確定由誰負責至關重要。因此,制定人工智能行為標準,確保人工智能系統透明,其行為可追溯,并建立法律框架來解決責任和合規問題。此外,隨著技術的發展,持續監測和修訂這些政策對于維持一個支持技術進步和保護公眾利益的環境至關重要[15]。
本文介紹了大型語言模型與無人機集成的變革潛力,開創了自主系統的新時代。我們全面分析了 LLM 架構,評估了它們在增強無人機能力方面的適用性。我們的主要貢獻包括詳細評估了用于無人機集成的 LLM 架構,并探索了基于 LLM 的前沿無人機架構。這為開發更加精密、智能和反應靈敏的無人機操作鋪平了道路。此外,通過 LLM 集成改進光譜傳感和共享的重點為數據處理的進步開辟了新的途徑,這對無人機系統內的穩健決策至關重要。我們展示了通過集成大型語言模型而擴大的現有無人機應用范圍。我們強調了這是如何使無人機在各種應用中具有更強的自主性和更有效的響應能力,并最終提高不同領域的可靠性和功能性。本文最后概述了未來需要研究的關鍵領域,以充分發揮 LLM-UAV 集成的優勢。所討論的進展為未來奠定了基礎,在未來,無人機將超越其傳統角色,發展成為復雜集成系統的關鍵組成部分,釋放人工智能的全部潛力。這項工作可以作為持續技術進步的基石,推動我們走向這樣一個未來:大型語言模型和無人機技術之間的協同作用可以通過實現前所未有的自動化和高效率水平來徹底改變各個領域。
當今的威脅形勢瞬息萬變,能否在充分了解情況的基礎上做出以數據為導向的決策,關系到任務的成敗。然而,傳統的分析方法往往無法應對現代國防和情報行動所面臨的大量復雜數據。
這正是知識圖譜驅動的先進人工智能(AI)提供變革性解決方案的地方。通過利用大型語言模型和知識圖譜的協同作用,軍事領導人和分析人員可以獲得基于背景的洞察力,從而領先于新出現的威脅,并自信地做出關鍵決策。
國防領域的有效決策需要對行動背景有細致入微的了解,即形成現實世界場景的實體、關系和特定領域知識的錯綜復雜的網絡。在人命關天、容錯率極低的情況下,這種背景意識至關重要。
獨立的人工智能模型雖然功能強大,但缺乏可靠支持關鍵任務應用所需的上下文基礎。這些模型通常是在廣泛的互聯網數據基礎上訓練出來的,容易產生幻覺、與事實不符,而且對國防部隊面臨的復雜作戰現實缺乏敏感性。
知識圖譜為人工智能提供了一個專為國防領域量身定制的豐富、結構化的知識庫,從而彌補了這一關鍵差距。這些圖對現實世界的概念、實體(人員、組織、地點等)及其相互關聯的關系進行建模,捕捉可靠的決策支持所需的深層背景。
通過將大型語言模型(LLM)與知識圖譜相結合,我們可以釋放出強大的協同效應,將 LLM 的生成能力與圖譜中編碼的結構化上下文知識相結合。這種混合方法通常被稱為 "情景(上下文)人工智能",它允許 LLM 生成不僅流暢連貫,而且基于相關的、經過驗證的事實和特定領域知識的響應。
例如,負責分析潛在威脅場景的情境人工智能系統可以利用知識圖譜來了解相關行為體、其動機、歷史模式和地緣政治背景。有了這些豐富的背景知識,LLM 就能生成細致入微的評估、可行的建議和應急計劃,以應對錯綜復雜的局勢。
情境人工智能在國防和情報領域的應用意義深遠:
雖然情景人工智能潛力巨大,但將其部署到關鍵任務防御應用中需要一個強大的信任和問責框架。知識圖譜通過編碼事實性的、可驗證的知識并實現透明的推理過程,為此奠定了重要的基礎。
此外,人工智能的道德原則,如公平性、可解釋性和人類監督,必須嵌入到這些系統的開發和部署中。這將確保情境人工智能能夠增強人類決策者的能力,同時遵守最高的問責和負責任使用標準。
隨著威脅的演變和現代戰爭復雜性的加劇,知識圖譜和情景人工智能的整合成為國防部門和特種作戰部隊的戰略要務。通過利用這一變革性技術的力量,可以獲得決定性的優勢,在日益動蕩的世界中保持任務準備狀態并保障國家安全。
注:任務準備(戰備):指軍隊、組織或個人為完成任務所做的準備工作,包括物資、裝備、人員、訓練等方面的準備。
美國陸軍即將發布關于使用大型語言模型(LLM)和生成式人工智能(AI)的新政策指南。此舉正值五角大樓尋求利用人工智能的變革潛力,同時解決安全問題并確保該技術滿足美國防部(DoD)的獨特需求之際。隨著人工智能的不斷發展,陸軍旨在利用其能力來提高作戰效率、決策和整體任務成功率。
大型語言模型,如 OpenAI 的 GPT-4 和谷歌的 Gemini,因其能夠根據提示和訓練數據生成類似人類的文本、音頻、代碼、圖像和視頻而備受關注。這些模型已在從內容創建到復雜問題解決等各種應用中展示出令人印象深刻的能力。然而,它們的廣泛應用也引發了有關數據安全、道德考量和潛在濫用的關鍵問題。
認識到生成式人工智能的潛力和挑戰,陸軍將發布新的政策指南,以確保負責任地安全使用這些技術。據陸軍首席信息官(CIO)利奧-加西加(Leo Garciga)稱,即將發布的指令將為如何將 LLM 集成到陸軍行動中同時保護敏感信息提供明確的指導。這項政策預計將涉及幾個關鍵領域:
生成式人工智能在各種軍事應用中大有可為。一些潛在用例包括
雖然生成式人工智能的潛在效益巨大,但陸軍必須克服幾個挑戰,以確保成功實施:
美陸軍即將發布的關于大型語言模型和生成式人工智能的政策指導,是利用人工智能的力量進行軍事應用的重要一步。通過解決安全問題、定制滿足作戰需求的解決方案以及促進道德使用,陸軍旨在利用人工智能提高任務成功率并保持技術優勢。
參考來源:Indigo Monser
生成式人工智能的應用領域遠遠超出了數字助理和在線工具的范疇;其現在正涉足一個風險極大的領域:軍事行動。在國防戰略領域的這一飛躍代表著人工智能應用的重大發展,既是對戰略家和技術專家的挑戰,也令他們興奮不已。
來自特殊競爭研究項目(SCSP)的專家強調了正在進行的實驗,即根據特定的軍事條令和情報對生成式人工智能進行訓練,以制定作戰規劃。這一發展并不是要取代人類戰略家,而是要增強他們的能力。生成式人工智能在簡化復雜軍事行動的起草方面潛力巨大,不過實際執行仍嚴格受人類控制,并遵守防止自動致命行動的嚴格標準。
這個想法很吸引人:現在,生成式人工智能可以管理各種任務,從平凡的任務,如規劃一周的雜貨清單,到復雜的任務,如總結絕密情報或制定詳細的軍事戰略。不過,這項技術仍然需要一個 "認知副駕駛員"--由人類來監督和驗證人工智能的計劃。
以下是生成式人工智能在全球軍事行動中的三種應用方式。
1.自動威脅模擬:生成式人工智能用于網絡防御,根據以往事件中的模式自動生成網絡攻擊模擬。這有助于軍事網絡防御團隊制定強有力的應對措施,并針對潛在的網絡威脅進行更有效的訓練。
2.場景規劃和策略制定:在戰略行動中,生成式人工智能可以創建詳細的兵棋場景和策略,為特定的軍事形勢提供多種可能的應對措施。這有助于培訓和行動規劃,為軍事戰略家提供基于不同方法的各種潛在結果。
3.信息和心理作戰:生成式人工智能可用于制作量身定制的信息內容和心理作戰活動,以高度適應特定目標受眾的文化和社會背景。這種應用包括生成有說服力的通信,以戰略性的方式影響人們的觀念和行為。
從簡單的人工智能任務到更復雜的操作,這表明在未來,生成式人工智能有可能協調軍事和民用生活中更廣泛的方面。這包括從后勤支持到戰略規劃的方方面面,所有這些都將在人類的監督下進行,以避免出現令人擔憂的 "天網 "情況。
對于編劇來說,這項技術的發展提供了豐富的素材。人類角色將如何與能力越來越強的生成式人工智能互動?這種互動會產生什么樣的沖突和解決方案?敘事的可能性既廣泛又深刻,反映了現實世界與技術關系的復雜性。
隨著新一代人工智能不斷滲透到生活的方方面面,它對地緣政治穩定的影響是深遠的,這與第一次世界大戰前的時代有著令人不安的相似之處。然而,在人類和人工智能顧問的精心指導下,我們有希望比過去更有效地駕馭這個動蕩的時代。
這些發展不僅是技術上的,也是鼓舞人心的。在人工智能重塑戰場的同時,它也重塑了敘事景觀,為每個人角色和故事提供了新的挑戰和機遇。無論是在探索戰爭的未來、人工智能的倫理,還是人工智能驅動的企業世界中的微妙動態,不斷演變的人工智能角色都是一個等待探索的敘事金礦。
隨著人工智能的不斷發展,敘事也應與時俱進,以挑戰角色和吸引讀者的方式融入這些技術進步。這不僅是一次反思未來的機會,也是一次通過講述故事塑造未來的機會。
參考來源:AI4ES
由人工智能(AI)支持的自主系統已經徹底改變了軍事行動和現代戰爭。無人系統非常適合執行危險和重復性的任務,在增強態勢感知和后勤能力的同時,也降低了對人類人員的風險。然而,它們日益重要的作用也引發了重大的安全問題:無人系統嚴重依賴機器學習(ML),容易受到網絡攻擊,從而危及任務、部隊和關鍵技術。雖然沒有系統是不可破解的,但系統架構對于確保設備盡可能抵御網絡攻擊至關重要,這不僅體現在初始部署,還體現在其產品生命周期的若干年內。因此,在整個開發和部署生命周期中都必須采取強有力的保障措施。安全設計原則、加密、訪問控制和安全通信可以強化這些系統,防止未經授權的訪問。
隨著自主系統在海洋、陸地和戰場上越來越普遍,包括軍隊、私營部門、學術界和政府在內的航空航天與國防(A&D)生態系統必須考慮大量因素。
從長矛、大炮到坦克,技術進步早已為軍隊帶來了戰術優勢。如今,人工智能(AI)已成為有望徹底改變戰爭的下一個前沿領域。能否實現這一愿景,取決于是否有能力防止這些 "會思考 "的機器被用來對付我們。
無人機(UAV)和機器人哨兵 "狗 "等自主技術正在重新定義戰斗空間。這些設備擅長勘測地形、識別目標、探測威脅并解除威脅,而不會危及軍人的安全。它們的潛力巨大,但也存在漏洞。如果在設計中不采取嚴格的網絡安全措施,這些自主系統最終服務的可能是我們的對手,而不是我們的兵力。
軍用無人機和設備利用尖端的人工智能技術,只需極少的人工引導即可運行。計算機視覺算法使無人機能夠導航和探測目標,而自然語言處理技術則能分析語音和文本數據以提取洞察力。強化學習可優化復雜任務的決策,而深度神經網絡則可識別模式并從海量數據集中進行預測。
然而,增強無人系統的技術也帶來了新的網絡安全風險。人工智能支持的自主平臺在很大程度上依賴于數據和機器學習(ML)算法,這可能會使其面臨數據中毒、模型被盜以及旨在操縱其行為的惡意攻擊。
2015 年至 2021 年間,美國國防部(DoD)經歷了 12000 多起針對無人機和無人駕駛飛行器等無人系統的網絡事件--這個數字還會上升。攻擊者通過干擾通信、奪取飛行器控制權、竊取用于訓練人工智能模型的專有技術和敏感數據集等方式危害國家安全。這些最近的例子凸顯了網絡威脅日益增長的態勢。
此外,美國還面臨著來自戰略競爭對手的日益嚴重的網絡威脅,他們正在利用距離直接沖突不遠的灰色地帶,試圖破壞安全利益。這些漏洞的后果可能超出直接的安全風險: 黑客可能會偷取數據來降低人工智能模型的性能,或者竊取知識產權,如專有算法,從而削弱一個國家的競爭優勢。(圖 1)。
圖1 美國及其軍事利益面臨著來自戰略競爭對手的日益嚴重的網絡威脅,這些競爭對手試圖利用尚未發生沖突的灰色地帶破壞國家安全。
然而,預計到 2028 年,全球軍用人工智能市場規模將超過 130 億美元,這反映出越來越多的人開始采用這些非常適合執行危險任務和提高態勢感知能力的系統。在這種快速發展和暴露的環境中,技術進步與網絡安全復原力之間的微妙平衡已成為維護國家利益和保護每個人的當務之急。
為加強防御,無人系統開發人員應利用模塊化開放系統架構(MOSA)原則。模塊化開放系統架構通過開放標準和接口提供強大而靈活的網絡安全保障。
開發人員還可以將來自不同供應商的傳感器、處理器和功能作為人工智能操作系統的模塊組件進行集成。這種即插即用的方法更便于快速更換易受攻擊的部件,并針對快速發展的威脅定制防御措施。這也是沙箱或分離功能的關鍵策略,這樣任何損壞的應用程序都不會給其他應用程序帶來問題。
利用 MOSA,還可以利用最小特權原則(PoLP)(也稱為最小特權訪問模型)來保護系統架構免受破壞或攻擊。利用PoLP,內存等系統資源可以不可改變地分配給某些功能,開發人員可以確保應用程序只能訪問完成任務所需的最小系統功能集。
利用未來機載能力環境(FACE)和傳感器開放系統架構(SOSA)等通用開放式架構標準,可以安全地集成組件,并在不同平臺和不同技術世代之間實現互換。例如,一個供應商提供的模塊化計算板可以用另一個供應商提供的升級模塊替換,而無需徹底修改整個系統設計。
MOSA 還減少了對供應商的鎖定,從而使長期維護和升級更加經濟實惠。考慮到維持和維護成本通常占國防部系統生命周期成本的 70%,采用組件可互換的模塊化方法有望大大減少為適應新系統而重寫代碼的需要。
開發人員可以創建可重復使用、經認可的軟件和加密 IP 庫,從而簡化并加速新功能的集成,以適應不斷變化的威脅。通過迭代開發和測試,MOSA 等開放式架構方法可以更輕松地持續驗證、確認和認證是否符合安全標準。
從硬件的設計階段到軟件的開發階段,無人系統的每個層面都必須考慮到安全問題。為防止未經授權的訪問,開發人員應采用加密關鍵數據和通信、建立基于角色的訪問控制以及設計具有內置防篡改機制的硬件等策略。主動監控、頻繁打補丁和定期重新訓練 ML 模型將增強其在生命周期內的恢復能力。
人工智能和自主技術正在改變現代戰爭:無人系統增強了軍事能力,同時降低了人類面臨的風險,并確保網絡安全始終是重中之重。如果不能在這些系統中建立強大的防御系統,我們的對手就可能獲得優勢。
隨著無人系統的普及,A&D 生態系統必須共同努力,應對人工智能帶來的獨特安全挑戰。為此,公共和私營部門應增加對安全人工智能研發的投資。學術機構可以加強網絡安全、ML 和機器人等領域的培訓。
隨著系統變得更加自主,政策制定者還必須使法規現代化,以促進安全性和問責制。采購準則應要求采用模塊化設計和開放式標準,使無人平臺面向未來。通過全企業范圍內的合作和警惕,無人駕駛系統實際上可以以負責任的方式部署,從而贏得信任。
人工智能的前景是廣闊的,但如果不對其力量加以控制,危險也會隨之而來。如果將嚴格的網絡安全保護措施融入系統架構中,人工智能操作系統就能加強國家安全,為作戰人員提供持久優勢,應對不斷變化的威脅。A&D 行業有義務以明智和合乎道德的方式開發和利用這些技術。通過將安全放在首位,行業和政府可以負責任地獲得人工智能的好處,同時保障生命和自由。
包括機器人、人工智能和無人機在內的軍事技術進步正在改變戰爭。目前,人工智能可用于監視、預測分析和戰斗支援等。然而,由于這項技術在軍事領域的潛在利用和操縱,出現了道德問題。在這種情況下,人工智能的發展可能導致地緣政治緊張局勢和軍備競賽,從而增加不穩定。從這個角度來看,謹慎監管和遵守國際人道法對于負責任的部署至關重要。
眾所周知,軍事技術在歷史上發生了重大變化,創新和進步改變了戰爭的方式。在此背景下,軍事技術繼續快速發展,機器人、人工智能、無人機等領域的不斷發展,塑造了戰爭的未來。
目前,人工智能(AI)有可能在提高士兵的戰斗能力方面發揮重要作用。據報道,自俄羅斯全面對烏行動以來,人工智能已被用于分析不同類型的數據,以加強決策和為目標提供信息,處理敵人的通信、面部識別技術和網絡防御,僅舉幾例。在這種情況下,人工智能在俄烏沖突中產生了一些影響,人工智能驅動的面部識別軟件還可以讓烏克蘭執法機構和記者識別俄羅斯士兵。
然而,重要的是要注意,雖然人工智能有可能徹底改變軍事行動,但它也引發了道德方面的考慮。因此,當今圍繞人工智能的最復雜的全球治理挑戰涉及其在國防和安全方面的應用。
目前,有聲音認為,人工智能在戰爭中的開發和使用應以謹慎監管和遵守國際人道法為指導,以確保負責任和負責任的部署。全球應努力建立強有力的規范,以促進人工智能和自主系統的負責任軍事使用。
如今,人工智能正在顛覆軍事領域。據文獻報道,該技術可以通過多種方式部署在軍事行動中。在此上下文中,其中一些用途涉及以下問題:
-監視和偵察:人工智能驅動的無人機和衛星可以提供有關敵人行動的實時情報,使士兵能夠就自己的定位和戰略做出明智的決定。
決策支持:人工智能算法還可以通過分析大量數據、考慮各種因素并生成可操作的見解來幫助指揮官快速做出決策。這可以大大增強態勢感知能力并實現更快的響應時間。
戰斗支援:人工智能驅動的機器和機器人系統可以執行危險任務,例如爆炸物處理(EOD),從而降低人的生命風險。此外,這些系統還可以支持風險活動,例如在戰場上營救受傷的士兵。
預測分析:人工智能可以分析大量數據,包括情報報告、監控錄像和社交媒體帖子,以預測潛在威脅并識別模式。這可以幫助軍事戰略家做出明智的決策并為各種情況做好準備。
自主武器系統:人工智能可用于開發自主武器平臺,無需人工干預即可識別和打擊目標。這些系統可以大大提高軍事行動的有效性和效率。
虛擬訓練和模擬:人工智能可用于創建逼真的虛擬訓練環境和模擬,以提高士兵的技能和戰備狀態。通過模擬各種戰場場景,士兵可以針對不同情況進行訓練,提高他們在壓力下的戰術能力和決策能力。
后勤和供應鏈管理:人工智能驅動的后勤系統可以優化部隊、設備和物資的流動,確保高效部署并最大限度地減少停機時間。
網絡安全和反情報:人工智能算法可以實時檢測和響應網絡威脅,增強軍事網絡和系統的網絡安全。此外,基于人工智能的反間諜方法還可以通過分析大量數據和檢測異常來幫助識別潛在的漏洞和滲透。
目前,在軍事領域使用人工智能有幾個后果。眾所周知,人工智能在戰爭中的影響是復雜的,需要持續的對話和國際合作,以確保負責任和負責任的使用。在這種情況下,其中一些后果如下:
提高效率和準確性:人工智能可用于自動化各種軍事任務,從而提高決策、瞄準、戰略規劃和增強戰場能力的效率和準確性。這可能導致更快、更有效的軍事反應。
倫理考慮:在戰爭中使用人工智能引發了倫理問題。配備人工智能的自主武器系統可能會在沒有人為控制的情況下執行行動。誰應對人工智能武器的行動負責的問題變得復雜,引發了關于問責制和潛在侵犯人權行為的辯論。
不對稱性增加:先進的人工智能技術可能會擴大擁有人工智能能力的國家與無法獲得人工智能能力的國家之間的鴻溝。這可能導致力量失衡,可能加劇地緣政治緊張局勢和沖突。
軍備競賽升級:人工智能在戰爭中的發展和部署可能導致各國軍備競賽加劇。每個國家都可能努力超越彼此的人工智能能力,這可能導致更高的沖突和不穩定風險。
易受利用:用于戰爭的人工智能系統可能容易受到對手的利用、黑客攻擊或操縱。這可能會對國家安全構成風險,并導致不可預測的后果。
潛在的意外后果:人工智能系統可以根據算法和模式做出決策,而這些算法和模式可能并不總是考慮倫理或道德影響。人工智能驅動的軍事行動可能導致意外的平民傷亡或附帶損害。
隨著時間的推移,軍事技術有了顯著的發展,提高了軍事行動的有效性和效率,提高了士兵的戰斗能力。通過這種方式,機器人技術、人工智能和無人機的進步正在塑造戰爭的未來。目前,人工智能可以通過多種方式部署,包括監視和偵察、預測分析、自主武器系統、決策支持、戰斗支持、虛擬訓練和模擬、供應鏈管理、網絡安全和反情報等。
然而,由于自主武器系統可能在沒有人為控制的情況下執行行動,因此出現了倫理問題。擁有人工智能能力的國家之間日益不對稱可能導致地緣政治緊張局勢和沖突。此外,人工智能在戰爭中的發展和部署也可能導致軍備競賽,增加沖突和不穩定的風險。此外,人工智能系統可能容易受到利用、黑客攻擊或操縱,并且可能并不總是考慮倫理或道德影響,從而可能造成意外的平民傷亡或附帶損害。
從這個角度來看,謹慎監管和遵守國際人道法對于負責任和負責任地部署這項技術至關重要。
參考來源:The Future of Technology
航空航天和國防領域正在經歷一場變革,其主要驅動力是將人工智能(AI)和機器學習(ML)技術集成到為軍事設計的傳感器、武器和信息系統中。在精確度、快速決策和穩健性至關重要的環境中,人工智能/機器學習已成為一項關鍵技術,可加快對態勢的理解和決策,提高作戰效率。這些技術使軍事行動更有可能克服 "戰爭迷霧",人工智能/機器學習基于無休止和持續的信號收集,而不是人眼可見的跡象,使感官和態勢理解更加敏銳。這些部門的獨特要求,如多域作戰、極端條件下的應變能力、高風險決策、互操作性和先進的安全措施,為人工智能發揮重大影響創造了條件。
航空航天和國防領域轉向人工智能有幾個關鍵因素:
1.快速準確的決策:軍事行動在時間和空間上都具有決定性意義。人工智能系統快速處理和分析海量數據的能力對于實時做出戰略和行動決策至關重要。挖掘來自不同來源和領域的信息并快速融合這些數據,可為決策者提供可在短周期內實施的行動情報,從而在分配的時間和空間內產生預期效果。
2.彈性和可靠性: 人工智能應用程序必須在各種具有挑戰性的環境中始終如一地運行;其建議和響應必須可信、可靠,并且不會出現商業大型語言模型(LLM)所遇到的 "幻覺"。信心和信任是軍事人工智能系統中最重要的因素,能讓用戶利用這些系統發揮最大價值。安全和信心不應是設計功能,而應是軍事人工智能系統基線基礎設施的一部分。此外,還應考慮物理安全和安保問題,采用分布式系統、邊緣處理以及強大而有彈性的網絡,使人工智能隨時隨地為作戰部隊提供支持。
3.道德和受控的自動化:無論是否有制衡機制來實現人類的信任,軍事系統的高風險都要求人工智能系統納入并遵守道德標準,并允許人類在不減慢整個流程的情況下進行監督。盡管 "道德標準 "是一個不固定的術語,取決于設計者和用戶的法律、文化、宗教和社會背景,但它為人工智能操作定義了 "游戲場地 "和邊界,就像戰爭法定義了作戰人員在戰時能做什么或不能做什么一樣。
4.先進的安全措施:鑒于國防行動的敏感性,人工智能系統必須具備無與倫比的網絡安全能力,消除系統訓練和操作過程中的不利和惡意行為。人工智能系統依賴于網絡、信息、數據饋送以及通過訓練嵌入的算法。在設計或訓練過程中篡改這些基礎,或在系統運行階段對其進行惡意操作,都可能會給用戶和依賴系統帶來巨大風險和意想不到的后果。因此,從早期設計階段就應考慮安全措施,包括風險檢測、規避和應對。
研究了數十家公司的產品,觀看了演示,并在展覽和會議上聽取了官員的介紹。通過研究,掃描了市場上專為軍事行動設計或能夠支持軍事用途的人工智能系統。使用現有最好的人工智能工具進行研究,但即使這樣也需要大量的人工分析才能提供符合標準的可用信息。在第一部分中,挑選了五個在軍事行動中表現出色的人工智能系統。
為何選擇:作為行業領導者,洛克希德-馬丁公司是將人工智能廣泛應用于國防領域的典范。他們的 AI Factory 計劃展示了他們在該領域推進 AI/ML 技術的承諾。它提供了一個安全的端到端模塊化生態系統,用于訓練、部署和維持可信賴的人工智能解決方案。其功能側重于從開發到部署和維護的自動化,應用 MLOps 解決方案(機器學習運營)來驗證、解釋、保護和監控所有機器學習生命周期階段,并創建可跨項目重復使用的參考架構和組件。
影響:從作戰飛機到太空探索,洛克希德-馬丁公司通過其人工智能驅動的解決方案影響著全球國防戰略,樹立了行業標準并為未來的技術進步鋪平了道路。
為何選擇: Palantir 在大數據分析領域舉足輕重,為情報收集和作戰計劃提供人工智能平臺。他們的 AIP 平臺為綜合解決方案奠定了基礎,通過向決策者提供相關信息、利用可用傳感器增強信息以及根據對信息、紅軍和藍軍戰術、技術和程序(TTP)的理解向決策者提供相關的、可操作的響應,從而增強軍事組織的能力并使其同步化。
影響: Palantir AIP 將大型語言模型和尖端人工智能的力量結合起來,激活數據和模型,以安全、合法和合乎道德的方式從最高度敏感的環境中獲取信息。他們的系統利用信息源的可追溯性和可信推理,在復雜的國防環境中實現數據驅動決策,說明人工智能在作戰計劃和情報行動中的重要性與日俱增。
為何選擇:Anduril Industries 站在將人工智能整合到自主系統和監控技術的前沿,改變傳統的防御戰略,采用可信賴的有人無人操作能力。
影響:他們的任務自主方法是從邊境安全和態勢感知發展而來的。他們的 Lattice AI 操作系統重新定義了防御方法,引入了分布式任務自主,采用由小型人類團隊操作的眾多無人系統。核心軟件提供傳感器融合、目標識別和跟蹤、智能網絡、指揮和控制。與其他解決方案不同的是,Anduril 的方法是通過添加可操作的使能因素,將其人工智能的覆蓋范圍擴展到 Lattice 核心之外--在安全領域,這些使能因素包括 Sentry 傳感器、Anvil 和 Roadrunner 反制措施。在進攻性打擊任務中,例如在美國陸軍的 "空中發射效應 "中,該系統通過Altius長續航時間傳感器、Fury Attritable飛機和Altius 700M效應器,將Anduril的移動自主概念發揮到極致。作為一個集成解決方案,它通過擴展覆蓋范圍、能力和態勢感知,使人類能夠使用自主系統,同時使作戰人員能夠更快地做出更好的決策。
為何選擇:C3.ai 的突出之處在于其將各種人工智能工具整合到 AI-Readiness 中的戰略,這是一個安全、統一的平臺,具有可信任、彈性和可互操作的可擴展系統,可在整個生命周期內連接和管理復雜且不同的資產。
影響: 通過提高決策和運營效率,C3.ai 的解決方案優化了資源管理和維護計劃,證明了人工智能在提高國防資產的可用性和使用壽命方面的作用,同時還能保持高安全標準。為支持引入人工智能驅動的解決方案,該公司提供了一個人工智能開發工作室,將技術評估加速到數天,并在數周或數月內完成應用開發和部署,而不是數年。
為何選擇:赫爾辛公司代表了新一輪專注于專業人工智能應用的國防初創企業,他們得到歐洲主要國防企業的支持,凸顯了赫爾辛公司在人工智能國防市場的潛力和影響力。
影響:赫爾辛公司在情報分析和決策支持方面的人工智能解決方案利用先進的目標識別和人工智能賦能的電子戰技術,與其他合作伙伴的解決方案一起,必將成為雄心勃勃的未來空戰系統(FCAS)這一任務系統的人工智能支柱的一部分。赫爾辛公司專為現代戰爭量身定制,將為未來提供獨一無二的人工智能國防和航空應用。自 2022 年以來,赫爾辛公司一直活躍在烏克蘭,為前線作戰提供能力和技術。
正如這些領先公司所展示的那樣,航空航天和國防領域正在走向以人工智能為中心的未來。市場格局多種多樣,發展迅速。每家公司都以獨特的方式塑造人工智能的市場、技術和未來,凸顯了人工智能對全球國防和航空航天戰略的變革性影響。這一趨勢增強了當前的能力,為軍事和太空行動開辟了新的可能性,標志著國防技術進入了一個新時代。
參考來源:DEFENSE UPDATE
人工智能(AI)究竟是什么?它與電子戰(EW)的未來有什么關系?人工智能正在改變我們所做的一切嗎?如果忽視人工智能,那將是一個錯誤。眾所周知,特斯拉采用了人工智能算法,特別是卷積神經網絡、遞歸神經網絡和強化學習。從根本上說,這些算法可以匯編來自多個傳感器的數據,分析這些數據,然后做出決策或向最終用戶提供信息,從而以驚人的速度做出決策。這一過程以指數級的速度發生,超過了人腦的處理速度。因此,從根本上說,人工智能是機器像人類一樣執行認知功能的能力。
人工智能可以駕駛汽車、撰寫學期論文、以適當的語氣幫你創建電子郵件,因此,它在軍事領域的潛在應用也是理所當然的。具體來說,就是整合人工智能電子戰及其提供的潛在能力轉變。雖然 "電子戰 "一詞已經使用了相當長的一段時間,但將人工智能注入這一領域為提高速度和殺傷力和/或保護開辟了新的途徑。
電子戰包含一系列與控制電磁頻譜有關的活動,傳統上一直依賴人類的專業知識來探測、利用和防御電子信號。然而,現代戰爭的速度和復雜性已經超出了人類操作員的能力。這正是人工智能的優勢所在,它帶來的一系列優勢將徹底改變電子戰的格局。
將人工智能融入電子戰的首要好處之一是增強了實時處理和分析海量數據的能力。在數字時代,戰場上充斥著來自通信網絡、雷達系統和電子設備等各種來源的大量信息。人工智能算法可以迅速篩選這些數據,識別出人類操作員可能無法識別的模式、異常情況和潛在威脅。這種能力不僅能提高威脅檢測的準確性,還能大大縮短響應時間,使友軍在快速演變的局勢中獲得關鍵優勢。
在這種情況下,人工智能賦能的兵力倍增器就出現了,它能在面對復雜多變的局勢時做出更高效、更有效的決策。現代戰場會產生大量電子信號,需要快速準確地識別。人工智能驅動的算法擅長篩選這些數據、辨別模式,并識別在以往場景中可能被忽視的信息。這使兵力能夠迅速做出反應,以更快的速度做出關鍵決策。
此外,人工智能還具有適應和學習新信息的能力,這一特性在電子戰領域尤為有利。電子威脅和反制措施處于不斷演變的狀態,需要反應迅速和靈活的策略。人工智能驅動的系統可以根據不斷變化的情況迅速調整戰術,持續優化性能,而無需人工干預。這種適應性對于對抗復雜的電子攻擊和領先對手一步至關重要。
人工智能與電子戰的融合還為指揮官提供了更先進的決策工具,比歷史標準更詳細、更快速。人工智能算法可以分析各種場景,考慮地形、天氣以及友軍和敵軍兵力等因素。這種分析為指揮官提供了全面的戰場情況,使他們能夠在充分了解情況的基礎上做出決策,最大限度地提高任務成功的概率,最大限度地降低潛在風險。此外,人工智能驅動的模擬可以演繹不同的場景,使軍事規劃人員能夠完善戰略,評估不同行動方案的潛在結果。美國今年早些時候進行了一次以印度洋-太平洋地區為重點的演習,將大語言模型(LLM)作為規劃和決策過程的一部分。一位演習成員稱贊了系統 "學習 "的成功和速度,以及系統成為戰場上可行資源的速度。另一個例子是,利用已輸入人工智能系統的數據對目標清單進行優先排序,人工智能系統能夠考慮瞄準行動、網絡,從而比操作人員更快、更全面地了解戰區情況。
不過,必須承認,要完成人工智能整合,還存在一些潛在的障礙。首先,美國防部大多數實體無法直接獲得人工智能技術。大多數從事前沿人工智能工作的組織都是商業公司,它們必須與軍事系統合作或集成。這可能會受到美國現行預算和研發流程的阻礙。此外,美國的這些流程進展緩慢,人工智能技術很有可能無法融入美國兵力。還有潛在的道德和安全考慮。隨著人工智能系統在探測和應對威脅方面承擔更多責任,人類的監督和控制水平也會出現問題。為了與戰爭法則保持一致,需要有人工參與,而不是完全依賴人工智能來做出攻擊決策。任何時候,只要有可能造成人員傷亡、附帶損害或其他問題,就需要人類做出有意識的知情決策,而不能任由人工智能自生自滅。在人工智能自主決策和人工干預之間取得適當的平衡至關重要,以防止意外后果或機器在沒有適當問責的情況下做出生死攸關的選擇。
最后,人工智能的整合引發了對潛在網絡漏洞的擔憂。雖然人工智能可以提高電子戰的速度和準確性,但它也為試圖操縱或破壞人工智能系統的惡意行為者帶來了新的攻擊途徑。要保護這些系統免受網絡威脅,就必須采取強有力的整體網絡安全方法,同時考慮到人工智能驅動的電子戰的硬件和軟件層。
最后,不可否認,將人工智能融入戰爭預警的潛在戰略利益是巨大的。人工智能處理海量數據、適應不斷變化的條件和支持決策過程的能力有可能重塑現代戰爭的格局。隨著兵力越來越依賴技術來保持在數字化作戰空間中的優勢,負責任地開發和部署人工智能驅動的預警系統將是必要的。 如何在技術創新、人工監督和安全措施之間取得適當平衡,將決定能在多大程度上實現這些優勢,同時又不損害戰略目標或道德考量。美國采購系統面臨的挑戰也將在人工智能集成中發揮關鍵作用。人工智能在電子戰中的變革力量有可能改變游戲規則。問題是:它會嗎?人工智能將如何融入新型 EC-37B Compass Call 和 NexGen 干擾機等未來平臺?陸軍是否會將人工智能納入其推動營級決策的努力中?這些都是值得探討的問題,但有一點是肯定的:電磁作戰界必須繼續接受創新思維,因為我們知道未來的戰斗將在電磁頻譜中開始和結束。人工智能將在現代戰爭的新時代發揮關鍵作用。
從規劃到執行,人工智能(AI)在軍事行動中發揮著越來越重要的作用。隨著技術的進步,將人工智能融入國防戰略已成為各國保持競爭優勢、確保國民安全和安保的關鍵所在。人工智能在軍事行動中的潛在應用非常廣泛,從加強決策過程到提高軍事系統的效率和效力,不一而足。
人工智能在軍事行動中的主要應用方式之一是分析大量數據。在當今的信息時代,兵力從衛星圖像、信號情報和社交媒體等各種來源生成和收集海量數據。人工分析這些數據是一個耗時耗力的過程,可能會延誤關鍵決策。而人工智能算法則能以更快的速度處理和分析這些數據,使軍事指揮官能夠根據實時信息做出更明智的決策。
除數據分析外,人工智能還被用于加強軍事行動的規劃和執行。例如,人工智能驅動的系統可以通過模擬各種場景和預測不同戰略的結果,幫助軍事戰略家制定更有效、更高效的作戰計劃。這樣,指揮官就能根據最準確的最新信息選擇最佳行動方案。此外,人工智能還可用于優化人員和裝備等資源的分配,確保以最有效的方式部署兵力。
人工智能在軍事行動中的另一個重要應用是開發自主系統。無人駕駛飛行器(UAVs)又稱無人機,由于能夠在不危及人類生命的情況下執行監視和偵察任務,已成為現代戰爭的主要裝備。人工智能技術有可能進一步提升這些能力,使無人機能夠自主運行,根據周圍環境和任務目標做出決策,而無需人工干預。這不僅能降低人類操作員的風險,還能更高效、更有效地利用這些資產。
此外,人工智能正被集成到各種軍事系統中,以提高其性能和能力。例如,人工智能驅動的算法可用于提高導彈防御系統的精確度和瞄準能力,增強其攔截和消除來襲威脅的效力。同樣,人工智能也可用于提高軍事通信系統的性能,確保信息在不同單位和指揮中心之間快速、安全地傳輸。
盡管人工智能為軍事行動帶來了諸多好處,但也存在一些需要解決的問題和挑戰。其中一個主要問題是在戰爭中使用人工智能所涉及的倫理問題,特別是當涉及到可以在沒有人類干預的情況下做出生死攸關決定的自主系統時。確保這些系統遵守國際法和道德標準對于防止潛在的濫用和意外后果至關重要。
另一個挑戰是對手惡意利用人工智能技術的風險。隨著人工智能變得越來越先進,越來越容易獲取,人們越來越擔心敵對行為體可能會利用人工智能開發出新的、更復雜的網絡戰形式,甚至制造出難以防御的人工智能武器。
總之,將人工智能融入軍事行動有可能徹底改變戰爭的打法和勝負。從加強決策過程到提高軍事系統的效率和效力,人工智能提供了眾多好處,可以幫助各國在日益復雜和不可預測的全球安全環境中保持競爭優勢。然而,必須解決與戰爭中的人工智能相關的倫理問題和潛在風險,以確保負責任地使用這項技術,并為更大的利益服務。
參考來源:TS2 space,作者:Marcin Fr?ckiewicz
機器學習是現代戰爭系統的關鍵組成部分。本文探討了人工智能的 7 個關鍵軍事應用。
機器學習已成為現代戰爭的重要組成部分,也是我(Nicholas Abell)作為陸軍退伍軍人和數據科學家的主要興趣點。與傳統系統相比,配備人工智能/機器學習的軍事系統能夠更有效地處理大量數據。此外,人工智能由于其固有的計算和決策能力,提高了作戰系統的自我控制、自我調節和自我驅動能力。
人工智能/機器學習幾乎被部署在所有軍事應用中,軍事研究機構增加研發資金有望進一步推動人工智能驅動系統在軍事領域的應用。
例如,美國國防部 (DoD) 的國防高級研究計劃局 (DARPA) 正在資助一種機器人潛艇系統的開發,該系統預計將用于從探測水下水雷到參與反潛行動的各種應用。此外,美國國防部在 2017 財年在人工智能、大數據和云計算方面的總體支出為 74 億美元。預計到 2025 年,軍事 ML 解決方案的市場規模將達到 190 億美元。
以下是機器學習將在未來幾年證明其重要性的七種主要軍事應用。
來自全球不同國家的國防軍隊正在將人工智能嵌入陸地、海軍、空中和太空平臺上使用的武器和其他系統中。
在基于這些平臺的系統中使用人工智能,可以開發出更少依賴人工輸入的高效作戰系統。它還增加了協同作用,提高了作戰系統的性能,同時需要更少的維護。人工智能還有望使自主和高速武器能夠進行協作攻擊。
軍事系統通常容易受到網絡攻擊,這可能導致機密軍事信息丟失和軍事系統損壞。然而,配備人工智能的系統可以自主保護網絡、計算機、程序和數據免受任何未經授權的訪問。
此外,支持人工智能的網絡安全系統可以記錄網絡攻擊的模式,并開發反擊工具來應對它們。
人工智能有望在軍事后勤和運輸中發揮關鍵作用。貨物、彈藥、武器和部隊的有效運輸是成功軍事行動的重要組成部分。
將人工智能與軍事運輸相結合可以降低運輸成本并減少人力工作負荷。它還使軍用艦隊能夠輕松檢測異常并快速預測組件故障。最近,美國陸軍與 IBM 合作,使用其 Watson 人工智能平臺來幫助預先識別 Stryker 戰車的維護問題。
正在開發人工智能技術以提高復雜戰斗環境中目標識別的準確性。這些技術使國防軍隊能夠通過分析報告、文檔、新聞提要和其他形式的非結構化信息來深入了解潛在的作戰領域。此外,目標識別系統中的人工智能提高了這些系統識別目標位置的能力。
支持人工智能的目標識別系統能力包括基于概率的敵人行為預測、天氣和環境條件匯總、潛在供應線瓶頸或漏洞的預測和標記、任務方法評估以及建議的緩解策略。機器學習還用于從獲得的數據中學習、跟蹤和發現目標。
例如,DARPA 的競爭環境中的目標識別和適應 (TRACE) 計劃使用機器學習技術在合成孔徑雷達 (SAR) 圖像的幫助下自動定位和識別目標。
在戰區,人工智能可以與機器人手術系統 (RSS) 和機器人地面平臺 (RGP) 集成,以提供遠程手術支持和疏散活動。美國尤其參與了 RSS、RGP 和其他各種用于戰場醫療保健的系統開發。在困難條件下,配備人工智能的系統可以挖掘士兵的病歷并協助進行復雜的診斷。
例如,IBM 的 Watson 研究團隊與美國退伍軍人管理局合作開發了一種稱為電子病歷分析器 (EMRA) 的臨床推理原型。這項初步技術旨在使用機器學習技術來處理患者的電子病歷,并自動識別和排列他們最嚴重的健康問題。
模擬與訓練是一個多學科領域,它將系統工程、軟件工程和計算機科學結合起來構建計算機模型,使士兵熟悉在軍事行動中部署的各種作戰系統。美國正在越來越多地投資于模擬和訓練應用。
美國海軍和陸軍都在進行戰爭分析,啟動了幾個傳感器模擬程序項目。美國海軍已經招募了 Leidos、SAIC、AECOM 和 Orbital ATK 等公司來支持他們的計劃,而美國陸軍的計劃得到了包括 SAIC、CACI、Torch Technologies 和 Millennium Engineering 在內的公司的支持。
威脅監控和態勢感知在很大程度上依賴于情報、監視和偵察 (ISR) 工作。ISR 行動用于獲取和處理信息以支持一系列軍事活動。
用于執行 ISR 任務的無人系統既可以遠程操作,也可以按照預先定義的路線發送。為這些系統配備人工智能有助于防御人員進行威脅監控,從而提高他們的態勢感知能力。
具有集成 AI 的無人駕駛飛行器 (UAV) - 也稱為無人機 - 可以巡邏邊境地區,識別潛在威脅,并將有關這些威脅的信息傳輸給響應團隊。因此,使用無人機可以加強軍事基地的安全,并提高軍事人員在戰斗中或偏遠地區的安全性和效率。
人工智能在軍事技術硬件和軟件的大規模采用,向我們展示了現代戰爭中令人難以置信和可怕的范式轉變。毫不奇怪,世界上最大的軍隊比其他任何事情都更加關注這項技術,而這場技術競賽的獲勝者可能會比美國在研制原子彈后擁有更多的全球影響力。 (作者:Nicholas Abell,美國陸軍退伍軍人)