邊緣人工智能（AI）包括一個由互聯系統和設備組成的網絡，這些系統和設備接收、緩存、處理和分析與數據捕獲位置密切相關的數據。近年來，AI效率的提升、物聯網（IoT）設備的廣泛使用以及邊緣計算的興起，揭示了邊緣AI的巨大潛力。邊緣AI的目標是優化數據處理的效率和速度，同時確保數據的機密性和完整性。盡管這一研究領域相對較新，從2014年開始到現在，但在過去五年中已經顯示出顯著和快速的發展。在本文中，我們對邊緣AI進行了系統的文獻綜述，討論了現有研究、最新進展和未來的研究方向。我們創建了一個用于云和邊緣計算分析的協作邊緣AI學習系統，包括對支持這一機制的架構的深入研究。邊緣AI的分類法有助于邊緣AI系統的分類和配置，同時還考察了其在基礎設施、云計算、霧計算、服務、使用案例、機器學習和深度學習以及資源管理等諸多領域的潛在影響。本研究強調了邊緣AI在網絡邊緣處理實時數據的重要性。此外，它還突出了邊緣AI系統面臨的研究挑戰，包括資源限制、安全威脅的脆弱性以及可擴展性問題。最后，本研究強調了旨在通過提供創新解決方案來解決邊緣AI當前局限性的潛在未來研究方向。

關鍵詞：邊緣計算、人工智能、云計算、機器學習、邊緣AI

I. 介紹

近年來，人工智能（AI）效率的提升、物聯網（IoT）設備的采用以及邊緣計算能力的增強，正在共同釋放邊緣人工智能（Edge AI）的潛力【1】。眾多分析師和企業正在討論和實施邊緣計算，其起源可以追溯到20世紀90年代，當時位于客戶附近的邊緣服務器被用于通過內容分發網絡提供網頁和視頻內容【2】。在這一邊緣AI中，邊緣計算是一種范式轉換，它將數據存儲和處理更接近數據源，從而提高響應時間并減少帶寬使用。與傳統云計算不同的是，邊緣計算在網絡的邊緣處理數據【3】。這種接近性降低了延遲，提高了實時數據處理能力，并支持IoT設備和服務的擴展【4】。邊緣計算的主要優勢包括服務靈活性提高、低延遲、增強的一致性以及消除單點故障，使其在智能城市、自主車輛和工業自動化應用中高度相關【5】。通過地理分布計算資源，邊緣計算確保數據處理發生在數據源附近，滿足實時分析和決策的需求。

另一方面，AI包含廣泛的技術和方法，使機器能夠執行通常需要人類智能的任務，如學習、推理和自我糾正【6】。AI的應用涉及多個領域，包括醫療、金融、交通等，在這些領域，AI用于分析大型數據集、自動化任務和提供預測性見解【7】。將AI整合到不同部門中，已經通過提高效率、改進決策和創造創新機會，徹底改變了流程。隨著機器學習（ML）或深度學習（DL）的改進，AI方法在執行需要人類認知功能的復雜任務方面變得越來越有能力【8】。特別是涉及神經網絡的AI算法在圖像和語音識別、自動駕駛和預測性維護等領域取得了顯著成功。

**A. 用于AI的邊緣計算

邊緣計算與AI的融合涉及在用戶設備上處理AI算法，提供如降低延遲、能源效率和實時應用等益處。這種集成允許在源頭進行實時數據處理和決策，顯著減少延遲和帶寬使用【9】。邊緣計算與AI的結合使得更智能和更靈敏的應用成為可能，如自主車輛、工業物聯網、智能家居系統等。通過利用邊緣AI，組織可以實現更高的效率、增強的隱私和更快的洞察力，推動各個領域的創新【10】。邊緣AI是指在網絡邊緣集成AI功能，使邊緣設備具備分布式智能。其目的是改善網絡連接性，支持具有定義質量目標的AI流水線部署，并允許數據驅動應用的適應【11】。在邊緣嵌入AI功能解決了基于云處理IoT的局限性，如隱私問題和網絡連接問題。邊緣AI的部署增強了對延遲敏感的任務，并減少了網絡擁塞，提高了無線網絡的效率和安全性。

此外，基于AI的技術在解決邊緣環境中的服務質量（QoS）感知調度和資源分配挑戰方面起著至關重要的作用，確保服務質量和用戶體驗。邊緣AI支持作為服務的AI（AIaaS）部署，具有可配置的模型復雜性和數據質量，提高了性能并降低了成本【12】【13】。這種創新方法通過在邊緣利用AI功能，支持智能安全應用并增強分布式系統的安全措施。邊緣智能，一種有前途的技術，通過將計算從云服務器轉移到IoT邊緣設備，賦能實時應用，創造了擁有廣闊可能性的智能企業【14】。在邊緣而非集中位置利用AI，釋放了與IoT設備和邊緣計算結合的AI潛力，在資源受限的邊緣設備上部署AI算法，用于各種應用如自主車輛、醫療保健和監控。 邊緣AI的重要性在于它能夠在不將大量數據發送到多個集中位置的情況下提供即時的洞察和行動【15】。這種能力在延遲和帶寬是重大限制的情況下尤為關鍵，如在自主駕駛中，必須實時做出決策，或在醫療保健中，必須快速處理患者數據以提供及時的干預【16】。邊緣AI的崛起也得益于硬件的進步，如更強大和高效能的處理器，使得在智能手機和IoT傳感器等設備上運行復雜的AI模型成為可能【17】。

**B. 動機和貢獻

將邊緣計算與AI結合的動機是多方面的，主要驅動因素是實時處理數據的迫切需求以及解決集中云計算系統固有局限性【18】。隨著連接設備數量的指數級增長和數據量的激增，傳統的云中心模型越來越多地面臨如延遲、帶寬限制和顯著的數據隱私問題。邊緣AI作為解決這些挑戰的關鍵方案，倡導本地化數據處理【19】。這種轉變不僅減少了對遠程云基礎設施的依賴，從而大幅降低延遲，還顯著增強了應用對實時數據輸入的響應能力。這種范式轉變對于推動需要瞬時數據分析和決策的下一代技術發展尤為重要，涵蓋了如自主車輛、智能城市基礎設施和尖端醫療系統等領域。

此外，邊緣AI使得即使在稀疏連接的情況下，應用也能高效運行，通過在源頭直接處理數據。這種能力在遠程或高度移動的環境中至關重要，在這些環境中，持續和可靠的互聯網訪問并不總是有保障的【20】。通過現場處理數據，邊緣AI顯著增強了數據隱私和安全措施，減少了將敏感信息傳輸到遠程服務器的需求。在如醫療和金融等領域，數據的機密性和完整性至關重要，這一特性尤為關鍵。邊緣AI還通過減少需要通過網絡傳輸的數據量，支持帶寬效率，是數據密集型應用的經濟選擇【21】。這種效率不僅降低了運營成本，還緩解了網絡擁堵，促進了更順暢和可靠的數據流。可擴展性是邊緣AI提供的另一個重要優勢【6】。隨著設備網絡的擴展，邊緣計算允許無縫擴展，而不會因集中處理能力的瓶頸而受限，使企業和技術能夠在不受基礎設施限制的情況下增長。

總的來說，邊緣計算與AI的結合不僅是技術進步，也是滿足現代應用動態需求的戰略必要。通過提倡降低延遲、增強隱私和安全、提高帶寬效率和可擴展性，邊緣AI將徹底改變數據驅動決策的方式，迎來一個高效且以隱私為中心的智能時代。

本文的主要貢獻是：

• 我們提供了對邊緣AI的全面介紹，涵蓋其歷史、挑戰和前景。
• 我們進行了系統的文獻綜述，基于多個應用領域對邊緣AI研究進行了詳盡的審查，突出當前趨勢和未來可能的方向。
• 我們提出了一個邊緣AI的分類法，有助于邊緣AI系統的分類和排列，并通過各種應用探索其跨學科的潛在影響。
• 我們強調了邊緣AI在網絡邊緣實時處理數據的重要性，同時指出了邊緣AI系統面臨的挑戰，如資源限制、安全風險和擴展問題。
• 我們提出了旨在通過提供創新解決方案和未來研究機會來解決邊緣AI當前局限性的有前途的未來方向。

****

**C. 文章組織結構

第二部分討論了一個相關的調查，重點關注與邊緣AI集成的不同應用中的算法、優化技術、安全和隱私問題。第三部分介紹了邊緣AI的背景和現狀。第四部分詳細描述了采用的審查方法。第五部分概述了涵蓋基礎設施、云計算、霧計算、服務、用例、機器學習和深度學習以及資源管理的分類法。第六部分基于分類法比較了現有的邊緣AI實現。第七部分呈現了分析和獲得的結果，并在第八部分討論了未來的研究方向。最后，第九部分總結了這項調查。

邊緣AI：背景與現狀

本節為讀者解釋了與邊緣AI背景和現狀相關的一些概念。子節III-A解釋了邊緣計算及其歷史起源。子節III-B提供了有關AI與邊緣技術整合的信息。接下來通過子節III-C和子節III-D分別解釋邊緣AI應用和挑戰。

**A. 邊緣計算的歷史起源

邊緣計算的概念是一種范式，將計算資源更接近數據源，而不是通過遠程服務器提供服務的云計算【51】。這樣可以在如今需要處理大量數據的世界中減少不必要的帶寬占用和延遲問題【52】。為了理解邊緣計算的出現，更有用的是考察之前的范式，如云計算和霧計算。圖1顯示了云計算、霧計算和邊緣計算各自的優點及其層次安排。現在簡要介紹這些概念：

• 云計算：云計算是一種可以追溯到1970年代的范式，指的是用戶通過互聯網在服務器上使用公共計算資源【53】。今天，主要由大公司如微軟Azure、谷歌云平臺和IBM云提供給用戶的各種服務模式。云計算的優點如下【54】：

• 高處理能力和集中存儲，使用戶可以輕松訪問資源，只要有互聯網。這減少了用戶的數據丟失風險，并為用戶提供了從任何有互聯網的地方工作的自由。

• 可擴展性，如果計算資源需求增加（需求波動），云計算通過擴展資源提供更多的處理能力和存儲服務。這樣，保證了SLA和QoS等性能指標。

• 按使用付費，通過云計算提供的無服務器（功能即服務（FaaS）+ 后端即服務（BaaS））服務模式，用戶只為使用的計算資源付費。這樣提供了一種經濟的模式，吸引更多用戶。

• 霧計算：霧計算的概念由思科在2012年提出【55】。這種范式建議將計算資源更接近網絡的終端（如路由器和網關），以減少云計算中的延遲和帶寬問題。當查看圖1時，霧計算作為云和邊緣之間的一層。霧計算的優點如下【56】：

• 由于將計算資源更接近網絡邊緣，霧計算的延遲低于云計算。

• 作為云和終端設備之間的一層，通過處理部分需要發送到云的大量數據，減少不必要的帶寬使用。

• 邊緣計算：物聯網和傳感器技術的發展使得需要處理的數據量增加到巨大的水平。在云計算資源上處理所有這些數據可能導致不必要的帶寬占用和延遲問題。因此，邊緣計算的概念作為一種通過在數據源附近處理數據來優化延遲和帶寬使用的范式應運而生【57】。此外，邊緣計算是解決霧計算所帶來的復雜性、安全性和管理挑戰（額外一層）的良好解決方案【58】。邊緣計算的優點如下【59】：

• 通過將數據處理移到網絡邊緣，減少延遲和帶寬使用，

• 相比霧計算，提供了如更少的復雜性和更好的安全性等優點。

**B. AI與邊緣技術的整合

將AI與邊緣計算的概念結合起來是最近的熱門話題之一。圖2顯示了一個解釋邊緣AI概念的主要圖示。邊緣AI是在靠近數據源的邊緣節點（物聯網和移動設備）上分布處理AI算法數據，而不是在集中式云平臺上處理數據【60】。這兩種技術提供的優點如下【6】：

• 在如低延遲、時間敏感的自主車輛和監測患者的電子健康等應用中，延遲量至關重要。通過邊緣和AI整合，可以通過實時處理數據來克服這個問題。
• 在數據安全方面，由于數據將在靠近源的點進行處理，敏感數據如生物特征數據將在網絡內的本地設備上處理。這樣可以消除如數據泄漏等安全隱患。
• 可擴展資源，邊緣范式由由同質或異質設備組成的節點組成。這樣，可以根據處理能力需求進行任務調度。

**C. 邊緣AI應用

由邊緣和AI概念結合創建的邊緣AI應用比基于云的AI應用提供了更低的延遲和更高的安全性。圖3展示了其中一些應用。讓我們解釋這些應用：

• 醫療保健：邊緣AI應用基于在網絡邊緣的分布式AI模型中處理從可穿戴設備收集的數據。此外，使用便攜式醫學成像技術進行的早期診斷研究可以作為例子【54】。
• 智能停車：隨著交通工具的增加，停車已成為一個大問題，特別是在大城市。可以利用傳感器和物聯網的幫助解決這些問題的邊緣AI解決方案【61】。
• 智能家居：用于現代家庭的解決方案如家庭照明系統和智能冰箱可以作為這些應用的例子。通過防止城市中不必要的電力消耗，可以優化能源消耗【56】。
• 計算機視覺：邊緣AI可以使用如生物特征認證的方法識別人員【51】。此外，邊緣AI在需要實時決策的工業應用中提供了巨大優勢【58】。
• 網絡安全：可以使用基于邊緣AI的安全應用檢測未經授權的訪問、可疑物品和持武人員。此外，可以通過檢測網絡上的可疑流量來進行異常檢測，以防止網絡攻擊【62】。
• 交通運輸：可以將基于邊緣AI的解決方案用于現代復雜的交通信號燈操作【63】。

**D. 邊緣AI實施挑戰

結合邊緣和AI而產生的邊緣AI帶來了其提供的優點，但也帶來了仍需解決的挑戰。這些挑戰顯示在圖4中。讓我們解釋這些挑戰：

• 能效：邊緣設備通常由具有低處理和存儲能力的同質和異質設備組成。需要自然語言處理（NLP）和密集圖像處理的應用將導致邊緣設備上過度的資源消耗【64】。因此，需要如專用AI芯片或任務工程等新解決方案。
• 維護和更新：由于邊緣設備由分布在不同位置的設備組成，這意味著黑客的更多攻擊目標【65】。此外，邊緣節點中的所有設備并非都是同質結構，這意味著每個節點需要單獨的系統維護和更新【66】。可以采取如自動更新等措施來解決這些問題。
• 可擴展性：由于邊緣設備通常由異質設備組成，將單個應用分配到不同設備仍然是一個挑戰（任務調度等）【67】。此外，難以在所有設備之間同步數據。可以使用有效的微服務架構和負載均衡算法來防止節點過載，解決這個問題。

多功能雷達的設計目的是在有限的資源（時間、頻率和能量）預算內執行不同的功能，如監視、跟蹤、火控等。雷達系統中的雷達資源管理（RRM）模塊對相關任務的優先級、參數選擇和調度做出決策。然而，最佳的 RRM 算法通常計算復雜，操作雷達需要采用啟發式方法。另一方面，基于人工智能（AI）的算法已被證明能以可控的計算復雜度產生接近最優的雷達資源分配結果。本調查研究旨在通過對基于人工智能的 RRM 技術進行全面的文獻綜述，使研究人員和從業人員更好地了解人工智能在 RRM 相關問題中的應用。我們首先介紹了 RRM 的背景概念，然后簡要回顧了用于 RRM 的符號 AI 技術。主要關注最先進的機器學習技術在 RRM 中的應用。我們強調最近的研究成果及其在實時資源分配優化的實際 RRM 場景中的潛力。本研究最后根據所做的調查，討論了有待解決的研究問題和未來的研究方向。

無線電探測和測距（俗稱雷達）的工作原理是向潛在目標發射電磁波，目標散射入射電磁波，接收終端接收散射信號，然后對接收到的能量進行信號處理，以提取有關目標的有意義信息。雷達最初是在第二次世界大戰期間為軍事應用而設計的，現在已被廣泛應用于軍事（如多目標跟蹤）、安全相關（如穿墻探測和跟蹤）或民用（如生物醫學和汽車雷達）領域。雷達有三種基本功能，即：(i) 搜索、(ii) 跟蹤和 (iii) 成像。在搜索操作中，雷達系統試圖通過在預設的仰角和/或方位角范圍內掃描來探測和獲取感興趣的目標。為了跟蹤移動目標，雷達會多次探測目標，獲取目標在射程、方位角/仰角范圍內的狀態觀測數據。在探測和跟蹤目標后，可啟動成像模式，從目標的大小、形狀、方位角、仰角和速度等方面獲取有關目標的信息[1]。

多功能雷達（MFR）[2]是雷達系統中相對較新的發展，能夠同時執行多種雷達功能，如監視、多目標跟蹤、波形生成和電子波束轉向[3, 4]。然而，所有雷達，甚至所有系統的資源都是有限的；就雷達而言，關鍵資源是時間、能量、頻率和計算。當需要同時執行多項任務時，這些資源必須以某種結構化的方式分配給各項任務。因此，雷達資源管理（RRM）[5] 需要在 MFR [6] 內進行任務優先級排序、參數選擇和資源分配。當雷達任務超載時，有效的資源管理尤為重要，也就是說，要正確執行所有分配的任務，需要的資源要多于可用資源。因此，RRM 背后的基本前提圍繞著 MFR 任務之間的優化和折衷。優化的目標是找到一種盡可能高效地分配資源的方法。在需要折衷的情況下，某些任務被認為更為重要，因此會在其他任務之前分配資源[7]。事實上，為了執行其他關鍵任務，一些優先級較低的任務可能會被放棄。

在 RRM 的第一階段，任務參數（如優先級、停留時間和重訪間隔）是在嚴格的資源限制條件下，通過啟發式方法 [8] 或聯合優化技術 [9] 確定的。優先級分配在情況層進行，而參數優化則根據資源管理的聯合實驗室主任數據融合模型[10]在對象層進行[4]。在第二階段，在測量層面進行任務調度，以確定任務執行的確切時間和順序，從而在雷達時間軸上容納盡可能多的任務，而不會造成重大延誤。

任務調度可使用基于隊列或基于幀的調度器[11]。基于隊列的調度器根據某些標準從有序列表中執行任務，如最早開始時間（EST）和最早截止時間優先調度器[6]。另一方面，基于幀的調度器則使用各種啟發式算法[12]或基于機器學習（ML）的算法[13]來逐幀估計要執行的最佳任務。RRM 調度算法可分為自適應算法和非自適應算法。自適應算法對任務進行優先級排序和調度，以優化雷達在動態變化環境中的性能雷達；而非自適應算法則預先確定任務優先級，任務調度采用一些預設的啟發式規則，不做任何優化[6]。

由于現代雷達必須執行越來越復雜的任務，最近的研究重點是開發認知雷達，即從環境和過去的行動中學習以提高性能的計算系統[14]。重要的是，認知雷達在學習了過去的性能和環境感知后，將以高效的計算方式做出接近最優的決策。參考文獻[14]中的最初建議是概念性的，而后來的研究則將這一概念進一步擴展到了認知雷達。[14]中的最初建議是概念性的，而最近 ML 技術的使用呈指數級增長，使得認知雷達的實現成為可能。

人工智能（AI）已應用于許多不同領域，如無線通信[15-18]、語音信號處理、計算機視覺和自然語言處理[19]等。人工智能算法涉及多個領域，如邏輯編程、推薦系統和 ML [20] 等。人工智能大致可分為符號人工智能（Symbolic-AI）和多重智能（ML），前者是通過規則引擎、專家系統和知識圖譜等人工干預進行符號推理，后者則是通過數據學習、識別模式，并在盡量減少人工干預的情況下做出決策[21]。近年來，美國國防部高級研究計劃局啟動了許多與雷達中的 ML 應用有關的項目，如射頻 ML 系統項目[22]、自適應電子戰行為學習項目[23]和自適應雷達對抗項目[24]。基于雷達的 ML 應用包括發射器識別和分類 [25，26]、圖像處理 [27，28]、圖像去噪 [29，30]、目標自動重建 [31，32]、目標檢測 [33，34]、抗干擾 [35]、最佳波形設計 [36] 和陣列天線選擇 [37]。此類應用中使用的一些基于 ML 的算法包括傳統的 ML 技術，如決策樹（DT）、支持向量機（SVM）、K-means 算法和隨機森林（RF）。一些值得注意的深度學習（DL）技術包括卷積神經網絡（CNN）、自動編碼器（AE）、深度信念網絡、遞歸神經網絡（RNN）和生成對抗網絡（GAN）。

• 貢獻和組織

雷達研究界認識到 ML 技術在不同領域的廣泛適用性，因此除了傳統的符號人工智能技術外，還開始將基于 ML 的算法應用到 RRM 任務中。由于這些工作相對較新，因此尚未對這一領域的文獻進行全面系統的調查。我們在本文中的工作填補了這一空白，對現有的 RRM 中的 ML 應用文獻進行了廣泛概述，同時還強調了雷達研究界需要關注的一些關鍵領域。一些相關的調查論文（摘要見表 1）討論了聯合雷達和通信 (JRC) 中的 RRM [42]、雷達信號處理中的 ML 應用 [43]，以及 RRM 算法概述 [44]。對人工智能研究的調查，尤其是對用于 RRM 的 ML 的調查，仍是一個未知領域，本文將對此進行探討。簡而言之，本文的貢獻如下：

• 利用 RRM 模型提供了 RRM 的基本知識和一些基本概念。此外，我們簡要討論了網絡雷達和認知雷達的 RRM 以及量化 RRM 領域性能的重要指標（第 2 節）。

我們簡要回顧了符號-人工智能領域一些著名的 RRM 作品，這些作品是最近基于 ML 的 RRM 的基準結果（第 3 節）。

• 將對應用于雷達 RRM 問題的 ML 進行全面回顧。討論將包括對 RRM 任務的分析，其中包括任務調度、時間資源管理、目標跟蹤、目標分類、頻譜分配和服務質量 (QoS) 資源管理。

• 將解釋研究人員如何將 ML 技術用于這些任務，以及使用這些技術的相關利弊（第 4 節）。

• 此外，為了完整起見，我們還將回顧近期有關人工智能的部分文獻，特別是人工智能在雷達非 RRM 相關任務中的應用。其中一些用例包括無人機探測、雷達監控、波形合成與識別以及醫學成像（第 5 節）。

• 最后，我們強調了基于 ML 的雷達所面臨的挑戰，并討論了潛在的研究方向。特別是，我們提出了強化學習（RL）的理由，以及它將如何在基于 RRM 的用例中發揮作用（第 6 節）。

基礎主題涵蓋了符號人工智能領域更多的傳統基準工作，而文章的后半部分則回顧了過去 4-5 年間與基于 ML 的 RRM 應用相關的最新成果，這些成果來自 IEEE Xplore 和 IET 等公共數據庫。我們特別關注了 IEEE 國際雷達會議、IEEE 雷達會議、Asilomar、IEEE 航空航天和電子系統論文集、IEEE 航空航天和電子系統雜志以及 IET 雷達聲納和導航論文集中的論文。我們希望我們的論文能幫助雷達領域的研究人員和專業人士找出研究差距，并在這一重要領域開展有意義的工作。

雷達資源管理的符號AI

本節簡要回顧了一些基于人工智能方法的雷達資源管理算法，這些算法具有問題、邏輯和搜索的高級符號表示。基于符號-人工智能的雷達資源管理方法分為六類：(i) 模糊邏輯算法；(ii) 信息論方法；(iii) 動態編程（DP）；(iv) 基于服務質量的資源分配模型（Q-RAM）；(v) 波形輔助算法；(vi) 自適應更新率算法。

3.1 模糊邏輯算法

模糊邏輯控制器計算效率高，因此非常適合在雷達任務調度器中執行優先級任務。模糊邏輯處理單元包括三個步驟： (i) 模糊化，(ii) 模糊規則，(iii) 去模糊化。由于雷達調度器中可能存在相互沖突的任務，模糊邏輯可通過分配模糊值作為目標優先級因素來解決沖突。在共享資源中，模糊邏輯允許任務具有一定程度的靈活性，以實現高效的資源分配。許多研究工作都提出在雷達任務優先級和調度中使用基于模糊邏輯的方法。例如，參考文獻[45, 46]提出了一種包含五個模糊變量（航跡質量、敵情、武器系統、威脅和位置）的決策樹結構，用于確定雷達任務的優先級。[45, 46]提出了雷達任務優先排序的決策樹結構。另一篇論文[51]提出了一種動態模糊邏輯方法，用于雷達系統模擬測試平臺中的波形選擇和能量管理。

3.2 信息論方法

由克勞德-香農[52]創立的信息論研究對整個科學，特別是通信、信號處理和控制產生了巨大影響。信息論方法在傳感器管理中的主要優勢在于，它將系統設計分為兩個獨立的任務：信息收集和風險/回報優化，從而簡化了系統設計 [53]。參考文獻[54]認為，信息理論方法可用于傳感器管理。[54]中提出，信息論方法能以直接的方式為多種性能標準提供增益，因此適合應用于多功能 RRM。參考文獻[55]中的工作引入了信息論測量方法。參考文獻[55]介紹了與 RRM 相關的信息論措施，這些措施已被證明適用于控制軌道更新的調度。

信息論中的一個關鍵指標是熵，它可以衡量系統的無序性，或者是從穩定狀態過渡到混亂狀態的跡象。這一指標可用于調度 [56] 或資源分配 [57]。在雷達系統中，參考文獻[58]首次提出了用于 RRM 的熵概念。[58]. 作者將不確定性因素用于有時間和資源限制的雷達系統。特別是，應用任務是使用單個多功能相控陣雷達確定目標位置并更新軌跡。所提出的方法使用了一個制定的熵度量來平衡分配給每個任務的資源。在實際系統中，需要使用自適應濾波器來更準確地確定熵值，從而獲得更可靠的性能。

3.3 動態規劃

動態規劃是多階段優化問題中一種常用的資源分配方案。該規劃首先將優化問題分割成若干子問題。然后，建立最優遞歸關系，并決定采用正向或逆向方法解決問題。在進行必要的計算后，就能找到每個階段的最優策略，進而得出總體最優策略。在 RRM 中，DP 算法可同時解決任務優先級和調度問題。在參考文獻[59]中，作者部署了一個任務優先級算法。[59]中，作者采用了一種 DP 算法來最小化相控陣雷達的目標跟蹤誤差。參考文獻[60]采用了隱馬爾可夫模型的多臂強盜問題，以優化波束調度。[60]中采用了隱馬爾可夫模型的多臂強盜問題，以優化電子掃描陣列跟蹤系統中的波束調度。另一篇論文[61]提出了一種基于 DP 的解決方案，用于更新相控陣雷達系統中搜索任務的調度。盡管文獻中已將 DP 廣泛用于雷達配置和參數維度的優化，但其計算復雜度較高，難以實際應用。

3.4 基于服務質量的資源分配模型算法

Q-RAM 是一種分析方法，用于在資源受限的環境中同時滿足多個 QoS 指標。利用該模型，可將可用資源在多個任務之間進行合理分配，從而最大化所選的凈效用函數。這種方法還允許在系統內的多個目標之間進行權衡。在 RRM 環境中，Q-RAM 的優化是為了保持可接受的服務質量水平，其模型是成本函數。其數學公式是在資源限制條件下，最大限度地提高基于服務質量的系統效用函數。參考文獻[62]介紹了 RRM 的 Q-RAM 框架。[62]，該框架由可調度包絡、Q-RAM 單元和基于模板的調度器組成。Q-RAM 單元作為資源分配單元，采用快速凸優化技術為雷達任務分配參數，同時考慮任務重要性和當前利用水平等因素。雷達 QoS 優化基于 Q-RAM 的早期工作[63]，最初用于自適應 QoS 中間件，用于基于 QoS 的資源分配和可調度性分析[64]。參考文獻[65]提出了一種基于預約的任務調度機制，可保證性能。[65] 中提出了一種基于預約的任務調度機制，可保證實時雷達的性能要求。另一項相關工作是[66]，它提出了一種基于模板的調度算法，可在離線情況下構建一組模板，同時考慮時序和功耗約束。參考文獻[67]則提出了一種動態 Q-RR 算法。[67]中，針對雷達跟蹤應用提出了一種動態 Q-RAM 方案，其中納入了影響任務 QoS 的物理和環境因素。參考文獻[68]中介紹的 Q-RAM 方法表明，基于時間的限制如何影響任務的 QoS。[68]展示了如何將基于時間的約束條件建模為利用率，以便使用資源管理技術。此外，在雷達跟蹤應用等高度可配置的任務中，優化時間被證明是可以縮短的。

3.5 波形輔助算法

雷達波形可從照明環境中提取所需的時間、頻率、空間、偏振和調制信息。它可以是連續波，也可以是脈沖波。就雷達內的任務調度和任務優先級功能而言，智能波形選擇可提高資源管理效率。不同的波形可優化雷達中的監視、探測、跟蹤和分類操作 [6]。

參考文獻[69]介紹了一種概率數據關聯方案，用于選擇最佳波形。[69] 中介紹了一種概率數據關聯方案，用于選擇最優波形參數，使每個時間步的平均總均方跟蹤誤差最小。同樣，參考文獻[70]還介紹了另一種波形輔助交互多重模型（IMM），其目的是選擇最優的波形參數，使每個時間步的平均總均方跟蹤誤差最小。[70]，其目標是根據目標動態模型的預期信息最大化，選擇能降低任意相關目標不確定性的波形。文獻[71]提出了波束和波形調度跟蹤器，研究了實用方法。[71]研究了實現 RRM 監視和跟蹤統一的實用方法。該方法引入了在雷達視場中明智地放置一個永久性的智能體，因此被命名為 "偏執跟蹤器"。 其他波形輔助探測、跟蹤和分類方法包括[72-74]。參考文獻[72]提出了一種自適應波形調度方法，用于在有限視界隨機 DP 的背景下探測新目標。[72] 中提出了一種在有限視界隨機 DP 背景下探測新目標的自適應波形調度方法，這種方法能以最小的雷達資源使用量最大限度地減少探測新目標所需的時間。Scala 等人[73] 提出了一種最小化跟蹤誤差的算法。參考文獻[74]中報告說，雷達波形在探測新目標時會產生誤差。[74]中指出，雷達波形可以通過最大化 Kullback-Leibler 信息數來區分目標，該信息數是觀測到的目標與備選目標之間差異的度量。研究表明，由此選擇的信號波形可顯著提高探測性能。

3.6 自適應更新率算法

自適應選擇采樣時間間隔可提高相控陣雷達的跟蹤性能[75]。這是因為高更新率適用于機動目標，而低更新率多用于非機動運動。因此，單一的更新率效率低下，可能不足以跟蹤執行復雜機動的目標。許多研究人員提出了自適應速率更新技術，如參考文獻[76]。[76]，其中波束調度、定位和檢測閾值根據計算負荷進行了優化。參考文獻[77]提出了一種 IMM 模型，具有雙重目的：一是通過優化計算負荷來優化光束調度、定位和檢測閾值；二是通過優化計算負荷來優化光束調度、定位和檢測閾值。[77]中介紹了一種 IMM 模型，其雙重目標是估計和預測目標狀態以及估計動態過程噪聲的水平。總體目標是減少單元時間內的軌道更新次數。另一項研究對軌跡更新進行了優化調度，以盡量減少雷達能耗[78]。能量最小化被模擬為一個非線性優化控制問題，并通過優化產生了一對軌跡更新間隔和信噪比（SNR）值的最佳序列。

符號人工智能具有出色的推理能力，但很難向其灌輸學習能力，而這正是人類智能的關鍵部分。由于符號人工智能依賴于顯性表征，而不考慮隱性知識，因此它很難發揮作用，尤其是在理解非結構化數據時（在雷達環境中，就 RRM 而言）。為此，人工智能領域引入了專注于機器自學的 ML1 范式。此后，ML 在許多領域都取得了巨大成功。最近，雷達研究界越來越傾向于將不同的 ML 技術用于 RRM 任務。下一節，我們將回顧基于 ML 的 RRM 的相關文獻。

雷達資源管理的機器學習

在本節中，我們將介紹這項工作的核心貢獻--對近期利用機器學習技術執行雷達資源管理任務的一些工作進行回顧。

大多數 RRM 任務都包括一定程度的優化，以選擇當前或規劃未來行動，尤其是對于認知雷達系統而言。然而，相關的計算成本可能會根據 RRM 任務的復雜程度而過度增加。例如，在有限的時間內同時執行多項任務的多目標飛行器中，最佳任務選擇和調度是一個 NP 難問題，當考慮到多條時間線時，復雜度會呈指數級增長。已有多種啟發式方法應用于該問題。雖然啟發式方法大大減少了計算時間，但啟發式方法的性能與全局最優解之間存在明顯差距。可以利用機器學習來彌補這一性能差距，同時保持較低的復雜度。通過使用離線學習、深度神經網絡（DNN）、在線學習和 RL，機器學習有能力在實時實施中降低計算成本。此外，一些 ML 模型還可以與啟發式方法一起訓練和使用，從而在相同的低復雜度水平下產生接近最佳的性能。

我們將在附錄中介紹一些最著名的 ML 算法，如圖 2 所示。這些算法已廣泛應用于通信領域，包括 RRM 和信號處理。傳統的 ML 算法大致分為以下幾種： (i) 監督算法；(ii) 無監督算法；(iii) RL 算法。監督學習算法通過標記的訓練數據來訓練一個函數，學習從輸入到輸出的映射。另一方面，無監督學習算法處理基于無標簽數據的聚類和關聯規則挖掘問題。在 RL 中，馬爾可夫決策過程（Markov decision processes，MDPs）等范例將利用和探索相結合，在環境中采取行動，以最大限度地提高累積獎勵。除上述三類算法外，一些 ML 算法還能從無標簽數據中結合少量標簽數據進行學習，這被稱為半監督學習（semi-supervised learning）。

深度學習是 ML 的另一種范式，據說其結構和功能以人腦為基礎，因此在科學計算領域大受歡迎。深度學習使用人工神經網絡對大量數據進行復雜計算。深度學習可以是監督式、非監督式或強化式，主要取決于神經網絡（NN）的使用方式。如圖 2 所示，用于深度監督學習的不同 NN 架構在深度 RL（DRL）中作為函數近似器特別有用。對于不熟悉 ML 范例背景和使用的讀者，可以參考最近的 ML 算法教程和概述 [79，80]。

本節的討論將根據 RRM 任務和功能進行劃分。具體而言，我們將討論最近基于人工智能的 RRM 文獻，涉及以下 RRM 任務領域：(i) 目標識別和跟蹤，(ii) 頻譜分配，(iii) 波形合成和選擇，(iv) 時間資源管理，(v) 任務調度和參數選擇，以及 (vi) Q-RAM。

4.1 目標識別和跟蹤

我們發現最近有許多關于目標檢測、目標跟蹤、雜波估計和雜波抑制的工作都采用了基于 ML 的技術。由于高效的 RRM 對進行實時識別和跟蹤至關重要，因此我們在本節中討論了這一功能。眾所周知，利用雷達之間的跟蹤和數據共享的協調 RRM 比獨立 RRM 任務的性能更好，而且占用的軌跡和幀時間更少 [81]。在參考文獻[82]中，貝葉斯多路復用（Bayesian multi-multi-RRM）技術被認為是最有效的方法。[82]中，使用高斯混合概率假設密度濾波器和長短期記憶網絡（LSTM）轉換函數進行貝葉斯多目標過濾。這項工作的目標是防止過濾器高估目標數量。該網絡架構基于高斯多變量密度估計，被稱為多維 LSTM（MD-LSTM）網絡。該架構由 3 個模塊組成： LSTM、密集層和輸出層。經過訓練的 MD-LSTM 模型將用于動態概率假設密度估計。在性能驗證方面，將提議模型的狀態估計與基準近恒速模型進行了比較。在另一項實驗中，利用不同的檢測概率評估了漏檢的影響。即使在誤報或漏檢的情況下，該模型也能防止濾波器過高估計目標[82]。這些性能僅代表了一種簡單的模擬場景，因此有必要利用真實數據為更復雜的場景探索最先進的 ML 技術。

另一項最新研究涉及用于認知雷達目標跟蹤的深度 Q 學習（DQL）[83]。假設環境要求雷達與通信共存，并使用馬爾可夫決策過程建模。單點目標被假定遵循某種直線恒速軌跡。馬爾可夫決策過程的狀態包括目標位置、目標速度和干擾模式。作者通過有限次數的訓練運行建立了過渡概率矩陣和獎勵矩陣。在完成訓練運行后，對基準 MDP 進行貝爾曼方程建模，同時根據特定動作的獎勵對神經網絡進行訓練。深度 Q 網絡（DQN）的權重會進行更新，以選擇被認為能帶來最高獎勵的最優行動。經過訓練的 DQN 將當前狀態作為輸入，并估算每個潛在行動的 Q 值，然后選擇 Q 值最高的行動。結果表明，當 DQN 在兩者都未訓練過的頻段內運行時，以及當計算復雜度增加而 MDP 變得低效時，DQN 的性能優于 MDP。

參考文獻 參考文獻[84]在雷達目標跟蹤應用中采用了極端梯度提升（XGB）監督學習，其效果優于著名的貝葉斯濾波方法。由于貝葉斯跟蹤器需要準確的先驗信息來進行估計，因此在未知環境中性能不佳。監督學習模型以極坐標為基礎，并根據雷達測量結果進行訓練。損失函數用于預測最優樹結構和估計相應的葉值。設計的 XGB 過濾器（XGBF）的性能與粒子濾波（PF）的結果進行了比較。結果表明，就估計均方根誤差（RMSE）而言，XGBF 優于 PF，并且在 10,000 個、20,000 個和 40,000 個樣本中表現出相似的性能。本文主要關注的是單目標過濾問題；將雜波和多目標測量相關性問題納入其中將是一個挑戰，尤其是在由于無法獲得真實數據而需要生成訓練數據的情況下，本工作就是如此。

在目標識別和檢測領域。Bauw 等人利用半監督異常檢測方法（SAD）解決了檢測異常雷達目標的難題[85]。利用 ML 識別高分辨率測距剖面目標最近在雷達研究界受到了廣泛關注。作者提出了一種 SAD 方法，它是對早期提出的深度支持向量數據描述模型[86]的擴展。無監督異常檢測，即使有訓練污染，也能產生可靠的結果，但船舶檢測場景除外，因為船舶的形狀和大小差異很大。半監督異常檢測有可能用較少的標注數據點來改善檢測結果；這是一個重要的優點，因為標注圖像數據是一個耗時且成本高昂的過程。另一方面，參考文獻[87]中的研究成果也能提高檢測結果。另一方面，參考文獻[87]中的工作使用了一種展開魯棒 PCA（RPCA）方法，用于雷達中的目標識別和干擾緩解。文中討論的用例專門針對安裝在自動駕駛車輛上的雷達。這項工作的主要創新點是在展開式 RPCA 的遞歸結構中引入殘余超完全自動編碼器塊，從而能夠估計環境中干擾的振幅和相位。汽車雷達推理緩解數據集 [88] 被用來訓練所提出的模型。無論是在接收器工作特征下面積（ROC）方面，還是在根據標簽信號計算的測距輪廓振幅與預測信號之間的平均絕對誤差方面，所提出的模型都優于選定的基準。

由于匹配濾波器和似然比檢驗在沒有先驗信息的情況下不可行，因此也有人提出了基于 DL 的無線電信號檢測技術。例如，在參考文獻[89]中，雙向 LL 檢測器被用于檢測無線電信號。[89] 中提出了基于 LSTM 的雙向去噪編碼器，用于檢測環境中是否存在雷達信號。LSTM 的雙向版本包含前向和后向傳遞，這使得非因果信息（即前向和后向相關性）的推導成為可能，從而提高了性能[90]。基于 RNN 的去噪自動編碼器在低誤報概率和更高的 ROC 下面積方面優于能量檢測器和時頻域檢測器等業界基準檢測器。

從背景干擾中分辨目標的能力在海事應用中變得更加重要，因為只有在掌握先驗環境信息的情況下，才能準確估計海面雜波。卷積神經網絡和自動編碼器 (AE) 在基于圖像的數據集方面表現出極高的分類準確性。為了研究它們在海面雜波檢測中的適用性，參考文獻[91]的作者使用了一個混合模型，其中包含了一個自動編碼器。參考文獻 [91] 使用包括 CNN 和 LSTM 的混合模型，以較低的計算復雜度估計 K 加噪聲分布的參數。CNN-LSTM 采用 CNN 層進行特征提取，LSTM 層支持序列預測。在均方誤差 (MSE) 和計算復雜度方面，一維 CNN-LSTM 估計器優于 z log(z) 算法。參考文獻[92]中的研究工作也側重于減輕對圖像的影響。[92]中的工作也側重于緩解海雜波回波造成的問題，這些問題會影響小型目標檢測時的性能。由于目標檢測方案使用的振幅分布需要特定參數的知識，這些參數估計不準確會導致檢測結果不佳。作者在參考文獻中使用了在線字典學習，用于學習信號的稀疏表示，收斂速度比字典學習更快。

使用大量測距/多普勒圖上的目標信號干擾比和小型船只的信號回波對性能進行了評估。所提出的基于 DL 的海雜波抑制技術在外來雜波區域的性能略優于其他算法。還有一些關于人工智能和 ML 在雷達監視系統中應用的調查論文值得一提。在參考文獻[93]中，作者對雷達監視系統中的大數據進行了預測。[93]中，作者將大數據軌跡作為改進雷達監視系統的有效方法。他們特別關注異常檢測的方法和用例，描述了數據源、數據預處理框架和工具、數據平滑以及基于 ML 的技術中滑動窗口的作用。兩種架構： 討論了用于實時監控的 Lambda 和 Kappa。熱圖在船舶風險評估中的應用案例表明，熱圖非常有助于對情況進行可視化評估。同樣，通過使用分層基于密度的噪聲應用空間聚類[94]對感興趣的區域進行聚類，可以相對容易地提取物體和港口之間的關系。Wrabel 等人[95] 綜述了利用雷達傳感器進行目標監視的人工智能技術。這項工作的重點是 (1) 雜波識別，(2) 目標分類和 (3) 目標跟蹤。雜波識別采用了多種人工智能方法，包括貝葉斯分類器、集合方法、k-近鄰（kNN）、SVM 和神經網絡模型。除這些技術外，還使用 RNN、CNN 和決策樹模型進行了目標分類。同樣，還對目標跟蹤方面的工作進行了審查，其中比較流行的技術有集合技術、神經網絡、SVM 和 RNN。

4.2 頻譜分配

我們發現最近有兩篇論文都在雷達頻譜分配領域使用了 RL 技術。在參考文獻[96]中，作者將 RL 作為一種分散的頻譜分配方法，用于避免汽車故障。[96]中，作者將 RL 作為一種分散的頻譜分配方法，以避免汽車雷達之間的相互干擾。由于 RL 算法可以在未知環境中學習決策策略，因此適用于雷達傳感器對環境信息掌握有限的情況。LSTM 網絡通過時間匯總觀察結果，這樣，模型就能學會利用當前和過去的觀察結果選擇最佳子頻段。這項工作假設整個頻段被劃分為不重疊的子頻段，且雷達設備的數量大于子頻段的數量。

基于 RL 的頻譜分配工作原理如下。首先，處理上一步的信號并構建當前觀測值。然后，發射器 Q 網絡通過匯總歷史觀測數據選擇一個子頻段。接收器終端產生的獎勵將指導發射器 Q 網絡選擇更好的子頻段選擇策略。與隨機策略和近視策略等基準分散頻譜分配方法相比，對所提出的算法進行了評估。結果表明，在不同流量密度場景下，該算法在成功率方面表現出色。不過，Q-網絡是在模擬環境中用相對簡單的場景模型進行訓練和測試的，以顯示所提方法的可行性。現實世界的環境可能很復雜，因此有必要進行建模，以更好地代表實際場景。

我們已經將 Q-learning 確立為資源管理問題的有力候選方案，因為它具有無需任何環境模型即可找到最佳行動價值函數的內在能力。在參考文獻[97]中，作者建立了一個基于資源管理問題的模型。[97]中，作者將雷達-通信帶寬分配問題建模為一個 MDP，然后應用策略迭代來確定最優策略。為了減輕雷達和通信網絡之間的干擾，基于 MDP 和 Q 學習的模型學習了干擾的時頻譜占用模式。模擬在三種干擾環境下進行： (i) 持續干擾；(ii) 高傳輸概率的間歇干擾；(iii) 低傳輸概率的間歇干擾。雷達不僅能學習頻率上的干擾模式，還能在目標靠近雷達的情況下以信號干擾加噪聲比（SINR）換取帶寬的增加。這項工作只研究了五個子帶；更多的子帶會使狀態空間的大小呈指數增長，導致更復雜的訓練需要更長的時間。基于策略的 DRL 技術的目標是學習一組遠遠小于狀態空間的參數，可以解決這個問題，擴展工作[98]已經證明了這一點。

參考文獻[98]中的工作應用了非線性 DRL 技術。[98]中的工作通過 DRL 應用非線性值函數近似來解決認知脈沖雷達與通信系統之間的動態非合作共存問題。基于 DRL 的方法允許雷達改變其線性頻率調制器的帶寬和中心頻率，從而提高了目標探測能力和頻譜效率。作者特別使用了 DQL 算法，并將其擴展到雙深遞歸 Q 網絡 (DDRQN)，結果表明 DDRQN 進一步提高了 DQL 方法的穩定性和策略迭代。這項工作是對早期使用 MDP 進行雷達波形選擇的方法的擴展[97]。與參考文獻[97]中的模型不同的是，該模型采用了默認的波形。[97] 中的模型在狀態轉換模型未指定的情況下采取默認行動，而本文提出的模型則利用估計的函數值來執行更明智的行動。通過在軟件定義無線電上進行的實驗，對擬議算法與策略迭代算法和感知-規避（SAA）算法的性能進行了比較。與基準方案相比，已公布的結果表明在新場景中收斂更快，學習效果更好。

4.3 波形合成與選擇

波形優化是具有自適應發射機和接收機的認知雷達的主要特征之一。從預定義波形庫或編碼本（CB）中選擇波形，可同時完成特定或多個雷達任務。波形優化的核心在于利用任何形式的分集（如空間分集、波束模式、頻率分集、編碼分集和極化）所帶來的多因子效應。

優化波形選擇可采用基于 NN 的框架，如參考文獻 [99] 所述。[在該文中，作者分析了雷達的蝕變、盲速、雜波、傳播和干擾因素。使用非線性 NN 模型估算了最佳波形參數。

參考文獻[100]中的討論提供了對雷達波形參數的總體概述。[100]對神經網絡和 ML 在認知雷達開發中的應用進行了總體概述，目的是降低實時實施的計算成本。該文討論了一個用例場景，即利用 RL 生成帶有 26 dB 功率譜密度 (PSD) 缺口的波形。問題是如何在雷達帶寬內放置凹口，從而最大限度地減少來自干擾器和其他通信設備的干擾。我們的想法是選擇一組相位，通過選擇波形在所創建信號的 PSD 范圍內形成一個凹口。相位選擇的非線性優化問題采用深度確定性策略梯度（DDPG）算法解決。從本質上講，深度確定性策略梯度是一種行動者批判模型，用于生成訓練輸入，并根據 NN 輸出的質量進行獎勵。行動者產生一組階段，供模擬環境評估。環境執行離散傅立葉變換，并計算所制定的目標函數值。該值即為該行動的獎勵，并反饋給批判性 NN。批判 NN 的設計是這樣的：它將狀態和行動作為不同層的輸入，并輸出 Q 值，該值反向傳播到行動輸入層，以獲得行動的誤差。DDPG RL 算法通過一個簡單的環境模擬器減輕了對標記數據集的需求。生成的 26 dB PSD 缺口可能不足以滿足實際部署的需要，但可以通過微調模型參數來增加缺口。重要的是，這種 RL 方法消除了對大量標注數據的需求，而這些數據在雷達部署前是無法用于模型訓練的。

雷達波形優化的另一個重要方面是合成具有理想模糊函數（AF）形狀和恒定模量特性的新型雷達波形。由于雷達編碼系列中可用的編碼序列數量有限，因此在操作 MFR 或基于多輸入多輸出的通信系統時會出現問題。如第 2 節所述，基于 GAN 的方法目前已被廣泛用于生成真實的合成數據，從而改善 DL 應用中的訓練結果。在參考文獻[101]中，基于 GAN 的神經網絡被廣泛使用。[101]中，基于 GAN 的 NN 結構用于從已有波形的訓練集中生成逼真的波形。其中，針對復值輸入數據開發了一種 Wasserstein GAN [102] 結構。該模型在 Frank 和 Oppermann 編碼上進行訓練，合成出與現有編碼具有高自相關性、相同 AF 和低交叉相關性的新波形。合成波形的 AF 圖與訓練數據集的波形高度相似。GAN 生成的波形與訓練數據集的交叉相關性幾乎可以忽略不計，這清楚地表明 GAN 可以生成逼真而獨特的雷達波形。合成的波形還被限制為具有恒定模量，以便有效地使用放大器。

由于雷達信號表現出時間相關性，因此與基準最小預期均方跟蹤誤差相比，在部分狀態信息上應用基于記憶的學習算法來學習波形選擇策略，可提高雷達性能[103]。參考文獻[104]中的工作建立了一個波形選擇模型，并將其應用于雷達系統中。文獻[104]利用上下文樹建立了雷達環境模型，并進一步利用該模型在與信號相關的目標信道中選擇波形。作者提出了一種基于 Lempel- Ziv 的波形選擇算法，該算法是有限階馬爾可夫目標信道的成本最優解。通用學習算法根據當前的上下文信息，對觀察到特定狀態的過渡概率進行估計。上下文樹通過向后遍歷之前觀察到的結果進行更新。在每一步中，通過利用已知的獎勵信息或探索新的行動來選擇行動。目標函數側重于目標檢測的準確性以及互信息的最大化。與基準方案相比，通用學習方法能產生更高的平均 SINR 和更低的 RMSE。由于通用學習算法非常復雜，作者考慮了大小有限的波形目錄和狀態空間離散化，以保持其可操作性；這可能會影響其在更實際場景中的性能。

另一個波形合成方案[105]專門針對反干擾雷達，研究了基于 RL 的聯合自適應跳頻和脈寬分配反干擾方案，因為當前的反干擾策略（使用跳頻和脈寬分配）往往難以適應復雜和不可預測的環境。與所描述的其他 RL 作品一樣，目標函數被模擬為 MDP。在部分信息環境情況下，利用 Q-Learning 學習優化的雷達抗干擾策略。獎勵函數值是雷達抗干擾函數的量化版本，包含兩個 RRM 任務，即跳頻和脈寬分配。基于 Q 學習的聯合優化算法與基準隨機跳頻策略進行了比較，后者在每個實例中從頻帶中隨機選擇一個頻率[106]。在不同的跳頻成本和傳輸脈沖數的情況下，基于 Q 學習的策略獲得了更高的平均回報。

4.4 時間資源管理/任務調度和參數選擇

在有限的時間預算內調度多個任務是多任務飛行器中最關鍵的 RRM 任務之一。時間是有限的資源，因此需要根據優先級謹慎地分配給不同的任務。這種優化問題的目標是盡量減少丟棄和延遲任務的數量，是一個 NP 難問題[7]。眾所周知，分支與邊界（B&B）方案可為該問題提供最優解[107]；然而，B&B 算法的計算復雜度會隨著待調度任務數量的增加而呈指數級增長。

Shaghaghi 等人在其關于 RRM 中 ML 的開創性工作中研究了多通道雷達 RRM 領域中的參數選擇、優先級和調度問題[108]。為了克服復雜性問題，在這項工作中，作者利用離線運行 B&B 算法獲得的數據訓練了一個由 DNN 組成的價值網絡。從本質上講，訓練好的 DNN 可以估算搜索樹節點的值，從而通過剔除遠離最優解的節點來加快 B&B 進程。基于 DNN 的解決方案在收斂到接近最優解的同時，大大減輕了計算負擔。為了使算法對估計誤差更加穩健，引入了一個縮放因子，選擇足夠高的縮放因子意味著從搜索樹中剔除的節點更少。在這種情況下，調度性能與 B&B 方法非常接近，但節點訪問的計算負擔略有增加。

為了進一步減少計算時間，同時提供接近最優的結果，作者在參考文獻[109]中實施了蒙特卡洛樹搜索（MCTS）。[109]中，除了 B&B 的優勢規則外，還使用 DNN 作為策略網絡，將搜索重點放在樹形結構中更有前景的分支上。MCTS 與 DNN 的結合使用了流行的 AlphaGo 和 AlphaZero 方法 [110，111]。在每個樹節點上，通過對 B&B 方法獲得的理想解決方案進行監督學習而訓練出的策略網絡會創建一個優先級分布。雖然該方法與參考文獻[108]有些相似，但有一些明顯的不同。[108]有些相似，但也有一些明顯的區別。例如，參考文獻[108]中的算法需要固定數量的策略網絡。例如，參考文獻 [108] 中的算法需要固定數量的任務，而在本文中，輸入狀態側重于下一個要安排的任務。這樣就能實現任意數量的活動輸入任務。與采用值函數的文獻[108]不同，本文采用的是以 7 層 DNN 為模型的策略網絡。仿真結果表明，隨著蒙特卡羅滾動次數的增加，平均成本接近最佳 B&B 性能。與基準方案相比，該方案實現了接近最優的性能，而且計算復雜度比 B&B 方法低幾個數量級。

雖然參考文獻[108, 109]中的工作 [108、109] 中的工作雖然能產生接近最優的結果，同時減少了計算負擔，但兩者都需要通過離線執行 BnB 生成訓練數據，這同樣需要大量的計算時間。此外，不同的問題規模和/或任務分布需要不同的訓練數據。最重要的是，這兩種方法都無法讓雷達適應動態環境。

為此，同一作者開發了一種基于 MCTS 方法的近似算法，利用雷達與環境交互的數據訓練認知調度程序[112]。RL 模型用于在多種約束條件下訓練策略網絡，如非同質信道、阻塞信道和周期性任務。策略網絡的目的是減少 MCTS 搜索的寬度。每個 RRM 任務都有相關的開始時間、完成時間期限和下降成本。假設任務在不同信道上的執行方式不同。Q 函數值提供了在給定節點上采取特定行動時所獲得的預期效用的估計值。通過運行 MCTS 獲得的統計數據用于訓練網絡參數，然后對參數進行調整，以盡量減少交叉熵損失。策略網絡有七層深度，前四層為卷積層，后三層為全連接層。所提出的 MCTS + 策略網絡模型的平均成本和任務丟棄率均低于基準算法。

在 Shaghaghi 等人的監督學習方法[109]和參考文獻[111]中的 RL 工作的基礎上，Gaafar 等人提出了任務調度問題的修正 MCTS 解決方案，以找到有效的低復雜度解決方案[113]。[112]的基礎上，Gaafar 等人針對任務調度問題提出了一種改進的 MCTS 解決方案，以找到一種有效的低復雜度解決方案[113]。改進后的 MCTS 進一步得到了基于 RL 的模型的補充，該模型可以利用基于獎勵的機制進行學習，而無需大量的訓練數據集。對經典 MCTS 算法的第一項修改是，不允許重訪已訪問過所有與其分支相關的解的狀態。其次，任務排序基于開始時間，因此選擇較早任務的概率較高

效用函數由三個相互沖突的因素組成： (i) 支持基于較早開始時間的任務選擇；(ii) 支持基于已知低成本的任務選擇；(iii) 探索訪問次數較少的任務。在基于 RL 的方法中，通過訓練 DNN 來學習所有任務概率向量的最佳值。MCTS 會產生具有更好解決方案的行動，但 DNN 會利用訓練數據引導 MCTS 采取更好的搜索策略。參考文獻 [113] 中的 DNN 引導 MCTS 系統如圖 3 所示。[113] 的 MCTS 系統如圖 3 所示。使用 5 層 DNN 作為 DNN 結構，結果顯示平均驗證成本降低了，放棄任務的比例降低了，平均成本接近最優。

不過，該算法在訓練和調度單個問題時在線時間較長。此外，這項工作沒有考慮對環境重大變化的適應性，因為在算法的訓練和測試階段，任務特征的概率分布被認為是固定的。最終，如果任務分配和環境發生突然變化，算法需要更長時間的自我訓練。該方法對兩個階段任務特征概率分布之間可能存在的差異的穩健性尚不清楚。

最近的另一項研究[114]將重點放在 MFR 中的自適應重訪間隔選擇（RIS）上，將其視為一個時間管理問題，并將其表述為具有未知狀態轉換概率和獎勵分布的 MDP。提出的獎勵函數是在保持軌跡損失概率作為優化約束條件的同時，最大限度地降低跟蹤負荷|轉移學習（TL）。采用 Q-learning 算法和 epsilon-greedy 策略來解決這個問題。最小化時間預算和跟蹤損失的目標體現在智能體的即時獎勵和累計獎勵中。建議算法的性能與基于預測誤差協方差矩陣 (PECM) 的基準解決方案進行了比較 [115]。比較使用的是跟蹤損失和位置預測誤差的平均值和峰值。在這兩項指標上，所提出的基于 RL 的方案都明顯優于基準方案，從而鞏固了基于 RL 的算法在與 RIS 相關的時間管理 RRM 任務中的實用性。不過，結果表明，學習速度會隨著狀態空間大小的增加而降低，這對于基于表格的 RL 方法來說是一個主要問題。此外，Q-learning 在非穩態環境中也很難發揮作用，而這正是認知雷達 RRM 的具體情況。

最近的另一項研究利用 Q-learning 在 MFR 中進行動態任務調度[116]。首先，為執行任務的 MFR 網絡創建一個 MDP，并以掉落任務比率作為評估標準。然后，為 Q-learning 算法設計狀態-行動空間。在進行行動選擇時，要同時考慮新狀態會產生的當前和未來回報。與先到先執行的基準方法相比，基于 Q-learning 算法的方案明顯降低了放棄任務的比例。但是，該方法沒有考慮延遲成本，而延遲成本是雷達任務調度問題中的一個重要指標。

最近的一項研究 [117]，開發了一種深度 Q 網絡智能體，并使用兩種不同的獎勵方案對其進行了測試，結果表明，僅在任務重疊隊列的情況下，其性能優于 EST。對于另一種有非重疊任務隊列的情況，EST 的性能則優于 DQN 智能體。此外，DQN 只顯示了四項任務的結果，考慮到實際情況，這是一個很小的數字。

我們從數據庫中找到了幾篇最近的論文，這些論文利用了基于 RRM 的任務調度和參數選擇的 ML 技術。第一項研究是參考文獻[37]。[37]中，作者采用 CNN 對相控陣雷達天線系統中的到達方向（DoA）進行估計。該問題被模擬為多類分類，其中每一類指定一個不同的子陣列。在不預先知道目標位置的情況下，從接收到的陣列信號的協方差樣本中提取特征圖來訓練 CNN。創建訓練數據時，要使用能產生最低最小 MSE 邊界的子陣列。在這項工作中，CNN 模型被選擇為有九層深度，它不依賴天線幾何形狀來優化天線子陣列的選擇。基于 CNN 的結構比早期基于 SVM 的模型[118]的分類效果好 32%，DoA 估計精度也高 72%。

我們的調查清楚地表明，基于 RL 的算法在 RRM 的調度優化問題中很受歡迎，因為它具有以下優點 (i) 它不像監督學習那樣需要外部訓練數據來學習，(ii) 它能減少計算時間，同時產生接近最優的結果，(iii) 它具有適應動態環境的潛力。

4.5 基于QoS的資源分配模型

參考文獻[119]正式介紹了基于 QoS 的資源分配模型。參考文獻[119]正式介紹了基于 QoS 的資源分配模型，其在基于符號 AI 的 RRM 中的應用已在第 3.4 節中討論過。Q-RAM 的目標是在滿足資源限制的前提下，最大限度地提高一組雷達任務在波形、停留時間和跟蹤濾波器等操作參數上的效用。對于動態環境，Q-RAM 的計算效率很低，因為它必須在資源分配幀中重復重新計算運行參數，這對算法的反應時間也造成了限制。為此，參考文獻[7, 120]提出了連續雙拍賣參數選擇算法。參考文獻 [7, 120]提出了連續雙拍賣參數選擇算法，該算法可將前一時間步的解決方案調整到當前時間步，而無需重新計算全部資源分配，從而減少了動態 RRM 問題的計算量。

在最近有關 RRM 的文獻中，有一篇論文采用了基于 QoS 的資源分配模型 ML，用于雷達系統的智能決策[121]。這項工作使用了 DRL 模型，其中一個 NN 智能體預測了一連串理想的任務配置，而不需要資源效用空間中的所有配置。具體來說，智能體學習輸出與輸入配置相比資源效用差商最大的任務配置。每個行動的獎勵都是該特定行動實現的上述效用-資源-商數的直接函數。智能體采用單工優勢行為批判網絡建模 [122]。經過 RL 訓練的智能體在選擇任務配置時相當成功，因為給定的資源能產生很高的效用。特別是，在 120,000 個訓練步驟中，Q-RAM 性能達到了 97%-99%。

這種基于 RL 的技術的真正優勢在于降低了計算復雜度。用數學術語來說，其改進幅度為對數 c，其中 c 是每個任務可能配置的數量。參考文獻[121]中報告的性能似乎并不理想。121]的性能似乎并不比參考文獻[7]更好。[不過，它顯示了基于 RL 的 RRM 在超載情況下的潛力，而且不需要極高的計算復雜度。在現實應用中，每個任務的配置數量可能會變得很高，在這種情況下，可以通過 Wolpertinger 算法[123]來訓練 RL 智能體。此外，基于 RL 智能體的方法可以很容易地集成到現有的 Q-RAM 實現中，并實現認知雷達系統所需的 "自學習 "能力。

量子技術是一套新興技術，利用自然界的基本規律，在傳感、成像、通信和計算方面提供前所未有的能力。它們是多樣化的，復雜的，通常是早期的技術準備，并要求以新的方式思考技術的應用和利用。它們的真正能力、局限性、最具破壞性的應用和相關對策仍在發現之中。

這種破壞性潛力、模糊性和復雜性的結合給陸軍帶來了戰略風險和機遇。因此，澳大利亞陸軍發現自己正處于一個加速的全球競爭中，以了解、共同開發和利用量子技術來進行陸軍作戰。

本路線圖旨在構建和介紹陸軍在量子技術方面的方法，以使陸軍在陸地作戰中獲得量子優勢。

三個關鍵點構成了澳大利亞陸軍的方法：

• 澳大利亞正面臨著將其在量子技術研究方面的全球領先地位轉化為可持續的工業和國防優勢的戰略挑戰。

• 澳大利亞國防部在使現有的研究和開發（R&D）能力與國防部的優先問題保持一致方面發揮著作用。這包括在這些技術發展過程中對其進行塑造和指導，以促進技術概念向作戰人員的能力轉變。

• 根據 "運動中的軍隊 "和 "加速戰爭 "中的適應性思維、合作、主權產業和整合等戰略主題，陸軍的路線圖將探索量子技術在陸地領域的潛在用途。

為了發展陸軍的量子技術能力，澳大利亞陸軍將追求四個目標：

1.建立。迅速建立一個以陸域機會為重點的量子創新生態系統。

2.識別。識別量子技術在陸地領域的最具顛覆性和優勢的應用。

3.開發。開發相關技術、作戰概念和修改后的部隊設計。

4.支持。支持澳大利亞國防部的量子技術戰略發展。

為了實現這四個目標，將進行四項相互影響的工作：

• 協作：發展國防量子創新社區的陸軍分會。與該分會的深度合作將使人們在量子技術應用方面的想法趨于一致，共享對發展中技術的態勢認識，繪制能力和供應鏈圖，并支持整個軍隊、國防和國防工業的量子教育。

• 探索：通過定期的陸軍量子技術挑戰賽（挑戰賽），實施快速的量子應用發現和測試周期。這些挑戰將尋求在陸軍資源承諾之前確定量子技術的最有前途的應用。這些挑戰將采取組合方法，平衡不同類型的量子技術的技術風險和潛在應用價值。

• 開發：重點開發量子技術、作戰概念和部隊設計，使陸軍了解如何最好地利用量子技術來加強現有能力和運用，并獲得新的能力和作戰方式。陸軍將尋求對作戰概念演示之外的發明者的支持，使他們能夠繼續發展他們的技術，并為隨后通過能力生命周期的進展做準備。這種發展和挑戰可以由新建立的模擬和測試設施來支持。

• 改進：持續策劃陸軍的量子技術理解、景觀設計、評估和戰略。

本報告總結了迄今為止在路線偵察領域的本體開發的進展，重點是空間抽象。我們的重點是一個簡單的機器人，一個能夠感知并在其環境中導航的自主系統。該機器人的任務是路線偵察：通過觀察和推理，獲得有關條件、障礙物、關鍵地形特征和指定路線上的敵人的必要信息。路線偵察通常是由一個排的騎兵和非騎兵進行的。這項研究探討了機器人執行部分或全部必要任務的合理性，包括與指揮官進行溝通。

1.1 背景與動機

這是一項具有挑戰性的對抗性任務，即地形穿越加上信息收集和解釋。偵察的解釋方面需要考慮語義學--確定相關的信息和確定它如何相關（即有意義）。語義信息在本質上是定性的：例如，危險是一個定性的概念。為了將危險與某些特定的區域聯系起來，我們需要一種方法來指代該區域。這意味著至少能夠給空間的某些部分附上定性的標簽。

Kuipers在他的空間語義層次的早期工作中指出了空間的定性表示對機器人探索的重要性。例如，層次結構的拓撲層次包含了 "地方、路徑和區域的本體"，歸納產生了對較低層次的因果模式的解釋。

最近，Izmirlioglu和Erdem為定性空間概念在機器人技術中的應用提供了以下理由：

• 各種任務，如導航到一個目的地或描述一個物體的位置，涉及處理物體的空間屬性和關系。......或某些應用（如探索未知環境），由于對環境的不完全了解，可能并不總是有定量的數據。......可理解的相互作用和可接受的解釋往往比高精確度更可取（Kuipers 1983）。對于這些應用，定性的空間關系似乎更適合。

對于負責路線偵察的無人地面車輛（UGV）來說，其架構中的不同模塊將消費和產生語義信息：負責語義感知和目標識別、計劃和執行、自然語言對話等的模塊，加上主要負責維護信息的語義世界模型。例如，在美國陸軍作戰能力發展司令部陸軍研究實驗室的自主架構中，語義/符號世界模型被用來 "實現符號目標（例如，去接近一個特定的物體）"，*其中接近是一個語義概念。

一個關鍵問題是如何在世界模型和其他模塊之間分配維護和處理不同類型語義信息的責任。從語義世界模型的角度來看，這取決于有多少符號推理是合適的。例如，假設要接近的物體位于一個給定區域的某個位置，而不是靠近該區域的外部邊界。一旦機器人靠近物體，就可以推斷出機器人在物體的位置附近，而且也在同一區域內。如果有公制信息，就可以用幾何例程得出這個結論。在沒有公制信息的情況下，是否會出現在純粹的定性空間中推斷有用的情況？

本報告不涉及這個問題。我們的目標是確定什么應該被代表，而把如何代表和在哪里代表留給未來的工作。

1.2 路線偵察

以下片段取自FM7-92中對路線偵察的描述。空間表達是彩色的，周圍有一些文字作為背景。

• 路線偵察的重點是獲得關于一條指定路線和敵人可能影響沿該路線移動的所有地形的信息。路線偵察的方向可以是一條道路、一條狹窄的軸線（如滲透通道），或一個總的攻擊方向......防御陣地。......部隊可以機動的可用空間......所有障礙物的位置和類型以及任何可用的繞道位置。障礙物可包括雷區、障礙物、陡峭的峽谷、沼澤地或核生化污染 ......沿途和鄰近地形的觀察和火力范圍 ......沿途提供良好掩護和隱蔽的地點 ......。橋梁的結構類型、尺寸和分類。著陸區和接駁區。與路線相交或穿越的道路和小徑。. . 如果建議路線的全部或部分是道路，則該排認為該道路是一個危險區域。它使用有掩護和隱蔽的路線與道路平行移動。當需要時，偵察和安全小組靠近道路，以偵察關鍵區域。

路線偵察的結果是一份報告，以圖表的形式，并附有文字說明。FM7-92給出了一個例子，我們可以從中提取一些更必要的概念：

• 網格參考。磁性北方箭頭..道路彎道..陡峭的坡度..道路寬度的限制（橋梁，隧道等）..岔道的位置..隧道..

讓我們把這段關于路線偵察的描述中提到的概念建立一個綜合清單，重點放在空間概念上，并盡可能地保留軍事術語:

1）必須指定環境中的位置、路線、區域和感興趣的物體。稱這些為 "實體"。

2）這些實體之間的空間關系是相關的（例如，一個地點在另一個地點的北邊）。值得注意的是，不同類型的實體之間的關系是被指定的。

a. 物體（例如，障礙物）在位置或區域。

b. 一些地點在空間上與路線有關（例如，沿著路線，毗鄰，或靠近道路）。

c. 地點可能代表更大的區域（例如，雷區的位置）。

d. 道路和小徑可以與路線相關：它們可能相交、重疊（部分疊加），或平行運行。

3. 一些實體對路線具有戰術價值，無論是進攻還是防御（例如，雷區）。

a. 一些地點相對于其他地點或區域有方向性的定位（例如，一個防御性的位置）。

b. 有些區域是由其與另一個區域或地點的關系來定義的，這可能不是一種局部的關系（例如，觀察和火力場是由一個潛在的遠程位置來定義的，該位置有一條通往路線上的一個區域的線路）。

4）路線可能被障礙物阻擋，障礙物可能是明確的物體或更大的區域（例如，一個障礙物與一個雷區）。

5. 路線和地形的三維幾何特性是相關的：道路上的急轉彎，陡峭的坡度，等等。

6）有時，描述物理基礎設施（如道路、橋梁）及其屬性是很重要的。

1.3 路線偵察抽象

路線偵查收集和解釋不同種類和不同來源的信息:

• 背景知識。這包括關于環境特征的類型和預期成為任務一部分的物體的信息，包括道路、障礙物、溝壑、橋梁等等。

• 任務規范。確定偵查的區域和路線，以及當時可獲得的任何信息。

• 環境。通過空間分析（包括幾何學、拓撲學等）、感知、地圖衛星數據的離線圖像處理和其他類型的分析，確定環境的相關特征。

• 任務執行期間的通信。我們假設指揮官或人類操作員在偵察過程中可以向UGV提出詢問或命令，提供新信息或集中注意力。

• 如前所述，一份報告。

原則上，所有這些信息都以某種抽象的形式組合在一個語義世界模型中。我們把環境的物理屬性和特征稱為 "實體"。把我們用來表示這些實體和它們之間關系的抽象概念稱為 "概念"。

不同類型的實體的概念。層次結構在語義表征中很常見，用來捕捉關于世界上遇到的實體類型的一般知識。一個類型就是一個概念，類型被組織在一個層次中：MRZR是一種輕型的、戰術性的、全地形的車輛，它是一種輪式地面車輛，它是一種地面車輛的類型，等等。屬性和關系可以與一個給定的概念相關聯，而下級概念則繼承這些屬性。在路線偵察中，如果有信息說某一地區有一條道路，但沒有更多的細節，仍然可以從道路的概念中推斷出它的預期屬性：它比它的寬度長得多；它在人們感興趣的地點之間通向；在其他條件相同的情況下，它可能比周圍的地形行駛得快。從實用的角度來看，這意味著如果有可能將某物歸類為一個已知的概念，那么語義世界模型就不需要記錄關于該物的每一條相關信息。

用于實體的目的和用途的概念。一個代表道路典型用途的概念可以進一步區分其長度和寬度的語義，這反過來又導致了跨越和沿途、穿越和跟隨等概念之間的區別。這將使UGV能夠以不同的方式對待 "偵察道路對面的區域 "和 "偵察前方的道路 "的命令。前方的道路也是一個語義概念：它取決于對過去去過的地方的了解。

代表部分信息的概念。有時可能會有定性的信息。想象一下，任務規范的一部分是關于雷區在計劃路線上存在的信息，但不知道具體位置，或者知道雷區的位置，但不知道其范圍。這種無知可以很容易地在代表實體的概念中得到體現。

新概念適用于新環境。另一個交流的例子可能是信息性的。想象一下，當一輛UGV穿越一條東西走向的道路時，它與遠程指揮官進行交流，指揮官問道："道路北側是什么？"* 需要識別的物體可能不在道路和地形的邊界上（與 "建筑物的一側 "形成對比），而是在以道路邊緣為界的某個感興趣的區域內，距離UGV的位置向北不遠，向東和向西也有一些距離。這個區域可能沒有事先作為一個概念被劃定；相反，它是在當前的背景下構建或推斷出來的。這是一個有趣的例子，一個概念不是從公制數據中抽象出來的，而是被強加在公制數據上的。

背景中的概念的適應和組合。想象一下，對一張地圖的分析產生了對代表區域、道路等等的概念的分解。這些概念可能直接適用于某些目的。例如，與道路相聯系的概念在推理兩點之間的導航時是有用的。然而，在其他情況下，這些概念可能需要調整或與其他概念相結合。例如，如果一條道路被指定為 "危險區域"，那么這個區域的概念可能會超出道路的邊界，延伸到周圍的地形。

人工智能（AI）是一項具有廣泛用途的新興技術。《美國防戰略》強調了人工智能對軍事行動的重要性，以使美國保持對其近似競爭對手的優勢。為了充分實現這一優勢，不僅要在戰術層面，而且要在戰爭的作戰層面整合人工智能。人工智能可以最有效地融入作戰計劃的復雜任務，方法是將其細分為其組成部分的作戰功能，這些功能可以由狹義的人工智能來處理。這種組織方式將問題減少到可以由人工智能解析的規模，并保持人類對機器支持的決策的監督。

引言

人工智能是一套新興的、變革性的工具，有可能幫助軍事決策者。美國國家戰略將人工智能（AI）納入戰爭。《2020年國防授權法》11次提到了人工智能。國防戰略強調了利用人工智能和機器學習方面的商業突破的重要性。人工智能的軍事用途是保留國家安全的一個引人注目的方式。創造工具來支持戰術行動，如摧毀敵軍和從一個點導航到另一個點，具有顯著和可見的效果，使他們在資源有限的環境中在政治上可以接受。它們在訓練和測試方面的可重復性，使它們在采購過程中成為人工智能系統的快速贏家。然而，戰術行動的范圍和時間是有限的。僅在戰術層面上整合人工智能，忽視了在作戰層面上發生的決定性影響。

作戰，也就是實踐者將戰術行動轉化為戰略效果的層面，取決于領導者做出正確決策的能力。聯合部隊海事部分指揮官（JFMCC）的艱巨任務是制定計劃，將戰區戰略和聯合部隊指揮官（JFC）的目標結合起來，通過決定性的海軍交戰來塑造環境。在人工智能的快速認知能力的幫助下，JFMCC將能夠制定并更徹底地分析行動方案（COA）。這些品質對于未來的沖突是必要的。

人工智能必須在戰爭的各個層面進行整體集成，以充分實現其優勢。除了局部的、短期的戰斗，它還需要應用于主要的行動和戰役，涉及整個戰區的數月或數年。在戰爭的戰役（作戰）層面上的實施，放大了為實現戰略目標而進行的有序交戰和同步行動之間的協同作用。除了技術發展之外，行動上的整合將刺激政策和理論的建立，以使作戰人員有意愿使用人工智能。隨著使用人工智能的經驗的增加，其采用率也會增加。為協助海軍作戰計劃而實施的特定人工智能技術可能與那些用于計算射擊方案或在被拒絕的淺灘水域規劃路線的技術不同。然而，在作戰層面的接受度將推動戰術上的使用。

在JFMCC層面，人工智能系統網絡將為決策者提供決定性的優勢，將專注于作戰功能的獨立的人工狹義智能（ANI）單位統一起來將實現最顯著的好處。首先，人工智能解決方案比它們的通用人工智能（AGI）同行更適合于軍事問題的解決。其次，戰爭的性質促使有必要在作戰層面上整合人工智能。最后，雖然有許多方法可以整合，但沿著功能線這樣做會帶來最顯著的好處。不僅在技術意義上吸收人工智能，而且描述其在政策、理論和培訓中的使用，將使海軍能夠充分使用它，并在與我們的戰略競爭對手的競爭中獲得優勢。

如何在海戰領域整合人工智能？

目前人工智能在海上行動中的最佳應用是將復雜的海上行動問題分解成子問題，由人工智能來解決，并組合成COA建議。解決小問題的人工智能需要更少的訓練數據，有更直接的邏輯，并且可以連鎖起來解決更重要的問題。麻省理工學院人工智能實驗室前主任羅德尼-布魯克斯（Rodney Brooks）認為，創建動態環境的符號表示是困難的或不可能的。然而，特定任務的智能體可以利用足夠的傳感器數據智能地行動，更重要的是，可以連貫地互動。通過將簡單的活動連鎖起來，失敗的風險很低，更復雜的問題就可以得到解決。多個簡單的行動可以在低認知層平行運行，并將其輸出結合起來，為更高層次的復雜活動提供支持。這種結構的優點是允許軍事工程師開發和訓練人工智能，以首先解決可操作的問題。對人工智能開發者來說更具挑戰性的功能可以保留只由人類決定的方法，直到他們產生解決這些問題的專業知識。與其等待一個完整的系統，部分系統將提供一個臨時的邊際優勢。

鑒于人工智能可以通過將問題分解成更小的決策來最好地解決問題，問題仍然是如何劃分這些問題。重述作戰任務的一個模式是將它們分成作戰功能：指揮和控制（C2）、通信、情報、火力、運動和機動、保護和維持。這些作戰功能為開展有效行動提供了基礎。它們為一個行動提供了采用手段實現其目的的方法。因此，與決定如何實施這些功能以實現目標的決策者一起使用人工智能是很自然的。

如同應用于海上作戰戰爭，最低層的決策支持系統將由感知環境的活動組成：探測艦艇、飛機和潛艇；燃料水平；天氣；以及其他客觀的戰斗空間數據。通過將外部輸入限制在特定的、低層次的任務上，該系統將最大限度地減少對抗性例子或旨在消極操縱自動系統的數據的風險。中間層將把下層的輸出與作戰目標和因素結合起來，如時間、空間和力量的限制，以提供解決問題的方法和作戰功能。由于上層的對抗性數據注入的威脅較小，這些系統可以使用深度學習。深度學習是機器學習的一個子集，它不像其他形式那樣需要高度格式化的數據，但計算成本會更高，而且容易受到欺騙。深度學習將增加這一層的人類互動，并暴露出更復雜的關系。最高層將把C2流程應用于其他六個業務功能，以產生業務建議。中間層的每個功能人工智能將向其他功能人工智能和最高C2層提供建議。中間層的人工智能對復雜的數據和相鄰單位及C2功能的建議進行理解。

如果將中間層人工智能納入規劃和指導、收集、處理、分析和傳播的情報周期，將促進收集資產的更好分配。判斷對有限的收集資產的請求以滿足行動和戰術信息需求是JFMCC關注的一個問題。在收集計劃期間，人工智能可以使用已知的對手軌跡、地點、個人和組織來定義和優先考慮指定的利益區域（NAI）。在執行過程中，人工智能可以根據優先級驅動收集路線，就像企業用它來規劃送貨路線以減少勞動力、燃料和維護成本一樣。采集計劃者可以通過增加對手監視點的位置和范圍來減少反偵查的風險。在C2層面，指揮官和情報官員可以利用收集成果來證明更多的JFMCC收集資產和COA的修改。這種方法適用于其他功能。

人工智能可以在部隊部署不斷變化和對手存在不確定的環境中改善維持能力。相互沖突的要求使如何使用有限的后勤資產來滿足作戰人員的需求的決策變得復雜。后勤單位較低的生存能力促使人們決定是將它們帶入被對手防御系統拒絕的區域，還是將戰斗飛船引離目標。人工智能可以利用軍事和民用運輸的可用性、預先部署的庫存和供應商的響應能力來制定船舶和飛機需求的解決方案。企業利用人工智能準確預測需求，并分辨出影響運輸和倉儲的采購模式。維持型人工智能可以使用這個過程的一個變種，來計劃在高級后勤支持站點（ALSS）或前方后勤站點（FLS）的材料堆放。它可以決定如何以及何時使用穿梭船和站立船來運送到攻擊組。機器學習將使用燃料、食品和武器庫存、威脅環、戰備水平和維修時間來訓練維持人工智能。維持型人工智能可以提供比人類單獨完成的更有效的量化解決方案，并將其反饋給其他功能區和C2高層。

C2層將對來自下層的決定進行仲裁，并提供一個統一的建議。就像一個軍事組織的指揮官一樣，它將把其副手AI的建議合并起來。人工智能過程的早期階段使用傳感器數據和其他客觀信息來確定指揮官的方向；決定行動方案需要建立對戰斗空間的理解，這是一種更高層次的欣賞。戰斗空間的可變性和模糊性將使這一層的人工智能元素最難開發。最終，該系統將作為一個可信的智能體，壓縮指揮官負責的信息量。壓縮的信息減輕了時間有限的決策者工作時的疑慮負擔，使她能夠向下屬單位發出更及時的命令。

圖1說明了基于這些原則的系統的擬議架構。以對手預測為例，許多單一用途的ANI將在最低層結合原始傳感器和單位報告數據。它將評估敵方單位的最可能位置。公司分析評論、社交媒體和論壇發帖的情緒，以確定產品的滿意度。同樣地，這個系統將通過公開的言論和秘密的報告來確定對手的意圖。它將評估當前和歷史天氣模式，以評估氣候對敵人行動的影響。這三個輸入和其他信息將被功能情報ANI用來形成對敵方COA的評估。同樣，火力節點將使用敵人的組成、JFC的優先級和預測的彈藥可用性來產生目標指導。中間層節點將橫向傳遞他們的評估，以完善鄰近的建議，如部隊保護水平。獨立的功能建議也將直接反饋給C2層，以創建整體行動方案。

圖1. 海上人工智能系統的擬議架構

建議

首先，利用聯合人工智能資源的優勢，針對海軍的具體問題修改標準組件。擅長開發軍事人工智能系統的工程師的稀缺性將限制新系統的開發。美國防部的人工智能戰略具體規定了建立通用的工具、框架和標準，以便進行分散的開發和實驗。使用這些現成的組件，為人工智能決策網的所有子系統創建低級別的系統和標準接口。將海軍的資源集中于采購和實施用于海事具體決策的中層和高層系統。避免技術上令人著迷但無效的解決方案，并通過將職能領域的專家與設計團隊相結合來保持解決海事問題的目標。

第二，創建并維護可通過機器學習攝入的作戰數據數據庫，以訓練海軍人工智能。實施能夠在海上作戰中心（MOC）讀取和集中匯總基本作戰數據報告的技術和工藝，如燃料狀態、導彈裝載量。開發記錄和定性評分作戰決策結果的方法，如對手態勢的變化、傷亡修復率和公眾對行動的反應。將輸入與作戰決策和結果聯系起來的數據庫將加速開發符合現實世界標準的系統。

第三，將人工智能的使用納入政策和條令。條令應該編纂人工智能可以被整合到戰爭戰役層面決策中的領域。明確地說，關于情報、行動、火力、后勤、規劃和通信的海軍作戰出版物應說明人工智能在決策過程中產生優勢的地方和方式。描述海上聯合行動的聯合出版物應明確說明如何將JFC的要求解析為JFMCC的AI系統。如果國防部和海軍的政策對指揮官因整合人工智能的決策建議而產生的責任量進行了定性，那么他們在使用人工智能時就可以采取經過計算的風險。讓指揮官和作戰人員掌握使用人工智能的戰術、技術和程序將加速其在艦隊中的應用。

多智能體系統在解決復雜和動態領域的問題方面顯示出巨大的潛力。這種系統由多個單獨的實體組成，稱為智能體。系統的整體行為是由其組成的智能體的許多相互作用產生的。大多數研究的系統由同質的智能體組成，它們擁有相同的行為或物理形式。然而，最近的工作表明，擁有不同行為或形式的異質智能體可以提高系統性能。這項研究考察了異質性對多智能體系統有效性的影響，并研究了多智能體系統在聯合武器戰中的應用，聯合武器戰同時應用異質單位類型來完成軍事目標。數百個形態上同質和異質的多Agent團隊被演化出來，并對其完成某些目標的能力進行評估。結果表明，沒有一個團隊配置在所有情況下都表現出色，在異質和同質配置之間轉換的能力對團隊的成功比任何配置的異質性更重要。結果進一步表明，美國海軍陸戰隊理論中描述的聯合武器戰術可以從簡單的、分散的智能體的互動中產生，表明該領域的未來研究可能被證明對聯合武器戰爭的軍事藝術有價值。

引言

1.1 問題背景

現代聯合武器理論要求同時應用多種武器類型，以達到大于其各部分之和的效果[1, 2]。復雜適應性系統（CASs）的研究人員對這句話很熟悉，它是一種涌現的語言，通過這種現象，一個相對簡單的智能體系統表現出復雜的總體行為，從而創造出 "小中見大 "的效果--大于其部分之和[3, 4, 5]。約翰-博伊德（John Boyd）的工作是基于當前的聯合軍備理論，他將武裝部隊視為由處于不同角色的自主單位組成的復雜網絡，并借鑒了CAS文獻來發展其戰爭理論[6]。對博伊德來說，每個軍事單位都填補了一個專門的利基，有助于整體的運作，因此，發展一支有效的聯合武器部隊是一個多智能體系統工程問題。在這樣的問題中，每個智能體必須被設計成通過與同伴的互動，在系統層面上幫助產生一些理想的特征。例如，戰斗的勝利是軍隊的一個理想特征，每個士兵的訓練和裝備都是針對贏得戰斗的整體任務。

聯合武器部隊具體來說是一個異質的多智能體系統。異質性一詞表示智能體之間在形態上、行為上或兩者上的差異。形態上的異質性指的是物理特性上的差異，而行為上的異質性指的是智能體對感知數據的行為方式上的差異。因此，形態上的異質性智能體就像坦克與飛機或警犬與警察一樣不同。行為上的異質性智能體不同，就像兩架相同的飛機在執行任務時可能扮演不同的角色，或者一個士兵可能在另一個士兵前進時提供火力掩護[3, 7]。

聯合武器戰爭的歷史提供了許多異質系統的例子，從古代的小兵、步兵和騎兵的聯合編隊到現代空軍的復合翼概念[8, 9]。現代計算機模擬和人工智能（AI）的研究提供了新的機會，通過建模和評估部隊的組成和戰術來推進聯合武器理論。最近的研究表明，智能體能夠在戰略游戲中產生新的戰術[10]，協調多個物理和行為上不同的單位，在物理世界中執行協作任務[11]，并在智能體的合作團隊中產生新的和多樣化的行為[12]。所有這些結果都與聯合武器理論有直接關系。這樣的研究既促進了軍事藝術的發展，也促進了人工智能和多智能體系統的研究。

1.2 研究問題

假設異質智能體系統將比同質系統更有效地完成分配的任務，其中有效性是由衡量成功完成任務的健身分數來衡量。更具體地說，這項研究將回答以下問題。

1.行為的異質性是否會改善或損害多Agent系統在聯合武器場景下的性能？

2.形態上的異質性是否會改善或損害多Agent系統在聯合軍備情況下的性能？

假設異質智能體系統將比同質系統更有效地完成分配的任務，其中有效性是由衡量成功完成任務的健身分數來衡量。更具體地說，這項研究將回答以下問題。

1.行為的異質性是否會改善或損害多Agent系統在聯合武器場景下的性能？

2.形態上的異質性是否會改善或損害多Agent系統在聯合軍備情況下的性能？

3.給定一組形態不同的單元，多Agent系統能否在沒有明確的中央指令的情況下表現出協同的聯合武器行為？

問題一和問題二涉及到可以將多樣性引入到智能體群體中的方式。采用具有物理或形態差異的智能體是否有益？為了回答這些問題，本研究在各種不同的任務中測試并比較了行為上和形態上的異質團隊。第三個問題是評估多智能體系統參與聯合武器戰爭中的合作行為類型的潛力。

這項研究提出了幾個戰斗單位的異質團隊的模擬，并評估了形態和行為異質性對團隊有效性的影響。多個異質和同質團隊被生成并在四個場景中測試，每個場景都有不同的目標。隊伍根據其勝利率進行分級，并與所受傷害成反比。測試結果被用來確定最有效和最高效的團隊配置和行為。

最合適的團隊表現出合作戰術，包括側翼機動、偵察、多管齊下的攻擊和其他行為。這些戰術產生于每個團隊成員智能體的互動，并且經常結合不同的智能體形態或行為。這項研究表明，異質性對團隊適應性的影響因情況而異，最有效的團隊傾向于演化出異質性行為和形態來克服戰術挑戰，而且聯合武器戰術可以從簡單智能體的相互作用中出現。

1.3 貢獻

這項研究提供了一個動態領域中同質和異質多智能體系統的比較。它支持國防部（DoD）發展自主武器系統的優先事項[13]，并通過展示從簡單的智能體互動中出現的可識別的戰術行為，將多智能體系統理論應用于聯合武器的軍事藝術。提供了一個新的和可擴展的模擬器，用于未來對單體和多體系統的研究。

1.4 概要

第二章提供了多智能體系統的相關背景和研究，并概述了該領域與聯合武器理論的關系。還提供了RoboCodePlus模擬器的描述。第三章描述了用于執行實驗的方法，概述了智能體架構、測試場景以及用于生成和進化單個團隊的遺傳算法。第四章分析了每個實驗的結果并得出結論，而第五章總結了所做的工作并為未來的工作提供了建議。

量子計算在提供漸進的計算優勢方面有著巨大的前景。量子算法高效的一個必要（但不是充分）條件是有目的地利用獨特的量子特性（疊加、糾纏、不確定性）。現實世界的問題引入了前所未有的復雜程度。這個基礎研究項目的主要目標是構思新的有效的量子算法，同時避免做出不現實的假設。

1 算法設計、實施和測試

（1）變分量子k-本征求解器

該算法的數學表述已經建立，并在IBM量子計算開發環境中的實現已經結束。該算法已經過數值測試。該算法的一個關鍵創新點是通過重新表述變量優化問題，將其作為一個元級優化問題，同時搜索特征值和其變量形式，從而搜索k個特征對。

（2）變異量子蒙特卡洛最小化器

該算法的數學表述已經建立，隨后使用IBM量子計算開發環境進行實施，并在IBM Q量子計算機上進行實驗。其中心思想是圍繞著計算高階時刻的混合量子-經典變分框架的制定。在這種框架的樸素設計中，計算第??個時刻需要多項式增加??(????)量子設備要計算的變量項數量，其中??是哈密爾頓表示中張量積項數量。建立在矩陣函數結構基礎上的公式可以避免這種計算開銷。

（3）魯棒優化

魯棒優化是量子計算的一個意料之中的候選者。鑒于決策，表征效用函數的概率分布傳達了可能是無限的分布中最差的分布。我們假設決策向量??和概率分布??∈??(???)都可以通過參數化單元得到。這種表述包含了一個鞍點問題，對于這個問題存在經典的算法。決策向量??=??(??)|0〉可以進行變分編碼。每個元素為0或1且具有給定概率的向量可以用單層??旋轉進行編碼；改變旋轉角度直接決定了0或1的概率。向量元素之間的相關性可以用雙比特糾纏門來引入。

（4）結構化馬爾科夫過程

許多不同形式的不確定性問題下的決策的計算復雜性限制了這些基本問題在經典計算環境中的解決程度。這對于不確定性問題下的一般形式的決策來說尤其如此，這些問題涉及馬爾科夫過程作為不確定性下系統的隨機建模框架，在這個框架內必須做出決策。我們已經確定并調查了此類問題的廣泛范圍，我們認為這些問題對于開發不同類型的量子算法來說是很有潛力的，這些算法有可能在計算復雜性方面提供重大改進。其中一個原因是快速傅里葉變換的廣泛使用，它是最先進和高效的經典計算算法的基礎。另一個原因是強大的概率特性和結構，我們相信這些特性和結構可能使我們能夠從第一原理中開發出更有效的量子算法。除了識別和研究這類計算問題之外，我們已經開始追求開發量子算法的兩個方向，推動經典和量子計算環境之間的重大差距。

（5）量子游走

量子游走是定義在希爾伯特空間???????中，該空間由離散位置狀態???和大小為2的擲硬幣空間???構成。因此，在每一個一次性步驟中，一枚硬幣和一個移位算子執行量子隨機游走演化??=??(?????)。與經典隨機游走相比，量子游走的獨特優點是有可能開發出疊加硬幣的解決方法，從而有效地同時探索多條路徑。選擇Hadamard門作為疊加硬幣，我們可以考慮其他各種選擇（平衡的或不平衡的），這將影響步行者的動態。在第3.6節中，我們描述了我們對量子游走算法的初步設計以及對硬幣算子不同選擇的影響。

（6）基于量子游走的群組檢測

作為我們在量子算法背景下隨機游走領域持續研究的一部分，擴展了與量子游走有關的算法，特別是群組檢測的量子游走。我們通過使用不同的位置和硬幣空間，考慮到各種硬幣，包括與Hadamard硬幣、Fourier硬幣和Grover硬幣有關的硬幣，將我們原來對線上量子游走空間的定義擴展到任意的無向圖。對于群組檢測，經典圖被一個預備電路編碼為量子對象。量子隨機游走電路通過反復應用游走算子（硬幣算子和階梯算子的組合）來進行群組分析。測量電路將量子信息從量子比特傳遞到經典世界進行分析。這種量子計算方法可以帶來比經典類似物更高的多項式計算速度。

（7）結構化隨機游走

除了我們在量子游走領域的持續研究（上文），還有另一類普遍而重要的隨機游走值得關注，即那些具有某些結構特性的隨機游走。計算這類結構化隨機游走均衡分布最著名的經典算法叫做循環還原，其計算復雜度主要是在適應于結構化隨機游走循環還原算法的每次迭代中需要解決多個線性方程組。在第3.5節中，我們描述了我們初步設計的用于計算結構化隨機游走均衡分布的量子算法，該算法在循環還原算法的每次迭代中對這些計算復雜性瓶頸的線性系統大小提供了指數級的加速。在第4.4節中，我們進一步表明，我們對結構化隨機游走的量子算法比對量子游走的相應算法提供了顯著的速度提升。我們還注意到，循環還原是一些重要的數值方法的核心，遠遠超出了我們在這里對結構化隨機游走的興趣，因此這里設計的量子算法可以用來解決更大的一類數值問題。

（8）主動學習-量子相位估計

本研究考慮了一種變分量子相位估計（QPE）方法，它結合了與拒絕濾波和神經網絡推理有關的想法。根據可用的計算資源，該方法允許在變分量子求解器（VQE）和QPE之間進行幾乎連續的轉換。使用混合量子經典方法的優點是，它利用每個領域的優勢來獲得誤差?和計算復雜性之間的最佳權衡。該方法的數學表述已被開發出來，并實施了一個原型算法。

（9）量子期望估計

根據主動學習的特征，將VQE與更復雜的振幅估計版本相結合，我們報告了一種新穎的無塌陷的量子振幅估計方法，它與Knill的真實和復雜提取技術一起，構成了一種新穎的量子期望估計算法。

（10）拓撲數據分析

在量子計算吸引人的應用領域中，我們發現了拓撲數據分析，特別是持久同源性領域，可以考慮大幅度（達到指數級）加速。追蹤貝蒂數如何隨著尺度??的變化而變化，揭示了在不同的??分析數據時，拓撲特征是如何產生和消失的。在許多長度尺度上持續存在的拓撲學特征可以被識別為結構化的"真正"特征：持續性同源性。在第3.8節中，我們提供了理論基礎，并涵蓋了諸如邊界圖、鏈復合體、同源組和復合濾波以及BarCodes等主題。在此之前，我們報告了重要的實現細節，特別是受控的變換操作的設計和實現。在此期間，我們開發了一種新的快速量子算法來計算基于切比雪夫多項式近似的貝蒂數。該方法只需要計算矩陣矩，而不需要計算矩陣的特征分解（使用QPE）。我們提出了許多數值結果，表明新方法在估計貝蒂數方面非常有效。

研究工作的另一條主線是圍繞確定量子計算可以提供可行優勢的應用領域。

2 已經探索的具體應用

（1）拓撲分類器

拓撲數據分析和持久同構的應用之一是在機器學習中用于分類問題。我們可以利用給定數據的拓撲學特征來訓練分類器，我們稱之為拓撲學分類器。我們的想法是，不同尺度上的點的貝蒂數形成了持久性的條形碼。我們可以使用這些不同尺度的貝蒂數?作為分類器的（拓撲）輸入特征。我們展示了這些想法如何被用于數字分類。特別是，我們計算了10個數字（0-9）在不同尺度下的貝蒂數??，并展示了我們如何僅用拓撲學特征來區分這些數字。

（2）定價和風險分析

定價和風險管理在金融系統中發揮著核心作用，并代表了該領域中一些計算要求最高的問題。這是由于經典蒙特卡洛模擬的收斂速度相對較慢，這往往導致大規模并行化的隔夜模擬。使用量子振幅估計，有可能建立量子算法，導致比經典蒙特卡洛模擬快4倍的速度。這可以將數以百萬計的經典樣本減少到數以千計的量子樣本，有可能將隔夜模擬減少到接近實時應用。這可能會對金融系統產生重大影響，因為即使是邊際加速也會帶來巨大的好處。所研究的量子算法不僅適用于金融應用，例如，將其應用于庫存管理問題也是很簡單的。

（3）組合優化的變分啟發式

變分方法已被應用于各種領域，如化學、機器學習、優化。通常情況下，效用函數是一個編碼系統總能量的哈密頓，需要最小化。這與優化背景直接相關：同樣的想法可以應用于經典的組合優化問題，只要我們能夠構建一個編碼優化問題的目標函數的哈密爾頓。在我們的研究中，我們采用經典的無導數優化方法來尋求這些問題的良好解決方案，并揭示了一些應該克服的限制，以提高變分方法的有效性。

最后，我們把注意力放在設計方法上，以解決基本的數據移植問題。

數據移植

（1）稀疏和窄帶量子傅里葉變換

我們超越了近似的QFT，提出了一種新的稀疏QFT（SQFT）算法。該算法的構造對于理解和實現近期設備上的QFT具有吸引力。我們報告了對稀疏信號的AQFT的一種新的重述和應用。我們將該算法擴展到窄帶信號，并通過采用較新的并行化版本來提高復雜性。

（2）近似量子傅里葉變換

量子傅里葉變換（QFT）是眾多量子算法中的關鍵成分。對于大多數潛在的應用，QFT的復雜性很高，因此，降低復雜性的近似方案的潛在應用可以產生巨大的影響。

我們在幾個不同的流行框架（qiskit、qutip和pyquil）上用python實現并徹底測試了均值場近似量子傅里葉變換（AQFT）。這導致了在正文中提出的一系列初步的基準測試結果。我們已經表明，與幾乎線性的復雜度（與完整的QFT的立方體相反）相比，測量的波函數的誤差是可以忽略的。

報告提綱

IBM量子計算算法基礎研究項目的重點是為近期噪聲量子系統設計可行的量子計算算法。重點是設計算法，避免采取不現實的假設，同時提供關于預期計算優勢的理論嚴謹性。有三個主要的開發項目，如下所示：

• 算法設計、實施和測試
• 應用
• 數據移植

上述的每一個項目，都涉及幾個任務。

算法設計活動包括：

• 任務1.1 - 推導和設計一個綜合的基于量子變分期望估計器的特征值和蒙特卡洛最小化算法
• 任務1.2 - 使用IBM QISKit開發算法
• 任務1.3 - 算法測試
• 任務1.4 - 探索組合優化的變異算法的性能
• 任務1.5 - 無空間變異特征求解器的制定和評估
• 任務1.6 - 開發主動學習??-QPE算法，結合變量量子特征解算器和量子相位估計的優勢
• 任務1.7 - 對主動學習??-QPE算法進行評估
• 任務1.8 - 完善主動學習??-QPE算法
• 任務1.9 - 對近似量子傅里葉變換算法進行分析
• 任務1.10 - 完善近似量子傅里葉變換算法

應用范圍界定活動包括對以下領域問題的探索：

• 任務2.1 - 界定與AFRL相關的現實問題，可在綜合量子蒙特卡洛框架中表示出來
• 任務2.2 - 在實際的（非容錯的）量子計算機上進行性能評估
• 任務2.3 - 設計基于量子游走的群組檢測算法
• 任務2.4 - 測試基于量子游走的群組檢測算法

作為數據移植工作的一部分，開展了以下活動：

• 任務3.1 - 探討亞線性（特別是基于草圖的）經典（隱式或顯式）到量子數據映射的數學計算公式
• 任務3.2 - 涵蓋理論和實施細節的技術報告
• 任務3.3 - 在實際的量子計算機上演示算法
• 任務3.4 - 基于??-QPE算法的拓撲學特征（貝蒂數）的初步描述
• 任務3.5 - 細化拓撲學特征（貝蒂數）的描述
• 任務3.6 - 基于拓撲學特征的初始拓撲學分類器
• 任務3.7 - 完善拓撲學分類器算法

本報告剩下章節將詳細描述每個項目所涉及活動的摘要。

量子技術將量子物理學的原理轉化為技術應用。總的來說，量子技術還沒有達到成熟的程度；然而，它可能對未來的軍事傳感、加密和通信，以及對國會的監督、授權和撥款有重大影響。

1 量子技術的關鍵概念

量子應用依賴于一些關鍵概念，包括疊加、量子比特（qubits）和糾纏。疊加是指量子系統同時存在于兩個或多個狀態的能力。量子位是一種利用疊加原理來編碼信息的計算單元。(經典計算機用比特編碼信息，這些比特可以代表0或1的二進制狀態，而量子計算機用量子比特編碼信息，每個比特可以同時代表0、1或0和1的組合。因此，量子計算機的功率隨著每個量子比特的增加而呈指數級增長）。

美國國家科學院（NAS）將糾纏定義為 "一個系統中的兩個或更多的量子對象可以有內在的聯系，從而使對一個對象的測量決定了對另一個對象可能的測量結果，無論這兩個對象相距多遠"。糾纏是量子技術的一些潛在軍事應用的基礎。然而，由于量子狀態的脆弱性，疊加和糾纏都很難維持，它們可能會被微小的運動、溫度變化或其他環境因素所破壞。

2 量子技術的軍事應用

美國國防科學委員會（DSB），一個獨立的國防部（DOD）科學顧問委員會，已經得出結論，量子技術的三種應用對國防部來說最有希望：量子傳感，量子計算機，和量子通信。DSB的結論是，量子雷達，假設能夠識別物體的性能特征（例如，雷達截面，速度）--包括低可觀察性，或隱形飛機--"不會為國防部提供升級的能力"。

2.1 量子傳感

量子傳感在傳感器內使用量子物理學原理。根據國防部的說法，這是量子技術最成熟的軍事應用，目前 "準備用于任務"。量子傳感可以提供一些增強的軍事能力。例如，它可以提供替代性的定位、導航和計時選項，理論上可以使軍隊在GPS退化或GPS否認的環境中繼續全力以赴地工作。

此外，量子傳感器有可能被用于情報、監視和偵察（ISR）的作用。這種傳感器的成功開發和部署可能會導致潛艇探測的重大改進，并反過來損害海基核威懾力量的生存能力。量子傳感器還可以使軍事人員探測地下結構或核材料，因為它們預計 "對環境干擾極其敏感"。量子傳感器的敏感性同樣有可能使軍事人員探測到電磁輻射，從而增強電子戰能力，并有可能協助定位隱蔽的對手部隊。

2.2 量子計算機

根據美國國家航空航天局的說法，"量子計算機是唯一已知的計算模型，可以提供比今天的計算機更高的指數級速度。" 雖然量子計算機處于相對早期的發展階段，但其中許多進展是由商業部門推動的，可能對人工智能（AI）、加密和其他學科的未來產生影響。

例如，一些分析家認為，量子計算機可以使機器學習（人工智能的一個子領域）取得進展。這種進步可以刺激改善模式識別和基于機器的目標識別。這反過來又能促成更精確的致命自主武器系統的發展，或能夠選擇和打擊目標的武器，而不需要人工控制或遠程操作。啟用人工智能的量子計算機有可能與量子傳感器配對，以進一步加強軍事ISR應用。

此外，量子計算機有可能解密存儲在加密媒體上的機密或受控非機密信息，使對手能夠獲得有關美國軍事或情報行動的敏感信息。一些分析家指出，要打破目前的加密方法，可能需要在量子計算方面取得重大進展。他們的估計表明，要破解目前的加密方法，需要一臺具有約2000萬個量子比特的量子計算機；然而，目前最先進的量子計算機一般不超過256個量子比特。

量子計算機的實際應用可能只有在錯誤率提高和新的量子算法、軟件工具和硬件開發之后才能實現。雖然正如NAS所指出的，"不能保證[這些技術挑戰]將被克服"，但一些分析家認為，能夠破解當前加密方法的初始量子計算機原型可能在2030至2040年的時間框架內開發出來。出于這個原因，NAS得出結論："后量子密碼學的開發、標準化和部署對于最大限度地減少潛在的安全和隱私災難的機會至關重要"。(在部署后量子密碼學之前截獲的信息將不會受到保護)。

2022年5月，拜登政府發布了《關于促進美國在量子計算方面的領導地位，同時減少對脆弱的密碼系統的風險的國家安全備忘錄》（NSM-10），其中 "指示各機構在美國開始將脆弱的計算機系統遷移到抗量子密碼學的多年過程中采取具體行動"。NSM-10指出，國家標準和技術研究所所長和國家安全局局長正在制定并預計在2024年之前公開發布抗量子密碼學的技術標準，此外還列舉了一個國家 "在2035年之前盡可能多地緩解量子風險的目標"。

2.3 量子通信

量子通信--不包括量子密鑰分配（[QKD]，將在下文中討論）--正處于一個新興的發展階段。量子通信在理論上可以實現量子軍事傳感器、計算機和其他系統的安全聯網，從而提高單個量子系統或經典通信網絡的性能。聯網還可以加強這些系統在射程上的穩健性，從而擴大它們可以部署的潛在環境（即在維持脆弱的量子狀態通常需要的實驗室環境之外）。這可以大大擴展量子通信的軍事用途。

量子密鑰分配是量子通信的一個子集，它利用量子物理學原理對信息進行加密，然后通過經典網絡發送。QKD實現了安全通信，在傳輸過程中不能被秘密截獲。(然而，QKD通信可以在目前長距離傳輸所需的中繼站被截獲）。據報道，中國正在大力投資QKD，并在2016年完成了北京-上海約1250英里的量子網絡的建設。然而，DSB的結論是："QKD的實施還沒有足夠的能力或安全性來部署給國防部的任務使用。"

3 資金和最近的立法活動

國會已經考慮了量子技術的管理和影響。例如，2019財年國防授權法（NDAA）（P.L. 115-232）第234條指示國防部長--通過國防部研究與工程副部長行事--與私營部門和其他政府機構協調，執行量子技術研究和開發計劃。

此外，FY2020 NDAA（P.L. 116-92）第220條要求國防部制定使用量子技術的道德準則，以及支持量子勞動力和減少與量子技術相關的網絡安全風險的計劃。它還授權每個軍事部門的部長建立量子信息科學（QIS）研究中心，可以 "與適當的公共和私營部門組織合作"，以推進量子研究。迄今為止，海軍已指定海軍研究實驗室作為其QIS研究中心，而空軍已指定空軍研究實驗室作為空軍和太空部隊的QIS研究中心。陸軍說它目前不打算建立一個QIS研究中心。

2021財年NDAA（P.L. 116-283）第214條指示各部門編制并每年更新一份量子計算機在未來一到三年內可能解決的技術挑戰清單。該清單目前包括量子化學、優化和機器學習。第214條還指示各部門與中小型企業建立項目，為政府、工業和學術研究人員提供量子計算能力，以應對這些挑戰。第1722條指示國防部對量子計算機帶來的風險以及當前的后量子密碼學標準進行評估。

最后，2022財年NDAA（P.L. 117-81）第105條指示總統通過國家科學技術委員會建立量子信息科學的經濟和安全影響小組委員會，而第229條指示國防部長 "建立一套活動，以加速開發和部署雙重用途的量子能力"。

國防部在最近的預算請求中沒有提供量子研究的細目；然而，根據數據分析公司Govini，國防部在2021財政年度要求為量子技術和研究提供約6.88億美元。

4 給國會的潛在問題

• 目前量子技術軍事應用的成熟度需要多少資金？如果有的話，美國政府應該在多大程度上投資和研究能夠實現量子軍事應用的技術（例如，材料科學、制造技術）？

• 量子技術的商業進展在多大程度上（如果有的話）可以被用于軍事應用？

• 美國競爭者在開發量子技術的軍事應用方面的努力有多成熟？如果有的話，這種努力在多大程度上可以威脅到美國的先進軍事能力，如潛艇和隱形飛機？

• 正在采取哪些措施來開發抗量子加密技術和保護用現有方法加密的數據？

• 如果有的話，美國應該采取什么措施，以確保量子勞動力足以支持美國在量子技術方面的競爭力？