亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

網絡空間行動的早期成功為壓制對手提供了新途徑可能性。隨著美國陸軍開始向多域作戰過渡，他們依賴網絡空間并支持其他領域的行動。一個問題出現了："軍隊如何將網絡空間行動納入支持其他領域的行動？" 對于如何將網絡行動納入其他領域的行動，目前還沒有有證據支持的實際規劃原則。基于最初的研究，產生了一個假設，即支持戰爭作戰層面的網絡空間行動與物理領域和虛擬信息領域的行動同步。利用美國軍方對作戰層面和作戰領域的公認定義，分析了作戰層面活動的案例研究。通過收集每個案例的以下信息，對盟軍行動以及以色列-哈馬斯沖突進行了分析：戰略背景、網絡空間行為者、網絡空間行動以及網絡空間行動如何支持其他領域的行動。分析的結果是，戰爭行動層面的網絡空間行動通過收集對手的情報來支持其他領域的行動；拒絕或破壞虛擬信息領域的傳遞途徑；以及影響在物理領域的實體。

1806年10月，法軍在耶拿-奧爾斯塔特戰役中迅速擊敗了普魯士軍隊。普魯士軍官卡爾-菲利普-戈特弗里德-馮-克勞塞維茨（Carl Philipp Gottfried von Clausewitz）出席了這次戰斗，這次失敗讓他深感不安和困惑。 普魯士軍隊的人數超過了法國軍隊，但是，法國軍隊的戰術優于普魯士過時的線性作戰方式。克勞塞維茨見證了戰爭的未來，并決心將普魯士軍隊發展成為一支再次讓歐洲羨慕的力量。

2014年7月俄烏戰爭期間，在烏克蘭澤勒諾皮亞村附近，烏克蘭陸軍地面部隊的四個旅準備對俄羅斯邊境附近的分離主義分子的部隊發動進攻。2014年7月11日，一場三分鐘的密集炮擊襲擊了烏克蘭四個旅的人員，并摧毀了烏克蘭第79空中機動旅的一個營。對這次攻擊的分析表明，俄羅斯部隊使用無人駕駛飛行器來定位烏克蘭部隊，并將位置提供給間接火力平臺。從識別到效果的時間如此之快，以至于烏克蘭各旅無法采取保護行動。俄烏戰爭中的這一小段時間非常重要，以至于美國陸軍能力整合中心發起了對俄羅斯新一代戰爭研究，以確定俄烏沖突對未來戰爭的影響。

2015年，在美國陸軍戰爭學院的一次演講中，國防部副部長鮑勃-沃克概述了二十一世紀戰爭的問題，并責成美國陸軍開發空地戰2.0。2018年12月，美國陸軍邁出了理論演進的一步，出版了《2028年多域作戰中的美國陸軍》，以解決陸軍如何在多個層次和領域內作戰的問題。

耶拿-阿爾斯泰特戰役和俄烏戰爭雖然相隔幾個世紀，但都顯示了卓越戰術和行動安排的力量。克勞塞維茨和美國陸軍目睹了失敗，并作出了類似的反應，進行了深入的戰斗研究，以改善他們各自的軍隊。這些研究的成果是對未來戰爭行為的指導性文件。

美國陸軍采用多域作戰作為未來的作戰結構，依靠網絡空間作戰來支持其他領域的作戰。然而，關于如何將網絡行動納入其他領域的行動，目前還沒有基于證據的實際規劃原則。軍事規劃者的問題是如何整合網絡空間行動以支持其他領域的行動而不至于遭遇慘敗。該論點認為，網絡空間行動通過收集對手的情報來支持其他領域的行動；拒絕或破壞虛擬信息領域的傳遞途徑；以及影響物理領域的實體。

這是一個顛覆性技術快速變革的時代，特別是在人工智能（AI）領域。雖然這項技術是由商業部門為商業開發的，但人工智能在軍事應用方面的明顯潛力，現在正促使世界各地的武裝部隊對人工智能防御雛形系統進行試驗，以確定這些系統如何能夠最好地用于作戰與和平時期的任務。

澳大利亞也不例外，在2020年國防戰略更新中分配了資金，開始將人工智能能力引入國防。這將涉及開發解決戰術級和戰略級軍事問題的人工智能應用程序，建立一個熟練的人工智能勞動力，并與澳大利亞合作伙伴和盟友合作，將倫理學納入人工智能應用程序，并進行人工智能實驗。今年在澳大利亞首都地區費爾伯恩設立的國防技術加速實驗室是這一計劃的具體行動體現。

彼得-雷頓（Peter Layton）的論文考慮了人工智能在未來海、陸、空作戰行動中的戰術和作戰層面上可能發揮的作用，為這一廣泛的活動做出了貢獻。這是一個很少被研究的領域，因為到目前為止，大部分的討論都集中在關鍵的技術問題上。這些審議表明，人工智能可能是未來戰爭中的一項重要技術，但仍有許多不確定因素。本文提供了一個起點，在此基礎上開始辯論，這將有助于解決其中一些不確定性。

本文認為，人工智能將滲透到大多數軍事機器中；然而，它的通用性意味著它很可能是在現有作戰層面結構中被使用。鑒于此，人工智能在中短期內的主要作戰用途是“尋找（find）和欺騙（fool）”。人工智能/機器學習尋找隱藏在高度混亂背景中的目標非常出色；在這個應用上，它比人類更好，而且速度更快。然而，人工智能可以通過各種手段被欺騙；其強大的尋找能力缺乏穩健性。這兩個關鍵特征在應用于當前海、陸、空作戰層面的思考時，可能會產生巨大的影響。

本文初步設計的作戰概念與沒有人工智能技術的作戰概念明顯不同。

所討論的概念旨在激發人們對人工智能戰場上人機協作作戰的思考。這樣的戰場在目前看來可能有些猜測，幾乎是科幻小說。即便如此，許多國家已經在規劃、研究和開發方面取得了很大進展。鑒于將軍事力量調整到新方向所需的漫長準備時間，這一旅程需要從現在開始。

人工智能（AI）技術突然變得對軍事力量很重要。美國國防部（US DoD）已將人工智能的投資從2016-17年約6億美元增加到2021-22年25億美元，橫跨600多個項目。中國已經通過了一項“下一代人工智能發展計劃”，旨在到2030年使中國成為人工智能領域的杰出國家，并使人民解放軍從“信息化戰爭”轉向“智能化戰爭”。更引人注目的是，俄羅斯總統普京宣布，“人工智能是未來......誰成為這個領域的領導者，誰就會成為世界的統治者”。這些高級別的倡議和聲明正在產生結果。

在美國，美國海軍（USN）的“海上獵人”號（USV）在沒有船員的情況下從加利福尼亞航行到夏威夷再返回，利用船上的傳感器、雷達和攝像機數據，通過人工智能進行導航。同時，在美國國防部高級研究計劃局（DARPA）的支持下，一架由人工智能驅動的F-16模擬戰斗機最近在多次模擬的近距離空戰中全面擊敗了由非常有經驗的人類飛行員控制的類似模擬。在一項研究陸戰的類似評估中，美國陸軍（US Army）已經確定，一支由人工智能驅動的部隊比一支非人工智能驅動的部隊擁有大約10倍的戰斗力。

中國目前正在應用人工智能，通過指揮和控制系統的自動化來提高其戰場決策的速度和準確性，制定預測性作戰計劃并解決情報、監視和偵察數據融合的挑戰。中國還開始試用人工智能USV，以備在南海使用，并開始試驗無人駕駛坦克，而一家中國私營公司公開展示了人工智能武裝的蜂群無人機。

俄羅斯落后于美國和中國，但現在正在實施一項國家人工智能戰略以迎頭趕上。在軍事領域，俄羅斯有幾項工作正在進行。一條主線是將人工智能應用于信息戰，在戰術上用于發動心理戰，在戰略上用于破壞對手國家的社會凝聚力。另一條線是通過開發無人駕駛地面車輛（UGVs）、遠程傳感器、戰術指揮和控制系統以及無人駕駛航空器（UAVs），使用人工智能來提高陸地作戰行動的有效性。另一個努力方向是國家防空網絡的指揮和控制系統的自動化。

初步跡象表明，人工智能可能是未來戰爭中一項非常重要的技術，但仍然存在不確定性。雖然人工智能在民用領域，特別是在消費類產品中，被廣泛使用，但在軍事環境中才剛剛接近實際部署。此外，它仍然沒有在真正的戰斗行動的惡劣試驗場上得到驗證。即便如此，人工智能已經成為軍事力量考慮其未來時不可忽視的技術。

重要的是，在可預見的未來，可用的人工智能技術是狹義的，而不是通用的。狹義人工智能等于或超過了人類在特定領域內特定任務的智能；其表現取決于應用環境。相比之下，通用人工智能等于人類在任何領域任何任務中的全部表現。何時能實現通用人工智能仍然值得商榷，但似乎還有幾十年的時間。近中期的全球軍事興趣在于如何在現代戰場上使用狹義的人工智能技術。

不足為奇的是，人工智能的定義往往與人類智能相提并論。例如，2018年美國國防部人工智能戰略將人工智能定義為“機器執行通常需要人類智能的任務......”。這種理解將技術擬人化，并無意中將對人工智能應用的思考限制在那些可以由人類執行的任務上。

在某些應用中，人工智能可能比人類做得更多或更少。人工智能和人類能力的維恩圖在某些領域可能會重疊，但認為它們重合是有點虛偽的。在提供解決問題的見解上，人工智能可能是智能的，但它是人工的，因此，它的思維方式是人類所沒有的。

因此，本文在考慮人工智能時，更多的是考慮這種技術能夠執行的廣泛功能，而不是考慮它與人類能力的關系。2019年澳大利亞國防創新委員會采取了這種方法，將人工智能定義為“用于執行以目標為導向的任務的各種信息處理技術，以及追求該任務的推理手段”。

初一看，這個定義似乎并不精確，沒有包括人工智能可能為軍事或民用目的實際執行任務。但這種模糊性是當代人工智能應用的一個關鍵屬性。人工智能可以以多種方式應用，可以被認為是一種普遍存在于社會中的通用技術。通用技術的一個早期例子是電力，現在它被廣泛使用，以至于它的持續存在和使用，就所有的意圖和目的而言，都是簡單的假設。電能使惰性機器活躍起來，人工智能也將以自己的方式，通過推理為它們提供完成任務的能力。人工智能似乎將注入許多軍事機器，因此未來的戰場將不可避免地以某種方式由人工智能支持。

為了取得對對手的作戰優勢，軍隊不斷尋求更大的戰斗力。傳統上，技術是以一種綜合的方式在戰場上使用的，它能最好地利用人類和機器的長處，同時盡量減少兩者弱點的影響。人工智能似乎也可能是類似的。可以預計，人工智能在與人類謹慎地合作時，而不是在某種獨立的模式下，會變得最有效。

這種考慮強調了新技術本身并不會突然間帶來戰場優勢，而是在于人類如何運用它。對早期技術創新的歷史分析指出，擁有指導如何使用這些新技術的合理概念是軍隊成功將其投入使用的關鍵。歷史學家威廉姆森-默里和艾倫-米萊指出：

• 證據表明，首先，制定未來愿景的重要性。軍事機構不僅需要進行最初的智能投資，以發展對未來戰爭的設想，而且必須繼續對這種設想進行深入思考，以確定這些戰爭可能與以前的沖突有什么不同......在這方面任何對未來戰爭的設想幾乎肯定是模糊和不完整的，不是詳細和精確的，更不是任何科學意義上的預測。然而，愿景并不足以產生成功的創新。一個人對未來沖突的看法也必須是平衡的，并與行動的實際情況有很好的聯系。

在戰術層面，與戰爭現實的聯系是最緊密的。戰略規定了目標、總體方針和使用的力量，但在與聰明和適應性強的對手戰斗中處理這些力量的卻是戰術層面。雖然戰斗的成功可能不會導致戰略的成功，正如美國在越南的戰爭所說明的那樣，反之亦然。一個好的戰略在面對持續的戰術失敗時不可能成功。克勞塞維茨寫道：一切都取決于戰術結果......這就是為什么我們認為強調所有的戰略規劃都只依賴于戰術上的成功是有用的......這在任何情況下都是決策的實際基本依據。戰術通常被認為涉及友軍相互之間以及與敵人之間的分布和機動，以及在戰場上使用這些部隊。

本文旨在為在未來的人工智能戰場上使用人機團隊制定作戰概念。這樣的戰場，特別是當擴大到陸戰以外的空戰和海戰時，有一個混合的線性和深層的方面，具有消耗和機動的概念。設計這些作戰概念將為潛在的狹義人工智能系統如何在戰爭的戰術和作戰層面上使用提供一個廣闊的視野。

首先，本文討論了組成人工智能技術包的各種技術要素。這些要素包括先進的計算機處理和大數據，以及與云計算和物聯網（IoT）有關的具體方面。

第二章研究了利用人工智能發動戰爭的問題，并為防御和進攻制定了通用的作戰概念。這些概念位于作戰和戰術層面之間的模糊界面，涉及友軍相對于對手的分布和機動，以及友軍在戰場上的運用。

第三章、第四章和第五章分別將人工智能防御和進攻的兩個通用概念應用于海洋、陸地和空中領域。每個領域的戰斗在分配和操縱友軍以及與敵人交戰方面都有很大的不同，因此有必要提出單獨的人工智能作戰概念。沒有一個單一的概念能夠充分涵蓋所有三個領域，除非在很高的抽象水平上，但理解其含義可能會變得困難。提出這種具有前瞻性的概念似乎接近于投機性的小說。為了避免這種情況，每個概念都特意以當代作戰思維為基礎，并討論了當前和新興的人工智能支持的海、陸、空平臺和系統，以說明所提出的想法。

設計這些作戰概念的目的是激發思考，并啟動關于未來和如何備戰的辯論。本文提出的作戰概念旨在成為辯論其他人工智能戰場概念的實用性、可能性和有用性的基礎。只有通過對建議進行批判性分析，并不斷重構它們以進一步分析和演化，才能朝著最佳作戰概念取得進展。

本文所討論的概念在性質和范圍上都是有意限制的。就性質而言，海、陸、空的概念是：為了保持每個概念的重點，它們不是聯合或合并的。重要的是，這種狹隘性意味著一些領域并沒有包括在內，如俄羅斯在影響力戰爭中使用人工智能或中國在社會管理和內部防御中使用人工智能。出于類似的原因，每個概念都有一個狹窄的范圍，專注于戰爭，只有限地關注后勤，并避免關鍵領域，如教育、培訓、行政和指揮與控制。值得注意的是，除了與傳統的陸、海、空領域的戰術交戰的關系外，沒有討論網絡和空間這些新領域。

本文將人工智能這種新技術與戰爭的作戰方式和戰術使用選擇聯系起來。有了這樣一個重點，本文就與許多武裝部隊制定的眾多人工智能戰略和計劃不同。一般來說，這些戰略和計劃都是向內看的，目的是闡述人工智能作為一種技術將如何被研究、獲得并引入到他們的具體服務中。本文旨在補充這些人工智能技術戰略和計劃，將它們與更廣泛的作戰業務聯系起來，發揮作用。

全域作戰 (ADO) 是美國軍事聯合概念的演變，旨在應對戰略對手，他們希望利用戰爭的新興特征來破壞和克服美國在日益復雜和全球戰場上的優勢。ADO作為一個概念很重要，因為它同時認識到作戰環境的復雜性以及對手打算如何在其中實現戰略優勢。這個概念描述了美國陸軍如何在鞏固成果的同時，使聯合部隊能夠防止、拒絕和利用對手。隨著多域作戰環境的出現和美國陸軍尋求在未來獲得并保持持久的優勢，繼續發展ADO概念將至關重要。

兵棋推演繼續作為軍事組織的一項關鍵職能和工具。兵棋推演工具根據玩家的決定，以不同程度的現實和抽象來模擬過程和后果。兵棋推演理論對美國陸軍領導力的開發至關重要，因為它提供了一個過程，通過抽象的機制將關鍵的決策還原成一個反復的過程，使人們能夠探索失敗并獎勵學習，以做出更合適的決策。兵棋推演是測試ADO概念的關鍵因素，也是培訓和教育未來領導力的關鍵方法。

ADO的關鍵是發展理解概念和作戰環境的能力。ADO推演允許領導者和軍事理論家學習和探索作戰環境，包括對手與美國和盟軍在作戰環境中的能力。設計一個關于ADO作戰概念的兵棋推演工具，可以創造一個框架，在這個框架內，領導者可以練習規劃、執行和反思關鍵因素。這篇論文提出了一個概念證明，即通過教育和培訓，重點關注陸軍的ADO規劃和執行的作戰方法，以促進未來的領導力開發。

引言

戰爭是永遠存在的。在某種不同程度上，行為者總是為沖突做準備或參與沖突。戰爭的特征和現代戰爭的概念在時間上無情地向前推進。美國的戰爭專家和政策制定者主要認為，全域作戰（ADO）是未來的戰爭概念。全域作戰代表了美國軍隊在2020年和不久將來的現代聯合作戰概念和方法。這一概念將空中、陸地、海洋、網絡空間、電磁和太空領域整合在一起，進行跨時空的規劃和同步執行。ADO固有的復雜性要求領導者對跨領域的能力、規劃和執行有一定的了解。

從戰術層面開始的領導力開發路徑限制了聯合和作戰經驗。對ADO的理解和更好的執行需要領導者在經驗發展的早期學習規劃和實施新生的概念。到目前為止，真實世界的親身體驗是最好的，但很難復制，在聯合作戰中更是如此。兵棋推演提供了一個補充教育和培訓的工具，利用機械原理來幫助對問題和決策過程的理解框架。一個全面的兵棋推演工具對于ADO中未來作戰領導力的開發是至關重要的。

本報告的目的是展示兵棋推演如何為美國陸軍在ADO中的角色開發和領導力培養提供方法。該研究旨在為對ADO感興趣的領導人提供一個基礎，并通過兵棋推演進行開發和教育。本報告展示了兵棋推演如何模擬ADO的概念，以指導和促進教育。兵棋推演的目的包括跨越時間和空間，通過所有領域來規劃和管理軍事行動，同時在與ADO相關的各個階段納入作戰藝術和科學元素。兵棋推演模型應能適應任何場景，并采用模塊化設計，允許根據需要強調背景。設計者根據現有的作戰框架，通過在至少兩個主要對手之間的偶發階段來開發兵棋推演工具，從而實現反思和討論。本報告提供了一個概念證明，即作為進一步開發的基線Theatrum Belli，并解決了陸軍理論中關于兵棋推演的一個重要空白。

在陸軍兵棋推演中，ADO的概念和理論存在一個重大的空白。很少有現有的模型能以現代的方式將所有的五個戰爭領域都納入其中，以適當地呈現ADO的要素。此外，美國陸軍缺乏一個模擬的、標準化的模型來最好地描述從師到戰區陸軍在作戰層面執行 ADO。美國空軍和美國海軍目前正在開發一個以ADO為導向的兵棋推演，但仍然沒有納入大量的地面部隊。本報告提出了一種兵棋推演的設計，能夠在作戰層面上對ADO的規劃和執行的領導力進行教育和開發。鑒于該兵棋推演的主要目標，設計者必須承認該模型和研究的局限性。

第一手和真實世界的經驗是最好的學習環境。然而，在作戰層面為ADO創造一個真實世界的訓練環境，在時間、物質和人員上的成本可能是令人望而卻步的。兵棋推演是一個有明確目標的模型，它準確地描述了至少兩個對立面之間的一些戰爭要素。為了實現這個明確的目標，必須對設計的因素進行優先排序。該模型只模擬了現實和戰爭的某些部分，優先用于實現兵棋推演的目標。設計的細節越精確、越全面，它就越復雜。兵棋推演通常會犧牲不同程度的精確性來實現簡單性，以減輕參與者所需的時間和精力成本。設計的目的是在ADO上進行指導，這也帶來了其他的限制。兵棋推演可以通過多次迭代來教授類似的學習目標，但對現實的每一次抽象都意味著模型的應用在任何時候都只能解決這么多問題。

兵棋推演的獲取和可用性是對擬議的兵棋推演的關鍵限制。兵棋推演中的任何機密材料都會大大降低大多數專業軍事教育(PME)項目的準入門檻。由于缺乏機密材料，該設計不可避免地掩蓋了ADO固有的某些方面。這使得一個用于訓練和教育目的的模型能夠得到更廣泛的傳播，甚至可能包括盟軍部隊。此外，該模型的擴大傳播鼓勵了PME之外更廣泛的參與，這可以進一步創新和調整未來的迭代。除了所討論的本報告的局限性外，設計過程的范圍更好地定義了設計方法。

本報告的兵棋推演設計范圍提出了一個課堂環境的概念說明，以補充ADO的學習。因此，重點支持實現具體的學習目標，只需要教師和學生的必要時間和努力。一個兵棋推演如果吸收了太多的時間，無論是學習操作還是執行本身，對任何有時間安排的人來說都會成為一種負擔。為了解決參與者的注意力問題，兵棋推演的模式必須是高效和簡短的，但仍然包括促進學習目標的機制。教員通過兵棋推演來管理學生的注意力，并需要利用剩余的時間來發揮綜合作用，而不是讓學生筋疲力盡。為了補充高級軍事研究項目（AMSP）的課程，設計應該以研討會的環境為基線。這種形式可以擴展到旅以上梯隊的工作人員，在幾個小時內執行迭代，而不是全天的事務。設計的迭代性質適合于情節性的場景，參與者可以用默認的標準跳入和跳出場景，或者在不同的情節之間進行進展，以實現持續的連續性。這是對兵棋推演范圍的一般性介紹，本報告將在后面對其設計背后的理論作進一步的詳細說明。

本報告的引言闡述了論文和主要目的，確定了重大差距，以及兵棋推演設計的局限性和范圍。下一節涵蓋了所研究的文獻、理論、概念和以前的兵棋推演，以及它們對擬議設計方法的應用。

圖4. 在MDO框架中強調的軍事問題。

在未來的軍事行動中，通過協調多智能體系統（MAS）來實施戰略機動以獲得對對手的優勢，是一個很重要的途徑。最近探索MAS協作的工作主要集中在識別、分類、驗證、實施，以及通過多智能體強化學習（RL）來研究新興的協作方式。強化學習方法可以通過探索和利用選定行動來響應特定環境中的突發行為，這有可能抑制對抗性協作，反過來又可以為各種情報、監視、目標獲取和偵察任務提供機會窗口。本報告簡要介紹了RL領域的突出工作及其在自主戰略機動協作式MAS中的潛在應用。

1 引言

美國陸軍現代化激增是由對手在多個領域（如陸地、海洋、空中、網絡、電磁和空間）對美國構成的威脅所推動的，這對美國利益的威脅超出了常規戰爭。預計未來的戰斗將在這些復雜的多領域環境中進行，人工智能（AI）將指導與人類士兵一起協同工作的機器人Agent的戰術、技術和過程（TTPs）。這些機器人將聚集在一起，形成智能多Agent團隊，與人類士兵有效協作，完成任務。

美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）的基本研究計劃（ERPs）構建了開發和實施智能多Agent系統（MAS）的具體計劃路徑。此類陸軍計劃為美國國防行動提供了關鍵研究問題的答案，這些問題匯聚在一起，指明陸軍未來司令部的現代化努力方向。人工智能用于自主機動性（AIMM）和新興超限技術（EOT）是ERP的例子，明確側重于使下一代戰車具有自主感知、學習、推理、規劃和機動能力。這些未來的自主系統將與人類智能體合作進行預測和規劃，并通過戰場上的自主機動（AIMM）和保護（EOT）向士兵提供支持。本報告重點關注需要進行的自主協作，以使多智能體系統（即人類、智能體或人類和智能體混合）在未來的軍事行動中取得成功。

集成和協調的MAS將需要技術的進步，重點是超越我們目前的能力，以有效地對付同等裝備的對手（同行或接近同行）的協作戰略機動性。一個直接的挑戰是開發能夠以良好協調方式自主和智能地工作的智能體團隊。這種能力要求智能體在執行關鍵任務時與士兵一起觀察、定位、決定和行動（OODA-Loop）。雖然新的努力促進了對多智能體范式中情報的一般理解，但目前對情報的解釋并不明確。最近的文獻表明，基于強化學習（RL）的方法可能為實現這種技術進步提供了一條可行的途徑，本文介紹的一系列工作就是證明。

在本報告中，介紹了RL領域的貢獻，以及它們在軍事環境中的潛在應用--特別是通過戰略編隊機動來抑制對手的協作，以實現戰場上的超越。最小化、限制或完全抑制對抗性多Agent行為中的協作是探索和執行在模擬情況下通過RL實驗得出戰略機動的一種手段。此外，協作的戰略機動可以通過各種RL方法學習，以告知防御部隊創造機會或優勢窗口的潛在途徑。

為了在模擬環境中通過戰略機動的RL方法實現MAS協作，我們首先介紹了近年來一些最突出的RL研究。最近在RL領域的進展（如alphago）促進了更復雜的多智能體強化學習（MARL）算法在現實世界應用。此外，近年來也有一些框架來實現多智能體協作。這些努力加在一起，可以為開發和實施多機器人協作提供一條道路，以便在為未來戰場設計的多機器人系統中實現戰略機動。

在下面的章節中，對近年來突出的RL方法進行了分類和概述，并表明這些方法與DEVCOM陸軍研究實驗室目前的研究和開發項目相一致。具體來說，本報告的重點是確定戰略機動的特定算法的優勢和劣勢。此外，對選定的RL方法類別進行了分類，以深入了解戰略機動的潛在實施，并考慮到情報、監視、目標獲取和偵察（ISTAR）任務。

2. 多域作戰中多智能體系統的戰略機動

簡單地說，戰略機動可以解釋為一組智能體協調他們的行動，通過戰勝對手來實現一個共同的目標。破壞，是戰略機動的一個特例，可以表示為對對手協作戰略機動的抑制。因此，戰略機動一詞的使用意味著至少存在兩個對立的或敵對的雙方，他們處于動態的斗爭中，通過限制、抑制或以其他方式破壞對手的協調或戰術，并強加自己的協作戰術來獲得對對方的優勢。

在本節中，提供了一個對抗性的交戰場景，其核心是使用選定的遠程資產，這些資產本質上破壞了友好部隊的交戰。圖1顯示了一個圖例，描述了與所述多域作戰（MDO）情景相關的選定資產和部隊的軍事符號學。根據MDO理論，在武裝沖突中，對手的遠程反介入和區域拒止（A2AD）火力系統可以被用來拒絕友軍在戰區的機動自由（見圖1）。這是通過將情報、監視和偵察（ISR）資產與致命性和非致命性火力相結合來實現的，以攻擊戰略和行動支持區的友軍指揮結構、維持能力和部隊編隊。這些地區是近距離地區作戰資產（如部隊和裝備）的傳統集結地（見圖2）。對手有能力在友軍后方深處識別和攻擊目標，導致這些實體在地理上與戰術支持區和近距離區分離，這有效地提高了友軍的損耗率，即所謂的對峙。鑒于前線部隊與戰略和作戰機動支援相分離，敵對勢力可以利用這種友軍孤立無援的情況，將其消滅。

圖1 友軍（BLUEFOR，左）和敵軍（OPFOR，右）部隊的資產和資源。在所描述的MDO情景中，假設BLUEFOR和OPFOR的所有資產都是自主化的編隊。

圖2 敵軍（OPFOR）使用遠程導彈和火箭炮干擾或破壞友軍（BLUEFOR）戰略支援區的維持行動，這使得友軍無法以有利的條件與近距離地區的敵軍機動部隊交戰。為了應對這一戰略，BLUEFOR執行反擊任務，以摧毀位于深火區的OPFOR遠程火力系統（藍色箭頭）。從深層機動區的BLUEFOR SOF發出的三叉箭頭代表了一種 "破壞 "戰術，它打破了對手的隊形和節奏。

圖3 壓制（S）或解除（N）敵方遠程火力系統和ISR資產，使友軍能夠穿透敵方的A2AD保護傘。這使友軍能夠在近距離地區擊敗敵人，并使機動指揮官有能力利用他們的成功，迅速將部隊轉移到深度機動區，摧毀（D）脆弱的敵方資產并追擊撤退的敵軍。F表示 "固定"，可有效減緩敵軍的行動。粗箭頭代表部隊移動的方向。

MDO理論規定了擊敗對手A2AD能力的計劃（即對峙），以便戰略和作戰機動能夠使前沿部署的友軍以有利的條件與對手交戰（即穿透和瓦解A2AD系統以利用機動自由）。在這里，我們只關注友軍（BLUEFOR）野戰軍和軍團與敵方A2AD系統交戰時的滲透和瓦解部分，這可能需要在未來的戰斗中使用自主MAS。此外，據推測，圖1中友軍（BLUEFOR）和敵軍（OPFOR）的所有符號都將包含自主化的編隊（例如，機器人戰車、自動瞄準系統、地面和空中的機器人ISR資產）。圖2和圖3分別顯示了利用這種符號學與自主化編隊進行戰略機動的情景圖。

如圖2所示，敵對的A2AD火力系統通過攻擊戰略和作戰支持區來創造對峙局面。友軍火力和防空部隊從太空和高空監視（未顯示）接收有針對性的情報，在狹窄的時間窗口內打擊高價值目標（即多管火箭系統[MLRS]），以減少對手的位置調整。除了監視之外，還可以采用戰略刺激--打擊來穿透和瓦解對手的遠程火力系統。

在ISTAR任務中，MARL可以通過利用敵軍理論和敵軍行動中的局部觀察，戰略性地照亮和跟蹤敵軍目標的位置。此外，經過MARL訓練的具有自主能力的編隊，結合高度機動和分散的空中和地面火力，可以開始壓倒對手的遠程防空。友軍可以利用經過訓練的MARL方法來利用對手的TTP，進行防空和地面火力的戰略機動。這些具有自主能力的編隊根據從戰略空基刺激收集的監視數據選擇地理位置。隨著對手的遠程火力系統被消滅，戰略和作戰支援部隊能夠向前方的作戰部隊推進（機動）（見圖2）。

敵軍利用ISR資產識別作戰支援區的友軍資產，并從作戰縱深火力區用遠程火力系統（即多管火箭炮）攻擊友軍。這些敵方火力擾亂了友軍在該地區進行傳統支援行動的能力，這反過來又導致這些活動在離部隊前線更遠的地方進行。這通過擴大戰場和緊張的補給線而造成地理上的對峙。此外，這還允許敵方機動部隊以有利于敵方既成事實的條件與近距離地區的友軍作戰。根據MDO的理論，為了消除對峙，友軍的炮兵系統必須在敵軍的火力和ISR資產部署之前識別、交戰并摧毀它們。友軍SOF通過破壞補給和指揮與控制（C2）節點以及為聯合火力提供目標數據來協助這項工作。這在敵人的A2AD保護中創造了缺口，可以被機動指揮官所利用。在這種覆蓋下，友軍機動部隊穿透并利用近距離和深層機動區域的缺口。

在作戰區，近距離和縱深地區的聯合部隊的戰略編隊可能是自主啟用的編隊（即MAS），利用MARL訓練的策略來利用對手的TTP（來自理論）、本地觀察和ISR收集的信息。如圖2所示，聯合部隊將協調其ISR和遠程精確火力的能力，為前沿部署的BLUEFOR部隊提供支持。在戰略和作戰單位的支持下，擁有自主能力的前線部隊可以在近距離和縱深地區進行協調，以分離和擊敗敵方資產。這將促進消滅敵對的前沿機動部隊（OPFOR），使遠程火力系統容易受到地面攻擊（瓦解），如圖2所示。

聯合火力（即友軍或BLUEFOR）壓制或消滅對手的遠程火力系統，使友軍機動部隊能夠進入并擊敗近距離區域的作戰部隊（見圖3）。然后，友軍機動部隊利用這一優勢，在深度機動區（見圖3中的D區）摧毀敵方的助推器。這將導致剩余的敵對機動編隊從近距離區域撤出，并在深層機動區域建立一個新的戰線。這個過程不斷重復，直到達到戰略目標或打敗OPFOR。這些協調活動在理論上可以通過人類士兵和自主多智能體系統之間的合作來實現。此外，鑒于目前正在積極研究開發和部署這種自主系統，預計未來的戰場將需要考慮像這樣的場景來規劃戰略機動。

本節提供了一個可以應用MARL方法訓練自主化編隊的場景；然而，在這種復雜的MDO環境中執行的具體RL方法還沒有經過測試，或者可能還不存在。下一節闡明了與利用RL方法為未來的MDO交戰訓練MAS有關的一些挑戰。

3 挑戰

在這項工作中，我們將重點聚焦到可以指導MAS克服與軍事防御MDO中戰略機動相關挑戰的RL方法。從技術上講，RL是機器學習（ML）的一個分支，它超越了從數據中建立精確的預測，通過在環境中產生行動來展示學習。這種學習的展示可以被認為是一種決策形式，但更準確的描述是通過狀態空間探索進行戰略行動選擇。

RL智能體在獎勵函數的基礎上進行學習（或訓練），最終確定在當前情況下（即該智能體在環境中的狀態），哪一個是智能體要選擇的最佳行動。例如，RL智能體可以與環境互動，產生與獎勵掛鉤的經驗，這將形成學習的策略（即一系列的狀態-行動對）。然而，在后面的章節中強調，目前的RL方法可能還不夠成熟，無法克服與人類類似的適應性相關的挑戰，以便在新情況或環境中進行智能決策。盡管RL算法有其缺點，但它們似乎是在軍事防御MDO中實現協調的MAS執行戰略機動的最有希望的途徑之一。

在多智能體任務中，協作通常是定義不清的，而且經常被用來表示一組智能體在某些合作任務領域中成功地執行了任務。在以前的工作中，開發并采用了各種新方法來測量執行合作任務時智能體行動之間的相互依賴性，以確認這些智能體事實上已經學會了協作。對協作的確認是確定MAS有能力與其伙伴合作的先決條件，而不是簡單地采取導致某種程度的優化行動。雖然在某些情況下，最佳行為可能是可取的，但如果任務以某種不可預見的方式發生了變化，一個簡單的最佳行為的智能體可能會在戰場上導致災難性的損失。因此，未來防御行動的MAS必須具有明確協作的能力。

在本節的其余部分，描述了與開發戰略機動MAS有關的一些挑戰，其中時間尺度、能力和局部目標可能有很大的不同（例如，MDO），但需要某種程度的協作。此外，假設更大程度的靈活協作可以促進任務執行的改進（例如，更快、更少的損失、非直觀的策略、有效處理不斷變化的能力/團隊組成）。

隨著環境在動態戰場上的變化，敵對雙方（至少）可能需要重復規劃和預測，以便1）跟上，或2）領先于對手的規劃和預測。經過RL訓練的MAS能夠學習這種動態的規劃和預測循環。另外，如果學習智能體建立了一個關于對手協作行動的適當模型，然后采取行動破壞這種協作，也可以實現這一目標。

在一個理想的情況下，一個被選來指導MAS行為的算法將學會處理環境、對手戰術和能力、自身能力（獲得新的能力或失去以前的能力）、團隊組成（例如，改變合作者）和局部目標的變化。然而，大多數最先進的（sota）方法受到經驗的限制（正如許多RL方法的情況一樣）。此外，在大多數模擬中，團隊的能力和組成通常是固定的，不能為算法提供足夠的數據來操作和處理任何上述的特征變化。因此，在選擇一種算法來指導旨在產生戰略機動的MAS的行為時，必須考慮新的或動態的事件、行為、資產和實體。

總之，目前的算法方法在復雜的軍事防御MDO環境中沒有達到所需的能力。目前的缺點可以分為三類。1）數據要求，由于情況的新穎性，數據是有限的，數據集不足以產生準確的預測，或者數據以某種方式被污染（例如，嘈雜、臟亂或對手的改變），2）有限的計算資源，以及3）算法不能泛化到訓練期間遇到的情況之外（例如，不同的目標、改變的能力或修改的團隊組成），導致狹隘或脆弱的MAS解決方案。

在下一節中，我們將更詳細地討論RL的缺點，以闡明如何克服這些問題，為軍事防御MDO環境提供解決方案。為此，我們介紹了現有的RL算法的分類法。這一努力應提供對有前途的RL技術更好的洞察力，這可能有助于確定最終應用于美國國防MDO的可行途徑。

4. RL技術和方法

學習算法的可擴展性是MDO中軍事任務的主要關注點之一，特別是因為這種任務可能需要大量的智能體來完成一個目標。此外，軍事任務可能涉及多個子任務，每個子任務都有自己的子目標，從而進一步復雜化了場景。在MDO中，預計一個子目標由無數復雜的戰略演習組成，這需要MAS的快速計算，以及使用最小計算資源（如在戰術邊緣計算）的最佳（或至少足夠）戰略。因此，一個可擴展的RL算法必須考慮到：1）環境和任務的復雜性；2）智能體（伙伴和對手）的數量，以便每個智能體能夠在通過RL學習過程中收集經驗時正確選擇行動。

環境復雜性（即智能體的狀態和行動空間的大小）可以指環境的狀態空間中可用的狀態數量，以及該環境中智能體可用的行動方案數量。RL算法的可擴展性是指在足夠復雜的狀態和行動空間中，在合理的時間和計算能力內計算最優策略的能力。環境的復雜性還包括納入額外的智能體（例如，擴展到MAS），其中狀態空間被放大以考慮到額外的智能體，而行動空間的大小被乘以該之智能體的數量。

通過使用狀態-動作對的表格來解決RL的可擴展性問題是不實際的，因為連續的領域會使表格無法維持，而且在合理的時間內同時更新所有智能體的表格條目是不可行的。即使有足夠大的計算資源（如過多的計算機內存）來包含所有的狀態，在每個狀態-動作對之間的學習也會太慢。與利用表格跟蹤狀態-動作對相反，一個解決方案是使用非參數函數近似器（例如，權重為參數的深度神經網絡）來近似整個狀態空間的值。然而，函數近似器必須是可微分的，這樣就可以計算出一個梯度，以提供參數調整的方向。

有兩種方法來訓練值函數近似器：1）增量方法和2）批量方法。增量方法使用隨機梯度，在梯度方向上調整近似器的參數，使估計值和目標值之間的誤差最小。然而，增量方法的樣本效率不高，因此不具備可擴展性。相比之下，批量處理方法從一組經驗中保存數據，并使用它們來計算函數近似值估計和目標值之間的誤差。批量方法與傳統的監督學習有共同之處，即結果是已知的（例如，數據被標記），計算近似值的估計值和實際結果值之間的誤差。這種類型的批量學習通常被稱為經驗重放。重復這個過程將導致最小平方誤差的解決方案。最近一個成功的經驗重放的例子是用深度Q網絡（DQN）玩雅達利游戲演示的。盡管函數近似法在復雜的環境中顯示出了成功，但如果不考慮額外智能體的加入（即非平穩性或部分可觀察性），單靠這種方法不太可能足以訓練出MDO場景的MAS。

與價值函數近似法相比，策略學習方法依靠策略梯度（PG）的計算來明確優化策略，而不是間接依靠價值函數。與函數近似方法相比，PG具有更好的收斂特性。PG方法比價值近似方法更受歡迎的主要原因是它們能夠在高維和連續的行動空間中有效（即在復雜環境中可擴展）。在蒙特卡洛（MC）策略梯度（例如REINFORCE算法）中，實際回報（選擇行動）與一個分數函數相乘，以計算梯度。該梯度被用于策略調整（通過改變參數值）以找到最大的回報行動。MC策略梯度具有高方差，收斂速度慢，因為它使用智能體的狀態-行動對在不同時間的整個軌跡來獲得一個返回值。另一種可能超越傳統函數近似方法缺點的解決方案是利用 "演員評論"方法。

在演員-評論家方法中，PG方程被修改為使用價值函數的近似值，而不是使用真實的行動-價值函數乘以分數（如REINFORCE算法）。這表明行為者按照評論者所指向的方向調整策略，以便使總的累積獎勵能夠達到最大。評論者的這一策略評估步驟可以通過使用組合值近似方法（即MC、時差-TD（0）和TD（λ））來完成。為了減少策略梯度的差異，可以使用一個優勢函數。優勢函數告訴我們，與一般的狀態值函數相比，一個行動比另一個行動（Q值）好多少。這意味著評論者必須估計Q值。一個有效的方法是使用TD-error，它是優勢函數的無偏樣本，評論者對一組參數進行近似。TD(λ)資格跟蹤也可用于評論者估計不同時間步長的值。有趣的是，MC（高方差）和TD方法可以與行為人一起使用，隨著時間的推移（即收集的經驗）修改策略。

由于MDO涉及軍事任務，RL算法必須有能力與許多其他智能體協調，以實現最佳的戰略機動，因此MAS的算法必須能夠與大量的智能體和異質資產一起擴展。算法的另一個重要能力是處理復雜狀態空間（即許多智能體）和多領域環境的大量觀察能力。在接下來的章節中，我們將討論在MDO中使用不同種類的RL算法對戰略機動的影響。

無模型算法可分為非策略性和策略性算法，其中狀態行動空間可以是連續的或離散的。在這一節中，討論了無模型算法的優勢和劣勢，以及它們如何與戰略機動相一致，從而實現MDO的目標。這一分析的目的是為尋找在MDO環境中實現戰略機動性的潛在算法方法提供方向。

4.1 深度Q網絡（DQN）

深度Q網絡（DQN）是一種單一的RL智能體算法，它被訓練用來玩行動空間離散、狀態空間連續的Atari 2600游戲。DQN使用一個用Q-learning訓練的卷積神經網絡，從高維輸入（連續圖像）中學習。

DQN算法是一種有效的樣本方法，因為它利用所有收集到的經驗來提取盡可能多的信息。DQN足夠強大，可以使用相同的超參數進行訓練，玩六種不同的Atari游戲，其中智能體在其中三個游戲中的表現比人類專家更好。

然而，DQN的一個缺點是，在理論上不能保證訓練好的神經網絡實現穩定的Q值預測（即在不同的獨立模型中，訓練好的策略可能會有很大的差異）。

鑒于DQN本質上是一個單一的RL智能體模型，它應該不足以在MDO中進行戰略機動。在MDO中，多智能體RL算法可能更適合，因為智能體在執行時間內典型的分散化，允許智能體彼此獨立運作。此外，DQN的原始實現只利用了四個觀察序列來學習Q值，這對于MDO中的戰略機動來說是不夠的。多個資產的戰略機動通常不能在如此短的時間間隔內被捕獲。事實上，這是DQN在評估的三個Atari游戲（即Q*bert、Seaquest和Space Invaders）中與人類相比表現不好的主要原因。然而，存在一些DQN的變體來解決這個問題和其他弱點。

Bootstrap DQN就是這樣一個變體，它學習了一個Q網絡的集合，以提高采樣效率，并克服了傳統DQN的不足之處。行動消除是另一種與DQN一起使用的方法，以解決大的行動空間。帶有記憶類型的DQN（即循環神經網絡）也可以用來處理部分可觀察性。如果一個智能體需要為完成任務而導航環境，這種方法就特別有用。另外，分布式DQN返回一個分布信息，可用于評估策略風險和減少最佳解決方案周圍的方差或噪音。

盡管DQN及其修改后的變體在處理比簡單的Atari游戲更復雜的任務方面很有前途，但DQN方法本質上缺乏一個多智能體預測機制來進行協作戰術，而這是MDO中戰略機動的需要。此外，DQN在大多數情況下計算量太大，無法用于軍事相關環境。最后，DQN算法方法對未見過的例子（例如，伙伴的新行為或環境中出現的實體/障礙）缺乏足夠的適應性。

4.2 深度確定性策略梯度（DDPG）

在現實世界中，大多數常規任務涉及連續狀態和行動空間。然而，DQN只考慮離散的狀態空間和低維的行動空間。處理連續狀態和行動空間的DQN的另一種方法是深度確定型策略梯度（DDPG）方法。DDPG通過結合價值函數近似和確定性策略梯度（DPG），推進了DQN方法的進展。DDPG利用行為批判的方法，可以克服連續空間的復雜性。這種無模式、非策略預測和控制算法可以執行物理控制任務（如車桿、靈巧的操縱、腿部運動或汽車駕駛）。

另一種使用深度神經網絡的方法是信任區域策略優化（TRPO）。這種方法直接構建一個隨機策略，而不需要演員-評論者模型（不要與環境模型混淆，這將使其成為一種基于模型的方法）。與TRPO類似，引導式策略搜索（GPS）不需要角色評論模型，而是使用軌跡引導的監督式策略學習以及一些額外的技術（例如，減少視覺特征的維度，在網絡的第一層增加機器人配置動態的信息）。因此，GPS的數據效率很高，如果需要的話，可以改編成DDPG。另一方面，PILCO首先學習一個概率模型，然后找到一個最佳策略。PILCO在某些問題領域具有很高的數據效率；然而，它的計算量很大。此外，D4PG對DDPG算法提出了一些改進：分布式評論者更新、分布式并行演員、N步返回和經驗重放的優先級，以實現對不同類別任務的更穩定和更好的解決方案。

從戰略機動的角度來看，DDPG算法的主要缺點是它被設計成一個完全分散的單一智能體算法（即獨立學習者）。因此，DDPG算法不便于在多智能體場景中進行協作。因此，使用DDPG所產生的戰略機動將不會產生協作的團隊行為。此外，DDPG不具備處理基于角色的多目標任務的能力，而這是軍事行動中戰略機動的要求。

4.3 多智能體深度確定性策略梯度（MADDPG）

RL智能體互動對于戰略機動的人工智能系統至關重要，不同的智能體可能需要組成團隊來抑制對手的戰略合作或抑制對手的協調。Q-Learning和PG方法分別受到非平穩性和高方差的影響。為了克服這些問題，多智能體深度確定性策略梯度（MADDPG）算法擴展了一個演員評論家方法，這使得它可以通過集中智能體訓練而對多智能體系統發揮作用。MADDPG框架采用集中式評論家家進行訓練，并在測試期間部署分散的演員。一個評論者（每個智能體都有一個）接收每個智能體的策略，這允許開發具有潛在不同獎勵功能的依賴性策略（例如，MADDPG允許訓練具有相反獎勵功能的對抗性團隊）。相反，演員（即策略網絡）在訓練和測試期間只擁有本地知識。演員（通過訓練）在與評論者評價一致的方向上反復改進策略。

MADDPG的一個主要弱點是，對Q函數的輸入隨著環境中智能體數量的增加而增加（不可擴展）。這給MDO中的戰略機動性帶來了問題。如果智能體需要被替換、添加、修改或移除，可能需要進行再訓練。在戰略機動中，智能體可能需要定期轉換角色或改變能力，這對MADDPG適應軍事領域構成了重大挑戰。此外，頻繁的再訓練將使快速戰略機動變得不可能。縮短訓練時間將減少邊緣的計算負荷，使快速戰略機動成為可能。MADDPG不能適應這種極端情況。對于軍事應用，希望有一個強大的對手或智能體模型，以便使作戰時間最大化（即有足夠的時間來執行戰略機動）。

為解決其可擴展性問題，對MADDPG的一個潛在修改是形成智能體集群，為集群而不是每個智能體單獨學習一個策略。在發生新事件的情況下，可以推遲重新訓練的需要，因為從理論上講，一個智能體集群將有一套處理動態情況的可變能力。此外，這將避免隨著智能體的修改或新智能體的引入而增加Q函數的輸入空間。然而，問題來了。我們怎樣才能將一個任務分解成部分獨立的子任務，并使最優分組策略的退化程度最小？

雖然MADDPG可以形成一組異質的多智能體策略，能夠完成不同的任務，但這種方法不能很好地擴展到十幾個智能體。隨著智能體數量的增加，策略梯度的方差會呈指數級增長。因此，這種方法不太適合MDO中的戰略機動，在這種情況下，必須考慮到40多個異質智能體的對抗情況。克服這一可擴展性問題的方法是均值場多智能體RL算法，該算法計算鄰近智能體Q值的均值估計，當智能體之間的鄰近互動變得復雜時，可能導致高誤差率。此外，進化種群課程算法的設計是為了通過將遺傳算法方法與RL相結合，使MADDPG具有可擴展性。隨著MADDPG的進步和該方法所顯示的成功，可以想象這些算法的進步會導致在模擬實驗中對MDO內的戰略機動性進行強有力的演示。

與MADDPG不同的是，反事實多智能體（COMA）方法對所有智能體使用一個集中的評論家，但被設計用于離散的行動空間。COMA比MADDPG更具可擴展性，但它可能導致一套同質的策略，在智能體能力充分不同、局部目標不同或獎勵函數不同的情況下可能失敗。與MADDPG類似，Minmax多智能體DDPG（M3DDPG）比MADDPG的原始版本增加了一項改進，允許智能體制定更穩健的策略來對抗對手（即具有對立獎勵結構的競爭游戲）。然而，M3DDPG仍然無法處理異質智能體被引入系統的情況。

在具有連續狀態和行動空間的環境中實施算法，有時需要利用常見的技術來操作輸入或輸出，如離散化狀態和行動空間或將離散的策略輸出轉換為連續輸出。轉換策略輸出的一個例子是OpenAI多智能體粒子環境中MADDPG的實現。在這個例子中，離散的策略組件被用來計算連續的行動。從另一個角度來看，多智能體轉化器軟雙Q學習算法將連續行動空間離散為一組速度和角速度控制，然后可以在運動模型中使用。盡管這些技術允許在連續環境中使用這種算法，但這些算法方法沒有用連續信息進行訓練，這可能會限制它們在物理環境中進行戰略機動的功效。

4.4 價值為本

最近的一個基于價值的MARL算法系列在非常復雜的《星際爭霸2》模擬環境中被證明是相當成功的，其中根據智能體的本地Qa值學習了一個集中的聯合行動值Qtot。然后通過線性argmax算子從Qa中提取一個分散的策略。這種非常簡單而有效的分解方法避免了學習聯合行動值，而聯合行動值的規模并不大。如果增加新的智能體或用新的能力替換智能體，仍需進行再訓練。然而，與MADDPG相比，它更具有可擴展性，因為單個Q值僅從局部觀察中學習，避免了通過學習因子化的Qtot來學習聯合行動值。但是，當有超過40個智能體時，這個系列的算法的可擴展性可能會受到挑戰。為了使其更具可擴展性，已經提出了基于角色的算法RODE，其中智能體的角色是根據他們對環境的影響對他們的行動進行聚類來確定。該算法對于大量的智能體顯示了非常有希望的結果。

對于戰略機動，RODE算法是非常有前途的，因為各組智能體可以被分配到不同的角色，其中角色可以基于他們的行動和對環境的影響或任何其他固定的行為（對于盟友或甚至敵人）。然后，該算法可用于不同群體的戰略角色轉換。由于不同角色的行動空間受到限制，該算法收斂得非常快。這種算法也適合于基于角色的技術的戰略使用，這可能會在未來的工作中進行研究。即使RODE是非常可擴展的，我們也不清楚當新的智能體將被添加到環境中時如何調整它；需要學習一個集中的策略以實現最佳協作。

與RODE算法相比，一種可擴展的多智能體強化學習方法部署了一種熵-規則化的非策略方法來學習隨機價值函數策略，實驗表明它能夠擴展到1000多個智能體。如前所述，可擴展的RL算法關注環境的復雜性--系統或團隊中的智能體越多，狀態空間越大。RODE是有限的，因為它使用一個集中的策略，當更多的智能體被引入到環境中時必須重新訓練。多智能體轉化器軟雙Q學習算法是一種集中訓練的非策略學習算法（即共享一個中央經驗重放緩沖器），其執行是分布式的（即每個智能體根據其本地觀察做出自己的控制決定），而不是來自中央控制器。由于這種分布式的方案，當智能體被添加或從系統中移除時，團隊不受影響，繼續執行他們的策略。

在可擴展性方面，訓練大型MAS（即許多智能體）是很困難的，而且已經表明，即使是最先進的算法也不能為復雜的MARL任務學習到高性能的策略。多智能體變換器軟雙Q學習通過在訓練期間利用啟發式方法緩解了這一可擴展性問題，該方法允許在較小的智能體集合上訓練策略（例如，在目標追蹤場景中，四個智能體追蹤四個目標），并且該策略已被證明可以在執行中與更多的智能體一起工作而不需要任何調整（即用1000個智能體測試和評估）。訓練和執行過程中使用的啟發式方法使算法能夠解決智能體數量的巨大分布變化：它基本上將測試時的大型復雜觀察空間縮減為接近智能體策略最初訓練的內容。從軍事角度看，這種提法是戰略機動的理想選擇，因為現場的智能體可能會在原地丟失或獲得，可能要考慮額外的戰略信息。一個靈活和可擴展的算法提供了MDO中所需要的能力。

5. 洞察力和結論

由于一些因素，包括科技進步，美國的對手正在變得更加先進。在未來的MAS自主戰爭中，協作的戰略機動可以為國防軍帶來某些優勢。在這篇文章中，我們討論了一些最突出的RL算法，以發現訓練MAS的可行候選策略，這些MAS可以有效地進行戰略機動，從而在未來潛在的軍事行動中打開機會之窗。本文描述了RL方法的分類法，并對最突出的RL算法進行了概述。研究發現，由于訓練和測試因素的不同，大多數RL算法缺乏處理與未來潛在沖突相關的復雜性的能力。

DEVCOM ARL ERPs為開發和實施智能MAS提供了一個規劃性的路徑。鑒于陸軍研究項目為美國國防行動提供了關鍵研究問題的答案，AIMM和EOT ERPs特別促成了研究，可以為協作的自主MAS提供一個路徑，可以克服與1）環境，2）對手戰術和能力，3）自身能力（即，獲得新的能力，失去以前的能力，或能力被改變），4）團隊組成（例如，增加、刪除或交換隊友），5）戰略團隊定位、進入、導航（機動）以支持部隊并壓倒對手，以及6）任務目標。最近，AIMM和EOT ERP在這一領域的工作闡明了衡量MAS協調性的方法，并允許開發一個框架來訓練和測試執行各種任務的MAS的協調性，此外還評估了利用一系列集中訓練技術的新算法方法。

此外，還需要進行更多的調查，以闡明有利于在ISTAR任務和其他交戰場景中利用MAS的軍事戰略。在淺顯的情況下，將完全自主的MAS送入高風險情況（即預期因果率高的情況）是可取的；然而，由于目前的技術限制，僅僅期望MAS能夠在沒有人類監督或干預的情況下完成任務是不夠的。因此，在未來的工作中，將進行研究以確定一套強有力的交戰方案。最后，這項工作將導致自主MAS的最終整合，以便在未來的軍事行動中盡可能地協調戰略機動。

本文討論了F-35 "閃電"戰斗機對挪威皇家空軍指揮與控制（C2）可能的影響方式。它強調了協調的重要性，回答了有關F-35的實施對其他能力相互依賴性的影響問題。這一基礎被進一步用來討論對C2核心要素的可能影響，如程序、人員、通信和信息系統。基于F-35系統的能力，發現挪威武裝部隊中跨領域和C2級別的相互依存關系的發展；這些相互依存關系的復雜性，既受到空中行動執行的影響，也受到環境突發事件的影響，意味著組織需要靈活使用協調機制。我們發現，相互依存關系，以及如果要獲得成功所需的協調，對涉及F-35的空中行動指揮和控制有影響。我們建議該組織應更積極地使用分層和水平結構，以適應跨領域和C2級別的知識和信息共享。程序需要包括授權的方法和系統，人員需要了解相互依存關系和多域作戰。最后，通信和信息系統必須是可用的、可互操作的和強大的。

關鍵詞：挪威，F-35，指揮與控制，相互依賴，多團隊協調

前言

我們的同行競爭者，利用科學、技術和信息環境的新興趨勢，已經投資于挑戰美國和重塑全球秩序的戰略和能力。他們采用創新的方法來挑戰美國和盟國在所有領域、電磁波譜和信息環境中的利益。他們經常尋求通過在武裝沖突門檻以下采取模糊的行動來實現其目標。在武裝沖突中，武器技術、傳感器、通信和信息處理方面的進步使這些對手能夠形成對峙能力，以在時間、空間和功能上將聯合部隊分開。為了應對這些挑戰，履行美國陸軍在保護國家和確保其重要利益方面的陸軍職責，陸軍正在調整其組織、訓練、教育、人員和裝備的方式，以應對這些圍繞多域作戰（MDO）概念的未來威脅。

陸軍的情報工作本質上是多領域的，因為它從多個領域收集情報，而且可以接觸到合作伙伴，彌補陸軍信息收集能力的不足。在競爭中，陸軍情報能力作為掌握作戰環境和了解威脅能力和脆弱性的一個關鍵因素。在整個競爭過程中，陸軍情報部門為每個梯隊的指揮官和參謀人員提供所需的態勢感知，以便在所有領域、電磁頻譜和信息環境中可視化和指揮戰斗，并在決策空間匯集內外部能力。

這個概念描述了關鍵的挑戰、解決方案和所需的支持能力，以使陸軍情報部門能夠在整個競爭過程中支持MDO，以完成戰役目標并保護美國國家利益。它是陸軍情報部隊、組織和能力現代化活動的基礎。這個概念還確定了對其他支持和輔助功能的影響。它將為其他概念的發展、實驗、能力發展活動和其他未來的部隊現代化努力提供信息，以實現MDO AimPoint部隊。

本文總結

陸軍未來司令部的情報概念為陸軍情報部隊的現代化活動提供了一個規劃，以支持陸軍2035年的MDO AimPoint部隊在整個競爭過程中與同行競爭對手進行多域作戰。它提供了支持2035年以后MDO AimPoint部隊的見解。這個概念是對2017年美國陸軍情報功能概念中概述想法的修改：情報作為一個單位在所有領域的運作，有廣泛的合作伙伴投入。這個概念擴展了這些想法，以解決陸軍在進行大規模作戰行動中的頭號差距：支持遠距離精確射擊的深度傳感。領導陸軍情報現代化的舉措是組織上的變化，以提供旅級戰斗隊以上梯隊的能力，以及支持深層探測問題的四個物資解決方案。

支持MDO AimPoint Force 2035的組織變化使戰區陸軍、軍團和師級指揮官能夠以遠程精確火力和其他效果塑造深度機動和火力區域。在戰區層面，軍事情報旅的能力得到提高，新的多域特遣部隊擁有軍事情報能力。遠征軍的軍事情報旅被重新利用和組織，以支持軍團和師的指揮官，而不是最大限度地向下支持旅級戰斗隊。

支持MDO AimPoint Force 2035的物資變化，即將所有的傳感器、所有的火力、所有的指揮和控制節點與適當的局面融合在一起，對威脅進行近乎實時的瞄準定位。多域傳感系統提供了一個未來的空中情報、監視和偵察系統系列，從非常低的高度到低地球軌道，它支持戰術和作戰層面的目標定位，促進遠距離地對地射擊。地面層系統整合了選定的信號情報、電子戰和網絡空間能力，使指揮官能夠在網絡空間和電磁頻譜中競爭并獲勝。戰術情報定位接入節點利用空間、高空、空中和地面傳感器，直接向火力系統提供目標，并為支持指揮和控制的目標定位和形勢理解提供多學科情報支持。最后，通過分布式共同地面系統，陸軍提高了情報周期的速度、精度和準確性。

伴隨著這些舉措的是士兵培訓和人才管理方法，旨在最大限度地提高對目標定位和決策的情報支持。從2028年MDO AimPoint部隊開始，陸軍情報部門將繼續改進軍事情報隊伍，以支持2035年及以后的MDO AimPoint部隊。

這一概念確定了陸軍情報部門將如何轉型，以支持陸軍和聯合部隊在整個競爭過程中與同行競爭者抗衡。

圖1 邏輯圖

摘要

當代和新出現的安全威脅以及從最近的軍事行動中吸取的教訓已經證明，為了在傳統的物理領域（陸地、空中、海上、太空）實現作戰目標，確保在非物理領域的主導地位至關重要，即網絡空間、電磁環境（EME）和信息環境。因此，除了物理作戰領域之外，在非物理領域取得優勢的能力對于實現戰役的軍事和非軍事目標具有決定性意義。

作戰人員將面臨消除沖突，協作，同步和整合行動的挑戰，以實現并發揮協同效應以應對多種威脅，其中可能還包括來自每個作戰領域對手的武裝沖突閾值以下的行動，包括非物質的。

本文探討了作戰環境聯合情報準備 (JIPOE) 作為支持聯合作戰規劃、執行和評估的主要工具的作用和意義，從而有助于多域作戰 (MDO) 的同步和協調。在這方面，基于政治、軍事、經濟、信息、基礎設施-物理、時間(PMESII-PT)方法，不可能將對當代作戰環境(OE)的分析局限于物理領域及其與非物理領域的關系。相反，作者們相信，確定一種合適的方法來關注在非物理領域單獨或聯合進行的活動影響，它們在PMESII-PT所有領域的相互融合和實際操作領域的相關性，將大大有助于友軍識別和評估對手的重心(COG)、關鍵弱點、意圖和行動路線(COAs)的能力，包括各自的指標。JIPOE將為聯合部隊指揮官(JFC)提供OE的整體視圖，將與戰術層面密切合作、共享和開發，通過結合不同領域的能力，應該能夠壓倒對手的部隊。這種集中控制和分散執行的方法將有助于在作戰和戰術層面之間產生協同效應。

引言

未來的軍事行動將以物理和非物理層面的融合為特征，眾多不同的行為者將在其中運作。任何部隊都需要適應極其復雜的作戰環境和大量的作戰變量，需要適應性地使用一系列武器系統來產生致命和非致命的效果。因此，除了物理作戰領域（即陸地、空中、海上和太空），在非物理領域（網絡空間、EME、信息環境）取得優勢的能力將對實現戰役的軍事和非軍事目標具有決定性意義[1, p.280]。

OE是影響能力運用和影響指揮官決策的條件、環境和影響因素的綜合體[2, p.3]。了解OE的因素和條件不僅是所有計劃活動，特別是行動設計的關鍵前提，也是友軍保護和許多其他相關任務的關鍵前提[3, p.41]。

JIPOE代表了一種系統的方法，用于分析有關OE和對手的信息。它可以應用于全部的軍事行動。指揮官和參謀部在危機背景、根本原因和具體動態方面，對戰區形成共同的理解和整體的看法。它使指揮官能夠直觀地看到問題的程度，以及他們如何塑造和改變OE，使之成為他們的優勢，這將為他們的決策提供信息[2, p.3-5]。

JIPOE產品極大地促進了聯合（即作戰）層面的軍事行動的規劃和執行。現代軍隊，特別是北大西洋公約組織（NATO）內的軍隊，幾十年來在討論跨領域（陸、海、空）的協調行動時一直使用聯合這一術語。如今，由于全球安全環境的巨大變化以及俄羅斯和中國日益增長的野心，為了挑戰潛在的同行對手，需要采取多領域的方法。在傳統的戰爭門檻下，盟國及其合作伙伴已經受到了跨越物理和非物理領域的持續攻擊[4, p.2]。MDO一詞不同于聯合行動，因為它旨在關注跨越多個領域的行動，而不考慮服務的歸屬，不一定是由多個部門進行的行動[5，p.49]。

圖1:支持聯合行動的當前JIPOE流程的可視化。

圖2:提出支持MDO的JIPOE過程方案。