要在未來與技術先進的競爭對手的沖突中保持競爭力,就必須加快兵棋推演人工智能(AI)的研究與開發。更重要的是,利用機器學習進行智能作戰行為開發將是有朝一日在這一領域實現超人性能的關鍵--提高在未來戰爭中的決策質量并加快決策速度。盡管深度強化學習(RL)在游戲中的智能體行為開發方面不斷取得令人鼓舞的成果,但在戰斗建模與仿真中常見的長視距復雜任務中,其表現尚未達到或超過人類水平。利用分層強化學習(HRL)已被證實的潛力和最近取得的成功,我們的研究正在調查和擴展 HRL 的使用,以創建能夠在這些大型復雜模擬環境中有效執行任務的智能體。最終目標是開發出一種能夠發揮超人性能的智能體,然后將其作為軍事規劃者和決策者的人工智能顧問。本文介紹了正在進行的研究方法,以及五個研究領域中的前三個領域,這些領域旨在管理迄今為止限制人工智能在作戰模擬中應用的計算量指數級增長問題: (1) 為作戰單元開發一個 HRL 訓練框架和智能體架構;(2) 為智能體決策開發一個多模型框架;(3) 開發狀態空間的維度不變觀測抽象,以管理計算量的指數增長;(4) 開發一個內在獎勵引擎,以實現長期規劃;(5) 將此框架實施到更高保真的作戰模擬中。這項研究將進一步推動國防部正在進行的研究興趣,即擴展人工智能以處理大型復雜的軍事場景,從而支持用于概念開發、教育和分析的兵棋推演。
人工智能(AI)技術的最新進展,如 OpenAI 的 ChatGPT,再次體現了人工智能在重塑各行各業方面的變革潛力。正如生成式預訓練變換器(GPT)模型從根本上重新定義了對人工智能巨大威力的理解一樣,其他人工智能方法也能為國防部門開發改變游戲規則的工具做出貢獻,而迄今為止,人工智能已被證明過于復雜,無法有效解決這些問題。
人工智能可以產生變革性影響的一個領域是支持兵棋推演的戰斗建模和仿真領域。但遺憾的是,就像兵棋推演的歷史可以追溯到幾個世紀前一樣,如今用于現代兵棋推演的大多數工具和技術也是如此。雖然傳統兵棋推演工具(如實體游戲棋盤、紙牌和骰子)絕對仍有其作用,但將兵棋推演帶入 21 世紀的壓力也越來越大(Berger,2020 年,2022 年;美國國防科學委員會,2021 年;美國國防部副部長,2015 年;美國政府問責局,2023 年),并利用現代技術進步,如人工智能(Davis & Bracken,2022 年),"從技術和方法兩方面發展當前的兵棋推演范式"(Wong 等人,2019 年)。
雖然美國在大多數領域都享有軍事優勢,但機器學習(ML)的大眾化已開始為競爭對手和其他國家行為體提供無數的破壞機會(Zhang 等人,2020)。因此,比以往任何時候都更有必要積極投資于研究與開發,以建立對人工智能優缺點的扎實基礎理解(Schmidt 等人,2021 年),以及如何將其用于設計、規劃、執行和分析各種目的的兵棋推演。只有這樣,國防部(DOD)才能更好地應對戰略突襲和破壞(Zhang 等人,2020 年)。
然而,兵棋推演和軍事規劃與迄今為止成功利用人工智能的傳統領域--如圖像分類和后勤相關的優化問題--有很大不同。由于戰爭的復雜性,任務分析和規劃通常需要在早期應用直覺和思維啟發法來限制搜索問題的規模(Zhang 等人,2020 年)。雖然啟發式方法確實能讓我們更容易地找到可接受的解決方案,但這些解決方案的可擴展性或可靠性通常不足以評估可能出現的大量突發事件。此外,直覺也不足以解決高度復雜的問題,例如那些涉及許多不同參與者的高維空間以及復雜的武器和傳感器相互作用的問題(Zhang 等人,2020 年)--然而這些復雜性正是可能決定未來戰爭的特征(Narayanan 等人,2021 年)。
雖然不認為人工智能會在可預見的未來取代人類的判斷或決策,但我們確實認為,人工智能在融入決策輔助工具后,有機會加快決策過程并提供新的見解。事實上,如果不能充分利用人工智能的力量,那么當我們深入多域作戰時,就可能會面臨巨大風險(Narayanan 等人,2021 年)。最終,通過利用超人智能體作為人類決策者決策支持工具的基礎,有望在未來戰爭中取得超越對手的決策優勢--加快決策速度,提高決策質量。因此,要想在未來與技術先進的競爭對手的沖突中保持競爭力,就必須加快對兵棋推演人工智能的研究和開發。更重要的是,利用機器學習進行智能作戰行為開發將是有朝一日在這一領域實現超人表現的關鍵。
本文介紹了在擴展人工智能方面的研究方法,以處理兵棋推演中戰斗建模和模擬所特有的復雜而錯綜復雜的狀態空間。雖然研究仍在進行中,而且還不完整,但將在本文中介紹總體方法、初步成果和前進方向。
研究利用 RL 已證明的潛力和 HRL 最近取得的成功,打算進一步提高擴展機器學習的能力,以開發智能體行為,用于戰斗建模和仿真中常見的大型復雜場景。為了實現這一目標,我們打算吸收文獻中的許多見解,同時為這一領域做出我們自己的獨特貢獻。研究主要分為五個研究領域:(1) HRL 訓練框架和作戰單元的智能體架構;(2) 用于智能體決策的多模型框架;(3) 狀態空間的維度不變觀測抽象;(4) HRL 框架的內在獎勵工程;(5) 將此框架實施到高保真作戰模擬中。本文僅關注前三個研究領域。
首先開發了一個 HRL 訓練框架,通過擴展和吸收 Dayan & Hinton(Dayan & Hinton, 1992)、Vezhnevets 等人(Vezhnevets et al、 2017)、Levy(Levy 等人,2019)、Pope 等人(Pope 等人,2021)、Wang 等人(Wang 等人,2021)、Rood(Rood,2022)和 Li 等人(S. Li 等人,2022)。為了支持這一框架,我們還開發了一種新的智能體架構,由智能體層次結構和決策層次結構組成--每個單獨的智能體都是一個多模型智能體。
如圖 3 所示,"智能體層次結構 "中的每個層次主要對不同數量的下級智能體實施控制,最低層次控制單個實體。為便于說明,我們將這些層級命名為 指揮官、經理和操作員。然而,我們可以把這種層次結構看作從 1 到 n 層的任何深度,其中最低層級為 1,最高層級為 n。只有少數單元的簡單任務可能只需要兩個層級,而涉及多個交互單元的復雜任務可能需要三個或更多層級。由于我們的研究打算考察更復雜的場景,因此我們預計至少需要三個層次。
在這一分層框架內,還制定了決策分層。值得注意的是,盡管在圖 3 中列出了具體的決策,但這只是為了說明問題,并不一定 是決策的最終細分。薩頓等人最初為決策層次概念創造了 "選項 "一詞(薩頓等人,1999 年)。選項是對行動的概括,薩頓等人正式將其用于原始選擇。之前的術語包括宏觀行動、行為、抽象行動和子控制器。在層次結構中表示這一概念時,我們使用了決策一詞。在傳統的 RL 問題中,智能體接受觀察結果,并在固定的時間步輸出一個動作,而在 HRL 問題中,智能體要么被給予背景知識,要么必須發現背景知識,從而以顯式或隱式的方式分解問題(Sammut & Webb,2010 年)。然后,智能體利用這些知識,通過訓練優化未來回報的策略,更高效地解決問題。
分層結構中的多個層次還允許每個層次針對不同的目標和不同的抽象程度進行訓練,從而使擴展到非常復雜的場景成為一個更容易解決的問題。此外,這種分層方法還隱含著對智能體協調與合作的訓練,因為上層控制著下層的總體行為(Wang 等人,2021 年)。除最底層外,層次結構的每一層都可以被視為抽象或認知層(即,它們最初是高層決策,最終將為原始行動提供信息)。只有處于層次結構最底層的智能體才是游戲板上的實際實體,會采取影響環境的離散或原始行動。
圖 4 展示了 HRL 框架。層級結構的指揮官層級接收自己對狀態空間的獨特抽象觀察,并向下一層級輸出子目標和終止條件。在下一級中,管理者接收指揮者的子目標和對狀態空間的不同抽象觀察結果,并輸出其 自己的子目標。最后,在最底層,操作員接收子目標和對狀態空間的抽象本地觀察,并利用我們的多模型智能體框架輸出一個供實體采取的行動。
為了構建我們的多模型智能體框架,我們借鑒并采用了專家混合(MoE)(Jacobs 等人,1991 年)、"多模型思想家"(Page,2018 年)、集合方法和 RL 的概念。盡管我們從 MoE 和集合文獻中借鑒了采用各種專家網絡的想法,但我們偏離了這些傳統方法提出的中心思想。雖然我們仍然利用了許多不同的模型,但我們并沒有采用純粹的分而治之的方法(Jacobs 等人,1991 年)或模型輸出的匯集(Page,2018 年),而是對模型進行了區分,以確定哪個特定的模型可以在每個行動選擇步驟中最大化智能體的整體性能。換句話說,我們并不是將模型輸出進行組合,而是簡單地將它們作為一個評估函數的輸入,然后由該函數決定在每個步驟中應使用哪個特定的行為模型。集合方法要求建模者考慮模型的偏差或缺陷,而我們的多模型方法則允許我們利用一組不同的模型(腳本模型或機器學習訓練的模型),而無需考慮模型的平衡或驗證。之所以能做到這一點,是因為我們不是將模型預測結合在一起,而是對模型預測進行區分,并采用能最大化特定目標的單一最佳策略。
多模型框架如圖 5 所示。在每個行動選擇步驟中,多模型都會接收一個觀察結果作為輸入,并將其傳遞給每個得分預測模型。每個得分預測模型都會推導出一個預測的游戲得分,并將其輸入評估函數。然后根據評估函數選擇特定的行為模型。最后,原始觀察結果被傳遞給選定的行為模型,由其產生一個動作。
為了提供選擇適當行為模型的評估函數,我們為資源庫中的每個行為模型訓練了一個單獨的分數預測模型。該分數預測模型是一個卷積神經網絡(CNN),可根據當前游戲狀態推斷出游戲分數。預測的游戲得分假定藍方按照各自的行為模型繼續游戲,紅方按照特定的對手行為模型繼續游戲。鑒于 Atlatl 是一款回合制游戲,而非時間步進模擬,我們將棋盤上實體被提示采取某項行動的每個實例都稱為行動選擇步驟。盡管迄今為止,我們一直在使用監督學習方法訓練得分預測模型,并在游戲中使用了 "行動選擇 "模型。數據來訓練得分預測模型,但我們最近開發了一個單獨版本的得分預測模型,并正在對其進行測試。
在實驗中評估了這種多模型方法相對于傳統單模型方法(無論是腳本還是基于 RL 的)的有效性,發現多模型方法比表現最好的單模型提高了 62.6%。此外,我們還發現,由更多模型組成的多模型明顯優于由較少模型組成的多模型,即使這些額外模型的整體性能較差。這表明,即使我們的某些單個模型在總體上表現不佳,但它們很可能在非常特殊的情況下取得了成功--我們的分數預測模型似乎準確地捕捉到了這一現象,而我們的評估函數也正確地用于為每個行動選擇步驟選擇最佳模型。
更重要的是,使用這種方法,不必訓練一個能夠在所有可能情況下都有效執行任務的單一模型,而是可以開發或訓練能夠在特定情況下執行任務的非常專業的模型,然后在遇到這些特定情況(即游戲中的特定狀態)時自動調用這些專業模型。此外,由于我們的多模型可以區分其嵌入的模型,因此我們可以根據需要加入新的模型,而無需考慮行為驗證、平衡甚至偏差等問題--傳統的集合建模方法通常需要將結果匯集在一起。
即使使用 Atlatl 這樣的簡單環境,將其擴展到更大的場景也會導致性能不佳(Boron,2020;Cannon & Goericke,2020;Rood,2022)。部分原因在于,與人類不同,RL 的樣本效率不高,需要大量的訓練數據(Botvinick 等人,2019 年;Tsividis 等人,2017 年),而龐大的行動和觀察空間則進一步加劇了這一問題。不過,Abel 等人指出,RL 中的抽象可以提高采樣效率(Abel 等人,2020 年),從而有可能讓我們擴展到處理非常復雜的環境。此外,學習和使用適當的世界抽象表征是任何智能體(無論是生物還是人工智能)都必須具備的基本技能(Abel,2020)。
然而,由于抽象本質上會丟棄信息--這可能會損害基于這些抽象所做決策的有效性--我們必須在使學習變得更容易(或可操作)與保留足夠信息以實現最優策略發現之間權衡利弊(Abel,2020)。我們對狀態空間抽象得越多,丟失的信息就越多,就越難保證獲得最優或接近最優的解決方案(L. Li 等人,2016 年)。不過,這也是一種權衡,因為盡管更粗略的抽象可能會導致次優行動,但它們確實可以更好地進行規劃和價值迭代(李玲等人,2016 年)。
為了克服在大型狀態空間中進行訓練時所面臨的一些權衡挑戰,同時保留足夠的信息以找到最優或接近最優的解決方案,我們目前正在開發一種方法,其中包括根據層次結構的級別應用不同級別的抽象。在《模擬與兵棋推演》一書中,Tolk 和 Laderman 討論了 "任務通常會驅動所需的抽象層級"(Turnitsa 等人,2021 年)。同樣,正如我們在軍事規劃中通常看到的那樣,高層次的抽象會更粗,而低層次的抽象會更細(FM 5-0 Planning and Orders Production, 2022;Joint Publication 5-0 Joint Planning, 2020;MCWP 5-10 Marine Corps Planning Process, 2020)。因此,我們的 HRL 框架涉及在較高層次的決策中應用較粗略的抽象層次,同時仍通過本地觀測為較低層次的決策保留所有本地狀態空間信息。我們認為,這種方法將使高層的長期規劃更加有效,并使低層的計劃在當地得到更有效的實時執行。
為了說明這一概念,我們首先描述了一般的 Atlatl 觀測空間。盡管觀察空間在不斷演變,但最近的一個觀察空間由 n x m 網格的 17 個通道組成,其中網格的每個入口代表 n x m 大小棋盤的一個十六進制。這個觀察空間被編碼為張量。圖 6 舉例說明了每個通道所代表的信息。例如,每個通道編碼的信息包括單元移動、單元類型、地形類型等。
圖 7 顯示了一個 20 x 20 棋盤的狀態空間表示示例,其中疊加了三個通道(藍色部隊、紅色部隊、城市六角形)。我們在下面所有圖中疊加了三個通道,僅供參考;但在 Atlatl 中,這些通道將表示為 3 個獨立通道(共 17 個通道),如圖 6 所示。
在這個前所未有的技術驅動轉型時代,比以往任何時候都更需要積極投資開發強大的人工智能(AI),用于兵棋推演以支持決策。通過推進人工智能系統并將其與人類判斷力相結合,將能夠增強全域感知,提高決策周期的速度和質量,為新的行動方案提供建議,并更迅速地反擊對手的行動。因此,必須加快人工智能的發展,以幫助更好地應對目前需要人類智慧才能應對的現代挑戰和困境的復雜性,并在可能的情況下嘗試超越人類智慧--不是取代人類,而是以機器的速度增強人類決策并為其提供更好的信息。盡管深度強化學習在智能體行為開發方面不斷取得令人鼓舞的成果,可用于戰斗建模和模擬中常見的長視距復雜任務,但仍需進一步研究,才能使人工智能的規模擴大到能夠處理兵棋推演中錯綜復雜的廣闊狀態空間,從而進行概念開發、教育或分析。為了幫助應對這一挑戰,在研究中,正在開發和實施一個分層強化學習框架,其中包括多模型方法和維度不變觀測抽象。
鑒于這些令人擔憂的活動以及最近在人工智能變革能力方面取得的突破,顯然必須開始更認真地投資于專門用于兵棋推演的人工智能開發。美國國家人工智能安全委員會(NSCAI)[27]詳細闡述了兩個信念:(1)"計算機系統解決問題和完成原本需要人類智慧才能完成的任務--在某些情況下甚至超過人類的表現--的能力迅速提高,正在改變世界";(2)"人工智能正在擴大美國已經進入的脆弱窗口"。因此,有鑒于此,NSCAI得出結論:"美國必須立即行動起來,將人工智能系統投入實戰,并在人工智能創新方面投入更多的大量資源,以保護美國的安全,促進繁榮,保障民主的未來"[27]。NSCAI [27] 認為,通過推進人工智能系統并將其與人類判斷力相結合,將能夠增強全域意識,提高決策周期的速度和質量,為不同的作戰行動提供建議,并更迅速地反擊對手的行動。
盡管美國在大多數領域都享有軍事優勢,但機器學習(ML)的擴散已開始為競爭對手和其他國家行為者提供無數的破壞機會[28]。因此,現在比以往任何時候都更有必要積極開展研究和實驗,以便對人工智能的優缺點以及如何將其用于規劃和兵棋推演有一個扎實的了解,只有這樣,國防部才能更好地做好準備,以應對戰略突襲和破壞[28]。例如,如今的作戰行動分析主要側重于評估友軍的計劃,而很少強調對手可能會如何根據自身的目標和能力做出反應[26]。盡管不遺余力地試圖了解對手的想法以及他們在沖突中會如何行動,但總是會受到自己想象力的限制。托馬斯-謝林(Thomas Schelling)在他的 "不可能定理"(Impossibility Theorem)中說得最好: "一個人,無論他的分析多么嚴謹,想象力多么豐富,都不可能做的一件事,就是列出一個他不會想到的事情清單"[29]。人工智能支持的兵棋推演甚至有可能克服這一限制,創造出有自己目標的智能體,而這些智能體并不一定受限于思維和計劃方式,因為思維和計劃方式通常是通過幾十年的經驗根深蒂固的。此外,僅從數據中學習新的行為,人工智能就能自動執行原本需要人類智慧才能完成的任務[30]。
雖然在機器學習領域已經開展了大量研究,但兵棋推演和軍事規劃與迄今為止使用人工智能解決的傳統問題--如圖像分類和自然語言處理--有很大不同。任務分析和規劃通常需要人類的直覺和啟發式方法來限制搜索問題的規模 [28]。雖然啟發式方法確實能更容易地找到可接受的解決方案,但這些解決方案的可擴展性或可靠性通常不足以評估可能出現的大量突發情況 [28]。此外,直覺也可能在非常復雜的問題中失效,例如那些涉及到有許多不同參與者的高維空間以及復雜的武器和傳感器交互的問題[28]。不幸的是,這些復雜性正是可能決定未來戰爭的特征[26], [28]。
幸運的是,迄今為止,競技游戲已成為學習如何實施人工智能以支持兵棋推演的良好試驗平臺。早期的成功包括掌握跳棋[32]、五子棋[33]、國際象棋[34]和圍棋[35]。人工智能方法在視頻游戲中也取得了成功,如 Atari 游戲 [36]、超級馬里奧兄弟 [37]、Quake III [38]、Dota 2 [39]、星際爭霸 II [40] 和無上限德州撲克 [41]。然而,競技游戲通常都有一套固定的規則、確定的參數和基于已知變量的可預測結果。雖然這些游戲能為戰略、決策和風險評估提供有價值的見解,但真實世界中的兵棋推演場景往往更加復雜--可能的初始游戲狀態更多,分支系數更大,因此結果更加難以預測。因此,如何將人工智能從這些游戲中獲得的成功轉化為真正的軍事行動是一項挑戰。不過,從這些游戲中獲得的人工智能學習和適應能力方面的進步,為人工智能在作戰模擬中更細致的應用奠定了堅實的基礎。
正如 CeTAS 報告[31]所詳述的那樣,可以采用大量不同的方法來利用人工智能支持兵棋推演;不過,在本文剩余部分的范圍內,將討論人工智能與兵棋推演的關系,即創建能夠在戰斗建模和模擬所特有的龐大而復雜的狀態空間中做出理性決策的智能體。
然而,要證明人工智能能夠贏得游戲或取得超人的表現,只是證明人工智能確實能為兵棋推演者、作戰規劃者和戰場指揮官提供有用見解的第一步[42]。盡管如此,設想這些智能體將成為創建現代決策輔助工具的基礎,與更傳統的工具相比,這些工具能為決策者提供更高的準確性、速度和靈活性[28]--有可能加快決策過程并提供關鍵的洞察力。隨著進一步深入多域作戰[26],在面對人工智能對手時,忽視這一步會帶來巨大風險。
雖然人機協作的概念最初是由 Licklider 在 1960 年提出的[43],但前國際象棋世界冠軍加里-卡斯帕羅夫(Gary Kasparov)在 1997 年輸給 IBM 的 "深藍"(Deep Blue)[44]多年后,首次提出了 "半人馬國際象棋"(Centaur Chess)的概念。盡管被人工智能擊敗,卡斯帕羅夫并沒有將人工智能視為一種威脅,而是鼓勵將人工智能視為一種工具,當它與人類的能力相結合時,可以帶來前所未有的成就[44]。卡斯帕羅夫在他的著作《深度思考》(Deep Thinking: 機器智能的終點和人類創造力的起點[44]》一書中,卡斯帕羅夫強調了利用人類和機器互補優勢的必要性。計算機擅長暴力計算,每秒能分析數百萬個局面,同時輕松計算出最佳的近期戰術行動。另一方面,人類對戰略、創造力和考慮特定棋步長期影響的能力有更深刻的理解,而這一切主要靠直覺[44]。卡斯帕羅夫認為,人類的直覺和機器的計算結合在一起,往往能比頂尖特級大師或計算機單獨發揮出更強的棋力。卡斯帕羅夫指出,在許多情況下,即使是排名相對較低的棋手與計算機配對也能勝過頂級特級大師。
有趣的是,卡斯帕羅夫還指出,隨著計算機國際象棋程序變得越來越強大,人類棋手在這種半人馬合作關系中的角色也發生了變化。最初,人類專注于戰略,而計算機則專注于戰術,但隨著國際象棋人工智能的改進,人類越來越多地開始扮演 "質量控制 "的角色,確保計算機推薦的棋步與人類更廣泛的戰略目標相一致[44]。事實上,卡斯帕羅夫經常說,國際象棋的未來可能不是人類與機器的對決,而是人類與機器配對,使用何種界面,能下出最好的棋。這種合作融合了機器的計算能力和人類提供背景、理解和直覺的能力--這種協同作用所產生的棋藝水平超過了任何一方單獨發揮所能達到的水平。
雖然有許多不同的人工智能技術和方法可以應用于兵棋推演,如監督學習、無監督學習、遺傳算法、自然語言處理、決策樹、專家系統、博弈論、對抗網絡等,但本文主要關注的是推進強化學習(RL)領域的需求,以支持為兵棋推演開發智能體行為。
說到機器學習,主要有三種類型:監督學習、無監督學習和強化學習。監督學習依賴于標注數據,每一組輸入都有相應的預期輸出。它類似于范例學習,最適合圖像分類、回歸和語音識別等任務。相反,無監督學習不依賴于標記數據。相反,它能發現數據中的模式或結構,比如對數據點進行分組或聚類,最適合異常檢測、降維和數據分割。值得注意的是,還有其他類型的機器學習,如遷移學習、主動學習、自我監督學習等;不過,這些通常是上述兩類學習的擴展或組合。
鑒于深度強化學習最近在訓練智能體贏得《星際爭霸》(StarCraft)和《DoTA》(Defense Of The Ancients)等復雜游戲方面產生的影響,利用基于學習的技術進行專業兵棋推演、戰場模擬和建模的研究出現了熱潮。實時戰略游戲和模擬器已成為作戰計劃和軍事研究的寶貴資源。然而,最近的研究表明,這種基于學習的方法極易受到對抗性擾動的影響。在本文中,我們研究了在主動對手控制的環境中為指揮與控制任務訓練的智能體的魯棒性。C2 智能體是在定制的《星際爭霸 II》地圖上使用最先進的 RL 算法--A3C 和 PPO 訓練出來的。我們通過經驗證明,使用這些算法訓練的智能體極易受到對手注入的噪聲的影響,并研究了這些擾動對訓練后的智能體性能的影響。我們的工作凸顯了開發更穩健的訓練算法的迫切性,尤其是在戰場等關鍵領域。
在《星際爭霸》[1] 和《DoTA》[2] 等幾款涉及復雜規劃和決策的戰術和即時戰略游戲中,深度強化學習(DRL)已被成功用于訓練智能體。這些智能體通過自我博弈、模仿學習等技術,熟練地提出了可與經驗豐富的人類玩家相媲美的制勝策略(AlphaStar [3]、OpenAI Five [4])。因此,近年來,軍事研究界對將這些 RL 技術應用于作戰計劃和指揮控制(C2)等任務的興趣與日俱增。與此同時,傳統的游戲引擎也被重新利用來促進自動學習(pySC2 [5]、SMAC [6,7]、pyDoTA [8]),并為戰場模擬開發了新的游戲引擎 [9-13],從而創造了實際上的數字兵棋推演。這項研究背后的驅動力是改進和增強未來戰場上使用的戰略,預計未來戰場將更加復雜和非常規,可能超出人類指揮官的認知能力。
最近的研究成果[14]表明,通過強化學習技術和合成數據訓練的 C2 智能體在贏得模擬兵棋推演方面取得了相當大的成功。這在一定程度上歸功于 RL 訓練的可擴展性,事實證明,在面對困難或復雜的場景以及只有部分環境信息的情況下,RL 在探索和利用不同策略方面具有巨大優勢。然而,這些評估都是在良性環境中進行的,在這種環境中,C2 智能體可用的信息被假定為未被破壞。實際上,這在戰場情況下是不太可能的,因為那里的信息可能因為收集方式(來自傳感器或其他輸入源)而存在固有噪聲,或者可能被敵軍篡改。在這項工作中,我們將評估這種訓練有素的智能體在面對 C2 環境中潛在的對抗性輸入時的魯棒性。
為此,首先使用《星際爭霸 II 學習環境》(SCLE [15])來模擬藍方和紅方兩支隊伍之間的沖突。C2 智能體指揮 "藍方"消滅 "紅方"部隊,從而贏得戰斗。接下來,假設環境中存在攻擊者,在 C2智能體獲得從戰場收集到的觀測數據之前對其進行篡改。添加的擾動被稱為對抗性擾動,其構造非常難以察覺,以躲避檢測,同時最大限度地顛覆 C2 智能體的策略,使其變成有害的東西(圖 1)。然后,我們將從多個指標評估智能體性能的下降,并從軍事角度分析行動方案的偏差。
圖 1:魯棒性評估方法: 圖中顯示了良性環境(上圖)和惡意環境(下圖)在時間步長 t 上的差異。t - 1 時的觀測數據被輸入到在良性環境中經過預訓練的 C2 智能體。由于輸入中注入了敵意擾動(橙色),智能體采樣了次優行動,最終導致 BlueForce 損失。
主要貢獻總結如下:
通過經驗證明了訓練有素的 C2 智能體在輸入觀測數據的微小對抗性擾動面前的脆弱性。我們的研究量化了一些預期趨勢,并揭示了一些非顯而易見的趨勢。例如,我們的研究顯示,部分訓練有素的智能體似乎比完全訓練有素的智能體更能抵抗噪聲。
出于通用性考慮,評估了兩種不同場景下的攻擊效果,這兩種場景分別對應 C2 智能體的攻擊和防御任務。
還對使用 A3C 和 PPO 這兩種最先進的 RL 算法訓練的智能體進行了評估,并對它們對注入噪聲的魯棒性進行了評論。
通過分析策略網絡預測的行動分布因攻擊者的擾動而發生的變化,提供了模型輸出的可解釋性。
我們的評估結果表明,香草 RL 訓練很容易受到敵方擾動的影響,因此需要建立穩健的訓練機制,并采用復雜的檢測和預防技術,尤其是在這種關鍵場景下。
本文的結構如下。首先,我們簡要介紹了將 RL 用于 C2 的背景,然后在第 2.1 節中描述了星際爭霸環境和兩個自定義場景--虎爪和 NTC,我們使用這兩個場景來訓練我們的智能體。在第 4 節中,我們描述了自定義場景的狀態和行動空間,以及 RL 智能體的細節。第 4.2 節和第 5 節分別介紹了攻擊方法和評估。最后,我們討論了利用對抗性魯棒訓練技術的必要性和未來工作方向。
圖 5:C2 策略網絡: C2 智能體的策略網絡組合圖。輸入和輸出分別用藍色和黃色表示。陰影矩形表示連接操作。Conv2D 層和 FC 層被 ReLU 激活。
利用人工智能實現認知優勢的目的是從海量數據中提取相關信息,以建立軍事和非軍事態勢感知。對視覺信息進行可靠而及時的解讀是獲得這種優勢的有利因素。隨著大規模、多模態深度學習模型(如對比語言-圖像預訓練(CLIP))的興起,一種有前途的神經網絡正在出現,以執行此類視覺識別任務。這種網絡能夠通過一次性應用光學字符識別(OCR)、面部識別或對象分類從視覺輸入中提取知識,而無需進行顯式微調。通過選擇針對圖像中搜索對象的特定文本提示,CLIP 可以實現這種 "零樣本"功能。
本文將研究 CLIP 如何用于識別軍事領域的車輛,并利用從烏克蘭-俄羅斯戰爭中吸取的經驗教訓。為了進行分析,創建了一個新的數據集,其中包含有軍用和民用車輛的圖像,但也有沒有車輛的圖像。首先,我們搜索適當的查詢,利用單個搜索結果,然后組合多個提示。其次,探討這種方法是否可用于從基于監控攝像頭和智能手機的視頻流中識別軍用車輛。在圖像數據集上表明,經過深思熟慮的提示工程,CLIP 模型能夠以較高的精確度和召回率識別軍用車輛。視頻數據集的性能取決于物體大小和視頻質量。有了這種方法,盟軍和敵方都可以系統地分析大量視頻和圖像數據,而無需耗時的數據收集和訓練。
CLIP 是目前最好的零樣本模型之一。Radford 等人[10] 開發了一種全新的方法,利用簡單的對比預訓練目標來學習盡可能多的概念。CLIP 在 4 億個圖像-文本對上進行了預訓練。不過,該數據集尚未公開,因此不知道有關訓練數據的詳細信息。圖像由圖像編碼器嵌入,文本由單獨的文本編碼器嵌入。目標是使用對稱交叉熵損失來減少嵌入的距離,如圖 1(左)所示。余弦相似度被用作距離度量。基于這一簡單的預訓練目標,CLIP 可以在沒有監督注釋的情況下學習一般概念,因此具有很強的零誤差能力。ResNet [2] 及各種改進 [13], [14] 和 Vision Transformer [15] 被用作圖像編碼器,Transformer 架構 [16] 被用于文本嵌入。Radford 等人提供了其 CLIP 模型的九種不同配置。在我們的分析中,我們使用了 ViT-B/16,這是一個中等規模的模型,圖像編碼器和文本編碼器分別有 8620 萬和 3780 萬個參數。為了防止過擬合,通常會使用一些數據增強,但由于預訓練數據集的大小,這些增強可以忽略不計,只進行簡單的裁剪。預訓練數據集并不公開,因此在訓練過程中與軍事相關的數據量不得而知。在推理過程中,使用不同的提示(T1、...、TN)對搜索到的類別進行編碼,然后根據文本向量與圖像向量(I1)之間的距離確定類別,如圖 1 所示。
為計算機生成兵力(CGF)創建行為模型是一項具有挑戰性且耗時的任務,通常需要具備復雜人工智能算法編程方面的專業知識。因此,對于了解應用領域和培訓目標的主題專家來說,很難建立相關的場景并使培訓系統與培訓需求保持同步。近年來,機器學習作為一種為合成智能體建立高級決策模型的方法,已顯示出良好的前景。這類智能體已經能夠在撲克、圍棋和星際爭霸等復雜游戲中擊敗人類冠軍。我們有理由相信,軍事模擬領域也有可能取得類似的成就。然而,為了有效地應用這些技術,必須獲得正確的工具,并了解算法的能力和局限性。
本文討論了深度強化學習的高效應用,這是一種機器學習技術,可讓合成智能體學習如何通過與環境互動來實現目標。我們首先概述了現有的深度強化學習開源框架,以及最新算法的參考實現庫。然后,我們舉例說明如何利用這些資源為旨在支持戰斗機飛行員培訓的計算機生成兵力軟件構建強化學習環境。最后,基于我們在所介紹環境中進行的探索性實驗,我們討論了在空戰訓練系統領域應用強化學習技術的機遇和挑戰,目的是為計算機生成的兵力有效構建高質量的行為模型。
在實驗中,將強化學習環境構建為實現 OpenAI Gym 接口的 Python 模塊,因為許多現有的強化學習算法實現都支持該接口。環境的結構如圖 2 所示。環境的大部分功能都在 EnvironmentCore 類中實現。該類通過 SimulationInterface 與本地或遠程計算機上運行的仿真進程通信,在仿真中的實體和控制它們的強化學習智能體之間傳輸觀察結果和操作。SimulationInterface 還用于在計算機生成兵力軟件中加載模擬場景。
模擬與環境模塊之間的通信是通過 ZeroMQ 實現的,ZeroMQ 是一個開源、輕量級的消息傳遞中間件,可綁定多種編程語言,包括 C++ 和 Python。ZeroMQ 可以輕松實現幾種流行的消息傳遞模式,如請求-回復、發布-訂閱和推-拉。ZeroMQ使用谷歌協議緩沖區(Google protocol buffers)來指定消息,這是一種語言中立、平臺中立的結構化數據序列化機制。使用簡單的協議語言創建消息規范,然后將其編譯成各種編程語言(包括 C++ 和 Python)的源代碼。
要配置特定的環境,需要使用一些委托對象:
在空戰模擬領域的深度強化學習實驗中,我們發現了一些挑戰,這些挑戰通常不存在于許多強化學習的簡單基準環境中。狀態和行動空間的維度高且復雜,使得智能體難以學習重要的狀態特征和合適的決策策略。例如,在許多場景中,由于傳感器的限制或電子戰的影響,環境只能被部分觀測到。此外,在大多數場景中,智能體不會單獨行動,而是必須與盟友合作,同時與敵人競爭,以達到目標。為了處理長期和短期目標,可能需要在不同的時間尺度上進行決策。代表最重要目標的獎勵通常是延遲的、稀疏的,例如,如果智能體取得了勝利,就會在情景結束時給予獎勵,這樣就很難將功勞歸于正確的行動。此外,根據訓練需要,智能體的目標也有可能在不同的模擬運行中有所不同。例如,我們可能需要調整模擬的難度,以適應受訓者的熟練程度。最后,由于運行高保真模擬的計算成本很高,因此盡可能提高學習過程的樣本效率非常重要。在下面的章節中,我們將討論一些可以用來應對這些挑戰的技術。
應用人工智能模擬空對空作戰場景正引起越來越多的關注。迄今為止,高維狀態和行動空間、高度復雜的情況信息(如不完全信息和過濾信息、隨機性、對任務目標的不完全了解)以及非線性飛行動態對準確的空戰決策構成了巨大挑戰。當涉及多個異構代理時,這些挑戰會更加嚴峻。我們為具有多個異構代理的空對空作戰提出了一個分層多代理強化學習框架。在我們的框架中,決策過程分為兩個抽象階段,異構的低級策略控制單個單位的行動,而高級指揮官策略則根據總體任務目標下達宏觀命令。低層次政策是為精確控制部隊作戰而訓練的。它們的訓練是按照學習課程安排的,其中包括日益復雜的訓練場景和基于聯賽的自我比賽。根據預先訓練好的低級策略,對指揮官策略進行任務目標訓練。經驗驗證證明了我們設計方案的優勢。
DARPA 對 "馬賽克作戰 "有著雄心勃勃的愿景,其戰略技術辦公室 (STO) 領導層將其視為一種作戰概念,也是大大加快能力開發和實戰化的一種手段。盡管 "馬賽克 "的成功取決于 DARPA 對多種技術的推進,但 "馬賽克 "愿景在本質上比一個項目或技術的 "過渡 "更具挑戰性。考慮到這一挑戰,DARPA 贊助蘭德公司研究在現有或替代治理模式和管理流程下開發和部署 "馬賽克 "兵力所面臨的機遇和挑戰,這是該愿景從 DARPA 走向國防部廣泛接受所必需的。為此,蘭德公司設計并實施了一個政策游戲,讓參與者沉浸在 "馬賽克 "兵力的實戰任務中,并要求他們在現有和替代管理模式的授權、責任和限制范圍內開展工作。本文介紹了現有采辦資源系統(即計劃、規劃、預算和執行[或PPBE]過程)的能力選擇結果,以利用STO的馬賽克戰爭愿景。
本研究由 DARPA 戰略技術辦公室贊助,在蘭德國防研究所的獲取與技術政策中心內進行,該中心是由國防部長辦公室、聯合參謀部、聯合作戰司令部、海軍、海軍陸戰隊、國防機構和國防情報界贊助的聯邦資助研發中心。
DARPA 戰略技術辦公室(STO)領導層對 "馬賽克戰 "有著雄心勃勃的愿景,認為它既是一種作戰概念,也是一種大大加快能力開發和實戰化的手段。盡管 "馬賽克戰爭 "的成功取決于 DARPA 對多種技術的推進(克拉克等人,2020 年),但戰略技術辦公室的 "馬賽克 "愿景在本質上比一個項目或技術的 "過渡 "更具挑戰性。考慮到這一挑戰,DARPA 贊助蘭德公司研究在現有或替代治理模式和管理流程下開發和部署馬賽克部隊的相關機遇和挑戰,這是該愿景從 DARPA 走向國防部廣泛接受所必需的。
本文重點介紹了對 "馬賽克戰爭 "的 "big A "采購影響進行的一項大型研究的部分結果。具體而言,本文重點關注現狀資源配置系統(即規劃、計劃、預算和執行[或 PPBE]流程)與馬賽克戰爭的交叉點。鑒于近期國防資源配置改革備受關注,以及在大型研究中發現的基于計劃、規劃、預算和執行流程的障礙對獲取 "馬賽克 "部隊的重要性,我們認為現在是強調這一系列大型研究成果的恰當時機。
本報告無法對 "馬賽克 "作為一種作戰概念進行全面調查,但可從其他資料中找到相關信息(Clark 等人,2020 年;Deptula 等人,2019 年;Grana 等人,2021 年;Grayson,2018 年;O'Donoughue 等人,2021 年)。簡而言之,STO 領導層將 "馬賽克作戰 "視為一種作戰概念,也是一種大大加快能力開發和實戰化的手段。在作戰方面,"馬賽克戰 "需要一支更加分化、異質的部隊,這支部隊可在戰術時間軸上動態組成獨特的部隊組合,以出其不意地壓制對手。因此,"馬賽克戰爭 "要求不再關注開發和實戰速度都很慢的單體平臺,而是關注可快速開發和實戰并在執行任務時進行整合的簡單部隊要素。
在最高層面上,"馬賽克 "概念設想美國部隊具有三個特征。
分級。分級是指軍事力量的能力在多大程度上集中在特定的武器平臺上。單兵或非分化部隊將大量能力集中在一個平臺上;F-35 也許是單兵平臺的典型例子,它將傳感器、射手、指揮控制節點、電子戰等能力都集成在一個平臺上。相比之下,分化部隊則將這些功能和能力分散到一系列平臺上。馬賽克作戰 "設想了一種更加分化的美國部隊。
異質性。異質性是指軍事力量中各平臺擁有不同能力組合的程度。在同質化部隊中,各平臺的能力高度重疊。隨著國防部從傳統的第四代戰斗機向 F-35 過渡,盡管 F-35 變體之間存在差異,而且將不斷進行一系列增量能力升級,但根據定義,美國 TACAIR 機隊的同質性將越來越高。在異構部隊中,平臺能力將減少共性,增加多樣性;例如,同樣的電子戰效果可能由無人機、航空浮空器或低成本巡航導彈提供。馬賽克作戰 "設想了一支更加多樣化的美國部隊。
可組合性。可組合性是指部隊要素可以不同方式動態組合以達到作戰效果的程度。一支高度不可組合的部隊將受限于固定的、預先指定的殺傷鏈,這種殺傷鏈體現在一個成文的系統架構中;彈道導彈防御系統就是一個典型。高度可組合的部隊則消除了體系結構的概念,允許從執行任務時可用的部隊要素中動態創建殺傷鏈。馬賽克戰 "設想了一種可組合性更強的部隊,在這種部隊中,人工智能輔助決策系統將在任務執行時促進部隊組合功能。
在本報告中,我們將假設具有這些特性的部隊在軍事上是有利的,在技術上是可行的。不過,讓我們簡要評述一下 DARPA 構想的 "馬賽克戰 "在作戰和采購方面的優勢。
在作戰方面,"馬賽克戰 "的支持者希望,一支分化、異構和可組合的部隊將提高美國部隊的適應性、可擴展性和不可預測性。支持者認為,當前的部隊由自成一體的部隊包或固定的系統架構的一部分組成,因此在可供選擇的不同部隊表現形式方面受到限制。與此相反,"馬賽克式 "部隊將把成套兵力分解為更多更多樣化的要素,從而增加可供美國指揮官使用的成套兵力的數量和彈性,并最終提高其效能。克拉克等人(2020 年,第 27 頁)簡明扼要地描述了 "馬賽克戰 "的一些假設作戰優勢,指出 馬賽克作戰概念的核心思想是,通過使用人力指揮和機器控制,快速組成和重新組合更加分散的美軍部隊,為美軍創造適應性和靈活性,為敵方創造復雜性或不確定性。
DARPA 還預計,"馬賽克戰 "可能會加快武器系統的采購和實戰化進程。開發復雜的多任務平臺既緩慢又昂貴。開發這些平臺所耗費的大部分成本和時間都來自于一個試圖預測通用需求的需求系統,該系統往往會提出成本高昂、復雜的單體解決方案。DARPA 預計,"馬賽克戰 "將通過分拆系統--從而降低采購管道中系統的平均復雜性--帶來單個更簡單的系統,從而降低成本、進度和性能風險;將集成挑戰推遲到任務層面;并產生一支可隨著時間推移不斷升級的靈活、模塊化部隊。Deptula等人(2019)解釋說,過渡到 "馬賽克 "部隊構成對采辦和實戰的功能性影響可能是實現最近多輪采辦改革所追求的效益,并肯定地說:"將當前部隊增量遷移到分解能力系統是一種方法,可最終實現國防部之前的許多采辦改革嘗試所追求的目標。
與今天的部隊技術相比,"馬賽克 "部隊的要素也將更加自主、消耗性更強、壽命更短。這些特點可能會積極強化 "馬賽克 "的核心概念,即分化、異質和可組合性。例如,自主系統可以消除操作員培訓周期的某些部分,從而加快預期的實戰化速度。消耗性系統可望消除維修、維護和升級等時間密集型維持過程。武器系統的壽命縮短,可避免因要求維持較長(如 30 年)的服役壽命而產生的成本和進度影響。
可以肯定的是,這只是對 DARPA 的 "馬賽克戰爭 "愿景的一個簡略甚至不完整的描述。不過,這也符合我們的目的,即足夠詳細地介紹馬賽克戰,以激發若干假設。關于 "馬賽克戰爭 "的更多信息,請讀者參閱前面討論中引用的參考文獻。
在下一節中,我們將簡要介紹采購政策游戲,該博弈旨在探討在當前和替代治理模式下獲取 "馬賽克 "部隊的后果。
在本文所借鑒的大型研究中,我們主要關注 "馬賽克戰爭 "對需求、資源配置和采購的影響。在此背景下,我們的研究提出了兩個假設。
1.DARPA 的 "馬賽克戰爭 "愿景可將從想法到效果的時間數量級縮短,從而使部隊的發展即使不以戰術時間為尺度,也能以作戰時間為尺度。
2."馬賽克戰爭 "可能是必要的,但不足以實現這種吞吐量的增加--它必須輔以新的方法來確定需求、資源配置和采購。
根據這兩個假設,我們提煉出兩個研究問題。
1.美國防部現有的需求、資源配置和采購結構與流程是否與 DARPA 的 "馬賽克戰爭 "愿景相匹配?這些管理系統是否與所設想的提高時間效率相匹配?
2.如果美國防部目前的管理制度不足以應對時間效率的提高,那么在獲取 "馬賽克 "部隊方面有哪些可行的替代管理模式和管理制度?與之相關的機遇、挑戰和風險是什么?
為了回答這些問題,我們查閱了現有的研究報告,與專家進行了交談,并設計和實施了 "獲取馬賽克部隊政策游戲",使 DARPA 代表和蘭德公司的研究人員身臨其境地參與到馬賽克部隊的實戰任務中,并要求他們根據現有或替代治理模式和管理結構為其提供的權限、責任和限制進行操作。在假設和游戲設計尚處于形成階段時,我們總共進行了兩次政策游戲內部測試(僅蘭德公司參與),并在這些假設更加確定后,在 DARPA 和蘭德公司的共同參與下進行了一次 "頂點 "游戲。
為了更好地了解當前和替代治理模式如何與 "馬賽克戰爭 "相結合,我們開發了一個由三部分組成的活動,如圖 1 所示。每項活動都以虛擬半天會議的形式進行。這些活動在內部進行了兩次,并與蘭德公司和 DAPRA 人員組成的混合小組進行了一次。如上所述,這些活動假定 "馬賽克戰爭 "在技術上是可行的,已被國防部所接受,并且已成功實戰了一套初始能力。從這一出發點出發,我們要求參與者考慮如何管理單項能力的獲取以及整個 "馬賽克 "事業。
在現代空戰中,超視距(BVR)交戰越來越頻繁。飛行員面臨的主要挑戰之一是機動計劃,這反映了他們的決策能力,并能決定成敗。為確保采用虛擬BVR空戰模擬的飛行員訓練取得成功,計算機生成部隊(CGF)的高精度水平至關重要。要實現這一目標,不僅要充分復制和模擬實體的物理特性,還要使其具有接近人類的行為。在本文中,我們提出了應對這些挑戰的總體概念: 首先,我們引入飛行運動動態模型(飛機、導彈、箔條)以及干擾器。然后,我們分析典型的超視距空戰的工作流程,將其分為攻擊、自衛和決定。在此背景下,我們引入行為樹作為這些任務的建模方法,并解釋其優點。進一步的計劃包括在未來由人類控制的對手飛機(飛行員)與CGF對飛的實驗活動中驗證和確認CGF的行為。最后,我們對未來的工作進行了展望,我們打算在包含多個自由度的任務中采用強化學習。
美國陸軍對核武器效果的解釋需要改變和現代化。兵棋推演演習在今天的軍隊中很常見,然而,盡管非戰略核武器(NSNW)的威脅越來越大,但在告知戰場指揮官其真實效果方面卻做得很少。我們的研究旨在為指揮官開發一種工具,以方便解釋非戰略核武器的可量化影響。利用蒙特卡洛模擬,我們正在開發一種新的方法來分析非核戰爭的影響。我們的模型可以讓指揮官計算出非核動力武器打擊后的預期部隊實力,這將有助于他們的作戰決策能力。分析核影響的蒙特卡洛模擬方法提供了一種新的方法來考慮變化,同時給指揮官一個可分析解釋的輸出,作為避免概率的描述性統計。
圖4. 人工智能對目標定位的增強:人工智能可以通過搜索目標并在發現后發出警報來增強動態目標定位周期。
開發和使用新的軍事技術是一個軍事專業人員工作的一部分。事實上,軍事歷史在很大程度上是一個技術革新的故事,士兵需要學習如何操作新系統。因此,關于整合人工智能的很多東西并不新鮮。就像坦克、飛機甚至弩一樣,隨著時間的推移,士兵們學會了使用和運用技術,工業界學會了以足夠的數量和質量生產技術,高級領導人學會了運用技術來實現戰略效果。如前所述,人工智能技術與它們的顛覆性“前輩”之間的區別在于,前者有能力改善廣泛的軍事武器、系統和應用。由于這種潛在的普遍性,幾乎所有的士兵都必須在某種程度上變得熟練,才能有效地和道德地運用AI技術。隨著這項技術在應用上的擴展,戰爭將像管理暴力一樣管理數據。
這種普遍性也提出了關于人類發展和人才管理的問題。盡管培訓計劃最終會培養出更多的知識型士兵,人事系統也會提高管理士兵的能力,但軍警人員能夠獲得知識和技能的限制仍然存在,特別是在作戰層面。盡管討論的目的不是要建立嚴格的指導方針,但討論確定了士兵需要獲得的許多知識。例如,士兵將需要知道如何策劃和培訓數據庫,而該數據庫對他們正在執行的任務有著重要作用。這樣做需要確保數據的準確、完整、一致和及時。使用這些數據需要熟練應用推薦模型卡中描述的條件,而熟練的操作有助于確保算法以有效和道德的方式執行。
當然,信任不能僅靠政策和程序來保證。指揮官、參謀員和操作員需要知道他們被信任做什么,以及他們信任系統做什么。指揮官、參謀員和操作員信任人工智能系統來識別合法目標,并避免識別非法目標。參與這一過程的人必須在使用這些信息時,既需要擊敗敵人,又必須避免友軍和非戰斗人員的傷亡。要找到這種平衡,就需要判斷人應該承擔多大的風險。
只要參與流程的人類能夠與系統進行有效的互動,由人工智能賦能的系統就能促進找到這種平衡。在將人類控制整合到機器流程中時,人們經常被迫在控制和速度之間做出選擇:強加的人類控制越多,系統的運行速度就越慢。但本研究發現這種兩難的局面是錯誤的。盡管在某些情況下,在人的控制和速度之間進行平衡可能是必要的,但如果系統要最佳地運作,人的輸入是必要的。
實現最佳性能首先要求指揮官確保參謀和操作人員了解模型能力,理解數據質量的重要性,以及洞悉模型在作戰環境中的表現。盡管它可能不會使系統更加精確或準確,但實現這些任務可使系統能夠更好地對輸出進行概率分配。第二,指揮官需要確定對任務、友軍戰斗人員和敵方非戰斗人員的風險有多大才合適。這一決定很復雜,其中關鍵任務可能是需要容忍更多的友軍和非戰斗人員傷亡。同樣,如果非戰斗人員的密度較低,即使任務不那么緊急,也可以容忍較高的風險。尋找這種平衡將是人類的工作。
但在前面描述的模糊邏輯控制器的幫助下,指揮官可以更好地確定什么時候可以信任一個人工智能系統在沒有人類監督的情況下執行一些目標定位步驟。此外,可以通過構建交互的邏輯,以找到多種不同的人機互動配置,確保系統的最佳使用,同時避免不必要的傷害。在LSCO期間,讓指揮官在需要時選擇智能和負責任地加快目標定位過程將是至關重要的,本報告中提出的設計實現了這一目標。這一成就在未來尤其重要,因為為了保護部隊并實現任務目標,指揮官將面臨大量時間敏感目標,及面臨承擔更多風險的操作條件。
在培養具有正確技能的足夠數量士兵以充分利用人工智能技術方面,仍有大量的工作。目前的人才管理計劃尚未達到管理這一挑戰的要求,盡管多個有前途的計劃準備最終滿足需求。然而,在大多數情況下,這些計劃都是為了滿足機構層面的要求,在機構層面上做出全軍采買人工智能和相關技術的決策。但是,這些技能將如何滲透到作戰陸軍,尚不清楚。
盡管人工智能在目標定位中的使用并不違反當前的戰爭法,但它確實引起了一些道德倫理問題。在所討論的目標定位系統背景下,這些倫理問題中最主要的是問責制差距和自動化偏見。第一個問題對于回答核心問題至關重要,“指揮官在什么基礎上可以信任人工智能系統,從而使指揮官可以對這些系統的使用負責?”自動化偏見和數據衛生與問責制差距有關,因為當這些問題存在時,它們會破壞指揮官可能希望實施的有意義的人類控制措施。指揮官可以通過以下方式縮小問責差距:首先,確保人員受到適當的教育、技能和培訓,以整理相關數據;其次,確保指揮官允許的風險,準確地反映完成任務與保護友軍士兵和非戰斗人員之間的平衡需求。指揮官還可以通過在機器需要更多監督時向參與該過程的人類發出信號來減少自動化偏見的機會及其潛在影響。
作為一個專業人員,不僅僅意味著要提供服務,還要在出問題時承擔責任。專業人員還必須了解各種利益相關者,包括公眾和政府及私營部門實體,如何與本行業互動和競爭。鑒于這些技術的潛力,軍事專業人員必須首先學會在技術及其應用的發展中管理預期。由于這種演變影響到專業工作的特點,軍事專業人員還必須注意專業以外的人如何重視、獎勵和支持這項工作。因此,隨著美軍繼續將人工智能和數據技術整合到各種行動中,對其專業性的考驗將在于擁有專業知識的能力,以及建立能夠繼續發展、維護和認證這種專業知識的機構,這些機構既能滿足美國人民的國防需求,又能反映他們的價值觀。
在過去的幾年里,人工智能(AI)系統的能力急劇增加,同時帶來了新的風險和潛在利益。在軍事方面,這些被討論為新一代 "自主"武器系統的助推器以及未來 "超戰爭 "的相關概念。特別是在德國,這些想法在社會和政治中面臨著有爭議的討論。由于人工智能在世界范圍內越來越多地應用于一些敏感領域,如國防領域,因此在這個問題上的國際禁令或具有法律約束力的文書是不現實的。
在決定具體政策之前,必須對這項技術的風險和好處有一個共同的理解,包括重申基本的道德和原則。致命力量的應用必須由人指揮和控制,因為只有人可以負責任。德國聯邦國防軍意識到需要應對這些發展,以便能夠履行其憲法規定的使命,即在未來的所有情況下保衛國家,并對抗采用這種系統的對手,按照其發展計劃行事。因此,迫切需要制定概念和具有法律約束力的法規,以便在獲得利益的同時控制風險。
本立場文件解釋了弗勞恩霍夫VVS對當前技術狀況的看法,探討了利益和風險,并提出了一個可解釋和可控制的人工智能的框架概念。確定并討論了實施所提出的概念所需的部分研究課題,概述了通往可信賴的人工智能和未來負責任地使用這些系統的途徑。遵循參考架構的概念和規定的實施是基于人工智能的武器系統可接受性的關鍵推動因素,是接受的前提條件。