人工智能(AI)正迅速改變軍事領域并深刻影響國際和平與安全。"負責任軍事域人工智能峰會"(REAIM)及《負責任軍事應用人工智能與自主系統政治宣言》等倡議雖非普適性進程,但顯著提升了國際社會對軍事AI應用的關注度。這些倡議尤其推動討論超越致命性自主武器系統(LAWS),成功凸顯AI的多維影響,從而促成更廣泛的國際政策參與。基于這些倡議激發的政治動能,聯合國大會2024年12月通過的79/239號決議進一步拓展了圍繞軍事AI的國際對話,為成員國、國際和區域組織以及多利益攸關方社群提供了共商機遇與風險的平臺。聯合國裁軍研究所(UNIDIR)長年致力于引導相關討論:通過開展研究、推動多邊對話、提供政策洞見,深刻闡釋AI對國際和平安全的變革潛力。
國際社會當前可塑造AI在軍事領域的應用方式,將負責任AI原則置于核心。核心挑戰在于"軍事域"定義的復雜性——國家與地區依其獨特安全環境、現實條件及操作實踐存在不同解讀:部分國家將軍事職能擴展至國內安全任務(如治安、邊境管控、打擊有組織犯罪、關鍵基礎設施防護及災害人道救援);其他國家則采用嚴格定義,將軍事功能限于戰場交戰。這些差異非但不應成為障礙,反而為多邊討論提供重要背景。國際治理框架須保持靈活包容,承認并適應多樣化的國家與區域安全視角。
在軍事域的多元操作場景中,AI作為力量倍增器賦能多項軍事任務,涵蓋指揮控制(C2)、情報信息、高級自主系統、后勤保障、訓練模擬及組織支持功能。在C2領域,AI提升決策速度與質量,輔助指揮官快速分析戰場態勢;通過整合詳細相稱性原則等法律評估,增強國際人道法(IHL)遵循能力。AI驅動的情報工具高速分析海量數據,優化態勢感知與威脅探測。在后勤領域,AI優化供應鏈與預測性維護,提升戰備水平。AI還支持無人機、網絡安全、認知戰與信息行動中的高級自主性。訓練模擬通過AI創建個性化高擬真合成環境而獲益。簡言之,若負責任地開發部署使用,AI可提升作戰效能、降低風險與傷害。然而軍事AI融合亦帶來顯著風險與挑戰——涵蓋技術、安全、法律、政策及倫理維度。
技術層面,軍事AI系統面臨數據質量、可用性及固有偏見問題,可能導致不可預測且具潛在危害的后果(包括違反國際法)。AI系統的"黑箱"特性,加之其自適應能力與高度環境依賴性,使可信度評估復雜化,有時甚至阻礙對涉嫌違反IHL行為的有效調查。網絡安全漏洞也使AI系統易受對抗攻擊,需采取嚴格防護措施。
安全挑戰包括誤判與意外升級風險,尤其通過AI賦能的快速決策流程及自主系統,可能導致升級式響應。AI軍備競賽的可能性加劇國際與區域緊張,或引發類似歷史軍備競賽的破壞性后果。AI技術向非國家行為體擴散進一步復雜化威脅格局,亟需軍事AI系統的強健全生命周期管理。此外,AI生成虛假信息通過削弱信息可信度威脅社會穩定性,并直接影響軍事行動。
法律挑戰聚焦確保遵守國際法(尤指IHL與國際人權法)。關鍵辯論涉及AI驅動行動的責任歸屬問題(包括國家與個人責任),特別是致命決策領域。各國對現有法律框架是否充分或需制定專門新規存在分歧。超越國際法范疇,倫理考量強調在關鍵決策中保留人類判斷力,防止社會偏見滲入AI系統——后者要求增強AI開發的多元包容性。彌合政府、學界與私營部門間的鴻溝雖具挑戰性,但對有效治理至關重要。
應對這些挑戰需制定涵蓋多邊、區域及國家層級的綜合路線圖。多邊層面,建立聯合國主導的常設對話平臺至關重要,該平臺將系統探討軍事AI對國際和平安全的廣泛影響。其可基于現有國際AI原則框架(如聯合國教科文組織建議或《全球數字契約》中的安全可靠AI承諾),進一步細化軍事領域適用方案。此外,應借助聯合國平臺制定務實"建立信任措施"(CBMs),引領包容性多利益攸關方參與,實施通過透明度、合作與可預測性增強全球安全的能力建設項目。
區域層面,現有組織框架可用于制定契合本地安全語境的CBMs與指南。跨區域對話促進經驗互鑒,打破信息壁壘,納入多元視角以推動全球協調響應。國家層面,各國應制定詳述愿景、優先級與治理框架的綜合AI戰略,確保遵循國際規范與倫理標準。強健治理架構(如專屬AI指導委員會與倫理委員會)配合迭代式法律審查,將增強問責制與安全性。透明化溝通與明確定責規程進一步支持負責任AI實施。高標準數據治理、全生命周期管理方法、嚴格培訓計劃及更新的軍事操作指南共同構成國家層面措施,確保AI在軍事領域的負責任融合。
綜上所述,AI融入軍事領域為國際和平安全帶來重大機遇與復雜挑戰。通過前瞻性治理、包容對話及情景適配框架,各國可駕馭AI戰略優勢并管控風險。承認定義與操作語境的多樣性,協同多邊、區域與國家行動,將為負責任軍事AI治理奠定堅實基礎。
軍用無人機已成為現代戰爭的標志性裝備,其在烏克蘭戰場造成的傷亡遠超其他武器。偵察、打擊、后勤及海軍作戰領域的廣泛應用,使國家與非國家行為體日益依賴無人系統。歐盟(EU)將無人機研發與反制列為優先事項,通過歐洲防務基金和永久結構性合作(Permanent Structured Cooperation)提供資金并協調研發。歐盟領導人承諾加強防務產業,對無人機生產、創新與互操作性進行重大投資,同時促進軍民兩用技術協同,解決戰略依賴問題并與北約開展合作。歐洲防務局正通過聯合項目及創新中心推進無人機技術發展。
無人機在俄烏戰爭中已成為主導力量,其數量達歷史頂峰。2024年5月烏軍方高層表示:"無人機造成的雙方傷亡超過任何武器"。年初烏設定百萬架年產量目標后,現已提升至400萬架;俄據稱正同步增產。現役超百種無人機涵蓋從民用改裝機到近20米寬的大型軍用機,承擔偵察、精準打擊、武器制導、誘餌投放、通訊中繼及物資運輸等任務。兩國通過自研、民用改裝或盟友渠道獲取無人機。在有人戰機受防空壓制及烏軍彈藥短缺背景下,無人機對維持防御至關重要。除空基系統外,烏軍部署海軍無人機打擊俄黑海艦隊并擊沉多艘艦艇,現正致力組建專業無人艦艇編隊。陸基無人機雖技術較初級,仍用于運輸、偵察及有限攻擊。
無人機不僅盛行于烏克蘭戰場,更已成為全球沖突的普遍特征:在加沙、以色列、黎巴嫩戰事,也門、蘇丹、敘利亞、緬甸內戰,以及紅海國際船只襲擊事件中均發揮關鍵作用。中東與非洲非國家團體對無人機的使用也持續擴展。此趨勢被部分觀點視為戰爭形態的重大變革,亦有觀點認為屬于軍事技術的自然演進。
截至2023年,全球商用無人機(UAS)市場規模約達229.8億美元,預計2030年將強勁增長至571.6億美元。農業、物流、傳媒及醫療等領域需求激增推動市場擴張。軍用無人機市場2022年估值132億美元,預計2032年將達277億美元。
歐盟正依托堅實基礎,有望在未來無人機戰爭中占據領導地位。行業報告顯示:截至2022年全球超40%無人機企業分布于歐洲。烏克蘭與土耳其已成為歐洲領先的無人機生產國。但歐盟安全研究所(EUISS)專家指出,烏需更多資金擴大產能并獲取先進無線電發射器、傳感器等關鍵部件,方能釋放產業潛力。
由拉脫維亞與烏克蘭發起的"國際無人機聯盟"于2024年2月成立。該聯盟由17國組成(按字母排序):澳大利亞、加拿大、捷克、丹麥、愛沙尼亞、法國、德國、意大利、立陶宛、盧森堡、荷蘭、新西蘭、挪威、波蘭、瑞典以及拉脫維亞與英國(后兩國任協調員)。過去一年聯盟聯合基金籌集1.76億歐元,伙伴國援助總額超20億歐元,資金用于采購無人機及支持創新研發以增強烏軍戰力。已完成兩次國際招標:首批選定5家供應商半年內向烏交付3萬架FPV無人機;第二批聚焦先進FPV無人機與攔截無人機,近20家烏制造商首次參與競標。聯盟另在拉脫維亞設立無人機試驗場。2025年3月,荷蘭宣布投資5億歐元啟動大規模無人機項目,旨在強化烏克蘭抗俄防御能力,該資金系荷政府20億歐元援烏計劃組成部分。
當前歐盟軍隊尚未建立俄烏規模的武裝無人機庫。盡管部分成員國部署少量大型高成本中空長航時(MALE)無人機(類似"反恐戰爭"機型),其在強對抗環境中的效能有限。且沒有歐盟軍隊儲備足夠"可消耗式無人機"與"巡飛彈藥"來維持烏克蘭戰場級別的高強度消耗戰。近十年來歐盟國家雖擁有多元作戰需求,卻集中于設計高端MALE無人機。與此同時,技術進步使小型戰術無人機載荷能力顯著提升——已足以支持地面部隊打擊任務,該趨勢近十年持續加速,但歐盟國家對此變革認知與響應遲緩。分析師指出:各國對"歐洲無人機"(Eurodrone)項目的過度關注,已然阻礙戰術無人機機隊的擴編與現代化進程。
鑒于歐洲共同的作戰需求與軍工體系專業積淀,集中投資一至兩款通用戰術無人機本應是更高效策略。但主要軍費支出國卻選擇國內自研或現貨采購,進一步加劇市場割裂與非歐盟供應商依賴。近期出現若干重大進展:西班牙2023年批準4.95億歐元SIRTAP戰術無人機投資計劃(分8年執行:2023-2031)。由空客制造的該機型具備20小時滯空時間、6000米實用升限、750公斤起飛重量及150公斤載荷——性能參數與萊昂納多FALCO EVO相當(注:該機型中東地區有部署,但無歐洲軍隊列裝)。
希臘為應對土耳其無人機技術進步,在持續引進以色列等國外系統同時著力提升自研能力。2022年9月,希臘航空航天工業集團聯合三所高校推出具備強大監視偵察功能的多用途兩用垂直起降(VTOL)無人機"Archytas";2023年1月又宣布啟動模塊化戰斗無人機"Grypas"研發,其載荷能力顯著提升。原型機預計2025年問世,希臘將作為啟動用戶(其他歐洲國家可能跟進)。預算限制或緊急需求則使部分歐盟國家轉向采購非歐盟現成無人機:例如波蘭2021年率先引進土耳其"旗手-TB2"(注:俄全面入侵初期烏軍曾大量使用),首購4架后另與通用原子公司簽訂MQ-9"死神"租賃協議。
歐洲正掀起以無人機與人工智能為核心的國防科技熱潮。慕尼黑初創公司Helsing專注AI軍事化應用,其開發的HX-2智能打擊無人機旨在強化戰場決策能力,2024年7月獲4.5億歐元融資。該公司已向烏軍交付4000架HF-1無人機,新簽6000架HX-2訂單。HX-2系AI驅動的X翼構型精確打擊無人機,作戰半徑100公里,具備電子對抗與干擾環境作戰能力,可實施人控集群作戰。同處慕尼黑的Quantum Systems專攻電動垂直起降雙用小型無人機,2024年9月獲3640萬歐元融資(加上2023年10月6360萬歐元,總額超1億歐元)。其無人機遠程性能優異,軍民場景適用性強。2024年4月在烏設立首座工廠后,計劃2025年實現產能翻番,當前在烏生產"向量"偵察無人機并建立研發中心及維護基地。
無人機已重塑現代戰爭形態,每日被投入戰場執行監視或攻防任務。盡管當前仍由人類操控,但去人化自主控制轉型迫在眉睫。人工智能(AI)的迅猛發展使AI驅動無人機成為未來戰爭核心要素,這促使各國需提升系統能力以應對自主無人機威脅并研發更優型號。強化學習(RL)作為AI的決策范式,專注于序列決策問題,其在機器人領域的應用已展現解決復雜現實挑戰的潛力。本文通過實戰案例闡釋RL基礎原理并提出機器人部署框架,識別出無人機作戰中RL應用的五大復雜性維度,分析技術前沿與現存差距,最終給出彌合差距的技術路線圖及倫理考量。
無人航空系統(UAS)長期在現代戰爭中發揮關鍵作用,早期以大型偵察與精確打擊無人機為主。烏克蘭沖突標志著向小型商用無人機武器化的顛覆性轉變,此類無人機通過控制爭議區域、低成本打擊與情報搜集展現戰略優勢(文獻[2-4])。當前戰場中,人類仍主導數據分析與無人機操控,例如通過偵察無人機識別目標后操控攻擊型無人機實施打擊(文獻[5])。
AI已被視為執行部分戰場任務(如目標識別)的理想技術(文獻[6]),其數據處理速度遠超人類,可加速戰場決策。然而,即使AI輔助減輕操作負擔,無人機控制仍高度依賴人力。烏克蘭沖突中,第一人稱視角(FPV)操作員已成為稀缺資源(文獻[1,3,5,7]),面臨部署效率低下、操作員數量不足、暴露風險及通信鏈路易受干擾等挑戰。輕量化(<10 kg)敏捷無人機的普及使反無人機系統(CUAS)研發更為緊迫,亟需提升AI在無人機控制與反制領域的能力。
強化學習(RL)作為成熟的控制AI框架,通過試錯機制學習決策策略,已在《星際爭霸II》(文獻[8])、《Stratego》(文獻[9])等復雜游戲中展現超人性能,并在FPV競速無人機控制(文獻[10])與自主導航(文獻[11])領域取得突破。盡管RL具備優化戰場控制算法的潛力,但其在實戰部署仍存鴻溝——現有研究通常基于理想化假設,與真實戰場環境存在顯著差異。本文系統分析并分類這些差距,提出控制小型UAS及防御其攻擊的技術路線圖。
第2節詳述當前以小型無人機及其反制技術為核心的戰場格局;第3節形式化定義強化學習并通過實戰案例闡釋框架;第4節提出RL部署框架;第5節從五大復雜性維度(感知不確定性、動態環境適應性、多智能體協同、對抗性學習、安全性保障)剖析RL應用于機器人(尤其是無人機)的前沿算法;第6節構建五個漸進式創新場景,推動無人機作戰向自主UAS與CUAS演進。
本節提出若干復雜度遞增的作戰場景,構建無人機戰爭未來發展的技術演進路徑。通過前文所述雷達圖分析框架,評估各場景在五大復雜性維度的實現難度,以此明確技術突破方向。該路線圖代表我們通過增強戰爭智能化推動軍事創新的戰略愿景。
2024年北約指揮與控制卓越中心(C2COE)會議期間,來自軍事、工業、政府與學術界的專家組開展了深入研討。核心議題是確定非單一軍事視角下,各行為體在競爭連續體中實現協同效應的先決條件。會議得出明確結論并識別成功要素(使各行為體達成協同效應),并與既有多域作戰(MDO)先決條件進行對比以驗證新見解的有效性。最終環節聚焦這些新見解對指揮與控制的啟示。其中三個成功要素(涉及多域作戰概念實戰化)與北約指揮與控制卓越中心職能高度契合,現已融入該中心2025年工作計劃,相關項目提案正逐步成型。
軍事指揮官需要在戰場上快速做出明智決策。他們依賴美國防部(DOD)系統將海量數據轉化為可執行情報。2019年,國防部啟動聯合全域指揮控制(CJADC2)計劃以滿足跨域作戰需求。CJADC2本身并非獨立系統,而是通過數據與分析優化戰場決策與信息傳遞的方法。眾議院報告要求GAO對CJADC2計劃進行審查。GAO(1)明確國防部對CJADC2概念的定義方式及其系統跟蹤、進展監測與投資管理機制;(2)評估國防部在提升現有系統間指揮控制數據共享效能方面的準備程度,以及應對新型數據共享方案開發挑戰的能力。GAO分析了與國防部CJADC2目標相關的政策、規劃文件與簡報,并審查各軍種CJADC2項目文件。GAO訪談對象包括國防部、各軍種、全部11個作戰司令部及CJADC2跨職能團隊官員。
GAO建議美國防部:(1)制定CJADC2框架以指導投資并衡量進展;(2)設計經驗共享機制;(3)識別并解決實現CJADC2目標的關鍵挑戰。國防部對兩項建議表示認可,對第三項建議部分認可。
聯合全域指揮控制(CJ)是國防部提出的概念,旨在通過連接太空、空中、陸地、海洋與網絡空間的選定美國資產提升指揮控制效能,同時建立與國際伙伴的互聯。國防部認為,盡管實施難度大,推進CJADC2將使關鍵決策者更快速便捷地共享與運用數據執行指揮控制任務。例如,CJADC2將推動從"轉椅式"分析模式(分析人員接收多系統輸入并手動錄入數據)向全數據整合模式的轉型。
自2019年啟動以來,美國防部持續嘗試定義與指導CJADC2計劃,但尚未構建能夠指導國防部全域相關投資或跟蹤目標進展的框架。隨著CJADC2概念逐步成型,各軍種與國防部其他實體同步推進獨立數據整合能力建設。GAO此前研究發現,確立可量化目標并據此衡量進展對組織成功至關重要。缺乏明確指導的情況下,作戰實體將繼續孤立推進指揮控制項目,可能導致CJADC2目標實現進程遲緩低效甚至失敗。國防部正開展能力驗證活動,但實驗經驗認知有限可能引發重復勞動并延緩目標達成。此外,GAO發現若干阻礙CJADC2實現的關鍵挑戰尚未被國防部正式識別與應對。例如,過度嚴格的數據分級顯著阻礙指揮控制數據共享,受訪官員亦未獲悉相關機構正著手解決此問題及其他關鍵挑戰。CJADC2領導層表示此類挑戰超出其職權范圍。若不識別并解決關鍵挑戰,國防部CJADC2目標的推進將始終受限。
在作戰環境日益復雜的時代,先進機器和自主系統的集成有可能重塑未來戰爭的實施方式。隨著軍事理論轉向多域作戰,以應對多極世界和大規模沖突的回歸,軍隊必須創新其維持戰略,以滿足現代戰爭的復雜需求。這一發展對于增強軍隊的機動性、應變能力以及在有爭議和動態沖突地區支持分散、聯合和技術一體化部隊的能力至關重要。在這方面,人機協同(HMT)和人機自主協同(HAT)這兩個新興范例尤其具有發展前景,它們將人類的適應性與自動化和機器人技術的精確性和效率相結合,在各種軍事后勤和醫療活動中具有變革潛力。雖然這兩個概念涉及維持網絡的不同方面,但它們協同合作,有望更快地為關鍵支持功能提供更強大、更準確的解決方案。
因此,本文探討了這些范例在重新定義歐洲陸軍前方維持行動方面的潛力,強調了它們在軍隊(再)補給、戰場維修/維護和醫療支持服務方面的作用。本文強調,雖然這些創新會帶來挑戰,包括技術限制和行動整合障礙,但歐洲軍隊必須適應并為未來鋪平道路,在未來,人類專長和自主能力將相互促進,以維持任務并確保行動效力。
有關軍事人工智能(AI)系統的國際治理討論經常強調透明度的必要性。然而,透明度是一個復雜的、多層面的概念,在有關負責任地使用人工智能的國際辯論和文獻中,人們對它有不同的理解。它包括可解釋性、可解釋性、可理解性、可預測性和可靠性等方面。這些方面在國家確保系統透明和負責任的方法中的體現程度仍不明確,需要進一步調查。此外,在軍事人工智能應用中實現透明度還面臨一些挑戰。首先,該技術固有的不透明性會使決策過程難以追蹤和理解。其次,軍事機構更有可能采取自愿性的透明措施,重點確保操作人員對系統功能有一個總體的了解,而不完全涉及問責的細微差別。此外,各國技術能力的差異表明測試和培訓標準參差不齊,使對人的決策和問責的評估更加復雜。最后,鑒于國防和國際安全的敏感性,軍事人工智能系統預計將保持高度機密,使外部評估變得困難。本文提出了克服這些挑戰的途徑,并概述了一個全面透明的框架,這對于在軍事環境中負責任地使用人工智能至關重要。
在有關負責任地將人工智能用于軍事目的的國際討論中,透明度經常得到強調。透明度也是民用領域人工智能倫理原則的核心問題(Jobin、Ienca 和 Vayena,2019 年)。然而,透明度的概念差異很大。對一些政府來說,透明度意味著國家要披露一些有關各種系統的測試、評估和運作的信息。對另一些國家而言,這意味著軍事人工智能系統必須對本國軍隊足夠透明,并確保指揮官了解其運作情況,并能在這些系統產生錯誤或不可預測的輸出時進行干預。因此,對透明度的理解通常是 “系統的可理解性和可預測性”(Endsley, Bolte and Jones 2003, 146; National Academies of Sciences, Engineering, and Medicine 2022)。然而,隨著各國開始實施負責任的人工智能原則,這些對透明度的不同解釋將變得更加重要,這仍然是一個挑戰。這些原則對于確保軍隊負責任地使用人工智能和自主系統尤為重要。
在烏克蘭和加沙等當代沖突地區的實踐中,讓軍事指揮官了解人工智能系統的承諾已經受到挑戰,原因在于技術的性質、現成技術的使用,以及缺乏明確的指導方針來說明需要在多大程度上了解人工智能系統。此外,對于正在使用的人工智能系統的類型和復雜程度及其如何運作,也缺乏更廣泛的披露。值得注意的是,以色列國防軍(IDF)在加沙使用的人工智能目標生成和決策支持系統引起了人們的關注,因為調查報告公布了這些系統的使用情況,導致人們對其功能產生了更多疑問(亞伯拉罕,2024;戴維斯、麥柯南和薩巴格,2023)。然而,以色列幾乎沒有提供關于這些系統如何運作的信息,而且該國一直辯稱,它沒有使用人工智能系統在沒有人類參與的情況下自主選擇目標(Varella 和 Acheson 2024, 5)。對有關以色列系統的報道感到震驚的人們認為這些保證并不充分。軍事領域人工智能和自主系統的透明度還涉及到一定程度上獲取系統信息的能力,理想的情況是讓這些系統接受評估或審計,最好是由信譽良好的第三方進行評估或審計。這種廣泛的評估和審計雖然可能在內部進行,但不太可能在外部進行。因此,需要創造性地制定全球層面的信息共享和建立信任措施。
在尋求建立對透明度的更深入理解,以滿足國際管理機構以及技術和操作要求時,會出現幾個問題。軍事指揮官是否需要了解人工智能系統的每個節點是如何連接的?是否可能或需要足夠深入的了解?人類操作員或作戰人員對什么程度的理解才足以確保他們對人工智能系統輔助或執行的行動承擔明確的責任?此外,各國政府之間需要共享哪些信息,以確保人們對負責任地使用人工智能和自主系統充滿信心?
隨著軍隊越來越多地在征兵、訓練、后勤、設備維護、監視和瞄準等各種功能中使用人工智能系統,這些問題變得更加重要(Grand-Clément,2023 年)。不同的用途對透明度會有不同的要求,這些要求服務于不同的功能,并滿足不同治理層面的道德和法律要求。對于某些用途,如招聘等被描述為 “后端 ”辦公功能的用途,其要求將主要集中在確保公平和隱私,以及滿足有關雇用個人的各種國內法律(Taddeo 等,2019 年)。在另一端,也是本文最關注的是高風險應用,如在與武力部署相關的決策支持中或在武器系統中使用人工智能系統,具有不同程度的自主性。這些要求將更加嚴格,需要符合內部和國家標準以及國際法律要求和管理機制。后一個問題雖然對國際安全尤為重要,但由于固有的安全考慮,仍然是最難解決的問題。
在全球范圍內,人工智能和自主性軍事應用的透明度面臨幾個關鍵障礙。首先,技術本身的復雜性,特別是隨著系統變得越來越先進、不斷學習和發展,確保其可理解性在實踐中具有挑戰性。關于系統在多大程度上需要可被人類解釋和解讀,以及部署系統的人員需要在多大程度上理解系統,目前正在進行積極的討論。此外,人工智能的雙重用途性質以及商業現成技術和工具的使用(如在烏克蘭使用的情況),可能會引入未經國防背景充分測試的系統。其次,雖然軍方更傾向于承諾采取透明措施,確保操作人員了解系統,但更廣泛的透明度或允許對這些系統進行外部評估仍然具有很大的挑戰性。第三,與此相關的是,出于國家安全的考慮,軍事人工智能系統往往受到嚴密保護。這種保密性會阻礙各國分享有關各種系統能力的信息的意愿。這種趨勢在對抗性較強的國家尤為明顯,因為由于擔心泄露機密技術可能為其他國家行為者提供技術優勢,有關軍事人工智能系統運作的透明度不太可能被共享。因此,透明度往往與國家安全相沖突(Etzioni,2018 年)。
本文探討了實現軍事人工智能系統透明度的可行性,明確了相關挑戰,并提出了開發有效透明度機制的途徑。本文首先探討了透明度的不同定義,從技術理解到國際安全治理。然后討論了這些不同的方法是如何在軍事人工智能治理的討論中出現的。根據這些不同的觀點,本文提出了國際治理機制應考慮的全面透明度方法的要素。最終,在最令人關注的軍事人工智能應用(如與使用武力有關的決策)中,透明度機制還需要一套分層的治理承諾和建立信任措施。這些措施應包括具有法律約束力的明確承諾、自愿措施和信息交流。最后,人工智能的許多軍事應用很可能仍處于保密狀態。然而,在對全球安全具有最重大影響的應用方面達到令人滿意的透明程度,將大大加強全球穩定。
人工智能有可能從根本上改變國防,從后臺職能到前線,并在軍事競爭和沖突中提供決定性優勢。人工智能已在俄羅斯烏克蘭沖突中得到有效部署,這表明人工智能不再屬于未來戰爭,而是國防必須參與的現實。鑒于人工智能潛在應用的廣泛性,很少有國防領域不能從人工智能或人工智能增強中獲益,因此國防部門需要開始考慮將人工智能作為其解決問題和實現目標的一個組成部分。英國有潛力成為一流的國防人工智能部門,但目前國防部門發展不足,需要加以培育。這既需要實踐變革,也需要文化變革。
發展國防人工智能部門需要改善數字基礎設施、數據管理和人工智能技能基礎,國防部門需要找出存在的差距,以便著手解決這些問題。建議國防部門可以采取一些具體行動,比如讓人工智能成為軍事教育的更大一部分,讓人工智能專家更容易在民用和國防部門之間流動。國防部門還可能需要與規模較小的非傳統國防供應商合作,這些供應商目前在與國防部門合作方面面臨障礙,國防部門需要采用其工作方式,使自己成為更具吸引力和更有效的合作伙伴。國防部門需要更加適應承擔風險、快速開發周期以及與非傳統國防供應商合作。國防部門需要克服目前阻礙防務公司與國防部門合作的障礙,如復雜的采購流程和工作人員難以獲得安全許可。
除了這些實際變化之外,國防部門還需要進行更廣泛的文化變革,以適應這樣一個世界:軍事優勢越來越多地由數字化能力和可快速開發、部署和迭代的廉價平臺來實現。國防部門的政策文件認識到了這一點,但該部門的言論與現實之間存在差距,而且人工智能往往仍被視為一種新事物,而不是即將成為國防工具包核心部分的事物。正在進行的《戰略防御審查》是一個理想的時機,國防部門可以借此加快所需的文化轉型,并為新的人工智能時代實現能力和思維的現代化。
人工智能系統如果能與盟國的系統互操作,將發揮最大功效。英國和盟國在開發和部署國防人工智能的目標上相互理解,并在適當情況下共享標準和實踐。AUKUS 合作伙伴關系的支柱 2 是英國國防人工智能部門與澳大利亞和美國盟國在人工智能前沿領域開展合作的協議。
認識到,在國防領域使用人工智能會引發重要的倫理問題。上議院武器系統人工智能委員會于 2023 年 12 月發布了一份關于致命自主武器系統的全面報告,決定不再重復這項工作。因此,本報告重點關注英國在國防領域開發和部署人工智能的能力。
關于英國國防人工智能部門的規模和特點的公開研究很少。2023 年,英國政府委托進行的研究發現,英國有 3713 家人工智能公司;其中 2204 家公司的業務模式以人工智能產品或基礎設施為核心。目前尚不清楚英國有多少人工智能公司從事國防工作: 33% 的公司從事計算機視覺和圖像處理工作,另有 29% 的公司從事自主系統工作--智庫蘭德歐洲公司在其書面證據中指出,這些領域 “與國防高度相關”--但這部分行業還將包括許多非國防公司。人工智能是一個快速發展的行業,預計將在未來幾年內大幅擴張:據 KBR 和 Frazer-Nash Consultancy 提供的證據估計,2023 年英國軍事人工智能行業的價值約為 2.85 億英鎊,預計到 2028 年將增長到 12 億英鎊。
有關英國國防人工智能公司特點的數據很有限,但證據表明,這些公司既包括人工智能只占其業務一小部分的老牌國防公司,也包括專門從事國防人工智能的初創公司。大多數參與人工智能開發的公司規模都相對較小: 蘭卡斯特大學創新、技術和戰略教授西蒙娜-索阿雷(Simona Soare)博士將該行業描述為一個 “成熟的生態系統”,其中 75-80% 的公司都是小型企業或初創公司。在國防領域,這類公司包括 Adarga、AdvAI、Skyral、Ripjar 和 Mind Foundry。人工智能的發展跨越國界,微軟和亞馬遜等在人工智能領域處于全球領先地位的跨國公司都在英國設有分支機構。此外,一些專門從事人工智能國防應用的國際公司也在英國設有分支機構,如 Helsing 和 Anduril。
人工智能行業相對剛剛起步,現在判斷英國人工智能和國防人工智能行業將如何發展還為時尚早。但是,證據表明,英國擁有可以促進該行業成功發展的優勢,包括大學和強大的研究部門,以及在計算和數學科學等相關學科的現有優勢。英國還擁有強大的計算能力(計算),這是開發先進人工智能的重要資產,同時英國還擁有龐大的金融部門,可以吸引對先進研究的投資。英國的制度優勢也為人工智能公司提供了良好的發展環境,并能吸引投資者,其中包括強有力的監管制度和有效的法治。所有這些都意味著英國具備蘭德歐洲公司的詹姆斯-布萊克(James Black)所說的 “相當好的通用優勢”,可以支持人工智能行業取得成功。
與此同時,一些證人也指出了英國該行業目前存在的弱點。Simona Soare 博士強調,雖然英國確實存在人工智能 “生態系統”,但 “并沒有特別獨立的國防人工智能生態系統”。此外,初創公司的更替率非常高,只有不到五分之一的公司能持續四年或更長時間。這意味著該生態系統幾乎沒有彈性,這將使英國擴大國防人工智能能力面臨挑戰。小組委員會還聽說,各軍種內部對整個國防領域的人工智能方法缺乏一致性。退役空軍元帥 Edward Stringer認為:"在整個國防人工智能領域,有一些非常優秀的人員,但系統略顯分散。雖然英國總體上是一個充滿活力的風險投資(VC)環境,但薩里大學人工智能研究所的 Mikolaj Firlej 博士寫道,英國國防人工智能部門 “投資不足”,只有幾家較小的風險投資基金在投資。
雖然英國的人工智能部門和國防人工智能部門的絕對規模較小,但與同行相比,英國的表現相對較好,因為該部門在全球仍處于發展的早期階段。蘭德歐洲公司報告稱,英國的人工智能公司數量在全球排名第三。牛津洞察》(Oxford Insights)和Tortoise編制的《全球人工智能指數》(Global AI Indices)根據各種因素對各國進行排名,英國分別位列第三和第四。雖然這些指數并沒有對各國在國防人工智能方面的實力進行具體排名,但有理由相信英國在這一領域的表現相對較好: Simona Soare 博士指出,英國為人工智能提供的資金遠遠高于歐洲同行,據估計,英國在國防人工智能領域的投資是法國和德國的兩倍。與此同時,雖然英國領先于許多同行,但在許多關鍵指標上卻遠遠落后于人工智能領域的全球領導者--美國和中國。這兩個國家政府在人工智能方面的總支出是英國政府的四倍多,美國和中國超級計算機的數量和處理能力也遠遠超過英國。一些意見認為,英國不可能與美國部門的規模和投資能力競爭,但英國可以利用其現有優勢,在人工智能的某些領域發展世界領先的專業技術。
英國具備許多適當的條件,可以在國防人工智能發展方面成為全球領導者,但目前國防是英國人工智能生態系統中發展不足的一個方面,英國與目前人工智能領域的全球領導者美國和中國之間的差距很大。英國不能也不應該以在規模上與這些國家的部門相媲美為目標,而應該尋求在優勢領域實現專業化,并在這些領域達到一流的先進水平。
人工智能對有效防務的重要性與日俱增,因此英國的目標必須是擁有一流的國防人工智能生態系統。國防部門應制定措施,將英國的部門與國際上的其他部門進行比較,以便跟蹤該部門相對于同行的實力。
自 2022 年末以來,人工智能(AI)技術的發展突飛猛進,特別是由大型語言模型(LLM)驅動的生成式人工智能(GenAI)聊天機器人的部署,表明人工智能有可能徹底改變國家開展情報工作的方式。鑒于私營部門和國家的大量投資,人工智能技術很有可能繼續快速發展。一些專家預測,到本十年末,將看到人工通用智能(AGI)的出現--一種在學習、感知和認知靈活性方面達到或超過人類水平的人工智能。即使這一宏大目標不能完全實現,未來三年內出現的 LLM 也可能遠遠超過現在使用的系統的能力,它們將能夠解決復雜的問題,采取行動收集和整理數據,并大規模、快速地提供有理有據的評估。
能夠有效、安全地將 GenAI 納入其工作流程的情報機構可以在分析工作的廣度和深度方面實現大幅提升,并顯著加快向決策者提供重要見解的速度。如果將目前可用的 GenAI 工具集成到情報分析工作中并加以調整,那么這些工具將加快和加強分析工作流程的幾個階段,從搜索和發現新數據,到構思分析產品,再到應用分析技術和進行分類檢查。
未來的系統將具備更強的能力,能夠承擔更多的分析工作量;首先是自主處理日常任務,如外語翻譯、數據庫和數據可視化,最終是更直接地應用情報分析技術來回答決策者的問題,并提供獨特的增值見解。
盡管美國和澳大利亞情報社區(IC)對人工智能已非常熟悉,并已跟蹤其發展多年,但它們對人工智能的部署仍持謹慎態度。他們之所以猶豫不決,是因為對現有 GenAI 系統的一些技術局限性以及如何將這些系統用于國家安全目的缺乏明確的法律和政策指導感到擔憂--目前這種擔憂是有根據的。此外,人們還對該技術相對于訓練有素、具有深厚學科專業知識的人類分析師的附加值持懷疑態度。這導致分析管理人員禁止或嚴格限制 GenAI 的使用,并將 GenAI 工具的部署限制在狹窄的用途上,如文件摘要,這完全在當前 LLM 的能力范圍內,但將遠遠落后于未來系統所能提供的功能。
他們的猶豫不決也反映了分析從業者的一種觀點,即人工智能 “只是另一種軟件工具”,分析師需要學習如何使用,現有的技術應用方法已經足夠。然而,未來的人工智能能力將如此強大,以至于它們將改變情報分析業務,情報社區現在需要采取更緊迫的行動,為它們的到來和有效部署做好準備,特別是預計對手將成功利用這些工具的力量。
澳大利亞和美國的領導者現在就應開始為即將到來的GenAI未來奠定基礎。為避免永遠落后于人工智能技術發展的步伐,分析管理人員應將注意力從 GenAI 目前能做什么轉移到 GenAI 在未來 3-5 年內能提供什么上,并做出合理的押注。除了敦促本國機構獲取和整合人工智能相關基礎設施(特別是先進的計算能力、獲取尖端的商業化 GenAI 模型和算法以及安全的數據存儲)之外,還為美國和澳大利亞的分析管理人員提出了以下建議:
1.設計持續改進的人工智能模型。隨著 LLM 的預期指數級增長,情報社區不能只著眼于當前的技術水平,還必須預測 GenAI 在未來五年、十年或二十年的發展軌跡。他們必須在快速、安全地部署這些工具與明確確保適當整合人類分析師的專業知識和技能之間取得平衡。這將包括考慮更大的 LLM、上下文長度的擴展,以及復合系統和智能體系統等更復雜系統的進一步發展。
2.堅持分析工作流程部分自動化。管理者應全面解構分析流程的所有關鍵要素,著眼于利用人工智能能力縮短向決策者提供見解所需的時間,同時保持嚴格的質量、準確性和分析技術標準。目前存在大量冗余人力的環節,如分析審查流程,或許可以提高效率。
3.建立人機分析團隊。考慮到人工智能系統日益強大,情報社區領導者應建立分析團隊,有目的地融合人類和機器的相對優勢。這將需要為人類負責的工作制定期望和規則,同時建立新的技術標準。
4.為分析人員創建人工智能就緒的培訓和激勵結構。要有效整合這些系統,需要一支做好準備并善于充分發揮這些工具潛力的員工隊伍。情報社區將需要通過招聘訓練有素的人才和提高現有勞動力的技能,對數字敏銳度進行投資。
美國和澳大利亞的情報社區領導人有機會在開發和負責任地部署用于情報分析的人工智能方面開展合作。潛在的合作領域包括闡明使用人工智能系統的道德和分析標準,交流人工智能測試和評估項目的結果,分享人機團隊管理的最佳實踐,以及在共享的高端數據云上試點使用人工智能解決離散情報分析問題。
2023 年 2 月,荷蘭主辦了首屆 “在軍事領域負責任地使用人工智能”(REAIM)全球峰會,最終有 32 個國家批準了 “關于負責任地在軍事領域使用人工智能和自主權的政治宣言”,此后批準國增至 54 個。該宣言由美國制定,不具約束力,旨在促進就人工智能(AI)的軍事部署規范達成共識。
本文支持加拿大領導的問責工作組,該工作組是為詳細闡述宣言原則遵守情況而成立的三個國際工作組之一。本文深入探討了圍繞武裝沖突中人工智能行動的問責問題展開的復雜法律討論,尤其側重于致命性自主武器系統(LAWS)和用于鎖定目標的決策支持系統。
第一部分概述了《政治宣言》的問責原則,強調要求指揮官在部署人工智能系統時 “適當謹慎”。政治宣言》認為,這一用語體現了指揮官和操作人員需要根據人工智能系統的功能、他們接受的系統培訓、他們對目標和環境的了解以及國際人道主義法的要求,有意識地根據具體情況對人工智能系統作出決定。
第二部分闡述了規范敵對行為的現有國際法律框架。該部分首先介紹了規范軍事行動的國際人道主義法核心原則,以及在使用人工智能作為決策支持工具或武器系統的一部分時,是否以及如何堅持這些原則的爭論。這一部分的結論是,現有文獻令人信服地證明,在戰場上使用人工智能時,至少可以像使用其他形式的現代技術一樣,遵守國際人道主義法的原則。
第三部分討論了人們對使用人工智能可能導致國際人道主義法和國際刑法(ICL)出現問責漏洞的擔憂,并認為現有的指揮和國家責任條令足以維持問責。
最后,在確定指揮和國家責任的條令對于維持武裝部隊使用人工智能的問責制至關重要之后,第四部分認為,真正的工作是界定軍事指揮官需要什么來依賴和部署他們承擔法律責任的人工智能系統。答案有三個方面:可預測性、培訓和紀律。為此,建議加拿大在發展和部署人工智能時,應重點發展或重新配置現有條令,以滿足這些要求。
隨著技術的飛速發展和威脅環境變得更加復雜,今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能(AI)的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識,增加對威脅和對手能力和意圖的了解,識別和評估可能的戰術行動方案,并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。
人工智能系統為海戰提供了優勢,但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊,改善作戰情況的不確定性,并提出改善作戰和戰術結果的建議。實施人工智能系統,以滿足海軍應用的這些苛刻需求,給工程設計界帶來了挑戰。本文確定了四個挑戰,并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。
人工智能是一個包括許多不同方法的領域,目的是創造具有智能的機器(Mitchell 2019)。自動化系統的運作只需要最小的人類輸入,并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器,執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中,以做出決定并得出結論。
如表1所述,人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen(2020,3)將專家系統描述為手工制作的知識系統,使用傳統的、基于規則的軟件,將人類專家的主題知識編入一長串編程的 "如果給定x輸入,則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統,從大型數據集中進行訓練。ML系統自動學習并從經驗中改進,而不需要明確地進行編程。一旦ML系統被 "訓練",它們就被用于操作,以產生新的操作數據輸入的結果。
表1. 兩類人工智能系統
人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力,在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力,以了解復雜和不確定的情況,制定和權衡選擇,預測行動的成功,并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。
本文確定了工程設計界必須解決的四個挑戰,以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括:(1)復雜的海戰應用領域;(2)需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統;(3)人工智能系統工程的一些新挑戰;(4)存在對手的人工智能進展,不斷變化和發展的威脅,以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域,但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。
表2. 為海軍實施人工智能系統的四個挑戰領域
人工智能正被視為一種能力,可應用于廣泛的應用,如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰,人工智能系統必須與之抗衡,才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子,從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素,這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度,對六個應用領域的特征進行了定性評估。顏色代表低貢獻(綠色)、中貢獻(黃色)和高貢獻(紅色)。
表3中最上面一行顯示的特征包括: (1)認識上的不確定性水平(情況知識的不確定性程度),(2)情況的動態性,(3)決策時間表(可用于決策的時間量),(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5)資源的復雜性(數量、類型、它們之間的距離以及它們的動態程度),(6)是否涉及多個任務,(7)所需訓練數據集的復雜性(大小、異質性、有效性、脆弱性、可獲得性等 8)對手的存在(競爭者、黑客或徹頭徹尾的敵人),(9)可允許的錯誤幅度(多少決策錯誤是可以接受的),以及(10)決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義,即基于一組樣本的貢獻因素,不同應用領域的不同復雜程度。
表3. 影響應用復雜性的因素比較
對于所有的應用領域來說,人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時;以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用,如貸款審批、廣告、醫療診斷(在某種程度上)面臨工程挑戰,但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的,做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而,航運錯誤是有空間的,而且后果通常不會太嚴重。對于自動駕駛汽車來說,決策錯誤的空間非常小。在這種應用中,決策失誤會導致嚴重的事故。
影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此,戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子,海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空,甚至是網絡空間,導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中,戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行,并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后,對于戰術決策及其可能的后果來說,風險可能非常大。
表4. 導致戰術決策復雜性的因素
解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案,即處理大量的數據,處理不確定性,理解復雜的情況,開發和評估決策選擇,以及理解風險水平和決策后果。Desclaux和Prestot(2020)提出了一個 "認知三角",其中人工智能和大數據被應用于支持作戰人員,以實現信息優勢、控制論信心和決策優勢。約翰遜(2019年)開發了一個工程框架和理論,用于解決高度復雜的問題空間,這些問題需要使用智能和分布式人工智能系統來獲得情況意識,并做出適應動態情況的協作行動方案決定。約翰遜(2020a)建立了一個復雜的戰術場景模型,以證明人工智能輔助決策對戰術指揮和控制(C2)決策的好處。約翰遜(2020b)開發了一個預測分析能力的概念設計,作為一個自動化的實時戰爭游戲系統來實施,探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先,人工智能支持的C2系統需要描述戰術行動期間的復雜程度,然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平(人與機器的決策角色)。約翰遜(2021年)正在研究這些概念性工程方法在各種防御用例中的應用,包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。
在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來,戰術邊緣遠離指揮中心,通信和計算資源有限,戰場形勢瞬息萬變,這就導致在嚴酷復雜的戰地環境中,網絡拓撲結構連接薄弱,變化迅速"(Yang et. al. 2021)。戰術邊緣網絡也容易斷開連接(Sridharan et. al. 2020)。相比之下,許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲,而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時,必須進行仔細的設計考慮,以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。
在軍事領域使用人工智能必須克服復雜性的挑戰障礙,在某些情況下,人工智能的加入可能會增加復雜性。辛普森等人(2021)認為,將人工智能用于軍事C2可能會導致脆弱性陷阱,在這種情況下,自動化功能增加了戰斗行動的速度,超出了人類的理解能力,最終導致 "災難性的戰略失敗"。Horowitz等人(2020)討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人(2020)指出,人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性;如果人類決策者對產出缺乏信心和理解,他們可能會失去對人工智能系統的信任。
實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。
ML系統的學習過程被稱為被訓練,開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法,允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段,ML系統繼續需要數據。
圖1顯示,在運行期間,ML系統或 "模型 "接收運行的實時數據,并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此,在整個系統工程和采購生命周期中,ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。
圖1. 使用數據來訓練機器學習系統
美國海軍開始認識到對這些數據集的需求,因為許多領域(戰爭、供應鏈、安全、后勤等)的更多人工智能開發人員正在了解人工智能解決方案的潛在好處,并開始著手開發人工智能系統。在某些情況下,數據已經存在并準備好支持人工智能系統的開發。在其他情況下,數據存在但沒有被保存和儲存。最后,在其他情況下,數據并不存在,海軍需要制定一個計劃來獲得或模擬數據。
收集數據以滿足海軍領域(以及更廣泛的軍事領域)的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的,在不同的項目和系統中被分隔開來,不容易從遺留系統中獲得,并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據,可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外,和平時期收集的數據并不代表沖突和戰時的操作。海軍(和軍方)還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的(和可能的)戰時行動,并構建足夠的ML訓練數據。
數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說,數據是一種珍貴的商品,并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據,目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。
海軍正在解決這一數據挑戰,開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺,正在管理數據以支持AI/ML的發展和其他類型的海軍應用,這些應用需要與任務相關的數據(Abeyta,2021)。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統,海軍需要在游戲中保持領先,擁有能夠代表各種可能情況的數據集,這些情況跨越了競爭、沖突和危機期間的行動范圍。因此,數據集的開發和管理必須是一項持續的、不斷發展的努力。
第三個挑戰是,人工智能系統的工程需要改變傳統的系統工程(SE)。在傳統系統中,行為是設定的(確定性的),因此是可預測的:給定一個輸入和條件,系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上,一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議,與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統,并確保它們對人類操作者來說是可解釋的、可信任的和安全的。
SE作為一個多學科領域,在海軍中被廣泛使用,以將技術整合到連貫而有用的系統中,從而完成任務需求(INCOSE 2015)。SE方法已經被開發出來用于傳統系統的工程設計,這些系統可能是高度復雜的,但也是確定性的(Calvano和John 2004)。如表5所述,傳統系統具有可預測的行為:對于一個給定的輸入和條件,它們會產生可預測的輸出。然而,許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人(2021年)解釋說,"SE及其方法的雛形基礎并不是為配備人工智能(即機器學習和深度學習)的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說,出錯的余地很小;因此,SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。
表5. 傳統系統和人工智能系統的比較
在整個系統生命周期中,將需要改變SE方法,以確保人工智能系統安全有效地運行、學習和適應,以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變,以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法,這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性,這些系統的行為不是完全可預測的,其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務,即隨著人工智能系統的發展,在部署期間不斷確保安全和理想的行為。
SE界意識到,需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會(INCOSE)最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為,人工智能系統可能會出現新類型的故障模式,這些故障模式是無法預料的,可能會突然發生,而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后,對于有更多的人機互動的人工智能系統,必須仔細注意設計系統,使它們值得信賴,可以解釋,并最終對人類決策者有用。
表6.人工智能系統工程中的挑戰(改編自:Robinson,2021)。
SE研究人員正在研究人工智能系統工程所涉及的挑戰,并開發新的SE方法和對現有SE方法的必要修改。Johnson(2019)開發了一個SE框架和方法,用于工程復雜的適應性系統(CASoS)解決方案,涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統,通過使用人工智能,可以協作產生所需的突發行為。Johnson(2021)研究了人工智能系統產生的潛在新故障模式,并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知,作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人(2021年)研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui(2021年)研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略,促進人類和機器之間的 "校準 "信任,這是作為適當利用的最佳信任水平,避免過度信任和不信任,并在信任失敗后涉及信任修復行動。Johnson等人(2014)開發了一種SE方法,即協同設計,用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統(Blickey等人,2021年,Sanchez 2021年,Tai 2021年)。
數據的作用對于人工智能系統的開發和運行來說是不可或缺的,因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人(2021)提出,SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構,用于開發、訓練和評估AI算法。French等人(2021)描述了需要適當的數據策劃來支持人工智能系統的發展,他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據,以及需要識別和消除數據中的固有偏見。
SE界正處于發展突破和進步的早期階段,這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步,以確保海軍持續的技術優勢。
海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰:(1)人工智能技術在許多領域迅速發展,海軍必須注意同行競爭國的軍事應用進展,以防止被超越,(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性,以及(3)海軍應用的人工智能系統需要發展和適應,以應對不斷變化的威脅環境。
表7. AI系統的對抗性挑戰
同行競爭國家之間發展人工智能能力的競賽,最終是為了進入對手的決策周期,以便比對手更快地做出決定和采取行動(Schmidt等人,2021年)。人工智能系統提供了提高決策質量和速度的潛力,因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索,同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標,不僅僅取決于人工智能研究。它需要適當的數據收集和管理,有效的SE方法,以及仔細考慮人類與AI系統的互動。海軍必須承認,并采取行動解決實施人工智能系統所涉及的挑戰,以贏得比賽。
網絡戰是海軍必須成功參與的另一場競賽,以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統(Libicki, 2009)。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據,導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制,他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化,其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護,免受網絡攻擊(French等人,2021)。
威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化,武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強,這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統,必須能夠加強海軍感知、探測和識別新威脅的能力,以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境,并在行動中學習,以了解戰斗空間中的未知因素,并通過創新的行動方案快速應對新的威脅(Grooms 2019, Wood 2019, Jones et al 2020)。海軍可以利用人工智能系統,通過研究特定區域或領域的長期數據,識別生活模式的異常(Zhao等人,2016)。最后,海軍可以探索使用人工智能來確定新的和有效的行動方案,使用最佳的戰爭資源來解決棘手的威脅情況。
人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而,人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的,可以學習和適應--特別是在用于更復雜的行動時,如高度動態的、時間關鍵的、不確定的戰術行動環境中,允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域:(1)開發能夠解決戰爭復雜性的人工智能系統,(2)滿足人工智能系統開發和運行的數據需求,(3)設計這些新穎的非確定性系統,以及(4)面對對手帶來的挑戰。
海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統,以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。
1.第一個建議是了解人工智能系統與傳統系統之間的差異,以及伴隨著人工智能系統的開發和實施的新挑戰。
人工智能系統,尤其是那些旨在用于像海戰這樣的復雜行動的系統,其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解,更加不可預測,并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。
2.第二個建議是投資于人工智能系統的研究和開發,包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。
研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面,海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的,并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據,用于人工智能系統開發,并確保數據的相關性、有效性和安全性。
3.第三個建議是承認挑戰,并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。
盡管人工智能系統正在許多領域實施,但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識,即在人工智能系統準備用于戰爭決策輔助工具之前,需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖,彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法,在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。
海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統,戰術決策優勢的重大進步是可能的。此外,海軍必須跟上(或試圖超越)對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解,對研究和開發計劃的投資,以及對人工智能技術進步時限的現實預期,海軍可以在應對這些挑戰方面取得進展。