亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在一個跨國威脅不斷增加、全球相互依存度空前提高、大國競爭重新抬頭的時代，美國正處于一個拐點。這是在技術革命的背景下發生的，技術革命加劇了面臨的挑戰，同時也提供了潛在的解決方案，在氣候、醫藥、通信、運輸、智能和許多其他領域提供了突破。其中許多突破將通過利用人工智能（AI）及其相關技術--其中主要是機器學習（ML）。這些進步可能會塑造國家之間的經濟和軍事力量平衡，以及國家內部的工作、財富和不平等的未來。

ML的創新有可能從根本上改變美國軍隊的戰斗方式，以及美國防部的運作方式。機器學習的應用可以提高人類在戰場上的決策速度和質量，使人機合作的性能最大化，并將士兵的風險降到最低，并極大地提高依賴非常大的數據集的分析的準確性和速度。ML還可以加強美國以機器速度防御網絡攻擊的能力，并有能力將勞動密集型企業功能的關鍵部分自動化，如預測性維護和人員管理。

然而，人工智能和機器學習的進步并不只是美國的專利。事實上，面對中國在該領域的挑戰，美國在人工智能領域的全球領導地位仍然受到懷疑。美國防部和學術界的許多報告反映了需要在人工智能研究和開發方面進行更多投資，培訓和招聘一支熟練的勞動力，并促進支持美國人工智能創新的國際環境--同時促進安全、安保、隱私和道德的發展和使用。然而，人們對信任問題，特別是對這些系統的測試、評估、驗證和確認（TEVV）的關注太少。建立一個強大的測試和評估生態系統是負責任地、可靠地和緊急地利用這一技術的一個關鍵組成部分。如果不這樣做，就意味著落后。

本報告將首先強調為人工智能系統調整美國防部現有的TEVV生態系統的技術和組織障礙，特別強調ML及其相關的深度學習（DL）技術，我們預測這對未來的威懾和作戰至關重要，同時在可解釋性、可治理性、可追溯性和信任方面帶來獨特的挑戰。其次，本報告將向國防部領導層提供具體的、可操作的建議，與情報界、國務院、國會、工業界和學術界合作，通過改革流程、政策和組織結構，同時投資于研究、基礎設施和人員，推進ML/DL的TEV系統。這些建議是基于作者幾十年來在美國政府從事國家安全工作的經驗，以及對從事ML/DL和測試與評估的政府、工業和學術界專家的數十次訪談。

本文總結了關于自主軍事系統的測試、評估、驗證和確認（TEV&V）的挑戰和建議的部分文獻。本文獻綜述僅用于提供信息，并不提出任何建議。

對文獻的綜合分析確定了以下幾類TEV&V挑戰：

1.自主系統的復雜性產生的問題。

2.當前采購系統的結構所帶來的挑戰。

3.缺少測試的方法、工具和基礎設施。

4.新的安全和保障問題。

5.在政策、標準和衡量標準方面缺乏共識。

6.圍繞如何將人類融入這些系統的操作和測試的問題。

關于如何測試自主軍事系統的建議可以分為五大類：

1.使用某些程序來編寫需求，或設計和開發系統。

2.進行有針對性的投資，以開發方法或工具，改善我們的測試基礎設施，或提高我們勞動力的人工智能技能組合。

3.使用特定的擬議測試框架。

4.采用新的方法來實現系統安全或網絡安全。

5.采用具體的建議政策、標準或衡量標準。

在過去的十年中，計算和機器學習的進步導致了工業、民用和學術應用中人工智能（AI）能力的激增（例如，Gil & Selman，2019；Narla, Kuprel, Sarin, Novoa, & Ko, 2018；Silver等人，2016；Templeton，2019）。由人工智能促成的系統往往在某種意義上表現得很自主：它們可能會接管傳統上由人類做出的決定，或者在較少的監督下執行任務。然而，與武裝沖突期間的錯誤決定相比，一個真空機器人、一個高頻股票交易系統，甚至一輛自主汽車做出錯誤的選擇是可以通過糾正措施相對恢復的。軍事系統將面臨與民用系統相同的大部分挑戰，但更多地是在結構化程度較低的環境中運作，所需的反應時間較短，而且是在對手積極尋求利用錯誤的情況下。人工智能和自主軍事系統將需要強有力的測試，以保證不理想的結果，如自相殘殺、附帶損害和糟糕的任務表現是不太可能的，并且在可接受的風險參數范圍內。

為了自信地投入使用自主軍事系統（AMS），必須相信它們會對設計時可預見的問題和它們必須適應的不可預見的情況做出適當的決定。簡而言之，這些系統必須是熟練的、靈活的和值得信賴的。 當AMS要在狹義的情況下運行時（例如，要求一個 "智能"地雷在一天中的特定時間內施加特定的壓力時爆炸），要保證系統的行為符合要求就容易多了。它能遇到的相關不同情況的數量和它的行為反應（即其決策的狀態空間）都是有限的。擴大這個狀態空間會使保證更加困難。例如，一個自主的基地防御系統旨在根據目前的ROE用適當的武力來應對任何可能的威脅，預計會遇到更多的情況，包括設計的和不可預見的。要在這種情況下適當地運作，需要更多的靈活性，這反過來又要求系統更加熟練，允許它運作的人類更加信任。這些需求的相互作用是這些系統的許多T&E困難的一個核心驅動因素。

人工智能技術為美國防部（DoD）內的采購項目的測試和評估過程帶來了一系列的挑戰。首先，這些系統純粹的技術復雜性和新穎性可能難以駕馭。此外，美國防部的采購流程是在假設的基礎上進行優化的，而自主權可能不再成立（Tate & Sparrow, 2018）。例如，將承包商、開發和操作測試分開，假設我們有離散的、相對線性的開發階段，導致系統的 "生產代表 "版本。對于AMS來說，這可能不是真的，特別是如果它們在整個生命周期中繼續學習。此外，在我們擁有一個系統之前就寫需求，是假設我們事先了解它將如何被使用。因為AMS的熟練度、靈活性和可信度會隨著時間的推移而發展，并會影響人類如何使用或與系統互動，所以與標準系統相比，作戰概念（CONOPS）和戰術、技術和程序（TTPs）將需要與系統共同開發，其程度更高（Haugh, Sparrow, & Tate, 2018; Hill & Thompson, 2016; Porter, McAnally, Bieber, & Wojton, 2020; Zacharias, 2019b）。

然而，即使美國防部的采購流程被更新，美國防部員工用于測試和評估（T&E）的具體方法、工具和基礎設施將無法保證系統的性能達到預期。開發和設計工作包含了測試，通過內部儀器建立可測試性；提高軟件的透明度、可追溯性或可解釋性；對培訓和其他數據進行良好的管理和驗證，可以改善開發過程，同時也為測試和評估鋪平道路，但它們沒有被普遍采用。此外，能夠幫助項目克服所有這些挑戰的政策和標準要么缺乏，要么不存在。

什么是自主性？

自主性的定義繁雜眾多，有些定義對美國防部來說不如其他定義有用。許多定義包含了獨立、不受外部控制或監督、或與其他實體分離的概念（例如，牛津英語詞典，2020年）。然而，假設任何參與者將在沒有控制或監督的情況下運作，甚至是人類作戰人員，這與美國防部的政策和指揮與控制（C2）的思想相悖。不希望自主系統擁有選擇行動路線的完全自由，而是在其分配的任務中擁有一些受約束的自由。

與作戰人員一樣，可能希望與自主系統有一個C2或智能體關系。希望：1. 明確具體任務和/或整體任務的目標或目的，可能還有這些目標的更大原因，如指揮官的意圖（即做什么和為什么）。2.明確與任務相關的約束，如交戰規則（ROE，即不能做什么）。3. 不指定使用的方法或對每一種情況給出明確的應急措施，如對對手的反應做出反應（即如何完成任務）。

一個系統是否被授權為一項任務做出這些 "如何 "的決定，是本文將區分自主系統和非自主系統的方法。

在 "是什么"、"不是什么 "和 "為什么 "的限制下，為 "如何 "做出有用的、理想的選擇，假定了某種程度的智能。因為這些是機器，這就意味著存在某種程度的人工智能。需要人工智能來實現對非瑣碎任務的有用的自主性，這可能解釋了為什么人工智能和自主性經常被混為一談。在本文件中，我們將自主性稱為系統在其操作環境中的行為，而人工智能則是與該環境進行有意義的互動的 "內在 "促成因素。

人工智能（AI）的最新進展引起了人們對人工智能系統需要被人類用戶理解的關注。可解釋人工智能（XAI）文獻旨在通過向用戶提供有關人工智能系統行為的必要信息來增強人類的理解和人類-人工智能團隊的表現。同時，人為因素文獻長期以來一直在解決有助于人類表現的重要考慮因素，包括如何確定人類的信息需求、人類負荷以及人類對自主系統的信任。從人類因素的文獻中，提出了可解釋人工智能的態勢感知框架（SAFE-AI），這是一個關于人工智能系統行為解釋的發展和評估的三級框架。提出的XAI級別是基于人類用戶的信息需求，這些需求可以用人因文獻中的態勢感知（SA）級別框架來確定。基于我們的XAI等級框架，我們還提出了一種評估XAI系統有效性的方法。進一步詳細說明了在確定解釋的內容和頻率時對人為負荷的考慮，以及可用于評估人為負荷的指標。最后，討論了通過解釋適當校準用戶對人工智能系統信任的重要性，以及XAI的其他與信任有關的考慮，還詳細介紹了可用于評估用戶對這些系統信任的指標。

隨著最近人工智能文獻中對可解釋人工智能（XAI）的關注，定義XAI系統應該傳達哪些信息以及如何衡量其有效性變得越來越重要。Gunning和Aha（2019）將XAI定義為 "能夠向人類用戶解釋其原理的人工智能系統，描述其優勢和劣勢，并傳達對其未來行為方式的理解"。我們采用了XAI的這一定義，并將解釋定義為支持人類推斷人工智能系統上述細節的必要信息，包括關于其輸入、模型和輸出的信息。開發XAI技術的動機經常被說成是需要在日益復雜的人工智能系統中實現透明化（Fox等人，2017；Lipton，2016），以及需要在日益不透明的系統中獲得用戶信任（Borgo等人，2018；Fox等人，2017；Lipton，2016）。提高人工智能系統的透明度和說明人類對這些系統的信任都有助于提高人類-人工智能團隊的績效；因此，支持人類-人工智能團隊的績效是XAI的主要目標之一。事實上，以前的研究已經證明了智能體的透明度對人類-AI團隊中人類隊友的任務表現的積極影響（Chen等人，2017，2018；Stowers等人，2016）。一些文獻認為，存在性能-可解釋性的交換，即更多可解釋的人工智能系統會以某種方式犧牲算法性能（Gunning & Aha，2019；Lipton，2016）。然而，如果缺乏系統的可解釋性抑制了團隊的整體表現，那么改進算法性能所提供的好處可能會喪失。例如，如果一個基于醫學機器學習的成像系統能夠在對某些醫療問題進行分類時取得更大的準確性，但它的方式使人類醫生更難注意到其判斷中的錯誤，醫生-AI團隊的績效可能會受到整體影響。因此，我們認為優化人類-AI團隊的表現，通過對系統行為的解釋來實現，是XAI的主要目標。

在人因方面存在著豐富的文獻，探討了人類與自動化系統互動的場景，以及在任務執行過程中影響人類表現的各種因素。態勢感知（SA）的概念，已經在人為因素領域和人類-自動化團隊的背景下進行了研究（Chen等人，2014；Endsley，1995），定義了人類在任何場景下操作的信息需求（Endsley，1995）。XAI系統，作為提供人工智能行為信息的系統，可以為人類用戶的SA子集做出貢獻，該子集與人工智能行為有關。通過XAI系統提供的支持人工智能的信息，可以提高人類-人工智能團隊的績效；然而，除了XAI支持的人工智能子集之外，整體的人工智能也是支持團隊績效的必要條件，但并不完全是充分條件（Endsley，1995）。

人為因素的文獻討論了其他的因素，這些因素對于人與AI團隊的表現同樣是必要的，并且也與XAI系統有關。首先，雖然SA定義了人類需要的信息，但工作負荷的考慮影響了如何以及何時提供這些信息（Parasuraman等人，2008）。其次，用戶對自動化系統的信任的重要性已經在之前的文獻中得到了明確的探討（Lee & See, 2004; Schaefer等人, 2014）。重點不是增加用戶的信任，這通常被作為XAI的動機（Borgo等人，2018；Fox等人，2017；Krarup等人，2019），而是適當地校準信任，導致人工智能系統的適當使用（Chen等人，2014；Ososky等人，2014；Schaefer等人，2014）。

除了討論SA、負荷和信任的概念以及對這些考慮因素的相關設計建議之外，文獻還將這些概念操作化，提供了評估的方法和指標（Parasuraman等人，2008）。正如SA支持但不等同于性能一樣，XAI系統提供的高質量解釋支持但不等同于SA、適當的人類工作負荷或對AI系統的充分信任。然而，根據與這些因素相關的方法和指標來評估XAI系統，有助于了解所提供的解釋是否實現了提高人與AI團隊績效的最終目標。除了團隊績效之外，將SA、工作負荷和信任作為XAI的中間目標來衡量，可以明確績效評估中存在的潛在混淆因素。

雖然之前已經提出了一些評估XAI系統不同方面的指標（Doshi-Velez和Kim，2017；Hoffman、Miller等人，2018；Hoffman、Mueller等人，2018；Lage等人，2019），但XAI文獻目前缺乏一套全面的評估解釋質量的合適指標。雖然可能無法明確和獨立地定義一個解釋的質量，但在許多情況下，一個解釋只有在它有助于實現SA、適當的信任和適當的工作負荷等中間目標以及提高績效的最終目標時才是 "好 "的。換句話說，在許多情況下，SA、信任和工作負荷以及團隊績效可以作為代理，表明XAI系統是否實現了它的預期目標，因為XAI系統的目標往往與這些概念有關。因此，XAI從業者可以利用現有的人類因素指標來評估他們所提出的技術。

在本文中，我們討論了與XAI相關的人類因素文獻（包括現有的XAI技術），并根據人類因素界的發現提出了一套XAI系統的設計考慮和評估指標。我們首先更詳細地討論了人的因素中的SA概念，并提出了可解釋人工智能的態勢感知框架（SAFE-AI），其中包括XAI的級別，定義了哪些關于人工智能算法和過程的信息應該由XAI系統來支持；這些級別與Endsley（1995）提出的SA級別緊密對應。我們進一步強調了一套現有的XAI技術如何適合我們的框架，以及用于評估現有技術的指標如何映射到SA的評估。SAFE-AI旨在為定義XAI系統的需求提供一個以人為本的結構化方法，為XAI技術的開發提供指導，并為XAI系統的評估提供指導。

SAFE-AI可以用來定義XAI系統的信息要求，但是信息要求本身并不能決定XAI系統的整個設計。同樣重要的是，要考慮在交互過程中的任何給定點向用戶展示多少信息，以及展示信息的頻率，以便用戶能夠實際處理這些信息。這些考慮與人類的工作負荷有關。此外，系統可能有必要向人類用戶提供額外的信息，以便適當地校準人類對系統的信任，這可能會影響到適當的使用和團隊表現。因此，在本文中，我們還討論了工作負荷和信任的人為因素概念，XAI中考慮過這些概念的現有工作，以及如何將與每個概念相關的指標應用于XAI系統的評估。理想情況下，SAFE-AI可以被應用于確定一套初始的交互信息要求，而信任和工作負荷的考慮可以被用來完善這套初始要求，并充實與XAI系統如何被整合到真實世界環境中有關的額外細節。這項工作的初步版本可以在Sanneman和Shah（2020）中找到。本文通過擴展與SAFE-AI框架相關的XAI技術的文獻回顧，以及包括對工作負荷和信任及其與XAI系統的關系的額外討論，對初步版本進行了擴展。

本文的其余部分組織如下：在第2節中，我們討論了態勢感知，包括來自人類因素的相關文獻，我們基于態勢感知的XAI框架，來自XAI文獻的相關例子，以及一個激勵性的例子來澄清對框架的討論。在第3節中，我們擴展了人類因素中人類工作負荷的概念，以及XAI的相關考慮和衡量標準。在第4節中，我們討論了XAI的信任相關考慮。在第5節中，我們根據人類因素文獻的結果和發現，列舉了未來可能的方向，在第6節中，我們總結了本文。

人工智能（AI）系統很可能會改變軍事行動。本文探討了人工智能系統如何影響準備和進行軍事行動的主要工具，并受其影響。因此，本文在戰略、理論、計劃、交戰規則和命令的背景下分析和討論了人工智能，以確定機會、挑戰和開放性問題的位置，并提出總體意見。本文采取了一個廣泛的分析角度，能夠根據新的政策和技術發展以及對政治、軍事、法律和道德觀點的考慮，對這一問題進行總體審查。因此，本文提供了一些見解和途徑，以推動對人工智能在軍事行動中的適當整合、管理和使用的進一步思考、研究和決策。

本文是美國陸軍網絡研究所系列文章“競爭與勝利：設想 21 世紀的競爭戰略”的一部分。該系列圍繞美國競爭戰略以及在物理、網絡和信息空間中與同行和近似競爭對手非常規戰爭的各種問題發表專家評論。該系列是網絡空間競賽項目 (C2P) 的一部分，該項目由陸軍網絡研究所和現代戰爭研究所聯合發起。

沒有人喜歡在早晨醒來，但現在由人工智能驅動的算法為我們設置鬧鐘，管理我們家中的溫度設置，并選擇符合我們情緒的播放列表，打盹按鈕的使用越來越少。人工智能安全輔助系統使我們的車輛更加安全，人工智能算法優化警察巡邏，使我們開車經過的社區和居住的地方更加安全。在我們周圍，人工智能就在那里，為塑造我們的環境的工具和設備提供動力，在我們的日常生活中增強和協助我們，并促使我們對吃什么、穿什么和買什么做出選擇--不管是否經過我們的同意。然而，當我們的智能設備開始決定我們中誰是可疑的，當一個邊緣化的社區成為警察巡邏的不成比例的目標，當一輛自動駕駛汽車殺死一個亂穿馬路的人，人工智能也在那里。

人工智能在日常生活中變得無處不在，而戰爭也不例外，這是一種趨勢。報道甚至表明，2020年11月對伊朗頂級核科學家的暗殺是由一支自主的、由人工智能增強的步槍完成的，它能夠每分鐘發射六百發子彈。俄羅斯和中國正在迅速發展，在某些情況下還在部署人工智能的非正規戰爭能力，而在為我們日常生活提供動力的人工智能系統中出現的同樣的裂痕、偏見和不良結果開始出現在用于發動戰爭和設計殺人的人工智能系統中，這只是時間問題。

鑒于人工智能和機器學習在戰略競爭中的作用，我們既要了解這些系統帶來的風險，也要了解它們創造戰略優勢的能力，這一點至關重要。通過探索對抗性方法，有可能開始建立這樣一種理解。對四類對抗性方法的研究為了解這些系統的脆弱性提供了一個窗口。在這篇文章中，我們將以目標識別問題為基礎例子，探討人工智能系統的學習和思維如何被攻擊。雖然這個例子發生在沖突中，但我們描述的方法也可以在競爭中使用。這一分析導致了兩個重要的結論。首先，在任何人工智能的使用中，人類必須保持在循環中。第二，在大國競爭的時代，人工智能可能不會為美國提供戰略優勢，但我們必須繼續投資并鼓勵人工智能的道德使用。

對抗性方法

像其他軍事系統一樣，人工智能系統經歷了多個不同的生命周期階段--開發（數據收集和訓練）、測試、運行和維護。在這些階段中的每一個階段都有獨特的弱點，必須加以識別，并且我們要考慮到這些弱點。我們將著手開發一個假設的人工智能目標識別系統，該系統正在學習識別敵人的裝甲車輛。在每個階段，我們將探索相關的對抗性方法--中毒、逃避、逆向工程和推理--以及我們如何保護我們的系統免受其害。

中毒

開發任何人工智能系統的第一步是識別問題和收集數據。面對我們識別敵方裝甲車的挑戰，我們必須定義我們的問題。我們是想識別所有敵人的裝甲車，還是只識別來自特定對手的某一類型？這個問題的定義為收集和準備一組相關數據提供了依據，在這種情況下，這將包括大量感興趣的敵方裝甲車輛的圖像。我們不僅必須積累所有感興趣的車輛的圖像，而且還需要各種條件下的圖像--例如，變化的光線、不同的角度、有限的曝光和交替的通道（例如，紅外線、日光）。然后由數據分析員準備好數據，用于人工智能系統的訓練。然而，開發人工智能系統所需的巨大數據量造成了一個漏洞。數據量意味著分析員沒有能力驗證每張收集到的圖像是否是實際的敵方裝甲車輛，也沒有能力驗證這些圖像是否代表裝甲車輛的全部類型。

這個發展階段是對手可以通過一種稱為中毒的技術來攻擊人工智能系統的第一個點。投毒的目的是改變人工智能系統在訓練中使用的數據，使人工智能學到的東西是有缺陷的。這個過程在系統投入運行之前就攻擊了它的完整性。

制作惡意的原始數據以誘發有缺陷的分析結果的基本方法與傳統的軍事欺騙手段相同。Quicksilver行動是二戰期間盟軍入侵諾曼底前的一次欺騙行動，旨在攻擊德國的防御性分析模型。為了完成這一攻擊，盟軍建立了一支由喬治-巴頓中將領導的幽靈部隊（有毒數據），以歪曲德國人對其防御重點（模型輸出）的分析（模型）。

這種大規模的欺騙行動在今天這個相互聯系的社會中可能更難實現，但毒化數據是可行的。我們的對手知道我們正在追求由人工智能支持的目標識別。知道這樣一個人工智能系統需要他們當前裝甲車輛的訓練圖像，對手可以通過操縱他們車輛的外觀來毒害這些訓練圖像。這可以簡單到在他們懷疑可能被監視的車輛上添加一個獨特的符號，如紅星。然后，我們的人工智能系統將在這些被故意操縱的車輛的中毒圖像上進行訓練，并 "學習 "所有敵人的裝甲車都有紅星。

盡管這樣的中毒攻擊會在競爭狀態下發生，但當對手部署沒有紅星的裝甲車以避免被發現時，其影響會在沖突中表現出來。此外，對手可以在民用車輛上涂上紅星，誘使我們的人工智能系統錯誤地將平民識別為戰斗人員。

確保我們的系統正確學習可以通過多種方式實現。詳細的數據整理可以幫助減輕風險，但會消耗寶貴的時間和資源。相反，一個可擴展的解決方案包括數據治理政策，以提高用于人工智能系統的數據的完整性和代表性。在人工智能生命周期的所有階段，適當放置技術控制和訓練有素的人員保持在循環中，將進一步減少中毒攻擊的風險。

逃避

下一種類型的攻擊，即逃避，依賴于類似的基本攻擊原則，但在人工智能系統運行時進行部署。逃避攻擊的目標是如何應用人工智能的學習，而不是毒害人工智能正在學習的內容。這聽起來可能是一個微不足道的區別；然而，它對攻擊者成功所需的資源和反過來防御者需要采取的行動有重大影響。在中毒攻擊中，攻擊者需要有能力控制或操縱用于訓練模型的數據。在規避攻擊中，攻擊者至少需要有能力在運行期間控制人工智能系統的輸入。

逃避攻擊很適合計算機視覺應用，如面部識別、物體檢測和目標識別。一種常見的規避技術涉及稍微修改某些圖像像素的顏色，以攻擊系統如何應用它所學到的東西。在人眼看來，這似乎沒有什么變化；但是，人工智能現在可能會對圖像進行錯誤分類。研究人員證明了這種技術的效果，當一個之前正確識別熊貓圖像的人工智能被顯示為同一圖像，但在整個圖像中被添加了人眼無法察覺的顏色。該人工智能不僅將熊貓誤認為是長臂猿，而且還以非常高的信心做到了這一點。

攻擊者如果也能獲得系統的輸出或預測，就可以開發出一種更強大的（所有熊貓圖像都被錯誤識別）或有針對性的（所有熊貓都被看成另一種特定的動物）規避方法。

逃避攻擊的原則也可以在物理世界中運用--例如，戴上特制的太陽鏡來遮擋或改變你在面部識別相機上的圖像。這與偽裝背后的原理相同。在這種情況下，對手的目標是模型的感知而不是人類的感知。在軍事方面，如果對手知道我們的人工智能瞄準系統是在沙漠迷彩的坦克上訓練的，那么對手的坦克可以簡單地重新涂上林地迷彩，以故意躲避我們的人工智能系統的探測。一個人工智能增強的自主偵察系統現在可能無法有效地識別目標，無法為指揮官提供及時和準確的情報。

逃避攻擊是一些研究最廣泛的對抗性方法，因此防御所有可能的攻擊載體將被證明具有挑戰性。然而，加強我們的人工智能系統的步驟，可以增加我們對它們按計劃運作的總體信心。其中一個步驟是在部署前實施評估工具。這些工具針對各種已知的對抗性方法對人工智能系統進行測試，為我們提供一個衡量其穩健性的定量標準。在操作過程中，如果可能的話，在循環中保留一個人，也可以減輕逃避攻擊的情況。

逆向工程

前兩類攻擊在開發和運行期間針對人工智能系統有類似的基本原則。這些攻擊也與傳統的軍事概念如欺騙和偽裝有自然的相似之處。然而，人工智能系統的風險并不都是那么直接的，潛在的漏洞存在于開發和運行之外。人工智能系統在維護或儲存時有哪些漏洞？如果對手通過網絡入侵或在戰場上捕獲新一代人工智能無人機而獲得對人工智能系統的訪問，會有什么風險？

在被稱為逆向工程的一類攻擊中，對手攻擊人工智能系統的目的是提取人工智能系統學到的東西，并最終使模型得以重建。為了進行逆向工程攻擊，對手需要能夠向一個模型發送輸入并觀察輸出。這種攻擊可以繞過模型本身的任何加密或混淆。對于我們假設的目標識別人工智能，這種攻擊可以通過對手發送不同類型的車輛（輸入）并觀察哪些車輛能引起人工智能的反應（輸出）來進行。雖然這樣的攻擊需要時間，并有資源損失的風險，但最終對手將能夠了解到目標識別模型認為是一種威脅。

有了這些信息，對手將能夠開發出自己的人工智能系統版本。除了使其他對抗性攻擊更容易發展之外，直接了解人工智能是如何做出決定的，使對手能夠預測我們的反應或完全避免它們。對我們的人工智能強化決策過程的這種洞察力將對我們在整個沖突過程中的行動安全構成重大威脅。

保護我們的系統免受逆向工程的影響可能被證明是困難的，特別是因為任務要求可能要求系統允許許多查詢或加權輸出，而不是簡單的二元決定。這突出了對一系列量身定做的政策的需求，以管理與對抗性方法相關的風險。這些可能包括對人工智能系統的嚴格問責，特別是那些部署在邊緣的系統，如無人機或智能護目鏡。此外，我們可以通過只允許授權用戶查看系統輸出來施加訪問限制。

推理攻擊

最后一類攻擊，被稱為推理攻擊，與逆向工程有關。與其說對手試圖恢復人工智能系統學到的東西，不如說對手試圖提取人工智能系統在其學習過程中使用的數據。這是一個微妙但有意義的區別，對在敏感或機密數據上訓練的模型有重大影響。

為了進行推理攻擊，與逆向工程一樣，對手需要有能力向模型發送輸入并觀察輸出。有了一組輸入和輸出，對手可以訓練一個對抗性人工智能，預測一個給定的數據點是否被用來訓練我們的友好模型。

想象一下，我們的目標識別人工智能是在對手的新武器系統的分類圖像上訓練的。使用推理攻擊，對手可以了解到這個武器系統的保密性已被破壞。換句話說，對我們的人工智能系統的推理攻擊可以促進機密情報的泄露。如果這是在競爭期間進行的，它可能會對危機和沖突產生很大影響。

與逆向工程一樣，管理與推理攻擊有關的風險將主要通過政策決定來處理。除了訪問政策決定外，還將有關于何時在人工智能系統的訓練中使用敏感或機密數據、使用什么類型的數據以及數量的困難決定。這些決定將需要平衡性能和風險，以開發仍然能夠滿足任務要求的人工智能系統。

對大國競爭的影響

當然，這顯然不是對所有對抗性方法的詳盡解釋。然而，這個框架應該提供一個充分的概述，領導人可以通過它來探索將人工智能系統整合到我們的編隊中的全部影響，包括積極和消極的影響。美國和我們的對手都在追求這種技術，以便在未來的戰略競爭中獲得不對稱的優勢，而雙方都無法贏得這種優勢。

數據不對稱

當我們思考技術和不對稱優勢時，從第一原則開始，考慮相對獲得 "原材料 "的問題是有用的。在人工智能系統中，原材料是數據--大量的數據。美國是否能獲得與我們的對手相同質量和數量的數據？鑒于美國國家安全中圍繞隱私和數據安全的法律因素和社會規范--這本身就是一個關鍵的話題，答案顯然不是 "是"。這表明，美國在開發和部署人工智能系統方面將處于固有的不利地位。

開發能力

訓練有素的人員是人工智能系統的另一個關鍵資源。正如陸軍在其 "人員優先 "戰略中所確定的那樣，擁有合適的人員將是美國在戰略競爭中取得成功的關鍵。美國在工業界、學術界和軍隊都有人才。這些人員能否被招募、留住，并被引向艱難的國家安全問題，是一個值得專門思考的開放式問題。在短期內，應該確定我們編制內已有的人才，并且應該將各組織在人工智能方面的不同努力同步進行。

人工智能只是一種工具

人工智能是一種工具。像任何其他工具一樣，它有固有的優勢和弱點。通過對這些優勢和劣勢進行審慎和現實的評估，美國可以在人工智能的風險和回報之間找到最佳平衡點。雖然人工智能可能不會帶來美國在戰略競爭中所尋求的最大不對稱優勢，但我們也不能把技術讓給正在該領域進行大量投資的對手。相反，美國可以而且應該支持人工智能的道德使用，促進對強大的人工智能的研究，并為人工智能系統制定防御性的最佳做法。基于對人工智能系統的脆弱性和局限性的理解，實施這些行動和其他行動將導致美國更有效地將人工智能置于大國競爭時代的戰略中。

人工智能（AI）是一項具有廣泛用途的新興技術。《美國防戰略》強調了人工智能對軍事行動的重要性，以使美國保持對其近似競爭對手的優勢。為了充分實現這一優勢，不僅要在戰術層面，而且要在戰爭的作戰層面整合人工智能。人工智能可以最有效地融入作戰計劃的復雜任務，方法是將其細分為其組成部分的作戰功能，這些功能可以由狹義的人工智能來處理。這種組織方式將問題減少到可以由人工智能解析的規模，并保持人類對機器支持的決策的監督。

引言

人工智能是一套新興的、變革性的工具，有可能幫助軍事決策者。美國國家戰略將人工智能（AI）納入戰爭。《2020年國防授權法》11次提到了人工智能。國防戰略強調了利用人工智能和機器學習方面的商業突破的重要性。人工智能的軍事用途是保留國家安全的一個引人注目的方式。創造工具來支持戰術行動，如摧毀敵軍和從一個點導航到另一個點，具有顯著和可見的效果，使他們在資源有限的環境中在政治上可以接受。它們在訓練和測試方面的可重復性，使它們在采購過程中成為人工智能系統的快速贏家。然而，戰術行動的范圍和時間是有限的。僅在戰術層面上整合人工智能，忽視了在作戰層面上發生的決定性影響。

作戰，也就是實踐者將戰術行動轉化為戰略效果的層面，取決于領導者做出正確決策的能力。聯合部隊海事部分指揮官（JFMCC）的艱巨任務是制定計劃，將戰區戰略和聯合部隊指揮官（JFC）的目標結合起來，通過決定性的海軍交戰來塑造環境。在人工智能的快速認知能力的幫助下，JFMCC將能夠制定并更徹底地分析行動方案（COA）。這些品質對于未來的沖突是必要的。

人工智能必須在戰爭的各個層面進行整體集成，以充分實現其優勢。除了局部的、短期的戰斗，它還需要應用于主要的行動和戰役，涉及整個戰區的數月或數年。在戰爭的戰役（作戰）層面上的實施，放大了為實現戰略目標而進行的有序交戰和同步行動之間的協同作用。除了技術發展之外，行動上的整合將刺激政策和理論的建立，以使作戰人員有意愿使用人工智能。隨著使用人工智能的經驗的增加，其采用率也會增加。為協助海軍作戰計劃而實施的特定人工智能技術可能與那些用于計算射擊方案或在被拒絕的淺灘水域規劃路線的技術不同。然而，在作戰層面的接受度將推動戰術上的使用。

在JFMCC層面，人工智能系統網絡將為決策者提供決定性的優勢，將專注于作戰功能的獨立的人工狹義智能（ANI）單位統一起來將實現最顯著的好處。首先，人工智能解決方案比它們的通用人工智能（AGI）同行更適合于軍事問題的解決。其次，戰爭的性質促使有必要在作戰層面上整合人工智能。最后，雖然有許多方法可以整合，但沿著功能線這樣做會帶來最顯著的好處。不僅在技術意義上吸收人工智能，而且描述其在政策、理論和培訓中的使用，將使海軍能夠充分使用它，并在與我們的戰略競爭對手的競爭中獲得優勢。

如何在海戰領域整合人工智能？

目前人工智能在海上行動中的最佳應用是將復雜的海上行動問題分解成子問題，由人工智能來解決，并組合成COA建議。解決小問題的人工智能需要更少的訓練數據，有更直接的邏輯，并且可以連鎖起來解決更重要的問題。麻省理工學院人工智能實驗室前主任羅德尼-布魯克斯（Rodney Brooks）認為，創建動態環境的符號表示是困難的或不可能的。然而，特定任務的智能體可以利用足夠的傳感器數據智能地行動，更重要的是，可以連貫地互動。通過將簡單的活動連鎖起來，失敗的風險很低，更復雜的問題就可以得到解決。多個簡單的行動可以在低認知層平行運行，并將其輸出結合起來，為更高層次的復雜活動提供支持。這種結構的優點是允許軍事工程師開發和訓練人工智能，以首先解決可操作的問題。對人工智能開發者來說更具挑戰性的功能可以保留只由人類決定的方法，直到他們產生解決這些問題的專業知識。與其等待一個完整的系統，部分系統將提供一個臨時的邊際優勢。

鑒于人工智能可以通過將問題分解成更小的決策來最好地解決問題，問題仍然是如何劃分這些問題。重述作戰任務的一個模式是將它們分成作戰功能：指揮和控制（C2）、通信、情報、火力、運動和機動、保護和維持。這些作戰功能為開展有效行動提供了基礎。它們為一個行動提供了采用手段實現其目的的方法。因此，與決定如何實施這些功能以實現目標的決策者一起使用人工智能是很自然的。

如同應用于海上作戰戰爭，最低層的決策支持系統將由感知環境的活動組成：探測艦艇、飛機和潛艇；燃料水平；天氣；以及其他客觀的戰斗空間數據。通過將外部輸入限制在特定的、低層次的任務上，該系統將最大限度地減少對抗性例子或旨在消極操縱自動系統的數據的風險。中間層將把下層的輸出與作戰目標和因素結合起來，如時間、空間和力量的限制，以提供解決問題的方法和作戰功能。由于上層的對抗性數據注入的威脅較小，這些系統可以使用深度學習。深度學習是機器學習的一個子集，它不像其他形式那樣需要高度格式化的數據，但計算成本會更高，而且容易受到欺騙。深度學習將增加這一層的人類互動，并暴露出更復雜的關系。最高層將把C2流程應用于其他六個業務功能，以產生業務建議。中間層的每個功能人工智能將向其他功能人工智能和最高C2層提供建議。中間層的人工智能對復雜的數據和相鄰單位及C2功能的建議進行理解。

如果將中間層人工智能納入規劃和指導、收集、處理、分析和傳播的情報周期，將促進收集資產的更好分配。判斷對有限的收集資產的請求以滿足行動和戰術信息需求是JFMCC關注的一個問題。在收集計劃期間，人工智能可以使用已知的對手軌跡、地點、個人和組織來定義和優先考慮指定的利益區域（NAI）。在執行過程中，人工智能可以根據優先級驅動收集路線，就像企業用它來規劃送貨路線以減少勞動力、燃料和維護成本一樣。采集計劃者可以通過增加對手監視點的位置和范圍來減少反偵查的風險。在C2層面，指揮官和情報官員可以利用收集成果來證明更多的JFMCC收集資產和COA的修改。這種方法適用于其他功能。

人工智能可以在部隊部署不斷變化和對手存在不確定的環境中改善維持能力。相互沖突的要求使如何使用有限的后勤資產來滿足作戰人員的需求的決策變得復雜。后勤單位較低的生存能力促使人們決定是將它們帶入被對手防御系統拒絕的區域，還是將戰斗飛船引離目標。人工智能可以利用軍事和民用運輸的可用性、預先部署的庫存和供應商的響應能力來制定船舶和飛機需求的解決方案。企業利用人工智能準確預測需求，并分辨出影響運輸和倉儲的采購模式。維持型人工智能可以使用這個過程的一個變種，來計劃在高級后勤支持站點（ALSS）或前方后勤站點（FLS）的材料堆放。它可以決定如何以及何時使用穿梭船和站立船來運送到攻擊組。機器學習將使用燃料、食品和武器庫存、威脅環、戰備水平和維修時間來訓練維持人工智能。維持型人工智能可以提供比人類單獨完成的更有效的量化解決方案，并將其反饋給其他功能區和C2高層。

C2層將對來自下層的決定進行仲裁，并提供一個統一的建議。就像一個軍事組織的指揮官一樣，它將把其副手AI的建議合并起來。人工智能過程的早期階段使用傳感器數據和其他客觀信息來確定指揮官的方向；決定行動方案需要建立對戰斗空間的理解，這是一種更高層次的欣賞。戰斗空間的可變性和模糊性將使這一層的人工智能元素最難開發。最終，該系統將作為一個可信的智能體，壓縮指揮官負責的信息量。壓縮的信息減輕了時間有限的決策者工作時的疑慮負擔，使她能夠向下屬單位發出更及時的命令。

圖1說明了基于這些原則的系統的擬議架構。以對手預測為例，許多單一用途的ANI將在最低層結合原始傳感器和單位報告數據。它將評估敵方單位的最可能位置。公司分析評論、社交媒體和論壇發帖的情緒，以確定產品的滿意度。同樣地，這個系統將通過公開的言論和秘密的報告來確定對手的意圖。它將評估當前和歷史天氣模式，以評估氣候對敵人行動的影響。這三個輸入和其他信息將被功能情報ANI用來形成對敵方COA的評估。同樣，火力節點將使用敵人的組成、JFC的優先級和預測的彈藥可用性來產生目標指導。中間層節點將橫向傳遞他們的評估，以完善鄰近的建議，如部隊保護水平。獨立的功能建議也將直接反饋給C2層，以創建整體行動方案。

圖1. 海上人工智能系統的擬議架構

建議

首先，利用聯合人工智能資源的優勢，針對海軍的具體問題修改標準組件。擅長開發軍事人工智能系統的工程師的稀缺性將限制新系統的開發。美國防部的人工智能戰略具體規定了建立通用的工具、框架和標準，以便進行分散的開發和實驗。使用這些現成的組件，為人工智能決策網的所有子系統創建低級別的系統和標準接口。將海軍的資源集中于采購和實施用于海事具體決策的中層和高層系統。避免技術上令人著迷但無效的解決方案，并通過將職能領域的專家與設計團隊相結合來保持解決海事問題的目標。

第二，創建并維護可通過機器學習攝入的作戰數據數據庫，以訓練海軍人工智能。實施能夠在海上作戰中心（MOC）讀取和集中匯總基本作戰數據報告的技術和工藝，如燃料狀態、導彈裝載量。開發記錄和定性評分作戰決策結果的方法，如對手態勢的變化、傷亡修復率和公眾對行動的反應。將輸入與作戰決策和結果聯系起來的數據庫將加速開發符合現實世界標準的系統。

第三，將人工智能的使用納入政策和條令。條令應該編纂人工智能可以被整合到戰爭戰役層面決策中的領域。明確地說，關于情報、行動、火力、后勤、規劃和通信的海軍作戰出版物應說明人工智能在決策過程中產生優勢的地方和方式。描述海上聯合行動的聯合出版物應明確說明如何將JFC的要求解析為JFMCC的AI系統。如果國防部和海軍的政策對指揮官因整合人工智能的決策建議而產生的責任量進行了定性，那么他們在使用人工智能時就可以采取經過計算的風險。讓指揮官和作戰人員掌握使用人工智能的戰術、技術和程序將加速其在艦隊中的應用。

通過這項美海軍的頂點研究，人工智能（AI）三人小組利用系統工程（SE）的方法來研究人工智能輔助的多任務資源分配（MMRA）如何使所有軍種的任務規劃者受益。這項研究的動力來自于優化我們武裝部隊中的MMRA問題集，對于戰術領導人有效管理現有資源至關重要。存在著一個將人類決策者與人工智能支持的MMRA規劃工具相結合的機會。在計算速度、數據存儲和商業應用中的整體公眾接受度方面的快速技術進步促進了這一點。

該團隊從三個任務集著手處理MMRA問題：車隊保護、航空支援和航母打擊群（CSG）行動。車隊保護用例探討了利用定向能（DE）的移動式地基防空系統。航空用例探討了美國陸軍的未來垂直遠程攻擊機（FLRAA）的能力組合，這是一個未來垂直升降機（FVL）的前里程碑B計劃。最后，CSG用例從高度復雜的系統（SoS）角度探討了MMRA。

盡管這些用例各不相同，但團隊探討了這些觀點之間的相似性和矛盾性。每個用例都應用了一般的MMRA流程架構。然而，每個用例的輸入和輸出都是單獨評估的。圖A描述了MMRA的總體流程架構。

如圖A所示，MMRA被設想為在確定的決策點由人在回路中激活。在這些事件中，MMRA系統用實時輸入進行一次循環。由黑盒MMRA系統確定的輸出被顯示給人在回路中的人，以進行標準決策程序。雖然這項研究僅限于問題的分解，但未來的研究領域是開發一個由人類系統集成（HSI）驅動的產品實現。MMRA通過對日益復雜和相互依賴的資源分配問題進行客觀評估，加強了指揮系統的決策。圖B描述了MMRA人工智能系統過程的行動圖。

MMRA決策已經超出了傳統決策過程的復雜程度。這種復雜性適用于任務規劃的各個層面。戰術層面是在士兵個人的直接指揮系統或單位層面進行的。行動和戰略層面則是在梯隊或總部層面進行。所有這些都需要對現有資源進行準確和有效的分配。

圖C中的圖形，"戰術評估過程。圖C "戰術評估過程：MMRA決策的復雜性 "描述了MMRA是如何在一個作戰場景的決策點上隨時間推移而進行的。初始規劃是在??0進行的，與 "MMRA過程結構 "中的 "初始 "黃色活動塊相關。之后的某個時間，??1, ??2, ??3, ..., ????決策點與 "MMRA過程流 "中的 "決策點重新規劃 "黃色活動相關。"初始 "和"決策點重新規劃 "這兩個黃色活動塊啟動了一個完整的 MMRA 過程流，它包含了 "初始 "和 "決策點重新規劃 "連續體中描述的所有活動。

決策點在三個MMRA用例中被普遍定義。然而，為了解情況，對設想中的場景采用了獨特的故事情節。雖然這里不能列出所有的案例，但CSG獨特決策點的一個例子是CSG內部、CSG外部或自然災害援助的應急反應。通常，所有的決策點都發生在出現新的任務、提供不同的任務優先級、資源耗盡、資源被破壞或任務無法繼續完成時。

為了更好地理解MMRA問題集的范圍，該團隊對所有三個用例進行了可擴展性和復雜性分析。可擴展性分析抓住了靜態MMRA問題集的范圍，與該用例的歷史背景相比較。因此，可擴展性分析為最初的MMRA規劃問題集提供了一個從傳統系統到現在用例方案的背景。在DE Convoy Protection和CSG用例中，可擴展性都有不可量化的增加。對于DE車隊保護來說，由于精確攻擊的技術進步，紅色部隊的能力增加。此外，CSG的藍軍能力增加了，在某些地方是三倍，因為反措施能力、導彈類型的可用性和不同級別驅逐艦之間的數量擴大了。作為補充，航空用例產生了15%的可擴展性，從傳統的實用級直升機到FVL FLRAA。

復雜性分析抓住了動態MMRA問題集的范圍，與各自用例的歷史背景相比較。這些復雜性分析提供了進一步的MMRA背景，因為當MMRA在交戰中被重新規劃時，戰術決策發生在多個決策點。所有三個用例的復雜性分析都構建了故事情節，展示了無形的、越來越具有挑戰性的MMRA考慮。隨著MMRA的可擴展性和復雜性的增加，未來對人工智能輔助的MMRA決策的關鍵需求變得清晰。

繼續分解人工智能輔助的MMRA問題集可能會引起美國武裝部隊的興趣。在所有的使用案例中，在初始和重新規劃的作戰場景中，戰術決策的復雜性都顯示出隨著時間的推移而增加。我們強烈建議對人工智能支持的MMRA問題集進行進一步研究。確定的未來研究領域有：工具的倍數、硬件/軟件部署戰略、戰術與作戰與戰略層面的資源配置、連續與離散的重新規劃節奏、人工智能機器學習的考慮，如數據的數量/質量、人類在環路中對人工智能的接受程度、人工智能輸出儀表板的顯示以及人工智能的倫理。

現代戰術戰爭需要迅速而有效的決策和行動，以便在經常是高度動態和復雜的戰區保持競爭優勢。需要考慮的因素的數量因不確定性、事件的快速發展和人為錯誤的風險而放大。自動化、人工智能和博弈論方法的潛在應用可以為作戰人員提供認知支持。這項研究以自動兵棋推演輔助決策的形式探索了這些應用。該團隊為這個未來的系統開發了一個概念設計，并將其稱為兵棋推演實時人工智能輔助決策（WRAID）能力。

頂點項目的目標是探索自動化、人工智能和博弈論的應用，作為支持未來WRAID能力的方法。該團隊為WRAID能力開發了需求、概念設計和操作概念。該小組確定并探索了可能對未來實施WRAID能力構成障礙的挑戰性領域。該小組調查了與使用人工智能來支持戰爭決策有關的倫理挑戰和影響。

本報告首先對與WRAID能力相關的主題進行文獻回顧。文獻回顧從人工智能的回顧開始，提供了一個關于人工智能如何工作以及它能夠完成什么類型任務的概述。文獻綜述探討了人機協作的方法，以支持未來指揮官和人類用戶與WRAID系統之間的互動。需要翻譯指揮官的意圖，并讓WRAID將有意義的輸出傳達給指揮官，這需要一個強大的界面。審查包括傳統的兵棋推演，以研究目前的模擬兵棋推演是如何進行的，以便深入了解，未來的WRAID能力如何能夠實時復制兵棋推演的各個方面，并認為以前的兵棋推演可以為人工智能和機器學習（ML）算法的發展提供訓練數據。ML算法的訓練需要大量的代表性數據。文獻回顧研究了人類的認知負荷，以深入了解人類大腦的認知技能和上限；并確定人類思維的極限，以顯示人工智能可能提供的支持。文獻綜述中涉及的最后一個主題是，傳統的計劃和決策，以了解目前在軍事上如何制定戰術行動方案。

該小組進行了需求分析和利益相關者分析，探索WRAID能力如何支持作戰人員。該小組在需求分析的基礎上為WRAID系統開發了一套需求。這些要求被歸類為：硬件/軟件，人機界面，和道德規范。第一階段的分析結果包括 (1)戰爭的復雜性需要發展一種未來的WRAID能力，這種能力利用自動化方法，包括人工智能、ML和博弈論，(2)WRAID能力需要大量的計算能力和復雜的軟件算法，(3)實現未來WRAID系統的挑戰將是技術和道德的。

未來WRAID系統的概念設計是基于需求分析的。概念設計被記錄在一套系統模型中，包括背景圖、系統視圖、功能工作流程圖和操作視圖。該團隊開發了一個作戰場景，以支持對WRAID能力如何在作戰中使用。

在開發WRAID的過程中，預計會有一些路障。開發WRAID系統的技術是存在的，然而，研究小組發現數據挑戰、人工智能訓練、程序限制和當前系統工程的局限性將是需要解決的障礙。數據挑戰指的是獲得足夠的數據集的能力，這些數據集代表了訓練ML算法所需的真實世界的戰術行動和兵棋推演分析。程序性挑戰包括國防部實施網絡安全、機密數據、數據庫訪問和信息分配協議的能力。系統工程方面的障礙是需要新的方法來設計安全和可靠的人工智能系統，如WRAID能力。將需要SE方法來處理不可預見的故障模式，并在系統生命周期的早期確定根本原因。

對像WRAID能力這樣的人工智能系統的倫理考慮是系統發展的一個重要因素。開發系統以取代倫理學，將使系統更有可能被部署。有幾個有道德問題的自主武器系統被拉出來作為WRAID能力的道德對話的基礎。通過一個示例場景，對道德狀況進行定性分析，以了解在部署WRAID能力時可能出現的道德問題。倫理學在未來的技術中發揮著巨大的作用；從一開始就考慮到倫理學，建立技術是很重要的。

未來的重點需要放在繼續對想象中的WRAID系統采取正規的系統工程方法。WRAID系統需要一個強大的數據集，需要收集和注釋；收集的定性兵棋推演數據越多，WRAID系統的可行性和準確性就越高。與軍事部門的合作對于最大化WRAID的利益至關重要，例如情報和偵察組織。WRAID的模擬將是完善系統要求和創建現實模型的關鍵。關于如何使用WRAID的培訓和文檔應該同時開發，所以利益相關者，特別是指揮官已經準備好，知道如何使用這個新工具。未來的研究領域包括認知工程、基于正式模型的系統工程和人機協作。

隨著目前技術進步的速度和外國的目標，人工智能將在未來的沖突和戰爭中發揮作用。自上而下的指令將需要設計和實施WRAID能力：提供大量的資源，解決操作和文化變化，重組系統工程，并確保網絡安全和收購變化。實現未來的WRAID能力并不是一個微不足道的任務。然而，它對確保現在和未來的戰斗空間優勢至關重要。

使用軟件會暴露容易受到攻擊并造成嚴重后果的漏洞。雖然存在許多不同的漏洞，但其后果分為少數幾類。本文解釋了攻擊機器學習 (ML) 漏洞的后果如何歸入這些相同類別。然后將這些后果與特定于 ML 的攻擊、它們發生的上下文以及已建立的緩解它們的方法保持一致。這些防御性對策可以支持系統 ML 元素的安全性，并更大程度地保證使用 ML 的系統將按計劃運行。

本文提供了一種系統方法來解決使用 ML 的系統的攻擊、后果和緩解措施。它解釋了 ML 技術生命周期中的每一個問題，清楚地解釋了要擔心什么、何時擔心以及如何減輕它，同時假設對 ML 細節了解很少。

描述了軟件系統通常面臨的損害類型，并將它們與采用機器學習的系統所特有的公認后果類別聯系起來。然后，我們解釋導致這些后果的攻擊向量。然后，我們在最廣泛的類別中描述 ML 本身，包括從開始到部署和執行的生命周期。然后，我們確定生命周期中存在哪些漏洞，這些漏洞允許威脅對系統發起針對 ML 的攻擊。然后，我們通過不同的示例對 ML 漏洞、攻擊和緩解措施進行更深入的檢查。

了解 ML 系統的生命周期（其中漏洞存在于生命周期中）以及攻擊利用這些漏洞可能造成的損害，可以對采用 ML 所產生的風險進行明智的評估。我們對 ML 漏洞、攻擊和緩解措施的討論利用了 NISTIR 8269 文件中中開發的分類法。主要出發點在于將這些概念映射到我們在第 6 節中闡述的 ML 生命周期以及我們對 ML 安全性的系統方法的討論。