在一個跨國威脅不斷增加、全球相互依存度空前提高、大國競爭重新抬頭的時代，美國正處于一個拐點。這是在技術革命的背景下發生的，技術革命加劇了面臨的挑戰，同時也提供了潛在的解決方案，在氣候、醫藥、通信、運輸、智能和許多其他領域提供了突破。其中許多突破將通過利用人工智能（AI）及其相關技術--其中主要是機器學習（ML）。這些進步可能會塑造國家之間的經濟和軍事力量平衡，以及國家內部的工作、財富和不平等的未來。

ML的創新有可能從根本上改變美國軍隊的戰斗方式，以及美國防部的運作方式。機器學習的應用可以提高人類在戰場上的決策速度和質量，使人機合作的性能最大化，并將士兵的風險降到最低，并極大地提高依賴非常大的數據集的分析的準確性和速度。ML還可以加強美國以機器速度防御網絡攻擊的能力，并有能力將勞動密集型企業功能的關鍵部分自動化，如預測性維護和人員管理。

然而，人工智能和機器學習的進步并不只是美國的專利。事實上，面對中國在該領域的挑戰，美國在人工智能領域的全球領導地位仍然受到懷疑。美國防部和學術界的許多報告反映了需要在人工智能研究和開發方面進行更多投資，培訓和招聘一支熟練的勞動力，并促進支持美國人工智能創新的國際環境--同時促進安全、安保、隱私和道德的發展和使用。然而，人們對信任問題，特別是對這些系統的測試、評估、驗證和確認（TEVV）的關注太少。建立一個強大的測試和評估生態系統是負責任地、可靠地和緊急地利用這一技術的一個關鍵組成部分。如果不這樣做，就意味著落后。

本報告將首先強調為人工智能系統調整美國防部現有的TEVV生態系統的技術和組織障礙，特別強調ML及其相關的深度學習（DL）技術，我們預測這對未來的威懾和作戰至關重要，同時在可解釋性、可治理性、可追溯性和信任方面帶來獨特的挑戰。其次，本報告將向國防部領導層提供具體的、可操作的建議，與情報界、國務院、國會、工業界和學術界合作，通過改革流程、政策和組織結構，同時投資于研究、基礎設施和人員，推進ML/DL的TEV系統。這些建議是基于作者幾十年來在美國政府從事國家安全工作的經驗，以及對從事ML/DL和測試與評估的政府、工業和學術界專家的數十次訪談。

序列分析涉及統計評估，在這種情況下，數據的數量、模式或組成并不是在調查開始時就確定的，而是取決于在整個調查過程中獲得的信息。盡管序列分析的正式起源于二戰期間美國防部的彈道測試（Wald，1945；Wallis，1980），但我們發現它在最近的美國防部測試中使用不足。擴大序列分析的使用范圍，有可能節省大量的資金并減少測試時間（國家研究委員會，1998）。本文總結了關于序列分析的文獻，并為提供美國防部測試和評估中使用序列分析的建議提供了基本信息。

為美國防部測試和評估中序列分析的應用建立路線圖的第一步可能是考慮其在試驗中的應用，并審查FDA的指導意見，作為制定標準的手段。序列程序在臨床試驗中經常被使用。美國食品和藥物管理局定期發布指南，代表了他們對這一主題的當前想法。在他們最新的指導意見1中，FDA列出了使用序列程序的以下優勢：統計效率、倫理考慮、改善理解和利益相關者的接受度。美國防部測試和臨床試驗有許多相似之處。兩者都需要仔細的計劃，每一個從業者都對減少測試事件的數量、加快測試速度、節省資金而不犧牲支持決策所需的信息表現出極大的興趣。

這篇文獻綜述按照序列分析中的大類來組織，并在最后列出了帶注釋的參考文獻。為了總結這個主題，我們將序列分析領域細分為三個廣泛的功能類別：序列測試、序列設計和序列估計。因為這種分類并不意味著相互排斥，所以一個引文有可能出現在一個以上的類別中。

序列測試

其中，人們必須決定是否需要在每次假設測試后收集更多的數據。這可能涉及對同一假設的重復測試或對多個假設的測試。特別是，序列測試程序允許觀察的數量取決于在測試程序中獲得的信息，而不是在調查開始時就預先確定的。序列測試的一個主要好處是，與非序列或固定樣本量的測試程序相比，預期會減少得出關于假設的結論所需的樣本量。

MIL-HDBK-781A和STAT COE（2017）推薦使用專門用于可靠性測試的序列測試。可靠性測試的意圖是確定故障時間的分布；它使用頂層指標，如平均故障間隔時間（MTBF），或故障的概率。可靠性抽樣計劃的大小或長度是由可靠性要求和所需的統計指標決定的。通常選擇一個固定期限的測試計劃來估計可靠性，因為測試的長度必須事先知道。MIL-HDBK-781A介紹了基于Wald（1945）SPRT的序列概率比試驗（SPRT）計劃的使用，以確定是否符合特定的可靠性要求。當證明的平均無故障時間很高或很低時，與具有類似風險的固定時間測試計劃相比，SPRT計劃將節省測試時間。關于在使用序列測試計劃時確定初始測試長度，MIL-HDBK-781A指出，"對于序列測試計劃，應根據最大允許的測試時間（截斷）來計劃測試時間，而不是預期的決定點，以避免計劃外測試成本和進度超支的可能性"。

序列設計

序列設計是指與實驗設計（DOE）有關的一類問題和程序，對于這些問題和程序，所得到的數據的模式和組成以及觀察的數量不是在調查開始時就預先確定的，而是取決于在整個調查過程中獲得的信息。除了觀察的數量外，收集這些觀察的條件也取決于從以前的實驗中獲得的信息。

T&E社區已經接受了使用非連續的DOE來規劃開發和操作測試（Freeman等人，2017）。DOE是一種方法，在確定這些因素對輸出的影響過程中，允許可控輸入因素的系統變化。DOE本質上不是一種序列技術，但包括Montgomery（2017）在內的許多人強烈建議根據以前的實驗結果來規劃和執行DOE，以增強或告知以后的測試。

序列估計

序列估計描述了一種點或區間估計程序，它允許觀察的數量取決于調查過程中獲得的信息。雖然有些序列估計程序與固定樣本程序相比似乎沒有什么好處，但其他程序可以解決固定樣本程序無法解決的問題。一般來說，有各種各樣的序列估計方法，每一種方法的構建都有一個特定的目的。這類程序可能涉及到停止標準，表明觀察的數量何時足夠。其他序列估計程序只是尋求在新數據到來時遞歸地更新估計值，而不考慮停止問題。

Johnson等人（2014年）在彈道阻力測試的應用中說明了幾種序列估計的方法。美國防部進行的彈道阻力測試是為了估計彈丸穿透被測系統的裝甲的概率。耐彈力測試通常采用敏感性實驗技術，其中序列方法被用來估計穿孔概率的特定四分法。

專題

我們審查的最后一類是專題，并包括對相關準則、政策和最佳實踐的參考，以及實施序列分析的具體挑戰。例如，Avery和Simpson（2020年）指出，序列程序在美國防部的使用具有挑戰性，因為測試運行的數量、這些運行的條件以及執行這些運行所需的資源通常在早期決定，并編入測試和評估主計劃（TEMP）和測試計劃中。此外，當單個測試事件的評分和執行分析所需的時間長于測試之間的預定時間時，以及當利益相關者對測試運行有不同的評估時，序列程序可能被證明具有實施的挑戰性。

結論

事實證明，在美國防部T&E中實施序列程序比非序列程序更具挑戰性。然而，在可以應用的情況下，我們從審查中發現，序列程序為獲得測試效率提供了更多的機會--比如自主防御系統，在過去幾年中獲得了很多關注。序列方法的使用被強調為一個關鍵的工具，可以幫助測試人員適應性地、有效地執行測試（Ahner和Parson，2016；Porter等人，2020）。

未來技術的軍事效用評估（MUAFT）方法是作為北約的破壞性技術評估游戲方法的一個具有成本效益的替代方法而開發的，將作為瑞典武裝部隊長期能力發展進程的一部分。本研究涉及的問題是，MUAFT是否可以被認為在其背景下具有有效性，因此它是否有可能對其他中小國家有用。該分析基于克拉克科技情報分析框架的實操化，并結合以軍事能力為中心的軍事效用觀點。從2012年到2018年的MUAFT報告在如何滿足五個關鍵標準方面被審查。該研究表明，如果由適當的專家小組使用，MUAFT提供了實用性，他們意識到了該方法的局限性。這些局限性主要來自于缺乏對評估除技術力量以外的變革力量對軍事能力發展影響的明確支持。專家組作為技術預測和軍事效用評估之間的綜合橋梁。因此，需要在各種軍事技術專業、發起人的軍事能力以及為評估其他有影響力的社會變革力量而必須掌握的科目方面有全面的專業知識。

1. 簡介

"技術突襲是指在戰爭中通過引進新武器（或通過創新使用已知武器）來獲得單方面的優勢，而對手要么沒有意識到它的存在，要么沒有準備好有效的反制措施，而反制措施的開發需要時間。" [1]因此，大多數國家考慮探索可能對軍事戰略能力決策至關重要的科學技術的長期發展。在過去，新技術的使用以及成熟技術的新應用都影響了沖突和戰爭的進行方式，而且它們很可能會繼續影響。技術發展對戰爭的影響往往是漸進式的，但有時，正如漢德爾最初的那句話所暗示的，它們是令人驚訝的，甚至是革命性的[2]。這種影響被稱為破壞性的[3]，因為它們使一些能力過時，同時也產生了對新能力的需求。火藥、鐵路、雷達技術、信息技術、全球導航衛星系統只是軍事史上許多可能的例子中的幾個[4]。這些例子告訴我們，一個真正了解技術中的潛力的軍事行為者可以獲得優勢，或者通過利用技術，或者通過避免在戰場上的意外。此外，根據經驗，我們知道，將新技術整合到武器系統中，引入軍事單位，并調整理論，往往需要幾十年時間。因此，軍事決策者確實需要有能力、準確的技術預測。

預測的特點是 "對高度可能發生的事件進行或多或少的線性系統估計、陳述、推斷、預測或預報" [5]。因此，預測是一個適用于研究領域和選擇部門的概念，如技術和國防與安全部門。雖然，即使在其起步階段，技術預測被預測為會像經濟和天氣預測一樣被接受和有用[6]，但預測方法可以因其不可避免的不準確性而受到批評。例如，未能預測1973年的 "石油沖擊 "導致人們對預測的有效性和實用性產生了相當大的懷疑[7]。今天，一些軍事思想家甚至聲稱，認為在部隊規劃中使用科學或軍事情報可以避免戰場上的技術突襲是徒勞的。相反，芬克爾建議，補救措施是設計一支足夠靈活的部隊，以便在不可避免的技術發生時迅速恢復[8]。他聲稱一些必要的靈活性需要軍事物資的多樣性和冗余性，但他強調了組織要求，首先是軍官的教育和培訓。然而，由于它們的目的是幫助決策者評估不同技術發展的概率和意義，而不是預測它們在未來特定日期的具體應用中的確切形式[6]，對可行方法的研究仍在進行。

在文獻中，發展是以眾多的外延報道的，如：未來研究、預測、展望、地平線掃描、未來研究、技術預測、數據挖掘、文本挖掘、未來學、技術觀察、面向未來的分析、新興技術、破壞性技術、戰略展望、道路圖、場景規劃、結構化頭腦風暴、形態分析和軍事破壞性技術[[9], [10], [11], [12], [13]] 。本刊以前發表的工作討論了技術預測和技術評估[[14]、[15]、[16]、[17]、[18]、[19]]。我們選擇使用技術預測這一術語來描述圖1中的活動序列。該序列改編自Kindvall等人[9]。

瑞典技術預測過程中的活動順序通常包括活動一到八。所有的活動都可以，但不能由一個組織中的一個小組來完成。在活動四中，贊助者，如瑞典武裝部隊（SwAF）通過瑞典國防物資管理局（FMV），選擇優先考慮的技術和訂購科學報告。為選定的技術準備科學報告對應于活動五和六。然后在下一步中，它們被用作MUAFT的輸入。MUAFT方法將在第三節進一步描述。MUAFT評估的結果以及對每項技術的未來行動建議將在每年的技術預測報告中提交給發起人。這些建議是關于投資、監測或不考慮具體技術的。資助者負責第八項活動。

在20世紀80年代，由瑞典武裝部隊（SwAF）協調的技術預測，每四年左右為相關的技術領域提供趨勢報告。這項工作是與瑞典國防物資管理局（FMV）和瑞典國防研究局（FOI）密切合作完成的。然而，由于所產生的報告內容廣泛，而且是保密的，很少被用于SwAF的研究或其他發展目的，所以最后一份這種格式的報告是在2005年發布。巧合的是，在20世紀90年代末，蘇聯解體后，歐洲的軍事發展呈現出緩和的特點。從20世紀90年代末到21世紀的第一個十年，瑞士空軍的長期規劃受到了主導戰場意識（DBA）、軍事事務革命（RMA）和網絡中心戰（NCW）等概念的嚴重影響。人們相當關注傳感器和指揮與控制系統發展的技術方面[9]。然后，在9/11襲擊事件之后，為了配合瑞士空軍在阿富汗參與打擊塔利班的戰爭，重點發生了變化。人們對支持海外任務的技術更感興趣，例如，對士兵設備的保護和供電[20]。在這個時候，瑞士空軍不想重新采用以前那種無效的、耗費資源的技術預測方法。因此，開發了一種新的未來技術趨勢分析方法。作為一個小國，用于技術預測的經濟資源有限，瑞典需要一個簡單的、具有成本效益的、能夠支持軍事能力發展的綜合方法的過程[20]。一些中等規模的國家使用復雜、昂貴和耗時的技術預測方法，并已開始改變它們[21,22]。瑞典軍事技術預測的主要目的是為瑞典空軍提供國防研發撥款的政策建議。由于預算削減，技術預測所能涵蓋的技術數量不得不減少。因此，必須對要評估的技術進行嚴格的優先排序（圖1中活動四）。2005年至2015年期間，瑞典國防物資管理局（FMV）的一個小組決定了優先事項，并選擇了未來技術的科學報告，用MUAFT方法進行分析。自2016年以來，瑞典空軍總部參與了選擇過程，在委托弗勞恩霍夫研究所、麻省理工學院或瑞典國防研究局等研究機構提供科學報告之前，批準了技術清單。

此外，瑞典空軍希望增加對未來技術的了解，特別是在武裝部隊人員中。因此，在2009年開發了一種針對普通公眾的新報告格式。新的出版物使用了圖形和對未來技術應用的通俗科學解釋，否則決策者可能難以掌握，它在瑞典國防界的受歡迎程度也隨之提高[20]。

直到2011年，政策建議（活動八）直接基于瑞典國防研究局、FOI或合作伙伴研究機構發布的技術評估報告。2012年，瑞典國防大學（SEDU）被要求評估選定的未來技術的潛在軍事用途；因此，圖1中的活動七被添加到該序列中。評估的重點是這些技術是否有可能被瑞典空軍或可能的對手成功地整合到軍事系統中，以提高軍事能力。該方法的基本原理是避免走上漫長的、不確定的、往往是昂貴的開發新軍事物資的道路。相反，應該探索某些選定技術對軍事能力的潛在貢獻。在新的瑞典技術預測過程中，應該放棄以前純粹基于潛在技術性能的建議[2,23,24]。從一開始，SEDU的評估也包括關于SwAF研究、研發投資或監測技術發展的建議的政策建議，即對圖1中活動八的投入。本文所評估的方法已經逐步發展，現在被稱為未來技術的軍事效用評估（MUAFT）[24]。

有理由相信，瑞典具有成本效益的MUAFT方法可能對其他中小國家有意義。然而，它能提供效用嗎？雖然傳統的技術預測活動在其他地方已經被徹底討論過，但MUAFT還沒有。該方法已經使用了十年之久，現在需要仔細研究。本研究的目的是分析和評估MUAFT方法作為瑞典武裝部隊長期能力發展進程的一部分的效用。

在第二節中，我們介紹了理論，即我們對中心概念的看法和我們的理論框架，該框架來源于美國情報分析家羅伯特-M-克拉克的經驗[25,26]。在第三部分，我們簡要介紹MUAFT方法。此后的結構是傳統的。我們在第四節描述了評估的方法。第五節介紹了分析，隨后在第六節討論了結果的效用和MUAFT方法。本文最后在第七節中提出結論和對未來研究的建議。

俄羅斯國防部利用軍事預測為其長期規劃提供信息。自20世紀60年代以來，俄羅斯的軍事分析對一個國家發動戰爭的能力進行了全面評估，這些評估超越了武器和編隊。俄國防部利用這種預測來回答：（1）未來戰爭的可能性和特點是什么；（2）俄羅斯和其潛在對手之間的軍事潛力的相關性是什么？

在本報告中，作者利用一個既定的框架來研究與軍事預測有關的關鍵指標，以深入了解這些問題的答案。

本報告作者審查的俄羅斯軍事科學和學術研究發現，軍事潛力（國家權力）的相關性--一個包括政治、經濟、科學技術和常規武裝力量指標的廣泛衡量標準--現在和將來都會偏向于西方的美國和北大西洋公約組織（NATO）以及亞太地區的美國和日本。能夠改善俄羅斯競爭地位的因素是將中國納入軍事潛力的關聯中，以及美國以有利于其利益的方式管理國際體系的能力可能降低。

俄羅斯目前的軍事評估和預測沒有發現美國有對俄羅斯發動大規模戰爭的意圖的跡象。俄羅斯在什么條件下可能采取先發制人的軍事行動，冒著與軍事潛力超強的對手開戰的風險，仍然是一個沒有答案的問題。

##主要結論

• 鑒于雙方之間巨大的軍事潛力不平衡，北約聯盟的持續凝聚力將可能迫使俄羅斯在不對北約使用武力的情況下解決政治不滿。

• 北約的凝聚力至少給俄羅斯帶來了三個行動問題。首先，俄羅斯將不得不與一個共同擁有優勢軍事潛力的國家集團作戰，而這些國家在發生長期沖突時可能被證明是決定性的。第二，北約的凝聚力可能會迫使俄羅斯在整個歐洲發動攻擊，從而使聯盟的分裂更不可能發生。第三，北約的凝聚力可以暴露出俄羅斯相對有限的遠程常規彈藥庫存（戰略非核威懾潛力）。遠程常規能力對于排除利用大片歐洲領土流入更多部隊并對俄羅斯部隊發動攻擊至關重要。

• 在未來20年里，俄羅斯可能會尋求避免與中國和西方同時發生對抗關系，這可能會抑制其外交政策決策的靈活性。

• 俄羅斯軍事戰略的當前和未來發展將從相對于美國及其盟國的整體弱勢地位出發。

• 最后，本報告中使用的框架為評估對俄羅斯的威懾力提供了一個有用的方法。例如，由于該框架強調戰略非核能力的威懾價值，美國和盟國在遠程精確彈藥方面的優勢程度為衡量對俄羅斯軍事侵略的威懾水平提供了一個關鍵的輸入。

1. 簡介

機器學習（ML），從廣義上講，是一類自動優化參數以處理給定輸入并產生所需輸出的計算機算法。ML的一個經典例子是線性回歸，據此找到一條最適合（通過）一組點的線。最近的一個例子是分類任務，如用 "貓 "這樣的單字來標記一張百萬像素的圖像。

對于許多應用，ML完成了人類可以做得同樣好的任務。然而，ML在兩種情況下大放異彩：1）任務的數量巨大，例如數百萬；2）問題的維度超出了人類思維的理解。一個簡單的例子是同時實時監控成千上萬的安全攝像頭，尋找可疑的行為。也許一個ML方法可以發現異常事件，并只與人類觀察者分享這些視頻片段。更好的是，異常圖像可以被暫時貼上諸如 "1號入口處的蒙面入侵者 "之類的標簽，以幫助保安人員只關注相關的信息。

除了減少人類的負擔外，ML還可以將人類可能無法識別的復雜的相互聯系拼湊起來。例如，一個ML算法可以發現，在一百萬個銀行賬戶中，有五個賬戶的交易似乎是同步的，盡管它們沒有相互發送或接收資金，也沒有向共同的第三方發送或接收資金。

鑒于手持和固定設備的計算資源不斷增加，我們有必要想象一下，ML可以在哪些方面改變戰爭的打法。當然，ML已經對美國陸軍的科學研究產生了影響，但我們也可以很容易地想象到自主車輛和改進的監視等作戰應用。

本文件的主要目標是激勵美國陸軍和美國防部的人員思考ML可能帶來的結果，以及為實現這些結果，哪些研究投資可能是有成效的。

5. 使用機器學習的ARL研究

在ARL的許多研究項目中，機器學習目前正在被使用，或者可以被使用。我們列出了一些使用ML或可能從ML中受益的研究項目。我們列出的與ML相關的ARL研究工作絕非完整。

6. 軍隊作戰應用

雖然從技術上講，機器學習自19世紀初高斯發明線性回歸以來就一直存在，但我們相信，ML的最新進展將以我們目前無法想象的方式影響軍隊。在本節中，我們概述了我們認為將得到加強的軍隊行動的許多領域，以及可能采用的ML方法的種類。

6.1 軍事情報

軍事情報包括信息收集和分析，因為它涉及到指揮官做出最佳決策所需的信息。由于收集的數據量越來越大，處理必須自動化。需要考慮的主要問題是數據的數量、速度、真實性和多樣性。大量的數據（又稱大數據）需要在許多計算節點上對數據進行智能分配。速度要求快速計算和網絡連接到數據流。真實性是對信息來源和異常檢測的信任問題。多樣性相當于使用許多不同的ML算法的不同訓練模型的應用。我們在本小節中概述了不同類型的數據和分析要求。

6.1.1 自然語言處理

讓計算機從從各種媒體來源收集到的大型文本數據庫中提煉出重要的概念和文本部分，有很大的好處。最近報道的另一個ML突破是不同語言之間的精確文本翻譯。 軍隊的一個獨特挑戰是翻譯不常見的語言，因此專業翻譯人員較少。在人工通用智能（AGI）領域，一些團體聲稱，自然語言處理將是類似人類認知的基礎。

6.1.2 數據挖掘

鑒于人類、傳感器和代理產生的數據的激增，一個很大的問題是，除了證明其收集的直接用途之外，這些數據還包含什么剩余價值。數據挖掘可以是統計學和機器學習的努力，以發現數據中的模式，否則人類操作者就會錯過。

6.1.3 異常檢測

傳統上，異常檢測是通過首先識別已知數據的群組和描述數據的分布來進行的。然后，當新的輸入被處理時，它們被識別為屬于或不屬于原始分布。如果它們在已知分布之外，就被認為是異常的。以下許多類型的異常檢測系統可能對軍隊有用。

• 網絡入侵檢測：超出常規的網絡流量。McPAD和PAYL是目前使用的軟件中的2個這樣的例子，它們使用了異常檢測。

• 生活模式異常：人們的視覺和生物統計學上的行為方式與常人不同，表明他們可能正在進行一些對抗性行動。

• 基于條件的維護：在當前生命周期中，材料/系統在其年齡段不典型的信號。

• 士兵異常：有理由相信士兵的生物識別技術不正常。

• 異物檢測：在已知物資數據庫中無法識別的物體的視覺效果。

6.2 自主性

6.2.1 自動目標識別

自動目標識別（ATR）是一個非常成熟的領域，已經使用機器學習幾十年了。

1）目前深度學習的進展將在多大程度上增強ATR？

2）更復雜的算法是否需要更復雜/更耗電的機載計算？

3. ML是否能對目標的各種欺騙性的混淆行為具有魯棒性？

4. 強化學習在多大程度上可以用來進行實時軌跡調整？

6.2.2 機器人學

機器學習在機器人學中的應用也是一個巨大的領域。ML應用領域包括傳感、導航、運動和決策。目前，傳感將從計算機視覺的所有進展中受益。導航，除了使用標準的GPS之外，還可以從自我運動中受益，也就是基于自身感知的運動估計。運動可以被學習，而不是規劃，這不僅會導致更快的開發時間，而且還能在新的環境或受損的模式下重新適應（例如，失去四條腿中的一條）。最后，隨著機器人的數量超過人類操作員的數量，機器人將有必要自行決定如何執行其規定的任務。它將不得不做出這樣的決定："由于電池電量不足，我是否要回到大本營？"或者 "我是否繼續前進一點，然后自我毀滅？"

6.2.3 自愈性

除了機器人技術，人們最終希望任何系統在損壞或不能滿負荷工作時能夠自我糾正。這需要在某種程度上的智能，以自主診斷缺陷和問題，并利用其可用的資源糾正這些問題。

6.2.4 倫理

在通過機器學習來學習自主權的情況下，問題將是："自主系統將如何應對X情況？" 這里的問題是，對于一個擁有潛在致命武力的系統，我們怎么能確定它只會正確合法地使用武力？我們推測，在機器學習的算法擁有使用致命武力的實際能力之前，必須對其進行廣泛的測試，即使它與人類的環形決策相聯系。

6.3 通過玩游戲來訓練智能代理

近年來，大量的研究都在研究使用機器學習來自主地玩各種視頻游戲。在某些情況下，報告的算法現在已經超過了人類玩游戲的水平。在其他情況下，仍然存在著處理長期記憶的挑戰。對于美國空軍來說，智能代理已經成功地在以戰斗為中心的飛行模擬器上進行了訓練，這些模擬器密切模仿現實生活。陸軍的問題包括以下內容。

• 智能代理能否附加到機器人平臺上？

• 智能在多大程度上可以通用于處理現實生活與視頻游戲中遇到的各種情況？

• 當我們可能不理解一個訓練有素的代理的邏輯時，我們能相信它的行動嗎？

• 代理在多大程度上能夠與人類合作？

6.4 網絡安全

在過去的十年里，機器學習在網絡安全方面發揮了不可或缺的作用。具體來說，ML可以用于異常檢測，檢測已知威脅的特定模式，并辨別網絡行為是否可能由惡意代理產生。隨著該領域的不斷加強，問題是ML是否能使安全比對手領先一步，因為對手可能利用ML來混淆檢測。

6.5 預測和結構健康監測

一個長期的設想是，軍隊使用的每一個機械系統都有一些關于系統當前和預測健康的內部感應。相關問題如下。

• 我們能從有限的傳感器中辨別出一個系統或系統組件的當前健康狀況嗎？

• 機載ML能否預測一個系統或系統部件在暴露于特定環境或彈道侮辱之后的健康狀況？

6.6 健康/生物信息學

6.6.1 序列挖掘

隨著基因組序列的數量繼續呈指數級增長，比較在現場獲得的序列所需的計算工作可能變得無法管理。機器學習可以通過對序列進行不同層次的分類來減少必要的比較。

6.6.2 醫學診斷

93 近年來，機器學習已經在檢測各種組織中的惡性腫瘤方面取得了長足的進步。94 它同樣可以被用來描述創傷或創傷后應激障礙（PTSD）95，并制定治療計劃。

6.7 分析

陸軍的一個重要組成部分集中在對行動、系統、研究和測試的分析上。傳統上，分析人員使用大量的工具，包括機器學習，以多維回歸、聚類和降維的形式。隨著深度學習的出現，一套新的工具應該是可能的，可以更有效地處理需要更復雜模型的大型數據集。例如，應該有可能從測試期間拍攝的視頻流中提取特征和物理屬性，這可能超過目前的標準做法。

6.8 機器學習的其他用途

• 自適應用戶界面（AUI）和情感計算。ML可以用來確定用戶的心理和/或情緒狀態，并提供適合這種狀態的界面。此外，可變的AUI可以服務于用戶的變化。例如，一些用戶可能喜歡音頻反饋而不是視覺反饋。

• 推薦系統。最流行的推薦系統之一是根據以前看過的電影的評分來選擇用戶想看的下一部電影（例如，所謂的 "Netflix問題"）。對于軍隊來說，可以根據以前的使用情況和庫存核算的反饋來推薦后勤補給的情況。

• 搜索引擎/信息檢索。傳統上，搜索引擎返回文件的 "點擊率"。新的范式是以簡明的形式回答用戶的問題，而不是簡單的模式匹配。

• 情感分析。社交媒體上的流量和對環境進行訓練的各種傳感器不僅可以檢測關鍵的關鍵詞或特定物體的存在，還可以推斷出可能的攻擊的可能性。

• 有針對性的宣傳。傳統上，宣傳是通過散發傳單來完成的，如今，宣傳可以通過社交媒體來傳播。ML的角度是如何以最有說服力的信息向正確的人口群體進行宣傳。此外，重要的是快速檢測和顛覆來自對手針對我們自己的人員/人民的宣傳。

7. 機器學習的研究差距

本研究的目標之一是確定當前研究中的差距，這些差距可能會限制ML在軍隊研究和行動中的全部潛力。本節借用了ARL運動科學家Brian Henz博士和Tien Pham博士（未發表）的戰略規劃工作。

7.1 如何將軍隊的數據/問題納入當前的方法中

傳統上，在一個特定領域采用ML的一半戰斗是弄清楚如何適應現有的工具和算法。對于陸軍所面臨的許多問題來說，這一點更為突出，與其他學術、商業或政府用途相比，這些問題可能是獨一無二的。任何數據分析員面臨的第一個問題是使數據適應他們想要使用的統計或ML模型。并非所有的數據都使用連續變量或者是一個時間序列。離散/標簽數據的管理可能非常棘手，因為標簽可能不容易被轉換成數學上的東西。在自然語言處理中的一個例子是，單詞經常被轉換為高維的單熱向量。另一個例子可能是如何將大量的維修報告轉換為對某一特定車輛在一段時間內的表現的預測。

此外，陸軍的要求超出了典型的商業部門的使用范圍，不僅需要檢測物體和人，還需要檢測他們的意圖和姿態。這將需要開發新的模型。另一個大的要求是可解釋性，正如DARPA最近的一個項目所概述的那樣：是什么因素導致ML算法做出一個特定的決定？在一個真實的事件中，如果一個ML算法在沒有人類驗證的情況下宣布一個重要目標的存在，我們能相信這一決定嗎？

7.2 高性能計算

隨著對計算要求高的ML任務的設想，開發人員正在使用多線程、并行和異構架構（GPU、多核）來加快計算速度。ML的分布式實現遠不如GPU版本常見，因為分布式計算中的節點間通信存在固有的網絡瓶頸，而且在單精度浮點性能方面，GPU相對于CPU有很大優勢。除了目前對GPU的強烈依賴，生物啟發式神經計算旨在尋找非馮-諾伊曼架構來更有效地執行ML，并可能更快。這方面的一個例子是IBM的神經形態芯片。97 未來的研究應該關注如何分配ML處理，使節點之間的網絡通信最小化。另外，像聚類這樣的無監督學習算法在多大程度上可以被映射到神經網絡中？

其他需要考慮的事情。

• 目前的ML軟件（特定的神經網絡）在一個小型的GPU集群中表現最好。

• 大多數基于非神經網絡的ML算法的并行性不高，或者根本就沒有并行。

• 另一個軍隊的具體挑戰是分析基本上沒有標記的數據集（例如，用無監督學習）。手動標注集群將是一種半監督學習的形式。

7.3 獨特的尺寸、重量、功率、時間和網絡限制因素

隨著進入偏遠地區或任何遠離基地的地區，軍隊必須限制系統的尺寸、重量和功率。此外，在 "激烈的戰斗 "中，時間是關鍵。例如，人們不能在遭到槍擊時等待作戰模擬的完成。最后，在其他商業發射器占主導地位的地區，或者在限制無線電通信以提高隱蔽性的情況下，網絡帶寬可能會受到很大限制。

在這種倍受限制的環境中，機器學習將需要有效地進行，而且往往是以一種孤立的方式進行。截然相反的條件是使用大型數據庫訓練大型神經網絡，這往往是最先進的機器學習功力的情況。商業部門正在開發自動駕駛汽車，據推測將使用低功耗的計算設備（如現場可編程門陣列、移動GPU）進行自主駕駛、道路/障礙物檢測和導航。然而，陸軍將有更多的要求，包括自主傳感器和執行器、態勢感知/理解、與人類的通信/合作，以及廣泛的戰場設備。這將需要多幾個因素的計算能力和特定算法的硬件，以實現最佳的小型化和低功耗。

7.4 用雜亂的或欺騙性的數據訓練/評估模型

在混亂的環境中，操作環境預計會有比通常密度更高的靜態和動態物體。此外，人們完全期待主動欺騙以避免被發現。我們也希望能夠開發出足夠強大的算法，至少能夠意識到欺騙，并相應地調低其確定性估計。

7.5 用小的和稀疏的數據訓練一個模型

基于CNN的目標分類的突破可以部分歸功于每個物體類別的成千上萬個例子的可用性。在軍隊場景中，某些人和物體的數據可能是有限的。人們最終將需要one-hot99或multishot分類器，其中幾個有代表性的數據條目就足以學習一個新的類別。到目前為止，最好的選擇是 "知識轉移"，通過調整以前訓練的模型的所有參數的子集來學習新的類別。我們的想法是，由于需要優化的參數較少，修改這些參數所需的數據也較少。

7.6 專門針對軍隊相關目標的訓練模型

即使對于我們可以產生大量圖像的目標類別（例如，友好物體），我們也需要訓練自己的模型，以便從每個類別的潛在的數千張圖像中識別軍隊相關類別。軍隊還使用商業車輛中通常不存在的其他傳感模式（例如，熱能和雷達）。因此，需要為這些非典型的傳感設備訓練模型。從根本上說，非典型傳感設備可能需要新的神經網絡拓撲結構以達到最佳的準確性和緊湊性。

7.7 將物理學納入推理中

一個值得研究的有趣領域是將模型和模擬與機器學習相結合。有很多方法可以做到這一點。例如，ML可以用來推導出模擬的起始參數。此外，ML還可以用來處理模擬的輸出。一個耐人尋味的新領域是開發基于物理學或類似物理學的模擬，使用類似ML的模型/方程。一個這樣的應用是預測 "如果？"的情景。例如，"如果我跑過這棵樹呢？接下來會發生什么？"

7.8 軟人工智能

機器學習在傳統上被認為是人工智能的硬性（即數學）表現形式。有可能最終，所有的人工智能任務都會被簡化為數學。然而，就目前而言，一些智能任務似乎更多的是基于推理或情感。對于之前描述的方法中的任務，ML并不能充分解決以下軟性人工智能的特點。

7.8.1 類似人類的推理

人類并不總是完全按邏輯推理，但他們也有能力將不完整的信息拼湊起來，做出 "最佳猜測 "的決定。幾十年來，對這種行為進行編碼一直是一個挑戰。

7.8.2 情感

情緒似乎是驅動人類達到某些目的的動機/目標功能。例如，快樂可能會導致不活動或追求生產性的創造力。另一方面，恐懼則可能會導致忍氣吞聲。計算機是否需要情感來更有效地運作，還是說它們最好擁有100%的客觀性？這既是一個哲學問題，也是一個未來的研究方向。不過現在，毫無疑問的是，在人與代理人的團隊合作中，計算機需要準確地解釋人類的情感，以實現最佳的團體結果。

7.8.3 社會交流

與人類的互動性是陸軍研究未來的首要關注點。一個類似的問題是，不同的計算機系統之間如何進行交流，而這些系統不一定是由同一個實驗室設計的。研究的一個領域是用計算機來教那些在這方面有困難的人進行社會交流。 再一次，對于人與代理的合作，代理將需要能夠參與社會互動，并在人類的陪伴下遵守社會規范。

7.8.4 創造性

創造力通常被認為是隨機合并的想法，與新的元素相結合，由一個鑒別功能決定新創造的項目的功能和/或美學。在某些方面，創造力已經被某些計算機實驗室所證明。例如，為了設計的目的，計算機可以被賦予某些方面的創造力。

7.8.5 通用智能

人工智能的最終目標是將許多狹義的智能算法合并成一個統一的智能，就像人類的頭腦一樣。75鑒于許多狹義的人工智能任務已經比人類的某些任務要好，即使是早期的所謂人工通用智能（AGI）也可能具有一些超人的能力。AGI的一個主要目標是將目前由人類執行的某些任務自動化。

7.8.6 人工超級智能

如果不提及許多哲學家的猜測，機器學習將最終能夠改進自己的編程，導致能力的指數級提高，也許會遠遠超過人類智能，那么機器學習的研究就不完整了。這些設想既是烏托邦式的104，也是烏托邦式的105。希望超級智能能夠解決世界上的許多問題。

8.結論

在這項工作中，我們回顧了機器學習的不同類別，并描述了一些更常用的方法。然后，我們指出了一小部分關于ML在ARL中的應用的例子。最后，我們預測了ML在未來可以應用于軍隊的各個領域，并概述了為實現這一結果需要解決的一些挑戰。我們希望這份文件能夠激勵未來的研究人員和決策者繼續投資于研究和開發，以充分利用ML來幫助推動美國陸軍的發展。

執行摘要

收購分析和政策辦公室是國防部負責收購和維持的副部長辦公室（OUSD(A&S)）的一部分，該辦公室委托IDA評估使用機器精益分析主要國防收購項目（MDAPs）合同的可行性。分析的目的是從合同中提取數據，并預測項目績效。該研究分為三個階段：爬行、步行和跑步。

爬行

爬行階段包括建立一個數據集。在分析的這一階段，收集和處理合同。所選擇的合同在1997年12月至2018年12月期間被列入選定的采購報告（SARs），并且來自截至2019年11月不再報告的MDAPs。對這一時期的合同進行檢查，確保了每個項目都有90%以上的完整性。此外，數據集被限制在這一時期，因此計劃的績效結果是已知的，這在使用機器學習算法進行預測時是必要的。我們收集了24,364份PDF格式的合同文件，涉及149個合同號和34個MDAPs。(最后，我們使用國防分析研究所的文本分析（IDATA）功能，將收集到的文件變成機器可讀的數據集。

步行

在步行階段，通過在我們的數據上訓練機器學習算法來評估合同數據，以回答相對簡單的問題。這項活動確保了數據集具有合理的質量，機器學習算法運行正常，并能產生合理的答案。在這個階段，每個程序都產生了詞云。下圖顯示了兩個程序的詞云，分別是CH-47F和ATACMS-APAM。

ATACMS-APAM計劃的詞云

字云顯示了每個計劃的合同中各種詞匯的頻率，去掉了 "和"、"的"等常見詞匯。這些圖形對于揭示每個項目的文件中最頻繁使用的詞語很有幫助，并有助于確保我們收集到合理的數據。

接下來，我們在這些數據的訓練集上訓練了一個天真貝葉斯分類器，并要求它將每份合同按五個類別之一進行區分：（1）研究、開發、測試和評估（RDT&E）；（2）RDT&E修改；（3）采購；（4）采購修改；以及（5）采購運營和維護（O&M）修改。這些類別很容易由人類確定，預計機器學習也會產生同樣的結果。下表顯示了合同類別的分布和每種合同類型的數量。

該算法對80%的文件進行了訓練，然后用來預測其余20%的文件的類別。下面的混淆矩陣顯示了該算法預測合同類型的效果。

文件類型識別的混淆矩陣

對角線元素，也就是最大的數字，顯示了算法在測試樣本中正確識別合同類型的地方。總的來說，該算法對4872個文件中的4607個進行了正確分類，導致總體準確率為94.6%。準確率取決于樣本大小。例如，該算法預測測試數據中的52個文件是RDT&E合同，而95個文件是RDT&E合同，導致近55%的準確率，而3238個采購模式中的3080個，或剛剛超過95%，被正確分類。

后面描述的其他模型表明，合同被成功地轉化為數據。因此，這表明有可能將我們的算法應用于這個數據集，提出相對簡單的問題并獲得合乎邏輯的答案。

跑步

在跑步階段，我們提出了更難的預測問題，以測試機器學習算法使用合同數據集來預測項目績效的能力。我們使用Q-比率作為數量增長的衡量標準，使用數量調整后的項目采購單位成本作為成本增長的衡量標準，以及項目結束日期。使用70%的項目來訓練支持向量機（SVM）模型，并對其余30%的項目的績效指標進行預測。支持向量機無法比隨機猜測更好地預測績效。我們還研究了使用聚類來識別類似程序。盡管我們可以識別相似的程序，但很難確定這些程序為什么相似，這表明在這個領域還需要更多的研究。

結論

我們發現，文本分析和機器學習算法很適合從合同中提取信息，并將這些信息轉化為結構化的數據集。盡管我們的分析使用了幾個不同的指標，表明提取的數據對描述性的目的是有用的，但我們無法確定機器學習算法是否能預測項目的表現。然而，這一結果并不意味著用合同數據集預測項目績效是不可行的。它可能意味著，更完整（或不同）的合同集、其他績效指標或替代算法將改善預測結果。此外，為了改善預測，可能有必要將合同數據與其他來源的數據相結合。

摘要

有效的項目管理有賴于對風險的細致和精確的量化。根據Kaplan和Garrick(1981)的說法，風險是概率和影響。然而，影響往往是多維的，包括進度維度、安全維度、財務維度或技術維度等。本文打算介紹利用統計科學將多個風險維度合并為一個數值。在美國國家航空航天局（NASA）的許多項目中都使用了一種叫做MRISK的多維風險工具來評估和確定風險和緩解措施的優先次序。此外，本文將總結北約盟軍司令部轉型（ACT）目前的風險管理準則，并將告知北約ACT在風險評估和管理方面可以從統計科學中獲益的潛在方式。

MRISK工具是由博思艾倫咨詢公司在NASA蘭利研究中心開發的。我曾作為MRISK的開發者，通過這篇論文，我旨在提高對定量風險評估的認識，并介紹其在北約ACT的潛在應用。博思艾倫咨詢公司撰寫的MRISK原始論文是美國國家航空航天局的專利，并存放在美國國家航空航天局科學和技術信息（STI）庫中。本文所表達的觀點僅代表我個人，不代表我以前或現在的雇主的觀點或意見。

引言

所有的項目，無論其組織、復雜性、時間框架或目標如何，都會有風險。項目管理協會將風險定義為 "一個不確定的事件或條件，如果它發生，會對一個或多個目標產生積極或消極影響"。一個積極的風險被認為是一個機會，而一個消極的風險被認為是一個威脅。大多數情況下，風險管理意味著威脅管理。鑒于，不可能避免項目威脅，有效的項目管理必須包括成功管理它的方法。特別是考慮到減輕風險的缺陷最終會給聯盟帶來大量的資金，以及戰爭能力發展和進展的潛在滯后，它被證明是項目管理的一個重要組成部分。

風險管理包括風險識別、風險評估和風險應對。風險評估階段的目標是定性和/或定量地評估風險的概率和影響。傳統上，風險評估是定性進行的，這意味著它依賴于對單個風險的概率和影響的判斷。判斷可以基于過去的經驗、可比較的項目、或項目主題領域的專業知識。以這種方式進行的風險評估可以由一個人完成，也可以在一個有不同利益相關者和專家的團隊環境中完成。然而，僅僅是定性的風險評估并不總是充分的。

如果風險評估的主要目的是對風險進行優先排序，以確定哪些風險需要進一步研究和應對，那么定性評估就可能是足夠的。相反，如果風險評估需要高度的精確性和更多的結論性評價，那么定量評估與定性評估一起進行將對項目有益。