1.0 評估建模和仿真的使用風險

1.1 背景

建模和仿真被開發和用作支持系統分析、設計、測試和評估、采集、培訓和指導以及更多領域的支持技術。如今，各種各樣的建模和仿真 (M&S) 工具正在更廣泛的不同應用和問題領域中使用。 M&S 通常在實際系統無法滿足用戶需求（例如，風險、可用性）或在其他方面比實際系統更有效（例如，成本、有效性）時應用。但是，本質上，所有 M&S 工具都提供了一些基于不同類型近似的系統（例如實體、現象、過程）的抽象表示。因此，M&S 功能不能完全取代實際系統，更重要的是，它們的使用會帶來不確定性。

M&S 的驗證和確認 (V&V) 是專注于在整個生命周期內評估 M&S 系統和軟件工程過程領域。實施 V&V 是為了提供必要的證據，以獲取有關 M&S 假設、能力和與可接受性標準相關限制的知識。 V&V 不僅利用系統工程和軟件工程，還利用信息科學、認知和行為科學以及其他相關學科。

北約 (NATO) 建模和仿真小組 (MSG) 進行了一系列努力，包括 MSG-054，它為 M&S 的有效 V&V 制定了標準和指導文件。 MSG-054 的努力得到了電氣和電子工程師協會 (IEEE) 標準 1516.4?-2007 聯盟的驗證、確認和認可[5]。除了建立 IEEE 標準外，MSG-054 還開發了 V&V 復合模型，從中選擇 V&V 方法和技術，以匹配 V&V 工作的風險和資源限制，同時遵守相關政策、標準和指導 [6]。V&V 復合模型是可能的活動和環境的超集。

MSG-073 實現了驗證和確認的通用方法 (GM-VV) 的標準化，如圖 1 所示，它提供了一個通用框架來有效地開發一個論據，以證明接受和使用已識別的模型、仿真、基礎數據、結果、和目標（預期）操作環境中的能力。 GM-VV 成功完成了仿真互操作性標準辦公室 (SISO) 標準化流程，以提供完全接受的驗證、確認和認可 (VV&A) 指導文件 [3]。 GM-VV 的目的是為 V&V 提供一般適用的指導：

? 促進 M&S 界內對 V&V 的共同理解和交流；

? 適用于 M&S 生命周期的任何階段（例如，開發、使用和再利用）；

? M&S利益相關者的接受決策過程導向；

? 由 M&S 利益相關者的需求和 M&S 使用風險承受能力驅動；

? 可擴展以適應任何 M&S 范圍、預算、資源和使用風險閾值；

? 適用于多種M&S 技術和應用領域；

? 將產生可追溯、可重復和透明的基于證據的接受論點；

? 可以在企業、項目或技術級別進行實例化；

? 促進 V&V 結果、工具和技術的重用和互操作性。

圖1: GM-VV參考框架

在這些先前的努力中，M&S 使用風險得到了認可，實際上是指南和標準中記錄的建議的驅動因素。盡管 M&S 界就該主題的重要性達成了共識，但沒有公認的方法可用于 M&S 使用風險的限定或量化，以說明項目特定的 M&S 要求和約束。此外，M&S 工具及其開發過程的復雜性日益增加，從而導致包括 M&S 使用風險在內的一系列風險。 M&S 使用風險與 M&S 結果的不當應用及此類應用對決策者的后果有關。

風險管理依賴于評估風險的影響（一旦實現）、定義減輕風險的方法以及評估減輕風險的成本。有效的風險管理需要識別風險和平衡額外投資以減輕風險的方法。這種評估是基于對風險實現的可能性和實現的影響的評估。識別和評估風險后，可以制定緩解策略。評估 M&S 使用風險的方法可用于確定開發目標的優先級、準備和響應資源可用性的變化，以及定制 V&V 活動。

1.2 MSG-139 目標、任務和成果

2014 年 9 月，北約合作支持辦公室 (CSO) 批準組建 MSG-139，建模和仿真 (M&S) 使用風險識別和管理。該任務組的主要目標是為 M&S 使用風險識別和分析，定義和部署具有相關方法和技術的通用方法。一套互補的、最先進的M&S使用風險識別、分析和緩解方法，通過以下方式促進未來北約和國家M&S項目的質量、可信度和效用保證：

? M&S使用風險識別的通用方法和指南；

? 對M&S使用風險問題和解決方案有共同的理解和知識;

? 一套M&S使用風險分析的方法和技術;

? 基于M&S使用風險而不是成本的替代方法和相關指導方針;

? M&S使用與M&S技術和系統生命周期范例無關的風險識別和分析解決方案。

報告結構

本文件報告了MSG-139在滿足上述目標方面的努力結果。具體來說，在第一章中，定義了問題，選擇和應用M&S使用風險方法論(MURM)的基本原理，并介紹了該方法的簡短歷史和概述。第二章從語義定義出發，推導了M&S使用風險方程，并給出了該方程的解，該方程在應用空間中以一個三維曲面表示。相關的數學證明和細節見附錄1和附錄2。第三章介紹了一個MURM的實現，并為從業者提供了建議和指導。在第4章中，一個基于實際應用的用例被提出，說明了在逐項需求的基礎上評估風險狀態的方法的有效性，同時也演示了為M&S的特定預期用途(SIU)降低風險的方法。

圖 2：建模和仿真使用風險方法論（MURM）建立在現有概念的基礎上

摘要

訪談作為一種研究方法，是定性數據的豐富來源，但它充滿了問題。首先，它們是資源密集型的；如果考慮到組織、轉錄和跟蹤所需的時間，一次30分鐘的訪談可能需要花費研究者3個小時的時間。此外，訪談永遠不可能是真正的匿名，無論訪談者多么有經驗，訪談者仍然可能提出引導性問題或對訪談有偏見。在信息時代，也許人工智能（AI）提供了一個更好的解決方案。有了人工智能面試官，研究面試可以在一定規模下進行，而人類面試官根本不可能做到。此外，人工智能可以真正客觀地進行問話。但是，人工智能能取代人類完成這項任務嗎？

北約的聯合分析和經驗教訓中心（JALLC）試用了一個名為DUCHESS的人工智能語音機器人，收集工作人員在COVID-19大流行期間使用協作工具的經驗。JALLC項目將為北約企業未來協作工具的決策提供信息。北約軍事結構中的2000多名工作人員被邀請參加訪談。提供了五個苗頭性問題，然后DUCHESS根據回答提出自己的智能后續問題。結果被自動轉錄，并以PowerBI儀表盤1的形式呈現。本文介紹了JALLC在這個項目中使用人工智能語音機器人代替人類進行研究訪談的經驗，并討論了在未來JALLC分析項目中使用這種新技術的利弊。

引言

本文的目的是分享和反思JALLC在分析項目中使用新型人工智能驅動的語音機器人獲取經驗教訓（LL）知識的經驗。導言部分概述了作為經驗教訓能力一部分的知識獲取需求，新技術在提高經驗教訓知識獲取能力方面的潛力，總結了使用訪談獲取經驗教訓知識的情況，并概述了人工智能和機器學習（ML）如何被納入不同部門的訪談和調查方法中。分析方法部分介紹了JALLC的分析項目，并解釋了JALLC如何為該項目設置訪談。結果部分討論了JALLC使用AI語音機器人進行訪談的經驗，本文最后回答了本文標題中的問題。"人工智能是否比你進行更好的研究訪談？"總結了優點、缺點，以及北約在未來使用這項新技術時需要考慮的問題。

情報對于戰斗的結果至關重要。只要人類發動戰爭，就需要為軍事和文職領導人提供有關對手或潛在對手的決策支持。然而，智能的產生既不容易，也沒有陷阱。有必要更好地理解情報分析的困境。

情報是官僚生產的，也是在獨特的文化背景下社會建構和創造的。 “機構”抓住了這三個方面的影響力。因此，本論文特別關注軍事情報，旨在加深對機構對情報評估的影響的理解。在過去的三年里，關于智力的文獻穩步增長。然而，旨在理解這一現象的理論和框架仍然很少。這對于有關當代軍事情報的文獻來說更是如此。本論文旨在為彌合這些研究空白做出貢獻。這是通過從幾個不同的角度研究瑞典軍事情報機構來完成的：其使用規則、共同信念以及主要與進行威脅評估相關的傳入刺激。更準確地說，該論文研究了與認識論假設和威脅評估相關的定量方法、學說（即正式規則）和共享信念的使用。

本論文的主要貢獻在于，它建立并描述了軍事情報機構和評估之間的偶然聯系，通過利用使用規則和信念系統及其對心智模型的影響，從而對與軍事情報相關的情況的感知。認知偏差，從而影響給定的評估。本文通過采用制度分析與發展（IAD）框架，努力使情報研究更具普遍性。 IAD 的元理論語言是解釋和描述機構對情報評估的影響的有前途的途徑。

關鍵詞:情報分析、軍事情報、機構與威脅評估。

本報告描述了北約第一個多領域小組IST-173所取得的成果。與會者包括來自不同小組和團體的科學家，以及來自北約機構和軍事利益攸關方、學術界和工業界的科學家，這為AI和軍事決策大數據這一主題創造了第一個利益共同體。該團隊在實踐中證明了一種新的STO方法的可行性，即任務導向研究，以激發公開對話、自我形成的研究合作和跨小組活動。此外，該方法還有助于為人工智能和軍事決策大數據這兩個主要能力領域聯合開發北約首個科技路線圖，以應對北約在這些領域面臨的作戰挑戰。由于新的組織(軍事利益相關者積極參與的多領域團隊)和這種創新方法的應用，確定了一些經驗教訓，應該支持軍事決策AI和大數據的進一步操作。

?以消費者和企業為中心的新技術的爆炸式增長已成為美國民眾體驗醫療保健和福祉的顛覆性力量。這些技術——統稱為“數字健康”——有可能改變個人、家庭和社區管理他們的醫療保健和福祉的方式。

美國機構和其他利益相關者正在對新工具進行大量投資；獲取、提供和使用數據的方法；以及提供衛生服務的創新方式。然而，對于指導眾多創新實現共同目標、協作工作和高優先級成果的國家優先事項集，并沒有達成一致意見。需要一個包括協作治理流程在內的戰略框架，以建立一個值得信賴、透明和公平的數字健康生態系統。

被統稱為“數字健康”的技術正在擾亂美國乃至世界各地的醫療保健和福祉現狀。在這方面，COVID-19大流行似乎是一個分水嶺。環境促使遠程保健的使用激增，在這一過程中產生了關于遠程保健的交付、影響、價值和可持續性方面的數據和潛在教訓。大流行可能產生對個人、家庭和社區產生積極影響的轉變。替代方案——在當前系統之上簡單地分層數字技術——將不僅僅維持現狀。這將使那些在連通性、數字素養和獲得護理方面已經落后的人的處境更加糟糕，并將進一步為濫用、欺詐和浪費打開大門。在一個如此富有和創新能力的國家，這樣的結果是不可接受的。國家需要采取戰略性行動，充分考慮數字衛生帶來的獨特挑戰和機遇。

該戰略為指導美國數字健康生態系統的發展提供了一個框架。該戰略包括六個目標，每個目標都有建議的行動。總的來說，這些目標旨在實現數字健康生態系統推動的改善國民健康和福祉的愿景。

• 目標1。通過及時、安全的數據交換，形成互聯的健康生態系統。醫療數據的語義互操作性對于推進數字醫療服務至關重要。一個聯網的美國生態系統將在需要的時候安全可靠地將可操作的數據傳輸給需要的人，這將改善健康結果。能否成功實現這一愿景，將取決于患者身份識別、衛生數據和衛生架構的標準化格式，以及建立一個安全、可靠和有彈性的數字衛生生態系統。
• 目標2。增強個人能力，使其能夠負責自己的健康和福祉。數字技術和工具應使個人能夠在任何地點、任何時間、無需特別努力地更好地管理自己的健康和獲取健康信息。實現這一目標的基礎是個人擁有個人健康數據，并輔之以部署資源加強數字掃盲。數字設備和系統必須為個人和提供者提供有意義和可共享的信息，并使個人能夠更多地參與到最大限度地提高他們的健康和福祉中。
• 目標3。將人工智能(AI)打造為數字健康值得信賴的基石。人工智能可以以多種方式加強醫療保健的數字化交付。它可以提高護理服務的生產率和效率，允許醫療系統向更多的人提供更多更好的護理，改善醫療從業者的經驗，并增加接受者對其護理的信任。利用人工智能需要它的應用是值得信賴的，具有透明、公平、公平和可靠的特點。
• 目標4。使快速共享公共衛生綜合數據制度化。公共衛生當局及其合作伙伴需要獲得完整、及時的數據，以支持決策。數字技術可以使信息在聯邦公共衛生生態系統中流動。至關重要的是匯集個人和提供者從初級保健和公共衛生領域生成的數據。采用一種綜合的和可互操作的系統方法來資助公共衛生可以維持這些變化。
• 目標5。建設一支熟練應用數字衛生的勞動力隊伍。一支可持續的衛生人力隊伍將使用新技術提供以人為本的綜合優質護理。數字衛生技術將使個人能夠在醫療保健和社會服務部門獲得以家庭和社區為中心的協調和協作的衛生服務，并得到數字增強的勞動力隊伍的支持。
• 目標6。擴大數字公平，以實現衛生公平。數字技術現在是獲得衛生服務、支持和信息的基礎。個人必須能夠獲得和采用負擔得起的寬帶技術，并充分熟悉數字系統，以滿足其個人和家庭的健康相關需求。

本文檔旨在為領導者提供實施變革的框架。其中涉及的變化范圍很廣——不僅是技術上的，還有政治、社會和文化上的。這里的想法的實施需要大量的時間、金錢、資源的投資，最重要的是領導能力。其他國家也在國家規劃的指導下進行這些投資。美國必須采取明智的行動，但不能拖延，以實現數字衛生生態系統的愿景。

戰略的最后一個組成部分是治理。我們需要對支離破碎且過時的治理結構進行廣泛改革。避免重復、協調努力并代表全國做法的戰略投資將受益于數字衛生。該策略詳細說明了所需治理結構的關鍵組成部分，并建議了實現有效治理機制的步驟。

高超音速武器正在為戰爭的步伐增添一個新的維度，并將以極快的速度推動戰場上的交戰。這將要求軍事指揮官比對手可用的先進武器和自動化流程更快地采取行動。在這種作戰環境中獲得決策優勢必須從支撐所有軍事行動的情報活動開始。

及時準確的情報提供了支持決策周期的信息優勢。將自動化應用于情報周期的各個方面，并在這些過程中建立信任，將使傳感器到射手的結構成為攔截先進武器和滿足日益增長的及時性作戰需求所必不可少的。不能滿足對及時情報的需求將導致戰場上的決策優勢喪失，隨后喪失戰斗中的作戰主動權，并可能導致戰斗。

基于人工智能 (AI) 的解決方案將在戰場和整個情報周期中提供各種優勢。當與彈性情報、監視和偵察 (ISR) 以及高級分析相結合時，它將為作戰部隊提供前所未有的能力。然而，僅靠人工智能并不能完全解決這一挑戰。我們必須為消費者和整個情報社區 (IC) 建立對源自 AI 流程的情報的信任。信任是啟用它們的關鍵，因此我們有能力從自動化中獲得全部好處。

Drone Wars UK 的最新簡報著眼于人工智能目前在軍事環境中的應用方式，并考慮了所帶來的法律和道德、作戰和戰略風險。

人工智能 (AI)、自動決策和自主技術已經在日常生活中變得普遍，并為顯著改善社會提供了巨大的機會。智能手機、互聯網搜索引擎、人工智能個人助理和自動駕駛汽車是依賴人工智能運行的眾多產品和服務之一。然而，與所有技術一樣，如果人們對人工智能了解甚少、不受監管或以不適當或危險的方式使用它，它也會帶來風險。

在當前的 AI 應用程序中，機器為特定目的執行特定任務。概括性術語“計算方法”可能是描述此類系統的更好方式，這些系統與人類智能相去甚遠，但比傳統軟件具有更廣泛的問題解決能力。假設，人工智能最終可能能夠執行一系列認知功能，響應各種各樣的輸入數據，并理解和解決人腦可以解決的任何問題。盡管這是一些人工智能研究計劃的目標，但它仍然是一個遙遠的前景。

AI 并非孤立運行，而是在更廣泛的系統中充當“骨干”，以幫助系統實現其目的。用戶不會“購買”人工智能本身；他們購買使用人工智能的產品和服務，或使用新的人工智能技術升級舊系統。自主系統是能夠在沒有人工輸入的情況下執行任務的機器，它們依靠人工智能計算系統來解釋來自傳感器的信息，然后向執行器（例如電機、泵或武器）發出信號，從而對機器周圍的環境造成影響.

人工智能被世界軍事大國視為變革戰爭和獲得戰勝敵人的優勢的一種方式。人工智能的軍事應用已經開始進入作戰使用，具有令人擔憂的特性的新系統正在迅速推出。與軍事和公共部門相比，商業和學術界已經引領并繼續引領人工智能的發展，因為它們更適合投資資金和獲取研究所需的資源。因此，未來人工智能的軍事應用很可能是對商業領域開發的技術的改編。目前，人工智能正在以下軍事應用中采用：

• 情報、監視和偵察
• 賽博戰
• 電子戰
• 指揮控制和決策支持
• 無人機群
• 自主武器系統

人工智能和英國軍事

綜合審查和其他政府聲明毫無疑問地表明，政府非常重視人工智能的軍事應用，并打算繼續推進人工智能的發展。然而，盡管已經發布了概述使用自動化系統的學說的出版物，但迄今為止，英國國防部 (MoD) 仍然對管理其人工智能和自主系統使用的倫理框架保持沉默，盡管已經做出了一些重大決定。軍事人工智能的未來用途。

英國國防部一再承諾發布其國防人工智能戰略，預計該戰略將制定一套高級倫理原則，以控制軍事人工智能系統的整個生命周期。該戰略是在與來自學術界和工業界的選定專家討論后制定的，盡管政府尚未就與人工智能的軍事用途相關的倫理和其他問題進行公開磋商。該戰略的主要目的之一是向行業和公眾保證，國防部是人工智能項目合作的負責任合作伙伴。

與此同時，在沒有任何道德指南的情況下，計劃和政策正在迅速推進，主要問題仍未得到解答。英國軍隊在什么情況下會采用人工智能技術？政府認為何種程度的人為控制是合適的？風險將如何解決？英國將如何向其盟友和對手證明英國打算采取有原則的方法來使用軍事人工智能技術？

軍事人工智能系統帶來的風險 上述人工智能的每一種不同的軍事應用都會帶來不同的風險因素。作為國防部總部后臺操作的一部分，對數據進行排序的算法會引發不同的問題和擔憂，并且需要與自主武器系統不同級別的審查。

盡管如此，目前正在開發的人工智能系統無疑會對生命、人權和福祉構成威脅。軍事人工智能系統帶來的風險可以分為三類：道德和法律、操作和戰略。

道德和法律風險

• 遵守戰爭法： 目前尚不清楚機器人系統，特別是自主武器如何能夠滿足戰爭法制定的致命決定和保護非戰斗人員的標準。

-問責制：目前尚不清楚如果出現問題，誰來承擔責任：如果計算機運行不可預測并因此犯下戰爭罪行，懲罰它是沒有意義的。

• 人權和隱私：人工智能系統對人權和個人隱私構成潛在威脅。

• 不當使用：在戰斗環境中處于壓力之下的部隊可能會試圖修改技術以克服安全功能和控制。

作戰應用風險

• 偏見的技術來源：人工智能系統的好壞取決于它們的訓練數據，少量損壞的訓練數據會對系統的性能產生很大影響。

• 偏見的人為來源：當人類濫用系統或誤解其輸出時，可能會導致偏見。當作戰員不信任系統或系統非常復雜以至于其輸出無法解釋時，也會發生這種情況。

• 惡意操縱：軍用 AI 系統與所有聯網系統一樣，容易受到惡意行為者的攻擊，這些行為者可能試圖干擾、黑客攻擊或欺騙系統。

戰略風險

• 降低門檻：人工智能系統帶來了政治領導人在沖突中訴諸使用自主軍事系統而不是尋求非軍事選擇的風險。

• 升級管理：涉及人工智能的軍事行動的執行速度降低了審議和談判的空間，可能導致快速意外升級并造成嚴重后果。

• 軍備競賽和擴散：對軍事人工智能的追求似乎已經引發了軍備競賽，主要和地區大國競相發展其能力以保持領先于競爭對手。

• 戰略穩定性：如果先進的人工智能系統發展到能夠預測敵人戰術或部隊部署的程度，這可能會產生高度不穩定的后果。

本簡報列出了為人工智能設想的各種軍事應用，并強調了它們造成傷害的可能性。它認為，減輕軍事人工智能系統帶來的風險的建議必須基于確保人工智能系統始終處于人類監督之下的原則。

迄今為止，公眾對人工智能和機器人技術進步所帶來的社會變化和風險似乎知之甚少。這份簡報的部分目的是為了敲響警鐘。人工智能可以而且應該用于改善工作場所的條件和對公眾的服務，而不是增加戰爭的殺傷力。

美國國防部(DOD)報告稱，人工智能(AI)是一項革命性的技術，有望改變未來的戰場和美國面臨的威脅的速度。人工智能能力將使機器能夠執行通常需要人類智能的任務，如得出結論和做出預測此外，人工智能機器可以以人類操作員無法企及的速度操縱和改變戰術。由于AI具有廣泛用途的潛力，國防部將其指定為頂級現代化領域，并投入大量精力和資金開發和獲取AI工具和能力，以支持作戰人員。在2022財年，國防部為科學和技術項目申請了147億美元，以及8.74億美元用于直接支持其人工智能努力。根據國防部2018年的人工智能戰略，未能將人工智能能力納入武器系統可能會阻礙戰士保護我們的國家抵御近同行對手的能力其他國家正在這一領域進行大量投資，這可能會削弱美國的軍事技術和作戰優勢。

美國國防部(DOD)正在積極追求人工智能(AI)能力。人工智能指的是旨在復制一系列人類功能，并不斷在分配的任務上做得更好的計算機系統。GAO之前確定了三種AI類型，如下圖所示。

國防部認識到開發和使用人工智能不同于傳統軟件。傳統軟件的編程是根據靜態指令執行任務，而人工智能的編程則是學習如何改進給定的任務。這需要大量的數據集、計算能力和持續監控，以確保功能按預期執行。支持國防部作戰任務的大部分人工智能能力仍在開發中。這些能力主要集中在分析情報，增強武器系統平臺，如不需要人工操作的飛機和艦船，并在戰場上提供建議(如將部隊轉移到哪里)。

當獲取依賴于復雜軟件的新能力時，國防部一直面臨著挑戰，例如長時間的獲取過程和熟練工人的短缺。GAO發現，它繼續面臨這些挑戰，同時還面臨人工智能特有的其他挑戰，包括有可用的數據來訓練人工智能。例如，人工智能探測對手的潛艇需要收集各種潛艇的圖像，并標記它們，這樣人工智能就可以學會自己識別。國防部還面臨著將訓練有素的人工智能集成到非為其設計的現有武器系統中的困難，以及在其人員中建立對人工智能的信任。國防部發起了一系列努力，如為人工智能和人工智能特定培訓建立一個跨服務的數字平臺，以應對這些挑戰，并支持其對人工智能的追求，但現在評估有效性還為時過早