無人機系統（UAS）在美國軍事行動中越來越突出。作為其現代化戰略的一部分，美國防部（DOD）目前正在開發先進的無人機，以及可選的載人飛機。在過去幾十年中，軍隊使用無人機執行各種任務，包括：

• 情報、監視和偵察；
• 近距離空中支援；
• 物資補給；
• 通信中繼。

分析人士和美國防部認為，無人機可以在許多任務中取代載人飛機，包括

• 空中加油；
• 空戰；
• 戰略轟炸；
• 作戰管理和指揮控制（BMC2）；
• 壓制和摧毀敵人的防空系統；
• 電子戰（EW）。

此外，美國防部正在開發一些實驗概念，如飛機系統體系、群集和致命自主武器，以探索使用未來幾代無人機的新方法。在評估潛在新的和未來無人機項目、任務和概念的撥款和授權時，國會可能會考慮以下問題：

• 能夠作為致命自主武器的無人機的擴散及其對全球軍備控制的影響；
• 與載人飛機相比，未來無人機的成本；
• 無人機對人員和技能的影響；
• 作戰和作業概念；
• 無人機技術的普及。

本報告詳細介紹了“飛行決策和態勢感知項目”研究的結果。這項研究的目的是推薦措施和方法，以評估在未來垂直升降機（FVL）背景下影響飛行員決策和態勢感知（SA）的未來技術。

為了理解FVL航空環境下的決策，我們采用了以下決策的定義：決策包括形成和完善一個信念或行動方案所涉及的認知活動。

在一份臨時報告中，我們(1)回顧了當前描述決策和安全保障的理論方法，(2)確定在美陸軍航空兵環境中，新技術對決策和SA的影響，及替代理論對作戰評估方法的影響。我們通過整合與FVL飛行員最相關的決策模型的核心概念，創建了一個決策和SA的綜合模型。該臨時報告可在USAARL技術報告網站上獲得。

本報告的目的是支持和指導研究、開發、測試和評估學科的人員制定評估計劃并選擇方法和措施，以更好地評估潛在技術對FVL飛行員的效用和功效。本報告包括：（1）評估技術對決策和SA影響的方法和措施的回顧；（2）評估技術如何影響決策綜合模型中描述的五個宏觀認知功能的建議。

本研究有七個關鍵貢獻：

關鍵貢獻1：對當前決策和SA模型的回顧。在第一份報告中，我們回顧并總結了來自行為經濟學、認知心理學、人因工程、自然決策和從業人員社區的模型和理論。我們研究了這些模型和理論與FVL飛行員的相關性。

關鍵貢獻2：一個綜合的決策和SA模型。在第一份報告中，我們綜合了我們所審查的模型的核心概念，創建了一個飛行員決策和SA的綜合模型。決策的綜合模型建立在與FVL飛行員最相關的關鍵宏觀認知功能上（感覺、引導注意力、管理工作量、計劃和溝通/協調）。宏觀認知功能是快速、直觀決策和慢速慎重決策的基礎。該模型由兩個循環組成，即評估和行動，并由感性思維連接。感知是指整合新數據和現有知識的過程，以建立對正在發生的事情的理解，并產生對情況將如何演變的預測。這兩個循環代表了動態的過程，既為感性認識提供信息，也是感性認識的結果。輸出包括不斷發展的計劃、溝通和行動。

關鍵貢獻3：鞏固對FVL飛行者的預期認知要求。我們分析了以前對FVL領域的研究結果，以確定FVL飛行員的預期關鍵決策，并制定了這些飛行員的關鍵認知要求清單。我們將這些認知要求與決策和SA的綜合模型中強調的宏觀認知功能聯系起來。

關鍵貢獻4：描述了與FVL飛行員相關的新興決策輔助工具的清單。我們首先確定了旨在支持陸軍航空兵的航空和導航、通信和高級團隊合作的新興技術。然后我們描述了這些輔助工具是如何支持飛行員決策和SA的五個關鍵宏觀認知功能的。

關鍵貢獻5：關于新技術如何影響決策的經驗教訓。我們總結了過去30年實施新技術的經驗教訓。特別是，我們強調了過去的技術對操作員決策和SA的積極和消極影響。了解個人技術系統在過去的不足之處，為評估新技術對決策和SA的影響提供了重要基礎。

關鍵貢獻6：評估決策和SA的實驗方法和措施。我們回顧了在與陸軍航空相似的領域中研究決策和SA的方法，并確定了評估感知、引導注意力、管理工作量、計劃、溝通和協調的措施。我們為測試新的FVL輔助技術提供了推薦的基于結果的性能措施、過程措施、測試參與者評估和生理措施。

關鍵貢獻7：關于評估新技術效果的建議。我們為設計評估研究提供了一個建議的過程，以確定新的輔助技術對飛行人員決策和SA的影響。評價設計應包括闡明評價的內容。

建議。關于評估設計，我們提出了兩個高級建議：

首先，我們建議使用基于場景的方法來測試和評估技術，重點是探索一系列真實的場景，包括具有認知挑戰性的情況和 "邊緣案例"；其次，我們建議使用多種互補的措施來評估新技術對工作量、SA和其他宏觀認知功能的影響。關于下一步，我們鼓勵USAARL繼續編纂、操作和驗證適合在FVL背景下使用的措施。我們建議行使本報告中概述的評估程序，以制定評估新技術在決策和SA方面的最佳做法。我們建議創造機會，通過研討會和從業人員手冊等方式，傳播已確定的最佳做法。

最后，我們鼓勵制定方法和最佳實踐，以評估包含多種技術的綜合系統和預計用于FVL駕駛艙的個人技術界面，以盡量減少潛在的沖突或不一致的信息。

這份頂點報告分析了增材制造（AM）技術在美國國防部（DOD）當前和未來的使用情況。該分析為開發增材制造工藝和分析工具（AMPAT）提供了必要的技術背景。AMPAT將幫助利益相關者確定哪些增材制造設備能最好地服務于作戰人員和他們在遠征環境中的任務。此外，該工具可以被利益相關者用來確定AM能力在整個艦隊中最有利的分布，并就這些能力應該如何被整合到更大的海軍任務和更大的國防部企業中做出決定。采用系統工程（SE）方法來收集關于當前和未來的AM方法的信息，以了解和定義AM系統的操作要求。此外，還利用SE過程來分析建立工具的替代軟件選項，實施敏捷軟件開發過程來開發工具，并驗證和確認該工具符合項目要求。研究發現，AMPAT根據用戶定義的輸入參數和加權值，成功地輸出了一個AM系統建議的排名列表。關于選擇AM設備和為艦隊制定分散計劃的建議包括使用AMPAT的可交付成果，利用用戶定義的輸入值進行定制的、迭代的分析，以適應特定的遠征環境。

執行摘要

美國海軍和海軍陸戰隊一直在各種作戰環境和任務場景中增加使用增材制造（AM）能力，以快速交付作戰設備，降低成本，更換和維修部件。美國海軍研究生院（NPS）海軍遠征增材制造（NEAM）團隊的成立是為了解決海軍遠征作戰司令部（NECC）提出的幾個研究問題。該團隊開發了一個名為增材制造過程和分析工具（AMPAT）的工具，該工具將：1）確定具體的增材制造設備，以便在遠征環境中為部隊提供最佳服務，包括分布式海上行動（DMO）、有爭議環境中的沿岸行動（LOCE）和遠征先進基地行動（EABO）；2）輸出建議，可用于幫助通知整個艦隊的增材制造設備分散計劃；以及3）幫助NECC更好地將其能力融入更大的海軍任務。

NEAM團隊使用修改過的瀑布過程模型系統工程方法來開發一個工具來回答這些問題。NEAM團隊進行了詳細的文獻審查，以收集有關各種AM技術、AM零件的設計考慮因素、材料處理以及AM在國防部的使用的信息。此外，該團隊還會見了許多從事AM技術工作的組織的主題專家（SMEs），包括海軍設施（NAVFAC）工程和遠征作戰中心、海軍海上系統司令部技術辦公室、海軍陸戰隊系統司令部、海軍水面作戰中心Indian Head分部、海軍水面作戰中心Pt. Hueneme分部、海軍陸戰隊第一后勤集團、海軍供應系統司令部（NAVSUP）、太平洋海軍信息戰中心和海軍研究辦公室。

AMPAT是一個基于Excel的工具，用Visual Basic for Applications（VBA）編程語言編寫。AMPAT包括一個數據庫，供用戶輸入各種AM系統的信息和數據，以及一個工具儀表板，使用戶能夠在進行分析所需的輸入和分析的輸出之間輕松瀏覽。儀表板允許用戶行使工具功能，包括調整分析標準和用戶選擇，向AM數據庫添加打印機，檢查AM數據庫的錯誤，運行分析，以及清除結果。用戶可以定制AMPAT分析，對一組具有不同規格和特性的AM打印機進行排名，以確定在特定環境下滿足作戰人員需求的最佳AM系統設計。關于如何使用AMPAT的每個功能，可以在《用戶指南》中找到全面的、分步驟的說明。

本報告為用戶提供了一個執行AMPAT以獲得分析結果的方法。首先，用戶通過確定感興趣的具體屬性（如故障率、運行可用性、環境條件）來設置分析參數。接下來，用戶為每個選定的屬性設置加權值，以排列每個屬性相對于另一個屬性的重要性。用戶必須設置權重值，以便AMPAT進行必要的數學分析，提供具體的AM系統建議。數學分析將根據用戶對每個屬性的權重輸入，計算出每個AM系統的加權分數，并將其標準化。AMPAT將生成一個過濾的數據庫表，其中包括滿足用戶在運行分析之前確定的輸入參數的AM系統。此外，根據分配給每個參數的權重值，將提供這些AM系統的排名列表。最后，AMPAT將繪制分析結果；用戶可以選擇特定的參數，以包括在繪圖中，并決定是按系統繪圖還是按屬性繪圖。

NEAM團隊建議NECC使用AMPAT進行迭代分析，并繼續向數據庫添加新的AM系統和系統屬性。隨著新的信息被輸入該工具，用戶將收到更詳細的結果，這可能會影響最終的AM排名。AMPAT提供的排名將為決策者提供建議，說明哪種AM設備在執行DMO、LOCE和EABO環境中最能為部隊服務。此外，NEAM團隊建議NECC將AMPAT升級到具有適當安全分類的環境中，以定制該工具的分析，為艦隊的特定地點提供AM系統的建議。如果有適當的輸入，該分析的結果可用于確定在整個艦隊中預置AM技術的最佳策略。

為了統一國防部和國防部，AM領域的專家必須共同制定一份戰略文件，確定批準AM系統用于國防部的必要標準。AMPAT應被串聯使用，以協助社區評估不同的AM技術，以確定是否適合于國防部的任務和作戰方案。隨著用戶繼續用更多的AM系統填充AMPAT，并反復進行不同參數的分析，該工具的結果和輸出可用于證明國防部的批準決定。

NEAM團隊還建議，AMPAT應擴大到包括一個零件和零件規格的圖書館或資料庫。這將擴大AMPAT的效用，使其能夠為AM系統提供建議，這些系統應被用來打印特定的零件，以支持船舶、潛艇、飛機和其他車輛或設備。最終，這將減少成本并縮短艦隊的時間表，以快速生產量身定做的部件，提高作戰人員的準備程度。

AMPAT提供了一個決策分析過程，以確定最理想的AM設備來支持特定任務，并提高整個國防部對AM能力的認識。AM技術在確保迅速和有條不紊地維持作戰設備和加強艦隊準備方面發揮了關鍵作用。AMPAT的使用將有助于使國防部和國防部統一努力推進AM技術，以支持更大的海軍任務的需要。

I. 簡介

本章定義了本研究項目的問題陳述、目標、范圍和操作方案。此外，本章還解釋了用于開發工具的方法，以及該工具將如何被主要利益相關者--海軍遠征作戰司令部（NECC）和其他利益相關者使用，以滿足研究目標。

A. 問題陳述

幾年來，美國海軍和海軍陸戰隊一直在作戰環境中采用增材制造（AM）能力來快速交付作戰裝備。必須進行研究，以確定如何整合未來的AM能力，同時最大限度地提高投資回報，并盡量減少重復工作。首要的目標是將這項研究應用于部署在各種環境中的能力，如：分布式海上行動（DMO）、有爭議環境中的沿岸行動（LOCE）和遠征先進基地行動（EABO）。就本報告而言，重點是開發一個工具和數據庫，以協助決策者確定在這些環境中使用適當的增材制造。

增材制造已經被證明是非常有益的，它提供了降低成本和快速的部件更換和維修；本報告的以下部分將更詳細地討論AM的具體優勢和劣勢。由于AM是一個快速發展的技術領域，很難持續比較和權衡技術能力和屬性以滿足不斷變化的需求。需要一個工具，讓領導層充分了解當前和新的AM技術提供了哪些能力，這樣他們就可以做出明智的決定，使國防部（DOD）的投資回報最大化，以支持作戰人員和他們的任務。決策者需要考慮的一些特性包括：移動性、易用性、培訓、打印材料和打印機床尺寸。

本項目的目的是提供一個總體決策分析方法和工具，其中包括一個易于修改的NECC當前3D打印機和部件的數據庫，以有效地將當前和未來的AM能力整合到更廣泛的海軍遠征任務中。海軍遠征增材制造（NEAM）團隊廣泛研究了當前的AM能力及其在遠征部隊中的應用，以幫助開發分析方法、工具和數據庫，NECC可以采用并用于確定如何在整個美國海軍艦隊中最佳地分散AM能力并實現利益最大化。雖然在海軍遠征軍內，以及在海軍和國防部內廣泛存在著對AM集成的廣泛需求和巨大潛力，但NEAM項目側重于將AM作為部署系統、平臺和車輛的支持能力。最終，該計劃將作為NECC的參考和指南，以便在海軍和海軍陸戰隊的AM設備部署戰略和采購方面做出明智的決定。

B. 研究目標和項目范圍

本項目的重點是NECC在部署AM設備供遠征軍使用時，如何使投資回報最大化，并盡量減少重復工作。這項研究有助于實現在DMO、LOCE、EABO和其他情況下部署AM能力的總體目標，同時確保與現有工作的互操作性，盡量減少重復的工作，并使投資回報最大化。為了不重復工作，該團隊利用以前為類似工作完成的工作，并與海軍內部正在進行的AM工作協調。這項研究的目的是為NECC提供一個決策分析過程，以指導決策者選擇最有效的AM技術來滿足遠征環境中的具體使用情況。

上述三種遠征環境（即DMO、LOCE和EABO）對AM技術都有自己獨特的需求。DMO環境將海軍的注意力集中在同行和近鄰的競爭者身上，這需要艦隊級別的參與主要作戰行動。為了做到這一點，它在各司令部之間建立了更加一體化的關系，并促進了對風險的計算接受。同樣，EABO手冊指出，"EABO是一個未來的海軍作戰概念，滿足美國聯合遠征作戰的下一個范式的彈性和前沿存在要求"（海軍陸戰隊協會2018，5）。這一戰略提供了進行遠征作戰的機會，在不摧毀所有敵軍的情況下擊敗對手的戰略。此外，EABO手冊 "鼓勵海軍陸戰隊和海軍發展優化的內部力量能力，以服務于整個DMO結構"（海軍陸戰隊協會2018，22）。LOCE概念描述了沿海環境中的海軍行動，考慮到新出現的威脅，為海軍和海軍陸戰隊提供了一個創新的、聯合的框架（有爭議環境中的沿海行動，2020）。AM在確保作戰人員在這些環境中得到適當裝備方面發揮著關鍵作用。

考慮到這些環境，NEAM項目重點關注以下問題，以利用AM技術解決作戰人員能力方面的關鍵差距。

1.什么樣的AM設備能夠最好地服務于執行DMO/LOCE/EABO的部隊，包括考慮與其他美國海軍陸戰隊和海軍部隊的互操作性？

2.在整個艦隊中，什么是最有利的AM能力的分散，以使利益最大化，包括潛在的設備預置？

3.NECC如何將其能力更好地整合到更大的海軍任務中？

這個項目并不打算分析AM實施的每一部分；因此，未來的工作將建立在這個項目的基礎上。未來的工作也被認為是減少范圍蠕變風險的一個緩解因素。NEAM團隊對未來工作的建議可以在第七章A節中找到。

C. 方法

為了實現協助NECC最大限度地提高投資回報和減少重復的項目目標，這項研究的重點是開發一個數據庫和工具，以協助決策和增加對特定任務和目標的可用AM能力的接觸。該工具和數據庫是使用微軟Office產品開發的，因為它在整個聯邦政府的計算機系統中通常是可用的。這將有助于確保它能在整個海軍中被廣泛傳播并被大量受眾使用。

該工具是使用系統工程過程中選擇的軟件開發的。它側重于由利益相關者和NECC定義的AM系統的各種能力。用戶可以使用內置的圖形用戶界面（GUI）加載AM系統的各種特性并分配權重。該工具根據所期望的遠征環境的特征分配權重，輸出AM系統建議。

為了確保交付物滿足利益相關者的需求，NEAM團隊采用了一種系統工程方法，包括利益相關者的持續反饋，這在第四章有詳細描述。這使得利益相關者能夠在項目進展過程中對研究的具體方向提供意見，并使NEAM團隊能夠在獲得信息和分析結果時提供。

D. 報告結構

本報告第一章解釋了問題陳述、研究的目標和范圍，以及用于開發本項目中可交付成果的方法。

第二章包括對NEAM團隊為收集不同類型的AM技術、如何設計AM零件、材料處理方面的考慮以及AM在國防部的具體使用情況而進行的文獻審查的廣泛和詳細描述。此外，第二章描述了NEAM團隊用來完成項目的系統工程方法，以及考慮過的其他方法。

第三章著重于利益相關者的識別和分析，并描述了主要利益相關者的需求，用于將其轉化為具體要求的過程，以及當前AM能力中存在的差距。

第四章概述了增材制造工藝和分析工具（AMPAT）的代碼開發過程和所遵循的軟件流程，以及該工具的能力和限制。

第五章提供了AMPAT的幾個使用案例，并描述了該工具所要使用的操作環境。

第六章全面解釋了AMPAT如何用于檢索特定任務的分析結果，并解釋了用于確保該工具滿足項目要求和利益相關者需求的驗證和確認（V&V）方法。

第七章記錄了開發團隊得出的結論，總結了研究和分析對利益相關者和國防部的益處，并對未來工作提出了建議。

小型無人駕駛飛機系統（sUAS）的指數式增長為美國防部帶來了新的風險。技術趨勢正極大地改變著小型無人機系統的合法應用，同時也使它們成為國家行為者、非國家行為者和犯罪分子手中日益強大的武器。如果被疏忽或魯莽的操作者控制，小型無人機系統也可能對美國防部在空中、陸地和海洋領域的行動構成危害。越來越多的 sUAS 將與美國防部飛機共享天空，此外美國對手可能在美國防部設施上空運行，在此環境下美國防部必須保護和保衛人員、設施和資產。

為了應對這一挑戰，美國防部最初強調部署和使用政府和商業建造的物資，以解決無人機系統帶來的直接風險；然而，這導致了許多非整合的、多余的解決方案。雖然最初的方法解決了近期的需求，但它也帶來了挑戰，使美國防部跟上不斷變化問題的能力變得復雜。為了應對這些挑戰，美國防部需要一個全局性的戰略來應對無人機系統的危害和威脅。

2019年11月，美國防部長指定陸軍部長（SECARMY）為國防部反小型無人機系統（C-sUAS，無人機1、2、3組）的執行機構（EA）。作為執行機構，SECARMY建立了C-sUAS聯合辦公室（JCO），該辦公室將領導、同步和指導C-sUAS活動，以促進整個部門的統一努力。

美國防部的C-sUAS戰略提供了一個框架，以解決國土、東道國和應急地點的sUAS從危險到威脅的全過程。國防部的利益相關者將合作實現三個戰略目標：（1）通過創新和合作加強聯合部隊，以保護國土、東道國和應急地點的國防部人員、資產和設施；（2）開發物資和非物資解決方案，以促進國防部任務的安全和可靠執行，并剝奪對手阻礙實現目標的能力；以及（3）建立和擴大美國與盟友和合作伙伴的關系，保護其在國內外的利益。

美國防部將通過重點關注三個方面的工作來實現這些目標：準備好部隊；保衛部隊；和建立團隊。為了準備好部隊，國防部將最大限度地提高現有的C-sUAS能力，并使用基于風險的方法來指導高效和快速地開發一套物質和非物質解決方案，以滿足新的需求。為了保衛部隊，國防部將協調以DOTMLPF-P考慮為基礎的聯合能力的交付，并同步發展作戰概念和理論。最后，作為全球首選的軍事伙伴，國防部將通過利用其現有的關系來建設團隊，建立新的伙伴關系，并擴大信息共享，以應對新的挑戰。

通過實施這一戰略，美國防部將成功地應對在美國本土、東道國和應急地點出現的無人機系統威脅所帶來的挑戰。在這些不同操作環境中的指揮官將擁有他們需要的解決方案，以保護國防部人員、設施、資產和任務免受當前和未來的無人機系統威脅。

引言

軍事和民事情報組織經常被要求為指揮官和決策者提供支持，他們的決定影響著國家和國際安全。除其他特征外，如及時性和相關性，情報組織應做出有嚴格分析支持的評估，準確無誤，并明確傳達給決策者。不確定性對情報的評估和溝通功能都構成了關鍵挑戰。例如，分析員收到的信息的質量往往是不確定的，他們所依賴的概念模型也是如此。簡而言之，大多數分析都是在不確定的條件下做出的人類判斷。決策者可能希望完全消除不確定性，但情報組織必須努力將有關事件（概率）和他們的評估（信心）的揮之不去的不確定性盡可能連貫和清晰地傳達出去，以避免誤傳。

SAS-114研究工作組通過研究(a)在不確定情況下促進情報評估準確性的現有和新方法，以及(b)在這種評估中溝通不確定性的標準來應對這些雙重挑戰。本報告概述了SAS-114所完成的研究和分析，分為以下四個部分。

第一部分（第1-5章）研究了情報生產管理的組織方面。第1章概述了目前由科學知識有限的思想領袖制定的情報培訓如何未能解決不確定性溝通中固有的主觀性或鼓勵分析員的自我批判性認知。第二章根據英國國防情報局的經驗，提出了一個不確定性評估的框架，旨在為決策者創造最大價值，減少情報失敗的風險。第3章介紹了荷蘭國防情報和安全局利用 "魔鬼建議 "來改進分析產品。第四章介紹了關于加拿大情報從業人員認為自己及其組織在多大程度上符合美國情報界第203號指令規定的分析嚴謹性標準的研究。在第五章中，英國分析傳統技術培訓小組的成員討論了學術合作和內部研究如何促進循證傳統技術在其組織中的實施。

本報告的第二部分（第6-9章）重點討論了不確定情況下的信息評估。第6章介紹了一種基于預期信息價值建立情報收集優先級的新方法。第7章批判性地審查了目前評估來源可靠性和信息可信度的標準，并強調了未來研究的途徑。接下來，第8章介紹了 "可靠性游戲"，作為衡量來源因素對人類處境意識影響的一種游戲方法。第九章接著討論了風險游戲，這是一種評估專家如何處理異質信息、考慮信息質量和形成對同時發生的事件的信念的方法。

第三部分（第10-15章）探討了不確定性下的情報和風險評估。第10章討論了系統地監測地緣政治預測技能的重要性，并概述了這樣做的經驗方法。第11章重點討論了信息安全持續監測（ISCM）在防御性網絡行動中的挑戰，并討論了應用ISCM框架來改善情報評估。第12章介紹了關于競爭假設分析的有效性的實驗研究，以及分析后的重新校準和匯總方法，作為提高分析員判斷準確性的手段。第13章介紹了批判現實主義理論，以及批判話語分析和安全化理論的理論組成部分，它們共同為一種新穎的分析方法提供了框架：通過對比敘述進行分析。第14章接著介紹了一種以3值和6值邏輯的真值表形式結合分析判斷的透明方法。第15章的結論是一個分類系統，它有助于將分析技術與具體的情報問題相聯系。

本報告第四部分（第16-20章）根據SAS-114的最初目標，討論了情報制作中不確定性的交流。第16章研究了自然語言中固有的不確定性是如何影響報告質量的，并提出了一種識別、評估和權衡文本信息的證據性的方法。第17章對美國和英國在情報分析中交流概率的政策進行了批判性評論。第18章介紹了由SAS-114的成員和附屬機構收集的估計概率標準的注釋集。同樣，第19章介紹了SAS-114收集的用于評估和溝通分析信心的標準。第20章是報告的結尾，討論了數字時代的交流，特別關注商業開放源代碼情報中的不確定性溝通。

因此，本報告中的二十個章節涵蓋了廣泛的概念領域。SAS-114團隊希望，讀者會發現這套報告既能激發智力，又有實際用途。

內容提要

軍事和民事情報組織經常被要求為指揮官和策略制定者提供支持，他們的決定影響著國家和國際安全。除其他特點外，如及時性和相關性，情報組織應做出有嚴格分析支持的評估，準確無誤，并明確傳達給決策者。不確定性對情報的評估和溝通功能都構成了關鍵挑戰。例如，分析員收到的信息的質量往往是不確定的，他們所依賴的概念模型也是如此。簡而言之，大多數分析都是在不確定的條件下做出的人類判斷。決策者可能希望完全消除不確定性，但情報組織必須努力將有關事件（概率）和他們的評估（信心）的揮之不去的不確定性盡可能連貫和清晰地傳達出去，以避免誤傳。

SAS-114研究任務組通過研究來應對這些雙重挑戰。

a) 在不確定情況下促進情報評估準確性的現有和新方法；以及

b) 溝通此類評估中不確定性的標準。

本報告概述了SAS-114所完成的研究和分析，分為四個部分。

a) 第一部分（第1-5章）探討了情報生產管理的組織方面。

b) 第二部分（第6-9章）研究了不確定性下的信息評估。

c) 第三部分（第10-15章）研究不確定條件下的情報和風險評估；以及

d) 第四部分（第16-20章）研究了目前在情報生產中溝通不確定性的方法。

第一部分的核心主題是，情報組織需要積極主動地利用判斷和決策的科學。第一部分進一步說明了盟國的情報組織正試圖發展一種更加基于證據的分析技術和情報監督的方法。第二部分批判性地審查了目前評估信息有用性和質量的情報方法，并提出了替代方法。第二部分還介紹了測試分析員在不確定環境中如何評估信息質量的研究方法。第三部分描述了監測情報預測的準確性和監測防御性網絡風險的方法。第三部分還對支持情報分析的替代方法給予了極大的關注，包括通過對分析員的支持，以及通過從決策科學中提取的分析后方法。第四部分集中討論了自然語言和情報領域中不確定性的溝通。有幾章對目前向決策者傳達概率和置信度的情報（和其他專業）標準進行了批評分析。

盡管本報告所涉及的主題和調查方法多種多樣，但有幾個章節在一些關鍵結論上是一致的。首先，現有的交流信息質量、事件發生和評估準確性的不確定性的方法在多個方面存在缺陷，應促使北約下的情報界更密切地關注相關科學。具體來說，我們建議情報組織考慮使用數字概率，而不是目前使用的不確定性的模糊的口頭表達。其次，我們建議情報組織在符合科學標準的實驗中測試分析技術方法的有效性，并建議他們考慮在科學理論中具有更強基礎的替代方法。這一點至關重要，因為正如我們的一些研究表明，現有的方法可能不僅不能提高分析的嚴謹性，事實上還可能削弱分析員的評估質量。最后，我們建議情報組織采用積極的自我監測系統，除其他外，跟蹤他們提供給決策者的預測的準確性。

前言

SAS-114小組的前身是SAS-ET-CR探索小組，該小組于2014年12月在北約合作支持辦公室（CSO）召開了一次會議。最初的想法是專注于審查不確定性和風險的溝通標準。根據英國的建議，將范圍擴大，不僅包括不確定性的溝通，還包括在不確定性條件下如何進行評估。一年后，SAS-114研究任務小組（RTG）在CSO啟動，最初的團隊來自加拿大、丹麥、英國、荷蘭和美國，以及北約的海洋研究和實驗中心。隨后，它的成員擴大到包括德國、挪威、西班牙和瑞典。在第一年內，SAS-114也變得很明顯，它主要集中在情報分析領域。對情報的強調在活動中期的重新命名中被正式體現出來。SAS-114從情報界吸收了許多新成員，團隊的組成變得真正多樣化，包括科學家和情報專家的組合。每次會議的結構就像一個小型會議，旨在交流思想和新的發現，并做一些很少做的事情：給科學家和從業人員一個一年兩次的幾天空間來討論情報分析中的挑戰，并聽取可用于改善情報和向決策者傳達的前沿研究。因此，SAS-114也受益于來自科學界和情報界的大量特邀發言人。一個有代表性的例子是在會議記錄中，溝通不確定性，評估信息質量和風險，以及在情報分析中使用結構化技術（doi: 10.14339/STO-MP-SAS-114），其中概述了Arne Biering在哥本哈根Kastellet舉辦的研討會。SAS-114的會議結構與RTG的會議不同，是為了刺激坦率和公開的對話，并為合作的形成和發展提供機會。核心團隊并沒有著手設計所有成員都會參與的實驗。相反，在雙方興趣濃厚且每個參與成員都有貢獻的地方，形成了較小的合作集群。本報告中的許多章節概述了這種合作努力的結果。其中一些團隊的努力仍在進行中，并不是所有的團隊都已經成熟到可以在本報告中總結的地步。如果SAS-114在過去的三年里沒有什么成果，這可能會被理解為 "未完成的工作"，然而根據任何合理的標準，SAS-114已經有了很高的成果，正在進行的合作更適合被理解為團隊持續合作的力量和產生的潛力的明確標志，這將遠遠超過其預定的年份，甚至可能成為北約未來的一個或多個活動。

SAS-114被證明是一個公開對話和自我形成研究合作的實驗，這一點在這份最終報告中得到了很好的體現。在報告中，讀者將發現沒有成員共同簽署的共識文件，而是一個結構化分析、研究結果、專業見解和影響SAS-114關鍵焦點的思想文章的多樣化集合。作為編輯，我偶爾會在實質性問題上對作者提出質疑，但這只是為了進一步突出論點，而不是為了強求一個共同的觀點。本報告中的20個章節分為四個部分：（a）情報生產管理的組織方面，（b）不確定性下的信息評估，（c）不確定性下的情報和風險評估，以及（d）情報生產中的不確定性溝通。最后一部分正視SAS-114的最初目標，追溯到探索小組，而前三部分則強調該活動自早期開始以來的發展。

序文

指揮官和策略制定者需要高質量的信息來做出適當的決定。在處理他們自己的部隊時，在正確的級別和正確的時間獲得正確的信息，雖然不是小事，但可以通過卓越管理來實現。然后，風險可以得到適當的衡量和說明。然而，如果不注入大量的不確定性，再好的管理也無法提供關于一個合格對手的決策質量信息。

大部分的不確定性來自于無法獲得第一手的信息，而不得不從不完整的或智能體的測量結果中進行推斷--這種情況對于其他行業的分析人員來說是很熟悉的，無論是市場研究、運營研究還是財務分析。然而，其中一些不確定性來自于對手使用積極的欺騙手段，試圖讓我們自己的偏見對我們不利，以掩蓋意圖和能力。為了適應我們用來描述對手行動路線的描述詞：如果第一個不確定性的產生者是最有可能的，那么第二個就是最危險的。它們共同為情報分析員提供了兩個不同但相關的挑戰：如何在這些條件下達成適當的評估，以及如何將這種不確定性適當地傳達給決策者。

雖然在大多數情報組織中，促進情報評估的準確性和溝通不確定性的直觀一致的程序已經使用了一段時間，但本報告中的研究表明，有些程序經不起科學方法的檢驗。這組論文中反復出現的主題是，隨著我們繼續在研究人員和從業人員之間不斷加深理解，不斷發展的判斷和決策科學可以幫助發展一種基于證據的情報分析技術。

科學和戰爭之間的共生關系并不新鮮。從最早的洞穴居民嘗試用棍子的大小、形狀和材料來保護家人免受攻擊，到隱形飛機的開發，研究、開發和國防從業人員之間的聯系在 "行動"、"防護 "和 "感知 "的操作功能中一直很緊密。指揮職能，包括其情報子集，已被證明對科學界的幫助有更大的阻力。文化、難以讓科學家獲得適當級別的批準，以及發表機密到無法進行同行評審的研究缺乏吸引力，是造成這種距離的一些因素。

本技術報告收集了豐富的思想文章、專業見解和研究成果，是科學家和從業人員特意聚在一起討論情報分析中的挑戰的產物，這表明我們最終正在打破這一鴻溝。兩個部落都肯定會從這種合作方式中獲益，但最大的贏家無疑是情報的消費者：指揮官、策略制定者和他們所服務的人。

• 克里斯蒂安-盧梭上將（退役）（MGen (Ret'd) Christian Rousseau，加拿大恐怖主義綜合評估中心主任；前加拿大國防情報局局長和加拿大部隊情報指揮部的創始指揮官。

1.0 評估建模和仿真的使用風險

1.1 背景

建模和仿真被開發和用作支持系統分析、設計、測試和評估、采集、培訓和指導以及更多領域的支持技術。如今，各種各樣的建模和仿真 (M&S) 工具正在更廣泛的不同應用和問題領域中使用。 M&S 通常在實際系統無法滿足用戶需求（例如，風險、可用性）或在其他方面比實際系統更有效（例如，成本、有效性）時應用。但是，本質上，所有 M&S 工具都提供了一些基于不同類型近似的系統（例如實體、現象、過程）的抽象表示。因此，M&S 功能不能完全取代實際系統，更重要的是，它們的使用會帶來不確定性。

M&S 的驗證和確認 (V&V) 是專注于在整個生命周期內評估 M&S 系統和軟件工程過程領域。實施 V&V 是為了提供必要的證據，以獲取有關 M&S 假設、能力和與可接受性標準相關限制的知識。 V&V 不僅利用系統工程和軟件工程，還利用信息科學、認知和行為科學以及其他相關學科。

北約 (NATO) 建模和仿真小組 (MSG) 進行了一系列努力，包括 MSG-054，它為 M&S 的有效 V&V 制定了標準和指導文件。 MSG-054 的努力得到了電氣和電子工程師協會 (IEEE) 標準 1516.4?-2007 聯盟的驗證、確認和認可[5]。除了建立 IEEE 標準外，MSG-054 還開發了 V&V 復合模型，從中選擇 V&V 方法和技術，以匹配 V&V 工作的風險和資源限制，同時遵守相關政策、標準和指導 [6]。V&V 復合模型是可能的活動和環境的超集。

MSG-073 實現了驗證和確認的通用方法 (GM-VV) 的標準化，如圖 1 所示，它提供了一個通用框架來有效地開發一個論據，以證明接受和使用已識別的模型、仿真、基礎數據、結果、和目標（預期）操作環境中的能力。 GM-VV 成功完成了仿真互操作性標準辦公室 (SISO) 標準化流程，以提供完全接受的驗證、確認和認可 (VV&A) 指導文件 [3]。 GM-VV 的目的是為 V&V 提供一般適用的指導：

? 促進 M&S 界內對 V&V 的共同理解和交流；

? 適用于 M&S 生命周期的任何階段（例如，開發、使用和再利用）；

? M&S利益相關者的接受決策過程導向；

? 由 M&S 利益相關者的需求和 M&S 使用風險承受能力驅動；

? 可擴展以適應任何 M&S 范圍、預算、資源和使用風險閾值；

? 適用于多種M&S 技術和應用領域；

? 將產生可追溯、可重復和透明的基于證據的接受論點；

? 可以在企業、項目或技術級別進行實例化；

? 促進 V&V 結果、工具和技術的重用和互操作性。

圖1: GM-VV參考框架

在這些先前的努力中，M&S 使用風險得到了認可，實際上是指南和標準中記錄的建議的驅動因素。盡管 M&S 界就該主題的重要性達成了共識，但沒有公認的方法可用于 M&S 使用風險的限定或量化，以說明項目特定的 M&S 要求和約束。此外，M&S 工具及其開發過程的復雜性日益增加，從而導致包括 M&S 使用風險在內的一系列風險。 M&S 使用風險與 M&S 結果的不當應用及此類應用對決策者的后果有關。

風險管理依賴于評估風險的影響（一旦實現）、定義減輕風險的方法以及評估減輕風險的成本。有效的風險管理需要識別風險和平衡額外投資以減輕風險的方法。這種評估是基于對風險實現的可能性和實現的影響的評估。識別和評估風險后，可以制定緩解策略。評估 M&S 使用風險的方法可用于確定開發目標的優先級、準備和響應資源可用性的變化，以及定制 V&V 活動。

1.2 MSG-139 目標、任務和成果

2014 年 9 月，北約合作支持辦公室 (CSO) 批準組建 MSG-139，建模和仿真 (M&S) 使用風險識別和管理。該任務組的主要目標是為 M&S 使用風險識別和分析，定義和部署具有相關方法和技術的通用方法。一套互補的、最先進的M&S使用風險識別、分析和緩解方法，通過以下方式促進未來北約和國家M&S項目的質量、可信度和效用保證：

? M&S使用風險識別的通用方法和指南；

? 對M&S使用風險問題和解決方案有共同的理解和知識;

? 一套M&S使用風險分析的方法和技術;

? 基于M&S使用風險而不是成本的替代方法和相關指導方針;

? M&S使用與M&S技術和系統生命周期范例無關的風險識別和分析解決方案。

報告結構

本文件報告了MSG-139在滿足上述目標方面的努力結果。具體來說，在第一章中，定義了問題，選擇和應用M&S使用風險方法論(MURM)的基本原理，并介紹了該方法的簡短歷史和概述。第二章從語義定義出發，推導了M&S使用風險方程，并給出了該方程的解，該方程在應用空間中以一個三維曲面表示。相關的數學證明和細節見附錄1和附錄2。第三章介紹了一個MURM的實現，并為從業者提供了建議和指導。在第4章中，一個基于實際應用的用例被提出，說明了在逐項需求的基礎上評估風險狀態的方法的有效性，同時也演示了為M&S的特定預期用途(SIU)降低風險的方法。

圖 2：建模和仿真使用風險方法論（MURM）建立在現有概念的基礎上

概述

美政府問責局（GAO）日前發布報告《人工智能：國防部應改進策略和流程并加強協作指導》。該報告通過評估2018年《國防部人工智能戰略》，發現其存在片面性的一些特征，如九項人工智能相關戰略計劃“不包括與采用AI技術相關的資源、投資和風險的完整描述”等，呼吁國防部制定更全面的人工智能戰略，以使其更好地定位、問責和負責任地使用該技術。該報告還向國防部提出以下建議：發布含AI戰略所有特征的指南、建立定期審查國防部AI戰略的程序；開發含所有需求的高級計劃或路線圖；發布指南和協議，定義該機構在AI活動中的領導和參與者的責任等。

背景

GAO的發現

2018 年國防部 (DOD) 人工智能 (AI) 戰略將 AI 定義為機器執行通常需要人類智能的任務的能力。戰略和相關計劃包括綜合戰略的一些（但不是全部）特征。 例如，國防部的九項人工智能相關戰略和計劃不包括對資源和投資以及與采用人工智能技術相關風險的完整描述（見圖）。發布指南以在未來與人工智能相關的戰略中包含綜合戰略的所有特征，可以幫助國防部更好地幫助管理人員確保問責制和負責任地使用人工智能。

國防部人工智能相關戰略和計劃的評估

國防部已開始識別和報告其 AI 活動，但其 AI 基線清單存在限制，例如排除機密活動。國防部官員表示，這些限制將在人工智能活動識別過程的后續階段得到解決。然而，國防部還沒有制定一個涵蓋所有需求和里程碑的高級計劃或路線圖。這樣的計劃將為國防部提供實現該計劃目標所需的所有功能的高級、端到端視圖，以向國會和國防部決策者提供完整和準確的人工智能活動清單。

國防部組織在人工智能活動上進行協作，但可以更充分地整合領先的協作實踐。國防部使用 GAO 先前工作已經確定的各種正式和非正式協作機制，例如跨部門小組。國防部已部分納入領先的協作實踐，例如識別領導力。然而，國防部官員告訴我們，他們正在制定指南和協議，明確定義參與人工智能活動的國防部組件的角色和職責。通過最終確定和發布此類指南，國防部可以幫助確保所有參與者就整個部門的人工智能工作的責任和決策達成一致。

為什么 GAO 做這項研究

國防部戰略指出，人工智能將改變戰爭的性質，不采用人工智能技術可能會阻礙作戰人員保衛我們國家的能力。國防部正在進行組織變革并投資數十億美元來整合人工智能技術，例如建立聯合人工智能中心以加速在整個國防部提供人工智能能力。

伴隨 2021 財年國防授權法案的眾議院報告 116-442，以及讓 GAO 評估國防部的資源、能力和人工智能技術計劃的規定。本報告評估了 (1) 國防部的人工智能戰略和相關計劃，包括綜合戰略的特征；(2) 國防部已確定并報告了整個部門的人工智能活動情況；(3) 國防部在其人工智能活動上的合作情況。GAO 審查了相關法律和國防部戰略，概述了整個部門管理人工智能的計劃和流程，采訪了官員，并進行了全部門調查。這是 GAO 于 2022 年 2 月發布的敏感報告的公開版本。國防部認為敏感的信息已被省略。

【報告標題】

Human Factors and ISR Concept Development and Evaluation 人為因素和情報、監視、偵察 (ISR) 概念開發和評估

【報告來源】

北約技術報告

【出版時間】

2022年2月

【研究問題】

情報、監視和偵察 (ISR) 行動是關于收集信息并向操作員提供信息，而操作員又需要就其戰區的各種行動方案做出具體決策。可以肯定的是，ISR 行動是技術密集型的。然而，與此同時，ISR 行動是一個非常以人為本的過程。盡管如此，ISR 概念開發和評估 (CD&E) 過程中幾乎沒有人為因素 (HF) 研究。通過研究新的ISR技術和概念對不同操作環境下操作員性能的影響，研究人員可以提供更科學的建議，為高層政策和決策者提供關于所有ISR環境下未來ISR技術和能力的信息：包括空中、海面、地下和空間。就這一點而言，HF 研究方法應成為任何 ISR CD&E 過程的組成部分，為 ISR 指揮鏈各級的政策和決策者提供信息和建議。

【研究目的】
 北大西洋公約組織 (NATO) 研究和技術組織 (RTO) 人為因素和醫學 (HFM) 小組任務組 (RTG) 276 (NATO RTG HFM-276) 題為“人為因素和 ISR 概念開發和評估”，旨在識別和理解對有效 ISR 操作至關重要的 HF 問題。更準確地說，這項開創性工作的目標是：

1 確定有效 ISR 行動的關鍵 HF 問題（例如，態勢感知、工作量、組織結構、協調和協調機制、可視化、信任、信息共享和管理、領導力以及做決定）;

2 使用行為理論模型來發展我們的研究方法并理解我們的發現；

3 就 ISR CD&E 操作中 HF 研究的使用和實施提出建議。

【結果、意義、影響】
 北約 HFM-276 任務組使用組織有效性模型開發了一組調查，以識別和了解對有效 ISR 行動至關重要的 HF 問題。該模型的核心是由任務、收集、處理、利用和傳播 (TCPED) 組成的 JISR 流程。源自該模型以及其他來源的數據收集計劃著眼于 ISR 行動中的一些 HF 問題的作用：基本 HF 知識、情況評估、工作量、組織結構、信任、信息共享、信息管理、領導力、文化、組織過程、組織靈活性、共享意識和責任、協調和協調機制、決策、能力、情報請求管理（IRM）、通信、元數據和應用系統。所有這些 HF 因素都會影響 ISR 操作概念并影響操作員的績效。此外，該報告總結了一些改進北約和非北約行動的 ISR CD&E 過程的實際影響，重點是開發應包含在 ISR CD&E 過程中的 HF 研究方法。這種 HF 方法將像技術和程序 ISR 概念開發的質量控制組件一樣工作。預計研究結果將有助于為 ISR 指揮鏈各級的政策和決策者提供信息和建議，以增強北約 ISR 規劃、任務執行和能力發展中的信息和決策優勢。它還有望幫助告知 ISR 與其他聯合流程的整合，例如在確定當前與 ISR 相關的 HF 差距以及與其他流程整合方面的聯合目標。