美海軍空勤人員工作組被召集起來，以總結海軍空勤人員群體在作戰健康和戰備方面最優先的挑戰。在確定的10個優先事項中，前三名是肌肉骨骼損傷、認知功能和營養優化。所有10個優先事項將被納入 "戰備、恢復和復原（R3）監控系統"，該系統將由海軍健康研究中心在一個混合（虛擬和親自）平臺上實施。反過來，R3系統的結果將通過總結部隊的狀況和提供基于證據的建議，為美國海軍空勤人員的全員績效計劃提供參考。最終，R3系統可以過渡到一個專門為海軍空勤人員設計并由他們領導的項目。

背景介紹

自2011年以來，美海軍健康研究中心（NHRC）為特殊群體（如美國海軍爆炸物處理操作員）提供了科學支持，以優化操作健康和人體性能。應直升機海戰中隊THREE（HSC-3）的高級士兵領導層的要求，NHRC試圖建立一個監視系統，以描述海軍空勤人員最優先的作戰需求，即準備、復原和恢復（R3）監視系統。

問題說明

美海軍空勤人員群體操作多種類型/型號/系列的飛機，執行各種任務，包括海上攻擊、戰斗支援和反水雷。在這些任務中，人員經常經歷操作壓力和環境暴露，這可能導致傷害、疾病和停工率的增加。這一連串的事件最終會使個人、團隊和部隊的戰備狀態惡化。根據計劃目標備忘錄-23空勤人員系統（ACS）推進器海軍航空需求小組，ACS的首要任務是減輕空勤人員的背部和頸部傷害。目前，還沒有一個系統來監測、建立和維持整個海軍空勤人員職業的運行準備狀態。鑒于海軍空勤人員獨特而多樣的操作要求，系統化的評估可以支持為整個社區以及專門的分組制定有針對性的干預措施，以提高績效，減輕傷害/疾病，并加快恢復。

過程

來自HSC-3的兩名現役海軍空勤人員利益相關者與5名NHRC研究人員組成了海軍空勤人員工作組。

R3系統的操作要求

工作組得出了10個空勤人員作戰健康優先事項。

1.肌肉骨骼損傷 2.精神集中和認知功能 3.營養評估/優化 4.睡眠和晝夜節律功能 5.水化/液體平衡 6.行為/心理健康和戰斗心態 7.環境暴露 8.低水平爆炸暴露 9.人體工程學設計 10.適居性

R3系統的實施計劃、成本估算和資金來源

這10個優先事項將被納入R3監測系統，該系統將在一個混合（虛擬和親自）平臺上實施。為實現這一目標，國家人權委員會將：

• 與海軍空勤人員的利益相關者合作，構想R3系統

• 在海軍航空兵司令和/或下屬司令部的支持下設計R3系統

• 獲得國家人權委員會機構審查委員會的批準，以評估人員的10項業務需求

• 建立和運行R3能力，利用虛擬和現場數據收集工具。

該研究的基礎是調查，并可選擇增加可擴展和模塊化的個人評估，從最方便的實地測量到深入的、基于實驗室的測試。已經提供了可擴展的成本估算，并確定了候選的資金項目。

艦隊的影響和過渡

從R3系統中獲得的數據將被用來估計部隊（海軍空勤人員整體以及子群體）在準備、恢復和復原方面的狀況。報告將定期提供給空勤人員指揮/訓練領導層，以指導數據驅動的決策，R3系統將為美國海軍空勤人員的全員績效計劃提供信息。最終，R3系統可以過渡到一個專門為海軍空勤人員設計并由他們領導的項目。

2022 年 10 月 11 日，美國陸軍發布了一份綜合數據計劃（ADP），這是一種全軍范圍內改進數據管理以確保陸軍成為以數據為中心的組織的方法。

該計劃是一項為期三年的工作，將改善整個陸軍的數據管理、數據治理和數據分析。作戰任務是陸軍數據計劃的當前重點。ADP 在該任務領域的成果是通過進行必要的更改來確保作戰人員的數據得到正確管理和使用，從而為作戰人員提供優勢。陸軍已經開始對數據管理能力、工具和模型進行原型設計，以實現這一目標。

陸軍首席信息官 Raj Iyer 博士說：“數據以及如何在所有梯隊中整合這些數據以實現真正快速、敏捷的決策，才是真正為陸軍提供其在未來戰爭中所需的競爭優勢的關鍵。”

數據和數據分析將為 2030 年的陸軍提供動力。士兵將需要在正確的時間和正確的地點獲得正確的數據，以便在每個梯隊做出更快、更好的決策——以超越任何對手的思維和步伐。

與早期的軍事行動相比，現在的戰爭范圍更大且范圍不斷擴大。作為聯合全域作戰的一部分，多域作戰是陸軍必須準備并贏得下一場戰斗的地方。這是一個數據豐富的環境。

每個領域都有自己的信息和數據流，一些信息來自開源情報，一些來自天基傳感器，還有一些來自網絡空間。今天的士兵和指揮官需要跨領域的綜合來主宰戰場。

ADP 概述了工作的組織并提供了總體戰略目標。它側重于中期努力，未來將被另一個更新所取代。

通過陸軍數據計劃實現這一決策優勢是陸軍的關鍵目標。

本報告詳細介紹了“飛行決策和態勢感知項目”研究的結果。這項研究的目的是推薦措施和方法，以評估在未來垂直升降機（FVL）背景下影響飛行員決策和態勢感知（SA）的未來技術。

為了理解FVL航空環境下的決策，我們采用了以下決策的定義：決策包括形成和完善一個信念或行動方案所涉及的認知活動。

在一份臨時報告中，我們(1)回顧了當前描述決策和安全保障的理論方法，(2)確定在美陸軍航空兵環境中，新技術對決策和SA的影響，及替代理論對作戰評估方法的影響。我們通過整合與FVL飛行員最相關的決策模型的核心概念，創建了一個決策和SA的綜合模型。該臨時報告可在USAARL技術報告網站上獲得。

本報告的目的是支持和指導研究、開發、測試和評估學科的人員制定評估計劃并選擇方法和措施，以更好地評估潛在技術對FVL飛行員的效用和功效。本報告包括：（1）評估技術對決策和SA影響的方法和措施的回顧；（2）評估技術如何影響決策綜合模型中描述的五個宏觀認知功能的建議。

本研究有七個關鍵貢獻：

關鍵貢獻1：對當前決策和SA模型的回顧。在第一份報告中，我們回顧并總結了來自行為經濟學、認知心理學、人因工程、自然決策和從業人員社區的模型和理論。我們研究了這些模型和理論與FVL飛行員的相關性。

關鍵貢獻2：一個綜合的決策和SA模型。在第一份報告中，我們綜合了我們所審查的模型的核心概念，創建了一個飛行員決策和SA的綜合模型。決策的綜合模型建立在與FVL飛行員最相關的關鍵宏觀認知功能上（感覺、引導注意力、管理工作量、計劃和溝通/協調）。宏觀認知功能是快速、直觀決策和慢速慎重決策的基礎。該模型由兩個循環組成，即評估和行動，并由感性思維連接。感知是指整合新數據和現有知識的過程，以建立對正在發生的事情的理解，并產生對情況將如何演變的預測。這兩個循環代表了動態的過程，既為感性認識提供信息，也是感性認識的結果。輸出包括不斷發展的計劃、溝通和行動。

關鍵貢獻3：鞏固對FVL飛行者的預期認知要求。我們分析了以前對FVL領域的研究結果，以確定FVL飛行員的預期關鍵決策，并制定了這些飛行員的關鍵認知要求清單。我們將這些認知要求與決策和SA的綜合模型中強調的宏觀認知功能聯系起來。

關鍵貢獻4：描述了與FVL飛行員相關的新興決策輔助工具的清單。我們首先確定了旨在支持陸軍航空兵的航空和導航、通信和高級團隊合作的新興技術。然后我們描述了這些輔助工具是如何支持飛行員決策和SA的五個關鍵宏觀認知功能的。

關鍵貢獻5：關于新技術如何影響決策的經驗教訓。我們總結了過去30年實施新技術的經驗教訓。特別是，我們強調了過去的技術對操作員決策和SA的積極和消極影響。了解個人技術系統在過去的不足之處，為評估新技術對決策和SA的影響提供了重要基礎。

關鍵貢獻6：評估決策和SA的實驗方法和措施。我們回顧了在與陸軍航空相似的領域中研究決策和SA的方法，并確定了評估感知、引導注意力、管理工作量、計劃、溝通和協調的措施。我們為測試新的FVL輔助技術提供了推薦的基于結果的性能措施、過程措施、測試參與者評估和生理措施。

關鍵貢獻7：關于評估新技術效果的建議。我們為設計評估研究提供了一個建議的過程，以確定新的輔助技術對飛行人員決策和SA的影響。評價設計應包括闡明評價的內容。

建議。關于評估設計，我們提出了兩個高級建議：

首先，我們建議使用基于場景的方法來測試和評估技術，重點是探索一系列真實的場景，包括具有認知挑戰性的情況和 "邊緣案例"；其次，我們建議使用多種互補的措施來評估新技術對工作量、SA和其他宏觀認知功能的影響。關于下一步，我們鼓勵USAARL繼續編纂、操作和驗證適合在FVL背景下使用的措施。我們建議行使本報告中概述的評估程序，以制定評估新技術在決策和SA方面的最佳做法。我們建議創造機會，通過研討會和從業人員手冊等方式，傳播已確定的最佳做法。

最后，我們鼓勵制定方法和最佳實踐，以評估包含多種技術的綜合系統和預計用于FVL駕駛艙的個人技術界面，以盡量減少潛在的沖突或不一致的信息。

在美國國防部，人工智能（AI）/機器學習（ML）的整合目前是以現有項目的升級或新項目的收購形式進行的。怎么知道這些AI/ML支持的系統會按照預期的方式運行？為了做出這個判斷，與其他傳統的軟件開發/采購項目相比，AI/ML產品開發/采購需要一個獨特的評估過程。作為回應，美海軍軍械安全和保障活動（NOSSA）資助了以下研究，以調查獨特的政策、指導方針、工具和技術，以評估AI/ML關鍵功能中的安全問題。在這項工作中，開發了14項關鍵的嚴謹度（LOR）任務，并在五個階段中應用：（1）需求，（2）架構，（3）算法設計，（4）算法代碼，以及（5）測試和評估（T&E）。14項LOR任務涉及最佳實踐討論、定義、測量、論證文件和AI/ML系統特有的危險分析格式。這14項LOR任務還明確了為什么AI/ML軟件開發需要采購界的特別考慮。此外，這項研究有可能影響采購界如何定義需求、創建架構、產生AI/ML算法設計、開發AI/ML算法代碼以及執行T&E。在開發 "采購沙盒"的過程中，跨越五個發展階段的14項LOR任務的需求變得很明顯，該沙盒研究了部署AI/ML自主系統的路線規劃者，以及讓這些系統交付軟件包，重點是評估關鍵功能行為的安全性。該沙盒是使用國防部架構框架（DoDAF）和統一建模語言（UML）圖設計的，其中包含了各種AI/ML技術。當面臨這種程度的復雜性和/或不確定性時，14項LOR任務代表了一組有凝聚力的問題/考慮因素，為應對當前海軍AI/ML的采購問題提供了重點。這些指南還為涉及安全的組織，如NOSSA和適航性，以及包括項目經理和系統工程師在內的采購專業人員提供了一個分步驟的 "如何 "評估方法，以確保創造高質量的人工智能嵌入式產品。

該報告為包含人工智能功能的系統的采購和開發提供了詳細的指導方針。該準則允許用戶在作戰部署的挑戰中對人工智能功能的行為建立不同程度的信心。信心的程度決定了14個LOR任務中的哪一個在五個階段中被應用。每個LOR任務提供了問題和/或考慮因素，使開發人員能夠客觀地評估人工智能/ML功能的安全性和可靠性。當審查每個LOR任務時，LOR任務編號（和相關階段）后面的 "參考編號 "是指用于開發問題和/或考慮因素的文件中的相應標識（ID）。這四份文件的標題分別是：（1）操作視圖（OV），（2）系統視圖（SV），（3）數據集設計，和（4）算法設計。LOR任務 "參考ID "命名法的例子是Ops1、Sys1、Alg1和Dat1。在這些例子中，每個ID與四個文件中的一個有關，其中數字 "1 "表示文件中描述的第一個LOR任務。在每個文件中使用 "Ref ID "支持對研究的可追溯性，包括數學。

執行摘要

收購分析和政策辦公室是國防部負責收購和維持的副部長辦公室（OUSD(A&S)）的一部分，該辦公室委托IDA評估使用機器精益分析主要國防收購項目（MDAPs）合同的可行性。分析的目的是從合同中提取數據，并預測項目績效。該研究分為三個階段：爬行、步行和跑步。

爬行

爬行階段包括建立一個數據集。在分析的這一階段，收集和處理合同。所選擇的合同在1997年12月至2018年12月期間被列入選定的采購報告（SARs），并且來自截至2019年11月不再報告的MDAPs。對這一時期的合同進行檢查，確保了每個項目都有90%以上的完整性。此外，數據集被限制在這一時期，因此計劃的績效結果是已知的，這在使用機器學習算法進行預測時是必要的。我們收集了24,364份PDF格式的合同文件，涉及149個合同號和34個MDAPs。(最后，我們使用國防分析研究所的文本分析（IDATA）功能，將收集到的文件變成機器可讀的數據集。

步行

在步行階段，通過在我們的數據上訓練機器學習算法來評估合同數據，以回答相對簡單的問題。這項活動確保了數據集具有合理的質量，機器學習算法運行正常，并能產生合理的答案。在這個階段，每個程序都產生了詞云。下圖顯示了兩個程序的詞云，分別是CH-47F和ATACMS-APAM。

ATACMS-APAM計劃的詞云

字云顯示了每個計劃的合同中各種詞匯的頻率，去掉了 "和"、"的"等常見詞匯。這些圖形對于揭示每個項目的文件中最頻繁使用的詞語很有幫助，并有助于確保我們收集到合理的數據。

接下來，我們在這些數據的訓練集上訓練了一個天真貝葉斯分類器，并要求它將每份合同按五個類別之一進行區分：（1）研究、開發、測試和評估（RDT&E）；（2）RDT&E修改；（3）采購；（4）采購修改；以及（5）采購運營和維護（O&M）修改。這些類別很容易由人類確定，預計機器學習也會產生同樣的結果。下表顯示了合同類別的分布和每種合同類型的數量。

該算法對80%的文件進行了訓練，然后用來預測其余20%的文件的類別。下面的混淆矩陣顯示了該算法預測合同類型的效果。

文件類型識別的混淆矩陣

對角線元素，也就是最大的數字，顯示了算法在測試樣本中正確識別合同類型的地方。總的來說，該算法對4872個文件中的4607個進行了正確分類，導致總體準確率為94.6%。準確率取決于樣本大小。例如，該算法預測測試數據中的52個文件是RDT&E合同，而95個文件是RDT&E合同，導致近55%的準確率，而3238個采購模式中的3080個，或剛剛超過95%，被正確分類。

后面描述的其他模型表明，合同被成功地轉化為數據。因此，這表明有可能將我們的算法應用于這個數據集，提出相對簡單的問題并獲得合乎邏輯的答案。

跑步

在跑步階段，我們提出了更難的預測問題，以測試機器學習算法使用合同數據集來預測項目績效的能力。我們使用Q-比率作為數量增長的衡量標準，使用數量調整后的項目采購單位成本作為成本增長的衡量標準，以及項目結束日期。使用70%的項目來訓練支持向量機（SVM）模型，并對其余30%的項目的績效指標進行預測。支持向量機無法比隨機猜測更好地預測績效。我們還研究了使用聚類來識別類似程序。盡管我們可以識別相似的程序，但很難確定這些程序為什么相似，這表明在這個領域還需要更多的研究。

結論

我們發現，文本分析和機器學習算法很適合從合同中提取信息，并將這些信息轉化為結構化的數據集。盡管我們的分析使用了幾個不同的指標，表明提取的數據對描述性的目的是有用的，但我們無法確定機器學習算法是否能預測項目的表現。然而，這一結果并不意味著用合同數據集預測項目績效是不可行的。它可能意味著，更完整（或不同）的合同集、其他績效指標或替代算法將改善預測結果。此外，為了改善預測，可能有必要將合同數據與其他來源的數據相結合。

引言

本文件是北約 IST-151 研究任務組 (RTG) 活動的最終報告，題為“軍事系統的網絡安全”。該 RTG 專注于研究軍事系統和平臺的網絡安全風險評估方法。 RTG 的目標如下：

? 協作評估軍事系統的網絡安全，并在 RTG 的北約成員國之間共享訪問權限；

? 在 RTG 的北約成員國之間共享風險評估方法和結果；

? 將 RTG 的北約成員國使用的評估方法整合到一個連貫的網絡安全風險評估方法中，以使北約國家受益。

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。他們大量使用數據總線，如 MIL-STD-1553A/B、CAN/MilCAN、RS-422/RS-485、AFDX 甚至普通以太網，以及戰術通信的舊標準，如 MIL-STD-188C 和 Link 16。此外，捕獲器、傳感器、執行器和許多嵌入式系統是擴展攻擊面的額外無人保護的潛在輸入。結果是增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務的成功和公共安全至關重要。

軍事系統和平臺是網絡攻擊的首選目標，不是因為它們像消費電子產品那樣普遍，而是因為它們潛在的戰略影響。一旦受到影響，就可以實現各種短期和長期影響，從拒絕能力到秘密降低其有效性或效率。因此，軍隊必須在各個層面解決網絡安全問題：戰略層面，同時獲取平臺和系統；作戰層面，同時規劃軍事任務和戰術。

北約國家擁有大量可能面臨網絡攻擊的軍事平臺和系統。因此，北約將受益于利用當前的流程和方法來設計更安全的系統并評估當前系統的網絡安全。

本報告介紹了針對軍事系統和平臺量身定制的網絡安全評估方法，該方法由 RTG 團隊成員合作開發，并建立在他們的經驗和專業知識之上。團隊成員已經使用的流程被共享、分析、集成和擴充，以產生本報告中描述的流程。本報告的目標受眾是愿意評估和減輕其軍事系統的網絡安全風險的決策者。

圖一：網絡安全評估過程的五個主要步驟。

報告結構

第 2 節介紹了 RTG 團隊在其存在的三年中用于開發流程的方法。第 3 節列出了可以應用該過程的系統的一些特征。最后，第 4 節描述了評估流程，而第 5 節總結本報告。

執行總結

軍事平臺比以往任何時候都更加計算機化、網絡化和受處理器驅動。這導致增加了網絡攻擊的風險。然而，這些平臺的持續穩定運行對于軍事任務和公共安全的成功至關重要。

絕對的網絡安全是不存在的。必須通過迭代風險評估持續管理網絡安全。傳統 IT 系統存在許多網絡安全風險管理框架和流程。然而，在軍事平臺和系統方面，情況遠非如此。本文檔介紹了針對軍事系統量身定制的網絡安全風險評估流程。該流程由北約 IST-151 研究任務組 (RTG) 活動的團隊成員開發，該活動名為“軍事系統的網絡安全”。該過程可以應用于傳統的 IT 和基于固件的嵌入式系統，這些系統在軍事平臺和系統中無處不在。

美國軍方和情報界對開發和部署人工智能 (AI) 系統以支持情報分析表現出興趣，這既是利用新技術的機會，也是應對不斷激增的數據過剩的解決方案。然而，在國家安全背景下部署人工智能系統需要能夠衡量這些系統在其任務背景下的表現。

為了解決這個問題，作者首先介紹了人工智能系統在支持智能方面可以發揮的作用的分類法——即自動分析、收集支持、評估支持和信息優先級——并提供了對人工智能影響驅動因素的定性分析。每個類別的系統性能。

然后，作者挑選出信息優先系統，這些系統將情報分析師的注意力引導到有用的信息上，并允許他們忽略對他們無用的信息，以進行定量分析。作者開發了一個簡單的數學模型來捕捉此類系統的錯誤后果，表明它們的功效不僅取決于系統的屬性，還取決于系統的使用方式。通過這個練習，作者展示了人工智能系統的計算影響和用于預測它的指標如何用于描述系統的性能，以幫助決策者了解其對情報任務的實際價值。

報告指出，目前存在多種描述人工智能系統性能的標準方法，包括通常被稱為“精確度”、“召回率”和“準確率”等指標，但這些標準并未提及該系統對其所支持任務的影響。在準確率與情報任務成功之間沒有明確關聯的情況下，只能依據情報任務的完成水平對系統有效性作出臨時判斷。基于此，報告作者將人工智能系統在情報分析過程中可發揮的功能分為四大類，分別評估每項功能的錯誤輸出可能會對結果產生的影響，從而理解“人工智能系統性如何影響情報分析的有效性”。

按照情報周期的組織過程，報告將人工智能系統可在該過程中發揮的作用分為四大“系統功能模塊”，分別是提供評估支持、自動分析、優先信息和收集支持。報告為每個功能模塊設計了函數模型，以詳細推演其在情報過程中的作用。

通過對“從任務到系統”的追溯性推演評估，報告得出兩個一般性結論：首先，在部署人工智能系統前，制定與符合實際情況優先級的情報監測指標十分重要，這一工作應以評估系統部署的實際影響力為指導；其次，系統的有效性不僅取決于系統屬性，還取決于如何使用。

研究問題

• 人工智能系統的性能衡量指標如何與情報分析的有效性相關聯？
• 人工智能如何用于支持智能過程，既反映在真實系統的開發中，也反映在可能尚未開發的假設系統中？
• 研究人員如何對智能過程進行建模，以確定位于該過程中的人工智能系統如何影響它？
• 存在哪些衡量 AI 系統性能的指標？

主要發現

使用與實際優先級不匹配的指標會掩蓋系統性能并阻礙對最佳系統的明智選擇

• 度量選擇應該在系統構建之前進行，并以估計系統部署的實際影響為指導。

有效性，以及衡量它的指標，不僅取決于系統屬性，還取決于系統的使用方式

• 決策者需要考慮的一個關鍵因素是，除了用于構建系統的資源之外，還有多少資源用于任務。

建議

• 從正確的指標開始。這需要詳細了解 AI 系統的使用方式，并選擇反映該使用成功的指標。
• 定期重新評估（和重新調整）。由于系統周圍的世界在部署后繼續發展，因此系統評估必須繼續作為定期維護的一部分。
• 系統設計人員擁有一套完善的衡量 AI 系統性能的指標，熟悉這些傳統指標將在設計新系統或維護現有系統的過程中簡化與專家的溝通。
• 進一步研究評估人工智能系統有效性的方法。