亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

為了應對不斷變化的威脅，美國防部必須快速開發和交付基于軟件的武器和 IT 系統。2023 年 4 月，美國政府問責局發布了一份報告，審查了國防部在多大程度上落實了國防科學委員會和防御創新委員會提出的軟件現代化建議，并為未來的軟件現代化改革做好了準備。在很大程度上，這些建議--以及國防部計劃中和正在進行的努力--側重于通過調整國防部的傳統流程，如簡化采購流程、采用數字化轉型、試行新的籌資方法和提供及時培訓，為作戰人員提供基于軟件的創新能力。本報告將借鑒美國政府問責局近期的工作，重點介紹國防部迄今為止為實現軟件開發和采購方式現代化所做的努力，并將對國防部計劃中的軟件現代化努力以及美國政府問責局為提高國防部實施這些努力的能力而提出的建議發表看法。

敏捷軟件開發

現代軟件交付方法廣泛依賴于敏捷開發。敏捷開發是一種靈活、迭代的軟件開發方式，與傳統的國防部軟件開發流程（即瀑布式方法）相比，它能更早地向用戶交付工作能力。在大多數情況下，采用敏捷方法涉及新的行為和不同的思維方式，是組織運作方式的重大轉變。例如，敏捷實踐要求將規劃、設計、開發和測試整合到一個迭代生命周期中，以盡早和頻繁地交付軟件，從每隔幾天到每隔 60 到 90 天不等。頻繁迭代的目的是有效衡量交付全套功能的進度，降低技術和計劃風險，并對利益相關者和用戶的反饋做出響應。

相比之下，在美國防部傳統使用的瀑布式方法下，需求是在開發之前確定的，軟件通常在開發周期結束時作為一個單一的完整程序交付。軟件開發過程中沒有用戶的持續參與或反饋，程序可能無法在不增加成本和延誤進度的情況下修改需求。這種軟件開發方法與國防部硬件系統的開發如出一轍。圖 1 比較了敏捷和瀑布式軟件開發方法。

圖 1. 敏捷和瀑布式軟件開發框架的比較

有許多框架可供敏捷項目使用，如開發、安全和運營（DevSecOps），這是一種迭代軟件開發方法，它將開發、安全和運營作為向軟件用戶提供有用能力的關鍵要素結合在一起。這些框架提供了指導項目的基本結構。敏捷作為一個概念，并不是規范性的，而是各種迭代軟件方法的總稱。每個框架都是獨一無二的，可能有自己的流程和工件（描述計劃或已完成內容的文檔、數據或其他信息）術語。根據美國政府問責局（GAO）的《敏捷評估指南》，在聯邦環境中實施敏捷時，政府人員和承包商人員應共同確定特定項目使用的敏捷術語和流程。這些框架并不相互排斥，可以結合使用。

美國防部的軟件工廠生態系統

美國防部的軟件工廠生態系統是一系列工具和流程的集合，為整個 DevSecOps 生命周期的各項活動提供支持。軟件工廠使用基于云的計算來組裝一套軟件工具，使開發人員、用戶和管理人員能夠按日常節奏協同工作。如圖 2 所示，這些工具和流程通過三個關鍵階段支持持續迭代開發：規劃、開發和運營，并在每個階段強調安全性。

• 規劃。這一階段涉及幫助項目管理時間、成本、質量、風險和其他問題的活動，如系統設計、項目計劃創建、風險分析和業務需求收集。

• 開發。這一階段包含多個工作流，配備工具和工作流程，在盡量減少人工干預的情況下實現活動自動化，以生產軟件應用程序。

• 運行。在這一階段，軟件被部署到最終用戶。除其他外，在此期間還要進行操作和安全監控。

2018 年 2 月，DSB 指出，軟件工廠是迭代開發實踐的重要組成部分，因為它們允許程序不斷發現錯誤并獲得用戶反饋。

圖 2. 美國防部軟件工廠生態系統

美國國防部的適應性采購框架和軟件采購途徑

2020 年 1 月，國防部重新發布并更新了其采購政策，強調采購流程的速度和靈活性。更新后的指令建立了自適應采購框架，由六種采購途徑組成，每種途徑都是根據所采購能力的特點和風險狀況量身定制的。這六種采購途徑的目的之一是及時向最終用戶提供解決方案（見圖 3）。

圖 3. 美國防部的適應性采購框架

其中一條途徑，即軟件采購途徑，旨在提供高效和有效的安全軟件采購、開發、集成和及時交付。2020 財年國家國防授權法案》第 800 條規定，國防部必須制定這一途徑。該途徑為軟件采購和開發投資決策建立了一個框架，以解決能力、經濟承受能力、風險承受能力和其他考慮因素之間的權衡問題。它分為兩個階段：規劃和執行（見圖 4）。

圖 4. 美國防部的軟件采購途徑

利用這種途徑，小型跨職能團隊--用戶、測試人員、軟件開發人員和網絡安全專家--有望能夠快速迭代地交付軟件，以滿足用戶需求。國防部的政策鼓勵項目官員經常與用戶接觸，并至少每年一次向行動提供新功能。該指令落實了我們在 2019 年提出的建議，即國防部應確保其軟件開發指南在用戶參與和反饋的時間、頻率和記錄方面提供具體、必要的指導。此外，我們還在 2022 年 3 月報告稱，該指南總體上反映了領先公司所采用的主要產品開發原則。

雖然軟件采購途徑提供了許多潛在的方法來提高國防部從現代軟件開發方法中獲益的能力，但我們最近的工作也表明，國防部仍在確定如何對該途徑進行監督。例如，我們在 2021 年 6 月報告稱，國防部尚未收集數據和開發工具，以監督使用該途徑的項目。

2021 年 9 月，美國防部表示已制定了軟件采購途徑數據收集戰略，并與各部門總部和相關項目辦公室共享。此外，國防部還表示，它計劃準備一個半年度報告模板，并收集早期途徑項目的試用報告，以獲得見解、落實建議并改進模板。

參與軟件現代化工作的實體

負責采購和維護的國防部副部長（USD(A&S)）、負責研究和工程的國防部副部長（USD(R&E)）以及國防部首席信息官（CIO）負責領導軟件現代化活動的協調工作，特別是通過軟件現代化高級指導小組（SSG）進行協調。除其他外，軟件現代化高級指導小組旨在促進整個部門采用現代軟件開發實踐，并消除采用的障礙。

OSD 內部的許多其他部門（包括成本評估與項目評估部門 (CAPE)、作戰測試與評估部門 (DOT&E) 主任）以及聯合參謀部和軍事部門也負責執行或監督軟件現代化的某些方面。軟件現代化 SSG 中也有這些組織的代表。

這些部門與軟件現代化相關的部分職責包括

• 美國國防部（A&S）制定軟件采購和維護政策，如國防部軟件采購途徑指令。

• 國防部研發與教育司（USD(R&E)）就國防研究、工程和技術開發的各個方面制定政策并提供建議，如通過研發和科技舉措，推動軟件開發能力向記錄在案的采購項目快速過渡，并使之成為可能。

• 國防部首席信息官就國防部信息技術、信息系統和網絡安全的運作制定戰略和政策，如共同領導制定國防部軟件現代化戰略。

• DOT&E 制定國防部測試政策，包括國防部指令 5000.89《測試與評估》，該指令概述了軟件采購途徑項目的測試指南。

• CAPE 制定成本估算和分析政策，包括國防部指令 5000.73《成本分析指南和程序》，該指令概述了軟件購置途徑項目的成本估算指南。

• 聯合參謀部制定需求驗證補充指南，并針對聯合需求審查軟件程序。

• 軍事部門執行國防部軟件采購政策，并通過決策機構監督軟件采購途徑項目。此外，軍事部門還制定補充軟件政策并管理其軟件員工隊伍。

2023 年 12 月，美國關于安全、可靠和值得信賴地開發和使用人工智能的第 14110 號行政命令發布了一項具有里程碑意義的命令，指示整個政府確保美國在利用人工智能的優勢、創新和進步方面繼續保持領先地位，同時管理納入這一轉型變革的任何風險。美國防部的《負責任的人工智能實施和戰略途徑》文件為所有部門提供指導和監督，說明如何以及何時將人工智能能力納入其任務。太空領域的人工智能技術可以增強太空部隊執行其核心任務的能力，但由于行動的獨特性以及人類與人工智能技術配對所產生的額外協同效應，人類與人工智能的團隊合作是最大限度發揮人工智能能力的最佳方式。雖然在軍事行動中，人類與人工智能的團隊合作并不是一個新概念，但要加快行動適應性，必須解決并獲得作戰人員的信任。

這項工作由 Calian 和 C3 人因咨詢公司根據加拿大國防研究與發展-多倫多研究中心（DRDC TRC）任務 20 "未來自主系統集成的人機協作研究路線圖 "進行，是更大的人機交互（HAI）任務授權合同（TAC；合同：W7719- 185397/001/TOR）的一部分。人機交互任務授權合同的總體目標是設計、開發、實施和評估人機協作（HAT）概念、方法和技術，以提高加拿大武裝部隊（CAF）人機系統（HMS）的整體性能。

本報告介紹了一項研究的結果，其目的是根據目前從事人機協作研究的 DRDC 成員的研究要求，制定一個研究路線圖，以指導 DRDC 未來的研發活動，解決自主系統集成中的人機協作問題。研究路線圖的結構基于美國國家科學院、工程院和醫學院的 BOHSI 委員會的研究成果，該委員會為 HAT 研究確定了 10 個獨特目標和 46 個研究課題。研究路線圖說明了 DRDC 研究人員、其利益相關者（DND）和研究界（如 BOHSI 所述）之間的一致程度。這項研究的成果包括一個時間表，概述了 DRDC 的研究重點以及尚未確定優先次序的領域。

本研究中制定的研究路線圖將有助于指導 DRDC 未來的研發活動，以解決自主系統集成中的 HAT 問題，并為調查 HAT 實驗測試平臺（如合成和/或物理實驗平臺）的操作要求奠定基礎，以便開展未來的 HAT 實證研究。

本文件按以下章節編排：

1.第一部分：導言。本節介紹了本項目的前言和目的；

2.第二部分：研究路線圖： 研究路線圖。本節介紹了根據美國國家科學院、工程院和醫學院人類系統集成委員會 (BOHSI) 報告、HAT 調查和 DRDC 反饋所獲得的數據而制定的研究路線圖，包括方法和結果；以及 3、

3.第三部分： 結論。本節介紹本研究的結論。

北約人為因素與醫學（HFM）研究任務組（RTG）HFM-297 的成立是為了支持 "評估用于提高人體性能的增強技術"。RTG 成員在 2017 年至 2022 年期間舉行了會議。在此期間，小組定期舉行會議（面對面和虛擬會議），以確定其將考慮的增強技術的范圍。這包括制定一個框架，以指導根據一套與人類性能和任務成果相一致的定義指標對增強工具和方法進行受控評估。目標之一是分析增強技術所支持的人類性能的相對優點，并確定跨領域主題，用于建立建議的最佳做法。這包括為繼續應用和研究增強技術以支持人類在軍事環境中的表現提出建議。在開展這些活動的同時，還經常與軍事領域專家和需求持有者以及研究和行業主題專家進行接觸。

為了管理分析中考慮的增強技術范圍，RTG 決定主要關注 "增強 "任務環境和任務過程的技術（如合成環境、界面技術），而不是直接針對操作者的技術（如外骨骼、神經植入）。盡管有這樣的區別，但要嚴格區分 "環境 "和 "操作員 "之間的增強仍具有挑戰性。盡管如此，在確定了范圍之后，RTG 297 著手開發一個框架來分析這些技術，并將研究文獻中的證據與操作要求相結合。這項調查所采用的框架包括應用 "優勢-劣勢-機會-威脅"（SWOT）分析方法。本報告通過正式的 SWOT 分析，按照從部隊組建到行動再到行動后總結經驗教訓的行動時間表，對以下五個性能領域進行了細分：

• 適應性教學和加速準備。
• 任務準備和排練。
• 實時支持和遠程控制
• 認知監控和優化。
• 行動后回顧。

對各性能領域進行 SWOT 分析后，發現所有任務領域和人類性能要求都有一些共同的主題。這些主題包括

• 人類性能前端考慮因素和人為因素原則是成功應用增強技術的核心；

• 在有效實施這些技術的過程中，對數據和信息技術基礎設施的固有依賴性，以及在制定數據標準和總體數據戰略方面持續投資和努力的必要性，以確保互操作性和可擴展性；

• 隨著增強技術越來越多地被軍事組織采用，安全、可靠性、隱私和道德方面的考慮將在增強技術中發揮決定性作用；

• 這些技術本身和可應用這些技術的任務集都具有非常動態（快速發展）的性質，這對系統評估這些技術的有效性和價值提出了重大挑戰，特別是對 RTG 研究中典型的傳統報告形式而言；

• 盡管如此，RTG 審查的證據表明，一些增強技術在培訓（如自適應教學系統、視覺合成環境）和作戰（如增強現實）環境中已經有了良好的記錄；以及

• 一些不斷發展的技術（如機器學習、性能監測、虛擬現實的觸覺界面）在近期和遠期應用中大有可為，可支持軍事人類性能和訓練，但在實際應用之前還需要進一步的研究。

考慮到 RTG 在確定研究范圍、分析框架以及與主題專家合作以確保研究的相關性方面所面臨的挑戰，該小組成員建議北約 STO 考慮采用更具動態性和響應性的流程和格式（例如，利用社區提供的信息進行基于網絡的報告輸出），以便對快速發展的技術領域（如用于人類表現和訓練的增強技術）進行研究。

圖1-2:支持感覺和認知增強的增強模型

這項工作由 Calian 和 C3 人因咨詢公司根據加拿大國防研究與發展-多倫多研究中心（DRDC TRC）任務 20 "未來自主系統集成的人機協作研究路線圖 "進行，是更大的人機交互（HAI）任務授權合同（TAC；合同：W7719- 185397/001/TOR）的一部分。人機交互任務授權合同的總體目標是設計、開發、實施和評估人機協作（HAT）概念、方法和技術，以提高加拿大兵力（CAF）人機系統（HMS）的整體性能。

當前項目的目標是制定一個研究路線圖，以指導未來自主系統（AS）的研發工作及其在加拿大武裝部隊中的集成。具體來說，路線圖將指導未來對部署自主系統的心理、倫理、道德、社會和文化影響的調查。為實現這一目標，加利福尼亞空軍和災難恢復與發展中心的利益相關者參與了一項 HAT 調查。該調查由 13 個涉及 HAT 研究問題的問題組成，使用 Survey Monkey 進行在線管理。調查圍繞四個研究主題展開：了解國防部/加拿大空軍目前正在考慮的人工智能賦能的自動系統類型；根據這些系統的分類法識別風險因素并確定其優先次序；加拿大空軍不同服務部門在使用和應用這些系統方面的異同；以及 DRDC 和加拿大空軍利益相關者之間的一致程度。

這項研究的參與者包括 DRDC 和 CAF 的主題專家 (SME)，他們目前都活躍在與自主相關的項目中（例如，AS 項目中的 CONOPS 工作組）。代表作戰和研究界不同組織的 50 多名受訪者完成了 HAT 調查。調查結果顯示：

1.總體而言，CAF 和 DRDC 利益相關者的主要關注點在于擁有非致命能力的半自主（S-A）系統。這些系統廣泛應用于情報、監視和偵察（ISR）以及指揮與控制（C2）行動。對這些系統至關重要的基礎技術包括計算機視覺、機器人技術和高級數據分析；

2.與加拿大皇家海軍（RCN）和加拿大陸軍（CA）相比，加拿大皇家空軍（RCAF）有不同的優先事項，因為其對完全自主（F-A）系統以及具有致命能力的 S-A 和 F-A 系統的需求有所增加；

3.所有利益相關方都表達了對軍事自主系統的一系列風險考慮。這些問題包括系統有效性、人類系統集成（HSI）和人工智能脆弱性等各個方面。值得注意的是，對具有致命能力的系統的關注程度明顯更高，尤其是與道德、倫理和法律因素相關的風險；

4.關于人因專家確定的九個 HAT 研究主題，它們都被評為關鍵主題，亟需研究關注。在這些主題中，信任、權力轉移和系統透明度/可解釋性被列為最重要的研究課題；以及 5.

5.CAF 和 DRDC 的受訪者在自主系統研究（包括其應用和基礎技術）的精力分配方面達成了顯著共識。但是，在致命自主武器系統領域存在明顯差距，研究界似乎落后于作戰界。

本文是對網絡空間和國家安全思想的重要貢獻。它也是美國網絡司令部（USCYBERCOM）與國防大學（NDU）信息與網絡空間學院（CIC）之間持久而富有成效的關系的一個范例。

2022年年中，USCYBERCOM學術參與網絡開始征集論文，該網絡是在與CIC協商后新成立的機構。由艾米莉-戈德曼（Emily Goldman）和邁克爾-華納（Michael Warner）組成的委員會選出了前三名。經USCYBERCOM J5、美國海軍少將Heidi Berg批準后，入選文章的作者受邀作為小組成員參加了2022年11月17日由USCYBERCOM和CIC在位于華盛頓特區Lesley J. McNair堡的NDU共同主辦的綜合威懾網絡研討會（Cyber Symposium on Integrated Deterrence）。

本卷封面照片拍攝的是USCYBERCOM司令Paul M. Nakasone將軍（美國）為11月活動致開幕詞。在致辭中，中曾根將軍將CIC稱為 "我們的學院"，以表彰他目前領導的職能作戰司令部與其任務領域相一致的主辦戰爭學院級機構之間的密切合作。

在2017財年國防授權法案中，國會將國防大學信息資源管理學院更名為CIC，以優先滿足日益增長的國防網絡勞動力的戰略導向教育需求。更名儀式后不到一年，CIC團隊主辦了2018年網絡空間戰略研討會。2018年活動的核心問題是 "我們需要哪些基本組織原則來更有效地在網絡空間運作？" 該活動幫助制定的一項原則是 "持久參與"，該原則自此廣受歡迎。該活動是CIC支持的一系列USCYBERCOM戰略研討會的第一次，最近一次是2022年11月的活動，本卷主要與之相關。

這里分享的概念可能有助于更好地理解網絡空間和國家安全的現狀，以及如何塑造它們的未來。對于關注這一不斷發展的、相互競爭的優先事項的戰略家、研究人員或實踐者而言，相信你會從中獲得許多重要的戰略見解。

引言

2022年國防戰略（NDS）圍繞綜合威懾概念展開。它要求跨領域、跨戰區和跨沖突范圍的無縫行動，利用非軍事工具，得到合作伙伴的支持和網絡整合的支持。NDS解釋說，在聯合部隊尋求威懾侵略的同時，它也在進行反擊對手在武裝沖突之前的行動，并建立持久優勢以維持軍事實力，使對手相信他們無法通過武裝沖突實現其目標。綜合威懾的基礎是認識到對手有整體戰略，而美國需要自己的整體方法來確保美國的利益和推進國家目標。因此，綜合威懾努力優化所有國家力量工具的使用。

本論文集為正在進行的關于綜合威懾如何支持國家利益的作戰和學術討論增添了新的內容，綜合威懾是NDS三大戰略之一，還包括戰役和建立持久優勢。它還有助于美國網絡司令部在競爭、危機和沖突中扮演網絡空間作戰的角色，以支持新的NDS優先事項：保衛國土、遏制侵略、阻止戰略攻擊和建立一支有彈性的聯合部隊。

本編輯集以Jim Chen的 "網絡空間威懾:綜合威懾的重要組成部分 "開篇，該文提出威懾是防止戰爭和維護穩定的重要手段。陳對威懾的本質進行了研究，并認識到不同類型的威懾適用于不同類型的戰略環境。一種威懾的有效性取決于其特定的戰略背景。為了實現動態威懾，陳曉明提出了多層次、多角度的綜合威懾戰略架構。該架構包含了武裝沖突門檻以下和以上的戰略環境；各種國家力量工具的維度，如外交、信息、軍事、經濟和執法；以及聯盟和伙伴關系。

Michael Navicky和Benjamin Tkach撰寫的第二篇論文 "跨域網絡事件與國家應對 "認為，要建立網絡威懾，就必須分析跨域和多域威脅環境中的網絡威懾。作者反駁了 "參與網絡領域是一項低成本的努力 "這一頑固假設。對于美國試圖威懾的網絡活動類型，對手在人員和基礎設施方面的沉沒成本都是巨大的。網絡威懾的效果往往以網絡攻擊行為來量化，雖然從數量上看是巨大的，但更類似于侵犯國際航行自由或領空的行為。作者認為，在缺乏對侵犯行為進行分類的必要規范的情況下，國防部必須為跨領域的網絡能力威懾信號開發一種類型。

最后，J.D. Work的“反網絡作戰戰役的累積結果:對綜合威懾的貢獻”，該文考慮了新頒布的綜合威懾概念，再次提出了網絡行動如何促進美國基礎國防戰略的問題。盡管在網絡持久性理論基礎上提出的理論繼續為該領域內和通過該領域進行的互動提供強大的解釋價值，但決策者仍在尋求如何將這些新理念與美國態勢的長期目標相協調。工作重新解釋了反對派的因果機制，考慮到其能力的削弱和選擇的減少，即反網絡行動的累積結果，侵略相對于克制的相對利益可能會打折扣。

在21世紀，任何競爭、危機或沖突的發生都離不開網絡因素。我們生活在一個數字化時代，在任何動能沖突之前、期間和之后，敵對勢力都會通過網絡行動相互影響。戰略競爭對手向美國提出一系列挑戰，利用美國的網絡弱點削弱美國的實力。他們還在武裝沖突的門檻之下從事各種形式的惡意行為、脅迫和侵略。網絡空間是這一戰略競爭的主要舞臺；這里有豐富的資源，但防御薄弱，對手的盜竊、破壞和虛假信息活動產生了戰略利益，卻沒有伴隨著使用武力的風險。

沒有網絡空間的支持，就無法行使和使用有效的軍事力量。網絡能力、力量和行動對于綜合威懾和在競爭中取勝的能力至關重要。隨著對手在競爭中努力利用和操縱信息，網絡空間將面臨激烈的競爭；必須創造條件，使聯合部隊在危機和沖突中取得成功。美國不能在競爭、危機或沖突中喪失主動權，尤其是在網絡空間和通過網絡空間。我們必須找到挑戰對手的方法，即使他們受到的政府或社會限制較少，更愿意接受風險，并已積極活動多年。

2019年，美國空軍（USAF）要求美國國家科學、工程和醫學研究院進行一項研究，以審查與未來戰術邊緣數據驅動行動能源需求有關的挑戰和機會。因此，國家研究院在其空軍研究委員會（AFSB）的主持下，成立了美國空軍未來數據驅動行動的能源挑戰和機遇委員會。該跨學科委員會的成員都是志愿者，他們被任命為代表這一高度專業化課題的相關學術、研究和操作經驗。本報告是該委員會的工作成果。

報告總結

邊緣數據設備需要能源

正如《2020年國防未來工作組報告》所指出的，"人工智能、生物技術、量子計算以及空間、網絡和電子戰等方面的進步正在使傳統戰場和邊界變得越來越不重要"。報告中的一個重要發現是，需要取得重大進展，通過利用信息技術日益增長的力量，如人工智能（AI）和機器人技術，提高國家安全和競爭力。

美國空軍(USAF)內部正在進行重大努力，以做到這一點。正在研究和試驗產品和工藝技術，并將其納入未來作戰概念和計劃。這一工作的一個重要部分集中在整合行動上，從戰略到戰術，跨越所有的工作。在考慮這些未來作戰概念時，必須提出的一個問題是：實現以知識為基礎的未來的設備將如何供電？

更確切地說，離穩定和永久地點最遠的設備將如何管理其能源需求？和平時期作戰環境的豐富能源供應，在沖突期間可能無法在部隊預測的最遠處--戰術邊緣--輕易獲得。了解與戰術邊緣的持續數據收集、處理、存儲、分析和通信相關的能源挑戰是制定滿足未來戰場競爭的計劃的重要部分。

克服這些挑戰

委員會咨詢了學術界、政府和工業界的技術專家，以確定與戰術邊緣的能源需求有關的挑戰和問題，以及未來為幫助解決這些挑戰而考慮的任何潛在解決方案。為了理解、解決和常規化將能源因素納入作戰能力，需要進行近期、中期和長期努力。本文件中的建議涉及理解這些需求和不滿足這些需求的連帶效應，將數據處理的能源需求納入任務和單位準備評估，以及研究產品和工藝技術以解決節能計算、彈性、互操作性和戰術邊緣能源管理的替代解決方案。這些建議總結如下。

能源需求和任務準備

這些建議的核心問題是，在戰術邊緣的數據處理和支持作戰行動的功能上需要多少能源。從根本上說，這個問題的答案目前還沒有全面的了解。有理由認為，一個明顯的建議是系統地分析和記錄與支持這些任務的數據處理有關的能源需求。

• 建議1：美國空軍必須將能源需求納入所有武器系統的戰備報告指標。

在全面分析與戰術邊緣數據處理相關的能源需求的同時，重要的是了解能源可用性和質量對這些功能的影響，以及如果能源需求完全或及時得不到滿足，對更大的任務功能和武器系統會產生什么影響。必須了解戰術邊緣的數據能力暫時或持續失去電力對行動的影響，包括從后勤、管理到對目標的有利影響。單位執行任務要求的能力可能會因為無法收集、處理、分析和交流關鍵數據而大打折扣，從而影響到單位和任務的準備。

• 建議2：在新興的數據驅動的作戰環境中，美國空軍的資源和能力準備評估應包括在戰術邊緣提供足夠和適當的能量給數據能力。

“拔掉插頭的演習”

實地演習和培訓通常假定在任何時候和任何需求下都有電源。這也是對通信系統、網絡和其他支持性基礎設施的一個標準假設。在前線部署的情況下或在有爭議的戰斗空間中，應該預計到電力和其他基礎設施將成為攻擊的目標，因此將不會持續提供或斷斷續續。損失可能來自于現有的不良商業基礎設施或敵人的拒絕；缺乏維護；缺乏燃料；或人為錯誤。為了模擬一個現實的未來環境，美國空軍必須在訓練和演習中包括 "熄燈 "情況。這些針對戰術單位和動態基地的拔掉插頭的演習可以揭示出與對戰術邊緣任務的數據可用性預期相關的依賴性。

• 建議3：美國空軍應該對所有現實的實地演習進行“拔掉插頭的演習”，對戰術邊緣數據預期的影響應該被記錄下來并轉達給任務計劃制定者。

• 建議4：關于戰術邊緣數據能力“拔掉插頭的演習”的結果應被用于修訂和更新任務準備度評估。

明確的能源需求

目前，計算支持的能源需求，無論是內部還是外部，目前在任何主要武器系統或任務簡介中都沒有定義。先進的信息技術（IT）能力，如人工智能，以及大規模分布的小型設備和通信節點的使用，影響了戰術邊緣的能源需求，并對任務和武器系統的作戰準備和性能產生影響。這些能源需求必須被定義為所有任務和系統的要求。

• 建議5：美國空軍應將與數據預期有關的能源需求，包括支持和任務或系統內部的能源需求，作為所有任務和系統的明確要求。合同的條款和條件應包括要求具體和完整描述能源需求、類型以及與后勤支持的兼容性的語言。

• 建議6：美國空軍應明確解決戰術邊緣信息環境的能源最小化、功耗監測和能源生成問題，包括所有小型設備和物聯網能力。

人力

支持與分散在戰術、作戰和戰略層面的計算/存儲功能相關的能源需求所需的人力技能是非常重要的，是成功實施數據驅動行動的一個障礙。美國空軍不具備管理、領導、監督或解決與數據驅動行動相關的能源消耗挑戰的有機人力（已經在組織內的人力）。如果沒有了解整個能源需求的有機人力，包括高度專業化的領域，如射頻（RF）工程，美國空軍可能永遠不會實現加強其行動目標的解決方案，而會使自己遭受大量的戰術、行動和戰略風險。這一人力挑戰包括招募、教育、培訓和優化承包商/軍隊的混合，以及對教育的激勵。

• 建議7：美國空軍應建立一個人力計劃，招募、教育、分配和培訓軍事和文職人員，以應對與數據驅動行動相關的能源挑戰。

• 建議8：美國空軍應激勵能源工程師，特別是天線和無線電頻率工程師等專家。

能源復原力和互操作性

雖然在外國部署的美國部隊的技術互操作性是一個眾所周知的問題，但在開發或采購新的電源或分配系統時，這些問題必須是一個具體的考慮。理想情況下，新系統應該自動適應并與外國環境互操作，很少或沒有機械切換或重新配置。

向部署的部隊提供能源的挑戰因物流而變得復雜，物流往往傾向于簡單而不是復雜，大用戶而不是小用戶。在戰術邊緣，小型用戶在全域聯合行動（JADO）概念下的數據收集、分析和通信方面可能有更大的作用，這將使他們成為大型單位作戰準備的依賴。這對需要分析的聯合或多軍種行動有影響，包括所有軍種在戰略制定上的合作。

• 建議9：美國空軍應該開發一個經濟效益模型，探索不同能源輸送模式的效用、機會成本、風險和效益。

• 建議10：美國空軍應探索在戰術性野外演習中實施車聯網（V2G）的相關選擇。

• 建議11：美國空軍應從能源交付的成本效益和與單一能源來源相關的運營成本的角度考慮能源類型和交付方式的后勤尾巴（例如，使用無人機向小用戶交付電池，而不是傳統的燃料車隊）。

• 建議12：美國空軍在設計電力系統（超過變壓器）時，應考慮與外國電力系統和伙伴軍事部隊（如北大西洋公約組織）的互操作性，包括某些元素的標準化和 "即插即用 "能力。

研究

隨著數據驅動的行動對作戰概念變得更加關鍵，能源影響應明確成為規劃過程的一部分，包括研究如何減少能源使用、能源來源暴露于敵對活動，以及提高能源復原力。

減少能源消耗的算法和應用空間已被證明是非常有前途的。已經進行了研究，在操作系統層面和應用層面創建能源消耗意識的算法，看來這一工作路線對于減少在戰術邊緣運行的計算系統的能源需求有很大潛力。雖然眾所周知，聰明的算法設計可以產生能源節約，但仍有更多的研究需要進行，以產生實用的和部署的能源意識算法。需要的研究包括將理論算法轉換為實際可部署的軟件。此外，還需要進一步研究近似技術的作用，以減少能源使用，同時不影響準確性。人們還知道，系統如何架構，包括天線類型和傳輸策略等細節，會對能源使用產生全面影響，這意味著對能源的系統性使用的研究將是有益的。這些研究工作可以支持減少信號發射和熱信號的操作安全目標。

• 建議13：美國空軍應投資于未來與減少能源使用相關的產品和工藝技術的研究，最大限度地減少能源物流風險，并提高與戰術邊緣數據操作相關的能源復原力。

• 建議14：美國空軍應投資研究在實際可部署的軟件中使用能源意識算法。

• 建議15：美國空軍應投資開發軟件算法中的近似技術，在不影響精度的情況下有效降低能耗，達到不可接受的水平。

• 建議16：美國空軍應在現實場景中開展實驗活動，包括各種系統和戰術邊緣單位的部署特點，以指導研究方向和實施潛力。

前進之路

這些建議為美國空軍提供了一種將能源需求納入未來戰場規劃的方法。如果不對能源需求進行明確的規劃并將其納入作戰準備評估，就有可能發生關鍵的故障，從而對整個相連的戰場產生連帶影響。通過建議來執行所描述的議程將是具有挑戰性的，但其結果將大大改善成功部署下一代技術到戰術邊緣的可能性。

在聯合國《特定常規武器公約》（CCW）組織的2016年專家會議上，有意義的人類控制（MHC）作為一個重要概念出現。雖然這個概念與自主武器有關，但它可以更普遍地適用于基于人工智能的軍事系統（包括物理和信息），作為保障此類系統的道德行為、問責制和有效作戰性能包絡的關鍵要求。

本次研討會的核心目標不是要重復國家和國際層面上正在進行的關于人機界面的法律和道德的努力。相反，它是為了從這些正在進行的討論中學習，運用一種完全植根于人類因素和認知科學理解的觀點來解決問題，從而提煉出一套實用的以人為本的準則，為北約在這個日益重要的領域的未來行動提供參考。鑒于MHC的多面性，本次研討會選擇了六個主題進行深入研究。每個與會者都被分配到這些主題中的一個，通過以主題為重點的小型分組會議進行探討。

這些主題是：

1. 人的因素，組織，和MHC的操作考慮因素
2. 實現MHC的人為因素啟發的設計準則
   3）驗證MHC的系統工程方法和衡量標準
   4）敵方對MHC的利用
3. 復雜的社會-技術系統
   6）人類-人工智能團隊的道德責任

本次研討會的結果可以直接為高度集中的后續活動提供建議，這些活動可以讓北約了解如何在廣泛的人工智能應用中識別、實現、維護和重新獲得MHC。研討會的結果可以總結為一個 "五大 "清單，即反復提到的、可能需要進一步調查的問題：

1）信任：人機和人與人之間的信任都要跨越組織或系統的界限。雖然不精確，但 "信任 "確實抓住了關系、思維模式和考慮因素的核心，這對成功的人與人工智能團隊合作至關重要。在這個廣泛的主題內的考慮因素包括感知的性能（和影響它的因素），感知的效用和必要性，依賴的可取性，對人類和人工智能系統的優勢和劣勢的理解，進入依賴行為的更廣泛的社會組織動態，甚至遺傳和心理傾向。

2）人機團隊的認證：作為對機器系統的驗證和核實的替代或增強。

3）評估、方法和度量：能夠評估各種環境和系統中人機交互的存在、不存在以及最好是評估其程度，似乎是絕對的核心，大多數主題都有助于這一主題，或者需要這一主題的產出。

4）對不確定性的認識（行為的、背景的、結果的等）：同樣，由于對系統設計的結果或指令行為的絕對了解可能永遠不可能，任何MHC測量或評估方法都必須處理不確定性。表述并向用戶傳達這一點似乎對MHC非常有用。

5. 語義差距/表述不匹配：理解和表述（最好是識別和預測）組織中、個人之間，特別是人類和人工智能系統之間的語義差距困難的前景，看起來既是在可行性的邊界上，也將大大有助于減少誤解，因為誤解可能導致有效的人機交互的損失。

制定量化不確定性元數據的軍事標準是解決利用人工智能/機器學習（AI/ML）軍事優勢所固有的問題。通過提供元數據，美國防部可以繼續確定使用人工智能/機器學習的最佳策略，與能力發展同步進行。這種協調將防止在解決與在作戰系統中實施AI/ML有關的困難技術問題時出現延誤。不確定性量化可以使觀察、定向、決定和行動循環的實際數字實施成為可能，解決在戰爭中使用AI/ML的道德問題，并優化研究和開發的投資。

引言

從基礎上講，美國軍隊不需要人工智能/機器學習（AI/ML）。然而，軍隊需要能夠比對手更快、更好地觀察、定位、決定和行動（OODA），以實現軍事優勢。機器有能力以比人類更快的速度進行觀察、定位、決定和行動，從而實現這一優勢。然而，關于允許AI或ML模型 "決定 "最佳軍事行動方案是否合適的問題仍然沒有定論，因為該決定可能導致破壞和死亡。

利用AI/ML的軍事優勢的潛在隱患已經被不厭其煩地提出來。有三個問題仍然是最令人擔憂的：（1）解決賦予AI摧毀事物和人的權力的道德和倫理考慮；（2）平衡發展AI/ML能力的成本和軍事效用；以及（3）確保對機器的適當信任水平，以最佳地利用對能力發展的AI/ML部分的投資。然而，作為元數據納入軍事信息的不確定性量化（UQ）可以解決這三個隱患，同時遵守美國防部的人工智能倫理原則。

美國防部的人工智能戰略將AI/ML技術的成熟作為優先事項并加以激勵。其結果是，試圖快速實施能力的活動紛至沓來，而對能力增長的可持續性或AI/ML使用的高階影響規劃卻少之又少。正如一位國防研究人員所指出的，"當技術變革更多的是由傲慢和意識形態驅動，而不是由科學理解驅動時，傳統上調節這些力量的機構，如民主監督和法治，可能會在追求下一個虛假的黎明時被削弱。"

美國國防高級研究計劃局認為，目前的AI/ML系統 "缺乏必要的數學框架 "來提供使用保證，這阻礙了它們 "廣泛部署和采用關鍵的防御情況或能力。"保證需要信心，而信心需要最小的不確定性。使用AI/ML的系統的這種保證可以幫助解決道德方面的考慮，提供對開發成本與效用的洞察力，并允許其在戰爭中的使用責任由最低層的指揮官和操作員承擔。

通過在AI/ML系統中實施不確定性量化的軍事標準，美國防部可以確保對這些系統非常需要的信任。此外，如果美國防部將不確定性量化作為對開發者的要求，有可行的方法來應用現有的數學方法來確定和傳播不確定性。然而，當軍方將這一標準應用于信息時，它必須牢記不確定性量化的高階效應和挑戰。

AI/ML的不確定性量化

為了解決上述三個陷阱，任何軍事數字系統內部和都應該要求進行不確定性量化。不確定性量化是為系統中的不完美或未知信息分配一些數字的過程，它將允許機器實時表達它的不確定性，為建立對其使用的信任增加關鍵的透明度。美國防部應實施一項軍事標準，規定對數字系統中的每個數據或信息的元數據進行不確定性的量化標記。一旦可用，這些元數據可以通過功能關系傳播到更高層次的信息使用，為AI或ML模型提供所需的信息，以始終表達它對其輸出的信心如何。

理解作為元數據的UQ需要理解計量學的基礎概念--與測量不確定度有關的權重和計量科學。也就是說，一個測量有兩個組成部分： 1）一個數值，它是對被測量量的最佳估計，以及2）一個與該估計值相關的不確定性的測量。

值得注意的是，2008年國際標準化組織（ISO）的《測量不確定性表達指南》定義了測量不確定性和測量誤差之間的區別。這些術語不是同義的："通常在被測物[被測量的量]的報告值后面的±（加或減）符號和這個符號后面的數字量，表示與特定被測物有關的不確定性，而不是誤差。誤差是指測量值與實際值或真實值之間的差異。不確定度是許多誤差的影響"。

在軍事術語中，"測量"是在OODA循環中收集和使用的任何信息。每條信息都是由某種傳感器測量的，并且會有一些不確定性與之相關。作為元數據的不確定性量化將至少采取兩種形式：根據經驗產生的測量不確定性（基于上文概述的計量標準）和統計學上假設的不確定性（通過一些手段確定，其中有很多）。

操作員在使用具有UQ功能的系統時，可以使用系統報告的不確定性來告知他們的戰術決策。指揮官可以利用這種系統在作戰甚至戰略層面上為各種類型的軍事行動設定所需的預定義信任水平，這可以幫助操作人員在使用AI或ML模型時了解他們的權限是什么。這也將有助于采購專業人員為AI/ML能力的發展做出適當的投資決定，因為它將量化效用的各個方面。此外，在使用AI/ML的系統中提供量化的最低限度的確定性要求，可以解決上面討論的三個隱患。

就使用AI的道德和倫理問題而言，對于 "讓AI或ML模型決定將導致破壞和死亡的軍事行動方案，是否符合道德或倫理？"這個問題沒有單一的正確答案。正如所有的道德和倫理辯論一樣，以絕對的方式處理是不可能的。

因此，美國防部應將軍事行動分為三個眾所周知的機器自主性相對程度之一：機器永遠不能自己做的事情，機器有時或部分可以自己做的事情，或機器總是可以自己做的事情。然后，美國防部可以為這些類別中的每一類定義一個最低的確定性水平作為邊界條件，并且/或者可以定義具體行動所需的最低確定性水平。決策或行動的關鍵性將推動UQ邊界的確定。使用不確定性量化包含了在處理使用AI/ML的系統的道德考慮方面的細微差別和模糊性。

當涉及到平衡人工智能/機器學習的成本與使用時，美國防部的受托責任是確保對人工智能/機器學習發展的投資與它的軍事效用成正比。如果人工智能/機器學習政策禁止美國軍隊允許人工智能決定摧毀某物或殺人，那么開發和采購一營完全自主的殺手機器人就沒有任何意義。因此，預先定義的最低不確定性界限將使采購專業人員能夠確定如何最好地使用有限的資源以獲得最大的投資回報。

在能力發展過程中優化對AI/ML的信任，將需要對AI/ML采購中普遍存在的經驗不足以及機器學習中不確定性量化科學的相對稚嫩進行保障。"不確定性是機器學習領域的基礎，但它是對初學者，特別是那些來自開發者背景的人造成最困難的方面之一。" 系統開發的所有方面都應該包括不確定性量化的元數據標簽，無論系統是否打算自主使用。

這些輸出可能會被卷進更高層次的數字能力中，然后需要UQ數據來計算不確定性的傳播。例如，F-16維護者的故障代碼閱讀器應該有不確定性量化元數據標記到每個故障讀數，在源頭提供這種量化。讀碼器本身并不打算納入人工智能或機器學習模型，而且該數據可能不會立即用于人工智能/ML應用，但故障數據可能會與整個艦隊的故障數據進行匯編，并提交給預測倉庫級維護趨勢的外部ML模型。元數據將跟隨這組數字信息通過任何級別的編譯或高階使用。

要求將不確定性量化元數據作為一項軍事標準，實現了美國防部長關于人工智能道德原則的意圖，其中包括五個主要領域：

• 負責任： UQ為判斷提供依據，為開發、部署和使用人工智能能力提供經驗基礎。
• 公平性： 人工智能中的偏見可以用與不確定性相同的方式來衡量，并且是基于許多相同的統計學原理。然后，偏見可以被解決和改善。
• 可追溯性： 要求每個層次的不確定性元數據能夠保證可追溯性。機器的性能問題可以追溯到有問題的部件。
• 可靠性： UQ允許開發人員檢查，并允許有針對性地改進最惡劣的輸入因素。
• 可管理： UQ作為自主性信任等級的邊界條件，可以用來定義實現預期功能和避免意外后果的準則。

采用這些道德原則是為了確保美國防部繼續堅持最高的道德標準，同時接受人工智能這一顛覆性技術的整合。不確定性量化是實現這一目標的實用方法。

在AI/ML中建立信任

蘭德公司的一項研究發現，信任是與人工智能/ML的軍事用途有關的大多數擔憂的根本原因。國防部研究人員指出，"當涉及到組建人類和自主系統的有效團隊時，人類需要及時和準確地了解其機器伙伴的技能、經驗和可靠性，以便在動態環境中信任它們"。對于許多自主系統來說，它們 "缺乏對自身能力的認識，并且無法將其傳達給人類伙伴，從而降低了信任，破壞了團隊的有效性"。

AI/ML模型中的信任從根本上說是基于人類對信息的確定性，無論是簡單的傳感器輸出還是自主武器系統的整體能力。這一點得到了MITRE公司研究的支持： 人工智能采用者經常詢問如何增加對人工智能的信任。解決方案不是讓我們建立人們完全信任的系統，也不是讓用戶只接受從不犯錯的系統。相反，教訓指出了在證據和認知的基礎上形成良好的伙伴關系的重要性。良好的伙伴關系有助于人類理解人工智能的能力和意圖，相信人工智能會像預期的那樣工作，并在適當程度上依賴人工智能。然后，利益相關者可以校準他們的信任，并在授予人工智能適當的權力之前權衡人工智能決定的潛在后果。

通過將機器--數字或物理--視為合作伙伴，軍方可以將其與人類合作伙伴的信任建立技術進行類比。健全的伙伴關系需要有效的雙向溝通和加強合作的系統。"事實上，數字系統輸出中的不確定性措施是沒有用的，除非這種不確定性可以傳達給人類伙伴。一旦機器能夠量化不確定性，并且能夠傳達這種量化，它們也能夠對輸出進行評估并改進系統。

機器對其自身能力的認識的實時反饋，將通過提供每個循環中的不確定性的量化，增加機器的觀察、定位和決定功能的透明度。這種反饋提高了對該特定系統的信任，并通過不確定性的傳播實現了對系統中的系統的信任量化。例如，考慮遙控飛機（RPA）對一個潛在目標的視頻監控。如何確定RPA的傳感器是準確的和經過校準的，視頻流沒有被破壞，和/或操作者已經得到了關于首先將傳感器指向何處的健全的基線情報？

OODA環路的每一個組成部分都有一些相關的不確定性，這些不確定性可以而且應該被量化，從而可以用數學方法傳播到決策層面。在這種情況下，它將導致目標正確性的x%的傳播確定性，使任務指揮官對他們的態勢感知（觀察）充滿信心，并使他們能夠更好地確定方向，更快地決定是否參與。

通過量化不確定性，并將其與各類行動所需的預定信心水平結合起來使用，決策者可以圍繞那些幾乎沒有道德影響的軍事行動以及那些有嚴重道德影響的軍事行動創造邊界條件。國防部高級領導人還可以為開發和應用人工智能/ML能力的投資比例設定門檻，并可以確保投資將被用于實現最佳軍事優勢。這將通過 "量化-評估-改進-溝通 "的循環為使用人工智能/ML的系統提供保證。

不確定性量化允許設置如果-那么關系，以限制機器的可允許行動空間。在另一個簡略的例子中，一個空間領域意識任務可以使用紅外傳感器數據來識別空間飛行器。如果-那么關系可能看起來像這樣： 如果傳感器數據與目標的關聯模型的確定性大于95%，那么該目標識別信息可以在國家空間防御中心目錄中自動更新。如果傳感器數據與目標的關聯模型的確定性大于75%但小于95%，那么機器可以嘗試與確定性大于75%的信號情報（SIGINT）進行匹配，或者可以將信息發送給人類進行驗證。

因此，使用量化的不確定性使指揮官能夠將決策樹根植于人工智能/ML模型可使用的參數中，并指導如何使用這些人工智能/ML模型。在考慮機器自主性的三個相對程度時，指揮官可以預先定義每一類行動的輸入的不確定性水平，作為何時以及在何種情況下讓機器決定是有意義的指導方針，明確界定使用人工智能或ML模型的參與規則。

所有武器系統，無論是否打算納入自主性，都應在其計劃的用戶界面中提供不確定性元數據。了解所有輸入的不確定性對傳統武器系統的用戶和人工智能/ML的應用一樣有利。通過現在提供元數據，國防部高級領導人可以繼續確定使用AI/ML的最佳治理和政策，而不會放慢技術和工程發展。任何這樣的治理都可以在未來通過參考系統內組件級或輸出級的量化不確定性來實施。

數學實現

將不確定性量化和傳播應用于收緊OODA循環，假定功能關系可用于定義軍事情況。函數關系是這種應用的最佳數學方法，因為一般可以證明函數值和輸入變量之間存在因果關系，而不需要具體確定關系的確切數學形式。通過假設這些函數關系的存在，可以使用一個描述不確定性傳播的一般方程式。

一個帶有不確定性條款的通用函數關系看起來像：

其中y是輸出，u(y)是該輸出的不確定性，有n個輸入變量，其相關的不確定性影響該輸出。這表明y取決于n個輸入變量，并且按照 "不精確概率論者 "的風格，y的精確值在y+u(y)到y-u(y)的區間內。

這種旨在改善醫學實驗室研究的想法的直接應用也涉及到軍事決策。"與任何測量相關的不確定性及其通過定義的函數關系的傳播可以通過微分（部分微分）和應用不確定性傳播的一般方程來評估。"這些數學方法將捕捉到在一個非常復雜的系統中許多測量物變化時不確定性的變化。這個不確定性傳播方程可以用標準的統計程序得出，最重要的是，它與函數關系的確切形式無關。

請那些更精通統計學的人將這種方法提交給進一步的案例研究，并確定在需要包括許多輸入變量時，在非常大的系統層面計算傳播的不確定性的可行性。已經表明，"問題越復雜，獲得校準的不確定性估計的成本就越高"。這種方法通過作戰級別的人工智能/ML模型（即涉及一翼或一營的交戰）可能是可行的，但更高層次的戰略不確定性傳播（即包括政治經濟或核因素的戰役級模型）可能需要不可行的計算能力來實時計算。

作為輸入數據集的一部分，通過機器學習模型傳播測量的不確定性比使用統計方法來估計模型內的不確定性要少得多。數據科學家和人工智能研究人員將熟悉大量專注于假設機器學習模型內的不確定性的研究，但許多歷史工作并沒有采取調整認識上的不確定性--ML模型的訓練數據量不足--與訓練數據集中的測量不確定性的方法。

測量的不確定性可以被認為是數據中的噪聲和/或觀察中的變異性。在數字系統中實施不確定性量化時，需要對不確定性的其他方面進行量化，如領域覆蓋的完整性，也就是輸入數據集的代表性，以及軍事問題的不完善建模，這是模型開發過程中不正確的基線假設的結果，最終植根于人類判斷的不完善。

一個更現代的傳播方法，可能計算量較小，可能是使用機器學習來假設不確定性。來自其他學科使用神經網絡的證據顯示，納入已知的輸入數據不確定性，"與不使用它們的情況相比，對做出更好的預測是有利的"。這些研究人員還建議進一步調查在貝葉斯深度學習框架中使用已知的輸入數據不確定性 "作為要得出的不確定性的初始值"，這將是一種與統計學得出的不確定性協同傳播經驗不確定性的方式。

使用數學方法來傳播不確定性，將納入并考慮到不確定性的影響--無法解釋的數據的固有隨機性--以及認識上的不確定性。擬議的軍事標準應將測量不確定性的要求與傳播到高階用途的要求結合起來，如機器學習或更抽象的建模和模擬。用軍事術語來說，通過這種方法使UQ標準化，不僅要考慮基線觀測數據的不確定性，還要考慮與方向和行動有關的數據不確定性。

軍事用途的數學問題

為了繼續與軍事戰略進行類比，功能關系描述了在OODA循環中如何獲得軍事優勢，以及不確定性如何在該過程中傳播。

在這個特意象征性的等式中，觀察和定位是恒定的活動，而決策和行動是時間上的離散事件。所期望的軍事效果的成功概率是基于循環中每個輸入變量的不確定性的傳播：操作者有多大把握(a)他們的觀察抓住了現實，(b)他們以預期的方式定向，(c)他們的決定以預期的方式執行，以及(d)他們的行動沒有被打亂。

這種方法的障礙在于它需要對不確定性的事先了解，這是目前無法獲得的元數據，因為在經驗情況下確定它的成本通常很高，而在統計情況下有許多可接受的方法來生成它。這就回到了建議的解決方案，即征收要求和標準，以提供與每個輸入變量相關的不確定性作為元數據。一旦提供，匯編觀測和定位數據的人工智能/ML系統可以使用元數據進行傳播，并向操作者或指揮官提供情況圖中的總體量化不確定性。當實時使用時，這種方法內在地捕捉了OODA循環的決策和行動步驟的各個方面。

高階效應和挑戰

一項分析表明，將不確定性信息傳達給無人駕駛車輛的操作員并使之可視化，有助于提高人類-AI團隊的績效。但其他人工智能研究人員也表明，"需要更多地研究如何以對用戶有意義的方式，最好地捕捉和呈現開發者的[不確定性量化]"。他們進一步指出，"讓用戶對他們不了解的方面有看似控制的感覺，有可能給人以清晰和知情控制的錯覺，造成額外的自動化偏差，或者干脆讓用戶選擇一個給他們想要的答案的選項。" 這一發現堅實地進入了決策理論和心理學的工作體系。有一些統計方法試圖用算法來定義判斷和決策，使用這些方法有風險。

一項單獨的分析提供了判斷和決策文獻中與決策中使用不確定性估計有關的結論。該研究的結論是，向利益相關者提供不確定性估計可以通過確保信任的形成來提高透明度： "即使是經過良好校準的不確定性估計值，人們也會有不準確的認識，因為(a)他們對概率和統計的理解程度不同，(b)人類對不確定性數量的認識往往受決策啟發式的影響。

作者進一步補充說，"非專業人士和專家都依賴心理捷徑或啟發式方法來解釋不確定性"，這 "可能導致對不確定性的評估出現偏差，即使模型輸出是經過精心校準的"。不出所料，關于這個問題的主要啟示是，所選擇的UQ交流方法應首先與利益相關者進行測試，開發人員應滿足他們的UQ顯示和用戶界面的不同終端用戶類型。例如，向數據科學家介紹不確定性量化應該與向戰時決策的操作員介紹UQ不同。情報界在確定傳達與軍事信息相關的不確定性的最佳方法方面有著悠久的歷史，因此它對 "估計概率詞 "的約定可能是后一類終端用戶的合適出發點。

當考慮在作戰和戰略決策層面使用傳播的不確定性時，有可能使用傳播計算可能使UQ數字變得不相關和不可用，因為在非常復雜的系統中，不確定性接近100%的期望輸出。順便說一句，這是一個有趣的結論，可能指向 "戰爭迷霧 "的數學證明。進一步調查計算非常大的系統級別的傳播的不確定性可能會更好地闡明這個結論。

然而，這種高度傳播的不確定度的潛在缺陷并不足以反駁實施不確定度軍事標準的做法。包括每個級別的元數據標簽，使操作人員能夠檢查哪些因素造成了最大的不確定性，哪些因素是指揮官可以有高度信心的，這仍然是非常有用的信息。當操作員的帶寬在高壓力交戰之外可用時，這些元數據標簽允許操作員檢查功能關系中輸入變量之間的協方差和相關性。這些元數據還可以被采集專業人員用于評估和改進任務，通過識別系統性錯誤并將其消除，以及識別造成隨機錯誤的最嚴重的罪犯。

高度傳播的UQ可能是不相關的，這也強調了發展健全的軍事判斷的永久重要性。正如在任何不確定性非常高的軍事情況下，為實現軍事優勢，將需要具有敏銳性的操作員和指揮官。使用人工智能/ML來觀察、定位、決定和比對手更快地行動，只有在行動優越的情況下才會導致勝利。勝利理論的這一層面與要求、傳播和以標準化的方式交流UQ的論點不同。

最后，AI/ML要求輸入數據是感興趣領域的 "具有適當代表性的隨機觀察樣本"。重要的是，"在所有情況下，我們永遠不會有所有的觀察結果"，而且在感興趣的領域內 "總會有一些未觀察到的情況"。盡管人工智能或ML算法是在一個不充分的數據集上訓練出來的，但試圖在數據抽樣中實現對該領域的全部觀察覆蓋也是不理想的。

當以較高的行動節奏將人工智能/ML應用于OODA循環時，提高領域的覆蓋率并不需要更多的抽樣，而應該通過抽樣中更多的隨機化來實現，重點是確定準確的測量不確定性。上述關于已知輸入數據的研究從理論上和經驗上證明，將數據的不確定性納入一系列機器學習模型的學習過程中，使模型對過擬合問題更有免疫力--當模型與訓練數據集擬合得過于緊密時，就會出現不可接受的ML行為，導致在負責評估未知數據時出現不準確的預測結果。

過度擬合的問題并不是機器學習所獨有的，從根本上說是由輸入數據集的缺陷造成的。"簡單地說，不確定性和相關的無序性可以通過創造一個更高更廣的更一般的概念來代表現實的直接假象來減弱"。這導致了對該領域的最大統計覆蓋，對被觀察系統的侵擾最小。它還最大限度地減少了數據和元數據集的大小，從而在高階使用中提高了UQ傳播方程的計算效率。

結論

實施量化不確定性元數據的軍事標準，并發展傳播、評估、改進和交流該信息的能力，將為繼續追求AI/ML的軍事用途能力提供最大的靈活性。使用人工智能/ML系統的不確定性量化，通過溝通、透明和參與共同經歷來發展這種信任，使人機團隊內部能夠相互信任和團結。使用AI/ML系統實現軍事目標的保證需要量化的不確定性。

與軍事戰略的概念相聯系，這種不確定性量化的整個框架有助于一個成功的組織。通過現在提供UQ元數據，國防部高級領導人可以繼續確定使用人工智能/ML的最佳治理和政策，而不耽誤技術和工程開發。隨著作戰人員使用UQ來發展對AI/ML伙伴的信任，軍隊的觀察、定位、決定和行動的能力將比對手更快，并確保軍事優勢。

2022年7月，喬治敦大學安全與新興技術中心（CSET）和斯坦福大學網絡政策中心的地緣政治、技術和治理項目召開了一次專家研討會，研究人工智能系統的漏洞與更傳統類型的軟件漏洞之間的關系。討論的主題包括：人工智能漏洞在多大程度上可以根據標準網絡安全程序進行處理，目前阻礙準確分享人工智能漏洞信息的障礙，與人工智能系統的對抗性攻擊有關的法律問題，以及政府支持可以改善人工智能漏洞管理和緩解的潛在領域。

參加研討會的人員包括擔任網絡安全和人工智能紅隊角色的行業代表；具有進行對抗性機器學習研究經驗的學者；網絡安全監管、人工智能責任和計算機相關刑法方面的法律專家；以及負有重要人工智能監督職責的政府代表。

本報告旨在完成兩件事。首先，它提供了一個關于人工智能漏洞的高層次討論，包括它們與其他類型的漏洞不相似的方式，以及關于人工智能漏洞的信息共享和法律監督的當前狀況。其次，它試圖闡明研討會上大多數與會者所認可的廣泛建議。這些建議分為四個高層次的主題，具體內容如下：

1.主題：為人工智能漏洞擴展傳統的網絡安全

1.1. 建議：構建或部署人工智能模型的組織應使用一個風險管理框架，解決整個人工智能系統生命周期的安全問題。

1.2. 建議：惡意機器學習研究人員、網絡安全從業人員和人工智能組織應積極嘗試擴展現有的網絡安全流程，以涵蓋人工智能漏洞。

1.3. 建議：對抗性機器學習領域的研究人員和從業人員應與處理人工智能偏見和穩健性的人員以及其他具有相關專業知識的社區進行磋商。

2.主題： 改善信息共享和組織安全心態

2.1. 建議：部署人工智能系統的組織應追求信息共享安排，以促進對威脅的理解。

2.2. 建議：人工智能部署者應強調建立一種安全文化，在產品生命周期的每個階段都嵌入人工智能開發中。

2.3. 建議：高風險人工智能系統的開發者和部署者必須將透明度放在首位。

3.主題：澄清人工智能漏洞的法律地位

3.1. 建議： 擁有網絡安全權力的美國政府機構應澄清基于人工智能的安全問題如何適應其監管結構。

3.2. 建議： 目前沒有必要修改反黑客法來專門解決攻擊人工智能系統的問題。

4.主題： 支持有效研究以提高人工智能安全

4.1. 建議： 攻擊性機器學習研究人員和網絡安全從業人員應尋求比過去更緊密的合作。

4.2. 建議： 促進人工智能研究的公共努力應更多地強調人工智能安全，包括通過資助可促進更安全的人工智能開發的開源工具。

4.3. 建議： 政府政策制定者應該超越標準的制定，提供測試平臺或促成審計以評估人工智能模型的安全性。