亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文建立的人工智能模型可以改善生活，幫助解決復雜的挑戰，但我們知道，威脅行為者有時會試圖濫用模型來傷害他人。這包括濫用模型來支持秘密影響力作戰（IO）的人。應對這些威脅需要許多學科和組織的共同努力。OpenAI 致力于在破壞 IO 和威脅情報共享方面發揮自己的作用。

本報告調查了威脅行為者利用OpenAI產品進一步開展隱蔽在線 IO 的活動。將此類行動定義為 “在不暴露幕后行動者真實身份或意圖的情況下，試圖操縱公眾輿論或影響政治結果的欺騙行為”。其中一些行動已廣為人知；另一些行動則是OpenAI發現的。雖然OpenAI觀察到這些威脅行動者使用OpenAI模型進行了一系列 IO，但他們都試圖欺騙人們，讓人們不知道他們是誰或他們試圖達到什么目的。

調查顯示，雖然這些行動背后的行動者試圖使用我們的模型生成內容或提高生產力，但這些活動似乎并沒有因為使用我們的服務而有意義地提高受眾參與度或影響力。

美海軍研究辦公室（ONR）意識到，自 2018 年以來，錯誤信息/不實信息/惡意信息（MDM）活動有所上升，并認識到美國政府亟需設計和實施一項計劃，以保護軍人免受錯誤信息/不實信息/惡意信息活動的潛在惡意影響。ONR 還意識到有關該主題的研究日益強大，并認識到匯總此類循證研究的益處，以便為制定保護軍人的計劃提供信息。為了支持 ONR 的目標，用通俗易懂的語言解釋了有關四類反軍事地雷干預措施的循證研究：干預、揭穿、事實核查和媒體掃盲。更具體地說，討論了每種干預措施的起源和邏輯，總結了總體研究成果，指出了需要持續分析的問題，并討論了每種干預措施的效果通常會持續多久。完成本綜述是為了支持一個更廣泛的項目，該項目的目標是推薦美國政府可能采取的單一干預措施（或一整套干預措施），以保護軍人免受外國惡意影響。

在整個 20 世紀，美國的盟友和對手一直在使用說服和影響力工具，幾十年來，對手試圖利用說服和影響來傷害美國及其盟友一直被視為國家安全的優先事項。在此背景下，美國長期以來一直擔心外國利用說服和影響手段對付美國軍人。雖然對這一問題的擔憂隨著冷戰的結束而減弱，但利用研究積極保護美國軍人免受惡意說服和影響--來自錯誤信息/不實信息/惡意信息（MDM）--的需求再次變得迫切起來。根據陸軍高層領導于 2020 年 5 月指導的一項調查，盡管俄羅斯等自 2020 年 3 月以來一直在傳播與病毒有關的 MDM，但幾乎 90% 的美國陸軍士兵和文職雇員都沒有從其單元收到任何有關 COVID-19 的敵對宣傳信息。這種認識上的缺失--缺乏對抗 MDM 的培訓--使軍人容易受到外部影響。這也實際上將作戰空間讓給了對手，使其可以在信息領域對軍人施加潛在影響。

本報告是關于新興技術對美國國土安全部（DHS）任務和能力影響的系列分析報告之一。作為這項研究的一部分，作者負責開發一種技術和風險評估方法，用于評估新興技術并了解其對國土安全的影響。該方法和分析為國土安全部更好地了解新興技術及其帶來的風險奠定了基礎。

本報告重點關注人工智能（AI），尤其是與關鍵基礎設施相關的人工智能。作者借鑒了有關智能城市的文獻，在評估技術時考慮了幾個屬性：技術可用性、風險和情景（作者將其分為威脅、脆弱性和后果）。本分析中考慮的風險和情景與影響關鍵基礎設施的人工智能使用有關。這些用例可以是用于監控關鍵基礎設施，也可以是對手利用人工智能對關鍵基礎設施進行非法活動和邪惡行為。風險和場景由國土安全部科技局和國土安全部政策辦公室提供。作者比較了短期（最多三年）、中期（三至五年）和長期（五至十年）三個時期的屬性，以評估人工智能關鍵基礎設施的可用性和相關風險。

研究問題

• 未來十年，關鍵基礎設施中人工智能應用的技術可用性如何？
• 在這十年期間，科技成熟度；用例、需求和市場力量；資源；政策、法律、道德和監管障礙；以及關鍵基礎設施應用的技術可得性將如何變化？
• 未來十年，人工智能可能會給關鍵基礎設施應用帶來哪些風險和情景（包括威脅、脆弱性和后果）？

主要結論

• 人工智能是一項變革性技術，很可能被廣泛應用于整個社會，包括關鍵基礎設施。
• 人工智能可能會受到許多與其他信息時代技術相同的因素的影響，如網絡安全、保護知識產權、確保關鍵數據保護以及保護專有方法和流程。
• 人工智能領域包含眾多技術，這些技術一旦問世，就會被納入人工智能系統。因此，人工智能科學和技術的成熟度將基于幾個基本技術領域的關鍵依賴性，包括高性能計算、先進半導體開發和制造、機器人技術、機器學習、自然語言處理以及積累和保護關鍵數據的能力。
• 要將人工智能置于當前的成熟狀態，不妨劃分三個人工智能類別：人工狹義智能（ANI）、人工通用智能和人工超級智能。到本分析報告所述的十年期結束時，人工智能技術很可能還只是達到了窄人工智能（ANI）的水平。
• 人工智能將為關鍵基礎設施和專用智能城市的最終發展帶來機遇和挑戰。
• 2023 年 3 月推出的 ChatGPT-4 提供了一個有趣的案例研究，說明這些人工智能技術--這里指的是大型語言模型--將如何走向成熟并融入社會。最初的推廣說明了一個周期--開發、部署、找出不足和其他潛在使用領域，以及快速更新人工智能系統--這可能是人工智能的一個特點。

計算力（或稱 "計算"）對于開發和部署人工智能（AI）能力至關重要。因此，政府和公司開始利用計算作為管理人工智能的手段。例如，政府正在投資國內計算能力，控制計算向競爭國家的流動，并對某些行業的計算訪問提供補貼。然而，這些工作只是從表面上了解了如何利用計算來管理人工智能的開發和部署。與人工智能的其他關鍵投入（數據和算法）相比，人工智能相關計算是一個特別有效的干預點：它是可檢測、可排除、可量化的，并且是通過極其集中的供應鏈生產出來的。這些特點，加上計算對尖端人工智能模型的獨特重要性，表明對計算的管理有助于實現共同的政策目標，如確保人工智能的安全和有益使用。更確切地說，政策制定者可以利用計算促進人工智能的監管可見性，分配資源以促進有益的結果，并對不負責任或惡意的人工智能開發和使用實施限制。然而，雖然基于計算的政策和技術有可能在這些領域提供幫助，但其實施的準備程度卻存在很大差異。一些想法目前正在試行，而另一些則因需要進行基礎研究而受到阻礙。此外，在隱私、經濟影響和權力集中等領域，樸素或范圍不清的計算治理方法會帶來巨大風險。最后，我們將提出一些建議，以最大限度地降低計算治理的這些風險。

圖 1：報告中的核心概念摘要。計算因其四種特性而對政策制定具有吸引力。可以利用這些特性來設計和實施政策，從而實現人工智能治理的三種關鍵能力。

在第 2 節 "人工智能能力、人工智能治理和計算概述 "中，我們提供了幾個主題的基本背景，作為后面章節的基礎。我們討論了作為人工智能發展關鍵投入的人力資本、數據、算法和計算。然后，我們描述了人工智能生命周期的各個步驟（包括設計、培訓、增強和部署）--其中每個步驟都是可能的干預點（并具有獨特的計算足跡）。我們接著討論了人工智能可能對社會產生的影響，以說明負責任治理的重要性。隨后，我們將回顧目前在治理計算方面所做的努力，以便為后面的章節提供背景資料。

在第 3 節 "為什么計算治理對決策具有吸引力 "中，將解釋計算的特點，這些特點使其成為人工智能治理的一個有吸引力的工具。這源于計算對前沿模型的獨特重要性，以及計算作為一種治理策略所具有的增強功效的若干特性。

讀者如果已經確信計算的重要性和特殊屬性，但又想知道如何將計算治理擴展到現有工作之外，可以考慮跳到第 4 節 "計算可以增強三種人工智能治理能力"，在這一節中，我們將探討如何利用計算來增強關鍵的治理能力：（a）通過監控計算來提高人工智能發展的可見性；（b）改變計算的分配以實現有益的發展；以及（c）利用計算來執行人工智能相關規范和法規。

在第 5 節 "計算治理的風險與可能的緩解措施 "中，我們總結了之前關于計算治理可能存在的局限性的討論。

北約人為因素與醫學（HFM）研究任務組（RTG）HFM-297 的成立是為了支持 "評估用于提高人體性能的增強技術"。RTG 成員在 2017 年至 2022 年期間舉行了會議。在此期間，小組定期舉行會議（面對面和虛擬會議），以確定其將考慮的增強技術的范圍。這包括制定一個框架，以指導根據一套與人類性能和任務成果相一致的定義指標對增強工具和方法進行受控評估。目標之一是分析增強技術所支持的人類性能的相對優點，并確定跨領域主題，用于建立建議的最佳做法。這包括為繼續應用和研究增強技術以支持人類在軍事環境中的表現提出建議。在開展這些活動的同時，還經常與軍事領域專家和需求持有者以及研究和行業主題專家進行接觸。

為了管理分析中考慮的增強技術范圍，RTG 決定主要關注 "增強 "任務環境和任務過程的技術（如合成環境、界面技術），而不是直接針對操作者的技術（如外骨骼、神經植入）。盡管有這樣的區別，但要嚴格區分 "環境 "和 "操作員 "之間的增強仍具有挑戰性。盡管如此，在確定了范圍之后，RTG 297 著手開發一個框架來分析這些技術，并將研究文獻中的證據與操作要求相結合。這項調查所采用的框架包括應用 "優勢-劣勢-機會-威脅"（SWOT）分析方法。本報告通過正式的 SWOT 分析，按照從部隊組建到行動再到行動后總結經驗教訓的行動時間表，對以下五個性能領域進行了細分：

• 適應性教學和加速準備。
• 任務準備和排練。
• 實時支持和遠程控制
• 認知監控和優化。
• 行動后回顧。

對各性能領域進行 SWOT 分析后，發現所有任務領域和人類性能要求都有一些共同的主題。這些主題包括

• 人類性能前端考慮因素和人為因素原則是成功應用增強技術的核心；

• 在有效實施這些技術的過程中，對數據和信息技術基礎設施的固有依賴性，以及在制定數據標準和總體數據戰略方面持續投資和努力的必要性，以確保互操作性和可擴展性；

• 隨著增強技術越來越多地被軍事組織采用，安全、可靠性、隱私和道德方面的考慮將在增強技術中發揮決定性作用；

• 這些技術本身和可應用這些技術的任務集都具有非常動態（快速發展）的性質，這對系統評估這些技術的有效性和價值提出了重大挑戰，特別是對 RTG 研究中典型的傳統報告形式而言；

• 盡管如此，RTG 審查的證據表明，一些增強技術在培訓（如自適應教學系統、視覺合成環境）和作戰（如增強現實）環境中已經有了良好的記錄；以及

• 一些不斷發展的技術（如機器學習、性能監測、虛擬現實的觸覺界面）在近期和遠期應用中大有可為，可支持軍事人類性能和訓練，但在實際應用之前還需要進一步的研究。

考慮到 RTG 在確定研究范圍、分析框架以及與主題專家合作以確保研究的相關性方面所面臨的挑戰，該小組成員建議北約 STO 考慮采用更具動態性和響應性的流程和格式（例如，利用社區提供的信息進行基于網絡的報告輸出），以便對快速發展的技術領域（如用于人類表現和訓練的增強技術）進行研究。

圖1-2:支持感覺和認知增強的增強模型

美國空軍部對人工智能（AI）徹底改變作戰各個方面的潛力越來越感興趣。在這個項目中，美國空軍要求蘭德公司的 "空軍項目"（Project AIR FORCE）廣泛考慮人工智能無法做到的事情，以了解人工智能在作戰應用中的局限性。本報告討論了人工智能系統在執行兩種常見網絡安全任務（檢測網絡入侵和識別惡意軟件）中的應用，以及分布轉移對這些任務的影響，這種現象會極大地限制人工智能的有效性。當人工智能系統在部署后遇到的數據與經過訓練和測試的數據有明顯差異時，就會發生分布偏移。

本報告闡述了分布偏移的重要性，它如何并確實顯著限制了人工智能在檢測網絡入侵和識別惡意軟件方面的有效性，如何測試和量化其影響，以及如何減輕這些影響。這項工作主要針對大型組織，如總部設施，它們有足夠的帶寬和計算能力來實施人工智能網絡安全系統并定期更新系統。

本報告是五卷系列報告中的第二卷，論述了如何利用人工智能在網絡安全、預測性維護、兵棋推演和任務規劃四個不同領域為作戰人員提供幫助。本卷面向技術讀者；整個系列面向對作戰和人工智能應用感興趣的讀者。

研究問題

• 網絡安全數據集是否受到分布漂移的影響？
• 如何在網絡安全數據集中檢測和描述分布漂移？
• 用于檢測分布漂移的數據集的質量和周期有多重要，這些因素如何影響人工智能的性能？

主要發現

• 網絡安全數據集存在分布偏移問題，尤其是在標準網絡入侵檢測和惡意軟件分類方面。
• 分布偏移有多種表現形式，檢測的難易程度取決于數據集。
• 雖然數據質量對訓練機器學習算法很重要，但數據的新舊程度也很重要。
• 在某些情況下，數據必須是近期的才有用，這就限制了可用于訓練的數據，反過來又限制了人工智能的性能。

建議

• 任何基于人工智能的網絡安全系統都應進行數據集分割測試，以評估隨時間推移的分布變化對性能的可能影響。這些測試可用于估算數據衰減率，而數據衰減率又可用于估算人工智能系統在必須完全重新訓練之前可能的保質期。
• 此外，我們還建議對數據集進行著名的統計檢驗，如 Kolmogorov-Smirnov 檢驗，作為檢測或確認分布偏移的額外措施。

本報告探討了 GHOSTS 框架的非玩家角色（NPC）客戶端生成的活動（包括軟件使用）與 GHOSTS 的默認行為和大型語言模型（LLM）生成的活動之間的比較。還探討了基本結果在復雜性和情感方面的比較。在研究中，利用了生成式人工智能（AI）系統的高級自然語言處理能力，特別是 LLMs（即 OpenAI 的 GPT-3.5 Turbo 和 GPT-4）來指導 GHOSTS 框架中的虛擬智能體（即 NPC），GHOSTS 框架是一種在計算機上模擬現實人類活動的工具。設計了一種配置，通過使用 LLM 使活動完全自動化，其中文本輸出成為可執行的智能體指令。初步研究結果表明，LLM 可以生成指令，從而在模擬環境中產生連貫、逼真的智能體行為。然而，某些任務的復雜性和指令到行動的轉換帶來了獨特的挑戰。這項研究對于提高模擬的逼真度和推動類人活動建模中的人工智能應用具有潛在的意義。建議開展進一步研究，以優化智能體對 LLM 指令的理解和響應。

方法

網絡靶場是一個模擬環境，里面有各種登錄到計算機和網絡上的 NPC。這些 NPC 在組織內執行其角色所應執行的任務。現有的 GHOSTS 框架采用客戶機-服務器安裝方式，客戶機安裝在不同的操作系統（OS）上，執行所模擬角色的預期活動。服務器組件收集已執行活動的日志，并能根據一系列可用數據為每個智能體的新活動提供指導。

每個智能體在執行活動時都有各種考慮因素，包括智能體的特定參數、智能體過去的活動以及環境因素。固定參數包括姓名、身體特征、教育程度、工作經歷等。智能體還可能具有可變的特征，如偏好、信念、動機以及隨時間演變的過去活動歷史。

標準的 GHOSTS 配置提供了一套合理的默認值，可以充分隨機化這些考慮因素，以達到 T&E 的目的。團隊成員和其他人（如研究人員、培訓/練習用戶）都使用過這些隨機化策略；我們認為這種方法已經成熟，足以應對大多數情況。例如，模擬運營部門角色的智能體可能會在工作日每 20 分鐘創建一份文檔，同時交替使用互聯網瀏覽時間，以模擬文檔創建與必要的相關研究相結合的情況。

將 OpenAI 開發的不同 LLM 集成到 GHOSTS Animator [SEI 2023b]中，以便其他研究人員和網絡練習社區能夠繼續嘗試我們在本報告中討論的功能。每個 LLM 都充當了智能體的決策功能，生成文本輸出，我們將其轉化為智能體活動的指令。

為了實現這一整合，開發了一個系統，用于解釋 LLM 的輸出，并將其映射到 GHOSTS 框架中智能體可以執行的潛在行動上。該系統考慮到了語言解釋的可變性和智能體可用行動的限制。在將范圍廣泛的可能 LLM 輸出映射到更具體的智能體行動集時，我們面臨著獨特的挑戰。(我們將在下面的章節中描述這些挑戰。）這種集成方法能夠為我們的研究目的提供最廣泛的 LLM 響應，而不管它們與 GHOSTS 的執行是否相關。

智能體決策的基礎

為了在 GHOSTS NPC 中模擬更復雜的行為，將人類推理和行為的幾個方面整合到了智能體的決策過程中。這些方面都是在每次系統迭代或周期中執行的詢問過程中考慮的。在這種情況下，詢問是 LLM 分析智能體屬性和過去活動以決定下一步行動的機會。

每個 tick 或周期的持續時間是可配置的，可以是每個 CPU 周期所需的時間，也可以是更長的持續時間，如五分鐘。在每個 tick 期間，服務器會隨機選擇幾個智能體，并詢問它們以確定潛在的行動。這些行動可以包括學習新信息、與其他智能體建立聯系或執行一項活動。

這些詢問使用我們現有的隨機化策略。其中一些策略涉及純粹的隨機決策，而另一些則依賴于基于真實世界數據的預定義范圍或概率內的隨機化。目前實施的策略圍繞四個關鍵概念：

• 動機： 為了更準確地模擬智能體參與特定內容或執行特定操作的原因，我們需要了解他們的動機。在現實世界中，個人目的、目標和興趣往往是個人活動的驅動力。通過將動機納入模擬，我們可以模擬真實用戶的各種目標驅動行為。為此，我們采用了史蒂文-雷斯博士（Steven Reiss）設計的心理評估工具--雷斯動機檔案（Reiss Motivational Profile，RMP）[Reiss 2012]。RMP 根據人類的 16 種基本欲望來確定個人的核心價值觀和動機：權力、獨立、好奇、接受、秩序、節約、榮譽、理想主義、社會接觸、家庭、地位、復仇、浪漫、飲食、體育鍛煉和寧靜。通過模擬智能體對這些 RMP 欲望的獨特組合，我們模擬出了在整個演習過程中促使他們做出某些決定的內在動機。因此，這種理解揭示了智能體的行為傾向，有助于以更接近人類的方式指導其模擬行動。

• 關系： 人際關系對人類行為的影響是毋庸置疑的，它塑造了我們在社交圈中的學習、決策和互動方式。為了在模擬中更好地模擬這些關系的動態變化，我們在智能體的框架中加入了關系紐帶。這種方法包括在智能體之間建立聯系，考察它們之間關系的深度，以及研究它們對彼此的影響。這種方法使我們能夠模擬大量的社會互動，例如智能體向其信任的同伴尋求建議、與同事分享內容或參與各種話題的討論。這一特點不僅增強了智能體互動的真實性，還促進了智能體之間的知識獲取過程，這與人類在家庭、工作或公共場所從社交互動中學習的方式如出一轍。因此，在我們的模擬框架中引入關系可以增強智能體行為的真實性，更好地反映現實世界中人類互動的復雜性和細微差別。

• 知識： 人類用戶的一個顯著特點是他們在不同領域的知識廣度和深度。根據這一特點，我們為每個智能體配備了一個獨特的知識庫，以幫助塑造他們的模擬交互。這些知識庫為智能體如何尋求信息、分享專業知識或參與討論提供了信息，而所有這些都會受到他們對特定主題的理解的影響。智能體之間的動態知識獲取過程在我們的模擬中也發揮著至關重要的作用。知識獲取不僅增強了智能體互動的真實性，還通過潛在的內部威脅識別為模擬提供了額外的深度。例如，智能體知識庫中的異常變化可能表明其未經授權獲取了敏感信息，或者其關注點轉向了可能出于惡意目的而感興趣的主題。因此，將知識及其動態獲取納入智能體框架不僅能豐富模擬互動，還能增強內部威脅檢測和預防模擬的潛力。

• 信念： 個人持有的不同信念體系是其網絡行為的基礎，包括個人價值觀、觀點以及對爭議問題的立場。這些信念左右著互動和對話，往往會影響討論的動態。為了在智能體中模擬這種信念系統，我們將貝葉斯模型集成到智能體的推理過程中，使其能夠受到觀察到的支持某種信念的證據的影響。這種整合使智能體能夠就各種問題表達自己的立場，為自己的觀點辯護，甚至參與辯論，從而模擬現實世界中的人類行為。在社交媒體的背景下，對智能體的信念進行建模有助于表現分歧話題上的兩極分化觀點，使模擬更能代表真實世界的社會動態。

總之，通過將動機、關系、知識和信念整合到智能體推理框架中，我們成功地在 NPC 中創建了更全面、更真實的人類行為模擬。有了上述這么多組合的優勢，團隊就可以配置豐富的決策詢問，以確定任何智能體可能采取的行動方案。下一步是將這些詢問完全外包給 LLM，并比較結果，以便在大多數 T&E 場景中使用。

將LLM引入過程

為了嚴格控制系統對 LLM 的訪問，我們設計了一種方法，即只有 GHOSTS 的服務器組件與人工智能進行交互。然后，服務器將人工智能生成的結果傳播給相關客戶端。這一過程的執行過程如下：

1.智能體（即 NPC）根據其默認配置，利用我們現有的隨機化方法啟動并執行一項任務，如文檔創建和網頁瀏覽。

2.智能體每隔幾分鐘向服務器報告其完成的活動。

3.同時，在這五步過程中，服務器作業每輪都會詢問一個隨機的智能體子集。至關重要的是，在每一輪開始時，步驟 2 中的活動歷史記錄都是可用的，并且可以作為代理下一步應該執行什么活動的決策因素。

4.服務器將新確定的活動傳達給客戶端，然后由客戶端執行。

5.該過程循環往復。如果智能體已經在運行，它只需尋找下一個要執行的活動。

在步驟 3 中，目標是將決定智能體活動的任務委托給 LLM，同時考慮 (A) 有關智能體的具體信息和 (B) 已執行活動的歷史記錄。考慮到 LLM 可能需要處理大量信息所帶來的成本影響，我們將 (A) 中的信息限制為最相關的細節，如個人數據、教育和組織歷史以及軟件賬戶。(B) 中的活動信息及其執行參數則用于提供智能體已完成任務的歷史記錄。

許多 LLM 應用程序編程接口（API）會根據系統或用戶直接輸入信息的不同來區分信息提示。我們使用系統級提示，以便對我們傳輸的信息和預期響應進行更嚴格的控制。這種方法使我們能夠以更精確、更可控的方式引導 LLM 的行為。

本研究項目的目標是開發一種認知助手，以支持美國防部（DoD）對新成本估算人員的培訓。認知助手（CA）在這里被定義為一種人工智能（AI）工具，通常具有自然語言界面，通過檢索和處理來自多個信息源的相關信息，并在適當的時候將其提供給用戶，從而在特定任務中增強人類的智力。它還具有學習和適應用戶和手頭問題的能力。

成本估算是一個復雜的迭代過程，由多個步驟組成：收集所需信息、選擇總體戰略和一個或多個現有模型、根據需要開發新模型（包括校準和驗證）、執行估算以及酌情進行敏感性分析。初級成本估算人員在每個步驟中都會遇到挑戰，包括處理不完整的數據集、適當評估新模型的性能、預測歷史有效范圍之外的情況、充分報告點估算的不確定性水平、了解如何使用成本-進度聯合分布等。

目前，對新成本估算人員的培訓主要是通過現場課堂的傳統教學進行的，因此這是一個耗時的過程。傳統教學通常意味著實踐學習機會的減少，而眾所周知，實踐學習可以提高學習效果。這種教學方式也不是根據每個人的具體情況量身定做的，因此對于某些學員來說，教學進度可能太快，而對于另一些學員來說，教學進度可能太慢。正如其他教育領域的智能輔導系統所證明的那樣（Corbett et al.）

使用人工智能工具來提高受訓人員的學習能力并不是什么新想法，幾十年來一直在研究（Ong 和 Ramachandran，2003 年）。然而，在國防部采購領域，仍處于將先進的人工智能工具納入工作流程的早期階段，特別是 CA 還沒有被用作培訓工具。由于底層機器學習（ML）模型性能不足和用戶不熟悉這種交互模式，以前在工作場所采用這種技術的嘗試都失敗了。隨著 CA 在日常生活中無處不在，以及最近在機器學習方面取得的重大進展，將這種技術引入工作場所的時機已經成熟。

在該項目的第一孵化階段（10 萬美元，2021 年 9 月至 2022 年 6 月），研究團隊與贊助商和其他利益相關者合作，確定了 CA 的用例。決定將重點放在已經熟悉成本估算方法，但希望學習一種新商品（即空間系統）的用戶身上。該工具將幫助用戶以個性化的方式學習新材料。在團隊開發的名為 Daphne 的現有智能體的基礎上開發了 CA 的初始版本。這使能夠快速取得進展，因為一些軟件基礎架構可以重復使用。此外，還展示了在為各種學習評估和學習機會選擇問題時進行個性化培訓的能力，這些問題和機會最能滿足用戶的需求（例如，強化薄弱環節）。對美國防部開發和維護這種工具所需的資源進行了初步估算。

該項目被批準進入第二階段，目標是進一步開發智能體，并與實際用戶進行驗證。本文件報告了第二階段第一年的成果（13.4 萬美元，2022 年 9 月至 2023 年 9 月）。在此期間，開發了第二版智能體，利用大語言模型（LLMs）使系統更加靈活、可擴展、易維護。此外，還開發了一個包含幻燈片、例題和測驗的三模塊空間系統在線課程，并已開始在德克薩斯農工大學（TAMU）對該工具的有效性進行全面測試。

未來的研究計劃包括提供更長的在線課程，并與成本評估和項目評價辦公室 (CAPE) 的真實用戶進行測試。此外，研究小組還將完善對開發和維護成本的估算。

制定量化不確定性元數據的軍事標準是解決利用人工智能/機器學習（AI/ML）軍事優勢所固有的問題。通過提供元數據，美國防部可以繼續確定使用人工智能/機器學習的最佳策略，與能力發展同步進行。這種協調將防止在解決與在作戰系統中實施AI/ML有關的困難技術問題時出現延誤。不確定性量化可以使觀察、定向、決定和行動循環的實際數字實施成為可能，解決在戰爭中使用AI/ML的道德問題，并優化研究和開發的投資。

引言

從基礎上講，美國軍隊不需要人工智能/機器學習（AI/ML）。然而，軍隊需要能夠比對手更快、更好地觀察、定位、決定和行動（OODA），以實現軍事優勢。機器有能力以比人類更快的速度進行觀察、定位、決定和行動，從而實現這一優勢。然而，關于允許AI或ML模型 "決定 "最佳軍事行動方案是否合適的問題仍然沒有定論，因為該決定可能導致破壞和死亡。

利用AI/ML的軍事優勢的潛在隱患已經被不厭其煩地提出來。有三個問題仍然是最令人擔憂的：（1）解決賦予AI摧毀事物和人的權力的道德和倫理考慮；（2）平衡發展AI/ML能力的成本和軍事效用；以及（3）確保對機器的適當信任水平，以最佳地利用對能力發展的AI/ML部分的投資。然而，作為元數據納入軍事信息的不確定性量化（UQ）可以解決這三個隱患，同時遵守美國防部的人工智能倫理原則。

美國防部的人工智能戰略將AI/ML技術的成熟作為優先事項并加以激勵。其結果是，試圖快速實施能力的活動紛至沓來，而對能力增長的可持續性或AI/ML使用的高階影響規劃卻少之又少。正如一位國防研究人員所指出的，"當技術變革更多的是由傲慢和意識形態驅動，而不是由科學理解驅動時，傳統上調節這些力量的機構，如民主監督和法治，可能會在追求下一個虛假的黎明時被削弱。"

美國國防高級研究計劃局認為，目前的AI/ML系統 "缺乏必要的數學框架 "來提供使用保證，這阻礙了它們 "廣泛部署和采用關鍵的防御情況或能力。"保證需要信心，而信心需要最小的不確定性。使用AI/ML的系統的這種保證可以幫助解決道德方面的考慮，提供對開發成本與效用的洞察力，并允許其在戰爭中的使用責任由最低層的指揮官和操作員承擔。

通過在AI/ML系統中實施不確定性量化的軍事標準，美國防部可以確保對這些系統非常需要的信任。此外，如果美國防部將不確定性量化作為對開發者的要求，有可行的方法來應用現有的數學方法來確定和傳播不確定性。然而，當軍方將這一標準應用于信息時，它必須牢記不確定性量化的高階效應和挑戰。

AI/ML的不確定性量化

為了解決上述三個陷阱，任何軍事數字系統內部和都應該要求進行不確定性量化。不確定性量化是為系統中的不完美或未知信息分配一些數字的過程，它將允許機器實時表達它的不確定性，為建立對其使用的信任增加關鍵的透明度。美國防部應實施一項軍事標準，規定對數字系統中的每個數據或信息的元數據進行不確定性的量化標記。一旦可用，這些元數據可以通過功能關系傳播到更高層次的信息使用，為AI或ML模型提供所需的信息，以始終表達它對其輸出的信心如何。

理解作為元數據的UQ需要理解計量學的基礎概念--與測量不確定度有關的權重和計量科學。也就是說，一個測量有兩個組成部分： 1）一個數值，它是對被測量量的最佳估計，以及2）一個與該估計值相關的不確定性的測量。

值得注意的是，2008年國際標準化組織（ISO）的《測量不確定性表達指南》定義了測量不確定性和測量誤差之間的區別。這些術語不是同義的："通常在被測物[被測量的量]的報告值后面的±（加或減）符號和這個符號后面的數字量，表示與特定被測物有關的不確定性，而不是誤差。誤差是指測量值與實際值或真實值之間的差異。不確定度是許多誤差的影響"。

在軍事術語中，"測量"是在OODA循環中收集和使用的任何信息。每條信息都是由某種傳感器測量的，并且會有一些不確定性與之相關。作為元數據的不確定性量化將至少采取兩種形式：根據經驗產生的測量不確定性（基于上文概述的計量標準）和統計學上假設的不確定性（通過一些手段確定，其中有很多）。

操作員在使用具有UQ功能的系統時，可以使用系統報告的不確定性來告知他們的戰術決策。指揮官可以利用這種系統在作戰甚至戰略層面上為各種類型的軍事行動設定所需的預定義信任水平，這可以幫助操作人員在使用AI或ML模型時了解他們的權限是什么。這也將有助于采購專業人員為AI/ML能力的發展做出適當的投資決定，因為它將量化效用的各個方面。此外，在使用AI/ML的系統中提供量化的最低限度的確定性要求，可以解決上面討論的三個隱患。

就使用AI的道德和倫理問題而言，對于 "讓AI或ML模型決定將導致破壞和死亡的軍事行動方案，是否符合道德或倫理？"這個問題沒有單一的正確答案。正如所有的道德和倫理辯論一樣，以絕對的方式處理是不可能的。

因此，美國防部應將軍事行動分為三個眾所周知的機器自主性相對程度之一：機器永遠不能自己做的事情，機器有時或部分可以自己做的事情，或機器總是可以自己做的事情。然后，美國防部可以為這些類別中的每一類定義一個最低的確定性水平作為邊界條件，并且/或者可以定義具體行動所需的最低確定性水平。決策或行動的關鍵性將推動UQ邊界的確定。使用不確定性量化包含了在處理使用AI/ML的系統的道德考慮方面的細微差別和模糊性。

當涉及到平衡人工智能/機器學習的成本與使用時，美國防部的受托責任是確保對人工智能/機器學習發展的投資與它的軍事效用成正比。如果人工智能/機器學習政策禁止美國軍隊允許人工智能決定摧毀某物或殺人，那么開發和采購一營完全自主的殺手機器人就沒有任何意義。因此，預先定義的最低不確定性界限將使采購專業人員能夠確定如何最好地使用有限的資源以獲得最大的投資回報。

在能力發展過程中優化對AI/ML的信任，將需要對AI/ML采購中普遍存在的經驗不足以及機器學習中不確定性量化科學的相對稚嫩進行保障。"不確定性是機器學習領域的基礎，但它是對初學者，特別是那些來自開發者背景的人造成最困難的方面之一。" 系統開發的所有方面都應該包括不確定性量化的元數據標簽，無論系統是否打算自主使用。

這些輸出可能會被卷進更高層次的數字能力中，然后需要UQ數據來計算不確定性的傳播。例如，F-16維護者的故障代碼閱讀器應該有不確定性量化元數據標記到每個故障讀數，在源頭提供這種量化。讀碼器本身并不打算納入人工智能或機器學習模型，而且該數據可能不會立即用于人工智能/ML應用，但故障數據可能會與整個艦隊的故障數據進行匯編，并提交給預測倉庫級維護趨勢的外部ML模型。元數據將跟隨這組數字信息通過任何級別的編譯或高階使用。

要求將不確定性量化元數據作為一項軍事標準，實現了美國防部長關于人工智能道德原則的意圖，其中包括五個主要領域：

• 負責任： UQ為判斷提供依據，為開發、部署和使用人工智能能力提供經驗基礎。
• 公平性： 人工智能中的偏見可以用與不確定性相同的方式來衡量，并且是基于許多相同的統計學原理。然后，偏見可以被解決和改善。
• 可追溯性： 要求每個層次的不確定性元數據能夠保證可追溯性。機器的性能問題可以追溯到有問題的部件。
• 可靠性： UQ允許開發人員檢查，并允許有針對性地改進最惡劣的輸入因素。
• 可管理： UQ作為自主性信任等級的邊界條件，可以用來定義實現預期功能和避免意外后果的準則。

采用這些道德原則是為了確保美國防部繼續堅持最高的道德標準，同時接受人工智能這一顛覆性技術的整合。不確定性量化是實現這一目標的實用方法。

在AI/ML中建立信任

蘭德公司的一項研究發現，信任是與人工智能/ML的軍事用途有關的大多數擔憂的根本原因。國防部研究人員指出，"當涉及到組建人類和自主系統的有效團隊時，人類需要及時和準確地了解其機器伙伴的技能、經驗和可靠性，以便在動態環境中信任它們"。對于許多自主系統來說，它們 "缺乏對自身能力的認識，并且無法將其傳達給人類伙伴，從而降低了信任，破壞了團隊的有效性"。

AI/ML模型中的信任從根本上說是基于人類對信息的確定性，無論是簡單的傳感器輸出還是自主武器系統的整體能力。這一點得到了MITRE公司研究的支持： 人工智能采用者經常詢問如何增加對人工智能的信任。解決方案不是讓我們建立人們完全信任的系統，也不是讓用戶只接受從不犯錯的系統。相反，教訓指出了在證據和認知的基礎上形成良好的伙伴關系的重要性。良好的伙伴關系有助于人類理解人工智能的能力和意圖，相信人工智能會像預期的那樣工作，并在適當程度上依賴人工智能。然后，利益相關者可以校準他們的信任，并在授予人工智能適當的權力之前權衡人工智能決定的潛在后果。

通過將機器--數字或物理--視為合作伙伴，軍方可以將其與人類合作伙伴的信任建立技術進行類比。健全的伙伴關系需要有效的雙向溝通和加強合作的系統。"事實上，數字系統輸出中的不確定性措施是沒有用的，除非這種不確定性可以傳達給人類伙伴。一旦機器能夠量化不確定性，并且能夠傳達這種量化，它們也能夠對輸出進行評估并改進系統。

機器對其自身能力的認識的實時反饋，將通過提供每個循環中的不確定性的量化，增加機器的觀察、定位和決定功能的透明度。這種反饋提高了對該特定系統的信任，并通過不確定性的傳播實現了對系統中的系統的信任量化。例如，考慮遙控飛機（RPA）對一個潛在目標的視頻監控。如何確定RPA的傳感器是準確的和經過校準的，視頻流沒有被破壞，和/或操作者已經得到了關于首先將傳感器指向何處的健全的基線情報？

OODA環路的每一個組成部分都有一些相關的不確定性，這些不確定性可以而且應該被量化，從而可以用數學方法傳播到決策層面。在這種情況下，它將導致目標正確性的x%的傳播確定性，使任務指揮官對他們的態勢感知（觀察）充滿信心，并使他們能夠更好地確定方向，更快地決定是否參與。

通過量化不確定性，并將其與各類行動所需的預定信心水平結合起來使用，決策者可以圍繞那些幾乎沒有道德影響的軍事行動以及那些有嚴重道德影響的軍事行動創造邊界條件。國防部高級領導人還可以為開發和應用人工智能/ML能力的投資比例設定門檻，并可以確保投資將被用于實現最佳軍事優勢。這將通過 "量化-評估-改進-溝通 "的循環為使用人工智能/ML的系統提供保證。

不確定性量化允許設置如果-那么關系，以限制機器的可允許行動空間。在另一個簡略的例子中，一個空間領域意識任務可以使用紅外傳感器數據來識別空間飛行器。如果-那么關系可能看起來像這樣： 如果傳感器數據與目標的關聯模型的確定性大于95%，那么該目標識別信息可以在國家空間防御中心目錄中自動更新。如果傳感器數據與目標的關聯模型的確定性大于75%但小于95%，那么機器可以嘗試與確定性大于75%的信號情報（SIGINT）進行匹配，或者可以將信息發送給人類進行驗證。

因此，使用量化的不確定性使指揮官能夠將決策樹根植于人工智能/ML模型可使用的參數中，并指導如何使用這些人工智能/ML模型。在考慮機器自主性的三個相對程度時，指揮官可以預先定義每一類行動的輸入的不確定性水平，作為何時以及在何種情況下讓機器決定是有意義的指導方針，明確界定使用人工智能或ML模型的參與規則。

所有武器系統，無論是否打算納入自主性，都應在其計劃的用戶界面中提供不確定性元數據。了解所有輸入的不確定性對傳統武器系統的用戶和人工智能/ML的應用一樣有利。通過現在提供元數據，國防部高級領導人可以繼續確定使用AI/ML的最佳治理和政策，而不會放慢技術和工程發展。任何這樣的治理都可以在未來通過參考系統內組件級或輸出級的量化不確定性來實施。

數學實現

將不確定性量化和傳播應用于收緊OODA循環，假定功能關系可用于定義軍事情況。函數關系是這種應用的最佳數學方法，因為一般可以證明函數值和輸入變量之間存在因果關系，而不需要具體確定關系的確切數學形式。通過假設這些函數關系的存在，可以使用一個描述不確定性傳播的一般方程式。

一個帶有不確定性條款的通用函數關系看起來像：

其中y是輸出，u(y)是該輸出的不確定性，有n個輸入變量，其相關的不確定性影響該輸出。這表明y取決于n個輸入變量，并且按照 "不精確概率論者 "的風格，y的精確值在y+u(y)到y-u(y)的區間內。

這種旨在改善醫學實驗室研究的想法的直接應用也涉及到軍事決策。"與任何測量相關的不確定性及其通過定義的函數關系的傳播可以通過微分（部分微分）和應用不確定性傳播的一般方程來評估。"這些數學方法將捕捉到在一個非常復雜的系統中許多測量物變化時不確定性的變化。這個不確定性傳播方程可以用標準的統計程序得出，最重要的是，它與函數關系的確切形式無關。

請那些更精通統計學的人將這種方法提交給進一步的案例研究，并確定在需要包括許多輸入變量時，在非常大的系統層面計算傳播的不確定性的可行性。已經表明，"問題越復雜，獲得校準的不確定性估計的成本就越高"。這種方法通過作戰級別的人工智能/ML模型（即涉及一翼或一營的交戰）可能是可行的，但更高層次的戰略不確定性傳播（即包括政治經濟或核因素的戰役級模型）可能需要不可行的計算能力來實時計算。

作為輸入數據集的一部分，通過機器學習模型傳播測量的不確定性比使用統計方法來估計模型內的不確定性要少得多。數據科學家和人工智能研究人員將熟悉大量專注于假設機器學習模型內的不確定性的研究，但許多歷史工作并沒有采取調整認識上的不確定性--ML模型的訓練數據量不足--與訓練數據集中的測量不確定性的方法。

測量的不確定性可以被認為是數據中的噪聲和/或觀察中的變異性。在數字系統中實施不確定性量化時，需要對不確定性的其他方面進行量化，如領域覆蓋的完整性，也就是輸入數據集的代表性，以及軍事問題的不完善建模，這是模型開發過程中不正確的基線假設的結果，最終植根于人類判斷的不完善。

一個更現代的傳播方法，可能計算量較小，可能是使用機器學習來假設不確定性。來自其他學科使用神經網絡的證據顯示，納入已知的輸入數據不確定性，"與不使用它們的情況相比，對做出更好的預測是有利的"。這些研究人員還建議進一步調查在貝葉斯深度學習框架中使用已知的輸入數據不確定性 "作為要得出的不確定性的初始值"，這將是一種與統計學得出的不確定性協同傳播經驗不確定性的方式。

使用數學方法來傳播不確定性，將納入并考慮到不確定性的影響--無法解釋的數據的固有隨機性--以及認識上的不確定性。擬議的軍事標準應將測量不確定性的要求與傳播到高階用途的要求結合起來，如機器學習或更抽象的建模和模擬。用軍事術語來說，通過這種方法使UQ標準化，不僅要考慮基線觀測數據的不確定性，還要考慮與方向和行動有關的數據不確定性。

軍事用途的數學問題

為了繼續與軍事戰略進行類比，功能關系描述了在OODA循環中如何獲得軍事優勢，以及不確定性如何在該過程中傳播。

在這個特意象征性的等式中，觀察和定位是恒定的活動，而決策和行動是時間上的離散事件。所期望的軍事效果的成功概率是基于循環中每個輸入變量的不確定性的傳播：操作者有多大把握(a)他們的觀察抓住了現實，(b)他們以預期的方式定向，(c)他們的決定以預期的方式執行，以及(d)他們的行動沒有被打亂。

這種方法的障礙在于它需要對不確定性的事先了解，這是目前無法獲得的元數據，因為在經驗情況下確定它的成本通常很高，而在統計情況下有許多可接受的方法來生成它。這就回到了建議的解決方案，即征收要求和標準，以提供與每個輸入變量相關的不確定性作為元數據。一旦提供，匯編觀測和定位數據的人工智能/ML系統可以使用元數據進行傳播，并向操作者或指揮官提供情況圖中的總體量化不確定性。當實時使用時，這種方法內在地捕捉了OODA循環的決策和行動步驟的各個方面。

高階效應和挑戰

一項分析表明，將不確定性信息傳達給無人駕駛車輛的操作員并使之可視化，有助于提高人類-AI團隊的績效。但其他人工智能研究人員也表明，"需要更多地研究如何以對用戶有意義的方式，最好地捕捉和呈現開發者的[不確定性量化]"。他們進一步指出，"讓用戶對他們不了解的方面有看似控制的感覺，有可能給人以清晰和知情控制的錯覺，造成額外的自動化偏差，或者干脆讓用戶選擇一個給他們想要的答案的選項。" 這一發現堅實地進入了決策理論和心理學的工作體系。有一些統計方法試圖用算法來定義判斷和決策，使用這些方法有風險。

一項單獨的分析提供了判斷和決策文獻中與決策中使用不確定性估計有關的結論。該研究的結論是，向利益相關者提供不確定性估計可以通過確保信任的形成來提高透明度： "即使是經過良好校準的不確定性估計值，人們也會有不準確的認識，因為(a)他們對概率和統計的理解程度不同，(b)人類對不確定性數量的認識往往受決策啟發式的影響。

作者進一步補充說，"非專業人士和專家都依賴心理捷徑或啟發式方法來解釋不確定性"，這 "可能導致對不確定性的評估出現偏差，即使模型輸出是經過精心校準的"。不出所料，關于這個問題的主要啟示是，所選擇的UQ交流方法應首先與利益相關者進行測試，開發人員應滿足他們的UQ顯示和用戶界面的不同終端用戶類型。例如，向數據科學家介紹不確定性量化應該與向戰時決策的操作員介紹UQ不同。情報界在確定傳達與軍事信息相關的不確定性的最佳方法方面有著悠久的歷史，因此它對 "估計概率詞 "的約定可能是后一類終端用戶的合適出發點。

當考慮在作戰和戰略決策層面使用傳播的不確定性時，有可能使用傳播計算可能使UQ數字變得不相關和不可用，因為在非常復雜的系統中，不確定性接近100%的期望輸出。順便說一句，這是一個有趣的結論，可能指向 "戰爭迷霧 "的數學證明。進一步調查計算非常大的系統級別的傳播的不確定性可能會更好地闡明這個結論。

然而，這種高度傳播的不確定度的潛在缺陷并不足以反駁實施不確定度軍事標準的做法。包括每個級別的元數據標簽，使操作人員能夠檢查哪些因素造成了最大的不確定性，哪些因素是指揮官可以有高度信心的，這仍然是非常有用的信息。當操作員的帶寬在高壓力交戰之外可用時，這些元數據標簽允許操作員檢查功能關系中輸入變量之間的協方差和相關性。這些元數據還可以被采集專業人員用于評估和改進任務，通過識別系統性錯誤并將其消除，以及識別造成隨機錯誤的最嚴重的罪犯。

高度傳播的UQ可能是不相關的，這也強調了發展健全的軍事判斷的永久重要性。正如在任何不確定性非常高的軍事情況下，為實現軍事優勢，將需要具有敏銳性的操作員和指揮官。使用人工智能/ML來觀察、定位、決定和比對手更快地行動，只有在行動優越的情況下才會導致勝利。勝利理論的這一層面與要求、傳播和以標準化的方式交流UQ的論點不同。

最后，AI/ML要求輸入數據是感興趣領域的 "具有適當代表性的隨機觀察樣本"。重要的是，"在所有情況下，我們永遠不會有所有的觀察結果"，而且在感興趣的領域內 "總會有一些未觀察到的情況"。盡管人工智能或ML算法是在一個不充分的數據集上訓練出來的，但試圖在數據抽樣中實現對該領域的全部觀察覆蓋也是不理想的。

當以較高的行動節奏將人工智能/ML應用于OODA循環時，提高領域的覆蓋率并不需要更多的抽樣，而應該通過抽樣中更多的隨機化來實現，重點是確定準確的測量不確定性。上述關于已知輸入數據的研究從理論上和經驗上證明，將數據的不確定性納入一系列機器學習模型的學習過程中，使模型對過擬合問題更有免疫力--當模型與訓練數據集擬合得過于緊密時，就會出現不可接受的ML行為，導致在負責評估未知數據時出現不準確的預測結果。

過度擬合的問題并不是機器學習所獨有的，從根本上說是由輸入數據集的缺陷造成的。"簡單地說，不確定性和相關的無序性可以通過創造一個更高更廣的更一般的概念來代表現實的直接假象來減弱"。這導致了對該領域的最大統計覆蓋，對被觀察系統的侵擾最小。它還最大限度地減少了數據和元數據集的大小，從而在高階使用中提高了UQ傳播方程的計算效率。

結論

實施量化不確定性元數據的軍事標準，并發展傳播、評估、改進和交流該信息的能力，將為繼續追求AI/ML的軍事用途能力提供最大的靈活性。使用人工智能/ML系統的不確定性量化，通過溝通、透明和參與共同經歷來發展這種信任，使人機團隊內部能夠相互信任和團結。使用AI/ML系統實現軍事目標的保證需要量化的不確定性。

與軍事戰略的概念相聯系，這種不確定性量化的整個框架有助于一個成功的組織。通過現在提供UQ元數據，國防部高級領導人可以繼續確定使用人工智能/ML的最佳治理和政策，而不耽誤技術和工程開發。隨著作戰人員使用UQ來發展對AI/ML伙伴的信任，軍隊的觀察、定位、決定和行動的能力將比對手更快，并確保軍事優勢。

本報告重點討論與人工智能系統可能缺乏可預測性而導致的有關風險--被稱為可預測性問題--及其對國家安全領域人工智能系統治理的影響。人工智能系統的可預測性表明人們可以在多大程度上回答這個問題：人工智能系統會做什么？可預測性問題既可以指人工智能系統的正確結果，也可以指不正確的結果，因為問題不在于這些結果是否符合系統工作的邏輯，而是在部署時是否有可能預見到這些結果。

人們越來越擔心，使用不可預測的人工智能系統為高風險決策提供信息可能會導致災難性的后果，這將破壞公眾對部署這些系統的組織的信任，并可能侵蝕政府的聲譽。在國家安全領域，人工智能的使用引入了一個新的不確定性來源，可能會阻礙風險管理程序，并可能使責任鏈變得混亂。在這個領域，可預測性問題的影響可能導致關鍵基礎設施的安全風險、個人權利和福祉的風險、沖突升級或外交影響。

在本報告中，我們首先從技術和社會技術的角度分析了可預測性問題，然后集中討論了英國、歐盟和美國的相關政策，考慮它們是否以及如何解決這個問題。從技術角度來看，我們認為，鑒于人工智能系統的設計、開發和部署的多層面過程，不可能考慮到所有的錯誤來源或可能產生的新行為。此外，即使在理想的情況下，在設計或開發階段沒有錯誤可以假設或檢測，一旦部署了人工智能系統，仍然可能發展出形式上正確的（但不想要的）結果，這在部署時是無法預見的。

我們通過關注人機編隊（HMT-AI）來分析可預測性問題的社會技術影響。人機編隊代表了一種越來越普遍的人工智能系統部署模式。在HMT-AI中，人類咨詢、協調、依賴、發展并與人工智能代理交換任務。由于HMT-AI結合了人類和人工的自主性，它們通過增加人工和人類代理及其環境之間的互動的數量和類型而加劇了可預測性問題。在這種情況下，我們發現可預測性問題的三個主要來源：人機交互、人員培訓和（過度）信任。人機交互可能會助長不可預測的結果，因為它們可以掩蓋、扭曲或過分詳細地描述人工智能系統的工作原理，而培訓計劃可能沒有考慮到人工智能技術的學習能力和HMT-AI的長期慣例建設。同樣，在HMTAI中，人類代理人不加批判地接受AI系統的結果，這種過度信任的動態也可能導致無法預測的結果。

在確定了可預測性問題的一些根本原因之后，我們分析了英國、歐盟和美國的政策，以評估這些原因是否在相關的政策文件中被涵蓋，如果是的話，如何以及在何種程度上被涵蓋。我們確定了四個主要主題和一個缺口。它們是：控制、監督和價值調整；資源提升的方法；可信賴人工智能的發展；以及缺乏對風險管理措施的關注，以遏制可預測性問題的影響。

我們的政策分析包括八個建議，以減輕與可預測性問題有關的風險。關鍵的建議是將治理方法集中在HMTAI上，而不僅僅是AI系統，并將可預測性問題概念化為多維度的，解決方案集中在HMT-AI組成的共同標準和準則上。在這些標準和準則中，可信人工智能的要求是特別相關的，應該與評估人工智能系統的可預測性的標準和認證計劃以及審計HMT-AI的程序結合起來。支持在國家安全中使用HMT-AI的決定的成本效益分析和影響評估應該考慮到可預測性問題及其對人權、民主價值的潛在影響，以及意外后果的風險。為了確保在部署潛在的不可預測的人工智能系統時進行充分的風險管理，我們建議調整ALARP原則--在合理可行的情況下盡量降低--作為制定HMT-AI中可預測性問題的人工智能特定風險評估框架的基礎。

擬議的基于ALARP的框架將提供有用的實際指導，但僅僅是這樣還不足以識別和減輕可預測性問題所帶來的風險。需要額外的政策、指導和培訓來充分考慮人工智能可預測性問題帶來的風險。人工智能系統支持的決策的影響越大，設計、開發和使用該系統的人的謹慎責任就越大，可接受的風險門檻也越低。這些分析和建議應該被理解為可操作的見解和實用的建議，以支持相關的利益相關者在國家安全背景下促進社會可接受的和道德上合理的人工智能的使用。

建議

建議1. 政府應撥出研究經費，發展公私合作，對HMT-AI進行縱向研究。這項研究應側重于HMT-AI中的新舊決策模式，以評估編隊協議建設和培訓對績效和控制措施的影響。重點應放在為HMT-AI的具體動態定義新的培訓協議，以及加快風險管理標準和HMT-AI績效評估的發展。

建議2. 應該建立一個專門的HMT-AI認證計劃，以促進行業對為HMT-AI設計的AI系統的設計要求和評估的共識。任務之間的通用性、有效的溝通、性能的一致性以及對新隊友的適應性都應該包括在這樣一個認證計劃中。在開發不足的ISO標準的基礎上，這個認證計劃還應該擴展到過程的可追溯性和決策的問責制，以及評估HMT-AI信任程度的審計機制。這對于抑制HMT-AI中的過度信任和自滿態度是必要的，這種態度維持或擴大了可預測性問題。

建議3. 對國家安全領域的可預測性問題的政策反應應該側重于管理HMT-AI團隊，而不是單獨的AI系統。

建議4. 國家安全領域的HMT-AI的成本效益分析（CBA）應該包括對AI系統的可預測性以及技術和操作層面的相關道德風險的評估。為了促進各安全機構之間的一致評估，應該定義一個評估人工智能系統可預測性的標準量表，在這個量表上，使用（或不使用）人工智能的選擇應該根據上下文的CBA以及考慮公眾對風險和相關利益的態度來證明。這個尺度的定義應屬于獨立的第三方行為者的職權范圍，即與部署HMT-AI的公共機構不同。

建議5. 與其說是 "更多 "或 "更少 "的可預測性，政策建議應側重于可預測性的權衡，明確具體建議旨在解決可預測性問題的哪個方面，以何種方式解決，以及它們有可能加劇哪些方面，哪些緩解措施將被落實到位。政策應該認識到，可預測性是一個多維度的概念，在一個層面上可預測性的收益可能會以另一個層面的損失為代價。

建議6. 關于國家安全中人工智能可預測性問題的政策應該在正式和操作層面上解決可信度和不可預測性之間的聯系。例如，應該給人工智能系統一個可修正的可預測性分數，這應該包括在對系統的可信任度的評估中。人工智能系統的可信賴性應包括成本效益分析，以評估不想要的行為在不同部署背景下可能帶來的風險。

建議7. 應該為不可預測的人工智能建立風險閾值，這些閾值將圍繞不可預測行為的風險嚴重程度映射到其自身的可預測程度（例如，劃分為已知的已知因素、已知的未知因素等）。這些閾值反過來將為風險管理過程的發展提供信息，允許根據風險的可預測性及其影響對其進行優先排序。

建議8. 應該制定一個基于ALARP的框架，以評估不可預測的人工智能和HMT-AI的風險，并為任何給定的環境確定可接受的最大程度的不可預測性。這個框架應該包括:

• 對特定人工智能系統和HMT-AI的可預測程度的定量評估；
• 對導致部署人工智能系統的設計、開發和/或采購步驟的可追溯性的評估；
• 對部署條件的評估，例如，HMT-AI、操作員（或HMT-AI成員）的培訓水平、交互的透明程度、人類對AI系統的控制水平；
• 對部署該系統的潛在風險和預期收益進行成本效益分析（根據建議4）；
• 對假設情況的分析，以考慮風險暴露或緩解措施的有效性如何隨部署情況而變化；
• 人為推翻系統的協議和補救機制。