亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

無人機系統或無人機技術，包括單個系統和成群的無人機系統，在過去的 25 年里得到了廣泛的應用。因此，隨著技術的不斷成熟，這種技術和使用這些無人機系統的能力既是當前的威脅，也是日益增長的威脅。

在本報告中，研究人員評估了智能蜂群技術，考慮了技術可用性以及未來三年、三至五年和五至十年的風險和情景（威脅、弱點和后果）。此外，研究人員還考慮了隨著技術的發展，是否會開展可降低風險的準備或緩解和響應活動。研究人員得出結論認為，無論是采用代用無人機群還是智能無人機群技術，這些系統都會對國土構成重大風險，而脆弱性和后果的緩解很可能具有挑戰性。

研究問題

• 無人機系統或無人機技術（包括單個系統和無人機群）對美國本土的潛在威脅是什么？
• 惡意行為者在使用這些技術進行攻擊時需要克服哪些潛在限制或挑戰？
• 與無人機系統相關的威脅、弱點和后果是什么，特別是隨著這些技術的發展？

主要結論

• 無人機系統或無人機技術，無論是單個系統還是代理蜂群，都是當前的威脅，而就智能蜂群而言，隨著無人機系統技術的不斷成熟，其射程、有效載荷和功率也在持續進步，因此威脅也在不斷增加。
• 智能蜂群的成熟將伴隨著多種技術的融合，包括人工智能、大數據、物聯網和 5G，這些技術將共同支持這些能力的開發和應用。
• 隨著時間的推移，非法使用智能蜂群的風險將繼續增加；然而，攻擊很可能仍然是局部性的，在某些情況下，影響有可能是區域性的，如針對電網的網絡或電磁攻擊。這意味著后果可能保持溫和，因為它們不可能對全國產生影響。
• 對于國土安全捍衛者（如執法人員、急救人員、規劃人員和關鍵基礎設施部門的工作人員）來說，要減輕脆弱性和后果可能具有挑戰性，因為在各種潛在目標中實地部署檢測系統和應對措施可能成本極高。

圖：智能蜂群風險評估

項目概述

本研究報告是聯合國裁研所人工智能建立信任措施項目的一部分。該項目旨在促進在國際和平與安全背景下就人工智能建立信任措施開展多邊討論，并探討建立信任措施的備選方案，這些方案應現實、可行，并能提高人工智能開發和使用過程中的整體信任度和透明度。

建立信任措施是靈活的工具，旨在減少國家間的模糊和不信任，或防止升級。它們由共同利益決定，可以采取各種形式。從歷史上看，各種手段都是建立信任措施工具箱的一部分，如核查措施、軍事限制或信息交流。

人工智能領域的進步，加上該技術的可擴展性以及與其他技術領域的融合，給國際社會帶來了新的風險，包括對國際和平與安全的風險。建立信任措施可在應對技術風險方面發揮重要作用，并為人工智能技術的未來發展和部署形成共同規范。

該項目包括兩個主要階段：

1.繪制風險圖，對風險進行分類，目的是全面概述與人工智能技術有關的主要風險領域。本研究報告有效地實現了項目第一階段的目標；

2.在第一階段研究成果的基礎上，通過多方利益相關者的參與，探索建立信任措施的發展路徑。

執行總結

本研究報告闡述了國際和平與安全背景下的人工智能風險分類。它是聯合國裁軍研究所 "人工智能建立信任措施 "項目的一部分，旨在繪制該技術的風險圖，為今后討論和闡明建立信任措施提供參考。

該分類法將風險分為兩大類：

1.人工智能技術的風險，包括安全風險（人工智能系統固有的脆弱性和局限性）、安全風險（旨在破壞人工智能系統學習或行動方式的蓄意攻擊）、人機交互風險（由于人類操作人工智能系統或與人工智能系統一起工作的復雜動態，導致人工智能系統使用不當）；以及 2.

2.人工智能對全球安全的風險，包括三大類風險：誤判（人工智能的使用和應用可能損害使用武力的決定或為國際關系惡化開辟道路）、升級（人工智能技術可能導致沖突有意或無意升級）和擴散（人工智能被濫用于擴散新武器，包括大規模毀滅性武器的風險）。

當然，風險是相互關聯、相輔相成的。例如，人工智能系統的穩健性和復原力不足會迅速轉化為故障，為國家間的誤判和升級開辟道路。對人工智能系統的邊界和能力的不正確使用或理解會導致對系統的過度依賴或依賴不足，從而進一步引發負面或升級后果。

本報告對不同類別的風險進行了技術說明，并對其對全球安全的潛在影響進行了背景分析。在現階段，它并沒有為未來建立信任措施的討論提供備選方案，也不是為了圍繞具體風險確定優先領域的范圍。建立信任措施最終將由相關利益攸關方制定和闡述。本報告為了解風險提供了指南，可作為未來討論的基礎。

美國空軍部對人工智能（AI）徹底改變作戰各個方面的潛力越來越感興趣。在這個項目中，美國空軍要求蘭德公司的 "空軍項目"（Project AIR FORCE）廣泛考慮人工智能無法做到的事情，以了解人工智能在作戰應用中的局限性。本報告討論了人工智能系統在執行兩種常見網絡安全任務（檢測網絡入侵和識別惡意軟件）中的應用，以及分布轉移對這些任務的影響，這種現象會極大地限制人工智能的有效性。當人工智能系統在部署后遇到的數據與經過訓練和測試的數據有明顯差異時，就會發生分布偏移。

本報告闡述了分布偏移的重要性，它如何并確實顯著限制了人工智能在檢測網絡入侵和識別惡意軟件方面的有效性，如何測試和量化其影響，以及如何減輕這些影響。這項工作主要針對大型組織，如總部設施，它們有足夠的帶寬和計算能力來實施人工智能網絡安全系統并定期更新系統。

本報告是五卷系列報告中的第二卷，論述了如何利用人工智能在網絡安全、預測性維護、兵棋推演和任務規劃四個不同領域為作戰人員提供幫助。本卷面向技術讀者；整個系列面向對作戰和人工智能應用感興趣的讀者。

研究問題

• 網絡安全數據集是否受到分布漂移的影響？
• 如何在網絡安全數據集中檢測和描述分布漂移？
• 用于檢測分布漂移的數據集的質量和周期有多重要，這些因素如何影響人工智能的性能？

主要發現

• 網絡安全數據集存在分布偏移問題，尤其是在標準網絡入侵檢測和惡意軟件分類方面。
• 分布偏移有多種表現形式，檢測的難易程度取決于數據集。
• 雖然數據質量對訓練機器學習算法很重要，但數據的新舊程度也很重要。
• 在某些情況下，數據必須是近期的才有用，這就限制了可用于訓練的數據，反過來又限制了人工智能的性能。

建議

• 任何基于人工智能的網絡安全系統都應進行數據集分割測試，以評估隨時間推移的分布變化對性能的可能影響。這些測試可用于估算數據衰減率，而數據衰減率又可用于估算人工智能系統在必須完全重新訓練之前可能的保質期。
• 此外，我們還建議對數據集進行著名的統計檢驗，如 Kolmogorov-Smirnov 檢驗，作為檢測或確認分布偏移的額外措施。

本研究旨在研究如何通過在大規模文本文檔中執行開放式信息提取技術來構建網絡安全知識圖譜表示法。之后，我們將研究如何將深度學習應用于網絡安全的知識圖譜表示。我們將考慮在圖深度學習模型中使用注意力機制，并比較可用于圖表示數據學習的各種深度學習模型。此外，我們還將研究利用無標記數據的半監督學習框架，以提高預測和排序問題的性能。所提出的方法將用于檢測網絡安全領域的惡意軟件和代碼缺陷。

人工智能（AI）的快速發展引發了專家、政策制定者和世界領導人對日益先進的人工智能系統可能帶來災難性風險的日益擔憂。雖然許多風險已被單獨詳述，但目前迫切需要對潛在危險進行系統的討論和說明，以便更好地為減輕這些危險提供信息。本文概述了人工智能災難性風險的主要來源，將其分為四類：惡意使用，即個人或團體故意使用人工智能造成傷害；人工智能競賽，即競爭環境迫使行為者部署不安全的人工智能或將控制權讓給人工智能；組織風險，強調人為因素和復雜系統如何增加災難性事故的幾率；流氓人工智能，描述控制遠比人類智能的代理固有的困難。對于每一類風險，我們都描述了具體的危害，介紹了說明性故事，設想了理想場景，并提出了減輕這些危險的實用建議。我們的目標是促進對這些風險的全面了解，并激發集體的積極努力，確保以安全的方式開發和部署人工智能。最終，我們希望這將使我們能夠實現這一強大技術的益處，同時將災難性后果的可能性降至最低。

圖：本文將介紹四類人工智能風險，并討論如何降低這些風險。

近年來，人工智能（AI）突飛猛進，引起了人工智能專家、政策制定者和世界領導人對先進人工智能所帶來的潛在風險的擔憂。與所有強大的技術一樣，人工智能必須以高度的責任感來管理風險，并利用其潛力來改善社會。然而，關于災難性或生存性的人工智能風險可能如何發生或如何應對，可獲得的信息非常有限。雖然有關這一主題的資料很多，但往往分散在各種論文中，而且通常針對的受眾面較窄，或側重于特定的風險。在本文中，我們將概述災難性人工智能風險的主要來源，并將其分為四類：

惡意使用。行為者可能故意利用強大的人工智能造成廣泛傷害。具體風險包括人工智能賦能的生物恐怖主義，它可以幫助人類制造致命的病原體；蓄意傳播不受控制的人工智能制劑；以及利用人工智能能力進行宣傳、審查和監視。為了降低這些風險，我們建議改善生物安全，限制獲取最危險的人工智能模型，并讓人工智能開發者為其人工智能系統造成的損害承擔法律責任。

人工智能競賽。競爭可能會迫使國家和企業匆忙開發人工智能，并將控制權拱手讓給人工智能系統。軍方可能會面臨開發自主武器的壓力，并將人工智能賦能的網絡戰，從而實現一種新的自動化戰爭，在這種戰爭中，事故可能會在人類有機會干預之前就失控。企業也將面臨類似的激勵，促使人類勞動自動化，并將利潤置于安全之上，從而可能導致大規模失業和對人工智能系統的依賴。我們還討論了從長遠來看，進化壓力可能會如何塑造人工智能。人工智能之間的自然選擇可能會導致自私的特性，而人工智能相對于人類的優勢最終可能導致人類被取代。為了降低人工智能競賽帶來的風險，建議對通用人工智能實施安全監管、國際協調和公共控制。

組織風險。組織事故造成的災難包括切爾諾貝利、三里島和挑戰者號航天飛機災難。同樣，開發和部署先進人工智能的組織也可能遭受災難性事故，特別是如果它們沒有強大的安全文化。人工智能可能會意外泄露給公眾或被惡意行為者竊取。各組織可能無法投資于安全研究，不了解如何以比一般人工智能能力更快的速度可靠地提高人工智能的安全性，或者壓制內部對人工智能風險的擔憂。為了降低這些風險，可以建立更好的組織文化和結構，包括內部和外部審計、多層風險防御以及最先進的信息安全。

流氓人工智能。一個普遍而嚴重的擔憂是，隨著人工智能變得比我們更智能，我們可能會失去對人工智能的控制。人工智能可能會在一種被稱為代理博弈的過程中，將有缺陷的目標優化到極致。人工智能在適應不斷變化的環境時，可能會經歷目標漂移，這與人在一生中獲得和失去目標的過程類似。在某些情況下，人工智能變得追求權力可能是工具理性的。我們還研究了人工智能如何以及為何會進行欺騙，在不受控制的情況下表現出受控制的樣子。與前三個風險來源相比，這些問題更具技術性。我們概述了一些建議的研究方向，以促進我們對如何確保人工智能可控的理解。

在每一節中，我們都提供了一些說明性場景，更具體地展示了風險源如何可能導致災難性結果，甚至構成生存威脅。通過提供一個對風險進行適當管理的更安全未來的積極愿景，我們強調，人工智能新出現的風險雖然嚴重，但并非不可克服。通過積極應對這些風險，我們可以努力實現人工智能的益處，同時最大限度地降低災難性后果的可能性。

人工智能和增強認知（AI；包含兩者）已經為美國空軍（USAF）的重要職能提供了指導。到 2030 年，人工智能將滲透到空軍的所有任務領域。正如美國空軍明確指出的，對美國空軍科學至關重要的是，"未來不會自己發明自己"。據此，本報告的目標是幫助設想和指導美國空軍發明未來的人工智能。因此，需要的是充分利用人工智能并推動其發展的研發工作，以及如何提升空軍在所有任務領域保護國家的能力。

美國空軍豐富的技術歷史可追溯到幾十年前（如 McCulloch & Pitts，1943 年；Rosenblatt，1958 年；Rummelhart 等人，1985 年；Hopfield，1988 年），但隨著計算能力的進步，許多技術已迅速發展（LeCun 等人，1998 年；Hassabis 等人，2017 年），它們已經或即將在作戰環境中無處不在。2030 年，它們很可能成為美國空軍武器裝備的核心。從自主無人機到人類可穿戴設備，智能機器及其與人類的接口正在接近徹底改變我國空軍兵力作戰環境的臨界點。我們將這一最新趨勢稱為 人工智能加速。

必須認識到的是，美國不一定在所有相關技術方面都處于領先地位。這是一個重大弱點，也是一個需要克服的差距。我們的對手和盟友都注意到了人工智能加速的趨勢。例如，俄羅斯總統弗拉基米爾-普京曾指出，"誰成為這一領域的領導者，誰就將成為世界的統治者"。(美國有線電視新聞網，2017 年 9 月 2 日）。法國總統埃馬紐埃爾-馬克龍（Emmanuel Macron）承諾法國將進行新的重大投資，"為......人工智能研究提供資金"（Rabesandratana，2018 年）。在中國，人工智能研發得到了精心培育，與此同時，中國對外國企業轉讓科學數據制定了逐步限制性措施（Ding，2018 年）。國家主席習近平說 "我們要加快把中國建設成為先進制造業強國，推動實體經濟同互聯網、大數據、人工智能等先進技術深度融合"。(路透社，2017 年 10 月 18 日）。

為了彌補這一差距，100 多位頂尖的學術界、工業界和政府科學家為這項研究做出了貢獻，強調了'人工智能加速'可能如何塑造 2030 年的美國空軍。這些專家在 2018 年第二季度以 "NSF Ideas Lab "的形式進行了在線討論，其中一部分專家（本報告的作者）還進行了面對面的討論，這種形式由 Knowinnovation（KI）促成，該組織在通過面對面和虛擬互動促進創新和跨學科科學進步方面擁有豐富的經驗。

本報告整合了這些跨學科互動中產生的想法，并以美國空軍及其作戰人員為背景，重點關注三個關鍵領域：機器、人機和人類。下面我們將對這些術語進行操作性定義，并在圖 1（第 16 頁）中加以說明。

圖 1：各層次人機交互示意圖（報告的概念性組織結構）

機器

顯然，我們需要開發能夠自主運行、降低風險、與人類并肩作戰，并能在空中和太空極端環境中長期運行的機器和算法。機器將取代并在某些情況下改變現有的能力。為了應對快速發展、高度動態的賽博空間可能帶來的范式轉變破壞，美國空軍需要采取積極主動的姿態，包括在政府和私營部門研究投資的基礎上，不斷螺旋式發展新系統。專家們一致認為，變化不會沿著現有的趨勢線發生。賽博空間正在迅速發展，因此高度動態的環境和快速變化很可能會打破人們的預期。專家們一致認為，關鍵是要投資研究，開發適應性強、靈活、穩健、使用安全和不受威脅的系統，并評估哪些系統對于在美國采購至關重要。

人機

在 2030 年的地平線上，美國空軍在人工智能加速組織結構突變的精心領導下，有可能實現人機協同的變革性增強，從而大幅提高作戰人員的認知和協作能力，包括但不限于態勢感知、決策速度、作戰和組織靈活性。這將包括盡早采用先進的人機和腦機接口；普遍集成可穿戴、微型和納米電子傳感器，用于生理、心理和神經監測、反饋和閉環實時干預，這些傳感器將與特定機器或更廣泛的指揮系統相連接，在極端環境中尤為寶貴； 人類與信息或機器人機器之間的團隊合作一體化；創建映射網絡空間的虛擬世界，允許人類以空間和信息直觀的方式進行部署；以及與專家數字助理、云連接信息系統的日常互動，這些系統具有自然語言處理能力，大大縮短了人類與他們業務所需信息之間的距離。在這些主題中，大家對人機協作的幾大主題達成了共識。

I) 人機融合提高個人績效：這一領域提出了提高人類績效的新興技術，包括認知、行為和健康。

II) 人機協同：這一領域指出了人機混合團隊協同工作的新興模式。

III) 對人機協作性能的全系統監控：這一領域強調了對這些新技術進行仔細、持續和動態監督的重要性。

人類

專家組一致認為，人類特工是美國空軍所有任務領域取得成功不可或缺的組成部分。到 2030 年，在美國空軍的所有行動中，從后勤到維護或控制作戰機器，人類都將理所當然地與人工智能互動。此外，將有大量空軍兵力人員在神經技術進步帶來的增強認知模式下履行職責。人工智能的加速發展無疑將塑造未來的勞動力隊伍。鑒于作戰環境的快速演變，專家組重點關注的是，2030 年所需要的軍官屬性可能與 20 世紀所看重的屬性大不相同。

大家一致認為，必須建立對如何在開發和采用人工智能加速技術方面培訓和培養當前和下一代空軍兵力的認識。這需要系統層面的整合，以及現役人員與研發和采購界之間的互動。例如，通過讓現役人員參與人工智能系統的設計，可以在一定程度上實現有效采用。空軍人員應征入伍后，必須接受相關技能培訓，以應對未來美國兵力的挑戰。因此，了解如何在人工智能滲透的作戰環境中提高和保持人的性能，如耐力、巔峰認知、保持任務狀態等，對于為 2030 年的作戰做好準備至關重要。

橫切問題

該小組確定了許多貫穿各領域的關鍵問題。這些問題包括美國空軍面臨的戰略突襲、道德、法律、社會和能源挑戰。就戰略出其不意而言，本報告的挑戰范圍僅限于可以預見到對手會出現的人工智能技術進步。在倫理、法律和社會問題方面，人們明確認識到，美國空軍自愿采取的限制措施很可能不會成為其他國家的限制。最后，大家一致認為，能源供應和 "質量 "可能是人工智能進步的一個重大制約因素，特別是在美國空軍必須在動態和偏遠環境中工作的情況下。

建議

美國空軍應與其他聯邦科學機構（如國家科學基金會）以及美國國防部和情報部門的其他部門協調其在人工智能加速領域的研發投資。

美國空軍應在全球范圍內掃描研發投資，以深入了解可能代表未來作戰挑戰的外國政府計劃和能力。

美國空軍應組織一個由來自學術界和工業界的頂尖研究人員組成的人工智能加速咨詢委員會，隨著科學基礎各學科的不斷進步，為美國空軍領導層提供信息和建議。

美國空軍應通過構建平臺技術、數據架構、算法和集成能力，為解決方案搭建支架，為人工智能應用奠定基礎。

美國空軍應設立執行數據架構師職位，以監督人工智能的整合，以及從設備到后勤和人力資產的集中信息資源的收集和安全化。

結論

人工智能加速將塑造美國空軍（USAF）2030 年的戰備態勢。專家組達成的共識是，空軍應加快開發和采購計算與神經技術方面的系統系列，從而在整個相關作戰環境中實現指揮、控制、通信、計算機和情報（C4I）方面的巨大進步。這一系列系統分為三個方面： 1）追趕現有的商業技術（采用）；2）對最相關的技術突破（如人工智能）進行核心投資；3）對填補前者突出所留下的空白的技術（如量子計算）進行外圍投資。

這樣的未來美國空軍將需要能夠卸載或放大人類性能的機器、人機和人機界面。這不僅包括意圖，還包括對來自傳感器流的反饋做出響應的能力，即使是在高級別作戰環境所產生的極端條件下。整個人工智能生態系統將需要為無人機和代理（包括蜂群）提供真正的自主操作，其操作領域既包括美國空軍熟悉的領域，也包括迄今為止美國空軍從未經歷過的領域。這不僅包括大氣層，還包括 "內部空間"（即網絡領域），更重要的是，甚至包括更高層次的大氣層以及低地軌道和深空。此外，還需要應對這些環境中隨之而來的能源限制。最后，這個系統之系統需要具備足夠的防御能力（也許是生物啟發），以抵御同行競爭對手的退化和攻擊。

美國空軍能否在 2030 年的軍事環境中取得成功，不僅取決于人工智能的加速，還取決于指揮和控制能否靈活應對戰略突襲。這種臨界點可能出現在空間技術領域（如太空電梯），也可能出現在人工智能領域的顛覆性發展。例如，"通用人工智能"（定義為能夠對任何智力任務進行人類水平認知的人工智能）的成功開發和實施掌握在國內同行競爭者手中，將使美國空軍處于明顯的劣勢。這種進步的軍事抵消將取決于美國空軍對技術前景的持續認識--不僅在航空航天領域，而且在認知與計算的交叉領域，因為它適用于人工智能。

1 人機協作的重要性和重要啟示

機器在21世紀的戰場上變得無處不在，現代軍隊必須接受人機協作（HMT），否則就有可能將軍事優勢拱手讓給有效利用人工智能（AI）和自主性的競爭對手。本報告調查了人工智能日益融入軍事行動的影響，尤其側重于了解美國國防部（DOD）采用 HMT 概念的參數、優勢和挑戰。

HMT的定義和組成部分

HMT 是指將人工智能和自主系統與人類決策者、分析師、操作員和看守人員一起使用。HMT 將智能人類和機器的能力結合在一起，共同實現軍事目標。HMT 的核心是一種包含四個同等重要要素的關系：

• 人： 為機器提供輸入、對機器進行測試并利用其輸出的操作員；

• 機器： 從人工智能和機器學習（ML）算法到無人機群，機器擁有一定程度的決定權，并支持特定的任務；以及

• 交互： 人類和機器為完成共同任務而進行交互的方式。

• 界面： 人類與機器互動的機制和顯示方式。

1.1 關鍵要點

從 HMT 的三個軍事應用角度來看，作者得出以下結論。

• HMT 具有改變戰爭和解決關鍵作戰挑戰的潛力： 人工智能和 HMT 有可能通過增強態勢感知、改進決策、擴大人類操作員的射程和殺傷力，以及在多領域作戰中獲得并保持優勢，從而改變沖突和非戰斗行動。HMT 還能提高后勤、維持和后臺管理等許多輔助功能的效率，降低這些流程的成本和時限，并將人類解放出來，在這些任務領域執行價值更高的任務。

• 美國防部須擴展其對 HMT 的定義：HMT 的定義應予以擴展，以包括人類與自主非乘員系統和人工智能體的交互廣度，包括那些沒有物理形態的系統（如決策支持軟件）。將定義擴展到人類與機器人之間的互動之外，可使國防部實現 HMT 的廣泛用例--從在高強度戰爭中使用致命武器系統和無人機群，到利用算法融合數據和實現信息領域的虛擬連接。

• HMT 的開發和應用必須優先考慮以人為本的團隊合作： 人工智能的發展速度驚人，推動了機器能力的潛在飛躍，并對確保人工智能體的安全性、可靠性和可信度提出了更高要求。必須同樣重視培養人類操作員的能力、舒適度和信任度，以有效利用 HMT 的價值，確保人類始終處于人機團隊的中心位置。

• 美國防部須從概念走向實踐：人機協作作為一種概念，在國防部的某些部門正獲得越來越大的發展勢頭。然而，更多采用人工智能和 HMT 的倡導者強調，有必要將對話從概念轉向實際--將能力開發過渡到 HMT 能力的實時測試和使用，海軍通過第 59 特遣部隊進行的人工智能試驗就證明了這一點--以更好地闡明和展示 HMT 可帶來的作戰優勢。

圖 1：HMT 三層價值的高級描述。

• 增強態勢感知，加快決策制定（包括檢測模式和異常現象）

• 增加操作員和高價值平臺的操作范圍和生存能力

• 降低整個國防部活動的成本和時限，包括但不限于存在、威懾、作戰和消耗

注：這些價值已經在美國防部的某些部門得到承認和認可，盡管隨著與 HMT 相關的技術和概念的進步，這些價值可能會得到加強或擴大。資料來源 Tate Nurkin，圖片來自 Vecteezy 和大西洋理事會。

• 實驗是建立信任的關鍵： 在迭代的真實世界實驗中，人類開發出新的操作概念，測試機器隊友的極限，并更好地了解機器在各種環境中的突破點、優勢和劣勢，這對加快 HMT 的采用將起到關鍵作用。這種意識對人類操作員也至關重要，因為他們需要培養對人工智能隊友的信任，從而有效利用 HMT 的潛力。
• 美國防部須解決采用人工智能所面臨的官僚主義挑戰： 國防部規避風險的文化和各自為政的官僚作風正在減緩 HMT 概念和能力的獲取、實驗和采用。要克服這些挑戰，就必須提高 HMT 能力采購流程的敏捷性和靈活性、迭代實驗、承擔風險的激勵機制以及整個兵力的數字掃盲。

2 人機協作的應用

HMT 最常被狹義地設想為人類與一個到數百個或更多自主非乘員系統進行交互的過程。就其最基本的形式而言，這種對 HMT 的設想并不新鮮：人類與智能機器的合作已有數十年歷史--1997 年，超級計算機 "深藍 "在國際象棋比賽中擊敗世界冠軍加里-卡斯帕羅夫（Gary Kasparov）就是早期機器人才的縮影--軍方長期以來一直在測試各種概念，以推動這一關鍵能力的發展。然而，最近人工智能和機器人技術的發展速度令人印象深刻，促使人們越來越多地考慮這些技術所能帶來的新能力、效率和優勢。

忠誠僚機概念是 HMT 這種表現形式經常被引用的一個例子，在這個概念中，人類飛行員控制著一些相對廉價、模塊化、可隱蔽的自主無人駕駛航空系統（UAS）的任務分配和操作。這些僚機可在載人飛機前方飛行，執行一系列任務，包括電子攻擊或防御、情報、監視和偵察（ISR）或打擊，或作為誘餌吸引其他資產的火力，"點亮 "敵方防空系統。

不僅美國，大多數現代國家的軍隊都對 HMT 的這種表現形式越來越感興趣。除美國外，澳大利亞、中國、俄羅斯、英國、土耳其和印度都至少有一個積極的忠誠僚機發展計劃，而第六代戰斗機全球空中作戰計劃（英國、意大利、日本）、下一代空中主宰計劃（美國空軍和海軍）和未來空中作戰系統（德國、法國、西班牙）都涉及強調HMT和機-機協同的空中力量系統概念。

雙腿小隊支援系統是海軍陸戰隊作戰實驗室正在測試的實驗性技術。該系統經過編程，可跟隨操作員穿越地形，攜帶水和食物等重物。圖片來源：美國海軍陸戰隊

盡管這類 HMT 對新興軍事能力非常重要，并將繼續發揮重要作用，但對 HMT 的討論應包括人類與智能體（根據其環境、經驗和輸入進行學習并做出判斷）互動的全部范圍，包括與不具備實體形式的算法進行的絕大多數互動。Maven項目（Project Maven）就是一個例子，說明國防部和現在的國家地理空間情報局如何利用這類 HMT 從各種形式的媒體和收集到的情報中自主探測、標記和追蹤感興趣的物體或人類，從而使人類分析師和操作員能夠優先關注他們的重點領域。

除圖像分析和目標識別外，非物理形式的 HMT 還能支持一系列重要任務，如威脅探測、數據處理和分析。在速度、復雜性和可用數據顯著增加的作戰環境中，這對提高軍事效率至關重要。它們還能提高后勤和維持、培訓以及后臺行政任務的效率，從而降低成本并縮短執行時間。

通過將人工智能的處理能力和決策支持能力與人類的社會智能和判斷力相結合，并在某些情況下與具有不同自主程度的非乘員系統的兵力倍增效應相結合，HMT 可以為美國及其盟友和合作伙伴提供多層次的重疊優勢，包括圖 1 中列出的那些高級優勢。

作為 "加速采用人工智能和創建一支適合我們時代的兵力 "的更廣泛努力的一部分，國防部對 HMT 當前和未來多層次價值的認識有所提高。盡管如此，整個五角大樓在采用人工智能和 HMT 方面仍面臨一些長期挑戰。為了加速和深化 HMT 的采用，國防部必須致力于采用一種方法，將開發工作與私營部門的參與結合起來，為采購官員在整個國防企業中推廣 HMT 解決方案創造靈活性。這種方法必須輔以以下措施：

• 繼續并更加重視在人類和機器合作伙伴之間建立信任；
• 帶頭建立道德和安全方面的最佳實踐和規范；
• 積極迭代實驗；
• 清晰一致的信息傳遞

這些要素對于實現 HMT 在未來多領域戰斗中的價值和優勢至關重要。

表 1： 各 HMT 用例的優勢概述

• 反介入區域拒止 (A2/AD) 沖突：

  • 使用大量消耗性和可隱蔽系統，穿透 A2/AD 環境，維持兵力，擴大在 A2/AD 警戒線外行動的載人平臺的作用范圍。
  • 在數據豐富的環境中查找、固定和跟蹤關鍵節點和威脅。
  • 提供邊緣態勢感知。

• 感知和目標定位

  • 通過數據處理和融合增強態勢感知和威脅探測，提高態勢感知和威脅探測能力，確保以最快的速度做出決策。
  • 找到人類分析師和操作員不知道的關聯。
  • 支持人類跨領域識別目標和確定優先次序。
  • 向人類決策者推薦最適用的動能或非動能武器來打擊目標，從而提高效果的精確性。

• 存在、優先順序和威懾力

  • 通過使用包含多個無人系統的 ISR 網，擴大高價值有人資產的范圍。
  • 在地理位置分散的戰區識別活動模式的異常和中斷。
  • 根據人工智能驅動的評估，確定威脅的優先級，確保高效的資源分配。
  • 在真實環境中進行積極的迭代實驗，可在操作員與其機器合作伙伴之間建立信任。

用于情報和規劃活動的大型語言模型：2023 年 3 月發布的 Chat GPT-4 引發了關于美國防部如何利用類似大型語言模型（LLM）工具支持情報活動的討論。可以理解的是，有人擔心 LLM 目前的復雜程度及其 "幻覺 "傾向--編造不正確的信息--會使廣泛使用或依賴這些工具為時過早，甚至適得其反。不過，使用 LLMs 進行試驗將有助于更好地了解這些工具在哪些方面以及如何實現增值，尤其是當它們變得更加可靠時。2023 年 4 月“石上戰爭”（War on the Rocks）詳細介紹了美國海軍陸戰隊高級作戰學院如何利用兵棋推演來探索 LLM 如何協助人類進行軍事規劃。這些系統被用來提供、連接和可視化不同層次的信息和分析--例如對區域經濟關系的戰略層面的理解，以及對特定國家動態的更有針對性的分析--然后規劃人員利用這些信息和分析來完善可能的行動方案，并更好地理解對手的體系。

建議和結論摘要

HMT 為二十一世紀的軍隊提供了多項優勢。因此，國防部必須投入足夠的時間和資源，以應對上述采用方面的挑戰。要促進 HMT 的采用，就必須將新理念、新程序和新激勵措施結合起來，并加強目前正在進行的、前景看好的加速采用工作，特別是與以下領域相關的工作：

• 開發一種全事業范圍的 HMT 應用方法，該方法建立在設立首席數字和人工智能辦公室等中央機構的基礎上，并為其提供充足的資金和授權，以確保整個國防部在需求、能力、基礎設施和戰略開發以及采購和供應商參與方面相輔相成。

• 在復制現實世界作戰環境挑戰的環境中進行快速、迭代和積極的實驗，將有助于人類測試和了解 HMT 技術的突破點，從而促進技術的采用。不同程度的實驗還能建立人類對其人工智能隊友的信任，這是優化 HMT 價值所必需的。

• 通過改革融化 "冰凍的中間層"，這些改革可提高對快速行動的激勵，調整國防部和國會的改革優先事項，并加強努力，以確保在整個企業而不是逐個軍種或逐個司令部采用 HMT。大西洋理事會國防創新采用委員會提出了幾項適用于獲取和采用 HMT 能力的具體建議。

• 在未來作戰環境中，作戰速度、可用數據量和威脅的復雜性都將大幅提高，闡明并展示 HMT 的多層次價值，以贏得對競爭對手和潛在對手的優勢。

• 繼續在機構和道德問題上發揮領導作用，優先考慮以合乎道德和負責任的方式開發和使用值得信賴的人工智能，并將人類--人類的判斷力--置于人機團隊的中心位置。美國政府和私營部門應重新審視和更新有關機構和倫理的指導方針，以反映當代技術發展趨勢和能力。

• 制定戰略信息，強調人機團隊的價值和安全性，供美國防部和國會利益相關者以及更廣泛的美國社會使用。

美國在人工智能方面的進步并非發生在真空中；如果五角大樓遲遲不大規模采用 HMT，就有可能將軍事優勢拱手讓給像中國這樣將人工智能視為安全要務的戰略競爭對手。機器和智能體在二十一世紀的戰場上無處不在，國防部有責任展示、交流和實現 HMT 對實現未來任務和國家目標的價值。

一名軍官將 XRS-150 X 射線發生器放在模擬墜落的無人駕駛航空系統前。圖片來源：美國空軍國民警衛隊

本報告標志著軍備控制協會題為 "明天的軍備控制 "的項目達到了頂點。這項工作是歐洲領導力網絡項目的一部分，由德國聯邦外交部資助，名為 "解讀技術復雜性和核政策制定的方法"。本協會的工作屬于該項目的第四部分，題為 "緩解戰略和軍備控制"。

該協會的項目側重于新的或現有的軍備控制和風險減少措施，決策者可以提出并支持這些措施，以防止具有軍事用途的新技術和新興技術導致沖突或對抗進入核戰爭。該項目從2021年3月至2022年12月進行。該協會主辦了五次虛擬研討會，每次都以一種選定的技術為中心，除了最后一次，即結合無人機和致命的自主武器系統，包括12至20名參與者。與會者包括來自世界各地的前政府官員和外交官、政策專家和技術專家。

本報告執行總結

近年來，具有軍事用途的新興技術的話題在國防官員、政治領導人、外交官、政策專家和技術專家之間引起了激烈的辯論。盡管有些人認為這些技術為使用它們的人提供了明顯的、改變游戲規則的戰場優勢，但其他人認為這種評估是夸大其詞，或呼吁更多地關注其使用的風險。

本報告概述了幾種新興技術及其各自的軍事應用可能產生的破壞穩定的影響。它旨在讓決策者更好地了解如何通過一系列軍備控制和減少風險的措施來減輕風險，減少大國沖突或對抗升級到核級別的機會。

在本報告中，"新興技術 "一詞指的是廣泛的科學和技術發展，如果應用于軍事領域，可能會以不可預測和潛在的危險方式對未來的戰爭產生變革性影響。本報告重點關注六種重要的、獨特的新興軍事能力：高超音速武器系統、直接進攻性網絡作戰、進攻性反空間能力、人工智能（AI）驅動的能力、無人機和致命的自主武器系統（方框ES.1）。這些能力的選擇是基于兩個因素。首先，它們已經進入或將在大約未來10年內進入該領域。第二，各國政府和民間社會已經開始在各種論壇上開始討論這些能力的戰場效應，并為軍備控制和減少風險制定潛在的途徑。

本報告提煉了軍控協會在2021年和2022年舉辦的一系列研討會的信息和想法，每個技術領域的幾十位技術和政策專家都參與其中。它確定了四個總體主題，突出了對新技術和新興技術的軍事應用如何可能增加使用核武器風險的最大關切。

增加沖突的速度。在沖突或對抗中使用新興技術可能會在危險的程度上加快其中任何一方的步伐，使有關各方迅速向升級的階梯發展。這個主題包括兩個主要的風險：決策者選擇國家下一步行動的時間減少，以及決策者的信息過載。

不斷增加的不確定性。具有軍事用途的新技術能力可能會增加沖突或對抗中的整體不確定性，如行動的性質和對手的意圖。這些能力還可能暴露出新的弱點，造成不確定的影響，并引入以未知方式運作的新行為者。

減少人的作用。隨著人工智能系統提供的情報、監視和偵察信息及其他數據的擴大，不堪重負的政治和軍事決策者可能會責成人工智能能力收集和處理整個戰場領域的信息，評估各種行動方案，確定可能的最佳結果，甚至可能推薦一個特定的選擇并執行該反應。這種控制權的重新分配可能會導致幾乎沒有實質性的、有效的人類監督。

激勵軍備競賽。新技術和新興技術的軍備競賽可以說已經在進行中了，隨著行為者迅速追求和部署新的尖端能力，試圖保持或獲得戰略優勢，有可能在數量和質量上進一步提升。

決策者可以采取行動，在近期和長期內減輕這些風險。減少風險和軍備控制的努力應側重于在各領域和技術中以及在政府和非政府行為者之間采取多種措施，這些措施綜合起來可以建立一個有效、可行和可持續的軍備控制制度。

本報告確定了現在或未來五年內可能實現的近期風險緩解措施：危機通信系統、定義的建立、規范、單邊聲明和行動，以及建立信任措施。這些類型的措施可以幫助提高透明度和防止誤解，為世界上大多數人認可的技術建立一種共同的語言，并為使用某種能力時的負責任行為建立公認的標準。

本報告概述了在未來10年或更長時間內可以實現的長期措施：涉及一個以上國家的軍備控制和減少風險的安排（如條約、協議），比建立信任措施更正式，盡管不一定具有法律約束力。

本報告所研究的新技術和新興技術所帶來的軍事能力和應用，不僅加劇了戰略穩定和國際安全的現有風險并創造了新的風險，而且使減輕這種風險和對這些系統進行有效軍控的努力變得更加復雜。鑒于新興軍事技術的潛在不利影響，政策制定者可以而且應該考慮近期的軍備控制和降低風險措施。這些措施可以為長期措施奠定基礎，幫助建立一個未來的安全架構，這個架構可以單獨提供透明度、可預測性和穩定性，更可以將核戰爭的前景推到更遠的可能性之外。

表ES.1--六種選定的新興技術能力

本報告重點討論與人工智能系統可能缺乏可預測性而導致的有關風險--被稱為可預測性問題--及其對國家安全領域人工智能系統治理的影響。人工智能系統的可預測性表明人們可以在多大程度上回答這個問題：人工智能系統會做什么？可預測性問題既可以指人工智能系統的正確結果，也可以指不正確的結果，因為問題不在于這些結果是否符合系統工作的邏輯，而是在部署時是否有可能預見到這些結果。

人們越來越擔心，使用不可預測的人工智能系統為高風險決策提供信息可能會導致災難性的后果，這將破壞公眾對部署這些系統的組織的信任，并可能侵蝕政府的聲譽。在國家安全領域，人工智能的使用引入了一個新的不確定性來源，可能會阻礙風險管理程序，并可能使責任鏈變得混亂。在這個領域，可預測性問題的影響可能導致關鍵基礎設施的安全風險、個人權利和福祉的風險、沖突升級或外交影響。

在本報告中，我們首先從技術和社會技術的角度分析了可預測性問題，然后集中討論了英國、歐盟和美國的相關政策，考慮它們是否以及如何解決這個問題。從技術角度來看，我們認為，鑒于人工智能系統的設計、開發和部署的多層面過程，不可能考慮到所有的錯誤來源或可能產生的新行為。此外，即使在理想的情況下，在設計或開發階段沒有錯誤可以假設或檢測，一旦部署了人工智能系統，仍然可能發展出形式上正確的（但不想要的）結果，這在部署時是無法預見的。

我們通過關注人機編隊（HMT-AI）來分析可預測性問題的社會技術影響。人機編隊代表了一種越來越普遍的人工智能系統部署模式。在HMT-AI中，人類咨詢、協調、依賴、發展并與人工智能代理交換任務。由于HMT-AI結合了人類和人工的自主性，它們通過增加人工和人類代理及其環境之間的互動的數量和類型而加劇了可預測性問題。在這種情況下，我們發現可預測性問題的三個主要來源：人機交互、人員培訓和（過度）信任。人機交互可能會助長不可預測的結果，因為它們可以掩蓋、扭曲或過分詳細地描述人工智能系統的工作原理，而培訓計劃可能沒有考慮到人工智能技術的學習能力和HMT-AI的長期慣例建設。同樣，在HMTAI中，人類代理人不加批判地接受AI系統的結果，這種過度信任的動態也可能導致無法預測的結果。

在確定了可預測性問題的一些根本原因之后，我們分析了英國、歐盟和美國的政策，以評估這些原因是否在相關的政策文件中被涵蓋，如果是的話，如何以及在何種程度上被涵蓋。我們確定了四個主要主題和一個缺口。它們是：控制、監督和價值調整；資源提升的方法；可信賴人工智能的發展；以及缺乏對風險管理措施的關注，以遏制可預測性問題的影響。

我們的政策分析包括八個建議，以減輕與可預測性問題有關的風險。關鍵的建議是將治理方法集中在HMTAI上，而不僅僅是AI系統，并將可預測性問題概念化為多維度的，解決方案集中在HMT-AI組成的共同標準和準則上。在這些標準和準則中，可信人工智能的要求是特別相關的，應該與評估人工智能系統的可預測性的標準和認證計劃以及審計HMT-AI的程序結合起來。支持在國家安全中使用HMT-AI的決定的成本效益分析和影響評估應該考慮到可預測性問題及其對人權、民主價值的潛在影響，以及意外后果的風險。為了確保在部署潛在的不可預測的人工智能系統時進行充分的風險管理，我們建議調整ALARP原則--在合理可行的情況下盡量降低--作為制定HMT-AI中可預測性問題的人工智能特定風險評估框架的基礎。

擬議的基于ALARP的框架將提供有用的實際指導，但僅僅是這樣還不足以識別和減輕可預測性問題所帶來的風險。需要額外的政策、指導和培訓來充分考慮人工智能可預測性問題帶來的風險。人工智能系統支持的決策的影響越大，設計、開發和使用該系統的人的謹慎責任就越大，可接受的風險門檻也越低。這些分析和建議應該被理解為可操作的見解和實用的建議，以支持相關的利益相關者在國家安全背景下促進社會可接受的和道德上合理的人工智能的使用。

建議

建議1. 政府應撥出研究經費，發展公私合作，對HMT-AI進行縱向研究。這項研究應側重于HMT-AI中的新舊決策模式，以評估編隊協議建設和培訓對績效和控制措施的影響。重點應放在為HMT-AI的具體動態定義新的培訓協議，以及加快風險管理標準和HMT-AI績效評估的發展。

建議2. 應該建立一個專門的HMT-AI認證計劃，以促進行業對為HMT-AI設計的AI系統的設計要求和評估的共識。任務之間的通用性、有效的溝通、性能的一致性以及對新隊友的適應性都應該包括在這樣一個認證計劃中。在開發不足的ISO標準的基礎上，這個認證計劃還應該擴展到過程的可追溯性和決策的問責制，以及評估HMT-AI信任程度的審計機制。這對于抑制HMT-AI中的過度信任和自滿態度是必要的，這種態度維持或擴大了可預測性問題。

建議3. 對國家安全領域的可預測性問題的政策反應應該側重于管理HMT-AI團隊，而不是單獨的AI系統。

建議4. 國家安全領域的HMT-AI的成本效益分析（CBA）應該包括對AI系統的可預測性以及技術和操作層面的相關道德風險的評估。為了促進各安全機構之間的一致評估，應該定義一個評估人工智能系統可預測性的標準量表，在這個量表上，使用（或不使用）人工智能的選擇應該根據上下文的CBA以及考慮公眾對風險和相關利益的態度來證明。這個尺度的定義應屬于獨立的第三方行為者的職權范圍，即與部署HMT-AI的公共機構不同。

建議5. 與其說是 "更多 "或 "更少 "的可預測性，政策建議應側重于可預測性的權衡，明確具體建議旨在解決可預測性問題的哪個方面，以何種方式解決，以及它們有可能加劇哪些方面，哪些緩解措施將被落實到位。政策應該認識到，可預測性是一個多維度的概念，在一個層面上可預測性的收益可能會以另一個層面的損失為代價。

建議6. 關于國家安全中人工智能可預測性問題的政策應該在正式和操作層面上解決可信度和不可預測性之間的聯系。例如，應該給人工智能系統一個可修正的可預測性分數，這應該包括在對系統的可信任度的評估中。人工智能系統的可信賴性應包括成本效益分析，以評估不想要的行為在不同部署背景下可能帶來的風險。

建議7. 應該為不可預測的人工智能建立風險閾值，這些閾值將圍繞不可預測行為的風險嚴重程度映射到其自身的可預測程度（例如，劃分為已知的已知因素、已知的未知因素等）。這些閾值反過來將為風險管理過程的發展提供信息，允許根據風險的可預測性及其影響對其進行優先排序。

建議8. 應該制定一個基于ALARP的框架，以評估不可預測的人工智能和HMT-AI的風險，并為任何給定的環境確定可接受的最大程度的不可預測性。這個框架應該包括:

• 對特定人工智能系統和HMT-AI的可預測程度的定量評估；
• 對導致部署人工智能系統的設計、開發和/或采購步驟的可追溯性的評估；
• 對部署條件的評估，例如，HMT-AI、操作員（或HMT-AI成員）的培訓水平、交互的透明程度、人類對AI系統的控制水平；
• 對部署該系統的潛在風險和預期收益進行成本效益分析（根據建議4）；
• 對假設情況的分析，以考慮風險暴露或緩解措施的有效性如何隨部署情況而變化；
• 人為推翻系統的協議和補救機制。

新興技術與安全中心（CETaS）是一個政策研究中心，位于英國國家數據科學和人工智能研究所--艾倫圖靈研究所。該中心的使命是通過對新興技術問題進行基于證據的跨學科研究，為英國安全政策提供信息。

本報告介紹了CETaS研究項目的結果，該項目研究了在英國國家安全背景下使用機器學習（ML）進行情報分析。研究結果是基于對國家安全從業人員、政策制定者、學者和法律專家的深入訪談和焦點小組。

該研究的目的是了解在情報分析背景下使用ML所產生的技術和政策考慮。具體而言，該研究探討了如何校準用戶對機器生成的見解的適當信任程度，以及將ML能力納入分析員決策過程的最佳做法。

從事國家安全工作的情報分析員在處理大量數據方面面臨著重大挑戰，這些數據可能會對當前和未來的事件產生關鍵的見解。數據的持續全球擴張既帶來了風險（錯過了關鍵信息），也帶來了機會（獲得更深入的洞察力）。ML的使用提供了真正的潛力，可以同時減少這種風險和追求這種機會。

在部署ML以支持人類決策過程時，有一些重要的考慮，包括(i)解釋和理解模型為何以及如何運作的挑戰，以及(ii)如果ML能力被不適當地使用，對社會和公民造成傷害的風險。人們認識到，在國家安全等高風險背景下廣泛采用ML之前，需要對其安全和有效使用進行明確的指導。

ML的可解釋性是多方面的，既可以指模型性能的技術屬性，如不同閾值的預期精度和召回率（有時被描述為 "全局解釋"）；也可以指模型在得出特定預測時考慮到的具體因素（有時被描述為 "局部解釋"）。本研究試圖研究情報分析員對全局和局部模型解釋的要求和優先權。

該研究涉及檢查情報分析員的決策過程和分析工作流程，以了解在將ML能力納入這一過程時必須考慮到的技術、行為和政策因素。該報告的主要結論和建議如下：

1.ML在從大量不同的數據中定性、發現和分流信息方面最有價值。這在短期內為情報分析中的ML提供了最好的投資回報，因為它解決了情報界的一些最迫切的需求。這些應用也為使用ML提供了更可控的風險，因為關鍵的決定（如那些直接與個人有關的決定）仍然由分析員做出。

2.分析員如何對待ML模型的輸出是高度特定的背景。分析師對機器生成的信息所賦予的意義和信心是由當前的環境（決策的緊迫性、行動的優先性、以及后續決策對資源和結果的感知影響）決定的。因此，識別和理解分析員可能使用ML模型的不同背景，應該是開發、測試和驗證ML模型過程的核心。

3.許多ML系統在技術上缺乏可解釋性，這一點已得到廣泛認可。可解釋人工智能 "是數據科學研究中一個不斷增長的子學科，技術方法正在獲得牽引力，以幫助解釋復雜的ML模型的行為。雖然這些技術的使用可能仍然是數據科學家和ML工程師感興趣的，但數學可解釋性方法在改善分析師對模型的行為和性能的現實世界的理解方面可能作用有限。

4.增加分析師對ML能力的信任涉及到對ML輸出的信任和對整個系統的信任，而ML只是其中的一部分。分析師不會僅僅為了理解一個ML模型的輸出而做出反應和努力，還要考慮其他因素，如他們對模型先前性能的經驗，模型是否已被正式批準用于操作，以及分析師正在執行的任務的性質。

5.ML應該從一開始就被設計成與情報分析員的工具集和工作流程相結合。對ML的最有效應用應來自于對分析員當前工作環境的理解。這需要更深入地了解人類因素、可用性要求和決策心理，并將其納入開發模型（數據科學）和與模型互動的工具（軟件工程）的過程。

6.ML模型的技術信息類型和數量應該是針對具體環境的，是針對用戶的和可交互的。提供給分析員的信息應提高模型的透明度和可解釋性，并應包括兩部分：強制性信息（特定背景）和由分析者選擇的自定義信息（特定用戶）。這兩類信息的表述應該是明確的，并使分析者容易穿越不同層次的解釋（例如通過使用點擊式界面）。

7.解釋的復雜性應該由問題的復雜性決定。如果一個問題在認知上對人來說是簡單的，那么對該問題的ML解決方案的解釋就是不必要的，也無助于決策。然而，對于人類不能輕易完成的更復雜的任務來說，模型提供一些推理，說明它是如何得出某個輸出的，這一點更為重要。也會有這樣的情況：局部解釋既無幫助也不合適。

8.在ML模型和相關的圖形用戶界面（GUI）的原型設計和測試中應包括分析師。這應該引起適當的解釋水平，以支持分析員的決定。調整模型的性能（例如，設定可接受的假陽性/假陰性閾值的限制）應該由分析員群體的不同代表來完成。分析師必須參與ML模型的測試，這將增加他們的整體信心和采用。這些測試的結果應該與部署類似ML系統的伙伴組織進行常規分享。

9.同一模型的不同用途可能需要不同的閾值，這是分析員信心的關鍵，需要不斷審查。在某些情況下，分析員可以容忍較高的假陽性率（例如，在高優先級的行動中，錯過重要的東西可能是災難性的），而在其他情況下，則不能接受。由于潛在的重要信息有可能 "漏網"，假陰性一般在情報分析中更成問題。

10.討論和解釋ML模型的語言應該在整個國家安全界實現標準化。諸如分類器的置信度等數值應按照公認的標準，如PHIA（情報評估專業負責人）的概率標尺來表述。在可能的情況下，這種信息應以語言和數字的形式呈現。

11.數據科學應作為一種支持服務提供給分析員。例如，一個由數據科學家組成的小團隊，專門幫助正在使用ML模型的分析員解釋結果和調查關注的問題。對分析師的密切支持應提高他們對ML模型的行為和性能的理解水平。這將減少不適當使用ML模型的風險，同時提高分析員群體使用ML模型的整體能力和意識。

12.有效采用ML需要一個系統級的方法。ML模型的設計應考慮其對現有政策和實踐的影響，包括任何必要的法律授權，分析師對模型性能的反饋的重要性，以及考慮部署和維護ML模型的整個生命周期的成本。組織政策和流程可能需要更新以考慮這些額外的要求。

13.應提供額外的培訓和學習材料，使那些使用或監督使用ML系統的人能夠獲得最低水平的數據科學和ML知識。了解精確性、召回率和準確性等技術屬性的能力被認為是分析人員應具備的最低水平的知識，以確保他們充分了解ML模型的性能，并因此了解其效用。

將ML嵌入情報分析管道

在短期內，ML被認為在情報分析中最具潛力的、最常被引用的階段是信息過濾和優先級，以使分析更有效，或者正如一位受訪者所描述的那樣，“降低信噪比”。一位受訪者所總結的:“我不排除ML情報分析工具作為任何鏈條的一部分，但它更多的是后續步驟，例如動能行動或建議某物在特定位置或警察逮捕和敲門。對于一個ML工具來說，直接采取這種行動是不合適的。你需要類似的證據。我很樂意使用和試用ML輸出作為過濾和收集決策等過程的一部分，但這離實際結果還很遠。”

圖1概述了典型的情報分析管道和相應的系統功能，并說明了受訪者認為ML可以提供最大價值的地方。一般來說，“收集”和“處理”階段被確定為管道中ML將為分析師提供最大效用的階段。當我們沿著決策和報告(最終由分析過程產生)的管道向下移動時，ML所增加的感知價值會減少。

圖1 情報分析管道概述和整合機器學習的優先領域

回到“干草堆中的針”的比喻，受訪者認為ML在幫助生產“干草堆”方面是有用的，因此分析員不需要審查“整個領域”，但分析員不希望ML決定“針”是什么。換句話說，一名受訪者表示，支持復雜機器學習的能力可能還太遙遠，因此重點是采購更快的馬匹，而不是汽車。從這個意義上說，“快馬”指的是能夠處理更多數據并自動識別分析員感興趣的信息的系統，例如關鍵字搜索。理想情況下，模型將生成包含相關數據的輸出，其中包含一些外圍信息或“干草”，以使分析員確信沒有遺漏任何內容。分析人員仍然對基于分析數據而產生的任何決策負責。

此外，受訪者建議區分ML工具和采用“隊友”角色的ML系統是很重要的。例如，如果系統僅限于批量數據的分類或過濾，則該系統僅僅是執行狹窄任務的工具。一個ML“隊友”會做得更多，參與:“……通過幫助恢復記憶和幫助分析員回憶‘大局’來共同解決問題。”一個ML“隊友”也可以通過做筆記、在分析員身邊演進、在分析員疲勞時“支持他們”或幫助他們生成支撐分析的數據。”

這樣的系統還可以學習和適應用戶需要多少信息以及用戶想在什么時候收到警報，或者了解情況的合法性和交戰規則。一位行為科學家引用了之前的研究，該研究發現，在給定的飽和點之前，情報分析員在他們的認知負荷峰值時表現最佳，因此機器“隊友”可能會根據分析員的認知負荷峰值來調整自己。另一位人為因素工程師表示，未來的系統可能能夠傾聽隊友之間的對話，以及分析員建立的鏈接，從而指出人類分析員可能看不到的鏈接。研究團隊沒有發現這種系統目前正在使用或計劃在不久的將來使用的證據，但如果現有的ML工具現在被接受和信任，那么用戶在未來更有可能接受更復雜的系統和“隊友”。

最后，同樣重要的是要注意，“人機合作”和“自動決策”之間的二元區別可能是對ML決策支持工具在實踐中如何部署的過度簡化。在未來，人類分析師和機器學習之間的三種不同類型的交互是可以想象的，并值得進一步考慮，其中包括一個機器學習模型:

• 對用戶可以手動驗證的結果進行分類;

• 生成一個結果，用戶自己無法手動驗證結果，但專家可以;

• 產生的結果無法通過人工審查驗證。

未來開發基于機器學習的國家安全信息系統的努力應該從清楚地了解這些人機交互模型中哪些最能體現系統的預期用途開始，因為這將對系統開發階段的設計決策產生直接影響。

進一步的研究應著眼于：

i. 確定在人機協作中更高級地使用ML的技術和政策考慮（如非分類用例）。

ii. 了解完全自動化決策應用中對ML的可解釋性要求。

iii. 開發理解分析員工作流程的方法，以指導ML應用的開發，并將行為和決策科學嵌入軟件工程實踐中。

iv. 系統地評估不同用戶的可解釋性要求在背景、工作環境和人口統計學方面的差異。

v. 在PHIA概率標準的基礎上，開發一個標準化的術語詞匯表，用于交流與ML支持的分析相關的信心。