亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，人工智能（AI）系統有了長足的進步，其功能也在不斷擴展。特別是被稱為 "生成式模型 "的人工智能系統在自動內容創建方面取得了巨大進步，例如根據文本提示生成圖像。其中一個發展尤為迅速的領域是能夠生成原始語言的生成模型，這可能會給法律和醫療保健等多個領域帶來益處。

不過，生成式語言模型（簡稱 "語言模型"）也可能存在負面應用。對于希望傳播宣傳信息--旨在塑造觀念以促進行為者利益的惡意行為者來說，這些語言模型帶來了自動創建有說服力和誤導性文本以用于影響力行動的希望，而不必依賴人力。對社會而言，這些發展帶來了一系列新的擔憂：那些試圖暗中影響公眾輿論的人可能會開展高度可擴展、甚至極具說服力的活動。

本報告旨在評估：語言模型的變化會如何塑造影響力行動，以及可以采取哪些措施來減輕這些威脅？由于人工智能和影響力行動都在迅速變化，這項任務本質上是推測性的。

作者于 2021 年 10 月召集了 30 位人工智能、影響力行動和政策分析領域的專家，討論語言模型對影響力行動的潛在影響，該研討會為報告中的許多觀點提供了參考。由此產生的報告并不代表研討會與會者的共識。

希望這份報告對那些對新興技術的影響感興趣的虛假信息研究人員、制定政策和投資的人工智能開發人員以及準備應對技術與社會交叉領域的社會挑戰的政策制定者有所幫助。

語言模型在影響力行動方面的潛在應用

分析了生成式語言模型對影響力行動三個眾所周知的方面——發起行動的行為體、作為戰術的欺騙行為以及內容本身——的潛在影響，并得出結論：語言模型可能會極大地影響未來影響力行動的發起方式。表 1 總結了這些變化。

語言模型有可能以較低的成本與人類撰寫的內容相媲美，這表明這些模型與任何強大的技術一樣，可以為選擇使用它們的宣傳者提供獨特的優勢。這些優勢可以擴大與更多行為者的接觸，實現新的影響策略，并使競選活動的信息傳遞更有針對性和潛在的有效性。

表 1：語言模型如何塑造影響力行動

1、行為體

由于生成AI文本的潛在變化

• 涌現出更多和更多樣化的行為體。
• 外包公司變得更加重要。

對變化的解釋

• 隨著生成式模型降低宣傳成本，更多行為體可能會發現開展影響力行動的吸引力。
• 自動生成文本的雇傭宣傳者可能會獲得新的競爭優勢。

2、行為

由于生成AI文本的潛在變化

• 內容制作自動化可擴大宣傳活動的規模。
• 現有行為變得更有效率。
• 新策略層出不窮

對變化的解釋

• 文本自動生成后，宣傳活動將更容易擴大規模。
• 有了語言模型，跨平臺測試等昂貴的策略可能會變得更便宜
• 語言模型可實現動態、個性化和實時內容生成，如一對一聊天機器人。

3、內容

由于生成AI文本的潛在變化

• 信息更可信、更有說服力。
• 宣傳不易被發現。

對變化的解釋

• 與缺乏目標語言或文化知識的宣傳人員撰寫的文本相比，生成式模型可以改進信息傳遞。
• 現有的宣傳活動經常因使用復制粘貼文本（copypasta）而被發現，但語言模型可以制作出語言獨特的信息。

影響力行動的進展和關鍵未知因素

語言模型的技術進步不可能停止，因此任何試圖了解語言模型將如何影響未來影響行動的嘗試都需要考慮到預期的進步。語言模型可能會變得更加可用（使模型更容易應用于任務）、可靠（減少模型產生明顯錯誤輸出的機會）和高效（提高應用語言模型進行影響行動的成本效益）。

這些因素促使我們做出高度自信的判斷，即語言模型在未來的影響力行動中將大有用武之地。然而，其應用的確切性質尚不明確。

有幾個關鍵的未知因素將塑造影響力行動如何以及在多大程度上采用語言模型。這些未知因素包括：

• 哪些新的影響力能力將作為善意研究的副作用而出現？傳統的研究過程以更廣泛的語言任務為目標，其結果是產生了可應用于影響力行動的系統。未來可能會出現新的能力，如制作長篇有說服力的論據。這些新出現的能力很難通過生成模型來預測，但可以決定宣傳人員將使用語言模型來執行哪些具體任務。

• 為影響力行動設計特定的語言模型是否比應用通用模型更有效？雖然目前大多數模型都是為通用任務或具有科學或商業價值的任務而建立的，但宣傳人員可以建立或調整模型，使其直接用于說服和社會工程等任務。例如，宣傳人員可以對一個較小、能力較弱的模型進行調整，這一過程被稱為微調。這很可能比建立一個更大、更通用的模型更便宜，盡管還不能確定會便宜多少。此外，對最先進的模型進行微調可以使宣傳者更容易獲得新的影響能力。

• 隨著時間的推移，參與者是否會對語言模型進行大量投資？如果許多參與者都投資并創建了大型語言模型，這將增加宣傳者獲取語言模型（合法或通過盜竊）的可能性。宣傳者本身也可以投資創建或微調語言模型，納入定制數據--如用戶參與數據--以優化其目標。

• 政府或特定行業是否會制定禁止將模型用于宣傳目的的規范？正如使用規范會限制其他技術的濫用一樣，它們也可能會限制語言模型在影響力行動中的應用。一個同意不將語言模型用于宣傳目的的國家聯盟可以讓那些不遵守的國家付出代價。在次國家層面，研究團體和特定行業可以制定自己的規范。

• 何時才能公開提供易于使用的文本生成工具？語言模型的熟練使用仍然需要操作知識和基礎設施。易于使用的工具可以生成推文或段落長度的文本，這可能會讓缺乏機器學習知識的現有宣傳人員依賴語言模型。

由于這些關鍵的可能性可能會改變語言模型對影響力行動的影響，因此為減少不確定性而開展更多研究是非常有價值的。

如何減輕潛在威脅？

在2021 年 10 月召開的研討會的基礎上，對現有的大量文獻進行了調查、 試圖為各種可能的緩解戰略提供一個殺傷鏈框架，并對其類型進行調查。目的不是認可具體的緩解策略，而是展示緩解策略如何針對影響力行動流水線的不同階段。

表 2：緩解措施實例摘要

宣傳者的要求

1.能夠生成真實文本的語言模型

2.可靠地獲取此類模型

3.分發生成內容的基礎設施

4.易受影響的目標受眾

干預階段

1.模型設計與制作

2.模型接入

3.內容傳播

4.信念形成

說明性的緩解措施

1.1 人工智能開發人員建立對事實更敏感的模型
1.2 開發人員傳播擴散性數據，使生成模型可被檢測到
1.3 對數據收集施加限制
1.4 對人工智能硬件實施訪問控制
2.1 人工智能供應商對語言模型實施更嚴格的使用限制
2.2 人工智能開發者圍繞模型發布制定新規范
3.1 平臺和人工智能供應商協調識別人工智能內容
3.2 平臺要求發布"個人身份證明"
3.3 依賴公眾意見的實體采取措施減少誤導性人工智能內容的風險
3.4 數字出處標準得到廣泛采用
4.1 機構參與媒體掃盲運動
4.2 開發人員提供以消費者為中心的人工智能工具

上表表明，沒有什么靈丹妙藥能徹底消除影響力行動中語言模型的威脅。一些緩解措施可能在社會上不可行，而另一些則需要技術突破。還有一些可能會帶來不可接受的負面風險。相反，要有效減輕威脅，很可能需要一種結合多種緩解措施的全社會方法。

此外，有效的管理還需要不同機構之間的合作，如人工智能開發者、社交媒體公司和政府機構。只有這些機構通力合作，許多建議的緩解措施才能產生有意義的影響。除非社交媒體公司能與人工智能開發人員合作，將文本歸屬于某個模型，否則他們很難知道某個虛假信息活動是否使用了語言模型。最激進的緩解措施--比如在互聯網協議中加入內容出處標準--需要極度的協調，如果它們是可取的話。

也許最重要的是，強調的緩解措施需要更多的開發、審查和研究。對其有效性和穩健性的評估值得認真分析。

圖 4：人工智能賦能的影響力行動的干預階段。為了阻止宣傳者利用語言模型實施影響力行動，可針對以下四個階段采取緩解措施：(1) 模型設計與構建；(2) 模型獲取；(3) 內容傳播；(4) 信念形成。最終，在這些階段進行干預可減輕影響行動的直接和間接影響。

加固網絡物理資產既重要又耗費人力。最近，機器學習（ML）和強化學習（RL）在自動化任務方面顯示出巨大的前景，否則這些任務將需要大量的人類洞察力/智能。在RL的情況下，智能體根據其觀察結果采取行動（進攻/紅方智能體或防御/藍方智能體）。這些行動導致狀態發生變化，智能體獲得獎勵（包括正獎勵和負獎勵）。這種方法需要一個訓練環境，在這個環境中，智能體通過試錯學習有希望的行動方案。在這項工作中，我們將微軟的CyberBattleSim作為我們的訓練環境，并增加了訓練藍方智能體的功能。報告描述了我們對CBS的擴展，并介紹了單獨或與紅方智能體聯合訓練藍方智能體時獲得的結果。我們的結果表明，訓練藍方智能體確實可以增強對攻擊的防御能力。特別是，將藍方智能體與紅方智能體聯合訓練可提高藍方智能體挫敗復雜紅方智能體的能力。

問題描述

由于網絡威脅不斷演變，任何網絡安全解決方案都無法保證提供全面保護。因此，我們希望通過機器學習來幫助創建可擴展的解決方案。在強化學習的幫助下，我們可以開發出能夠分析和學習攻擊的解決方案，從而在未來防范類似威脅，而不是像商業網絡安全解決方案那樣簡單地識別威脅。

工程描述

我們的項目名為MARLon，探索將多智能體強化學習（MARL）添加到名為CyberBattleSim的模擬抽象網絡環境中。這種多智能體強化學習將攻擊智能體和可學習防御智能體的擴展版本結合在一起進行訓練。

要在CyberBattleSim中添加MARL，有幾個先決條件。第一個先決條件是了解CyberBattleSim環境是如何運行的，并有能力模擬智能體在做什么。為了實現這一點，該項目的第一個目標是實現一個用戶界面，讓用戶看到環境在一個事件中的樣子。

第二個先決條件是為CyberBattleSim添加MARL算法。目前CyberBattleSim的表Q學習和深Q學習實現在結構上無法處理這個問題。這是因為CyberBattleSim實現的表Q學習和深Q學習不符合適當的OpenAI Gym標準。因此，需要添加新的強化學習算法。

當前的防御者沒有學習能力，這意味著要啟用多智能體學習，防御者需要添加以下功能：添加使用所有可用行動的能力，將這些行動收集到行動空間，實現新的觀察空間，并實現獎勵函數。

最后，為了增加MARL，新創建的攻擊者算法和新的可學習防御者必須在同一環境中組合。這樣，兩個智能體就可以在相互競爭的同時進行訓練。

制定量化不確定性元數據的軍事標準是解決利用人工智能/機器學習（AI/ML）軍事優勢所固有的問題。通過提供元數據，美國防部可以繼續確定使用人工智能/機器學習的最佳策略，與能力發展同步進行。這種協調將防止在解決與在作戰系統中實施AI/ML有關的困難技術問題時出現延誤。不確定性量化可以使觀察、定向、決定和行動循環的實際數字實施成為可能，解決在戰爭中使用AI/ML的道德問題，并優化研究和開發的投資。

引言

從基礎上講，美國軍隊不需要人工智能/機器學習（AI/ML）。然而，軍隊需要能夠比對手更快、更好地觀察、定位、決定和行動（OODA），以實現軍事優勢。機器有能力以比人類更快的速度進行觀察、定位、決定和行動，從而實現這一優勢。然而，關于允許AI或ML模型 "決定 "最佳軍事行動方案是否合適的問題仍然沒有定論，因為該決定可能導致破壞和死亡。

利用AI/ML的軍事優勢的潛在隱患已經被不厭其煩地提出來。有三個問題仍然是最令人擔憂的：（1）解決賦予AI摧毀事物和人的權力的道德和倫理考慮；（2）平衡發展AI/ML能力的成本和軍事效用；以及（3）確保對機器的適當信任水平，以最佳地利用對能力發展的AI/ML部分的投資。然而，作為元數據納入軍事信息的不確定性量化（UQ）可以解決這三個隱患，同時遵守美國防部的人工智能倫理原則。

美國防部的人工智能戰略將AI/ML技術的成熟作為優先事項并加以激勵。其結果是，試圖快速實施能力的活動紛至沓來，而對能力增長的可持續性或AI/ML使用的高階影響規劃卻少之又少。正如一位國防研究人員所指出的，"當技術變革更多的是由傲慢和意識形態驅動，而不是由科學理解驅動時，傳統上調節這些力量的機構，如民主監督和法治，可能會在追求下一個虛假的黎明時被削弱。"

美國國防高級研究計劃局認為，目前的AI/ML系統 "缺乏必要的數學框架 "來提供使用保證，這阻礙了它們 "廣泛部署和采用關鍵的防御情況或能力。"保證需要信心，而信心需要最小的不確定性。使用AI/ML的系統的這種保證可以幫助解決道德方面的考慮，提供對開發成本與效用的洞察力，并允許其在戰爭中的使用責任由最低層的指揮官和操作員承擔。

通過在AI/ML系統中實施不確定性量化的軍事標準，美國防部可以確保對這些系統非常需要的信任。此外，如果美國防部將不確定性量化作為對開發者的要求，有可行的方法來應用現有的數學方法來確定和傳播不確定性。然而，當軍方將這一標準應用于信息時，它必須牢記不確定性量化的高階效應和挑戰。

AI/ML的不確定性量化

為了解決上述三個陷阱，任何軍事數字系統內部和都應該要求進行不確定性量化。不確定性量化是為系統中的不完美或未知信息分配一些數字的過程，它將允許機器實時表達它的不確定性，為建立對其使用的信任增加關鍵的透明度。美國防部應實施一項軍事標準，規定對數字系統中的每個數據或信息的元數據進行不確定性的量化標記。一旦可用，這些元數據可以通過功能關系傳播到更高層次的信息使用，為AI或ML模型提供所需的信息，以始終表達它對其輸出的信心如何。

理解作為元數據的UQ需要理解計量學的基礎概念--與測量不確定度有關的權重和計量科學。也就是說，一個測量有兩個組成部分： 1）一個數值，它是對被測量量的最佳估計，以及2）一個與該估計值相關的不確定性的測量。

值得注意的是，2008年國際標準化組織（ISO）的《測量不確定性表達指南》定義了測量不確定性和測量誤差之間的區別。這些術語不是同義的："通常在被測物[被測量的量]的報告值后面的±（加或減）符號和這個符號后面的數字量，表示與特定被測物有關的不確定性，而不是誤差。誤差是指測量值與實際值或真實值之間的差異。不確定度是許多誤差的影響"。

在軍事術語中，"測量"是在OODA循環中收集和使用的任何信息。每條信息都是由某種傳感器測量的，并且會有一些不確定性與之相關。作為元數據的不確定性量化將至少采取兩種形式：根據經驗產生的測量不確定性（基于上文概述的計量標準）和統計學上假設的不確定性（通過一些手段確定，其中有很多）。

操作員在使用具有UQ功能的系統時，可以使用系統報告的不確定性來告知他們的戰術決策。指揮官可以利用這種系統在作戰甚至戰略層面上為各種類型的軍事行動設定所需的預定義信任水平，這可以幫助操作人員在使用AI或ML模型時了解他們的權限是什么。這也將有助于采購專業人員為AI/ML能力的發展做出適當的投資決定，因為它將量化效用的各個方面。此外，在使用AI/ML的系統中提供量化的最低限度的確定性要求，可以解決上面討論的三個隱患。

就使用AI的道德和倫理問題而言，對于 "讓AI或ML模型決定將導致破壞和死亡的軍事行動方案，是否符合道德或倫理？"這個問題沒有單一的正確答案。正如所有的道德和倫理辯論一樣，以絕對的方式處理是不可能的。

因此，美國防部應將軍事行動分為三個眾所周知的機器自主性相對程度之一：機器永遠不能自己做的事情，機器有時或部分可以自己做的事情，或機器總是可以自己做的事情。然后，美國防部可以為這些類別中的每一類定義一個最低的確定性水平作為邊界條件，并且/或者可以定義具體行動所需的最低確定性水平。決策或行動的關鍵性將推動UQ邊界的確定。使用不確定性量化包含了在處理使用AI/ML的系統的道德考慮方面的細微差別和模糊性。

當涉及到平衡人工智能/機器學習的成本與使用時，美國防部的受托責任是確保對人工智能/機器學習發展的投資與它的軍事效用成正比。如果人工智能/機器學習政策禁止美國軍隊允許人工智能決定摧毀某物或殺人，那么開發和采購一營完全自主的殺手機器人就沒有任何意義。因此，預先定義的最低不確定性界限將使采購專業人員能夠確定如何最好地使用有限的資源以獲得最大的投資回報。

在能力發展過程中優化對AI/ML的信任，將需要對AI/ML采購中普遍存在的經驗不足以及機器學習中不確定性量化科學的相對稚嫩進行保障。"不確定性是機器學習領域的基礎，但它是對初學者，特別是那些來自開發者背景的人造成最困難的方面之一。" 系統開發的所有方面都應該包括不確定性量化的元數據標簽，無論系統是否打算自主使用。

這些輸出可能會被卷進更高層次的數字能力中，然后需要UQ數據來計算不確定性的傳播。例如，F-16維護者的故障代碼閱讀器應該有不確定性量化元數據標記到每個故障讀數，在源頭提供這種量化。讀碼器本身并不打算納入人工智能或機器學習模型，而且該數據可能不會立即用于人工智能/ML應用，但故障數據可能會與整個艦隊的故障數據進行匯編，并提交給預測倉庫級維護趨勢的外部ML模型。元數據將跟隨這組數字信息通過任何級別的編譯或高階使用。

要求將不確定性量化元數據作為一項軍事標準，實現了美國防部長關于人工智能道德原則的意圖，其中包括五個主要領域：

• 負責任： UQ為判斷提供依據，為開發、部署和使用人工智能能力提供經驗基礎。
• 公平性： 人工智能中的偏見可以用與不確定性相同的方式來衡量，并且是基于許多相同的統計學原理。然后，偏見可以被解決和改善。
• 可追溯性： 要求每個層次的不確定性元數據能夠保證可追溯性。機器的性能問題可以追溯到有問題的部件。
• 可靠性： UQ允許開發人員檢查，并允許有針對性地改進最惡劣的輸入因素。
• 可管理： UQ作為自主性信任等級的邊界條件，可以用來定義實現預期功能和避免意外后果的準則。

采用這些道德原則是為了確保美國防部繼續堅持最高的道德標準，同時接受人工智能這一顛覆性技術的整合。不確定性量化是實現這一目標的實用方法。

在AI/ML中建立信任

蘭德公司的一項研究發現，信任是與人工智能/ML的軍事用途有關的大多數擔憂的根本原因。國防部研究人員指出，"當涉及到組建人類和自主系統的有效團隊時，人類需要及時和準確地了解其機器伙伴的技能、經驗和可靠性，以便在動態環境中信任它們"。對于許多自主系統來說，它們 "缺乏對自身能力的認識，并且無法將其傳達給人類伙伴，從而降低了信任，破壞了團隊的有效性"。

AI/ML模型中的信任從根本上說是基于人類對信息的確定性，無論是簡單的傳感器輸出還是自主武器系統的整體能力。這一點得到了MITRE公司研究的支持： 人工智能采用者經常詢問如何增加對人工智能的信任。解決方案不是讓我們建立人們完全信任的系統，也不是讓用戶只接受從不犯錯的系統。相反，教訓指出了在證據和認知的基礎上形成良好的伙伴關系的重要性。良好的伙伴關系有助于人類理解人工智能的能力和意圖，相信人工智能會像預期的那樣工作，并在適當程度上依賴人工智能。然后，利益相關者可以校準他們的信任，并在授予人工智能適當的權力之前權衡人工智能決定的潛在后果。

通過將機器--數字或物理--視為合作伙伴，軍方可以將其與人類合作伙伴的信任建立技術進行類比。健全的伙伴關系需要有效的雙向溝通和加強合作的系統。"事實上，數字系統輸出中的不確定性措施是沒有用的，除非這種不確定性可以傳達給人類伙伴。一旦機器能夠量化不確定性，并且能夠傳達這種量化，它們也能夠對輸出進行評估并改進系統。

機器對其自身能力的認識的實時反饋，將通過提供每個循環中的不確定性的量化，增加機器的觀察、定位和決定功能的透明度。這種反饋提高了對該特定系統的信任，并通過不確定性的傳播實現了對系統中的系統的信任量化。例如，考慮遙控飛機（RPA）對一個潛在目標的視頻監控。如何確定RPA的傳感器是準確的和經過校準的，視頻流沒有被破壞，和/或操作者已經得到了關于首先將傳感器指向何處的健全的基線情報？

OODA環路的每一個組成部分都有一些相關的不確定性，這些不確定性可以而且應該被量化，從而可以用數學方法傳播到決策層面。在這種情況下，它將導致目標正確性的x%的傳播確定性，使任務指揮官對他們的態勢感知（觀察）充滿信心，并使他們能夠更好地確定方向，更快地決定是否參與。

通過量化不確定性，并將其與各類行動所需的預定信心水平結合起來使用，決策者可以圍繞那些幾乎沒有道德影響的軍事行動以及那些有嚴重道德影響的軍事行動創造邊界條件。國防部高級領導人還可以為開發和應用人工智能/ML能力的投資比例設定門檻，并可以確保投資將被用于實現最佳軍事優勢。這將通過 "量化-評估-改進-溝通 "的循環為使用人工智能/ML的系統提供保證。

不確定性量化允許設置如果-那么關系，以限制機器的可允許行動空間。在另一個簡略的例子中，一個空間領域意識任務可以使用紅外傳感器數據來識別空間飛行器。如果-那么關系可能看起來像這樣： 如果傳感器數據與目標的關聯模型的確定性大于95%，那么該目標識別信息可以在國家空間防御中心目錄中自動更新。如果傳感器數據與目標的關聯模型的確定性大于75%但小于95%，那么機器可以嘗試與確定性大于75%的信號情報（SIGINT）進行匹配，或者可以將信息發送給人類進行驗證。

因此，使用量化的不確定性使指揮官能夠將決策樹根植于人工智能/ML模型可使用的參數中，并指導如何使用這些人工智能/ML模型。在考慮機器自主性的三個相對程度時，指揮官可以預先定義每一類行動的輸入的不確定性水平，作為何時以及在何種情況下讓機器決定是有意義的指導方針，明確界定使用人工智能或ML模型的參與規則。

所有武器系統，無論是否打算納入自主性，都應在其計劃的用戶界面中提供不確定性元數據。了解所有輸入的不確定性對傳統武器系統的用戶和人工智能/ML的應用一樣有利。通過現在提供元數據，國防部高級領導人可以繼續確定使用AI/ML的最佳治理和政策，而不會放慢技術和工程發展。任何這樣的治理都可以在未來通過參考系統內組件級或輸出級的量化不確定性來實施。

數學實現

將不確定性量化和傳播應用于收緊OODA循環，假定功能關系可用于定義軍事情況。函數關系是這種應用的最佳數學方法，因為一般可以證明函數值和輸入變量之間存在因果關系，而不需要具體確定關系的確切數學形式。通過假設這些函數關系的存在，可以使用一個描述不確定性傳播的一般方程式。

一個帶有不確定性條款的通用函數關系看起來像：

其中y是輸出，u(y)是該輸出的不確定性，有n個輸入變量，其相關的不確定性影響該輸出。這表明y取決于n個輸入變量，并且按照 "不精確概率論者 "的風格，y的精確值在y+u(y)到y-u(y)的區間內。

這種旨在改善醫學實驗室研究的想法的直接應用也涉及到軍事決策。"與任何測量相關的不確定性及其通過定義的函數關系的傳播可以通過微分（部分微分）和應用不確定性傳播的一般方程來評估。"這些數學方法將捕捉到在一個非常復雜的系統中許多測量物變化時不確定性的變化。這個不確定性傳播方程可以用標準的統計程序得出，最重要的是，它與函數關系的確切形式無關。

請那些更精通統計學的人將這種方法提交給進一步的案例研究，并確定在需要包括許多輸入變量時，在非常大的系統層面計算傳播的不確定性的可行性。已經表明，"問題越復雜，獲得校準的不確定性估計的成本就越高"。這種方法通過作戰級別的人工智能/ML模型（即涉及一翼或一營的交戰）可能是可行的，但更高層次的戰略不確定性傳播（即包括政治經濟或核因素的戰役級模型）可能需要不可行的計算能力來實時計算。

作為輸入數據集的一部分，通過機器學習模型傳播測量的不確定性比使用統計方法來估計模型內的不確定性要少得多。數據科學家和人工智能研究人員將熟悉大量專注于假設機器學習模型內的不確定性的研究，但許多歷史工作并沒有采取調整認識上的不確定性--ML模型的訓練數據量不足--與訓練數據集中的測量不確定性的方法。

測量的不確定性可以被認為是數據中的噪聲和/或觀察中的變異性。在數字系統中實施不確定性量化時，需要對不確定性的其他方面進行量化，如領域覆蓋的完整性，也就是輸入數據集的代表性，以及軍事問題的不完善建模，這是模型開發過程中不正確的基線假設的結果，最終植根于人類判斷的不完善。

一個更現代的傳播方法，可能計算量較小，可能是使用機器學習來假設不確定性。來自其他學科使用神經網絡的證據顯示，納入已知的輸入數據不確定性，"與不使用它們的情況相比，對做出更好的預測是有利的"。這些研究人員還建議進一步調查在貝葉斯深度學習框架中使用已知的輸入數據不確定性 "作為要得出的不確定性的初始值"，這將是一種與統計學得出的不確定性協同傳播經驗不確定性的方式。

使用數學方法來傳播不確定性，將納入并考慮到不確定性的影響--無法解釋的數據的固有隨機性--以及認識上的不確定性。擬議的軍事標準應將測量不確定性的要求與傳播到高階用途的要求結合起來，如機器學習或更抽象的建模和模擬。用軍事術語來說，通過這種方法使UQ標準化，不僅要考慮基線觀測數據的不確定性，還要考慮與方向和行動有關的數據不確定性。

軍事用途的數學問題

為了繼續與軍事戰略進行類比，功能關系描述了在OODA循環中如何獲得軍事優勢，以及不確定性如何在該過程中傳播。

在這個特意象征性的等式中，觀察和定位是恒定的活動，而決策和行動是時間上的離散事件。所期望的軍事效果的成功概率是基于循環中每個輸入變量的不確定性的傳播：操作者有多大把握(a)他們的觀察抓住了現實，(b)他們以預期的方式定向，(c)他們的決定以預期的方式執行，以及(d)他們的行動沒有被打亂。

這種方法的障礙在于它需要對不確定性的事先了解，這是目前無法獲得的元數據，因為在經驗情況下確定它的成本通常很高，而在統計情況下有許多可接受的方法來生成它。這就回到了建議的解決方案，即征收要求和標準，以提供與每個輸入變量相關的不確定性作為元數據。一旦提供，匯編觀測和定位數據的人工智能/ML系統可以使用元數據進行傳播，并向操作者或指揮官提供情況圖中的總體量化不確定性。當實時使用時，這種方法內在地捕捉了OODA循環的決策和行動步驟的各個方面。

高階效應和挑戰

一項分析表明，將不確定性信息傳達給無人駕駛車輛的操作員并使之可視化，有助于提高人類-AI團隊的績效。但其他人工智能研究人員也表明，"需要更多地研究如何以對用戶有意義的方式，最好地捕捉和呈現開發者的[不確定性量化]"。他們進一步指出，"讓用戶對他們不了解的方面有看似控制的感覺，有可能給人以清晰和知情控制的錯覺，造成額外的自動化偏差，或者干脆讓用戶選擇一個給他們想要的答案的選項。" 這一發現堅實地進入了決策理論和心理學的工作體系。有一些統計方法試圖用算法來定義判斷和決策，使用這些方法有風險。

一項單獨的分析提供了判斷和決策文獻中與決策中使用不確定性估計有關的結論。該研究的結論是，向利益相關者提供不確定性估計可以通過確保信任的形成來提高透明度： "即使是經過良好校準的不確定性估計值，人們也會有不準確的認識，因為(a)他們對概率和統計的理解程度不同，(b)人類對不確定性數量的認識往往受決策啟發式的影響。

作者進一步補充說，"非專業人士和專家都依賴心理捷徑或啟發式方法來解釋不確定性"，這 "可能導致對不確定性的評估出現偏差，即使模型輸出是經過精心校準的"。不出所料，關于這個問題的主要啟示是，所選擇的UQ交流方法應首先與利益相關者進行測試，開發人員應滿足他們的UQ顯示和用戶界面的不同終端用戶類型。例如，向數據科學家介紹不確定性量化應該與向戰時決策的操作員介紹UQ不同。情報界在確定傳達與軍事信息相關的不確定性的最佳方法方面有著悠久的歷史，因此它對 "估計概率詞 "的約定可能是后一類終端用戶的合適出發點。

當考慮在作戰和戰略決策層面使用傳播的不確定性時，有可能使用傳播計算可能使UQ數字變得不相關和不可用，因為在非常復雜的系統中，不確定性接近100%的期望輸出。順便說一句，這是一個有趣的結論，可能指向 "戰爭迷霧 "的數學證明。進一步調查計算非常大的系統級別的傳播的不確定性可能會更好地闡明這個結論。

然而，這種高度傳播的不確定度的潛在缺陷并不足以反駁實施不確定度軍事標準的做法。包括每個級別的元數據標簽，使操作人員能夠檢查哪些因素造成了最大的不確定性，哪些因素是指揮官可以有高度信心的，這仍然是非常有用的信息。當操作員的帶寬在高壓力交戰之外可用時，這些元數據標簽允許操作員檢查功能關系中輸入變量之間的協方差和相關性。這些元數據還可以被采集專業人員用于評估和改進任務，通過識別系統性錯誤并將其消除，以及識別造成隨機錯誤的最嚴重的罪犯。

高度傳播的UQ可能是不相關的，這也強調了發展健全的軍事判斷的永久重要性。正如在任何不確定性非常高的軍事情況下，為實現軍事優勢，將需要具有敏銳性的操作員和指揮官。使用人工智能/ML來觀察、定位、決定和比對手更快地行動，只有在行動優越的情況下才會導致勝利。勝利理論的這一層面與要求、傳播和以標準化的方式交流UQ的論點不同。

最后，AI/ML要求輸入數據是感興趣領域的 "具有適當代表性的隨機觀察樣本"。重要的是，"在所有情況下，我們永遠不會有所有的觀察結果"，而且在感興趣的領域內 "總會有一些未觀察到的情況"。盡管人工智能或ML算法是在一個不充分的數據集上訓練出來的，但試圖在數據抽樣中實現對該領域的全部觀察覆蓋也是不理想的。

當以較高的行動節奏將人工智能/ML應用于OODA循環時，提高領域的覆蓋率并不需要更多的抽樣，而應該通過抽樣中更多的隨機化來實現，重點是確定準確的測量不確定性。上述關于已知輸入數據的研究從理論上和經驗上證明，將數據的不確定性納入一系列機器學習模型的學習過程中，使模型對過擬合問題更有免疫力--當模型與訓練數據集擬合得過于緊密時，就會出現不可接受的ML行為，導致在負責評估未知數據時出現不準確的預測結果。

過度擬合的問題并不是機器學習所獨有的，從根本上說是由輸入數據集的缺陷造成的。"簡單地說，不確定性和相關的無序性可以通過創造一個更高更廣的更一般的概念來代表現實的直接假象來減弱"。這導致了對該領域的最大統計覆蓋，對被觀察系統的侵擾最小。它還最大限度地減少了數據和元數據集的大小，從而在高階使用中提高了UQ傳播方程的計算效率。

結論

實施量化不確定性元數據的軍事標準，并發展傳播、評估、改進和交流該信息的能力，將為繼續追求AI/ML的軍事用途能力提供最大的靈活性。使用人工智能/ML系統的不確定性量化，通過溝通、透明和參與共同經歷來發展這種信任，使人機團隊內部能夠相互信任和團結。使用AI/ML系統實現軍事目標的保證需要量化的不確定性。

與軍事戰略的概念相聯系，這種不確定性量化的整個框架有助于一個成功的組織。通過現在提供UQ元數據，國防部高級領導人可以繼續確定使用人工智能/ML的最佳治理和政策，而不耽誤技術和工程開發。隨著作戰人員使用UQ來發展對AI/ML伙伴的信任，軍隊的觀察、定位、決定和行動的能力將比對手更快，并確保軍事優勢。

隨著技術的飛速發展和威脅環境變得更加復雜，今天的海軍行動經常面臨著具有挑戰性的決策空間。人工智能（AI）的進步為解決海軍行動中日益復雜的問題提供了潛在的解決方案。未來的人工智能系統提供了潛在的意義深遠的好處--提高對態勢的認識，增加對威脅和對手能力和意圖的了解，識別和評估可能的戰術行動方案，并提供方法來預測行動方案決定的結果和影響。人工智能系統將在支持未來海軍作戰人員和保持作戰和戰術任務優勢方面發揮關鍵作用。

人工智能系統為海戰提供了優勢，但前提是這些系統的設計和實施方式能夠支持有效的作戰人員-機器團隊，改善作戰情況的不確定性，并提出改善作戰和戰術結果的建議。實施人工智能系統，以滿足海軍應用的這些苛刻需求，給工程設計界帶來了挑戰。本文確定了四個挑戰，并描述了它們如何影響戰爭行動、工程界和海軍任務。本文提供了通過研究和工程倡議來解決這些挑戰的解決思路。

引言

人工智能是一個包括許多不同方法的領域，目的是創造具有智能的機器（Mitchell 2019）。自動化系統的運作只需要最小的人類輸入，并經常根據命令和規則執行重復性任務。人工智能系統是自動化機器，執行模仿人類智能的功能。它們將從過去的經驗中學習到的新信息融入其中，以做出決定并得出結論。

如表1所述，人工智能系統有兩種主要類型。第一種類型是明確編程的專家系統。Allen（2020，3）將專家系統描述為手工制作的知識系統，使用傳統的、基于規則的軟件，將人類專家的主題知識編入一長串編程的 "如果給定x輸入，則提供y輸出"的規則。這些系統使用傳統的編程語言。第二種類型是ML系統，從大型數據集中進行訓練。ML系統自動學習并從經驗中改進，而不需要明確地進行編程。一旦ML系統被 "訓練"，它們就被用于操作，以產生新的操作數據輸入的結果。

表1. 兩類人工智能系統

人工智能系統--包括專家系統和學習系統--為海軍提供了巨大的潛力，在大多數任務領域有不同的應用。這些智能系統可以擴展海軍的能力，以了解復雜和不確定的情況，制定和權衡選擇，預測行動的成功，并評估后果。它們提供了支持戰略、作戰計劃和戰術領域的潛力。

本文確定了工程設計界必須解決的四個挑戰，以便為未來海戰任務實施人工智能系統。表2強調了這四個挑戰領域。這些挑戰包括：（1）復雜的海戰應用領域；（2）需要收集大量與作戰相關的數據來開發、訓練和驗證人工智能系統；（3）人工智能系統工程的一些新挑戰；（4）存在對手的人工智能進展，不斷變化和發展的威脅，以及不斷變化的人工智能系統的網絡弱點。本文側重于海軍戰爭的四個挑戰領域，但認識到這些挑戰可以很容易地被概括為整個軍隊在未來人工智能系統可能應用的所有戰爭領域中廣泛存在的挑戰。

表2. 為海軍實施人工智能系統的四個挑戰領域

挑戰一：戰爭復雜性

人工智能正被視為一種能力，可應用于廣泛的應用，如批準貸款、廣告、確定醫療、規劃航運路線、實現自動駕駛汽車和支持戰爭決策。每個不同的應用領域都提出了一系列的挑戰，人工智能系統必須與之抗衡，才能成為一種增加價值的可行能力。表3比較了一組領域應用的例子，從潛在的人工智能系統解決方案的角度說明了挑戰的領域。該表在最上面一行列出了一組10個因素，這些因素對一個特定的應用程序產生了復雜性。根據每個因素對作為實施人工智能的領域的整體復雜性的貢獻程度，對六個應用領域的特征進行了定性評估。顏色代表低貢獻（綠色）、中貢獻（黃色）和高貢獻（紅色）。

表3中最上面一行顯示的特征包括： (1)認識上的不確定性水平（情況知識的不確定性程度），(2)情況的動態性，(3)決策時間表（可用于決策的時間量），(4)人類用戶和人工智能系統之間的互動所涉及的錯綜復雜的問題、 (5）資源的復雜性（數量、類型、它們之間的距離以及它們的動態程度），（6）是否涉及多個任務，（7）所需訓練數據集的復雜性（大小、異質性、有效性、脆弱性、可獲得性等 8）對手的存在（競爭者、黑客或徹頭徹尾的敵人），（9）可允許的錯誤幅度（多少決策錯誤是可以接受的），以及（10）決策后果的嚴重程度。該表的定性比較旨在提供一個高層次的相對意義，即基于一組樣本的貢獻因素，不同應用領域的不同復雜程度。

表3. 影響應用復雜性的因素比較

對于所有的應用領域來說，人工智能系統的工程都是具有挑戰性的。人工智能系統在本質上依賴于具有領域代表性的數據。獲得具有領域代表性的數據會帶來基于數據大小、可用性、動態性和不確定性的挑戰。決策時間--由情況的時間動態決定--會給人工智能系統工程帶來重大挑戰--特別是當一個應用領域的事件零星發生和/或意外發生時；以及當決策是時間緊迫的時候。具有更多決策時間、充分訪問大型數據集、直接的用戶互動、完善的目標和非致命后果的應用，如貸款審批、廣告、醫療診斷（在某種程度上）面臨工程挑戰，但其復雜程度較低。確定最佳運輸路線和為自動駕駛汽車設計AI系統是更復雜的工作。這些應用是動態變化的，做決定的時間較短。航運路線將在可能的路線數量上具有復雜性--這可能會導致許多可能的選擇。然而，航運錯誤是有空間的，而且后果通常不會太嚴重。對于自動駕駛汽車來說，決策錯誤的空間非常小。在這種應用中，決策失誤會導致嚴重的事故。

影響開發支持海戰決策的人工智能系統的因素在表3所示的所有類別中都具有高度的復雜性。因此，戰術戰爭領域對工程和實施有效的人工智能系統作為解決方案提出了特別棘手的挑戰。表4強調了導致這種復雜性的海戰領域的特點。作為一個例子，海軍打擊力量的行動可以迅速從和平狀態轉變為巨大的危險狀態--需要對威脅保持警惕并采取適當的反應行動--所有這些都是在高度壓縮的決策時間內進行。戰術威脅可能來自水下、水面、空中、陸地、太空，甚至是網絡空間，導致需要處理多種時間緊迫的任務。由于海軍和國防資產在艦艇、潛艇、飛機、陸地和太空中，戰術決策空間必須解決這些分散和多樣化資源的最佳協作使用。制定有效的戰術行動方案也必須在高度動態的作戰環境中進行，并且只有部分和不確定的情況知識。決策空間還必須考慮到指揮權、交戰規則和戰術理論所帶來的限制。人類作為戰術決策者的角色增加了決策空間的復雜性--信息過載、操作錯誤、人機信任和人工智能的模糊性/可解釋性問題等挑戰。最后，對于戰術決策及其可能的后果來說，風險可能非常大。

表4. 導致戰術決策復雜性的因素

解決高度復雜的決策領域是對海軍的挑戰。人工智能為解決海軍作戰的復雜性提供了一個潛在的解決方案，即處理大量的數據，處理不確定性，理解復雜的情況，開發和評估決策選擇，以及理解風險水平和決策后果。Desclaux和Prestot（2020）提出了一個 "認知三角"，其中人工智能和大數據被應用于支持作戰人員，以實現信息優勢、控制論信心和決策優勢。約翰遜（2019年）開發了一個工程框架和理論，用于解決高度復雜的問題空間，這些問題需要使用智能和分布式人工智能系統來獲得情況意識，并做出適應動態情況的協作行動方案決定。約翰遜（2020a）建立了一個復雜的戰術場景模型，以證明人工智能輔助決策對戰術指揮和控制（C2）決策的好處。約翰遜（2020b）開發了一個預測分析能力的概念設計，作為一個自動化的實時戰爭游戲系統來實施，探索不同的可能的戰術行動路線及其預測的效果和紅色部隊的反應。首先，人工智能支持的C2系統需要描述戰術行動期間的復雜程度，然后提供一個自適應的人機組合安排來做出戰術決策。這個概念包括根據對目前戰術情況的復雜程度最有效的方法來調整C2決策的自動化水平（人與機器的決策角色）。約翰遜（2021年）正在研究這些概念性工程方法在各種防御用例中的應用，包括空中和導彈防御、超視距打擊、船舶自衛、無人機操作和激光武器系統。

在海軍作戰中實施人工智能系統的一個額外挑戰是在戰術邊緣施加的限制。分散的海軍艦艇和飛機的作戰行動構成了戰術邊緣--在有限的數據和通信下作戰。"在未來，戰術邊緣遠離指揮中心，通信和計算資源有限，戰場形勢瞬息萬變，這就導致在嚴酷復雜的戰地環境中，網絡拓撲結構連接薄弱，變化迅速"（Yang et. al. 2021）。戰術邊緣網絡也容易斷開連接（Sridharan et. al. 2020）。相比之下，許多商業人工智能系統依賴于基于云的或企業內部的處理和存儲，而這些在海戰中是不存在的。在戰術邊緣實施未來的人工智能系統時，必須進行仔細的設計考慮，以了解哪些數據和處理能力可用。這可能會限制人工智能系統在邊緣所能提供的決策支持能力。

在軍事領域使用人工智能必須克服復雜性的挑戰障礙，在某些情況下，人工智能的加入可能會增加復雜性。辛普森等人（2021）認為，將人工智能用于軍事C2可能會導致脆弱性陷阱，在這種情況下，自動化功能增加了戰斗行動的速度，超出了人類的理解能力，最終導致 "災難性的戰略失敗"。Horowitz等人（2020）討論了通過事故、誤判、增加戰爭速度和升級以及更大的殺傷力來增加國際不穩定和沖突。Jensen等人（2020）指出，人工智能增強的軍事系統增加的復雜性將增加決策建議和產生的信息的范圍、重要性和意義的不確定性；如果人類決策者對產出缺乏信心和理解，他們可能會失去對人工智能系統的信任。

挑戰二：數據需求

實施人工智能系統的第二個挑戰是它們依賴并需要大量的相關和高質量的數據用于開發、訓練、評估和操作。在海戰領域滿足這些數據需求是一個挑戰。明確編程的專家系統在開發過程中需要數據進行評估和驗證。ML系統在開發過程中對數據的依賴性甚至更大。圖1說明了ML系統如何從代表作戰條件和事件的數據集中 "學習"。

ML系統的學習過程被稱為被訓練，開發階段使用的數據被稱為訓練數據集。有幾種類型的ML學習或訓練--它們是監督的、無監督的和強化的方法。監督學習依賴于地面真相或關于輸出值應該是什么的先驗知識。監督學習算法的訓練是為了學習一個最接近給定輸入和期望輸出之間關系的函數。無監督學習并不從地面真相或已知的輸出開始。無監督學習算法必須在輸入數據中推斷出一個自然結構或模式。強化學習是一種試錯法，允許代理或算法在獎勵所需行為和/或懲罰不需要的行為的基礎上學習。所有三種類型的ML學習都需要訓練數據集。在部署后或運行階段，ML系統繼續需要數據。

圖1顯示，在運行期間，ML系統或 "模型 "接收運行的實時數據，并通過用其 "訓練 "的算法處理運行數據來確定預測或決策結果。因此，在整個系統工程和采購生命周期中，ML系統與數據緊密相連。ML系統是從訓練數據集的學習過程中 "出現 "的。ML系統是數據的質量、充分性和代表性的產物。它們完全依賴于其訓練數據集。

圖1. 使用數據來訓練機器學習系統

美國海軍開始認識到對這些數據集的需求，因為許多領域（戰爭、供應鏈、安全、后勤等）的更多人工智能開發人員正在了解人工智能解決方案的潛在好處，并開始著手開發人工智能系統。在某些情況下，數據已經存在并準備好支持人工智能系統的開發。在其他情況下，數據存在但沒有被保存和儲存。最后，在其他情況下，數據并不存在，海軍需要制定一個計劃來獲得或模擬數據。

收集數據以滿足海軍領域（以及更廣泛的軍事領域）的未來人工智能/ML系統需求是一個挑戰。數據通常是保密的，在不同的項目和系統中被分隔開來，不容易從遺留系統中獲得，并且不能普遍代表現實世界行動的復雜性和多樣性。要從并非為數據收集而設計的遺留系統中獲得足夠的數據，可能非常昂貴和費時。數據收集可能需要從戰爭游戲、艦隊演習、系統測試、以及建模和模擬中收集。此外，和平時期收集的數據并不代表沖突和戰時的操作。海軍（和軍方）還必須教導人工智能系統在預計的戰時行動中發揮作用。這將涉及想象可能的（和可能的）戰時行動，并構建足夠的ML訓練數據。

數據收集的另一個挑戰是潛在的對抗性黑客攻擊。對于人工智能/ML系統來說，數據是一種珍貴的商品，并提出了一種新的網絡脆弱性形式。對手可以故意在開發過程中引入有偏見或腐敗的數據，目的是錯誤地訓練AI/ML算法。這種邪惡的網絡攻擊形式可能很難被發現。

海軍正在解決這一數據挑戰，開發一個數據基礎設施和組織來管理已經收集和正在收集的數據。海軍的Jupiter計劃是一個企業數據和分析平臺，正在管理數據以支持AI/ML的發展和其他類型的海軍應用，這些應用需要與任務相關的數據（Abeyta，2021）。Jupiter努力的核心是確定是否存在正確的數據類型來支持人工智能應用。為了生產出在行動中有用的人工智能/ML系統，海軍需要在游戲中保持領先，擁有能夠代表各種可能情況的數據集，這些情況跨越了競爭、沖突和危機期間的行動范圍。因此，數據集的開發和管理必須是一項持續的、不斷發展的努力。

挑戰三：工程化人工智能系統

第三個挑戰是，人工智能系統的工程需要改變傳統的系統工程（SE）。在傳統系統中，行為是設定的（確定性的），因此是可預測的：給定一個輸入和條件，系統將產生一個可預測的輸出。一些人工智能解決方案可能涉及到系統本身的復雜性--適應和學習--因此產生不可預見的輸出和行為。事實上，一些人工智能系統的意圖就是要做到這一點--通過承擔一些認知負荷和產生智能建議，與人類決策者合作。表5強調了傳統系統和人工智能系統之間的區別。需要有新的SE方法來設計智能學習系統，并確保它們對人類操作者來說是可解釋的、可信任的和安全的。

SE作為一個多學科領域，在海軍中被廣泛使用，以將技術整合到連貫而有用的系統中，從而完成任務需求（INCOSE 2015）。SE方法已經被開發出來用于傳統系統的工程設計，這些系統可能是高度復雜的，但也是確定性的（Calvano和John 2004）。如表5所述，傳統系統具有可預測的行為：對于一個給定的輸入和條件，它們會產生可預測的輸出。然而，許多海軍應用的人工智能系統在本質上將是復雜的、適應性的和非決定性的。Raz等人（2021年）解釋說，"SE及其方法的雛形基礎并不是為配備人工智能（即機器學習和深度學習）的最新進展、聯合的多樣化自主系統或多領域操作的工程系統而設想的。" 對于具有高風險后果的軍事系統來說，出錯的余地很小；因此，SE過程對于確保海軍中人工智能系統的安全和理想操作至關重要。

表5. 傳統系統和人工智能系統的比較

在整個系統生命周期中，將需要改變SE方法，以確保人工智能系統安全有效地運行、學習和適應，以滿足任務需求并避免不受歡迎的行為。傳統的SE過程的大部分都需要轉變，以解決人工智能系統的復雜和非確定性的特點。在人工智能系統的需求分析和架構開發階段需要新的方法，這些系統將隨著時間的推移而學習和變化。系統驗證和確認階段將必須解決人工智能系統演化出的突發行為的可能性，這些系統的行為不是完全可預測的，其內部參數和特征正在學習和變化。運營和維護將承擔重要的任務，即隨著人工智能系統的發展，在部署期間不斷確保安全和理想的行為。

SE界意識到，需要新的流程和實踐來設計人工智能系統。國際系統工程師理事會（INCOSE）最近的一項倡議正在探索開發人工智能系統所需的SE方法的變化。表6強調了作為該倡議一部分的五個SE重點領域。除了非決定性的和不斷變化的行為，人工智能系統可能會出現新類型的故障模式，這些故障模式是無法預料的，可能會突然發生，而且其根本原因可能難以辨別。穩健設計--或確保人工智能系統能夠處理和適應未來的情景--是另一個需要新方法的SE領域。最后，對于有更多的人機互動的人工智能系統，必須仔細注意設計系統，使它們值得信賴，可以解釋，并最終對人類決策者有用。

表6.人工智能系統工程中的挑戰（改編自：Robinson，2021）。

SE研究人員正在研究人工智能系統工程所涉及的挑戰，并開發新的SE方法和對現有SE方法的必要修改。Johnson（2019）開發了一個SE框架和方法，用于工程復雜的適應性系統（CASoS）解決方案，涉及分布式人工智能系統的智能協作。這種方法支持開發智能系統的系統，通過使用人工智能，可以協作產生所需的突發行為。Johnson（2021）研究了人工智能系統產生的潛在新故障模式，并提出了一套跨越SE生命周期的緩解和故障預防策略。她提出了元認知，作為人工智能系統自我識別內部錯誤和失敗的設計方案。Cruz等人（2021年）研究了人工智能在空中和導彈防御應用中使用人工智能輔助決策的安全性。他們為計劃使用人工智能系統的軍事項目編制了一份在SE開發和運行階段需要實施的策略和任務清單。Hui（2021年）研究了人類作戰人員與人工智能系統合作進行海軍戰術決策時的信任動態。他制定了工程人工智能系統的SE策略，促進人類和機器之間的 "校準 "信任，這是作為適當利用的最佳信任水平，避免過度信任和不信任，并在信任失敗后涉及信任修復行動。Johnson等人（2014）開發了一種SE方法，即協同設計，用于正式分析人機功能和行為的相互依賴性。研究人員正在使用協同設計方法來設計涉及復雜人機交互的穩健人工智能系統（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

數據的作用對于人工智能系統的開發和運行來說是不可或缺的，因此需要在人工智能系統的SE生命周期中加入一個持續不斷的收集和準備數據的過程。Raz等人（2021）提出，SE需要成為人工智能系統的 "數據策劃者"。他們強調需要將數據策劃或轉化為可用的結構，用于開發、訓練和評估AI算法。French等人（2021）描述了需要適當的數據策劃來支持人工智能系統的發展，他們強調需要確保數據能夠代表人工智能系統將在其中運行的預期操作。他們強調需要安全訪問和保護數據，以及需要識別和消除數據中的固有偏見。

SE界正處于發展突破和進步的早期階段，這些突破和進步是在更復雜的應用中設計人工智能系統所需要的。這些進展需要與人工智能的進展同步進行。在復雜的海軍應用以及其他非海軍和非軍事應用中實施人工智能系統取決于是否有必要的工程實踐。SE實踐必須趕上AI的進步，以確保海軍持續的技術優勢。

挑戰四：對抗性

海軍在有效實施人工智能系統方面面臨的第四個挑戰是應對對手。海軍的工作必須始終考慮對手的作用及其影響。表7確定了在海軍實施人工智能系統時必須考慮的與對手有關的三個挑戰：(1)人工智能技術在許多領域迅速發展，海軍必須注意同行競爭國的軍事應用進展，以防止被超越，(2)在海軍應用中實施人工智能系統和自動化會增加網絡脆弱性，以及(3)海軍應用的人工智能系統需要發展和適應，以應對不斷變化的威脅環境。

表7. AI系統的對抗性挑戰

同行競爭國家之間發展人工智能能力的競賽，最終是為了進入對手的決策周期，以便比對手更快地做出決定和采取行動（Schmidt等人，2021年）。人工智能系統提供了提高決策質量和速度的潛力，因此對獲得決策優勢至關重要。隨著海軍對人工智能解決方案的探索，同行的競爭國家也在做同樣的事情。最終實現將人工智能應用于海軍的目標，不僅僅取決于人工智能研究。它需要適當的數據收集和管理，有效的SE方法，以及仔細考慮人類與AI系統的互動。海軍必須承認，并采取行動解決實施人工智能系統所涉及的挑戰，以贏得比賽。

網絡戰是海軍必須成功參與的另一場競賽，以保持在不斷沖擊的黑客企圖中的領先地位。網絡戰的特點是利用計算機和網絡來攻擊敵人的信息系統（Libicki, 2009）。海軍對人工智能系統的實施導致了更多的網絡攻擊漏洞。人工智能系統的使用在本質上依賴于訓練和操作數據，導致黑客有機會在開發階段和操作階段用腐敗的數據欺騙或毒害系統。如果一個對手獲得了對一個運行中的人工智能系統的控制，他們可能造成的傷害將取決于應用領域。對于支持武器控制決策的自動化，其后果可能是致命的。海軍必須注意人工智能系統開發過程中出現的特殊網絡漏洞。必須為每個新的人工智能系統實施仔細的網絡風險分析和網絡防御戰略。海軍必須小心翼翼地確保用于開發、訓練和操作人工智能系統的數據集在整個人工智能系統的生命周期中受到保護，免受網絡攻擊（French等人，2021）。

威脅環境的演變是海軍在開發AI系統時面臨的第三個對抗性挑戰。對手的威脅空間隨著時間的推移不斷變化，武器速度更快、殺傷力更大、監視資產更多、反制措施更先進、隱身性更強，這對海軍能夠預測和識別新威脅、應對戰斗空間的未知因素構成了挑戰。尤其是人工智能系統，必須能夠加強海軍感知、探測和識別新威脅的能力，以幫助它們從未知領域轉向已知領域的過程。他們必須適應新的威脅環境，并在行動中學習，以了解戰斗空間中的未知因素，并通過創新的行動方案快速應對新的威脅（Grooms 2019, Wood 2019, Jones et al 2020）。海軍可以利用人工智能系統，通過研究特定區域或領域的長期數據，識別生活模式的異常（Zhao等人，2016）。最后，海軍可以探索使用人工智能來確定新的和有效的行動方案，使用最佳的戰爭資源來解決棘手的威脅情況。

結論

人工智能系統為海軍戰術決策的優勢提供了相當大的進步潛力。然而，人工智能系統在海戰應用中的實施帶來了重大挑戰。人工智能系統與傳統系統不同--它們是非決定性的，可以學習和適應--特別是在用于更復雜的行動時，如高度動態的、時間關鍵的、不確定的戰術行動環境中，允許的誤差范圍極小。本文確定了為海戰行動實施人工智能系統的四個挑戰領域：（1）開發能夠解決戰爭復雜性的人工智能系統，（2）滿足人工智能系統開發和運行的數據需求，（3）設計這些新穎的非確定性系統，以及（4）面對對手帶來的挑戰。

海軍必須努力解決如何設計和部署這些新穎而復雜的人工智能系統，以滿足戰爭行動的需求。作者在這一工作中向海軍提出了三項建議。

1.第一個建議是了解人工智能系統與傳統系統之間的差異，以及伴隨著人工智能系統的開發和實施的新挑戰。

人工智能系統，尤其是那些旨在用于像海戰這樣的復雜行動的系統，其本身就很復雜。它們在應對動態戰爭環境時將會學習、適應和進化。它們將變得不那么容易理解，更加不可預測，并將出現新型的故障模式。海軍將需要了解傳統的SE方法何時以及如何在這些復雜系統及其復雜的人機交互工程中失效。海軍將需要了解數據對于開發人工智能系統的關鍵作用。

2.第二個建議是投資于人工智能系統的研究和開發，包括其數據需求、人機互動、SE方法、網絡保護和復雜行為。

研究和開發是為海戰行動開發AI系統解決方案的關鍵。除了開發復雜的戰術人工智能系統及其相關的人機協作方面，海軍必須投資研究新的SE方法來設計和評估這些適應性非決定性系統。海軍必須仔細研究哪些新類型的對抗性網絡攻擊是可能的，并且必須開發出解決這些問題的解決方案。海軍必須投資于收集、獲取和維護代表現實世界戰術行動的數據，用于人工智能系統開發，并確保數據的相關性、有效性和安全性。

3.第三個建議是承認挑戰，并在預測人工智能系統何時準備好用于戰爭行動方面采取現實態度。

盡管人工智能系統正在許多領域實施，但海軍要為復雜的戰術戰爭行動實施人工智能系統還需要克服一些挑戰。人工智能系統在較簡單應用中的成功并不能保證人工智能系統為更復雜的應用做好準備。海軍應該保持一種現實的認識，即在人工智能系統準備用于戰爭決策輔助工具之前，需要取得重大進展以克服本文所討論的挑戰。實現人工智能系統的途徑可以依靠建模和模擬、原型實驗、艦隊演習以及測試和評估。可以制定一個路線圖，彌合較簡單應用的人工智能和復雜應用的人工智能之間的差距--基于一個積木式的方法，在為逐漸復雜的任務開發和實施人工智能系統時吸取經驗教訓。

海軍將從未來用于戰術戰爭的人工智能系統中獲益。通過安全和有效地實施人工智能系統，戰術決策優勢的重大進步是可能的。此外，海軍必須跟上（或試圖超越）對手在人工智能方面的進展。本文描述了為在海戰中實施人工智能系統而必須解決的四個挑戰。通過對這些新穎而復雜的人工智能系統的深入了解，對研究和開發計劃的投資，以及對人工智能技術進步時限的現實預期，海軍可以在應對這些挑戰方面取得進展。

人工智能為我們提供了自動化任務的能力，從海量數據中提取信息，并合成幾乎與真實事物無異的媒體。然而，積極的工具也可以被用于消極的目的。特別是，網絡對手可以利用人工智能來加強他們的攻擊和擴大他們的活動。雖然攻擊性人工智能在過去已經被討論過，但有必要在組織的背景下分析和理解這種威脅。例如，一個具有人工智能能力的對手是如何影響網絡殺傷鏈的？人工智能是否比防御者更有利于攻擊者？今天組織面臨的最重要的人工智能威脅是什么，它們對未來的影響是什么？在這項研究中，我們探討了攻擊性人工智能對組織的威脅。首先，我們介紹了背景，并討論了人工智能如何改變對手的方法、策略、目標和整體攻擊模式。然后，通過文獻回顧，我們確定了32種攻擊性人工智能能力，對手可以利用這些能力來加強他們的攻擊。最后，通過橫跨工業界、政府和學術界的小組調查，我們對人工智能威脅進行了排名，并提供了對攻擊者的洞察力。

引言

幾十年來，包括政府機構、醫院和金融機構在內的組織一直是網絡攻擊的目標[1, 2, 3]。這些網絡攻擊都是由有經驗的黑客使用人工方法進行的。近年來，人工智能（AI）的發展蓬勃發展，這使得軟件工具的創造有助于實現預測、信息檢索和媒體合成等任務的自動化。在整個這一時期，學術界和工業界的成員在改善網絡防御[4, 5, 6]和威脅分析[7, 8, 9]的情況下利用了人工智能。然而，人工智能是一把雙刃劍，攻擊者可以利用它來改善他們的惡意活動。

因此，我們將攻擊性人工智能定義為：“使用或濫用人工智能來完成惡意的任務”。

對人工智能的攻擊性使用。敵人可以改進他們的戰術，發動以前不可能的攻擊。例如，通過深度學習，人們可以通過冒充其雇主的臉和聲音來進行高效的魚叉式網絡釣魚攻擊[10, 11]。還可以通過使攻擊在沒有人類監督和幫助的情況下進行（使其自動進行）來提高攻擊的隱蔽能力。例如，如果惡意軟件可以自行對網絡中的主機進行漸進式感染（又稱橫向移動），那么這將減少指揮和控制（C&C）通信[12, 13]。其他能力包括使用人工智能尋找軟件中的零日漏洞，自動進行逆向工程，有效地利用側面渠道，建立逼真的假人物，并進行更多的惡意活動，提高功效（更多的例子將在后面第3節中介紹）。

對人工智能的攻擊性濫用。對抗性機器學習是對人工智能的安全漏洞的研究。已經證明，對手可以通過制作訓練樣本來改變模型的功能，例如插入后門[14]，通過操縱測試樣本（例如逃避檢測）來獲得所需的分類[15]，甚至推斷出模型[16]或其訓練數據的機密信息[17]。由于組織使用人工智能來自動管理、維護、操作和防御他們的系統和服務，因此敵方可以通過在這些系統上使用機器學習來完成他們的惡意目標。 我們注意到，有些攻擊是可以不使用或濫用人工智能而實現的。然而，如果攻擊者使用人工智能使其自動或半自動運行，他們可以大大減少執行攻擊所需的工作。通過減少他們在創建有效策略方面的工作，攻擊者可以通過擴大攻擊的強度和數量來最大化他們的回報。此外，通過在攻擊鏈的幾個階段同時行動，攻擊者可以在攻擊的速度和力量上實現協同效應，變得更加危險。另一方面，一些攻擊已經被人工智能實現，例如在復雜的社會工程攻擊中克隆個人的聲音[18]。

1.1 研究綜述

在這項工作中，我們對企業安全背景下的攻擊性人工智能知識進行了研究。本文的目標是幫助行業界（1）更好地了解攻擊性人工智能對組織的當前影響，（2）優先研究和開發防御性解決方案，以及（3）確定在不久的將來可能出現的趨勢。這項工作并不是第一次提高對攻擊性人工智能的認識。在[19]中，作者警告行業界，人工智能可以被用于不道德的和犯罪的目的，并列舉了來自不同領域的例子。在[20]中，舉行了一個研討會，試圖確定人工智能在犯罪學中的潛在首要威脅。然而，這兩項工作都涉及到了人工智能對社會整體的威脅，而不是專門針對組織及其網絡。此外，盡管他們做出了大量工作并取得了初步成果，但這些先前的分析只提供了人工智能如何被用于攻擊的例子以及對其風險的可能排序，而我們的研究通過用于識別針對組織的潛在攻擊策略的標準方法，給出了攻擊性人工智能的結構化觀點，得出了與防御這些威脅有關的戰略見解。

為了實現這些目標，我們進行了一次文獻回顧，以確定具有人工智能能力的對手能力。然后我們進行了一項小組調查，以確定這些能力中哪些代表了實踐中最相關的威脅。有35名調查參與者：16名來自學術界，19名來自工業界。來自工業界的參與者來自廣泛的組織，如MITRE、IBM、微軟、谷歌、空中客車、博世、富士通、日立和華為。

從我們的文獻回顧中，我們發現了32種針對組織的攻擊性人工智能能力。我們的小組調查顯示，最重要的威脅是改善社會工程攻擊的能力（例如，使用深層假象來克隆員工的聲音）。我們還發現，行業成員最關心的是使攻擊者能夠竊取知識產權和檢測其軟件中的漏洞的攻擊。最后，我們還發現，現代攻擊性人工智能主要影響網絡殺傷鏈的初始步驟（偵查、資源開發和初始訪問）。這是因為人工智能技術還不夠成熟，無法創造出能夠在沒有人類監督和幫助下進行攻擊的智能體。我們的研究結果的完整清單可以在第5.1節找到。

1.2 本文貢獻

在這項研究中，我們做出了以下貢獻：

• 概述了人工智能如何被用來攻擊組織及其對網絡殺傷鏈的影響（第2.3節）。
• 根據文獻回顧和當前事件，列舉和描述了32種威脅組織的攻擊性人工智能能力（第3節）。這些能力可分為：（1）自動化，（2）活動彈性，（3）憑證盜竊，（4）漏洞開發，（5）信息收集，（6）社會工程，以及（7）隱身。
• 根據對來自學術界、工業界和政府的成員進行的小組調查，對攻擊性人工智能如何影響組織提出了威脅排名和見解（第4節）。
• 對人工智能威脅的預測以及由此產生的攻擊策略的轉變（第5節）。

1.3 文章結構

本文的結構如下：

• 第2節為讀者提供了關于對理解文獻綜述很重要的主題入門知識。該部分介紹了關于人工智能、攻擊性人工智能的概念，以及攻擊性人工智能如何影響組織的安全。
• 第3節提供了在組織安全背景下的攻擊性人工智能的文獻回顧。
• 第4節介紹了一項小組調查的結果，以幫助確定攻擊性人工智能對組織的最小和最重要的威脅。
• 第5節總結了研究發現，并提供了對問題的看法。

圖 1：文獻綜述中確定的 32 種進攻性 AI 能力 (OAC)。

人工智能（AI）是一個創新的引擎，正在推動科學發現和經濟增長。它正日益成為解決方案的一個組成部分，這些解決方案將影響到從日常例行任務到社會層面的挑戰，最終服務于公共利益。同時，也有人擔心人工智能可能會產生負面的社會和環境后果。為了實現人工智能的積極和變革潛力，必須利用美國所有的聰明才智，以解決社會挑戰的方式推進該領域，為所有美國人服務，并維護民主價值觀。

然而，目前人工智能前沿的進展往往與獲得大量的計算能力和數據有關。今天，這種機會往往僅限于那些資源豐富的組織。這種巨大且不斷擴大的資源鴻溝有可能限制和不利于人工智能研究生態系統。這種不平衡威脅著國家培養人工智能研究社區和勞動力的能力，以反映美國豐富的多樣性和利用人工智能來推動公共利益的能力。

如本報告所述，一個可廣泛使用的人工智能研究網絡基礎設施，匯集了計算資源、數據、測試平臺、算法、軟件、服務、網絡和專業知識，將有助于使美國的人工智能研究和開發（R&D）景觀民主化，使所有人受益。它將有助于創造途徑，擴大參與人工智能的研究人員的范圍，并使人工智能的方法和應用增長和多樣化。這種網絡基礎設施也有助于為所有科學領域和學科的進步開辟新的機會，包括在人工智能審計、測試和評估、可信的人工智能、減少偏見和人工智能安全等關鍵領域。反過來，更多的機會和多樣化的視角可以帶來新的想法，否則就不會實現，并為開發設計上具有包容性的人工智能系統創造條件。

作為《2020年國家人工智能倡議法》的一部分，國會成立了國家人工智能研究資源（NAIRR）工作組，以 "調查 "NAIRR作為國家人工智能研究網絡基礎設施的可行性和可取性，并 "提出詳細說明[如何建立和維持NAIRR]的路線圖。" 最近的《2022年CHIPS和科學法案》加強了民主化使用國家人工智能研究網絡基礎設施的重要性，通過投資加速先進計算的發展--從下一代圖形處理單元到高密度內存芯片--以及采取措施積極吸引廣泛和多樣化的美國人才參與前沿科學和工程，包括人工智能。

這份最終報告是特別工作組歷時18個月，為建立NAIRR制定愿景和實施計劃的最終成果。它建立在工作組2022年5月發布的臨時報告中的調查結果和建議的基礎上，提供了一個實現NAIRR目標的實施計劃：以保護隱私、公民權利和公民自由的方式，加強美國的人工智能創新生態系統并使之民主化。

NAIRR的建立應考慮到四個可衡量的目標，即（1）刺激創新，（2）增加人才的多樣性，（3）提高能力，以及（4）推進值得信賴的人工智能。NAIRR應該通過支持來自不同背景的研究人員和學生的需求來實現這些目標，這些研究人員和學生正在從事基礎性的、受使用啟發的和轉化性的人工智能研究。這些用戶應以美國為基地或隸屬于美國的組織，包括學術機構、非營利組織和初創企業或小型企業。

NAIRR應包括一套來自不同供應商的計算、數據、測試平臺和軟件資源，以及技術支持和培訓，以滿足這一目標用戶群的需求。NAIRR的具體設計、實施和評估應圍繞四個關鍵目標進行，并應支持收集數據以評估系統性能的關鍵指標和實現這些目標的成功。

NAIRR的管理和治理應遵循合作管理模式，即由一個聯邦機構作為NAIRR運作的管理機構，由聯邦機構的負責人組成的指導委員會負責推動NAIRR的戰略方向。行政機構內的項目管理辦公室應該為一個獨立的運營實體提供資金和監督，以管理NAIRR的日常運營。由國家人工智能倡議辦公室（NAIIO）共同主持的指導委員會將在NAIRR的管理中納入聯邦各機構的利益和觀點。這些機構也應直接支持資源提供者，他們的資源聯合起來將構成NAIRR。應通過用戶委員會、科學咨詢委員會、技術咨詢委員會和道德咨詢委員會向運營實體提供建議，挖掘多樣化的觀點和專業知識，為NAIRR的運營提供信息。

NAIRR應通過一個綜合門戶網站提供計算和數據資源、測試平臺、軟件和測試工具以及用戶支持服務的聯合組合。計算資源應包括傳統服務器、計算集群、高性能計算和云計算，并應支持訪問邊緣計算資源和人工智能研發的測試平臺。開放的和受保護的數據應在分層訪問協議下提供，并與計算資源共處一地。運營實體本身不應操作構成NAIRR的全部計算機硬件；相反，計算以及數據、測試和培訓資源應作為服務由通過聯邦機構或多機構資助機會選擇的合作伙伴資源提供者提供。當全面實施時，NAIRR應同時滿足人工智能研究界的能力（支持大量用戶的能力）和能力（訓練資源密集型人工智能模型的能力）需求

NAIRR必須能被各種用戶廣泛使用，并提供一個可用于教育和社區建設活動的平臺，以降低參與人工智能研究生態系統的障礙，增加人工智能研究人員的多樣性。NAIRR的訪問門戶和公共網站應提供目錄以及搜索和發現工具，以促進對數據、測試平臺以及為各種經驗水平服務的教育和培訓資源的訪問。

NAIRR應該通過設計和實施其管理程序，為負責任的人工智能研究設定標準。NAIRR必須從一開始就通過整合適當的技術控制、政策和治理機制，積極主動地解決隱私、民權和公民自由問題。運營實體應與道德咨詢委員會合作，制定標準和機制，從隱私、民權和公民自由的角度評估擬納入NAIRR的研究和資源。應根據白宮科技政策辦公室在2022年10月發布的《人工智能權利法案藍圖》，要求定期培訓，以建立NAIRR用戶對人工智能研究中與隱私、民權和公民自由有關的權利、責任和最佳做法的認識。

NAIRR應根據既定的指導方針實施系統保障措施。這些準則包括美國國家標準與技術研究所（NIST）制定的準則和五個安全框架：安全項目、安全人員、安全設置、安全數據和安全產出。運營實體應將NAIRR網絡基礎設施設計成由多個層次組成，首先是兩個主要區域：一個開放的科學區域 "NAIRR-開放 "和一個安全區域 "NAIRR-安全"。每個區域都應該聯合計算、網絡和數據資源，按照安全和訪問控制政策運行，這些政策在區域內是統一的，但在區域之間是不同的，反映了用戶和資源運營商的不同優先級和需求。NAIRR-Open應采用開放科學界20多年來形成的最佳做法；與聯邦開放數據、開放政府和研究安全政策保持一致；使用單點登錄認證和運營實體管理的資源分配機制管理訪問。NAIRR-Secure應該由一個或多個安全飛地組成，遵守一套共同的安全控制，并有能力支持受法律保護的數據所產生的安全要求。

NAIRR的實施應分四個階段，在本報告發表后立即開始。在第一階段，國會應授權并撥款建立NAIRR。行政機構和NAIIO應該協調指導委員會的成立，并建立一個項目管理辦公室，然后準備對運營實體的招標，并管理選擇過程。

圖：階段性NAIRR實施時間表

在第二階段，運營實體應確立其活動，并監督NAIRR門戶網站和用戶界面的創建，建立適當的技術和政策控制。該架構應支持收集關鍵績效指標，以評估NAIRR的進展。資源提供者應通過協調的、多機構的籌資機會來選擇，最好是在運營實體最初授予的6個月內發布。

在第三階段，NAIRR應達到初步的運作能力，運營實體也應正式確定政策、程序和初步的技術資源，提供給人工智能研究人員。最初的能力包括：（1）一個門戶網站和用戶支持資源；（2）一個混合的計算資源提供者；（3）一個分配和身份系統；（4）一個數據發布系統。在第四階段，活動應從建立NAIRR過渡到建立穩定的運作，以及根據用戶的吸收和需求對NAIRR資源進行計劃的演變。

最后，工作組還提出了一個實施NAIRR的試點方案，該方案將與上述階段同時啟動，以加快向人工智能研發界提供NAIRR資源。

按照設想，NAIRR的影響將是巨大而深遠的，使研究人員能夠解決從常規任務到全球挑戰的各種問題。為了實現其愿景和目標，特別工作組估計NAIRR的預算在最初的六年期間為26億美元。這筆投資的大部分（22.5億美元）用于資助通過NAIRR獲得的資源，通過向多個聯邦機構撥款。工作小組根據先進的計算資源以及數據、培訓和軟件資源的近期成本、滿足人工智能研發界當前需求的使用水平估計，以及人工智能研發界的預期增長來估計這一預算。資源提供者應每兩年上線一次，使用壽命為六年，這樣每兩年就會有7.5億美元的新投資，以確保NAIRR的資源保持最先進的水平。運營實體每年將需要5500萬至6500萬美元來支持NAIRR活動的協調和管理。每年還有500萬美元的預算用于對運營實體和NAIRR績效的外部評估。

本報告中提出的NAIRR的愿景旨在滿足國家對增加獲得最先進的資源的需求，以推動人工智能創新。實現這一愿景的路線圖建立在現有的聯邦投資之上；設計了對隱私、民權和公民自由的保護；并促進了多樣性和公平的使用。如果成功，國家人工智能研究資源將改變美國國家人工智能研究生態系統，并通過加強和民主化參與美國的基礎性、使用性和轉化性人工智能研發，促進解決社會層面問題的能力。

人工智能在軍事領域的前景之一是其廣泛的適用性，這似乎可以保證其被采用。在軍事方面，人工智能的潛力存在于所有作戰領域（即陸地、海洋、空中、太空和網絡空間）和所有戰爭級別（即政治、戰略、戰役和戰術）。然而，盡管有潛力，需求和人工智能技術進步之間的銜接仍然不是最佳狀態，特別是在軍事應用的監督機器學習方面。訓練監督機器學習模型需要大量的最新數據，而這些數據往往是一個組織無法提供或難以產生的。應對這一挑戰的絕佳方式是通過協作設計數據管道的聯邦學習。這種機制的基礎是為所有用戶實施一個單一的通用模型，使用分布式數據進行訓練。此外，這種聯邦模式確保了每個實體所管理的敏感信息的隱私和保護。然而，這個過程對通用聯邦模型的有效性和通用性提出了嚴重的反對意見。通常情況下，每個機器學習算法在管理現有數據和揭示復雜關系的特點方面表現出敏感性，所以預測有一些嚴重的偏差。本文提出了一種整體的聯邦學習方法來解決上述問題。它是一個聯邦自動集成學習（FAMEL）框架。FAMEL，對于聯邦的每個用戶來說，自動創建最合適的算法，其最優的超參數適用于其擁有的現有數據。每個聯邦用戶的最優模型被用來創建一個集成學習模型。因此，每個用戶都有一個最新的、高度準確的模型，而不會在聯邦中暴露個人數據。實驗證明，這種集成模型具有更好的可預測性和穩定性。它的整體行為平滑了噪音，同時減少了因抽樣不足而導致的錯誤選擇風險。

關鍵詞：聯邦學習；元學習；集成學習；軍事行動；網絡防御

1 引言

隨著步伐的加快，人工智能（AI）正在成為現代戰爭的重要組成部分，因為它為大規模基礎設施的完全自動化和眾多防御或網絡防御系統的優化提供了新的機會[1]。人工智能在軍事領域[2]的前景之一，似乎保證了它的采用，即它的廣泛適用性。在軍事方面，人工智能的潛力存在于所有作戰領域（即陸地、海洋、空中、太空和網絡空間）和所有級別的戰爭（即政治、戰略、戰役和戰術）[3]。但與此同時，隨著參與連續互聯和不間斷信息交換服務的互聯系統數量的實時擴大，其復雜性仍在成倍增長[4]。從概括的角度來看，可以說人工智能將對以下任務產生重大影響：

1.太快的任務，反應時間為幾秒鐘或更少，在高復雜度（數據、背景、任務類型）下執行。

2.操作時間超過人類耐力的任務，或意味著長期的高操作（人員）成本。

3.涉及巨大的復雜性的任務，需要靈活地適應環境和目標的變化。

4.具有挑戰性的行動環境，意味著對作戰人員的嚴重風險。

支持上述任務的實時監測事件的應用程序正在接收一個持續的、無限的、相互聯系的觀察流。這些數據表現出高度的可變性，因為它們的特征隨著時間的推移而發生巨大的、意想不到的變化，改變了它們典型的、預期的行為。在典型情況下，最新的數據是最重要的，因為老化是基于它們的時間。

利用數據的軍事人工智能系統可以將軍事指揮官和操作員的知識和經驗轉化為最佳的有效和及時的決策[3,4]。然而，缺乏與使用復雜的機器學習架構相關的詳細知識和專業知識會影響智能模型的性能，阻止對一些關鍵的超參數進行定期調整，并最終降低算法的可靠性和這些系統應有的概括性。這些缺點正在阻礙國防的利益相關者，在指揮鏈的各個層級，信任并有效和系統地使用機器學習系統。在這種情況下，鑒于傳統決策系統無法適應不斷變化的環境，采用智能解決方案勢在必行。

此外，加強國防領域對機器學習系統不信任的一個普遍困難是，采用單一數據倉庫對智能模型進行整體訓練的前景[1]，由于需要建立一個潛在的單點故障和對手的潛在戰略/主要目標[6]，這可能造成嚴重的技術挑戰和隱私[5]、邏輯和物理安全等嚴重問題。相應地，可以使更完整的智能分類器泛化的數據交換也給敏感數據的安全和隱私帶來了風險，而軍事指揮官和操作人員并不希望冒這個風險[7]。

為了克服上述雙重挑戰，這項工作提出了FAMEL。它是一個整體系統，可以自動選擇和使用最合適的算法超參數，以最佳方式解決所考慮的問題，將其作為一個尋找算法解決方案的模型，其中通過輸入和輸出數據之間的映射來解決。擬議的框架使用元學習來識別過去積累的類似知識，以加快這一過程[8]。這些知識使用啟發式技術進行組合，實現一個單一的、不斷更新的智能框架。數據保持在操作者的本地環境中，只有模型的參數通過安全流程進行交換，從而使潛在的對手更難干預系統[9,10]。

2 提出的框架

在提議的FAMEL框架中，每個用戶在水平聯邦學習方法中使用一個自動元學習系統（水平聯邦學習在所有設備上使用具有相同特征空間的數據集。垂直聯邦學習使用不同特征空間的不同數據集來共同訓練一個全局模型）。以完全自動化的方式選擇具有最佳超參數的最合適的算法，該算法可以最佳地解決給定的問題。該實施基于實體的可用數據，不需要在遠程存儲庫中處置或與第三方共享[11]。

整個過程在圖1中描述。

圖1.FAMEL框架。

具體來說就是：

步驟1--微調最佳局部模型。微調過程將有助于提高每個機器學習模型的準確性，通過整合現有數據集的數據并將其作為初始化點，使訓練過程具有時間和資源效率。

步驟2--將本地模型上傳至聯邦服務器。

步驟3--由聯邦服務器對模型進行組合。這種集成方法使用多種學習算法，以獲得比單獨使用任何一種組成的學習算法都要好的預測性能。

步驟4--將集成模型分配給本地設備。

從這個過程中產生的最佳模型（贏家算法）被輸送到一個聯邦服務器，在那里通過啟發式機制創建一個集成學習模型。這個集成模型基本上包含了本地最佳模型所代表的知識，如前所述，這些知識來自用戶持有的本地數據[12]。因此，總的來說，集成模型提供了高概括性、更好的預測性和穩定性。它的一般行為平滑了噪音，同時降低了在處理本地數據的場景中由于建模或偏見而做出錯誤選擇的總體危險[13,14]。

結論

將機器學習應用于現實世界的問題仍然特別具有挑戰性[44]。這是因為需要訓練有素的工程師和擁有豐富經驗和信息的軍事專家來協調各自算法的眾多參數，將它們與具體問題關聯起來，并使用目前可用的數據集。這是一項漫長的、費力的、昂貴的工作。然而，算法的超參數特征和理想參數的設計選擇可以被看作是優化問題，因為機器學習可以被認為是一個搜索問題，它試圖接近輸入和輸出數據之間的一個未知的潛在映射函數。

利用上述觀點，在目前的工作中，提出了FAMEL，擴展了制定自動機器學習的一般框架的想法，該框架具有有效的通用優化，在聯邦層面上運作。它使用自動機器學習在每個聯邦用戶持有的數據中找到最佳的本地模型，然后，進行廣泛的元學習，創建一個集成模型，正如實驗所顯示的那樣，它可以泛化，提供高度可靠的結果。這樣，聯邦機構就有了一個專門的、高度概括的模型，其訓練不需要接觸他們所擁有的數據的聯合體。在這方面，FAMEL可以應用于一些軍事應用，在這些應用中，持續學習和環境適應對支持的行動至關重要，而且由于安全原因，信息交流可能很難或不可能。例如，在實時優化有關任務和情況的信息共享方面就是這種情況。在部署了物聯網傳感器網格的擁擠環境中，FAMEL的應用將具有特別的意義，需要滿足許多安全限制。同樣，它也可以應用于網絡空間行動，在雜亂的信息環境和復雜的物理場景中實時發現和識別潛在的敵對活動，包括對抗負面的數字影響[45,46]。必須指出的是，在不減少目前所描述的要點的情況下，所提出的技術可以擴展到更廣泛的科學領域。它是一種通用的技術，可以發展和產生一種開放性的整體聯邦學習方法。

盡管總的來說，聯邦學習技術的方法論、集成模型以及最近的元學習方法已經強烈地占據了研究界，并提出了相關的工作，提升了相關的研究領域，但這是第一次在國際文獻中提出這樣一個綜合框架。本文提供的方法是一種先進的學習形式。計算過程并不局限于解決一個問題，而是通過一種富有成效的方法來搜索解決方案的空間，并以元啟發式的方式選擇最優的解決方案[47,48]。

另一方面，聯邦學習模型應該對合作訓練數據集應用平均聚合方法。這引起了人們對這種普遍方法的有效性的嚴重關注，因此也引起了人們對一般聯邦架構的有效性的關注。一般來說，它將單個用戶的獨特需求扁平化，而不考慮要管理的本地事件。如何創建解決上述局限性的個性化智能模型，是目前一個突出的研究問題。例如，研究[49]是基于每個用戶必須以聯邦的形式解決的需求和事件。解釋是可解釋系統的各種特征，在指定的插圖的情況下，這些特征有助于得出結論，并在局部和全局層面提供模型的功能。建議只對那些變化程度被認為對其功能的演變相當重要的特征進行再訓練。

可以擴大擬議框架研究領域的基本課題涉及元集成學習過程，特別是如何解決創建樹和它們的深度的問題，從而使這個過程自動完全簡化。還應確定一個自動程序，以最佳的分離方式修剪每棵樹，以避免負收益。最后，探索將優化修剪的樹的版本添加到模型中的程序，以最大限度地提高框架效率、準確性和速度。

（完整內容請閱讀原文）

完全依靠自主系統的技術在推動海底領域的環境研究方面發揮了重要作用。無人潛水器（UUV），如美海軍研究生院的UUV研究平臺，在推進用于研究目的的自主系統的技術水平方面發揮了作用。使用自主系統進行研究正變得越來越流行，因為自主系統可以將人類從重復性的任務中解脫出來，并減少受傷的風險。此外，UUVs可以以相對較低的成本大量制造。此外，由于計算和電池技術的進步，UUVs可以在沒有人類干預的情況下承擔更多的擴展任務。

UUV的重要部分之一是控制系統。UUV控制系統的配置可能會根據車輛的有效載荷或環境因素（如鹽度）而改變。控制系統負責實現和保持在目標路徑上的穩定飛行。PID控制器在UUV上被廣泛實施，盡管其使用伴隨著調整控制器的巨大成本。由于兩個主要問題，陡峭的成本并不能提供穩健或智能解決方案的好處。

第一個問題是，PID控制器依賴于復雜的動態系統模型來控制UUV。動態系統模型有簡化的假設，使控制問題得到有效解決。當假設不成立時，PID控制器可以提供次優的控制，甚至會出現完全失去控制的情況。第二個問題是，PID控制器并不智能，不能自主學習。PID控制器需要多名工程師和其他人員花數天時間收集和分析數據來調整控制器。調整PID控制器是一項手動任務，會帶來人為錯誤的機會。

在使用深度強化學習方法進行自主車輛控制系統方面，有很多正在進行的研究，并且已經顯示出有希望的結果[1,2]。深度強化學習控制器已被證明優于執行路徑跟蹤任務的UUV的PID控制器[3]。此外，與PID控制器相比，基于深度強化學習的控制器已被證明能夠為無人駕駛飛行器（UAVs）提供卓越的姿態控制[4-5]。雖然這個例子不是專門針對UUV的，但這個來自空中領域的概念可以轉化到海底領域。

一些最流行的深度強化學習算法被用于自主車輛控制系統的開發，包括近似策略優化（PPO）[6]和深度確定策略梯度（DDPG）[7]算法。本研究將重點關注DDPG算法。DDPG算法是一種角色批判型的深度強化學習算法。Actor-Critic算法同時學習策略和價值函數。Actor-Critic算法的概念是：策略函數（演員）根據當前狀態決定系統的行動，而價值函數（批評家）則對行動進行批評。在深度強化學習中，政策和價值函數是由DNNs近似的，在本研究中具體是多層感知器（MLPs）。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

與UUV的傳統PID控制器相比，基于DDPG算法的深度強化學習控制器有兩個主要好處。第一個好處是，DDPG算法是無模型的。它不需要任何關于車輛或環境動態的知識來提供最佳控制。因此，它避免了有效解決復雜的車輛或環境動態系統模型所需的簡化假設的弊端。其次，基于深度強化學習的控制系統可以被自主地調整（訓練）。與PID控制系統相比，這將減少調整基于深度強化學習的控制系統所需的資源。

在利用降低精度來提高強化學習的計算效率方面，目前的研究很有限。[11]的作者展示了如何使用量化技術來提高深度強化學習的系統性能。文獻[12]的作者展示了一種具有6種方法的策略，以提高軟行為批評者（SAC）算法低精度訓練的數值穩定性。雖然正在進行的研究集中在基準強化學習問題上，但這一概念在科學應用上相對來說還沒有被開發出來，比如使用深度強化學習代理對UUV進行連續控制。

本研究將證明在混合精度和損失比例的情況下，訓練DDPG代理對UUV的連續控制不會影響控制系統的性能，同時在兩個方面使解決方案的計算效率更高。首先，我們將比較用固定和混合數值精度訓練的DDPG代理的性能與1自由度速度控制問題的PID控制器的性能。我們將研究用固定和混合精度訓練DDPG代理的訓練步驟時間。其次，本研究將研究DNN大小和批量大小的閾值，在此閾值下，用混合精度訓練DDPG代理的好處超過了計算成本。

本文的其余部分結構如下。問題表述部分將提供關于DDPG算法、NPSUUV動力學、PID控制和混合數值精度的簡要背景。實驗分析部分將描述本研究中運行的數值實驗的設置和結果。最后，在結論和未來工作部分將描述整體工作和未來計劃的工作。

盡管人工智能 (AI) 具有許多潛在的好處，但它也被證明在復雜的現實世界環境（如軍事行動）中表現出許多挑戰，包括脆弱性、感知限制、隱藏的偏見和缺乏因果關系模型，這些對于理解和預測未來事件很重要。這些限制意味著，在可預見的未來，人工智能仍不足以在許多復雜和新穎的情況下獨立運行，并且人工智能需要由人類仔細管理才能實現其預期的效用。

本報告“Human-AI Teaming: State-of-the-Art and Research Needs” 檢查了與人類操作相關的 AI 系統的設計和實施相關的因素。本報告概述了人機協作的研究現狀，以確定差距和未來的研究重點，并探討了實現最佳性能的關鍵人機系統集成問題。

報告提綱

• 總結 1
• 1 引言 5
  • 研究背景和向委員會負責, 6
  • 委員會的方法, 7
  • 自動化和人工智能, 7
  • 人工智能的局限性, 8
  • 人工智能對人類表現的影響, 9
  • 報告結構和摘要, 10
• 2 人類與人工智能協作的方法和模式 11
  • 協作編隊, 11
  • 人類與人工智能的協作模式和觀點, 12
  • 人類應該與人工智能合作嗎？
  • 人類與人工智能協作的改進模型, 16
  • 關鍵挑戰和研究差距, 17
  • 研究需求, 17
  • 總結, 18
• 3 人類與人工智能的協作過程和效果 19
  • 人工智能成為隊友意味著什么？
  • 有效的人類-人工智能協作的過程和特征, 20
    • 編隊的異質性, 20
    • 共同的認知, 21
    • 溝通和協調, 22
    • 社會智能, 22
    • 有效協作的其他特征, 23
  • 主要挑戰和研究差距, 23
  • 研究需求, 23
  • 總結, 24
• 4 人類與人工智能協作的態勢感知 25
  • 多域作戰中的態勢感知, 25
    • 關鍵挑戰和研究差距, 27
    • 研究需求, 27
  • 人類與人工智能編隊中的共享SA, 27
    • 關鍵挑戰和研究差距, 29
    • 研究需求, 29
  • 總結, 30
• 5 AI的透明度和可解釋性 31
  • 顯示透明度, 34
    • 關鍵挑戰和研究差距, 35
    • 研究需求, 35
  • 人工智能的可解釋性, 36
    • 關鍵挑戰和研究差距, 37
    • 研究需求, 38
  • 總結, 40
• 6 人類與人工智能編隊的互動 41
  • 自動化水平, 41
    • 關鍵挑戰和研究差距, 44
    • 研究需求, 44
  • 人工智能的動態和時間性, 44
    • 關鍵挑戰和研究差距, 45
    • 研究需求, 45
  • 控制的顆粒度, 46
    • 關鍵挑戰和研究差距，46
    • 研究需求, 46
  • 其他人類與人工智能編隊的互動問題, 47
    • 關鍵挑戰和研究差距, 47
    • 研究需求, 47
  • 總結, 48
• 7 信任人工智能隊友 49
  • 過去和現在的信任框架, 49
  • 復雜工作環境下的人工智能信任, 51
  • 關鍵挑戰和研究差距, 51
  • 研究需求, 52
  • 總結, 55
• 8 識別和減輕人類與人工智能編隊中的偏見 57
  • 人類的偏見, 57
  • 人工智能偏見, 57
  • 人與人工智能編隊的偏見, 59
  • 關鍵挑戰和研究差距, 60
  • 研究需求, 60
  • 總結, 61
• 9 訓練人類與人工智能編隊 63
  • 為人類與人工智能編隊訓練提供參考的人與人編隊訓練, 63
    • 編隊訓練的策略, 64
    • 仿真的使用, 64
    • 訓練內容：任務工作和團隊合作, 65
  • 關鍵挑戰和研究差距, 65
  • 研究需求, 66
  • 總結, 67
• 10 人類與人工智能編隊協作和績效的HSI過程和量化 69
  • 在人-AI編隊的設計和實施中采取HSI視角, 69
    • 關鍵挑戰和研究差距, 70
    • 研究需求, 70
  • 人類與人工智能編隊發展的研究要求, 71
    • 關鍵挑戰和研究差距, 71
    • 研究需求, 71
  • 研究團隊的能力, 72
    • 關鍵挑戰和研究差距, 73
    • 研究需求, 73
  • 人類與人工智能編隊的HSI考慮因素, 73
    • 關鍵挑戰和研究差距, 75
    • 研究需求, 75
  • 人類與人工智能編隊的測試、評估、驗證和確認，75
    • 關鍵挑戰和研究差距, 77
    • 研究需求,77
  • 人類與人工智能編隊研究試驗臺，77
    • 關鍵挑戰和研究差距，78
    • 研究需求, 78
  • 人類與人工智能編隊的措施和衡量標準, 78
    • 關鍵挑戰和研究差距, 80
    • 研究需求, 80
  • 敏捷軟件開發和HSI, 81
    • 關鍵挑戰和研究差距, 82
    • 研究需求, 82
  • 總結, 83
• 11 結論 85
• 參考文獻 91
• 附錄
• A 委員會簡歷 115
• B 人類與人工智能協作研討會議程 119
• C 定義 121

報告總結

美國軍方正加大對人工智能(AI)技術的投資，用于提高數據處理速度、任務規劃自動化，以及創建更快的預測目標和系統維護，該技術也會在多域作戰(MDO)的指揮控制中發揮關鍵作用。實現這一目標就要求人工智能系統具備任務執行的可靠性和健壯性，并且可以作為人類的隊友協同工作。

盡管人工智能技術優勢良多，但是也被證明在復雜的真實世界環境(如軍事行動)中面臨諸多挑戰，包括脆弱性、感知限制、隱藏的偏見以及缺乏預測關系模型等。這就意味著，在可預見的未來，人工智能將仍然不足以在復雜和新環境下獨立運行，人類需要仔細管理人工智能系統才能達到預期效果。

過去30年研究表明，人們作為復雜自動化(包括人工智能系統)的監控者同樣面臨巨大挑戰。人們可能會對系統正在做的事情缺乏了解，在嘗試與人工智能系統交互時工作負載高，在需要干預時缺乏態勢感知，基于系統輸入的決策偏差，以及手工技能的退化。這些眾多的挑戰將繼續在人類方面產生問題，即使是更有能力的基于人工智能的自動化。

因此，需要開發有效的人-智能協同編隊能力，利用人類和AI的獨特能力，克服各自的不足。一個高效的人-人工智能編隊最終會增強人的能力，提高性能，超越任何一個實體。為此，委員會制定了一套相互關聯的研究目標，旨在圍繞人類-人工智能編隊發展，這些目標基于對人類-人工智能編隊(第2章)、編隊流程(第3章)、態勢感知（SA）(第4章)、人工智能透明度和可解釋性(第5章)、人類-人工智能交互方法(第6章)、信任(第7章)、減少人和人工智能偏見(第8章)和培訓(第9章)的模型和度量的改進，并得到了人-系統集成(HSI)流程基金會(第10章)的支持。該報告總結提出人類-人工智能編隊研究目標，包括近期、中期和遠期目標。

人類-人工智能編隊模型

委員會研究發現，將人類和人工智能系統作為一個編隊來考慮具有重要價值。這種編隊結構促使人們認識到需要考慮每個團隊成員相互關聯的角色，并強調團隊互動的價值，包括溝通和協調，以提高綜合效能。在這樣的編隊安排中，研究認為，一般來說，出于倫理和實踐的原因，人類應該對人工智能系統擁有權威。需要改進人類-人工智能編隊的計算模型，考慮相互關聯的、動態發展的、分布式的和自適應的協同任務和條件，這些任務和條件也是MDO的網絡化指揮控制系統所需要的，并且在設計交互空間內是可預測的。需要改進人類-人工智能編隊的度量標準，考慮團隊管理相互依賴和動態角色分配能力，減少不確定性，并提高人工智能系統提供符合作戰人員期望的能力。

雖然假設人類-人工智能編隊將比人類或人工智能系統單獨運行更有效，但研究認為：除非人類能夠理解和預測人工智能系統的行為，否則情況不會如此；與人工智能系統建立適當的信任關系；根據人工智能系統的輸入做出準確的決策；以及時和適當的方式對系統施加控制。

人類-人工智能編隊流程

人類和人工智能系統進行編隊需要一個精心設計的系統，該系統具有任務分配工作和團隊合作的能力。沿著這條路線，需要通過改進團隊組合、目標對齊、溝通、協調、社會智能和開發新的人工智能語言來研究提高長期、分布式和敏捷的人工智能編隊的效率。這項研究可以利用現有人類-人類編隊的工作，但也認識到，需要新的研究來更好地理解和支持人類和人工智能系統之間的編隊流程。此外，研究認為，應該考察人工智能系統通過充當團隊協調員、指揮者或人力資源經理來提高團隊績效的潛力。

態勢感知

人們普遍認為，態勢感知(SA)對于有效的MDO性能至關重要，包括對人工智能系統的監督。在指揮控制作戰中支持個人和團隊SA的方法需要擴展到MDO，并且需要使用AI來支持信息集成、優先排序和跨聯合作戰空間路由的方法，以及提高SA對敵對攻擊的彈性。需要開發改善人工智能系統的人類SA的方法，這些方法考慮不同類型的應用、操作的時間以及與基于機器學習(ML)的人工智能系統能力。此外，旨在在人工智能團隊中創建共享SA的研究值得關注。人工智能系統需要在多大程度上既有自我意識又有對人類隊友的意識，這需要探索，以確定整體團隊表現的好處。最后，未來的人工智能系統將需要擁有綜合的態勢感知模型，以恰當地理解當前的情境，并預測未來情境。動態任務環境的人工智能模型是非常必要的，它可以與人類一起調整或消除目標沖突，并同步情景模型、決策、功能分配、任務優先級和計劃，以實現協調和下達的行動任務。

人工智能的透明度和可解釋性

改進的人工智能系統透明性和可解釋性是實現改進的人類SA和信任的關鍵。實時透明對于支持人工智能系統的理解和可預測性是至關重要的，并且已經被發現可以顯著地補償回路外的性能缺陷。需要研究更好定義信息需求和方法，以實現基于ML的AI系統的透明性，以及定義何時應該提供這樣的信息來滿足SA需求，而不會使人過載。需要進一步探索基于ML的人工智能系統的解釋的改進可視化，以及對機器人物角色的價值。此外，通過研究可以告知改進的多因素模型，解釋如何促進信任和信任影響的決策。需要開發有效的機制來使解釋適應接受者的需求、先驗知識和假設以及認知和情緒狀態。研究建議，應致力于確定對人類推理的解釋是否同樣可以改善人工智能系統和人-人工智能編隊的效能。

人-人工智能編隊互動

人-人工智能編隊中的交互機制和策略對團隊效率至關重要，包括隨著時間的推移支持跨職能靈活分配自動化級別(loa)的能力。需研究確定改進的方法，支持人類和人工智能系統在共享功能方面的合作，支持人類操作員在多個loa下與人工智能系統一起工作，并確定在高loa下與人工智能系統一起工作時保持或恢復SA的方法(在環控制)。還需要研究來確定新的要求，支持人-人工智能編隊之間的動態功能分配，并確定隨著時間的推移支持loa中動態過渡的最佳方法，包括這種過渡應該何時發生，誰應該激活它們，以及它們應該如何發生，以保持最佳的人-人工智能編隊效能。研究建議也對劇本控制方法進行研究，將其擴展到MDO任務和人-人工智能編隊中應用。最后，更好地理解和預測緊急人機交互的研究，以及更好地理解交互設計決策對技能保留、培訓要求、工作滿意度和整體人機團隊彈性影響的研究也是非常有益的。

信任

對人工智能的信任被認為是使用人工智能系統的一個基本因素。這將有利于未來的研究，以更好地記錄團隊環境中涉及的決策背景和目標，促進對更廣泛的社會技術因素如何影響人-人工智能編隊中的信任的理解。超越監督控制的交互結構也將受益于進一步的研究，特別是理解人工智能可指導性對信任關系的影響。需要改進信任措施，利用合作的重要性，將不信任的概念與信任分開。最后，需要信任的動態模型來捕捉信任如何在各種人-人工智能編隊環境中演變和影響效能結果。這項研究將很好地檢驗從二元團隊互動中出現的信任結果，并將這項工作擴展到信任如何在更大的團隊和多層級網絡中的效果。

偏差

人工智能系統中的潛在偏差，通常是隱藏的，會通過算法的開發以及系統偏差等因素造成。此外，人類可能會遇到決策偏差。特別重要的是，人工智能系統的準確性會直接影響人類的決策，從而產生人類-人工智能編隊偏見；因此，人類不能被視為人工智能建議的獨立裁決者。需要進行研究，以更好地理解人類和人工智能決策偏差之間的相互依賴性，這些偏差如何隨著時間的推移而演變，以及用基于ML的人工智能檢測和預防偏差的方法。還需要研究發現和防止利用這些偏見的攻擊行為。

訓練

需要對人-人工智能編隊進行訓練。考慮到各種團隊組成和規模，需要有針對性的研究如何訓練人-人工智能編隊。可以探索現有的訓練方法，看看它們是否適用于人-人工智能編隊。此外，可能需要訓練來更好地校準人類對人工智能隊友的期望，并培養適當的信任水平。開發和測試人-人工智能編隊工作程序需要特定的平臺。

HSI流程和措施

最后，要成功開發一個能像好隊友一樣工作的人工智能系統，需要HSI過程和方法改進。良好的HSI實踐將是新人工智能系統的設計、開發和測試的關鍵，特別是基于敏捷或DevOps實踐的系統開發。有效的人工智能團隊也需要新的HSI設計和測試方法，包括提高確定人工智能團隊要求的能力，特別是那些涉及人工智能的團隊。多學科人工智能開發團隊需要改進的方法，包括人工工程工程師、社會研究人員、系統工程師和計算機科學家。還需要圍繞人工智能生命周期測試和可審計性以及人工智能網絡漏洞的新團隊、方法和工具。需要開發用于測試和驗證進化的AI系統的方法，以檢測AI系統盲點和邊緣情況，并考慮脆弱性。支持這些新團隊研發活動的新人工智能試驗臺也很重要。最后，可能需要改進人機系協同的度量標準，特別是關于信任、心智模型和解釋質量的問題。

研究結論

總共提出了57個研究目標，以解決有效的人-人工智能編隊面臨的許多挑戰。這些研究目標分為近期(1-5年)、中期(6-10年)和遠期(10-15年)優先事項。這一組綜合的研究目標若實現，將在人-人工智能編隊競爭力方面取得重大進展。這些目標是將人工智能安全引入MDO等關鍵行動的基本前提，它們為更好地理解和支持人工智能系統的有效應用提供了參考框架。