亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，人工智能（AI）系統有了長足的進步，其功能也在不斷擴展。特別是被稱為 "生成式模型 "的人工智能系統在自動內容創建方面取得了巨大進步，例如根據文本提示生成圖像。其中一個發展尤為迅速的領域是能夠生成原始語言的生成模型，這可能會給法律和醫療保健等多個領域帶來益處。

不過，生成式語言模型（簡稱 "語言模型"）也可能存在負面應用。對于希望傳播宣傳信息--旨在塑造觀念以促進行為者利益的惡意行為者來說，這些語言模型帶來了自動創建有說服力和誤導性文本以用于影響力行動的希望，而不必依賴人力。對社會而言，這些發展帶來了一系列新的擔憂：那些試圖暗中影響公眾輿論的人可能會開展高度可擴展、甚至極具說服力的活動。

本報告旨在評估：語言模型的變化會如何塑造影響力行動，以及可以采取哪些措施來減輕這些威脅？由于人工智能和影響力行動都在迅速變化，這項任務本質上是推測性的。

作者于 2021 年 10 月召集了 30 位人工智能、影響力行動和政策分析領域的專家，討論語言模型對影響力行動的潛在影響，該研討會為報告中的許多觀點提供了參考。由此產生的報告并不代表研討會與會者的共識。

希望這份報告對那些對新興技術的影響感興趣的虛假信息研究人員、制定政策和投資的人工智能開發人員以及準備應對技術與社會交叉領域的社會挑戰的政策制定者有所幫助。

語言模型在影響力行動方面的潛在應用

分析了生成式語言模型對影響力行動三個眾所周知的方面——發起行動的行為體、作為戰術的欺騙行為以及內容本身——的潛在影響，并得出結論：語言模型可能會極大地影響未來影響力行動的發起方式。表 1 總結了這些變化。

語言模型有可能以較低的成本與人類撰寫的內容相媲美，這表明這些模型與任何強大的技術一樣，可以為選擇使用它們的宣傳者提供獨特的優勢。這些優勢可以擴大與更多行為者的接觸，實現新的影響策略，并使競選活動的信息傳遞更有針對性和潛在的有效性。

表 1：語言模型如何塑造影響力行動

1、行為體

由于生成AI文本的潛在變化

• 涌現出更多和更多樣化的行為體。
• 外包公司變得更加重要。

對變化的解釋

• 隨著生成式模型降低宣傳成本，更多行為體可能會發現開展影響力行動的吸引力。
• 自動生成文本的雇傭宣傳者可能會獲得新的競爭優勢。

2、行為

由于生成AI文本的潛在變化

• 內容制作自動化可擴大宣傳活動的規模。
• 現有行為變得更有效率。
• 新策略層出不窮

對變化的解釋

• 文本自動生成后，宣傳活動將更容易擴大規模。
• 有了語言模型，跨平臺測試等昂貴的策略可能會變得更便宜
• 語言模型可實現動態、個性化和實時內容生成，如一對一聊天機器人。

3、內容

由于生成AI文本的潛在變化

• 信息更可信、更有說服力。
• 宣傳不易被發現。

對變化的解釋

• 與缺乏目標語言或文化知識的宣傳人員撰寫的文本相比，生成式模型可以改進信息傳遞。
• 現有的宣傳活動經常因使用復制粘貼文本（copypasta）而被發現，但語言模型可以制作出語言獨特的信息。

影響力行動的進展和關鍵未知因素

語言模型的技術進步不可能停止，因此任何試圖了解語言模型將如何影響未來影響行動的嘗試都需要考慮到預期的進步。語言模型可能會變得更加可用（使模型更容易應用于任務）、可靠（減少模型產生明顯錯誤輸出的機會）和高效（提高應用語言模型進行影響行動的成本效益）。

這些因素促使我們做出高度自信的判斷，即語言模型在未來的影響力行動中將大有用武之地。然而，其應用的確切性質尚不明確。

有幾個關鍵的未知因素將塑造影響力行動如何以及在多大程度上采用語言模型。這些未知因素包括：

• 哪些新的影響力能力將作為善意研究的副作用而出現？傳統的研究過程以更廣泛的語言任務為目標，其結果是產生了可應用于影響力行動的系統。未來可能會出現新的能力，如制作長篇有說服力的論據。這些新出現的能力很難通過生成模型來預測，但可以決定宣傳人員將使用語言模型來執行哪些具體任務。

• 為影響力行動設計特定的語言模型是否比應用通用模型更有效？雖然目前大多數模型都是為通用任務或具有科學或商業價值的任務而建立的，但宣傳人員可以建立或調整模型，使其直接用于說服和社會工程等任務。例如，宣傳人員可以對一個較小、能力較弱的模型進行調整，這一過程被稱為微調。這很可能比建立一個更大、更通用的模型更便宜，盡管還不能確定會便宜多少。此外，對最先進的模型進行微調可以使宣傳者更容易獲得新的影響能力。

• 隨著時間的推移，參與者是否會對語言模型進行大量投資？如果許多參與者都投資并創建了大型語言模型，這將增加宣傳者獲取語言模型（合法或通過盜竊）的可能性。宣傳者本身也可以投資創建或微調語言模型，納入定制數據--如用戶參與數據--以優化其目標。

• 政府或特定行業是否會制定禁止將模型用于宣傳目的的規范？正如使用規范會限制其他技術的濫用一樣，它們也可能會限制語言模型在影響力行動中的應用。一個同意不將語言模型用于宣傳目的的國家聯盟可以讓那些不遵守的國家付出代價。在次國家層面，研究團體和特定行業可以制定自己的規范。

• 何時才能公開提供易于使用的文本生成工具？語言模型的熟練使用仍然需要操作知識和基礎設施。易于使用的工具可以生成推文或段落長度的文本，這可能會讓缺乏機器學習知識的現有宣傳人員依賴語言模型。

由于這些關鍵的可能性可能會改變語言模型對影響力行動的影響，因此為減少不確定性而開展更多研究是非常有價值的。

如何減輕潛在威脅？

在2021 年 10 月召開的研討會的基礎上，對現有的大量文獻進行了調查、 試圖為各種可能的緩解戰略提供一個殺傷鏈框架，并對其類型進行調查。目的不是認可具體的緩解策略，而是展示緩解策略如何針對影響力行動流水線的不同階段。

表 2：緩解措施實例摘要

宣傳者的要求

1.能夠生成真實文本的語言模型

2.可靠地獲取此類模型

3.分發生成內容的基礎設施

4.易受影響的目標受眾

干預階段

1.模型設計與制作

2.模型接入

3.內容傳播

4.信念形成

說明性的緩解措施

1.1 人工智能開發人員建立對事實更敏感的模型
1.2 開發人員傳播擴散性數據，使生成模型可被檢測到
1.3 對數據收集施加限制
1.4 對人工智能硬件實施訪問控制
2.1 人工智能供應商對語言模型實施更嚴格的使用限制
2.2 人工智能開發者圍繞模型發布制定新規范
3.1 平臺和人工智能供應商協調識別人工智能內容
3.2 平臺要求發布"個人身份證明"
3.3 依賴公眾意見的實體采取措施減少誤導性人工智能內容的風險
3.4 數字出處標準得到廣泛采用
4.1 機構參與媒體掃盲運動
4.2 開發人員提供以消費者為中心的人工智能工具

上表表明，沒有什么靈丹妙藥能徹底消除影響力行動中語言模型的威脅。一些緩解措施可能在社會上不可行，而另一些則需要技術突破。還有一些可能會帶來不可接受的負面風險。相反，要有效減輕威脅，很可能需要一種結合多種緩解措施的全社會方法。

此外，有效的管理還需要不同機構之間的合作，如人工智能開發者、社交媒體公司和政府機構。只有這些機構通力合作，許多建議的緩解措施才能產生有意義的影響。除非社交媒體公司能與人工智能開發人員合作，將文本歸屬于某個模型，否則他們很難知道某個虛假信息活動是否使用了語言模型。最激進的緩解措施--比如在互聯網協議中加入內容出處標準--需要極度的協調，如果它們是可取的話。

也許最重要的是，強調的緩解措施需要更多的開發、審查和研究。對其有效性和穩健性的評估值得認真分析。

圖 4：人工智能賦能的影響力行動的干預階段。為了阻止宣傳者利用語言模型實施影響力行動，可針對以下四個階段采取緩解措施：(1) 模型設計與構建；(2) 模型獲取；(3) 內容傳播；(4) 信念形成。最終，在這些階段進行干預可減輕影響行動的直接和間接影響。

美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）利用高分辨率傳感器、實驗室儀器和軟件技術，開發了電力測量和分析工具。為支持這些傳感器的使用，開發了一套可擴展的軟件模塊，用戶界面只需一個網絡瀏覽器。ARL 開發的用于 "嵌入式研究系統的可視化和處理 "的軟件框架和模塊稱為 ARL-ViPERS。這種基于傳感器的軟件提供了一種方法，用于配置傳感器以及與傳感器產生的數據進行交互并使其可視化，而無需在終端用戶設備上安裝任何軟件。

引言

美國陸軍作戰能力發展司令部（DEVCOM）陸軍研究實驗室（ARL）的幾個傳感器系統原型建立在通用的模塊化數據采集、存儲、處理和通信硬件上，稱為 ARL 的自主實時電力測量和儀器系統（ARL-ARTEMIS）。ARL 的移動式無人值守地面傳感器 (ARL-MUGS) 和移動式功率計 (ARL-MPM) 就是其中的兩個例子（圖 1）。這些系統配備的軟件可用于傳感器配置，以及對電力 (EP) 系統收集的數據進行實時和后處理分析。ARL 開發的 "嵌入式研究系統可視化和處理 "軟件框架稱為 ARLViPERS。以下將 ARL-ARTEMIS 和 ARL-ViPERS 分別稱為 ARTEMIS 和 ViPERS。

ViPERS 包括嵌入式網絡應用程序（可通過用戶設備，如手機、平板電腦或個人電腦上的網絡瀏覽器訪問）和 Dataserver 應用程序（用于運行自定義處理代碼）。網絡應用程序和 Dataserver 都在傳感器上運行，共同提供用戶界面 (UI)，方便用戶配置傳感器，并提供多種數據可視化工具，方便用戶進行 "邊緣 "數據分析。Dataserver 的主要職責是在后臺管理正在進行的數據處理任務，而網絡服務器則用于為用戶提供相應的用戶界面。Dataserver 可以看作是 ViPERS 的 "大腦"，而網絡服務器則是 "臉面"。

所有需要的 ViPERS 軟件都在 ARL 傳感器硬件上運行；因此，用戶無需在用戶設備上安裝任何軟件。ViPERS 還考慮到了模塊化。它包括幾個用于 EP 分析的基礎模塊，用戶可以輕松擴展軟件，加入自己的模塊。用戶還可以上傳定制的處理代碼和可視化程序，這些程序將在傳感器上實時運行；詳見第 3.18 節。

本《ViPERS 用戶指南》逐步介紹了通過網絡應用程序向用戶提供的各項功能。第 2 部分提供了連接和使用 ViPERS 所需的基本信息。第 3 部分包括 ViPERS 網絡應用程序各模塊的詳細信息；第 4 部分提供 ViPERS 數據服務器的信息。有關添加新模塊和可用應用編程接口（APIs）的說明，請參閱配套的《ViPERS 實施指南》 和《ViPERS 編程手冊》。

ViPERS基礎

ViPERS 軟件框架包括以下內容：

1. 嵌入式網絡服務器，提供與傳感器交互的用戶界面；

2. Dataserver 應用程序，用于在傳感器后臺運行處理模塊；以及

3. 用于長期數據存儲的嵌入式實時時間序列數據庫。用戶可將本節作為 ViPERS 的基本 "快速入門 "指南。

敵對國家越來越多地使用混合戰術來影響民主進程并利用對手的弱點。這些策略包括協調同步地使用暴力和非暴力的權力工具，在常規軍事沖突的門檻之下實施跨領域活動，往往可以規避偵查和歸因。快節奏的技術發展和深入的全球聯系為這些國家提供了令人震驚的工具。近年來，許多國家政府逐步提高了對態勢的認識，并發展了將混合威脅造成的損失降至最低的能力。此外，它們還開始主動應對混合威脅，實施了一系列政策，不僅提高復原力和加強防御，還通過威懾措施塑造對手的行為。威懾的廣義定義是阻止對手采取不必要的行動，其實現方式是說服對手潛在的代價大于潛在的收益。懲罰威懾意味著針對潛在的攻擊威脅實施嚴厲的懲罰，旨在通過表明侵略行為會帶來嚴重后果來影響對手的戰略計算。相反，拒絕威懾的目的是通過使攻擊不太可能成功來剝奪對手成功實施攻擊的能力。

應對混合威脅的概念創新拓展了對威懾的傳統理解，并提出了威懾的新成功要素。首先，人們認識到，不同的混合威脅，如虛假信息和網絡行動，在絕對意義上可能并不具有威懾力。這導致復原力戰略的完善，將戰略否定納入其中，即不是否定行動的直接效果，而是否定可從中獲得的政治利益。其次，懲罰威懾也包括通過規范、去合法化和糾纏進行威懾，以應對灰色地帶出現的新的跨領域挑戰。通過規范進行威懾旨在影響那些挑戰某些行為標準的人的成本計算。去合法化與規范的存在密切相關，是一種通過點名羞辱和污名化進行懲罰的形式。最后，通過糾纏進行威懾利用了國家間跨領域的相互依存關系。這里的核心假設是，糾纏在一起的行動者會避免發動攻擊，因為他們會付出代價。

盡管有這些創新，但由于種種原因，威懾混合侵略者仍然困難重重。首先，混合對手故意規避偵查，逃避責任。其次，沒有明確的共同規則來規范可接受的行為。第三，防御者缺乏應對能力或意愿。第四，防御者對對手的激勵結構和弱點缺乏正確理解，因此無法制定有針對性的有效政策，擊中對手的要害。此外，防御方也無法事先令人信服地傳達反混合政策。第五，反混合政策的設計和執行往往會帶來潛在的二階和三階效應，而這些效應并不總是立竿見影的，對其升級動態也缺乏有力的了解。這反過來又阻礙了捍衛者執行反混合對策。

為解決這些隱患，本報告為中小強國（SMPs）的反混合態勢提供了一套非技術性政策指南，解釋了如何制定、應用跨域威懾的核心良好做法并將其納入政策和實踐。報告特別關注與懲罰威懾相關的積極措施，為政策制定者提供有用的見解，以制定相稱和有效的戰略來應對在灰色地帶活動的行為體。報告還介紹了管理升級和預測潛在的二階和三階效應所需的步驟。重要的是，在采取反混合威懾態勢的同時，應向對手傳達積極的保證和激勵措施，以鼓勵良好行為。

反混合對策框架

建議采用五階段應對框架，包括：(i) 準備階段；(ii) 檢測和歸因階段；(iii) 決策階段；(iv) 執行階段；(v) 評估階段。這些階段又細分為十個不同的步驟，每個步驟都包括具體的行動（見表 1）。該框架具有循環性質，捕捉了一個持續的反饋回路，以改進今后的反混合措施（見圖 1）。重點放在懲罰威懾上，但也考慮了與其他威懾形式（拒絕、糾纏和規范）的聯系。值得注意的是，特別是對小型軍事裝備而言，懲罰威懾活動通常是在多國聯盟內實施的，這就解釋了為什么要明確考慮國際背景。該框架提供了切實可行的指導原則，以便利用 DIMEFIL 范圍（即外交、信息、軍事、經濟、金融、情報和法律）內的不同權力工具設計有效的反混合對策，同時考慮到意外的二階和三階效應。值得注意的是，這一模式提出了一種理想的反混合反應框架。在現實世界中將反混合態勢付諸實踐時，最重要的是要保持靈活性、隨機應變，并在應對不斷變化和動態的對手時要有意料之外的收獲。盡管如此，擬議的應對框架為制定、應用跨域威懾的良好核心做法并將其納入有效的反混合態勢提供了實用指南。

圖 1：五階段十步驟應對框架的反饋回路

(i) 準備階段

準備階段涉及闡明核心利益，并向對手傳達不可接受行為的紅線。此外，還需要建立和加強發現混合攻擊的能力，以及將其歸咎于混合攻擊的政治意愿。

步驟 1：設定不可接受行為的紅線，保持一定程度的戰略模糊性。這就向對手清楚地表明哪些行為可能會引發反應，同時防止對手濫用嚴格界定的紅線和采取 "臘腸戰術"。這樣，防御方既教育了對手，又防止了濫用。此外，提供積極的保證和激勵措施，鼓勵良好行為，并參與規范制定。

第 2 步：公開或私下宣傳自己的能力和意愿，以便在混合威脅越界時進行報復。

步驟 3：提高發現混合侵略的能力，并增強在政治層面對此類行為進行有意義歸因的意愿。

(ii) 檢測和歸因階段

檢測和歸因階段的重點是檢測混合攻擊以及隨后將攻擊歸因于對手。

步驟 4：在與合作伙伴有效共享情報的基礎上，通過實施準備階段開發的偵測能力來偵測混合攻擊。

步驟 5：考慮歸屬選項，決定是否需要歸屬以及歸屬的程度。如果選擇歸因，則應在具有政治意義的時限內有效歸因，并向第三方做出令人信服的解釋，以爭取支持。

(iii) 決策階段

決策階段是任何成功的反混合戰略的關鍵，分為三個不同的步驟。

第 6 步：在整個范圍內選擇應對方案，并確定可能的目標。每個應對方案都要考慮：(i) 行動的合法性；(ii) 行動的持續時間和生效時限；(iii) 反措施的相稱性；(iv) 糾葛和二階及三階效應；(v) 升級評估。

第 7 步：評估應對措施對敵方成本強加觀念的影響。政策制定者必須評價和評估這些措施是否有可能影響所要威懾的特定侵略者的成本效益計算。

步驟 8：確保反制措施有足夠的政治支持和意愿，并確認侵略者認為報復性威脅是可信的。

(iv) 執行階段

在執行階段，執行應對方案并實施反措施。

步驟 9：執行選定的應對方案。應參照應對方尋求保護的利益和愿意實施的進一步威脅，及時實施應對措施，向侵略者發出警告。應監測國內和國際對所選應對方案的支持情況，并以戰略目標為中心。除非選擇秘密行動，否則實施工作應輔之以全政府、多層次的同步戰略溝通（StratCom）。

(v) 評估階段

在評估階段，對整個過程進行評估。

步驟 10： 評估反制措施的有效性。該步驟包括評估成本施加目標的實現情況、評估升級動態以及考慮二階和三階效應。(見表 1）

表 1：應對框架每個步驟所需的行動。關于每個步驟的詳細討論，請參見報告全文。

多旋翼小型無人駕駛航空系統(sUAS)，通常被稱為無人機，近年來已經充斥了商業市場[1]。雖然這些sUAS的技術能力令人印象深刻，但在自主行為領域仍然存在能力差距。完全自主的無人機還沒有強大的商業驅動力，因為大多數商業飛行員都希望獲得駕駛無人機的經驗。即使在安全行動中，目前的無人機也提供了適度的自主性，例如基本的避碰和自主起飛和著陸[2]，但市場上還沒有一種無人機能夠為各種任務區域提供完全自主的功能。美國防部(DoD)、國土安全部(DHS)和地方執法機構將受益于在一些利基任務領域擁有完全自主能力的sUAS，包括搜索和救援監視、遠程通信中繼、遠程目標就位、以及對敵對無人機系統(UAS)的自主追擊等(見圖1)。

圖1. 國土保護自主無人機任務。

在“追逐者”項目的第一年，我們組裝了一個由S1000直升機平臺、機載NVIDIA Jetson Xavier GPU和econ 4k e-CAM130CUXVR相機組成的初始測試平臺(見圖2)。我們成功地演示了一個閉環、機載、基于自主計算機視覺的檢測、跟蹤和控制系統，該系統能夠在飛行中跟蹤另一個sUAS。

在第一年演示成功的基礎上，在第二年，我們將重點從空中追擊擴展到包括執行鏈的啟動，包括從監視提示自動發射，飛到提示點，以及在沒有飛行更新提示的情況下有效搜索空間。為了識別跟蹤無人機的雷達航跡，只發送入侵無人機的線索，我們還開發了GPS/雷達航跡關聯算法。

由于多種因素的影響，自動機器學習（AutoML）這些年一直在快速發展，數據科學家需要創建機器學習管道原型來決定如何進行解決，并為非專業人士提供解決方案。已經創建了一些AutoML框架，但它們受到能解決的問題類型、機器學習原語的數量、管道表示語言和嚴格數據描述的限制。這些限制大多是由相當大的工程量造成的。D3M項目旨在擴大AutoML的范圍，提供創建AutoML系統所需的工具，使其能夠解決超出大部分框架的問題類型，并為用戶提供工具，使機器學習工具不需要太多的專業知識。此外，該項目還致力于實現AutoML組件的標準化，以便對不同的框架進行公平的比較，并通過開源共享該項目期間創建的基礎設施來幫助研發界改善該領域。

本文在D3M上的工作主要集中在兩個方面：在D3M小組內創建標準化AutoML工具，以及創建具有不同目的的AutoML系統和框架。在這份報告中，將介紹對該項目的主要貢獻以及AutoML系統的演變。在該項目中，創建了評估AutoML系統的工具，開發了三個AutoML系統，開發了被多個系統廣泛使用的原型，設計了測試原型的自動化框架，并通過創建AutoKeras對AutoML研發界產生了巨大影響。

美國仍然是世界上最突出的軍事和技術力量。在過去十年中，美國認識到人工智能作為力量倍增器的潛力，越來越多地將人工智能（AI）的熟練程度視為美國重要利益和保證美國軍事和經濟實力的機制。特別是，在過去十年中，人工智能已成為美國國防的一項關鍵能力，特別是考慮到2022年美國國防戰略對印度-太平洋地區的關注。

因此，美國國防部（DoD）（以及美國政府和國防機構總體上）對人工智能和相關新興技術表現出越來越大的熱情。然而，雖然美國目前在學術界和私營部門的人工智能研究和開發方面取得了巨大進展，但國防部尚未在廣泛范圍內成功地將商業人工智能的發展轉化為真正的軍事能力。

美國政府在利用國防人工智能和人工智能支持的系統方面通常處于有利地位。然而，在過去的幾年里，各種官僚主義、組織和程序上的障礙減緩了國防部在國防人工智能采用和基于技術的創新方面的進展。最關鍵的是，國防部遭受了復雜的收購過程和廣泛的數據、STEM和AI人才和培訓的短缺。從事人工智能和人工智能相關技術和項目的組織往往是孤立的，而且還存在必要的數據和其他資源相互分離。在美國防部內部存在一種傾向于可靠方法和系統的文化，有時趨向于勒德主義。所有這些因素都導致了人工智能采用的速度出奇的緩慢。美國家安全委員會2021年提交給國會的最終報告總結說，"盡管有令人興奮的實驗和一些小型的人工智能項目，但美國政府離人工智能就緒還有很長的路要走"。

因此，盡管人工智能有可能增強美國的國家安全并成為一個優勢領域，而且鑒于美國在軍事、創新和技術領導方面的長期傳統，人工智能有可能成為一個薄弱點，擴大 "美國已經進入的脆弱窗口"。 如果美國不加快創新步伐，達到負責任的速度，并奠定必要的制度基礎，以支持一支精通人工智能的軍隊，人工智能將繼續成為一個不安全點。

去年，美國防部在這些挑戰中的一些方面取得了進展，調整了國防人工智能的方法。2022年6月，美國防部發布了《負責任人工智能戰略和實施途徑》，將更有數據依據的、負責任的、可操作的人工智能工作列為優先事項，此后開始執行。最重要的是，美國防部已經啟動了對其人工智能組織結構的重大改革，創建了一個新的首席數字和人工智能辦公室（CDAO），以整合其不同的人工智能項目和利益相關者，并使其與該部門的數據流更好地協調。值得注意的是，美國國防部目前正在對其國防人工智能的整體方法進行重大變革和振興。然而，這些新的人工智能努力是否足以讓美國彌補失去的時間，還有待觀察。

人工智能（AI）是一個創新的引擎，正在推動科學發現和經濟增長。它正日益成為解決方案的一個組成部分，這些解決方案將影響到從日常例行任務到社會層面的挑戰，最終服務于公共利益。同時，也有人擔心人工智能可能會產生負面的社會和環境后果。為了實現人工智能的積極和變革潛力，必須利用美國所有的聰明才智，以解決社會挑戰的方式推進該領域，為所有美國人服務，并維護民主價值觀。

然而，目前人工智能前沿的進展往往與獲得大量的計算能力和數據有關。今天，這種機會往往僅限于那些資源豐富的組織。這種巨大且不斷擴大的資源鴻溝有可能限制和不利于人工智能研究生態系統。這種不平衡威脅著國家培養人工智能研究社區和勞動力的能力，以反映美國豐富的多樣性和利用人工智能來推動公共利益的能力。

如本報告所述，一個可廣泛使用的人工智能研究網絡基礎設施，匯集了計算資源、數據、測試平臺、算法、軟件、服務、網絡和專業知識，將有助于使美國的人工智能研究和開發（R&D）景觀民主化，使所有人受益。它將有助于創造途徑，擴大參與人工智能的研究人員的范圍，并使人工智能的方法和應用增長和多樣化。這種網絡基礎設施也有助于為所有科學領域和學科的進步開辟新的機會，包括在人工智能審計、測試和評估、可信的人工智能、減少偏見和人工智能安全等關鍵領域。反過來，更多的機會和多樣化的視角可以帶來新的想法，否則就不會實現，并為開發設計上具有包容性的人工智能系統創造條件。

作為《2020年國家人工智能倡議法》的一部分，國會成立了國家人工智能研究資源（NAIRR）工作組，以 "調查 "NAIRR作為國家人工智能研究網絡基礎設施的可行性和可取性，并 "提出詳細說明[如何建立和維持NAIRR]的路線圖。" 最近的《2022年CHIPS和科學法案》加強了民主化使用國家人工智能研究網絡基礎設施的重要性，通過投資加速先進計算的發展--從下一代圖形處理單元到高密度內存芯片--以及采取措施積極吸引廣泛和多樣化的美國人才參與前沿科學和工程，包括人工智能。

這份最終報告是特別工作組歷時18個月，為建立NAIRR制定愿景和實施計劃的最終成果。它建立在工作組2022年5月發布的臨時報告中的調查結果和建議的基礎上，提供了一個實現NAIRR目標的實施計劃：以保護隱私、公民權利和公民自由的方式，加強美國的人工智能創新生態系統并使之民主化。

NAIRR的建立應考慮到四個可衡量的目標，即（1）刺激創新，（2）增加人才的多樣性，（3）提高能力，以及（4）推進值得信賴的人工智能。NAIRR應該通過支持來自不同背景的研究人員和學生的需求來實現這些目標，這些研究人員和學生正在從事基礎性的、受使用啟發的和轉化性的人工智能研究。這些用戶應以美國為基地或隸屬于美國的組織，包括學術機構、非營利組織和初創企業或小型企業。

NAIRR應包括一套來自不同供應商的計算、數據、測試平臺和軟件資源，以及技術支持和培訓，以滿足這一目標用戶群的需求。NAIRR的具體設計、實施和評估應圍繞四個關鍵目標進行，并應支持收集數據以評估系統性能的關鍵指標和實現這些目標的成功。

NAIRR的管理和治理應遵循合作管理模式，即由一個聯邦機構作為NAIRR運作的管理機構，由聯邦機構的負責人組成的指導委員會負責推動NAIRR的戰略方向。行政機構內的項目管理辦公室應該為一個獨立的運營實體提供資金和監督，以管理NAIRR的日常運營。由國家人工智能倡議辦公室（NAIIO）共同主持的指導委員會將在NAIRR的管理中納入聯邦各機構的利益和觀點。這些機構也應直接支持資源提供者，他們的資源聯合起來將構成NAIRR。應通過用戶委員會、科學咨詢委員會、技術咨詢委員會和道德咨詢委員會向運營實體提供建議，挖掘多樣化的觀點和專業知識，為NAIRR的運營提供信息。

NAIRR應通過一個綜合門戶網站提供計算和數據資源、測試平臺、軟件和測試工具以及用戶支持服務的聯合組合。計算資源應包括傳統服務器、計算集群、高性能計算和云計算，并應支持訪問邊緣計算資源和人工智能研發的測試平臺。開放的和受保護的數據應在分層訪問協議下提供，并與計算資源共處一地。運營實體本身不應操作構成NAIRR的全部計算機硬件；相反，計算以及數據、測試和培訓資源應作為服務由通過聯邦機構或多機構資助機會選擇的合作伙伴資源提供者提供。當全面實施時，NAIRR應同時滿足人工智能研究界的能力（支持大量用戶的能力）和能力（訓練資源密集型人工智能模型的能力）需求

NAIRR必須能被各種用戶廣泛使用，并提供一個可用于教育和社區建設活動的平臺，以降低參與人工智能研究生態系統的障礙，增加人工智能研究人員的多樣性。NAIRR的訪問門戶和公共網站應提供目錄以及搜索和發現工具，以促進對數據、測試平臺以及為各種經驗水平服務的教育和培訓資源的訪問。

NAIRR應該通過設計和實施其管理程序，為負責任的人工智能研究設定標準。NAIRR必須從一開始就通過整合適當的技術控制、政策和治理機制，積極主動地解決隱私、民權和公民自由問題。運營實體應與道德咨詢委員會合作，制定標準和機制，從隱私、民權和公民自由的角度評估擬納入NAIRR的研究和資源。應根據白宮科技政策辦公室在2022年10月發布的《人工智能權利法案藍圖》，要求定期培訓，以建立NAIRR用戶對人工智能研究中與隱私、民權和公民自由有關的權利、責任和最佳做法的認識。

NAIRR應根據既定的指導方針實施系統保障措施。這些準則包括美國國家標準與技術研究所（NIST）制定的準則和五個安全框架：安全項目、安全人員、安全設置、安全數據和安全產出。運營實體應將NAIRR網絡基礎設施設計成由多個層次組成，首先是兩個主要區域：一個開放的科學區域 "NAIRR-開放 "和一個安全區域 "NAIRR-安全"。每個區域都應該聯合計算、網絡和數據資源，按照安全和訪問控制政策運行，這些政策在區域內是統一的，但在區域之間是不同的，反映了用戶和資源運營商的不同優先級和需求。NAIRR-Open應采用開放科學界20多年來形成的最佳做法；與聯邦開放數據、開放政府和研究安全政策保持一致；使用單點登錄認證和運營實體管理的資源分配機制管理訪問。NAIRR-Secure應該由一個或多個安全飛地組成，遵守一套共同的安全控制，并有能力支持受法律保護的數據所產生的安全要求。

NAIRR的實施應分四個階段，在本報告發表后立即開始。在第一階段，國會應授權并撥款建立NAIRR。行政機構和NAIIO應該協調指導委員會的成立，并建立一個項目管理辦公室，然后準備對運營實體的招標，并管理選擇過程。

圖：階段性NAIRR實施時間表

在第二階段，運營實體應確立其活動，并監督NAIRR門戶網站和用戶界面的創建，建立適當的技術和政策控制。該架構應支持收集關鍵績效指標，以評估NAIRR的進展。資源提供者應通過協調的、多機構的籌資機會來選擇，最好是在運營實體最初授予的6個月內發布。

在第三階段，NAIRR應達到初步的運作能力，運營實體也應正式確定政策、程序和初步的技術資源，提供給人工智能研究人員。最初的能力包括：（1）一個門戶網站和用戶支持資源；（2）一個混合的計算資源提供者；（3）一個分配和身份系統；（4）一個數據發布系統。在第四階段，活動應從建立NAIRR過渡到建立穩定的運作，以及根據用戶的吸收和需求對NAIRR資源進行計劃的演變。

最后，工作組還提出了一個實施NAIRR的試點方案，該方案將與上述階段同時啟動，以加快向人工智能研發界提供NAIRR資源。

按照設想，NAIRR的影響將是巨大而深遠的，使研究人員能夠解決從常規任務到全球挑戰的各種問題。為了實現其愿景和目標，特別工作組估計NAIRR的預算在最初的六年期間為26億美元。這筆投資的大部分（22.5億美元）用于資助通過NAIRR獲得的資源，通過向多個聯邦機構撥款。工作小組根據先進的計算資源以及數據、培訓和軟件資源的近期成本、滿足人工智能研發界當前需求的使用水平估計，以及人工智能研發界的預期增長來估計這一預算。資源提供者應每兩年上線一次，使用壽命為六年，這樣每兩年就會有7.5億美元的新投資，以確保NAIRR的資源保持最先進的水平。運營實體每年將需要5500萬至6500萬美元來支持NAIRR活動的協調和管理。每年還有500萬美元的預算用于對運營實體和NAIRR績效的外部評估。

本報告中提出的NAIRR的愿景旨在滿足國家對增加獲得最先進的資源的需求，以推動人工智能創新。實現這一愿景的路線圖建立在現有的聯邦投資之上；設計了對隱私、民權和公民自由的保護；并促進了多樣性和公平的使用。如果成功，國家人工智能研究資源將改變美國國家人工智能研究生態系統，并通過加強和民主化參與美國的基礎性、使用性和轉化性人工智能研發，促進解決社會層面問題的能力。

在學習型網絡物理系統（LE-CPS）中使用的機器學習模型，如自動駕駛汽車，需要能夠在可能的新環境中獨立決策，這可能與他們的訓練環境不同。衡量這種泛化能力和預測機器學習模型在新場景中的行為是非常困難的。在許多領域，如計算機視覺[1]、語音識別[2]和文本分析[3]的標準數據集上，學習型組件（LEC），特別是深度神經網絡（DNN）的成功并不代表它們在開放世界中的表現，在那里輸入可能不屬于DNN被訓練的訓練分布。因此，這抑制了它們在安全關鍵系統中的部署，如自動駕駛汽車[4]、飛機防撞[5]、戰場上的自主網絡物理系統（CPS）網絡系統[6]和醫療診斷[7]。這種脆性和由此產生的對基于DNN的人工智能（AI）系統的不信任，由于對DNN預測的高度信任而變得更加嚴重，甚至在預測通常不正確的情況下，對超出分布范圍（OOD）的輸入也是如此。文獻[8, 9]中廣泛報道了這種對分布外（OOD）輸入的不正確預測的高信心，并歸因于模型在負對數似然空間中的過度擬合。要在高安全性的應用中負責任地部署 DNN 模型，就必須檢測那些 DNN 不能被信任的輸入和場景，因此，必須放棄做出決定。那么問題來了：我們能不能把這些機器學習模型放在一個監測架構中，在那里它們的故障可以被檢測出來，并被掩蓋或容忍？

我們認為，我們已經確定了這樣一個用于高安全性學習的CPS的候選架構：在這個架構中，我們建立一個預測性的上下文模型，而不是直接使用深度學習模型的輸出，我們首先驗證并將其與上下文模型融合，以檢測輸入是否會給模型帶來驚喜。這似乎是一個語義學的練習--即使是通常的機器學習模型通常也會 "融合 "來自不同傳感器的解釋，這些解釋構成了模型的輸入，并隨著時間的推移進行整理--但我們認為，我們提出的監測架構相當于重點的轉移，并帶來了新的技術，正如我們將在本報告中說明的。我們建議，一個更好的方法是根據背景模型來評估輸入：模型是我們所學到的和所信任的一切的積累，根據它來評估新的輸入比只預測孤立的輸入更有意義。這是我們推薦的方法的基礎，但我們把它定位在一個被稱為預測處理（PP）的感知模型中[10]，并輔以推理的雙重過程理論[11]。在這份報告中，我們還提供了這個運行時監控架構的候選實現，使用基于歸一化流的特征密度建模來實現第一層監控，以及基于圖馬爾科夫神經網絡的神經符號上下文建模來實現第二層。

我們用一個自主汽車的簡單例子來解釋我們方法背后的基本原理，并展示了上下文模型如何在監測LEC中發揮作用。考慮一下汽車視覺系統中有關檢測交通線的部分。一個基本的方法是尋找道路上畫的或多或少的直線，自下而上的方法是在處理每一幀圖像時執行這一過程。但這是低效的--當前圖像幀中的車道很可能與前幾幀中的車道相似，我們肯定應該利用這一點作為搜索的種子，而且它是脆弱的--車道標記的缺失或擦傷可能導致車道未被檢測到，而它們本來可以從以前的圖像中推斷出來。一個更好的方法是建立一個道路及其車道的模型，通過預測車道的位置，用它來作為搜索當前圖像中車道的種子。該模型及其對車道的預測將存在一些不確定性，因此發送給視覺系統的將是最好的猜測，或者可能是幾個此類估計的概率分布。視覺系統將使用它作為搜索當前圖像中車道的種子，并將預測和當前觀察之間的差異或 "誤差 "發送回來。誤差信號被用來完善模型，旨在最小化未來的預測誤差，從而使其更接近現實。

這是一個 "綜合分析 "的例子，意味著我們提出假設（即候選世界模型），并偏向于那些預測與輸入數據相匹配的模型。在實際應用中，我們需要考慮有關 "預測 "的層次：我們是用世界模型來合成我們預測傳感器將檢測到的原始數據（如像素），還是針對其局部處理的某個更高層次（如物體）？

這種自上而下的方法的重要屬性是，它專注于世界模型（或模型：一個常見的安排有一個模型的層次）的構建和前利用，與更常見的自下而上的機器學習模型形成對比。我們將展開論證，自上而下的方法對于自主系統中感知的解釋和保證是有效的，但有趣的是，也許可以放心的是，人們普遍認為這是人類（和其他）大腦中感知的工作方式，這是由Helmholtz在19世紀60年代首次提出的[12]。PP[13]，也被稱為預測編碼[14]和預測誤差最小化[15]，認為大腦建立了其環境的模型，并使用這些模型來預測其感覺輸入，因此，它的大部分活動可以被視為（近似于）迭代貝葉斯更新以最小化預測誤差。PP有先驗的 "預測 "從模型流向感覺器官，貝葉斯的 "修正 "又流回來，使后驗模型跟蹤現實。("自由能量"[16]是一個更全面的理論，包括行動：大腦 "預測 "手，比如說，在某個地方，為了盡量減少預測誤差，手實際上移動到那里。) 這與大腦從上層到下層的神經通路多于反之的事實是一致的：模型和預測是向下流動的，只有修正是向上流動的。

有趣的是，大腦似乎以這種方式工作，但有獨立的理由認為，PP是組織自主系統感知系統的好方法，而不是一個主要是自下而上的系統，其中傳感器的測量和輸入被解釋和融合以產生一個世界模型，很少有從模型反饋到傳感器和正在收集的輸入。2018年3月18日在亞利桑那州發生的Uber自動駕駛汽車與行人之間的致命事故說明了這種自下而上的方法的一些不足之處[17]。

純粹的自下而上的系統甚至不能回憶起之前的傳感器讀數，這就排除了從位置計算速度的可能性。因此，感知系統通常保持一個簡單的模型，允許這樣做：林的視覺處理管道的物體跟蹤器[18]就是一個例子，Uber汽車也采用了這樣的系統。Uber汽車使用了三個傳感器系統來建立其物體追蹤器模型：攝像頭、雷達和激光雷達。對于這些傳感器系統中的每一個，其自身的物體檢測器都會指出每個檢測到的物體的位置，并試圖將其分類為，例如，車輛、行人、自行車或其他。物體追蹤器使用一個 "優先級方案來融合這些輸入，該方案促進某些追蹤方法而不是其他方法，并且還取決于觀察的最近時間"[17，第8頁]。在亞利桑那車禍的案例中，這導致了對受害者的識別 "閃爍不定"，因為傳感器系統自己的分類器改變了它們的識別，而且物體追蹤器先是喜歡一個傳感器系統，然后是另一個，如下所示[17，表1]。

• 撞擊前5.6秒，受害者被列為車輛，由雷達識別
• 撞擊前5.2秒，受害者被歸類為其他，通過激光雷達
• 撞擊前4.2秒，根據激光雷達，受害者被歸類為車輛
• 在撞擊前3.8秒和2.7秒之間，通過激光雷達，在車輛和其他之間交替進行分類
• 撞擊前2.6秒，根據激光雷達，受害者被歸類為自行車
• 撞擊前1.5秒，根據激光雷達，受害者被歸類為不知名。
• 撞擊前1.2秒，根據激光雷達，受害者被歸類為自行車。

這種 "閃爍 "識別的深層危害是："如果感知模型改變了檢測到的物體的分類，在生成新的軌跡時就不再考慮該物體的跟蹤歷史"[17，第8頁]。因此，物體追蹤器從未為受害者建立軌跡，車輛與她相撞，盡管她已經以某種形式被探測了幾秒鐘。

這里有兩個相關的問題：一個是物體追蹤器保持著一個相當不完善的世界和決策背景的模型，另一個是它對輸入的決策方法沒有注意到背景。預測性處理中的感知所依據的目標是建立一個準確反映世界的背景模型；因此，它所編碼的信息要比單個輸入多得多。我們想要的是一種測量情境模型和新輸入之間的分歧的方法；小的分歧應該表明世界的常規演變，并可以作為模型的更新納入；大的分歧需要更多的關注：它是否表明一個新的發展，或者它可能是對原始傳感器數據解釋的缺陷？在后面兩種情況中的任何一種，我們都不能相信機器學習模型的預測結果。

預測處理方法的實施可以采用貝葉斯方法[19]。場景模型表示環境中的各種物體，以及它們的屬性，如類型、軌跡、推斷的意圖等，并對其中的一些或全部進行概率分布函數（pdf s）。觀察更新這些先驗，以提供精確的后驗估計。這種貝葉斯推理通常會產生難以處理的積分，因此預測處理采用了被稱為變異貝葉斯的方法，將問題轉化為后驗模型的迭代優化，以最小化預測誤差。卡爾曼濾波器也可以被看作是執行遞歸貝葉斯估計的一種方式。因此，像神經科學、控制理論、信號處理和傳感器融合這樣不同的領域都可能采用類似的方法，但名稱不同，由不同的歷史派生。思考PP的一種方式是，它將卡爾曼濾波的思想從經典的狀態表征（即一組連續變量，如控制理論）擴展到更復雜的世界模型，其中我們也有物體 "類型 "和 "意圖 "等表征。預測處理的一個有吸引力的屬性是，它為我們提供了一種系統的方法來利用多個輸入和傳感器，并融合和交叉檢查它們的信息。假設我們有一個由相機數據建立的情境模型，并且我們增加了一個接近傳感器。預測處理可以使用從相機中獲得的模型來計算接近傳感器預計會 "看到 "什么，這可以被看作是對模型準確性的可驗證的測試。如果預測被驗證了，那么我們就有了對我們上下文模型某些方面的獨立確認。我們說 "獨立 "是因為基于不同現象的傳感器（如照相機、雷達、超聲波）具有完全不同的解釋功能，并在不同的數據集上進行訓練，這似乎是可信的，它們會有獨立的故障。在一個完全集成的預測處理監視器中，情境模型將結合來自所有來源的信息。情境模型將保守地更新以反映這種不確定性，監測器將因此降低其對機器學習模型的信心，直到差異得到解決。

請注意，上下文模型可以是相當簡單粗暴的：我們不需要場景的照片，只需要知道我們附近的重要物體的足夠細節，以指導安全行動，所以相機和接近傳感器 "看到 "的相鄰車輛的輪廓之間的差異，例如，可能沒有什么意義，因為我們需要知道的是他們的存在，位置，類型和推斷的意圖。事實上，正如我們將在后面討論的那樣，我們可以在不同的細節層次上對上下文進行建模，自上而下的生成模型的目標是生成不同層次的感知輸入的抽象，而不是準確的傳感器值。在報告中討論的我們的實現中，我們在兩個層次上對上下文進行建模--第一個層次使用深度神經網絡的特征，第二個層次對場景中物體之間更高層次的空間和時間關系進行建模。除了傳感器，感知的上層也將獲得關于世界的知識，可能還有人工智能對世界及其模型的推理能力。例如，它可能知道視線和被遮擋的視野，從而確定在我們附近的車輛可能無法看到我們，因為一輛卡車擋住了它的去路，這可以作為有關車輛的可能運動（"意圖"）的增加的不確定性納入世界模型中。同樣，推理系統可能能夠推斷出反事實，比如 "我們將無法看到可能在那輛卡車后面的任何車輛"，這些可以作為 "幽靈 "車輛納入世界模型，直到它們的真實性被證實或被否定。我們對監控架構第2層的神經符號建模的選擇對于整合這種背景和學習的知識以及對這些知識進行推理至關重要。

在這方面，另一個關于人腦組織的理論很有意思；這就是 "雙過程 "模型[20, 21]，由卡尼曼推廣的獨立 "快慢 "思維系統[22]。它的效用最近已經通過一個非常有限的實現被證明用于計算機器學習模型的信心[23, 24]。系統1是無意識的、快速的、專門用于常規任務的；系統2是有意識的、緩慢的、容易疲勞的、能夠斟酌和推理的，這就是我們所說的 "思考"。就像預測處理一樣，我們提倡雙過程模型并不僅僅是因為它似乎符合大腦的工作方式，而是因為它似乎是獨立的，是一個好架構。在這里，我們可以想象一個特征密度正常化的流生成模型形成一個高度自動化的 "系統1"，而更多的深思熟慮的神經符號模型構成一個 "系統2"，當系統1遇到大的預測錯誤時，該系統會主動參與。系統1維持一個單一的生成性世界模型，而系統2或者對其進行潤色，或者維持自己的更豐富的世界模型，具有對符號概念進行反事實的 "what-if "推理能力。人們認為，人類保持著一個模型的層次結構[20, 21, 22]，這似乎也是自主系統的一個好方法。我們的想法是，在每一對相鄰的模型（在層次結構中）之間都有一個預測處理的循環，因此，較低的層次就像上層的傳感器，其優先級和更新頻率由預測誤差的大小決定。

人類的預測處理通常被認為是將 "驚訝 "降到最低的一種方式，或者說是保持 "情況意識"。加強這一點的一個方法是在構建世界模型時增加系統2對假設推理的使用，以便將沒有看到但 "可能存在 "的東西明確地表示為 "幽靈 "或表示為檢測到的物體屬性的不確定性增加。一個相關的想法是利用人工智能進行推斷，例如，檢測到前面有許多剎車燈，就可以推斷出某種問題，這將被表示為世界模型中增加的不確定性。這樣一來，本來可能是意外情況的驚奇出現，反而會發展為不確定性的逐漸變化，或將幽靈解決為真實的物體。圖馬爾科夫神經網絡提供了一個有效的機制，既可以對這些關系和更豐富的背景進行建模，又可以通過反事實查詢和背景知情的預測進行審議。因此，雙重過程理論激發了我們的運行時監控器的兩層預測編碼結構。雖然這些理論旨在解釋人類的認知，但我們將這些作為運行時監控器來計算底層模型的驚喜，因此，當模型由于新奇的或超出分布的或脫離上下文的輸入而不能被信任時，就會被發現。

圖 1：基于預測處理和雙過程理論的自主量化保障架構

圖1展示了所提出的深度學習模型運行時監控的整體架構。如圖所示，該架構有兩個層次（由雙重過程理論激發）。在第一層，我們使用生成模型，學習輸入的聯合分布、預測的類輸出和模型提供的解釋。在第二層，我們使用圖馬爾可夫神經網絡來學習物體檢測任務的物體之間的空間和時間關系（更一般地說，輸入的組成部分）。在這兩層中，我們在本報告中的重點是運行時監測，而不是開發一個認知系統本身（而使用所提出的方法建立一個強大的、有彈性的、可解釋的系統將是自然的下一步）。因此，由這兩層檢測到的驚喜被監控者用來識別底層LEC何時不能被信任。這也可以作為LE-CPS的一個定量保證指標。

提綱

第3節介紹了預測性處理和雙進程架構（低級別的自動化和高級別的審議），并認為這可以支持一種可信的方法來保證自主系統的穩健行為。它也被廣泛認為反映了人類大腦的組織。我們提出了使用不同的神經架構和神經符號模型的組成來可擴展地完成這些的機制。結果在第4節報告。第5節提供了一些與工業建議的比較，并提出了結論和額外研究的建議。

引言

DARPA終身學習機器（L2M）計劃旨在推動人工智能（AI）系統的發展，使其能夠不斷學習（和改進），利用一項任務的數據來提高另一項任務的性能，并以一種計算上可持續的方式做到這一點。該計劃的參與者開發了能夠執行各種功能的系統，包括自動駕駛、實時戰略和無人機模擬。這些系統具有不同的特點（例如，任務結構、生命周期），該計劃的測試和評估團隊面臨的直接挑戰是衡量這些不同環境下的系統性能。本文件是與DARPA和項目執行者緊密合作開發的，概述了構建和描述執行終身學習方案的代理性能的形式主義。

在第2節，我們介紹了終身學習情景的一般形式。這需要指定智能體可能接觸到的不同類型的經驗，以及應該從這些經驗中產生什么指標。在第2.1節中，我們簡要地概述了智能體展示終身學習的標準。在第3節中，我們定義了一套衡量標準，以描述智能體在特定場景下表現出的終身學習的程度。諸如[4, 7, 24]等資料中的討論也有助于為終身學習背后的思想打下基礎。

我們的框架和指標是為了盡可能不受智能體配置（如漸進式網絡[21]或彈性權重整合[11]）、領域（如自主導航、機器人、戰略、分類）和環境（如StarCraft[25]、AirSim[23]、CARLA[2]、Habitat[14]、Arcade[1]、SplitMNIST[7]或Core50[12]）影響。它也可以與終身學習的平臺結合使用，如Avalanche [13] 或 CORA [19]。

智能體、領域、環境和其他術語在附錄C中有更詳細的定義。我們推薦[18]作為終身學習一般領域的最新方法和進展的概述。從歷史上看，在如何定義和評估終身學習的系統和指標方面存在著很大的差異；不同的論文可能關注不同的指標。除了這里引用的那些論文之外，還有許多其他的論文以正向轉移等概念為論據來激勵其系統設計。本文提供了一套適用于一般終身學習問題的、定義一致的衡量標準。特別是，盡管終身學習領域的許多早期工作都集中在減輕災難性遺忘的問題上[5]，[15]--一個代理在遇到新任務時失去了以前獲得的執行任務的能力--但我們這里的度量標準努力捕捉災難性遺忘和終身學習的其他特征，如轉移和與只接觸單一任務的代理比較。

一個包含這些指標實現的Python庫12metrics正在開發中，不久將公開發布。本文件將在開發完成后予以更新。

這份文件是如何制定的

在DARPA L2M項目的過程中，執行者、測試和評估團隊以及DARPA系統工程和技術顧問（SETA）組成了幾個工作組，定期開會討論終身學習背后的概念和特征的衡量標準。本文件記錄了這些討論后達成的共識，其內容只有在這個過程中的密切協作下才能形成。特別是，定義和情景工作組提出了終身學習的標準（第2.1節）以及任務和環境（第2節）等概念，度量工作組制定了度量標準（第3節），在項目評估期間和之后，執行者根據他們在系統中的使用經驗，對定義和度量標準進行了反饋。

圖 2：AirSim 和 L2StarCraft 等環境定義了性能指標。其中一些子集被視為特定于應用程序的指標（第 2.3 節），用于計算終身學習指標（第 3 節）。

盡管人工智能 (AI) 具有許多潛在的好處，但它也被證明在復雜的現實世界環境（如軍事行動）中表現出許多挑戰，包括脆弱性、感知限制、隱藏的偏見和缺乏因果關系模型，這些對于理解和預測未來事件很重要。這些限制意味著，在可預見的未來，人工智能仍不足以在許多復雜和新穎的情況下獨立運行，并且人工智能需要由人類仔細管理才能實現其預期的效用。

本報告“Human-AI Teaming: State-of-the-Art and Research Needs” 檢查了與人類操作相關的 AI 系統的設計和實施相關的因素。本報告概述了人機協作的研究現狀，以確定差距和未來的研究重點，并探討了實現最佳性能的關鍵人機系統集成問題。

報告提綱

• 總結 1
• 1 引言 5
  • 研究背景和向委員會負責, 6
  • 委員會的方法, 7
  • 自動化和人工智能, 7
  • 人工智能的局限性, 8
  • 人工智能對人類表現的影響, 9
  • 報告結構和摘要, 10
• 2 人類與人工智能協作的方法和模式 11
  • 協作編隊, 11
  • 人類與人工智能的協作模式和觀點, 12
  • 人類應該與人工智能合作嗎？
  • 人類與人工智能協作的改進模型, 16
  • 關鍵挑戰和研究差距, 17
  • 研究需求, 17
  • 總結, 18
• 3 人類與人工智能的協作過程和效果 19
  • 人工智能成為隊友意味著什么？
  • 有效的人類-人工智能協作的過程和特征, 20
    • 編隊的異質性, 20
    • 共同的認知, 21
    • 溝通和協調, 22
    • 社會智能, 22
    • 有效協作的其他特征, 23
  • 主要挑戰和研究差距, 23
  • 研究需求, 23
  • 總結, 24
• 4 人類與人工智能協作的態勢感知 25
  • 多域作戰中的態勢感知, 25
    • 關鍵挑戰和研究差距, 27
    • 研究需求, 27
  • 人類與人工智能編隊中的共享SA, 27
    • 關鍵挑戰和研究差距, 29
    • 研究需求, 29
  • 總結, 30
• 5 AI的透明度和可解釋性 31
  • 顯示透明度, 34
    • 關鍵挑戰和研究差距, 35
    • 研究需求, 35
  • 人工智能的可解釋性, 36
    • 關鍵挑戰和研究差距, 37
    • 研究需求, 38
  • 總結, 40
• 6 人類與人工智能編隊的互動 41
  • 自動化水平, 41
    • 關鍵挑戰和研究差距, 44
    • 研究需求, 44
  • 人工智能的動態和時間性, 44
    • 關鍵挑戰和研究差距, 45
    • 研究需求, 45
  • 控制的顆粒度, 46
    • 關鍵挑戰和研究差距，46
    • 研究需求, 46
  • 其他人類與人工智能編隊的互動問題, 47
    • 關鍵挑戰和研究差距, 47
    • 研究需求, 47
  • 總結, 48
• 7 信任人工智能隊友 49
  • 過去和現在的信任框架, 49
  • 復雜工作環境下的人工智能信任, 51
  • 關鍵挑戰和研究差距, 51
  • 研究需求, 52
  • 總結, 55
• 8 識別和減輕人類與人工智能編隊中的偏見 57
  • 人類的偏見, 57
  • 人工智能偏見, 57
  • 人與人工智能編隊的偏見, 59
  • 關鍵挑戰和研究差距, 60
  • 研究需求, 60
  • 總結, 61
• 9 訓練人類與人工智能編隊 63
  • 為人類與人工智能編隊訓練提供參考的人與人編隊訓練, 63
    • 編隊訓練的策略, 64
    • 仿真的使用, 64
    • 訓練內容：任務工作和團隊合作, 65
  • 關鍵挑戰和研究差距, 65
  • 研究需求, 66
  • 總結, 67
• 10 人類與人工智能編隊協作和績效的HSI過程和量化 69
  • 在人-AI編隊的設計和實施中采取HSI視角, 69
    • 關鍵挑戰和研究差距, 70
    • 研究需求, 70
  • 人類與人工智能編隊發展的研究要求, 71
    • 關鍵挑戰和研究差距, 71
    • 研究需求, 71
  • 研究團隊的能力, 72
    • 關鍵挑戰和研究差距, 73
    • 研究需求, 73
  • 人類與人工智能編隊的HSI考慮因素, 73
    • 關鍵挑戰和研究差距, 75
    • 研究需求, 75
  • 人類與人工智能編隊的測試、評估、驗證和確認，75
    • 關鍵挑戰和研究差距, 77
    • 研究需求,77
  • 人類與人工智能編隊研究試驗臺，77
    • 關鍵挑戰和研究差距，78
    • 研究需求, 78
  • 人類與人工智能編隊的措施和衡量標準, 78
    • 關鍵挑戰和研究差距, 80
    • 研究需求, 80
  • 敏捷軟件開發和HSI, 81
    • 關鍵挑戰和研究差距, 82
    • 研究需求, 82
  • 總結, 83
• 11 結論 85
• 參考文獻 91
• 附錄
• A 委員會簡歷 115
• B 人類與人工智能協作研討會議程 119
• C 定義 121

報告總結

美國軍方正加大對人工智能(AI)技術的投資，用于提高數據處理速度、任務規劃自動化，以及創建更快的預測目標和系統維護，該技術也會在多域作戰(MDO)的指揮控制中發揮關鍵作用。實現這一目標就要求人工智能系統具備任務執行的可靠性和健壯性，并且可以作為人類的隊友協同工作。

盡管人工智能技術優勢良多，但是也被證明在復雜的真實世界環境(如軍事行動)中面臨諸多挑戰，包括脆弱性、感知限制、隱藏的偏見以及缺乏預測關系模型等。這就意味著，在可預見的未來，人工智能將仍然不足以在復雜和新環境下獨立運行，人類需要仔細管理人工智能系統才能達到預期效果。

過去30年研究表明，人們作為復雜自動化(包括人工智能系統)的監控者同樣面臨巨大挑戰。人們可能會對系統正在做的事情缺乏了解，在嘗試與人工智能系統交互時工作負載高，在需要干預時缺乏態勢感知，基于系統輸入的決策偏差，以及手工技能的退化。這些眾多的挑戰將繼續在人類方面產生問題，即使是更有能力的基于人工智能的自動化。

因此，需要開發有效的人-智能協同編隊能力，利用人類和AI的獨特能力，克服各自的不足。一個高效的人-人工智能編隊最終會增強人的能力，提高性能，超越任何一個實體。為此，委員會制定了一套相互關聯的研究目標，旨在圍繞人類-人工智能編隊發展，這些目標基于對人類-人工智能編隊(第2章)、編隊流程(第3章)、態勢感知（SA）(第4章)、人工智能透明度和可解釋性(第5章)、人類-人工智能交互方法(第6章)、信任(第7章)、減少人和人工智能偏見(第8章)和培訓(第9章)的模型和度量的改進，并得到了人-系統集成(HSI)流程基金會(第10章)的支持。該報告總結提出人類-人工智能編隊研究目標，包括近期、中期和遠期目標。

人類-人工智能編隊模型

委員會研究發現，將人類和人工智能系統作為一個編隊來考慮具有重要價值。這種編隊結構促使人們認識到需要考慮每個團隊成員相互關聯的角色，并強調團隊互動的價值，包括溝通和協調，以提高綜合效能。在這樣的編隊安排中，研究認為，一般來說，出于倫理和實踐的原因，人類應該對人工智能系統擁有權威。需要改進人類-人工智能編隊的計算模型，考慮相互關聯的、動態發展的、分布式的和自適應的協同任務和條件，這些任務和條件也是MDO的網絡化指揮控制系統所需要的，并且在設計交互空間內是可預測的。需要改進人類-人工智能編隊的度量標準，考慮團隊管理相互依賴和動態角色分配能力，減少不確定性，并提高人工智能系統提供符合作戰人員期望的能力。

雖然假設人類-人工智能編隊將比人類或人工智能系統單獨運行更有效，但研究認為：除非人類能夠理解和預測人工智能系統的行為，否則情況不會如此；與人工智能系統建立適當的信任關系；根據人工智能系統的輸入做出準確的決策；以及時和適當的方式對系統施加控制。

人類-人工智能編隊流程

人類和人工智能系統進行編隊需要一個精心設計的系統，該系統具有任務分配工作和團隊合作的能力。沿著這條路線，需要通過改進團隊組合、目標對齊、溝通、協調、社會智能和開發新的人工智能語言來研究提高長期、分布式和敏捷的人工智能編隊的效率。這項研究可以利用現有人類-人類編隊的工作，但也認識到，需要新的研究來更好地理解和支持人類和人工智能系統之間的編隊流程。此外，研究認為，應該考察人工智能系統通過充當團隊協調員、指揮者或人力資源經理來提高團隊績效的潛力。

態勢感知

人們普遍認為，態勢感知(SA)對于有效的MDO性能至關重要，包括對人工智能系統的監督。在指揮控制作戰中支持個人和團隊SA的方法需要擴展到MDO，并且需要使用AI來支持信息集成、優先排序和跨聯合作戰空間路由的方法，以及提高SA對敵對攻擊的彈性。需要開發改善人工智能系統的人類SA的方法，這些方法考慮不同類型的應用、操作的時間以及與基于機器學習(ML)的人工智能系統能力。此外，旨在在人工智能團隊中創建共享SA的研究值得關注。人工智能系統需要在多大程度上既有自我意識又有對人類隊友的意識，這需要探索，以確定整體團隊表現的好處。最后，未來的人工智能系統將需要擁有綜合的態勢感知模型，以恰當地理解當前的情境，并預測未來情境。動態任務環境的人工智能模型是非常必要的，它可以與人類一起調整或消除目標沖突，并同步情景模型、決策、功能分配、任務優先級和計劃，以實現協調和下達的行動任務。

人工智能的透明度和可解釋性

改進的人工智能系統透明性和可解釋性是實現改進的人類SA和信任的關鍵。實時透明對于支持人工智能系統的理解和可預測性是至關重要的，并且已經被發現可以顯著地補償回路外的性能缺陷。需要研究更好定義信息需求和方法，以實現基于ML的AI系統的透明性，以及定義何時應該提供這樣的信息來滿足SA需求，而不會使人過載。需要進一步探索基于ML的人工智能系統的解釋的改進可視化，以及對機器人物角色的價值。此外，通過研究可以告知改進的多因素模型，解釋如何促進信任和信任影響的決策。需要開發有效的機制來使解釋適應接受者的需求、先驗知識和假設以及認知和情緒狀態。研究建議，應致力于確定對人類推理的解釋是否同樣可以改善人工智能系統和人-人工智能編隊的效能。

人-人工智能編隊互動

人-人工智能編隊中的交互機制和策略對團隊效率至關重要，包括隨著時間的推移支持跨職能靈活分配自動化級別(loa)的能力。需研究確定改進的方法，支持人類和人工智能系統在共享功能方面的合作，支持人類操作員在多個loa下與人工智能系統一起工作，并確定在高loa下與人工智能系統一起工作時保持或恢復SA的方法(在環控制)。還需要研究來確定新的要求，支持人-人工智能編隊之間的動態功能分配，并確定隨著時間的推移支持loa中動態過渡的最佳方法，包括這種過渡應該何時發生，誰應該激活它們，以及它們應該如何發生，以保持最佳的人-人工智能編隊效能。研究建議也對劇本控制方法進行研究，將其擴展到MDO任務和人-人工智能編隊中應用。最后，更好地理解和預測緊急人機交互的研究，以及更好地理解交互設計決策對技能保留、培訓要求、工作滿意度和整體人機團隊彈性影響的研究也是非常有益的。

信任

對人工智能的信任被認為是使用人工智能系統的一個基本因素。這將有利于未來的研究，以更好地記錄團隊環境中涉及的決策背景和目標，促進對更廣泛的社會技術因素如何影響人-人工智能編隊中的信任的理解。超越監督控制的交互結構也將受益于進一步的研究，特別是理解人工智能可指導性對信任關系的影響。需要改進信任措施，利用合作的重要性，將不信任的概念與信任分開。最后，需要信任的動態模型來捕捉信任如何在各種人-人工智能編隊環境中演變和影響效能結果。這項研究將很好地檢驗從二元團隊互動中出現的信任結果，并將這項工作擴展到信任如何在更大的團隊和多層級網絡中的效果。

偏差

人工智能系統中的潛在偏差，通常是隱藏的，會通過算法的開發以及系統偏差等因素造成。此外，人類可能會遇到決策偏差。特別重要的是，人工智能系統的準確性會直接影響人類的決策，從而產生人類-人工智能編隊偏見；因此，人類不能被視為人工智能建議的獨立裁決者。需要進行研究，以更好地理解人類和人工智能決策偏差之間的相互依賴性，這些偏差如何隨著時間的推移而演變，以及用基于ML的人工智能檢測和預防偏差的方法。還需要研究發現和防止利用這些偏見的攻擊行為。

訓練

需要對人-人工智能編隊進行訓練。考慮到各種團隊組成和規模，需要有針對性的研究如何訓練人-人工智能編隊。可以探索現有的訓練方法，看看它們是否適用于人-人工智能編隊。此外，可能需要訓練來更好地校準人類對人工智能隊友的期望，并培養適當的信任水平。開發和測試人-人工智能編隊工作程序需要特定的平臺。

HSI流程和措施

最后，要成功開發一個能像好隊友一樣工作的人工智能系統，需要HSI過程和方法改進。良好的HSI實踐將是新人工智能系統的設計、開發和測試的關鍵，特別是基于敏捷或DevOps實踐的系統開發。有效的人工智能團隊也需要新的HSI設計和測試方法，包括提高確定人工智能團隊要求的能力，特別是那些涉及人工智能的團隊。多學科人工智能開發團隊需要改進的方法，包括人工工程工程師、社會研究人員、系統工程師和計算機科學家。還需要圍繞人工智能生命周期測試和可審計性以及人工智能網絡漏洞的新團隊、方法和工具。需要開發用于測試和驗證進化的AI系統的方法，以檢測AI系統盲點和邊緣情況，并考慮脆弱性。支持這些新團隊研發活動的新人工智能試驗臺也很重要。最后，可能需要改進人機系協同的度量標準，特別是關于信任、心智模型和解釋質量的問題。

研究結論

總共提出了57個研究目標，以解決有效的人-人工智能編隊面臨的許多挑戰。這些研究目標分為近期(1-5年)、中期(6-10年)和遠期(10-15年)優先事項。這一組綜合的研究目標若實現，將在人-人工智能編隊競爭力方面取得重大進展。這些目標是將人工智能安全引入MDO等關鍵行動的基本前提，它們為更好地理解和支持人工智能系統的有效應用提供了參考框架。