自 2016 年以來,西方國家社交媒體(SM)上開展的影響力行動大幅增加。但其歸因仍是一個問題,這使得人們難以清楚地了解其追求的目標并制定適當的應對措施。為了應對歸因和意圖方面的挑戰,Forrester 和 Von Franke(2020 年)在 ICCRTS 25 上提出了一個欺騙檢測框架,旨在指導 SM 內的欺騙研究。本論文將這一框架向前推進了一步。本文首先對文獻進行了限定性回顧,然后提出了一種算法,可自動識別早期工作(Forrester 等人,2019 年)中發現的非真實行為者(通常稱為 Bots)。本立場文件認為,自動行為者很快就能利用語言學習模型(LLM)和基礎模型(FM)最新發展的破壞力,在目前非人類傳播能力的基礎上,允許人工智能(AI)生成虛假信息。這些發展令人擔憂。我們不僅迫切需要自動識別非人類行為者,還需要了解這種欺騙活動的影響。事實上,欺騙意圖的程度以及 Bot-led 敘事可能產生的危害程度,都需要自動檢測和分析人員的理解框架。這種影響可以通過分析欺騙檢測框架內的其他組件來確定,這將指導未來的研究和算法開發。
Forrester 和 Von Francke(2020 年)提出的框架在很大程度上源于社交媒體分析研究文獻與實踐之間有意義的交叉。該框架由七個部分組成:
1.發起者 2.帖子形式 3.信息內容 4.媒介特點 5.傳輸手段 6.信息如何傳播 7.目標受眾
在尋找 SM 中的欺騙行為時,設想在兩個或更多的組成部分中找到積極的指標或所謂的異常現象,將通過三角測量比任何單一組成部分更有可能發現欺騙行為。制定這一框架是為了指導對指標、方法和技術的研究。本文將集中討論這種三角測量方法,以便提供一個未來的檢測點,分析人員可在此點上確定內容(敘述)的重要性并決定下一步行動。
欺騙檢測(DD)中的傳統工藝與自動化相結合的研究,可通過圖 1 了解這一功能。我們提出的算法原型和分析框架將與圖 1 中的三角形相吻合,欺騙檢測是名為 PRISM(社交媒體研究與調查項目)的研究項目的一個子項目。與上述 1. 至 7. 相關的自動化被認為是混合型的,因為它們既處理行為者信息和內容,也處理人類-人工智能團隊中的技術和自動化。
認知與神經人體工程學/神經工效學(CaN)協同技術聯盟(CTA)是一項為期 10 年的神經科學基礎科學研究和技術過渡計劃。該計劃由美國陸軍作戰能力發展司令部陸軍研究實驗室于 2010 年成立,是政府、行業和學術合作伙伴之間的一項合作計劃。在其任期內,CaN CTA 在神經科學、神經技術和相關領域取得了重大進展。CaN CTA 的工作影響了許多利用神經技術增強下一代士兵系統的陸軍項目。本報告對該計劃的愿景、方法和影響進行了高層次的概述,并詳細介紹了成員組織取得的科學進步和技術成果。
認知與神經工效學(CaN)合作技術聯盟(CTA)一直是美國陸軍在神經科學領域的旗艦基礎科學研究和技術過渡計劃。在過去的幾十年里,神經科學的進步極大地推動了我們對大腦功能如何支撐行為的認識,為理解我們如何感知、認知和與世界互動奠定了現代基礎。這些認識已經并將繼續帶來革命性的進步,促進技術解決方案的發展,以滿足軍隊的需求。
CaN CTA 于 2010 年 5 月啟動,匯集了世界一流的研究人員、經驗豐富的行業合作伙伴以及美國陸軍作戰能力發展司令部陸軍研究實驗室最優秀的科學家,以利用全球在神經科學研發方面的巨大投資。CaN CTA 的科學研究和開發計劃旨在推進和加速基于神經科學的方法的成熟,以了解士兵在作戰環境中的表現,并增強下一代自適應士兵系統。
本報告總結并重點介紹了整個聯盟在過去 10 年中取得的成就。更多信息,包括視頻演示和軟件工具,請訪問發展司令部陸軍研究實驗室 CaN CTA 網站。同樣,本報告的第 13 部分還包含了一份具有代表性的清單,其中列出了 CaN CTA 合作研究發表的 50 篇具有重大影響的論文。
現代神經科學研究是一項真正的多學科研究。在全球領先的研究機構中,神經科學研究由來自不同領域的科學家進行,包括但不限于神經科學和神經生物學、遺傳學、心理學、運動學、統計學、應用數學、物理學、計算機科學和工程學。這些研究工作有賴于作為 ARL CTA 核心的合作關系。CaN CTA 的合作機構從臺灣到德國,真正體現了 CTA 的理念,匯聚了來自全球各地世界級研究機構的頂尖學者。
在行業合作伙伴 DCS 公司(DCS)的領導下,CaN CTA 聯合會的成員包括學術研究界公認的領軍機構。在其 10 年的執行過程中,CaN CTA 聯盟及其合作伙伴包括以下機構: 哥倫比亞大學、卡內基梅隆大學 (CMU)、加州大學圣地亞哥分校 (UCSD)、加州大學圣巴巴拉分校 (UCSB)、德克薩斯大學圣安東尼奧分校 (UTSA)、佛羅里達大學 (UFL)、密歇根大學 (UMI)、馬里蘭大學巴爾的摩郡分校 (UMBC)、 賓夕法尼亞大學 (UPenn)、約翰霍普金斯大學 (JHU)、臺灣國立交通大學 (NCTU)、澳大利亞悉尼科技大學 (UTS)、德國奧斯納布呂克大學 (UOs)、西班牙龐培法布拉大學 (UPF) 和 Syntrogi(現為 Intheon)。
即使進入該計劃的最后一年,CaN CTA 仍在繼續克服現實世界中神經成像和自然環境中人類表現建模所面臨的各種挑戰,這些挑戰可用于促進廣泛的神經技術。在這些努力中,有些工具和概念已過渡到 CTA 內外的學術、政府和行業合作伙伴。以下是一些例子:
CTA 合作伙伴開發了新穎的機器學習 (ML) 方法,以前所未有的方式探索和利用神經生理學數據。CTA 合作伙伴展示了人工智能的概念驗證,該人工智能利用在多個不同數據集合中訓練的分類模型,在非結構化環境中檢測任務相關物體的感知,而無需特定用戶校準。
CTA 合作伙伴已將干電極腦電圖 (EEG) 的創新解決方案原型提供給 ARL、其他學術實驗室和行業。ARL 已對無線干電極系統進行了測試,并將其集成到多個應用研究項目的儀器中。此外,一些商業干電極腦電圖產品也利用了這項研究,并被多個教育機構采用。這些機構包括加州大學圣地亞哥分校、馬來西亞大學、英屬哥倫比亞大學和韓國科學技術院。此外,一些干電極產品和評估方法已過渡到大型和小型行業利益相關者的實驗室,如日產汽車公司(日本)、NeuroRex 公司(美國)、Alchemy 公司(臺灣)、Neurocare 公司(新加坡)、Google X 公司(美國)和英特爾公司(美國)。
實驗室流層(LSL)是一種多視角數據采集(DAQ)和同步軟件骨干,目前正被神經行為系統公司采用,以集成到商業刺激演示工具 Presentation 中。此外,LSL 已成為 ARL 多個項目的關鍵集成和同步技術,包括下一代戰車和士兵致命性跨職能團隊支持的大規模研究工作。重要的是,全球越來越多的學術和工業實驗室正在使用 LSL,以創建一個統一的人類傳感生態系統。
CTA 合作伙伴還開發了一系列其他軟件工具,用于對大腦功能進行無創調查(使用腦電圖和其他模式)。其中許多工具被納入更大的工具套件,如 BCILAB(即腦機接口 [BCI] 平臺)和 EEGLAB。
CaN CTA 還在政府實驗室內外尋求技術轉讓和集成目標。特別是,我們開展了轉化研究,以實現未來汽車環境中人類自主集成的進步。我們通過在真實道路上對真實汽車進行調查,同時增加真實世界的社會效應,推進了我們的駕駛研究。與此同時,我們還與一個應用研究項目進行了協調,該項目正在調查駕駛員與現代駕駛輔助技術互動時的大腦過程。
CaN CTA 的努力促成了一項新的應用研究計劃,該計劃將利用上述幾項技術,完善并驗證一個新概念,即通過對多人視覺感知相關信號的機會性感應,提高騎兵和下車士兵的戰術態勢感知能力。除其他計算技術外,該計劃還利用在先前數據集上訓練的深度學習方法來實現免校準操作,以協同改進計算機視覺算法(給定人類標記數據)。這項技術的目標是在不增加士兵認知負擔的情況下,通過人與自主系統的無縫集成來提高部隊效率。
認知神經科學的最新進展極大地促進了我們對大腦功能如何影響行為表現的了解。然而,迄今為止,包括認知神經科學在內的絕大多數人類科學研究工作所采用的方法論和分析方法都存在固有的局限性。CaN CTA指出的技術障礙概括了這些局限性,這些局限性導致人們只能了解人腦如何在高度受控的實驗室環境中執行高度受限的任務。反過來,這也意味著以往的系統開發方式和技術進步方法無法充分考慮士兵操作員的神經認知能力和局限性。
技術障礙:
實驗設計僅限于高度受控和貧乏的刺激-反應范式和環境。
缺乏便攜的、用戶可接受的、微創的、強大的大腦和身體動態監測系統。
未能足夠詳細地記錄大腦控制的整個行為,以及影響大腦功能的環境的物理和社會文化影響。
缺乏數學建模方法和軟件,無法找到環境、行為和大腦功能瞬間變化之間的統計關系。
缺乏足夠的數據檔案和資源,無法系統地研究認知監測所得出的個性化模型與不同任務中個體差異之間的關系。
缺乏利用生理信號的實時測量來影響操作者認知狀態或為適應性技術提供信息的原則和方法,從而在不同時間和不同個體之間提高人類系統的性能。
嫻熟的認知和傳感運動性能是有效利用先進技術能力執行任務的基礎,這種性能顯然是在神經系統層面上組織起來的。特別是,傳感器部署、自動化和通信帶寬方面的技術進步將強化對士兵的信息處理要求。任務的成功與否將取決于士兵能否很好地認識到所積累的信息對正在發生的事件的重要意義,以及他們能否將相關信息整合到能夠支持有效決策和行動的態勢感知中。相反,面對日益復雜的信息流,士兵在理解和決策方面的認知障礙將成為有效利用先進戰場技術的關鍵瓶頸。隨著士兵在戰場上與適應性更強的 "智能 "系統互動,這些挑戰只會愈演愈烈。
因此,CaN CTA 的科學愿景認為,要滿足士兵的關鍵需求,陸軍神經科學工作必須能夠提供并利用對人腦在真實世界作戰環境中面對真實任務時如何運作的清晰工作理解。這一愿景源于生態心理學的既定理論基礎以及具身或情景認知的概念,這些概念認為,在脫離個人背景的人工場景中,要理解自然的、有動機的行為實際上是不可能的。
為了實現這一愿景,我們需要新的神經科學探究方法和新的能力,以便在操作相關的環境中開展神經科學研究。CaN CTA 通過以下方式直接解決這六大技術障礙:
開發實驗范式,捕捉真實世界環境中經歷的多感官刺激流的展開性質
開發和使用新型可穿戴傳感器套件,用于監測自然行為期間的大腦和身體動態,以及用于實現綜合監測能力的軟件系統
獲取和處理高維數據集,這些數據集能足夠詳細地描述各種情況下的身體、心理和生理行為及其環境背景
發現模型和新方法,用于識別和解釋高維數據集之間的統計關系,這些數據集描述了復雜任務執行過程中環境、行為和大腦功能的動態變化。
獲取和分析來自大量參與者樣本的數據,以確定個體間和個體內的差異,從而系統地研究為認知監測而推導的個性化模型與績效、認知能力和個性方面的個體差異之間的關系。
概念框架和功能架構,可獲取和解釋多視角數據,以便實時集成到人機系統中
自這一方法推出以來所取得的成功反過來又促成了神經科學在將基礎研究轉化為軍事相關領域方面取得進展所依據的原則的確立,即確立和闡明基本的轉化原則。這些原則指導了技術解決方案的開發,這些解決方案與人類神經系統在其動態、復雜環境中的能力和局限性相協調。
自計劃開始以來,CaN CTA 始終牢記上述愿景,并努力降低障礙。在計劃實施過程中,CaN CTA 通過以下方式降低了障礙:
在整個計劃期間,這些成就可以看作是在前一階段基礎上開展的一系列研究階段。在此,我們重點介紹計劃的這些階段。
計劃第 1 年:CTA 致力于制定合作計劃愿景和研究項目,為許多研究想法播下種子,并為未來幾年更雄心勃勃的探索奠定基礎。在這一階段,計劃確定了之前闡明的愿景和科學障礙。如圖 1.2 所示,研究分為三類:神經認知性能、先進計算方法和神經技術。在逼真和逐漸復雜的環境中進行無創神經成像,并配合先進的計算方法來探索數據,是研究的基本主題。
計劃第 2 年:重新評估和調整研究計劃和進度,以提高效率,實現更有效的過渡。此外,CTA 開始詳細制定計劃,在限制較少的實驗范例中開展全 CTA 范圍內的合作神經生理學數據收集工作。為使實驗環境更加逼真,滿足軍隊環境的需要,一些實驗被設計成代表安裝(車內)環境,而另一些實驗則設計成代表下裝、行走環境。與此同時,在整個 CTA 中繼續開展需要較少方法準備的小型實驗和分析。
計劃第 3 年:計算方法的研究凝聚成可供社區使用的工具,整個 CTA 神經生理學數據收集的實驗裝置也已投入使用(圖 1.3)。CTA 開發了多受試者和單受試者車輛操作人員站,每個站都有多模態數據收集(包括高通道腦電圖)和運動模擬。此外,CTA 還采用了單受試者流動儀器,用于在實驗室和戶外收集數據。此外,CTA 還繼續完善數據的收集、組織和管理方法,以及促進探索大量、多樣的多模態神經生理學數據的方法。
計劃第 4 年:獨特的實驗系統和數據收集工具在多個 CTA 站點投入使用,以收集真實或現實環境中的多模態數據(見圖 1.3)。與此同時,在計算方法、真實世界傳感器和采集方法方面繼續取得進展,以促進對數據的探索。
計劃第 5-6 年:為了更直接地實現過渡目標,對前四年為推進整體感知和探索真實世界腦體數據而進行的累積研究進行了重新聚焦。特別是,如圖 1.4 所示,對研究進行了重組,以彌補在實現更強大的腦機交互技術 (BCIT) 方面的差距。隨著剩余的大規模數據收集工作的完成,該計劃將其項目重新調整為三個新的科學領域:高級計算方法(ACA)、腦機交互技術(BCIT)和真實世界神經成像(RWN)。隨著越來越多的多模態、真實行為神經生理學數據可用,組織、管理、探索和利用數據集的方法得到了更多的重視。因此,ACA 領域依然存在,但與其他兩個科學領域的聯系更加直接。此外,考慮到重要的研究工作從開始到結束至少需要兩年的時間,計劃規劃周期被延長為兩年一周期,一些重要的項目被規劃為三年執行一次。
三個新科學領域背后的驅動問題如下:
ACA: 解碼、跟蹤和融合神經和非神經信息源以推斷狀態的最佳方式是什么?
RWN:在實驗室的限制之外,大腦在現實世界中是如何運作的?
BCI:我們如何利用神經信號改善人類與計算機、自主代理、環境甚至其他人的交互?
反過來,這三個領域又通過一個總體目標相互關聯:
計劃第 7-8 年:這一階段的重點是穩健型 BCIT(圖 1.5)。這項工作在閉環 BCI 系統方面取得了可喜的研究成果,為利用實時神經活動優化人機系統聯合性能奠定了基礎。與此同時,隨著合作者們繼續處理大量不同的 RWN 數據(主要包括腦電圖和其他表面傳感器數據),標記和預處理的方法也得到了標準化,從而為更廣泛的研究社區帶來了益處。
計劃第 9-10 年:聯盟將研究重點放在真實世界實驗(如高速公路駕駛)上,同時使早期的神經成像數據探索和利用方法達到真實世界應用所需的成熟度。特別是,在被動閉環技術背景下,對解讀多模態人體神經和生理數據的 ML 方法進行了改進和測試,以提高士兵的態勢感知能力(上馬或下馬)和操作安全性(圖 1.6)。此外,DAQ 和同步中間件 LSL 獲得了工業界和學術界的廣泛認可,并被整合到陸軍的應用和高級研究項目中,以調查未來行動中的有人-無人編隊協作情況。
在世人的記憶中,2022 年可能是生成式人工智能(AI)之年:在這一年里,大型語言模型(LLM)(如 OpenAI 的 GPT-3)和文本到圖像模型(如 Stable Diffusion)標志著社交媒體操縱潛力的巨大變化。針對對話進行了優化的 LLM(如 ChatGPT)可以大規模生成自然、人性化的文本內容,而開源的文本到圖像模型可以生成任何(真實或想象的)逼真圖像,并且可以大規模生成。利用現有技術,美國對手可以建立數字基礎設施來制造逼真但不真實(虛假)的內容,從而為類似的逼真但不真實的在線人類角色推波助瀾:Twitter、Reddit 或 Facebook 上的賬戶看似真實,實則是由人工智能生成的合成建構,并推進符合這些政府利益的敘事。
在本視角中,作者認為無處不在、功能強大的生成式人工智能的出現構成了潛在的國家安全威脅,即美國對手濫用的風險(尤其是用于操縱社交媒體),美國政府和更廣泛的技術和政策界現在就應積極應對。作者重點以中國作為潛在“威脅”的示例,但各種行為體都可能利用生成式人工智能操縱社交媒體,包括技術成熟的非國家行為體(國內和國外)。本視角中討論的能力和威脅很可能也與俄羅斯和伊朗等其他已經參與社交媒體操縱的行為體相關。
選擇社交媒體操縱策略和生成人工智能的潛在影響
本報告的目的是描述位于加利福尼亞州洛杉磯的美國陸軍作戰能力發展司令部(CCDC)西部陸軍研究實驗室(ARL-West)用于人類與機器人群互動研究的物理測試平臺,并介紹未來利用該測試平臺進行能力和實驗的機會。這是因為19財年ARL的集群項目,這是美國防部資助的研究人類與群體互動工作的一部分。
這里描述的ARL集群項目是ARL的車輛技術局(VTD)、傳感器和電子設備局(SEDD,現在的CCDC數據和分析中心[DAC])以及人類研究和工程局(HRED)的一項聯合工作。我們將集群定義為一組完全或基本自主的智能體,以集體的方式進行互動,以完成一項任務。在我們的工作定義中,我們也會偶爾提到一些場景,在這些場景中,智能體是合作運作的,但不一定是一個集體的整體(例如,當機器人被分配單獨的任務,形成合作目標的組成部分)。這些通常被稱為多智能體或多機器人系統。智能體群體可能是同質的或異質的。
結合團隊成員在車輛技術、傳感器/機器視覺、處理器芯片和功耗、人類因素和感知/認知心理學方面的經驗,我們對人與群的互動有了深入的了解,并推動了建立人與群互動測試平臺。我們合作的一個主要見解是,電源需求、芯片限制和傳感器能力可能會大大影響人類的表現或人類對機器人群或其他多Agent系統的反應,但在人類-自主-群體互動的模型中很少充分考慮這些因素。為了推動研究,并為在這些領域和相關領域的繼續探索奠定基礎,ARL集群團隊在ARL-West創建了一個實體集群測試平臺:集群與人互動性能室內研究平臺(AIRSHIP)。這個測試平臺將允許研究界面、物理限制、人類因素及其相互作用如何影響人類-集群的任務表現和人類心理/生理反應。為了適應廣泛的實驗可能性,該試驗臺可以高度定制一系列的任務場景、自主資產的數量和多樣性,以及固有的和強加的物理約束。
從我們的討論和文獻回顧中,從創意技術研究所(ICT)開發的虛擬試驗臺中,以及從建模工作(例如Humann和Pollard 2019)中得到的啟示,強調了開發一個物理試驗臺以解決人與機器人群的互動研究問題的必要性。在我們設計的測試平臺中,我們旨在實現以下特點:室內、小型、便攜、高度可定制、靈活,以適應廣泛的實驗。
在此,我們描述了AIRSHIP測試平臺的現有能力,并闡明了在目前可用的硬件和軟件條件下,可以在這樣一個物理測試平臺上進行的各類實驗,以及未來可能對測試平臺進行的改進。
一個關于人與機器人群互動的聯盟項目正在由ICT進行,ICT是由南加州大學管理的陸軍大學附屬研究中心(UARC)。該項目正在研究使用帶有虛擬人類發言人的自然語言對話界面,該發言人作為人類操作員和機器人群之間的中間人。在ARL的投入和指導下,ICT創建了一個基于模擬的測試平臺,在用戶與虛擬發言人和機器人群互動時,收集他們的自然語言數據。
基于模擬的測試平臺運行一個虛擬的搜索和救援場景,其中人類用戶指揮一個由無人機和地面車輛(分別為UAV和UGV)組成的異質團隊。在模擬中,一個小鎮受到野火侵襲的威脅,鎮上的居民必須通過利用無人機和UGV的不同方式來拯救。例如,一些居民迷路了,必須被指示跟隨無人機到安全地帶。必須調遣一輛UGV來清除道路堵塞物。除非人類指揮官通過附近的無人機拍下他或她的聲音,并親自與這對夫婦交談,否則無法拯救一對 "頑固的夫婦"。一個虛擬的人類發言人可以作為人類指揮官和自主車輛之間的中介,但人類也可以單獨指示這些資產。野火隨著時間的推移而蔓延,目標是盡可能多地救援城鎮居民。不同的居民和其他挑戰可以隨機分布在城鎮地圖上,并且可以進行修改,以改變可用資產的數量、野火侵襲的速度和方向,并增加進一步的挑戰(如無人機的損失)。人類指揮官使用一個語音麥克風和兩個電腦屏幕與系統互動。一個屏幕顯示虛擬的人類代言人,另一個屏幕顯示城鎮的地圖。(見圖1指揮官的工作區。)如果參與者指定他們的一些無人機提供監視,那么火力的進展在地圖上是可見的。無人機的行為和虛擬人類發言人的行為是由兩個奧茲國的巫師在幕后控制的。該測試平臺的早期版本在Chaffey等人(2019)中有所描述。
圖1 ICT的人-機器人群互動虛擬試驗臺,顯示了野火地圖、模擬無人機和通過自然語言與用戶互動的虛擬人類報告員
虛擬測試平臺有很多優點,包括可移植性、快速修改,在某些情況下成本較低。然而,人類對模擬機器人群的反應與人類對物理機器人群的反應不同。Podevijn等人(2016a,2016b)表明了這一點,與模擬機器人相比,與物理機器人互動時,壓力的心理生理學標志物升高。與較大的群組和較小的群組互動,也產生了類似的模式(Podevijn等人,2016a;Podevijn等人,2016b)。
一個虛擬的機器人群可能看起來與真實的機器人群的虛擬表現相同,只要指揮官不與實際的代理人在一起就可以了。然而,在許多情況下,人類指揮官和其他互動的人將處于戰術邊緣,與機器人代理一起在現場。從這些場景的虛擬模擬機器人群中得出的結論可能不完全代表實際物理機器人群的結論,在物理機器人群測試平臺中復制之前,也許最好將其視為初步結論。
使用物理機器人群測試平臺的另一個原因是為了更好地包括與機器人代理一起工作的現實世界的挑戰--即他們的物理需求和限制。異質組隊模擬很容易對飛行時間、電力使用、機械堅固性、有效載荷能力、相機分辨率等做出不現實的假設。當這些不切實際的假設在模擬中實現時,其結果是無法復制人類與多人合作的許多重大挑戰的情景。我們承認,仔細考慮這些參數可以使它們在模擬中得到更忠實的實現,我們也承認,我們的物理測試平臺不能完全復制所有這些問題。例如,使用微小的、低成本的、可移動的無人機有一個警告,即它們不能在室外飛行。因此,實際的天氣影響不能包括在我們的測試平臺中。然而,我們的測試平臺天生提供了關于飛行時間、電力使用、有效載荷能力、機械堅固性等方面的現實物理約束。
為了不同的實驗目的,已經開發了各種虛擬和物理的異質組隊測試平臺。我們將在下面的章節中強調幾個關鍵的例子。
在本節中,我們提供了一個不全面的概述,介紹了具有多機器人/蜂群測試平臺的研究項目,這些項目可以檢驗人與機器人群的交互性能。全面的回顧超出了本報告的范圍,因此在這里我們只提供與ARL研究密切相關或合作的項目的細節。
用于人與多Agent交互的多功能虛擬現實(VR)測試平臺是加速用戶推理操作、研究和分析(AURORA)-XR界面,該界面正在由ARL為戰場物聯網開發(Dennison等人,2019)。AURORA-XR目前有一個虛擬的城市街區,有一系列的傳感器和代理,可以虛擬地檢測虛擬友軍和敵軍的運動。人類指揮官可以通過虛擬攝像機畫面和虛擬傳感器數據,從視覺空間角度調出不同傳感器和無人駕駛車輛的視圖。這個設置可以在圖2中看到。該模擬可被修改以執行不同的模擬任務,并被建議由HRED用于研究訓練人類在人-代理團隊合作中的相關技能(例如,不確定性量化和視覺空間透視)。
AURORA-XR的一個主要目標是作為一個可視化工具和異地協作工具(通過AURORA-NET),其中不同地點的多個人類可以同時與VR中的沙盤表示進行互動,以參與多領域行動的協作決策。
混合倡議實驗(MIX)測試平臺(Barber等人,2008年)將無人車和攝像機的模擬與操作員控制單元(OCU)界面相結合,如圖3所示,允許用戶控制無人系統。OCU是可定制的,底層的自主性模擬器軟件(無人系統模擬器[USSIM])可用于模擬各種自動化程度不同的任務類型,包括偵察、目標識別和路線規劃等場景。MIX已經被用于各種研究中,用于智能代理的修改的OCU也是擴展研究的主題(Chen和Barnes 2014;Barnes等人2015)。
圖2 AURORA-XR的界面與實例的進給和攝像機角度
圖3 MIX測試平臺的OCU界面
在我們正在進行的工作中(Humann和Spero 2018;Humann和Pollard 2019),我們使用一個虛擬測試平臺來設計人類與無人機互動的適當算法并選擇適當的團隊規模。該工具可以模擬任何數量的人類、四旋翼無人機和固定翼無人機。人類被模擬為具有疲勞和工作負荷的現實效果。人類和自主資產執行監視任務,必須用相機掃過一個場地,以發現可能的危險,如車輛和火災(由固定翼無人機執行),然后對感興趣的點進行拍照(四旋翼無人機),最后分析以評估威脅程度(人類)。從這個分析中,可以從評估現場的整體準確性和速度方面分析向系統添加資產的回報。圖4顯示了模擬的一個例子截圖。
圖4 模擬截圖(Humann和Pollard 2019),顯示三個固定翼無人機、四個四旋翼無人機和兩個操作員合作執行監視任務
在ARL有兩項正在進行的工作,涉及多個分布式智能資產,正在為未來的工作開發測試平臺。第一個是分布式協作智能系統和技術(DCIST)的合作研究聯盟。這個項目將 "創建自主的、有彈性的、認知的、異質的群組,使人類能夠在動態變化的、惡劣的和有爭議的環境中參與廣泛的任務"(www.dcist.org)。DCIST的執行者已經討論了建立一個測試平臺(虛擬和/或物理)來測試智能系統的算法。雖然許多參與的學術機構都有自己的測試平臺供個人研究使用(例如,Pickem等人,2017年),但DCIST測試平臺的一個目標是使來自各合作機構的研究產品得到綜合實驗。
ARL正在進行的第二項工作是一個潛在的測試平臺,用于探索人類與智能系統的互動,將不同的人類互動模式與強化學習相結合,稱為自主系統的學習周期框架(Waytowich等人,2018;Goecks等人,2019)。他們實施了一個模擬,以探索使用人類示范來提高智能系統的能力(在引用的案例中,一個小型四旋翼無人機)。他們計劃繼續研究使用Crazyflie無人機在物理測試平臺上進行聯合互動的強化學習。
隸屬于南加州大學和ICT的研究人員在正在進行的研究中展示了多個機器人的協調行為(Tran等人,2018),同時自主飛行多達49架微型無人機(Preiss等人,2017)。他們還展示了最多三個人和六個無人機之間的用戶互動,這些無人機在房間里相互靠近導航(Phan等人,2018)。
本項目以美國戰略司令部(USSTRATCOM)瞄準程序改進工作組(TPIWG)的工作和結果為例進行研究。TPIWG對USSTRATCOM J52/J2T聯合瞄準部目前的目標維護流程進行了評估,并確定了需要改進的領域。在確定了需要改進的領域后,TPIWG構思并開始設計和開發一個用于目標維護的自動變化檢測軟件程序。
方法包括分析確定了哪些流程需要改進,以及如何實施變革,軟件開發流程的實施和遵守情況如何,分析從美國空軍獲得資金支持的過程,以及隨后為軟件的全職支持簽訂合同。
本案例研究記錄了TPI工作組在流程分析、軟件開發和實施階段所面臨的挑戰、創新想法、風險。從成本、進度和性能的角度,記錄了對維持資金的挑戰。探討將已完成的工作承包給非TPIWG成員的第二方的利弊。確定承包商在維持或未來改進軟件方面可能面臨的挑戰。最后,本案例研究試圖確定對作戰人員的整體改進和好處是什么。
NAVAIR任務工程和分析部(MEAD,AIR4.0M)每年進行一次工程、參與和任務級建模和分析,以支持項目和技術投資決策。Minotaur任務系統正在被海軍收購,以整合到P-8A海神號海上巡邏機和MH-60R海鷹海上直升機上。 Minotaur將"海神"和"海鷹"的傳感器整合到一個全面、共享和聯網的畫面中。Minotaur在速度、準確性和內存容量方面比傳統的、主要是手工的數據融合系統有了明顯的提高。然而, Minotaur對任務有效性的影響還不清楚,因為與傳統的動能效應器(即武器)不同,在現有的AIR-4.0M任務級模擬中,使用海軍模擬系統(NSS)和/或模擬、集成和建模高級框架(AFSIM),無法輕易捕捉到 "更好的 "數據融合對機組人員態勢感知(SA)的影響。
基本的假設是,像Minotaur這樣的系統通過提高SA的準確性來增加價值,同時減少分類和識別感興趣的聯系人的時間。這種改進預計將對水面目標定位、自我保護和協調反潛戰(ASW)行動產生重大影響。由于 Minotaur特別是不融合/協調反潛戰傳感器,它在那里的價值較小,但仍可能增加一些價值,有待確定。本研究中開發的建模和分析方法可以應用于這種調查
本研究的首要目標是為AIR-4.0M提供洞察力,使其了解如何在任務級分析中描述 "Minotaur",包括潛在功能、指標、其當前模型的充分性,以及是否可以或應該使用其他模型或方法的指示。
研究人員使用了一種基于文獻回顧的邏輯方法,與融合、海神和海鷹社區的主題專家進行討論,并對各種建模技術進行調查。由于贊助商使用NSS和AFSIM,所以特別強調了這些建模工具。
從表面上看,研究目標并沒有什么不尋常之處。許多決策者需要分析工具和程序來協助投資決策。不過,研究結果比預期的要更廣泛,范圍更廣:
在解決研究目的中指出的建模挑戰時,很明顯,NSS提供了一個 "足夠好 "的解決方案,只需對報告模型做一些補充就可以快速實施。這是通過建立一個新的 "傳感器 "來實現的,它包括檢測、分類和識別的能力,反映了融合系統如何攝取不同的傳感器并創造更大的態勢感知。因為對這個 "傳感器 "的性能進行參數化是一個簡單的問題,基線方案的許多偏離將產生一個查找表,供分析人員與演習/實驗結果進行比較。例如,如果一項實驗表明,Minotaur融合在300納米范圍內將接觸識別率提高到95%(這些數字是名義上的),分析人員可以使用相當于該性能的參數化偏移,將該偏移的操作指標與Minotaur基線進行比較,從而能夠確定潛在的附加值。
不過,NSS的使用并非沒有顧慮。NSS通過相同傳感器的關聯來實現 "融合",而不是像Minotaur那樣通過兩個或更多獨立和不同傳感器的關聯來進行。因此,假設一個具有上述建模質量的 "傳感器 "代表融合,有時可能是錯誤的,例如,如果某個感興趣的接觸點沒有信號發射,沒有廣播自動識別系統(AIS),或者不在一個主動傳感器的范圍內。所以,NSS的建模方法并非100%完美。同樣,這就是為什么研究人員建議將概率值參數化,這樣分析人員就可以在他們的分析中根據需要進行詳細分析。
研究人員認為,AFSIM提供了替代性的建模方法,但與NSS相比,它的基礎水平更高。NSS在核心軟件中預先開發了一些融合過程的功能表示,而AFSIM有一個更開放的框架,提供了一個創建更多系統表示的機會。然而,這意味著對本研究感興趣的過程進行建模需要更詳細的設計和實施工作,同時還要有必要的驗證和確認程序。這可能是一個更苛刻的(和昂貴的)開發水平,而不是贊助商所能容納的。由于使用AFSIM的組織眾多,如果其他組織已經完成了數據融合業務價值研究所需的一些能力的建模,并愿意分享他們的軟件,那么積極參加AFSIM用戶組可以減輕定制開發的成本。
最后,研究人員指出,隨著關于數據和知識表示的新想法在工業界和最終在政府中的爆發,融合領域即將爆發。僅僅融合兩個傳感器曾經是相當具有挑戰性的。現在,新的攝入和分類程序意味著智能算法可以融合幾十個不同的來源來講述一個故事。一位從事融合工作35年的融合主題專家提醒研究人員,"真正的融合實際上仍然只發生在頭腦中"。
研究人員認為,理解不僅是融合的價值,而且利用由大數據、云計算和機器學習提供的日益增長的數據雪崩(很快可用于所有平臺和戰術邊緣)至關重要。圍繞這些新興能力的炒作是巨大的,所以仔細考慮投資是不為過的。因此,研究小組建議對以下領域的建模和分析進行研究:
在與美陸軍分析小組及其研究促進實驗室進行CRADA的過程中,Entanglement, Inc.(EI)已經展示了比任何已知技術更快、更準確的網絡安全異常檢測能力--假陽性現象少得多。
全球大多數網絡安全報告(包括2022年Sonicwall報告)認為,2021年幾乎所有類型的網絡攻擊都大幅上升,包括zeroday和勒索軟件攻擊。所有這些攻擊都有一個共同點:網絡異常。網絡安全中的異常檢測是指識別罕見的發生、項目或事件,由于其特征與大多數處理的數據不同而引起關注,這使得組織能夠跟蹤安全錯誤、結構缺陷甚至欺詐。異常檢測的三種主要形式是:無監督的、有監督的和半監督的。安全運營中心(SOC)分析師在網絡安全應用中使用這些方法中的每一種,都有不同程度的有效性。局限于監督式機器學習的系統往往會標出許多潛在的異常現象,以至于分析員不得不與無休止地增長的假陽性警報作斗爭,遭受認知過載。
過多的登錄,兩點之間的流量高峰,以及異常大量的遠程登錄是異常的幾個例子。正如我們在2020年的大流行病應對中所了解到的,后一種 "異常 "對于許多組織來說是必要的,以便在工人被困在家里時保持業務運轉。鑒于COVID-19大流行期間遠程工作的規模所帶來的挑戰,以及2021年網絡威脅的增加,美國陸軍轉向私營部門,探索一系列可能的解決方案。
2021年5月,拜登發布了一項行政命令,授權所有聯邦機構采用零信任安全。2021年第三季度,提出了一種新的網絡安全方法,以解決最近授權的零信任安全架構的持續監測部分。如果成功的話,這種能力可以應用于軍隊和其他聯邦機構運營的更大的網絡,并幫助提供實時態勢感知。這部分是基于對深度神經網絡的研究,其目標是:(a)加速自動編碼器(AE)功能;(b)加速生成對抗網絡(GAN)功能;以及(c)整合一種叫做支持向量機(SVM)的量子啟發優化算法。該方法包括二次無約束二元優化(QUBO)在網絡安全異常和離群點檢測方面的新應用,是由美國政府委托的。在業務轉型辦公室的指導下,陸軍分析小組(AAG)立即開始與可能被用于擊敗網絡異常威脅的新興技術的廣泛潛在來源合作。2021年6月,AAG的主任丹-詹森先生了解到Entanglement公司的無償援助提議,該公司選擇了其戰略伙伴和團隊參與者美國半導體公司Groq公司,為陸軍提供新穎、突破性的專利技術以及計算服務。
Entanglement團隊提供服務,協助陸軍在12個月內確定一個最佳的網絡安全異常檢測能力。2021年6月,AAG和Entanglement延長了題為 "COVID-19資源分配優化 "的現有合作研究與開發協議(CRADA)。Entanglement團隊在接下來的幾周內與Clay Stanek博士領導的AAG研究促進實驗室一起工作,并在2021年10月展示了顯著的性能改進和可行性。
CRADA下的工作最終驗證了解決網絡安全異常檢測的能力,比傳統方法更快,并具有更好的性能,正如關鍵性能參數(KPP)所衡量。關鍵性能參數涵蓋了與每秒總推斷量、檢測到的威脅百分比、準確性、召回率、精確度、其他基于混淆矩陣的指標以及曲線下面積(AUC)有關的指標。
對于額外的變量或更大的數據集,Entanglement/Groq能力提供了比傳統方法更高的效率,可以大規模地解決原本難以解決的問題。核心技術是一種專有的專用數字電路設計,具有高度的并行性,用于解決可表示為深度神經網絡模型和二次無約束二元優化(QUBO)問題的各類問題。AAG以前的努力顯示了每秒檢測12萬個推斷的能力。這是用QUBO模型作為基準和標準所能達到的指標。基準是基于一個解決方案集,它將算法解決方案與專有的量子啟發芯片結合起來。芯片解決方案可以擴展到卡、節點,甚至更多。此外,為CRADA的可行性而設定基準的現有解決方案已經在開發下一代的更新,這將提高模塊化程度并減少熱信號。
在六個月內,Entanglement能夠實現每秒72,000,000次推斷的異常檢測率,并展示了在廣泛的數據處理系統領域實現每秒120,000,000次推斷的潛力。
驗證案例由KDD Cup 1999(KDD99)數據集和CICIDS2017數據集構建。如模型性能部分所述,AE和GAN解決方案的計算輸出在確定異常情況方面非常有效。QUBO SVM是以量子化形式建立的,在異常檢測方面也很有效,最后能夠在大約250毫秒內完成整個數據集的計算。
人工智能(AI)有可能給軍事行動的所有方面帶來重大破壞。這項研究開發了一個嚴肅游戲(SG)和評估方法,以提供參與破壞性人工智能技術所需的心態教育。該游戲名為 "Obsolescence",從人工智能和作戰當前和未來狀態的報告匯編中教授向國防部 (DoD) 推薦的戰略級概念。評估過時的教育價值的方法解決了常見的挑戰,如主觀報告、控制組、人口規模和衡量抽象或高水平的學習。游戲提議的教育價值采用前后測試的形式,與人工智能和戰略規劃領域的官方來源和專家建立的基線進行測試。評估包括基于自我報告的學習和測量參與者在游戲后對LO相關問題反應的變化這兩個指標。實驗發現,測量的學習效果和參與者自我報告的學習效果之間有很強的關聯性,這兩個指標都證實了Obsolescence實現了其教育目標。這項研究包括利用評估方法的必要步驟,并為Obsolescence和教育游戲評估領域的未來研究提出了建議。
達爾豪斯大學大數據分析研究所、加拿大國防研究與發展部(DRDC)-大西洋研究中心和加拿大通用動力任務系統公司(GDMS-C)向加拿大自然科學與工程研究委員會(NSERC)成功申請了一項名為海軍信息空間自動監測(AMNIS)的三年期資助項目。AMNIS啟動會議于2020年10月14日舉行,許多教授、國防科學家和GDMS-C技術人員參加了會議。會議為這三個組織確定了許多行動。與DRDC和GDMS-C相關的一項行動是需要與任務相關的場景來幫助指導預期的研究。因此,DRDC率先描述了一個有代表性的海陸場景,使研究人員能夠更好地了解與AMNIS有關的潛在研究途徑。制定的方案涉及加拿大皇家海軍(RCN)和加拿大陸軍(CA)執行的一項加拿大人道主義任務。該任務是向一個最近遭受自然災害的國家分發食品和醫療用品。一支敵對勢力還試圖偷竊這些物資。該情景描述了通過更好的處理技術和決策來改善信息流、共享和使用的必要性。該方案旨在引起進一步的討論,并幫助鞏固AMNIS參與者的研究課題。
2015年,加拿大皇家海軍(RCN)的海上信息戰(MIW)概念[1]發布,概述了信息對RCN的影響。MIW的推出使人們非常需要關注信息,它既是皇家海軍使用的一種資源,也是為了更全面地使用和利用優勢而需要理解的一個概念。
該概念文件概述了信息的影響,包括其廣泛的可用性、皇家海軍對信息的依賴性以及信息的使用,特別是在戰爭中和作為戰爭倍增器的跨梯隊的使用。該概念文件還談到需要更好的處理技術來處理MIW功能領域內的數據量,如指揮、控制、通信、計算機、情報、監視和偵察(C4ISR)、指揮和控制(C2)、情報、監視和偵察(ISR)以及態勢感知(SA)。
在MIW概念文件之后,2016年又發布了RCN信息戰戰略文件[2]。這里的重點是發展海戰MIW能力和能力,以支持國內活動(即加拿大的防御)和國際部署。盡管戰略文件指出了信息的更多傳統用途,如收集、利用和傳播,但它也認識到網絡武器領域是一個機動的地方,可以采取防御和進攻的行動。MIW的概念文件涉及物理、虛擬和認知領域,而戰略文件則談到了信息領域,從而表明了信息對于作戰人員的地位和重要性。
在概念和戰略文件之后,加拿大在2017年發布了新的國防政策[3]。該國防政策并沒有明確提到信息領域。然而,該政策確實催生了兩個最近的文件,繼續表明信息對RCN的重要性:2019年的DND數據戰略[4],以及2020年的RCN數字海軍[5]。
數字海軍[5]支持加拿大國防政策[3]的創新目標,特別是那些涉及適應和利用新技術的能力。數字海軍 "作為一個指南,將數字技術與人結合起來加以利用,以確保未來海軍的成功和可持續。這份文件提出的前進方向涉及自動化、大數據分析、云計算、人工智能(AI)和機器學習(ML)方面的創新,成功是指通過上述手段做出數據驅動的決策的RCN。
數字海軍的概念促進了企業和運營RCN社區在決策中對數據的使用。在操作方面,這是為了將海軍團隊和水兵從日常工作中更平凡的方面解放出來,通過自動化功能,如基于規則的重復性任務。從更廣泛的操作角度來看,使用這種數字技術和技巧是為了更好地進行操作。
上面提到的所有文件都指出,希望將RCN推向一個信息組織,在這個組織中,信息是用來使用的,但也被用作防御和安全的工具。由于其中一些方面對RCN來說是新的,因此顯然需要一個由信息科學、人工智能、ML以及將這些與認知科學相結合的專家組成的強大而明智的科學團體,以開發更好的人類決策模型來支持RCN的目標。
通過政府、學術界和工業界合作伙伴的參與,建立了一個強大而知情的科學界。這個群體完全有能力在與現代軍隊相關的科學和技術問題上取得進展,以幫助滿足國內和國外對加拿大武裝部隊(CAF)不斷增長的需求。
為了發展這個社區,在自然科學與工程研究委員會(NSERC)的聯盟計劃下,成立了一個DRDC(大西洋研究中心)、工業界(加拿大通用動力任務系統公司,GDMS-C)和學術界(達爾豪西大學)的伙伴關系。提交并被NSERC接受的提案名為《海軍信息空間自動監測》(AMNIS)。該提案概述了海上和陸地的信息問題,特別是數據整合、事件和警報的ML、信任和對抗性數據,以及信息的可視化和呈現供用戶使用。
為了給學術研究小組提供背景和指導,下面提供了一個大大簡化的行動的基于場景的描述。該方案包括許多問題,表明與AMNIS相關的可能研究途徑。這里的目的是培養研究人員對與DRDC和GDMS-C有關的問題的理解,使研究人員能夠發展自己的思路,幫助他們追求與他們的研究和AMNIS有關的創新方法、技術和發現。
這項工作的動機是基于兩個愿望,即:
1.描述一個現實但簡化的操作,其中存在與AMNIS相關的信息問題,以及。
2.強調在AMNIS項目下DRDC和GDMS-C感興趣的研究領域。
其余各節將提供一個現實場景的發揮、可視化部分、性能建模、決策和學習的概述。每一節都包含了一系列的問題,這些問題的提出有助于為研究工作提供思考點和指導。
第2節描述了一個聯合行動的場景,陸地和海洋部隊共同支持人道主義任務。通過可能被破壞并有相關安全風險的節點相互連接和共享信息資源來實現這一目的。第3節討論了可視化在該場景中的作用及其對決策的影響。這包括物理環境的可視化表示,以及額外信息源的聚合如何影響主題專家的決策。本節還考慮了與人工智能(AI)和多樣化技術合作的人類表現模型。第4節討論了如何利用數據檔案來開發和學習對抗性注入檢測方法。第5節以總結性意見完成了本文。