摘要

國防人員是被選中并接受訓練以在壓力下工作的眾多職業之一。在以信息過載、不確定性和時間壓力下的復雜決策為特征的未來操作環境中，對優化認知性能的重視程度將不斷提高。認知被廣泛認為是身體和精神表現的關鍵驅動力，然而，支持最佳表現的認知功能的核心要素、它們的機制和它們的可修改范圍卻缺乏清晰的認識。具體來說，人們對高壓力環境下認知能力的生物決定因素了解有限。

了解認知功能的基因組結構和分子機制對于更好地理解個人在認知挑戰任務中的表現至關重要。目前的認知評估工具是為適應表現數據而開發的，與潛在的生物學無關。雖然這些標準化的測試對做出關于能力的決定是有用的，但它們并不能說明潛在的生物表型，因此對設計基于生物的干預措施的幫助有限。我們的項目正在建立一個以生物學為基礎的認知測量框架，這將使以表現為重點的認知評估系統更加連貫，并為監測和干預方案的制定提供一個更加系統和有針對性的方法。

通過全基因組關聯（GWAS）方法研究的一般認知能力（g）的遺傳組成，由于表型定義和測量的巨大差異，仍然沒有結論。如果考慮到g的子成分和認知功能的非g維度，如執行功能，問題就更大了。為了增進我們對認知功能的遺傳結構的理解，需要對表型的定義和測量進行徹底的改進。為此，我們選擇將重點放在認知測試數據中最小的可測量成分上，并研究其遺傳關聯。30年前提出的這一解決方案（Atchley and Hall 1991）并不可行，原因是：（1）對多種認知能力在遺傳上的可分離性缺乏了解；（2）認知的高度多基因性，促使認知基因組學研究需要大量的樣本量（數十萬）。我們以前的研究開始解決這些限制，證明了G與特定認知能力（如執行功能）的遺傳分離性（Ciobanu等人，2021）。我們目前的研究通過研究世界上最大的數據集（英國生物銀行）的遺傳和認知評估數據，完善了認知功能的核心維度，該數據集有超過50萬名參與者。首先，我們將通過應用多變量混合模型GWAS方法，確定與基本認知單元相關的遺傳變異。第二，對于這些變量中的每一個，我們將比較整個基因組的關聯模式。第三，我們將研究特定測試的遺傳變異如何結合起來代表更廣泛的認知結構以及這些更廣泛的結構是如何相互關聯的。這些關聯將共同形成我們的認知功能的基因組信息模型，這反過來將為認知評估的設計和應用提供信息，這些評估是根據選拔、訓練和操作支持應用的明顯不同要求而定制的。

引言

1.1 情報和認知過程的評估

1.1.1 智力的性質

對于認知能力和智力的研究，有兩種不同的方法。一種是專注于人口中單一智力結構的個體差異。另一種是適用于臨床神經心理學的更詳細的多層次、多成分的模型，并且可能更容易轉化為底層的生物分析。

考慮到第一種方法，許多當代的研究可以追溯到查爾斯-斯皮爾曼（Charles Spearman）（1904）的工作，以及根據他對各種認知任務之間正相關的觀察，發現了一般智力因素 "g"[1]。斯皮爾曼使用因子分析的統計方法，聲稱 "g "是一個單一的基本智力因素，它可以解釋各種可觀察到的能力的個體差異。從統計學上看，"g "是一個單一的因素/組成部分，它解釋了智商測試中約40%的表現差異。從心理測量學的角度來看，"g "可以捕捉到一個人在任何數量的認知任務中的表現。在心理學上，"g "被解釋為類似于 "能量 "或 "功率 "的東西，是整個大腦皮層表現的一個函數。最近，A.詹森（1923-2012）和H.艾森克（1916-1997）的工作將 "g "與心理速度聯系在一起，通過檢查時間和選擇反應時間的測量來體現。關于人類智力是否存在一個單一的可量化的因素，仍然存在激烈的爭論。

摘要

解釋團隊表現的基本因素仍然是一個激烈的研究課題。在成功的團隊合作中，信息必須被快速有效地傳遞，而解決方案必須通過一個被稱為團隊認知的過程利用團隊的集體知識。加強團隊合作不僅提供了提高生產力、安全性和滿意度的手段，而且在高壓/高風險情況下需要快速和戰略反應時，也變得非常必要。越來越多地，電子競技中的合作已經成為動態快節奏的團隊工作過程和更普遍的團隊認知的代表模式。特別是在競爭激烈的團隊電競中，團隊快速協調和參與戰略決策的能力可以轉化為巨大的優勢，使團隊能夠超越對手，即使在其他技能水平可能是平等的。盡管對團隊合作的機制進行了幾十年的研究，但直到最近，非侵入性神經影像學才為研究多個個體參與現實的團隊合作場景提供了可利用的方法。在本文中，我們調查了成功的團隊表現的基本因素，以及電子競技游戲為研究這些因素提供靈活背景的方式。接下來，我們介紹了參與人際互動和協作的神經生理機制，以及測量人際神經同步性及其與團隊認知的相關性的方法。最后，我們介紹了一個正在進行的團隊認知研究中的超掃描協議，并討論了基于團隊的神經影像學方法在現實世界中的應用前景。

關鍵詞：神經工程學、功能性近紅外光譜（fNIRS）、皮膚電活動（EDA）、超掃描、人際同步性、團隊工作、協作

引言

雖然一個人可能擁有很大程度的角色靈活性，并能獨自完成各種不同的任務，但與其他人一起工作能夠完成明顯更復雜的項目，并取得本來無法實現的結果。團隊合作不僅在較高的復雜情況下是必要的，而且在必須快速、平行和響應地處理信息的情況下也是至關重要的[1]。這種情況在高壓力的職業中經常遇到，比如緊急醫療服務、第一反應者和軍事行動[2]-[4]。由于在快速戰略反應中失敗的代價往往非常高，團隊表現的機制往往被置于顯微鏡下，以便找出成功合作的基本要素。從這一研究思路來看，團隊績效的幾個關鍵因素已經被描述出來，包括認知風格、個性、經驗、信任和領導角色的影響[5]-[7]。然而，這些研究大多集中在行為和定性評價上，對于大腦如何在快節奏和動態環境中促進成功的合作，人們了解得相對較少。

近年來，神經影像學模式的進步使科學家們能夠在個人從事認知任務時同時監測他們的神經生理活動，這一過程被稱為 "超掃描"[8]。這種方法使社會神經科學得到了飛躍式的發展，并使基于大腦的方法能夠研究團隊功能和認知[9]。同時，基于團隊的 "電子競技 "或電競已經從一個相對邊緣的愛好變成了一個價值數百萬美元的產業，擁有龐大的獎金池、觀眾追隨者，甚至是專門建造的競技場[10]。由于電競的競爭性質及其對有效溝通和協作的嚴重依賴，研究人員被授予一個窗口，以了解在這些虛擬環境中重新創建的良好的團隊合作機制[11]。此外，電競在公眾中越來越受歡迎，在普通人群中創造了高度不同的技能范圍，使研究人員能夠研究團隊如何在不同的經驗水平、團隊組成、工作環境和其他因素中運作。最后，電競作為一種團隊合作的模式，也許從來沒有像現在這樣，在經濟變化的推動下，繼續向遠程工作發展，但由于COVID19大流行[12], [13]而大大加快了。在這項工作中，我們介紹了通過當前團隊認知背后的神經生物學理論引入的關鍵概念，電子競技如何作為團隊認知的原型模型發揮作用，量化神經同步的方法，以及這些技術在未來神經工程學背景下的最終應用。

摘要

在航空航天和機器人手術等領域，復雜的高精度人機系統的效率和安全性與操作員的認知準備、管理工作量的能力和態勢感知密切相關。對心理工作量的準確評估有助于防止操作失誤，并通過預測工作負荷過重或刺激不足可能導致的業績下降，從而進行針對性的干預。基于人體和大腦活動測量的神經工效學方法可以為復雜訓練和工作環境下的人類心理工作量提供敏感和可靠的評估。本文概述了可穿戴腦和身體成像方法通過神經/生理信號評估心理工作量的潛力，并提供了一種利用多模態生物傳感器對多領域認知任務中的工作量進行比較評估的研究設計。這種綜合的神經工效學評估利用神經成像和生理監測，可以為開發下一代神經適應接口和更有效的人機交互和操作技能獲取的訓練方法提供信息。

關鍵詞:認知工作量，fNIRS，腦電圖，眼動跟蹤，神經工效學，移動腦/體成像

引言

人類在任何類型的目標或任務上的表現都與熟練完成這些目標或任務所需的認知工作量有關。每個人都有自己獨特的認知模式，在執行某些類型的任務時更有效率。通過有針對性的培訓，可以在更短的時間內提高操作人員的能力，提高工作效率。

心理負荷在許多復雜的指揮控制系統中起著至關重要的作用。在航空航天和機器人手術等領域，復雜的高精度人機系統的效率和安全性與操作員的認知準備、管理工作量的能力和態勢感知密切相關。主觀操作員報告、生理和行為測量不足以可靠地監測可能導致不良結果的認知負荷。心理負荷這個概念反映了大腦為滿足任務需求而努力工作的程度，它的一個關鍵特征是，它可以與行為表現數據分離。經驗豐富的操作員可以通過增加努力、激勵或改變策略，在較長一段時間內保持所需的性能水平，即使面臨更多的任務挑戰。然而，持續的任務需求最終會導致績效下降，除非心理工作量的上升趨勢可以用來預測隨后的績效崩潰。因此，重要的是在訓練和行動任務期間評估獨立于業績衡量的精神工作量。基于人體和大腦活動測量的神經工效學方法可以為復雜訓練和工作環境下的人類心理工作量[2]提供敏感和可靠的評估。

在軍事行動的背景下，評估和衡量操作員的認知工作量尤其重要，因為在軍事行動中，性能故障可能會導致災難性的損失。對心理工作量的準確評估有助于防止操作失誤，并通過預測工作負荷過重或刺激不足可能導致的業績下降，從而進行針對性的干預。

摘要

未來的戰斗機飛行員和遠程作戰人員將需要先進的決策和注意力支持，以應對日益復雜、不確定的信息和多智能體協調。監測飛行員的精神狀態和意識，并將其提供給系統，可以更好地實現人與系統的協作，提高聯合性能。研究表明，不同的心理-生理測量技術可以用于評估多種認知和情感狀態，如精神工作量、注意力、疲勞，以及工作相關變量，如任務難度和任務完成情況。然而，對多種傳感技術的實時評估和信號時序的研究卻很少。我們開發了一種實驗性的人工智能管道，使用眼動跟蹤(眼跳、注視時間等)、皮膚電活動(EDA)和心率變量(例如，HR和HRV)實時調查戰斗機飛行員的心理狀態。該系統采用混合分析方法，包括數據流處理和機器學習(ML)，使不同信號事件的實時分析和基于時間的推斷成為可能。我們報告了該方法的優點和缺點，介紹了正在進行的系統實證實驗的結果，并討論了高級注意力指導的可能應用。

關鍵詞:人工智能，戰斗機飛行員，心理狀態，心理生理學，戰斗機。

引言

自適應自動化[1,2]是一種很有前途的方法，可以支持操作人員并保持他們的工作量在適當的水平上。今天，有許多傳感器技術可以佩帶或嵌入到我們的物理工作環境中，如眼動跟蹤眼鏡和智能手表。這些發展使得創建高級應用程序成為可能，這些應用程序跟蹤飛行員與操作任務相關的健康和認知狀態，并在需要時提供支持。因此，未來的工作環境可能會衡量個人和群體的表現、壓力和注意力水平，以優化和平衡個人和群體之間的任務為目標。然而，這種方法需要有方法和算法對操作者的工作量、壓力和注意力水平等認知狀態進行充分的實時分類和評估[4,5,6]，而這只能通過使用心理生理傳感器來實現。未來的應用包括未來軍事概念的飛行員環境，載人和無人駕駛，具有適當水平的自主權來協助飛行員和決策支持，以應對信息過載的影響。此外，對于已知用戶認知需求的特定任務，不同類型的自動化之間的分離可能是有益的。我們的研究旨在探索工作負荷誘導的各種心理生理反應的模式識別的潛力。我們的目標是了解這些反應和信號之間的關系，以便用于未來的自適應自動化技術，以減少操作人員的心理工作量，提高注意力，從而確保性能水平。

在本文中，我們提出了一種基于時序時間的分析引擎，用于對多個傳感器數據和心理生理現象進行實時分類和驗證。此外，我們提出了數據收集方法和實驗設置，以驗證假設的眼睛，心臟和皮膚電對外界刺激的反應模式。首先，我們介紹了本研究中用于評估認知狀態的心理測量方法的背景。其次，我們討論了實時處理數據流的人工智能管道。第三，我們介紹了在虛擬現實環境中使用眼動跟蹤、心率和皮電反應的實驗裝置。在本文的其余部分，我們將介紹這種方法的優點和缺點。

摘要

傳統上，神經科學和心理學從外部研究身體，即外部感官(視覺、聽覺等)如何影響我們的行為、認知和健康。這種方法忽略了體驗的一個重要方面，即“內感受”，即對我們內在身體的生理狀態的感覺。內感知系統是我們健康的核心組成部分和門戶。內感受輸入在自我平衡、內分泌和免疫水平上支持無意識的、基本的、適應性反應。類似地，內感受系統的功能障礙已被確定在急性和慢性壓力的情況下;抑郁癥;焦慮;創傷后應激障礙，對不太明顯相關的困難，如失眠;慢性疼痛;和成癮。在這種背景下，有科學依據的技術的發展，能夠訪問和操作這個系統將是一個突破，具有前所未有的潛力來促進人類健康和福祉。然而，盡管越來越多的證據表明內感受處理在我們生活的各個方面發揮著基本作用，但幾乎沒有人嘗試開發有科學依據的內感受技術，來操縱內感受系統，從而提高人類的幸福感。在這篇文章中，我們將首先回顧內感受刺激方面的最新技術發展，從虛擬現實到神經刺激。然后，我們將介紹內感受裝置和非侵入性內感受神經調節方面的技術突破，描述新儀器的開發和這些技術在促進健康、減少壓力、疲勞和疼痛以及提高人類表現方面的有效性的初步數據。我們預計這項技術將應用于廣泛的不同環境，包括臨床和亞臨床環境，改善情緒調節，沖動控制，增強認知，自主和壓力適應反應，通過非藥物解決方案，不需要醫療監管或處方。

關鍵詞:內感受，內感受技術，應激，神經增強，神經調節

背景

傳統上，神經科學和心理學研究視覺和聽覺等外部感官對我們身心健康的影響。然而，這可能忽略了我們幸福最重要的方面，那就是我們身體內部的體驗，即內感受。

內感受被定義為“神經系統感知、解釋和整合源自身體內部的信號的過程，通過意識和無意識層面提供身體內部景觀的每時每刻映射”[1]。內感受輸入支撐著自我平衡、內分泌和免疫水平的無意識、基本的適應性反應[2,3]，但研究迅速揭示了它們對以下方面的重要貢獻:自主平衡[1];情緒識別與調節[4];以及應對策略。此外，在[6]范圍內，內感受系統的功能障礙已被確定為:急性和慢性應激;抑郁癥(8、9);焦慮(10、11);創傷后應激障礙[12];而強迫癥[13]，與不太明顯相關的困難，如失眠[14];慢性疼痛[15];飲食失調[16];和成癮[17]。

內感知系統是人類健康的核心組成部分和門戶，因此，科學基礎技術的發展，能夠訪問和操作這一系統將是一個突破，具有前所未有的潛力，促進人類健康和福祉。然而，盡管越來越多的證據表明內感受處理在我們生活的各個方面發揮著基本作用，但這種認識并沒有被可行的內感受技術解決方案所遵循。

摘要

本文討論了在指揮和控制（C2）過程中確定人工智能（AI）和機器學習（ML）算法的潛在應用問題。至少三十年來，具有弱智能行為的軟件組件一直是C2的一部分。這不僅仍有很大的改進和加速空間，而且由于混合戰爭的特點，面對臨近檢測到的威脅必須更快、更靈活地做出反應。

為了挖掘人工智能解決方案在C2領域的潛力，在軍事領導人和人工智能專家之間達成更好的相互交流是不可避免的。這種相互交流的一個基本要求是將共同的詞匯標準化，并將不同的人工智能方法的基本思想傳達給軍事人員。這兩點可以通過使用合適的人工智能方法抽象來實現。

在這里，我們提出了一個軟件項目，以討論三個層次的抽象，區分人工智能軟件解決方案的不同顆粒度的信息交流。雖然最低級別的抽象過于復雜，無法創建一個標準化的詞匯表，但最高級別的抽象對于許多問題案例來說過于粗糙，無法設計一個合適的算法。然而，正如我們將展示的那樣，這種最高級別的抽象是很重要的，因為它是軍事操作人員和人工智能專家之間信息交流的最佳級別。最高級別的抽象是由一個平滑的人工智能模式表示的，稱為人工智能的周期表（PTA）。我們提出了一個基于PTA的新型指導性工作流程，以支持軍事人員和人工智能專家之間的交流，從而利用自動化工作的成果。我們將表明，PTA非常適合作為軍事操作人員和機器學習專家之間的交流手段。在未來的工作中，我們可以研究現有的PTA是否應該被改進，特別是在安全部隊的要求方面。

概述

一個系統開發者面臨著確定客戶實際需求的問題。這在復雜的C2軍事過程中尤其困難，特別是在混合戰爭這個廣泛的領域。在這里，我們必須考慮到 "算法決策 "或 "部署新應用 "的速度。混合戰爭產生了新的挑戰，比如我們在這里所說的 "基于推特的態勢感知"，它可以被看作是 "基于新聞的態度感知 "的一個組成部分。

在經典的客戶產品管理工作流程中，確定用戶需求的必要性是通過收集利益相關者的關注來達到的。但這種方法在有關場景中過于粗糙。為了設定一個足夠寬的時間框架，使人類的決策不至于減速，有必要對實際戰術任務的確定步驟有一個清晰的了解，貫穿于軍事等級制度觸及的所有層面。人工智能專家不具備這種軍事專業知識，而軍事領導人在大多數情況下沒有接受過足夠的人工智能培訓，無法識別使用人工智能軟件組件的機會。

第一步（第2.0節），我們將介紹必要的定義，包括我們對人工智能這一技術術語的使用（第2.1節），對C2過程的描述（第2.2.2節），對PTA的描述（第2.2.3節）以及我們對混合戰爭的理解（第2.4節）。在下一步（第3.0節），我們將介紹一個軟件項目，目前是我們軟件開發部門產品組合的一部分，其中包含重要的人工智能組件，并從不同的抽象層次的角度描述這個軟件項目。然后（第4.0節），我們將介紹一項用戶研究，并得出結論（第5.0節）：PTA是表達使用人工智能所帶來機遇的一種合適的方式。

圖1-1：北約定義的指揮和控制流程。

摘要

任務規劃對于建立成功執行任務所需的形勢意識至關重要。全面的計劃有助于預測不同的情況，這一點尤其重要，因為威脅的多樣性和復雜性會增加。規劃過程是團隊的努力，需要收集、分析相關信息并將其整合到一個全面的計劃中。由于第5代平臺、傳感器和數據庫生成的大量信息，這些過程面臨壓力。

本文描述了初始直升機任務規劃環境的創建，在該環境中，來自不同來源的數據被整合、分析和可視化。參與規劃過程的所有人員都可以查看所有可用信息并與之交互。算法處理傳入的數據，為計劃的特定部分提供潛在的解決方案。交互式可視化有助于直觀理解輸入數據和算法輸出，而交互式增強現實環境有助于有效協作。

集成系統和算法是未來智能協作任務規劃的重要組成部分，因為它們可以有效處理與第5代平臺相關的大量多樣的數據流。結合直觀的可視化和協作，這使工作人員能夠構建靈活且響應迅速的操作所需的共享SA。

摘要

成功完成地下作業需要高度專業化的能力和由最新工具輔助的準確規劃。奧地利軍事學院的NIKE研究小組旨在為這些非常特殊的作戰環境提供決策、規劃和培訓。3D模型、平面圖、地圖或激光掃描等異構數據源的快速數據集成和可視化，以及從地下結構內部的傳感器和攝像頭收集的操作員信息，提供了虛擬進入通常看不見的裝置的可能性。BORIS（基于瀏覽器的空間定向）初始HTML模型、地下作業任務工具 (SOMT) 或快速隧道建模工具 (FTMT) 等專用工具通過創建虛擬的地下任務區域來提高快速可視化。在擴展現實 (XR) 應用程序中，改進的空間理解顯著改善了決策，并支持同步任務規劃和執行。由于地下服務結構的運營商和行動部隊之間的密切合作和信息交流是成功的先決條件，所有相關因素和行動者的整合將大大增加全面合作。該項目通過在真正全面的通用作戰圖中顯示相關信息來增強通用視角，從而實現更準確和精確的行動，減少自身損失和附帶損害。

機器學習的巨大成功導致了AI應用的新浪潮(例如，交通、安全、醫療、金融、國防)，這些應用提供了巨大的好處，但無法向人類用戶解釋它們的決定和行動。DARPA的可解釋人工智能(XAI)項目致力于創建人工智能系統，其學習的模型和決策可以被最終用戶理解并適當信任。實現這一目標需要學習更多可解釋的模型、設計有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發團隊正在通過創建ML技術和開發原理、策略和人機交互技術來解決前兩個挑戰，以生成有效的解釋。XAI的另一個團隊正在通過總結、擴展和應用心理解釋理論來解決第三個挑戰，以幫助XAI評估人員定義一個合適的評估框架，開發團隊將使用這個框架來測試他們的系統。XAI團隊于2018年5月完成了第一個為期4年的項目。在一系列正在進行的評估中，開發人員團隊正在評估他們的XAM系統的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務性能。