亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要: 腦機接口(BCI)不依賴于外周神經和肌肉，在大腦與外部設備之間建立起直接交流的通路。近年來，該技術在識別準確率和系統交互速率方面已取得巨大突破。然而，腦電(EEG)信號非平穩特性較強且用戶主觀狀態波動較大，傳統腦機接口技術對大腦活動的動態變化欠缺適應性，影響了腦機接口系統的控制穩定性，也限制了其智能化發展和應用。自適應腦機接口可根據大腦當前狀態動態調整誘發范式和實時更新識別模型，從而增強腦控系統對非平穩大腦活動的適應性，提高其控制精度和魯棒性，實現更加實用化的腦控系統，對推動腦機接口技術進一步發展極具意義。該文對自適應腦機接口的相關研究進行了回顧和總結，并對該技術未來發展的方向進行了展望。

//jeit.ac.cn/cn/article/doi/10.11999/JEIT220707

1. 引言

腦機接口(Brain Computer Interface, BCI)通過檢測用戶意圖直接控制外部設備，為人腦和外界環境之間提供了一種全新的交互方式[1-3]。按照腦信號采集的位置，可以將BCI分為侵入式BCI和非侵入式BCI。其中，非侵入式BCI通常使用頭皮腦電(ElectroEncephaloGram, EEG)作為控制信號，具有無創、安全、成本低以及便攜性好等優勢，在醫療康復、疾病檢測、機器控制和游戲娛樂等多個領域顯現出良好的應用前景[4, 5]。

然而，目前基于腦電的BCI技術仍存在一些問題。第一，由于EEG具有非平穩性、高時變性的特點，傳統BCI技術的單次建模模型難以對長時間實驗記錄的EEG進行準確分類，影響了BCI系統的性能。第二，傳統BCI技術無法適應實驗中用戶生理狀態的變化，在平衡人機交互過程中存在欠缺，阻礙了BCI系統的實際應用。為解決上述問題，研究者提出了自適應腦機接口技術[6-8]，該技術能夠實時檢測用戶腦電信號的波動與主觀狀態的變化，進而對系統參數做出調整，以保持系統的良好控制效果[9-11]。如圖1所示，傳統BCI組成主要包含誘發范式、信號采集、識別模型和輸出反饋4個部分。其中誘發范式通過特定的心理任務將大腦意圖編碼至EEG中；信號采集技術用于測量大腦活動；識別模型負責將隱藏在EEG中的特定編碼信息挖掘出來，并將其轉換為控制外部設備的指令；輸出反饋將外部設備的執行結果送予用戶感知。如圖2所示，相比于傳統腦機接口，自適應腦機接口增加了自適應調整環節，該環節一方面可針對EEG自身高時變的特性，及時更新識別模型，保證算法的有效性和可靠性；另一方面可利用EEG信號評估用戶當前狀態，進而根據大腦狀態實時調整誘發范式和動態更新識別模型，提高腦控系統的穩定性和魯棒性。

自適應腦機接口可增強腦控系統對大腦狀態的適應性，使系統更加實用化和人性化，能夠進一步推動腦機接口走向實際應用，具有十分重要的研究意義。本文首先從誘發范式與識別模型兩個方面分析總結了自適應腦機接口的技術實現途徑；其次對該技術的典型應用成果進行綜述和歸納；然后圍繞自適應腦機接口技術在應用中存在的問題進行了深入討論并對其未來的發展方向進行了分析與展望。

2. 自適應腦機接口技術實現

目前，研究者對于自適應腦機接口的研究主要圍繞誘發范式自適應調整和識別模型自適應更新展開，本節將分別從這兩個方面分析并總結近年來自適應腦機接口的技術實現途徑。

**2.1 誘發范式自適應調整

從誘發范式角度看，傳統BCI中誘發參數固定，系統的交互友好性較差，且強烈的刺激容易誘發用戶較高的認知負荷，不利于用戶進行操作[12]。而自適應腦機接口可根據用戶EEG質量和主觀狀態實時調整誘發參數，能夠在一定程度上降低用戶的認知負荷，使其在相對自然的狀態下實現系統的穩定輸出[13]。針對于誘發范式自適應調整，本節將列舉兩種常用的動態調整方式，分別為誘發時長自適應調整與刺激序列自適應調整。

(1)誘發時長自適應調整。BCI系統性能通常需兼顧單試次誘發時長與識別準確率[14]。單試次時長越長，其誘發出的EEG特征越穩定，識別準確率越高，但長時間的誘發會減慢系統交互速率，不利于其走向實際應用。為平衡誘發時長與識別準確率，同時減小大腦狀態非平穩特性的不利影響，使系統性能最佳，研究者對誘發時長動態調整的研究日益增多。其調整方法通常依托于動態停止策略實現，即BCI系統在每次輸出識別結果之前，需確定EEG信號特征的質量并檢查輸出結果的置信度，進而依據置信度水平對誘發時長進行調整。

常見的BCI范式即穩態視覺誘發電位(Steady-State Visual Evoked Potential, SSVEP)、P300以及運動想象(Motor Imagery, MI)均可與動態停止策略相結合實現對誘發時長的實時調整。如2018年，Jiang等人[13]分別利用基于貝葉斯的動態停止策略與基于判別分析的動態停止策略檢測SSVEP-BCI系統單試次下不同時長刺激的有效性，并對單試次刺激時長進行動態優化。模擬在線實驗結果表明，該系統的信息傳輸率(Information Transfer Rate, ITR)可達到353.3±67.1 bits/min，與傳統的固定刺激時長策略相比，顯著提高了系統的ITR。2020年，Huang等人[15]利用基于貝葉斯的動態停止策略優化P300-BCI中單目標識別所需的刺激迭代次數，并證明此優化可提高P300的信噪比。同年，Wang等人[16]通過檢測MI-BCI中EEG的功率譜密度判斷用戶當前的警惕性以作為動態停止的判斷標準，進而調整單試次誘發時長。

(2)刺激序列自適應調整。BCI系統的重要發展方向之一為擴大指令集數量，其實現途徑之一是將單一誘發范式轉變為混合誘發范式，增加可利用特征的維度以擴大指令集[17]。但隨指令數量的增多，混合誘發范式常采用的序列型刺激編碼也會由于序列的增多而導致自身編碼效率下降，從而降低系統的交互速率[18, 19]。因此刺激序列也是誘發范式動態調整的常用參數。刺激序列自適應調整是指在每次呈現一個刺激序列之前，需確定當前分類結果的置信度水平，進而依據置信度水平和預設的最優序列標準，從刺激序列的搜索空間挑選最優序列進行呈現。

2018年，Mainsah等人[20]使用樸素貝葉斯動態停止算法量化分類結果的置信度，并構建基于刺激-響應對的互信息目標函數，以目標函數最大化作為最優序列標準設計了一種刺激序列動態調整范式。該范式可利用當前給定的數據最大化有關目標字符的信息量以確定最優刺激，最大限度地提高了誘發神經響應的信噪比。與傳統行列范式和棋盤范式相比，該自適應調整范式可在保證正確率的前提下，顯著提高字符拼寫的速度。基于此，2021年，該團隊[21]通過在目標函數中施加刺激空間約束和P300反應的時間依賴性，提出了一種增強型刺激序列自適應調整范式，該范式與其他傳統范式相比，明顯減輕了不應期效應的影響，可以以明顯更快的速度產生不低于傳統范式的字符拼寫正確率，性能總體上有所提高。

**2.2 識別模型自適應更新

從識別模型角度看，傳統BCI的識別模型無法實時更新，在跟蹤EEG信號的非平穩特征時表現不佳[22]。而自適應腦機接口可根據用戶EEG質量在實驗過程中動態更新識別模型，提高BCI對大腦狀態變化的適應性，使系統更加智能地了解用戶意圖。現有BCI識別模型的構建流程主要包括特征提取和模式識別兩部分，本節將分別從自適應特征提取和自適應模式識別兩個方面進行介紹。2.2.1 自適應特征提取 自適應特征提取算法是指針對于實時變化的EEG特征，自動調節特征提取參數的方法，它可保證挖掘特征的有效性，提高BCI系統的識別準確率[23]。根據EEG特征的種類，可以將其分為單一特征自適應提取與融合特征自適應提取。

(1)單一特征自適應提取。單一特征自適應提取是指僅對單獨某類特征如時域、頻域或空域等特征進行動態提取。該類算法大多在傳統EEG特征提取算法的基礎上形成，例如基于遞歸最小二乘法的自適應共空間模式(Common Spatial Pattern, CSP)[24]，基于最小均方誤差的自適應自回歸模型[25]以及基于最佳基函數的自適應小波包變換[26]等。

2011年，Wang等人[27]提出了一種多元自適應自回歸模型算法，來動態提取EEG的頻域特征，其首先利用神經網絡優化不同時刻下自回歸模型的系統狀態方程，其次根據卡爾曼濾波器的動態遞歸特性自適應調整自回歸模型的參數。實驗結果表明，與傳統自回歸模型相比，該算法可有效提取信號的動態特征，提高分類效果。2020年，Talukdar等人[28]通過添加正則化參數以及訓練集和測試集之間的相對熵不斷更新CSP的協方差矩陣來自適應提取EEG的空域特征。與傳統的CSP特征提取相比，該特征提取算法可顯著提高腦電信號特征的可分性。

(2)融合特征自適應提取。融合特征自適應提取是指對多個特征例如時頻空域融合特征進行自適應提取，其挖掘出的特征信息通常可表征出EEG在多域上的非平穩性。

2018年，Kim等人[29]提出了一種時頻分析法與K均值聚類結合的自適應特征提取算法，用于動態提取反映EEG的時域、頻域和空域特征信息。該算法首先利用短時傅里葉變換或小波變換計算所有通道腦電信號的功率譜密度矩陣，其次通過檢驗腦電信號的類別可分性篩選出最優通道組，并計算出可反映該最優通道組功率譜密度差分矩陣的加權矩陣，最后利用K均值聚類從加權矩陣中提取自適應特征，其與支持向量機(Support Vector Machine, SVM)結合進行特征分類，可以在BCI競賽IV數據集2a上取得86.36%的分類準確率； 同年，Molla等人[30]提出了一種基于陣列小波變換和聚類方法的自適應特征提取算法，該算法可通過時空域兩方面操作增強單試次ERP特征。時域上，利用基于子帶能量的數據自適應閾值技術抑制單試次ERP中的高頻噪聲；空域上，使用基于粒子群優化算法的聚類方法動態選擇攜帶ERP信息較多的通道。該方法最終與時空判別分析算法結合實現了對單試次ERP的分類。2.2.2 自適應模式識別 自適應模式識別是指在原有模型中實時引進新測試數據，以逐漸對模型進行更新，它一方面可提高系統的識別準確率，另一方面可增強系統對大腦狀態變化的適應性，使系統能夠在訓練樣本有限的情況下，保持高準確率，以減少BCI的校準時間。根據引進數據的方法，可以將其分為基于錯誤相關電位標記的模型更新、基于決策值評估的模型更新以及基于迭代學習的模型更新。

(1)基于錯誤相關電位標記的模型更新。錯誤相關電位(Error-related Potential, ErrP)是大腦產生的同錯誤關聯的事件相關電位，是人類固有的反饋機制，可用于監測BCI系統的運行情況[31]。基于ErrP標記的模型更新是指當數據順序到達時，根據用戶對BCI反饋結果響應的ErrP，逐漸更新識別模型。 2017年，An等人[32]提出了一種自適應線性判別分析(Linear Discriminant Analysis, LDA)算法，該算法可通過檢測ErrP對LDA的識別結果進行標記，若在單試次識別完成后，沒有檢測到ErrP，則利用該試次與其預測標簽調整相應類別分布的均值和方差。在二分類MI在線實驗中，該算法可取得高于83%的分類準確率。2021年，Chiang等人[33]提出了一種自適應卷積神經網絡(Convolutional Neural Networks, CNN)算法，在根據ErrP的檢測判斷當前試次被正確分類后，將該試次的數據與其預測標簽加入CNN訓練池，對CNN進行重訓練。實驗結果表明，該算法可通過學習在線數據，減少SSVEP-BCI使用前所需的校準時間。

(2)基于決策值評估的模型更新。基于決策值評估的模型更新是指在利用原有模型對每個試次進行決策后，對當前決策值進行評估以判斷預測標簽的可靠性，進而利用可靠性較高的在線數據對原有模型進行優化。 2020年，Jiang等人[34]提出了一種基于密度聚類的增量自訓練識別模型，該模型首先利用密度聚類法對測試樣本的標簽進行預測，其次通過判斷其決策值與擴展鄰域中樣本的關系，量化預測標簽的可靠性，進而將置信度較高的樣本加入訓練集以自動更新聚類中心，可在BCI競賽III數據集V上取得88.67%的分類準確率，高于非自適應密度聚類法的83.62%。2021年，Wong等人[35]通過將多刺激典型相關分析 (Canonical Correlation Analysis, CCA)算法的批量學習模式轉換為在線學習模式，構建出在線自適應CCA算法。該算法在對單試次數據進行預測后，通過對比其決策值與CCA算法的決策值來確定合適的在線數據進行學習，最終在12分類的SSVEP-BCI在線實驗中取得89.24%的分類準確率，顯著優于相同條件下CCA算法67.01%的準確率。

(3)基于迭代學習的模型更新。與上述兩種方法不同的是，基于迭代學習的模型更新不對新腦電特征或新測試數據進行篩選，而是直接利用所有數據對原有模型進行更新，是模型不斷進行迭代學習的過程。該類算法能夠較好地解決非線性問題，已成功應用于高時變特性的EEG信號分類中。

2019年，Komijani等人[36]提出了一種基于遞歸自適應神經模糊推理系統的分類算法，該算法繼承了神經網絡的學習能力，可在測試階段將前一步預測信號的誤差重新反饋至輸入層，通過遞歸學習的方式實時調整模糊推理系統的結構，減小后一步預測的誤差，提高分類精度，在4分類任務的MI實驗中，取得85.52%的平均分類正確率。2020年，Ma等人[37]提出了一種自適應收縮投影次梯度算法，旨在對已有數據進行迭代學習以尋找最優分類模型，使得損失函數最小。該研究通過對ERP-BCI中EEG波形的人工移位來考慮ERP的潛伏期變化，以此來探究該算法對非平穩EEG分類的有效性，實驗結果表明其可以為平穩數據和非平穩數據提供大致相同的在線分類準確率。

3. 自適應腦機接口的應用現狀

目前，自適應腦機接口技術的研究成果根據應用場景可大致分為3類：腦控字符輸出、腦控移動設備和多任務并行腦控。本節敘述了不同應用場景下該技術的發展現狀，對比分析了自適應腦機接口相較于傳統腦機接口的特定優勢。

**3.1 腦控字符輸出

腦控字符輸出系統可以幫助因神經系統疾病喪失語言交流能力的患者重新獲得與外界進行信息溝通的能力，幫助其正確高效地表達出自己的意愿。傳統腦控字符輸出系統模式固定，用戶認知負荷大，系統信息傳輸率低。自適應腦機接口技術的應用可進一步提升系統的交互速率，擴大單位時間內字符輸出的數量，使系統更加接近于人類自然的語音輸出，提高系統的友好性。 2020年，Chen等人[38]通過對誘發時長自適應調整提出了一種基于SSVEP的40字符自適應腦控字符輸出系統。其可以依據用戶腦電信號的質量動態調整編碼范式中的刺激時長，于在線實驗中獲得164.72 bits/min的平均信息傳輸率，高于相同條件下傳統腦控字符輸出系統的134.25 bits/min。2021年，Wong等人[35]通過對識別模型進行動態更新提出了一種基于SSVEP的12字符自適應腦控字符輸出系統，可獲得95.73 bits/min的平均信息傳輸率，顯著高于傳統腦控系統的55.81 bits/min。

**3.2 腦控移動設備

腦控移動設備可以解放用戶的雙手，挖掘其多任務并行執行的潛力，一方面增強健康個體的行動與認知能力，另一方面提高患者或殘疾人的對外交互能力。傳統腦控設備無法適應大腦狀態，用戶在控制時易觸發錯誤指令，自適應腦機接口技術可減小EEG非平穩性以及用戶思維狀態波動對設備控制效果的影響，降低腦控輸出指令的錯誤率，有效提高控制的穩定性和魯棒性。 2020年，Wang等人[16]提出了一種基于運動想象的自適應腦控智能輪椅系統，該系統可根據用戶對輪椅的操控能力，動態調整單試次誘發時長以保證腦控指令的識別準確率。實驗結果表明，用戶可在室內復雜環境下以較低的指令誤觸發率對其保持穩定控制。2021年，Chen等人[39]提出了一種基于增強現實輔助SSVEP-BCI的機械臂自適應控制系統。該系統可根據用戶的狀態實時調整單試次刺激時長，能夠減少用戶的視覺疲勞、提高任務的完成效率。

**3.3 多任務并行腦控

多任務并行腦控可幫助用戶執行多任務作業，提高對外交互效率，進一步拓寬腦控字符輸出系統和腦控外部設備的實際應用范圍。近期研究發現，并行思維任務會影響誘發腦電特征的信噪比，從而降低BCI系統的性能[40, 41]。將自適應腦機接口技術應用到并行任務場景，不僅可以在一定程度上降低用戶執行多任務作業易疲勞帶來的影響，還可在并行任務干擾下維持BCI系統的性能，提高多任務作業完成的效率。 2020年，Huang等人[15]采用工作記憶n-back任務，構建與P300-BCI操作并行的思維干擾任務，研究了自適應腦機接口技術在不同負荷的思維任務干擾下對P300-BCI的拮抗作用。該研究發現，使用基于誘發時長自適應調整的腦機接口技術建立的BCI可以在干擾情況下獲得與無干擾情況下相近的字符識別準確率，這表明自適應腦機接口技術可以在并行任務干擾下建立魯棒性更高的BCI系統。同年，Aliakbaryhosseinabadi等人[42]提出了一種基于運動相關皮層電位的自適應腦機接口系統，實驗中將踝關節背屈試驗作為主要任務，聽覺oddball試驗作為次要任務，并要求用戶同時執行，該系統可以根據用戶的注意力狀態實時給予用戶反饋，幫助用戶將注意力集中到主要任務中，減少由次要任務產生的注意力轉移量。

4. 發展趨勢與挑戰

綜上所述且如表1所示，相較于傳統腦機接口，自適應腦機接口具有高信息傳輸率、高準確率以及高抗干擾性的優點，更能適應復雜環境和復雜任務。然而，目前大多數自適應腦機接口的相關技術研究仍在起步階段，與實際自然交互應用尚有距離。下面將從技術實現和實際應用兩方面分析自適應腦機接口存在的瓶頸和其未來的發展趨勢。

(1)技術實現方面。從誘發范式自適應調整角度看，不同誘發參數的自適應調整均設有停止標準，即當待調參數的置信度到達預設的置信度閾值時會停止調整。現有閾值預設均為固定值，但一方面由于實驗過程中參數的動態變化，預設閾值在實驗中可能無法時刻保持最優，另一方面由于個體差異性，適用于不同用戶的閾值應有所不同，固定閾值的設置極大限制了自適應腦機接口的普適性[43,44]。因此，亟需挖掘閾值自適應學優方法，進一步提高自適應腦機接口對于大腦活動動態變化的適應性和魯棒性，促進BCI系統的進一步發展。

從識別模型自適應更新角度看，現有自適應腦機接口技術根據輸入數據有無真實類別標簽可分為有監督技術和無監督技術。前者于在線過程中需要有指導的用戶培訓，可接觸到輸入數據的真實標簽，分類性能較好，但由于實際應用中輸入數據的標簽未知，因此自適應腦機接口技術走向大眾只能依靠后者。并且目前多項研究[45,46]表明，無監督自適應技術亦能實現比非自適應技術更為優良的性能，相比于有監督技術，其還可縮短甚至消除BCI系統校準的時間從而使BCI系統實現即插即用的效果。因此，探究更穩健的無監督自適應腦機接口技術，例如尋找更可靠的強化信號代替檢測較為困難的ErrP對BCI進行適應性調整，將是自適應腦機接口后續發展的任務之一。

此外，現有自適應腦機接口技術只聚焦于實時調整誘發范式或動態更新識別模型中的單一參數，但在BCI系統中，二者均占有舉足輕重的地位，且有研究[35]表明，同時在線調整誘發時長與分類器模型等不同參數之間沒有沖突，因此可將自適應誘發范式與自適應識別模型有機融合至一套BCI系統中，一方面減輕用戶的任務負擔，另一方面維持用戶對腦控系統的控制魯棒性，從而進一步提高BCI系統的性能。

**(2)實際應用方面。**自適應腦機接口技術在對魯棒性和自由度要求較高的外部設備控制中具有廣泛的應用前景，但其在實際應用方面還缺乏較為客觀量化的評價方法。一方面，基于用戶生理狀態的自適應腦機接口技術難以對用戶實時主觀狀態進行準確量化，預測模型的魯棒性不高，阻礙了該技術的實際應用。2016年，Myrden等人[47]提出了一種基于用戶生理狀態的自適應腦機接口，并證明其在分類準確率方面優于非自適應腦機接口。但該研究中的生理狀態預測模型基于用戶自我報告的疲勞、沮喪以及注意力水平獲得，評價方法過于主觀，模型預測準確率不高。未來，可將眼電、心電以及腦電等多模態生理信號應用于用戶生理狀態的監測中，相較于單一模態的腦電信號，多模態信號融合可提高用戶狀態的識別準確率[48, 49]，但具體用于識別用戶主觀狀態的多模態信號組合仍存在較大的爭論，還需研究者進一步探究[50-52]。另一方面，現有自適應腦機接口技術在實際應用于腦控系統后，其效果還缺少較為綜合性的量化評測方法，除系統的識別準確率以及信息傳輸率指標外，還應引入用戶實時EEG信號質量評估以及腦力負荷評估等指標，以對自適應腦機接口系統進行綜合評測。

未來還可考慮實際應用場景，結合更多新興技術例如機器視覺技術進一步發展自適應腦機接口，使系統能夠充分考慮用戶狀態、周圍環境以及控制需求等多方面因素，實現全方位、多角度、深層次的自適應，進一步提高BCI系統的實用化和人性化。

5. 結束語

綜上所述，自適應腦機接口是一種多學科交叉融合的新興前沿技術，目前已取得了一定的進步和發展。相比于傳統腦機接口，其在腦控字符輸出和腦控移動設備等場景應用中具有高適應性、高準確率以及高信息傳輸率的優點。隨著相關技術的研究與發展，相信自適應腦機接口技術將會走向實用化階段并融入人們的生活，滿足更多應用需求，提升工作及生活效率。

腦機接口的概念界定與工作原理中，技術發展是關鍵

第一屆國際腦機接口會議的官方定義：腦-機接口（Brain-computer interface,BCI）是一種不依賴由外圍神經和肌肉組成的正常輸出通路的通訊系統。億歐智庫認為：狹義的腦機接口是腦-機連接通路概念，廣義的腦機接口則是實現腦-機交互的通訊系統。 BCI主要包括四個部分：信號采集、信號處理、控制外設和神經反饋。神經反饋是關鍵環節，它將輸出式BCI與輸入式BCI連接在一起形成交互式的閉環系統，即交互式BCI，從而真正實現腦-機交互。 中國腦機接起步晚，對標美國和政策扶持是核心手段

歷經50多年的研究，當前腦機接口正處于第三個發展階段——技術爆發期。美國、歐盟、日、韓、澳大利亞等多國政府、科研機構和企業都已加速布局腦機接口，搶占全球腦科學競爭戰略高地。中國對腦機接口技術的重視程度不亞于發達國家，近兩年已經將此技術上升為國家戰略。 政策驅動：一體兩翼腦計劃達成共識，腦疾病治療曙光出現

2016年，中國腦計劃（腦科學與類腦科學）研究正式啟動。近兩年“腦科學”已列為國家戰略級發展學科，逐漸受到國家層面的關注和支持，中國在“?體兩翼”政策下形成“認識腦疾病”與“??智能”技術兩條腿?路?針。 在“十三五”和“十四五”規劃中，國家將腦機接口列為重點研發項目之一，北京、上海、杭州等地方城市率先響應政策，出臺相應地方政策鼓勵腦機企業在當地落地生根。

數字孿生以數字化的形式對生產的全過程進行動態仿真實現，覆蓋了產品的全生命周期和全 價值鏈，對推動智能制造等領域發展具有重要意義。概述數字孿生概念的起源、梳理技術發展歷程 和相關技術體系；簡述數字孿生技術在智能制造產品生命周期、生產生命周期的應用，并總結分析 了其在智慧城市建設方面的主要應用特點。以智能制造和智慧城市發展為例，分析了相關應用面臨 的主要網絡安全風險和挑戰，并嘗試給出了數字孿生技術的網絡安全保障方案，為推動數字孿生技 術和應用的安全發展提供參考。 數字孿生(Digital Twins)，是現實世界(系統) 的數字化。在物聯網的背景下，數字孿生體與真實 世界的物體系統相連，并提供有關物品狀態的信 息，響應變化，改善操作并增加價值。作為一種前沿技術，數字孿生引起了工業界與學術界的廣泛關 注。全球最具權威的 IT 研究與顧問咨詢公司 Gartner 將數字孿生列為十大戰略科技發展趨勢之 一[1-3]。目前，數字孿生主要被應用于制造業領域[4]， 國際數據公司(IDC)表示現今有 40%的大型制造商 都會應用這種虛擬仿真技術為生產過程建模，數字 孿生已成為制造企業邁向工業 4.0 的解決方案。到 2020 年，估計有 210 億個連接的傳感器和終端服 務于數字孿生，在不久的將來數字化孿生將存在 數十億種[5]。黨的十九大報告明確提出要加快建設制造強 國，《中國制造 2025》指出“將智能制造作為兩 化融合的主攻方向，推進生產過程智能化，培育 新型生產方式，全面提升企業研發、生產、管理 和服務的智能化水平”。在此背景下，數字孿生 技術受到廣泛關注，并將具有巨大的發展潛力。與 此同時，開放環境下的網絡安全問題隨之而來，這 在一定程度上制約了技術的發展和應用。 //www.china-simulation.com/CN/10.16182/j.issn1004731x.joss.19-0025 **1 概述 **

1.1 基本概念和發展歷程 如圖 1 所示，數字孿生的理念可追溯到 1969 年，而其明確的概念則普遍認為是在 2003 年由美 國密歇根大學的 Michael Grieves 教授提出，當時 被稱為“與物理產品等價的虛擬數字化表達”，但 由于當時技術和認知上的局限，數字孿生的概念并 沒有得到重視[6-8]。在 2003-2005 年間，數字孿生 一直被稱為“鏡像的空間模型”，2006-2010 年被稱 為“信息鏡像模型”。美國空軍研究實驗室與 NASA 在 2011 年開展合作，提出了飛行器的數字孿生體 概念，數字孿生才有了明確的定義。2012 年，NASA 發布“建模、仿真、信息技術和處理”路線圖，數 字孿生概念正式進入公眾視野。2013 年，美空軍 發布《全球地平線》頂層科技規劃文件，將數字線 索和數字孿生并列視為“改變游戲規則”的顛覆性 機遇，并從 2014 財年起組織洛馬、波音、諾格、 通用電氣、普惠等公司開展了一系列應用研究項 目。就此，數字孿生理論與技術體系初步建立，美 國防部、NASA、西門子等公司開始接受這一概念 并對外推廣。 隨著工業 4.0，智能制造等技術和發展戰略的 不斷出臺，數字孿生技術逐步成為智能制造的一 個基本要素，并得到了各方的普遍關注。洛克希 德馬丁公司于 2017-11 將數字孿生列為 2018 年未 來國防和航天工業頂尖技術之首；英國國家基礎 設施委員會于 2017-12 發布《數據的公共利益報 告》(Public Good report)，提出創建一個與國家基 礎設施相對應的數字孿生體，并于 2019-01 啟動 相關計劃；Gartner 公司連續 3 年(2017-2019 年) 將數字孿生列為當年十大戰略科技發展趨勢之一 [1-3]。 當前，數字孿生在工業界和學術界有多種不同 的定義和理解，但從根本上講，數字孿生是以數字 化的形式對某一物理實體過去和目前的行為或流 程進行動態呈現。表 1 梳理了不同機構對數字孿生 技術的不同概念理解。

**1.2 相關技術 **

基于工業界及學術界對數字孿生的定義，工 四 100 術語編寫組對數字孿生進行了較為全面的 概括，將數字孿生技術定義為：是充分利用物理 模型、傳感器更新、運行歷史等數據，集成多學 科、多物理量、多尺度、多概率的仿真過程，在 虛擬空間中完成映射，從而反映相對應的實體裝 備的全生命周期過程[8]。這一理解得到較為廣泛 的認同。根據其定義，數字孿生的技術體系必須 支撐虛擬空間、物理空間以及雙向的信息流動等 要素，并在其全生命周期發揮作用。 從虛實空間映射以及協同角度出發，西門子 公司給出了如圖 2 所示的應用方案。 在虛擬空間，需要具備對基礎設備、產品系 統、生產環境等進行多層次的仿真和建模能力。 在物理空間，需要具備完整的生產系統運營管理 能力、全集成自動化系統工程能力以及基于云計 算、物聯網和大數據的數字孿生分析和服務能 力。同時，在連接和協同方面，需要具備虛擬空 間和物理空間的信息集成和閉環反饋能力[12-14]。 從產品設計、制造和服務的全周期出發，數 字孿生技術在各個階段均發揮了重要作用。在產 品設計階段，模型定義(MBD)技術實現了產品數 據的高效表達、模型輕量化技術優化了模型的存 儲結構、仿真及優化技術使產品數字孿生模型與 物理產品的功能和特點更加接近[15-16]。在產品制 造階段，數字孿生技術通過于工業互聯網、物聯 網、傳感器等發生多級互聯，與人工智能、機器 學習、數據挖掘、高性能計算等信息技術進行協 同，在復雜動態空間的多源構數據采集、數據集 成展示、產品生產監督和質量管理、智能分析決 策等方面均發揮了重要作用。在產品服務階段， 數字孿生綜合利用傳感技術、追溯技術、仿真技 術、物聯網技術等，在產品狀態跟蹤監控、故障 預警和定位分析等方面提供支持。

隨著人工智能技術的發展，機器智能得到了飛速的提升，但仍與人腦所具備的自主意識和思考創新能力有著很大的差距。另一方面，隨著腦科學的深入研究，人們對人類智能的認知與神經科學基礎有了更好的理解，這可以啟發并進一步提升機器的智能。人工智能和腦科學的交叉融合發展為機器智能與人類智能的融合提供了可能。

因此，在可預見的未來，人類智能與機器智能將逐步融為一體，充分發揮機器的存儲和運算能力，融合人腦的思維與創新能力，以推動人工智能達到一個更高的層次——腦機智能融合。

實現腦機智能融合的關鍵技術環節之一是實現人腦與機器之間的信息交互，即腦機接口（Brain-computerinterface, BCI）技術。腦機接口在大腦與外部環境之間建立一種全新的不依賴于外周神經和肌肉的交流與控制通道，從而實現大腦與外部設備的直接交互。該技術能夠在人（或其他動物）腦與外部環境之間建立溝通以達到控制設備的目的，進而起到監測、替代、改善/恢復、增強、補充的作用。

近年來，世界各國逐漸重視腦科學研究，相繼啟動各自的腦科學相關科技規劃，全球范圍內大量投入對腦科學研究，這些能夠極大地增進人類對大腦如何工作以及如何治療腦部疾病的理解。

腦機接口是腦科學和類腦智能研究的重要方向，已上升為國家的科技戰略重點或力推的核心科技發展領域。隨著神經科學、生物兼容性材料、傳感器、大數據和人工智能等技術的進步，以及以Neuralink 等創新技術投資公司為代表的全新研究力量的加入，腦機接口技術進入了快速發展階段，在信號獲取和處理、解碼算法和系統實現等關鍵技術領域取得了很多突破性進展。

本文針對多模態情緒識別這一新興領域進行綜述。首先從情緒描述模型及情緒誘發方式兩個方面對情緒識別的研究基礎進行了綜述。接著針對多模態情緒識別中的信息融合這一重難點問題，從數據級融合、特征級融合、決策級融合、模型級融合4種融合層次下的主流高效信息融合策略進行了介紹。然后從多種行為表現模態混合、多神經生理模態混合、神經生理與行為表現模態混合這3個角度分別列舉具有代表性的多模態混合實例，全面合理地論證了多模態相較于單模態更具情緒區分能力和情緒表征能力，同時對多模態情緒識別方法轉為工程技術應用提出了一些思考。最后立足于情緒識別研究現狀的分析和把握，對改善和提升情緒識別模型性能的方式和策略進行了深入的探討與展望。

//tis.hrbeu.edu.cn/oa/darticle.aspx?type=view&id=202001032

情緒，是一系列主觀認知經驗的高度概括，由多種感覺、思想和行為等產生的生理心理狀態。人們在交流過程中無時無刻不傳遞著大量的情緒信息。從認知神經科學角度來看，情緒也屬于經典認知的一種。情緒在人與人之間的溝通中意義重大，而在人機交互中，情緒識別是實現人性化必不可少的部分。

1995年，Picard等[1]提出了“情感計算”，情感計算要賦予計算機像人一樣的觀察理解和生成情感特征的能力，最終使得計算機像人一樣進行自然親近和生動交互。情感計算逐漸演變成高級人機交互的關鍵技術，而情感計算的子領域情緒識別更是人工智能領域中日益受到重點關注的研究方向。

情緒識別應用領域非常廣闊，涉及日常生活的方方面面。在醫學領域[2-3]，情緒識別能為精神疾病的診斷治療提供依據。比如在意識障礙的診斷上，利用標準的行為量表不容易檢測患者的意識狀態，而計算機輔助評估意識障礙患者的情緒能幫助醫生更好地做出診斷和治療；在遠程教育領域[4-5]，學生佩戴具有情緒識別功能的便攜設備，以便教師可以監控學生在遠程授課過程中的情緒狀態，從而調整授課的進度和方式。在交通領域中[6-7]，對于那些需要高度集中注意力進行操作的工作人員，例如宇航員、長途旅行客車司機、飛行員等，他們的憤怒、焦慮、悲傷等負面情緒會嚴重影響他們的專注度，導致操作水平下降，造成交通事故的發生[8]。及時檢測這類人員的情緒狀態是避免事故發生的一種有效手段。