王 寧，孫廣金，劉學文

（中國電子科技集團公司第二十七研究所，河南 鄭州450047）

一種基于腦機接口的頭盔顯示/瞄準系統(tǒng)設計

王 寧，孫廣金，劉學文

（中國電子科技集團公司第二十七研究所，河南 鄭州450047）

傳統(tǒng)的頭盔顯示/瞄準系統(tǒng)通過頭盔瞄準具將傳感器耦合到頭盔瞄準線，由傳感器產(chǎn)生的圖像通過頭盔顯示器顯示給觀察者，從而形成閉環(huán)系統(tǒng)。提出了一種基于腦機接口的頭盔顯示/瞄準系統(tǒng)設計，并給出了系統(tǒng)的工作流程與算法設計。仿真表明，該系統(tǒng)具有較高的目標識別準確率、較快的系統(tǒng)響應速度以及良好的人機交互體驗，具備深入研究的價值。

腦機接口；頭盔顯示/瞄準系統(tǒng)；穩(wěn)態(tài)視覺誘發(fā)電位；運動準備視覺誘發(fā)電位

0 引言

傳統(tǒng)的頭盔顯示/瞄準系統(tǒng)（Helmet Mounted Display and Sight System，HMDASS）是指頭盔顯示器和頭盔瞄準具組合起來的系統(tǒng)，它既具有頭盔顯示器的功能，可以顯示筆劃字符和光柵圖像，也具有頭盔瞄準具的功能，可以測量和計算頭盔瞄準線的位置[1]。頭盔瞄準具確定頭盔瞄準線，用頭盔瞄準具產(chǎn)生的信號驅(qū)動在系統(tǒng)中使用的傳感器，以使它指向頭盔同一方向。來自傳感器的圖像顯示在頭盔顯示器上。這樣，通過頭盔瞄準具將傳感器藕合到頭盔瞄準線，由傳感器產(chǎn)生的圖像通過頭盔顯示器顯示給觀察者，從而形成閉環(huán)系統(tǒng)。

然而在現(xiàn)代戰(zhàn)爭中，軍事武器的機動性越來越強，單純靠目視來鎖定目標越來越困難，并且需要大量的計算機運算來提供精度的保證，而事實上，使用者本身的誤差使得系統(tǒng)精度很難高于5 mrad（RMS）。

頭盔顯示/瞄準系統(tǒng)究其根本是一個人-機交互的系統(tǒng)，當前的頭盔顯示/瞄準系統(tǒng)已經(jīng)發(fā)展到“所見即所得”的程度，為了更進一步提高系統(tǒng)性能，實現(xiàn)人機同感、人機合一、人在回路中，“所思即所得”的人-機智能交互系統(tǒng)，本文設計了一種基于腦機接口（Brain-Computer Interface，BCI）[2]的頭盔顯示/瞄準系統(tǒng)。

在這個BCI系統(tǒng)中采集了多種EEG信號，使用穩(wěn)態(tài)視覺誘發(fā)電位（Steady State Visual Evoked Potential，SSVEP）來快速選擇打擊目標，使用運動準備視覺誘發(fā)電位（Motion Onset Visual Evoked Potential，MOVEP）進行任務分類，使用異步運動想象（Motion Image，MI）[3]作為開關(guān)，實現(xiàn)自如的EEG與傳統(tǒng)控制方式的轉(zhuǎn)換。實驗驗證，該系統(tǒng)具有較好的效果。

1 一種基于腦機接口的頭盔顯示/瞄準系統(tǒng)設計

針對腦電信息獲取與解析的腦機接口技術(shù)研究是人機協(xié)同控制的發(fā)展趨勢，基于腦機接口的頭盔顯示/瞄準系統(tǒng)設計的目標旨在初步實現(xiàn)人機同感、人機合一、人在回路中，“所思即所得”的人-機智能交互系統(tǒng)[4]。

其中多模態(tài)BCI在線控制系統(tǒng)以單人多模態(tài)人機

融合技術(shù)為基礎(chǔ)，以識別結(jié)果和時序為優(yōu)化條件，設計具有自主更新的任務分配范式，通過構(gòu)建具有高效的自適應腦電信號處理算法以及實現(xiàn)快速有效的意識指令編碼及通信，實現(xiàn)人機智能融合[5]。該系統(tǒng)工作流程為：通過腦電放大器采集及記錄多模態(tài)腦電信號；將原始腦電信號進行信號預處理；使用異步MI腦電信號來識別任務狀態(tài)；根據(jù)任務識別結(jié)果判斷信號類型屬于指令編碼還是目標編碼；針對目標編碼和指令編碼，使用SSVEP及MOVEP腦電信號對應的特征提取及分類識別算法；將分類識別結(jié)果轉(zhuǎn)化為指令編碼或者目標編碼，指令編碼可以對應飛機各操作指令，目標編碼對應雷達鎖定目標選擇。系統(tǒng)工作流程如圖1所示。

圖1 系統(tǒng)工作流程圖

（1）多模態(tài)腦電信號采集及記錄

實驗采用美國 Neuroscan公司生產(chǎn)的 64導 EEG采集分析系統(tǒng)進行實驗設計和EEG信號采集。該系統(tǒng)包括用于采集EEG信號的 Quik-cap電極帽、SynAmps2專用EEG信號放大器，該采集系統(tǒng)的精度較高。

（2）信號預處理

由于腦電信號具有非線性、非平穩(wěn)性且易受干擾的特點，單純采用ICA分解得到的IC在排序上具有不確定性、運算速度較低等因素，故采取偽跡識別與ICA相結(jié)合的預處理算法。

算法的基本思想：記錄各被試主動眼動的信號，選取有代表性的眼動信號的空間分布作為先驗知識；求ICA分解出的各個獨立成分的空間分布與先驗知識中眼動的空間分布的相關(guān)系數(shù)，把相關(guān)系數(shù)大于一定閾值的認定為眼電偽跡；再將這些眼電偽跡成分予以去除，將得到?jīng)]有偽跡的數(shù)據(jù)。

（3）使用異步MI腦電信號識別任務狀態(tài)

μ、β節(jié)律的ERD現(xiàn)象是目前運動想象分類算法設計中最主要的特征之一，其基本原理是人在進行運動或者想像運動時，會導致相應運動皮層功能區(qū)EEG信號中μ（8～14Hz）、β（18～30Hz）頻段能量的下降。當停止運動或者想象運動時，上述頻段能量則會恢復。這種頻域能量的變化一般稱為事件相關(guān)同步與去同步現(xiàn)象（Event-Related Desynchronization/Synchronization，ERD/ERS）。根據(jù)這一原理，通過設計合理的空域濾波器進行μ、β節(jié)律的ERD特征提取與分類，以及通過在線頻譜能量估計進行μ和β節(jié)律頻段優(yōu)化選擇，實現(xiàn)兩類運動想像任務的在線異步檢測，可以識別兩種任務狀態(tài)。

被試執(zhí)行運動任務時的大腦活動分布如圖2所示。

圖2 被試執(zhí)行運動任務時的大腦活動分布圖

圖2中A為右手實際運動，B為右手運動想像，C為被試休息（實線）與想象（虛線）條件下的電壓頻譜，D為對應的 r2頻譜。

（4）使用SSVEP來快速選擇打擊目標，使用MOVEP進行任務分類

SSVEP具有明顯的周期性特征，給受試者提供一個特定頻率的視覺刺激時，將在視皮層誘發(fā)出頻率跟隨特性的SSVEP信號，因此在枕區(qū)記錄到的腦電信號的功率譜將在刺激頻率處出現(xiàn)明顯的譜峰。試驗研究發(fā)現(xiàn)，SSVEP頻譜包含有一系列與刺激頻率成整數(shù)倍關(guān)系的頻率成分，其中以基頻和二倍頻成分最為顯著，并可由此設計基于SSVEP的目標選擇原型范式。系統(tǒng)提供給受試代表不同意義的以不同頻率閃爍的多個方塊圖形，并通過腦電信號頻率的檢測來確定注視目標的選擇。

典型的Motion-onset VEP信號包含3個主要的信號特征：P1、N2、P2。N2主要出現(xiàn)在60 ms～200 ms，是很顯著的信號特征，產(chǎn)生于顳枕區(qū)并與頂葉皮層區(qū)域相關(guān)。P2主要出現(xiàn)在240 ms左右，其強度隨著視覺運動刺激的復雜程度的上升而上升。

當被操控人員注視著目標模塊時，模塊內(nèi)的可視目標的短暫運動會誘發(fā)出MOVEP信號，其是與該動作的開始相鎖定關(guān)聯(lián)的，其信號幅值遠大于周圍其他模塊信號。因此，EEG數(shù)據(jù)段里包含有與所選目標的動作起始時刻鎖定的MOVEP信號，其具有顯著的動作相關(guān)VEP特征。通過VEP特征能夠找到操控者在當前狀態(tài)下所注視的任務模塊，從而確定目標，給出結(jié)果。

2 系統(tǒng)實驗與結(jié)果

2.1 系統(tǒng)實驗

2.1.1 SSVEP

實驗流程如下：操控者坐于監(jiān)視器前 1.2 m處，頭戴實時EEG電極帽進行EEG數(shù)據(jù)采集。監(jiān)視器顯示一組頻率刺激圖像，實驗開始后，各頻率塊以不同的頻率閃爍，同時要求操控者在一個實驗中集中注意力觀察自己選擇的目標框。

由于個體的差異，在進行基于SSVEP-BCI系統(tǒng)設計之前，需要對操控者進行刺激頻率的選擇。由于在頻率域上每個操控者可用的頻率并不是太多，為了實現(xiàn)多任務的操控目的，在實驗中采用多頻序列編碼范式，其利用頻率在時間尺度上的置換完成對SSVEP-BCI系統(tǒng)刺激模塊的編碼，是一種周期性的直接編碼方案[6]。

多頻序列編碼原理如圖3所示。

圖3 多頻序列編碼原理

2.1.2 MOVEP

MOVEP的刺激形式如圖4所示，4號位的一條線從方框右邊向左邊快速移動，在本系統(tǒng)中，線從右到左的移動時間是250 ms。若被試注意線起始出現(xiàn)的時刻，那么在后頂部位的電極處便可記錄到MOVEP特征信號。

圖4 MOVEP刺激

由于被試間的N200和P200的潛伏期存在差異，為了優(yōu)化系統(tǒng)的性能，根據(jù)雙樣本t檢驗和ANOVA方法為每個被試選取最優(yōu)的時間窗。在優(yōu)化后的時間窗內(nèi)，按一定的降采樣率提取特征點。

MOVEP時域信號特征如圖5所示。

圖5 MOVEP時域信號特征示意圖

圖5是從P3電極處采集的EEG信號經(jīng)過疊加平均后的信號特征圖，其中實線代表目標刺激的EEG信號，虛線代表非目標刺激的EEG信號。

2.2 實驗結(jié)果

通過實驗驗證SSVEP-BCI系統(tǒng)目前達到的技術(shù)指標為：（1）能實現(xiàn)對屏幕上同時出現(xiàn)的6種目標進行區(qū)分選擇；（2）控制精確度大于80%；（3）鎖定時間約500 ms。

MOVEP-BCI系統(tǒng)目前達到的技術(shù)指標為：（1）能實現(xiàn)對屏幕上同時出現(xiàn)的 6種任務進行區(qū)分選擇；（2）控制精確度大于80%；（3）任務選擇時間約500 ms。

3 小結(jié)

本文使用SSVEP來快速選擇打擊目標，使用MOVEP進行任務分類，使用異步MI作為開關(guān)，實現(xiàn)自如的EEG與傳統(tǒng)控制方式的轉(zhuǎn)換，取代單純靠目視來鎖定目標的傳統(tǒng)頭盔。經(jīng)過實驗驗證，該系統(tǒng)通過和機載火控雷達及專業(yè)任務系統(tǒng)的緊密配合，在對超高速、小型目標的快速鎖定及腦控任務選擇上具有較好的效果。

[1]王永年.頭盔顯示/瞄準系統(tǒng)[M].北京：國防工業(yè)出版社，1994.

[2]VIDAL J.Toward direct brain-computer communication[J]. Annual Review of Biophysics and Bioengineering，1973，2（1）：157-180.

[3]WOLPAW J R，BIRBAUMER N，MCFARLAND D J，et al. Brain-computer interfaces for communication and control[J]. Clin Neurophysiol，2002，113（6）：767-791.

[4]堯德中.腦功能探測的電學理論與方法[M].北京：科學出版社，2003.

[5]堯德中，劉鐵軍，雷旭，等.基于腦電的腦-機接口：關(guān)鍵技術(shù)和應用前景[J].電子科技大學學報，2009，38（5）：550-554.

[6]吳正華.穩(wěn)態(tài)視覺誘發(fā)電位在腦機接口及認知過程中的應用研究[D].成都：電子科技大學，2008.

Design of an HMDASS based on BCI

Wang Ning，Sun Guangjin，Liu Xuewen
（The 27thResearch Institute of China Electronics Technology Group Corporation，Zhengzhou 450047，China）

The traditional helmet mounted display and sight system（HMDASS）uses targeting tool coupling sensors to line of sight.Images from the sensors are showed to observers with monitor of the helmet.Accordingly a closed-loop system comes into being.This paper puts forward the design of an HMDASS based on brain-computer interface（BCI）.Meanwhile the workflow and algorithm design of the system are given.The simulation indicates that the system has high target recognition accuracy，fast system response speed and good interactive experience.Thus the system has the value of in-depth study.

BCI；HMDASS；SSVEP；MOVEP

TP391

A

0258-7998（2015）05-0149-03

10.16157/j.issn.0258-7998.2015.05.037

2015-01-15）

王寧（1982-），男，工程師，主要研究方向：數(shù)字信號處理。