腦-機接口(BCI)是構(gòu)建大腦與外部信息交流的一種技術(shù)方式,通過采集神經(jīng)系統(tǒng)的電活動信號,將其分類到特定指令的不同類別中,來實現(xiàn)解碼用戶意圖并與計算機等外部設備進行通信的人機接口技術(shù)

。近年來,BCI技術(shù)在人機交互、智能感知、醫(yī)療康復等領(lǐng)域得到了廣泛的應用

。在腦電波采集過程中,人的大腦活動會受到不同類型刺激的影響而產(chǎn)生預期的信號反應,穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)是腦機接口中被廣泛應用的外源性刺激誘發(fā)信號類型之一,它是外界周期性視覺刺激誘發(fā)大腦視覺中樞系統(tǒng)產(chǎn)生的周期性響應

,在大腦中產(chǎn)生由視網(wǎng)膜接收到的3.5 Hz～75 Hz范圍相同頻率或倍數(shù)頻率的電生理活動

,具有信噪比高、無需訓練、穩(wěn)定性高等優(yōu)勢。

由于腦電信號微弱,易受到外界環(huán)境因素的影響,以及其他生物電信號等背景噪聲的干擾,從而導致SSVEP信號識別困難

。如何進一步提高目標識別效率是SSVEP-BCI系統(tǒng)中的一個重要問題,在算法研究方面,特征提取算法優(yōu)化以及分類器改進一直是SSVEP信號分類研究的重點。在傳統(tǒng)SSVEP信號目標識別方法中,通常是以人工提取信號的特征信息,再對特征向量進行有監(jiān)督的分類方式來進行識別

。文獻[9]結(jié)合經(jīng)驗模式分解(EMD)和功率譜峰值分析(PSPA)方法,以基頻功率譜峰的突出度和寬度的最大比值與從窄頻帶分量中計算的諧波來對SSVEP信號進行分類,但是分解后的各基本模式間并非嚴格正交,存在混疊現(xiàn)象。文獻[10]利用典型相關(guān)分析(CCA)方法,運用結(jié)合疊加平均和快速傅里葉變換,提取與多通道SSVEP信號相關(guān)的頻率信息進行相關(guān)分析,僅提高了低頻率刺激下的識別精度,存在局限性。文獻[11]利用小波包分解(WPD)對腦電信號進行特征提取,結(jié)合時域和頻域中的特征信息,進一步提高了信號識別準確率,但是小波基函數(shù)的選擇多依賴于經(jīng)驗,結(jié)果隨函數(shù)影響較大。

目前,深度學習方法在近期的許多研究中被成功地應用于學習特征和分類不同類型的數(shù)據(jù),然而在BCI的應用中采用深度學習方法的研究數(shù)量較為有限

。卷積神經(jīng)網(wǎng)絡(CNN)是一種通過多個濾波器及其特殊卷積結(jié)構(gòu)進行信號特征提取、細化的深度學習方法,所得特征在一定程度上具有平移、翻轉(zhuǎn)及縮放不變性,相較于傳統(tǒng)算法具有分類精度高且能夠自動學習特征和解碼等優(yōu)勢,有效避免了人工特征提取過程中存在的信息丟失等不確定性問題,有望實現(xiàn)更高的目標識別性能。文獻[13]提出一種CNN與多層感知器(MLP)并行的網(wǎng)絡結(jié)構(gòu),分別處理靜態(tài)能量和動態(tài)能量,并且取得了較高識別準確率。文獻[14]構(gòu)建了一種時頻CNN模型運用到SSVEP信號分類中,由兩個空域和時域濾波器卷積層以及快速傅里葉變換組成,將卷積層抽象得到的特征轉(zhuǎn)換至頻域特征進行分類?；谠撗芯?文獻[15]提出以CNN與支持向量機(SVM)組合分類器的方法,進一步提高了網(wǎng)絡對腦電信號的識別正確率。文獻[16]構(gòu)建了一種多尺度卷積核的CNN腦電分類模型,通過不同大小的卷積核來增加特征提取時的視野維度,提高了分類精度,但是由于數(shù)據(jù)轉(zhuǎn)換成的是二維數(shù)字矩陣,并不像圖像數(shù)據(jù)那樣具有豐富的信息,因此存在一定的局限性。

上述基于CNN的分類識別方法雖然均能達到較好的識別效果,但是若只考慮單一尺度或單一層級下的特征,將會導致特征提取過程中存在特征缺失或冗余等問題,從而限制了識別精度。因此,本文提出一種基于多尺度特征融合卷積神經(jīng)網(wǎng)絡(MFCNN)的信號分類識別方法,利用卷積神經(jīng)網(wǎng)絡在圖像處理中的強大優(yōu)勢,將SSVEP信號數(shù)據(jù)轉(zhuǎn)化為二維時頻圖像作為輸入,基于MFCNN模型框架有效提取目標信號多尺度級聯(lián)特征,實現(xiàn)SSVEP信號目標自適應特征提取及端到端識別。

1 基于多尺度特征融合卷積神經(jīng)網(wǎng)絡的目標識別方法

1.1 卷積神經(jīng)網(wǎng)絡

CNN的網(wǎng)絡結(jié)構(gòu)一般由輸入層、交替疊加的卷積層與池化層、全連接層和分類器組成

。卷積層將對輸入樣本的局部區(qū)域和濾波器內(nèi)核之間進行內(nèi)積運算,每個濾波器都通過相同的內(nèi)核來獲得輸入信號的局部特征。設前層圖像大小為

,則卷積過程描述如下

+1,

=

,

?

+

,

(1)

式中:

,

和

,

分別為第

層中第

個濾波器內(nèi)核的權(quán)值矩陣和偏置項;

+1,

為第

+1層中第

個濾波器卷積后的輸出;?表示卷積計算。

max(0,

+1,

)+

min(0,

+1,

)

An on-chip bias circuit for the W-band SiGe HBT power amplifier is proposed in this work. This bias solution has the advantages of improving the output power of the power amplifier, temperature insensitivity, and smooth controllability.

+1,

=

(

+1,

)=

卷積之后,利用激活函數(shù)來獲得非線性特征,本文采用LeakyReLU激活函數(shù)加速CNN的收斂過程,該函數(shù)在ReLU基礎上保留部分小于零的輸入,激活后的輸出值

+1,

表達式如下

(2)

式中:

+1,

為

+1,

激活后的輸出值;

為負值區(qū)域的非零斜率。

池化層將提取到的特征降維簡化,減少卷積后的特征空間和網(wǎng)絡參數(shù),本文采用最大池化來降低數(shù)據(jù)維度和網(wǎng)絡復雜度,輸出采樣區(qū)域的最大值,如下式

(3)

1.2 時頻化處理

由于SSVEP信號的非平穩(wěn)、非線性、時變特性

,傳統(tǒng)的時域或者頻域分析方法具有信號處理的不確定性,譜分析無法反映各個頻段能量隨時間的變化情況,也不能完整地表達信號的特征參數(shù)。小波變換在傳統(tǒng)傅里葉變換基礎上,引入尺度和時間變量來分析信號的不同頻率成分,同時提供時域和頻域的信息特征

,適合處理短時間內(nèi)的突變信號。因此,本文利用小波變換對SSVEP信號進行時頻化圖像處理,將時頻域特征生成時頻圖,以不同顏色分布表征不同類別的信號差異,如下式

(4)

式中:

,

(

)為第

層中第

個幀中第

個神經(jīng)元的值,

∈[(

-1)

+1,

];

+1,

為池化操作后第

+1層中神經(jīng)元對應的值;

為池化區(qū)域的寬度。

式中:

為可選目標數(shù);

為識別一次刺激所需時間。

1.3 多尺度特征融合卷積神經(jīng)網(wǎng)絡

小波變換將SSVEP信號轉(zhuǎn)化成頻率-時間-小波系數(shù)圖(時頻圖),不同顏色分布的圖像作為輸入,利用CNN進一步提取圖像特征進行學習并分類。

CNN利用淺層單元能夠從圖像中提取邊緣、顏色等細節(jié)特征,該類特征分辨率較高,但是伴隨較多噪聲,隨著卷積層的加深,網(wǎng)絡能在淺層特征的基礎上進一步提取圖像的深層全局語義特征,但是同步增加的卷積等操作也導致模型過飽和、信息丟失等問題。因此,本文考慮利用從不同層次的特征來構(gòu)建MFCNN網(wǎng)絡模型,以獲取圖像各層級不同尺度特征加強網(wǎng)絡分類效果。模型主要由特征提取、多尺度特征融合以及模式識別3個單元組成,整體結(jié)構(gòu)如圖1所示。

1.3 觀察指標 比較兩組受試者血清CXCL12、IL-33水平，觀察組不同預后患者的臨床特征指標，分析血清CXCL12與IL-33的相關(guān)性及其對AIS患者預后的評估價值。預后情況通過mRs評分進行評價，此量表總分0～5分，分值越高表示預后越差。

“你要離開/這山盟海誓巷口/說好了/一定回頭”本身即是對丈夫的無線譴責。兼之此處與前文書生的“不再回頭”形成映襯，正反對比之中暗示妻子與書生愛情必然以悲劇結(jié)局。

特征提取單元將SSVEP信號分段利用小波變換構(gòu)造時頻化圖像輸入,圖像大小為32像素×32像素,樣本圖像依次經(jīng)過3個卷積層。第1個卷積層的卷積核大小為5×5、步長為2,得到輸出特征圖大小為16×16×

,

為卷積核數(shù),卷積時進行邊界補零填充,避免提取過程中的未知信息丟失

;第2個卷積層的卷積核大小為5×5,步長為1;第3個卷積層的卷積核大小為3×3,步長為1。每個卷積層后都跟有一個激活函數(shù)層和池化層,同時加入批量歸一化層,防止訓練過程出現(xiàn)過擬合現(xiàn)象,最大池化層降低數(shù)據(jù)維度并保留主要的特征信息,池化核大小為2×2,步長為2。

多尺度特征融合單元保證網(wǎng)絡同步提取細節(jié)及全局特征,該部分以特征提取單元的輸出作為輸入,在保證特征多樣化表達的同時進行融合,其中設計池化層來統(tǒng)一參與融合特征向量的維度,第1層級池化核大小為4×4,步長為4;第2層級池化核大小為2×2,步長為2;第3層級池化核大小為2×2,步長為1,最后輸入到融合層中進行特征銜接,得到融合特征,表達式為

={∪

}

(5)

式中:

為融合特征;

為第

級特征。設需融合的兩個向量分別為

(

,

,

)和

(

,

,

),

=

,

=

,則融合后得到特征向量

=(

,

,

+

)。

模式識別單元將融合特征作為輸入進行識別,全連接層與Softmax分類器輸出

分類的識別準確率,表達式為

（2）碾壓試驗參數(shù)初擬定為：對于本工程面板堆石壩的主堆石區(qū)的鋪層厚度選擇80cm和100cm兩個碾壓試驗參數(shù)；對于本工程面板堆石壩的過渡區(qū)則選用40cm和50cm兩個碾壓試驗參數(shù)；對于本工程面板堆石壩的墊層區(qū)則選用30cm和40cm兩個碾壓試驗參數(shù)。在碾壓次數(shù)的參數(shù)選定方面，采用了6遍、8遍和10遍三個不同的試驗參數(shù)。

(6)

式中:

為第

個類別的線性概率;

為

個類別的線性概率之和;

(

)為類別歸一化結(jié)果。

1.4 網(wǎng)絡模型的參數(shù)選擇

MFCNN模型的前向傳播與CNN相同,采用誤差的反向傳播算法加以訓練,利用前向傳播特征傳遞,對訓練數(shù)據(jù)在網(wǎng)絡中前向輸出值與期望輸出值之間進行誤差計算,并反向傳播來修正各層的網(wǎng)絡權(quán)值和偏置

。本文網(wǎng)絡訓練采取了小批量訓練,權(quán)值的優(yōu)化調(diào)整采用隨機梯度下降(SGD)優(yōu)化器,通過最小化損失來調(diào)整訓練參數(shù),以優(yōu)化網(wǎng)絡模型各環(huán)節(jié)并判斷模型是否訓練終止,損失越小,網(wǎng)絡擬合效果越好。在訓練中加入L2正則化提高泛化能力

,防止網(wǎng)絡過擬合。針對數(shù)據(jù)集統(tǒng)計模型訓練參數(shù),并從輸入圖像大小和融合特征層網(wǎng)絡結(jié)構(gòu)進行分析,重復實驗記錄平均識別準確率及訓練時長,對比得到MFCNN針對該數(shù)據(jù)集時的訓練參數(shù)如表1所示。

1.5 目標識別模型

基于MFCNN的SSVEP目標識別方法對應的識別流程如圖2所示。首先,采集受試者在不同閃爍目標刺激下的多通道SSVEP信號,經(jīng)過預處理整合后輸入至網(wǎng)絡模型中,利用小波變換構(gòu)造SSVEP信號為二維時頻圖像樣本集,隨機選取數(shù)據(jù)集的70%為訓練集對MFCNN模型進行訓練,30%為測試集,之后通過MFCNN中特征提取單元、多尺度特征融合單元進行信號特征的提取與融合,并輸入至分類識別單元計算模型最終解碼性能,實現(xiàn)SSVEP信號自適應特征學習及端到端識別。

2 穩(wěn)態(tài)視覺誘發(fā)電位實驗分析

2.1 實驗范式設計

為了驗證本文方法對SSVEP-BCI目標識別的實際效果,實驗范式設計引用基于場景動畫的穩(wěn)態(tài)視覺刺激誘發(fā)范式

,該范式將生活情景劃分為相應的獨立刺激場景圖,經(jīng)過灰度標準化處理后再通過方波調(diào)制模式對黑白反轉(zhuǎn)色圖片進行視覺刺激。刺激范式界面的設計和呈現(xiàn)由PsychoPy3軟件實現(xiàn),場景動畫誘發(fā)范式如圖3所示,實驗所使用的顯示器分辨率為1 920像素×1 080像素,刷新頻率為60 Hz,屏幕背景色為深灰色,共有4張刺激圖片分別以上、右、下、左的順序?qū)? Hz、7.5 Hz、8.57 Hz、10 Hz的頻率進行閃爍以誘發(fā)SSVEP信號。

2.2 實驗流程

實驗招募7名視力正?；虺C正視力正常的健康受試者(S1～S7)作為受試對象,包括4名男性,3名女性,年齡均在22～26歲之間。實驗處于安靜的房間內(nèi)進行,并要求受試對象保持舒適坐姿,與顯示器的距離約為70 cm。由于視覺皮層中央放大效應,受試者需將視覺注意力注視點集中在特定的目標上,盡量避免肢體的移動和眼部的運動。每名受試者按照流程順序依次注視閃爍頻率為6 Hz、7.5 Hz、8.57 Hz、10 Hz的刺激目標,對應標簽1、2、3、4。圖4(a)給出了每輪實驗的時序流程安排,圖4(b)給出了實驗場景。實驗開始時,受試者有2 s的靜息準備時間,當PC機提示音響起,正式開始閃爍,重復20次為一輪,單次刺激目標的呈現(xiàn)時間為4 s,隨后提示音響起閃爍停止,受試者間隔休息2 s后再次進行下一次閃爍,每個刺激目標呈現(xiàn)3輪,輪與輪之間也給予受試者充足的休息時間。

2.3 信號采集與預處理

實驗采用圖5(a)所示Neuracle公司生產(chǎn)的NeuSen W16無線腦電信號采集系統(tǒng)完成受試者信號的采集,采樣頻率為1 000 Hz,電極分布按照國際標準10/20電極安放法放置,視覺刺激通過視覺通路傳遞到大腦皮層,處在枕葉區(qū)的視覺皮層負責處理視覺信號的感知等一系列任務,故實驗采集枕葉區(qū)P3、Pz、P4、O1、Oz、O2共6個通道的信號,接地電極放置在AFz處,參考電極放置在CPz處,腦電圖記錄的通道位置如圖5b紅圈所圍部分,實驗過程中通道阻抗保持在10 kΩ以下。

為了獲得腦電信號中的有效信息,對采集到的原始數(shù)據(jù)進行預處理,以平均電位作為參考,對信號進行工頻干擾消噪以及5～45 Hz的帶通濾波來提高SSVEP信號的信噪比,并按照標簽進行分段處理,以時序、通道數(shù)、次數(shù)的3維數(shù)據(jù)矩陣結(jié)構(gòu)進行存放。

2.4 傳統(tǒng)方法的對比分析

(2)功率譜密度分析(PSD)結(jié)合支持向量機(SVM)方法

,采用welch法提取功率譜密度特征,特定頻段

、

、

、

節(jié)律的功率信息,并得到特征向量輸入至SVM中訓練,接著對測試集進行有監(jiān)督測試;

MFCNN針對受試者S1在1 s時間窗長度的訓練集最終訓練結(jié)果如圖6a所示,模型訓練準確率最終收斂至99.38%,損失值收斂至0.031 9。利用訓練完成如圖6b所示MFCNN驗證測試集的目標識別結(jié)果混淆矩陣,綠色塊代表模型對該類標簽樣本的識別準確數(shù)以及該準確數(shù)的占比(準確數(shù)與標簽樣本總數(shù)的比值),紅色塊代表模型對該類標簽樣本的識別錯誤數(shù)以及該錯誤數(shù)的占比,淺灰色塊表示對應標簽樣本的識別準確率和錯誤率?？梢苑治龀鲎R別后所得的預測標簽結(jié)果與真實標簽基本一致,識別正確率為96.8%,最多是在8.57 Hz頻率中出現(xiàn)7個錯誤分類,占該類樣本的3.7%、整個測試樣本的0.9%。

本文針對SSVEP信號提出識別方案,為驗證該方法的有效性,利用同組數(shù)據(jù)集設置以下3種方法作為對比:

(3)CNN方法,普通CNN網(wǎng)絡僅從前層進一步進行特征學習提取深層特征,在網(wǎng)絡后半部容易產(chǎn)生信息遺漏,以MFCNN相同設定參數(shù)搭建普通CNN網(wǎng)絡結(jié)構(gòu)進行識別。

定義識別準確率

以及信息傳輸率

作為評價指標。識別準確率表達式見式(6)。

代表單位時間周期內(nèi)所傳遞的總信息量,表達式為

(7)

這條線路主要以體驗為主，為了使游客更加深入對茶文化進行了解，可以將游客安排在寺廟中居住，與寺內(nèi)的僧侶一起坐禪、用齋及品茗等，充分感受廬山西海真如寺的佛教文化和茶文化。

2.5 實驗結(jié)果分析

實驗計算在Matlab2019環(huán)境中進行,采用配置為Intel(R)Core(TM)i5-4200H CPU @ 2.80 GHz、8 GB運行內(nèi)存的計算機,Matlab Deep Network工具箱

用于設計和測試所提出的網(wǎng)絡,以圖1所示模型結(jié)構(gòu)搭建深度學習網(wǎng)絡。為了獲得受試者在不同時間窗長度刺激下的目標識別準確率,本文取單次刺激的前3 s數(shù)據(jù)劃分成6個不同時間段進行分析,分別按照前0.5 s、前1 s、前1.5 s、前2 s、前2.5 s以及前3 s的時間窗口截取數(shù)據(jù)長度。

(1)典型相關(guān)分析方法

,信號預處理后,直接使用CCA方法計算相關(guān)系數(shù)并進行無監(jiān)督分類,設置諧波數(shù)為2;

針對受試者S1～S7的數(shù)據(jù)集利用CCA方法、PSD結(jié)合SVM方法、CNN方法3種對照方法來驗證本文模型識別效果和特征提取對識別結(jié)果的影響,對不同時間窗長度下的數(shù)據(jù)重復進行10次實驗以避免偶然性,統(tǒng)計不同受試者在不同時間窗長度的識別準確率、標準差以及多受試者平均識別準確率,實驗結(jié)果如圖7所示。

反轉(zhuǎn)式教學作為一種新型教學模式在教育學界產(chǎn)生了巨大的反響，它顛覆了傳統(tǒng)的教學流程，利用網(wǎng)絡信息平臺，構(gòu)建了協(xié)助化和個性化學習平臺，學生可以根據(jù)自我學習情況進行自主安排，強調(diào)以學生為主體、關(guān)注學生個性特點進而達到理想的學習效果。與傳統(tǒng)的教學模式相比，反轉(zhuǎn)式教學運用了網(wǎng)絡高科技手段，體現(xiàn)了時代特征和新課程教學特點，未來發(fā)展前景廣闊，應用在醫(yī)學繼續(xù)教育教學中有著重要作用。

從圖7所示實驗結(jié)果可以看出,MFCNN方法在對不同受試者的不同時間窗長度下均具有最高的識別準確率,與PSD結(jié)合SVM方法、CCA方法相比提升效果顯著。尤其是對于受試者S1、S3、S5,本文方法相比CCA方法最少提升了5.98%,最多提升了24.81%,相比PSD結(jié)合SVM方法最少提升了5.36%,最多提升了21.73%。對于其他受試者S2、S4、S6、S7,在不同時間窗長度下,識別準確率均有所提升,在0.5 s、1 s的短時間窗長度時最為顯著,驗證本文所提方法相較于這兩種傳統(tǒng)方法能夠提高解碼性能。從所有受試者的平均識別準確率實驗結(jié)果可知,在1 s時間窗長度下,相較于這兩種傳統(tǒng)方法,本文方法對平均識別準確率的提升分別為18.57%和20.08%,且標準差為0.988 1,低于兩種傳統(tǒng)方法的1.781 2、1.596 4,可見本文方法在提高了識別準確率的同時也具有更好的穩(wěn)定性,優(yōu)于CCA方法、PSD結(jié)合SVM方法。

4.2 生態(tài)效益 金花茶是常綠灌木至小喬木，通過項目建設利于保持水土、涵養(yǎng)水源、調(diào)節(jié)氣候、生態(tài)環(huán)境保護。紫檀樹內(nèi)含根瘤菌，可以固氮保水、改良土壤結(jié)構(gòu)、提高地力，項目實施不但對周圍環(huán)境沒有污染，而且提高森林質(zhì)量和覆蓋率，對改善當?shù)匦夂蚓哂写龠M作用。

功能設計能夠按預案類別、名稱、編制單位、適用范圍等不同標準對預案進行查詢、瀏覽，并能夠?qū)⒉樵兘Y(jié)果以HTML、EXCEL、PDF等常用格式進行輸出、打印，并支持打印預覽、設置。查詢界面如圖10所示。

相較于普通CNN結(jié)構(gòu)單純從前層進行特征學習,在后期容易發(fā)生信息丟失特點,尤其是在時間窗長度較短、輸入信息較少的情況下,頻率特征尚不明顯,對比平均識別準確率實驗結(jié)果可以看出,當時間窗長度僅為0.5 s時,MFCNN的平均識別準確率為85.03%,高出CNN方法8.12%;當時間窗長度為1 s時,MFCNN的平均識別準確率為94.25%,高出CNN方法7.03%。驗證MFCNN結(jié)合網(wǎng)絡淺層細節(jié)特征以及深層語義特征,即攜帶更多的信號特征,能夠充分利用信號不同層次特征加強網(wǎng)絡學習能力,以提高識別準確率。隨著時間窗長度的不斷增加,頻率特征逐漸明顯,當時間窗長度大于2 s后,MFCNN與CNN的識別準確率并無較大差異。分析表明,融合特征能夠在短時間窗長度下攜帶更多的腦電信息,有利于SSVEP信號的目標識別,MFCNN模型要優(yōu)于普通CNN結(jié)構(gòu)特征分類模型。

與治療前相比，觀察組和對照組治療后1、2個月的骨保護素水平均顯著升高(P<0.05)；其中觀察組治療后2個月骨保護水平顯著高于治療后1個月(P<0.05)。組間相比，治療前和治療后1個月，觀察組牙周組織骨保護素水平與對照組相比均無統(tǒng)計學差異(t=1.765, t=1.766；P>0.05)；治療后2個月，觀察組牙周骨保護素水平顯著高于對照組(t=5.925，P<0.05)(表1)。

則燈器連續(xù)工作20個日歷天的耗電量為50A?h(燈器工作在陰雨天氣下，考慮電池在20天內(nèi)沒有發(fā)生充電，連續(xù)處于放電之下)。同時為保證連續(xù)的放電不對電池造成損傷，放電深度應控制在55%。由此可知，電池容量要求為：

各受試者在1 s時間窗長度時4種識別方法的信息傳輸率如表2所示。由于受試者S7本身對SSVEP響應特征較為明顯,本文方法相比于CNN方法對其識別準確率的提升有限,存在個體差異性,信息傳輸率又同時受識別時間和識別準確率的影響,所得計算結(jié)果略低于CNN方法,但是綜合實驗所有受試者平均數(shù)據(jù)結(jié)果可得,MFCNN的平均信息傳輸率為96.86 bit/min,對比CCA方法和PSD結(jié)合SVM方法,在信息傳輸率上有顯著提升,分別提升了53.15 bit/min、49.58 bit/min,對比CNN方法提升了12.15 bit/min,說明MFCNN在提升了識別準確率的同時,也能提升信息傳輸速率,具有較高的目標識別效率,表明本文方法能有效提高SSVEP-BCI系統(tǒng)在較短時間窗長度刺激時的識別性能,

3 結(jié) 論

本文針對傳統(tǒng)目標識別方法在對SSVEP信號進行識別時存在的局限性,提出基于多尺度特征融合卷積神經(jīng)網(wǎng)絡的信號識別方法,利用小波變換對信號進行時頻域圖像轉(zhuǎn)化,搭建多尺度網(wǎng)絡模型進行信號特征學習,提取圖像不同層次特征并進行融合,建立多尺度特征向量作為分類依據(jù),最終實現(xiàn)SSVEP信號端到端的目標識別。實驗結(jié)果表明,本文方法對于場景動畫刺激范式在較短時間刺激下具有明顯的識別優(yōu)勢,當時間窗長度刺激為1 s時,平均識別準確率就已達到94.25%,信息傳輸率達到96.86 bit/min,高于無訓練CCA方法、有訓練PSD結(jié)合SVM方法和普通CNN方法,說明本文方法適用于SSVEP信號,可進一步提高信號的識別準確率,同時還具有較高的信息傳輸率,為穩(wěn)態(tài)視覺誘發(fā)電位腦機接口在特征提取和識別準確率提高等方面提供了參考。

:

[2] 于淑月,李想,于功敬,等.腦機接口技術(shù)的發(fā)展與展望 [J].計算機測量與控制,2019,27(10):5-12.

YU Shuyue,LI Xiang,YU Gongjing,et al.Development and prospect of brain computer interface technology [J].Computer Measurement &Control,2019,27(10):5-12.

[3] CHAMOLA V,VINEET A,NAYYAR A,et al.Brain-computer interface-based humanoid control:a review [J].Sensors,2020,20(13):3620.

[4] 葛松,徐晶晶,賴舜男,等.腦機接口:現(xiàn)狀問題與展望 [J].生物化學與生物物理進展,2020,47(12):1227-1249.

GE Song,XU Jingjing,LAI Shunnan,et al.Brain computer interface:current situation,problems and prospects [J].Progress in Biochemistry and Biophysics,2020,47(12):1227-1249.

[5] 徐光華,張鋒,謝俊,等.穩(wěn)態(tài)視覺誘發(fā)電位的腦機接口范式及其信號處理方法研究 [J].西安交通大學學報,2015,49(6):1-7.

XU Guanghua,ZHANG Feng,XIE Jun,et al.Brain-computer interface paradigms and signal processing strategy for steady state visual evoked potential [J].Journal of Xi’an Jiaotong University,2015,49(6):1-7.

[6] VIALATTE F B,MAURICE M,DAUWELS J,et al.Steady-state visually evoked potentials:focus on essential paradigms and future perspectives [J].Progress in Neurobiology,2010,90(4):418-438.

[7] 張黎明,張小棟,陸竹風,等.用于穩(wěn)態(tài)視覺誘發(fā)電位特征頻率提取的同步壓縮短時傅里葉變換方法 [J].西安交通大學學報,2017,51(2):20-26.

ZHANG Liming,ZHANG Xiaodong,LU Zhufeng,et al.A synchrosqueezing short-time Fourier transform method for characteristic frequency extraction of steady state visual evoked potential [J].Journal of Xi’an Jiaotong University,2017,51(2):20-26.

[8] 杜光景,謝俊,張玉彬,等.用于穩(wěn)態(tài)視覺誘發(fā)電位腦機接口目標識別的深度學習方法 [J].西安交通大學學報,2019,53(11):42-48.

DU Guangjing,XIE Jun,ZHANG Yubin,et al.A deep learning method for target recognition in steady-state visual evoked potential-based brain-computer interface [J].Journal of Xi’an Jiaotong University,2019,53(11):42-48.

[9] ANTELIS J M,RIVERA C A,GALVIS E,et al.Detection of SSVEP based on empirical mode decomposition and power spectrum peaks analysis [J].Biocybernetics and Biomedical Engineering,2020,40(3):1010-1021.

[10] CHEN Guang,SONG Dandan,LIAO Lejian.A multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis in the frequency domain [J].Advances in Intelligent Systems and Computing,2014,215:603-616.

[11] WU Ting,YAN Guozheng,YANG Banghua,et al.EEG feature extraction based on wavelet packet decomposition for brain computer interface [J].Measurement,2008,41(6):618-625.

[12] TABAR Y R,HALICI U.A novel deep learning approach for classification of EEG motor imagery signals [J].Journal of Neural Engineering,2017,14(1):016003.

[13] SAKHAVI S,GUAN Cuntai,YAN Shuicheng.Parallel convolutional-linear neural network for motor imagery classification [C]∥Proceedings of the 2015 23rd European Signal Processing Conference.Piscataway,NJ,USA:IEEE,2015:2736-2740.

[14] CECOTTI H.A time-frequency convolutional neural network for the offline classification of steady-state visual evoked potential responses [J].Pattern Recognition Letters,2011,32(8):1145-1153.

[15] 于鴻偉,謝俊,何柳詩,等.基于卷積神經(jīng)網(wǎng)絡和支持向量機的事件相關(guān)電位識別方法 [J].西安交通大學學報,2021,55(12):47-54.

YU Hongwei,XIE Jun,HE Liushi,et al.An event-related potential recognition method based on convolutional neural network and support vector machine [J].Journal of Xi’an Jiaotong University,2021,55(12):47-54.

[16] 李玉花,柳倩,韋新,等.基于卷積神經(jīng)網(wǎng)絡的腦電信號分類 [J].科學技術(shù)與工程,2020,20(15):6135-6140.

LI Yuhua,LIU Qian,WEI Xin,et al.Classification of electroencephalogram signals based on convolutional neural network [J].Science Technology and Engineering,2020,20(15):6135-6140.

[17] LECUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based learning applied to document recognition [J].Proceedings of the IEEE,1998,86(11):2278-2324.

[18] 張小棟,郭晉,李睿,等.表情驅(qū)動下腦電信號的建模仿真及分類識別 [J].西安交通大學學報,2016,50(6):1-8.

ZHANG Xiaodong,GUO Jin,LI Rui,et al.A simulation model and pattern recognition method of electroencephalogram driven by expression [J].Journal of Xi’an Jiaotong University,2016,50(6):1-8.

[19] 于淑月,李想,于功敬,等.腦機接口技術(shù)的發(fā)展與展望 [J].計算機測量與控制,2019,27(10):5-12.

YU Shuyue,LI Xiang,YU Gongjing,et al.Development and prospect of brain computer interface technology [J].Computer Measurement &Control,2019,27(10):5-12.

[20] 陳保家,陳學力,沈保明,等.CNN-LSTM深度神經(jīng)網(wǎng)絡在滾動軸承故障診斷中的應用 [J].西安交通大學學報,2021,55(6):28-36.

CHEN Baojia,CHEN Xueli,SHEN Baoming,et al.An application of convolution neural network and long short-term memory in rolling bearing fault diagnosis [J].Journal of Xi’an Jiaotong University,2021,55(6):28-36.

[21] 張鵬.基于卷積神經(jīng)網(wǎng)絡的多尺度遙感圖像目標檢測方法研究 [D].西安:西安電子科技大學,2019:37-39.

[22] 李睿,張小棟,張黎明,等.面向假肢的場景動畫穩(wěn)態(tài)視覺誘發(fā)腦控方法 [J].西安交通大學學報,2017,51(1):115-121.

LI Rui,ZHANG Xiaodong,ZHANG Liming,et al.Brain-controlled prosthesis manipulation based on scene graph-SSVEP [J].Journal of Xi’an Jiaotong University,2017,51(1):115-121.

[23] 何柳詩,謝俊,于鴻偉,等.融合眼動追蹤和目標動態(tài)可調(diào)的穩(wěn)態(tài)視覺誘發(fā)電位腦機接口系統(tǒng)設計 [J].西安交通大學學報,2021,55(10):87-95.

HE Liushi,XIE Jun,YU Hongwei,et al.A design of brain-computer interface system for steady-state visual evoked potential integrating eye movement tracking and target dynamical adjustment [J].Journal of Xi’an Jiaotong University,2021,55(10):87-95.

[24] MANSHOURI N,MALEKI M,KAYIKCIOGLU T.An EEG-based stereoscopic research of the PSD differences in pre and post 2D&3D movies watching [J].Biomedical Signal Processing and Control,2020,55:101642.

[25] PALM R B.Prediction as a candidate for learning deep hierarchical models of data [D].Lyngby:Technical University of Denmark,2012:46-51.