張夏豐，闞秀，曹樂(lè)，楊誕，張文艷

上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201620

前言

語(yǔ)言是人與外界溝通的工具，聾啞人因語(yǔ)言功能的喪失，難以與外界溝通，手語(yǔ)的出現(xiàn)解決了聾啞人無(wú)法相互溝通的問(wèn)題［1-2］。手語(yǔ)可以在無(wú)聲的條件下通過(guò)手勢(shì)動(dòng)作的方式將聾啞人想表達(dá)的信息傳遞出去。由于手語(yǔ)的專(zhuān)業(yè)性及復(fù)雜性使得該語(yǔ)言在正常人群中傳播并不廣泛，聾啞人與正常人之間難以正常交流。手語(yǔ)識(shí)別方法的出現(xiàn)促進(jìn)了聾啞人與正常人之間的交流。

目前，手語(yǔ)識(shí)別方法主要有基于視覺(jué)圖像、姿態(tài)傳感器、數(shù)據(jù)手套等方法［3-4］。文獻(xiàn)［5］中采用基于視覺(jué)圖像的手語(yǔ)識(shí)別方式實(shí)現(xiàn)了對(duì)印度手語(yǔ)的識(shí)別。文獻(xiàn)［6］中通過(guò)將肌電信號(hào)與加速度信號(hào)及陀螺儀信號(hào)相結(jié)合針對(duì)5 種運(yùn)動(dòng)軌跡及6 種手勢(shì)的識(shí)別。文獻(xiàn)［7］通過(guò)將肌電信號(hào)與加速度信號(hào)融合的方式實(shí)現(xiàn)手勢(shì)識(shí)別。文獻(xiàn)［8］采用慣性傳感器及彎曲傳感器設(shè)計(jì)一種數(shù)據(jù)手套，通過(guò)采集數(shù)據(jù)手套中傳感器融合，實(shí)現(xiàn)對(duì)聾啞拼音的識(shí)別?；谝曈X(jué)圖像的方法容易受到光照以及背景等環(huán)境因素影響?；跀?shù)據(jù)手套的方法雖不受環(huán)境因素影響，但該方法在一定程度上限制了使用者的手部運(yùn)動(dòng)自由。利用慣性傳感器可實(shí)現(xiàn)對(duì)大幅度手勢(shì)的識(shí)別，對(duì)涉及手指與手腕等部位動(dòng)作的敏感度不高。在產(chǎn)生手勢(shì)動(dòng)作時(shí)，相關(guān)肌肉群會(huì)產(chǎn)生對(duì)應(yīng)的形變［9］。通過(guò)壓電薄膜傳感器采集該形變信號(hào)可以有效反映整體手勢(shì)動(dòng)作情況且不易受外界噪聲影響。

針對(duì)手語(yǔ)識(shí)別方面的需求，本研究通過(guò)將薄膜壓力傳感器與肌電采集裝置兩種低成本傳感器結(jié)合，以手語(yǔ)為研究對(duì)象，提出一種基于肌電信號(hào)與肌肉形變信號(hào)的手語(yǔ)識(shí)別方法。通過(guò)兩種信號(hào)的融合，有效提高手語(yǔ)識(shí)別能力。

1 數(shù)據(jù)和架構(gòu)系統(tǒng)

基于肌電信號(hào)及肌肉形變信號(hào)的手語(yǔ)識(shí)別架構(gòu)系統(tǒng)如圖1所示。首先，通過(guò)自主設(shè)計(jì)采集系統(tǒng)獲取肌電信號(hào)與肌肉形變信號(hào)；其次，依據(jù)信號(hào)特點(diǎn)通過(guò)濾波、小波降噪等方法降低信號(hào)噪聲，通過(guò)雙門(mén)限端點(diǎn)檢測(cè)法劃分出有效活動(dòng)段。最后針對(duì)有效活動(dòng)段進(jìn)行特征提取，組成特征向量，將特征向量輸入識(shí)別模型中，經(jīng)識(shí)別模型處理得到手語(yǔ)識(shí)別結(jié)果。

圖1 手語(yǔ)識(shí)別架構(gòu)Fig.1 Sign language recognition framework

1.1 采集系統(tǒng)

為實(shí)現(xiàn)肌電信號(hào)及肌肉形變信號(hào)的采集，本研究設(shè)計(jì)一款便攜式采集系統(tǒng)，包括多通道肌電信號(hào)采集模塊以及肌肉形變采集模塊。其中肌電采集模塊主要由模擬前端電路、主控與無(wú)線(xiàn)傳輸電路組成。其中肌電模擬前端電路主要由德州儀器推出的集成模擬前端芯片ADS1298 組成。該芯片是一款專(zhuān)用于生物電信號(hào)采集的醫(yī)療級(jí)模擬前端芯片，內(nèi)部集成了模擬前端電路所需的24 位高精度ADC 電路與最高12 倍的可編程放大器（PGA）。該芯片即可實(shí)現(xiàn)對(duì)8個(gè)通道肌電信號(hào)的采集［10-12］。與傳統(tǒng)模擬前端電路相比，采用集成模擬前端電路可進(jìn)一步降低噪聲，同時(shí)節(jié)省系統(tǒng)功耗與電路空間。

采集系統(tǒng)硬件如圖2所示，主要由電源、信號(hào)采集模塊、主控以及無(wú)線(xiàn)傳輸模塊組成。人體表面肌電信號(hào)幅值一般在10 μV 以上，為保證系統(tǒng)具有合適的分辨率以實(shí)現(xiàn)對(duì)肌電信號(hào)的有效采集，本研究將系統(tǒng)PGA 增益（GainPGA）設(shè)置為6 倍，則可獲得的信號(hào)分辨率（URes）如下：

圖2 采集系統(tǒng)硬件Fig.2 Acquisition system hardware

其中，U為2.5 V基準(zhǔn)電壓。

系統(tǒng)可分辨電壓遠(yuǎn)低于肌電信號(hào)幅值，因此，系統(tǒng)可實(shí)現(xiàn)對(duì)肌電信號(hào)的有效采集。肌電信號(hào)有用頻率范圍為20～450 Hz，根據(jù)香農(nóng)采樣定理，為滿(mǎn)足需求系統(tǒng)將采樣頻率設(shè)置為1 kHz。

在采集肌電信號(hào)的同時(shí)，本研究采用RP-C18.3-ST 型壓電薄膜傳感器對(duì)肌肉形變信號(hào)進(jìn)行同步采集。系統(tǒng)工作時(shí)將其置于對(duì)應(yīng)肌肉所在位置，通過(guò)軟質(zhì)扎帶將其與手臂貼合。通過(guò)壓電薄膜將肌肉形變以壓電信號(hào)的形式量化。薄膜式壓電傳感器由美國(guó)微芯推出的MCP6002I 型低功耗運(yùn)放構(gòu)成調(diào)理模塊將壓電薄膜輸出轉(zhuǎn)變?yōu)橹骺谹DC模塊可識(shí)別的模擬信號(hào)。

1.2 試驗(yàn)設(shè)計(jì)

本試驗(yàn)選用4 名男性受試者，年齡22～25 歲，無(wú)任何神經(jīng)肌肉系統(tǒng)疾病或其他相關(guān)疾病史。為保證試驗(yàn)質(zhì)量，4 名受試者在試驗(yàn)之前對(duì)實(shí)驗(yàn)相關(guān)手語(yǔ)動(dòng)作進(jìn)行統(tǒng)一練習(xí)，以確保試驗(yàn)時(shí)受試者所執(zhí)行手語(yǔ)動(dòng)作標(biāo)準(zhǔn)規(guī)范。試驗(yàn)前，受試者靜坐于椅子上，手臂肌肉保持放松狀態(tài)，通過(guò)醫(yī)用酒精擦拭對(duì)應(yīng)肌肉。

針對(duì)手語(yǔ)動(dòng)作，本試驗(yàn)采集選取4組肌肉。所選肌肉按照肌電采集1～4 通道順序分別為橈側(cè)腕長(zhǎng)伸肌、橈側(cè)腕屈肌、尺側(cè)腕伸肌、伸指肌。本研究選用來(lái)自《中國(guó)手語(yǔ)》中的“我、你、我們、謝謝、鞠躬、承認(rèn)”等6 個(gè)日常生活用語(yǔ)為識(shí)別對(duì)象。圖3所示為所選6種手語(yǔ)動(dòng)作，每名受試者需執(zhí)行每個(gè)手語(yǔ)動(dòng)作各20 次，每次執(zhí)行完對(duì)應(yīng)動(dòng)作后恢復(fù)初始放松手勢(shì)狀態(tài)。為避免持續(xù)動(dòng)作導(dǎo)致肌肉疲勞，受試者每執(zhí)行5次動(dòng)作后放松手臂休息2～3 min。圖4為受試者執(zhí)行手語(yǔ)“謝謝”時(shí)手語(yǔ)動(dòng)作及采集系統(tǒng)，圖中肌電采集電極為Ag/AgCl電極，黑色束帶內(nèi)為肌肉形變采集裝置，附有3 個(gè)通道薄膜壓力傳感器，肌肉形變采集位置與1、2、3 通道肌電對(duì)應(yīng)，即位于橈側(cè)腕長(zhǎng)伸肌、橈側(cè)腕屈肌、尺側(cè)腕伸肌。

圖3 手語(yǔ)動(dòng)作Fig.3 Sign language motions

圖4 手語(yǔ)“謝謝”Fig.4 Sign language"thank you"

2 預(yù)處理與特征提取

2.1 肌電數(shù)據(jù)預(yù)處理

肌電信號(hào)是一種微弱電信號(hào)，易受外界干擾，導(dǎo)致信號(hào)中帶有噪聲。因此，需對(duì)所采集信號(hào)進(jìn)行預(yù)處理以降低噪聲。在執(zhí)行手語(yǔ)動(dòng)作時(shí)，會(huì)導(dǎo)致皮膚表面的電極發(fā)生輕微移動(dòng)，從而造成采集的原始肌電信號(hào)產(chǎn)生基線(xiàn)漂移［13-14］。本研究通過(guò)3 Hz 零相移濾波器提取出低頻漂移信號(hào)，并在原始信號(hào)的基礎(chǔ)上減去所提取的低頻信號(hào)，進(jìn)而得到去除基線(xiàn)漂移后的信號(hào)。圖5分別為原始信號(hào)及去除基線(xiàn)漂移后的肌電信號(hào)。

圖5 去基線(xiàn)漂移Fig.5 Removing baseline drift

電網(wǎng)及日常生活中存在著工頻信號(hào)干擾，我國(guó)工頻干擾信號(hào)為50 Hz信號(hào)［15-17］。在設(shè)計(jì)肌電信號(hào)采集設(shè)備時(shí)已避免肌電采集設(shè)備接入電網(wǎng)，但由于環(huán)境干擾導(dǎo)致所采集肌電信號(hào)中仍含有部分50 Hz 噪聲信號(hào)，因此，本研究利用陷波濾波器濾除50 Hz 頻率噪聲。

肌電信號(hào)有效頻率一般為20～450 Hz。系統(tǒng)采集頻率為1 kHz，在進(jìn)行信號(hào)采集時(shí)易引入高頻噪聲。本研究利用帶通濾波器濾除有用頻率段外的噪聲信號(hào)。濾波器將肌電信號(hào)通過(guò)快速傅里葉變換轉(zhuǎn)換至頻域，保留落在帶通頻率范圍內(nèi)的信號(hào)，濾除其余頻率段信號(hào)。圖6分別為濾波前后時(shí)域波形以及頻域振幅譜，經(jīng)濾波后有效范圍外噪聲信號(hào)被有效濾除。

圖6 肌電信號(hào)濾波Fig.6 Electromyogram signal filtering

在信號(hào)靜息電位中可以發(fā)現(xiàn)濾波處理后信號(hào)中依然存在一定的噪聲信號(hào)，若直接將含有噪聲的信號(hào)進(jìn)行手勢(shì)識(shí)別處理，將在一定程度上對(duì)手語(yǔ)動(dòng)作識(shí)別精度造成影響。小波閾值降噪的方法能有效濾除混雜在肌電信號(hào)之中的噪聲信號(hào)。在小波降噪中選擇不同的小波基對(duì)信號(hào)處理效果不盡相同，sym 小波系與db小波系在肌電信號(hào)處理中等具有較好的效果［18-19］。本研究選用db4 小波基作為母小波進(jìn)行降噪。根據(jù)肌電信號(hào)特點(diǎn)及肌電采樣率選取分解層數(shù)為5 層，并采用sqtwolog 閾值對(duì)信號(hào)進(jìn)行降噪。圖7所示為受試者在執(zhí)行手語(yǔ)動(dòng)作“我”時(shí)通道4 所采集肌電信號(hào)，分別展示了降噪前與降噪后信號(hào)效果對(duì)比，經(jīng)小波降噪后信號(hào)噪聲被進(jìn)一步降低。

圖7 小波降噪Fig.7 Wavelet denoising

2.2 肌肉形變數(shù)據(jù)預(yù)處理

在壓力信號(hào)采集過(guò)程中，由于采集過(guò)程中電壓的細(xì)微變化易導(dǎo)致信號(hào)中夾雜高頻噪聲，而反映肌肉形變的壓力信號(hào)變化曲線(xiàn)一般以低頻信號(hào)的形式表現(xiàn)。為避免對(duì)后續(xù)識(shí)別產(chǎn)生影響，本研究利用巴特沃斯模擬濾波器設(shè)計(jì)一款截止頻率為10 Hz 的低通濾波器用于提取低頻肌肉形變信號(hào)。圖8展示了受試者在執(zhí)行動(dòng)作“你”時(shí)通道3所采集到的信號(hào)，所示原始信號(hào)中含有較多高頻信號(hào)，經(jīng)低通濾波后高頻噪聲得到有效抑制。

圖8 肌肉形變信號(hào)預(yù)處理Fig.8 Muscle deformation signal preprocessing

2.3 活動(dòng)段劃分

為有效區(qū)分不同手勢(shì)，需對(duì)所采集信號(hào)進(jìn)行活動(dòng)段劃分以提取手勢(shì)動(dòng)作的起始點(diǎn)與結(jié)束點(diǎn)［20］。肌電信號(hào)的產(chǎn)生會(huì)早于或同時(shí)于手語(yǔ)動(dòng)作。采用肌電信號(hào)的起止點(diǎn)作為手語(yǔ)動(dòng)作發(fā)生的依據(jù)更具有效性，且能避免因不同信號(hào)的劃分誤差導(dǎo)致端點(diǎn)判斷不一致。本研究采用基于能熵比雙門(mén)限端點(diǎn)檢測(cè)法作為起止點(diǎn)判斷方法。該方法以在一定數(shù)據(jù)長(zhǎng)度窗口內(nèi)能量（ELi）與譜熵值（Hi）的比值作為劃分依據(jù)。能熵比（EEFi）定義如下：

在肌電發(fā)生活動(dòng)時(shí)，窗口內(nèi)能量值增大，譜熵值減小，采用能熵比法可以有效突出肌電活動(dòng)段與非活動(dòng)段的差別。圖9分別展示了肌電活動(dòng)段劃分與肌電信號(hào)能熵比。為保證能及時(shí)、準(zhǔn)確地檢測(cè)到肌電活動(dòng)的發(fā)生，本研究將窗口長(zhǎng)度設(shè)定為200，步長(zhǎng)為50。根據(jù)所求得短時(shí)能熵比確定起始點(diǎn)閾值T1與截止點(diǎn)閾值T2。閾值Ti表示方法如下：

圖9 活動(dòng)段劃分Fig.9 Activity segment division

其中，EEFmax與EEFmean分別為活動(dòng)區(qū)段內(nèi)能熵比的最高值與非活動(dòng)段能熵比均值，x為系數(shù)，該系數(shù)通過(guò)多次試驗(yàn)確定。

2.4 特征提取

根據(jù)肌電信號(hào)特點(diǎn)，本研究提取4種肌電時(shí)域特征，分別為各個(gè)通道中的平均絕對(duì)值（MAVEMG）、絕對(duì)值積分（IAVEMG）、波形長(zhǎng)度（WLEMG）、均方根值（RMSEMG）。

肌電特征中MAVEMG反映了區(qū)間內(nèi)肌電信號(hào)平均強(qiáng)度，其表示方式如下：

IAVEMG表現(xiàn)為肌電型號(hào)波形幅值一種較為直接的表現(xiàn)形式，其表示方法如下：

WLEMG為窗口范圍內(nèi)相鄰各個(gè)數(shù)值絕對(duì)差值之和，其表示方法如下：

RMSEMG為窗口內(nèi)各個(gè)數(shù)值的平方和取均值后取其平方根得到，均方根值反映了窗口范圍內(nèi)表面肌電信號(hào)的有效值，其表示方法如下：

肌肉形變信號(hào)特點(diǎn)與肌電信號(hào)不同，肌肉形變信號(hào)為一種低頻信號(hào)且一個(gè)完整動(dòng)作內(nèi)傳感器數(shù)值均高于非活動(dòng)段。依據(jù)信號(hào)特點(diǎn)，本研究提取4種時(shí)域特征分別為方差（VARMD）、平均壓力（AVGMD）和波形長(zhǎng)度（WLMD），其中WLMD表示方法與肌電特征相同。

AVGMD表示在窗口內(nèi)各個(gè)數(shù)據(jù)點(diǎn)壓力平均值，其表示方法如下：

壓電薄膜傳感器信號(hào)在不同手勢(shì)動(dòng)作及不同采樣位置其幅值均有較大差別，因此VARMD具有重要的參考價(jià)值。VARMD表示方法如下：

為研究肌電信號(hào)及肌肉形變信號(hào)對(duì)手語(yǔ)識(shí)別的影響，本研究將以上特征分別構(gòu)造肌電特征向量FEMG、肌肉形變特征向量FMD及信號(hào)特征結(jié)合后特征向量FEMG+MD，在進(jìn)行手語(yǔ)動(dòng)作識(shí)別時(shí)將各特征向量輸入識(shí)別模型。圖10a 和圖10b 分別展示部分肌電IAVEMG特征及肌肉形變AVGMD特征分布，圖中虛線(xiàn)將數(shù)據(jù)劃分為6個(gè)區(qū)域，分別對(duì)應(yīng)6種手勢(shì)動(dòng)作。

圖10 信號(hào)特征分布Fig.10 Signal feature distribution

3 GS-SVM手語(yǔ)識(shí)別模型

3.1 支持向量機(jī)（SVM）

SVM 是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，具有較好的泛化能力［21］。SVM是一種二分類(lèi)器，基本思想為在高維空間建立一個(gè)超平面，使兩類(lèi)數(shù)據(jù)樣本之間的間隔最大化。本研究需要處理6 種手語(yǔ)動(dòng)作，是一種多分類(lèi)問(wèn)題，需要構(gòu)建一個(gè)多分類(lèi)器。本研究通過(guò)間接法構(gòu)造多分類(lèi)器。針對(duì)SVM中存在的線(xiàn)性不可分情況，引入核函數(shù)與懲罰函數(shù)以解決線(xiàn)性不可分問(wèn)題。

3.2 GS-SVM分類(lèi)算法

人工調(diào)參存在誤差大、依靠經(jīng)驗(yàn)設(shè)置等缺點(diǎn)，為保證分類(lèi)器精度，本研究采用網(wǎng)格搜索法對(duì)SVM 中懲罰參數(shù)C與核函數(shù)參數(shù)g進(jìn)行尋優(yōu)。網(wǎng)格搜索法為對(duì)需要搜索的參數(shù)設(shè)定一個(gè)搜索范圍，組成一個(gè)搜索網(wǎng)絡(luò)，在設(shè)定網(wǎng)絡(luò)范圍內(nèi)對(duì)參數(shù)C與g進(jìn)行逐點(diǎn)尋找最優(yōu)參數(shù)，最終篩選出一組可獲得較高分類(lèi)精度的參數(shù)值。網(wǎng)格搜索方法是一種自適應(yīng)參數(shù)尋優(yōu)方法，可在不同數(shù)據(jù)樣本中自行搜索最優(yōu)參數(shù)，進(jìn)而提高模型的泛化能力。

4 實(shí)驗(yàn)結(jié)果分析

為探究不同傳感器信號(hào)對(duì)手語(yǔ)動(dòng)作分類(lèi)的影響，本研究從所采集的數(shù)據(jù)中隨機(jī)選取部分樣本，分別將FEMG、FMD、FEMG+MD作為識(shí)別模型輸入，采用GS-SVM 識(shí)別模型對(duì)6 種手語(yǔ)動(dòng)作進(jìn)行識(shí)別。圖11及表1分別展示了不同信號(hào)輸入時(shí)的識(shí)別結(jié)果。其中圖11 表示采用肌肉形變信號(hào)、肌電信號(hào)以及信號(hào)融合后的手語(yǔ)識(shí)別結(jié)果。

圖11 分類(lèi)結(jié)果Fig.11 Classification results

表1為GS-SVM 在不同信號(hào)輸入條件下對(duì)6 種手語(yǔ)的識(shí)別正確率。采用肌電信號(hào)對(duì)6 種手語(yǔ)動(dòng)作的識(shí)別正確率為87.9%，采用肌肉形變信號(hào)的手語(yǔ)識(shí)別正確率為85.0%，通過(guò)信號(hào)融合后手語(yǔ)動(dòng)作識(shí)別正確率達(dá)到97.2%，與采用肌電信號(hào)相比識(shí)別正確率提高9.3%。通過(guò)手語(yǔ)2 的識(shí)別結(jié)果可得在肌電信號(hào)識(shí)別正確率達(dá)到100%，而肌肉形變信號(hào)識(shí)別正確率較低的情況下，易出現(xiàn)個(gè)別樣本被錯(cuò)分的情況，但融合后手勢(shì)識(shí)別正確率仍高達(dá)99.5%。肌電信號(hào)對(duì)手語(yǔ)4的識(shí)別正確率僅為68.5%，但肌肉形變信號(hào)對(duì)手語(yǔ)4識(shí)別正確率達(dá)到96%；肌肉形變信號(hào)對(duì)手語(yǔ)3 識(shí)別正確率僅為59.5%，肌電信號(hào)對(duì)手語(yǔ)3 的識(shí)別正確率達(dá)到89.5%，通過(guò)信號(hào)融合后兩種手語(yǔ)手勢(shì)的識(shí)別正確率分別提高至98%與93.5%。

表1 不同信號(hào)識(shí)別正確率（%）Tab.1 Recognition accuracy based on different signals(%)

上述結(jié)果表明通過(guò)肌電信號(hào)與肌肉形變信號(hào)融合，不僅能提高整體手語(yǔ)識(shí)別正確率，且針對(duì)某種信號(hào)識(shí)別效果較差的手語(yǔ)動(dòng)作，通過(guò)信號(hào)融合可以改善對(duì)應(yīng)手語(yǔ)的識(shí)別正確率。

5 結(jié)論

本研究提出一種融合肌電信號(hào)及肌肉形變信號(hào)的手勢(shì)識(shí)別框架，通過(guò)自主設(shè)計(jì)信號(hào)采集系統(tǒng)采集肌電信號(hào)及肌肉形變信號(hào)，針對(duì)肌電信號(hào)及肌肉形變信號(hào)的特點(diǎn)，分別采用不同的降噪方法。通過(guò)短時(shí)能熵比雙門(mén)限端點(diǎn)檢測(cè)法提取信號(hào)中有用部分，并進(jìn)行特征提取，從而得到信號(hào)特征向量。對(duì)所得到的特征向量進(jìn)行特征層融合。分別將肌電特征向量、肌肉形變特征向量與融合后特征向量輸入GS-SVM 識(shí)別模型，其中僅肌電信號(hào)獲得87.9%的識(shí)別正確率，信號(hào)融合后識(shí)別正確率達(dá)到97.2%，與僅采用肌電信號(hào)識(shí)別結(jié)果相比提高9.3%。試驗(yàn)結(jié)果表明，本研究提出的基于肌電信號(hào)與肌肉形變信號(hào)的手語(yǔ)識(shí)別方法具有良好的識(shí)別效果，為手語(yǔ)識(shí)別的發(fā)展提供重要的技術(shù)支撐。