強(qiáng) 威，李柏輝，張鈞杰，劉 凱，高宏峰

(河南科技大學(xué) 信息工程學(xué)院，河南 洛陽(yáng) 471023)

0 引言

隨著時(shí)代進(jìn)步、科學(xué)發(fā)展，人們?cè)絹?lái)越偏向于智能、舒適的生活、工作方式。人們?cè)趯ふ腋鞣N方式將電腦設(shè)備進(jìn)行簡(jiǎn)化改進(jìn)，力求能脫離各種設(shè)備的線纜束縛，所以無(wú)線鍵盤(pán)鼠標(biāo)、藍(lán)牙音響應(yīng)運(yùn)而生。然而，使用鍵盤(pán)鼠標(biāo)來(lái)控制電腦的方式依然把人們約束在小范圍內(nèi)，離開(kāi)了它們就無(wú)法操控電腦。后來(lái)，各種體感設(shè)備像雨后的春筍一樣，不斷涌現(xiàn)在人們面前，像站在攝像頭前的體感游戲、使用光電傳感器的空中鼠標(biāo)等等?？墒沁@些產(chǎn)品在使用上有諸多限制，攝像頭體感系統(tǒng)只能在攝像頭前面做動(dòng)作才能識(shí)別，光電傳感器體感設(shè)備易受強(qiáng)光干擾[1]。

本系統(tǒng)魔幻手套使用新型的設(shè)計(jì)理念，一方面運(yùn)動(dòng)傳感器MPU6050和彎曲電阻相結(jié)合實(shí)現(xiàn)移動(dòng)電腦光標(biāo)和單擊、雙擊的操作；另一方面將MPU6050獲取的加速度數(shù)據(jù)作為動(dòng)作特征，選用在語(yǔ)音識(shí)別應(yīng)用廣泛的隱馬爾科夫模型(HMM)作為手勢(shì)識(shí)別模型對(duì)動(dòng)作進(jìn)行訓(xùn)練和識(shí)別。綜合以上兩個(gè)方面的功能，設(shè)計(jì)了鼠標(biāo)模式和手勢(shì)識(shí)別模式，兩種模式之間通過(guò)特定動(dòng)作進(jìn)行切換。

1 硬件設(shè)計(jì)

本系統(tǒng)由手套和接收端組成，圖1是手套的結(jié)構(gòu)框圖。采用意法半導(dǎo)體公司的STM32F103C8T6作為主控芯片，負(fù)責(zé)讀取運(yùn)動(dòng)傳感器采集的加速度數(shù)據(jù)，然后通過(guò)NRF無(wú)線傳輸模塊向接收端發(fā)送數(shù)據(jù)。運(yùn)動(dòng)傳感器MPU6050是一款9軸運(yùn)動(dòng)傳感器，集成了3軸MEMS陀螺儀，3軸加速度計(jì)以及一個(gè)可擴(kuò)展的數(shù)字運(yùn)動(dòng)處理器DMP(Digital Motion Processor)，通過(guò)I2C接口和主芯片相連。

圖1 手套主機(jī)結(jié)構(gòu)框圖

flex彎曲電阻傳感器可以把手指的彎曲程度轉(zhuǎn)換成9 000 Ω～22 000 Ω之間的阻值，再通過(guò)分壓式電路轉(zhuǎn)換成相應(yīng)的電壓值。采用NORDIC公司生產(chǎn)的NRF24L01無(wú)線通信芯片，實(shí)現(xiàn)主機(jī)到接收端點(diǎn)對(duì)點(diǎn)的通信。另外，為了老師和演講者使用方便，作品中加了激光燈，通過(guò)固定的動(dòng)作來(lái)開(kāi)啟和關(guān)閉。

接收端硬件主要由NRF24L01無(wú)線接收模塊和CH340串口轉(zhuǎn)換芯片組成，其中NRF24L01用來(lái)接收手套發(fā)出的指令，再經(jīng)過(guò)CH340芯片將信號(hào)轉(zhuǎn)換為串口輸出的形式，方便計(jì)算機(jī)讀取數(shù)據(jù)。計(jì)算機(jī)讀取到數(shù)據(jù)之后進(jìn)行判斷處理，完成手勢(shì)動(dòng)作的響應(yīng)。

2 系統(tǒng)工作流程

本系統(tǒng)主要包括兩個(gè)方面的功能，一是模擬鼠標(biāo)，通過(guò)MPU6050獲取手掌移動(dòng)時(shí)的X和Y軸的加速度數(shù)據(jù)，經(jīng)過(guò)濾波后發(fā)送到接收端，然后調(diào)用Windows系統(tǒng)中相應(yīng)API，控制電腦光標(biāo)的移動(dòng)，彎曲電阻獲取手指彎曲狀態(tài)后，由接收端實(shí)現(xiàn)單擊、雙擊的操作；二是手勢(shì)識(shí)別，識(shí)別流程如圖2所示，用戶通過(guò)主機(jī)設(shè)備為手勢(shì)集合中的每個(gè)動(dòng)作采集訓(xùn)練樣本，經(jīng)過(guò)預(yù)處理后發(fā)送到接收端，然后經(jīng)過(guò)特征提取后作為訓(xùn)練樣本用于訓(xùn)練隱馬爾科夫模型(HMM)，經(jīng)過(guò)訓(xùn)練后的模型即可實(shí)時(shí)識(shí)別用戶的手勢(shì)。這些手勢(shì)可以映射成不同的指令控制一些應(yīng)用。

圖2 手勢(shì)識(shí)別流程

3 識(shí)別算法設(shè)計(jì)

整個(gè)手勢(shì)識(shí)別過(guò)程的核心在于數(shù)據(jù)的特征提取、HMM模型學(xué)習(xí)和識(shí)別兩個(gè)部分。

MPU6050傳感器可以采集到X、Y和Z軸的加速度，Z軸方向上的加速度有重力加速度的干擾，僅僅取X和Y軸的加速度數(shù)據(jù)作為手勢(shì)特征。為了降低識(shí)別過(guò)程的復(fù)雜度，取數(shù)據(jù)X和Y軸加速度的正弦值為特征值，即：

加速度傳感器數(shù)據(jù)與語(yǔ)音數(shù)據(jù)類似，都是時(shí)序序列，因此本系統(tǒng)選用在語(yǔ)音識(shí)別領(lǐng)域應(yīng)用廣泛的隱馬爾科夫模型作為手勢(shì)識(shí)別模型。隱馬爾可夫模型(HMM)是基于馬爾科夫鏈而開(kāi)發(fā)的。在實(shí)際問(wèn)題中，人們觀測(cè)到的現(xiàn)實(shí)不一定總是與狀態(tài)相對(duì)應(yīng)，而是以概率分布為基礎(chǔ)的。它是一個(gè)雙重隨機(jī)過(guò)程，一個(gè)是馬爾科夫鏈，它是基本隨機(jī)過(guò)程，描述狀態(tài)的轉(zhuǎn)移。另一個(gè)隨機(jī)過(guò)程，通過(guò)統(tǒng)計(jì)來(lái)描述狀態(tài)和觀察值之間的對(duì)應(yīng)關(guān)系[2]。

一個(gè)隱馬爾科夫模型分為兩部分，一是馬爾科夫鏈，用π，A描述輸出狀態(tài)序列；二是隨機(jī)過(guò)程，由B描述，產(chǎn)生觀察值序列，所以HMM模型可以寫(xiě)成一個(gè)三元組(π, A, B)[3]。如果一個(gè)系統(tǒng)可以作為HMM模型被描述，就可以用來(lái)解決三個(gè)基本問(wèn)題：使用前向算法(forward algorithm)，針對(duì)一個(gè)觀察序列匹配最可能的系統(tǒng)；使用Viterbi算法，對(duì)于一個(gè)已生成的觀察序列，確定最可能的隱藏狀態(tài)序列；使用前向-后向算法(forward-backward algorithm)，針對(duì)已生成的觀察序列，決定最可能的模型參數(shù)。

算法主要分為兩步：

第1步：使用前向后向算法對(duì)經(jīng)過(guò)特征提取的加速度序列，即觀察值序列，進(jìn)行訓(xùn)練學(xué)習(xí)得到該手勢(shì)對(duì)應(yīng)的HMM模型參數(shù)。

第2步：使用前向算法將手勢(shì)特征序列作為輸入，計(jì)算產(chǎn)生此序列的概率，找出它最大時(shí)的模型，該模型對(duì)應(yīng)的手勢(shì)即為識(shí)別結(jié)果。

4 試驗(yàn)結(jié)果

本系統(tǒng)設(shè)計(jì)了10個(gè)字母和5個(gè)符號(hào)共15種手勢(shì)，并對(duì)其進(jìn)行了測(cè)試，結(jié)果表明能達(dá)到很高的識(shí)別率。如圖3所示，圓點(diǎn)表示手勢(shì)開(kāi)始，箭頭表示手勢(shì)軌跡。每個(gè)動(dòng)作要求一次性做完，中間不能有停頓，由大拇指彎曲動(dòng)作發(fā)送數(shù)據(jù)起始和結(jié)束信號(hào)。

圖3 手勢(shì)列表

為驗(yàn)證系統(tǒng)的識(shí)別效果，每種動(dòng)作采集50組數(shù)據(jù)，其中10組用于訓(xùn)練HMM模型，40組用于識(shí)別。識(shí)別效果如圖4所示。手勢(shì)從左到右依次對(duì)應(yīng)1-15的編號(hào)。

圖4 實(shí)驗(yàn)結(jié)果

5 結(jié)束語(yǔ)

本系統(tǒng)融合了鼠標(biāo)控制和手勢(shì)識(shí)別兩個(gè)方面的功能，以更加多樣化的方式實(shí)現(xiàn)了對(duì)計(jì)算機(jī)操控，打破了傳統(tǒng)鼠標(biāo)操作的局限性。在人際交互愈來(lái)愈人性化、隨意化、簡(jiǎn)單化的今天，本系統(tǒng)具有非常廣闊的市場(chǎng)前景。