徐大杰+康書(shū)寧+李松林

摘要：本系統(tǒng)設(shè)計(jì)一款翻譯手語(yǔ)的低功耗便攜式手套，它能有效地解決正常人與聾啞人的交流障礙問(wèn)題。系統(tǒng)使用Cortex-A53為主處理器，以Linux為平臺(tái)，通過(guò)數(shù)據(jù)端采集手部數(shù)據(jù)，利用改進(jìn)的算法解析出正確手勢(shì)，最后經(jīng)語(yǔ)音合成模塊進(jìn)行語(yǔ)音播放。該智能手套具有低功耗、智能翻譯和便攜式等顯著優(yōu)點(diǎn)。

關(guān)鍵詞：微處理器；語(yǔ)音合成；彎曲度傳感器；智能翻譯

中圖分類號(hào)：TH878 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）06-0063-02

手語(yǔ)是一種獨(dú)特的視覺(jué)語(yǔ)言，是聾啞人表達(dá)情感、同外界溝通的重要工具。隨著社會(huì)的進(jìn)步，聾啞人這一弱勢(shì)群體逐漸受到了社會(huì)的關(guān)注。第六次全國(guó)人口普查公布的數(shù)據(jù)顯示，全國(guó)各類殘疾人總數(shù)為8502萬(wàn)人，其中聽(tīng)力殘疾2054萬(wàn)人，言語(yǔ)殘疾130萬(wàn)人，分別在殘疾人總數(shù)的24.16%和1.53%。聾啞人只能通過(guò)手語(yǔ)進(jìn)行相互交流，他們與正常人的交流存在極大的障礙。本系統(tǒng)設(shè)計(jì)了一款低功耗便攜式的智能手語(yǔ)翻譯手套。通過(guò)對(duì)硬件的改善，具有低功耗、便攜、數(shù)據(jù)量小等特點(diǎn)。相比于其他手勢(shì)捕獲技術(shù)，能精確的記錄手勢(shì)的空間數(shù)據(jù)，不存在手勢(shì)死區(qū)。

1 總體結(jié)構(gòu)與工作原理

系統(tǒng)以低功耗、便捷、準(zhǔn)確翻譯為設(shè)計(jì)原則。數(shù)據(jù)端以STM32為微處理器，采用彎曲傳感器、接觸式傳感器、陀螺儀等傳感器分別進(jìn)行手指彎曲程度、指尖是否接觸、手勢(shì)在空間中的姿態(tài)等數(shù)據(jù)的采集。將采集到的手勢(shì)數(shù)據(jù)經(jīng)WIFI傳到識(shí)別端。識(shí)別端使用Cortex-A53處理器，使用改進(jìn)的算法，與SD卡中的模板手勢(shì)庫(kù)匹配，最終完成手勢(shì)動(dòng)作捕捉并翻譯成文字。翻譯的文字送入語(yǔ)音模塊進(jìn)行語(yǔ)音合成。系統(tǒng)框圖如圖1。

2 系統(tǒng)設(shè)計(jì)

2.1 手指彎曲傳感及手指接觸式傳感器

為獲取手指的準(zhǔn)確的姿態(tài)數(shù)據(jù)，本設(shè)計(jì)采用Flex4.5彎曲傳感器，通過(guò)彎曲傳感器自身物理特性，將彎曲度體現(xiàn)為阻值的變化。電路中進(jìn)一步將阻值變化轉(zhuǎn)化為電壓的變化，最后將電壓送入ADC進(jìn)行量化，從而建立手指彎曲度與AD值之間的映射關(guān)系。

如圖2，輸入同向端的電壓為：，ADC采集的AD值為：，其中Vi為A/D輸入通道的電壓值，Rx為彎曲傳感器的電阻值，N為A/D轉(zhuǎn)換器的分辨率。如圖2所示。

2.2 手勢(shì)姿態(tài)獲取模塊

為獲取手部在空間的姿態(tài)，如加速度、歐拉角、速度，系統(tǒng)采用MPU9250。相比MPU6050，其動(dòng)態(tài)特性、處理速度和數(shù)據(jù)精度等方面都有很大的提升。在通信協(xié)議上，支持400Khz IIC和1Mhz SPI。在實(shí)時(shí)性要求更高的場(chǎng)合，可以使用可編程中斷，直接讀取傳感器和中斷寄存器，最大可支持20Mhz SPI。同時(shí)它也是一款超低功耗的傳感器，供電電壓可使用2.4V-3.6V，在正常工作下，地磁計(jì)的工作電流僅為280uA；加速度計(jì)電流為8.4uA；陀螺儀的電流為3.2mA，在休眠模式下電流為8uA。

2.3 語(yǔ)音合成模塊

為解決聾啞人與正常人的交流問(wèn)題，系統(tǒng)中使用語(yǔ)音合成模塊，將翻譯的文本信息轉(zhuǎn)換成語(yǔ)音，設(shè)計(jì)中選取XFC5152語(yǔ)音合成模塊。

該語(yǔ)音合成模塊，支持任意中文文本、英文文本的合成，支持中英文混讀。在通信方式上，支持UART、IIC、SPI三種通訊方式。具體工作框圖如圖3。

3 調(diào)試結(jié)果

本實(shí)驗(yàn)選取3個(gè)受試者，分別對(duì)198個(gè)常用孤立手語(yǔ)詞、英文字母和阿拉伯?dāng)?shù)字的手勢(shì)采集5遍，選擇任意2位，每位中的4組數(shù)據(jù)作為手勢(shì)訓(xùn)練樣本集，利用Baum-Welch算法進(jìn)行多次訓(xùn)練，為每個(gè)手勢(shì)訓(xùn)練獨(dú)立的HMM模型參數(shù)，得到穩(wěn)定的測(cè)試模板，方便用戶直接使用。以其中一次實(shí)驗(yàn)數(shù)據(jù)分析，數(shù)據(jù)采集周期為30ms，通過(guò)WIFI發(fā)送至電腦。

識(shí)別端配置UART參數(shù)，包括波特率、數(shù)據(jù)位、停止位等和WIFI的IP和端口等參數(shù)。開(kāi)始接收手語(yǔ)手套的數(shù)據(jù)，并利用DTW和HMM算法與模板手勢(shì)庫(kù)進(jìn)行匹配，并識(shí)別出最優(yōu)手勢(shì)并顯示。圖4為實(shí)際手勢(shì)識(shí)別過(guò)程。

4 結(jié)語(yǔ)

本系統(tǒng)設(shè)計(jì)并實(shí)現(xiàn)了一款便攜低功耗智能翻譯手套，手語(yǔ)數(shù)據(jù)經(jīng)改進(jìn)過(guò)的算法處理并識(shí)別，最終翻譯成文本信息并進(jìn)行語(yǔ)音播報(bào)。通過(guò)對(duì)硬件的改善，使得功耗得到降低，單只手套的工作電流約為15.3mA。該系統(tǒng)對(duì)常見(jiàn)手勢(shì)的識(shí)別率高，識(shí)別速度快，并且結(jié)構(gòu)簡(jiǎn)單、便于攜帶、功耗低，可廣泛運(yùn)用于聾啞人與正常人的交流中，具有很好的前景和應(yīng)用市場(chǎng)。

參考文獻(xiàn)

[1]趙燕潮.中國(guó)殘聯(lián)發(fā)布我國(guó)最新殘疾人口數(shù)據(jù)[J].殘疾人研究，2012，（04）：11.

[2]白瑞霞，王俊珍.高校手語(yǔ)翻譯專業(yè)實(shí)踐教學(xué)探索[J].南京特教學(xué)院學(xué)報(bào)，2012，（04）：8-14.

[3]GB/T 24435-2009，中國(guó)手語(yǔ)基本手勢(shì)[S].2009.endprint