曾瑋宸 劉 茜

（上海工程技術(shù)大學(xué)，上海，201620）

隨著人工智能技術(shù)的不斷發(fā)展，手勢識別技術(shù)的應(yīng)用領(lǐng)域越來越大，利用手勢識別技術(shù)，可以實(shí)現(xiàn)遠(yuǎn)程控制［1］、虛擬現(xiàn)實(shí)［2］、生活助理［3］等功能。手勢識別技術(shù)按照識別原理的不同主要分為基于圖像分析的手勢識別和基于傳感器的手勢識別。圖像分析識別是通過攝像頭獲取手指關(guān)節(jié)圖像，然后在經(jīng)過特定的圖像識別算法對手勢進(jìn)行分析，可以裸手識別，但是圖像識別受環(huán)境影響，在背景復(fù)雜、光線較暗的地方識別準(zhǔn)確率會下降，由于攝像頭通常不能伴隨人一起移動，難以適應(yīng)運(yùn)動、旅游等情況［4］；傳感器識別是在手上佩戴智能手套或者其他可穿戴傳感器設(shè)備，通過傳感器測量彎曲［5］、肌電［6］、慣性［7］等信號，然后用特定算法對這些信號進(jìn)行分析后獲得手勢信息。

本研究基于包覆紡紗技術(shù)，紡制了兼具優(yōu)良彈性和導(dǎo)電性的鍍銀錦綸氨綸包覆紗，將該紗線和彈性手套相結(jié)合，制備了能檢測手指關(guān)節(jié)彎曲變形的應(yīng)變傳感器?；谶@種傳感器，設(shè)計了一個手勢識別系統(tǒng)，包括具有信號采集和傳輸功能的硬件設(shè)備，以及對信號進(jìn)行分析的識別算法和軟件，可以實(shí)現(xiàn)對人體靜態(tài)手勢的識別。

1 鍍銀錦綸氨綸包覆紗的紡制

1.1 試驗(yàn)材料

氨綸復(fù)絲（155 dtex，海寧凱威紡織有限公司），鍍銀錦綸復(fù)絲（155 dtex，單位電阻30Ω/cm，大致遠(yuǎn)防輻射面料有限公司），彈性手套（錦綸材質(zhì)，雙層結(jié)構(gòu)，常熟馨宏手套有限公司）。

1.2 試驗(yàn)設(shè)備

XS（08）XT型單紗強(qiáng)力儀（旭賽儀器有限公司），B35型萬用表（利利普光電科技有限公司）。

1.3 試驗(yàn)步驟

以氨綸復(fù)絲為芯紗，鍍銀錦綸復(fù)絲為外包紗，在包覆紡紗機(jī)上紡制彈性導(dǎo)電包覆紗線，保持包覆機(jī)的成紗卷繞速度不變，通過控制外包紗纏繞軸的速度控制外包紗線纏繞在單位長度芯紗上的根數(shù)。本研究控制包覆紗的包覆度在20捻/cm～40捻/cm，紡制了5種包覆度的包覆紗。

1.4 性能測試和分析

包覆紗的機(jī)械性能在單紗強(qiáng)力儀上測試，在機(jī)器上定速拉伸不同包覆度的紗線測量斷裂強(qiáng)力與斷裂伸長率的關(guān)系，測試標(biāo)準(zhǔn)為GB/T 3916—2013《紡織品 卷裝紗 單根紗線斷裂強(qiáng)力和斷裂伸長率的測定（CRE法）》，結(jié)果如圖1所示。

圖1 不同包覆度紗線的應(yīng)力-應(yīng)變曲線

從圖1可以看出，隨著包覆度的增加，紗線的斷裂強(qiáng)力減小，斷裂伸長率增加。斷裂伸長率增加是因?yàn)榘捕仍黾邮沟脝挝婚L度包覆紗上纏繞鍍銀錦綸外包紗的總長度變長，拉伸時伸長量增加；斷裂強(qiáng)力的減小是因?yàn)榧喚€的斷裂強(qiáng)力取決于紗線上的弱節(jié)，紗線越長越可能出現(xiàn)弱節(jié)。

包覆紗的傳感性能通過單紗強(qiáng)力儀和萬用表測量，在紗線兩端夾持夾頭，連接萬用表，測量紗線拉伸時的電阻變化率，測試結(jié)果如圖2所示。

從圖2中可以看出，隨著紗線的拉伸，紗線的電阻變化率不斷變大，這是因?yàn)榘布喌睦鞄蛹喚€表面外包紗的伸長，使得外包紗表面銀鍍層厚度變薄，長度變長，總體電阻增大。將圖2曲線求導(dǎo)得到靈敏度-應(yīng)變曲線，如圖3所示。

圖2 不同包覆度紗線的電阻變化率-應(yīng)變曲線

由圖3可以看出，拉伸過程中，包覆紗的靈敏度不斷增大，說明拉伸過程中紗線的電阻變化率不斷增大。不同紗線的最大靈敏度和包覆度呈反比，這是因?yàn)槔鞌嗔褧r不同紗線的電阻變化量相似，而包覆度大的紗線應(yīng)變大，電阻變化率小，靈敏度低。

圖3 不同包覆度紗線的靈敏度-應(yīng)變曲線

2 手勢識別系統(tǒng)的設(shè)計

2.1 手套結(jié)構(gòu)應(yīng)變傳感器的制備

選擇紗線應(yīng)該考慮紗線性能和傳感器應(yīng)用的匹配，本研究設(shè)計的傳感器主要考慮紗線的靈敏度和拉伸應(yīng)力。靈敏度小的紗線難以監(jiān)測拉伸時的電阻變化，拉伸應(yīng)力大的紗線會增加手指彎曲時受到的阻力。綜上所述，本研究選擇包覆度為30捻/cm的彈性導(dǎo)電包覆紗用于傳感器制備。

將制備得到的彈性導(dǎo)電包覆紗通過縫紉的方式和手套相結(jié)合，縫紉前先用筆在縫紉的位置做好記號，縫紉的距離和手指的長度有關(guān)，然后脫下手套，將彈性導(dǎo)電包覆紗穿入縫紉針，進(jìn)行縫紉，為了保證手套整體的美觀和穿戴舒適性，紗線浮于雙層織物之間，通過結(jié)點(diǎn)的方式固定紗線并且和表層織物連接，具體縫紉方式如圖4所示。

圖4 包覆紗在縫紉手套上的示意圖

圖4（a）中藍(lán)色線條表示彈性導(dǎo)電包覆紗，浮于雙層織物之間，黑色結(jié)點(diǎn)表示紗線和手套的固定點(diǎn)，為了方便后續(xù)測試，紗線經(jīng)過一個彎折后回到初始縫紉點(diǎn)附近。從圖4（b）效果圖中可以看到，表面只能看到一些結(jié)點(diǎn)，保證了手套整體結(jié)構(gòu)的美觀。將每個關(guān)節(jié)下方結(jié)點(diǎn)的紗線通過導(dǎo)線和電阻測量儀連接，就可以通過電阻大小的變化了解手指關(guān)節(jié)的彎曲程度。

2.2 數(shù)據(jù)轉(zhuǎn)換和手勢識別算法

電阻的大小只是一個初步的信息，人們更關(guān)心的是比較直觀的信息，比如當(dāng)前的手勢信息、各個關(guān)節(jié)的彎曲狀態(tài)，因此需要通過一定的算法對數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理。

2.2.1 電阻-關(guān)節(jié)彎曲度轉(zhuǎn)換和區(qū)間比例算法

人的手指因?yàn)榇旨?xì)、長短等特征的不同，在手指彎曲時彈性導(dǎo)電紗的拉伸應(yīng)變長度不同，電阻值也不相同，如果在手勢識別的過程中以某個人的手勢模型設(shè)計標(biāo)準(zhǔn)模型的話難免產(chǎn)生誤差，因此需要探尋規(guī)律，設(shè)計一種通用的模型來減小誤差，增加手勢識別的準(zhǔn)確率。

經(jīng)過觀察研究發(fā)現(xiàn)，不同人的手指盡管差異較大，但是每個手指關(guān)節(jié)的彎曲范圍都是相似的，例如大拇指的指間關(guān)節(jié)彎曲范圍約為0°到90°，掌指關(guān)節(jié)彎曲范圍約為0°到60°，關(guān)節(jié)彎曲的度數(shù)又稱為關(guān)節(jié)彎曲度，可以先將電阻值轉(zhuǎn)換為關(guān)節(jié)彎曲度，然后進(jìn)行手勢識別。本研究邀請了5名青年人作為測試者，探究關(guān)節(jié)彎曲程度和電阻值之間的關(guān)系。讓測試者佩戴手套連接電阻測量裝置，控制關(guān)節(jié)彎曲角度，每次彎曲10°，逐漸彎曲手指關(guān)節(jié)至最大程度，繪制電阻-關(guān)節(jié)彎曲度曲線，以食指的指間關(guān)節(jié)為例，電阻和關(guān)節(jié)彎曲度的關(guān)系測試結(jié)果如圖5所示。

圖5 食指指間電阻和關(guān)節(jié)彎曲度的關(guān)系曲線

從圖5中可以看出，不同測試者之間手指電阻-關(guān)節(jié)彎曲度的對應(yīng)關(guān)系曲線差距很大，最大和最小電阻值、曲線斜率都不一致，難以找出統(tǒng)一規(guī)律，但發(fā)現(xiàn)電阻的變化曲線具有一定的線性規(guī)律，因此將每次測量的最大和最小電阻值作為基準(zhǔn)區(qū)間的下限和上限，以百分比的形式表示當(dāng)前電阻值在這個區(qū)間的位置，將電阻值轉(zhuǎn)換為電阻區(qū)間位置，見式（1）。

繪制不同測試者的電阻區(qū)間位置-關(guān)節(jié)彎曲度曲線，結(jié)果如圖6所示。

圖6 食指指間電阻區(qū)間位置和關(guān)節(jié)彎曲度的關(guān)系曲線

由圖6可以發(fā)現(xiàn)，對于不同測試者，雖然相同關(guān)節(jié)彎曲度對應(yīng)的電阻值不相同，但是電阻值在最小電阻值到最大電阻值的這個區(qū)間內(nèi)的位置基本一致，測試其他手指關(guān)節(jié)后發(fā)現(xiàn)具有相同的規(guī)律，因此本研究通過將電阻值轉(zhuǎn)換成電阻區(qū)間位置的方式進(jìn)行校準(zhǔn)，經(jīng)過測量得到電阻區(qū)間位置對應(yīng)關(guān)節(jié)彎曲度的規(guī)律見表1。

表1 不同手指電阻區(qū)間位置和關(guān)節(jié)彎曲度的關(guān)系

從表1的數(shù)據(jù)中只能得到整10°的關(guān)節(jié)彎曲度情況下的電阻區(qū)間位置，為了實(shí)現(xiàn)數(shù)據(jù)的精確對應(yīng)，需要進(jìn)行數(shù)據(jù)擬合，從而得到不同手指關(guān)節(jié)彎曲度和電阻區(qū)間位置的關(guān)系。線性擬合后發(fā)現(xiàn)每組擬合表達(dá)式的相關(guān)系數(shù)都接近1，線性相關(guān)性好。

2.2.2 關(guān)節(jié)彎曲度-特征值轉(zhuǎn)換和區(qū)間分類算法

利用模型校準(zhǔn)得到的通用區(qū)間模型，可以知道當(dāng)前電阻值對應(yīng)的關(guān)節(jié)彎曲度，但一個手有5個手指、10個關(guān)節(jié)，每個關(guān)節(jié)的最大彎曲度在60°～110°之間，如果以關(guān)節(jié)彎曲度取整數(shù)進(jìn)行手勢比對，總計會有6110～11110個數(shù)據(jù)表示不同的手勢，并且許多數(shù)據(jù)對應(yīng)的是同一個手勢，難以進(jìn)行手勢識別和手勢數(shù)據(jù)庫的構(gòu)建，因此需要將關(guān)節(jié)彎曲度的范圍平均分成幾個部分，便于計算和識別。表達(dá)一個關(guān)節(jié)的彎曲程度至少要3個級別：伸直、半彎曲、全彎曲，因此最少要將彎曲度區(qū)間分為3份，均分份數(shù)越多，識別越精確，但是計算量和識別時間也越長，出現(xiàn)多個特征值對應(yīng)一個手勢的情況，反之份數(shù)少、識別快，數(shù)據(jù)庫構(gòu)建簡單，但是識別準(zhǔn)確率下降，出現(xiàn)一個特征值對應(yīng)多個手勢的情況。由于一個特征值對應(yīng)多個手勢會導(dǎo)致不能識別，而多個特征值對應(yīng)一個手勢只是增加了計算量，且在實(shí)際情況中一個手勢可以對應(yīng)多個特征值。通過預(yù)試驗(yàn)發(fā)現(xiàn)均分5份時不出現(xiàn)一對多的情況，因此將均分份數(shù)定為5份，均分后每份長度都為整數(shù)，便于計算，見表2。

表2 特征值下不同關(guān)節(jié)對應(yīng)的關(guān)節(jié)彎曲度區(qū)間

將每一份依次以1～5的5個自然數(shù)作為彎曲程度特征值，通過綜合10個關(guān)節(jié)的特征值就可以得到一個10位數(shù)的手勢特征值。以手勢“數(shù)字1”為例，數(shù)組a（）存儲每個關(guān)節(jié)的數(shù)據(jù)，其中a（1）～a（5）代表大拇指到小拇指的指間關(guān)節(jié)，a（6）～a（10）代表大拇指到小拇指的掌指關(guān)節(jié)，數(shù)據(jù)轉(zhuǎn)換流程見表3。

表3 手勢“數(shù)字1”的數(shù)據(jù)轉(zhuǎn)換流程

將a（1）到a（10）的特征值組合起來就變成了一個10位數(shù)的手勢特征值“3155521555”，用于表示手勢“數(shù)字1”。

2.3 手勢數(shù)據(jù)庫的建立

為了實(shí)現(xiàn)手勢識別功能，需要先在數(shù)據(jù)庫中添加一些基礎(chǔ)的手勢，由于手勢是一種主觀的信息，因此本研究邀請了20名試驗(yàn)者對預(yù)設(shè)手勢的構(gòu)建進(jìn)行參與討論，先收集所有試驗(yàn)者提出的手勢，然后進(jìn)行集中討論，對提出的手勢模型進(jìn)行刪減修改，最終選擇出包括阿拉伯?dāng)?shù)字、英文短語、招呼手勢等21種預(yù)設(shè)手勢，對每種手勢都進(jìn)行兩個方向的拍照，讓手勢的展示更為生動形象。

顯示手勢時，程序會展示手勢名稱和手勢圖片來告知用戶的當(dāng)前手勢，手勢名稱在數(shù)據(jù)庫中以字符串的形式保存，而圖片文件不便于保存在數(shù)據(jù)庫中，因此將圖片保存在硬盤中，將圖片的地址保存在數(shù)據(jù)庫中，在圖片展示時先讀取數(shù)據(jù)庫中的圖片地址，然后找到對應(yīng)圖片來進(jìn)行展示。

2.4 手勢識別的界面和功能

為了實(shí)現(xiàn)手勢識別設(shè)備的人機(jī)交互功能，需要設(shè)計一種面向用戶的電腦軟件，使得用戶可以在電腦上進(jìn)行操作。本研究基于Visual Studio 2008軟件設(shè)計了一個手勢識別軟件，可以實(shí)現(xiàn)數(shù)據(jù)讀取、模型校準(zhǔn)、詳細(xì)信息、手勢識別和手勢建立功能，所有功能數(shù)據(jù)流程圖如圖7所示。

圖7 手勢識別軟件各項功能的流程圖

數(shù)據(jù)讀取可以建立軟件和電阻值信息之間的聯(lián)系并實(shí)時讀取電阻值。

模型校準(zhǔn)功能界面如圖8所示。數(shù)據(jù)表格負(fù)責(zé)記錄各個關(guān)節(jié)對應(yīng)的最大、最小和當(dāng)前電阻值。

圖8 模型校準(zhǔn)功能的界面

詳細(xì)信息查看的界面如圖9所示，表格中用彎曲自由度表示各個手指關(guān)節(jié)的彎曲程度。

圖9 詳細(xì)信息查功能的界面

手勢識別功能是最主要的功能，在主界面上直接顯示，手勢識別功能的界面如圖10所示，有單次識別和持續(xù)識別兩個按鈕，還有兩個圖片框用來顯示每個手勢對應(yīng)的兩個圖片。

圖10 手勢識別功能的界面

新建手勢功能屬于手勢識別系統(tǒng)的額外功能，可以讓用戶根據(jù)自己的需要增加手勢。

3 手勢識別系統(tǒng)的性能測試

手勢識別系統(tǒng)的測試主要包括識別準(zhǔn)確率和識別延遲測試。準(zhǔn)確率是指手勢識別系統(tǒng)對一系列手勢識別的正確率，正確率越高，表明手勢識別系統(tǒng)的識別準(zhǔn)確程度越高；識別延遲是指手勢識別成功所用的時間，時間越短，識別的延遲越低。

測試儀器：手勢識別設(shè)備、電腦、攝像機(jī)。

測試方法：邀請了10名測試者，5名青年男性，5名青年女性，他們的身高、體重和手指長度等個人信息都各不相等，讓這些測試者擺出預(yù)定的手勢，測試預(yù)設(shè)手勢數(shù)據(jù)集的識別準(zhǔn)確率，然后每個人自由添加一些手勢到手勢數(shù)據(jù)庫中，再進(jìn)行測試。手勢識別的時間比較短，人為的方式難以記錄這個時間，需要在測試的過程中用攝像頭輔助記錄識別過程，然后在電腦上通過視頻剪輯或者慢速回放的方式得出延遲時間。

對于不同的手勢集，手勢識別系統(tǒng)準(zhǔn)確率的測試結(jié)果見表4。

表4 不同手勢集的手勢識別測量準(zhǔn)確率

從表4中可以看出，總體的手勢識別準(zhǔn)確率為90.59%，預(yù)設(shè)手勢集的識別準(zhǔn)確率為96.67%，遠(yuǎn)大于測試者新增手勢集的測試準(zhǔn)確率80.77%，這可能是因?yàn)轭A(yù)設(shè)手勢集都是具有代表性和權(quán)威性的手勢，并且經(jīng)過了測試和調(diào)整，數(shù)據(jù)設(shè)計完善，成功率高，而新增的手勢集都是首次添加到數(shù)據(jù)庫中的手勢，測試者也沒有考慮到手勢可能具有的多種情況，因此在測試中的準(zhǔn)確率比較低。

對于不同性別的測試者，手勢識別系統(tǒng)準(zhǔn)確率的測試結(jié)果見表5。

表5 不同性別測試者的手勢識別測量準(zhǔn)確率

從表5中可以看出，男性的手勢識別準(zhǔn)確率為92.94%，女性的識別準(zhǔn)確率為88.24%，略微小于男性，這可能是因?yàn)槟行缘氖直扰缘囊?，佩戴時可以完全撐滿手套，而女性的手穿戴手套時可能留有空隙，造成識別誤差。

手勢識別系統(tǒng)識別延遲測試結(jié)果見表6。

表6 手勢識別系統(tǒng)識別的延遲

從表6中可以看出，手勢識別系統(tǒng)的平均延遲為0.175 s左右，單次識別的延遲大于持續(xù)識別。最大延遲在0.20 s左右，最小延遲在0.15 s左右，這可能是因?yàn)槭謩輳?fù)雜程度不同，簡單手勢能夠更快地識別，而復(fù)雜手勢需要更多識別時間。

4 結(jié)語

本研究紡制了鍍銀錦綸氨綸包覆紗，制備了手套結(jié)構(gòu)的手指彎曲應(yīng)變傳感器，基于這種傳感器設(shè)計了一種Visual Studio框架的手勢識別系統(tǒng)，總體的手勢識別準(zhǔn)確率為90.59%，識別延遲短。后續(xù)應(yīng)開發(fā)可以隨身攜帶、質(zhì)量輕的便攜式電阻測量設(shè)備，提高測量精準(zhǔn)度，設(shè)計更先進(jìn)的算法，提高手勢識別準(zhǔn)確率。相信基于傳感器開發(fā)手勢識別系統(tǒng)在智能可穿戴領(lǐng)域會有廣闊的應(yīng)用前景，能為人們提供更好的服務(wù)。