牟 郁，郭 瑩

（沈陽(yáng)工業(yè)大學(xué)信息科學(xué)與工程學(xué)院， 沈陽(yáng)110870）

1 引 言

隨著人工智能技術(shù)的發(fā)展，新型、自然、便捷的人機(jī)交互方式已經(jīng)成為當(dāng)今各行業(yè)交互方式的新趨勢(shì)。手語(yǔ)作為表達(dá)信息的一種方式，是聾啞人與外界交流的最主要途徑。手語(yǔ)分為手勢(shì)語(yǔ)和手指語(yǔ)。手勢(shì)語(yǔ)是用手的指示，動(dòng)作，位置和朝向，配合面部表情或體態(tài)語(yǔ)言，按照一定語(yǔ)法規(guī)則來(lái)表達(dá)特定意思的交際工具；手指語(yǔ)是用手指代替拼音，組成一定的漢字，表達(dá)聾人思想，是聽覺障礙者學(xué)習(xí)發(fā)音、口語(yǔ)、識(shí)字的極有用處的輔助工具。手指語(yǔ)在一定程度上充實(shí)了手勢(shì)語(yǔ)的表達(dá)內(nèi)容，使手勢(shì)語(yǔ)由原來(lái)單純地表達(dá)實(shí)詞發(fā)展成表達(dá)虛詞，為實(shí)詞表達(dá)數(shù)量的增加起到了推動(dòng)作用，從而使手勢(shì)語(yǔ)與有聲語(yǔ)言之間的內(nèi)在聯(lián)系更加密切。

傳統(tǒng)手語(yǔ)識(shí)別方法普遍存在背景干擾嚴(yán)重、特征提取不完整及識(shí)別準(zhǔn)確率低的缺點(diǎn)[1]。由于用戶個(gè)體操作的不規(guī)范性，也會(huì)對(duì)識(shí)別造成一定的影響。為減輕此類影響，對(duì)其展開深入研究。在手語(yǔ)樣本的采集方面，把識(shí)別方法分為基于設(shè)備和基于視覺兩種，本研究采用后者?；谝曈X的方法通過(guò)攝像設(shè)備采集手語(yǔ)信息，與基于設(shè)備的方法相比，操作更加簡(jiǎn)易，局限性更少，價(jià)格也更便宜，便于大量推廣?；谝曈X的手語(yǔ)識(shí)別研究正處于蓬勃發(fā)展階段，存在著許多有價(jià)值的研究客題，對(duì)于構(gòu)建更加友好的人機(jī)交互界面很有意義。

2 相關(guān)工作概述

基于視覺的手語(yǔ)識(shí)別是指用攝像設(shè)備采集包含手語(yǔ)信息的圖像序列，通過(guò)提取、分析手語(yǔ)中的HOG 特征，經(jīng)由計(jì)算機(jī)通過(guò)一定的模式識(shí)別技術(shù)對(duì)手語(yǔ)進(jìn)行識(shí)別。模式識(shí)別又通常稱作模式分類，從處理問(wèn)題的性質(zhì)和解決問(wèn)題的方法等角度來(lái)看，可分為有監(jiān)督的分類和無(wú)監(jiān)督的分類兩種[2]。有監(jiān)督的分類和無(wú)監(jiān)督的分類差別主要在于各實(shí)驗(yàn)樣本所屬的樣本是否預(yù)先已知。

2.1 稀疏表示分類

近年來(lái)，高維數(shù)據(jù)的稀疏表示成為機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺研究領(lǐng)域的熱點(diǎn)之一[3]。目前許多較好的分類系統(tǒng)往往都會(huì)選用稀疏表示作為其關(guān)鍵模塊[4]。稀疏表示分類（SRC）的應(yīng)用是將表征對(duì)象主要的或本質(zhì)的特征構(gòu)造稀疏向量，這些特征具有類間的強(qiáng)區(qū)分性。然后利用稀疏表示方法得到這些特征的值，并根據(jù)稀疏向量與某類標(biāo)準(zhǔn)值的距離，或稀疏向量間的距離判別來(lái)完成分類過(guò)程[5]。

本研究嘗試使用的方法即是將手語(yǔ)樣本轉(zhuǎn)化表示為稀疏信號(hào)，再用一組過(guò)完備基將輸入信號(hào)線性表達(dá)出來(lái)，這樣展開系數(shù)可以在滿足一定的稀疏度條件下，獲取對(duì)原始信號(hào)的良好近似。

2.2 稀疏編碼和字典學(xué)習(xí)

采集的手語(yǔ)樣本通過(guò)HOG 特征提取之后可用一個(gè)高維向量來(lái)表示。高維特征空間通常是首選，這樣能夠更好地代表識(shí)別事件。但是，通過(guò)增加特征尺寸，所需訓(xùn)練樣本的數(shù)量將呈指數(shù)增長(zhǎng)。稀疏編碼是一種可以使用較少訓(xùn)練樣本和參數(shù)來(lái)表示高維空間中數(shù)據(jù)的學(xué)習(xí)方法?；谙∈杈幋a的分類方法歸因于通過(guò)去除冗余視覺特征，高維信號(hào)可以在低維流形中由其類別的代表性樣本稀疏地表示。稀疏表示現(xiàn)已廣泛應(yīng)用于圖像分析中的各種應(yīng)用，包括視頻事件檢測(cè)，動(dòng)作識(shí)別，視頻編碼，擁擠中的異常事件檢測(cè)場(chǎng)景和語(yǔ)義檢測(cè)[6]。稀疏表示涉及了兩個(gè)優(yōu)化子問(wèn)題：字典學(xué)習(xí)和稀疏編碼。

尋找字典的過(guò)程被稱為字典學(xué)習(xí)，其目標(biāo)是學(xué)習(xí)到一個(gè)最優(yōu)的超完備字典，使用盡可能少的原子、以最小的誤差來(lái)稀疏地表示給定的原始信號(hào)。字典學(xué)習(xí)主要可分為無(wú)監(jiān)督和有監(jiān)督兩種。

2.2.1 無(wú)監(jiān)督字典學(xué)習(xí)

字典學(xué)習(xí)可通過(guò)下式來(lái)定義為優(yōu)化問(wèn)題：

其中，L= ［l1，l2，...，lN］∈RK×N表示為訓(xùn)練樣本的N維輸入信號(hào)；是重構(gòu)誤差；X= ［x1，x2，...，xN］∈RM×N是L 的稀疏編碼；|·|||F是F 范數(shù)，定義為；||·||0代表l0范數(shù)，表示向量的稀疏性；而D= ［d1，d2，...，dh］∈RK×N是由M 列組成的超完備字典，其被成為原子。式中的最小化方程式中的能量可以通過(guò)K-SVD 迭代算法有效地實(shí)現(xiàn)。

通過(guò)求解稀疏編碼這個(gè)過(guò)程，將輸入信號(hào)li的稀疏表示xi計(jì)算為學(xué)習(xí)字典D 的幾個(gè)原子的線性組合。使用正交匹配追蹤（OMP）算法進(jìn)行優(yōu)化，如下式：

具有l(wèi)0范數(shù)正則化的式(2)是一個(gè)非凸和NPhard 問(wèn)題。此等式還有另一種選擇是使用l1范數(shù)而不是選擇l0范數(shù)，這樣會(huì)強(qiáng)制稀疏性：

其中，λ是平衡重建誤差相對(duì)于稀疏項(xiàng)的相對(duì)重要性的正則化參數(shù)。通過(guò)優(yōu)化，可以將具有l(wèi)1范數(shù)正則化的稀疏編碼表示為以下優(yōu)化問(wèn)題：

2.2.2 監(jiān)督字典學(xué)習(xí)

無(wú)監(jiān)督的字典學(xué)習(xí)并不利用訓(xùn)練樣本中的類信息。受監(jiān)督的字典學(xué)習(xí)方法利用訓(xùn)練樣本中的類信息，可用于學(xué)習(xí)判別字典以產(chǎn)生更好的分類精度和性能[7]。受監(jiān)督字典學(xué)習(xí)可以分為三類。第一類是每個(gè)類學(xué)習(xí)一個(gè)特定類的字典，以提高類之間的判別力。但因?yàn)榉诸惼鞯男阅苡纱笞值浔ＷC，所以這種方法帶來(lái)較沉重的計(jì)算負(fù)擔(dān)。

第二類是先通過(guò)無(wú)監(jiān)督的方式來(lái)計(jì)算大字典，然后使用目標(biāo)函數(shù)從該字典中選擇或合并原子并學(xué)習(xí)緊湊的共享字典。為了提高緊湊字典的判別力，這些方法中的目標(biāo)函數(shù)是根據(jù)不同的標(biāo)準(zhǔn)設(shè)計(jì)的。這些方法的主要缺點(diǎn)是構(gòu)造的緊湊字典與初始字典的相似性。

第三類方法是將一個(gè)判別項(xiàng)并入詞典學(xué)習(xí)的目標(biāo)函數(shù)中。在此種方法中，作為判別項(xiàng)的分類器參數(shù)是在字典學(xué)習(xí)階段期間學(xué)習(xí)的; 這些方法的例子包括判別性K-SVD（D-KSVD），標(biāo)簽一致性KSVD（LC-KSVD）和Fisher 判別詞典學(xué)習(xí)（FDDL）[8]。該類別中的方法具有兩個(gè)缺點(diǎn)：目標(biāo)函數(shù)是復(fù)雜且非凸的; 調(diào)整目標(biāo)函數(shù)的參數(shù)是耗時(shí)且困難的。

本研究采用LC-KSVD 算法進(jìn)行運(yùn)算，以提高手語(yǔ)識(shí)別的準(zhǔn)確性。

D-KSVD 和LC-KSVD 算法的核心思想是在優(yōu)化問(wèn)題中統(tǒng)一判別式項(xiàng)和字典學(xué)習(xí)。D-KSVD 優(yōu)化問(wèn)題的公式如下：

為了提高字典對(duì)稀疏編碼的判別能力，目標(biāo)函數(shù)(5)通過(guò)LC-KSCD1 和LC-KSVD2 方法得到增強(qiáng)。LC-KSVD2 優(yōu)化問(wèn)題適于用下式表示：

在優(yōu)化問(wèn)題上，執(zhí)行字典和分類器參數(shù)學(xué)習(xí)是目前比較尖端的想法，但是也會(huì)出現(xiàn)使優(yōu)化問(wèn)題變得更加復(fù)雜和非凸[9]，此時(shí)可通過(guò)對(duì)提取的HOG 局部特征進(jìn)行加權(quán)來(lái)解決這個(gè)問(wèn)題。

3 新提出的識(shí)別方法

本研究中提出的手語(yǔ)識(shí)別方法主要包括四個(gè)部分：圖像分割、特征提取、字典學(xué)習(xí)以及分類識(shí)別。具體過(guò)程如圖1 所示。

圖1 新方法的手語(yǔ)識(shí)別過(guò)程

3.1 圖像預(yù)處理——圖像分割

圖像分割一般是指通過(guò)簡(jiǎn)化或調(diào)整圖像的表示形式來(lái)使圖像變得利于理解和分析，它常常被用于定位某張圖像中的物體定位以及邊界劃分。進(jìn)一步準(zhǔn)確的理解就是圖像分割在給圖像中的每一個(gè)像素點(diǎn)添加標(biāo)簽，通過(guò)這一操作使得那些具有相同標(biāo)簽的像素點(diǎn)有了共同的特征，從而達(dá)到了定位物體的目的。圖像分割的方法一般包括閾值分割、膚色分割、區(qū)域提取等。按照要分割的圖像類型可分為：灰度圖像分割、彩色圖像分割和紋理圖像分割[10]等。具體的實(shí)施方案根據(jù)圖像的特征有所不同，此處選取基于閾值分割的方法來(lái)進(jìn)行圖像的分割。

分別采用閾值分割方法對(duì)樣本集中的“l(fā)”、“n”和“y”手語(yǔ)圖像進(jìn)行圖像分割并對(duì)比，實(shí)驗(yàn)結(jié)果如圖2 所示。結(jié)果表明手語(yǔ)圖像采用基于閾值分割方法（閾值選取0.5）可以提取比較完整的手區(qū)域。

圖2 手語(yǔ)字母原始圖像閾值分割效果

3.2 特征提取方法

對(duì)預(yù)處理過(guò)后得到的手語(yǔ)輪廓再進(jìn)行特征信息提取。通過(guò)映射（變換），將高維的特征向量轉(zhuǎn)化為低維。對(duì)于手語(yǔ)的特征選擇是從最原始的特征中挑選出一些最具代表性、分類性能好的特征來(lái)達(dá)到降低特征空間維數(shù)的目的[11]。目前比較主流的圖像特征提取方法有三種：HOG、SIFT、LBP。

特征提取指的是一種利用計(jì)算機(jī)來(lái)提取圖像信息進(jìn)而決定每個(gè)圖像的點(diǎn)是否屬于一個(gè)圖像特征的概念。特征提取的結(jié)果是把圖像上的點(diǎn)分為不同的屬于孤立的點(diǎn)、連續(xù)的曲線或者連續(xù)的區(qū)域子集。大多數(shù)計(jì)算機(jī)圖像算法均使用特征提取當(dāng)作其初級(jí)計(jì)算步驟，因此發(fā)展出了大量的特征提取算法，其提取的特征各式各樣，計(jì)算復(fù)雜性以及可重復(fù)性也不盡相同。

SIFT 算法通過(guò)求取圖像中的局部性特征及其有關(guān)尺度空間和方向的描述子得到，優(yōu)點(diǎn)是具有尺度不變性、旋轉(zhuǎn)不變性、對(duì)視角變化和噪聲具有一定程度的穩(wěn)定性以及特征維度?。蝗秉c(diǎn)是實(shí)時(shí)性不高、模糊圖像的特征點(diǎn)較少以及對(duì)邊緣光滑的目標(biāo)無(wú)法準(zhǔn)確提取特征[12]。LBP 算法計(jì)算較為簡(jiǎn)便，運(yùn)算速度快，但缺點(diǎn)是方向信息有所欠缺。HOG 算法的基本思想為：研究目標(biāo)的局部特征能夠被其歸一化方向梯度分布所識(shí)別，此外HOG 特征不需要精確了解相對(duì)應(yīng)的梯度信息與邊緣位置信息[13]。在此，將預(yù)處理之后的圖像進(jìn)行HOG 特征提取處理，得到圖像相對(duì)應(yīng)的描述特征符。

3.3 HOG 算法實(shí)現(xiàn)方法及步驟

HOG 算法的原理為：先將圖像分割，分割后每個(gè)小區(qū)域之間連通，稱為細(xì)胞單元（cell）。針對(duì)每個(gè)細(xì)胞單元，先求出其像素點(diǎn)的梯度和圖像的邊緣方向直方圖，再對(duì)這些直方圖進(jìn)行采集，最后進(jìn)行組合得出特征向量[14]。HOG 算法的主要實(shí)現(xiàn)步驟如下：

1) 標(biāo)準(zhǔn)化Gamma 空間和顏色空間

減少光照因素方面的影響，對(duì)需要檢測(cè)的目標(biāo)對(duì)象圖像進(jìn)行歸一化處理。分析圖像的紋理強(qiáng)度得知，局部表層的曝光存在更大比重，故此算法可以在很大程度上降低圖像局部的陰影和光照變化。因?yàn)轭伾珜?duì)算法的作用較小，故通過(guò)Gamma 校正法，歸一化輸入圖像的顏色空間。此方法通過(guò)調(diào)節(jié)圖像的對(duì)比度，來(lái)減弱圖像的局部光照和陰影變化，可有效地降低噪音的干擾。

2) 計(jì)算圖像梯度

對(duì)于目標(biāo)對(duì)象成功獲取其輪廓信息，需要使光照產(chǎn)生的干擾減弱，并計(jì)算各像素的梯度，包括大小和方向。在橫、縱坐標(biāo)的方向分別計(jì)算圖像的梯度，并計(jì)算其梯度方向值。通過(guò)求導(dǎo)的算法，可以完成輪廓的捕獲，并獲取手影和紋理的信息，從而使光照產(chǎn)生的影響減弱[15]。

3) 構(gòu)建梯度方向直方圖

為提供給局部圖像區(qū)域一個(gè)編碼，需要對(duì)各細(xì)胞單元進(jìn)行梯度方向直方圖的構(gòu)建，對(duì)于圖像中目標(biāo)外觀的弱敏感性，此方法能夠有效實(shí)現(xiàn)。首先對(duì)圖像進(jìn)行劃分，形成若干個(gè)小單元格即cell。實(shí)驗(yàn)中分割縮放后得到的圖像大小是128×64 像素，且各個(gè)cell 均設(shè)為8×8 個(gè)像素，即窗口的搜索步長(zhǎng)為8，所以得到了沒有重疊的16×8 個(gè)cell；然后利用9 個(gè)bin 的直方圖對(duì)此像素的梯度信息進(jìn)行統(tǒng)計(jì)，如圖3所示?？梢钥吹?，cell 的梯度方向被分為360°的9 個(gè)方向塊。

圖3 劃分成9 個(gè)梯度方向的cell

4) 歸一化梯度直方圖

當(dāng)局部光照和對(duì)比產(chǎn)生變化時(shí)，梯度強(qiáng)度會(huì)在很大范圍內(nèi)變化，故需對(duì)梯度強(qiáng)度進(jìn)行歸一化。因?yàn)槊?×8 個(gè)像素組成的cell 能夠提取9 個(gè)梯度方向直方圖，而實(shí)驗(yàn)中取每2×2 個(gè)cell 組成一個(gè)block，故每個(gè)block 中包括了9×4 個(gè)梯度特征。歸一化的操作可以進(jìn)一步地壓縮光照、陰影和邊緣，增加信息的準(zhǔn)確程度。

5) 收集HOG 特征

每2×2 個(gè)cell 組成了1 個(gè)block。相鄰block 之間存在重疊，所以有15x15 個(gè)block。對(duì)于目標(biāo)圖像范圍內(nèi)所有block 的HOG，串聯(lián)其特征描述，可得出該目標(biāo)圖像的HOG 特征描述符，亦即可供分類使用的最終特征向量，它包含15×15×9×4=8100 個(gè)HOG 特征。HOG 特征提取過(guò)程如圖4 所示。

圖4 HOG 特征提取過(guò)程

4 字典學(xué)習(xí)

基于稀疏表示的圖像識(shí)別方法是近年來(lái)模式識(shí)別領(lǐng)域的研究熱點(diǎn)[16]。字典學(xué)習(xí)則是基于稀疏表示圖像識(shí)別方法中的核心問(wèn)題。計(jì)算待識(shí)別信號(hào)的稀疏編碼和對(duì)識(shí)別信號(hào)進(jìn)行分類是字典學(xué)習(xí)在基于稀疏表示的分類中起到的兩個(gè)最關(guān)鍵的作用[17]。為了得到理想的字典，同時(shí)提高通過(guò)學(xué)習(xí)得到的字典的判別能力，在字典學(xué)習(xí)的過(guò)程中，將具有判別性的正則項(xiàng)應(yīng)用于編碼系數(shù)，從而使得來(lái)自同一類的相似訓(xùn)練樣本具有相似的編碼系數(shù)。對(duì)于給定的任一測(cè)試樣本，將學(xué)習(xí)到的字典用于計(jì)算該測(cè)試樣本的編碼系數(shù)，并根據(jù)計(jì)算得到的編碼系數(shù)以及重構(gòu)誤差，進(jìn)而完成對(duì)測(cè)試樣本的分類識(shí)別。

4.1 改進(jìn)的標(biāo)簽一致性K-SVD 監(jiān)督字典學(xué)習(xí)

可以使用稀疏表示來(lái)移除冗余的視覺特征并將原始特征映射到較低維度的空間[18]。稀疏表示的性能會(huì)極大影響學(xué)習(xí)字典。在此提出了一種改進(jìn)的利用輸入樣本數(shù)據(jù)的監(jiān)督標(biāo)簽和判別性信息來(lái)學(xué)習(xí)判別和重建字典的方法。與標(biāo)簽一致性K-SVD 方法一樣，為了提高線性分類器的性能并獲得有區(qū)別的稀疏碼，可以在重建字典學(xué)習(xí)過(guò)程中改進(jìn)比較判別性稀疏編碼和經(jīng)過(guò)處理的字典原子項(xiàng)的方法。重建和判別詞典學(xué)習(xí)的目標(biāo)函數(shù)表述如下：

4.2 優(yōu)化參數(shù)

使用與D-KSVD 和LC-KSVD 方法相同的策略，上述目標(biāo)函數(shù)可以改寫為：

算法中的參數(shù)Te和W 需要進(jìn)行初始化，通過(guò)使用稀疏編碼矩陣X、判別性稀疏編碼Q 以及類標(biāo)簽矩陣H 按照下式進(jìn)行計(jì)算：

4.3 分類方法

經(jīng)過(guò)字典學(xué)習(xí)后可獲得參數(shù)D= ［d1，d2，...，dN］，和，進(jìn)而可以按照下式進(jìn)行計(jì)算處理來(lái)得到可以用于識(shí)別的參數(shù)以及

然后將待測(cè)試的手指語(yǔ)樣本li輸入，根據(jù)下式進(jìn)行對(duì)應(yīng)的稀疏編碼xi的計(jì)算：

其中，fe∈RM為類標(biāo)簽向量。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 手語(yǔ)數(shù)據(jù)集

使用適當(dāng)?shù)臄?shù)據(jù)集作為基于學(xué)習(xí)算法的訓(xùn)練、測(cè)試及比較的基準(zhǔn)是至關(guān)重要的。然而國(guó)際上公開可用于手語(yǔ)識(shí)別檢測(cè)的數(shù)據(jù)集中的圖像樣本存在不清晰以及每類手指語(yǔ)樣本數(shù)量不統(tǒng)一等問(wèn)題，例如美國(guó)Thomas Moeslund 采集的手語(yǔ)數(shù)據(jù)集。為克服這一問(wèn)題，實(shí)驗(yàn)采用自制手語(yǔ)數(shù)據(jù)集，該數(shù)據(jù)庫(kù)包含了國(guó)際手語(yǔ)字母表中使用的不同靜態(tài)符號(hào)（A～Y，不包括J）的24 類手語(yǔ)，其中每類字母樣本分別為100張圖片，共2400 張圖片。通過(guò)使用高清相機(jī)拍攝照片來(lái)采集手語(yǔ)圖片，像素為1600 萬(wàn)，分辨率為1920×1080，每個(gè)樣本信號(hào)都是在深色背景前執(zhí)行的，并且用戶的手臂被一塊類似黑色布的物體覆蓋。如圖5 所示為實(shí)驗(yàn)中采集到的一部分手語(yǔ)數(shù)據(jù)集。

圖5 自制手語(yǔ)數(shù)據(jù)集實(shí)例

每個(gè)樣本在平行于圖像平面的平面中以各種比例、平移和旋轉(zhuǎn)執(zhí)行，保存為JPG 格式的彩色圖像。采用的實(shí)驗(yàn)環(huán)境為64 位的Windows 10 操作系統(tǒng)，電腦配置為Dell 的x64 處理器，內(nèi)存為4GB；實(shí)驗(yàn)的研究平臺(tái)為R2016b 版本的MATLAB 平臺(tái)。

5.2 參數(shù)對(duì)手語(yǔ)數(shù)據(jù)集的影響

為了調(diào)查參數(shù)對(duì)采用的手語(yǔ)數(shù)據(jù)集的影響，在實(shí)驗(yàn)中分別隨機(jī)選擇了每類手語(yǔ)類型60%的樣本，用于培訓(xùn)擬議框架的不同部分，并保留其他40%分別用于測(cè)試。在應(yīng)用本方法于所提供的數(shù)據(jù)集之前，研究了字典大小和稀疏因子的影響。通過(guò)交替調(diào)整其中一個(gè)參數(shù)，同時(shí)修復(fù)其他參數(shù)來(lái)進(jìn)行測(cè)試。

5.2.1 字典大小的影響

影響分類準(zhǔn)確度和計(jì)算時(shí)間的主要參數(shù)之一是字典大小。為分析字典尺寸大小對(duì)識(shí)別算法性能的影響，指定稀疏因子T=10，選取不同字典尺寸K，觀察相應(yīng)的LC-KSVD 算法識(shí)別率，結(jié)果如表1 所示。

表1 不同字典尺寸下LC-KSVD 算法識(shí)別率T=10

從表中數(shù)據(jù)可知，識(shí)別率隨著字典尺寸增大有相應(yīng)的提高趨勢(shì)，但是并不是字典尺寸越大，識(shí)別率就越高，所以選取適當(dāng)?shù)淖值涑叽缫矘O為關(guān)鍵。當(dāng)字典尺寸較小時(shí)也可以獲得較高的識(shí)別率，這是字典學(xué)習(xí)與稀疏編碼結(jié)合的優(yōu)勢(shì)所在。一般情況下，用于訓(xùn)練字典和稀疏編碼的分類性能和計(jì)算時(shí)間會(huì)隨著字典大小增加而增加。因此，當(dāng)字典大小較小且分類性能較高時(shí)，構(gòu)建的冗余字典較小，計(jì)算的時(shí)間復(fù)雜度也較小，更利于手語(yǔ)識(shí)別的實(shí)時(shí)性，現(xiàn)實(shí)的效果較為理想。

5.2.2 稀疏因子的影響

為分析稀疏因子T 對(duì)識(shí)別率結(jié)果的影響，指定字典尺寸K=700，觀察稀疏因子T 取不同值時(shí)的識(shí)別率，結(jié)果如表2 所示。

表2 LCD 屏幕位置顯示實(shí)例K=700

為驗(yàn)證LC-KSVD 算法的識(shí)別性能，針對(duì)手語(yǔ)數(shù)據(jù)集中的24 類手語(yǔ)，按照60%為訓(xùn)練樣本、40%為測(cè)試樣本的比例選取并進(jìn)行測(cè)試，當(dāng)稀疏因子T=20 時(shí)，在選取不同字典尺寸K 的情況下，將本方法與K-SVD、D-KSVD 以及LC-KSVD 進(jìn)行比較，來(lái)驗(yàn)證改進(jìn)的LC-KSVD 算法的識(shí)別性能，展示各類算法識(shí)別率以及識(shí)別時(shí)間的差異。各算法中選取的參數(shù)均相同，以體現(xiàn)公正性。

5.3 算法對(duì)比結(jié)果

各類算法的識(shí)別率以及識(shí)別時(shí)間的對(duì)比結(jié)果如圖6 所示。

圖6 三種算法的識(shí)別率及識(shí)別時(shí)間對(duì)比

由圖6 可以看出，在基于稀疏編碼的手語(yǔ)識(shí)別算法中，LC-KSVD 算法保持了較高的識(shí)別率，其主要原因是在字典學(xué)習(xí)過(guò)程中對(duì)判別性稀疏編碼與經(jīng)過(guò)處理的字典原子項(xiàng)進(jìn)行聯(lián)系與結(jié)合，進(jìn)而獲得了更強(qiáng)的判別能力。通過(guò)觀察可以看出LC-KSVD 的識(shí)別時(shí)間要短于其他算法。識(shí)別時(shí)間表達(dá)的是在測(cè)試階段使用的時(shí)間，這是因?yàn)榍蠼庀∈杈幋a以及將稀疏編碼送入分類器所用的這段時(shí)間是字典學(xué)習(xí)在離線階段完成的，這樣經(jīng)過(guò)LC-KSVD 算法學(xué)習(xí)得到的字典原子數(shù)量會(huì)驟減，以此提升了手語(yǔ)的識(shí)別速度，所以LC-KSVD 的整體效果明顯優(yōu)于其他算法，實(shí)驗(yàn)采用的方法實(shí)現(xiàn)了最佳性能。

LC-KSVD 算法和SRC 算法的識(shí)別結(jié)果對(duì)比如表3 所示。

表3 LC-KSVD 與SRC 算法對(duì)比

可見，LC-KSVD 的整體效果明顯優(yōu)于SRC 算法，這是因?yàn)镾RC 算法是直接對(duì)原始沒有經(jīng)過(guò)字典學(xué)習(xí)的冗余字典進(jìn)行識(shí)別，雖然也可以取得比較高的識(shí)別率，但是卻要花費(fèi)較長(zhǎng)的識(shí)別時(shí)間。

為進(jìn)一步評(píng)估LC-KSVD 算法的識(shí)別性能，在同樣的參數(shù)條件下，將LC-KSVD 算法與CART 分類回歸樹算法及KNN 算法進(jìn)行比較來(lái)驗(yàn)證新方法的有效性。表4 給出了LC-KSVD 算法（K=700，T=20）與CART 分類回歸樹算法及KNN 算法的手語(yǔ)識(shí)別率以及識(shí)別時(shí)間的對(duì)比結(jié)果。

表4 LC-KSVD 與CART 分類回歸樹及KNN 算法對(duì)比

從表中可以看出，LC-KSVD 算法明顯優(yōu)于這兩種對(duì)比算法，保持了較高的識(shí)別率且識(shí)別時(shí)間較短，主要原因在于LC-KSVD 算法通過(guò)字典學(xué)習(xí)后可以有效地對(duì)手語(yǔ)的變化進(jìn)行建模。

6 結(jié) 束 語(yǔ)

針對(duì)傳統(tǒng)的基于視覺的手語(yǔ)識(shí)別中存在的復(fù)雜的特征提取、魯棒性不強(qiáng)等問(wèn)題，采用HOG 的方法進(jìn)行特征提取，進(jìn)而完成的一種基于稀疏編碼的手語(yǔ)識(shí)別方法。該方法對(duì)已經(jīng)進(jìn)行預(yù)處理的圖像進(jìn)行特征提取，避免了因光照、噪聲等因素而受影響的問(wèn)題，使得到的描述特征信息包含更加有用的信息，進(jìn)而提高分類識(shí)別的正確率。該方法利用LC-KSVD字典學(xué)習(xí)算法來(lái)得到一個(gè)既具有表示能力，又具有判別能力的過(guò)完備字典，將手語(yǔ)的分類識(shí)別問(wèn)題轉(zhuǎn)換成在該過(guò)完備字典上的稀疏表示分類問(wèn)題，同時(shí)滿足了實(shí)時(shí)性以及降低計(jì)算成本的要求。在選用的自行采集的24 類手語(yǔ)數(shù)據(jù)集上進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出的識(shí)別方法的實(shí)際有效性。