鄒靈果,張美花

(1.廈門海洋職業(yè)技術(shù)學(xué)院,福建 廈門 361009;2.廈門華天涉外職業(yè)技術(shù)學(xué)院,福建 廈門 361100)

人機(jī)交互技術(shù)研究的是人與計(jì)算機(jī)以及二者之間的互相影響,是二者交換、傳遞信息的對(duì)話接口與媒介。自“人機(jī)緊密共棲”的觀點(diǎn)提出以來(lái),這種技術(shù)得到了長(zhǎng)足的發(fā)展,由最初的依賴鍵盤、鼠標(biāo)逐漸發(fā)展至依靠各種觸摸屏、傳感器等交互設(shè)備。然而以上手段仍然是需要依靠一些中間媒介的,并不是一種自然的人機(jī)交互方式。同時(shí)隨著無(wú)線通訊技術(shù)的發(fā)展與網(wǎng)絡(luò)的逐漸普及,圖形界面交互方式已經(jīng)無(wú)法滿足人們的需求,用戶也更希望在進(jìn)行人機(jī)交互時(shí),使用更加自然、快捷、非接觸式的人機(jī)交互方式,使人機(jī)交互面臨極大機(jī)遇和挑戰(zhàn)。人機(jī)交互也是在這種背景下從最初的“人適應(yīng)計(jì)算機(jī)”到后來(lái)的“計(jì)算機(jī)適應(yīng)人”再到發(fā)展方向變?yōu)椤耙匀藶橹行摹?朝著更加自然的方向發(fā)展。此時(shí),多通道交互技術(shù)誕生了。該技術(shù)主要是將表情、眼神、手勢(shì)、語(yǔ)音等自然性的交互方式作為人機(jī)交互方式。當(dāng)前該技術(shù)主要包括語(yǔ)音識(shí)別、手勢(shì)識(shí)別等層面。如對(duì)交互式三維臉部表情動(dòng)畫(huà)合成設(shè)計(jì)是建立在特征分析和信息融合的基礎(chǔ)上完成的,構(gòu)建數(shù)字媒體交互式三維臉部表情動(dòng)畫(huà)圖像采樣模型,在三維信息特征提取的基礎(chǔ)上建立信息融合模型[1]。其中手勢(shì)作為人類與生俱來(lái)的一種動(dòng)作姿態(tài),是一種有特定意識(shí)的動(dòng)作,以靈活多變、形象、自然的特點(diǎn),使手勢(shì)識(shí)別成為該技術(shù)中的一個(gè)研究熱點(diǎn)。對(duì)于手勢(shì)識(shí)別技術(shù)的研究,目前主要是以計(jì)算機(jī)視覺(jué)為基礎(chǔ),取得了相當(dāng)豐富的研究成果。其中袁帥等[2]針對(duì)傳統(tǒng)手勢(shì)檢測(cè)算法存在的問(wèn)題,提出一種基于改進(jìn)YOLOV3與貝葉斯分類器的手勢(shì)識(shí)別方法,并驗(yàn)證了算法的有效性。該方法在YOLOV3網(wǎng)絡(luò)中引入了空間變換網(wǎng)絡(luò)來(lái)處理手勢(shì)信息。對(duì)網(wǎng)絡(luò)提取出的特征進(jìn)行降維操作后,引入貝葉斯分類器來(lái)進(jìn)行手勢(shì)分類。王銀等[3]提出了一種基于改進(jìn)TinyYOLOv3算法的手勢(shì)識(shí)別方法。該方法增加網(wǎng)絡(luò)層數(shù)以提取更豐富的語(yǔ)義信息,并使用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積,通過(guò)特征融合減小網(wǎng)絡(luò)模型大小,并采用CIoU損失改進(jìn)邊界框坐標(biāo)預(yù)測(cè)損失,融合通道注意力模塊提高定位精度和識(shí)別準(zhǔn)確率。同時(shí)利用數(shù)據(jù)增強(qiáng)方法避免過(guò)擬合,通過(guò)超參數(shù)優(yōu)化和先驗(yàn)框聚類等方法加快網(wǎng)絡(luò)收斂速度。以上方法在應(yīng)用中存在室外手勢(shì)識(shí)別準(zhǔn)確率較低的問(wèn)題。孫蘭蘭[4]研究了一種專門針對(duì)復(fù)雜場(chǎng)景中的多姿態(tài)人臉識(shí)別方法。該方法在采集圖像數(shù)據(jù)的基礎(chǔ)上,通過(guò)歸一化處理輸出層次特征,構(gòu)建知識(shí)蒸餾損失函數(shù)。然后根據(jù)角間隔區(qū)間概率,使用三維地標(biāo)檢測(cè)方法實(shí)現(xiàn)了人臉關(guān)鍵點(diǎn)識(shí)別。杜夢(mèng)麗等[5]提出一種基于多尺度可變曲率Gabor濾波器的指靜脈圖像濾波方法,可以從中獲取指靜脈圖像特征。為了優(yōu)化人機(jī)交互圖像手勢(shì)識(shí)別性能,設(shè)計(jì)一種基于數(shù)理統(tǒng)計(jì)特征的人機(jī)交互圖像手勢(shì)識(shí)別方法。

1 人機(jī)交互圖像手勢(shì)識(shí)別方法設(shè)計(jì)

1.1 人機(jī)交互圖像預(yù)處理

對(duì)人機(jī)交互圖像實(shí)施一系列預(yù)處理,包括圖像灰度化處理、二值化處理、平滑處理以及邊緣檢測(cè)和輪廓提取處理。

由于彩色圖像有著較大的信息容量,會(huì)帶來(lái)處理難度大與處理速度慢的問(wèn)題,因此對(duì)其實(shí)施灰度化轉(zhuǎn)換。圖像灰度化處理的轉(zhuǎn)換如式(1)所示。

(1)

式(1)中,H指的是灰度人機(jī)交互圖像的色相;?是指彩色人機(jī)交互圖像的閾值;G表示彩色人機(jī)交互圖像的綠色通道;B表示其藍(lán)色通道;S指的是灰度人機(jī)交互圖像的飽和度;R表示彩色人機(jī)交互圖像的紅色通道;V代表灰度人機(jī)交互圖像的色明度[6]。

指彩色人機(jī)交互圖像的閾值?的計(jì)算公式具體如式(2)所示。

(2)

使用中值濾波技術(shù)實(shí)施圖像平滑處理,濾除圖像中的椒鹽等噪聲,具體操作如式(3)所示。

(3)

式(3)中,hHSV(a,b)指的是灰度人機(jī)交互圖像;(a,b)是指人機(jī)交互圖像坐標(biāo);o代表中值濾波模板窗口中全部像素?cái)?shù)的集合,所選用的中值濾波模板為9*9窗口大小的模板;pHSV(a,b)是指中值濾波后的結(jié)果圖[7]。

在灰度化處理后,人機(jī)交互圖像中共有256個(gè)灰度級(jí),通過(guò)二值化處理使其僅保留0、255這2個(gè)灰度級(jí),使人機(jī)交互圖像呈現(xiàn)黑白的視覺(jué)效果[8]。

用代表二值化處理閾值,則二值化圖像的表達(dá)式如式(4)所示。

(4)

式(4)中,r(a,b)代表pHSV(a,b)的像素群。

選取不同的二值化處理閾值會(huì)帶來(lái)不同的圖像處理結(jié)果,使用Otsu算法選取閾值。操作步驟如下。

(1)計(jì)算人機(jī)交互圖像整體的灰度平均值,具體如式(5)所示。

H=Q0H0+Q1H1

(5)

式(5)中,Q0代表目標(biāo)手勢(shì)圖像的平均灰度值;Q1是指背景手勢(shì)圖像的平均灰度值;H0指的是整體人機(jī)交互圖像中目標(biāo)圖像所占的像素點(diǎn)比例;H1代表整體人機(jī)交互圖像中背景圖像所占的像素點(diǎn)比例[9]。

(2)遍歷兩部分圖像間的分割閾值,用Z來(lái)表示,并計(jì)算兩部分圖像的方差如式(6)所示。

v=Q0(H0-H)2+Q1(H1-H)2

(6)

(3)當(dāng)v取最大值時(shí)代表二者之間的差異最大,此時(shí)的Z即為k的理想值。

使用Sobel算子實(shí)施邊緣檢測(cè)處理,具體步驟如下。

(1)對(duì)像素點(diǎn)四個(gè)方向?qū)嵤┗叶燃訖?quán)處理;

(2)利用閾值對(duì)加權(quán)結(jié)果實(shí)施處理,獲取邊緣圖像。

通過(guò)八鄰域搜索法提取輪廓,提取步驟具體如下。

(1)在圖像中尋找一個(gè)像素點(diǎn),當(dāng)其為白,不考慮該像素點(diǎn);當(dāng)其為黑,標(biāo)簽其相鄰點(diǎn)同樣是黑色時(shí),判斷該點(diǎn)是內(nèi)部點(diǎn);

(2)直接刪除內(nèi)部點(diǎn);

(3)不斷重復(fù)步驟(1)、(2),直到掏空全部?jī)?nèi)部點(diǎn),獲取圖像輪廓線[10]。

1.2 數(shù)理統(tǒng)計(jì)特征提取

通過(guò)OpenCV提取二值化處理后的人機(jī)交互圖的數(shù)理統(tǒng)計(jì)特征-Hu矩,其中包括七個(gè)矩,存在平移不變形、旋轉(zhuǎn)不變形以及尺度不變形。其中含有圖像對(duì)稱性、重心、面積等數(shù)理統(tǒng)計(jì)特征,其中前四個(gè)矩主要描述手勢(shì)的主軸方向角、旋轉(zhuǎn)半徑、圖像橢圓以及面積,后三個(gè)矩主要描述的是手勢(shì)的細(xì)節(jié),即圖像對(duì)稱性、重心、中心距[11]。

在OpenCV中,主要使用兩個(gè)函數(shù)求取Hu矩特征,包括HuMoment與Moment[12]。Hu矩的提取步驟具體如下。

(1)初始化定義變量;

(2)通過(guò)Moment求得圖像的三階中心矩與二階中心矩;

(3)利用HuMoment求得Hu矩特征,具體如式(7)所示。

(7)

式(7)中,ξfg指的是f+g階的中心矩歸一化處理結(jié)果,如式(8)所示。

(8)

式(8)中,Ψfg指的是各階中心矩;Ψ00是指零階中心矩;v指的是平均階數(shù),計(jì)算結(jié)果如式(9)所示。

(9)

應(yīng)用提取的Hu矩實(shí)現(xiàn)手勢(shì)的識(shí)別。

1.3 手勢(shì)識(shí)別

設(shè)計(jì)基于改進(jìn)YOLO-V2網(wǎng)絡(luò)的手勢(shì)識(shí)別模型,實(shí)現(xiàn)人機(jī)交互圖像手勢(shì)識(shí)別,模型的輸入為人機(jī)交互圖、提取的Hu矩以及提取的手勢(shì)輪廓。在YOLO-V2網(wǎng)絡(luò)的改進(jìn)中,主要調(diào)整其骨干網(wǎng)絡(luò),以提升定位目標(biāo)物體的準(zhǔn)確率,并改變輸入圖像大小,使手勢(shì)識(shí)別模型檢測(cè)精度獲得提升。改進(jìn)后的骨干網(wǎng)絡(luò)模型如圖1所示。

圖1 改進(jìn)后的骨干網(wǎng)絡(luò)模型

具體改進(jìn)步驟如下。

(1)數(shù)據(jù)預(yù)處理,首先對(duì)人機(jī)交互圖進(jìn)行預(yù)處理,包括圖像灰度化處理、二值化處理、平滑處理以及邊緣檢測(cè)和輪廓提取處理等操作,以提高模型的訓(xùn)練效果和泛化能力。同時(shí)利用已經(jīng)提取的Hu矩和手勢(shì)輪廓信息,將其與圖像進(jìn)行結(jié)合,形成模型的輸入。

(2)骨干網(wǎng)絡(luò)調(diào)整,傳統(tǒng)的YOLO-V2網(wǎng)絡(luò)使用Darknet-19作為骨干網(wǎng)絡(luò)。在改進(jìn)過(guò)程中,采用Darknet-19更加先進(jìn)的骨干網(wǎng)絡(luò)進(jìn)行調(diào)整,以提升定位目標(biāo)物體的準(zhǔn)確率和穩(wěn)定性,以提升定位目標(biāo)物體的準(zhǔn)確率和穩(wěn)定性。

(3)輸出層調(diào)整,傳統(tǒng)的YOLO-V2網(wǎng)絡(luò)將輸入圖像分割成7×7的網(wǎng)格,并通過(guò)候選框的數(shù)量進(jìn)行預(yù)測(cè)。而在改進(jìn)中,將模型輸出尺寸由7×7改為16×16,從而增加了預(yù)測(cè)anchor box的數(shù)量。具體來(lái)說(shuō),改進(jìn)后的模型可以預(yù)測(cè)的anchor box數(shù)量為16×16×N個(gè)[13]。

基于Faster R-CNN模型構(gòu)建手勢(shì)識(shí)別模型的anchor機(jī)制,以生成anchor box。構(gòu)建的anchor機(jī)制具體如下。骨干網(wǎng)絡(luò)輸出數(shù)據(jù)的大小為W×W,將輸出數(shù)據(jù)劃分為網(wǎng)格形式,在各網(wǎng)格中心點(diǎn)處生成多個(gè)anchor box。待檢測(cè)圖像的中心所落入的網(wǎng)格負(fù)責(zé)對(duì)該圖像進(jìn)行檢測(cè)。生成的anchor box相當(dāng)于標(biāo)桿,能夠?qū)㈩A(yù)測(cè)框出現(xiàn)的范圍直接限定在附近,從而大幅減少模型的計(jì)算量[14]。

其中anchor box大小的設(shè)置是利用K-means聚類算法來(lái)實(shí)現(xiàn)的,利用K-means聚類算法學(xué)習(xí)訓(xùn)練樣本,通過(guò)對(duì)距離函數(shù)進(jìn)行更改,來(lái)自動(dòng)尋找更加適合樣本的anchor box[15]。

anchor box的生成總數(shù)則可以計(jì)算如式(10)所示。

υ=W×W×α

(10)

式(10)中,α指的是通過(guò)anchor機(jī)制生成的anchor box個(gè)數(shù)[16]。

(4)訓(xùn)練過(guò)程,使用改進(jìn)后的YOLO-V2網(wǎng)絡(luò)對(duì)手勢(shì)識(shí)別任務(wù)進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程中,使用損失函數(shù)進(jìn)行模型優(yōu)化,本文將模型的損失函數(shù)設(shè)置為均方誤差形式,具體如式(11)所示。

(11)

此外,考慮到手勢(shì)識(shí)別需要對(duì)手部區(qū)域進(jìn)行較為精細(xì)的檢測(cè)和定位,因此本文在改進(jìn)過(guò)程中,通過(guò)增加輸入圖像的分辨率,提高手勢(shì)模型的檢測(cè)精度。

手勢(shì)識(shí)別模型的訓(xùn)練過(guò)程為,利用前向傳播計(jì)算損失值[18];利用反向傳播實(shí)施模型權(quán)重優(yōu)化,使損失值逐漸收斂。

(5)模型評(píng)估與調(diào)優(yōu),訓(xùn)練完成后,使用測(cè)試集數(shù)據(jù)進(jìn)行推理,并評(píng)估模型性能。根據(jù)評(píng)估結(jié)果,根據(jù)需要對(duì)模型進(jìn)一步的調(diào)優(yōu)。調(diào)優(yōu)完畢后模型的運(yùn)作流程具體如圖2所示。

圖2 訓(xùn)練完畢后模型的運(yùn)作流程

通過(guò)以上流程即可實(shí)現(xiàn)人機(jī)交互圖像的手勢(shì)識(shí)別。

2 手勢(shì)識(shí)別與人機(jī)交互實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

通過(guò)設(shè)計(jì)的基于數(shù)理統(tǒng)計(jì)特征的人機(jī)交互圖像手勢(shì)識(shí)別方法實(shí)施手勢(shì)識(shí)別實(shí)驗(yàn),測(cè)試其手勢(shì)識(shí)別精度。具體步驟如下。

(1)實(shí)驗(yàn)數(shù)據(jù)采集。將樹(shù)莓派與USB攝像頭連接起來(lái)作為實(shí)驗(yàn)數(shù)據(jù)集的采集設(shè)備,具體如圖3所示。

圖3 數(shù)據(jù)集采集設(shè)備

利用采集設(shè)備拍攝數(shù)字手勢(shì)的視頻序列,接著將其轉(zhuǎn)換成連續(xù)圖片形式,共收集了不同手型、不同角度、不同環(huán)境、不同光照下的3000張手勢(shì)圖片,將其分為5組,分別為數(shù)字1、2、3、4、5組,各組600張圖片。

(2)對(duì)采集的手勢(shì)數(shù)據(jù)集進(jìn)行擴(kuò)充。該步驟目的是提升設(shè)計(jì)方法應(yīng)對(duì)不同光照、不同角度、不同環(huán)境下識(shí)別的魯棒性。通過(guò)圖片旋轉(zhuǎn)、翻轉(zhuǎn)等方式生成新的圖片,完成手勢(shì)數(shù)據(jù)集的擴(kuò)充。最終的實(shí)驗(yàn)數(shù)據(jù)集中共有15000張手勢(shì)圖片,均為RGB類型,分為5組,分別為數(shù)字1、2、3、4、5組,各組3000張圖片。

(3)對(duì)最終實(shí)驗(yàn)數(shù)據(jù)集實(shí)施一系列預(yù)處理,并標(biāo)注各圖像的手勢(shì)信息。

(4)提取各圖像的Hu矩。

(5)基于改進(jìn)YOLO-V2網(wǎng)絡(luò)的手勢(shì)識(shí)別模型實(shí)施手勢(shì)識(shí)別。具體識(shí)別過(guò)程為:利用改進(jìn)的YOLO-V2網(wǎng)絡(luò)對(duì)手勢(shì)圖像庫(kù)進(jìn)行訓(xùn)練,通過(guò)反向傳播算法不斷優(yōu)化網(wǎng)絡(luò)參數(shù),提高網(wǎng)絡(luò)的準(zhǔn)確率和泛化能力。將訓(xùn)練好的模型應(yīng)用于手勢(shì)識(shí)別任務(wù)中,輸入手勢(shì)圖像并輸出相應(yīng)的手勢(shì)類別和位置信息。

在利用模型識(shí)別圖像手勢(shì)時(shí),首先對(duì)構(gòu)建的模型實(shí)施訓(xùn)練,訓(xùn)練后的損失值如圖4所示。

圖4 訓(xùn)練后的損失值

由圖4可知,此時(shí)損失值已經(jīng)開(kāi)始收斂,利用訓(xùn)練完畢后的模型實(shí)施最終實(shí)驗(yàn)數(shù)據(jù)集的手勢(shì)識(shí)別。測(cè)試過(guò)程中,將基于改進(jìn)貝葉斯分類器和YOLOV3與基于改進(jìn)TinyYOLOv3算法的手勢(shì)識(shí)別方法作為對(duì)比方法,共同進(jìn)行手勢(shì)識(shí)別準(zhǔn)確率的測(cè)試,并分別用方法①、方法②表示這兩種方法。兩種對(duì)比方法的測(cè)試過(guò)程與本文方法類似,僅為步驟5中的識(shí)別和訓(xùn)練過(guò)程不同。

2.2 手勢(shì)識(shí)別測(cè)試

設(shè)計(jì)方法與方法①、方法②對(duì)于五組實(shí)驗(yàn)數(shù)據(jù)的室內(nèi)與室外手勢(shì)識(shí)別準(zhǔn)確率測(cè)試結(jié)果如表1所示。

表1 室內(nèi)與室外手勢(shì)識(shí)別準(zhǔn)確率測(cè)試結(jié)果

根據(jù)表1測(cè)試結(jié)果,設(shè)計(jì)方法在室內(nèi)和室外的手勢(shì)識(shí)別準(zhǔn)確率均高于兩種對(duì)比方法,說(shuō)明其手勢(shì)識(shí)別性能較好。同時(shí)可以看出其室內(nèi)手勢(shì)識(shí)別準(zhǔn)確率高于室外手勢(shì)識(shí)別準(zhǔn)確率,這是由于室外環(huán)境比較復(fù)雜,會(huì)降低手勢(shì)識(shí)別的準(zhǔn)確率。

設(shè)計(jì)方法與方法①、方法②對(duì)于五組實(shí)驗(yàn)數(shù)據(jù)的室內(nèi)與室外手勢(shì)識(shí)別時(shí)間結(jié)果,如圖5所示。

(a)室內(nèi)環(huán)境

由圖5可知,整體來(lái)看室外環(huán)境的識(shí)別時(shí)間高于室內(nèi)環(huán)境中的手勢(shì)識(shí)別時(shí)間,其主要原因可能是室外光照等干擾造成的負(fù)面影響。無(wú)論是哪種環(huán)境,設(shè)計(jì)方法獲取的室內(nèi)和室外手勢(shì)識(shí)別時(shí)間均低于兩種對(duì)比方法,證明了設(shè)計(jì)方法有著很強(qiáng)的實(shí)用性。

識(shí)別速度是一種用于衡量圖像或視頻處理算法性能的指標(biāo),通常以幀/秒(Frames Per Second,簡(jiǎn)稱FPS)來(lái)表示。它表示在單位時(shí)間內(nèi)能夠處理的圖像或視頻幀數(shù)。在手勢(shì)識(shí)別領(lǐng)域,識(shí)別速度表示算法能夠處理和分析的手勢(shì)圖像數(shù)量。較高的識(shí)別速度意味著算法能夠更快地處理圖像,從而實(shí)時(shí)地對(duì)手勢(shì)進(jìn)行準(zhǔn)確的識(shí)別和分類。為此,對(duì)比設(shè)計(jì)方法與方法①、方法②對(duì)于五組實(shí)驗(yàn)數(shù)據(jù)的識(shí)別速度,結(jié)果如表2所示。

表2 識(shí)別速度測(cè)試結(jié)果

根據(jù)表2測(cè)試結(jié)果可知,設(shè)計(jì)方法展示了更快的識(shí)別速度,相對(duì)于改進(jìn)貝葉斯分類器和YOLOV3以及改進(jìn)TinyYOLOv3算法,能夠更快地處理和分析手勢(shì)圖像。這是因?yàn)閿?shù)理統(tǒng)計(jì)特征方法不涉及復(fù)雜的模型訓(xùn)練和計(jì)算,而是通過(guò)對(duì)統(tǒng)計(jì)特征進(jìn)行手動(dòng)計(jì)算和分類來(lái)實(shí)現(xiàn)識(shí)別任務(wù),從而提高了識(shí)別速度。

結(jié)語(yǔ)

手勢(shì)識(shí)別主要是利用攝像頭捕獲手勢(shì)視頻內(nèi)容后的分析工作。目前手勢(shì)識(shí)別的應(yīng)用領(lǐng)域已經(jīng)擴(kuò)展至智能生活領(lǐng)域、休閑娛樂(lè)領(lǐng)域以及機(jī)器人控制領(lǐng)域等。設(shè)計(jì)了一種基于數(shù)理統(tǒng)計(jì)特征的手勢(shì)識(shí)別方法,通過(guò)識(shí)別結(jié)果實(shí)現(xiàn)了與機(jī)器人之間的人機(jī)交互,今后將在其他領(lǐng)域?qū)ζ浣换バ阅苓M(jìn)行測(cè)試。在研究中,由于時(shí)間與精力的限制,使取得的研究成果仍存在很多細(xì)節(jié)問(wèn)題,今后將繼續(xù)完善各種細(xì)節(jié)。