史亨禎，王 昱，石孟楠，賈常見(jiàn) (東北石油大學(xué)軟件學(xué)院，黑龍江 大慶 163318)

基于ARToolKit的手指識(shí)別增強(qiáng)現(xiàn)實(shí)系統(tǒng)的設(shè)計(jì)

史亨禎，王 昱，石孟楠，賈常見(jiàn) (東北石油大學(xué)軟件學(xué)院，黑龍江 大慶 163318)

介紹了一種利用ARToolKit開(kāi)發(fā)包和Opencv進(jìn)行創(chuàng)新開(kāi)發(fā)、實(shí)現(xiàn)手指識(shí)別的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，該系統(tǒng)可以準(zhǔn)確定位手掌、5根手指甚至是指尖，為進(jìn)一步實(shí)現(xiàn)人機(jī)交互奠定了堅(jiān)實(shí)的基礎(chǔ)。通過(guò)該系統(tǒng)可以很大程度上擺脫硬件對(duì)人機(jī)交互的束縛，使用手指在攝像頭形成的視頻空間圖像觸發(fā)一些虛擬菜單，進(jìn)而實(shí)現(xiàn)人機(jī)交流。

增強(qiáng)現(xiàn)實(shí)；虛擬成像；人機(jī)交互；手指識(shí)別

1 ARToolKit概述

圖1 ARToolKit的三維注冊(cè)及工作流程

圖2 ARToolKit轉(zhuǎn)換坐標(biāo)系

ARToolKit是一套基于C++語(yǔ)言的增強(qiáng)現(xiàn)實(shí)系統(tǒng)函數(shù)庫(kù)，是由日本廣島城市大學(xué)加藤博一博士與美國(guó)華盛頓大學(xué)HITL(Human Interface Technology Lab)聯(lián)合開(kāi)發(fā)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)二次開(kāi)發(fā)工具，該開(kāi)發(fā)包主要包括完成攝像機(jī)定標(biāo)、標(biāo)記識(shí)別與三維注冊(cè)的AR模塊，實(shí)現(xiàn)圖像實(shí)時(shí)采集功能的Video模塊和完成圖像的實(shí)時(shí)顯示、三維虛擬場(chǎng)景的實(shí)時(shí)渲染等功能的Gsub模塊。其實(shí)時(shí)、精確的三維注冊(cè)功能使得工程人員能夠非常方便、快捷的開(kāi)發(fā)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)[1]。ARToolKit通過(guò)計(jì)算機(jī)視覺(jué)來(lái)進(jìn)行三維虛實(shí)注冊(cè)，其工作流程如圖1所示。

在增強(qiáng)現(xiàn)實(shí)中，坐標(biāo)系統(tǒng)也是非常重要的一部分，其影響著坐標(biāo)變換、三維注冊(cè)、加載圖像的位置及方向，是不可缺少的一部分，而從標(biāo)識(shí)坐標(biāo)系經(jīng)過(guò)矩陣變換得到攝像機(jī)坐標(biāo)系是最為關(guān)鍵的，其轉(zhuǎn)換坐標(biāo)系如圖2所示。通過(guò)該坐標(biāo)系的轉(zhuǎn)換，計(jì)算機(jī)能夠準(zhǔn)確的將虛擬對(duì)象加載到相應(yīng)的標(biāo)識(shí)圖上，為進(jìn)一步人機(jī)交互奠定了基礎(chǔ)[2]。

2 手指識(shí)別交互的實(shí)現(xiàn)

在手指識(shí)別系統(tǒng)中，為了能夠快速、穩(wěn)定、準(zhǔn)確的識(shí)別手指，是需要滿(mǎn)足一定條件的，要求在交互過(guò)程中手指盡量伸直，若是檢測(cè)5根手指，則應(yīng)該將手指盡量展開(kāi)，并且使交互環(huán)境中與膚色相近的事物盡可能的少，避免其他事物對(duì)試驗(yàn)進(jìn)行干擾。

1)手指膚色識(shí)別 系統(tǒng)采用最常用膚色檢測(cè)方法——RGB分量分析方法，進(jìn)行人手區(qū)域的檢測(cè)。該方法基于人手膚色的檢驗(yàn)知識(shí)，對(duì)RGB(其中，R、G、B分別表示8位的紅色、綠色、藍(lán)色亮度)3個(gè)顏色分量進(jìn)行分析，滿(mǎn)足式(1)的像素被認(rèn)為是人手區(qū)域[3]：

(1)

然后，通過(guò)上述方法得到膚色檢測(cè)結(jié)果，處理所得到的圖像，對(duì)圖像中的壞點(diǎn)進(jìn)行修復(fù)，平滑其中較為粗糙的部分，得到較好的圖像效果。另外，也可以通過(guò)使用RANSAC算法(隨機(jī)抽樣一致性算法)減小系統(tǒng)識(shí)別時(shí)的匹配誤差，以提高識(shí)別的精度。RANSAC算法的引入使得手指識(shí)別更加準(zhǔn)確，排除了一定的環(huán)境和人為干擾，使人機(jī)交互更加容易實(shí)現(xiàn)，并提高了人機(jī)交互的成功率[4]。

2)手指輪廓識(shí)別 手指識(shí)別系統(tǒng)采用的是基于邊界輪廓提取辦法，這種方法區(qū)別于ARToolKit自帶的連通域提取算法，受環(huán)境的影響相對(duì)較小，性能上遠(yuǎn)遠(yuǎn)優(yōu)于連通域提取算法[5]。因此，即使識(shí)別到的手指的象素不是非常的完整，一樣可以識(shí)別出部分受干擾的手指。同時(shí)在處理圖像方面，筆者對(duì)攝像機(jī)獲取的視頻流采用了實(shí)時(shí)橫向?yàn)V幀技術(shù)，并做了相應(yīng)的改進(jìn)和優(yōu)化，使獲取的圖像幀更加穩(wěn)定，增強(qiáng)了該系統(tǒng)在環(huán)境光改變的情況下的適應(yīng)能力，即使在環(huán)境光照不統(tǒng)一(同一幀圖像中明暗不一致)的地方，該方法同樣可以達(dá)到較好的效果。

在得到手指的大致輪廓后，需要對(duì)得到的圖像進(jìn)行二值化處理。所謂二值化是指設(shè)定一個(gè)閾值T，用T將圖像的數(shù)據(jù)分成2部分：大于T的像素群和小于T的像素群。這是研究灰度變換的最特殊的方法，稱(chēng)為圖像的二值化，也就是將圖像上的像素點(diǎn)的灰度值設(shè)置為0或255，使得整個(gè)圖像呈現(xiàn)出只有黑和白的視覺(jué)效果。在二值化過(guò)程中，閾值T的選取很大程度上決定了試驗(yàn)結(jié)果的好壞：在光昏暗的條件下，將閾值設(shè)置到60～235范圍內(nèi)，可以達(dá)到良好的識(shí)別效果；當(dāng)環(huán)境光線比較適中時(shí)，需要在80～235范圍內(nèi)設(shè)置閾值，才能達(dá)到相同的效果；而在光線明亮?xí)r，則應(yīng)該在100～235范圍內(nèi)調(diào)整設(shè)置閾值。

3)虛擬對(duì)象加載 在檢測(cè)到手指后，可以觸發(fā)一些事件，如在視頻所示空間中加載一些虛擬對(duì)象。這些對(duì)象可以是有OpenGL函數(shù)生成的，也可以通過(guò)Opencv形成，甚至可以直接導(dǎo)入一些模型文件，如后綴為mqo的模型文件。可以先通過(guò)3D建模軟件3DSMAX構(gòu)建模型，然后導(dǎo)出后綴為obj的文件，再將此文件導(dǎo)入水杉軟件中，經(jīng)過(guò)適當(dāng)處理優(yōu)化、調(diào)整貼圖，再導(dǎo)出mqo格式的模型。在原來(lái)程序的基礎(chǔ)上，加入一些頭文件，修改部分代碼，即可調(diào)用這些模型。

圖3 手指識(shí)別效果圖

虛擬對(duì)象的坐標(biāo)取決于所識(shí)別的手的位置，當(dāng)成功識(shí)別到時(shí)候，會(huì)經(jīng)過(guò)復(fù)雜的計(jì)算得到手的位置，并以手為中心加載其他的虛擬對(duì)象，若利用函數(shù)直接繪制虛擬體，則可以在坐標(biāo)數(shù)據(jù)的位置寫(xiě)入以手為中心的相對(duì)坐標(biāo)位置，即可成功的繪制出虛擬對(duì)象。

試驗(yàn)結(jié)果表明，在光照條件適宜，周?chē)鄙傧嘟挛锔蓴_的情況下，實(shí)現(xiàn)交互的成功率高達(dá)71%，基本滿(mǎn)足了手指識(shí)別的要求。并且在該系統(tǒng)下，可以準(zhǔn)確的識(shí)別5根手指、指尖以及手掌，并加載一些標(biāo)記來(lái)表明已經(jīng)識(shí)別，如用色塊表示指尖，橢圓表示手指，圓圈表示手掌，識(shí)別效果如圖3所示。

在手指交互系統(tǒng)中，初始狀態(tài)僅顯示虛擬菜單，當(dāng)手指觸及到菜單選項(xiàng)并且被識(shí)別的時(shí)候，該選項(xiàng)的顏色會(huì)發(fā)生變化，并且觸發(fā)該事件。經(jīng)過(guò)多次測(cè)試，結(jié)果表明在光照適宜，環(huán)境合適的條件下，手指識(shí)別系統(tǒng)運(yùn)行良好，其運(yùn)行效果如圖4(a)、(b)、(c)、(d)所示。由圖4可知，該系統(tǒng)交互過(guò)程簡(jiǎn)單方便，界面簡(jiǎn)潔明了，運(yùn)行結(jié)果良好，具有一定的實(shí)時(shí)交互功能。

圖4 運(yùn)行效果圖

3 結(jié) 語(yǔ)

區(qū)別于傳統(tǒng)的人機(jī)交互模式，手指識(shí)別人機(jī)交互系統(tǒng)較大程度的擺脫了用戶(hù)對(duì)硬件的束縛，僅利用虛擬菜單實(shí)現(xiàn)人與計(jì)算機(jī)的“交流”，交互過(guò)程更加自然方便。由于指尖的檢測(cè)容易受到光線以及周?chē)h(huán)境色彩的影響，使得該系統(tǒng)需要在一些特定環(huán)境下運(yùn)行，這對(duì)交互產(chǎn)生了一定的限制作用。但在良好環(huán)境下，該系統(tǒng)交互過(guò)程簡(jiǎn)單流暢、操作自然，起到了實(shí)時(shí)交互的作用。

[1]Auley C M.Aut0CAD2000objectARX編程指南[M].李世國(guó)，潘建忠，平雪良 等譯.北京：機(jī)械工業(yè)出版社，2000.

[2] 盛君，王毅剛.基于ARToolKit手指交互系統(tǒng)的研究 [J] .機(jī)電工程，2010(6):116-119.

[3] Molineros J，Sharma R.Real-Time Tracking of Multiple Objects Using Fiducials for Augmented Reality[M].London，UK：Academic Press Ltd，2001.

[4] Fischler M A，Bolles R C.Randomsample consensus：Aparadigmfor model fitting with applications to image analysis and automated cartography[J].CommACM，1981，24(6)：381-395.

[5] 王涌天，鄭偉，劉越，等.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的圓明園現(xiàn)場(chǎng)數(shù)字重建[J].科技導(dǎo)報(bào)，2006(3)： 36-40.

2012-10-14

史亨禎(1992-)，男，現(xiàn)主要從事軟件工程方面的學(xué)習(xí)。

TP311.52

A

1673-1409(2013)04-0054-02

[編輯] 洪云飛