王宇航, 朱運(yùn)生, 孫曉燕

(杭州師范大學(xué) 杭州國(guó)際服務(wù)工程學(xué)院, 杭州 311121)

引言

現(xiàn)代發(fā)達(dá)的醫(yī)學(xué)影像技術(shù)已經(jīng)能夠讓醫(yī)生直觀的窺探人體內(nèi)部[1], 但目前多限于術(shù)前檢查和規(guī)劃, 難以在手術(shù)過(guò)程中發(fā)揮最大的作用. Augmented Reality (AR)即增強(qiáng)現(xiàn)實(shí)技術(shù), 是一種把虛擬世界套在現(xiàn)實(shí)世界中,并進(jìn)行互動(dòng)的技術(shù). 這種技術(shù)最早于1990年提出, 目前, AR技術(shù)在軍事[2]、游戲[3]等領(lǐng)域都有了廣泛的應(yīng)用. 隨著AR技術(shù)的發(fā)展, 它也被引入包括手術(shù)在內(nèi)的醫(yī)學(xué)領(lǐng)域以及手術(shù)模擬[4]中, 應(yīng)用于手術(shù)導(dǎo)航[5]、手術(shù)訓(xùn)練[6]等, 使得術(shù)前影像提供的患者信息最大限度地服務(wù)于手術(shù). 越來(lái)越多的探索在實(shí)際臨床手術(shù)中展開(kāi), 包括頭頸、脊柱、顱額面等多個(gè)部位的手術(shù)操作中都嘗試了AR輔助的方式. 例如, 冰島Landspitali大學(xué)醫(yī)院使用3D X射線和光學(xué)成像技術(shù)為外科醫(yī)生提供“患者全面的增強(qiáng)現(xiàn)實(shí)視圖”[7]; 杜克大學(xué)用AR眼鏡助力大腦手術(shù)[8]; 尼克勞斯兒童醫(yī)院與VR/AR公司Next Galaxy Corp連手, 制作為醫(yī)院手術(shù)專用設(shè)計(jì)的軟件[9]; 國(guó)內(nèi)四川大學(xué)也推出了《人衛(wèi)3D系統(tǒng)解剖學(xué)》VR應(yīng)用[10],使得醫(yī)生憑借VR能全方位立體地觀察屏幕中人體的各個(gè)器官和結(jié)構(gòu). 有研究指出, 在針刺活檢應(yīng)用中, AR技術(shù)比傳統(tǒng)的“徒手”技術(shù)具有更好的操作精度和可靠性[11].

然而, 在實(shí)際的手術(shù)場(chǎng)景中, 醫(yī)生對(duì)于虛擬圖像的檢索和操控仍然沒(méi)有那么容易——在手術(shù)過(guò)程中要求手術(shù)醫(yī)生放下手術(shù)器械切換到鼠標(biāo)或鍵盤(pán)操作進(jìn)行顯示狀態(tài)的切換顯然不符合手術(shù)無(wú)菌環(huán)境的要求[12], 因?yàn)樗鼈兾唇?jīng)消毒, 有感染的風(fēng)險(xiǎn). 外科醫(yī)生通常只能向助手下達(dá)口令, 再由后者通過(guò)鼠標(biāo)或鍵盤(pán)進(jìn)行操作[13],但這無(wú)法直接有效的體現(xiàn)醫(yī)生的意圖. 近年也有研究者探索利用平板計(jì)算機(jī)的觸屏方式提供交互[14], 但都存在干擾手術(shù)進(jìn)程、引起染菌風(fēng)險(xiǎn)的問(wèn)題.

目前, 現(xiàn)有的手術(shù)非接觸式控制技術(shù)主要包含兩大類: 語(yǔ)音控制和手勢(shì)控制. 如國(guó)外有學(xué)者利用語(yǔ)音控制和計(jì)算機(jī)系統(tǒng)來(lái)遠(yuǎn)程輔助手術(shù)的操作[15], 但語(yǔ)音控制存在著精度不夠準(zhǔn)確, 語(yǔ)音識(shí)別率較低等問(wèn)題. 在手勢(shì)控制中, 有學(xué)者提出了基于Kinect的手勢(shì)控制技術(shù)[16].Kinect是微軟出品的3D體感設(shè)備, 可提供非接觸式的人機(jī)交互, 但在實(shí)際的手術(shù)控制中, 由于Kinect的傳感器分辨率不夠, 無(wú)法有效的辨別出手指, 其次Kinect使用的結(jié)構(gòu)光技術(shù)也使得深度傳感器的可視范圍無(wú)法重疊, 在實(shí)際手術(shù)中環(huán)境匯中, Kinect的設(shè)備尺寸大, 需要較長(zhǎng)的電源線, 對(duì)于手術(shù)的操作有一定的阻礙.

為此, 從手術(shù)的安全性和實(shí)際操作的可行性上, 因此本文基于Leap Motion小巧、靈活、高精度的提出了基于Leap Motion手勢(shì)識(shí)別的非接觸式無(wú)干擾化的交互控制技術(shù). 系統(tǒng)設(shè)計(jì)了一套易于理解和操作的手勢(shì)用于手術(shù)中影像數(shù)據(jù)的交互呈現(xiàn): 利用Leap Motion設(shè)備采集手部的數(shù)據(jù)[17]、基于API實(shí)現(xiàn)相應(yīng)的手勢(shì)識(shí)別, 并將對(duì)應(yīng)的控制信號(hào)回饋給計(jì)算機(jī), 從而達(dá)到手術(shù)過(guò)程中影像可視化效果非接觸式人機(jī)交互的目的.

1 方法

1.1 系統(tǒng)總體設(shè)計(jì)

系統(tǒng)主要由手術(shù)過(guò)程中的AR顯示和手勢(shì)控制兩部分組成, 其中, AR效果在平板電腦中呈現(xiàn), 實(shí)現(xiàn)術(shù)前信息與術(shù)中場(chǎng)景的虛擬迭加, 而手勢(shì)控制則基于Leap Motion設(shè)備實(shí)現(xiàn). 系統(tǒng)總體結(jié)構(gòu)如圖1所示, 利用ARToolKit實(shí)現(xiàn)術(shù)前數(shù)據(jù)在真實(shí)場(chǎng)景中空間坐標(biāo)的實(shí)時(shí)配準(zhǔn), 并以O(shè)penGL技術(shù)將由CT、MRI等數(shù)字化成像技術(shù)獲得的人體信息在計(jì)算機(jī)上直觀地表現(xiàn)為三維效果, 從而提供用傳統(tǒng)手段無(wú)法獲得的結(jié)構(gòu)信息. 其中對(duì)于手術(shù)相關(guān)的影像信息的控制, 以Leap Motion獲取醫(yī)生的手勢(shì)信息, 在同一局域網(wǎng)下利用Java類中的Socket方法, 輔以接聽(tīng)函數(shù)實(shí)現(xiàn)顯示內(nèi)容的旋轉(zhuǎn)、縮放、平移等.

圖1 系統(tǒng)總體結(jié)構(gòu)

1.2 Leap Motion簡(jiǎn)介

Leap Motion作為L(zhǎng)eap公司在2013年新推出的體感控制產(chǎn)品, 類似于微軟的Kinect, 是目前最流行的體感設(shè)備之一[17]. Leap Motion對(duì)用戶手掌的9塊骨頭、29個(gè)關(guān)節(jié)進(jìn)行探測(cè), 并檢測(cè)到較近距離內(nèi)的從手肘到指尖部分的手勢(shì), 可以識(shí)別毫米級(jí)別的極短位移量, 具有高精度、實(shí)時(shí)回饋的特點(diǎn).

Leap Motion使用的是人眼3D原理, 將兩個(gè)獨(dú)立的2D畫(huà)面轉(zhuǎn)換為空間3D感應(yīng). 它根據(jù)內(nèi)置的兩個(gè)攝像頭以及紅外LED從不同角度捕捉的畫(huà)面, 以設(shè)備本身為原點(diǎn)建立一個(gè)三維坐標(biāo)體系(如圖2所示, 坐標(biāo)系的原點(diǎn)是控制器上表面的中心, 坐標(biāo)系的X軸平行于傳感器, 指向屏幕右方. Y軸指向上方. Z軸指向背離屏幕的方向), 重建出手掌在真實(shí)世界三維空間的運(yùn)動(dòng)信息[18]. Leap Motion所采用的快門(mén)傳感器速度高達(dá)120幀每秒, 可完整采集手部的像素信息, 然后再對(duì)這些資料進(jìn)行后續(xù)處理, 通過(guò)大量資料計(jì)算來(lái)做到對(duì)設(shè)備功能的穩(wěn)定控制, 從而獲取包括如圖3所示的手掌方向和法向等手部運(yùn)動(dòng)相關(guān)的信息. Leap Motion的檢測(cè)范圍大體在傳感器上方25 mm到600 mm之間, 檢測(cè)的空間大體是一個(gè)倒四棱錐體.

圖2 Leap Motion坐標(biāo)系

圖3 Leap Motion識(shí)別的手掌方向和法向

Leap Motion提供了適用于Windows、Mac OS和Linux的SDK. 本系統(tǒng)在Windows10操作系統(tǒng)的Java環(huán)境下開(kāi)發(fā), 利用原生接口, 通過(guò)接口中六大類(Controller類、Frame類、Gesture類、Finger類、HandList類、Hand類)來(lái)的實(shí)現(xiàn)從Leap Motion服務(wù)中獲取追蹤數(shù)據(jù).

Leap Motion Controller的主要接口為Controller類. 創(chuàng)建此Controller類的實(shí)例以訪問(wèn)跟蹤數(shù)據(jù)和配置信息的幀. 可以使用Controller :: frame()函數(shù)隨時(shí)輪詢幀數(shù)據(jù). 調(diào)用frame()或frame(0)來(lái)獲取最近的幀. 為了在程序中開(kāi)啟Leap Motion的手勢(shì)識(shí)別, 需使用controller中的enableGesture函數(shù), 輸入的參數(shù)為手勢(shì)的類型(如Gesture.Type.TYPE_CIRCLE).

Frame類表示在單個(gè)幀中檢測(cè)到的一組手和手指跟蹤資料. Leap Motion設(shè)備檢測(cè)跟蹤區(qū)域內(nèi)的手、手指, 以幀速率的方式報(bào)告其位置、方向、手勢(shì)和運(yùn)動(dòng).Gesture類表示對(duì)用戶移動(dòng)手勢(shì)的識(shí)別. 其子類定義了由運(yùn)動(dòng)控制器識(shí)別的特定運(yùn)動(dòng)模式的屬性, 子類包括CircleGesture(), SwipeGesture(), ScreenTapGesture(),KeyTapGesture().

Finger類代表一個(gè)跟蹤的手指. 試驗(yàn)中從Frame或Hand物件獲取有效的Finger物件.

HandList類表示Hand對(duì)象的列表. 其中g(shù)et方法通過(guò)其在列表中的位置訪問(wèn)列表成員. 輸入的參數(shù)為基于零的列表位置索引, 返回在指定索引處的Hand對(duì)象.

Hand類從HandList類中獲取得到, 通過(guò)Hand類可以得到檢測(cè)到的手的身體特征如手掌位置和速度、手掌正常的方向和手指的方向、適合手的球體屬性和附加的手指的列表. 其中palmVelocity方法返回向量表示手掌速度的坐標(biāo)(X, Y, Z), direction方法返回從手掌位置朝向手指的方向的向量.

Leap設(shè)備把代表識(shí)別動(dòng)作模型的Gesture對(duì)象放到Frame對(duì)象中g(shù)estures的list列表里. 在回調(diào)函數(shù)onFrame()中, 應(yīng)用程序循環(huán)讀取gestures的list列表,并把每個(gè)手勢(shì)的信息輸出.

通過(guò)使用上述的類和方法, 來(lái)實(shí)現(xiàn)從Leap Motion中獲取到手勢(shì)信息.

1.3 基于Leap Motion的手勢(shì)識(shí)別

我們提出一種基于手勢(shì)識(shí)別的非接觸式的交互技術(shù), 讓醫(yī)生通過(guò)不同手勢(shì)來(lái)實(shí)現(xiàn)對(duì)圖像顯示效果的控制, 從而減少鼠標(biāo)操作對(duì)手術(shù)無(wú)菌環(huán)境造成的影響. 在手術(shù)過(guò)程中, 醫(yī)生對(duì)圖像控制的主要需求有對(duì)圖像進(jìn)行旋轉(zhuǎn)、縮放、平移等. 為此, 設(shè)計(jì)了6種不同的手勢(shì)來(lái)實(shí)現(xiàn)需求, 具體手勢(shì)如表1.

表1 手勢(shì)配置表

基于Leap Motion的手勢(shì)識(shí)別流程如圖4所示, 首先用戶的手勢(shì)信息被Leap Motion的紅外攝像頭捕捉到, 然后通過(guò)Leap Motion設(shè)備的處理, 進(jìn)行手勢(shì)分割,并與現(xiàn)有的模型進(jìn)行參數(shù)對(duì)比, 從而識(shí)別出相應(yīng)的手勢(shì).

手勢(shì)識(shí)別的具體算法如圖5所示, 在算法處理中,通過(guò)Leap Motion提供的gesture類, 利用gesture.type()返回的數(shù)值TYPE_CIRCLE, TYPE_KEY_TAP,TYPE_SWIPE分別得到基于指尖畫(huà)圈動(dòng)作的順逆時(shí)針旋轉(zhuǎn)、手指單擊、以及平移手勢(shì), 從而實(shí)現(xiàn)圖像的旋轉(zhuǎn)、縮放和平移功能.

圖4 手勢(shì)識(shí)別流程圖

圖5 算法流程圖

1) 圖像的旋轉(zhuǎn)功能通過(guò)比較gesture.state()的返回值得到. 在TYPE_CIRCLE(旋轉(zhuǎn))手勢(shì)中, 利用gesture.state()的返回值(Gesture.State.STATE_STOP或Gesture.State.STATE_START)來(lái)得到手勢(shì)動(dòng)作的開(kāi)始狀態(tài)和結(jié)束狀態(tài), 從而得到一個(gè)完整的連續(xù)的手勢(shì)時(shí)間周期. 若direction().angleTo＜π/2, 則識(shí)別出只伸出手指, 并順時(shí)針旋轉(zhuǎn)的手勢(shì), 反之則識(shí)別出只伸出手指,并逆時(shí)針旋轉(zhuǎn)的手勢(shì).

2) 圖像的縮放功能通過(guò)比較isFinger()和tappingFinger.type()的返回值得到. 在TYPE_KEY_TAP(手指單擊)手勢(shì)中, 通過(guò)keytap類中的pointable方法得到單擊物體的類型(手指或工具), 若為手指(tappingPointable.isFinger()), 根據(jù) tappingFinger.type()識(shí)別出不同的手勢(shì). 當(dāng)手指類型為INDEX時(shí), 識(shí)別出手掌張開(kāi)單擊食指的手勢(shì); 當(dāng)手指類型為MIDDLE時(shí), 識(shí)別出手掌張開(kāi)單擊中指的手勢(shì). 該方法對(duì)左右手均可識(shí)別.

3) 圖像的平移功能通過(guò)計(jì)算palmVelocity數(shù)字得到. 在TYPE_SWIPE(滑動(dòng))手勢(shì)中, 通過(guò)gesture.state()獲取到滑動(dòng)停止時(shí)的狀態(tài), 并利用Hand類的palmVelocity得到手掌速度的向量信息. 由于Leap Motion的坐標(biāo)系與圖像的坐標(biāo)系存在差異, 因此若X,Z軸的向量數(shù)值在一定的閾值內(nèi)且X軸上的向量數(shù)值遞減, 則識(shí)別出手掌張開(kāi)向右移動(dòng)的手勢(shì); 若X, Z軸的向量數(shù)值在一定的閾值內(nèi)且X軸上的向量數(shù)值遞增, 則識(shí)別出手掌張開(kāi)向左移動(dòng)的手勢(shì).

圖6 手勢(shì)與手勢(shì)關(guān)節(jié)對(duì)應(yīng)圖

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)配置

實(shí)驗(yàn)用到了計(jì)算機(jī)(Windows 7系統(tǒng))一臺(tái)和Leap Motion設(shè)備一套, 首先在計(jì)算機(jī)上安裝好Leap Motion驅(qū)動(dòng)程序, 將Leap Motion設(shè)備水平放置在無(wú)雜物的桌面上, 再將其與計(jì)算機(jī)連接, 設(shè)備指示燈顯示黃色則表明連接成功. 其中必須將Leap Motion設(shè)備放置在無(wú)障礙的桌面上, 設(shè)備上方無(wú)障礙是成功使用Leap Motion設(shè)備的基本條件.

本次實(shí)驗(yàn)選取了20名試驗(yàn)對(duì)象, 其中10名男性,10名女性, 均為右利手. 為方便數(shù)據(jù)統(tǒng)計(jì), 20名實(shí)驗(yàn)對(duì)象分組為A、B、C、D、E五組, 每組兩男兩女共四人, 分別編號(hào)為A1到A4, 、B1到B4、C1到C4、D1到D4、E1到E4. 20名實(shí)驗(yàn)對(duì)象中, 有2名在實(shí)驗(yàn)前接觸過(guò)非接觸式交互技術(shù)如Kinect(對(duì)象A2和C1).共設(shè)計(jì)了三組實(shí)驗(yàn), 分別對(duì)Leap Motion參數(shù)準(zhǔn)確性、手勢(shì)識(shí)別準(zhǔn)確性、系統(tǒng)交互易用性進(jìn)行測(cè)試. 為避免測(cè)試人員因疲勞感而產(chǎn)生的影響, 實(shí)驗(yàn)順序按照如下圖順序進(jìn)行:

在實(shí)驗(yàn)前, Leap Motion設(shè)備放置在水平桌面上,通過(guò)USB線和系統(tǒng)相連, 手勢(shì)的操作均在Leap Motion上方中央?yún)^(qū)域進(jìn)行.

2.2 Leap Motion參數(shù)準(zhǔn)確性評(píng)估

分別對(duì)Leap Motion返回的手指?jìng)€(gè)數(shù)以及手部運(yùn)動(dòng)速度進(jìn)行測(cè)試, 以評(píng)估Leap Motion對(duì)手部運(yùn)動(dòng)基本數(shù)據(jù)的獲取的準(zhǔn)確程度. 五組試驗(yàn)對(duì)象均進(jìn)行了手指?jìng)€(gè)數(shù)的測(cè)試, 測(cè)試形式為用右手放置不同的手指數(shù). 每位測(cè)試人員分別對(duì)伸開(kāi)1–5根手指的手勢(shì)重復(fù)50次進(jìn)行測(cè)試, 對(duì)比實(shí)際手指?jìng)€(gè)數(shù)和系統(tǒng)利用Leap Motion的Finger.number值輸出的手指?jìng)€(gè)數(shù). 在共計(jì)1000次的試驗(yàn)中, 僅有97次未能正確識(shí)別, 準(zhǔn)確率90.3%. 其中, 1根手指無(wú)錯(cuò)誤識(shí)別, 2根手指的錯(cuò)誤識(shí)別有16次,3根手指的錯(cuò)誤識(shí)別有20次, 4根手指的錯(cuò)誤識(shí)別有26次, 5根手指的錯(cuò)誤識(shí)別有35次. 由此可知, Leap Motion對(duì)少于三個(gè)手指的情況識(shí)別較為準(zhǔn)確; 當(dāng)手指?jìng)€(gè)數(shù)為三個(gè)以上時(shí), 誤差較為明顯. 而男女性別差異在手指?jìng)€(gè)數(shù)的識(shí)別結(jié)果上無(wú)明顯差異.

圖7 實(shí)驗(yàn)順序圖

在對(duì)X軸速度參數(shù)的測(cè)試中, 隨機(jī)選取了一組實(shí)驗(yàn)對(duì)象, 進(jìn)行了4次測(cè)試, 分別以慢、適中、快、極快的速度下?lián)]手通過(guò)Leap Motion的正上方的中央?yún)^(qū)域,將數(shù)據(jù)取平均值, 得到如表2所示數(shù)據(jù).

表2 對(duì)X軸速度參數(shù)的測(cè)試

由此, Leap Motion傳感器返回到的X軸速度分量與用戶的揮手的速度在一定情況下成正比, 能夠反應(yīng)實(shí)際手勢(shì)速度的差異.

2.3 手勢(shì)識(shí)別準(zhǔn)確性評(píng)估

五組試驗(yàn)對(duì)象進(jìn)行了手勢(shì)識(shí)別準(zhǔn)確性的測(cè)試, 在沒(méi)有提前對(duì)手勢(shì)進(jìn)行練習(xí)的情況下, 將手部置于Leap Motion上方區(qū)域并完成如下表格中的手勢(shì). 各組的每名對(duì)象對(duì)每種手勢(shì)重復(fù)測(cè)試100次, 即每種手勢(shì)共實(shí)驗(yàn)2000次, 并將所得的數(shù)據(jù)進(jìn)行整理匯總, 得出表3.

表3 各手勢(shì)準(zhǔn)確性評(píng)估表

從多次實(shí)驗(yàn)的結(jié)果中看, 對(duì)于平移和旋轉(zhuǎn)手勢(shì),Leap Motion的識(shí)別率基本上能達(dá)到令人滿意的程度,但是對(duì)于食指和中指的點(diǎn)擊, 由于手掌在自然張開(kāi)的狀態(tài)下, 食指的點(diǎn)擊會(huì)影響到中指, 同樣中指的點(diǎn)擊也會(huì)影響到食指, 因此誤差較大. 其中中指的點(diǎn)擊效果優(yōu)于食指點(diǎn)擊.

2.4 系統(tǒng)交互易用性評(píng)估

五組試驗(yàn)對(duì)象分別對(duì)手勢(shì)識(shí)別系統(tǒng)的交互功能進(jìn)行試用后, 對(duì)每一項(xiàng)手勢(shì)易用性進(jìn)行了打分評(píng)估. 打分以操作者的主觀感受為標(biāo)準(zhǔn), 其中每一項(xiàng)滿分為10分,對(duì)得分取平均值得到如表4.

表4 交互易用性評(píng)估表

大多數(shù)被試者對(duì)平移手勢(shì)的評(píng)分較高, 但對(duì)于縮小和放大所對(duì)應(yīng)的單擊手指手勢(shì), 由于手指間的動(dòng)作的互相影響, 交互的自然性略顯不足, 易用性仍需加強(qiáng),相應(yīng)的客觀評(píng)分低于其他四種手勢(shì). 其中有個(gè)別被試者反映對(duì)于縮放手勢(shì)感覺(jué)不夠自然, 分析后得知一個(gè)原因便是由于食指的點(diǎn)擊不可避免的會(huì)影響到中指,同樣, 中指的點(diǎn)擊也會(huì)影響到食指, 而Leap Motion設(shè)備將這幾毫米動(dòng)作當(dāng)成了人體手指的移動(dòng), 從而造成了誤差. 后期為了解決這一問(wèn)題, 討論了兩種可行的方案,方案一是采用其他手勢(shì)來(lái)實(shí)現(xiàn)縮放效果, 如手指的捏合; 方案二是優(yōu)化算法, 將數(shù)據(jù)精確到手指的向量信息上.

2.5 系統(tǒng)總體評(píng)分

在完成對(duì)Leap Motion參數(shù)準(zhǔn)確性、手勢(shì)識(shí)別準(zhǔn)確性和交互易用性的測(cè)試后, 讓被試者對(duì)系統(tǒng)的總體感受、反應(yīng)速度、手勢(shì)自然程度進(jìn)行打分, 并寫(xiě)出最不滿意的手勢(shì). 得到了如下的每一項(xiàng)滿分為100分的數(shù)據(jù)表格如表5.

表5 實(shí)驗(yàn)評(píng)分表

在對(duì)系統(tǒng)的測(cè)試中, 對(duì)于六項(xiàng)手勢(shì)所對(duì)應(yīng)的六個(gè)動(dòng)作, 絕大部分被試者能在未訓(xùn)練的前提下良好的實(shí)現(xiàn).

3 結(jié)論和展望

針對(duì)手術(shù)室無(wú)菌環(huán)境要求非常高的現(xiàn)實(shí)需求, 以及傳統(tǒng)鼠標(biāo)鍵盤(pán)等人機(jī)交互方式存在的需要定期消毒且無(wú)法在手術(shù)過(guò)程中進(jìn)行操作等客觀限制, 本文對(duì)目前手術(shù)室中人機(jī)交互存在的問(wèn)題進(jìn)行了分析, 提出基于體感設(shè)備Leap Motion的非接觸式手勢(shì)控制方案.以Leap Motion作為數(shù)據(jù)采集源, 利用Leap Motion的API, 形成一套精確度相對(duì)較高、易用性相對(duì)較強(qiáng)的無(wú)干擾化手術(shù)控制系統(tǒng). 在現(xiàn)有的虛擬操作人機(jī)交互方法中, 本文方法更具有現(xiàn)實(shí)意義, 優(yōu)勢(shì)突出, 且進(jìn)一步促進(jìn)了人機(jī)交互與手術(shù)結(jié)合領(lǐng)域的發(fā)展. 實(shí)驗(yàn)表明, 目前該系統(tǒng)在無(wú)干擾特性上有著較大的優(yōu)勢(shì), 準(zhǔn)確度與易用性上的表現(xiàn)也令人滿意, 同時(shí)也證明了Leap Motion設(shè)備獲取指尖信息的可行性[19]. 但目前對(duì)于某些手勢(shì)(比如手指單擊)的精確識(shí)別上仍存在不足, 下一步的工作將繼續(xù)深入研究手指關(guān)節(jié)和體感信息的提取方法和手勢(shì)匹配算法, 在現(xiàn)有的基礎(chǔ)上通過(guò)雙目攝像頭進(jìn)行深度成像, 再根據(jù)雙目信息利用匹配算法推算出深度, 最后從深度圖中得到三維手部模型[20]. 與傳統(tǒng)的鼠標(biāo)相比較, 手勢(shì)控制有著更加靈活的操作性: 在操作上無(wú)需接觸, 且手勢(shì)的控制不受空間的限制, 同時(shí)對(duì)手勢(shì)控制的研究有著更加大的研究意義[21]. 但在精細(xì)操作時(shí), 靈敏度和穩(wěn)定性有待提高, 這也是我們下一步的工作目標(biāo).