陳 暢，陳 亮，周雪峰

（1.華南理工大學(xué)，廣州 510006；2.廣東省智能制造研究所，廣州 510070）

0 引言

工業(yè)機(jī)器人的示教是指在工業(yè)機(jī)器人進(jìn)行工件選取、裝配等作業(yè)之前，首先規(guī)劃好機(jī)器人的正確運(yùn)動(dòng)軌跡，并將其載入到機(jī)器人中。機(jī)器人示教直接關(guān)系到工業(yè)機(jī)器人在實(shí)際工作過(guò)程中的精度和效率，是工業(yè)機(jī)器人研究領(lǐng)域的熱點(diǎn)問(wèn)題之一。從示教方式上來(lái)看，目前絕大多數(shù)機(jī)器人都是通過(guò)示教器或者離線編程進(jìn)行示教[1]，盡管也能夠滿足機(jī)器人示教的一般要求，但這些示教方式都具有過(guò)程復(fù)雜，難度大，操作繁瑣等缺點(diǎn)，如示教器操作要求逐個(gè)輸入軌跡點(diǎn)，并要求操作者熟練掌握機(jī)器人編程語(yǔ)言等，從而增大了運(yùn)行和調(diào)試成本。以上這些問(wèn)題成為制約提高機(jī)器人示教效率的瓶頸。

隨著人機(jī)交互技術(shù)的發(fā)展，采用自然交互的方式進(jìn)行機(jī)器人示教成為可能，自然手勢(shì)交互是一種快捷、方便、低認(rèn)知負(fù)擔(dān)的新型人機(jī)交互技術(shù)[2,3]。采用自然手勢(shì)交互進(jìn)行工業(yè)機(jī)器人示教具有學(xué)習(xí)成本低，精確度高，交互過(guò)程簡(jiǎn)單等優(yōu)點(diǎn)。操作人員不需要對(duì)機(jī)器人控制有深入的了解，也不需要具備機(jī)器人編程的專業(yè)知識(shí)，只需通過(guò)簡(jiǎn)單的自然手勢(shì)就能完成機(jī)器人控制與示教。本文將自然手勢(shì)交互與工業(yè)機(jī)器人示教相結(jié)合，通過(guò)手勢(shì)姿態(tài)傳感器獲取手部位置和姿態(tài)信息，并將其傳送給工業(yè)機(jī)器人實(shí)現(xiàn)機(jī)械臂定。

位和末端夾具的各種任務(wù)操作。實(shí)驗(yàn)平臺(tái)上的樣機(jī)測(cè)試和誤差分析表明，采用自然手勢(shì)交互的工業(yè)示教機(jī)器人操作簡(jiǎn)單、運(yùn)行可靠、準(zhǔn)確性高。

1 手勢(shì)示教系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)總體方案

根據(jù)一般工業(yè)機(jī)器人的任務(wù)要求，本研究將工業(yè)機(jī)器人的示教動(dòng)作分為兩類，一類是機(jī)械臂位置的改變，一類是末端夾具的抓取、放置、停止等任務(wù)動(dòng)作，同時(shí)還要記錄下機(jī)器人手臂的運(yùn)動(dòng)數(shù)據(jù)。示教系統(tǒng)總體設(shè)計(jì)方案和流程如圖1所示。

示教系統(tǒng)由主控前端數(shù)據(jù)采集處理模塊和從控端機(jī)器人模塊組成。主控部分主要由PC機(jī)和Leap Motion體感傳感器等硬件組成，主要完成手勢(shì)數(shù)據(jù)獲取、數(shù)據(jù)優(yōu)化處理、手勢(shì)識(shí)別、數(shù)據(jù)存儲(chǔ)等功能。從控部分主要由機(jī)器人控制器、機(jī)械臂、末端夾具，夾具控制器，Arduino模塊等硬件組成，從控部分受到主控部分動(dòng)作觸發(fā)信號(hào)產(chǎn)生各類任務(wù)動(dòng)作。主控端和從控端通過(guò)USB接口進(jìn)行通訊，數(shù)據(jù)處理流中手掌位置映射與姿態(tài)映射同時(shí)進(jìn)行且相互獨(dú)立，從而使得在示教中機(jī)械臂位置控制與末端夾具的姿態(tài)控制相互不受到影響，在機(jī)器人工作區(qū)域內(nèi)任意位置都能實(shí)現(xiàn)機(jī)器手的抓取、放置等操作。系統(tǒng)采用visual studio2015開發(fā)，控制程序每0.45s向被控端機(jī)器人發(fā)送位置與手勢(shì)類別數(shù)據(jù)，同時(shí)將數(shù)據(jù)以文本文檔格式儲(chǔ)存在計(jì)算機(jī)中，再通過(guò)示教程序讀出數(shù)據(jù)完成示教任務(wù)。

圖1 系統(tǒng)總體設(shè)計(jì)方案

1.2 前端數(shù)據(jù)采集處理模塊

手勢(shì)示教中前端數(shù)據(jù)采集由Leap Motion傳感器完成，在PC機(jī)上進(jìn)行數(shù)據(jù)處理。Leap Motion傳感器是一款桌面無(wú)接觸式交互設(shè)備，它通過(guò)紅外成像原理實(shí)時(shí)捕捉手勢(shì)運(yùn)動(dòng)，精度能達(dá)到0.01mm，Leap Motion遵循右手坐標(biāo)系[4]，如圖2所示，坐標(biāo)原點(diǎn)是設(shè)備的中心，X軸指向設(shè)備的長(zhǎng)邊，Y軸豎直向上，Z軸指向設(shè)備側(cè)面，X-Z平面構(gòu)成一個(gè)水平面，當(dāng)手掌處于水平位置時(shí)，與該平面平行。

圖2 Leap Motion坐標(biāo)系

在本研究中數(shù)據(jù)處理PC機(jī)采用的是IPC-610G系列工控機(jī)，Leap Motion通過(guò)USB接口與PC機(jī)通訊。Leap Motion將采集到的手掌、手指的位置和其他信息保存在一幀（Frame）當(dāng)中，利用Leap Motion SDK就可以獲取手掌、手指的空間位置坐標(biāo)，并將手掌、手指的位置數(shù)據(jù)作為手勢(shì)特征數(shù)據(jù)用于識(shí)別手部的握拳、半握、張開三種手勢(shì)類別，用于控制機(jī)器人抓取放置及緊急停止動(dòng)作。利用hand.palmNormal().roll()函數(shù)獲取手掌平面與Leap Motion空間坐標(biāo)系X-Y平面之間的夾角數(shù)值控制機(jī)器人末端夾具的旋轉(zhuǎn)角度。

1.3 從控機(jī)器人模塊

被控端機(jī)器人采用EPSON SCARA LS3-401x型機(jī)器人，如圖3所示。該機(jī)器人具有四個(gè)自由度，負(fù)載3kg，定位精度為0.01mm。三個(gè)相互平行的旋轉(zhuǎn)關(guān)節(jié)實(shí)現(xiàn)平面內(nèi)的定位，第四關(guān)節(jié)為旋轉(zhuǎn)移動(dòng)關(guān)節(jié)實(shí)現(xiàn)末端的空間移動(dòng)，機(jī)器人控制器使用愛(ài)普生RC90，其集成了Microsoft.NET通信模塊可以進(jìn)行二次開發(fā)，控制器使用以太網(wǎng)與計(jì)算機(jī)通訊，機(jī)器人手臂使用電源線和信號(hào)線連接到控制器。SCARA機(jī)器人末端裝有電動(dòng)夾具，如圖4所示，電動(dòng)夾具使用一個(gè)直流無(wú)刷電機(jī)驅(qū)動(dòng)，控制器內(nèi)置，二指平動(dòng)，行程為20mm。夾具與機(jī)器人的控制相互獨(dú)立，使用Arduino模塊向夾具控制器發(fā)送脈沖信號(hào)來(lái)驅(qū)動(dòng)夾具運(yùn)動(dòng)，示教中將手部張開、半握姿勢(shì)分別定義為高、低電平信號(hào)，從而控制夾具開合。

圖3 SCARA機(jī)器人

圖4 電動(dòng)夾爪

2 運(yùn)動(dòng)映射算法

2.1 數(shù)據(jù)濾波

由于存在硬件設(shè)備的不穩(wěn)定性和操作者動(dòng)作的不連續(xù)性等因素，從而導(dǎo)致所獲得的幀數(shù)據(jù)具有較大的誤差，出現(xiàn)噪聲信號(hào)，因此本研究采用帶閾值的均值濾波算法對(duì)原始數(shù)據(jù)進(jìn)行優(yōu)化，以確保Leap Motion獲取的原始數(shù)據(jù)能夠有效使用。濾波方案如下：選取連續(xù)的n（10＜n＜20）幀數(shù)據(jù)作為觀測(cè)值進(jìn)行均值濾波計(jì)算，記其中第i（0＜i＜n+1）幀某一坐標(biāo)數(shù)據(jù)為（xi,yi,zi），設(shè)定各分量的閾值為M，只有當(dāng)所有分量都不大于閾值M的時(shí)候才為有效數(shù)據(jù)，計(jì)算公式如下：

其中p(x,y,z)為連續(xù)n幀優(yōu)化后坐標(biāo)數(shù)據(jù)，算法設(shè)定閾值過(guò)濾掉產(chǎn)生誤差的幀數(shù)據(jù)，保證手勢(shì)控制的精度和手勢(shì)識(shí)別的準(zhǔn)確性。

2.2 手勢(shì)定義與識(shí)別

根據(jù)系統(tǒng)設(shè)計(jì)目標(biāo)，本研究設(shè)計(jì)了五種手勢(shì)動(dòng)作來(lái)完成手部與機(jī)器人的交互行為，具體定義如表1所示。

表1 手勢(shì)及控制意義

靜態(tài)手勢(shì)主要研究的是手的姿態(tài)和單個(gè)手形，表中序號(hào)2，3，4為三種靜態(tài)手勢(shì)[5]，本文采用K臨近算法[6]對(duì)這三種手勢(shì)進(jìn)行識(shí)別。取五個(gè)手指指尖相對(duì)于手掌中心的相對(duì)坐標(biāo)作為特征值，訓(xùn)練集T如下：

ωis表示樣本Ti的第s維的坐標(biāo)，表示樣本T'j的第s維坐標(biāo)，對(duì)于新輸入的手勢(shì)特征值通過(guò)式(3)求的與所有已知類別樣本的距離，然后從小到大的排序找出K個(gè)在訓(xùn)練集T 中與X距離最近的點(diǎn)記為：NK（X）。

其中I為指示函數(shù)相當(dāng)于一個(gè)布爾值，即當(dāng)yi=cj時(shí)，I為1，否則I為0，最后得到y(tǒng)為輸出的手勢(shì)類別。

2.3 坐標(biāo)數(shù)據(jù)動(dòng)態(tài)映射

由于手勢(shì)操作和機(jī)械臂運(yùn)動(dòng)分別屬于不同的坐標(biāo)系統(tǒng)，并且手勢(shì)操作空間和機(jī)械臂運(yùn)動(dòng)空間都有各自的范圍限制，因此需要制定合理的數(shù)據(jù)動(dòng)態(tài)映射策略。主要從以下方面考慮。

2.3.1 坐標(biāo)系映射

由圖2和圖5可知，Leap Motion傳感器和SCARA機(jī)器人的坐標(biāo)定義并不相同，假設(shè)：

圖5 SCARA機(jī)器人坐標(biāo)系

在Leap Motion坐標(biāo)系空間中某一時(shí)刻掌心的位置記為A=（xn，yn，zn），對(duì)應(yīng)在機(jī)械臂坐標(biāo)空間該時(shí)刻的位置表示為Jn=（x'n，y'n，z'n）。為了使兩個(gè)坐標(biāo)系方向能夠關(guān)聯(lián)起來(lái)，現(xiàn)將Leap Motion的空間坐標(biāo)系繞X軸逆時(shí)針旋轉(zhuǎn)90°，再沿Y軸反向，具體變換過(guò)程如下：

2）再沿Y軸反向：

整理得到坐標(biāo)映射關(guān)系為：

從中可以看出，機(jī)械臂的Y坐標(biāo)方向受手勢(shì)空間Z坐標(biāo)控制，機(jī)械臂Z坐標(biāo)方向受到手勢(shì)空間Y坐標(biāo)控制。

2.3.2 傳感器操作空間和機(jī)械臂工作空間要求

Leap Motion控制器的是一款桌面級(jí)體感交互設(shè)備，它的交互區(qū)域即可視域較小，交互半徑約為61cm，前后夾角約為120°，左右?jiàn)A角約為150°。另一方面，機(jī)器人的工作空間必須有一個(gè)極限范圍，否則可能發(fā)生碰撞，因此本研究設(shè)定SCARA機(jī)器人的安全有效動(dòng)作區(qū)域?yàn)椋涸赯軸-56mm～100mm之間，介于最大臂400mm與最小臂長(zhǎng)130mm之間的環(huán)形區(qū)域，且機(jī)械臂末端不能運(yùn)動(dòng)到其后方區(qū)域，公式如下：

在機(jī)械臂實(shí)際操作過(guò)程中，不管是何種因素引起，機(jī)械臂都不能超出以上范圍，否則立即停止機(jī)械臂。

2.3.3 手勢(shì)動(dòng)作的放大處理

為了利用自然手勢(shì)在較小且舒適的范圍內(nèi)控制機(jī)械臂在整個(gè)工作區(qū)域內(nèi)執(zhí)行任務(wù)，還需要對(duì)手勢(shì)姿態(tài)進(jìn)行一定的放大處理。假設(shè)當(dāng)前掌心位置數(shù)據(jù)與上一時(shí)刻位置數(shù)據(jù)的差值為向量機(jī)器人末端的移動(dòng)量為現(xiàn)引入：

其中T=[t1，t2，t3]為控制系數(shù)，引入控制系數(shù)就可以實(shí)時(shí)調(diào)整在交互過(guò)程中手部運(yùn)動(dòng)對(duì)機(jī)器人手臂運(yùn)動(dòng)控制的靈敏度。最后通過(guò)調(diào)用機(jī)器人動(dòng)態(tài)鏈接庫(kù)SpelNetLib70.dll中點(diǎn)到點(diǎn)運(yùn)動(dòng)方式函數(shù)GO（x'，y'，z'，u'）控制機(jī)器人末端到達(dá)工作區(qū)域最終映射點(diǎn)，其中x，y，z為機(jī)器人末端位置點(diǎn)，u'為機(jī)器人末端的旋轉(zhuǎn)角度。通過(guò)坐標(biāo)映射、空間限定及動(dòng)作放大等一系列過(guò)程，可以很好地實(shí)現(xiàn)手勢(shì)姿態(tài)對(duì)機(jī)器人位置和末端夾具控制的交互過(guò)程。

3 實(shí)驗(yàn)過(guò)程

3.1 實(shí)驗(yàn)流程設(shè)計(jì)

SCARA LS3-401x型機(jī)器人的主要工作任務(wù)是搬取零件并進(jìn)行裝配，因此本實(shí)驗(yàn)采用手勢(shì)引導(dǎo)機(jī)器人完成指定軌跡的運(yùn)動(dòng)和工件的抓取放置等操作，從而驗(yàn)證手勢(shì)示教的精度與抓取成功率，測(cè)試精度控制在3mm以內(nèi)。

實(shí)驗(yàn)首先在機(jī)器人坐標(biāo)系中規(guī)劃一塊邊長(zhǎng)250mm正方形示教區(qū)域，如圖6所示。操作者使用手勢(shì)控制機(jī)器人從A點(diǎn)抓取工件沿正方形邊線依次到達(dá)B，C，D最后返回A點(diǎn)，并在每點(diǎn)上執(zhí)行一次抓取與放置動(dòng)作，實(shí)驗(yàn)操作如圖7所示，試驗(yàn)中每到一個(gè)點(diǎn)時(shí)機(jī)器人末端的實(shí)際位置與對(duì)應(yīng)示教區(qū)域的輪廓點(diǎn)可能會(huì)存在一段距離從而產(chǎn)生誤差，通過(guò)求出這段距離大小來(lái)確定實(shí)驗(yàn)誤差。

圖6 實(shí)驗(yàn)軌跡

圖7 手勢(shì)示教過(guò)程

表2 誤差及抓取放置成功率

實(shí)驗(yàn)選取了10位從未操作過(guò)機(jī)器人的操作手，經(jīng)過(guò)5分鐘的手勢(shì)操控訓(xùn)練后即開始進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)過(guò)程中分別記錄每位操作者操控機(jī)械臂到達(dá)A、B、C、D點(diǎn)時(shí)實(shí)際點(diǎn)與示教輪廓點(diǎn)之間的距離大小誤差以及在正方向邊線上的最大偏移量，統(tǒng)計(jì)每點(diǎn)上的平均誤差及每點(diǎn)上末端夾具的成功執(zhí)行率，在示教每條軌跡邊上誤差不操過(guò)1.5mm時(shí)視為成功。同時(shí)記錄10位操作者在成功示教每條軌跡邊與末端夾具抓取、放置所用的平均時(shí)間。

3.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)采集的數(shù)據(jù)如表2、表3所示。從表2中可知在四個(gè)點(diǎn)上最大平均誤差為1.45mm，小于試驗(yàn)預(yù)設(shè)的目標(biāo)誤差值。在軌跡AB，CD，DA示教全部成功，在BC軌跡上失敗一次，整體魯棒性好。統(tǒng)計(jì)完成整個(gè)示教任務(wù)中所有實(shí)驗(yàn)者所用時(shí)間平均值為72.38s，基本都能流暢的完成整個(gè)示教過(guò)程。

表3 示教軌跡成功率

4 結(jié)論

研究中充分利用手勢(shì)能表達(dá)出豐富信息的特點(diǎn)，建立手勢(shì)交互模型，研究中定義了5種手勢(shì)語(yǔ)義，以控制機(jī)器人不同運(yùn)動(dòng)方式，使用K臨近算法對(duì)手勢(shì)進(jìn)行分類，為了使控制更加靈活文中引入了控制系數(shù)對(duì)手部動(dòng)作進(jìn)行放大處理，再映射到機(jī)器人的位置運(yùn)動(dòng)上。最后通過(guò)實(shí)驗(yàn)驗(yàn)證了手勢(shì)控制機(jī)器人的可行性，完成了手掌與機(jī)器人非接觸式的實(shí)時(shí)交互方式，這種控制方式使得人機(jī)交互變得更加自然和友好。

[1]Torgny B. Present and future robot control development—An industrial perspective[J].Annual reviews in Control 2007(31):69-79.

[2]Guna J, Jakus J,Pogac nik M,et al. An analysis of the precision and reliability of the Leap Motion sensor and its suitability for static anddyna-mic tracking[J].Sensors 2014,14(2):3702-3720.

[3]Casiez G,Roussel N,and Vogel D.filter:a simple speed-based lowpass filter for noisy input in interactive systems[A].Proceedings of the 2012 ACM Annual Conference on Human Factors in Computing Systems[C].Austin,TX,USA,2012,2527-2530.

[4]徐一雄.基于自然交互的多旋翼無(wú)人飛行器手勢(shì)控制方法研究[D].廣州:華南理工大學(xué),2016.

[5]李皓,張明明,等.基于手勢(shì)識(shí)別的機(jī)器人控制系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用.2015,24(2):266-269.

[6]周慶平,譚長(zhǎng)庚,王宏君,湛淼湘,等.基于聚類改進(jìn)的KNN文本分類算法[J].計(jì)算機(jī)應(yīng)用研究,2016,33(11):3374-3377.

[7]麥健樺.基于自然手勢(shì)的機(jī)器人控制[D].廣州:華南理工大學(xué),2013.

[8]張文志,李星.基于手勢(shì)識(shí)別的兩輪機(jī)器人控制系統(tǒng)設(shè)計(jì)[J].研究開發(fā),2012,50(570):27-29.

[9]倪自強(qiáng),王田苗,劉達(dá).基于視覺(jué)引導(dǎo)的工業(yè)機(jī)器人示教編程系統(tǒng)[J].北京航空航天大學(xué)學(xué)報(bào),2016,42(3):562-568.