魏鴻磊, 劉吉偉, 高 騰, 李明穎, 呂 艷

(大連工業(yè)大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院, 遼寧 大連 116034)

機(jī)電一體化是一門多領(lǐng)域交叉學(xué)科,隨著電子、計(jì)算機(jī)、自動(dòng)化等技術(shù)的迅速發(fā)展,機(jī)電一體化技術(shù)達(dá)到了一個(gè)嶄新的水平,在諸多行業(yè)中獲得了廣泛的應(yīng)用,社會(huì)對(duì)機(jī)電一體化復(fù)合型人才的需求量也越來(lái)越大。

隨著機(jī)器視覺(jué)技術(shù)與機(jī)電一體化技術(shù)的快速融合,形成了光機(jī)電一體化技術(shù),并越來(lái)越多地應(yīng)用到諸如工業(yè)檢測(cè)[1-4]、自動(dòng)分揀和定位[5-7]、數(shù)控[8]、機(jī)器人視覺(jué)[9]等實(shí)際設(shè)備中。另外,很多高校也開設(shè)了光機(jī)電一體化相關(guān)課程,為提高學(xué)生實(shí)踐和創(chuàng)新能力的培養(yǎng),需要配套相關(guān)實(shí)踐環(huán)節(jié),但目前市場(chǎng)在售的教學(xué)實(shí)驗(yàn)設(shè)備大都側(cè)重于機(jī)電方面,難以提供光、機(jī)、電更深層次融合的實(shí)驗(yàn)設(shè)備[10-14]。本文利用攝像頭和舵機(jī)控制的低成本六自由度機(jī)械手組成了一套實(shí)驗(yàn)裝置。該裝置集圖像采集、處理以及利用圖像提取的特征信息對(duì)機(jī)械手進(jìn)行控制等功能為一體,可開設(shè)較高質(zhì)量的綜合性、創(chuàng)新性實(shí)驗(yàn),提高光機(jī)電一體化的教學(xué)效果(見(jiàn)圖1)。

圖1 實(shí)驗(yàn)裝置

1 視覺(jué)圖像采集與處理

通過(guò)攝像頭采集圖像對(duì)機(jī)械手進(jìn)行控制,首先要獲取圖像。通過(guò)對(duì)圖像進(jìn)行處理,提取目標(biāo)的位置,并引導(dǎo)機(jī)械手進(jìn)行抓取。本文視覺(jué)圖像的處理過(guò)程主要包括圖像采集、灰度化、二值化、目標(biāo)邊界提取以及目標(biāo)中心定位等幾個(gè)步驟。

1.1 圖像采集與灰度化處理

采用VS2012平臺(tái)及機(jī)器視覺(jué)軟件OPENCV實(shí)現(xiàn)對(duì)視頻圖像的實(shí)時(shí)捕捉和處理。為便于進(jìn)行圖像處理方法的教學(xué),OPENCV軟件僅用于圖像采集、顯示及存儲(chǔ)等操作,而對(duì)于各圖像處理步驟要求學(xué)生通過(guò)編程實(shí)現(xiàn)。對(duì)采集到的原始實(shí)驗(yàn)圖像(見(jiàn)圖2(a)),首先將彩色圖像轉(zhuǎn)化為灰度圖像,以便于進(jìn)一步的處理。圖像灰度化需要讀取每個(gè)像素的R、G、B三色,然后再利用公式(1)計(jì)算灰度值。

Y=0.299R+0.578G+0.114B

(1)

從圖2(a)中分割出目標(biāo)圖像,經(jīng)灰度化處理后的結(jié)果可見(jiàn)圖2(b)。

圖2 原始圖像和灰度化目標(biāo)圖像

1.2 二值化

為方便目標(biāo)物邊界的提取,需要將灰度圖像二值化,即轉(zhuǎn)換為黑白兩色。首先對(duì)原始圖像作中低通濾波,降低或去除噪聲,然后計(jì)算圖像的灰度均值,將像素的灰度值大于均值的設(shè)成白色,即灰度為255；小于均值的設(shè)成黑色,即灰度為0。這樣處理后的圖像就只有黑白兩色,從而將灰度范圍劃分成目標(biāo)和背景兩類,二值化結(jié)果如圖3所示。

圖3 二值化后圖像

1.3 邊界的提取

為提取目標(biāo)物的邊界,首先對(duì)二值化圖像采用3×3模板進(jìn)行逐點(diǎn)掃描,模板組成如圖4所示。如果點(diǎn)P1的8領(lǐng)域內(nèi)的點(diǎn)(P2—P9)全是黑點(diǎn),即像素值為0,則認(rèn)為當(dāng)前點(diǎn)P1為非邊界點(diǎn),并進(jìn)行記錄,圖像掃描完畢后,將記錄的非邊界點(diǎn)全部轉(zhuǎn)化為白點(diǎn),利用該方法處理完畢后的圖像僅剩下目標(biāo)物體邊界線和噪聲點(diǎn)的邊界線。

圖4 3×3模板

對(duì)邊界線進(jìn)行逐點(diǎn)搜索,如果發(fā)現(xiàn)某點(diǎn)是黑點(diǎn),標(biāo)記其為已被追蹤過(guò)的點(diǎn),然后從這一點(diǎn)開始,在其8領(lǐng)域內(nèi)繼續(xù)搜索下一個(gè)黑點(diǎn)。如果最終能追蹤到一條閉合的曲線,則將這些邊界點(diǎn)坐標(biāo)記錄到數(shù)組中。采用該方法一般可得到3個(gè)或更多的邊界點(diǎn)數(shù)組。對(duì)得到的邊界數(shù)組進(jìn)行有效性驗(yàn)證,優(yōu)選出目標(biāo)物的邊界點(diǎn),如圖5所示。

圖5 扇貝邊界線提取后圖像

1.4 目標(biāo)定位

計(jì)算邊界數(shù)組中每2個(gè)像素點(diǎn)之間的距離,取其中最長(zhǎng)的距離為目標(biāo)物體的最大尺寸,從而實(shí)現(xiàn)目標(biāo)物體的識(shí)別。設(shè)數(shù)組中距離最遠(yuǎn)的2個(gè)點(diǎn)分別為A(u1,v1)和B(u2,v2),通過(guò)公式(2)計(jì)算出目標(biāo)物在圖像空間的坐標(biāo)。

(2)

設(shè)定機(jī)械手底盤旋轉(zhuǎn)中心為零點(diǎn)坐標(biāo),機(jī)械手的水平旋轉(zhuǎn)電機(jī)O的0°角方向?yàn)檎齒軸,如圖6所示。

圖6 圖像坐標(biāo)系

由于圖像空間中的物體的長(zhǎng)度和實(shí)際空間中的物體長(zhǎng)度之間近似成正比關(guān)系,因此同一個(gè)點(diǎn)在圖像空間坐標(biāo)(u,v)和實(shí)際空間坐標(biāo)(x,y)之間可按公式(3)進(jìn)行轉(zhuǎn)換。

(3)

其中k是實(shí)際基座寬度,l是圖像空間中的基座寬度。(u,v)和(u0,v0)分別是圖像空間中目標(biāo)物的坐標(biāo)和機(jī)械手底盤旋轉(zhuǎn)中心的坐標(biāo)。

2 基于視覺(jué)的機(jī)械手控制

攝像頭安裝在機(jī)械手與要抓取目標(biāo)物體的正上方,可觀測(cè)到全局的目標(biāo)物體特征。根據(jù)從采集圖像中提取的信息,控制機(jī)械手2個(gè)伺服電機(jī)關(guān)節(jié)實(shí)現(xiàn)對(duì)目標(biāo)物體的分級(jí)抓取,其過(guò)程如下。

2.1 機(jī)械手旋轉(zhuǎn)到目標(biāo)的正上方

首先驅(qū)動(dòng)關(guān)節(jié)A的電機(jī)將機(jī)械手從初始位置移動(dòng)到目標(biāo)抓取物的正上方,移動(dòng)后的機(jī)械手在XY平面上的投影圖如圖7所示,其中坐標(biāo)原點(diǎn)處有兩個(gè)關(guān)節(jié)電機(jī)O和A,分別驅(qū)動(dòng)機(jī)械手大臂實(shí)現(xiàn)平行于XY平面的旋轉(zhuǎn)和垂直于XY平面的旋轉(zhuǎn),關(guān)節(jié)電機(jī)C驅(qū)動(dòng)機(jī)械手小臂實(shí)現(xiàn)機(jī)械手在垂直于XY平面方向旋轉(zhuǎn)。

圖7 XY平面投影圖

圖中虛線OC1為機(jī)械手臂在沒(méi)有運(yùn)動(dòng)前在XY平面上的投影,實(shí)線OC為機(jī)械手移動(dòng)到目標(biāo)抓取物上方時(shí)在XY平面內(nèi)的投影,M為抓取目標(biāo),θ為伺服電機(jī)O應(yīng)該旋轉(zhuǎn)的角度。

由于旋轉(zhuǎn)中心的初始位置為圖像坐標(biāo)原點(diǎn),目標(biāo)的坐標(biāo)可由圖像處理獲得,則可根據(jù)目標(biāo)的圖像空間坐標(biāo)確定電機(jī)O的旋轉(zhuǎn)角度θ,如圖8所示,

圖8 三角形示意圖

則伺服電機(jī)A應(yīng)該旋轉(zhuǎn)的角度θ為:

(4)

2.2 機(jī)械手實(shí)施抓取

機(jī)械手移動(dòng)到目標(biāo)抓取物上方后,通過(guò)驅(qū)動(dòng)關(guān)節(jié)電機(jī)A和C的角度旋轉(zhuǎn)實(shí)現(xiàn)機(jī)械手對(duì)目標(biāo)物的抓取。如圖9所示,機(jī)械手伺服電機(jī)A、伺服電機(jī)C和目標(biāo)物M可構(gòu)成一個(gè)三角形,其中大臂AC和關(guān)節(jié)C到機(jī)械手手爪的距離可通過(guò)實(shí)際測(cè)量得到,即AC和CM已知,而M點(diǎn)的坐標(biāo)可由公式(3)求得,因此A從M可知,角度?和β可由公式(5)和(6)計(jì)算得到。

圖9 三角形示意圖

(5)

(6)

3 實(shí)驗(yàn)

該實(shí)驗(yàn)裝置的控制系統(tǒng)分為2個(gè)模塊,第一個(gè)模塊完成對(duì)攝像頭采集的圖像進(jìn)行處理,識(shí)別扇貝的類別,并提取其位置坐標(biāo)；第二個(gè)模塊根據(jù)目標(biāo)物的位置實(shí)現(xiàn)抓取。為驗(yàn)證本文算法的有效性,采用50個(gè)扇貝進(jìn)行分揀實(shí)驗(yàn),部分樣本如圖10所示。根據(jù)扇貝的尺寸分為大、中、小3類,并分別標(biāo)為1、2、3,如圖11所示。

圖10 部分實(shí)驗(yàn)扇貝樣本

圖11 扇貝分類示例

由于光線影響較大,實(shí)驗(yàn)共做了3組,每組進(jìn)行50次抓取實(shí)驗(yàn)。分別是上午10時(shí)、下午15時(shí)以及夜間20時(shí)。其中上午和下午是自然光,晚間用的是18W的LED燈照明,抓取正確率如表1所示。其中,上下午自然光條件下正確率較高,而夜晚燈光照明條件下正確率較低,主要原因是自然光條件下成像更清晰、圖像處理更準(zhǔn)確,錯(cuò)誤的原因主要是尺寸估計(jì)不準(zhǔn)確。而在夜間照明情況下,由于機(jī)械手遮擋、陰影等原因造成視覺(jué)定位不準(zhǔn)確(6例)及尺寸估計(jì)不準(zhǔn)確(3例),導(dǎo)致抓取失敗。圖12是實(shí)際的抓取過(guò)程示例。

表1 實(shí)驗(yàn)結(jié)果

圖12 扇貝抓取的過(guò)程

4 結(jié)語(yǔ)

本文對(duì)機(jī)械手的控制系統(tǒng)進(jìn)行了研究。對(duì)通過(guò)攝像頭采集的圖像進(jìn)行灰度化、二值化處理,并提取目標(biāo)物邊界,然后提取出目標(biāo)的坐標(biāo)和尺寸信息,據(jù)此控制機(jī)械手關(guān)節(jié)電機(jī)實(shí)現(xiàn)對(duì)不同大小的目標(biāo)物進(jìn)行分揀。教學(xué)實(shí)踐證明,利用該實(shí)訓(xùn)系統(tǒng),可有效提高光機(jī)電一體化知識(shí)的學(xué)習(xí)效果,加強(qiáng)對(duì)學(xué)生的動(dòng)手能力和創(chuàng)新能力的培養(yǎng)。