鄭晨旭 李 亞

(天津科技大學(xué)天津市輕工與食品工程機(jī)械裝備集成設(shè)計與在線監(jiān)控重點實驗室,天津 300222)

為迎合市場需求，以巧克力為核心的產(chǎn)品也走向了多元化，其中帶有塑料手柄的巧克力棒產(chǎn)品以其新穎的外形和干凈衛(wèi)生的食用體驗受到市場青睞。由于其制作工藝需要在巧克力澆筑前將塑料手柄放入模具中，目前傳統(tǒng)的生產(chǎn)線主要依靠人力擺放，勞動力成本高，效率低下。少數(shù)企業(yè)采用自動化設(shè)備上料擺放，但由于巧克力塑料手柄外型的多樣性與不規(guī)則性，上料錯誤率較高。近年來，機(jī)器視覺技術(shù)逐漸被應(yīng)用于物體識別與引導(dǎo)機(jī)器人完成抓取[1-2]，海潮等[3]提出了基于機(jī)器視覺的在線監(jiān)測技術(shù)；邱素貞等[4]設(shè)計了基于機(jī)器視覺的碼垛機(jī)器人控制系統(tǒng)；楊新海[5]提出了生產(chǎn)線目標(biāo)同步抓取的方法。上述研究機(jī)器視覺均基于面陣相機(jī)，對線陣相機(jī)配合機(jī)器人抓取的系統(tǒng)研究不足。

相較于面陣相機(jī)，線陣相機(jī)檢測精度更高，拍照速度更快，更適用于一維動態(tài)目標(biāo)[6]。試驗擬以某巧克力生產(chǎn)線為例，結(jié)合現(xiàn)場實際需求，設(shè)計基于線陣相機(jī)的巧克力棒自動上料擺放系統(tǒng)。針對線陣相機(jī)難以進(jìn)行手眼標(biāo)定的問題，提出利用傳動帶運動掃描成像的手眼標(biāo)定思路；為提高生產(chǎn)效率，設(shè)計多目標(biāo)抓取的機(jī)器人末端手爪，優(yōu)化追蹤路線以提高追蹤效率。

1 系統(tǒng)總體設(shè)計

通過對現(xiàn)場情況和實際需求的調(diào)研，明確系統(tǒng)需要滿足以下幾點要求：① 確保巧克力塑料手柄上料擺放準(zhǔn)確率；② 與現(xiàn)場流水線節(jié)奏配合；③ 每盤模具(8個工位)完成時間<10 s。根據(jù)以上要求對系統(tǒng)進(jìn)行設(shè)計選型。

1.1 系統(tǒng)架構(gòu)設(shè)計

系統(tǒng)采用模塊化設(shè)計，系統(tǒng)架構(gòu)如圖1所示。振動給料盤將巧克力塑料手柄輸送到傳送帶上，工業(yè)相機(jī)拍照獲取圖像通過GigE接口發(fā)送給上位工控機(jī)，上位機(jī)界面采用QT開發(fā)，經(jīng)過特征檢測和模板匹配原理獲得巧克力塑料手柄實時位姿信息，通過TCP協(xié)議與下位機(jī)通訊，將結(jié)果發(fā)送給下位機(jī)機(jī)器人，驅(qū)動機(jī)器人進(jìn)行追蹤抓取，機(jī)器人對現(xiàn)場流水線情況判斷后，最終擺放到模具中，系統(tǒng)工作流程如圖2所示。

圖2 系統(tǒng)工作流程圖Figure 2 System work flow diagram

1.2 給料模塊設(shè)計

給料模塊由振動給料盤和傳送帶組成。由于振動給料盤可能出現(xiàn)上料速度不勻的情況，為保證擺放質(zhì)量，上料留有30%余量，設(shè)定振動給料盤出料速度為90個/min。線陣相機(jī)成像依賴物體與相機(jī)相對運動，成像質(zhì)量與傳送帶速度有關(guān)，故傳動帶采用步進(jìn)電機(jī)驅(qū)動，且電機(jī)驅(qū)動器采用專用電機(jī)控制DSP芯片和應(yīng)用矢量型閉環(huán)控制技術(shù)以保證傳動帶運行速度的穩(wěn)定性。為避免巧克力塑料手柄在傳送帶上發(fā)生堆疊，根據(jù)塑料手柄尺寸計算選定傳送帶速度為1 m/s。

1.SCARA機(jī)器人 2.條形光源 3.工業(yè)相機(jī) 4.編碼器 5.振動給料盤 6.傳送帶 7.暗箱 8.四工位手爪 9.目標(biāo)圖1 系統(tǒng)架構(gòu)圖Figure 1 System architecture diagram

1.3 視覺采集模塊設(shè)計與選型

視覺采集模塊包括工業(yè)相機(jī)、光源、圖像采集卡、編碼器等硬件。線陣相機(jī)工作區(qū)域?qū)挾仍O(shè)定為300 mm，檢測精度設(shè)定為0.2 mm，相機(jī)與傳送帶距離約為300 mm。根據(jù)條件選擇2K分辨率線陣相機(jī)，型號為大恒公司的 LA-GC-02K05B-00-R，幀頻為26 kHz，鏡頭焦距選擇為16 mm，光源采用條形LED光源。當(dāng)線陣相機(jī)圖像拼接方向與傳送帶運行方向不同或相機(jī)采集頻率與傳送帶速度不匹配時均會影響相機(jī)成像[7]，兩種情況下拼接得到的標(biāo)定板圖像如圖3和圖4所示。

圖3 傳送帶速度與采集頻率不符導(dǎo)致圖像壓縮Figure 3 Image compression due to the inconsistency between the conveyor belt speed and the acquisition frequency

圖4 傳送帶與相機(jī)有夾角導(dǎo)致圖像平移Figure 4 Image translation due to the included angle between the conveyor belt and the camera

故相機(jī)在安裝時需垂直傳送帶方向安裝，使相機(jī)傳感器Yc軸與傳送帶運行方向一致。相機(jī)拍照通過傳送帶編碼器進(jìn)行外觸發(fā)，為保證圖像不被壓縮，圖片縱向分辨率與橫向分辨率相等，可得：

(1)

式中：

Px、Py——圖像橫向、縱向分辨率，m/pix；

V——傳送帶運行速度，m/s；

Vc——相機(jī)拍照頻率，Hz；

T、Tc——掃描一幀圖像傳送帶運行時間和相機(jī)拍照時間，s。

根據(jù)傳送帶實際運行速度與相機(jī)參數(shù)計算求得相機(jī)拍照頻率。

1.4 抓取模塊

抓取模塊由SCARA機(jī)器人和機(jī)器人控制器組成。機(jī)器人大臂最大運動速度為375°/s，抓取與擺放時大臂角度間隔約為90°，由于每盤模具工位較多，往返耗時較長，故根據(jù)模具尺寸設(shè)計由4個氣缸組成的氣動手爪，實現(xiàn)多個巧克力塑料手柄的抓取，減少機(jī)器人往復(fù)次數(shù)，提高上料效率。機(jī)器人控制器與現(xiàn)場PLC連接獲取現(xiàn)場流水線運動狀態(tài)。機(jī)器人抓取邏輯圖如圖5所示。

圖5 抓取邏輯圖Figure 5 Grab logic diagram

2 手眼標(biāo)定

手眼標(biāo)定是為了獲得像素坐標(biāo)系與機(jī)器人坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，使圖像處理結(jié)果能夠以機(jī)器人坐標(biāo)系的形式發(fā)送給機(jī)器人，通常的手眼標(biāo)定都通過相機(jī)視野與機(jī)器人工作空間交集內(nèi)的點來求得二者的映射關(guān)系，由于線陣相機(jī)獲得的是一維圖像，無法獲得與機(jī)器人末端交集的特征點，故提出一種利用傳動帶運動掃描成像進(jìn)行線陣相機(jī)與機(jī)器人的手眼標(biāo)定方法。設(shè)定傳送帶所在平面為基準(zhǔn)平面，以傳送帶運動方向為圖像坐標(biāo)系Yi軸方向，通過傳送帶使標(biāo)定板與相機(jī)產(chǎn)生相對運動進(jìn)行標(biāo)定，建立手眼標(biāo)定模型，如圖6所示。

圖6 手眼標(biāo)定模型Figure 6 Hand-eye calibration model

2.1 相機(jī)標(biāo)定

鏡頭在制造過程中的精度誤差會使直線投影發(fā)生偏移產(chǎn)生畸變[8-9]，由于線陣相機(jī)畸變較面陣相機(jī)更小，且目標(biāo)集中在圖像中間區(qū)域，可忽略相機(jī)畸變帶來的影響?？梢詫⒕€陣相機(jī)看作是面陣相機(jī)圖像中的一列，根據(jù)相機(jī)成像原理建立像素坐標(biāo)系(UOV)、圖像坐標(biāo)系(XiOiYi)、相機(jī)坐標(biāo)系(XcOcYc)和世界坐標(biāo)系(XwOwYw)的坐標(biāo)關(guān)系，為方便理解計算，將圖像坐標(biāo)系倒立翻轉(zhuǎn)投影至與相機(jī)坐標(biāo)系同側(cè)，如圖7所示。

圖7 成像原理與坐標(biāo)系關(guān)系Figure 7 Imaging principle and coordinate system relation

光源發(fā)出的光線照到巧克力塑料手柄上的點P后經(jīng)過光心將圖像投影到像平面上形成像點Pi，經(jīng)過CMOS感光元件將光信號轉(zhuǎn)化為電信號后形成一維圖像，將一維圖像按幀排列拼接得到二維圖像。

(2)

式中：

dxi——像素在Xi方向上物理尺寸；

Syi——縮放比例因子(由傳送帶運行速度和相機(jī)拍照頻率獲得)。

(3)

式中：

Syc——比例因子；

Zc——光心到傳送帶平面的距離(忽略誤差將其看作固定值)，mm。

將傳送帶運動切向方向設(shè)定為Xw正方向，取圖像中心點為世界坐標(biāo)系原點Ow，安裝時調(diào)整相機(jī)平面與傳送帶水平面平行，可得相機(jī)坐標(biāo)系與世界坐標(biāo)系的變換關(guān)系為：

(4)

式中：

r3×3——矩陣旋轉(zhuǎn)向量；

t1×3——矩陣平移向量。

合并得到像素坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換矩陣：

(5)

得到物像之間變換關(guān)系，通過移動標(biāo)定板獲取多組數(shù)據(jù)，根據(jù)待定系數(shù)法可求得相機(jī)內(nèi)外參數(shù)。

2.2 相機(jī)和機(jī)器人標(biāo)定

相機(jī)與機(jī)器人的標(biāo)定本質(zhì)是求相機(jī)坐標(biāo)系(XcOcYc)與機(jī)器人坐標(biāo)系(XrOrYr)的轉(zhuǎn)換矩陣，而相機(jī)坐標(biāo)系與世界坐標(biāo)系的關(guān)系已在相機(jī)標(biāo)定中得到結(jié)果，接下來求解世界坐標(biāo)系與機(jī)器人坐標(biāo)系之間的關(guān)系。通過傳送帶的運動將標(biāo)定板送至機(jī)器人的工作區(qū)域內(nèi)，拼接后得到二維圖像，通過相機(jī)標(biāo)定結(jié)果可得到圖像中標(biāo)定板每個點在世界坐標(biāo)系坐標(biāo)(xci，yci)，依次將機(jī)器人末端指向標(biāo)定板上每個點并記錄其在機(jī)器人坐標(biāo)系的坐標(biāo)(xri，yri)。由于機(jī)器人和傳送帶都在水平面上安裝，將機(jī)器人坐標(biāo)系與世界坐標(biāo)系看作同一平面，根據(jù)標(biāo)定板上的點分別在兩個坐標(biāo)系內(nèi)的坐標(biāo)可求解得轉(zhuǎn)換矩陣：

(6)

式中：

θ——機(jī)器人與傳送帶間的夾角，rad；

Tx、Ty、Tz——Xw、Yw、Zw軸方向上的平移距離，mm。

整理得到手眼標(biāo)定的轉(zhuǎn)換結(jié)果：

(7)

3 圖像處理

圖像處理的任務(wù)是為了定位巧克力塑料手柄的位姿信息，發(fā)送給機(jī)器人進(jìn)行抓取。先對圖像進(jìn)行預(yù)處理消除圖像噪聲后，采用基于幾何形狀特征的模板匹配找到巧克力塑料手柄的位置與姿態(tài)。

3.1 圖像預(yù)處理

工業(yè)相機(jī)采集的圖像會因為光照、現(xiàn)場干擾等因素產(chǎn)生噪聲[10-11]。將RGB通道下的圖像經(jīng)過平均法獲得灰度圖像后，以式(8)為高斯低通濾波器對得到的灰度圖像進(jìn)行卷積，可以有效消除噪聲干擾。

(8)

式中：

σ——標(biāo)準(zhǔn)偏差。

標(biāo)準(zhǔn)偏差決定了濾波通帶的寬度，取σ2為10，最后進(jìn)行對比度增強突出目標(biāo)輪廓。

3.2 模板匹配

模板匹配算法是通過創(chuàng)建圖像模板，移動模板遍歷整個圖像，通過相似度函數(shù)判斷后獲取目標(biāo)位置的一種算法[12]。首先建立圖像模板，通過Canny算子獲取目標(biāo)輪廓，由于巧克力塑料手柄是厚度相同的均勻目標(biāo)，對塑料手柄輪廓坐標(biāo)進(jìn)行積分可以獲得質(zhì)心坐標(biāo)[13]，以其質(zhì)心與外接最小矩形短邊方向為正方向，獲取目標(biāo)與像素坐標(biāo)系夾角，對模板圖像進(jìn)行仿射變換得到角度為0的模板圖像，如圖8所示。

圖8 模板圖像的建立Figure 8 The establishment of template image

巧克力塑料手柄從振動給料盤傳輸?shù)絺魉蛶系奈恢煤徒嵌仁请S機(jī)的，所以需從模板圖像的不同角度創(chuàng)建模板用來搜索不同位姿的目標(biāo)。由于使用模板遍歷原圖像時，每個位置都會產(chǎn)生一個ROI圖像，完全遍歷原圖像耗時較長，故采用基于圖像金字塔的模板匹配方法。經(jīng)效率對比，設(shè)置圖像金字塔層數(shù)為4層，創(chuàng)建對應(yīng)的金字塔圖像，采用均值波對創(chuàng)建好的圖像進(jìn)行平滑處理以消除采樣形成的鋸齒。利用Sobel算子分別計算圖像橫向與縱向邊緣特征點梯度向量：

(9)

(10)

將得到的u，v方向的邊緣梯度向量合并為單位向量，得：

(11)

記ROI圖像輪廓的梯度單位向量為td(ui,vi)，選取N個模板特征點，通過模板圖像和ROI圖像梯度單位向量的內(nèi)積衡量二者之間的匹配度，則：

(12)

遍歷圖像后得到每個目標(biāo)的位置與姿態(tài)，放入隊列中等待發(fā)送給機(jī)器人實施抓取，圖像處理結(jié)果如圖9所示。

圖9 圖像處理結(jié)果Figure 9 Image processing results

4 追蹤算法

根據(jù)圖像處理的結(jié)果與編碼器的反饋，可對目標(biāo)計算得到其實時位置，當(dāng)滿足在工作空間且機(jī)器人有需求時，控制系統(tǒng)發(fā)送目標(biāo)位姿信息至機(jī)械臂，機(jī)械臂開始執(zhí)行追蹤過程。由于傳送帶在不斷運動，取追蹤過程中任意時刻t為例，如圖10所示，實時反饋的追蹤算法的速度分量時刻指向當(dāng)前時刻目標(biāo)位置，由于目標(biāo)的移動和反饋的滯后性，實時反饋追蹤不斷更新塑料手柄的實時位置并進(jìn)行逆運動學(xué)求解，計算量大而且追蹤路徑變長，影響抓取效率。文章采用一種對目標(biāo)位置的階段式預(yù)測攔截算法進(jìn)行抓取。

圖10 追蹤示意圖Figure 10 Tracing diagram

由于機(jī)器人運動軌跡與加速度曲線參數(shù)很難精確獲取，難以由機(jī)器人運動軌跡結(jié)合目標(biāo)運動軌跡預(yù)測出實際抓取點，但傳送帶采用步進(jìn)電機(jī)驅(qū)動，傳送帶速度V比較平穩(wěn)，且利用機(jī)器人控制器的時鐘可獲取機(jī)器人到達(dá)當(dāng)前點的時刻記為T，末端執(zhí)行器在上一個點的時刻為Ti-1，移動到當(dāng)前點的時刻記為Ti，則下一個追蹤點相對當(dāng)前點的偏移S為：

(13)

由于傳送帶坐標(biāo)系和機(jī)械臂坐標(biāo)系存在角度θ，則在機(jī)器人坐標(biāo)系X軸與Y軸的偏移分別為Scosθ和Ssinθ。機(jī)器人要在兩個維度計算偏移量，為了提高執(zhí)行效率,在機(jī)器人工作空間以三點法建立工件坐標(biāo)系(XuOuYu)，工件坐標(biāo)系Xu、Yu軸方向與傳送帶坐標(biāo)系Xc、Yc軸一致，將發(fā)送至機(jī)器人的坐標(biāo)轉(zhuǎn)換至工件坐標(biāo)系上。由此當(dāng)機(jī)器人移動到發(fā)送點并開始追蹤時，由于傳送帶方向與機(jī)器人工件坐標(biāo)系方向一致，則只需X軸一個維度的計算量，降低了程序冗余。

追蹤第一階段是機(jī)器人末端未進(jìn)入傳送帶上方空間時，提前預(yù)測目標(biāo)將要到達(dá)的大致位置，將機(jī)器人開始追蹤時刻目標(biāo)坐標(biāo)加追蹤偏移量得到位置如式(14)所示。

X1=xt1+D1，

(14)

式中：

X1——追蹤第一階段位移，mm。

xt1——目標(biāo)發(fā)送時的坐標(biāo)；

D1——超前偏移量(根據(jù)經(jīng)驗得到)。

追蹤第二階段是機(jī)器人末端靠近目標(biāo)后，利用編碼器反饋提高抓取精度，但由于反饋的滯后性，在反饋的坐標(biāo)后加入速度積分補償?shù)玫阶粉欬c坐標(biāo)如式(15)所示。

(15)

式中：

X2——追蹤第二階段位移，mm。

xt——根據(jù)編碼器返回的目標(biāo)實時坐標(biāo)；

V——傳送帶運行速度，mm/s；

T——當(dāng)前時刻時鐘數(shù)值,s；

T0——機(jī)器人進(jìn)入第二段追蹤時的時刻,s。

機(jī)器人末端執(zhí)行器經(jīng)過兩個階段追蹤攔截到目標(biāo)，在抓取等待點經(jīng)過位移X1+X2到達(dá)捕獲點。

5 試驗結(jié)果分析

為驗證系統(tǒng)的效率與精度，搭建試驗平臺，固定模具位置。對傳動帶上的巧克力塑料手柄進(jìn)行抓取擺放試驗，通過目標(biāo)擺放結(jié)果驗證系統(tǒng)精度和穩(wěn)定性。對塑料手柄質(zhì)心進(jìn)行標(biāo)記，記錄抓取后機(jī)器人末端與理論抓取位置之間的誤差，并通過定時器記錄機(jī)器人一個抓取周期的時間，共進(jìn)行20盤擺放試驗，對每盤模具數(shù)據(jù)平均后得到試驗結(jié)果，見圖11。

圖11 試驗結(jié)果數(shù)據(jù)Figure 11 Experimental data

由圖11可知，系統(tǒng)抓取誤差<0.5 mm，誤差主要來源于坐標(biāo)系平面不完全平行等因素；系統(tǒng)每盤完成時間<7 s，滿足企業(yè)需求。通過目標(biāo)擺放是否到位驗證系統(tǒng)精度和穩(wěn)定性，共統(tǒng)計20盤(160個工位),擺放成功個數(shù)為154個，其成功率>95%。

6 結(jié)論

系統(tǒng)將視覺系統(tǒng)與控制系統(tǒng)相結(jié)合，提出了線陣相機(jī)手眼標(biāo)定思路，優(yōu)化了追蹤軌跡算法，實現(xiàn)巧克力塑料手柄的自動上料擺放。經(jīng)大量樣本試驗結(jié)果表明，系統(tǒng)擺放成功率>95%，平均每盤擺放時間相較企業(yè)生產(chǎn)要求時間10 s縮短至7 s以內(nèi)，符合生產(chǎn)需求。而且系統(tǒng)具有良好的可移植性，基于模板匹配的物體識別算法具有很好的開放性，可以勝任其他領(lǐng)域目標(biāo)抓取工作。