宋亞勤,張　斌,劉開元,唐　琛

(中國計量學院 計量測試工程學院，浙江 杭州310018)

?

機器人激光掃描式焊縫跟蹤測量系統(tǒng)研究

宋亞勤,張斌,劉開元,唐琛

(中國計量學院 計量測試工程學院，浙江 杭州310018)

【摘要】提出了機器人激光掃描式焊縫跟蹤系統(tǒng)參數(shù)的標定方法和基于數(shù)字圖像處理的焊縫特征點識別方法.采用中值濾波、自適應閾值分割和孤點濾波法等對激光圖像進行預處理，以數(shù)字形態(tài)學方法獲得焊縫特征點坐標;然后以一組平行線為靶標，獲得激光平面上無窮遠處一點在攝像機中的投影，實現(xiàn)結(jié)構(gòu)光參數(shù)的標定;最后以多個機器人位姿對固定目標點進行檢測，求解出機器人的手眼矩陣.整個系統(tǒng)標定過程簡單，精度可靠，可用于空間曲面的U型焊縫檢測.

【關(guān)鍵詞】數(shù)字形態(tài)學；結(jié)構(gòu)光標定；三角測量法；手眼矩陣；焊縫跟蹤

為了滿足現(xiàn)代工業(yè)生產(chǎn)的需要，機器人在焊接中的應用成為研究的熱點，主要應用的傳感器有電弧傳感器[1]和視覺傳感器[2].隨著計算機圖像處理技術(shù)的發(fā)展[3]，視覺傳感器的應用更加廣泛.本系統(tǒng)所采用的激光掃描式焊縫跟蹤傳感器是視覺傳感器的一種.

傳感器傳輸給計算機的信息為焊縫的二維圖像信息，為了獲得焊縫在機器人基坐標系下的三維信息，需要進行傳感器參數(shù)標定與機器人的手眼標定.傳感器的標定包括攝像機的標定和結(jié)構(gòu)光的標定，攝像機的標定技術(shù)[4]比較成熟，最早用于激光結(jié)構(gòu)光標定的方法有齒形標定法[5]和拉絲標定法[6].這些方法利用特定標定耙在結(jié)構(gòu)光平面上產(chǎn)生標定點，并利用輔助測量儀獲取其標定點在結(jié)構(gòu)光平面上的坐標.針對機器人手眼標定，最經(jīng)典的算法是通過方程AX=XB求解[7-8]，在機器人相鄰兩次運動中，A表示機械手末端的變換矩陣，B表示傳感器的變換矩陣，其中X表示手眼關(guān)系.在此基礎(chǔ)上，存在不同的求解算法：Qi[9]采用了基于直線特征的機器人手眼標定的方法，但在實際應用中，直線特征很難構(gòu)成，且其精度很難保證.Hu[10]采用了基于平面特征的機器人手眼標定方法，但同樣存在平面特征很難保證的問題.

從實際應用的角度出發(fā)，標定方法應在保證標定精度的前提下盡可能簡單易行.本文根據(jù)激光平面上無窮遠處一點在攝像機中投影實現(xiàn)結(jié)構(gòu)光的標定.再以多個機器人位姿對同一個固定的目標點進行檢測，實現(xiàn)機器人的手眼標定.整個標定過程不需要精確的標定靶和輔助測量儀，簡單易行，精度可靠.

1機器人激光掃描式焊縫跟蹤系統(tǒng)

機器人激光掃描焊縫跟蹤系統(tǒng)主要由六自由度機器人和傳感器組成.如圖1，機器人帶激光掃描式焊縫跟蹤傳感器對焊縫進行檢測，攝像機將采集的包含焊縫信息的激光圖像傳輸給計算機.

1-機器人；2-激光焊縫跟蹤傳感器；3-一字結(jié)構(gòu)光；4-焊縫表面圖1　安裝激光傳感器的機器人Figure 1　Robot installed laser sensor

圖中，{R}為與機器人底座固連的基礎(chǔ)坐標系；{E}為機械手末端坐標系；{C}為攝像機坐標系.

2焊縫特征點檢測

攝像機采集的激光圖像存在電弧光、飛濺等噪聲干擾.預處理是指根據(jù)原始焊縫圖像的特點，最大程度的濾除噪聲的干擾.

本文采用的激光圖像預處理流程如圖2.

圖2激光圖像預處理算法示意圖
Figure 2Laser image preprocessing algorithm schematic

下面以U型曲面焊縫的圖像處理為例，在焊縫的深度不同時，圖像有所差異.如圖3，(a)是焊縫較深時預處理前后的圖像；(b)是焊縫較淺時預處理前后的圖像.

圖3　預處理后的激光圖像Figure 3　Laser images after pretreatment

在獲得清晰的焊縫圖像后，先對圖像中的不同區(qū)域用不同的灰度值表示出來，濾除圖像中存在的孤立點與孤立的小區(qū)域，使得圖像中只存在兩段激光光帶.

圖4　焊縫特征點檢測Figure 4　Weld feature point detection

如圖4，以曲面焊縫為例，焊縫特征點的提取使用數(shù)字形態(tài)學中膨脹和腐蝕以及圖像的減法運算，從而使得該算法可以應用于平面焊縫和曲面焊縫.具體步驟如下：

1)對激光圖像先進行膨脹運算，使得兩段激光結(jié)構(gòu)光的圖像連通起來.

2)對激光圖像進行相同次數(shù)的腐蝕運算，使得連通起來的兩段激光結(jié)構(gòu)光圖像形狀恢復到膨脹運算之前.

3)將連通的激光結(jié)構(gòu)光圖像與膨脹運算之前的焊縫圖像做減運算，得到小段激光圖像與很多孤立的區(qū)域.

4)對圖像中的不同區(qū)域用不同的灰度值表示出來，濾除圖像中存在的孤立點與孤立的小區(qū)域.得到需要保留包含焊縫特征點的激光圖像.

5)最后對圖像掃描求取保留的激光圖像的型心，即所要求取的焊縫特征點在圖像中的圖像坐標.

3系統(tǒng)標定

3.1結(jié)構(gòu)光傳感器標定

傳感器采用三角法測量，圖5為本系統(tǒng)采用的測量模型，其過程也可描述為激光光平面通過投影變換到攝像機的像平面.

圖5　線性結(jié)構(gòu)光的測量模型Figure 5　Measurement model of　　　structured light

圖5中，π為激光器投射的激光平面；Oc-XcYcZc為以光軸與透鏡交點為原點建立的攝像機坐標系；O-XY為圖像坐標系.激光平面存在一點P(xc，yc，zc)，在圖像平面的像點為p(x，y).根據(jù)三角法測量原理得到如下關(guān)系:

(1)

其中，f為攝像機焦距；b為激光平面與Xc軸交點到攝像機光軸的距離，稱為基長；θ為Xc與激光平面的夾角，稱為投射角.目標點的攝像機坐標與圖像坐標的轉(zhuǎn)換關(guān)系:

(2)

如果式⑵中攝像機焦距f、投射角θ、基長b均為已知，則三維空間中任意一點均可以與二維圖像中的點一一對應.求解f、θ、b即激光傳感器系統(tǒng)的系統(tǒng)內(nèi)部參數(shù)標定.f可以通過攝像機標定求出.

激光平面任意一點P(xc，yc，zc)在圖像平面的像點為p(x，y)根據(jù)三角法測量原理可得

(3)

若P在激光平面的無窮遠處，即(xc，yc，zc)→∞，zc→∞，可以得知f·cotθ-x∞→0即得

cotθ=x∞/f.

(4)

其中，x∞為激光平面上無窮遠處P點在攝像機中投影的圖像坐標.

(5)

若令Δx=0即可以得

(6)

由式(6)可以得

(7)

其中，x為當前圖像坐標，若可以控制Δyc的大小，并可以通過圖像處理獲得其相應的Δy、則結(jié)構(gòu)光的基長b可確定.

3.2機器人手眼標定

機器人的手眼標定即確定攝像機坐標系與機械手末端坐標系的轉(zhuǎn)換矩陣.

如圖1，TER是機器人手末端{E}相對于基座標{R}的轉(zhuǎn)換矩陣，可從機器人的控制器上讀出,包括旋轉(zhuǎn)矩陣RER與平移向量tER，TCE為攝像機坐標系{C}相對于機械手末端坐標系{E}的轉(zhuǎn)換矩陣,包括旋轉(zhuǎn)矩陣RCE與平移向量tCE.由于傳感器是固接于機械手末端的，因此TCE不隨機械手的運動而改變.TCE即為所求的攝像機坐標系與機械手末端坐標系的轉(zhuǎn)換矩陣.本文通過改變機器人的姿態(tài)多次檢測同一目標點M.

(8)

(9)

式(9)展開可得

(10)

控制機械手對目標點M就行對多次測量，可以得

(11)

3.2.1旋轉(zhuǎn)矩陣RCE求解

如果運動過程中機器人的姿態(tài)保持不變即RER1=RER2=…=RERn=R0.

(12)令

則上式可以寫為RCEA1=b1的矩陣方程，按奇異矩陣分解法(SVD)Q求解，即

RCE=VUT.

(13)

3.2.2平移向量tCE根據(jù)式(11)可得

(14)

控制機械手臂多個姿態(tài)對目標點進行檢測可得到型如A2tCE=b2的方程，基于最小二乘法求解tCE即

(15)

4系統(tǒng)標定及焊縫跟蹤實驗

4.1傳感器的標定

當?shù)歉哌h眺時，無窮遠處的地平面是一條直線，同樣，兩條平行直線在無窮遠處交于一點.如圖6，將標定靶水平放置,調(diào)節(jié)傳感器的位置，使攝像機的光軸垂直于標定靶，激光平面與兩條平行線交于A、B兩點，控制攝像機沿光軸方向移動，得到一系列的交點Ai、Bi(i=1,2…n)，其在攝像機中的投影為ai、bi(i=1,2…n).Ai、Bi在激光平面上形成兩條平行線，其在無窮遠處激光平面上交于一點,將ai與bi分別擬合成直線，兩條直線的交點(6.912 2，0.259 8)即為激光平面上無窮遠處一點在攝像機中的投影，可得x∞=6.912 2 mm.在攝像機標定中可獲得焦距f為6.759 5 mm.

圖6　標定耙Figure 1　Calibration harrow

從而可得cotθ=x∞/f=1.022.

通過移動傳感器改變Δv、Δyc的大小，可求得傳感器的基長b,傳感器的內(nèi)部系統(tǒng)標定如表1.

表1　傳感器內(nèi)部參數(shù)

4.2機器人手眼矩陣

首先傳感器以5次純平移運動和5變位姿運動對目標點M進行檢測，并記錄每次機械手末端,如圖7.

圖7　手眼標定實驗的標定靶Figure 7　Calibration target of hand-eye　　　calibration experiments

表2為目標點在攝像機坐標系下的坐標，表3為每次測量時讀取的機械手末端的姿態(tài).

表2　攝像機坐標系下的目標點

表3　機器手末端姿態(tài)

表3中的姿態(tài)角度為123順序的歐拉角，它和轉(zhuǎn)換矩陣的轉(zhuǎn)換關(guān)系:

(16)

根據(jù)表2和表3的前五組數(shù)據(jù)，根據(jù)式(13)可以得到攝像機坐標系與機械手末端的旋轉(zhuǎn)矩陣為

根據(jù)表2和表3的后五組數(shù)據(jù)，根據(jù)式(15)可以得到攝像機坐標系與機械手末端的平移向量為

4.3焊縫跟蹤實驗

為了驗證以上標定算法的可行性，采用標定好的激光掃描式焊縫跟蹤系統(tǒng)對工件焊縫進行檢測跟蹤，如圖8.

圖8　實驗平臺Figure 8　Experiment platform

通過機器人控制傳感器依次采集300多張包含焊縫信息的激光圖像，經(jīng)過圖像處理，并將其轉(zhuǎn)換為其在機器人基坐標系的世界坐標，所擬合的焊縫軌跡如圖9.

圖9　焊縫軌跡Figure 9　Seam track

基于最小二乘法對軌跡分段進行分析，與實際值進行比較，結(jié)果如表4與表5.

表4　直線軌跡分析

表5　圓弧軌跡分析

5結(jié)論

本文以機器人激光掃描焊縫跟蹤系統(tǒng)為研究對象，基于數(shù)字形態(tài)學對激光圖像進行處理，根據(jù)傳感器測量的數(shù)學模型，給出了傳感器結(jié)構(gòu)參數(shù)標定方法和機器人手眼的標定方法.最后采用本系統(tǒng)對焊縫進行跟蹤實驗，通過對所采集的焊縫軌跡進行分析，結(jié)果表明該文中所述標定方法可行，能夠滿足自動化焊接的精度要求.今后將在此基礎(chǔ)上對機器人運動控制方法等問題進行研究.

【參考文獻】

[1]洪波,來鑫,魏復理,等.前置式磁控電弧傳感器焊縫自動跟蹤系統(tǒng)[J].傳感器與微系統(tǒng),2008,27:93-95.

HONG Bo, LAI Xin, WEI Fuli, et al. Seam tracking system with leading magnetic-control arc sensor[J]. Transducer and Microsystem Technologies,2008,27:93-95.

[2]林嘉睿,吳斌,高鵬,等.線結(jié)構(gòu)光視覺傳感器二維機器人焊縫跟蹤系統(tǒng)[J].光電子·激光,2009(6):793-795

LIN Jiarui, WU Bin, GAO Peng, et al. 2-D Robot seam tracking system based on structured-light visual sensor[J]. Journal of Optoeleetronies·Laser,2009(6):793-795.

[3]馮染寶,徐自越.OpenCV在焊縫實時檢測系統(tǒng)中的應用[J].工業(yè)儀表與自動化裝置,2012(4):39-42.

FEND Ranbao，XU Ziyue. The application of OpenCV on the real-time detection system of the seam[J]. Industrial Instrument and Automation Devices,2012(4):39-42.

[4]高文娟,李健.基于OpenCV的攝像機標定問題研究[J].計算機與數(shù)字工程,2008,36(12):128-130.

GAO Wenjuan, LI Jian. Research on camera calibration technique based on OpenCV[J]. Computer and Digital Engineering,2008,36(12):128-130.

[5]段發(fā)階,劉鳳梅,葉聲華.一種新型線結(jié)構(gòu)光傳感器結(jié)構(gòu)參數(shù)標定方法[J].儀器儀表學報,2000,21(1):108-110.

DUAN Fajie, LIU Fengei, YE Shenghua. A new accurate method for the calibration of line structured light sensor[J]. Journal of Instrument,2000,21(1):108-110.

[6]GAN Z, TANG Q. Laser stripe sensor calibration[J]. Advanced Topics in Science & Technology in China,2011(12):41-91.

[7]王穎,董再勵,孫茂相,等.一種基于線性模型的機器人手眼標定新方法[J].模式識別與人工智能,2005,18(4):491-495.

WANG Ying, DONG Zaili，SUN Maoxiang, et al. A new approach based robot hand-eye calibration linear prototype[J]. PR and AI,2005,18(4):491-495.

[8]李龍,白瑞林,吉峰,等.結(jié)構(gòu)光視覺引導的軌跡跟蹤系統(tǒng)的標定技術(shù)[J].計算機工程與應用,2014,50(16):259-264.

LI Long, BAI Ruilin, JI Feng, et al. Calibration technique for structured light vision guided trajectory tracking system[J]. Computer Engineering and Applications,2014,50(16):259-264.

[9]Qi A Y, Jing F, Tan M. Line-feature-based calibration method of structured light plane parameters for robot hand-eye system[J]. Optical Engineering,2013,52(3):254-260.

[10]HU J S, CHANG Y J. Calibration of an eye-to-hand system using a laser pointer on hand and planar constraints[C]// Proceedings-IEEE, International conference on robotics and automation (ICRA) .[s.l.]:[s.n.],2011:982-987.

Study on the calibration of robotic seam tracking of laser scanning systems

SONG Yaqin, ZHANG Bin, LIU Kaiyuan, TANG Chen

(College of Metrology and Measurement Engineering, China Jiliang University，Hangzhou 310018, China)

Abstract:The calibration method for the laser scanning weld seam tracking system parameters and the recognition method for the seam characteristic point based on digital image processing were proposed. The laser images were preprocessed by using the median filter method, the adaptive threshold method and the isolated point filter method. The seam characteristic point was found by using the digital morphological method. The parameter calibration of the structured light according to laser plane infinity point projection in the camera was obtained by moving the sensor with the target of a set of parallel lines. The position of the robot was changed to detect the fixed target and to solve the robot hand-eye matrix. The calibration process was convenient and reliable. It could be used for the detection of U weld seams on spatial free-form surfaces.

Key words:digital morphological; laser calibration; triangulation; hand-eye matrix; seam tracking

【文章編號】1004-1540(2016)01-0033-06

DOI:10.3969/j.issn.1004-1540.2016.01.006

【收稿日期】2015-09-18《中國計量學院學報》網(wǎng)址：zgjl.cbpt.cnki.net

【基金項目】浙江省儀器科學與技術(shù)重中之重學科人才培養(yǎng)計劃資助項目(No.JL150505).

【作者簡介】宋亞勤(1989-)，女，陜西省渭南人，碩士研究生，主要研究方向機器人技術(shù)及應用.E-mail:281706269@99.com

【中圖分類號】TP391

【文獻標志碼】A

通信聯(lián)系人：張斌，男，博士.E-mail: zhwwbin@163.com