岳建鋒，杜博宇，王天琪，李亮玉

（天津工業(yè)大學(xué)天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津300387）

基于激光單目視覺(jué)系統(tǒng)的焊縫提取

岳建鋒，杜博宇，王天琪，李亮玉

（天津工業(yè)大學(xué)天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津300387）

將激光單目視覺(jué)傳感器固定在ABB機(jī)器人上組成視覺(jué)系統(tǒng)，用Matlab標(biāo)定工具箱實(shí)現(xiàn)了對(duì)攝像機(jī)參數(shù)的高精度標(biāo)定，與機(jī)器人示教器結(jié)合對(duì)機(jī)器人進(jìn)行了手眼標(biāo)定；利用視覺(jué)系統(tǒng)采集焊縫圖像，對(duì)獲得的圖像進(jìn)行圖像處理和特征分析，并提取計(jì)算機(jī)圖像平面上焊縫特征點(diǎn)的圖像坐標(biāo).根據(jù)攝像機(jī)內(nèi)外參數(shù)、機(jī)器人的手眼關(guān)系以及焊縫的特點(diǎn)提出一種簡(jiǎn)便的方法將二維平面坐標(biāo)轉(zhuǎn)化為三維坐標(biāo)，用Solidworks還原出焊縫的三維模型，提取焊縫中心線(xiàn)信息進(jìn)行焊接實(shí)驗(yàn)，結(jié)果表明焊接精度滿(mǎn)足實(shí)際要求.

激光視覺(jué)；單目視覺(jué)；圖像處理；視覺(jué)標(biāo)定；焊縫提取

隨著工業(yè)自動(dòng)化技術(shù)的不斷發(fā)展，目前機(jī)器人在焊接領(lǐng)域得到越來(lái)越廣泛的應(yīng)用.在惡劣的工作條件下，機(jī)器人可以替代人進(jìn)行焊接操作，大大降低了勞動(dòng)成本，提高了勞動(dòng)生產(chǎn)率.目前的工業(yè)機(jī)器人雖然裝備了一些傳感器用來(lái)感知周?chē)h(huán)境以提高其適應(yīng)性，但是在工業(yè)生產(chǎn)中，工作方式主要還是人工示教再現(xiàn).操作者需要預(yù)先通過(guò)示教方式來(lái)規(guī)劃?rùn)C(jī)器人的路徑和位姿.對(duì)于復(fù)雜的焊接工件，示教點(diǎn)較多，需要進(jìn)行較長(zhǎng)時(shí)間的示教工作.對(duì)于單件或混合產(chǎn)品的批量生產(chǎn)過(guò)程，需要進(jìn)行反復(fù)的示教工作，且機(jī)器人的運(yùn)動(dòng)精度，基本上取決于編程人員在示教時(shí)的耐心程度和目測(cè)精度，不能滿(mǎn)足柔性化焊接需求.因而研究焊縫結(jié)構(gòu)和參數(shù)自動(dòng)識(shí)別的焊接自動(dòng)化技術(shù)是十分必要的[1-2].

目前，在焊接自動(dòng)化方面所采用的傳感方法有機(jī)械式、電弧式、電磁式、超聲波式和視覺(jué)式等.其中，視覺(jué)式傳感具有信息量大、靈敏度和測(cè)量精度高、抗電磁場(chǎng)干擾能力強(qiáng)、非接觸等優(yōu)點(diǎn)而廣泛使用[3].本文采用條形激光和CCD組成視覺(jué)系統(tǒng)，以此系統(tǒng)為基礎(chǔ)提取焊縫坡口參數(shù)的特征并進(jìn)行焊接實(shí)驗(yàn).

1 系統(tǒng)構(gòu)成和原理

本系統(tǒng)由CCD攝像機(jī)、鏡頭、激光二極管和ABB機(jī)器人等組成.其中攝像機(jī)和激光二極管以一定角度安裝在ABB機(jī)器人機(jī)器臂上.激光二極管發(fā)出條形光投射到焊接工件上，發(fā)生相應(yīng)的變形并產(chǎn)生漫反射. CCD接收從工件上反射的條形光，通過(guò)圖像處理等環(huán)節(jié)，可得工件各特征點(diǎn)的相平面坐標(biāo).對(duì)視覺(jué)系統(tǒng)進(jìn)行標(biāo)定，可將坡口各特征點(diǎn)的相平面坐標(biāo)轉(zhuǎn)換得到世界坐標(biāo)，得到坡口的三維信息.將三維信息轉(zhuǎn)化為焊槍的位置和姿態(tài)參數(shù)，傳輸給機(jī)器人進(jìn)行焊接.其中ABB機(jī)器人重復(fù)定位精度為±0.11 mm.激光視覺(jué)傳感器結(jié)構(gòu)示意圖如圖1所示.

圖1 系統(tǒng)結(jié)構(gòu)示意圖Fig.1 Structural diagrams of system

2 視覺(jué)系統(tǒng)標(biāo)定

2.1 攝像機(jī)標(biāo)定

在計(jì)算機(jī)視覺(jué)中，為了從二維圖像中得到三維信息，攝像機(jī)標(biāo)定是必不可少的一步[4].攝像機(jī)標(biāo)定是獲得相機(jī)內(nèi)部參數(shù)和外部參數(shù)、建立圖像中像素坐標(biāo)與空間位置之間關(guān)系的過(guò)程[5].針孔模型中，只考慮攝像機(jī)的一階畸變，內(nèi)參的模型如式（1）：

式中：（Xf，Yf）為景物點(diǎn)在圖像平面上的坐標(biāo)；（fcx，fcy）為攝像機(jī)有效焦距；（cx，cy）為攝像機(jī)光心在圖像平面上坐標(biāo)；kc（1）為攝像機(jī)一階畸變系數(shù)；r為點(diǎn)至成像平面原點(diǎn)距離，r2=（Xu/f）2+（Yu/f）2；（X，Y，Z）為點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo).外參模型如式（2）：

式（2）反映了攝像機(jī)坐標(biāo)系下的空間點(diǎn)（X，Y，Z）與世界坐標(biāo)系下的空間點(diǎn)（Xw，Yw，Zw）之間的關(guān)系；R為3×3的旋轉(zhuǎn)矩陣；T為3×1的平移矩陣.

本文采用基于平面模板的改進(jìn)兩步標(biāo)定法[6]，采用10×10的黑白棋盤(pán)作為平面標(biāo)定模板，讀入9幅圖像，以Matlab軟件作為平臺(tái)計(jì)算攝像機(jī)的內(nèi)部參數(shù)，標(biāo)定結(jié)果如表1所示.外參數(shù)隨著攝像機(jī)與標(biāo)定板位置關(guān)系不同而改變，9幅標(biāo)定圖片對(duì)應(yīng)9組不同的外參數(shù).

表1 攝像機(jī)內(nèi)部參數(shù)Tab.1 Camera′s intrinsic parameter

2.2 機(jī)器人手眼關(guān)系

要獲得計(jì)算機(jī)圖像平面上的點(diǎn)在世界坐標(biāo)系中的坐標(biāo)，必須獲得攝像機(jī)與機(jī)器人坐標(biāo)系間的關(guān)系，稱(chēng)為手眼標(biāo)定[7].各坐標(biāo)系間關(guān)系如圖2所示.

圖2 坐標(biāo)系間關(guān)系Fig.2 Relationship between coordinate systems

圖2中，Base為機(jī)器人基坐標(biāo)系，TCP為機(jī)器人末端坐標(biāo)系，W為標(biāo)定板世界坐標(biāo)系，E為攝像機(jī)坐標(biāo)系.T6為Base和TCP間的變換，Tm為T(mén)CP和E間的變換，Tc為E和W間的變換，Tg為Base和W之間變換.T6、Tm、Tc、Tg構(gòu)成一個(gè)封閉解，由坐標(biāo)系間的關(guān)系，可得到式（3）：

采用ABB機(jī)器人，在機(jī)器人末端安裝焊槍后用五點(diǎn)法對(duì)工具坐標(biāo)系標(biāo)定，標(biāo)定完成后，機(jī)器人示教盒可以顯示出TCP在Base坐標(biāo)系下位姿，即T6.用三點(diǎn)法對(duì)其進(jìn)行工件坐標(biāo)系標(biāo)定，根據(jù)三點(diǎn)成面公式可以得到W和Base間的關(guān)系，即Tg.標(biāo)定攝像機(jī)的外部參數(shù)，得到攝像機(jī)坐標(biāo)系與標(biāo)靶坐標(biāo)系間的關(guān)系Tc，在攝像機(jī)標(biāo)定實(shí)驗(yàn)中共取得外參9組.選取任意一組參數(shù)，代入式（3）可求得攝像機(jī)相對(duì)于機(jī)器人末端的參數(shù)Tm.經(jīng)計(jì)算，本系統(tǒng)中的手眼關(guān)系為[8]：

3 焊縫圖像的處理

為了準(zhǔn)確獲得焊縫特征信息，必須要對(duì)CCD采集到的焊縫圖像進(jìn)行處理，去除干擾信息提取激光條紋中心線(xiàn)，進(jìn)而提取焊縫特征點(diǎn).以60°V型坡口焊件為例，采集焊縫圖像，圖像處理的基本流程如圖3所示，圖像處理結(jié)果如圖4所示.

圖3 圖像處理流程Fig.3 Image processing

圖4 圖像處理結(jié)果Fig.4 Result of image processing

濾波是減少圖像中噪聲的有用工具.中值濾波法是一種非線(xiàn)性平滑技術(shù)，它將每一像素點(diǎn)的灰度值設(shè)置為該點(diǎn)某領(lǐng)域窗口內(nèi)的所有像素點(diǎn)灰度值的中值.考慮到濾波效果和運(yùn)算速度等因素，選用3×3矩形中值濾波器，用快速排序法搜索9個(gè)像素的灰度中值來(lái)替代當(dāng)前像素的灰度值.中值濾波效果圖如圖4（b）所示.經(jīng)過(guò)中值濾波的圖像包含不同級(jí)別的灰度值，閾值變換可以將一幅灰度圖像轉(zhuǎn)換成黑白二值圖像.在編程中必須根據(jù)圖像的統(tǒng)計(jì)分布性質(zhì)來(lái)選擇合適的閾值.目前有多種閾值選取方案，如微分直方圖法、雙峰法等.由于CCD采集到的原始圖像中激光帶的亮度很高，其灰度值接近于255，為了獲得更好的二值化圖像，可以適當(dāng)加大設(shè)定的閾值，將激光帶和背景很好的分離開(kāi)，保留了激光帶的特征.二值化效果如圖4（c）所示.

經(jīng)過(guò)一系列處理得到的二值化圖像，對(duì)其進(jìn)行特征值提取仍比較困難，需要先對(duì)激光帶的中心線(xiàn)進(jìn)行提取.目前主要方法有2種：一種是對(duì)目標(biāo)圖像進(jìn)行邊緣檢測(cè)[9]，采用上下輪廓取平均法；另一種是采用中軸變化法直接進(jìn)行骨架提取[10].采用中軸變化法提取出的激光條紋中心線(xiàn)如圖4（d）所示.

對(duì)于焊縫中心線(xiàn)圖像，計(jì)算特征點(diǎn)方法如下：圖像上每一個(gè)點(diǎn)都是像素點(diǎn)，設(shè)激光條紋中心線(xiàn)點(diǎn)集為p{（xi，yi），i=1，2，...，n}，起點(diǎn)為（x0，y0），從起點(diǎn)開(kāi)始搜索，對(duì)于第i列上的點(diǎn)，計(jì)算第i+M列上的中心點(diǎn)行坐標(biāo)與第i列上中心點(diǎn)行坐標(biāo)的差值，若這個(gè)差值大于給定閾值，則認(rèn)為到達(dá)了激光條紋的轉(zhuǎn)折點(diǎn)[11].為了便于觀(guān)察特征點(diǎn)，對(duì)激光條紋中心線(xiàn)進(jìn)行了反色處理.經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，左右兩個(gè)拐點(diǎn)檢測(cè)效果較好，但是一些無(wú)關(guān)點(diǎn)也被檢測(cè)出.選取其中一次檢測(cè)結(jié)果如圖5所示，檢測(cè)出點(diǎn)坐標(biāo)如表2所示.

圖5 提取的數(shù)據(jù)點(diǎn)Fig.5 Data points

表2 數(shù)據(jù)點(diǎn)坐標(biāo)Tab.2 Data points′coordinates

用最小二乘法分別對(duì)檢測(cè)出的數(shù)據(jù)點(diǎn)做線(xiàn)性擬合，得到兩條段直線(xiàn)方程，求出兩直線(xiàn)交點(diǎn)即可得到特征b點(diǎn)坐標(biāo)，如圖6所示，a、b、c為3個(gè)拐點(diǎn).

將特征點(diǎn)在計(jì)算機(jī)圖像中的坐標(biāo)和攝像機(jī)內(nèi)部參數(shù)分別代入式（1），可以得到過(guò)攝像機(jī)光心和特征點(diǎn)的直線(xiàn)在攝像機(jī)坐標(biāo)系下的方程，即：

此外，還需求得激光平面的方程才可解得特征點(diǎn)在攝像機(jī)下的坐標(biāo)（X，Y，Z）[12].由于激光平面方程求解較為復(fù)雜，在此提出一種簡(jiǎn)單的求取特征點(diǎn)坐標(biāo)的方法.

圖6 特征點(diǎn)圖像坐標(biāo)Fig.6 Feature points′image coordinates

在獲取圖像過(guò)程中，操縱機(jī)器人使得攝像機(jī)Z坐標(biāo)軸與焊縫垂直且與工件距離不變，通過(guò)機(jī)器人示教盒讀取在TCP坐標(biāo)系下的坐標(biāo)，轉(zhuǎn)換為在攝像機(jī)坐標(biāo)系下的坐標(biāo)Z，代入直線(xiàn)方程（5），可求得特征點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo).至此，圖像坐標(biāo)點(diǎn)與機(jī)器人基坐標(biāo)系空間點(diǎn)映射完成.

4 實(shí)驗(yàn)驗(yàn)證

將V型坡口焊件水平固定在工作臺(tái)上，操縱機(jī)器人末端沿著焊縫方向行走，每隔一定時(shí)間采集焊縫圖像，共采集3次.對(duì)每次采集的圖像進(jìn)行處理，得到V型坡口3個(gè)特征點(diǎn)的圖像坐標(biāo)，通過(guò)上述算法計(jì)算得到對(duì)應(yīng)特征點(diǎn)的世界坐標(biāo)值并通過(guò)示教得到特征點(diǎn)的實(shí)際坐標(biāo)，如表3所示.繪制出的特征點(diǎn)實(shí)際坐標(biāo)和計(jì)算坐標(biāo)如圖7所示.經(jīng)計(jì)算，特征點(diǎn)實(shí)際坐標(biāo)和計(jì)算坐標(biāo)在各坐標(biāo)軸上的誤差在±1.5 mm內(nèi).

表3 特征點(diǎn)坐標(biāo)的求取結(jié)果Tab.3 Feature points′coordinates

圖7 特征點(diǎn)的計(jì)算坐標(biāo)和實(shí)際坐標(biāo)Fig.7 Feature points′calculated coordinates and actual coordinates

根據(jù)坐標(biāo)點(diǎn)b數(shù)據(jù)，擬合焊縫中心線(xiàn)信息后進(jìn)行焊接實(shí)驗(yàn)，用三維逆向軟件Image ware進(jìn)行線(xiàn)性擬合并分析誤差.計(jì)算得到的焊縫與實(shí)際焊縫直線(xiàn)偏差在1 mm內(nèi)，如圖8、圖9所示，焊接精度滿(mǎn)足要求.

圖8 兩條擬合線(xiàn)段誤差Fig.8 Error between two fitting lines

圖9 基于焊縫三維數(shù)據(jù)的焊接實(shí)驗(yàn)Fig.9 Welding experiments based on 3D data of welding seam

5 結(jié)語(yǔ)

本文基于激光單目視覺(jué)系統(tǒng)，對(duì)以下幾方面的內(nèi)容進(jìn)行了研究：

（1）對(duì)攝像機(jī)進(jìn)行標(biāo)定實(shí)驗(yàn)，確定攝像機(jī)內(nèi)外參數(shù)，提出一種簡(jiǎn)單方法對(duì)機(jī)器人進(jìn)行手眼標(biāo)定.

（2）提取CCD獲取的激光條紋圖像的特征點(diǎn).在消除圖像噪聲、閾值處理、輪廓提取等方法的基礎(chǔ)上，結(jié)合焊縫的特征對(duì)圖像進(jìn)行處理，獲取特征點(diǎn)的圖像坐標(biāo).

（3）由特征點(diǎn)圖像坐標(biāo)計(jì)算獲得特征點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)，并用三維繪圖軟件繪制出焊縫三維圖像并進(jìn)行了焊接實(shí)驗(yàn)，滿(mǎn)足精度要求.

[1]SUN Yu，CAI Yong-tian.Market analysis galva-nized sheet and current situation of the technology development[J].AISC Techniques，2001（4）：12-18.

[2]TIAN J S，LIN Wu.A general algorithm of rotating/tilting positioner inverse kinematics for robotic arc welding off-line programming[J].J of Materials Science Technology，2001，17（1）：161-162.

[3]何方殿.用于電弧焊接的跟蹤傳感（上）[J].電焊機(jī)，1990（2）：4-9.

[4]何方殿.用于電弧焊接的跟蹤傳感（下）[J].電焊接，1990（3）：3-7.

[5]劉蘇宜，王國(guó)榮，石永華.激光視覺(jué)機(jī)器人焊接中攝像機(jī)和手眼的同時(shí)標(biāo)定[J].華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，36（2）：74-77.

[6]BISHOP Bradley E，SPONG Mark W.Adaptive calibration and control of 2D monocular visual servo systems[J].Control Engineering Practice，1999（7）：423-430.

[7]毛劍飛，鄒細(xì)勇，諸靜.改進(jìn)的平面模板兩步法標(biāo)定攝像機(jī)[J].中國(guó)圖象圖形學(xué)報(bào)，2004，9（7）：846-852.

[8]楊廣林，孔令富，王潔.一種新的機(jī)器人手眼關(guān)系標(biāo)定方法[J].機(jī)器人，2006，28（4）：400-405.

[9]王卿，岳建鋒，楊方興，等.鍛壓線(xiàn)機(jī)器人的視覺(jué)標(biāo)定[J].天津工業(yè)大學(xué)學(xué)報(bào)，2014，33（2）：66-69.

[10]LIAO T Warren，LI Damin，LI Yueming.Extraction of welds from radiographic images using fuzzy classifiers[J].Information sciences，2000（126）：21-40.

[11]趙相賓，李亮玉，夏長(zhǎng)亮，等.激光視覺(jué)焊縫跟蹤系統(tǒng)圖像處理[J].焊接學(xué)報(bào)，2006，27（12）：42-48.

[12]謝春暉.基于結(jié)構(gòu)光的焊縫視覺(jué)檢測(cè)技術(shù)研究[D].武漢：華中科技大學(xué)，2006.

[13]秦濤.基于結(jié)構(gòu)光視覺(jué)傳感器的焊縫實(shí)時(shí)跟蹤控制[D].上海：上海交通大學(xué)，2012.

Extraction of welding seam based on monocular vision of laser

YUE Jian-feng，DU Bo-yu，WANG Tian-qi，LI Liang-yu
（Tianjin City Key Laboratory of Modern Mechatronics Equipment Technology，Tianjin Polytechnic University，Tianjin 300387，China）

The vision system consists of monocular vision sensor of laser and ABB industrial robot.The camera is calibrated by calibration toolbox of Matlab with high precision.And robot hand-eye calibration is also finished.The welding seam images is captured by vision system，and the captured images are processed and analyzed.Subsequently，the feature points′image coordinate of welding seam are extracted.Then the feature points′world coordinate are also calculated by a simple arithmetic based on camera parameters，relationship of the eye-in-hand and characteristics of welding seam.According to the data，3D model of the welding seam is reconstructed and basing on the data of weld center line，welding experiments is done.The result shows that this method can meet the precision requirement.

laser vision；monocular vision；image processing；visual calibration；weld seam extraction

TQ409；TP391.41

A

1671－024X（2015）06－0084－05

10.3969/j.issn.1671-024x.2015.06.018

2015-09-29

國(guó)家自然科學(xué)基金資助項(xiàng)目（U1333128）；天津市科技計(jì)劃項(xiàng)目（14ZCDZGX00802）；天津市科技特派員項(xiàng)目（15JCTPJC58400）

岳建鋒（1973—），男，博士，副教授，碩士生導(dǎo)師，主要研究方向?yàn)楹附幼詣?dòng)化.E-mail：billyue7303@sina.com