畢齊林 蔣曉明 劉曉光 程韜波 朱玉龍

（廣東省智能制造研究所）

一種緊湊式柔性化焊縫視覺跟蹤系統(tǒng)*

畢齊林 蔣曉明 劉曉光 程韜波 朱玉龍

（廣東省智能制造研究所）

針對現(xiàn)有焊縫視覺跟蹤裝置結(jié)構(gòu)尺寸大及跟蹤高度不可變使其應(yīng)用場合受限的弊端，研究一種緊湊式柔性化焊縫視覺跟蹤方法。首先，研究緊湊式柔性化焊縫視覺跟蹤原理并研制實物裝置；其次，結(jié)合焊縫視覺跟蹤裝置結(jié)構(gòu)參數(shù)，研究其光路調(diào)整角度與跟蹤高度之間映射關(guān)系；接著，基于圖像特征參數(shù)，建立焊縫三維軌跡數(shù)學(xué)模型；最后，結(jié)合實驗驗證該系統(tǒng)在不同跟蹤高度下光路調(diào)整角度、焊縫三維軌跡數(shù)學(xué)模型的精確及可靠性。該研究為焊接過程的智能化、柔性化提供了理論基礎(chǔ)及技術(shù)支持。

焊縫視覺跟蹤；緊湊式柔性化設(shè)計；光路角度調(diào)整；焊縫三維軌跡

0 引言

隨著自動化焊接技術(shù)的進步及市場競爭愈加激烈，對焊接自動化水平、焊接效率、焊縫成型質(zhì)量提出了更高要求，焊縫跟蹤技術(shù)一直是制約其進一步發(fā)展的主要瓶頸技術(shù)之一[1-2]。焊縫跟蹤可以通過探針接觸式傳感、電磁傳感、超聲波傳感、電弧傳感和視覺傳感等方法實現(xiàn)，其中焊縫視覺跟蹤憑借其無接觸、應(yīng)用范圍廣、跟蹤精度高等優(yōu)勢，成為目前焊縫跟蹤技術(shù)研究熱點[3-5]。

目前，焊縫視覺跟蹤應(yīng)用較為成熟方式為：采用線結(jié)構(gòu)光投影在當(dāng)前焊區(qū)前一段距離處的待焊裝配縫上，工業(yè)相機采集線結(jié)構(gòu)光投影圖像，進而獲取焊縫空間軌跡并傳遞給運動控制器引導(dǎo)焊槍沿焊縫施焊[6-7]。然而，現(xiàn)有激光器與相機的分體式、一體式等結(jié)構(gòu)尺寸均較大，在焊接過程中易與復(fù)雜待焊工件發(fā)生結(jié)構(gòu)干涉[8]。此外，相機與激光器相對空間位置固定時，若焊縫跟蹤裝置與待焊工件的實際距離與理論值存在一定的偏差，一方面該偏差較大且相機景深難以應(yīng)對時，相機將會產(chǎn)生對焦不準(zhǔn)確，圖像虛化等現(xiàn)象；另一方面，該偏差使得線結(jié)構(gòu)光在圖像中的實際位置偏離理論設(shè)定的位置甚至脫離視場，造成焊縫跟蹤系統(tǒng)失效。由于現(xiàn)有焊縫視覺跟蹤裝置無法根據(jù)實際情況中的物距自動響應(yīng)，即無法依據(jù)其與待焊工件的實際距離來自動調(diào)節(jié)焦距、線結(jié)構(gòu)光投影線在相機視場中位置，因此焊縫跟蹤裝置只能采用恒定跟蹤高度在結(jié)構(gòu)干擾較少的環(huán)境中進行工作。然而，在軌道交通、集裝箱、船舶、核電、海工裝備等大構(gòu)件立體焊縫焊接中，焊縫跟蹤裝置過大、焊縫跟蹤高度不可調(diào)，可能造成視覺跟蹤裝置與側(cè)板發(fā)生結(jié)構(gòu)干涉，使其應(yīng)用范圍受到極大限制。

針對以上弊端，結(jié)合移動式焊接機器人研究一種緊湊、柔性化焊縫跟蹤方法，適應(yīng)復(fù)雜焊機環(huán)境中焊縫跟蹤高度可變的需求。首先，采用相機與激光器軸線平行的布局方式，使得焊縫視覺跟蹤裝置結(jié)構(gòu)緊湊；其次，研制一種光路調(diào)節(jié)裝置，使焊縫跟蹤高度變化時，結(jié)構(gòu)光線投影始終位于視場中心；接著，研究焊縫跟蹤高度與光路調(diào)整角度之間映射關(guān)系、基于圖像特征的焊縫三維軌跡數(shù)學(xué)建模；最后，通過實驗對上述的方法、理論模型進行驗證。

1 緊湊式柔性化焊縫跟蹤原理

結(jié)合移動式焊接機器人研制的緊湊式柔性化焊縫跟蹤系統(tǒng)工作過程：首先在待焊裝配縫軌跡上投射線狀結(jié)構(gòu)光；再通過相機采集待焊裝配縫調(diào)制后的線投影圖像；最后經(jīng)圖像處理、分析獲得待焊裝配縫軌跡。在結(jié)構(gòu)方面，采用相機光軸與激光器光軸平行的設(shè)計，并輔助光路系統(tǒng)，使得整體結(jié)構(gòu)緊湊。在功能方面，輔助光路調(diào)整裝置，使得線結(jié)構(gòu)光投射角度可調(diào)整，滿足不同焊縫跟蹤不同高度的柔性化需求。緊湊式柔性化焊縫跟蹤裝置如圖1所示，由成像器件、鏡頭、安裝底座、反射鏡片、擋弧板、激光器、光路角度調(diào)整裝置、擋弧鏡片等組成。

圖1 緊湊式柔性化焊縫跟蹤裝置

緊湊式柔性化焊縫跟蹤系統(tǒng)工作原理如圖2所示。首先，根據(jù)實際焊接需求，完成視覺傳感器安裝，確定焊縫跟蹤高度參數(shù)，結(jié)合跟蹤高度與光路調(diào)整角度之間映射模型，確定光路調(diào)整角度；其次，通過光路調(diào)整裝置調(diào)整反射鏡片角度，使得線結(jié)構(gòu)光投影線在視場中位于中間位置；接著，調(diào)整激光器線結(jié)構(gòu)光寬度、相機的光圈、焦距等參數(shù)，使得線結(jié)構(gòu)光投影成像特征鮮明，具有較大的對比度；最后，相機實時采集線結(jié)構(gòu)光投影線圖像并傳輸給視覺系統(tǒng)，視覺系統(tǒng)經(jīng)圖像處理、分析，結(jié)合圖像特征與焊縫空間軌跡之間映射模型，獲得焊縫三維軌跡信息并傳遞給運動控制系統(tǒng)，運動控制系統(tǒng)控制焊槍沿著焊縫軌跡施焊。

圖2 緊湊式柔性化焊縫跟蹤系統(tǒng)工作原理圖

2 光路調(diào)整角度數(shù)學(xué)模型

物距與旋轉(zhuǎn)角度之間的關(guān)聯(lián)關(guān)系如圖3所示。圖3(a)中，以工作臺平面的一個角點為原點O，鉛垂線方向為z軸，相機光軸與激光器光軸的垂線為x軸，建立坐標(biāo)系統(tǒng)OXYZ。焊縫跟蹤系統(tǒng)垂直放置在水平面時，相機光軸、激光器光軸與鉛垂線平行，相機光軸與激光器光軸之間的垂線與x軸平行。假設(shè)相機光軸與激光器光軸沿x軸方向的垂直距離為Lx0，反射鏡的轉(zhuǎn)軸中心與擋弧鏡之間沿著z方向的距離為Lz0，反射鏡的轉(zhuǎn)軸半徑為r0，反射鏡片的厚度忽略不計，反射鏡與z軸之間的夾角為αz0，擋弧鏡與待跟蹤工件表面之間沿z軸方向的垂直距離為Lz。

以反射鏡的轉(zhuǎn)軸中心原點O1，鉛垂線方向為y1軸，經(jīng)過原點O1與x軸平行的直線為x1軸，建立坐標(biāo)系統(tǒng)O1X1Y1Z1，如圖3(b)所示。坐標(biāo)系O1X1Y1Z1中，反射后激光線AB所在直線L1的方程為：x=-Lx0-Lx1；入射激光線CD所在直線L2的方程為：x=-Lx1；工件表面BG所在直線L4的方程為：y=-(Lz0+Lz)。

圖3 物距與旋轉(zhuǎn)角度之間的關(guān)聯(lián)關(guān)系

BC為CD經(jīng)過鏡面反射后的光線，故

結(jié)合L1、L4直線方程，可知L1、L3、L4直線方程相交處點B的坐標(biāo)為（-Lx0-Lx1,-Lz0-Lz），故可得出激光線BC所在直線L3的方程為

反射鏡繞旋轉(zhuǎn)軸中心點O1轉(zhuǎn)動，若I為EF的中點，則IO1垂直于EF，故點I的定位坐標(biāo)為(-r0cosαz0, r0sinαz0)，由此可知點E、F所在直線L5方程為

由圖3可知，反射點C為直線L2、L3、L5相交處，因此滿足以下關(guān)系

將式(5)化簡可知轉(zhuǎn)軸角度αz0與物距Lz之間滿足如下函數(shù)關(guān)系

結(jié)合式(6)中轉(zhuǎn)軸角度αz0與物距Lz之間的函數(shù)關(guān)系，結(jié)合該裝置設(shè)計參數(shù)lx0=150mm，lx1=15mm，r0=4mm，lz0=50mm，在實驗中進行現(xiàn)場調(diào)試，取物距Lz分別為200mm、300mm、400mm、500mm，結(jié)合式(6)在Matlab中采用以下程序進行求解。

通過Matlab程序計算，得出對應(yīng)的轉(zhuǎn)軸角度αz0分別為17.42°、13.16°、10.50°、8.70°，依據(jù)該參數(shù)獲取的圖像如圖4所示。

圖4 不同物距及光路調(diào)整角度下獲取的圖像

由圖4可知，通過以上的光路調(diào)整角度αz0與跟蹤高度Lz之間關(guān)聯(lián)關(guān)系的研究，可以依據(jù)跟蹤高度Lz計算出光路調(diào)整角度αz0，通過光路調(diào)整裝置設(shè)定光路調(diào)整角度，保證激光線投影始終位于視場中心，為后續(xù)的焊縫跟蹤計算提供基礎(chǔ)。

3 焊縫3D軌跡數(shù)學(xué)模型

由圖3可知，在全局坐標(biāo)系OXYZ中，待焊工件位于xy平面上，焊縫跟蹤裝置垂直于待焊工件表面，線結(jié)構(gòu)光在xz平面內(nèi)與z軸呈αz0傾斜角度投射到待焊工件表面。焊縫三維軌跡獲取原理圖如圖5所示。當(dāng)弧片與待焊工件表面的距離為Lz時，激光線在待焊裝配縫軌跡處調(diào)制的拐點A0、B0、M0、N0分布于視場中心，其在圖像坐標(biāo)系統(tǒng)中的定位坐標(biāo)分別為(uA0,vA0)、(uB0,vB0)、(uM0,vM0)、(uN0,vN0)，如圖5(b)中虛線所示。假設(shè)在t時刻，理論上相機坐標(biāo)系中的點（ut,vt）在全局坐標(biāo)的關(guān)系為

其中，[Δx0,Δy0,Δz0]為t時刻相機坐標(biāo)系與全局坐標(biāo)系OXYZ之間的平移矩陣，單位為mm；εx、εy為相機標(biāo)定系數(shù)，單位為mm/pixel。

若實際獲取的結(jié)構(gòu)光投影線如圖5(b)中實線所示，此時結(jié)構(gòu)光在待焊裝配縫處調(diào)制的拐點為A、B、M、N，其在圖像坐標(biāo)系統(tǒng)中的定位坐標(biāo)分別為(uA,vA)、(uB,vB)、(uM,vM)、(uN,vN)，則焊縫跟蹤裝置相對待焊裝配縫在y方向的偏離量為

由圖5(c)中的空間幾何關(guān)系可知，當(dāng)待焊面實際位置高于或低于理論高度時，uv圖像平面中，激光線在平板上的投影線實際位置相對理論位置將沿u軸方向發(fā)生左或右偏移。依據(jù)線結(jié)構(gòu)光投影端點N的圖像坐標(biāo)(uN,vN)以及圖像uv面標(biāo)定系數(shù)εx可知，圖像沿u向偏移量與空間坐標(biāo)系OXYZ中沿x向偏移量之間滿足如下關(guān)系

依據(jù)激光器、相機在坐標(biāo)系OXYZ中相對待焊裝配縫的空間位姿，可知待焊裝配縫實際軌跡中z向坐標(biāo)zN滿足以下關(guān)系式

將式(7)代入式(8)，進行化簡可知，焊縫跟蹤高度沿z向改變量Δz的表達式為

假設(shè)移動焊接機器人沿著x方向移動的速度為vx(mm/s)，結(jié)合式(5)、式(6)、式(9)可知，待焊裝配縫三維軌跡為

圖5 焊縫三維軌跡獲取原理圖

4 實驗結(jié)果及分析

在該實驗中，視覺系統(tǒng)采用POINT GREY（BFLY-PGE-03S2C-CS）相機，Computa（rf=25mm）鏡頭，COHERENT（CogerentStringRay SD-450）激光器，實驗平臺如圖6所示，焊縫跟蹤采用上述研制的緊湊式柔性焊縫跟蹤裝置。智能焊接實驗平臺主要包括焊縫跟蹤模塊、運動功能執(zhí)行模塊、運動控制硬件模塊、運動控制軟件模塊、焊接模塊等。

4.1 實驗過程

1)選取2塊材質(zhì)為Q235的平板，其尺寸均為600mm×150mm×6mm，采用對接的拼接方式，其坡口間距為3mm。拼接后的工件左端與水平工作臺接觸，右端抬高6mm，如圖7所示。移動焊接機器人的運行速度為0.5m/min，相機采樣頻率為10張/s，跟蹤高度為300mm。

圖6 移動式焊接實驗平臺

圖7 不同物距及對應(yīng)旋轉(zhuǎn)角度下獲取的圖像

2)定義移動焊接機器人的工作坐標(biāo)系，設(shè)工件左上角點坐標(biāo)為移動式焊接機器人工作原點O，工件左上角點位于視場中心，工件向水平工作面進行投影后，長度方向的投影為x軸，寬度方向的投影為y軸。

3)設(shè)定移動機器人實際運動軌跡，使其與理論軌跡存在一定誤差，用于監(jiān)測視覺跟蹤精度。假設(shè)焊縫的理論軌跡為B1B2、B2B3、B3B4、B4B5，移動焊接機器人運動軌跡為A1A2、A2A3、A3A4、A4A5。理論軌跡中點B1、B2、B3、B4、B5在移動焊接機器人坐標(biāo)系中的坐標(biāo)分別為（100,0,1）、（200,0,2）、（300,0,3）、（400,0,4）、（500,0,5）。實時跟蹤測點A1、A2、A3、A4、A5在移動焊接機器人坐標(biāo)系中的坐標(biāo)分別為（100,0,1）、（200,2,2.5）、（300,4,4）、（400,-2,5.5）、（500,-4,7）。實際運動軌跡與理論焊縫軌跡沿y方向偏離量、z方向的偏離量如表1所示。

表1 實際運動軌跡與理論焊縫軌跡偏離量

4)焊縫視覺跟蹤裝置沿著設(shè)定的軌跡運動，實時采集圖像如圖8所示。

圖8 實時采集的圖像

5)對獲取的圖像分析處理，結(jié)合上述焊縫三維軌跡模型，獲得實時跟蹤的焊縫軌跡偏離量信息，并將其與實際的焊縫軌跡偏離量信息進行對比分析。

4.2 實驗結(jié)果

根據(jù)式(10)的數(shù)學(xué)模型，相機的標(biāo)定參數(shù)εx= 0.185mm/pixel，εy=0.192mm/pixel，計算移動焊接機器人在工作過程中視覺系統(tǒng)跟蹤軌跡與理論焊縫軌跡沿y方向偏離量、z方向的偏離量如表2所示。

表2 視覺系統(tǒng)跟蹤軌跡與理論焊縫軌跡偏離量

4.3 結(jié)果分析

基于上述緊湊式柔性化焊縫跟蹤方法及裝置、數(shù)學(xué)建模等獲取的跟蹤軌跡與實際運動軌跡存在±0.3mm的誤差，其來源于圖像處理及相機標(biāo)定系數(shù)等方面的誤差。故該緊湊式柔性化的焊縫跟蹤方法及相應(yīng)數(shù)學(xué)建模具有較高準(zhǔn)確性和可靠性，可滿足焊縫跟蹤工業(yè)應(yīng)用需求。

5 結(jié)論

針對移動焊接機器人狹小復(fù)雜的工作環(huán)境及柔性化的作業(yè)需求，研究了一種緊湊式柔性化的焊縫視覺跟蹤系統(tǒng)，得到了以下結(jié)論：

1)針對現(xiàn)有焊縫跟蹤裝置結(jié)構(gòu)尺寸大，焊縫跟蹤時高度不可變的弊端，研究了一種緊湊式柔性化的焊縫跟蹤方法，采用相機光軸與激光器光軸平行的安裝方式，輔助光學(xué)系統(tǒng)獲得了緊湊的結(jié)構(gòu)，結(jié)合輔助光學(xué)系統(tǒng)中光路調(diào)整裝置，使不同焊縫跟蹤高度條件下結(jié)構(gòu)光線投影圖像均能位于視場中心附近，實現(xiàn)了不同高度下焊縫柔性跟蹤功能，在上述基礎(chǔ)上研制出緊湊式柔性化的焊縫跟蹤裝置；

2)通過研究焊縫跟蹤裝置工作過程中跟蹤高度發(fā)生變化時，結(jié)構(gòu)光線投影在視場中的變化規(guī)律，結(jié)合激光器、相機等相對空間位置關(guān)系，建立焊縫跟蹤裝置跟蹤高度變化與光路調(diào)整角度之間的映射關(guān)系，結(jié)合實驗驗證了該模型的準(zhǔn)確性，為不同焊縫跟蹤高度時光路角度調(diào)整提供了理論基礎(chǔ)及技術(shù)支持；

3)分析焊縫軌跡與線結(jié)構(gòu)光投影圖像中感興趣特征點之間的關(guān)聯(lián)規(guī)律，結(jié)合相機、激光器與待焊裝配縫的相對空間位姿參數(shù)，建立了圖像特征與焊縫軌跡之間的關(guān)聯(lián)模型，并設(shè)計實驗，驗證該模型的跟蹤誤差不超過±2%，可滿足焊縫跟蹤的工業(yè)應(yīng)用需求。

[1]Lu X,Zhang K,Wu Y.The seam position detection and tracking for themobilewelding robot[J].International Journal of Advanced Manufacturing Technology,2016:1-10.

[2]毛志偉,李舒揚,葛文韜,等.移動焊接機器人大折角角焊縫跟蹤及工藝[J].焊接學(xué)報,2011,32(2):33-36.

[3]畢齊林,蔣曉明,劉曉光,等.基于圖像配準(zhǔn)的焊區(qū)高動態(tài)范圍成像信息融合[J].上海交通大學(xué)學(xué)報,2016,50(12): 1915-1920.

[4]毛鵬軍,黃石生,薛家祥,等.弧焊機器人焊縫跟蹤系統(tǒng)研究現(xiàn)狀及發(fā)展趨勢[J].電焊機,2001,31(10):9-12,22.

[5]王軍波,孫振國,陳強,等.基于CCD傳感器的球罐焊接機器人焊縫跟蹤[J].焊接學(xué)報,2001,22(2):31-34.

[6]Huang Yu,Xiao Yangliu,Wang Pingjiang,et al.A seam-tracking laser welding platform w ith 3D and 2D visual information fusion vision sensor system[J].International Journal of Advanced Manufacturing Technology,2013,67 (1-4):415-426.

[7]Zeng J,Chang B,Du D,etal.A visualweld edge recognition method based on light and shadow feature construction using directional lighting[J].Journal of Manufacturing Processes, 2016,24:19-30.

[8]畢齊林.大構(gòu)件折線角焊縫前置—直視雙視覺監(jiān)測跟蹤[D].廣州:華南理工大學(xué),2014.

A Com pactand FlexibleW elding Seam Visual Tracking System

BiQilin Jiang Xiaom ing Liu Xiaoguang Cheng Taobo Zhu Yulong
(Guangdong Instituteof IntelligentManufacturing)

In response to the shortcom ings of weld vision tracking device that its application is lim ited due to large structure size and immutable tracking height,a compact and flexible weld visual tracking method is proposed.Firstly,the principle of a compactand flexibleweld visual tracking is studied and the device is developed.Secondly,the relationship between the optical path adjustmentangleand the tracking height isestablished combinedw ith structuralparametersofweld visual tracking device.Thirdly，the three-dimensional trajectory of theweld isestablished based on the characteristic parameters of image.Finally,the accuracy and reliability of models that is used to describe the optical path adjustment angle under the different tracking height and the three-dimensional trajectory of theweld.Itprovides the theoreticalbasisand technicalsupport for the intelligentand flexiblewelding process.

Weld Visual Tracking;Compactand Flexible Design;Optical Path AdjustmentOptical Path Angle Adjustment; 3-Dimensional Trajectory ofWeld

畢齊林，男，1983年生，博士后，主要研究方向：機器視覺應(yīng)用技術(shù)、自適應(yīng)控制技術(shù)。E-mail:hbbql@163.com

廣東省自然科學(xué)基金項目(2016A030310309)；中國博士后科學(xué)基金項目(2016M 602442)；廣東省科技計劃項目(2016B090927008)；廣州市科技計劃項目(2016201604030069)。

蔣曉明，男，1973年生，博士，副研究員，主要研究方向：智能裝備應(yīng)用技術(shù)。