胡曦 余震 劉海生
(1.武漢科技大學(xué)機(jī)械自動(dòng)化學(xué)院 2.湖北文理學(xué)院機(jī)械工程學(xué)院)
傳統(tǒng)的焊縫測(cè)量方法是靠人工接觸式測(cè)量,效率低,工人勞動(dòng)強(qiáng)度大,達(dá)不到工業(yè)自動(dòng)化要求。目前已有通過視覺手段對(duì)焊縫尺寸進(jìn)行非接觸式測(cè)量的方法[1]。文獻(xiàn)[2-5]使用激光視覺法,向焊縫表面投射激光條紋,通過圖像處理提取條紋中心線,結(jié)合相機(jī)標(biāo)定參數(shù),計(jì)算特征點(diǎn)空間坐標(biāo)進(jìn)行焊縫三維測(cè)量。文獻(xiàn)[6]采用2臺(tái)帶660 nm窄帶濾波器和850 nm長通濾波器的攝像機(jī),通過圖像配準(zhǔn)對(duì)焊接熔池進(jìn)行三維重建,并提出了一種基于焊縫熔池圖像輪廓的在線焊縫成形前焊縫寬度預(yù)測(cè)方法,采用高斯分布擬合等高線的像素寬度和三維重建測(cè)得的對(duì)應(yīng)焊縫寬度。針對(duì)管道測(cè)量,有通過探頭對(duì)管道內(nèi)徑的接觸式測(cè)量方法,也有激光檢測(cè)法和超聲波法等非接觸式測(cè)量方法[7],它們均通過在管道截面提取幾個(gè)點(diǎn)來檢測(cè)管道截面的變形情況。對(duì)于管道三維檢測(cè),文獻(xiàn)[8] 利用表面形貌測(cè)試儀對(duì)套管磨損表面的參數(shù)進(jìn)行測(cè)量,通過對(duì)數(shù)據(jù)進(jìn)行處理可恢復(fù)套管磨損表面三維形貌圖。文獻(xiàn)[9]研究了基于NURBS曲面的管道表面三維重建算法,重建出管道局部變形表面,可直觀地了解管道變形情況。文獻(xiàn)[10]建立了內(nèi)壓作用下三維管道環(huán)焊縫缺陷仿真模型,分別對(duì)不同韌性參數(shù)、管道及缺陷尺寸進(jìn)行了研究,模擬計(jì)算得出各變化參數(shù)下管道的拉應(yīng)變極限和失效壓力。研究管道焊縫的變化規(guī)律,可為管道環(huán)焊縫缺陷完整性評(píng)價(jià)提供理論指導(dǎo)。
本文采用機(jī)器視覺手段對(duì)管段全位置焊縫進(jìn)行三維測(cè)量。因激光視覺法需要投射結(jié)構(gòu)光,易受環(huán)境影響,且進(jìn)行激光掃描三維重建時(shí)還需高精度運(yùn)動(dòng)控制臺(tái),系統(tǒng)較復(fù)雜,而使用雙目視覺手段,標(biāo)定后只需立體匹配,結(jié)合視差便能對(duì)視野范圍內(nèi)所有目標(biāo)進(jìn)行同步測(cè)量,效率較高。因此,選擇使用雙目立體視覺,針對(duì)管道全位置MAG蓋面焊縫,定義焊縫余高和寬度測(cè)量方法,將其按空間位置分為8個(gè)焊縫區(qū),分別對(duì)每個(gè)區(qū)間焊縫余高和寬度進(jìn)行三維測(cè)量分析。
雙目立體視覺系統(tǒng)由2個(gè)CCD相機(jī)、光源、計(jì)算機(jī)和工作臺(tái)支架組成,如圖1所示。2個(gè)相機(jī)安裝在可調(diào)支架上,其距離、高度和角度都可調(diào)節(jié)。將管道焊縫分成8個(gè)區(qū)域,用相機(jī)對(duì)各個(gè)區(qū)域重構(gòu)實(shí)現(xiàn)管道全位置焊縫三維測(cè)量。
圖1 系統(tǒng)示意圖Fig.1 Schematic diagram of system
雙目視覺通過從不同視角獲取被測(cè)物體的兩圖像,結(jié)合視差原理[11]恢復(fù)物體表面的深度信息,實(shí)現(xiàn)對(duì)目標(biāo)的三維測(cè)量,其測(cè)量模型如圖2所示。圖2中,OL、OR分別為左右相機(jī)光心,兩者距離為基線距b,f為焦距??臻g中任意一點(diǎn)P通過立體匹配得到左右像平面上的坐標(biāo)為Pl(xl,yl),Pr(xr,yr),計(jì)算該點(diǎn)的視差,通過相似三角測(cè)量法便可得P點(diǎn)的三維坐標(biāo)。
圖2 雙目視覺測(cè)量模型Fig.2 Binocular vision measurement model
采用張正友平面標(biāo)定法[12]來進(jìn)行雙目相機(jī)的標(biāo)定,使用圓點(diǎn)標(biāo)定板拍攝多幅不同角度及位置的標(biāo)定板圖像,精確提取各標(biāo)定板圓點(diǎn)的圓心坐標(biāo),根據(jù)各坐標(biāo)之間的相互對(duì)應(yīng)關(guān)系,先不考慮畸變,計(jì)算相機(jī)內(nèi)外參數(shù)的初始值,再考慮畸變,進(jìn)行畸變和極線校正,最終得出校正后的兩相機(jī)內(nèi)外參數(shù)。
相機(jī)成像過程中投影變換涉及4個(gè)坐標(biāo)系之間的轉(zhuǎn)換。設(shè)相機(jī)坐標(biāo)系為Oc-xcyczc,世界坐標(biāo)系為Ow-xwcwyw,圖像坐標(biāo)系O-xy,像素坐標(biāo)系為O-uv,空間中任意一點(diǎn)(Xw,Yw,Zw)投影到圖像中的像素坐標(biāo)為(u,v),則具體轉(zhuǎn)換如下:
(1)
式中:u0、v0為主點(diǎn)中心坐標(biāo);K為相機(jī)內(nèi)參數(shù)矩陣;R為旋轉(zhuǎn)矩陣,T為平移向量,分別表示從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)和平移變換,即相機(jī)外參。
式(1)為單目視覺數(shù)學(xué)模型,雙目標(biāo)定還需要獲得兩相機(jī)之間的相對(duì)位置關(guān)系。假設(shè)有一空間點(diǎn)在世界坐標(biāo)系和左右兩攝像機(jī)坐標(biāo)系下的非齊次坐標(biāo)分別為nw、n1、n2,則有:
(2)
消去nw可得:
(3)
式(3)即為左右相機(jī)坐標(biāo)系的相對(duì)位置關(guān)系。定義R21、T21分別為右相機(jī)相對(duì)左相機(jī)的旋轉(zhuǎn)矩陣和平移向量,則有:
(4)
式中:R1、T1、R2、T2分別為左右像機(jī)外參數(shù),可由單相標(biāo)定分別求出,R21、T21分別為左、右相機(jī)的相對(duì)位置參數(shù)。
立體匹配是通過構(gòu)建能量代價(jià)函數(shù)將兩幅視圖聯(lián)系在一起,找到空間一點(diǎn)在左右視圖中的同名點(diǎn),根據(jù)這兩個(gè)同名點(diǎn)坐標(biāo)差計(jì)算視差。傳統(tǒng)的立體匹配算法(SSD、SAD、NCC)構(gòu)建的函數(shù)僅與像素點(diǎn)的灰度值有關(guān),通過建立匹配窗口,計(jì)算左右圖像窗口內(nèi)像素點(diǎn)灰度值的相關(guān)性進(jìn)行匹配,獲取的視差圖可能不連續(xù)。此次試驗(yàn)所構(gòu)建的能量函數(shù)不僅與待匹配點(diǎn)的灰度值有關(guān),而且還結(jié)合該點(diǎn)的灰度值梯度以及鄰域的平滑因子,因此獲取的視差圖連續(xù)且平滑。能量函數(shù)如式(5)所示。
(5)
立體匹配搜索原理如圖3所示。在圖3的左視圖中一待匹配點(diǎn)Pl,沿該點(diǎn)極線在右視圖一定范圍內(nèi)搜索匹配點(diǎn),某個(gè)點(diǎn)與該點(diǎn)的構(gòu)成能量函數(shù)值最低,則此兩點(diǎn)為同名點(diǎn),求兩個(gè)點(diǎn)x坐標(biāo)之差即為視差值,依此方法遍歷全圖即得到視差圖。
圖3 匹配原理圖Fig.3 Matching principle graph
空間一點(diǎn)P在左像平面坐標(biāo)為(xl,yl),通過立體匹配找到其在右像平面坐標(biāo)為(xr,yr),經(jīng)極線校正后兩點(diǎn)處于同一行,即yl=yr,且視差d=xl-xr,通過三角測(cè)量法由圖4可推導(dǎo)出以下關(guān)系式:
圖4 視差模型圖Fig.4 Parallax model
(6)
(7)
從式(6)和式(7)可知,只要通過立體匹配找到空間點(diǎn)在左右像平面上的投影點(diǎn),計(jì)算視差,就可求出該點(diǎn)三維坐標(biāo),依此遍歷便可獲得三維點(diǎn)云,完成重構(gòu)。
設(shè)計(jì)的雙目視覺測(cè)量系統(tǒng)由2個(gè)大恒工業(yè)相機(jī)、光源LED燈、計(jì)算機(jī)、工作臺(tái)及相機(jī)支架組成。相機(jī)型號(hào)為MER-500-14GM/C-P ,分辨率為2592(H)×1944(V),像素尺寸2.2 μm×2.2 μm,鏡頭焦距16 mm。將2相機(jī)調(diào)整好高度和角度并固定在支架上。由于測(cè)量對(duì)象為管道蓋面焊焊縫,待測(cè)范圍較窄,故設(shè)計(jì)2臺(tái)相機(jī)橫向距離約120 mm,相機(jī)距待測(cè)物體表面距離為400~500 mm,其采集的圖像傳輸給計(jì)算機(jī)用于實(shí)時(shí)圖像處理。在管道下方兩側(cè)的三角固定件上有滑輪,便于管道旋轉(zhuǎn)進(jìn)行全位置測(cè)量。測(cè)量系統(tǒng)實(shí)物圖如圖5所示。
圖5 測(cè)量系統(tǒng)實(shí)物圖Fig.5 Actual measurement system
先對(duì)系統(tǒng)進(jìn)行標(biāo)定,采用7×7(50 mm×50 mm)高精度實(shí)心圓陣列標(biāo)定板,圓心距為6.25 mm。將標(biāo)定板在兩相機(jī)下方旋轉(zhuǎn)和平移多次,共采集20張?zhí)幱诓煌嵌群透叨鹊臉?biāo)定板圖像,通過標(biāo)定和校正后兩相機(jī)內(nèi)外參數(shù)如表1和表2所示。
表1 左右相機(jī)內(nèi)參數(shù)Table 1 Internal parameters of left and right cameras
由表2可見畸變系數(shù)為0,即已完成畸變校正,且兩相機(jī)主點(diǎn)中心列坐標(biāo)相同,右相機(jī)相對(duì)左相機(jī)僅在X方向有平移,距離約117 mm,與設(shè)計(jì)距離(120 mm)很接近,因此極線校正已完成。
表2 校正后右相機(jī)相對(duì)左相機(jī)位置Table 2 Pose of right camera relative to left camera after correction
采集管道部分弧度范圍的焊縫圖像,使用標(biāo)定數(shù)據(jù)對(duì)其進(jìn)行極線校正后,如圖6a所示,然后通過形態(tài)學(xué)處理提取焊縫區(qū)域,采用2.2節(jié)構(gòu)建的能量函數(shù)匹配計(jì)算,得到連續(xù)平滑的視差圖,如圖6b所示。
圖6 焊縫圖像Fig.6 3D measurement results
視差圖中越暗的部分表示該處離相機(jī)越近,因?yàn)椴杉氖枪艿啦糠只《鹊暮缚p,視差圖下半部分是管道上表面離相機(jī)較近部分,所以從圖6b中可看到從下到上逐漸由暗到亮。遍歷各點(diǎn)視差(視差圖中各點(diǎn)灰度值),根據(jù)式(6)和式(7)計(jì)算三維坐標(biāo),導(dǎo)出焊縫點(diǎn)云圖,如圖7所示。由重建后的焊縫三維模型圖可以看出,焊縫成魚鱗狀,焊縫高度明顯。
圖7 重建后的焊縫三維模型Fig.7 Reconstructed 3D model of welding seam
為驗(yàn)證雙目測(cè)量精度,隨機(jī)選取8組標(biāo)定板圖像。標(biāo)定板擺放位置及傾斜角度各不相同(即距離相機(jī)位置不同),提取各組標(biāo)定板的任意相鄰兩個(gè)標(biāo)志點(diǎn)圓心P1P2,如圖8所示,重構(gòu)三維坐標(biāo),將兩點(diǎn)圓心距與標(biāo)準(zhǔn)值(6.25 mm)做比較,分析重構(gòu)精度,結(jié)果如表3所示。從表3可以得出,三維重構(gòu)精度誤差在0.2 mm內(nèi)。
圖8 標(biāo)定板圖像Fig.8 Calibration board image
表3 三維測(cè)量結(jié)果Table 3 3D measurement results
研究對(duì)象為管道蓋面焊焊縫,先按照第2、第3節(jié)方法進(jìn)行三維重構(gòu)焊縫,獲取焊縫表面所有點(diǎn)云坐標(biāo),然后提取焊縫邊緣點(diǎn),將最高點(diǎn)作為特征點(diǎn),根據(jù)特征點(diǎn)三維坐標(biāo)計(jì)算如圖9所示的余高和焊寬。
圖9 焊縫尺寸圖Fig.9 Weld size
焊縫寬度:在要測(cè)量的焊縫段橫向提取(y坐標(biāo)相同)邊緣點(diǎn),假設(shè)提取的焊縫左右兩端邊緣點(diǎn)為P1(x1,y1,z1),P2(x2,y2,z2),則兩邊緣點(diǎn)的歐幾里得距離即為焊寬W,如式(8)所示:
(8)
(9)
再求該平面的單位法向量z=NZ/|NZ|=(i,j,k),此時(shí)單位法向量z與向量NW的數(shù)量積即為點(diǎn)T到平面Q0Q1Q2的垂直距離HT:
HT=Z·NW=(i,j,k)·
(x3-x0,y3-y0,z3-z0)
(10)
設(shè)提取了n個(gè)焊縫最高點(diǎn),各點(diǎn)與管道表面點(diǎn)構(gòu)成的向量為(xm,ym,zm),依次求其高度再取平均值作為該段焊縫的余高H,具體如式(11)所示:
(11)
針對(duì)管道全位置蓋面焊焊接,在使用智能焊接小車焊接時(shí),按空間位置不同將管道分為如圖10所示的8個(gè)區(qū)間,各區(qū)間的焊接工藝參數(shù)見表4。在試驗(yàn)時(shí)用記號(hào)筆標(biāo)記好管道各區(qū)間位置,通過三維重構(gòu)各區(qū)間焊縫,實(shí)現(xiàn)管道全位置焊縫寬度和余高的三維測(cè)量。
圖10 焊縫區(qū)間圖Fig.10 Weld area
表4 焊接工藝參數(shù)Table 4 Welding parameters
先對(duì)管道各區(qū)間焊縫進(jìn)行重構(gòu):通過管道兩側(cè)下方的三角滑軌使管道旋轉(zhuǎn)到標(biāo)記好的區(qū)間位置,以便雙目相機(jī)能掃描到指定區(qū)間焊縫,然后對(duì)該段焊縫進(jìn)行重構(gòu),獲得表面所有點(diǎn)云坐標(biāo),并按照4.1節(jié)方法提取特征點(diǎn)坐標(biāo),計(jì)算余高和焊寬。依次對(duì)每個(gè)區(qū)間進(jìn)行計(jì)算,各區(qū)間取5組數(shù)據(jù),結(jié)果如圖11所示。
圖11 5組焊縫尺寸Fig.11 Sizes of 5 groups of welding seams
對(duì)5組數(shù)據(jù)取平均值作為該區(qū)間余高和焊寬,結(jié)果如表5所示。
表5 焊縫尺寸 mm
為了便于觀察分析,對(duì)各區(qū)域所獲得的焊縫點(diǎn)云運(yùn)用貪婪算法[13]進(jìn)行三角曲面擬合,得到的三維模型如圖12所示。
圖12 全位置焊縫三維重建模型Fig.12 3D reconstruction model of all-position welding seams
從圖12和表5可得:在平焊區(qū)間①時(shí),焊縫處于水平位置,焊接時(shí)熔池流動(dòng)平緩,比較容易控制,因此焊波表面較平坦,分布較均勻,焊縫表面很平整,焊縫余高較小。
在平角焊區(qū)間②和⑧時(shí),由于②處于下坡焊位置,熔池兩側(cè)熔融金屬均沿坡中間向下流淌,在電弧壓力作用下,形成凹液面,故焊縫中間有點(diǎn)凹陷,焊縫余高也較小。在處于⑧上坡焊區(qū)間時(shí),由于上坡角度變化,熔池內(nèi)金屬會(huì)向下流入尾部,電弧能更一步深入到熔池底端,因此熔深增加,并且余高也相對(duì)于平焊縫增加。
在處于③向下立焊區(qū)間時(shí),因?yàn)橹亓ψ饔茫鄢乩锶刍饘偃菀紫绿剩赡芊蛛x導(dǎo)致焊縫不平整,表面焊波較粗,并且在焊接時(shí),焊接速度相對(duì)較快,故焊縫寬度相對(duì)較窄。在區(qū)間⑦對(duì)應(yīng)的向上立焊中,由于從下往上焊接,電流電壓都有所減小,焊接速度控制較慢,且因?yàn)槿鄢刂亓ο蛳露娀恳ο蛏?,熔池被拉長,所以焊波弧度變小,焊縫也較窄。
在④、⑤和⑥的仰焊區(qū)間時(shí),熔池處于管道下表面,沒有焊材金屬承托,熔化金屬容易脫落下墜,所以焊接時(shí)電流和電壓相對(duì)較小,焊接速度相對(duì)較慢,每次向熔池過渡的金屬不會(huì)太多。由于熔池形狀不易控制,焊波分布不均勻,焊道也因重力作用呈現(xiàn)出中間較凸、兩邊較低的形狀,導(dǎo)致焊縫表面凹凸不平,余高較大。
(1)采用平面模板法對(duì)雙目相機(jī)進(jìn)行標(biāo)定和校正,構(gòu)建與匹配點(diǎn)灰度值、灰度值梯度以及鄰域的平滑性有關(guān)的能量函數(shù),并使用多重網(wǎng)格迭代算法進(jìn)行匹配計(jì)算得到焊縫視差圖,由視差圖生成稠密點(diǎn)云,進(jìn)而得到焊縫三維重建結(jié)果。
(2)提取多組不同位置標(biāo)定板的圓心點(diǎn)坐標(biāo),計(jì)算相鄰兩點(diǎn)的圓心距離,并將其與標(biāo)準(zhǔn)值做比較,驗(yàn)證三維重構(gòu)精度誤差在0.2 mm以內(nèi)。
(3)定義了焊縫寬度和余高計(jì)算方法,將管道焊縫按焊接空間位置不同分為8個(gè)區(qū)域,進(jìn)行了全位置三維重構(gòu),提取各區(qū)間特征點(diǎn)坐標(biāo)進(jìn)行了三維測(cè)量焊縫余高和寬度,并結(jié)合各區(qū)間焊接工藝參數(shù)及三維模型進(jìn)行了分析。
(4)研究結(jié)果表明,所設(shè)計(jì)的方法能實(shí)現(xiàn)焊縫尺寸的在線測(cè)量,精度較高。全位置三維測(cè)量測(cè)得平焊縫余高較小,立焊縫寬度較窄,而仰焊縫焊道較凸,余高較大。