陳英紅 杜明坤

?

基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個參數(shù)檢測方法*

陳英紅1杜明坤2

（1.廣東省特種設(shè)備檢測研究院珠海檢測院 2.珠海市安粵科技有限公司）

為保證焊接件安全工作，針對焊縫外觀形貌檢測提出一種基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個參數(shù)檢測方法。首先利用Mask-RCNN卷積神經(jīng)網(wǎng)絡(luò)從焊縫激光線圖像中提取激光線邊界信息；其次采用Hessian矩陣提取激光中心線；然后使用多項式擬合中心線，根據(jù)多項式極值點對焊縫曲線進行分區(qū)，分別在擬合曲線與激光中心線上提取焊縫5個參數(shù)計算特征點，計算相應(yīng)特征點間距，完成焊縫余高、寬度、咬邊、錯邊量和棱角度5個參數(shù)檢測；最后設(shè)計實驗樣機對半徑為281.35 mm管道縱焊縫進行檢測實驗。實驗結(jié)果表明：該方法可一次性快速、準確檢測焊縫5個參數(shù)，具有較小的測量不確定度。

焊縫檢測；機器視覺；深度學習

0 引言

GB150-2011壓力容器中規(guī)定焊縫5個參數(shù)為焊縫余高、寬度、咬邊、錯邊量和棱角度，其數(shù)值大小檢測是焊后檢測的一項關(guān)鍵內(nèi)容[1-2]。目前焊后檢測通過人工使用放大鏡、焊縫檢驗尺和棱角度尺等工具完成，存在精度低、檢測周期長、無法連續(xù)檢測的缺陷，難以滿足大批量工業(yè)生產(chǎn)快速檢測的需要。焊縫外觀形貌是焊縫5個參數(shù)檢測的外在表現(xiàn)，因此如何準確復(fù)現(xiàn)檢測區(qū)域內(nèi)焊縫外觀形貌是高精度、快速焊后檢測的研究熱點。焊后檢測主要包括基于射線成像檢測方法和基于結(jié)構(gòu)激光的視覺檢測方法[3-4]。英國華威大學（2013）對X射線圖像中分割算法進行研究，提出基于模糊邏輯和神經(jīng)網(wǎng)絡(luò)系統(tǒng)的焊縫缺陷識別圖像處理算法，使用模糊邏輯系統(tǒng)優(yōu)化神經(jīng)網(wǎng)絡(luò)輸出準確性[5]；Goumeidane A B等人（2015）提出一種基于統(tǒng)計學模型方法來處理X射線焊縫圖像，利用圖像的局部與全局特征進行推理，從而完成圖像濾波和焊縫射線中內(nèi)部缺陷檢測[6]；文獻[7]分析焊縫缺陷局部圖像自相關(guān)矩陣特征值，將主成分析引入焊縫缺陷類型分類。視覺焊縫檢測主要采用激光三角數(shù)學模型[8]。肯特大學（2014）提出一種基于滑動矢量方法的焊接接頭建模和尺寸測量方法[9]；土耳其Muhammad J等人（2016）提出順序圖像處理和特征提取算法，采用窄帶濾波器從低質(zhì)量激光圖像中提取有效的焊縫幾何特性[10]；哈爾濱工程大學（2017）用質(zhì)心法提取結(jié)構(gòu)光中心線，用區(qū)域面積法提取結(jié)構(gòu)光中心線上的特征點[11]；文獻[12]采用基于斜率分析方法的最小二乘法檢測焊縫圖像特征，得到焊縫外觀缺陷特征信息。上述焊縫檢測方法側(cè)重于焊縫內(nèi)部缺陷、部分參數(shù)檢測，還未見焊縫外貌形態(tài)全部參數(shù)（焊縫寬度、余高、錯邊量、咬邊和棱角度）檢測方法研究。

本文使用激光三角檢測模型，在處理焊縫激光線圖像時，利用Mask-RCNN網(wǎng)絡(luò)實現(xiàn)激光線特征區(qū)域提取；應(yīng)用Hessian矩陣提取激光條紋中心線，檢測出焊縫余高、寬度、咬邊、錯邊量和棱角度，從而實現(xiàn)焊縫三維形態(tài)5個參數(shù)全部檢測。

1　基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個參數(shù)檢測機理

基于本文縱焊縫5個參數(shù)檢測方法設(shè)計的焊縫檢測實驗樣機內(nèi)部結(jié)構(gòu)如圖1所示。工業(yè)相機與結(jié)構(gòu)激光器固定于實驗樣機上；相機鏡頭軸線與待檢測平面垂直；結(jié)構(gòu)激光器出射一字線激光與待檢測平面夾角為；待檢測位置處焊縫外貌5個參數(shù)由一字激光線反映。

圖1 焊縫檢測實驗樣機內(nèi)部結(jié)構(gòu)

基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個參數(shù)檢測流程如圖2所示。

圖2 縱焊縫5個參數(shù)檢測流程

本文提出的檢測方法，僅從單張焊縫激光線圖像，完成焊縫余高、寬度、咬邊量、錯邊量和棱角度參數(shù)檢測，其中Mask-RCNN完成激光線邊界信息提??；參考GB150-2011焊縫參數(shù)檢測定義，以提取激光中心線的焊縫特征點作為焊縫5個參數(shù)計算基準。

1）工業(yè)相機開啟，拍攝自然光環(huán)境下激光線焊縫圖像；圖像作為訓(xùn)練后Mask-RCNN網(wǎng)絡(luò)輸入，網(wǎng)絡(luò)輸出激光線邊界Mask信息。

2）只包含激光線邊界Mask信息的圖像高斯平滑濾波后，利用Hessian矩陣提取結(jié)構(gòu)光條紋中心點。

3）以圖像坐標系為坐標基準，取激光中心線在坐標系中的極值點為焊縫余高、焊趾兩側(cè)寬度特征點；計算余高特征點與焊趾兩側(cè)寬度特征點間距，得到焊縫余高數(shù)值h；計算焊趾兩側(cè)寬度特征點間距，得到焊縫寬度數(shù)值d。

4）采用高階多項式擬合激光中心線，取擬合曲線在寬度特征點附近極值點為焊縫咬邊特征點；取擬合曲線在焊縫熱影響區(qū)極值點為焊縫錯邊量、棱角度特征點；計算咬邊特征點與寬度特征點間距，得到焊縫咬邊數(shù)值u；計算錯邊量、棱角度特征點與以圓筒半徑擬合標準圓弧間距，得到焊縫錯邊量數(shù)值s與棱角度數(shù)值e。

2　基于Mask-RCNN與結(jié)構(gòu)的焊縫5個參數(shù)檢測方法

2.1　基于Mask-RCNN的激光線邊界信息提取方法

Mask-RCNN在Faster-RCNN基礎(chǔ)上擴展了分類與回歸任務(wù)，是最高水平實例分割算法[13]。Mask-RCNN網(wǎng)絡(luò)有兩層分支結(jié)構(gòu)：第一層分支為原始Faster-RCNN的結(jié)構(gòu)，用于對候選窗口進行分類和窗口坐標回歸；第二層分支利用全卷積網(wǎng)絡(luò)結(jié)構(gòu)對每一個感興趣區(qū)域（region of interest，RoI）預(yù)測二值分割掩模。使用工業(yè)相機拍攝130張做好激光線區(qū)域標簽的激光線焊縫圖像（分辨率2592×1944），分為訓(xùn)練圖像集100張、驗證圖像集5張和測試圖像25張。在內(nèi)存為32 G，GPU為1080 Ti（顯存11 G）主機上對Mask-RCNN模型進行訓(xùn)練，在500次訓(xùn)練后損失函數(shù)收斂，停留在1.343左右。訓(xùn)練后Mask-RCNN模型識別效果圖如圖3所示。

圖3 訓(xùn)練后Mask-RCNN模型識別效果圖

2.2　基于Hessian矩陣中心線提取算法

目前激光條紋中心線提取算法主要有灰度重心法、基于Hessian矩陣中心提取法和形態(tài)學骨骼化提取方法[14]。其中灰度重心法與形態(tài)學骨骼化提取方法提取中心線中噪聲過多，不利于后續(xù)多項式擬合中心線的準確性以及焊縫余高、寬度特征點選取的正確性，因此本文采用基于Hessian矩陣中心提取法完成焊縫激光線中心點提取工作。

Mask-RCNN網(wǎng)絡(luò)輸出Mask圖像是激光線區(qū)域值為Ture，其他區(qū)域值為False的二值矩陣。首先將Mask-RCNN網(wǎng)絡(luò)輸出Mask區(qū)域與原始焊縫激光線圖像按式(1)進行圖像處理：

其中，為焊縫激光線RGB圖像三通道矩陣；為Mask-RCNN網(wǎng)絡(luò)輸出矩陣；(,)為圖像坐標系下像素點坐標。

焊縫激光線RGB圖像只保留激光線區(qū)域RGB信息，其他區(qū)域RGB信息全置為0；經(jīng)Mask信息調(diào)制后焊縫激光線RGB圖像通過大津法轉(zhuǎn)為灰度圖像，對灰度圖像進行高斯平滑濾波處理：

其中，為濾波后圖像；(,)為濾波核函數(shù)；取值為激光線寬像素點數(shù)。

計算濾波圖像中每個像素點Hessian矩陣為

計算濾波圖像單個像素點Hessian矩陣激光線灰度值分布單位向量(n,n)，取圖像焊縫區(qū)域中任意一點(1,1)，則以點(1,1)為基準的灰度分布為

中心點位置即灰度分布極值點，令式(2)對變量的一階導(dǎo)為0，可求得

因此，中心點位置可確定為(x1+tnx, y1+tny)?；贖essian矩陣中心線提取效果如圖4所示。

2.3　基于曲線擬合的焊縫5個參數(shù)特征點選取方法

圖4提取的焊縫激光中心線可看作由焊縫兩側(cè)橢圓曲線加中間焊趾突出曲線組成，因此直接使用極值法提取焊縫參數(shù)特征點方法不再適用。本文提出基于區(qū)域劃分的焊縫5個參數(shù)特征點選取方法。首先將焊縫激光線參照焊接工作區(qū)進行分區(qū)；然后在不同的區(qū)域內(nèi)使用極值法提取激光中心線或擬合多項式曲線；最后完成焊縫5個參數(shù)特征點提取。

根據(jù)本文焊縫區(qū)域劃分方法，將焊縫激光中心線中焊縫區(qū)、熱影響區(qū)劃分為焊接區(qū)域，其余曲線區(qū)域劃分為非焊接區(qū)域，如圖5所示。在焊縫激光中心線焊接區(qū)域內(nèi)，提取焊縫余高、焊趾兩側(cè)寬度特征點；在焊縫激光中心線非焊接區(qū)域，提取焊縫咬邊、錯邊量和棱角度特征點。

圖5 焊縫分區(qū)示意圖

多項式曲線擬合結(jié)果如圖6所示。從擬合結(jié)果可以看出，擬合曲線實數(shù)內(nèi)5個極值點對應(yīng)焊縫激光中心線焊趾兩側(cè)焊接區(qū)與非焊接區(qū)交界點、焊縫余高特征點、焊縫焊趾兩側(cè)寬度特征點。依照GB150-2011中焊縫寬度、余高標準，結(jié)合焊縫激光中心線與擬合曲線極值信息，采用如下步驟提取焊縫余高與焊縫焊趾兩側(cè)寬度特征點，并計算焊縫寬度、余高參數(shù)：

圖6 焊縫5個參數(shù)特征點多項式曲線擬合結(jié)果

1）在擬合曲線上的焊縫點之間計算焊縫激光線坐標極值點（圖6中為極大值），作為焊縫余高特征點h；

2）在擬合曲線極值點與焊縫余高特征點h之間計算焊縫激光線坐標極值點（圖6中為極小值），作為焊縫寬度特征點d1，d2；

3）得到焊縫余高h與寬度d計算數(shù)值：

其中，為相機標定比例系數(shù)；為激光線與被檢測面夾角。

參考GB150-2011與《壓力容器檢驗》中焊縫錯邊量、棱角度檢測方法[15]，本文提出焊縫圖像錯邊量與棱角度檢測示意圖如圖7所示。截取激光中心線長度為橢圓弦長，根據(jù)待檢測圓筒件半徑參數(shù)擬合標準圓，分別計算擬合曲線極值點，即焊縫錯邊量、棱角度特征點se1，se2離標準圓弧距離1，2，完成焊縫錯邊量s、棱角度e參數(shù)計算：

其中，Rw為待檢測圓筒件半徑參數(shù)；，為焊縫錯邊量、棱角度特征點在圖像坐標系中坐標。

參考GB150-2011，焊縫焊趾兩側(cè)咬邊參數(shù)在圖像中反映為焊縫咬邊特征點u與焊縫寬度特征點d在圖像坐標系中軸線距離，因此焊縫焊趾兩側(cè)咬邊參數(shù)u1，u2表示為

其中u，d為焊縫咬邊、余高特征點在圖像坐標系中縱坐標。

3　實驗研究

采用彩色工業(yè)相機（分辨率2592×1944、感光元件1/2.5′′、像素2.2 μm）以及焦距為185 mm、波長為660 nm，線寬為1 mm的紅色一字線激光器，構(gòu)造基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個參數(shù)檢測樣機。

圓筒縱焊縫樣品與檢測軟件界面如圖8所示，圖8(a)為半經(jīng)w=281.35 mm的輸油管道圓筒焊接件；圖8(b)為使用基于PyQt5開發(fā)，結(jié)合Matlab與深度學習算法的焊縫5個參數(shù)檢測儀軟件界面。使用張氏標定法標定工業(yè)相機。由于測量模型中工業(yè)相機的主要成像平面為焊縫表面，可預(yù)先在焊縫檢測位置處放置張氏標定板，利用計算標定圖像指定尺寸下相機拍攝圖像中像素個數(shù)的方法完成相機標定工作。經(jīng)過若干次標定實驗，取標定結(jié)果的平均值作為標定結(jié)果，圖像中單位像素間距在實際中的尺寸為0.025 mm，因此確定= 0.025。

參照上面提出的焊縫5個參數(shù)檢測方法，應(yīng)用Python與Matlab聯(lián)合編程完成焊縫5個參數(shù)檢測程序設(shè)計。其中Python負責Mask-RCNN算法編程任務(wù)；Matlab負責中心線、特征點提取與焊縫5個參數(shù)計算任務(wù)。在不同被檢焊縫位置，分別采集20次實驗數(shù)據(jù)，表1為某一位置處，焊縫5個參數(shù)部分檢測結(jié)果。本文分別在10處不同位置處，每個位置采集20次焊縫檢測儀檢測結(jié)果。對10組實驗結(jié)果進行分析，其中焊縫寬度、其余參數(shù)測量不確定度分別為0.018 mm，0.001 mm。

圖8 圓筒縱焊縫樣品與檢測

表1　焊縫三維外觀參數(shù)檢測部分結(jié)果表 （單位：mm）

4　結(jié)語

1）提出基于Mask-RCNN與結(jié)構(gòu)激光的縱焊縫5個參數(shù)檢測方法。首先應(yīng)用Mask-RCNN卷積神經(jīng)網(wǎng)絡(luò)從激光焊縫圖像中提取激光線邊界信息；其次基于結(jié)構(gòu)激光單色性好特點，采用顏色閾值分割、形態(tài)學處理相結(jié)合方法提取激光中心線；再從激光中心線沿焊縫方向的極大、極小值點計算焊縫余高、咬邊深度；最后提取激光中心線處于焊縫熱影響區(qū)部分，通過擬合標準圓弧，檢測焊縫錯邊量與棱角度。

2）采用工業(yè)相機與520 nm線激光器搭建縱焊縫檢測實驗樣機。檢測半徑為281.35 mm的輸油管道縱焊縫，能準確測量焊縫寬度、余高、咬邊、錯邊量和棱角度5個參數(shù)，且測量不確定度較低，其中焊縫寬度與其他參數(shù)測量不確定度分別為0.018 mm，0.001 mm。

3）應(yīng)用人工智能、深度學習與機器視覺技術(shù)，建立焊縫寬度、余高、咬邊、錯邊量和棱角度5個參數(shù)測量模型，實現(xiàn)在各種光照條件下的焊縫定位、參數(shù)檢測，有效地提升該方法適用性。

下一步將研究該方法的誤差補償技術(shù)、動態(tài)測量技術(shù)，并嘗試應(yīng)用人工智能實現(xiàn)環(huán)焊縫、內(nèi)部焊縫的三維形態(tài)參數(shù)檢測，實現(xiàn)一站式全類型焊縫檢測。

[1] 中華人民共和國國家質(zhì)量監(jiān)督檢驗檢疫總局, 中國國家標準化管理委員會.壓力容器:GB 150.1~150.4—2011[S].北京:中國標準出版社, 2012:14.

[2] 王冬林,劉晶,葉勇,等.鋼制壓力容器質(zhì)量控制研究[J].新技術(shù)新工藝,2015(10):110-112.

[3] 周鵬飛,王飛,肖輝,等.DR圖像中氣孔缺陷的自動檢測與識別[J].無損檢測,2017,39(10):37-41.

[4] Chu H H , Wang Z Y . A vision-based system for post-welding quality measurement and defect detection[J]. The International Journal of Advanced Manufacturing Technology, 2016, 86(9-12):3007-3014.

[5] Baniukiewicz P. Automated defect recognition and identification in digital radiography[J]. Journal of Nondestructive Evaluation, 2013, 33(3):1-8.

[6] Goumeidane A B , Nacereddine N , Khamadja M . Computer aided weld defect delineation using statistical parametric active contours in radiographic inspection[J]. Journal of X-Ray Science and Technology, 2015, 23(3):289-310.

[7] 高煒欣,胡玉衡,武曉朦,等.埋弧焊X射線焊縫缺陷圖像分類算法研究[J].儀器儀表學報,2016,37(3):518-524.

[8] Jahedsaravani A , Massinaei M , Marhaban M H . Development of a machine vision system for real-time monitoring and control of batch flotation process[J]. International Journal of Mineral Processing, 2017:S0301751617301564.

[9] Nguyen H C , Lee B R . Laser-vision-based quality inspection system for small-bead laser welding[J]. International Journal of Precision Engineering & Manufacturing, 2014, 15(3):415-423.

[10] Muhammad J , Altun H , Abo-Serie E . A robust butt welding seam finding technique for intelligent robotic welding system using active laser vision[J]. International Journal of Advanced Manufacturing Technology, 2016(7–8):1-17.

[11] 褚慧慧,王宗義.基于主動視覺的焊縫成形尺寸測量和缺陷識別研究[J].熱加工工藝,2017(21):206-209.

[12] Lu Xueqin, Gu Dongxia, Wang Yudong, et al. Feature extraction of welding seam image based on laser vision[J]. IEEE Sensors Journal, 2018, 18(11):4715-4724.

[13] He K, Gkioxari G, Dollar P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018:2980-2988.

[14] Chen P , Zhang Z , Dai M , et al. Sub-pixel extraction of laser stripe and its application in laser plane calibration[J]. 東南大學學報(英文版),2015,31(1):107-112.

[15] 王紀兵．壓力容器檢驗檢測[M].2版.北京:化學工業(yè)出版社, 2016:90-91．

A Mask-RCNN & Structured Light Based on Five Shape Parameters Detection Method for Longitudinal Welds

Chen Yinghong1Du Mingkun2

(1. Guangdong Special Equipment Testing and Research Institute Zhuhai Testing Institute 2. Zhuhai An Yue Technology Co., Ltd.)

The inspection of weld appearance and appearance is an important guarantee for the safe work of welded parts. This paper proposes a parameter detection method based on Mask-RCNN and structural laser longitudinal weld. The method first uses the Mask-RCNN convolutional neural network to extract the laser line boundary information from the weld laser line image. Secondly, the Hessian matrix is used to extract the laser center line. Finally, the polynomial is used to fit the center line, and the polynomial extreme point is used to weld the curve. Partitioning is performed to extract the weld 5 parameters from the fitting curve and the laser center line to calculate the feature points, calculate the corresponding feature point spacing, and complete the parameters of the weld residual height, width, undercut and edge angle. The experimental prototype was designed to test the longitudinal weld of the radius of 281.35 mm pipe. The surface of the test results quickly and accurately detect the weld seam 5 parameters, which has low measurement uncertainty.

Weld Inspection; Machine Vision; Deep Learning

陳英紅，女，1974年生，高級工程師，主要研究方向：特種設(shè)備檢驗檢測研發(fā)。E-mail:924192172@qq.com

國家質(zhì)量監(jiān)督檢驗檢疫總局科技計劃項目(2017QK105)