厲榮宣，史東東

(1.上海工業(yè)自動化儀表研究院有限公司，上海 200233；2.上海理工大學光電信息與計算機工程學院，上海 200093)

工件表面裂紋機器視覺檢測研究

厲榮宣1，史東東2

(1.上海工業(yè)自動化儀表研究院有限公司，上海 200233；2.上海理工大學光電信息與計算機工程學院，上海 200093)

工件表面裂紋檢測是工業(yè)表面質(zhì)量檢測的重要部分，而表面質(zhì)量的好壞又是影響工件整體質(zhì)量的重要因素，因此工件表面質(zhì)量檢測不可或缺。基于工件表面圖像特征，結(jié)合機器視覺硬件，基于美國NI公司研制的LabVIEW軟件平臺和NI Vision視覺工具包，研究了工件表面圖像模板匹配、去噪、二次分割、裂紋識別的算法，設計了工件表面裂紋檢測系統(tǒng)。采用基于灰度的模板匹配方法提取裂紋有效區(qū)，將潛在的裂紋區(qū)域與背景部分區(qū)分開；調(diào)用MATLAB script節(jié)點對裂紋圖像小波去噪，使裂紋部分變得清晰易辨；結(jié)合最大類間方差法和形態(tài)學處理提取裂紋的連通域圖像，成功將裂紋連通域從背景及干擾粒子中提取出來；最后通過計算連通域的圓形度和長寬比特征實現(xiàn)裂紋的存在判斷。多個樣本工件試驗結(jié)果表明，該類工件表面裂紋檢測系統(tǒng)的穩(wěn)定性、準確性均優(yōu)于傳統(tǒng)的人工檢測，很好地完成了裂紋檢測任務。

機器視覺；檢測；LabVIEW；圖像采集； 小波算法

0 引言

工件表面質(zhì)量的好壞和人身安全、生產(chǎn)安全有直接關(guān)系。被檢測的目標工件來自某企業(yè)生產(chǎn)的軸類汽車工件，尾部為規(guī)則的圓柱形，頭部為內(nèi)徑大小不均的圓環(huán)。以前通過人工目視檢測缺陷，易受到檢測員的技術(shù)水平、疲勞度、責任心等因素的影響,誤檢、漏檢率較高[1]。隨著光學、圖像技術(shù)的發(fā)展，機器視覺檢測成為表面質(zhì)量檢測的主流，在實際生產(chǎn)中逐漸得到廣泛應用[2-4]。

LabVIEW是美國NI公司利用虛擬儀器技術(shù)開發(fā)的面向計算機測控領(lǐng)域的通用軟件開發(fā)平臺[5]，IMAQ Vision是集成在LabVIEW下的圖像處理函數(shù)功能庫，提供了完整的圖像處理開發(fā)功能?；贚abVIEW的機器視覺檢測系統(tǒng)可以通過模塊方法快捷地測試、實現(xiàn)圖像算法，基于高效組合函數(shù)功能，從而形成不同的測量儀器組合[6]。

1 工件表面裂紋檢測系統(tǒng)構(gòu)建

通過對大量工件樣本的缺陷特征、位置研究和統(tǒng)計，缺陷類型全部為條形裂紋，集中在工件的尾部區(qū)域(統(tǒng)稱為裂紋有效區(qū))，也即圖像感興趣區(qū)(region of interest,ROI)區(qū)。系統(tǒng)將根據(jù)工件裂紋特征的計算和檢測結(jié)果實現(xiàn)裂紋的有無判斷，并將合格工件和不合格工件進行分類。因此，根據(jù)系統(tǒng)檢測要求搭建的工件表面裂紋檢測系統(tǒng)結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

該系統(tǒng)在硬件結(jié)構(gòu)上主要包括工件傳送平臺、分揀平臺、工業(yè)相機、鏡頭、LED光源、圖像采集卡、運動控制卡、工控機。圖像采集卡采用NI PCIe-8242，運動控制卡為PCI-7342，工業(yè)相機選用Basler ACA2500-14 μm，鏡頭選用Computar M0814-MP。其他硬件，如光源、伺服電機等均按相應技術(shù)要求安裝和連接。系統(tǒng)具體工作流程如下。

①工件傳送及置位。運動控制卡控制伺服電機A將工件傳送到目標位置后靜止。

②圖像采集及處理。工件置位后，觸發(fā)工業(yè)相機對工件表面圖像拍照，得到的圖像經(jīng)圖像采集卡傳送至工控機進行圖像處理，并保存裂紋特征數(shù)據(jù)。

③工件分揀。根據(jù)是否存在裂紋的判斷結(jié)果，運動控制卡控制分揀機構(gòu)的電機正反轉(zhuǎn)，將合格的工件傳送到落料區(qū)A，將含有裂紋的工件傳送到落料區(qū)B，并進入下個工件的檢測循環(huán)。

2 裂紋檢測軟件設計

在裂紋檢測系統(tǒng)中，軟件設計分圖像采集及歸一化、ROI提取、小波去噪、二值分割、特征計算及裂紋判斷五個模塊，綜合運用多種圖像處理技術(shù)將裂紋從采集到的工件表面圖像中準確分離出來。因此，系統(tǒng)的軟件設計是整個檢測系統(tǒng)的核心和關(guān)鍵。算法流程圖如圖2所示。

圖2 算法流程圖

2.1 圖像采集及歸一化

當工件到達預定位置，傳送帶停止轉(zhuǎn)動，由工業(yè)相機完成圖像采集。歸一化的目的是消除傳送帶背景的干擾，方便提取圖像的ROI區(qū)域。歸一化過程中，首先調(diào)節(jié)圖像的亮度:明亮度設為133,對比度設為67.10，伽馬值設為0.55，繼而對圖像灰度化處理。

2.2 圖像ROI提取

由于工件在傳送帶上的位姿、角度不同，而且工件頭部并不存在裂紋，因此需要ROI提取[7-9]，得到裂紋有效區(qū)，去除非裂紋區(qū)(包括背景區(qū)和工件頭部)，避免對采集的整幅圖像過處理，縮短系統(tǒng)響應時間，滿足更好的實時性要求。在NI Vision軟件包環(huán)境下，可以首先通過預定義模板對工件圖像匹配，根據(jù)匹配結(jié)果建立坐標系，在坐標系中設定有效區(qū)域，最終實現(xiàn)ROI提取。ROI提取過程如圖3所示。

LabVIEW下的模式匹配方法需采用圖像來解釋模板信息，然后利用信息在圖像中尋找模板。由于工件自身和背景區(qū)域的灰度值相差較大，采用基于灰度模板的匹配方法進行模板匹配。IVA Match Pattern Algorithm 3函數(shù)為模板匹配函數(shù)，預定義一個如圖3(a)所示的矩形灰度模板,作為該函數(shù)Image Template端子的輸入?yún)?shù)，分析其每個像素點灰度信息,通過相關(guān)函數(shù)計算灰度相關(guān)度,在待匹配的圖片上搜索與之相似的區(qū)域，從而完成模板匹配。匹配分值決定了匹配程度，分值越高，說明匹配程度越高，滿分為1 000。設置匹配分值大于800時匹配成功，即在采集的圖像中含有裂紋有效區(qū)。匹配過程中采用位移不變模式和旋轉(zhuǎn)不變模式在ROI區(qū)域中定位，從而對位置、位姿不同的工件也能成功匹配，匹配結(jié)果如圖3(b)所示。

模板匹配得到的結(jié)果即可作為建立坐標系的依據(jù)。由于匹配的結(jié)果為矩形，設定矩形的中心即為坐標系原點，矩形的長邊、短邊方向分別定義為坐標系的X軸方向和Y軸方向，使用IVA Coordinate System Manager 2函數(shù)完成坐標系創(chuàng)建，結(jié)果如圖3(c)所示。

ROI的提取直接依賴于坐標系的創(chuàng)建。在坐標系中，定義一個和工件尾部長寬一致的矩形區(qū)域，使該區(qū)域和矩形的尾部重合，并將該區(qū)域的坐標信息作為IVA Mask from ROI函數(shù)的輸入?yún)?shù)，最終得到圖像的ROI區(qū)域，也即裂紋有效區(qū)。提取結(jié)果如圖3(d)所示。

圖3 ROI提取過程示意圖

2.3 小波去噪

由于小波變換具有良好的時頻局部化特性，對提取的ROI區(qū)域使用基于小波閾值的方法去噪。思路為：LabVIEW調(diào)用MATLAB script節(jié)點，使用MATLAB小波算法函數(shù)實現(xiàn)圖像的去噪和重構(gòu)。具體過程：LabVIEW中使用IMAQ ImageToArray函數(shù)將LabVIEW環(huán)境下的圖像數(shù)據(jù)轉(zhuǎn)化為8位無符號2維數(shù)組IM1，利用MATLAB script節(jié)點開展2維數(shù)組的小波分解及重構(gòu)[8]，然后對重構(gòu)后的8位無符號2維數(shù)組IM2，使用IMAQ ArrayToImage函數(shù)重新轉(zhuǎn)化為LabVIEW圖像數(shù)據(jù)。

MATLAB script節(jié)點中，使用sym4小波函數(shù)對IM1兩層分解，設置尺度向量n為(1,2)，閾值向量p為(10,23)，對高頻小波系數(shù)進行兩次閾值處理，最后繼續(xù)使用sym4小波函數(shù)對處理過的小波系數(shù)重構(gòu)實現(xiàn)去噪。

2.4 圖像分割

在對ROI圖像首次分割時，應用最大類間方差法進行操作[9]?；舅枷胧怯媚骋换叶戎祵D像直方圖分割成兩組，取兩組間方差最大時對應的灰度值作為圖像二值化處理的閾值。

(1)

(2)

整個圖像的平均灰度值為u：

(3)

定義類間方差為：

(4)

(5)

根據(jù)最大類間方差法的準則，以大小為1的步長依次從0到(L-1)改變k的值。當使類間方差σ2達到最大時，k對應的值即為圖像分割的最佳閾值。但當目標和背景兩類區(qū)域像素數(shù)目相差較大時，該算法閾值的選取將偏向像素數(shù)目較多的那一類。圖像分割示意如圖4所示。

圖4 圖像分割示意圖

LabVIEW環(huán)境下，使用IMAQ Local Threshold函數(shù)獲取閾值并實現(xiàn)最大類間方差法分割，結(jié)果如圖4(a)所示。

首次分割后的圖像中含有大量背景粒子干擾，數(shù)學形態(tài)學操作可以消除大部分干擾。IMAQ Remove Particle函數(shù)可以實現(xiàn)該操作。該函數(shù)作用下，圖像中每一個粒子經(jīng)過腐蝕算子的1次迭代，結(jié)構(gòu)元素設置為square方形，取像素鄰域連通類型為8連通，從而移除圖像中的大部分干擾粒子，結(jié)果如圖4(b)所示。

從圖4(b)中可以看到，移除干擾粒子的操作并不徹底。由于裂紋區(qū)域總是一片像素區(qū)域較大的連通域，因此可以通過計算粒子的面積、周長特性找到最大的連通域。IMAQ Particle Analysis VI函數(shù)可以實現(xiàn)粒子的分析計算，設置像素鄰域連通類型為8連通，計算各連通域的Perimeter(周長)、Area(面積)。根據(jù)計算結(jié)果表明，IMAQ Particle Filter 3函數(shù)實現(xiàn)粒子濾波，設置像素鄰域連通類型為4連通，Keep/Remove選項中選擇Remove，從而保留具有最大周長和面積的連通域，將其他多余粒子濾除，粒子濾波結(jié)果如圖4(c)所示。

2.5 特征計算及判斷

從圖4(c)中可以看到，經(jīng)過二值化分割后的圖像只含有一個連通域，通過計算該連通域的圓形度和長寬比特征判斷該連通域是否具有裂紋特性。

圓形度R計算公式如下：

(6)

式中:S為連通域面積;C為連通域周長。當區(qū)域為圓形時，R最大為1。

長寬比D的計算公式如下：

(7)

式中：L為連通域的長度。

在對連通域是否為裂紋的判別中，規(guī)定當圓形度小于0.3，并且長寬比大于3同時滿足的情形下，判定原圖中存在裂紋，從而完成裂紋的檢測。經(jīng)計算，圖4(c)的圓形度為0.12，長寬比為3.46，均符合裂紋的判定條件，因此原圖的檢測結(jié)果為存在裂紋。

3 試驗過程

從工業(yè)相機采集的現(xiàn)場工件表面裂紋圖像中隨機選取12幅進行試驗分析。經(jīng)過亮度調(diào)節(jié)的工件圖像消除了工件背景光照不均的干擾，灰度化則在保留工件圖原始有用信息的基礎上縮減了圖像處理的工作量，為減少后續(xù)圖像處理算法的時間提供了條件。經(jīng)過ROI提取后，包含裂紋區(qū)域的工件區(qū)完全被提取出來，從而排除了工件頭部以及圖像背景的干擾，減少了后期參與圖像處理的像素數(shù)目。

經(jīng)過小波去噪和圖像二值化運算得到的二值化圖像如圖5所示。連通域特征計算值如表1所示。

圖5 二值化圖像

比較項工件圖abcdefghijkl長寬比9.807.708.306.905.807.408.806.606.205.609.508.60圓形度0.180.230.170.240.160.180.260.150.170.160.160.16

從上表的長寬比、圓形度計算結(jié)果表分析，改組工件均滿足裂紋要求，因此可以判定這12個工件中均存在裂紋特征。

為驗證算法和系統(tǒng)對工件裂紋的檢測準確度和適用性，在現(xiàn)場對另外200個工件進行試驗，其中具有裂紋缺陷的工件36個，合格工件164個，裂紋測試結(jié)果為35個工件能夠檢測到裂紋存在，檢測準確率為97.2%。對于合格的工件沒有誤檢，說明該系統(tǒng)對裂紋的檢測比較準確可靠。

4 結(jié)束語

本文以NI公司的圖形化編程軟件LabVIEW為平臺，以數(shù)字圖像處理技術(shù)為基礎，開發(fā)了工件表面缺陷的機器視覺檢測系統(tǒng)。該系統(tǒng)可以實時判斷工件體是否有裂紋缺陷存在，并根據(jù)檢測結(jié)果對工件分類。試驗結(jié)果表明，該系統(tǒng)運行精確可靠，對提高產(chǎn)品質(zhì)量檢測效率有較大幫助。

[1] 彭飛,朱曉軍,朱志潔.熒光磁粉探傷自動檢測及圖像處理系統(tǒng)研究[J].航海工程,2009,38(3):141-145.

[2] KESER T,HOCENSKI Z,HOCENSKI V.Intelligent machine vision system for automated quality control in ceramic tiles industry[J].Strojarstvo,2010,52(2):105-114．

[3] KUMAR A.Computer-vision-based fabric defect detection:a survey [J].IEEE Transactions on Industrial Electronics,2008,55(1):348-363.

[4] TURAGE P,CHELLAPPA R,SUBRAHMANIAN V S,et al.Machine recognition of human activities: A Survey[J].IEEE Transactions on Circuits and Systems for Video Technology,2008,18(11):1473-1488.

[5] 陳永清.基于機器視覺的磁環(huán)雙端面缺陷檢測系統(tǒng)研究[D].杭州:浙江工業(yè)大學,2007.

[6] 周渭,渡邊健藏.近年來國外儀器與測量技術(shù)發(fā)展趨勢[J].儀器儀表學報,2005,26(7):764-770.

[7] 楊如林,丑修建,李慶,等.車輛輔助駕駛中基于概率模板的紅外行人檢測[J].科學技術(shù)與工程,2014,14(10):65-70.

[8] 曲麗榮,胡榮,范壽康.LabVIEW、MATLAB機器混合編程技術(shù)[M].北京:機械工業(yè)出版社,2011:69.

[9] OTSU N.A threshold selection method from gray-level histogram[J].IEEE Transaction,1979:62-69.

ResearchontheWorkpieceSurfaceCrackDetectionBasedonMachineVision

LI Rongxuan1,SHI Dongdong2

(1.Shanghai Institute of Process Automation Instrumentation Co., Ltd.,Shanghai 200233,China;2.School of Opto Electronic Information and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)

Workpiece surface crack detection of is an important part of industrial surface quality detection,while surface quality is an important factor affecting the overall workpiece quality,so the detection of workpiece surface quality is indispensable.Based on the feature of surface crack image and combining with the machine vision hardware,the research on workpiece surface image template matching,denoising,binarized segmentation and crack identification is carried out on the basis of LabVIEW software and NI Vision visual toolkits developed by National Instruments of America,and the workpiece surface crack detection system is designed.The effective area of crack is extracted by adopting the template matching method based on grayscale,and the potential cracked region is distinguished from the background.The wavelet denoising of the crack image is done by applying MATLAB script,to make the crack part clearly and easily to be found. Then the connected domain of crack is extracted by combining the methods of maximum interclass variance method and morphological processing method,to successfully distinguish connected domain of crack from background and interfering particle.Finally,the features of circular degree and length-width ratio of connected domain is calculated to judge the existence of the crack.The results of a series of tests indicate that this kind of workpiece surface crack detection system is better than traditional manual detection on stability and precision,for well accomplishing the crack detection tasks.

Machine vision; Detection; LabVIEW; Image acquisition; Wavelet algorithm

TH878；TP391

： A

10.16086/j.cnki.issn1000-0380.201709020

修改稿收到日期:2017-02-10

厲榮宣(1987—)，男，碩士，助理工程師，主要研究方向為自動控制和系統(tǒng)集成。E-mail：lirxuan@163.com。