宋軍強

(無錫科技職業(yè)學(xué)院 物聯(lián)網(wǎng)技術(shù)學(xué)院，江蘇 無錫　214028)

?

OpenCV耦合機器視覺的背光板表面異物檢測算法研究

宋軍強

(無錫科技職業(yè)學(xué)院 物聯(lián)網(wǎng)技術(shù)學(xué)院，江蘇 無錫214028)

在平板電腦組裝過程中，重要零部件背光板表面往往沾有微型異物，如灰塵，這些異物不易依靠人眼檢測，且對最終產(chǎn)品質(zhì)量有很大影響。對此，文章提出了一個基于OpenCV與機器視覺的背光板表面異物檢測算法。首先，對待檢測零部件圖像進行最大類間閾值分割處理與形態(tài)學(xué)處理，得到包含背光板待檢部分的區(qū)域；隨后利用OpenCV輪廓查找函數(shù)cvStartFindContours，定位背光板待檢部分的最大外接矩形區(qū)域，并聯(lián)合OpenCV的cvFloodFill函數(shù)對背光板輪廓數(shù)組內(nèi)進行置白，生成掩碼模板，進行圖像按位相與運算處理，從而提取出不規(guī)則的待檢測區(qū)域。再將提取出的ROI復(fù)制一份給RGB圖像，且對ROI圖像進行開運算處理，對兩幅圖像進行線性相減，使異物處明顯化。最后，基于圖像卷積處理，進一步突出異物，完成異物檢測。實驗測試結(jié)果表明：與當(dāng)前圖像異物檢測算法相比，文章機制具有更好的檢測定位效果，準確識別出背光板異物。

異物檢測；背光板；機器視覺；OpenCV；圖像卷積；掩碼模板

0　引言

隨著智能工廠概念的深入和實施，現(xiàn)代制造業(yè)正在向無人化、機器化、自動化、智能化方向不斷地深化改革。尤其在無人化和機器化方面，工廠開始越來越多的采用機器代替作業(yè)員，實現(xiàn)產(chǎn)業(yè)自動化生產(chǎn)，這樣不僅可以提高生產(chǎn)效率和產(chǎn)品質(zhì)量，還可以節(jié)約人力成本，將寶貴的人力成本流向更需要的行業(yè)[1-4]。本文研究的主要問題是平板電腦生產(chǎn)組裝過程中，背光板(BLU)表面異物檢測，用機器自動檢測代替用人眼檢測。背光板是平板電腦的重要零部件，在進入正式組裝工位前，需經(jīng)過一段傳送帶，往往不可避免的會沾有異物，按照以往的工作方法是安排若干位熟練作業(yè)員，用人眼進行檢查，是否存在異物。而異物多為空氣中的灰塵、粉塵、絲線等，非常微小，如果依靠人眼，會產(chǎn)生一定量的漏檢和誤判，如果采用高倍工業(yè)相機取像，傳送至帶智能圖像分析的PC機處理和檢測，可以顯著提高檢測精度和效率[5-7]。

實際上，近幾年來機器視覺檢測技術(shù)已經(jīng)在該領(lǐng)域內(nèi)得到廣泛應(yīng)用，并且已在很大程度上推動了制造業(yè)發(fā)展[8-10]，尤其是在產(chǎn)品外觀缺陷檢測上面。目前，已有部分學(xué)者設(shè)計了相應(yīng)的缺陷檢測算法，并且達到了一定的效果。如江偉榮等人[11]利用梯度均方差進行特征分析后，提取角點的缺陷檢測算法，實驗結(jié)果表明去算法具有較好的檢測精度。還有利用局部圖像區(qū)域直方圖特性定位角點的缺陷檢測算法[12]。這些算法的實驗結(jié)果表明其具有良好的缺陷檢測效果[8]。

盡管上述這些缺陷檢測機制能夠取得較好的效果；但是當(dāng)目標非常微小時，這些算法的檢測精度較低，存在明顯的檢測偏差。

對此，本文提出了一個基于OpenCV與缺陷檢測的背光板表面異物識別機制。并通過實驗，驗證了本文算法與傳統(tǒng)檢測算法的性能。

1　本文整體檢測與識別機制

在平板電腦組裝生產(chǎn)線中，傳送帶上的背光板表面如果沾有灰塵、顆粒等其他微型異物，將影響最終產(chǎn)品的質(zhì)量。因此，對產(chǎn)線中的背光板表面異物進行視覺檢測，是十分必要的。由于灰塵、顆粒的面積非常小，一般只有10μm2，而人眼具有一定的生理局限和主觀性，在這樣的背景下，如果依賴人眼進行檢測，往往會發(fā)生誤判和漏判，整個檢測系統(tǒng)的效率也會大受影響。在這樣的項目需求背景下，將基于圖像智能處理的機器視覺檢測應(yīng)用在背光板表面異物檢測上的思想應(yīng)運而生。

背光板是平板電腦的重要零部件，如下圖1所示，灰白色區(qū)域為待視覺檢測區(qū)域，黑色邊框以為不需檢測，需要用軟件的方法剪除。表面異物非常微小，將表面異物進行較大倍數(shù)的放大后，如圖2所示，異物成顆粒狀，顏色偏亮偏白，與周邊背景有一定的對比度。

對此，為了能夠精確檢測出這種缺陷，本文提出了背光板表面異物檢測算法，如圖3所示。并基于C++和OpenCV來實現(xiàn)本文算法。首先，對待檢測圖像進行最大類間閾值分割處理與形態(tài)學(xué)處理，得到包含背光板待檢部分的區(qū)域。然后，基于OpenCV輪廓查找函數(shù)cvStartFindContours定位背光板待檢部分的最大外接矩形區(qū)域，基于OpenCV的cvFloodFill函數(shù)對背光板輪廓數(shù)組內(nèi)進行置白，生成掩碼模板，進行圖像相與處理，從而提取出不規(guī)則的待檢測區(qū)域。最后，將提取出的ROI復(fù)制一份RGB圖像，然后再對ROI圖像進行開運算處理，兩幅圖像進行線性相減，使異物處明顯化。再基于圖像卷積處理，進一步突出異物，并在原圖中用紅色圓圈標注，以展示檢測效果。

圖1　反光板

圖2　放大后的異物

圖3　本文機制架構(gòu)

2　背光板表面異物ROI提取

2.1背光板ROI粗定位

首先，對待檢測圖像(如圖1所示)進行灰度化：

(1)

再進行最大類間閾值分割處理，得到包含背光板待檢部分的區(qū)域[13]：

σ(t)2=w1(t)w2(t)[u1(t)-u2(t)]2

(2)

接著對包含背光板待檢部分的區(qū)域進行一次腐蝕一次膨脹，以去除邊緣離散點，使邊緣平滑化，見圖4。

圖4　二值圖

2.2背光板ROI細定位

再基于OpenCV輪廓查找函數(shù)cvStartFindContours和最大面積特征，定位背光板待檢部分的最大外接矩形區(qū)域，并提取出來，如圖5所示。從圖中可見，背光板待檢部分全部提取出，但是四邊有少量黑色邊框，需要剪除這些黑色邊框，否則會影響后期處理，因為黑色邊框與背光板待檢部分差異較大。隨后，將背光板待檢部分輪廓數(shù)組保存在OpenCV的數(shù)據(jù)格式CvSeq中；基于OpenCV的cvFloodFill函數(shù)對背光板輪廓數(shù)組內(nèi)進行置白，生成掩碼模板，見圖6；再將圖6與圖5進行圖像按位相與運算處理，從而提取出不規(guī)則的待檢測區(qū)域，非待檢區(qū)域用黑色像素置黑(如圖7所示)。

圖5　提取出的帶少量黑色邊框的背光板待檢測區(qū)域圖

圖6　掩碼模板圖

圖7　ROI圖

背光板表面異物ROI提取部分代碼：

IplImage*image=cvCreateImage(cvGetSize(image1),IPL_DEPTH_8U,1);

IplImage*imagei=cvCreateImage(cvGetSize(image1),IPL_DEPTH_8U,1);

cvCvtColor(image1,image,CV_BGR2GRAY);

cvCvtColor(image1,imagei,CV_BGR2GRAY);

cvThreshold( image, image,50,255,CV_THRESH_BINARY);

IplConvKernel*element=cvCreateStructuringElementEx(5,5,1,1,CV_SHAPE_RECT,0);

cvDilate( image, image, element, 1);

cvErode( image, image, element, 1);

cvSaveImage("D:/image.bmp",image);

CvMemStorage *storage=cvCreateMemStorage();

CvContourScanner scanner=NULL;

CvSeq *contour=0;

CvSeq *con=0;

double tmparea=0.0;

double maxarea=0.0;

CvRect rect;

int xmin=10000;

int ymin=10000;

int xmax=0;

int ymax=0;

int xais=0;

int yais=0;

CvPoint pt1,pt2;

scanner=cvStartFindContours(image,storage,sizeof(CvContour),CV_RETR_CCOMP,CV_CHAIN_APPROX_NONE,cvPoint(0,0));

while (contour=cvFindNextContour(scanner))

{

tmparea=fabs(cvContourArea(contour));

rect=cvBoundingRect(contour,0);cvDrawContours(image,contour,CV_RGB(0,0,0),CV_RGB(0,0,0),-1,CV_FILLED,8);*/

if (tmparea>maxarea)

{

maxarea=tmparea;

xmin=rect.x;

ymin=rect.y;

xmax=rect.x+rect.width;

ymax=rect.y+rect.height;

con=contour;

}

}

contour = cvEndFindContours(&scanner);

CvRect s;

CvPoint pt;

s=cvBoundingRect(con);

pt=cvPoint(s.x+s.width/2 , s.y+s.height/2);

cvFloodFill(image,pt,cvScalarAll(255));

3　本文背光板表面異物檢測算法

3.1背光板異物增強

將提取出的ROI復(fù)制一份RGB圖像，然后再對ROI圖像進行開運算處理，由于異物是孤立的，并且與周邊有一定對比度，開運算處理后，異物會被弱化或者消除；再將兩幅圖像進行線性相減，原存在異物的坐標處的差值最大，而本無異物處的差值很小，甚至為0，即完成異物處明顯化。

隨后，基于圖像卷積處理，即5×5的矩陣核，如式(3)，順序卷積處理圖像每個像素：

(3)

最后生成新圖像，并基于矩陣閾值，即將圖像分為兩部分，即原存在異物處為白點，閾值以下，即正常的其他區(qū)域為全黑，從而進一步突出異物(如圖8所示)。

圖8　被突出的異物點

3.2背光板異物檢測

最后，記錄異物坐標，并在原圖中用紅色圓圈標注，以展示檢測效果，見如圖9。再對檢測出的異物點區(qū)域放大，以方便觀察檢測效果，見圖10。從圖中可知，白色微型異物被檢測出和標記。

圖9　被檢測出的異物點

圖10　檢測出的異物點放大展示

背光板表面異物檢測部分代碼：

cvSetImageROI(image,cvRect(xmin,ymin,xmax-xmin,ymax-ymin));

cvSetImageROI(imagei,cvRect(xmin,ymin,xmax-xmin,ymax-ymin));

IplImage*ROI=cvCreateImage(cvGetSize(image),image->depth,image->nChannels);

IplImage*src=cvCreateImage(cvGetSize(imagei),imagei->depth,imagei->nChannels);

IplImage*dst=cvCreateImage(cvGetSize(imagei),imagei->depth,imagei->nChannels);

cvCopy(image, ROI, NULL);

cvCopy(imagei, src, NULL);

cvResetImageROI(image);

cvResetImageROI(imagei);

cvErode( ROI, ROI, element, 3);

cvNamedWindow( "1", 0 );

cvResizeWindow("1",cvGetSize(ROI).width*0.5,cvGetSize(ROI).height*0.5);

cvShowImage("1",ROI);cvWaitKey(1);

cvAnd(src,ROI,dst,NULL);//提取不規(guī)則區(qū)域

CvScalar pixel;

int Xxiao=0;

int Yxiao=0;

int Xda=cvGetSize(ROI).width;

int Yda=cvGetSize(ROI).height;

for(int x=0;x

{

pixel=cvGet2D(ROI,cvGetSize(ROI).height/2,x);

if(pixel.val[0]==255)

{

Xxiao=x;

Xxiao=2*Xxiao;

break;

}

}

for(int y=cvGetSize(ROI).height-5;y>0;y--)

{

pixel=cvGet2D(ROI,y,cvGetSize(ROI).width/2);if(pixel.val[0]==255)

{

Yda=y;

Yda=Yda-(cvGetSize(ROI).height-Yda);

break;

}

}

4　實驗與討論

為了驗證本文算法的可行性與優(yōu)越性，將當(dāng)前的缺陷檢測精度較好的算法：文獻[11]視為對照組，記為A算法。并利用C++、OpenCV編程，完成對背光板表面異物圖像(如圖11所示)的灰度化、閾值分割、形態(tài)學(xué)處理、背光板待檢區(qū)域的輪廓定位、ROI提取(如圖12所示)、圖像線性運算、圖像卷積。評判標準為：是否能準確定位圈出異物點位置。

以圖11為待檢測對象，利用本文算法與對照組機制進行處理，結(jié)果見圖12～圖14。從圖中可知，在異物特征微弱的情況下，本文算法仍然能準確識別目標，并標注位置，如圖13所示。而對照組是利用梯度均方差進行特征分析后，通過提取角點完成缺陷檢測，在圖像目標非常小,且特征微弱時，往往存在目標識別不準確，如圖14所示。

圖11　原圖

圖12　ROI效果圖

圖13　本文算法檢測效果

圖14　文獻[4]的檢測效果

為了量化不同算法的檢測精確度，本文采用對同一枚背光板檢測，先用精密光學(xué)距離測量工具測算出實際異物點坐標；然后分別用傳統(tǒng)算法和本文算法定位出異物目標，即得出坐標，反復(fù)測試10次，然后綜合取平均值后，結(jié)果見表1。從表中可知，本文算法的定位精度比傳統(tǒng)技術(shù)要高，定位偏移非常?。欢鴤鹘y(tǒng)的異物定位技術(shù)產(chǎn)生了較大的偏移。

表1　測試數(shù)據(jù)表

5　結(jié)論

為了解決背光板表面異物微小，依靠人眼檢測，較困難的問題，本文提出了一個基于OpenCV與機器視覺的背光板表面異物檢測機制。首先，對背光板表面異物特征分析后，進行最大類間閾值分割處理與形態(tài)學(xué)處理，得到包含背光板待檢部分的區(qū)域。然后，利用OpenCV輪廓查找函數(shù)定位背光板待檢部分區(qū)域，并基于OpenCV的cvFloodFill函數(shù)對背光板輪廓數(shù)組內(nèi)進行置白，生成掩碼模板，進行圖像按位相與運算處理，從而提取出不規(guī)則的ROI區(qū)域。最后，將提取出的ROI復(fù)制一份給RGB圖像，然后再對ROI圖像進行開運算處理，兩幅圖像進行線性相減，使異物處更加突出。再基于圖像卷積處理，進一步使異物區(qū)別于背景，并在原圖中用紅色圓圈標注，以展示檢測效果。最后測試了本文機制性能，結(jié)果表明：與普通的圖像異物檢測算法相比，本文機制具有更好的檢測效果，準確定位出背光板圖像異物的坐標。

[1] 潘武, 張莉彥, 徐俊成.基于機器視覺的工件的在線檢測 [J]. 組合機床與自動化加工技術(shù)，2012(7)：75-78.

[2] 李龍. 基于OpenCV的機場跑道異物檢測系統(tǒng)設(shè)計與研究[J]. 計算機測量與控制，2013,18(11)：383-387.

[3] S Ghorai, A Mukherjee, M Gangadaran. Automatic defect detection on hot-rolled flat steel products[J]. Instrumentation and Measurement, IEEE Transactions，2013, 62(3)：612-621.

[4] 聶華. 基于先驗知識的微型零件檢測中異物偽信息的剔除[J]. 計算機應(yīng)用，2013, 21(7)：1906-1913.

[5] 段錚昱. 基于機器視覺的電子產(chǎn)品外觀表面缺陷檢測方法研究 [J]. 計算機測量與控制，2014, 22(4)：1009-1014.

[6]秦緒佳，桑賢生，程時偉. 農(nóng)產(chǎn)品異物檢測的機器視覺采集控制系統(tǒng)構(gòu)建[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報，2011, 23(2)：371-376.

[7] Ning He, Lulu Zhang, Ke Lu. Aluminum CT Image Defect Detection Based on Segmentation and Feature Extraction[J].Computer Science，2014, 85(32)：446-454.

[8] L Wang, A Li, X Tian. Detection of Fruit Skin Defects Using MachineVision System[J].Business Intelligence and Financial, 2013, 43(16): 44-48.

[9]S Cubero, N Aleixos, E Moltó. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J]. Food and Bioprocess Technology, 2011, 4(4): 487-504.

[10]史進偉, 郭朝勇, 劉紅寧. 基于機器視覺的槍彈外觀缺陷檢測系統(tǒng)研究 [J]. 組合機床與自動化加工技術(shù), 2013(4): 59-64.

[11] 江偉榮. 基于機器視覺的橡膠密封圈檢測的研究[D]. 合肥:合肥工業(yè)大學(xué), 2014.

[12] 王新新. TFT-CD缺陷檢測系統(tǒng)的研究[J].電子測量與儀器學(xué)報2014, 28(24)：906-913.

[13]鄒小林, 馮國燦. 融合視覺模型和最大類間方差的閾值分割算法[J]. 計算機應(yīng)用研究，2013,33(3): 670-673.

(編輯李秀敏)

The Study on Image Objects Location and Compensation Technology Based on OpenCV and Machine Vision

SONG Jun-qiang

(Institute of Technology of Internet of Things, Wuxi Professional College of Science and Technology, Wuxi Jiangsu 214028, China)

Assembled in flat computer process, important parts of the backlight board surface often stained with micro foreign bodies, such as dust, these foreign bodies are not easy to rely on eye detection, and has a great influence on the quality of the final product. Therefore, this paper proposes a backlight plate surface based on foreign recognition mechanism and defect detection of OpenCV. First of all, treat the detected image maximum between class threshold segmentation and morphological processing, including the backlight board inspected region. Then, the largest outer OpenCV contour search function of cvStartFindContours positioning to be detected based on the backlight board part of the rectangle region, cvFloodFill function of OpenCV on the backlight plate profile in an array of the white based, generated mask template, image and processing, to extract the irregular tested area. Finally, the extracted ROI copy of a RGB image, and then the ROI image to open operation treatment, two images are linear subtraction, so that the foreign matters at the obvious. Then image convolution based processing, further highlight the foreign body, and in the original image with a red circle labeling, to display the detection result. The final test performance, the foreign body recognition results show that: compared with the current image recognition algorithm in this paper, foreign body, mechanism has better recognition effect, accurately identify the backlight board foreign body.

foreign detection; backlight plate; machine vision; OpenCV; image convolution;mask template

1001-2265(2015)11-0083-05DOI:10.13462/j.cnki.mmtamt.2015.11.024

2015-01-09

宋軍強(1978—)，男，江蘇無錫人，無錫科技職業(yè)學(xué)院講師，碩士，研究方向為圖像處理、機器視覺檢測，(E-mail)SongJunqiang1978@163.com。

TH166;TG506

A