蔣建東，陳培余，童一玨，WILLEM Hoogmoed

(1.浙江工業(yè)大學(xué) 特種裝備制造與先進(jìn)加工技術(shù)教育部重點(diǎn)實驗室，浙江 杭州 310014；

2.瓦赫寧根大學(xué) 農(nóng)場技術(shù)組，荷蘭 瓦赫寧根 6700HB)

基于機(jī)器視覺的輕觸開關(guān)引腳缺陷檢測算法研究

蔣建東1，陳培余1，童一玨1，WILLEM Hoogmoed2

(1.浙江工業(yè)大學(xué) 特種裝備制造與先進(jìn)加工技術(shù)教育部重點(diǎn)實驗室，浙江 杭州 310014；

2.瓦赫寧根大學(xué) 農(nóng)場技術(shù)組，荷蘭 瓦赫寧根 6700HB)

摘要：針對輕觸開關(guān)在生產(chǎn)過程中外觀檢測的要求，進(jìn)行了基于機(jī)器視覺的輕觸開關(guān)引腳外觀圖像檢測技術(shù)研究.通過CCD獲取圖像，采用濾波、閾值分割等預(yù)處理提取了輕觸開關(guān)的二值圖像，并采用輪廓提取，根據(jù)最小面積包圍法獲取圖像繞中心旋轉(zhuǎn)角度的方法對圖像進(jìn)行矯正，對旋轉(zhuǎn)后的圖像提取4個引腳區(qū)域的ROI區(qū)域.對提取引腳區(qū)域的黑色像素面積進(jìn)行統(tǒng)計，并與設(shè)定的標(biāo)準(zhǔn)面積閾值進(jìn)行對比判斷進(jìn)行輕觸開關(guān)引腳外觀缺陷的檢測.實驗結(jié)果表明：引腳歪腳的識別率為98%，引腳合格的誤判率為3%，綜合準(zhǔn)確率大于97%，所提出的檢測方法及算法能準(zhǔn)確檢測輕觸開關(guān)的引腳缺陷，滿足輕觸開關(guān)外觀檢測的需求.

關(guān)鍵詞：輕觸開關(guān)；機(jī)器視覺；外觀檢測；缺陷；ROI

中圖分類號：TP317.4

文獻(xiàn)標(biāo)志碼：A

文章編號：1006-4303(2015)01-0030-04

Study on the defect inspection algorithm of touch switch pins

based on machine vision

JIANG Jiandong1, CHEN Peiyu1, TONG Yijue1, WILLEM Hoogmoed2

(1.Key Laboratory of Special Purpose Equipment and Advanced Manufacturing Technology,

Ministry of Education, Zhejiang University of Technology, Hangzhou 310014, China；

2.Wageningen University, Farm Technology Group, Wageningen 6700HB, The Netherlands)

Abstract:This paper studies the appearance detection technology of touch switch pins based on machine vision, according to the appearance detecting requirements of touch switch in the production process. Firstly, the requested images are gained through CCD sensor, and then get the binary image by filtering and threshold segmentation pretreatment. Then extract the contour of the image and rectify the image by the angle of rotation around the center area according the smallest enclosing method, after that get the four regions of interest (ROI) of the switch pins. Last get statistics of the pin black pixels area and compare with the standard area threshold to judge the appearance defects of the touch switch pins. The experimental results show that the method and algorithm can precisely detect the pin defects and meet the requirement of touch switch appearance detection with recognition rate of crooked pin 98%, rate of qualified error 3%, accuracy rate greater than 97%.

Keywords:touch switch; machine vision; appearance detection; defects; ROI

輕觸開關(guān)是廣泛應(yīng)用于影音產(chǎn)品、數(shù)碼產(chǎn)品、遙控器、通訊產(chǎn)品、家用電器、醫(yī)療器件、健身器材等方面的重要電子元器件.輕觸開關(guān)在封裝后必須進(jìn)行帶電性能檢測和外觀檢測[1-2]以確保其品質(zhì).國內(nèi)輕觸開關(guān)生產(chǎn)中的外觀缺陷主要包括毛刺、表面劃傷、引腳折彎、引腳缺失等缺陷，這些缺陷會直接影響產(chǎn)品的使用性能.因此，對其進(jìn)行外觀檢測是生產(chǎn)環(huán)節(jié)的關(guān)鍵步驟.

目前，國內(nèi)的生產(chǎn)廠商主要靠人工肉眼識別這些缺陷，這些缺陷的評判標(biāo)準(zhǔn)主要依靠主觀感覺來判斷，缺陷比較明顯容易識別，反之容易忽視.由于檢查項目多、產(chǎn)品尺寸小、尺寸精度要求高等很容易使操作者產(chǎn)生視覺疲勞，從而導(dǎo)致錯檢、漏檢，使得產(chǎn)品后續(xù)分選工序速度和質(zhì)量難以提高.將機(jī)器視覺技術(shù)[3-4]應(yīng)用于輕觸開關(guān)的外觀檢測可以實現(xiàn)產(chǎn)品的自動化和智能化，是實現(xiàn)引腳外觀檢測的有效方法.機(jī)器視覺已經(jīng)發(fā)展為光電子的一個應(yīng)用分支，廣泛應(yīng)用于農(nóng)業(yè)機(jī)械人[5]、智能交通監(jiān)控系統(tǒng)[6]、缺陷檢測[7]等領(lǐng)域.本實驗主要針對輕觸開關(guān)的引腳缺陷的外觀檢測關(guān)鍵技術(shù)來進(jìn)行研究.

1輕觸開關(guān)缺陷檢測系統(tǒng)及原理

輕觸開關(guān)檢測系統(tǒng)的檢測目標(biāo)是輕觸開關(guān)的通電性能和外觀引腳缺陷.圖1是輕觸開關(guān)檢測系統(tǒng)及設(shè)備，整個檢測系統(tǒng)主要包括送料臺、電機(jī)、MSP430單片機(jī)、物料旋轉(zhuǎn)臺和相應(yīng)的機(jī)械傳動裝置等組成的流水線子系統(tǒng).圖像采集子系統(tǒng)主要包括CCD攝像機(jī)、光源、鏡頭、計算機(jī)等，主要完成對輕觸開關(guān)圖像的采集.圖2是輕觸開關(guān)圖像采集系統(tǒng)示意圖.

圖1　輕觸開關(guān)檢測系統(tǒng)及設(shè)備Fig.1　Detecting system and equipment of touch switch

1—CCD攝像機(jī)；2—光源；3—被檢產(chǎn)品；4—傳送系統(tǒng)；5—計算機(jī)圖2　輕觸開關(guān)在線圖像采集系統(tǒng)Fig.2　Image online acquisition system of touch switch

整個系統(tǒng)的工作流程為：當(dāng)產(chǎn)品通過送料臺水平流向物料旋轉(zhuǎn)臺時，利用吸盤吸取到物料旋轉(zhuǎn)臺的一側(cè).經(jīng)物料旋轉(zhuǎn)臺旋轉(zhuǎn)至帶電檢測工位，由四個探針對輕觸開關(guān)的通電性能進(jìn)行檢測，判斷該產(chǎn)品的通電性是否良好.如果沒有通電或通電性能不好，物料旋轉(zhuǎn)臺繼續(xù)旋轉(zhuǎn)至卸料口，由吸盤吸取輕觸開關(guān)并配置擊出器使不合格品落至卸料口，經(jīng)卸料口流經(jīng)至不合格品收集箱；如果通電性能良好，物料旋轉(zhuǎn)臺旋轉(zhuǎn)至傳送帶上方，通過吸盤吸取至傳送帶傳送至圖像外觀檢測工位.當(dāng)位置傳感器檢測有輕觸開關(guān)經(jīng)過時，位置傳感器通過數(shù)據(jù)采集卡將信號傳達(dá)給計算機(jī)，計算機(jī)發(fā)送觸發(fā)信號給CCD攝像機(jī)對圖像進(jìn)行采集并處理,同時通過串口通信發(fā)送給MSP430單片機(jī)，由外觀引腳缺陷檢測控制模塊進(jìn)行輕觸開關(guān)的外觀識別與檢測[8].

2輕觸開關(guān)缺陷識別流程及算法

針對某型號液晶貼片輕觸開關(guān)(尺寸規(guī)格為6.4 mm×5.2 mm×1.5 mm)進(jìn)行外觀引腳缺陷識別的圖像分析，其外觀缺陷識別流程如圖3所示.

圖3　輕觸開關(guān)引腳外觀缺陷識別流程圖Fig.3　Flow chart of touch switch pins’ appearance defects recognition

輕觸開關(guān)外觀圖像在采集的過程中，圖像的質(zhì)量不可避免受傳動系統(tǒng)的振動和光源本身的影響，同時還伴隨污點(diǎn)、斑點(diǎn)等隨機(jī)因素的介入.為了消除這些噪聲對圖像處理過程中圖像質(zhì)量和檢測精度的影響，在進(jìn)行圖像識別和缺陷檢測前必須對獲取的圖像噪聲進(jìn)行預(yù)處理，流程如圖4所示.

圖4　圖像預(yù)處理的流程圖Fig.4　Flow chart of image preprocessing

2.1原始CCD采集圖像的預(yù)處理

圖5為檢測中有微小傾斜并右上角引腳有歪缺陷的輕觸開關(guān)，經(jīng)CCD采集成24位的彩色圖像.

圖5　輕觸開關(guān)的原始圖像Fig.5　The original image of touch switch

為了減小圖像的數(shù)據(jù)量，需要對圖像進(jìn)行灰度化處理，根據(jù)灰度化處理后圖像中的背景和目標(biāo)像素灰度值的分布特點(diǎn)，采用3×3的模板，對輕觸開關(guān)圖像做中值濾波去除噪聲，同時采取人工選擇閾值的方法，選擇合適的閾值得到比較理想的灰度圖像，其灰度閾值變換的函數(shù)為

(1)

在實驗中，當(dāng)閾值取過大時，輕觸開關(guān)內(nèi)部會有很多空洞，當(dāng)閾值取過小時，不能很好的濾除背景的干擾.通過實驗分析驗證，當(dāng)選擇閾值為120時較為理想，對于得到的二值圖像仍存在的微小空洞，可通過閉運(yùn)算，填充空白部分使得到的二值圖像完整，經(jīng)過上述處理后得到的輕觸開關(guān)的二值圖像如圖6所示.

圖6　預(yù)處理后輕觸開關(guān)的二值圖Fig.6　Binary image of the touch switch with preprocessing step

2.2檢測圖像的輪廓提取、旋轉(zhuǎn)算法

由輕觸開關(guān)檢測系統(tǒng)及設(shè)備可知，經(jīng)過通電性能檢測的合格輕觸開關(guān)都是由吸盤吸取至傳送帶按統(tǒng)一方向進(jìn)行傳送至外觀缺陷檢測工位，通過CCD相機(jī)獲取圖像.由于連續(xù)傳送的輕觸開關(guān)位姿很難統(tǒng)一，往往沿水平方向會產(chǎn)生微小角度的旋轉(zhuǎn)，因此必須對獲取的圖像進(jìn)行方向矯正，為后期的圖像引腳缺陷識別提供正確位姿的輕觸開關(guān)圖像[9].為了獲得圖像的旋轉(zhuǎn)角度，采用提取圖像的外輪廓，根據(jù)給定的輪廓點(diǎn)集，尋找最小面積的包圍矩形，并根據(jù)最小面積的包圍矩形計算出水平軸與第一條邊的夾角angle，夾角為水平軸逆時針旋轉(zhuǎn)方向，進(jìn)行獲取圖像的旋轉(zhuǎn)方法是是圖像上的任意點(diǎn)(x，y)繞其中心(x0，y0)逆時針旋轉(zhuǎn)angle角度，圖7所示為經(jīng)過旋轉(zhuǎn)變換后的輕觸開關(guān)二值圖像.

圖7　旋轉(zhuǎn)變換后輕觸開關(guān)的二值圖Fig.7　Binary image of the touch switch with rotation transformation

2.3檢測圖像的ROI區(qū)域標(biāo)定及缺陷判定算法

進(jìn)行圖像引腳缺陷識別通常針對輕觸開關(guān)圖像的引腳缺陷區(qū)域進(jìn)行圖像特征識別，而感興趣區(qū)域(ROI)[10]就是從圖像中選擇一個特征識別區(qū)域，這個區(qū)域就是圖像分析的重點(diǎn).使用ROI方法可以使得算法的數(shù)據(jù)量大大減小，同時使得誤判率大大降低.輕觸開關(guān)檢測圖像的ROI區(qū)域標(biāo)定步驟為：1)將旋轉(zhuǎn)后的二值圖像進(jìn)行輪廓跟蹤，由給定的輪廓點(diǎn)集來計算點(diǎn)集的最外面矩形邊界；2)檢測的矩形邊界就是圖像中設(shè)定ROI區(qū)域的大小，在待處理的圖像中截取該區(qū)域，作為將要進(jìn)一步處理的圖像.圖8所示為輕觸開關(guān)的ROI標(biāo)定圖.

圖8　輕觸開關(guān)的ROIFig.8　Region of interest of the touch switch

輕觸開關(guān)對象的引腳缺陷主要表現(xiàn)在提取輕觸開關(guān)ROI區(qū)域的四個邊角區(qū)域，而標(biāo)準(zhǔn)的輕觸開關(guān)四個引腳在提取的ROI區(qū)域有固定的位置，由標(biāo)準(zhǔn)的產(chǎn)品尺寸圖，按比例提取輕觸開關(guān)ROI的四個引腳位置.如圖9所示為輕觸開關(guān)ROI區(qū)域坐標(biāo).四個引腳區(qū)域提取的ROI區(qū)域的計算面積S=HW.H為每個引腳區(qū)域的高度，W為每個引腳區(qū)域的寬度.四個引腳的區(qū)域以坐標(biāo)(X[2]-X[1])或(X[4]-X[3])的之差為寬度，以坐標(biāo)Y[1]或(Y[3]-Y[2])為高度,理論上(X[2]-X[1])和(X[4]-X[3])寬度之差數(shù)值相同，Y[1]和(Y[3]-Y[2])高度之差數(shù)值也相同，故提取的四個引腳區(qū)域面積相同.根據(jù)四個引腳的區(qū)域的位置，分別提取四個引腳區(qū)域的ROI區(qū)域.

圖9　輕觸開關(guān)ROI區(qū)域坐標(biāo)Fig.9　Region coordinates of the touch switch ROI

將提取到的4個引腳的ROI區(qū)域的圖像進(jìn)行歸一化處理.圖像進(jìn)行歸一化處理后將0~255間的像素值改變?yōu)?~1.圖像采集中采用顯微鏡放大鏡頭，故進(jìn)行歸一化后取得的輕觸開關(guān)ROI圖像理論上的寬度為197個像素，高度為242個像素.提取的四個邊角區(qū)域的的理論寬度為19個像素，理論高度為23個像素，理論上引腳區(qū)域黑色像素的最大面積閾值為437.首先選取二十張合格的輕觸開關(guān)的靜態(tài)圖像進(jìn)行實驗處理，對二十張輕觸開關(guān)提取的四個引腳的ROI區(qū)域黑色像素的面積進(jìn)行數(shù)學(xué)統(tǒng)計，并計算引腳區(qū)域黑色像素的面積的最大值和最小值，記為Tmax和Tmin，即

Tmax=max(T1:T20)

(2)

Tmin=min(T1:T20)

(3)

圖10　引腳區(qū)域判斷缺陷與否的算法流程Fig.10　Algorithm flow to classify defects of pin area

由實驗數(shù)據(jù)可得出引腳區(qū)域黑色像素的最大面積像素為430，引腳區(qū)域黑色像素的最小面積像素為390.故設(shè)定390為判定閾值的最小值，實驗中得出的最大面積430比理論中計算得出的最大閾值稍微小點(diǎn)，故使Tmax=437作為判定閾值使系統(tǒng)的判定結(jié)果更加穩(wěn)定.左上角引腳區(qū)域黑色像素面積、右上角引腳區(qū)域黑色像素面積、左下角引腳區(qū)域黑色像素面積、右下角引腳區(qū)域黑色像素面積分別記為T1，T2，T3和T4.若Tmin

3實驗結(jié)果與分析

為了驗證上述方法及算法的有效性，我們選取的實驗樣本為：有引腳缺失的輕觸開關(guān)100個，引腳歪腳的100個，外觀無缺陷的100個，通過上述輕觸開關(guān)外觀缺陷識別系統(tǒng)進(jìn)行試驗，統(tǒng)計正確識別引腳缺失和引腳歪腳的正確率，以及錯誤將合格輕觸開關(guān)識別為有引腳缺陷的誤判率.實驗結(jié)果統(tǒng)計數(shù)據(jù)如表1所示.

表1　引腳缺陷的識別結(jié)果

由表1可知：對輕觸開關(guān)的引腳缺失的識別率達(dá)到100%，本系統(tǒng)中沒有將引腳缺失這種不合格品誤判為合格品.引腳歪腳的識別率為98%，產(chǎn)生誤判的原因可能是歪腳不大，錯誤的認(rèn)為是合格品.而引腳合格的誤判率為3%，說明在檢測中產(chǎn)生了誤判.所提出的輕觸開關(guān)引腳缺陷識別方法及算法誤判率遠(yuǎn)達(dá)到生產(chǎn)產(chǎn)家產(chǎn)品在線檢測的要求(綜合準(zhǔn)確率大于97%)，具有較高的準(zhǔn)確性和穩(wěn)定性，滿足輕觸開關(guān)產(chǎn)品外觀缺陷在線檢測的生產(chǎn)需求.

4結(jié)束語

輕觸開關(guān)的外觀檢查是生產(chǎn)中質(zhì)量檢測的重要環(huán)節(jié)，針對企業(yè)生產(chǎn)過程中外觀檢查設(shè)備的實際需求，進(jìn)行了輕觸開關(guān)引腳外觀圖像檢測技術(shù)研究.通過CCD獲取圖像，采用濾波、閾值分割等預(yù)處理提取了輕觸開關(guān)的二值圖像，并采用輪廓提取，根據(jù)最

小面積包圍法獲取圖像繞中心旋轉(zhuǎn)角度的方法對圖像進(jìn)行矯正，對旋轉(zhuǎn)后的圖像提取4個引腳區(qū)域的ROI區(qū)域，對提取引腳區(qū)域的黑色像素面積進(jìn)行統(tǒng)計，并與設(shè)定的標(biāo)準(zhǔn)面積閾值進(jìn)行對比判斷進(jìn)行輕觸開關(guān)引腳外觀缺陷的檢測.最后的實驗結(jié)果表明，所提出的檢測方法及算法能準(zhǔn)確檢測輕觸開關(guān)的引腳缺陷，有效的提高產(chǎn)品外觀檢測的效率，保證了產(chǎn)品檢測的質(zhì)量.

參考文獻(xiàn)：

[1]鄭金駒,李文龍,王瑜輝,等.QFC芯片外觀視覺檢測系統(tǒng)及檢測方法[J].中國機(jī)械工程,2013,24(3):290-294.

[2]WU Huihui, FENG Guanglin, LI Huiwen, et al. Automated visual inspection of surface mounted chip components[C]//International Conference on Mechatronics and Automation.Xi’an:IEEE,2010:1789-1794.

[3]姚興田,邱自學(xué),劉建峰,等.基于機(jī)器視覺的IC芯片三維引腳外觀檢測機(jī)的研制[J].現(xiàn)代制造工程，2011(11):105-108.

[4]GOLNANI H, ASADPOUR A. Design and application of industrial machine vision systems[J]. Robotics and Computer-Integrated Manufacturin,2007,23(6):630-637.

[5]鮑官軍,荀一,戚利勇，等.機(jī)器視覺在黃瓜采摘機(jī)器人中的應(yīng)用研究[J].浙江工業(yè)大學(xué)學(xué)報,2010,38(1):114-118.

[6]王為,姚海明.基于計算機(jī)視覺的智能交通監(jiān)控系統(tǒng)[J].浙江工業(yè)大學(xué)學(xué)報,2010,38(5):574-578.

[7]張洪濤,計時鳴.基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)鋼板表面缺陷分類算法研究[J].浙江工業(yè)大學(xué)學(xué)報,2010,38(4):388-390.

[8]XIA Nianjiong, CAO Qixin, FU Zhuang, et al. A machine vision system of ball grid array inspection on RT-Linux OS[C]//International Conference on the Business of Electronic Product Reliability and Liability. Piscataway：IEEE,2004:81-85.

[9]許國慶.基于機(jī)器視覺的IC芯片外觀檢測系統(tǒng)[D].廣州：華南理工大學(xué)，2010.

[10]宋燕星,袁峰,丁振良.目標(biāo)感興趣區(qū)域檢測算[J].吉林大學(xué)學(xué)報,2010,40(5):1421-1425.

(責(zé)任編輯：劉巖)

作者簡介：蔣建東(1974—)，男，四川廣安人，教授，主要從事機(jī)電系統(tǒng)設(shè)計與分析方面的研究，E-mail:jiangjd@zjut.edu.cn.

基金項目：國家自然科學(xué)基金資助項目(51375456)；浙江省高校中青年學(xué)科帶頭人攀登計劃項目(pd2013021)

收稿日期：2014-09-08