王祖進，黃筱調(diào)，顧萍萍

(1.南京工業(yè)大學機械與動力工程學院，江蘇南京210009;2.南京康尼機電股份有限公司，江蘇南京210038)

隨著貼片元件的微型化以及引腳間距的密集化，芯片貼裝領(lǐng)域?qū)N片機視覺系統(tǒng)的定位精度提出了更高的要求.因此，必須建立速度更快，精度更高的視覺定位算法［1］.而貼片機視覺系統(tǒng)定位算法主要包括貼片元件定位和PCB板定位算法2部分:貼片元件定位是對貼片元件中心相對于吸嘴中心的偏移量和貼片元件在拾取過程中的偏轉(zhuǎn)角度進行檢測;PCB板定位是通過對母板上的定位標志進行檢測，進而得到PCB板坐標系與機器坐標系之間的轉(zhuǎn)換關(guān)系.眾多學者對貼片機視覺系統(tǒng)的相關(guān)算法［2-4］進行了研究，但對偏移量和偏轉(zhuǎn)角度的檢測基本都是分開進行的，很少將兩者結(jié)合起來考慮.為此，文中提出一種基于Harris角點特征的貼片元件定位算法，其中以矩形引腳元件為研究對象，能夠同時檢測元件的偏移量和偏轉(zhuǎn)角度，且檢測精度都達到了亞像素級別.

1 貼片機視覺系統(tǒng)構(gòu)成

貼片機視覺系統(tǒng)主要結(jié)構(gòu)如圖1所示.光學系統(tǒng)由CCD相機和可編程控制的LED光源組成，高速圖像采集卡對圖像進行采集，然后由PC機上的處理軟件對圖像進行處理，產(chǎn)生相應(yīng)的控制信號.

圖1 視覺系統(tǒng)結(jié)構(gòu)示意圖

2 貼片元件視覺定位算法及其實現(xiàn)

基于Harris角點特征的貼片元件定位算法流程如圖2所示.

圖2 貼片元件定位算法流程圖

2.1 圖像預(yù)處理

貼片機視覺系統(tǒng)在采集元件圖像的過程中，會受到各種噪聲和不均勻光照的干擾.通過圖像預(yù)處理可以消除光照不均勻的影響，濾除噪聲，修補圖像內(nèi)部缺陷.首先通過頂帽變換消除光照不均勻的問題，然后利用伽瑪變換拉伸元件圖像的對比度［5］，再運用數(shù)學形態(tài)學閉運算濾除噪聲和修補缺陷［6］，最后進行二值化.圖像預(yù)處理結(jié)果如圖3所示.

圖3 圖像預(yù)處理結(jié)果

2.2 引腳形狀判別

元件引腳的形狀分為矩形和圓形.不同形狀的引腳，相應(yīng)的定位算法也不同.所以在進行定位之前，需要對貼片元件的引腳形狀進行判別.首先用8連通模板對二值圖像進行卷積，以標記每個引腳的連通分量，為每個連通區(qū)域分配一個唯一的編號，并將輸出圖像中該連通區(qū)內(nèi)的所有像素賦值為該區(qū)域的編號，得到標記圖像.以和標記區(qū)域具有相同二階中心矩的橢圓長短軸為特征，來判別元件引腳形狀，但實際計算時不需要具體計算出橢圓的長短軸，只要求得標記區(qū)域的2個二階中心矩的比值即可，矩形引腳的比值遠大于1，圓形引腳的比值約等于1.

一幅M×N的數(shù)字圖像f(i，j)，其p+q階幾何矩mpq和中心矩μpq為

設(shè)X為標記圖像的橫向坐標矩陣，Y為標記圖像的縱向坐標矩陣，大小均為n×1.則標記區(qū)域的二階中心矩的計算過程如下:

表1給出了2個圓形引腳和2個矩形引腳的各階矩及二階中心矩的比值.采用上述判別算法對6種類型的貼片元件進行檢測，檢測結(jié)果如表2所示.

表1 部分引腳的矩特征

表2 引腳形狀檢測結(jié)果

2.3 偏轉(zhuǎn)角度和偏移量檢測

圖像的角點是兩個邊緣的交點，其所在鄰域是圖像中穩(wěn)定的、信息豐富的域，具有旋轉(zhuǎn)不變性和平移不變性.Harris算子［7-9］是一種有效的角點特征提取算子，具有計算簡單、提取的特征點均勻等優(yōu)點.所以文中采用Harris角點特征作為貼片元件的定位特征.Harris角點特征提取步驟如下:

1)計算圖像I(x，y)在x，y方向上的梯度Ix，Iy:

式中:

?為卷積運算.

2)計算圖像x，y方向梯度的乘積:

3)使用高斯函數(shù)對梯度乘積進行高斯加權(quán):

式中w為9×9的高斯窗函數(shù).

4)計算自相關(guān)矩陣M的行列式detM和直跡traceM:

5)計算每個角點的響應(yīng)值R，并對小于閥值t的R置0:

式中α為經(jīng)驗常數(shù)，取值0.04.

6)在3×3的鄰域內(nèi)進行非極大值抑制，余下的局部極大值點即為圖像的角點.

角點特征的提取結(jié)果如圖4所示.

圖4 角點特征提取結(jié)果

在xy坐標系中標注出每個角點，然后找出具有x軸坐標最大、最小值以及y軸坐標最大、最小值的4個基準角點，最后通過計算其他角點與4個基準角點的距離來判斷剩余角點與哪個基準角點屬于同一類.通過最小二乘法對4類角點進行直線擬合，并將擬合得到的直線平移0.75l(l為貼片元件的引腳長度)，去除已分類的角點，剔除虛假角點，對余下的角點再次進行分類和最小二乘擬合，最后取8條直線斜率的平均值作為偏轉(zhuǎn)角度θ的檢測結(jié)果.其中虛假角點的判別方法是將余下角點分別帶入平移后的4條直線的直線方程，得到4個值y1，y2，y3，y4，若4個值中正數(shù)的個數(shù)為2，則此點為4條直線所構(gòu)成的封閉區(qū)間內(nèi)的點，否則為虛假點.處理結(jié)果如圖5所示.

常用的圖像配準方法［10-11］包括基于灰度的配準方法和基于特征的配準方法.基于灰度的圖像配準方法對圖像的灰度變化比較敏感，計算的復(fù)雜度高，對目標的旋轉(zhuǎn)、形變以及遮擋比較敏感;基于特征的圖像配準方法［12-13］可以克服基于灰度的圖像配準方法的缺點，在圖像配準領(lǐng)域得到了廣泛的應(yīng)用.圖像的特征點比圖像的像素點要少很多，大大減少了匹配過程的計算量;特征點的匹配量值對位置的變化比較敏感，匹配的精確程度高;特征點的提取過程可以減少噪聲的影響，對灰度的變化、圖像形變以及遮擋等都有較好的適應(yīng)能力.所以文中采用基于Harris角點的圖像配準方法對貼片元件的偏移量進行檢測.

首先采用雙三次插值法對原灰度圖像進行旋轉(zhuǎn)和放大，旋轉(zhuǎn)角度為-θ，放大倍數(shù)為2.因為特征點的坐標都為整數(shù)，使得最后檢測出的偏移量只能為整數(shù)個像素，無法檢測出小于1.0個像素的偏移量.而對圖像進行放大處理，可使誤差由原來的1.0個像素減小為0.5個像素，從而實現(xiàn)偏移量的亞像素檢測.最后提取幾何變換后的圖像與未發(fā)生偏移的標準圖像的Harris角點特征，取角點附近的8.0個像素值作為匹配特征點向量，并進行匹配，去除匹配錯誤點，得到最佳匹配點對，匹配點對間的坐標差值即為貼片元件的偏移量.最終的匹配結(jié)果如圖6所示.

圖5 處理結(jié)果

圖6 圖像配準結(jié)果

3 試驗及結(jié)果分析

試驗中以TQFP48-P-0707-0.5-K(如圖3a所示)型貼片元件為被測對象.偏轉(zhuǎn)角度的檢測結(jié)果如表3所示，偏移量的檢測結(jié)果如表4所示.由表3，4可以看出，文中算法對偏轉(zhuǎn)角度的檢測誤差小于0.1°，以像素來度量則小于 0.5 個像素，對偏移量的檢測誤差小于25 μm，以像素來度量則小于0.5個像素，兩者的檢測精度都到達了亞像素級別.

表3 偏轉(zhuǎn)角度檢測結(jié)果

表4 偏移量檢測結(jié)果

4 結(jié)論

在分析現(xiàn)有貼片元件定位方法的基礎(chǔ)上，提出了一種基于Harris角點特征的貼片元件定位方法，以矩形引腳元件為研究對象.首先采用頂帽變換、伽瑪變換以及數(shù)學形態(tài)學閉運算對元件圖像進行預(yù)處理;然后標記元件引腳的連通區(qū)域，計算二階中心矩，以判別元件的引腳形狀;再通過Harris角點特征提取、分類和直線擬合等得到元件的偏轉(zhuǎn)角度;最后對元件圖像進行旋轉(zhuǎn)和放大處理，并進行基于Harris角點特征的圖像配準，得到最佳匹配點對，匹配點對間的坐標差值即為貼片元件的偏移量.檢測結(jié)果表明，文中算法能夠同時檢測貼片元件的偏移量和偏轉(zhuǎn)角度，偏移量誤差小于25 μm，偏轉(zhuǎn)角度誤差小于0.1°，檢測誤差均小于 0.5 個像素，達到了亞像素精度.

References)

［1］孫 力，蔡健榮，李永平，等.基于TOF成像技術(shù)的柑橘實時識別與定位［J］.江蘇大學學報:自然科學版，2013，34(3):293-297.Sun Li，Cai Jianrong，Li Yongping，et al.Real-time citrus recognition and location based on TOF imaging technology［J］.Journal of Jiangsu University:Natural Science Edition，2013，34(3):293-297.(in Chinese)

［2］Lin C S，Lue L W.An image system for fast positioning and accuracy inspection of ball grid array boards［J］.Microelectronics Reliability，2001，41(1):119-128.

［3］Yeh C H，Shen T C，Wu F C.A case study:passive component inspection using a 1D wavelet transform［J］.International Journal of Advanced Manufacturing Technology，2003，22(11/12):899-910.

［4］解楊敏，劉 強.高精度自動貼片機視覺系統(tǒng)定位算法研究［J］.光學技術(shù)，2008，34(3):449-454.Xie Yangmin，Liu Qiang.Research on locating algorithm of vision alignment system in automatic high precision chip mounter［J］.Optical Technique，2008，34(3):449-454.(in Chinese)

［5］王祖進，黃筱調(diào).基于形態(tài)學的元件圖像邊緣檢測算法［J］.南京工業(yè)大學學報:自然科學版，2013，35(2):115-118.Wang Zujin，Huang Xiaodiao.Chip image edge detection algorithm based on morphology［J］.Journal of Nanjing University of Technology:Natural Science Edition，2013，35(2):115-118.(in Chinese)

［6］關(guān)柏青，于新瑞，王石剛.基于鏈碼分析及矩特征的元件類型檢測方法［J］.上海交通大學學報，2005，39(6):969-974.Guan Baiqing，Yu Xinrui，Wang Shigang.An inspection method of component type based on moment features and chain code［J］.Journal of Shanghai Jiaotong University，2005，39(6):969-974.(in Chinese)

［7］Lin H，Du P，Zhao W，et al.Image registration based on corner detection and affine transformation［C］∥2010 3rd International Congress on Image and Signal Processing，2010:2184-2188.

［8］Bellavia F，Tegolo D，Valenti C.Improving Harris corner selection strategy［J］.IET Computer Vision，2011，5(2):87-96.

［9］Chen J，Zou L，Zhang J，et al.The comparison and application of corner detection algorithms［J］.Journal of Multimedia，2009，4(6):435-441.

［10］Manuel G S，Thurman S T，F(xiàn)ienup J R.Efficient subpixel image registration algorithms［J］.Optics Letters，2008，33(2):156-158.

［11］Wyawahare M V，Patil P M，Abhyankar H K.Image registration techniques:an overview ［J］.Image Processing and Pattern Recognition，2009，2(3):11-26.

［12］文貢堅，呂金建，王繼陽.基于特征的高精度自動圖像配準方法［J］.軟件學報，2008，19(9):2293-2301.Wen Gongjian，Lü Jinjian，Wang Jiyang.An automated method for feature-based image registration with high-accuracy［J］.Journal of Software，2008，19(9):2293-2301.(in Chinese)

［13］Liao S，Chung A C S.Feature based nonrigid brain MR image registration with symmetric alpha stable filters［J］.IEEE Transactions on Medical Imaging，2010，29(1):106-119.