表面貼裝元件的特征統(tǒng)計建模檢測算法研究

吳暉輝1盧盛林2曾憲榮1

(1.順德職業(yè)技術(shù)學(xué)院機電工程學(xué)院，廣東 佛山 528333；2.東莞理工學(xué)院機械工程學(xué)院，廣東 東莞 523015)

摘要：為提高表面貼裝元件在線檢測的性能和可操作性，提出了一種基于特征的統(tǒng)計建模檢測算法。對表面貼裝的元件，首先提取并選擇分類能力較強的幾何和邏輯特征，然后利用統(tǒng)計分析建立元件的分類算法，并引入評價函數(shù)改善算法的分類能力，最終實現(xiàn)對片式元件缺件、偏移、歪斜和錯件等缺陷的檢測。實驗結(jié)果表明，采用該算法能滿足實際檢測系統(tǒng)準確性和實時性要求。

關(guān)鍵詞：自動光學(xué)檢測；貼裝元件；特征提?。唤y(tǒng)計分析

基金項目：廣東省精密裝備與制造技術(shù)重點實驗室開放課題基金，項目編號：PEMT1301；項目名稱：佛山市順德區(qū)科技計劃，項目編號：SDKJ201347

收稿日期:2015-04-23

作者簡介：吳暉輝(1981—)，男，湖南常寧人，博士研究生，講師，研究方向：機器視覺、精密檢測。

0引言

印刷電路板(Printed Circuit Board，PCB)元器件貼裝是電子制造最重要的一個環(huán)節(jié)之一，隨著電子制造朝著高密度、高性能方向發(fā)展，貼裝的電子元件進一步向微型化、集成化和高性能化方向發(fā)展，以片式元件01005為例，其尺寸已達到了亞微米級，人工目檢已難以勝任品質(zhì)的要求，為保證PCB的貼裝品質(zhì)，自動光學(xué)檢測(Automatic Optical Inspection，AOI)已廣泛應(yīng)用于貼裝過程的各個階段[1]。早期的AOI主要基于規(guī)則式的算法，基于規(guī)則的機器視覺應(yīng)用有以下兩個原因影響了其性能：(1) 算法的魯棒性差?；谝?guī)則的算法是剛性的，幾乎沒有容錯能力，當特征提取錯誤時，就直接影響對結(jié)果的判定。(2) 算法幾乎沒有智能性。用戶在使用機器視覺系統(tǒng)時必須經(jīng)過專業(yè)培訓(xùn)，才能設(shè)置較為準確的特征值允許范圍。

近年來，統(tǒng)計分析技術(shù)得到了一定的研究，但對于AOI系統(tǒng)，目前的統(tǒng)計分析技術(shù)都是偏重于爐后的焊點檢測[2-5]，事實上，越早發(fā)現(xiàn)缺陷，避免缺陷產(chǎn)品流入下一個工序，就越能節(jié)省返修的成本，提高效率。為此，針對爐前表面貼裝的片式(Chip)元件，本文提出基于統(tǒng)計分析的檢測算法，建立基于特征的分類統(tǒng)計模型，克服了特征分析算法的不足，實現(xiàn)了對元件全面而快速的檢測。

1貼裝元件特征分析

為了能準確獲取貼裝元件的信息，本文分析的元件圖像采用的光源是3色(紅、綠、藍)LED陣列環(huán)形結(jié)構(gòu)。在結(jié)構(gòu)光源下，元件的每個區(qū)域表現(xiàn)出不同的顏色和亮度特征。如圖1所示，圖1(a)是利用彩色相機獲取的貼裝良好的元件的圖像。為便于研究，將元件圖像分為幾個檢測區(qū)域，每個區(qū)域建立一個窗口，并提取窗口內(nèi)的特征作為評價的依據(jù)，據(jù)此，可以建立貼裝元件的檢測模型，如圖1(b)所示，可將其分為電極窗口、元件主體窗口和錫膏窗口。由于貼裝工藝和設(shè)備狀態(tài)等因素的影響，貼裝后的元件可能存在缺件、歪斜、偏移和錯件等缺陷，其貼裝模型如圖2所示。與正確貼裝的元件相比，各種類型缺陷元件的幾何特征比如元件主體的尺寸、電極的大小和相對位置等信息都不盡相同，此外不同類型元件的主體灰度特征也都差別，綜合利用這些信息，選擇具有代表性的特征，并對其統(tǒng)計分析，建立分類模型，能將所列舉的缺陷檢測出來。

(a) 貼裝元件

(b) 檢測模型 圖1　良品元件特征檢測窗 1，7—錫膏　2—元件　3—PCB基板　4，6—電極窗　5—主體窗

(a) 缺件

(b) 偏移

(c) 歪斜

(d) 錯件

圖2典型錯誤貼裝的元件

2元件特征提取和評價

具有代表性的特征能夠提高檢測精度，并降低分類的難度，經(jīng)過分析，本文選擇幾何和顏色特征作為分類的依據(jù)。

2.1元件典型幾何特征提取

幾何特征由于直觀和簡單，在圖像分析中應(yīng)用比較普遍。元件典型幾何特征包括位置、面積、距離、矩形度等。假定前面所設(shè)置的檢測窗的長和寬分別為m和n，則各幾何特征分別定義為：

(1) 位置：檢測窗口的位置可以用重心來表示。對于元件圖像而言，首先將其二值化，此時，重心可由下式表示：

(1)

式中的(xi，yi)表示元件檢測窗口內(nèi)對應(yīng)像素位置的坐標，i=0，1，2，…，n-1；j=0，1，2，…，m-1。對于圖3所示的貼裝元件，根據(jù)二值化的結(jié)果，可以確定電極窗口的重心位置(圖中的白色的矩形窗)，不難看出，左邊電極窗口的重心位置(黑色的十字)與設(shè)置的參考位置值(圖中的白色的十字)在豎直方向上差別比較大，因此判斷該元件為歪斜。

圖3　歪斜元件重心特征

(2) 面積：面積是判斷一個物體非常重要而直觀的特征，對于元件錯貼、漏貼都可以用面積進行判別。若物體用1表示，背景用0表示，則計算面積最簡單的方法是統(tǒng)計物體邊界內(nèi)部(包括邊界)的像素點數(shù)目，可以采用以下公式計算：

(2)

對于待檢測元件的電極窗口和主體窗口，分別計算其符合要求的像素面積，如果這個值少于給定的閾值，則判斷元件為錯件。

(3) 距離：圖像中兩點的O(x，y)和P(u，v)之間的距離可以用歐幾里德距離表示：

(3)

窗口之間的距離能夠檢測幾種常見的缺陷，當元件旋轉(zhuǎn)或者缺件時，元件窗口內(nèi)對應(yīng)的斑塊的距離會小于正常元件之間的距離。

則元件的幾何特征可表示為：

Gcomp=[XYAD]T

(4)

2.2邏輯特征提取

(1) 矩形度：由于所建立的檢測窗口都是矩形，所以引入矩形度作為檢測的特征。定義為檢測區(qū)域內(nèi)的像素面積與其最小外接矩形的面積之比：

(5)

式中，Arect為物體外接矩形的面積。

由定義可知，矩形度無量綱，且該值已經(jīng)歸一化，跟檢測元件窗口的尺寸無關(guān)。

(2) 灰度特征：幾何特征雖然簡單直觀，但在有些情況下，不同的元件其幾何特征極其相似，難以區(qū)分。觀察圖4可知，錯貼的電阻元件跟應(yīng)該貼裝的電容元件的幾何特征(位置、面積，甚至兩個電極窗口的距離)十分相近，兩者最明顯的區(qū)別是元件主體的灰度值不同，考慮到圖像是彩色的，因此可利用3個通道的灰度值進行判別。對于如圖4(b)所示的電阻和電容元件，其主體部分灰度特征值空間如圖5所示，可見利用灰度特征容易將兩者識別。

(a) 貼裝結(jié)果　　 (b) 不同元件

圖5　電阻和電容元件主體灰度特征分布

首先將彩色圖像分解為紅、綠、藍三種單色灰度圖像，在元件主體檢測窗口內(nèi)提取各個區(qū)域的三種灰度特征。令t表示單色圖像的閾值，t=1、2、3分別表示紅色、綠色和藍色子圖像，Db表示元件的主體檢測窗口區(qū)域。則主體檢測窗口內(nèi)同時滿足三種閾值要求的像素面積為：

(6)

式中，(i，j)為像素坐標。

據(jù)此可以提取元件主體的灰度特征，根據(jù)灰度特征判斷不同元件的類別。

(3) 連續(xù)區(qū)：為了防止錯誤分類，還需要引入連續(xù)區(qū)作為特征進行識別。在電極區(qū)域De中，定義二值化函數(shù)w(i，j)為[3]：

(7)

此處1表示目標，0表示背景，T為閾值。對二值化之后的結(jié)果，求其在兩個方向的投影特征，在x方向，定義：

(8)

類似地，在y方向：

(9)

以x方向為例，在區(qū)域De內(nèi)給定投影特征Px，如果從w0開始，存在w滿足：

P(j+w)

(10)

其中，l=w0，w0+1，w0+w-1，則區(qū)域中存在連續(xù)寬度為w的區(qū)域。

如圖6所示，圖6(a)是電極區(qū)域二值化后的結(jié)果，圖6(b)是區(qū)域中x方向的投影特征。如果Tp設(shè)定為60%，則滿足式(10)的連續(xù)區(qū)域是6；如果Tp設(shè)定為40%，則滿足式(10)的連續(xù)區(qū)域是7。

圖6　連續(xù)區(qū)

定義：

Wr=w/wref×100%

(11)

如果Wr>Tw(Tw是設(shè)定的閾值)，則這個連續(xù)區(qū)域是可以接受的。

至此，元件的邏輯特征可以表示為：

Lcomp=[RiCAWr]T

(12)

3基于統(tǒng)計建模的分類算法

提取并選擇元件合適的特征后，對特征采用統(tǒng)計的方法進行學(xué)習(xí)，讓檢測系統(tǒng)識別不同元件的幾何和邏輯特征，并依據(jù)特征將其劃分為不同的貼裝結(jié)果。

3.1算法原理

首先對待學(xué)習(xí)訓(xùn)練的元件圖片，依據(jù)第二節(jié)的方法，提取元件的特征，然后對不同類別的樣本特征進行統(tǒng)計建模，并標記為相應(yīng)的貼裝結(jié)果，從而獲得一個比較可靠的標準模板；檢測時，依次提取定位后的元件相關(guān)的特征，并將特征值與不同的標準模板進行比對，如果兩者的差值位于設(shè)定的閾值內(nèi)，則判定該元件為該類。在標準模板的訓(xùn)練過程中，特征值隨著樣本圖片不斷的學(xué)習(xí)而變化，雖然每個類的樣本圖片的特征分布圖不完全一樣，但特征值分布的總體趨勢保持在一定的范圍內(nèi)。以片式貼裝元件為例，其中一類樣本元件圖片的特征值分布如圖5所示，由該特征值分布圖可知，樣本元件的特征值(三通道的灰度)會在一定的區(qū)間內(nèi)上下隨機變動，但是這一隨機變化服從正態(tài)分布。隨著被訓(xùn)練學(xué)習(xí)的同類元件圖片個數(shù)的增加，元件的特征值會出現(xiàn)一個統(tǒng)計學(xué)意義下的誤差波動范圍空間。假設(shè)參與統(tǒng)計的元件圖片為n張，則統(tǒng)計意義下某一特征值的平均值和方差分別為：

(13)

(14)

對每種類型的元件，學(xué)習(xí)的個數(shù)是不相同的，學(xué)習(xí)的樣本圖片個數(shù)一旦達到設(shè)定的數(shù)目，則結(jié)束模板圖片的學(xué)習(xí)過程。

3.2算法分類能力評價

由于有些特征之間具有較大的相關(guān)性，這些特征對分類起到相同的作用，因此，可以只選擇其中之一，削減特征的相關(guān)性和耦合性，以提高檢測的效率。為此，需要利用特征評價指標選擇一些對分類貢獻大的特征。常見的評價分類有效性的依據(jù)有基于距離、基于概率和基于熵函數(shù)等。由于本文假設(shè)樣本的特征值滿足正態(tài)分布，而且已經(jīng)獲得了各個樣本的特征均值和方差，因此采用類間和類內(nèi)的加權(quán)距離準則，構(gòu)造一個函數(shù)來評價特征的可分離性。通常說來，在檢測過程中，把合格品誤認為缺陷品(誤報)的代價相對較小，與此相反，把有缺陷的產(chǎn)品誤認為合格品(漏報)導(dǎo)致的后果比較嚴重，因此，本文算法更偏向于能使得缺陷樣本類內(nèi)距離小的特征，則評價函數(shù)可表示為：

(15)

式中，J為特征值間的可分離性判據(jù)值；d為類間平均樣本距離；σ1和σk分別為合格元件和第k類缺陷元件方差；λ為權(quán)重系數(shù)。

在標準模板的訓(xùn)練過程中對每個特征值賦予一定的權(quán)重值，然后根據(jù)用戶所定義的閾值來對特征重要性給予評價，當某一個特征值所對應(yīng)的權(quán)重超出閾值，該特征就被選中作為重要特征來訓(xùn)練分類器或作為結(jié)果輸出。

4實驗結(jié)果與分析

4.1特征提取與訓(xùn)練

為了驗證本文算法的效果，將其應(yīng)用到實驗室與東莞某企業(yè)聯(lián)合開發(fā)的檢測系統(tǒng)中。圖7是檢測系統(tǒng)示意圖。其中，離線編程站和在線檢測機的硬件環(huán)境為Pentium(R)Dual Core CPU E5300，2.60 GHz，開發(fā)環(huán)境為VC++2008。

圖7　檢測系統(tǒng)

為了提高系統(tǒng)的實時性，參考元件的幾何和邏輯特征提取和訓(xùn)練過程都是在離線編程站進行。首先按照順序拍攝待檢測PCB的參考元件的圖像，存入服務(wù)器上的數(shù)據(jù)庫，然后通過離線編程站訪問數(shù)據(jù)庫中的圖像。服務(wù)器用來存儲檢測程序、參考圖片等其他全部數(shù)據(jù)信息。同時，如果一條生產(chǎn)線放置多個在線檢測機，可以共用服務(wù)器，實現(xiàn)多機數(shù)據(jù)共享。在線檢測時，只需要讀取所需檢測對象的特征參數(shù)和檢測程序即可，從而有效提高了檢測效率。

前文已經(jīng)提及，待檢測的元件分為多個檢測窗口，在離線編程過程中，首先確定各個檢測窗口的位置，然后提取檢測窗口內(nèi)各特征值的均值和方差，并結(jié)合經(jīng)驗將其設(shè)置為每個不同貼裝結(jié)果類型的初始分類值；之后分別對良品和缺陷樣本進行批量學(xué)習(xí)；最后檢測算法對各個特征窗進行綜合分析，并依據(jù)上述特征值給出相應(yīng)的分類結(jié)果，編程者對結(jié)果進行判斷，確認各個分類結(jié)果是否與設(shè)定的要求一致，如果不一致，算法可調(diào)整分類的結(jié)果和特征距離值。通過反復(fù)迭代訓(xùn)練，確保算法的準確性。

離線訓(xùn)練結(jié)束后，將相應(yīng)的特征值和分類判據(jù)等數(shù)據(jù)傳送至在線檢測機，在線檢測時，依據(jù)離線訓(xùn)練的結(jié)果對PCB上待檢測的元件進行測試，確認其分類結(jié)果，同時，可根據(jù)結(jié)果對特征值的閾值作進一步修正，確保算法的泛化能力。

4.2算法整體效果分析

將算法應(yīng)用在東莞市某自動化科技有限公司生產(chǎn)的檢測平臺上，通過檢測性能和檢測時間兩個方面來評價算法的整體效果。隨機抽取了生產(chǎn)線上100張PCB板，在每張PCB上面選擇具有代表性的55個片式元件，則檢測的元件個數(shù)為5 500個。對其進行了測試，測試數(shù)據(jù)如表1、2所示。由表1可知，檢測算法判斷缺件和偏移兩種貼裝缺陷的準確率為100%，對錯件的準確率是92.4%，雖然有一定的誤判，考慮到漏報錯誤的代價比誤判的代價要高，因此適當?shù)恼`判是可以接受的，這說明本文算法能滿足檢測系統(tǒng)準確性的要求。

表1　算法檢測結(jié)果分析

表2　算法檢測時間

對一個在線檢測系統(tǒng)而言，采用的檢測算法除了有比較高的準確性外，還要考慮算法的實時性。對于同一種型號的貼裝元件，其標準模板的幾何特征、邏輯特征及其他閾值信息在離線編程時已經(jīng)設(shè)置好，在線檢測時，僅僅是提取待檢測元件的特征信息并與標準模板作對比，因此處理速度較快。表2給出了三種不同類型元件的檢測時間，對圖1中一個典型的0603元件圖像(大小為261×221 pixel)的檢測過程所耗費的總時間約為8 ms，可見本文算法速度較快，而且檢測項目更為全面，能滿足實時檢測的要求。

5結(jié)語

針對在線AOI系統(tǒng)對元件檢測的準確性和實時性的要求，本文在分析和提取貼裝元件的幾何和邏輯特征后，設(shè)計了一種基于特征統(tǒng)計模型的檢測算法，可檢測缺件、錯件、偏移、歪斜等常見的元件貼裝缺陷。將算法應(yīng)用到實際的生產(chǎn)線上，并對采集的貼裝元件圖像進行了實驗，結(jié)果表明所提出的檢測算法能滿足在線檢測系統(tǒng)準確性和實時性兩個方面的要求。下一步的工作是探索提高算法的智能性，減少訓(xùn)練環(huán)節(jié)的人工判定，提高訓(xùn)練的效率。

[參考文獻]

[1]周賢善，羅兵.AdaBoost算法在AOI統(tǒng)計學(xué)習(xí)建模中的應(yīng)用[J].長江大學(xué)學(xué)報，2007，4(1)： 88-90.

[2]鄺泳聰，歐陽高飛，謝宏威，等.基于統(tǒng)計分析的PCB組裝缺陷特征學(xué)習(xí)方法[J].計算機應(yīng)用研究，2010，27(2)： 775-777，783.

[3]Wu Fupei，Zhang Xianmin. An inspection and classification method for chip solder joints using color grads and boolean rules[J].Robotics and Computer-Integrated Manufacturing，2014，30(5)： 517-526.

[4]吳浩，張憲民，鄺泳聰，等.基于統(tǒng)計建模的電子元件焊點圖像匹配算法[J].華南理工大學(xué)學(xué)報，2012，40(1)： 64-68.

[5]謝宏威，張憲民，鄺泳聰.基于圖像特征統(tǒng)計分析的PCB焊點檢測方法[J].儀表儀器學(xué)報，2011，32(2)： 401-407.