苑瑋琦，張俊朋

(沈陽工業(yè)大學(xué) 視覺檢測技術(shù)研究所，沈陽 110870)

柔性印刷線路板LED貼片質(zhì)量視覺檢測方法

苑瑋琦，張俊朋

(沈陽工業(yè)大學(xué) 視覺檢測技術(shù)研究所，沈陽 110870)

柔性印刷線路板中LED的粘貼需經(jīng)過點(diǎn)銀、貼片、封膠等工藝，其中貼片過程中會產(chǎn)生漏粘、異物、粘斜、偏移等一系列質(zhì)量問題；提出了一套基于機(jī)器視覺的貼片質(zhì)量在線檢測方法:通過最小外接矩形獲取有效區(qū)域的范圍，利用基于輪廓特征的模板匹配對貼片所在連接盤進(jìn)行定位；利用動態(tài)模板匹配檢測漏粘缺陷；通過平均灰度值比較法檢測LED上的異物缺陷；采用有效區(qū)域與LED區(qū)域的交集與差集對粘斜與偏移缺陷進(jìn)行檢測；該方案已應(yīng)用于工業(yè)生產(chǎn)線，并且具有較高的檢測準(zhǔn)確率。

貼片缺陷；最小外接矩形；模板匹配；平均灰度值；矩形度

0 引言

隨著生產(chǎn)技術(shù)的發(fā)展，柔性印刷線路板得到了越來越廣泛的應(yīng)用，而本文研究的柔性印刷線路板主要用于筆記本電腦鍵盤上電路的連通。鍵盤上除了按鍵之外還有LED燈，本文涉及到的LED燈最小為1 mm×2 mm,最大為3 mm×3 mm。LED燈的粘貼要經(jīng)過點(diǎn)銀、貼片、封膠等工藝。其中貼片工藝要求貼片式LED燈粘貼在兩個銀點(diǎn)之上，且不能超出規(guī)定的有效區(qū)域。實際操作過程中，由于人工操作的失誤或者貼片機(jī)中的貼片不足，會出現(xiàn)LED漏粘、LED上有異物、LED粘斜、LED偏移等缺陷。

通過EI搜索引擎、中國知網(wǎng)、中國專利數(shù)據(jù)庫，沒有檢索到關(guān)于柔性印刷線路板LED貼片質(zhì)量檢測方面的報道，但檢索到剛性印刷線路板貼片表面缺陷檢測的相關(guān)文獻(xiàn)。針對剛性印刷線路板的貼片缺陷檢測問題，文獻(xiàn)[1]采用黑白攝像機(jī)對陶瓷電容成像，采用閾值分割、Blob分析及圖像算術(shù)運(yùn)算對陶瓷電容表面的孔洞、缺角、表面污點(diǎn)等缺陷進(jìn)行檢測，雖然本項目也涉及到表面污點(diǎn)檢測，但是與文獻(xiàn)[1]的不同之處在于本項目所檢測的貼片式LED有黃色、琥珀色、黑色等，且大小也不完全相同，所以文獻(xiàn)[1]的方法不適合本項目。文獻(xiàn)[2]采用二值投影的梯度來確定兩極端面位置，然后求出元件的中心位置，根據(jù)與預(yù)設(shè)的中心進(jìn)行比較進(jìn)而判斷元件是否偏移。而本項目涉及到的黑色貼片LED兩端面與LED本身在灰度值上并未明顯區(qū)分，且其有效區(qū)域的范圍是由連接盤確定，所以文獻(xiàn)[2]的方法同樣不適合本項目?；谝陨锨闆r，本文提出了一種基于機(jī)器視覺的柔性印刷線路板LED貼片質(zhì)量在線檢測方法，在貼片機(jī)進(jìn)行貼片后，對貼片質(zhì)量進(jìn)行在線檢測。

1 有效區(qū)域的獲取

硬件平臺搭建完成后，對貼片之后的柔性印刷線路板進(jìn)行圖像采集，由于需要獲取有效區(qū)域，所以也需要對未點(diǎn)過銀漿和貼片的柔性印刷線路板進(jìn)行圖像采集，我們稱未點(diǎn)過銀漿與貼片的圖像為原始圖像。采集到的原始圖像如圖1(a)所示。LED燈粘貼的有效范圍左側(cè)不能超過左側(cè)紅線框的最左側(cè)，右側(cè)不可超過右側(cè)紅線框的最右側(cè)，上側(cè)不可超過兩個紅線框的最上側(cè)，下側(cè)不可超過紅線框的最下側(cè)。采集到的貼片圖像如圖1(c)所示。

為了獲取有效區(qū)域，本文利用部分輪廓作為模板對原始圖像進(jìn)行匹配，模板如圖1(d)所示，因為所檢測的貼片除了圖1(c)所示的圖像外，還有連接盤為90度的情況，如圖1(e)所示。所以采用的模板匹配的最大旋轉(zhuǎn)角度為90度，最小匹配分?jǐn)?shù)選擇0.85。以圖1(a)為例，匹配到的區(qū)域如圖1(f)所示，對區(qū)域做最小外接矩形[3]。在統(tǒng)計學(xué)中，用矩來描述隨機(jī)變量的分布形態(tài)[4]，將矩的定義推廣到圖像中，可以把像素點(diǎn)值作為隨機(jī)變量值f(x,y)，其中(x,y)表示像素點(diǎn)的坐標(biāo)，則感興趣區(qū)域R的p+q階矩如式(1)所示：

(1)

由(1)式可以得到感興趣區(qū)域的兩個一階矩和零階矩，其表達(dá)式如式(2)所示：

(2)

(3)

(4)

則由零階矩和一階矩可求出感興趣區(qū)域的質(zhì)心，其表達(dá)式如式(5)所示：

(5)

由以上各式，可求出中心矩如式(6)所示：

(6)

在p+q=2時的2階中心矩可以獲得區(qū)域的長度和角度信息。根據(jù)式(6)可求出u0,0，u0,2，u1,1等。根據(jù)以上求得的參數(shù)即可獲得ROI的最小外接矩形的長度和寬度等信息。

長：

(7)

寬：

(8)

得到的最小外接矩形區(qū)域如圖1(g)所示，即為最終確定的有效區(qū)域范圍。此范圍通過仿射變換為后續(xù)檢測貼片缺陷奠定基礎(chǔ)，同時利用其長度和寬度信息為后續(xù)連接盤模板的獲取提供數(shù)據(jù)。

圖1 有效區(qū)域獲取過程圖

2 對貼片后的連接盤進(jìn)行定位

圖像中除了連接盤外還有銀線，為了避免銀線對貼片質(zhì)量檢測造成的誤判，采用基于輪廓特征的模板匹配對連接盤進(jìn)行定位，以縮小檢測范圍。

2.1 連接盤模板的獲取方法

首先，通過圖1(d)中的輪廓作為模板，利用模板匹配方法定位到連接盤區(qū)域，通過像素外擴(kuò)，只獲取包含連接盤區(qū)域的圖像，如圖2(a)所示。

其次，通過canny算子提取連接盤區(qū)域的邊界。提取出的連接盤邊界信息如圖2(b)所示。對圖2(b) 分析可知，連接盤外輪廓具有最大長度，通過長度信息即可提取出連接盤外輪廓。提取出的連接盤外輪廓如圖2(c)所示。

第三，根據(jù)最終獲得的有效區(qū)域進(jìn)行長度或者寬度的像素內(nèi)縮，生成一個比有效區(qū)域小的最小外接矩形，通過其與連接盤外輪廓求差集，即可獲得最終的模板輪廓。獲得的模板輪廓如圖2(d)所示。

圖2 貼片后連接盤定位過程圖

2.2 連接盤匹配旋轉(zhuǎn)角度的獲取

(9)

根據(jù)(1)式選擇合適的d2,求出的最大旋轉(zhuǎn)角度為：

即為連接盤匹配時的最大旋轉(zhuǎn)角度。

獲取到模板輪廓及最大旋轉(zhuǎn)角度后，即可對貼片后的連接盤進(jìn)行定位，本項目采用的最小匹配分?jǐn)?shù)為0.75。匹配后經(jīng)過仿射變換，映射出的連接盤輪廓如圖2(f)所示。

3 貼片缺陷檢測方法

利用基于輪廓特征的模板匹配對連接盤實現(xiàn)定位之后，即可選取只有連接盤和貼片區(qū)域的圖像，如圖3(a)所示。在圖3(a)的圖像中，對LED貼片進(jìn)行漏粘、異物、粘斜、偏移缺陷檢測，不僅能夠縮小檢測范圍，而且能夠提高檢測速度。

3.1 貼片漏粘缺陷檢測方法

在貼片機(jī)工作過程中，由于貼片材料用完后沒有及時更換，或者操作人員的不當(dāng)操作，會導(dǎo)致LED貼片漏粘缺陷的出現(xiàn)，漏粘缺陷屬于LED貼片缺陷檢測最嚴(yán)重的缺陷。LED漏粘示意圖如圖3(b)所示。

由于每個板型的LED并不相同，所以LED漏粘檢測采用動態(tài)模板匹配?，F(xiàn)羅列出其中的幾種LED貼片類型，如圖3(c)、3(d)、3(e)、3(f)、3(g)所示。在進(jìn)行模板匹配之前，將彩色圖像轉(zhuǎn)換為灰度圖像，手動框選出LED貼片圖像，將框選出的LED貼片圖像作為模板圖像進(jìn)行注冊，并根據(jù)其型號進(jìn)行命名。同時將注冊的LED貼片圖像與采集到的經(jīng)過范圍限制的柔性印刷線路板進(jìn)行相似性度量，本文采用歸一化互相關(guān)系數(shù)(NCC)作為度量原則。

設(shè)t(r,c)為注冊模板T內(nèi)的任意一點(diǎn)的灰度值，f(r+u,c+v)為T平移到圖像上的位置(u,v)時的灰度值，則歸一化互相關(guān)系數(shù)如式(10)所示：

(10)

其中:mt表示的是模板的平均灰度值，st2表示模板中所有像素灰度的均方差，其表達(dá)式如式(11)、式(12)所示。

(11)

(12)

(13)

由以上可知，NCC的值越大，兩幅圖像越相似[5]。模板匹配后得到了被匹配到的LED貼片的中心坐標(biāo)和與標(biāo)準(zhǔn)模板之間的角度差，利用此信息以及手動框選模板時得到的長度和寬度信息，即可得到被匹配到的LED的區(qū)域。此區(qū)域如圖3(h)中藍(lán)色所示。如果NCC=0,那么說明被匹配的圖像中沒有模板的示例，即為LED漏粘。同時在檢測過程中根據(jù)相應(yīng)的板型，選擇相應(yīng)的注冊模板，以完成對不同類型LED貼片的檢測。

圖3 LED漏粘缺陷檢測過程圖

3.2 貼片異物與粘斜及偏移缺陷檢測

3.2.1 貼片異物缺陷檢測方法

在貼片機(jī)進(jìn)行貼片操作后，柔性印刷線路板在流水線上移動，由于移動過程中的人為干擾或者其他影響，會導(dǎo)致LED貼片上有異物。異物不但影響LED貼片的外觀，而且嚴(yán)重的會覆蓋LED貼片的發(fā)光部位，導(dǎo)致產(chǎn)品不合格。正常圖像如圖4(a)所示，異物缺陷圖像如圖4(b)所示。

本文采用平均灰度值比較法，進(jìn)行LED貼片異物缺陷檢測。在LED貼片漏粘檢測注冊LED模板時，可以得到模板圖像的平均灰度值，記為Mm。同時，也可以得到被檢測柔性印刷線路板中匹配到的LED貼片的平均灰度值Mt。如果|Mm-Mt|≥10，則判為LED上有異物。

平均灰度值的表示方式如式(14)所示：

(14)

3.2.2 貼片粘斜與偏移缺陷檢測方法

由于操作人員對貼片機(jī)操作的失誤或者其他原因，會導(dǎo)致LED貼片粘斜及偏移的情況出現(xiàn)，粘斜缺陷圖像如圖4(c)所示，偏移缺陷圖像如圖4(d)所示。

本文針對LED貼片粘斜與偏移缺陷檢測采取的方法步驟為：

第一步，利用仿射變換映射出規(guī)定的有效區(qū)域。仿射變換的表達(dá)式如式(15)所示。

(15)

第二步，利用映射出的規(guī)定的有效區(qū)域4(e)與匹配到的LED區(qū)域如圖4(f)所示，求交集，交集示意圖如圖4(g)區(qū)域所示。計算交集的矩形度，如果其矩形度不滿足要求，則判為LED粘斜。如果矩形度滿足要求，則執(zhí)行第三步。圖4(g)交集區(qū)域的矩形度小于0.93，所以判為LED粘斜。而圖4(d)的有效區(qū)域與LED區(qū)域的交集的矩形度明顯大于0.93，所以執(zhí)行第三步。

第三步，計算LED區(qū)域與有效區(qū)域的差集，以圖4(c)為例，差集區(qū)域如圖4(g)所示。計算差集區(qū)域占LED區(qū)域本身的比列。如果比列滿足要求，則判為合格，如果比例不滿足要求，則判為偏移。利用比例作為檢測標(biāo)準(zhǔn)不僅能夠解除LED大小對檢測結(jié)果的影響，而且能夠提高程序的魯棒性。本文利用的標(biāo)準(zhǔn)比例為0.05，而圖4(h)的差集區(qū)域占整個LED區(qū)域的比例為0.43，所以判為LED偏移缺陷。

圖4 LED異物與粘斜及偏移缺陷檢測圖

4 實驗結(jié)果

在完成視覺檢測系統(tǒng)的硬件部分之后，即可利用本文所提的檢測方法對柔性印刷線路板的LED貼片質(zhì)量進(jìn)行在線檢測，

所設(shè)計的軟件交互界面如圖5所示。

圖5 LED貼片質(zhì)量視覺檢測軟件交互界面

目前所檢測的柔性印刷線路板上最少有1個LED貼片，最多有3個LED貼片，且每塊底板上最少放置5塊柔性印刷線路板，最多放置9塊柔性印刷線路板，根據(jù)企業(yè)要求，從拍攝圖片到LED貼片檢測結(jié)果顯示，每塊底板上放置的柔性印刷線路板的檢測時間不能超過3 s。經(jīng)過現(xiàn)場一個月的不間斷調(diào)試，柔性印刷線路板LED貼片視覺在線檢測系統(tǒng)已經(jīng)用在了生產(chǎn)線上。經(jīng)過現(xiàn)場對板型為094的柔性印刷線路板1個小時的不間斷測試，測試結(jié)果如表1所示。

表1 LED貼片質(zhì)量視覺檢測結(jié)果

該檢測系統(tǒng)截止發(fā)稿為止，已經(jīng)在生產(chǎn)線上運(yùn)行了兩個半月，這期間沒有發(fā)現(xiàn)漏檢或者誤檢的情況。

5 結(jié)束語

本文主要針對柔性印刷線路板LED貼片工藝過程中的漏粘、異物、粘斜、偏移缺陷，提出了一套視覺在線檢測軟件方案，利用基于輪廓特征的模板匹配定位連接盤以減少檢測范圍，同時避免銀線對檢測結(jié)果的影響，同時利用基于圖像的模板匹配尋找LED，并利用平均灰度值比較法，檢測異物缺陷。通過評估有效區(qū)域與LED區(qū)域的交集以及差集的相關(guān)條件從而確定是粘斜還是偏移缺陷。經(jīng)過理論分析與現(xiàn)場測試，本文所提方案的檢測精度和檢測速度均符合企業(yè)要求。

[1] 呂小戈. 基于機(jī)器視覺的貼片元器件外觀缺陷檢測系統(tǒng)開發(fā)[D].廣州：廣東工業(yè)大學(xué),2015.

[2] 程良倫,江偉歡. 基于二值投影的PCB元件安裝缺陷檢測算法研究[J]. 計算機(jī)工程與設(shè)計,2010(3):642-646.

[3] 苑瑋琦, 胡 迪. 利用矩實現(xiàn)植物葉片長寬的測量[J]. 計算機(jī)工程與應(yīng)用, 2013, 49(16): 188-191.

[4] 侯一民, 倫向敏. 基于矩與角點(diǎn)特征的飛機(jī)目標(biāo)識別[J]. 計算機(jī)工程與應(yīng)用, 2008, 44(16): 479-481.

[5] 陳沈軼，錢 徽，吳 錚.模板圖像匹配中互相關(guān)的一種快速算法[J].傳感技術(shù)學(xué)報，2007(6): 1325-1329.

Vision Detection Method for Quality of LED Patch on FPC

Yuan Weiqi, Zhang Junpeng

(Computer Vision Group, Shenyang University of Technology, Shenyang 110870, China)

The LED on the flexible printed circuit board need to be gone through silver point, patch, glue sealing and other processes. During the patch, there could produce a series quality problem, such as patch leak, rarity, stick inclined and offset and so on. Aiming at above-mentioned flaws, an online detection method of patch is put forward by machine vision: Smallest bounding rectangle is adopted to get the range of effective area, and template matching based on contour-feature is used to locate the land of patch. Dynamic template matching is used to detect patch leak. Average gray value is adopted to detect rarity. The intersection and difference of effective area and LED domain is applied, which detect the stick inclined and offset. The proposed scheme which has been already used on-line indicated that this scheme has a high detection accuracy.

patch flaws; smallest bounding rectangle; template matching; average gray value; rectangularity

2016-07-13；

2016-08-31。

國家自然科學(xué)基金項目(61271365)。

苑瑋琦(1960-)，男，遼寧沈陽人，博士，教授，博士生導(dǎo)師，主要從事視覺檢測技術(shù)、生物特征識別等方向的研究。

1671-4598(2017)01-0020-04DOI：10.16526/j.cnki.11-4762/tp

TP

A