孫國棟，張 楊

(湖北工業(yè)大學(xué) 機(jī)械工程學(xué)院，湖北 武漢 430068)

?

FPC補(bǔ)強(qiáng)片貼片質(zhì)量視覺檢測(cè)系統(tǒng)設(shè)計(jì)

孫國棟，張 楊

(湖北工業(yè)大學(xué) 機(jī)械工程學(xué)院，湖北 武漢 430068)

基于撓性印制電路板補(bǔ)強(qiáng)片貼裝質(zhì)量的檢測(cè)要求，從硬件與軟件系統(tǒng)設(shè)計(jì)出發(fā)，開發(fā)適用于FPC補(bǔ)強(qiáng)片的貼片質(zhì)量視覺檢測(cè)系統(tǒng)。采用自主設(shè)計(jì)的弧形機(jī)架簡(jiǎn)化標(biāo)定過程并減少硬件設(shè)備對(duì)圖像采集的影響。在激光三角測(cè)量法的基礎(chǔ)上，引入高斯拉普拉斯算子和極限式閾值分割用以分離散射光斑的光心和散射光區(qū)域，同時(shí)采用形態(tài)學(xué)運(yùn)算進(jìn)一步分離出光心區(qū)域。運(yùn)用矩的不變性進(jìn)行橢圓擬合并將其中心位置的改變轉(zhuǎn)換為補(bǔ)強(qiáng)片厚度的變化，更易于觀測(cè)。實(shí)驗(yàn)結(jié)果表明，改變結(jié)構(gòu)元素的大小，光斑中心位置的波動(dòng)為1.15像素，且最大誤差僅達(dá)0.82像素，若閉運(yùn)算結(jié)構(gòu)元素設(shè)定為8，能進(jìn)一步提高檢測(cè)精度與檢測(cè)效率。

機(jī)器視覺；FPC補(bǔ)強(qiáng)片；激光三角測(cè)量法；橢圓擬合

引言

撓性印制電路板(flexible printed circuit，F(xiàn)PC) 是以聚酰亞胺或聚酯薄膜為基材制成的具有高度可靠性的印刷電路，廣泛地應(yīng)用于航天、軍事、手機(jī)、數(shù)碼相機(jī)等領(lǐng)域。FPC因其材質(zhì)柔軟需要在某些指定部位貼上補(bǔ)強(qiáng)片以加強(qiáng)其硬度，而貼裝誤差是造成產(chǎn)品缺陷的重要原因之一，故其貼裝性能對(duì)生產(chǎn)過程的質(zhì)量控制十分重要[1]。受貼裝機(jī)械、粘接膠和補(bǔ)強(qiáng)片材質(zhì)的影響，往往會(huì)出現(xiàn)補(bǔ)強(qiáng)片錯(cuò)貼、漏貼和多貼等情況。針對(duì)FPC材質(zhì)柔軟、待檢測(cè)區(qū)域較多等特點(diǎn)，本系統(tǒng)結(jié)合機(jī)器視覺的諸多優(yōu)勢(shì)，運(yùn)用激光三角測(cè)量法，以提高FPC補(bǔ)強(qiáng)片貼裝質(zhì)量的檢測(cè)效率，并保證其產(chǎn)品質(zhì)量。

1 FPC補(bǔ)強(qiáng)片貼片質(zhì)量視覺檢測(cè)系統(tǒng)

基于機(jī)器視覺的補(bǔ)強(qiáng)片貼片質(zhì)量檢測(cè)系統(tǒng)主要用于識(shí)別FPC中補(bǔ)強(qiáng)片的貼片缺陷，測(cè)量其外形尺寸、厚度和位置精度等關(guān)鍵幾何外形參數(shù)。該視覺檢測(cè)系統(tǒng)主要集成于FPC測(cè)試分揀裝置中。測(cè)試分揀裝置是集成電路生產(chǎn)線中的關(guān)鍵設(shè)備之一，用于對(duì)FPC進(jìn)行檢測(cè)，包括電測(cè)試和視覺檢測(cè)兩部分，最終分揀出合格的FPC[2]。其中視覺檢測(cè)是指對(duì)FPC的微型電路和補(bǔ)強(qiáng)片進(jìn)行檢測(cè)。

1.1 硬件子系統(tǒng)設(shè)計(jì)

視覺檢測(cè)系統(tǒng)硬件結(jié)構(gòu)(見圖1)主要由工業(yè)相機(jī)、鏡頭、弧形機(jī)架、激光發(fā)射器、透鏡、精密十字工作臺(tái)、工控機(jī)和視覺檢測(cè)軟件等部分組成。其工作流程為：送料→圖像采集→圖像識(shí)別與處理→缺陷分析。

圖1 視覺檢測(cè)系統(tǒng)硬件示意圖Fig.1 Schematic of visual inspection hardware subsystem

系統(tǒng)運(yùn)行前，根據(jù)FPC型號(hào)和測(cè)量精度的實(shí)際需求，調(diào)整相機(jī)與激光發(fā)射器在弧形機(jī)架上的位置(沿機(jī)架的法向布置)、鏡頭角度、光照強(qiáng)度等影響圖像采集質(zhì)量的因素；待送料裝置將FPC送達(dá)十字工作臺(tái)的指定位置后，觸發(fā)相機(jī)采集圖像并經(jīng)圖像采集卡傳送至工控機(jī)；應(yīng)用視覺檢測(cè)軟件依次對(duì)圖像進(jìn)行檢測(cè)與測(cè)量；分揀裝置依據(jù)處理結(jié)果對(duì)FPC中不合格的部分進(jìn)行缺陷標(biāo)識(shí)。

1.2 軟件子系統(tǒng)設(shè)計(jì)

FPC補(bǔ)強(qiáng)片貼片質(zhì)量檢測(cè)系統(tǒng)軟件按功能可分為圖像獲取、圖像處理和數(shù)據(jù)管理三大模塊，具體工作流程[3]如圖2所示。

圖2 軟件流程圖Fig.2 Flow chart of software subsystem

圖像獲取模塊控制工業(yè)相機(jī)完成FPC軟板上激光光斑圖像的采集。圖像處理模塊對(duì)采集到的圖像進(jìn)行處理，測(cè)量出光斑外形尺寸和中心位置等幾何參數(shù)。數(shù)據(jù)管理模塊對(duì)這些參數(shù)進(jìn)行數(shù)據(jù)分析，完成補(bǔ)強(qiáng)片貼片質(zhì)量的判別。

2 補(bǔ)強(qiáng)片貼片質(zhì)量檢測(cè)原理

2.1 三角測(cè)量法

補(bǔ)強(qiáng)片貼片質(zhì)量檢測(cè)硬件子系統(tǒng)采用激光三角法測(cè)量原理[4]進(jìn)行光路設(shè)計(jì)，光路如圖3所示。根據(jù)補(bǔ)強(qiáng)片表面特性，可采用激光斜射式，需滿足透鏡成像和Scheimpflug條件[5]。

圖3 激光三角法測(cè)量原理圖Fig.3 Schematic of laser triangulation measurement

圖3中，入射光束與法線的夾角為α;反射光束與法線的夾角為β;CCD像面與反射光束的夾角為δ;入射光斑與透鏡的距離為l1;透鏡與像面成像點(diǎn)的距離為l2;補(bǔ)強(qiáng)片厚度為ΔH;透鏡焦距為f。隨著補(bǔ)強(qiáng)片數(shù)量的增減，成像點(diǎn)即光斑中心在CCD像面上的移動(dòng)范圍為Δx。

(1)

由透鏡成像原理f-1=u-1+v-1知，當(dāng)入射光斑位于補(bǔ)強(qiáng)片表面A時(shí)，u=l1，v=l2，則滿足：

(2)

當(dāng)圖示位置的補(bǔ)強(qiáng)片出現(xiàn)漏貼時(shí)，入射光斑位于表面B。此時(shí)，入射光斑與透鏡的距離為l3，透鏡與像面成像點(diǎn)的距離為l4。圖中兩反射光束間的夾角為θ。由圖可知：

(3)

l1tan(α+β)=l2tanδ

(4)

由(4)式可知，入射光束、透鏡平面和CCD像面三者的延長(zhǎng)線相交于一點(diǎn)，因此，補(bǔ)強(qiáng)片表面的激光光斑不管遠(yuǎn)近，都可通過透鏡在CCD像面上成清晰的實(shí)像。

2.2 散射光斑圖像處理

受激光發(fā)射器型號(hào)、透鏡、相機(jī)曝光時(shí)間、工作環(huán)境等因素的影響，實(shí)際采集到的激光光斑圖像常有很多噪聲[6]。這些噪聲會(huì)影響光斑分析的正確性，因而需要對(duì)圖像進(jìn)行預(yù)處理，提高后續(xù)圖像分割、匹配和識(shí)別的可靠性。如圖4(a)所示，原始激光光斑圖像包含盤狀光心區(qū)域R和樹枝狀散射光區(qū)域，圖4(b)中，光斑剖面灰度曲線存在明顯毛刺，這是由于圖像中含有隨機(jī)噪聲。而區(qū)域R的灰度值均為255，同時(shí)圖像背景部分的灰度值明顯不為零，這說明圖像中包含CCD暗噪聲。

圖4 光斑圖及其剖面灰度曲線圖Fig.4 Images of laser spot and its sectioned gray curve

圖像預(yù)處理采用的高斯拉普拉斯算子[7]運(yùn)用高斯函數(shù)對(duì)光斑圖像進(jìn)行平滑處理，以抑制隨機(jī)噪聲，同時(shí)利用拉普拉斯算子根據(jù)圖像的二階微分過零點(diǎn)來判斷光斑邊緣像素點(diǎn)是否處于明區(qū)或暗區(qū)。由于區(qū)域R均由灰度值為255的像素點(diǎn)組成，而其余像素點(diǎn)的灰度值均小于255，故拉普拉斯算子能夠初步分離光心區(qū)域和散射光區(qū)域(圖5所示)，并消除CCD暗噪聲。

圖5 預(yù)處理后的光斑圖像Fig.5 Image of laser spot after preprocessing

為進(jìn)一步分離光心區(qū)域和散射區(qū)域，需要對(duì)光斑圖像進(jìn)行閾值分割。常用的自動(dòng)閾值方法包括Otsu法(最大類間方差法)、迭代閾值法等[7-8]。如圖6(a)所示，Otsu法閾值分割后，光斑圖像上的散斑數(shù)量與圖5相比明顯增加，這不利于后續(xù)的圖像識(shí)別和光斑中心的檢測(cè)。而極限式閾值分割則是選定一個(gè)趨近0或255的極限值T作為閾值，對(duì)光斑圖像進(jìn)行閾值分割。

圖6 閾值分割后的光斑圖像Fig.6 Image of laser spot after threshold segmentation

圖5中，預(yù)處理后區(qū)域R的像素點(diǎn)灰度值轉(zhuǎn)變成0，而散射光區(qū)域的像素點(diǎn)灰度值均大于0。此時(shí)閾值T應(yīng)滿足limT=0，故選取T=0.01能有效地保留區(qū)域R，并消減散射光區(qū)域。光斑圖像二值化處理后，散布在主區(qū)域R外的亮點(diǎn)都變成了值為1的像素點(diǎn)，均可視其為“噪聲”。極限式閾值分割完成后，圖6(b)中矩形方框內(nèi)像素矩陣A可表示為

上述矩陣中，“1”為散點(diǎn)噪聲，通常成裂縫狀和點(diǎn)狀分布(方框所示)且連通區(qū)域較小，針對(duì)這些“噪聲”點(diǎn)，在基本不改變區(qū)域R面積的前提下，可采用形態(tài)學(xué)閉運(yùn)算，有效地去除裂縫狀和點(diǎn)狀“噪聲”，如選取半徑為5的圓盤形結(jié)構(gòu)元素[7]進(jìn)行閉運(yùn)算，其結(jié)果如圖7所示。

圖7 光心區(qū)域R橢圓擬合圖像Fig.7 Image of ellipse fitting for optical center

2.3 光斑中心的檢測(cè)

目前，常用的光斑中心檢測(cè)算法有：重心法，要求光斑形狀規(guī)則、灰度均勻；Hough變換法，其對(duì)參數(shù)空間離散化，限制測(cè)量精度[9]。而最小二乘法易受錯(cuò)誤邊界點(diǎn)的影響[10]。這些算法在檢測(cè)精度、速度和抗干擾性上各自都存在一定的不足。

橢圓擬合法是一種精度較高、運(yùn)算速度較快的尋找光斑中心的方法。如圖7所示，采用計(jì)算光斑區(qū)域R的空間矩，以確定擬合橢圓的中心(r0，c0)、長(zhǎng)短軸長(zhǎng)度LMajor與LMinor和方向角α。區(qū)域R的面積即該區(qū)域像素個(gè)數(shù)記為A，每個(gè)像素的坐標(biāo)為(r，c)，長(zhǎng)軸方向角為α，區(qū)域R的二階行距、混合矩與列矩分別為μrr、μrc、μc c，關(guān)系如下：

(5)

那么擬合橢圓的兩軸長(zhǎng)度可表示為

(6)

(7)

橢圓的方向角α則需分2種情況考慮：

1) 當(dāng)μrr- μcc<0時(shí)

(8)

2) 當(dāng)μrr-μcc≥0時(shí)

(9)

3 檢測(cè)結(jié)果分析

為驗(yàn)證系統(tǒng)的檢測(cè)精度，采集到標(biāo)準(zhǔn)貼片和多貼情況下的原始光斑圖像，如圖8(a)和圖8(c)所示。圖8(b)和圖8(d)為兩種情況下區(qū)域R的橢圓擬合圖像。

圖8 標(biāo)準(zhǔn)和多貼下的圖像Fig.8 Images of standard and repeatable mounting

測(cè)試實(shí)驗(yàn)中，選取圓盤形結(jié)構(gòu)元素大小為5。為提高算法的檢測(cè)精度、速度和抗干擾性，改變disk大小，計(jì)算光斑的中心位置，并根據(jù)(2)式將其縱坐標(biāo)差值轉(zhuǎn)化為補(bǔ)強(qiáng)片厚度，進(jìn)行定量分析。

實(shí)驗(yàn)中所采集到的2幅光斑圖像的中心位置橫坐標(biāo)在理論上應(yīng)該是相等的，而實(shí)際處理結(jié)果(見表1和表2)與理論相符。取兩組檢測(cè)結(jié)果縱坐標(biāo)的差值，記為ΔH，并繪制如圖9所示的折線圖。測(cè)試實(shí)驗(yàn)所用補(bǔ)強(qiáng)片的厚度標(biāo)準(zhǔn)值為80.15。

表1 標(biāo)準(zhǔn)貼片的檢測(cè)結(jié)果

表2 多貼情況下的檢測(cè)結(jié)果

圖9 光心位置縱坐標(biāo)差值Fig.9 Ordinate difference of optical center

由圖9可知，改變結(jié)構(gòu)元素的大小，對(duì)光斑中心位置的尋找，影響很小，其測(cè)試值的波動(dòng)僅達(dá)1.15像素，與標(biāo)準(zhǔn)值相比最大誤差為0.82像素，該算法穩(wěn)定可靠?？紤]到算法的精度和速度，可將結(jié)構(gòu)元素disk值設(shè)定為8。

4 結(jié)論

機(jī)器視覺成功地實(shí)踐于FPC補(bǔ)強(qiáng)片貼片質(zhì)量檢測(cè)中，實(shí)現(xiàn)了貼片缺陷檢測(cè)、外形尺寸與厚度精確測(cè)量，其中弧形機(jī)架還可以應(yīng)用于立體視覺檢測(cè)。該系統(tǒng)在激光三角測(cè)量法的基礎(chǔ)上，引入高斯拉普拉斯算子和極限式閾值分割，同時(shí)采用形態(tài)學(xué)閉運(yùn)算有效地分離出散射光斑的光心區(qū)域。該系統(tǒng)在FPC表面質(zhì)量的視覺智能檢測(cè)領(lǐng)域具有廣闊的應(yīng)用前景，而且對(duì)當(dāng)前國內(nèi)市場(chǎng)上存在的相關(guān)檢測(cè)系統(tǒng)進(jìn)行了更新和完善，具有高效快捷、適應(yīng)性強(qiáng)、成本低等特點(diǎn)，可極大提高企業(yè)對(duì)補(bǔ)強(qiáng)片貼片質(zhì)量的檢測(cè)效率和測(cè)量精度，保證產(chǎn)品質(zhì)量。

[1] Ye Su，Ye Yutang，Liu Juanxiu，et al. High-precision hand-eye calibration for automatic stiffness bonder[J]. Journal of Applied Optics，2015，36(1)：71-76. 葉溯，葉玉堂，劉娟秀，等. 補(bǔ)強(qiáng)片自動(dòng)貼片系統(tǒng)高精度手眼標(biāo)定方法[J]. 應(yīng)用光學(xué)，2015，36(1)：71-76.

[2] Zheng Jinju，Li Wenlong，Wang Yuhui，et al. QFP chip visual inspection system and its inspection method[J]. China Mechanical Engineering，2013，24(3)：291-294. 鄧金駒，李文龍，王瑜輝，等. QFP芯片外觀視覺檢測(cè)系統(tǒng)及檢測(cè)方法[J].中國機(jī)械工程，2013，24(3)：291-294.

[3] Zhao Daxing，F(xiàn)eng Wei，Sun Guodong，et al. High precision measurement system of micro-electronic connector based on machine vision[J]. Journal of Applied Science，2013，13 (22)：5363-5369.

[4] Toru Oka. Development of a micro-optical distance sensor[J]. Sensors and Actuators，2003，10(2)：261-269.

[5] Xu Junfeng. The system of laser triangulation measuring[D]. Jilin：Changchun University of Science and Technology，2012. 徐俊峰. 激光三角法測(cè)距系統(tǒng)[D]. 吉林：長(zhǎng)春理工大學(xué)，2012.

[6] Tang Ying. Software design for laser spot profile analysis system[D]. Wuhan：Huazhong University of Science and Technology，2008. 唐穎. 激光光斑形狀分析儀的軟件系統(tǒng)設(shè)計(jì)[D]. 武漢：華中科技大學(xué)，2008.

[7] Gonzalez R，Woods R，Eddins S. Digital image processing using MATLAB [M]. Second Edition. New York：McGraw Hill，2011.

[8] Gonzalez R，Woods R. Digital image processing [M]. Third Edition. New Jersey：Prentice Hall，2010.

[9] Wang Lili，Hu Zhongwen，Ji Hangxin. Laser spot center location algorithm based on Gaussian fitting[J]. Journal of Applied Optics，2012，33(5)：985-989. 王麗麗，胡中文，季杭馨. 基于高斯擬合的激光光斑中心定位算法[J]. 應(yīng)用光學(xué)，2012，33(5)：985-989.

[10]Wei Ling，Zeng Tao，Lu Yanhua，et al. A fast ellipse center computation algorithm for optical power-meter[J]. Opto-Electronic Engineering，2012，39(12)：26-31. 魏凌，曾滔，陸艷華，等. 一種用于光焦度計(jì)的橢圓中心快速計(jì)算方法[J]. 光電工程，2012，39(12)：26-31.

Design of mount quality visual inspection system for FPC stiffeners

Sun Guodong, Zhang Yang

(School of Mechanical Engineering, Hubei University of Technology，Wuhan 430068，China)

According to the measuring requirements of mount quality for flexible printed circuit (FPC), starting from the designs of the hardware and software subsystems, an automatic mount quality inspection system based on machine vision was developed. The use of self-designed arc frame was utilized to simplify the process of calibration and reduce the influence of hardware on image acquisition. On the basis of laser triangulation method, the Laplacian of Gaussian operator and ultimate threshold segmentation methods were introduced to distinguish between centre and scattered area for the scattered light spot. And then the centric region was separated out by morphological closing operation. Meanwhile, the invariance of spatial moments was applied to ellipse fitting whose central position was converted to the change of stiffener on thickness that was easier to make observation. The results show that the fluctuation of spot center location is 1.15 pixels. Furthermore, the maximum error of location is only 0.82 pixels. And if the structure element of closed operation is 8, it can further improve the detection accuracy and efficiency.

machine vision; FPC stiffener;laser triangulation measurement; ellipse fitting

1002-2082(2015)06-0942-06

2015-06-29；

2015-09-01

國家自然科學(xué)基金項(xiàng)目(51205115)；大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(201310500007)

孫國棟(1981-)，男，湖北天門人，副教授，博士，主要從事產(chǎn)品質(zhì)量視覺檢測(cè)與機(jī)器學(xué)習(xí)等。

E-mail：sgdeagle@163.com

張楊(1992-)，男，湖北黃石人，碩士研究生。主要從事產(chǎn)品質(zhì)量視覺檢測(cè)。E-mail：zhangyhgd@163.com

TP23；TH741

A

10.5768/JAO201536.0604002