陳昕，方成剛

（南京工業(yè)大學(xué) 機(jī)械與動(dòng)力工程學(xué)院，江蘇 南京211800）

1 引 言

字符型液晶屏是一種用于顯示電動(dòng)車碼數(shù)、鐘表時(shí)間等功能的產(chǎn)品，其字符能否正常顯示決定了該產(chǎn)品的合格與否。傳統(tǒng)的字符檢測(cè)依靠人工質(zhì)檢，存在誤判、漏判等問(wèn)題。

近年來(lái)，由于機(jī)器視覺、圖像處理的快速發(fā)展，基于圖像的缺陷檢測(cè)技術(shù)引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。劉偉［1］等針對(duì)SMD字符，提出了一種基于連通域法的輪廓特征分析提取算法，將字符輪廓特征與標(biāo)準(zhǔn)字符的輪廓特征進(jìn)行匹配。李定珍［2］等針對(duì)VFD字符，提出了一種基于質(zhì)心直線擬合的檢測(cè)算法，通過(guò)最小二乘法進(jìn)行直線擬合，進(jìn)行基于平行直線的小角度傾斜校正，然后對(duì)不同點(diǎn)亮模式的圖像特征進(jìn)行判別。徐珩［3］等通過(guò)借助多張字符圖像來(lái)配準(zhǔn)字符，以消除字符位姿變化帶來(lái)的影響，并通過(guò)像素面積、灰度值特征來(lái)進(jìn)行缺陷判別。徐煒東［4］等提出了一種基于形狀模板的ASMIM匹配算法，并利用加權(quán)歸一化向量點(diǎn)積相似度來(lái)判別缺陷。鄭菁菁［5］等通過(guò)提取字符的像素密度特征以及運(yùn)用字符映射算法進(jìn)行缺陷檢測(cè)。鄭魁敬［6］等通過(guò)字符灰度密度分布和灰度差的自適應(yīng)閾值亮度法對(duì)字符區(qū)域進(jìn)行遍歷，進(jìn)行字符的灰度缺陷檢測(cè)。李海山［7］等通過(guò)提取字符樣本圖像顏色直方圖特征對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，達(dá)到色彩缺陷檢測(cè)的效果。

以上算法中存在以下不足：?jiǎn)我坏妮喞?、幾何特征檢測(cè)缺陷的準(zhǔn)確度較低。字符顏色、灰度缺陷檢測(cè)目前還處于起步階段，將以上兩種缺陷檢測(cè)相結(jié)合的算法還比較少。本文使用Hu不變矩來(lái)描述字符結(jié)構(gòu)特征，采用Zernike矩來(lái)彌補(bǔ)Hu矩所不能描述的高階矩信息［8］；使用顏色矩來(lái)描述字符在HSV通道下的顏色亮度特征，采用灰度矩來(lái)彌補(bǔ)顏色矩所不能描述的灰度信息。運(yùn)用2DPCA技術(shù)對(duì)上述矩進(jìn)行融合，通過(guò)歐氏距離來(lái)衡量相似度達(dá)到缺陷檢測(cè)的效果，最終通過(guò)實(shí)驗(yàn)驗(yàn)證該算法的可靠性。

2 多特征矩檢測(cè)框架

2.1 ROI區(qū)域提取

ROI（Region of interest）提 取是從被 處理的原始圖像中以方框、圓、橢圓、不規(guī)則多邊形等方式勾勒出需要處理的區(qū)域［9］。本文研究對(duì)象為液晶屏圖像中單個(gè)字符，針對(duì)字符字體的特點(diǎn)，結(jié)合圖像處理手段可提取各字符所在區(qū)域。

提取出完整的字符是實(shí)現(xiàn)特征矩陣提取和特征描述以及缺陷檢測(cè)的關(guān)鍵［10］。對(duì)圖像進(jìn)行去噪、二值化、Canny邊緣檢測(cè)預(yù)處理之后，通過(guò)Hough直線檢測(cè)進(jìn)行傾斜校正，形態(tài)學(xué)處理連接字符內(nèi)部線段，連通域分析提取各字符區(qū)域來(lái)實(shí)現(xiàn)ROI區(qū)域提取，如圖1所示。

圖1 ROI區(qū)域提取實(shí)現(xiàn)Fig.1 Implementation of ROI region extraction

2.2 檢測(cè)總體框架

液晶屏字符常見缺陷有：斷線、漏線；亮度過(guò)高、過(guò)低等。上述缺陷采用字符的結(jié)構(gòu)（輪廓）、顏色（灰度）特征進(jìn)行描述。字符特征矩陣包括輪廓矩陣、灰度矩陣。輪廓矩陣中包括Hu矩、Zernike矩［11］，灰度矩陣中包括顏色矩、灰度矩［12］。通過(guò)構(gòu)造字符特征矩陣并采用2DPCA方式對(duì)矩陣進(jìn)行融合，最終運(yùn)用歐式距離進(jìn)行模板圖像特征矩與待檢測(cè)圖像特征矩的相似度衡量達(dá)到缺陷檢測(cè)的目的，檢測(cè)框架如圖2所示。

圖2 多特征矩檢測(cè)框架Fig.2 Multi-feature moment detection framework

3 特征矩提取

3.1 Hu矩的提取

圖像的Hu矩是一種具有旋轉(zhuǎn)、平移和尺度不變性的圖像特征。文生平等［11］利用Hu矩算法對(duì)字符進(jìn)行識(shí)別，結(jié)果表明Hu矩能夠很好地提取字符輪廓特征參數(shù)。一張大小為C×R的圖像f(x，y)，其（p+q）階原點(diǎn)矩、中心矩以及歸一化中心矩為：

式中p、q分別為圖像像素坐標(biāo)中水平距離和垂直距離的階數(shù)。x0、y0為目標(biāo)區(qū)域的質(zhì)心坐標(biāo)，x0=m01/m00，y0=m01/m00。圖像的Hu不變矩為：

式中η02、η11和η20為二階歸一化中心矩，η03、η12、η21和η30為三階歸一化矩陣。針對(duì)無(wú)缺陷、有缺陷兩種字符的不同姿態(tài)，如圖3所示，其對(duì)應(yīng)的Hu不變矩的特征量（由于7個(gè)數(shù)變化范圍較大，為了便于比較，將特征量取對(duì)數(shù)顯示）如表1所示。

圖3 不同姿態(tài)字符Fig.3 Different attitude characters

表1 不同姿態(tài)下的Hu矩Tab.1 Hu moment under different poses

3.2 Zernike矩的提取

Zernike矩能有效識(shí)別屬于同一類別卻有著較大形狀輪廓差異的字符。王峰等利用Zernike矩識(shí)別車牌字符，結(jié)果表明Zernike矩能夠很好地提取字符輪廓特征參數(shù)［13］。Zernike的正交多項(xiàng)式{Vnm(x，y)}=Rnm()

ρejmθ，其中：

式中：n、m為Zernike多項(xiàng)式的階數(shù)；n為非負(fù)的正數(shù)；(n-|m|)是偶數(shù)，|m|≤n；Rnm(ρ)為點(diǎn)（x，y）的徑向多項(xiàng)式。對(duì)上文中C×R大小的數(shù)字化離散的圖像用求和來(lái)代替積分，其Zernike矩Znm為：

針對(duì)圖4中無(wú)缺陷、有缺陷兩種字符的不同姿態(tài)，由于Hu矩的7個(gè)不變矩僅由二階、三階（低階矩）構(gòu)成，為了將字符的輪廓、結(jié)構(gòu)特征描述得更加準(zhǔn)確，采用Zernike矩的6、7、8、9、10、11階矩（高階矩）進(jìn)行計(jì)算，矩的計(jì)算結(jié)果如表2所示。

表2 不同姿態(tài)下的Zernike矩Tab.2 Zerniek moment under different poses

圖4 亮度缺陷HSV通道對(duì)比Fig.4 Comparison of HSV channels with luminance defects

3.3 顏色矩的提取

顏色矩是一種圖像顏色特征的表示方法［14］。由于顏色信息主要分布于低階矩中，所以采用一階、二階、三階可以表達(dá)字符的顏色分布［15］。顏色矩表示為：

式中，Pi，j表示字符圖像中第i個(gè)顏色通道分量中灰度為j的像素出現(xiàn)的概率，N表示圖像中像素的個(gè)數(shù)。

由于HSV空間飽和度、明度與人眼的主觀認(rèn)識(shí)比較符合［15］，因此，針對(duì)字符亮度缺陷，本文采用H、S、V三個(gè)分量以及三階顏色矩組成一個(gè)9維的直方圖向量，字符的顏色特征Fcolor表示如式（12）所示，正常亮度、過(guò)高亮度兩張字符圖像的H、S、V三分量比較如圖4所示。

根據(jù)顏色特征式（12）可提取出正常亮度、過(guò)高亮度兩張字符的顏色矩陣F，如表3所示。

表3 亮度缺陷下的顏色矩Tab.3 Color moments under brightness defects

3.4 灰度矩的提取

本文灰度矩是字符圖像的灰度特征。鄭魁敬等［6］通過(guò)灰度矩算法來(lái)檢測(cè)手機(jī)背面缺陷，結(jié)果表明灰度矩能夠很好地描述目標(biāo)區(qū)域的灰度分布特征情況?；叶染谿包括灰度特征中的以下部分：灰度均值m：表示圖像的亮暗不同；灰度方差σ2：反應(yīng)了字符亮度缺陷圖像的灰度值的離散程度；灰度熵e：灰度熵的大小具有不同的意義，值越大表示字符圖像包含的信息越多；偏斜度ξ：表示目標(biāo)區(qū)域灰度直方圖的偏斜性，值越小表示直方圖越對(duì)稱。

式中，K表示灰度級(jí)數(shù)，Ki表示第i個(gè)灰度級(jí)，P(Ki)表示Ki出現(xiàn)的概率。針對(duì)圖5并結(jié)合式（13）提取灰度矩，如表4所示。

表4 亮度缺陷下的灰度矩Tab.4 Gray moments under brightness defects

圖5 100張缺陷字符歐氏距離分布Fig.5 Euclidean distance distribution of 100 defective characters

4 特征矩融合與缺陷判別

4.1 2DPCA的矩陣融合

將4組 特 征矩Hu、Zernike、F、G組成m×n的矩陣T，其中m=4，n=max(n1，n2，n3…nm，)，若矩陣維數(shù)小于n，則向量維數(shù)向后補(bǔ)0使其維數(shù)擴(kuò)展為n，得到字符特征矩T為：

2DPCA通過(guò)降維的方式，將T投影到低維的平面上，獲得低維融合特征［16］。假設(shè)X為一個(gè)n維歸一化列向量，將T按公式（15）投影到X上獲得一個(gè)m維的投影列向量Y：

字符圖像所有的特征向量投影到X上就得到所有樣本的投影向量，投影向量之間的分散程度代表了X區(qū)分樣本的能力，本文采用投影向量的協(xié)方差J（X）表示分散程度。當(dāng)J（X）的值取最大時(shí)，X對(duì)特征向量的區(qū)分能力最強(qiáng)，如式（16）所示：

定義Gt為特征矩陣的相關(guān)矩陣，假設(shè)有M個(gè)特征矩陣數(shù)據(jù)，m×n的矩陣Ti(i=1，2，…，M)，則平均特征矩陣為：

則：

綜上，

因此，使得J（X）最大化的投影方向集{X1，X1，…，Xd}是Gt的前d個(gè)最大特征值對(duì)應(yīng)的彼此正交的特征向量，d需要滿足：

式中，λi是Gt的n個(gè)特征值，σi為特征值的貢獻(xiàn)度因子，σcum為前d個(gè)特征值的累計(jì)貢獻(xiàn)度。將矩陣T投影到這些向量集上即可得到融合后的特征向量：

由YK主成分向量形成m×d的矩陣Z=[Y1，Y2，…Yd]稱為字符特征矩陣T的融合特征矩陣。

4.2 缺陷判別

為了衡量標(biāo)準(zhǔn)圖像與待檢測(cè)圖像之間特征矩的相似程度［17］，本文采用歐式距離來(lái)衡量［18］。假設(shè)Zi、Zj分別是標(biāo)準(zhǔn)字符、待檢測(cè)字符的融合特征矩，則歐氏距離為：

為了達(dá)到字符缺陷檢測(cè)的目的以及避免誤判、漏判，結(jié)合融合特征矩陣之間的歐氏距離，通過(guò)實(shí)驗(yàn)法確定缺陷閾值，從而判定是否存在缺陷。

5 實(shí)驗(yàn)驗(yàn)證分析

由于液晶屏在實(shí)際生產(chǎn)過(guò)程中字符存在缺陷的幾率較小，該缺陷檢測(cè)屬于偏斜類問(wèn)題［19］。為了選取合適的缺陷閾值以防止錯(cuò)判、漏判等情況發(fā)生，選擇100張缺陷（包含亮度、輪廓缺陷）不顯著的字符圖像計(jì)算其與標(biāo)準(zhǔn)字符的歐氏距離［20］，如圖5所示。

由圖5數(shù)據(jù)可知，100張缺陷不顯著的字符圖像的特征矩與標(biāo)準(zhǔn)字符圖像的特征矩之間的歐氏距離最大值為0.498 35，最小值為0.302 26，因此滿足式（23）的歐氏距離即認(rèn)為該字符存在缺陷。

本文多特征矩融合的字符缺陷檢測(cè)算法通過(guò)Matlab2018a軟件編程實(shí)現(xiàn)。為了檢驗(yàn)算法的有效性以及缺陷閾值的穩(wěn)定性，仿照秦鐘偉等的方法［21］，采用主觀評(píng)價(jià)和客觀評(píng)價(jià)2種方式進(jìn)行評(píng)價(jià)。主觀評(píng)價(jià)是指將算法檢測(cè)的結(jié)果與人工檢測(cè)的結(jié)果做主觀對(duì)比，該方法較為直觀?？陀^評(píng)價(jià)主要是將該算法的檢測(cè)結(jié)果與同類問(wèn)題下的算法結(jié)果相比較，評(píng)價(jià)其效率以及準(zhǔn)確性。

主觀評(píng)價(jià)：從上述100張缺陷字符之外選取2張典型缺陷的字符圖像，將人工目測(cè)結(jié)果與算法檢測(cè)結(jié)果進(jìn)行對(duì)比，如圖6所示。

圖6 主觀評(píng)價(jià)結(jié)果Fig.6 Results of subjective evaluation

客觀評(píng)價(jià)：采用本文融合算法與單獨(dú)算法在相同工況下各自處理兩種典型缺陷各100張隨機(jī)字符圖像，比較識(shí)別效率（單張液晶屏圖像檢測(cè)時(shí)間）、誤判率（將正常字符判定為缺陷字符）、漏判率（將缺陷字符判定為正常字符）、準(zhǔn)確率（能夠準(zhǔn)確判別缺陷），如表5和圖7所示。

表5 本文融合特征與單一特征比較Tab.5 Comparison of fusion features and single features

圖7 本文算法與同類算法比較Fig.7 Algorithm presented in this paper compared with similar algorithms

通過(guò)上述主觀評(píng)價(jià)和客觀評(píng)價(jià)，證明了本文所提算法的穩(wěn)定性。該算法在與同類算法相同效率的情況下降低了字符的誤判率以及漏判率，效果優(yōu)于同類算法，提高了字符缺陷檢測(cè)的準(zhǔn)確性。

6 結(jié) 論

本文為了滿足液晶屏字符自動(dòng)化檢測(cè)高效、準(zhǔn)確的需求，保證檢測(cè)的低誤判率、低漏判率，提出了一種基于多特征矩融合的字符缺陷檢測(cè)算法。

將字符結(jié)構(gòu)輪廓特征的Hu矩、Zernike矩和字符顏色灰度特征的顏色矩、灰度矩，采用2DPCA的方式生成融合特征矩，并通過(guò)歐氏距離衡量標(biāo)準(zhǔn)融合特征矩與待測(cè)融合特征矩的相似度，實(shí)驗(yàn)設(shè)定缺陷相似度閾值，達(dá)到缺陷檢測(cè)的效果。

在主觀評(píng)價(jià)方面，人眼檢測(cè)結(jié)果與算法結(jié)果相比較，證明了該算法的實(shí)用性以及缺陷閾值的穩(wěn)定性；在客觀評(píng)價(jià)方面，本文算法與同類算法的比較結(jié)果表明，證明該算法具有優(yōu)于同類算法的準(zhǔn)確性，誤判率為1%，漏判率為0%，效率為0.6 s。