曾 毅, 郭龍?jiān)? 羅百通

?

基于BP神經(jīng)網(wǎng)絡(luò)和均值差分的TFT-LCD MURA缺陷檢測方法

曾 毅, 郭龍?jiān)? 羅百通

(湖南理工學(xué)院信息與通信工程學(xué)院, 湖南岳陽 414006)

TFT-LCD MURA缺陷具有背景整體亮度不均、灰度變化不明顯等特點(diǎn), 用基于機(jī)器視覺的方法從TFT-LCD圖像中分割出缺陷是非常困難的. 本文提出一種新的MURA缺陷檢測方法, 首先在分析TFT-LCD圖像中背景與MURA缺陷灰度值差異的基礎(chǔ)上, 采用均值濾波和背景差分法來抑制背景雜波, 然后采用灰度約束獲取疑似MURA缺陷區(qū)域, 最后提取疑似區(qū)域灰度特征并將其放入訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)提取缺陷目標(biāo). 結(jié)果顯示, 本文方法正確檢測概率為98.1%, 誤檢率為1.4%, 平均檢測時(shí)間為0.33秒. 仿真實(shí)驗(yàn)結(jié)果表明, 本文提出的方法對MURA缺陷的檢測非常有效, 且算法簡單, 實(shí)時(shí)性高, 易于實(shí)現(xiàn).

機(jī)器視覺; BP神經(jīng)網(wǎng)絡(luò); TFT-LCD; MURA; 缺陷檢測

引言

薄膜晶體管液晶顯示器[1](TFT-LCD)具有高分辨率、高亮度、功耗低、重量輕等優(yōu)點(diǎn), 因此被廣泛應(yīng)用于顯示器行業(yè). 但由于其制造工藝復(fù)雜, 在制造過程中難免會(huì)出現(xiàn)各種顯示缺陷[2](點(diǎn)缺陷、線缺陷、MURA缺陷等). 顯示缺陷是外觀缺陷, 它與正常的產(chǎn)品存在差異, 所以傳統(tǒng)的檢測方法是通過人工目視的方式實(shí)現(xiàn)的. 但此法易受人主觀因素影響, 且對細(xì)小缺陷及MURA缺陷檢測效果較差, 有很大局限性, 已經(jīng)不能夠滿足現(xiàn)代企業(yè)對液晶屏質(zhì)量控制以及評估的要求. 基于機(jī)器視覺[3]的檢測方法具有無接觸、無損傷、可連續(xù)長時(shí)間檢測等優(yōu)點(diǎn), 被逐漸應(yīng)用于液晶屏點(diǎn)燈檢測中. 基于機(jī)器視覺的檢測方法減少了工人的工作量, 提高了工作效率, 也使缺陷檢測更加客觀化, 提高了檢測的正確率. 因此, 用機(jī)器視覺進(jìn)行顯示缺陷檢測, 提取缺陷區(qū)域特征, 檢測和識(shí)別顯示缺陷, 具有十分重要的意義和研究價(jià)值.

TFT-LCD顯示缺陷中, 點(diǎn)缺陷、線缺陷特征明顯, 易于檢測, 而MURA(日語, 表示臟污的意思)缺陷具有邊緣模糊、對比度低、圖像中存在重復(fù)紋理背景和整體的亮度不均勻等特點(diǎn), 因此是TFT-LCD顯示缺陷中最難檢測的缺陷之一. 在TFT-LCD MURA缺陷分割方面, 國內(nèi)外學(xué)者已經(jīng)提出了多種處理方法[4~10].如JIANG[4]等用統(tǒng)計(jì)學(xué)中的方差分析和指數(shù)加權(quán)移動(dòng)平均對LCD屏中的顯示不均勻缺陷進(jìn)行研究; 盧曉鵬[5]等提出基于Chan-Vese模型的MURA缺陷快速分割方法, 通過改進(jìn)C-V模型克服TFT-LCD背景復(fù)雜圖像的分割困難; 李坤[6]等提出MURA缺陷的B樣條曲面擬合背景抑制算法, 在最小二乘法準(zhǔn)則的約束下, 采用雙三次B樣條曲面擬合算法擬合出背景, 再用原始圖像減去擬合背景, 消除亮度不均勻背景對MURA缺陷分割造成的影響; 王松芳[7]提出基于局部和全局特征, 并利用SVM(Support Vector Machine)進(jìn)行分類的觸摸屏表面缺陷檢測方法. 盡管研究的MURA分割方法很多, 但由于實(shí)際TFT-LCD顯示圖像的復(fù)雜性, 現(xiàn)有MURA缺陷檢測算法對不同生產(chǎn)工藝生產(chǎn)的TFT-LCD檢測方法的有效性還有待考量. 并且隨著TFT-LCD生產(chǎn)工藝不斷進(jìn)步, 檢測要求隨之提高, 檢測精度要求也在不斷增加. 目前市面上普遍采用29M相機(jī)成像, 并朝著47M相機(jī)發(fā)展, 圖片存儲(chǔ)的增大, 對算法的實(shí)時(shí)性要求也大大提高.

鑒于此, 本文提出基于BP神經(jīng)網(wǎng)絡(luò)[11, 12]和均值差分的MURA缺陷檢測方法, 通過將原始圖像與經(jīng)過均值濾波后的圖像進(jìn)行差分對消處理, 從而有效地抑制背景雜波, 然后利用灰度約束提取若干疑似缺陷域, 并在此基礎(chǔ)上將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于MURA缺陷的判斷, 將區(qū)域灰度特征: Homogeneity、Deviation、Entropy, 作為BP神經(jīng)網(wǎng)絡(luò)的輸入單元, 通過BP神經(jīng)網(wǎng)絡(luò)判斷輸出, 進(jìn)而找出缺陷區(qū)域. 此算法原理簡單, 計(jì)算量小, 能應(yīng)用于高分辨率成像下的MURA缺陷檢測.

1 算法簡介

一幅TFT-LCD MURA缺陷圖像可簡單描述為

在TFT-LCD MURA 缺陷圖像中, 背景在局部區(qū)域灰度變化平緩, 缺陷和噪聲則存在較大灰度值變化, 因此在局部區(qū)域內(nèi)缺陷和噪聲對背景存在一定的灰度差, 這也是肉眼能夠分辨缺陷的主要原因. 噪聲的主要來源是由成像系統(tǒng)所產(chǎn)生, 由于儀器的性能限制, 真實(shí)場景中光照變化、反射等都會(huì)產(chǎn)生噪聲. 同時(shí)TFT-LCD MURA缺陷所含信息量少、邊緣模糊、圖像對比度低、形狀多變、整體亮度不均, 這使得實(shí)現(xiàn)TFT-LCD MURA缺陷檢測存在諸多困難[13].

本文利用背景和缺陷存在灰度差這一特點(diǎn), 首先對原始圖像進(jìn)行均值濾波, 從而濾除部分背景雜波,實(shí)現(xiàn)圖像的平滑, 然后利用背景中的像素點(diǎn)灰度值與其周圍像素點(diǎn)的灰度值相關(guān)性很強(qiáng), 而缺陷區(qū)域上的灰度值與其周圍像素點(diǎn)的灰度值相關(guān)性很弱這一特性, 將濾波后的圖像與原始圖像做差分對消處理(背景差分), 背景差分圖像通過灰度約束獲得若干準(zhǔn)缺陷區(qū)域, 提取區(qū)域內(nèi)灰度特征、標(biāo)準(zhǔn)差、熵、相關(guān)性, 最后用灰度特征作為BP神經(jīng)網(wǎng)絡(luò)的輸入, 判斷區(qū)域是否為MURA缺陷區(qū)域.

1.1 二維均值濾波

使用均值濾波的目的是是利用均值濾波器對異常值不敏感的特性, 實(shí)現(xiàn)TFT-LCD圖像表面的平滑. 二維均值濾波是以窗口中×個(gè)像素點(diǎn)的灰度均值來置換中心點(diǎn)像素的灰度值. 設(shè)為一幅圖像中第行第列的像素值, 濾波窗口的大小為(一般為奇數(shù)), 以為中心點(diǎn)的濾波窗口內(nèi)所有像素點(diǎn)為, 窗口內(nèi)像素點(diǎn)總數(shù)為, 則在點(diǎn)處以為濾波窗口尺寸的輸出均值為

. (2)

二維均值濾波模板分十字形、菱形、方形和圓形等多種, 不同濾波模板適用于不同濾波對象. 考慮到本文濾波對象為MURA缺陷, 而MURA缺陷具有區(qū)域面積大、灰度變化不明顯等特點(diǎn), 經(jīng)多次實(shí)驗(yàn)綜合考慮, 最終使用圓形模板作為二維均值濾波模板.

則從左邊數(shù)圓形點(diǎn)陣為

鄰域內(nèi)像素值之和為344, 均值為16. 利用均值濾波原理, 圓形模板內(nèi)中心像素點(diǎn)的灰度值15會(huì)被16代替, 而3×3和5×5方形模板的輸出結(jié)果分別為15和17.

1.2 背景差分法

本文背景差分的基本思想是: 利用原圖像與經(jīng)均值濾波處理后圖像中所有對應(yīng)像素點(diǎn)的差來檢測MURA缺陷.

TFT-LCD圖像中的背景主要是大面積緩慢變化的低頻部分, 背景中的像素點(diǎn)灰度值與周圍像素點(diǎn)的灰度值相關(guān)性很強(qiáng), 而MURA缺陷上的灰度值因和背景存在灰度差異, 所以與其周圍像素點(diǎn)的灰度相關(guān)性較弱. 鑒于此, 可將原始圖像與均值平滑濾波后的圖像作差分處理, 從而使得背景點(diǎn)相減后的預(yù)測殘差很小, 而MURA缺陷相減后的預(yù)測殘差較大, 依此可通過灰度約束獲得疑似MURA缺陷區(qū)域. 背景差分中的任意灰度差分值, 當(dāng)存在時(shí), 此灰度值所在區(qū)域?yàn)橐伤芃URA缺陷區(qū)域, 反之, 此灰度值所在區(qū)域?yàn)榉且伤芃URA缺陷區(qū)域, 其中為灰度約束值.

1.3 BP神經(jīng)網(wǎng)絡(luò)

使用BP神經(jīng)網(wǎng)絡(luò)的目的是從疑似的MURA缺陷區(qū)域中, 找出正確的MURA缺陷區(qū)域. 因MURA缺陷處灰度值和正常區(qū)域灰度值存在微弱差異, 所以缺陷區(qū)域內(nèi)灰度特征和正常區(qū)域內(nèi)灰度特征存在不同. 因此人工選取若干MURA缺陷區(qū)域和非MURA缺陷區(qū)域, 求其區(qū)域內(nèi)的灰度值的不同灰度特征, 選取其中具有代表性的幾個(gè)灰度特征為BP神經(jīng)網(wǎng)絡(luò)的輸入層, 放入經(jīng)過訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)中, 以是否為MURA缺陷作為BP神經(jīng)網(wǎng)絡(luò)的輸出層, 依此判斷疑似區(qū)域是否為缺陷區(qū)域.

BP神經(jīng)網(wǎng)絡(luò)是誤差反向傳播多層前饋神經(jīng)網(wǎng)絡(luò)的簡稱. BP神經(jīng)網(wǎng)絡(luò)模型包括輸入層、中間層和輸出層, 其結(jié)構(gòu)如圖1所示. BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則是最速下降法, 通過誤差的反向傳播調(diào)整內(nèi)部連接的權(quán)值和閾值, 以達(dá)到減小誤差的目的[14]. 本文BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的主要過程為:

1) 確定輸入向量即MURA缺陷區(qū)域灰度特征和非MURA區(qū)域灰度特征;

2) 確定輸出向量為是否為MURA缺陷區(qū)域, 如果是則向量為[1,0], 如果不是則向量為[0,1];

3) 計(jì)算BP神經(jīng)網(wǎng)絡(luò)的層數(shù)及隱含層向量個(gè)數(shù)及初始權(quán)值、學(xué)習(xí)速率、期望誤差的選取;

4) 求出BP神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出和樣本之間的誤差;

5) 根據(jù)誤差, 必要時(shí)重復(fù)步驟1)~3)直到訓(xùn)練收斂.

2 仿真實(shí)驗(yàn)

實(shí)驗(yàn)所用的圖像是由德國SVS公司生產(chǎn)的2900W黑白面陣CCD相機(jī)拍攝的, 圖像像素為6576×4384. TFT-LCD尺寸為5.0inch, 分辨率為1920×1080像素. 計(jì)算機(jī)配置為Inter(R) Core(TM) 內(nèi)存4.0G, 算法用OPENCV語言編程實(shí)現(xiàn). 因MURA缺陷為大型缺陷, 所以在使用本文算法之前對拍攝圖像作了平滑處理.

取300幅TFT -LCD圖像做仿真實(shí)驗(yàn), 其中100幅含有各類MURA缺陷的樣本用于BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練, 另190幅含缺陷樣本和10幅不含MURA缺陷的樣本用于缺陷檢測. 濾波尺寸大小的選擇也是需要考慮的問題. 若選擇較大的濾波尺寸如100、120等, 雖能更好地減弱缺陷和噪聲, 但難免會(huì)丟失圖像中固有的灰度背景信息; 若選擇較小的尺寸又不能較好地減弱缺陷區(qū)域. 對于MURA缺陷圖像來說, MURA缺陷尺寸一般處于40~70之間, 因此均值濾波模板尺寸統(tǒng)一取為80.

2.1 背景差分法突出目標(biāo)區(qū)域

為了說明均值濾波背景差分法的有效性, 分別對均值濾波背景差分法、中值濾波背景差分法、高斯濾波背景差分法三種算法進(jìn)行對比分析. 三種算法的實(shí)驗(yàn)結(jié)果如圖2所示.

從圖2三種算法的處理結(jié)果中可以看出:

(1) 高斯濾波背景差分法無法有效抑制背景雜波, 難以突出目標(biāo)缺陷, 而且處理結(jié)果產(chǎn)生了紋理背景; 中值濾波差分法雖然可以抑制背景雜波, 突出目標(biāo)缺陷, 但也產(chǎn)生了紋理背景.

(2) 高斯濾波使用固定模板計(jì)算, 隨著高斯函數(shù)窗口增大, 計(jì)算量呈指數(shù)增長; 中值濾波需先對窗口內(nèi)數(shù)字排序, 隨著窗口增大, 窗口內(nèi)數(shù)字個(gè)數(shù)也呈幾何數(shù)增長, 計(jì)算量較大.

(3) 均值濾波背景差分法有效克服了以上兩種算法的缺陷, 能有效抑制背景雜波, 突出缺陷目標(biāo)效果較好. 從處理時(shí)間方面來看, 均值濾波只需計(jì)算窗口內(nèi)均值, 隨著窗口增大計(jì)算量幾乎不變.

2.2 MURA區(qū)域篩選

對背景差分圖像作灰度約束處理提取出疑似缺陷區(qū)域, 為保證能找出MURA缺陷區(qū)域的同時(shí)盡量分割出少的非缺陷區(qū)域, 灰度約束值取值為5. 本文計(jì)算了100幅實(shí)驗(yàn)圖像中所有區(qū)域的不同灰度特征, 表1為某幅實(shí)驗(yàn)圖像中疑似MURA缺陷區(qū)域?qū)?yīng)的灰度特征值, 其中區(qū)域3和7為缺陷區(qū)域, 其他區(qū)域?yàn)榉侨毕輩^(qū)域. 統(tǒng)計(jì)100幅實(shí)驗(yàn)圖像的灰度特征, 用主分量分析法找出適用于判斷MURA缺陷區(qū)域的三個(gè)灰度特征: Homogeneity, Deviation, Entropy, 將缺陷區(qū)域灰度特征和非缺陷區(qū)域灰度特征分別作為BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練, 訓(xùn)練收斂后對疑似MURA缺陷區(qū)域進(jìn)行判斷.

表1疑似區(qū)域灰度特征值

TFT-LCD MURA缺陷分割的效果一般無法進(jìn)行定量評價(jià), 廣泛采用的評價(jià)原則就是檢測速度和看能否分割出MURA缺陷區(qū)域且無誤分割. 因此本文選用的評價(jià)指標(biāo)為單幅圖像平均檢測時(shí)間T、正確檢測缺陷概率和誤檢概率. 正確檢測概率R和誤檢概率R分別定義為

(3)

2.3 結(jié)果分析

MURA缺陷檢測結(jié)果見表2.

從表2可以看出, 本文方法對三種常見MURA缺陷正確檢測率都較高, 且誤檢率低, 平均檢測時(shí)間少.這是因?yàn)楸疚姆椒ɡ镁挡罘旨踊叶燃s束得到疑似MURA區(qū)域, 縮小了檢測范圍, 解決了直接從整幅圖像中尋找MURA缺陷所帶來的時(shí)間損耗問題. 提取出的疑似缺陷區(qū)域內(nèi)灰度特征很容易被經(jīng)訓(xùn)練收斂的BP神經(jīng)網(wǎng)絡(luò)篩選, 缺陷的正確檢測率就會(huì)很高.

圖3、4、5為三幅典型的TFT-LCD MURA缺陷圖像, 分別為團(tuán)MURA、線MURA、影MURA. 從原始圖像的可以看到: 三幅圖像中MURA缺陷用肉眼幾乎無法識(shí)別, 經(jīng)本文選擇的均值濾波、BP神經(jīng)網(wǎng)絡(luò)方法處理后可明顯發(fā)現(xiàn)缺陷區(qū)域. 圖3、4、5的(c)和(d)分別為灰度約束檢測疑似MURA區(qū)域和BP神經(jīng)網(wǎng)絡(luò)判斷最終MURA缺陷區(qū)域. 從圖3、4、5(d)中對應(yīng)的檢測結(jié)果可以看到, 本文的算法能夠很好地檢測出MURA缺陷區(qū)域.

3 結(jié)論

針對MURA缺陷背景亮度不均、灰度變化不明顯等特點(diǎn), 提出了先均值背景差分抑制背景雜波, 再灰度約束分割疑似缺陷區(qū)域, 最后提取區(qū)域灰度特征并使用BP神經(jīng)網(wǎng)絡(luò)提取缺陷區(qū)域的MURA缺陷檢測算法. 對200幅疑似MURA缺陷圖像進(jìn)行檢測, 正確檢測率為98.1%, 誤檢率為1.4%, 平均檢測時(shí)間為0.33秒. 實(shí)驗(yàn)結(jié)果表明, 本文方法能有效、快速檢測MURA缺陷區(qū)域. 但是算法也存在一些需要解決的問題, 如均值濾波模板大小及灰度約束值等采用的是經(jīng)驗(yàn)值, 如何自動(dòng)選取這些參數(shù)有待進(jìn)一步研究. 同時(shí), 為更好地提高檢測效果, 與其他MURA缺陷分割算法相結(jié)合, 對其他算法分割結(jié)果增加本文提出的BP神經(jīng)網(wǎng)絡(luò)判斷步驟也是將來研究的一個(gè)方向.

[1] 羅麗平, 贠向南, 金基用. TFT-LCD生產(chǎn)及發(fā)展概況[J]. 現(xiàn)代顯示, 2012(03): 31~38

[2] 簡川霞. TFT-LCD表面缺陷檢測方法綜述[J]. 電視技術(shù), 2015, 39(9): 146~152

[3] 王新新, 徐江偉, 鄒偉金, 等. TFT-LCD缺陷檢測系統(tǒng)的研究[J]. 電子測量與儀器學(xué)報(bào), 2014, 28(3): 278~284

[4] JIANG B, WANG C,[J]. I2005, 43(1): 67~80

[5] 盧曉鵬, 李 輝, 劉云杰, 等. 基于Chan-Vese 模型的TFT-LCD Mura 缺陷快速分割算法[J]. 液晶與顯示, 2014, 29 (1):146~151

[6] 李 坤, 李 輝, 劉云杰, 等. LCD Mura 缺陷的B樣條曲面擬合背景抑制[J]. 光電工程, 2014, 41(2): 33~39

[7] 王松芳. 基于特征分類的低分辨率觸摸屏表面缺陷檢測[D]. 北京: 北京交通大學(xué)碩士學(xué)位論文, 2016

[8] CHEN D L, CHEN Y Q, XUE D Y.[J]., 2012: 1043~1047

[9] YI G C, RUI Z.[J]., 2015, 149: 1206~1215

[10] 畢 昕, 丁 漢. TFT-LCD Mura缺陷機(jī)器視覺檢測方法[J]. 機(jī)械工業(yè)出版社, 2010, 46(12): 13~19

[11] 王洪元, 史國棟. 人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用[M]. 北京: 中國石化出版社, 2002

[12] 黃 麗. BP神經(jīng)網(wǎng)絡(luò)算法改進(jìn)及應(yīng)用研究[D]. 重慶: 重慶師范大學(xué)碩士學(xué)位論文, 2008

[13] 李 茂. 基于機(jī)器視覺的TFT-LCD屏Mura缺陷檢測方法研究[D]. 成都: 電子科技大學(xué)碩士學(xué)位論文, 2013.

[14] 巫 影, 陳定方, 唐小兵, 等. 神經(jīng)網(wǎng)絡(luò)綜述[J]. 科技進(jìn)步與對策. 2002, 19(6): 133~134

TFT-LCD MURA Defect Detection Method Based on BP Neural Network and the Mean Difference

ZENG Yi, GUO Longyuan, LUO Baitong

(College of Information and Communication Engineering, Hunan Institute of Science and Technology, Yueyang 414006, China)

TFT-LCD MURA defects have the background overall brightness unevenness and gradation change significantly. It is very difficult that segmentation defects from TFT-LCD based on machine vision method. This paper proposes a new method for detection of MURA defects. Firstly, using mean filtering and background different to suppress background clutter, this paper analyzes gray value differences on the basis of the TFT-LCD image background and MURA defect. Then we use the gray constraint to get a suspected MURA defect region. Finally, extract gradation characteristics from suspected region into the trained BP neural network to extract defect target. Experimental results indicate that correct detection probability is 98.1%, false positive rate is 1.4%, the average detection time is 0.23 seconds. Simulation results show that the proposed method for the detection of defects MURA is very effective, and the algorithm is simple, real-time high, and easy to implement.

computer vision, BP neural network, TFT-LCD, MURA, defect detection

TP394.1; TH691.9

A

1672-5298(2017)01-0032-07

2016-10-03

湖南省高校創(chuàng)新平臺(tái)開放基金(14K042)

曾 毅(1989? ), 男, 湖南岳陽人, 湖南理工學(xué)院信息與通信工程學(xué)院碩士研究生. 主要研究方向: 圖像技術(shù)與識(shí)別技術(shù)