亓寧寧，常 敏，劉雨翰

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

引 言

平板玻璃的成型方法主要有壓延、平拉和浮法等，由于生產(chǎn)技術(shù)、加工機(jī)械甚至是后期人為包裝運(yùn)輸?shù)牟煌昝?，平板玻璃成品中?huì)出現(xiàn)各種各樣的缺陷[1]。不合格的產(chǎn)品應(yīng)用在高端儀器中，一方面使其價(jià)值大打折扣，另一方面嚴(yán)重影響生產(chǎn)效率，浪費(fèi)勞動(dòng)力。機(jī)器視覺作為一種非接觸性檢測技術(shù)，用計(jì)算機(jī)來模擬人的視覺系統(tǒng)，已經(jīng)成為未來檢測領(lǐng)域的一個(gè)重要發(fā)展方向[2]。這種檢測技術(shù)具有檢測速率高、精度高等優(yōu)點(diǎn)，可廣泛應(yīng)用于工廠缺陷的在線、自動(dòng)化檢測中。近年來，關(guān)于機(jī)器視覺的表面缺陷檢測技術(shù)已經(jīng)逐步發(fā)展起來。Raafat等[3]在1996年提出了一種基于機(jī)器視覺系統(tǒng)的玻璃或塑料表面質(zhì)量檢測方法，主要檢測目標(biāo)是劃痕和氣泡等表面缺陷。此外，Peng等[4]研究了基于機(jī)器視覺的浮法玻璃在線檢測方法，借助缺陷圖像的灰度級(jí)變化來測量缺陷，并對圖像分析和檢測系統(tǒng)的實(shí)時(shí)性和精確性進(jìn)行了討論。

機(jī)器視覺檢測技術(shù)通過設(shè)計(jì)高性能的光學(xué)成像系統(tǒng)并采用圖像傳感器對待測物體進(jìn)行圖像采集，采集的圖像經(jīng)過處理和分析，可提取出有用的信息。一般基于機(jī)器視覺技術(shù)的檢測系統(tǒng)由以下幾部分組成：光源、待測物體、CCD相機(jī)、圖像采集卡、圖像處理軟件和計(jì)算機(jī)等[5]。玻璃檢測的原理是玻璃缺陷的光學(xué)性能和正常玻璃不同，缺陷會(huì)導(dǎo)致進(jìn)入相機(jī)的光強(qiáng)發(fā)生改變，這種改變會(huì)引起圖像灰度值的變化，通過圖像灰度值化[6]、濾波降噪[7-8]、閾值分割[9]等一系列的算法處理，可提取出缺陷的各種特征信息從而達(dá)到玻璃質(zhì)量檢測的目的。

1 檢測系統(tǒng)

圖1是本文設(shè)計(jì)的基于機(jī)器視覺技術(shù)的玻璃質(zhì)量檢測示意圖，可分為兩部分。圖1（a）是圖像獲取單元，LED紅光垂直入射待檢測玻璃后，若玻璃中存在缺陷，CCD相機(jī)的靶面檢測到不均勻的出射光，然后圖像采集卡對輸出的信號(hào)進(jìn)行實(shí)時(shí)采集并將數(shù)字化處理后的圖像傳輸至計(jì)算機(jī)中。圖1（a）中入射光源上方的遮光板是為了避免外界光源使采集到的圖像產(chǎn)生噪聲。圖1（b）是圖像處理和缺陷識(shí)別模塊，用MATLAB對采集到的圖像進(jìn)行預(yù)處理、閾值分割和特征提取[10-11]操作。完成樣本缺陷的特征參數(shù)提取后建立數(shù)據(jù)庫，設(shè)計(jì)一個(gè)反向傳播（BP）神經(jīng)網(wǎng)絡(luò)模型[12-13]對缺陷圖像進(jìn)行訓(xùn)練和分類，最終達(dá)到玻璃智能檢測的目的。

圖1 檢測系統(tǒng)示意圖Fig. 1 Schematic of the inspection system

2 圖像預(yù)處理

圖像預(yù)處理是指對捕捉到的圖像進(jìn)行灰度化處理、濾波平滑、邊緣檢測和閾值分割等多種操作，其主要目的是消除圖像中無關(guān)的信息或噪聲，使圖像更加清晰真實(shí)，確保高質(zhì)量玻璃圖像的輸出，為下一步特征信息的提取提供必要的條件。根據(jù)具體要求選擇不同的圖像預(yù)處理方法，預(yù)處理結(jié)果的好壞直接影響后續(xù)圖像分割和特征提取過程的準(zhǔn)確率。

2.1 灰度值變換

在預(yù)處理之前，圖像的獲取過程容易受到光照等因素的影響，這可能使得同一個(gè)物體在不同的光照情況下形成顏色有差異的圖像信息。然而對于一個(gè)識(shí)別系統(tǒng)，其關(guān)鍵信息是圖像的梯度特征而不是顏色。像素點(diǎn)是圖像中最小的圖像單元，一個(gè)圖像中每個(gè)像素點(diǎn)的顏色由紅（R）、綠（G）、藍(lán)（B）三個(gè)顏色分量決定，每個(gè)分量可取255個(gè)值。圖像的灰度化處理就是讓像素點(diǎn)矩陣中的每一個(gè)像素點(diǎn)的三個(gè)分量相等，從而忽略顏色信息并獲取梯度特征。這種處理方法也可以減少后續(xù)的圖像處理計(jì)算量，提高處理效率?；叶戎堤幚淼姆椒ㄍǔＳ蟹至糠ā⑵骄捣?、最大值法和加權(quán)平均法。本文采用加權(quán)平均法處理原始圖像，該方法的原理是根據(jù)人眼對紅、綠、藍(lán)色光的敏感程度不同，賦予每一個(gè)像素點(diǎn)不同的權(quán)重，從而得到該點(diǎn)的灰度值，公式為

2.2 圖像濾波

在圖像采集、傳輸和量化過程后，各種各樣的噪聲往往會(huì)出現(xiàn)并影響圖像的質(zhì)量，如高斯噪聲、椒鹽噪聲和乘性噪聲等。為了提高后續(xù)特征識(shí)別的準(zhǔn)確度，圖像需要先進(jìn)行濾波平滑操作。高斯噪聲是指服從正態(tài)分布的一類噪聲，通常是由不適當(dāng)?shù)墓庹障到y(tǒng)和高溫所引起的。設(shè)X（p）為真實(shí)圖像，Y（p）是被高斯噪聲污染后的圖像，均值為μ、方差為σ2的高斯噪聲分布表示則 Y（p）可表示為

椒鹽噪聲是圖像中經(jīng)常見到的另一類噪聲，是一種隨機(jī)出現(xiàn)的黑白相間的亮暗點(diǎn)噪聲。為了研究不同濾波器對不同噪聲的降噪能力，選取均值為0、方差為0.01的高斯噪聲和噪聲強(qiáng)度為0.2的椒鹽噪聲分別去污染原始灰度圖像，然后采用3×3和5×5的均值濾波器以及同樣尺寸的中值濾波器分別處理被噪聲污染后的圖像。經(jīng)過對比后發(fā)現(xiàn)，均值濾波器可以有效去除高斯噪聲，而中值濾波器是去除椒鹽噪聲最好的選擇。另外，3×3尺寸的濾波器最適合去除本文中添加的噪聲，而5×5尺寸的濾波器會(huì)使圖像的模糊度降低。結(jié)果如圖2所示，從左到右的圖像（上）分別是灰度值化、添加高斯噪聲污染后、均值濾波去除高斯噪聲、添加椒鹽噪聲以及中值濾波去除椒鹽噪聲后的圖像，圖2（下）是每張圖所對應(yīng)的直方圖，從直方圖可以直接看出噪聲對原圖像的破壞程度及濾波器的復(fù)原效果。因此，在濾波平滑的過程中，需要根據(jù)圖像中具體的噪聲類型選擇最適合的濾波器。

3 圖像分割和特征提取

3.1 圖像的閾值分割

圖像分割是指將圖像中的目標(biāo)與背景分離，使圖像只含有黑和白兩種顏色。圖像分割主要有閾值、邊緣、區(qū)域等分割類型，本文采用基于閾值的圖像分割方法來提取玻璃表面的缺陷信息。閾值分割法的原理是根據(jù)圖像的灰度直方圖選取用于分割的閾值fth，將圖像中每個(gè)像素的灰度值與閾值相比較，最后根據(jù)比較結(jié)果將像素分到合適的類別中。將目標(biāo)區(qū)域的灰度值設(shè)為0，背景中的灰度值設(shè)為1，則表示閾值分割：

圖2 處理后的圖像（上）及其對應(yīng)的灰度直方圖（下）Fig. 2 The images after processing（top）and their grayscale histograms（bottom）

閾值分割方法有雙峰法、迭代法[12]、大津法等。迭代法是指通過不斷迭代來獲取圖像的最佳閾值。本文首先采用迭代法對圖像進(jìn)行分割，其算法步驟如下：

1）根據(jù)灰度直方圖找出圖像中的最大灰度值和最小灰度值，分別記為Zmax和Zmin，并設(shè)初始閾值

迭代分割法的圖像結(jié)果如圖3（b）所示，雖然這種分割方法已經(jīng)具有較高的準(zhǔn)確度，滿足大部分缺陷識(shí)別的要求，但是與原始灰度值圖像[圖3（a）]相比，仍然可以看出圖中圓圈內(nèi)一些小的點(diǎn)狀缺陷在迭代閾值分割后丟失。為了減小閾值分割的誤差，可以通過觀察圖2中直方圖的峰谷位置人工選擇最佳閾值。根據(jù)式（3），最終選取的閾值大小為70。優(yōu)化后的閾值分割如圖3（c）所示，可以看出圈內(nèi)區(qū)域的缺陷在閾值分割后被成功保留。

圖3 閾值分割Fig. 3 Image threshold segmentation

3.2 特征提取

在MATLAB中，“regionprops”函數(shù)是一個(gè)可以度量圖像目標(biāo)區(qū)域?qū)傩缘暮瘮?shù)，本文用它來提取玻璃圖像中每個(gè)缺陷的特征參數(shù)，如面積、最小外接矩形、周長、質(zhì)心等。該函數(shù)在MATLAB中的語法表示為

矩陣L中不同的正整數(shù)元素對應(yīng)不同的區(qū)域；返回值 stats是一個(gè)長度為 max（L（:））的結(jié)構(gòu)數(shù)組，結(jié)構(gòu)數(shù)組的相應(yīng)域定義了每一個(gè)區(qū)域相應(yīng)屬性下的度量；properties可以選擇默認(rèn)值，即只計(jì)算出每個(gè)缺陷區(qū)域的面積、質(zhì)心和外接矩形，也可以選擇計(jì)算所有的特征值。圖4（a）中的矩形是每個(gè)缺陷區(qū)域的最小外接矩形，這種特征提取方法可以找到圖像中最大的缺陷區(qū)域并標(biāo)記。此外，MATLAB中的“bwboundaries”函數(shù)可用來獲取圖像中目標(biāo)區(qū)域的邊緣輪廓信息，如圖4（b）所示。從放大后的某一個(gè)缺陷圖可以清晰地看出這兩種提取方式可以準(zhǔn)確描繪出缺陷的特征，提取的各種特征參數(shù)值以像素為單位存儲(chǔ)在結(jié)構(gòu)數(shù)組中。

圖4 特征提取結(jié)果Fig. 4 The results of feature extraction

4 BP 神經(jīng)網(wǎng)絡(luò)分類器

BP神經(jīng)網(wǎng)絡(luò)是一種按誤差反向傳播訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，簡單來說就是信號(hào)從輸入層經(jīng)由隱含層向輸出層傳輸，而誤差是從輸出層傳到隱含層，最后才到輸入層。通過輸入訓(xùn)練樣本到神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到權(quán)值文件后對缺陷進(jìn)行智能分類?；谇笆鰣D像處理和特征提取步驟，可獲取圖像中玻璃缺陷的各種特征參數(shù)，選取面積、周長和圓形度這三個(gè)特征量作為區(qū)分缺陷類型的指標(biāo)，即BP神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)有三個(gè)。玻璃缺陷的種類多種多樣，本文選擇的缺陷類型是麻點(diǎn)、異物和劃痕，如圖5所示。為了數(shù)據(jù)處理的可行性和便利性，將這三種缺陷量化為種類1、2、3，即輸出神經(jīng)元數(shù)為3。

圖5 玻璃缺陷Fig. 5 The glass defects

表1是提取特征值的50組缺陷樣本，將樣本數(shù)據(jù)平均分成兩組，一組為訓(xùn)練樣本，另一組為測試樣本。確定該BP神經(jīng)網(wǎng)絡(luò)的輸入和輸出后，隱含層節(jié)點(diǎn)的設(shè)置由下列公式確定：式中：h為隱藏層節(jié)點(diǎn)數(shù)目；m為輸入神經(jīng)元數(shù)；n為輸出神經(jīng)元數(shù)；a是0~10之間的調(diào)節(jié)常數(shù)。

表1 缺陷特征提取數(shù)據(jù)Tab. 1 The parameters of the defect feature extraction

本文設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程主要包括以下幾個(gè)重要步驟：

1）為避免因?yàn)檩斎胼敵鰯?shù)據(jù)數(shù)量級(jí)差別較大造成網(wǎng)絡(luò)預(yù)測誤差較大，調(diào)用MATLAB內(nèi)部函數(shù)對數(shù)據(jù)作歸一化處理，將每個(gè)特征值歸一化為[?1，1]之間的數(shù)值；

2）創(chuàng)建3-2-1結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)，隱含層節(jié)點(diǎn)數(shù)的設(shè)置參考式（5）；

3）選擇激活函數(shù)，設(shè)置訓(xùn)練次數(shù)、學(xué)習(xí)速率、目標(biāo)誤差等參數(shù)；

4）開始訓(xùn)練并調(diào)用訓(xùn)練結(jié)果；

5）輸入測試樣本組數(shù)據(jù)，進(jìn)行仿真測試；

6）對仿真輸出值進(jìn)行反歸一化操作并計(jì)算誤差率。

表2是重復(fù)不同次數(shù)后的誤差率，重復(fù)11次后計(jì)算出的平均誤差率為9.84%。圖6是輸入測試樣本后預(yù)測結(jié)果與實(shí)際結(jié)果的對比圖，結(jié)果表明預(yù)測值與實(shí)際值的曲線大致相同，說明該模型能很好地預(yù)測未知缺陷的種類。

表2 誤差率Tab. 2 The error rate

圖6 真實(shí)輸出結(jié)果與預(yù)測輸出結(jié)果的對比Fig. 6 The real results and predicted results

5 結(jié) 論

基于機(jī)器視覺系統(tǒng)的玻璃缺陷檢測和自動(dòng)識(shí)別是當(dāng)前的研究熱點(diǎn)。研究了圖像預(yù)處理和閾值分割的方法，提取缺陷的面積、周長和圓形度為特征向量，設(shè)計(jì)了一個(gè)BP神經(jīng)網(wǎng)絡(luò)模型對麻點(diǎn)、異物和劃痕這三種缺陷進(jìn)行識(shí)別和分類。實(shí)驗(yàn)證明該模型具有很高的識(shí)別準(zhǔn)確率，對玻璃行業(yè)的檢測技術(shù)具有一定的應(yīng)用價(jià)值。但是在未來的工作中，為了完善這個(gè)識(shí)別系統(tǒng)，對玻璃中其他更多的缺陷種類進(jìn)行檢測和識(shí)別，應(yīng)增加特征向量的個(gè)數(shù)，如缺陷外接矩形尺寸、缺陷灰度值等。