白海城，林湘軍，劉書洋

（1.遼寧石油化工大學(xué) 信息與控制工程學(xué)院，遼寧撫順，113001；2.遼寧石油化工大學(xué) 理學(xué)院，遼寧撫順，113001）

陶瓷瓶絕緣子具有十分優(yōu)異的物理性能，在變電站中具有廣泛應(yīng)用。但其在制作及處理等生產(chǎn)過(guò)程中很容易產(chǎn)生缺陷降低了成品率[1]。目前國(guó)內(nèi)生產(chǎn)商已采用一些陶瓷表面瑕疵檢測(cè)方法，例如射線檢測(cè)、磁粉檢測(cè)等手段，然而這些檢測(cè)方法具有環(huán)境要求及檢測(cè)成本高、成像不直觀等局限性，有的甚至還會(huì)對(duì)人體造成危害。所以大部分生產(chǎn)廠家仍采用人工檢測(cè)，即人工目視的方法。但目視檢測(cè)需要較長(zhǎng)的時(shí)間，人員易疲勞，且其精度主要依賴于工人的經(jīng)驗(yàn)，因此對(duì)材料性能的評(píng)估需要其他有效的手段，更重要的是其無(wú)法實(shí)現(xiàn)連續(xù)在線檢測(cè)，因而大大降低了生產(chǎn)效率，且增加了安全隱患。機(jī)器視覺(jué)識(shí)別技術(shù)在表面缺陷識(shí)別與分類中的應(yīng)用，有效地改善了識(shí)別的精確度和效率，為企業(yè)的大規(guī)模生產(chǎn)創(chuàng)造了條件[2]。有關(guān)陶瓷材料的裂紋檢測(cè)已經(jīng)有很多文獻(xiàn)，例如，張軍[3]等使用差影法實(shí)現(xiàn)瓷磚的裂紋識(shí)別；劉行謀[4]等提出了改進(jìn)的YOLOv4 算法來(lái)識(shí)別電力絕緣子圖像是否存在缺陷；張子健[5]等利用EAST 模型與Hu 不變矩的檢測(cè)方法來(lái)判斷絕緣子是否存在故障；等等，但現(xiàn)有文獻(xiàn)都是針對(duì)電力系統(tǒng)中的瓷瓶絕緣子進(jìn)行巡檢，鮮有文獻(xiàn)討論生產(chǎn)過(guò)程中流水線上的瓷瓶絕緣子表面存在缺陷問(wèn)題的實(shí)時(shí)監(jiān)測(cè)。因此，本文對(duì)采集到的圖像進(jìn)行圖像預(yù)處理、缺陷定位、特征提取[6]、缺陷識(shí)別和缺陷分類[7]等一系列操作，提出了一種基于機(jī)器視覺(jué)的瓷瓶絕緣子表面缺陷檢測(cè)方法，實(shí)現(xiàn)了針對(duì)高壓瓷瓶缺陷的識(shí)別與分類。該方法通過(guò)建立一個(gè)BP 神經(jīng)網(wǎng)絡(luò)模型[8]，根據(jù)模型匹配程度[9]識(shí)別高壓瓷瓶的表面缺陷類型[10]。當(dāng)缺陷被檢測(cè)到時(shí)，檢測(cè)界面會(huì)播放音樂(lè)提示被檢測(cè)瓷瓶絕緣子存在缺陷問(wèn)題并顯示出缺陷位置與類型。該方法的提出將為實(shí)現(xiàn)高壓絕緣子質(zhì)量的自動(dòng)化檢測(cè)、提高檢測(cè)的精確度和速度以及釋放生產(chǎn)力提供依據(jù)。

1 建立BP 神經(jīng)網(wǎng)絡(luò)模型

■1.1 特征值提取

對(duì)僅含有缺陷的圖像進(jìn)行特征提取，具有差異化的特征值[11]能夠很好地反映圖像的信息。本文提取的3 個(gè)特征值，分別是垂直投影、HU 不變矩的7 個(gè)不變矩(M1 ～M7)中的M2 以及傅里葉描述子。

1.1.1 垂直投影

圖像的垂直投影[12]序列為：

式中，t(i,j) 表示處理后的缺陷二值圖像。

缺陷圖像的垂直投影圖如圖1 所示。

圖1 垂直投影圖

利用countNonZero 函數(shù)統(tǒng)計(jì)每一列中非零元素的個(gè)數(shù)，將所有列中的非零個(gè)數(shù)相加再求平均值，即可得到特征值－垂直投影值，由圖2 數(shù)據(jù)可明顯得到，垂直投影特征可以明顯區(qū)分斑點(diǎn)和其他缺陷。

圖2 圖像特征值－垂直投影

1.1.2 HU 不變矩

由于缺陷的不確定性，缺陷輪廓存在旋轉(zhuǎn)角度時(shí)，歸一化矩[13]會(huì)發(fā)生變化，所以就需要具有旋轉(zhuǎn)、平移、尺度等不變的特性的HU 不變矩來(lái)解決這個(gè)問(wèn)題。

Hu 矩其實(shí)是一個(gè)包含了七個(gè)不變矩的集合，這七個(gè)不變矩分別由多個(gè)二、三階中心距組合計(jì)算而成，根據(jù)公式(2)，我們只要計(jì)算出所需要的二、三階中心距，就可以將這七個(gè)不變矩分別計(jì)算出來(lái)，最終得到所需要的Hu 矩。OpenCV中利用HuMoments 函數(shù)求取HU 矩，就可以比較完善地表示一幅圖像或者輪廓的特征。

7 個(gè)不變矩的計(jì)算公式：

如圖3 所示，Hu 不變矩中的二階矩表示圖像的大小和方向，可以將網(wǎng)狀裂縫與其他三類缺陷區(qū)分出來(lái)。

圖3 圖像特征值-HU 不變矩

1.1.3 傅里葉描述子

缺陷的灰度值與瓷瓶背景的灰度值相差很大，當(dāng)出現(xiàn)缺陷時(shí)，傅里葉函數(shù)會(huì)產(chǎn)生明顯躍變，可以用來(lái)表示缺陷的形狀特征，因此可將傅里葉描述子[14]作為缺陷的特征描述子。

為了使傅里葉描述子能表示作為缺陷圖像的差異化特征值，對(duì)傅里葉系數(shù)做如下處理：

式中，D為高壓瓷瓶的傅里葉描述子特征值，a(u) 為邊界的傅里葉描述子。

結(jié)果如圖4 所示，傅里葉描述子作為缺陷的特征描述子可以將線性裂縫與其他三類缺陷區(qū)分出來(lái)。

圖4 圖像特征值－傅里葉描述子

■1.2 BP 神經(jīng)網(wǎng)絡(luò)的改進(jìn)

為了能更快速有效地識(shí)別瓷瓶缺陷，對(duì)BP 神經(jīng)網(wǎng)絡(luò)[15]的輸入層參數(shù)選擇根據(jù)表1 來(lái)設(shè)定。

表1 缺陷圖像特征參數(shù)

2 方案設(shè)計(jì)

■2.1 檢測(cè)流程

運(yùn)用數(shù)字圖像處理的相關(guān)算法以及OpenCV 來(lái)處理瓷瓶圖像并提取缺陷圖像；通過(guò)得到缺陷圖像的特征向量實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練以及識(shí)別；再針對(duì)終端用戶的能力及需求保證信息可視化的合理性。

在瓷瓶缺陷的圖像處理過(guò)程中，如圖5 所示，重點(diǎn)在瓷瓶缺陷的提取，難點(diǎn)在如何正確提取特征值。

圖5 瓷瓶缺陷識(shí)別主要步驟

（1）采集圖像：方案設(shè)計(jì)旨在工廠流水線上針對(duì)高壓絕緣子進(jìn)行缺陷檢測(cè)，系統(tǒng)設(shè)置一個(gè)光源和三個(gè)攝像頭，分別從不同角度實(shí)現(xiàn)對(duì)絕緣子的視頻采集，從而提取感興趣的區(qū)域進(jìn)行進(jìn)一步處理。

（2）圖像預(yù)處理：采集到的圖像由于存在污漬、噪聲等因素影響，在通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷識(shí)別分類之前要先進(jìn)行圖像預(yù)處理操作來(lái)改善圖像的品質(zhì)。針對(duì)采集到的瓷瓶絕緣子圖像中存在的由于光線產(chǎn)生的噪聲問(wèn)題，本文采用雙邊濾波后進(jìn)行掩膜操作的手段來(lái)實(shí)現(xiàn)對(duì)瓷瓶缺陷的平滑處理，從而去除圖像中的隨機(jī)噪聲和人為干擾。

雙邊濾波法是一種非線性的平滑濾波的方法，它能很好地保持邊緣細(xì)節(jié)，有利于后續(xù)的特征提取等操作，其數(shù)學(xué)公式如下：

式中，G(x,y) 為采集到的瓷瓶圖像進(jìn)行雙邊濾波操作后的平滑圖像，Q(x,y) 表示瓷瓶圖像以(x,y) 為中心的模塊區(qū)域像素集合，g(x,y) 為Q(x,y) 區(qū)域的中心像素值，dσ為雙邊濾波過(guò)程中每個(gè)模塊區(qū)域的直徑，sσ為瓷瓶圖像的灰度差值。

式中，F(xiàn)2D為瓷瓶絕緣子圖像的掩膜模板。

（3）圖像分析：由于人工放置的瓷瓶，導(dǎo)致其位置距離相機(jī)的遠(yuǎn)近存在差距，從而產(chǎn)生了對(duì)缺陷的描述復(fù)雜、光影變幻以及由于視角轉(zhuǎn)換而產(chǎn)生的物體形狀改變等問(wèn)題。為了解決這些問(wèn)題，首先利用canny 邊緣算子得到絕緣子粗輪廓并校正瓷瓶的旋轉(zhuǎn)角度使瓷瓶保持直立，再利用閉運(yùn)算消除小的孔洞，從而確定陶瓷瓶的外型特征并對(duì)絕緣子進(jìn)行裁剪以校準(zhǔn)缺陷坐標(biāo)。

（4）缺陷提?。喝毕萃ǔＥc瓷瓶的邊緣相隔離，并且它的灰度和周邊的瓷瓶環(huán)境有很大的差異。根據(jù)缺陷的這一特征，利用高斯拉普通拉斯（Laplace of Gaussian,LOG）算子進(jìn)行檢測(cè)，得到模型檢測(cè)所需的缺陷圖像。

（5）缺陷分類：通過(guò)數(shù)學(xué)運(yùn)算獲得缺陷圖像的三個(gè)特征值作為神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)，根據(jù)訓(xùn)練好的模型輸出識(shí)別結(jié)果，完成針對(duì)高壓瓷瓶的表面缺陷識(shí)別分類。

■2.2 人機(jī)交互界面設(shè)計(jì)

與傳統(tǒng)的數(shù)據(jù)信息相比，信息可視化具有嚴(yán)謹(jǐn)和美感；具有更加直觀、舒適的觀看體驗(yàn)。對(duì)于使用者來(lái)說(shuō)，信息可視化是一項(xiàng)冗余的工作，其利用視覺(jué)要素如圖形、色彩、版式、文字等，能有效地刺激使用者的理解與認(rèn)知。

如圖6 所示，主界面設(shè)置相關(guān)按鈕，進(jìn)行對(duì)應(yīng)的檢測(cè)操作，當(dāng)識(shí)別出缺陷時(shí)，系統(tǒng)會(huì)觸發(fā)警報(bào)，播放音樂(lè)提示監(jiān)測(cè)人員。副界面顯示瓷瓶圖像、缺陷圖像、圖像編號(hào)、裂縫類型、裂縫位置等信息，如圖7 所示。

圖6 高壓瓷瓶缺陷檢測(cè)系統(tǒng)的主界面

圖7 高壓瓷瓶缺陷檢測(cè)系統(tǒng)的副界面

3 實(shí)驗(yàn)

■3.1 瓷瓶定位和缺陷定位

為了得到標(biāo)準(zhǔn)化的缺陷位置坐標(biāo)，先對(duì)采集到的圖像進(jìn)行瓷瓶定位，得到統(tǒng)一的瓷瓶圖像，如圖8 所示。

圖8 瓷瓶定位

在瓷瓶為白、底為黑的情況下，其基本原則是去掉內(nèi)圈的點(diǎn)，保持最外圍的點(diǎn)。故經(jīng)過(guò)反復(fù)對(duì)比將高閾值設(shè)為100、低閾值設(shè)置為0 時(shí)，獲得的圖像最易識(shí)別如圖8(a)所示得到瓷瓶的粗輪廓。繪制的瓷瓶外輪廓圖像如圖8(b)所示，原始圖像進(jìn)行校正之后的結(jié)果如圖8(c)所示。

對(duì)標(biāo)準(zhǔn)化后的瓷瓶圖像進(jìn)行二值化處理后再次檢測(cè)，實(shí)現(xiàn)高壓瓷瓶的缺陷定位，如圖9 所示，本文針對(duì)3 種缺陷進(jìn)行分類識(shí)別，圖9(a)為線性裂縫缺陷圖像，圖9(b)為網(wǎng)狀裂縫缺陷圖像，圖9(c)為斑點(diǎn)缺陷圖像。分析得到的缺陷圖像，可以獲得神經(jīng)網(wǎng)絡(luò)所需的輸入值，進(jìn)而實(shí)現(xiàn)對(duì)高壓瓷瓶的缺陷檢測(cè)。

圖9 瓷瓶缺陷定位

■3.2 模型測(cè)試

實(shí)驗(yàn)設(shè)置的缺陷為4 類，分別是線性裂縫、網(wǎng)狀裂縫、斑點(diǎn)及無(wú)缺陷，其中每類有100 個(gè)訓(xùn)練圖片，共4×100 個(gè)訓(xùn)練圖片。

按文件夾順序讀入訓(xùn)練圖片，調(diào)用三類特征計(jì)算函數(shù)，把得到的集合保存在特征向量中，同時(shí)把圖像對(duì)應(yīng)的預(yù)期輸出保存在輸出向量中。

構(gòu)造BP 神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)一個(gè)3 層的神經(jīng)網(wǎng)絡(luò)。輸入節(jié)點(diǎn)為圖像的垂直投影、模式矩陣的不變矩以及傅里葉描述子。而缺陷的類型：線性裂縫、網(wǎng)狀裂縫、斑點(diǎn)、無(wú)缺陷則作為網(wǎng)絡(luò)的輸出，分別用1000、0100、0010、0001 來(lái)表征。其隱含層節(jié)點(diǎn)數(shù)選定為30 個(gè)節(jié)點(diǎn)，迭代次數(shù)設(shè)置為10000，運(yùn)用BACKPROP 的訓(xùn)練方法進(jìn)行訓(xùn)練和識(shí)別。

各選取線性裂縫、網(wǎng)狀裂縫、斑點(diǎn)、無(wú)缺陷的100 份特征向量作為測(cè)試樣本，得到了400 組相同的四維輸出向量，即樣本與各類缺陷的相關(guān)性。如表2 所示部分實(shí)驗(yàn)結(jié)果，BP 算法的四維輸出向量的值分別是(-0.40311 -0.40311-0.40311 1.403105),比較四個(gè)數(shù)字，求出最大的數(shù)字的位置記為1，其他位置記為0，這樣就可以將圖像準(zhǔn)確標(biāo)記為(0 0 0 1)，圖像識(shí)別結(jié)構(gòu)為無(wú)缺陷。類似的，可以準(zhǔn)確完成其他圖像的識(shí)別。

表2 神經(jīng)網(wǎng)絡(luò)的相關(guān)性輸出結(jié)果

實(shí)驗(yàn)結(jié)果表明，基于機(jī)器視覺(jué)的瓷瓶絕緣子表面缺陷檢測(cè)方法對(duì)以上四種缺陷類型具有較好的識(shí)別性能，每張圖片的檢測(cè)時(shí)間在0.5s 以內(nèi)，檢測(cè)準(zhǔn)確率可達(dá)99.5%，其中如表3 所示，針對(duì)線性裂縫和網(wǎng)狀裂縫的識(shí)別準(zhǔn)確率達(dá)到100%，但由于光線問(wèn)題，光斑和陰影的存在導(dǎo)致斑點(diǎn)和無(wú)缺陷的樣本存在誤檢，其檢測(cè)準(zhǔn)確率為99%，仍然符合預(yù)期效果。

表3 絕緣子缺陷識(shí)別效果

由于測(cè)試圖片越多，訓(xùn)練的時(shí)間越長(zhǎng)，所以一次訓(xùn)練之后，可以將標(biāo)準(zhǔn)數(shù)據(jù)樣本生成xml 文件，圖片的數(shù)據(jù)和特征都在里面，下次使用只需要調(diào)用xml 文件就可以了，這樣可以大大減少高壓瓷瓶缺陷檢測(cè)新系統(tǒng)的檢測(cè)時(shí)間。

4 結(jié)論

從機(jī)器視覺(jué)理論出發(fā)，對(duì)瓷瓶絕緣子表面缺陷在線檢測(cè)方法進(jìn)行了研究，根據(jù)圖像的垂直投影、不變矩以及傅里葉描述子等信息，利用計(jì)算機(jī)軟件對(duì)瓷瓶圖像進(jìn)行處理，可以準(zhǔn)確地判斷出瓷瓶存在的瑕疵，及時(shí)發(fā)出警報(bào)，進(jìn)而保障供電線路的正常運(yùn)作。經(jīng)實(shí)驗(yàn)結(jié)果驗(yàn)證，該方法對(duì)于缺陷類型的識(shí)別正確率能夠達(dá)到99.5%，取得了較為理想的、可信的結(jié)果，在研究與應(yīng)用中具有很好的實(shí)用意義。